[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016050972A - 制御装置、制御方法、及びプログラム - Google Patents

制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
JP2016050972A
JP2016050972A JP2014174677A JP2014174677A JP2016050972A JP 2016050972 A JP2016050972 A JP 2016050972A JP 2014174677 A JP2014174677 A JP 2014174677A JP 2014174677 A JP2014174677 A JP 2014174677A JP 2016050972 A JP2016050972 A JP 2016050972A
Authority
JP
Japan
Prior art keywords
auxiliary light
imaging
unit
subject
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014174677A
Other languages
English (en)
Inventor
政晴 永田
Masaharu Nagata
政晴 永田
武史 大橋
Takeshi Ohashi
武史 大橋
聡嗣 鈴木
Satoshi Suzuki
聡嗣 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014174677A priority Critical patent/JP2016050972A/ja
Priority to US15/324,488 priority patent/US10547792B2/en
Priority to EP15836589.0A priority patent/EP3187933A4/en
Priority to PCT/JP2015/067093 priority patent/WO2016031350A1/ja
Publication of JP2016050972A publication Critical patent/JP2016050972A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units
    • G03B2215/0514Separate unit
    • G03B2215/0557Multiple units, e.g. slave-unit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】撮像領域中における明るさのムラを軽減し、より好適な撮像環境を実現することが可能な、制御装置、制御方法、及びプログラムを提案する。【解決手段】撮像部により撮像された画像を取得する取得部と、取得された前記画像の解析結果に基づいて、複数の補助光投光部のうち、前記撮像部の画角に基づき決定される撮像領域中の複数の部分領域それぞれにあらかじめ関連付けられた前記補助光投光部が投光する補助光の光量を制御する制御部と、を備える、制御装置。【選択図】図5

Description

本開示は、制御装置、制御方法、及びプログラムに関する。
近年では、デジタルスチルカメラやデジタルビデオカメラのような撮像装置が広く普及している。このような撮像装置では、例えば、絞りやシャッタースピード等の露出条件を制御することで、画像中に撮像される被写体の明るさを制御する場合がある。また、撮像装置の中には、被写体に対して所謂補助光を投光することで、照度を補うことが可能なものもある。
また、他の方法として、撮像された画像に対して補正処理を施すことで、当該画像中に撮像された被写体の明るさを制御する方法もある。例えば、特許文献1には、撮像された画像に対して補正処理を施すことで、当該画像の明るさ(換言すると、画像中に撮像された被写体の明るさ)を制御する方法の一例が開示されている。
特開2009−71400号公報
一方で、撮像装置により画像として撮像される領域(以降では、「撮像領域」と呼ぶ場合がある)は、必ずしも全体が一様の明るさで照明されているとは限らない。このような状況下では、例えば、露出条件の制御のように、撮像領域全体の明るさを一律に制御したとしても、当該撮像領域中に存在する複数の被写体それぞれが、適切な明るさ(露出)で撮像されるとは限らない。
そこで、本開示では、撮像領域中における明るさのムラを軽減し、より好適な撮像環境を実現することが可能な、制御装置、制御方法、及びプログラムを提案する。
本開示によれば、撮像部により撮像された画像を取得する取得部と、取得された前記画像の解析結果に基づいて、複数の補助光投光部のうち、前記撮像部の画角に基づき決定される撮像領域中の複数の部分領域それぞれにあらかじめ関連付けられた前記補助光投光部が投光する補助光の光量を制御する制御部と、を備える、制御装置が提供される。
また、本開示によれば、撮像部により撮像された画像を取得することと、プロセッサが、取得された前記画像の解析結果に基づいて、複数の補助光投光部のうち、前記撮像部の画角に基づき決定される撮像領域中の複数の部分領域それぞれにあらかじめ関連付けられた前記補助光投光部が投光する補助光の光量を制御することと、を含む、制御方法が提供される。
また、本開示によれば、コンピュータに、撮像部により撮像された画像を取得することと、取得された前記画像の解析結果に基づいて、複数の補助光投光部のうち、前記撮像部の画角に基づき決定される撮像領域中の複数の部分領域それぞれにあらかじめ関連付けられた前記補助光投光部が投光する補助光の光量を制御することと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、撮像領域中における明るさのムラを軽減し、より好適な撮像環境を実現することが可能な、制御装置、制御方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係る撮像装置の概要について説明するための説明図である。 同実施形態に係る撮像装置の概要について説明するための説明図である。 同実施形態に係る撮像装置の概要について説明するための説明図である。 図3に示す例における、各補助光投光部の発光タイミングの一例を示した、概略的なタイミングチャートである。 同実施形態に係る撮像装置の概要について説明するための説明図である。 図5に示す例における、各補助光投光部の発光タイミングの一例を示した、概略的なタイミングチャートである。 同実施形態に係る撮像装置の機能構成の一例を示したブロック図である。 同実施形態に係る撮像装置の一連の処理の流れの一例を示したフローチャートである。 同実施形態に係る変形例1に係る情報処理装置の概要について説明するための説明図である。 同実施形態に係る変形例2に係る撮像装置の概要について説明するための説明図である。 同実施形態に係る変形例2に係る撮像装置の概要について説明するための説明図である。 本開示の第2の実施形態に係る撮像装置の概要について説明するための説明図である。 同実施形態に係る撮像装置の概要について説明するための説明図である。 同実施形態に係る撮像装置の概要について説明するための説明図である。 同実施形態に係る撮像装置の概要について説明するための説明図である。 同実施形態に係る撮像装置の機能構成の一例を示したブロック図である。 同実施形態に係る撮像装置の一連の処理の流れの一例を示したフローチャートである。 同実施形態の変形例に係る撮像装置の概要について説明するための説明図である。 本開示の各実施形態に係る撮像装置のハードウェア構成の一例を示した図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1.1.概要
1.2.機能構成
1.3.処理
1.4.変形例
1.4.1.変形例1:撮像装置の適用例
1.4.2.変形例2:補助光の制御例
1.4.3.変形例3:補助光の制御例
1.5.まとめ
2.第2の実施形態
2.1.概要
2.2.機能構成
2.3.処理
2.4.変形例
2.5.まとめ
3.ハードウェア構成
4.まとめ
<1.第1の実施形態>
[1.1.概要]
本開示の第1の実施形態に係る撮像装置の特徴をよりわかりやすくするために、まず、概要として、本実施形態に係る撮像装置の課題について、図1を参照しながら説明する。図1は、本実施形態に係る撮像装置の概要について説明するための説明図である。
図1において、参照符号r11は、撮像装置10により画像として撮像される領域(即ち、撮像領域)を模式的に示している。撮像領域r11は、例えば、撮像装置10の画角に基づき決定される。また、参照符号u11及びu12は、撮像装置10の撮像領域r11中に存在する被写体を模式的に示している。
なお、本説明では、本実施形態に係る撮像装置10の特徴をよりわかりやすくするために、図1に示すように、被写体u11が、被写体u12よりも撮像装置10により近い位置に存在するものとして説明する。
また、図1に示す例は、撮像装置10の位置から被写体u11及びu12を参照した場合に、当該被写体u11及びu12がそれぞれ異なる明るさで照明されている状態を示している。このとき、撮像装置10の位置から被写体u11及びu12を参照した場合に、被写体u12よりも被写体u11がより明るくなるように、当該被写体u11及びu12が照明されているものとする。
図1に示すように、明るさの異なる被写体u11及びu12が存在する状況下において、撮像装置10により撮像される画像中における被写体u11及びu12それぞれを、適切な明るさ(露出)に制御することが困難な場合がある。
具体的な一例として、絞りやシャッタースピード等の露出条件を変更することで、撮像装置10により撮像される画像中における被写体u11及びu12それぞれの明るさ(露出)を制御する場合に着目して説明する。
例えば、図1において、より明るく照明されている被写体u11を適切な露出で撮像する場合には、撮像装置10は、撮像素子が受光する光量を制限するために、絞りをより絞り込み、シャッタースピードがより速くなるように露出条件を制御する。これに対して、より暗く照明されている被写体u12を適切な露出で撮像する場合には、撮像装置10は、撮像素子が受光する光量がより多くなるように制御するために、絞りを開放し、シャッタースピードがより遅くなるように露出条件を制御する。
即ち、明るさの異なる被写体u11及びu12のそれぞれを適切な露出で撮像するための露出条件は互いに異なる。そのため、例えば、被写体u11が適切な露出で撮像されるように露出条件が設定された場合には、被写体u11よりもより暗い被写体u12は、所謂露出アンダーの状態で画像中に撮像される(即ち、より暗く撮像される)こととなる。これに対して、被写体u12が適切な露出で撮像されるように露出条件が設定された場合には、被写体u12よりもより明るい被写体u11は、所謂露出オーバーの状態で画像中に撮像される(即ち、より明るく撮像される)こととなる。
このように、露出条件の制御により画像中に被写体u11及びu12それぞれの露出(明るさ)を制御する場合には、露出条件が一律に制御されるため、被写体u11及びu12それぞれを、適切な露出に制御することが困難な場合がある。
また、他の方法として、撮像領域r11中の被写体u11及びu12に対して補助光を投光することで、被写体u11及びu12それぞれの明るさ(照度)を補う方法が挙げられる。この場合には、補助光を投光する補助光投光部(即ち、光源)により近い被写体ほど、当該補助光によって、より明るくなるように照明される。
例えば、図1において、補助光投光部が撮像装置10に設けられている場合には、当該補助光投光部から投光される補助光により、被写体u12よりも被写体u11がより明るくなるように照明されることとなる。そのため、例えば、被写体u11が適切な露出で撮像されるように補助光の光量を制御した場合には、被写体u12を照明するために十分な光量が得られずに、当該被写体u12が所謂露出アンダーの状態で画像中に撮像されることとなる。これに対して、被写体u12が適切な露出で撮像されるように補助光の光量を制御した場合には、被写体u11には過剰な光量の補助光が投光され、被写体u11が所謂露出オーバーの状態で画像中に撮像されることとなる。
このように、補助光を投光することで、被写体u11及びu12それぞれの露出(明るさ)を制御する場合においても、被写体u11及びu12それぞれを、適切な露出に制御することが困難な場合がある。
本実施形態に係る撮像装置10は、以上のような状況を鑑みてなされたものであり、撮像領域中において明るさにムラがあるような状況下においても、当該明るさのムラを軽減し、より好適な撮像環境を実現することを目的とする。
具体的には、本実施形態に係る撮像装置10は、撮像領域r11を複数の部分領域に分割し、当該部分領域それぞれに対して、部分領域ごとに異なる補助光投光部により補助光を投光することで、当該部分領域ごとに明るさを制御する。
例えば、図2は、本実施形態に係る撮像装置10の概要について説明するための説明図である。図2に示す例では、撮像装置10は、撮像領域r11を複数の部分領域r21a及びr21bに分割し、当該部分領域r21a及びr21bそれぞれに対して、互いに異なる補助光投光部により補助光を投光する。
このとき、本実施形態に係る撮像装置10は、撮像した撮像領域r11の画像(例えば、スルー画像)を解析し、当該画像の解析結果に基づき、部分領域r21a及びr21bそれぞれに対して投光される補助光の光量を個々に制御する。具体的には、撮像装置10は、撮像した画像中の部分領域r21に対応する領域(以降では、単に「画像中の部分領域r21」と記載する場合がある)の輝度分布に応じて、当該部分領域r21に対して投光される補助光の光量を制御する。
例えば、図3は、本実施形態に係る撮像装置10の概要について説明するための説明図であり、図2に示す例において、撮像装置10が、部分領域r21a及びr21bそれぞれに対して同じ光量の補助光を投光した場合の一例を示している。具体的には、図3は、部分領域r21a及びr21bそれぞれに対応する補助光投光部の発光量と、当該部分領域r21a及びr21bそれぞれの露出と、当該部分領域r21a及びr21bそれぞれの輝度分布との関係を模式的に示している。
図3の上段の図は、部分領域r21a及びr21bに対して補助光を投光する各補助光投光部の発光状態を模式的に示している。なお、本説明では、図3の上段に示すように、部分領域r21aに対して補助光を投光する補助光投光部(光源)を「補助光投光部13a」とし、部分領域r21bに対して補助光を投光する補助光投光部(光源)を「補助光投光部13b」とする。なお、以降の説明では、補助光投光部13a及び13bを特に区別しない場合には、単に「補助光投光部13」と記載する場合がある。
また、図3の中段の図は、撮像装置10により撮像された画像を模式的に示しており、具体的には、補助光投光部13a及び13bからの補助光の投光に伴う、画像中における被写体u11及びu12の露出(即ち、明るさ)の一例を模式的に示している。また、図3の下段は、図3の中段に示した画像の輝度分布の一例を模式的に示している。なお、図3の下段に示した輝度分布の縦軸は、輝度を相対値として模式的に示している。また、図3の中段に示した画像の横方向の位置(座標)と、図3の下段に示した横軸上の位置とが対応している。
また、図4は、図3に示す例における、補助光投光部13a及び13bそれぞれの発光タイミングの一例を示した、概略的なタイミングチャートである。なお、図4の横軸は時間を示している。図4に示す例は、補助光投光部13a及び13bのそれぞれが、互いに同期したタイミングで、同じ光量の補助光を投光する場合の一例について示している。
図3及び図4に示すように、部分領域r21a及びr21bそれぞれに対して同じ光量の補助光が投光された場合には、補助光の光源(即ち、補助光投光部13)により近い被写体ほど、当該補助光によって、より明るくなるように照明される。例えば、図3に示す例の場合には、図2に示すように、被写体u11が、被写体u12よりも撮像装置10(即ち、補助光の光源である補助光投光部13)のより近くに位置する。そのため、撮像装置10が撮像した画像中における被写体u11の輝度をI11、被写体u12の輝度をI12とした場合には、図3の下段の輝度分布に示すように、「(被写体u11の輝度I11)>(被写体u12の輝度I12)」となる。
本実施形態に係る撮像装置10は、撮像した撮像領域r11の画像(例えば、スルー画像)を解析することで、図3の下段に示したような撮像領域r11の輝度分布(換言すると、部分領域r21a及びr21bそれぞれの輝度分布)を生成する。そして、撮像装置10は、生成した輝度分布に応じて、各部分領域r21に対応した補助光投光部13が投光する補助光の光量を制御する。
例えば、図5は、本実施形態に係る撮像装置10の概要について説明するための説明図であり、撮像装置10による各補助光投光部13から投光される補助光の光量の制御内容の一例を示している。例えば、図5に示す例では、撮像装置10は、画像中に撮像される被写体u11及びu12それぞれの輝度が略等しくなるように、各部分領域r21に対応した補助光投光部13から投光される補助光の光量を制御している。
具体的には、部分領域r21aには被写体u11が存在しており、撮像される画像中の対応する領域には、比較的輝度の高い画素(ピクセル)が分布することとなる。そのため、例えば、撮像装置10は、当該部分領域r21aに投光される補助光の光量を抑えることで、被写体u11が図3に示す例に比べてより暗く撮像されるように、当該部分領域r21aに対応する補助光投光部13aの補助光の投光に係る動作を制御する。
また、部分領域r21bには被写体u12が存在しており、撮像される画像中の対応する領域には、比較的輝度の低い画素(ピクセル)が分布することとなる。そのため、例えば、撮像装置10は、当該部分領域r21bに投光される補助光の光量を増やすことで、被写体u12が図3に示す例に比べてより明るく撮像されるように、当該部分領域r21bに対応する補助光投光部13bの補助光の投光に係る動作を制御する。
例えば、図6は、図5に示す例における、補助光投光部13a及び13bそれぞれの発光タイミングの一例を示した、概略的なタイミングチャートである。なお、図6の横軸は、図4に示す例と同様に時間を示している。図6に示す例では、撮像装置10は、補助光投光部13a及び13bそれぞれの発光時間を制御することで、各補助光投光部13から投光される補助光の光量を制御している。
具体的な一例として、撮像装置10は、補助光投光部13aの発光時間を、図4に示す例に比べて短くなるように制御することで、当該補助光投光部13aから部分領域r21aに投光される補助光の光量を抑えている。また、撮像装置10は、補助光投光部13bの発光時間を、図4に示す例に比べて長くなるように制御することで、当該補助光投光部13bから部分領域r21bに投光される補助光の光量を増やしている。
なお、図6に示した例はあくまで一例であり、撮像装置10が、各補助光投光部13から投光される補助光の光量を制御できれば、その方法は特に限定されない。具体的な一例として、撮像装置10は、補助光投光部13の発光量(例えば、光源を発光させるための電流値)を制御することで、当該補助光投光部13から投光される補助光の光量を制御してもよい。もちろん、撮像装置10は、補助光投光部13の発光量と、当該補助光投光部13の発光時間との双方を制御することで、当該補助光投光部13から投光される補助光の光量を制御してもよい。
このような制御に基づき、撮像装置10は、図5に示すように、画像中に撮像される各部分領域r21中の被写体(即ち、被写体u11及びu12)の輝度が、あらかじめ決められた輝度値I13となるように制御する。これにより、画像中に撮像される各部分領域r21中の被写体の輝度が略等しくなるように制御される。なお、輝度値I13は、撮像装置10の利用形態に応じてあらかじめ決定し、撮像装置10が読み出し可能な領域に記憶させておけばよい。また、他の一例として、輝度値I13は、ユーザ操作に応じた事前の設定に基づき決定されてもよい。
なお、上記に示す例では、撮像領域r11を、2つの部分領域r21a及びr21bに分割する例について説明した。しかしながら、当該撮像領域r11が複数の部分領域r21に分割され、かつ、各部分領域r21に対して互いに異なる補助光投光部13から補助光が投光される構成であれば、部分領域r21及び補助光投光部13の数は特に限定されない。また、一の部分領域r21に対して関連付けられる補助光投光部13の数も特に限定されず、少なくとも一部の部分領域r21に対して複数の補助光投光部13が関連付けられていてもよい。
以上、説明したように、本実施形態に係る撮像装置10は、撮像領域r11を複数の部分領域r21に分割し、当該部分領域r21それぞれに対して、互いに異なる補助光投光部13を事前に関連付ける。そして、撮像装置10は、各部分領域r21それぞれに対して、当該部分領域r21に関連付けられた補助光投光部13から補助光を投光することで、当該部分領域r21ごとに明るさを制御する。
また、このとき、撮像装置10は、撮像された撮像領域r11の画像中における、部分領域r21それぞれの輝度分布に応じて、当該部分領域r21に関連付けられた補助光投光部13から投光される補助光の光量を制御する。このような構成により、本実施形態に係る撮像装置10は、撮像領域中において明るさにムラがあるような状況下においても、当該明るさのムラを軽減し、より好適な撮像環境を実現することが可能となる。
以上、図1〜図6を参照して、本実施形態に係る撮像装置10の概要について説明した。なお、以降では、本実施形態に係る撮像装置10について、さらに詳しく説明する。
[1.2.機能構成]
まず、図7を参照して、本実施形態に係る撮像装置10の機能構成の一例について説明する。図7は、本実施形態に係る撮像装置10の機能構成の一例を示したブロック図である。
図7に示すように、本実施形態に係る撮像装置10は、制御部11と、複数の補助光投光部13と、撮像部15とを含む。また、制御部11は、同期制御部111と、補助光制御部113と、撮像制御部115と、解析部117とを含む。
なお、本説明では、前述した図2〜図6に示す例と同様に、撮像装置10は、複数の補助光投光部13として、補助光投光部13a及び13bを含むものとして説明する。また、補助光投光部13aは、撮像領域r11中の部分領域r21aに対して補助光を投光するように設けられている(即ち、設置位置、向き、及び補助光の照射角等が設定されている)ものとして説明する。同様に、補助光投光部13bは、撮像領域r11中の部分領域r21bに対して補助光を投光するように設けられているものとする。
撮像部15は、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等の撮像素子と、レンズ等の光学系とを含み、被写体の画像(例えば、静止画像や動画像)を撮像するための構成である。
補助光投光部13は、被写体に対して補助光を投光するための構成であり、当該補助光を出射する光源を含む。なお、補助光投光部13が被写体に対して投光する補助光の種別は特に限定されない。具体的な一例として、補助光投光部13は、所謂可視光を補助光として投光するように構成されていてもよい。また、他の一例として、補助光投光部13は、赤外光(IR:infrared)等のような不可視光を補助光として投光するように構成されていてもよい。
同期制御部111は、撮像部15が画像を撮像するタイミングと、複数の補助光投光部13のそれぞれが補助光を投光するタイミングとを連動させる(例えば、同期させる)ための同期信号を生成する。なお、このとき同期制御部111は、撮像部15のシャッタースピードと、各補助光投光部13が補助光を投光する周期(以降では、「補助光投光部13の発光周期」と記載する場合がある)とのうち少なくともいずれかに応じて、同期信号を生成してもよい。
そして、同期制御部111は、生成した同期信号を、後述する撮像制御部115と、補助光制御部113とに供給する。
撮像制御部115は、撮像部15の画像の撮像に係る動作を制御する(例えば、撮像タイミング、撮像時間、露出条件等を制御する)ための構成である。
撮像制御部115は、同期制御部111から供給される制御信号に同期して、撮像部15の撮像タイミングを制御する。このとき、撮像制御部115は、供給された当該制御信号に基づき、撮像部15の撮像時間を制御してもよい。このような構成により、撮像制御部115は、例えば、補助光投光部13が補助光を投光するタイミングに同期して、撮像部15に画像を撮像させることが可能となる。
また、撮像制御部115は、あらかじめ決められたタイミングで、撮像部15に撮像領域r11の画像を撮像させ、撮像された当該画像を後述する解析部117に出力する。なお、このとき撮像部15が撮像する画像は、後述する解析部117が当該画像に対して解析処理(例えば、前述した輝度分布の生成に係る処理)を実行できる程度のデータ量を有していれば、当該画像のサイズや解像度は特に限定されない。具体的な一例として、撮像制御部115は、撮像部15に所謂スルー画像(即ち、間引き画像)を撮像させ、当該スルー画像を解析部117に出力してもよい。なお、撮像制御部115が、「取得部」の一例に相当する。
解析部117は、撮像部15により撮像された撮像領域r11の画像を、撮像制御部115から取得する。解析部117は、取得した撮像領域r11の画像に対して、画像解析処理を施すことで、当該撮像領域r11中の輝度分布を示したデータ(以降では、単に「輝度分布」を記載する場合がある)を生成する。そして、解析部117は、生成した撮像領域r11の輝度分布を、補助光制御部113に出力する。
補助光制御部113は、複数の補助光投光部13(例えば、補助光投光部13a及び13b)それぞれの、補助光の投光に係る動作を制御する(例えば、補助光投光部13の発光タイミング、発光時間、及び発光量を制御する)ための構成である。
補助光制御部113は、同期制御部111から供給される制御信号に同期して、複数の補助光投光部13それぞれが補助光を投光するタイミング(即ち、各補助光投光部13の発光タイミング)を制御する。このような構成により、補助光制御部113は、例えば、撮像部15が画像を撮像するタイミングに同期して、各補助光投光部13に補助光を投光させることが可能となる。
また、補助光制御部113は、あらかじめ決められたタイミングで撮像部15により撮像された画像の解析結果に基づき生成された撮像領域r11の輝度分布を、解析部117から取得する。補助光制御部113は、取得した撮像領域r11の輝度分布に基づき、当該撮像領域r11中の各部分領域r21の輝度分布を特定する。
そして、補助光制御部113は、各部分領域r21の輝度分布に応じて、当該部分領域r21にあらかじめ関連付けられた補助光投光部13から投光される補助光の光量を特定し、特定した補助光の光量に応じて、当該補助光投光部13の動作を制御する。
具体的な一例として、図3及び図5に示す例の場合には、補助光制御部113は、部分領域r21aの輝度分布に応じて、画像中に撮像される当該部分領域r21a中の被写体の輝度が所定の輝度値I13となるように、補助光の光量を特定する。なお、補助光の光量と、画像中における被写体の輝度との関係については、例えば、事前の実験等に基づき特定し当該関係を示す制御情報を、補助光制御部113が読み出し可能な領域に記憶させておけばよい。
そして、補助光制御部113は、部分領域r21aに対して特定した光量の補助光が投光されるように、当該部分領域r21aに関連付けられた(即ち、部分領域r21aに補助光を投光する)補助光投光部13aの動作を制御する。
同様に、補助光制御部113は、部分領域r21bの輝度分布に応じて、画像中に撮像される当該部分領域r21b中の被写体の輝度が所定の輝度値I13となるように、補助光の光量を特定する。そして、補助光制御部113は、部分領域r21bに対して特定した光量の補助光が投光されるように、当該部分領域r21bに関連付けられた補助光投光部13bの動作を制御する。
なお、複数の補助光投光部13が補助光を投光する、撮像領域r11中の領域(即ち、部分領域r21)は、撮像部15に対する補助光投光部13の相対位置、当該補助光投光部13の向き、及び当該補助光投光部13の照射角に応じてあらかじめ特定できる。即ち、補助光投光部13は、上記に示す方法に基づき、あらかじめ特定された、部分領域r21と補助光投光部13との対応関係に応じて、部分領域r21ごとに補助光投光部13の動作を制御すればよい。
なお、このとき、補助光制御部113は、各補助光投光部13が投光する補助光の光量を制御できれば、その方法は特に限定されない。具体的な一例として、補助光制御部113は、各補助光投光部13の発光時間を制御することで、当該補助光投光部13が投光する補助光の光量を制御してもよい。また、他の一例として、補助光制御部113は、各補助光投光部13の発光量を制御することで、当該補助光投光部13が投光する補助光の光量を制御してもよい。もちろん、補助光制御部113は、各補助光投光部13の発光時間と、当該補助光投光部13の発光量との双方を制御することで、当該補助光投光部13が投光する補助光の光量を制御してもよい。
以上のような構成により、本実施形態に係る撮像装置10は、撮像領域r11中の部分領域r21ごとに、当該部分領域r21に投光される補助光の光量を制御する。このような構成により、本実施形態に係る撮像装置10は、撮像領域中において明るさにムラがあるような状況下においても、当該明るさのムラを軽減し、より好適な撮像環境を実現することが可能となる。
なお、撮像装置10が、各補助光投光部13から投光される補助光の光量を制御するタイミングは特に限定されない。具体的な一例として、撮像装置10は、あらかじめ決められたタイミングごとに撮像領域r11の画像を撮像し、当該画像の解析結果に応じて各補助光投光部13から投光される補助光の光量を制御してもよい。
また、他の一例として、撮像装置10は、あらかじめ決められた処理をトリガとして、当該処理に連動して、各補助光投光部13から投光される補助光の光量を制御してもよい。具体的な一例として、撮像装置10は、ユーザ操作に基づき画像の撮像が指示された場合に、当該画像を撮像する直前に、撮像領域r11のスルー画像を撮像し、当該スルー画像の解析結果に応じて各補助光投光部13から投光される補助光の光量を制御してもよい。
なお、図7では、撮像装置10が各補助光投光部13を含む例について説明しているが、撮像装置10の制御に基づき各補助光投光部13が動作可能であれば、当該補助光投光部13は、撮像装置10の外部に設けられていてもよい。具体的な一例として、補助光投光部13は、所謂外付けの補助光投光器として構成されていてもよい。
同様に、撮像部15は、撮像装置10の外部に設けられていてもよい。また、撮像部15のうち、一部の構成を撮像装置10の外部に設ける構成としてもよい。具体的な一例として、撮像部15のうち、イメージセンサ等の撮像素子を撮像装置10に設け、レンズ等の光学系を撮像装置10の外部に外付けする構成とすることで、当該撮像装置10を、所謂レンズ交換式の撮像装置として構成してもよい。
また、撮像装置10は、撮像領域r11中の各部分領域r21と、各補助光投光部13との間の対応関係を動的に算出してもよい。具体的な一例として、撮像装置10は、撮像部15と各補助光投光部13との間の相対的な位置関係(例えば、位置や向き)に応じて、当該検出結果と、各補助光投光部13の照射角を示す情報とに応じて、各補助光投光部13が補助光を投光する部分領域r21を特定すればよい。
なお、この場合には、撮像装置10が、撮像部15と各補助光投光部13との間の相対的な位置関係を特定する方法は特に限定されない。具体的な一例として、撮像装置10は、GPS(Global Positioning System)等の技術に基づき取得された、撮像部15と各補助光投光部13それぞれの位置情報に基づき、撮像部15と各補助光投光部13との間の相対的な位置関係を特定してもよい。また、撮像装置10は、各補助光投光部13の照射角を示す情報を、当該補助光投光部13それぞれから取得すればよい。
また、撮像装置10は、各補助光投光部13に補助光を順次投光させ、当該補助光の投光ごとに撮像領域r11の画像を撮像し、当該画像を解析することで、各部分領域r21と、各補助光投光部13との間の対応関係を動的に算出してもよい。この場合には、撮像装置10は、撮像領域r11中における補助光により照明された部分領域r21と、当該補助光を投光した補助光投光部13とを関連付ければよい。
また、他の一例として、撮像部15と各補助光投光部13との間の相対的な位置関係を示す情報を、撮像装置10が読み出し可能な位置(例えば、撮像装置10内)にあらかじめ記憶させておいてもよい。特に、撮像部15と各補助光投光部13とが撮像装置10に内蔵されている場合には、撮像部15と各補助光投光部13との間の相対的な位置関係は常に一定となる場合もある。そのため、当該位置関係を示す情報を事前に生成しておくことが可能であることは言うまでもない。これは、各補助光投光部13の照射角についても同様である。
以上、図7を参照して、本実施形態に係る撮像装置10の機能構成の一例について説明した。
[1.3.処理]
次に、図8を参照して、本実施形態に係る撮像装置10の一連の処理の流れの一例について、特に、当該撮像装置10が、各補助光投光部13が投光する補助光の光量を制御する動作に着目して説明する。図8は、本実施形態に係る撮像装置10の一連の処理の流れの一例を示したフローチャートである。
(ステップS101)
撮像制御部115は、あらかじめ決められたタイミングで、撮像部15に撮像領域r11の画像を撮像させ、撮像された当該画像を解析部117に出力する。なお、このとき撮像部15が撮像する画像は、後述する解析部117が当該画像に基づき撮像領域r11の輝度分布を生成できれば、当該画像のサイズや解像度は特に限定されない。具体的な一例として、撮像制御部115は、撮像部15に所謂スルー画像(即ち、間引き画像)を撮像させ、当該スルー画像を解析部117に出力してもよい。
(ステップS103)
解析部117は、撮像部15により撮像された撮像領域r11の画像を、撮像制御部115から取得する。解析部117は、取得した撮像領域r11の画像に対して、画像解析処理を施すことで、当該撮像領域r11の輝度分布を生成する。そして、解析部117は、生成した撮像領域r11の輝度分布を、補助光制御部113に出力する。
補助光制御部113は、あらかじめ決められたタイミングで撮像部15により撮像された画像の解析結果に基づき生成された撮像領域r11の輝度分布を、解析部117から取得する。補助光制御部113は、取得した撮像領域r11の輝度分布に基づき、当該撮像領域r11中の各部分領域r21の輝度分布を特定する。
(ステップS105)
補助光制御部113は、各部分領域r21の輝度分布に応じて、当該部分領域r21にあらかじめ関連付けられた補助光投光部13から投光される補助光の光量を特定する。具体的な一例として、補助光制御部113は、部分領域r21の輝度分布に応じて、画像中に撮像される当該部分領域r21中の被写体の輝度が所定の輝度値I13となるように、補助光の光量を特定する。
(ステップS107)
そして、補助光制御部113は、各部分領域r21aに対して特定した光量の補助光が投光されるように、当該部分領域r21に関連付けられた(即ち、当該部分領域r21に補助光を投光する)補助光投光部13の動作を制御する。
以上のような構成により、本実施形態に係る撮像装置10は、撮像領域r11中の部分領域r21ごとに、当該部分領域r21に投光される補助光の光量を制御する。このような構成により、本実施形態に係る撮像装置10は、撮像領域中において明るさにムラがあるような状況下においても、当該明るさのムラを軽減し、より好適な撮像環境を実現することが可能となる。
以上、図8を参照して、本実施形態に係る撮像装置10の一連の処理の流れの一例について、特に、当該撮像装置10が、各補助光投光部13が投光する補助光の光量を制御する動作に着目して説明した。
[1.4.変形例]
次に、本実施形態に係る撮像装置10の変形例について説明する。
<<1.4.1.変形例1:撮像装置の適用例>>
まず、変形例1として、図9を参照して、本実施形態に係る撮像装置10を適用した情報処理装置の一例について説明する。図9は、変形例1に係る情報処理装置の概要について説明するための説明図である。なお、図9において、x方向及びy方向は、水平方向に沿った互いに異なる方向を示しており、z方向は鉛直方向(即ち、高さ方向)を示しているものとする。また、変形例1として以下に説明する情報処理装置を、以降では「情報処理装置70」と記載する場合がある。
情報処理装置70は、各種コンテンツが表示された操作画面を所定の領域に投影することで、当該操作画面をユーザに提示する。例えば、図9に示す例では、情報処理装置70は、水平方向に沿って延伸するテーブルの天板(以降では、「テーブルトップ」と記載する場合がある)を投影面80として、当該投影面80上に操作画面を投影している。
また、情報処理装置70は、操作画面が投影された投影面80上の画像を撮像装置に撮像させ、撮像された画像を解析することで、ユーザの手や指等のような操作体u21による、投影面80上に表示された操作画面に対する操作内容を認識する。
具体的には、情報処理装置70は、撮像装置により撮像された画像から、特徴的な形状のオブジェクトや、操作画面の投影面80(例えば、テーブルトップ)上の動体を、操作体u21として抽出し、抽出した操作体u21の動作に基づき操作内容を認識してもよい。また、他の一例として、情報処理装置70は、撮像装置により撮像された画像と、投影面80に投影している操作画面との差分に基づき、投影された操作画面上に存在するオブジェクトを操作体u21として抽出してもよい。
また、情報処理装置70に所謂測距センサ(例えば、デプスセンサ)を設け、当該測距センサの検出結果と、撮像装置により撮像された画像の解析結果とを組み合わせることで、操作体u21による操作画面に対する操作内容を認識してもよい。例えば、情報処理装置70は、測距センサにより検出された、投影面80までの距離と、操作体u21までの距離との差分に基づき、投影面80と操作体u21との間のz方向に沿った相対的な位置関係を認識することが可能となる。
そして、情報処理装置70は、認識した操作内容に基づき操作画面を更新し、更新後の操作画面を投影面80(例えば、テーブルトップ)上に投影する。
以上説明した情報処理装置70が、投影面80に投影操作画面上の操作体u21を検出するための画像を撮像する撮像装置として、前述した本実施形態に係る撮像装置10を適用してもよい。
例えば、図9は、上記した情報処理装置70に対して、本実施形態に係る撮像装置10を適用した場合の一例を示している。
図9に示す例では、情報処理装置70が、操作画面を投影する投影面80(例えば、テーブルトップ)上の領域が複数の部分領域r21a及びr21に分割され、当該部分領域r21a及びr21に対して補助光投光部13a及び13bが関連付けられている。具体的には、補助光投光部13aは、部分領域r21aに対して補助光を投光するように設けられ、補助光投光部13bは、部分領域r21bに対して補助光を投光するように設けられている。
なお、撮像装置10の撮像領域は、少なくとも情報処理装置70が操作画面を投影する領域を包含する。そのため、撮像装置10の撮像領域に、複数の部分領域r21a及びr21のそれぞれが包含されることとなる。
また、図9に示す例では、構成をわかりやすくするために、補助光投光部13a及び13bが、情報処理装置70(ひいては、撮像装置10)の外部に設けられているが、当該補助光投光部13a及び13bは、情報処理装置70に内蔵されていてもよいことは言うまでもない。
このような構成により、変形例1に係る情報処理装置70は、撮像装置10により撮像された部分領域r21ごとの輝度分布に基づき、当該部分領域r21に関連付けられた補助光投光部13の動作を制御する。これにより、情報処理装置70は、投影面80に投影された操作画面中の部分領域r21a及びr21bそれぞれに対して投光される補助光の光量を個別に制御することが可能となる。
特に、変形例1に係る情報処理装置70では、操作体u21の位置が逐次変化し、当該操作体u21の位置の変化(特に、撮像装置10との間の距離の変化)に応じて、画像中に撮像される操作体u21の明るさも変化する。このような状況下においても、情報処理装置70に対して本実施形態に係る撮像装置10を適用することで、画像中に撮像される操作体u21の明るさ(例えば、輝度)を、逐次適切な輝度値に制御することも可能となる。即ち、変形例1に係る情報処理装置70は、操作体u21の位置が逐次変化するような状況下においても、画像中に撮像される操作体u21の明るさ(換言すると、露出)を所定の範囲内に維持することが可能なため、当該操作体u21の認識精度の劣化を防止することが可能となる。
<<1.4.2.変形例2:補助光の制御例>>
次に、変形例2として、一の部分領域r21に対して複数の補助光投光部13が補助光を投光する場合における、撮像装置10による、各補助光投光部13から投光される補助光の光量の制御の一例について説明する。
一般的に、被写体に対して複数の方向から光を投光した場合に、各光により形成される被写体の影をより薄くする効果を得られることが知られている。変形例2に係る撮像装置10では、このような効果を利用することで、補助光投光部13からの補助光の投光に伴い形成される被写体u11の影が抑えられた画像の撮像を実現する。
例えば、図10は、変形例2に係る撮像装置10の概要について説明するための説明図であり、一の部分領域r21に対して複数の補助光投光部13が関連付けられている場合の一例を示している。なお、図10は、一の部分領域r21に存在する被写体u11に対して、当該部分領域r21に関連付けられた複数の補助光投光部13a〜13cのそれぞれが補助光を投光している状態を模式的に示している。
図10において、参照符号r13aは、補助光投光部13aから補助光が投光される領域、即ち、補助光投光部13aから投光された補助光により照明される領域を模式的に示している。同様に、参照符号r13bは、補助光投光部13bから補助光が投光される領域を示している。また、参照符号r13cは、補助光投光部13cから補助光が投光される領域を示している。
また、図10において、参照符号v11aは、補助光投光部13aから被写体u11に対して補助光が投光されることで形成される、当該被写体u11の影を模式的に示している。同様に、参照符号v11bは、補助光投光部13bから被写体u11に対して補助光が投光されることで形成される、当該被写体u11の影を模式的に示している。また、参照符号v11cは、補助光投光部13cから被写体u11に対して補助光が投光されることで形成される、当該被写体u11の影を模式的に示している。なお、以降では、影v11a〜v11cを特に区別しない場合には、単に「影v11」と記載する場合がある。
図10に示すように、変形例2に係る撮像装置10では、一の部分領域r21に関連付けられた複数の補助光投光部13が、当該一の部分領域r21に向けて互いに異なる方向から補助光を投光するように設けられている。そして、変形例2に係る撮像装置10は、撮像された撮像領域r11の画像を解析することで、当該解析結果に基づき、当該撮像領域r11中の一の部分領域r21に関連付けられた複数の補助光投光部13それぞれから投光される補助光の光量を制御する。
具体的な一例として、撮像装置10は、複数の補助光投光部13a〜13cそれぞれからの補助光の投光に伴い、撮像領域r11の画像中に撮像された被写体u11の影v11a〜v11cを解析することで、当該補助光投光部13a〜13cの動作を制御する。
この場合には、撮像装置10は、撮像部15により撮像された撮像領域r11の画像を解析することで、部分領域r21ごとに、当該部分領域r21中に存在する被写体u11の影v11を、当該画像中から抽出する。
なお、撮像装置10が、該被写体u11の影v11を抽出できれば、その方法は特に限定されない。具体的な一例として、撮像装置10は、抽出対象となる被写体の形状特徴に基づき被写体u11を画像から抽出し、抽出した被写体u11に類似する領域を、当該被写体u11の影v11として抽出してもよい。
また、画像中に撮像される被写体u11と、当該被写体u11の影v11とでは、補助光が直接投光される被写体u11の方が、当該被写体u11により補助光が遮蔽されることで形成される影v11よりも明るく撮像される。そのため、撮像装置10は、画像中における被写体u11と形状が類似する複数の領域(即ち、被写体u11と当該被写体u11の影v11に対応する領域)とが抽出された場合には、当該複数の領域のうち、最も輝度の高い領域を、被写体u11を示す領域として識別すればよい。なお、この場合には、撮像装置10は、抽出された複数の領域のうち、被写体u11を示す領域以外の他の領域を、当該被写体u11の影v11を示す領域として認識すればよいことは言うまでもない。
部分領域r21ごとに被写体u11の影v11を抽出したら、撮像装置10は、抽出した各影v11の濃度の差があらかじめ決められた閾値以下となるように(換言すると、略等しくなるように)各補助光投光部13から投光される補助光の光量を制御する。なお、このとき、撮像装置10は、部分領域r21と複数の補助光投光部13との相対的な位置関係に応じて、抽出された複数の影v11のそれぞれが、複数の補助光投光部13のうちいずれから投光された補助光により形成されたものであるかを認識すればよい。
そして、撮像装置10は、例えば、複数の影v11a〜v11cのうち、影v11aが他の影v11b及びv11cに比べて濃い場合(即ち、輝度が低い場合)には、影v11aに対応する補助光投光部13aから投光される補助光の光量を制限する。なお、このとき、撮像装置10は、部分領域v21に対して投光される補助光の光量の総量を維持するために、他の補助光投光部13b及び13cから投光される補助光の光量を増やしてもよい。
同様に、撮像装置10は、例えば、複数の影v11a〜v11cのうち、影v11aが他の影v11b及びv11cに比べて薄い場合(即ち、輝度が高い場合)には、影v11aに対応する補助光投光部13aから投光される補助光の光量を増やす。なお、このとき、撮像装置10は、部分領域v21に対して投光される補助光の光量の総量を維持するために、他の補助光投光部13b及び13cから投光される補助光の光量を制限してもよい。
このような構成により、変形例2に係る撮像装置10は、複数の補助光投光部13それぞれからの補助光の投光に伴い形成される被写体u11の影v11がより抑えられた画像を撮像することが可能となる。
なお、上述した変形例2に係る撮像装置10を、前述した変形例1に係る情報処理装置70(図9参照)に適用してもよい。例えば、図11は、変形例2に係る撮像装置10の概要について説明するための説明図であり、当該撮像装置10を、前述した変形例1に係る情報処理装置70に適用した場合の一例を示している。
図11における、参照符号r13a〜13cは、図10に示す例と同様に、補助光投光部13a〜13cから補助光が投光される領域を、それぞれ模式的に示している。
また、図11において、参照符号v21aは、補助光投光部13aから操作体u21(即ち、被写体)に対して補助光が投光されることで投影面80に形成される、当該操作体u21の影を模式的に示している。同様に、参照符号v21bは、補助光投光部13bから操作体u21に対して補助光が投光されることで投影面80に形成される、当該操作体u21の影を模式的に示している。また、参照符号v21cは、補助光投光部13cから操作体u21に対して補助光が投光されることで投影面80に形成される、当該操作体u21の影を模式的に示している。なお、以降では、影v21a〜v21cを特に区別しない場合には、単に「影v21」と記載する場合がある。
図11に示す例の場合には、撮像装置10は、図10に示す例と同様に、撮像された撮像領域r11の画像を解析することで、検出対象となる操作体の形状特徴に基づき、操作体u21と当該操作体u21の影v11とを示す各領域を抽出する。そして、撮像装置10は、抽出した操作体u21と当該操作体u21の影v11とを示す各領域それぞれの輝度に基づき、当該操作体u21の影v11に対応する領域を特定すればよい。
また、他の一例として、撮像装置10は、デプスセンサ等の測距センサの検出結果により、抽出した操作体u21と当該操作体u21の影v11とを示す各領域から、当該操作体u21の影v11に対応する領域を特定してもよい。
具体的には、操作体u21は、情報処理装置70と投影面80との間に介在することとなる。そのため、測距センサが情報処理装置70に設けられている場合には、操作体u21は、投影面80よりも当該測距センサに近い位置に存在することとなる。そのため、撮像装置10は、抽出した操作体u21と当該操作体u21の影v11とを示す各領域のうち、測距センサにより近くに位置する領域を、操作体u21に対応する領域として識別し、他の領域を当該操作体u21の影v11に対応する領域と認識すればよい。
なお、以降の動作は、前述した図10に示す例と同様である。即ち、撮像装置10は、部分領域r21ごとに抽出した操作体u21の各影v21の濃度の差があらかじめ決められた閾値以下となるように各補助光投光部13から投光される補助光の光量を制御すればよい。
このような構成により、図11に示す例においても、撮像装置10は、操作体u21に対して補助光が投光されることで形成される、操作体u21の影v21がより抑えられた画像を撮像することが可能となる。また、操作体u21の影v21が抑えられるため、情報処理装置70による、撮像された画像に基づく操作体u21の認識精度を向上させることが可能となる。
以上、図10及び図11を参照して、変形例2に係る撮像装置10の一例について説明した。
<<1.4.3.変形例3:補助光の制御例>>
次に、変形例3として、一の部分領域r21に対して複数の補助光投光部13が補助光を投光する場合における、撮像装置10による、補助光投光部13から投光される補助光の制御の他の一例について説明する。前述した変形例2では、撮像装置10は、撮像された撮像領域r11の解析結果に基づき、一の部分領域r21に関連付けられた複数の補助光投光部13それぞれの動作を制御していた。
これに対して、変形例3に係る撮像装置10は、撮像部15に対する被写体u11の相対位置を検出し、当該相対位置の検出結果に基づき、複数の補助光投光部13それぞれから投光される補助光の光量を制御する。
具体的には、撮像装置10は、測距センサ(例えば、デプスセンサ)の検出結果に基づき、撮像領域r11中の部分領域r21ごとに、撮像部15に対する当該部分領域r21中に存在する被写体u11の相対位置を特定する。
また、撮像装置10は、撮像部15と部分領域r21中の被写体u11との間の相対位置と、当該撮像部15と当該部分領域r21に関連付けられた補助光投光部13との間の相対位置とに基づき、当該被写体u11と当該補助光投光部13との間の相対位置を特定する。
なお、撮像装置10が、撮像部15と各補助光投光部13との間の相対的な位置関係を特定する方法については特に限定されない。具体的な一例として、撮像装置10は、GPS(Global Positioning System)等の技術に基づき取得された、撮像部15と各補助光投光部13それぞれの位置情報に基づき、撮像部15と各補助光投光部13との間の相対的な位置関係を特定してもよい。また、他の一例として、撮像部15と各補助光投光部13との間の相対的な位置関係を示す情報を、撮像装置10が読み出し可能な位置(例えば、撮像装置10内)にあらかじめ記憶させておいてもよい。
そして、撮像装置10は、部分領域r21中の被写体u11と、当該部分領域r21に関連付けられた補助光投光部13との間の相対位置(特に、距離)に応じて、当該補助光投光部13から投光される補助光の光量を制御する。このとき、撮像装置10は、前述した変形例2と同様に、当該被写体u11に対して各補助光投光部13から補助光が投光されることで形成される各影の濃度の差が、あらかじめ決められた閾値以下となるように当該各補助光の光量を制御してもよい。
以上のような構成により、変形例3に係る撮像装置10は、前述した変形例2と同様に、複数の補助光投光部13それぞれからの補助光の投光に伴い形成される被写体u11の影v11がより抑えられた画像を撮像することが可能となる。
[1.5.まとめ]
以上、説明したように、本実施形態に係る撮像装置10は、撮像領域r11を複数の部分領域r21に分割し、当該部分領域r21それぞれに対して、互いに異なる補助光投光部13を事前に関連付ける。そして、撮像装置10は、各部分領域r21それぞれに対して、当該部分領域r21に関連付けられた補助光投光部13から補助光を投光することで、当該部分領域r21ごとに明るさを制御する。
また、このとき、撮像装置10は、撮像された撮像領域r11の画像中における、部分領域r21それぞれの輝度分布に応じて、当該部分領域r21に関連付けられた補助光投光部13から投光される補助光の光量を制御する。このような構成により、本実施形態に係る撮像装置10は、撮像領域中において明るさにムラがあるような状況下においても、当該明るさのムラを軽減し、より好適な撮像環境を実現することが可能となる。
なお、本実施形態に係る撮像装置10は、前述した撮像領域r11の画像の解析結果に基づく各補助光投光部13の制御と、他の検出デバイスに基づく各補助光投光部13の制御を適宜組み合わせてもよい。具体的な一例として、撮像装置10は、測距センサ(例えば、デプスセンサ)により、各部分領域r21中に存在する被写体との間の距離を測定し、測定した距離が閾値未満の場合には、当該部分領域r21に関連付けられた補助光投光部13から投光される補助光をさらに制限してもよい。なお、このとき、撮像装置10は、測定した被写体との間の距離に応じて、補助光投光部13を消灯させてもよいことは言うまでもない。
<2.第2の実施形態>
[2.1.概要]
次に、第2の実施形態に係る撮像装置10について説明する。前述した第1の実施形態に係る撮像装置10は、撮像部15により撮像された撮像領域r11の画像の輝度分布に基づき、当該撮像領域r11中の複数の部分領域r21それぞれに関連付けられた補助光投光部13から投光される補助光の光量を制御していた。これに対して、本実施形態に係る撮像装置10は、顔認識技術等のような所定の被写体を検出する技術を利用することで、撮像部15により撮像された撮像領域r11の画像から部分領域r21ごとに被写体を検出し、検出結果に応じて各補助光投光部13の動作を制御する。
そこで、図12〜図15を参照して、本実施形態に係る撮像装置10の概要について説明する。図12〜図15は、本実施形態に係る撮像装置10の概要について説明するための説明図である。なお、本説明では、図2に示すように、撮像装置10は、撮像領域r11を複数の部分領域r21a及びr21bに分割し、当該部分領域r21a及びr21bに対して、互いに異なる補助光投光部13a及び13bにより補助光を投光するものとする。また、部分領域r21aには、被写体u11が存在し、部分領域r21bには被写体u12が存在するものとして説明する。
本実施形態に係る撮像装置10は、各部分領域r21に対して投光される補助光の光量を逐次変化させて、変化させた当該光量ごとに撮像領域r11の画像を取得し、当該画像を解析することで、部分領域r21ごとに被写体の検出に係る処理を実行する。例えば、図12〜図14は、補助光投光部13a及び13bそれぞれから投光される補助光の光量に応じて撮像される撮像領域r11の画像の一例を模式的に示している。
具体的には、図12は、補助光投光部13a及び13bそれぞれから投光される補助光の光量がより多くなるように制御された場合の一例を示している。図12に示す例では、部分領域r21b中の被写体u12に対して、補助光投光部13bから適切な光量の補助光が投光されている。そのため、撮像装置10は、撮像された画像中の部分領域r21bの解析結果に基づき、当該画像から被写体u12を検出することができる。
これに対して、被写体u11は、被写体u12よりも撮像装置10の近くに位置している。そのため、被写体u11は、補助光投光部13aから投光される補助光により、被写体u12よりもより明るく照明される。このような状況下では、例えば、撮像された画像中における被写体u11の領域の輝度が飽和し、撮像装置10は、当該画像から被写体u11を検出することが困難となる。
次に、図13に示す例について説明する。図13に示す例は、図12に示す例よりも、補助光投光部13a及び13bそれぞれから投光される補助光の光量を制限した場合について示している。図13に示す例では、部分領域r21a中の被写体u11に対して、補助光投光部13aから適切な光量の補助光が投光されている。そのため、撮像装置10は、撮像された画像中の部分領域r21aの解析結果に基づき、当該画像から被写体u11を検出することができる。
これに対して、被写体u12は、被写体u11よりも撮像装置10の遠くに位置している。そのため、被写体u12は、補助光投光部13bから投光される補助光により、被写体u11よりもより暗く照明される。このような状況下では、撮像装置10は、例えば、撮像された画像中における被写体u12の領域を判別するために十分な輝度が得られず、当該画像から被写体u12を検出することが困難となる。
次に、図14に示す例について説明する。図14に示す例は、図13に示す例から、さらに、補助光投光部13a及び13bそれぞれから投光される補助光の光量を制限した場合について示している。図14に示す例は、部分領域r21a中の被写体u11と、部分領域r21b中の被写体u12との双方に対して、十分な光量の補助光が投光されていない状態を示している。そのため、撮像装置10は、撮像された画像中における被写体u11及びu12双方の領域を判別するために十分な輝度が得られず、当該画像から被写体u11及びu12を検出することが困難となる。
そして、撮像装置10は、図12〜図14に示した各画像の解析結果に基づく、部分領域r21ごとの被写体の検出結果に応じて、各部分領域r21に関連付けられた補助光投光部13から投光される補助光の光量を制御する。図15は、本実施形態に係る撮像装置10の概要について説明するための説明図であり、図12〜図14に示した各画像の解析結果に基づく、各補助光投光部13の制御結果の一例を示している。
前述したように、撮像装置10は、図13に示した撮像領域r11の画像の解析結果に基づき部分領域r21a中の被写体u11を検出し、その他の画像の解析結果からは当該被写体u11を検出することが困難であった。そのため、撮像装置10は、補助光投光部13aから部分領域r21aに投光される補助光の光量を、図13に示す画像が撮像されたときの光量(即ち、被写体u11が検出されたときの光量)に設定する。
同様に、撮像装置10は、図12に示した撮像領域r11の画像の解析結果に基づき部分領域r21b中の被写体u12を検出し、その他の画像の解析結果からは当該被写体u12を検出することが困難であった。そのため、撮像装置10は、補助光投光部13bから部分領域r21bに投光される補助光の光量を、図12に示す画像が撮像されたときの光量(即ち、被写体u12が検出されたときの光量)に設定する。
以上のような制御により、撮像装置10は、図15に示すように、部分領域r21a中の被写体u11と、部分領域r21b中の被写体u12とのそれぞれに対して、適切な光量の補助光を投光することが可能となる。
以上、説明したように、本実施形態に係る撮像装置10は、撮像領域r11を複数の部分領域r21に分割し、当該部分領域r21それぞれに対して、互いに異なる補助光投光部13を事前に関連付ける。そして、撮像装置10は、各部分領域r21それぞれに対して、当該部分領域r21に関連付けられた補助光投光部13から補助光を投光することで、当該部分領域r21ごとに明るさを制御する。
また、このとき、撮像装置10は、顔認識技術等のような所定の被写体を検出する技術を利用することで、撮像部15により撮像された撮像領域r11の画像から部分領域r21ごとに被写体を検出し、検出結果に応じて各補助光投光部13の動作を制御する。
具体的には、撮像装置10は、各部分領域r21に対して投光される補助光の光量を逐次変化させて、変化させた当該光量ごとに撮像領域r11の画像を取得し、当該画像を解析することで、部分領域r21ごとに被写体の検出に係る処理を実行する。そして、撮像装置10は、各部分領域r21に関連付けられた補助光投光部13から投光される補助光の光量を、当該部分領域r21中の被写体が検出されたときの光量に設定する。
以上のような制御により、本実施形態に係る撮像装置10は、各部分領域r21中の被写体それぞれに対して、適切な光量の補助光が投光されるように制御することが可能となる。即ち、本実施形態に係る撮像装置10は、撮像領域中において明るさにムラがあるような状況下においても、当該明るさのムラを軽減し、より好適な撮像環境を実現することが可能となる。
また、本実施形態に係る撮像装置10は、あらかじめ決められた被写体の検出結果に応じて、補助光投光部13から投光される補助光の光量を制御する。そのため、撮像装置10は、対象となる被写体とは異なる他の被写体の明るさに依存せずに、検出対象となる被写体が適切な明るさで照明されるように、各補助光投光部13から投光される補助光の光量を制御することが可能となる。
なお、撮像装置10が、各部分領域r21に対して投光される補助光の光量を逐次変化させ、当該光量を変化させる度に撮像される画像に基づく部分領域r21中の被写体の検出結果に応じて補助光の光量を特定できれば、その方法は特に限定されない。例えば、撮像装置10は、補助光の光量を、より明るい設定からより暗い設定(もしくは、より暗い設定からより明るい設定)に走査しながら撮像領域r11の画像を撮像し、撮像された画像に基づく被写体の検出結果に応じて、補助光の光量を特定してもよい。
また、前述した例では、説明をわかりやすくするために、撮像装置10は、各部分領域r21中の被写体が検出できるか否かを確認する際に、各部分領域r21に対して同じ光量の補助光を投光していた。しかしながら、撮像装置10が、部分領域r21ごとに被写体が検出されるか否かを確認し、当該検出結果に応じて補助光の光量を特定できれば、必ずしも、各部分領域r21に対して同じ光量の補助光が投光されなくてもよい。
以上、図12〜図15を参照して、本実施形態に係る撮像装置10の概要について説明した。なお、以降では、本実施形態に係る撮像装置10について、さらに詳しく説明する。
[2.2.機能構成]
まず、図16を参照して、本実施形態に係る撮像装置10の機能構成の一例について説明する。図16は、本実施形態に係る撮像装置10の機能構成の一例を示したブロック図である。
図16に示すように、本実施形態に係る撮像装置10は、制御部21と、複数の補助光投光部13と、撮像部15とを含む。また、制御部21は、同期制御部211と、補助光制御部213と、撮像制御部215と、解析部217とを含む。なお、本実施形態に係る撮像装置10は、制御部21中の構成の動作が、前述した第1の実施形態に係る撮像装置10と一部異なり、各補助光投光部13と撮像部15とについては前述した第1の実施形態に係る撮像装置10と同様である。そのため、本説明では、本実施形態に係る撮像装置10の構成のうち、特に、前述した第1の実施形態に係る撮像装置10と異なる部分に着目して説明し、その他の構成については詳細な説明は省略する。
なお、本説明では、前述した図2〜図6に示す例と同様に、撮像装置10は、複数の補助光投光部13として、補助光投光部13a及び13bを含むものとして説明する。また、補助光投光部13aは、撮像領域r11中の部分領域r21aに対して補助光を投光するように設けられている(即ち、設置位置、向き、及び補助光の照射角等が設定されている)ものとして説明する。同様に、補助光投光部13bは、撮像領域r11中の部分領域r21bに対して補助光を投光するように設けられているものとする。
同期制御部211は、前述した第1の実施形態に係る同期制御部111と同様である。即ち、同期制御部211は、撮像部15が画像を撮像するタイミングと、複数の補助光投光部13のそれぞれが補助光を投光するタイミングとを連動させる(例えば、同期させる)ための同期信号を生成する。そして、同期制御部211は、生成した同期信号を、後述する撮像制御部215と、補助光制御部213とに供給する。
撮像制御部215は、前述した第1の実施形態に係る撮像制御部115に相当し、撮像部15の画像の撮像に係る動作を制御する(例えば、撮像タイミング、撮像時間、露出条件等を制御する)ための構成である。
撮像制御部215は、同期制御部211から供給される制御信号に同期して、撮像部15の撮像タイミングを制御する。このとき、撮像制御部215は、供給された当該制御信号に基づき、撮像部15の撮像時間を制御してもよい。このような構成により、撮像制御部215は、例えば、補助光投光部13が補助光を投光するタイミングに同期して、撮像部15に画像を撮像させることが可能となる。
また、撮像制御部215は、後述する解析部217からの指示に基づき、撮像部15に撮像領域r11の画像を撮像させ、撮像された当該画像を当該解析部217に出力する。なお、このとき撮像部15が撮像する画像は、後述する解析部217が当該画像に対して解析処理(例えば、各部分領域r21中の被写体の検出に係る処理)を実行できる程度のデータ量を有していれば、当該画像のサイズや解像度は特に限定されない。具体的な一例として、撮像制御部215は、撮像部15に所謂スルー画像(即ち、間引き画像)を撮像させ、当該スルー画像を解析部217に出力してもよい。
解析部217は、あらかじめ決められたタイミングで、各補助光投光部13から、光量を逐次変化させて補助光が投光されるように、後述する補助光制御部213に各補助光投光部13の動作を制御させる。また、解析部217は、変化させた当該補助光の光量ごとに、撮像部15が撮像領域r11の画像(換言すると、各部分領域r21の画像)を撮像するように、撮像制御部215に撮像部15の動作を制御させる。そして、解析部217は、各補助光投光部13から投光される補助光の光量ごとに撮像された一連の撮像領域r11の画像を、撮像制御部215から取得する。
解析部217は、取得した一連の撮像領域r11の画像それぞれを解析することで、部分領域r21ごとに、当該部分領域r21中に存在する被写体の検出に係る処理を実行する。
なお、解析部217が、あらかじめ決められた種別の被写体を撮像された画像から検出できれば、検出対象となる被写体の種別や、当該被写体の検出に係る処理の内容(換言すると、被写体の検出方法)は特に限定されない。例えば、検出対象となる被写体が人(即ち、人体)の場合には、解析部217は、形状的に特徴のある人の部位(例えば、顔、手、腕等)の検出結果に基づき、画像中の被写体を特定してもよい。
なお、被写体に対して適切な光量の補助光が投光されていない場合には、解析部217は、解析対象となる画像から当該被写体を検出することが困難となる。例えば、被写体に対して投光される補助光の光量が多すぎる場合には、画像中における被写体の輝度が飽和し、解析部217は、当該画像から被写体を検出することが困難となる。また、他の一例として、被写体に対して投光される補助光の光量が少なすぎる場合には、解析部217は、撮像された画像中における被写体の領域を判別するために十分な輝度が得られず、当該画像から被写体を検出することが困難となる。
このような特性を利用して、解析部217は、取得した一連の撮像領域r11の画像それぞれに対する被写体の検出に係る処理の実行結果に基づき、部分領域r21ごとに、当該部分領域r21中の被写体が検出される場合の補助光の光量を特定する。そして、解析部217は、部分領域r21ごとに特定した補助光の光量を示す情報を、補助光制御部213に出力する。
補助光制御部213は、前述した第1の実施形態に係る補助光制御部213に相当し、複数の補助光投光部13(例えば、補助光投光部13a及び13b)それぞれの、補助光の投光に係る動作を制御する(例えば、補助光投光部13の発光タイミング、発光時間、及び発光量を制御する)ための構成である。
補助光制御部213は、同期制御部211から供給される制御信号に同期して、複数の補助光投光部13それぞれが補助光を投光するタイミング(即ち、各補助光投光部13の発光タイミング)を制御する。このような構成により、補助光制御部213は、例えば、撮像部15が画像を撮像するタイミングに同期して、各補助光投光部13に補助光を投光させることが可能となる。
また、補助光制御部213は、解析部217からの指示に応じて、各補助光投光部13に、投光される補助光の光量を逐次変化させて、変化させた当該光量ごとに補助光を投光させる。
また、補助光制御部213は、解析部217により特定された部分領域r21ごとの補助光の光量を示す情報を、当該解析部217から取得する。この場合には、補助光制御部213は、部分領域r21ごとに取得した補助光の光量を示す情報に応じて、当該部分領域r21に関連付けられた補助光投光部13から投光される補助光の光量を制御する。
なお、このとき、補助光制御部213は、各補助光投光部13が投光する補助光の光量を制御できれば、その方法は特に限定されない。このことは、前述した第1の実施形態に係る撮像装置10の場合と同様である。即ち、補助光制御部213は、各補助光投光部13の発光時間と、当該補助光投光部13の発光量とのいずれかまたは双方を制御することで、当該補助光投光部13が投光する補助光の光量を制御してもよい。
以上のような構成により、本実施形態に係る撮像装置10は、撮像領域r11中の部分領域r21ごとに、当該部分領域r21に投光される補助光の光量を制御する。このような構成により、本実施形態に係る撮像装置10は、撮像領域中において明るさにムラがあるような状況下においても、当該明るさのムラを軽減し、より好適な撮像環境を実現することが可能となる。
なお、撮像装置10が、各補助光投光部13から投光される補助光の光量を制御するタイミングは特に限定されない。具体的な一例として、撮像装置10は、あらかじめ決められたタイミングごとに撮像領域r11の画像を撮像し、当該画像の解析結果に応じて各補助光投光部13から投光される補助光の光量を制御してもよい。
また、他の一例として、撮像装置10は、あらかじめ決められた処理をトリガとして、当該処理に連動して、各補助光投光部13から投光される補助光の光量を制御してもよい。具体的な一例として、撮像装置10は、ユーザ操作に基づき画像の撮像が指示された場合に、当該画像を撮像する直前に、撮像領域r11のスルー画像を撮像し、当該スルー画像の解析結果に応じて各補助光投光部13から投光される補助光の光量を制御してもよい。
なお、図16では、撮像装置10が各補助光投光部13を含む例について説明しているが、撮像装置10の制御に基づき各補助光投光部13が動作可能であれば、当該補助光投光部13は、撮像装置10の外部に設けられていてもよい。具体的な一例として、補助光投光部13は、所謂外付けの補助光投光器として構成されていてもよい。
同様に、撮像部15は、撮像装置10の外部に設けられていてもよい。また、撮像部15のうち、一部の構成を撮像装置10の外部に設ける構成としてもよい。具体的な一例として、撮像部15のうち、イメージセンサ等の撮像素子を撮像装置10に設け、レンズ等の光学系を撮像装置10の外部に外付けする構成とすることで、当該撮像装置10を、所謂レンズ交換式の撮像装置として構成してもよい。このことは、前述した第1の実施形態に係る撮像装置10と同様である。
以上、図16を参照して、本実施形態に係る撮像装置10の機能構成の一例について説明した。
[2.3.処理]
次に、図17を参照して、本実施形態に係る撮像装置10の一連の処理の流れの一例について、特に、当該撮像装置10が、各補助光投光部13が投光する補助光の光量を制御する動作に着目して説明する。図17は、本実施形態に係る撮像装置10の一連の処理の流れの一例を示したフローチャートである。
(ステップS301)
解析部217は、あらかじめ決められたタイミングで、各補助光投光部13から、光量を逐次変化させて補助光が投光されるように、補助光制御部213に各補助光投光部13の動作を制御させる。この解析部217からの指示を受けて、補助光制御部213は、各補助光投光部13に、投光される補助光の光量を逐次変化させて、変化させた当該光量ごとに補助光を投光させる。
また、解析部217は、変化させた当該補助光の光量ごとに、撮像部15が撮像領域r11の画像(換言すると、各部分領域r21の画像)を撮像するように、撮像制御部215に撮像部15の動作を制御させる。解析部217からの指示を受けて、撮像制御部215は、撮像部15に撮像領域r11の画像を撮像させ、撮像された当該画像を当該解析部217に出力する。以上のようにして、解析部217は、各補助光投光部13から投光される補助光の光量ごとに撮像された一連の撮像領域r11の画像を、撮像制御部215から取得する。
(ステップS303)
解析部217は、取得した一連の撮像領域r11の画像それぞれを解析することで、部分領域r21ごとに、当該部分領域r21中に存在する被写体の検出に係る処理を実行する。
(ステップS305)
そして、解析部217は、取得した一連の撮像領域r11の画像それぞれに対する、被写体の検出に係る処理の実行結果に基づき、部分領域r21ごとに、当該部分領域r21中の被写体が検出される場合の補助光の光量を特定する。そして、解析部217は、部分領域r21ごとに特定した補助光の光量を示す情報を、補助光制御部213に出力する。
(ステップS307)
補助光制御部213は、解析部217により特定された部分領域r21ごとの補助光の光量を示す情報を、当該解析部217から取得する。補助光制御部213は、部分領域r21ごとに取得した補助光の光量を示す情報に応じて、当該部分領域r21に関連付けられた補助光投光部13から投光される補助光の光量を制御する。
以上のような構成により、本実施形態に係る撮像装置10は、撮像領域r11中の部分領域r21ごとに、当該部分領域r21に投光される補助光の光量を制御する。このような構成により、本実施形態に係る撮像装置10は、撮像領域中において明るさにムラがあるような状況下においても、当該明るさのムラを軽減し、より好適な撮像環境を実現することが可能となる。
以上、図17を参照して、本実施形態に係る撮像装置10の一連の処理の流れの一例について、特に、当該撮像装置10が、各補助光投光部13が投光する補助光の光量を制御する動作に着目して説明した。
[2.4.変形例]
次に、本実施形態に係る撮像装置10の変形例について説明する。前述したように、本実施形態に係る撮像装置10は、各部分領域r21に対して投光される補助光の光量を逐次変化させて、変化させた当該光量ごとに撮像領域r11の画像を取得し、当該画像を解析することで、部分領域r21ごとに被写体の検出に係る処理を実行する。そして、撮像装置10は、各部分領域r21に関連付けられた補助光投光部13から投光される補助光の光量を、当該部分領域r21中の被写体が検出されたときの光量に設定する。
このような構成から、本実施形態に係る撮像装置10は、各補助光投光部13から投光される補助光の光量を投光するために複数の画像を撮像する必要があり、逐次的に補助光の光量を調整することが困難な場合がある。
そこで、本実施形態の変形例として、図18を参照して、本実施形態に係る撮像装置10により、逐次的な補助光の光量の調整を可能とする仕組みの一例について説明する。図18は、本実施形態の変形例に係る撮像装置10の概要について説明するための説明図である。
なお、図18に示す例では、撮像装置10は、撮像領域r11を複数の部分領域r21a及びr21bに分割し、当該部分領域r21a及びr21bに対して、互いに異なる補助光投光部13a及び13bにより補助光を投光するものとする。また、部分領域r21aには、被写体u11が存在し、部分領域r21bには被写体u12が存在するものとして説明する。
変形例に係る撮像装置10は、まず、前述した実施形態で説明した各補助光投光部13から投光される補助光の光量の調整結果(換言すると、補助光の光量に応じた画像中の被写体の検出結果)に基づき、撮像領域r11中における被写体の三次元的な位置を推定する。
具体的な一例として、撮像装置10は、画像中における被写体の位置に応じて、撮像装置10から撮像領域r11側を見た場合における、各被写体の縦方向及び横方向の位置を推定する。
また、撮像装置10は、撮像された撮像領域r11の画像に基づき被写体が検出されたときに当該被写体に対して投光されている補助光の光量に応じて、当該被写体の奥行き方向の位置(換言すると、補助光投光部13と被写体との間の距離)を推定する。この場合には、奥行き方向の被写体の位置と、当該被写体を検出することが可能となる補助光の光量との間の関係を事前に実験等により確認し、当該関係を示すデータを、撮像装置10が読み出し可能な領域に記憶させておくとよい。これにより、撮像装置10は、撮像された撮像領域r11の画像に基づき被写体が検出されたときの補助光の光量と、当該データとを照合することで、当該被写体の奥行き方向の位置を推定することが可能となる。
以上のようにして、変形例に係る撮像装置10は、まず撮像領域r11中における被写体の三次元的な位置を、部分領域r21ごとに推定する。
撮像領域r11中における被写体の三次元的な位置の推定が完了すると、撮像装置10は、あらかじめ決められたタイミングごとに撮像領域r11の画像を時系列に沿って撮像し、所定の期間分の画像を保持する。また、撮像装置10は、時系列に沿って撮像された画像が所定の期間分保持されると、当該複数の画像を解析することで、撮像領域r11中における被写体の相対的な位置の変化を算出する。
なお、撮像装置10は、例えば、画像中における被写体の位置の変化や、被写体の大きさの変化に応じて、時系列に沿った当該被写体の相対的な位置の変化を算出すればよい。
そして、撮像装置10は、補助光の光量の調整結果に基づき推定した被写体の位置と、時系列に沿って撮像された複数の画像に基づき算出した当該被写体の相対的な位置の変化とに基づき、移動後の被写体の位置を、部分領域r21ごとに特定する。
具体的には、図18に示す例において、撮像装置10が、各補助光投光部13から投光される補助光の光量を調整する際に、参照符号u11aで示した位置に被写体u11が位置していたものとする。この場合には、撮像装置10は、部分領域r21aに関連付けられた補助光投光部13aから投光される補助光の光量の調整結果に基づき、撮像領域r11中における被写体u11の三次元的な位置u11aを推定する。
次いで、被写体u11が、位置u11aから、参照符号u11bで示した位置に移動したものとする。このとき、撮像装置10は、被写体u11が、位置u11aから位置u11bに移動する期間中に時系列に沿って撮像された複数の画像(即ち、撮像領域r11の画像)を解析することで、位置u11aから位置u11bに移動するまでの被写体u11の相対的な位置の変化を算出する。そして、撮像装置10は、補助光の光量の調整結果に基づき推定した被写体u11の位置u11aと、時系列に沿って撮像された複数の画像に基づき算出した当該被写体u11の相対的な位置の変化とに基づき、移動後の被写体u11の位置u11bを特定する。
以上のようにして、撮像装置10は、時系列に沿って、撮像領域r11中における被写体の位置をトラッキングする。そして、撮像装置10は、被写体のトラッキングの結果に応じて(即ち、被写体の位置の変化に応じて)、部分領域r21に関連付けられた補助光投光部13から投光される補助光の光量を逐次制御する。
具体的な一例として、撮像装置10は、図18に示す例のように、被写体u11が、位置u11aから位置u11bに移動している(即ち、当該撮像装置10に近づいている)ことを検出したとする。
前述したように、補助光投光部13からの距離が互いに異なる被写体に対して同じ光量の補助光が投光された場合には、当該補助光投光部13のより近くに位置する被写体ほど、より明るく照明される。そのため、図18に示す例では、撮像装置10は、位置u11aから位置u11bへの被写体u11の移動に伴い、部分領域r21aに投光される補助光の光量がより制限されるように、当該部分領域r21aに関連付けられた補助光投光部13aを制御する。
また、撮像装置10は、被写体のトラッキングの結果に基づき、以降の当該被写体の位置の変化を推定し、当該推定結果に応じて、当該被写体が位置する部分領域r21に関連付けられた補助光投光部13から投光される補助光の光量を制御してもよい。
具体的な一例として、撮像装置10は、位置u11aから位置u11bに向けた被写体u11の位置の変化に基づき、その後、当該被写体u11が、位置u11bから位置u11cに移動することを推定してもよい。具体的な一例として、撮像装置10は、位置u11aから位置u11bに向けて移動する被写体u11の移動速度や移動方向の変化に基づき、以降に当該被写体u11が移動する位置u11cを推定すればよい。
この場合には、撮像装置10は、当該位置の変化の推定結果に基づき、被写体u11が位置u11cに移動するタイミングにあわせて、当該位置u11cにおいて適切な光量の補助光が被写体u11に投光されるように、補助光投光部13aの動作を制御すればよい。
このような構成に基づき、変形例に係る撮像装置10は、撮像領域r11中を移動する被写体の位置をトラッキングし、トラッキング結果に応じて、当該被写体が位置する部分領域r21に投光される補助光の光量を制御する。そのため、変形例に係る撮像装置10は、時系列に沿って被写体の位置が変化する状況下においても、時系列に沿って逐次撮像された画像に基づき、被写体の位置の変化に応じて逐次的に補助光の光量を調整することが可能となる。
なお、上記に示す例では、撮像装置10は、各補助光投光部13から投光される補助光の光量の調整結果に基づき、撮像領域r11中における被写体の三次元的な位置を推定していた。一方で、撮像装置10が、撮像領域r11中における被写体の三次元的な位置を推定できれば、必ずしもその方法は、上記に示した各補助光投光部13から投光される補助光の光量の調整結果に基づく方法には限定されない。具体的な一例として、撮像装置10は、測距センサ(例えば、デプスセンサ)の検出結果に基づき、撮像領域r11中における被写体の三次元的な位置を推定してもよい。
また、他の一例として、撮像装置10は、前述した第1の実施形態に係る撮像装置10と同様に、部分領域r21ごとの輝度分布に応じた補助光の光量の調整結果に基づき、撮像領域r11中における被写体の三次元的な位置を推定してもよい。
以上、本実施形態に係る撮像装置10の変形例として、図18を参照して、本実施形態に係る撮像装置10により、逐次的な補助光の光量の調整を可能とする仕組みの一例について説明した。
[2.5.まとめ]
以上、説明したように、本実施形態に係る撮像装置10は、撮像領域r11を複数の部分領域r21に分割し、当該部分領域r21それぞれに対して、互いに異なる補助光投光部13を事前に関連付ける。そして、撮像装置10は、各部分領域r21それぞれに対して、当該部分領域r21に関連付けられた補助光投光部13から補助光を投光することで、当該部分領域r21ごとに明るさを制御する。
また、このとき、撮像装置10は、顔認識技術等のような所定の被写体を検出する技術を利用することで、撮像部15により撮像された撮像領域r11の画像から部分領域r21ごとに被写体を検出し、検出結果に応じて各補助光投光部13の動作を制御する。
具体的には、撮像装置10は、各部分領域r21に対して投光される補助光の光量を逐次変化させて、変化させた当該光量ごとに撮像領域r11の画像を取得し、当該画像を解析することで、部分領域r21ごとに被写体の検出に係る処理を実行する。そして、撮像装置10は、各部分領域r21に関連付けられた補助光投光部13から投光される補助光の光量を、当該部分領域r21中の被写体が検出されたときの光量に設定する。
以上のような制御により、本実施形態に係る撮像装置10は、各部分領域r21中の被写体それぞれに対して、適切な光量の補助光が投光されるように制御することが可能となる。即ち、本実施形態に係る撮像装置10は、撮像領域中において明るさにムラがあるような状況下においても、当該明るさのムラを軽減し、より好適な撮像環境を実現することが可能となる。
また、本実施形態に係る撮像装置10は、あらかじめ決められた被写体の検出結果に応じて、補助光投光部13から投光される補助光の光量を制御する。そのため、撮像装置10は、対象となる被写体とは異なる他の被写体の明るさに依存せずに、検出対象となる被写体が適切な明るさで照明されるように、各補助光投光部13から投光される補助光の光量を制御することが可能となる。
なお、本実施形態に係る撮像装置10を、前述した第1の実施形態の変形例1に示した情報処理装置70の撮像装置として適用してもよいことは言うまでもない。
また、本実施形態に係る撮像装置10に対して、前述した第1の実施形態の変形例2及び3に示した撮像装置10の制御を適用してもよい。即ち、本実施形態に係る撮像装置10を、一の部分領域r21に対して複数の補助光投光部13が補助光を投光する構成とし、当該撮像装置10は、各補助光投光部13から投光される補助光の光量を、前述した第1の実施形態の変形例2及び3に示すように制御してもよい。
<3.ハードウェア構成>
次に、図19を参照して、本開示の各実施形態に係る撮像装置10のハードウェア構成の一例について説明する。図19は、本開示の各実施形態に係る撮像装置10のハードウェア構成の一例を示した図である。
図19に示すように、本実施形態に係る撮像装置10は、プロセッサ901と、メモリ903と、ストレージ905と、通信デバイス911と、光源ユニット913と、撮像デバイス915と、バス917とを含む。また、撮像装置10は、操作デバイス907と、報知デバイス909とを含んでもよい。
プロセッサ901は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)又はSoC(System on Chip)であってよく、撮像装置10の様々な処理を実行する。プロセッサ901は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した制御部11及び21の各構成は、プロセッサ901により実現され得る。
メモリ903は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み、プロセッサ901により実行されるプログラム及びデータを記憶する。ストレージ905は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。
操作デバイス907は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス907は、例えばボタン及びスイッチなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ901に供給する入力制御回路などから構成されてよい。
報知デバイス909は、出力デバイスの一例であり、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイなどのデバイスであってよい。この場合には、報知デバイス909は、画面を表示することにより、ユーザに対して所定の情報を報知することができる。
また、他の一例として、報知デバイス909は、LED(Light Emitting Diode)のように、点灯又は点滅のパターンにより、所定の情報をユーザに報知するデバイスであってもよい。また、報知デバイス909は、スピーカ等のように、所定の音響信号を出力することで、所定の情報をユーザに報知するデバイスであってもよい。
通信デバイス911は、本開示の実施形態に係る撮像装置10が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス911は、有線または無線用の通信インタフェースである。通信デバイス911を、無線通信インタフェースとして構成するバイには、当該通信デバイス911は、通信アンテナ、RF(Radio Frequency)回路、ベースバンドプロセッサなどを含んでもよい。
通信デバイス911は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ901に供給することが可能である。
光源ユニット913は、補助光を投光するためのユニットであり、あらかじめ決められた波長の光(例えば、赤外線)を出射可能に構成されている。光源ユニット913は、例えば、LED(Light Emitting Diode)からなる。もちろん、光源ユニット913は、あらかじめ決められた波長の光を出射可能に構成されていれば、必ずしも、LEDに限定されないことは言うまでもない。なお、前述した補助光投光部13は、光源ユニット913により実現され得る。
撮像デバイス915は、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子を含む。即ち、撮像デバイス915は、プロセッサ901の制御に従い、レンズを介して静止画像又は動画像を撮影する機能を有する。撮像デバイス915は、撮像した画像をメモリ903やストレージ905に記憶させてもよい。なお、前述した撮像部15は、撮像デバイス915により実現され得る。
バス917は、プロセッサ901、メモリ903、ストレージ905、操作デバイス907、報知デバイス909、通信デバイス911、光源ユニット913、及び撮像デバイス915を相互に接続する。バス917は、複数の種類のバスを含んでもよい。
また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した撮像装置10が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
<4.まとめ>
以上説明したように、本開示の各実施形態に係る撮像装置10は、撮像領域r11を複数の部分領域r21に分割し、当該部分領域r21それぞれに対して、互いに異なる補助光投光部13を事前に関連付ける。そして、撮像装置10は、各部分領域r21それぞれに対して、当該部分領域r21に関連付けられた補助光投光部13から補助光を投光することで、当該部分領域r21ごとに明るさを制御する。また、このとき、撮像装置10は、撮像された撮像領域r11の画像の解析結果に応じて、部分領域r21ごとに、当該部分領域r21に関連付けられた補助光投光部13から投光される補助光の光量を制御する。このような構成により、本開示の各実施形態に係る撮像装置10は、撮像領域中において明るさにムラがあるような状況下においても、当該明るさのムラを軽減し、より好適な撮像環境を実現することが可能となる。
なお、上述した説明では、本開示の各実施形態に係る撮像装置10が、所謂デジタルカメラのような撮像装置として構成されている場合を例に説明したが、必ずしも撮像装置10の構成を限定するものではない。具体的な一例として、撮像装置10は、所謂監視カメラとして構成されていてもよい。また、他の一例として、撮像装置10は、テレビジョン装置等の各種装置が、所定の領域中のユーザを検出するために、当該領域の画像を撮像するための構成であってもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
撮像部により撮像された画像を取得する取得部と、
取得された前記画像の解析結果に基づいて、複数の補助光投光部のうち、前記撮像部の画角に基づき決定される撮像領域中の複数の部分領域それぞれにあらかじめ関連付けられた前記補助光投光部が投光する補助光の光量を制御する制御部と、
を備える、制御装置。
(2)
前記制御部は、前記部分領域に対応する、取得された前記画像中の領域の輝度分布に応じて、当該部分領域にあらかじめ関連付けられた前記補助光投光部が投光する前記補助光の光量を制御する、前記(1)に記載の制御装置。
(3)
前記制御部は、前記画像の解析結果に基づく、前記部分領域に位置する被写体の検出結果に応じて、当該部分領域にあらかじめ関連付けられた前記補助光投光部が投光する前記補助光の光量を制御する、前記(1)に記載の制御装置。
(4)
前記制御部は、前記部分領域に関連付けられた前記補助光投光部から投光される前記補助光の光量を逐次変化させ、当該光量の変化に応じて取得される前記画像の解析結果に基づく、当該部分領域に位置する前記被写体の検出結果に応じて、当該補助光投光部が投光する前記補助光の光量を決定する、前記(3)に記載の制御装置。
(5)
前記被写体は人体であり、
前記制御部は、前記部分領域に位置する前記人体の少なくとも一部の部位の検出結果に応じて、当該部分領域にあらかじめ関連付けられた前記補助光投光部が投光する前記補助光の光量を制御する、前記(3)または(4)に記載の制御装置。
(6)
前記制御部は、前記補助光投光部の発光時間に基づき、当該補助光投光部から投光される前記補助光の光量を制御する、前記(1)〜(5)のいずれか一項に記載の制御装置。
(7)
前記制御部は、前記補助光投光部の発光量に基づき、当該補助光投光部から投光される前記補助光の光量を制御する、前記(1)〜(6)のいずれか一項に記載の制御装置。
(8)
前記制御部は、前記部分領域にあらかじめ関連付けられた複数の前記補助光投光部それぞれから投光される前記補助光の光量を制御する、前記(1)〜(7)のいずれか一項に記載の制御装置。
(9)
前記制御部は、前記部分領域に位置する被写体と、当該部分領域に関連付けられた前記複数の補助光投光部それぞれとの間の相対的な位置関係に応じて、当該被写体と当該複数の補助光投光部それぞれとの間の距離を推定し、当該距離の推定結果に応じて、当該複数の補助光投光部それぞれから投光される前記補助光の光量を制御する、前記(8)に記載の制御装置。
(10)
前記制御部は、前記部分領域に位置する被写体に対して、当該部分領域に関連付けられた前記複数の補助光投光部から前記補助光が投光されることで形成される当該被写体の影それぞれを、前記画像から抽出し、抽出された当該被写体の影それぞれの濃度に応じて、当該複数の補助光投光部それぞれから投光される前記補助光の光量を制御する、前記(8)に記載の制御装置。
(11)
前記制御部は、抽出された当該被写体の影それぞれの濃度の差が閾値以下となるように、前記複数の補助光投光部それぞれから投光される前記補助光の光量を制御する、前記(10)に記載の制御装置。
(12)
前記制御部は、時系列に沿って取得された複数の前記画像の解析結果に基づき、当該時系列に沿った前記部分領域中の被写体の位置の変化を推定し、当該推定結果に応じて当該部分領域にあらかじめ関連付けられた前記補助光投光部が投光する前記補助光の光量を制御する、前記(1)〜(11)のいずれか一項に記載の制御装置。
(13)
前記制御部は、あらかじめ推定された前記部分領域中における前記被写体の位置と、所定の期間中に時系列に沿って取得された複数の前記画像間における当該画像中の前記被写体の変化とに応じて、当該部分領域中の当該被写体の位置の変化を推定する、前記(12)に記載の制御装置。
(14)
前記制御部は、前記部分領域中の被写体と、当該部分領域にあらかじめ関連付けられた前記補助光投光部との間の距離が閾値未満となった場合には、当該補助光投光部からの前記補助光の投光を抑制する、前記(1)〜(13)のいずれか一項に記載の制御装置。
(15)
前記複数の補助光投光部のうち、少なくともいずれかを備える、前記(1)〜(14)のいずれか一項に記載の制御装置。
(16)
前記撮像部を備える、前記(1)〜(15)のいずれか一項に記載の制御装置。
(17)
撮像部により撮像された画像を取得することと、
プロセッサが、取得された前記画像の解析結果に基づいて、複数の補助光投光部のうち、前記撮像部の画角に基づき決定される撮像領域中の複数の部分領域それぞれにあらかじめ関連付けられた前記補助光投光部が投光する補助光の光量を制御することと、
を含む、制御方法。
(18)
コンピュータに、
撮像部により撮像された画像を取得することと、
取得された前記画像の解析結果に基づいて、複数の補助光投光部のうち、前記撮像部の画角に基づき決定される撮像領域中の複数の部分領域それぞれにあらかじめ関連付けられた前記補助光投光部が投光する補助光の光量を制御することと、
を実行させる、プログラム。
10 撮像装置
11 制御部
111 同期制御部
113 補助光制御部
115 撮像制御部
117 解析部
13 補助光投光部
15 撮像部
21 制御部
211 同期制御部
213 補助光制御部
215 撮像制御部
217 解析部
70 情報処理装置

Claims (18)

  1. 撮像部により撮像された画像を取得する取得部と、
    取得された前記画像の解析結果に基づいて、複数の補助光投光部のうち、前記撮像部の画角に基づき決定される撮像領域中の複数の部分領域それぞれにあらかじめ関連付けられた前記補助光投光部が投光する補助光の光量を制御する制御部と、
    を備える、制御装置。
  2. 前記制御部は、前記部分領域に対応する、取得された前記画像中の領域の輝度分布に応じて、当該部分領域にあらかじめ関連付けられた前記補助光投光部が投光する前記補助光の光量を制御する、請求項1に記載の制御装置。
  3. 前記制御部は、前記画像の解析結果に基づく、前記部分領域に位置する被写体の検出結果に応じて、当該部分領域にあらかじめ関連付けられた前記補助光投光部が投光する前記補助光の光量を制御する、請求項1に記載の制御装置。
  4. 前記制御部は、前記部分領域に関連付けられた前記補助光投光部から投光される前記補助光の光量を逐次変化させ、当該光量の変化に応じて取得される前記画像の解析結果に基づく、当該部分領域に位置する前記被写体の検出結果に応じて、当該補助光投光部が投光する前記補助光の光量を決定する、請求項3に記載の制御装置。
  5. 前記被写体は人体であり、
    前記制御部は、前記部分領域に位置する前記人体の少なくとも一部の部位の検出結果に応じて、当該部分領域にあらかじめ関連付けられた前記補助光投光部が投光する前記補助光の光量を制御する、請求項3または4に記載の制御装置。
  6. 前記制御部は、前記補助光投光部の発光時間に基づき、当該補助光投光部から投光される前記補助光の光量を制御する、請求項1に記載の制御装置。
  7. 前記制御部は、前記補助光投光部の発光量に基づき、当該補助光投光部から投光される前記補助光の光量を制御する、請求項1に記載の制御装置。
  8. 前記制御部は、前記部分領域にあらかじめ関連付けられた複数の前記補助光投光部それぞれから投光される前記補助光の光量を制御する、請求項1に記載の制御装置。
  9. 前記制御部は、前記部分領域に位置する被写体と、当該部分領域に関連付けられた前記複数の補助光投光部それぞれとの間の相対的な位置関係に応じて、当該被写体と当該複数の補助光投光部それぞれとの間の距離を推定し、当該距離の推定結果に応じて、当該複数の補助光投光部それぞれから投光される前記補助光の光量を制御する、請求項8に記載の制御装置。
  10. 前記制御部は、前記部分領域に位置する被写体に対して、当該部分領域に関連付けられた前記複数の補助光投光部から前記補助光が投光されることで形成される当該被写体の影それぞれを、前記画像から抽出し、抽出された当該被写体の影それぞれの濃度に応じて、当該複数の補助光投光部それぞれから投光される前記補助光の光量を制御する、請求項8に記載の制御装置。
  11. 前記制御部は、抽出された当該被写体の影それぞれの濃度の差が閾値以下となるように、前記複数の補助光投光部それぞれから投光される前記補助光の光量を制御する、請求項10に記載の制御装置。
  12. 前記制御部は、時系列に沿って取得された複数の前記画像の解析結果に基づき、当該時系列に沿った前記部分領域中の被写体の位置の変化を推定し、当該推定結果に応じて当該部分領域にあらかじめ関連付けられた前記補助光投光部が投光する前記補助光の光量を制御する、請求項1に記載の制御装置。
  13. 前記制御部は、あらかじめ推定された前記部分領域中における前記被写体の位置と、所定の期間中に時系列に沿って取得された複数の前記画像間における当該画像中の前記被写体の変化とに応じて、当該部分領域中の当該被写体の位置の変化を推定する、請求項12に記載の制御装置。
  14. 前記制御部は、前記部分領域中の被写体と、当該部分領域にあらかじめ関連付けられた前記補助光投光部との間の距離が閾値未満となった場合には、当該補助光投光部からの前記補助光の投光を抑制する、請求項1に記載の制御装置。
  15. 前記複数の補助光投光部のうち、少なくともいずれかを備える、請求項1に記載の制御装置。
  16. 前記撮像部を備える、請求項1に記載の制御装置。
  17. 撮像部により撮像された画像を取得することと、
    プロセッサが、取得された前記画像の解析結果に基づいて、複数の補助光投光部のうち、前記撮像部の画角に基づき決定される撮像領域中の複数の部分領域それぞれにあらかじめ関連付けられた前記補助光投光部が投光する補助光の光量を制御することと、
    を含む、制御方法。
  18. コンピュータに、
    撮像部により撮像された画像を取得することと、
    取得された前記画像の解析結果に基づいて、複数の補助光投光部のうち、前記撮像部の画角に基づき決定される撮像領域中の複数の部分領域それぞれにあらかじめ関連付けられた前記補助光投光部が投光する補助光の光量を制御することと、
    を実行させる、プログラム。

JP2014174677A 2014-08-29 2014-08-29 制御装置、制御方法、及びプログラム Pending JP2016050972A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014174677A JP2016050972A (ja) 2014-08-29 2014-08-29 制御装置、制御方法、及びプログラム
US15/324,488 US10547792B2 (en) 2014-08-29 2015-06-12 Control device, control method, and program for controlling light intensities
EP15836589.0A EP3187933A4 (en) 2014-08-29 2015-06-12 Control device, control method, and program
PCT/JP2015/067093 WO2016031350A1 (ja) 2014-08-29 2015-06-12 制御装置、制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014174677A JP2016050972A (ja) 2014-08-29 2014-08-29 制御装置、制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2016050972A true JP2016050972A (ja) 2016-04-11

Family

ID=55399255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014174677A Pending JP2016050972A (ja) 2014-08-29 2014-08-29 制御装置、制御方法、及びプログラム

Country Status (4)

Country Link
US (1) US10547792B2 (ja)
EP (1) EP3187933A4 (ja)
JP (1) JP2016050972A (ja)
WO (1) WO2016031350A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107422576A (zh) * 2016-05-24 2017-12-01 仁宝电脑工业股份有限公司 智能照明装置的控制方法
JP2019165412A (ja) * 2018-03-20 2019-09-26 株式会社リコー 撮像装置、測色装置および画像形成装置
JPWO2019054416A1 (ja) * 2017-09-12 2020-08-27 ソニー株式会社 情報処理装置、情報処理方法、プログラム及びライティングシステム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210134049A1 (en) * 2017-08-08 2021-05-06 Sony Corporation Image processing apparatus and method
TWI640222B (zh) * 2017-11-29 2018-11-01 鴻海精密工業股份有限公司 燈光調節系統及方法
WO2020116170A1 (ja) * 2018-12-05 2020-06-11 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP7151867B2 (ja) 2019-03-07 2022-10-12 日本電気株式会社 撮影装置、撮影方法、プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167376A (ja) * 2003-11-28 2005-06-23 Olympus Corp カメラ
JP2006235254A (ja) * 2005-02-25 2006-09-07 Fuji Photo Film Co Ltd 撮影装置
JP2007017503A (ja) * 2005-07-05 2007-01-25 Fujifilm Holdings Corp 撮影装置
JP2007316504A (ja) * 2006-05-29 2007-12-06 Canon Inc 発光装置及び撮像装置
JP5061572B2 (ja) * 2006-10-17 2012-10-31 ソニー株式会社 照明装置及び撮像装置
JP5069578B2 (ja) * 2008-01-29 2012-11-07 パナソニック株式会社 撮像装置
JP2009204734A (ja) * 2008-02-26 2009-09-10 Sharp Corp 配光調整方法、照明装置及び撮像装置
JP5346557B2 (ja) * 2008-11-05 2013-11-20 オリンパスイメージング株式会社 カメラシステム
JP2011254202A (ja) * 2010-06-01 2011-12-15 Olympus Imaging Corp 撮像装置
US8743275B1 (en) * 2010-12-15 2014-06-03 Google Inc. Mobile communication device with multiple flashpoints
JP2012252078A (ja) * 2011-06-01 2012-12-20 Stanley Electric Co Ltd 半導体発光素子およびストロボ装置
US8953094B2 (en) * 2011-11-10 2015-02-10 Apple Inc. Illumination system
US9563033B2 (en) * 2013-10-18 2017-02-07 Light Labs Inc. Methods and apparatus for capturing images and/or for using captured images

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107422576A (zh) * 2016-05-24 2017-12-01 仁宝电脑工业股份有限公司 智能照明装置的控制方法
CN107422576B (zh) * 2016-05-24 2020-04-28 仁宝电脑工业股份有限公司 智能照明装置的控制方法
JPWO2019054416A1 (ja) * 2017-09-12 2020-08-27 ソニー株式会社 情報処理装置、情報処理方法、プログラム及びライティングシステム
JP7272266B2 (ja) 2017-09-12 2023-05-12 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及びライティングシステム
JP2019165412A (ja) * 2018-03-20 2019-09-26 株式会社リコー 撮像装置、測色装置および画像形成装置
JP7035675B2 (ja) 2018-03-20 2022-03-15 株式会社リコー 撮像装置、測色装置および画像形成装置

Also Published As

Publication number Publication date
US20170208237A1 (en) 2017-07-20
WO2016031350A1 (ja) 2016-03-03
US10547792B2 (en) 2020-01-28
EP3187933A1 (en) 2017-07-05
EP3187933A4 (en) 2018-05-02

Similar Documents

Publication Publication Date Title
WO2016031350A1 (ja) 制御装置、制御方法、及びプログラム
JP3640156B2 (ja) 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
US9836639B2 (en) Systems and methods of light modulation in eye tracking devices
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
JP2018110057A (ja) 照明システム、照明方法及びプログラム
WO2016031359A1 (ja) 制御装置、制御方法、及びプログラム
JP2013124941A (ja) 測距装置、及び測距方法
JP2011239279A (ja) 遠隔制御装置および遠隔制御方法
WO2018113433A1 (zh) 虚拟现实特征点筛选空间定位方法
Meško et al. Laser spot detection
JP5601179B2 (ja) 視線検出装置及び視線検出方法
US10757337B2 (en) Information processing apparatus and information processing method to control exposure for imaging the eye
TW201617639A (zh) 光學測距系統及方法
US20130208091A1 (en) Ambient light alert for an image sensor
JP2014157316A (ja) プロジェクタ装置
JP2013026656A (ja) 撮影装置、撮影方法、および撮影プログラム
JP6538871B2 (ja) 操作検出装置、操作検出方法、及び映像表示システム
JP2019219929A (ja) 常時キャリブレーションシステム及びその方法
WO2013086543A2 (en) Ambient light alert for an image sensor
KR20190027081A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
JP2017072945A (ja) 画像処理装置、画像処理方法
JP2010020619A (ja) カーソル移動制御方法及びカーソル移動制御装置
JP6459745B2 (ja) 自己位置算出装置及び自己位置算出方法
WO2023106114A1 (ja) 情報処理方法、情報処理システム、およびプログラム
WO2016084435A1 (ja) 情報処理装置、情報処理方法および情報処理システム