WO2019054304A1

WO2019054304A1 - 撮像装置

Info

Publication number: WO2019054304A1
Application number: PCT/JP2018/033266
Authority: WO
Inventors: 征志中田
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2017-09-15
Filing date: 2018-09-07
Publication date: 2019-03-21
Also published as: JP6951917B2; JP2019054463A; JP2022003817A; US20220385879A1; JP7170810B2; JP2024019210A; JP2023014082A; US20210306610A1; US11064182B2; US11438568B2; US20200204786A1; JP7393498B2

Abstract

撮像装置５００は、大型撮像部５１０と、大型撮像部５１０より光学サイズが小さい複数の小型撮像部５１２と、画像処理部５１４を備える。大型撮像部５１０は、撮像装置５００外部の被写体を撮像する。複数の小型撮像部５１２は、大型撮像部５１０の周辺位置に設置され、上記被写体を撮像する。画像処理部５１４は、大型撮像部５１０により撮像された画像と、複数の小型撮像部５１２により撮像された画像とに基づいて、出力用のデータを生成する。

Description

撮像装置

　本発明は、撮像装置に関する。

　ヘッドマウントディスプレイ等に表示させる視差のついた３次元映像を撮る場合、典型的には、同一のカメラを２台配置して被写体を撮像していた。

特開２０１７－１６４３１号公報

　３次元映像を撮る従来の手法には以下のような課題があった。（１）ヘッドマウントディスプレイでの映像視聴時に、首を傾ける等によりユーザの両目を結ぶラインが斜めや縦になると、撮影時のカメラ位置と差が出てしまい適切な視差を得ることが困難になる。（２）高い画質を得るために２つのカメラそれぞれの光学サイズを大きくすると、カメラシステム全体として大型化してしまう。（３）大型カメラのレンズの間には、近接距離において死角が発生する。

　本発明はこうした課題に鑑みてなされたものであり、１つの目的は、好適な３次元映像を提供するための改善された技術を提供することである。

　上記課題を解決するために、本発明のある態様の撮像装置は、被写体を撮像する第１撮像部と、第１撮像部の周辺位置に設置され、被写体を撮像する第２撮像部であって、第１撮像部より光学サイズが小さい複数の第２撮像部と、第１撮像部により撮像された画像と、複数の第２撮像部により撮像された画像とに基づいて出力用のデータを生成する画像処理部と、を備える。

　なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、好適な３次元映像を提供することを支援できる。

関連技術における撮像装置の構成を概念的に示す図である。関連技術の撮像装置が備える画素の構造例を示す図である。関連技術の撮像素子における画素配列を例示する図である。関連技術におけるイメージセンサの構造の概略を示す図である。関連技術において、位相差により距離情報を取得する原理を説明するための図である。関連技術で取得される画像と焦点距離の関係を説明するための図である。図６のケースにおける焦点距離と位相差の関係を模式的に示す図である。関連技術における画像処理部の機能ブロックを示す図である。関連技術の画像処理部における撮影画像の変遷を模式的に示す図である。関連技術における画像処理部が、撮影された画像から各種データを生成、出力する処理手順を示すフローチャートである。関連技術における偏光子とフォトダイオードの位置的関係を説明するための図である。関連技術における撮像面上の異なる位置における偏光子のワイヤ配列を模式的に示す図である。関連技術において偏光子の有無によって読み出し単位を異ならせる場合の、データの単位と各種情報の生成経路を説明するための図である。関連技術において偏光子の有無によって読み出し単位を異ならせる場合の、データの単位と各種情報の生成経路を説明するための図である。関連技術において、偏光子を設ける画素値における偏光子のバリエーションを示す図である。関連技術において、一画素に設けるフォトダイオードのバリエーションを示す図である。関連技術において、撮像装置をステレオカメラで構成したときの、システムの機能ブロックの構成を示す図である。関連技術において、被写体情報生成部が左右視点の距離画像を統合する処理を説明するための図である。関連技術において、撮像装置を移動させながら撮影することにより、３次元空間における被写体の状態情報を取得する手法を説明するための図である。関連技術における、偏光の位相差を利用して合焦する機能を有する撮像装置の機能ブロックを示す図である。図２１（ａ）は、従来におけるカメラの配置態様を模式的に示す図であり、図２１（ｂ）は、第１実施例におけるカメラの配置態様を模式的に示す図である。図２２（ａ）は、従来におけるカメラの配置態様を模式的に示す図であり、図２２（ｂ）は、第１実施例におけるカメラの配置態様を模式的に示す図である。第１実施例の撮像装置の機能構成を示すブロック図である。画像合成の例を示す図である。第１実施例における生成部の処理を示すフローチャートである。第２実施例の撮像装置の構成を模式的に示す図である。第３実施例の撮像装置の構成を模式的に示す図である。第４実施例における生成部の処理を示すフローチャートである。

　（関連技術）
　図１は、本実施の形態における撮像装置の構成を概念的に示す図である。撮像装置１２は、結像光学系１４、絞り１８、撮像素子２０、および画像処理部２２を含む。結像光学系１４は被写体の像を撮像素子２０の撮像面に結像させる合焦レンズを含む一般的な構成を有する。なお図では１枚のレンズで代表させて示している。絞り１８は開口部を有し、その口径を変化させることにより、入射する光の量を調整する一般的な構成を有する。

　撮像素子２０は画素の２次元配列を含み、入射した光の強さを電荷に変換して画像処理部２２に出力する。本実施の形態における画素は少なくとも、マイクロレンズ、偏光子、フォトダイオードを一体的に積層させた構造を有する。ここで１つのマイクロレンズに対し複数のフォトダイオードを設けることにより、入射光を２つの画像に分割してなる位相差画像を取得する。以後の説明では１つのマイクロレンズに対応する領域を１つの画素領域とする。

　つまり１画素に対し複数のフォトダイオードを設ける。なおフォトダイオードは入射した光の強度を電荷に変換する機構の代表例であるが、本実施の形態をこれに限る趣旨ではない。すなわちフォトダイオードの代わりにいかなる光電変換機構を採用しても、本実施の形態を同様に実現でき、光を電荷に変換する１単位の機構を各フォトダイオードの代わりに用いることができる。また偏光子は全ての画素に設けてもよいし、一部の画素に離散的に設けてもよい。

　画像処理部２２は、撮像素子２０から出力された光の輝度の２次元分布を用いて画像処理を行い、一般的なカラー画像と、被写体までの距離を画素値として表した距離画像を生成する。なお撮像装置１２にはさらに、ユーザによる操作手段と、操作内容に応じて撮影動作や撮影条件の調整動作などを実行する機構が設けられていてよい。また撮像装置１２は、ゲーム機など外部の情報処理装置と、有線または無線により通信を確立し、生成したデータを送信したりデータ送信要求などの制御信号を受信したりする機構を有していてよい。ただしこれらの機構は一般的な撮像装置と同様でよいため説明は省略する。

　図２は撮像装置１２が備える画素の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。また同図では隣接した２画素分の断面構造を例示している。画素１１０はマイクロレンズ層１１２、カラーフィルタ層１１４、偏光子層１１６、および光電変換層１１８を含む。マイクロレンズ層１１２は画素ごとに設けられ、絞り１８を経て入射した光を集光する。

　カラーフィルタ層１１４は、画素ごとに異なる色の光を透過する。偏光子層１１６は、複数の線状の導体部材、例えばタングステンやアルミなどの部材（ワイヤ）を入射光の波長より小さい間隔でストライプ状に配列させたワイヤグリッド型偏光子を含む。マイクロレンズ層１１２により集光されカラーフィルタ層１１４を透過した光が偏光子層１１６に入射すると、偏光子のラインと平行な方向の偏光成分は反射され、垂直な偏光成分のみが透過する。

　透過した偏光成分を光電変換層１１８で電荷に変換することにより偏光輝度が取得される。図示するようなワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２－８００６５号公報などに開示されている。ただし本実施の形態における撮像装置１２の素子構造は図示するものに限らない。例えば偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。なお同図では偏光子として、図面の奥行き方向に伸張するワイヤの断面を表しているが、偏光子の主軸角度は４通りとし、それに応じてワイヤの向きも異なる。

　また図示するように偏光子層１１６には、画素によって偏光子を備える領域と備えない領域があってよい。偏光子を設けない領域では、カラーフィルタ層１１４を透過した光がそのまま光電変換層１１８に入射する。光電変換層１１８は一般的なフォトダイオードを含み、入射した光を電荷として出力する。上述したように本実施の形態では、１つのマイクロレンズに対しフォトダイオードを複数設けることにより、合焦レンズの異なる領域を透過した光を別々に電荷に変換する。

　そのようにして検出した光の位相差に基づき焦点検出を行う技術は位相差オートフォーカスの一手法として実用化されている（例えば特開２０１３－１０６１９４号公報参照）。本実施の形態では当該位相差を利用して被写体までの距離を取得する。１画素に設けた複数のフォトダイオードによる検出値を合計すれば、一般的な撮像装置における１画素分の輝度が得られる。すなわち図２に示した画素の構成によれば、一般的なカラー画像、距離画像、偏光画像を同時に得ることができる。

　図３は、撮像素子２０における画素配列を例示している。同図は撮像素子２０の一部の領域を上面から見たときの各層の組み合わせを模式的に示しており、縦長の長方形が１つのフォトダイオード（例えばフォトダイオード１２０）を示している。左右２つのフォトダイオードの対が１画素（例えば画素１２２）に対応する。またカラーフィルタ層１１４におけるカラーフィルタはベイヤ配列とし、画素ごとに赤、緑、青のいずれかの光を検出する。図ではそれぞれ「Ｒ」、「Ｇ」、「Ｂ」の文字で示している。

　また太線枠で示した画素１２４ａ、１２４ｂには偏光子を設ける。これらの画素１２４ａ、１２４ｂにおける太い斜線は偏光子を構成するワイヤを示している。すなわち画素１２４ａ、１２４ｂは、異なる主軸角度の偏光子を備えている。図では主軸角度が互いに直交する２種類の偏光子が例示されているが、さらに別の画素を利用して、４５°おきの主軸角度を有する４種類の偏光子を設ける。

　各偏光子は、ワイヤの方向に直交する方向の偏光成分を透過する。これにより下層に設けたフォトダイオードは、４５°おきの４方向の偏光成分の輝度を表す電荷を出力する。当該画素から偏光輝度のみを得る場合は、１画素に設けた２つのフォトダイオードからの検出値を合計してよい。ベイヤ配列においては緑（Ｇ）に割り当てられる画素の密度が最も高いため、この例では、偏光子を設ける画素を緑の画素としている。

　これにより、偏光子を設ける画素を比較的近接させることができ、同じ色の複数方位の偏光輝度を高い分解能で得ることができる。これを偏光方位ごとに分離して補間することにより４方向の偏光画像が得られる。当該偏光画像を利用すれば、被写体表面の法線ベクトルを求めることができる。法線ベクトルは被写体表面の微小面積の傾斜を表していため、これを利用すれば、位相差に基づき取得される、特徴点における距離値を補間できる。同じ撮像装置１２による同一視点の撮影画像から、位相差による距離値と法線ベクトルが同時に得られるため、位置合わせ等の必要なく正確な補間を実現できる。

　なお画像表示などの目的でカラー画像を用いることがない場合、画素１１０からカラーフィルタ層１１４を除いた構成としてもよい。この場合、輝度画像、距離画像、および法線画像を得ることができる。あるいはカラーフィルタを、シアンやマゼンダなどの染料系フィルタとしてもよい。また図３に示した配列はあくまで例示であり、本実施の形態の画素配列をこれに限る趣旨ではない。例えば偏光子を設ける画素の密度をさらに高くしてもよいし、全ての画素に偏光子を設けてもよい。

　図４は本実施の形態におけるイメージセンサの構造の概略を示している。イメージセンサ１７０は画素部１７２と、周辺回路としての行走査部１７４、水平選択部１７６、列走査部１８０、制御部１７８を含む。画素部１７２は図２で示したような画素をマトリクス状に配列させてなる。

　光電変換層１１８における各フォトダイオードは、行ごとに行走査部１７４、列ごとに水平選択部１７６および列走査部１８０に接続されている。行走査部１７４はシフトレジスタやアドレスデコーダなどによって構成され、各画素を行単位で駆動する。行走査部１７４によって選択走査された画素から出力される信号は水平選択部１７６に供給される。水平選択部１７６は、アンプや水平選択スイッチなどによって構成される。

　列走査部１８０はシフトレジスタやアドレスデコーダなどによって構成され、水平選択部１７６の各水平選択スイッチを操作しつつ順番に駆動する。列走査部１８０による選択走査により、水平選択部１７６に供給された各画素からの信号が外部へ出力される。制御部１７８は、タイミング信号を生成し、水平選択部１７６および列走査部１８０などの駆動タイミングを制御する。

　本実施の形態のある態様では、偏光子を含む画素と含まない画素が存在する。この場合、偏光子を含む画素は入射光の一部を反射するため、偏光子を含まない画素よりフォトダイオードに到達する光の強度が小さくなる。また、偏光子を含む画素と含まない画素とでは、前者の方が得られる情報が多くなる。これらのことを考慮し、図示するような周辺回路を偏光子の有無によって２つに分け、データ読み出しのタイミングや間隔を独立に制御できるようにしてもよい。

　例えば偏光子を含む画素のフレームレートを小さくし、電荷の蓄積時間を他の画素より長くすることにより、画像平面全体で同レベルの輝度が得られるようにする。このようにすると、偏光子の有無にかかわらず画像全体を均一に扱える。あるいは逆に、偏光子を含む画素のフレームレートを高くしてもよい。この場合、高レートで出力される偏光の輝度分布を用いて、法線ベクトルの分布を高い頻度で求めることにより、被写体の面の動きの検出感度を上げることができる。データ読み出しのタイミングをどのように制御するかは、後段の処理内容や求められる検出感度などに応じて決定してよい。

　図５は、位相差により距離情報を取得する原理を説明するための図である。同図は被写体１３０からの光が、結像光学系１４の合焦レンズ１３２を経て撮像素子２０の撮像面１３４に入射する経路を、撮像空間の上側から見た状態を示している。状態（ａ）、（ｂ）、（ｃ）は、撮像面１３４から被写体１３０までの距離が異なり、状態（ｂ）における被写体１３０が、ピントが合った位置、すなわちピント面１３８にあるとする。

　つまり状態（ｂ）では、図示するように、被写体１３０の一点から出た光が、撮像面１３４において一点に結像する。したがって被写体１３０の一点は１つの画素に対応し、１画素に２つのフォトダイオードを設けても、それらにより検出される光束は被写体１３０の略同一の点からのものである。一方、被写体１３０が状態（ａ）のようにピント面１３８より奥にあったり、状態（ｃ）のようにピント面１３８より手前にあったりすると、光が一点に結像する位置が撮像面１３４からずれる。

　その結果、合焦レンズ１３２を左右（図の上下）に２分割してなる領域のどちらを通過したかで、その光束を捉える画素にずれが生じる。図の右側に拡大して示すように、マイクロレンズ１３６を透過した光のうち図の上側からの光は図の下側のフォトダイオード１３８ｂを介して、図の下側からの光は図の上側のフォトダイオード１３８ａを介して検出される。以後、フォトダイオードの対のうち、撮像面から見て左側のフォトダイオード（例えばフォトダイオード１３８ａ）を左フォトダイオード、右側のフォトダイオード（例えばフォトダイオード１３８ｂ）を右フォトダイオードとも呼ぶ。

　結果として、各画素のうち左フォトダイオードにより検出された輝度のみを抽出してなる画像と、右フォトダイオードにより検出された輝度のみを抽出してなる画像とでは、光束を捉える画素のずれに応じたずれが生じる。当該ずれ量は、被写体１３０とピント面１３８との距離に依存する。また被写体１３０がピント面１３８より撮像面１３４に近いか遠いかで、ずれる方向が逆転する。以後、左フォトダイオードおよび右フォトダイオードにより検出された輝度をそれぞれ画素値とする２つの画像を「位相差画像」、両者における同じ被写体の像のずれ量を「位相差」と呼ぶ。

　図６は、本実施の形態で取得される画像と焦点距離の関係を説明するための図である。同図は、顔と立方体が存在する空間を撮影したときの位相差画像を模式的に示しており、左右の画像のうち左が左フォトダイオードにより検出された画像、右が右フォトダイオードにより検出された画像である。このうち（ａ）は、顔に焦点が合っている場合である。この場合、顔の像は位相差画像の双方において左端からＢの距離にあり位相差が生じていない。一方、立方体の像には（Ａ’－Ａ）の位相差が生じている。（ｂ）は立方体に焦点が合っている場合である。この場合、立方体の像は位相差画像の双方において画像の左端からＡの距離にあり位相差が生じていない。一方、顔の像にはＢ’－Ｂの位相差が生じている。

　上述のとおり、被写体が焦点距離より近いか遠いかでずれる方向が逆になるため、位相差は負の値をとり得る。図７は、図６のケースにおける焦点距離と位相差の関係を模式的に示している。図の実線は顔の位相差、破線は立方体の位相差を、焦点距離に対する変化として示している。ただし実際には光学系の様々な要因により、位相差の特性は図示するものに限らない。焦点距離がＦ１のとき、図６の（ａ）で示したように顔の位相差は０であり、立方体にはＡ’－Ａの位相差が生じる。焦点距離がＦ２のときは、図６の（ｂ）で示したように立方体の位相差は０であり、顔にはＢ’－Ｂの位相差が生じる。

　すなわち被写体までの距離が固定値のとき、焦点距離によって位相差が一意に定まる。換言すれば、焦点距離と位相差が定まれば、被写体までの距離を特定できる。焦点距離は、一般的な撮像装置における合焦機能と同様に取得できる。また焦点距離（ピント面）からの被写体の距離と位相差との関係は、既知の距離にある被写体を実際に撮影した画像から実験的に求めたものをテーブルとして準備しておく。これにより、観測された位相差に基づきピント面からの距離を求め、さらに焦点距離を加算することで、撮像面から被写体までの距離を算出できる。

　次に、偏光画像から法線ベクトルを得る手法について説明する。複数方向の偏光成分の画像を利用して被写体の様々な情報を取得する技術は従来、研究が進められている。被写体表面の法線ベクトルを求める方法についても、例えば、Gary Atkinson and Edwin R. Hancock, "Recovery of Surface Orientation from Diffuse Polarization", IEEE Transactions on Image Processing, June 2006, 15(6), pp.1653-1664、特開２００９－５８５３３号公報などに開示されており、本実施の形態ではそれらを適宜採用してよい。以下、概要を説明する。

　まず偏光子を介して観察される光の輝度は、偏光子の主軸角度θ_ｐｏｌに対し次の式のように変化する。

　ここでＩ_ｍａｘ、Ｉ_ｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは偏光位相である。上述のとおり４通りの主軸角度θ_ｐｏｌに対し偏光画像を取得した場合、同じ位置にある画素の輝度Ｉは、各主軸角度θ_ｐｏｌに対し式１を満たすことになる。したがって、それらの座標（Ｉ，θ_ｐｏｌ）を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Ｉ_ｍａｘ、Ｉ_ｍｉｎ、φを求めることができる。そのように求めたＩ_ｍａｘ、Ｉ_ｍｉｎを用いて、次の式により偏光度ρが求められる。

　対象物表面の法線は、光の入射面（拡散反射の場合は出射面）の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。また二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。上述の方位角αは、鏡面反射の場合は式１において最小輝度Ｉ_ｍｉｎを与える主軸角度であり、拡散反射の場合は式１において最大輝度Ｉ_ｍａｘを与える主軸角度である。

　天頂角θは、鏡面反射の場合の偏光度ρ_ｓ、拡散反射の場合の偏光度ρ_ｄと、それぞれ次のような関係にある。

　ここでｎは対象物の屈折率である。式２で得られる偏光度ρを式３のρ_ｓ、ρ_ｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ）は次のように得られる。

　このように偏光画像の各画素が表す輝度Ｉと偏光子の主軸角度θ_ｐｏｌとの関係から、当該画素に写る対象物の法線ベクトルが求められ、像全体として法線ベクトル分布を得ることができる。例えばゲームのコントローラなど対象物を限定できる態様においては、その色や材質に基づき鏡面反射と拡散反射のうち適切なモデルを採用することにより、より高い精度で法線を求めることができる。一方、鏡面反射と拡散反射を分離する手法が様々に提案されているため、そのような技術を適用してより厳密に法線を求めてもよい。

　図８は、本実施の形態における画像処理部２２の機能ブロックを示している。同図及び後述する図１７、図２０に示す各機能ブロックは、ハードウェア的には、撮像素子、各種演算回路、マイクロプロセッサ、バッファメモリなどの構成で実現でき、ソフトウェア的には、メモリに格納されるプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　画像処理部２２は、撮像素子２０から輝度の２次元データを取得し所定の前処理を実施する画素値取得部３２、実際の焦点距離を取得する焦点距離取得部３０、位相差に基づき距離画像を生成する特徴点距離取得部３４、複数方位の偏光輝度から法線画像を生成する法線画像生成部３６、位相差に基づく距離値を、法線ベクトルを用いて補完し距離画像を生成する距離画像生成部３８、画素値の欠陥を補正する欠陥補正部４０、デモザイク処理によりカラー画像を生成するカラー画像生成部４２、および、距離画像とカラー画像のデータを出力する出力部４４を備える。

　画素値取得部３２は、撮像素子２０が検出した輝度信号を２次元データとして取得し、Ａ／Ｄ変換、クランプ処理など所定の前処理を施す。焦点距離取得部３０は、撮像装置２が備える図示しない合焦機能などにおいて取得されている焦点距離をメモリから読み出す。焦点距離の調整が可能な環境においては、焦点距離が変化する都度、そのデータを読み出す。焦点距離を固定とする装置においては、その設定値を初期に取得しておく。

　特徴点距離取得部３４は、位相差検出部４６、距離値取得部４８、および距離対応テーブル５０を含む。位相差検出部４６は、画素値取得部３２が取得した画素値のうち、左フォトダイオードおよび右フォトダイオードにより検出された画素値を分離して位相差画像を生成する。このとき、ベイヤ配列のまま全ての画素を処理対象としてもよいし、緑の画素のみを処理対象とするなどでもよい。そして両者の特徴点を抽出し、被写体における同じ特徴点を表す位置を特定することにより、特徴点ごとに位相差を取得する。

　距離対応テーブル５０は、ピント面からの距離と位相差とを対応づけた距離対応テーブルを格納する。距離値取得部４８は、位相差検出部４６が取得した位相差に基づき距離対応テーブルを参照し、位相差に対応する距離値を取得する。そして焦点距離取得部３０から取得した焦点距離に加算することにより、撮像面からの距離の絶対値を特徴点ごとに取得する。

　法線画像生成部３６は、画素値取得部３２が取得した画素値のうち、偏光子を備えた画素の値を抽出し、さらに偏光子の主軸角度ごとに分離、補間することにより、複数方位の偏光画像を生成する。このとき、一つの画素に設けられた２つのフォトダイオードによる検出値を合計して１つの画素値とする。また各方位の偏光輝度を補間することにより、画像平面上の同じ位置座標に対し複数方位の偏光輝度を取得する。そして方位に対する偏光輝度の変化に基づき、式１から式４を用いて法線ベクトルを算出する。

　法線画像生成部３６は、画素ごとに得られた法線ベクトルの３要素を画素値とする法線画像を生成する。この画像は基本的には、撮影画像と同じ解像度を持つことができる。一方、法線ベクトルや後段の距離画像に求められる解像度によっては、撮影画像より低い解像度で法線画像を生成してもよい。

　距離画像生成部３８は、特徴点距離取得部３４が生成した、特徴点に対する距離値を、法線画像生成部３６が生成した法線画像を用いて補完することにより、被写体表面の距離を画素値として表した距離画像を生成する。すなわち特徴点距離取得部３４は、位相差が判明するような被写体の像の輪郭や表面の模様などの特徴点については距離値を取得できるものの、単色で滑らかな物体表面など特徴点が抽出しづらい領域の距離を算出することが難しい。

　一方、法線画像生成部３６は、物体表面の傾きを微小面積ごとに詳細に取得できる。したがって、特徴点距離取得部３４が取得した特徴点における距離値を始点として、法線画像生成部３６が取得した法線ベクトルに基づく傾斜を順次与えていくことで、法線ベクトルを得たのと同様の解像度で距離を求めることができる。欠陥補正部４０は、画素値取得部３２が取得した画素値のうち、偏光子を備える画素の画素値を補正する。

　偏光子を備える画素は、偏光子の主軸角度と同じ方位の偏光成分を反射するため、フォトダイオードへ到達する光は、撮像面へ入射した光より強度が低くなっている。したがって当該画素の輝度を、周囲の画素と同程度のレベルになるように補正することで、カラー画像の一部の画素が黒点となるのを防ぐ。補正処理として、周辺の画素値を用いて補間してもよいし、偏光子による光量の低下割合を実験などにより求めておき、それに基づく定数を該当する画素値に乗算するようにしてもよい。なお欠陥補正部４０においても、一対のフォトダイオードによる検出値を合計し１つの画素値として扱う。

　カラー画像生成部４２は、欠陥補正後の画像をデモザイク処理することにより、１画素が色の３要素の値を有するカラー画像を生成する。すなわち図３で示すようなベイヤ配列で得られている画素値を色ごとに補間することで、全ての画素が３要素を有するようにする。この処理には一般的なデモザイクの手法を適用できる。出力部４４は、少なくとも距離画像生成部３８が生成した距離画像のデータと、カラー画像生成部４２が生成したカラー画像のデータを取得し、順次外部の装置に送信する。

　あるいは出力部４４は、メモリや記録媒体などにそれらのデータを一旦格納し、ユーザ操作などに応じた適切なタイミングで外部の装置に送信したり、ユーザが持ち出したりできるようにしてもよい。本実施の形態では、同程度の解像度でカラー画像と距離画像を同時に取得できるため、それらを用いて様々な情報処理を精度よく行える。例えば被写体の３次元空間での位置が、その色と共に判明するため、それらを一旦、仮想空間に配置し、ヘッドマウントディスプレイを装着したユーザの視点に応じて表示画像を再構成できる。このとき左視点用の画像と右視点用の画像を生成し、ヘッドマウントディスプレイの表示画面を２分割してなる左右の領域に表示すれば、仮想現実や拡張現実を実現できる。

　なお出力部４４は、法線画像生成部３６が生成した法線画像をさらに出力してもよい。法線の情報は被写体の像そのものより高い感度で被写体の姿勢の変化を表すため、動き検出に用いることができる。なお図示するように撮像装置１２の画像処理部２２において、カラー画像とともに距離画像を生成できるようにすると、それを用いて各種処理を実施する情報処理装置の負荷を抑えられるとともに、当該装置での消費電力を抑えることができる。

　一方、距離画像生成部３８や、特徴点距離取得部３４、法線画像生成部３６の少なくともいずれかを、撮像装置１２以外の情報処理装置に設けるようにしてもよい。あるいは図示するような機能の少なくとも一部の機能を有するロジック回路を画素配列の下層に設け、積層型のイメージセンサとしてもよい。これにより、当該イメージセンサ内で多くの画像処理が完結するため、処理を高速化できるとともに、後段の処理が軽量化され大型の演算器を設ける必要がなくなる。

　図９は、画像処理部２２における撮影画像の変遷を模式的に示している。まず画素値取得部３２は画像２２０のような撮影画像のデータを取得する。図示する例では被写体として立方体が写っている。取得するデータは厳密には、左フォトダイオードおよび右フォトダイオードにより検出した、自然光あるいは偏光の輝度の情報を含む。特徴点距離取得部３４は上述のとおり特徴点の位相差を取得し、それと焦点距離とから特徴点に対する距離値のデータ２２２を生成する。

　図示するデータ２２２は、距離値が小さいほど高い輝度とし、距離値が得られない箇所は最低輝度とする距離画像の形式で表している。この場合、被写体である立方体のうち輝度勾配の高いエッジ部分が特徴点として抽出され、さらに位相差画像における位相差が判明する部分のみ、距離値を得ることができる。図３で示すように、一対のフォトダイオードを、１画素の領域に対し左右に配置すると、位相差は画像平面の水平方向に表れる。そのためデータ２２２に示すように、水平方向のエッジについては正確な位相差が特定できず、距離値も不定となる。

　一方、法線画像生成部３６は、複数方位の偏光画像を用いて法線画像２２４を生成する。図では立方体表面の法線ベクトルの分布の一部を矢印で示しているが、実際には法線ベクトルを画素単位で求めることができる。距離画像生成部３８は、位相差に基づく距離値のデータ２２２で得られているエッジ部分の距離を始点として、法線ベクトルに基づく表面の傾斜を画素単位で適用していく。その結果、データ２２２におけるエッジの間が平面であることや、距離値が得られなかった水平方向のエッジ部分を含めた表面の距離値が判明する。

　これにより、立方体表面のうち撮影画像として見えている部分について、ワールド座標系における位置情報２２６を取得することができる。距離画像生成部３８は、このような３次元空間での被写体表面の位置座標に係る情報を生成してもよいし、画像平面に距離値を表した距離画像を生成してもよい。

　次に、これまで述べた構成によって実現できる画像処理部２２の動作について説明する。図１０は、本実施の形態における画像処理部２２が、撮影された画像から各種データを生成、出力する処理手順を示すフローチャートである。まず画素値取得部３２は、撮像素子２０から、各フォトダイオードにより検出された輝度のデータを取得する（Ｓ１０）。得られた輝度データは、特徴点距離取得部３４、法線画像生成部３６、欠陥補正部４０に供給される。

　特徴点距離取得部３４は、左フォトダイオードおよび右フォトダイオードにより検出された輝度を分離して位相差画像を生成し、特徴点の対応をとることで位相差を取得する（Ｓ１４）。そして位相差と焦点距離に基づき特徴点を構成する画素に対する距離値を特定する（Ｓ１６）。法線画像生成部３６は、偏光を検出している画素の値を抽出するとともにそれを偏光子の主軸角度ごとに分離し補間することで、複数方位の偏光画像を生成する（Ｓ１８）。そして同じ位置における偏光輝度の方位依存性を取得することにより、法線ベクトルを画素ごと、あるいはそれより大きい単位で算出し、法線画像を生成する（Ｓ２０）。

　距離画像生成部３８は、位相差によって距離値が求められない箇所について、法線画像を用いて距離値を求めることにより、距離値が補完された距離画像を生成する（Ｓ２２）。一方、欠陥補正部４０は、偏光を検出している画素の輝度レベルを、その他の画素と同レベルとなるように増幅させる欠陥補正を行う（Ｓ２４）。カラー画像生成部４２は、補正されたベイヤ配列の画像をデモザイク処理することによりカラー画像を生成する（Ｓ２６）。

　出力部４４は、カラー画像と距離画像のデータを順次、外部の装置あるいはメモリなどに出力する（Ｓ２８）。このとき同時に法線画像のデータも出力してよい。出力先の装置からの要求に従って出力対象を切り替えてもよい。ユーザ操作などにより撮影やデータ出力を終了させる必要がなければ、Ｓ１０からＳ２８までの処理を画像フレーム単位で繰り返す（Ｓ３０のＮ）。処理を終了させる必要が生じたら全ての処理を終了させる（Ｓ３０のＹ）。

　なお距離画像生成部３８がＳ２２において距離画像を生成する際は、所定数の複数の画像フレームに対し生成した距離画像を蓄積し、それらを平均化したデータをその時点での距離画像として、当該複数の画像フレームに対応する時間間隔で出力するようにしてもよい。これにより、１つの画像フレームから生成した距離画像に含まれるノイズ成分の割合を軽減でき、精度の高い距離画像を出力できる。距離画像を蓄積するフレーム数は、求められる精度や時間分解能などに鑑み実験などにより最適値を求めておく。あるいは実際の撮影画像の輝度レベルなどに応じて、フレーム数を適応的に変化させてもよい。

　本実施の形態の撮像素子には、一対のフォトダイオードの上層に偏光子を設けた構造が含まれる。位相差を正確に求めるには一対のフォトダイオードで同等の輝度レベルを検出していることが前提となるが、偏光子のレイアウトによってはそのバランスが崩れることが考えられる。図１１は、偏光子とフォトダイオードの位置的関係を説明するための図である。図は偏光子層２３０ａ、２３０ｂ、２３０ｃとフォトダイオードの対２３２ａ、２３２ｂ、２３２ｃの積層構造の断面と、上面から見たそれらの位置関係２３４ａ、２３４ｂ、２３４ｃを示している。

　まず（ａ）のように偏光子層２３０ａに偏光子を設けない画素の場合、入射光が損失なくフォトダイオードに到達する。したがってフォトダイオードの対により検出する輝度レベルは同等である。（ｂ）や（ｃ）のように偏光子層２３０ｂ、２３０ｃに偏光子が存在する画素では、偏光子のワイヤでの反射によりフォトダイオードに到達する光は入射光の５割ほどになる。２つのフォトダイオードによる検出値を合計して画素値とし、カラー画像を生成する際は、上述のとおり所定値を乗算したり周囲の検出値を用いて補間したりすることにより、周囲の画素と同等の輝度レベルにできる。

　一方、（ｂ）のように偏光子のワイヤ配列が、画素の縦方向の中心線２３６に対し非対称となっていると、一対のフォトダイオード２３２ｂに相対するワイヤによる被覆面積が左右で異なってしまう。これにより、一対のフォトダイオード間で検出感度に差が生じることになる。このような画素を含めて位相差画像を生成すると、正確に位相差を検出できない可能性がある。ワイヤの面積比に基づく所定値を、感度が低い方のフォトダイオードによる検出値に乗算することによりレベルを均質化することも考えられるが、ノイズをも増幅してしまい位相差の精度が向上するとは限らない。

　したがって（ｃ）に示すように、画素の縦方向の中心線２３６に対し対称となるように偏光子のワイヤを配列させることが望ましい。これにより、１つの画素内でフォトダイオードにより検出される輝度レベルへの偏光子による影響を軽減できる。偏光子による光の検出感度差は、撮像素子２０の面内における画素の位置によっても生じる。図１２は、撮像面上の異なる位置における偏光子のワイヤ配列を模式的に示している。

　上段の側面図に示すように、撮像素子２０中心近傍の画素２４０ａでは、光がほぼ垂直に入射する一方、中心からの距離が大きくなるほど入射角度（ＣＲＡ；チーフレイアングル）が大きくなる。そのため周辺部ほど偏光子のワイヤによる実効的な遮蔽効果が大きくなり、光が入射しづらくなる結果、中心部と比較し光の検出感度が低くなる。このことは、上述した位相差画像における輝度レベルのバランスのみならず、偏光を用いた法線画像や、偏光輝度を補正して生成するカラー画像においても面内分布を生じさせる。

　そのため好適には、撮像素子２０上の位置によって偏光子の形状を変化させ、フォトダイオードにおける検出感度を均一にする。図示する例では中心部の画素２４０ａと比較し、周辺部の画素２４０ｂ、２４０ｃの偏光子のワイヤの幅を細くすることで入射光の損失を少なくしている。実際には中心部からの距離に応じてワイヤ幅を徐々に細くしていく。あるいは中心からの距離に応じてワイヤ高を低くしたり、幅と高さの双方を変化させたりしてもよい。

　またはワイヤの配列全体を、中心線に対し線対称に微小量だけシフトさせてもよい。例えば撮像素子２０上の左側の画素２４０ｂはワイヤ配列全体を左側へ、右側の画素２４０ｃはワイヤ配列全体を右側へシフトさせる。このようにしても光の入射量を角度に応じて高めることができる。ワイヤの幅、高さ、配列のシフト量は、実際の撮影画像において面内分布を最小限とするように値を最適化する。この際、図１１で説明したように、一対のフォトダイオードの感度差も最小となるようにする。

　これまで述べた態様では、全てのフォトダイオードによる検出値を個々に読み出し、画像処理部２２において必要なデータを抽出したり補間したりした。この場合、一般的な画素値と比較し、データの読み出しに多くの時間を要し、フレームレートに制約が生じることが考えられる。そのため、読み出し単位を偏光子の有無によって異ならせ、読み出しに要する時間を短縮することが考えられる。図１３、図１４は、偏光子の有無によって読み出し単位を異ならせる場合の、データの単位と各種情報の生成経路を説明するための図である。

　図１３の場合、偏光子を設けない画素２６０については、２つのフォトダイオードによる検出値を合算し、画素単位の値２６４として読み出す。一方、偏光子を設けた画素２６２については、２つのフォトダイオードによる検出値をそれぞれ読み出す。それらのデータは画素値取得部３２を経て各機能ブロックに供給される。偏光子を設けない画素２６０における合算された検出値はそのままカラー画像の生成に用いることができる（Ｓ５０）。

　偏光子を設けた画素２６２に対する２つのフォトダイオードのそれぞれにより検出された値は位相差画像の生成に用いる（Ｓ５２）。またこの段階で各検出値を合算し、画素単位の値２６６とすることで（Ｓ５４）、偏光画像の生成に用いたり、カラー画像における当該画素のカラー値の決定に用いたりする（Ｓ５６、Ｓ５８）。この場合、偏光子を設けた画素のみから、偏光情報と位相差情報を取得することになる。偏光子を設けた画素２６２の割合が低く、かつ比較的照度が高い環境においては、図示するような経路とすることにより、精度をある程度保ちつつ読み出し時間を削減でき、高速化を実現できる。

　図１４の場合、偏光子を設けない画素２６０については、２つのフォトダイオードによる検出値をそれぞれ読み出す。一方、偏光子を設けた画素２６２については、２つのフォトダイオードによる検出値を合算し、画素単位の値２６８として読み出す。それらのデータは画素値取得部３２を経て各機能ブロックに供給される。偏光子を設けない画素２６０に対する２つのフォトダイオードのそれぞれにより検出された値は位相差画像の生成に用いる（Ｓ６０）。またこの段階で各検出値を合算し、画素単位の値２７０とすることで（Ｓ６２）、カラー画像の生成に用いる（Ｓ６４）。

　偏光子を設けた画素２６２における合算された検出値はそのまま偏光画像の生成に用いたり、カラー画像における当該画素のカラー値の決定に用いたりする（Ｓ６６、Ｓ６８）。この場合、位相差情報は偏光子を設けた画素以外から取得することになる。この場合、図１３の場合と比較し位相差情報の感度を上げることができるため、照度が低い環境でも精度を維持することができる。このように偏光子の有無によって読み出し単位を異ならせることにより、必要な情報を取得しつつ読み出し時間を削減できる。

　なお求められる情報の種類や精度、解像度によっては、図１３、図１４で示した処理を全て行わなくてもよい。例えば偏光子を設けた画素の値はカラー画像の生成には用いず、偏光子のない周囲の画素値を補間するようにしてもよい。また各種データに必要な精度や解像度、周囲の照明環境、処理時間の制限などに応じて、読み出し単位やデータ生成の経路を最適化してよい。照度を計測したりデータ伝送のための通信環境を計測したりして、その結果に応じて切り替えてもよい。

　図１５は、偏光子を設ける画素値における偏光子のバリエーションを示している。まず（ａ）に示す４種類の画素は、これまで述べたように１画素に対し１つの主軸角度の偏光子を設けている。そして主軸角度を４５°おきに異ならせることにより、図示するような４種類の画素となる。これらの画素を等間隔、あるいは近接させて撮像素子２０に配置する。偏光子を設ける画素を分散させると、反射によって輝度レベルが低くなる画素も分散するため、偏光子を設けない画素によって位相差画像やカラー画像を生成した場合に、補間によって精度よく穴を埋めることができる。

　一方、図示するような４種類の画素を２行２列の４画素などに近接させて配置すると、方位による偏光輝度の変化をほぼ同じ位置で正確に取得できるため、法線ベクトルの精度を高めることができる。（ｂ）に示す４種類の画素は、フォトダイオードの対の片方に対応する領域のみに、４方向の主軸角度の偏光子を設けている。この場合、偏光子のない状態での輝度を同じ画素領域の他方のフォトダイオードから取得できるため、偏光子によって低くなった輝度レベルを正確に増幅させることができる。

　このようにすると位相差も比較的正確に取得できるため、撮像素子２０の全体を（ｂ）に示すような画素で構成することも考えられる。また（ｃ）に示す画素は、フォトダイオードの対に対応する領域のそれぞれに、主軸角度の異なる偏光子を設けている。図示する例では、主軸角度が９０°異なる偏光子をそれぞれ対とする２種類の画素を示している。

　位相差から距離値を取得する処理は、左右のフォトダイオードによる検出値の分布を比較することを基本としている。一方、偏光情報から法線ベクトルを取得する処理は、主軸角度が異なる偏光子を透過してなる光の検出値を比較する処理を含む。そのため（ｃ）に示すような偏光子とすると、左右のフォトダイオードによる検出値を比較する点において、位相差を取得する処理と法線を取得する処理を共通化できるため、駆動回路をより単純化できる。

　図１６は、一画素に設けるフォトダイオードのバリエーションを示している。これまで述べた例では、画素領域を縦方向に２分割した左右の領域に、フォトダイオードを１つずつ配置した。この場合、位相差は画像平面の水平方向のみに表れる。そのため図９で説明したように、水平方向のエッジなど一部の特徴点については位相差が不定となり距離値を得ることができない。そこで図示するように、１つの画素（例えば画素２８０）を縦横双方向に２分割してなる４つの領域に、フォトダイオードを１つずつ配置してもよい。

　この場合、縦に隣接する２つのフォトダイオードによる検出値を合算すれば、これまで述べた左フォトダイオード、右フォトダイオードと同じ位相差画像が得られ、水平方向成分の位相差を取得できる。一方、横に隣接する２つのフォトダイオードによる検出値を合算すれば、上側のフォトダイオードと下側のフォトダイオードで位相差画像が得られ、垂直方向成分の位相差を取得できる。結果として、特徴点の方向によらず距離値を求めることができる。

　なお図示する例では、各画素に１つの主軸角度の偏光子を設けているが、図１５に示したように、フォトダイオード単位で偏光子の主軸角度を異ならせたり、偏光子の有無を制御したりしてもよい。また偏光子のない画素についても、同様に４分割した領域ごとにフォトダイオードを設けてよい。そのような偏光子のない画素とある画素とを周期的に配置してもよい。

　またカラーフィルタについても、画素内で同じ色としてもよいし、フォトダイオードごとに色を異ならせてもよい。このほか、横方向に２分割した上下の領域に１つずつフォトダイオードを設けてもよいし、画素領域を２行２列より細かく分割し、それぞれの領域にフォトダイオードを配置してもよい。

　撮像装置１２の変形例として、これまで述べた構成を有する撮像装置を２つ設け、ステレオカメラとして実現させてもよい。図１７は、撮像装置をステレオカメラで構成したときの、システムの機能ブロックの構成を示している。このシステムは、撮像装置３００と情報処理装置３０２を含む。

　撮像装置３００は、第１撮像部１２ａ、第２撮像部１２ｂを備える。第１撮像部１２ａ、第２撮像部１２ｂはそれぞれ図１で示した撮像装置１２に対応し、それらを所定の間隔を有するように左右に配置することで撮像装置３００とする。以後の説明では第１撮像部１２ａを左視点、第２撮像部１２ｂを右視点のカメラとする。第１撮像部１２ａ、第２撮像部１２ｂはそれぞれが、図８で示した機能を有する画像処理部を備える。したがって撮像装置３００の第１撮像部１２ａからは左視点の距離画像とカラー画像のデータが、第２撮像部１２ｂからは右視点の距離画像とカラー画像のデータが出力される。

　情報処理装置３０２は、撮像装置３００から画像のデータを取得する画像データ取得部３０４、それらを統合して被写体の位置や姿勢に係る総合的な情報を生成する被写体情報生成部３０６、およびその情報を用いて出力データを生成する出力データ生成部３０８を備える。画像データ取得部３０４は、少なくとも左右の視点のそれぞれに対し取得された距離画像とカラー画像のデータを撮像装置３００から取得する。

　被写体情報生成部３０６は、撮像装置３００から取得した距離画像を統合することにより、被写体の位置、姿勢、形状などに係る最終的な情報を生成する。すなわち被写体のうち第１撮像部１２ａ、第２撮像部１２ｂの一方の視点からは見えない部分について、他方の距離画像を用いてデータを補填することにより、距離が不定の部分を最小限にする。被写体情報生成部３０６はさらに、左右視点のカラー画像あるいは左右視点の輝度画像を用いて三角測量の原理により別途、距離画像を生成し統合してもよい。

　出力データ生成部３０８は、左右視点のカラー画像と距離画像を用いて表示画像など出力すべきデータを生成する。表示画像を生成する場合は、出力時にリニアマトリックス（カラーマトリックス）やガンマ補正など一般的な処理を施し表示装置に出力する。図１８は、被写体情報生成部３０６が左右視点の距離画像を統合する処理を説明するための図である。同図上段に示すように、２つの立方体３２２ａ、３２２ｂが存在する３次元空間３２０を左右の視点Ｌ、Ｒから撮影すると、左視点画像３２４ａおよび右視点画像３２４ｂが得られる。

　第１撮像部１２ａおよび第２撮像部１２ｂが単独で距離値を取得できる領域は、それぞれ左視点画像３２４ａおよび右視点画像３２４ｂに像として表れる部分に限られる。図示する例では、立方体３２２ｂの左側面は左視点Ｌからのみ見え、立方体３２２ａの右側面は右視点Ｒからのみ見えるため、それらの距離値はどちらか一方の距離画像のみに含まれる。したがって被写体情報生成部３０６は、一方の距離画像で値が得られていない被写体上の領域に、他方の距離画像の値を当てはめることで、距離値が不定の領域を削減する。

　その結果、３次元空間３２０により近いモデル空間を再現することができる。つまり被写体情報生成部３０６は、複数視点の距離画像を統合することにより、視点が１つに限定されないワールド座標系での被写体の位置に係る情報を生成できる。当該位置は、被写体表面の微少領域ごとに得られるため、結果として被写体の姿勢や形状についても求めていることになる。

　なお両視点から見える領域については、２つの距離値が得られているため、それらの平均値を距離値とするなどにより精度を高めることができる。さらに被写体情報生成部３０６は、左右視点のカラー画像を用いて自らも距離画像を生成し、その結果をさらに統合してもよい。この場合、両視点から見える領域についてさらに距離値が得られるため、結果として当該領域については３つの距離値が得られることになる。それらの平均値を距離値とすれば、より精度を高めることができる。ただし要求される精度によっては、カラー画像を用いた距離画像の生成を省略することで処理時間を短縮できる。

　なお被写体情報生成部３０６は、さらに別の手段により距離値の穴を埋めたり、精度をさらに高めたりしてもよい。例えばニューラルネットワークを用いた機械学習としてディープラーニング（深層学習）の技術が実用化されつつある。これを利用し、カラー画像における色やその変化、像の形状などから、距離値やその変化を導出できるように、被写体情報生成部３０６に学習させる。そして実際に取得されたカラー画像を用いて、撮像装置の視点から見えない領域の距離値を推定したり、見えている領域の距離値を補正して精度を高めたりしてもよい。

　この手法は単眼の撮像装置１２が出力する距離画像のデータに対しても同様の効果を発揮するため、撮像装置１２と接続した図示しない情報処理装置に同機能を有する被写体情報生成部を設けてもよい。この機能は、撮像装置の視点が限定されている場合や輝度が十分でない撮影環境などにおいて、距離値が得られる領域を広げたり精度を高めたりするのに特に有効である。なお被写体情報生成部３０６を含む情報処理装置３０２の機能や、撮像装置３００の一部の機能を、ネットワークに接続されている他の装置に設けたり、複数の装置で分担させたりして演算を行わせてもよい。このとき情報処理装置３０２や図示しない表示装置は、その結果を順次取得し、それに応じて適宜自らの処理を行ったり画像を表示したりしてもよい。

　また図１７で示したように、撮像装置３００をステレオカメラとすることで、単眼の撮像装置では見えない領域の距離値を得ることができる。これを発展させ、撮像装置１２を可動とすることで、距離値が得られる領域をさらに拡張させてもよい。図１９は、撮像装置１２を移動させながら撮影することにより、３次元空間における被写体の位置、姿勢、形状などの状態情報を取得する手法を説明するための図である。

　図示する例は、被写体である立方体を中心とする円軌道で撮像装置１２を移動させる様子を示している。ここで撮像装置１２には加速度センサを設け、撮影時刻、撮影画像、および３次元空間での撮像装置１２の位置や姿勢を対応づけて記録していく。そして所定レートの各撮影時刻における視点に対し得られるカラー画像と距離画像に基づき、図１８の３次元空間３２０のようなモデル空間を、取得されたデータで埋めていく。このような処理は撮像装置１２内部の距離画像生成部３８で実施してもよいし、情報処理装置３０２の被写体情報生成部３０６で実施してもよい。

　撮像装置１２の内部で実施するようにすると、情報処理装置３０２の処理の負荷を軽減でき、処理時間の増大を抑えられる。なお撮像装置１２の移動のさせ方は図示するものに限らない。例えば最終的に表示させたい画像に対する仮想視点の可動範囲と対応する範囲に限定して撮像装置１２を移動させてもよい。あるいは撮像装置１２を自転させることにより全方位に対し撮影画像を得るようにしてもよい。またこのように撮像装置１２を移動させながら取得したデータのうち、距離値については特徴点に対する値のみを蓄積していくなどの工夫によって、メモリ消費を抑えることができる。

　あるいは撮像装置１２を移動させる代わりに、３つ以上の撮影画像を配置させても同様の情報を得ることができる。この場合も図示するのと同様に、光軸が被写体近傍に収束するように複数の撮像装置１２を向き合うように設置する。あるいはそれとは逆向きに、光軸が外側に発散するように撮像装置１２を設置してもよい、これらの場合は、同時刻におけるカラー画像と距離画像が複数の視野で得られるため、それらをスティッチング処理によりつなぎ合わせて広角の情報としてもよい。このとき、設置した複数の撮像装置のうちの一部のみ、図８で示した機能ブロックを有する撮像装置１２としてもよい。

　例えば実空間において特に詳細な情報を得たい被写体を撮影する撮像装置のみ、距離画像を生成する機能を設け、それ以外の撮像装置はカラー画像のみを生成する。このようにすることで、例えば広いスタジアムの様子を全方位に渡り撮影しつつ、競技者などメインの被写体については位置や姿勢を詳細に求めることができる。これにより、加工や仮想オブジェクトの重畳など後段の処理を高精度に行うなど、処理リソースを必要な対象に集中させることができる。

　本実施の形態の撮像素子の構成によれば、偏光子を透過した光を２つのフォトダイオードにより検出するため、偏光画像の位相差を取得することができる。これを利用すると、位相差を用いた合焦機能の精度を高めることができる。図２０は、偏光の位相差を利用して合焦する機能を有する撮像装置の機能ブロックを示している。撮像装置４００は、各フォトダイオードによる検出値を取得する画素値取得部４０２、偏光子を設けた画素の２つフォトダイオードによる検出値から偏光画像の位相差を検出する偏光位相差検出部４０４、および偏光の位相差に基づきレンズの位置を調整し適切な位置に合焦させる合焦部４０６を備える。

　画素値取得部４０２は、少なくとも偏光子を備えた画素におけるフォトダイオードによる検出値を読み出し、Ａ／Ｄ変換やクランプ処理など所定の前処理を実施する。偏光位相差検出部４０４は、左フォトダイオードおよび右フォトダイオードにより検出される偏光輝度分布を分離し、それぞれに対し４方位の偏光画像を生成する。そして式２を用いて得られる偏光度を画像平面に表した偏光度画像、あるいは偏光度から得られる法線ベクトルを画像平面に表した法線画像を、位相差画像として生成する。図にはそのようにして生成された、偏光を用いた位相差画像４１０ａ、４１０ｂを示している。

　また図の下段には、一般的な自然光の位相差画像４１２ａ、４１２ｂを比較用に示している。図示する例では円板状の被写体が写っている。被写体の表面が単色で比較的滑らかな形状の場合、一般的な自然光の位相差画像４１２ａ、４１２ｂでは、被写体の輪郭線が特徴点として得られる一方、被写体表面については情報が乏しい。照明によっては被写体表面に凹凸があっても輝度の変化が小さく特徴点として捉えられないこともある。そのためこれらの画像４１２ａ、４１２ｂの特徴点の位置を矢印に示すように特定し、その位相差から合焦させる場合、情報の乏しさから正確な調整ができないことが考えられる。

　一方、偏光度あるいは法線ベクトルを表した位相差画像４１０ａ、４１０ｂは、被写体表面の起伏を表すため、自然光の画像より形状に対する感度が高く、照明の影響を受けにくい。そのため、見かけは一様な像であっても、図示するように形状に応じた変化が画像として表れる。したがって、矢印で示すように位相差の根拠となる特徴点の位置がより多く得られる。これらの位置関係を統合して位相差を導出し、それに基づき合焦処理を行えば、より正確かつ迅速な調整を実現できる。

　合焦部４０６は一般的な合焦処理と同様、位相差に基づきレンズの適切な位置を導出し調整を実施する。なお図示した撮像装置４００は、合焦機能のみに着目した機能ブロックを示しているが、図８で示した画像処理部２２と組み合わせることにより、高精度に合焦させてなる輝度データに基づく距離画像やカラー画像を出力できるようにしてもよい。

　以上述べた本実施の形態によれば、撮像素子として、１つのマイクロレンズに対し複数のフォトダイオードを設けるとともに、少なくとも一部のマイクロレンズとフォトダイオードの中間層に、偏光子を設けた構造とする。これにより偏光画像と位相差画像を同時に取得できる。そして位相差に基づき被写体の特徴点における距離を求め、偏光から得られる法線ベクトルを用いて特徴点の間の距離を補完することにより、単眼カメラでありながら撮影画像の広い領域に対し距離値を得ることができる。

　一般的なステレオカメラを用いた測距技術では、一方の視点の画像に写っていても他方の視点の画像に写っていない被写体上の面については距離が不定になってしまう。本実施の形態の上記手法によれば、撮影画像に写っていれば距離を導出できるため、場合によってはステレオカメラを用いるより多くの距離データが得られる。このためステレオカメラの代わりとして用いることができ、測距機能を有する撮像装置を小型化できる。

　また、そのような撮像装置をステレオカメラとして実現すれば、左右の撮影画像の結果を統合できるため、さらに広い範囲の距離値が得られ、３次元空間における被写体の位置や姿勢を精度よく再現できる。さらに左右視点のカラー画像を用いて従来どおり距離画像を求め統合することにより、距離情報の精度をより向上させることができる。これらの手法は赤外光など特定の波長帯の光に依存しないため、屋外などでも同様に情報を得ることができる。

　また偏光子を設ける画素と設けない画素を適切に制御できるため、従来通りの輝度レベルでカラー画像や位相差画像を生成することができる。これにより、後段の処理が制限されるといったことなくあらゆる情報処理への応用が可能である。また、位相差に基づく距離値の取得、偏光に基づく法線画像の生成、および、それらを統合して距離画像を生成する処理は基本的に、画像平面の行単位あるいは数行単位で行えるため、ラインバッファを用いることにより撮像装置内の演算回路で実装できる。そのため各種データを用いた情報処理や表示処理を行う装置と機能を分担でき、高いフレームレートでの撮影や表示に対応させることができる。

　さらに偏光の位相差を取得できるため、自然光の画像では特徴点として抽出されないような起伏の乏しい被写体表面であっても、形状の変化を特徴点として高い感度で抽出できる。したがって位相差の根拠となる情報を多く得ることができ、従来の合焦機能の精度をより高めることができる。なおステレオカメラとして実現する場合も、偏光度画像や法線画像を利用することにより、自然光の輝度画像より多くの特徴点が得られるため、左右視点の画像から対応点を取得することによる距離画像の生成精度も高めることができる。

　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　例えば本実施の形態ではフォトダイオードを用いたが、光を電荷に変換する機構であれば、検出主体はフォトダイオードに限らない。例えば一部、または全てのフォトダイオードを、有機光電変換膜としてもよい。例えば国際公開２０１４／１５６６５９号などに記載される公知技術を用いて、有機光電変換膜の材料や構造を適宜決定することができる。

　また、赤外線など所定の波長帯の光を照射することによる測距技術と組み合わせてもよい。すなわち撮像装置１２に参照光を照射する機構を設け、フォトダイオードによってその反射光を検出する。参照光をランダムなパターンで照射することにより、特徴点の乏しい被写体表面でも特徴点を作り出すことができる。画像処理部における処理は本実施の形態と同様であるが、位相差の根拠となる特徴点が多いため、位相差に基づく距離値を、より多くの箇所で取得できる。したがって法線ベクトルを用いた補完の精度が向上し、より正確に距離の情報を得ることができる。撮像装置１２にさらに照度センサを設け、照度が所定値より低い場合に参照光を照射するようにして、照度低下による解析精度の悪化を防止してもよい。

　さらに本実施の形態における撮像装置は、カラー画像の取得が主たる機能である一般的なカメラで実現してもよいし、撮像機能を有するその他の装置に設けてもよい。例えば高機能携帯電話、携帯端末、パーソナルコンピュータ、カプセル内視鏡、ウェアラブル端末などに設けてもよい。このような装置においてカラー画像を取得する必要がない場合、欠陥補正部４０やカラー画像生成部４２の機能を省略し、距離画像のみを出力するようにしてもよい。この場合、撮像素子のカラーフィルタ層を省略してもよい。

　また本実施の形態の撮像素子は原則として、全ての画素領域を部分領域に分割し、それぞれにフォトダイオードを配置したが、部分領域に分割せず１つのマイクロレンズに対応させて１つのフォトダイオードを設けた画素が含まれていてもよい。例えば偏光子を設けた画素については１つのフォトダイオードを設けてもよい。この場合、位相差画像はその他の画素から取得する。あるいは逆に、偏光子を設けた画素のみ複数のフォトダイオードを設けてもよい。いずれの場合も、本実施の形態で述べた検出値の合算処理を省略して、同様の効果を得ることができる。

　（実施の形態）
　本発明の実施の形態は、上記の関連技術と適宜組み合わせ可能である。以下、本発明の実施の形態として第１実施例～第５実施例を説明する。

　（第１実施例）
　第１実施例の撮像装置の概要を説明する。図２１（ａ）（ｂ）および図２２（ａ）（ｂ）は、従来におけるカメラの配置態様と、第１実施例におけるカメラの配置態様を対比して示す。また、図２１（ａ）（ｂ）および図２２（ａ）（ｂ）は、カメラを正面（言い換えれば被写体側）から見た外観を示しており、すなわち、カメラのレンズの並びを模式的に示している。

　図２１（ａ）は、従来におけるカメラの配置態様を模式的に示す。従来、視差を反映した右目画像および左目画像（総称して「視差画像」とも呼ぶ。）を得るために、２つの大型カメラ５０２が瞳孔間距離ＩＰＤ（Inter-Pupillary Distance、典型的には６０ミリ～７０ミリ）離して設けられることがあった。この場合、破線で示す撮像装置のサイズ、言い換えれば、カメラシステムのサイズが大きくなり問題が生じることがあった。

　図２１（ｂ）は、第１実施例におけるカメラの配置態様を模式的に示す。第１実施例の撮像装置５００の一態様では、或る被写体を撮像する１つの大型カメラ５０２の左右に、同じ被写体を撮像する複数の小型カメラ５０４を設けた。大型カメラ５０２は、光学サイズが相対的に大きく、小型カメラ５０４は、光学サイズが相対的に小さい。典型的には、大型カメラ５０２は、小型カメラ５０４よりレンズのサイズが大きい。同図の例では、ＩＰＤだけ離して設けた２つの小型カメラ５０４による撮像画像を視差画像として取得することができ、また、視差画像の画質を大型カメラ５０２による撮像画像を用いて向上することができる。

　図２２（ａ）も、従来におけるカメラの配置態様を模式的に示す。従来、縦方向の示唆画像を得るためには大型カメラ５０２を縦方向に並べる必要があり、撮像装置のサイズがさらに大きくなる。例えば、縦方向のカメラ間距離がＩＰＤを超過することがあり、すなわち、サイズおよびＩＰＤの制限における問題が生じることがあった。

　図２２（ｂ）も、第１実施例におけるカメラの配置態様を模式的に示す。第１実施例の撮像装置５００の一態様では、大型カメラ５０２の左右および上下に、複数の小型カメラ５０４を設けた。この態様によると、撮像装置５００のサイズの増大を抑制しつつ、左右の視差画像に加えて上下の視差画像を得ることができる。

　第１実施例の撮像装置５００は、ヘッドマウントディスプレイ（以下「ＨＭＤ」とも呼ぶ。）に表示させる視差画像、および／または、広角画像を生成する。図２３は、実施例の撮像装置５００の機能構成を示すブロック図である。撮像装置５００は、１つの大型撮像部５１０と、２つの小型撮像部５１２と、画像処理部５１４を備える。

　本明細書のブロック図において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。例えば、図２３の複数の機能ブロックに対応する複数のモジュールを含むコンピュータプログラムが撮像装置５００ストレージにインストールされてもよい。撮像装置５００のＣＰＵまたはＧＰＵは、そのコンピュータプログラムをメインメモリへ読み出して実行することにより、各機能ブロックの機能を発揮してもよい。

　大型撮像部５１０は、図２１（ｂ）の大型カメラ５０２に対応し、撮像装置５００の前方に存在する被写体を撮像する。被写体は、例えば、３次元空間とそこに存在する物体を含む。小型撮像部５１２は、図２１（ｂ）の小型カメラ５０４に対応し、上記被写体を撮像する。大型撮像部５１０の光学サイズは、小型撮像部５１２の光学サイズより大きく、大型撮像部５１０は、小型撮像部５１２より高画質の画像を得ることができる。

　第１実施例では、図２１（ｂ）と同様に、大型撮像部５１０の左右に近接させて２つの小型撮像部５１２を配置する。変形例として、大型撮像部５１０の上下（さらには斜め位置）に複数の小型撮像部５１２を配置してもよい。例えば、視差を得るべき方向に、３つ以上の小型撮像部５１２を配置してもよい。

　画像処理部５１４は、大型撮像部５１０により撮像された画像と、小型撮像部５１２により撮像された画像とに基づいて、外部装置へ出力するデータを生成する。画像処理部５１４は、特性記憶部５２０、画素データ取得部５２２、調整部５２４、生成部５２６、出力部５２８を含む。

　特性記憶部５２０は、大型撮像部５１０により撮像された画像の特性に関するデータ（以下「特性データ」とも呼ぶ。）を記憶する。また、特性記憶部５２０は、複数の小型撮像部５１２のそれぞれにより撮像された画像の特性データを記憶する。特性データは、各撮像部の撮像素子から取得された画素値の特性を示すデータとも言える。また、特性データは、色相、明度、彩度のうち少なくとも１つの特徴または傾向を示すデータを含んでもよい。また、特性データは、大型撮像部５１０により撮像された画像の特性と、複数の小型撮像部５１２のそれぞれにより撮像された画像の特性とが相違する場合に、相違の内容や度合いを示すデータを含んでもよい。

　なお、特性記憶部５２０に記憶される特性データは、撮影後のデータから算出された特性を示すものであってもよいが、カメラ（大型撮像部５１０、小型撮像部５１２のそれぞれ）もしくは撮像素子（イメージセンサ）の製造時のテスト工程において、画像の特性を計測し、カメラもしくは撮像素子のＲＯＭ（特性記憶部５２０）に格納しておいてもよい。テスト工程における特性計測の例として、単体のカメラもしくは撮像素子の製造後のテスト工程において、レンズ、照度、波長等を変えたときに得られる画素からの信号、ノイズ等を計測してもよい。別の例として、複数台のカメラ（例えば大型撮像部５１０と小型撮像部５１２）を組み合わせた後のスティッチング位置のズレや明暗差、色差を、複数台のカメラの組み合わせた後のテスト工程において計測してもよい。

　画素データ取得部５２２は、大型撮像部５１０により撮像された画像のデータ、すなわち各画素の値を取得する。また、画素データ取得部５２２は、複数の小型撮像部５１２のそれぞれにより撮像された画像のデータ、すなわち各画素の値を取得する。

　大型撮像部５１０により撮像された画像の特性と、複数の小型撮像部５１２のそれぞれにより撮像された画像の特性とは異なることがある。例えば、大型撮像部５１０により撮像された画像は赤味を帯びる一方で、小型撮像部５１２により撮像された画像は青味を帯びることがある。この場合、両者の画像を合成した画像の色彩が不自然になってしまうことがある。そこで、調整部５２４は、特性記憶部５２０に記憶された特性データに基づいて、大型撮像部５１０により撮像された画像の特性と、複数の小型撮像部５１２のそれぞれにより撮像された画像の特性とを一致させるよう調整する。

　具体的には、調整部５２４は、複数の小型撮像部５１２のそれぞれにより撮像された画像の特性を、大型撮像部５１０により撮像された画像の特性に一致させるように、複数の小型撮像部５１２のそれぞれにより撮像された画像を補正する。例えば、特性記憶部５２０は、大型撮像部５１０により撮像された画像の特性と、複数の小型撮像部５１２のそれぞれにより撮像された画像の特性との差異を示す特性データを記憶してもよい。この場合、調整部５２４は、特性データが示す差異を相殺するように、複数の小型撮像部５１２のそれぞれから取得された画素値を調整してもよい。

　このように、大型撮像部５１０の画像と小型撮像部５１２の画像が同等の特性になるように調整することで、両者の画像に基づいて自然な見栄えの画像を生成することができる。また一般的に、画像を補正すると画質が低下する。そこで、大型撮像部５１０により撮像された高画質の画像には手を加えず、小型撮像部５１２により撮像された低画質の画像を補正することで、大型撮像部５１０により撮像された高画質の画像の画質低下を抑制できる。これにより、大型撮像部５１０の画像と小型撮像部５１２の画像を合成した画像についても画質低下を抑制できる。特に、大型撮像部５１０の画像を、ユーザの視野の内側（すなわちユーザの目の解像度が高い領域）に表示する場合に好適である。

　調整部５２４は、大型撮像部５１０により撮像された画像のデータと、複数の小型撮像部５１２のそれぞれにより撮像された画像のデータ（上記補正後のデータ）を生成部５２６へ入力する。生成部５２６は、入力された複数種類の画像のデータに基づいて、外部装置へ出力するデータを生成する。実施例ではＶＲ画像、ＡＲ画像、または広角画像を生成する。

　出力部５２８は、生成部５２６により生成されたデータを所定の外部装置（情報処理装置等）へ送信する。実施例の出力部５２８は、生成部５２６により生成されたＶＲ画像、ＡＲ画像、または広角画像をＨＭＤへ送信して、ＨＭＤの画面に表示させる。なお、出力部５２８は、生成部５２６により生成されたデータを所定の記憶装置や記録メディアへ格納してもよい。

　生成部５２６の具体的な処理を説明する。
　生成部５２６は、大型撮像部５１０により撮像された画像と、複数の小型撮像部５１２により撮像された画像とを合成し、合成した結果の広角画像を出力部５２８へ出力してもよい。図２４は、画像合成の例を示す。中央画像５３０は、大型撮像部５１０により撮像された比較的高画質の画像である。左画像５３２ａは、大型撮像部５１０の左側に設置された小型撮像部５１２により撮像された比較的低画質の画像である。右画像５３２ｂは、大型撮像部５１０の右側に設置された小型撮像部５１２により撮像された比較的低画質の画像である。図２４では、低画質の領域に斜線を付している。

　生成部５２６は、左画像５３２ａを中央画像５３０の左側に合成し、右画像５３２ｂを中央画像５３０の右側に合成することにより合成画像５３４を生成してもよい。これにより、大型撮像部５１０では撮像できないオクルージョン領域を補完した広角画像を合成画像５３４として得ることができる。人間の目の解像度は中心ほど高く、周辺領域ほど低い。合成画像５３４の中心部分は高画質であり、すなわち、人の目に好適な広角画像を提供することができる。

　また、生成部５２６は、画像を合成する位置に応じて合成比率（言い換えればブレンド率）を変化させてもよい。例えば、生成部５２６は、中央画像５３０と左画像５３２ａ（右画像５３２ｂも同様）との重複部分のうち、周辺領域に近づくほど左画像５３２ａの画素値の反映割合を高くしてもよい。逆に、中央領域に近づくほど中央画像５３０の画素値の反映割合を高くしてもよい。これにより、中央画像５３０と左画像５３２ａ（右画像５３２ｂも同様）との画質の違いにより、ユーザが合成画像５３４に対して違和感を抱くことを抑制できる。

　また、生成部５２６は、大型撮像部５１０により撮像された画像と、複数の小型撮像部５１２により撮像された複数の画像のうち少なくとも２つに基づいて、視差に関するデータと被写体までの距離に関するデータの少なくとも一方を生成してもよい。距離に関するデータは、深度情報とも言える。

　図２１（ｂ）で示したように、２つの小型撮像部５１２の距離がＩＰＤに等しい場合、生成部５２６は、２つの小型撮像部５１２のそれぞれにより生成された画像をＨＭＤに表示させる視差画像として決定してもよい。例えば、生成部５２６は、左側の小型撮像部５１２により撮像された画像（「左画像」と呼ぶ。）を左目用画像、右側の小型撮像部５１２により撮像された画像（「右画像」と呼ぶ。）を右目用画像として決定してもよい。

　この場合に、生成部５２６は、大型撮像部５１０で撮像された画像（「中央画像」と呼ぶ。）と左画像との対応関係を記憶してもよい。この対応関係は、例えば、一方の画像の画素と他方の画像の画素との対応関係であってもよく、被写体の同じ部分（位置）を撮像する画素の対応関係であってもよい。生成部５２６は、左画像における各画素の値を、中央画像において対応する画素の値に基づいて補正してもよく、例えば置き換えてもよい。同様に、生成部５２６は、右画像と中央画像との対応関係を記憶し、右画像における各画素の値を、中央画像において対応する画素の値に基づいて補正してもよい。これにより、左目用画像と右目用画像の画質を向上することができる。

　また、生成部５２６は、中央画像のデータ、左画像のデータ、右画像のデータに基づいて、左目用画像と右目用画像を新たに生成してもよい。この場合、左側の小型撮像部５１２と右側の小型撮像部５１２との距離は、ＩＰＤと異なってもよく、例えば１００ミリ以上であってもよい。

　図２５は、第１実施例における生成部５２６の処理を示すフローチャートである。生成部５２６は、左画像と右画像間の視差（言い換えれば、被写体の撮像位置のずれの大きさ）を検出する。また、生成部５２６は、左画像と中央画像間の視差を検出する。また、生成部５２６は、右画像と中央画像間の視差を検出する（Ｓ１０）。生成部５２６は、Ｓ１０で検出した視差に基づいて、被写体までの距離を推定する（Ｓ１２）。

　例えば、生成部５２６は、左画像と右画像間の視差に基づく三角測量により、被写体までの距離を示す第１の距離データを生成してもよい。また、生成部５２６は、左画像と中央画像間の視差に基づく三角測量により、被写体までの距離を示す第２の距離データを生成してもよい。また、生成部５２６は、右画像と中央画像間の視差に基づく三角測量により、被写体までの距離を示す第３の距離データを生成してもよい。生成部５２６は、第１～第３の距離データとして、被写体までの距離を画素値として表した距離画像を生成してもよい。生成部５２６は、第１～第３の距離データを平滑化等することにより、最終的な距離の推定値を生成してもよい。

　生成部５２６は、左画像、中央画像、右画像それぞれのＲＧＢデータを取得し（Ｓ１４）、左画像、中央画像、右画像を合成した合成画像（例えば図２４の合成画像５３４）を生成する（Ｓ１６）。なお、Ｓ１２～Ｓ１４の処理と、Ｓ１４～Ｓ１６の処理の順序に制約はなく、両方の処理を並行して実行してもよい。

　生成部５２６は、被写体までの距離に基づいて、ＨＭＤを装着したユーザの目の位置に適合する視差情報を三角測量の逆算により生成する（Ｓ１８）。生成部５２６は、Ｓ１８で求めた視差情報に基づいて、左目用画像および右目用画像を生成する（Ｓ２０）。例えば、Ｓ１６で生成した合成画像から、Ｓ１８で生成した視差情報が示すずれを有する左目用画像および右目用画像を抽出してもよい。生成部５２６は、左目用画像および右目用画像を出力部５２８へ出力し、ＨＭＤに表示させる（Ｓ２２）。なお、生成部５２６は、距離画像を出力部５２８へ出力し、出力部５２８は、その距離画像を所定の外部装置へ送信してもよい。

　第１実施例の撮像装置５００によると、装置の大型化を抑制しつつ、縦方向を含む様々な方向の視差画像、および広角画像を得ることができる。また、装置の大型化を抑制しつつ、画像の画質を担保しやすくなる。

　（第２実施例）
　第２実施例以降、第１実施例に対応する構成要素に、第１実施例と同じ符号を付して説明する。また、第２実施例以降、第１実施例と異なる点を主に説明し、重複する説明は適宜省略する。

　図２６は、第２実施例の撮像装置５００の構成を模式的に示す。同図は、撮像装置５００を上から見た構成を示している。撮像装置５００は、複数の大型撮像部５１０（図２６では３台）と、複数の小型撮像部５１２（図２６では２台）を備える。複数の大型撮像部５１０は、互いに異なる方向の被写体を撮像し、図２６では４５°ずつずれた方向を撮像する。少なくとも１つの小型撮像部５１２（第２実施例では全ての小型撮像部５１２）は、複数の大型撮像部５１０の間に設けられる。生成部５２６は、複数の大型撮像部５１０により撮像された複数の画像と、複数の小型撮像部５１２により撮像された複数の画像を合成した広角画像（図２６では１８０°の画像）を生成してもよい。

　図２６では、大型撮像部５１０の画角を破線で示し、小型撮像部５１２の画角を一点鎖線で示している。複数の大型撮像部５１０の間に小型撮像部５１２を設けることにより、大型撮像部５１０の近接領域に死角５４０が生じることを防止できる。

　また、図２６で示すように、複数の大型撮像部５１０のレンズ先端部５４２は、複数の小型撮像部５１２のレンズ先端部５４４より被写体の近くになるよう構成される。言い換えれば、複数の大型撮像部５１０のレンズ先端部５４２を結んだ円より、複数の小型撮像部５１２のレンズ先端部５４４を結んだ円が内側になる（半径が小さくなる）ように構成される。これにより、大型撮像部５１０の画角に小型撮像部５１２が含まれることを防止でき、言い換えれば、大型撮像部５１０により撮像された高画質画像に小型撮像部５１２が映りこんでしまうことを防止できる。

　（第３実施例）
　図２７は、第３実施例の撮像装置５００の構成を模式的に示す。同図は、撮像装置５００を正面から見た構成を模式的に示している。撮像装置５００は、複数の大型撮像部（大型撮像部５１０ａ、大型撮像部５１０ｂ）と、複数の小型撮像部（小型撮像部５１２ａ～小型撮像部５１２ｆ）を備える。大型撮像部５１０ａと大型撮像部５１０ｂは、同一方向を撮像し、言い換えれば、同一方向に存在する被写体を撮像する。

　小型撮像部５１２ａ、小型撮像部５１２ｂ、小型撮像部５１２ｃは、大型撮像部５１０ａの周辺に配置され、小型撮像部５１２ｄ、小型撮像部５１２ｅ、小型撮像部５１２ｆは、大型撮像部５１０ｂの周辺に配置される。小型撮像部５１２ａ～小型撮像部５１２ｆのそれぞれは、大型撮像部５１０ａおよび大型撮像部５１０ｂと同一方向を撮像する。なお、大型撮像部の斜め位置に小型撮像部をさらに配置してもよい。

　第３実施例では、大型撮像部５１０ａと大型撮像部５１０ｂは、ＩＰＤの分離れた位置に設けられる。生成部５２６は、大型撮像部５１０ａで撮像された高画質画像に基づいて右目用画像を生成し、大型撮像部５１０ｂで撮像された高画質画像に基づいて左目用画像を生成する。変形例として、大型撮像部５１０ａと大型撮像部５１０ｂの距離はＩＰＤと異なってもよい。その場合、複数の大型撮像部により撮像された高画質画像と、複数の小型撮像部により撮像された低画質画像とに基づいて被写体までの距離を求め、その距離に基づいて、右目用画像および左目用画像を生成してもよい。

　第３実施例では、撮像装置５００は、ＨＭＤに搭載されたセンサ（加速度センサ、ジャイロセンサ等）の出力信号、および／または、所定のカメラがＨＭＤの外観を撮像した画像に基づいて、ＨＭＤの姿勢を検出する姿勢検出部をさらに備える。姿勢検出部は、ＨＭＤの姿勢として、ＨＭＤを装着したユーザの視線方向と、ユーザの視線の傾き（言い換えれば、両目を結ぶラインの傾き）を検出する。

　撮像装置５００の生成部５２６は、姿勢検出部により検出された視線方向、および／または、視線の傾きに応じて、複数の撮像部により撮像された複数の画像のうち一部の画像を選択してもよい。生成部５２６は、選択した画像に基づいて、右目用画像と左目用画像を生成してもよい。例えば、ユーザの視線が、左が上、右が下の斜めに傾いている場合、生成部５２６は、小型撮像部５１２ａによる撮像画像を使用して左目用画像を生成し、小型撮像部５１２ｆによる撮像画像を使用して右目用画像を生成してもよい。この場合、第１実施例で説明したように、生成部５２６は、大型撮像部５１０ａと大型撮像部５１０ｂによる撮像画像を使用して、左目用画像と右目用画像の画質を向上させてもよい。

　また、図２７の小型撮像部５１２ｂと小型撮像部５１２ｅは、ＩＰＤよりも離れた位置に設けられる。生成部５２６は、ユーザの視線方向がそれまでより左に移動した場合、小型撮像部５１２ｂによる撮像画像を使用して左目用画像を生成してもよい。例えば、生成部５２６は、大型撮像部５１０ａによる撮像画像と、小型撮像部５１２ｂによる撮像画像とを使用して、左目用画像を生成するための被写体までの距離データ、被写体の色彩データを導出してもよい。

　同様に、生成部５２６は、ユーザの視線方向がそれまでより右に移動した場合、小型撮像部５１２ｅによる撮像画像を使用して右目用画像を生成してもよい。このように、第３実施例では、複数の大型撮像部それぞれの上下左右や斜め位置に小型撮像部を配置することにより、ユーザの視線方向の変化や視線の傾きの変化に応じた適切な視差画像をユーザへ提示しやすくなる。

　ところで、ＨＭＤに表示させる右目用画像および左目用画像を生成するために必要な被写体までの距離を求めるには、複数の撮像部により上記被写体を撮像した複数の画像が必要である。しかし、大型撮像部５１０ａによる撮像画像と、大型撮像部５１０ｂによる撮像画像の間には、一方の画像にしか写っていない領域（オクルージョン領域）が存在する。そのため、大型撮像部５１０ａによる撮像画像と、大型撮像部５１０ｂによる撮像画像だけでは、オクルージョン領域における視差が求められず、オクルージョン領域における被写体までの距離を求めることができない。

　そこで、第３実施例では、大型撮像部で生じる視差のオクルージョンを、小型撮像部による撮像データにより補間する。具体的には、生成部５２６は、大型撮像部５１０ａにより撮像された画像の中の、大型撮像部５１０ｂにより撮像された画像には映らないオクルージョン領域における被写体までの距離を、大型撮像部５１０ａの周辺に設置された小型撮像部５１２ａ、小型撮像部５１２ｂ、または小型撮像部５１２ｃにより撮像された画像に基づいて導出する。これにより、大型撮像部５１０ａによる撮像画像と、大型撮像部５１０ｂによる撮像画像の少なくとも一方に含まれる領域における被写体までの距離を漏れなく求めることができる。

　（第４実施例）
　第４実施例の撮像装置５００は、機械学習（ディープラーニング等）の結果を利用することにより出力データの品質を高める。

　第４実施例の撮像装置５００は、機械学習の結果を記憶する学習結果記憶部（不図示）をさらに備える。学習結果記憶部は、（１）複数の撮像部から得られた複数の画像に基づいて被写体までの距離を求めるための第１学習結果と、（２）小型撮像部５１２により撮像された画像を、大型撮像部５１０により撮像された画像により補正するための第２学習結果を記憶する。

　第１学習結果は、複数の撮像部から得られた複数の画像間の視差と、被写体までの距離との組み合わせに基づく機械学習の結果であって、複数の画像間の視差が入力された場合に被写体までの距離を出力するプログラムであってもよい。また、第１学習結果は、複数の画像間の視差と、被写体までの距離との対応関係を示すデータであってもよい。また、第１学習結果は、「特開２０１６－１５７１８８号公報」に開示されているように、撮像画像のＲＧＢ情報に基づいて、被写体までの距離を出力するプログラムであってもよい。

　第２学習結果は、被写体が大型撮像部５１０の撮像範囲から、小型撮像部５１２の撮像範囲へ移動する物体の場合に、大型撮像部５１０の撮像画像（例えば中央画像）が示す上記物体の形状に基づき、小型撮像部５１２の撮像画像（例えば左画像または右画像）に対して上記物体の画像を設定するプログラムであってもよい。また、第２学習結果は、同じ物体が中央画像、左画像、右画像に跨って映っている場合に、中央画像５３０の物体の形状を基に物体を識別し、その物体の本来あるべき形状を左画像および右画像に反映させるプログラムであってもよい。前者の第２学習結果に関連する技術は「特開２０１２－２０３４３９号公報」にも開示されている。後者の第２学習結果に関連する技術は「特開２００５－１２８９５９号公報」と「特開２００５－３１９０１８号公報」にも開示されている。

　第１実施例で説明したように、撮像装置５００の生成部５２６は、大型撮像部５１０により撮像された画像と、複数の小型撮像部５１２により撮像された画像のうち少なくとも２つに基づいて、被写体までの距離に関するデータを生成する。第４実施例では、生成部５２６はさらに、学習結果記憶部に記憶された第１学習結果に基づいて、被写体までの距離に関するデータを補正する。また、生成部５２６は、大型撮像部５１０により撮像された画像と、学習結果記憶部に記憶された第２学習結果に基づいて、小型撮像部５１２により撮像された画像を補正する。

　図２８は、第４実施例における生成部の処理を示すフローチャートである。図２８のＳ３０、Ｓ３２は、図２４のＳ１０、Ｓ１２と同じであるため説明を省略する。生成部５２６は、第１学習結果にしたがって、Ｓ３２で推定した被写体までの距離を補正する（Ｓ３４）。例えば、Ｓ３２で求めた距離と、第１学習結果により求めた距離との平均値を補正後の距離としてもよい。図２８のＳ３６は、図２４のＳ１４と同じであるため説明を省略する。

　生成部５２６は、第２学習結果にしたがって、Ｓ３６で取得したＲＧＢデータを補正する（Ｓ３８）。例えば、中央画像５３０の中で識別された物体を示すＲＧＢデータを、左画像５３２ａまたは右画像５３２ｂのＲＧＢデータへ反映させてもよい。以下のＳ４０～Ｓ４６は、図２４のＳ１６～Ｓ２２と同じであるため説明を省略する。なお、Ｓ３４の補正処理と、Ｓ３８の補正処理のいずれか一方を実行する構成でもよい。

　（第５実施例）
　大型撮像部５１０と複数の小型撮像部５１２は、レンズが撮像部単位で個別に設けられる一方、各撮像部の撮像素子（イメージセンサ）が同一基板上に形成されてもよい。上記基板では、或る撮像部のレンズを透過した光を検知すべき撮像素子が、他の撮像部のレンズを透過した光を検知しないよう内部に遮蔽部材（仕切り）が設けられてもよい。

　撮像装置５００の画素データ取得部５２２は、撮像素子における大型撮像部５１０に対応する領域の画素値を、大型撮像部５１０により撮像された画像の画素値として取得する。また、画素データ取得部５２２は、撮像素子における小型撮像部５１２ａ（または小型撮像部５１２ｂ）に対応する領域の画素値を、小型撮像部５１２ａ（または小型撮像部５１２ｂ）により撮像された画像の画素値として取得する。この態様によると、複数の撮像部が単一基板上の撮像素子を共有するため、撮像装置５００の部品点数を低減でき、また、撮像装置５００の製造コストを低減できる。

　第５実施例の撮像装置５００では、画像処理部５１４が撮像素子内に設けられてもよい。具体的には、関連技術に既述したように、撮像装置５００は、画像処理部５１４の機能を実装したロジック回路（および／または制御回路）を画素配列の下層に設けた積層型のイメージセンサとして構成されてもよい。これにより、当該イメージセンサ内で多くの画像処理が完結するため、処理を高速化できるとともに、後段の処理が軽量化され、外部装置の処理負荷を低減できる。

　以上、本発明を第１実施例～第５実施例をもとに説明した。これらの実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を示す。

　第１変形例を説明する。１つ以上の大型撮像部５１０と複数の小型撮像部５１２の少なくとも１つに、レンズを透過した光のうち所定方位の偏光成分を透過させる偏光子を設けてもよい。具体的には、大型撮像部５１０と小型撮像部５１２のそれぞれは、関連技術の図１に示すように、結像光学系１４、絞り１８、撮像素子２０を含んでもよい。撮像素子２０は、画素の２次元配列を含んでもよく、この画素は、マイクロレンズ、偏光子、フォトダイオードを一体的に積層させた構造を有してもよい。

　複数種類の主軸角度を有する複数種類の偏光子が、複数の撮像部（もしくは単一の撮像部内の画素単位）に設けられてもよい。第１変形例によると、偏光画像（もしくは複数方向に対応する複数種類の偏光画像）を得ることができる。これにより、偏光画像を利用して被写体表面の法線ベクトルを求めることができる。

　第１変形例に関連する第２変形例を説明する。１つ以上の大型撮像部５１０と複数の小型撮像部５１２の少なくとも１つに、マイクロレンズを透過した光を電荷に変換する単位であるフォトダイオード（光電変換部）を含む画素の配列において、１つのマイクロレンズに対応する画素領域を分割してなる複数の部分領域のそれぞれにフォトダイオードを設けてもよい。関連技術に記載したように、１つのマイクロレンズに対し複数のフォトダイオードを設けることにより、入射光を２つの画像に分割してなる位相差画像を取得することができる。そして、位相差画像が示す位相差を利用して、被写体までの距離を取得することができる。

　第３変形例を説明する。１つ以上の大型撮像部５１０と複数の小型撮像部５１２の少なくとも１つに、４つ以上の波長帯を検出可能な画素（ここでは「特殊画素」と呼ぶ。）を設けてもよい。４種類以上の波長帯は、例えば、第１波長帯（赤）、第２波長帯（緑）、第３波長帯（青）と、それ以外の波長帯（例えば黄、マゼンタ等）を含むものでもよい。また、可視光以外の波長帯（赤外、紫外等）を含むものでもよい。４種類以上の波長帯に関するデータは、マルチスペクトルデータとも呼ばれ、ハイパースペクトルデータとも呼ばれる。

　第３変形例の撮像装置５００は、４種類以上の波長帯の検出結果（すなわちスペクトルの特徴）と、被写体である物体との予め定められた対応関係を示すデータを記憶するスペクトルデータ記憶部をさらに備えてもよい。生成部５２６は、スペクトルデータ記憶部に記憶された対応関係を参照して、特殊画素を含む撮像部から出力された４種類以上の波長帯の検出結果を取得し、その検出結果に対応する物体を特定してもよい。生成部５２６は、特定した物体の領域に、特定した物体に予め対応付けられた色彩のデータ（画素値）を設定した出力用の画像を生成してもよい。

　また、スペクトルデータ記憶部は、４種類以上の波長帯の検出結果と、光源の種類との対応関係を示すデータを記憶してもよい。光源の種類は、例えば、太陽、蛍光灯、ＬＥＤを含んでもよい。生成部５２６は、特殊画素を含む撮像部から出力された４種類以上の波長帯の検出結果を取得し、その検出結果に対応する光源を特定してもよい。そして生成部５２６は、特定した光源に応じた色彩を設定した出力用の画像を生成してもよい。第３変形例によると、可視光では識別が困難な物体（例えば水とアルコール）の識別が容易になる。また、光源の推定が容易になる。

　第４変形例を説明する。小型撮像部５１２により撮像された画像には、光ショットノイズ等の雑音が含まれる。小型撮像部５１２は光学サイズが小さいため、周囲が暗くなると、小型撮像部５１２の撮像画像の信号雑音比は小さくなりやすい。言い換えれば、小型撮像部５１２は、大型撮像部５１０よりも撮像画像の信号雑音比が悪化しやすい。

　第４実施例では、撮像装置５００は、複数の小型撮像部５１２のそれぞれにより撮像された画像の信号雑音比を計測する計測部をさらに備える。生成部５２６は、複数の小型撮像部５１２のそれぞれにより撮像された画像に対して、その信号雑音比に応じて画素加算を実行する。画素加算には公知の方法手法を採用してよい。例えば、生成部５２６は、信号雑音比が所定の閾値未満になった小型撮像部５１２の撮像画像について、隣接する複数個（例えば２個）の画素を仮想的な１画素として、複数個の画素値の合計を仮想的な１画素の画素値に設定することにより、上記小型撮像部５１２の撮像画像を補正してもよい。第４変形例によると、小型撮像部５１２による撮像画像の、周囲の環境変化に伴う信号雑音比の悪化を抑制できる。

　なお、上述した実施例では、複数の撮像部と、画像処理部５１４とを備える撮像装置５００を説明した。変形例として、大型撮像部５１０および小型撮像部５１２に対応する互いに独立した複数の撮像装置と、画像処理部５１４の機能を含む情報処理装置とを備え、複数の撮像装置と情報処理装置とが連携するカメラシステムが構築されてもよい。各実施例および変形例に記載の技術は上記カメラシステムにも適用可能である。

　上述した実施例および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

　５００　撮像装置、　５１０　大型撮像部、　５１２　小型撮像部、５１４　画像処理部、　５２０　特性記憶部、　５２２　画素データ取得部、　５２４　調整部、　５２６　生成部、　５２８　出力部。

　本発明は、画像を処理する装置またはシステムに適用できる。

Claims

　被写体を撮像する第１撮像部と、
　前記第１撮像部の周辺位置に設置され、前記被写体を撮像する第２撮像部であって、前記第１撮像部より光学サイズが小さい複数の第２撮像部と、
　前記第１撮像部により撮像された画像と、前記複数の第２撮像部により撮像された画像とに基づいて出力用のデータを生成する画像処理部と、
　を備えることを特徴とする撮像装置。
　前記画像処理部は、前記第１撮像部により撮像された画像と、前記複数の第２撮像部により撮像された画像のうち少なくとも２つに基づいて、視差に関するデータと、前記被写体までの距離に関するデータの少なくとも一方を生成することを特徴とする請求項１に記載の撮像装置。
　前記画像処理部は、前記第１撮像部により撮像された画像と、前記複数の第２撮像部により撮像された画像とを合成し、画像を合成する位置に応じて合成比率を変化させることを特徴とする請求項１または２に記載の撮像装置。
　複数の第１撮像部を備え、
　前記複数の第１撮像部は、互いに異なる方向の被写体を撮像し、
　少なくとも１つの第２撮像部は、前記複数の第１撮像部の間に設けられることを特徴とする請求項１から３のいずれかに記載の撮像装置。
　前記複数の第１撮像部のレンズ先端は、前記複数の第２撮像部のレンズ先端より被写体の近くに設置されることを特徴とする請求項４に記載の撮像装置。
　前記第１撮像部と前記複数の第２撮像部は、レンズが個別に設けられる一方、撮像素子が同一基板上に形成されることを特徴とする請求項１から５のいずれかに記載の撮像装置。
　前記撮像素子は、前記画像処理部を含むことを特徴とする請求項６に記載の撮像装置。
　前記第１撮像部もしくは前記複数の第２撮像部の少なくとも１つに、レンズを透過した光のうち所定方位の偏光成分を透過させる偏光子を設けることを特徴とする請求項１から７のいずれかに記載の撮像装置。
　前記第１撮像部もしくは前記複数の第２撮像部の少なくとも１つに、レンズを透過した光を電荷に変換する単位である光電変換部を含む画素の配列において、１つの前記レンズに対応する画素領域を分割してなる複数の部分領域のそれぞれに、前記光電変換部を設けることを特徴とする請求項１から８のいずれかに記載の撮像装置。
　前記第１撮像部もしくは前記複数の第２撮像部の少なくとも１つに、４つ以上の波長帯を検出可能な画素を設けることを特徴とする請求項１から９のいずれかに記載の撮像装置。
　前記画像処理部は、前記第１撮像部により撮像された画像と、前記複数の第２撮像部により撮像された画像のうち少なくとも２つに基づいて、前記被写体までの距離に関するデータを生成し、その距離に関するデータを、機械学習により予め得られたデータに基づいて補正することを特徴とする請求項１から１０のいずれかに記載の撮像装置。
　前記画像処理部は、前記第１撮像部により撮像された画像と、機械学習により予め得られたデータとに基づいて、前記第２撮像部により撮像された画像を補正することを特徴とする請求項１から１１のいずれかに記載の撮像装置。
　前記第１撮像部により撮像された画像の特性と、前記複数の第２撮像部のそれぞれにより撮像された画像の特性に関するデータを記憶する記憶部をさらに備え、
　前記画像処理部は、前記第１撮像部により撮像された画像の特性と、前記複数の第２撮像部のそれぞれにより撮像された画像の特性とを一致させるよう調整することを特徴とする請求項１から１２のいずれかに記載の撮像装置。
　前記画像処理部は、前記複数の第２撮像部のそれぞれにより撮像された画像の特性を、前記第１撮像部により撮像された画像の特性に一致させるように、前記複数の第２撮像部のそれぞれにより撮像された画像を補正することを特徴とする請求項１３に記載の撮像装置。
　前記画像処理部は、前記複数の第２撮像部のそれぞれにより撮像された画像に対して、その信号雑音比に応じて画素加算を実行することを特徴とする請求項１から１４のいずれかに記載の撮像装置。
　同一の方向を撮像する複数の第１撮像部を備え、
　前記複数の第１撮像部の周辺位置に、前記複数の第２撮像部を設置したことを特徴とする請求項１から１５のいずれかに記載の撮像装置。
　少なくとも２つの第２撮像部は、ユーザの瞳孔間距離より離した位置に設けられることを特徴とする請求項１６に記載の撮像装置。
　前記画像処理部は、１つの第１撮像部により撮像された画像の中の、別の第１撮像部により撮像された画像には映らない領域における被写体までの距離を、当該第１撮像部の周辺に設置された第２撮像部により撮像された画像に基づいて導出することを特徴とする請求項１６に記載の撮像装置。