JP2012022308A - 撮像装置 - Google Patents

Abstract

【課題】距離情報を取得するための特殊な開口形状を有するマスクである構造化開口を、通常の撮影画像を撮影する場合と、距離情報を取得するための撮影画像を撮影する場合でも移動さず固定して使用する方法を提供する。
【解決手段】撮像装置は、光学系に配設され、被写体光束の赤外光波長帯に振幅変調を与える構造化開口３６０，３１０と、光学系を通過して入射する被写体光束の赤外光波長帯に感度を持つ赤外光受光画素を少なくとも一部に有する撮像素子とを備える。
【選択図】図３

Description

本発明は、撮像装置に関する。

レンズ光学系の一部に複雑な開口形状を有するマスクを設けた撮影レンズを介して撮影されたデジタル画像データから、被写体の距離情報を算出して、任意の深さに焦点を合わせた画像データを再構成する技術が知られている（例えば非特許文献１）。

また、それぞれ異なる開口形状を有するマスクを入れ替えて複数枚のデジタル画像を取得することで、距離情報の高精度化を図る技術が知られている（例えば非特許文献２）。
［先行技術文献］
［特許文献］
［非特許文献１］A. Levin, R. Fergus, F. Durand and W. Freeman "Image and Depth from a conventional Camera with a Coded Aperture", SIGGRAPH 2007
［非特許文献２］C. Zhou, S. Lin and S. Nayar "Coded Aperture Pairs for Depth from Defocus", ICCV 2009

上述のように、距離情報を取得するには少なくとも特殊な開口形状を有するマスクである構造化開口を光学系に配置する。したがって、観賞用等としての通常の撮影画像を撮影するときには構造化開口を被写体光束から退避させ、距離情報を取得するための撮影画像を撮影するときには構造化開口を被写体光束に挿入する必要があった。

上記課題を解決するために、本発明の態様における撮像装置は、光学系に配設され、被写体光束の赤外光波長帯に振幅変調を与える構造化開口と、光学系を通過して入射する被写体光束の赤外光波長帯に感度を持つ赤外光受光画素を少なくとも一部に有する撮像素子とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

従来の構造化開口を説明する説明図である。 本実施形態に係る一眼レフカメラの要部断面図である。 本実施形態に係る構造化開口を説明する説明図である。 本実施形態に係る構造化開口ユニットの外観図である。 構造化開口ユニットをレンズユニットに装着する様子を示す図である。 撮像素子の画素上に配置された画素フィルタの説明図である。 撮像素子の画素が感度を有する波長帯と、構造化開口の赤外遮断フィルタ部が遮断する波長帯の関係を示す図である。 一眼レフカメラのシステム構成を概略的に示すブロック図である。 補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。 光学ファインダから観察される被写体像および焦点検出領域を示す図である。 焦点検出領域の配置と赤外光受光素子の配置の関係を示す図である。 赤外光用撮像素子と可視光用撮像素子を配置したレンズ交換式カメラの断面図である。 パターン投光の様子を示す説明図である。 本撮影画像と補助撮影画像の取得から、距離画像を算出するまでの処理の概念を示す図である。 構造化開口の他の例である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、従来の構造化開口を説明する説明図である。図１の（ａ）は、複雑な開口形状を有する構造化開口の正面図である。構造化開口は、保持枠１０１にフィルタ１０２が支持されて構成されている。フィルタ１０２は、被写体光束を遮断する遮断フィルタ部１０３と、被写体光束を透過させる透過フィルタ部１０４を有する。図示するように、透過フィルタ部１０４は２次元的に複雑な形状を有しており、これにより、被写体空間において深さ方向に異なる位置から入射する点像を、撮像素子の受光面上で特徴的な形状をもって結像させる。すなわち、このような開口形状を有する構造化開口を撮影レンズの瞳近傍に配置すれば、深さ方向である各距離に応じた点像分布関数（ＰＳＦ）を大きく異ならせることができる。各距離に応じた点像分布関数を大きく異ならせることができれば、被写体画像の各領域における被写体までの距離を精度良く算出することができる。なおここでは、ひとつの開口形状に対応して各距離に応じたＰＳＦが１セット用意される場合の構造化開口を、シングルコーデッドアパーチャと呼ぶ。

シングルコーデッドアパーチャを用いた被写体画像から距離情報を算出する具体的な手法について説明する。被写体画像の距離情報は、被写体画像に写る各々の被写体に対するカメラからの距離を含む。算出によって得られる推定画像は、いわゆる距離画像に類する。

シングルコーデッドアパーチャを介して撮影された撮影画像をｙ、オリジナルの被写体画像をｘ、ＰＳＦをｆ_ｄとすると、結像方程式は式（１）として表される。

するとＰＳＦであるｆｄが既知であれば、撮影画像ｙを利用して式（１）を満たすようなオリジナル被写体画像ｘを推定することができる。

そして、ＰＳＦの構造は、被写体の深さである基準ピント位置からのずれによって変化する。したがって、被写体の深さと、推定に使用するＰＳＦの深さが一致しているときに、最も良好なオリジナル被写体画像を推定できる。推定プロセスは、式（２）で表現することができる。

以上のプロセスを各深さのＰＳＦに対して全て行い、エラーが最小となるＰＳＦを見つけ、そのＰＳＦに対応した深さをマップにすれば距離情報が得られる。

しかし、ステップＳ２の解である、デコンボリュージョンエラーを最小にする推定被写体画像はひとつではないという問題がある。したがって、デコンボリュージョンエラーを最小にする推定被写体画像が、真の被写体と近似する画像とはならない場合がある。また、被写体の深さとＰＳＦの深さが一致していなくとも、そのような特殊解を見つけてデコンボリュージョンエラーを最小にしてしまう場合がある。

このような問題を解決すべく、推定被写体画像に「画像らしさ」を評価する制約項を加える。この場合、式（２）は以下の式（３）のように表現される。

関数ｇ（ｘ）が制約項である。λは制約項の重み係数である。例えば、一般的に画像は滑らかな構図を持つので、その微分値はゼロに近い。したがって、制約項に画像の微分値を示す関数を設定することにより、デコンボリュージョンエラーを最小にし、かつその微分値も小さいという「画像らしさ」を有するオリジナル被写体画像のみが推定され、深さを精度良く推定することができる。微分値を示す関数の例としては、式（４）が挙げられる。

以上の処理手順により深さ測定を行うことができる。

図１の（ｂ−１）は、円形の開口形状を有する構造化開口の正面図である。構造化開口は、保持枠１１１にフィルタ１１２が支持されて構成されている。フィルタ１１２は、被写体光束を遮断する遮断フィルタ部１１３と、被写体光束を透過させる透過フィルタ部１１４を有する。保持枠１１１は円形枠であり、その中心は撮影レンズの光軸と一致するが、円形を成す透過フィルタ部１１４は、光軸に対して偏心している。

このように単純な円形開口を持つ構造化開口では、深さの変化に対するＰＳＦの変化が小さいので、シングルコーデッドアパーチャとして深さを算出すると推定誤差が大きくなる。図１の（ａ）では、複雑な開口形状とすることにより推定誤差の低減を図ったが、ここでは、（ｂ−１）の状態で第１の撮影画像を取得し、（ｂ−１）の構造化開口を反転させた（ｂ−２）の状態で第２の撮影画像を取得することにより、推定誤差の低減を図る。つまり、（ｂ−１）の開口形状に対応して各距離に応じたＰＳＦを１セットと、（ｂ−２）の開口形状に対応して各距離に応じたＰＳＦを１セット用意する。このような場合の構造化開口を、コーデッドアパーチャペアと呼ぶ。

コーデッドアパーチャペアを用いた被写体画像から距離情報を算出する具体的な手法について、説明する。コーデッドアパーチャペアの場合、開口形状が単純であるので、シングルコーデッドアパーチャにおける処理を空間周波数領域において展開することができる。

異なる２つの開口によりそれぞれ撮影された第１画像と第２画像のフーリエ変換をＦ_１、Ｆ_２、各深さｄについて取得したＰＳＦのフーリエ変換をＫ_１ ^ｄ、Ｋ_２ ^ｄ、オリジナル被写体画像ｘのフーリエ変換をＦ_０とすると、結像方程式は式（５）として表される。

式（５）によれば、式（１）と比較して、畳み込み積分が単純な掛け算となることがわかる。このとき、式（３）に対応するデコンボリュージョンエラーを記述すると式（６）のようになる。

深さマップの構築プロセスは以下の処理による。

この手法では、シングルコーデッドアパーチャの場合とは異なり、推定プロセスを繰り返す必要がなく、かつ単純な計算式によって導き出されるので、計算速度が非常に速い。なお、シングルコーデッドアパーチャにおいてこのような手法を適用できない理由は、シングルコーデッドアパーチャのＰＳＦは非常に複雑な形状をしているので、そのフーリエ変換もエラーが大きいからである。

以上の従来の手法においては、いずれにおいても遮断フィルタ部を有する構造化開口を介して撮影画像を取得するので、観賞用等としての通常の撮影画像に対しては画質が低下する。そこで、距離情報を取得するために構造化開口を介する補助撮影画像の撮影と、構造化開口を介さない通常の撮影画像の撮影を分けて行わなければならなかった。すなわち、補助撮影画像の撮影時と通常の撮影画像の撮影時で、構造化開口を挿抜する作業を要していた。すると、両画像を取得するタイムラグにより、被写体にずれが生じる。したがって、構造化開口を挿抜して撮影動作を二度繰り返す手間に加え、本来距離情報を取得したい観賞用等の撮影画像に対して正確な距離情報が得られないという問題を抱えていた。

そこで、本実施形態においては、このような問題に対処すべく、構造化開口と撮像素子に改良を加えて撮像装置に適用する。以下に本実施形態について説明する。

図２は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０が組み合わされて撮像装置として機能する。

レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。また、光軸２０１に沿って、絞り２１４および構造化開口ユニット３００も配列される。構造化開口ユニット３００は、被写体光束に対して挿抜することができる。構造化開口ユニット３００が被写体光束に対して挿入されると、構造化開口は、光軸２０１に交差して配設される。アクチュエータ２１５は、構造化開口ユニット３００が被写体光束に対して挿入されたときに構造化開口を回転させる。

レンズユニット２１０は、フォーカスレンズ２１２、絞り２１４およびアクチュエータ２１５の駆動などレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。

また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。

カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合は、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。

ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。

斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から位相差信号を検出する。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。

斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、光学ローパスフィルタ２４２、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ２４２は、撮像素子２４３の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子２４３は、例えばＣＭＯＳセンサなどの光電変換素子であり、受光面で結像した被写体像を電気信号に変換する。

撮像素子２４３で光電変換された電気信号は、メイン基板２４４に搭載されたＤＳＰである画像処理部２４６で画像データに処理される。メイン基板２４４には、画像処理部２４６の他に、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。

カメラユニット２３０の背面には液晶モニタ等による表示部２４７が配設されており、画像処理部２４６で処理された被写体画像が表示される。表示部２４７は、撮影後の静止画像に限らず、ビューファインダとしてのＥＶＦ画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。

また、ペンタプリズム２３５の近傍には使用状態と収納状態を取り得るフラッシュ２４９を備えており、使用状態においてカメラシステム制御部２４５の制御により被写体を照射する。フラッシュ２４９の近傍には、被写体を照射するパターン投光部２５０を備えており、被写体に対して幾何的模様等であるパターンを投光する。

図３は、本実施形態に係る構造化開口を説明する説明図である。図３（ａ）は、図１（ａ）に示したシングルコーデッドアパーチャの構造化開口に対応する構造化開口３６０の正面図である。構造化開口３６０は、保持枠３５１にフィルタ３５２が支持されて構成されている。具体的には、保持枠３５１は、中心部分が中空の円筒形を成し、フィルタ３５２は、保持枠３５１の中空部分に張設されて固定されている。フィルタ３５２は、被写体光束のうち可視光を透過させ赤外光を遮断する赤外遮断フィルタ部３５３と、被写体光束のうち可視光および赤外光を透過させる透過フィルタ部３５４を有する。透過フィルタ部３５４は、図示するような複雑な開口形状を有する。

図３（ｂ−１）は、図１（ｂ−１）に示したコーデッドアパーチャペアの構造化開口に対応する構造化開口３１０の正面図である。構造化開口３１０は、保持枠３０１にフィルタ３０２が支持されて構成されている。具体的には、保持枠３０１は、中心部分が中空の円筒形を成し、フィルタ３０２は、保持枠３０１の中空部分に張設されて固定されている。フィルタ３０２は、被写体光束のうち可視光を透過させ赤外光を遮断する赤外遮断フィルタ部３０３と、被写体光束のうち可視光および赤外光を透過させる透過フィルタ部３０４を有する。保持枠３０１の中心は撮影レンズの光軸と一致するが、円形を成す透過フィルタ部３０４は、光軸に対して偏心している。（ｂ−１）の状態で第１の撮影画像を取得し、（ｂ−１）の構造化開口３１０を反転させた（ｂ−２）の状態で第２の撮影画像を取得することにより、推定誤差の低減を図ることができる。

本実施形態においては、構造化開口３６０を構造化開口ユニット３００としてレンズユニット２１０に配設することができる。または、構造化開口３１０を構造化開口ユニット３００としてレンズユニット２１０に配設することもできる。そこで、ここではまず構造化開口３１０を構造化開口ユニット３００としてレンズユニット２１０に配設する場合について説明する。図４は、構造化開口３１０を組み込んだ構造化開口ユニット３００の外観図である。図４（ａ）は光軸２０１方向から見た正面図であり、図４（ｂ）は側面図である。

構造化開口ユニット３００は、構造化開口３１０、ベース部３０７、外周部３０８および把持部３０９を主な構成要素とする。保持枠３０１の外周部にはギア３０６が全周にわたって設けられている。保持枠３０１は、ベース部３０７に回転機構を介して連結され、図示する矢印方向へ回転自在に支持されている。ベース部３０７は、保持枠３０１の中空部分と同様に、被写体光束範囲に中空部分を有する。したがって、保持枠３０１にフィルタ３０２が張設されていなければ、構造化開口ユニット３００をレンズユニット２１０へ装着しても、被写体光束に何ら影響を与えない。

ベース部３０７の端部には外周部３０８と把持部３０９が一体的に形成されている。ユーザは、把持部３０９を掴んで構造化開口ユニット３００をレンズユニット２１０に対して挿抜する。なお、ここでは構造化開口ユニット３００を挿抜できるように構成したが、後述するように、本実施形態においては構造化開口３１０が被写体光束の可視光に対しては作用しないので、挿抜機構を省いてレンズユニット２１０に内蔵されるように構成しても良い。構造化開口ユニット３００は、例えば天体写真撮影など、後述の赤外光受光画素を用いて通常の撮影画像を取得したい場合などに挿抜機構を利用して抜出され得る。

フィルタ３０２を固定する保持枠３０１は、上述のように矢印方向へ回転するので、透過フィルタ部３０４の光軸２０１に対する相対的な位置関係は、保持枠３０１の回転に伴って変化する。例えば、保持枠３０１が１８０度回転されると、図示する透過フィルタ部３０４と光軸２０１の位置関係が逆転する。

図５は、構造化開口ユニット３００をレンズユニット２１０に装着する様子を示す図である。図５（ａ）は、構造化開口ユニット３００をレンズユニット２１０に挿し込む直前の様子を示し、図５（ｂ）は、装着された様子を示す。

ユーザは、把持部３０９を把持して、構造化開口ユニット３００をレンズ鏡筒２１７に設けられた装着スリット２１９へ挿し込む。すると、構造化開口ユニット３００は、ベース部３０７の側面がレンズ鏡筒２１７の内部に設けられた挿抜ガイド２２０に案内されて、フィルタ３０２の中心が光軸２０１と一致する位置に到達する。フィルタ３０２の中心が光軸２０１と一致する位置に到達すると、外周部３０８が装着スリット２１９に嵌合し、外周部３０８の外面がレンズ鏡筒２１７の外観面と一致する。同時に、ギア３０６は、アクチュエータ２１５の駆動ギアと噛合する。このように、構造化開口ユニット３００がレンズユニット２１０と一体化されると、レンズシステム制御部２１６は、アクチュエータ２１５により保持枠３０１を回転させることができ、光軸２０１周りに透過フィルタ部３０４と光軸２０１の位置関係を変更することができる。

なお、シングルコーデッドアパーチャを採用する構造化開口３６０を構造化開口ユニット３００としてレンズユニット２１０に配設する場合は、開口位置を光軸２０１に対して変更することを要しないので、アクチュエータ２１５を省略して、構造化開口ユニット３００をレンズ鏡筒内に固定配置すれば良い。もちろん、赤外光撮影に対応すべく挿抜機構を採用して、被写体光束から抜出できるように構成しても良い。

図６は、撮像素子２４３の画素上に配置された画素フィルタの説明図である。本実施例における画素フィルタの配列は、図示するように、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタおよびＩＲ画素フィルタが設けられている。ＩＲ画素フィルタは、赤外光の波長帯を透過するフィルタである。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。撮像素子２４３の全体としては、２次元的に配列された画素のそれぞれが離散的にＲ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタおよびＩＲ画素フィルタのいずれかを備えることになるので、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像をＲＧＢ＋ＩＲの４つの波長帯に分離して光電変換する。

なお、撮像素子２４３の画素の画素ピッチは、ＩＲ画素フィルタが設けられた赤外光受光画素の画素ピッチを基準に決定される。赤外光受光画素の画素ピッチは、合焦を表現するＰＳＦを再現できるサンプリングピッチにより決定される。具体的には、レンズ群２１１を含む撮影光学系により合焦した点像を赤外光受光画素が受光したときに出力される像が、許容錯乱円によって規定される合焦との判定に対応するＰＳＦの波形を表現できるように、赤外光受光画素の画素ピッチが決定される。

図７は、撮像素子２４３の画素が感度を有する波長帯と、構造化開口の赤外遮断フィルタ部３０３、３５３が遮断する波長帯の関係を示す図である。図は、縦軸に透過率（％）を、横軸に波長（ｎｍ）を示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。

Ｂ曲線６０１は、Ｂ画素フィルタが設けられた画素の感度を示し、同様にＧ曲線６０２はＧ画素フィルタが設けられた画素の感度を、Ｒ曲線６０３はＲ画素フィルタが設けられた画素の感度を、ＩＲ曲線６０４はＩＲ画素フィルタが設けられた画素の感度を示す。また、構造化開口３１０、３６０の赤外遮断フィルタ部３０３、３５３は、矢印６１１の波長帯を遮断する。一方、構造化開口３１０、３６０の透過フィルタ部３０４、３５４は、図示する波長帯のいずれも遮断することなく被写体光束を透過させる。

すなわち、ＩＲ画素フィルタが設けられた赤外光受光画素は、構造化開口３１０、３６０の開口部としての透過フィルタ部３０４、３５４を通過した被写体光束のみを受光する。一方で、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられた画素は、透過フィルタ部３０４、３５４および赤外遮断フィルタ部３０３、３５３のいずれにも遮断されない被写体光束の可視光波長帯を受光する。

すると、赤外受光画素の出力のみを集めれば、構造化開口３１０、３６０を通過することにより振幅変調を受けた被写体画像を形成することができ、これを画像処理することによって補助撮影画像を取得することができる。構造化開口３６０を用いる場合は、この補助撮影画像からシングルコーデッドアパーチャの手法を採用して距離情報を算出できる。
構造化開口３１０を用いる場合は、透過フィルタ部３０４を光軸２０１に対して反転させ、もう一つの振幅変調を受けた被写体画像を形成し、二枚目の補助撮影画像を取得する。これらの補助撮影画像からコーデッドアパーチャペアの手法を採用してより精度の高い距離情報を算出できる。

同時に、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられた画素の出力を集めれば、構造化開口３１０、３６０によっては何ら振幅変調を受けていない被写体画像を形成することができ、これを画像処理することによってカラーの被写体画像を形成することができる。つまり、観賞用等に耐え得る通常の被写体画像としての本撮影画像を取得することができる。

したがって、シングルコーデッドアパーチャの手法を採用する構造化開口３６０を用いた場合であれば、一度の撮影動作により補助撮影画像と本撮影画像を共に取得することができる。コーデッドアパーチャペアの手法を採用する構造化開口３１０を用いた場合であれば、透過フィルタ部３０４を反転させて行う二度の撮影動作により異なる振幅変調を受けた二枚の補助撮影画像と、二枚の本撮影画像を共に取得することができる。

次に、本実施形態に係る一眼レフカメラ２００のシステム構成を説明する。図８は、一眼レフカメラ２００のシステム構成を概略的に示すブロック図である。一眼レフカメラ２００のシステムは、レンズユニット２１０とカメラユニット２３０のそれぞれに対応して、レンズシステム制御部２１６を中心とするレンズ制御系と、カメラシステム制御部２４５を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２１８とカメラマウント２３１によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。

カメラ制御系に含まれる画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換された撮像信号を画像データに処理する。本撮影画像として処理された画像データは、表示部２４７へ送られて、例えば撮影後の一定時間の間表示される。これに並行して、処理された画像データは、所定の画像フォーマットに加工され、外部接続ＩＦ２５４を介して外部メモリに記録される。また、画像処理部２４６は、赤外光受光素子の出力からなる撮像信号を処理して補助撮影画像を生成する。生成された補助撮影画像は距離情報算出部２５１へ引き渡され、距離情報算出部２５１は、上述の手法により距離情報を算出する。算出された距離情報は、カメラメモリ２５２へ記録される。

カメラメモリ２５２は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された撮影画像の一時的な記録場所としての他に、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ２５３は、例えばＲＡＭなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。

レリーズスイッチ２５５は押し込み方向に２段階のスイッチ位置を備えており、カメラシステム制御部２４５は、第１段階のスイッチであるＳＷ１がＯＮになったことを検出すると、ＡＦセンサ２４０から位相差情報を取得する。そして、レンズシステム制御部２１６へフォーカスレンズ２１２の駆動情報を送信する。また、ＡＥセンサ２３７から被写体像の輝度分布を取得して露出値を決定する。さらに、第２段階のスイッチであるＳＷ２がＯＮになったことを検出すると、予め定められた処理フローに従って撮影動作を実行する。

フラッシュ２４９は、カメラシステム制御部２４５の制御に従って被写体を照射する。また、同様にパターン投光部２５０は、カメラシステム制御部２４５の制御に従って投光パターンを被写体に投光する。

レンズシステム制御部２１６は、カメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。レンズメモリ２２１は、レンズユニット２１０に固有であるＰＳＦを保管している。距離情報算出部２５１は、カメラシステム制御部２４５およびレンズシステム制御部２１６を介して、レンズメモリ２２１からＰＳＦを取得する。また、構造化開口駆動部２２２は、構造化開口３１０を用いる場合に、レンズシステム制御部２１６の指示に従ってアクチュエータ２１５を駆動する。

図９は、補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。本フローにおける一連の処理は、カメラシステム制御部２４５が操作部材を介してユーザから指示を受け付けたとき、または、予め定められた制御プログラムに距離算出処理が組み込まれているとき等に開始される。

ステップＳ８０１では、画像処理部２４６が処理対象となる補助撮影画像を取得する。画像処理部２４６は、処理対象の補助撮影画像として、撮像素子２４３から出力された画像信号をそのまま取得しても良いし、撮影後に距離情報を算出しないまま記録部に記録されている補助撮影画像を読み出して取得しても良い。したがって、本実施形態においてはカメラユニット２３０を画像処理装置として距離情報の算出を実行するが、距離情報の算出は、カメラとは別個の独立した画像処理装置で実行することもできる。例えば、ＰＣを例にすれば、カメラとの間に記録媒体を介在させ、記録媒体に記録された補助撮影画像を読み出して処理することもできるし、有線、無線によりカメラと接続した状態を確立すれば、補助撮影画像の撮影と連動して処理することもできる。そして、補助撮影画像を生成すると距離情報算出部２５１へ引き渡す。

距離情報算出部２５１は、補助撮影画像を受け取ると、ステップＳ８０２で、レンズメモリ２２１に保管されているレンズユニット２１０のＰＳＦを取得する。なお、距離情報の算出処理が補助撮影画像の撮影動作と連続しない場合には、レンズユニット２１０が他のレンズユニット２１０に交換されている場合もあるので、距離情報算出部２５１は、他の保管場所からＰＳＦを取得するように構成しても良い。

例えば、補助画像データは、撮影処理時にレンズメモリ２２１に記録されているＰＳＦをＥＸＩＦ情報などの付帯情報として取り込むこともできるし、カメラメモリ２５２は、レンズユニット２１０が装着されるタイミングでレンズメモリ２２１からＰＳＦを取り込むこともできる。したがって、距離情報算出部２５１は、補助撮影画像の付帯情報、カメラメモリ２５２などからＰＳＦを取得することもできる。なお、距離情報算出部２５１は、補助撮影画像の付帯情報として記録されているレンズユニット情報と構造化開口情報から、カメラメモリ２５２などの記録部に記録されているＰＳＦから使用すべきＰＳＦを特定することもできる。このような場合は、補助撮影画像の撮影時に用いられたレンズユニットの情報を取得するステップと、当該レンズユニットに対応するそれぞれのＰＳＦを取得するステップとを分けて処理すると良い。

距離情報算出部２５１は、このように取得した補助撮影画像とこれに対応したＰＳＦを用いて、ステップＳ８０３で、距離情報を算出する。距離情報は、上述のようにシングルコーデッドアパーチャまたはコーデッドアパーチャペアの手法を用いて算出される。なお、算出された距離情報は、距離画像データとして別途独立したファイルを生成しても良いし、補助撮影画像に付帯して記録しても良い。別途独立したファイルを生成する場合には、補助撮影画像に対してリンク情報を記録する。算出された距離情報は、例えば、同一距離と判断された被写体が存在する画素領域情報と当該距離をセットとして、距離ごとに複数セット分リスト化されたテーブル形式のデータ構造を有する。算出できる距離の分解能は、ＰＳＦがどれだけの距離ピッチごとに用意されているかに依存するので、高い分解能を得たい場合には、細かい距離ピッチで刻んだＰＳＦを予め用意すれば良い。以上により一連の処理フローを終了する。

次に、赤外光受光素子の配置についてのバリエーションを説明する。図１０は、ファインダから観察される被写体像５０１および焦点検出領域５０２を示す図である。被写体像５０１の領域は撮像素子の有効画素領域にほぼ対応する。焦点検出領域５０２は二次元的に複数設けられており、ユーザの設定により、または、カメラシステム制御部２４５がシーンを判別して特定の一つの焦点検出領域５０２が選択されて、その領域でオートフォーカスが行われる。カメラシステム制御部２４５がシーンを判別する場合、例えば近点優先、顔検出優先等のアルゴリズムにより一つの焦点検出領域５０２が選択される。

図１１は、焦点検出領域５０２の配置と赤外光受光素子の配置の関係を示す図である。図６を用いて説明した撮像素子２４３においては、赤外光受光素子を全面に離散的に配置した。しかし、撮像素子６４３においては、焦点検出領域に対応する対応領域６３２を包含する焦点検出対応領域６３３を設定して、この領域内に赤外光受光素子を離散的に配置する。

具体的には、図示するように、焦点検出対応領域６３３内では、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタおよびＩＲ画素フィルタを設ける。また、焦点検出対応領域６３３外では、４画素を１組として、いわゆるベイヤー配列に倣い各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタを設ける。

つまり、距離情報を取得したい領域は、焦点検出領域と一致する場合が多く、したがって、赤外光受光画素を限定的に配置すれば良い。これにより、距離情報を算出する領域を限定することができるので、算出時間を短縮できる。

次に、撮像素子の配置についてのバリエーションを説明する。図１２は、赤外光用撮像素子８４４と可視光用撮像素子８４３を配置したレンズ交換式カメラ８００の断面図である。図示するように、赤外光波長帯を受光する専用の赤外光用撮像素子８４４と可視光波長帯を受光する可視光用撮像素子８４３を、被写体光束の赤外光波長帯と可視光波長帯を分割するダイクロイックミラー８３２を介して、それぞれ共役となる位置に独立に配置する。赤外光波長帯と可視光波長帯を分割する光学素子は、ダイクロイックミラー８３２に限らず、ダイクロイックプリズムなどの素子でも良い。なお、構造化開口８０１は撮影光学系の瞳位置またはその近傍に配置される。

また、撮影光学系によっては、赤外光波長帯の焦点面と可視光波長帯の焦点面がずれることがあるが、この場合、赤外光用撮像素子８４４は、可視光用撮像素子の焦点面と共役な位置にこのずれ量を加味した修正位置に配置すると良い。あるいは、このずれ量を打ち消すように、例えば赤外光用撮像素子８４４の近傍に補正レンズ８３３を配設しても良い。

次に、補助撮影画像の取得に対する支援動作について説明する。上述のようにシングルコーデッドアパーチャの手法であれ、コーデッドアパーチャの手法であれ、距離情報の算出はＰＳＦを用いるので、被写体像として合焦状態と非合焦状態で差異がない領域が存在すると、当該領域において距離情報を取得することが困難となる。例えば、単一色の平滑な壁面など、被写体の表面にコントラストがない領域がこれに該当する。そこで、本実施形態においては、パターン投光部２５０を利用して、補助撮影画像の取得時に、被写体に格子状のパターンを投光する。

図１３は、パターン投光の様子を示す説明図である。図１３（ａ）は、パターン投光する前の被写体の様子を示す。図示するように、物が置かれたテーブル９０１と、後方の壁面９０２および壁面９０２に設けられた窓を覆うブラインド９０３が被写体として存在する。このとき、特に、壁面９０２の表面にコントラストが存在せず、この領域の距離情報が抜け落ちる可能性がある。

図１３（ｂ）は、パターン投光部２５０によりパターン光が被写体に投光された様子を示す。投光パターン９１０はパターン投光部２５０から投光されたパターン光が被写体表面に形成するパターンを表す。パターン投光部２５０は、フラッシュ２４９の近傍に設けられており、例えば高輝度ＬＥＤ、パターンマスクおよびフレネルレンズが組み合わされて構成されている。なお、パターン投光部２５０は、ＡＦセンサ２４０により位相差検出を行う場合など、オートフォーカス動作時のＡＦ補助光投光部として利用することもできる。

パターン投光部２５０は、カメラシステム制御部２４５の制御により、高輝度ＬＥＤが発光されて、パターンマスクに規定されるパターンを被写体に投光する。図においては、格子状のパターンが被写体に投光されており、壁面９０２等の表面に投光パターン９１０としてコントラストを生じさせている。特に、複数の水平方向のラインが垂直方向に連続するブラインド９０３の表面に、垂直方向のコントラストも生じさせている。

このように水平方向および垂直方向共に成分を持つようなパターンを投光すれば、より精度の良い距離情報を算出できる。コーデッドアパーチャペアの手法を用いる場合は、光軸に対して偏心した位置に設けられた開口を移動させて二枚の補助撮影画像を取得するが、このとき、被写体表面に、移動する前後の位置における開口の中心を結ぶ線分に平行なコントラストしか存在しないと、算出される距離の精度が非常に悪くなる。例えば、ブラインド９０３がこのような条件を満たしやすい。このとき、パターン投光により被写体表面に対してこの線分に直交する方向にコントラストを与えれば、精度良く距離を算出することができる。投光パターン９１０として示す格子状パターンは、二次元的なパターンの一例であり、このような条件下においても精度の良い距離算出に資する。

また、パターン投光部２５０の光源は、投光する光の波長帯に、構造化開口の開口に設けられたフィルタを透過する波長帯を含む。すなわち、構造化開口の開口に、撮像素子のうち補助撮影画像を生成する画素の受光波長帯を透過するフィルタが設けられる場合、投光する光の波長帯は、この受光波長帯の少なくとも一部を含む。特に、図６を用いて説明した撮像素子２４３、図１１を用いて説明した撮像素子６４３の場合、構造化開口３１０、３６０と組み合わせて、パターン投光部２５０に赤外光波長帯を発光する光源を採用する。

特に、可視光波長帯を含まない赤外光波長帯のみを発光する光源を採用すれば、被写体として含まれる人物に、可視光波長帯であれば不愉快と感じさせるパターン光を認識させることが無い。さらに、図７に示すように、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられた画素が、赤外光波長帯に対して感度を持たなければ、上述のように、本撮影画像と補助撮影画像を同時に取得する場合であっても、本撮影画像に対してパターン光の影響を与えることが無い。

上記の実施形態においては、距離情報算出部２５１は、ＰＳＦを取得してシングルコーデッドアパーチャの手法またはコーデッドアパーチャペアの手法により距離情報を算出した。しかし、距離情報算出部２５１は、これらの手法によらず、本撮影画像と補助撮影画像の間に生じる視差を利用して距離情報を算出することもできる。

図３（ｂ−１）を用いて説明した構造化開口３１０は、フィルタ３０２が保持枠３０１の中空部分に張設されて固定されている。フィルタ３０２は、被写体光束のうち可視光を透過させ赤外光を遮断する赤外遮断フィルタ部３０３と、被写体光束のうち可視光および赤外光を透過させる透過フィルタ部３０４を有する。特に、赤外遮断フィルタ部３０３と透過フィルタ部３０４は互いに隣接しており、入射する被写体光束が赤外遮断フィルタ部３０３か透過フィルタ部３０４のいずれかを透過するように構成されている。保持枠３０１の中心は撮影レンズの光軸と一致し、かつ保持枠３０１の中空部分は通過する被写体光束の断面範囲よりも大きい。また、円形を成す透過フィルタ部３０４は、光軸に対して偏心している。

したがって、フィルタ３０２は、全体として、可視光波長帯における被写体光束の全部を透過させる。一方で、赤外光波長帯における被写体光束については、赤外遮断フィルタ部３０３で遮断し、偏心して設けられた透過フィルタ部３０４でのみ透過させる。すると、撮像素子２４３のうちＩＲ画素フィルタが設けられた赤外受光画素上に結像する赤外光波長帯の被写体像と、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられた可視光受光画素上に結像する可視光波長帯の被写体像は、互いに視差を有することになる。

つまり、赤外受光画素の出力のみを集めて形成された補助撮影画像と、可視光受光画素の出力のみを集めて形成された本撮影画像とは、互いに視差を有する画像となる。距離情報算出部２５１は、これらの画像に写り込む同一被写体間のマッチングを行うことにより、そのずれ量から当該被写体の深さを算出する。以下に、距離画像を取得するまでの処理について説明する。

図１４は、本撮影画像と補助撮影画像の取得から、距離画像を算出するまでの処理の概念を示す図である。上述のように、本撮影画像は、フィルタ３０２の全体を透過する可視光波長帯の被写体光束が撮像素子２４３の受光面に結像して光電変換され、出力された画像信号が画像処理部２４６によって処理されて、生成される。同様に、補助撮影画像は、フィルタ３０２の透過フィルタ部３０４を透過する赤外光波長帯の被写体光束が撮像素子２４３の受光面に結像して光電変換され、出力された画像信号が画像処理部２４６によって処理されて、生成される。

生成された本撮影画像と補助撮影画像は距離情報算出部２５１に引渡され、距離情報算出部２５１は、両画像のマッチング処理を実行する。ここで、マッチング処理について説明する。

補助撮影画像において、焦点の合っている奥行きでは本撮影画像に対してずれない。一方、焦点の合っていない奥行きでは本撮影画像に対してずれる。特に、焦点の合った奥行きより遠いか近いかにより、ずれの方向が逆転する。別言すれば、本撮影画像Ｉ_ＲＧＢと補助撮影画像Ｉ_ＩＲは、ステレオ画像となる。本撮影画像の中央の視点をリファレンス座標に取れば、リファレンス座標（ｘ，ｙ）における視差をｄ画素とすると、Ｉ_ＲＧＢ（ｘ，ｙ）、Ｉ_ＩＲ（ｘ−ｄ，ｙ）が対応するから、これらが最も良く一致するｄを視差の推定値とすることができる。しかし、観測波長帯が異なるため対応点の輝度レベルは一致しないので、単純な輝度の差分をマッチング指標にすることはできない。

そこで、ここでは自然画像の色成分は局所的に線形関係を示す傾向が高いことを利用する。（ｘ，ｙ）の周りに局所ウィンドウｗ（ｘ，ｙ）を考え、そこに含まれる画素色の集合をＳ（ｘ，ｙ；ｄ）＝｛（Ｉ_ＲＧＢ（ｓ，ｔ）、Ｉ_ＩＲ（ｓ−ｄ，ｔ））｜（ｓ，ｔ）∈ｗ（ｘ，ｙ）｝とすると、真のｄのときに分布が最も直線に近くなると考えられる。ここではＲＧＢ−ＩＲ間の線形関係を計る指標として以下を用いる。

ただしλ_０、λ_１（λ_０≧λ_１≧０）は色分布Ｓ（ｘ，ｙ；ｄ）の主成分軸に沿った分散（すなわちＳ（ｘ，ｙ；ｄ）の共分散行列Σの固有値）、σ_ＲＧＢ ^２、σ_ＩＲ ^２は色分布のＲＧＢ、ＩＲ軸に沿った分散である。ここでは表記の簡単のため右辺のｘ、ｙ、ｄへの依存については省略した。

行列の性質からλ_０＋λ_１＝σ_ＲＧＢ ^２＋σ_ＩＲ ^２（＝ｔｒａｃｅ（Σ））であるので、固有値間の大小に差があるほど式（１）は小さくなる。直線的な分布（λ_０＞＞λ_１）であればＬは０に近く、完全無相関（固有値がＲＧＢ、ＩＲ軸に沿った分散に等しい）のとき最大値Ｌ＝１をとる。

画像の各点、おおび取りうる範囲の各視差ｄについてＬ（ｘ，ｙ；ｄ）を計算する必要があるが、Ｓｕｍｍｅｄ Ａｒｅａ Ｔａｂｌｅを用いてＩ_ＲＧＢ、Ｉ_ＩＲとそれらの二乗と積の表を計算しておけば、局所ウィンドウのサイズに依存せずに共分散行列Σの各要素を計算することができる。また、式（１）の分子は行列の性質からλ_０λ_１＝ｄｅｔ（Σ）であるので固有値を実際に計算する必要はない。このように計算される各被写体単位の視差ｄにより、シーンの奥行き情報を推定することができる。さらに具体的に説明する。

距離情報算出部２５１は、本撮影画像の対象画素４８１に対して局所ウィンドウ４８２を定め、補助撮影画像との間でマッチング処理を行い、対象画素４８１における視差量を決定する。具体的には、距離情報算出部２５１は、本撮影画像上の局所ウィンドウ４８２に対応して補助撮影画像上に局所ウィンドウ４８４を設定して、局所ウィンドウ４８４を局所ウィンドウ４８２に対して相対的にずらしながら互いにマッチングの良い画像領域を探索する。そして、マッチングが良いと判断される局所ウィンドウ４８４の位置を定め、その中心座標である探索画素４８３の座標値を算出する。視差量は、対象画素４８１の座標値と探索画素４８３の座標値の差として決定される。つまり、距離情報算出部２５１は、被写体の同一点を捉えている対象画素４８１と探索画素４８３が、互いに何ピクセルずれているかを視差量として決定する。

対象画素４８１が合焦領域に含まれる場合は、視差量が０となる。また、対象画素４８１が合焦領域に対して奥行き方向に遠い被写体の領域に含まれる場合は、視差量が大きくなる。つまり、ピクセル単位で決定される視差量は、被写体の奥行き方向の距離と比例関係にある。また、レンズ情報および合焦被写体の絶対距離から、単位ピクセルあたりの奥行き方向の距離が算出される。したがって、距離情報算出部２５１は、算出した単位ピクセルあたりの距離に決定した視差量を乗じて合焦被写体の絶対距離を加算することにより、対象画素４８１における奥行き方向の距離を決定することができる。距離情報算出部２５１は、本撮影画像上において対象画素４８１を左上から右下まで順次走査しながら上記のマッチング処理を逐次実行して、本撮影画像のそれぞれの画素における奥行き方向の距離を算出する。

距離情報算出部２５１は、以上の処理により、本撮影画像の各画素に対する奥行き情報を取得する。つまり、距離画像を完成させる。距離情報算出部２５１はさらに、各画素の距離が如何なる区分帯に属するかにより、各画素をグループ化することができる。距離情報算出部２５１がグループごとに輪郭を抽出すると、それぞれの輪郭は、図１４の下図のように表される。距離情報算出部２５１は、このように輪郭で囲まれたそれぞれの領域を、被写体像の輪郭を規定する領域として確定する。なお、ここでは各区分帯に対応して、４つの領域Ａ〜領域Ｄを確定する。

以上のようなマッチング手法は、シングルコーデッドアパーチャの手法またはコーデッドアパーチャペアの手法に比較してシンプルな計算処理なので、距離情報算出部２５１の負荷が軽くて済む。

なお、いずれの手法により距離情報を算出する場合であっても、本撮影画像と補助撮影画像を一度の撮影動作により取得するときには、カメラシステム制御部２４５は、絞り２１４の絞り込む範囲を制限する。具体的には、被写体光束が、制限範囲３０５よりも小さくならないように、絞りを開放側に設定して撮影動作を実行する。このように絞りが開放側となるように、予め定められた絞り値以下に設定して撮影動作を実行すれば、透過フィルタ部３０４の一部の領域のみを被写体光束が透過する状況を回避できる。換言すれば、透過フィルタ部３０４の全体が被写体光束に包含される絞り値を制限値として設定すれば、良好な補助撮影画像を取得することができる。

上述の構造化開口３１０は、被写体光束のうち可視光波長帯がフィルタ３０２に遮断されることなく透過する構成であった。しかし、本撮影画像と補助撮影画像の間により大きな視差量が生じるように構造化開口を変更することができる。図１５は、構造化開口の他の例である。

構造化開口４１０は、保持枠４０１の中空部分に張設されたフィルタ４０２を有する。フィルタ４０２は、被写体光束のうち可視光を遮断して赤外光を透過させるＩＲフィルタ部４０３、可視光を透過させ赤外光を遮断するＲＧＢフィルタ部４０４および被写体光束を遮断する遮断フィルタ部４０５を有する。図示するようにＩＲフィルタ部４０３とＲＧＢフィルタ部４０４は、フィルタ４０２の中心を通る光軸に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられている。別言すれば、遮断フィルタ部４０５の中心に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられた２つの開口に、赤外光波長帯を透過させるＩＲフィルタ部４０３と可視光波長帯を透過させるＲＧＢフィルタ部４０４が形成されている。

このように構成された構造化開口４１０を利用すれば、互いの開口中心に対応する基線長が長くなり、本撮影画像と補助撮影画像の間の視差量が増加する。したがって、距離情報算出部２５１は、より精確な距離情報を算出することができる。また、ＩＲフィルタ部４０３とＲＧＢフィルタ部４０４の開口径を同じ大きさにすれば、本撮影画像と補助撮影画像のぼけ量をほぼ一致させることができるので、距離情報算出部２５１は、さらに精確な距離情報を算出することができる。

以上の実施形態においては、一眼レフカメラを例に説明したが、光学ファインダを持たないレンズ交換式カメラ、レンズユニットが一体化されたコンパクトカメラ、動画撮影を行うこともできるビデオカメラといった撮像装置に対しても適用することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０１、１１１ 保持枠、１０２、１１２ フィルタ、１０３、１１３ 遮断フィルタ部、１０４、１１４ 透過フィルタ部、２００ 一眼レフカメラ、２０１ 光軸、２１０ レンズユニット、２１１ レンズ群、２１２ フォーカスレンズ、２１３ ズームレンズ、２１４ 絞り、２１５ アクチュエータ、２１６ レンズシステム制御部、２１７ レンズ鏡筒、２１８ レンズマウント、２１９ 装着スリット、２２０ 挿抜ガイド、２２１ レンズメモリ、２２２ 構造化開口駆動部、２３０ カメラユニット、２３１ カメラマウント、２３２ メインミラー、２３３ 回転軸、２３４ ピント板、２３５ ペンタプリズム、２３６ 接眼光学系、２３７ ＡＥセンサ、２３８ サブミラー、２３９ ＡＦ光学系、２４０ ＡＦセンサ、２４１ フォーカルプレーンシャッタ、２４２ 光学ローパスフィルタ、２４３ 撮像素子、２４４ メイン基板、２４５ カメラシステム制御部、２４６ 画像処理部、２４７ 表示部、２４８ 二次電池、２４９ フラッシュ、２５０ パターン投光部、２５１ 距離情報算出部、２５２ カメラメモリ、２５３ ワークメモリ、２５４ 外部接続ＩＦ、２５５ レリーズスイッチ、３００ 構造化開口ユニット、３０１ 保持枠、３０２ フィルタ、３０３ 赤外遮断フィルタ部、３０４ 透過フィルタ部、３０５ 制限範囲、３０６ ギア、３０７ ベース部、３０８ 外周部、３０９ 把持部、３１０ 構造化開口、３５１ 保持枠、３５２ フィルタ、３５３ 赤外遮断フィルタ部、３５４ 透過フィルタ部、３６０ 構造化開口、４０１ 保持枠、４０２ フィルタ、４０３ ＩＲフィルタ部、４０４ ＲＧＢフィルタ部、４０５ 遮断フィルタ部、４１０ 構造化開口、４８１ 対象画素、４８２、４８４ 局所ウィンドウ、４８３ 探索画素、５０１ 被写体像、５０２ 焦点検出領域、６０１ Ｂ曲線、６０２ Ｇ曲線、６０３ Ｒ曲線、６０４ ＩＲ曲線、６１１ 矢印、６４３ 撮像素子、６３２ 対応領域、６３３ 焦点検出対応領域、８００ レンズ交換式カメラ、８０１ 構造化開口、８３２ ダイクロイックミラー、８３３ 補正レンズ、８４３ 可視光用撮像素子、８４４ 赤外光用撮像素子、９０１ テーブル、９０２ 壁面、９０３ ブラインド、９１０ 投光パターン

Claims (16)

1. 光学系に配設され、被写体光束の赤外光波長帯に振幅変調を与える構造化開口と、
   前記光学系を通過して入射する前記被写体光束の前記赤外光波長帯に感度を持つ赤外光受光画素を少なくとも一部に有する撮像素子と
   を備える撮像装置。
2. 前記撮像素子は、前記赤外光受光画素の他に前記被写体光束の可視光波長帯に感度を持つ可視光受光画素を有し、
   前記赤外光受光画素は前記赤外光波長帯を透過させる赤外光フィルタを備え、前記可視光受光画素は前記可視光波長帯の少なくとも一部を透過させる可視光フィルタを備える請求項１に記載の撮像装置。
3. 前記可視光受光画素は、前記可視光フィルタとして赤を透過させる赤フィルタを備えるＲ画素、前記可視光フィルタとして緑を透過させる緑フィルタを備えるＧ画素、および、前記可視光フィルタとして青を透過させる青フィルタを備えるＢ画素からなり、
   前記撮像素子は、前記赤外光受光画素、前記Ｒ画素、前記Ｇ画素および前記Ｂ画素の４画素を一組として配列された請求項２に記載の撮像装置。
4. 被写界に対して複数の焦点検出領域を有する焦点検出部を備え、
   前記赤外光受光画素は、前記複数の焦点検出領域のそれぞれに対応する前記撮像素子の各々の領域に配置される請求項２に記載の撮像装置。
5. 前記撮像素子は前記被写体光束を受光する画素として前記赤外光受光画素を有する赤外光用撮像素子であって、
   前記赤外光用撮像素子の他に、前記被写体光束を受光する画素として可視光波長帯に感度を持つ可視光受光画素を有する可視光用撮像素子と、
   前記光学系に配設され、前記被写体光束を前記赤外光用撮像素子の方向と前記可視光用撮像素子の方向に分割する分割素子と
   を備える請求項１に記載の撮像装置。
6. 前記光学系は、前記被写体光束の前記赤外光波長帯を前記赤外光受光画素に結像させると共に、前記被写体光束の前記可視光波長帯を前記可視光受光画素に結像させる請求項２から５のいずれか１項に記載の撮像装置。
7. 前記赤外光用撮像素子は、前記光学系に対して前記可視光用撮像素子と共役な位置に、前記光学系に基づく前記被写体光束の前記可視光波長帯と前記赤外光波長帯の焦点面のずれ量を加味した修正位置に配設された請求項５に記載の撮像装置。
8. 前記可視光受光画素の出力から生成される本撮影画像と、前記赤外光受光画素の出力から生成される補助撮影画像を、一度の撮影動作により取得する撮影制御部を備える請求項２から７のいずれか１項に記載の撮像装置。
9. 前記撮影制御部は、前記本撮影画像と前記補助撮影画像を一度の撮影動作により取得する場合には、予め定められた絞り値以下に設定して前記撮影動作を実行する請求項８に記載の撮像装置。
10. 少なくとも前記補助撮影画像を用いて被写体の距離情報を算出する距離情報算出部を備える請求項８または９に記載の撮像装置。
11. 前記距離情報算出部は、前記構造化開口に対応する点像分布関数を用いて前記距離情報を算出する請求項１０に記載の撮像装置。
12. 前記距離情報算出部は、前記本撮影画像と前記補助撮影画像の視差に基づいて前記距離情報を算出する請求項１０に記載の撮像装置。
13. 前記構造化開口は、前記被写体光束のうち前記可視光波長帯を透過させ前記赤外光波長帯を遮断する第１フィルタと、前記被写体光束のうち前記可視光波長帯および前記赤外光波長帯を透過させる第２フィルタとを有する請求項２から１２のいずれか１項に記載の撮像装置。
14. 前記構造化開口は、前記第１フィルタと前記第２フィルタが互いに隣接しており、全体として前記可視光波長帯における前記被写体光束の全部を透過させる請求項１３に記載の撮像装置。
15. 前記構造化開口は、前記第１フィルタと前記第２フィルタが前記光学系の光軸に対してそれぞれ偏心した位置に設けられた請求項１３に記載の撮像装置。
16. 前記赤外光受光画素の画素ピッチは、前記光学系により合焦したときの点像分布関数が表現され得るサンプリングピッチに基づいて決定される請求項１から１５のいずれか１項に記載の撮像装置。

Images