JP2012008370A - 撮像装置および交換レンズ - Google Patents

Abstract

【課題】光学系から入射した光束を分割して像を形成させて撮像することにより、良好な立体感が得られる立体画像を撮影する。
【解決手段】撮像装置は、結像光学系の射出瞳を通過する、異なる一対の光束を受光して、一対の光束に対応する一対の画像信号を出力する撮像素子２１２と、結像光学系から射出される光束を通過させる第１領域を有し、一対の光束を射出する絞り部材２１１と、第１領域を通過する一対の光束を制限する一対の第２領域を有し、一対の光束のそれぞれを第２領域に制限する制限状態と、第１領域を通過する一対の光束を撮像素子２１２へ受光させる非制限状態との一方に切り替える制限手段２０７と、制限手段に２０７よって制限状態に切り替えられたとき、撮像素子２１２が一対の第２領域を通過する一対の光束を受光して出力した一対の画像信号に基づいて、一組の対応関係にある立体画像データを生成する生成手段２１４とを備える。
【選択図】図１

Description

本発明は、立体撮影機能を備えた撮像装置および交換レンズに関する。

従来から、視差を有する画像データ（立体画像データ）を生成する撮像装置が知られている。このような撮像装置では、オンチップレンズを受光素子に対して偏らせることにより画素の指向特性を異ならせるとともに、それぞれ異なる指向特性を有する画素を備えた２つの撮像素子上に、単一の光学系から到来する光束を分割して像を形成して撮像が行われる（たとえば特許文献１）。

特開２００６−１６５６０１号公報

しかしながら、一般にオンチップレンズのサイズは非常に小さく、製造上簡単なレンズ構成（通常はレンズ面が球面形状の１面）しか採用できないので、その指向特性や集光特性は十分なものではない。また、オンチップレンズのサイズが１０μｍ以下になるとレンズ開口による回折の影響が生じる。以上の理由により、上述した従来の撮像装置においては、画素の指向特性が広範囲なものとなり、すなわち指向特性が低下し、デフォーカスにより像がボケてしまい立体感が得られないという問題や、指向特性の差が少なく立体感が得られないという問題がある。

請求項１に記載の発明による撮像装置は、結像光学系の射出瞳を通過する、異なる一対の光束を受光して、一対の光束に対応する一対の画像信号を出力する撮像素子と、結像光学系から射出される光束を通過させる第１領域を有し、一対の光束を射出する絞り部材と、第１領域を通過する一対の光束を制限する一対の第２領域を有し、一対の光束のそれぞれを第２領域に制限する制限状態と、第１領域を通過する一対の光束を撮像素子へ受光させる非制限状態との一方に切り替える制限手段と、制限手段によって制限状態に切り替えられたとき、撮像素子が一対の第２領域を通過する一対の光束を受光して出力した一対の画像信号に基づいて、一組の対応関係にある立体画像データを生成する生成手段とを備えることを特徴とする。
請求項１１に記載の発明による交換レンズは、結像光学系と、結像光学系を介して入射する光束を通過させる第１領域を有し、一対の光束を射出する絞り部材と、第１領域を通過する一対の光束を制限する一対の第２領域を有し、結像光学系の光路中に挿入された状態と、光路中から退避された状態のうちの一方に切り替わることによって、一対の光束のそれぞれを第２領域に制限する制限状態と、第１領域を通過する一対の光束を通過させる非制限状態との一方に切り替える制限手段とを備えることを特徴とする。

本発明によれば、立体感の優れた立体画像データを生成することができる。

本発明の実施の形態によるカメラの構成を説明する横断面図 撮像素子の画素配列の一例を示す図 撮像素子に設けられる色フィルタの配置の例を示す図 光電変換部が受光する一対の光束の様子を説明する図 光電変換部が受光する一対の光束の様子を説明する図 絞りおよび開口マスクの一例を示す図 絞りおよび開口マスクにより制限される光束が通過する領域を示す図 絞りにより光束が制限された場合の集光状態を示す図 開口マスクにより光束が制限された場合の集光状態を示す図 実施の形態によるカメラの撮像動作を説明するフローチャート 実施の形態によるカメラの撮像動作を説明するフローチャート 実施の形態によるカメラの撮像動作を説明するフローチャート 変形例における撮像素子の画素配列の一例を示す図 変形例における撮像素子上の画素が受光する光束の様子を説明する図

一実施の形態の撮像装置として、レンズ交換式デジタルカメラを例に挙げて説明する。図１は一実施の形態のカメラの構成を示すカメラの横断面図である。一実施の形態のデジタルカメラ２０１は、交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。

交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、開口マスク２０７、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信とを行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。開口マスク２０７には一対の開口部が設けられるとともに、ボディ駆動制御装置２１４により撮影光路中に挿入／退避される。開口マスク２０７が撮影光路中に挿入された際には、開口マスク２０７は絞り２１１に近接して配置され、後述するように絞り開口を通過する光束を絞り開口の外周の周辺に偏った一対の光束に制限する。

カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、ファインダー表示素子２１６、背面表示素子２２０、接眼レンズ２１７、操作部材２１８、メモリカード２１９などを備えている。撮像素子２１２については、画素が二次元状（行と列）に配置される。この撮像素子２１２については詳細を後述する。

ボディ駆動制御装置２１４は、マイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御および撮像素子２１２からの画素信号の読み出しと、画素信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。

操作部材２１８は、通常撮影モードと立体撮影モードとを選択するための選択手段であって、ボディ駆動制御装置２１４はこの操作部材２１８により選択された撮影モードに応じて、レンズ駆動制御装置２０６に撮影モードを伝える。レンズ駆動制御装置２０６は撮影モードに応じて、開口マスク２０７を撮影光路中へ挿入または撮影光路中から退避させる。

ファインダー表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。ファインダー表示素子２１６に表示された画像を撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。背面表示素子２２０は裸眼で立体画像の観察が可能な表示機能を備える。このような表示素子としては、たとえば特開平３−１１９８８９号公報に開示されているような、公知のパララックスバリア方式（視差バリア方式）の表示素子を用いることができる。このパララックスバリア方式の表示素子は、表示画面としての液晶装置の他にバリア形成用の液晶装置を備えたものであり、立体映像表示時にはストライプ状に液晶による遮光部分を発生させ、平面映像表示時には遮光部分を発生させずに無色透明体とするように構成したものである。メモリカード２１９は、撮像素子２１２により撮像された画像を記録する画像ストレージである。

交換レンズ２０２を通過した光束により、撮像素子２１２上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、撮像画素および焦点検出画素の画素信号がボディ駆動制御装置２１４へ送られる。

ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの画素信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ出力する。また、ボディ駆動制御装置２１４は、撮像素子２１２の撮像画素の画像信号を処理して画像を生成し、メモリカード２１９に格納するとともに、撮像素子２１２から読み出されたスルー画像信号を液晶表示素子駆動回路２１５へ出力し、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を出力して、絞り２１１の開口制御を行う。

レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値とに応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置を絞り値とに応じたレンズ情報を選択する。

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。さらに、レンズ駆動制御装置２０６は撮影モードに応じて開口マスク２０７を撮影光路中へ挿入、または撮影光路中から退避させる。

図２と図３は撮像素子２１２の詳細な構成を示す正面図であり、画面の一部を拡大した場合の画素配列の詳細を示す。図２に示すように、撮像素子２１２には画素３１１が二次元正方格子状に稠密に配列される。図３は図２に示す画素に設けられる色フィルタの配置を示す図である。色フィルタは赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。図４、図５は、画素３１１の一対の光電変換部１３、１４が受光する光束の様子を説明するための図であって、画素配列の断面を示す。画素３１１はマイクロレンズ１０と一対の光電変換部１３、１４から構成される。光電変換部１３、１４は水平方向に並んで配置され、２つの受光領域を合わせると略正方形の受光領域となる。

画素３１１は、光電変換部１３、１４の上に近接して遮光マスク３０が形成され、光電変換部１３、１４は遮光マスクの開口部を通過した光を受光する。遮光マスクの上には平坦化層が形成され、その上に色フィルタが形成される。色フィルタの上には平坦化層が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部に制限された光電変換部１３、１４の形状が前方に投影されて、一対の測距瞳を形成する。光電変換部１３、１４は、半導体回路基板上に形成される。

図４、図５において撮像素子上に配列された画素の光電変換部１３は、光電変換部１３に近接して配列された遮光マスクの開口部を通過した光束を受光する。また、光電変換部１４は、光電変換部１４に近接して配列された遮光マスクの開口部を通過した光束を受光する。遮光マスクの開口部の形状はマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の、光電変換部１３の全てに共通な領域９３に投影される。同様に、遮光マスクの開口部の形状はマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の、光電変換部１４の全てに共通な領域９４に投影される。一対の領域９３、９４を測距瞳と呼ぶ。

従って、各光電変換部１３は、測距瞳９３とマイクロレンズ１０を通過する光束８３を受光する。そして、各光電変換部１３は、測距瞳９３を通過してマイクロレンズ１０へ向う光束８３によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また、各光電変換部１４は、測距瞳９４とマイクロレンズ１０を通過する光束８４を受光する。そして、各光電変換部１４は、測距瞳９４を通過してマイクロレンズ１０へ向う光束８４によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。

実際は、射出瞳面において光束は絞り開口により制限されており、最も明るい絞り開口径の場合においても、その開口径の領域は測距瞳９３、９４を足し合わせた領域に含まれる。従って、一対の光電変換部１３、１４が受光する光束８３、８４は、射出瞳を通過する全光束に対して相補的な関係になっている。

上述した一対の焦点検出画素１３、１４の出力を測距瞳９３および測距瞳９４に対応した一対の出力グループにまとめることによって、測距瞳９３と測距瞳９４とをそれぞれ通過する一対の光束が画素配列上（水平方向）に形成する一対の像の強度分布に関する情報が得られる。この情報に対して、公知の像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、焦点検出位置（垂直方向）における予定結像面と結像面との偏差（デフォーカス量）が算出される。

図６は絞り２１１と開口マスク２０７の配置を示す図である。図６に示すように、絞り２１１は光軸９１を中心とした半径Ｒの円形の開口２１１ａを備える。開口マスク２０７は一対の開口２０７ａ、２０７ｂを備え、絞り２１１に近接して撮影光路中に挿入され、あるいは、撮影光路中から退避される。開口マスク２０７の一対の開口部２０７ａ、２０７ｂは、それぞれ半径ｒ（≦Ｒ／２）の円形開口、すなわち絞り２１１の円形開口２１１ａの半径１／２以下の半径の円形開口である。開口マスク２０７の開口部２０７ａ、２０７ｂは光軸９１に対して光電変換部１３および１４が配列された方向（以下、水平方向と呼ぶ）の対称な位置に、円形開口２１１ａの外周円に略内接するように設けられる。

図７（ａ）は、開口マスク２０７が撮影光路中から退避された場合の射出瞳面上において、光束が絞り２１１の開口２１１ａを通過する領域と測距瞳９３、９４との関係を示す。絞り２１１の開口２１１ａにより制限される光束は、射出瞳面９０において円形領域１０５の内部を通る。円形領域１０５は一対の測距瞳９３、９４を足し合わせた領域内に含まれる。開口マスク２０７が撮影光路中から退避している場合には、測距瞳９３のうち円形領域１０５により制限された領域１０３を通る光束が画素の光電変換部１３に受光される。さらに、測距瞳９４のうち円形領域１０５により制限された領域１０４を通る光束が画素の光電変換部１４に受光されることになる。換言すると、開口マスク２０７が撮影光路中から退避された場合、開口マスク２０７は一対の領域１０３、１０４を通過する光束を制限することなく撮像素子２１２へ導く非制限状態に切り替えられたことになる。領域１０３の重心と領域１０４の重心との間隔、すなわち領域１０３を通過する光束の重心位置と領域１０４を通過する光束の重心位置との間隔はＬｂとなる。

図７（ｂ）は開口マスク２０７が撮影光路中に挿入された場合の射出瞳面上において、絞り２１１の開口２１１ａにより制限された光束が、開口マスク２０７の開口２０７ａ、２０７ｂによりさらに制限される領域と、測距瞳９３、９４との関係を示す図である。領域１１３、１１４は、射出瞳面９０において開口マスク２０７の開口２０７ａ、２０７ｂにより制限された光束が通る領域である。開口マスク２０７が撮影光路中に挿入されている場合には、測距瞳９３のうち円形領域１１３を通る光束が画素の光電変換部１３に受光され、測距瞳９４のうち円形領域１１４を通る光束が画素の光電変換部１４に受光されることになる。換言すると、開口マスク２０７が撮影光路中に挿入された場合、開口マスク２０７は一対の領域１０３、１０４を通過する光束を領域１１３、１１４で制限して撮像素子２１２へ導く制限状態に切り替えられたことになる。円形領域１１３の重心と円形領域１１４の重心との間隔（重心間隔）はＬａとなり、上述した間隔Ｌｂより長くなる。また、領域１０３および領域１０４の水平方向の幅（絞り２１１の半径Ｒ）より、領域１１３および１１４の水平方向の幅（開口２０７ａ、２０７ｂの直径２ｒ）の方が狭くなる。

図８、図７に示すように絞り２１１により光束が制限された場合における光束の光軸上の点への集光状態を示す水平方向の断面図である。開口マスク２０７が撮影光路中から退避している場合には、射出瞳９０の領域１０３を通過する光束４０３と領域１０４を通過する光束４０４とは、合焦面４０１において光軸上の一点に合致して集光する。図８に示すように、合焦面から所定のデフォーカス量離れた面４０２（たとえば撮像面）においては、光束４０３と光束４０４との水平方向の幅Ｒ１は、図７に示す領域１０３と領域１０４との幅に比例してボケて広がる。また、光束４０３と光束４０４との重心間隔Ｄ１は、図７に示す領域１０３と領域１０４との重心間隔Ｌｂに比例した間隔となる。

一方、図９は、図７に示すように絞り２１１および開口マスク２０７により光束が制限された場合における光束の光軸上の点への集光状態を示す水平方向の断面図である。図９に示すように、開口マスク２０７が撮影光路中に挿入されている場合には、射出瞳９０の領域１１３を通過する光束４１３と領域１１４を通過する光束４１４とは合焦面４０１において光軸上の一点に合致して集光する。図９に示すように、合焦面から所定デフォーカス量離れた面４０２（たとえば撮像面）においては、光束４１３と光束４１４との水平方向の幅Ｒ２は、図７に示す領域１１３と領域１１４との水平方向の幅に比例してボケて広がるが、図８に示す光束４０３と光束４０４との水平方向の幅Ｒ１より小さくなる。また、光束４１３と光束４１４との重心間隔Ｄ２は、図７に示した領域１１３と領域１１４との重心間隔Ｌａに比例した間隔となり、光束４０３と光束４０４との重心間隔Ｄ１より広がる。

以上のように、立体撮影モードの場合には開口マスク２０７が撮影光路上に挿入されることにより、面４０２におけるデフォーカスによる一対の像の重心間隔が広がり（すなわち視差が大きくなり）、より強い立体感が得られる。さらには、デフォーカスに対するボケ量が少ないので、ボケによる立体感の喪失が少なく、より焦点深度の深い奥行き感のある立体画像が得られることになる。なお、開口マスク２０７が撮影光路中に挿入されると撮影画像が暗くなるので、撮像感度を上げたり、絞りを開いたり、シャッター秒時を遅くする等の処理を行う。

図１０、図１１、図１２は、一実施の形態のデジタルカメラ（撮像装置）の撮像動作を示すフローチャートである。図１０において、ボディ駆動制御装置２１４は、ステップ１００でカメラの電源がオンされると、ステップ１１０以降の撮像動作を開始する。ステップ１００において、撮像素子は一定周期で撮像動作を繰り返す動作モード（たとえば１秒間に６０フレームを出力する）に設定される。

ステップ１１０において、図１の操作部材２１８の選択状態を検出して立体撮影モードか否かを判定し、立体撮影モードではない場合（通常撮影モード）にはステップ２００に分岐し、立体撮影モードの場合にはステップ３００に分岐する。ステップ２００では開口マスク２０７が撮影光路中に挿入されていた場合には、レンズ駆動制御装置２０６に指令を出し、開口マスク２０７を撮影光路から退避させた後、ステップ２１０の通常撮影動作を行う。一方、ステップ３００では開口マスク２０７が撮影光路中から退避されていた場合には、レンズ駆動制御装置２０６に指令を出し、開口マスク２０７を撮影光路に挿入させた後、ステップ２１０の立体撮影動作を行う。

図１１において、ステップ２１０の通常撮影動作が開始されると、ステップ２２０で撮像素子の全画素から光電変換部１３に対応した画像データと、光電変換部１４に対応した画像データとを読み出す。これら一対の画像データは絞り開口を２等分した開口を通る一対の光束が形成する画像を得るために、該一対の画像データを画素毎に加算して合成画像データを生成する。ステップ２４０では、合成画像データを電子ビューファインダーと背面ＬＣＤ（背面表示素子）に表示する。

ステップ２５０では、不図示の走査手段による動画撮影の指示がなされているか否かを判定し、動画撮影の指示がなされていない場合には、ステップ２６０で今回のフレームに対応する合成画像データを動画データとしてメモリカード２１９に記憶してステップ２７０に進む。ステップ２７０では、対となる光電変換部のデータに基づき、公知の像ズレ検出演算処理（相関演算処理）によって焦点検出を行い、デフォーカス量を算出する。

ステップ２８０では、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させる。デフォーカス量の信頼性が低い場合や焦点検出不能の場合には、その旨をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０の駆動制御を更新しない。その後、ステップ１１０へ戻って上述した動作を繰り返す。

図１２において、ステップ３１０の立体撮影動作が開始されると、ステップ３２０で撮像素子の全画素から光電変換部１３に対応した画像データと、光電変換部１４に対応した画像データとを読み出す。これら一対の画像データは視差を有する立体画像に相当しているので、ステップ３２５で一対の画像データを背面ＬＣＤ（背面表示素子）で立体表示する。ステップ３３０では視差のない画像を得るために、該一対の画像データを画素毎に加算して合成画像データを生成する。

ステップ３４０では合成画像データを電子ビューファインダーに表示する。ステップ３５０では、不図示の走査手段による動画撮影の指示がなされているか否かを判定し、動画撮影の指示がなされていない場合にはステップ３７０に進み、動画撮影の指示がなされていた場合にはステップ３６０で今回のフレームに対応する一対の画像データを立体画像データとしてメモリカード２１９に記憶してステップ３７０に進む。ステップ３７０では、対となる光電変換部のデータに基づき、公知の像ズレ検出演算処理（相関演算処理）によって焦点検出を行い、デフォーカス量を算出する。

ステップ３８０では、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させる。デフォーカス量の信頼性が低い場合や焦点検出不能の場合には、その旨をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシング用レンズ２１０の駆動制御を更新しない。その後、ステップ１１０へ戻って上述した動作を繰り返す。

なお、図１１のステップ２７０、図１２のステップ３７０で行われる一般的な像ズレ検出演算処理（相関演算処理）について説明する。画素が検出する一対の像は、測距瞳がレンズの絞り開口により口径蝕を受けて光量バランスが崩れている可能性がある。そのため、たとえば特開２００７−３３３７２０号方向に開示されている、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を行う。その結果、以下の式（１）に示すようにデフォーカス量ｄｅｆが算出される。なお、以下の式（１）において、ｓｈｉｆｔは像ズレ量、Ｋｄは変換係数を示す。変換係数Ｋｄは、画素が受光する一対の光束の拓き書くに対応している。そのため、開口マスク２０７が撮影光路中から退避されている場合、すなわち図１１のステップ２７０の場合には、測距瞳距離ｄを図７の重心間隔Ｌｂで除算した値に相当する。開口マスク２０７が撮影光路中に挿入されている場合、すなわち図１２のステップ３７０の場合には、測距瞳距離ｄを図７の重心間隔Ｌａで除算した値に相当する。
ｄｅｆ＝Ｋｄ×ｓｈｉｆｔ ・・・（１）

以上で説明した実施の形態のデジタルカメラによれば、以下の作用効果が得られる。
（１）撮像素子２１２は、交換レンズ２０２の射出瞳を通過する、異なる一対の光束を受光して、一対の光束が形成する一対の画像に対応する一対の画像信号を出力する。絞り２１１は、交換レンズ２０２から射出される光束を通過させる円形領域１０５（領域１０３および１０４）を有し、一対の光束を射出する。開口マスク２０７は、円形領域１０５を通過する一対の光束を制限する一対の領域１１３、１１４を有している。そして、開口マスク２０７は、一対の光束のそれぞれを領域１１３、１１４に制限する制限状態と、円形領域１０５を通過する一対の光束を撮像素子２１２へ受光させる非制限状態との一方に切り替える。そして、ボディ駆動制御装置２１４は、開口マスク２０７によって一対の領域１１３、１１４に制限された制限状態に切り替えられたとき、撮像素子２１２が一対の領域１１３、１１４を通過する一対の光束を受光して出力した一対の画像信号に基づいて、一組の対応関係にある立体画像データを生成するようにした。したがって、撮像素子２１２の画素として瞳分割型の画素を用いるとともに、立体撮影モードにおいては単一の光学系の撮影光路中に開口マス２０７クを挿入して一対の立体画像を得るので、簡易な構成により簡単に立体感が強くボケによる奥行き間が損なわれない立体画像を得ることができる。

（２）一対の領域１１３、１１４の並び方向の幅は、一対の領域１０３、１０４の並び方向の幅よりも小さくなるように、開口マスク２０７に開口２０７ａ、２０７ｂを形成するようにした。したがって、デフォーカス量に対するボケ量を少なくできるので、ボケによる立体感の喪失が抑制された立体画像を得ることができる。

（３）一対の領域１１３、１１４の重心位置の間隔は、一対の領域１０３、１０４の重心位置の間隔、すなわち領域１０３を通過する光束の重心位置と領域１０４を通過する光束の重心位置との間隔よりも広くなるように、開口マスク２０７に開口２０７ａ、２０７ｂを形成するようにした。したがって、デフォーカスによる一対の像の重心間隔が広がることにより視差が大きくなるので、強い立体感を有する立体画像を得ることができる。

（４）ボディ駆動制御装置２１４は、生成した一組の対応関係にある立体画像データを出力して、立体画像として背面表示装置２２０に表示させるようにした。したがって、使用者は、専用の表示装置を用いることなく撮影した立体画像を観察することができる。また、立体撮影モードにおいても、ファインダー表示素子２１６（電子ビューファインダー）には、視差のない合成画像データが表示されるので、撮影者が撮影対象を狙いやすいという利点を有する。

（５）開口マスク２０７が交換レンズ２０２の光路中から退避されることにより非制限状態に切り替えられているときに、ボディ駆動制御装置２１４は、撮像素子２１２によって一対の領域１０３、１０４を通過する一対の光束を受光して出力された一対の画像信号を合成して、１つの画像データを生成するようにした。したがって、立体撮影モードと立体画像を取得しない通常撮影との切り替えを簡便に行うことができる。

（６）ボディ駆動制御装置２１４は、撮像素子２１２により出力された一対の画像信号の位相差を検出し、一対の領域１０３、１０４の重心位置の間隔および一対の領域１１３、１１４の重心位置の間隔の少なくとも一方に応じた変換係数に基づいて位相差をデフォーカス量に変換する。そして、ボディ駆動制御装置２１４は、交換レンズ２０２の焦点検出を行うようにした。したがって、開口マスク２０７が交換レンズ２０２の光路中に挿入された場合であっても、適切なデフォーカス量を算出することができる。

上述した実施の形態のデジタルカメラを、以下のように変形できる。
（１）上述の実施の形態においては、開口マスク２０７を機械的に撮影光路中に挿入／退避しているが、撮影光路中に液晶シャッター素子を配置し、開口マスク２０７のマスク部に相当する部分を透過／遮光状態に制御することで、開口マスク２０７の撮影光路中への挿入／退避と同等な機能を果たすことができる。このようにすることで、開口マスク２０７の動作機構や退避スペースが不要となるとともに、迅速な切換え動作が実現できる。さらに、該液晶シャッター素子に絞り２１１の機能を持たせ、開口マスクの機能と兼用することにより、部品点数を減少させることができる。

（２）上述の実施の形態では立体撮影モードにおいて絞り開口径は特に制御していないが、絞り開口径が制御可能な場合には、より強い立体感が得られる一対の画像データを得るために、最も明るい絞り開口径に制御することもできる。また、交換レンズのレンズ情報（開放Ｆ値、射出瞳距離）に応じて立体感の強弱を判断するための指標データ（たとえば射出瞳距離×開放Ｆ値＝基線長）を算出し、該指標データに応じて立体感の強弱を表示するようにしたり、立体感が得られないような場合には立体撮影モードへの切換えを禁止するようにしてもよい。

（３）上述の実施の形態の通常撮影モードにおいて、高精度な焦点検出が必要な場合は、開口マスク２０７を撮影光路中に挿入し、その状態で得られた一対の画像データに基づいて焦点検出を行うようにしてもよい。

（４）上述した実施の形態においては、動画撮影に本発明を適用しているが、これに限定されるものではない。たとえば連続撮影（複数回の画像フレームのうち所定回毎に画像フレームを記録する）や単独撮影（複数回の画像フレームのうち、所定のトリガに応じて１つの画像フレームを記録する）にも本発明を適用することができる。

（５）上述した実施の形態においては、立体画像表示用パララックスバリア方式（視差バリア方式）の表示素子を用いているが、これ以外の方式の立体画像表示素子を用いてもよい。たとえば左目用と右目用の画像表示用の光の偏光方向を異ならせ、観察者が偏光メガネ（左目用画像が左目のみに入り、右目用画像が右目のみに入る）を用いて観察するようにしてもよい。

（６）図３に示す撮像素子２１２の部分拡大図では、１つの画素内に一対の光電変換部を備える例を示したが、図１４のように各画素に１つの光電変換部を有する一対の画素３１３、３１４を備えるようにしてもよい。図１３に示す一対の画素３１３、３１４の上には、図２に示す配置の色フィルタが配置されている。同じ色フィルタ同士で一対の画素３１３、３１４が交互に水平方向に並ぶように、２個の画素３１３と２個の画素３１４とが交互に水平方向に並んで配置される。

画素３１３は、矩形のマイクロレンズ１０と遮光マスクで受光領域を正方形の左半分（正方形を垂直線で２等分した場合の左半分）に制限された光電変換部１３、および色フィルタ（不図示）とから構成される。また、画素３１４は、矩形のマイクロレンズ１０と遮光マスクで受光領域を正方形の右半分（正方形を垂直線で２等分した場合の右半分）に制限された光電変換部１４、および色フィルタ（不図示）とから構成される。画素３１３と画素３１４とをマイクロレンズ１０を重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部１３と１４とが水平方向に並んでいる。

画素３１３、３１４では光電変換部１３、１４の上に近接して遮光マスクが形成され、光電変換部１３、１４は遮光マスクの開口部を通過した光を受光する。遮光マスクの上には平坦化層が形成され、その上に色フィルタが形成される。色フィルタの上には平坦化層が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部の形状が前方に投影される。光電変換部１３、１４は半導体回路基板上に形成される。

図１４は、画素３１３、３１４が受光する光束の様子を説明する図であり、画素配列の断面をとっている。撮像素子上に配列された全ての画素３１３、３１４の光電変換部１３、１４は光電変換部１３、１４に近接して配置された遮光マスクの開口部を通過した光束を受光する。光電変換部１３に近接して配置された遮光マスクの開口部の形状は、各画素３１３のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の、画素３１３の全てに共通した領域９３に投影される。同様に、光電変換部１４に近接して配置された遮光マスクの開口部の形状は各画素３１４のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の、画素３１４の全てに共通した領域９４に投影される。一対の領域９３、９４を測距瞳と呼ぶ。

従って、各画素３１３の光電変換部１３は、測距瞳９３と各画素のマイクロレンズ１０を通過する光束７３を受光し、測距瞳９３を通過して各画素のマイクロレンズ１０へ向う光束７３によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また、各画素３１４の光電変換部１４は、測距瞳９４と各画素のマイクロレンズ１０を通過する光束７４を受光し、測距瞳９４を通過して各画素のマイクロレンズ１０へ向う光束７４によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。

上述した構成の撮像素子においても、一対の画素３１３、３１４の出力によって、視差を有する一対の立体画像データを生成することが可能である。また、一対の画素３１３、３１４の出力により瞳分割型位相差検出を行うことも可能である。焦点検出を行う場合には、同色の色フィルタを有する水平方向に同じ行に配置された画素の一対のデータ列を用いる。たとえば、緑画素または赤画素である。また、一対のデータ列から１つの画像データを合成する場合には、１つの画素を水平方向に挟む同色の近接した２つの画素のデータの平均と該画素のデータとを加算することにより、該画素のデータを算出する。

上述した実施の形態における撮像素子では、１つのマイクロレンズの下に１つの光電変換部または２つの光電変換部を有する画素を示したが、１つのマイクロレンズの下に１つの光電変換部または３つ以上の光電変換部を有する画素にも適用可能である。たとえば、特開２００８−１１６６１６号公報に開示された撮像素子のように１つのマイクロレンズの下に２次元的に複数の受光部を備えた画素にも適用できる。

（７）上述した実施の形態における撮像素子では撮像画素がベイヤー配列の色フィルタを備えた例を示したが、色フィルタの構成や配列はこれに限定されることはない。補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンダ：Ｍｇ、シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用できる。また、色フィルタを備えないモノクロの撮像素子にも適用できる。

（８）上述した実施の形態においては、撮像素子と光学系との間に光学要素を配置していないが、適宜必要な光学要素を挿入することが可能である。たとえば赤外カットフィルタや光学的ローパスフィルタやハーフミラーなどを設けてもよい。

（９）撮像装置としては、実施の形態で説明したカメラボディに交換レンズが装着されるデジタルカメラに限定されない。たとえば、レンズ一体型のデジタルカメラ、あるいはビデオカメラにも本発明を適用できる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

２０１・・・デジタルカメラ、 ２０２・・・交換レンズ、
２０７・・・開口マスク、 ２１１・・・絞り、
２１２・・・撮像素子、 ２１４・・・ボディ駆動制御装置

Claims (11)

1. 結像光学系の射出瞳を通過する、異なる一対の光束を受光して、前記一対の光束に対応する一対の画像信号を出力する撮像素子と、
   前記結像光学系から射出される光束を通過させる第１領域を有し、一対の光束を射出する絞り部材と、
   前記第１領域を通過する前記一対の光束を制限する一対の第２領域を有し、前記一対の光束のそれぞれを前記第２領域に制限する制限状態と、前記第１領域を通過する前記一対の光束を前記撮像素子へ受光させる非制限状態との一方に切り替える制限手段と、
   前記制限手段によって前記制限状態に切り替えられたとき、前記撮像素子が前記一対の第２領域を通過する前記一対の光束を受光して出力した一対の画像信号に基づいて、一組の対応関係にある立体画像データを生成する生成手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記一対の第２領域の並び方向の幅は、前記第１領域の幅よりも小さいことを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記一対の第２領域の重心位置の間隔は、前記第１領域を通過する一方の光束の重心位置と前記第１領域を通過する他方の光束の重心位置との間隔よりも広いことを特徴とする撮像装置。
4. 請求項１乃至３のいずれか一項に記載の撮像装置において、
   前記生成手段により生成された前記一組の対応関係にある立体画像データを記憶媒体に記録する記録制御手段をさらに備えることを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記記録制御手段は、前記立体画像データを動画データとして前記記憶媒体に記録することを特徴とする撮像装置。
6. 請求項１乃至５のいずれか一項に記載の撮像装置において、
   前記生成手段により生成された前記一組の対応関係にある立体画像データを出力して、立体画像として表示させる表示制御手段をさらに備えることを特徴とする撮像装置。
7. 請求項１乃至６のいずれか一項に記載の撮像装置において、
   前記制限手段によって前記非制限状態に切り替えられているときに、前記撮像素子によって前記第１領域を通過する前記一対の光束を受光して出力された一対の画像信号を合成して、１つの画像データを生成する合成手段をさらに備えることを特徴とする撮像装置。
8. 請求項１乃至７のいずれか一項に記載の撮像装置において、
   前記制限手段は、前記第１領域を通過する前記一対の光束のそれぞれを前記一対の第２領域に制限する開口を有する制限部材を含み、前記制限状態では前記制限部材を前記結像光学系の光路中に挿入し、前記非制限状態では前記制限部材を前記光路中から退避させることを特徴とする撮像装置。
9. 請求項１乃至８のいずれか一項に記載の撮像装置において、
   前記撮像素子により出力された前記一対の画像信号の位相差を検出し、前記第１領域を通過する一方の光束の重心位置と前記第1領域を通過する他方の光束の重心位置との間隔および前記一対の第２領域の重心位置の間隔の少なくとも一方に応じた変換係数に基づいて前記位相差をデフォーカス量に変換して、前記結像光学系の焦点検出をおこなう焦点検出手段をさらに備えることを特徴とする撮像装置。
10. 請求項１乃至９のいずれか一項に記載の撮像装置において、
    前記結像光学系と、前記絞り部材とを有するレンズを有し、
    前記制限手段は、前記絞りの近傍に設けられることを特徴とする撮像装置。
11. 結像光学系と、
    前記結像光学系を介して入射する光束を通過させる第１領域を有し、一対の光束を射出する絞り部材と、
    前記第１領域を通過する一対の光束を制限する一対の第２領域を有し、前記結像光学系の光路中に挿入された状態と、前記光路中から退避された状態のうちの一方に切り替わることによって、前記一対の光束のそれぞれを前記第２領域に制限する制限状態と、前記第１領域を通過する前記一対の光束を通過させる非制限状態との一方に切り替える制限手段とを備えることを特徴とする交換レンズ。

Images