JP5814692B2 - 撮像装置及びその制御方法、プログラム - Google Patents

Description

本発明は、撮像装置及びその制御方法、プログラムに関し、特に両眼立体視用の画像を生成する技術に関する。

近年、演算回路の処理能力の向上、表示領域の多画素化等により、表示装置の中には３次元の視覚効果を観測者に知覚させることが可能な、所謂３次元画像表示装置（以下、３Ｄテレビ）が存在する。

３Ｄテレビでは、所定のリフレッシュレートで左眼用及び右眼用の画像を切り替えて表示する、あるいはレンチキュラ等の光学部材を用いて、それぞれの眼で異なる画像を見ることができるように左眼用及び右眼用の画像を同時表示する方法等がとられている。３Ｄテレビに表示された画像や映像は、左眼用及び右眼用の画像間において像のずれ（視差）を有しており、当該像のずれによって観測者に奥行き方向の情報を知覚させることができる。

人間が物体を見る場合、各眼球から注視点（視差なし）に向かう視線がなす輻輳角を基準として、被写体と各眼球を結ぶ直線がなす角が輻輳角よりも大きい視差が生じる場合は、物体が注視点よりも奥行き方向で手前に存在するように知覚される。また、被写体と各眼球を結ぶ直線がなす角が輻輳角よりも小さい視差が生じる場合は、物体が注視点よりも奥行き方向で奥に存在するように知覚される。

昨今では家庭用の３Ｄテレビの普及に伴い、家庭用のデジタルカメラやデジタルビデオカメラ等の撮像装置（３Ｄカメラ）も販売されており、ユーザは自分で撮影した画像や映像を、家庭の３Ｄテレビに表示させて閲覧することができるようになってきている。

両眼立体視用の画像を撮影可能な３Ｄカメラには、左眼用及び右眼用の２つの撮像光学系を有するものに限らず、１つの撮像光学系のみを用いるものも存在する。具体的には、撮像光学系の射出瞳の異なる領域を通過した光束を別々に取得することで、各光束が通過した領域の重心間距離を基線長とした２つの撮像光学系を有する撮像装置で得られる両眼立体視用の画像と等価な画像を得ることができる。これは、位相差検出方式の焦点検出（被写体測距）に用いられる、例えば特許文献１のような１つの画素内に複数の受光素子を設けた、マイクロレンズにより各受光素子に異なる光束を結像する複合画素構造（図２参照）を有する撮像素子を用いることで達成できる。

特許第４０２７１１３号明細書

ところで、位相差検出方式の焦点検出では、合焦位置に存在する被写体、合焦位置よりも奥及び手前に存在する被写体のそれぞれの像について、射出瞳の異なる領域を通過した光束は、図１２（ａ）乃至（ｃ）に示すように異なる画素に結像される。

撮像素子の複合画素構造が水平方向に配置された２つの受光素子を有する場合、全画素の各受光素子から出力された、Ａ像とＢ像との間に生じる被写体像の水平方向のずれは、それぞれの距離に存在する被写体像について図１２（ｄ）乃至（ｆ）に示すように異なる。実際の焦点検出動作では、受光素子ａの出力と受光素子ｂの出力を列方向（もしくは行方向）に組み合わせ、同色単位画素セル群の出力として、Ａ像及びＢ像を生成・データ化し、Ａ像とＢ像の対応点のずれを相関演算により求めることができる。

このように、複合画素構造を有する撮像素子用いて、撮像光学系の射出瞳の異なる領域を通過した光束から両眼立体視用の画像を生成する場合、２つの撮像光学系を備える撮像装置における注視点の存在する面は、視差が略ない合焦位置に対応することになる。即ち、１つの撮像光学系を用いて撮影を行うために主被写体に合焦動作を行うと、当該主被写体は左眼用の画像（Ａ像）と右眼用の画像（Ｂ像）において略同一の画素に結像され、必然的に視差を有さないことになる。

このような１つの撮像光学系と複合画素構造の撮像素子を有する（単眼の）撮像装置で撮影した両眼立体視用の画像を表示する場合、主被写体は常に視差を有さないことになるため、観測者は主被写体の立体感を知覚しにくい。

また、主被写体に合焦しながら撮影された動画や連続的に撮影された静止画像を、順次読み出して表示装置で再生する場合、主被写体が移動したとしても、主被写体に係る像の視差はないままであるため、合焦位置に存在しない被写体の視差が変化することになる。

例えば、シーン１において、撮像装置と主被写体、近景被写体、及び遠景被写体との位置関係が図１３（ａ）のようである場合、撮影された左眼用及び右眼用の画像１３０１及び１３０２は、図１３（ｂ）のようになる。左眼用の画像１３０１及び右眼用の画像１３０２に示されるように、合焦位置に存在する主被写体よりも奥行き方向で手前に存在する近景被写体、及び主被写体よりも奥に存在する遠景被写体は、それぞれ水平方向に像ずれ（Ｚ_ｎ及びＺ_ｆ１）が存在する。このような両眼立体視用の画像を表示装置に表示した場合、合焦位置に存在する主被写体は像ずれがないため、図１３（ｃ）に示されるように、表示面の位置に存在するものとして知覚される。また、近景被写体及び遠景被写体についても、それぞれ表示面よりも手前、及び表示面よりも奥に存在するものとして知覚される。

その後、シーン２において、図１３（ｄ）のように近景被写体と遠景被写体は移動せずに、主被写体が近景被写体と同じ奥行き方向の位置まで移動した場合、撮像された左眼用の画像１３０３及び右眼用の画像１３０４は、図１３（ｅ）のようになる。上述したように、主被写体に合焦することにより、合焦位置のある面に存在する被写体については視差がない状態となるため、近景被写体と主被写体には、左眼用及び右眼用の画像間で像ずれがなくなっている。これに対し、遠景被写体については、合焦位置との奥行き方向の距離が離れるため、シーン１の像ずれ量Ｚ_ｆ１よりも大きい、Ｚ_ｆ２の像ずれが生じている。

このとき、左眼用の画像１３０３及び右眼用の画像１３０４を表示装置に表示した場合、観測者には、図１３（ｆ）のように、主被写体及び近景被写体が表示面の位置に存在しつづけるものとして知覚されるため、主被写体の移動は知覚されにくい。即ち、近景被写体は移動していないにも関わらず、主被写体の存在する表示面の位置まで移動したように観測者に知覚されてしまうことになる。また、遠景被写体についても、移動していないにも関わらず、主被写体の存在する表示面より、より奥の方向に被写体が移動したように観測者に知覚されてしまうことになる。

本発明は、上述の問題点に鑑みてなされたものであり、１つの撮像光学系を通過した光束を用いて生成した両眼立体視用の画像を再生した場合に、主被写体の視差がなくなることを抑えて、主被写体の立体感を適切に観測者に知覚させることを目的とする。

前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
左眼用及び右眼用の受光素子を有し、１つの撮像光学系を通過した光束を受光して、左眼用及び右眼用の撮像画像を出力する撮像素子と、左眼用及び右眼用の撮像画像に含まれる被写体のそれぞれについて、当該撮像画像間における像ずれ量を検出する検出手段と、検出手段により検出された撮像画像間における像ずれ量より得られたデフォーカス量に基づいて、主被写体に合焦するように合焦手段を制御する制御手段と、左眼用及び右眼用の撮像画像の各々について、主被写体を含む領域から抽出した抽出画像を用いて両眼立体視用の画像を生成する抽出手段と、を有し、抽出手段は、抽出画像間に含まれる主被写体とは異なる被写体についての像ずれ量が予め定められた値となるように領域を設定することを特徴とする。

このような構成により本発明によれば、１つの撮像光学系を通過した光束を用いて生成した両眼立体視用の画像を再生した場合に、主被写体の視差がなくなることを抑えて、主被写体の立体感を適切に観測者に知覚させることが可能となる。

本発明の実施形態に係るデジタルカメラの機能構成を示したブロック図 本発明の実施形態に係る撮像素子の単位画素の構成を示した図 本発明の実施形態に係る撮像画像の構成を説明するための図 本発明の実施形態に係る、像ずれ量の算出方法を説明するための図 本発明の実施形態に係る撮影処理の例を示したフローチャート 本発明の実施形態に係る像ずれ量調整処理の例を示したフローチャート デフォーカス量と像ずれ量の関係を説明するための図 本発明の実施形態に係る像ずれ量調整処理を説明するための図 本発明の実施形態に係る像ずれ量調整処理を説明するための別の図 本発明の実施形態に係る像ずれ量調整処理の変形例を説明するための図 本発明の実施形態に係る、両眼立体視用の画像データの記録形式を示した図 位相差検出方式の焦点検出を説明するための図 複合画素構造の撮像素子を用いて撮影された両眼立体視用の画像を説明するための図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、複合画素構造を有する撮像素子を備え、１つの撮像光学系の射出瞳の異なる領域を通過した光束から、両眼立体視用の画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、１つの撮像光学系を通過した光束から両眼立体視用の画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において、「像ずれ量」とは、左眼用の画像と右眼用の画像との間で、同一の被写体について生じている、画像内の相対的な水平方向の位置のずれを、画素単位で示した量であるものとする。像ずれ量は、視差のない被写体において０を示し、当該被写体よりも遠離する被写体については正の値、近接する被写体については負の値となるものとする。また、「シフト量」とは、左眼用及び右眼用の撮像画像のそれぞれについて有効画素領域より出力用の画像を抽出する、記録画素領域の相対的な水平方向の位置のずれを、画素単位で示した量であるものとする。

なお、本実施形態の説明において、撮像素子の光電変換により得られた、撮像光学系の設定条件により決定する立体感を提示する画像信号を「撮像画像」、所望の立体感を提示するように当該撮像信号の一部の領域を出力用に抽出して得られた画像信号を「抽出画像」として区別するものとする。

＜デジタルカメラ１００の機能構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

システム制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作を制御する。具体的にはシステム制御部１０１は、例えばＲＯＭ１０２に記憶されている、後述する立体視画像撮影処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、立体視画像撮影処理の動作プログラムに限らず、デジタルカメラ１００が備える各ブロックの動作に必要なパラメータ、あるいはデジタルカメラ１００の撮影設定等の情報を記憶する。

ＲＡＭ１０３は、揮発性メモリであり、動作プログラムの展開領域に限らず、デジタルカメラ１００が備える各ブロックの動作において出力された中間データ等を一時記憶するために用いられる。

撮像光学系１０４は、例えば対物レンズ、フォーカスレンズ、絞り等で構成されたユニットであり、システム制御部１０１の制御信号を受けた駆動部１０５により、レンズ位置や絞り量等が制御される。また、シャッタ１０６は、１回の撮影に係る露出量を制御するための部材であり、システム制御部１０１の制御により適切なタイミングで開閉することにより、後述する撮像部１０７に撮像光学系１０４を介して入射する光束が結像される時間を制御する。

撮像部１０７は、例えばＣＭＯＳセンサ等の撮像素子であり、撮像光学系１０４により撮像素子面に結像された光学像を光電変換することにより、アナログ画像信号を出力する。本実施形態では、撮像素子が備える各画素は、図２を参照して上述したように、水平方向に配設された左眼用及び右眼用の２つの受光素子１ａ及び１ｂとマイクロレンズ２とを備えた、複合画素構造を有するものとする。撮像部１０７は、各受光素子に結像された、撮像光学系１０４の射出瞳の異なる領域を通過した光束を光電変換し、得られた左眼用及び右眼用のアナログ画像信号を、信号処理部１０８に出力する。

なお、本実施形態では複合画素構造として、単位画素セル内に２つの受光素子を有する例について説明するが、本発明の実施はこれに限らず、３以上の受光素子を有する構成であってもよい。この場合、例えば単位画素セル内に設けられた各受光素子の出力を加算することで、少なくとも左眼用及び右眼用の撮像画像信号として、分離された２種類の画像信号出力を得ることができる。例えば、縦横それぞれ２つの受光素子が並んだ４つ受光素子で単位画素が構成される場合、左右それぞれ上下２つの受光素子の出力を加算する、あるいは左右１つずつ選択された受光素子の出力を用いることで、左眼用及び右眼用の撮像画像信号を取得すればよい。また、縦横それぞれ２つの受光素子、中央にさらに１つの受光素子を備える５つの受光素子で単位画素が構成される場合は、中央の受光素子を除いた受光素子で同様に左眼用及び右眼用の撮像画像信号を取得してもよい。

信号処理部１０８は、例えばアナログ・フロント・エンド（ＡＦＥ）及びデジタルフロントエンド（ＤＦＥ）等で構成された信号処理回路であり、撮像部１０７から入力されたアナログ画像信号に対して、種々の処理を行い、デジタル画像信号を出力する。例えばＡＦＥでは、オプティカルブラックのレベルを基準レベルに合わせる為のＯＢクランプ等の処理、及びＡ／Ｄ変換処理を適用することにより、アナログ画像信号をデジタル画像信号（画像）に変換して出力する。さらにＤＦＥでは、左眼用及び右眼用の撮像画像の各画素について、各種補正処理、あるいは並び替え変更等のデジタル処理を行う。

なお、撮像部１０７及び信号処理部１０８の動作は、タイミング発生回路であるＴＧ１０９から出力されるタイミング信号に応じて実行される。ＴＧ１０９のタイミング信号の生成は、システム制御部１０１により制御される。

測距部１１０は、信号処理部１０８より出力された左眼用及び右眼用の撮像画像について、水平方向の相関演算を行うことにより、撮像光学系１０４のデフォーカス量を算出し、システム制御部１０１に出力する。なお、本実施形態では、測距部１１０は、入力された左眼用及び右眼用の撮像画像について相関演算を行うことにより、画像内に存在する各被写体の像ずれ量を算出する像ずれ検出部１２０を備える。

像ずれ検出部１２０は、各画素点、あるいは所定数に分割した所定領域の各ブロックについて、左眼用及び右眼用の撮像画像間に生じている像ずれ量を算出し、像ずれの基準とした画像に当該像ずれ量をマッピングした、周知の視差マップを作成する。視差マップは、左眼用の画像と右眼用の撮像画像との間で、当該画像を結像した光束が通過した射出瞳の領域の違いによって生じる、対応点の像ずれ量を表しており、当該視差マップを用いることにより被写体の距離を推定することができる。

測距部１１０に入力される左眼用及び右眼用の撮像画像は、例えば図３の画像３００のように、画像処理上の基準となるオプティカルブラック（ＯＢ）画素領域３０１と有効画素領域３０２とで構成される。このとき、水平方向の相関演算に用いられる画像は、左眼用及び右眼用の撮像画像の両方とも、有効画素領域３０２と同心に形成される基本記録画素領域３０３の画像が使用される。視差マップの作成は、例えばステレオマッチングを用いた特徴点の対応付けにより行われればよい。

なお、有効画素領域３０２のうち基本記録画素領域３０３に含まれない領域は、生成する両眼立体視用の画像における被写体の視差を調整する場合に使用されるマージン領域である。両眼立体視用の画像における被写体の視差を調整する場合、左眼用及び右眼用の抽出画像の少なくともいずれかは、基本記録画素領域３０３と同一の大きさを有する記録画素領域を、有効画素領域３０２においてマージン領域を含むように設定して抽出することで取得される。即ち、本実施形態では、信号処理部１０８より出力された画像信号の有効画素領域３０２について、画像を抽出する記録画素領域の位置を水平方向にシフトさせることにより、視差を調整した両眼立体視用の画像を取得することができる。

（像ずれ検出法（ステレオマッチング））
ステレオマッチングには、様々な手法が存在するが、以下では差分和を用いた単純なテンプレートマッチング手法を用いた、左眼用及び右眼用の撮像画像間における特徴点の対応付けについて説明する。

まず左眼用及び右眼用の一方の撮像画像を基準画像とし、当該基準画像の基本記録画素領域３０３を図４（ａ）に示すように、同一の大きさを有する所定数（ｎ）のブロック４００−１乃至ｎに分割する。なお、本実施形態では複数の画素を有する領域をブロックとして分割するものとして説明するが、１つのブロックは単位画素で構成されていてもよい。そして他方の画像（参照画像）において、各ブロックに含まれる画素に対応する画素の位置を、ブロックと同じ大きさのウィンドウを水平方向に移動しながらウィンドウの面積相関値を算出することにより探索し、参照画像におけるブロックの像ずれ量を算出する。

例えば図４（ｂ）のような基準画像である左眼用の撮像画像４０１内の注目点４０２（ｘ，ｙ）についての、参照画像である右眼用の撮像画像４１１における対応点の探索は、当該注目点４０２が含まれるブロック４０３の画像をテンプレートとして用いる。当該テンプレートについて面積相関値を算出する右眼用の撮像画像４１１における範囲である対応点探索領域４１２は、注目点４０２と同一の座標と、当該座標を中心として水平方向に想定される像のずれ量Ｋとに応じて決定される。なお、本実施形態では、撮像素子の単位画素内に２つの受光素子が水平方向に並んで配設されているため、水平方向の探索のみを行う、１次元の相関を測るものとして説明する。

そして、対応点探索領域４１２内の画素を参照画素４１３として順に選択し、当該画素を中心とする、テンプレートと同一の面積を有するウィンドウ領域４１４に含まれる画像について、テンプレートとの類似度を算出する。このとき、参照画素４１３である対応点候補の近傍の類似度は、以下のような画素値の差の二乗和により算出される。
なお、ここで
Ｉ（ｘ，ｙ）：左眼用の撮像画像４０１における注目点４０２の画像信号
ｘ_ｂ＋ｉ：参照画素４１３の右眼用の撮像画像４１１におけるｘ座標
Ｉ_０（ｘ_ｂ＋ｉ，ｙ）：右眼用の撮像画像４１１における参照画素４１３の画像信号である。なお、ＪＳＤＤは「残差平方和」と呼ばれ、各画素値が完全に一致した場合に０となる。即ち、左眼用の撮像画像４０１の注目点４０２に対応する、右眼用の撮像画像４１１における対応点は、注目点４０２の画像信号と参照画素４１３の画像信号との類似度ＪＳＤＤが最小となる画素（ｘ_ｃ，ｙ）となる。つまり、注目点４０２に存在する被写体についての、左眼用及び右眼用の撮像画像間での水平方向の像ずれ量Ｚは、
Ｚ＝ｘ−ｘ_ｃ
として得られる。

各分割ブロックについての像ずれ量の代表値は、分割ブロック内の全ての画素に対して、このように注目点と対応点との間の像ずれ量を算出し、それらの最大値あるいは平均値を用いて決定されるものとする。そして、全ブロックについて算出された像ずれ量の代表値を用いて、像ずれ検出部１２０は視差マップを作成し、後述する画像処理部１１１に出力する。なお、像ずれ検出部１２０における視差マップの作成と、測距部１１０におけるデフォーカス量の演算は、同時に行われてもよいし、視差マップを使用してデフォーカス量の算出がなされてもよい。

画像処理部１１１は、信号処理部１０８より出力された左眼用及び右眼用の撮像画像に対して、色変換処理、拡大縮小処理等の補正処理を実行する。また画像処理部１１１は、左眼用及び右眼用の撮像画像間における像ずれ量を調整した抽出画像を生成するため、上述した有効画素領域３０２の画像から、所定の大きさの領域を抽出する。このとき、有効画素領域３０２における左眼用及び右眼用の抽出画像を抽出する記録画素領域の基本記録画素領域３０３からのシフト量は、システム制御部１０１が視差マップを参照することにより決定される。

関連情報付与部１１２は、上述したように画像処理部１１１で像ずれ量が調整された、左眼用及び右眼用の抽出画像についての、像ずれ量調整の情報、及び撮影時のカメラ設定の情報を含む関連情報を生成する。当該関連情報は、画像処理部１１１により生成された、像ずれ量が調整された左眼用及び右眼用の抽出画像に関連付けられて記録される。なお、像ずれ量調整の情報は、例えば上述した左眼用及び右眼用の抽出画像を抽出する記録画素領域の基本記録画素領域３０３からのシフト量の情報、有効画素領域３０２における当該記録画素領域の頂点座標の情報、あるいは後述する基準位置における像ずれ量の情報であってよい。

記録媒体１１３は、例えばデジタルカメラ１００が備える内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。ユーザが不図示のレリーズボタンを操作することによって撮影された両眼立体視用の画像は、画像データとして当該記録媒体１１３に記録される。なお、画像データの記録形式は、後処理の不要な、マルチピクチャーフォーマット（ＭＰＯ）、ＪＰＥＧや動画ファイル（ＡＶＩファイル等）とあることが好ましい。また、両眼立体視用の画像データには、有効画素領域３０２から抽出された記録画素領域の画像データ（抽出画像）のみが含まれている構成であってもよいし、例えばＲＡＷ形式のように有効画素領域あるいは全画素領域のデータを記録する構成であっても良い。なお、記録画素領域の画像データで記録されていない場合は、例えば当該画像データを再生する再生装置において、関連情報に従って左眼用及び右眼用の記録画像に相当する画像を抽出して表示すればよい。

表示部１１４は、例えばＴＦＴ方式の小型ＬＣＤ等の表示装置である。表示部１１４は、信号処理部１０８より出力された画像信号を随時表示することにより、電子ビューファインダとして機能する。なお、表示部１１４は、裸眼立体視可能なように構成された表示装置であってもよい。

＜撮影処理＞
このような構成をもつ本実施形態のデジタルカメラ１００の撮影処理について、図５のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、システム制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本撮影処理は、例えばユーザにより不図示のレリーズボタンが半押し状態にされ、デジタルカメラ１００の状態が撮影準備状態となった際に開始されるものとして説明する。

Ｓ５０１で、システム制御部１０１は、本撮影動作前の測距・測光のための予備撮影動作を行う。具体的にはシステム制御部１０１は、ＴＧ１０９及びシャッタ１０６を制御することにより、予備撮影用の左眼用及び右眼用の撮像画像を出力するように、撮像部１０７及び信号処理部１０８を動作させる。

Ｓ５０２で、システム制御部１０１は、予備撮影動作により出力された左眼用及び右眼用の撮像画像について測距部１１０にデフォーカス量を算出させ、主被写体に合焦するように撮像光学系１０４の合焦レンズを駆動部１０５に駆動させ、合焦動作を行う。具体的にはシステム制御部１０１は、予備撮影動作により信号処理部１０８から出力された左眼用及び右眼用の撮像画像の各々の、基本記録画素領域３０３に含まれる画像について、測距部１１０にデフォーカス量を算出させる。そしてシステム制御部１０１は、測距部１１０より出力されたデフォーカス量の情報に従い、主被写体に合焦するように合焦レンズの駆動位置を決定し、当該駆動位置に合焦レンズが移動するように駆動部１０５を制御する。

Ｓ５０３で、システム制御部１０１は、予備撮影動作により出力された左眼用あるいは右眼用の撮像画像に基づいて、被写体が適正露出となる絞り値及び露出時間等の本撮影時の露出条件を決定する。

Ｓ５０４で、システム制御部１０１は、ユーザにより不図示のレリーズボタンが全押し状態にされ、本撮影指示がなされたか否かを判断する。具体的にはシステム制御部１０１は、レリーズボタンが全押し状態にされたことにより入力されるＳＷ２信号を受信したか否かにより、本撮影指示がなされたか否かを判断する。システム制御部１０１は、本撮影指示がなされたと判断した場合は処理をＳ５０６に移し、なされていないと判断した場合は処理をＳ５０５に移す。

Ｓ５０５で、システム制御部１０１は、ユーザにより不図示のレリーズボタンが半押し状態から操作されていない開放状態にされたか否かを判断する。具体的にはシステム制御部１０１は、レリーズボタンが半押し状態にされている際に受信するＳＷ１信号の入力が停止したか否かを判断することにより、レリーズボタンが開放状態にされたか否かを判断する。システム制御部１０１は、レリーズボタンが開放状態にされたと判断した場合は撮影処理を完了し、開放状態にされていないと判断した場合は処理をＳ５０１に戻して再び予備撮影動作を行う。

またＳ５０４において本撮影指示がなされたと判断した場合、システム制御部１０１はＳ５０６において、Ｓ５０３で決定した露出条件で本撮影動作を行い、左眼用及び右眼用の撮像画像を取得する。なお、本実施形態では静止画撮影動作を行う際の撮影処理について説明するが、本発明の実施は動画撮影に適用されてもよい。動画撮影を行う場合は、フレーム毎にシャッタ１０６による遮光動作を行う時間を確保できないため、撮像素子においてスリットローリングシャッタ駆動を行い、適正露出のフレームを得ることができる。

Ｓ５０７で、システム制御部１０１は、本撮影動作により得られた左眼用及び右眼用の撮像画像について、像ずれ検出部１２０に視差マップを生成させる。具体的にはシステム制御部１０１は、本撮影動作により得られた左眼用及び右眼用の撮像画像のうちの一方を基準画像、他方を参照画像として決定する。そして基準画像の基本記録画素領域３０３に含まれる画像を所定数のブロックに分割し、像ずれ検出部１２０に各ブロックの参照画像の基本記録画素領域３０３における像ずれ量を算出させて視差マップを生成させる。

Ｓ５０８で、システム制御部１０１は、Ｓ５０７で像ずれ検出部１２０に生成させた視差マップを用いて、視差のない主被写体について適切な立体感を知覚させる両眼立体視用の画像を生成するための像ずれ量調整処理を実行する。

（像ずれ量調整処理）
ここで、像ずれ量調整処理の詳細について、図６のフローチャートを用いて以下に説明する。

Ｓ６０１で、システム制御部１０１は、生成する両眼立体視用の画像において、視差をなくす被写体の存在する基準画像内の基準位置（ブロック）を決定し、視差マップより当該基準位置の像ずれ量Ｚ_０を取得する。本実施形態では基準位置として、主被写体よりも奥行き方向に存在する被写体が含まれる候補ブロックのうちの１つのブロックが選択されるものとする。候補ブロックのうち、基準位置とするブロックを選択する方法は、例えばユーザに候補ブロックを提示して選択させる方法であってもよいし、被写界深度内で最大の像ずれ量を有する被写体が存在するブロックを自動的に選択する方法であってもよい。なお、以下では被写界深度内で最大の像ずれ量を有する被写体が存在するブロックが基準位置として選択された場合について説明するものとし、選択された基準位置の被写体を最遠景被写体と呼ぶことにする。

以下のステップでは、このように選択された基準位置の最遠景被写体について視差のない両眼立体視用の画像を生成するために、参照画像である右眼用の撮像画像の有効画素領域３０２から、抽出画像を抽出する記録画素領域の位置を決定する。

Ｓ６０２で、システム制御部１０１は、基準位置の最遠景被写体の像ずれ量Ｚ_０が、図３に示したような、有効画素領域３０２において記録画素領域をシフト可能なマージン領域の水平方向の幅Ｍ以下であるか否かを判断する。

本実施形態では、最終的に出力される両眼立体視用の画像のうち、左眼用の抽出画像が基本記録画素領域３０３について抽出された画像である場合、右眼用の抽出画像を抽出する記録画素領域の基本記録画素領域３０３からのシフト量Ｘは、マージン領域の幅Ｍに制限される。即ち、本ステップでは右眼用の抽出画像を抽出する記録画素領域の基本記録画素領域３０３からのシフト量Ｘを、最遠景被写体について視差をなくすためにＺ_０に設定した場合に、マージン領域の幅Ｍに収まるか否かを判断する。つまり、本ステップにおいてシステム制御部１０１は、最遠景被写体について視差のない両眼立体視用の画像を生成することが可能か否かを判断する。

システム制御部１０１は、像ずれ量Ｚ_０がマージン領域の水平方向の幅Ｍ以下であると判断した場合は処理をＳ６０３に移し、幅Ｍを超えると判断した場合は処理をＳ６０４に移す。

Ｓ６０３で、システム制御部１０１は、参照画像である右眼用の撮像画像の有効画素領域３０２において、基本記録画素領域３０３からＺ_０だけシフトした位置に設けた抽出画素領域の画像を、右眼用の抽出画像として抽出する。即ち、本ステップの処理を実行することにより、システム制御部１０１は最遠景被写体についての像ずれ量が０となるように調整した右眼用の抽出画像を取得することができる。なお、システム制御部１０１は、このときのシフト量（Ｘ＝Ｚ_０）の情報を、関連情報付与部１１２に出力する。

またＳ６０２で像ずれ量Ｚ_０がマージン領域の水平方向の幅Ｍを超えると判断した場合、システム制御部１０１はＳ６０４で、右眼用の撮像画像の有効画素領域において、基本記録画素領域３０３からＭだけシフトした位置に設けた記録画素領域の画像を、右眼用の抽出画像として抽出する。即ち、本ステップの処理を実行することにより、システム制御部１０１は最遠景被写体についての像ずれ量が可能な限り０となるように調整した右眼用の抽出画像を取得することができる。なお、システム制御部１０１は、このときのシフト量（Ｘ＝Ｍ）の情報を、関連情報付与部１１２に出力する。

そしてＳ６０５で、システム制御部１０１は、左眼用の撮像画像の基本記録画素領域３０３から抽出した左眼用の抽出画像、及び右眼用の撮像画像の有効画素領域３０２において基本記録画素領域３０３からシフト量Ｘだけシフトさせた記録画素領域から抽出した右眼用の抽出画像を画像処理部１１１に出力する。

このように、本像ずれ量調整処理によって、主被写体ではなく、設定された基準位置の被写体について像ずれがなくなるように像ずれ量を調整した両眼立体視用の左眼用及び右眼用の抽出画像を得ることができる。

なお、本実施形態では、左眼用及び右眼用の撮像画像のうち基準画像として設定した撮像画像からは、基本記録画素領域３０３より抽出画像を抽出し、参照画像として設定した撮像画像からのみシフトさせた記録画素領域から抽出画像を抽出するものとして説明した。しかし本発明の実施はこれに限らず、最終的に左眼用及び右眼用の撮像画像の各々について抽出画像を抽出する記録画素領域の相対的な水平方向の位置のずれが、最遠景被写体についての像ずれ量に可能な限り近づくように記録画素領域をする構成であればよい。

例えば、視差マップより取得した最遠景被写体についての像ずれ量Ｚ_０を２等分、あるいは２分した値分、各撮像画像において基本記録画素領域３０３からシフトした位置に設けた記録画素領域から、各眼用の抽出画像を抽出する構成であってもよい。

また例えば、参照画像について、最遠景被写体についての像ずれ量Ｚ_０より小さいシフト限界量のＭ分、基本記録画素領域３０３よりシフトさせた記録画素領域から抽出画像を抽出した場合は、次のようにしてもよい。即ち、抽出画像について、Ｚ_０−Ｍ分、基本記録画素領域３０３よりシフトさせた記録画素領域から抽出画像を抽出して、最遠景被写体の像ずれ量が０となるようにしてもよい。

また、左眼用及び右眼用の抽出画像を抽出する記録画素領域を、それぞれのシフト限界量までシフトさせたとしても、基準位置の被写体についての像ずれ量を０とすることができない場合（Ｚ_０＞２Ｍ）は、次のようにしてもよい。例えば、像ずれ量の調整を行わずに、左眼用及び右眼用の抽出画像は、各々の撮像画像の基本記録画素領域３０３について抽出した画像としてもよい。また例えば、ユーザにより像ずれ量を０とする被写体あるいは当該被写体の存在する基準位置が設定された場合は、当該被写体について像ずれ量を０にする調整処理を実行することができない旨を通知してもよい。

Ｓ５０９で、システム制御部１０１は、左眼用及び右眼用の抽出画像についての像ずれ量調整の情報を含む関連情報を、関連情報付与部１１２に生成させる。なお、像ずれ量調整の情報は、上述したように、左眼用及び右眼用の撮像画像における、各々の抽出画像を抽出する記録画素領域の基本記録画素領域３０３からのシフト量の情報、当該記録画素領域の有効画素領域３０２における座標情報、及び左眼用及び右眼用の抽出画像における基準位置での像ずれ量の情報の少なくともいずれかの情報であってよい。また、関連情報には、本撮影動作時の露出時間や絞り値等の撮影に係る設定情報を含んでいてもよい。

Ｓ５１０で、システム制御部１０１は、Ｓ５０８の像ずれ量調整処理により取得した左眼用及び右眼用の抽出画像に、関連情報付与部１１２に生成させた関連情報を付与し、両眼立体視用の画像データとして記録媒体１１３に記録し、撮影処理を完了する。なお、このとき記録媒体に記録される両眼立体視用の画像データの記録形式は、例えば図１１（ａ）に示すような、関連情報と左眼用及び右眼用の抽出画像とで構成される形式であってもよい。また例えば、図１１（ｂ）に示すような、関連情報と、左眼用及び右眼用の抽出画像であるＪＰＥＧ画像、及び左眼お用および右眼用の撮像画像の有効画素領域３０２の画像であるＲＡＷ画像とで構成される形式であってもよい。この場合、ＪＰＥＧ画像とＲＡＷ画像の各々について別々の関連情報が記録されてもよい。

（デフォーカス量と像ずれ量の関係）
ここで、上述した像ずれ量調整処理で行われる調整について、デフォーカス量と像ずれ量についての観点からさらに説明する。

図７（ａ）に示すように、デフォーカス量（被写体とデジタルカメラ１００との距離の逆数）と、左眼用及び右眼用の画像における像ずれ量は比例関係となる。即ち、デフォーカス量をＤ、任意の被写体について左眼用の画像と右眼用の画像との間で生じている像ずれ量をＺとすると、
Ｄ＝Ｋ×Ｚ＋Ｈ （Ｈは過焦点オフセット）
の関係式が成り立っている。ここで比例係数Ｋは、図７（ｂ）に示すように左眼用及び右眼用の被写体像を結像する光束が通過する、撮像光学系１０４の射出瞳における光束の重心間距離Ｂと、当該射出瞳と撮像素子の距離ｐを用いて
Ｋ＝Ｂ／ｐ
として算出される係数である。しかしながら、使用する撮像光学系１０４により、レンズ収差や構造によって生じるケラレ等の性質が異なるため、比例係数Ｋは上述の式で算出するのではなく、予め撮像光学系１０４あるいはデジタルカメラ１００の記憶領域に記憶されていることが好ましい。

例えば、本撮影動作により得られた左眼用及び右眼用の撮像画像における像ずれ量の分布が図７（ａ）のようであった場合、像ずれ量調整処理を実行して得られる左眼用及び右眼用の抽出画像間における像ずれ量の分布は、図８の破線のようになる。即ち、図７（ａ）において像ずれ量が０である主被写体よりも遠景に存在する最遠景被写体について、像ずれ量調整処理の実行により像ずれ量が０になるように調整するため、当該処理を実行後のデフォーカス量Ｄ’と像ずれ量Ｚとの関係は、
Ｄ’＝Ｋ×Ｚ＋Ｈ−Ｚ_０ （Ｚ_０は最遠景被写体の処理前の像ずれ量）
となる。

このように、撮像光学系の射出瞳の異なる領域を通過した光束より両眼立体視用の画像を生成する際に、主被写体とは異なる奥行きにいる被写体について、像ずれ量がなくなるように調整を行うことにより、主被写体について適切な立体感を観測者に知覚させられる。例えば、撮像装置と主被写体、近景被写体、及び遠景被写体の位置関係が上述した図１３（ａ）のようである場合、遠景被写体の像ずれ量が０になるように像ずれ量調整処理を実行することにより、図９（ａ）に示すような左眼用及び右眼用の抽出画像が得られる。このように調整された左眼用及び右眼用の抽出画像を、両眼立体視可能な表示装置を用いて表示した場合、図９（ｂ）に示すように、表示面より手前に主被写体が存在するような立体感を観測者に知覚させることができる。

以上説明したように、本実施形態の撮像装置は、１つの撮像光学系の射出瞳の異なる領域を通過した光束を用いて生成した両眼立体視用の画像を再生した場合に、主被写体の立体感を観測者に適切に知覚させることができる。具体的には撮像装置は、１つの撮像光学系を通過した光束を受光して左眼用及び右眼用の撮像画像を出力し、当該撮像画像に含まれる被写体のそれぞれについて、当該撮像画像間における像ずれ量を検出する。そして、当該左眼用及び右眼用の撮像画像の各々について、朱被写体を含む所定の大きさを有する領域から抽出した抽出画像を出力する。このとき、抽出画像間に含まれる主被写体とは異なる被写体についての像ずれ量が予め定められた値となるように当該領域を設定する。

なお、本実施形態では、基準位置の最遠景被写体について、像ずれ量が０になるように像ずれ量調整処理を実行するものとして説明したが、本発明の実施はこれに限らない。例えば、図１０（ａ）に示すように、主被写体について算出した撮像装置からの距離より、所定距離Ｌだけ奥行き方向に離れた位置において視差がなくなるように像ずれ量調整処理を実行する構成であってもよい。また例えば、図１０（ｂ）に示すように被写界深度内に検出された最近景被写体と最遠景被写体とについて撮像装置との距離を算出し、２つの被写体の中間距離において視差がなくなるように像ずれ量調整処理を実行する構成であってもよい。なお、ここで挙げた２つの例では、撮像装置との距離が特定の距離の面において、視差がなくなるように調整しようとした場合に、当該距離に被写体が存在しない場合があるため、デフォーカス量と像ずれ量の関係式を用いてシフト量Ｘを決定すればよい。

また、本実施形態では基準位置の最遠景被写体の像ずれ量が０となるように調整するものとして説明したが、本発明の実施はこれに限らない。即ち本発明は、主被写体とは異なる奥行き位置に存在する被写体について、所定の像ずれ量となるように記録画素領域を調整するシフト量Ｘを決定する構成であればよい。

［変形例１］
上述した実施形態では、両眼立体視用の静止画像の撮影について説明したが、本発明は例えば連写撮影や動画撮影のように、連続的に撮影を行う場合についても適用可能である。

実施形態１のような静止画撮影の場合、設定された基準位置の被写体について像ずれ量が０となるように調整を行うことで、主被写体の立体感を観測者に適切に知覚させることができる。しかしながら、連写撮影や動画撮影の場合、静止画撮影よりも撮影時間が長くなるため、設定された基準位置の被写体が移動する可能性がある。この場合、像ずれ調整処理を実行して得られた、連写撮影の各抽出画像及び動画撮影の各フレームである両眼立体視用の画像は、同一の被写体を撮影しているにも関わらず連続する画像あるいはフレーム間で主被写体の立体感がばらつく可能性がある。即ち、例えば主被写体が移動していない場合でも、基準位置の被写体と撮像装置との距離の変化により、主被写体の立体感が変化してしまうことになる。また、基準位置の被写体が移動したことにより、別の被写体が基準位置の被写体として判定され、当該別の被写体について像ずれ量の調整が行われることによっても、主被写体の立体感が変化してしまうことになる。

この問題を回避するため、システム制御部１０１は、例えば連写撮影あるいは動画撮影のモードが設定されている場合は、次のように撮影処理及び像ずれ量調整処理を制御してもよい。システム制御部１０１は、予備撮影時に基準位置について像ずれ量を取得し、当該像ずれ量に基づいて決定したシフト量を用いて、本撮影中の連写撮影あるいは動画撮影で得られた左眼用及び右眼用の撮像画像について像ずれ量調整処理を行えばよい。即ち、連写撮影あるいは動画撮影のモードが設定されている場合は、システム制御部１０１は本撮影中に行われる像ずれ量調整処理では固定値のシフト量を用いて調整処理を行えばよい。

このようにすることで、連続して撮影を行う場合であっても、撮影された画像間において、主被写体についての立体感が不自然に変化してしまうことを回避できる。

またシステム制御部１０１は、予備撮影時に静止している被写体を検出し、当該被写体の含まれる領域を基準位置としてもよい。具体的にはシステム制御部１０１は、例えば予備撮影時に複数回に渡って撮像を行い、当該撮像により得られた画像間で被写体の動きベクトルを検出し、動きベクトルが閾値以下の被写体の存在する領域に対応するブロックを基準位置としてもよい。なお、この場合、像ずれ量調整処理で算出するシフト量は固定値であっても、都度視差マップより取得してもよい。

［変形例２］
また、連写撮影や動画撮影して得られた両眼立体視用の画像あるいはフレームにおいて、主被写体の立体感をばらつかせる要因は、基準位置の被写体の移動に限らない。上述したように連写撮影や動画撮影は静止画撮影よりも撮影時間が長いため、撮像装置を把持する撮影者の手ぶれや、パン動作による構図の変更等によっても基準位置の被写体が移動した場合と同様の問題が生じる。

即ち、変形例１では、予備撮影時の撮像画像において、基準位置の被写体の像ずれ量が０となるシフト量を用いて像ずれ量調整処理を行うものとして説明したが、撮像装置自体が動いた場合は予備撮影時の当該被写体と撮像装置との距離が変化する可能性がある。つまり、撮像画像の全ての被写体とデジタルカメラ１００との距離が必然的に変化するため、予備撮影時に決定したシフト量を用いて像ずれ量調整処理を行なっても、主被写体の立体感がばらつくことになる。

この問題を回避するため、システム制御部１０１は、例えば連写撮影あるいは動画撮影のモードが設定されている場合は、次のように撮影処理及び像ずれ量調整処理を制御してもよい。システム制御部１０１は、予備撮影時に設定された基準位置の被写体について抽出した特徴量をパターンとして登録する。そしてシステム制御部１０１は、連写撮影や動画撮影の本撮影中は、当該パターンを用いて被写体の位置を探索し、視差マップより当該位置についての像ずれ量を取得して、像ずれ量調整処理を行うようにすればよい。

このようにすることで、像ずれ量が０となる、即ち両眼立体視可能なように表示した場合に表示面に存在するとユーザに知覚される被写体は常に同一となり、撮影中にデジタルカメラ１００が動いたとしても、主被写体の立体感が不自然に変化することを回避できる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 左眼用及び右眼用の受光素子を有し、１つの撮像光学系を通過した光束を受光して左眼用及び右眼用の撮像画像を出力する撮像素子と、
   前記左眼用及び右眼用の撮像画像に含まれる被写体のそれぞれについて、当該撮像画像間における像ずれ量を検出する検出手段と、
   前記検出手段により検出された前記撮像画像間における像ずれ量より得られたデフォーカス量に基づいて、主被写体に合焦するように合焦手段を制御する制御手段と、
   前記左眼用及び右眼用の撮像画像の各々について、前記主被写体を含む領域から抽出した抽出画像を用いて両眼立体視用の画像を生成する抽出手段と、を有し、
   前記抽出手段は、前記抽出画像間に含まれる前記主被写体とは異なる被写体についての像ずれ量が予め定められた値となるように前記領域を設定する
   ことを特徴とする撮像装置。
2. 前記主被写体とは異なる被写体は、前記主被写体よりも前記撮像装置から遠くに位置する被写体であることを特徴とする請求項１に記載の撮像装置。
3. 前記主被写体とは異なる被写体は、前記左眼用及び右眼用の撮像画像に含まれる被写体のうち、前記左眼用及び右眼用の撮像画像より前に得られた複数の撮像画像において静止していると判定された被写体であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記主被写体とは異なる被写体は、本撮影より前に行われる予備撮影時に得られた左眼用及び右眼用の撮像画像について前記検出手段が検出した像ずれ量が最大の被写体であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 撮像装置であって、
   左眼用及び右眼用の受光素子を有し、１つの撮像光学系を通過した光束を受光して左眼用及び右眼用の撮像画像を出力する撮像素子と、
   前記左眼用及び右眼用の撮像画像に含まれる被写体のそれぞれについて、当該撮像画像間における像ずれ量を検出する検出手段と、
   前記検出手段により検出された前記撮像画像間における像ずれ量より得られたデフォーカス量に基づいて、主被写体に合焦するように合焦手段を制御する制御手段と、
   前記左眼用及び右眼用の撮像画像の各々について、前記主被写体を含む領域から抽出した抽出画像を用いて両眼立体視用の画像を生成する抽出手段であって、前記主被写体と前記撮像装置との距離と異なる所定の距離についての像ずれ量が予め定められた値となるように当該領域を設定する抽出手段と、を有し、
   前記抽出手段は、前記左眼用及び右眼用の撮像画像のそれぞれを出力するために用いられた光束の重心間距離、前記１つの撮像光学系と前記撮像素子との距離、及び前記撮像画像間における前記所定の距離についての像ずれ量に基づいて前記領域を設定する
   ことを特徴とする撮像装置。
6. 前記抽出手段は、前記左眼用及び右眼用の撮像画像の各々について設定する前記領域の少なくともいずれかが、前記撮像素子の有効画素の範囲を超える場合に、前記有効画素の範囲に収まるように当該領域を設定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記抽出手段は、前記左眼用及び右眼用の撮像画像の各々について設定する前記領域の少なくともいずれかが、前記撮像素子の有効画素の範囲を超える場合に、前記主被写体について像ずれ量が小さくなるように当該領域を設定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 左眼用及び右眼用の受光素子を有し、１つの撮像光学系を通過した光束を受光して左眼用及び右眼用の撮像画像を出力する撮像素子と、を有する撮像装置の制御方法であって、
   検出手段が、前記左眼用及び右眼用の撮像画像に含まれる被写体のそれぞれについて、当該撮像画像間における像ずれ量を検出する検出工程と、
   制御手段が、前記検出工程において検出された前記撮像画像間における像ずれ量より得られたデフォーカス量に基づいて、主被写体に合焦するように合焦手段を制御する制御工程と、
   抽出手段が、前記左眼用及び右眼用の撮像画像の各々について、前記主被写体を含む領域から抽出した抽出画像を用いて両眼立体視用の画像を生成する抽出工程と、を有し、
   前記抽出工程において前記抽出手段は、前記抽出画像間に含まれる前記主被写体とは異なる被写体についての像ずれ量が予め定められた値となるように前記領域を設定する
   ことを特徴とする撮像装置の制御方法。
9. 左眼用及び右眼用の受光素子を有し、１つの撮像光学系を通過した光束を受光して左眼用及び右眼用の撮像画像を出力する撮像素子と、を有する撮像装置の制御方法であって、
   検出手段が、前記左眼用及び右眼用の撮像画像に含まれる被写体のそれぞれについて、当該撮像画像間における像ずれ量を検出する検出工程と、
   制御手段が、前記検出工程において検出された前記撮像画像間における像ずれ量より得られたデフォーカス量に基づいて、主被写体に合焦するように合焦手段を制御する制御工程と、
   抽出手段が、前記左眼用及び右眼用の撮像画像の各々について、前記主被写体を含む領域から抽出した抽出画像を用いて両眼立体視用の画像を生成する抽出工程であって、前記主被写体と前記撮像装置との距離と異なる所定の距離についての像ずれ量が予め定められた値となるように当該領域を設定する抽出工程と、を有し、
   前記抽出工程において前記抽出手段は、前記左眼用及び右眼用の撮像画像のそれぞれを出力するために用いられた光束の重心間距離、前記１つの撮像光学系と前記撮像素子との距離、及び前記撮像画像間における前記所定の距離についての像ずれ量に基づいて前記領域を設定する
   ことを特徴とする撮像装置の制御方法。
10. コンピュータに、請求項８または９に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。