JP6070060B2 - 撮像装置およびプログラム - Google Patents

Description

本発明は、撮像装置およびプログラムに関する。

２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を取得するステレオ撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報

ここで、右目用の画像と左目用画像との間の視差量がどれくらいの大きさであれば自然な立体視をできるのかは、撮影者が不慣れな場合等、撮影時に撮影者側で認識できていなことが多い。

本発明の第１の態様においては、撮像装置であって、二次元的に配された複数の光電変換素子のうち少なくとも一部の光電変換素子のそれぞれに対応して開口マスクが設けられた少なくとも２つの視差画像データを含むデータセットを出力する撮像素子と、開口マスクへの入射光束を調整することにより、少なくとも２つの視差画素データ間の視差量を増減する光束調整部と、少なくとも２つのデータセットの視差量の差分を指定する差分量の入力を受け付ける差分受付部と、受付部により受け付けられた差分量に基づいて、光束調整部により入射光束を調整して、撮像素子により少なくとも２つのデータセットを出力させる制御部とを備える。

本発明の第２の態様においては、二次元的に配された複数の光電変換素子のうち少なくとも一部の光電変換素子のそれぞれに対応して開口マスクが設けられた少なくとも２つの視差画像データを含むデータセットを出力する撮像素子と、前記開口マスクへの入射光束を調整することにより、前記少なくとも２つの視差画素データ間の視差量を増減する光束調整部とを有する撮像装置を制御するプログラムであって、前記撮影装置に、少なくとも２つのデータセットの視差量の差分を指定する差分量の入力を受け付ける差分受付機能、および、前記受付部により受け付けられた前記差分量に基づいて、前記光束調整部により前記入射光束を調整して、前記撮像素子により少なくとも２つのデータセットを出力させる制御機能を実現させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

デジタルカメラの構成を説明する図である。 撮像素子の一部を拡大した様子を概念的に表す概念図である。 ２Ｄ画像データと視差画像データの生成処理の例を説明する図である。 デフォーカスの概念を説明する図である。 視差画素が出力する光強度分布を示す図である。 デジタルカメラにおける絞り値、画像の鮮鋭度を示すコントラストおよび視差量の関係を模式的に示す。 視差量の定量的な定義の一例を示す。 絞りＦ値と、ユーザにより入力される視差ステップとの関係を示す。 デジタルカメラにおいて複数の視差画像データセットを出力するフローチャートの一例である。 被写体像を示す。 デジタルカメラにおける合焦面、画像の鮮鋭度を示すコントラストおよび視差量の関係を模式的に示す。 他の被写体配置における視差量を模式的に示す。 図１２の被写体配置における被写体像を示す。 デジタルカメラにおいて複数の視差画像データセットを出力するフローチャートの他の例である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、中央視点による視差のない視差なし画像も、視差画像と共に生成できる。

図１は、デジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、被写体を撮影して複数の視差画像を生成する。さらにデジタルカメラ１０は、同一の被写体に対して視差量の異なる複数の視差画像データセットを生成して出力する、視差量に関するブラケット撮影を行う。

デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。デジタルカメラ１０は、被写体光束の周辺を遮光する絞り２２をさらに備える。撮影レンズ２０は絞り２２と共に、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。撮影における構図との関係はＸ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。

絞り２２は、撮影レンズ２０の瞳近傍に配され、撮像素子１００へ入射する被写体光束の周辺領域を遮光する。絞り２２の絞り値は可変であって、制御部２０１からの制御により設定される。当該絞り２２の一例は虹彩絞りであるが、これに限られない。

撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。視差量算出部２３１は、撮像された被写体の視差量を算出する。

制御部２０１は、デジタルカメラ１０を統合的に制御する。例えば、設定された絞り値に応じて絞り２２の開口を調整し、ＡＦ評価値に応じて撮影レンズ２０を光軸方向に進退させる。また、撮影レンズ２０の位置を検出して、撮影レンズ２０の焦点距離、フォーカスレンズ位置を把握する。さらに、駆動部２０４に対してタイミング制御信号を送信し、撮像素子１００から出力される画像信号が画像処理部２０５で撮影画像データに処理されるまでの一連のシーケンスを管理する。

画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

操作部２０８は、ユーザからの撮影指示を受け付けるレリーズボタンを有する。操作部２０８はさらに、ユーザからの視差量に関するブラケット撮影の指示、および、その場合の視差量の差分を指定する差分量である視差ステップの入力を受け付けるボタンを有する。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。なお、撮像素子１００がＡＦセンサを兼ねてもよく、その場合には別個のＡＦセンサ２１１を設けなくてよい。

一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

図２は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する８画素×８画素の６４画素が一つの基本格子１１０を形成する。基本格子１１０は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。

基本格子１１０は、視差画素と視差なし画素を含む。視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光する画素である。視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を有する開口マスクが設けられている。開口マスクは、例えば、カラーフィルタに重ねて設けられる。本実施形態においては、開口マスクにより、部分光束が画素中心に対して左側に到達するように規定された視差Ｌｔ画素と、部分光束が画素中心に対して右側に到達するように規定された視差Ｒｔ画素の２種類が存在する。一方、視差なし画素は、開口マスクが設けられていない画素であり、撮影レンズ２０を透過する入射光束の全体を受光する画素である。

なお、視差画素は、光軸から偏位した部分光束を受光するにあたり、開口マスクに限らず、受光領域と反射領域が区分された選択的反射膜、偏位したフォトダイオード領域など、様々な構成を採用し得る。すなわち、視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光できるように構成されていれば良い。

基本格子１１０内の画素をＰ_ＩＪで表す。例えば、左上画素はＰ_１１であり、右上画素はＰ_８１である。図に示すように、視差画素は以下のように配列されている。
Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。

撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分され、基本格子１１０には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素が少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子１１０内においてランダム性を有して配置されると良い。ランダム性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。

次に、撮像素子１００から出力される撮影画像データから２Ｄ画像データと視差画像データを生成する処理の概念を説明する。図３は、２Ｄ画像データと視差画像データの生成処理の例を説明する図である。

基本格子１１０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２０５は、撮像素子１００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。

２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ_−１−１、Ｐ_２−１、Ｐ_−１２、Ｐ_２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ_６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ_４３、Ｐ_６１、Ｐ_８３、Ｐ_６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ_７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ_５６、Ｐ_７４、Ｐ_９６、Ｐ_７８の画素値を平均化演算して算出する。

このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。

本実施形態においては、画像処理部２０５は、２Ｄ−ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎプレーンデータ、赤色の基準画像プレーンデータとしてのＲｎプレーンデータ、および青色の基準画像プレーンデータとしてのＢｎプレーンデータの３つを生成する。

図の右列は、視差画素得データとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。

ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_１１とＰ_５５の２つの画素値が残る。そこで、基本格子１１０を縦横に４等分し、左上の１６画素分をＰ_１１の出力値で代表させ、右下の１６画素分をＰ_５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。

同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_５１とＰ_１５の２つの画素値が残る。そこで、基本格子１１０を縦横に４等分し、右上の１６画素分をＰ_５１の出力値で代表させ、左下の１６画素分をＰ_１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。

ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_２７の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_６３の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。

ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_３２の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１１０には、Ｐ_７６の画素値が残る。この画素値を基本格子１１０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。

本実施形態においては、画像処理部２０５は、これらのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。具体的な処理に先立って、まず生成原理について説明する。

図４は、デフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本実施形態の光学系においては、実際の被写体光束はレンズ瞳の全体を通過するので、視差画素に到達するまでは、視差仮想瞳に対応する光強度分布が互いに区別されるのではない。しかし、視差画素は、それぞれが有する開口マスクの作用により、視差仮想瞳を通過した部分光束のみを光電変換した画像信号を出力する。したがって、視差画素の出力が示す画素値分布は、それぞれ対応する視差仮想瞳を通過した部分光束の光強度分布と比例関係にあると考えても良い。

図４（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、それぞれの視差画素の出力は、対応する像点の画素を中心として急峻な画素値分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図４（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す画素値分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す感度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の画素値分布が、互いに等距離に離間して現れる。また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図７（ｂ）の状態に比べて、さらになだらかとなった同一の画素値分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。別言すれば、デフォーカスに応じて、ぼけ量と視差量は連動して変化する。すなわち、ぼけ量と視差量は、一対一に対応する関係を有する。

また、図４（ｂ）（ｃ）は、物点が焦点位置から遠ざかる方向へずれる場合を示すが、物点が焦点位置から近づく方向へずれる場合は、図４（ｄ）に示すように、図４（ｂ）（ｃ）と比べて、視差Ｌｔ画素が示す画素値分布と視差Ｒｔ画素が示す画素値分布の相対的な位置関係が逆転する。このようなデフォーカス関係により、視差画像を鑑賞するときに鑑賞者は、焦点位置より奥に存在する被写体を遠くに視認し、手前に存在する被写体を近くに視認する。

図４（ｂ）（ｃ）で説明した画素値分布の変化をそれぞれグラフ化すると、図５のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値（画素値）を表す。この出力値は上述の通り実質的に光強度に比例する。

分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）の状況に対する視差なし画素の画素値分布、すなわち被写体光束の全体を受光した場合の画素値分布と略相似形状を示す。

分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の画素値分布と視差Ｒｔ画素の画素値分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）の状況に対する視差なし画素の画素値分布と略相似形状を示す。

図６は、デジタルカメラ１０における絞り値、画像の鮮鋭度を示すコントラストおよび視差量の関係を模式的に示す。図１から図１２のデジタルカメラ１０においては、視差情報のない２Ｄ画像を得るデジタルカメラと同様に、図６（ａ）から（ｃ）に示すように、絞り値が大きいほど合焦面の前後のコントラストが高く、いわゆる被写界深度の深い画像を得る。なお、以降の説明においては、レンズ２０を基準にしてレンズ２０に近づく方向に向かう方向を手前側、レンズ２０から離れる方向に向かう方向を奥側とする。

さらに本実施形態のデジタルカメラ１０においては、図６（ａ）から（ｃ）に示すように、絞り値が大きいほど合焦面の前後の視差量が小さい視差画像となる。これは、デジタルカメラ１０の撮像素子１００の視差画素が、図２等に示すように、射出瞳における偏った位置からの光束を受光するので、絞り値が大きいほど絞り２２が絞られて射出瞳における偏った側からの光束が遮られることに基づく。すなわち、図６（ａ）から（ｃ）を比較すると、絞り２２のＦ値が１．４の場合に比べ、Ｆ値が４、８となるに従い、合焦面より前の視差量および後の視差量が小さくなる。

図７は、視差量の定量的な定義の一例を示す。なお、図７には、図６（ａ）に示された、丸、三角、四角の撮像素子１００からの距離に応じた視差が現れている。また、図７は倒立像となる。

視差量の定量的な定義の一例は、撮像素子１００の撮像領域に投影される被写体像３５０のＸ方向の幅Ｐ０に対する、同一の被写体の視差による撮像素子１００上でのＸ方向のずれ量ｐ１、すなわち（ｐ１／Ｐ０）である。ここで、幅Ｐ０および量ｐ１は実寸でもよいし画素数でもよい。

ずれ量ｐ１の符号は、例えば、被写体が合焦面に共役な面よりも手前にあるときに現れる視差の方向を正とする。図７の例では、被写体「丸」は正のずれ量を有し、被写体「三角」はずれ量がゼロであり、被写体「四角」は負のずれ量を有する。なお、図６および以降の図面において視差量の軸線に視差量「０」を明示した。

図８は、絞りＦ値と、ユーザにより入力される視差ステップとの対応関係を示す。当該対応関係は例えばテーブル形式でメモリ２０３に格納されている。

上記図６（ａ）から（ｃ）に示したように、絞りＦ値が大きくなるほど、視差量の絶対値は小さくなる。よって、絞りＦ値は視差量を変える調整条件の一例であって、絞りＦ値を変更できる絞り２２は光束調整部の一例である。なお、絞りＦ値の段数と視差量の絶対値との関係は、撮像素子１００の開口を含む構造と、デジタルカメラ１０の光学系とにより定まる。

ここで、視差ステップの符号は、視差量の絶対値を増やす方向を正とし、視差量の絶対値を減らす方向を負とする。また、視差ステップの段数が示す視差量の差分量は、上記定義における一定値でもよいし、視差画像データに基づいてユーザが得る立体感が当該視差ステップによって一定に増減する感覚に基づいた値でもよい。

視差ステップの段数が示す視差量を上記いずれかで定義した場合に、視差ステップの段数が同じであっても、当該視差量の差分に対応する絞りＦ値の段数とは一致しないことがある。図８に示す例において、絞りＦ値「２．８」の場合の視差量に対して、視差ステップ「＋１」は２段開放により得られ、視差ステップ「−１」も２段開放により得られる。一方、絞りＦ値「２．８」の場合の視差量に対して、視差ステップ「−２」は５段開放により得られる。また、絞りＦ値「４」の場合の視差量に対して、視差ステップ「−１」は３段開放により得られる。

これら視差ステップの段数と絞りＦ値との対応関係は、予め実験的にまたは計算上で算出しておく。さらに、光学系が変わると上記対応関係も変わり得る。よって、撮影レンズ２０が交換できるデジタルカメラ１０の場合に、上記対応関係のデフォルト値がメモリ２０３に格納されており、装着された撮影レンズ２０に基づいて当該デフォルト値が補正されてもよい。

図９は、デジタルカメラ１０において複数の視差画像データセットを出力するフローチャートの一例である。図９のフローチャートにおいては視差量を調整する調整条件として、絞り２２の絞り値が用いられる例を説明する。当該フローチャートは、操作部２０８がユーザから視差量に関するブラケット撮影の指示を受けた場合に開始する。

制御部２０１は、差分量としての視差ステップの段数をメモリ２０３から読み出す（Ｓ１００）。この場合に、例えば初期値として視差ステップ「＋１」がメモリ２０３に格納されており、操作部２０８がユーザから視差ステップの入力を受け付けた場合には、受け付けた視差ステップの段数に更新しておく。また、一度のブラケット撮影において、視差量の異なる視差画像データセットを２つ生成するか、３つ生成するか等も、初期値が設定されており、ユーザの入力により更新されてもよい。

制御部２０１は、レリーズボタンが半押しされるまで待機する（Ｓ１０２：Ｎｏ）。レリーズボタンが半押しされた場合に、制御部２０１は、撮像条件を初期値に設定する（Ｓ１０４）。ここで、初期値は例えば、ブラケット撮影をしない場合における撮像条件と同じである。

制御部２０１は、レリーズボタンが全押しされるまで待機する（Ｓ１０６：Ｎｏ）。レリーズボタンが全押しされた場合に、制御部２０１は撮像条件を設定する（Ｓ１０４）。続けて、制御部２０１は当該撮像条件で撮像素子１００により被写体像を撮像して、画像処理部２０５は図３の処理に従って視差画像データの１セット分を生成し、メモリ２０３に書き込む（Ｓ１１０）。

ここで、撮像条件は、当該ブラケット撮影内における最初の撮像においては上記初期値である。他の撮像条件については後述する。

制御部２０１は、メモリ２０３に格納されている視差画像データセットの数分だけステップＳ１０６からＳ１１０を繰り返す（Ｓ１１２）。以上により本フローチャートが終了する。

この場合に、１のブラケット撮影における２回目以降の撮像において、制御部２０１は最初の撮像の絞り値と、メモリ２０３に格納されている、ユーザから設定された視差ステップとに基づき、上記図８の関係から当該撮像における絞り値を設定する。例えば、最初の撮像が絞り値Ｆ「２．８」であって、ユーザが視差ステップ数「−１」を設定している場合には、２回目の撮像において絞り値Ｆ「５．６」が設定される。

図１０は、図７の被写体像３５０に対して視差ステップ数「−１」で撮像される被写体像３５２を示す。被写体像３５２においては、合焦面に共役な面よりも手前側の被写体「丸」の視差量（ｐ２／Ｐ０）が図７の視差量（ｐ１／Ｐ０）よりも減少している。同様に、合焦面に共役な面よりも奥側の被写体「四角」の視差量の絶対値も、図７の被写体「四角」の視差量の絶対値より減少している。合焦面にある被写体「三角」の視差量はゼロのままである。

以上により、ユーザにより設定された視差ステップに基づいて、絞り値が調整されて、互いに異なる視差量を有する２つ以上の視差画像データセットが出力される。これにより、ユーザが自らの望む視差量を把握できていない場合であっても、互いに異なる視差量の視差画像データセットのうち、自らが望む視差画像データセットを選択することができる。

なお、１のブラケット撮影における２回目以降のステップＳ１０４において、最初の撮像と露光量が同じになるように撮影条件が選ばれることが好ましい。例えば、絞り値が２段大きくなった場合に、露光時間を２段長くする、または、ＩＳＯ感度を２段分上げることが好ましい。これにより、複数の視差画像データセット間で画像全体の明るさを合せることができる。

図１１は、デジタルカメラ１０における合焦面、画像の鮮鋭度を示すコントラストおよび視差量の関係を模式的に示す。図１１（ａ）から（ｃ）のいずれにおいてもデジタルカメラ１０と被写体「三角」との位置関係は変わらない。

図１１（ａ）に示すように被写体が合焦面に共役な面にあるときには視差がつかない。これに対し、図１１（ｂ）、（ｃ）に示すように、合焦面に共役な面を被写体からずらすほど視差量が大きくなる。すなわち、被写体が合焦する合焦面を撮像素子１００の受光面からずらすほど、視差量が大きくなる。図１１（ｂ）、（ｃ）に示す例において、合焦面に共役な面を被写体よりも手前にすることにより、被写体について奥側に沈み込む方向の視差が得られる。よって、ある閾値のコントラストが得られる範囲内で合焦面に共役な面を被写体に対してずらすことにより、当該被写体のぼけを感じさせない範囲で、異なる視差量の視差画像を得ることができる。

そこで、図８の関係において、視差ステップと絞りＦ値に代えて、視差ステップと合焦面との関係を予め対応付けておき、図９のフローチャートにおいて絞りＦ値を変更することに代えて、合焦面の位置を変更することによっても、互いに異なる視差量を有する２つ以上の視差画像データセットが出力される。

すなわち、この場合には撮影レンズ２０の合焦光学系が光束調整部の一例であり、かつ、合焦面が調整条件の一例である。この場合には、露光条件は積極的には変えていないので、これにより、複数の視差画像データセット間で画像全体の明るさを合せることができる。また、絞り値が一定であれば、全体のぼけ感も合わせることができる。

さらに、調整条件として、絞りＦ値と合焦面の位置とを組み合わせてもよい。例えば露光量が少なくてまたは多くて絞りＦ値を変更することが難しい場合に合焦面を調整条件として用い、被写体に微細な構造がある等によって被写体から合焦面を外すことが難しい場合に絞りＦ値を調整条件として用いてもよい。さらに、いずれの調整条件を用いるかをユーザが選択できるようにしてもよい。

図１２は、他の被写体配置における視差量を模式的に示し、図１３は図１２の被写体配置における被写体像３５４を示す。図１２において、被写体の順序および互いの距離は、図６の被写体と同じであって、図６よりも全体が奥側に配されている。

図１２を図６と比較して明らかなとおり、デジタルカメラ１０で撮像される被写体像にあっては、合焦面に共役な面から同じ距離だけ離れていても、手前側の被写体の方が、奥側の被写体よりも、視差量の絶対値が大きい。よって、図１２および図１３のように、合焦面に共役な面より手前に被写体がない場合の視差量の絶対値の最大値（ｐ３／Ｐ０）は、手前に被写体がある場合に比べて小さいことが多い。

一方、視差量の絶対値はある範囲を超えると、ユーザに違和感を生じさせる（輻輳と調整の矛盾、といわれることがある）。そこで、視差量に関するブラケット撮影において生成される複数の視差画像データセットはいずれも、視差量の絶対値が予め定められた範囲内に収まることが好ましい。

上記の通り被写体の奥行き方向の配置によって視差量の絶対値の最大値が異なるので、視差量に関するブラケット撮影において視差量の絶対値を予め定められた範囲内に収める場合に、視差量の分布を予め算出しておくことが好ましい。それにより、当該分布に応じて、視差ステップの一段分が示す視差量を異ならせて適切なブラケット撮影をすることができる。

図１４は、デジタルカメラ１０において複数の視差画像データセットを出力するフローチャートの他の例である。図１４のフローチャートにおいては視差量の分布を予め算出してから視差量を調整する例を説明する。図１４のフローチャートにおいて図９のフローチャートと同じステップに対しては同じ参照番号を付して説明を省略する。

図１４のフローチャートにおいて、ステップＳ１０４の後に、制御部２０１は、初期値に設定された撮影条件で撮像して仮画像データを生成する（Ｓ１２０）。当該仮画像データは初期データセットの一例である。視差量算出部２３１は、仮画像データから視差量の分布を算出する（Ｓ１２２）。この場合に、視差量算出部２３１は、仮画像データから図３の視差画像データの組を生成する。さらに視差量算出部２３１は、左右一対の視差画像データの組、例えばＧＬｔプレーンデータとＧＲｔプレーンデータとをパターンマッチングして、マッチングした画像領域の当該プレーン上の画素位置の差から視差量を算出する。

制御部２０１は、視差量の分布に基づいて、視差ステップに対応する調整条件を算出する（Ｓ１２４）。例えば、この場合に視差量の分布が合焦面に共役な面よりも手前に被写体があることを示しているときには、制御部２０１は、それがない場合に比べて、視差ステップの１段に対する視差量が小さくなるような、調整条件を算出してもよい。例えば、図８の対応関係に対して、視差ステップの１段に対応する絞り値の段数を１つ少なくしてもよい。

ステップＳ１２４の他の例として、視差量の分布は予め定められた絶対値を越えた視差量の被写体があることを示しているときは、制御部２０１は、負の視差ステップのみを受け付けてもよい。

なお、ステップＳ１０４における初期値は、視差量がより大きくなるような初期値であってもよい。例えば、調整条件が絞り値である場合に、当該初期値は開放の絞り値であってよい。また、ステップＳ１２０において仮画像データを生成するのに代えて、制御部２０１それぞれの被写体に対して合焦したときの合焦面の位置から視差量の分布を算出してもよい。この場合に合焦面の位置のデータが初期データセットの一例である。

上記実施形態において絞り２２は、絞り値が大きくなると、光束の周辺から中央に向かって徐々に遮光領域が増加する虹彩絞りであるが、絞りはこれに限られない。例えば、Ｘ方向に２個の楕円形状の透過領域が連結された眼鏡型絞りであってもよい。この場合に、各楕円の中心を維持して周辺を徐々に遮光する形態と、全体の周辺が徐々に遮光されることで楕円の中心が実質的に近接していく形態とを選択制御できるものであれば、視差量を変えずに露光量を減らす絞りと、上記ブラケティングの調整部として絞りとを独立して制御することができる。

なお、図９および図１４のフローチャートにおいて、複数の視差画像データセットは、レリーズボタンが全押される毎に１つずつ生成されているが、これに限られない。一回のレリーズボタンの全押に対して、予め設定された数の視差画像データセットが順次、生成されてもよい。また、図９および図１４のフローチャートの各ステップはプログラムとして提供され、制御部２０１にインストールされることにより実行されてもよい。

また、表示部２０９が視差画像を立体視可能に表示できる場合には、上記複数の視差画像データセットが、逐次、表示部２０９に表示されてもよい。この場合に、表示部２０９は、視差量の大きい順に複数の視差画像を表示してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、２２ 絞り、１００ 撮像素子、１１０ 基本格子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３１ 視差量算出部、３５０ 被写体像、３５２ 被写体像、３５４ 被写体像、１８０４ 分布曲線、１８０５ 分布曲線、１８０６ 合成分布曲線、１８０７ 分布曲線、１８０８ 分布曲線、１８０９ 合成分布曲線

Claims (7)

1. 二次元的に配された複数の光電変換素子のうち少なくとも一部の光電変換素子のそれぞれに対応して開口マスクが設けられた少なくとも２つの視差画像データを含むデータセットを出力する撮像素子と、
   前記開口マスクへの入射光束を調整することにより、前記少なくとも２つの視差画素データ間の視差量を増減する光束調整部と、
   少なくとも２つのデータセットの視差量の差分を指定する差分量の入力を受け付ける差分受付部と、
   前記差分受付部により受け付けられた前記差分量に基づいて、前記光束調整部により前記入射光束を調整して、前記撮像素子により少なくとも２つのデータセットを出力させる制御部と
   を備える撮像装置。
2. 前記制御部は、前記差分受付部により受け付けられた前記差分量に基づいて前記撮像素子によりデータセットを出力させるのに先立って、前記光束調整部に対して予め定められた調整条件で前記入射光束を調整して、前記撮像素子により初期データセットを出力させ、前記初期データセットの視差量に基づいて、前記差分量に基づいた前記調整条件を算出する請求項１に記載の撮像装置。
3. 前記光束調整部は、前記初期データセットに対して、視差量がより大きくなる調整条件で前記入射光束を調整する請求項２に記載の撮像装置。
4. 前記制御部は、前記初期データセットから得られる、前記少なくとも２つの視差画像データに含まれる被写体の視差量の分布に基づいて、前記差分量に基づく前記調整条件を設定する請求項２または３に記載の撮像装置。
5. 前記光束調整部は、前記撮像素子の全体に対して被写体からの光束を周辺から絞ることにより視差量を変える絞りを含む請求項１から４のいずれか１項に記載の撮像装置。
6. 前記光束調整部は、前記撮像素子の全体に対して合焦面の位置を変えることにより視差量を変える合焦光学系を含む請求項１から５のいずれか１項に記載の撮像装置。
7. 二次元的に配された複数の光電変換素子のうち少なくとも一部の光電変換素子のそれぞれに対応して開口マスクが設けられた少なくとも２つの視差画像データを含むデータセットを出力する撮像素子と、前記開口マスクへの入射光束を調整することにより、前記少なくとも２つの視差画素データ間の視差量を増減する光束調整部とを有する撮像装置を制御するプログラムであって、前記撮像装置に、
   少なくとも２つのデータセットの視差量の差分を指定する差分量の入力を受け付ける差分受付手順、および、
   前記差分受付手順により受け付けられた前記差分量に基づいて、前記光束調整部により前記入射光束を調整して、前記撮像素子により少なくとも２つのデータセットを出力させる制御手順を実行させるプログラム。

Images