JP2014036362A - 撮像装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】撮影シーンに拘わらず、ユーザの負担を軽減して手軽にステレオ画像を生成する。
【解決手段】ＣＰＵ１１３の制御下で互いに被写界深度の異なる第１の画像および第２の画像を撮影する。差分量決定部１１９は第１の画像および第２の画像について互いに対応する領域において画素値の差分を求めて差分量を得る。奥行き方向決定部１２０は差分量に応じて領域の各々について画像中の奥行きを決定し、擬似ステレオ画像生成部１２３は奥行きに応じて第１の画像又は第２の画像から右目用画像および左目用画像をステレオ画像として生成する。
【選択図】図１

Description

本発明は、デジタルカメラやビデオカメラなどの撮像装置、その制御方法、および制御プログラムに関し、特に、擬似ステレオ画像の生成機能を備える撮像装置に関する。

一般に、ステレオ画像を表示する際に用いられる自然画像入力装置は、２台以上のカメラを有している。そして、これらカメラはその光軸が互いに平行となるように配置されるか又は若干の輻輳をもって光軸が交差するように配置され、カメラで撮影した画像はそのまま左右眼用画像として表示装置に入力される。

一方、近年、複数の光学系を備えて左右眼用画像を撮影するカメラ、２眼の交換レンズによって左右眼用画像を撮影するカメラが実用化されている。

上述のように、ステレオ画像を得る際には、カメラを複数台準備するか又は一台のカメラを特殊な構成とする必要がある。このため、ステレオ画像を得るためにはカメラが不可避的に高価となってしまう。

ところで、単一又は複数の２次元画像信号に含まれる各種情報に応じて被写体の奥行き方向又は奥行き量を推定して、推定の結果得られた奥行き情報に基づいて疑似的にステレオ画像信号を作り出す技術が知られている。このような技術の一つとして、例えば、２Ｄ−３Ｄ変換技術がある。

例えば、単眼の撮像装置によって撮影された単一の静止画像について、撮影者が立体効果を付与したい領域を指定すると、当該領域において前後の奥行き方向を決定するようにしたものがある。

ここでは、指定した領域に対して予め設定された複数の奥行きモデルのいずれか１つを適用して疑似的にステレオ画像を生成している（特許文献１参照）。

また、単眼の撮像装置によって撮影された照明条件の異なる複数の静止画像について、画素値の減算を行って３次元の奥行き方向を推定して、疑似的にステレオ画像を生成するようにしたものもある（特許文献２参照）。

特開２００３−４７０２７号公報 特開２００４−２００９７３号公報

ところが、特許文献１に記載の手法では、撮影者が対象画像において手前領域（立体表示する領域）を指定する必要があり、当該指定について撮影者に負担が掛かってしまう。

一方、特許文献２に記載の手法では、照明条件を変えることが困難なシーン（例えば、フラッシュ撮影禁止エリア）などにおいては２Ｄ−３Ｄ変換を行うことができない。

そこで、本発明の目的は、撮影シーンに拘わらず手軽に擬似ステレオ画像を生成することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、互いに被写界深度の異なる第１の画像および第２の画像を撮影する撮像手段と、前記第１の画像および第２の画像について互いに対応する領域において画素値の差分を求めて差分量を得る差分量算出手段と、前記差分量に応じて前記領域の各々について画像中の奥行きを決定する奥行き決定手段と、前記奥行きに応じて前記第１の画像又は第２の画像から右目用画像および左目用画像を生成するステレオ画像生成手段と、を備えることを特徴とする。

本発明による制御方法は、被写体を撮影して得られた画像から立体的画像であるステレオ画像を生成する撮像装置の制御方法であって、互いに被写界深度の異なる第１の画像および第２の画像を撮影する撮像ステップと、前記第１の画像および第２の画像について互いに対応する領域において画素値の差分を求めて差分量を得る差分量算出ステップと、前記差分量に応じて前記領域の各々について画像中の奥行きを決定する奥行き決定ステップと、前記奥行きに応じて前記第１の画像又は第２の画像から前記ステレオ画像として右目用画像および左目用画像を生成するステレオ画像生成ステップと、を備えることを特徴とする。

本発明による制御プログラムは、被写体を撮影して得られた画像から立体的画像であるステレオ画像を生成する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、互いに被写界深度の異なる第１の画像および第２の画像を撮影する撮像ステップと、前記第１の画像および第２の画像について互いに対応する領域において画素値の差分を求めて差分量を得る差分量算出ステップと、前記差分量に応じて前記領域の各々について画像中の奥行きを決定する奥行き決定ステップと、前記奥行きに応じて前記第１の画像又は第２の画像から前記ステレオが像として右目用画像および左目用画像を生成するステレオ画像生成ステップと、を実行させることを特徴とする。

本発明によれば、撮影シーンに拘わらず、撮影者の負荷を軽減して手軽にステレオ画像を生成することができる。

本発明の第１の実施形態による撮像装置の構成についてその一例を示すブロック図である。 図１に示すカメラにおける擬似ステレオ画像の生成についてその概要を説明するための図であり、（Ａ）は被写界深度が深い状態における画像の一例を示す図、（Ｂ）は被写界深度が浅い状態における画像の一例を示す図、（Ｃ）は（Ａ）に示す画像と（Ｂ）に示す画像とを比較した結果得られた画像を示す図、（Ｄ）は（Ｃ）に示す画像から手前側領域を抽出した状態を示す図、（Ｅ）は（Ｄ）に示す手前側領域を左右にシフトした状態を示す図、（Ｆ）は左目用入力画像と右目用入力画像とを示す図、（Ｇ）はステレオ画像のイメージを示す図である。 図１に示すカメラにおいて行われる擬似ステレオ画像の取得を説明するためのフローチャートである。 絞り値およびシャッタースピードと露光量との関係を示す図である。 図１に示す撮影パラメータ決定部において行われる２回目の撮影の際の撮影パラメータの決定を説明するための図である。 図１に示す差分量演算部による差分量の演算を説明するための図であり、（Ａ）はある視点から全ての被写体にピントが合うような被写界深度となるように撮影パラメータを設定して撮影した際の画像を示す図、（Ｂ）は（Ａ）と同一の視点から被写界深度が狭くなるような撮影パラメータを設定して撮影した画像であり際の画像を示す図、（Ｃ）は差分量の算出の一例を示す図、（ｄ）は差分量算出の他の例を示す図である。 図１に示す奥行き方向決定部による処理を説明するための図であり、（Ａ）は差分量演算部で得られた差分量をマッピングした状態を示す図、（Ｂ）は２値化処理を行った結果を示す図である。 本発明の第２の実施形態によるカメラについてその構成の一例を示すブロック図である。 図８に示すカメラで用いられる撮像素子の構造を説明するための図であり、（Ａ）は撮像素子の撮像面（結像面）の一部を示す図、（Ｂ）は撮像素子の画素を拡大して示す図、（Ｃ）は画素に対する光の入射を示す図である。 図８に示すカメラにおいて行われる擬似ステレオ画像の取得を説明するためのフローチャートである。

以下、本発明の実施の形態による撮像装置について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の構成についてその一例を示すブロック図である。

図１において、撮像装置１００は、例えば、レンズ一体型の所謂コンパクトデジタルスチルカメラや又はムービーカメラであってもよく、撮影レンズ交換式のデジタル一眼レフレックス式のカメラであってもよい。

また、撮像装置１００は、撮影レンズ交換式であって、レフレックスミラー又はフォーカシングスクリーンなどを備えず、代わりに電子ビューファインダー装置（ＥＶＦ）およびライブビュー画像を表示するための表示装置を有するカメラであってもよい。

以下の説明では、撮像装置１００は撮影レンズ交換式であって、表示部１１４に表示される電子ビューファインダー（ＥＶＦ）画像を視認しつつ撮影をするタイプのデジタルスチルカメラであるとして説明をする。

撮像装置（以下単にカメラと呼ぶ）１００は、交換式の撮影レンズユニット１０１を有している。この撮影レンズユニット１０１は複数のレンズ群、絞り、およびピントリングなどを備えている。なお、図示の例では、撮影レンズ１０１ａ、絞り１０２、フォーカシングレンズ１０３、絞り駆動部１２１、およびフォーカシングレンズ駆動部１２２が示されている。

絞り１０２は複数枚の羽根（図示せず）を備えている。絞り制御部１１１の制御下で絞り駆動部１２１が駆動されると、絞り１０２は撮影の際の開口形状を変化させて入射光量を調節する。

フォーカシングレンズ１０３は焦点位置を変化させるためのレンズである。フォーカシングレンズ制御部１１０の制御下でフォーカシングレンズ駆動部１２２が駆動されて合焦が行われる。また、撮影者は手動で撮影レンズユニット１０１に備えられたピントリング（図示せず）を調節するとフォーカシングレンズ１０３を駆動することができる。

システム制御用ＣＰＵ（以下単にＣＰＵと呼ぶ）１１３はカメラ全体の制御を司る。このＣＰＵ１１３にはメモリ１１７が接続され、メモリ１１７には各種データが記憶される。

ＣＰＵ１１３は撮影の結果得られた画像データを、例えば、記録メディア１１８に記録する。この記録メディア１１８として、ＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ(登録商標)）カード又はＳＤカードなどが用いられる。

撮影レンズユニット１０１を介して撮像素子１０４に光学像が結像する。図示の例では、撮像素子１０４としてＣＣＤ又はＣＭＯＳセンサーが用いられ、撮像素子１０４は光学像に応じたアナログ信号（画像信号）を出力する。

この画像信号はＡ／Ｄ変換部１０５によってデジタル信号に変換されて、信号処理部１０６に与えられる。信号処理部１０６は、例えば、画素信号を加算した結果得られるベイヤー配列のデジタル信号について信号処理を行って、ＣＰＵ１１３に与える。

画像処理部１０７はＣＰＵ１１３の制御下で、信号処理部１０６から入力されたデジタル信号に対して、例えば、ホワイトバランスの調整およびノイズ除去などの画像処理を行って、画像データを得る。

一方、ＣＰＵ１１３は信号処理部１０６から入力されたデジタル信号に応じた画像を表示部１１４にリアルタイムで逐次表示して、電子ビューファインダー（ＥＶＦ）として機能させる。なお、表示部１１４は、例えば、ＴＦＴ液晶で構成される。

ＣＰＵ１１３は表示部１１４にパラメータ設定画面を表示する。撮影者はパラメータ設定画面に撮影パラメータ設定部１１５を用いてシャッタースピード、Ｆ値、およびＩＳＯ感度などの撮影パラメータを設定又は変更することができる。

また、ユーザである撮影者は撮影モード切替部１１６によって撮影モードを切り替えることができる。ここでは、撮影モードとして、例えば、マニュアルモードおよび擬似ステレオ画像撮影モードがある。

電子シャッター制御部１０８は、ＣＰＵ１１３の制御下で撮影パラメータ設定部１１５によって指定されたパラメータ又は撮影モード切替部１１６で指定された撮影モードに応じてシャッタースピードを変更する。ＩＳＯ感度制御部１０９は、ＣＰＵ１１３の制御下で撮影パラメータ設定部１１５によって指定されたパラメータ又は撮影モード切替部１１６で指定された撮影モードに応じてＩＳＯ感度を変更する。

フォーカシングレンズ制御部１１０は、ＣＰＵ１１３の制御下でオートフォーカス（ＡＦ）などの際、フォーカシングレンズ駆動部１２２を駆動制御して合焦を行う。絞り制御部１１１は、ＣＰＵ１１３の制御下で撮影パラメータ設定部１１５によって指定されたパラメータ又は撮影モード切替部１１６で指定された撮影モードに応じて絞り駆動部１１２を駆動制御して絞り１０２を調節する。

撮影パラメータ決定部１１２は、擬似ステレオ画像撮影モードが選択されると差分比較用に撮影される２枚目の画像（以下「画像Ｂ」と呼ぶ）を撮影する際の撮影パラメータを決定する。なお、画像Ｂ（第２の画像）の撮影の際における撮影パラメータの決定について後述する。

差分量演算部１１９は、擬似ステレオ画像撮影モードが選択されると、１枚目に撮影された画像（以下「画像Ａ」と呼ぶ）と画像Ｂと間における差分量を算出する。そして、差分量演算部１１９は演算の結果得られた差分量を、ＣＰＵ１１３を介して奥行き方向決定部１２０に与える。

奥行き方向決定部１０２は、差分量と所定の閾値とを比較して、後述するように、その比較結果に応じて画像Ａ（第１の画像）における手前画像領域および背景画像領域を決定する。擬似ステレオ画像生成部１２３は、ＣＰＵ１１３の制御下で後述するようにして擬似ステレオ画像を生成する。

図２は、図１に示すカメラにおける擬似ステレオ画像の生成についてその概要を説明するための図である。そして、図２（Ａ）は被写界深度が深い状態における画像の一例を示す図であり、図２（Ｂ）は被写界深度が浅い状態における画像の一例を示す図である。また、図２（Ｃ）は図２（Ａ）に示す画像と図２（Ｂ）に示す画像とを比較した結果得られた画像を示す図であり、図２（Ｄ）は図２（Ｃ）に示す画像から手前側領域を抽出した状態を示す図である。さらに、図２（Ｅ）は図２（Ｄ）に示す手前側領域を左右にシフトした状態を示す図であり、図２（Ｆ）は左目用入力画像と右目用入力画像とを示す図である。そして、図２（Ｇ）はステレオ画像のイメージを示す図である。

図２（Ａ）および図２（Ｂ）においては、静止画像の撮影を行う際、同一の視点から主被写体２００に合焦された状態において被写界深度を変更して撮影を行ったものとする。なお、物体２０１は主被写体２００よりも奥に位置しているものとする。

図２（Ａ）では、被写界深度を深くした状態で撮影が行われ、主被写体２００および物体２０１の双方ともに被写界深度内に収まってピントがあっているように見える。一方、図２（Ｂ）では、図２（Ａ）よりも被写界深度を浅くした状態で撮影が行われ、主被写体２００にはピントが合った状態になっているものの、物体２０１は被写界深度内に収まらずボケてしまっている。

続いて、図２（Ａ）および図２（Ｂ）に示す画像において特定領域の成分を比較演算する。ここでは、画素の並びと同様に、これら画像の差分量をマッピングして、両画像の間で差のある部分の映像（図２（Ｃ）参照）を得る。

被写界深度の特性から、画像間の変化が少ない部分は合焦位置に近く、大きく変化する部分は合焦位置から遠いといえる。また、ピントが合っている位置は一般に主被写体であり、主被写体は画像において最も手前に位置することがほとんどである。このため、主被写体を基準として前景および背景を大まかに分離することができる。

図２（Ｃ）で得られた差分量を予め設定された閾値と比較して、２値化などの処理を行って、図２（Ｄ）に示すように、画像における各画素が手前領域（白塗り領域）又は背景領域（黒塗り領域）のいずれの領域に属するかを決定する。そして、図２（Ｅ）に示すように、手前領域に属する画素に視差を割り当て左又は右にシフトして、左右眼用のステレオ画像を生成する。

図２（Ｆ）に示す左目用入力画像２０２および右目用入力画像２０３を、レンチキュラー方式又はパララックスバリア方式などの立体画像表示装置に入力すると、立体視効果のある画像を表示することができる。つまり、図２（Ｇ）に示すように、ステレオ画像が表示される。

図３は、図１に示すカメラにおいて行われる擬似ステレオ画像の取得を説明するためのフローチャートである。

擬似ステレオ画像を取得する際には、つまり、擬似ステレオ画像を生成する際には、撮影者は撮影モード切替部１１６によって擬似ステレオ画像撮影モードを選択する（ステップＳ３０１）。次に、ＣＰＵ１１３は設定された撮影パラメータに応じて主被写体にピントを合わせて１回目の撮影を行って画像を得る（ステップＳ３０２）。

なお、撮影パラメータの設定に当たっては、撮影者が撮影パラメータ設定部１１５で設定した撮影パラメータを用いるようにしてもよく、予め定められた撮影パラメータを用いるようにしてもよい。

ここでは、１回目の撮影によって得られた画像を「画像Ａ」と呼ぶ。続いて、ＣＰＵ１１３は画像Ａを撮影した際の撮影パラメータにおけるＦ値、シャッタースピードおよびＩＳＯ感度を撮影パラメータ決定部１１２に与える。撮影パラメータ決定部１１２は画像Ａを撮影した際の露光量（以下「Ａ露光量」と呼ぶ）と等しい露光量でかつ被写界深度が変化するように撮影パラメータを決定する（ステップＳ３０３）。なお、被写界深度が変化する撮影パラメータの決定については後述する。

次に、ＣＰＵ１１３はステップＳ３０３で決定した撮影パラメータを２回目の撮影を行う際の撮影パラメータとして設定する（ステップＳ３０４）。そして、ＣＰＵ１１３は２回目の撮影を実行して画像を得る（ステップＳ３０５）。ここでは、２回目の撮影によって得られた画像を「画像Ｂ」と呼ぶ。

続いて、ＣＰＵ１１３は連続撮影された画像Ａ（第１の画像）および画像Ｂ（第２の画像）を差分量演算部１１９に与える。そして、差分量演算部１１９は画像Ａおよび画像Ｂと間の差分量を算出する（ステップＳ３０６）。なお、２画像間の差分量の演算については後述する。

ＣＰＵ１１３は、差分量演算部１１９によって求められた差分量を奥行き方向決定部１２０に与える。そして、奥行き方向決定部１２０は後述するようにして手前領域および背景領域（つまり、奥行き方向）を決定する（ステップＳ３０７）。

続いて、擬似ステレオ画像生成部１２３はＣＰＵ１１３の制御下で、奥行き方向に基づいて擬似的に右目用画像および左目用画像（擬似ステレオ画像）を生成する（２Ｄ３Ｄ変換処理：ステップＳ３０８）。擬似ステレオ画像の生成が終了すると、ＣＰＵ１１３は擬似ステレオ画像取得処理を終了する。

ところで、上述の２回目の撮影の際の撮影パラメータの決定については、次の条件１〜３を考慮するものとする。

条件１：画像Ａと画像Ｂの露光量が等価になること。

条件２：画像ＢのＦ値が画像Ａを撮影した際のＦ値からなるべく離れること。

条件３：画像Ｂの撮影の際のシャッタースピードが画像Ａの撮影の際のシャッタースピードに比べて遅くならないこと。

上記の条件１は画像Ａと画像Ｂの出力ゲインを合わせることによって演算の精度を上げるための条件である。条件２は被写界深度の変更が最も大きくなるようにするための条件であり、画像Ａと画像Ｂとの間で被写界深度が異なる程差分量は顕著に現れる。条件３はユーザの使い勝手と手ぶれ防止のための条件である。

なお、ここでは、条件１＞条件２＞条件３の順に優先度をつけてパラメータを決定する。

一般に、露光量を算出する際には次の式（１）が用いられる。

Ｅｖ＝Ａｖ＋Ｔｖ （１）
ここで、Ｅｖは露光量であり、露出の度合いを表すものである。Ａｖ（絞り優先）は絞り値Ｆ１を０とし、１段絞る毎に１ずつ加算される値である。Ｔｖ（シャッタースピード優先）はシャッタースピード１秒を０として、１段速くする毎に１ずつ加算され、１段遅くする毎に１ずつ減算される値である。

式（１）によれば、所定の撮影パラメータに対して、絞り値を１段絞りシャッタースピードを１段遅くする場合と絞り値を１段開放しシャッタースピードを１段速くする場合とで得られるＥｖ値は互いに等しい値となる。

図４は、絞り値およびシャッタースピードと露光量との関係を示す図である。

図４において、絞り値Ｆ８、シャッタースピード１２５／１で撮影された場合のＥｖは、Ｅｖ＝６＋７＝１３である。一方、絞り値Ｆ４、シャッタースピード５００／１で撮影された場合のＥｖは、Ｅｖ＝４＋９＝１３となる。よって、上記の絞り値およびシャッタースピードによって撮影された２つの画像において露光量は互いに等しくなる。

式（１）は撮影感度（ＩＳＯ）１００における露光量を求めるためのものであり、ＩＳＯ１００以外の露光量の算出についてはＩＳＯ感度補正を行う必要がある。ここでは、式（１）にＩＳＯ感度設定に応じた補正を考慮してＩｖ（露出補正）値を設定することにする。

Ｉｖ値はＩＳＯ１００を０として、撮影感度を１段上げる毎に１ずつ加算される値である。Ｉｖ値を考慮した露光量は次の式（２）で表わされる。

Ｅｖ＝Ａｖ＋Ｔｖ−Ｉｖ （２）
そして、式（２）を変形すれば、Ａｖ値、Ｔｖ値、およびＩｖ値はそれぞれ式（３）〜式（５）で求めることができる。

Ａｖ＝Ｅｖ−Ｔｖ＋Ｉｖ （３）
Ｔｖ＝Ｅｖ−Ａｖ＋Ｉｖ （４）
Ｉｖ＝Ａｖ＋Ｔｖ−Ｅｖ （５）
図５は、図１に示す撮影パラメータ決定部１１２において行われる２回目の撮影の際の撮影パラメータの決定を説明するための図である。

撮影パラメータ決定処理を開始すると、撮影パラメータ決定部１１２は、まず画像Ａを撮影した際のＥｖ値を算出する（ステップＳ４０１）。続いて、撮影パラメータ決定部１１２は画像Ａを撮影した際のＡｖ値が設定可能なＡｖ値の範囲における中央値よりも小さい値であるか否かを判定する（ステップＳ４０２）。

画像Ａを撮影した際のＡｖ値が中央値より小さいと（ステップＳ４０２において、ＹＥＳ）、撮影パラメータ決定部１１２は画像Ｂを撮影する際のＡｖ値を最大値に設定する（ステップＳ４０３）。そして、撮影パラメータ決定部１１２はＩｖ値の調整によって、画像Ｂを撮影する際に画像Ａを撮影した際のＥｖ値と等価なＥｖ値が得られるか否かを判定する（ステップＳ４０４）。

Ｉｖ値の調整によって画像ＢのＥｖ値と画像ＡのＥｖ値とが等価にできると（ステップＳ４０４において、ＹＥＳ）、撮影パラメータ決定部１１２は、画像ＢのＥｖ値と画像ＡのＥｖ値とが等価となるＩｖ値を設定して（ステップＳ４０５）、撮影パラメータ決定処理を終了する。

いま、Ａｖ値およびＴｖ値がそれぞれ０〜１０の１０段階で、Ｉｖ値が０〜５の５段階に設定できるものとする。Ａｖ値＝５、Ｔｖ値＝６、Ｉｖ値＝０、そして、Ｅｖ値＝１１である撮影パラメータで画像Ａを撮影したものとする。

この場合には、ステップＳ４０３において、Ａｖ値＝１０（最大値）が設定される。そして、ステップＳ４０４において、画像Ａを撮影した際のＴｖ値を用いてＩｖ値の調整によって等価なＡｖ値が得られるか否かが判定されることになる。

上記の式（５）を用いると、Ｉｖ＝１０＋６−１１＝５となる。このＩｖ値は設定可能なＩｖ値の範囲に収まっているので、撮影パラメータ決定部１１２はＩｖ値の調整が可能であると判断する。そして、ステップＳ４０４において、調整後のＩｖ値＝５が画像Ｂを撮影する際のＩｖ値として設定される。

この結果、画像Ｂを撮影する際の撮影パラメータとして、上記の条件１〜３の全てを満たす撮影パラメータが決定されることになる。

Ｉｖ値の調整によって画像ＢのＥｖ値と画像ＡのＥｖ値とが等価にできないと（ステップＳ４０４において、ＮＯ）、撮影パラメータ決定部１１２はＩｖ値を最大値に設定する（ステップＳ４０６）。そして、撮影パラメータ決定部１１２はＴｖ値の調整によって、画像Ｂを撮影する際に画像Ａを撮影した際のＥｖ値と等価なＥｖ値が得られるか否かを判定する（ステップＳ４０７）。

Ｔｖ値の調整によって画像ＢのＥｖ値と画像ＡのＥｖ値とが等価にできると（ステップＳ４０７において、ＹＥＳ）、撮影パラメータ決定部１１２は、画像ＢのＥｖ値と画像ＡのＥｖ値とが等価となるＴｖ値を設定して（ステップＳ４０８）、撮影パラメータ決定処理を終了する。

一方、Ｔｖ値の調整によって画像ＢのＥｖ値と画像ＡのＥｖ値とが等価にできないと（ステップＳ４０７において、ＮＯ）、撮影パラメータ決定部１１２はＴｖ値を最小値に設定する（ステップＳ４０９）。そして、撮影パラメータ決定部１１２は画像ＡのＥｖ値と等価となるＡｖ値を算出して（ステップＳ４１０）、撮影パラメータ決定処理を終了する。

前述のように、Ａｖ値およびＴｖ値がそれぞれ０〜１０の１０段階で、Ｉｖ値が０〜５の５段階に設定できるものとし、Ａｖ値＝４、Ｔｖ値＝６、Ｉｖ値＝０、そして、Ｅｖ値＝１０である撮影パラメータで画像Ａを撮影したものとする。

この場合、Ｉｖ値の調整によって画像ＢのＥｖ値と画像ＡのＥｖ値とが等価にできないので、ステップＳ４０６においてＩｖ値＝５（最大値）が設定される。そして、ステップＳ４０７において、Ｔｖ値による調整が可能であるか否かが判定される。

ここで、式（４）を用いると、Ｔｖ＝１０−１０＋５＝５となり、当該Ｔｖ値は設定可能なＴｖ値の範囲に収まっているので、撮影パラメータ決定部１１２は、ステップＳ４０８において上記のＴｖ値を、画像Ｂを撮影する際のＴｖ値として決定することになる。

この結果、画像Ｂを撮影する際の撮影パラメータとして、上記の条件１および２を満たす撮影パラメータが決定されることになる。

前述のステップＳ４０２において、画像Ａを撮影した際のＡｖ値が中央値以上であると（ステップＳ４０２において、ＮＯ）、撮影パラメータ決定部１１２は画像Ｂを撮影する際のＡｖ値を最小値に設定する（ステップＳ４１１）。そして、撮影パラメータ決定部１１２はＴｖ値の調整によって、画像Ｂを撮影する際に画像Ａを撮影した際のＥｖ値と等価なＥｖ値が得られるか否かを判定する（ステップＳ４１２）。

Ｔｖ値の調整によって画像ＢのＥｖ値と画像ＡのＥｖ値とが等価にできると（ステップＳ４１２において、ＹＥＳ）、撮影パラメータ決定部１１２は、画像ＢのＥｖ値と画像ＡのＥｖ値とが等価となるＴｖ値を設定して（ステップＳ４１３）、撮影パラメータ決定処理を終了する。

前述のように、Ａｖ値およびＴｖ値がそれぞれ０〜１０の１０段階で、Ｉｖ値が０〜５の５段階に設定できるものとし、Ａｖ値＝６、Ｔｖ値＝４、Ｉｖ値＝０、そして、Ｅｖ値＝１０である撮影パラメータで画像Ａを撮影したものとする。

この場合、画像Ａを撮影した際のＡｖ値が中央値以上であるので、ステップＳ４１１０４において、Ａｖ値＝０（最小値）が設定される。そして、ステップＳ４１２で、Ｔｖ値の調整によって画像ＢのＥｖ値を画像ＡのＥｖ値と等価にできるか否かが判定される。

上記の式（４）によって、Ｔｖ＝１０−０＋０＝１０であるので、Ｔｖ値の調整によって、画像Ｂを撮影する際に画像ＡのＥｖ値と等価なＥｖ値が得られることになる。従って、ステップＳ４１３において、上記のＴｖ値が画像Ｂを撮影する際のＴｖ値として決定されることになる。

この結果、画像Ｂを撮影する際の撮影パラメータとして、上記の条件１〜３の全てを満たす撮影パラメータが決定されることになる。

一方、Ｔｖ値の調整によって画像ＢのＥｖ値と画像ＡのＥｖ値とが等価にできないと（ステップＳ４１２において、ＮＯ）、撮影パラメータ決定部１１２はＴｖ値を最大値に設定する（ステップＳ４１４）。そして、撮影パラメータ決定部１１２は、Ｉｖ値の調整によって、画像Ｂを撮影する際に画像Ａを撮影した際のＥｖ値と等価なＥｖ値が得られるか否かを判定する（ステップＳ４１５）。

Ｉｖ値の調整によって画像ＢのＥｖ値と画像ＡのＥｖ値とが等価にできると（ステップＳ４１５において、ＹＥＳ）、撮影パラメータ決定部１１２は、画像ＢのＥｖ値と画像ＡのＥｖ値とが等価となるＩｖ値を設定して（ステップＳ４１６）、撮影パラメータ決定処理を終了する。

Ｉｖ値の調整によって画像ＢのＥｖ値と画像ＡのＥｖ値とが等価にできないと（ステップＳ４１５において、ＮＯ）、撮影パラメータ決定部１１２はＩｖ値を最大値に設定する（ステップＳ４１７）。そして、撮影パラメータ決定部１１２は画像ＡのＥｖ値と等価となるＡｖ値を算出して（ステップＳ４１８）、撮影パラメータ決定処理を終了する。

Ａｖ値およびＴｖ値がそれぞれ０〜１０の１０段階で、Ｉｖ値が０〜５の５段階に設定できるものとし、Ａｖ値＝６、Ｔｖ値＝６、Ｉｖ値＝４、そして、Ｅｖ値＝８である撮影パラメータで画像Ａを撮影したものとする。

この場合、Ｔｖ値の調整によって画像ＢのＥｖ値と画像ＡのＥｖ値とが等価にできないので、ステップＳ４１４においてＴｖ値＝１０（最大値）が設定される。そして、ステップＳ４１５で、Ｉｖ値の調整によって画像ＢのＥｖ値を画像ＡのＥｖ値と等価にできるか否かが判定される。

この際、ステップＳ４１１でＡｖ値＝０（最小値）とされているので、上記の式（５）によって、Ｉｖ＝０＋１０−８＝２となる。従って、Ｉｖ値の調整によって、画像Ｂを撮影する際に画像ＡのＥｖ値と等価なＥｖ値が得られることになる。よって、ステップＳ４１６において、上記のＩｖ値が画像Ｂを撮影する際のＩｖ値として決定されることになる。

この結果、画像Ｂを撮影する際の撮影パラメータとして、上記の条件１および２を満たす撮影パラメータが決定されることになる。

図６は、図１に示す差分量演算部１１９による差分量の演算を説明するための図である。そして、図６（Ａ）はある視点から全ての被写体にピントが合うような被写界深度となるように撮影パラメータを設定して撮影した際の画像を示す図であり、図６（Ｂ）は図６（Ａ）と同一の視点から被写界深度が狭くなるような撮影パラメータを設定して撮影した画像であり際の画像を示す図である。また、図６（Ｃ）は差分量の算出の一例を示す図であり、図６（ｄ）は差分量算出の他の例を示す図である。

図６（Ｂ）においては、主被写体にのみピントが合っており、差分量演算部１１９は、図６（Ａ）および図６（Ｂ）に示す画像において、その同一位置における領域ついて画素値同士を減算して差分量を算出する。

例えば、図６（Ａ）に示す領域５００と図６（Ｂ）に示す領域５０２とが同一位置の領域（対応する領域）に当たり、同様に、領域５０１と領域５０３とが同一位置の領域に当たる。

図示の例では、注目画素を中心として３×３（Ｐｉｘｅｌ）の領域について画素値同士の減算を行う。そして、差分量演算部１１９は画素毎の減算によって得られた差分値の絶対値の総和を求めて、各領域における差分量を算出する。

この結果、図６（Ａ）においてピントが合っているが図６（Ｂ）ではピントが合っていない領域５００および５０２については差分量が大きくなる（図６（Ｃ）参照）。一方、図６（Ａ）および図６（Ｂ）の双方ともにピントが合っている領域５０１および５０３では差分量が小さくなる（理想的には０：図６（Ｄ）参照）。

なお、図６に示す例では、説明の便宜上に３×３の領域毎に差分演算を行っているが、差分演算を行う領域について設定可能な範囲で適宜決定される。また、差分量を演算する際には、２つの画像について同一位置の画素値同士を減算した後、ローパスフィルタ処理するようにしてもよい。

図７は、図１に示す奥行き方向決定部１２０による処理を説明するための図である。そして、図７（Ａ）は差分量演算部で得られた差分量をマッピングした状態を示す図であり、図７（Ｂ）は２値化処理を行った結果を示す図である。

なお、ここでは、説明の便宜上２値で奥行き方向を決定する場合について説明する。

差分量演算部１１９で求められた各領域における差分量を受けると、奥行き方向決定部１２０は当該差分量をマッピングして、例えば、図７（Ａ）に示すイメージを得る。

図７（Ａ）において、領域６００〜６０２はそれぞれ差分なし領域、差分量小の領域、および差分量大の領域を示している。奥行き方向決定部１２０はこれら差分量と予め設定された閾値とを比較して差分量を２値化する。例えば、差分量が閾値を超えると、奥行き方向決定部１２０は当該領域を“１”とする。一方、差分量が閾値以下であると、奥行き方向決定部１２０は当該領域を“０”とする。そして、奥行き方向決定部１２０は、例えば、図７（Ｂ）に示す２値化結果を得る。

図６（Ｂ）において、領域６０３は差分のない領域（つまり、”０”の領域）を示し、領域６０４は差分が生じた領域（つまり、”１”の領域）を示している。この場合、被写界深度の特性から差分のない領域、つまり、領域６０３は合焦位置上に存在する被写体であるといえる。

また、一般に撮影者は主被写体に合焦位置を合わせるので、主被写体は構図の最手前に位置していることが多い。このため、奥行き方向決定部１２０は領域６０３が手前側（手前方向）の領域であり、領域６０４が奥側（背景方向）の領域であると決定する。

なお、図７に示す例では、２値化によって画像中の領域の前後方向を決定するようにしたが、複数の閾値を設定して複数段階にその位置関係を決定するようにしてもよい。

擬似ステレオ画像生成部１２３は、奥行き方向決定部１２０で得られた手前側領域および奥側領域を受けて、手前領域に属する画素に視差を割り当て左又は右にシフトして、左右眼用のステレオ画像（立体的画像である擬似ステレオ画像）を生成することになる。そして、ＣＰＵ１１３は当該擬似ステレオ画像を表示部１１４に表示する。

このように、本発明の第１の実施形態では、撮影者は特殊な操作を行う必要がなく、光学的な特性に基づいた簡単な演算によって画像の各領域についてその前後方向を決定することができ、撮影者への負担を軽減することができる。

さらに、ストロボ発光などを行う必要もなく、幅広い撮影シーンにおいて疑似ステレオ画像を撮影することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラについて説明する。

図８は、本発明の第２の実施形態によるカメラについてその構成の一例を示すブロック図である。

なお、図８において、図１に示すカメラと同一の構成要素については同一の参照番号を付す。また、図８に示すカメラはその構成が図１に示すカメラと異なるので、参照番号７００を付す。

図８に示すカメラ７００は、後述する領域加算画像取得部（瞳分割画像取得部ともいう）７１２を有しており、この領域加算画像取得部７１２はＡ／Ｄ変換部１０５と信号処理部１０６との間に配置されている。そして、Ａ／Ｄ変換部１０５であるデジタル信号が領域加算画像取得部７１２に入力される。

領域加算画像取得部７１２は、撮像素子１０４において複数の光電変換領域から得られる画像信号（デジタル信号）を互いに加算処理して被写界深度の異なる複数の画像信号を生成する。

以下の説明では、領域加算画像取得部７１２において生成された被写界深度の異なる一対の画像信号をそれぞれ画像Ａおよび画像Ｂと呼ぶ。これら画像ＡおよびＢは信号処理部１０６に与えられる。信号処理部１０６は、画像ＡおよびＢの各々について前述したように画素信号を加算した結果得られるベイヤー配列の画像信号について信号処理を行う。

図９は、図８に示すカメラ７００で用いられる撮像素子１０４の構造を説明するための図である。そして、図９（Ａ）は撮像素子１０４の撮像面（結像面）の一部を示す図であり、図９（Ｂ）は撮像素子１０４の画素を拡大して示す図である。また、図９（Ｃ）は画素に対する光の入射を示す図である。

図９（Ａ）に示すように、撮像素子１０４は、２次元マトリックス状に配列された複数の画素を有している。撮像素子１０４では画素上にそれぞれＲＧＢのカラーフィルタが設けられ、分光特性の異なるＲ画素８０１、Ｇ画素８０２、およびＢ画素８０３が規則的に配置されている。そして、各画素はマイクロレンズ８０７および光電変換領域（光電変換部）を備えている。

図９（Ｂ）において、画素８０４は斜線で示す光電変換領域８０５および網線で示す光電変換領域８０６を有しており、これら光電変換領域８０５および８０６は同心円状に配置されている。そして、光電変換領域８０５および８０６はその面積が互いに等しい。

図９（Ｃ）において、いま、光電変換領域８０５には点線（破線）で示す光束が入射されて光電変換される。一方、光電変換領域８０６には実線で示す光束が入射されて光電変換される。

光束の関係と光電変換領域の面積の関係とから、光電変換領域８０６で得られた画素信号（第１の画像および第２の画像の一方）は、光電変換領域８０５および８０６で得られた画素信号を加算処理した加算信号（第１および第２の画像の他方）に対して絞りを１段変更して得られた画素信号と同等になる。つまり、１回の撮影で被写界深度の異なる２枚の画像進行が取得できることになる。

なお、図９に示す例では、光電変換領域を２つの領域に分割したが、光電変換領域を３つ以上の領域に分割すれば、互いに被写体深度の異なる複数の画像信号を得ることができる。そして、光電変換領域を３つ以上の領域に分割した際においては、同心円の最も内側に位置する領域で得られる画像と全ての領域で得られる画像とが最も被写界深度の異なる２枚の画像となる。

図１０は、図８に示すカメラ７００において行われる擬似ステレオ画像の取得を説明するためのフローチャートである。なお、図１０において、図３と同一のステップについては同一の参照符号を付す。

ステップＳ３０１において、擬似ステレオ画像撮影モードが選択されると、ＣＰＵ１１３は設定された撮影パラメータに応じて主被写体にピントを合わせて撮影を行う（ステップＳ９０２）。

なお、撮影パラメータの設定に当たっては、撮影者が撮影パラメータ設定部１１５で設定した撮影パラメータを用いるようにしてもよく、予め定められた撮影パラメータを用いるようにしてもよい。

続いて、瞳分割画像取得部７１２は複数の光電変換領域によって得られた画像信号を用いて（つまり、瞳分割によって）被写界深度の異なる２枚の画像信号を生成する（ステップＳ９０３）。そして、２枚の画像信号は信号処理部１０６で信号処理された後、画像ＡおよびＢとしてＣＰＵ１１３に与えられる。

この際、信号処理部１０６は、ＣＰＵ１１３の制御下で２枚の画像信号のレベルが等価になるようにゲインの調整を行い、被写界深度の異なる２枚の画像信号の露出を等価に処理する（ステップＳ９０４）。

その後、図３で説明したようにして、ステップＳ３０６〜Ｓ３０８の処理が行われて、擬似ステレオ画像取得処理が終了する。

このように、本発明の第２の実施形態では、一回の撮影によって擬似ステレオ画像を得ることができるので、第１の実施形態の効果に加えて、さらに撮影者の負担を低減することができる。

上述の説明から明らかなように、図１に示す例においては、撮影レンズユニット１０１、撮像素子１０５、Ａ／Ｄ変換部１０５、信号処理部１０６、およびシステム制御用ＣＰＵ１１３が撮像手段として機能する。また、差分量演算部１１９およびシステム制御用ＣＰＵ１１３が差分量算出手段として機能する。

さらに、奥行き方向決定部１２０およびシステム制御用ＣＰＵ１１３が奥行き決定手段として機能し、擬似ステレオ画像生成部１２３およびシステム制御用ＣＰＵ１１３がステレオ画像生成手段として機能する。

加えて、図８に示す例において、領域加算画像取得部７１２、信号処理部１０６、およびシステム制御用ＣＰＵ１１３が領域加算手段として機能し、信号処理部１０６およびシステム制御用ＣＰＵ１１３がゲイン調整手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも撮像ステップ、差分量算出ステップ、奥行き決定ステップ、およびステレオ画像生成ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０４ 撮像素子
１０５ Ａ／Ｄ変換部
１１３ システム制御用ＣＰＵ
１１４ 表示部
１１５ 撮影パラメータ設定部
１１６ 撮影モード切替部
１１９ 差分量演算部
１２０ 奥行き方向決定部
１２３ 疑似ステレオ画像生成部
７１２ 領域加算画像取得部（瞳分割画像取得部）

Claims (12)

1. 互いに被写界深度の異なる第１の画像および第２の画像を撮影する撮像手段と、
   前記第１の画像および第２の画像について互いに対応する領域において画素値の差分を求めて差分量を得る差分量算出手段と、
   前記差分量に応じて前記領域の各々について画像中の奥行きを決定する奥行き決定手段と、
   前記奥行きに応じて前記第１の画像又は第２の画像から右目用画像および左目用画像を生成するステレオ画像生成手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像手段は連続撮影によって前記第１の画像および前記第２の画像を得ることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段は、２次元マトリックス状に画素が配列された撮像素子を備え、前記画素の各々に備えられた光電変換部が同心円状に複数の光電変換領域に分割されており、
   さらに、前記撮像手段は、前記複数の光電変換領域から得られる画像信号を加算処理して互いに被写体深度の異なる前記第１の画像および前記第２の画像を得る領域加算手段を有することを特徴とする請求項１に記載の撮像装置。
4. 前記差分量算出手段は、前記対応する領域において画素毎の画素値の差分を求めて当該差分の絶対値の和を差分量とすることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記奥行き決定手段は前記差分量と予め設定された閾値とを比較して、その比較結果に応じて前記領域が手前側に位置するか又は奥側に位置するかを示す奥行きを決定することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記撮像手段は、前記第２の画像を撮影する際、前記第１の画像を撮影した際の露光量と等価な露光量とすることを特徴とする請求項２に記載の撮像装置。
7. 前記撮像手段は、前記第２の画像を撮影する際、前記第１の画像を撮影した際の被写界深度に対して被写界深度を変化させて撮影を行うことを特徴とする請求項６に記載の撮像装置。
8. 前記撮像手段は、前記第２の画像を撮影する際、前記第１の画像を撮影した際のシャッタースピードよりも遅くならないようにシャッタースピードの設定を行うことを特徴とする請求項７に記載の撮像装置。
9. 前記領域加算手段で得られた前記第１の画像および前記第２の画像のレベルが等価になるようにゲインを調整するゲイン調整手段を有すること特徴する請求項３に記載の撮像装置。
10. 前記領域加算手段は前記第１の画像として前記複数の光電変換領域のうち最も内側に位置する光電変換領域から出力された画像信号に応じて前記第１の画像および前記第２の画像の一方を生成し、前記複数の光電変換領域から出力された全ての画像信号を加算して前記第１の画像および前記第２の画像の他方を生成することを特徴とする請求項３又は９に記載の撮像装置。
11. 被写体を撮影して得られた画像から立体的画像であるステレオ画像を生成する撮像装置の制御方法であって、
    互いに被写界深度の異なる第１の画像および第２の画像を撮影する撮像ステップと、
    前記第１の画像および第２の画像について互いに対応する領域において画素値の差分を求めて差分量を得る差分量算出ステップと、
    前記差分量に応じて前記領域の各々について画像中の奥行きを決定する奥行き決定ステップと、
    前記奥行きに応じて前記第１の画像又は第２の画像から前記ステレオ画像として右目用画像および左目用画像を生成するステレオ画像生成ステップと、
    を備えることを特徴とする制御方法。
12. 被写体を撮影して得られた画像から立体的画像であるステレオ画像を生成する撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    互いに被写界深度の異なる第１の画像および第２の画像を撮影する撮像ステップと、
    前記第１の画像および第２の画像について互いに対応する領域において画素値の差分を求めて差分量を得る差分量算出ステップと、
    前記差分量に応じて前記領域の各々について画像中の奥行きを決定する奥行き決定ステップと、
    前記奥行きに応じて前記第１の画像又は第２の画像から前記ステレオ画像として右目用画像および左目用画像を生成するステレオ画像生成ステップと、
    を実行させることを特徴とする制御プログラム。

Images