JP5948856B2 - 撮像装置とオートフォーカス方法並びにプログラム - Google Patents

Description

この技術は、撮像装置とオートフォーカス方法並びにプログラムに関する。詳しくは、左目用画像を取得するための撮像光学系と右目用画像を取得する撮像光学系のバラツキを吸収して、違和感のない立体画像表示が可能な画像データを生成できるようにする。

撮像装置では、自動的に被写体へフォーカスを合わせ続ける機能が従来より設けられている。例えば特許文献１の発明では、撮像画像の画像データからコントラストの高低を判断して合焦位置を決定することが行われている。具体的には、撮像画像の特定領域をフォーカス制御用の信号取得領域（空間周波数抽出エリア）として設定する。この領域は測距枠（検波枠）と呼ばれており、この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動する方式である。またオートフォーカス方式としては、特許文献２に開示されている２画像マッチング方式や特許文献３に開示されている位相差検出方式等も用いられている。

特開平１０−２１３７３７号公報 特開２０１１−１２８６２３号公報 特許第２６７１４９１号公報

ところで、左目用画像を取得するための撮像光学系と右目用画像を取得するための撮像光学系を有した撮像装置では、左目用画像と右目用画像を１対として記録する。また、違和感のない立体画像表示を行うために、左目用画像の撮像光学系の合焦位置と右目用画像の撮像光学系の合焦位置が等しくする。例えば、一方の画像の撮像光学系でフォーカス制御を行い、他方の画像の撮像光学系は、一方の画像の撮像光学系の合焦位置に追従させることで合焦位置を等しくする。このようなオートフォーカス制御を行えば、例えばコントラストを利用したフォーカス調整において、視差による左右の画像の違いにより、左右の画像で異なる被写体にピントが合ってしまい、違和感のある立体画像表示となってしまうことを防止できる。しかし、一方の画像の撮像光学系と他方の画像の撮像光学系で特性のバラツキを生じていると、他方の画像の撮像光学系を一方の画像の撮像光学系の合焦位置に追従させた場合、他方の画像でフォーカスがぼけてしまうおそれがある。また、一方の画像と他方の画像の撮像光学系の特性を調整によって揃えるようにした場合、調整に時間を要するため効率よく撮像装置を生産することができない。

そこで、この技術では、左目用画像の撮像光学系と右目用画像の撮像光学系のバラツキを吸収して、違和感のない立体画像表示が可能な画像データを生成できるようにした撮像装置とオートフォーカス方法並びにプログラムを提供することを目的とする。

この技術の第１の側面は、第１の撮像光学系を介して形成された被写体光学像を電気信号に変換して第１の撮像画像の画像信号を生成する第１の撮像部と、第２の撮像光学系を介して形成された被写体光学像を電気信号に変換して第２の撮像画像の画像信号を生成する第２の撮像部と、前記第１の撮像光学系と前記第２の撮像光学系を独立に制御して、前記第１の撮像画像と前記第２の撮像画像のフォーカス調整を個々に行う制御部とを備え、前記制御部は、前記第１の撮像画像と前記第２の撮像画像の被写体距離とズーム倍率に応じて画角範囲を算出して、前記第１および前記第２の撮像光学系間の基線長と前記画角範囲との比率が閾値以上であり、前記画角範囲が前記基線長に対する前記閾値の範囲以下である場合、前記第１の撮像画像と前記第２の撮像画像のフォーカス調整を個々に行い、前記比率が閾値よりも小さく、前記画角範囲が前記基線長に対する前記閾値の範囲より大きい場合、前記第１の撮像画像の合焦位置に前記第２の撮像画像の合焦位置を追従させる撮像装置にある。

この技術においては、第１の撮像光学系を介して形成された被写体光学像が第１の撮像部で電気信号に変換されて第１の撮像画像の画像信号が生成される。また、第２の撮像光学系を介して形成された被写体光学像が第２の撮像部で電気信号に変換されて第２の撮像画像の画像信号が生成される。また、例えば第１の撮像画像と第２の撮像画像の被写体距離が焦点距離に応じた所定距離以上である場合に、第１の撮像光学系と第２の撮像光学系を独立に制御して、第１の撮像画像と第２の撮像画像のフォーカス調整が個々に行われる。フォーカス調整を個々に行う場合、制御部は、一方の撮像画像の合焦位置を基準として他方の撮像画像のフォーカス調整範囲を設定してフォーカス調整を行う。さらに、第１の撮像画像と第２の撮像画像の被写体距離が焦点距離に応じた所定距離以上でない場合には、第２の撮像画像のフォーカス調整を独立した制御から、前記第１の撮像画像のフォーカス調整に追従した制御に切り替えられる。ここで、第２の撮像画像のフォーカス調整を、独立した制御と第１の撮像画像のフォーカス調整に追従した制御との間で切り替える場合、一方の制御の合焦位置から他方の制御の合焦位置に所定速度以下で移動される。

また、第１の撮像画像の画像信号に基づき被写体認識を行う被写体認識部を備え、制御部は、被写体認識部で認識された所望の被写体にフォーカスを追従させる場合、第１の撮像画像のフォーカス調整に追従した制御が行われる。また、制御部は、第１の撮像画像においてフォーカス調整に用いる第１の検波領域の画像と、第２の撮像画像においてフォーカス調整に用いる第２の検波領域の画像で、被写体範囲が一致するように、焦点距離毎に少なくとも第１の検波領域と前記第２の検波領域の何れかの位置の調節が行われる。

この技術の第２の側面は、第１の撮像光学系を介して形成された被写体光学像を第１の撮像部で電気信号に変換して第１の撮像画像の画像信号を生成する工程と、第２の撮像光学系を介して形成された被写体光学像を第２の撮像部で電気信号に変換して第２の撮像画像の画像信号を生成する工程と、前記第１の撮像画像と前記第２の撮像画像の被写体距離とズーム倍率に応じて画角範囲を算出して、前記第１および前記第２の撮像光学系間の基線長と前記画角範囲との比率が閾値以上であり、前記画角範囲が前記基線長に対する前記閾値の範囲以下である場合、前記第１の撮像画像と前記第２の撮像画像のフォーカス調整を個々に行い、前記比率が閾値よりも小さく、前記画角範囲が前記基線長に対する前記閾値の範囲より大きい場合、前記第１の撮像画像の合焦位置に前記第２の撮像画像の合焦位置を追従させる工程とを含むオートフォーカス方法にある。

この技術の第３の側面は、第１の撮像光学系を介して形成された被写体光学像を電気信号に変換して生成された第１の撮像画像の画像信号と、第２の撮像光学系を介して形成された被写体光学像を電気信号に変換して生成した第２の撮像画像の画像信号を用いてオートフォーカスの制御をコンピュータで実行させるプログラムであって、前記第１の撮像画像と前記第２の撮像画像の被写体距離とズーム倍率に応じて画角範囲を算出して、前記第１および前記第２の撮像光学系間の基線長と前記画角範囲との比率が閾値以上であり、前記画角範囲が前記基線長に対する前記閾値の範囲以下である場合、前記第１の撮像画像と前記第２の撮像画像のフォーカス調整を個々に行い、前記比率が閾値よりも小さく、前記画角範囲が前記基線長に対する前記閾値の範囲より大きいる場合、前記第１の撮像画像の合焦位置に前記第２の撮像画像の合焦位置を追従させる手順を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術によれば、第１の撮像光学系を介して形成された被写体光学像が第１の撮像部で電気信号に変換されて第１の撮像画像の画像信号が生成される。また、第２の撮像光学系を介して形成された被写体光学像が第２の撮像部で電気信号に変換されて第２の撮像画像の画像信号が生成される。さらに、第１の撮像光学系と第２の撮像光学系を独立に制御して、第１の撮像画像と第２の撮像画像のフォーカス調整が個々に行われる。このため、例えば左目用画像を取得するための撮像光学系と右目用画像を取得する撮像光学系でフォーカスの合うレンズ位置がバラツキを生じていても、このバラツキを吸収して、違和感のない立体画像表示が可能な画像データを生成できる。

撮像装置の構成を例示した図である。 左目画像と右目画像を例示した図である。 視差を撮像装置からの視点で示した図である。 フォーカスレンズとズームレンズの位置から被写体距離を推定する動作を説明するための図である。 オートフォーカス制御動作を示すフローチャートである。 画角範囲を説明するための図である。 被写体距離とズームレンズの位置に応じて設定されるオートフォーカス制御動作を説明するための図である。 他のオートフォーカス制御動作を示すフローチャートである。 検波領域の移動を例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態

＜１．第１の実施の形態＞
［１−１．第１の実施の形態の構成］
図１は、本技術の撮像装置の構成を例示している。撮像装置１０は、左目画像を取得するための左目撮像光学系２１Ｌ、右目画像を取得するための右目撮像光学系２１Ｒ、左目撮像光学系駆動部２２Ｌ、右目撮像光学系駆動部２２Ｒ、左目画像用撮像部３１Ｌ、右目画像用撮像部３１Ｒを有している。また、撮像装置１０は、信号処理部３２、コーデック部３３、メディアインタフェース部３４、記録メディア３５を有している。さらに、撮像装置１０は、メモリ部４１、操作部４２、制御部４５を有している。

左目撮像光学系２１Ｌと右目撮像光学系２１Ｒは、撮像レンズ群や絞り機構，ＮＤフィルタを挿入するＮＤ機構等で構成されている。また、撮像レンズ群は、ズームレンズやフォーカスレンズ、撮像時の手の振動を補正するシフト防振式手振れ補正レンズ等で構成されている。左目撮像光学系２１Ｌは、左目撮像光学系駆動部２２Ｌから供給された駆動信号に基づき撮像レンズ群や絞り機構，ＮＤ機構を駆動して、フォーカス動作やズーム動作，手振れ補正動作，光量調整動作等を行う。同様に、右目撮像光学系２１Ｒは、右目撮像光学系駆動部２２Ｒから供給された駆動信号に基づき撮像レンズ群や絞り機構，ＮＤ機構等を駆動して、フォーカス動作やズーム動作，手振れ補正動作，光量調整動作等を行う。

左目撮像光学系駆動部２２Ｌは、後述する制御部４５からの制御信号に基づいて左目撮像光学系２１Ｌの撮像レンズ群や絞りを駆動するための駆動信号を生成する。左目撮像光学系駆動部２２Ｌは、生成した駆動信号を左目撮像光学系２１Ｌに出力する。

右目撮像光学系駆動部２２Ｒは、制御部４５からの制御信号に基づいて右目撮像光学系２１Ｒの撮像レンズ群や絞りを駆動するための駆動信号を生成する。右目撮像光学系駆動部２２Ｒは、生成した駆動信号を右目撮像光学系２１Ｒに出力する。

左目画像用撮像部３１Ｌは、撮像素子やノイズ除去部，Ａ／Ｄ変換器等を用いて構成されている。撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）固体撮像素子やＣＣＤ（Charge Coupled Device）固体撮像素子が用いられている。撮像素子は、光電変換を行い、左目撮像光学系２１Ｌによって撮像面に結像された光学像に応じた画像信号を生成する。ノイズ除去部は、撮像素子で生成された画像信号に対して例えば相関二重サンプリング処理等を行い、画像信号からノイズを除去する。また、ノイズ除去部は、ノイズ除去後の画像信号を所望の信号レベルに増幅する。Ａ／Ｄ変換器は、ノイズ除去部で処理された画像信号をディジタルの画像信号に変換して信号処理部３２に出力する。

右目画像用撮像部３１Ｒは、左目画像用撮像部３１Ｌと同様に構成されており、右目撮像光学系２１Ｒによって撮像素子の撮像面に結像された光学像に応じたディジタルの画像信号を生成して信号処理部３２に出力する。

信号処理部３２は、ホワイトバランス補正部、ガンマ補正部、輪郭補正部、輝度・色差信号生成部等を有している。信号処理部３２は、左目画像用撮像部３１Ｌと右目画像用撮像部３１Ｒから供給された画像信号に対して、制御部４５からの制御信号に基づきホワイトバランス調整処理やガンマ補正処理、輪郭補正処理等を行う。また、信号処理部３２は、種々の処理が行われた画像信号を、例えば輝度と色差の画像データに変換してコーデック部３３に出力する。

また、信号処理部３２は、画像信号を解析してフォーカスを追従させる被写体の認識を行う被写体認識部を有する構成であってもよい。なお、被写体認識部は、被写体の認識結果を制御部４５に出力する。

コーデック部３３は、左目画像の画像データと右目画像の画像データを用いて、立体画像（三次元画像）としての符号化処理を行い、符号化データをメディアインタフェース部３４に出力する。また、コーデック部３３は、符号化データの復号処理を行う。

メディアインタフェース部３４は、記録メディア３５に符号化データ等を記録したり、記録メディア３５に記録されている符号化データ等を読み出すためのインタフェースである。

記録メディア３５は、フラッシュメモリやハードディスクなどが用いられる。記録メディア３５は、撮像装置１０に内蔵されてもよく、着脱可能とされてもよい。なお、記録メディア３５としては、光ディスクや光磁気ディスク等の記録メディアを用いるようにしてもよい。

メモリ部４１は、撮像装置１０の動作を制御するためのプログラムや種々のデータ等が記憶される。

操作部４２は、レリーズスイッチ，ズームボタン，動作の切り替えを行う切り替えボタン、各種の設定を行うための操作ボタン等で構成されている。操作部４２は、ユーザ操作に応じた操作信号を生成して制御部４５に出力する。

制御部４５は、メモリ部４１に記憶されているプログラムを実行して、メモリ部４１に記憶されている種々のデータや操作部４２から供給された操作信号に基づき、撮像装置１０がユーザ操作に応じた動作となるように制御信号を生成して各部に供給する。

また、制御部４５は、信号処理部３２に供給された画像信号を利用して、被写体にフォーカスを合わせるオートフォーカス制御や、明るさの調節を行うオートアイリス制御などの処理を行う。オートフォーカス制御では、画像信号からオートフォーカス制御に必要な物理量を算出する。例えば画像のコントラストによりオートフォーカス制御を行う場合、画像信号から画像の鮮鋭度を示す焦点評価値を算出する。制御部４５は、この焦点評価値が極大となる位置を検出し、その位置にフォーカスレンズを移動させる。すなわち、フォーカスレンズを至近から無限遠まで所定のステップで移動させ、各位置で焦点評価値を取得して、得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズを移動させる。さらに、制御部４５は、信号処理部３２からの被写体認識結果に基づき、オートフォーカス制御動作の切り替えを行うようにしてもよい。

なお、図示せずも、撮像装置１０には音声を記録するためのマイクや、カメラスルー画像，記録画像および再生画像等の表示を行う表示部等も設けられる。

［１−２．第１の実施の形態の動作］
このように、左目画像を取得するための左目撮像光学系２１Ｌと右目撮像光学系２１Ｒが設けられる場合、左目画像と右目画像は視差を有する。図２は、左目画像と右目画像を例示している。なお、図２では、全体の画像を１枚の立体画像とみなして、左目撮像光学系２１Ｌと左目画像用撮像部３１Ｌによって取得される左目画像と、右目撮像光学系２１Ｒと右目画像用撮像部３１Ｒによって取得される右目画像とを例示している。なお、実線で示す枠は左目画像、二重線で示す枠は右目画像を示している。

また、オートフォーカス制御において、フォーカス調整に用いる画像領域（検波領域）をそれぞれの撮像画像の中央に配置した場合、検波領域の画像は視差を有した画像となる。なお、破線で示す枠は左目画像検波領域、一点鎖線で示す枠は右目画像検波領域を示している。

図３は、図２における視差を撮像装置１０からの視点で示している。撮像装置１０における左目画像と右目画像は、光軸に対して左右の画角が同一になるように調整されているものとする。また、基線長すなわち左目撮像光学系の光軸と、右目撮像光学系の光軸との間隔は固定である。基線長は、撮像装置１０において固定値であることから、被写体距離が長くなればなるほど、被写体距離に対する基線長の比率は小さくなる。すなわち、比率が小さくなると視差による左目画像と右目画像の相違が少なくなり、比率が大きくなると視差による左目画像と右目画像の相違が顕著となる。

また、ズーム動作を行う場合、ズームレンズの位置が望遠側となると被写体が拡大されて表示されることから、ズーム倍率が高い場合には視差による左目画像と右目画像の相違が顕著となる。また、ズーム倍率が低い場合は、視差による左目画像と右目画像の相違が少なくなる。すなわち、焦点距離に応じて視差による左目画像と右目画像の相違が変化する。

さらに、被写体距離に対する基線長の比率が大きい場合に、左目画像と右目画像で独立してオートフォーカス制御を行った場合、左目画像と右目画像では異なる被写体にピントがあってしまうおそれがある。例えば近接した被写体と離れた被写体が撮像画角内に混在している場合、左目画像の検波領域の画像が主に近接した被写体の画像であると、近接した被写体に対して合焦するようにオートフォーカス制御動作が行われる。また、右目画像の検波領域の画像が主に離れた被写体の画像であると、離れた被写体に対して合焦するようにオートフォーカス制御動作が行われる。したがって、左目画像は近接した被写体にピントが合った画像となり、右目画像は離れた被写体にピントが合った画像となってしまうおそれがある。

そこで、撮像装置１０は、視差による左目画像と右目画像の相違が顕著となる場合、すなわち被写体距離が焦点距離に応じた所定距離以上でない場合、それぞれの画像が所望の被写体にピントが合った画像となるように、左目画像と右目画像で独立してオートフォーカス制御動作を行う。また、視差による左目画像と右目画像の相違が少ない場合、すなわち被写体距離が焦点距離に応じた所定距離以上である場合、左目画像と右目画像で異なる被写体にピントが合った画像とならないように、一方の画像についてはオートフォーカス制御動作を行い、他方の画像の合焦位置は一方の画像の合焦位置に追従させる。

なお、被写体距離は、測距手段によって測定してもよく、合焦状態におけるフォーカスレンズとズームレンズの位置から推定してもよい。

図４は、フォーカスレンズとズームレンズの位置から被写体距離を推定する動作を説明するための図である。なお、図４では、撮像装置１０の撮像光学系におけるズームレンズの移動可動範囲とフォーカスレンズの移動可能範囲とからなる位置空間における動作領域を示している。

位置空間は、ズームレンズの物理的な移動可能範囲を横軸にとり、左方向（減少方向）が広角（Wide）側、右方向（増加方向）が望遠（Tele）側に設定されている。また、フォーカスレンズの物理的な移動可能範囲を縦軸にとり、下方向（減少方向）が遠距離（Far）側、上方向（増加方向）が近距離（near）側に設定されている。

曲線Ｌ１は、無限遠の被写体に合焦するズームレンズ位置とフォーカスレンズ位置の組み合わせの軌跡を示している。曲線Ｌ２は、最短撮像距離の被写体に合焦するズームレンズ位置とフォーカスレンズ位置の組み合わせの軌跡を示している。なお、曲線Ｌ３は、ズームの全動作領域において合焦可能な最短の撮像距離についてのズームレンズ位置とフォーカスレンズ位置の組み合わせの軌跡を示している。

通常動作領域（斜線で示す領域）は、曲線Ｌ１，Ｌ２，Ｌ３、およびフォーカスレンズのマクロ至近端によって囲まれた領域であり、通常モードの動作においては、この領域内でのみ、ズームレンズ位置とフォーカスレンズ位置の調整が可能である。なお、インナーフォーカス方式である撮像装置の場合、マクロモードの動作の領域（クロスハッチングで示す領域）が、図示するようにTele端側に設けられる。

ここで、例えば合焦状態となったときのズームレンズ位置を「ＰＺa」、フォーカスレンズの位置を「ＰＦａ」とする。この場合、ズームレンズ位置が「ＰＺa」でフォーカスレンズの位置が「ＰＦａ」である点を通過する軌跡Ｌａに対応する撮像距離を被写体距離Ｍａと推定する。

図５は、制御部４５のオートフォーカス制御動作を示すフローチャートである。ステップＳＴ１で制御部４５は、検波対象が動体でないか判別する。制御部４５は信号処理部３２から供給された被写体認識結果に基づき、検波領域の被写体が動体でないか判別する。制御部４５は、検波領域の被写体が動体でない場合にステップＳＴ２に進み、検波領域の被写体が動体である場合にステップＳＴ５に進む。

ステップＳＴ２で制御部４５は、被写体距離を判別する。制御部４５は、例えば上述のようにフォーカスレンズの位置とズームレンズの位置から被写体距離Ｍａを推定してステップＳＴ３に進む。

ステップＳＴ３で制御部４５は、画角範囲を算出する。制御部４５は、図６に示すように画角２θと被写体距離Ｍａから撮像光学系の画角範囲Ｍｗを式（１）に基づいて算出する。なお、画角２θは、焦点距離に応じたレンズ固有の値であり、ズーム倍率に応じて変化する。
Ｍｗ＝ｔａｎθ×Ｍａ×２ ・・・（１）

ステップＳＴ４で制御部４５は、フォーカス制御判別値が閾値以上であるか判定する。制御部４５は画角範囲Ｍｗと基線長Ｍｒの比率を式（２）に基づき算出して、フォーカス制御判別値Ｑｍとする。制御部４５はフォーカス制御判別値Ｑｍが閾値以上である場合はステップＳＴ５に進み、閾値よりも小さい場合はステップＳＴ６に進む。
Ｑｍ＝Ｍｒ／Ｍｗ ・・・（２）

ステップＳＴ５で制御部４５は、追従動作を行う。制御部４５は、基線長に対して画角範囲が大きくない場合、左目画像と右目画像は視差による画像の相違が顕著となることから、一方の画像についてオートフォーカス制御動作を行い、他方の画像の合焦位置を一方の画像の合焦位置に追従させる。また、制御部４５は、検波対象を動体とした場合、動体に正しくピントを合わせるため総じて検波領域が小さく設定される。このように検波領域を小さく設定すると視差による画像の相違を無視できない。また、動体であるため例えば画面の端に被写体が動いた場合、一方のレンズではその被写体を捉えられないおそれがある。したがって、このような場合にも、一方の画像についてオートフォーカス制御動作を行い、他方の画像の合焦位置を一方の画像の合焦位置に追従させる。制御部４５は、このように独立動作を行いステップＳＴ１に戻る。

ステップＳＴ６で制御部４５は、独立動作を行う。制御部４５は、基線長に対して画角範囲が大きく、左目画像と右目画像は視差による画像の相違が少ないことから、左目画像と右目画像のそれぞれで独立してオートフォーカス動作を行いステップＳＴ１に戻る。

このようなオートフォーカス制御動作を撮像装置１０で行えば、撮像装置１０で生成される左目画像と右目画像の画像信号は、合焦位置が大きく異なり違和感のある画像となってしまうことを防止できる。なお、オートフォーカス方式は、コントラスト方式に限られない。例えば２画像マッチング方式や位相差検出方式などでもよい。

ところで、焦点距離は上述のようにズーム倍率によって変化する。例えばTele側にズーミングするにしたがって、光学的な画角は狭くなり、同一被写体距離における画面全体に対する視差の割合は大きくなる。したがって、制御部４５は、被写体距離と焦点距離（ズーレンズの位置に相当）に応じた所定距離の比較結果に基づきオートフォーカス制御動作の設定を行うようにしてもよい。

図７は、被写体距離とズームレンズの位置に応じて設定されるオートフォーカス制御動作を説明するための図である。例えば、図７に示すように閾値ＴＨを設定して、ズームレンズ位置と被写体距離で示される点が閾値上または閾値よりも上側である領域の場合、
すなわち被写体距離が焦点距離に応じた所定距離以上である場合、左目画像と右目画像のそれぞれで独立してオートフォーカス制御動作を行う。また、閾値よりも下側である領域の場合、すなわち被写体距離が焦点距離に応じた所定距離以上でない場合には、一方の画像についてオートフォーカス制御動作を行い、他方の画像の合焦位置を一方の画像の合焦位置に追従させる。このようにすれば、被写体距離とズームレンズの位置に応じて、違和感のない立体画像表示を行うことができるようにオートフォーカス制御動作を設定できる。なお、閾値を示すカーブのデータは、撮像光学系に応じて一意に決定されることから、このデータを予めメモリ部４１に格納しておくことで、容易にオートフォーカス制御動作を設定できる。また、上述のステップＳＴ３とステップＳＴ４の処理は、基線長Ｍｒが固定値であることから、被写体距離が焦点距離に応じた所定距離以上であるか否かの判定に相当する。

撮像装置１０は、上述のようにオートフォーカス制御動作を行うことで、左目撮像光学系２１Ｌと右目撮像光学系２１Ｒのレンズ間でバラツキを生じても、それぞれ画像について独立にフォーカス調整が行われるのでバラツキを吸収できる。例えば撮像装置１０は、温度特性や絞り，ＮＤ補正，フランジバック補正等により、左目撮像光学系２１Ｌと右目撮像光学系２１Ｒのレンズ間で合焦位置が異なる位置となっても、それぞれ画像についてレンズを正しい合焦位置とすることができる。したがって、撮像装置１０で生成される左目画像と右目画像の画像信号は、それぞれ所望の被写体にピントが合った画像の画像信号となる。また、撮像光学系の特性が一致するように調整しなくとも、左目画像と右目画像は、それぞれ所望の被写体にピントが合った画像となるので、撮像装置を効率よく生産できる。さらに、左目画像と右目画像とで視差による画像の相違が顕著となるような場合、一方の画像についてオートフォーカス制御動作を行い、他方の画像の合焦位置は一方の画像の合焦位置に追従される。したがって、左目画像と右目画像で合焦位置が異なり違和感のある立体画像表示となってしまうことを防止できる。例えば左目画像は所望の被写体にピントがあった画像となり、右目画像は所望の被写体と異なる被写体にピントがあって所望の被写体はピントの外れた画像となってしまうことを防止できる。

また、上述の第１の実施の形態では、被写体認識によって動体を検出する場合について説明したが、認識する被写体は検波領域が小さく設定される被写体であれば動体に限られない。例えば顔認識等によって検出された人等であってもよい。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、第２の実施の形態の撮像装置は、第１の実施の形態と同様に構成される。

複数の撮像光学系におけるバラツキによって生じる合焦位置の違いは大きくない。そこで、第２の実施の形態では、一方の画像の合焦位置と他方の画像の合焦位置が大きく相違してしまうことがないように、一方の画像の合焦位置を基準として他方の画像のフォーカス調整範囲を制限する。すなわち、撮像装置１０は、一方の画像が合焦状態となったときのフォーカスレンズのレンズ位置を基準として、他方の画像に対応するフォーカスレンズの駆動範囲を設定する。また、撮像装置１０は、設定した駆動範囲内で、他方の画像が合焦状態となるフォーカスレンズのレンズ位置を検出する。

このように、フォーカスレンズの駆動範囲を制限すれば、一方の画像と他方の画像間で合焦位置の違いをバラツキに応じた所定範囲以内に抑えることが可能となる。したがって、左目画像と右目画像で合焦状態が大きく異なって、違和感のある立体画像表示となってしまうことを防止できる。

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。なお、第３の実施の形態の撮像装置も第１の実施の形態と同様に構成される。

左目画像と右目画像のそれぞれで独立してオートフォーカス制御を行う動作と、他方の画像の合焦位置を一方の画像の合焦位置に追従させる動作を切り替える場合、静止画の撮像では、撮像時に何れかの動作が選択されているので、動作切り替えによる影響がない。しかし、動画の撮像では、撮像中にオートフォーカス制御動作の切り替えが行われる場合が生じる。ここで、独立してオートフォーカス制御を行った場合の合焦位置と、他の画像の合焦位置に追従した合焦位置がほぼ等しい場合、撮像中にオートフォーカス制御動作の切り替えが行われても、記録された動画では制御動作の切り替えが目立たない。しかし、独立してオートフォーカス制御を行った場合の合焦位置と他の画像の合焦位置に追従した合焦位置が離れていると、合焦位置を瞬時に移動させた場合、記録された動画では制御動作の切り替えによる影響が顕著に現れて、違和感のある画像となってしまう。

そこで、第３の実施の形態では、オートフォーカス制御動作の切り替えが行われた場合、合焦位置の移動を所定速度以下に制限して、制御動作の切り替えによる影響を軽減させる。

図８は、第３の実施の形態における制御部のオートフォーカス制御動作を示すフローチャートである。なお、図８において、ステップＳＴ１１からステップＳＴ１４の処理は、図５に示すステップＳＴ１からステップＳＴ４の処理に相当する。

ステップＳＴ１５で制御部４５は、オートフォーカス制御動作の切り替えが行われたか判別する。制御部４５は、オートフォーカス制御動作の切り替えが行われた場合にステップＳＴ１６に進み、オートフォーカス制御動作の切り替えが行われていない場合にステップＳＴ１７に進む。

ステップＳＴ１６で制御部４５は、追従する合焦位置に所定速度以下で移動させる。制御部４５は、独立してオートフォーカス制御を行った場合の他方の画像の合焦位置を、追従する合焦位置すなわち一方の画像の合焦位置に所定速度以下で移動させてステップＳＴ１１に戻る。

ステップＳＴ１７で制御部４５は、追従動作を行う。制御部４５は、一方の画像についてオートフォーカス制御動作を行い、他方の画像については合焦位置を一方の画像の合焦位置に追従させてステップＳＴ１１に戻る。

ステップＳＴ１８で制御部４５は、オートフォーカス制御動作の切り替えが行われたか判別する。制御部４５は、オートフォーカス制御動作の切り替えが行われた場合にステップＳＴ１９に進み、オートフォーカス制御動作の切り替えが行われていない場合にステップＳＴ２０に進む。

ステップＳＴ１９で制御部４５は、独立動作の合焦位置に所定速度以下で移動させる。制御部４５は、一方の画像の合焦位置に追従させている他方の画像の合焦位置を、独立してオートフォーカス制御を行った場合の合焦位置に所定速度以下で移動させてステップＳＴ１１に戻る。

ステップＳＴ２０で制御部４５は、独立動作を行う。制御部４５は、左目画像と右目画像のそれぞれで独立してオートフォーカス制御動作を行いステップＳＴ１１に戻る。

このような処理を撮像装置１０で行えば、合焦位置がオートフォーカス制御動作の切り替え時に瞬時に移動されることがない。したがって、記録された動画ではオートフォーカス制御動作の切り替えによる影響が顕著に現れて違和感のある画像となってしまうことを防止できる。

＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。なお、第４の実施の形態の撮像装置も第１の実施の形態と同様に構成される。

上述の実施の形態では、左目画像の検波領域と右目画像の検波領域が固定されている場合を例示したが、撮像装置１０は、被写体距離や画角に応じて検波領域の位置を移動して、左目画像の検波領域と右目画像の検波領域の画像の違いを少なくする。例えば図９の（Ａ）に示すように、左目画像の検波領域（破線で示す領域）と右目画像の検波領域（一点鎖線で示す領域）が固定されているとする。この場合、左目画像の検波領域の画像が主に人物で右目画像の検波領域が主に背景の画像であると、左目画像と右目画像では、異なる被写体にピントがあった画像となってしまう。そこで、検波領域の画像が被写体範囲の一致した画像となるように、左目画像の検波領域と右目画像の検波領域の少なくとも何れかの位置を調整する。なお、図９の（Ｂ）は、右目画像の検波領域を左目画像の検波領域（中央の実線で示す領域）に移動した場合を例示している。

このように検波領域の位置を調整すれば、より広い被写体距離範囲やズーム範囲で左目画像と右目画像のオートフォーカス制御動作を独立して行うことができるようになる。なお、被写体距離が短距離である場合、左目画像の検波領域と右目画像の検波領域を一致させても、左目画像の検波領域の画像と右目画像の検波領域の画像は視差による違いが顕著となる。したがって、このような場合、撮像装置１０は、他方の画像の合焦位置を一方の画像の合焦位置に追従させる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の撮像装置は以下のような構成も取ることができる。
（１） 第１の撮像光学系と、
前記第１の撮像光学系を介して形成された被写体光学像を電気信号に変換して第１の撮像画像の画像信号を生成する第１の撮像部と、
第２の撮像光学系と、
前記第２の撮像光学系を介して形成された被写体光学像を電気信号に変換して第２の撮像画像の画像信号を生成する第２の撮像部と、
前記第１の撮像光学系と前記第２の撮像光学系を独立に制御して、前記第１の撮像画像と前記第２の撮像画像のフォーカス調整を個々に行う制御部と
を備える撮像装置。
（２） 前記制御部は、前記第１の撮像画像と前記第２の撮像画像の被写体距離が画角に応じた所定距離以上である場合に、前記第１の撮像画像と前記第２の撮像画像のフォーカス調整を個々に行う（１）に記載の撮像装置。
（３） 前記制御部は、前記被写体距離が画角に応じた所定距離以上でない場合には、前記第１の撮像画像の合焦位置に前記第２の撮像画像の合焦位置を追従させる（２）に記載の撮像装置。
（４） 前記第２の撮像画像のフォーカス調整を、前記独立した制御と前記第１の撮像画像のフォーカス調整に追従した制御との間で切り替える場合、一方の制御の合焦位置から他方の制御の合焦位置に所定速度以下で移動する（３）に記載の撮像装置。
（５） 前記第１の撮像画像の画像信号に基づき被写体認識を行う被写体認識部を備え、
前記制御部は、前記被写体認識部で認識された所望の被写体にフォーカスを追従させる場合、前記第１の撮像画像の合焦位置に前記第２の撮像画像の合焦位置を追従させる（１）乃至（４）の何れかに記載の撮像装置。
（６） 前記制御部は、前記第１の撮像画像の合焦位置を基準として前記第２の撮像画像のフォーカス調整範囲を設定する（１）乃至（５）の何れかに記載の撮像装置。
（７） 前記制御部は、前記第１の撮像画像においてフォーカス調整に用いる第１の検波領域の画像と、前記第２の撮像画像においてフォーカス調整に用いる第２の検波領域の画像で、被写体範囲が一致するように、焦点距離毎に少なくとも前記第１の検波領域と前記第２の検波領域の何れかの位置を調節する（１）乃至（６）の何れかに記載の撮像装置。

この技術の撮像装置とオートフォーカス方法並びにプログラムでは、第１の撮像光学系を介して形成された被写体光学像が第１の撮像部で電気信号に変換されて第１の撮像画像の画像信号が生成される。また、第２の撮像光学系を介して形成された被写体光学像が第２の撮像部で電気信号に変換されて第２の撮像画像の画像信号が生成される。さらに、第１の撮像光学系と第２の撮像光学系を独立に制御して、第１の撮像画像と第２の撮像画像のフォーカス調整が個々に行われる。このため、例えば左目用画像を取得するための撮像光学系と右目用画像を取得する撮像光学系でフォーカスの合うレンズ位置がバラツキを生じていても、このバラツキを吸収して、違和感のない立体画像表示が可能な画像データを生成できる。したがって、被写体を三次元で撮像することが可能なディジタルカメラやビデオカメラ等の撮像装置に適している。

１０・・・撮像装置、２１Ｌ・・・左目撮像光学系、２１Ｒ・・・右目撮像光学系、２２Ｌ・・・左目撮像光学系駆動部、２２Ｒ・・・右目撮像光学系駆動部、３１Ｌ・・・左目画像用撮像部、３１Ｒ・・・右目画像用撮像部、３２・・・信号処理部、３３・・・コーデック部、３４・・・メディアインタフェース部、３５・・・記録メディア、４１・・・メモリ部、４２・・・操作部、４５・・・制御部

Claims (7)

1. 第１の撮像光学系を介して形成された被写体光学像を電気信号に変換して第１の撮像画像の画像信号を生成する第１の撮像部と、
   第２の撮像光学系を介して形成された被写体光学像を電気信号に変換して第２の撮像画像の画像信号を生成する第２の撮像部と、
   前記第１の撮像光学系と前記第２の撮像光学系を独立に制御して、前記第１の撮像画像と前記第２の撮像画像のフォーカス調整を個々に行う制御部とを備え、
   前記制御部は、前記第１の撮像画像と前記第２の撮像画像の被写体距離とズーム倍率に応じて画角範囲を算出して、前記第１および前記第２の撮像光学系間の基線長と前記画角範囲との比率が閾値以上であり、前記画角範囲が前記基線長に対する前記閾値の範囲以下である場合、前記第１の撮像画像と前記第２の撮像画像のフォーカス調整を個々に行い、前記比率が閾値よりも小さく、前記画角範囲が前記基線長に対する前記閾値の範囲より大きい場合、前記第１の撮像画像の合焦位置に前記第２の撮像画像の合焦位置を追従させる撮像装置。
2. 前記制御部は、前記第１の撮像画像と前記第２の撮像画像のフォーカス調整を個々に行う動作と前記第１の撮像画像の合焦位置に前記第２の撮像画像の合焦位置を追従させる動作の一方から他方に動作を切り替える場合、前記第２の撮像画像の合焦位置を一方の動作の合焦位置から他方の動作の合焦位置に所定速度以下で移動する請求項１記載の撮像装置。
3. 前記第１の撮像画像の画像信号に基づき被写体認識を行う被写体認識部を備え、
   前記制御部は、前記被写体認識部で認識された所望の被写体にフォーカスを追従させる場合、前記第１の撮像画像の合焦位置に前記第２の撮像画像の合焦位置を追従させる請求項１記載の撮像装置。
4. 前記制御部は、前記第１の撮像画像の合焦位置を基準として前記第２の撮像画像のフォーカス調整範囲を設定する請求項１記載の撮像装置。
5. 前記制御部は、前記第１の撮像画像においてフォーカス調整に用いる第１の検波領域の画像と、前記第２の撮像画像においてフォーカス調整に用いる第２の検波領域の画像で、被写体範囲が一致するように、少なくとも前記第１の検波領域と前記第２の検波領域の何れかの位置を調節する請求項１記載の撮像装置。
6. 第１の撮像光学系を介して形成された被写体光学像を第１の撮像部で電気信号に変換して第１の撮像画像の画像信号を生成する工程と、
   第２の撮像光学系を介して形成された被写体光学像を第２の撮像部で電気信号に変換して第２の撮像画像の画像信号を生成する工程と、
   前記第１の撮像画像と前記第２の撮像画像の被写体距離とズーム倍率に応じて画角範囲を算出して、前記第１および前記第２の撮像光学系間の基線長と前記画角範囲との比率が閾値以上であり、前記画角範囲が前記基線長に対する前記閾値の範囲以下である場合、前記第１の撮像画像と前記第２の撮像画像のフォーカス調整を個々に行い、前記比率が閾値よりも小さく、前記画角範囲が前記基線長に対する前記閾値の範囲より大きい場合、前記第１の撮像画像の合焦位置に前記第２の撮像画像の合焦位置を追従させる工程と
   を含むオートフォーカス方法。
7. 第１の撮像光学系を介して形成された被写体光学像を電気信号に変換して生成された第１の撮像画像の画像信号と、第２の撮像光学系を介して形成された被写体光学像を電気信号に変換して生成した第２の撮像画像の画像信号を用いてオートフォーカスの制御をコンピュータで実行させるプログラムであって、
   前記第１の撮像画像と前記第２の撮像画像の被写体距離とズーム倍率に応じて画角範囲を算出して、前記第１および前記第２の撮像光学系間の基線長と前記画角範囲との比率が閾値以上であり、前記画角範囲が前記基線長に対する前記閾値の範囲以下である場合、前記第１の撮像画像と前記第２の撮像画像のフォーカス調整を個々に行い、前記比率が閾値よりも小さく、前記画角範囲が前記基線長に対する前記閾値の範囲より大きい場合、前記第１の撮像画像の合焦位置に前記第２の撮像画像の合焦位置を追従させる手順を前記コンピュータで実行させるプログラム。

Images