JP5558951B2 - ３次元撮像装置および電子情報機器 - Google Patents

Description

本発明は、３次元撮像装置および電子情報機器に関し、特に、単一の光学系により撮影して得られた画像から、３次元画像を形成するための視差を有する２画像を生成する３次元撮像装置、およびこのような３次元撮像装置を搭載した電子情報機器に関するものである。

図９は、従来の３次元撮像カメラ（以下、３Ｄカメラという。）を説明する図であり、図９（ａ）はその外観を示し、図９（ｂ）は、その内部の光学系を示している。なお、図９（ｂ）中、点線はカメラの光軸（カメラにおける光学系の光軸）を示している。

図９に示す３Ｄカメラ１０は、外形略直方体形状のカメラ本体１と、該カメラ本体１の前面の中央部に設けられた左右一対の撮像レンズ２ａおよび２ｂと、該カメラ本体１の上端中央部に取り付けられたストロボ発光部４と、該カメラ本体１の上端隅部に取り付けられたファインダ対物窓５とを有している。また、このカメラ本体１の上面中央部には、電源スイッチ６が設けられ、該カメラ本体１の上面側部にはシャッタボタン７が設けられている。

なお、カメラ本体１の背面には、画像を表示するＬＣＤパネルが設けられており、この他に、ファインダ接眼窓や各種操作ボタンが設けられている。また、カメラ本体１の底面には、画像データを記憶するメモリカードなどの記録装置が着脱自在に装着されるスロットが設けられている。

また、この３Ｄカメラ１０は、撮像レンズ２ａを含む第１の撮像光学系（図示せず）を介して被写体Ｏｂの画像を撮像する撮像素子３ａと、撮像レンズ２ｂを含む第２の撮像光学系（図示せず）を介して被写体Ｏｂの画像を撮像する撮像素子３ｂと、該第１および第２の撮像光学系の光軸が、被写体上で交わるよう左右一対の撮影レンズ２ａおよび２ｂを駆動する駆動手段（図示せず）とを有している。

このような構成の３Ｄカメラ１０では、被写体Ｏｂを僅かの視差で２方向から見た画像をそれぞれ撮像素子３ａおよび３ｂにより撮像することができ、これらの撮像素子３ａおよび３ｂからは、立体画像を形成するための２つの画像を取得することができる。

なお、このような複眼による３Ｄカメラは、例えば、特許文献１〜５などに開示されている。

また、立体画像を撮像する３Ｄカメラには、上記のような複眼によるものの他に、瞳分割方式による３Ｄカメラもある。

なお、図９に示すような２つの光学系を有する１台の３Ｄカメラに代えて、２台のカメラを用いて同様に、立体画像を形成するための２つの視差画像を取得することができる。また、このような立体画像を形成するための視差画像は、特許文献１に開示されているように、２台より多くのカメラを用いて取得することも可能である。

図１０は、このような瞳分割方式の３Ｄカメラを説明する図であり、図１０（ａ）はその外観を示し、図１０（ｂ）は、その内部の光学系を示している。なお、図１０（ｂ）中、点線はカメラの光軸（カメラにおける光学系の光軸）を示している。

図１０に示す３Ｄカメラ２０は、外形略直方体形状のカメラ本体１と、該カメラ本体１の前面の中央部に設けられた一つの撮像レンズ２と、該カメラ筐体１の上端中央部に取り付けられたストロボ発光部４と、該カメラ筐体１の上端隅部に取り付けられたファインダ対物窓５とを有している。また、このカメラ本体１の上面中央部には、図９に示す３Ｄカメラ１０と同様に、電源スイッチ６が設けられ、該カメラ本体１の上面側部にはシャッタボタン７が設けられている。

なお、カメラ本体１の背面には、上記３Ｄカメラ１０と同様に、ＬＣＤパネル、ファインダ接眼窓や各種操作ボタンが設けられ、カメラ本体１の底面には、記録装置が着脱自在に装着されるスロットが設けられている。

そして、この３Ｄカメラ２０では、撮像レンズ２を含む撮像光学系は、撮像レンズ２の後方の瞳に対向して配置され、該瞳を左右に分割するプリズム１２と、該プリズム１２で分割された一方の光を反射する第１のミラー１１ａと、該プリズム１２で分割されたもう一方の光を反射する第２のミラー１１ｂとを有している。また、この３Ｄカメラ２０は、被写体Ｏｂの画像を撮像レンズ２、プリズム１２、第１の反射ミラー１１ａを介して撮像する撮像素子１３ａと、被写体Ｏｂの画像を撮像レンズ２、プリズム１２、第２の反射ミラー１１ｂを介して撮像する撮像素子１３ｂとを有しており、これらの撮像素子１３ａおよび１３ｂは、それぞれの撮像素子で撮影された画像が、所定の視差を有する、立体画像を形成するための視差画像となるよう、水平方向に並ぶ画素の配列ピッチの１／２だけ、水平方向にずらして位置決めされている。

このような構成の３Ｄカメラ２０では、画素を左右に１／２画素分ずらして配置した第１および第２の撮像素子１３ａおよび１３ｂを備え、撮像レンズ後方の瞳を分割するプリズム１２からの一方の像を撮像素子１３ａで撮像し、該プリズム１２からのもう一方の像を、画素を左右に１／２画素分ずらして配置した撮像素子１３ｂで撮像する。これにより、各撮像素子１３ａおよび１３ｂで撮像された画像は視差を有する画像となり、これらの画像により被写体の立体視が可能となる。

なお、このような瞳分割方式の３Ｄカメラは、例えば、特許文献６、７等に開示されている。

以上のように３Ｄ像を構成するには、視差を有する２画像を必要とし、これまでに、２眼２センサ方式のカメラや瞳分割方式の３Ｄカメラが提案されている。

特開平０６−０７８３３７号公報 特開平０６−３３９０５２号公報 特開平０８−１０２９７０号公報 特開平１１−１５５１５１号公報 特開２００２−０５８０４６号公報 特開平０８−０１５６１６号公報 特開２０１０−０５６８６５号公報

しかしながら、上記従来の複眼による３Ｄカメラでは、複眼に対応するそれぞれの光学系の光軸の調整が、また、瞳分割方式の３Ｄカメラでは、分割された光が通る別の光学系の軸調整が、複雑でしかも高い精度を必要とするものであることから、その製造は簡単ではなく、また、このような３Ｄカメラには２つ以上の光学系が必要となるため、モジュールサイズが増大してしまうという問題がある。

本発明は、上記のような問題点を解決するためになされたものであり、モジュールサイズが小さい簡単の構造で、立体視を行うための視差画像を生成することができる３次元撮像装置、およびこのような３次元撮像装置を搭載した電子情報機器を得ることを目的とする。

本発明に係る３次元撮像装置は、被写体を撮像する撮像部を有し、該被写体の撮像により得られた撮像画像から、該被写体を立体視するための視差画像を生成する３次元撮像装置であって、焦点位置を変更可能に構成され、該被写体の像を該撮像部の受光面上に結像させる光学系と、該光学系の焦点位置を示す焦点位置情報から、該被写体までの距離を示す距離情報を取得する距離情報取得部と、該被写体の距離情報に基づいて、該撮像画像における該被写体の位置が変化するよう該撮像画像を処理して、該視差画像を生成する画像処理部とを備えたものであり、そのことにより上記目的が達成される。

本発明は、上記３次元撮像装置において、前記画像処理部は、前記撮像画像に含まれる複数の被写体の、前記光学系の光軸方向における相対距離に応じて、該撮像画像上での該被写体の水平方向の位置を調整して、前記視差画像を生成することが好ましい。

本発明は、上記３次元撮像装置において、前記画像処理部は、前記撮像画像に含まれる複数の被写体の、前記光学系の光軸方向における相対距離に応じて、該撮像画像に含まれる被写体の画像に歪みを加えて、前記視差画像を生成することが好ましい。

本発明は、上記３次元撮像装置において、前記撮像部は１つのイメージセンサにより構成されており、前記光学系は、単一の光軸を有する１眼レンズ機構により前記被写体からの光を前記撮像部の受光面上に集光するものであることが好ましい。

本発明は、上記３次元撮像装置において、前記距離情報取得部は、前記１眼レンズ機構における撮像レンズと前記イメージセンサの受光面との距離を調整する距離調整機構を有し、該イメージセンサによる撮像画面を分割する複数のブロック毎に検出した焦点位置で前記被写体の撮像が行われるよう、該距離調整機構および前記撮像部を制御し、各ブロックの焦点位置で撮像して得られた個別撮像画像から個々の被写体までの距離情報を取得することが好ましい。

本発明は、上記３次元撮像装置において、前記光学系は、入射光を屈折させる光学部品と、該光学部品の屈折力の調整を行う屈折力調整機構とを有し、該光学部品の屈折力の調整により、前記被写体からの光を、該被写体の像が該撮像部の受光面上に結像するよう屈折させるものであることが好ましい。

本発明は、上記３次元撮像装置において、前記光学部品は、液体レンズであることが好ましい。

本発明は、上記３次元撮像装置において、前記光学部品は、前記被写体の像面と平行な面内で分割された複数のレンズ領域を有し、該複数のレンズ領域のうちの各レンズ領域毎に独立して屈折力を調整可能に構成したものであり、前記屈折力調整機構は、制御信号に基づいて、撮像画面上の、前記各レンズ領域に対応する領域毎に焦点が合うように、該光学部品の各レンズ領域の屈折力を調整するものであることが好ましい。

本発明は、上記３次元撮像装置において、前記画像処理部は、前記撮像画像に２つの被写体の像が含まれるとき、該撮像画像における該２つの被写体の像の水平方向の相対距離Ｓ０に基づいて、該撮像画像に対する処理を行って、前記視差画像として、該２つの被写体の像の水平方向の相対距離Ｓ１およびＳ２が、それぞれ以下の式（１）及び式（２）により決まる距離となっている左右一対の画像を生成することが好ましい。

Ｓ１＝Ｓ０＋Ｍ×ｄ２×Ｂ／（２×ｄ１） ・・・式（１）
Ｓ２＝Ｓ０−Ｍ×ｄ２×Ｂ／（２×ｄ１） ・・・式（２）
ここで、Ｍは光学系の倍率、Ｂは基線長、ｄ１は、撮像位置から該２つの被写体のうちの主被写体までの距離、該２つの被写体の光軸方向に沿った相対距離である。

本発明は、上記３次元撮像装置において、前記画像処理部は、前記撮像画像に歪みを加える処理を行って、前記視差画像として、該２つの被写体の像の水平方向の相対距離Ｓ１およびＳ２が、それぞれ前記の式（１）及び式（２）により決まる距離となっている左右一対の画像を生成することが好ましい。

本発明は、上記３次元撮像装置において、前記光学系のＦ値は、３．０より小さいことが好ましい。

本発明に係る電子情報機器は、撮像部を搭載した電子情報機器であって、該撮像部は、上述した本発明に係る３次元撮像装置を含むものであり、そのことにより上記目的が達成される。

次に本発明の作用について説明する。

本発明においては、被写体の撮像により得られた撮像画像から、該被写体を立体視するための視差画像およびを生成する３次元撮像装置において、焦点位置を変更可能に構成され、該被写体の像を該撮像部の受光面上に結像させる光学系と、該光学系の焦点位置を示す焦点位置情報から、該被写体までの距離を示す距離情報を取得する距離情報取得部と、該被写体の距離情報に基づいて、該撮像画像における該被写体の位置が変化するよう該撮像画像を処理して、該視差画像を生成する画像処理部とを備えたので、被写体の像を撮像素子の受光面上に結像させる光学系の光軸を１つにできる。これにより、複眼による３Ｄカメラにおける、複眼に対応するそれぞれの光学系の光軸の調整や、瞳分割方式の３Ｄカメラにおける、分割された光が通る別の光学系の軸調整を不要とできる。この結果、モジュールサイズが小さい簡単の構造で、立体視を行うための視差画像を生成することができ、３Ｄカメラの小型化、低コスト化を図ることができる。

また、本発明では、距離情報取得部は、撮像レンズとイメージセンサの受光面との距離を調整するレンズ駆動機構を有し、該イメージセンサによる撮像画面を分割する複数のブロック毎に検出した焦点位置で前記被写体の撮像が行われるよう、該レンズ駆動機構およびイメージセンサを制御し、各ブロックの焦点位置で撮像して得られた個別撮像画像（撮像候補画像）から個々の被写体までの距離情報を取得するので、被写体までの距離情報を取得するのに、撮像画像における被写体のパターン認識処理といった複雑な画像処理は不要であり、簡単に各被写体までの距離情報を得ることができる。

また、本発明では、撮像画像における主被写体と他被写体との横方向の距離から、左右の視差画像における主被写体と他被写体との横方向の距離を算出する際、基線長を人間の眼の間隔とし、右目位置と左目位置と主被写体とがなす３角形を用いるので、物体距離、つまり、撮像位置から主被写体および他の被写体までの距離を示す情報から、これらの被写体を立体視するための視差画像を得ることができ、しかもより現実の撮影により得られる視差画像に近い視差画像を、単一の光軸を有する光学系により撮影した撮影画像から生成することができる。

また本発明においては、３Ｄカメラの光学系の焦点位置を変化させる機構として、液体レンズなどを含み、該光学系の屈折力を調整可能な機構を用いるので、光学系の屈折力を調整可能な機構を簡単な構成とできる。

また、本発明においては、３Ｄカメラの光学系の焦点位置を変化させる機構として、撮像素子の受光面（結像面）に平行な面内で、該面内を区分する複数のブロックの各々に独立して屈折力を調整可能な機構を用いるので、電圧の印加により屈折力を変更可能な平板状部材を挟んで対向する透明電極に電圧を印加することで、平板状部材の各ブロック毎に印加電圧に応じた屈折力を調整し、屈折力の調整を高速で行うことが可能となる。このため、各ブロックの透明電極に印加する電圧により、被写体毎にフォーカス調整を行い、このフォーカス調整量を出力して物体距離に換算することで、静止画としての撮影画像および一対の視差画像を動画像のフレームレート（例えば１／３０秒）より短い時間で取得可能となり、この結果、動画像を立体視するための、連続した左右一対の視差画像を得ることができる。

また、本発明においては、３Ｄカメラを構成する光学系のＦ値を３．０より小さい値としているので、明るい、また、焦点距離が同じ場合、Ｆ値が小さいことにより焦点深度が浅くなり、物体距離の認識精度が向上する。

また、本発明においては、コンパクトな３Ｄカメラモジュールを有した小型端末を実現することができる。これを用いて様々な場面での３Ｄ撮像が可能となる。例えばスポーツ選手に取り付けて撮像し、臨場感ある３Ｄ画像の取得することが可能となる。

以上のように、本発明によれば、被写体の撮像により得られた撮像画像から、該被写体を立体視するための視差画像およびを生成する３次元撮像装置において、焦点位置を変更可能に構成され、該被写体の像を該撮像部の受光面上に結像させる光学系と、該光学系の焦点位置を示す焦点位置情報から、該被写体までの距離を示す距離情報を取得する距離情報取得部と、該被写体の距離情報に基づいて、該撮像画像における該被写体の位置が変化するよう該撮像画像を処理して、該視差画像を生成する画像処理部とを備えたので、モジュールサイズが小さい簡単の構造で、立体視を行うための視差画像を生成することができる３次元撮像装置を得ることができる。

図１は本発明の実施形態１による３次元画像撮像装置（３Ｄカメラ）を説明する図であり、図１（ａ）はその外観を示し、図１（ｂ）は、その内部の構成を模式的に示している。 図２は本発明の実施形態１による３次元画像撮像装置を説明するブロック図であり、該３Ｄカメラを構成する信号処理部１１０の具体的な構成を示している。 図３は、本発明の基本原理を説明する図であり、被写体の撮像により得られた撮像画像Ｐ０（図３（ａ））、この被写体を立体視するための左右一対の視差画像Ｐ２およびＰ１（図３（ｂ）および図３（ｃ））を示している。 図４は、本発明の基本原理を説明する図であり、３Ｄカメラの光軸上での被写体Ｍｈと他の被写体Ｓｈとの位置関係を示している。 図５は、本発明の基本原理を説明する図であり、撮像画像Ｐ０における主被写体と他の被写体との相対距離を変化させて、左右一対の視差画像を作成するための１つのモデルを示している。 図６は、本発明の実施形態１による３Ｄカメラにおいて、被写体の距離情報を求める方法の一例を説明する図である。 図７は、本発明の実施形態１による３Ｄカメラにおいて、被写体の距離情報を求める方法の他の例を説明する図であり、図７（ａ）は液体レンズを用いる場合、図７（ｂ）および（ｃ）は液体レンズ以外の光学部品を用いる場合を示している。 図８は、本発明の実施形態２として、上記実施形態１の３Ｄカメラを撮像部に用いた電子情報機器の概略構成例を示すブロック図である。 図９は、従来の複眼による３Ｄカメラを説明する図であり、図９（ａ）はその外観を示し、図９（ｂ）は、その内部の光学系を示している。 図１０は、従来の瞳分割方式の３Ｄカメラを説明する図であり、図１０（ａ）はその外観を示し、図１０（ｂ）は、その内部の光学系を示している。

以下、本発明の実施形態について図面を参照しながら説明する。

（実施形態１）
図１は本発明の実施形態１による３次元画像撮像装置（３Ｄカメラ）を説明する図であり、図１（ａ）はその外観を示し、図１（ｂ）は、その内部の構成を模式的に示している。なお、図１（ｂ）中、点線はカメラの光軸（カメラにおける光学系の光軸）を示している。

図１に示す３Ｄカメラ１００は、被写体の撮像により得られた撮像画像から、該被写体を立体視するための視差画像を生成するものである。

この３Ｄカメラ１００は、外形略直方体形状のカメラ本体１と、該カメラ本体１の前面の中央部に設けられた一つの撮像レンズ１０２と、該カメラ本体１の上端中央部に取り付けられたストロボ発光部４と、該カメラ本体１の上端隅部に取り付けられたファインダ対物窓５とを有している。また、このカメラ本体１の上面中央部には、図９に示す３Ｄカメラ１０と同様に、電源スイッチ６が設けられ、該カメラ本体１の上面側部にはシャッタボタン７が設けられている。

なお、カメラ本体１の背面には、上記３Ｄカメラ１０と同様に、ＬＣＤパネル、ファインダ接眼窓や各種操作ボタンが設けられ、カメラ本体１の底面には、記録装置が着脱自在に装着されるスロットが設けられている。

また、この３Ｄカメラ１００は、撮像レンズ１０２を含む撮像光学系１０２ａを介して被写体Ｏｂの画像を撮像する撮像素子１１２と、該撮像光学系の光軸に沿って、撮影レンズ１０２を駆動する、アクチュエータなどのレンズ駆動部１２０と、該撮像素子１１２で得られた画像データを処理する信号処理部１１０とを有している。また、撮像レンズ１０２のＦ値は３．０より小さい値としている。

図２は該信号処理部１１０の具体的な構成を示すブロック図である。

ここで、該信号処理部１１０は、レンズ駆動部１２０を駆動制御するレンズ駆動制御部１１１と、該撮像素子１１２で得られた画像データＣｉｍを、レンズ駆動制御部からの駆動制御信号Ｌｄｓと対応付けて記憶する撮像候補記憶部１１４と、該撮像候補記憶部１１４に記憶された画像データと駆動制御信号Ｌｄｓとに基づいて撮像画像の解析を行う画像解析部１１３ａと、その解析結果に基づいて撮像画面を区分するブロック毎に焦点距離を判定する距離判定部１１３ｂと、各ブロック毎の焦点距離を格納する距離格納部１１５と、距離格納部１１５に格納されている各ブロック毎の焦点距離に基づいて、撮像候補記憶部１１４に記憶されている撮像画像に対する処理を行って、被写体を立体視するための視差画像を生成する画像処理部１１６と、該視差画像を格納する画像格納部１１７とを有している。

ここで、画像解析部１１３ａ及び距離判定部１１３ｂは、該光学系の焦点位置を示す焦点位置情報から、該被写体までの距離を示す距離情報を取得する距離情報取得部１１３を構成している。

次に作用効果について説明する。

まず、本発明の基本原理について図３〜図５を用いて説明する。

本発明の３Ｄカメラでは、図３に示すように、被写体の撮像により得られた撮像画像Ｐ０（図３（ａ））から、該被写体を立体視するための左右一対の視差画像Ｐ２およびＰ１（図３（ｂ）および図３（ｃ））が生成される。

撮像画像Ｐ０には主被写体（人）Ｍｈの像および他の被写体（犬）Ｓｈの像が含まれており、また、視差画像Ｐ１およびＰ２にも主被写体Ｍｈおよび他の被写体Ｓｈが含まれている。

ただし、視差画像Ｐ１では、主被写体Ｍｈの像と他の被写体Ｓｈの像との横方向の間隔が、撮像画像Ｐ０におけるものより広くなっており、また、視差画像Ｐ２では、主被写体Ｍｈの像と他の被写体Ｓｈの像との横方向の間隔が、撮像画像Ｐ０におけるものより狭くなっている。このような視差画像Ｐ２およびＰ１をそれぞれ左目および右目で見ることにより、これらの被写体を立体視することができる。

次に、本発明の実施形態１の３Ｄカメラ１００において、視差画像Ｐ１およびＰ２における、主被写体Ｍｈの像と他の被写体Ｓｈの像との横方向の間隔を、撮像画像Ｐ０における主被写体Ｍｈの像と他の被写体Ｓｈの像との横方向の間隔から算出する方法を説明する。

この実施形態１では、視差画像Ｐ１およびＰ２における、主被写体Ｍｈの像と他の被写体Ｓｈの像との横方向の間隔を、これらの被写体ＭｈおよびＳｈの光軸に沿った相対距離に基づいて算出する。

図４は、３Ｄカメラの光軸上での被写体Ｍｈと他の被写体Ｓｈとの位置関係を示している。

図４に示す被写体Ｍｈと他の被写体Ｓｈとの位置関係では、イメージセンサなどの撮像素子１１２の受光面（結像面）から主被写体Ｍｈまでの距離ｄ１は、イメージセンサなどの撮像素子１１２の受光面（結像面）から他の被写体Ｓｈまでの距離ｄ３より大きくなっている。

そして、視差画像Ｐ１およびＰ２における、主被写体Ｍｈの像と他の被写体Ｓｈの像との横方向の間隔Ｓ１およびＳ２は、視差画像Ｐ１およびＰ２における、主被写体Ｍｈの像と他の被写体Ｓｈの像との横方向の間隔Ｓ１およびＳ２と、主被写体と他の被写体との相対距離ｄ２と、結像面から主被写体Ｍｈまでの距離ｄ１と、撮像画像Ｐ０における、主被写体Ｍｈの像と他の被写体Ｓｈの像との横方向の間隔Ｓ０と、基線長Ｂ３とから求められる。

ここで、基線長Ｂは、例えば左右の眼の間隔であり、この基線長Ｂの長さを変えることにより、視差画像Ｐ１およびＰ２から得られる被写体の立体像の立体効果、つまり被写体の立体像の見え方を変えることができる。

図５は、撮像画像Ｐ０における主被写体と他の被写体との相対距離を変化させて、左右一対の視差画像を作成するための１つの計算モデルを示している。

この計算モデルでは、撮像素子１１２の受光面（結像面）に相当する基準面Ｓｂ上に、左右の眼の位置Ｅｍ２およびＥｍ１、並びにその中間位置Ｅｍ０を定義し、これらの位置Ｅｍ０、Ｅｍ１、Ｅｍ２をそれぞれ、撮像画像Ｐ０における主被写体Ｍｈの像の横方向の位置、視差画像Ｐ１における主被写体Ｍｈの像の横方向の位置、および視差画像Ｐ２における主被写体Ｍｈの像の横方向の位置としている。この基準面Ｓｂ上には、撮像画像Ｐ０における他の被写体Ｓｈの像の横方向の位置Ｅｓ０、視差画像Ｐ１における他の被写体Ｓｈの像の横方向の位置Ｅｓ１、および視差画像Ｐ２における他の被写体Ｓｈの像の横方向の位置Ｅｓ２を、それぞれ画像における主被写体の位置を基準として設定している。

また、基準面Ｓｂの法線方向上に主被写体Ｍｈの位置Ｈｍを取り、さらにこの主被写体Ｍｈの位置Ｈｍを基準として、他の被写体Ｓｈの位置Ｈｓを設定している。

図５に示す計算モデルでは、距離Ｓ０は点Ｈｓと点Ｈ０との距離に等しく、距離Ｓ１は点Ｈｓと点Ｈ１との距離に等しく、距離Ｓ２は点Ｈｓと点Ｈ２との距離に等しく、また、点Ｈ０と点Ｈ１との距離および点Ｈ０と点Ｈ２との距離は距離ｄ２×ｔａｎθであることから、以下の式（Ａ）〜（Ｅ）が成り立つ。

Ｓ１＝Ｓ０＋ｄ２×ｔａｎθ ・・・（Ａ）
Ｓ２＝Ｓ０−ｄ２×ｔａｎθ ・・・（Ｂ）
ｔａｎθ＝Ｂ／（２×ｄ１） ・・・（Ｃ）
Ｓ１＝Ｓ０＋ｄ２×Ｂ／（２×ｄ１） ・・・（Ｄ）
Ｓ２＝Ｓ０−ｄ２×Ｂ／（２×ｄ１） ・・・（Ｅ）
Ｓ０： 像面における、主被写体と他被写体の横方向の距離
Ｓ１： 像面における、２画像による３Ｄ出力画像（視差画像）のうちの一方の画像Ｐ１内での主被写体と他被写体との横方向の距離
Ｓ２： 像面における、２画像による３Ｄ出力画像（視差画像）のうちの他方の画像Ｐ２内での主被写体と他被写体との横方向の距離
ｄ１： 主被写体距離（主被写体から結像面までの距離）
ｄ２： 主被写体に対する他被写体の光軸方向の距離
Ｂ： 基線長
θ： 基準面上の中間位置Ｅｍ０と被写体の位置Ｈｍとを結ぶ線と、左眼（あるいは右目）の位置Ｅｍ２（Ｅｍ１）と被写体の位置Ｈｍとを結ぶ線とのなす角度
また、３Ｄカメラの光学系のレンズ倍率Ｍ（Ｍ＝ｙ’／ｙ）を用いて、実際の主被写体Ｍｈと他の被写体Ｓｈとの基準面内での距離Ｓ０’は、以下の式（Ｆ）で示すとおりである。

ｙ’： 光軸に対する法線方向への物体の大きさ
ｙ： 光軸に対する法線方向への像の大きさ
Ｓ０’＝Ｓ０×Ｍ ・・・（Ｆ）
また、右目位置Ｅｍ１から主被写体Ｍｈを見たときの、主被写体Ｍｈと他被写体Ｓｈとの横方向の実際の距離に代わる擬似的な距離Ｓ１’は、以下の式（Ｇ）に示すとおりである。

Ｓ１’＝Ｓ１×Ｍ ・・・（Ｇ）
また、左目位置Ｅｍ２から主被写体Ｍｈを見たときの、主被写体Ｍｈと他被写体Ｓｈとの横方向の実際の距離に代わる擬似的な距離Ｓ２’は、以下の式（Ｈ）に示すとおりである。

Ｓ２’＝Ｓ２×Ｍ ・・・（Ｈ）
また、このようにして視差画像における主被写体と他の被写体との相対距離Ｓ１およびＳ２を求めるには、主被写体距離（主被写体から結像面までの距離）ｄ１および主被写体に対する他被写体の光軸方向の距離ｄ２を求める必要があり、以下その方法について説明する。

図６は、本実施形態１の３Ｄカメラでの被写体の距離情報を求める方法を説明する図であり、撮像素子の受光面Ｓｃを、例えば８×８のマトリクス状に配列されたブロックＲｍｎ（ｍ、ｎは１〜８の整数）に分割した状態を示している。

ここでは、撮像素子の各ブロック毎に、画像のエッジ情報に基づいて焦点距離を求める。例えば、図６に示すように、撮像画像が図３（ａ）に示す主被写体Ｍｈおよび他の被写体Ｓｈの像を含む場合、主被写体Ｍｈの画像に重なるブロックでは、基本的に主被写体Ｍｈの位置で焦点が合うこととなる。また、他の被写体Ｓｈの画像に重なるブロックでは、基本的に他の被写体Ｓｈの位置で焦点が合うこととなる。

このとき、図１（ｂ）に示すレンズ駆動機構１２０により撮像レンズ１０２が光軸方向に沿って、最も被写体Ｏｂに近い位置から最も被写体から遠い位置まで移動し、その間に、逐次撮像レンズ位置で撮像された撮像画像に対するエッジ検出などの画像解析が行われ、撮像画像の各ブロックに相当する領域での焦点距離（各ブロックでの被写体までの距離）が、各ブロックでのエッジが最もシャープなレンズ位置として求められる。その結果、各ブロック毎に焦点距離情報が求められる。

このようにして求められた焦点距離情報から、主被写体Ｍｈまでの距離ｄ１と、主被写体Ｍｈと他の被写体Ｓｈとの相対距離ｄ２とを求めることができる。

以下、３Ｄカメラ１００により、例えば図４に示す位置関係を有する主被写体Ｍｈおよび他の被写体Ｓｈを撮像し、この撮像により得られた撮像画像Ｐ０（図３（ａ））から、左右一対の視差画像Ｐ２およびＰ１を得る動作について説明する。

まず、撮影者は、３Ｄカメラ１００のファインダー対物窓５内に主被写体Ｍｈおよび他の被写体Ｓｈを捕らえ、シャッター７を押すと、オートフォーカス機能を備えた３Ｄカメラ１００では、レンズ駆動制御部１１１からの制御信号Ｌｄｓによりレンズ移動機構１２０が撮影レンズ１０２を所定の範囲（例えば、被写体に最も近い位置から最も遠い位置までの範囲）内で光軸方向に移動させ、撮像素子１１２は、撮像レンズ１０２の決められた移動距離毎に撮像を行う。これにより、焦点距離が無限大である位置から焦点距離が最も近い位置までの、決められた複数の位置の各々に対応する撮像候補画像が得られ、これらの撮像候補画像が撮像候補記憶部１１４に格納される。

画像解析部１１３ａでは、上述したように、撮像素子の受光面Ｓｃを分割する各ブロック毎に、エッジ検出などの画像解析により、ブロック内の画像エッジが最もシャープであるレンズ位置を求める。距離判定部１１３ｂは、このレンズ位置から、各ブロック内の被写体までの距離を算出し、この距離情報を距離格納部１１５に格納する。

画像処理部１１６は、画像解析部１１３ａで得られた画像エッジの鋭さを示す情報に基づいて、オートフォーカス動作時に得られた複数のレンズ位置での撮像候補画像から、主被写体Ｍｈだけでなく、他の被写体Ｓｈにも焦点がピントの合った撮像候補画像を撮像画像Ｐ０として選択し、画像格納部１１７に格納する。

なお、被写体Ｍｈだけでなく、他の被写体Ｓｈにも焦点がピントの合った撮像候補画像は共焦点系の光学系により得られる。

また、この画像処理部１１６は、選択した撮像画像Ｐ０に対して画像処理を施して、主被写体Ｍｈおよび他の被写体Ｓｈを立体視するための視差画像Ｐ１およびＰ２を生成し、生成した視差画像Ｐ１およびＰ２を画像格納部１１７に格納する。

ここで、撮像画像Ｐ０から視差画像Ｐ１およびＰ２を生成する方法は、図５に示す１つの計算モデルを用いて、撮像画像Ｐ０における主被写体と他の被写体との相対距離を変化させて、左右一対の視差画像を作成する方法である。

具体的には、撮像画像Ｐ０から視差画像Ｐ１を生成する場合は、エッジ検出により得られた主被写体Ｍｈの輪郭の内側に位置する画素に対して、エッジ検出により得られた他の被写体Ｓｈの輪郭の内側に位置する画素を、ｄ２×ｔａｎθ／２に相当する画素数だけ左側にシフトし、このシフトにより画素の抜けた位置には、補間処理などにより得られる画素値を有する画素を埋める。

また、撮像画像Ｐ０から視差画像Ｐ２を生成する場合は、エッジ検出により得られた主被写体Ｍｈの輪郭の内側に位置する画素に対して、エッジ検出により得られた他の被写体Ｓｈの輪郭の内側に位置する画素を、ｄ２×ｔａｎθ／２に相当する画素数だけ右側にシフトし、このシフトにより画素の抜けた位置には、補間処理などにより得られる画素値を有する画素を埋める。

なお、上記視差画像Ｐ１およびＰ２を作成する処理は、他の被写体を構成する画素を主被写体を構成する画素を基準としてシフトさせるものに限らず、主被写体を構成する画素を他の被写体を構成する画素を基準としてシフトさせるものでもよく、さらに、両被写体間の基準位置、例えば、両被写体間の中間位置を基準として、主被写体および他の被写体を構成する画素を、主被写体および他の被写体の間の距離が広がるよう、あるいは狭まるよう反対方向にシフトさせてもよい。ただし、いずれの場合にも、視差画像Ｐ１では、両被写体間の距離が、ｄ２×ｔａｎθ／２に相当する画素数だけ離れ、視差画像Ｐ２では、両被写体間の距離が、ｄ２×ｔａｎθ／２に相当する画素数だけ近づくように画素をシフトさせる必要がある。

なお、３Ｄ表示は近年、映画やゲームを立体的に表示することができる。本実施形態のような３Ｄカメラでは、像面位置の調整機構と画像処理によって３Ｄカメラを実現することができ、またこの３Ｄカメラを構成するカメラモジュールは、簡単な構成により３Ｄ画像を出力する撮像モジュールに用いることができる。

このように本実施形態１では、被写体の撮像により得られた撮像画像Ｐ０から、該被写体を立体視するための視差画像Ｐ１およびＰ２を生成する３次元撮像装置１００において、焦点位置を変更可能に構成され、該被写体の像を該撮像部の受光面上に結像させる光学系１０２ａと、該光学系の焦点位置を示す焦点位置情報から、該被写体までの距離を示す距離情報を取得する距離情報取得部１１３と、該被写体の距離情報に基づいて、該撮像画像における該被写体の位置が変化するよう該撮像画像を処理して、該視差画像を生成する画像処理部１１６とを備えたので、被写体の像を撮像素子の受光面上に結像させる光学系の光軸を１つにできる。これにより、複眼による３Ｄカメラにおける、複眼に対応するそれぞれの光学系の光軸の調整や、瞳分割方式の３Ｄカメラにおける、分割された光が通る別の光学系の軸調整を不要とできる。この結果、モジュールサイズが小さい簡単の構造で、立体視を行うための視差画像を生成することができ、３Ｄカメラの小型化、低コスト化を図ることができる。

また、本実施形態１による３Ｄカメラ１００では、距離情報取得部１１３は、撮像レンズ１０２とイメージセンサ１１２の受光面との距離を調整するレンズ駆動機構１２０を有し、該イメージセンサ１１２による撮像画面を分割する複数のブロック毎に検出した焦点位置で前記被写体の撮像が行われるよう、該レンズ駆動機構１２０およびイメージセンサ１１２を制御し、各ブロックの焦点位置で撮像して得られた個別撮像画像（撮像候補画像）から個々の被写体までの距離情報を取得するので、被写体までの距離情報を取得するのに、撮像画像における被写体のパターン認識処理といった複雑な画像処理は不要であり、簡単に各被写体までの距離情報を得ることができる。

また、本実施形態１では、撮像画像における主被写体と他被写体との横方向の距離Ｓ０から、左右の視差画像における主被写体と他被写体との横方向の距離Ｓ２およびＳ１を算出する際、図５に示す計算モデルを用い、つまり、基線長を人間の眼の間隔とし、右目位置と左目位置と主被写体とがなす３角形を用いるので、物体距離、つまり、撮像位置から主被写体および他の被写体までの距離を示す情報から、これらの被写体を立体視するための視差画像を得ることができ、しかもより現実の撮影により得られる視差画像に近い視差画像を、単一の光軸を有する光学系により撮影した撮影画像から生成することができる。

なお、上記実施形態１では、３Ｄカメラの光学系の焦点位置を変化させる機構として、撮像レンズをアクチュエータなどにより光軸方向に駆動するレンズ駆動部を用いたが、３Ｄカメラの光学系の焦点位置を変化させる機構は、液体レンズなどを含み、該光学系の屈折力を調整可能な機構であってもよい。

例えば、図７（ａ）は、撮像素子１１２の前に配置された液体レンズＬｇを示しており、この液体レンズＬｇは内部に注入する液体の量を調節することで、レンズ表面の湾曲形状が、実線で示す屈折力が大きい形状から、点線で示す屈折力が小さい形状に変化する。

なお、液体レンズは、図７（ａ）で説明した液体注入方式の他に、電圧印加により液体の界面の曲率を操作することにより屈折力を調整するものがあり、この電圧印加方式のものが一般である。

この電圧印加方式の液体レンズは、所定の筐体内に油と水溶液とが封入されており、また、該筐体内の両端には電極が配置されている。このような液体レンズでは、対向する電極に電圧を印加すると、油あるいは水溶液の一方が電極に引っ張られて該筐体の中央部に集まろうとするのと同時に、油あるいは水溶液の他方が中央部から周辺部に押し出されることで、該両液体の界面の曲率が変化して屈折力の調整が行われる。

また、３Ｄカメラの光学系の焦点位置を変化させる機構は、図７（ｂ）に示すように、撮像素子の受光面（結像面）に平行な面内で、該面内を区分する複数のブロックの各々に独立して屈折力を調整可能な機構であってもよい。

図７（ｂ）に示す屈折力調整機構ＯＰｄは、電圧の印加により屈折力を変更可能な平板状部材と、この平板状部材の両面に行列状に配置された複数の透明電極とを有している。なお、この屈折力調整機構ＯＰｄは撮像レンズＬと撮像素子１１２との間に配置される。

具体的には、平板状部材の表面領域（レンズ領域）は、複数のブロックＲｐｋｓ（ｋ、ｓは１〜８の整数）によりマトリクス状に区画されており、平板状部材の表面には各ブロックに対応するよう透明電極が配置され、平板状部材の裏面にも各ブロックに対応するよう透明電極が配置されている。

このような構成では、電圧の印加により屈折力を変更可能な平板状部材を挟んで対向する透明電極に電圧を印加することで、平板状部材の各ブロック毎に印加電圧に応じた屈折力を調整するので、屈折力の調整を高速で行うことが可能となる。このため、各ブロックの透明電極に印加する電圧により、被写体毎にフォーカス調整を行い、このフォーカス調整量を出力して物体距離に換算することで、静止画としての撮影画像および一対の視差画像を動画像のフレームレート（例えば１／３０秒）より短い時間で取得可能となり、この結果、動画像を立体視するための、連続した左右一対の視差画像を得ることができる。

また、本実施形態１では、３Ｄカメラを構成する光学系のＦ値を３．０より小さい値としているので、明るい、また、焦点距離が同じ場合、Ｆ値が小さいことにより焦点深度が浅くなり、物体距離の認識精度を向上することができる。

なお、上記実施形態では、前記画像処理部は、前記撮像画像に含まれる複数の被写体の、前記光学系の光軸方向における相対距離に応じて、該撮像画像上での該被写体の水平方向の位置を調整して、前記視差画像を生成するものを示したが、前記画像処理部は、前記撮像画像に含まれる複数の被写体の、前記光学系の光軸方向における相対距離に応じて、該撮像画像に含まれる被写体の画像に歪みを加えて、前記視差画像を生成するものでもよい。

また、上記実施形態１では、特に説明しなかったが、上記実施形態１の３Ｄカメラを構成する光学系、レンズ駆動機構、撮像素子、および信号処理部は、３Ｄカメラモジュールとして、携帯電話などの電子情報機器（小型端末）に搭載することができる。

これを用いることで様々な場面での３Ｄ撮像が可能となる。例えばスポーツ選手に取り付けて撮像し、臨場感ある３Ｄ画像の取得することが可能となる。

（実施形態２）
以下、このような電子情報機器について簡単に説明する。

図８は、本発明の実施形態２として、実施形態１の３Ｄカメラを構成する光学系、レンズ駆動機構、撮像素子、および信号処理部をカメラモジュールとして、撮像部に用いた電子情報機器の概略構成例を示すブロック図である。

図８に示す本発明の実施形態２による電子情報機器９０は、上記カメラモジュールを、被写体の撮影を行う撮像部９１として備えたものであり、このような撮像部による撮影により得られた高品位な画像データを記録用に所定の信号処理した後にデータ記録する記録メディアなどのメモリ部９２と、この画像データを表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示する液晶表示装置などの表示部９３と、この画像データを通信用に所定の信号処理をした後に通信処理する送受信装置などの通信部９４と、この画像データを印刷（印字）して出力（プリントアウト）する画像出力部９５とのうちの少なくともいずれかを有している。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、単一の光学系により撮影して得られた画像から、３次元画像を形成するための視差を有する２画像を生成する３次元撮像装置、およびこのような３次元撮像装置を搭載した電子情報機器の分野において、モジュールサイズが小さい簡単の構造で、立体視を行うための視差画像を生成することができる３次元撮像装置を得ることができる。

１ カメラ本体
４ ストロボ発光部
５ ファインダ対物窓
６ 電源スイッチ
７ シャッタボタン
９０ 電子情報機器
９１ 撮像部
９２ メモリ部
９３ 表示手段
９４ 通信手段
９５ 画像出力手段
１００ ３Ｄカメラ
１０２ 撮像レンズ
１０２ａ 撮像光学系
１１０ 信号処理部
１１１ レンズ駆動制御部
１１２ 撮像素子
１１３ａ 画像解析部
１１３ｂ 距離判定部
１１４ 撮像候補記憶部
１１５ 距離格納部
１１６ 画像処理部
１１７ 画像格納部
１２０ レンズ駆動部（レンズ駆動機構）
Ｃｉｍ 画像データ
Ｌｄｓ 駆動制御信号
Ｍｈ 主被写体
Ｓｈ 他の被写体

Claims (10)

1. 被写体を撮像する撮像部を有し、該被写体の撮像により得られた撮像画像から、該被写体を立体視するための視差画像を生成する３次元撮像装置であって、
   焦点位置を変更可能に構成され、該被写体の像を該撮像部の受光面上に結像させる光学系と、
   該光学系の焦点位置を示す焦点位置情報から、該被写体までの距離を示す距離情報を取得する距離情報取得部と、
   該被写体の距離情報に基づいて、該撮像画像における該被写体の位置が変化するよう該撮像画像を処理して、該視差画像を生成する画像処理部と
   を備え、
   該画像処理部は、
   該撮像画像に含まれる複数の被写体のうちの１つの被写体と他の被写体との、該光学系の光軸方向における相対距離と、左右の眼の間隔に相当する既定の距離と、撮像位置から該１つの被写体までの距離に基づいて該撮像画像上での該１つの被写体と該他の被写体との水平方向の相対位置を調整することにより、該視差画像を構成する一対の画像の一方における該１つの被写体と該他の被写体との横方向の相対距離、及び該視差画像を構成する一対の画像の他方における該１つの被写体と該他の被写体との横方向の相対距離を決定する、３次元撮像装置。
2. 被写体を撮像する撮像部を有し、該被写体の撮像により得られた撮像画像から、該被写体を立体視するための視差画像を生成する３次元撮像装置であって、
   焦点位置を変更可能に構成され、該被写体の像を該撮像部の受光面上に結像させる光学系と、
   該光学系の焦点位置を示す焦点位置情報から、該被写体までの距離を示す距離情報を取得する距離情報取得部と、
   該被写体の距離情報に基づいて、該撮像画像における該被写体の位置が変化するよう該撮像画像を処理して、該視差画像を生成する画像処理部と
   を備え、
   該撮像部は１つのイメージセンサにより構成されており、
   該光学系は、単一の光軸を有する１眼レンズ機構により該被写体からの光を該撮像部の受光面上に集光するものであり、
   該光学系は、
   入射光を屈折させる光学部品と、
   該光学部品の屈折力の調整を行う屈折力調整機構とを有し、
   該光学部品の屈折力の調整により、該被写体からの光を、該被写体の像が該撮像部の受光面上に結像するよう屈折させるものであり、
   該光学部品は、該被写体の像面と平行な面内で分割された複数のレンズ領域を有し、該複数のレンズ領域のうちの各レンズ領域毎に独立して屈折力を調整可能に構成したものであり、
   該屈折力調整機構は、制御信号に基づいて、撮像画面上の、該各レンズ領域に対応する領域毎に焦点が合うように、該光学部品の各レンズ領域の屈折力を調整するものである、３次元撮像装置。
3. 被写体を撮像する撮像部を有し、該被写体の撮像により得られた撮像画像から、該被写体を立体視するための視差画像を生成する３次元撮像装置であって、
   焦点位置を変更可能に構成され、該被写体の像を該撮像部の受光面上に結像させる光学系と、
   該光学系の焦点位置を示す焦点位置情報から、該被写体までの距離を示す距離情報を取得する距離情報取得部と、
   該被写体の距離情報に基づいて、該撮像画像における該被写体の位置が変化するよう該撮像画像を処理して、該視差画像を生成する画像処理部と
   を備え、
   該画像処理部は、該撮像画像に含まれる複数の被写体の、該光学系の光軸方向における相対距離に応じて、該撮像画像上での該被写体の水平方向の位置を調整して、該視差画像を生成するよう構成されており、
   該画像処理部は、
   該撮像画像に２つの被写体の像が含まれるとき、該撮像画像における該２つの被写体の像の水平方向の相対距離Ｓ０に基づいて、該撮像画像に対する処理を行って、該視差画像として、該２つの被写体の像の水平方向の相対距離Ｓ１およびＳ２が、それぞれ以下の式（１）及び式（２）により決まる距離となっている左右一対の画像を生成する３次元撮像装置。
   Ｓ１＝Ｓ０＋Ｍ×ｄ２×Ｂ／（２×ｄ１） ・・・式（１）
   Ｓ２＝Ｓ０−Ｍ×ｄ２×Ｂ／（２×ｄ１） ・・・式（２）
   ここで、Ｍは光学系の倍率、Ｂは基線長、ｄ１は、撮像位置から該２つの被写体のうちの主被写体までの距離、ｄ２は、該２つの被写体の光軸方向に沿った相対距離である。
4. 請求項３に記載の３次元撮像装置において、
   前記画像処理部は、
   前記撮像画像に歪みを加える処理を行って、前記視差画像として、該２つの被写体の像の水平方向の相対距離Ｓ１およびＳ２が、それぞれ前記の式（１）及び式（２）により決まる距離となっている左右一対の画像を生成する３次元撮像装置。
5. 請求項１または請求項３に記載の３次元撮像装置において、
   前記撮像部は１つのイメージセンサにより構成されており、
   前記光学系は、単一の光軸を有する１眼レンズ機構により前記被写体からの光を前記撮像部の受光面上に集光するものである、３次元撮像装置。
6. 請求項５に記載の３次元撮像装置において、
   前記距離情報取得部は、
   前記１眼レンズ機構における撮像レンズと前記イメージセンサの受光面との距離を調整する距離調整機構を有し、
   該イメージセンサによる撮像画面を分割する複数のブロック毎に検出した焦点位置で前記被写体の撮像が行われるよう、該距離調整機構および前記撮像部を制御し、各ブロックの焦点位置で撮像して得られた個別撮像画像から個々の被写体までの距離情報を取得する、３次元撮像装置。
7. 請求項１または請求項３に記載の３次元撮像装置において、
   前記光学系は、
   入射光を屈折させる光学部品と、
   該光学部品の屈折力の調整を行う屈折力調整機構とを有し、
   該光学部品の屈折力の調整により、前記被写体からの光を、該被写体の像が該撮像部の受光面上に結像するよう屈折させるものである、３次元撮像装置。
8. 請求項７に記載の３次元撮像装置において、
   前記光学部品は、液体レンズである、３次元撮像装置。
9. 請求項１から請求項８のいずれかに記載の３次元撮像装置において、
   前記光学系のＦ値は、３．０より小さい３次元撮像装置。
10. 撮像部を搭載した電子情報機器であって、
    該撮像部は、請求項１から請求項３のいずれかに記載の３次元撮像装置を含む電子情報機器。