JP6257260B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮影後に合焦位置を変更することが可能な画像を生成することができる撮像装置に関する。

近年、コンピュテーショナルフォトグラフィ（Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｐｈｏｔｏｇｒａｐｈｙ）という技術を搭載した撮像装置が研究されている。これは、単なる画像の輝度や色のデータのほかに、従来の撮像装置では記録されなかった情報を撮像素子で取り込み、画像データとともに保存することで、画像処理ＬＳＩで様々な処理を行うという技術である。

従来の撮像装置では記録できなかった上記情報として代表的なものが、被写体からの光の入射角度や奥行きの情報である。これらの情報を使用し、従来では被写体を撮像したときに一意に決定されていたフォーカス、アイリスによる被写界深度、焦点距離などを、後の画像処理で正確に再現することができる。これらの被写体のライトフィールドと呼ばれる光線情報を記録することで、従来の撮像装置では実現できなかった機能を持った撮像装置が提案され始めている。実際に撮影した画像について、後からフォーカス位置（合焦位置）を変更できるようなカメラが発表されている。

次にライトフィールドの取得について代表的なものとして、多視点で画像を取得する方法について説明する。例えば、１台の撮像装置で焦点距離を変えて複数の画像を取得し、それを１枚の画像としてデータを残すことで、その画像の焦点距離を後から画像処理で自由に変更することができる。また、カメラを水平もしくは垂直に移動させ、画像を複数枚取得することで、その画像の視差から被写体の距離情報を取得することもできる。これらは、単一の撮像装置（撮像素子）を用いるために、動的な被写体に対してライトフィールドを有効に取得することができないデメリットがある。

上述したデメリットを補いつつ、多視点で画像を取得するために、撮像素子もしくは撮像装置そのものを複数用いる方法も提案されている（特許文献１）。撮像素子もしくは撮像装置をアレイ状に複数配置することで、取得する画像に同時性を持たせるとともに、複数のデータを取得することでライトフィールドの得られる情報量を増やすこともできる。

特開２００８−２５７６８６号公報

しかしながら、従来の、後から合焦位置を変更できる技術においても、撮影後に合焦可能となる範囲を、撮影中にユーザが知ることができない。そのため、撮影後に合焦位置を変更する段階で、意図した位置に合焦できなかった場合、所望する合焦位置での撮影画像を得るためには撮影をやり直さなければならないという問題があった。

本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、撮影後に合焦可能な範囲を、被写体距離との関係と共に撮影中に認識させることができるようにすることにある。

上記目的を達成するために本発明は、それぞれ撮像素子を含む、焦点距離の異なる複数の光学系と、前記撮像素子から出力される画像内の被写体の被写体距離を取得する取得手段と、前記複数の光学系に関する情報に基づいて得られる被写体距離の範囲であって、前記撮像素子から出力される画像を用いて撮影後に生成される、前記画像とは異なる合焦位置の画像が合焦位置として取り得る範囲に対応する長さのバーを、前記取得手段により取得された被写体距離と併せて前記焦点距離の異なる光学系ごとにモニタに表示させる制御手段と、を有することを特徴とする。

本発明によれば、撮影後に合焦可能な範囲を、被写体距離との関係と共に撮影中に認識させることができる。

カメラの正面図（図（ａ））、背面図（図（ｂ））である。 撮影レンズ部の正面視による光学系の配置を示す図である。 光学系の構造の模式図である。 無限遠にある被写体にピントが合っている場合の光学系の状態図である。 被写体が有限距離に移動した場合の光学系の状態図である。 フォーカス群を被写体側に移動させてピントを合わせた場合の光学系の状態図である。 カメラのブロック図である。 撮像部及びその関連要素のブロック図である。 測距原理図（図（ａ））、撮像画像を光軸方向に見て光軸が一致するように示した図（図（ｂ））である。 画像出力処理のフローチャートである。 測距原理図（図（ａ））、計算上の被写体を仮想の撮像素子面上に射影した図（図（ｂ））である。 再構成画像信号の記録用フォーマットの概念図である。 再構成画像信号の通信用フォーマットの概念図である。 モニタへの出力映像の一例を示す図である。 モニタへの出力映像の一例を示す図である。 第２の実施の形態におけるモニタへの出力映像の一例を示す図である。 モニタへの出力映像の一例を示す図である。

以下、本発明の実施の形態を図面を参照して説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態に係る撮像装置の全体構成を図１〜１３を用いて説明する。図１（ａ）、（ｂ）は、撮像装置としてのカメラ１００の正面図、背面図である。

カメラ１００は、カメラ本体部１の正面側に撮影レンズ保持部３、撮影レンズ部２、グリップ６を有する。カメラ本体部１の上部にシャッタボタン４、ズームレバー５が設けられる。カメラ本体部１の背面側には、撮影中や記録後の画像等を表示するモニタ４３、撮影モードを選択するモードダイヤル８、露出補正のためのＡＥダイヤル９が配設される。撮影レンズ部２は複数（１６個）の光学系で構成されている。

図２は、撮影レンズ部２の正面視による光学系の配置を示す図である。図２における「○（白丸）」が、撮影レンズ部２を構成する１６個の光学系である。光学系として、焦点距離の異なる４つの種類（ユニット）があり、それらを光学系Ａ、Ｂ、Ｃ、Ｄと記す。「○」の中の文字は種類を示している。各光学系Ａ、Ｂ、Ｃ、Ｄはいずれも４つの光学系からなる。光学系の総数は、４種類×４個＝１６個である。以降、各光学系（例えば、光学系Ａ）における単一の光学系を指すときには、光学系Ａ１、Ａ２、Ａ３、Ａ４のように番号を付加する。

光学系Ａ１、Ａ２、Ａ３、Ａ４の４つの光軸の重心位置が、Ｏ’で示す重心に一致するように４つの光学系Ａが配置されている。同様に、光学系Ｂ、Ｃ、Ｄのそれぞれの光軸の重心位置が、いずれも重心Ｏ’で一致するように配置されている。従って、全１６個の光学系の重心位置も、重心Ｏ’に一致する。

図３は、光学系Ａ、Ｂ、Ｃ、Ｄの構造の模式図である。種類を同じくする光学系の構成は同様である。

光学系Ａは、物体側すなわち被写体側（カメラ本体部１の正面側）から順に配置された、凹レンズ１１ａ、凸レンズ１２ａ、凸レンズ１３ａ、凹レンズ１４ａから構成される。結像面には撮像素子１５ａが配置されている。同様に、光学系Ｂは、被写体側から凹レンズ１１ｂ、凸レンズ１２ｂ、凸レンズ１３ｂ、凹レンズ１４ｂから構成され、その結像面に撮像素子１５ｂが配置されている。光学系Ｃは、被写体側から凸レンズ１１ｃ、凹レンズ１２ｃ、凹レンズ１３ｃ、凸レンズ１４ｃから構成され、その結像面に撮像素子１５ｃが配置されている。光学系Ｄは、被写体側から凸レンズ１１ｄ、凹レンズ１２ｄ、凹レンズ１３ｄ、凸レンズ１４ｄから構成され、その結像面に撮像素子１５ｄが配置されている。

光学系Ａ、Ｂ、Ｃ、Ｄの光軸Ｏａ、Ｏｂ、Ｏｃ、Ｏｄは、カメラ本体部１の前後方向に平行である。凸レンズ１４（１４ａ〜１４ｄ）と撮像素子１５（１５ａ〜１５ｄ）との間に光量調整素子１７が配置される。光量調整素子１７は、エレクトロ・ルミネッセンス・フィルタ等で構成され、各光学系Ａ〜Ｄに共通に設けられて、各光学系Ａ〜Ｄに共通の減光率で作用するように構成されている。

なお、複数の光学系が近接して配置される。そのため、隣の光学系からの不要な光が撮像素子１５に到達しないように、隣接する光学系の関係において、レンズ間、レンズと撮像素子１５との間には、光線の有効範囲を限定する開口絞りまたは遮光壁を設けるのが望ましい。

光学系Ａ、Ｂ、Ｃ、Ｄの焦点距離をそれぞれｆａ、ｆｂ、ｆｃ、ｆｄとする。光学系間における焦点距離が、下記数式１で示される関係となるように構成されている。
［数１］
ｆｂ／ｆａ＝ｆｃ／ｆｂ＝ｆｄ／ｆｃ＝２．０
凸レンズ１１ａ〜１１ｄ及び凹レンズ１２ａ〜１２ｄがフォーカス群ＦＧである。フォーカス群ＦＧは、撮影時に合焦のために被写体距離に応じて移動する。このフォーカス群ＦＧの動作について図４〜図６で説明する。

図４は、無限遠にある被写体にピントが合っている場合の光学系Ａ、Ｂ、Ｃ、Ｄの状態図である。図５は、図４に示す状態から被写体が有限距離に移動した場合の光学系Ａ、Ｂ、Ｃ、Ｄの状態図である。

図４の状態では、各光学系における結像位置を黒矢印で示しており、撮像素子１５ａ〜１５ｄに結像していることがわかる。図５に示すように、図４に示す状態から被写体が有限距離に移動し、フォーカス群ＦＧが移動していない状態では、結像位置が撮像素子１５ａ〜１５ｄより後方（被写体から遠ざかる側）にずれる。図５に示す白矢印が、被写体距離が無限遠であった場合における結像位置（図４で黒矢印で示したもの）を示し、黒矢印が有限距離に移動したときの結像位置を示す。

それぞれの光学系Ａ、Ｂ、Ｃ、Ｄの焦点距離が異なるため、被写体距離が変化したことによる結像位置の移動量（黒矢印と白矢印との間隔）が異なっている。光学系Ａのピント移動量（被写体の移動量に対する結像位置の移動量）をΔａとする。同様に、光学系Ｂ、Ｃ、Ｄのピント移動量をΔｂ、Δｃ、Δｄとする。各々のピント移動量の関係は下記数式２、３、４で示すものとなる。
［数２］
Δｂ／Δａ＝(ｆｂ／ｆａ)^２＝４
［数３］
Δｃ／Δｂ＝(ｆｃ／ｆｂ)^２＝４
［数４］
Δｄ／Δｃ＝(ｆｄ／ｆｃ)^２＝４
図６は、図５に示す状態から、フォーカス群ＦＧを被写体側に移動させてピントを合わせた場合の光学系Ａ、Ｂ、Ｃ、Ｄの状態図である。図６において、白矢印がフォーカス群ＦＧを移動する前における結像位置（図５で黒矢印で示したもの）を示し、黒矢印がフォーカス群ＦＧを移動した後の結像位置を示す。

フォーカス群ＦＧにおける各光学系Ａ、Ｂ、Ｃ、Ｄのそれぞれの合成光学系（凸レンズ１１と凹レンズ１２の組）の光軸方向の移動量に対する結像位置の移動の敏感度βをβａ、βｂ、βｃ、βｄとする。敏感度βは、合成光学系の移動量に対する結像位置の移動量である。各敏感度βの関係は、下記数式５、６、７で表される。
［数５］
βｂ／βａ＝(ｆｂ／ｆａ)^２＝４
［数６］
βｃ／βｂ＝(ｆｃ／ｆｂ)^２＝４
［数７］
βｄ／βｃ＝(ｆｄ／ｆｃ)^２＝４
この関係により、被写体距離が変化したとき、ピントを合わせるために必要なフォーカス群ＦＧの必要移動量が同一となる。これにより、ピント調整のために各光学系を一体で移動させて、それぞれの光学系の結像位置を撮像素子１５の位置に一斉に一致させることができる。

図７は、カメラ１００のブロック図である。

カメラ１００は、撮影動作を制御するシステム制御部２１、撮像部２２、転送部２３、画像修復部４２、現像部２４、画像処理部２５、多眼画像処理部２６、モニタ画像処理部２７、距離演算部２８、ＡＦ／ＡＥ評価部２９を有する。カメラ１００はまた、操作部３０、駆動制御部３１、駆動ドライバ３２、エンコーダ３３、露出制御部３４、記録エンコード部３５、記録部３６、通信エンコード部３７、通信部３８、外部出力部３９、手ぶれ検知部４０、顔検出部４４を有する。

システム制御部２１は、ＣＰＵと、ＣＰＵが実行する制御プログラムを格納するＲＯＭ（いずれも図示せず）を含み、カメラ１００全体の処理を制御する。操作部３０は、ユーザが撮影に関する指示を与えるために用いられるキーやボタンなどの入力デバイス（シャッタボタン４、ズームレバー５等を含む）を有する。システム制御部２１は、これらの入力デバイスの操作に応じたモード遷移やメニュー画面や各種情報などを表示するためのデータをモニタ４３へ供給し、そのデータを撮影時／再生時の画像とともにモニタ４３に表示させる。

図８は、撮像部２２及びその関連要素のブロック図である。図７及び図８を参照して撮像部２２及び関連要素の動作を詳細に説明する。

撮像部２２は、上述した光学系Ａ〜Ｄ、光学系Ａ〜Ｄに対応する撮像素子１５及びＡ／Ｄ変換部４１、さらには光量調整素子１７を含んでいる。画像の撮影時には、ユーザが操作部３０から撮影指示を行う。撮影指示がされるとシステム制御部２１は撮影指示信号を撮像部２２へ送る。

システム制御部２１からの撮影指示信号は、それぞれの撮像素子１５に送られ、所定の期間、露光がなされ、光電変換により電荷が生成さる。撮像素子１５はＣＭＯＳ型イメージセンサであり、ローリングシャッタ方式により撮像信号がアナログで所定の読み出しタイミングで読み出され、Ａ／Ｄ変換部４１にてデジタルデータ列に変換されて転送部２３へ供給される。

転送部２３は、光学系Ａ〜Ｄからの撮像信号につき、後工程の現像と画像処理と、処理部の構成とに応じて、データ出力の順番とタイミングを適宜調整する。図７に示す画像修復部４２は、転送部２３から転送された画像データに画素毎のノイズや欠陥を補修する画像処理を行い、いわゆるＲＡＷデータとして現像部２４へ供給する。現像部２４は、ＲＡＷデータの各画素について色補間処理により画像信号を生成し、所定のダイナミックレンジの範囲のデジタル撮像信号として画像処理部２５へ供給する。色補間処理では、撮像素子１５ａ〜１５ｄのカラーフィルタ構造に対応して全画素にＲＧＢ情報が割り当てられるように色でコード処理が施される。

操作部３０のシャッタボタン４が押されると、システム制御部２１から画像処理部２５に画像処理の指示が出される。画像処理部２５は、さらにホワイトバランス補正、ガンマ補正、シャープネス補正、彩度補正などの画像処理を行う。

次に、図７及び図９を参照して距離マップの作成に関して説明する。図９（ａ）は、測距原理図である。距離演算部２８は、画像処理部２５からの同一の焦点距離の異なる光学系の画像信号から距離マップを算出する。距離マップは、各光学系Ａ〜Ｄにつき作成される。

図９（ａ）では、例示として、同じ焦点距離の２つの光学系Ａ１、Ａ２から距離マップを作成する様子を表している。光学系Ａ１、Ａ２の光軸をＯａ１、Ｏａ２とする。光学系Ａ１、Ａ２に対応する撮像素子１５ａをそれぞれ撮像素子Ｓ１、Ｓ２と記す。被写体Ｐは２つの光学系Ａ１、Ａ２により、それぞれの撮像素子Ｓ１、Ｓ２における結像位置ｐ１’、ｐ２’に結像し、撮像信号として読み出される。

光軸方向において、光学系Ａ１、Ａ２の主点Ｐ０の位置から被写体Ｐまでの距離を被写体距離Ｌ、主点Ｐ０から撮像素子Ｓ１、Ｓ２までの距離をｆａ’とする。２つの光軸Ｏａ１、Ｏａ２の間隔をＤ、光軸Ｏａ１、Ｏａ２から結像位置ｐ１’、ｐ２’までの距離をそれぞれｄ１、ｄ２とする。これらには下記数式８の関係が成り立つ。
［数８］
Ｌ＝Ｄ×ｆａ'／(ｄ１＋ｄ２)
図９（ｂ）は、撮像素子Ｓ１、Ｓ２の撮像画像を、光軸方向に見て光軸Ｏａ１、Ｏａ２が一致するように示した図である。上記数式８の（ｄ１＋ｄ２）は、図９（ｂ）に示すように、被写体の結像位置ｐ１’、ｐ２’の撮像画像上での間隔Δと等しい。

異なる光軸の画像から被写体の対応点を検出する、ブロックマッチングの手法などの相関検出式特徴点マッチング手法を用いて、撮像素子上の間隔Δを計算する。これにより、（ｄ１＋ｄ２）が判明するから、その後、予めメモリ等に記録してある撮影状態の情報（距離ｆａ’、光軸間隔Ｄ）を用いて、上記数式８により、距離演算部２８は、被写体Ｐまでの被写体距離Ｌを取得することができる（取得手段）。

このような計算を画面内全体において実行すると距離マップが生成できる。ここでは２つの画像を用いて距離マップを生成する方法を説明したが、物体の影などにより対応点がない画像を補うために２つよりも多くの画像を用いるのが望ましい。

算出された距離マップは、システム制御部２１を介して、画像処理部２５や多眼画像処理部２６にフィードバックされ、再構成画像信号に被写体距離に応じたボケを重畳処理するなどの特殊効果を付与する画像処理にも用いられる。図９においては２つの光学系を用いて説明したが、複数の光学系を用いることでオクルージョンの問題や光学系の誤差などに対するロバスト性が向上する。

図７に示す多眼画像処理部２６は、ユーザが操作部３０のズームレバー５で指示した撮影画角の仮想光軸Ｏａ０から撮影した画像に相当するＲＧＢ画像を生成する。以下、これを再構成画像信号と呼ぶ。ここで仮想光軸Ｏａ０とは、図２に示した視点の重心Ｏ’に仮想の光学系を設定した場合の光軸である（図１１（ｂ）も参照）。多眼画像処理部２６は、焦点距離が同じである光学系に対応する４つの視点のＲＧＢ画像から、仮想光軸Ｏａ０に視点を補正した画像信号を再構成画像信号として生成する（生成手段）。これにより、撮影中の画像から、撮影後に合焦位置を変更できる再構成画像信号が生成される。

多眼画像処理部２６はさらに、ユーザが指定した撮像画角が光学系Ａ〜Ｄのいずれの焦点距離とも合致しない場合は、指定された画角より一段階だけ広角の焦点距離の光学系で撮影した再構成画像信号から、指定した画角に相当する領域を切り出す。これが電子ズーム処理である。

図１０は、多眼画像処理部２６により実行される画像出力処理のフローチャートである。

まず、多眼画像処理部２６は、画像処理部２５から画像信号を読み込み（ステップＳ１０１）、同一焦点距離の画像をグループ化する（ステップＳ１０２）。次に、多眼画像処理部２６は、各焦点距離に応じた演算係数を読み込む（ステップＳ１０３）。ここで演算係数とは、焦点距離やイメージサイズ、光学系の間隔など、視点を補正するのに必要なデータであり、図１２で後述するヘッダ部におけるレンズの指定、レンズの情報、レンズの位置関係の情報が相当する。

多眼画像処理部２６は、演算係数を用いて、視点を補正し、再構成画像信号を生成する（ステップＳ１０４）。多眼画像処理部２６は、全ての焦点距離に関する処理を終了したか否を判別し（ステップＳ１０５）、処理未終了の焦点距離があれば処理をステップＳ１０４に戻す。全ての焦点距離に関する処理を終了した場合は、多眼画像処理部２６は、システム制御部２１からの画角の指示に基づき、切り出しが必要か否かを判別する（ステップＳ１０６）。ユーザが指定した撮像画角が光学系Ａ〜Ｄの焦点距離と異なる場合に、切り出しが必要と判別される。

その判別の結果、多眼画像処理部２６は、切り出しが必要でないなら処理をステップＳ１０９に進める一方、切り出しが必要である場合は、指示された画角よりも１段広角の再構成画像信号を読み込む（ステップＳ１０７）。そして、多眼画像処理部２６は、読み込んだ再構成画像信号から指示された画角に応じて画像信号の切り出しを行う（ステップＳ１０８）。ステップＳ１０９では、多眼画像処理部２６は、指示された画角と一致した再構成画像信号を出力し、本処理が終了する。

再構成画像は公知の手法で生成可能である。多眼画像処理部２６等による再構成画像の生成方法の一例を、図９及び図１１を用いて詳細に説明する。

図９で前述したように、被写体Ｐは２つの光学系によりそれぞれの撮像素子Ｓ１、Ｓ２の結像位置ｐ１’、ｐ２’に結像し、撮像信号として読み出される。距離演算部２８はまず、画像の輝度信号分布や色信号分布の相関性に基づき、異なる光学系Ａ１、Ａ２で生成された画像から結像位置ｐ１’、ｐ２’を抽出する。距離演算部２８は、上記数式８により、主点Ｐ０から被写体Ｐまでの被写体距離Ｌを求める。

図１１（ａ）は、測距原理図である。図１１（ａ）に示すように、多眼画像処理部２６は、光学系Ａ１、Ａ２による撮像画像の原点（光軸Ｏａ１、Ｏａ２が通る撮像素子Ｓ１、Ｓ２面上の位置）を基準とした結像位置ｐ１’の座標(ｘ１’、ｙ１’)、結像位置ｐ２’の座標(ｘ２’、ｙ２’)を求める。そして多眼画像処理部２６は、被写体距離Ｌ、距離ｆａ’、光軸間隔Ｄを用いて、撮像系原点でもある重心Ｏ’（図１１（ａ）では２つの光学系Ａ１、Ａ２の中点）に対する計算上の被写体Ｐ’’の座標(ｘ’’、ｙ’’、Ｌ)を求める。

ここで、光学系の焦点距離の誤差や光学系と撮像素子の位置ずれ等から、図１１（ａ）における逆トレース直線Ｒ１’’、Ｒ２’’が、計算上三次元の空間で交差しない場合がある。しかしその場合には、２つの直線が最も接近する位置に仮想の平面を設定し、その平面とそれぞれの逆トレース直線との交点の中点を座標として求めてもよい。光学系が２つよりも多いときにはそれぞれの光学系から求められる直線を用いて同様な計算を行う。

図１１（ｂ）は、計算上の被写体Ｐ’’を仮想の撮像素子Ｓ０面上に射影した図である。上記求められた計算上の被写体Ｐ’’を、撮像系原点（重心Ｏ’）に仮想的に配置した焦点距離ｆａ’の光学系Ａ０により仮想の撮像素子Ｓ０面上に射影した場合を考える。多眼画像処理部２６は、この場合における仮想の撮像素子Ｓ０面上の仮想の結像位置ｐ０’の座標(ｘ０’、y０’)を求める。多眼画像処理部２６は、このような画像処理を画像全体に対して実行し、仮想の光学系Ａ０による仮想光軸Ｏａ０の再構成画像を生成する。

図７に示す記録エンコード部３５は、多眼画像処理部２６から出力された再構成画像信号を所定の信号フォーマットにエンコードする。

図１２は、再構成画像信号の記録用フォーマットの概念図である。図１３は、再構成画像信号の通信用フォーマットの概念図である。

図１２に示すように、記録用フォーマットは、撮影の情報が格納されているファイルのヘッダ部のほか、画像データ部、距離マップ部からなる。ヘッダ部のデータ構成は、一例として、上記した演算係数（レンズの指定、レンズの情報、レンズの位置関係）のほか、撮影情報、画素構造及び画像形式からなる。

ヘッダ部におけるレンズの指定には、カメラ１００に設けられた光学系の構成に関する情報（例えば、光学系の数で本実施の形態では１６）等が格納されている。レンズの情報には、各光学系の画角情報などが格納されている。レンズの位置関係には、各光学系の光軸の位置関係の情報が格納されている。撮影情報には、ユーザが撮影を指示したときの画角の情報、撮影した場所の経度、緯度の情報、撮影した場所の時刻の情報、撮影したときのカメラの方向の情報が格納されている。画素構造には記録された画像データの縦横の画素数の情報が格納されている。画像形式には、画像の圧縮の有無および圧縮の種類の情報が格納されている。

記録用フォーマットにおける画像データ部には、ユーザが指示した画角で生成された再構成画像信号Ｅが記録され、次に光学系Ａで撮像された画像信号（Ａ１、Ａ２、Ａ３、Ａ４）が記録される。その次に光学系Ｂで撮像された画像信号（Ｂ１、Ｂ２、Ｂ３、Ｂ４）が記録され、次に光学系Ｃで撮像された画像信号（Ｃ１、Ｃ２、Ｃ３、Ｃ４）が記録され、次に光学系Ｄで撮像された画像信号（Ｄ１、Ｄ２、Ｄ３、Ｄ４）が記録される。なお、図１２では、画像信号（Ａ３、Ａ４、Ｂ１〜Ｂ４、Ｃ１〜Ｃ４、Ｄ１〜Ｄ３は不図示となっている。

記録用フォーマットにおける距離マップ部には、光学系Ａで撮像された画像信号からの距離マップ（Ａ）が記録され、以降、光学系Ｂ、Ｃ、Ｄでそれぞれ撮像された画像信号からの距離マップ（Ｂ、Ｃ、Ｄ）が記録される。

図７に示す記録部３６は、記録エンコード部３５でエンコードされた再構成画像信号を不図示のメモリカードなどの記録媒体に記録する。通信エンコード部３７は、多眼画像処理部２６から出力された再構成画像信号を図１３に示す通信用フォーマットにエンコードする。

図１３に示すように、通信用フォーマットは、撮影の情報が格納されているファイルのヘッダ部のほか、画像データ部、距離マップ部からなる。通信時のデータ量を削減するために、画像データ部は、ユーザが指示した画角で生成された再構成画像信号Ｅ、光学系Ａで撮像され視点を補正した画像信号（Ａ）、光学系Ｂ、Ｃ、Ｄで撮像され視点をそれぞれ補正した画像信号（Ｂ、Ｃ、Ｄ）が記録される。これに伴い、ヘッダ部には、記録用フォーマット（図１２）のヘッダ部に対してレンズの位置関係が削除され、レンズの指定、レンズの情報、撮影情報、画素構造、画像形式が格納されている。

通信部３８は、通信エンコード部３７でエンコードされた再構成画像信号を、ＷｉＦｉ等の無線を通じて外部のサーバに送信する。

次に、その他の動作について説明する。まず、オートフォーカスの制御に関して図７で説明する。ＡＦ／ＡＥ評価部２９は画像処理部２５からの画像信号の輝度成分を評価し、被写体にピントが合っているかどうかを判定する。判定した結果はシステム制御部２１に送信される。その判定結果が非合焦である場合は、システム制御部２１は、撮像部２２のフォーカス群ＦＧを移動させる指示とその移動量及び移動方向とを駆動制御部３１に送信する。

駆動制御部の動作を図８で説明する。駆動制御部３１は、システム制御部２１からの指示に従い、駆動ドライバ３２を制御して不図示のモータを駆動し、フォーカス群ＦＧを合焦の方向に移動させる。フォーカス群ＦＧの移動量はエンコーダ３３で検知され、検知した移動量が駆動制御部３１にフィードバックされる。駆動制御部３１は、エンコーダ３３から受けた移動量がシステム制御部２１から指示された移動量と一致するまで、フォーカス群ＦＧを移動させる。

自動露出の制御に関して図７で説明する。ＡＦ／ＡＥ評価部２９は、画像処理部２５からの画像信号の輝度成分を評価し、露出が適切かどうかを判定する。判定した結果はシステム制御部２１に送信される。その判定結果が露出不良のときには、システム制御部２１は、撮像部２２の露出補正量を露出制御部３４に送信する。

露出制御部３４の動作を図８で説明する。露出制御部３４は、システム制御部２１からの指示に従い、各撮像素子１５の露光期間や光量調整素子１７の可視光の透過率を制御し、露光量を制御する。ここで、撮像素子１５と光量調整素子１７の制御パターンは、ユーザが操作部３０のモードダイヤル８やＡＥダイヤル９を操作して、公知のＡＥプログラム線図（不図示）を選択する等により指示する。

手ぶれ補正の制御に関して図７で説明する。手ぶれ検知部４０は、いわゆるジャイロセンサや加速度センサ等で構成され、撮影時の手ぶれ量と手ぶれの方向を検出し、検出結果をシステム制御部２１に送信する。システム制御部２１は、送信された手ぶれ量及び手ぶれ方向に応じて撮像素子１５の撮像信号を読み出す領域を変更する指示を撮像素子１５に対して行う。撮像信号を読み出す領域の変更量は、光学系の焦点距離によって異なり、焦点距離が長いほど変更量が大きい。

外部出力の制御に関して図７で説明する。外部への画像の出力については、ユーザが操作部３０から直接指示したり、カメラシステムのモード遷移に応じて対応したりする場合がある。ユーザからの指示はシステム制御部２１に送られ、システム制御部２１から外部出力部３９に送信される。

記録されている画像を出力するときには、外部出力部３９は、記録部３６で記録された画像からユーザが選択したファイルを再生し、再構成画像信号を読み出す。そしてそれをＰＣ（パーソナルコンピュータ）や外部モニタなど出力先の信号フォーマットに変換して映像出力端子から出力する。撮影した画像を直接出力するときには、外部出力部３９は、多眼画像処理部２６からの再構成画像信号を出力先の信号フォーマットに変換して映像出力端子から出力する。

再生画像をモニタ４３に表示する制御に関して図７で説明する。モニタ４３への画像の表示については、ユーザが直接指示する場合と、再生機器システムのモード遷移に応じて対応する場合とがある。モニタ４３には、記録された画像のサムネイル画像が表示され、ユーザがモニタ４３を直接タッチして画像を選択できる。サムネイル画像は撮影のときにユーザが指定した画角の画像である。ユーザからの指示はシステム制御部２１に送られ、システム制御部２１からモニタ画像処理部２７に送信される。

顔検出部４４は、画像処理部２５からの画像信号に対して公知の顔検出処理を施し、撮像素子１５の撮像画像内に含まれる人物の顔領域を検出する。検出した結果はシステム制御部２１に送られる。なお、公知の顔検出処理としては、例えば、画像信号で表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等も開示されている。なお、顔検出処理の手法については、上述した手法に限るものではなく、公知の種々の手法を用いることができる。

本実施の形態では、被写体検出（顔検出部４４による顔検出）を用いて、モニタ４３に後からフォーカスできる範囲を表示する例を示す。すなわち、再構成画像における合焦可能な範囲を、取得した被写体距離と併せて、撮影中にモニタ４３に表示させる。

図１４、図１５は、モニタ４３への出力映像の一例を示す図である。

図１４、図１５に示すように、撮影中においては、システム制御部２１は、モニタ４３には、光学系Ａ〜Ｄのうちいずれかによって取得された撮影画像を表示させる。例えば、光学系Ａ〜Ｄのうちユーザが指定した画角のものから取得された撮影画像が選択的に表示される。被写体１０１、１０２は、顔検出により検出された被写体である。被写体検出枠１１３において被写体１０１の顔が検出され、被写体検出枠１１４において被写体１０２の顔が検出されている。図１４に対し、図１５では、カメラ１００からの被写体１０２の距離が遠くなっている。

システム制御部２１はさらに、モニタ４３に、撮影中の画像に重畳させて、後から（再生時に）フォーカスできる合焦可能範囲を示すフォーカスバー群１０３を表示させるよう制御する。フォーカスバー群１０３は、上下方向を長手方向にして並列に配置された４本のフォーカスバー１０４、１０５、１０６、１０７からなる。フォーカスバー１０４、１０５、１０６、１０７の長さが、それぞれ、互いに焦点距離の異なる光学系Ａ、Ｂ、Ｃ、Ｄの合焦可能範囲を示す。各フォーカスバーの長さは、対応する光学系における後から合焦可能な範囲に対応している。

図１４、図１５において、カメラ１００から見て、「Ｆ」が遠い側、「Ｎ」が近い側である。従って、各フォーカスバー１０４〜１０７のＦ側端位置（上端位置）が、最も遠い合焦可能位置を示し、Ｎ側端位置（下端位置）が、最も近い合焦可能位置を示す。フォーカスバー１０４を例にとると、縦の長さが光学系Ａの合焦可能範囲１０８を示している。同様に、フォーカスバー１０５、１０６、１０７の縦方向の長さは、光学系Ｂ、Ｃ、Ｄのフォーカス可能な範囲を示している。

システム制御部２１はさらに、モニタ４３に、距離情報表示１１１（１１１Ａ、１１１Ｂ、１１１Ｃ、１１１Ｄ）、１１２（１１２Ａ、１１２Ｂ、１１２Ｃ、１１２Ｄ）を、フォーカスバー群１０３と併せて表示させるよう制御する（制御手段）。距離情報表示１１１、１１２は、被写体１０１、１０２のそれぞれのカメラ１００からの距離（被写体距離）を示す情報であり、フォーカスバー群１０３の長さ方向における被写体１０１、１０２の被写体距離に対応する位置に表示される。

距離情報表示１１１Ａ〜１１１Ｄは、それぞれ光学系Ａ〜Ｄに対応するフォーカスバー１０４〜１０７の長さ方向に沿う位置（延長上も含む）に表示され、いずれもフォーカスバー１０４〜１０７の長さ方向（上下方向）における同一位置に表示される。上下方向における距離情報表示１１１、１１２の位置は、それぞれカメラ１００から被写体１０１までの被写体距離１０９、１１０を示す。被写体距離１０９、１１０は、上述した被写体距離Ｌの算出手法により、撮影中に距離演算部２８により取得される。

ただし、各４つの距離情報表示１１１Ａ〜１１１Ｄ、１１２Ａ〜１１２Ｄのうち、現在表示されている撮影中の画像の取得元である光学系に対応する各１つの距離情報表示１１１、１１２だけは、他の３つは異なる表示態様で表示される。一例として、図１４、図１５に示すように、光学系Ｂを取得元とする撮影画像が表示されているとき、フォーカスバー１０５に対応する距離情報表示１１１Ｂ、１１２Ｂだけが濃い色で表示される。そしてこれら以外の距離情報表示１１１Ａ、１１１Ｃ、１１１Ｄ、及び距離情報表示１１２Ａ、１１２Ｃ、１１２Ｄは、薄い色で表示されている。これにより、撮影画像の取得元の光学系が告知される。

図１４を参照すると、距離情報表示１１１、１１２が、フォーカスバー１０４〜１０７のいずれの全長の範囲内に対しても収まっている。これらから、ユーザは、光学系Ａ〜Ｄのいずれの画角においても、撮影後に、被写体１０１と被写体１０２のいずれに対してもフォーカスを合わせることが可能であることがわかる。

一方、図１５を参照すると、距離情報表示１１１、１１２が、フォーカスバー１０５〜１０７の全長の範囲内に対して収まっているが、フォーカスバー１０４に対しては、距離情報表示１１１だけが収まり、距離情報表示１１２は上方に外れている。すなわち、距離情報表示１１２は光学系Ａの合焦可能範囲から外れている。これらからユーザは、光学系Ｂ、Ｃ、Ｄの画角では、撮影後に被写体１０１、１０２に対してフォーカスを合わせることが可能であるが、光学系Ａの画角では、撮影後に被写体１０２に対してフォーカスを適切に合わせることができないことがわかる。

このようにして、複数の光学系Ａ〜Ｄごとに、検出された複数の被写体が、後からフォーカスを合わせられるかどうかをユーザは認識することができる。なお、被写体の数が３以上でも同様に考えることができ、被写体数に対応して距離情報表示も増やせばよい。

本実施の形態によれば、撮影中の画像から生成された再構成画像における合焦可能な範囲を、被写体距離と併せて、撮影中にモニタ表示するので、撮影後に合焦可能な範囲を、被写体距離との関係と共に撮影中に認識させることができる。これにより、撮影後に意図した被写体にフォーカスが合わずに、撮影をやり直すなどの手間を省くことができる。

また、フォーカスバー１０４〜１０７は、焦点距離の異なる複数の光学系（Ａ〜Ｄ）ごとに表示されるので、各々の光学系について（各画角において）合焦可能な範囲を知ることができる。しかも、フォーカスバーの長さが合焦可能な範囲に対応するので、合焦可能範囲を視覚的に把握しやすい。

また、距離情報表示１１１、１１２は、被写体ごとに表示されるので、各々の被写体に対する合焦可否の判断をユーザは行うことができる。しかも距離情報表示１１１、１１２は、フォーカスバー１０４〜１０７の長さ方向に沿った範囲における、被写体距離に対応する位置に表示されるので、フォーカスバーと距離情報表示との相対的位置関係から、各々の被写体に対する合焦可否を視覚的に認識しやすい。

また、距離情報表示１１１、１１２の表示色の濃度によって、現在、モニタ表示されている撮影画像の取得元である光学系を告知するので、モニタ表示される画角についての合焦可能範囲の認識がしやすい。

（第２の実施の形態）
第１の実施の形態では、モニタ表示において、被写体距離を顔検出された被写体ごとに表示させた。これに対し、本発明の第２の実施の形態では、撮影中の撮影画像を複数に分割した領域ごとに被写体距離を取得し、分割領域ごとに被写体距離を表示させる。その他の構成は第１の実施の形態と同様である。従って、図１４、図１５に代えて図１６、図１７を用いて第２の実施の形態を説明する。

図１６、図１７は、モニタ４３への出力映像の一例を示す図である。

第１の実施の形態では、被写体検出された領域に対して被写体距離を算出していたが、第２の実施の形態では、分割した領域ごとに被写体距離を距離演算部２８が算出する。領域２１３、２１４は、画面を分割した際に被写体１０１、１０２が映っている領域である。領域の分割手法は問わない。

図１６、図１７に示した例では、説明の簡略化のため、被写体が映っている領域２１３、２１４に対してのみ被写体距離を算出し、それを距離情報表示１１１、１１２としてフォーカスバー群１０３に併せて表示する例を示す。他の分割領域内の被写体についても同様に考えることができる。モニタ４３に表示されるフォーカスバー群１０３は第１の実施の形態のものと同じである。

図１６では、領域２１３にいる被写体１０１と、領域２１４にいる被写体１０２は、フォーカスバー群１０３において、距離情報表示１１１、１１２として表示されている。距離情報表示１１１、１１２とフォーカスバー群１０３との相対的な位置関係から、光学系ごと、被写体ごとに合焦可能範囲を視覚的に把握できる点は第１の実施の形態（図１４、図１５）と同様である。

本実施の形態によれば、撮影後に合焦可能な範囲を、被写体距離との関係と共に撮影中に認識させることに関し、第１の実施の形態と同様の効果を奏することができる。特に本実施の形態では、各画角において、画面内の各分割領域にいる被写体について、後からフォーカスを合わせられるかどうかをユーザに認識させることが可能となる。さらに、人物以外の、被写体検出できない被写体に対しても、合焦可能範囲を知らせることが可能となる。

なお、第１、第２の実施の形態において、撮影後の合焦可能な範囲については、モニタ４３には、少なくとも、最も近い合焦可能位置と最も遠い合焦可能位置とがわかるような表示を採用すればよい。従って、フォーカスバー群１０３のような表示態様に限定されない。このようにバー形式を用いない場合、距離情報表示については、最も近い合焦可能位置と最も遠い合焦可能位置の表示に対して、距離的に相対的な関係となる位置に表示させてもよい。

なお、現在、モニタ表示されている撮影画像の取得元である光学系を告知する態様として、距離情報表示１１１、１１２の色の濃さで区別した。しかしこれに限るものでなく、取得元の光学系とそうでない光学系とで距離情報表示の表示態様を区別すればよい。例えば、表示色や付加するマークで区別してもよい。

また、必ずしも距離情報表示（例えば１１１Ａ〜１１１Ｄ）を全ての光学系に対応して表示させる必要はなく、取得元の光学系に対応する距離情報表示（例えば１１１Ａ）だけを表示させ、それ以外（例えば１１１Ｂ〜Ｄ）は表示させない、という手法も考えられる。あるいは、距離情報表示を廃止し、取得元の光学系に対応するフォーカスバーだけを、それ以外のフォーカスバーとは色等において異なる表示態様となるようにしてもよい。なお、フォーカスバー群１０３の長手方向の設定は上下方向に限定されるものではない。

なお、撮影中の画像から、撮影後に合焦位置を変更できる再構成画像を生成する観点からは、平面方向に複数のレンズを配置したレンズアレイを撮像素子１５の被写体側に配置する構成を採用してもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

Ａ、Ｂ、Ｃ、Ｄ 光学系
２１ システム制御部
２６ 多眼画像処理部
２８ 距離演算部
４３ モニタ
１０３ フォーカスバー群
１１１、１１２ 距離情報表示

Claims (8)

1. それぞれ撮像素子を含む、焦点距離の異なる複数の光学系と、
   前記撮像素子から出力される画像内の被写体の被写体距離を取得する取得手段と、
   前記複数の光学系に関する情報に基づいて得られる被写体距離の範囲であって、前記撮像素子から出力される画像を用いて撮影後に生成される、前記画像とは異なる合焦位置の画像が合焦位置として取り得る範囲に対応する長さのバーを、前記取得手段により取得された被写体距離と併せて前記焦点距離の異なる光学系ごとにモニタに表示させる制御手段と、
   を有することを特徴とする撮像装置。
2. 前記撮像素子から出力される画像から、当該画像とは異なる合焦位置の画像を生成する生成手段を有することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記複数の光学系により逐次撮像がなされ、前記撮像素子からの画像を前記モニタに逐次表示させているときに、前記範囲に対応する長さのバーおよび前記取得手段によって取得された被写体距離を前記モニタに表示させることを特徴とする請求項１または２に記載の撮像装置。
4. 撮影中の画像に含まれる人物の顔を検出する検出手段を有し、
   前記取得手段は、前記検出手段により検出された顔の距離を前記被写体距離として取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記取得手段は複数の被写体の被写体距離を取得することが可能であり、
   前記制御手段は、取得された前記複数の被写体の被写体距離を前記モニタに表示させることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記モニタにおいて、前記被写体距離を示す情報を、前記バーの長さ方向に沿う、前記被写体距離に対応する位置に表示させることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記モニタには、焦点距離の異なる前記複数の光学系のいずれかにより取得された撮影画像が選択的に表示され、
   前記制御手段は、前記モニタに現在表示されている撮影画像の取得元である光学系を告知することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. それぞれ撮像素子を含む、焦点距離の異なる複数の光学系の前記撮像素子から出力される画像内の被写体の被写体距離を取得する取得工程と、
   前記複数の光学系に関する情報に基づいて得られる被写体距離の範囲であって、前記撮像素子から出力される画像を用いて撮影後に生成される、前記画像とは異なる合焦位置の画像が合焦位置として取り得る範囲に対応する長さのバーを、前記取得工程により取得された被写体距離と併せて前記焦点距離の異なる光学系ごとにモニタに表示させる制御工程と、
   を有することを特徴とする撮像装置の制御方法。

Images