JP6159097B2 - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影後に出力データから任意の被写体距離に合焦した画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮影時に光の強度分布との進行方向とを出力データとして記録することで、記録後に該出力データから任意の被写体距離に合焦した画像を生成する技術が提案されている。

非特許文献１では、マイクロレンズアレイを介して撮像素子の各画素（光電変換素子）に撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法（Light Field Photography）が開示されている。このようにして得られた出力データ（Light Field Data。以下、ＬＦデータ）は、隣り合う画素が異なる方向から入射した光束を記録している。

ＬＦデータからは、各マイクロレンズに対応付けられた画素から、同一の方向の光束を抽出することで、該方向から撮影した画像を生成することができる。また、焦点位置を設定し、該焦点位置を含む焦点面（または像面）における１点を通過した光束を記録している画素の出力を加算することで、撮影後に特定の被写体距離に合焦した画像のピクセルを擬似的に生成（再構成）することができる。

また、ＬＦデータから限定的な分割瞳領域を通過した光束が結像された画素のみを用いることで、撮像光学系において絞りが適用されたことと同等の効果を得ることができる。即ち、射出瞳の中央に対応する分割瞳領域の画素のみを用いて再構成画像を生成することで、被写界深度が深く、広い範囲の被写体距離について合焦した画像を生成することも可能である。

レン・イング（Ren. Ng）、外７名著、「ハンドヘルド型プレノプティックカメラを用いる光照射野撮影（Light Field Photography with a Hand-Held Plenoptic Camera）」、（米国）、スタンフォード・ユニバーシティ・コンピュータ・サイエンス・テック・レポート・シーティーエスアール（Stanford University Computer Science Tech Report CTSR）2005-02

しかしながら、上述したように被写界深度の深い再構成画像を生成した場合、所望の被写体以外の被写体についても合焦した状態となることがある。例えば、所望の被写体である人物の背後や手前を通過する通行人等が合焦状態となる。特に所望の被写体よりも撮像時に撮像装置に近い位置に存在していた被写体については、再構成画像において存在感が高くなってしまう。

本発明は、上述の問題点に鑑みてなされたものであり、複数の所望の被写体に対して好適に合焦した画像を生成する画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、所定の像面に合焦した再構成画像を生成可能なデータを取得する取得手段と、データに対応する画像を表示媒体に表示させる表示手段と、表示手段により表示された画像内の複数の被写体を選択する選択手段と、選択手段により選択された複数の被写体の合焦位置を特定し、該特定された合焦位置で定義される合焦範囲を設定する設定手段と、データから、設定手段により設定された合焦範囲に対応する被写体の各々に合焦した再構成画像を生成する生成手段と、を有し、合焦範囲は、複数の被写体のうちの１つの被写体に対応する合焦位置が合焦範囲の一端として決定され、複数の被写体のうちの他の１つの被写体に対応する合焦位置が合焦範囲の他端として決定されるように定義されることを特徴とする。

このような構成により本発明によれば、複数の所望の被写体に対して好適に合焦した画像を生成することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るマイクロレンズアレイ１０５と撮像部１０６の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明するための図 本発明の実施形態に係る射出瞳３０１の各領域と、各マイクロレンズに対応付けられた光電変換素子との対応を示した図 本発明の実施形態に係る再構成面における特定位置を通過する光束の、撮像面における通過位置との関係を説明するための図 本発明の実施形態に係るデジタルカメラ１００で実行される再構成画像生成処理を例示したフローチャート 本発明の実施形態に係るデジタルカメラ１００で実行される被写体選択処理を例示したフローチャート 本発明の実施形態に係る対象ＬＦデータを説明するための図 本発明の実施形態に係るＤエリアの分布を示したヒストグラム 本発明の実施形態に係る出力画像の生成を説明するための図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にＬＦデータから任意の被写体距離の被写体に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、ＬＦデータから任意の被写体距離の被写体に合焦した画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。

・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０６から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系１０４の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。

・「再構成画像」
ＬＦデータから生成される、任意の被写体距離の被写体に合焦した画像。具体的には生成する被写体距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束の入射方向に基づいて決定される。該画素配置において１つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的には制御部１０１は、ＲＯＭ１０２に記憶されている、後述する撮影処理あるいはリフォーカス動画生成処理の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、制御部１０１の指示により不図示のタイミングジェネレータ（ＴＧ）から出力されるタイミング信号を受けて、撮像光学系１０４により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系１０４は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のデジタルカメラ１００は、撮像素子の各光電変換素子に設けられているマイクロレンズとは別に、光軸上の撮像光学系１０４と撮像素子との間にマイクロレンズアレイ１０５を有する。

〈マイクロレンズと光電変換素子との関係〉
ここで、本実施形態のデジタルカメラ１００において、光軸上の撮像光学系１０４と撮像素子との間に設けられたマイクロレンズアレイ１０５について、図を用いて説明する。

図２に示すように、本実施形態のマイクロレンズアレイ１０５は複数のマイクロレンズ２０１で構成される。図２では、撮像光学系１０４の光軸をｚ軸とし、デジタルカメラ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０５は５行５列に並んだマイクロレンズ２０１で構成されるものとして説明するが、マイクロレンズアレイ１０５の構成はこれに限られるものではない。

また図２では、撮像部１０６を構成する撮像素子の光電変換素子２０２が格子で示されている。各マイクロレンズ２０１には、所定数の光電変換素子２０２が対応づけられており、図２の例では１つのマイクロレンズ２０１に対して５×５＝２５画素の光電変換素子２０２が対応づけられている。１つのマイクロレンズ２０１を通過した光束は、入射した方向に応じて分離され、対応する光電変換素子２０２に結像される。

図３は、１つのマイクロレンズ２０１に対応する光電変換素子２０２ｐ_１乃至ｐ_５に入射する光束を図示している。図３において、上方向は鉛直上向き方向に対応している。図では、デジタルカメラ１００が横位置にある状態における、横方向から見た、各光電変換素子２０２に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０２ｐ_１乃至ｐ_５には、１つのマイクロレンズ２０１を介して、撮像光学系１０４の射出瞳３０１を垂直方向に５分割した領域ａ_１乃至ａ_５を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子２０２との対応関係を示している。

なお、図３の例では横方向から見た、各光電変換素子２０２に入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系１０４の射出瞳３０１を撮像素子側から見て図４（ａ）のような領域に分類した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０２のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系１０４とマイクロレンズアレイ１０５の各マイクロレンズのＦナンバー（Ｆ値）は略一致しているものとする。

ＡＦＥ１０７及びＤＦＥ１０８は、撮像部１０６により生成された画像信号に対する補正処理等を行う。具体的にはＡＦＥ１０７は、撮像部１０６から出力されたアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、ＬＦデータをＤＦＥ１０８に出力する。ＤＦＥ１０８は、入力されたＬＦデータに対して微少な基準レベルのずれ等を補正する。

画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、色変換処理等の各種画像処理を適用する。また本実施形態では画像処理部１０９は、ＬＦデータから任意の被写体距離の被写体に合焦する画像（再構成画像）の生成する処理も行う。再構成画像の生成は、例えば上述した非特許文献１に示されるような「Light Field Photography」の手法を用いればよい。

〈再構成画像の生成方法〉
ここで、特定の被写体距離の被写体に合焦した再構成画像の生成方法の概要について、図を用いて説明する。

まず、撮影範囲に含まれる特定の被写体に合焦する被写体距離については、以下の方法で取得可能である。まず画像処理部１０９は、ＬＦデータから異なる分割瞳領域を通過した２つの光束に対応する画像を生成し、該画像間における特定の被写体の像の差異（デフォーカス量）を検出する。このように検出されたデフォーカス量に基づき、制御部１０１は特定の被写体に合焦する被写体距離（合焦位置）を算出可能である。

図４（ｂ）の例では各マイクロレンズについて、対応する画素のうち第１列及び第２列の画素の画素値を加算することにより生成される、射出瞳３０１の左半分の分割瞳領域に対応するＡ像を生成することができる。また対応する画素のうち第４列及び第５列の画素の画素値を加算することにより生成される、射出瞳３０１の右半分の分割瞳領域に対応するＢ像を生成することができる。即ち、これを式で表すと
のようになる。このように得られた２種類の再構成画像は、それぞれ対応する分割瞳領域の重心位置を光軸とする画像である。

つまり、２種類の再構成画像は光軸のずれによる像のずれを有しているため、２つの画像について相関演算を行うことで、各被写体について像のずれ量（瞳分割位相差）を検出することができる。このように得られた像のずれ量から、ＬＦデータの撮影範囲に含まれる各被写体について合焦する被写体距離を解析することができ、例えば特定の被写体に合焦する再構成画像を付加画像として生成することができる。

次に、特定の被写体距離の被写体に合焦する再構成画像の生成について説明する。本実施形態のデジタルカメラ１００では、上述したように１つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる分割瞳領域を通過した光束を受光する。これは、マイクロレンズアレイ１０５の全マイクロレンズについて同様である。また各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。

このため以下では、撮影により得られたＬＦデータの各画素に入射した光束の光路を、射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、対応するマイクロレンズの位置座標（ｘ’，ｙ’）として各光束を規定して説明する。再構成画像の生成においては、再構成画像を生成する任意の被写体距離に対応する再構成面上の画素（ｘ，ｙ）について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。

図５ではデジタルカメラ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されている。以下ではｘｚ平面における、再構成面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。

瞳領域の座標（ｕ，ｖ）、再構成面上の画素座標を（ｘ，ｙ）とすると、この瞳分割領域と再構成面上の画素を通過する光束が入射するマイクロレンズアレイ１０５上のマイクロレンズの位置座標（ｘ’，ｙ’）は、
で表される。なお、Ｆは撮像レンズからマイクロレンズアレイまでの距離、αＦは撮影レンズから再構成面までの距離（αはリフォーカス係数：再構成面までの距離を決定するための可変係数）である。

また該光束が受光される光電変換素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、再構成面上に形成される画像の座標（ｘ，ｙ）の画素出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、
で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。

表示部１１０は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１０は、画像処理部１０９により生成された、任意の被写体距離に合焦した画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータは、隣り合う画素において像が連結しない。このため表示部１１０には、ＬＦデータではなく画像処理部１０９により生成された画像データが表示される。

記録媒体１１１は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された任意の被写体距離に合焦する画像が記録される。

操作入力部１１２は、例えば電源ボタンやシャッタボタン等の、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１１２は、ユーザによりユーザインタフェースが操作されたことを検出すると、該操作に対応する制御信号を制御部１０１に出力する。

《再構成画像生成処理》
このような構成をもつ本実施形態のデジタルカメラ１００において実行される再構成画像生成処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本再構成画像生成処理は、例えばデジタルカメラ１００が閲覧モードに設定されて起動され、記録媒体１１１に記録されたＬＦデータについてユーザによる再構成画像の生成指示がなされた際に開始されるものとして説明する。

Ｓ６０１で、制御部１０１は、生成指示がなされた対象ＬＦデータについて、被写体までの距離の情報を各々取得する距離情報取得エリア（以下、Ｄエリア）を設定する。Ｄエリアは、マイクロレンズ２０１に割り当てられた画素群（光電変換素子２０２）を単位として規定される、対象ＬＦデータを構成する画素配列における２次元の領域を示す。即ち、Ｄエリアの大きさは、ＬＦデータから生成可能な再構成画像の最小分解能に応じて規定される。例えば図２の例では、１つのマイクロレンズ２０１に割り当てられた５×５の画素が再構成画像の最小分解能にあたるため、Ｄエリアは、水平方向に５の倍数の画素、垂直方向に５の倍数の画素を有する領域として規定される。

なお、Ｄエリアは、対象ＬＦデータから生成可能な最小分解能にあたる画素群を単位として、被写体までの距離について要求する精度や、機器の演算能力、計算量、要求フレームレート等の制限に応じて適切な大きさに設定されてよい。

Ｓ６０２で、制御部１０１は、Ｓ６０１において設定されたＤエリアの各々について、エリア内に含まれる被写体までの代表距離の情報を算出する。具体的には制御部１０１は、対象ＬＦデータの各Ｄエリアについて、異なる２つの分割瞳領域を通過した光束に対応する、デフォーカス量検出用の２種類の再構成画像（検出用画像）を画像処理部１０９に生成させる。本ステップで生成される検出用画像は、上述したように射出瞳３０１の領域を左半分と右半分の分割瞳領域に分け、各分割瞳領域を通過した光束に対応するものであってよい。しかしながら、本発明の実施はこれに限らず、検出用画像は射出瞳３０１を通過したうち、光軸が異なる２種類の分割瞳領域を通過した光束に対応する画像であればよく、分割瞳領域の選択方法はこれに限られるものではない。

そして制御部１０１は、得られたデフォーカス量の解析結果に従って、各Ｄエリアの代表距離を算出する。なお、代表距離は、例えば各Ｄエリアの中央に位置する被写体についての距離であってもよいし、エリア内の被写体について得られた距離の平均値であってもよい。

Ｓ６０３で、制御部１０１は、最終的に生成する再構成画像（最終画像）において合焦させる被写体（合焦被写体）をユーザに選択させる被写体選択処理を実行する。

〈被写体選択処理〉
ここで、本ステップにおいて実行される被写体選択処理について、図７のフローチャートを用いて詳細を説明する。

Ｓ７０１で、画像処理部１０９は制御部１０１の制御の下、最終画像において合焦させる合焦被写体をユーザに指示可能にさせるための選択用再構成画像を生成する。選択用再構成画像は、例えば対象ＬＦデータを撮影した際に設定された被写体距離（像面）に合焦するように生成された画像であってよい。あるいは、被写体が判別しやすいように、例えば射出瞳３０１の中央部等の限定的な分割瞳領域を通過した光束に対応する画素を用いて生成された、被写界深度の深い画像であってもよい。

Ｓ７０２で、制御部１０１は、画像処理部１０９に生成させた選択用再構成画像を表示部１１０に伝送し、合焦被写体の選択をユーザに指示するメッセージと共に表示させる。本実施形態において表示部１１０は例えばタッチ操作を検出するセンサを備えるタッチパネルディスプレイであってよく、ユーザは表示部１１０に表示された選択用再構成画像に対してタッチ操作を行うことで合焦被写体を選択可能であってよい。タッチ操作がなされた場合、タッチ操作の検出信号が操作入力部１１２に伝送され、操作入力部１１２は該検出信号を制御信号に変換して制御部１０１に出力する。

Ｓ７０３で、制御部１０１は、１回目の合焦被写体の選択がなされたか否かを判断する。本実施形態では、デジタルカメラ１００は画像に含まれる人物の顔に対応する領域の検出機能を有するものとし、本ステップでは合焦被写体となる顔領域が選択されたか否かを判断するものとする。なお、合焦被写体は人物の顔領域に限らず、デジタルカメラ１００が検出機能を有する特定の被写体であってよい。また本実施形態では合焦被写体は人物の顔領域であるものとして説明するが、本発明の実施はこれに限らず、ユーザにより指定された位置に存在する建物等の被写体を合焦被写体としてもよい。

制御部１０１は、１回目の合焦被写体の選択がなされたと判断した場合は処理をＳ７０４に移し、なされていないと判断した場合は本ステップの処理を繰り返す。

Ｓ７０４で、制御部１０１は、出力画像において合焦する被写体距離の範囲の一端である被写体距離に対応するＤエリアを、第１の被写体エリアとして設定する。具体的には制御部１０１は、選択された合焦被写体である顔領域が存在する選択用再構成画像の位置について、対応するＤエリアの代表距離の情報を特定し、同一の代表距離の情報を有するＤエリアを第１の被写体エリアとして設定する。

Ｓ７０５で、制御部１０１は、２回目の合焦被写体の選択がなされたか否かを判断する。制御部１０１は、２回目の合焦被写体の選択がなされたと判断した場合は処理をＳ７０６に移し、なされていないと判断した場合は本ステップの処理を繰り返す。

Ｓ７０６で、制御部１０１は、出力画像において合焦する被写体距離の範囲のもう一端である被写体距離に対応するＤエリアを、第２の被写体エリアとして設定する。具体的には制御部１０１は、２回目に選択された合焦被写体である顔領域が存在する選択用再構成画像の位置について、対応するＤエリアの代表距離の情報を特定し、同一の代表距離の情報を有するＤエリアを第２の被写体エリアとして設定する。

Ｓ７０７で、制御部１０１は、設定した被写体距離の範囲に含まれる中間被写体が存在するか否かを判断し、存在する場合に該中間被写体の被写体距離に対応するＤエリアを、中間被写体エリアとして設定し、本被写体選択処理を完了する。具体的には制御部１０１は、被写体距離の範囲に存在する顔領域の各々について、選択用再構成画像の位置に対応するＤエリアの代表距離の情報を特定し、同一の代表距離の情報を有するＤエリアを中間被写体エリアとして設定する。

例えば選択用再構成画像が図８（ａ）のようであった場合について考える。選択用再構成画像８００内には、デジタルカメラ１００との距離が近い順に、被写体８０１、被写体８０２、被写体８０３及び８０４が含まれる。このとき、代表距離の分布を被写体に合焦する被写体距離についてのヒストグラムとして示すと、図９のようになる。

１回目の合焦被写体として被写体８０１が選択され、２回目の合焦被写体で被写体８０３が選択されたとする。このとき、図９において被写体８０１の顔領域が含まれるＤエリアがカウントされている９０１から、被写体８０３（及び被写体８０４）の顔領域が含まれるＤエリアがカウントされている９０２までが、出力画像において合焦する被写体距離の範囲となる。本実施形態では、このような被写体距離の範囲に含まれるＤエリアのうち、人物の顔領域が含まれるＤエリア及び該エリアと同じ代表距離を有するＤエリアのそれぞれについて、対応する被写体距離に合焦するように生成された画像が出力画像の生成に用いられる。図８（ａ）の例では、被写体８０１と被写体８０３との間に、中間被写体として被写体８０２が存在する。このため、被写体８０１、８０２、８０３、及び８０４が含まれるＤエリアと同一の代表距離を有するＤエリアについて、各代表距離に対応する被写体距離に合焦するように生成された画素群が、出力される再構成画像の画素として使用される。つまり、図８（ａ）の例については、図８（ｂ）のように各エリアの代表距離に応じてハッチングを異ならせたＤエリア群が、出力画像において合焦する被写体像の生成に用いられる領域となる。図８（ｂ）では、領域８１１が図９に示した被写体８０１の顔領域が含まれるＤエリアがカウントされているエリア群９０１（第１の被写体エリア）に対応している。また領域８１２が、図９に示した被写体８０２の顔領域が含まれるＤエリアがカウントされているエリア群９０３（中間被写体エリア）に対応している。そして、領域８１３が、図９に示した被写体８０３及び８０４の顔領域が含まれるＤエリアがカウントされているエリア群９０２（第２の被写体エリア）に対応している。

このように、本被写体選択処理を実行することで、ユーザは出力画像において合焦する被写体を簡単な操作で選択することができる。つまり、合焦させたい被写体が多数存在するようなシーンを撮影して得られたＬＦデータであっても、所望の被写体を容易に選択することができる。

なお、出力画像において合焦する被写体距離の範囲について、本実施形態では２種類の被写体を選択させ、該被写体の各々に合焦する被写体距離で閉じられる範囲を設定するものとして説明した。しかしながら、本発明の実施はこれに限らず、その他の方法で被写体距離の範囲を設定してもよい。例えば図８（ａ）の被写体８０３と無限遠（最遠景）、及び被写体８０１と最近景を選択させることで合焦させない被写体距離の範囲を設定させ、それ以外の範囲を合焦する被写体距離の範囲として設定してもよい。また例えば、被写体８０１と被写体８０３を選択させた後、中間被写体から除外する被写体として被写体８０２を選択させることで、分割された範囲を合焦する被写体距離の範囲として設定してもよい。即ち、選択された少なくとも２つの被写体について、該被写体に合焦する被写体距離で規定される範囲が合焦する被写体距離の範囲として設定されればよい。

このように被写体選択処理を実行することで出力画像において合焦する被写体距離の範囲を設定した後、制御部１０１は処理をＳ６０４に移す。

Ｓ６０４で、画像処理部１０９は制御部１０１の制御の下、被写体距離の範囲に含まれる第１及び第２の被写体エリアと中間被写体エリアのそれぞれについて、各エリアに対応する被写体距離に合焦する再構成画像を生成する。図８（ａ）について上述のように被写体距離の範囲が設定された場合は、図１０（ａ）〜（ｃ）に示されるように各エリアについて対応する被写体距離に合焦する再構成画像を生成する。

また画像処理部１０９は、被写体距離の範囲に含まれないエリアについては、特定の被写体距離に合焦する再構成画像を生成する。特定の被写体距離は、例えば撮影時に撮像光学系１０４に設定されていた焦点位置に対応する被写体距離であってもよい。また、出力画像において被写体距離の範囲に含まれる被写体を目立たせる観点で考えると、特定の被写体距離は設定された被写体距離の範囲に含まれない被写体距離等、範囲内で合焦させる被写体とは異なる被写体距離が選択されることが好ましい。

なお、エリア間の境界付近のＤエリアについては、次のＳ６０５における合成後の不連続性を緩和させることを目的として、２つのＤエリアが有する代表距離の中間値付近の代表距離に対応する被写体距離について再構成画像を生成してもよい。

Ｓ６０５で、画像処理部１０９は制御部１０１の制御の下、Ｓ６０４において生成された各エリアの再構成画像を合成し、出力画像を生成する。即ち、図１０（ａ）〜（ｃ）のように生成された再構成画像が、出力画像の対応する領域の画素となるように合成を行い、画像処理部１０９は出力画像（図１０（ｄ））を生成する。

Ｓ６０６で、制御部１０１は、生成された出力画像を表示部１１０に伝送し、表示させて本再構成画像生成処理を完了する。

なお、本実施形態では２回の合焦被写体の選択により設定された被写体距離の範囲に含まれる被写体ついて、各々合焦するように生成した再構成画像を合成するものとして説明した。しかしながら、本発明の実施はこれに限られるものではない。例えば、選択された各合焦被写体に合焦する被写体距離の差が広く、被写体以外の領域に合焦していないように出力画像を生成すると、出力画像が不自然に焦点調整が行われたような画像となり得る。このような場合、即ち選択された各合焦被写体に合焦する被写体距離の差が所定の長さより大きい場合は、制御部１０１は撮影範囲の被写体に広く合焦する、被写界深度の深い画像を画像処理部１０９に生成させるように制御してもよい。つまり、設定された被写体距離の範囲に含まれない被写体についても合焦する条件で生成した再構成画像を出力画像として生成させてもよい。被写界深度の深い画像は上述したように、ＬＦデータの画素のうち、射出瞳３０１の中央部等の限定的な分割瞳領域を通過した光束に対応する画素を用いて生成した画像であってもよい。

以上説明したように、本実施形態の画像処理装置は、複数の所望の被写体に対して好適に合焦した画像を生成することができる。具体的には画像処理装置は、画像信号について、複数の被写体を選択し、該選択した複数の被写体の各々について該被写体に合焦する被写体距離を特定する。そして、特定した被写体距離で規定される焦点距離の範囲を設定する。画像処理装置は、設定された被写体距離の範囲において合焦する被写体の各々に合焦した再構成画像を画像信号から生成する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (17)

1. 所定の像面に合焦した再構成画像を生成可能なデータを取得する取得手段と、
   前記データに対応する画像を表示媒体に表示させる表示手段と、
   前記表示手段により表示された画像内の複数の被写体を選択する選択手段と、
   前記選択手段により選択された前記複数の被写体の合焦位置を特定し、該特定された合焦位置で定義される合焦範囲を設定する設定手段と、
   前記データから、前記設定手段により設定された前記合焦範囲に対応する被写体の各々に合焦した再構成画像を生成する生成手段と、を有し、
   前記合焦範囲は、前記複数の被写体のうちの１つの被写体に対応する合焦位置が前記合焦範囲の一端として決定され、前記複数の被写体のうちの他の１つの被写体に対応する合焦位置が前記合焦範囲の他端として決定されるように定義される
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記合焦範囲において合焦する被写体の各々に対応する前記再構成画像の領域については、各領域に対応する被写体に合焦するように選択された前記データの画素の画素値を合成することで画素を生成し、前記再構成画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記設定手段により設定された前記合焦範囲に対応する像面における画素配置に応じて、前記データの画素値を合成することにより前記再構成画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段は、前記合焦範囲において合焦しない被写体の各々に対応する前記再構成画像の領域については、各領域に対応する被写体に合焦しないよう選択された前記データの画素の画素値を合成することで画素を生成することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記生成手段は、前記データから、前記設定手段により設定された前記合焦範囲を被写界深度とする再構成画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記データは、撮像装置により撮像された画像信号であって、画素の各々が、前記撮像装置の撮像光学系において通過した分割瞳領域及び入射方向の組み合わせが異なる光束に対応しており、
   前記画像処理装置は、異なる２つの分割瞳領域の各々について、前記画像信号から該分割瞳領域を通過した光束に対応する画素を用いて画像を生成し、該生成された２種類の画像間の差異に基づいて前記画像信号に含まれる被写体の各々についての距離を解析する解析手段をさらに有し、
   前記設定手段は、前記解析手段による解析結果を参照して、前記複数の被写体の各々に合焦する被写体距離を特定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記生成手段は、所定の合焦位置の被写体に合焦した選択用の再構成画像を生成し、
   前記選択手段は、前記表示手段により表示された前記選択用の再構成画像について、前記複数の被写体の選択を受け付ける
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、前記設定手段により設定される合焦範囲が所定範囲より大きい場合に、無限遠及び至近端に合焦する条件で前記再構成画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記表示手段は、タッチパネルディスプレイであり、
   前記選択手段は、前記複数の被写体として、前記タッチパネルディスプレイにおいて受け付けられた操作入力に対応する被写体を選択する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記データは、１つの撮像装置により撮像され、複数の視点の画像を含むことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記データは、１つの撮像装置により一時に撮像されて得られることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記データは、ライトフィールドデータであることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 撮像により、所定の像面に合焦した再構成画像を生成可能なデータを出力する撮像手段と、
    前記データに対応する画像を表示媒体に表示させる表示手段と、
    前記表示手段により表示された画像内の複数の被写体を選択する選択手段と、
    前記選択手段により選択された前記複数の被写体の合焦位置を特定し、該特定された合焦位置で定義される合焦範囲を設定する設定手段と、
    前記データから、前記設定手段により設定された前記合焦範囲に対応する被写体の各々に合焦した再構成画像を生成する生成手段と、を有し、
    前記合焦範囲は、前記複数の被写体のうちの１つの被写体に対応する合焦位置が前記合焦範囲の一端として決定され、前記複数の被写体のうちの他の１つの被写体に対応する合焦位置が前記合焦範囲の他端として決定されるように定義される
    ことを特徴とする撮像装置。
14. 所定の像面に合焦した再構成画像を生成可能なデータを取得する取得工程と、
    前記データに対応する画像を表示媒体に表示させる表示工程と、
    前記表示工程において表示された画像内の複数の被写体を選択する選択工程と、
    前記選択工程において選択された前記複数の被写体の合焦位置を特定し、該特定された合焦位置で定義される合焦範囲を設定する設定工程と、
    前記データから、前記設定工程において設定された前記合焦範囲に対応する被写体の各々に合焦した再構成画像を生成する生成工程と、を有し、
    前記合焦範囲は、前記複数の被写体のうちの１つの被写体に対応する合焦位置が前記合焦範囲の一端として決定され、前記複数の被写体のうちの他の１つの被写体に対応する合焦位置が前記合焦範囲の他端として決定されるように定義される
    ことを特徴とする画像処理装置の制御方法。
15. 撮像により、所定の像面に合焦した再構成画像を生成可能なデータを出力する撮像工程と、
    前記データに対応する画像を表示媒体に表示させる表示工程と、
    前記表示工程において表示された画像内の複数の被写体を選択する選択工程と、
    前記選択工程において選択された前記複数の被写体の合焦位置を特定し、該特定された合焦位置で定義される合焦範囲を設定する設定工程と、
    前記データから、前記設定工程において設定された前記合焦範囲に対応する被写体の各々に合焦した再構成画像を生成する生成工程と、を有し、
    前記合焦範囲は、前記複数の被写体のうちの１つの被写体に対応する合焦位置が前記合焦範囲の一端として決定され、前記複数の被写体のうちの他の１つの被写体に対応する合焦位置が前記合焦範囲の他端として決定されるように定義される
    ことを特徴とする撮像装置の制御方法。
16. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. コンピュータに、請求項１５に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。