JP6095266B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は撮像装置により撮影された画像の表示に関し、特に撮影後に画像の合焦距離を変更することのできる画像の表示技術に関する。

近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報（光線）をも取得可能な撮像装置（ライトフィールドカメラ）が提案されている。ライトフィールドは、遮蔽物のない空間を飛び交う光線の「場」と言える。ライトフィールド中の１本の光線を特定するには、例えば図１３に示すようなかたちで２つの平行な平面を適当に設定し、各平面と光線との交点（ｘ’, ｙ’）、（ｕ, ｖ）を指定すればよい。ライトフィールドカメラは、この光線情報の場を撮像素子で捉え、記録するカメラである。

例えば非特許文献１によれば、図１４に示すように、撮影レンズ１４０４と撮像素子１４０１との間にマイクロレンズアレイ１４０２を配置し、撮像素子１４０１の複数の画素に対してひとつのマイクロレンズ１４０３を対応させる。このようにすることで、マイクロレンズ１４０３を通過した光は複数の画素によって入射方向別に取得される。したがって撮像素子１４０１のそれぞれの画素の出力値Ｌは光線としての情報を持ち、出力値Ｌ(ｘ’,ｙ’,ｕ,ｖ)がライトフィールド情報として記録される。これに対し、通常の撮像装置の場合は、マイクロレンズアレイの位置に撮像素子が配置され、レンズ面(ｕ,ｖ)に対して、Ｌ(ｘ’,ｙ’,ｕ,ｖ)が積分されたものが、それぞれの画素の出力値Ｅ(ｘ’,ｙ’)として記録されており、入射方向の情報が失われている。

上記のように取得されたライトフィールド情報に対して、従来の撮像装置では光学的に行われているｕ, ｖでの積分を、ライトフィールドカメラでは、演算処理によって積分する。この方法により、通常の撮影画像を生成するほかに、「Light Field Photography」と呼ばれる手法を適用することで、任意の仮想像面（リフォーカス面）にピントを合わせた２次元画像を撮影後に再構成することができる。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

しかしながら従来のライトフィールドカメラでは、撮影後に合焦状態を自由に設定することができるが、撮影中や撮影後の画像確認において、ユーザが所望の合焦状態の画像を得るためには、その都度ユーザが合焦位置を指定する必要があった。

本発明は上記問題点を鑑みてなされたものであり、ライトフィールドカメラで撮影された画像データを表示する際に、ユーザーの手間をかけずに、撮影シーンに適した合焦状態の画像を表示できるようにすることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、視点の異なる複数の画像データを取得する取得手段と、前記取得手段から取得される複数の画像データを用いて、設定によって決まる距離に合焦した画像を生成する生成手段と、シーンを選択する選択手段と、画像データに、前記選択手段により選択されるシーンに対応する色あいへの色補正を含む画像処理を施す画像処理手段と、を有し、前記生成手段は、前記選択手段により選択されたシーンに対応する距離に合焦した画像を生成する。

本発明によれば、ライトフィールドカメラで撮影された画像データを表示する際に、ユーザーの手間をかけずに、撮影シーンに適した合焦状態の画像を表示できるようにすることができる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図。 実施形態に係る撮像素子の画素とマイクロレンズアレイとの位置関係を説明する図。 実施形態に係る撮影レンズと、撮像素子の画素と、マイクロレンズアレイとの位置関係を説明する図。 実施形態に係る撮影レンズの瞳領域と受光画素の対応関係を説明する図。 実施形態に係るリフォーカス画像生成光線の通過領域を説明する図。 第１の実施形態における撮影動作時の処理を示すフローチャート。 第１の実施形態におけるリフォーカス画像生成処理のフローチャート。 第１の実施形態におけるパンフォーカス画像生成時の光学系の仮想概念を示す図。 第１の実施形態におけるパンフォーカス画像生成時の撮影レンズの瞳領域と受光画素との対応関係を示す図。 第１の実施形態における顔に合焦したリフォーカス処理時の光学系の仮想概念を示す図。 第１の実施形態における顔に合焦したリフォーカス処理時の撮影レンズの瞳領域と受光画素の対応関係を示す図。 第２の実施形態における画像再生時の処理を示すフローチャート。 光線を特定する座標系の説明図。 ライトフィールドカメラの光学系を示す図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

＜第１の実施形態＞
図１は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。図１に示す構成において、撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は複数のマイクロレンズ１０２０から構成されており、撮影レンズ１０１の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。撮像素子１０３はＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される光電変換素子であり、入射光を光電変換して画像信号を出力する。複数のマイクロレンズ１０２０それぞれに対して複数の画素が対応するように２次元に配置することで、マイクロレンズ１０２０で瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換することができる。

アナログ信号処理回路（ＡＦＥ）１０４は、撮像素子１０３から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。デジタル信号処理回路（ＤＦＥ）１０５は、アナログ信号処理回路１０４から出力される画像信号に対して基準レベル調整等のデジタル画像処理を行う。

画像処理回路１０６はデジタル信号処理回路１０５から出力された画像信号に対して所定の画像処理や、ライトフィールドカメラ特有の任意の合焦距離に焦点を合わせるリフォーカス演算（現像処理）を施す。さらに画像処理回路１０６は、画像から人物の顔を検出するような処理も行う。メモリ回路１０７は画像データを一時保持する揮発性のメモリであり、高速でランダムなアクセス性に優れる。記録回路１０８は、画像処理回路１０６から出力された画像データ等を記録保持するための不揮発性メモリあるいはメモリカード等の記録媒体に記録を行うための制御回路である。

制御回路１０９は撮像素子１０３や画像処理回路１０６等、撮像装置１００全体を統括的に駆動制御する。操作回路１１０は撮像装置１００に備え付けられた操作部材からの信号を受け付け、制御回路１０９に対して、ユーザーの指示や、後述するシーンセレクト等の各種設定内容を反映させるための回路である。表示回路１１１は撮影後の画像やライブビュー画像、各種設定画面等を表示する。

次に、本実施形態の撮像装置における撮影レンズ１０１、マイクロレンズアレイ１０２及び撮像素子１０３の位置関係について説明する。

図２は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から見た図である。複数の分割画素２０１に対して１つのマイクロレンズ１０２０が対応するように配置されている。１つのマイクロレンズの後方にある複数の分割画素２０１をまとめて画素配列２００と定義する。なお、本第１の実施形態では画素配列２００は、５行５列の計２５個の分割画素２０１により構成されているものとする。

図３は、撮影レンズ１０１から出射した光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向から見た図である。撮影レンズ１０１の各瞳領域ａ１〜ａ５から出射し、中央のマイクロレンズ１０２０を通過した光は、後方の対応する分割画素ｐ１〜ｐ５でそれぞれ結像する。

図４（ａ）は、図３で示した撮影レンズ１０１の光の通過領域と、撮像素子１０３の受光領域の様子をさらに詳しく説明するために、撮影レンズ１０１の開口を光軸Ｚ方向から見た図である。図４（ｂ）は、１つのマイクロレンズ１０２０とその後方に配置された画素配列２００を光軸Ｚ方向から見た図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ１０２０の後方にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影レンズ１０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。

図４（ａ）に示す撮影レンズ１０１の瞳領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮影レンズ１０１の瞳領域ａ１１から出射した光は、マイクロレンズ１０２０の後方にある画素配列２００のうち、画素ｐ１１に結像する。これと同様に、瞳領域ａ１１から出射し、別のマイクロレンズ１０２０を通過する光も、そのマイクロレンズ１０２０の後方にある画素配列２００の中の画素ｐ１１に結像する。

図２のような撮像素子１０３とマイクロレンズ１０２０の関係の場合、瞳分割数は、１つのマイクロレンズ内に入る画素数（５×５＝２５）となる。ここで、瞳分割位置(ｕ, ｖ)を、ｕ=0, 1, 2, 3, 4、ｖ=0, 1, 2, 3, 4とし、マイクロレンズ位置座標(ｘ’,ｙ’)を、ｘ’= 0, 1, 2, 3, 4、ｙ’= 0, 1, 2, 3, 4 とする。この場合、撮像素子１０３の画素座標(ｐ, ｑ)、ｐ=0〜24, ｑ=0〜24は、瞳分割位置座標(ｕ, ｖ), マイクロレンズ位置座標(ｘ’, ｙ’)で表現でき、
ｐ（ｘ’,ｕ)、ｑ（ｙ’,ｖ） …（１）

と表すことができる。
ここで、画面内の任意の被写体位置に対応した焦点位置（リフォーカス面）を算出する方法について説明する。図４で説明したように、画素配列２００の各画素は、撮影レンズ１０１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。

式（２）は、ある画素配列２００の各画素について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１１〜ａ５１及びａ１２〜ａ５２）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２００に適用し、これらの出力信号群で構成した被写体像をＡ像とする。また、式（３）は、ある画素配列２００の各画素について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ１４〜ａ５４及びａ１５〜ａ５５）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２００に適用し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を施し、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。

次に、撮影レンズ１０１、マイクロレンズアレイ１０２及び撮像素子１０３の構成によって取得された撮像データ（ライトフィールド情報）に対して行う、任意に設定した焦点位置（リフォーカス面）での画像の再構成処理について説明する。

図５は、任意に設定したリフォーカス面上のある画素を通過する光が、撮影レンズ１０１のどの瞳分割領域から出射され、どのマイクロレンズ１０２０へ入射するかを光軸Ｚに対して垂直方向から見た図である。ここで、撮影レンズ１０１の瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、マイクロレンズアレイ１０２上のマイクロレンズ１０２０の位置を座標（ｘ’，ｙ’）とする。更に、撮影レンズ１０１からマイクロレンズアレイ１０２までの距離をＦ、撮影レンズ１０１からリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザーが任意に設定できる。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、マイクロレンズアレイ１０２上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（４）のように表すことができる。

そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズ１０１の瞳領域に関して積分したものとなるため、式（５）のようになる。

式（４）において、リフォーカス係数αが定まれば、リフォーカス面上の座標（ｘ，ｙ）、瞳分割領域位置座標（ｕ，ｖ）を与えることで、光が入射するマイクロレンズの位置（ｘ’，ｙ’）が求まる。そして、そのマイクロレンズに対応する画素配列２００から（ｕ，ｖ）の位置に対応する撮像素子上の画素ｐ, ｑは式（１）より求まり、この撮像素子の画素出力がＬ（ｘ’，ｙ’，ｕ，ｖ）＝Ｌ（ｐ, ｑ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮影レンズの瞳分割領域の代表座標とすれば、式（５）の積分は、単純加算により計算することができる。

次に、本発明の撮像装置の撮影時の動作について、図６のフローチャートを参照して説明する。各ステップは制御回路１０９または制御回路１０９からの指示によって各部で行われる。撮影が開始されると（Ｓ６０１）、Ｓ６０２において、ユーザが撮像装置に設定しているシーンセレクト内容を取得する。シーンセレクトとは、ユーザが容易に所望の画像を撮影できるように各種撮影パラメータを総合的に一括で設定するためのものである。例えば、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）の設定、画像の色合い、解像感等の画像処理内容をシーンに適した内容に設定したり、フォーカス状況を設定したりするためのものである。そして、ユーザは操作回路１１０を通じて、シーンセレクトの設定を行う。本第１の実施形態の撮像装置では、ポートレート（人物）撮影、風景撮影、マクロ撮影、夜景撮影等を選択することができる。また、シーンセレクトの設定は公知のシーン判別技術等により自動で設定されても良い。

Ｓ６０３では、シーンセレクトの設定に応じて、ＡＥの設定を行う。例えばシーンとして夜景撮影が選択されている場合には、シャッター速度を遅くする等の設定を行う。続いてＳ６０４では、設定されているシーンセレクトに応じて、適用するリフォーカス処理を選択する。Ｓ６０５で、撮像素子１０３から得られているライトフィールド情報出力に対し、選択されたリフォーカス処理を画像処理回路１０６により実行することでライブ画像を生成し、表示回路１１１により表示を行う。これらリフォーカス処理の選択、処理内容についての詳細は後述する。

撮影中は一定時間間隔で表示する画像を更新し続け（Ｓ６０５〜Ｓ６０６のループ）、ユーザがシーンセレクトを変更した場合には、リフォーカス処理を変更し（Ｓ６０７）、順次表示画像を更新する。また、ユーザがシャッターを押下すると、Ｓ６０８において、記録回路１０８は、その時点でのライトフィールド情報を記録媒体に記録する。記録後、現在選択中のリフォーカス処理内容で確認画像を生成し、表示回路１１１に表示を行う（Ｓ６０９）。また、所定時間内にユーザがシーンセレクト設定を変更した場合には（Ｓ６１０）、リフォーカス処理内容を変更し（Ｓ６１１）、再度、その内容によって確認画像を生成して表示する。所定時間経っても、シーンセレクト設定が変更されなかった場合には、その設定が所望の内容であると判断し、そのシーンセレクト情報を、既に記録済みのライトフィールド情報の付加情報として、該ライトフィールド情報に関連付けて記録する（Ｓ６１２）。以上が、本第１の実施形態における撮像装置の撮像、記録時の処理の流れになる。

ここで、シーンセレクトに応じたリフォーカス画像の生成処理（Ｓ６０５、Ｓ６０８）について、図７のフローチャートを用いて説明する。

本第１の実施形態における撮像装置では、シーンセレクトとして風景撮影、夜景撮影がセレクトされた場合には、リフォーカス処理として、「パンフォーカス」が選択される。この状態で、リフォーカス画像生成処理が開始されると、Ｓ７０２からＳ７０３に分岐し、パンフォーカス画像の生成が行われる。

パンフォーカス画像の生成方法について図８、図９を用いて説明する。なお、図９において、パンフォーカス画像の生成に使用する分割画素を白色、使用しない分割画素を網かけで示す。撮影レンズ１０１のＦナンバーが小さい場合においては、分割画素のうち、光軸中心付近の光が入射する分割画素のみを使用する。図９（ｂ）で言えば、画素ｐ１１〜ｐ５５の分割画素のうち、ｐ３３のみマイクロレンズ１０２０を代表する出力として画像を構成することで、マイクロレンズアレイ１０２と同等の解像度をもつ画像が生成される。この場合、図８の仮想絞り１１２に示すように、仮想的な小絞り状態を再現していることになり、これは被写界深度の深い画像（パンフォーカス画像）を生成していることになる。なお、例えば図２の場合では５×５の画素から成る画像となるが、実際には非常に多くの多くのマイクロレンズで構成されている。

また本発明の撮像装置で、シーンセレクトとして人物撮影がセレクトされた場合は、リフォーカス処理として、「顔にフォーカス」が選択される。この状態で、リフォーカス画像生成処理が開始されると、Ｓ７０２からＳ７０４に分岐し、まず撮影対象から顔を検出するために、まず、被写界深度の深いパンフォーカス画像を前述の方法で生成する（Ｓ７０４）。生成されたパンフォーカス画像に対し、顔検出処理が行われ、顔の位置が特定される（Ｓ７０５）。顔の位置が求まると、この顔に合焦する被写体焦点位置を算出し（Ｓ７０６）、リフォーカス係数αを決定する（Ｓ７０７）。複数の顔が検出された場合には、それぞれについてリフォーカス係数αを求め、最も大きなαの顔（最も手前の顔）をフォーカス対象の顔とする。リフォーカス係数αが決まると、前述の式（５）により、リフォーカス画像を演算処理により生成する（Ｓ７０８）。上記処理を模式的に表すと、図１０のようになる。この図では、人物の顔が、画像のほぼ中心で検出され、その顔位置にリフォーカスされた画像を生成する例を示している。ここでは光軸Ｚに対して垂直方向の一次元のみを考えることとし、リフォーカス再構成する仮想像面１１３の位置がマイクロレンズアレイ１０２から撮影レンズ側のある位置に存在するものとする。

この仮想像面１１３上の仮想画素１１４に結像した光線は、この点から発散した状態でマイクロレンズアレイ１０２に入射する。さらに図１０に示されるように、光線の角度によっては互いに異なるマイクロレンズ１０２０を通過し、あるシフト量をもってｐ１〜ｐ５の分割画素に入射する。したがって、この仮想像面１１３上の仮想画素１１４の画素出力は、ｐ１〜ｐ５の分割画素の出力を加算・平均（正確には入射角やシフト量に応じて重みづけ）することで得られる。より具体的には、図１１に示されるように、各マイクロレンズ１０２０に対応する５行５列の分割画素のうち、１行５列を一組として、マイクロレンズ１０２０ごとに１行ずつずらして合計５行５列の分割画素を構成すればよい。

上記の例では説明を容易にするために、シフト量が分割画素１行分である例を取り上げて説明したが、このシフト量は仮想像面１１３の位置に依存する。したがって、仮想像面１１３の位置に依存して重みづけマトリックスを算出し、分割画素の出力に対してマトリックス演算（重みつき加算）を施すことで、任意の仮想像面１１３におけるリフォーカス画像を得ることができる。ただし、実際は二次元の演算が必要である。また、演算量と演算時間を削減するために、特定の仮想像面１１３における重みづけマトリックスをあらかじめ保持しておき、分割画素の出力に対してマトリックス演算を施す。これにより、特定の仮想像面１１３におけるリフォーカス画像（ここでは人物の顔にリフォーカスされた画像）を得ることができる。

本第１の実施形態の撮像装置では、シーンセレクトとしてマクロ撮影等、上述以外のシーンがセレクトされた場合は、リフォーカス処理として、「最も手前の被写体にフォーカス」が最適なフォーカス処理として選択される。この状態でリフォーカス画像生成処理が開始されると、Ｓ７０２からＳ７０９に分岐する。最も手前の被写体が画像中のどの位置に存在しているかは不明なため、いつくかの代表点において、複数の焦点位置及びリフォーカス係数αを算出する（ステップＳ７０９）。例えば、画像を５×５の小領域に分割し、その中心点を代表点として、２５個の焦点位置、及びリフォーカス係数αを算出する。続いて、この中で最も大きなαを持つ（＝最も手前に位置する）代表点にフォーカスしたリフォーカス画像を、前述の式（５）の演算処理により生成する（Ｓ７１０、Ｓ７１１）。

以上説明したとおり、本第１の実施形態の撮像装置の撮影時においては、ライブビュー画像や、撮影後の画像確認表示において、ライトフィールド情報から、ユーザが選択したシーンセレクトに応じた最適なリフォーカス画像を表示する。これにより、ユーザの撮影しやすい撮像装置（ライトフィールドカメラ）を提供することができる。

＜第２の実施形態＞
本第２の実施形態では、第１の実施形態で説明した撮像装置によって記録されたライトフィールド情報を再生表示する手順について説明する。

ユーザにより、任意のライトフィールド情報からの画像再生が指示されると、図１２に示す１枚再生処理が開始される（Ｓ１２０１）。記録されたライトフィールド情報を読み出すとともに、付加情報として記録されているシーンセレクト情報を取得する（Ｓ１２０２）。取得したシーンセレクト情報に最適なリフォーカス処理により、リフォーカス画像を生成、表示する（Ｓ１２０３）。表示された画像に対し、ユーザがシーンセレクトの選択を変更する操作を行った場合には、新たに選択されたシーンセレクトに最適なリフォーカス処理を行い（Ｓ１２０４、１２０５）、リフォーカス画像の再表示を行う。また、記録されていたシーンセレクト情報を、現在選択されているシーンセレクトに変更して記録を行う（Ｓ１２０６）。これにより、次回から所望のシーンセレクトに応じたフォーカス状態で画像が再生できるようになる。

本第２の実施形態の撮像装置によれば、記録されたライトフィールド情報からリフォーカス画像を生成することができる。また、付加情報として記録されているシーンセレクト情報を利用することで、ユーザ所望のフォーカス状態のリフォーカス画像をデフォルト画像として、最初に表示する事が可能となる。

＜他の実施形態＞
上述した第１及び第２の実施形態では、撮像装置により顔判定及び記録処理を行う場合について説明したが、本発明はこれに限るものではない。例えば、リフォーカス処理が可能な画像データを生成する撮像装置から出力された画像データを用いて、外部画像処理装置により、図６〜図１２により説明した上記処理を行うことによっても、本発明の目的を達成することができる。

また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (19)

1. 視点の異なる複数の画像データを取得する取得手段と、
   前記取得手段から取得される複数の画像データを用いて、設定によって決まる距離に合焦した画像を生成する生成手段と、
   シーンを選択する選択手段と、
   画像データに、前記選択手段により選択されるシーンに対応する色あいへの色補正を含む画像処理を施す画像処理手段と、を有し、
   前記生成手段は、前記選択手段により選択されたシーンに対応する距離に合焦した画像を生成することを特徴とする画像処理装置。
2. 前記選択手段が選択するシーンには、人物撮影及び風景撮影が含まれることを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段が選択するシーンには、夜景撮影またはマクロ撮影が含まれることを特徴とする請求項１または２に記載の画像処理装置。
4. 画像を表示する表示制御手段を有し、
   前記表示制御手段は、前記取得手段から前記複数の画像データが逐次取得されることに応じて、前記複数の画像データから前記生成手段で生成される画像を表示することを特徴とする請求項１乃至３のいずれか1項に記載の画像処理装置。
5. 前記取得手段から取得された複数の画像データに対応する、前記選択手段により選択されたシーンに関する情報を、当該複数の画像データと関連付けて記録媒体に記録する記録手段を有することを特徴とする請求項１乃至４のいずれか1項に記載の画像処理装置。
6. 画像を表示する表示制御手段を有し、
   前記生成手段は、前記記録媒体に記録された視点の異なる複数の画像データから、該画像データに関連付けて記録されたシーンに関する情報に基づいて、対応する距離に合焦した画像を生成し、
   前記表示制御手段は、前記生成手段により生成された画像を表示することを特徴とする請求項５に記載の画像処理装置。
7. 前記記録手段は、前記表示制御手段により画像が表示された状態で前記選択手段によりシーンの選択がなされた場合、該表示された画像に対応する視点の異なる複数の画像データに関連付けて記録するシーンに関する情報を、該選択されたシーンに更新して記録することを特徴とする請求項６に記載の画像処理装置。
8. 前記生成手段は、所望の距離に合焦するリフォーカス面における各画素に対応する画像データをそれぞれ合成することで、所望の距離に合焦した画像を生成することを特徴とする請求項１乃至７のいずれか1項に記載の画像処理装置。
9. 前記シーンは人物撮影を含み、
   前記生成手段は、前記選択手段により人物撮影が選択された場合に、前記画像データの画像に含まれる顔に合焦した画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記シーンは風景撮影及び夜景撮影を含み、
    前記生成手段は、前記風景撮影及び夜景撮影のいずれかが選択された場合に、他のシーンに比べて被写界深度を深くした画像を生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記取得手段から取得される複数の画像データは、撮影レンズを介して入射した光を光電変換して画像データを出力する撮像素子と、前記撮影レンズと前記撮像素子との間に配置され、予め決められた数の画素から成る前記撮像素子の複数の領域それぞれに対応する複数のマイクロレンズとで得られた画像データであることを特徴とする請求項１乃至１０のいずれか1項に記載の画像処理装置。
12. 光の強度分布及び光の入射方向の情報を含む画像データを取得する取得手段と、
    前記取得手段から取得される画像データを用いて、設定によって決まる距離に合焦した画像を生成する生成手段と、
    シーンを選択する選択手段と、
    画像データに、前記選択手段により選択されるシーンに対応する色あいへの色補正を含む画像処理を施す画像処理手段と、を有し、
    前記生成手段は、前記選択手段により選択されたシーンに対応する距離に合焦した画像を生成することを特徴とする画像処理装置。
13. 前記選択手段は、ユーザによる操作手段へのシーンの指示に応じてシーンを選択することを特徴とする請求項１乃至１２のいずれか1項に記載の画像処理装置。
14. 被写体を撮像し、前記取得手段に画像データを出力する撮像手段と、
    請求項１乃至１３のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
15. 前記選択手段により選択されたシーンに基づいて、前記撮像手段の露光条件を制御する撮像制御手段を有することを特徴とする請求項１４に記載の撮像装置。
16. 取得手段が、視点の異なる複数の画像データを取得する取得工程と、
    選択手段が、シーンを選択する選択工程と、
    画像処理手段が、画像データに、前記選択工程で選択されたシーンに対応する色あいへの色補正を含む画像処理を施す画像処理工程と、
    生成手段が、前記取得工程で取得される複数の画像データを用いて、前記選択工程で選択されたシーンに対応する距離に合焦した画像を生成する生成工程と、
    を有することを特徴とする画像処理装置の制御方法。
17. 取得手段が、光の強度分布及び光の入射方向の情報を含む画像データを取得する取得工程と、
    選択手段が、シーンを選択する選択工程と、
    画像処理手段が、画像データに、前記選択工程で選択されたシーンに対応する色あいへの色補正を含む画像処理を施す画像処理手段と、を有し、
    生成手段が、前記取得工程で取得される画像データを用いて、前記選択工程で選択されたシーンに対応する距離に合焦した画像を生成する生成工程と
    を有することを特徴とする画像処理装置の制御方法。
18. コンピュータに、請求項１６または１７に記載の画像処理装置の制御方法の各工程を実行させるためのプログラム。
19. 請求項１８に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images