JP6055332B2 - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に撮影により得られた出力データから任意の被写体距離に合焦した画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置において、撮像時に被写体空間の光の２次元強度分布と光線の入射角とを示す情報（光照射野情報：Light Field Information）をデータ（ＬＦデータ：Light Field Data）として記録するものがある。このようにして得られたＬＦデータは、所定の演算を行うことにより、任意の被写体距離に合焦した画像（再構成画像）を生成することができる（非特許文献１、２）。

一方、撮像装置を用いる撮影においては、出力された画像信号について撮影シーンや用途に合わせて異なる画像処理を適用するものがある。例えば撮像素子に蓄積型の光電変換素子を用いる場合、露光中に蓄積電荷が飽和した際に電荷を読み出して再度露光を行うことで複数回の電荷読み出しに対応する画像信号を取得し、それらを合成することでダイナミックレンジを拡張するものもある（特許文献１）。

特開昭５９−３４７７２号公報

レン・イング（Ren.Ng）、外７名著、「ハンドヘルド型プレノプティックカメラを用いる光照射野撮影（Light Field Photography with a Hand-Held Plenoptic Camera）」、（米国）、スタンフォード・ユニバーシティ・コンピュータ・サイエンス・テック・レポート・シーティーエスアール（Stanford University Computer Science Tech Report CTSR）2005-02 トドル・ゲオルギエフ（Todor Georgiev）、アンドリュー・ラムスデン（Andrew Lumsdaine）著、「プレノプティック２．０カメラを用いる超解像（Superresolution with Plenoptic 2.0 Camera）」、（米国）、信号復元及び合成（Signal Recovery and Synthesis）、米国光学会（Optical Society of America）、2009年

しかしながら、非特許文献１及び２のようなＬＦデータを用いた再構成画像の生成において、撮影シーンや用途に合わせて複数回の露光により得られた複数のＬＦデータを好適に処理する方法はこれまで提案されていなかった。

本発明は、上述の問題点に鑑みてなされたものであり、時分割露光で得られた複数のＬＦデータから、撮影シーンや用途に合わせた好適な再構成画像を生成する画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、複数のタイミングのそれぞれについて、同一被写体を異なる視点につき撮像して得られた複数の画像を取得する取得手段と、同一時間について得られた画像間の像の位相差を検出する第１の検出手段と、同一の視点につき異なるタイミングに撮像して得られた画像間の位相差を検出する第２の検出手段と、取得手段により得られた画像のうちの少なくとも一部の画像を、第１の検出手段及び第２の検出手段の少なくともいずれかにより検出された位相差を解消するように合成して出力画像を生成する生成手段と、生成手段による出力画像の生成条件を設定する設定手段と、を有し、生成手段は、設定手段により設定された出力画像の生成条件の情報に従って、合成に用いる画像と解消する位相差とを選択して出力画像を生成することを特徴とする。

このような構成により本発明によれば、時分割露光で得られた複数のＬＦデータから、撮影シーンや用途に合わせた好適な再構成画像を生成することが可能となる。

本発明の実施形態に係るカメラシステムに含まれるデジタルカメラ１００及びレンズ２００の機能構成を示したブロック図 本発明の実施形態に係る撮像部１０２の詳細構成を説明するための図 本発明の実施形態１に係る画像処理部１０３の、再構成画像の生成処理に係るハードウェア構成を示した図 本発明の実施形態に係る輝度画像間の位相差検出を実現するハードウェア構成を示した図 本発明の実施形態に係る再構成画像の生成例を説明するための図 本発明の実施形態に係る再構成画像の生成に用いる画像を示した図 本発明の実施形態２に係る画像処理部１０３の、再構成画像の生成処理に係るハードウェア構成を示した図 本発明の実施形態３に係る画像処理部１０３の、再構成画像の生成処理に係るハードウェア構成を示した図 本発明の実施形態４に係る画像処理部１０３の、再構成画像の生成処理に係るハードウェア構成を示した図 本発明の実施形態５に係る画像処理部１０３の、再構成画像の生成処理に係るハードウェア構成を示した図 本発明の実施形態６に係る画像処理部１０３の、再構成画像の生成処理に係るハードウェア構成を示した図 本発明の実施形態７に係るシステム構成、及び再構成画像の生成処理に係るアプリケーションに係るＧＵＩ構成を例示した図 本発明を適用可能な他の光学系を説明するための図

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号を取得可能な撮像装置を有するカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号を取得可能な任意の機器に適用可能である。

また、本明細書において、以下の用語を定義して説明する。

・「ＬＦデータ」
本実施形態のデジタルカメラ１００が有する撮像部１０２から出力され、所定の現像に係る画像処理が適用されて得られた画像信号。ＬＦデータの各画素は、通過した撮像光学系２０２の分割瞳領域と入射方向との組み合わせが異なる光束に対応する信号強度を示す。ＬＦデータは、光線空間情報とも呼ばれる。

・「再構成画像」
ＬＦデータから生成される、任意の焦点面の位置に合焦した画像。具体的にはＬＦデータから同一の分割瞳領域を通過した画素で生成される複数（瞳分割数）の分割瞳画像について、生成する被写体距離に存在する被写体の像が一致するように位置合わせを行い、対応する画素の画素値を合算（重ね合わせ）することで得られる画像。

《カメラシステムの構成》
図１は、本発明の実施形態に係るカメラシステムに含まれる、デジタルカメラ１００及びレンズ２００の機能構成を示すブロック図である。

〈デジタルカメラ１００の構成〉
カメラ制御部１０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。カメラ制御部１０１は、デジタルカメラ１００が有する各ブロックの動作プログラムをＲＯＭから読み出し、ＲＡＭに展開して実行することにより、デジタルカメラ１００が有する各ブロックの動作制御を行う。またカメラ制御部１０１は、撮像部１０２から出力される画像信号の解析により決定した焦点位置の情報や、決定した露出設定に対応する絞り値等の情報を、電気接点１０７を介してレンズ２００に送信する。

撮像部１０２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０２は、設定された露出設定に基づいて、カメラ制御部１０１により生成されたタイミング信号に基づいて撮像素子が有する各光電変換素子（画素）の露光及び読み出しを行う。そして撮像部１０２は、得られたＲＡＷ−ＬＦデータ（現像前のＬＦデータ）のアナログ画像信号を画像処理部１０３に出力する。具体的には撮像部１０２は、レンズ２００の撮像光学系２０２により撮像素子の受光面に結像された光学像を光電変換し、アナログ画像信号を出力する。

また本実施形態のデジタルカメラ１００では、撮像素子１０９の表面には、図２（ａ）に示されるようにマイクロレンズ２０が格子状に配列されたマイクロレンズアレイ１０８が配設される。マイクロレンズアレイ１０８の１つのマイクロレンズ２０は、図２（ｂ）に示されるように撮像素子１０９の複数の光電変換素子（画素）に対応付けられる。レンズ２００の撮像光学系２０２を介して入射した光束は、各マイクロレンズ２０により、対応付けられた撮像素子１０９の画素に結像されることで瞳分割される。即ち、対応付けられた撮像素子１０９の各画素には、対応付けられた画素位置に対応する撮像光学系２０２の分割瞳領域を通過した光束が結像される。図２（ｂ）の例では、１つのマイクロレンズ２０には５×５＝２５個の画素が対応付けられており、撮像光学系２０２の瞳分割数は２５となる。

図２（ｃ）は、１つのマイクロレンズに対応付けられた画素と、各画素に結像される光束が通過する撮像光学系２０２の射出瞳の分割瞳領域の対応関係を示した図である。なお、図２（ｃ）の例では簡単のため、１つのマイクロレンズ２０に対して水平方向５つの画素２１乃至２５がマイクロレンズ２０の中心を通る水平線上に並んで配置されているものとする。このとき、マイクロレンズ２０により各画素は、射出瞳面上における分割瞳領域３１乃至３５と共役関係になるように設計される。図２（ｃ）の例では、画素２１は分割瞳領域３１、画素２２は分割瞳領域３２、画素２３は分割瞳領域３３、画素２４は分割瞳領域３４、そして画素２５は分割瞳領域３５と共役関係にある。

画像処理部１０３は、撮像部１０２から出力されたＲＡＷ−ＬＦデータのアナログ画像信号に対して、現像に係る処理を含む所定の画像処理を実行する。具体的には画像処理部１０３は、入力されたアナログ画像信号に対するＡ／Ｄ変換処理、ホワイトバランス調整処理、ガンマ補正処理、デモザイキング処理等を行う。なお、本実施形態では画像処理部１０３は、得られたＬＦデータから再構成画像を生成する処理も行う。また画像処理部１０３は、上述した各工程で生成されるＲＡＷ−ＬＦデータ、ＬＦデータ、再構成画像や音声等のデータなどに、予め定められた符号化方式に応じて圧縮処理を実行する。また画像処理部１０３は、上述した各工程で生成されるＲＡＷ−ＬＦデータ、ＬＦデータ、再構成画像や音声等のデータをモードやユーザ指示に応じてメモリや記録媒体に記録するか、あるいは所定の形式に変換して外部に出力する。各種画像処理は、専用回路等により実現されてよい。

メモリ１０４は、記憶素子及び該記憶素子への読み書きを行う処理回路を有する。メモリ１０４は、記憶素子への出力を行うとともに、表示部１０５に出力する画像を保存する。またメモリ１０４は、符号化された画像、動画、音声データ等を保存する。

表示部１０５は、例えばＬＣＤ等のデジタルカメラ１００が備える表示装置である。表示部１０５には、撮像により得られたＬＦデータから生成された再構成画像等が表示される。

操作検出部１０６は、デジタルカメラ１００が有するレリーズボタン等のユーザインタフェースになされた操作を検出する。具体的には操作検出部１０６は、ユーザにより例えばレリーズボタンが操作されたことを検出すると、該操作に対応する制御信号をカメラ制御部１０１に出力する。

〈レンズ２００の構成〉
レンズ制御部２０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。レンズ制御部２０１は、ＲＯＭに格納されているレンズ２００が有する各ブロックの動作プログラムを読み出し、ＲＡＭに展開して実行することにより、各ブロックの動作を制御する。レンズ制御部２０１は、電気接点１０７を介してカメラ制御部１０１より焦点位置や絞り値の情報を受信すると、該情報をレンズ駆動部２０３に伝送し、撮像光学系２０２の対応する光学部材を駆動させる。

撮像光学系２０２は、レンズ２００が有するレンズ群や絞り等で構成される。本実施形態では撮像光学系２０２は、少なくともフォーカスレンズ、シフトレンズ、及び絞りを含む。レンズ駆動部２０３は、レンズ制御部２０１から入力された情報に従い、撮像光学系２０２のフォーカスレンズ、シフトレンズ、及び絞りの駆動制御を行う。なお、本実施形態のレンズ制御部２０１には不図示の手振れ検出センサが接続されており、レンズ駆動部２０３はレンズ制御部２０１より入力された該センサの出力に応じてシフトレンズを駆動する。

《再構成画像の生成処理に係る構成》
以下、本実施形態に係る画像処理部１０３の、再構成画像の生成処理に係る構成を図３を用いて説明する。図３は、再構成画像の生成処理に係る構成をハードウェアとして実現する場合の構成例を示しているが、本発明の実施においては該構成をソフトウェアとして実装して実現してもよい。

図３において、分割瞳画像３０１−１乃至３０１−ｎはそれぞれ同一時間に撮影されたＬＦデータから生成された画像を示している。本実施形態の再構成画像の生成処理において、画像処理部１０３はＬＦデータを同一の分割瞳領域を通過した光束に対応する画素を位置関係に応じて結合し、瞳分割数の画像（分割瞳画像）を生成する。即ち、本実施形態において画像処理部１０３は、マイクロレンズアレイ１０８の各マイクロレンズに対応付けられた撮像素子の画素から、マイクロレンズとの相対的な位置関係が同一の画素が出力した画像信号を各々結合することで瞳分割数の分割瞳画像を生成する。具体的には図２（ｂ）の例では、各マイクロレンズ２０ａ、ｂ、ｃ、ｄに対応付けられた５×５の画素を、（１，１）、（１，２）、・・・、（５，５）の座標ごとに分類し、ＬＦデータから同一の座標に分類された画素のみを用いて各分割瞳画像を生成する。つまり、図２（ｂ）の例では、２５種類の分割瞳画像が生成される。図３の例では、同一時間に撮影されたＬＦデータから生成された分割瞳画像は、１〜ｎまでの識別符号を付して示しているが、図２（ｂ）の例ではｎ＝２５となる。このようにして生成された分割瞳画像は、それぞれ異なる分割瞳領域を通過した画像に対応しているため、同一時間に同一被写体をそれぞれ異なる位置で撮影して得られた画像となっている。

なお、本実施形態では分割瞳画像はマイクロレンズアレイ１０８の１つのマイクロレンズ２０に対応付けられた画素の数だけ生成されるものとして説明するが、生成される分割瞳画像の数はこれに限られない。例えば、１つのマイクロレンズ２０に対応付けられた画素のうち、隣接する複数の画素の画素値を合算した上で各分割瞳画像の生成が行われてもよい。具体的には図２（ｂ）の例では、（１，１）、（１，２）、（２，１）、（２，２）等の座標を有する２×２の画素群に分類し、同一の座標に分類された画素群のみを用いて４×４＝１６種類の分割瞳画像を生成するようにしてもよい。また、後述する用途に応じて、全ての分割瞳領域に対応する分割瞳画像を生成しないようにしてもよい。

また図３において、分割瞳画像３０１乃至３０４は異なる時間に撮影されたＬＦデータから生成された画像を、時系列順に示している。本実施形態では、デジタルカメラ１００において時分割で複数回の撮影が行われ、複数のＬＦデータが存在する際の再構成画像の生成処理について説明するが、１回の撮影により得られたＬＦデータについても本発明は適用可能である。

このような複数のＬＦデータから生成された複数の分割瞳画像（分割瞳画像群３００）について、合成部３１５が撮影シーンや用途に応じて分割瞳画像を選択し、合成を行うことで再構成画像を生成する。

なお、再構成画像の生成において合成部３１５は、合焦する被写体距離に存在する被写体像が位相差なく重なるように、複数の分割瞳画像を該被写体像を基準に位置合わせして合成を行う。本実施形態の画像処理部１０３では、合成時の位置合わせに必要な分割瞳画像間それぞれの位相差の情報を、時間内位相差検出部３１１及び同一瞳内位相差検出部３１３から取得する。

〈分割瞳画像間の位相差検出〉
時間内位相差検出部３１１及び同一瞳内位相差検出部３１３は、それぞれ入力された２つの画像間の位相差を検出する比較器３１２及び比較器３１４を有している。各比較器には輝度画像に変換された２つの分割瞳画像が入力される。ここで、比較器３１２または３１４の動作について、図４を用いて詳細を説明する。

図４（ａ）に示されるように、比較対象となる注目輝度画像４０１と他の輝度画像４０２とが、比較器に入力される。そして比較器は、注目輝度画像４０１を分割した各領域が他の輝度画像４０２においていずれの位置に存在するかを、位相を変更しながら、即ち比較対象とする領域を移動させながら探索する。図４（ｂ）、（ｃ）、及び（ｄ）はそれぞれ位相を変更しながら探索を行っている際の、探索方向のラインにおける注目輝度画像４０１と他の輝度画像４０２との信号レベル分布のずれを示している。ここで、図４（ｃ）は探索対象の領域について、ノイズの影響により多少のばらつきは生じるが、注目輝度画像４０１と他の輝度画像４０２の位相が一致したと判断する場合の例を示している。なお、図４（ｃ）において位相が一致した場合であっても信号レベル分布に若干の差異が生じる現象は、画像に対応する分割瞳領域が異なることやノイズ等の影響によるものである。

本実施形態では時間内位相差検出部３１１が同一時間に撮影されたＬＦデータから生成された分割瞳画像についての位相差を検出する（第１の検出）。また、同一瞳内位相差検出部３１３が異なる時間に撮影されたＬＦデータから生成された分割瞳画像についての位相差を検出する（第２の検出）。

時間内位相差検出部３１１の比較器３１２において位相差検出を行う分割瞳画像の組み合わせは、例えば光束が通過した分割瞳領域が同一の水平位置あるいは垂直位置を有する関係にある画像に限定してもよい。具体的には、図２（ｂ）の分類における座標（１，１）と（１，５）に分類された画像、あるいは座標（１，１）と（５，１）に分類された画像を比較対象としてもよい。これらの画像はそれぞれ水平視差と垂直視差を有する関係にある画像である。

なお、水平方向及び垂直方向のそれぞれについて同一時間に撮影された１組の分割瞳画像間の位相差が判明すれば、その他の組み合わせについては位相差を推定することができる。これは、所謂三角測距の原理から明らかなように、同一物体についての被写体像の位相差は、各分割瞳画像の視線方向の乖離度に比例するからである。具体的には、例えば図２（ｃ）の分割瞳領域３２及び３４を通過した光束に対応する分割瞳画像間において被写体像の位相差が２画素分であったとする。このとき、分割瞳領域３２及び３３を通過した光束に対応する分割瞳画像間において生じる被写体像の位相差は、射出瞳面において分割瞳領域間の距離が分割瞳領域３２と３４との距離の半分であるため、位相差も半分の１画素分と推定できる。

またこのように選択された視差を有する関係にある画像間ではエピポーラ拘束が生じるため、探索方向を限定することができる。即ち、水平視差を有する関係にある画像間では、注目輝度画像４０１の探索対象の領域４１１と同一の垂直座標を有する他の輝度画像４０２内の領域４１２について位相差検出を行えばよい。また垂直視差を有する関係にある画像間では、注目輝度画像４０１の探索対象の領域４１１と同一の水平座標を有する他の輝度画像４０２内の領域４１２について位相差検出を行えばよい。

なお、図３の例では、時間内位相差検出部３１１の各比較器３１２には、識別符号「１」と「ｎ」が付された分割瞳画像が入力されている。しかしながら、エピポーラ拘束を考慮した探索方向の限定を行わない場合は、水平視差あるいは垂直視差を有する関係にある分割瞳画像を比較器３１２に入力しなくてもよい。

一方、同一瞳内位相差検出部３１３の比較器３１４において位相差検出を行う分割瞳画像の組み合わせは、同一の分割瞳領域を通過した光束に対応する画像に限定する。これは、時間経過により被写体像がいずれの位置に移動したかを検出するためである。即ち、手ブレや被写体ブレの影響によって画像内における被写体像の相対的な位置変化を、同一の条件（分割瞳領域）で検出する必要があるからである。図３の例では、同一瞳内位相差検出部３１３の比較器３１４には識別符号「２」が付された分割瞳画像が入力されている。また注目輝度画像４０１となる分割瞳画像は分割瞳画像３０１−２となっているが、これに限られるものではないことは容易に想像されよう。

各比較器は、例えば図４（ａ）に示されるように、注目輝度画像４０１の領域４１１について、他の輝度画像４０２の同一位置からｘ方向及びｙ方向の少なくともいずれかの方向に領域４１２を移動させながら位相差が最も小さくなる位置を探索する。位相差が最も小さくなる位置の探索は、例えば差分絶対値の積分値ＳＡＤ（Sum of Absolute Difference）が最小となる箇所を探索することにより行われてよい。ＳＡＤは、注目輝度画像４０１の領域４１１内の画素をＡ（ｉ，ｊ）、他の輝度画像４０２において領域４１１の座標からｘ方向にΔｘだけ移動した位置に設定される探索対象の領域４１２内の画素をＢ（ｉ＋Δｘ，ｊ）とすると、
で算出することができる。このとき、ＳＡＤが最小となるΔｘが、最小となる位相差に相当する。なお、探索は画素単位で行われる必要はない。

またエピポーラ拘束を考慮せずに探索を行う場合のＳＡＤは、他の輝度画像４０２において領域４１１の座標からｘ方向にΔｘ、ｙ方向にΔｙだけ移動した位置に設定される探索対象の領域４１２内の画素をＢ（ｉ＋Δｘ，ｊ＋Δｙ）とすると、
で算出することができる。

また位相差が最も小さくなる位置の探索には、差分の自乗和ＳＳＤ（Sum of Squared Difference）が最小となる箇所を探索することにより行われてもよい。ＳＳＤは、エポピーラ光束を考慮して探索方向を限定する場合、
で算出することができる。

また本実施形態では、各マイクロレンズ２０に割り当てられた画素群から１つずつ画素を抽出して輝度画像を生成している。このようにして生成された輝度画像は、撮像光学系２０２をマイクロレンズ２０に割り当てられた画素の数に分割した限定的な分割瞳領域を通過する、所謂絞り状態で得られた光束に対応している。即ち、被写界深度が深いため、様々な被写体距離に存在する被写体像について位相差が検出できる。しかしながら、本発明の実施において各被写体の位相差検出のために生成される輝度画像はこれに限られず、少なくとも２種類の分割瞳領域に対応する輝度画像が位相差検出のために用いられればよい。

このようにして得られた分割瞳画像間の被写体像の位相差に応じて、合成部３１５は被写体像の位置合わせを行い、該被写体に合焦した再構成画像を生成する。例えば分割瞳画像が図５（ａ）のようであって、太枠を付した画像が合成に用いられる場合、合成部３１５において該画像は被写体像についての位相差に応じて図５（ｂ）のように位置合わせされて合成される。このようにすることで、合成部３１５は被写体である鉢植えについて被写体ブレや焦点ボケが少ない再構成画像を出力することができる。

《分割瞳画像の選択方法》
ここで、合成部３１５における再構成画像の生成に用いる分割瞳画像を、撮影シーンや用途に応じて選択する方法について図６を参照して説明する。図６の各図では、図３において説明した分割瞳画像と同様に、同一時間に撮影されたＬＦデータから生成された分割瞳画像については同一の参照番号と、対応している分割瞳領域を識別する参照符号１〜ｎとが付されている。また異なる時間に撮影されたＬＦデータから生成された分割瞳画像については、異なる参照番号６０１〜６０４が付されている。また、各図では、合成部３１５において再構成画像の生成に用いる分割瞳画像はハッチングされて示される。

〈低照度シーン〉
低照度シーンにおいて被写体を明るくとらえた画像を得るためには、露光量を多くする必要がある。しかしながら、露光量を増加させるために１回の撮影に係る露光時間を長くすると手ブレの影響を受けて得られる画像にボケが生じる。一般的には撮像光学系２０２の焦点位置の逆数よりも露光時間が長くなった場合、１回の撮影に係る露光中にブレの影響を受ける。このため通常の撮像装置では、１回の露光時間が撮像光学系２０２の焦点位置の逆数よりも短い撮影を複数回行い、得られた複数の画像を合成することでブレを軽減しつつ被写体像の明るさを確保した画像を撮影する方法が採られている（電子手ブレ補正）。

しかしながら、電子手ブレ補正における複数回の露光は連続して行われるため、焦点調整動作等を露光中に行うことはない。つまり、本発明のような光束を瞳分割して記録しない従来の撮像装置では、複数回の露光中に撮像装置が前後に移動（被写体に対して近づくまたは遠ざかる奥行き方向の移動）した場合に、合成対象の画像において主被写体の像のサイズが変化する。あるいは主被写体の像に焦点が合わず、ボケてしまうことがある。即ち、このような変化が画像に生じた場合、該画像を合成したとしても、好適な画像を得ることはできない。

一方、本発明のように光束を瞳分割してＬＦデータとして記録する場合、ＬＦデータから任意の焦点に合焦した画像を生成することができる。即ち、複数回の露光中にデジタルカメラ１００が前後に移動したとしても、被写界深度の深い分割瞳画像において主被写体の像がボケないため、主被写体に好適に合焦し、ブレの影響を受けない画像を生成することができる。

このため、低照度シーンにおいて手持ち撮影するような状態であることが検出された場合、画像処理部１０３は図６（ａ）に示されるように、異なる時間に撮影されたＬＦデータから生成された全て、あるいは多くの分割瞳画像を再構成画像の生成に用いる。これにより、同一時間について全ての分割瞳画像を位置合わせして合算することで、被写界深度が浅くなる等の撮像光学系２０２の開口が大きい場合と同様の効果を再構成画像において得ることができる。また複数の異なる時間について分割瞳画像を位置合わせして合算することで、露光中に主被写体の焦点状態が変化したとしても追従して合成を行った場合と同様の効果を再構成画像において得ることができる。つまり、マクロ撮影のように前後方向のブレが問題になるようなシーンであっても、好適な明るさを有し、良好な焦点状態を保持した再構成画像を得ることができる。なお、前後方向のブレの追従については、低照度シーンに限らず、異なる時間の分割瞳画像を合成に用いる場合は、その効果を得ることができる。

〈長秒露光撮影〉
噴水の水が流れている様子を撮影する場合等、時間方向に広がりをもつ画像を生成したい場合は、通常の撮像装置では長秒露光撮影（露光時間が長い）が使用される。また特に風景シーンの撮影においては、被写界深度を深くすることが好ましい。このような撮影においては、長秒露光により増加する露出量を調整する必要がある。通常、絞りを絞り状態とすることで被写界深度を深くするとともに露光量を制限し、かつＮＤフィルタ等の減光作用を有するフィルタを適用することで露出制御が行われる。

本発明のように光束を瞳分割して記録する場合は、異なる時間に撮影されたＬＦデータから生成された分割瞳画像を足し合わせる過程で、分割瞳領域を限定することで、同等の効果を得ることができる。具体的には例えば図６（ｂ）に示されるように、限定的な分割瞳領域に対応する分割瞳画像を時間方向に合算することで、通常のカメラにおける風景の長秒露光撮影と同等の再構成画像を生成することができる。即ち、合算する分割瞳領域を限定することで絞り状態と同等の効果を得、光量が少なく、かつ被写界深度の深い分割瞳画像を合成に用いることができる。このとき、図６（ｂ）において参照符号１と２が付された分割瞳画像は隣接した分割瞳領域に対応しているものとする。

なお、分割瞳領域を限定して再構成画像の合成に用いる方法は、特定の方向から見た画像を生成する際にも用いることができる。

〈焦点状態の強調用途〉
焦点位置がズレていることを強調した画像、あるいは焦点位置がいずれにあるかを表現した画像を生成する場合は、任意の方向に視差を有する関係にある分割瞳画像のうち、その視差の量が相対的に大きい画像を選択して合成すればよい。

例えば主被写体以外の被写体について焦点位置がズレていることを強調した画像を生成する場合は、図６（ｃ）に示すように、図２（ｃ）の例において分割瞳領域３１と３５の各々を通過した光束に対応する分割瞳画像を再構成画像の生成に用いる。このとき、主被写体について位置合わせし、かつ適切な光量となるように時間方向に該分割瞳領域に対応する分割瞳画像を合算することで、主被写体以外の被写体の像ズレが強調された再構成画像を生成することができる。一方、視差量が相対的に大きい画像を位相差を調整せずに合成することで、所謂二像一致のように焦点位置に存在する被写体の像に位相差がなくなった再構成画像を生成することもできる。即ち、焦点位置がいずれの被写体に存在するかを把握可能な再構成画像を生成することができる。

〈モーションブラー解消用途〉
低照度シーンについては、１回の露光時間を制限することで手ブレの影響を回避することについて説明した。しかしながら、被写体が乗り物等の高速に移動する物体等であった場合、露光時間を制限したとしても被写体ブレ、所謂モーションブラーの影響を回避することは難しい。このようなモーションブラーが発生しうる撮影シーンにおいては、「Coded Exposure」という手法をとることで、ブラーを生じさせる移動関数を解析し、ブラーの復元を行うことができる。具体的には「Coded Exposure」では、露光時間を特定のパターンにコード化することで、それぞれの露光時間でのブラー量を解析することで、移動被写体の移動関数を解析している。

このような技術は、本発明のデジタルカメラ１００においても容易に実現することができる。例えば分割瞳画像においてモーションブラーが生じていることを検出した場合は、図６（ｄ）に示されるように特定の時間に撮影された分割瞳画像を再構成画像の生成処理に用いる画像として選択することで、「Coded Exposure」と同等の効果を得ることができる。この場合、連続して選択された時間帯をグループとし、各グループについて分割瞳画像を合算することで得られた画像を解析に用いた上で、モーションブラーを解消した再構成画像を生成すればよい。図６（ｄ）の例では、分割瞳画像６０１−１乃至ｎ及び分割瞳画像６０２−１乃至ｎを合算して生成された画像と、分割瞳画像６０４−１乃至ｎを合算して生成された画像の２つが、解析に用いられる。なお、解析精度を向上させるためには、ＬＦデータの時分割撮影において時間分解能を増加させておくことが好ましい。

〈短秒露光撮影〉
上述した長秒露光撮影とは反対に、時間方向に広がりをもたない、特定の時間を画像として切り出したいような用途では、図６（ｅ）のように再構成画像の生成処理に用いる分割瞳画像を、時間方向に制限すればよい。このとき、光量を得るために同一時間についての分割瞳画像は多く選択し、位置合わせして合成することにより、主被写体について合焦し、かつ主被写体の動きを静止させたように表現した再構成画像を生成することができる。

〈ダイナミックレンジ拡張用途〉
ＬＦデータの時分割撮影において、露光量を制御することで、ダイナミックレンジを拡張した再構成画像を生成することもできる。即ち、時分割撮影において適正露光となる適正露出時間よりも短い時間で撮影したアンダーのＬＦデータと、適正露出時間よりも長い時間で撮影したオーバーのＬＦデータとを取得すればよい。つまり、図６（ｆ）に示すように、アンダーのＬＦデータから生成された分割瞳画像６０１−１乃至ｎと、オーバーのＬＦデータから生成された分割瞳画像６０２−１乃至ｎとを用いることで、ダイナミックレンジを拡張した再構成画像を生成できる。なお、図では露光時間が異なることを示すために、分割瞳画像６０１と分割瞳画像６０２とでハッチングパターンを異ならせている。

〈ホワイトバランス調整用途〉
デジタルカメラ１００がフラッシュ等の投光部を有する場合、投光色を変化させて被写体に投光することで、物体の色推定を行うことができる。具体的には図６（ｇ）においてハッチングを異ならせて示すように、ＬＦデータの時分割撮影においてそれぞれ投光色をＲ、Ｇ、Ｂと変化させて露光を行う。そして各露光の結果得られたＬＦデータから生成された分割瞳画像を全て合成して得られた画像から物体の色を推定し、ホワイトバランスの調整に利用する。

このように、撮影シーンや用途に応じて時分割撮影の露光時間や再構成画像の生成処理に用いる分割瞳画像の選択方法を異ならせることで、本実施形態の画像処理部１０３は好適な再構成画像を生成することができる。なお、本発明の実施はこれに限らず、予めＬＦデータを時分割撮影するように構成し、複数のＬＦデータを、記録後にシーン解析の結果やユーザの好みに応じて好適に処理して再構成画像を生成するようにしてもよい。この場合、例えばカメラ制御部１０１がＬＦデータのシーン解析を行い、あるいはユーザによる指示を判断して、画像処理部１０３の動作を制御すればよい。

以上説明したように、本実施形態の画像処理装置は、時分割露光で得られた複数のＬＦデータから、撮影シーンや用途に合わせた好適な再構成画像を生成することができる。具体的には画像処理装置は、複数のタイミングのそれぞれについて、同一被写体を異なる位置において撮像して得られた複数の画像を取得する。そして、同一時間について得られた画像間における像の第１の位相差、及び同一の位置において異なるタイミングに撮像して得られた画像間における第２の位相差を検出する。画像処理装置は、取得した画像のうちの少なくとも一部の画像を、設定された生成条件に従って、合成に用いる画像を選択し、第１及び第２の位相差の少なくともいずれかを解消するように合成して出力画像を生成する。

［実施形態２］
上述した実施形態１では、時間内位相差検出部３１１及び同一瞳内位相差検出部３１３において、分割瞳画像の全領域について検出して得られた位相差を、主被写体についての位相差として取得するものとしていた。本実施形態の画像処理部１０３では、図７に示されるように、人物の顔等、特定の被写体について位相差を検出する被写体検出部７００を有する。

例えば時間内位相差検出部３１１の比較器３１２、及び同一瞳内位相差検出部３１３の比較器３１４において注目輝度画像を参照符号「２」を付した分割瞳画像の輝度画像とする場合について考える。このとき該注目輝度画像は被写体検出部７００にも入力され、検出された被写体位置の情報が、時間内位相差検出部３１１及び同一瞳内位相差検出部３１３に提供される。このようにすることで、時間内位相差検出部３１１及び同一瞳内位相差検出部３１３の各比較器においては、検出された被写体の位置に対応する領域においてのみ位相差の検出を行えばよいので、処理量を低減することができる。

［実施形態３］
本実施形態の画像処理部１０３では、合成部３１５が図８に示すように時間内合成部８１１の各合成器８１２と同一瞳内合成部８１３とに分かれている。

本実施形態では再構成画像の生成処理において、まず時間内位相差検出部３１１が同一時間に撮影されたＬＦデータから生成された分割瞳画像について位相差を検出する。そして時間内合成部８１１の各合成器８１２が、検出された位相差に応じて、各時間に撮影されたＬＦデータから生成された全ての分割瞳画像を合成し、時間ごとに主被写体に合焦した合成画像（時間内合成画像）を生成する。

同一瞳内位相差検出部３１３の比較器３１４は、生成された時間内合成画像について画像間の位相差を検出する。時間内合成画像は、各時間について分割瞳領域を統合した、開口が大きい瞳に対応しているため、焦点深度が浅く、明るい画像となっている。そして主被写体については合焦してコントラストが高く、それ以外の被写体についてはコントラストが低い画像となっているため、比較器３１４における位相差検出は、主被写体について良好な精度で検出結果が得られる。これは、コントラストが低い領域ではＳＡＤやＳＳＤの変化量は低いため、比較器３１４における位相差検出が主被写体に重点的となるからである。

そして同一瞳内合成部８１３は、比較器３１４で検出された位相差に基づいて時間内合成画像を合成し、デジタルカメラ１００の前後方向の移動があったとしても、主被写体に合焦した良好な再構成画像を生成することができる。

［実施形態４］
本実施形態の画像処理部１０３では、図９に示すように、実施形態３の画像処理部１０３の構成と時間内位相差検出部３１１がない点で異なっている。同一時間に撮影されたＬＦデータから生成された分割瞳画像は、位相差の検出が行われず、時間内合成部８１１の各合成器８１２で被写体像の位置合わせをすることなく合成され、時間内合成画像として出力される。

このような構成とした場合、時間内合成画像において主被写体への合焦や、デジタルカメラ１００の前後方向の移動による被写体のボケ低減の効果は確保されない。しかし、デジタルカメラ１００の移動により生じる、撮影時の焦点位置に存在する被写体の像ズレの影響を低減した再構成画像を生成することは可能である。

なお、本実施形態では時間内合成部８１１において位置合わせをすることなく時間内合成画像を生成するものとして説明した。しかしながら、デジタルカメラ１００が時間内位相差検出部３１１以外に各ＬＦデータの焦点位置を取得可能な手段が存在する場合は、これに限られない。つまり、該手段から取得した焦点位置の情報を用いて時間内合成部８１１において位置合わせをして時間内合成画像を生成することで、画像処理部１０３は焦点位置を追従して再構成画像を生成することもできる。
［実施形態５］
本実施形態では、撮影されたＬＦデータから、視点を変更した視点変更画像を後ほど確認したい場合における再構成画像の生成処理に係る画像処理部１０３の構成について説明する。本実施形態の画像処理部１０３では、実施形態３及び４で示した構成とは異なり、先に時間方向の合成を行って同一瞳内合成画像を生成した後、該同一瞳内合成画像を合成して再構成画像を生成する。

本実施形態では再構成画像の生成処理において、まず同一瞳内位相差検出部３１３が各分割瞳領域について異なる時間に得られた分割瞳画像について位相差を検出する。そして同一瞳内合成部１０１１の各合成器１０１２が、検出された位相差に応じて、各分割瞳領域で撮影されたＬＦデータから生成された全ての分割瞳画像を合成し、瞳分割数の同一瞳内合成画像（瞳内合成画像）を生成する。この瞳内合成画像は、時間方向には積分（加算）された状態にあるが、瞳に関して積分（加算）されていないので、それぞれの画像は異なる視点から見た画像となっている。

また、図１０において各分割瞳領域の位相差を検出する際には代表的な画像３０１−１、３０２−１、・・・、３０４−１を利用して合成しており他の各分割瞳領域間の位相差検知は行っていない。これは、異なる時間に得られた分割瞳画像間に発生する位相差の主要因が手ぶれであり、且つ一般的な状態においては角度のぶれが支配的であるためである。このような状況においてはいわゆる構図変化のみが発生している。構図変化は各視点（各分割瞳領域）に同じように発生するので、代表的な画像での位相を利用して他の画像の位相差を推定しても十分に良い近似になる。このことによって計算量を削減することができる。ここで近似と書いたのはデジタルカメラ１００が手ぶれによって並進している場合はその成分が無視されるためである。並進による画面内の被写体移動は距離によって異なるため、主被写体では良い近似となり主被写体から距離が異なるそれ以外の被写体では多少の誤差が生じることになる。

同一瞳内位相差検出部３１１の比較器３１２は、生成された瞳内合成画像について画像間の位相差を検出する。そして主被写体に対してぶれが低減された状態にある。焦点深度が深いので主被写体に関してはコントラストが高い状態にある。さらには、ぶれが並進成分を含む時は、主被写体から距離が異なるそれ以外の被写体についてはコントラストが低い画像となっているため、比較器３１２における位相差検出は、主被写体について良好な精度で検出結果が得られる。これは、コントラストが低い領域ではＳＡＤやＳＳＤの変化量は低いため、比較器３１２における位相差検出が主被写体に重点的となるからである。

そして同一時間内合成部１０１３は、比較器３１２で検出された位相差に基づいて時間内合成画像を合成し、デジタルカメラ１００に手ぶれによる移動があったとしても、主被写体に合焦した良好な再構成画像を生成することができる。

［実施形態６］
本実施形態では、デジタルカメラ１００が三脚等に固定されて撮影が行われる場合、即ち手ブレが発生しない場合における再構成画像の生成処理に係る画像処理部１０３の構成について説明する。本実施形態の画像処理部１０３では、図１１に示すように、実施形態５の画像処理部１０３の構成と同一瞳内位相差検出部３１３がない点で異なる。

具体的には図１１に示すように、各分割瞳領域について異なる時間に撮影されたＬＦデータから生成された分割瞳画像の各々が同一瞳内合成部１０１１の合成器１０１２にそれぞれ入力される。同一瞳内合成部１０１１の各合成器１０１２は、各分割瞳領域について異なる時間に得られた分割瞳画像を位置合わせせずに合成し、瞳分割数の同一瞳内合成画像を生成する。そして時間内位相差検出部３１１の比較器３１２が同一瞳内合成画像について位相差を検出し、該位相差の情報に従って時間内合成部１０１３が同一瞳内合成画像を位置合わせして合成し、再構成画像を生成する。

このように本実施形態の画像処理部１０３では、異なる時間について得られた分割瞳画像の合成において、位置合わせを行わずに合成処理を行う。これは、撮影中、デジタルカメラ１００は固定されており、時間経過に伴い手ブレによる被写体像のブレが生じないと考えられるからである。即ち、デジタルカメラ１００が固定されるような状況では、時間方向における位相差検出の必要性を排除することができ、再構成画像の生成処理に係る全体の演算量を低減することができる。

なお、本実施形態のような処理への切り替えは、例えばカメラ制御部１０１がデジタルカメラ１００が三脚に固定されたことを検出し、画像処理部１０３の処理を異ならせるように制御することにより行われてよい。

［実施形態７］
上述した実施形態１乃至５ではデジタルカメラ１００の画像処理部１０３において再構成画像の生成処理が行われるものとして説明した。しかしながら、本発明の実施はこれに限らず、図１２（ａ）に示すようなデジタルカメラ１００に接続されたＰＣ１２００、あるいはＬＦデータまたは分割瞳画像が記録媒体に記録されているＰＣ１２００において行われてもよい。

なお、ＰＣ１２００においてＬＦデータについて処理を行う場合、ＬＦデータを撮影した際の時系列を把握可能な情報、及び各マイクロレンズに対応付けられた画素の情報がメタデータとして取得可能であればよい。また再構成画像の生成処理において焦点位置の情報を用いる場合は、メタデータに焦点位置の情報が含まれる。

また、ＰＣ１２００において分割瞳画像について処理を行う場合、分割瞳画像間の空間的な位置関係を示す、画像間の視差量（撮像光学系２０２及びマイクロレンズアレイ１０８等によって決定される）の情報がメタデータとして取得可能であればよい。

図１２（ｂ）は、本実施形態のＰＣ１２００においてユーザに対して提示される、再構成画像の生成を行うアプリケーションに係るＧＵＩである操作ウィンドウ１２１０を例示している。操作ウィンドウ１２１０には、再構成画像を表示する表示部１２１１、再構成画像の生成条件を変更するパラメータ調整部１２１２、調整した条件での再構成画像の出力指示を行う実行ボタン１２１３が含まれる。ユーザは、マウス等のポインティングデバイスを用いてポインタ１２１４を移動させて、各ＧＵＩを操作することができる。

再構成画像の生成に用いる、異なる時間に撮影されたＬＦデータ群あるいは分割瞳画像群がユーザにより選択されると、表示部１２１１には所定の条件で生成された再構成画像が表示される。ユーザはポインタ１２１４を移動し、表示部１２１１内の任意の点を指示することにより、該位置の被写体に合焦した再構成画像を表示部１２１１に表示させることができる。

またユーザは、パラメータ調整部１２１２において、所望の値に各パラメータを調整することで、パラメータに応じた再構成画像を表示部１２１１に表示させることができる。本実施形態ではパラメータ調整部１２１２には、Ｆナンバー（Ｆｎｏ．）と露光時間（Ｔｖ）とが調整パラメータとして含まれる。ユーザは、Ｆナンバーのパラメータを変更することで再構成画像の生成に用いる分割瞳領域を決定し、露光時間のパラメータを変更することで時間方向の合成数を決定することができる。なお、再構成画像の生成処理についての処理内容の設定方法はこれに限らず、例えば手ブレ補正等、特定の機能がボタンＵＩで操作ウィンドウ１２１０内に含まれていてもよい。

［変形例］
本発明は、図１及び２を用いて説明した光学系の構成に限らず、図１３に示すような他の光学系についても適用可能である。図１３は物体（被写体）からの光束が撮像素子１０９上に結像する状態を模式的に示した図である。図１３（ａ）は図２で説明した光学系と対応しており、撮像光学系２０２の結像面近傍にマイクロレンズアレイ１０８を配置した例である。図１３（ｂ）は撮像光学系２０２の結像面よりも物体寄りにマイクロレンズアレイ１０８を配置した例である。図１３（ｃ）は撮像光学系２０２の結像面よりも物体から遠い側にマイクロレンズアレイ１０８を配置した例である。

図１３において、図２と共通する構成については同じ参照数字を付し、重複する説明を省略する。５１は物体平面であり、５１ａ、５１ｂは物体平面上の任意の点である。５２は撮像光学系２０２の瞳平面を、６１、６２、７１、７２、７３、８１、８２、８３、８４はマイクロレンズアレイ１０８上の特定のマイクロレンズをそれぞれ示している。

また、図１３（ｂ）および（ｃ）においては、図１３（ａ）との対応関係を明確にするために、仮想的な撮像素子１０９ａ及び仮想的なマイクロレンズアレイ１０８ａを示した。また、物体平面上の点５１ａから瞳平面５２の分割瞳領域３１および３３を通過する光束を実線で、物体平面上の点５１ｂから瞳平面５２の分割瞳領域３１および３３を通過する光束を破線で図示した。

図１３（ａ）の例では、図３でも説明したように、撮像光学系２０２の結像面近傍にマイクロレンズアレイ１０８を配置することで、撮像素子１０９と撮影光学系の瞳平面５２が共役の関係にある。さらに、物体平面５１とマイクロレンズアレイ１０８が共役の関係にある。このため物体平面５１上の点５１ａからの光束はマイクロレンズ６１に、点５１ｂからの光束はマイクロレンズ６２に到達し、分割瞳領域３１から３５それぞれを通過した光束はマイクロレンズに対応するように設けられた画素に到達する。

図１３（ｂ）の例では、マイクロレンズアレイ１０８によって撮像光学系２０２からの光束を結像させ、その結像面に撮像素子１０９を設けている。このように配置することで、物体平面５１と撮像素子１０９とは共役の関係になる。物体平面５１上の点５１ａから瞳平面５２の分割瞳領域３１を通過した光束はマイクロレンズ７１に到達し、点５１ａから瞳平面上の分割瞳領域３３を通過した光束はマイクロレンズ７２に到達する。また、物体平面５１上の点５１ｂから瞳平面５２の分割瞳領域３１を通過した光束はマイクロレンズ７２に到達し、点５１ｂから瞳平面５２の分割瞳領域３３を通過した光束はマイクロレンズ７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズに対応するように設けられた画素に到達する。このように、物体平面からの光束は、その出射位置と、通過する分割瞳領域に応じて撮像素子１０９の撮像面における異なる位置に結像する。これらを、仮想的な撮像面５０における位置に並べなおせば、図１３（ａ）の撮像面で得られる情報と同様の情報を得ることができる。即ち、通過した分割瞳領域（入射角度）と撮像素子１０９上の位置の情報を得ることができる。

図１３（ｃ）の例では、マイクロレンズアレイ１０８で撮像光学系２０２からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼ぶ）、その再結像面に撮像素子１０９の撮像面を配置する。このように配置することで、物体平面５１と撮像素子１０９は共役の関係となる。物体平面５１上の点５１ａから瞳平面５２の分割瞳領域３１を通過した光束はマイクロレンズ８２に到達し、点５１ａから瞳平面５２の分割瞳領域３３を通過した光束はマイクロレンズ８１に到達する。また、物体平面５１の点５１ｂから瞳平面５２の分割瞳領域３１を通過した光束はマイクロレンズ８４に到達し、点５１ｂから瞳平面５２の分割瞳領域３３を通過した光束はマイクロレンズ８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズに対応するように設けられた画素に到達する。

図１３（ｂ）の場合と同様に、撮像素子１０９で得られた画素の信号を、仮想的な撮像面５０における位置に並び替えれば、図１３（ａ）の撮像面で得られる情報と同様の情報を得ることができる。即ち、通過した分割瞳領域（入射角度）と撮像素子１０９上の位置の情報を得ることができる。

なお、図１３ではマイクロレンズアレイ１０８（位相変調素子）を用いて瞳分割を行い、光束の位置情報と角度情報を取得する構成例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の構成も利用可能である。例えば、基本パターンの繰り返しから構成されるパターンマスク（ゲイン変調素子）をマイクロレンズアレイ１０８の代わりに用いる構成であってもよい。また図１３（ｄ）に示すような多眼光学系（カメラアレイ）にも、本発明は適用可能である。図１３（ｄ）において、各多眼光学系の各カメラは、図１３（ａ）乃至（ｃ）における分割瞳領域３１乃至３５に対応する位置に撮像光学系を配置し、各撮像素子１０９ａ乃至ｃに像を結像させる。このようにして各撮像素子から得られる画像は、撮影位置が異なっており、上述した各分割瞳領域についてのＲＡＷ画像に対応している。このため、各カメラの位置関係に応じて同一の被写体像が結像される画素を特定することで、各画素について不足している色成分の信号強度を好適に補間することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (15)

1. 複数のタイミングのそれぞれについて、同一被写体を異なる視点につき撮像して得られた複数の画像を取得する取得手段と、
   同一のタイミングについて得られた前記画像間の像の位相差を検出する第１の検出手段と、
   同一の視点につき異なるタイミングに撮像して得られた前記画像間の像の位相差を検出する第２の検出手段と、
   前記取得手段により得られた画像のうちの少なくとも一部の画像を、前記第１の検出手段及び前記第２の検出手段の少なくともいずれかにより検出された位相差を解消するように合成して出力画像を生成する生成手段と、
   前記生成手段による前記出力画像の生成条件を設定する設定手段と、を有し、
   前記生成手段は、前記設定手段により設定された前記出力画像の生成条件の情報に従って、前記合成に用いる画像と解消する位相差とを選択して前記出力画像を生成する
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記設定手段により特定の被写体の焦点状態を保持する設定がなされた場合に、少なくとも前記第１の検出手段により検出された位相差を解消するように合成を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記設定手段により撮影時の手ブレの影響を解消する設定がなされた場合に、少なくとも前記第２の検出手段により検出された位相差を解消するように合成を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段は、前記設定手段により長秒露光撮影に相当する画像を生成する設定がなされた場合に、前記取得手段により取得された画像のうち、一部の視点につき複数のタイミングに撮像して得られた画像を、前記出力画像の生成において合成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、前記設定手段により合焦している被写体が強調された画像を生成する設定がなされた場合に、前記取得手段により取得された画像のうち、像の視差量が相対的に大きい関係にある複数の視点につき撮像して得られた画像を、少なくとも同一のタイミングに得られた画像間での像の位相差を解消することなく合成して前記出力画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 予め定められた複数の時間帯に撮像された画像をグループとし、各グループについて少なくとも一部の視点につき撮像して得られた画像を画像間の像の位相差を解消して合成し、得られた合成画像を解析することで被写体ブレに係る情報を取得する解析手段をさらに有し、
   前記生成手段は、前記設定手段により被写体ブレの影響を解消する設定がなされた場合に、前記解析手段により得られた前記被写体ブレに係る情報に応じて前記被写体ブレの影響を解消した前記出力画像を生成する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記取得手段により取得された画像について、特定の被写体の像を検出する検出手段をさらに有し、
   前記生成手段は、前記検出手段により検出された前記特定の被写体の像の位相差が解消されるように合成を行う
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、前記取得手段により取得された画像のうちの少なくとも一部の画像を、同一のタイミングについて得られた画像の前記第１の検出手段により検出された位相差を解消するように合成した後、該合成により得られた画像について前記第２の検出手段により検出された位相差を解消するように合成して前記出力画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記取得手段により取得された画像が、該画像を撮像した撮像装置が固定された状態で撮像した画像である場合に、前記取得手段により取得された画像のうちの少なくとも一部の画像を、異なるタイミングに撮像して得られた画像について像の位相差を解消する位置合わせを行うことなく合成した後、該合成により得られた画像について前記第１の検出手段により検出された位相差を解消するように合成して前記出力画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記同一被写体を異なる視点につき撮像して得られた複数の画像は、画素の各々が撮像装置の撮像光学系において通過した分割瞳領域及び入射方向の組み合わせが異なる光束に対応した画像信号から、同一の分割瞳領域を通過した光束に対応する画素を結合させることで各々得られることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 複数のタイミングのそれぞれについて、同一被写体を異なる視点につき撮像して得られた複数の画像を出力する撮像手段と、
    前記撮像手段により出力された、同一のタイミングについて得られた前記画像間の像の位相差を検出する第１の検出手段と、
    前記撮像手段により出力された、同一の視点につき異なるタイミングに撮像して得られた前記画像間の像の位相差を検出する第２の検出手段と、
    前記撮像手段により出力された画像のうちの少なくとも一部の画像を、前記第１の検出手段及び第２の検出手段の少なくともいずれかにより検出された位相差を解消するように合成して出力画像を生成する生成手段と、
    前記生成手段による前記出力画像の生成条件を設定する設定手段と、を有し、
    前記生成手段は、前記設定手段により設定された前記出力画像の生成条件の情報に従って、前記合成に用いる画像と解消する位相差とを選択して前記出力画像を生成する
    ことを特徴とする撮像装置。
12. 画像処理装置の取得手段が、複数のタイミングのそれぞれについて、異なる視点につき撮像して得られた複数の画像を取得する取得工程と、
    前記画像処理装置の第１の検出手段が、同一のタイミングについて得られた前記画像間の像の位相差を検出する第１の検出工程と、
    前記画像処理装置の第２の検出手段が、同一の視点につき異なるタイミングに撮像して得られた前記画像間の像の位相差を検出する第２の検出工程と、
    前記画像処理装置の生成手段が、前記取得工程において得られた画像のうちの少なくとも一部の画像を、前記第１の検出工程及び前記第２の検出工程の少なくともいずれかにおいて検出された位相差を解消するように合成して出力画像を生成する生成工程と、
    前記画像処理装置の設定手段が、前記生成工程における前記出力画像の生成条件を設定する設定工程と、を有し、
    前記生成手段は前記生成工程において、前記設定工程において設定された前記出力画像の生成条件の情報に従って、前記合成に用いる画像と解消する位相差とを選択して前記出力画像を生成する
    ことを特徴とする画像処理装置の制御方法。
13. 撮像装置の撮像手段が、複数のタイミングのそれぞれについて、同一被写体を異なる視点につき撮像し、得られた複数の画像を出力する撮像工程と、
    前記撮像装置の第１の検出手段が、前記撮像工程において出力された、同一のタイミングについて得られた前記画像間の像の位相差を検出する第１の検出工程と、
    前記撮像装置の第２の検出手段が、前記撮像工程において出力された、同一の視点につき異なるタイミングに撮像して得られた前記画像間の像の位相差を検出する第２の検出工程と、
    前記撮像装置の生成手段が、前記撮像工程において出力された画像のうちの少なくとも一部の画像を、前記第１の検出工程及び第２の検出工程の少なくともいずれかにおいて検出された位相差を解消するように合成して出力画像を生成する生成工程と、
    前記撮像装置の設定手段が、前記生成工程における前記出力画像の生成条件を設定する設定工程と、を有し、
    前記生成手段は前記生成工程において、前記設定工程において設定された前記出力画像の生成条件の情報に従って、前記合成に用いる画像と解消する位相差とを選択して前記出力画像を生成する
    ことを特徴とする撮像装置の制御方法。
14. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
15. コンピュータに、請求項１３に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。