JP7057397B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、視差画像を補正可能な画像処理装置に関する。

従来から、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影可能な撮像装置が知られている。撮影された視差画像（視点画像）は、光強度の空間分布および角度分布に関する情報であるＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）データと等価である。

特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域を受光するように構成され、瞳分割を行う。これらの分割された光電変換部のそれぞれの受光信号に基づいて、分割された瞳部分領域に応じた複数の視差画像を生成することができる。特許文献２には、分割された光電変換部のそれぞれの受光信号の全てを加算することにより撮像画像を生成する撮像装置が開示されている。

米国特許第４４１０８０４号 特開２００１－０８３４０７号公報

しかしながら、特許文献１、２に開示されている撮像装置で得られた視差画像（視点画像）の一部において、点キズや線キズなどの欠陥（キズ信号）、瞳分割によるシェーディング、および、飽和信号などが生じ、視差画像の画質が低下する場合がある。

そこで本発明は、画質の品位を向上させた視差画像を生成可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、複数の画素で構成され、各画素は１つのマイクロレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得する取得手段と、前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正する画像処理手段と、を有し、前記画像処理手段は、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正する。

本発明の他の側面としての撮像装置は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部から構成される画素を複数配列した撮像素子と、複数の画素で構成され、各画素は１つのマイクロレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得する取得手段と、前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正する画像処理手段と、を有し、前記画像処理手段は、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正する。

本発明の他の側面としての画像処理方法は、複数の画素で構成され、各画素は１つのマイクロレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得するステップと、前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正するステップと、を有し、前記補正するステップは、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正する。

本発明の他の側面としてのプログラムは、複数の画素で構成され、各画素は１つのマイクロレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得するステップと、前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正するステップと、をコンピュータに実行させるように構成され、前記補正するステップは、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正する。

本発明の他の側面としてのコンピュータで読み取り可能な記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、画質の品位を向上させた視差画像を生成可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

各実施例における撮像装置のブロック図である。 実施例１における画素配列を示す図である。 実施例１における画素構造を示す図である。 各実施例における撮像素子および瞳分割機能の説明図である。 各実施例における撮像素子および瞳分割機能の説明図である。 各実施例におけるデフォーカス量と像ずれ量と関係図である。 各実施例における視差画像および撮像画像の配列図である。 実施例１における補正処理前の視差画像の例である。 実施例１における補正処理後の視差画像の例である。 実施例１における補正処理前の視差画像の他の例である。 実施例１における補正処理後の視差画像の他の例である。 実施例２における画素配列を示す図である。 実施例２における画素構造を示す図である。 各実施例におけるリフォーカス処理の概略説明図である。 実施例３において、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布の説明図である。 実施例３において、光の入射角に依存した受光率分布の図である。 実施例３における補正処理の流れを示す概略図である。 実施例３における補正処理の流れを示す概略図である。 実施例３におけるシェーディングの説明図である。 実施例３における撮像画像の射影信号、第１視点画像の射影信号、および、シェーディング関数の説明図である。 実施例３における撮像画像（デモザイキング後）の例である。 実施例３におけるシェーディング補正前の第１視点画像（デモザイキング後）の例である。 実施例３におけるシェーディング補正後の第１視点（第１修正）画像（デモザイキング後）の例である。 実施例３における欠陥補正前の第１視点（第１修正）画像（シェーディング補正後、デモザイキング後）の例である。 実施例３における欠陥補正後の第１視点（第２修正）画像（シェーディング補正後、デモザイキング後）の例である。 実施例３におけるシェーディング補正前の第２視点画像（デモザイキング後）の例である。 実施例３におけるシェーディング補正後の修正第２視点画像（デモザイキング後）の例である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本発明の実施例１における撮像装置の概略構成について説明する。図１は、本実施例における撮像装置１００（カメラ）のブロック図である。撮像装置１００は、カメラ本体とカメラ本体に着脱可能な交換レンズ（結像光学系または撮影光学系）とを備えたデジタルカメラシステムである。ただし本実施例は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。

第１レンズ群１０１は、撮影レンズ（結像光学系）を構成する複数のレンズ群のうち最も前方（被写体側）に配置されており、光軸ＯＡの方向（光軸方向）に進退可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２（絞り）は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光時間調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸方向に進退し、第１レンズ群１０１の進退動作と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸方向に進退することにより焦点調節（フォーカス動作）を行うフォーカスレンズ群である。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。

撮像素子１０７は、結像光学系を介して被写体像（光学像）の光電変換を行い、例えばＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成される。撮像素子１０７としては、例えば、横方向にｍ個の画素、縦方向にｎ個の画素を有する受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。

ズームアクチュエータ１１１は、不図示のカム筒を回動（駆動）することで第１レンズ群１０１および第２レンズ群１０３を光軸方向に沿って移動させることにより、変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して光量（撮影光量）を調節するとともに、静止画撮影時の露光時間を制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。

電子フラッシュ１１５は、被写体を照明するために用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を備えた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。

ＣＰＵ１２１は、撮像装置１００の種々の制御を司る制御装置（制御手段）である。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムを読み出して実行することにより、撮像装置１００の各種回路を駆動し、焦点検出（ＡＦ）、撮影、画像処理、または、記録などの一連の動作を制御する。

電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５の点灯制御を行う。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。

画像処理回路１２５（画像処理装置）は、撮像素子１０７から出力された画像データのγ（ガンマ）変換、カラー補間、または、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの処理を行う。本実施例において、画像処理回路１２５は、取得手段１２５ａおよび画像処理手段１２５ｂ（補正手段）を有する。取得手段１２５ａは、撮像素子１０７から、撮像画素および少なくとも一つの視差画像（視点画像）を取得する。撮像画素は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部（第１副画素および第２副画素）の複数の信号（第１信号および第２信号）を合成して生成される画像である。視差画像（視点画像）は、複数の光電変換部のうち一つの光電変換部（第１副画素または第２副画素）の信号から生成される画像である。画像処理手段１２５ｂは、撮像画像に基づいて視差画像に含まれる欠陥を低減するように補正処理（欠陥補正）を行う。

フォーカス駆動回路１２６（フォーカス駆動手段）は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９（ズーム駆動手段）は、撮影者のズーム操作に応じて、ズームアクチュエータ１１１を駆動する。

表示器１３１（表示手段）は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示器１３１は、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部１３２（操作スイッチ群）は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態（ＳＷ１がＯＮの状態）、および、全押し状態（ＳＷ２がＯＮの状態）の２段階のスイッチを有する。記録媒体１３３は、例えば撮像装置１００に着脱可能なフラッシュメモリであり、撮影画像（画像データ）を記録する。

続いて、図２および図３を参照して、本実施例における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ－ａの断面図（－ｙ方向から見た図）をそれぞれ示している。

図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施例において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、２つの副画素２０１、２０２により構成さている。このため、図２には、副画素の配列が、８列×４行の範囲で示されている。

図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×１行に配列された副画素２０１、２０２により構成されている。副画素２０１は、結像光学系の第１瞳領域を通過した光束を受光する画素である。副画素２０２は、結像光学系の第２瞳領域を通過した光束を受光する画素である。

図２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×４行の副画素）を面上に多数配置して構成されており、撮像信号（副画素信号）を出力する。本実施例の撮像素子１０７は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１０７は、副画素の列方向の周期Ｐ_ＳＵＢが２μｍ、副画素の数Ｎ_ＳＵＢが横１１１５０列×縦３７２５行＝約４１５０万画素である。これに代えて、撮像素子１０７は、画素の周期Ｐが６μｍ、画素（撮像画素）の数Ｎが横６０００列×縦４０００行＝２４００万画素としてもよい。また撮像素子１０７は、副画素の列方向の周期Ｐ_ＳＵＢが３μｍ、副画素の数数Ｎ_ＳＵＢが横１２０００列×縦４０００行＝４８００万画素としてもよい。

図３（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（１分割）された光電変換部３０１および光電変換部３０２が形成されている。光電変換部３０１および光電変換部３０２は、それぞれ、副画素２０１および副画素２０２に対応する。

光電変換部３０１および光電変換部３０２は、それぞれ、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成される。必要に応じて、イントリンシック層を省略し、ｐｎ接合のフォトダイオードとして構成してもよい。画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が設けられる。必要に応じて、副画素ごとにカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。

図３に示されるように、画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１および光電変換部３０２で受光される。光電変換部３０１および光電変換部３０２においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３０１および光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

続いて、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の瞳分割機能の説明図であり、１つの画素部における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のａ－ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。

図４において、副画素２０１（第１副画素）の瞳部分領域５０１（第１瞳部分領域）は、重心が－ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０１は、副画素２０１で受光可能な瞳領域を表している。副画素２０１の瞳部分領域５０１の重心は、瞳面上で＋ｘ側に偏心している。また、副画素２０２（第２副画素）の瞳部分領域５０２（第２瞳部分領域）は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０２は、副画素２０２で受光可能な瞳領域を表している。副画素２０２の瞳部分領域５０２の重心は、瞳面上で－ｘ側に偏心している。瞳領域５００は、光電変換部３０１、３０２（副画素２０１、２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

入射光は、マイクロレンズ３０５により、焦点位置に集光される。しかし、光の波動性による回折の影響により、集光スポットの直径は、回折限界Δよりも小さくすることができず、有限の大きさとなる。光電変換部３０１、３０２の受光面サイズが約１～２μｍ程度であるのに対し、マイクロレンズ３０５の集光スポットは約１μｍ程度である。このため、光電変換部３０１、３０２の受光面とマイクロレンズ３０５とを介して共役の関係にある図４の瞳部分領域５０１、５０２は、回折ボケのため、明瞭に瞳分割されず、受光率分布（瞳強度分布）が得られる。

図５は、撮像素子１０７と瞳分割機能の説明図である。結像光学系の瞳領域のうち互いに異なる瞳部分領域５０１、５０２を通過した光束は、撮像素子１０７の各画素に互いに異なる角度で撮像素子１０７の撮像面６００に入射し、２×１分割された副画素２０１、２０２で受光される。本実施例では、瞳領域が水平方向に２つに瞳分割されている例について説明しているが、これに限定されるものではなく、必要に応じて垂直方向に瞳分割を行ってもよい。

本実施例において、撮像素子１０７は、１つのマイクロレンズを共有し、結像光学系（撮影レンズ）の瞳のうち互いに異なる領域（第１瞳部分領域、第２瞳部分領域）を通過する複数の光束を受光する複数の副画素を備えている。撮像素子１０７は、複数の副画素として、第１副画素（複数の副画素２０１）および第２副画素（複数の副画素２０２）を含む。

本実施例において、撮像素子１０７の画素ごとに副画素２０１、２０２の信号を加算して読み出すことにより、有効画素数Ｎの解像度を有する撮像画像を生成する。このように撮像画像は、画素ごとに、複数の副画素（本実施例では副画素２０１、２０２）の受光信号を合成して生成される。

また本実施例において、複数の副画素２０１の受光信号を集めて第１視差画像を生成する。また、撮像画像から第１視差画像を減算して第２視差画像を生成する。ただし本実施例は、これに限定されるものではなく、複数の副画素２０２の受光信号を集めて第２視差画像を生成してもよい。このように視差画像は、互いに異なる瞳部分領域ごとに、複数の副画素の受光信号に基づいて生成される。

本実施例において、第１視差画像、第２視差画像、および、撮像画像は、それぞれ、ベイヤー配列の画像である。必要に応じて、第１視差画像、第２視差画像、および、撮像画像のそれぞれに対して、デモザイキング処理を行ってもよい。

次に、図６を参照して、撮像素子１０７の副画素２０１から取得される第１視差画像および副画素２０２から取得される第２視差画像のデフォーカス量と像ずれ量との関係について説明する。図６は、デフォーカス量と像ずれ量との関係図である。図６において、撮像素子１０７は撮像面６００に配置されており、図４および図５と同様に、結像光学系の射出瞳が瞳部分領域５０１、５０２に２分割されている様子が示されている。

デフォーカス量ｄは、被写体の結像位置から撮像面６００までの距離を｜ｄ｜、結像位置が撮像面６００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面６００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面６００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体６０１、および、前ピン状態（ｄ＜０）である被写体６０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体６０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ２）を中心とする幅Γ１（Γ２）に広がり、撮像面６００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する副画素２０１（副画素２０２）により受光され、第１視差画像（第２視差画像）が生成される。このため、第１視差画像（第２視差画像）は、撮像面６００上の重心位置Ｇ１（Ｇ２）に、被写体６０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視差画像と第２視差画像との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１視差画像と第２視差画像と間の被写体像の像ずれ方向が前ピン状態と反対となる。

このように本実施例において、第１視差画像と第２視差画像、または、第１視差画像と第２視差画像とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１視差画像と第２視差画像と間の像ずれ量の大きさは増加する。

次に、本実施例における視差画像の補正処理について説明する。本実施例において、撮像素子１０７は、撮像画像および少なくとも一つの視差画像（第１視差画像および第２視差画像の少なくとも一つ）を出力することができる。画像処理回路１２５（取得手段１２５ａ）は、撮像素子１０７から出力された撮像画像および視差画像を取得する。そして画像処理回路１２５（画像処理手段１２５ｂ）は、撮像画像に基づいて視差画像を補正（修正）する。必要に応じて、取得手段１２５ａは、取得された撮像画像および少なくとも視差画像を記録媒体１３３や記憶部１３４などの記憶手段に保存し、保存された撮像画像および視差画像を取得するように構成してもよい。

撮像素子１０７の回路構成や駆動方式により、転送ゲートの短絡などの影響で、撮像画像は正常であっても、視差画像（第１視差画像または第２視差画像）にキズ信号（欠陥信号）が生じ、視差画像中に点キズや線キズなどの欠陥が含まれる場合がある。必要に応じて、量産工程などで検査された点キズ情報や線キズ情報（欠陥情報）を、記憶手段に事前に記憶させることができる。この場合、画像処理回路１２５（画像処理手段１２５ｂ）は、記録された欠陥情報を用いて視差画像の補正処理を行う。また画像処理回路１２５（検査手段）は、必要に応じて、視差画像をリアルタイムに（すなわちユーザが撮像装置１００を使用している間に）検査し、点キズ判定や線キズ判定（欠陥判定）を行ってもよい。

続いて、図７を参照して、本実施形態における視差画像の補正処理について説明する。図７（ａ）は、ベイヤー配列の視差画像（第１視差画像）の配列図である。図７（ｂ）は、ベイヤー配列の撮像画像の配列図である。図７（ａ）、（ｂ）において、行方向ｊ番目、列方向ｉ番目の位置（ｊ、ｉ）における第１視差画像の画素値（画素信号）をＡ（ｊ、ｉ）、撮像画像の画素値（画素信号）をＩ（ｊ、ｉ）とそれぞれ定義する。

第１視差画像は第ｊ行において欠陥（線キズ）が存在し、かつ撮像画像は第ｊ行において正常である場合、第１視差画像の第ｊ行を補正する必要がある。本実施例において、画像処理回路１２５（画像処理手段１２５ｂ）は、撮像画像に基づいて、第１視差画像（第１視差画像の補正対象位置の画素値）を補正する。なお、必要に応じて、第２視差画像に関しても同様に補正可能である。

ここで、欠陥が生じている位置（ｊ、ｉ）、すなわち補正対象位置（第１位置）における第１視差画像の補正値（補正信号）をＡｃ（ｊ、ｉ）とする。このとき画像処理手段１２５ｂは、以下の式（１）により補正値Ａｃ（ｊ、ｉ）を算出し、算出された補正値Ａｃ（ｊ、ｉ）を第１視差画像の画素値Ａ（ｊ、ｉ）として用いることにより、第１視差画像を補正する。

式（１）において、パラメータＡ０、Ｉ０は、それぞれ、第１視差画像の画素値Ａ、撮像画像の画素値Ｉが低輝度（低輝度信号）である場合に演算値を安定させてノイズの増幅を抑制するための値である。

このように本実施例において、画像処理手段１２５ｂは、撮像画像に基づいて、視差画像の補正処理を行う（補正対象位置における視差画像の画素値Ａ（ｊ、ｉ）を補正値Ａｃ（ｊ、ｉ）で置き換える）。具体的には、画像処理手段１２５ｂは、撮像画像の画素値Ｉ（ｊ、ｉ）と補正対象位置の近傍の位置（ｊ２、ｉ２）≠（ｊ、ｉ）における撮像画像および視差画像の画素値Ｉ（ｊ２、ｉ２）、Ａ（ｊ２、ｉ２）とを用いて、視差画像の補正値Ａｃ（ｊ、ｉ）を決定する。

式（１）において、パラメータＡ０、Ｉ０の具体的な値は、必要に応じて適宜設定可能である。例えば、瞳分割数Ｎｐ（＝２）の場合、パラメータＡ０、Ｉ０を、Ａ０＝Ｉ０／Ｎｐと設定することができる。また、補正対象位置である位置（ｊ、ｉ）、ＩＳＯ感度、結像光学系の絞り値、および、射出瞳距離などの撮影条件に応じて、パラメータＡ０、Ｉ０の値を変化させてもよい。また、補正対象位置の周辺の第１視差画像の画素値Ａや撮像画像の画素値Ｉに基づいて、パラメータＡ０、Ｉ０の値を設定してもよい。

図８は、本実施例における補正処理前の合焦状態での第１視差画像（デモザイキング後）の例を示す。図９は、本実施例における補正処理後の合焦状態での第１視差画像（デモザイキング後）の例を示す。同様に、図１０は、補正処理前のデフォーカス状態での第１視差画像（デモザイキング後）の例を示す。図１１は、補正処理後のデフォーカス状態での第１視差画像（デモザイキング後）の例を示す。本実施例における補正処理により、合焦状態およびデフォーカス状態のいずれの場合でも、視差画像の欠陥が補正されていることがわかる。

続いて、図１４を参照して、本実施例におけるリフォーカス処理について説明する。リフォーカス処理は、ＣＰＵ１２１の指令に基づいて画像処理回路１２５（リフォーカス処理手段としての画像処理手段１２５ｂ）により実行される。図１４は、本実施例の撮像素子１０７により取得された第１信号（第１視差画像を形成する第１副画素の受光信号）および第２信号（第２視差画像を形成する第２副画素の受光信号）による１次元方向（列方向、水平方向）のリフォーカス処理の説明図である。図１４において、ｉを整数として、撮像面６００に配置された撮像素子１０７の列方向ｉ番目の画素の第１信号をＡｉ、第２信号をＢｉとして模式的に表している。第１信号Ａｉは、（図５の瞳部分領域５０１に対応する）主光線角度θａでｉ番目の画素に入射した光束の受光信号である。第２信号Ｂｉは、（図５の瞳部分領域５０２に対応する）主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。

第１信号Ａｉおよび第２信号Ｂｉは、光強度分布情報だけでなく、入射角度情報も含む。このため、第１信号Ａｉを角度θａに沿って仮想結像面６１０まで平行移動させ、第２信号Ｂｉを角度θｂに沿って仮想結像面６１０まで平行移動させ、これらを加算することにより、仮想結像面６１０でのリフォーカス信号を生成できる。第１信号Ａｉを角度θａに沿って仮想結像面６１０まで平行移動させることは、列方向に＋０．５画素シフトに対応し、第２信号Ｂｉを角度θｂに沿って仮想結像面６１０まで平行移動させることは、列方向に－０．５画素シフトに対応する。したがって、第１信号Ａｉと第２信号Ｂｉとを相対的に＋１画素シフトさせ、第１信号Ａｉと第２信号（Ｂｉ＋１）とを対応させて加算することにより、仮想結像面６１０でのリフォーカス信号を生成できる。同様に、第１信号Ａｉと第２信号Ｂｉとを整数シフトさせて（画素整数個分だけシフトさせて）加算することにより、整数シフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）を生成できる。

本実施例では、少なくとも一つの視差画像（第１視差画像および第２視差画像の少なくとも一つ）に含まれる欠陥の影響を補正処理により除去または低減している。このため、補正処理後の視差画像に基づくリフォーカス処理が可能となる。したがって、視差画像を形成する各信号（第１信号および第２信号）を用いたリフォーカス処理を高精度に行うことができる。

次に、図１２および図１３を参照して、本発明の実施例２における撮像装置について説明する。本実施例は、複数の視差画像として、第１～第４視差画像から撮影画像を生成する点で、第１視差画像および第２視差画像から撮影画像を生成する実施例１とは異なる。

図１２は、本実施例における撮像素子１０７の画素配列を示す図である。図１３は、撮像素子１０７の画素構造を示す図であり、図１３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図１３（ｂ）は図１３（ａ）中の線ａ－ａの断面図（－ｙ方向から見た図）をそれぞれ示している。

図１２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施例において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、４つの副画素２０１、２０２、２０３、２０４により構成さている。このため、図１２には、副画素の配列が、８列×８行の範囲で示されている。

図１２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×２行に配列された副画素２０１、２０２、２０３、２０４により構成されている。副画素２０１は、結像光学系の第１瞳領域を通過した光束を受光する画素である。副画素２０２は、結像光学系の第２瞳領域を通過した光束を受光する画素である。副画素２０３は、結像光学系の第３瞳領域を通過した光束を受光する画素である。副画素２０４は、結像光学系の第４瞳領域を通過した光束を受光する画素である。

図１２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×８行の副画素）を面上に多数配置して構成されており、撮像信号（副画素信号）を出力する。本実施例の撮像素子１０７は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１０７は、副画素の列方向の周期Ｐ_ＳＵＢが２μｍ、副画素の数Ｎ_ＳＵＢが横１１１５０列×縦７４５０行＝約８３００万画素である。これに代えて、撮像素子１０７は、画素（撮像画素）の周期Ｐが６μｍ、画素（撮像画素）の数Ｎが横６０００列×縦４０００行＝２４００万画素としてもよい。また、副画素の列方向の周期Ｐ_ＳＵＢが３μｍ、副画素の数Ｎ_ＳＵＢが横１２０００列×縦４０００行＝４８００万画素としてもよい。

図１３（ｂ）に示されるように、本実施例の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮ_Ｈ分割（２分割）、ｙ方向にＮ_Ｖ分割（２分割）された光電変換部３０１、３０２、３０３、３０４が形成されている。光電変換部３０１～３０４は、副画素２０１～２０４にそれぞれ対応する。

本実施例において、撮像素子１０７は、１つのマイクロレンズを共有し、結像光学系（撮影レンズ）の瞳のうち互いに異なる領域（第１～第４瞳部分領域）を通過する複数の光束を受光する複数の副画素を備えている。撮像素子１０７は、複数の副画素として、第１副画素（複数の副画素２０１）、第２副画素（複数の副画素２０２）、第３副画素（複数の副画素２０３）、および、第４副画素（複数の副画素２０４）を含む。

本実施例において、撮像素子１０７の画素ごとに副画素２０１、２０２、２０３、２０４の信号を加算して読み出すことにより、有効画素数Ｎの解像度を有する撮像画像を生成する。このように撮像画像は、画素ごとに、複数の副画素（本実施例では副画素２０１～２０４）の受光信号を合成して生成される。

また本実施例において、複数の副画素２０１の受光信号を集めて第１視差画像を生成する。同様に、複数の副画素２０２の受光信号を集めて第２視差画像、複数の副画素２０３の受光信号を集めて第３視差画像をそれぞれ生成する。また本実施例において、撮像画像から、第１視差画像、第２視差画像、および、第３視差画像を減算して、第４視差画像を生成する。ただし本実施例はこれに限定されるものではなく、複数の副画素２０４の受光信号を集めて第４視差画像を生成してもよい。このように視差画像は、互いに異なる瞳部分領域ごとに、複数の副画素の受光信号に基づいて生成される。

また本実施例において、撮像画像および第１～第３視差画像（および第４視差画像）は、それぞれ、ベイヤー配列の画像である。必要に応じて、撮像画像および第１～第３視差画像（および第４視差画像）のそれぞれに対して、デモザイキング処理を行ってもよい。なお、本実施例における視差画像の補正処理（欠陥補正）については実施例１と同様であるため、その説明は省略する。

次に、本発明の実施例３について説明する。本実施例は、画像処理手段１２５ｂが撮像画像に基づいて視差画像の光量補正処理（シェーディング補正）を行う点で、実施例１とは異なる。なお、本実施例の光量補正処理に加えて、実施例１と同様に、撮像画像に基づいて視差画像に含まれる欠陥を低減するように視差画像の補正処理を行ってもよい。

図４に示される瞳領域５００は、２×１分割された光電変換部３０１、３０２（Ｎｘ×Ｎｙ分割された第１光電変換部～第Ｎ_ＬＦ光電変換部）を全て合わせた受光面に関して、マイクロレンズによって概ね光学的に共役な関係になっている。また瞳領域５００は、副画素２０１、２０２（第１副画素～第Ｎ_ＬＦ副画素）を全て合わせた画素２００Ｇ全体での受光可能な瞳領域である。

図１５は、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布の説明図である。図１５（Ａ）は、マイクロレンズの光軸に平行な断面での光強度分布を示す。図１５（Ｂ）は、マイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより、焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１～２μｍ程度であり、これに対してマイクロレンズの集光スポットが約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の瞳部分領域５０１、５０２は、回折ボケのため、明瞭に瞳分割されず、光の入射角に依存した受光率分布（瞳強度分布）となる。

図１６は、光の入射角に依存した受光率分布（瞳強度分布）の図であり、横軸は瞳座標、縦軸は受光率をそれぞれ示す。図１６に実線で示さえるグラフ線Ｌ１は、図４の瞳部分領域５０１（第１瞳部分領域）のｘ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示される受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図１６に破線で示されるグラフ線Ｌ２は、瞳部分領域５０２（第２瞳部分領域）のｘ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示される受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図１６に示されるように、緩やかな瞳分割が行われることがわかる。

図５に示されるように、光電変換部３０１、３０２（第１光電変換部～第Ｎ_ＬＦ光電変換部）は、それぞれ、副画素２０１、２０２（第１副画素～第Ｎ_ＬＦ副画素）に対応する。撮像素子の各画素において、２×１分割された副画素２０１、２０２（Ｎｘ×Ｎｙ分割された第１副画素～第Ｎ_ＬＦ副画素）は、それぞれ、瞳部分領域５０１、５０２（第１瞳部分領域～第Ｎ_ＬＦ瞳部分領域）の異なる瞳部分領域を通過した光束を受光する。各副画素で受光された信号から、光強度の空間分布および角度分布を示すＬＦデータ（入力画像）が取得される。

ＬＦデータ（入力画像）から、画素ごとに、２×１分割された副画素２０１、２０２（Ｎｘ×Ｎｙ分割された第１副画素～第Ｎ_ＬＦ副画素）の信号を全て合成することにより、画素数Ｎの解像度を有する撮像画像を生成することができる。

また、ＬＦデータ（入力画像）から、画素ごとに、２×１分割された副画素２０１、２０２（Ｎｘ×Ｎｙ分割された第１副画素～第Ｎ_ＬＦ副画素）の中から特定の副画素の信号を選択する。これにより、結像光学系の瞳部分領域５０１、５０２（第１瞳部分領域～第Ｎ_ＬＦ瞳部分領域）の中の特定の瞳部分領域に対応した視点画像を生成することができる。例えば、画素ごとに、副画素２０１の信号を選択することにより、結像光学系の瞳部分領域５０１に対応する画素数Ｎの解像度を有する第１視点画像（第１視差画像）を生成することができる。他の副画素に関しても同様である。

以上のように本実施例の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素が複数配列された構造を有し、ＬＦデータ（入力画像）を取得することができる。本実施例では、撮像画像に基づいて、第１視点画像および第２視点画像（第１視点画像～第Ｎ_ＬＦ視点画像）に対して、キズ補正やシェーディング補正などの画像処理（補正処理）を行い、出力画像を生成する。

図１７および図１８を参照して、撮像素子１０７により取得されたＬＦデータ（入力画像）から、撮影画像に基づいて第１視点画像と第２視点画像（第１視点画像～第Ｎ_ＬＦ視点画像）に対して補正処理を行い、出力画像を生成する画像処理方法について説明する。図１７および図１８は、本実施例における補正処理の流れを示す概略図である。図１７および図１８の処理は、主に、ＣＰＵ１２１の指令に基づいて画像処理回路１２５（取得手段１２５ａ、画像処理手段１２５ｂ）により実行される。

まず、図１７のステップＳ１の前段（不図示のステップＳ０）において、画像処理回路１２５（取得手段１２５ａ）は、撮像素子１０７により取得されたＬＦデータ（入力画像）に基づいて撮像画像および少なくとも一つの視点画像（視差画像）を生成（取得）する。撮像画像は、結像光学系の異なる瞳部分領域を合成した瞳領域に応じて生成される画像である。視点画像は、結像光学系の異なる瞳部分領域ごとに生成される画像である。

ステップＳ０において、まず、画像処理回路１２５は、撮像素子１０７により取得されたＬＦデータ（入力画像）を入力する。または、画像処理回路１２５は、予め撮像素子１０７により撮影され、記録媒体に保存されているＬＦデータ（入力画像）を用いてもよい。

ステップＳ０において、次に、画像処理回路１２５は、結像光学系の異なる瞳部分領域（第１瞳部分領域と第２瞳部分領域）を合成した瞳領域に応じた撮像画像を生成する。ＬＦデータ（入力画像）をＬＦとする。また、ＬＦの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦Ｎｘ）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊ_Ｓ－１）＋ｉ_Ｓ（１≦ｋ≦Ｎ_ＬＦ）として、第ｋ副画素信号とする。画像処理回路１２５は、結像光学系の異なる瞳部分領域を合成した瞳領域に対応した、列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ、ｉ）、すなわち合成画像を、以下の式（２）で表されるように生成する。

本実施例では、撮像画像Ｉ（ｊ、ｉ）のＳ／Ｎを良好に保持するため、各副画素信号がアナログ／デジタル変換（Ａ／Ｄ変換）される前に、撮像素子内の静電容量部（ＦＤ）において、式（２）の各副画素信号の合成を行う。必要に応じて、各副画素信号がアナログ／デジタル変換（Ａ／Ｄ変換）される前に、撮像素子内の静電容量部（ＦＤ）に蓄積された電荷を電圧信号に変換する際に、式（２）の各副画素信号の合成を行ってもよい。必要に応じて、各副画素信号がアナログ／デジタル変換（Ａ／Ｄ変換）された後に、式（２）の各副画素信号の合成を行ってもよい。

本実施例は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のＸ方向に２分割する例である。図２に例示した画素配列に対応した入力画像（ＬＦデータ）から、画素ごとに、Ｘ方向に２分割された副画素２０１、２０２（Ｎｘ×Ｎｙ分割された第１副画素～第Ｎ_ＬＦ副画素）の信号を全て合成する。これにより、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成することができる。本実施例の視点画像の補正処理において、撮像画像を補正基準の参照画像として用いるため、撮像画像Ｉ（ｊ、ｉ）に対して、ＲＧＢごとのシェーディング（光量）補正処理や点キズ補正処理などを行う。必要に応じて、その他の処理を行ってもよい。

ステップＳ０において、次に、画像処理回路１２５は、結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）を、以下の式（３）で表されるように生成する。

本実施例は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２のｘ方向に２分割し、ｋ＝１の例である。図２に例示した画素配列に対応したＬＦデータ（入力画像）から、画素ごとに、ｘ方向に２分割された副画素２０１の信号を選択する。そして、瞳部分領域５０１、５０２（第１瞳部分領域～第Ｎ_ＬＦ瞳部分領域）から、瞳部分領域５０１に対応した、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１（ｊ、ｉ）を生成する。必要に応じて、ｋ＝２を選択し、結像光学系の瞳部分領域５０２に対応した第２視点画像Ｉ_２（ｊ、ｉ）を生成してもよい。

以上のように、画像処理手段１２５ｂは、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。また画像処理手段１２５ｂは、異なる瞳部分領域ごとに、少なくとも一つ以上の複数の視点画像を生成する。

本実施例では、撮像素子１０７により取得されたＬＦデータ（入力画像）から、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ、ｉ）と、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１（ｊ、ｉ）と、を生成し、記録媒体へ保存を行う。また本実施例では、撮像画像Ｉ（ｊ、ｉ）と、第１視点画像Ｉ_１（ｊ、ｉ）とから、第２視点画像Ｉ_２（ｊ、ｉ）を生成する。これにより、本実施例の撮像画像Ｉ（ｊ、ｉ）に対しては、各画素の光電変換部が分割されていない従来の撮像素子で取得される撮像画像と同様の画像処理を行うことができる。必要に応じて、各視点画像への処理を同等にするために、第１視点画像Ｉ_１（ｊ、ｉ）と、第２視点画像Ｉ_２（ｊ、ｉ）と、を生成し、記録媒体へ保存してもよい。

続いて、図１７のステップＳ１において、画像処理手段１２５ｂは、撮像画像Ｉ（ｊ、ｉ）に基づいて、第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のＲＧＢごとのシェーディング補正処理（光量補正処理）を行う。

ここで、図１９を参照して、第１視点画像および第２視点画像（第１視点画像～第Ｎ_ＬＦ視点画像）の瞳ずれによるシェーディングについて説明する。図１９は、シェーディングの説明図であり、撮像素子１０７の周辺像高における光電変換部３０１が受光する瞳部分領域５０１、光電変換部３０２が受光する瞳部分領域５０２、および、結像光学系の射出瞳４００の関係を示す。なお、図４と同じ部分については、同じ符号を付している。光電変換部３０１、３０２（第１光電変換部～第Ｎ_ＬＦ光電変換部）は、それぞれ、副画素２０１、２０２（第１副画素～第Ｎ_ＬＦ副画素）に対応する。

図１９（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓとが同じ場合を示す。この場合、瞳部分領域５０１、５０２により、結像光学系の射出瞳４００は、概ね均等に瞳分割される。これに対して、図１９（ｂ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも短い場合、撮像素子１０７の周辺像高では、射出瞳４００と撮像素子１０７の入射瞳との瞳ずれが生じる。その結果、射出瞳４００は、不均一に瞳分割される。同様に、図１９（ｃ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも長い場合、撮像素子１０７の周辺像高では、射出瞳４００と撮像素子１０７の入射瞳との瞳ずれが生じる。その結果、射出瞳４００は、不均一に瞳分割される。周辺像高で瞳分割が不均一になるのに伴い、第１視点画像と第２視点画像の強度も不均一になり、第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、ＲＧＢごと（色ごと）に生じる。

本実施例の画像処理手段１２５ｂは、良好な画質品位の各視点画像を生成するため、図１７のステップＳ１にて、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のＲＧＢごとのシェーディング補正（光量補正）を行う。

図１７のステップＳ１において、画像処理回路１２５は、まず、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥（非キズ）である有効画素Ｖ_１（ｊ、ｉ）を検出する。撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素は、Ｖ_１（ｊ、ｉ）＝１とする。一方、撮像画像Ｉ（ｊ、ｉ）と第１視点画像Ｉ_１（ｊ、ｉ）のいずれかが、飽和もしくは欠陥と検出された非有効画素は、Ｖ_１（ｊ、ｉ）＝０とする。第ｋ視点画像Ｉ_ｋのシェーディング（光量）補正の場合は、同様に、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）のいずれもが、非飽和かつ非欠陥である有効画素をＶ_ｋ（ｊ、ｉ）とする。

整数ｊ_２（１≦ｊ_２≦Ｎ_Ｖ／２）、ｉ_２（１≦ｉ_２≦Ｎ_Ｈ／２）とする。図２に例示したベイヤー配列の撮像画像Ｉを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに、撮像画像ＲＩ、ＧｒＩ、ＧｂＩ、ＢＩとする。Ｒの撮像画像はＲＩ（２ｊ_２－１、２ｉ_２－１）＝Ｉ（２ｊ_２－１、２ｉ_２－１）、Ｇｒの撮像画像はＧｒＩ（２ｊ_２－１、２ｉ_２）＝Ｉ（２ｊ_２－１、２ｉ_２）とそれぞれ表される。また、Ｇｂの撮像画像はＧｂＩ（２ｊ_２、２ｉ_２－１）＝Ｉ（２ｊ_２、２ｉ_２－１）、Ｂの撮像画像はＢＩ（２ｊ_２、２ｉ_２）＝Ｉ（２ｊ_２、２ｉ_２）とそれぞれ表される。同様に、図２に例示したベイヤー配列の第ｋ視点画像Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに、ＲＩ_ｋ、ＧｒＩ_ｋ、ＧｂＩ_ｋ、ＢＩ_ｋとする。Ｒの撮像画像はＲＩ_ｋ（２ｊ_２－１、２ｉ_２－１）＝Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）、Ｇｒの撮像画像はＧｒＩ_ｋ（２ｊ_２－１、２ｉ_２）＝Ｉ_ｋ（２ｊ_２－１、２ｉ_２）とそれぞれ表される。また、Ｇｂの撮像画像はＧｂＩ_ｋ（２ｊ_２、２ｉ_２－１）＝Ｉ_ｋ（２ｊ_２、２ｉ_２－１）、Ｂの撮像画像はＢＩ_ｋ（２ｊ_２、２ｉ_２）＝Ｉ_ｋ（２ｊ_２、２ｉ_２）とそれぞれ表される。

ステップＳ１において、次に画像処理手段１２５ｂは、撮像画像ＲＩ（２ｊ_２－１、２ｉ_２－１）、ＧｒＩ（２ｊ_２－１、２ｉ_２）、ＧｂＩ（２ｊ_２、２ｉ_２－１）、ＢＩ（２ｊ_２、２ｉ_２）の射影処理を行う。具体的には、撮像画像ＲＩ（２ｊ_２－１、２ｉ_２－１）、ＧｒＩ（２ｊ_２－１、２ｉ_２）、ＧｂＩ（２ｊ_２、２ｉ_２－１）、ＢＩ（２ｊ_２、２ｉ_２）に関して、式（４Ａ）～（４Ｄ）により、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行う。これにより、撮像画像の射影信号ＲＰ（２ｉ_２－１）、ＧｒＰ（２ｉ_２）、ＧｂＰ（２ｉ_２－１）、ＢＰ（２ｉ_２）が生成される。飽和信号値や欠陥信号値には、撮像画像のＲＧＢごとのシェーディングを正しく検出するための情報が含まれていない。そのため、撮像画像と有効画素Ｖ_ｋとの積を取り、飽和信号値や欠陥信号値を除外して、射影処理を行い（式（４Ａ）上段から式（４Ｄ）上段の分子）、射影処理に用いられた有効画素数で規格化（式（４Ａ）上段から式（４Ｄ）上段の分母）を行う。射影処理に用いられた有効画素数が０の場合、式（４Ａ）下段～式（４Ｄ）下段により、撮像画像の射影信号を０に設定する。さらに、撮像画像の射影信号が、ノイズの影響などで負信号となった場合、撮像画像の射影信号を０に設定する。同様に、第ｋ視点画像ＲＩ_ｋ（２ｊ_２－１、２ｉ_２－１）、ＧｒＩ_ｋ（２ｊ_２－１、２ｉ_２）、ＧｂＩ_ｋ（２ｊ_２、２ｉ_２－１）、ＢＩ_ｋ（２ｊ_２、２ｉ_２）を、式（４Ｅ）～（４Ｈ）により、瞳分割方向（ｘ方向）と直交する方向（ｙ方向）に射影処理を行う。これにより、第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２－１）、ＧｒＰ_ｋ（２ｉ_２）、ＧｂＰ_ｋ（２ｉ_２－１）、ＢＰ_ｋ（２ｉ_２）を生成する。

式（４Ａ）～（４Ｈ）の射影処理後、ローパスフィルタ処理を行う。ローパスフィルタ処理は、撮影画像の射影信号ＲＰ（２ｉ_２－１）、ＧｒＰ（２ｉ_２）、ＧｂＰ（２ｉ_２－１）、ＢＰ（２ｉ_２）と、第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２－１）、ＧｒＰ_ｋ（２ｉ_２）、ＧｂＰ_ｋ（２ｉ_２－１）、ＢＰ_ｋ（２ｉ_２）に行われる。これにより、撮影画像の射影信号の平滑化が行われる。ただし、ローパスフィルタ処理を省略してもよい。

図２０は、撮像画像の射影信号、第１視点画像の射影信号、および、シェーディング関数の説明図である。図２０の上段は、撮像画像の射影信号ＲＰ（Ｒ）、ＧｒＰ（Ｇ）、ＧｂＰ（Ｇ）、ＢＰ（Ｂ）の例を示している。図２０の中段は、第１視点画像の射影信号ＲＰ_１（Ｒ）、ＧｒＰ_１（Ｇ）、ＧｂＰ_１（Ｇ）、ＢＰ_１（Ｂ）の例を示している。各射影信号には、被写体に依存した複数の山谷の起伏が生じる。第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のシェーディング補正を高精度に行うには、瞳ずれにより生じている第１視点画像Ｉ_１（第ｋ視点画像Ｉ_ｋ）のＲＧＢごとのシェーディング成分と、被写体が保有しているＲＧＢ毎の信号成分とを分離する必要がある。

ステップＳ１にて、画像処理手段１２５ｂは、式（５Ａ）～（５Ｄ）により、撮像画像を基準とした相対的な第ｋ視点画像Ｉ_ｋのＲＧＢごとのシェーディング信号ＲＳ_ｋ（２ｉ_２－１）、ＧｒＳ_ｋ（２ｉ_２）、ＧｂＳ_ｋ（２ｉ_２－１）、ＢＳ_ｋ（２ｉ_２）を算出する。

画素の受光量は、副画素の受光量より大きく、さらに、シェーディング成分の算出には、副画素の受光量が０より大きい必要がある。そのため、条件式ＲＰ（２ｉ_２－１）＞ＲＰ_ｋ（２ｉ_２－１）＞０を満たす場合、式（５Ａ）により、Ｒの第ｋ視点画像の射影信号ＲＰ_ｋ（２ｉ_２－１）と、Ｒの撮像画像の射影信号ＲＰ（２ｉ_２－１）との比を取得する。そして、規格化のため瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＲのシェーディング信号ＲＳ_ｋ（２ｉ_２－１）を生成する。これにより、被写体が保有しているＲの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＲのシェーディング成分を分離することができる。一方、条件式ＲＰ（２ｉ_２－１）＞ＲＰ_ｋ（２ｉ_２－１）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＲのシェーディング信号ＲＳ_ｋ（２ｉ_２－１）を０に設定する。

同様に、条件式ＧｒＰ（２ｉ_２）＞ＧｒＰ_ｋ（２ｉ_２）＞０を満たす場合、式（５Ｂ）により、Ｇｒの第ｋ視点画像の射影信号ＧｒＰ_ｋ（２ｉ_２）と、Ｇｒの撮像画像の射影信号ＧｒＰ（２ｉ_２）との比を取得する。そして、規格化のため瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング信号ＧｒＳ_ｋ（２ｉ_２）を生成する。これにより、被写体が保有しているＧｒの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング成分を分離することができる。一方、条件式ＧｒＰ（２ｉ_２）＞ＧｒＰ_ｋ（２ｉ_２）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＧｒのシェーディング信号ＧｒＳ_ｋ（２ｉ_２）を０に設定する。

同様に、条件式ＧｂＰ（２ｉ_２－１）＞ＧｂＰ_ｋ（２ｉ_２－１）＞０を満たす場合、式（５Ｃ）により、Ｇｂの第ｋ視点画像の射影信号ＧｂＰ_ｋ（２ｉ_２－１）と、Ｇｂの撮像画像の射影信号ＧｂＰ（２ｉ_２－１）との比を取得する。そして、規格化のため瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＧｂのシェーディング信号ＧｂＳ_ｋ（２ｉ_２－１）を生成する。これにより、被写体が保有しているＧｂの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＧｂのシェーディング成分を分離することができる。一方、条件式ＧｂＰ（２ｉ_２－１）＞ＧｂＰ_ｋ（２ｉ_２－１）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＧｂのシェーディング信号ＧｂＳ_ｋ（２ｉ_２－１）を０に設定する。

同様に、条件式ＢＰ（２ｉ_２）＞ＢＰ_ｋ（２ｉ_２）＞０を満たす場合、式（５Ｄ）により、Ｂの第ｋ視点画像の射影信号ＢＰ_ｋ（２ｉ_２）と、Ｂの撮像画像の射影信号ＢＰ（２ｉ_２）との比を取得する。そして、規格化のため瞳分割数Ｎ_ＬＦを乗算して、第ｋ視点画像Ｉ_ｋのＢのシェーディング信号ＢＳ_ｋ（２ｉ_２）を生成する。これにより、被写体が保有しているＢの信号成分を相殺し、第ｋ視点画像Ｉ_ｋのＢのシェーディング成分を分離することができる。一方、条件式ＢＰ（２ｉ_２）＞ＢＰ_ｋ（２ｉ_２）＞０を満たさない場合、第ｋ視点画像Ｉ_ｋのＢのシェーディング信号ＢＳ_ｋ（２ｉ_２）を０に設定する。

シェーディング補正精度を高精度に行うため、ＲＳ_ｋ（２ｉ_２－１）＞０、ＧｒＳ_ｋ（２ｉ_２）＞０、ＧｂＳ_ｋ（２ｉ_２－１）＞０、ＢＳ_ｋ（２ｉ_２）＞０を満たす有効なシェーディング信号数が所定値以上である場合に、シェーディング補正を行うことが望ましい。

ステップＳ１において、次に画像処理手段１２５ｂは、式（６Ａ）～（６Ｄ）で表されるような演算処理を行う。これにより、第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング関数ＲＳＦ_ｋ（２ｉ_２－１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２－１）、ＢＳＦ_ｋ（２ｉ_２）を、瞳分割方向（ｘ方向）の位置変数に対する滑らかなＮ_ＳＦ次の多項式関数とする。また、式（５Ａ）～（５Ｄ）により生成され、ＲＳ_ｋ（２ｉ_２－１）＞０、ＧｒＳ_ｋ（２ｉ_２）＞０、ＧｂＳ_ｋ（２ｉ_２－１）＞０、ＢＳ_ｋ（２ｉ_２）＞０を満たす有効なシェーディング信号をデータ点とする。これらデータ点を用いて、最小二乗法によるパラメーターフィッティングを行い、式（６Ａ）～（６Ｄ）の各係数ＲＳＣ_ｋ（μ）、ＧｒＳＣ_ｋ（μ）、ＧｂＳＣ_ｋ（μ）、ＢＳＣ_ｋ（μ）を算出する。

以上により、撮像画像を基準とした相対的な第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング関数ＲＳＦ_ｋ（２ｉ_２－１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２－１）、ＢＳＦ_ｋ（２ｉ_２）を生成する。

図２０の下段は、撮像画像を基準とした相対的な第１視点画像Ｉ_１のＲＧＢ毎のシェーディング関数ＲＳＦ_１（Ｒ）、ＧｒＳＦ_１（Ｇ）、ＧｂＳＦ_１（Ｇ）、ＢＳＦ_１（Ｂ）の例を示している。図２０の中段の第１視点画像の射影信号と、図２０の上段の撮影画像の射影信号では、被写体に依存した山谷の起伏が存在する。これに対して、第１視点画像の射影信号と撮影画像の射影信号の比を得ることにより、被写体に依存した山谷の起伏（被写体が保有しているＲＧＢ毎の信号値）を相殺し、滑らかな第１視点画像Ｉ_１のＲＧＢ毎のシェーディング関数を分離して生成することができる。なお本実施例では、シェーディング関数として、多項式関数を用いたが、これに限定されるものではなく、必要に応じて、シェーディング形状に合わせて、より一般的な関数を用いてもよい。

図１７のステップＳ１において、次に画像処理手段１２５ｂは、第ｋ視点画像Ｉ_ｋ（ｊ、ｉ）に対して、式（７Ａ）～（７Ｄ）により、ＲＧＢ毎のシェーディング関数を用いて、シェーディング（光量）補正処理を行う。これにより、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）が生成される。ここで、ベイヤー配列の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに、以下のように表す。すなわち、Ｒの第ｋ視点（第１修正）画像をＲＭ_１Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）＝Ｍ_１Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）、Ｇｒの第ｋ視点（第１修正）画像をＧｒＭ_１Ｉ_ｋ（２ｊ_２－１、２ｉ_２）＝Ｍ_１Ｉ_ｋ（２ｊ_２－１、２ｉ_２）とする。また、Ｇｂの第ｋ視点（第１修正）画像をＧｂＭ_１Ｉ_ｋ（２ｊ_２、２ｉ_２－１）＝Ｍ_１Ｉ_ｋ（２ｊ_２、２ｉ_２－１）、Ｂの第ｋ視点（第１修正）画像をＢＭ_１Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_１Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。必要に応じて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）を出力画像としてもよい。

次に、図２１乃至図２３を参照して、図１７のステップＳ１に示される第１視点画像Ｉ_１（ｊ、ｉ）のＲＧＢごとのシェーディング補正処理（光量補正処理）の効果について説明する。図２１は、本実施例の撮像画像Ｉ（デモザイキング後）の例を示す。画質品位が良好な撮像画像の例である。図２２は、本実施例のシェーディング補正前の第１視点画像Ｉ_１（デモザイキング後）の例を示す。結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれにより、ＲＧＢ毎のシェーディングが生じ、そのため、第１視点画像Ｉ_１（ｊ、ｉ）の右側において、輝度の低下とＲＧＢ比の変調が生じている例である。図２３は、本実施例のシェーディング補正後の第１視点（第１修正）画像Ｍ_１Ｉ_１（デモザイキング後）の例を示す。撮像画像に基づいたＲＧＢ毎のシェーディング補正により、輝度の低下とＲＧＢ比の変調が修正され、撮像画像と同様に、画質品位が良好なシェーディング補正後の第１視点（第１修正）画像Ｍ_１Ｉ_１（ｊ、ｉ）が生成される。

本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。そして、異なる瞳部分領域ごとに、複数の視点画像を生成し、撮像画像に基づいて視点画像を補正する画像処理を行い、出力画像を生成する。本実施例では、撮像画像に基づいて視点画像の色（ＲＧＢ）ごとの光量（シェーディング）を補正する画像処理を行う。本実施例では、撮像画像の射影信号と視点画像の射影信号とに基づいて、視点画像の光量補正を行う画像処理を行う。本実施例の構成により、良好な画質品位の視点画像を生成することができる。

続いて、図１７のステップＳ２において、画像処理手段１２５ｂは、撮像画像Ｉに基づいて、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの欠陥補正を行う。なお本実施例は、ｋ＝１の例を示すが、これに限定されるものではない。

本実施例では、撮像素子の回路構成や駆動方式により、転送ゲートの短絡などで、撮像画像Ｉは正常であるが、一方、第ｋ視点画像Ｉ_ｋ（第１視点画像Ｉ_１）のごく一部分に欠陥信号が生じ、点欠陥や線欠陥となる場合がある。必要に応じて、量産工程等で検査された点欠陥情報や線欠陥情報を、画像処理回路１２５などに事前に記録し、記録された点欠陥情報や線欠陥情報を用いて第ｋ視点画像Ｉ_ｋ（第１視点画像Ｉ_１）の欠陥補正処理を行ってもよい。また、必要に応じて、第ｋ視点画像Ｉ_ｋ（第１視点画像Ｉ_１）をリアルタイムに検査して点欠陥判定や線欠陥判定を行ってもよい。

ここで、本実施例の欠陥補正（図１７のステップＳ２）について説明する。本実施例では、第ｋ視点画像Ｉ_ｋの奇数行２ｊ_Ｄ－１または偶数行２ｊ_Ｄが、水平方向（ｘ方向）のライン状の線欠陥であると判定された場合であって、撮像画像Ｉの奇数行２ｊ_Ｄ－１または偶数行２ｊ_Ｄは、線欠陥と判定されていない場合を例として説明する。

本実施例のステップＳ２の欠陥補正では、正常な撮像画像Ｉを参照画像として、撮像画像Ｉに基づいて、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの欠陥補正を行う。本実施例の欠陥補正では、欠陥と判定されていない位置の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの信号値と、欠陥と判定されていない位置の撮像画像Ｉの信号値と、を比較して欠陥補正を行う。この比較を行う際に、瞳ずれにより生じている第ｋ視点画像Ｉ_ｋのＲＧＢ毎のシェーディング成分の影響を取り除き、第ｋ視点画像Ｉ_ｋと撮像画像Ｉとで、被写体が保有しているＲＧＢごとの信号成分を、正確に比較することが、高精度な欠陥補正のために必要である。そのため、予め、ステップＳ１において、第ｋ視点画像のＲＧＢ毎のシェーディング補正（光量補正）を行い、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋを生成して、撮像画像Ｉと同等のシェーディング状態とし、シェーディング成分の影響を取り除く。その後、ステップＳ２において、シェーディング補正された第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋに対して、撮像画像Ｉに基づき、高精度な欠陥補正を行う。

図１７のステップＳ２において、シェーディング補正後の第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）の一部の欠陥と判定された信号に対して、撮像画像Ｉの正常信号と、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋの正常信号とから、欠陥補正処理を行う。そして、欠陥補正後の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）を生成する。ここで、ベイヤー配列の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに以下のように表す。すなわち、Ｒの第ｋ視点（第２修正）画像をＲＭ_２Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）＝Ｍ_２Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）、Ｇｒの第ｋ視点（第２修正）画像をＧｒＭ_２Ｉ_ｋ（２ｊ_２－１、２ｉ_２）＝Ｍ_２Ｉ_ｋ（２ｊ_２－１、２ｉ_２）とする。また、Ｇｂの第ｋ視点（第２修正）画像をＧｂＭ_２Ｉ_ｋ（２ｊ_２、２ｉ_２－１）＝Ｍ_２Ｉ_ｋ（２ｊ_２、２ｉ_２－１）、Ｂの第ｋ視点（第２修正）画像をＢＭ_２Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_２Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

ステップＳ２において、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＲの第１位置（２ｊ_Ｄ－１、２ｉ_Ｄ－１）が欠陥と判定された場合を考える。このとき、第１位置の撮像画像ＲＩ（２ｊ_Ｄ－１、２ｉ_Ｄ－１）と、欠陥と判定されていないＲの第２位置の第ｋ視点（第１修正）画像ＲＭ_１Ｉ_ｋと、第２位置の撮像画像ＲＩとから、以下の式（８Ａ）により、欠陥補正処理を行う。これにより、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＲＭ_２Ｉ_ｋ（２ｊ_Ｄ－１、２ｉ_Ｄ－１）が生成される。

第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＧｒの第１位置（２ｊ_Ｄ－１、２ｉ_Ｄ）が欠陥と判定された場合を考える。このとき、第１位置の撮像画像ＧｒＩ（２ｊ_Ｄ－１、２ｉ_Ｄ）と、欠陥と判定されていないＧｂの第２位置の第ｋ視点（第１修正）画像ＧｂＭ_１Ｉ_ｋと、第２位置の撮像画像ＧｂＩとから、式（８Ｂ）により、欠陥補正処理を行う。これにより、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＧｒＭ_２Ｉ_ｋ（２ｊ_Ｄ－１、２ｉ_Ｄ）を生成することができる。

第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＧｂの第１位置（２ｊ_Ｄ、２ｉ_Ｄ－１）が欠陥と判定された場合を考える。このとき、第１位置の撮像画像ＧｂＩ（２ｊ_Ｄ、２ｉ_Ｄ－１）と、欠陥と判定されていないＧｒの第２位置の第ｋ視点（第１修正）画像ＧｒＭ_１Ｉ_ｋと、第２位置の撮像画像ＧｒＩとから、式（８Ｃ）により、欠陥補正処理を行う。これにより、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＧｂＭ_２Ｉ_ｋ（２ｊ_Ｄ、２ｉ_Ｄ－１）を生成することができる。

第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋのＢの第１位置（２ｊ_Ｄ、２ｉ_Ｄ）が欠陥と判定された場合を考える。このとき、第１位置の撮像画像ＢＩ（２ｊ_Ｄ、２ｉ_Ｄ）と、欠陥と判定されていないＢの第２位置の第ｋ視点（第１修正）画像ＢＭ_１Ｉ_ｋと、第２位置の撮像画像ＢＩとから、式（８Ｄ）により、欠陥補正処理を行を行う。これにより、第１位置における欠陥補正後の第ｋ視点（第２修正）画像ＢＭ_２Ｉ_ｋ（２ｊ_Ｄ、２ｉ_Ｄ）を生成することができる。

上記以外の欠陥と判定されていない大部分の位置（ｊ、ｉ）においては、第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）は、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｊ、ｉ）と同じ信号値で、Ｍ_２Ｉ_ｋ（ｊ、ｉ）＝Ｍ_１Ｉ_ｋ（ｊ、ｉ）である。必要に応じて、欠陥補正後の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）を出力画像としてもよい。

次に、図２４および図２５を参照して、本実施例の図１７のステップＳ２に示される第１視点（第１修正）画像Ｍ_１Ｉ_１の正常な撮像画像Ｉに基づく欠陥補正の効果について説明する。図２４は、本実施例の欠陥補正前の第１視点（第１修正）画像Ｍ_１Ｉ_１（シェーディング補正後、デモザイキング後）の例を示す。第１視点（第１修正）画像Ｍ_１Ｉ_１（ｊ、ｉ）の中央部に、水平方向（ｘ方向）のライン状の線欠陥が生じている例である。図２５は、本実施例の欠陥補正後の第１視点（第２修正）画像Ｍ_２Ｉ_１（シェーディング補正後、デモザイキング後）の例を示す。正常な撮像画像Ｉに基づいた欠陥補正により、水平方向（ｘ方向）のライン状の線欠陥が修正され、撮像画像と同様に、画質品位が良好な欠陥補正後の第１視点（第２修正）画像Ｍ_２Ｉ_１（ｊ、ｉ）が生成される。

本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。また、異なる瞳部分領域ごとに、複数の視点画像を生成し、撮像画像に基づいて視点画像を補正する画像処理を行い、出力画像を生成する。本実施例では、撮像画像に基づいて視点画像に含まれる欠陥を低減するように補正する画像処理を行う。本実施例では、欠陥と判定された第１位置における視点画像の信号値を、第１位置における撮像画像の信号値を用いて補正する画像処理を行う。本実施例では、欠陥と判定された第１位置における撮像画像の信号値と、欠陥と判定されていない第２位置における視点画像の信号値と、第２位置における撮像画像の信号値と、に基づいて、第１位置における視点画像の信号値を補正する画像処理を行う。

本実施例において、画像処理手段１２５ｂは、撮像画像に基づいて視点画像の光量補正処理を行った後、撮像画像に基づいて視点画像に含まれる欠陥を低減するように補正処理（画像処理）を行う。このような構成により、良好な画質品位の視点画像を生成することができる。

図１７のステップＳ２において、次に、画像処理手段１２５ｂは、欠陥補正後の第ｋ視点（第２修正）画像Ｍ_２Ｉ_ｋ（ｊ、ｉ）に対して、以下の式（９Ａ）～（９Ｄ）により、シェーディング処理を行う。これにより、第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ、ｉ）が生成される。

ここで、ベイヤー配列の第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋを、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに取得する。Ｒの第ｋ視点（第３修正）画像をＲＭ_３Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）＝Ｍ_３Ｉ_ｋ（２ｊ_２－１、２ｉ_２－１）、Ｇｒの第ｋ視点（第３修正）画像をＧｒＭ_３Ｉ_ｋ（２ｊ_２－１、２ｉ_２）＝Ｍ_３Ｉ_ｋ（２ｊ_２－１、２ｉ_２）とする。また、Ｇｂの第ｋ視点（第３修正）画像をＧｂＭ_３Ｉ_ｋ（２ｊ_２、２ｉ_２－１）＝Ｍ_３Ｉ_ｋ（２ｊ_２、２ｉ_２－１）、Ｂの第ｋ視点（第３修正）画像をＢＭ_３Ｉ_ｋ（２ｊ_２、２ｉ_２）＝Ｍ_３Ｉ_ｋ（２ｊ_２、２ｉ_２）とする。

図１８のステップＳ３において、撮像画像Ｉ（ｊ、ｉ）と、第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ、ｉ）とに対して、飽和信号処理を行う。本実施例は、ｋ＝１、Ｎ_ＬＦ＝２の例である。
ステップＳ３において、まず、撮像画像Ｉ（ｊ、ｉ）に対して、撮像信号の最大値をＩｍａｘとして、以下の式（１０）に従って飽和信号処理を行い、修正撮像画像ＭＩ（ｊ、ｉ）を生成する。

ステップＳ３において、次に画像処理回路１２５ｂは、第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ、ｉ）に対して、ベイヤー配列のシェーディング関数をＳＦ_ｋ（ｊ、ｉ）として、以下の式（１１）により、シェーディング状態に合わせた飽和信号処理を行う。これにより、第ｋ視点（第４修正）画像Ｍ_４Ｉ_ｋ（ｊ、ｉ）を生成することができる。ここで、ベイヤー配列のシェーディング関数ＳＦ_ｋ（ｊ、ｉ）を、式（６Ａ）～（６Ｄ）により、Ｒ、Ｇｒ、Ｇｂ、Ｂごとに生成されたシェーディング関数ＲＳＦ_ｋ（２ｉ_２－１）、ＧｒＳＦ_ｋ（２ｉ_２）、ＧｂＳＦ_ｋ（２ｉ_２－１）、ＢＳＦ_ｋ（２ｉ_２）から求める。すなわち、ＳＦ_ｋ（２ｊ_２－１、２ｉ_２－１）＝ＲＳＦ_ｋ（２ｉ_２－１）、ＳＦ_ｋ（２ｊ_２－１、２ｉ_２）＝ＧｒＳＦ_ｋ（２ｉ_２）、ＳＦ_ｋ（２ｊ_２、２ｉ_２－１）＝ＧｂＳＦ_ｋ（２ｉ_２－１）、ＳＦ_ｋ（２ｊ_２、２ｉ_２）＝ＢＳＦ_ｋ（２ｉ_２）とする。

図１８のステップＳ４において、画像処理手段１２５ｂは、修正撮像画像ＭＩ（ｊ、ｉ）と、第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ、ｉ）とから、式（１２）により、第２視点画像Ｉ_２（ｊ、ｉ）を生成する。

本実施例では、撮像素子１０７の駆動方式やＡ／Ｄ変換の回路構成により、第１視点（第３修正）画像Ｍ_３Ｉ_１（ｊ、ｉ）の飽和時の最大信号値が、撮像画像Ｉ（ｊ、ｉ）の飽和時の最大信号値Ｉｍａｘと、同一の最大信号値となる場合がある。その場合、飽和信号処理を行わずに、式（１２）のように、撮像画像から第１視点（第３修正）画像を減算して第２視点画像を生成すると、第２視点画像において飽和信号値となるべき場合に、誤った信号値０となる場合がある。したがって、これを防止するため、ステップＳ３において、予め、撮像画像Ｉ（ｊ、ｉ）と第ｋ視点（第３修正）画像Ｍ_３Ｉ_ｋ（ｊ、ｉ）に対してシェーディング状態に合わせた飽和信号処理を行う。そして、飽和信号処理後の修正撮像画像ＭＩ（ｊ、ｉ）と第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ、ｉ）を生成する。その後、ステップＳ４において、式（１２）により、第２視点画像Ｉ_２（ｊ、ｉ）を生成することにより、より正しい飽和信号値に対応した第２視点画像Ｉ_２を生成することができる。

図１８のステップＳ５において、画像処理手段１２５ｂは、第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ、ｉ）と、第２視点画像Ｉ_２（ｊ、ｉ）に対して、シェーディング補正（光量補正）を行う。具体的には、第１視点（第４修正）画像Ｍ_４Ｉ_１（ｊ、ｉ）に対して、式（６Ａ）～（６Ｄ）で生成済みのシェーディング関数ＲＳＦ_１、ＧｒＳＦ_１、ＧｂＳＦ_１、ＢＳＦ_１を用いて、式（７Ａ）～（７Ｄ）と同様に、シェーディング補正（光量補正）を行う。これにより、第１視点（第５修正）画像Ｍ_５Ｉ_１（ｊ、ｉ）が生成される。ステップＳ５において、次に、画像処理手段１２５ｂは、第２視点画像Ｉ_２（ｊ、ｉ）に対して、式（４Ａ）～（７Ｄ）と同様に、修正撮像画像ＭＩ（ｊ、ｉ）に基づいて、シェーディング補正（光量補正）を行う。これにより、第２視点（第５修正）画像Ｍ_５Ｉ_２（ｊ、ｉ）が生成される。

図１８のステップＳ６において、最後に、画像処理手段１２５ｂは、第１視点（第５修正）画像Ｍ_５Ｉ_１（ｊ、ｉ）と、第２視点（第５修正）画像Ｍ_５Ｉ_２（ｊ、ｉ）に対して、以下の式（１３）により飽和信号処理を行う。これにより、出力画像である修正第１視点画像ＭＩ_１（ｊ、ｉ）と修正第２視点画像ＭＩ_２（ｊ、ｉ）とが生成される。

次に、図２６および図２７を参照して、図１７のステップＳ５に示される、第２視点画像Ｉ_２（ｊ、ｉ）のＲＧＢごとのシェーディング補正処理（光量補正処理）の効果について説明する。図２６は、本実施例のシェーディング補正前の第２視点画像Ｉ_２（デモザイキング後）の例を示す。結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれにより、ＲＧＢ毎のシェーディングが生じ、そのため、第２視点画像Ｉ_２（ｊ、ｉ）の左側において、輝度の低下とＲＧＢ比の変調が生じている例である。図２７は、本実施例のシェーディング補正後の修正第２視点画像ＭＩ_２（デモザイキング後）の例を示す。撮像画像に基づくＲＧＢごとのシェーディング補正により、輝度の低下とＲＧＢ比の変調が修正され、撮像画像と同様に、画質品位が良好なシェーディング補正後の修正第２視点画像ＭＩ_２（ｊ、ｉ）が生成される。

本実施例の画像処理装置は、上記の画像処理方法を行う画像処理手段を有する画像処理装置である。本実施例の撮像装置は、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子と、上記の画像処理方法を行う画像処理手段を有する撮像装置である。本実施例の構成によれば、良好な画質品位の視点画像を生成することができる。

次に、本発明の実施例４について説明する。本実施例では、実施例３で生成された修正第１視点画像および修正第２視点画像（修正第１視点画像～修正第Ｎ_ＬＦ視点画像）から、修正第１視点画像と修正第２視点画像との相関（信号の一致度）に基づいて、位相差検出方式により像ずれ量分布を検出する。

像ずれ量分布の生成において、まず、ベイヤー配列のＲＧＢ信号である修正第ｋ視点画像ＭＩｋ（ｋ＝１～Ｎ_ＬＦ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させる。そして、第ｋ視点輝度信号Ｙｋを、以下の式（１４）により生成する。

像ずれ量分布の生成において、次に、ベイヤー配列のＲＧＢ信号である修正第１視点画像ＭＩ_１から、式（１４）により生成された第１視点輝度信号Ｙ_１に対して、瞳分割方向（列方向）に１次元バンドパスフィルタ処理を行い、第１焦点検出信号ｄＹＡを生成する。また、修正第２視点画像ＭＩ_２から、式（１４）により生成された第２視点輝度信号Ｙ_２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理を行い、第２焦点検出信号ｄＹＢを生成する。１次元バンドパスフィルタとしては、例えば、１次微分型フィルター［１、５、８、８、８、８、５、１、－１、－５、－８、－８、－８、－８、－５、－１］などを用いることができる。必要に応じて、１次元バンドパスフィルタの通過帯域を調整してもよい。

像ずれ量分布の生成において、次に、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを、相対的に瞳分割方向（列方向）にシフトさせて、信号の一致度を表す相関量を算出し、相関量に基づいて像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を生成する。位置（ｊ，ｉ）を中心として、行方向ｊ_２（－ｎ_２≦ｊ_２≦ｎ_２）番目、瞳分割方向である列方向ｉ_２（－ｍ_２≦ｉ_２≦ｍ_２）番目の第１焦点検出信号をｄＹＡ（ｊ＋ｊ_２、ｉ＋ｉ_２）、第２焦点検出信号をｄＹＢ（ｊ＋ｊ_２、ｉ＋ｉ_２）とする。シフト量をｓ（－ｎ_ｓ≦ｓ≦ｎ_ｓ）として、各位置（ｊ，ｉ）での相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）を、以下の式（１５Ａ）により算出し、相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）を、以下の式（１５Ｂ）により算出する。

相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）は、相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相－１シフトずらした相関量である。相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）と相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出し、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）を検出する。

位相差方式の像ずれ量の検出では、式（１５Ａ）および式（１５Ｂ）の相関量を評価し、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）に基づいて、像ずれ量の検出を行う。本実施例では、撮像画像に基づくＲＧＢごとのシェーディング補正（光量補正）が施された修正第１視点画像と修正第２視点画像から、それぞれ、第１焦点検出信号と第２焦点検出信号を生成する。そのため、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）が改善され、像ずれ量を高精度に検出することができる。

自動焦点検出により検出されたデフォーカス量に応じて合焦位置にレンズを駆動する場合、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）に、撮像レンズ（結像光学系）の絞り値Ｆ、射出瞳距離などのレンズ情報に応じた像ずれ量からデフォーカス量への変換係数Ｋを乗算する。これにより、デフォーカス分布Ｍ_Ｄｅｆ（ｊ，ｉ）を検出することができる。また、上記演算は焦点検出領域の像高位置ごとに行うことが好ましい。

本実施例によれば、良好な画質品位の複数の視点画像を生成することができる。また、良好な画質品位の複数の視点画像を用いることにより、像ずれ量の検出精度を改善することができる。

次に、本発明の実施例５について説明する。本実施例は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割の例である。本実施例では、図１２に例示した画素配列に対応した入力画像（ＬＦデータ）から、式（２）により、画素ごとに、４分割された副画素２０１～２０４（Ｎｘ×Ｎｙ分割された第１副画素～第Ｎ_ＬＦ副画素）の信号を全て合成する。そして、画素数Ｎ（＝水平画素数Ｎ_Ｈ×垂直画素数Ｎ_Ｖ）の解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する。

また、本実施例は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割で、ｋ＝１～３の例である。図１２に例示した画素配列に対応したＬＦデータ（入力画像）から、式（３）により、画素ごとに、４分割された副画素２０１～２０４の中から副画素２０１（第１副画素）の信号を選択する。そして、結像光学系の瞳部分領域５０１に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１（ｊ、ｉ）を生成する。また、ＬＦデータから、式（３）により、画素ごとに、４分割された副画素２０１～２０４の中から副画素２０２（第２副画素）の信号を選択する。そして、結像光学系の瞳部分領域５０２に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第２視点画像Ｉ_２（ｊ、ｉ）を生成する。また、ＬＦデータから、式（３）により、画素ごとに、４分割された副画素２０１～２０４の中から副画素２０３（第３副画素）の信号を選択する。そして、結像光学系の瞳部分領域５０３に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第３視点画像Ｉ_３（ｊ、ｉ）を生成する。

本実施例では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像（ＬＦデータ）から、異なる瞳部分領域を合成した瞳領域に応じた撮像画像を生成する。また、異なる瞳部分領域ごとに複数の視点画像を生成する。本実施例では、良好な画質品位の各視点画像を生成するため、実施例３と同様に、撮像画像に基づいて、第１視点画像から第４視点画像（第１視点画像～第Ｎ_ＬＦ視点画像）に対して、キズ補正やシェーディング補正等の画像処理を行い、出力画像を生成する。

図１７のステップＳ１において、撮像画像Ｉ（ｊ、ｉ）を基準の参照画像として、第１視点画像Ｉ_１から第３視点画像Ｉ_３（第ｋ視点画像Ｉ_ｋ：ｋ＝１～Ｎ_ＬＦ－１）のＲＧＢごとのシェーディング補正（光量補正）を行う。本実施例は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割で、ｋ＝１～３の例である。

ステップＳ１において、まず、第ｋ視点画像Ｉ_ｋ（ｋ＝１～Ｎ_ＬＦ－１）に対して、式（４Ａ）～（７Ｄ）により、ｘ方向にシェーディング補正処理（光量補正処理）を行う。次に、式（４Ａ）～（７Ｄ）において、ｘ方向とｙ方向を入れ換え、ｙ方向にシェーディング（光量）補正処理を行い、第ｋ視点（第１修正）画像Ｍ_１Ｉ_ｋ（ｋ＝１～Ｎ_ＬＦ－１）を生成する。ｘ方向へのシェーディング（光量）補正と、ｙ方向へのシェーディング補正とを２段階に行う場合、式（５Ａ）～（５Ｄ）の規格化のため瞳分割数Ｎ_ＬＦが１回余分となる。そのため、２回目のｙ方向のシェーディング補正では、式（５Ａ）～（５Ｄ）において、規格化のための瞳分割数Ｎ_ＬＦの乗算は省略する。

式（８Ａ）～（１０）により、第ｋ視点（第４修正）画像Ｍ_４Ｉ_ｋ（ｋ＝１～Ｎ_ＬＦ－１）を生成するまでは、実施例３と同様である。図１８のステップＳ４において、修正撮像画像ＭＩ（ｊ、ｉ）と、第ｋ視点（第４修正）画像Ｍ_４Ｉ_ｋ（ｋ＝１～Ｎ_ＬＦ－１）から、以下の式（１６）により、第Ｎ_ＬＦ視点画像Ｉ_ＮＬＦ（ｊ、ｉ）を生成する。本実施例は、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４の４分割の例である。

図１８のステップＳ５以降は、実施例３と同様である。

本実施例によれば、良好な画質品位の視点画像を生成することができる。なお、撮像素子の各画素部における光電変換部については、分割数をさらに多くした実施形態（例えば、Ｎｘ＝３、Ｎｙ＝３、Ｎ_ＬＦ＝９の９分割や、Ｎｘ＝４、Ｎｙ＝４、Ｎ_ＬＦ＝１６の１６分割など）が可能である。

このように各実施例において、画像処理装置（画像処理回路１２５）は、取得手段１２５ａおよび画像処理手段１２５ｂ（補正手段）を有する。取得手段１２５ａは、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部のうち、一つの光電変換部の信号から生成される視差画像を取得し、複数の光電変換部の複数の信号を合成して生成される撮像画像を取得する。画像処理手段１２５ｂは、撮像画像に基づいて視差画像に含まれる欠陥（点キズや線キズ）を低減するように補正処理を行う。

好ましくは、画像処理手段１２５ｂは、欠陥と判定された第１位置（補正対象位置）における視差画像の画素値（画素信号）を、第１位置における撮像画像の画素値（画素信号）を用いて補正する。より好ましくは、画像処理手段１２５ｂは、第１位置における撮像画像の画素値Ｉと、欠陥と判定されていない第２位置における視差画像の画素値と、第２位置における撮像画像の画素値とに基づいて、第１位置における視差画像の画素値を補正する。ここで第２位置は、第１位置（補正対象位置）の近傍（周辺）にある画素の位置である。より好ましくは、第２位置は、所定の方向（画素配列の縦方向、横方向、または、斜め方向）において第１位置に隣接する位置である。

好ましくは、画像処理手段１２５ｂは、第２位置における視差画像または撮像画像の画素値が所定の輝度値（パラメータＡ０、Ｉ０）よりも小さい場合、画素値を所定の輝度値に置き換える。より好ましくは、所定の輝度値は、瞳部分領域の数に応じて変化するように設定される。また好ましくは、所定の輝度値は、第１位置（補正対象位置）に応じて変化するように設定される。また好ましくは、所定の輝度値は、撮影条件情報に応じて変化するように設定される。撮影条件情報は、例えば、ＩＳＯ感度、結像光学系の絞り値、および、射出瞳距離の少なくとも一つを含む。

好ましくは、画像処理装置は、第１位置に関する欠陥情報を記憶する記憶手段（記憶部１３４）、または、第１位置に関する欠陥情報を検査する検査手段を有する。画像処理手段１２５ｂは、記憶手段に記憶された欠陥情報または検査手段の検査の結果得られた欠陥情報に基づいて補正処理を行う。

好ましくは、視差画像は、結像光学系の互いに異なる瞳部分領域ごとに、一つの光電変換部に含まれる複数の副画素（複数の第１副画素、複数の第２副画素、複数の第３副画素、または、複数の第４副画素）の受光信号を集めて生成される。撮像画像は、複数の光電変換部に含まれる全ての副画素（複数の第１副画素および複数の第２副画素、必要に応じて更に複数の第３副画素および複数の第４副画素）の受光信号を集めて生成される。

好ましくは、視差画像は、結像光学系の互いに異なる瞳領域部分を通過する光束のそれぞれに対応する第１視差画像および第２視差画像を含む。そして取得手段１２５ａは、複数の光電変換部を備えた撮像素子１０７から、撮像画像と、視差画像のうち第１視差画像とを取得する。画像処理手段１２５ｂは、視差画像のうち第１視差画像に対して補正処理を行う。そして画像処理手段１２５ｂは、撮像画像から、補正処理後の第１視差画像を減算することにより、第２の視差画像を生成する。また好ましくは、画像処理手段１２５ｂ（リフォーカス手段）は、補正処理後の視差画像に基づいて撮像画像のリフォーカス処理を行う。

好ましくは、画像処理手段は、撮像画像に基づいて視差画像の光量補正処理（シェーディング補正）を行う。より好ましくは、画像処理手段は、撮像画像に基づいて視差画像の色ごとに視差画像の光量補正処理を行う。また好ましくは、画像処理手段は、撮像画像の射影信号と視差画像の射影信号とに基づいて、視差画像の光量補正処理を行う。また好ましくは、画像処理手段は、視差画像の光量補正処理を行った後、撮像画像に基づいて光量補正処理後の視差画像に含まれる欠陥を低減するように視差画像を補正する。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、画質の品位を向上させた視差画像を生成可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１２５ 画像処理回路（画像処理装置）
１２５ａ 取得手段
１２５ｂ 画像処理手段

Claims (21)

1. 複数の画素で構成され、各画素は１つのマイクロレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得する取得手段と、
   前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正する画像処理手段と、を有し、
   前記画像処理手段は、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正することを特徴とする画像処理装置。
2. 前記第２位置は、所定の方向において前記第１位置に隣接する位置であることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記第２位置における前記視差画像または前記合成画像の前記画素値が所定の輝度値よりも小さい場合、該画素値を該所定の輝度値に置き換えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記所定の輝度値は、瞳部分領域の数に応じて変化するように設定されることを特徴とする請求項３に記載の画像処理装置。
5. 前記所定の輝度値は、前記第１位置に応じて変化するように設定されることを特徴とする請求項３または４に記載の画像処理装置。
6. 前記所定の輝度値は、撮影条件情報に応じて変化するように設定されることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
7. 前記撮影条件情報は、ＩＳＯ感度、結像光学系の絞り値、および、射出瞳距離の少なくとも一つを含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記第１位置に関する欠陥情報を記憶する記憶手段を更に有し、
   前記画像処理手段は、前記欠陥情報に基づいて前記視差画像を補正することを特徴とする請求項１乃至７いずれか１項に記載の画像処理装置。
9. 前記第１位置に関する欠陥情報を検査する検査手段を更に有し、
   前記画像処理手段は、前記欠陥情報に基づいて前記視差画像を補正することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記視差画像は、結像光学系の互いに異なる瞳部分領域ごとに、前記一つの光電変換部に含まれる複数の副画素の受光信号を集めて生成され、
    前記合成画像は、前記複数の光電変換部に含まれる全ての副画素の受光信号を集めて生成される、ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記視差画像は、結像光学系の互いに異なる瞳領域部分を通過する光束のそれぞれに対応する第１視差画像および第２視差画像を含み、
    前記取得手段は、前記複数の光電変換部を備えた撮像素子から、前記合成画像と、前記視差画像のうち前記第１視差画像とを取得し、
    前記画像処理手段は、
    前記視差画像のうち前記第１視差画像を前記合成画像に基づいて補正し、
    前記合成画像から、補正処理後の第１視差画像を減算することにより、前記第２視差画像を生成する、ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記画像処理手段は、補正後の前記視差画像に基づいて前記合成画像のリフォーカス処理を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記画像処理手段は、前記合成画像に基づいて前記視差画像のシェーディング補正処理を行うことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記画像処理手段は、前記合成画像に基づいて前記視差画像の色ごとに該視差画像の前記シェーディング補正処理を行うことを特徴とする請求項１３に記載の画像処理装置。
15. 前記画像処理手段は、前記合成画像の射影信号と前記視差画像の射影信号とに基づいて、該視差画像の前記シェーディング補正処理を行うことを特徴とする請求項１３または１４に記載の画像処理装置。
16. 前記画像処理手段は、前記視差画像の前記シェーディング補正処理を行った後、前記合成画像に基づいてシェーディング補正処理後の前記視差画像に含まれる欠陥を低減するように該視差画像を補正することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像処理装置。
17. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部から構成される画素を複数配列した撮像素子と、
    複数の画素で構成され、各画素は１つのマイクロレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得する取得手段と、
    前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正する画像処理手段と、を有し、
    前記画像処理手段は、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正することを特徴とする撮像装置。
18. 前記撮像素子は、１つのマイクロレンズに対して前記複数の光電変換部を有し、該マイクロレンズが２次元状に配列されていることを特徴とする請求項１７に記載の撮像装置。
19. 複数の画素で構成され、各画素は１つのマイクロレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得するステップと、
    前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正するステップと、を有し、
    前記補正するステップは、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正することを特徴とする画像処理方法。
20. 複数の画素で構成され、各画素は１つのマイクロレンズと複数の光電変換部を有する撮像素子から、各画素においてマイクロレンズに対する位置が同じ光電変換部からの信号から生成される視差画像と、該複数の光電変換部からの複数の信号を合成して生成される合成画像とを取得するステップと、
    前記合成画像に基づいて前記視差画像に含まれる欠陥を低減するように該視差画像を補正するステップと、をコンピュータに実行させるように構成され、
    前記補正するステップは、前記欠陥と判定された第１位置における前記視差画像の画素値を、前記第１位置における前記合成画像の画素値と、前記欠陥と判定されていない第２位置における前記視差画像の画素値と、該第２位置における前記合成画像の画素値とに基づいて補正することを特徴とするプログラム。
21. 請求項２０に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

Images