JP6071333B2 - 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に欠陥画素を検出して補正する画像処理装置、画像処理方法およびプログラムに関する。

近年のデジタル画像処理技術においては、ライトフィールドフォトグラフィと呼ばれる研究分野の進展が著しい。ライトフィールドフォトグラフィでは、まず、レンズなどの撮影光学系およびＣＣＤ，ＣＭＯＳなどの固体撮像素子を含む撮像装置により、被写界の二次元的な光強度情報だけでなく光線角度情報をも含む撮像画像が得られるように撮像を行なう。

光線角度情報を含む撮像画像とは、いわば位相差検出型自動焦点検出（ＡＦ）における一対の瞳分割を超えて、多数の瞳分割を行って得られた撮像画像に相当する。この撮像画像を直接観察すると、必ずしも意味のある情報の羅列、順序とは言えないデータとなっている。しかし、この撮像画像を得た撮像過程に密接に基づいた再構成型の画像処理により、撮影後に被写界の任意の物体にピントを合わせ直す再フォーカス（リフォーカスとも称する。）が可能となる。現在、そのような構成の撮像装置および画像処理装置が提案されている。

このような撮像装置および画像処理装置の一例として、非特許文献１に記載のＨａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ（以下、ライトフィールドカメラと称する。）を挙げることができる。ライトフィールドカメラは、通常の撮像装置における撮影光学系としての「メインレンズ」により所定のピッチを持つ「マイクロレンズ」アレイに主として被写体を結像する光学系を備える。また、この光学系で結像された被写体像を撮像する、マイクロレンズアレイの後方に配置され、上記所定のピッチよりもさらに細かなピッチの複数の光電変換素子を持つ「固体撮像素子」を備える。

言い換えれば、非特許文献１に記載のライトフィールドカメラは、特殊な撮像過程とそれを前提とした画像処理とによって、よく知られた撮像装置にはない新たな情報を持つ画像を得ることが可能なカメラである。

他方、通常の撮像装置で行われる画像処理の多くは、撮像画像を構成する各光電変換素子の信号に、ある程度の連続性があるものと仮定して行なう処理である。一例として、撮像装置による撮影の都度、画素をその周辺光電変換素子の信号とのレベル差などから欠陥であると判定する、リアルタイムな欠陥検出方法を挙げることができる。例えば特許文献１が開示する欠陥画素補正装置は、複数の画素から出力された各々の信号を所定値と比較して欠陥画素を検出する第１の欠陥画素検出部と、第１の欠陥画素検出部で検出された欠陥画素からの信号を補正する第１の補正部を備える。また当該装置はさらに、第１の欠陥画素検出部によって検出された欠陥画素に対する補正が施された複数の画素から出力された各々の信号を所定値と比較して欠陥画素を検出する第２の欠陥画素検出部を備える。この構成において、特許文献１の欠陥画素補正装置は、第１の欠陥画素検出部と第２の欠陥画素検出部それぞれの所定値に対して異なる値を設定する設定制御部を備えたことを特徴としている。

なお、特許文献１は、第１の欠陥画素検出部において検出された欠陥画素情報を記憶し、これを第２の欠陥画素検出部で参照して、検出された画素が本当に欠陥画素であるのか、あるいは被写体エッジであるのかを識別している。被写体エッジであると識別されたときは補正を行わないことにより画質阻害を防止することができる点にも言及している。

このことからもわかるように、リアルタイム欠陥検出方法において最も重要な課題は、補正対象とすべき欠陥画素であるのか、被写体エッジであるのかを見分けることにある。

補正対象となるべき欠陥画素の座標を、例えば撮像装置もしくは固体撮像素子の製造工程において特定し、撮像装置のメモリに記憶しておく方法も提案されている。このような画像処理装置の一例が、特許文献２に開示されている。特許文献２の画像処理装置は、撮像素子の欠陥画素の位置情報とその出力レベルに関する情報を有する補正データを格納する記憶手段と、前記補正データを用いて、前記撮像素子からの出力信号の欠陥画素の補正処理を行う補正処理手段とを有する。この補正処理手段は、撮影条件、撮影環境に応じて区分される条件に応じて決定されるしきい値に対象画素の画面内の座標によって変化する変換係数を乗じて判定値を求め、判定値を基準にして補正データから補正対象となる欠陥画素を抽出する。これにより、欠陥画素に対して補正処理を行うことを可能としている。

また、特許文献２は、いわゆるローリング読み出し方式のＣＭＯＳ型撮像素子に特有の、垂直走査行によって実質的に異なる光電変換電荷蓄積時間に対応した補正を行うことについても言及している。さらに、この補正により、欠陥補正の過不足をなくし、しかも欠陥画素記憶メモリ等のシステムリソースの増大を比較的回避できることにも言及している。

このことからもわかるように、欠陥画素記憶メモリを備える撮像装置においては、記憶すべき欠陥座標の数と欠陥画素補正の効果とのバランス取りも課題となっている。

Ｒｅｎ．Ｎｇ，ｅｔ ａｌ，"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

特開２００５−２８６８２５号公報 特開２００５−２６７９４号公報

ここで、以下の記載において使用する用語を定義する。ライトフィールドカメラにおいて「（光線角度情報を含む）撮像画像」を構成する単位要素を「光電変換素子の信号」または単に「素子」と称する。また、何らかのリフォーカス再構成により得た「再構成画像」を構成する単位要素を「画素」と称する。

通常の撮像装置においては、撮像画像を構成する単位要素を一般に「画素」と呼び、撮像素子を構成する単位要素を「光電変換素子の信号」と、また信号処理を経た最終的な画像を構成する単位要素を「画素」と呼ぶことについて明確な区別の必要性がなかった。しかしながらライトフィールドカメラではこれらは明確に区別すべき概念である。

前述のように、リフォーカス再構成処理のような著しい特徴を得るために、ライトフィールドカメラでは前記のように特殊な撮像過程が重要な位置を占めている。この特殊な撮像過程が意味するものは、光強度情報と光線角度情報の同時取得である。光線角度情報は、マイクロレンズアレイを構成する複数のマイクロレンズの一つに対応する多数の光電変換素子の強度分布に現れる。そこでは、被写体までの距離と撮影光学系のピント合わせに応じてそれら複数の光電変換素子の信号の強度分布がずれるイメージシフトが見られる。イメージシフトとは、マイクロレンズの同一象限に属する光電変換素子の信号から成る画像どうしが、座標ずれを起こした現象であり、位相差検出型ＡＦにおける一対の像ずれを、多数の像ずれに拡張したものとも言える。

すなわち、上記多数の光電変換素子の信号を、何らのリフォーカス再構成処理をせずに撮像素子からの出力順に並べた撮像画像は、直接観察するに適さないデータとなっている。

それゆえに、光電変換素子の信号どうしに、ある程度の連続性があるものと仮定する、前述のリアルタイム欠陥検出方法を、光線角度情報を含む撮像画像に適用するだけでは、課題となる被写体エッジとの見分けが困難である。

しかも、ライトフィールドカメラは前述のように特殊な撮像過程を有し、マイクロレンズアレイのピッチよりも細かなピッチの光電変換素子が撮像素子上にある。そのため、記憶すべき欠陥の密度が従来と同等であっても、補正対象とすべき光電変換素子の信号の数は増加する。そのため、特許文献２のように補正対象座標の記憶のみで対応しようとすると遂にはメモリ等システムリソースの大幅な増大につながってしまうので、リアルタイム欠陥検出の利用もしくは併用を回避することは困難である。

すなわち課題をまとめると、ライトフィールドカメラに前記のようなリアルタイムな欠陥検出と補正を施す場合、一種類または複数種類の欠陥検出および補正とリフォーカス再構成処理との処理順序を的確に制御しないと、以下のような問題が発生する。

第１に、撮像画像には光線角度情報を含んでいるが故にイメージシフトを含むので、当該撮像画像のままでは、被写体エッジと欠陥の見分けが困難な画像領域が存在する。

第２に、リフォーカス再構成処理によって、再構成画像上の画素に寄与する光電変換素子の信号の座標が変化するので、記憶しておいた欠陥の座標情報を直接適用することはできない。

第３に、撮像画像は極めて多数の光電変換素子の信号から成るので、全ての素子を対象にリアルタイムな欠陥検出を行うと処理時間がかかる反面、全ての欠陥素子の座標を記憶するとメモリ等のシステムリソースを増大させる。

本発明は、上記の課題に鑑み、リアルタイムな欠陥検出処理を効率的に行なうことを可能とする、ライトフィールドカメラに好適な画像処理装置を提供することを目的とする。

実施形態の一観点によれば、被写体像の光線角度情報を含む撮像画像を処理する画像処理装置であって、撮像素子から出力された前記撮像画像を取得する取得手段と、前記取得手段によって取得された前記撮像画像を前記光線角度情報に基づいて再構成することにより再構成画像を生成する再構成処理手段と、前記再構成処理手段によって生成された前記再構成画像において、対象画素の画素値と周辺画素の画素値を用いて欠陥画素を検出する欠陥検出手段と、を備えたことを特徴とする画像処理装置が提供される。

本発明の画像処理装置によれば、リフォーカス再構成処理を含む画像処理においても効率的でリアルタイムな欠陥画素の検出および補正を行うことができる。

本発明の第１の実施例に係る撮像装置の構成を示すブロック図 本発明の第１の実施例に係わる撮像装置に用いられる撮像素子の画素領域の平面図を示す図 本発明の第１の実施例に係る撮像装置の動作のフローチャートを示す図 本発明の第１実施例に係る撮像装置でのリフォーカス再構成処理を説明するための光線図 本発明の第２の実施例に係る撮像装置の構成を示すブロック図 本発明の第２の実施例に係る撮像装置の動作のフローチャートを示す図 本発明の実施形態に係る欠陥補正動作のフローチャートを示す図。 撮影レンズの瞳分割領域から出射されてマイクロレンズに入射する光束とリフォーカス面上の通過位置との関係を示す図。 撮影レンズの各分割瞳領域から出射された後、マイクロレンズアレイを通過して撮像素子の各画素に入射する光束の概念図。 欠陥画素とその補正用画素として選択される画素の例を示す図。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

まず、本発明の実施形態に係る撮像装置の全体構成について説明する。

図１は、本発明の実施形態に係る撮像装置の全体構成を表すブロック図である。図１において、１は、絞りやフォーカシングレンズを含む撮影光学系である。２は、撮影光学系１のフォーカシングレンズにより被写体像が主としてその頂点に結像されるマイクロレンズアレイ（以下、「ＭＬＡ」と略記する）である。ＭＬＡ２は、マイクロレンズ（以下、「ＭＬ」と略記する）が水平および垂直に所定のピッチで二次元状に配列されている。３は、撮影光学系１によって結像された被写体像を光電変換して電気信号として取り出す撮像素子である。撮像素子３は、水平および垂直にＭＬＡ２よりも細かなピッチで二次元状に配置された光電変換素子による光電変換機能と、光電変換素子からの電気信号を撮像画像として取り出すために転送する信号転送機能とを有する。

４はサンプリングされたアナログ信号をデジタル信号に変換するためのＡ／Ｄ変換器である。Ａ／Ｄ変換器４でデジタル化された撮像画像は画像メモリ１０に記憶される。そして、記憶された撮像画像に対しては、リフォーカス再構成処理部７によって、本発明を含むライトフィールドカメラの特徴であるリフォーカス処理が必要に応じて行われる。次に、必要なリフォーカス再構成処理を済ませた再構成画像に対して、欠陥検出部８によって、リアルタイムな欠陥検出が行われる。すなわち欠陥検出部８は、再構成画像を構成する画素毎に、欠陥として検出するか否かの判定を行い、補正対象とすべき欠陥画素を特定する。信号処理回路９により、前記リアルタイム欠陥検出の結果を受けた欠陥画素補正、ホワイトバランス補正およびガンマ補正をはじめとして、各種信号処理が施される。各種信号処理の施された最終的な画像は、記録媒体１２に記録される。記録回路１１は、記録媒体１２とのインターフェイス回路である。各種信号処理の施された最終的な画像は、表示回路インターフェイス１３を通して液晶ディスプレーなどの画像表示装置１４に直接表示することもできる。画像表示装置１４は、これから撮像しようとする画面を連続的にライブで表示するライブビュー表示や、記録した動画の再生表示も可能である。

タイミング発生回路５は、撮像素子３などの撮像系を駆動する。さらに、撮像系の駆動ひいては撮像素子３の出力信号に同期してＡ／Ｄ変換部４を駆動・制御する。なお、Ａ／Ｄ変換部４は、撮像素子３に実装されていても良く、その場合は直接撮像画像を画像メモリ１０に記録することができる。

フォーカシングレンズ駆動回路６は、撮影光学系１のフォーカシングレンズを駆動する。フォーカシングレンズは、ライトフィールドカメラではない通常の撮像装置においても、被写体のピント合わせのために用いるものであり、自動焦点検出（ＡＦ）機能などによって制御され、撮影光学系１の結像距離を決定する。

システム制御部１５は、揮発性メモリ１６に一時記憶されたプログラムを実行して撮像装置全体を制御する。

不揮発性メモリ１６は、当該処理実行時に転送されるべきプログラム、各種データを格納する。欠陥検出部８の検出対象と異なる撮像画像を構成する光電変換素子の信号に対する欠陥座標は、この不揮発性メモリ１５に記録してもよい。

また、リフォーカス情報設定手段１８は、ライトフィールドカメラに特有のリフォーカス再構成処理を実行させるためのパラメータであるリフォーカス情報を設定する手段である。ＡＦによりフォーカシングレンズ駆動回路６を制御した場合でも、他の被写体に再度ピントを合わせたいなど、ライトフィールドカメラにおける撮影後のピント合わせのために被写体距離や被写体そのものを選択して、新たな結像距離を設定する手段である。なお、本実施例では、リフォーカス情報の入力は撮像装置に設けられたスイッチなどの操作部材を介して行う。

本発明は、ライトフィールドカメラに特有の撮像過程やそれと密接に関連するリフォーカス再構成処理にも関わる。以下において、本発明の構成をさらに詳細に説明する。

図２は、撮像素子３の画素領域の構成を示す平面図である。図では、便宜上垂直方向に５個、水平方向に８個のＭＬを配列したＭＬＡ２を有する撮像素子を示したが、実際の装置では後述する解像度を達成するために非常に多くの数のＭＬを二次元に配列した構成となっている。光電変換素子の配列構成についても同様である。また、一つのＭＬに対応する光電変換素子の個数および配置関係（瞳分割）は図示されている構成に限られず、ＭＬ一つにつき少なくとも複数の光電変換素子が対応していれば良い。光電変換素子の数は、イメージシフトの分解能、瞳分割の分解能、引いては光線角度情報の分解能に相当するので、多いほどリフォーカス再構成処理の精度等に寄与することは知られている。一方、再構成画像の解像度は、ＭＬの個数に関係する。したがって、解像度を保ちながらもリフォーカス再構成処理の精度確保に十分な個数の光電変換素子を搭載することは、撮像素子３の課題の一つになっている。

図２において、インデックスを付した記号ＰＤは、光電変換素子を表す。一つのＭＬには２１個の光電変換素子がその内側に含まれるように対応している。光電変換素子はＰ型半導体基板もしくはＰ型ウェル構造上にＮ型半導体層をイオン注入等により形成してなり、隣接する全ての光電変換素子とＰ型半導体領域によって電気的に分離されている。そのため、これらを独立に読み出せば、ライトフィールドカメラの構成を成す光線角度情報が得られる。光電変換素子の電荷信号を読み出すには、電荷転送型のＣＣＤや，画素単位で増幅機能を持たせて電圧信号を出力するＡＰＳ（アクティブピクセル方式）−ＣＭＯＳ型などを利用することが考えられる。図２の撮像素子３は、ＡＰＳ−ＣＭＯＳ型の一例として示されている。

図２において、増幅機能を有する読み出し回路部２１は、光電変換素子間のデッドスペースを活用して形成される。読み出し回路部２１は、図２には示されていないが、図表面の垂直方向に垂直出力線などと呼ばれる共通の配線に接続されている。

水平走査回路２３は、前記共通の配線を、水平方向に順次アクセスする水平転送機能を実行する回路である。

一方、垂直走査回路部２２には、図２に示されていな水平方向に共通の制御線が接続されており、一行分の光電変換素子に対して、信号電荷の転送、読み出し回路部２１による電荷電圧変換などを同時に行なう。垂直走査回路２２は、このような動作をどの行に行なうかを、行方向に順次設定していく機能を有する。

上述したようなＡＰＳ−ＣＭＯＳ型撮像素子の機能を様々に活用すれば、ある光電変換素子へのランダムアクセスも一部可能となるが、それには走査回路系の機能を増加しなければならずコストにも影響する。そのため、多くのＡＰＳ−ＣＭＯＳ型撮像素子においては、垂直および水平の順次信号読み出しが行われている。すなわち、そのように読み出され、何らのリフォーカス再構成処理も施されていない撮像画像には多様な光線角度成分としての光電変換素子の信号が様々に並んでいる。このような撮像画像は、上述した本発明の第１の課題を提起するものであり、直接リアルタイムな欠陥画素の検出を行おうにも、補正対象とすべき欠陥素子と被写体エッジとの見分けを困難にしている。

ここで、撮像素子３の欠陥素子の主な発生要因について説明する。

代表的なものは、光電変換素子そのものに重金属汚染等の不純物が混入するなどにより発生する、白く輝く点状の欠陥素子である。別の例は、読み出し回路部２１に起因して発生する欠陥素子である。読み出し回路部２１に含まれる半導体層の表面付近で、半導体製造工程のダメージにより界面準位密度が高くなり、その準位に電荷がトラップされたり放出されたりすることで生じる、瞬くような信号レベルの変化を示す欠陥素子である。この欠陥素子はＲＴＳノイズとも称されている。この種の欠陥は時間方向に確率的に発生するため特に動画で同じシーンを観察しているときに、目立つようになる。また、静止画においても、ある撮影画像に出ていなかった欠陥が別の撮影画像には発生するという現象になるので、常に補正する欠陥素子としてメモリ等に記憶しておくことは撮像装置の構成上あまり効率的とは言えない。さらに、撮像素子３の構成にもよるが、近年では画素領域微細化のため、複数の光電変換素子でこの読み出し回路部３１を共有している例も見られる。このような場合、界面準位密度の高くなってしまった読み出し回路部２１を使用する光電変換素子は全てが欠陥素子の候補なのであって、これらを一律に補正対象として記憶することは、補正画質の点からも望ましい状態ではない。これらも、本発明の第２および第３の課題につながるものであって、ライトフィールドカメラのように多数の光電変換素子を有するシステムにおいて解決策が意義を有する所以である。

図３は、本実施形態に係る撮像装置の動作のフローチャートを示す図である。この動作は、不揮発性メモリ１６に記憶されているプログラムをシステム制御部１５のＣＰＵが実行することで実現される。

図１に図示していないスイッチによりメイン電源がオンされ、次にシステム制御部１５の電源がオンされる（ステップＳ３０１）。

次に、システム制御部１５の制御により撮像素子３に駆動設定信号を与える（ステップＳ３０２）。これにより、ライブの画像を画像表示装置１２に連続的に映し出すモードが実行可能となる。

次に、システム制御部１５の制御により、被写体にピントが合うようにフォーカシングレンズを自動的に駆動する自動焦点調節いわゆるオートフォーカス（ＡＦ）を開始する（ステップＳ３０３）。

ＡＦの方式には、コントラスト検出を用いるものの他にも専用の距離計測センサーを用いる方式などが知られている。さらには、本発明に係るライトフィールドカメラの特徴を生かして、ＭＬの下で異なる象限にある光電変換素子の信号を適切に読み出すことができれば、これを位相差検出方式ＡＦの信号として用いることも可能である。システム制御部１５はこのＡＦの結果を受けて、フォーカシングレンズ駆動回路６を介して撮影光学系１のフォーカシングレンズを駆動する。

次に、システム制御部１５は、図１に図示していないレリーズボタンが押下されることを検出すると（ステップＳ３０４）、撮影を実行する（ステップＳ３０５）。撮影後は、システム制御部１５が図１に図示していないスイッチ手段によって撮影者によりＲＡＷ記録モードが選択されたかどうかを判定する（ステップＳ３０６）。選択されたと判定した場合は、撮像画像をそのまま記録媒体１４に記録するいわゆるＲＡＷモードでの記録を行なう（ステップＳ３０７）。その後、ＲＡＷ記録モードの選択の如何に拘わらず、後述するリフォーカス距離を設定する上での便宜のため、同一ＭＬ下の光電変換素子の信号を合算してＭＬＡ２を構成するＭＬの数に等しい画素数を持つ暫定の再構成画像を生成して記録する（ステップＳ３０８）。なお、当該暫定の再構成画像を表示装置１４のために縮小したサムネイル画像を記録してもよい。

その後、ステップＳ３０３のＡＦで決定したフォーカシングレンズ位置が撮影者の意図と異なった場合は、リフォーカス情報設定手段１８によってリフォーカス情報を指定する（ステップＳ３０９）。例えば、目標被写体の距離や表示装置１４に表示された前記暫定の再構成画像から被写体などをリフォーカス情報として指定する。システム制御部１５はこの指定を検出すると、リフォーカス再構成処理をリフォーカス再構成処理部７に行わせる（ステップＳ３１０）。なお、ＲＡＷ記録モードで記録をした場合には、リフォーカス再構成処理を撮影動作終了後に行うことも可能である。。その場合、ステップＳ３０９以降を、図１の撮像装置の一部を模した画像処理装置もしくはその画像処理プログラムを記録したメモリ等によって計算機等に実行させても良い。

ステップＳ３１０のリフォーカス再構成処理について図４を用いて詳細に説明する。リフォーカス再構成処理の特徴は、光線の角度情報を考慮した、光電変換素子の信号の再配置・再構成および合算にある。

図４は、本発明の撮像装置により、被写体Ａ２がＭＬＡ２のほぼ頂点上に結像された状態を示す光線図である。この光線図はステップＳ３０５における撮影時の結像状態に対応する。なお、図において図１又は図２に示した構成要素と同じものには同じ符号を付して示す。また、図２の撮像素子３の水平線上の記号ＰＤに係る符号は、図４の光線図において示す像高方向に並ぶ１ライン上の光電変換素子行で示したものと同一に捉えることができる。

図４において撮影光学系１は(便宜上、一つのレンズとして示す)、その主点から被写体距離ａ２にある被写体Ａ２にピントを合わせた状態で撮影された時の位置にある。この場合、Ａ２を構成する１点から発生した光線は、撮影光学系１の主点から結像距離ｂ２にあるＭＬＡ２上の頂点の１つに集まる（図の実線）。なお、被写体距離ａ２と結像距離ｂ２との間には以下の結像公式
１／ａ２ ＋ １／ｂ２ ＝ １／ｆ （式１）
の関係が成立している。ここで、ｆは、撮影光学系１の焦点距離である。

そして、上記の各光線(実線)は、ＭＬＡ２の後方に配置された撮像素子３の光電変換素子ＰＤ２１１，ＰＤ２１２，ＰＤ２１３，ＰＤ２１４およびＰＤ２１５に入射する。これら５つの光電変換素子の信号は、元を辿れば理解できるように被写体Ａ２を構成する１点から撮影光学系１に向かって出た光線のうち、各々角度情報の異なるものである。しかし、リフォーカスを行わず、ＭＬＡ２のピッチで決定する解像度で画像を得る限りにおいては、これら５つの信号を合算処理してよい。ステップＳ３０８の暫定の再構成画像はこのようにして得られたものである。

Ｓ３０９で、例えば、撮影者が、リフォーカス情報設定手段１８を操作して、被写体Ａ１を目標とするようなリフォーカス情報の設定を行ったとする。撮影光学系１の主点から被写体距離ａ１にある被写体Ａ１を構成する１点から発生した光線(図に破線で示す)は、（式１）から考察しても明らかなように、ｂ２よりも撮影光学系１に近い結像距離ｂ１に集まる。したがって、これらの光線は、各々異なるＭＬの後方に存在する光電変換素子ＰＤ２６，ＰＤ２５，ＰＤ２４，ＰＤ２３およびＰＤ２２に入射する。例えばＰＤ２４に入射した光線は、撮影光学系１の光軸を通過した光線角度成分であり、ＰＤ２６およびＰＤ２２に入射した光線は、撮影光学系１の絞り口径端を通過した光線角度成分である。ＰＤ２５およびＰＤ２３は、上記の中間的な光線角度成分である。ＰＤ２４は、ＭＬの後方に存在する光電変換素子のうち中心象限である。ＰＤ２６およびＰＤ２２は、最端部の象限であり、ＰＤ２５およびＰＤ２３は、上記の中間的な象限である。このように、被写体Ａ１の１点から発生した光線で、撮影光学系１の異なる瞳領域を通過した光線は、ＭＬＡによる瞳分割機能により異なるＭＬに対応する光電変換素子に入射してイメージシフトを結果する。

被写体Ａ１のように、撮影光学系１のピントから外れた被写体は、それを構成する１点から発生した光線が、角度情報に応じて異なるＭＬの異なる象限で光電変換される。このため、ＰＤ２６，ＰＤ２５，ＰＤ２４，ＰＤ２３およびＰＤ２２のそれぞれに隣接する光電変換素子の信号は、被写体Ａ１を構成する他の１点から発生した異なる角度成分の光線である。言い換えると、ある象限の光電変換素子信号から成る画像と、別のある象限の光電変換素子から成る画像とは、互いに異なる光線角度成分の同一被写体を構成する１点であるという特徴があり、デフォーカス量に応じた画像ずれすなわちイメージシフトが発生している。

さらに、リフォーカス再構成処理について説明する。図４において結像距離ｂ１にリフォーカスすることとは、被写体距離ａ１の被写体（つまり被写体Ａ１）を構成する１点を１画素として光電変換素子の信号を合成することである。すなわち、光電変換素子ＰＤ２６，ＰＤ２５，ＰＤ２４，ＰＤ２３およびＰＤ２２を合算する。他方で、暫定の再構成画像を得るにあたって合算していた光電変換素子ＰＤ２１１，ＰＤ２１２，ＰＤ２１３，ＰＤ２１４およびＰＤ２１５は合算せず、結像距離ｂ１上の複数の異なる画素を構成するための情報として利用される。この結果、リフォーカス再構成処理の施された画像上では被写体Ａ２は光学的にぼけた画像として表示される。

次に、ステップＳ３１１において、システム制御部１５は欠陥検出部８にリアルタイムな欠陥画素の検出を行わせる。この場合、ステップＳ３０９でリフォーカス情報設定が行われなかった場合は、ステップＳ３０８の暫定の再構成画像に対して欠陥画素の検出を行う。また、リフォーカス情報設定を行った場合は、ステップＳ３１０でリフォーカス再構成処理された再構成画像に対して欠陥画素の検出を行う。

本発明におけるリアルタイムな欠陥画素の検出の方式は、同色周辺画素の平均値や中央値と、大きくレベル差を持つ画素、すなわちしきい値を超えた画素を欠陥画素として抽出する方式に限られるものではない。例えば、特許文献２の説明でも述べたように、複数の段階で欠陥画素を抽出する方式を用いてもよい。初段階におけるしきい値では欠陥画素を決定するのではなく、欠陥画素の候補として一旦記憶した後、当該候補についてのみ比較対象となる周辺画素の範囲を広げるなどの方式も考えられる。水平方向に関しては、このように範囲を広げることは容易な場合もあるが、垂直方向に関しては画像メモリ８で使用するラインメモリの増加に直結することから、コストとの関係性にも注意が必要である。 なお、欠陥素子の主な発生要因として上述したように、ＲＴＳノイズは読み出し回路部３１の界面準位密度と密接な関係がある。一方、近年のＣＭＯＳ−ＡＰＳ型撮像素子は微細化の要請に応えるためにこの読み出し回路３１を複数の光電変換素子で共有している。このことから、近傍光電変換素子が共に界面準位密度の高い読み出し回路部３１を通じて読み出しされている場合、そのいずれの光電変換素子信号もＲＴＳノイズに起因するキズを生じているケースが考えられる。リフォーカス移動量が小さいときは、これらのキズを生じた素子信号を１画素もしくは少数の画素として再構成されるのに対し、リフォーカス移動量が大きいということは、再構成の際これらのキズを生じた素子信号が広い画像範囲に薄く広がる可能性が高いことを示唆する。
そこで、リフォーカス情報設定を行った場合は、欠陥画素の検出パラメータ、例えば検出枠のサイズやしきい値をリフォーカス情報に基づいて変更するようにしてもよい。これは、リフォーカス移動量が大きいと欠陥が広がり、また薄くなる可能性が高いため、検出枠のサイズを広げたりしきい値を下げたりするほうが欠陥画素の検出精度を保つことができるからである。リフォーカス情報としては、リフォーカス移動量、とその動方向が考えられ、これらを両方又は選択的に用いて欠陥画素の検出パラメータを適宜変更するようにする。この変更制御はシステム制御部１５で行ってもよいし、欠陥検出部８にその機能として持たせてもよい。なお、リフォーカス移動量は、フォーカスレンズの位置とリフォーカス位置の差の絶対値で与えられる。

最後に、ステップＳ３１２において、システム制御部１５は信号処理部９により欠陥画素の補正、ホワイトバランス補正、ガンマ補正等の各種信号処理を行わせ、ステップＳ３１３にて記録媒体１２に最終的な画像を記録する。以上で、図３の一連のフローは終了する。

上述した本実施例に係る撮像装置における画像処理装置では、ステップＳ３０９でリフォーカス情報設定の有無を判定し、ステップＳ３１０で必要なリフォーカス再構成処理を行った後、再構成画像に対して欠陥画素の検出を行っている。そのため、光電変換素子の信号毎に検出を行うよりもはるかにメモリの節約に貢献し、またリアルタイムな欠陥画素の検出のための時間を消費することもない。しかも、象限ごとに異なる光線角度成分を持つ撮像画像から、被写体エッジと補正対象となるべき欠陥画素を区別するという困難な課題を回避することもできる。さらには、リフォーカス情報に基づいて欠陥画素の検出パラメータ変更することで、リフォーカス距離の差異に起因する欠陥画素の検出精度の変動を低減することも可能となる。

以上、本実施例中では、撮像装置で使用される画像処理装置および撮像装置の制御方法に係る画像処理方法として、図１および図３を使って説明してきたが、例えばライトフィールドカメラの撮像画像を処理する画像処理装置としては、図１において構成要素１〜６の撮像部を削除し、図３においてはステップＳ３０５以前のフローを削除すれば、一般の画像処理装置および画像処理方法を記載したプログラムで計算機によって実行されるものとして提供することも可能である。

また、本実施例では、リフォーカス再構成処理後の再構成画像を構成する画素の中から欠陥画素を検出して補正する構成としたため、特にＲＴＳノイズのような欠陥に対しても効率良く、検出および補正機能を実装することができる。

ところで、光電変換素子の座標に固定的に発生する白く輝く点状の欠陥は、撮像素子３の画素領域内の座標として管理できるので、ＲＯＭ１７等のメモリに当該欠陥素子の座標情報を記憶しておくことができる。その場合、光電変換素子の信号の再配置・再構成および合算を前提とするリフォーカス再構成処理の行われる前の撮像画像に対して欠陥素子の補正を行った方が効率的である。このように、補正対象と欠陥の特質に合わせて、当該欠陥素子の補正を第１の実施例でのリアルタイムな欠陥画素の検出および補正と併用する構成を第２の実施例として以下に説明する。

図５は、本実施例に係る撮像装置の構成を示すブロック図である。図１との違いは、ＡＤ変換部４を経たリフォーカス再構成処理前の撮像画像を構成する光電変換素子の信号に対応して、ＲＯＭ１７に記憶された欠陥素子の座標に基づいて欠陥素子の補正を行う欠陥素子補正部５０設けたことである。他の構成要素は第１の実施例と同じなので図１と同じ符号を付して示し、ここでの説明は必要のない限り省略する。

図６は、本実施例に係る撮像装置の動作のフローチャートを示す図であり、図３との違いは、ステップＳ６０１において、撮像画像に対して光電変換素子の補正対象座標に基づいた欠陥素子の補正を実行する点にある。記録された欠陥素子の座標は、光電変換素子信号の再配置・再構成および合算を前提とするリフォーカス再構成処理の行われる前の撮像画像の光電変換素子の信号の位置に対応しているため、ステップ６０１の段階で行った方が効率的である。

ここで、ステップＳ６０１での補正の方法について説明する。

補正方法については、例えば撮像画像のうちの補正対象の座標を選択し、補間処理による補正を実行する方法が考えられる。補間処理の方法は、撮像画像が光線角度情報を含むことに鑑み、異なるＭＬ下の同一象限に存在する光電変換素子の信号を用いて補間する、などの方法が考えられる。もちろん、補正対象の光電変換素子の周辺に限って被写体エッジを含むか否かを判定し、判定結果に基づき例えばエッジが存在しないようであれば隣接する光電変換素子の信号を用いた補間処理を行ってもよい。いずれの場合も、予め補正対象となる座標の光電変換素子の信号のみを対象として処理するため、ライトフィールドカメラのように多数の光電変換素子を含むシステムにおいても、比較的処理の効率が上がる。

しかし、補間処理に用いる光電変換素子の信号を、後に行なう画像再構成でのリフォーカス情報に基づいて選択して欠陥補正を行なうことは、再構成画像のリアルタイムな欠陥検出および補正との併用においても有効である。本実施例では、この補正処理について詳細に説明する。

本補正方法の概略は次の通りである。まず、欠陥画素がリフォーカス面上のどの座標の再構築に使用されるかを求める。そして、求めたリフォーカス面上の座標での画像の再構築に使用される他の画素の座標を算出し、算出された座標の画素の出力値から補正値を作成する。こうすることで、リフォーカス画像を再構築するための撮像画像に対して、欠陥素子の補正を適切に行なうことを可能とする。以下、図７乃至１０を参照して詳細に説明する。

図７は、欠陥素子補正部５０が行なう補正処理のフローチャートを示す図である。欠陥素子補正部５０は、撮像素子３から得られた撮像画像について、光電変換素子の信号が欠陥素子であるかどうかを判定しながら、欠陥素子である場合に撮像画像を補正する。なお、上記判定は、予めＲＯＭ１７に記憶されている欠陥素子の座標情報により行なう。

ステップＳ７０１では、リフォーカス情報設定手段１８での設定などを介してリフォーカス面の位置を取得する。例えば、撮影者がステップＳ３０９で設定するつもりのリフォーカス距離（被写体Ａ１）を指定すれば、本補正が再構成画像に対してより効果的となる。ここでは、図４の結像距離ｂ１が取得されたものとして説明を続ける。なお、結像距離ｂ１の取得に伴い、リフォーカス係数αを結像距離ｂ１とｂ２の比（ｂ１／ｂ２）として求める。リフォーカス係数αは、リフォーカス面の位置に応じて変化する値である（α≠０）。

ステップＳ７０２では、入力された撮像画像中の素子が欠陥素子か正常素子かを欠陥素子の座標情報に基づいて判定する。素子が欠陥素子であれば、ステップＳ７０３へ移行し、正常素子であれば、ステップＳ７０６へ移行する。

ステップＳ７０３では、欠陥素子と判定された素子の補正値を作成するために、補正値生成に使用する画素の選択を行う。まず、欠陥画素がリフォーカス面上のどの座標での画像の再構築に使用されるかを求める。そして、求めたリフォーカス面上の座標での画像の再構築に使用される別の素子の座標を算出し、それらの素子から補正値の生成に使用する素子を選択する。

ステップＳ７０４ではＳ７０３で選択された補正値生成用素子の信号を使用して欠陥素子を補正するための補正値を作成する。ここでは、補正値生成用素子の算術平均を補正値とする。しかし、これに限らず、選択された補正値生成用素子の図２に示す素子配列内の位置に応じて、重み付け係数を用いた加重平均値を補正値にしてもよい。たとえば、撮影レンズの有効な瞳領域以外の領域に対応するＭＬ下の素子の重み付け係数を小さく設定すれば、補正値生成の際にノイズの影響を少なくすることが可能となる。

ステップＳ７０５では、欠陥素子の出力をＳ７０４で算出した補正値に置き換えることで補正を行う。

ステップＳ７０６では、すべての画素についてＳ７０２〜７０５の処理を行なったかどうかを判定する。すべての画素について行なっていない場合は、Ｓ７０２に戻り、次の素子が欠陥素子かどうかを判定する。最終素子である場合は、欠陥補正動作を終了する。
次に、ステップＳ７０３における補正値を作成するために使用する素子の選択方法について詳しく述べる。ここでは、ＭＬＡ上の座標（ｘ_ｋ’，ｙ_ｋ’）にあるＭＬ下の素子のうち、撮影光学系１の瞳分割領域（ｕｋ，ｐｋ）に対応する素子が欠陥画素であるものとして説明する。

撮影光学系の瞳分割領域（ｕ_ｋ，ｐ_ｋ）から出射され、ＭＬＡ上の座標（ｘ_ｋ’，ｙ_ｋ’）にあるＭＬに入射して欠陥素子に結像される光線が通過するリフォーカス面上の位置を（ｘ_ｋ、ｙ_ｋ）とする。まず、この座標（ｘ_ｋ、ｙ_ｋ）を算出する。

図８は、撮影光学系の瞳分割領域（ｕ_ｋ，ｐ_ｋ）から出射され、ＭＬＡ上の座標（ｘ_ｋ’，ｙ_ｋ’）にあるＭＬに入射する光線が、リフォーカス面上のどの座標を通過するかを説明するための概念図である。同図において、撮影光学系の瞳分割領域の位置の座標を（ｕ，ｖ）、リフォーカス面上の素子の座標を（ｘ，ｙ）、ＭＬＡ上の位置の座標を（ｘ’，ｙ’）とする。また、撮影レンズ面からＭＬＡまでの距離をＦ、撮影光学系からリフォーカス面までの距離をα・ｂ１とする。なお、図ではｕ、ｘ、ｘ’の方向のみを示し、それに垂直なｖ、ｙ、ｙ’については省略してある。

図８からわかるように、リフォーカス面上の光線が通過する座標（ｘ_ｋ、ｙ_ｋ）は式（２）のように表すことができる。

したがって、式（２）に示すリフォーカス面上の同じ位置（ｘ_ｋ，ｙ_ｋ）を通過する各光線を受光する素子が、画像の再構築の際に欠陥素子とともに積分される素子である。これらの画素出力をＬ（ｘ’，ｙ’，ｕ，ｖ，）と表すと、Ｌ（ｘ’，ｙ’，ｕ，ｖ，）は、式（３)を用いて式（４）のように表すことができる。

ここで、（ｕ，ｖ）は欠陥素子に入射する瞳分割領域（ｕ_ｋ，ｖ_ｋ）以外の瞳分割領域の代表座標である。

例えば、欠陥素子とともに画像の再構築に使用される素子のうち、撮像素子上で欠陥素子に近い位置にある上下左右４画素の平均値から補正値を作成する。この場合、式（４）の（ｕ，ｖ）に対して、（ｕ_ｋ＋ｄ，ｖ_ｋ）、（ｕ_ｋ−ｄ，ｖ_ｋ）、（ｕ_ｋ，ｖ_ｋ＋ｄ）、（ｕ_ｋ，ｖ_ｋ−ｄ）のそれぞれを代入して得られる４つの素子出力から補正値を算出すればよい。

なお、ｄは撮影光学系の隣接する瞳分割領域の代表座標同士の間隔である。ここで、撮影光学系からＭＬＡまでの距離をｂ１、ＭＬＡから撮像素子までの距離をｆ、撮像素子の画素ピッチをｓとし、撮影光学系とＭＬのＦナンバーが等しい場合、ｄは式（５）のようにすればよい。

ところで、リフォーカス面をＭＬＡ上に設定した場合、即ちα＝１の場合は、式(２)は演算不可能となる。この場合、撮影光学系の像はＭＬにより対応する素子配列上に結像されるので、素子配列上で欠陥素子の隣接素子を補正値の計算方法に従って補正用素子として選ぶことが可能である。

上記の方法によって選択される補正値作成用の画素の例を図９および図１０に示す。

図９は、撮影光学系の各分割瞳領域から出射された光線が、ＭＬＡ２を通過して撮像素子３の各光電変換素子に入射する様子を示す概念図である。図１０は、撮像素子３とＭＬＡ２を光軸の方向から見たときの概念図である。

図９（ａ）は、リフォーカス面をＭＬＡと同じ位置に設定した場合（α＝１）の光線を示す。この場合、リフォーカス面上の座標（ｘ，ｙ）における再構築画像の画素信号を生成するために使用する素子は、図１０（ａ）に画素Ａ、Ｂ、Ｃで示した素子となる。ＭＬＡ上にリフォーカス面を設定した場合には、ある座標の再構築に使用される素子はすべて同じＭＬ下の素子となる。図１０において素子Ｂが欠陥素子であった場合、欠陥素子Ｂの補正値作成用の素子は欠陥素子Ｂに隣接する４つの素子Ｃとなる。そして、欠陥素子Ｂの出力を４つの素子Ｃの平均値で置き換えることで補正する。

他方、リフォーカス面をマイクロレンズアレイよりも撮影光学系側に設定した場合（０＜α＜１）の光線は、図９（ｂ）に示すようになる。この場合、リフォーカス面上の座標（ｘ，ｙ）における再構築画像の画素信号を生成するために使用する素子は、例えば、図１０（ｂ）に素子Ａ、Ｂ、Ｃで示すような離れた位置にある素子となる。ここで、素子Ｂが欠陥素子であった場合、欠陥素子Ｂの補正値作成用に使用する素子は、画像の再構築に使用する素子のうち、欠陥素子Ｂに近い４つの素子Ｃとなる。そして、欠陥素子Ｂの出力を４つの素子Ｃの平均値で置き換えることで補正する。

図９および図１０に示すように、同じ位置の欠陥素子の補正であっても、設定したリフォーカス面の位置によって欠陥素子を補正するために使用する素子が異なってくる。本補正処理はこのような状況に対応して、適切な欠陥画素の補正を行なうことを可能とする。

上述した第２の実施例によれば、第１の実施例の技術的効果に加えて、再構成画像に対する欠陥画素の補正をさらに適切に行なうことが可能となる。

なお、本実施例においても第１の実施例と同様に撮影機能等を排した画像処理装置または画像処理方法を記載したプログラムとして計算機によって実行されるものとして提供することも可能である。

前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、ＣＰＵのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３又は６のフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

以上、好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、また、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (21)

1. 被写体像の光線角度情報を含む撮像画像を処理する画像処理装置であって、
   撮像素子から出力された前記撮像画像を取得する取得手段と、
   前記取得手段によって取得された前記撮像画像を前記光線角度情報に基づいて再構成することにより再構成画像を生成する再構成処理手段と、
   前記再構成処理手段によって生成された前記再構成画像において、対象画素の画素値と周辺画素の画素値を用いて欠陥画素を検出する欠陥検出手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記再構成処理手段によって前記撮像画像を再構成するための再構成情報を設定する再構成情報設定手段をさらに備え、
   前記再構成情報設定手段によって前記再構成情報が設定された場合に、前記欠陥検出手段は、前記再構成情報に基づいて前記再構成処理手段によって生成された前記再構成画像における前記欠陥画素を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記再構成情報設定手段によって設定される前記再構成情報は、撮影光学系からの結像距離であり、
   前記欠陥検出手段は、前記再構成情報設定手段によって設定された前記再構成情報に基づいて前記欠陥画素の検出パラメータを制御することを特徴とする請求項２に記載の画像処理装置。
4. 前記検出パラメータは、前記欠陥画素の検出枠のサイズおよび前記欠陥画素の判定のためのしきい値のうちの少なくとも１つであることを特徴とする請求項３に記載の画像処理装置。
5. 前記欠陥検出手段によって検出された前記欠陥画素を補正する欠陥画素補正手段をさらに備えたことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記撮像素子に配された複数の光電変換素子のうちの欠陥素子の座標を記録するメモリと、
   前記メモリに記録された前記欠陥素子の前記座標に基づいて、前記取得手段によって取得された前記撮像画像を構成する前記光電変換素子の信号のうち、前記欠陥素子に対応する信号を補正する欠陥素子補正手段と、
   をさらに備えたことを特徴とする請求項５に記載の画像処理装置。
7. 前記欠陥素子補正手段は、前記再構成情報に基づいて前記欠陥素子に対応する信号を補正する補正手段を有することを特徴とする請求項６に記載の画像処理装置。
8. 前記欠陥素子補正手段は、前記再構成画像を生成する際に前記欠陥素子に対応する前記信号が用いられることとなる再構成面上における座標を判定し、前記再構成面上における前記座標での前記再構成画像の生成において信号が用いられることとなる他の前記光電変換素子を補正値生成用素子として決定し、前記補正値生成用素子の画素値に基づいて前記欠陥素子の画素値を補正することを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記欠陥素子補正手段は、複数の前記補正値生成用素子の前記画素値の算術平均値又は加重平均値に基づいて、前記欠陥素子の前記画素値を補正することを特徴とする請求項８に記載の画像処理装置。
10. 前記再構成処理手段は、再構成面において結像した前記再構成画像が得られるように、前記撮像素子に配された複数の光電変換素子の各々によって得られた信号を合成することによって、前記再構成画像を生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記欠陥検出手段は、前記再構成画像のうちの一の画素の画素値と、前記一の画素の周辺に位置する他の画素の画素値とを比較することによって、前記一の画素が前記欠陥画素であるか否かを判定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記欠陥検出手段は、前記再構成画像のうちの前記一の画素の前記画素値と、前記一の画素の周辺に位置する複数の前記他の画素の前記画素値の平均値又は中央値とを比較することによって、前記一の画素が前記欠陥画素であるか否かを判定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記欠陥検出手段は、前記欠陥画素の候補を第１の条件によって検出し、前記欠陥画素の前記候補のうちから前記欠陥画素を前記第１の条件とは異なる第２の条件によって検出することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記撮像画像は、複数のマイクロレンズを有し、各マイクロレンズに複数の光電変換部が割り当てられた前記撮像素子で撮像された画像であることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 被写体像の光線角度情報を含む撮像画像を処理する画像処理方法であって、
    撮像素子から出力された前記撮像画像を取得する取得ステップと、
    前記取得ステップで取得された前記撮像画像を前記光線角度情報に基づいて再構成するための再構成情報を設定する再構成情報設定ステップと、
    前記再構成情報設定ステップで設定された前記再構成情報に従って前記撮像画像を再構成して再構成画像を生成する再構成処理ステップと、
    前記再構成処理ステップで生成された前記再構成画像において、対象画素の画素値と周辺画素の画素値を用いて欠陥画素を検出する欠陥検出ステップと、
    前記欠陥検出ステップで検出された前記欠陥画素を補正する欠陥画素補正ステップと、を備えたことを特徴とする画像処理方法。
16. 被写体像の光線角度情報を含む撮像画像を処理する画像処理装置を制御するためのプログラムであって、
    コンピュータを、
    撮像素子から出力された前記撮像画像を取得する取得手段、
    前記取得手段によって取得された前記撮像画像を前記光線角度情報に基づいて再構成して再構成画像を生成する再構成処理手段、
    前記再構成処理手段によって生成された前記再構成画像において、対象画素の画素値と周辺画素の画素値を用いて欠陥画素を検出する欠陥検出手段、
    として機能させるプログラム。
17. 請求項１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
18. コンピュータを、請求項１乃至１４のいずれか１項に記載された画像処理装置の各手段として機能させるプログラム。
19. コンピュータを、請求項１乃至１４のいずれか１項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
20. 撮影光学系によって結像された被写体像の光線角度情報を含む撮像画像を得るためのマイクロレンズアレイを配した撮像素子と、
    請求項１乃至１４のいずれか１項に記載の画像処理装置と、
    ユーザの入力を受け付ける操作部材と、
    前記操作部材が受け付けたユーザの入力に従って前記画像処理装置を制御する制御手段と
    を備えることを特徴とする撮像装置。
21. 被写体像の光線角度情報を含む撮像画像を処理する画像処理装置であって、
    前記撮像画像を取得する取得手段と、
    所望の結像面で結像した画像を前記光線角度情報に基づいて前記撮像画像から生成する画像処理手段と、
    前記画像処理手段によって生成された前記画像において、対象画素の画素値と周辺画素の画素値を用いて欠陥画素を検出する欠陥検出手段と、
    を備えたことを特徴とする画像処理装置。

Images