JP6316140B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、特に、焦点検出用画素を有する撮像素子で画素を補間するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

従来、撮像素子の画素に遮光層を設けて焦点検出用画素として利用する撮像素子が知られている。例えば特許文献１には、通常の画素の間に焦点検出画素が埋め込まれた撮像素子を用い、周囲の撮像画像から補間した画素値と焦点検出画素の画素値とを取得して、エッジ度合いに応じて焦点検出画素位置の画像データを取得する方法が開示されている。

また、特許文献２には、焦点検出用画素の信号を撮像信号として用いる技術が開示されている。焦点検出用画素は撮像レンズの通過光束の一部を遮光して瞳分割像を得ているため、遮光されている部分に相当する信号を周囲の焦点検出画素の遮光部分と開口部が逆になっている画素から補間して撮像信号用画素としている。

特開２００７−２７９５９７号公報 特開２０１０−２４３７７２号公報

しかし、上述の特許文献１に開示された従来技術では、焦点検出用画素を周囲の画素を用いて補間する際に、連続する焦点検出用画素列と同じ方向の被写体が存在する場合に補正痕が目立つという問題点がある。また、焦点検出用画素の画素値は、半開口分の画素値しか存在しないため、デフォーカス領域の画素値を正しく再現できないという問題点がある。

また、上述の特許文献２に記載の従来技術では、遮光されている部分に相当する信号を周囲の焦点検出画素の遮光部分と開口部が逆になっている画素から補完して撮像信号用画素としている。ところが、高周波成分の繰り返し模様を持った被写体を撮影すると、正しい補正が行われず、補正痕が残るという問題がある。

本発明は前述の問題点に鑑み、焦点検出用画素を有する撮像素子において、被写体によらずに補正痕が目立たないように焦点検出用画素を補間できるようにすることを目的としている。

本発明に係る画像処理装置は、光電変換部の開口部の重心位置が中心からシフトした焦点検出用画素と、画像データを生成するための撮像用画素とを含み、前記焦点検出用画素が所定方向に複数並んで配置されており、前記所定方向に複数並んだ焦点検出用画素は、前記光電変換部の開口部の重心位置が画素の中心位置からシフトしており、かつ、隣接する焦点検出用画素との間で、前記シフトする方向が逆方向である撮像素子と、前記複数の焦点検出用画素のうちの、第１の焦点検出用画素の位置における信号レベルを、前記第１の焦点検出用画素に隣接する複数の焦点検出用画素の信号レベルを用いて補間する第１の補間手段と、前記第１の焦点検出用画素の位置における信号レベルを、前記所定方向と直交する方向に位置する撮像用画素の信号レベルを用いて補間する第２の補間手段と、前記第１の焦点検出用画素を中心とした領域においてエッジに関する情報を検出する検出手段と、前記検出手段によって検出されたエッジに関する情報に基づいて、前記第１の補間手段によって補間された信号レベルと前記第２の補間手段によって補間された信号レベルを用いて、前記第１の焦点検出用画素の位置における信号レベルを決定する決定手段とを有することを特徴とする。

本発明によれば、焦点検出用画素を有する撮像素子において、被写体によらずに補正痕が目立たないように焦点検出用画素を補間することができる。

実施形態に係る画像処理装置の構成例を示すブロック図である。 焦点検出用画素を説明するための図である。 実施形態に係る欠陥画素補正回路の詳細な構成例を示すブロック図である。 画素配列に対するエッジ方向の例を説明するための図である。 エッジ情報を算出する際に用いる変換テーブルの一例を示す図である。 撮像素子の撮像用画素及び焦点検出用画素の画素構造の一例を説明するための図である。 ベイヤー配列の画素の一部を示す図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は、本実施形態に係る画像処理装置１００の構成例を示すブロック図である。
図１において、撮像部１０１は、図示しない撮影レンズ、撮像素子及びその駆動回路からなり、撮影レンズにより結像する光学像を撮像素子により電気信号に変換する。この撮像素子はＣＣＤやＣＭＯＳセンサで構成されており、図７に示すベイヤー配列の画素の集合で構成されているものとする。撮像部１０１から出力されるアナログ信号は、Ａ／Ｄ変換回路１０２によってデジタル信号に変換される。

Ａ／Ｄ変換回路１０２によってデジタル信号に変換された画像信号は、欠陥画素補正回路１０３に入力される。欠陥画素補正回路１０３は、欠陥画素と判定された画素の信号値を補正して、欠陥補正後のＲＡＷ信号を出力する。欠陥画素補正回路１０３は、半開口補正部１０４、直交方向補正部１０５、周辺画素補正部１０６、エッジ情報算出回路１０７、セレクタ回路１０８、及びＭＩＸ回路１０９で構成されている。詳細は後述するが、Ａ／Ｄ変換回路１０２から出力された画像信号は半開口補正部１０４、直交方向補正部１０５、及び周辺画素補正部１０６に入力される。

半開口補正部１０４の出力結果は、エッジ情報算出回路１０７、及びセレクタ回路１０８に入力される。そして、直交方向補正部１０５の出力結果は、セレクタ回路１０８に入力される。また、周辺画素補正部１０６の出力結果は、ＭＩＸ回路１０９に入力される。セレクタ回路１０８では、エッジ情報算出回路１０７から出力されるセレクト信号に基づいて、半開口補正部１０４の出力結果、及び直交方向補正部１０５の出力結果のうち何れか一方を選択する。そして、選択された出力結果がＭＩＸ回路１０９に出力される。ＭＩＸ回路１０９では、エッジ情報算出回路１０７から出力される合成比にしたがって、周辺画素補正部１０６の出力結果とセレクタ回路１０８の出力結果とを合成する。

また、欠陥画素補正回路１０３から出力された欠陥画素補正後のＲＡＷ信号（画像データ）は、信号処理回路１１０に送られ、公知のホワイトバランス処理、色補間処理、ノイズリダクション処理、ガンマ処理、マトリックス処理等の信号処理が行われる。

ここで図６を参照しながら、本実施形態で用いる撮像素子の構成について説明する。図６は、本実施形態で使用する撮像素子の撮像用画素及び焦点検出用画素の画素構造の一例を説明するための図である。図６には、マイクロレンズ６０１、カラーフィルタ６０２、配線層６０３、遮光部６０４、第１の光電変換部６０５および第２の光電変換部６０６が示されている。

第２の光電変換部６０６は通常の撮像用画素であり、マイクロレンズ６０１から入射される光のうち、カラーフィルタ６０２により所定の波長の光のみ透過したものを受光して電気信号に変換する。

一方、第１の光電変換部６０５は焦点検出用画素の構造を示している。第１の光電変換部６０５にはマイクロレンズ６０１から入射された光のうち、カラーフィルタ６０２により所定の波長の光のみ透過した後、配線層６０３を延長して形成された遮光部６０４によって一部遮られる。そして、遮光部６０４によって遮られなかった光のみが第１の光電変換部６０５で電気信号に変換される。このような第１の光電変換部６０５の開口部の重心位置が画素の中心位置からシフトした構造により、撮像レンズの通過光束の一部のみを受光する焦点検出用画素が構成される。また、第１の光電変換部６０５の遮光部と開口部とが逆になった画素も用意することにより瞳を２分割することができる。焦点検出の方法に対しては、公知の手法を用いるものとし、詳細な説明は省略する。

ここで図２を用いて、半開口補正部１０４の具体的な動作の一例を説明する。図２に示す例では、欠陥画素補正を行う着目画素はＧａ３４であり、画素Ｇａ３４を含む横１列のラインが焦点検出用画素で構成されている。画素Ｇａ３０、Ｇａ３２、Ｇａ３４、Ｇａ３６、Ｇａ３８の位置は、右側が開口部で左側が遮光部となる。逆に、画素Ｇｂ３１、Ｇｂ３３、Ｇｂ３５、Ｇｂ３７の位置は、左側が開口部で右側が遮光部となる。このように所定方向に複数並んで配置された焦点検出用画素は、隣接する焦点検出用画素との間で、シフトする方向が逆方向である。また、焦点検出用画素のカラーフィルタは同一のカラーフィルタとなっており、図２に示す例ではＧとしている。画素Ｇａ３４の位置での半開口補正は、中心の半開口画素に対して重心のシフトする方向が逆である逆半開口画素を用いて左右から補間を行う。具体的には画素Ｇａ３４での信号レベルであるＧ画素値Ｇｐｏｓ＿１は、以下の式（１）により算出される。
Ｇｐｏｓ＿１＝（Ｇｂ３３＋Ｇａ３４×２＋Ｇｂ３５）／４ ・・・（１）

半開口補正部１０４は、水平３画素分の画素Ｇｂ３３、Ｇａ３４，Ｇｂ３５を用いて補間を行うので、高周波の縦線に関しては、この段階で正しい補正がされていない。

次に図２を用いて、直交方向補正部１０５の具体的な動作の一例を説明する。ここでは、欠陥画素補正を行う着目画素が画素Ｇａ３４である場合の補正方法について説明を行う。画素Ｇａ３４の位置での直交方向補正は、画素Ｇａ３４に対して焦点検出用画素ラインに直交する方向に存在する画素Ｇａ３４の位置に相当するカラーフィルタと同色のカラーフィルタを有する撮像用画素、つまり画素Ｇ１４、Ｇ５４から算出される。具体的には画素Ｇａ３４でのＧ画素値Ｇｐｏｓ＿２は、以下の式（２）により算出される。
Ｇｐｏｓ＿２＝（Ｇ１４＋Ｇ５４）／２ ・・・（２）

直交方向補正部１０５では、垂直方向の画素Ｇ１４、Ｇ５４を用いて補間を行うので、半開口補正部１０４で正しい補正ができない高周波の縦線に関しては、正しい補正を行うことができる。一方、高周波の横線に関しては、この段階で正しい補正がされていない。

同様に図２を用いて、周辺画素補正部１０６の具体的な動作の一例を説明する。ここでは、欠陥画素補正を行う着目画素が画素Ｇａ３４である場合の補正方法について説明を行う。画素Ｇａ３４の位置での周辺画素補正は、画素Ｇａ３４の周囲に存在する、画素Ｇａ３４の位置に相当するカラーフィルタと同色のカラーフィルタを有する撮像用画素から算出される。具体的には画素Ｇａ３４でのＧ画素値Ｇｐｏｓ＿３は、以下の式（３）により算出される。
Ｇｐｏｓ＿３＝（Ｇ１２＋Ｇ１４＋Ｇ１６＋Ｇ５２＋Ｇ５４＋Ｇ５６）／６
・・・（３）

周辺画素補正部１０６では、半開口補正部１０４及び直交方向補正部１０５のように限定された方向だけの撮像用画素だけでなく、より多くの周辺画素を参照するため、縦線や横線等の被写体以外で補正痕の目立ち難い敏感度の低い補正が可能である。

続いて、図３を用いてエッジ情報算出回路１０７の処理について詳細に説明する。図３において、第１のエッジ算出ブロック３０１は、半開口補正部１０４により焦点検出用画素が補間された画像信号を入力し、バンドパスフィルタ等を用いて着目画素周辺の所定の領域からエッジ情報を算出する処理ブロックである。第１のエッジ算出ブロック３０１に入力された前記画像信号は、まず、Ｈ＿ＢＰＦ３０２、Ｖ＿ＢＰＦ３０４において各方向のバンドパスフィルタ処理が行われる。なお、第２のエッジ算出ブロック３０７〜第１０のエッジ算出ブロック３１５の内部構成も、第１のエッジ算出ブロック３０１と同様であるため、図３において内部構成は省略している。

ここで、図４（ａ）を用いて、第１のエッジ算出ブロック３０１の具体的な動作の一例を説明する。ここでは、エッジ情報算出回路１０７でエッジ情報を算出する着目画素を画素Ｇ３４とし、画素Ｇ３４を含む横１列のラインは半開口補正部１０４で焦点検出画素を補正した画素で構成される。

Ｈ＿ＢＰＦ３０２では、例えばフィルタ係数（１，０，−１）のバンドパスフィルタを用いて、図４（ａ）に示す画素Ｇ１２、Ｇ１４から画素Ｂ１３の画素位置を重心とした縦方向のエッジ情報を算出する。具体的には画素Ｂ１３の画素位置での縦方向のエッジ情報Ｖ＿ＥＤＧＥは、以下の式（４）により算出される。
Ｖ＿ＥＤＧＥ＝（Ｇ１２−Ｇ１４）／２ ・・・（４）

式（４）より、例えば画像中の平坦な部分、または、図４（ｂ）及び図４（ｃ）に示すように画素Ｂ１３を含む横線等のエッジがある場合は、画素Ｇ１２と画素Ｇ１４との差分は小さくなり、縦方向のエッジ情報Ｖ＿ＥＤＧＥは０に近い値となる。一方、図４（ｄ）〜図４（ｇ）に示すように、画素Ｂ１３をエッジの境界とし縦方向、または斜め方向のエッジがある場合には、画素Ｇ１２と画素Ｇ１４との差分は大きくなる。したがって、縦方向のエッジ情報Ｖ＿ＥＤＧＥは正、または負の方向に絶対値の大きい値となる。

Ｈ＿ＢＰＦ３０２で算出された縦方向のエッジ情報Ｖ＿ＥＤＧＥは、第１のＡＢＳ３０３に入力され、縦方向のエッジ絶対値が算出される。具体的には、縦方向のエッジ絶対値Ｖ＿ＥＤＧＥ＿ＡＢＳは、以下の式（５）により算出される。
Ｖ＿ＥＤＧＥ＿ＡＢＳ＝｜Ｖ＿ＥＤＧＥ｜ ・・・（５）

この結果、式（５）より、例えば画像中の平坦な部分、または図４（ｂ）及び図４（ｃ）に示すように画素Ｂ１３を含む横線等のエッジがある場合には、縦方向のエッジ絶対値Ｖ＿ＥＤＧＥ＿ＡＢＳは０に近い値となる。一方、図４（ｄ）〜図４（ｇ）に示すように画素Ｂ１３をエッジの境界とし縦方向、または斜め方向のエッジがある場合には、縦方向のエッジ絶対値Ｖ＿ＥＤＧＥ＿ＡＢＳは大きい値となる。第１のＡＢＳ３０３から出力される縦方向のエッジ絶対値Ｖ＿ＥＤＧＥ＿ＡＢＳは、減算器３０６に出力される。

同様に、Ｖ＿ＢＰＦ３０４では、例えばフィルタ係数（１，０，−１）のバンドパスフィルタを用いて、画素Ｇ０３、Ｇ２３から画素Ｂ１３の画素位置を重心とした横方向のエッジ情報を算出する。具体的には画素Ｂ１３の画素位置での横方向のエッジ情報Ｈ＿ＥＤＧＥは、以下の式（６）により算出される。
Ｈ＿ＥＤＧＥ＝（Ｇ０３−Ｇ２３）／２ ・・・（６）

式（６）より、例えば画像中の平坦な部分、または図４（ｄ）及び図４（ｅ）に示すように画素Ｂ１３を含む縦線等のエッジがある場合は、画素Ｇ０３と画素Ｇ２３との差分は小さくなり、横方向のエッジ情報Ｈ＿ＥＤＧＥは０に近い値となる。一方、例えば図４（ｂ）、図４（ｃ）、図４（ｆ）及び図４（ｇ）に示すように画素Ｂ１３をエッジの境界とし横方向、または斜め方向のエッジがある場合には、画素Ｇ０３と画素Ｇ２３との差分は大きくなる。したがって、横方向のエッジ情報Ｈ＿ＥＤＧＥは正、または負の方向に絶対値の大きい値となる。

Ｖ＿ＢＰＦ３０４で算出された横方向のエッジ情報Ｈ＿ＥＤＧＥは、第２のＡＢＳ３０５に入力され、横方向のエッジ絶対値が算出される。具体的には、横方向のエッジ絶対値Ｈ＿ＥＤＧＥ＿ＡＢＳは、以下の式（７）により算出される。
Ｈ＿ＥＤＧＥ＿ＡＢＳ＝｜Ｈ＿ＥＤＧＥ｜ ・・・（式７）

この結果、式（７）より、例えば画像中の平坦な部分、または図４（ｄ）及び図４（ｅ）に示すように画素Ｂ１３を含む縦線等のエッジがある場合には、横方向のエッジ絶対値Ｈ＿ＥＤＧＥ＿ＡＢＳは０に近い値となる。また、例えば図４（ｂ）、図４（ｃ）、図４（ｆ）及び図４（ｇ）に示すように画素Ｂ１３をエッジの境界として横方向または斜め方向のエッジがある場合には、横方向のエッジ絶対値Ｈ＿ＥＤＧＥ＿ＡＢＳは大きい値となる。第２のＡＢＳ３０５から出力される横方向のエッジ絶対値Ｈ＿ＥＤＧＥ＿ＡＢＳは、減算器３０６に入力される。

減算器３０６では、第１のＡＢＳ３０３から入力される縦方向のエッジ絶対値Ｖ＿ＥＤＧＥ＿ＡＢＳから、第２のＡＢＳ３０５から入力される横方向のエッジ絶対値Ｈ＿ＥＤＧＥ＿ＡＢＳを減算する。これにより図４（ａ）に示す画素Ｂ１３の位置でのエッジ情報が算出される。具体的には、画素Ｂ１３の画素位置でのエッジ情報ＥＤＧＥ＿Ｂ１３は、以下の式（８）により算出される。
ＥＤＧＥ＿Ｂ１３＝Ｖ＿ＥＤＧＥ＿ＡＢＳ−Ｈ＿ＥＤＧＥ＿ＡＢＳ ・・・（８）

式（８）より、例えば画像中の平坦な部分では縦方向のエッジ絶対値Ｖ＿ＥＤＧＥ＿ＡＢＳも横方向のエッジ絶対値Ｈ＿ＥＤＧＥ＿ＡＢＳも０に近い値となるため、画素Ｂ１３の位置でのエッジ情報ＥＤＧＥ＿Ｂ１３は０に近い値となる。

また、図４（ｂ）及び図４（ｃ）に示すように画素Ｂ１３を含む横線等のエッジがある場合には、縦方向のエッジ絶対値Ｖ＿ＥＤＧＥ＿ＡＢＳは０に近い値となり、横方向のエッジ絶対値Ｈ＿ＥＤＧＥ＿ＡＢＳは大きい値となる。このため、画素Ｂ１３の位置でのエッジ情報ＥＤＧＥ＿Ｂ１３は負の方向に絶対値が大きい値となる。同様に、図４（ｄ）及び図４（ｅ）に示すように画素Ｂ１３を含む縦線等のエッジがある場合には、縦方向のエッジ絶対値Ｖ＿ＥＤＧＥ＿ＡＢＳは大きい値となり、横方向のエッジ絶対値Ｈ＿ＥＤＧＥ＿ＡＢＳは０に近い値となる。このため、画素Ｂ１３の位置でのエッジ情報ＥＤＧＥ＿Ｂ１３は正の方向に絶対値が大きい値となる。

また、図４（ｆ）及び図４（ｇ）に示すように画素Ｂ１３を含む斜め線等のエッジがある場合には、縦方向のエッジ絶対値Ｖ＿ＥＤＧＥ＿ＡＢＳも横方向のエッジ絶対値Ｈ＿ＥＤＧＥ＿ＡＢＳも大きい値となる。このため、画素Ｂ１３の位置でのエッジ情報ＥＤＧＥ＿Ｂ１３は０に近い値となる。

このように、エッジ情報ＥＤＧＥ＿Ｂ１３を用いることにより、図４（ａ）に示す画素Ｂ１３の位置において縦線等のエッジがあるのか、横線等のエッジがあるのか、または縦線、横線等のエッジがない領域なのかを判断することができる。そして、エッジ情報ＥＤＧＥ＿Ｂ１３は第１のエッジ算出ブロック３０１から出力され、平均値算出回路３１６に入力される。

次に、第２のエッジ算出ブロック３０７では、図４（ａ）に示す画素Ｂ１５の位置において第１のエッジ算出ブロック３０１と同様の方法でエッジ情報ＥＤＧＥ＿Ｂ１５を算出する。そして、エッジ情報ＥＤＧＥ＿Ｂ１５は第２のエッジ算出ブロック３０７から出力され、平均値算出回路３１６に入力される。

同様に、第３のエッジ算出ブロック３０８では、図４（ａ）に示す画素Ｂ５３の位置において第１のエッジ算出ブロック３０１と同様の方法でエッジ情報ＥＤＧＥ＿Ｂ５３を算出する。エッジ情報ＥＤＧＥ＿Ｂ５３は第３のエッジ算出ブロック３０８から出力され、平均値算出回路３１６に入力される。また、第４のエッジ算出ブロック３０９では、図４（ａ）に示す画素Ｂ５５の位置において第１のエッジ算出ブロック３０１と同様の方法でエッジ情報ＥＤＧＥ＿Ｂ５５を算出する。エッジ情報ＥＤＧＥ＿Ｂ５５は第４のエッジ算出ブロック３０９から出力され、平均値算出回路３１６に入力される。

次に、第５のエッジ算出ブロック３１０では、図４（ａ）に示す画素Ｒ２２の画素位置において第１のエッジ算出ブロック３０１と同様の方法でエッジ情報ＥＤＧＥ＿Ｒ２２を算出する。この時、第５のエッジ算出ブロック３１０では、図４（ａ）に示す画素Ｇ１２と半開口補正部１０４で焦点検出画素を補正した画素Ｇ３２とから、画素Ｒ２２の画素位置を重心とした横方向のエッジ情報を算出する。

ここで、半開口補正部１０４で焦点検出画素を補正する際に、式（１）で示すとおり、横方向の焦点検出用画素を用いて補正を行うため、縦線等のエッジにおいては周波数特性に影響はあるが、横線等のエッジにおいては周波数特性への影響は小さい。そのため、例えば図４（ａ）に示す画素Ｇ３２を用いて横方向のエッジ情報を算出した場合でも、半開口補正部１０４による補正の影響は小さく、撮像用画素と同様にエッジ算出に用いることが可能である。

このように、図４（ｂ）及び図４（ｃ）に示すような、焦点検出画素列と同方向のエッジの検出においては、半開口補正部１０４で補正が行われた画素値を用いることにより、着目画素周辺のより多くの画素位置でエッジ情報を算出することができる。そして、エッジ情報ＥＤＧＥ＿Ｒ２２は第５のエッジ算出ブロック３１０から出力され、平均値算出回路３１６に入力される。

次に、第６のエッジ算出ブロック３１１では、第５のエッジ算出ブロック３１０と同様に、図４（ａ）に示す画素Ｇ３４を用いて、画素Ｒ２４の位置におけるエッジ情報ＥＤＧＥ＿Ｒ２４を算出する。そして、エッジ情報ＥＤＧＥ＿Ｒ２４は第６のエッジ算出ブロック３１１から出力され、平均値算出回路３１６に入力される。また、第７のエッジ算出ブロック３１２では、第５のエッジ算出ブロック３１０と同様に、図４（ａ）に示す画素Ｇ３６を用いて、図４（ａ）に示す画素Ｒ２６の位置におけるエッジ情報ＥＤＧＥ＿Ｒ２６を算出する。そして、エッジ情報ＥＤＧＥ＿Ｒ２６は第７のエッジ算出ブロック３１２から出力され、平均値算出回路３１６に入力される。

同様に、第８のエッジ算出ブロック３１３では、第５のエッジ算出ブロック３１０と同様に、図４（ａ）に示す画素Ｇ３２を用いて、図４（ａ）に示す画素Ｒ４２の位置におけるエッジ情報ＥＤＧＥ＿Ｒ４２を算出する。エッジ情報ＥＤＧＥ＿Ｒ４２は第８のエッジ算出ブロック３１３から出力され、平均値算出回路３１６に入力される。また、第９のエッジ算出ブロック３１４も同様に、図４（ａ）に示す画素Ｇ３４を用いて、図４（ａ）に示すＲ４４の画素位置におけるエッジ情報ＥＤＧＥ＿Ｒ４４を算出する。エッジ情報ＥＤＧＥ＿Ｒ４４は第９のエッジ算出ブロック３１４から出力され、平均値算出回路３１６に入力される。さらにに、第１０のエッジ算出ブロック３１５では、図４（ａ）に示す画素Ｇ３６を用いて、図４（ａ）に示す画素Ｒ４６の位置におけるエッジ情報ＥＤＧＥ＿Ｒ４６を算出する。エッジ情報ＥＤＧＥ＿Ｒ４６は第１０のエッジ算出ブロック３１５から出力され、平均値算出回路３１６に入力される。

次に、平均値算出回路３１６では、第１のエッジ算出ブロック３０１、第２のエッジ算出ブロック３０７〜第１０のエッジ算出ブロック３１５から入力されたエッジ情報に対してエッジ情報の平均値ＥＤＧＥ＿ＡＶＥＲＡＧＥを算出する。このように、着目画素Ｇ３４の周辺の複数の画素位置でエッジ情報を算出し、その平均値を算出する。これにより、画像信号中に含まれるノイズ成分が大きい場合にも、そのノイズ成分の影響を低減することができ、信頼性の高いエッジ情報を算出することができる。そして、エッジ情報の平均値ＥＤＧＥ＿ＡＶＥＲＡＧＥは平均値算出回路３１６から出力され、エッジ情報算出部３１７に入力される。

図５は、エッジ情報算出部３１７がエッジ情報を算出する際に用いる変換テーブルの一例を示す図である。
図５において、横軸は、入力されるエッジ情報の平均値ＥＤＧＥ＿ＡＶＥＲＡＧＥを示し、縦軸は、エッジ情報算出部３１７の出力結果であるエッジ情報ＥＤＧＥ＿ＲＡＴＩＯを示す。

エッジ情報ＥＤＧＥ＿ＲＡＴＩＯはエッジ強度を示しており、エッジ強度が低い、つまりエッジが存在しないと判定する場合には０とし、縦線等の垂直方向のエッジ強度が十分高い場合には２５６とする。垂直方向のエッジ強度が高くもなく、低くもない場合には、垂直方向のエッジ強度に応じて０〜２５６の値をとる。同様に、横線等の水平方向のエッジ強度が十分高い場合には−２５６とし、水平方向のエッジ強度が高くもなく、低くもない場合には、水平方向のエッジ強度に応じて０〜−２５６の値とする。

この時、図５に示す閾値５００、５０２は、ノイズなどの成分をエッジと誤って判別しないような値に設定することが好ましい。また、傾き５０１、５０３はエッジの振幅が高く、縦線、横線がはっきりと検出される場合に２５６もしくは−２５６とするのが好ましい。以上のように算出されたエッジ情報ＥＤＧＥ＿ＲＡＴＩＯは、エッジ情報算出回路１０７から出力され、セレクタ回路１０８及びＭＩＸ回路１０９に入力される。

次に、セレクタ回路１０８では、エッジ情報ＥＤＧＥ＿ＲＡＴＩＯに基づいて、半開口補正部１０４から出力されるＧ画素値Ｇｐｏｓ＿１、直交方向補正部１０５から出力されるＧ画素値Ｇｐｏｓ＿２の何れかの画素値を選択する。具体的には、エッジ情報ＥＤＧＥ＿ＲＡＴＩＯが正の値、つまり縦線等の垂直方向のエッジの場合には、直交方向補正部１０５から出力されるＧ画素値Ｇｐｏｓ＿２を選択する。一方、エッジ情報ＥＤＧＥ＿ＲＡＴＩＯが負の値、つまり横線等の水平方向のエッジの場合には、半開口補正部１０４から出力されるＧ画素値Ｇｐｏｓ＿１を選択する。これにより、エッジの方向に応じて正しい補正を行うことができる。そして、セレクタ回路１０８によって選択された方のＧ画素値がＭＩＸ回路１０９に入力される。なお、隣接する焦点検出要画素の一方においてＧ画素値Ｇｐｏｓ＿２が選択され、他方においてＧ画素値Ｇｐｏｓ＿１が選択されると、信号の切り換わりが目立ってしまう場合がある。そのため、セレクタ回路１０８は、エッジ情報ＥＤＧＥ＿ＲＡＴＩＯに基づいて、Ｇ画素値Ｇｐｏｓ＿１とＧ画素値Ｇｐｏｓ＿２に重み付けをして合成するようにしても構わない。

次に、ＭＩＸ回路１０９では、エッジ情報算出回路１０７から入力されたエッジ情報ＥＤＧＥ＿ＲＡＴＩＯに基づいて、周辺画素補正部１０６から出力されるＧ画素値Ｇｐｏｓ＿３とセレクタ回路１０８から出力されるＧ画素値とを合成した信号を生成する。
具体的には、セレクタ回路１０８から入力される着目画素のＧ画素値をＧｐｏｓ＿４とすると、ＭＩＸ回路１０９から出力されるＧ画素値Ｇｐｏｓは、以下の式（９）により算出される。
Ｇｐｏｓ＝｛（｜ＥＤＧＥ＿ＲＡＴＩＯ｜×Ｇｐｏｓ＿４）
＋（（２５６−｜ＥＤＧＥ＿ＲＡＴＩＯ｜）×Ｇｐｏｓ＿３）｝／２５６
・・・（９）

式（９）に示すように、エッジ情報算出回路１０７で水平または垂直方向のエッジ強度が高いと判断された場合には、セレクタ回路１０８から出力されるＧ画素値の重みが高くなる。一方、エッジ情報算出回路１０７で水平及び垂直方向のエッジ強度が低いと判断された場合には、周辺画素補正部１０６から出力されるＧ画素値の重みが高くなる。

このように、エッジ情報算出回路１０７から入力されたエッジ情報ＥＤＧＥ＿ＲＡＴＩＯに基づいて、周辺画素補正部１０６から出力されるＧ画素値Ｇｐｏｓ＿３とセレクタ回路１０８から出力されるＧ画素値Ｇｐｏｓ＿４とを合成する。水平及び垂直方向のエッジが存在しない場合、もしくは水平及び垂直方向のエッジが同程度の場合には、周辺画素補正部１０６から出力されるＧ画素値を用いることにより、縦線や横線等の被写体以外で補正痕の目立ち難い敏感度の低い補正が可能である。そして、ＭＩＸ回路１０９から出力されるＧ画素値Ｇｐｏｓは、欠陥画素補正回路１０３の出力結果として信号処理回路１１０に入力される。なお、セレクタ回路１０８を省略し、ＭＩＸ回路１０９がエッジ情報ＥＤＧＥ＿ＲＡＴＩＯに基づく重みをテーブルから読み出して設定して、Ｇ画素値Ｇｐｏｓ＿１、Ｇ画素値Ｇｐｏｓ＿２およびＧ画素値Ｇｐｏｓ＿３を合成する構成としても構わない。

以上のように本実施形態によれば、半開口画素に対して同じ重心の逆半開口画素を左右から補間した補正結果と、半開口画素に対して半開口画素列と直交する方向の撮像用画素から補間した補正結果とをエッジの方向に基づいて選択する。これにより、半開口画素列と直交する方向の縦線状の被写体が存在する場合においても、補正痕を低減することができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行ってもよい。例えば、本実施形態では周辺画素補正部１０６を用いて、平坦な領域で敏感度の低減を図ったが、周辺画素補正部１０６の補正結果を用いずにセレクタ回路１０８の出力結果を補正結果と決定することにより、欠陥画素補正回路の低コスト化を図ってもよい。

また、例えば半開口補正部１０４において、着目画素が撮像用画素である場合には、着目画素に対して焦点検出用画素列と平行な位置に存在する撮像用画素を用いて補間を行うことにより撮像用画素が欠陥画素である場合にも補正を行うことが可能である。

また、本実施形態では、エッジ情報算出回路１０７において、焦点検出用画素列と直交する方向の画素値を用いてエッジを検出する場合にのみ半開口補正部１０４の補正値を用いた。一方、焦点検出用画素列と同じ方向の画素値を用いてエッジを検出する場合に、例えばエッジ検出に用いるバンドパスフィルタのフィルタ係数の絶対値の総和に対して焦点検出用画素におけるフィルタ係数が所定の割合より小さい場合がある。この場合には、半開口補正部１０４の処理の影響も相対的に小さくなるため、焦点検出用画素を用いてエッジを検出してもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても制御の実現が可能である。

１０１ 撮像部
１０３ 欠陥画素補正回路
１０４ 半開口補正部
１０５ 直交方向補正部
１０６ 周辺画素補正部
１０７ エッジ情報算出回路
１０８ セレクタ回路
１０９ ＭＩＸ回路

Claims (9)

1. 光電変換部の開口部の重心位置が中心からシフトした焦点検出用画素と、画像データを生成するための撮像用画素とを含み、前記焦点検出用画素が所定方向に複数並んで配置されており、前記所定方向に複数並んだ焦点検出用画素は、前記光電変換部の開口部の重心位置が画素の中心位置からシフトしており、かつ、隣接する焦点検出用画素との間で、前記シフトする方向が逆方向である撮像素子と、
   前記複数の焦点検出用画素のうちの、第１の焦点検出用画素の位置における信号レベルを、前記第１の焦点検出用画素に隣接する複数の焦点検出用画素の信号レベルを用いて補間する第１の補間手段と、
   前記第１の焦点検出用画素の位置における信号レベルを、前記所定方向と直交する方向に位置する撮像用画素の信号レベルを用いて補間する第２の補間手段と、
   前記第１の焦点検出用画素を中心とした領域においてエッジに関する情報を検出する検出手段と、
   前記検出手段によって検出されたエッジに関する情報に基づいて、前記第１の補間手段によって補間された信号レベルと前記第２の補間手段によって補間された信号レベルを用いて、前記第１の焦点検出用画素の位置における信号レベルを決定する決定手段とを有することを特徴とする画像処理装置。
2. 前記第１の焦点検出用画素の位置における信号レベルを、前記第１の焦点検出用画素の周囲に配置された撮像用画素の信号レベルを用いて補間する第３の補間手段をさらに有し、
   前記決定手段は、前記エッジに関する情報に基づいて、前記第１の補間手段によって補間された信号レベル、前記第２の補間手段によって補間された信号レベル、および、前記第３の補間手段によって補間された信号レベルを用いて、前記第１の焦点検出用画素の位置における信号レベルを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記エッジに関する情報に基づいて、前記第１の補間手段によって補間された信号レベルと前記第２の補間手段によって補間された信号レベルのいずれかを選択し、選択した信号レベルを用いて前記第１の焦点検出用画素の位置における信号レベルを決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段は、前記エッジに関する情報に基づいて、前記第１の補間手段によって補間された信号レベルと前記第２の補間手段によって補間された信号レベルのいずれかを選択し、選択した信号レベルと、前記第３の補間手段によって補間された信号レベルを、前記エッジに関する情報に基づいて合成することで、前記第１の焦点検出用画素の位置における信号レベルを決定することを特徴とする請求項２に記載の画像処理装置。
5. 前記決定手段は、前記エッジに関する情報に基づいて、前記第１の補間手段によって補間された信号レベル、前記第２の補間手段によって補間された信号レベル、および、前記第３の補間手段によって補間された信号レベルを合成することで、前記第１の焦点検出用画素の位置における信号レベルを決定することを特徴とする請求項２に記載の画像処理装置。
6. 前記検出手段は、前記エッジに関する情報を、前記第１の補間手段から出力された信号レベルを有する画像データから検出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記検出手段は、前記所定方向に直交する方向のエッジに関する情報を、前記撮像用画素の信号レベルから検出し、それ以外の方向のエッジに関する情報を、前記撮像用画素の信号レベルと前記第１の補間手段による補間の結果である信号レベルとから検出することを特徴とする請求項６に記載の画像処理装置。
8. 光電変換部の開口部の重心位置が中心からシフトした焦点検出用画素と、画像データを生成するための撮像用画素とを含み、前記焦点検出用画素が所定方向に複数並んで配置されており、前記所定方向に複数並んだ焦点検出用画素は、前記光電変換部の開口部の重心位置が画素の中心位置からシフトしており、かつ、隣接する焦点検出用画素との間で、前記シフトする方向が逆方向である撮像素子を有する画像処理装置の画像処理方法であって、
   前記複数の焦点検出用画素のうちの、第１の焦点検出用画素の位置における信号レベルを、前記第１の焦点検出用画素に隣接する複数の焦点検出用画素の信号レベルを用いて補間する第１の補間工程と、
   前記第１の焦点検出用画素の位置における信号レベルを、前記所定方向と直交する方向に位置する撮像用画素の信号レベルを用いて補間する第２の補間工程と、
   前記第１の焦点検出用画素を中心とした領域においてエッジに関する情報を検出する検出工程と、
   前記検出工程において検出されたエッジに関する情報に基づいて、前記第１の補間工程において補間された信号レベルと前記第２の補間工程において補間された信号レベルを用いて、前記第１の焦点検出用画素の位置における信号レベルを決定する決定工程とを有することを特徴とする画像処理方法。
9. 光電変換部の開口部の重心位置が中心からシフトした焦点検出用画素と、画像データを生成するための撮像用画素とを含み、前記焦点検出用画素が所定方向に複数並んで配置されており、前記所定方向に複数並んだ焦点検出用画素は、前記光電変換部の開口部の重心位置が画素の中心位置からシフトしており、かつ、隣接する焦点検出用画素との間で、前記シフトする方向が逆方向である撮像素子を有する画像処理装置を制御するためのプログラムであって、
   前記複数の焦点検出用画素のうちの、第１の焦点検出用画素の位置における信号レベルを、前記第１の焦点検出用画素に隣接する複数の焦点検出用画素の信号レベルを用いて補間する第１の補間工程と、
   前記第１の焦点検出用画素の位置における信号レベルを、前記所定方向と直交する方向に位置する撮像用画素の信号レベルを用いて補間する第２の補間工程と、
   前記第１の焦点検出用画素を中心とした領域においてエッジに関する情報を検出する検出工程と、
   前記検出工程において検出されたエッジに関する情報に基づいて、前記第１の補間工程において補間された信号レベルと前記第２の補間工程において補間された信号レベルを用いて、前記第１の焦点検出用画素の位置における信号レベルを決定する決定工程とをコンピュータに実行させることを特徴とするプログラム。