JP5777825B2 - 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体 - Google Patents

Description

本発明は撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体に係り、特に、フレア光等の異常斜め入射光の検出手法に関する。

デジタルカメラ等の撮像装置によって被写体像を撮影する際に強い光がレンズに入射すると、撮影レンズやマクロレンズの表面で反射した光がレンズ内部やカメラ内部で複雑に反射し、意図しない角度で進行する光が撮像素子によって受光されることがある。このように、意図していない角度から撮像素子に入射する異常斜め入射光は、いわゆるゴーストやフレア等の現象を起こし、撮影画像の画質を劣化させる。

とりわけ異常斜め入射光の角度が大きい場合には、異常斜め入射光の少なくとも一部が、通過するカラーフィルタと隣接する画素のフォトダイオードに入射してしまう。このように、異常斜め入射光が通過したカラーフィルタと実際に受光されるフォトダイオードとが完全に対応しない場合、この異常斜め入射光によりいわゆる混色現象が大きく引き起こされ、撮影画像の色再現性の劣化を招く。特に長波長成分（例えば赤色光成分）によって、隣接画素間で混色現象を生じさせてしまう。

例えば、撮像時の絞り値がＦ２．８の場合には±１０度程度の入射光が各画素に入射されれば十分であるが、レンズの内面反射やガラスリッドと撮像素子本体との間での反射などにより、想定外の角度で異常斜め光が各画素に入射してしまう虞がある。

特に近年では、裏面照射型の撮像素子が採用され、撮像素子の各画素への入射可能角度が大きくなっており、意図していない角度からの異常斜め入射光が各画素に照射される可能性が一層高くなっている。

異常斜め入射光は長波長成分ほどシリコン内部に深く浸透する性質があるため、長波長帯域の異常斜め入射光ほど周辺画素への影響が大きい。したがって、ＲＧＢカラーフィルタが撮像素子において用いられる場合、Ｒフィルタ画素に隣接して配置される画素の出力データにおいて、Ｒフィルタを通過した異常斜め入射光による混色の影響が目立ち易い。

このような異常斜め入射光の影響を軽減する手法として、例えば特許文献１は、色フレアを低減させた像の再現を可能とする電子撮像装置を開示する。この電子撮像装置によれば、色フレアの目立つ一定数の隣接画素間（例えば６画素間）において輝度差が一定レベル以上の画素が存在する領域が検出される。

また特許文献２は、画像データにおいて非結像光に応じた画像成分を補正する画像処理装置を開示する。この画像処理装置によれば、回折次数に応じたフレア画像半径に対応する隣接画素群の平均輝度値と注目画素群の輝度値との差分に基づいて、不要回折光に応じたフレア画像が背景画像に対して浮かび上がらせられる。

特開２００１−１４５１１７号公報 特開２００５−１３６８５２号公報

しかしながら、特許文献１及び特許文献２の手法では、必ずしも十分にはフレアの影響を低減することができない。

特許文献１の電子撮像装置では、輝度差が一定レベル以上の画素が存在する領域を色フレアが目立つ領域として検出している。したがって、例えば本来的に一定レベル以上の輝度差を持つ被写体の撮影画像では、フレアが発生していなくても、フレアが発生していると誤検出される虞があり、誤補正を行ってしまう可能性がある。

また特許文献２の画像処理装置は、回折光学素子にて発生した不要回折光によるフレア像を対象としているので、その適用範囲は、回折光学素子を使用したレンズと組み合わせられる場合に限られる。

したがって、撮影時に使用するレンズ等を限定せずに、フレア等の要因となる異常斜め入射光を限定的に検出して、適切な混色補正をすることが可能な新たな手法の提案が望まれている。

本発明は上述の事情に鑑みてなされたものであり、撮影時に使用するレンズ等によらずに、フレア等を引き起こす異常斜め入射光を精度良く検出する技術を提供することを目的とする。

本発明の一態様は、第１の方向及び第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子であって、複数の画素の各々がカラーフィルタと、カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する撮像素子と、画素データに基づいて、撮像素子への異常斜め入射光の入射の有無を検出する異常斜め入射光検出手段とを備え、複数の画素は、第１の方向及び第２の方向のうち少なくとも一方に関し、相互に隣接する第１の色のカラーフィルタを有する第１色画素と第２の色のカラーフィルタを有する第２色画素とによって構成される第１の画素ペア及び第２の画素ペアであって、第１色画素の位置と第２色画素の位置とが逆転した配置を有する第１の画素ペア及び第２の画素ペアを含み、第１の色のカラーフィルタは、赤色光の波長域の少なくとも一部において、第２の色のカラーフィルタよりも高い透過率を有し、異常斜め入射光検出手段は、第１の画素ペアの第２色画素の画素データと、第２の画素ペアの第２色画素の画素データとを比較し、異常斜め入射光の入射の有無を検出する撮像装置に関する。

本態様によれば、第１の画素ペアの第２色画素の画素データと、第２の画素ペアの第２色画素の画素データとの差に基づいて、異常斜め入射光（とりわけ赤色光の波長域の成分を含む異常斜め入射光）を精度良く検出することができる。

なお、ここでいう「異常斜め入射光」とは、被写体像を構成する通常光とは異なる想定外の光要素のことであり、通過するカラーフィルタとフォトダイオードとが同一画素に含まれない光要素のことである。この異常斜め入射光として、例えば、ゴーストやフレア等の現象をもたらす光要素が含まれうる。一般に、ゴーストは、レンズ表面や撮像素子表面での反射を介して本来の結像光（有効結像光）の光路とは異なる光路を通って像面上に到達した光（不要光）によって、視覚的に一定の形状が認められる光学像を形成する現象である。また、フレアは、強い光が光学系に入射した場合に、入射光の一部がレンズ表面や撮像素子表面で反射して像面上に不要光として到達し、視覚的に一定の形状が認められない画像異常をもたらし、生成画像においてコントラストの低下や光の滲み等を生じさせる現象である。

また、「第１の方向」及び「第２の方向」は、特に限定されず、相互に垂直（実質的に垂直を含む）を形成する方向であればよい。例えば、撮像装置による撮像時に被写体に対する「水平方向」及び「垂直方向」を「第１の方向」及び「第２の方向」としてもよいし、これらの「水平方向」及び「垂直方向」に対して任意の角度を持つ方向を「第１の方向」及び「第２の方向」としてもよい。したがって、水平方向及び垂直方向に２次元的に配列された複数の画素を４５度回転させた所謂「ハニカム型の配列」で複数の画素が配置される場合には、「水平方向」及び「垂直方向」と４５度を成す方向を「第１の方向」及び「第２の方向」として扱いうる。

また「赤色光の波長域の少なくとも一部」は、赤の波長域の全部又は一部のことである。例えば「５９０ｎｍ〜７５０ｎｍ」の波長域の光（可視光線）が赤色光であるとした場合、第１の色のカラーフィルタは、「５９０ｎｍ〜７５０ｎｍ」波長域の全域においてあるいは少なくとも一部において、第２の色のカラーフィルタよりも高い透過率を有する。

望ましくは、第１の色のカラーフィルタは、６００ｎｍ〜６５０ｎｍの波長域における光の透過率が５０％以上であり、第２の色のカラーフィルタは、６００ｎｍ〜６５０ｎｍの波長域における光の透過率が５０％未満である。より望ましくは、第１の色のカラーフィルタは、６３０ｎｍ〜６５０ｎｍの波長域における光の透過率が５０％以上であり、第２の色のカラーフィルタは、６３０ｎｍ〜６５０ｎｍの波長域における光の透過率が５０％未満である。より望ましくは、第１の色のカラーフィルタは、６００ｎｍ〜６５０ｎｍの波長域における光の透過率が６０％以上である。より望ましくは、第１の色のカラーフィルタは、６００ｎｍ〜６５０ｎｍの波長域における光の透過率が７０％以上である。より望ましくは、第１の色のカラーフィルタは、６００ｎｍ〜６５０ｎｍの波長域における光の透過率が８０％以上である。より望ましくは、第１の色のカラーフィルタは、６００ｎｍ〜６５０ｎｍの波長域における光の透過率が９０％以上である。より望ましくは、第２の色のカラーフィルタは、６００ｎｍ〜６５０ｎｍの波長域における光の透過率が４０％未満である。より望ましくは、第２の色のカラーフィルタは、６００ｎｍ〜６５０ｎｍの波長域における光の透過率が３０％未満である。より望ましくは、第２の色のカラーフィルタは、６００ｎｍ〜６５０ｎｍの波長域における光の透過率が２０％未満である。より望ましくは、第２の色のカラーフィルタは、６００ｎｍ〜６５０ｎｍの波長域における光の透過率が１０％未満である。

撮像時におけるいわゆるフレア現象は、６００ｎｍ〜６５０ｎｍの波長域の赤色光を含むことが多い。本態様によれば、そのような波長域の赤色光成分を含む異常斜め入射光を効率的に検出することができる。

望ましくは、第１の色のカラーフィルタは、赤色フィルタ、透明フィルタ及び白色フィルタのうちのいずれかであり、第２の色のカラーフィルタは、青色フィルタ及び緑色フィルタのうちのいずれかである。

この場合、赤色光の波長域の成分を含む異常斜め入射光を効率的に検出することができる。

なお、赤色フィルタは主として赤波長域の光を透過し、青色フィルタは主として青波長域の光を主として透過し、及び緑色フィルタは主として緑波長域の光を主として透過する。また、透明フィルタ及び白色フィルタは、赤波長域の光、青波長域の光及び緑波長域の光のいずれも透過するフィルタであり、透明フィルタは比較的高い光透過率（例えば７０％以上の光透過率）を有し、白色フィルタは透明フィルタよりも低い光透過率を有する。

望ましくは、異常斜め入射光検出手段は、第１の画素ペアの第２色画素の画素データと、第２の画素ペアの第２色画素の画素データとの差分値が閾値以上か否かに基づいて、異常斜め入射光の入射の有無を検出する。

この場合、第１の画素ペアの第２色画素の画素データと、第２の画素ペアの第２色画素の画素データとの差分値が閾値以上の場合に「異常斜め入射光の入射の有り」と検出することができるため、画素固有の画素データのばらつき（誤差）等に起因する誤検出を効果的に防ぐことができる。

なお、ここでいう「閾値」は、検出対象の異常斜め入射光の特性に応じて適宜定めることができる。

望ましくは、異常斜め入射光検出手段は、第１の画素ペアの第２色画素の画素データと、第２の画素ペアの第２色画素の画素データとの大小関係に基づいて、異常斜め入射光の入射方向を判定する。

この場合、第１の画素ペアの第２色画素の画素データと、第２の画素ペアの第２色画素の画素データとの大小関係に基づいて、異常斜め入射光の入射方向を簡単に判定することができる。

望ましくは、撮像装置は、異常斜め入射光検出手段の検出結果に基づいて、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを補正する補正手段を更に備え、補正手段は、異常斜め入射光検出手段により判定された異常斜め入射光の入射方向に基づいて、複数の画素のうち、異常斜め入射光が入射されるフォトダイオードを有する画素を判別する。

この場合、異常斜め入射光の入射方向に基づいて、異常斜め入射光が入射されるフォトダイオードを有する画素が判別され、判別された画素の画素データを補正することができる。

望ましくは、補正手段は、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを、第１の画素ペアの第２色画素の画素データと、第２の画素ペアの第２色画素の画素データとの差分値に基づいて、補正する。

この場合、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データは、第１の画素ペアの第２色画素の画素データと、第２の画素ペアの第２色画素の画素データとの差分値によって補正され、画像データにおける異常斜め入射光の影響を低減することができる。

望ましくは、補正手段は、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを、異常斜め入射光が入射されるフォトダイオードを有する画素と同色のカラーフィルタを有する画素であって異常斜め入射光が入射していないフォトダイオードを有する画素の画素データに基づいて補正する。

この場合、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データは異常斜め入射光が入射していないフォトダイオードを有する画素の画素データによって補正され、画像データにおける異常斜め入射光の影響を低減することができる。

望ましくは、複数の画素は複数の画素ブロックを含み、複数の画素ブロックの各々は、第１の画素ペア及び第２の画素ペアを構成する画素と、第１の画素ペア及び第２の画素ペアを構成する画素に隣接する画素とを含み、複数の画素のうちの少なくとも一部は、複数の画素ブロックのいずれかに分類され、補正手段は、異常斜め入射光検出手段によって異常斜め入射光の入射が有ることが検出された第１の画素ペア及び第２の画素ペアを含む画素ブロックにおいて、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを、第１の画素ペアの第２色画素の画素データ及び第２の画素ペアの第２色画素の画素データに基づいて補正する。

この場合、画素ブロック毎に、異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを補正することができる。

望ましくは、複数の画素は、複数の画素ブロックと、複数の画素ブロック間に設けられる複数のバッファブロックとを含み、複数の画素の各々は、複数の画素ブロック及び複数のバッファブロックのうちのいずれかに分類され、補正手段は、バッファブロックに含まれる画素のうち異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを、バッファブロックに隣接する画素ブロックのうち異常斜め入射光が入射されるフォトダイオードを有する画素の画素データの補正量に基づいて、補正する。

この場合、バッファブロックに含まれる画素の画素データを、バッファブロックに隣接する画素ブロックにおける画素データの補正量に基づいて、精度良く補正することができる。

望ましくは、複数の画素は、第１の画素ペアブロック及び第２の画素ペアブロックを含み、第１の画素ペアブロック及び第２の画素ペアブロックの各々では、第１の画素ペア及び第２の画素ペアが隣接配置されて第１の方向に２画素配列され且つ第２の方向に２画素配列され、第１の画素ペアブロックと第２の画素ペアブロックとの間で、第１色画素の位置と第２色画素の位置とが逆転しており、異常斜め入射光検出手段は、第１の画素ペアブロックに含まれる第２の色のカラーフィルタを有する二つの画素の画素データと、第２の画素ペアブロックに含まれる第２の色のカラーフィルタを有する二つの画素の画素データとに基づいて、異常斜め入射光の入射方向を判定する。

この場合、第１色画素の位置と第２色画素の位置とが逆転する第１の画素ペアブロック及び第２の画素ペアブロックからの画素データに基づいて、異常斜め入射光の入射方向を精度良く判定することができる。

望ましくは、第１の画素ペアブロックは、第１の方向に関して一方の側及び第２の方向に関して一方の側に第１色画素が隣接する第２の色のカラーフィルタを有する第１画素と、第１の方向に関して他方の側及び第２の方向に関して他方の側に第１色画素が隣接する第２の色のカラーフィルタを有する第２画素と、を含み、第２の画素ペアブロックは、第１の方向に関して他方の側及び第２の方向に関して一方の側に第１色画素が隣接する第２の色のカラーフィルタを有する第３画素と、第１の方向に関して一方の側及び第２の方向に関して他方の側に第１色画素が隣接する第２の色のカラーフィルタを有する第４画素と、を含み、異常斜め入射光検出手段は、第１画素の画素データと第２画素の画素データとの大小関係と、第３画素の画素データと第４画素の画素データとの大小関係とから、異常斜め入射光の入射方向を判定する。

この場合、第１色画素の位置と第２色画素の位置とが逆転する第１の画素ペアブロック及び第２の画素ペアブロックからの画素データに基づいて、異常斜め入射光の入射方向を精度良く判定することができる。

望ましくは、複数の画素ブロックの各々において、第１の画素ペアと第２の画素ペアとは第１の方向又は第２の方向に設けられ、複数の画素ブロックは、第１の方向及び第２の方向のうち、複数の画素ブロックの各々に含まれる第１の画素ペアと第２の画素ペアとが設けられる方向に隣り合う画素ブロックを含み、補正手段は、異常斜め入射光検出手段によって異常斜め入射光の入射が有ることが検出された第１の画素ペア及び第２の画素ペアを含む画素ブロックにおける異常斜め入射光が入射されるフォトダイオードを有する画素の画素データを、画素ブロックの第１の画素ペアの第２色画素の画素データ及び第２の画素ペアの第２色画素の画素データと、画素ブロックに隣り合う画素ブロックの第１の画素ペアの第２色画素の画素データ及び第２の画素ペアの第２色画素の画素データと、に基づいて補正する。

この場合、補正対象の画素ブロックにおける第１の画素ペアの第２色画素の画素データ及び第２の画素ペアの第２色画素の画素データだけではなく、この補正対象の画素ブロックに隣り合う画素ブロックの第１の画素ペアの第２色画素の画素データ及び第２の画素ペアの第２色画素の画素データをも考慮して、補正対象の画素ブロックの画素データを精度良く補正することができる。

望ましくは、複数の画素は、カラーフィルタ配列パターンを持つ複数の基本配列画素群であって、第１の方向及び第２の方向に並置される複数の基本配列画素群を含み、複数の基本配列画素群の各々は、第１の画素ペア及び第２の画素ペアを含む。

この場合、基本配列画素群の数に応じて第１の画素ペア及び第２の画素ペアが配置されるため、複数の画素の全体にわたって均一的に第１の画素ペア及び第２の画素ペアを配置することができる。

本発明の他の態様は、第１の方向及び第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子であって、複数の画素の各々がカラーフィルタとカラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有し、複数の画素は、第１の方向及び第２の方向のうち少なくとも一方に関し、相互に隣接する第１の色のカラーフィルタを有する第１色画素と第２の色のカラーフィルタを有する第２色画素とによって構成される第１の画素ペア及び第２の画素ペアであって、第１色画素の位置と第２色画素の位置とが逆転した配置を有する第１の画素ペア及び第２の画素ペアを含み、第１の色のカラーフィルタは、赤色光の波長域の少なくとも一部において、第２の色のカラーフィルタよりも高い透過率を有する撮像素子から出力される画素データに基づいて、撮像素子への異常斜め入射光の入射の有無を検出する異常斜め入射光検出方法であって、第１の画素ペアの第２色画素の画素データと、第２の画素ペアの第２色画素の画素データとを取得するステップと、取得された第１の画素ペアの第２色画素の画素データと、取得された第２の画素ペアの第２色画素の画素データとを比較し、異常斜め入射光の入射の有無を検出するステップとを含む異常斜め入射光検出方法に関する。

本発明の他の態様は、第１の方向及び第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子であって、複数の画素の各々がカラーフィルタとカラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有し、複数の画素は、第１の方向及び第２の方向のうち少なくとも一方に関し、相互に隣接する第１の色のカラーフィルタを有する第１色画素と第２の色のカラーフィルタを有する第２色画素とによって構成される第１の画素ペア及び第２の画素ペアであって、第１色画素の位置と第２色画素の位置とが逆転した配置を有する第１の画素ペア及び第２の画素ペアを含み、第１の色のカラーフィルタは、赤色光の波長域の少なくとも一部において、第２の色のカラーフィルタよりも高い透過率を有する撮像素子から出力される画素データに基づいて、撮像素子への異常斜め入射光の入射の有無を検出する手順をコンピュータに実行させるためのプログラムであって、第１の画素ペアの第２色画素の画素データと、第２の画素ペアの第２色画素の画素データとを取得する手順と、取得された第１の画素ペアの第２色画素の画素データと、取得された第２の画素ペアの第２色画素の画素データとを比較し、異常斜め入射光の入射の有無を検出する手順とをコンピュータに実行させるためのプログラムに関する。

本発明の他の態様は、撮像素子から出力される画素データに基づいて、撮像素子への異常斜め入射光の入射の有無を検出する手順をコンピュータに実行させるためのプログラムの、コンピュータ読み取り可能なコードが記録された非一時的記録媒体であって、撮像素子は、第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子であって、複数の画素の各々がカラーフィルタと当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有し、複数の画素は、第１の方向及び第２の方向のうち少なくとも一方に関し、相互に隣接する第１の色のカラーフィルタを有する第１色画素と第２の色のカラーフィルタを有する第２色画素とによって構成される第１の画素ペア及び第２の画素ペアであって、第１色画素の位置と第２色画素の位置とが逆転した配置を有する第１の画素ペア及び第２の画素ペアを含み、第１の色のカラーフィルタは、赤色光の波長域の少なくとも一部において、第２の色のカラーフィルタよりも高い透過率を有し、撮像素子への異常斜め入射光の入射の有無を検出する手順は、第１の画素ペアの第２色画素の画素データと、第２の画素ペアの第２色画素の画素データとを取得する手順と、取得された第１の画素ペアの第２色画素の画素データと、取得された第２の画素ペアの第２色画素の画素データとを比較し、異常斜め入射光の入射の有無を検出する手順と、を含む記録媒体に関する。

本発明によれば、第１の画素ペアの第２色画素の画素データと、第２の画素ペアの第２色画素の画素データとの差に基づいて、撮影時に使用するレンズ等によらずに、フレア等を引き起こす異常斜め入射光（とりわけ赤色光の波長域の成分を含む異常斜め入射光）を精度良く検出することができる。

図１は、デジタルカメラの一構成例を示すブロック図である。 図２Ａは、カラー撮像素子の撮像面の一例を示す図であり、撮像面の一部を拡大した図である。 図２Ｂは、カラー撮像素子の撮像面の一例を示す他の図であり、図２Ａに示される第１のＲＢ画素ペア及びその周辺画素を拡大して示した図である。 図２Ｃは、カラー撮像素子の撮像面の一例を示す他の図であり、図２Ａに示される第２のＲＢ画素ペア及びその周辺画素を拡大して示した図である。 図３Ａは、混色現象のメカニズムを説明する断面図であり、Ｇ画素、Ｒ画素及びＢ画素の隣接配置例を示す。 図３Ｂは、混色現象のメカニズムを説明する断面図であり、Ｂ画素、Ｒ画素及びＧ画素の隣接配置例を示す。 図４は、水平方向の赤色異常斜め入射光による混色の影響を受ける画素を示す図である。 図５は、図１の画像処理回路における異常斜め入射光検出補正部の機能構成を示すブロック図である。 図６は、第１実施形態に係るカラー撮像素子の画素配列を示す図である。 図７Ａは、画素ブロックを示す図であり、水平方向の赤色異常斜め入射光の検出時に利用する画素ブロックを示す。 図７Ｂは、画素ブロックを示す図であり、垂直方向の赤色異常斜め入射光の検出時に利用する画素ブロックを示す。 図８は、第１実施形態における赤色異常斜め入射光の検出及び混色補正の流れを示すフローチャートである。 図９Ａは、第２実施形態に係るカラー撮像素子の画素配列を示す図であり、水平方向の赤色異常斜め入射光の検出時に利用する画素ブロックを示す。 図９Ｂは、第２実施形態に係るカラー撮像素子の画素配列を示す図であり、垂直方向の赤色異常斜め入射光の検出時に利用する画素ブロックを示す。 図１０は、第３実施形態に係るカラー撮像素子の画素配列を示す図である。 図１１は、第４実施形態に係るカラー撮像素子の画素配列を示す図である。 図１２は、本発明を適用可能な他の画素配列（カラーフィルタ配列）の例を示す図である。 図１３は、カラー撮像素子の画素配列の一変形例を示す図である。 図１４は、本発明の撮像装置の一実施形態であるスマートフォンの外観を示す図である。 図１５は、図１２に示すスマートフォンの構成を示すブロック図である。

図面を参照して、本発明の実施形態について説明する。まず、本発明の一適用例であるデジタルカメラ（撮像装置）の基本構成について説明し、その後、隣接するＲ（赤）画素及びＢ（青）画素の画素データを利用した異常斜め入射光（フレア光等）の検出手法について説明する。

図１は、デジタルカメラ１０の一構成例を示すブロック図である。なお本例では、図１に示される構成のうち、レンズユニット１４以外の各部がカメラ本体１２に設けられる例について説明するが、必要に応じて各部をレンズユニット１４に設けることも可能である。

デジタルカメラ（撮像装置）１０は、カメラ本体１２と、カメラ本体１２の前面に交換可能に取り付けられたレンズユニット１４とを備える。

レンズユニット１４は、ズームレンズ２１及びフォーカスレンズ２２を含む撮影光学系２０、メカシャッタ２３などを備える。ズームレンズ２１及びフォーカスレンズ２２は、それぞれズーム機構２４及びフォーカス機構２５によって駆動され、撮影光学系２０の光軸Ｏ１に沿って前後移動される。ズーム機構２４及びフォーカス機構２５は、ギアやモータなどで構成される。

メカシャッタ２３は、カラー撮像素子２７への被写体光の入射を阻止する閉鎖位置と、被写体光の入射を許容する開放位置との間で移動する可動部（図示省略）を有する。可動部を開放位置／閉鎖位置に移動させることによって、撮影光学系２０からカラー撮像素子２７へと至る光路が開放／遮断される。また、メカシャッタ２３には、カラー撮像素子２７に入射する被写体光の光量をコントロールする絞りが含まれる。メカシャッタ２３、ズーム機構２４及びフォーカス機構２５は、レンズドライバ２６を介してＣＰＵ３０により駆動制御される。

カメラ本体１２に設けられるＣＰＵ３０は、操作部３６からの制御信号に基づき、メモリ３７から読み出した各種プログラムやデータを逐次実行し、デジタルカメラ１０の各部を統括的に制御する。メモリ３７のＲＡＭ領域は、ＣＰＵ３０が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。

操作部３６は、ユーザによって操作されるボタン、キー、タッチパネル及びこれらに類するものを含む。例えば、カメラ本体１２に設けられユーザによって操作される電源スイッチ、シャッタボタン、フォーカスモード切替レバー、フォーカスリング、モード切替ボタン、十字選択キー、実行キー、バックボタン等が、操作部３６に含まれうる。

カラー撮像素子２７は、撮影光学系２０及びメカシャッタ２３を通過した被写体光を、電気的な出力信号に変換して出力する。このカラー撮像素子２７は、多数の画素が水平方向（第１の方向）及びこの水平方向に垂直な垂直方向（第２の方向）に並置された単板方式の画素配列を有し、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の任意の方式を採用可能である。

カラー撮像素子２７を構成する各画素は、詳細については後述するが、集光率を向上させるマイクロレンズと、ＲＧＢ等のカラーフィルタと、マイクロレンズ及びカラーフィルタを透過した光を受光して画素データを出力するフォトダイオード（光電変換素子）とを有する。

撮像素子ドライバ３１は、ＣＰＵ３０の制御下でカラー撮像素子２７を駆動制御し、カラー撮像素子２７の画素から画像処理回路３２に撮像信号（画像データ）を出力させる。

画像処理回路３２は、カラー撮像素子２７から出力される撮像信号（画像データ）に対して階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施して撮影画像データを生成する。特に本例の画像処理回路３２は、詳細については後述するが、フレア光等の赤色波長域成分を含む異常斜め光の検出及び混色補正を行う。

圧縮伸張処理回路３４は、シャッタボタンがユーザによって押し下げ操作されたときに、メモリ３７のＶＲＡＭ領域に格納された撮影画像データに対し、圧縮処理を施す。また圧縮伸張処理回路３４は、メディアインターフェース３３を介してメモリカード３８から得られる圧縮画像データに対し、圧縮伸張処理を施す。メディアインターフェース３３は、メモリカード３８に対する撮影画像データの記録及び読み出しなどを行う。

表示制御部３５は、撮影モード時には、ＥＶＦ（エレクトリックビューファインダ）３９及び背面ＬＣＤ（背面液晶）４０のうち少なくとも一方に対し、画像処理回路３２により生成されたスルー画像（ライブビュー画像）を表示させる制御を行う。また表示制御部３５は、画像再生モード時には、圧縮伸張処理回路３４で伸張された撮影画像データを背面ＬＣＤ４０（及び／又はＥＶＦ３９）へ出力する。

デジタルカメラ１０（カメラ本体１２）には、上記以外の他の処理回路等が設けられていてもよく、例えばオートフォーカス用のＡＦ検出回路や自動露光調節用のＡＥ検出回路が設けられる。ＣＰＵ３０は、ＡＦ検出回路の検出結果に基づきレンズドライバ２６及びフォーカス機構２５を介してフォーカスレンズ２２を駆動することでＡＦ処理を実行し、またＡＥ検出回路の検出結果に基づきレンズドライバ２６を介してメカシャッタ２３を駆動することでＡＥ処理を実行する。

次に、フレア光等の赤色波長域成分を含む異常斜め光の検出及び混色補正について説明する。なお、「赤色波長域成分を含む異常斜め光」を「赤色異常斜め入射光」とも呼ぶ。

図２Ａ〜２Ｃは、カラー撮像素子２７の撮像面の一例を示す図であり、図２Ａは撮像素子面の一部を拡大した図であり、図２Ｂは図２Ａに示される第１のＲＢ画素ペア５２及びその周辺画素を拡大して示した図であり、図２Ｃは図２Ａに示される第２のＲＢ画素ペア５４及びその周辺画素を拡大して示した図である。

カラー撮像素子２７は、赤色のカラーフィルタを有するＲ（赤）画素５０Ｒ、緑色のカラーフィルタを有するＧ（緑）画素５０Ｇ及び青色のカラーフィルタを有するＢ（青）画素５０Ｂのそれぞれを複数有し、これらの複数の画素５０が規則的に配列されて撮像面が構成される。Ｒ画素５０Ｒのカラーフィルタは赤色光の波長域（全域又は少なくとも一部）においてＧ画素５０Ｇ及びＢ画素５０Ｂのカラーフィルタよりも高い透過率を有し、Ｇ画素５０Ｇのカラーフィルタは緑色光の波長域（全域又は少なくとも一部）においてＲ画素５０Ｒ及びＢ画素５０Ｂのカラーフィルタよりも高い透過率を有し、Ｂ画素５０Ｂのカラーフィルタは青色光の波長域（全域又は少なくとも一部）においてＧ画素５０Ｇ及びＲ画素５０Ｒのカラーフィルタよりも高い透過率を有する。

例えば、赤色のカラーフィルタは少なくとも６００ｎｍ〜６５０ｎｍの波長域における光の透過率が５０％以上であるが、緑色のカラーフィルタ及び青色のカラーフィルタは６００ｎｍ〜６５０ｎｍの波長域における光の透過率が５０％未満である。

本実施形態の複数の画素５０は、水平方向（図２Ａの矢印Ａ参照）及び垂直方向（図２Ａの矢印Ｂ参照）の各々に関し、「Ｒ画素（第１色画素）、Ｂ画素（第２色画素）」の順番に隣接配列されるペアと「Ｂ画素、Ｒ画素」の順番に隣接配列されるペアとを含む。図２Ａでは、水平方向Ａに「Ｒ画素、Ｂ画素」の順番に隣接配列される第１のＲＢ画素ペア（第１の画素ペア）５２と、水平方向Ａに「Ｂ画素、Ｒ画素」の順番に隣接配列される第２のＲＢ画素ペア（第２の画素ペア）５４とが、ハッチングによって示されている。

例えば赤色斜め異常入射光が図２Ａの矢印Ａ方向（水平方向の正方向）にカラー撮像素子２７へ入射する場合、第１のＲＢ画素ペア５２間では、Ｒ画素のカラーフィルタを通過した赤色異常斜め入射光５８がＢ画素のフォトダイオードによって受光され、混色現象が起きる（図２Ｂ参照）。一方、第２のＲＢ画素ペア５４間では、赤色異常斜め入射光５８がＢ画素のカラーフィルタを通過せずにＲ画素のフォトダイオードによって受光されないため、混色現象は起きない（図２Ｃ参照）。

図３Ａ，３Ｂは混色現象のメカニズムを説明する断面図であり、図３ＡはＧ画素、Ｒ画素及びＢ画素の隣接配置例を示し、図３ＢはＢ画素、Ｒ画素及びＧ画素の隣接配置例を示す。

Ｇ画素５０Ｇ、Ｒ画素５０Ｒ及びＢ画素５０Ｂの各々では、マイクロレンズ６０、カラーフィルタ６２及びフォトダイオード６４が被写体光の進行方向に関して順次設けられる。被写体光を構成する通常光５６は、マイクロレンズ６０によって集光され、カラーフィルタ６２を通過してフォトダイオード６４に入射し、通常光５６が通過するカラーフィルタ６２と受光されるフォトダイオード６４とは対応する。

一方、赤色異常斜め入射光５８は、通常光５６とは異なる角度で各画素に進入し、Ｒ画素５０Ｒのカラーフィルタ６２を通過して、隣接する画素（図３Ａに示す例ではＢ画素５０Ｂ、図３Ｂに示す例ではＧ画素５０Ｇ）のフォトダイオード６４に入射する。したがって、赤色異常斜め入射光５８が通過するカラーフィルタ６２と受光されるフォトダイオード６４とは対応せず、赤色異常斜め入射光５８を受光するフォトダイオード６４は、通常光５６だけではなく赤色異常斜め入射光５８の受光量に応じた画素データを出力する。したがって、赤色異常斜め入射光５８を受光したフォトダイオードからの出力画素データは、赤色異常斜め入射光５８を受光しないフォトダイオードからの出力画素データよりも増大する。例えば図３Ａ及び３Ｂにおける通常光５６が同じ強さを有する場合、図３ＡのＢ画素５０Ｂの出力画素データ値は図３ＢのＢ画素５０Ｂの出力画素データ値よりも大きくなり、また図３ＢのＧ画素５０Ｇの出力画素データ値は図３ＡのＧ画素５０Ｇの出力画素データ値よりも大きくなる。

なお、Ｇ画素５０Ｇ及びＢ画素５０Ｂに入射する赤色異常斜め入射光５８は、Ｒ画素５０Ｒに入射する赤色異常斜め入射光５８とは異なり、隣接画素のフォトダイオード６４によって受光されない若しくは受光され難い。これは、赤色異常斜め入射光５８に含まれる赤色波長域成分が、Ｇ画素５０Ｇ及びＢ画素５０Ｂのカラーフィルタ６２を通過しない（通過し難い）からである。また、赤色光成分は、長波長成分であるためフォトダイオード（例えばシリコン）の深くまで到達して混色現象を起こし易いが、赤色光成分よりも短波長側の他の波長成分（青色光成分、緑色光成分）は、赤色光成分ほどはフォトダイオードに深くは進入せず、混色現象を起こし難いからである。

したがって、赤色異常斜め入射光５８の入射方向に関してＲ画素５０Ｒに隣接する画素５０において、赤色異常斜め入射光５８に起因する混色現象が生じ易い。例えば、赤色異常斜め入射光５８が水平方向（図４中の矢印Ａ方向）にカラー撮像素子２７へ入射する場合、図４のハッチングによって示された「赤色異常斜め入射光５８の入射方向に関してＲ画素５０Ｒに隣接する画素」における混色を検出及び補正することが好ましい。

以下では、赤色波長域成分を主成分として含む赤色異常斜め入射光５８によってフレア現象が生じている場合、この赤色異常斜め入射光５８が引き起こす混色に方向性があることに着目し、画作りに寄与しない特殊画素をカラー撮像素子２７の複数画素に挿入することなく、赤色異常斜め入射光５８の検出及び混色補正を行う態様について説明する。

図５は、図１の画像処理回路３２における異常斜め入射光検出補正部６６の機能構成を示すブロック図である。

異常斜め入射光検出補正部６６は、赤色異常斜め入射光５８を検出する異常斜め入射光検出部（異常斜め入射光検出手段）６８と、異常斜め入射光検出部６８の検出結果に応じて赤色異常斜め入射光５８の撮影画像に対する影響を補正する異常斜め入射光補正部（補正手段）７０とを有する。

異常斜め入射光検出部６８は、複数の画素５０の画素データに基づいて、カラー撮像素子２７への赤色異常斜め入射光５８の入射の有無を検出する。本例の異常斜め入射光検出部６８は、モザイク状の画像データ（ＲＡＷデータ等）が入力され、Ｒ画素に対する他色画素（図２Ａ〜２Ｃの第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４参照）の配置位置特性を考慮してモザイク状の画像データにおける各色画素の画素データを解析し、赤色異常斜め入射光５８の入射の有無及び入射方向を検出する。

異常斜め入射光補正部７０は、異常斜め入射光検出部６８の検出結果に基づいて、赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素５０の画素データを補正する。すなわち、異常斜め入射光補正部７０は、異常斜め入射光検出部６８によって検出判定された赤色異常斜め入射光５８の入射方向に基づいて、カラー撮像素子２７の複数画素のうち赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素５０を判別し、その判別した画素５０の画素データを修正する。なお、異常斜め入射光検出部６８によって赤色異常斜め入射光５８が検出されなかった場合には、異常斜め入射光補正部７０における補正処理はスキップされる。

異常斜め入射光検出部６８及び異常斜め入射光補正部７０における赤色異常斜め入射光５８の具体的な検出手法及び混色補正手法は、カラー撮像素子２７の各色の画素配列（カラーフィルタ配列）に応じて決まる。以下、カラーフィルタ６２の配列例と関連づけて、赤色異常斜め入射光５８の検出及び混色補正の具体的手法について説明する。

＜第１実施形態＞
図６は、第１実施形態に係るカラー撮像素子２７の画素配列を示す図である。本実施形態のカラー撮像素子２７を構成する複数画素は、カラーフィルタ配列パターンを持つ基本配列画素群Ｐを複数含み、これらの基本配列画素群Ｐは、水平方向Ａ及び垂直方向Ｂに繰り返し並置される。

本実施形態の基本配列画素群Ｐは、水平方向Ａ及び垂直方向Ｂに関して６画素×６画素の配列を有する画素によって構成され、基本配列画素群Ｐの各々は、水平方向Ａ及び垂直方向Ｂに関して３画素×３画素の画素配列を有する第１サブ配列Ｓ１及び第２サブ配列Ｓ２を二つずつ含む。第１サブ配列Ｓ１同士及び第２サブ配列Ｓ２同士はそれぞれ基本配列画素群Ｐの対角線上に配設され、第１サブ配列Ｓ１の各々は水平方向Ａ及び垂直方向Ｂに関して第２サブ配列Ｓ２と隣接し、第２サブ配列Ｓ２の各々は水平方向Ａ及び垂直方向Ｂに関して第１サブ配列Ｓ１と隣接する。

第１サブ配列Ｓ１では、水平方向Ａに隣接配置される「Ｇ画素、Ｇ画素、Ｒ画素」の行、「Ｇ画素、Ｇ画素、Ｂ画素」の行及び「Ｂ画素、Ｒ画素、Ｇ画素」の行が、垂直方向Ｂに並置される。また第２サブ配列Ｓ２では、水平方向Ａに隣接配置される「Ｇ画素、Ｇ画素、Ｂ画素」の行、「Ｇ画素、Ｇ画素、Ｒ画素」の行及び「Ｒ画素、Ｂ画素、Ｇ画素」の行が、垂直方向Ｂに並置される。したがって、基本配列画素群Ｐでは、水平方向Ａに隣接配置される「Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、Ｇ画素、Ｂ画素」の行、「Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、Ｇ画素、Ｒ画素」の行、「Ｂ画素、Ｒ画素、Ｇ画素、Ｒ画素、Ｂ画素、Ｇ画素」の行、「Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素、Ｇ画素、Ｒ画素」の行、「Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、Ｇ画素、Ｂ画素」の行、「Ｒ画素、Ｂ画素、Ｇ画素、Ｂ画素、Ｒ画素、Ｇ画素」の行が、垂直方向Ｂに並置される。

したがって基本配列画素群Ｐは、水平方向Ａ及び垂直方向Ｂの各方向に関し、Ｒ画素とＢ画素とがあべこべに配置され、Ｒ画素とＢ画素とが逆転した位置に配置される第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４を、それぞれ二つずつ含むこととなる。

本実施形態におけるカラー撮像素子２７の複数の画素は、水平方向Ａの赤色異常斜め入射光５８の検出のための複数の画素ブロック７２（図７Ａ参照）及び垂直方向Ｂの赤色異常斜め入射光５８の検出のための複数の画素ブロック７２（図７Ｂ参照）に区分される。複数の画素ブロック７２の各々は、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４を構成する画素と、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４を構成する画素に隣接する画素とを含む。

例えば、水平方向Ａの赤色異常斜め入射光５８の検出のための複数の画素ブロック７２は「３画素（水平方向Ａ）×６画素（垂直方向）の画素」によって構成され、カラー撮像素子２７を構成する複数画素の各々は、これらの画素ブロック７２のいずれかに分類される。図７Ａに示される画素ブロック７２の各々では、水平方向Ａに隣接配置される「Ｇ画素、Ｇ画素、Ｒ画素」の行、「Ｒ画素、Ｂ画素、Ｇ画素」の行、「Ｇ画素、Ｇ画素、Ｒ画素」の行、「Ｇ画素、Ｇ画素、Ｂ画素」の行、「Ｂ画素、Ｒ画素、Ｇ画素」の行及び「Ｇ画素、Ｇ画素、Ｂ画素」の行が、垂直方向Ｂに並置される。したがって、各画素ブロック７２は、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４を一つずつ含み、画素ブロック７２内の第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４は、垂直方向Ｂに関して３画素分の距離（インターバル）をもって配置される。また、水平方向Ａに隣接する画素ブロック７２同士は、垂直方向Ｂに関して半画素ブロック分（本実施形態では３画素分）ずれた位置に配置される。

異常斜め入射光検出部６８（図５参照）は、画素ブロック７２毎に赤色異常斜め入射光５８の検出を行う。具体的には、異常斜め入射光検出部６８は、各画素ブロック７２における第１のＲＢ画素ペア５２のＢ画素の画素データと、第２のＲＢ画素ペア５４のＢ画素の画素データとを比較し、赤色異常斜め入射光５８の入射の有無を検出する。

図２Ｂ及び２Ｃを参照して説明したように、赤色異常斜め入射光５８の入射方向に関してＲ画素に隣接する画素（図２ＢではＢ画素）の出力画素データ値は赤色異常斜め入射光５８によって増大する。一方、赤色異常斜め入射光５８の入射方向とは異なる方向に関してＲ画素に隣接する画素の出力画素データ値は、赤色異常斜め入射光５８によっては増大しない（図２Ｃ参照）。

したがって、数画素分程度離隔した近接配置の同色画素の画素データは通常、一致又は近似することが多いが、赤色異常斜め入射光５８が入射する場合には、近接配置の同色画素であっても、出力画素データが大きく異なってしまう。このように、Ｒ画素の水平方向Ａに関する隣接画素の配置の違いから、水平方向Ａの赤色異常斜め入射光５８が入射する場合には、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のうち一方のペアにおけるＢ画素の出力画素データ値のみが異常に増大する。そこで、異常斜め入射光検出部６８は、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のうちの一方のペアにおけるＢ画素出力画素データの異常増大を検知した場合には、該当する画素ブロック７２における赤色異常斜め入射光５８の入射を検出する。

例えば、図７Ａにおいて水平方向Ａ（正方向）に関して「Ｒ画素、Ｂ画素」の順番で隣接する第１のＲＢ画素ペア５２におけるＢ画素の画素データが「Ｂ画素、Ｒ画素」の順番で隣接する第２のＲＢ画素ペア５４におけるＢ画素の画素データよりも大きい場合には、水平方向Ａの正方向に進行する赤色異常斜め入射光５８が該当画素ブロック７２に入射していると判定することができる。一方、第１のＲＢ画素ペア５２のＢ画素の画素データが第２のＲＢ画素ペア５４のＢ画素の画素データよりも小さい場合には、水平方向Ａの負方向に進行する赤色異常斜め入射光５８が該当画素ブロック７２に入射していると判定することができる。

このように、異常斜め入射光検出部６８は、第１のＲＢ画素ペア５２のＢ画素の画素データ値と、第２のＲＢ画素ペア５４のＢ画素の画素データ値との大小関係に基づいて、赤色異常斜め入射光５８の入射方向を判定することができる。

なお、この場合、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素の画素データの差分値を閾値（後述の図８に示す「Ｔ１」、「−Ｔ１」参照）と比較することで、赤色異常斜め入射光５８の入射の有無を判定することが可能である。すなわち、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４におけるＢ画素の画素データの差分値の絶対値が閾値よりも大きい場合に、赤色異常斜め入射光５８が該当画素ブロック７２に入射していると判定することが可能である。

この時に用いられる「閾値」は、検出対象の異常斜め入射光（フレア光等）の特性に応じて適宜定めることができる。例えば、画素特性に起因する検出誤差を異常斜め入射光の入射として誤検出しないように、また視認上目立つ異常斜め入射光の入射を検出することができるように、検出誤差に起因する画素データ値よりも大きく、視認上目立つ程度の異常斜め入射光による画素データ値以下の値を「閾値」に設定することも可能である。

異常斜め入射光補正部７０は、異常斜め入射光検出部６８によって赤色異常斜め入射光５８の入射が有ることが検出された第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４を含む画素ブロック７２において、赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素の画素データを、第１のＲＢ画素ペア５２のＢ画素の画素データ及び第２のＲＢ画素ペア５４のＢ画素の画素データに基づいて補正する。すなわち、異常斜め入射光補正部７０は、赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素の画素データを、第１のＲＢ画素ペア５２のＢ画素の画素データと、第２のＲＢ画素ペア５４のＢ画素の画素データとの差分値に基づいて、補正する。

本実施形態では、第１のＲＢ画素ペア５２のＢ画素の画素データと、第２のＲＢ画素ペア５４のＢ画素の画素データとの差分値がフレア成分（赤色異常斜め入射光成分）とみなされて混色補正が行われる。そこで、画素ブロック７２内の第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素の画素データの差分絶対値が補正値とされ、画素ブロック７２毎に画素データがこの差分絶対値に基づいて補正される。異常斜め入射光補正部７０は、赤色異常斜め入射光５８が入射される画素（図７Ａにおいてハッチングされた画素参照）の画素データ値からこの補正値を減算することで、混色補正を行う。

なお、上述では水平方向Ａに関する赤色異常斜め入射光５８の検出及び混色補正時の処理について説明したが、垂直方向Ｂに関する赤色異常斜め入射光５８の検出及び混色補正も水平方向Ａに関する赤色異常斜め入射光５８の検出及び混色補正時と同様に行うことができる。

例えば、カラー撮像素子２７の複数画素の各々を、図７Ｂに示すように６画素（水平方向Ａ）×３画素（垂直方向Ｂ）の画素ブロックに分類する。各画素ブロック７２内で垂直方向Ｂ（負方向）に「Ｒ画素、Ｂ画素」の順番で隣接する第１のＲＢ画素ペア５２及び「Ｂ画素、Ｒ画素」の順番で隣接する第２のＲＢ画素ペア５４におけるＢ画素の出力画素データの差分値に基づいて、異常斜め入射光検出部６８は赤色異常斜め入射光５８の有無の検出及び入射方向の判定を行い、異常斜め入射光補正部７０は赤色異常斜め入射光５
８に起因する混色を補正することができる。

したがって、本実施形態によれば、水平方向Ａ（左右方向）の赤色異常斜め入射光５８の検出及び混色補正と、垂直方向Ｂ（上下方向）の赤色異常斜め入射光５８の検出及び混色補正とを、独立して行うことができる。これにより、例えば斜め方向（水平方向Ａ及び垂直方向Ｂに対してある角度を持つ方向）の赤色異常斜め入射光５８がカラー撮像素子２７に入射する場合であっても、本実施形態によれば、この赤色異常斜め入射光５８を水平方向成分と垂直方向成分とに分けて検出及び混色補正をすることが可能である。

図８は、第１実施形態における赤色異常斜め入射光５８の検出及び混色補正の流れを示すフローチャートである。なお、以下の説明では、水平方向Ａに関する赤色異常斜め入射光５８の検出及び混色補正の流れについて説明するが、垂直方向Ｂに関する赤色異常斜め入射光５８の検出及び混色補正についても同様に行うことができる。

まず、第１のＲＢ画素ペア５２のＢ画素の画素データＤ１及び第２のＲＢ画素ペア５４のＢ画素の画素データＤ２が、入力モザイク画像データから、異常斜め入射光検出部６８によって取得される（図８のＳ１１及びＳ１２）。

そして、第１のＲＢ画素ペア５２のＢ画素の画素データＤ１と第２のＲＢ画素ペア５４のＢ画素の画素データＤ２との差分値が異常斜め入射光検出部６８によって算出され、この差分値に基づき、水平方向に入射する赤色異常斜め入射光５８の有無が異常斜め入射光検出部６８によって検出される。具体的には、画素データの差分値（Ｄ１−Ｄ２）が閾値Ｔ１以上か否かが判定され（Ｓ１３）、画素データの差分値（Ｄ１−Ｄ２）が閾値Ｔ１以上の場合（Ｓ１３のＹ）、水平方向Ａの正方向の赤色異常斜め入射光５８の入射が検出される（Ｓ１５）。

水平方向の正方向の赤色異常斜め入射光５８の入射が検出された場合、正方向の赤色異常斜め入射光５８が入射する画素が異常斜め入射光補正部７０によって判定され、赤色異常斜め入射光５８が入射する画素の画素データが、画素データの差分値の絶対値｜Ｄ１−Ｄ２｜に基づいて異常斜め入射光補正部７０により補正される（Ｓ１６）。

一方、画素データの差分値（Ｄ１−Ｄ２）が閾値Ｔ１よりも小さい場合（Ｓ１３のＮ）、画素データの差分値（Ｄ１−Ｄ２）が閾値−Ｔ１以下か否かが判定され（Ｓ１４）、画素データの差分値（Ｄ１−Ｄ２）が閾値−Ｔ１以下の場合（Ｓ１４のＹ）、水平方向の負方向の赤色異常斜め入射光５８の入射が異常斜め入射光検出部６８によって検出される（Ｓ１７）。水平方向の負方向の赤色異常斜め入射光５８の入射が検出された場合、負方向の赤色異常斜め入射光５８が入射する画素が異常斜め入射光補正部７０によって判定され、赤色異常斜め入射光５８が入射する画素の画素データが、画素データの差分値の絶対値｜Ｄ１−Ｄ２｜に基づいて異常斜め入射光補正部７０により補正される（Ｓ１８）。

なお、画素データの差分値（Ｄ１−Ｄ２）が閾値Ｔ１よりも小さく（Ｓ１３のＮ）且つ画素データの差分値（Ｄ１−Ｄ２）が閾値−Ｔ１よりも大きい場合（Ｓ１４のＮ）、水平方向に赤色異常斜め入射光５８は入射していないと判断され、異常斜め入射光補正部７０における補正処理はスキップされる。

以上説明したように、本実施形態によれば、モザイク画像データにおける各色画素の配置特性を考慮した画素データの比較によって、フレア光等の異常斜め入射光の検出及び混色補正を精度良く行うことができる。

特に、本実施形態の異常斜め入射光検出装置及び方法は、カラー撮像素子２７の各色画素の配置特性とモザイク画像データを構成する画素データとに基づいて異常斜め入射光の検出が可能であり、撮影時に使用するレンズ等の光学系が限定されない。

また、カラー撮像素子２７の画素を複数の画素ブロック７２に分類して処理を進めることで、赤色異常斜め入射光５８の入射角度の変化に柔軟に対応することが可能であり、カラー撮像素子２７に対して強度の異なる複数のフレア光が入射する場合、カラー撮像素子２７の一部分にゴースト光が入射する場合、そもそも入射角度がきついオールドレンズ等を使用する場合にも対応することが可能である。

＜第１変形例＞
上述の実施形態では、画素ブロック７２単位で、水平方向Ａ／垂直方向Ｂの赤色異常斜め入射光５８の検出及び混色補正を行う例について示したが、カラー撮像素子２７の複数の画素のうち所定の大きさを持つ範囲で、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４におけるＢ画素の画素データの差分値の絶対値が大きい場合に、赤色異常斜め入射光５８を検出するようにしてもよい。

すなわち、画素ブロック７２内の第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素の画素データの差分値が、上述の実施形態と同様に、異常斜め入射光検出部６８によって求められる。そして、異常斜め入射光検出部６８は、所定の範囲に含まれる画素ブロック７２の全てにおいて、「第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素の画素データの差分値（Ｄ１−Ｄ２）が閾値Ｔ１以上」又は「第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素の画素データの差分値（Ｄ１−Ｄ２）が閾値−Ｔ１以下」の場合に、その所定の範囲の画素に赤色異常斜め入射光５８が入射していると判定してもよい。

このように、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素の画素データの差分値（Ｄ１−Ｄ２）と閾値Ｔ１、−Ｔ１との比較結果が所定の範囲で同じ場合に赤色異常斜め入射光５８の入射を検出することで、異常斜め入射光の検出精度が高まり、解像度感の高い撮影画像を得ることができる。

なお、ここでいう「所定の範囲」は、検出対象の異常斜め入射光（フレア光等）の特性に応じて適宜定めることができる。例えば、視認上目立つ程度の範囲を「所定の範囲」に設定することも可能であり、例えば「６４画素（水平方向Ａ）×６４画素（垂直方向Ｂ）の範囲」や「３０画素（水平方向Ａ）×３０画素（垂直方向Ｂ）の範囲」を「所定の範囲」として設定してもよい。

＜第２変形例＞
上述の実施形態では、赤色異常斜め入射光５８が入射する画素の画素データ値から、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４におけるＢ画素の画素データの差分値の絶対値（補正値）を減算することで混色補正を行っているが、混色補正はこの方法には限定されない。

例えば、異常斜め入射光補正部７０は、赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素の画素データを、赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素と同色のカラーフィルタを有する画素であって赤色異常斜め入射光５８が入射していないフォトダイオード６４を有する画素の画素データに基づいて補正することも可能である。ここでいう「赤色異常斜め入射光５８が入射していないフォトダイオード６４を有する画素」とは、赤色異常斜め入射光５８の入射方向に関しＲ画素に隣接していない画素である。

したがって、各画素ブロック７２において、赤色異常斜め入射光５８の入射方向に関しＲ画素に隣接する補正対象画素（赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素）の画素データを、この補正対象画素と同色のカラーフィルタを有する画素であって、赤色異常斜め入射光５８の入射方向に関しＲ画素に隣接していない画素の画素データに基づいて補正してもよい。この場合、補正対象画素の画素データを、赤色異常斜め入射光５８の入射方向に関しＲ画素に隣接していない同一画素ブロック７２内の画素の画素データに置換したり、同一画素ブロック７２における複数の同色画素の平均値や加重平均値によって置換することで、混色補正を行うことが可能である。

＜第３変形例＞
上述の実施形態では、Ｒ画素及びＢ画素の組み合わせから成るペア（第１のＲＢ画素ペア５２、第２のＲＢ画素ペア５４）の配置特性及び出力画素データを利用する例について説明したが、赤色異常斜め入射光５８の検出及び混色補正は他の色の画素ペアによっても可能である。

例えば、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４の「Ｂ画素」の代わりに「Ｇ画素」が用いられてもよく、水平方向及び垂直方向の各々に関する「Ｒ画素、Ｇ画素」の隣接画素ペア及び「Ｇ画素、Ｒ画素」の隣接画素ペアのＧ画素の画素データの差分値に基づき、Ｂ画素の画素データの差分値に基づく上述の実施形態と同様にして、赤色異常斜め入射光５８の検出及び混色補正を実施することが可能である。

ただし、ＲＧＢのカラーフィルタのうちＢカラーフィルタが最も短波長側において透過率のピークを持ち、赤色異常斜め入射光によってＢ画素の画素データが最も飽和し難いため、Ｂ画素を使用することで、赤色異常斜め入射光５８の誤検出を効果的に防ぐことができる。

また、カラー撮像素子２７を構成する複数の画素が、ＲＧＢ画素に加えてＷ画素（透明画素、白色画素）を含む場合には、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４の「Ｒ画素」の代わりに「Ｗ画素」が用いられてもよい。この場合、水平方向及び垂直方向の各々に関する「Ｗ画素、Ｂ画素」の隣接画素ペア及び「Ｗ画素、Ｂ画素」の隣接画素ペアのＢ画素の画素データの差分値に基づき、上述の実施形態と同様にして、赤色異常斜め入射光５８の検出及び混色補正を実施することが可能である。

したがって、カラー撮像素子２７がＲＧＢＷ画素を含む場合には、赤色フィルタ、透明フィルタ及び白色フィルタのうちのいずれかを第１の色のカラーフィルタとし、青色フィルタ及び緑色フィルタのうちのいずれかを第２の色のカラーフィルタとし、隣接配置される「第１の色のカラーフィルタを具備する画素」及び「第２の色のカラーフィルタを具備する画素」を、上述の第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＲ画素とＢ画素の代わりに使用することも可能である。

また、カラー撮像素子２７は赤、緑、青、透明及び白色以外の色のカラーフィルタを有する画素を含んでいてもよく、赤色光の波長域の少なくとも一部において相対的に高い光透過率を有する色のカラーフィルタを上記第１の色のカラーフィルタとし、相対的に低い光透過率を有する色のカラーフィルタを上記第２の色のカラーフィルタとして使用してもよい。

なお、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＲ画素及びＢ画素の代わりにいずれの色のカラーフィルタを用いる場合であっても、検出対象の光波長域における透過率の差が大きいほど、検出精度を上げることができ、好ましい。したがって、赤波長域の異常斜め入射光の検出及び混色補正を行う場合には、「Ｗ画素、Ｂ画素」や「Ｒ画素、Ｂ画素」のペアが、画素ブロック７２に含まれる隣接画素ペアとしては好ましい。

なお、透明画素及び白色画素は、両者共に可視光波長域の全域において比較的高い光透過率を有するカラーフィルタを有するが、透明画素のカラーフィルタは白色画素のカラーフィルタよりも高い光透過率を有する。

＜第２実施形態＞
図９Ａ，９Ｂは、第２実施形態に係るカラー撮像素子２７の画素配列を示す図であり、図９Ａは水平方向Ａの赤色異常斜め入射光の検出時に利用する画素ブロック７２を示し、図９Ｂは垂直方向Ｂの赤色異常斜め入射光の検出時に利用する画素ブロック７２を示す。

上述の第１実施形態及び変形例と同一又は類似の構成は、同一の符号を付し、その詳細な説明は省略する。

本実施形態のカラー撮像素子２７の全体画素配列（カラーフィルタ配列）は、第１実施形態と同じであるが、複数の画素は、複数の画素ブロック７２と、画素ブロック７２間に設けられる複数のバッファブロック７４とを含む。

図９Ａに示す画素ブロック７２の各々は、「２画素（水平方向Ａ）×６画素（垂直方向Ｂ）」によって構成され、水平方向Ａに隣接配置される「Ｇ画素、Ｇ画素」の行、「Ｒ画素、Ｂ画素」の行、「Ｇ画素、Ｇ画素」の行、「Ｇ画素、Ｇ画素」の行、「Ｂ画素、Ｒ画素」の行及び「Ｇ画素、Ｇ画素」の行が、垂直方向Ｂに並置される。したがって、本実施形態の各画素ブロック７２も、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４を一つずつ含み、画素ブロック７２内の第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４は、垂直方向Ｂに関して３画素分の距離（インターバル）をもって配置される。また、水平方向Ａに関して隣り合う画素ブロック７２同士は、垂直方向Ｂに関して半画素ブロック分（本実施形態では３画素分）ずれた位置に配置される。

また、バッファブロック７４は、水平方向Ａに関して１画素分、垂直方向Ｂに隣接配置される画素群によって構成される。

複数の画素の各々は、これらの複数の画素ブロック７２及び複数のバッファブロック７４のうちのいずれかに分類される。

赤色異常斜め入射光５８の検出及び混色補正は、画素ブロック７２内の画素の画素データについては、上述の第１実施形態と同様にして行われる。すなわち、各画素ブロック７２内の第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素の画素データの差分値に基づいて、赤色異常斜め入射光５８の入射の有無及び入射方向が異常斜め入射光検出部６８によって検出され、異常斜め入射光検出部６８の検出結果に応じて混色画素の判定及び上記差分値による混色補正が異常斜め入射光補正部７０によって行われる。

一方、バッファブロック７４内の画素の画素データに対しては、補正対象画素に隣接する画素ブロック７２における画素データ補正量に基づいて、異常斜め入射光補正部７０による混色補正が行われる。

バッファブロック７４に含まれる画素のうち赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素の判定は、上述の第１実施形態と同様に、異常斜め入射光検出部６８によって検出される赤色異常斜め入射光５８の入射方向に基づいて行われる。例えば、水平方向Ａの正方向の赤色異常斜め入射光５８がカラー撮像素子２７に入射する場合、異常斜め入射光補正部７０は、バッファブロック７４のうちこの方向に関してＲ画素と隣接する画素（図９Ａでは、ハッチングされたＧ画素）を「赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素」として判定する。

そして、異常斜め入射光補正部７０は、バッファブロック７４に含まれる画素のうち赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素の画素データを、バッファブロック７４に隣接する画素ブロック７２のうち赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素の画素データに対する混色補正量に基づいて、混色補正する。

例えば、図９Ａに示すバッファブロック７４内の「Ｇ画素５０Ｇ_ａ」の画素データに対する混色補正量は、このＧ画素５０Ｇ_ａに対して水平方向Ａの負方向側に隣接する画素ブロック７２Ａにおける混色補正量と、このＧ画素５０Ｇ_ａに対して水平方向Ａの正方向側に隣接する画素ブロック７２Ｂにおける混色補正量とに基づいて、異常斜め入射光補正部７０により決定される。

この時の混色補正量の決定方法は、任意の補間手法を用いることができ、例えば線形補間やスプライン補間等を利用して、隣接画素ブロック７２の混色補正量から、バッファブロック７４内の画素のうち赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素の画素データの混色補正量を決定することが可能である。

なお、垂直方向Ｂに関する赤色異常斜め入射光５８の検出及び混色補正も、上述の水平方向Ａに関する赤色異常斜め入射光５８の検出及び混色補正と同様に行うことができる。

例えば図９Ｂに示すように、各画素ブロック７２は、水平方向Ａに隣接配置される「Ｇ画素、Ｒ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素」の行及び「Ｇ画素、Ｂ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素」の行が垂直方向Ｂに並置された「６画素（水平方向Ａ）×２画素（垂直方向）」によって構成される。また、垂直方向Ｂに関して１画素分、水平方向Ａに隣接配置される画素群によって、画素ブロック７２間のバッファブロック７４が構成される。そして、複数の画素の各々は画素ブロック７２及びバッファブロック７４のうちのいずれかに分類され、画素ブロック７２内の画素の画素データに対する赤色異常斜め入射光５８の検出及び混色補正は、上述の第１実施形態と同様にして行われる。また、バッファブロック７４内の画素の画素データに対する赤色異常斜め入射光５８の検出及び混色補正は、上述した水平方向Ａの赤色異常斜め入射光５８の場合と同様に行われ、補正対象画素に隣接する画素ブロック７２における混色補正量に基づいて、異常斜め入射光補正部７０により混色補正が行われる。

以上説明したように、本実施形態によれば、画素ブロック７２間にバッファブロック７４が設けられ、バッファブロック７４内の画素の画素データに対する混色補正が隣接画素ブロック７２における混色補正量に基づいて行われる。これにより、とりわけバッファブロック７４内の画素の画素データに対する混色補正を、高精度に行うことが可能となり、より優れた解像度感を有する撮影画像を得ることができる。

なお、上述の実施形態では、バッファブロック７４内の画素の画素データを隣接画素ブロック７２における混色補正量に基づいて補正する例について説明したが、隣接画素ブロック７２に加え、補正対象画素に近接する範囲での他の周辺画素ブロック７２における混色補正量も考慮して、バッファブロック７４内の画素の画素データを混色補正してもよい。

＜第３実施形態＞
図１０は、第３実施形態に係るカラー撮像素子２７の画素配列を示す図である。本実施形態では、二組の画素群（第１の画素ペアブロック７６、第２の画素ペアブロック７８）の配置特性を考慮したデータ処理によって、赤色異常斜め入射光５８の入射方向の判別が行われる。

上述の第１実施形態、第２実施形態及び変形例と同一又は類似の構成は、同一の符号を付し、その詳細な説明は省略する。

本実施形態のカラー撮像素子２７を構成する複数画素の基本配列画素群Ｐは、水平方向Ａ及び垂直方向Ｂに関して６画素×６画素の配列を有する画素によって構成され、各基本配列画素群Ｐは、水平方向Ａ及び垂直方向Ｂに関して３画素×３画素の画素配列を有する第１サブ配列Ｓ１及び第２サブ配列Ｓ２を二つずつ含む。第１サブ配列Ｓ１同士及び第２サブ配列Ｓ２同士はそれぞれ基本配列画素群Ｐの対角線上に配設され、第１サブ配列Ｓ１の各々は水平方向Ａ及び垂直方向Ｂに関して第２サブ配列Ｓ２と隣接配置され、第２サブ配列Ｓ２の各々は水平方向Ａ及び垂直方向Ｂに関して第１サブ配列Ｓ１と隣接配置される。

第１サブ配列Ｓ１では、水平方向Ａに隣接配置される「Ｒ画素、Ｇ画素、Ｒ画素」の行、「Ｇ画素、Ｂ画素、Ｇ画素」の行及び「Ｒ画素、Ｇ画素、Ｒ画素」の行が、垂直方向Ｂに並置される。また第２サブ配列Ｓ２では、水平方向Ａに隣接配置される「Ｂ画素、Ｇ画素、Ｂ画素」の行、「Ｇ画素、Ｒ画素、Ｇ画素」の行及び「Ｂ画素、Ｇ画素、Ｂ画素」の行が、垂直方向Ｂに並置される。したがって、基本配列画素群Ｐでは、水平方向Ａに隣接配置される「Ｒ画素、Ｇ画素、Ｒ画素、Ｂ画素、Ｇ画素、Ｂ画素」の行、「Ｇ画素、Ｂ画素、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素」の行、「Ｒ画素、Ｇ画素、Ｒ画素、Ｂ画素、Ｇ画素、Ｂ画素」の行、「Ｂ画素、Ｇ画素、Ｂ画素、Ｒ画素、Ｇ画素、Ｒ画素」の行、「Ｇ画素、Ｒ画素、Ｇ画素、Ｇ画素、Ｂ画素、Ｇ画素」の行、「Ｂ画素、Ｇ画素、Ｂ画素、Ｒ画素、Ｇ画素、Ｒ画素」の行が、垂直方向Ｂに並置される。

このような配列を有する複数の画素は、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４によって構成される第１の画素ペアブロック７６及び第２の画素ペアブロック７８を含む。図１０には、一例として、水平方向Ａの赤色異常斜め入射光５８の検出及び混色補正のための第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４が示されている。第１の画素ペアブロック７６及び第２の画素ペアブロック７８の各々では、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４が隣接配置され、水平方向Ａに２画素配列され且つ垂直方向Ｂに２画素配列される。また、第１の画素ペアブロック７６と第２の画素ペアブロック７８との間で、Ｒ画素及びＢ画素の配置があべこべとなっており、Ｒ画素の位置及びＢ画素の位置が逆転している（図１０のＲ１〜Ｒ４及びＢ１〜Ｂ４参照）。

したがって、第１の画素ペアブロック７６は、水平方向Ａに関して正方向の側及び垂直方向Ｂに関して正方向の側にＲ画素が隣接するＢ画素（Ｂ２；第１画素）と、水平方向Ａに関して負方向の側及び垂直方向Ｂに関して負方向の側にＲ画素が隣接するＢ画素（Ｂ１；第２画素）とを含む。また、第２の画素ペアブロック７８は、水平方向Ａに関して負方向の側及び垂直方向Ｂに関して正方向の側にＲ画素が隣接するＢ画素（Ｂ４；第３画素）と、水平方向Ａに関して正方向の側及び垂直方向Ｂに関して負方向の側にＲ画素が隣接するＢ画素（Ｂ３；第４画素）とを含む。

異常斜め入射光検出部６８における赤色異常斜め入射光５８の検出については、上述の実施形態と同様に、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素の画素データの差分値を閾値と比較することで、赤色異常斜め入射光５８の入射の有無を判定することが可能である。本実施形態では、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４が隣接配置されて第１の画素ペアブロック７６及び第２の画素ペアブロック７８が構成されるので、第１の画素ペアブロック７６及び第２の画素ペアブロック７８の各々におけるＢ画素の画素データの差分値に基づいて、赤色異常斜め入射光５８の入射の有無を判定することができる。

一方、赤色異常斜め入射光５８の入射方向は、第１の画素ペアブロック７６に含まれる二つのＢ画素の画素データと、第２の画素ペアブロック７８に含まれる二つのＢ画素の画素データとに基づいて判定される。すなわち、異常斜め入射光検出部６８は、第１の画素ペアブロック７６に含まれる二つのＢ画素（Ｂ１、Ｂ２）の画素データの大小関係と、第２の画素ペアブロック７８に含まれる二つのＢ画素（Ｂ３、Ｂ４）の画素データの大小関係とから、赤色異常斜め入射光５８の入射方向を判定する。

第１の画素ペアブロック７６における第１のＲＢ画素ペア５２のＢ画素（Ｂ１）の画素データをＤ１とし、第１の画素ペアブロック７６における第２のＲＢ画素ペア５４のＢ画素（Ｂ２）の画素データをＤ２とし、第２の画素ペアブロック７８における第２のＲＢ画素ペア５４のＢ画素（Ｂ３）の画素データをＤ３とし、第２の画素ペアブロック７８における第１のＲＢ画素ペア５２のＢ画素（Ｂ４）の画素データをＤ４とする。

仮に、第１の画素ペアブロック７６の画素データＤ１及びＤ２のみを使用する場合、これらの画素データＤ１及びＤ２のみからは、赤色異常斜め入射光５８の入射方向を厳密には判別することができない。例えば「Ｄ１＞Ｄ２」の大小関係を有する場合、水平方向Ａの正方向の赤色異常斜め入射光５８による混色（Ｒ１画素によるＢ１画素の混色）か、垂直方向Ｂの正方向の赤色異常斜め入射光５８による混色（Ｒ２画素によるＢ１画素の混色）かを区別することができない。

そこで、本実施形態では、第１の画素ペアブロック７６及び第２の画素ペアブロック７８の画素データＤ１〜Ｄ４に基づいて赤色異常斜め入射光５８の入射方向の算出を行う。例えば上述のケース（「Ｄ１＞Ｄ２」の大小関係を有するケース）において、Ｒ１画素によるＢ１画素の混色が支配的な場合には「Ｄ４＞Ｄ３」が成立し、Ｒ２画素によるＢ１画素の混色が支配的な場合には「Ｄ３＞Ｄ４」が成立する。具体的には、図１０に示す例におけるＢ画素（Ｂ３、Ｂ４）の画素データの大小関係と、赤色異常斜め入射光５８の入射方向とは、以下のように対応する。

「Ｄ１＞Ｄ２」且つ「Ｄ３＜Ｄ４」を満たす場合：水平方向Ａの正方向の赤色異常斜め入射光５８がカラー撮像素子２７に入射している。

「Ｄ１＜Ｄ２」且つ「Ｄ３＞Ｄ４」を満たす場合：水平方向Ａの負方向の赤色異常斜め入射光５８がカラー撮像素子２７に入射している。

「Ｄ１＞Ｄ２」且つ「Ｄ３＞Ｄ４」を満たす場合：垂直方向Ｂの正方向の赤色異常斜め入射光５８がカラー撮像素子２７に入射している。

「Ｄ１＜Ｄ２」且つ「Ｄ３＜Ｄ４」を満たす場合：垂直方向Ｂの負方向の赤色異常斜め入射光５８がカラー撮像素子２７に入射している。

したがって、赤色異常斜め入射光５８の入射を検出した異常斜め入射光検出部６８は、例えばＢ画素の画素データの差分値「Ｄ１−Ｄ２」及び「Ｄ３−Ｄ４」を算出し、赤色異常斜め入射光５８の入射方向を「（Ｄ１−Ｄ２）が正且つ（Ｄ３−Ｄ４）が負の場合は、水平方向Ａの正方向」、「（Ｄ１−Ｄ２）が負且つ（Ｄ３−Ｄ４）が正の場合は、水平方向Ａの負方向」、「（Ｄ１−Ｄ２）が正且つ（Ｄ３−Ｄ４）が正の場合は、垂直方向Ｂの正方向」、「（Ｄ１−Ｄ２）が負且つ（Ｄ３−Ｄ４）が負の場合は、垂直方向Ｂの負方向」と判定する。

なお、上述では水平方向Ａに関する赤色異常斜め入射光５８の検出及び混色補正時の処理について説明したが、垂直方向Ｂに関する赤色異常斜め入射光５８の検出及び混色補正も水平方向Ａに関する赤色異常斜め入射光５８の検出及び混色補正時と同様に行うことができる。この場合、第１の画素ペアブロック７６及び第２の画素ペアブロック７８において垂直方向Ｂに隣接するＲＢ画素のペア（図１０に示す例では「Ｒ１画素、Ｂ２画素」、「Ｂ１画素、Ｒ２画素」、「Ｂ３画素、Ｒ４画素」、「Ｒ３画素、Ｂ４画素」）を、第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４として使用することができる。

以上説明したように、本実施形態によれば、一つの第１のＲＢ画素ペア５２及び一つの第２のＲＢ画素ペア５４の出力画素データのみからは赤色異常斜め入射光５８の入射方向の厳密な検出が難しい場合であっても、Ｒ画素及びＢ画素の配置が逆転している第１の画素ペアブロック７６及び第２の画素ペアブロック７８の出力画素データから、赤色異常斜め入射光５８の入射方向を精度良く検出することができる。このように、二組の画素群（第１のＲＢ画素ペア５２、第２のＲＢ画素ペア５４）の画素データによって、水平方向及び垂直方向（上下左右方向）の赤色異常斜め入射光５８を一度に検出及び混色補正することが可能である。

＜第４実施形態＞
被写体像の配色に起因して本来的にＢ画素間の画素データに差が生じる場合に、両Ｂ画素の画素データを混色補正によって同一値にしてしまうと、得られる画像データにおいて被写体像の本来の配色が失われてしまう。したがって、二組のＲＢ画素ペア（第１のＲＢ画素ペア５２、第２のＲＢ画素ペア５４）のＢ画素の画素データの差が被写体像の画素単位での配色の相違に起因する場合に、両画素データの差分値を使った単純な減算処理による混色補正を行うと、得られる画像の解像度感が低下する場合がある。

本実施形態では、被写体像の本来の配色に関するデータの損失を低減して、解像度感の高い画像データを得るための混色補正を行う例について説明する。

図１１は、第４実施形態に係るカラー撮像素子２７の画素配列を示す図である。

上述の第１実施形態、第２実施形態、第３実施形態及び変形例と同一又は類似の構成は、同一の符号を付し、その詳細な説明は省略する。

本実施形態のカラー撮像素子２７を構成する複数画素の配列は、上述の第１実施形態及び第２実施形態と同じである。

また、複数の画素の各々が複数の画素ブロック７２及び複数のバッファブロック７４のうちのいずれかに分類される点、及び異常斜め入射光検出部６８による赤色異常斜め入射光５８の有無及び入射方向の検出手法も、第２実施形態と同じである。

ただし、本実施形態の異常斜め入射光補正部７０は、混色補正対象の画素ブロック７２における画素データの補正量を算出する際、隣接する周囲の画素ブロック７２において算出される混色補正量を加味する。

図１１に示す例では、複数の画素ブロック７２の各々において、第１のＲＢ画素ペア５２と第２のＲＢ画素ペア５４とが垂直方向に設けられる。複数の画素ブロック７２は、複数の画素ブロック７２の各々に含まれる第１のＲＢ画素ペア５２と第２のＲＢ画素ペア５４との配設方向である垂直方向Ｂに隣り合う画素ブロック７２を含む。例えば、図１１に示す画素ブロック７２Ａは、垂直方向Ｂの正方向及び負方向のそれぞれに関し、画素ブロック７２Ｂ及び画素ブロック７２Ｃと隣接する。

異常斜め入射光補正部７０は、異常斜め入射光検出部６８によって赤色異常斜め入射光５８の入射が有ることが検出された第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４を含む画素ブロック７２における赤色異常斜め入射光５８が入射するフォトダイオード６４を有する画素の画素データを、この画素ブロック７２における第１のＲＢ画素ペア５２のＢ画素の画素データ及び第２のＲＢ画素ペア５４のＢ画素の画素データと、この画素ブロック７２に隣り合う画素ブロック７２における第１のＲＢ画素ペア５２のＢ画素の画素データ及び第２のＲＢ画素ペア５４のＢ画素の画素データと、に基づいて補正する。

例えば、図１１に示される画素ブロック７２Ａの第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素の画素データからこの画素ブロック７２Ａへの水平方向Ａの赤色異常斜め入射光５８の入射が検出された場合、異常斜め入射光検出部６８によって、「画素ブロック７２Ａの第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素の画素データの差分値Ｄ_Ａ」、「画素ブロック７２Ｂの第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素の画素データの差分値Ｄ_Ｂ」及び「画素ブロック７２Ｃの第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素の画素データの差分値Ｄ_Ｃ」が算出される。

そして、画素ブロック７２Ａの画素データの混色補正量Ｄ_ｍが、算出された上記の差分値Ｄ_Ａ、Ｄ_Ｂ、Ｄ_Ｃから求められる。この混色補正量Ｄ_ｍは任意の手法によって算出可能であり、上記の差分値Ｄ_Ａ、Ｄ_Ｂ、Ｄ_Ｃの平均値（Ｄ_ｍ＝（Ｄ_Ａ＋Ｄ_Ｂ＋Ｄ_Ｃ）／３）や移動平均処理によって算出される値を混色補正量Ｄ_ｍとしてもよい。例えば移動平均処理のうち加重移動平均演算による「１２１フィルタ」を上記の差分値Ｄ_Ａ、Ｄ_Ｂ、Ｄ_Ｃに適用する場合、補正対象の画素ブロック７２ＡにおけるＢ画素の画素データの差分値Ｄ_Ａの重みを隣接画素ブロック７２Ｂ、７２ＣにおけるＢ画素の画素データの差分値Ｄ_Ｂ、Ｄ_Ｃの重みの２倍として（Ｄ_ｍ＝（２×Ｄ_Ａ＋Ｄ_Ｂ＋Ｄ_Ｃ）／４）、混色補正量Ｄ_ｍを精度良く求めることができる。

このように、補正対象の画素ブロック７２ＡにおけるＢ画素の画素データの差分値Ｄ_Ａだけではなく、隣接画素ブロック７２Ｂ、７２ＣにおけるＢ画素の画素データの差分値Ｄ_Ｂ、Ｄ_Ｃを加味して、補正対象の画素ブロック７２Ａにおける混色補正の補正量Ｄ_ｍを算出することで、補正対象の画素ブロック７２ＡにおけるＢ画素の画素データの劣化を効果的に防ぐことができる。すなわち、本実施形態のように、隣接画素ブロック７２Ｂ、７２ＣにおけるＢ画素の画素データの差分値Ｄ_Ｂ、Ｄ_Ｃを加味して画素ブロック７２Ａの混色補正量Ｄ_ｍを算出することで、混色補正による解像度感の損失を効果的に抑えることができる。

異常斜め入射光補正部７０は、画素ブロック７２Ａにおいて赤色異常斜め入射光５８が入射する水平方向Ａに関してＲ画素と隣接する画素（図１１に示す例では第１のＲＢ画素ペア５２及び第２のＲＢ画素ペア５４のＢ画素）のうち、画素データ値が大きい方の画素の画素データから上記の混色補正量Ｄ_ｍを減算することで、画素ブロック７２Ａにおける混色補正を行う。

なお、上述では水平方向Ａに関する赤色異常斜め入射光５８の検出及び混色補正時の処理について説明したが、垂直方向Ｂに関する赤色異常斜め入射光５８の検出及び混色補正も水平方向Ａに関する赤色異常斜め入射光５８の検出及び混色補正時と同様に行うことができる。

以上説明したように、本実施形態によれば、補正対象の画素ブロック７２における混色補正の補正量が、隣接画素ブロック７２におけるＢ画素の画素データを考慮して算出されるので、解像度感の劣化をより一層防いだ混色補正を行うことができる。

以上、本発明の好ましい実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、他の形態に対しても適宜応用可能である。

カラー撮像素子２７の画素配列は特に限定されず、例えば図１２に示す画素配列を有するカラー撮像素子２７に対しても上述の技術を応用することができる。図１２のカラー撮像素子２７では、水平方向Ａに隣接配置された「Ｇ画素、Ｂ画素、Ｇ画素」、「Ｒ画素、Ｇ画素、Ｒ画素」及び「Ｇ画素、Ｂ画素、Ｇ画素」によって構成される二つの第１サブ配列Ｓ１と水平方向Ａに隣接配置された「Ｇ画素、Ｒ画素、Ｇ画素」、「Ｂ画素、Ｇ画素、Ｂ画素」及び「Ｇ画素、Ｒ画素、Ｇ画素」によって構成される二つの第２サブ配列Ｓ２とが、水平方向Ａ及び垂直方向Ｂに隣接して配置されることで基本配列画素群Ｐが構成される。この場合にも、水平方向ＡにＲ画素及びＢ画素が隣接配置される第１のＲＢ画素ペア５２Ａ及び第２のＲＢ画素ペア５４Ａを含む画素ブロック７２Ａと画素ブロック７２Ａ間に設けられるバッファブロック７４Ａとに基づいて、上述の実施形態及び変形例と同様に、水平方向Ａの赤色異常斜め入射光５８の検出及び混色補正を行うことが可能である。同様に、垂直方向ＢにＲ画素及びＢ画素が隣接配置される第１のＲＢ画素ペア５２Ｂ及び第２のＲＢ画素ペア５４Ｂを含む画素ブロック７２Ｂと画素ブロック７２Ｂ間に設けられるバッファブロック７４Ｂとに基づいて、上述の実施形態及び変形例と同様に、垂直方向Ｂの赤色異常斜め入射光５８の検出及び混色補正することが可能である。

また、カラー撮像素子２７の画素配列は特に限定されない。例えば、第１の方向（例えば水平方向）及び第２の方向（例えば垂直方向）に関してＮ画素×Ｍ画素（Ｎは３以上の整数、Ｍは３以上の整数）の配列群を基本配列パターンとし、この基本配列パターンが第１の方向及び第２の方向に並置されている配列を、カラー撮像素子２７の画素配列として採用することができる。一例として、図１３に示すような３画素×３画素の配列群（水平方向に並置される「Ｒ画素、Ｂ画素、Ｇ画素」の行、「Ｂ画素、Ｒ画素、Ｇ画素」の行及び「Ｇ画素、Ｇ画素、Ｇ画素」の行が垂直方向に並置される配列群）を基本配列パターンとして採用するケースが考えられる。なお、基本配列パターンの大きさに関し、基本配列パターンの画素数が増加するとデモザイク処理等の信号処理が複雑化してしまう。したがって、信号処理の複雑化を防止する観点からは、基本配列パターンのサイズは大きすぎない１０画素×１０画素（水平方向×垂直方向）以下のサイズが好ましく、より好ましくは８画素×８画素（水平方向×垂直方向）以下のサイズが好ましい。

また、上述の実施形態では、複数の画素が水平方向及び垂直方向に配列される例について説明したが、複数の画素の配列方向は、相互に垂直を形成する２方向に基づくものであればよく、例えば水平方向及び垂直方向に対して４５度回転させた方向に複数の画素が配列される「ハニカム配列」が採用されてもよい。

また、上記実施形態ではデジタルカメラ１０について説明したが、撮像装置の構成はこれに限定されない。本発明を適用可能な他の撮像装置としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。また、上述の各処理ステップをコンピュータに実行させるプログラム（ソフトウエア）に対しても、本発明を適用することが可能である。

本発明の撮像装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

＜スマートフォンの構成＞
図１４は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示すものである。図１４に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備えている。また、斯かる筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備えている。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１５は、図１４に示すスマートフォン１０１の構成を示すブロック図である。図１５に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部１２０は、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。

表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。斯かるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図１４に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。斯かる配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の二つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１４に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１４に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部１７０は、主制御部１００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示にしたがって、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。斯かる検出結果は、主制御部１００に出力されるものである。

電源部１９０は、主制御部１００の指示にしたがって、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアにしたがって主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

更に、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。図１４に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部１４１を同時に使用して撮影したりすることもできる。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力の一つとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。

上述のスマートフォン１０１において、図１の画像処理回路３２は、例えば主制御部１００、記憶部１５０等によって適宜実現可能である。

１０…デジタルカメラ、１２…カメラ本体、１４…レンズユニット、２０…撮影光学系、２１…ズームレンズ、２２…フォーカスレンズ、２３…メカシャッタ、２４…ズーム機構、２５…フォーカス機構、２６…レンズドライバ、２７…カラー撮像素子、３０…ＣＰＵ、３１…撮像素子ドライバ、３２…画像処理回路、３３…メディアインターフェース、３４…圧縮伸張処理回路、３５…表示制御部、３６…操作部、３７…メモリ、３８…メモリカード、３９…ＥＶＦ、４０…背面ＬＣＤ、５０…画素、５２…第１のＲＢ画素ペア、５４…第２のＲＢ画素ペア、５６…通常光、５８…赤色異常斜め入射光、６０…マイクロレンズ、６２…カラーフィルタ、６４…フォトダイオード、６６…異常斜め入射光検出補正部、６８…異常斜め入射光検出部、７０…異常斜め入射光補正部、７２…画素ブロック、７４…バッファブロック、７６…第１の画素ペアブロック、７８…第２の画素ペアブロック、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims (17)

1. 第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子であって、前記複数の画素の各々がカラーフィルタと、当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有する撮像素子と、
   前記画素データに基づいて、前記撮像素子への異常斜め入射光の入射の有無を検出する異常斜め入射光検出手段と、を備え、
   前記複数の画素は、前記第１の方向及び前記第２の方向のうち少なくとも一方に関し、相互に隣接する第１の色のカラーフィルタを有する第１色画素と第２の色のカラーフィルタを有する第２色画素とによって構成される第１の画素ペア及び第２の画素ペアであって、前記第１色画素の位置と前記第２色画素の位置とが逆転した配置を有する第１の画素ペア及び第２の画素ペアを含み、
   前記第１の色のカラーフィルタは、赤色光の波長域の少なくとも一部において、前記第２の色のカラーフィルタよりも高い透過率を有し、
   前記異常斜め入射光検出手段は、前記第１の画素ペアの前記第２色画素の前記画素データと、前記第２の画素ペアの前記第２色画素の前記画素データとを比較し、前記異常斜め入射光の入射の有無を検出する撮像装置。
2. 前記第１の色のカラーフィルタは、６００ｎｍ〜６５０ｎｍの波長域における光の透過率が５０％以上であり、
   前記第２の色のカラーフィルタは、６００ｎｍ〜６５０ｎｍの波長域における光の透過率が５０％未満である請求項１に記載の撮像装置。
3. 前記第１の色のカラーフィルタは、赤色フィルタ、透明フィルタ及び白色フィルタのうちのいずれかであり、
   前記第２の色のカラーフィルタは、青色フィルタ及び緑色フィルタのうちのいずれかである請求項１又は２に記載の撮像装置。
4. 前記異常斜め入射光検出手段は、前記第１の画素ペアの前記第２色画素の前記画素データと、前記第２の画素ペアの前記第２色画素の前記画素データとの差分値が閾値以上か否かに基づいて、前記異常斜め入射光の入射の有無を検出する請求項１から３のいずれか１項に記載の撮像装置。
5. 前記異常斜め入射光検出手段は、前記第１の画素ペアの前記第２色画素の前記画素データと、前記第２の画素ペアの前記第２色画素の前記画素データとの大小関係に基づいて、前記異常斜め入射光の入射方向を判定する請求項１から４のいずれか１項に記載の撮像装置。
6. 前記異常斜め入射光検出手段の検出結果に基づいて、前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを補正する補正手段を更に備え、
   前記補正手段は、前記異常斜め入射光検出手段により判定された前記異常斜め入射光の入射方向に基づいて、前記複数の画素のうち、前記異常斜め入射光が入射される前記フォトダイオードを有する画素を判別する請求項５に記載の撮像装置。
7. 前記補正手段は、前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを、前記第１の画素ペアの前記第２色画素の前記画素データと、前記第２の画素ペアの前記第２色画素の前記画素データとの差分値に基づいて、補正する請求項６に記載の撮像装置。
8. 前記補正手段は、前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを、前記異常斜め入射光が入射される前記フォトダイオードを有する画素と同色のカラーフィルタを有する画素であって前記異常斜め入射光が入射していない前記フォトダイオードを有する画素の前記画素データに基づいて補正する請求項６に記載の撮像装置。
9. 前記複数の画素は複数の画素ブロックを含み、前記複数の画素ブロックの各々は、前記第１の画素ペア及び前記第２の画素ペアを構成する画素と、前記第１の画素ペア及び前記第２の画素ペアを構成する画素に隣接する画素とを含み、
   前記複数の画素のうちの少なくとも一部は、前記複数の画素ブロックのいずれかに分類され、
   前記補正手段は、前記異常斜め入射光検出手段によって前記異常斜め入射光の入射が有ることが検出された前記第１の画素ペア及び前記第２の画素ペアを含む前記画素ブロックにおいて、前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを、前記第１の画素ペアの前記第２色画素の前記画素データ及び前記第２の画素ペアの前記第２色画素の前記画素データに基づいて補正する請求項６から８のいずれか１項に記載の撮像装置。
10. 前記複数の画素は、前記複数の画素ブロックと、前記複数の画素ブロック間に設けられる複数のバッファブロックとを含み、
    前記複数の画素の各々は、前記複数の画素ブロック及び前記複数のバッファブロックのうちのいずれかに分類され、
    前記補正手段は、前記バッファブロックに含まれる画素のうち前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを、当該バッファブロックに隣接する前記画素ブロックのうち前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データの補正量に基づいて、補正する請求項９に記載の撮像装置。
11. 前記複数の画素は、第１の画素ペアブロック及び第２の画素ペアブロックを含み、前記第１の画素ペアブロック及び前記第２の画素ペアブロックの各々では、前記第１の画素ペア及び前記第２の画素ペアが隣接配置されて前記第１の方向に２画素配列され且つ前記第２の方向に２画素配列され、
    前記第１の画素ペアブロックと前記第２の画素ペアブロックとの間で、前記第１色画素の位置と前記第２色画素の位置とが逆転しており、
    前記異常斜め入射光検出手段は、前記第１の画素ペアブロックに含まれる前記第２の色のカラーフィルタを有する二つの画素の前記画素データと、前記第２の画素ペアブロックに含まれる前記第２の色のカラーフィルタを有する二つの画素の前記画素データとに基づいて、前記異常斜め入射光の入射方向を判定する請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記第１の画素ペアブロックは、前記第１の方向に関して一方の側及び前記第２の方向に関して一方の側に前記第１色画素が隣接する前記第２の色のカラーフィルタを有する第１画素と、前記第１の方向に関して他方の側及び前記第２の方向に関して他方の側に前記第１色画素が隣接する前記第２の色のカラーフィルタを有する第２画素と、を含み、
    前記第２の画素ペアブロックは、前記第１の方向に関して他方の側及び前記第２の方向に関して一方の側に前記第１色画素が隣接する前記第２の色のカラーフィルタを有する第３画素と、前記第１の方向に関して一方の側及び前記第２の方向に関して他方の側に前記第１色画素が隣接する前記第２の色のカラーフィルタを有する第４画素と、を含み、
    前記異常斜め入射光検出手段は、前記第１画素の前記画素データと前記第２画素の前記画素データとの大小関係と、前記第３画素の前記画素データと前記第４画素の前記画素データとの大小関係とから、前記異常斜め入射光の入射方向を判定する請求項１１に記載の撮像装置。
13. 前記複数の画素ブロックの各々において、前記第１の画素ペアと前記第２の画素ペアとは前記第１の方向又は前記第２の方向に設けられ、
    前記複数の画素ブロックは、前記第１の方向及び前記第２の方向のうち、前記複数の画素ブロックの各々に含まれる前記第１の画素ペアと前記第２の画素ペアとが設けられる方向に隣り合う前記画素ブロックを含み、
    前記補正手段は、前記異常斜め入射光検出手段によって前記異常斜め入射光の入射が有ることが検出された前記第１の画素ペア及び前記第２の画素ペアを含む前記画素ブロックにおける前記異常斜め入射光が入射される前記フォトダイオードを有する画素の前記画素データを、当該画素ブロックの前記第１の画素ペアの前記第２色画素の前記画素データ及び前記第２の画素ペアの前記第２色画素の前記画素データと、当該画素ブロックに隣り合う前記画素ブロックの前記第１の画素ペアの前記第２色画素の前記画素データ及び前記第２の画素ペアの前記第２色画素の前記画素データと、に基づいて補正する請求項９又は１０に記載の撮像装置。
14. 前記複数の画素は、カラーフィルタ配列パターンを持つ複数の基本配列画素群であって、第１の方向及び第２の方向に並置される複数の基本配列画素群を含み、
    前記複数の基本配列画素群の各々は、前記第１の画素ペア及び前記第２の画素ペアを含む請求項１から１３のいずれか１項に記載の撮像装置。
15. 第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子であって、前記複数の画素の各々がカラーフィルタと当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有し、前記複数の画素は、前記第１の方向及び前記第２の方向のうち少なくとも一方に関し、相互に隣接する第１の色のカラーフィルタを有する第１色画素と第２の色のカラーフィルタを有する第２色画素とによって構成される第１の画素ペア及び第２の画素ペアであって、前記第１色画素の位置と前記第２色画素の位置とが逆転した配置を有する第１の画素ペア及び第２の画素ペアを含み、前記第１の色のカラーフィルタは、赤色光の波長域の少なくとも一部において、前記第２の色のカラーフィルタよりも高い透過率を有する撮像素子から出力される前記画素データに基づいて、前記撮像素子への異常斜め入射光の入射の有無を検出する異常斜め入射光検出方法であって、
    前記第１の画素ペアの前記第２色画素の前記画素データと、前記第２の画素ペアの前記第２色画素の前記画素データとを取得するステップと、
    取得された前記第１の画素ペアの前記第２色画素の前記画素データと、取得された前記第２の画素ペアの前記第２色画素の前記画素データとを比較し、前記異常斜め入射光の入射の有無を検出するステップとを含む異常斜め入射光検出方法。
16. 第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子であって、前記複数の画素の各々がカラーフィルタと当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有し、前記複数の画素は、前記第１の方向及び前記第２の方向のうち少なくとも一方に関し、相互に隣接する第１の色のカラーフィルタを有する第１色画素と第２の色のカラーフィルタを有する第２色画素とによって構成される第１の画素ペア及び第２の画素ペアであって、前記第１色画素の位置と前記第２色画素の位置とが逆転した配置を有する第１の画素ペア及び第２の画素ペアを含み、前記第１の色のカラーフィルタは、赤色光の波長域の少なくとも一部において、前記第２の色のカラーフィルタよりも高い透過率を有する撮像素子から出力される前記画素データに基づいて、前記撮像素子への異常斜め入射光の入射の有無を検出する手順をコンピュータに実行させるためのプログラムであって、
    前記第１の画素ペアの前記第２色画素の前記画素データと、前記第２の画素ペアの前記第２色画素の前記画素データとを取得する手順と、
    取得された前記第１の画素ペアの前記第２色画素の前記画素データと、取得された前記第２の画素ペアの前記第２色画素の前記画素データとを比較し、前記異常斜め入射光の入射の有無を検出する手順とをコンピュータに実行させるためのプログラム。
17. 撮像素子から出力される画素データに基づいて、前記撮像素子への異常斜め入射光の入射の有無を検出する手順をコンピュータに実行させるためのプログラムの、コンピュータ読み取り可能なコードが記録された記録媒体であって、
    前記撮像素子は、第１の方向及び当該第１の方向に垂直な第２の方向に配列される複数の画素を有する撮像素子であって、前記複数の画素の各々がカラーフィルタと当該カラーフィルタを透過した光を受光して画素データを出力するフォトダイオードとを有し、前記複数の画素は、前記第１の方向及び前記第２の方向のうち少なくとも一方に関し、相互に隣接する第１の色のカラーフィルタを有する第１色画素と第２の色のカラーフィルタを有する第２色画素とによって構成される第１の画素ペア及び第２の画素ペアであって、前記第１色画素の位置と前記第２色画素の位置とが逆転した配置を有する第１の画素ペア及び第２の画素ペアを含み、前記第１の色のカラーフィルタは、赤色光の波長域の少なくとも一部において、前記第２の色のカラーフィルタよりも高い透過率を有し、
    前記手順は、
    前記第１の画素ペアの前記第２色画素の前記画素データと、前記第２の画素ペアの前記第２色画素の前記画素データとを取得する手順と、
    取得された前記第１の画素ペアの前記第２色画素の前記画素データと、取得された前記第２の画素ペアの前記第２色画素の前記画素データとを比較し、前記異常斜め入射光の入射の有無を検出する手順と、を含む、記録媒体。

Images