JP2011097542A - 画素欠陥検出補正装置、撮像装置、画像欠陥検出補正方法、およびプログラム - Google Patents

Abstract

【課題】同色隣接画素に大きな値の画素が存在する場合であっても画素欠陥を検出することが可能な画素欠陥検出補正装置、撮像装置、画素欠陥検出補正方法、およびプログラムを提供する。
【解決手段】注目画素である欠陥検出対象画素を中心として同色および異色の複数の隣接画素が配列された処理領域において、欠陥検出対象画素を除く異色隣接画素の画素値の平均値を取得する平均値取得部１７３と、平均値取得部による平均値を基に欠陥検出対象画素が欠陥であるか否かを判定する欠陥判定部１７５と、を有し、欠陥判定部１７５は、欠陥検出対象画素の画素値と、平均値取得部により取得された異色隣接画素の平均値と、指定される異色画素閾値との比較により欠陥検出対象画素が欠陥であるか否かを判定する。
【選択図】図５

Description

本発明は、ＣＣＤ，ＣＭＯＳセンサなどの固体撮像素子における欠陥画素を検出し補償する機能を有する画素欠陥検出補正装置、撮像装置、画素欠陥検出補正方法、およびプログラムに関するものである。

一般に、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子には、欠陥画素が生じることが知られている。
固体撮像素子において、半導体の局部的な結晶欠陥などによる異常な撮像信号を出力する欠陥画素を生じ、これに起因する画質劣化を生じることが知られている。
これらには、たとえば黒傷欠陥画素や白傷欠陥画素などがある。

すなわち、固体撮像素子の画素欠陥には、正常信号レベルに一定量の電荷が加算される白欠陥と、一定の比率で信号レベルが低下もしくは常に０前後の信号レベルを出力する黒欠陥がある。

これら欠陥は画像出力時に画質劣化をもたらすため、様々な欠陥検出補正方法が提案されている（たとえば、特許文献１参照）。

一般に、注目する画素が欠陥かどうか判定するためには、ある閾値を設定しその閾値を超えた場合に欠陥と判定する。
通常技術ではその閾値に、同色隣接もしくは異色隣接の８画素の最大値および最小値に外部設定可能な係数を掛けた値を利用するのが一般的である。

特許第３７４７９０９号

ところが、上記した欠陥検出方法では、注目画素の隣接周辺に高輝度画素、たとえば光が反射する部分が存在した場合、欠陥判定する閾値にその高輝度画素信号レベルが利用されるため、たとえ注目画素が欠陥である場合でも欠陥として認識できない場合がある。
さらに、そうした欠陥は極めて目立つ傾向がある。

たとえば特許文献１に記載の技術では、同色／異色隣接画素の最大値と最小値に係数を掛けたものを欠陥判定の閾値に利用しており、特に欠陥判定の対象となる画素の近傍に輝度値の高い画素が存在する場合は欠陥判定ができない可能性がある。
また、この技術では、相関を利用しているが、縦方向の色差や輝度は考慮されておらず演算が煩雑になる傾向がある。

本発明は、同色隣接画素に大きな値の画素が存在する場合であっても画素欠陥を検出することが可能な画素欠陥検出補正装置、撮像装置、画素欠陥検出補正方法、およびプログラムを提供することにある。

本発明の第１の観点の画素欠陥検出補正装置は、注目画素である欠陥検出対象画素を中心として同色および異色の複数の隣接画素が配列された処理領域において、上記欠陥検出対象画素を除く異色隣接画素の画素値の平均値を取得する平均値取得部と、少なくとも上記平均値取得部による平均値を基に上記欠陥検出対象画素が欠陥であるか否かを判定する欠陥判定部と、を有し、上記欠陥判定部は、上記欠陥検出対象画素の画素値と、上記平均値取得部により取得された異色隣接画素の平均値と、指定される異色画素閾値との比較により当該欠陥検出対象画素が欠陥であるか否かを判定する。

本発明の第２の観点の撮像装置は、被写体像を撮像する撮像素子を含む画素部と、上記撮像素子からの画像データを受けて画素欠陥検出補正処理を行う画素欠陥検出補正装置と、を有し、上記画素欠陥検出補正装置は、注目画素である欠陥検出対象画素を中心として同色および異色の複数の隣接画素が配列された処理領域において、上記欠陥検出対象画素を除く異色隣接画素の画素値の平均値を取得する平均値取得部と、少なくとも上記平均値取得部による平均値を基に上記欠陥検出対象画素が欠陥であるか否かを判定する欠陥判定部と、を含み、上記欠陥判定部は、上記欠陥検出対象画素の画素値と、上記平均値取得部により取得された異色隣接画素の平均値と、指定される異色画素閾値との比較により当該欠陥検出対象画素が欠陥であるか否かを判定する。

本発明の第３の観点の画素欠陥検出補正方法は、注目画素である欠陥検出対象画素を中心として同色および異色の複数の隣接画素が配列された処理領域において、上記欠陥検出対象画素を除く異色隣接画素の画素値の平均値を取得する平均値取得ステップと、上記平均値取得ステップによる平均値を基に上記欠陥検出対象画素が欠陥であるか否かを判定する欠陥判定ステップと、を有し、上記欠陥判定ステップにおいては、上記欠陥検出対象画素の画素値と、上記平均値取得部により取得された異色隣接画素の平均値と、指定される異色画素閾値との比較により当該欠陥検出対象画素が欠陥であるか否かを判定する。

本発明の第４の観点は、注目画素である欠陥検出対象画素を中心として同色および異色の複数の隣接画素が配列された処理領域において、上記欠陥検出対象画素を除く異色隣接画素の画素値の平均値を取得機能により取得する平均値取得処理と、上記平均値取得処理による平均値を基に上記欠陥検出対象画素が欠陥であるか否かを判定機能により判定する欠陥判定処理と、を有し、上記欠陥判定処理においては、上記欠陥検出対象画素の画素値と、上記平均値取得部により取得された異色隣接画素の平均値と、指定される異色画素閾値との比較により当該欠陥検出対象画素が欠陥であるか否かを判定する画素欠陥検出補正処理をコンピュータに実行させるプログラムである。

本発明によれば、同色隣接画素に大きな値の画素が存在する場合であっても画素欠陥を検出することができる。

本発明の実施形態に係る画素欠陥検出補正装置を適用した撮像装置の構成例を示すブロック図である。 画素配列例としてベイヤ配列を示す図である。 本実施形態に係る画素部の単位画素の構成例を示す回路図である。 図１に示される画素部の構成例を示す図である。 本実施形態に係る欠陥検出補正回路の構成例を示す図である。 ベイヤ配列上の５画素×５画素の処理領域の一例を示す図である。 同色隣接画素の説明図である。 異色隣接画素の説明図である。 本実施形態に係る図５の欠陥検出補正回路の欠陥検出補正処理のフローチャートを示す図である。 本実施形態に係る欠陥検出補正回路の第２の構成例を示す図であって、異色隣接画素の平均値を、最大値、最小値を除いた６画素平均とする欠陥検出補正回路を示す図である。 本実施形態に係る図１０の欠陥検出補正回路の欠陥検出補正処理のフローチャートを示す図である。 実計算例を記載して示す図である。

以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
１．撮像装置の全体構成例
２．画素部の構成例
３．欠陥検出補正回路の構成例
４．欠陥検出補正処理の説明

＜１．撮像装置の全体構成例＞
図１は、本発明の実施形態に係る画素欠陥検出補正装置を適用した撮像装置の構成例を示すブロック図である。

本撮像装置１０は、図１に示すように、光学系１１、および固体撮像素子としてのＣＭＯＳイメージセンサ１２を有する。

光学系１１は、被写体像を撮像素子１２の撮像面に結像する。

ＣＭＯＳイメージセンサ１２は、画素部１３、アナログフロントエンド部（ＡＦＥ：Analogue Front End）１４、アナログデジタルコンバータ（ＡＤＣ：Analogue to Digital Converter）１５、および前処理部１６を有する。
ＣＭＯＳイメージセンサ１２は、本発明の実施形態に係る画素欠陥検出補正方法を採用した欠陥検出補正回路１７、後処理部１８、および機能制御・タイミング制御部１９を有する。

画素部１３は、ＣＭＯＳセンサにより形成され、複数の単位画素がマトリクス状に配列されている。
画素部１３は、その画素配列として、たとえば図２に示したようにベイヤ配列が採用される。

図３は、本実施形態に係る画素部１３の単位画素の構成例を示す回路図である。
図３は、本実施形態に係る４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素の一例を示している。

各画素回路１３０は、図３に示すように、たとえばフォトダイオードからなる光電変換素子１３１を有する。
そして、画素回路１３０は、この１個の光電変換素子１３１に対して、転送トランジスタ１３２、リセットトランジスタ１３３、増幅トランジスタ１３４、および選択トランジスタ１３５の４つのトランジスタを能動素子として有する。

光電変換素子１３１は、入射光をその光量に応じた量の電荷（ここでは電子）に光電変換する。
転送トランジスタ１３２は、光電変換素子１３１とフローティングディフュージョンＦＤとの間に接続され、転送制御線ＬＴｘを通じてそのゲート（転送ゲート）に制御信号である送信信号ＴＧが与えられる。
これにより、転送トランジスタ１３２は、光電変換素子１３１で光電変換された電子をフローティングディフュージョンＦＤに転送する。

リセットトランジスタ１３３は、電源ラインＬＶＤＤとフローティングディフュージョンＦＤとの間に接続され、リセット制御線ＬＲＳＴを通してそのゲートに制御信号であるリセット信号ＲＳＴが与えられる。
これにより、リセットトランジスタ１３３は、フローティングディフュージョンＦＤの電位を電源ラインＬＶＤＤの電位にリセットする。

フローティングディフュージョンＦＤには、増幅トランジスタ１３４のゲートが接続されている。増幅トランジスタ１３４は、選択トランジスタ１３５を介して信号線ＬＳＧＮに接続され、画素部外の定電流源１３６とソースフォロアを構成している。
そして、選択制御線ＬＳＥＬを通してアドレス信号に応じた制御信号である選択信号ＳＥＬが選択トランジスタ１３５のゲートに与えられ、選択トランジスタ１３５がオンする。
選択トランジスタ１３５がオンすると、増幅トランジスタ１３４はフローティングディフュージョンＦＤの電位を増幅してその電位に応じた電圧を信号線ＬＳＧＮに出カする。信号線ＬＳＧＮを通じて、各画素から出力された電圧は、読み出し回路であるＡＦＥ１４に出カされる。
これらの動作は、たとえば転送トランジスタ１３２、リセットトランジスタ１３３、および選択トランジスタ１３５の各ゲートが行単位で接続されていることから、１行分の各画素について同時に行われる。

画素部１３は、画素アレイ部に配線されているリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬが一組として画素配列の各行単位で配線されている。
これらのリセット制御線ＬＲＳＴ、転送制御線ＬＴｘ、および選択制御線ＬＳＥＬは、図示しない垂直走査回路により駆動される。
また、出力信号線ＬＳＧＮは、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）回路等を含む読み出し回路に接続される。
本実施形態では、ＣＤＳ回路機能をＡＦＥ１４に持たせている。

欠陥検出補正回路１７は、前処理部１６でデジタル信号処理を受けた画像デジタル信号に欠陥画素信号が存在する場合には、後で詳述する欠陥画素検出補正方法により欠陥画素信号を補正し、補正後のデジタル信号を後処理部１８に出力する。
本実施形態の欠陥検出補正回路１７は、欠陥判定処理に、隣接する異色８画素の平均値を利用して欠陥判定に利用する閾値を算出する機能を有する。
また、欠陥検出補正回路１７は、欠陥判定処理に、隣接する異色８画素のうち最大値および最小値を除いた６画素の平均値を利用して欠陥判定閾値を算出する機能を有する。
また、欠陥検出補正回路１７は、欠陥判定処理に、隣接する異色８画素のうち最大値および最小値を除いた６画素の平均値を利用して欠陥判定閾値を算出し、カラーフィルタごとに閾値を可変にできる機能を有する。
欠陥検出補正回路１７は、さらに隣接する同色８画素の最大値および最小値を利用して欠陥判定閾値を算出する機能を有する。
また、欠陥検出補正回路１７は、さらに隣接する同色８画素のうち最大値および最小値を除いた２番目の最大値および２番目の最小値を利用して欠陥判定閾値を算出する機能を有する。

以下に、撮像装置１０の機能の概要を説明した後、画素部の具体的な構成例、および欠陥検出補正回路１７の具体的な構成および機能について説明する。

［撮像装置の機能の概要］
被写体から得られた入射光は、光学系１１を介して、ＣＭＯＳイメージセンサ１２の画素部１３に入力される。
画素部１３において光電変換されて電気信号となり、ＡＦＥ１４に入力される。入力された電気信号はＡＦＥ１４により、相関二重サンプリング処理、自動利得制御処理（ＡＧＣ：Auto Gain Control）が行われた電気信号として出力される。
ＡＦＥ１４から出力された電気信号はＡＤＣ１５にてＡ／Ｄ変換処理が行われデジタル信号として出力される。
そのデジタル信号は前処理部１６にて種々のデジタル処理が行われ、欠陥検出補正回路１７に出力される。
そのデジタル信号に欠陥画素信号が存在する場合には、欠陥検出補正回路１７にて後述する欠陥画素検出補正方法により欠陥画素信号が補正され、補正後のデジタル信号が出力される。
そのデジタル信号は後処理部１８に入力され、種々のデジタル処理が行われ、出力される。そのデジタル信号がＣＭＯＳイメージセンサ１２の出力信号となる。
なお、機能制御・タイミング制御部１９にて、ＣＭＯＳイメージセンサ１２の各部の制御動作が行われる。

＜２．画素部の構成例＞
図４は、図１に示される画素部１３の構成例を示す図である。

画素部１３は、図４に示すように、ＲＧＢの何れかの色のフィルタを有する複数の有効画素３１を有する有効画素領域２１と、ブランキング領域２２および２３とを有する。
ブランキング領域２２は、複数のオプティカルブラック（ＯＢ：Optical Black）画素３２を有するＯＢ画素領域２５と複数のダミー画素３３を有するダミー画素領域２４とを有する。

有効画素領域２１は、有効画素３１として、Ｒ（赤色）透過フィルタの画素ＰＸ１０、Ｂ（青色）透過フィルタの画素ＰＸ１１、Ｇ（緑色）透過のフィルタの画素ＰＸ１２を含み、これらがマトリクス状に配列されている。
有効画素領域２１は、Ｒ透過フィルタの画素ＰＸ１０とＧ透過フィルタの画素ＰＸ１２とを水平方向（Ｘ方向）に交互に繰り返す第１フィルタ行ＦＬＴ１１を有する。
有効画素領域２１は、Ｇ透過フィルタの画素ＰＸ１２とＢ透過フィルタの画素ＰＸ１１とを水平方向に交互に繰り返す第２フィルタ行ＦＬＴ１２を有する。
有効画素領域２１は、この第１フィルタ行ＦＬＴ１１と第２フィルタ行ＦＬＴ１２が垂直方向（Ｙ方向）に交互に繰り返し配置されている。
第１フィルタ行ＦＬＴ１１のＧ透過フィルタの画素ＰＸ１２と第２フィルタ行ＦＬＴ１２のＧ透過フィルタの画素ＰＸ１２とは、垂直方向に重ならないように配置されている。このフィルタ配列は一般的にベイヤ配列として用いられている。
また、ＯＢ画素３２を遮光状態にしているＯＢ行ＯＰＢ１１には、ＲＧＢのフィルタを有する有効画素３１と同様に欠陥画素が存在する可能性がある。
ダミー画素行ＤＭＹ１１には欠陥が存在しない。
これらの画素出力は、ダミー画素行ＤＭＹ１１が複数行、ＯＢ行ＯＰＣ１１が複数行、第１フィルタ行ＦＬＴ１１と第２フィルタ行ＦＬＴ１２が交互の順番で出力される。
本実施形態に係る欠陥検出補正処理は、ＯＢ行ＯＰＢ１１の複数行および有効画素領域２１の複数行で行われる。

＜３．欠陥検出補正回路の構成例＞
図５は、本実施形態に係る画素欠陥検出補正装置としての欠陥検出補正回路１７の構成例を示す図である。
図６は、ベイヤ配列上の５画素×５画素の処理領域の一例を示す図である。
図７は、同色隣接画素の説明図である。
図８は、異色隣接画素の説明図である。

欠陥検出補正回路１７は、図５に示すように、ラインバッファ１７１、検出部としての同色隣接画素データ最大値および最小値検出部１７２、平均値取得部としての異色隣接画素データ平均値算出部１７３、および欠陥画素補正値算出部１７４を有する。
欠陥検出補正回路１７は、欠陥判定部１７５、閾値および係数設定部１７６、および欠陥画素置換部１７７を有する。

ラインバッファ１７１は、４ライン分のメモリで構成され、画素部１３から出力されるベイヤ配列信号ＳＩＭを、図６に示すように注目する画素（欠陥検出対象画素ＤＪＰＸ）を中心とした（水平方向５画素）×（垂直方向５画素）の処理領域ＰＲＣＡを生成する。
ラインバッファ１７１は、生成した処理領域ＰＲＣＡの情報を含む信号Ｓ１７１を同色隣接画素データ最大値および最小値検出部１７２、異色隣接画素データ平均値算出部１７３、および欠陥画素補正値算出部１７４に出力する。
ここで、水平方向は図６の座標系のＸ方向であり、垂直方向はＹ方向である。

同色隣接画素データ最大値および最小値検出部１７２は、図７に示すような同色隣接画素Ａ〜Ｉ（Ｅを除く）の中から最大値ＭＡＸおよび最小値ＭＩＮを選択（検出）する。
ここで図７の符号Ｅで示す画素は、欠陥検出対象画素ＤＪＰＸである。
同色隣接画素データ最大値および最小値検出部１７２は、この検出結果を信号Ｓ１７２として欠陥判定部１７５に出力する。
なお、同色隣接画素データ最大値および最小値検出部１７２は、欠陥検出対象画素を除く同色隣接画素の画素値から最大値および最小値を除いた２番目の最大値および２番目の最小値を検出するように構成することも可能である。

異色隣接画素データ平均値算出部１７３は、図８に示すような異色隣接画素Ａ′〜Ｉ′（Ｅを除く）の平均値を算出する。
異色隣接画素データ平均値算出部１７３は、算出結果を信号Ｓ１７３として欠陥判定部１７５に出力する。

欠陥画素補正値算出部１７４は、欠陥検出対象画素ＤＪＰＸが欠陥である場合に置換する画素値を算出する。
欠陥画素補正値算出部１７４は、算出した画素値を信号Ｓ１７４として欠陥画素置換部１７７に出力する。

欠陥判定部１７５は、外部から閾値および係数設定部１７６を介して設定された同色隣接画素ＳＣＡＰの最大値ＭＡＸおよび最小値ＭＩＮに掛ける係数ＣＭＡＸ，ＣＭＩＮを、前段の同色隣接画素データ最大値および最小値検出部１７２の出力値に乗算する。
欠陥判定部１７５は、異色隣接画素ＤＣＡＰの平均値ＡＶＲに対する閾値ＪＶｔｈを、異色隣接画素データ平均値算出部１７３の出力である平均値ＡＶＲに加算および減算する。
欠陥判定部１７５は、乗算結果および加算結果を閾値として各々欠陥検出対象画素ＤＪＰＸ（Ｅ）と比較し、欠陥画素かどうかを判定する。
具体的には、欠陥判定部１７５は以下条件を判定する。一つでも該当する場合に欠陥検出対象画素Ｅが欠陥画素であるとして判定する。

［条件１：同色隣接画素比較］
ＭＡＸ × ＣＭＡＸ ＜ ＶＬＥ
ＭＩＮ × ＣＭＩＮ ＞ ＶＬＥ
ここで、ＭＡＸは同色隣接画素最大値を、ＣＭＡＸは同色最大値判定係数を、ＭＩＮは同色隣接画素最小値を、ＣＭＩＮは同色最小値判定係数を、ＶＬＥは欠陥検出対象画素Ｅの画素値をそれぞれ示している。

［条件２：異色隣接画素比較］
ＶＬＥ ＜ ＡＶＲ − ＪＶｔｈ
ＡＶＲ ＋ ＪＶｔｈ ＜ ＶＬＥ
ここで、ＶＬＥは欠陥検出対象画素Ｅの画素値を、ＡＶＲは異色隣接画素平均値を、ＪＶｔｈは異色判定閾値をそれぞれ示している。

欠陥判定部１７５は、判定結果を信号Ｓ１７５として欠陥画素置換部１７７に出力する。

欠陥画素置換部１７７は、欠陥判定部１７５の出力に応じて、欠陥検出対象画素Ｅの画素値ＶＬＥを、欠陥画素補正値算出部１７４により算出された欠陥画素補正値と置き換える。
欠陥画素置換部１７７は、補正データを含む画像信号を信号Ｓ１７として出力する。

ここで、異色判定閾値ＪＶｔｈは、カラーフィルタ毎に設定を変えても良いし、その設定も色温度に応じて可変にしても良い。
その場合、上記第２条件は以下の条件２ａとして処理する。

［条件２ａ：異色隣接画素比較（カラーフィルタ重み付け）］
ＶＬＥ ＜ ＡＶＲ − ＪＶｔｈ×ＷＲＧＢ
ＡＶＲ ＋ ＪＶｔｈ×ＷＲＧＢ ＜ＶＬＥ
ここで、前述したように、ＶＬＥは欠陥検出対象画素Ｅの画素値を、ＡＶＲは異色隣接画素平均値を、ＪＶｔｈは異色判定閾値をそれぞれ示している。そして、ＷＲＧＢはＲＧＢ毎の重み付け値を示している。

＜４．欠陥検出補正処理の説明＞
図９は、本実施形態に係る図５の欠陥検出補正回路の欠陥検出補正処理のフローチャートを示す図である。

［ステップＳＴ１０１］
ステップＳＴ１０１では、まず、ラインバッファ１７１で画素部１３から出力されるベイヤ配列信号ＳＩＭから、注目する画素（欠陥検出対象画素ＤＪＰＸ）を中心とした（水平方向５画素）×（垂直方向５画素）の処理領域ＰＲＣＡが生成される。
ラインバッファ１７１で生成された処理領域ＰＲＣＡの情報を含む信号Ｓ１７１が、同色隣接画素データ最大値および最小値検出部１７２、異色隣接画素データ平均値算出部１７３、および欠陥画素補正値算出部１７４に出力される。
同色隣接画素データ最大値および最小値検出部１７２において、図７に示すような同色隣接画素Ａ〜Ｉ（Ｅを除く）の中から最大値ＭＡＸおよび最小値ＭＩＮが検出される。
この検出結果は信号Ｓ１７２として欠陥判定部１７５に供給される。

［ステップＳＴ１０２］
ステップＳＴ１０２では、欠陥判定部１７５において、閾値および係数設定部１７６を介して設定された同色隣接画素ＳＣＡＰの最大値ＭＡＸおよび最小値ＭＩＮに掛ける係数ＣＭＡＸ，ＣＭＩＮが、供給された最大値ＭＡＸおよび最小値ＭＩＮに乗算される。
ここでは，係数を乗算する（掛ける）処理だけでなく、外部から閾値を設定し加算もしくは減算しても良い。
また、最大値および最小値に対して処理するのではなく、最大値と最小値の差に対して係数を掛け、閾値を加算または減算しても良い。その場合、条件１は以下の条件１ａになる。

［条件１ａ：同色隣接画素比較］
ＤＦＭＸＭＮ × ＣＤＦＭＸＭＮ ＋ＭＡＸ ＜ ＶＬＥ
ＭＩＮ−ＤＦＭＸＭＮ × ＣＤＦＭＸＭＮ ＞ ＶＬＥ
ここで、ＤＦＭＸＭＮは最大値と最小値の差を、ＣＤＦＭＸＭＮは最大最小差分係数を、ＭＡＸは最大値を、ＶＬＥは欠陥検出対象画素Ｅの画素値をそれぞれ示している。

［ステップＳＴ１０３］
ステップＳＴ１０３では、欠陥判定部１７５において、乗算結果が条件１を満足するか否かが判断される。
なお、ステップＳＴ１０３においては、上記した条件１もしくは条件１ａを判定する。あるいは、条件１および条件１ａの両方を判定しても良い。

［ステップＳＴ１０４］
ステップＳＴ１０３において条件１を満足しないと判断すると、ステップＳＴ１０４では、欠陥判定部１７５において、異色隣接画素データ平均値算出部１７３により異色隣接画素Ａ′〜Ｉ′（Ｅを除く）の平均値が算出される。
この算出された平均値は信号Ｓ１７３として欠陥判定部１７５に供給される。

［ステップＳＴ１０５］
ステップＳＴ１０５では、欠陥判定部１７５において、異色隣接画素ＤＣＡＰの平均値ＡＶＲに対する閾値ＪＶｔｈが、異色隣接画素データ平均値算出部１７３の出力である平均値ＡＶＲに加算および減算される。

［ステップＳＴ１０６］
ステップＳＴ１０６では、欠陥判定部１７５において、乗算結果が条件２を満足するか否かが判断される。
なお、ステップＳＴ１０６においては、上記した条件２もしくは条件２ａを判定する。あるいは、条件２および条件２ａの両方を判定しても良い。
なお、欠陥判定部１７５の判定結果は、信号Ｓ１７５として欠陥画素置換部１７７に供給される。

［ステップＳＴ１０７］
ステップ１０３で条件１を満足すると判断された場合、またはステップＳＴ１０６で条件２を満足すると判断された場合、ステップＳＴ１０６では、欠陥画素補正値算出部１７４により欠陥検出対象画素ＤＤＰＸが欠陥である場合に置換する画素値が算出される。
この画素値は信号Ｓ１７４として欠陥画素置換部１７７に供給される。

［ステップＳＴ１０８］
ステップＳＴ１０８では、欠陥画素置換部１７７により欠陥判定部１７５の出力に応じて、欠陥検出対象画素Ｅの画素値ＶＬＥが、欠陥画素補正値算出部１７４により算出された欠陥画素補正値と置き換えられる。

［ステップＳＴ１０９］
ステップＳＴ１０９では、ステップＳＴ１０８の処理後の補正データを含む画像信号が信号Ｓ１７として後段の処理系に出力される。
あるいは、ステップＳＴ１０９では、ステップＳＴ１０６で条件２を満足しないと判断された場合に、補正データを含まない画像信号Ｓ１７が後段の処理系に出力される。つまりＤＪＰＸ（Ｅ）がそのまま出力される。

なお、ステップＳＴ１０７の処理は、ステップＳＴ１０１、ＳＴ１０２、ＳＴ１０３の前段に行うように移動してもよい。

次に、異色隣接画素の平均値を、最大値、最小値を除いた６画素平均とした時の欠陥検出補正処理系について説明する。
図１０は、本実施形態に係る欠陥検出補正回路の第２の構成例を示す図であって、異色隣接画素の平均値を、最大値、最小値を除いた６画素平均とする欠陥検出補正回路を示す図である。

図１０の欠陥検出補正回路１７Ａは、図５の欠陥検出補正回路１７の異色隣接データ平均値算出部１７３が、異色隣接画素データ最大値および最小値検出部１７３−１と、異色隣接画素データ６画素平均値算出部１７３−２に置き換えられている。

異色隣接画素データ最大値および最小値検出部１７３−１は、異色隣接画素Ａ′〜Ｉ′（Ｅを除く）の最大値および最小値を算出する。
異色隣接画素データ最大値および最小値検出部１７３−１は、算出結果を信号Ｓ１７３−１として異色隣接画素データ６画素平均値算出部１７３−２に出力する。

異色隣接画素データ６画素平均値算出部１７３−２は、異色隣接画素Ａ′〜Ｉ′（Ｅを除く８画素）から最大値と最小値の２つの画素を除く６画素の平均値を算出する。
異色隣接画素データ６画素平均値算出部１７３−２は、算出結果を欠陥判定部１７５に出力する。

図１０の欠陥検出補正回路１７Ａのその他の構成および機能は、図５の欠陥検出補正回路１７と同様である。

図１１は、本実施形態に係る図１０の欠陥検出補正回路の欠陥検出補正処理のフローチャートを示す図である。

図１１の処理は、図９のステップＳＴ１０４の処理が、ステップＳＴ１０４−１とＳＴ１０４−２の処理に置き換えられている。図１１の処理は、それ以外は図９の処理と同様である。
ステップＳＴ１０４−１は、異色隣接画素データ最大値および最小値検出部１７３−１の処理である。
ステップＳＴ１０４−２は、異色隣接画素データ６画素平均値算出部１７３−２の処理である。

このように、異色隣接画素の平均値を、最大値、最小値を除いた６画素平均とすることで、異色隣接画素に欠陥画素が存在する場合の欠陥件検出精度を上げることができる。

なお、図１の画素部１３は、図４に示すような単板式の撮像素子に限定されるものではなく、３板式の撮像素子を用いるようにしても良い。

図１２に実計算例を記載する。
各画素値の解像度は１０bit（０〜１０２３）とする。

図１２では欠陥検出対象画素が「９４０」である。
このとき、同色隣接画素の最大値は「１０２３」、最小値は「２２７」であり、異色隣接画素の最大値は「１０２３」、最小値は「１９０」である。
最大値および最小値を利用して閾値を決定する場合、同色、異色共に最大値が「１０２３」であるため、閾値上限は「１０２３」に係数を乗算したものなので「１０２３」を超えた値が算出される。
ここでは画素値解像度の上限が設定されるものとすると、欠陥検出対象画素の値は「９４０」であるため、欠陥画素としては判定できない。最小値についても同様である。
そこで、本実施形態の方法を適用する。

異色隣接平均値は「２６５．７５」となり、［条件２］の異色判定閾値を比較的大きく、画素値解像度の半分「５１２」で設定していたとしても十分に［条件２］を満たし、欠陥画素と判定することができる。
異色判定閾値および同色最大値／最小値判定係数の決定方法は、次のような方法が適用可能である。
すなわち、光源の有無で各々欠陥定義をし、前記した閾値および係数を欠陥補正強度が強から弱に向かって動作させ、残欠陥数が増加に転じる箇所を最適閾値および最適係数とすることで良好な動作設定を選出することができる。

以上説明したように、本実施形態によれば、以下の効果を得ることができる。
すなわち、本実施形態によれば、反射部分などの輝度レベルの高い画素が周辺に存在する場合でも、比較的単純な回路もしくは方法で、容易に欠陥画素を検出することが可能となる。
また、構成がシンプルであることから回路規模および消費電力も抑えることが可能である。

なお、本実施形態においては、ＣＭＯＳイメージセンサをイメージセンサ（固体撮像素子）として使用した固体撮像装置に適用したものである。
固体撮像装置は、たとえば携帯電話、ビデオカメラ、デジタルスチルカメラなどの各種撮像機能を持つ装置に適用可能である。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

１０・・・撮像装置、１１・・・光学系、１２・・・ＣＭＯＳイメージセンサ、１３・・・画素部、１４・・・アナログフロントエンド部（ＡＦＥ）、１５・・・アナログデジタルコンバータ（ＡＤＣ）、１６・・・前処理部、１７，１７Ａ・・・欠陥検出補正回路、１７１・・・ラインバッファ、１７２・・・同色隣接画素データ最大値および最小値検出部、１７３・・・異色隣接画素データ平均値算出部、１７４・・・欠陥画素補正値算出部、１７５・・・欠陥判定部、１７６・・・閾値係数設定部、１７７・・・欠陥画素置換部、１７３−１・・・異色隣接画素データ最大値および最小値検出部、１７３−２・・・異色隣接画素データ６画素平均値算出部１７３−２、１８・・・後処理部、１９・・・機能制御・タイミング制御部。

Claims (13)

1. 注目画素である欠陥検出対象画素を中心として同色および異色の複数の隣接画素が配列された処理領域において、上記欠陥検出対象画素を除く異色隣接画素の画素値の平均値を取得する平均値取得部と、
   少なくとも上記平均値取得部による平均値を基に上記欠陥検出対象画素が欠陥であるか否かを判定する欠陥判定部と、を有し、
   上記欠陥判定部は、
   上記欠陥検出対象画素の画素値と、上記平均値取得部により取得された異色隣接画素の平均値と、指定される異色画素閾値との比較により当該欠陥検出対象画素が欠陥であるか否かを判定する
   画素欠陥検出補正装置。
2. 上記平均値取得部は、
   上記欠陥検出対象画素を除く異色隣接画素の全ての画素値の平均値を取得する
   請求項１記載の画素欠陥検出補正装置。
3. 上記平均値取得部は、
   上記欠陥検出対象画素を除く異色隣接画素の画素値のうち最大値および最小値の除いた画素値の平均値を取得する
   請求項２記載の画素欠陥検出補正装置。
4. 上記異色画素閾値は、
   注目画素である欠陥検出対象画素の色に応じて閾値を変更可能である
   請求項３記載の画素欠陥検出補正装置。
5. 上記欠陥判定部は、
   上記欠陥検出対象画素の画素値が、異色隣接画素の平均値から指定される異色判定閾値を減算した値より低い場合、
   上記欠陥検出対象画素の画素値が、異色隣接画素の平均値に指定される異色判定閾値を加算した値より高い場合、
   のいずれかに該当する場合に上記欠陥検出対象画素が欠陥であると判定する
   請求項１から４のいずれか一に記載の画素欠陥検出補正装置。
6. 上記欠陥判定部は、
   上記欠陥検出対象画素の画素値が、異色隣接画素の平均値から指定される異色判定閾値に色毎の重み付け係数を乗じた値を減算した値より低い場合、
   上記欠陥検出対象画素の画素値が、異色隣接画素の平均値に指定される異色判定閾値に色毎の重み付け係数を乗じた値を加算した値より高い場合、
   のいずれかに該当する場合に上記欠陥検出対象画素が欠陥であると判定する
   請求項１から５のいずれか一に記載の画素欠陥検出補正装置。
7. 上記処理領域において、上記欠陥検出対象画素を除く同色隣接画素の画素値から少なくとも最大値および最小値を検出する検出部を有し、
   上記欠陥判定部は、
   上記欠陥検出対象画素の画素値と、上記検出部で検出された同色隣接画素の画素値の最大値および最小値との比較により当該欠陥検出対象画素が欠陥であるか否かを判定する第１判定を行う第１判定機能と、
   上記欠陥検出対象画素の画素値と、上記平均値取得部により取得された異色隣接画素の平均値との比較により当該欠陥検出対象画素が欠陥であるか否かを判定する第２判定を行う第２判定機能と、を含む
   請求項１から６のいずれか一に記載の画素欠陥検出補正装置。
8. 上記欠陥判定部は、
   上記第１判定において、上記欠陥検出対象画素が欠陥ではないと判定した場合に、上記第２判定機能による第２判定処理を行う
   請求項７記載の画素欠陥検出補正装置。
9. 上記検出部は、
   上記欠陥検出対象画素を除く同色隣接画素の画素値から最大値および最小値を除いた２番目の最大値および２番目の最小値を検出し、当該２番目の最大値および２番目の最小値を上記欠陥判定部に出力する
   請求項７または８記載の画素欠陥検出補正装置。
10. 上記欠陥検出対象画素が欠陥である場合に置換する画素値を取得する置換画素値取得部と、
    上記欠陥判定部の判定結果に応じて、上記欠陥検出対象画素の画素値を上記置換画素値取得部で所得された画素値で置換する欠陥画素置換部と、を含む
    請求項１から９のいずれか一に記載の画素欠陥検出補正装置。
11. 被写体像を撮像する撮像素子を含む画素部と、
    上記撮像素子からの画像データを受けて画素欠陥検出補正処理を行う画素欠陥検出補正装置と、を有し、
    上記画素欠陥検出補正装置は、
    注目画素である欠陥検出対象画素を中心として同色および異色の複数の隣接画素が配列された処理領域において、上記欠陥検出対象画素を除く異色隣接画素の画素値の平均値を取得する平均値取得部と、
    少なくとも上記平均値取得部による平均値を基に上記欠陥検出対象画素が欠陥であるか否かを判定する欠陥判定部と、を含み、
    上記欠陥判定部は、
    上記欠陥検出対象画素の画素値と、上記平均値取得部により取得された異色隣接画素の平均値と、指定される異色画素閾値との比較により当該欠陥検出対象画素が欠陥であるか否かを判定する
    撮像装置。
12. 注目画素である欠陥検出対象画素を中心として同色および異色の複数の隣接画素が配列された処理領域において、上記欠陥検出対象画素を除く異色隣接画素の画素値の平均値を取得する平均値取得ステップと、
    上記平均値取得ステップによる平均値を基に上記欠陥検出対象画素が欠陥であるか否かを判定する欠陥判定ステップと、を有し、
    上記欠陥判定ステップにおいては、
    上記欠陥検出対象画素の画素値と、上記平均値取得部により取得された異色隣接画素の平均値と、指定される異色画素閾値との比較により当該欠陥検出対象画素が欠陥であるか否かを判定する
    画素欠陥検出補正方法。
13. 注目画素である欠陥検出対象画素を中心として同色および異色の複数の隣接画素が配列された処理領域において、上記欠陥検出対象画素を除く異色隣接画素の画素値の平均値を取得機能により取得する平均値取得処理と、
    上記平均値取得処理による平均値を基に上記欠陥検出対象画素が欠陥であるか否かを判定機能により判定する欠陥判定処理と、を有し、
    上記欠陥判定処理においては、
    上記欠陥検出対象画素の画素値と、上記平均値取得部により取得された異色隣接画素の平均値と、指定される異色画素閾値との比較により当該欠陥検出対象画素が欠陥であるか否かを判定する
    画素欠陥検出補正処理をコンピュータに実行させるプログラム。

Images