JP5269841B2

JP5269841B2 - 画像処理装置

Info

Publication number: JP5269841B2
Application number: JP2010164929A
Authority: JP
Inventors: 之康立澤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-07-22
Filing date: 2010-07-22
Publication date: 2013-08-21
Anticipated expiration: 2030-07-22
Also published as: US20120019691A1; JP2012028988A; US8587701B2

Description

本発明の実施形態は、画像処理装置に関する。

近年、携帯電話に搭載されるカメラ、デジタルカメラ等のカメラモジュールの高画素化が進行している。画素サイズの大型化により、画素の微細化も求められるようになっている。このような状況下において、正常に機能していない画素によるデジタル画像信号の欠損部分（以下、適宜「キズ」と称する）の発生が問題視されるようになっている。

カメラモジュールの製造時の欠陥検査において、規定より多くの画素欠陥が認められた場合は不良品として扱われることになる。規定が厳格であるほど、カメラモジュールの歩留まりを低下させ製造コストを増加させることとなる。そこで、従来、キズ補正回路における信号処理によってキズを目立たなくする手法が積極的に採用されている。

キズの検出方法は、事前検出型とダイナミック検出型との二つに大別される。事前検出型は、カメラモジュールの製造後の欠陥検査によりキズを検出し、キズのアドレス情報をセンサごとに保存しておく方法である。事前検出型の方法は、主に、多層構造の欠陥、フローティングジャンクションのリーク電流等に起因するキズを補正する目的で使用される。ダイナミック検出型は、カメラモジュールの動作中にデジタル画像信号からキズを検出する方法である。ダイナミック検出型の方法は、主に、温度特性や露光時間等に依存してランダムに発生する、フォトダイオード起因のキズを補正する目的で使用される。

キズ補正回路には、同色の９画素（３×３）のうち２画素がキズである場合（以下、適宜２画素キズと称する）にも対処可能とするものがある。２画素キズを包含するケースに事前検出型の方法を適用する場合、回路に予め保持するアドレス情報には限りがあることや、回路規模が大型になることが課題となる。また、アナログゲインが高い場合に、欠陥検査にて認められなかった２画素キズが目立つようになることもあり得る。

２画素キズに対処する場合、注目画素だけでなく、その周辺画素にもキズが存在する可能性があることから、キズ検出に使用可能な周辺画素の情報を減少させることになる。キズ検出に使用可能な周辺画素の情報が少ないほど、誤補正の可能性が増大することになる。また、一般に、入射光量が多く、アナログゲインが低くなるほど、２画素キズは生じにくく、エッジ部も明確となる。この場合に、２画素キズに照準をおいた厳格なキズ検出及びキズ補正を適用することは、エッジ部での誤補正を助長させるリスクを伴うこととなる。このように、従来技術によると、ダイナミック検出型の方法によって２画素キズに対処する場合も、誤補正による偽色の発生、解像度低下などが問題となる。

特開２００８−２５８９０９号公報

本発明の一つの実施形態は、適切なキズ補正により高品質な画像を得ることを可能とする画像処理装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、キズ判定手段と、選択手段と、信号対ノイズ比推定手段と、を有する。前記キズ判定手段は、注目画素の画素値と複数の周辺画素の画素値とに基づいて、前記注目画素がキズであるか否かを判定する。前記周辺画素は、前記注目画素と同色用の画素であって前記注目画素の周辺に位置する。前記選択手段は、前記キズ判定手段による判定結果に応じて、キズ補正のために前記注目画素に割り当てる画素値を選択する。前記信号対ノイズ比推定手段は、画像信号の信号対ノイズ比を推定する。前記キズ判定手段は、前記信号対ノイズ比推定手段にて推定された前記信号対ノイズ比の高低に応じたキズ判定を実施する。前記キズ判定手段により前記注目画素がキズである旨の判定があった場合に、前記選択手段は、前記信号対ノイズ比の高低に応じた画素値を出力する。

実施形態に係る画像処理装置を備えるカメラモジュールの構成を示すブロック図。キズ補正回路でのキズ補正の際に画素値を参照する画素について説明する概念図。キズ補正回路の構成を示すブロック図。水平遅延線の構成を示すブロック図。探索回路の構成を示す概念図。ＳＮＲ推定器におけるＳＮＲの推定について説明する概念図。１画素検出１画素補正モードによるキズ判定及びキズ補正の手順を説明するフローチャート。２画素検出１画素補正モードによるキズ判定及びキズ補正の手順を説明するフローチャート。２画素検出２画素補正モードによるキズ判定及びキズ補正の手順を説明するフローチャート。

以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

（実施形態）
図１は、実施形態に係る画像処理装置４を備えるカメラモジュールの構成を示すブロック図である。カメラモジュールは、撮像レンズ１、センサ部２、アナログデジタル変換器（ＡＤＣ）３及び画像処理装置４を有する。撮像レンズ１は、被写体からの光を取り込み、センサ部２に結像させる。

センサ部２は、撮像レンズ１によって取り込まれた光を信号電荷に変換することにより、被写体像を撮像する。センサ部２は、Ｒ、Ｇ、Ｂの信号レベルをベイヤー配列に対応する順序で取り込み、取り込んだアナログ画像信号を、外部から指定された撮像条件に応じたゲインにて順次増幅して出力する。ＡＤＣ３は、センサ部２からのアナログ画像信号をデジタル画像信号に変換する。

画像処理装置４は、ＡＤＣ３からのデジタル画像信号に対して画像処理を実施する。画像処理装置４に設けられたキズ補正回路５は、キズ補正を実施する。この他、画像処理装置４は、種々の画像処理、例えば、デモザイキング、ホワイトバランス調整、ガンマ処理等を実施する。

図２は、キズ補正回路５でのキズ補正の際に画素値を参照する画素について説明する概念図である。ベイヤー配列は、Ｇｒ、Ｒ、Ｇｂ、Ｂの４画素を単位として構成されている。画像信号は、ラインごと（Ｇｒ／Ｒライン、Ｇｂ／Ｂライン）の信号としてキズ補正回路５へ入力される。

キズ補正回路５は、垂直方向に５ライン（Ｌ１〜Ｌ５）、水平方向に５画素のマトリクスをなす２５画素のうち中心の画素ｐ３３を、キズ判定及びキズ補正の対象である注目画素と設定する。キズ補正回路５は、注目画素ｐ３３の画素値と、８個の周辺画素ｐ１１、ｐ１３、ｐ１５、ｐ３１、ｐ３５、ｐ５１、ｐ５３、ｐ５５の画素値とに基づいて、キズ判定及びキズ補正を実施する。周辺画素は、注目画素と同色用の画素であって注目画素の周辺に位置する画素とする。キズ補正回路５は、同色用の垂直方向３画素及び水平方向３画素（３×３）のカーネルとして、信号処理を実施する。

図３は、キズ補正回路５の構成を示すブロック図である。キズ補正回路５は、ラインメモリ１１、水平遅延線１２、探索回路１３、キズ判定回路（キズ判定手段）１４及びセレクタ１５を有する。ラインメモリ１１は、４ライン（４Ｈ）の信号を保持し、垂直方向の遅延（ライン遅延）を施す。ラインメモリ１１は、保持している４ライン（Ｌ１、Ｌ２、Ｌ３、Ｌ４）と、本線の１ライン（Ｌ５）との合計５ラインのうち、注目画素及び周辺画素を含む３ライン（Ｌ１、Ｌ３、Ｌ５）の信号を水平遅延線１２へ出力する。

図４は、水平遅延線１２の構成を示すブロック図である。フリップフロップ（ＦＦ）は、画素ごとの信号レベルを保持する。水平遅延線１２は、ラインごとに４画素の信号を保持し、水平方向の遅延を施す。水平遅延線１２は、注目画素及び８個の周辺画素についての信号を同時刻化する。水平遅延線１２は、注目画素についての信号をキズ判定回路１４及びセレクタ１５へ出力する。水平遅延線１２は、周辺画素についての信号を探索回路１３へ出力する。

図５は、探索回路１３の構成を示す概念図である。図示する円は、二つの入力信号のレベルを比較する比較器を表し、円の左側へ入る方向を指す矢印は入力信号、円の右側から出る方向を指す矢印は出力信号を表すものとする。また、一つの比較器からの出力信号を示す二つの矢印のうち、上段はレベルが大きいほうの出力信号、下段はレベルが小さいほうの出力信号を表すものとする。

探索回路１３は、探索木の１段目で２画素×４組の画素値を比較し、大きいほうを探索木の上位へ、小さいほうを探索木の下位へ移動させ、２段目及び３段目でも同様の処理を繰り返す。探索回路１３は、探索木の３段目において最上位の２画素と最下位の２画素とでそれぞれ画素値を比較することにより、周辺画素の画素値の最大値（Ｐｍａｘ１）及び最小値（Ｐｍｉｎ１）を得る。また、探索回路１３は、探索木の４段目において、Ｐｍａｘ１の次にレベルが大きい２画素と、Ｐｍｉｎ１の次にレベルが小さい２画素とでそれぞれ画素値を比較することにより、周辺画素の画素値のうち２番目に大きい値（Ｐｍａｘ２）及び２番目に小さい値（Ｐｍｉｎ２）を得る。このように、探索回路１３は、周辺画素のＰｍａｘ１、Ｐｍａｘ２、Ｐｍｉｎ２及びＰｍｉｎ１を探索する。

キズ判定回路１４は、注目画素の画素値と複数の周辺画素の画素値とに基づいて、注目画素がキズであるか否かを判定するキズ判定手段として機能する。セレクタ１５は、キズ判定回路１４によるキズ判定の結果に応じて、注目画素に割り当てる画素値を選択し、出力する。セレクタ１５は、注目画素に割り当てる画素値として、水平遅延線１２から入力された注目画素の画素値と、キズ判定回路１４から入力された置き換え元画素の画素値と、のいずれかを選択する。置き換え元画素は、複数の周辺画素のうち注目画素への画素値の置き換え元となる画素とする。

信号対ノイズ比（ＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ；ＳＮＲ）推定器１６は、画像信号のＳＮＲを推定する信号対ノイズ比推定手段として機能する。ＳＮＲ推定器１６は、例えば、画像信号のアナログゲインに応じてＳＮＲを推定する。

図６は、ＳＮＲ推定器１６におけるＳＮＲの推定について説明する概念図である。図中、横軸はアナログゲイン、縦軸はキズ補正回路５の検出能力及び補正能力を表している。ＳＮＲの高低は、アナログゲインの高低とは逆となるように推定される。ＳＮＲの高低は、高領域、中領域、低領域の三段階に分けられている。ＳＮＲ推定器１６は、推定されたＳＮＲがいずれの領域に該当するかを検知する。ＳＮＲ推定器１６には、ＳＮＲの高領域及び中領域の境界が領域指定Ａとして、中領域及び低領域の境界が領域指定Ｂとして、予め設定されている。

ＳＮＲ推定器１６は、推定されたＳＮＲが含まれる領域に応じて、検出能力及び補正能力を切り替えるためのモード切り替え信号を出力する。例えば、推定されたＳＮＲが高領域に含まれる場合、ＳＮＲ推定器１６は、１画素検出１画素補正モードとするモード切り替え信号を出力する。推定されたＳＮＲが中領域に含まれる場合、ＳＮＲ推定器１６は、２画素検出１画素補正モードとするモード切り替え信号を出力する。推定されたＳＮＲが低領域に含まれる場合、ＳＮＲ推定器１６は、２画素検出２画素補正モードとするモード切り替え信号を出力する。

ＳＮＲ推定器１６は、例えば、以下に示す２ビットのモード切り替え信号により、三つのモードについて切り替えを実施する。
００ｈ：１画素検出１画素補正モード
０１ｈ：２画素検出１画素補正モード
１０ｈ：２画素検出２画素補正モード

キズ判定回路１４は、ＳＮＲ推定器１６で推定されたＳＮＲの高低に応じたキズ判定を実施する。セレクタ１５は、キズ判定回路１４により注目画素がキズである旨の判定があった場合に、ＳＮＲの高低に応じて画素値を出力する。これにより、キズ補正回路５は、ＳＮＲの高低に応じて適切に検出能力及び補正能力を配分する。アナログゲインが高くＳＮＲが低いほど、キズ補正回路５の検出能力及び補正能力は高くなるように設定されている。

次に、各モードにおけるキズ補正回路５のキズ判定及びキズ補正の手順を説明する。キズ判定の対象となるキズには、画素の輝度が正常に機能する場合より低くなる、いわゆる黒キズと、画素の輝度が正常に機能する場合より高くなる、いわゆる白キズと、がある。ここでは、注目画素が白キズであるか否かを判定する場合を例として説明する。

図７は、１画素検出１画素補正モードによるキズ判定及びキズ補正の手順を説明するフローチャートである。１画素検出１画素補正モードでは、キズ補正回路５は、８個の周辺画素にはキズが存在しないことを前提として、キズ検出及びキズ補正に８個の周辺画素全ての情報を使用する。

キズ判定回路１４は、注目画素の画素値（Ｐａ）とＰｍａｘ１とを比較する（ステップＳ１）。キズ判定回路１４は、注目画素と８個の周辺画素の中で、Ｐａが最大であるか否かを判定する。ＰａがＰｍａｘ１以下である場合（ステップＳ１、Ｎｏ）、キズ判定回路１４は、注目画素がキズではないと判定し、処理を終了する。

ＰａがＰｍａｘ１より大きい場合（ステップＳ１、Ｙｅｓ）、キズ判定回路１４は、Ｐａ及び平均値（Ｐｂ）の差分（Ｐａ−Ｐｂ）と、予め設定された第１の閾値（Ｔｈ１）とを比較する（ステップＳ２）。ここで、Ｐｂは、８個の周辺画素の画素値の平均値とする。

Ｐａ−ＰｂがＴｈ１以下である場合（ステップＳ２、Ｎｏ）、キズ判定回路１４は、注目画素がキズではないと判定し、処理を終了する。Ｐａ−ＰｂがＴｈ１より大きい場合（ステップＳ２、Ｙｅｓ）、キズ判定回路１４は、Ｐｍａｘ１及びＰｍｉｎ１の差分（Ｐｍａｘ１−Ｐｍｉｎ１）と、予め設定された第２の閾値（Ｔｈ２）とを比較する（ステップＳ３）。

キズ判定回路１４は、Ｐｍａｘ１−Ｐｍｉｎ１をエッジ成分とみなしている。キズ判定回路１４は、ステップＳ１及びステップＳ２によりキズである可能性が高いと判断された注目画素がエッジ部分にあるか否かを、ステップＳ３にて判断する。Ｐｍａｘ１−Ｐｍｉｎ１がＴｈ２以上である場合（ステップＳ３、Ｎｏ）、キズ判定回路１４は、注目画素はエッジ部分にあってキズ補正の対象外とする旨を判定し、処理を終了する。Ｐｍａｘ１−Ｐｍｉｎ１がＴｈ２より小さい場合（ステップＳ３、Ｙｅｓ）、キズ判定回路１４は、注目画素はエッジ部分に含まれずキズ補正の対象とする旨と判定する。

キズ判定回路１４は、ＳＮＲ推定器１６からのモード切り替え信号に応じて、複数の周辺画素のうち注目画素への画素値の置き換え元となる画素を切り替える。キズ判定回路１４は、１画素検出１画素補正モードとするモード切り替え信号に応じて、置き換え元画素の画素値としてＰｍａｘ１を選択し、セレクタ１５へ入力する。

キズ判定回路１４は、注目画素が白キズであってキズ補正の対象とする旨を判定した場合、ＰａからＰｍａｘ１へ注目画素の画素値の置き換えを指示する補正信号を出力する。セレクタ１５は、キズ判定回路１４からの補正信号に応じてＰｍａｘ１を選択し、出力する。このようにして、キズ補正回路５は、注目画素の画素値をＰｍａｘ１に置き換える（ステップＳ４）ことによりキズ補正を実施し、処理を終了する。

１画素検出１画素補正モードでは８個の周辺画素にキズが無いことを前提とすることで、多くの情報をキズ補正に使うことが可能であるため、良好なキズ検出が可能となる。また、置き換え元画素の画素値としてＰｍａｘ１を使用できるため、誤補正による偽色発生、解像度劣化を比較的少なくすることができる。ただし、これらの利点は、注目画素のほか周辺画素のいずれかがキズである２画素キズが存在する場合は２画素のキズが残留してしまうことと、トレードオフの関係にある。本モードは、ＳＮＲが良好で２画素キズがほとんど生じない場合に選択することが望ましい。２画素キズが稀に出現するような場合、次に説明する２画素検出１画素補正モードを選択することが望ましい。

キズ判定回路１４は、注目画素が黒キズであるか否かの判定の場合も、輝度の大小を逆とする以外は、白キズの判定の場合と同様の手順とする。黒キズ判定の場合、キズ判定回路１４は、ステップＳ１にてＰａとＰｍｉｎ１とを比較する。ＰａがＰｍｉｎ１より小さい場合、キズ判定回路１４は、ステップＳ２にてＰｂ−ＰａとＴｈ１とを比較する。キズ補正回路５は、注目画素が黒キズであると判定した場合、注目画素の画素値をＰｍｉｎ１に切り替える。

図８は、２画素検出１画素補正モードによるキズ判定及びキズ補正の手順を説明するフローチャートである。２画素検出１画素補正モードでは、キズ補正回路５は、２画素キズの発生時に、１画素の補正を可能とする。キズ補正回路５は、キズ検出には８個の周辺画素全ての情報を使用する。

キズ判定回路１４は、ＰａとＰｍａｘ１とを比較する（ステップＳ１１）。キズ判定回路１４は、注目画素及び８個の周辺画素の中で、Ｐａが最大であるか否かを判定する。ＰａがＰｍａｘ１以下である場合（ステップＳ１１、Ｎｏ）、キズ判定回路１４は、注目画素がキズではないと判定し、処理を終了する。

ＰａがＰｍａｘ１より大きい場合（ステップＳ１１、Ｙｅｓ）、キズ判定回路１４は、Ｐａ及びＰｂの差分（Ｐａ−Ｐｂ）と、Ｔｈ１とを比較する（ステップＳ１２）。ここで、Ｐｂは、８個の周辺画素の画素値の平均値とする。

Ｐａ−ＰｂがＴｈ１以下である場合（ステップＳ１２、Ｎｏ）、キズ判定回路１４は、注目画素がキズではないと判定し、処理を終了する。Ｐａ−ＰｂがＴｈ１より大きい場合（ステップＳ１２、Ｙｅｓ）、キズ判定回路１４は、Ｐｍａｘ１及びＰｍｉｎ１の差分（Ｐｍａｘ１−Ｐｍｉｎ１）と、Ｔｈ２とを比較する（ステップＳ１３）。

Ｐｍａｘ１−Ｐｍｉｎ１がＴｈ２以上である場合（ステップＳ１３、Ｎｏ）、キズ判定回路１４は、注目画素はエッジ部分にあってキズ補正の対象外とする旨を判定し、処理を終了する。Ｐｍａｘ１−Ｐｍｉｎ１がＴｈ２より小さい場合（ステップＳ１３、Ｙｅｓ）、キズ判定回路１４は、注目画素はエッジ部分に含まれずキズ補正の対象とする旨と判定する。

キズ判定回路１４は、２画素検出１画素補正モードとするモード切り替え信号に応じて、置き換え元画素の画素値としてＰｍａｘ２を選択し、セレクタ１５へ入力する。キズ判定回路１４は、注目画素が白キズである旨を判定した場合、ＰａからＰｍａｘ２へ注目画素の画素値の置き換えを指示する補正信号を出力する。セレクタ１５は、キズ判定回路１４からの補正信号に応じてＰｍａｘ２を選択し、出力する。このようにして、キズ補正回路５は、注目画素の画素値をＰｍａｘ２に置き換える（ステップＳ１４）ことによりキズ補正を実施し、処理を終了する。

２画素キズの場合、注目画素の画素値をＰｍａｘ１に置き換えたとしても、隣接するキズ同士で画素値が置き換わるだけで、キズが残留してしまうことになる。置き換え元画素の画素値としてＰｍａｘ２を使用することで、２画素キズのうちの１画素を補正することが可能となる。このモードでは、基本的に２画素キズの発生頻度が小さいものとして、キズ検出に使用する情報は８個の周辺画素全ての情報としている。

本モードは、２画素キズの場合、キズを含む情報を基にキズ検出することとなるため、２画素キズへの対処の積極性は小さいものといえる。ステップＳ１２及びステップＳ１３でのキズ判定における計算にはキズの情報が含まれることとなるため、周辺画素のキズを含めても閾値を超えるように、２画素キズの可能性が高い場合でなければ、キズである旨の判定がなされないことになる。２画素キズが散見される場合は、２画素キズへの対処としては積極的な２画素検出２画素補正モードを選択することが望ましい。

キズ判定回路１４は、注目画素が黒キズであるか否かの判定の場合も、輝度の大小を逆とする以外は、白キズの判定の場合と同様の手順とする。キズ補正回路５は、注目画素が黒キズであると判定した場合、注目画素の画素値をＰｍｉｎ２に切り替える。

図９は、２画素検出２画素補正モードによるキズ判定及びキズ補正の手順を説明するフローチャートである。２画素検出２画素補正モードでは、キズ補正回路５は、８個の周辺画素には一つのキズが存在することを前提として、キズである可能性がある画素の画素値を、キズ検出及びキズ補正に使用する情報から除外する。

キズ判定回路１４は、キズである可能性がある画素について、画素値の置き換えを実施する。キズ判定回路１４は、Ｐｍａｘ１をＰｍａｘ１’（＝Ｐｍａｘ２）に、Ｐｍｉｎ１をＰｍｉｎ１’（＝Ｐｍｉｎ２）に、それぞれ置き換える（ステップＳ２１）。

キズ判定回路１４は、ＰａとＰｍａｘ１’とを比較する（ステップＳ２２）。キズ判定回路１４は、注目画素と、周辺画素のうちＰｍａｘ１の画素及びＰｍｉｎ１の画素を除いた６個の画素との中で、Ｐａが最大であるか否かを判定する。ＰａがＰｍａｘ１’以下である場合（ステップＳ２２、Ｎｏ）、キズ判定回路１４は、注目画素がキズではないと判定し、処理を終了する。

ＰａがＰｍａｘ１’より大きい場合（ステップＳ２２、Ｙｅｓ）、キズ判定回路１４は、Ｐａ及び平均値（Ｐｂ’）の差分（Ｐａ−Ｐｂ’）とＴｈ１とを比較する（ステップＳ２３）。ここで、Ｐｂ’は、ステップＳ２１での置き換え後における、８個の周辺画素の画素値の平均値とする。

Ｐａ−Ｐｂ’がＴｈ１以下である場合（ステップＳ２３、Ｎｏ）、キズ判定回路１４は、注目画素がキズではないと判定し、処理を終了する。Ｐａ−Ｐｂ’がＴｈ１より大きい場合（ステップＳ２３、Ｙｅｓ）、キズ判定回路１４は、Ｐｍａｘ１’及びＰｍｉｎ１’の差分（Ｐｍａｘ１’−Ｐｍｉｎ１’）とＴｈ２とを比較する（ステップＳ２４）。

Ｐｍａｘ１’−Ｐｍｉｎ１’がＴｈ２以上である場合（ステップＳ２４、Ｎｏ）、キズ判定回路１４は、注目画素はエッジ部分にあってキズ補正の対象外とする旨を判定し、処理を終了する。Ｐｍａｘ１’−Ｐｍｉｎ１’がＴｈ２より小さい場合（ステップＳ２４、Ｙｅｓ）、キズ判定回路１４は、注目画素はエッジ部分に含まれずキズ補正の対象とする旨と判定する。

キズ判定回路１４は、２画素検出２画素補正モードとするモード切り替え信号に応じて、置き換え元画素の画素値としてＰｍａｘ１’を選択し、セレクタ１５へ入力する。キズ判定回路１４は、注目画素が白キズである旨を判定した場合、ＰａからＰｍａｘ１’へ注目画素の画素値の置き換えを指示する補正信号を出力する。セレクタ１５は、キズ判定回路１４からの補正信号に応じてＰｍａｘ１’を選択し、出力する。このようにして、キズ補正回路５は、注目画素の画素値をＰｍａｘ１’、即ちＰｍａｘ２に置き換える（ステップＳ２５）ことによりキズ補正を実施し、処理を終了する。

キズ判定回路１４は、ステップＳ２１で画素値を置き換えることで、１画素検出１画素補正モードの場合と同じ処理によるキズ判定及びキズ補正が可能となる。このため、キズ判定回路１４は、簡易な回路構成とすることができる。なお、キズ判定回路１４は、２画素検出２画素補正モードにおいて、Ｐｍａｘ１の画素及びＰｍｉｎ１の画素を除外して、周辺画素を６個として処理することとしても良い。

２画素検出２画素補正モードでは、キズを除外した情報を基にキズ検出することで、２画素キズに対して積極的な対処が可能となる。ただし、周辺画素２個の情報を除外する分、キズ補正に使われる情報を減少させることとなるため、検出精度が低下することとなる。本モードは、置き換え元画素の画素値としてＰｍａｘ１’（Ｐｍａｘ２）を使用することで、誤補正による偽色発生や解像度劣化をある程度許容して使用することとなる。本モードは、解像度の維持よりもノイズの減少が求められることとなるような、ＳＮＲが低い場面で選択することが望ましい。

キズ判定回路１４は、注目画素が黒キズであるか否かの判定の場合も、輝度の大小を逆とする以外は、白キズの判定の場合と同様の手順とする。黒キズ判定の場合、キズ判定回路１４は、ステップＳ２２にてＰａとＰｍｉｎ１’とを比較する。ＰａがＰｍｉｎ１’より小さい場合、キズ判定回路１４は、ステップＳ２３にてＰｂ’−ＰａとＴｈ１とを比較する。キズ補正回路５は、注目画素が黒キズであると判定した場合、注目画素の画素値をＰｍｉｎ１’、即ちＰｍｉｎ２に切り替える。

例えば、階調が低レベルである場合、言い換えるとＳＮＲが低い場合に、各モードについてキズ補正を実施したとする。２画素キズは、１画素検出１画素補正モードではいずれも残留し、２画素検出１画素補正モードでは１画素が補正され、２画素検出２画素補正モードではいずれも補正されることとなる。ＳＮＲが低い場面では、検出能力及び補正能力を高くすることにより、適切なキズ補正がなされるといえる。

一方、階調が高レベルである場合、言い換えるとＳＮＲが高い場合は、１画素検出１画素補正モード、２画素検出１画素補正モード、２画素検出２画素補正モードの順に、ハイライト部分での誤補正による色付きが目立つこととなる。ＳＮＲが高い場面では、検出能力及び補正能力を低くすると、適切なキズ補正がなされるといえる。検出能力及び補正能力の拡大は、誤補正による影響を拡大させることにもなる。

キズ補正回路５は、推定されたＳＮＲに応じて検出能力及び補正能力を適切に配分することで、場面に応じたキズ補正が可能となる。画像処理装置４は、キズ補正回路５による適切なキズ補正により、高品質な画像を得ることが可能となる。ＳＮＲの領域分けは、高領域、中領域、低領域の三つである場合に限られない。ＳＮＲの領域分けは、少なくとも複数であれば良く、例えば二つであっても良い。

ＳＮＲ推定器１６は、画像信号のアナログゲインに応じてＳＮＲを推定するものである場合に限られず、いずれの手法によりＳＮＲを推定するものであっても良い。ＳＮＲ推定器１６は、例えば、センサ部２のオプティカルブラック（ＯＢ）領域における信号レベルを基に、ＳＮＲを推定することとしても良い。

ＯＢ領域は、遮光された光電変換素子を備える画素セルが並列され、最低階調を示す黒レベル信号を出力する。回路起因のノイズ等は、有効画素信号と黒レベル信号とに同等に含まれる。ＳＮＲ推定器１６は、ＯＢ領域における信号レベルから計算されたノイズ成分を基に、ＳＮＲを推定しても良い。この他、ＳＮＲ推定器１６は、例えば、カメラモジュールの露光時間を基にＳＮＲを推定しても良い。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

４画像処理装置、５キズ補正回路、１４キズ判定回路、１５セレクタ、１６ＳＮＲ推定器。

Claims

注目画素の画素値と、前記注目画素と同色用の画素であって前記注目画素の周辺に位置する複数の周辺画素の画素値とに基づいて、前記注目画素がキズであるか否かを判定するキズ判定手段と、
前記キズ判定手段による判定結果に応じて、前記注目画素に割り当てる画素値を選択する選択手段と、
画像信号の信号対ノイズ比を推定する信号対ノイズ比推定手段と、を有し、
前記キズ判定手段は、前記信号対ノイズ比推定手段にて推定された前記信号対ノイズ比の高低に応じたキズ判定を実施し、
前記キズ判定手段により前記注目画素がキズである旨の判定があった場合に、前記選択手段は、前記信号対ノイズ比の高低に応じた画素値を出力し、
前記信号対ノイズ比の高低を複数に領域分けするような領域設定がなされ、
前記信号対ノイズ比推定手段は、推定された前記信号対ノイズ比が含まれる領域を表すモード切り替え信号を出力し、
複数に領域分けされたうち最も高い領域であることを示す前記モード切り替え信号に応じて、前記キズ判定手段は、全ての前記周辺画素の情報を使用する前記キズ判定を実施し、前記選択手段は、キズであると判定された前記注目画素に割り当てる画素値として前記周辺画素の画素値の最大値か最小値を選択し、
複数に領域分けされたうち最も低い領域であることを示す前記モード切り替え信号に応じて、前記キズ判定手段は、前記周辺画素のうち画素値が最大である画素及び画素値が最小である画素に対する画素値の置き換えを実施することで、前記キズ判定に使用する情報から前記最大値及び前記最小値を除外し、前記選択手段は、キズであると判定された前記注目画素に割り当てる画素値として前記最大値以外の値か前記最小値以外の値を選択することを特徴とする画像処理装置。
複数に領域分けされたうち前記最も低い領域と前記最も高い領域との中間の領域であることを示す前記モード切り替え信号に応じて、前記キズ判定手段は、全ての前記周辺画素の情報を使用する前記キズ判定を実施し、前記選択手段は、キズであると判定された前記注目画素に割り当てる画素値として前記最大値以外の値か前記最小値以外の値を選択することを特徴とする請求項１に記載の画像処理装置。
前記信号対ノイズ比推定手段は、前記画像信号のアナログゲインに応じて前記信号対ノイズ比を推定することを特徴とする請求項１又は２に記載の画像処理装置。