JP5103580B2 - 画像処理装置およびデジタルカメラ - Google Patents

Description

本発明は、撮像画像等に含まれる色ノイズを抑圧する技術に関する。

デジタルカメラ、デジタルムービーなどに搭載される撮像素子の総画素数の増加に伴い、撮像素子の受光面積の微細化が進んでいる。撮像素子の受光面積が小さくになるにつれて、撮像素子の受光感度は低下するため、結果として、撮像画素信号のＳ／Ｎ比が低下することになる。

デジタルカメラの撮像画像において、特に問題となるのが、本来グレー領域である部分に黄色、シアン、マゼンダなどの色が付いて見える色ノイズである。

色ノイズを抑圧するためには、色差成分に対してローパスフィルタやメディアンフィルタなどを適用する方法が広く知られている。

あるいは、色ノイズを抑圧するために、色差成分が小さい領域を強制的にグレー領域に変換するコアリング処理が用いられている。

特開２００３−２３５０５０号公報

上述したように、ローパスフィルタやメディアンフィルタを用いることで、色ノイズを抑圧することができる。しかし、ローパスフィルタを強く掛けすぎると、画像に含まれる本来の高周波成分が除去され、画像の鮮鋭度が低下するおそれがある。逆に、ローパスフィルタを弱くするとノイズが残存することになる。

また、メディアンフィルタを画素信号に適用すると、色がにじむという副作用がある。つまり、元々色ノイズが発生していた画素については色ノイズが低減されるが、周囲の画素については、信号レベルは低いものの色ノイズがにじみ込むという問題がある。

また、コアリング処理は、強制的にグレー領域に変換する処理であるので、本来、薄い色彩の存在する領域においては、色抜けが発生するという副作用がある。

上記特許文献１では、色彩情報に応じて色再現性の調整度合いをコントロールするようにしている。具体的には、画像の主要範囲の彩度や、画像全体の彩度の平均値に基づいて、彩度強調の調整を行うようにしている。この技術は、画像の主要部や全体の情報に基づいて、彩度の強調度合いを調整するものである。

そこで、本発明は前記問題点に鑑み、本来の画像情報に悪影響を与えることなく、画像信号に含まれる色ノイズを抑圧する技術を提供することを課題とする。

上記課題を解決するため、請求項１記載の発明は、画像処理装置に関する発明であり、１画素について１色の色成分を有する第１の色空間の画素信号を入力する入力手段と、前記入力手段により入力した注目画素を含む周辺領域の画素信号の彩度評価値を求める彩度評価手段と、前記入力手段により入力した画素信号を補間し、１画素について前記所定の色空間の全ての色成分を有する画素信号を生成する補間手段と、前記補間手段により補間された前記第１の色空間の画素信号を、輝度信号と色差信号とを含む第２の色空間の画素信号に変換する色空間変換手段と、前記彩度評価値を所定の条件と比較することにより、前記周辺領域が低彩度領域であるか否かを判定し、前記周辺領域が低彩度領域であると判定された場合、前記色差信号の信号値を抑圧する抑圧手段と、を備え、前記抑圧手段は、前記色差信号に抑圧係数を乗算する乗算手段と、前記彩度評価値と前記抑圧係数との対応関係を保持し、前記彩度評価値から前記抑圧係数を決定する係数決定手段と、を備え、前記色差信号は、第１の色差信号および第２の色差信号、を含み、前記係数決定手段は、前記彩度評価値と前記第１の色差信号に対応する第１抑圧係数との対応関係を保持し、前記彩度評価値から前記第１抑圧係数を決定する第１係数決定手段と、前記彩度評価値と前記第２の色差信号に対応する第２抑圧係数との対応関係を保持し、前記彩度評価値から前記第２抑圧係数を決定する第２係数決定手段と、を含み、前記乗算手段は、前記第１の色差信号に前記第１抑圧係数を乗算する第１乗算手段と、前記第２の色差信号に前記第２抑圧係数を乗算する第２乗算手段と、を含むことを特徴とする。

請求項２記載の発明は、画像処理装置に関する発明であり、１画素について１色の色成分を有する第１の色空間の画素信号を入力する入力手段と、前記入力手段により入力した注目画素を含む周辺領域の画素信号の彩度評価値を求める彩度評価手段と、前記入力手段により入力した画素信号を補間し、１画素について前記所定の色空間の全ての色成分を有する画素信号を生成する補間手段と、前記補間手段により補間された前記第１の色空間の画素信号を、輝度信号と色差信号とを含む第２の色空間の画素信号に変換する色空間変換手段と、前記彩度評価値を所定の条件と比較することにより、前記周辺領域が低彩度領域であるか否かを判定し、前記周辺領域が低彩度領域であると判定された場合、前記色差信号の信号値を抑圧する抑圧手段と、を備え、前記彩度評価手段は、前記第１の色空間の各色成分についてそれぞれの色強度を算出する色強度算出手段と、各色強度を比較し、各色強度の偏り程度に基づいて色強度の最も高い一の色成分を決定する色成分決定手段と、前記一の色成分の色強度に基づいて前記彩度評価値を算出する評価値算出手段と、を含むことを特徴とする。請求項３記載の発明は、請求項２に記載の画像処理装置において、前記抑圧手段は、前記色差信号に抑圧係数を乗算する乗算手段と、前記彩度評価値と前記抑圧係数との対応関係を保持し、前記彩度評価値から前記抑圧係数を決定する係数決定手段と、を備えることを特徴とする。

請求項４記載の発明は、請求項３に記載の画像処理装置において、前記色差信号は、第１の色差信号および第２の色差信号、を含み、前記係数決定手段は、前記彩度評価値と前記第１の色差信号に対応する第１抑圧係数との対応関係を保持し、前記彩度評価値から前記第１抑圧係数を決定する第１係数決定手段と、前記彩度評価値と前記第２の色差信号に対応する第２抑圧係数との対応関係を保持し、前記彩度評価値から前記第２抑圧係数を決定する第２係数決定手段と、を含み、前記乗算手段は、前記第１の色差信号に前記第１抑圧係数を乗算する第１乗算手段と、前記第２の色差信号に前記第２抑圧係数を乗算する第２乗算手段と、を含むことを特徴とする。

請求項５記載の発明は、請求項２ないし請求項４のいずれかに記載の画像処理装置において、前記色成分決定手段は、前記色強度算出手段により算出された前記第１の色空間の各色成分の色強度を比較し、前記第１の色空間に含まれる色成分あるいは前記第１の色空間に対して補色の関係にある色空間に含まれる色成分の中から前記一の色成分を決定する手段、を含むことを特徴とする。

請求項６記載の発明は、請求項２ないし請求項５のいずれかに記載の画像処理装置において、前記評価値算出手段は、前記一の色成分の色強度に、色成分ごとに予め設定されている重み付け値を乗算した値に基づいて前記彩度評価値を算出する手段、を含むことを特徴とする。

請求項７記載の発明は、デジタルカメラに関する発明であり、請求項１ないし請求項６のいずれかに記載の画像処理装置を備えることを特徴とする。

本発明の画像処理装置は、補間処理の前段階において注目画素を含む周辺領域の画素信号の彩度評価値を求め、周辺領域が低彩度領域である場合、色差信号の信号値を抑圧する。

画素補間を行う前の画素信号（ＲＡＷ画像データ）から彩度を評価するので、補間によりノイズの影響を拡大する前に彩度を評価することが可能である。これにより、精度よく彩度を評価し、適切な色抑圧を実行することが可能である。

また、色マトリクス処理やガンマ補正処理を行う前のリニアな特性を有する画素信号から彩度を評価するので、精度よく彩度を評価することができる。

さらには、注目画素の近傍である周辺領域の画素を利用して彩度を評価する。これにより、色ノイズを抑圧するか否か、あるいは色ノイズの抑圧のレベルを決定する基準の彩度評価が、処理対象画素である注目画素の近傍領域の情報に基づいて算出されるので、注目画素の色ノイズを的確に除去することが可能である。

＜１．デジタルカメラの全体構成と処理の概略＞
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、実施の形態に係るデジタルカメラ１のブロック図である。

デジタルカメラ１は、色フィルタアレイ１１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）１２、Ａ／Ｄ変換器１３、補間回路１４、マトリクス回路１５、ガンマ補正回路１６、色空間変換回路１７、輪郭強調・ノイズ抑圧回路１８、メモリ１９、彩度評価回路２０などを備えて構成される。

ＲＧＢベイヤ配列の色フィルタアレイ１１を備えたＣＣＤ１２は、図示せぬ光学系を介して被写体像を入射し、被写体像を結像する。ＣＣＤ１２から出力されたアナログの画素信号は、Ａ／Ｄ変換器１３においてデジタルの画素信号に変換される。なお、撮像素子としては、ＣＣＤの他にＣＭＯＳセンサを利用することも可能である。また、色フィルタアレイとしては、補色系のフィルタなどを用いてもよい。

色フィルタアレイ１１は、ＲＧＢベイヤ配列であるので、Ａ／Ｄ変換器１３から出力された画素信号は、１画素につきＲＧＢいずれか１色の色成分を持つ信号である。この画素信号が、補間回路１４において補間され、１画素につきＲＧＢ全ての色成分を備えた画素信号に変換される。

補間回路１４から出力された画素信号は、マトリクス回路１５において色再現性を改善するための色補正処理が行われる。マトリクス回路１５から出力された画素信号は、ガンマ補正回路１６においてガンマ補正処理が行われる。ガンマ補正回路１６から出力された画素信号は、色空間変換回路１７においてＲＧＢ色空間からＹＣｂＣｒ色空間への色空間変換が行われる。

色空間変換回路１７においてＹＣｂＣｒ色空間に変換された画素信号は、次に、輪郭強調・ノイズ抑圧回路１８に出力される。輪郭強調・ノイズ抑圧回路１８は、撮像画像の輪郭を強調し、撮像画像の解像感を高めるための処理を行う。また、輪郭強調・ノイズ抑圧回路１８は、画素信号に含まれる色ノイズを抑圧する。輪郭強調・ノイズ抑圧回路１８は、特に、グレー領域における色ノイズを抑圧することで、撮像画像の品質向上を図る。

輪郭強調・ノイズ抑圧回路１８は、輪郭抽出回路１０１、加算器１０２を備えている。輪郭抽出回路１０１は、輝度信号Ｙを入力し、輝度信号Ｙから輪郭成分を抽出する。

輪郭抽出回路１０１から出力された輪郭成分信号は、加算器１０２に入力される。加算器１０２は、輝度信号Ｙに輪郭成分信号を加算し、輪郭成分を強調した輝度信号Ｙを出力する。

輪郭強調・ノイズ抑圧回路１８は、また、ローパスフィルタ（ＬＰＦ：Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）１０３，１０４を備えている。ローパスフィルタ１０３は、色空間変換回路１７から出力された色差信号Ｃｂを入力し、色差信号Ｃｂの高周波ノイズを除去する。ローパスフィルタ１０４は、色空間変換回路１７から出力された色差信号Ｃｒを入力し、色差信号Ｃｒの高周波ノイズを除去する。

ＣＣＤ１２の総画素数の増大化に基づく受光感度の低下により、画素信号には色ノイズが含まれる。特に、グレー領域の色ノイズは、撮像画像の品質に大きな影響を与えるため、取り除く必要がある。このグレー領域の色ノイズは、後段の色ノイズ抑圧処理部で除去される。したがって、ローパスフィルタ１０３，１０４は、画像の先鋭度を低下させない程度にカット周波数を設定すればよい。

輪郭強調・ノイズ抑圧回路１８は、また、ルックアップテーブル（ＬＵＴ：Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）１０５，１０６および乗算器１０７，１０８を備えている。ルックアップテーブル１０５，１０６および乗算器１０７，１０８は、彩度評価回路２０とともに本発明の特徴部分であり、色ノイズ抑圧処理部を構成する。彩度評価回路２０は、注目画素とその周辺領域の画素信号を用いて演算処理を実行し、注目画素の周辺領域の彩度評価を行う。色ノイズ抑圧処理の内容については後で詳しく説明する。

ローパスフィルタ１０３，１０４から出力された色差信号Ｃｂ，Ｃｒは、色ノイズ抑圧処理が施された後、メモリ１９に出力される。

メモリ１９に格納された輝度信号Ｙ、色差信号Ｃｂ，Ｃｒからなる画像信号は、たとえば、デジタルカメラ１が備える図示せぬモニタに表示される。あるいは、輝度信号Ｙ、色差信号Ｃｂ，Ｃｒからなる画像信号は、符号化処理が施された後、デジタルカメラ１に装着されている図示せぬメモリカードなどに格納される。

＜２．ベイヤ配列の画素の表記方法＞
次に、以下の説明および図面におけるベイヤ配列の画素の表記方法について説明する。まず、５×５のマトリクス領域の画素を図２（ａ）のように表す。図２（ａ）における記号Ｐは、画素がＲＧＢいずれの色成分であるかを考慮しない表記である。これに対して、図２（ｂ）〜（ｅ）においては各画素の色成分を区別して表記している。記号Ｒは赤色画素、記号Ｇは緑色画素、記号Ｂは青色画素であることを示している。また、図２（ｂ）〜（ｅ）において、Ｇ画素は実線の円で描き、Ｒ画素およびＢ画素は破線の円で描いている。

また、記号Ｐ，Ｒ，Ｇ，Ｂの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。図２（ａ）〜（ｅ）は、注目画素Ｐ２２を含む２５個の画素Ｐ００〜Ｐ４４からなるマトリクス領域の画素配列を表している。その他の図面における表記方法も同様である。また、実施の形態の説明や各数式において、記号Ｐ，Ｒ，Ｇ，Ｂは、画素値を表す場合もある。たとえば、記号Ｐ１１は、１行１列目の画素そのものを表すとともに、１行１列目の画素の画素値をも表すものとする。

図２（ｂ）および図２（ｅ）は、注目画素Ｐ２２がＧ画素である場合の画素配列である。図２（ｃ）は、注目画素Ｐ２２がＲ画素である場合の画素配列である。図２（ｄ）は、注目画素Ｐ２２がＢ画素である場合の画素配列である。上述したように、彩度評価回路２０においては、注目画素とその周辺領域の画素信号を用いて演算処理を実行するために、レジスタ群にマトリクス領域の画素信号を蓄積する。５×５のマトリクス領域の画素を処理対象とする場合、そのレジスタ群に格納される画素信号のパターンは、図２（ｂ）〜図２（ｅ）の４つのパターンが存在することになる。また、３×３のマトリクス領域の画素を処理対象とする場合には、注目画素Ｐ２２を中心とした９個の画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ２１，Ｐ２２，Ｐ２３，Ｐ３１，Ｐ３２，Ｐ３３を利用することになり、画素信号のパターンは、同様に、図２（ｂ）〜図２（ｅ）の４パターンである。

＜３．彩度評価処理＞
次に、彩度評価回路２０の構成について説明する。図３は、彩度評価回路２０の回路ブロック図である。

彩度評価回路２０は、画素記憶部２１０を備える。画素記憶部２１０は、Ａ／Ｄ変換器１３から出力されたベイヤ配列のＲＧＢの画素信号を蓄積する。つまり、画素記憶部２１０は、画素補間前のＲＡＷデータを蓄積する。画素記憶部２１０は、３×３の画素マトリクスを格納する９個のレジスタ群からなる画素レジスタ２１０ａを備えている。画素記憶部２１０は、そのほか、画素信号を格納するラインメモリなどを備えている。

また、彩度評価回路２０は、平均値算出回路２１１，２１２，２１３、色強度算出回路２２１，２２２，２２３を備えている。また、彩度評価回路２０は、比較回路２３１、評価値算出回路２３２、設定値格納レジスタ２３３を備えている。

設定値格納レジスタ２３３には、彩度評価回路２０において演算に用いる重み付け値Ｒｗ，Ｇｗ，Ｂｗ，Ｃｗ，Ｍｗ，Ｙｗが格納されている。重み付け値Ｒｗは、赤色成分に対する重み付け値である。重み付け値Ｇｗは、緑色成分に対する重み付け値である。重み付け値Ｂｗは、青色成分に対する重み付け値である。重み付け値Ｃｗは、シアン色成分に対する重み付け値である。重み付け値Ｍｗは、マゼンダ色成分に対する重み付け値である。重み付け値Ｙｗは、黄色成分に対する重み付け値である。

また、本実施の形態においては、数（１）式に示すように、重み付け値Ｒｗ，Ｇｗ，Ｂｗ，Ｃｗ，Ｍｗ，Ｙｗが設定されている。

これら重み付け値は、彩度を評価するときに乗算する係数である。この重み付け値を調整することで、色成分ごとに異なる特性で彩度を評価することができる。数（１）式に示すように、この実施の形態においては、重み付け値Ｙｗは小さく設定されている。このように、黄色成分については、重み付け値が小さく、彩度評価値ＣＶが小さく出力されるように調整されている。

平均値算出回路２１１には、画素レジスタ１００ａに格納されている９個の画素のうち、緑色画素Ｇが格納される。平均値算出回路２１１は、緑色画素Ｇの画素平均値を算出する。

平均値算出回路２１２には、画素レジスタ１００ａに格納されている９個の画素のうち、赤色画素Ｒが格納される。平均値算出回路２１２は、赤色画素Ｒの画素平均値を算出する。

平均値算出回路２１３には、画素レジスタ１００ａに格納されている９個の画素のうち、青色画素Ｂが格納される。平均値算出回路２１３は、青色画素Ｂの画素平均値を算出する。

画素レジスタ１００ａに格納される９個のマトリクス領域の画素のパターンは、上述したように、図２（ｂ）〜図２（ｅ）の４パターンである。ただし、図２（ｂ）〜図２（ｅ）は、注目画素周辺の２５個の画素を図示しているが、画素レジスタ１００ａに格納されるのは、注目画素Ｐ２２を中心とした９個の画素（Ｐ１１，Ｐ１２，Ｐ１３，Ｐ２１，Ｐ２２，Ｐ２３，Ｐ３１，Ｐ３２，Ｐ３３）である。

画素レジスタ１００ａに格納されている画素のパターンが、図２（ｂ）のパターンであるとき、平均値算出回路２１１においては、数（２）式に示す演算によりＧ成分の平均画素値Ｇ＿ｓが演算される。また、平均値算出回路２１２においては、数（３）式に示す演算によりＲ成分の平均画素値Ｒ＿ｓが演算される。平均値算出回路２１３においては、数（４）式に示す演算によりＢ成分の平均画素値Ｂ＿ｓが演算される。

画素レジスタ１００ａに格納されている画素のパターンが、図２（ｃ）のパターンであるとき、平均値算出回路２１１においては、数（５）式に示す演算によりＧ成分の平均画素値Ｇ＿ｓが演算される。また、平均値算出回路２１２においては、数（６）式に示す演算によりＲ成分の平均画素値Ｒ＿ｓが演算される。平均値算出回路２１３においては、数（７）式に示す演算によりＢ成分の平均画素値Ｂ＿ｓが演算される。

画素レジスタ１００ａに格納されている画素のパターンが、図２（ｄ）のパターンであるとき、平均値算出回路２１１においては、数（８）式に示す演算によりＧ成分の平均画素値Ｇ＿ｓが演算される。また、平均値算出回路２１２においては、数（９）式に示す演算によりＲ成分の平均画素値Ｒ＿ｓが演算される。平均値算出回路２１３においては、数（１０）式に示す演算によりＢ成分の平均画素値Ｂ＿ｓが演算される。

画素レジスタ１００ａに格納されている画素のパターンが、図２（ｅ）のパターンであるとき、平均値算出回路２１１においては、数（１１）式に示す演算によりＧ成分の平均画素値Ｇ＿ｓが演算される。また、平均値算出回路２１２においては、数（１２）式に示す演算によりＲ成分の平均画素値Ｒ＿ｓが演算される。平均値算出回路２１３においては、数（１３）式に示す演算によりＢ成分の平均画素値Ｂ＿ｓが演算される。

平均値算出回路２１１は、算出した平均画素値Ｇ＿ｓを、色強度算出回路２２１，２２２，２２３に出力する。同様に、平均値算出回路２１２，２１３も、算出した平均画素値Ｒ＿ｓ，Ｂ＿ｓを、色強度算出回路２２１，２２２，２２３に出力する。

色強度算出回路２２１は、平均値算出回路Ｇ＿ｓ，Ｒ＿ｓ，Ｂ＿ｓを用いて数（１４）式に示すように、色強度差分値Ｇｄを算出する。同様に、色強度算出回路２２２，２２３は、平均値算出回路Ｇ＿ｓ，Ｒ＿ｓ，Ｂ＿ｓを用いて数（１４）式に示すように、色強度差分値Ｒｄ，Ｂｄを算出する。

さらに、色強度算出回路２２１は、数（１５）式に示すように、算出した色強度差分値Ｇｄの絶対値である色強度評価値Ｇｄａを算出する。同様に、色強度算出回路２２２，２２３は、数（１５）式に示すように、算出した色強度差分値Ｒｄ，Ｂｄの絶対値である色強度評価値Ｒｄａ，Ｂｄａを算出する。なお、数（１５）色における関数ａｂｓ（ｚ）は、ｚの絶対値を算出する関数を示している。

色強度算出回路２２１は、算出した色強度差分値Ｇｄ、色強度評価値Ｇｄａを比較回路２３１に出力する。また、色強度算出回路２２１は、色強度評価値Ｇｄａを評価値算出回路２３２に出力する。同様に、色強度算出回路２２２，２２３は、算出した色強度差分値Ｒｄ，Ｂｄ、色強度評価値Ｒｄａ，Ｂｄａを比較回路２３１に出力する。また、色強度算出回路２２２，２２３は、色強度評価値Ｒｄａ，Ｂｄａを評価値算出回路２３２に出力する。

比較回路２３１は、まず、色強度評価値Ｇｄａ，Ｒｄａ，Ｂｄａが、数（１６）式に示す関係を満たすか否かを判定する。数（１６）式に示す関係を満たすとき、色強度評価値Ｒｄａが、他の色強度評価値Ｇｄａ，Ｂｄａより大きいので、赤色Ｒあるいは赤色Ｒの補色であるシアン色Ｃの強度が偏って大きいと判断できる。

比較回路２３１は、数（１６）式の関係を満たし、かつ、色強度差分値Ｒｄ＜０と判定した場合には、赤色Ｒの強度が最も大きいと判断し、評価値算出回路２３２に、赤色Ｒが最高強度であることを示す指示信号Ｓを出力する。

評価値算出回路２３２は、赤色Ｒが最高強度であることを示す指示信号Ｓを入力すると、数（１７）式に示す演算を行うことにより、彩度評価値ＣＶを算出する。ここで、関数Ｄｉｖ（ｘ，ｙ）は、ｘをｙで除算し、その整数部分を出力する関数を示している。したがって、数（１７）式では、色強度評価値Ｒｄａに赤色Ｒの重み付け値Ｒｗを乗算した値を１６で除算し、その整数部分を彩度評価値ＣＶとして出力することを意味している。数値１６による除算は、正規化を意味している。数（１)式に示したように、各重み付け値として１６以下の数値が設定されている。数値１６の除算で正規化することにより、重み付け値が１６より小さい色については、彩度評価値ＣＶを低く評価できるようにしている。以下の数（１８）、（２０）、（２１）、（２３）、（２４）式の演算においても数値１６による除算は、正規化を示している。

比較回路２３１は、数（１６）式の関係を満たし、かつ、色強度差分値Ｒｄ≧０と判定した場合には、シアン色Ｃの強度が最も大きいと判断し、評価値算出回路２３２に、シアン色Ｃが最高強度であることを示す指示信号Ｓを出力する。

評価値算出回路２３２は、シアン色Ｃが最高強度であることを示す指示信号Ｓを入力すると、数（１８）式に示す演算を行うことにより、彩度評価値ＣＶを算出する。数（１８）式では、色強度評価値Ｒｄａにシアン色Ｃの重み付け値Ｃｗを乗算した値を数値１６で除算し、その整数部分を彩度評価値ＣＶとして出力することを意味している。

比較回路２３１は、数（１６）式の関係を満たさないと判定した場合、次に、数（１９）式に示す関係を満たすか否かを判定する。数（１９）式に示す関係を満たすとき、色強度評価値Ｇｄａが、他の色強度評価値Ｒｄａ，Ｂｄａより大きいので、緑色Ｇあるいは緑色Ｇの補色であるマゼンダ色Ｍの強度が偏って大きいと判断できる。

比較回路２３１は、数（１９）式の関係を満たし、かつ、色強度差分値Ｇｄ＜０と判定した場合には、緑色Ｇの強度が最も大きいと判断し、評価値算出回路２３２に、緑色Ｇが最高強度であることを示す指示信号Ｓを出力する。

評価値算出回路２３２は、緑色Ｇが最高強度であることを示す指示信号Ｓを入力すると、数（２０）式に示す演算を行うことにより、彩度評価値ＣＶを算出する。つまり、色強度評価値Ｇｄａに緑色Ｇの重み付け値Ｇｗを乗算した値を数値１６で除算し、その整数部分を彩度評価値ＣＶとして出力する。

比較回路２３１は、数（１９）式の関係を満たし、かつ、色強度差分値Ｇｄ≧０と判定した場合には、マゼンダ色Ｍの強度が最も大きいと判断し、評価値算出回路２３２に、マゼンダ色Ｍが最高強度であることを示す指示信号Ｓを出力する。

評価値算出回路２３２は、マゼンダ色Ｍが最高強度であることを示す指示信号Ｓを入力すると、数（２１）式に示す演算を行うことにより、彩度評価値ＣＶを算出する。つまり、色強度評価値Ｇｄａにマゼンダ色Ｍの重み付け値Ｍｗを乗算した値を数値１６で除算し、その整数部分を彩度評価値ＣＶとして出力する。

比較回路２３１は、数（１６）式、数（１９）式のいずれの関係も満たさないと判定した場合、次に、数（２２）式に示す関係を満たすか否かを判定する。数（２２）式に示す関係を満たすとき、色強度評価値Ｂｄａが、他の色強度評価値Ｇｄａ，Ｒｄａより大きいので、青色Ｂあるいは青色Ｂの補色である黄色Ｙの強度が偏って大きいと判断できる。

比較回路２３１は、数（２２）式の関係を満たし、かつ、色強度差分値Ｂｄ＜０と判定した場合には、青色Ｂの強度が最も大きいと判断し、評価値算出回路２３２に、青色Ｂが最高強度であることを示す指示信号Ｓを出力する。

評価値算出回路２３２は、青色Ｂが最高強度であることを示す指示信号Ｓを入力すると、数（２３）式に示す演算を行うことにより、彩度評価値ＣＶを算出する。つまり、色強度評価値Ｂｄａに青色Ｂの重み付け値Ｂｗを乗算した値を数値１６で除算し、その整数部分を彩度評価値ＣＶとして出力する。

比較回路２３１は、数（２２）式の関係を満たし、かつ、色強度差分値Ｂｄ≧０と判定した場合には、黄色Ｙの強度が最も大きいと判断し、評価値算出回路２３２に、黄色Ｙが最高強度であることを示す指示信号Ｓを出力する。

評価値算出回路２３２は、黄色Ｙが最高強度であることを示す指示信号Ｓを入力すると、数（２４）式に示す演算を行うことにより、彩度評価値ＣＶを算出する。つまり、色強度評価値Ｂｄａに黄色Ｙの重み付け値Ｙｗを乗算した値を数値１６で除算し、その整数部分を彩度評価値ＣＶとして出力する。なお、上述したように、重み付け値Ｙｗは、他の色成分に比べて小さい値が設定されている。これにより、本実施の形態においては、黄色成分の色ノイズが除去され易いように調整されている。これは、グレー領域に存在する黄色成分の色ノイズが特に目立って認識されるからである。

比較回路２３１は、数（１６）式、数（１９）式、数（２２）式のいずれの関係も満たさないと判定した場合、次に、数（２５）式の関係を満たすか否かを判定する。

数（２５）式の関係を満たす場合とは、Ｒｄ＝Ｇｄ＝Ｂｄ＝０、つまり、注目画素の周辺領域が完全なグレー領域の場合である。この条件を満たす場合、比較回路２３１は、周辺領域が完全なグレー領域であることを示す指示信号Ｓを評価値算出回路２３２に出力する。評価値算出回路２３２は、その指示信号Ｓを入力し、数（２６）式に示すように、彩度評価値ＣＶに０を設定する。

比較回路２３１は、数（１６）式、数（１９）式、数（２２）式、数（２５）式のいずれの関係も満たさないと判定した場合、次に、数（２７）式の関係を満たすか否かを判定する。

数（２７）式に示す３つの式のいずれかの関係を満たす場合、比較回路２３１は、さらに、Ｒｄａが０であるか否かも判定する。そして、比較回路２３１は、最高強度の色成分が複数であることを示すとともにＲｄａが０であるか否かを示す指示信号Ｓを、評価値算出回路２３２に出力する。

評価値算出回路２３２は、最高強度の色成分が複数であることを示す指示信号Ｓを入力したとき、Ｒｄａが０であるならば、数（２８）式により彩度評価値ＣＶを設定する。

評価値算出回路２３２は、最高強度の色成分が複数であることを示す指示信号Ｓを入力したとき、Ｒｄａが０でないならば、数（２９）式により彩度評価値ＣＶを設定する。

数（２７）式に示す３つの式のいずれかの関係を満たす場合、２種類の色強度評価値が最高強度の値をとり、残る１つの色強度評価値は０である。したがって、Ｒｄａ＝０の場合とは、ＧｄａあるいはＢｄａが同じ最高強度の値をとるので、一方のＧｄａの値を彩度評価値ＣＶとして設定するのである。もちろん、Ｂｄａの値を彩度評価値ＣＶに設定してもよい。また、２つの色強度評価値が最高強度をとるため、単一の色成分に大きく色が偏っているわけではないので、重み付け値は乗算しないようにしている。

一方、Ｒｄａ＝０でない場合には、Ｒｄａが他のいずれかの色強度評価値とともに最高強度の値をとっている。そこで、彩度評価値ＣＶとしてＲｄａを設定するのである。もちろん、もう一方の最高強度の色成分の色強度評価値を設定しても同じことである。この場合にも、特定の色への偏りは大きくないため、重み付け値は乗算しないようにしている。

評価値算出回路２３２は、数（１７）、（１８）、（２０）、（２１）、（２３）、（２４）、（２６）、（２８）、（２９）式のいずれかの演算式により彩度評価値ＣＶを算出すると、最後に、数（３０）式で示す演算を行い、さらに彩度評価値ＣＶを正規化する。

数（３０）式において、ｆｍは、正規化パラメータである。正規化パラメータｆｍは、設定値格納レジスタ２３３に格納されている。正規化パラメータｆｍとしては、たとえば、１，２，４，８，１６，３２，６４，１２８などの数値を選択して設定できるようにしておく。評価値算出回路２３２は、正規化パラメータｆｍにより正規化された彩度評価値ＣＶを輪郭強調・色ノイズ抑圧回路１８に出力する。

＜４．色ノイズ抑圧処理＞
図１を再び参照する。彩度評価回路２０において演算された彩度評価値ＣＶは、ルックアップテーブル１０５，１０６に出力される。ルックアップテーブル１０５，１０６は、彩度評価値ＣＶから抑圧係数Ｋｂ，Ｋｒを算出する。抑圧係数Ｋｂは、色差信号Ｃｂの信号を抑圧する係数であり、抑圧係数Ｋｒは、色差信号Ｃｒの信号を抑圧する係数である。

図４は、ルックアップテーブル１０５において対応付けられている彩度評価値ＣＶと抑圧係数Ｋｂとの関係を示す図である。図に示すように、彩度評価値ＣＶが、ある閾値ｑ以上の場合には、抑圧係数Ｋｂは１が対応付けられている。つまり、彩度評価値ＣＶが大きいときには色差信号Ｃｂは抑圧されない。これに対して、彩度評価値ＣＶが、閾値ｑより小さく、低彩度領域であると判定される場合には、抑圧係数Ｋｂには１より小さい値が対応付けられる。たとえば、彩度評価値ＣＶ＝ｐ（＜ｑ）に対しては、抑圧係数Ｋｂ＝α（＜１）が対応付けられる。

図４で示す関係を、ルックアップテーブル１０５における対応関係として説明したが、ルックアップテーブル１０６において対応付けられている彩度評価値ＣＶと抑圧係数Ｋｒの関係も同様である。ただし、それぞれルックアップテーブル１０５，１０６で彩度評価値ＣＶと抑圧係数の間に異なる対応関係を設定することで、色差成分ごとに異なった特性を持たせることが可能である。

ルックアップテーブル１０５，１０６は、それぞれ乗算器１０７，１０８に、抑圧係数Ｋｂ、Ｋｒを出力する。乗算器１０７は、ローパスフィルタ１０３から入力した色差信号Ｃｂに抑圧係数Ｋｂを乗算することで、色差信号Ｃｂを抑圧する。乗算器１０８は、ローパスフィルタ１０４から入力した色差信号Ｃｒに抑圧係数Ｋｒを乗算することで、色差信号Ｃｒを抑圧する。

図５は、色差信号Ｃｂの抑圧レベルを示す図である。図中、横軸は、乗算器１０７が入力する色差信号Ｃｂの信号値であり、縦軸は、乗算器１０７が出力する色抑圧後の色差信号Ｃｂの信号値である。彩度評価値ＣＶが閾値ｑ以上のときは、前述したように、抑圧係数Ｋｂ＝１であるので、乗算器１０７の入力信号値と出力信号値は同じである。つまり、彩度評価が高い領域については、色を抑圧することはない。これにより、彩度の高い領域の鮮やかさを維持することができる。

これに対して、彩度評価値ＣＶが閾値ｑよりも小さいときには、出力信号値が抑圧されている。たとえば、抑圧係数α（図４におけるＣＶ＝ｐ）のときには、乗算器１０７が入力する信号値ｄの色差信号Ｃｂは、信号値α・ｄ（＜ｄ）として出力される。

図５で示す関係を、乗算器１０７が入力する色差信号Ｃｂの信号値と乗算器１０７が出力する色差信号Ｃｂの信号値との関係として説明したが、乗算器１０８が入力する色差信号Ｃｒの信号値と乗算器１０８が出力する色差信号Ｃｒの信号値との関係も同様である。ただし、ルックアップテーブル１０５，１０６の特性により、抑圧レベルを色差成分ごとに異ならせることができる。

このように、本実施の形態のデジタルカメラ１においては、注目画素周辺の彩度を評価し、彩度が低い領域については、色差信号Ｃｂ，Ｃｒの色成分を抑圧するので、グレー領域などに発生する色ノイズを抑圧することができる。

特に、本実施の形態においては、画素補間を行う前の画素信号（ＲＡＷ画像データ）から彩度を評価するので、補間によりノイズの影響を拡大する前に彩度を評価することが可能である。これにより、精度よく彩度を評価し、適切な色抑圧を実行することが可能である。

また、色マトリクス処理やガンマ補正処理を行う前のリニアな特性を有する画素信号から彩度を評価するので、精度よく彩度を評価することができる。

そして、本実施の形態のデジタルカメラ１は、注目画素の近傍である周辺領域の画素（この実施の形態では、注目画素周辺の９画素）を利用して彩度を評価する。これにより、色ノイズを抑圧するか否か、あるいは色ノイズの抑圧のレベルを決定する基準の彩度評価が、処理対象画素である注目画素の近傍領域の情報に基づいて算出されるので、注目画素の色ノイズを的確に除去することが可能である。

また、本実施の形態においては、数（１７）、（１８）、（２０）、（２１）、（２３）、（２４）式で用いた正規化パラメータ（この実施の形態では数値１６）を調整することで、色成分ごとに彩度評価値ＣＶの正規化後のスケールを調整することができる。さらには、数（２６）式で用いた正規化パラメータｆｍを調整することで、最終的な彩度評価値ＣＶのスケールを調整することができる。

実施の形態に係るデジタルカメラのブロック図である。 ベイヤ配列の画素信号のマトリクス領域における色パターンを示す図である。 彩度評価回路のブロック図である。 ルックアップテーブルが保持している彩度評価値と抑圧係数との対応を示す図である。 色差信号の色抑圧レベルを示す図である。

符号の説明

１ デジタルカメラ
１８ 輪郭強調・ノイズ抑圧回路
２０ 彩度評価回路
１０５，１０６ ルックアップテーブル
１０７，１０８ 乗算器
ＣＶ 彩度評価値
Ｇｄ，Ｒｄ，Ｂｄ 色強度差分値
Ｇｄａ，Ｒｄａ，Ｂｄａ 色強度評価値

Claims (7)

1. １画素について１色の色成分を有する第１の色空間の画素信号を入力する入力手段と、
   前記入力手段により入力した注目画素を含む周辺領域の画素信号の彩度評価値を求める彩度評価手段と、
   前記入力手段により入力した画素信号を補間し、１画素について前記所定の色空間の全ての色成分を有する画素信号を生成する補間手段と、
   前記補間手段により補間された前記第１の色空間の画素信号を、輝度信号と色差信号とを含む第２の色空間の画素信号に変換する色空間変換手段と、
   前記彩度評価値を所定の条件と比較することにより、前記周辺領域が低彩度領域であるか否かを判定し、前記周辺領域が低彩度領域であると判定された場合、前記色差信号の信号値を抑圧する抑圧手段と、
   を備え、
   前記抑圧手段は、
   前記色差信号に抑圧係数を乗算する乗算手段と、
   前記彩度評価値と前記抑圧係数との対応関係を保持し、前記彩度評価値から前記抑圧係数を決定する係数決定手段と、
   を備え、
   前記色差信号は、
   第１の色差信号および第２の色差信号、
   を含み、
   前記係数決定手段は、
   前記彩度評価値と前記第１の色差信号に対応する第１抑圧係数との対応関係を保持し、前記彩度評価値から前記第１抑圧係数を決定する第１係数決定手段と、
   前記彩度評価値と前記第２の色差信号に対応する第２抑圧係数との対応関係を保持し、前記彩度評価値から前記第２抑圧係数を決定する第２係数決定手段と、
   を含み、
   前記乗算手段は、
   前記第１の色差信号に前記第１抑圧係数を乗算する第１乗算手段と、
   前記第２の色差信号に前記第２抑圧係数を乗算する第２乗算手段と、
   を含むことを特徴とする画像処理装置。
2. １画素について１色の色成分を有する第１の色空間の画素信号を入力する入力手段と、
   前記入力手段により入力した注目画素を含む周辺領域の画素信号の彩度評価値を求める彩度評価手段と、
   前記入力手段により入力した画素信号を補間し、１画素について前記所定の色空間の全ての色成分を有する画素信号を生成する補間手段と、
   前記補間手段により補間された前記第１の色空間の画素信号を、輝度信号と色差信号とを含む第２の色空間の画素信号に変換する色空間変換手段と、
   前記彩度評価値を所定の条件と比較することにより、前記周辺領域が低彩度領域であるか否かを判定し、前記周辺領域が低彩度領域であると判定された場合、前記色差信号の信号値を抑圧する抑圧手段と、
   を備え、
   前記彩度評価手段は、
   前記第１の色空間の各色成分についてそれぞれの色強度を算出する色強度算出手段と、
   各色強度を比較し、各色強度の偏り程度に基づいて色強度の最も高い一の色成分を決定する色成分決定手段と、
   前記一の色成分の色強度に基づいて前記彩度評価値を算出する評価値算出手段と、
   を含むことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記抑圧手段は、
   前記色差信号に抑圧係数を乗算する乗算手段と、
   前記彩度評価値と前記抑圧係数との対応関係を保持し、前記彩度評価値から前記抑圧係数を決定する係数決定手段と、
   を備えることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記色差信号は、
   第１の色差信号および第２の色差信号、
   を含み、
   前記係数決定手段は、
   前記彩度評価値と前記第１の色差信号に対応する第１抑圧係数との対応関係を保持し、前記彩度評価値から前記第１抑圧係数を決定する第１係数決定手段と、
   前記彩度評価値と前記第２の色差信号に対応する第２抑圧係数との対応関係を保持し、前記彩度評価値から前記第２抑圧係数を決定する第２係数決定手段と、
   を含み、
   前記乗算手段は、
   前記第１の色差信号に前記第１抑圧係数を乗算する第１乗算手段と、
   前記第２の色差信号に前記第２抑圧係数を乗算する第２乗算手段と、
   を含むことを特徴とする画像処理装置。
5. 請求項２ないし請求項４のいずれかに記載の画像処理装置において、
   前記色成分決定手段は、
   前記色強度算出手段により算出された前記第１の色空間の各色成分の色強度を比較し、前記第１の色空間に含まれる色成分あるいは前記第１の色空間に対して補色の関係にある色空間に含まれる色成分の中から前記一の色成分を決定する手段、
   を含むことを特徴とする画像処理装置。
6. 請求項２ないし請求項５のいずれかに記載の画像処理装置において、
   前記評価値算出手段は、
   前記一の色成分の色強度に、色成分ごとに予め設定されている重み付け値を乗算した値に基づいて前記彩度評価値を算出する手段、
   を含むことを特徴とする画像処理装置。
7. 請求項１ないし請求項６のいずれかに記載の画像処理装置を備えることを特徴とするデジタルカメラ。

Images