JP2008153768A - 撮像装置、およびホワイトバランス処理装置 - Google Patents

Abstract

【課題】夜景画像など暗い領域の割合が明るい領域の割合より多い画像の場合においてもホワイトバランスのずれを抑制する技術を提供する。
【解決手段】ホワイトバランスゲイン計算部４６は、画像の全画素領域のうち、少なくとも輝度レベルが基準輝度レベル以上である画素領域の色差に基づいて、画像に対するホワイトバランスゲインを算出する。補正係数計算部５０は、画像の全画素領域のうち、輝度および色差が所定の条件を満たす暗部画素領域の割合が基準割合以上の場合に、画像に対応する撮像感度、暗部領域の割合、フラッシュ発光の有無の少なくとも１つに基づいて補正係数を求め、ホワイトバランスゲイン計算部４６に対して補正係数に基づくホワイトバランスゲインの補正を指示する。
【選択図】図２

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置において撮影された画像のホワイトバランスを調整する技術に関する。

ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの固体撮像素子を備えるデジタルスチルカメラやデジタルビデオカメラなどの撮像装置では、白い物を白い物として撮像記録することができるよう、光源の色温度に合わせて、ＲＧＢ信号のゲインを調整するホワイトバランス調整が行われる。

ところで、撮像装置が撮像した画像には、比較的明るい領域と、比較的暗い領域とが混在する。暗い領域に基づいてＲＧＢ信号のゲインの調整を行うと、光源の色を反映していない可能性が高いため、暗い領域の情報をゲイン調整に用いると、色再現の誤差の要因となり兼ねない。

特許文献１には、光源の光の色をあまり反映していないと考えられる暗い領域の情報がホワイトバランスのゲイン調整に影響しないようにする手法が開示されている。より具体的には、特許文献１には、画像を複数のブロックに分割し、ブロックごとに求めたＲＧＢ各成分の輝度及び色差を含む平均値をブロックの代表値として、その代表値に基づき、各ブロックの中から最高輝度のブロックを求め、その最高輝度ブロックの輝度に基づき、輝度閾値を求め、全ブロックのうちこの輝度閾値より高い輝度を持つブロックの代表値に基づいてゲインを求め、そのゲインに基づいてホワイトバランス調整を行う手法が開示されている。

上記のように、比較的明るい領域の情報を優先して求められたゲインは、画像全体のＲＧＢ信号に対して与えられ、ホワイトバランス調整が行われる。ここで、固体撮像素子の入射光量に対する出力信号レベルの特性（以下、「出力特性」と称す）が入射光量に寄らず線形関係にある場合には、比較的明るい領域（つまり、入射光量が比較的多い領域）の情報を優先して求められたゲインを用いて、画像全体のＲＧＢ信号に対してホワイトバランス調整を行っても、色再現にはあまり悪影響を与えない。しかし、実際には、例えば、入射光量の少ない暗い領域の出力特性は非線形となる。よって、例えば、夜景など暗い領域を多く含む画像全体に対して、明るい領域の情報を優先して求められたゲインを用いてホワイトバランス調整を行うと、暗い領域における色再現に悪影響を与える場合がある。

特許文献２には、ＣＣＤの入出力特性を近似直線で表した基準データを予め測定により求めておき、入射光量に対するＣＣＤ出力レベルを検出して、当該基準データに基づいてＣＣＤ出力の特性を直接補正するリニアリティ補正手段を撮像装置に設けることにより、ホワイトバランスのずれを改善する手法が開示されている。

特開２０００−９２５０９号公報 特開２００３−２３６４２号公報

本発明は、固体撮像素子の出力信号の特性を直接補正することなく、夜景画像など暗い領域の割合が明るい領域の割合より多い画像の場合においてもホワイトバランスのずれを抑制する技術を提供することを目的とする。

本発明に係る撮像装置は、入射光量に応じた出力信号を出力する固体撮像素子と、前記出力信号に基づく画像の全画素領域のうち少なくとも輝度が基準輝度以上である画素領域の色差に基づいて、当該画像に対するホワイトバランスゲインを算出するホワイトバランスゲイン計算部と、算出されたホワイトバランスゲインに基づいて当該画像のホワイトバランス調整を行うホワイトバランス調整部と、前記画像の全画素領域のうち、輝度が前記基準輝度以下で、かつ色差が色差空間において所定の補正対象領域に含まれる暗部画素領域の割合が基準割合以上か否かの画素判定を行い、前記基準割合以上の場合に、前記ホワイトバランスゲイン計算部に対して所定の補正係数に基づく前記ホワイトバランスゲインの補正を指示するゲイン補正指示部と、を備えることを特徴とする。

本発明に係る撮像装置の１つの態様では、前記ゲイン補正指示部は、前記画像に対応する撮像感度が基準撮像感度より小さい場合には、前記ホワイトバランスゲインの補正を指示するか否かを判定するための前記画素判定を行わないことを特徴とする。

本発明に係る撮像装置の１つの態様では、前記ゲイン補正指示部は、前記画像の被写体輝度が基準被写体輝度より大きい場合には、前記ホワイトバランスゲインの補正を指示するか否かを判定するための前記画素判定を行わないことを特徴とする。

本発明に係る撮像装置の１つの態様では、前記補正係数は、前記画像に対応する撮像感度、前記暗部画素領域の割合、フラッシュ発光の有無、の少なくとも１つに基づいて定められることを特徴とする。

本発明に係る撮像装置の１つの態様では、前記補正係数は、前記画像のＧ成分とＲ成分との比Ｇ／Ｒおよび前記画像のＧ成分とＢ成分との比Ｇ／Ｂが増加するように定められることを特徴とする。

本発明に係るホワイトバランス処理装置は、固体撮像素子から入射光量に応じて出力される出力信号に基づく画像の全画素領域のうち、少なくとも輝度レベルが基準輝度以上の画素領域の色差に基づいて、当該画像に対するホワイトバランスゲインを算出するホワイトバランスゲイン計算部と、算出されたホワイトバランスゲインに基づいて当該画像のホワイトバランス調整を行うホワイトバランス調整部と、前記画像の全画素領域のうち、輝度が前記基準輝度以下で、かつ色差が色差空間において所定の補正対象領域に含まれる暗部画素領域の割合が基準割合以上の場合に、前記ホワイトバランスゲイン計算部に対して所定の補正係数に基づく前記ホワイトバランスゲインの補正を指示するゲイン補正指示部と、を備えることを特徴とする。

本発明によれば、夜景画像など暗い領域の割合が明るい領域の割合より多い画像の場合においてもホワイトバランスのずれを抑制することができる。

本発明を実施するための最良の形態を具体的に示す実施形態について、以下図面を用いて説明する。

図１は、本実施形態に係るデジタルカメラの機能ブロックを示す図である。なお、本実施形態では、撮像装置の一例として民生用のデジタルカメラを例に説明するが、監視用カメラ、テレビ用カメラ、等他の用途のカメラにも適用することができる。

図１において、固体撮像素子１０は、入射光量に応じた信号を出力するイメージセンサである。例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサが固体撮像素子１０の一例である。固体撮像素子１０は、カラーフィルタを備え、カラーフィルタは、赤色フィルタ（Ｒ）と、Ｒ列の緑色フィルタ（Ｇｒ）と、青色フィルタ（Ｂ）と、Ｂ列の緑色フィルタ（Ｇｂ）が例えばベイヤ配列で配置される。固体撮像素子１０からは、赤色フィルタ（Ｒ）の画素における信号であるＲ信号と、Ｒ列の緑色フィルタ（Ｇｒ）の画素における信号であるＧｒ信号と、青色フィルタ（Ｂ）の画素における信号であるＢ信号と、Ｂ列の緑色フィルタ（Ｇｂ）の画素における信号であるＧｂ信号とが出力される。以下、Ｒ信号、Ｇｒ信号、Ｂ信号、Ｇｂ信号を含めて色信号と称する。

Ａ／Ｄ変換処理部２０は、色信号に対して相関二重サンプリング（ＣＤＳ）を行い、アンプ雑音やリセット雑音を除去した後、固体撮像素子１０への入射光量（被写体輝度）に応じて色信号のゲインを調整し、さらに色信号をアナログ信号からデジタル信号に変換して出力する。

ＲＧＢ分離部３０は、Ａ／Ｄ変換処理部２０から入力された１フレーム分の色信号を色成分ごとに分離してＲ信号，Ｇ信号，Ｂ信号（以下、総称して、ＲＧＢ信号と称す）として出力する。

ホワイトバランス処理部４０は、ＲＧＢ信号に対して光源に応じたゲインを与え、ＲＧＢ信号のホワイトバランス調整を行う。なお、ホワイトバランス処理部４０の詳細については後述する。

画像処理部６０は、ホワイトバランス調整後のＲＧＢ信号に対して画素補間、エッジ処理、γ補正等の所定の画像処理を行い、映像信号として液晶画面等の表示装置に出力する、あるいは画像データとして記録媒体に記憶する。制御部７０は、上記の各部を制御するマイクロプロセッサである。なお、上記では、画素補間等の画像処理をホワイトバランス調整後に行っているが、ホワイトバランス調整の前にそれらの画像処理を行っても構わない。

続いて、ホワイトバランス処理部４０についてさらに詳しく説明する。

図２は、ホワイトバランス処理部４０の詳細の機能ブロックを示す図である。なお、下記に示すホワイトバランス処理部４０は一例に過ぎず、例えば、画像全画素領域から光源の色を反映していると推定される画素領域を所定条件に基づいて抽出し、抽出された画素領域のＲＧＢ信号の積分値に基づいてホワイトバランスゲインを設定し、そのゲインに基づいてホワイトバランスの調整を行う回路であれば、他の回路でもよい。また、説明上、１フレーム分のＲＧＢ信号を１つの画像信号と定義する。

本実施形態では、ホワイトバランス処理部４０が、ホワイトバランスゲイン計算部４６において周知の手法により算出されたホワイトバランスゲインに対して補正を行うための補正係数を算出する補正係数計算部５０を備える点を特徴とするが、まずは補正係数計算部５０以外の各部について説明する。

ブロック分割部４１は、１フレーム分のＲＧＢ信号から１つの画像信号を得て、その画像信号を複数のブロックに分割する。各ブロックは、ｎ×ｍ画素から構成される。ブロック分割部４１は、各ブロックを順次、代表値計算部４２に出力する。代表値計算部４２は、各ブロックを構成するｎ×ｍ個の画素のＲＧＢの平均値を算出し、そのブロック平均値に対して、以下の線形変換を施し、代表値（Ｔｌ，Ｔｇ，Ｔｉ）を算出する。

ここに、Ｔｌはブロックの代表輝度、ＴｇおよびＴｉはブロックの代表色差である。代表値計算部４２は、算出した各ブロックの代表値（Ｔｌ，Ｔｇ，Ｔｉ）をホワイトバランス評価部４４に出力する。

ホワイトバランス評価部４４は、例えば、各ブロックの中から最高輝度のブロックを求め、その最高輝度ブロックの輝度に基づき輝度閾値を求め、全ブロックのうちこの輝度閾値より高い輝度を持つブロックを、光源を反映しているブロックと判定する。さらに、ホワイトバランス評価部４４は、光源を判定していると判定された各ブロックに対して、あらかじめ想定した各光源について、その光源がそのブロックを照明している信頼度を求める。次いで、ホワイトバランス評価部４４は、信頼度に応じた重み係数を算出してホワイトバランスゲイン計算部４６に出力する。ホワイトバランスゲイン計算部４６は、各ブロックの代表値を、ホワイトバランス評価部４４で算出された各ブロックの信頼度に基づく重み係数を用いて加重平均することによりホワイトバランスゲインを算出する。具体的には、以下の式によりホワイトバランスゲインを算出する。

ここに、ＴｌＭｉｘ、ＴｇＭｉｘ、ＴｉＭｉｘは、各ブロックの代表値の加重平均値である。これらの式で算出された（ＲＭｉｘ，ＧＭｉｘ，ＢＭｉｘ）が被写体を照明する光源の色であり、ホワイトバランスゲイン（Ｒgain，Ｇgain，Ｂgain）は、推定された光源色が白色物体で反射されたときの色をグレーに補正する（つまり、Ｒ＝Ｇ＝Ｂ）ように設定される。ホワイトバランスゲイン計算部４６は、算出したゲインをホワイトバランス調整部４８に出力する。ホワイトバランス調整部４８は、ＲＧＢ分離部３０から出力されたＲ信号，Ｇ信号，Ｂ信号に対してホワイトバランスゲイン計算部４６で算出したゲインを乗じることで画像信号のホワイトバランスを調整する。したがって、ホワイトバランス調整部４８から、次式、

によって求められた出力（Ｒout，Ｇout，Ｂout）が出力される。

以上の通り、ホワイトバランス処理部４０は、被写体を照明する光源の推定結果に基づいてホワイトバランスゲインを設定し、そのゲインに基づいてホワイトバランスの調整を行う。

一般的には、輝度の高いブロック（つまり、入射光量の多いブロック）が光源の色を反映している可能性が高い。よって、輝度の高いブロックを、輝度の低いブロックよりも優先的に用いて光源の色の推定を行い、その推定結果に基づいてゲインを求め、ホワイトバランス調整を行うことで、適切に色再現することができる。しかし、例えば、入射光量が少ない場合、固体撮像素子１０の入射光量に対する出力レベルの出力特性は非線形となるため、輝度の高いブロックを優先的に用いて求められたゲインで画像全体に対してホワイトバランス調整を行うと、画像の暗い領域における色再現に悪影響を与える場合がある。

例えば、図３Ａに示すように、ＣＣＤイメージセンサなどの固体撮像素子では、入射光量に対する出力レベルの出力特性は非線形となり、入射光量が多い領域と少ない領域とでは特性が異なる。特に、ＩＳＯ感度などの指標で示される撮像感度が高い場合、出力特性が非線形となる傾向が強くなる。また、固体撮像素子に原色ごとに設けられたカラーフィルタの分光透過率の違いにより、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの入射光量に対する出力レベルは、例えば、図３Ｂに示すような曲線となる。よって、輝度の高いブロックを優先的に用いて光源の色の推定を行い、その推定結果に基づいて、光源色が白色物体で反射されたときの色をグレーに補正するように、ＲＧＢ比が１：１：１となるゲインを求め、そのゲインをＲＧＢ信号に乗じると、入射光量の少ない領域におけるＲＧＢ比は１：１：１にならずに、ホワイトバランスがずれることがある。つまり、例えば、ＲＧＢ信号が図３Ｂに示すような特性を示す場合、画像信号のＧ成分とＲ成分との比Ｇ／Ｒおよび画像信号のＧ成分とＢ成分との比Ｇ／Ｂは、図３Ｃに示すような曲線となる。この例で分かるように、暗い領域で、Ｒ信号（Ｂ信号）の出力レベルがＧ信号の出力レベルより高くなり、ホワイトバランス調整後の画像における暗い領域が全体としてマゼンタ色にシフトしてしまう。暗い領域が比較的少ない画像であれば、上記のようなホワイトバランスのずれは無視しても画像品質上問題ない場合が多い。しかし、夜景のような比較的暗い領域が多くコントラストの高い画像の場合には、そのようなずれは画像品質上無視できない場合が多い。

そこで、実施形態では、夜景のような暗い領域が多くコントラストの高い画像（以下、補正対象画像と称す）において、ホワイトバランスのずれを抑制するために、補正係数計算部５０を設ける。

補正係数計算部５０は、ＲＧＢ分離部３０から出力された画像信号に対応する画像が補正対象画像か否かを判定する判定処理を実行し、さらに補正対象画像の場合には、当該画像に対するホワイトバランスゲインを補正するための補正係数を計算する補正係数計算処理を実行する。

以下、判定処理と補正係数計算処理について、図面を用いて説明する。

図４は、補正係数計算部５０が実行する判定処理の手順を示すフローチャートである。

図４において、補正係数計算部５０は、被写体輝度を制御部７０を介して取得し、その被写体輝度が予め定められた基準被写体輝度以下か否かを判定する（Ｓ１００）。なお、制御部７０は、例えば、デジタルカメラの絞りのＦ値、固体撮像素子１０から出力される信号の信号レベル、および電子シャッタのシャッタ速度から被写体輝度を検出する。また、被写体輝度は、撮影シーンの明るさ度合いを示す指標の１つである。よって、基準被写体輝度は、例えば、以下のように定めればよい。すなわち、夜景や室内など比較的暗いシーンを中心に、被写体輝度が異なる複数のシーンの画像を撮像する。次いで、それらの画像の中からホワイトバランスのずれにより画像品質上問題と判断する画像を選択する。そして、選択された画像群の中から被写体輝度が最も高い画像を抽出し、その画像に対応する被写体輝度を基準被写体輝度と定める。

判定の結果、被写体輝度が基準被写体輝度より大きい場合には（ステップＳ１００の判定結果が、否定「Ｎ」）、ホワイトバランスのずれのおそれが少ないと判断して、処理を終了する。

一方、判定の結果、被写体輝度が基準被写体輝度以下の場合には（ステップＳ１００の判定結果が、肯定「Ｙ」）、さらに、補正係数計算部５０は、撮像時の撮像感度を制御部７０を介して取得し、その撮像感度が所定の基準撮像感度（例えば、ＩＳＯ２００）以上か否かを判定する（Ｓ１０２）。上記の通り、固体撮像素子の出力特性は、撮像感度が高いほど非線形の傾向が強くなる。よって、撮像感度が高いほどホワイトバランスのずれの影響が大きいと推定される。逆に、撮像感度が低い場合には、ホワイトバランスのずれの影響が少ないと推定される。そこで、判定の結果、撮像感度が基準撮像感度より小さい場合には（ステップＳ１０２の判定結果が、否定「Ｎ」）、ホワイトバランスのずれのおそれが少ないと判断して、処理を終了する。

一方、判定の結果、撮像感度が基準撮像感度以上の場合には（ステップＳ１０２の判定結果が、肯定「Ｙ」）、ホワイトバランスのずれのおそれが高いと判断して、ステップＳ１０４以降において、さらに画像が暗い領域の多い画像か否かの最終的な判定を行う。

まず、補正係数計算部５０は、カウンタｎを初期値の「１」に設定し（Ｓ１０４）、ブロック分割部４１から入力されたｎ×ｍ画素から構成されるブロックＢｎの輝度および色差が所定の補正対象条件を満たすか以下を判定する（Ｓ１０６）。より具体的には、補正係数計算部５０は、ブロックＢｎの代表輝度が所定の輝度Ｌｔ以下であり、かつ、ブロックＢｎの代表色差が図５に示すような色差空間における所定の補正対象領域１００に含まれる場合に、ブロックＢｎは補正対象条件を満たす暗部ブロックであると判定する。

判定後、補正係数計算部５０は、暗部ブロックの数を示すカウンタＢｃをインクリメントし、さらにカウンタｎをインクリメントした後（Ｓ１１０）、暗部ブロックか否かの判定を行っていないブロックが存在するか否かを判定する（Ｓ１１２）。つまり、カウンタｎが総ブロック数Ｎ以上か否かを判定する。判定の結果、まだ、判定を行っていないブロックが存在する場合には、ステップＳ１０６以降の処理を繰り返す。

一方、すべてのブロックに対して暗部ブロックか否かの判定を行った場合（ステップＳ１１２の判定結果が、肯定「Ｙ」）、補正係数計算部５０は、暗部ブロック数Ｂｃが所定の閾ブロック数Ｂｔ以上か否かを判定する（Ｓ１１４）。ここで、閾ブロック数Ｂｔは、例えば、全ブロック数に対する暗部ブロック数の割合が５０％に相当する値とする。

判定の結果、暗部ブロック数Ｂｃが所定の閾ブロック数Ｂｔ以上の場合には（ステップＳ１１４の判定結果が、肯定「Ｙ」）、ホワイトバランスゲインを補正するための補正係数を計算し（Ｓ１１６）、暗部ブロック数Ｂｃが所定の閾ブロック数Ｂｔより小さい場合には（ステップＳ１１４の判定結果が、否定「Ｎ」）、判定処理を終了する。

続いて、補正係数計算処理について説明する。なお、本実施形態では、補正係数計算部５０は、ホワイトバランス調整を行っても、画像の暗い領域において、Ｒ信号およびＢ信号の出力レベルがＧ信号の出力レベルより高くなり画像の暗い領域が全体としてマゼンタ色にシフトしてしまうことを防ぐ場合を例に説明する。ここで、マゼンタ色を補正するには、Ｒ信号およびＢ信号の出力レベルがＧ信号の出力レベルと一致するように、Ｒ信号およびＢ信号の出力レベルを下げる、あるいは、Ｇ信号の出力レベルを上げればよい。つまり、画像信号のＧ成分とＲ成分との比Ｇ／Ｒおよび画像信号のＧ成分とＢ成分との比Ｇ／Ｂを増加させればよい。なお、説明を簡略化するために、本実施形態では、画像信号のＲ成分の出力レベルとＢ成分の出力レベルとは同一と仮定して説明する。

より具体的には、本実施形態では、ホワイトバランスゲイン計算部４６で算出されたＧ信号のゲインＧｇａｉｎに撮像感度、暗部ブロック数、フラッシュの有無により定められる補正係数Ｋ_Ｇを乗じることで、Ｇ信号の出力レベルを上げて、Ｇ信号の出力レベルをＲ信号およびＢ信号の出力レベルと一致させる。

ここで、補正係数Ｋ_Ｇは、次式（６）により表される。
Ｋ_Ｇ＝Ｋ_Ｇ１＋Ｋ_Ｇ２＋Ｋ_Ｆ＋１ ・・・（６）

係数Ｋ_Ｇ１は、撮像感度に基づいて定められる値であり、例えば、補正係数計算部５０は、図６Ａに示すような参照マップを参照することで、撮影時の撮像感度に対応する係数Ｋ_Ｇ１を求める。

また、係数Ｋ_Ｇ２は、全ブロック数に対する暗部ブロック数の割合に基づいて定められる値であり、例えば、補正係数計算部５０は、図６Ｂに示すような参照マップを参照することで、全ブロック数に対する暗部ブロック数の割合に対応する係数Ｋ_Ｇ２を求める。

さらに、係数Ｋ_Ｆは、撮影時のフラッシュ発光の有無に基づいて定められる値であり、例えば、補正係数計算部５０は、図６Ｃに示すような参照マップを参照することで、フラッシュ発光の有無に応じた係数Ｋ_Ｆを求める。

以上のように、各パラメータに対応する係数を求めた後、補正係数計算部５０は、式（６）に基づいて、補正係数Ｋ_Ｇを求める。

なお、上記の各参照マップは、例えば以下のように作成することができる。すなわち、撮像感度、暗部ブロック数の割合、およびフラッシュの有無の諸条件を変えて、通常のホワイトバランス調整を行っても暗い領域が全体としてマゼンタ色にシフトしている画像を複数用意する。そして、各画像に対して、マゼンタ色を抑制するように、各係数Ｋ_Ｇ１、Ｋ_Ｇ２、Ｋ_Ｆを調整し、ホワイトバランスゲインを調整する。その調整結果をマッピングすることで、各参照マップを作成することができる。

補正係数計算部５０は、求めた補正係数Ｋ_Ｇをホワイトバランスゲイン計算部４６へ出力し、ホワイトバランスゲイン計算部４６にゲインの補正を指示する。ホワイトバランスゲイン計算部４６は、補正係数計算部５０から補正係数Ｋ_Ｇが入力された場合には、算出したゲインＧｇａｉｎに補正係数Ｋ_Ｇを乗じることで、Ｇ信号の出力レベルをＲ信号およびＢ信号の出力レベルに一致させる。

なお、ホワイトバランスゲイン計算部４６は、算出したＲ信号のゲインＲｇａｉｎおよびＢ信号のゲインＢｇａｉｎを補正係数Ｋ_Ｇで除することで、Ｒ信号およびＢ信号の出力レベルをＧ信号の出力レベルと一致させてもよい。

また、上記では、画像信号のＲ成分の出力レベルとＢ成分の出力レベルとは同一である仮定して、Ｇ信号に対する補正係数Ｋ_Ｇのみを求める例について説明した。しかし、画像信号のＲ成分の出力レベルとＢ成分の出力レベルとは、図３Ｂに示すようにカラーフィルタの分光透過率の違いによって異なる。よって、Ｒ信号に対する補正係数Ｋ_Ｒ、Ｂ信号に対する補正係数Ｋ_Ｂを補正係数Ｋ_Ｇと同様に、例えば、図７Ａや図７Ｂに示す参照マップを参照することで求めて、次式（７）に基づいて、ホワイトバランスゲインの補正値（Ｒgain’，Ｇgain’，Ｂgain’）を求めることで、より精度良くホワイトバランスゲインを補正することができる。

なお、補正係数Ｋ_Ｒは、次式（８）、補正係数Ｋ_Ｂは、次式（９）により表される。
Ｋ_Ｒ＝Ｋ_Ｒ１＋Ｋ_Ｒ２＋Ｋ_Ｆ＋１ ・・・（８）
Ｋ_Ｂ＝Ｋ_Ｂ１＋Ｋ_Ｂ２＋Ｋ_Ｆ＋１ ・・・（９）

以上、本実施形態によれば、画像の全画素領域のうち、輝度レベルの高い画素領域の色差を優先して用いて求められたホワイトバランスゲインに対して、補正係数に基づく補正を行うことで、例えば、夜景画像など暗い領域の割合が多い画像において、当該暗い領域の色がホワイトバランス調整よりマゼンタ色にシフトすることを防止することができる。

なお、上記の実施形態では、輝度および色差が所定の補正対象条件を満たすブロックの数に基づいて、補正対象画像か否かの判定を行っている。しかし、例えば、画像全体の平均輝度が基準輝度以下であり、かつ、画像全体の平均色差が色差空間上において補正対象領域に含まれる場合には、補正対象画像であると判定してもよい。

本実施形態に係る撮像装置の機能ブロックを示す図である。 本実施形態に係るホワイトバランス処理部の詳細の機能ブロックを示す図である。 固体撮像素子の入射光量に対する出力信号レベルの出力特性について説明するための図である。 Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの入射光量に対する出力レベルについて説明するための図である。 Ｇ／ＲおよびＧ／Ｂについて説明するための図である。 画像信号に対応する画像が補正対象画像か否かを補正係数計算部が判定する際の処理手順を示すフローチャートである。 色差空間における補正対象領域の一例を示す図である。 補正係数Ｋ_Ｇを求める際に参照される参照マップの一例を示す図である。 補正係数Ｋ_Ｇを求める際に参照される参照マップの一例を示す図である。 補正係数Ｋ_Ｇを求める際に参照される参照マップの一例を示す図である。 補正係数Ｋ_Ｒ、補正係数Ｋ_Ｇ、および補正係数Ｋ_Ｂを求める際に参照される参照マップの一例を示す図である。 補正係数Ｋ_Ｒ、補正係数Ｋ_Ｇ、および補正係数Ｋ_Ｂを求める際に参照される参照マップの一例を示す図である。

符号の説明

１０ 固体撮像素子、２０ Ａ／Ｄ変換処理部、３０ ＲＧＢ分離部、４０ ホワイトバランス処理部、４１ ブロック分割部、４２ 代表値計算部、４４ ホワイトバランス評価部、４６ ホワイトバランスゲイン計算部、４８ ホワイトバランス調整部、５０ 補正係数計算部、６０ 画像処理部、７０ 制御部。

Claims (6)

1. 入射光量に応じた出力信号を出力する固体撮像素子と、
   前記出力信号に基づく画像の全画素領域のうち少なくとも輝度が基準輝度以上である画素領域の色差に基づいて、当該画像に対するホワイトバランスゲインを算出するホワイトバランスゲイン計算部と、
   算出されたホワイトバランスゲインに基づいて当該画像のホワイトバランス調整を行うホワイトバランス調整部と、
   前記画像の全画素領域のうち、輝度が前記基準輝度以下で、かつ色差が色差空間において所定の補正対象領域に含まれる暗部画素領域の割合が基準割合以上か否かの画素判定を行い、前記基準割合以上の場合に、前記ホワイトバランスゲイン計算部に対して所定の補正係数に基づく前記ホワイトバランスゲインの補正を指示するゲイン補正指示部と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記ゲイン補正指示部は、
   前記画像に対応する撮像感度が基準撮像感度より小さい場合には、前記ホワイトバランスゲインの補正を指示するか否かを判定するための前記画素判定を行わない、
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記ゲイン補正指示部は、
   前記画像の被写体輝度が基準被写体輝度より大きい場合には、前記ホワイトバランスゲインの補正を指示するか否かを判定するための前記画素判定を行わない、
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記補正係数は、前記画像に対応する撮像感度、前記暗部画素領域の割合、フラッシュ発光の有無、の少なくとも１つに基づいて定められる、
   ことを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、
   前記補正係数は、前記画像のＧ成分とＲ成分との比Ｇ／Ｒおよび前記画像のＧ成分とＢ成分との比Ｇ／Ｂが増加するように定められる、
   ことを特徴とする撮像装置。
6. 固体撮像素子から入射光量に応じて出力される出力信号に基づく画像の全画素領域のうち、少なくとも輝度レベルが基準輝度以上の画素領域の色差に基づいて、当該画像に対するホワイトバランスゲインを算出するホワイトバランスゲイン計算部と、
   算出されたホワイトバランスゲインに基づいて当該画像のホワイトバランス調整を行うホワイトバランス調整部と、
   前記画像の全画素領域のうち、輝度が前記基準輝度以下で、かつ色差が色差空間において所定の補正対象領域に含まれる暗部画素領域の割合が基準割合以上の場合に、前記ホワイトバランスゲイン計算部に対して所定の補正係数に基づく前記ホワイトバランスゲインの補正を指示するゲイン補正指示部と、
   を備えるホワイトバランス処理装置。

Images