JP4725184B2

JP4725184B2 - ホワイトバランス調整装置および利得調整方法

Info

Publication number: JP4725184B2
Application number: JP2005139886A
Authority: JP
Inventors: 偉雄藤田; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-05-12
Filing date: 2005-05-12
Publication date: 2011-07-13
Anticipated expiration: 2025-05-12
Also published as: JP2006319636A

Description

本発明は、ビデオカメラなどに用いられるホワイトバランス調整装置および利得調整方法に関する。

従来のホワイトバランス調整装置においては、色信号の利得を決定する利得決定手段をもち、被写体の照度に応じて色信号の利得の制限領域を決定し、この制限領域内で利得を決定することによりバランスの取れたホワイトバランス処理をおこなっていた。
特開２０００―７８６０６号公報（第２頁〜第６頁、第１図）

従来のホワイトバランス調整装置においては、制限領域の切替えが単独の閾値によって不連続に行われるため、切替えの前後でホワイトバランス処理が不安定になったり、被写体の照度が閾値をまたぐように変化した場合には撮影画像の色調が大きく異なったりするという問題があった。

この発明は上述の問題を解決するためになされたもので、制限領域の切替えの前後においても、撮影画像の色調を滑らかに変化させることができるホワイトバランス調整装置を得るものである。

この発明に係るホワイトバランス調整装置においては、色信号の利得の制限領域を、第１の制限領域と、第１の制限領域とは異なる第２の制限領域と、被写体の照度、第１の制限領域および第２の制限領域を特定する特定値、に基づいて特定される第３の制限領域と、のいずれかに切替えるようにしたものである。

この発明は、第１の制限領域と、第１の制限領域とは異なる第２の制限領域と、被写体の照度、第１の制限領域および第２の制限領域を特定する特定値に基づいて特定される第３の制限領域とを設けることにより、制限領域の切替え前後においても、撮影画像の色調を滑らかに変化させることができる。

実施の形態１．
図１は、この発明を実施するための実施の形態１におけるホワイトバランス調整装置を示すブロック図である。図１において、１はレンズ、２は画素蓄積時間を制御するためのＴＧ（ＴｉｍｉｎｇＧｅｎｅｒａｔｏｒ）やアナログゲインアンプ等で構成され、レンズ１から出力された被写体の光学像を電気信号に変換する色信号変換手段、３はＡ／Ｄ変換器等で構成され、色信号変換手段２が変換した電気信号をＢ（青）、Ｇ（緑）、Ｒ（赤）のディジタル信号に変換し、各色の色信号を検出する色信号検出手段である。４、５、６は乗算器等を用いて構成され、それぞれＢ、Ｇ、Ｒの色信号の色レベルを決定するＢ色レベル決定手段（ＢＣＬ）、Ｇ色レベル決定手段（ＧＣＬ）、Ｒ色レベル決定手段（ＲＣＬ）である。７はＢ色レベル決定手段４、Ｇ色レベル決定手段５、Ｒ色レベル決定手段６の信号に基づいて画像の補間処理や色調調整等を行うための画像処理回路、８は画像処理回路７の演算結果を画像データとして格納しておく画像メモリである。９はＢ色レベル決定手段４の出力を積分するＢ積分回路、１０はＧ色レベル決定手段の出力を積分するＧ積分回路、１１はＲ色レベル決定手段の出力を積分するＲ積分回路である。１２はレンズ１と色信号変換手段２からの出力から被写体の照度を検出する照度検出手段、１３は照度検出手段が検出した照度に基づいて各色信号の利得の制限領域を決定する制限領域決定手段、１４はＢ積分回路９とＧ積分回路１０とＲ積分回路１１との出力に基づいて各色信号の利得を決定する利得決定手段である。１５は照度検出手段１２と制限領域決定手段１３と利得決定手段１４とを有するマイクロコンピュータである。

次にこのように構成されたホワイトバランス調整装置の動作について説明する。レンズ１は被写体の光学像を色信号変換手段２へ、レンズの絞りの情報を照度決定手段１２へと出力する。色信号変換手段２はレンズ１からの光学像を電気信号に変換し、この電気信号を色信号検出手段３へ、画素蓄積時間とアナログゲインレベルを照度決定手段１２へと出力する。

色信号検出手段３は、内部のＡ／Ｄ変換器を用いて色信号変換手段２からの電気信号をＢ、Ｇ、Ｒの三色のディジタルデータに変換し、各色の色信号を算出する。次に、Ｂの色信号をＢ色レベル決定手段４へ、Ｇの色信号をＧ色レベル決定手段５へ、Ｒの色信号をＲ色レベル決定手段５へ、と出力する。Ｂ色レベル決定手段４は内部の乗算器等を用い、色信号検出手段３が出力したＢの色信号と、利得決定手段１２が決定した利得とを乗じ画像処理回路７およびＢ積分回路９へと出力する。Ｇ色レベル決定手段５、Ｒ色レベル決定手段６も同様に色信号検出手段３が出力したＧの色信号とＲの色信号と、利得決定手段が決定した利得と乗じ画像処理回路７およびＧ積分回路１０、Ｒ積分回路１１へとそれぞれ出力する。

画像処理回路７はＢ色レベル決定手段４、Ｇ色レベル決定手段５およびＲ色レベル決定手段６の出力に対して、色補間処理、色調整処理、フィルタ処理、解像度変換処理等の必要な画像処理を行い、処理後の画像データを画像メモリ８へと出力する。画像メモリ８はこの画像データを保存しておく。Ｂ積分回路９、Ｇ積分回路１０、Ｒ積分回路１１はそれぞれの入力を積算した後、積算画素数での正規化をおこない、各色の平均信号レベルであるＳｂ、Ｓｇ、Ｓｒを利得決定手段１４へ出力する。

照度検出手段１２はレンズ１の絞り、色信号変換手段２からの画素蓄積時間およびアナログゲインレベル等の情報に基づいて被写体の照度を算出する。制限領域決定手段１３は照度検出手段１２が算出した照度に基づいてＲ、Ｇ、Ｂ各色信号の利得の制限領域を算出する。利得決定手段１４はＢ積分回路９、Ｇ積分回路１０およびＲ積分回路１１が出力した各色の平均信号レベルに基づいて、各色信号の利得を算出する。ここで算出した利得が制限領域決定手段１３の算出した領域内の場合にはこの算出した利得を、制限領域決定手段１３の算出した領域外の場合には、この算出した利得と最も距離の近い制限領域内の利得を、Ｂ色レベル決定手段４、Ｇ色レベル決定手段５およびＲ色レベル決定手段６へ出力する利得として決定し、マイクロコンピュータ１５はこの決定された利得を各色レベル決定手段に出力する。以上により、各色信号の利得が決定される。

以上一連の処理はフレームごとにおこなわれ、前フレームでの情報を利用して次フレームの色信号の利得を決定する処理が繰返しおこなわれる。

次に、制限領域決定手段１３における色信号の制限領域の決定方法について説明する。制限領域決定手段１３には第１の閾値Ｌ１と、Ｌ１未満の第２の閾値Ｌ２とが設定されている。さらに、撮影状態が屋外である場合に対応する第１の制限領域Ｄ１と、撮影状態が屋内である場合に対応するＤ１とは異なる第２の制限領域Ｄ２も設定されている。ここで、各制限領域は、横軸がＧ信号の利得に対するＲ信号の利得Ｔｒ、縦軸がＧ信号の利得に対するＢ信号の利得Ｔｂである平面状の領域である。図２に制限領域を表す図を示す。図２において、Ｄ１は格子で示される領域であって、日中屋外、曇り時または日中の日陰に対応する光源域に対して取り得る利得の領域を含むように、Ｄ２は斜線で示される領域であって、蛍光灯下、薄暮（夕暮れ）または日中屋外に対応する光源域に対して取り得る利得の領域を含むように設定されている。具体的には、Ｄ１は（式４）〜（式７）で、Ｄ２は（式８）〜（式１１）で表現されるＴｒとＴｂとを軸とした平面上の領域である。
ＡＴｒ＋ＢＴｂ ≧ Ｘ１…（式４）
ＡＴｒ＋ＢＴｂ ≦ Ｘ２…（式５）
ＡＴｒ−ＢＴｂ ≧ Ｙ１…（式６）
ＡＴｒ−ＢＴｂ ≦ Ｙ２…（式７）
ＡＴｒ＋ＢＴｂ ≧ Ｘ３…（式８）
ＡＴｒ＋ＢＴｂ ≦ Ｘ４…（式９）
ＡＴｒ−ＢＴｂ ≧ Ｙ３…（式１０）
ＡＴｒ−ＢＴｂ ≦ Ｙ４…（式１１）
（式４）〜（式１１）において、Ｘ１〜Ｘ４およびＹ１〜Ｙ４は定数であって、Ｄ１とＤ２とを特定する特定値であり、ＡおよびＢはそれぞれ、ＴｒとＴｂの係数であって、上述の領域が含まれるように適当に設定されている。

次に、制限領域決定手段１３は、特定値と照度検出手段１２が検出した被写体の照度Ｌｘに基づいて第３の制限領域Ｄ３を算出する。ここで、Ｄ３は（式１２）〜（式１５）で算出される領域である。
ＡＴｒ＋ＢＴｂ≧Ｘ_１＋｛（Ｘ３−Ｘ１）×（Ｌｘ−Ｌ２）／（Ｌ１−Ｌ２）｝…（式１２）
ＡＴｒ＋ＢＴｂ≦Ｘ_２＋｛（Ｘ４−Ｘ２）×（Ｌｘ−Ｌ２）／（Ｌ１−Ｌ２）｝…（式１３）
ＡＴｒ−ＢＴｂ≧Ｙ_１＋｛（Ｙ３−Ｙ１）×（Ｌｘ−Ｌ２）／（Ｌ１−Ｌ２）｝…（式１４）
ＡＴｒ−ＢＴｂ≦Ｙ_２＋｛（Ｙ４−Ｙ２）×（Ｌｘ−Ｌ２）／（Ｌ１−Ｌ２）｝…（式１５）

次に、制限領域決定手段１３での制限領域の決定方法についてＡ＝Ｂ＝１である場合について、図２と図３を用いて説明する。図３は、照度検出手段１２が検出した被写体の照度と制限領域の関係を示したものである。

制限領域決定手段１３は照度検出手段１２が検出した被写体の照度ＬｘがＬ１以上である場合は撮影状態が屋外であると判断しＤ１を、ＬｘがＬ２以下である場合は撮影状態が屋内であると判断しＤ２を、制限領域と決定する。また、ＬｘがＬ１とＬ２との間（以後、中間領域と呼ぶ）の場合は、Ｌｘに応じて変化する（式１２）〜（式１５）で算出される第３の制限領域Ｄ３を、制限領域と決定する。そして、利得決定手段１４はこの決定された制限領域を用いて、各色信号の利得を算出する。

例えば、Ｌｘが図３に示すような中間領域内の中間値Ａであるような場合は図２に示す一点鎖線で囲まれた領域を、Ｌｘが図３に示す中間値Ｂである場合は図２に示す破線で囲まれた領域を、それぞれ制限領域として決定する。従って、Ｄ３はＬｘが中間領域内の場合にはＬｘに応じて、Ｄ１とＤ２とを連続的に補間するように変化することになる。

また、ＡＴｒ×ＢＴｂが一定またはＡＴｒ／ＢＴｂが一定といった比率一定の直線および曲線によって制限領域を決定しても良い。すなわちＤ１を（式１６）〜（式１９）で、Ｄ２を（式２１）〜（式２４）で表現される領域にしても良い。
ＡＴｒ×ＢＴｂ ≧ Ｘ１…（式１６）
ＡＴｒ×ＢＴｂ ≦ Ｘ２…（式１７）
ＡＴｒ／ＢＴｂ ≧ Ｙ１…（式１８）
ＡＴｒ／ＢＴｂ ≦ Ｙ２…（式１９）
ＡＴｒ×ＢＴｂ ≧ Ｘ３…（式２０）
ＡＴｒ×ＢＴｂ ≦ Ｘ４…（式２１）
ＡＴｒ／ＢＴｂ ≧ Ｙ３…（式２２）
ＡＴｒ／ＢＴｂ ≦ Ｙ４…（式２３）
この場合、Ｘ１、Ｘ２…に相当する特定値に関して（式１２）〜（式１５）と同様の計算をおこない、Ｄ３を算出することにより中間領域での制限領域を決定することが可能となる。

また、Ｄ３の境界線の交点の軌跡は、対応するＤ１の境界線の交点とＤ２の境界線の交点とをむすぶ直線を描くように設定されているが、Ｄ３の境界線の交点の軌跡はこれらを結ぶ曲線になるように設定しても良い。この場合、（式１２）〜（式１５）の右辺を調整すればよい。

上述のように本実施の形態では、被写体の照度によって各色信号の利得の制限領域を切替える際に中間領域を設け、制限領域が連続的に変動する構成になっているので、制限領域の切替えが発生する場合でも撮影画像の色合いが急激に変化することなく、滑らかかつ自然なホワイトバランス処理を実現することが可能である。

また、Ｄ３はＤ１およびＤ２の特定値と照度検出手段１２からの照度から算出する構成としているため、単独の閾値で制限領域を切替える場合と比較して新たなパラメータを追加することなく、安定性の高いホワイトバランス処理を実現することが可能となる。

次に利得決定手段１４での利得決定方法を、制限領域決定手段１３が図４に示すような制限領域を決定した場合について図５を用いて説明する。図４において、横軸はＧの利得に対するＲの利得Ｔｒ、縦軸はＧの利得に対するＢの利得Ｔｂ、斜線部は利得の制限領域を表すものである。図５は、利得決定方法を示すフローチャートである。

まずステップＳ１では、マイクロコンピュータ１５が始動すると、利得の初期設定が行われる。ステップＳ２では、利得決定手段１４はＢ積分回路９、Ｇ積分回路１０およびＲ積分回路１１からＢ、ＧおよびＲの平均信号レベルＳｂ、ＳｇおよびＳｒを読み取る。ステップＳ３では、前フレームでのＲの利得とＳｒ、Ｓｇの比率から、次フレームのＲの平均信号レベルＳｒをＧの平均信号レベルＳｇに近づけるための利得を算出する。算出式を（式１）に示す。
Ｋｒ（ｎ＋１）＝Ｋｒ（ｎ）×Ｓｇ／Ｓｒ…（式１）
（式１）において、
Ｋｒ（ｎ）：Ｒに対する第ｎフレームの利得
Ｋｒ（ｎ＋１）：Ｒに対する第（ｎ＋１）フレームの利得
である。

ステップＳ４では、ステップＳ３と同様の操作をＢについて行う。すなわち、Ｂの平均信号レベルＳｂを（式２）に従ってＧの平均信号レベルＳｇに近づけるための利得を算出する。
Ｋｂ（ｎ＋１）＝Ｋｂ（ｎ）×Ｓｇ／Ｓｂ…（式２）
（式２）において、
Ｋｂ（ｎ）：Ｂに対する第ｎフレームの利得
Ｋｂ（ｎ＋１）：Ｂに対する第（ｎ＋１）フレームの利得
である。

ステップＳ５では、次フレームのＧの利得を決定する。ここでは、Ｇの利得は変更せず、前フレームの設定値をそのまま使用する。すなわち、Ｇの利得は、
Ｋｇ（ｎ＋１）＝Ｋｇ（ｎ）…（式３）
と表せる。
（式３）において、
Ｋｇ（ｎ）：Ｇ画素に対する第ｎフレームの利得
Ｋｇ（ｎ＋１）：Ｇ画素に対する第（ｎ＋１）フレームの利得
である。

ステップＳ６では、ステップＳ３〜Ｓ５で算出された各色信号の利得、Ｋｒ（ｎ＋１）、Ｋｇ（ｎ＋１）、Ｋｒ（ｎ＋１）から算出されるＴｒ（ｎ＋１）およびＴｂ（ｎ＋１）が制限領域決定手段１３の決定した図４に示す制限領域に適合するかどうかを判定する。ここで、Ｔｒ（ｎ＋１）＝Ｋｒ（ｎ＋１）／Ｋｇ（ｎ＋１）、Ｔｂ（ｎ＋１）＝Ｋｂ（ｎ＋１）／Ｋｇ（ｎ＋１）である。この結果、制限領域内に入っていないと判定した場合はステップＳ７へ、制限領域内に入っていると判定した場合はステップＳ８へと進む。ただし、境界線上の点は制限領域内であるとする。

ステップＳ７では、ステップＳ６においてＴｒ、Ｔｂが制限領域内に入ってないと判定した場合、ステップＳ３〜Ｓ５で算出された各色画素の利得の示すＴｒ、Ｔｂの座標から最も距離の近い制限領域内の点を補正値として使用する。例えば、図４において、×点が
ステップＳ３〜Ｓ５で算出された各色画素の利得の示すＴｒ、Ｔｂであった場合、×点から最も距離の近い制限領域内の点である○点を補正値として使用する。決定されたＴｒ、Ｔｂの値に基づき、Ｋｇ（ｎ＋１）の値は変化させずにＫｒ（ｎ＋１）、Ｋｂ（ｎ＋１）の値を再算出する。

ステップＳ８では、マイクロコンピュータ１５は、ステップＳ３〜Ｓ５で算出された又はステップＳ７で再算出された各色の利得レベルであるＫｂ（ｎ＋１）、Ｋｇ（ｎ＋１）およびＫｒ（ｎ＋１）を次フレームの利得として、対応する色レベル決定手段へ出力する。

以上のステップＳ１〜Ｓ８を繰り返すことにより、前フレームの各色信号の利得に基づいて、次フレームの各色信号の利得を決定することが可能となる。また、利得の制限領域内で利得を決定することにより、特定色が偏っているような被写体についても高精度のホワイトバランス調整を行うことが可能となる。

実施の形態２．
実施の形態１におけるマイクロコンピュータ１５は図６に示すように、照度の時間的変化を抑制するための照度変化抑制手段１６を備えるような構成にしても良い。尚、マイクロコンピュータ１５以外の構成、動作は実施の形態１と同様である。この場合、照度検出手段１２が検出した照度は、照度変化抑制手段１６により前フレームの被写体の照度に応じた照度が算出される。制限領域決定手段１３は照度変化抑制手段１６が算出した照度に基づいて制限領域を決定する。

次に、照度変化抑制手段１６の動作について説明する。照度変化抑制手段１６は照度検出手段１２が検出する現在の被写体の照度と、前フレームの被写体の照度とから現在のフレームの照度を算出する。制限領域決定手段１３はこの照度変化抑制手段１６が算出した照度に基づいて、実施の形態１と同様に利得の制限領域を決定する。この場合における被写体の照度の算出式は、（式２４）で表される。
Ｌ（ｎ＋１）＝（１−Ｒ）×Ｌ（ｎ）＋Ｒ×Ｌｔｍｐ…（式２４）
（式２４）において、
Ｌ（ｎ＋１）：第ｎ＋１フレームでの照度
Ｌ（ｎ）：第ｎフレームでの照度
Ｌｔｍｐ：照度検出手段１２が検出する現在の照度
Ｒ：時定数（０≦Ｒ≦１の範囲で指定）
である。

Ｒ＝１／２と設定した場合における、フレームごとの被写体照度の変動例を図７と図８に示す。図７と図８は、横軸はフレーム番号であり、縦軸は照度である。また、○は照度検出手段１２が検出する照度、×は照度変化抑制手段１６が算出する照度を示している。図７と図８から明らかなように、照度変化抑制手段１６を用いることにより、制限領域決定手段１３で使用する照度を滑らかに推移させることが可能である。

このように構成されたホワイトバランス調整装置においては、被写体照度の急激な変化があった場合でも、制限領域の切替えを滑らかにおこなうことができ、より滑らかで安定性の高いホワイトバランス処理を実現することが可能である。

この発明の実施の形態１を示すホワイトバランス調整装置のブロック図である。この発明の実施の形態１における制限領域の切替えを示す図である。この発明の実施の形態１において、被写体の照度と制限領域の関係を示した図である。この発明の実施の形態１における制限領域を表す図である。この発明の実施の形態１における利得決定方法を示すフローチャートである。この発明の実施の形態３におけるマイクロコンピュータを示す図である。この発明の実施の形態３におけるフレーム番号と被写体照度を示す図である。この発明の実施の形態３におけるフレーム番号と被写体照度を示す図である。

符号の説明

２色信号変換手段、３色信号検出手段、４Ｂ色レベル決定手段、５Ｇ色レベル決定手段、６Ｒ色レベル決定手段、１１照度検出手段、１２照度検出手段、１３制限領域決定手段、１４利得決定手段、１６照度変化抑制手段

Claims

被写体の光学像を色信号に変換する色信号変換手段と、
前記被写体の照度を検出する照度検出手段と、
前記照度検出手段が検出した照度と、前フレームの照度に基づき、現在のフレームの照度を算出する照度変化抑制手段と、
前記照度変化抑制手段が算出した照度に基づき前記色信号の利得の制限領域を決定する制限領域決定手段と、
前記色信号変換手段が検出した色信号の利得を前記制限領域内で決定する利得決定手段と、
前記色信号変換手段が検出した色信号と前記利得決定手段が決定した利得とを用いて色レベルを決定する色レベル決定手段と、
を有するホワイトバランス調整装置であって、
前記制限領域決定手段は、
前記制限領域を前記照度変化抑制手段が算出した照度に基づいて、
第１の制限領域、
前記第１の領域とは異なる第２の制限領域、
前記照度変化抑制手段が算出した前記照度、前記第１の制限領域を特定する第１の特定値、前記第２の制限領域を特定する第２の特定値、に基づいて特定される第３の制限領域、
のいずれかに切り替えることを特徴としたホワイトバランス調整装置。
前記制限領域決定手段は前記制限領域を、
前記照度変化抑制手段が算出した照度が第１の閾値以上の場合は前記第１の制限領域、
前記照度が前記第１の閾値未満である第２の閾値以下の場合は前記第２の制限領域、
前記照度が前記第１の閾値と前記第２の閾値との間の場合は前記第３の制限領域、
に切り替えることを特徴とした請求項１に記載のホワイトバランス調整装置。
被写体の照度を検出する照度検出工程と、
前記照度検出工程にて検出した照度と、前フレームの照度に基づき、現在のフレームの照度を算出する照度変化抑制工程と、
前記照度変化抑制工程にて算出した照度に基づき、前記被写体の光学像から変換された色信号の利得の制限領域を決定する制限領域決定工程と、
前記色信号の利得を前記制限領域内で決定する利得決定工程と、
を有する利得調整方法であって、
前記制限領域決定工程では、
前記制限領域を前記照度変化抑制工程にて算出した照度に基づいて、
第１の制限領域、
前記第１の領域とは異なる第２の制限領域、
前記照度変化抑制工程にて算出した前記照度、前記第１の制限領域を特定する第１の特定値、
前記第２の制限領域を特定する第２の特定値、に基づいて特定される第３の制限領域、のいずれかに切り替えることを特徴とした利得調整方法。