JP2008124928A - オートホワイトバランスシステム - Google Patents

Abstract

【課題】オートホワイトバランスシステムの回路規模の増大を抑制できる。
【解決手段】本発明の例に関わるオートホワイトバランスシステムは、ホワイトバランス調整後のＹＵＶ信号を生成するラインメモリを有する色分離同時化処理部３と、ホワイトバランス調整が必要か否かの判定を行う色判定処理部４と、色判定処理部４の判定結果及びホワイトバランス調整後のＹＵＶ信号に基づき、ホワイトバランス調整ゲインを算出するホワイトバランス調整ゲイン算出処理部５と、ホワイトバランス調整ゲインの逆数変換値を出力する逆数算出処理部６と、ホワイトバランス調整後のＹＵＶ信号と逆数変換値との乗算を行う第２の乗算器７とを備える。
【選択図】図１

Description

本発明は、オートホワイトバランスシステムに関する。

近年、デジタルカメラの需要が高まっている。

デジタルカメラにより撮影された映像は、ＣＣＤ或いはＣＭＯＳイメージセンサの素子の特性に合わせた色調となるが、これを人間の目の特性に合わせた色調にするため、システム内で様々な映像補正処理がなされている。

その中で、ホワイトバランス調整は、太陽を光源とする白色を基準として、例えば、白熱電球、蛍光灯などを光源にしたときの白色に対して、赤色及び青色などの調整により、白色の調整を行うものである。そして、そのホワイトバランス調整は、一般に、オートホワイトバランスシステム（以下、ＡＷＢシステム）で行われる（例えば、特許文献１参照）。

撮影された映像がホワイトバランスの調整が必要か否かは、ＹＵＶ信号に基づき、色判定処理部で判定される。また、ホワイトバランス調整は、ＹＵＶ信号に基づいて算出されたホワイトバランス調整ゲインが、システム内でフィードバックされることにより行われる。

このＹＵＶ信号は、撮影された映像の映像信号が色分離同時化処理部において、赤、緑、青の信号にそれぞれ色分離・同時化され、それらの信号に基づいて生成される。

ホワイトバランス調整が必要か否かの判定を、色判定処理部専用に生成されたＹＵＶ信号により行う場合、色判定処理部専用の色分離同時化処理部が設けられる。しかし、色分離同時化処理部では、ラインメモリを使用するため、イメージセンサの回路規模が大幅に増大してしまう。

この問題を解決するため、色判定処理部専用の色分離同時化処理部を設けず、ホワイトバランス調整が行われたＹＵＶ信号を用いて、色判定が行われる。

しかし、この場合には、ホワイトバランス調整ゲインの影響を受けたホワイトバランス調整後のＹＵＶ信号に基づいて、色判定が行われることになる。

そのため、撮影条件によっては、正常な色判定を行えない恐れが生じる。
特開平４−３０４０９３号公報

本発明の例は、オートホワイトバランスシステムの回路規模の増大を抑制できる技術を提案する。

本発明の例に関わるオートホワイトバランスシステムは、ホワイトバランス調整後の映像信号を出力する第１の乗算器と、前記ホワイトバランス調整後の映像信号から、ホワイトバランス調整後のＹＵＶ信号を生成するラインメモリを有する色分離同時化処理部と、
ホワイトバランス調整が必要か否かの判定を行う色判定処理部と、前記色判定処理部の判定結果及び前記ホワイトバランス調整後のＹＵＶ信号に基づき、ホワイトバランス調整ゲインを算出するホワイトバランス調整ゲイン算出処理部と、前記ホワイトバランス調整ゲインの逆数変換値を出力する逆数算出処理部と、前記ホワイトバランス調整後のＹＵＶ信号と前記逆数変換値との乗算を行う第２の乗算器とを備える。

本発明の例によれば、オートホワイトバランスシステムの回路規模の増大を抑制できる。

以下、図面を参照しながら、本発明の例を実施するための最良の形態について詳細に説明する。

１． 概要
本発明の例は、オートホワイトバランスシステム（ＡＷＢシステム）に関し、システム内に、ホワイトバランス調整ゲインの逆数を算出する逆数算出処理部と、その逆数変換値とホワイトバランス調整がなされたＹＵＶ信号とを乗算する乗算器を有することを特徴とする。

ホワイトバランス調整が必要か否かの判定は、色判定処理部により、ホワイトバランス調整がなされていないＹＵＶ信号により判定することが望ましい。

本発明の例では、上述のホワイトバランス調整ゲインの逆数変換値とホワイトバランス調整後のＹＵＶ信号とを乗算することにより、ホワイトバランス調整前のＹＵＶ信号を生成することができる。

よって、色判定処理部専用に、回路規模の大きいラインメモリを有する色分離同時化処理部を設ける必要が無い。それゆえ、ＡＷＢシステムの回路規模の増大を抑制することができる。

また、ホワイトバランス調整が必要か否かの判定を、ホワイトバランス調整前のＹＵＶ信号で行うことができるので、適正なホワイトバランス調整を行うことができる。

２． 実施の形態
次に、最良と思われるいくつかの実施の形態について説明する。

（Ａ） 構成
図１は、本実施の形態のＡＷＢシステムの構成を示すブロック図である。

イメージセンサ１は、映像信号を出力する。このイメージセンサ１は、例えば、単板式エリアイメージセンサである。映像信号は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号から構成される。このイメージセンサ１は、例えば、ＣＣＤ或いはＣＭＯＳセンサからなる。そして、それらセンサの各々の素子、つまり、１画素は、例えば、ベイヤー方式などの配列パターンを有するカラーフィルタにより、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうち、いずれか１つの色だけに反応するようにそれぞれ設定されている。

ＡＷＢゲイン乗算器（第１の乗算器）２は、映像信号とホワイトバランス調整ゲインの乗算を行い、撮影された映像に対して、ホワイトバランスの調整を行う。よって、ＡＷＢゲイン乗算器２は、ホワイトバランス調整ゲインが乗算された映像信号、つまり、ホワイトバランス調整が施された映像信号を生成する。

色分離同時化処理部３は、ＡＷＢゲイン乗算器２を介して、映像信号が入力され、入力された映像信号は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各成分に分離される。分離された各信号成分に基づき、ＹＵＶ信号が生成される。
このＹＵＶ信号は、ホワイトバランス調整ゲインが乗算され、ホワイトバランス調整がなされた映像信号から生成されるので、ホワイトバランス調整後のＹＵＶ信号（以下、調整後ＹＵＶ信号）となる。尚、ＹＵＶ信号は、映像の輝度を表すＹ信号（輝度信号）、青色成分と輝度信号（Ｙ信号）の差であるＵ信号、赤色成分と輝度信号（Ｙ）の差であるＶ信号からなる。また、色分離同時化処理部３内には、ラインメモリ３Ａが設けられる。このラインメモリ３Ａは、数ライン分、つまり、イメージセンサの水平方向の有効画素数の数倍分の信号データを蓄積する。
色分離同時化処理部３により生成された調整後ＹＵＶ信号は、ホワイトバランス調整ゲイン算出処理部５と、乗算器（第２の乗算器）７に出力される。

色判定処理部４は、撮影された映像がホワイトバランス調整が必要な領域を含むか否かを、ＹＵＶ信号に基づいて判定し、その判定結果をホワイトバランス調整ゲイン算出処理部５に出力する。

ホワイトバランス調整ゲイン算出処理部５は、色判定処理部４による判定結果と、色分離同時化処理部３からの調整後ＹＵＶ信号に基づき、ホワイトバランス調整ゲインを算出する。

ホワイトバランス調整ゲイン算出処理部５の内部には、ＵＶ信号積算部５Ａ及びＲＢゲイン算出部５Ｂが設けられる。

ＵＶ信号積算部５Ａは、色判定処理部４がホワイトバランス調整が必要と判定した場合、ＹＵＶ信号のうち、色相・彩度の変化を表すＵＶ信号の積算を行う。

また、ＲＢゲイン算出部５Ｂは、ＵＶ信号積算部５Ａの演算結果に基づき、Ｒゲイン（赤色成分ゲイン）及びＢゲイン（青色成分ゲイン）の算出を行う。ホワイトバランス調整ゲイン算出部５は、このＲゲイン及びＢゲインの算出結果に基づいたホワイトバランス調整ゲインを算出し、出力する。

また、ホワイトバランス調整ゲイン算出処理部５の内部構成は、図２に示す構成であっても良い。この場合には、ＲＢゲイン算出部５１Ｂが、調整後ＹＵＶ信号に基づき、Ｒゲイン及びＢゲインを算出し、ＲＢゲイン信号積算部５１ＡがＲＢゲインの積算を行い、その結果からホワイトバランス調整ゲインの算出を行う。

ホワイトバランス調整ゲイン算出処理部５により算出されたホワイトバランス調整ゲインは、ＡＷＢゲイン乗算器２にフィードバックされると同時に、逆数算出処理部６に出力される。

逆数算出処理部６は、入力されたホワイトバランス調整ゲインの逆数変換値を算出する。このとき逆数算出処理部６によりなされる逆数変換は、ホワイトバランス調整ゲインをＧとする時、逆数変換値＝１／Ｇとなる処理である。算出された逆数変換値は、乗算器７に出力される。尚、逆数変換値は、１／Ｇに任意の定数を乗算させた値でも良い。

乗算器７は、色分離同時化処理部３から出力された調整後ＹＵＶ信号と逆数算出処理部６から出力された逆数変換値を乗算し、ホワイトバランス調整前のＹＵＶ信号を生成する。そして、乗算器７の演算結果により生成されたホワイトバランス調整前のＹＵＶ信号は、色判定処理部４に出力される。

本実施の形態に示すオートホワイトバランスシステムは、上述の逆数算出処理部６及び乗算器７を有することを特徴とする。

色判定処理部４において、ホワイトバランス調整を行うか否かの判定を行うためには、ホワイトバランス調整がなされていないＹＵＶ信号により行うことが望ましい。

本実施の形態によれば、ホワイトバランス調整前のＹＵＶ信号は、色分離同時化処理部３から出力されるホワイトバランス調整後のＹＵＶ信号と、逆数算出処理部６によりホワイトバランス調整ゲインが逆数変換された値が、乗算器７により乗算されることにより得られる。

それゆえ、逆数算出処理部６と第２の乗算器７により、色判定専用の回路規模の大きいラインメモリ３Ａを含む色分離同時化処理部３を設けずとも、ホワイトバランス調整前のＹＵＶ信号を、色判定処理部４による色判定のために生成できる。

したがって、オートホワイトバランスシステムの回路規模が増大するのを抑制できる。

また、ホワイトバランス調整前のＹＵＶ信号に基づいて、色判定を行うことができるため、適正なホワイトバランス調整を行うことができる。

（Ｂ） 逆数算出処理部の構成
上述のように、ホワイトバランス調整前のＹＵＶ信号を生成するために、逆数算出処理部６において、ホワイトバランス調整ゲインの値に対して、逆数変換が行われる。この逆数変換値は、入力値であるホワイトバランス調整ゲインに対して、図３に示すような出力となる。

以下に、入力値の逆数変換を行う逆数算出処理部６の構成及び逆数変換値の算出方法について、説明する。

（１） ＲＯＭ
以下に、ＲＯＭによる逆数変換処理について説明を行う。

逆数変換処理部の一例として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）が、図１に示す逆数算出処理部６内に設けられる。

この場合、ホワイトバランス調整ゲインに対応する入力値と、その入力値を逆数変換した出力値との関係を示すＲＯＭテーブルが、ＲＯＭ内に記憶される。

フィードバックゲインとして扱われるホワイトバランス調整ゲインは、例えば、任意の基準値に対して、その基準値の１／４倍から４倍の値がゲインの設定範囲として扱われる。

それと同様に、図３に示す入力値としてのホワイトバランス調整ゲインの設定範囲は、任意の基準値Ｒに対して、その基準値の１／４倍を最小値Ｘ１とし、基準値の４倍を最大値Ｘ２としてＲＯＭテーブル内に設定される。その設定範囲内においての各入力値が、ＲＯＭに記憶される。

このＸ１〜Ｘ２の設定範囲内において、入力値がそれぞれ逆数変換され、その逆数変換された値が出力値としてＲＯＭに記憶される。それゆえ、出力値となる逆数変換値は、入力値であるホワイトバランス調整ゲインが最小値Ｘ１のとき、最大値Ｙ１となり、ホワイトバランス調整ゲインが最大値Ｘ２のとき、最小値Ｙ２となる。

また、ホワイトバランス調整ゲインの最小値Ｘ１より小さい値は設定範囲外となる。そのため、最小値Ｘ１より小さい値が入力された場合には、例えば、逆数変換値の最大値Ｙ１が出力されるように、ＲＯＭテーブルに設定される。また、入力値の最大値Ｘ２より大きい値も設定範囲外となるため、この場合には、例えば、逆数変換値の最小値Ｙ２が出力されるように、ＲＯＭテーブルに設定される。

以上のように、ＲＯＭを用いた逆数算出処理部においては、ＲＯＭテーブルを参照して、入力値となるホワイトバランス調整ゲインの値に対して、逆数変換値を出力する。それにより、ホワイトバランス調整ゲインに対する逆数変換値を得ることができる。

（２） ハードウェア回路
逆数算出処理部は、図４に示すようなハードウェア回路とすることも可能である。

上述のＲＯＭよる逆数変換値の算出は、精度の高い逆数変換を行うことができる。しかし、ＲＯＭテーブルのデータ量が多くなると、容量の大きいＲＯＭを使用せねばならず、回路規模が大きくなってしまう。

それゆえ、図５に示す、例えば、０〜Ｘ１、Ｘ３〜Ｘ２の範囲のように、出力値の変化量の小さい領域においては、直線近似により、入力値であるホワイトバランス調整ゲインの逆数の算出が行われる。また、Ｘ１〜Ｘ３の範囲のように、変化量の大きい領域においては、ＲＯＭテーブルによる逆数の算出が行われる。尚、Ｘ３〜Ｘ２の領域においては、複数の近似直線により、近似されている。

上述のように、直線近似とＲＯＭテーブルにより逆数変換値を得ることにより、逆数変換の精度を保ち、且つ、回路規模の増大を防止できる。

以下に、図４に示すハードウェア回路の構成及び動作について説明する。

図４に示すハードウェア回路は、直線近似部６Ａと、ＲＯＭ６Ｂと、セレクト部６Ｃを有する。

入力値であるホワイトバランス調整ゲインは、直線近似部６Ａ、ＲＯＭ６Ｂ及びセレクト部６Ｃにそれぞれ入力する。尚、入力値であるホワイトバランス調整ゲインの設定範囲及び出力値である逆数変換値の設定範囲は、上述のＲＯＭの例と同様とする。

直線近似部６Ａ及びＲＯＭ６Ｂは、入力されたホワイトバランス調整ゲインに基づき、逆数変換値を出力する。

セレクト部６Ｃは、直線近似部６Ａ及びＲＯＭ６Ｂによる逆数変換値のうち、入力されたホワイトバランス調整ゲインに対応する逆数変換値を選択する。例えば、Ｘ１より小さい入力値、或いは、Ｘ３より大きい入力値の場合には、直線近似部６Ａの出力値が、セレクト部６Ｃにより選択される。また、入力値がＸ１〜Ｘ３の範囲内の場合には、ＲＯＭ６Ｂの出力が、セレクト部６Ｃにより選択される。

セレクト部６Ｃにより選択された逆数変換値が、乗算器７へ出力される。

以上のように、ハードウェア回路により、入力されたホワイトバランス調整ゲインに対する逆数変換値を出力することができる。

（３）ソフトウェア
ホワイトバランス調整ゲインの逆数変換処理は、ソフトウェアにより行うこともできる。

図６は、ソフトウェアによる逆数変換処理を示すステップ図であり、図７は、そのソフトウェアを実行させる逆数算出処理部６を示すブロック図である。

この際の逆数算出処理部６は、演算部６Ｄと制御部６Ｅを有する。

入力値であるホワイトバランス調整ゲインは、演算部６Ｄに入力する。

制御部６Ｅは、その入力値に対して出力値となる逆数変換値を算出するソフトウェアを有しており、演算部６Ｄに、以下に述べる逆数変換を実行させる。

はじめに、ホワイトバランス調整ゲインが逆数算出処理部６に入力し、演算部６Ｄが、その入力値を取り込む（ＳＴ１）。

次に、制御部６Ｅは、入力されたホワイトバランス調整ゲインを逆数変換するための演算を、演算部６Ｄに実行させる（ＳＴ２）。

その後、逆数変換により算出された逆数変換値が、演算部６Ｄから乗算器７へ出力され、ソフトウェアによる演算処理が終了する（ＳＴ３）。

以上の各ステップにより、ソフトウェアを用いて、ホワイトバランス調整ゲインの逆数変換値を算出することができる。

（Ｃ） 動作
以下に、上述のＡＷＢシステムの動作について説明を行う。

はじめに、イメージセンサ１より出力された映像信号は、ＡＷＢゲイン乗算器２によりホワイトバランス調整ゲインと乗算される。その後、ホワイトバランス調整ゲインが乗算された映像信号は、色分離同時化処理部３へ出力される。

その映像信号は、色分離同時化処理部３に入力され、色分離・同時化された後、ＹＵＶ信号に変換される。この時のＹＵＶ信号は、ホワイトバランス調整ゲインが乗算された映像信号から得られるため、ホワイトバランス調整後のＹＵＶ信号となる。この調整後ＹＵＶ信号は、ホワイトバランス調整ゲイン算出処理部５と乗算器７へ出力される。

続いて、ホワイトバランス調整ゲイン算出処理部５に出力された調整後ＹＵＶ信号は、ホワイトバランス調整ゲイン算出処理部５のうち、ＵＶ信号積算部５Ａに入力される。そして、色判定処理部４により対象画素がホワイトバランス調整対象と判定された場合には、調整後ＹＵＶ信号のうちＵ信号及びＶ信号が、ＵＶ信号積算部５Ａにより積算される。

ＵＶ信号積算部５Ａによる演算結果に基づき、ＲＢゲインがＲＢゲイン算出部５Ｂにより算出される。その結果に基づき、ホワイトバランス調整ゲインが算出され、逆数演算処理部６に出力され、また、それは、ＡＷＢゲイン乗算器２にフィードバックされる。

また、図２に示すホワイトバランス調整ゲイン算出処理部の構成の場合には、ＲＢゲイン算出部５１Ｂに入力された調整後ＹＵＶ信号からＲＢゲインが算出される。その算出結果が、ＲＢゲイン積算部５１Ａにより積算され、それに基づき、ホワイトバランス調整ゲインが算出される。

逆数変換処理部６に出力されたホワイトバランス調整ゲインは、上述のＲＯＭ、ハードウェア回路、或いは、ソフトウェアによる逆数変換処理のうち、いずれか１つの逆数算出処理が、逆数変換処理部６によりなされる。そして、ホワイトバランス調整ゲインに応じた逆数変換値が、乗算器７に出力される。

続いて、その逆数変換値と、色分離同時化処理部３から出力された調整後ＹＵＶ信号が、乗算器７により乗算される。調整後ＹＵＶ信号は、ホワイトバランス調整ゲインが乗算されたＹＵＶ信号であるので、その逆数である逆数変換値をさらに乗算することで、ホワイトバランス調整前のＹＵＶ信号が生成される。

そして、その調整前のＹＵＶ信号は、色判定処理部４へ出力される。

よって、ホワイトバランス調整前のＹＵＶ信号が再現でき、そのＹＵＶ信号に基づき、色判定処理部４は、対象画素がホワイトバランス判定対象か否かの判定を行う。

それゆえ、逆数算出処理部６と第２の乗算器７により、専用の回路規模の大きいラインメモリ３Ａを含む色分離同時化処理部３を設けずとも、ホワイトバランス調整前のＹＵＶ信号を、色判定処理部４による色判定のために生成できる。

したがって、オートホワイトバランスシステムの回路規模が増大するのを抑制できる。

さらには、ホワイトバランス調整前のＹＵＶ信号により色判定を行うことができるので、適正なホワイトバランス調整を行うことができる。

本発明の例は、上述の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で、各構成要素を変形して具体化できる。また、上述の実施の形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を構成できる。例えば、上述の実施の形態に開示される全構成要素から幾つかの構成要素を削除してもよいし、異なる実施の形態の構成要素を適宜組み合わせてもよい。

実施の形態のオートホワイトバランスシステムの一形態を示すブロック図。 実施の形態のオートホワイトバランスシステムの一形態を示すブロック図。 入力（ホワイトバランス調整ゲイン）に対する出力（逆数変換値）を示す図。 逆数変換処理部に適用するハードウェア回路の実施例を示すブロック図。 ハードウェア回路を用いた際の入力に対する出力を示す図。 逆数変換処理部に適用するソフトウェアによる処理を示すステップ図。 ソフトウェアを実行させるための逆数変換処理部のブロック図。

符号の説明

１：イメージセンサ、２：ＡＷＢゲイン乗算器（第１の乗算器）、３：色分離同時化処理部、３Ａ：ラインメモリ、４：色判定処理部、５：ホワイトバランス調整ゲイン算出処理部、５Ａ：ＵＶ信号積算部、５１Ａ：ＲＢゲイン積算部、５Ｂ，５１Ｂ：ＲＢゲイン算出部、６：逆数算出処理部、６Ａ：直線近似部、６Ｂ：ＲＯＭ、６Ｃ：セレクタ部、６Ｄ：演算部、６Ｅ：制御部、７：乗算器（第２の乗算器）。

Claims (5)

1. ホワイトバランス調整後の映像信号を出力する第１の乗算器と、
   前記ホワイトバランス調整後の映像信号から、ホワイトバランス調整後のＹＵＶ信号を生成するラインメモリを有する色分離同時化処理部と、
   ホワイトバランス調整が必要か否かの判定を行う色判定処理部と、
   前記色判定処理部の判定結果及び前記ホワイトバランス調整後のＹＵＶ信号に基づき、ホワイトバランス調整ゲインを算出するホワイトバランス調整ゲイン算出処理部と、
   前記ホワイトバランス調整ゲインの逆数変換値を出力する逆数算出処理部と、
   前記ホワイトバランス調整後のＹＵＶ信号と前記逆数変換値との乗算を行う第２の乗算器とを具備することを特徴とするオートホワイトバランスシステム。
2. 前記第２の乗算器は、ホワイトバランス調整前のＹＵＶ信号を生成し、前記色判定処理部は、前記ホワイトバランス調整前のＹＵＶ信号により判定を行うことを特徴とする請求項１に記載のオートホワイトバランスシステム。
3. 前記逆数算出処理部は、前記ホワイトバランス調整ゲインとその逆数変換値との関係を示すＲＯＭテーブルが記憶されるＲＯＭを有することを特徴とする請求項１に記載のオートホワイトバランスシステム。
4. 前記逆数算出処理部は、前記ホワイトバランス調整ゲインを直線近似する直線近似部と、セレクタ部とをさらに有し、前記セレクタ部は、前記ホワイトバランス調整ゲインの入力に応じて、前記直線近似部或いは前記ＲＯＭから算出される前記逆数変換値のどちらか一方の選択を行うことを特徴とする請求項３に記載のオートホワイトバランスシステム。
5. 前記ホワイトバランス調整ゲイン算出処理部は、前記ホワイトバランス調整後のＹＵＶ信号の積算を行うＵＶ信号積算部と、前記ホワイトバランス調整ゲインの算出を行うＲＢゲイン算出部を有することを特徴とする請求項１に記載のオートホワイトバランスシステム。

Images