JP2009060586A - ホワイトバランス調整装置、撮像装置、ホワイトバランス調整方法、プログラムおよび集積回路 - Google Patents

Abstract

【課題】フラッシュを発光して撮影した画像で、自然なホワイトバランスを実現する。
【解決手段】ＷＢ調整部３１２は、フラッシュを発光して撮影した画像とフラッシュを発光しないで撮影した画像から、フラッシュ発光しないで撮影した画像に含まれる外光成分およびフラッシュ光成分の混合比率Ｗを推定する混合比率算出部３１２１と、外光に合わせたＷＢ係数ＷＢｃｏｅ１を決定する外光用ＷＢ係数決定部３１２３と、フラッシュ光に合わせたＷＢ係数ＷＢｃｏｅ２を設定するフラッシュ光用ＷＢ係数設定部３１２４と、混合比率Ｗを内分比として用いることで、フラッシュ発光して撮影した画像に対して、外光用ＷＢ係数ＷＢｃｏｅ１とフラッシュ光用ＷＢ係数ＷＢｃｏｅ２との中間のホワイトバランス調整を連続的に行うＷＢ処理部３１２０と、を備えている。
【選択図】図６

Description

本発明は、撮像画像のホワイトバランスを調整する技術に関する。特に、フラッシュ光の発光制御が可能な照明部（フラッシュ発光装置）を備える撮像装置で撮影した画像に対してホワイトバランスを調整する技術に関する。

ディジタルスチルカメラ等の撮像装置では、撮影時に被写体からの反射光が弱い場合に、補助光としてフラッシュ光を被写体に照射するために、フラッシュ発光装置が用いられる。また、撮像装置おいて、太陽光などによる明るい照明を背景に人物を撮影した場合などに、人物が暗く写ってしまうことを避けるために、逆光補正としてフラッシュ光を人物（被写体）に照射して人物を明るくする、フラッシュ発光装置が用いられることもある。
一方、フラッシュ発光装置によりフラッシュ光を照射して被写体を撮影した場合、撮像画像において、その撮影環境下で、もともと存在していた照明による光（照明光）による被写体像（被写体からの照明光による反射光により取得される撮像画像上の被写体像）と、フラッシュ光による被写体像（被写体からのフラッシュ光による反射光により取得される撮像画像上での被写体像）とで色のバランスが不自然な写真（撮像画像）となることがある。これはもともと被写体を照らしていた照明光とフラッシュ光とで色温度が異なることによるものである。

ディジタルスチルカメラ等の撮像装置では、一般的にホワイトバランス（ＷＢ（Ｗｈｉｔｅ Ｂａｌａｎｃｅ））調整（以下、「ＷＢ調整」という。）という処理が行われている。これは、例えば、白熱灯の様に色温度の低い照明による照明光が被写体を照らしているような場合、撮影した画像データのレッド（Ｒ）成分の信号（画像データ値）を相対的に弱め、逆にブルー（Ｂ）成分の信号（画像データ値）を強めるように調整を行うことで、被写体の白色を撮像画像上でも白色に表現するものである。このＷＢ調整により、照明光の影響を取り除くことができ、白い被写体が、撮像画像上で白い被写体像となる。照明の色温度を調べる方法としては、測色センサを用いる方法や、撮影した画像データ（撮像画像データ）の色分布から推定する方法や、ユーザに選択させる方法などがある。フラッシュ光を用いて撮影した場合には、撮像装置において、事前にわかっているフラッシュ光の色温度に合わせてＷＢ調整を行うことができる。

しかし、フラッシュ光を用いた撮影が行われた場合、多くの状況でフラッシュ光以外の、撮影環境にもともと存在していた照明光（外光）とフラッシュ光とが混合した状態で被写体を照らしている状態になる。このため、フラッシュ光に合わせたＷＢ調整を行うと、フラッシュ光が強く当たっている被写体については自然な補正が行われるが、フラッシュ光があまり当たっていない被写体あるいはフラッシュ光が全く当たっていない被写体（例えば背景など）に対しては、適切なＷＢ調整が行われず、撮像画像が不自然になってしまう（撮像画像上で、本来白であるはずの部分が白以外の色となってしまう。）。
このような問題に対処する従来の撮像装置として、特許文献１に開示されている撮像装置がある。特許文献１では、画素単位で、フラッシュ発光ありで撮影した画像とフラッシュ発光なしで撮影した画像との２枚の画像の画素値の比を求め、この比の値によりフラッシュ光の寄与度を判定し、その判定結果に基づいて、外光用のＷＢ係数と、フラッシュ光用のＷＢ係数と、その両者の間のＷＢ係数とを選択してＷＢ調整を行う撮像装置（電子スチルカメラ）の構成が開示されている。フラッシュ発光ありで撮影した画像の画素値をａ、フラッシュ発光なしで撮影した画像の画素値をｂとし、比（フラッシュ光寄与度）＝ａ／ｂとする。特許文献１の撮像装置では、ａ／ｂ≒１であればその画素はフラッシュ光が到達していない領域にあり、ａ／ｂ≫１であれば、その画素はフラッシュ光が十分到達している領域にあると判定する。また、特許文献１には、画素毎にＷＢ係数の可変幅を限定することで、２枚の画像を撮影する間に被写体が動いた場合でも、画素間において急峻にＷＢ係数が変わらないようにすることができることが開示されている。
特許第３５４０４８５号公報

しかしながら、従来の撮像装置の構成では、以下の３つの課題がある。
第一に、従来の撮像装置では、ＷＢ係数が切り替わる領域で色の偽輪郭が発生する。
特許文献１では、フラッシュ光寄与度の「判定」結果により、外光用のＷＢ係数と、フラッシュ光用のＷＢ係数と、その両者の間のＷＢ係数とを「選択」するが、中間のＷＢ係数は「離散値」にせざるを得ない。このため、外光とフラッシュ光の両方が連続的にその割合を変えながら被写体に当たっているような場合、ＷＢ係数が切り替わる領域で色の偽輪郭が発生してしまう。これは、フラッシュ光寄与度が「非線形」であることが原因である。これを説明する。
まず、フラッシュ光寄与度が「非線形」であることを示す。
各画素に対して、外光照度をＣ、フラッシュ光照度をＢ、反射率をＲとしたとき、フラッシュ発光有無の画像の画素値をａ、ｂとすると、画素値ａ、ｂは、それぞれ、
ａ＝（Ｃ＋Ｂ）・Ｒ、ｂ＝Ｃ・Ｒ
となるから、フラッシュ光寄与度Ｋは、
Ｋ＝ａ／ｂ＝１＋Ｂ／Ｃ
となる。よって、フラッシュ光寄与度Ｋは、外光照度Ｃが小さいほど値が急激に大きくなる「非線形」なパラメータ（値域＝１〜∞）である。

このため、外光照度Ｃの変化に対して線形にＷＢ調整するためには、外光照度Ｃの値が小さい範囲ほど細かく場合分けを行う必要があり、テーブルなどに多くの値を用意する必要がある。
さらに、外光照度Ｃの値の範囲による場合分けだけでなく、外光の種類（晴天、蛍光灯、電球、・・・）も様々であり、その組み合わせの数のＷＢ係数を用意する必要があるので、膨大な回路規模・メモリを要する。
また、被写体が動いた場合、動いた領域（撮像画像上の領域）と動かない領域（撮像画像上の領域）とで連続的にＷＢ係数を変化させようとすると、同様に多くのＷＢ係数を持たせる必要がある。
以上により、ＷＢ係数の数を多くすることで対応することは現実的ではないので、中間のＷＢ係数は「離散値」にせざるを得ず、ＷＢ係数が切り替わる領域で色の偽輪郭が発生する。

第二に、従来の撮像装置では、ＷＢ調整の精度が低く、また、情報欠落により完全なＷＢ調整ができない。
フラッシュ光寄与度Ｋ（＝ａ／ｂ）の値域は１〜∞であり、∞の値を扱うことは不可能あるから、フラッシュ光寄与度Ｋを、所定の上限値ｔｈで制限する必要がある。
上限値ｔｈを低く設定した場合、Ｋ≧ｔｈとなった被写体はすべて同じＷＢ係数でＷＢ調整されるので、ＷＢ調整の精度が低下する。多くの場合、フラッシュ発光は主として暗い被写体を明るくするために行われるので、外光照度Ｃは小さく、フラッシュ光照度Ｂは大きくなりやすい。そのため、フラッシュ光寄与度Ｋ（＝１＋Ｂ／Ｃ）の値は大きい値となるので、Ｋ≧ｔｈとなり、ＷＢ調整の精度が低下する。
一方、上限値ｔｈを高く設定した場合、フラッシュ光寄与度は「非線形」な、急激に大きくなるパラメータであるから、値の小さい範囲の精度を保つためには、多くのビット精度が必要であり、回路規模が大きくなってしまう。

また、そもそも、切捨てにより情報が欠落するので、完全なＷＢ調整を行うことは不可能である。
第三に、従来の撮像装置では、被写体に動きがあった領域で色ずれが目立つ。
フラッシュ有無の２枚の画像を撮影する間に被写体が動いた場合、２枚の画像から算出されたフラッシュ光寄与度にずれが生じるので、動きがあった領域に不適切なＷＢ調整を行い、色ずれとして現れる。
本願では、後述するローパスフィルタ（ＬＰＦ）によりこの問題を解決するが、一般に、フィルタは線形フィルタであるので、特許文献１の「非線形」なフラッシュ光寄与度にはＬＰＦを適用することができず、色ずれを低減させることができない。
具体的には、フラッシュ光寄与度は、外光照度Ｃが小さいほど急激に大きくなる。これにより、ＬＰＦ後の値は、値が極端に大きい近傍画素の影響を強く受けてしまうので、適切にＬＰＦ処理を行うことができない。

また、非線形ＬＰＦを用いて、画素値に応じて重み係数を変えることなども考えられる。しかし、高精度に重み係数を変えるためには、同様に、重み係数をテーブルなどで用意する必要があり、回路規模が大きくなりすぎるので、現実的ではない。
本発明は、外光とフラッシュ光とが混合されたような照明条件下で撮影された画像に対して、ホワイトバランスを原理的に正しく調整し、擬輪郭も発生させず、被写体が動いた領域の色ずれを低減させるとともに、簡易、かつ、少ない回路規模で実現可能であるホワイトバランス調整装置、撮像装置、ホワイトバランス調整方法、プログラムおよび集積回路を提供することを目的とする。

第１の発明は、混合比率算出部と、外光用ＷＢ係数決定部と、フラッシュ光用ＷＢ係数設定部と、ＷＢ係数処理部と、を備えるホワイトバランス調整装置である。混合比率算出部は、フラッシュ光を被写体に照射させることなく取得した第１画像信号とフラッシュ光を被写体に照射させて取得した第２画像信号とに基づき、第２画像信号に含まれる外光成分およびフラッシュ光成分の混合比率を算出する。外光用ＷＢ係数決定部は、第１画像信号から外光用ホワイトバランス係数である外光用ＷＢ係数を決定する。フラッシュ光用ＷＢ係数設定部は、フラッシュ光のホワイトバランス係数であるフラッシュ光用ＷＢ係数を設定する。ＷＢ処理部は、混合比率を内分比として用いることで、第２画像信号に対して、外光用ＷＢ係数とフラッシュ光用ＷＢ係数との中間のホワイトバランス調整を連続的に行う。

ここで、「外光」とは、レンズに入射するフラッシュ光以外のすべての光のことを指す。これには、太陽光、他の照明器具（蛍光灯など）による照明光などが含まれる。
また、「混合比率」とは、第２画像信号に含まれる、外光成分およびフラッシュ光成分の百分率（０％〜１００％）のことであり、「構成比率」、「成分比率」などとも呼ばれる。例えば、第２画像信号の混合比が、外光成分：フラッシュ光成分＝３：１の場合、混合比率を外光の百分率（外光比率）と定義すれば、混合比率（外光比率）＝７５％となり、逆に、混合比率をフラッシュ光の百分率（フラッシュ光比率）と定義すれば、混合比率（フラッシュ光比率）＝２５％となる。混合比率（外光比率、フラッシュ光比率）の計算は、例えば、後述する第２、第３の発明のように行われるが、混合比率を求めるものであれば、これに限らない。

また、「混合比率を内分比として用いる」とは、例えば、後述する第４・第５の発明に記載のように、「構成比率」を内分比として、外光用ＷＢ係数とフラッシュ光用ＷＢ係数とを内分した連続値をとる最終ＷＢ係数により、第２画像信号に連続的にＷＢ処理を行う方法や、ＷＢ係数を内分する代わりに、第６・第７の発明に記載のように、予め第２画像信号に外光用ＷＢ係数とフラッシュ光用ＷＢ係数で２通りのＷＢ調整した第３、第４画像信号を作成しておき、これらを「構成比率」を内分比として、連続的に内分する方法などがあるが、「構成比率」を内分比に用いてＷＢ調整する方法であれば、これらに限らない。
このホワイトバランス調整装置では、混合比率（０％〜１００％）を内分比として連続的にＷＢ調整する。光の混合は加算であり、混合比率に応じてＷＢ調整することは、外光成分とフラッシュ光成分をそれぞれ独立にＷＢ調整するのと等価であるので、外光とフラッシュ光とが混合されたような照明条件下で撮影された画像であっても、原理的に正しいＷＢ調整を行うことができる。

なお、フラッシュなしの画像信号を外光成分とし、フラッシュ有無の２枚の差分画像信号をフラッシュ光成分とみなして、それぞれ独立にＷＢ調整した結果を加算して最終画像信号とする方法も考えられるが、被写体ぶれ・カメラぶれなどがあった場合、差分画像がぼけるので、最終的な出力画像もぼけてしまう。このホワイトバランス調整装置では、ＷＢ調整を行う対象は第２画像信号のみであり、差分画像の動きぼけはＷＢ係数のみに現れる。したがって、このホワイトバランス調整装置によりＷＢ調整された画像では、輝度がぼけることはなく、色がぼけるだけであるから人間には認識されにくい（被写体ぶれ・カメラぶれなどを原因とする画像劣化が目立たない）。
また、混合比率は、外光照度（またはフラッシュ照度）が増えればその分だけ比率が上がる、線形なパラメータであるから、３段階等の判定や場合分けを行う必要がなく、連続的にＷＢ調整を行うことができる。このため、外光とフラッシュ光の両方が連続的にその割合を変えながら被写体に当たっているような場合でも、ＷＢ係数が切り替わる領域で偽輪郭が発生することはない。また、場合分けによる回路規模増大・メモリ消費などがないので、簡易かつ少ない回路規模で（すなわち、低コストで）、このホワイトバランス調整装置を実現することができる。

さらに、混合比率は、０〜１の範囲内の有限な値であるので、閾値処理などによる情報欠落がない。したがって、このホワイトバランス調整装置では、ＷＢ調整の精度は低下せず、完全なＷＢ調整を行うことができる。
なお、このホワイトバランス調整処理は、画素または領域毎に行う。これにより、画素または領域毎の混合比率（外光比率、フラッシュ光比率）に応じた、高精度なＷＢ調整が行われる。なお、より高精度なＷＢ調整を行うためには、領域単位での処理よりも画素単位で処理することが好ましい。このホワイトバランス調整装置は、回路規模が小さく、メモリ消費も少ないので、画素単位で高精度に処理することも可能である。
なお、本発明における「混合比率」の概念は、特許文献１に開示されていない新しい概念である。「混合比率（０％〜１００％）」を用いて内分することにより、特許文献１では想定されていなかった、上記のような様々な際立って優れた効果を得ることができる。

第２の発明は、第１の発明であって、混合比率算出部は、混合比率として、外光比率を、
（外光比率）＝（第１画像信号）／（第２画像信号）
により算出する。
ここで、「外光比率」とは、第２画像信号に含まれる、外光成分の百分率（０％〜１００％）のことである。
各画素に対して、外光照度をＣ、フラッシュ光照度をＢ、反射率をＲとしたとき、第１画像信号（フラッシュ発光なし）ｂ、第２画像信号（フラッシュ発光あり）ａは、それぞれ、
ａ＝（Ｃ＋Ｂ）・Ｒ、ｂ＝Ｃ・Ｒ
となるから、外光比率Ｋｃは、
Ｋｃ＝ｂ／ａ＝Ｃ／（Ｃ＋Ｂ）
となり、これは、第２画像信号（Ｃ＋Ｂ）のうち、外光成分Ｃが何％含まれているかを表す。

なお、第１・第２画像信号撮影時の露出設定が異なる場合には、露出設定の違いを打ち消すように上式を変更する必要がある。一般に、フラッシュ発光により第２画像信号を飽和させないため、第２画像信号撮影時は第１画像信号撮影時よりも暗い露出設定で撮影するのが好ましい。また、第１画像信号のノイズを低減させるため、第１画像信号時は通常より明るい露出設定で撮影した方がよい場合もある。第１画像信号を、第２画像信号に対してα倍明るい露出設定で撮影した場合、外光比率算出式は、
（外光比率）＝（第１画像信号）／（第２画像信号・α）
などとなるが、等価な式であればこれに限らない。
なお、本願第２の発明の「外光比率」は、特許文献１の「フラッシュ光寄与度」の算出式の分子分母を逆にしたものであるが、本願の「混合比率（〜％）」は、前述したように、特許文献１に開示されていない新しい概念であり、「外光比率」の簡易な算出式を導出した結果、分子分母を逆にした式となったのである。

これにより、簡易かつ少ない回路規模で、外光比率を算出することができる。

第３の発明は、第１の発明であって、混合比率算出部は、混合比率として、フラッシュ光比率を、
（フラッシュ光比率）＝１−（第１画像信号）／（第２画像信号）
＝（第２画像信号−第１画像信号）／（第２画像信号）
のいずれかにより算出する。
ここで、「フラッシュ光比率」とは、第２画像信号に含まれる、フラッシュ光成分の百分率（０％〜１００％）のことである。
上記と同様のパラメータ名とした場合、どちらの式を用いてもフラッシュ光比率Ｋｂは、
Ｋｂ＝１−ｂ／ａ＝（ａ−ｂ）／ａ＝Ｂ／（Ｃ＋Ｂ）
となり、これは、第２画像信号（Ｃ＋Ｂ）のうち、フラッシュ光成分Ｂが何％含まれているかを表す。

なお、第１画像信号を、第２画像信号に対してα倍明るい露出設定で撮影した場合、フラッシュ光比率算出式は、
（フラッシュ光比率）＝１−（第１画像信号）／（第２画像信号・α）
＝（第２画像信号・α−第１画像信号）／（第２画像信号・α）
などとなるが、等価な式であればこれに限らない。
これにより、簡易かつ少ない回路規模で、フラッシュ光比率を算出することができる。
第４の発明は、第１から３のいずれかの発明であって、ＷＢ処理部は、ＷＢ係数算出部と、ＷＢ補正部とを含む。
ＷＢ係数算出部は、混合比率に基づいて、外光用ＷＢ係数の値とフラッシュ光用ＷＢ係数の値とを内分することで、第２画像信号に対してホワイトバランス補正を行うためのホワイトバランス係数である連続値をとる最終ＷＢ係数を決定する。ＷＢ補正部は、連続値をとる最終ＷＢ係数に基づいて、第２画像信号に対してホワイトバランス補正を行う。

ここで、「内分」とは、「内挿」「補間」「中間値を連続的に求める」などを含む概念である。
これにより、３段階等の判定や場合分けではなく、連続的にＷＢ調整を行うことができる。また、簡易かつ少ない回路規模で実現できる。
第５の発明は、第４の発明であって、ＷＢ係数算出部は、外光比率をｗ１（０≦ｗ１≦１）とし、フラッシュ光比率をｗ２（０≦ｗ２≦１）とし、外光用ＷＢ係数の値をＷＢｃｏｅ１とし、フラッシュ光用ＷＢ係数の値ＷＢｃｏｅ２とし、最終ＷＢ係数をＷＢｃｏｅ３とする場合、
ＷＢｃｏｅ３＝ＷＢｃｏｅ２＋ｗ１・（ＷＢｃｏｅ１−ＷＢｃｏｅ２）
＝ｗ１・ＷＢｃｏｅ１＋（１−ｗ１）・ＷＢｃｏｅ２
＝ＷＢｃｏｅ１＋ｗ２・（ＷＢｃｏｅ２−ＷＢｃｏｅ１）
＝（１−ｗ２）・ＷＢｃｏｅ１＋ｗ２・ＷＢｃｏｅ２
＝ｗ１・ＷＢｃｏｅ１＋ｗ２・ＷＢｃｏｅ２
のいずれかにより連続的に算出したＷＢｃｏｅ３を最終ＷＢ係数に決定する。

なお、上記のようにして簡単に最終ＷＢ係数を算出することができるのは、混合比率ｗ１またはｗ２が「０」から「１」の値（実数値）を連続的にとることができるからである。
第６の発明は、第１から第３のいずれかの発明であって、ＷＢ処理部は、外光用ＷＢ補正部と、フラッシュ光用ＷＢ補正部と、内分処理部とを含む。
外光用ＷＢ補正部は、外光用ＷＢ係数に基づいて、第２画像信号に対してホワイトバランス補正を行うことで第３画像信号を取得する。フラッシュ光用ＷＢ補正部は、フラッシュ光用ＷＢ係数に基づいて、第２画像信号に対してホワイトバランス補正を行うことで第４画像信号を取得する。内分処理部は、混合比率に基づいて、第３画像信号の信号値と第４画像信号の信号値とを内分することで、連続値をとる最終画像信号を取得する。

この構成によっても、第４の発明と同じ効果を奏することができる。
第７の発明は、第６の発明であって、内分処理部は、外光比率をｗ１（０≦ｗ１≦１）とし、フラッシュ光比率をｗ２（０≦ｗ２≦１）とし、第３画像信号の信号値をＳ１とし、第４画像信号の信号値をＳ２とし、最終画像信号の信号値をＳｏｕｔとする場合、
Ｓｏｕｔ＝Ｓ２＋ｗ１・（Ｓ１−Ｓ２）
＝ｗ１・Ｓ１＋（１−ｗ１）・Ｓ２
＝Ｓ１＋ｗ２・（Ｓ２−Ｓ１）
＝（１−ｗ２）・Ｓ１＋ｗ２・Ｓ２
＝ｗ１・Ｓ１＋ｗ２・Ｓ２
のいずれかにより連続的に算出したＳｏｕｔを信号値とする画像信号を最終画像信号として取得する。

この構成によっても、第５の発明と同じ効果を奏することができる。
第８の発明は、第１の発明であって、
混合比率算出部は、第１画像信号のＲ成分信号である第１Ｒ画像信号と、第２画像信号のＲ成分信号である第２Ｒ画像信号とに基づき、Ｒ成分用混合比率を算出し、第１画像信号のＧ成分信号である第１Ｇ画像信号と、第２画像信号のＧ成分信号である第２Ｇ画像信号とに基づき、Ｇ成分用混合比率を算出し、第１画像信号のＢ成分信号である第１Ｂ画像信号と、第２画像信号のＢ成分信号である第２Ｂ画像信号とに基づき、Ｂ成分用混合比率を算出する。外光用ＷＢ係数決定部は、それぞれ、第１Ｒ画像信号、第１Ｇ画像信号、および第１Ｂ画像信号から、外光用Ｒ成分ＷＢ係数、外光用Ｇ成分ＷＢ係数、および外光用Ｂ成分ＷＢ係数を決定する。フラッシュ光用ＷＢ係数設定部は、フラッシュ光用Ｒ成分ＷＢ係数、フラッシュ光用Ｇ成分ＷＢ係数、およびフラッシュ光用Ｂ成分ＷＢ係数を設定する。ＷＢ処理部は、Ｒ成分用混合比率、Ｇ成分用混合比率、およびＢ成分用混合比率とを内分比として用いることで、第２Ｒ画像信号、第２Ｇ画像信号、および第２Ｂ画像信号に対して、外光用Ｒ成分ＷＢ係数、外光用Ｇ成分ＷＢ係数、および外光用Ｂ成分ＷＢ係数と、フラッシュ光用Ｒ成分ＷＢ係数、フラッシュ光用Ｇ成分ＷＢ係数、およびフラッシュ光用Ｂ成分ＷＢ係数との中間のホワイトバランス調整を連続的に行う。

このホワイトバランス調整装置では、輝度（≒０．３Ｒ＋０．６Ｇ＋０．１Ｂ）により混合比率を算出するのではなく、ＲＧＢの３成分の各混合比率を算出し、色別に独立にホワイトバランス調整処理が実行されるので、さらに、ホワイトバランス調整の精度を高めることができる。
第９の発明は、第１から第８のいずれかの発明であって、混合比率に対してローパスフィルタ処理を行い、平滑化混合比率を算出するＬＰＦ部をさらに備える。ＷＢ処理部は、混合比率として、平滑化混合比率を用いる、。
これにより、フラッシュ有無の２枚の画像を撮影する間に被写体またはカメラ自体が動き、動きがあった領域に不適切なＷＢ調整が行われて色ずれが生じるであっても、動いた領域（撮像画像上の領域）と動かない領域（撮像画像上の領域）との境界で連続的に最終ＷＢ係数を変化させることができ、第２画像信号に対して、適切なホワイトバランス調整を行うことができる。

ここで、特許文献１と異なり、ローパスフィルタ処理を適用可能なのは、前述したように、混合比率が、外光照度（またはフラッシュ照度）が増えればその分だけ比率が上がる、線形なパラメータであるからである。ちなみに、特許文献１のフラッシュ光寄与度は、前述したように、非線形パラメータであるから、線形ＬＰＦフィルタを適用できない。
なお、ここで、ローパスフィルタ処理としては、空間ローパスフィルタ（ＬＰＦ）処理を行うことが好ましい。なお、ここで、ＬＰＦは、適応ＬＰＦフィルタを含む概念である。適応ＬＰＦフィルタとは、例えば、フラッシュ有無の２枚の画像、またはその差分画像などから「動いた領域」を検出し、この部分だけＬＰＦ処理を行うようなものである。
ここで、混合比率は、第１画像信号および第２画像信号の画素毎に算出するようにすることで、画素毎に混合比率が決定できるので、その混合比率に対して、空間的ＬＰＦによる、ローパスフィルタ処理を施すことできる。これにより、簡単に、最終ＷＢ係数の急激な変化を抑制することができる。

なお、このホワイトバランス調整装置では、混合比率に対してＬＰＦ処理を行っており、直接、画像信号に対してＬＰＦ処理を行うことはないので、被写体に動きがある場合であっても、画像信号自体がぼけることはない。
以上により、このホワイトバランス調整装置では、さらに色ずれも低減させ、より自然なWB調整を行うことができる。
第１０の発明は、第１から第９のいずれかの発明であるホワイトバランス調整装置を備える撮像装置である。
第１１の発明は、第１０の発明であって、フラッシュ光を被写体に照射するフラッシュ発光部をさらに備える。
これにより、フラッシュ発光部が発光するフラッシュ光の特性を予め調べておき、その特性に基づいて、フラッシュ光用ＷＢ係数設定部において、フラッシュ光用ＷＢ係数を設定することで、精度よくフラッシュ光用ＷＢ係数を設定することができる。

第１２の発明は、混合比率推定ステップと、外光用ＷＢ係数決定ステップと、フラッシュ光用ＷＢ係数設定ステップと、ＷＢ処理ステップと、を備えるホワイトバランス調整方法である。混合比率算出ステップでは、フラッシュ光を被写体に照射させることなく取得した第１画像信号とフラッシュ光を被写体に照射させて取得した第２画像信号とに基づき第２画像信号に含まれる外光成分およびフラッシュ光成分の混合比率を算出する。外光用ＷＢ係数決定ステップでは、第１画像信号から外光用ホワイトバランス係数である外光用ＷＢ係数を決定する。フラッシュ光用ＷＢ係数設定ステップでは、フラッシュ光のホワイトバランス係数であるフラッシュ光用ＷＢ係数を設定する。ＷＢ処理ステップでは、混合比率を内分比として用いることで、第２画像信号に対して、外光用ＷＢ係数とフラッシュ光用ＷＢ係数との中間のホワイトバランス調整を連続的に行う。

これにより、第１の発明と同様の効果を奏するホワイトバランス調整方法を実現することができる。
第１３の発明は、コンピュータを、混合比率算出部、外光用ＷＢ係数決定部、フラッシュ光用ＷＢ係数設定部、ＷＢ処理部として機能させるためのプログラムである。混合比率算出部は、フラッシュ光を被写体に照射させることなく取得した第１画像信号とフラッシュ光を被写体に照射させて取得した第２画像信号とに基づき第２画像信号に含まれる外光成分およびフラッシュ光成分の混合比率を算出する。外光用ＷＢ係数決定部は、第１画像信号から外光用ホワイトバランス係数である外光用ＷＢ係数を決定する。フラッシュ光用ＷＢ係数設定部は、フラッシュ光のホワイトバランス係数であるフラッシュ光用ＷＢ係数を設定する。ＷＢ処理部は、混合比率を内分比として用いることで、第２画像信号に対して、外光用ＷＢ係数とフラッシュ光用ＷＢ係数との中間のホワイトバランス調整を連続的に行う。

これにより、第１の発明と同様の効果を奏するプログラムを実現することができる。
第１４の発明は、コンピュータを、混合比率算出部、外光用ＷＢ係数決定部、フラッシュ光用ＷＢ係数設定部、ＷＢ処理部として機能させるためのプログラムを記録したコンピュータにより読み取り可能な記録媒体である。混合比率算出部は、フラッシュ光を被写体に照射させることなく取得した第１画像信号とフラッシュ光を被写体に照射させて取得した第２画像信号とに基づき第２画像信号に含まれる外光成分およびフラッシュ光成分の混合比率を算出する。外光用ＷＢ係数決定部は、第１画像信号から外光用ホワイトバランス係数である外光用ＷＢ係数を決定する。フラッシュ光用ＷＢ係数設定部は、フラッシュ光のホワイトバランス係数であるフラッシュ光用ＷＢ係数を設定する。ＷＢ処理部は、混合比率を内分比として用いることで、第２画像信号に対して、外光用ＷＢ係数とフラッシュ光用ＷＢ係数との中間のホワイトバランス調整を連続的に行う。

これにより、第１の発明と同様の効果を奏するプログラムを記録したコンピュータにより読み取り可能な記録媒体を実現することができる。
第１５の発明は、混合比率算出部と、外光用ＷＢ係数決定部と、フラッシュ光用ＷＢ係数設定部と、ＷＢ係数処理部と、備える集積回路である。混合比率算出部は、フラッシュ光を被写体に照射させることなく取得した第１画像信号とフラッシュ光を被写体に照射させて取得した第２画像信号とに基づき第２画像信号に含まれる外光成分およびフラッシュ光成分の混合比率を算出する。外光用ＷＢ係数決定部は、第１画像信号から外光用ホワイトバランス係数である外光用ＷＢ係数を決定する。フラッシュ光用ＷＢ係数設定部は、フラッシュ光のホワイトバランス係数であるフラッシュ光用ＷＢ係数を設定する。ＷＢ処理部は、混合比率を内分比として用いることで、第２画像信号に対して、外光用ＷＢ係数とフラッシュ光用ＷＢ係数との中間のホワイトバランス調整を連続的に行う。

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

本発明によれば、外光とフラッシュ光とが混合されたような照明条件下で撮影された画像に対して、ホワイトバランスを原理的に正しく調整し、擬輪郭も発生させず、被写体が動いた領域の色ずれを低減させるとともに、簡易、かつ、少ない回路規模で実現可能であるホワイトバランス調整装置、撮像装置、ホワイトバランス調整方法、プログラムおよび集積回路を実現することができる。

以下、本発明の実施形態について、図面を用いて詳細に説明する。
［第１実施形態］
＜１．１：撮像装置の構成＞
まず、第１実施形態である撮像装置について説明する。
図１に、本発明の第１実施形態に係る撮像装置１００（例えば、ディジタルカメラ）の概略構成図を示す。図２に、信号処理部３１、および記憶部３２の概略構成図を示す。また、図４に、ホワイトバランス調整装置としてのＷＢ調整部３１２の概略構成図を示す。
撮像装置１００は、図１に示すように、被写体Ｐ１からの光を集光する撮像レンズ１１と、撮像レンズ１１で集光した被写体Ｐ１からの光量を調整する絞り１２と、被写体Ｐ１からの光を光電変換により画像信号（映像信号）として取得する撮像部（撮像素子）１３と、撮像部１３で取得した画像信号に対してアナログ信号処理を行うアナログ信号処理部２と、アナログ信号処理が施された画像信号に対して、ディジタル信号処理を施すディジタル信号処理部３と、被写体Ｐ１に対してフラッシュ光を照射するフラッシュ発光部４と、を備える。

撮像部１３は、撮像レンズ１１で集光され、絞り１２を通過した被写体Ｐ１からの光を光電変換により画像信号（映像信号）として取得する。そして、撮像部１３は、取得した画像信号をアナログ信号処理部２に出力する。撮像部１３としては、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサを用いることが好ましい。
アナログ信号処理部２は、撮像部１３から出力された画像信号を入力とし、撮像部１３から出力された画像信号に対してアナログ信号処理を施し、アナログ信号処理を施した画像信号をディジタル画像信号に変換し、ディジタル信号処理部３に出力する。アナログ信号処理部２は、例えば、カメラフロントエンドと呼ばれるアナログ回路により実現され、主に、相関二重サンプリング回路（ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ））２１と、増幅回路（ＧＣＡ（Ｇａｉｎ Ｃｏｎｔｒｏｌ Ａｍｐｌｉｆｉｉｅｒ））２２と、およびＡ／Ｄ変換器２３から構成される。

ディジタル信号処理部３は、アナログ信号処理部２から出力された画像信号に対して所定の信号処理を行う信号処理部３１と、信号処理部３１からの出力を記憶する記憶部３２と、記憶部３２に記憶された画像信号に対して符号化処理を行い、また、メモリカード６等の記録メディアからの画像データ（符号化処理された画像データ）に対して復号処理を行うコーデック部３３と、を有する。また、ディジタル信号処理部３は、ディジタル信号処理部３の各機能部の各種制御を行う制御部３４と、表示部５の制御を行う表示部制御部３５と、メモリカード６とデータ（信号）の入出力を行うためのインターフェースであるカードＩ／Ｆ３６と、フラッシュ発光部４の制御を行うフラッシュ発光制御部３７と、信号処理部３の各機能部をバス接続するバス３８と、を有する。なお、本実施形態では、図１に示すように、信号処理部３の各機能部がバス３８により接続されている場合について説明するが、必ずしも、信号処理部３の各機能部がバス接続されている必要はなく、必要なデータ（信号）のやりとりができるように、各機能ブロックが直接接続される構成であってもよいことは言うまでもない。

信号処理部３１は、図２に示すように、第１信号処理部３１１と、ＷＢ調整部３１２と、第２信号処理部３１３と、切換器３１４と、を有する。
第１信号処理部３１１は、アナログ信号処理部２から出力される画像信号を入力とし、アナログ信号処理部２から出力される画像信号に対して、ダイナミック・レンジ圧縮処理、画素補間処理などの処理を行う。そして、第１信号処理部３１１は、処理した画像信号を記憶部３２に出力する。また、第１信号処理部３１１は、処理した画像信号を切換器３１４に出力する。
ＷＢ調整部３１２は、混合比率算出部３１２１と、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）部３１２２と、外光用ＷＢ係数決定部３１２３と、フラッシュ光用ＷＢ係数設定部３１２４と、ＷＢ処理部３１２０と、を有する。そして、ＷＢ処理部３１２０は、ＷＢ係数算出部３１２５と、ＷＢ補正部３１２６と、を含む。

ＷＢ調整部３１２は、記憶部３２から出力される、フラッシュ光ありの撮影環境下で取得された画像信号（この画像信号を「画像信号ｂ」または「画像データｂ」という。）と、記憶部３２から出力される、フラッシュ光なしでの撮影環境下で取得された画像信号（この画像信号を「画像信号ａ」または「画像データａ」という。）とを入力とし、画像信号ａおよび画像信号ｂに基づいて、画像信号ｂに対して、ＷＢ調整処理を行い、ＷＢ調整処理を行った画像信号ｂを、切換器３１４を介して第２信号処理部３１３に出力する。
なお、以下では混合比率が外光比率の場合を前提にして説明するが、フラッシュ光比率の場合は内分の対象が逆になるだけであるので、説明を省略する。
混合比率算出部３１２１は、記憶部３２から出力される画像信号ａおよび画像信号ｂを入力とし、画像信号ａおよび画像信号ｂから混合比率Ｗ０が、０≦Ｗ０≦１となるように、
Ｗ０＝ａ／ｂ
として算出し、算出した混合比率Ｗ０をＬＰＦ部３１２２に出力する。ここで、画像信号ｂは、撮像装置１００において、被写体Ｐ１にフラッシュ発光して撮像することで取得された画像信号であり、画像信号ａは、被写体Ｐ１にフラッシュ発光せずに撮像することで取得された画像信号であるものとする（以下、同様）。画像信号ｂは、フラッシュ発光して撮像された画像信号であり、画像信号ａは、フラッシュ発光せずに撮像された画像信号であるので、同一画素に該当する、画像信号ａの信号レベル（画素値）ａと画像信号ｂの信号レベル（画素値）ｂとの関係には、ｂ≧ａが成立し、したがって、Ｗ０＝ａ／ｂとすることで、Ｗ０の値は、「０」から「１」の範囲の値（実数値）をとることになる。

ＬＰＦ部３１２２は、混合比率算出部３１２１により推定（算出）された混合比率Ｗ０を入力とし、混合比率に対して、ＬＰＦ処理を行い、ＬＰＦ処理により取得された混合比率（平滑化混合比率）をＷとして、ＷＢ係数算出部３１２５に出力する。
外光用ＷＢ係数決定部３１２３は、画像信号ａを入力とし、画像信号ａから画像信号ａ用のＷＢ係数を算出し、算出した画像信号ａ用のＷＢ係数をＷＢ係数算出部３１２５に出力する。ここで、画像信号ａは、フラッシュ発光せずに撮像することで取得された画像信号であるので、外光用ＷＢ係数決定部３１２３により算出されたＷＢ係数は、外光用のＷＢ係数となる。
フラッシュ光用ＷＢ係数設定部３１２４は、フラッシュ発光して撮像することで取得された画像信号用のＷＢ係数（フラッシュ光用ＷＢ係数）を設定する。フラッシュ光用ＷＢ係数設定部３１２４は、設定したフラッシュ光用ＷＢ係数をＷＢ係数算出部３１２５に出力する。フラッシュ光用ＷＢ係数は、撮像装置１００により使用されるフラッシュ光について、事前に取得されたＷＢ係数により設定される。例えば、撮像装置１００のフラッシュ発光部４から発光されるフラッシュ光の特性は予め知ることができるので（実測により当該特性を求めてよい。）、その特性からフラッシュ光用ＷＢ係数を求めておき、そのフラッシュ光用ＷＢ係数を撮像装置１００のＲＯＭ（不図示）等に記憶させておき、そのフラッシュ光用ＷＢ係数をフラッシュ光用ＷＢ係数設定部３１２４に読み込むようにしてもよい。

ＷＢ係数算出部３１２５は、外光用ＷＢ係数決定部３１２３から出力される外光用ＷＢ係数と、フラッシュ光用ＷＢ係数設定部３１２４から出力されるフラッシュ光用ＷＢ係数と、ＬＰＦ部３１２２から出力される混合比率（平滑化混合比率）Ｗとを入力とする。ＷＢ係数算出部３１２５は、外光用ＷＢ係数とフラッシュ光用ＷＢ係数とを、混合比率（平滑化混合比率）Ｗに基づいて補間することで、ＷＢ係数を算出し、算出したＷＢ係数をＷＢ補正部３１２６に出力する。
図５に、ＷＢ係数算出部３１２５の構成の一例を示す。図５に示すように、ＷＢ係数算出部３１２５は、減算器５１と、乗算器５２と、加算器５３と、を有する。
減算器５１は、外光用ＷＢ係数決定部３１２３から出力される外光用ＷＢ係数ＷＢｃｏｅ１と、フラッシュ光用ＷＢ係数設定部３１２４から出力されるフラッシュ光用ＷＢ係数ＷＢｃｏｅ２と、を入力とし、両者の減算結果である（ＷＢｃｏｅ１−ＷＢｃｏｅ２）を乗算器５２に出力する。

乗算器５２は、減算器５１の出力と、ＬＰＦ３１２２から出力される混合比率（平滑化混合比率）Ｗとを入力とし、両者の乗算結果である
Ｗ・（ＷＢｃｏｅ１−ＷＢｃｏｅ２）
を加算器５３に出力する。
加算器５３は、フラッシュ光用ＷＢ係数ＷＢｃｏｅ２と、乗算器５２の出力であるＷ・（ＷＢｃｏｅ１−ＷＢｃｏｅ２）と、を入力とし、両者の加算結果である
ＷＢｃｏｅ２＋Ｗ・（ＷＢｃｏｅ１−ＷＢｃｏｅ２）
をＷＢ補正部３１２６に出力する。ここで、加算器５３からの出力は、
Ｗ・ＷＢｃｏｅ１＋（１−Ｗ）・ＷＢｃｏｅ２
と等しい。つまり、図５に示す構成により、ＷＢ係数算出部３１２５は、混合比率（平滑化混合比率）Ｗを内分比とした内分処理演算を行うことができる。なお、ＷＢ係数算出部３１２５の構成は、図５の構成に限定されるものではなく、同様の内分処理を実現するものであれば、他の構成であってもよい。

ＷＢ補正部３１２６は、第１信号処理部３１１から出力される画像信号ｂおよびＷＢ係数算出部３１２５から出力されるＷＢ係数を入力とする。ＷＢ補正部３１２６は、ＷＢ係数に基づいて、画像信号ｂに対してＷＢ補正を行い、ＷＢ補正した画像信号を、切換器３１４を介して第２信号処理部３１３に出力する。
切換器３１４は、制御部３４からの切換信号に基づいて、第１信号処理部３１１から出力される画像信号およびＷＢ調整部３１２から出力される画像信号のいずれか一方を選択し、第２信号処理部に入力させる。切換器３１４は、いわゆるセレクタである。切換器３１４は、撮像装置１００において、ＷＢ調整処理が実行されている場合、ＷＢ調整部３１２の出力が第２信号処理部３１３に入力されるように切換処理（セレクト処理）を行う。
第２信号処理部３１３は、切換器３１４から出力される画像信号を入力とし、切換器３１４から出力される画像信号に対して、γ補正処理、色補正処理、ノイズリダクション処理、輪郭強調処理などの処理を行い、記憶部３２に出力する。

なお、第１信号処理部３１１および第２信号処理部３１３で行われる各種処理は、一例であり、上記のものに限定されることがないのは言うまでもない。
記憶部３２は、制御部３４からの指令に基づいて、第１信号処理部３１１から出力される画像信号を記憶し、また、記憶している画像信号をＷＢ調整部３１２に出力する。また、記憶部３２は、第２信号処理部３１３から出力される画像信号を、第１信号処理部３１１から出力される画像信号を記憶する記憶領域とは別の記憶領域に記憶する。なお、記憶部３２は、コーデック部３３により符号化された画像信号を記憶するようにしてもよい。また、記憶部３２は、記憶している画像信号等を、バス３８を介して、信号処理部３１や表示部制御部３５に出力するようにしてもよい。
コーデック部３３は、記憶部３２から出力される画像信号（第２信号処理部３１３から出力され、記憶部３２に記憶された画像信号）に対して符号化処理（ＪＰＥＧ等による符号化処理）を行い、符号化処理した画像信号（以下、「符号化画像信号」という。）をカードＩ／Ｆ３６を介して、メモリカード６等の記録メディアに出力する。また、コーデック部３３は、メモリカード６等の記録メディアから出力される符号化画像信号に対して復号処理（ＪＰＥＧ等による復号処理）を行い、信号処理部３１や、記憶部３２や、表示部制御部３５等に出力する。

制御部３４は、ディジタル信号処理部３の各機能部の各種制御を行う。制御部３４としては、マイクロプロセッサを用いることが好ましい。
表示部制御部３５は、信号処理部３１から出力される画像信号や、コーデック部３３で復号された画像信号や、記憶部３２から出力される画像信号等を入力とする。表示部制御部３５は、入力された画像データを、例えば、ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）（不図示）等に書き込むことで、表示部５（ＬＣＤディスプレイ等による表示装置）で２次元画像として表示されるようにする。
カードＩ／Ｆ３６は、メモリカード６とデータ（信号）の入出力を行うためのインターフェースである。カードＩ／Ｆ３６を介して、信号処理部３１から出力される画像信号や、コーデック部３３により符号化された画像信号や、記憶部３２に記憶された画像信号等が、メモリカード６に出力され、メモリカード６に書き込まれる。

フラッシュ発光制御部３７は、制御部３４からの指令に基づいて、フラッシュ発光部４でのフラッシュ発光のタイミング、フラッシュ発光時間、フラッシュ発光量等の制御を行う。
フラッシュ発光部４は、フラッシュ発光制御部により制御されることで、被写体Ｐ１に対してフラッシュ光を照射する。
＜１．２：撮像装置の動作＞
以上のように構成された撮像装置１００の動作について、以下、説明する。
撮影する被写体からの反射光は、撮像レンズ１１により撮像部（撮像素子）１３上に結像され、光電変換により画像信号（映像信号）として取得される。また、この光路中に設けられた絞り１２および図示していないシャッターにより撮像部（撮像素子）１３上に結像する光量が調整される。撮像レンズ１１による結像（フォーカス制御）は、オートフォーカス機能あるいはマニュアルフォーカス機能により、撮像レンズ１１を前後に（光路上の前後方向に）動かすことによりなされる。また、絞り１２は、制御部３４からの指令（制御信号）により制御され、適切な露光量となるように絞り調節がなされる。ここで、図１では、撮像レンズ１１は、１枚の構成となっているが、実際には複数枚のレンズ組が用いられる。ズームレンズの場合はさらに枚数は増加する。

図示していないシャッターは、メカニカルシャッターであってもよく、また、撮像部（撮像素子）１３の駆動タイミングにより光量を調節する、いわゆる電子シャッターであってもよい。
撮像部１３（ここでは、撮像部１３が、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）に塗り分けられたカラーフィルタを持ち画素数が２０４８×１５３６のＣＣＤ型イメージセンサであるものとして説明するが、撮像部１３は、画素数および方式が他のものである撮像素子（例えば、ＣＭＯＳ型イメージセンサ）であっても当然よい。）上に結像された画像は、アナログ画像信号に変換され、撮像部１３からアナログ信号処理部２に出力される。
撮像部１３から出力された画像信号は、アナログ信号処理部２の相関二重サンプリング（ＣＤＳ）部２１により、サンプリングノイズが低減され、アナログ増幅（ＧＣＡ）部２２により信号レベルが調整され、Ａ／Ｄ変換器２３によりディジタル画像信号（画像データ）に変換される。Ａ／Ｄ変換器２３によりＡ／Ｄ変換された各画素データ（画像データ）（例えば、「０」〜「４０９５」の階調レベルを持つ１２ｂｉｔのディジタル信号）は、ディジタル画像信号として、ディジタル信号処理部３の信号処理部３１に出力される。

信号処理部３１により後述する種々の処理が行われた画像データ（画像信号）は、記憶部３２に書き込まれ、コーデック部３３によりＪＰＥＧ圧縮処理等の符号化処理が施され、制御部３４によりヘッダ情報を付加され、例えば、Ｅｘｉｆファイルフォーマットの画像データ（画像信号）として、カードＩ／Ｆ２５を介して、メモリカード６等の記録メディアに書き込まれる。なお、記憶部３２に書き込みデータは、コーデック部３３により符号化されたデータ（画像信号）であってもよい。また、Ｅｘｉｆファイルフォーマットの画像データ（画像信号）の記録先は、上記に限定されることはなく、例えば、撮像装置に内蔵されたＨＤＤ（ハード・ディスク・ドライブ）装置等であっても当然よい。
また、メモリカード６に書き込まれた画像データは、制御部３４の制御の元で表示部制御部３５によりＬＣＤ表示装置等の表示部５に表示される。

信号処理２１では、信号処理部３１に入力された画像信号に対して、具体的には、ダイナミック・レンジ圧縮処理、ホワイトバランス補正処理、画素補間処理、γ補正処理、色補正処理、ノイズリダクション処理、輪郭強調処理等が施される。なお、これらの処理の順序は様々に変更することが可能である。
撮像部（撮像素子）１３の各画素には、Ｒ、Ｇ、Ｂの色フィルタが分散して配置されており、各画素で取得される画像信号は、Ｒ、Ｇ、Ｂのいずれかの情報しか持たない。このため、画素補間処理により、各画素により取得されなかった２色の情報を持つ画像信号を、それぞれ、周りの画素（画素値）からの補間により推定（算出）する。これにより、撮像部（撮像素子）１３の各画素に対応する画像信号において、Ｒ成分信号、Ｇ成分信号、およびＢ成分信号を取得することができる。

γ補正処理は、画像データ（画像信号）に対して、いわゆるガンマ補正を施す処理であり、通常は、γ＝１／２．２として、画像信号に対してγ補正処理が実行される。
色補正処理は、撮像部（撮像素子）１３の色フィルタの特性で決まるＲＧＢ値を規格化された色空間（ＮＴＳＣ、ｓＲＧＢ等で規定される色空間）のＲＧＢ値への変換を行う処理である。
ノイズリダクション処理は、画像信号の振幅、周波数などからノイズを判別し、判別されたノイズを削減する処理である。
輪郭強調処理は、撮像レンズ１１のアパーチャー（レンズ口径）や絞り２２の影響によるＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の低下を補償し解像度感のある画像にするための処理である。

《ホワイトバランス調整の方法》
次に、ＷＢ調整部３１２により実行されるホワイトバランス調整（ＷＢ調整）の方法について説明する。
まず、撮像装置１００のレリーズボタン（不図示）がユーザにより押されると、図示してない露出決定手段により設定された絞り値、シャッター速度値などの撮影条件でフラッシュを発光せずに、撮像装置１００による撮影を行う。撮影された画像データａ（画像信号ａ）は、記憶部３２に格納される。
次に、同様に設定された絞り値、シャッター速度値などの撮影条件でフラッシュを発光して、撮像装置１００による撮影を行う。撮影された画像データｂ（画像信号ｂ）は、記憶部３２の別の領域に格納される。

次に、外光用ＷＢ係数決定部３１２３は、フラッシュ発光しないで撮影した画像データａを元に、ＷＢ係数ＷＢｃｏｅ１を求め、ＷＢ係数算出部３１２５に出力する。このとき、フラッシュ発光していないので被写体への照明は、外光のみであり、フラッシュ発光していない場合の通常のＷＢ係数が、外光用ＷＢ係数決定部３１２３により決定されればよい。そのため、外光用ＷＢ係数ＷＢｃｏｅ１の決定には、画像データａを用いずに、例えば、外光の色を測定するための測色センサを撮像装置１００に備え、その測色結果に基づいてＷＢ係数ＷＢｃｏｅ１を決定するようにしてもよい。
次に、フラッシュ光用ＷＢ係数設定部３１２４は、フラッシュ光の特性に基づいて事前に設定されたフラッシュ光用ＷＢ係数ＷＢｃｏｅ２を、ＷＢ係数算出部３１２５に出力する。

次に、記憶部３２に格納された画像データａおよび画像データｂの対応する画素の輝度値が混合比率算出部３１２１に出力される。
混合比率算出部３１２１では、フラッシュ発光しないで撮影した画像データａを、フラッシュ発光して撮影した画像データｂで割ることで混合比率Ｗ０（＝ａ／ｂ）が求められる。求められた混合比率Ｗ０は、画素毎に外光とフラッシュ光との強さのバランス（比率）によって「０．０」〜「１．０」の連続値（所定精度のディジタル値）をとる。このとき、フラッシュ光のみが被写体から反射している領域では、混合比率Ｗ０は「０．０」の値となり、外光のみが被写体から反射している領域では、混合比率Ｗ０は「１．０」の値になる。
なお、混合比率算出部３１２１に入力される、画像データａおよび画像データｂの輝度は、（数式１）などで表される輝度値Ｙとしてもよいし、Ｒ成分値，Ｇ成分値，Ｂ成分値のいずれか一つの値を用いてもよい。

ＬＰＦ部３１２２では、混合比率Ｗ０に対して、既知の空間的なローパスフィルタ処理が実行される。
フラッシュ発光して行った撮影と、フラッシュ発光せずに行った撮影とでは、撮影した時刻が異なるので、その間に被写体が動いた場合には、混合比率Ｗ０は、本来の求めたいフラッシュ光と外光との強さのバランス（比率）とは異なる値になる。そのため、求めた混合比率Ｗ０を、そのままＷＢ係数の決定に用いるよりも、混合比率Ｗ０が、撮影された画像と対応して画素毎に求められていることを利用して、混合比率Ｗ０に対して空間的なローパスフィルタをかける。これにより、最終的なＷＢ係数ＷＢｃｏｅ３が連続的かつなめらかに変化するようにすることができる。また、ＬＰＦ部３１２２により、混合比率Ｗ０に対してローパスフィルタ処理を施すことで、被写体が動いた場合にもその悪影響を減ずることができる。つまり、これにより、被写体が動いた画像領域に対するＷＢ調整が誤調整となることを抑制することができる。

次に、ＬＰＦ部３１２２から出力された混合比率Ｗが、ＷＢ係数算出部３１２５に出力される。ＷＢ係数算出部３１２５では、外光用ＷＢ係数決定部３１２３から出力された、外光にあわせて決定したＷＢ係数ＷＢｃｏｅ１と、フラッシュ光用ＷＢ係数設定部３１２４から出力された、フラッシュ光にあわせて設定されたＷＢ係数ＷＢｃｏｅ２とを、混合比率Ｗを内分比として、（数式２）により補間することにより最終的なＷＢ係数ＷＢｃｏｅ３を算出して出力する。

ここで、Ｋｒ１はＷＢ係数ＷＢｃｏｅ１のＲの信号に対する変換係数、Ｋｇ１はＷＢ係数ＷＢｃｏｅ１のＧの信号に対する変換係数、Ｋｂ１はＷＢ係数ＷＢｃｏｅ１のＢの信号に対する変換係数、Ｋｒ２はＷＢ係数ＷＢｃｏｅ２のＲの信号に対する変換係数、Ｋｇ２はＷＢ係数ＷＢｃｏｅ２のＧの信号に対する変換係数、Ｋｂ２はＷＢ係数ＷＢｃｏｅ２のＢの信号に対する変換係数、Ｋｒ３はＷＢ係数ＷＢｃｏｅ３のＲの信号に対する変換係数、Ｋｇ３はＷＢ係数ＷＢｃｏｅ３のＧの信号に対する変換係数、Ｋｂ３はＷＢ係数ＷＢｃｏｅ３のＢの信号に対する変換係数である。
これにより、フラッシュ光のみが当たっている画素（フラッシュ光による照射が支配的である画素を含む。）（混合比率Ｗ＝０．０）では、フラッシュ光に合わせたＷＢ係数ＷＢｃｏｅ２が用いられ、フラッシュ光がほぼ届かず外光のみが当たっている画素（混合比率Ｗ＝１．０）では、外光に合わせたＷＢ係数ＷＢｃｏｅ１が用いられる。そして、外光とフラッシュ光との両方が当たっている画素では、それぞれの光源の寄与度に応じてＷＢ係数ＷＢｃｏｅ１とＷＢ係数ＷＢｃｏｅ２の中間のＷＢ係数ＷＢｃｏｅ３が用いられる。

次に、画素毎に求められたＷＢ係数ＷＢｃｏｅ３は、ＷＢ補正部３１２６に入力される。
ＷＢ補正部３１２６では、フラッシュ発光して撮影した画像データｂに対して、ＷＢ係数ＷＢｃｏｅ３のＲ，Ｇ，Ｂ成分のそれぞれの信号に対する変換係数Ｋｒ３，Ｋｇ３，Ｋｂ３を乗ずることで、画像データｂに対して最終的なＷＢ調整が行われる。そして、最終的なＷＢ調整（補正）がなされた画像データｂが、ＷＢ補正部３１２６から出力される。
そして、ＷＢ補正部３１２６から出力された画像信号ｂ（画像データｂ）は、第２信号処理部３１３に入力され、第２信号処理部３１３により、γ補正処理、色補正処理、ノイズリダクション処理、輪郭強調処理などの処理が実行され、記憶部３２に出力される。
この記憶部３２に出力された画像信号は、記憶部３２に書き込まれ、コーデック部３３によりＪＰＥＧ圧縮処理等の符号化処理が施され、制御部３４によりヘッダ情報を付加され、例えば、Ｅｘｉｆファイルフォーマットの画像データ（画像信号）として、カードＩ／Ｆ２５を介して、メモリカード６等の記録メディアに書き込まれる。

以上により、撮像装置１００では、外光とフラッシュ光とが混合されたような照明条件下で撮影された画像に対して、適切なホワイトバランスの調整を簡易、かつ、少ない回路規模で可能とするとともに、被写体が動いた場合などにおいてもその影響を最小限にとどめ、適切なホワイトバランス調整を行うことができる。
上記処理では、フラッシュ発光して行う撮影とフラッシュ発光しないで行う撮影とで、同じ露出設定で撮影することを前提としている。これは、露出設定が異なる場合、撮像装置１００により撮影された２枚の画像の輝度値を直接比較することができなくなるからである。露出設定が同じになるようにして撮影すると、例えば、フラッシュ発光して撮影した画像において、被写体までの距離が短かったために、その被写体を撮像した画像領域で、いわゆる白飛びの現象が発生してしまう。また、フラッシュ発光しないで撮影した画像において、黒つぶれ現象やＳ／Ｎ比の劣化が発生しうる。

そこで、フラッシュ発光して行う撮影とフラッシュ発光しないで行う撮影とで、異なる露出設定で撮影を行う。この場合、撮影された画像を直接比較することはできなくなるが、絞り値、シャッター速度、ＩＳＯゲイン値（ＩＳＯ感度（フィルムの感度を示す指標で、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）が定めた、フィルムの光に対する敏感さを数値化したもの）に対応するゲイン値）から、それぞれの撮影条件での光量の関係を求めることができる。つまり、フラッシュ発光して行う撮影により取得された画像データとフラッシュ発光しないで行う撮影により取得された画像データとで、それぞれ、撮影時の露出設定に基づいて、撮像された画像データ（画像信号）を補正（露出設定をキャンセルするように補正）し、その補正後の画像データにより、上記と同様にして、混合比率Ｗ０を求める。そして、このようにして求めた混合比率Ｗ０を用いて、上記と同様に処理することで、異なる露出設定により撮影された場合であっても、適切にＷＢ調整を行うことができる。

また、上記では、フラッシュ発光しないで撮影することで取得した画像データａを得るために明示的な撮影動作を行う場合について説明したが、フラッシュ発光しないで撮影することで取得した画像データａは、最終的なＷＢ係数ＷＢｃｏｅ３を求めるための混合比率Ｗ０の計算にしか用いない。
そのため、この画像データａは、フラッシュ発光して撮影した画像データと同じだけの画素数を持っている必要はなく、縮小された画像データとして記憶部３２に蓄積し、混合比率Ｗ０の計算を行う際に拡大処理を行い、上記で説明した処理を行うことでも、上記と同様の効果を得ることができる。
これにより、画像データａを蓄積するために必要となる記憶部３２のメモリ量を削減することができる。

また、信号処理部３１を、図３に示すように、信号処理部３１’に置換した構成としてもよい。つまり、信号処理部３１’を、第１信号処理部３１１から出力される画像信号（画像データ）を画像データｂとして、ＷＢ調整部３１２に入力するような構成にする。このような構成にすることで、フラッシュを発光しないで行う撮影を明示的に行う必要がなくなり、シャッターボタンを押す直前のビューファインダーに表示しているライブビュー画像に相当する画像データが画像データｂとして、ＷＢ調整部３１２に入力され、撮像装置１００により、上記同様の処理が実行されることで、画像データｂに対して適切にＷＢ調整を行うことができる。
また、これにより、フラッシュ発光しない状況下で取得される撮影画像（つまり、シャッターボタンを押す直前のビューファインダーに表示しているライブビュー画像）と、フラッシュ発光して撮影した画像の撮影時刻の差を少なくすることができるので、被写体が動くことによる悪影響を少なくすることができる。

≪変形例≫
次に、第１実施形態の変形例に係る撮像装置について説明する。
図６に、本変形例に係る撮像装置のＷＢ調整部３１２Ａの概略構成図を示す。
本変形例に係る撮像装置は、第１実施形態に係る撮像装置１００のＷＢ処理部３１２０を図６に示すＷＢ処理部３１２０Ａに置換したものである。それ以外は、第１実施形態に係る撮像装置１００と同様であるので、詳細な説明を省略する。
図６に示すように、ＷＢ処理部３１２０Ａは、外光用ＷＢ補正部３１２７と、フラッシュ光用ＷＢ補正部３１２８と、内分処理部３１２９と、を備える。
外光用ＷＢ補正部３１２７は、画像データｂ（フラッシュ光ありの場合の画像データ）と、外光用ＷＢ係数決定部３１２３から出力される外光用ＷＢ係数ＷＢｃｏｅ１と、を入力とする。外光用ＷＢ補正部３１２７は、画像データｂに対して、外光用ＷＢ係数ＷＢｃｏｅ１を用いてホワイトバランス補正処理（ＷＢ補正処理）を行う。そして、この外光用のＷＢ補正処理を行った画像データ（この画像データを「画像データｃ１」という。）を内分処理部３１２９に出力する。

フラッシュ光用ＷＢ補正部３１２８は、画像データｂ（フラッシュ光ありの場合の画像データ）と、フラッシュ光用ＷＢ係数設定部３１２４から出力されるフラッシュ光用ＷＢ係数ＷＢｃｏｅ２と、を入力とする。フラッシュ光用ＷＢ補正部３１２８は、画像データｂに対して、フラッシュ光用ＷＢ係数ＷＢｃｏｅ２を用いてホワイトバランス補正処理（ＷＢ補正処理）を行う。そして、このフラッシュ光用のＷＢ補正処理を行った画像データ（この画像データを「画像データｃ２」という。）を内分処理部３１２９に出力する。
内分処理部３１２９は、外光用ＷＢ補正部３１２７から出力される画像データｃ１と、フラッシュ光用ＷＢ補正部３１２８から出力される画像データｃ２と、ＬＰＦ３１２２から出力される混合比率（平滑化混合比率）Ｗとを入力とする。内分処理部３１２９は、混合比率（平滑化混合比率）Ｗを内分比として、画像データｃ１および画像データｃ２に対して内挿処理を行う。つまり、内分処理部３１２９は、内分処理部３１２９からの出力信号（出力画像データ）をＳｏｕｔとすると、
Ｓｏｕｔ＝Ｗ・ｃ１＋（１−Ｗ）・ｃ２
により算出したＳｏｕｔを信号値とする画像信号（画像データ）を取得する。そして、内分処理部３１２９は、取得した画像信号（画像データ）を切換器３１４に出力する。以降の処理は、上記で説明した処理と同様であるので、説明を省略する。

以上により、本変形例に係る撮像装置では、外光とフラッシュ光とが混合されたような照明条件下で撮影された画像に対して、適切なホワイトバランスの調整を簡易、かつ、少ない回路規模で可能とするとともに、被写体が動いた場合などにおいてもその影響を最小限にとどめ、適切なホワイトバランス調整を行うことができる。
［第２実施形態］
本発明の第１実施形態では、フラッシュ発光して撮影した画像データの輝度値と、フラッシュ発光しないで撮影した画像データの輝度値とを用いて混合比率Ｗ０（または平滑化混合比率Ｗ）を画素毎に１つ求めるようにした。本発明の第２実施形態では、画素毎に画像データのＲ成分、Ｇ成分、Ｂ成分それぞれに対応する混合比率（または平滑化混合比率）を求めるようにした実施形態について、図１および図７を用いて説明する。なお、本実施形態に係る撮像装置は、第１実施形態の撮像装置１００において、ＷＢ調整部３１２をＷＢ調整部４１２に置換した点が異なる。他の部分については、第１実施形態に係る撮像装置１００と同様であるので、説明を省略する。また、図７に示すように、ＷＢ係数算出部４１２５およびＷＢ補正部４１２６からＷＢ処理部４１２０が構成されるものとする。

一般に、ＷＢ調整は、例えば、照明光の色温度が高い場合、つまり照明光のＲ，Ｇ，Ｂの各成分のうちＢ成分の光が他の成分の光に比べて強い場合に、Ｂ成分の信号に対するゲインを下げることで、白い被写体を撮影した場合に得られる画像データにおいて、Ｒ，Ｇ，Ｂの各成分の信号がほぼ等しくなるように調整（ＷＢ調整）が行われる。
しかし、ＷＢ係数は、フラッシュ光単独あるいは外光単独のみであれば正しいものであっても、その二つの光源がミックスされた条件においては、その二つの光源に合わせたＷＢ係数の単純な内分値になるとは限らない。実際には、二つの光源は、色温度が異なるので、それぞれの輝度からでは正確なＷＢ調整を行うことができない。
二つの光源の色温度が同じ場合にはこのような問題は発生しないが、そもそも同じ色温度であれば本発明が解決しようとする課題が発生しない。また、同じ色温度であった場合には、フラッシュ光と外光とのそれぞれに対するＷＢ係数は同じものになり、これを混合比率によって補間した最終的なＷＢ係数もまた同じになる。このため、フラッシュ光と外光とで色温度が異なるのかどうかで処理を切り換えるといったことを行う必要がない。

図７に、本実施形態に係るホワイトバランス調整部（ＷＢ調整部）４１２の構成を示す。
本実施形態では、フラッシュを発光して行った撮影により取得した画像データｂと、フラッシュ発光せずに行った撮影により取得した画像データａとの２枚の画像データを記憶部３２に格納し、外光に合わせたＷＢ係数ＷＢｃｏｅ１を決定するまでの処理は、本発明の第１実施形態と同様であり、その説明は省略する。
記憶部３２に格納された画像データａおよび画像データｂの対応する画素のＲ成分値、Ｇ成分値、およびＢ成分値が、それぞれ、混合比率算出部４１２１に出力される。混合比率算出部４１２１では、フラッシュ発光せずに撮影することで取得された画像データａのＲ成分、Ｇ成分、およびＢ成分の信号（信号値）を、フラッシュ発光して撮影することで取得された画像データｂのＲ成分、Ｇ成分、およびＢ成分の信号（信号値）で割ることで、Ｒ成分，Ｇ成分，およびＢ成分の信号のそれぞれに対する混合比率Ｗｒ０，Ｗｇ０，およびＷＢ０が求められる。

次に、混合比率算出部４１２１から出力された混合比率Ｗｒ０，Ｗｇ０，およびＷｂ０は、それぞれ、Ｒ用ＬＰＦ部４１２２ｒ、Ｇ用ＬＰＦ部４１２２ｇ、およびＢ用ＬＰＦ部４１２２ｂに入力される。Ｒ用ＬＰＦ部４１２２ｒ、Ｇ用ＬＰＦ部４１２２ｇ、およびＢ用ＬＰＦ部４１２２ｂでは、それぞれ、混合比率Ｗｒ０、Ｗｒｇ０、およびＷｂ０に対して、既知の空間的なローパスフィルタ処理が実行される。
次に、Ｒ用ＬＰＦ部４１２２ｒ、Ｇ用ＬＰＦ部４１２２ｇ、およびＢ用ＬＰＦ部４１２２ｂから出力された混合比率（平滑化混合比率）Ｗｒ，Ｗｇ，およびＷｂは、ＷＢ係数算出部４１２５に出力される。ＷＢ係数算出部４１２５では、外光にあわせて決定した外光用ＷＢ係数ＷＢｃｏｅ１（Ｋｒ１、Ｋｂ１、およびＫｇ１）と、フラッシュ光の特性に基づいて事前に設定されたフラッシュ光用ＷＢ係数ＷＢｃｏｅ２（Ｋｒ２、Ｋｂ２、およびＫｇ２）とを、混合比率Ｗｒ、Ｗｇ、およびＷｂを内分比として、（数式３）により、それぞれ、補間することにより、最終的なＷＢ係数ＷＢｃｏｅ３（Ｋｒ３、Ｋｂ３、およびＫｇ３）が決定され、ＷＢ補正部４１２６に出力される。

ここで、Ｋｒ１はＷＢ係数ＷＢｃｏｅ１のＲ成分信号に対する変換係数、Ｋｇ１はＷＢ係数ＷＢｃｏｅ１のＧ成分信号に対する変換係数、Ｋｂ１はＷＢ係数ＷＢｃｏｅ１のＢ成分信号に対する変換係数、Ｋｒ２はＷＢ係数ＷＢｃｏｅ２のＲ成分信号に対する変換係数、Ｋｇ２はＷＢ係数ＷＢｃｏｅ２のＧ成分信号に対する変換係数、Ｋｂ２はＷＢ係数ＷＢｃｏｅ２のＢ成分信号に対する変換係数、Ｋｒ３はＷＢ係数ＷＢｃｏｅ３のＲ成分信号に対する変換係数、Ｋｇ３はＷＢ係数ＷＢｃｏｅ３のＧ成分信号に対する変換係数、Ｋｂ３はＷＢ係数ＷＢｃｏｅ３のＢ成分信号に対する変換係数である。
なお、ＷＢ係数算出部３１２５の具体的な構成例としては、図５と同様の構成のものをＲＧＢそれぞれに対して設けることで実現できる。

次に、画素毎に求められたＷＢ係数ＷＢｃｏｅ３は、ＷＢ補正部４１２６に入力される。ＷＢ補正部４１２６では、フラッシュ発光して撮影することで取得された画像データにｂに対して、ＷＢ係数ＷＢｃｏｅ３のＲ成分，Ｇ成分，およびＢ成分のそれぞれの信号に対する変換係数Ｋｒ３，Ｋｇ３，およびＫｂ３を乗ずることで、画像データｂに対して最終的なＷＢ調整が行われる。そして、最終的なＷＢ調整（補正）がなされた画像データｂが、ＷＢ補正部４１２６から出力される。
そして、ＷＢ補正部４１２６から出力された画像信号ｂ（画像データｂ）は、第２信号処理部３１３に入力され、第２信号処理部３１３により、γ補正処理、色補正処理、ノイズリダクション処理、輪郭強調処理などの処理が実行され、記憶部３２に出力される。
この記憶部３２に出力された画像信号は、記憶部３２に書き込まれ、コーデック部３３によりＪＰＥＧ圧縮処理等の符号化処理が施され、制御部３４によりヘッダ情報を付加され、例えば、Ｅｘｉｆファイルフォーマットの画像データ（画像信号）として、カードＩ／Ｆ２５を介して、メモリカード６等の記録メディアに書き込まれる。

図９に、本発明の第１実施形態でのＷＢ調整の結果と、本発明の第２実施形態でのＷＢ調整の結果とを、実際の数値で比較した表を示す。フラッシュ発光して撮影した場合と、フラッシュ発光せずに撮影した場合で同じ位置の画像データが得られたとしたときの、第１実施形態でのＷＢ調整結果を図９（ａ）に、第２実施形態でのＷＢ調整結果を図９（ｂ）に、そして、この計算例でのフラッシュ光用ＷＢ係数、および外光用ＷＢ係数を図９（ｃ）に示す。
まず、本発明の第１実施形態での計算（処理結果）を、図９（ａ）を用いて、説明する。
図９（ａ）に示した表の左から右へ、二つの入力画像から最終のＷＢ調整された出力画像までを順に説明する。ここで、「フラッシュＯＦＦ画像」と書かれた欄のデータ値は、フラッシュ発光しないで撮影した画像の、ある画素のＲ成分値（「Ｒａ」の列の値），Ｇ成分値（「Ｇａ」の列の値），およびＢ成分値（「Ｂａ」の列の値）である。同様に、「フラッシュＯＮ画像」と書かれた欄のデータ値は、フラッシュ発光して撮影した画像の、ある画素のＲ成分値（「Ｒｂ」の列の値），Ｇ成分値（「Ｇｂ」の列の値），およびＢ成分値（「Ｂｂ」の列の値）である。

また、「Ｙａ」の欄には、同一行に記載されている「Ｒａ」値、「Ｇａ」値および「Ｂａ」値に対応する輝度値「Ｙａ」が記載されており、「Ｙｂ」の欄には、同一行に記載されている「Ｒｂ」値、「Ｇｂ」値および「Ｂｂ」値に対応する輝度値「Ｙｂ」が記載されている。
また、「混合比率」の欄には、フラッシュ光と外光とのバランス（比率）「Ｗ」値が記載されている。この欄のデータからわかるように、１行目は外光が全くなくフラッシュ光のみの場合であり、下の行へ行くに従い、順にバランス（比率）を変えて最終行では、フラッシュ光が全くなく外光のみの場合のデータ値が記載されている。
また、どちらの画像（フラッシュＯＦＦ画像とフラッシュＯＮ画像）も白い被写体を撮影したと仮定した画素値になっている。このため、フラッシュＯＮ画像について、外光のＷＢ係数ＷＢｃｏｅ１（Ｋｒ１、Ｋｂ１およびＫｂ１）と画素値（Ｒａ、Ｇａ、およびＢａ）とは、以下の関係になっている。

また、図９（ａ）の表のデータが記載されているエリアの１行目のデータについては、外光が全くなくフラッシュ光のみという条件で撮影されたデータ値である。したがって、フラッシュＯＮ画像について、フラッシュ光のＷＢ係数ＷＢｃｏｅ２（Ｋｒ２、Ｋｇ２およびＫｂ２）と画素値（Ｒｂ、Ｇｂ、およびＢｂ）とは、以下の関係になっている。

次に、フラッシュＯＦＦ画像のＲ成分値，Ｇ成分値，およびＢ成分値から（数式１）により輝度値Ｙａを求める。同様に、フラッシュＯＮ画像についても輝度値Ｙｂを求める。
次に、フラッシュＯＦＦ画像の輝度値ＹａをフラッシュＯＮ画像の輝度値Ｙｂで割ることで混合比率Ｗが求まる。外光が全くなくフラッシュ光のみである１行目の混合比率Ｗが「０．０」となっており、フラッシュ光が全くなく外光のみである最終行の混合比率が「１．０」になっていることが、図９（ａ）の混合比率Ｗの欄のデータ値からわかる。
次に、混合比率Ｗを用いて（数式２）に従って最終的なＷＢ係数ＷＢｃｏｅ３（図９（ａ）の表では「ＷＢ係数３」と記載。）を求めることができる。そして、以下の式によってＷＢ係数ＷＢｃｏｅ３を用いてＷＢ調整を行った結果が出力画像のＲ成分値，Ｇ成分値，およびＢ成分値である。

図９（ａ）の表の計算結果から明らかなように、本発明の第１実施形態よれば、１行目の外光が全くなくフラッシュ光のみの場合、および最終行のフラッシュ光が全くなく外光のみの場合では、出力画像信号（出力画像データ）は、完全に白になっており（Ｒ＝０．５０、Ｇ＝０．５０、Ｂ＝０．５０）、外光とフラッシュ光とが混合されているような条件においても（図９（ａ）の表のデータが記載されているエリアの２行目から１０行目のデータに相当。）、ほぼ白に補正されていることがわかる。
次に、本発明の第２実施形態での計算（処理結果）を、図９（ｂ）を用いて、説明する。
入力となる、フラッシュを発光しないで撮影した画像データ（フラッシュＯＦＦ画像）とフラッシュを発光して撮影した画像データ（フラッシュＯＮ画像）は、図９（ａ）の表と同じである。

本発明の第２実施形態では、混合比率をＲ成分，Ｇ成分，Ｂ成分のそれぞれに対して求めるので、例えば、フラッシュＯＦＦ画像のＲ値であるＲａをフラッシュＯＮ画像のＲ値であるＲｂで割ることで、Ｒ成分に対する混合比率Ｗｒが求まる。同様に、ＷＢ、Ｗｇについても同様にして求めることができる。
次に、混合比率Ｗｒ、Ｗｇ、およびＷｂを用いて（数式３）に従って最終的なＷＢ係数３（ＷＢ係数ＷＢｃｏｅ３）を求めることができる。そして、（数式６）によってＷＢ係数３（ＷＢ係数ＷＢｃｏｅ３）を用いてＷＢ調整を行った結果が、図９（ｂ）の表の出力画像の欄に記載されているＲ成分値，Ｇ成分値，Ｂ成分値である。
図９（ｂ）の表の計算結果から明らかなように、本発明の第２実施形態によれば、データ値が記載されているエリアの１行目の外光が全くなくフラッシュ光のみの場合、および最終行のフラッシュ光が全くなく外光のみの場合はもちろん、外光とフラッシュ光とが混合されているような条件でも（図９（ｂ）の表のデータが記載されているエリアの２行目から１０行目のデータに相当。）、完全に白に補正することができている。

なお、図９（ａ）の表、図９（ｂ）の表のいずれの計算においてもＬＰＦ部３１２２、Ｒ用ＬＰＦ部４１２２ｒ、Ｇ用ＬＰＦ部４１２２ｇ、およびＢ用ＬＰＦ部４１２２ｂでの処理は省略している。
以上のように、本発明によれば、外光とフラッシュ光とが混合されたような照明条件下で撮影された画像に対して、適切なホワイトバランスの調整を簡易、かつ、少ない回路規模で可能とするとともに、被写体が動いた場合などにおいてもその影響を最小限にとどめ、適切なホワイトバランス調整を行うことができる。
≪変形例≫
次に、第２実施形態の変形例に係る撮像装置について説明する。
図８に、本変形例に係る撮像装置のＷＢ調整部４１２Ａの概略構成図を示す。

本変形例に係る撮像装置は、第２実施形態に係る撮像装置のＷＢ処理部４１２０を図８に示すＷＢ処理部４１２０Ａに置換したものである。それ以外は、第２実施形態に係る撮像装置と同様であるので、詳細な説明を省略する。
なお、図７において、ＲＧＢについて３つのデータの入出力線（接続線）を図示したが、図８では、ＲＧＢについて３つのデータを１つのベクトルデータとし、ＲＧＢの３つの入出力線（接続線）を１つの入出力線（接続線）としている。また、Ｒ用ＬＰＦ４１２２ｒ、Ｇ用ＬＰＦ４１２２ｇおよびＢ用ＬＰＦ４１２２ｂを１つにまとめ、ＬＰＦ４１２２としている。
そして、画像データａのベクトルデータをＩｎａ＿ＲＧＢとし、画像データｂのベクトルデータをＩｎｂ＿ＲＧＢとし、混合比率算出部４１２１から出力されるベクトルデータをＷ０＿ＲＧＢとしている。また、ＬＰＦ４１２２から出力されるベクトルデータをＷ＿ＲＧＢとし、外光用ＷＢ係数決定部４１２３から出力されるベクトルデータをＷＢｃｏｅ１＿ＲＧＢとし、フラッシュ光用ＷＢ係数設定部４１２４から出力されるベクトルデータをＷＢｃｏｅ２＿ＲＧＢとし、内分処理部４１２９から出力されるベクトルデータをＯｕｔ＿ＲＧＢとしている。

図８に示すように、ＷＢ処理部４１２０Ａは、外光用ＷＢ補正部４１２７と、フラッシュ光用ＷＢ補正部４１２８と、内分処理部４１２９と、を備える。
外光用ＷＢ補正部４１２７は、画像データｂ（フラッシュ光ありの場合の画像データ）のＲＧＢ用ベクトルデータＩｎａ＿ＲＧＢと、外光用ＷＢ係数決定部４１２３から出力される外光用ＷＢ係数ＷＢｃｏｅ１＿ＲＧＢと、を入力とする。外光用ＷＢ補正部４１２７は、画像データｂのＲＧＢ用ベクトルデータＩｎｂ＿ＲＧＢに対して、外光用ＷＢ係数ＷＢｃｏｅ１＿ＲＧＢを用いてホワイトバランス補正処理（ＷＢ補正処理）を行う。そして、この外光用のＷＢ補正処理を行った画像データ（この画像データ（ＲＧＢ用のベクトルデータ）を「画像データｃ１＿ＲＧＢ」という。）を内分処理部４１２９に出力する。
フラッシュ光用ＷＢ補正部４１２８は、画像データｂ（フラッシュ光ありの場合の画像データ）のＲＧＢ用ベクトルデータＩｎｂ＿ＲＧＢと、フラッシュ光用ＷＢ係数設定部３１２４から出力されるフラッシュ光用ＷＢ係数ＷＢｃｏｅ２＿ＲＧＢと、を入力とする。フラッシュ光用ＷＢ補正部４１２８は、画像データｂのＲＧＢ用ベクトルデータＩｎｂ＿ＲＧＢに対して、フラッシュ光用ＷＢ係数ＷＢｃｏｅ２＿ＲＧＢを用いてホワイトバランス補正処理（ＷＢ補正処理）を行う。そして、このフラッシュ光用のＷＢ補正処理を行った画像データ（この画像データ（ＲＧＢ用のベクトルデータ）を「画像データｃ２＿ＲＧＢ」という。）を内分処理部４１２９に出力する。

内分処理部４１２９は、外光用ＷＢ補正部４１２７から出力される画像データｃ１＿ＲＧＢと、フラッシュ光用ＷＢ補正部４１２８から出力される画像データｃ２＿ＲＧＢと、ＬＰＦ４１２２から出力される混合比率（平滑化混合比率）Ｗ＿ＲＧＢとを入力とする。内分処理部４１２９は、混合比率（平滑化混合比率）Ｗ＿ＲＧＢを内分比として、画像データｃ１＿ＲＧＢおよび画像データｃ２＿ＲＧＢに対して内挿処理を行う。つまり、内分処理部４１２９は、内分処理部４１２９からの出力信号（出力画像データ（ＲＧＢ用のベクトルデータ））をＳｏｕｔ＿ＲＧＢとすると、
Ｓｏｕｔ＿ＲＧＢ＝Ｗ＿ＲＧＢ・ｃ１＿ＲＧＢ＋（１−Ｗ＿ＲＧＢ）・ｃ２＿ＲＧＢ
により算出したＳｏｕｔ＿ＲＧＢを信号値とする画像信号（画像データ（ＲＧＢ用のベクトルデータ））を取得する。つまり、第１実施形態の変形例で説明した内挿処理と同様の処理を、Ｒ成分、Ｇ成分およびＢ成分に対して、それぞれ行う。そして、内分処理部４１２９は、取得した画像信号（画像データ（ＲＧＢ用のベクトルデータ））を切換器３１４に出力する。以降の処理は、上記で説明した処理と同様であるので、説明を省略する。

以上により、本変形例に係る撮像装置では、外光とフラッシュ光とが混合されたような照明条件下で撮影された画像に対して、適切なホワイトバランスの調整を簡易、かつ、少ない回路規模で可能とするとともに、被写体が動いた場合などにおいてもその影響を最小限にとどめ、適切なホワイトバランス調整を行うことができる。
［他の実施形態］
なお、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されてもよいし、一部または全部を含むように１チップ化されてもよい。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明に係るホワイトバランス調整装置、撮像装置、ホワイトバランス調整方法、プログラムおよび集積回路によれば、外光とフラッシュ光など、異なる照明が混合した様な条件下での撮影であっても、適切なホワイトバランス調整が行うことができ、自然な画像データを得ることができるので、映像・画像処理装置関連分野において有用であり、本発明に係るホワイトバランス調整装置、撮像装置、ホワイトバランス調整方法、プログラムおよび集積回路は、当該分野において実施することができる。

本発明の撮像装置１００の全体構成図 本発明の第１実施形態に係る撮像装置１００の信号処理部３１および記憶部３２の構成図 本発明の第１実施形態に係る撮像装置１００の信号処理部３１’および記憶部３２の構成図 本発明の第１実施形態に係るＷＢ調整部３１２の構成図 本発明の第１実施形態に係るＷＢ係数算出部３１２５の構成の一例 本発明の第１実施形態の変形例に係る撮像装置のＷＢ調整部３１２Ａの概略構成図 本発明の第２実施形態に係るＷＢ調整部４１２の概略構成図 本発明の第２実施形態の変形例に係るＷＢ調整部４１２Ａの概略構成図 本発明の第１実施形態および第２実施形態でのＷＢ調整の計算結果を示す表

符号の説明

１００ 撮像装置
３１２、３１２Ａ、４１２、４１２Ａ ＷＢ調整部（ホワイトバランス調整装置）
２ アナログ信号処理部
３ ディジタル信号処理部
４ フラッシュ発光部
３１ 信号処理部
３２ 記憶部
３３ コーデック部
３４ 制御部
３１１ 第１信号処理部
３１３ 第２信号処理部
３１２１、４１２１ 混合比率算出部
３１２２ ＬＰＦ部
４１２２ｒ Ｒ用ＬＰＦ部
４１２２ｇ Ｇ用ＬＰＦ部
４１２２ｂ Ｂ用ＬＰＦ部
３１２３、４１２３ 外光用ＷＢ係数決定部
３１２４、４１２４ フラッシュ光用ＷＢ係数設定部
３１２５、４１２５ ＷＢ係数算出部
３１２６、４１２６ ＷＢ補正部
３１２７、４１２７ 外光用ＷＢ補正部
３１２８、４１２８ フラッシュ光用ＷＢ補正部
３１２９、４１２９ 内分処理部

Claims (15)

1. フラッシュ光を被写体に照射させることなく取得した第１画像信号とフラッシュ光を前記被写体に照射させて取得した第２画像信号とに基づき、前記第２画像信号に含まれる外光成分およびフラッシュ光成分の混合比率を算出する混合比率算出部と、
   前記第１画像信号から外光用ホワイトバランス係数である外光用ＷＢ係数を決定する外光用ＷＢ係数決定部と、
   前記フラッシュ光のホワイトバランス係数であるフラッシュ光用ＷＢ係数を設定するフラッシュ光用ＷＢ係数設定部と、
   前記混合比率を内分比として用いることで、前記第２画像信号に対して、前記外光用ＷＢ係数と前記フラッシュ光用ＷＢ係数との中間のホワイトバランス調整を連続的に行うＷＢ処理部と、
   を備えるホワイトバランス調整装置。
2. 前記混合比率算出部は、前記混合比率として、外光比率を、
   （外光比率）＝（前記第１画像信号）／（前記第２画像信号）
   により算出する、
   請求項１に記載のホワイトバランス調整装置。
3. 前記混合比率算出部は、前記混合比率として、フラッシュ光比率を、
   （フラッシュ光比率）＝１−（前記第１画像信号）／（前記第２画像信号）
   ＝（前記第２画像信号−前記第１画像信号）／（前記第２画像信号）
   のいずれかにより算出する、
   請求項１に記載のホワイトバランス調整装置。
4. 前記ＷＢ処理部は、
   前記混合比率に基づいて、前記外光用ＷＢ係数の値と前記フラッシュ光用ＷＢ係数の値とを内分することで、前記第２画像信号に対してホワイトバランス補正を行うためのホワイトバランス係数である連続値をとる最終ＷＢ係数を決定するＷＢ係数算出部と、
   連続値をとる前記最終ＷＢ係数に基づいて、前記第２画像信号に対してホワイトバランス補正を行うＷＢ補正部と
   を含む、
   請求項１から３のいずれかに記載のホワイトバランス調整装置。
5. 前記ＷＢ係数算出部は、前記外光比率をｗ１（０≦ｗ１≦１）とし、前記フラッシュ光比率をｗ２（０≦ｗ２≦１）とし、前記外光用ＷＢ係数の値をＷＢｃｏｅ１とし、前記フラッシュ光用ＷＢ係数の値ＷＢｃｏｅ２とし、前記最終ＷＢ係数をＷＢｃｏｅ３とする場合、
   ＷＢｃｏｅ３＝ＷＢｃｏｅ２＋ｗ１・（ＷＢｃｏｅ１−ＷＢｃｏｅ２）
   ＝ｗ１・ＷＢｃｏｅ１＋（１−ｗ１）・ＷＢｃｏｅ２
   ＝ＷＢｃｏｅ１＋ｗ２・（ＷＢｃｏｅ２−ＷＢｃｏｅ１）
   ＝（１−ｗ２）・ＷＢｃｏｅ１＋ｗ２・ＷＢｃｏｅ２
   ＝ｗ１・ＷＢｃｏｅ１＋ｗ２・ＷＢｃｏｅ２
   のいずれかにより連続的に算出したＷＢｃｏｅ３を前記最終ＷＢ係数に決定する、
   請求項４に記載のホワイトバランス調整装置。
6. 前記ＷＢ処理部は、
   前記外光用ＷＢ係数に基づいて、前記第２画像信号に対してホワイトバランス補正を行うことで第３画像信号を取得する外光用ＷＢ補正部と、
   前記フラッシュ光用ＷＢ係数に基づいて、前記第２画像信号に対してホワイトバランス補正を行うことで第４画像信号を取得するフラッシュ光用ＷＢ補正部と、
   前記混合比率に基づいて、前記第３画像信号の信号値と前記第４画像信号の信号値とを内分することで、連続値をとる前記最終画像信号を取得する内分処理部と
   を含む、
   請求項１から３のいずれかに記載のホワイトバランス調整装置。
7. 前記内分処理部は、前記外光比率をｗ１（０≦ｗ１≦１）とし、前記フラッシュ光比率をｗ２（０≦ｗ２≦１）とし、前記第３画像信号の信号値をＳ１とし、前記第４画像信号の信号値をＳ２とし、前記最終画像信号の信号値をＳｏｕｔとする場合、
   Ｓｏｕｔ＝Ｓ２＋ｗ１・（Ｓ１−Ｓ２）
   ＝ｗ１・Ｓ１＋（１−ｗ１）・Ｓ２
   ＝Ｓ１＋ｗ２・（Ｓ２−Ｓ１）
   ＝（１−ｗ２）・Ｓ１＋ｗ２・Ｓ２
   ＝ｗ１・Ｓ１＋ｗ２・Ｓ２
   のいずれかにより連続的に算出したＳｏｕｔを信号値とする画像信号を前記最終画像信号として取得する、
   請求項６に記載のホワイトバランス調整装置。
8. 前記混合比率推定部は、前記第１画像信号のＲ成分信号である第１Ｒ画像信号と、前記第２画像信号のＲ成分信号である第２Ｒ画像信号とに基づき、Ｒ成分用混合比率を推定し、前記第１画像信号のＧ成分信号である第１Ｇ画像信号と、前記第２画像信号のＧ成分信号である第２Ｇ画像信号とに基づき、Ｇ成分用混合比率を推定し、前記第１画像信号のＢ成分信号である第１Ｂ画像信号と、前記第２画像信号のＢ成分信号である第２Ｂ画像信号とに基づき、Ｂ成分用混合比率を推定し、
   前記外光用ＷＢ係数決定部は、それぞれ、前記第１Ｒ画像信号、前記第１Ｇ画像信号、および前記第１Ｂ画像信号から、外光用Ｒ成分ＷＢ係数、外光用Ｇ成分ＷＢ係数、および外光用Ｂ成分ＷＢ係数を決定し、
   前記フラッシュ光用ＷＢ係数設定部は、フラッシュ光用Ｒ成分ＷＢ係数、フラッシュ光用Ｇ成分ＷＢ係数、およびフラッシュ光用Ｂ成分ＷＢ係数を設定し、
   前記ＷＢ処理部は、前記Ｒ成分用混合比率、前記Ｇ成分用混合比率、および前記Ｂ成分用混合比率と、前記外光用Ｒ成分ＷＢ係数、前記外光用Ｇ成分ＷＢ係数、および前記外光用Ｂ成分ＷＢ係数と、フラッシュ光用Ｒ成分ＷＢ係数、フラッシュ光用Ｇ成分ＷＢ係数、およびフラッシュ光用Ｂ成分ＷＢ係数とに基づいて、それぞれ、前記第２Ｒ画像信号、前記第２Ｇ画像信号、および前記第２Ｂ画像信号に対して連続的にホワイトバランス補正を行う、
   請求項１に記載のホワイトバランス調整装置。
9. 前記混合比率に対してローパスフィルタ処理を行い、平滑化混合比率を算出するＬＰＦ部をさらに備え、
   前記ＷＢ処理部は、前記混合比率として、前記平滑化混合比率を用いる、
   請求項１または８に記載のホワイトバランス調整装置。
10. 請求項１から９のいずれかに記載のホワイトバランス調整装置を備える撮像装置。
11. 前記フラッシュ光を前記被写体に照射するフラッシュ発光部をさらに備える、
    請求項１０に記載の撮像装置。
12. フラッシュ光を被写体に照射させることなく取得した第１画像信号とフラッシュ光を前記被写体に照射させて取得した第２画像信号とに基づき前記第２画像信号に含まれる外光成分およびフラッシュ光成分の混合比率を算出する混合比率算出ステップと、
    前記第１画像信号から外光用ホワイトバランス係数である外光用ＷＢ係数を決定する外光用ＷＢ係数決定ステップと、
    前記フラッシュ光のホワイトバランス係数であるフラッシュ光用ＷＢ係数を設定するフラッシュ光用ＷＢ係数設定ステップと、
    前記混合比率を内分比として用いることで、前記第２画像信号に対して、前記外光用ＷＢ係数と前記フラッシュ光用ＷＢ係数との中間のホワイトバランス調整を連続的に行うＷＢ処理ステップと、
    を備えるホワイトバランス調整方法。
13. コンピュータを、
    フラッシュ光を被写体に照射させることなく取得した第１画像信号とフラッシュ光を前記被写体に照射させて取得した第２画像信号とに基づき前記第２画像信号に含まれる外光成分およびフラッシュ光成分の混合比率を算出する混合比率算出部、
    前記第１画像信号から外光用ホワイトバランス係数である外光用ＷＢ係数を決定する外光用ＷＢ係数決定部、
    前記フラッシュ光のホワイトバランス係数であるフラッシュ光用ＷＢ係数を設定するフラッシュ光用ＷＢ係数設定部、
    前記混合比率を内分比として用いることで、前記第２画像信号に対して、前記外光用ＷＢ係数と前記フラッシュ光用ＷＢ係数との中間のホワイトバランス調整を連続的に行うＷＢ処理部と、として機能させるためのプログラム。
14. コンピュータを、
    フラッシュ光を被写体に照射させることなく取得した第１画像信号とフラッシュ光を前記被写体に照射させて取得した第２画像信号とに基づき前記第２画像信号に含まれる外光成分およびフラッシュ光成分の混合比率を算出する混合比率算出部、
    前記第１画像信号から外光用ホワイトバランス係数である外光用ＷＢ係数を決定する外光用ＷＢ係数決定部、
    前記フラッシュ光のホワイトバランス係数であるフラッシュ光用ＷＢ係数を設定するフラッシュ光用ＷＢ係数設定部、
    前記混合比率を内分比として用いることで、前記第２画像信号に対して、前記外光用ＷＢ係数と前記フラッシュ光用ＷＢ係数との中間のホワイトバランス調整を連続的に行うＷＢ処理部と、
    として機能させるためのプログラムを記録したコンピュータにより読み取り可能な記録媒体。
15. フラッシュ光を被写体に照射させることなく取得した第１画像信号とフラッシュ光を前記被写体に照射させて取得した第２画像信号とに基づき前記第２画像信号に含まれる外光成分およびフラッシュ光成分の混合比率を算出する混合比率算出部と、
    前記第１画像信号から外光用ホワイトバランス係数である外光用ＷＢ係数を決定する外光用ＷＢ係数決定部と、
    前記フラッシュ光のホワイトバランス係数であるフラッシュ光用ＷＢ係数を設定するフラッシュ光用ＷＢ係数設定部と、
    前記混合比率を内分比として用いることで、前記第２画像信号に対して、前記外光用ＷＢ係数と前記フラッシュ光用ＷＢ係数との中間のホワイトバランス調整を連続的に行うＷＢ処理部と、
    を備える集積回路。

Images