JP4434073B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は、カラー画像信号を処理する画像処理装置、およびこの機能を備えた撮像装置に関し、特に、色再現を最適化するように色信号の調整を制御するための画像処理装置および撮像装置に関する。

固体撮像素子を用いたデジタルスチルカメラやデジタルビデオカメラなどの撮像装置では、画質補正機能の一つとしてオートホワイトバランス機能を有するものが多い（例えば、特許文献１参照）。オートホワイトバランス機能は、撮影時の光源の色に拘らず白い被写体が白い画として表示されるように色を調整するものである。

しかし、白い被写体を正確に白の画として再現することは、撮影シーンでの人間による見え方を必ずしも自然に再現しているとは言えない。例えば、白熱電球下では赤味が残っている方が、あるいは屋外の日陰では青味が残っている方が自然に感じられる場合がある。この原因の一つには、人間の視覚における順応機構が視野内の白に常に完全には追従しない特性を持つことが挙げられる。また、ユーザが撮影する際に、景色などのシーンの雰囲気を残したいのか、あるいは被写体の物としての正確な情報を残したいのかといった、撮影時のユーザの意図や嗜好などが異なることも原因となる。さらに、ホワイトバランスに限らず、白以外の色についても同様に、被写体を特定の光源下と測色的に同じく再現することは、撮影時にユーザが意図した見え方を必ずしも自然に再現するとは限らない。

オートホワイトバランス機能では、例えば撮像した画像信号から光源による色の変化を推定し、その色に対して自動的に追従させている。このような制御では、例えば、光源を判別する色温度範囲などをあらかじめ撮像装置内で設定しておくことが多く、色温度範囲が広ければ、被写体の色を忠実に再現するものの光源の雰囲気があまり残らない画となり、色温度範囲が狭ければ、光源の雰囲気をより残すものの被写体の色が正しくない画となる。

これに対して、従来からホワイトバランスを意図的にずらす機構を備えた撮像装置があった。例えば、室内の白熱灯のような人工光源下では、やや赤味を残した方が無彩色や肌色が自然に再現されるといった経験的な知見は以前からあり、低色温度側の追従時に赤味を残すようなオフセット処理を行う、あるいは、ホワイトバランスのＲ（Red）ゲインを抑えるなどの処理が考えられていた。また、ホワイトバランスアンプゲインの可動範囲をユーザが設定可能にすることも考えられていた。
特開２００２−２８１５１２号公報（段落番号〔０００２〕〜〔０００３〕、図５）

上記手法のようにオートホワイトバランス処理による調整値を意図的にずらす場合においては、一定の状況判断により調整値のずらし方を切り替える工夫がなされてきたが、どんな状況下でも適度といえる状態を一概に決めることは困難であった。特に、ホワイトバランスの追従状態をユーザが指定するという負担を強いないためには、撮影シーンに対して適応的に制御することが必要である。そのために、例えばシーンの色温度レベルや明るさレベルをあらかじめ設けた閾値との大小関係で分類し、それにより追従の仕方を切替えるような方法が考えられるが、常時最適な状態まで実現できるわけではなかった。

本発明はこのような課題に鑑みてなされたものであり、撮影シーンで観察者に見える色に近づけた自然なホワイトバランスとなる画像を自動的に生成できる画像処理装置を提供することを目的とする。

また、本発明の他の目的は、撮影シーンで観察者に見える色に近づけた自然なホワイトバランスとなる画像を自動的に生成できる撮像装置を提供することである。

本発明では上記課題を解決するために、カラー画像信号を処理する画像処理装置において、画像信号を基に撮影光源の分光分布に依存する光源パラメータを推定する光源色推定手段と、前記画像信号を基に照度に依存する値である照度レベルを推定する照度レベル推定手段と、前記光源色推定手段により推定された光源パラメータに基づいてホワイトバランスをとるように調整するときの各色信号の第１の調整制御値を、特定の基準光源下の無彩色の被写体が無彩色として再現されるように調整するときの各色信号の第２の調整制御値の方向に変調する制御値変調手段と、前記制御値変調手段による調整制御値の変調量を前記照度レベルに応じて変化させる変調制御手段とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、光源色推定手段により、画像信号を基に撮影光源の分光分布に依存する光源パラメータが推定され、制御値変調手段により、推定された光源パラメータに基づいてホワイトバランスをとるように調整するときの各色信号の第１の調整制御値が、特定の基準光源下の無彩色の被写体が無彩色として再現されるように調整するときの各色信号の第２の調整制御値の方向に変調される。このとき、照度レベル推定手段により推定された、照度に依存する値である照度レベルに応じて、変調制御手段により調整制御値の変調量が変化される。これにより、撮影光源の色味が残る程度が照度レベルに応じて制御される。

本発明の画像処理装置によれば、撮影光源に基づく光源パラメータに基づいてホワイトバランスをとるように調整するときの各色信号の第１の調整制御値が、特定の基準光源下の無彩色の被写体が無彩色として再現されるように調整するときの各色信号の第２の調整制御値の方向に変調され、その変調量が、照度に依存する値である照度レベルに応じて変化される。これにより、撮影光源の色味が残る程度が照度レベルに応じて制御されるので、人間の色に対する順応状態に近づけたより自然な色合いとなるように画像信号を自動的に調整できる。

以下、本発明をデジタルスチルカメラに適用した場合を例に、本発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係るデジタルスチルカメラの全体構成を示すブロック図である。

図１に示すデジタルスチルカメラは、光学ブロック１１、ＣＣＤ１２、ＴＧ（Timing Generator）１２ａ、前処理回路１３、カメラ処理回路１４、エンコーダ／デコーダ１５、制御部１６、入力部１７、グラフィックＩ／Ｆ（インタフェース）１８、ディスプレイ１８ａ、Ｒ／Ｗ（リーダ／ライタ）１９、およびメモリカード１９ａを具備する。これらのうち、光学ブロック１１、ＴＧ１２ａ、前処理回路１３、カメラ処理回路１４、エンコーダ／デコーダ１５、入力部１７、グラフィックＩ／Ｆ１８、およびＲ／Ｗ１９は、制御部１６に接続されている。

光学ブロック１１は、被写体からの光をＣＣＤ１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備しており、これらは制御部１６からの制御信号に基づいて駆動される。

ＣＣＤ１２は、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。なお、ＣＣＤ１２の代わりに、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの他の固体撮像素子が用いられてもよい。ＴＧ１２ａは、制御部１６の制御の下でタイミング信号を出力する。

前処理回路１３は、ＣＣＤ１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。

カメラ処理回路１４は、前処理回路１３からの画像信号に対して、後述するホワイトバランス調整処理や色補正処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理などのカメラ信号処理を施したり、またはその処理の一部を実行する。

エンコーダ／デコーダ１５は、カメラ処理回路１４からの画像信号に対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。また、制御部１６から供給された静止画像の符号化データを伸張復号化処理する。

制御部１６は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、デジタルスチルカメラの各部を統括的に制御する。

入力部１７は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどにより構成され、ユーザによる入力操作に応じた制御信号を制御部１６に出力する。
グラフィックＩ／Ｆ１８は、制御部１６から供給された画像信号から、ディスプレイ１８ａに表示させるための画像信号を生成して、この信号をディスプレイ１８ａに供給し、画像を表示させる。ディスプレイ１８ａは、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像やメモリカード１９ａに記録されたデータを再生した画像などを表示する。

Ｒ／Ｗ１９には、撮像により生成された画像データなどを記録する記録媒体として、可搬型のフラッシュメモリからなるメモリカード１９ａが着脱可能に接続される。Ｒ／Ｗ１９は、制御部１６から供給されたデータをメモリカード１９ａに書き込み、また、メモリカード１９ａから読み出したデータを制御部１６に出力する。なお、記録媒体としては、他に、例えば書き込み可能な光ディスクやＨＤＤ（ハードディスクドライブ）などが用いられてもよい。

ここで、上記のデジタルスチルカメラにおける基本的な動作について説明する。まず、静止画像の撮像時の動作について説明する。
静止画像の撮像前には、ＣＣＤ１２によって受光されて光電変換された信号が、順次前処理回路１３に供給される。前処理回路１３では、入力信号に対してＣＤＳ処理、ＡＧＣ処理が施され、さらにデジタル信号に変換される。カメラ処理回路１４は、前処理回路１３から供給されたデジタル画像信号を画質補正処理し、カメラスルー画像の信号として、制御部１６を介してグラフィックＩ／Ｆ１８に供給する。これにより、カメラスルー画像がディスプレイ１８ａに表示され、ユーザはディスプレイ１８ａを見て画角合わせを行うことが可能となる。

この状態で、入力部１７のシャッタレリーズボタンが押下されると、制御部１６は、光学ブロック１１およびＴＧ１２ａに制御信号を出力して、光学ブロック１１のシャッタを動作させる。これによりＣＣＤ１２からは、１フレーム分の画像信号が出力される。

カメラ処理回路１４は、ＣＣＤ１２から前処理回路１３を介して供給された１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号をエンコーダ／デコーダ１５に供給する。エンコーダ／デコーダ１５は、入力された画像信号を圧縮符号化し、生成した符号化データを、制御部１６を介してＲ／Ｗ１９に供給する。これにより、撮像された静止画像のデータファイルがメモリカード１９ａに記憶される。

一方、メモリカード１９ａに記憶された静止画像ファイルを再生する場合には、制御部１６は、入力部１７からの操作入力に応じて、選択された静止画像ファイルをメモリカード１９ａからＲ／Ｗ１９を介して読み込み、エンコーダ／デコーダ１５に供給して伸張復号化処理を実行させる。復号化された画像信号は制御部１６を介してグラフィックＩ／Ｆ１８に供給され、これによりディスプレイ１８ａに静止画像が再生表示される。

次に、カメラ処理回路１４におけるホワイトバランス調整処理について説明する。図２は、これらの処理を実現するための機能ブロック図である。
本実施の形態に係るデジタルスチルカメラでは、図２に示すように、カメラ処理回路１４は、ホワイトバランス（ＷＢ）アンプ１４１を具備し、制御部１６は、アンプゲイン設定部１６１、追従感度設定部１６２、露光量設定部１６３、明るさ検波部１６４を備える。なお、制御部１６の各機能は例えばソフトウェア処理により実現される。

前処理回路１３によりデジタル化されたＲＧＢの各信号は、ＷＢアンプ１４１およびアンプゲイン設定部１６１に入力される。ＷＢアンプ１４１は、ＲＧＢの各信号のレベルを個別に変化させるホワイトバランス調整用のゲインコントロールアンプであり、アンプゲイン設定部１６１からの制御信号によりその利得が設定される。

アンプゲイン設定部１６１は、前処理回路１３からの画像信号と、追従感度設定部１６２から設定される追従感度とを基に、アンプゲインの制御値を算出する。ここでのゲイン制御機能は、画像中の無彩色被写体の信号をＲ＝Ｇ＝Ｂの状態にするだけでなく、この状態から追従感度に応じて制御値を変調する機能を含んでいる。

このアンプゲイン設定部１６１は、各アンプのゲインを調整するときの基準となる黒体軌跡（Black Body Locus）のデータを内部のＲＯＭなどに記憶している。ゲイン変調機能は、画像信号に基づいて算出されたＲＧＢのレシオを、このレシオで構成する色度座標上において黒体軌跡に沿って所定の色度の方向に平行移動する。このとき、追従感度設定部１６２より設定される追従感度に応じて、元のレシオから所定のレシオまでの移動量が可変され、これによりＷＢアンプ１４１で調整される画像において撮影光源の色味が残る程度が可変される。

なお、黒体軌跡とは、完全放射体（黒体）というエネルギーを完全に吸収する仮想的な物体において、温度が上昇していくときに発せられる光の色の変化の様子を、色温度の変化の軌跡として色度座標に表したものであり、色温度の低いうちは赤みの強い色、色温度が上がるにつれて黄色、白、青白い光というように変化する。一般的な光源（太陽光、白熱灯など）の色は、この黒体軌跡付近に存在している。また、蛍光灯などの蛍光物質が励起されて可視光線を発生させるような光源の色は、イメージセンサで感知すると黒体軌跡から離れている場合があるが、人間の目の感覚では黒体軌跡上にある光源に近いため、光源による画像の赤み、青みを補正する際には黒体軌跡に沿って平行移動させると自然な色の画像となる。

追従感度設定部１６２は、露光量設定部１６３からの出力値に応じてアンプゲイン設定部１６１に対して追従感度を設定する。露光量設定部１６３は、ＡＥ機能を担うブロックであり、明るさ検波部１６４の検波値に基づいて露光量を自動的に設定する。具体的には、アイリス１１ａの開度の制御値（Ｆ値）や、前処理回路１３での電子シャッタ速度の制御値などを出力する。また、明るさの検波値を基に絶対的な照度に依存するレベル（推定照度レベルと呼ぶ）を算出して、追従感度設定部１６２に出力する。明るさ検波部１６４は、ＷＢアンプ１４１から出力されるＲＧＢの各信号から明るさを検波する。後述するように、この明るさ検波部１６４は、各画素におけるＲＧＢの３値の最大値を１画面全体について平均した値を検出し、明るさの情報として出力する。

次に、ＷＢアンプ１４１のゲイン設定について説明する。
撮影光源の色味が残らないようにＷＢゲインを調整した場合、調整後の画像は撮影時にユーザが意図した見え方を必ずしも自然に再現するとは限らないため、アンプゲイン設定部１６１は、そのゲイン制御値を意図的に適度な状態にずらすようにする。

適度な制御を行うための一つの対策としては、近年研究が進んでいる視覚の順応機構を応用して、撮影シーンの状況から視覚的に自然な色を算出する過程をモデル式で想定し、連続的で自然な制御を実現する方法が考えられる。例えば、ＣＩＥ（The International Commission on Illumination）がカラーマネージメント用に定義した色の見え方のモデル（Color Appearance Model）であるＣＩＥＣＡＭ０２においては、白色点への順応度を表すＤファクタ（D factor）を、白の絶対輝度や観察環境内の視対象と周辺との輝度の相対関係などから算出できる。ここでの順応度は、錐体の応答（Ｌ，Ｍ，Ｓ）に対する各チャネル独立の順応ゲイン変化を表すものであるが、イメージセンサの応答であるＲＧＢの各チャネル独立のホワイトバランスゲインの制御に応用しても近い効果が期待できる。

ただし、ＣＩＥＣＡＭ０２などのモデル式において観察者の順応状態を特定する際の輝度の定義は、完全拡散反射面のような仮想的な白い表面が反射する光の輝度を基準に想定したものである。しかし、実用上は、シーン内の不特定の表面の輝度レベルを直接用いるより、仮想的な一定の反射率の表面が光源からの光を反射する輝度を、照度レベルから換算する方がモデルの意図に適合する。特に、撮影シーンにおいて輝度情報は、被写体や撮影画角の変化により不安定となるし、また被写体の反射率の大小が光源の強度と区別し難いため、順応状態の程度を安定して推測するには不向きである。

そこで、本実施の形態では、明るさの検波結果を基に照度に依存するレベル（推定照度レベル）を推定し、このレベルに応じて追従感度を変化させてアンプゲインの制御値の移動量を変化させることにより、人間の視覚の順応状態にマッチしたより自然な色合いとなるように画像信号を自動的に補正する。

以下、アンプゲインの設定について具体的に説明する。なお、ＷＢアンプ１４１では、アンプゲインをＲＧＢのすべてについて個別に調整可能であるが、本実施の形態では、Ｇアンプのゲインを固定として、Ｒ，Ｂの２つのアンプゲインのみ調整する場合を例に説明する。また、以下の説明において、Ｒレシオ，Ｂレシオとは、前処理回路１３後のＲ，Ｇ，Ｂの各チャンネルの値を画面全体で積分した結果から、それぞれＲ／Ｇ，Ｂ／Ｇとしてチャネル間の比をとったものである。

図３は、例として、アンプゲイン設定部１６１におけるＢレシオの追従感度の設定について示す図である。
この図３の横軸の“入力Ｂレシオ”とは、ＡＷＢ機能により算出されるＢレシオを示し、この入力Ｂレシオが図３のグラフ中の直線により変調されることを示している。追従感度設定部１６２により設定される追従感度は０〜１の範囲をとり、追従感度が１の場合、図中太線で示した線Ｌ１のように、入力Ｂレシオがそのまま出力され、正しい白を再現するように完全に追従して調整される。ただし、入力Ｂゲインが下限値Ｂｍｉｎ１以下の場合、および上限値Ｂｍａｘ１以上の場合には、出力Ｂゲインをそれぞれ一定の下限値Ｂｍｉｎ１および上限値Ｂｍａｘ１に固定し、出力Ｂゲインを制限する。これらの制限値は、例えば、一般に光源として存在する色温度の範囲に対応して設けられている。

追従感度が０の場合、破線で示した線Ｌ２のように、基本的には入力Ｂレシオによらず一定値を出力する。ただし、正しい白を再現するように完全に追従させる範囲を設けてあり、入力Ｂレシオがその下限値Ｂｍｉｎ２と上限値Ｂｍａｘ２との間であるときは、入力Ｂレシオをそのまま出力し、下限値Ｂｍｉｎ２以下のときは下限値Ｂｍｉｎ２、上限値Ｂｍａｘ２以上のときは上限値Ｂｍａｘ２に出力を固定する。

追従感度が０と１との間に設定された場合、点線で示した線Ｌ３のように、入力Ｂゲインが下限値Ｂｍｉｎ２〜上限値Ｂｍａｘ２であれば、入力Ｂゲインをそのまま出力して、正しい白を再現するように完全に追従させる。また、入力Ｂレシオが下限値Ｂｍｉｎ１〜下限値Ｂｍｉｎ２、および上限値Ｂｍａｘ２〜上限値Ｂｍａｘ１であれば、追従感度に応じた傾き（０〜１）の直線により線形変換した値を出力Ｂレシオとする。さらに、下限値Ｂｍｉｎ１以下、および上限値Ｂｍａｘ１以上であれば、出力Ｂレシオを下限値Ｂｍｉｎ３，上限値Ｂｍａｘ３にそれぞれ固定する。すなわち、完全に追従する範囲（Ｂｍｉｎ２〜Ｂｍａｘ２）以外では、追従感度が低いほど、白色点が大きくずれるようにＢレシオが調整される。

以上のゲイン変調処理において、正しい白を再現するようにゲイン制御を完全に追従させる範囲（以下、追従範囲と呼ぶ）の下限値Ｂｍｉｎ２および上限値Ｂｍａｘ２は、それぞれに対応する２つの基準光源を想定したときに、各基準光源下で正しい白を再現するようなゲイン値（ここではＢレシオ）と考えることができる。すなわち、Ｂレシオが追従範囲内にないときには、任意の基準光源下におけるゲイン値のうち現在の値に近い方にＢレシオを設定して白色点をずらすことで、撮影光源の色味が自然に残るようにしていると考えられる。

その一方、１つの基準光源を想定したゲイン値（Ｂレシオ）が下限値Ｂｍｉｎ２および上限値Ｂｍａｘ２の中間に位置し、その中間値付近の一定範囲のＢレシオを変化させないようにしていると考えることもできる。こう考えると、上記の追従範囲を設けない（すなわち、Ｂｍｉｎ２＝Ｂｍａｘ２とする）ようにしても、自然な画を再現する効果が生じることがわかる。

なお、上記の下限値Ｂｍｉｎ１およびＢｍｉｎ２，上限値Ｂｍａｘ１およびＢｍａｘ２は、あらかじめ設定された値が用いられてもよいし、ユーザが任意に設定できるようにしてもよい。例えば、静止画撮影時と動画撮影時とで設定を変えるようにしてもよい。また、上記の基準光源は、その分光分布が可視光の波長領域で均等のエネルギーを持つ等エネルギー光とすることが望ましい。あるいは、色温度が５０００［Ｋ］〜７０００［Ｋ］の範囲にある昼光軌跡付近の色度を持つ光源とすることが望ましい。

図４は、Ｂアンプ，Ｇアンプのゲイン値と黒体軌跡との関係を示す図である。この図４を用いて、Ｂレシオの追従感度設定時におけるゲイン設定についてさらに説明する。
図中の点ａ〜ｆは、ＡＷＢ機能により正しい白を再現するように調整されたＲレシオおよびＢレシオを色度座標上にプロットした点を示している。追従感度が１の場合、これらの点は動かず、このときのＲレシオおよびＢレシオがそのまま出力され、これらの逆数がＷＢアンプ１４１のゲインとして設定される。ただし、図示しないが、図３で説明したように、Ｂレシオの出力値には下限値Ｂｍｉｎ１および上限値Ｂｍａｘ１による制限が加えられる。

また、正しい白を再現するように完全に追従するＢレシオの範囲（追従範囲）を破線のように設定すると、追従感度が０の場合、点ｃ，ｄのようにＢレシオがこの追従範囲内であれば、これらのＲレシオおよびＢレシオをそのまま出力する。また、点ａ，ｂのようにＢレシオが追従範囲以上であれば、これらの点を黒体軌跡に沿って平行に移動して、上限値Ｂｍａｘ２に制限する。一方、点ｅ，ｆのようにＢレシオが上記範囲以下であれば、これらの点を黒体軌跡に沿って平行に移動して、下限値Ｂｍｉｎ２に制限する。

また、追従感度が０と１の間に設定された場合、追従範囲外の点ａ，ｂ，ｅ，ｆは、その追従感度に反比例するように、黒体軌跡に沿った移動量を変化させる。例えば、追従感度が中間の０．５であれば、各点ａ，ｂ，ｅ，ｆは、点ａ２，ｂ２，ｅ２，ｆ２のように追従感度が０の場合の移動軌跡の中間点まで移動する。また、追従感度が低いほど大きく移動させる。

以上の図４の例では、ゲイン値を黒体軌跡に沿って平行に移動させることにより、撮影時における光源色の色味を持った自然な色の画像が得られるようにしている。例えば、Ｂレシオが追従範囲以上のとき、すなわちＢ信号のレベルを強く増幅するようなゲイン値が得られたときに、Ｂアンプのゲイン値のみを制限すると、Ｂ信号のレベルのみが減少した黄色い画像になるが、実際の光源色は黒体軌跡に沿ったオレンジ色方向にある。そこで、Ｒアンプのゲイン値も調整することで、光源のオレンジ色（暖色）の色味を残した画像が得られる。例えば、夕日の下などで撮影したときに光源の色味を残した画像を撮影できる。一方、Ｂレシオが追従範囲以下のときに、Ｂアンプのゲイン値のみを制限すると青い画像となるが、Ｒアンプのゲイン値も調整することで、光源のシアン色（寒色）の色味を残した画像が得られる。例えば、曇天下などで撮影したときに光源の色味を残した画像を撮影できる。

そして、ゲイン値の変調量（移動量）は追従感度に応じて調節される。後述するように、画像信号の推定照度レベルに応じて追従感度が設定されることで、観察者の撮影シーンの見え方により近づいた自然な色の画を生成することが可能となる。

なお、図４ではＢレシオについて制限した場合を示したが、Ｒレシオについて同様に制限しても、Ｂレシオ、Ｒレシオの双方に制限を加えるようにしてもよい。また、黒体軌跡に平行な方向とともに垂直な方向にもゲイン値を移動するようにしてもよい。この場合、垂直方向への移動量は平行方向より小さくする。また、移動の基準とする軌跡は、黒体軌跡の他に、例えば昼光の色温度変化による軌跡などを用いてもよい。

さらに、上記のアンプゲインのような撮影光源の推定に基づく制御値の他、例えば推定した撮影光源のパラメータに応じて、上記の下限値Ｂｍｉｎ１，Ｂｍｉｎ２，上限値Ｂｍａｘ１，Ｂｍａｘ２に相当する制限値を設けて変調を行うようにしてもよい。この場合、光源のパラメータとしては、色温度と同じ大小関係をもつものを用いればよい。

また、ＲＧＢによる色度の他に、例えばＣＩＥ標準比視感度から一意に換算できる色度の座標（ｘ−ｙ色度座標）における制御値を用い、この制御値を変調するようにしてもよい。また、Ｒレシオ−Ｂレシオのような２次元の色度座標でなく、１次元の色度を用いて制御値の変調を行うようにしてもよい。

図５は、明るさ検波とアイリス、電子シャッタの制御状態について説明するための図である。この図５を用いて、推定照度レベルの算出方法を説明する。
図５では省略して示しているが、明るさ検波部１６４は、ＷＢアンプ１４１によるホワイトバランス調整後のＲＧＢ信号から画像の明るさを検波する。この明るさ検波部１６４では、各画素におけるＲＧＢの３値の最大値をとり、その最大値を１画面全体について平均化することで明るさを検出する。これは、被写体の輝度の反射率が低い場合に、被写体がある程度の彩度をもつことを仮定すると、ＲＧＢ３値の積和より最大値の方が広い表面からの反射光の輝度レベルに近くなり、すなわち照度に応じて変動するレベルに近くなるためである。

露光量設定部１６３は、アイリス１１ａおよび電子シャッタの制御値と、明るさの検波値とを基に現在の照度レベルを推測する。まず、推測の前（例えば出荷前）に、図５（Ａ）に示すように、基準状態として、輝度の反射率が一定（２０％〜１００％程度）の無彩色である基準チャート２０１を、分光分布がフラットに近い光源下の照度１０００［Ｌｕｘ］の状態で撮像し、このときのアイリス１１ａおよび電子シャッタの制御値と、明るさの検波値とを記録しておく。

実際の撮像時には、図５（Ｂ）に示すように、被写体２０２を撮像したときのアイリス１１ａおよび電子シャッタの制御値と明るさの検波値とを取得し、それぞれの基準状態での値との差分をＥＶ値に換算してすべて加算する。例えば図５のように、基準状態，現在の状態でのアイリス１１ａの制御値がそれぞれＦ２．０，Ｆ４．０であるとき、換算値は−２．０ＥＶとなり、それぞれの電子シャッタの速度が１／６０ｓｅｃ，１／１２０ｓｅｃのとき換算値は−１．０ＥＶとなり、それぞれの明るさの検波値が１００，５０のとき換算値は−１．０ＥＶとなって、加算値は−４．０ＥＶとなる。なお、撮像されたＲＧＢ３値を共通のゲインで増幅して明るさをコントロールする処理（ＡＧＣなど）を施した場合には、そのゲインの基準状態と現在の状態との差分もＥＶ値に換算して加算する必要がある。

また、基準状態との相対レベルではなく、絶対的な照度に対応するレベルに換算するには、例えば１０００×２^ＥＶ［Ｌｕｘ］により算出する。ただし、ここでは推定照度レベルとして２を底数とする対数（以下、ＬＶ値とする）を出力値とする。この値はＥＶ値に比例する。

なお、露光量設定部１６３における推定照度レベルの出力段に、時間的なローバスフィルタを設け、アンプゲイン設定部１６１における変調量を安定化するようにしてもよい。
図６は、追従感度設定部１６２における処理手順を示すフローチャートである。

〔ステップＳ１１〕推定照度レベル（ＬＶ値）を、露光量設定部１６３から読み込む。
〔ステップＳ１２〕ＬＶ値から正規化順応係数Ｄｎｏｒｍを算出する。正規化順応係数Ｄｎｏｒｍとは、最大値１．０で、撮影光源に完全に順応して白を正しく再現するような順応状態を示し、最小値０で、全照度レベルの中で最も光源の色味を多く残して再現するような順応状態を示す。この正規化順応係数Ｄｎｏｒｍは、基本的にはＬＶ値が高いほど高い値を示すが、その対応関係は、視覚系のモデル式や実験結果などを基にすることで、観察者の順応状態を高精度に推定できるようになる。この変換に用いるグラフの例は、後の図７で説明する。

〔ステップＳ１３〕正規化順応係数Ｄｎｏｒｍから、追従感度を算出し、アンプゲイン設定部１６１に対して設定する。追従感度Ｄｓｅｔは、正規化順応係数Ｄｎｏｒｍと、あらかじめ設定しておいた最低感度レベルＤｍｉｎ（ただし、０≦Ｄｍｉｎ≦１）とから、次式により算出する。
Ｄｓｅｔ＝（１−Ｄｍｉｎ）Ｄｎｏｒｍ＋Ｄｍｉｎ
ここで、最低感度レベルＤｍｉｎの設定によって、ホワイトバランス調整において撮影光源の色味を残す程度を決めることができる。すなわち、最低感度レベルＤｍｉｎが小さい程、色味の残し具合が最も広い範囲で制御され、色味を強く残すことが可能となる。そこで、最低感度レベルＤｍｉｎを複数プリセットしておき、撮影状況に応じて変えるようにしてもよい。

例えば、静止画撮影時と動画撮影時とでは、通常使用される再生モニタの特性や、求められる追従度などに違いがあることが多い。このため、例えば動画撮影時には最低感度レベルＤｍｉｎをより小さくして、撮影中に光源が変化したときに色味が不自然に変化することを防止するなど、意図的に画作りを区別してもよい。あるいは、最低感度レベルＤｍｉｎをユーザ操作により設定できるようにしてもよい。例えば、ユーザの撮影意図に応じた複数の動作モードを用意しておき、動作モードごとにプリセットされた最低感度レベルＤｍｉｎを設定してもよい。このとき、例えばゲインの制限量なども動作モードごとに設定できるようにしてもよい。

図７は、正規化順応係数Ｄｎｏｒｍの算出に利用するグラフの例である。
追従感度設定部１６２は、例えば、図７のグラフ中の少数の点におけるＬＶ値と正規化順応係数Ｄｍｉｎとの値を対応付けて、ＲＯＭなどにあらかじめ記憶しておく。そして、上記のステップＳ１２において、読み込んだＬＶ値に対応する正規化順応係数Ｄｍｉｎを、ＲＯＭに記憶された複数の値から線形補間などにより補間して算出する。ただし、設定された範囲外のＬＶ値に対しては、下限以下であれば最小値０、上限以上であれば最大値１を出力する。このように、ＬＶ値と正規化順応係数Ｄｍｉｎとの対応関係を少数分だけＲＯＭに記憶しておき、補間して利用することで、視覚系の非線形なモデル式や、実験などから得られた複雑な結果であっても、追従感度の設定に簡単に利用することができる。

以上説明したように、本実施の形態のデジタルスチルカメラでは、画像信号の照度に対応するレベルに応じて追従感度が設定され、追従感度により、画像信号を正しい色を再現する方向に調整する度合いが可変される。すなわち、照度レベルが高いほど、撮影光源下の色を正しい色になるようにホワイトバランス補正がより強くかけられ、照度レベルが低いほど、正しい色から特定光源下での対応する色により強く近づけるような補正がかけられる。照度レベルを利用することで、撮影光源に対する観察者の視覚の順応状態を高精度に推定でき、その順応状態に応じて、ＷＢアンプ１４１のゲイン設定時の制限や補正量が制御されるので、推定された順応状態における撮影シーンの見え方に近い、より自然な画像を自動的に生成することが可能となる。

なお、本発明は、上記のような撮像画像の白色領域を基準とした色再現補正処理（ホワイトバランス処理）に限らず、例えば、３チャネル以上の異なる分光感度特性を持つセンサ応答値に対して６つ以上のマトリクス係数である色再現係数に基づいて線形変換することで、撮影光源下と同じ色が再現されるようにカラーバランスをとる色再現補正処理にも適用可能である。この場合、撮影光源と異なる他の光源下での色味が画像に自然に反映されるようになる。

また、上記の実施の形態では、本発明をデジタルスチルカメラに適用した場合について説明したが、デジタルビデオカメラなど、固体撮像素子を用いたこれ以外の撮像装置に対しても本発明を適用することができる。また、携帯電話機やＰＤＡ（Personal Digital Assistants）などの撮像機能などに適用することもできる。また、ＰＣなどに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理にも、本発明を適用することができる。

さらに、上記の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能（特に、上記のアンプゲイン設定部１６１，追従感度設定部１６２，露光量設定部１６３，明るさ検波部１６４などに対応する機能）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の実施の形態に係るデジタルスチルカメラの全体構成を示すブロック図である。 ホワイトバランス調整処理を実現するための機能ブロック図である。 アンプゲイン設定部におけるＢレシオの追従感度の設定について示す図である。 Ｂアンプ，Ｇアンプのゲイン値と黒体軌跡との関係を示す図である。 明るさ検波とアイリス、電子シャッタの制御状態について説明するための図である。 追従感度設定部における処理手順を示すフローチャートである。 正規化順応係数の算出に利用するグラフの例である。

符号の説明

１１……光学ブロック、１１ａ……アイリス、１２……ＣＣＤ、１２ａ……ＴＧ、１３……前処理回路、１４……カメラ処理回路、１５……エンコーダ／デコーダ、１６……制御部、１７……入力部、１８……グラフィックＩ／Ｆ、１８ａ……ディスプレイ、１９……Ｒ／Ｗ、１９ａ……メモリカード、１４１……ＷＢアンプ、１６１……アンプゲイン設定部、１６２……追従感度設定部、１６３……露光量設定部、１６４……明るさ検波部

Claims (18)

1. カラー画像信号を処理する画像処理装置において、
   画像信号を基に撮影光源の分光分布に依存する光源パラメータを推定する光源色推定手段と、
   前記画像信号を基に照度に依存する値である照度レベルを推定する照度レベル推定手段と、
   前記光源色推定手段により推定された光源パラメータに基づいてホワイトバランスをとるように調整するときの各色信号の第１の調整制御値を、特定の基準光源下の無彩色の被写体が無彩色として再現されるように調整するときの各色信号の第２の調整制御値の方向に変調する制御値変調手段と、
   前記制御値変調手段による調整制御値の変調量を前記照度レベルに応じて変化させる変調制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記変調制御手段は、前記照度レベルが高いほど前記変調量を小さくすることを特徴とする請求項１記載の画像処理装置。
3. 前記変調制御手段は、前記第１の調整制御値と前記第２の調整制御値との差分値が一定値に満たないとき、前記変調量を０とすることを特徴とする請求項１記載の画像処理装置。
4. 前記変調制御手段は、撮影光源の分光分布に依存する光源パラメータと、前記基準光源の分光分布に依存する光源パラメータとの差分値が一定値に満たないとき、前記変調量を０とすることを特徴とする請求項１記載の画像処理装置。
5. 前記変調制御手段は、２つの前記基準光源の下でそれぞれ無彩色の被写体が無彩色として再現されるように調整するときの各色信号に対する２つの調整制御値を設定しておき、前記第１の調整制御値が前記２つの調整制御値の間の範囲内にある場合には前記変調量を０とすることを特徴とする請求項１記載の画像処理装置。
6. 前記変調制御手段は、前記第１の調整制御値が所定の範囲外にあるとき、その範囲の上限および下限においてそれぞれ一定の調整制御値を出力するように制御することを特徴とする請求項１記載の画像処理装置。
7. 前記変調制御手段は、撮影光源の分光分布に依存する光源パラメータが所定の範囲外にあるとき、その範囲の上限および下限においてそれぞれ一定の調整制御値を出力するように制御することを特徴とする請求項１記載の画像処理装置。
8. 前記制御値変調手段は、調整制御値を色度座標上において黒体軌跡または昼光の色温度変化に応じた軌跡に平行および垂直な方向に移動させて変調し、その平行な方向への移動量を垂直な方向への移動量より大きくすることを特徴とする請求項１記載の画像処理装置。
9. 前記変調制御手段は、動画像の処理時と静止画像の処理時とで調整制御値の変調量を可変することを特徴とする請求項１記載の画像処理装置。
10. カラー画像信号を処理する画像処理装置において、
    画像信号を基に撮影光源の分光分布に依存する光源パラメータを推定する光源色推定手段と、
    前記画像信号を基に照度に依存する値である照度レベルを推定する照度レベル推定手段と、
    撮影光源下で観察される被写体の色が再現されるように前記光源パラメータに基づいて各色信号を調整するときの調整制御値を、同じ被写体を特定の基準光源下で観察するときの色が再現されるように各色信号を調整するときの調整制御値の方向に変調する制御値変調手段と、
    前記制御値変調手段による調整制御値の変調量を前記照度レベルに応じて変化させる変調制御手段と、
    を有することを特徴とする画像処理装置。
11. 前記調整制御値は、各色信号を線形変換するためのマトリクス係数からなる色再現係数であることを特徴とする請求項１０記載の画像処理装置。
12. 固体撮像素子を用いた画像を撮像する撮像装置において、
    撮像により得られた画像信号を基に撮影光源の分光分布に依存する光源パラメータを推定する光源色推定手段と、
    前記画像信号を基に照度に依存する値である照度レベルを推定する照度レベル推定手段と、
    前記光源色推定手段により推定された光源パラメータに基づいてホワイトバランスをとるように調整するときの各色信号の第１の調整制御値を、特定の基準光源下の無彩色の被写体が無彩色として再現されるように調整するときの各色信号の第２の調整制御値の方向に変調する制御値変調手段と、
    前記制御値変調手段の出力する調整制御値に応じて前記画像信号の各色信号を調整する色信号調整手段と、
    を有することを特徴とする撮像装置。
13. 画像の明るさを基に撮像時の露出を制御する露出制御手段をさらに含み、
    前記照度レベル推定手段は、前記画像信号と前記露出制御手段における露出制御パラメータとを基に前記照度レベルを推定することを特徴とする請求項１２記載の撮像装置。
14. 固体撮像素子を用いた画像を撮像する撮像装置において、
    撮像により得られた画像信号を基に撮影光源の分光分布に依存する光源パラメータを推定する光源色推定手段と、
    前記画像信号を基に照度に依存する値である照度レベルを推定する照度レベル推定手段と、
    撮影光源下で観察される被写体の色が再現されるように前記光源パラメータに基づいて各色信号を調整するときの調整制御値を、同じ被写体を特定の基準光源下で観察するときの色が再現されるように各色信号を調整するときの調整制御値の方向に変調する制御値変調手段と、
    前記制御値変調手段による調整制御値の変調量を前記照度レベルに応じて変化させる変調制御手段と、
    を有することを特徴とする撮像装置。
15. カラー画像信号の各色信号を調整するための画像処理方法において、
    光源色推定手段が、画像信号を基に撮影光源の分光分布に依存する光源パラメータを推定するステップと、
    照度レベル推定手段が、前記画像信号を基に照度に依存する値である照度レベルを推定するステップと、
    制御値変調手段が、前記光源色推定手段により推定された光源パラメータに基づいてホワイトバランスをとるように調整するときの各色信号の第１の調整制御値を、特定の基準光源下の無彩色の被写体が無彩色として再現されるように調整するときの各色信号の第２の調整制御値の方向に、前記照度レベルに応じた量だけ変調するステップと、
    を含むことを特徴とする画像処理方法。
16. カラー画像信号の各色信号を調整するための画像処理方法において、
    光源色推定手段が、画像信号を基に撮影光源の分光分布に依存する光源パラメータを推定するステップと、
    照度レベル推定手段が、前記画像信号を基に照度に依存する値である照度レベルを推定するステップと、
    制御値変調手段が、撮影光源下で観察される被写体の色が再現されるように前記光源パラメータに基づいて各色信号を調整するときの調整制御値を、同じ被写体を特定の基準光源下で観察するときの色が再現されるように各色信号を調整するときの調整制御値の方向に、前記照度レベルに応じた量だけ変調するステップと、
    を含むことを特徴とする画像処理方法。
17. カラー画像信号の色調整制御をコンピュータに実行させる画像処理プログラムにおいて、
    画像信号を基に撮影光源の分光分布に依存する光源パラメータを推定する光源色推定手段、
    前記画像信号を基に照度に依存する値である照度レベルを推定する照度レベル推定手段、
    前記光源色推定手段により推定された光源パラメータに基づいてホワイトバランスをとるように調整するときの各色信号の第１の調整制御値を、特定の基準光源下の無彩色の被写体が無彩色として再現されるように調整するときの各色信号の第２の調整制御値の方向に変調する制御値変調手段、
    前記制御値変調手段による調整制御値の変調量を前記照度レベルに応じて変化させる変調制御手段、
    として前記コンピュータを機能させることを特徴とする画像処理プログラム。
18. カラー画像信号の色調整制御をコンピュータに実行させる画像処理プログラムにおいて、
    画像信号を基に撮影光源の分光分布に依存する光源パラメータを推定する光源色推定手段、
    前記画像信号を基に照度に依存する値である照度レベルを推定する照度レベル推定手段、
    撮影光源下で観察される被写体の色が再現されるように前記光源パラメータに基づいて各色信号を調整するときの調整制御値を、同じ被写体を特定の基準光源下で観察するときの色が再現されるように各色信号を調整するときの調整制御値の方向に変調する制御値変調手段、
    前記制御値変調手段による調整制御値の変調量を前記照度レベルに応じて変化させる変調制御手段、
    として前記コンピュータを機能させることを特徴とする画像処理プログラム。

Images