JP4958680B2 - 撮像装置、そのホワイトバランス制御方法、プログラムおよび記憶媒体 - Google Patents

Description

本発明は、複数のホワイトバランスのモードを備える撮像装置、そのホワイトバランス制御方法、プログラムおよび記憶媒体に関する。

従来、デジタルカメラの映像信号をそのまま出力可能としたデジタルカメラが知られている（特許文献１、２参照）。映像信号そのままの画像データ（以下、ＲＡＷデータと記述する）を利用すると、撮影後に画像補正処理を施すことが可能である。

ＲＡＷデータは映像信号そのままの画像データであるので、ＲＡＷデータに対して画像処理（以下、現像と呼ぶ）を行うことで、一般に扱われるＪＰＥＧ形式などの画像データへ変換することが可能である。ＲＡＷデータに対する画像補正処理として、ホワイトバランスの調整機能があり、撮影後にホワイトバランスのモードを切り替えて適切な色調の画像データを得ることが可能である。

また従来、ＲＡＷデータに黒体軌跡の偏移を示す情報を格納することで、ホワイトバランスのモードを切り替えた際のホワイトバランスの精度を向上させる技術が知られている（特許文献３参照）。
特開平１１−２６１９３３号公報 特開２００１−２２３９７９号公報 特開２００３−３２４７４６号公報

しかしながら、上記従来の撮像装置では、以下に掲げる問題があった。ホワイトバランス（ＷＢ）のモードを設定して色調の補正処理を行う場合、ＲＡＷデータに含まれる映像信号の積分処理と、この積分処理によって得られた積分値を利用してＷＢの演算処理とを行う必要があった。

従来、こうした処理を行い、複数のホワイトバランスの設定を切り替えて色調の変化を見る場合には、前述した積分処理と演算処理をホワイトバランスのモード毎に実行する必要があり、処理時間を要するという問題があった。

また、近年の撮像素子の高画素化によって映像信号のデータ量が増大しており、積分処理と演算処理の処理時間は増加の一途を辿っている。

また、ＲＡＷデータの撮影機能を保持する撮像装置において、撮像装置本体で現像処理を施した画像データと、撮影後にＰＣ上などでＲＡＷデータを現像処理して得られた画像データとを比較した場合、ホワイトバランスに係わる処理と結果が同一にならなかった。この結果、色再現性が悪くなるという問題もあった。

そこで、本発明は、現像処理におけるホワイトバランスの調整では、ホワイトバランスを任意のモードに設定してもホワイトバランスの積分処理と演算処理を行う必要が無く、処理時間の大幅な短縮が可能である撮像装置を提供することを目的とする。また、本発明は、そのホワイトバランス制御方法、プログラムおよび記憶媒体を提供することを目的とする。

また、本発明は、撮像装置本体で現像処理を施した画像データと、撮影後にＰＣ上などでＲＡＷデータを現象処理して得られた画像データとを比較した場合、ホワイトバランスに係わる処理と結果を同一にすることができる撮像装置を提供することを他の目的とする。また、本発明は、そのホワイトバランス制御方法、プログラムおよび記憶媒体を提供することを他の目的とする。

上記目的を達成するために、本発明の撮像装置は、複数のホワイトバランスのモードを備える撮像装置であって、被写体を撮像して映像信号を得る撮像手段と、前記撮像手段により得られた映像信号の積分処理を行い、前記ホワイトバランスのモード毎に、ホワイトバランス積分値を得る積分手段と、前記積分手段により得られたホワイトバランス積分値を用いた演算処理を行い、光源の色温度を補正するためのホワイトバランス制御値を算出する演算手段と、前記演算手段によって算出された前記ホワイトバランス制御値を前記映像信号に基づく画像データに格納する格納手段と、前記積分手段に設定された積分パラメータ、当該積分パラメータが設定された前記積分手段によって得られた前記ホワイトバランス積分値、および前記演算手段によって得られた前記ホワイトバランス制御値を、前記ホワイトバランスのモード毎に記憶する記憶手段と、前記積分手段に設定される積分パラメータを前記記憶手段に記憶された積分パラメータと比較する比較手段と、を備え、前記比較の結果、前記設定される積分パラメータと同一または近似の積分パラメータが前記記憶手段に記憶されていた場合、前記演算手段は、前記記憶手段から当該積分パラメータに対応する前記ホワイトバランス積分値を読み出し、前記読み出されたホワイトバランス積分値を用いて前記ホワイトバランス制御値を算出することを特徴とする。

本発明の撮像装置のホワイトバランス制御方法は、複数のホワイトバランスのモードを備える撮像装置のホワイトバランス制御方法であって、被写体を撮像して映像信号を得る撮像ステップと、前記撮像ステップで得られた映像信号の積分処理を行い、前記ホワイトバランスのモード毎に、ホワイトバランス積分値を得る積分ステップと、前記積分ステップで得られたホワイトバランス積分値を用いた演算処理を行い、光源の色温度を補正するためのホワイトバランス制御値を算出する演算ステップと、前記演算ステップで算出された前記ホワイトバランス制御値を前記映像信号に基づく画像データに格納する格納ステップと、前記積分ステップに設定された積分パラメータ、当該積分パラメータが設定された前記積分ステップによって得られた前記ホワイトバランス積分値、および前記演算ステップによって得られた前記ホワイトバランス制御値を、前記ホワイトバランスのモード毎に記憶手段に記憶する記憶ステップと、前記積分ステップにおいて設定される積分パラメータを前記記憶手段に記憶された積分パラメータと比較する比較ステップと、を有し、前記比較の結果、前記設定される積分パラメータと同一または近似の積分パラメータが前記記憶手段に記憶されていた場合、前記演算ステップは、前記記憶手段から当該積分パラメータに対応する前記ホワイトバランス積分値を読み出し、前記読み出されたホワイトバランス積分値を用いて前記ホワイトバランス制御値を算出することを特徴とする。

本発明のプログラムは、複数のホワイトバランスのモードを備える撮像装置のホワイトバランス制御方法をコンピュータに実行させるプログラムであって、前記ホワイトバランス制御方法は、被写体を撮像して映像信号を得る撮像ステップと、前記撮像ステップで得られた映像信号の積分処理を行い、前記ホワイトバランスのモード毎に、ホワイトバランス積分値を得る積分ステップと、前記積分ステップで得られたホワイトバランス積分値を用いた演算処理を行い、光源の色温度を補正するためのホワイトバランス制御値を算出する演算ステップと、前記演算ステップで算出された前記ホワイトバランス制御値を前記映像信号に基づく画像データに格納する格納ステップと、前記積分ステップに設定された積分パラメータ、当該積分パラメータが設定された前記積分ステップによって得られた前記ホワイトバランス積分値、および前記演算ステップによって得られた前記ホワイトバランス制御値を、前記ホワイトバランスのモード毎に記憶手段に記憶する記憶ステップと、前記積分ステップにおいて設定される積分パラメータを前記記憶手段に記憶された積分パラメータと比較する比較ステップと、を有し、前記比較の結果、前記設定される積分パラメータと同一または近似の積分パラメータが前記記憶手段に記憶されていた場合、前記演算ステップは、前記記憶手段から当該積分パラメータに対応する前記ホワイトバランス積分値を読み出し、前記読み出されたホワイトバランス積分値を用いて前記ホワイトバランス制御値を算出することを特徴とする。

本発明の請求項１に係る撮像装置は、ホワイトバランスのモード毎にホワイトバランス積分値を得、得られたホワイトバランス積分値を用いた演算処理を行ってホワイトバランス制御値を算出し、このホワイトバランス制御値を画像データに格納する。これにより、現像処理におけるホワイトバランスの調整では、ホワイトバランスを任意のモードに設定してもホワイトバランスの積分処理と演算処理を行う必要が無く、処理時間の大幅な短縮が可能である。

また、画像データ（ＲＡＷデータ）の現像処理におけるホワイトバランスの積分処理と演算処理を搭載する必要が無いため、現像処理全体の回路規模、あるいはプログラムコードのサイズの削減が可能となり、構成を簡略化することができる。

また、撮像装置本体で現像処理を施した画像データと、撮影後にＰＣ上などでＲＡＷデータを現象処理して得られた画像データとを比較した場合、ホワイトバランスに係わる処理と結果を同一のものとすることができる。これにより、色再現性を向上させることが可能である。

また、積分パラメータが同一または近似である場合、積分処理を省略することで、処理時間を短縮することができる。

請求項２に係る撮像装置によれば、ホワイトバランスの積分値を精度良く算出することができる。請求項３に係る撮像装置によれば、複数のホワイトバランスのモードでブロック積分による積分値を共通して使用することができる。請求項４に係る撮像装置によれば、積分パラメータの設定を容易に行うことができる。

請求項５に係る撮像装置によれば、積分処理と演算処理を並行して実行させることで、処理時間の短縮を図ることができる。請求項６に係る撮像装置によれば、演算処理を現像処理と並行して実行させることで、全体の処理時間を短縮することができる。請求項７に係る撮像装置によれば、全てのホワイトバランスのモードに対応することができる。

本発明の撮像装置、そのホワイトバランス制御方法、プログラムおよび記憶媒体の実施の形態について図面を参照しながら説明する。本実施形態の撮像装置は画像処理機能を有する。

図１は実施の形態における撮像装置の構成を示す図である。撮像装置１００には、撮影レンズ１０、絞り機能を備えるシャッタ１２、光学像を電気信号に変換する撮像素子１４、および撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器１６が設けられている。

タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６およびＤ／Ａ変換器２６にクロック信号や制御信号を供給するものであり、メモリ制御回路２２およびシステム制御回路５０により制御される。

画像処理回路２０は、 Ａ／Ｄ変換器１６からのデータあるいはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、撮像された画像データを用いて所定の演算処理を行う。システム制御回路５０は、得られた演算結果に基づき、露光制御部４０および測距制御部４２を制御し、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理およびＥＦ（フラッシュプリ発光）処理を行う。

さらに、画像処理回路２０は、撮像された画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。ホワイトバランスのための演算処理として、次の処理が行われる。即ち、映像信号を複数のブロックに分け各ブロックの色信号の積分値を得るブロック積分と、映像信号の各画素の信号値を色度座標に展開し積分パラメータによって表現される所定の領域についての色信号の積分値を得る白サーチ積分が行われる。白サーチ積分に使用される色度座標上の積分領域の設定は、画像処理回路２０内に保持される。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０および圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータは、画像処理回路２０およびメモリ制御回路２２を介して、あるいは直接メモリ制御回路２２を介して、画像表示メモリ２４あるいはメモリ３０に書き込まれる。

また、撮像装置１００には、画像表示メモリ２４、Ｄ／Ａ変換器２６、およびＴＦＴ方式のＬＣＤ等から成る画像表示部２８が設けられている。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８に表示される。画像表示部２８を用いて撮像した画像データを逐次表示することで、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示に従って、任意に表示をＯＮ／ＯＦＦすることが可能である。表示をＯＦＦにした場合、撮像装置１００の電力消費を大幅に低減することができる。

メモリ３０は、撮影した静止画像や動画像を格納するものであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備える。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する回路であり、メモリ３０に格納された画像を読み込んで圧縮処理あるいは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は、絞り機能を備えるシャッタ１２を制御するものであり、ストロボ（フラッシュ）４８と連携することによりフラッシュ調光機能も有する。測距制御部４２は、撮影レンズ１０のフォーカシングを制御する。ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。バリア制御部４６は、バリアである保護部１０２の動作を制御する。

ストロボ４８は、ＡＦ補助光の投光機能およびフラッシュ調光機能を有する。露光制御部４０および測距制御部４２は、ＴＴＬ方式を用いて制御されている。システム制御回路５０は、撮像された画像データを画像処理回路２０が演算した演算結果に基づき、露光制御部４０および測距制御部４２を制御する。

システム制御回路５０は撮像装置１００全体を制御する。メモリ５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶する。また、メモリ５２はＡＥで用いるプログラム線図も格納している。プログラム線図は、露出値に対する絞り開口径とシャッタ速度の制御値との関係を定義したテーブルである。

表示部５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカ等からなる。表示部５４は、撮像装置１００の操作部近辺の視認し易い位置に単数あるいは複数設置され、例えば、ＬＣＤやＬＥＤ、発音素子等を組み合わせて構成されている。また、表示部５４の一部の機能は、光学ファインダ１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示および露出補正表示がある。また、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００、２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示等がある。また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示等がある。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリである。不揮発性メモリとして、例えばＥＥＰＲＯＭ等が用いられる。

モードダイアルスイッチ６０、シャッタスイッチ６１、６２および操作部６３は、システム制御回路５０の各種の動作指示を入力するための操作部（広義）である。これらは、スイッチ、ダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等を単数あるいは複数組み合わせて構成される。ここで、これらの操作部の具体的な説明を行う。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替えて設定可能である。

シャッタスイッチ６１（ＳＷ１）は、シャッタボタン（図示せず）の操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。一方、シャッタスイッチ６２（ＳＷ２）は、シャッタボタン（図示せず）の操作完了でＯＮとなり、露光処理、現像処理および記録処理という一連の動作開始を指示する。露光処理では、撮像素子１２から読み出した信号をＡ／Ｄ変換器１６およびメモリ制御回路２２を介してメモリ３０に画像データとして書き込む処理が行われる。現像処理では、画像処理回路２０やメモリ制御回路２２での演算を用いた処理が行われる。記録処理では、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００あるいは２１０に画像データを書き込む処理が行われる。

操作部６３は各種ボタンやタッチパネル等からなる。操作部６３には、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタンおよび単写／連写／セルフタイマ切り替えボタンが設けられている。また、操作部６３には、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等が設けられている。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等から構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果およびシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

撮像装置１００には、コネクタ８２が設けられている。このコネクタ８２に嵌合されるコネクタ８４には、電源部８６が接続されている。電源部８６は、アルカリ電池やリチウム電池等の一次電池、ＢＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等からなる。

また、撮像装置１００には、メモリカードやハードディスク等の記録媒体とのインタフェース９０、９４、およびこれらのインタフェース９０、９４にそれぞれ接続され、上記記録媒体と接続を行うためのコネクタ９２、９６が設けられている。記録媒体着脱検知部９８は、コネクタ９２あるいは９６に記録媒体２００あるいは２１０が装着されているか否かを検知する。

なお、本実施形態では、記録媒体を取り付けるためのインタフェースおよびコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるためのインタフェースおよびコネクタを、単数あるいは複数、任意の系統数を備える構成であっても構わない。

また、異なる規格のインタフェースおよびコネクタを組み合わせて備える構成であっても構わない。インタフェースおよびコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標)）カード等の規格に準拠したものを用いて構成してもよい。

さらに、インタフェース９０、９４およびコネクタ９２、９６に、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標)）カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することにより管理情報の転送が容易になる。各種通信カードとして、ＬＡＮカード、モデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等が挙げられる。これにより、他のコンピュータやプリンタ等の周辺機器との間で、画像データや画像データに付属した管理情報を転送し合うことが可能である。

保護部１０２は、撮像装置１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである。光学ファインダ１０４は、画像表示部２８による電子ファインダ機能を使用することなく、光学ファインダのみを用いて撮影を行うことが可能なものである。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが設置されている。

通信部１１０は、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。コネクタ／アンテナ１１２は、通信部１１０により撮像装置１００を他の機器と接続する際に用いられるコネクタ、あるいは無線通信の場合のアンテナである。

記録媒体２００は、メモリカードやハードディスク等であり、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、および撮像装置１００との接続を行うコネクタ２０６を備える。記録媒体２１０は、メモリカードやハードディスク等であり、半導体メモリや磁気ディスク等から構成される記録部２１２、撮像装置１００とのインタフェース２１４、および撮像装置１００との接続を行うコネクタ２１６を備える。

上記構成を有する撮像装置１００の動作を示す。図２および図３は撮影動作手順を示すフローチャートである。この処理プログラムはメモリ５２に格納されており、システム制御部５０内のＣＰＵによって実行される。

まず、電池交換等の電源投入により、システム制御回路５０は、フラグや制御変数等を初期化し（ステップＳ１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（ステップＳ２）。

システム制御回路５０は、モードダイアル６０の設定位置を判別する（ステップＳ３）。モードダイアル６０が電源ＯＦＦに設定されていた場合、所定の終了処理を行う（ステップＳ５）。この所定の終了処理では、各表示部の表示を終了状態に変更し、保護部１０２のバリアを閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータ、設定値および設定モードを不揮発性メモリ５６に記録することが行われる。また、電源制御部８０により、画像表示部２８を含む撮像装置１００の各部への不要な電源を遮断すること等が行われる。システム制御回路５０は、所定の終了処理を行った後、ステップＳ３の処理に戻る。

一方、ステップＳ３で、モードダイアル６０がその他のモードに設定されていた場合、システム制御回路５０は、選択されたモードに応じた処理を実行し（ステップＳ４）、この処理を終えると、ステップＳ３の処理に戻る。

また一方、ステップＳ３で、モードダイアル６０が撮影モードに設定されていた場合、システム制御回路５０は、電源制御部８０により電池等により構成される電源８６の残容量や動作情況が撮像装置１００の動作に問題があるか否かを判断する（ステップＳ６）。問題がある場合、システム制御回路５０は、表示部５４を用いて画像や音声により所定の警告表示を行い（ステップＳ８）、その後にステップＳ３の処理に戻る。

一方、ステップＳ６で電源８６に問題が無い場合、システム制御回路５０は、記録媒体２００あるいは２１０の動作状態が撮像装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する（ステップＳ７）。問題がある場合、システム制御回路５０は、表示部５４を用いて画像や音声により所定の警告表示を行い（ステップＳ８）、その後に、ステップＳ３の処理に戻る。

一方、ステップＳ７で記録媒体２００あるいは２１０の動作状態に問題が無い場合、システム制御回路５０は、スルー画像を画像表示部２８に表示するための撮影準備の初期化を行う（ステップＳ９）。ここで、スルー画像とは、静止画を撮影する前後にファインダ機能として表示させるため、撮像素子１４によって撮像された動画像のことである。

撮影準備が完了すると、システム制御回路５０は、スルー画像の画像表示部２８への表示を開始する（ステップＳ１０）。スルー画像表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０およびメモリ制御回路２２を介して画像表示メモリ２４に逐次書き込まれたデータは、メモリ制御回路２２およびＤ／Ａ変換器２６を介して画像表示部２８に逐次表示される。これにより、電子ファインダ機能が実現する。

つづいて、スルー画像表示状態における静止画撮影時のカメラ動作について説明する。システム制御回路５０は、モードダイアル６０が変更されているか否かを判別する（ステップＳ１１）。モードダイアル６０が変更されている場合、システム制御回路５０は、ステップＳ３の処理に戻り、ダイアル状態をチェックする。

一方、ステップＳ１１でモードダイアル６０が変更されていない場合、システム制御回路５０は、スルー画像表示を継続して行うための処理を行う。即ち、システム制御回路５０は、画像処理回路２０により、撮像素子１４から得られた映像信号に対して所定の測光演算を行い、その演算結果をメモリ３０に格納する（ステップＳ１２）。そして、システム制御回路５０は、この演算結果を元に、露光制御部４０を用いてスルー画像に対するＡＥ処理を行う。この後、システム制御回路５０は、スルー画像を画像表示部２８に表示する（ステップＳ１３）。

システム制御回路５０は、シャッタスイッチ（ＳＷ１）６１が押されたか否かを判定する（ステップＳ１４）。シャッタスイッチ（ＳＷ１）６１が押されていない場合、システム制御回路５０は、ステップＳ３の処理に戻り、ダイアル状態や電池状態をチェックする。

一方、シャッタスイッチ（ＳＷ１）６１が押されている場合、システム制御回路５０は、画像処理回路２０により、撮像素子１４から得られた映像信号に対して所定の測距演算を行い、その演算結果をメモリ３０に格納する（ステップＳ１５）。そして、システム制御回路５０は、この測距演算結果を元に、測距制御部４４を用いてＡＦ処理を行い、撮影レンズ１０の焦点を被写体に合わせる（ステップＳ１６）。この後、システム制御回路５０は、スルー画像を画像表示部２８に表示する（ステップＳ１６）。

システム制御回路５０は、シャッタスイッチ（ＳＷ２）６２が押されたか否かを判定する（ステップＳ１７）。シャッタスイッチ（ＳＷ２）６２が押されていない場合、システム制御回路５０は、再びシャッタスイッチ（ＳＷ１）６１の判定を行う（ステップＳ１８）。シャッタスイッチ（ＳＷ１）６１が押されている場合、システム制御回路５０は、ステップＳ１６の処理に戻り、シャッタスイッチＳＷ１の保持状態を継続する。一方、押されていない場合、システム制御回路５０は、ステップＳ３の処理に戻り、ダイアル状態や電池状態をチェックする。

また、ステップＳ１７で、シャッタスイッチ（ＳＷ２）６２が押されている場合、システム制御回路５０は、静止画の撮影処理を実行する（ステップＳ１９）。ステップＳ１９の一連の撮影動作では、メモリ３０に圧縮画像データが保存される。この撮影動作の詳細については後述する。

システム制御回路５０は、ステップＳ１９でメモリ３０に保存された圧縮画像データを、静止画ファイルとして記録媒体２００に書き込む（ステップＳ２０）。システム制御回路５０は、ステップＳ１９で撮像された画像をレビュー画像として画像表示部２８に表示し（ステップＳ２１）、静止画撮影の処理を完了する。

システム制御回路５０は、シャッタスイッチ（ＳＷ１）６１の判定を行う（ステップＳ２２）。シャッタスイッチ（ＳＷ１）６１が押されている場合、システム制御回路５０は、はステップＳ１６の処理に戻り、スルー画像を表示して撮影待機状態に復帰する。一方、シャッタスイッチ（ＳＷ１）６１が押されていない場合、システム制御回路５０は、ステップＳ３の処理に戻り、ダイアル状態をチェックする。

図４および図５はステップＳ１９における静止画の撮影処理手順を示すフローチャートである。システム制御回路５０は、タイミング発生器１８に同期して撮像素子１４から映像信号の読み出しを行う（ステップＳ３１）。このとき、ステップＳ１２のＡＥ処理の結果、ストロボ撮影である場合、ストロボ４８は映像信号の先幕あるいは後幕に同期して発光を行う。撮像素子１４から読み出された映像信号は、Ａ／Ｄ変換器１６を通して画像データに変換され、メモリ３０に格納される。

システム制御回路５０は、メモリ３０に格納されているＷＢの作業情報（図６参照）を初期化する（ステップＳ３２）。

そして、システム制御回路５０は、全てのモードのホワイトバランス処理が完了したか否かを判別する（ステップＳ３３）。即ち、システム制御回路５０は、メモリ３０に格納されているＷＢの作業情報を読み出し、ホワイトバランスの積分処理の実行の有無についてフラグを参照する。全てのＷＢモードについて、ＷＢ積分実行フラグがＯＮである場合、全てのモードのホワイトバランス処理が完了したとして、システム制御回路５０は、ステップＳ４５の処理に進む。

一方、ステップＳ３３で、全てのモードのホワイトバランス処理（ＷＢ積分）が完了していない場合、システム制御回路５０は、ＷＢのモードを切り替える（ステップＳ３４）。ＷＢのモードとして、本実施形態では、オート、太陽光、曇り、電球、蛍光灯（昼白色蛍光灯）、蛍光灯Ｈ（昼光色蛍光灯）、水中およびストロボの８種類のモードが備わっている。システム制御回路５０は、メモリ３０を参照し、ＷＢの作業情報からＷＢ積分処理が未実行のＷＢモードを検索し、そのＷＢモードをメモリ３０に設定する。

さらに、システム制御回路５０は、選択（設定）したＷＢモードに応じた白サーチ積分の積分範囲などの積分パラメータを画像処理回路２０に設定するとともに、メモリ３０に格納されているＷＢ作業情報にも積分パラメータ（設定値）を記憶する。なお、白サーチ積分の積分範囲については図７を用いて後述する。

システム制御回路５０は、ステップＳ３４で設定されたＷＢモードについて、ＷＢ積分が必要であるか否かを判別する（ステップＳ３５）。本実施形態では、ＷＢモードがストロボである場合、ＷＢ積分が不要である。その他のＷＢモードの場合、ＷＢ積分が必要である。

ステップＳ３５でＷＢ積分が不要であると判別された場合、システム制御回路５０は、メモリ３０に格納されているＷＢ作業情報の該当するＷＢモードのＷＢ積分実行フラグをＯＮにする（ステップＳ３６）。

一方、システム制御回路５０は、ステップＳ３５でＷＢ積分が必要であると判別された場合、ステップＳ３４でメモリ３０に記憶した積分パラメータ（設定値）を比較する処理を行う（ステップＳ３７）。即ち、システム制御回路５０は、現在のＷＢモードに対応した積分パラメータと、過去にＷＢ積分を実行したＷＢモードに対応した積分パラメータとを比較し、同一の積分パラメータで既にＷＢ積分が実行されたか否かを検索する。

システム制御回路５０は、ステップＳ３７の積分パラメータの比較処理によって同一の積分パラメータが見つかったか否かを判定する（ステップＳ３８）。同一の積分パラメータが見つかった場合、ＷＢ積分を省略するため、ステップＳ３９の処理に進む。一方、同一の積分パラメータが無かった場合、ＷＢ積分を行うためにステップＳ４１の処理に進む。

ステップＳ３９の処理は、ＷＢ積分が必要であると判別されたが、同一の積分パラメータによるＷＢ積分が既に実行済みの場合の処理である。メモリ３０には、ＷＢ作業情報としてＷＢモードに対応したＷＢ積分結果が格納されている。システム制御回路５０は、ステップＳ３７の比較処理によって見つかった同一の積分パラメータを持つＷＢモードに対応したＷＢ積分結果をメモリ３０から読み出し、現在のＷＢモードに対応したＷＢ積分結果の領域に複写（コピー）する（ステップＳ３９）。なお、同一でなく、近似の積分パラメータが見つかった場合に同様の処理を行うようにしてもよい。このＳ３９の処理は読出手段に相当する。

システム制御回路５０は、Ｓ３５でＷＢ積分が不要の場合、またはＳ３８で同一の積分パラメータによってＷＢ積分が実行済みの場合、メモリ３０に格納されているＷＢ作業情報のＷＢ演算実行フラグをスキップの状態に設定する（ステップＳ４０）。この後、システム制御回路５０は、ステップＳ３３の処理に戻る。

一方、ステップＳ４１の処理はＷＢ積分が必要である場合の処理である。システム制御回路５０は、現在のＷＢモード用の白サーチ積分を信号処理回路２０に指示し、ＷＢ積分処理を開始する（ステップＳ４１）。このとき、システム制御回路５０は、ＷＢ作業情報を検索し、全てのＷＢモードについてＷＢ積分実行フラグがＯＦＦである場合、初回のＷＢ積分処理であると解釈し、ＷＢ積分処理の開始指示に際してブロック積分も行うように指示する。このブロック積分は撮影毎に実行される。

システム制御回路５０は、ＷＢ積分処理の完了を待たずに、ＷＢ演算処理を開始する（ステップＳ４２）。こうして、ステップＳ４１で開始した信号処理回路２０によるＷＢ積分処理と並行し、システム制御回路５０はＷＢ演算処理を実行する。

システム制御回路５０は、メモリ３０に格納されたＷＢ作業情報を参照し、ＷＢ積分実行フラグがＯＮであり、かつＷＢ演算実行フラグが未実行の状態を示しているＷＢモードを検索し、見つかった場合、該当するＷＢモードのための所定のＷＢ演算処理を実行する。このとき、ＷＢ演算処理に使用されるＷＢ積分結果として、ＷＢ作業情報の該当するＷＢモードに応じた白サーチ積分値、およびＷＢ作業情報の全てのＷＢモードに共通で記憶されているブロック積分値が使用される。白サーチ積分値およびブロック積分値を用いることで、ＷＢ積分値を精度良く算出することができる。システム制御回路５０は、ＷＢ演算処理を終了すると、ＷＢ作業情報の該当するＷＢモードに応じたＷＢ演算実行フラグを実行済みに設定し、ステップＳ４３の処理に進む。

一方、ＷＢ積分実行フラグがＯＮであり、かつＷＢ演算実行フラグが未実行の状態を示しているＷＢモードが見つからなかった場合、システム制御回路５０は、ＷＢ演算処理を実行せずに、ステップＳ４３の処理に進む。

システム制御回路５０は、ステップＳ４１で開始したＷＢ積分処理の完了を待ち合わせる（ステップＳ４３）。システム制御回路５０は、信号処理回路２０の状態を取得し、ＷＢ積分処理が完了した後、ステップＳ４１で開始したＷＢ積分処理のＷＢ積分結果を記憶する（ステップＳ４４）。即ち、システム制御回路５０は、メモリ３０に格納されたＷＢ作業情報の現在のＷＢモードに対応した白サーチ積分値用の領域に、信号処理回路２０に保持されている白サーチ積分値を複写（コピー）する。さらに、システム制御回路５０は、ＷＢ作業情報を検索し、全てのＷＢモードについてＷＢ積分実行フラグがＯＦＦである場合、初回のＷＢ積分処理であると解釈し、信号処理回路２０に保持されているブロック積分値もＷＢ作業情報に複写（コピー）する。

一方、ステップＳ３３で、全てのＷＢモードについて、ＷＢ積分実行フラグがＯＮである場合、システム制御回路５０は、信号処理回路２０に現像処理の開始を指示する（ステップＳ４５）。この現像処理は、ＪＰＥＧなどの所定の現像および圧縮処理を行い、処理後の画像データをメモリ３０に保存する一連の処理である。システム制御回路５０は、信号処理回路２０に現像処理を指示し、その完了を待たずにステップＳ４６の処理に進む。

システム制御回路５０は、全てのＷＢモードについてＷＢ積分処理の完了後、メモリ３０に格納されているＷＢ作業情報を参照し、ＷＢ演算実行フラグがスキップに設定されている全てのＷＢモードについて、ＷＢ演算処理を開始する（ステップＳ４６）。このＷＢ演算処理は、システム制御回路５０で実行され、ステップＳ４５の現像処理と並行して実行される。

システム制御回路５０は、ステップＳ４５の現像処理とステップＳ４６のＷＢ演算処理の完了の待ち合わせる（ステップＳ４７）。システム制御回路５０は、現像処理と全てのＷＢモードについてのＷＢ演算処理が完了した後、全てのＷＢモードについてのＷＢ演算結果を画像データのヘッダ領域に格納し、撮影シーケンスを終了する。この後、システム制御回路５０は、ステップＳ２０の処理に復帰する。

図６はメモリ３０に格納されたＷＢの作業情報の書式を示すテーブルである。ＷＢの作業情報として、全てのＷＢモードに共通してブロック積分値が格納されており、全てのＷＢモードにおいて、ブロック積分による積分値を共通して使用することができる。ＷＢ積分実行フラグ、積分パラメータ、白サーチ積分値、ＷＢ演算結果およびＷＢ演算実行フラグの記憶領域はＷＢモード毎に確保される。

ＷＢ積分実行フラグは、ＷＢ積分が未実行の場合にＯＦＦであり、ＷＢ積分が実行済みの場合にＯＮである。積分パラメータは、信号処理回路２０で白サーチ積分を行う際の設定値である。積分パラメータには、後述する黒体放射カーブとその近傍の領域や、積分処理を行う際のしきい値などが設定値として含まれる。

図７は色度座標上における黒体放射カーブとその周辺の領域を白サーチ積分の積分対象範囲として示す図である。システム制御回路５０は、図７に示す色度座標上における黒体放射カーブとその周辺（近傍）の領域を白サーチ積分の積分対象範囲として、信号処理回路２０に設定する。白サーチ積分値には、信号処理回路２０による白サーチ積分の結果が格納される。白サーチ積分値は、色度座標上の積分対象領域についての色信号の積分値である。ＷＢ演算結果は、白サーチ積分値とブロック積分値を用いて所定のホワイトバランスの演算処理を実行した結果として格納される。ＷＢ演算結果（ＷＢ制御値）には、光源の色温度を補正するための情報として、光源に応じたカラーバランスを整えるための各色のカラーゲインと光源の色温度などが含まれる。ＷＢ演算実行フラグは、３ステートを保持し、ＷＢ演算処理が実行されていない場合に未実行の状態とし、ＷＢ演算処理を後回しにした場合にスキップの状態とし、ＷＢ演算処理が完了した場合に実行済みの状態とする。

図８は図４および図５を用いて説明したホワイトバランスの積分処理と演算処理を時間軸に沿って示すタイミングチャートである。オート、太陽光、曇り、電球、蛍光灯、水中の順でＷＢ積分が実行され、各ＷＢ積分が完了した後、速やかに現像処理が開始する。蛍光灯Ｈでは、ＷＢ積分を不要とし、蛍光灯のＷＢ積分値が使用されている。また、ストロボでは、ＷＢ積分が不要なモードであるとして、ＷＢ積分処理が省略されている。ＷＢ積分処理と並行してＷＢ演算処理が実行されている。さらに、ＷＢ演算処理を現像処理と並行して実行することで、全体の処理時間が短縮されている。また、全てのＷＢモードについてホワイトバランス処理を実行するような場合、ＷＢ積分処理とＷＢ演算処理を並行して（並列で）実行させ、かつ、積分パラメータが同一または近似である場合、ＷＢ積分処理を省略することで、処理時間の短縮が図られている。

本実施形態の撮像装置によれば、ＲＡＷデータの現像処理における画像補正処理でホワイトバランスを調整する際、ホワイトバランスを任意のモードに設定しても、ＷＢ積分処理と演算処理を行う必要が無く、処理時間の大幅な短縮が可能となる。

また、ＲＡＷデータの現像処理におけるホワイトバランスの積分と演算の処理を搭載する必要が無くなるので、現像処理全体の回路規模、あるいはプログラムコードのサイズの削減が可能となり、構成を簡略化することが可能である。

また、ＲＡＷデータの撮影機能を保持する撮像装置では、撮像装置本体で現像処理を施した画像データと、撮影後にＲＡＷデータを現像処理して得られた画像データとを比較した場合、ホワイトバランスに係る処理と結果を同一のものとすることが可能である。この結果、色再現性を向上させることが可能である。

なお、本実施形態では、蛍光灯ＨのＷＢ積分処理を省略することで、処理時間を短縮することができる場合を示したが、ＷＢ積分処理を省略するＷＢモードについてはこれに限定されるものでは無い。

また、ＷＢモードがストロボの場合、ＷＢ積分処理が不要なＷＢモードであるとしているが、これに限定されるものではない。ホワイトバランスのアルゴリズムによっては、ＷＢ積分処理を実行せずにホワイトバランス処理が実行可能である場合、他のＷＢモードにおいてもＷＢ積分処理を省略することが可能である。

本実施形態では、オート、太陽光、曇り、電球、蛍光灯、蛍光灯Ｈ、水中、ストロボの順でホワイトバランス処理を実行しているが、これに限定されるものではなく、処理時間短縮のため順序を入れ替えることも可能である。

また、本実施形態では、ＷＢ積分処理中にＷＢ演算処理を１回だけ実行しているが、ＷＢ積分処理の時間内に複数回のＷＢ演算処理を実行するだけの時間がある場合、複数種のＷＢ演算処理を実行してもよい。

また、ホワイトバランスとしての設定値は、ホワイトバランスのモードによって変化しない場合、全てのホワイトバランスのモードに共通して１回だけ求められるようにしてもよく、積分パラメータの設定を容易に行うことができる。

また、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

実施の形態における撮像装置の構成を示す図である。 撮影動作手順を示すフローチャートである。 図２につづく撮影動作手順を示すフローチャートである。 ステップＳ１９における静止画の撮影処理手順を示すフローチャートである。 図４につづくステップＳ１９における静止画の撮影処理手順を示すフローチャートである。 メモリ３０に格納されたＷＢの作業情報の書式を示すテーブルである。 色度座標上における黒体放射カーブとその周辺の領域を白サーチ積分の積分対象範囲として示す図である。 ホワイトバランスの積分処理と演算処理を時間軸に沿って示すタイミングチャートである。

符号の説明

２０ 画像処理回路
３０ メモリ
５０ システム制御回路
１００ 撮像装置

Claims (10)

1. 複数のホワイトバランスのモードを備える撮像装置であって、
   被写体を撮像して映像信号を得る撮像手段と、
   前記撮像手段により得られた映像信号の積分処理を行い、前記ホワイトバランスのモード毎に、ホワイトバランス積分値を得る積分手段と、
   前記積分手段により得られたホワイトバランス積分値を用いた演算処理を行い、光源の色温度を補正するためのホワイトバランス制御値を算出する演算手段と、
   前記演算手段によって算出された前記ホワイトバランス制御値を前記映像信号に基づく画像データに格納する格納手段と、
   前記積分手段に設定された積分パラメータ、当該積分パラメータが設定された前記積分手段によって得られた前記ホワイトバランス積分値、および前記演算手段によって得られた前記ホワイトバランス制御値を、前記ホワイトバランスのモード毎に記憶する記憶手段と、
   前記積分手段に設定される積分パラメータを前記記憶手段に記憶された積分パラメータと比較する比較手段と、を備え、
   前記比較の結果、前記設定される積分パラメータと同一または近似の積分パラメータが前記記憶手段に記憶されていた場合、前記演算手段は、前記記憶手段から当該積分パラメータに対応する前記ホワイトバランス積分値を読み出し、前記読み出されたホワイトバランス積分値を用いて前記ホワイトバランス制御値を算出することを特徴とする撮像装置。
2. 前記積分手段は、前記積分処理を、前記映像信号を複数のブロックに分け各ブロックの色信号の積分値を得るブロック積分と、前記映像信号の各画素の信号値を色度座標に展開し前記積分パラメータによって表現される所定の領域についての色信号の積分値を得る白サーチ積分とによって構成し、前記白サーチ積分を前記ホワイトバランスのモード毎に実行し、前記ブロック積分を撮影毎に実行することを特徴とする請求項１記載の撮像装置。
3. 前記記憶手段は、前記ブロック積分による積分値を１つ保持する記憶領域を有することを特徴とする請求項２記載の撮像装置。
4. 前記積分手段に設定される前記積分パラメータは、前記白サーチ積分における黒体放射カーブとその近傍の領域、および前記積分処理を行う際のしきい値を設定値として含み、前記設定値は、前記ホワイトバランスのモードによって変化しない場合、全てのホワイトバランスのモードに共通して１回だけ求められることを特徴とする請求項１記載の撮像装置。
5. 前記積分手段による積分処理中、前記演算手段による演算処理を並行して実行させることを特徴とする請求項１記載の撮像装置。
6. 前記積分手段による積分処理の完了後、前記映像信号の現像処理を開始し、前記現像処理と前記演算処理を並行して実行させることを特徴とする請求項５記載の撮像装置。
7. 前記積分手段による積分処理および前記演算手段による演算処理を繰り返し実行することで、複数のホワイトバランスのモードに対応したホワイトバランス制御値が算出されることを特徴とする請求項１記載の撮像装置。
8. 複数のホワイトバランスのモードを備える撮像装置のホワイトバランス制御方法であって、
   被写体を撮像して映像信号を得る撮像ステップと、
   前記撮像ステップで得られた映像信号の積分処理を行い、前記ホワイトバランスのモード毎に、ホワイトバランス積分値を得る積分ステップと、
   前記積分ステップで得られたホワイトバランス積分値を用いた演算処理を行い、光源の色温度を補正するためのホワイトバランス制御値を算出する演算ステップと、
   前記演算ステップで算出された前記ホワイトバランス制御値を前記映像信号に基づく画像データに格納する格納ステップと、
   前記積分ステップに設定された積分パラメータ、当該積分パラメータが設定された前記積分ステップによって得られた前記ホワイトバランス積分値、および前記演算ステップによって得られた前記ホワイトバランス制御値を、前記ホワイトバランスのモード毎に記憶手段に記憶する記憶ステップと、
   前記積分ステップにおいて設定される積分パラメータを前記記憶手段に記憶された積分パラメータと比較する比較ステップと、を有し、
   前記比較の結果、前記設定される積分パラメータと同一または近似の積分パラメータが前記記憶手段に記憶されていた場合、前記演算ステップは、前記記憶手段から当該積分パラメータに対応する前記ホワイトバランス積分値を読み出し、前記読み出されたホワイトバランス積分値を用いて前記ホワイトバランス制御値を算出することを特徴とする撮像装置のホワイトバランス制御方法。
9. 複数のホワイトバランスのモードを備える撮像装置のホワイトバランス制御方法をコンピュータに実行させるプログラムであって、
   前記ホワイトバランス制御方法は、
   被写体を撮像して映像信号を得る撮像ステップと、
   前記撮像ステップで得られた映像信号の積分処理を行い、前記ホワイトバランスのモード毎に、ホワイトバランス積分値を得る積分ステップと、
   前記積分ステップで得られたホワイトバランス積分値を用いた演算処理を行い、光源の色温度を補正するためのホワイトバランス制御値を算出する演算ステップと、
   前記演算ステップで算出された前記ホワイトバランス制御値を前記映像信号に基づく画像データに格納する格納ステップと、
   前記積分ステップに設定された積分パラメータ、当該積分パラメータが設定された前記積分ステップによって得られた前記ホワイトバランス積分値、および前記演算ステップによって得られた前記ホワイトバランス制御値を、前記ホワイトバランスのモード毎に記憶手段に記憶する記憶ステップと、
   前記積分ステップにおいて設定される積分パラメータを前記記憶手段に記憶された積分パラメータと比較する比較ステップと、を有し、
   前記比較の結果、前記設定される積分パラメータと同一または近似の積分パラメータが前記記憶手段に記憶されていた場合、前記演算ステップは、前記記憶手段から当該積分パラメータに対応する前記ホワイトバランス積分値を読み出し、前記読み出されたホワイトバランス積分値を用いて前記ホワイトバランス制御値を算出することを特徴とするプログラム。
10. 請求項９記載のプログラムを格納することを特徴とするコンピュータで読み取り可能な記憶媒体。

Images