JP2011166753A - 撮像装置 - Google Patents

Abstract

【課題】適切な色の画像になるよう色調節することが可能な撮像装置を提供することを目的とする。
【解決手段】デジタルカメラ１００は、被写体像を撮像して画像情報を生成するＣＣＤイメージセンサ１２０と、画像情報のホワイトバランスを調節するための、ホワイトバランス制御値を算出する光源推定部１８２と、ホワイトバランス制御値に従って画像情報のホワイトバランスを調節するＷＢ制御部１８３と、ホワイトバランスが調節された後の画像情報に対して、ホワイトバランス制御値に対応する色を補正する色調節部１８４とを備える。
【選択図】図５

Description

本発明は撮像装置に関し、特にホワイトバランス調節が可能な撮像装置に関する。

動画や静止画を撮影するデジタルカメラ等の撮像装置は、撮像している被写体の光源の色温度を検出し、無彩色が無彩色に、すなわち白が白になるようにホワイトバランスを制御するホワイトバランス調節機能を搭載している。例えば、特許文献１は、撮像手段から出力される画像情報を複数の領域に分割し、分割された複数の領域の各々について所定の基準に従って選択又は非選択の決定を行い、選択された複数の情報に基づいてホワイトバランスゲインを決定し、ホワイトバランスを調節する撮像装置を開示している。

特開２００２−０９５００４号公報

しかしながら、このようなホワイトバランスを調節する撮像装置では、例えば、水銀灯光源と、蛍光灯など他の光源とが混在しているような撮影において、それぞれの光源に合ったホワイトバランス調節ができず、緑がかった画像や赤みがかった画像が生成されてしまうという課題があった。

本発明は上記課題に鑑みてなされたものであり、撮像した画像が適切な色の画像になるよう色調節することが可能な撮像装置を提供する。

上記課題を解決するために、本発明の撮像装置は、被写体像を撮像して画像情報を生成する撮像部と、前記画像情報のホワイトバランスを調節するための、ホワイトバランス制御値を算出する制御値算出部と、前記ホワイトバランス制御値に従って前記画像情報のホワイトバランスを調節するホワイトバランス調節部と、ホワイトバランスが調節された後の画像情報に対して、前記ホワイトバランス制御値に対応する色を補正する色調節部とを備えることを特徴とする。

ある実施の形態によれば、前記制御値算出部は、第一の色範囲に含まれる前記画像情報の色情報に基づいて第一のホワイトバランス制御値を算出し、第二の色範囲に含まれる前記画像情報の色情報に基づいて第二のホワイトバランス制御値を算出し、前記制御値算出部は、前記第一のホワイトバランス制御値と前記第二のホワイトバランス制御値との比較結果に応じて、前記画像情報のホワイトバランスを調節するための前記ホワイトバランス制御値を決定する。

ある実施の形態によれば、前記第一の色範囲は、前記画像情報全体の色範囲であり、前記第二の色範囲は、特定の光源色を示す色範囲であって、前記色調節部は、前記第一のホワイトバランス制御値に従って前記画像情報がホワイトバランス調節されたときは、前記特定の光源色に対応する第一の色を補正し、前記色調節部は、前記第二のホワイトバランス制御値に従って前記画像情報がホワイトバランス調節されたときは、前記特定の光源色に対応する第二の色を補正する。

ある実施の形態によれば、前記特定の光源は、水銀灯であり、前記第一の色は緑色であり、前記第二の色はマゼンタである。

ある実施の形態によれば、前記特定の光源は、ナトリウムランプであり、前記第一の色は橙色であり、前記第二の色は青色である。

ある実施の形態によれば、前記第一の色と前記第二の色とは補色の関係にある。

ある実施の形態によれば、前記画像情報を複数のブロックに分割し、前記ブロックごとの原色の光量の平均値を示すブロックメモリデータを算出するブロックメモリデータ算出部をさらに備え、前記制御値算出部は、前記第一の色範囲に対応する前記ブロックメモリデータに基づいて前記第一のホワイトバランス制御値を算出し、前記第二の色範囲に対応する前記ブロックメモリデータに基づいて前記第二のホワイトバランス制御値を算出する。

ある実施の形態によれば、前記制御値算出部は、前記第一のホワイトバランス制御値と前記第二のホワイトバランス制御値との差を算出し、前記差と所定のしきい値との大小関係に応じて、前記第一および第二のホワイトバランス制御値のうちの一方を、前記画像情報のホワイトバランスを調節するための前記ホワイトバランス制御値として採用する。

また、上記課題を解決するために、本発明の画像処理方法は、入力された画像情報のホワイトバランスを調節するための、ホワイトバランス制御値を算出するステップと、前記ホワイトバランス制御値に従って前記画像情報のホワイトバランスを調節するステップと、ホワイトバランスが調節された後の画像情報に対して、前記ホワイトバランス制御値に対応する色を補正するステップとを包含することを特徴とする。

本発明によれば、撮像部により生成された画像情報がホワイトバランス制御値に従ってホワイトバランスが調節された後、その画像情報に対して、該ホワイトバランス制御値に対応する色を補正する。これにより、撮像した画像を適切な色の画像になるよう色調節することができる。

本発明の実施の形態１に係るデジタルカメラの前面構成図である。 本発明の実施の形態１に係るデジタルカメラの背面構成図である。 本発明の実施の形態１に係るデジタルカメラの電気的構成図である。 本発明の実施の形態１に係るＢＭ積算回路の機能の概要を説明する図である。 本発明の実施の形態１に係るＷＢ補正回路の構成図である。 本発明の実施の形態１に係る色調節動作を説明するフローチャートである。 本発明の実施の形態１に係るＢＭデータごとのＷＢ制御値（ゲイン）を説明する図である。 本発明の実施の形態１に係る水銀灯色範囲でのＷＢ制御値平均と、画像全体でのＷＢ制御値平均との差が大きい状態を説明する図である。 本発明の実施の形態１に係る水銀灯色範囲でのＷＢ制御値平均と、画像全体でのＷＢ制御値平均との差が小さい状態を説明する図である。

〔実施の形態１〕
本発明の実施の形態１のデジタルカメラ１００では、ＣＣＤイメージセンサ１２０（図３）により生成された画像情報がホワイトバランス制御値に従ってホワイトバランスが調節された後、その画像情報に対して、該ホワイトバランス制御値に対応する色を補正する。これにより、適切な色の画像になるよう色調節することができる。以下、デジタルカメラ１００の構成および動作を説明する。

〔１．構成〕
以下、図を用いてデジタルカメラ１００の構成を説明する。

〔１−１．デジタルカメラ１００の構成〕
図１は、デジタルカメラ１００の前面構成図である。デジタルカメラ１００は前面に光学系１１０を納める鏡筒や、フラッシュ１６０を備える。また、デジタルカメラ１００は上面にレリーズ釦２０１やズームレバー２０２、電源釦２０３などの操作釦を備える。

図２は、デジタルカメラ１００の背面構成図である。デジタルカメラ１００は背面に液晶モニタ１２３や、中央釦２０４や十字釦２０５などの操作釦を備える。

図３は、デジタルカメラ１００の電気的構成図である。デジタルカメラ１００は、光学系１１０を介して形成された被写体像をＣＣＤイメージセンサ１２０で撮像する。ＣＣＤイメージセンサ１２０は撮像した被写体像に基づく画像情報を生成する。撮像により生成された画像情報は、ＡＦＥ（アナログ・フロント・エンド）１２１や画像処理部１２２において各種処理が施される。生成された画像情報はフラッシュメモリ１４２やメモリカード１４０に記録される。フラッシュメモリ１４２やメモリカード１４０に記録された画像情報は、使用者による操作部１５０の操作を受け付けて液晶モニタ１２３上に表示される。以下に、図１から図３に示す各構成要素の詳細を説明する。

光学系１１０は、フォーカスレンズ１１１やズームレンズ１１２、絞り１１３、シャッタ１１４等を備える。図示していないが、光学系１１０は、光学式手ぶれ補正レンズＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）を含んでいてもよい。なお、光学系１１０を構成する各種レンズは何枚から構成されるものでも、何群から構成されるものでもよい。また、絞り１１３に代えて、光量調節にＮＤフィルタを用いてもよい。

フォーカスレンズ１１１は被写体のフォーカス状態の調節に用いられる。ズームレンズ１１２は被写体の画角の調節に用いられる。絞り１１３は、ＣＣＤイメージセンサ１２０に入射する光量の調節に用いられる。シャッタ１１４は、ＣＣＤイメージセンサ１２０に入射する光の露出時間を調節する。フォーカスレンズ１１１、ズームレンズ１１２、絞り１１３、シャッタ１１４は、それぞれに対応したＤＣモータやステッピングモータ等の駆動手段により、コントローラ１３０から通知された制御信号に従って駆動される。

ＣＣＤイメージセンサ１２０は、光学系１１０を通して形成された被写体像を撮像して画像情報を生成する。ＣＣＤイメージセンサ１２０の受光面には多数のフォトダイオードが２次元的に配列されている。また、各フォトダイオードに対応してＲ、Ｇ、Ｂの原色カラーフィルタが所定の配列構造で配置されている。図４（ｂ）に示す例では、各フォトダイオードに対応して、Ｒ、Ｇ、Ｂのカラーフィルタが１：２：１の比率にて配置されている。撮像対象となる被写体からの光は、光学系１１０を通過した後に、ＣＣＤイメージセンサ１２０の受光面に結像される。結像された被写体像は、各フォトダイオードへ入射した光量に応じてＲ、Ｇ、Ｂに仕分けられた色情報に変換される。その結果、被写体像を示す全体の画像情報が生成される。各フォトダイオードは、ＣＣＤイメージセンサ１２０の画素に対応する。しかし、各フォトダイオードから実際に出力される色情報は、Ｒ、Ｇ、Ｂのいずれかの原色情報である。そのため、各画素のそれぞれで発現させるべき色は、後段の画像処理部１２２において、各画素に対応するフォトダイオードおよび、その周辺のフォトダイオードから出力される原色情報（色、光量）に基づき生成される。以下の説明において、各画素のそれぞれで発現すべき色を構成するＲ、Ｇ、Ｂの組合せを（Ｒ、Ｇ、Ｂ）と表記することにする。このとき、（Ｒ、Ｇ、Ｂ）の各成分のＲ、Ｇ、Ｂは、それぞれの原色の組合せ度合を示す。なお、ＣＣＤイメージセンサ１２０は、デジタルカメラ１００が撮影モードにあるとき、一定時間ごとに新しいフレームの画像情報を生成することができる。

ＡＦＥ１２１では、ＣＣＤイメージセンサ１２０から読み出された画像情報に対して、相関二重サンプリングによる雑音抑圧、アナログゲインコントローラによるＡＤコンバータ（図示せず）の入力レンジ幅への増幅、ＡＤコンバータによるＡＤ変換が施される。その後、ＡＦＥ１２１は画像情報を画像処理部１２２に出力する。

画像処理部１２２は、ＡＦＥ１２１から出力された画像情報に対して各種の処理を施す。各種処理としては、ＢＭ（ブロックメモリ）積算、スミア補正、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、本発明はこれらに限定されるものではない。画像処理部１２２は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。またコントローラ１３０等とともに１つの半導体チップで構成してもよい。

ＢＭ積算回路１７０は、入力された画像情報に対してＢＭデータを生成するために、画像処理部１２２に有する回路である。図４は、ＢＭ積算回路１７０の機能を説明する図である。図４（ａ）に示すように、ＢＭ積算回路１７０は、入力された同一フレームの画像情報を複数のブロックに分割する。例えば、同一フレームの画像情報を縦１２×横１２の１４４個のブロックに分割する。ここで、図４（ｂ）に示すように、分割された各ブロックは、Ｒ、Ｇ、Ｂの各原色情報を、ブロック内に含まれる画素数分有する。

続いて、ＢＭ積算回路１７０は、各ブロックにおいて、ブロック内に含まれる画素数分のＲ、Ｇ、Ｂの各チャネルの値を積算し、ブロック内のＲ光量、Ｇ光量、Ｂ光量それぞれの平均値を算出する。ここで、実施の形態１の例では、各フォトダイオードに対応して、Ｒ、Ｇ、Ｂのカラーフィルタが１：２：１の比率にて配置されているため、Ｇのチャネル数は、ＲやＢのチャネル数よりも２倍多い。ＢＭ積算回路１７０は、このＲ、Ｇ、Ｂのチャネル数を考慮して、ブロック内のＲ光量、Ｇ光量、Ｂ光量それぞれの平均値を算出する。この算出されたブロック内のＲ、Ｇ、Ｂそれぞれの平均値を、以下の説明においてＢＭデータと呼ぶことにする。ブロック内のＲ、Ｇ、Ｂそれぞれの平均値をＲ_AVG、Ｇ_AVG、Ｂ_AVGとしたとき、そのブロックのＢＭデータは、（Ｒ_AVG、Ｇ_AVG、Ｂ_AVG）と表すことができる。算出されたＢＭデータは、ブロック毎にメモリ（不図示）に格納され、必要に応じて取り出される。以上のようにして、ＢＭ積算回路１７０は、分割した１４４個のブロックのそれぞれにおいてＢＭデータを生成する。

ホワイトバランス補正回路１８０（以下、ＷＢ補正回路１８０と呼ぶことにする）は、入力された画像情報に対して、ホワイトバランス（ＷＢ）の調節や特定の色の補正をするために、画像処理部１２２に有する回路である。図５にＷＢ補正回路１８０の構成を示す。ＷＢ補正回路１８０は、入力端子１８１、光源推定部１８２、ＷＢ制御部１８３、色調節部１８４、出力端子１８５を備える。

入力端子１８１は、入力されたＢＭデータや画像情報を、光源推定部１８２と、ＷＢ制御部１８３にそれぞれ供給する。光源推定部１８２、ＷＢ制御部１８３、色調節部１８４のそれぞれの機能の詳細については後述する。出力端子１８５は、光源推定部１８２、ＷＢ制御部１８３、色調節部１８４によって適切な色に調節された画像情報を出力する。ＷＢ補正回路１８０から出力された画像情報は、画像処理部１２２による他の画像処理が施される。

液晶モニタ１２３（図２、図３）は、デジタルカメラ１００の背面に備わる。液晶モニタ１２３は、画像処理部１２２にて処理された画像情報に基づく画像を表示する。液晶モニタ１２３が表示する画像には、スルー画像や記録画像がある。スルー画像は、ＣＣＤイメージセンサ１２０により一定時間ごとに生成される新しいフレームの画像を連続して表示する画像である。通常は、デジタルカメラ１００が撮影モードにあるときに、画像処理部１２２がＣＣＤイメージセンサ１２０の生成した画像情報からスルー画像を生成する。使用者は、液晶モニタ１２３に表示されるスルー画像を参照することにより、被写体の構図を確認しながら撮影できる。記録画像は、デジタルカメラ１００が再生モードにあるときに、メモリカード１４０等に記録された高画素の画像を液晶モニタ１２３に表示するために低画素に縮小した画像である。メモリカード１４０に記録される高画素の画像情報は、使用者によるレリーズ釦２０１の操作を受け付けた後に、ＣＣＤイメージセンサ１２０が生成した画像情報に基づいて画像処理部１２２により生成される。

コントローラ１３０は、デジタルカメラ１００全体の動作を統括制御する。コントローラ１３０は、プログラム等の情報を格納するＲＯＭや、プログラム等の情報を処理するＣＰＵなどにより構成される。ＲＯＭは、オートフォーカス制御（ＡＦ制御）や自動露出制御（ＡＥ制御）、フラッシュ１６０の発光制御に関するプログラムの他、デジタルカメラ１００全体の動作を統括制御するためのプログラムを格納している。

コントローラ１３０は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。また、画像処理部１２２などと共に１つの半導体チップで構成してもよい。また、ＲＯＭはコントローラ１３０の内部構成である必要はなく、コントローラ１３０の外部に備わったものでもよい。

バッファメモリ１２４は、画像処理部１２２やコントローラ１３０のワークメモリとして機能する記憶手段である。バッファメモリ１２４はＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などで実現できる。また、フラッシュメモリ１４２は、画像情報等を記録するための内部メモリとして機能する。

カードスロット１４１は、メモリカード１４０を着脱可能な接続手段である。カードスロット１４１は、メモリカード１４０を電気的及び機械的に接続可能である。また、カードスロット１４１は、メモリカード１２０を制御する機能を備えてもよい。

メモリカード１４０は、内部にフラッシュメモリ等の記録部を備えた外部メモリである。メモリカード１４０は、画像処理部１２２で処理される画像情報などのデータを記録可能である。

操作部１５０は、デジタルカメラ１００の外装に備わっている操作釦や操作ダイヤルの総称であり、使用者による操作を受け付ける。例えば図１や図２に示したレリーズ釦２０１や、ズームレバー２０２、電源釦２０３、中央釦２０４、十字釦２０５などがこれにあたる。操作部１５０は使用者による操作を受け付けると、コントローラ１３０に種々の動作指示信号を通知する。

レリーズ釦２０１は、半押し状態と全押し状態の二段階押下式釦である。レリーズ釦２０１が使用者により半押しされると、コントローラ１３０は、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）制御や、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）制御を実行し撮影条件を決定する。続いて、レリーズ釦２０１が、使用者により全押しされると、コントローラ１３０は、全押しのタイミングに撮像された画像情報を記録用画像としてメモリカード１４０等に記録する。

ズームレバー２０２は画角調節についての広角端と望遠端を有する中央位置自己復帰式のレバーである。ズームレバー２０２は、使用者により操作されるとコントローラ１３０にズームレンズ１１２を駆動するための動作指示信号を通知する。すなわち、ズームレバー２０２が広角端に操作されると、コントローラ１３０は、被写体を広角で捉えられるようにズームレンズ１１２を駆動する。同様に、ズームレバー２０１が望遠端に操作されると、コントローラ１３０は、被写体を望遠で捉えられるようにズームレンズ１１２を駆動する。

電源釦２０３は、デジタルカメラ１００を構成する各部への電力供給をＯＮ／ＯＦＦするための押下式釦である。電源ＯＦＦ時に電源釦２０３が使用者により押下されると、コントローラ１３０はデジタルカメラ１００を構成する各部に電力を供給し、起動させる。また、電源ＯＮ時に電源釦２０３が使用者により押下されると、コントローラ１３０は各部への電力供給を停止する。

中央釦２０４は、押下式釦である。デジタルカメラ１００が撮影モードあるいは再生モードにあるときに、中央釦２０４が使用者により押下されると、コントローラ１３０は液晶モニタ１２３にメニュー画面を表示する。メニュー画面は、撮影／再生のための各種条件を設定するための画面である。各種条件の設定項目が選択されているときに押下されると、中央釦２０４は決定釦としても機能する。

十字釦２０５は、上下左右方向に設けられた押下式釦である。使用者は、十字釦２０５のいずれかの方向を押下することにより、液晶モニタ１２３に表示される各種条件項目を選択することができる。

フラッシュ１６０は、キセノン管と、コンデンサと、昇圧回路と、発光トリガ回路などから構成される。昇圧回路は、コントローラ１３０からの制御信号に従って、コンデンサに高電圧を印加する。発光トリガ回路は、コントローラ１３０からの制御信号に従って、印加充電されたコンデンサの高電圧を放電させて、キセノン管内のキセノンガスを瞬間的に発光させる。発光トリガ回路は、コンデンサの高電圧を撮影と同期して放電させる。これにより、デジタルカメラ１００は、発光された光を受けた被写体を撮影することができる。すなわち、フラッシュ１１３が被写体に対して撮像時に瞬間的に発光することによって、被写体の明るさを補った撮影ができる。なお、フラッシュ１６０の発光には、プリ発光と本発光がある。プリ発光は、フラッシュ発光による被写体からの反射光量の度合（以下、反射レベルと称す）に基づいて被写体までの距離を判定し、判定結果に応じて撮影時のフラッシュ１１３の発光量を求めるための、撮影事前の発光である。本発光は、プリ発光により求められた発光量により、撮影のタイミングと同期して実行される発光である。

〔１−２．各構成要素の対応関係〕
ＣＣＤイメージセンサ１２０は、本発明の撮像部の一例である。光源推定部１８２は、本発明の制御値算出部の一例である。ＷＢ制御部１８３は、本発明のホワイトバランス調節部の一例である。色調節部１８４は、本発明の色調節部の一例である。ＢＭ積算回路１７０は本発明のブロックメモリデータ算出部の一例である。コントローラ１３０は、本発明の制御部の一例である。画像情報全体の色範囲は、本発明の第一の色範囲の一例である。水銀灯は、本発明の特定の光源の一例である。デジタルカメラ１００は、本発明の撮像装置の一例である。

〔２．色調節動作〕
以下、図６を用いて、デジタルカメラ１００の色調節動作を説明する。図６は、実施の形態１に係るデジタルカメラ１００の色調節動作を示すフローチャートである。

デジタルカメラ１００が撮影モードにあるとき、ＣＣＤイメージセンサ１２０は、被写体像を撮像して画像情報を生成する（Ｓ３０１）。コントローラ１３０は、ＣＣＤイメージセンサ１２０が生成した画像情報を、ＡＦＥ１２１において各種の処理が施された後、画像処理部１２２に出力する。続いて、コントローラ１３０は、画像処理部１２２に入力された画像情報から、上述のとおり、ＢＭ積算回路１７０にて、分割されたブロックのそれぞれのＢＭデータを生成する（Ｓ３０２）。コントローラ１３０は、生成された画像情報およびＢＭデータをＷＢ補正回路１８０に出力する。

コントローラ１３０は、分割されたブロックのそれぞれのＢＭデータをＷＢ補正回路１８０内の光源推定部１８２に出力する。光源推定部１８２は、入力されたＢＭデータに基づいて、各ＢＭデータに対するＷＢ制御値（ゲイン）をそれぞれ算出する。このとき、光源推定部１８２は、例えば、色範囲ごとに設定された重み付けに従って、ＧをＲで除算したり、ＧをＢで除算したりして、ＷＢ制御値をそれぞれ算出する。

図７は、分割されたＢＭごとに生成されたＷＢ制御値をＲ−Ｂ空間にそれぞれプロットしたイメージ図である。画像信号が縦１２×横１２に分割されている場合、ＢＭの総数は１４４個となるが、説明の便宜上、数個のみをプロットしたイメージ図としている。ＲおよびＢを、Ｇで正規化して示す。即ち、図７の縦軸はＧ／Ｒとして求めたＷＢ制御値を示し、横軸はＧ／Ｂとして求めたＷＢ制御値を示している。ここで、コントローラ１３０内のＲＯＭ（不図示）は、水銀灯色に対するＷＢ制御値（ゲイン）の範囲情報（以下、水銀灯色範囲を呼ぶことにする）を有している。例えば、図７の直線７０よりも右上の領域が水銀灯色に該当する。また、図７の実線の四角形で囲んだ範囲は、重み付けを行った場合の水銀灯色範囲を示している。コントローラ１３０は、水銀灯色範囲情報を参照することにより、この範囲内に含まれるＷＢ制御値を有するＢＭの数を把握することができる。コントローラ１３０は、生成されたＷＢ制御値において、水銀灯色範囲に含まれるＢＭ数情報を光源推定部１８２に通知する。これにより、光源推定部１８２は、水銀灯色範囲に含まれるＷＢ制御値の平均値、および色範囲全体でのＷＢ制御値の平均値を算出することができる（Ｓ３０３）。

続いて、光源推定部１８２は、水銀灯色範囲に含まれるＷＢ制御値の平均値と、色範囲全体でのＷＢ制御値の平均値とを比較し、ＷＢ制御値の平均値と色範囲全体でのＷＢ制御値の平均値との差ｄを算出する（Ｓ３０４）。次に、光源推定部１８２は、算出した平均値の差ｄ（絶対値）と、所定の閾値Ｄとを比較する（Ｓ３０５）。

図８は、水銀灯色範囲でのＷＢ制御値平均と、画像全体でのＷＢ制御値平均との差ｄが所定の閾値Ｄよりも大きい状態を示す。また、図９は、水銀灯色範囲でのＷＢ制御値平均と、画像全体でのＷＢ制御値平均との差ｄが所定の閾値Ｄよりも小さい状態を示す。図８の状態の場合と図９の状態の場合とで、後段のＷＢ調節にて使用するＷＢ制御値が異なる。図８に示すように、平均値の差ｄが閾値Ｄよりも大きいことは、撮像された画像情報において、水銀灯光源の存在による色の影響が少ないことを示す。この場合、光源推定部１８２は、画像全体の色範囲で算出したＷＢ制御値の平均値を、ＷＢ調節の際に使用するＷＢ制御値として採用する（Ｓ３０６）。ここで採用されたＷＢ制御値を、Ｒ、Ｇ、Ｂの順に（α、１、β）と、以下の説明において表記することにする。

一方、図９に示すように、平均値の差ｄが閾値Ｄよりも小さいことは、撮像された画像情報において、水銀灯光源の存在による色の影響が大きいことを示す。この場合、光源推定部１８２は、水銀灯色範囲で算出したＷＢ制御値の平均値を、ＷＢ調節の際に使用するＷＢ制御値として採用する（Ｓ３０８）。ここで採用されたＷＢ制御値を、Ｒ、Ｇ、Ｂの順に（α’、１、β’）と、以下の説明において表記することにする。光源推定部１８２は、採用したＷＢ制御値をＷＢ制御部１８３および色調節部１８４に通知する。なお、平均値の差ｄと閾値Ｄとが等しい場合は、画像全体の色範囲で算出したＷＢ制御値の平均値を、ＷＢ調節の際に使用するＷＢ制御値として採用するが、装置の設定によっては水銀灯色範囲で算出したＷＢ制御値の平均値を、ＷＢ調節の際に使用するＷＢ制御値として採用してもよい。

ＷＢ制御部１８３は、入力端子１８１から画像情報を取得し、光源推定部１８２から、採用されたＷＢ制御値を取得する。ＷＢ制御部１８３は、画像情報に対し、採用されたＷＢ制御値に基づきＷＢ調節を行う。即ち、ＷＢ制御部１８３は、画像情報のうちの、ある画素のＲ、Ｇ、Ｂの組合せ（Ｒ、Ｇ、Ｂ）に、ステップＳ３０６またはステップＳ３０８において採用されたＷＢ制御値を乗じる。画像全体の色範囲で算出したＷＢ制御値の平均値を、ＷＢ調節の際に使用するＷＢ制御値として採用した場合、得られるＷＢ調節後の色情報は（αＲ、Ｇ、βＢ）となる。一方、水銀灯色範囲で算出したＷＢ制御値の平均値を、ＷＢ調節の際に使用するＷＢ制御値として採用した場合、得られるＷＢ調節後の色情報は（α’Ｒ、Ｇ、β’Ｂ）となる。ＷＢ制御部１８３は、ＷＢ調節後の画像情報を色調節部１８４に供給する。

色調節部１８４は、ＷＢ制御部１８３からＷＢ調節後の画像情報を取得する。また、色調節部１８４は、光源推定部１８２から、採用したＷＢ制御値を取得する。色調節部１８４は、画像全体の色範囲と水銀灯の色範囲のいずれから算出したＷＢ制御値を採用したかに基づいて、ＷＢ調節後の画像情報の色を調節する。

画像全体の色範囲から算出したＷＢ制御値を使用して画像情報をＷＢ調節した場合、水銀灯光源の緑色が残った画像に仕上がる。この場合、色調節部１８４は、画像情報の色情報（αＲ、Ｇ、βＢ）から「緑色」を構成するＲ、Ｇ、Ｂの組合せの値を低めの値に調節する（Ｓ３０７）。例えば、１０〜２０％程度低い値に調節する。調節は１画素ごとに行うのが望ましい。色調節部１８４が「緑色」として認定するＲ、Ｇ、Ｂの値の取り得る範囲は予めＲＯＭ（不図示）に記憶されている。これにより、色調節部１８４は、画像に残った水銀灯光源の緑色を調節して、適切な色の画像を得ることが可能となる。

一方、水銀灯の色範囲から算出したＷＢ制御値を使用して画像情報をＷＢ調節した場合、水銀灯以外の光源の色が赤味を帯びた画像に仕上がる。この場合、色調節部１８４は、画像情報の色情報（α’Ｒ、Ｇ、β’Ｂ）から「マゼンタ」を構成するＲ、Ｇ、Ｂの組合せの値を低めの値に調節する（Ｓ３０９）。例えば、１０〜２０％程度低い値に調節する。調節は１画素ごとに行うのが望ましい。色調節部１８４が「マゼンタ」として認定するＲ、Ｇ、Ｂの値の取り得る範囲は予めＲＯＭ（不図示）に記憶されている。これにより、色調節部１８４は、画像の赤味を帯びた部分を調節して、適切な色の画像を得ることが可能となる。

〔３．まとめ〕
以上のように、実施の形態１に係るデジタルカメラ１００は、被写体像を撮像して画像情報を生成するＣＣＤイメージセンサ１２０と、画像情報のホワイトバランスを調節するための、ホワイトバランス制御値を算出する光源推定部１８２と、ホワイトバランス制御値に従って画像情報のホワイトバランスを調節するＷＢ制御部１８３と、ホワイトバランスが調節された後の画像情報に対して、ホワイトバランス制御値に対応する色を補正する色調節部１８４とを備える。これにより、デジタルカメラ１００は、ＣＣＤイメージセンサ１２０により生成された画像情報がホワイトバランス制御値に従ってホワイトバランスが調節された後、画像情報に対して、ホワイトバランス制御値に対応する色を補正する。従って、撮像した画像が適切な色の画像になるよう色調節することが可能なデジタルカメラ１００を提供することができる。

また、実施の形態１に係るデジタルカメラ１００において、第一の色範囲に含まれる画像情報の色情報に基づいて第一のホワイトバランス制御値を算出し、第二の色範囲に含まれる画像情報の色情報に基づいて第二のホワイトバランス制御値を算出するよう光源推定部１８２を制御するコントローラ１３０を更に備える。光源推定部１８２は、第一のホワイトバランス制御値と、第二のホワイトバランス制御値との比較結果に応じてホワイトバランスを調節するためのホワイトバランス制御値を決定する。これにより、デジタルカメラ１００は、第一の色範囲に含まれる画像情報の色情報に基づいて算出された第一のホワイトバランス制御値と、第二の色範囲に含まれる画像情報の色情報に基づいて算出された第二のホワイトバランス制御値との比較結果に応じてホワイトバランスを調節するためのホワイトバランス制御値を決定する。従って、第一の色範囲および第二の色範囲に含まれる画像情報のそれぞれの色情報に基づいて、適切なホワイトバランス制御値を算出可能なデジタルカメラ１００を提供することができる。

また、実施の形態１に係るデジタルカメラ１００において、第一の色範囲は、画像情報全体の色範囲であり、第二の色範囲は、特定の光源色を示す色範囲である。そして、色調節部１８４は、画像情報全体の色範囲に基づく第一のホワイトバランス制御値に従って画像情報がホワイトバランス調節されたときは、特定の光源色に対応する第一の色を補正する。色調節部１８４は、特定の光源色を示す色範囲に基づく第二のホワイトバランス制御値に従って画像情報がホワイトバランス調節されたときは特定の光源色に対応する第二の色を補正する。これにより、デジタルカメラ１００は、ホワイトバランス制御値を算出した基の色範囲に応じて、特定の光源色に対応したそれぞれの色を補正する。従って、ホワイトバランス制御値を算出した基の色範囲に応じて、特定の光源の存在により影響を受ける色を補正可能なデジタルカメラ１００を提供することができる。

また、実施の形態１に係るデジタルカメラ１００において、特定の光源は水銀灯であって、第一の色は緑色であり、第二の色はマゼンタである。これにより、水銀灯が含まれるような撮影画像であっても、適切に色を調節可能なデジタルカメラ１００を提供することができる。

〔２．他の実施の形態〕
本発明は、上記実施の形態に限定されず、種々の実施形態が考えられる。以下、本発明の他の実施の形態についてまとめて記載する。

上記実施の形態において、ＣＣＤイメージセンサ１２０を、撮像部の一例として説明したが、本発明はこれに限定されない。すなわち、ＣＭＯＳイメージセンサや、ＮＭＯＳイメージセンサなど他の撮像素子であっても本発明に適用可能である。また上記実施の形態において、色分離のためのフィルタ構成を、ＲＧＢの原色フィルタとしたが、ＣＭＹ等の補色フィルタでも良い。また、ＲＧＢそれぞれについて撮像素子を持つ３板式か、それ以上の方式でも良い。

上記実施の形態において、光源推定部１８２、ＷＢ制御部１８３、および色調節部１８４を、ＷＢ補正回路１８０を構成する回路の一部として説明したが本発明はこれに限定されない。すなわち、光源推定部１８２、ＷＢ制御部１８３、および色調節部１８４と同様の機能を、コントローラ１３０や画像処理部１２２が所定のプログラムを実行することにより実現するようにしてもよい。

上記実施の形態において、ＷＢ補正回路１８０では、ＷＢ制御部１８３にてＷＢ調節した後、画像情報を色調節部１８４に供給するとした。しかし、本発明においては、ＷＢ制御部１８３にてＷＢ調節した後に、他の処理を経由してから、画像情報を色調節部１８４に供給するようにしても同様の効果を奏する。

上記実施の形態において、光源推定部１８２は、画像全体の色範囲のＷＢ制御値平均を算出するようにしたが、本発明はこれに限定されない。即ち、画像全体の色範囲から、例えば色破綻の原因となる不要な色範囲を除外した範囲からＷＢ制御値平均を算出するようにしてもよい。また、上記実施の形態において、ＷＢ制御部１８３は、平均値の差ｄが、所定の閾値Ｄより小さいとき、水銀灯色範囲に含まれるＷＢ制御値の平均値を使用していたが、本発明はこれに限定されない。すなわち、平均値の差ｄが、所定の閾値Ｄより小さいとき、水銀灯色範囲のＷＢ制御値の平均値と、画像全体の色範囲のＷＢ制御値の平均値とに大差がないため、画像全体の色範囲のＷＢ制御値の平均値を使用するようにしてもよい。なお、この場合でも、図６のＳ３０９に示す処理を行うことで、画像の赤味を帯びた部分は調節され、適切な色の画像を得ることが可能となる。また、上記実施の形態において、ＷＢ制御値をＲ、Ｇ、Ｂの順に（α、１、β）と表していたが、Ｇの値で正規化せずに、（α、γ、β）としても良い。

また、上記実施の形態において、色調節部１８４が色調節する際、水銀灯色範囲のＷＢ制御値の平均値と、画像全体の色範囲のＷＢ制御値の平均値の差ｄに応じて、色調節部１８４で調整する程度を、線形的に変えても良い。すなわち、平均値の差ｄが、所定の閾値Ｄよりも十分に大きいときは、より多く「緑色」を調節し、所定の閾値Ｄよりやや大きいときは、より弱く「緑色」を調節するようにしてもよい。また同様に、平均値の差ｄが、所定の閾値Ｄより小さく、かつ０に近いときは、より多く「マゼンタ」を調節し、所定の閾値Ｄよりやや小さいときは、より弱く「マゼンタ」を調節するようにしてもよい。これにより、デジタルカメラ１００は、水銀灯のような特定の光源が存在している撮影画像であっても、その光源色の画像への影響度に応じて適切な色の画像になるように色調節することができる。

また、上記実施の形態のデジタルカメラ１００において、色調節部１８４が「緑色」や「マゼンタ」として認定するＲ、Ｇ、Ｂの値の取り得る範囲を予めＲＯＭに記憶させておくとしたが、本発明はこれに限定されない。すなわち、Ｒ、Ｇ、Ｂの色空間ではなく、Ｙ、Ｃｒ、Ｃｂの色空間や、ＣＩＥＬＡＢ色空間のＬ＊ａ＊ｂ＊によって、「緑色」や「マゼンタ」を認定するようにしてもよい。

また、上記実施の形態のデジタルカメラ１００において、一つの所定の閾値Ｄとの大小に応じて、「緑色」あるいは「マゼンタ」を調節するようにしたが、本発明はこれに限定されない。すなわち、所定の閾値Ｄとそれよりも大きい所定の閾値Ｄ’の２つ別の値を設定してもよい。このとき、水銀灯の色範囲のＷＢ制御値の平均値と、画像全体の色範囲のＷＢ制御値の平均値との差ｄが、所定の閾値Ｄよりも小さければ水銀灯の影響が大きいと判定し、ＷＢ調節後に「緑色」を調節する。また、差ｄが所定の閾値Ｄよりも大きい所定の閾値Ｄ’よりも大きければ水銀灯の影響が小さいと判定し、ＷＢ調節後に「マゼンタ」を調節するようにしてもよい。また、差ｄが所定の閾値Ｄと所定の閾値Ｄ’の間の値であるときは、差ｄの値が閾値Ｄと閾値Ｄ’のどちらに近いかに応じて、より弱く「緑色」を調節してもよいし、より弱く「マゼンタ」を調節してもよいし、色調節をしなくてもよい。

上記実施の形態では、水銀灯色範囲にプロットされるＢＭが存在する場合を説明した。一方、水銀灯色範囲にプロットされるＢＭがなく、水銀灯色範囲に対するＷＢ制御値が算出できないときは、水銀灯の色範囲のＷＢ制御値の平均値と、画像全体の色範囲のＷＢ制御値の平均値との差ｄに、所定の閾値Ｄの値を代入して、後段の色調節の演算をするようにすればよい。

上記実施の形態において、特定の光源の一例として水銀灯の場合を説明したが、本発明はこれに限定されない。すなわち、特定の光源として、画像中に昼光色蛍光灯、白熱灯またはＬＥＤ光源などの光源の色の影響が現れる場合であっても本発明を応用可能である。本発明は、単一のスペクトルを有する光の影響を受ける画像に対して特に好適である。単一スペクトル光源としては、水銀灯の他の一例として、ナトリウムランプが挙げられる。

ナトリウムランプの光が含まれる画像に対して色調節を行う場合、図６を参照して説明した水銀灯色範囲の代わりに、ナトリウムランプ色範囲が適用される。ナトリウムランプ色に対するＷＢ制御値の範囲は、図７に示す水銀灯色に対するＷＢ制御値の範囲と比較して、縦軸方向（Ｒゲイン方向）に１５程度小さく、横軸方向（Ｂゲイン方向）に５程度大きい位置となる。また、Ｓ３０７の処理では、画像情報の色情報（αＲ、Ｇ、βＢ）から「橙色」を構成するＲ、Ｇ、Ｂの組合せの値を低めの値に調節する。Ｓ３０９の処理では、画像情報の色情報（α’Ｒ、Ｇ、β’Ｂ）から「青色」を構成するＲ、Ｇ、Ｂの組合せの値を低めの値に調節する。これにより、適切な色の画像を得ることができる。

なお、上述した「緑色」と「マゼンタ」は互いに補色の関係にあり、「橙色」と「青色」も互いに補色の関係にある。このように、Ｓ３０６の処理の段階で強めに現れる特定の色（緑色、橙色等）と補色の関係にある色（マゼンタ、青色等）を弱める処理をＳ３０９で行うことにより、上述した特定の光源の影響を強く受ける画像に対して適切な色調節を行うことができる。

また、上記実施の形態において、ＢＭ積算回路１７０は、Ｒ光量、Ｇ光量、Ｂ光量それぞれの平均値を算出するとした。ここでいう平均値は、Ｒ光量、Ｇ光量、Ｂ光量の値を積算した結果値であってもよいし、Ｒ光量、Ｇ光量、Ｂ光量の値の合計を個数で割った結果値であってもよい。

また、外部メモリとしてメモリカード１４０を例示したが、外部メモリは他の様々な種類の半導体メモリであってもよく、またＨＤＤや光ディスク等であってもよい。

以上のように、本発明によれば、撮像した画像が適切な色の画像になるよう色調節することが可能な撮像装置を提供することができる。

本発明はデジタルカメラに限定されない。例えば、ムービーカメラやカメラ付き携帯電話など、撮像時にホワイトバランス調節を行う撮像装置に本発明は適用可能である。

１００ デジタルカメラ
１１１ フォーカスレンズ
１１２ ズームレンズ
１１３ 絞り
１１４ シャッタ
１２０ ＣＣＤイメージセンサ
１２１ ＡＦＥ（アナログ・フロント・エンド）
１２２ 画像処理部
１２３ 液晶モニタ
１２４ バッファメモリ
１３０ コントローラ
１４０ メモリカード
１４１ カードスロット
１４２ フラッシュメモリ
１５０ 操作部
１６０ フラッシュ
１７０ ＢＭ積算回路
１８０ ＷＢ補正回路
１８２ 光源推定部
１８３ ＷＢ制御部
１８４ 色調節部
２０１ レリーズ釦
２０２ ズームレバー
２０３ 電源釦
２０４ 中央釦
２０５ 十字釦

Claims (9)

1. 被写体像を撮像して画像情報を生成する撮像部と、
   前記画像情報のホワイトバランスを調節するための、ホワイトバランス制御値を算出する制御値算出部と、
   前記ホワイトバランス制御値に従って前記画像情報のホワイトバランスを調節するホワイトバランス調節部と、
   ホワイトバランスが調節された後の画像情報に対して、前記ホワイトバランス制御値に対応する色を補正する色調節部と、
   を備えた撮像装置。
2. 前記制御値算出部は、第一の色範囲に含まれる前記画像情報の色情報に基づいて第一のホワイトバランス制御値を算出し、第二の色範囲に含まれる前記画像情報の色情報に基づいて第二のホワイトバランス制御値を算出し、
   前記制御値算出部は、前記第一のホワイトバランス制御値と前記第二のホワイトバランス制御値との比較結果に応じて、前記画像情報のホワイトバランスを調節するための前記ホワイトバランス制御値を決定する、請求項１に記載の撮像装置。
3. 前記第一の色範囲は、前記画像情報全体の色範囲であり、
   前記第二の色範囲は、特定の光源色を示す色範囲であって、
   前記色調節部は、前記第一のホワイトバランス制御値に従って前記画像情報がホワイトバランス調節されたときは、前記特定の光源色に対応する第一の色を補正し、
   前記色調節部は、前記第二のホワイトバランス制御値に従って前記画像情報がホワイトバランス調節されたときは、前記特定の光源色に対応する第二の色を補正する、請求項２に記載の撮像装置。
4. 前記特定の光源は、水銀灯であり、
   前記第一の色は緑色であり、前記第二の色はマゼンタである、請求項３に記載の撮像装置。
5. 前記特定の光源は、ナトリウムランプであり、
   前記第一の色は橙色であり、前記第二の色は青色である、請求項３に記載の撮像装置。
6. 前記第一の色と前記第二の色とは補色の関係にある、請求項３に記載の撮像装置。
7. 前記画像情報を複数のブロックに分割し、前記ブロックごとの原色の光量の平均値を示すブロックメモリデータを算出するブロックメモリデータ算出部をさらに備え、
   前記制御値算出部は、前記第一の色範囲に対応する前記ブロックメモリデータに基づいて前記第一のホワイトバランス制御値を算出し、前記第二の色範囲に対応する前記ブロックメモリデータに基づいて前記第二のホワイトバランス制御値を算出する、請求項２に記載の撮像装置。
8. 前記制御値算出部は、前記第一のホワイトバランス制御値と前記第二のホワイトバランス制御値との差を算出し、
   前記差と所定のしきい値との大小関係に応じて、前記第一および第二のホワイトバランス制御値のうちの一方を、前記画像情報のホワイトバランスを調節するための前記ホワイトバランス制御値として採用する、請求項２に記載の撮像装置。
9. 入力された画像情報のホワイトバランスを調節するための、ホワイトバランス制御値を算出するステップと、
   前記ホワイトバランス制御値に従って前記画像情報のホワイトバランスを調節するステップと、
   ホワイトバランスが調節された後の画像情報に対して、前記ホワイトバランス制御値に対応する色を補正するステップと、
   を包含する画像処理方法。

Images