JP2011087136A - 撮像装置および撮像システム - Google Patents

Abstract

【課題】光源の種類及び色温度を精度良く判別するオートホワイトバランス機能が備わった撮像装置及びその撮像装置を用いた撮像システムを提供する。
【解決手段】被写体からの赤外線を遮断し、可視光から成る光学像を生成する第１光学系１と、前記光学像を光電変換して色毎の撮像信号を生成するイメージセンサ３と、前記撮像信号を前記色毎にゲイン調整して調整撮像信号を生成する調整部４と、前記調整撮像信号に基づいて前記被写体の中から白色候補領域の色度分布を生成する色度部５と、前記被写体の少なくとも一部分からの光線を所定の光学的撮影距離を有して集光し、集光光を生成する第２光学系６と、前記被写体を照明する光源の種類及び色温度範囲を判別する判別部８とを備え、前記判別部８は、前記色度分布と前記集光光の波長特性とに基づいて色毎ゲイン調整値を生成し、該調整値を前記調整部４に対して出力する。
【選択図】図１

Description

本発明は、光源判別によるオートホワイトバランス機能を備える撮像装置またはその撮像装置を用いた撮像システムに関するものである。

被写体を撮像する際に、被写体を照明する光源を判別して、その判別結果に基づいてホワイトバランスを施す機能が知られている。

例えば、映像表示機器周辺の色信号を検出し、検出された色信号と照明光の種類を示す対応データとを参照して照明環境を判断し、判断された照明環境に従って映像データを自動に補正して最適な視聴の際の画質を確保する方法が知られている（特許文献１を参照）。

しかしながら、前記の照明光の分類方法では、機器周辺の色信号から照明環境を判断しているので、そのまま撮像装置の光源判別に応用することができない場合も多い。その理由は、撮像装置周辺の光源と、撮像している被写体の光源と、が同一の光源及び色温度であるとは限らないからである。

例えば、撮像装置が屋内の蛍光灯光源下にあって、被写体は屋外の太陽光光源下にあるような、撮像装置周辺の光源と被写体の光源とが異なる場合や、或いは、撮像装置が日陰にあって、被写体は日向にあるような、撮像装置周辺と被写体との光源が同じであったとしても色温度が異なる場合などに於いては、撮像装置周辺の色信号から被写体の光源判別をすることはできないという第1の課題がある。

また、可視光測光値と赤外測光値に基づき光源が人工光源と判断した場合はその人工光の色かぶりを補正するようなホワイトバランス補正可能なカメラが知られている（特許文献２を参照）。

前記ホワイトバランス補正可能なカメラでは、可視光及び赤外光を撮像装置周辺ではなく被写体周辺に近い領域の照明環境を測光する例も開示されている。しかしながら、人工光(蛍光灯）検出手段は、人工光と自然光との割合に基づいた光源判別であるので、自然光（黒体軌跡上）と判別された場合の色温度の誤判別は防ぐことができない。よって例えば、低色温度の黒体（夕焼け空など）を光源とした淡いブルー色である被写体を、昼光色の黒体（昼の晴天日向など）を光源とした白色被写体であると誤判別してしまうという第２の課題がある。

特開２００２−３２３３８２号公報 特開２００２−３７４５３９号公報

本発明は、前記課題を鑑みて、光源の種類及び色温度を精度良く判別するオートホワイトバランス機能が備わった撮像装置及びその撮像装置を用いた撮像システムを提供することを目的とする。また、撮像装置と被写体とが異なる光源下にある場合の誤判別、及び、被写体の光源が黒体軌跡上と判別された場合の色温度の誤判別を軽減する撮像装置を提供することを目的とする。

前記目的を達成する請求項１に係る発明は、被写体からの赤外線を遮断し、可視光から成る光学像を生成する第１光学系と、前記光学像を光電変換して色毎の撮像信号を生成するイメージセンサと、前記撮像信号を前記色毎にゲイン調整して調整撮像信号を生成する調整部と、前記調整撮像信号に基づいて前記被写体の中から白色候補領域の色度分布を生成する色度部と、前記被写体の少なくとも一部分からの光線を所定の光学的撮影距離を有して集光し、集光光を生成する第２光学系と、前記被写体を照明する光源の種類及び色温度範囲を判別する判別部とを備え、前記判別部は、前記色度分布と前記集光光の波長特性とに基づいて色毎ゲイン調整値を生成し、該調整値を前記調整部に対して出力することを特徴とするものである。

請求項２に係る発明は、請求項１に記載の撮像装置に於いて、前記集光光の近赤外線量を測定する近赤外線センサと、前記集光光の紫外線量を測定する紫外線センサとを前記第２光学系の集光面に備え、前記判別部は、前記色度分布及び前記近赤外線量及び前記紫外線量に基づいて前記光源の種類及び前記色温度範囲を判別、或いは、前記白色候補領域の面積が所定未満であることを判別することを特徴とするものである。

請求項３に係る発明は、請求項２に記載の撮像装置に於いて、前記判別部は、前記色度分布が色温度の低い黒体の軌跡周辺に分布し、かつ、前記近赤外線量が所定のレベル以上で、かつ、前記紫外線量が所定のレベル以下であった場合、前記光源が低色温度黒体であると判別し、前記色度分布が昼光色の黒体の軌跡周辺に分布し、かつ、前記近赤外線量が所定のレベル以上で、かつ、前記紫外線量が所定のレベル以上であった場合、前記光源が昼光色黒体であると判別し、前記色度分布が色温度の高い黒体の軌跡周辺に分布し、かつ、前記近赤外線量が所定のレベル以下で、かつ、前記紫外線量が所定のレベル以下であった場合、前記光源が高色温度黒体であると判別し、前記色度分布が蛍光灯の色度分布周辺に分布し、かつ、前記近赤外線量が所定のレベル以下で、かつ、前記紫外線量が所定のレベル以下であった場合、前記光源が蛍光灯であると判別することを特徴とするものである。

請求項４に係る発明は、請求項３に記載の撮像装置に於いて、前記判別部は、前記光源が前記低色温度黒体、前記昼光色黒体、前記高色温度黒体、及び、前記蛍光灯のいずれにも判別されなかった場合、前記白色候補領域の面積が所定未満であることを判別することを特徴とするものである。

請求項５に係る発明は、請求項２に記載の撮像装置に於いて、前記判別部は、前記白色候補領域の面積が所定未満であることが判別された場合、前記色毎の調整撮像信号の明度積分値が互いに略等しくなるように前記色毎ゲイン調整値を生成することを特徴とするものである。

請求項６に係る発明は、請求項１に記載の撮像装置に於いて、前記色度部は、前記調整撮像信号の相対的な輝度レベルが所定の範囲にあって、かつ、該所定輝度レベルが所定の面積以上である領域を前記白色候補領域とすることを特徴とするものである。

請求項７に係る発明は、請求項１〜６に記載の撮像装置を用いた撮像システムであって、前記調整撮像信号に画像処理を施して画像信号を生成する画像処理部と、前記画像信号を記憶し、該記憶画像信号を再生する記憶再生部と、前記画像信号を表示する表示部とを更に備えることを特徴とするものである。

本発明によれば、光源の種類及び色温度を精度良く判別するホワイトバランス機能を得る効果がある。また、撮像装置と被写体とが異なる光源下にある場合の光源の種類及び色温度の誤判別を軽減させる効果がある。更に、被写体の光源が黒体軌跡上と判別された場合の色温度の誤判別を軽減させる効果がある。

本発明の第１の実施形態による撮像装置のブロック図である。 カラーバーチャートの輝度を表す波形モニタの表示画面である。 ＣＩＥｘｙ色度図に黒体放射軌跡を示した図である。 太陽光源及び白熱灯下に於ける光線の相対強度を示した分光特性のグラフである。 太陽光源及び蛍光灯下及び白色ＬＥＤ灯下に於ける光線の相対強度を示した分光特性のグラフである。 夕日または白熱灯を光源とした８９．９％ホワイトの被写体に於ける、イメージセンサ及びセンサの相対感度を示したグラフである。 蛍光灯を光源としたクラフト色ダンボールの被写体に於ける、イメージセンサ及びセンサの相対感度を示したグラフである。 晴天昼光を光源としたグリーン色票の被写体に於ける、イメージセンサ及びセンサの相対感度を示したグラフである。 蛍光灯を光源とした８９．９％ホワイトの被写体に於ける、イメージセンサ及びセンサの相対感度を示したグラフである。 晴天昼光を光源とした１０．０％グレーの被写体に於ける、イメージセンサ及びセンサの相対感度を示したグラフである。 夕日または白熱灯を光源としたシアン色票の被写体に於ける、イメージセンサ及びセンサの相対感度を示したグラフである。 晴天昼光を光源としたシアン色票の被写体に於ける、イメージセンサ及びセンサの相対感度を示したグラフである。 白色ＬＥＤを光源とした８９．９％ホワイトの被写体に於ける、イメージセンサ及びセンサの相対感度を示したグラフである。 本発明の実施形態による光源判別方法のフローチャートである。 本発明の実施形態による撮像装置の利用が好適な状況を説明する図である。 本発明の第２の実施形態による撮像装置のブロック図である。

以下、添付図面を参照しながら本発明を詳細に説明する。

（第１実施形態）
図1は、本発明の第１の実施形態による撮像装置のブロック図であり、被写体から光学像を生成して撮像し、ホワイトバランス調整を施して調整撮像信号を出力するまでを図示している。調節撮像信号の出力後は、従来技術と同様に、画像処理を施して画像信号を生成し、その画像信号の記憶及び再生、表示、画像圧縮などを実施することが可能である。

図１のブロック図に示されるように、第１の実施形態による撮像装置は、被写体から光学像を生成する第１光学系１と、被写体からの赤外線を遮断する赤外線カットフィルタ２と、光学像を光電変換して色毎の撮像信号を生成するイメージセンサ３と、撮像信号を色毎にゲイン調整して調整撮像信号を生成する調整部４と、調整撮像信号に基づいて被写体の中から白色被写体の候補となる領域の色度分布を生成する色度部５と、被写体の少なくとも一部分からの光線を所定の光学的撮影距離を有して集光し、集光光を生成する第２光学系６と、集光光の波長特性を検出するセンサ７と、被写体を照明する光源の種類及び色温度範囲を判別する判別部８とを備える。

第１光学系１は、被写体を撮像する際のフォーカス、ズーム、絞り、ＮＤフィルタ、光学ローパスフィルタ等の光学部材を備えたものであって、この第1光学系１によって生成される光学像をイメージセンサ３の撮像面に結像させるものである。イメージセンサ３は、例えば、ＣＣＤ、ＭＯＳ型センサ、アモルファスセンサ等を用いることができ、分光プリズムやカラーフィルタ等を用いて色毎、例えば、Ｒｃｈ（レッドチャンネル）、Ｇｃｈ（グリーンチャンネル）、Ｂｃｈ（ブルーチャンネル）の撮像信号を生成する。また、イメージセンサ３の前段に赤外線カットフィルタ２を備え、この赤外線カットフィルタ２は被写体からの赤外線を遮断して可視光を透過させる。

第２光学系６は、被写体からの光線をセンサ７の受光面上に集光させる集光レンズである。すなわち、第1光学系１と第２光学系６とは、ほぼ同一方向に光軸をむけて被写体の少なくとも一部分を光学的に共有する構成をとる。ここで、第２光学系６は、光学的撮影距離が１ｍから５００ｍとなるようなパンフォーカス設計にする。また、第２光学系６は、センサ７の受光面上に光学像を結像させるものではなくて、像を結ばないように集光させるものである。よって、図１に示される構成では、第２光学系６とセンサ７との間に拡散板９を挿入して像を拡散させる構成としている。あるいは別構成として、第２光学系６のバックフォーカスの位置からずらすことで、センサ７の受光面上にピンボケ像を集光させて、拡散板９を省略する構成としてもよい。

このようにして、センサ７は、第２光学系６の後段に配置され、集光光の近赤外線量及び紫外線量を測定するものである。ここで、センサ７は近赤外線量及び紫外線量を一個体で検出するものでもよく、光線分離等によって光線分離した光路上に、近赤外線センサと紫外線センサとを別個に備えたものとすることもできる。センサ７の検出波長は、例えば、紫外線検出として３００ｎｍ以上４００ｎｍ以下で、近赤外線検出として７００ｎｍ以上８００ｎｍ以下である。

調整部４は、撮像信号のホワイトバランスを調整して調整撮像信号を生成する。すなわち、色毎の撮像信号を色毎にゲイン調整する。ここで、Ｒｃｈ、Ｇｃｈ、Ｂｃｈ信号のそれぞれを独立にゲイン調整してもよく、色差信号など（Ｒ−Ｙ信号及びＢ−Ｙ信号、Ｒ−Ｇ信号及びＢ−Ｇ信号、またはＲ／Ｇ信号及びＢ／Ｇ信号など）を独立にゲイン調整するようにしてもよい。

調整部４からの出力である調整撮像信号は、画像処理部（図示なし）に出力されると共に、色度部５にも出力される。色度部５は、この調整撮像信号に基づいて被写体の中から白色被写体の候補となる領域を抽出し、その領域の色度分布を生成する。

前述した色度部５に於ける白色候補領域の抽出は、輝度レベルに基づいた１次抽出、色度分布の照合に基づいた２次抽出、抽出画素の面積に基づいた３次抽出がある。

先ず、輝度レベルに基づいた１次抽出は、高輝度レベルに相当する画素の抽出であり、白色被写体は彩色のある被写体に比べて相対的に輝度レベルが高い（反射率が高い）ことが統計的に多いということを利用した白色被写体抽出方法の一つである。

例えば、図２に示されるカラーバーチャートの輝度を表す波形モニタの表示画面に示されるように、カラーバーチャートの白色領域（図２のＷ）は他の領域（図２のＹｅ，Ｃｙ，Ｇ，Ｍｇ，Ｒ，Ｂ）よりも輝度レベルが高い。よって、輝度レベルの閾値を設定することにより、白色被写体の候補となる画素の抽出ができる。

但し、この輝度レベルの閾値はイメージセンサ３の飽和レベル付近を避けて設定する必要がある。そのため、イメージセンサ３の性能によっては、高輝度レベルの抽出というよりは、中輝度レベルの抽出となるように閾値を設定する場合もある。

尚、この輝度レベル（輝度信号Ｙ）は、一般的に、Ｒｃｈ、Ｇｃｈ、Ｂｃｈ信号をマトリクス演算して算出されるが、簡易的には、輝度信号Ｙの代わりにＧｃｈ信号のみを用いてもよい。

次に、色度分布の照合に基づいた２次抽出では、前述した１次抽出によって抽出された画素についてそれぞれ色度が算出される。ここで、ＣＩＥｘｙ色度図に黒体放射軌跡を示した図３を参照すれば、これらの色度が黒体放射の軌跡上に分布しているのか、または、蛍光灯の色度範囲に分布しているのかの照合が為される。

ここで、１次抽出された画素の中から、黒体軌跡上または蛍光灯色度範囲の色度分布と照合しない画素については、輝度レベルが高くても彩色がある被写体の画素であると判別されて、この２次抽出に於いて白色候補画素の候補から外される。

更に、ノイズ（オプチカルショット、暗電流、固定パターン、画素欠陥など）の影響を軽減させるために、抽出画素群の面積に基づいた３次抽出を施す。この３次抽出は、２次抽出された白色候補画素が連なって所定の面積以上を形成することを条件とした画素抽出のことである。そして、３次抽出によって得られた複数の白色候補画素が最終的な白色候補領域と成る。

色度部５は、このようにして白色候補領域を抽出し、この白色候補領域の色度分布を判別部８に出力する。

判別部８は、被写体を照明する光源の種類及び色温度範囲を判別するものである。また、判別部８は、色度部５から出力される色度分布と、センサ７から出力される集光光の波長特性とに基づいて色毎のゲイン調整値を生成する。この集光光の波長特性とは、例えば、紫外線検出による紫外線量と、近赤外線検出による近赤外線量とのことである。ここで生成されたゲイン調整値は調整部４に対して出力される。尚、判別部８の詳細については、図７光源判別方法のフローチャートを参照しながら後述する。

ここで、従来方式の撮像装置が光源の種類及び色温度を誤判別する理由について、及び、本発明の実施形態によって誤判別を軽減させることができる理由について、図４〜図６を参照しながら詳細に説明する。

図４は、太陽光源及び白熱灯下に於ける光線の相対強度を示した分光特性のグラフである。このグラフは、３００〜４００ｎｍの波長帯域から成る紫外線帯域と、４００〜７００ｎｍの波長帯域から成る可視光帯域と、７００〜８００ｎｍの波長帯域から成る近赤外線帯域とで構成される。

そして、晴天昼光を光源とした１８．０％グレーの被写体、曇天または日陰を光源とした８９．９％ホワイトの被写体、夕日または白熱灯を光源とした８９．９％ホワイトの被写体に於ける光線の相対強度をそれぞれ示している。

図５は、太陽光源及び蛍光灯下及び白色ＬＥＤ灯下に於ける光線の相対強度を示した分光特性のグラフである。このグラフは、図４と同様に、紫外線帯域と可視光帯域と近赤外線帯域とで構成される。

そして、晴天昼光を光源とした１８．０％グレーの被写体、白色蛍光灯を光源とした８９．９％ホワイトの被写体、白色ＬＥＤを光源とした８９．９％ホワイトの被写体に於ける光線の相対強度をそれぞれ示している。

図６は、太陽光源及び白熱灯下及び蛍光灯下及び白色ＬＥＤ灯下に於けるイメージセンサ３及びセンサ７の相対感度を示したグラフである。

図６ａは、夕日または白熱灯を光源とした８９．９％ホワイトの被写体、図６ｂは、蛍光灯を光源としたクラフト色ダンボールの被写体、図６ｃは、晴天昼光を光源としたグリーン色票の被写体、図６ｄは、蛍光灯を光源とした８９．９％ホワイトの被写体、図６ｅは、晴天昼光を光源とした１０．０％グレーの被写体、図６ｆは、夕日または白熱灯を光源としたシアン色票の被写体、図６ｇは、晴天昼光を光源としたシアン色票の被写体、図６ｈは、白色ＬＥＤを光源とした８９．９％ホワイトの被写体についてのグラフである。

そして、図６ａ〜図６ｈのそれぞれの被写体について、イメージセンサ３によるＲｃｈ、Ｇｃｈ、Ｂｃｈ、及び、センサ７によるＵＶｃｈ（紫外線チャンネル）、ＩＲｃｈ(近赤外線チャンネル)の相対感度が示されている。

先ず、図６ａの夕日または白熱灯（８９．９％ホワイト）と図６ｂの蛍光灯（クラフト色ダンボール）との関係が光源の種類の誤判別を招く理由について説明する。

図６ａのグラフによれば、Ｂｃｈの相対感度が低いという特性がある。その理由は、図４の夕日または白熱灯（８９．９％ホワイト）の分光特性について着目すれば、４００〜５００ｎｍの波長帯域に光線の相対強度が小さいからである。

また、図６ｂのグラフに於いても、図６ａと同様にＢｃｈの相対感度が低い。図５白色蛍光灯（８９．９％ホワイト）の分光特性について着目すれば、その光線の相対強度は、４０５ｎｍ付近と、４３５ｎｍ付近と、５４５ｎｍ付近と、５７５ｎｍ付近とに、それぞれピーク状のスペクトラムがある。ここで、クラフト色ダンボールは５５０〜６５０ｎｍを中心とした波長帯域を主成分に反射する被写体であって、白色蛍光灯の５７５ｎｍ付近が主に反射されることになるので、４００〜５００ｎｍの波長帯域に光線の相対強度が小さくなるのである。

このように、図６ａと図６ｂとのグラフは、Ｂｃｈの相対感度が低いという特性に於いて共通しており、これらを色度に変換して色度図上に表色すると、どちらも図３で示される電球の座標に近傍して分布することになる。このことが光源の種類の誤判別を招く理由となっている。

しかしながら、図６ａと図６ｂとについて、ＩＲｃｈについて比較するのならば、図６ａではＩＲｃｈに所定レベル以上の感度を有するのに対して、図６ｂではＩＲｃｈに殆ど感度を有さない。したがって、ＩＲｃｈの感度が所定レベル以上であるかどうかを判定させれば光源の種類の誤判別を軽減させることができるのである。

次に、図６ｃの晴天昼光（グリーン色票）と図６ｄの蛍光灯（８９．９％ホワイト）との関係が光源の種類の誤判別を招く理由について説明する。

図６ｃのグラフによれば、Ｇｃｈの相対感度がＲｃｈとＢｃｈとに比べて３倍以上高いという特性がある。図５の晴天昼光（１８．０％グレー）の分光特性について着目すれば、光線の相対強度が４００〜７００ｎｍの可視光波長帯域に対して広帯域にあることが示されている。ここで、グリーン色票は５５０ｎｍ付近の波長を主成分に反射する被写体であるので、この波長に対して光線の相対強度が大きくなるのである。

また、図６ｄのグラフに於いても、図６ｃと同様にＧｃｈの相対感度がＲｃｈとＢｃｈとに比べて３倍以上高い。図５の白色蛍光灯（８９．９％ホワイト）の分光特性について着目すれば、５４５ｎｍ付近のピーク状のスペクトラムが突出しているので、この波長に対して光線の相対強度が大きくなるのである。

このように、図６ｃと図６ｄとのグラフは、Ｇｃｈの相対感度がＲｃｈとＢｃｈとに比べて３倍以上高いという特性に於いて共通しており、これらを色度に変換して色度図上に表色すると、どちらも図３の破線で示される蛍光灯の座標群に分布することになる。このことが光源の種類の誤判別を招く理由となっている。

しかしながら、図６ｃと図６ｄとについて、ＩＲｃｈ及びＵＶｃｈについて比較するのならば、図６ｃではＩＲｃｈ及びＵＶｃｈに所定レベル以上の感度を有するのに対して、図６ｄではＩＲｃｈ及びＵＶｃｈに殆ど感度を有さない。したがって、ＩＲｃｈ及びＵＶｃｈの感度が所定レベル以上であるかどうかを判定させれば光源の種類の誤判別を軽減させることができるのである。

次に、図６ｅの晴天昼光（１０．０％グレー）と図６ｆの夕日または白熱灯（シアン色票）との関係が光源の種類の誤判別を招く理由について説明する。

図６ｅのグラフによれば、Ｇｃｈの相対感度がＲｃｈとＢｃｈとに比べて２倍以上高いという特性がある。図４の晴天昼光（１８．０％グレー）の分光特性について着目すれば、光線の相対強度が４００〜７００ｎｍの可視光波長帯域に対して広帯域にあることが示されているが、一方で、イメージセンサ３の分光感度特性は、Ｇｃｈの感度がＲｃｈとＢｃｈとに比べて約２倍高い。故に、図６ｅのような相対感度特性となるのである。

また、図６ｆのグラフに於いても、図６ｅと同様に、Ｇｃｈの相対感度がＲｃｈとＢｃｈとに比べて２倍以上高い。図４の夕日または白熱灯（８９．９％ホワイト）の分光特性について着目すれば、４００〜５００ｎｍの波長帯域に光線の相対強度が小さいことが示されている。ここで、シアン色票は６００〜７００ｎｍの波長帯域をあまり反射しない被写体であるので、その結果、図６ｆのような相対感度特性となるのである。

このように、図６ｅと図６ｆとのグラフは、Ｇｃｈの相対感度がＲｃｈとＢｃｈとに比べて２倍以上高いという特性に於いて共通しており、これらを色度に変換して色度図上に表色すると、どちらも図３で示される昼光の座標付近に分布することになる。このことが光源の種類の誤判別を招く理由となっている。

しかしながら、図６ｅと図６ｆとについて、ＩＲｃｈ及びＵＶｃｈについて比較するのならば、図６ｅではＩＲｃｈ及びＵＶｃｈに所定レベル以上の感度を有するのに対して、図６ｆではＩＲｃｈに所定レベル以上の感度を有するものの、ＵＶｃｈには殆ど感度を有さない。したがってこの場合は、ＵＶｃｈの感度が所定レベル以上であるかどうかを判定させれば光源の種類の誤判別を軽減させることができるのである。

次に、図６ｇの晴天昼光（シアン色票）と図６ｈの白色ＬＥＤ（８９．９％ホワイト）との関係が光源の種類の誤判別を招く理由について説明する。

図６ｇのグラフによれば、Ｒｃｈの相対感度がＧｃｈとＢｃｈとに比べて低いという特性がある。その理由は、図５の晴天昼光（１８．０％グレー）の分光特性について着目すれば、光線の相対強度が４００〜７００ｎｍの可視光波長帯域に対して広帯域にあって、かつ、シアン色票が６００〜７００ｎｍの波長帯域をあまり反射しない被写体であるからである。

また、図６ｈのグラフに於いても、図６ｇと同様に、Ｒｃｈの相対感度がＧｃｈとＢｃｈとに比べて低い。図５の白色ＬＥＤ（８９．９％ホワイト）の分光特性について着目すれば、その光線の相対強度は、４６５ｎｍ付近に丸まったピーク状のスペクトラム帯域があって、そのスペクトラム帯域よりも長波長側に６００ｎｍの帯域まで小高い丘状の相対強度があるが、６００ｎｍの波長あたりから減衰しているからである。

このように、図６ｇと図６ｈとのグラフは、Ｒｃｈの相対感度がＧｃｈとＢｃｈとに比べて低いという特性に於いて共通しており、これらを色度に変換して色度図上に表色すると、どちらも図３で示される６５００〜１００００Ｋの座標付近に分布することになる。このことが光源の種類の誤判別を招く理由となっている。

しかしながら、図６ｇと図６ｈとについて、ＩＲｃｈ及びＵＶｃｈについて比較するのならば、図６ｇではＩＲｃｈ及びＵＶｃｈに所定レベル以上の感度を有するのに対して、図６ｈではＩＲｃｈ及びＵＶｃｈに殆ど感度を有さない。したがって、ＩＲｃｈ及びＵＶｃｈの感度が所定レベル以上であるかどうかを判定させれば光源の種類の誤判別を軽減させることができるのである。

次に、本発明の実施形態による光源の種類及び色温度の判別方法の詳細を、フローチャート（図７）を参照して説明する。以下ではとくに、判別部８ならびに色度部５及びセンサ７によって判別方法を実行するものとして説明を行う。

本判別方法は、スタートの後、近赤外線量測定を行う（Ｓ１）。この近赤外線量測定には、図１に関連して説明したセンサ７を用いることができ、例えば、その検出範囲は、７００ｎｍ以上８００ｎｍ以下とすることができる。

次に、紫外線量測定を行う（Ｓ２）。この紫外線量測定にも、図１に関連して説明したセンサ７を用いることができ、例えば、その検出範囲は３００ｎｍ以上４００ｎｍ以下とすることができる。

次に、色度部５によって、白色候補領域の抽出を行う（Ｓ３）。すなわち、前述した輝度レベルに基づいた１次抽出、色度分布の照合に基づいた２次抽出、抽出画素群の面積に基づいた３次抽出によって、被写体の中からホワイトバランスを取るべき白色被写体の候補となる領域を抽出する。

また、色度部５によって、前記白色候補領域の色度分布を生成する（Ｓ４）。この色度分布は、例えば、図３ＣＩＥｘｙ色度図に黒体放射軌跡を示した図面上に展開される複数の色度プロット群となる。

前記の手順の後、近赤外線量、紫外線量、及び色度分布から、判別部８によって光源の種類及び色温度の判別を行う。そのために本判別方法では、まず近赤外線のレベルが所定レベル以上であるか否かを判定する（Ｓ５）。

ステップＳ５にて、近赤外線量が所定レベル以上であると判定された場合、紫外線量が所定レベル以上であるか否かを判定する（Ｓ６）。

ステップＳ６にて、紫外線量が所定レベル以上ではないと判定された場合、色度分布が低色温度黒体（例えば、図３で示される４５００〜２５００Ｋ）の放射軌跡近傍に分布しているか否かを判定する（Ｓ７）。

ステップＳ７にて、色度分布が低色温度黒体軌跡の近傍に分布していると判定された場合、ステップＳ３にて抽出された白色候補領域の中から低色温度黒体の軌跡の近傍にある領域を対象にして、光源が低色温度黒体である場合に適したホワイトバランス調節を施すことができる（Ｓ８）。

また、ステップＳ６にて、紫外線量が所定レベル以上であると判定された場合は、色度分布が昼光色黒体（例えば、図３で示される４５００〜６５００Ｋ）の放射軌跡近傍に分布しているか否かを判定する（Ｓ９）。

ステップＳ９にて、色度分布が昼光色黒体軌跡の近傍に分布していると判定された場合、ステップＳ３にて抽出された白色候補領域の中から昼光色黒体の軌跡の近傍にある領域を対象にして、光源が昼光色黒体である場合に適したホワイトバランス調節を施すことができる（Ｓ１０）。

また、ステップＳ７にて、色度分布が低色温度黒体軌跡の近傍に分布していないと判定した場合、ステップＳ３にて抽出された白色候補領域は白色被写体ではないと判別する（Ｓ１２）。すなわち、被写体の中にホワイトバランス調節をすべき白色領域がないか、或いは、少ないと判断する。この判断を少白色判別とする。

ここで、少白色判別と判断された場合は、白色候補領域の抽出によるホワイトバランス調整をせずに、各色毎（Ｒｃｈ，Ｇｃｈ，Ｂｃｈ）の調整撮像信号の信号レベルをそれぞれ積分して、その積分値がΣＲ＝ΣＧ＝ΣＢとなるような、グレーワールド制御によるホワイトバランスを施すようにする。

ステップＳ５の説明に戻り、このステップＳ５で近赤外線量が所定レベル以上ではないと判定された場合、紫外線量が所定レベル以上であるか否かを判定する（Ｓ１１）。

ステップＳ１１にて、紫外線量が所定レベル以上であると判定された場合、前述した少白色判別（Ｓ１２）とする。

ステップＳ１１にて、紫外線量が所定レベル以上ではないと判定された場合、色度分布が高色温度黒体（例えば、図３で示される６５００〜１００００Ｋ）の放射軌跡近傍に分布しているか否か、または、白色ＬＥＤ（図示なし）の色度範囲に分布しているか否かを判定する（Ｓ１３）。尚、本実施形態に於いては、高色温度黒体の放射軌跡と、白色ＬＥＤの色度範囲とは、同一の分布形態として取り扱っている。

ステップＳ１３にて、色度分布が高色温度黒体軌跡の近傍、または、白色ＬＥＤの色度範囲に分布していると判定された場合、ステップＳ３にて抽出された白色候補領域の中から高色温度黒体の軌跡の近傍にある領域を対象にして、光源が高色温度黒体である場合に適したホワイトバランス調節を施すことができる（Ｓ１４）。

ステップＳ１３にて、色度分布が高色温度黒体軌跡の近傍に分布していると判定されなかった場合、色度分布が蛍光灯の色度範囲に分布しているか否かを判定する（Ｓ１５）。

ステップＳ１５にて、色度分布が蛍光灯の色度範囲に分布していると判定された場合、ステップＳ３にて抽出された白色候補領域の中から蛍光灯の色度範囲にある領域を対象にして、光源が蛍光灯である場合に適したホワイトバランス調節を施すことができる（Ｓ１６）。尚、ステップＳ１５にて、色度分布が蛍光灯の色度範囲に分布していると判定されなかった場合、ステップＳ３にて抽出された白色候補領域は、少白色判別と判断される（Ｓ１２）。

次に、図８を参照して、本発明の実施形態による撮像装置の利用が好適な状況に関して説明する。

図８（ａ）は、従来方式の撮像装置によって、日向に位置する被写体１０を日陰から撮影する状況を図示したものである。図８（ａ）に示される撮像装置１１は、図１で示した第１の実施形態による撮像装置の構成から、第２光学系６を省略した構成となっている。

また、第１光学系１による視野範囲が実線で示され、センサ７が光源を感知する検出範囲については破線で示されている。そして、被写体１０が第１光学系による視野範囲に収まっているのに対して、センサ７の検出範囲は撮像装置１１周辺の光源に対して感知するものであって、センサ７の検出範囲は被写体１０を捉えていないことが示されている。

したがって、図８（ａ）に示される状況では、被写体１０は日向（昼光色黒体光源）に位置するのに対し、センサ７の検出範囲は日陰（高色温度黒体光源）に位置しているので、撮像装置１１は被写体１０に対して適切なホワイトバランス調整を施すことができないのである。

一方で、第１の実施形態による撮像装置１１によれば、第２光学系６を備えている。図８（ｂ）及び図８（ｃ）に示される状況は、図８（ａ）に示される状況と同様に、被写体１０は日向（昼光色黒体光源）に位置するのに対し、センサ７は日陰（高色温度黒体光源）に位置している。

しかしながら、第２光学系６を備えることによって、センサ７の検出範囲は、図８（ｂ）及び図８（ｃ）の破線で示されるように、第１光学系１の視野範囲（実線）の少なくとも一部分を共有した光線について感知できる。したがって、撮像装置１１は被写体１０を対象に適切なホワイトバランス調整を施すことができるのである。

（第２実施形態）
図９は、本発明の第２の実施形態による撮像装置のブロック図であり、図１と同様に、被写体を撮像し、ホワイトバランス調整を施して調整撮像信号を出力するまでを図示している。調節撮像信号の出力後は、従来技術と同様に、画像処理を施して画像信号を生成し、その画像信号の記憶及び再生、表示、画像圧縮などを実施することが可能である。

図９のブロック図に示されるように、第２の実施形態による撮像装置は、被写体から光学像を生成する第１光学系１と、被写体からの赤外線を遮断する赤外線カットフィルタ２と、光学像を光電変換して色毎の撮像信号を生成するイメージセンサ３と、撮像信号を色毎にゲイン調整して調整撮像信号を生成する調整部４と、イメージセンサ３からの撮像信号に基づいて被写体の中から白色被写体の候補となる領域の色度分布を生成する色度部５と、被写体の少なくとも一部分からの光線を所定の光学的撮影距離を有して集光し、集光光を生成する第２光学系６と、集光光の波長特性を検出するセンサ７と、被写体を照明する光源の種類及び色温度範囲を判別する判別部８とを備える。

すなわち、第１の実施形態と第２の実施形態との違いは、第１の実施形態では調整部４からの調整撮像信号を色度部５に入力するのに対して、第２の実施形態ではイメージセンサからの撮像信号を直接的に色度部５に入力するという点である。このような構成にすることで、ホワイトバランスのフィードバック制御がない、例えば、一眼レフデジタルカメラ等のような静止画撮影機器にも応用可能である。

尚、その他の構成及び作用効果などについては、第１の実施形態と同様であるので説明を省略する。

前述してきたように、本発明の第１及び第２の実施形態によれば、光源の種類及び色温度を精度良く判別するホワイトバランス機能を得ることができる。また、撮像装置と被写体とが異なる光源下にある場合の光源の種類及び色温度の誤判別を軽減させることができる。更に、被写体の光源が黒体軌跡上と判別された場合の色温度の誤判別を軽減させることができるのである。

尚、第１及び第２の実施形態に於いては、光源の種類及び色温度の判別をホワイトバランスの調節に利用するものとして説明をしてきたが、本発明は当該利用に限らず、カラーバランス、グレーバランス、ニュートラルバランス、青空補正、人物顔色補正などの各種様々な画質調整に対して広く利用することができる。

１ 第１光学系
２ 赤外線カットフィルタ
３ イメージセンサ
４ 調整部
５ 色度部
６ 第２光学系
７ センサ
８ 判別部
９ 拡散板
１０ 被写体
１１ 撮像装置

Claims (7)

1. 被写体からの赤外線を遮断し、可視光から成る光学像を生成する第１光学系と、
   前記光学像を光電変換して色毎の撮像信号を生成するイメージセンサと、
   前記撮像信号を前記色毎にゲイン調整して調整撮像信号を生成する調整部と、
   前記調整撮像信号に基づいて前記被写体の中から白色候補領域の色度分布を生成する色度部と、
   前記被写体の少なくとも一部分からの光線を所定の光学的撮影距離を有して集光し、集光光を生成する第２光学系と、
   前記被写体を照明する光源の種類及び色温度範囲を判別する判別部と、
   を備え、
   前記判別部は、前記色度分布と前記集光光の波長特性とに基づいて前記色毎のゲイン調整値を生成し、該調整値を前記調整部に対して出力する
   ことを特徴とする撮像装置。
2. 前記集光光の近赤外線量を測定する近赤外線センサと、
   前記集光光の紫外線量を測定する紫外線センサと、
   を前記第２光学系の集光面に備え、
   前記判別部は、前記色度分布及び前記近赤外線量及び前記紫外線量に基づいて前記光源の種類及び前記色温度範囲を判別、或いは、前記白色候補領域の面積が所定未満であることを判別する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記判別部は、
   前記色度分布が色温度の低い黒体の軌跡周辺に分布し、かつ、前記近赤外線量が所定のレベル以上で、かつ、前記紫外線量が所定のレベル以下であった場合、前記光源が低色温度黒体であると判別し、
   前記色度分布が昼光色の黒体の軌跡周辺に分布し、かつ、前記近赤外線量が所定のレベル以上で、かつ、前記紫外線量が所定のレベル以上であった場合、前記光源が昼光色黒体であると判別し、
   前記色度分布が色温度の高い黒体の軌跡周辺に分布し、かつ、前記近赤外線量が所定のレベル以下で、かつ、前記紫外線量が所定のレベル以下であった場合、前記光源が高色温度黒体であると判別し、
   前記色度分布が蛍光灯の色度分布周辺に分布し、かつ、前記近赤外線量が所定のレベル以下で、かつ、前記紫外線量が所定のレベル以下であった場合、前記光源が蛍光灯であると判別する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記判別部は、前記光源が前記低色温度黒体、前記昼光色黒体、前記高色温度黒体、及び、前記蛍光灯のいずれにも判別されなかった場合、前記白色候補領域の面積が所定未満であることを判別する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記判別部は、
   前記白色候補領域の面積が所定未満であることが判別された場合、
   前記色毎の調整撮像信号の明度積分値が互いに略等しくなるように前記色毎ゲイン調整値を生成する
   ことを特徴とする請求項２に記載の撮像装置。
6. 前記色度部は、前記調整撮像信号の相対的な輝度レベルが所定の範囲にあって、かつ、該所定輝度レベルが所定の面積以上である領域を前記白色候補領域とする
   ことを特徴とする請求項１に記載の撮像装置。
7. 請求項１〜６に記載の撮像装置を用いた撮像システムであって、
   前記調整撮像信号に画像処理を施して画像信号を生成する画像処理部と、
   前記画像信号を記憶し、該記憶画像信号を再生する記憶再生部と、
   前記画像信号を表示する表示部と、
   を更に備える
   ことを特徴とする撮像システム。

Images