JP6000133B2 - 撮像装置、撮像システム及び撮像方法 - Google Patents

Description

本発明は、撮像装置、撮像システム及び撮像方法に関する。

本技術分野の背景技術として、特許文献１がある。特許文献１には「入力画像に所定の画像補正処理を施して出力画像を生成する画像補正部と、前記入力画像の１フィールド毎に輝度ヒストグラムを取得し、その平均輝度値、標準偏差値、及び、中間値のいずれか２値ないしは３値全てを算出する演算部と、前記演算部で算出された前記輝度ヒストグラムの平均輝度値、標準偏差値、及び、中間値のいずれか２値ないしは３値全てに基づいて、前記入力画像に対する画像補正処理の要否や補正量を判定し、前記画像補正部の制御を行う補正制御部と、を有して成る構成とされている」と記載されている。

特開２０１０−１４７９６９号公報

撮像装置の主な用途として、監視カメラや車載カメラがある。共に低照度や霧などの視認性の悪い状況下でも目的の被写体を鮮明に撮影したいという要求が強い。この様な課題に対して、可視光領域の光だけでなく、近赤外領域の光を活用する方法がある。
前記特許文献１では、視界条件を悪くする原因として、黄砂等の、視界を悪くすると同時にホワイトバランスが変わる状況に関しては考えられておらず、適切な補正ができない。さらに、適切な撮像条件の制御により視認性の高い画像の取得が期待できるが、黄砂と霧では効果が逆の場合がある。
そこで本発明は、条件の悪い撮像環境下においても、視認性の高い画像を出力する撮像装置、撮像システム及び撮像方法の提供を目的とする。

上記目的を解決するために、特許請求の範囲に記載の構成を採用する。

本発明によれば、条件の悪い環境下においても、視認性の高い画像を出力する撮像装置、撮像システム及び撮像方法を提供することができるという効果がある。

一実施例における撮像装置の全体構成を示すブロック図である。 撮像部の構成の一例を示すブロック図である。 イメージセンサ部の画素配置の一例を示す図である。 画素の分光特性を示す図である。 撮像部の出力信号の一例を示す図である。 信号処理部の出力信号の一例を示す図である。 ホワイトバランス処理部の構成の一例を示すブロック図である。 ヒストグラム部で検出した輝度分布の一例を示す図である。 ヒストグラム部とホワイトバランス検波部の解析結果と制御条件の関係の一例を示す図である。 撮像装置の処理フローの一例を示すフロー図である。 一実施例における撮像装置の全体構成を示すブロック図である。 一実施例における撮像装置の全体構成を示すブロック図である。 撮像部の構成の一例を示すブロック図である。 イメージセンサ部の画素配置の一例を示す図である。 ＩＲ画素の分光特性を示す図である。 ヒストグラム部とホワイトバランス検波部の解析結果と制御条件の関係の一例を示す図である。 撮像装置の処理フローの一例を示すフロー図である。 一実施例における撮像装置の全体構成を示すブロック図である。 ヒストグラム部で検出した輝度分布の一例を示す図である。 一実施例における撮像システムの全体構成を示すブロック図である。 表示部の表示画面の一例を示す図である。 表示部の表示画面の一例を示す図である。

以下、本発明の実施形態について図面を用いて説明する。

図１は、実施例１における撮像装置の全体構成を示すブロック図である。１００は撮像装置であり、１０１は撮像部、１０２は信号処理部、１０３はヒストグラム部、１０４はホワイトバランス（ＷＢ）検波部、１０５はホワイトバランス（ＷＢ）処理部、１０６は制御部、１０７は輝度信号生成部、１０８は色差信号生成部、１０９は画像出力部である。

撮像部１０１は、赤外光（ＩＲ）をカットするＩＲフィルタ、ズームレンズ及びフォーカスレンズを含むレンズ群、アイリス、シャッタ、ＣＣＤまたはＣＭＯＳなどの撮像素子等で構成されるイメージセンサ、及びＡＤコンバータ等から構成され、イメージセンサで受光した光学像を光電変換し、信号として出力する。信号処理部１０２は、撮像部１０１の出力した信号から、分離処理とデモザイキング処理等を行い、例えば、輝度信号と赤、青、緑の色信号等を生成し、出力する。ホワイトバランス処理部１０５は、信号処理部１０２が出力した色信号に対して、色信号毎に設定された補正量に基づき色信号を増幅するホワイトバランスの補正処理を行い、増幅した各色信号を出力する。輝度信号生成部１０７は、ホワイトバランス処理部１０５が出力した色信号に対して、例えば、色信号から輝度信号に変換する変換式を用いた合成処理を行い、輝度信号を出力する。色差信号生成部１０８は、ホワイトバランス処理部１０５が出力した信号に対して、例えば、色信号から色差信号に変換する変換式を用いた合成処理を行い、色差信号を出力する。画像出力部１０９は、輝度信号生成部１０７が出力した輝度信号と色差信号生成部１０８が出力した色差信号を撮像装置１００の外部に出力し、或いは、これらを合成した映像信号を生成して撮像装置１００の外部に出力する。

ヒストグラム部１０３は、信号処理部１０２が出力した輝度信号から、例えば、輝度信号に含まれる輝度データのヒストグラムを生成し、輝度データの分布の平均と分散等の輝度情報を出力する。ホワイトバランス検波部１０４は、信号処理部１０２が出力した色信号を解析処理し、ホワイトバランスのずれに係る情報と色差情報等を出力する。制御部１０６は、ヒストグラム部１０３が出力した輝度情報から明るさとコントラストの状況を把握し、撮像環境が視界良好であるか視界不良であるかを判断し、撮像部１０１の撮像条件を切り替える。また、制御部１０６は、ホワイトバランス検波部１０４が出力したホワイトバランスのずれに係る情報と色差情報から、撮像環境を判断し、撮像環境に応じたホワイトバランス処理部１０５の補正量を決定し、設定する。

撮像部１０１の撮像条件を決める制御とは、例えば、撮像部１０１のＩＲフィルタの着脱の制御である。制御部１０６では、暗い夜間と判断した場合、ＩＲフィルタを外すことで、ＩＲの光量を利用できるようになり、色再現性は低くなるが、輝度およびコントラストを高くでき、視認性を向上することができる。また、ホワイトバランス補正においては、通常、ホワイトバランスのずれが大きい場合、ホワイトバランスの補正に適していない被写体と判断して、ホワイトバランス補正を行わない。しかし、監視等に使用する撮像装置では、撮像環境に関係なく、被写体の色を正確に再現することが求められ、被写体の色を変えるような特定の撮像環境下、例えば、黄砂が降る撮像環境下においては、ホワイトバランスのずれが大きくても、ホワイトバランスの補正をすることが望ましい。黄砂が降る撮像環境下では、黄砂による光の乱反射により被写体のコントラストが低下し、黄砂の黄色が加わることによりホワイトバランスが大きく黄色方向にずれる。制御部１０４では、コントラストとホワイトバランスのずれ方向から黄砂と判断し、ホワイトバランスのずれから求めた補正量をホワイトバランス処理部１０５に設定し、ホワイトバランス補正を行う。

以上説明したように、本発明の撮像装置１００では、ヒストグラム部１０３とホワイトバランス検波部１０４の出力から制御部で撮像環境を判断し、撮像部１０１の撮像条件の切り替えとホワイトバランス処理部１０５を制御することにより、より視認性の高い画像を生成する撮像装置を提供することができる。
以下、撮像部１０１が有する各構成要素の一例について図面を用いて詳細に説明する。
図２は、撮像部１０１の構成の一例を示すブロック図である。図１と同じ構成要素には同じ番号を付してある。撮像部１０１は、例えば、入射光の赤外線（ＩＲ）成分をカットするＩＲフィルタ２０１、光学部２０２と、イメージセンサ部２０３と、信号レベルを増幅する増幅部２０４と、アナログ信号をデジタル信号に変換するＡＤ変換部２０５で構成される。ＩＲフィルタ２０１は制御部１０６で挿入有、挿入無の切り替えが可能であり、ＩＲフィルタ２０１の挿入有の場合は、入射光から赤外光をカットした光が、光学部２０２を通してイメージセンサ部２０３に入射する。また、ＩＲフィルタ２０１の挿入無の場合は、赤外光を含む入射光が、光学部２０２を通してイメージセンサ部２０３に入射する。

イメージセンサ部２０３では光電変換を行い、イメージセンサ部２０３で受光した光の光量に対応した信号を出力する。イメージセンサ部２０３では、同一のイメージセンサ上に、例えば、赤、青、緑の各々に対応した波長に感度を持つ画素を配置することで色の情報も取得する。
図３は、図２のイメージセンサ部２０３の画素配置の一例を示す図である。図２と同じ構成要素には同じ番号を付してある。２２１はイメージセンサ部２０３の一部２２１を拡大したものであり、赤色の光の波長に主な感度を持つＲ画素２２２、緑色の光の波長に主な感度を持つＧ画素２２３、青色の光の波長に主な感度を持つＢ画素２２４が繰り返し配置される。なお、イメージセンサ部３０２では、Ｇ画素２２３が画像全体の解像度に与える影響が大きいため、Ｇ画素２２３をＲ画素２２２及びＢ画素２２３の２倍配置する画素配置例としているが、撮像装置の用途により画素配置や構成は異なっており、図３に限定されるものではない。また、Ｒ画素２２２、Ｇ画素２２３、Ｂ画素２２４の代わりに補色画素を配置したイメージセンサ部であってもよい。

図４は、図２で示したＲ画素２２２、Ｇ画素２２３およびＢ画素２２４の光の波長に対する感度特性、すなわち分光特性を示す図である。図４において３０１はＢ画素２２４の分光特性であり、３０２はＧ画素２２３の分光特性であり、３０３はＲ画素２２２の分光特性である。また、Ｒは赤の可視光の波長域、Ｇは緑の可視光の波長域、Ｂは青の可視光の波長域、ＩＲは赤外光の波長域を示している。分光特性３０１はＲとＩＲ、分光特性３０２はＧとＩＲ、分光特性３０３はＢとＩＲに感度を持つことを示している。通常撮像環境下においては色再現性を悪くするＩＲの感度は不要であり、図２のＩＲフィルタ２０１を挿入することにより、ＩＲ成分をカットし、可視光の光量のみを取得する。夜間等の低照度の撮像環境下では、光量が低く、視認性が悪い画像となる。そのため、図２のＩＲフィルタ２０１を外した場合には、イメージセンサ２０３へ入射する光量を増やし、かつ、ＩＲの部分の感度も利用することができるようになり、撮像部１０１の感度を上げることができる。

イメージセンサ２０３が図３の画素配置であるときの、撮像部１０１の出力信号例と信号処理部１０２の処理例を以下説明する。
図５は、撮像部１０１の出力信号の一例を示す図である。２５０は出力信号であり、２５１と２５３は赤の輝度データ、２５２と２５４と２５６は緑の輝度データ、２５５は青の輝度データを示す。図５は、図３のように、例えば、奇数ラインではＲ画素２２２とＧ画素２２３が交互に配置され、偶数ラインではＧ画素２２３とＢ画素２２４が交互に配置される場合の出力信号を示している。なお、偶数ラインおよび奇数ライン、および、画素の繰り返し順は、イメージセンサ部２０３の画素、出力タイミングにより入れ替えることが可能であり、本例に限定されるものではない。

撮像部１０１の出力信号を入力とする図１の信号処理部１０２は、撮像装置１００に要求される出力画像信号の解像度、周波数等に適した信号生成処理を行う。
図６は、図１の信号処理部１０２の出力信号の一例を示す図である。図５と同じ信号には同じ番号を付してある。２７０はＲ信号、２８０はＧ信号、２９０はＢ信号であり、２５１と２５３は赤の輝度データ、２７１〜２７６は赤の補間データ、２５２，２５４，２５５，２５７は緑の輝度データ、２８１〜２８４は緑の補間データ、２５６，２５８は青の輝度データ、２９１〜２９６は青の補間データを示している。信号処理部１０２では、例えば、図５の信号２５０から、赤の輝度データ２５１、２５３等と、緑の輝度データ２５２、２５４等、青の輝度データ２５６等を分離し、Ｒ信号２７０、Ｇ信号２８０およびＢ信号２９０を生成する。この時、出力画像信号の解像度が各々の輝度データの個数以上であることを要する場合は、隣り合う画素の輝度データから補間用の輝度データを生成するデモザイキング処理を行う。

また、信号処理部１０２では、解像度を高くする必要のないヒストグラム部１０３用の輝度信号として、赤の輝度データと緑の輝度データの平均値を輝度信号として出力してもよい。例えば、図５の出力信号２５０の奇数ラインの赤の輝度データ２５１と緑の輝度データ２５２の平均値を輝度信号として出力する。このように、解像度を低くすることで、ヒストグラム部１０３での処理負荷を軽減することができる。

図７は、ホワイトバランス処理部１０５の構成の一例を示す図である。図１と同じ構成要素には同じ番号を付している。５０４、５０５、５０６は信号入力端子であり、信号処理部１０２の出力信号であるＲ信号、Ｇ信号、Ｂ信号がそれぞれ入力される。５０１、５０２及び５０３は増幅部であり、各々の増幅率は制御部１０６により設定される。ホワイトバランス処理部１０５は、例えば図６に示したＲ信号２７０、Ｇ信号２８０、Ｂ信号２９０の増幅率を個々に変えることによりホワイトバランスの調整処理を行う。
なお、ホワイトバランスの調整は、１つの信号レベルを固定して他の２個の信号レベルを調整するようにしてもよい。例えば、Ｇ信号を固定する場合は、Ｇ信号を増幅する必要がない為、増幅部５０２はなくてもよく、回路構成を簡単にすることができる。

ヒストグラム部１０３は、信号処理部１０２から出力される映像信号の輝度レベルの分布を検出し、例えば画像全体の輝度を判定する為の情報、およびコントラストを判定する為の情報を出力する。輝度を判定する為の情報は例えば、平均輝度あるいは中間値等であり、コントラストを判定する為の情報は、最大値、最小値、或いは分散等である。
図８は、ヒストグラム部１０３で検出した輝度分布の一例を示す図である。（１）は視界良好な環境下で撮像した場合のヒストグラムの一例を、（２）は暗い環境下で撮像した場合のヒストグラムの一例を、（３）は明るいが視界不良な環境下で撮像した場合のヒストグラムの一例を示す。（１）では平均輝度が高く、輝度レベルは広く分布しているため分散は大きくなる。（２）では平均輝度が低く、輝度レベルの分散は小さい。（３）は平均輝度が高く、輝度レベルの分散は小さい。制御部１０６では、例えば、平均輝度が予め設定した輝度の閾値を下回った場合は、夜間等の視界不良と判断する。また、例えば、コントラストの相対指標を分散とすると、分散が予め設定した分散の幅より大きい場合は視界良好であり、低い場合は霧や黄砂等のコントラストを下げる原因による視界不良と判断し、各部の制御を行う。

ホワイトバランス検波部１０４は、信号処理部１０２から出力される映像信号のホワイトバランスのずれ量とずれ方向を検出する。ホワイトバランスのずれは、例えば、白を表現するときのＲ信号の輝度データ、Ｇ信号の輝度データ、Ｂ信号の輝度データから求まる色差で表すことができる。色差は、Ｒ信号の輝度データとＧ信号の輝度データとＢ信号の輝度データが一致する場合に原点にあり、ホワイトバランスのずれは０となる。制御部１０６では、Ｒ信号の輝度データとＧ信号の輝度データとＢ信号の輝度データが異なり、ホワイトバランスがずれている場合は、例えば、Ｇ信号の輝度データに対する、Ｒ信号とＢ信号の輝度データの割合からＲ信号とＢ信号の増幅係数を求めて、図７のホワイトバランス処理部１０５の増幅部５０１、５０２、５０３に設定する。

ここで、制御部１０６は、色差が予め設定しているリミット解除領域内にある場合を除き、ホワイトバランス検波部１０４が検出したホワイトバランスのずれ量があるリミット値を超える場合は、ホワイトバランスの補正を行わない。リミット解除領域は、例えば、黄砂が降っているときを除外する場合は、黄砂の色の範囲が該当する領域となる。制御部１０６が、黄砂と判定した場合は、ホワイトバランスのずれ量にかかわらず、ホワイトバランスを補正する制御を行う。

図９は、撮像装置１００のヒストグラム部１０３とホワイトバランス検波部１０４の解析結果と制御条件の関係の一例を示す図である。
視界良好で輝度とコントラストが共に高い、あるいは、霧がかかるなどして輝度は高いがコントラストは低くホワイトバランスがリミット解除領域の外にあるときは、通常の可視光撮影の撮像装置と同様にＩＲフィルタを挿入し、ホワイトバランスのずれ量にリミットがある場合のホワイトバランス処理を行う。
黄砂がかかるなどして輝度が高くコントラストが低くホワイトバランスがリミット解除領域の内にあるときは、ホワイトバランスのずれ量にかかわらずホワイトバランス処理を行う。
輝度が低い場合は、ＩＲフィルタを挿入せず、ホワイトバランス処理も行わない。

以上説明した撮像装置１００の処理フローについて、以下説明する。
図１０は、撮像装置の処理フローの一例を示すフロー図である。処理が開始されると、ステップＳ１０００で制御部１０６は初期設定を行い、例えば、ＩＲフィルタ２０１を挿入する。ステップＳ１００１では、撮像部１０１は被写体を撮像し、撮像した画像を信号として出力する撮像処理をする。ステップＳ１００２では、信号処理部１０２は輝度信号等の信号生成処理を行う。ステップＳ１００３では、ヒストグラム部１０３は輝度信号等を解析して、制御部１０６は輝度およびコントラスト情報を取得する。

ステップＳ１００４で制御部１０６は、ステップＳ１００３で取得した輝度情報と所定の輝度情報とを比較する輝度判定処理を行う。ステップＳ１００３で取得した輝度情報が所定の輝度情報より低い場合はステップＳ１００５に進み、ステップＳ１００５で制御部１０６がＩＲフィルタ２０１は挿入されていると判断した場合は、ステップＳ１００６でＩＲフィルタ２０１をはずし、ステップ１００１に戻る。ステップＳ１００５でＩＲフィルタ２０１が挿入されていないと判断した場合は、ステップＳ１０１２に進む。
ステップＳ１００４で、輝度情報が所定の輝度より高い場合はステップＳ１００７に進む。ステップＳ１００７ではホワイトバランス検波部１０４はホワイトバランスずれ量と色差情報を検出するホワイトバランスずれ解析処理を行う。ステップＳ１００８では、ステップＳ１００３で取得したコントラスト情報から、コントラストが基準値より高い場合にはステップＳ１０１０に、基準値より低い場合にはステップＳ１００９に進む。

ステップＳ１００９では、ステップＳ１００７で取得したホワイトバランスずれ解析結果から、制御部１０６がホワイトバランスはリミット解除領域にあると判断した場合には、ステップＳ１０１１に、リミット解除領域外にある場合はステップＳ１０１０に進む。
ステップＳ１０１０では、制御部１０６がステップＳ１００７で取得したホワイトバランスのずれ量はホワイトバランス補正の上限を超えていないかを判断し、超えていない場合はステップＳ１０１１に、超えている場合はステップＳ１０１２に進む。

ステップＳ１０１１では、ステップＳ１００７で取得したホワイトバランス補正量に基づき、ホワイトバランス処理部１０５が補正処理を行う。ステップＳ１０１２では、輝度信号生成部１０７が輝度信号生成処理を、色差信号生成部１０８が色差信号生成処理を行い、ステップＳ１０１３で画像出力部１０９が画像出力処理を行い、画像信号を出力する。
以上説明した本実施例の撮像装置では、撮像環境を判断し、撮像条件の切り替え、或いはホワイトバランス制御することにより、黄砂等の視界が悪い状況においても、より視認性の高い画像を出力することができる。

例えば、ステップＳ１００５での判定がＮｏとなってステップＳ１０１２に至る場合とは、輝度とコントラストがともに低い状態、即ち暗い状態で被写体を撮影する場合であって、撮像部１０１はＩＲフィルタ２０１を挿入せずに撮影して視認性を改善する。
ステップＳ１００９での判定がＹｅｓとなってステップＳ１０１１に至る場合とは、輝度が高くコントラストが低く、しかもホワイトバランスのリミット解除領域の内にある状態で被写体を撮影する場合であり、具体的には例えば黄砂により視界が悪い場合であって、ステップＳ１０１１でホワイトバランス処理部１０５は、黄砂による画像の黄ばみをホワイトバランス補正して視認性を改善する。

ステップＳ１００９での判定がＮｏとなってステップＳ１０１０に至る場合とは、輝度が高くコントラストが低く、しかもホワイトバランスのリミット解除領域の外にある状態で被写体を撮影する場合である。ステップＳ１００４とＳ１００８での判定により輝度が高くコントラストも高いと判定された場合を含めて、ステップＳ１０１０での判定結果に基づき、制御部１０６はステップＳ１０１１でのホワイトバランス補正処理を行うか否かを決定する。これにより、例えば霧がかかったような状態であってもホワイトバランス処理部１０５は、ホワイトバランス補正を行う。しかし、例えば撮像する画面の全体にわたり特定の色に著しく偏った被写体を撮影する場合には、ホワイトバランス処理部１０５はホワイトバランス補正を行わないので、当該補正による弊害を回避できる。即ち、いずれの場合でも撮像した画像の視認性を改善することができる。
なお、本実施例は、視界が悪い原因として黄砂に特定したものではなく、色により原因が特定できるものであれば、黄砂以外であっても、或いは黄色以外の色であっても、前記したホワイトバランスのリミット解除領域を適宜定めることにより、同様に視認性のよい画像を得ることができる。

図１１は、実施例２における撮像装置７００の全体構成を示すブロック図である。図１と同じ構成要素には同じ番号を付してあり、説明を省略する。７００は撮像装置であり、７０１は撮像部、７０２は光源である。光源７０２には、撮像条件又は用途に応じて可視光の光源、あるいは、ＩＲの光源、あるいは、両方の光源が使用される。
撮像装置７００を監視目的で使用する場合、夜間等の低照度時は、人の目では認識できないＩＲ光源を被写体に照射することが多い。７０２をＩＲ光源とした場合、ＩＲ光源のオン、オフ制御は、図２のＩＲフィルタ２０１の制御と連動して行う。図４で説明したように、イメージセンサ２０３のＲ画素、Ｇ画素およびＢ画素はＩＲ光に対する感度をもつので、ＩＲ光を照射することにより、被写体の光量を増やすことができ、白黒に近い画像ではあるが、出力画像の視認性を向上することができる。

図１０の処理フローにおいて、処理開始時には、光源７０２はオフである。制御部１０６は、ステップＳ１００６でＩＲフィルタ２０１を外し、光源７０２をオンする。なお、ＩＲフィルタ２０１と光源７０２の制御はどちらが先でもかまわない。
撮像装置７００の光源を人が見るための補助光と兼用する場合、例えば、車のヘッドライト等では、光源は可視光光源となる。この場合、制御部１０６は、図１０のステップＳ１００６でＩＲフィルタ２０１外さず、光源７０２をオンする。ここで、可視光源は色がついていることが多い。この為、黄砂と同様に、可視光源の色をホワイトバランスのリミット解除領域に設定することで、可視光源によりホワイトバランスが大きくずれても、補正することができ、被写体の色再現性のよい画像を出力することができる。

光源７０２に可視光源とＩＲ光源を併用する場合は、ＩＲ光源のみの場合と同様に、光源７０２のオン、オフ制御は、ＩＲフィルタ２０１の制御と連動して行う。可視光源は人の目の補助光として使用する。ＩＲ光源は撮像装置７００の補助光として使用する。ＩＲ光を照射することにより、被写体の光量を増やすことができ、白黒に近い画像ではあるが、出力画像の視認性を向上することができる。
以上説明したように本実施例の撮像装置では、光源を利用して出力画像の視認性を向上することができる。

図１２は、実施例３における撮像装置６００の全体構成を示すブロック図である。図１と同じ構成要素には同じ番号を付してあり、説明を省略する。６００は撮像装置であり、６０１は撮像部、６０２は光源、６０３は信号処理部、６０４はＩＲ合成処理部である。光源６０２は、撮像条件や用途に応じて可視光の光源、あるいは、ＩＲの光源、あるいは、両方の光源が使用される。監視目的の撮像装置では、夜間等の低照度時は、人の目では認識できないＩＲ光源を被写体に照射することが多い。光源６０２としてＩＲ光源を使用する場合、撮像部６０１のイメージセンサ部を図３で説明した画素配置としてもよいが、ＩＲ画素を配置したイメージセンサ部とすることで、よりＩＲ光源を効果的に利用できる。また、ＩＲフィルタ２０１の制御を不要にし、撮像装置の構造を簡易化できる。以下、ＩＲ画素を配置した撮像部６０１について説明する。

図１３は、撮像部６０１の一例を示すブロック図である。図１２および図２と同じ構成要素には同じ番号を付し、説明を省略する。６１１はイメージセンサ部で、ＩＲフィルタは配置されておらず、全波長の光が光学部２０２を介してイメージセンサ部６１１に入射される。
図１４は、イメージセンサ部６０３の画素配置の一例を示す図である。図３と同じ構成要素には同じ番号を付してあり、説明を省略する。６０５はイメージセンサ部６１１の一部を拡大したものである。６１１はＩＲ領域のみ感度をもつＩＲ画素である。イメージセンサ部６１１では、ライン毎にＲ画素２２２とＧ画素２２３、ＩＲ画素６１１とＢ画素２２４が交互に配置される。なお、ライン毎の色の組み合わせは、図１４に限定されるものではなく、入れ替えても構わない。

図１５は、図１４で示したＩＲ画素６１１の光の波長に対する感度特性、すなわち分光特性を示す図である。分光特性３０４では、可視光領域に感度が殆どなく、ほぼＩＲ領域のみに感度がある。従って、信号処理部６０３で、Ｒ画素２２２、Ｇ画素２２３、Ｂ画素２２４の輝度レベルからＩＲ画素６１１の輝度レベルを引く処理を行うことにより、可視光のみの輝度レベルを取り出すことができる。これにより、先の図２におけるＩＲフィルタ２０１は、本実施例による図１３では不要となる。なお、通常、Ｒ画素２２２、Ｇ画素２２３およびＢ画素２２４のＩＲの感度は異なるので、ＩＲの輝度データに、各々の感度に合わせた係数を乗じた後に差し引く。

撮像部６０１の出力信号はイメージセンサ部６１１の画素配列に従い、例えば、奇数ラインはＲ画素２２２の輝度データとＧ画素２２３の輝度データが交互に出力され、偶数ラインではＩＲ画素６１１の輝度データとＢ画素２２４の輝度データが交互に出力される。
信号処理部６０３は撮像部６０１の出力信号から、Ｒ画素２２２の輝度データ、Ｇ画素２２３の輝度データ、Ｂ画素２２４の輝度データ、ＩＲ画素６１１の輝度データを順次取り出す。また、信号処理部６０３は、ＩＲ画素６１１の輝度データを使ってＩＲ画素６１１の輝度データを生成する。さらに、信号処理部６０３は、Ｒ画素２２２の輝度データ、Ｇ画素２２３の輝度データおよびＢ画素２２４の輝度データからＩＲ成分を取り除いた後、必要に応じてデモザイキング処理を行い、Ｒ信号、Ｇ信号およびＢ信号を生成してＩＲ合成処理部６０４に出力する。また、ＩＲ画素の輝度レベルを出力画像に反映する為、ほかの信号と同様に、必要に応じてデモザイキング処理を行い、ＩＲ信号をＩＲ合成処理部６０４に出力する。ＩＲ合成処理部６０４は、制御部１０６からの指示に応じて、信号処理部６０３から供給された信号の処理を行い、例えばＲ信号／Ｇ信号／およびＢ信号のみを、或いはＩＲ信号のみを、或いはＲ信号／Ｇ信号／Ｂ信号の各々に対してＩＲ信号を合成した信号を、輝度信号生成部１０７と色差信号生成部１０８に出力する。なお、ヒストグラム部１０３用の輝度信号はＲ信号、Ｇ信号およびＢ信号から生成してもよいし、１ライン毎のＲ画素２２２の輝度データとＧ画素２２３の輝度データの平均値から生成してもよい。

図１６は、撮像装置６００のヒストグラム部１０３とホワイトバランス検波部１０４の解析結果と制御条件の関係の一例を示す図である。
撮像画像が、輝度とコントラスト共に高い場合は、ＩＲ光源をＯＦＦし、ホワイトバランスのずれ量がリミット値以下である場合にホワイトバランス処理を行う。
輝度は高いがコントラストは低く、ホワイトバランスがリミット解除領域の外にあるときは、霧等でＩＲ光源が有効な視界不良と判断し、ＩＲ光源をＯＮし、さらにホワイトバランスのずれ量がリミット値以下である場合にホワイトバランス処理を行う。ＩＲ光源をＯＮすることにより、輝度のコントラストを高めることが期待できる。

輝度が高く、コントラストが低く、ホワイトバランスがリミット解除領域の内にあるときは、例えば視界を悪くしている原因が黄砂であると判断し、光源による光が黄砂で反射してＩＲ光源による視認性向上は見込めないため、ＩＲ光源をＯＦＦにする。ホワイトバランスについては、ホワイトバランスのずれ量にかかわらずホワイトバランス処理を行う。
撮像画像の輝度が低い場合は、ＩＲ光源をＯＮする。ＩＲ信号の輝度およびコントラストが可視光の信号よりも高くなるので、可視光の信号に変えてＩＲ信号を出力する。あるいは、可視光の信号に合成することにより、色を再現できる可能性がある。

図１７は、撮像装置６００の処理フローの一例を示すフロー図である。図９と同じステップには同じステップ番号を付し、説明を省略する。
ステップＳ１００４で制御部１０６が輝度判定処理をした際、ステップＳ１００３で取得した撮像画像の輝度が所定の輝度より低い場合は、ステップＳ２００１に進み、制御部１０６は光源６０２が有するＩＲ光源をＯＮする。ステップＳ２００２で撮像部６０１はＩＲ光源を照射した被写体を撮像する撮像処理を行い、ステップＳ２００３の信号生成処理で、信号処理部６０３はＩＲ信号を生成する。さらに、次のステップＳ２００４の輝度判定処理において、先のステップＳ１００４での判定と同様に輝度が低いと判定された場合には、ステップＳ１０１０とＳ１０１１によるホワイトバランス補正処理を行うことなくステップＳ１０１２に進む。ここで、ＩＲ合成処理部６０４は、制御部１０６からの指示に応じ、輝度信号生成部１０７および色差信号生成部１０８への入力信号として、Ｒ信号、Ｇ信号およびＢ信号を入力する代わりに、すべてＩＲ信号を入力する。これにより、撮像装置６００はＩＲ信号の画像を出力できる。

ステップＳ１００４で制御部１０６が輝度判定処理をした際、ステップＳ１００３で取得した撮像画像の輝度が所定の輝度より高い場合は、ステップＳ１００７に進む。さらに、ステップＳ１００８でコントラストは低く、ステップＳ１００９でホワイトバランスはリミット解除領域の外と制御部１０６が判断した場合は、ステップＳ２００１で制御部１０６は光源６０２が有するＩＲ光源をＯＮする。ステップＳ２００２で撮像部６０１はＩＲ光源で照射された被写体をステップＳ１００１と同様に撮像処理をし、ステップＳ２００３で信号処理部６０３はステップＳ１００２と同様な信号生成処理を行う。即ち、信号処理部６０３はＲ信号、Ｇ信号、Ｂ信号を生成し、必要に応じてＩＲ信号も生成し、ＩＲ合成処理部６０４に供給する。この場合、ステップＳ２００１でＩＲ光源をＯＮし、或いは、ステップＳ２００３で信号を合成したことにより、先のステップＳ１００４での判定の際とは輝度が変化した可能性があるので、ステップＳ２００４で改めて輝度判定処理を行う。

ステップＳ２００４での判定の結果、輝度が所定値よりも高ければステップＳ１０１０に進み、その結果に応じてステップＳ１０１１でホワイトバランス補正処理を行う。ステップＳ２００４での判定の結果、輝度が所定値よりも低ければ、ステップＳ１０１０とＳ１０１１によるホワイトバランス補正処理を行うことなくステップＳ１０１２に進む。
イメージセンサ部６１１では、図３のイメージセンサ部２０３の画素配置と比較して解像度は低くなるが、可視光画像とＩＲ画像の両方を同時に取得できる利点がある。
以上説明した本実施例の撮像装置では、ＩＲ光源を有効に使うことができる。このため、黄砂等により視界が悪い状況においても、ホワイトバランス補正を施された色再現性が良好な画像出力を得ることができる。

図１８は、実施例４における撮像装置８００の全体構成を示すブロック図である。図１と同じ構成要素には同じ番号を付してあり、説明を省略する。８００は撮像装置であり、８０１は輝度、コントラスト、ホワイトバランスを検出するヒストグラム部である。以下、ヒストグラム部８０１について説明する。

ヒストグラム部８０１は、輝度を含む色信号、例えば、図６のＲ信号、Ｇ信号、Ｂ信号を入力とし、それぞれのヒストグラムを生成する。
図１９は、ヒストグラム部で検出した輝度分布の一例を示す図である。（１）はＲ信号の輝度分布４５１であり、（２）はＧ信号の輝度分布４５２であり、（３）はＢ信号の輝度分布４５３である。図１９は、例えば、黄砂が降る環境下での一例であり、Ｒ信号とＧ信号の輝度が高く、Ｂの輝度が低くなっている。ここで、輝度の評価は、例えば、各色の輝度分布の平均値をＲ信号の輝度、Ｇ信号の輝度およびＢ信号の輝度とし、各色の輝度から変換式を使用して求めた輝度を全体の輝度として使用して評価する。また、ホワイトバランスのずれは、前記求めたＲ信号の輝度、Ｇ信号の輝度およびＢ信号の輝度を比較して算出する。コントラストの判定には、Ｇ信号の分散を代表して使用してもよいし、Ｇ信号の分散とＲ信号の分散の平均値、あるいは各色の輝度分布の分散値の平均値を使用してもよい。

以上説明したヒストグラム部８０１では、輝度、コントラスト、ホワイトバランスの検出が一度にできる。さらに、輝度信号のみのコントラスト評価では、ホワイトバランスがずれていて各色信号の輝度に大きな差がある場合に、視界不良の際にコントラストを誤って判定する可能性があるのに対し、本ヒストグラム部８０１では、各色の信号を別々に評価することによりコントラストを確実に評価できる。

図２０は、実施例５における撮像システム９００の全体構成を示すブロック図である。図１と同じ構成要素には同じ番号を付し、説明を省略する。９００は撮像システムであり、９０１は画像合成部、９０２は表示部、９０３は表示制御部である。
撮像装置１００は、画像合成部９０１に画像信号を、表示制御部９０３に、撮像環境や撮像条件等の撮像ステータスを出力する。表示制御部９０３は前記撮像ステータスに基づき表示するメッセージ画面を生成し、画像合成部９０１に出力する。画像合成部９０１は、撮像装置７００の画像信号と表示制御部９０３のメッセージ画面を合成した合成信号を生成し、表示部９０２に出力する。表示部９０２は、入力された合成信号を表示する。なお、表示部９０２は、例えば、液晶ディスプレイ、ＬＥＤディスプレイ等の平面ディスプレイ、プロジェクタ等、画像を表示できるものであれば何でもよい。

図２１は、表示部９０１の表示画面の一例を示す図である。９１１は表示部の表示画面であり、９１２はメッセージ表示部である。図２１ではメッセージ表示部９１２に、撮像ステータス、例えば、夜間の撮像環境であり、ＩＲフィルタＯＦＦでＩＲ光源がＯＮになっていることを表示している。表示部９０１に撮像ステータスメッセージを表示することで、表示画面を見ている人が撮像装置の状態を把握することができる。

図２２は、表示部９０１の表示画面の一例を示す図である。９２１は表示部の表示画面であり、９２２はメッセージ表示部である。図２２ではメッセージ表示部９２２に、撮像環境と撮像環境に対応した警告メッセージが表示されている。表示画面を見ている人に撮像装置の状態を把握させるとともに、車載用途等の使用では、安全を促したり、アドバイスを表示したりすることで、安全を確保することができる。
なお、撮像装置として図１の撮像装置１００を使用して説明しているが、本発明の他の実施例における撮像装置、例えば図１２の撮像装置６００、図１８の撮像装置８００等を用いてもかまわない。

１００、６００，７００，８００:撮像装置、１０１，６０１：撮像部、１０２：信号処理部、１０３：ヒストグラム部、１０４：ホワイトバランス検波部、１０５：ホワイトバランス処理部、１０６：制御部、１０７：輝度信号生成部、１０８：色差信号生成部、１０９：画像出力部、２０１：ＩＲフィルタ、２０２：光学部、２０３：イメージセンサ部、２０４：増幅部、２０５：ＡＤ変換部、６０２，７０２：光源、９００：撮像システム、９０１：画像合成部、９０２：表示部、９０３：表示制御部。

Claims (7)

1. 被写体を撮像して得た当該の被写体に係る信号を出力する撮像装置であって、
   前記被写体を撮像して撮像された当該の被写体に係る電気信号を生成する撮像部と、
   当該の撮像部が生成した電気信号を処理して輝度情報と色情報とを含む映像信号を生成する信号処理部と、
   当該の信号処理部が生成した映像信号が含む輝度情報に基づきヒストグラムを生成するヒストグラム部と、
   前記信号処理部が生成した映像信号が含む色情報に基づき前記映像信号のホワイトバランスのずれを検出するホワイトバランス検波部と、
   前記信号処理部が生成した映像信号が供給され前記ホワイトバランス検波部が検出したホワイトバランスのずれに基づき前記映像信号をホワイトバランス補正するホワイトバランス処理部と、
   当該のホワイトバランス処理部がホワイトバランス補正した映像信号を出力する画像出力部と、
   前記撮像装置の構成要素の動作を制御する制御部と、
   を有し、
   前記制御部は、前記ヒストグラム部が生成したヒストグラムと前記ホワイトバランス検波部が検出したホワイトバランスのずれに基づき、前記撮像部と前記ホワイトバランス処理部を制御し、
   前記ヒストグラム部が生成したヒストグラムに基づき、前記信号処理部が生成した映像信号の輝度が所定の輝度値よりも高いか否かを判定し、
   前記ヒストグラムに基づき、前記信号処理部が生成した映像信号の輝度のコントラストが所定のコントラスト値よりも高いか否かを判定し、
   前記ホワイトバランス検波部が検出したホワイトバランスのずれに基づき、前記信号処理部が生成した映像信号の色情報が所定のホワイトバランス解除領域の内部にあるか否かを判定し、
   前記映像信号の輝度が所定の輝度値よりも高く、前記映像信号の輝度のコントラストが所定のコントラスト値よりも低い場合には、
   前記映像信号の色情報が所定のホワイトバランス解除領域の外部にあり、かつ、前記ホワイトバランス検波部で検出した前記映像信号のホワイトバランスのずれの量が所定のずれ値よりも大きい際には前記ホワイトバランス補正を停止させ、
   前記映像信号の色情報が所定のホワイトバランス解除領域の内部にある際には前記映像信号のホワイトバランスのずれの量に係らず前記ホワイトバランス補正を行うように前記ホワイトバランス処理部を制御する
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   当該の撮像装置は赤外線フィルタを含み、前記制御部は前記赤外線フィルタを前記撮像部に装着するか否かを制御することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記撮像部は前記被写体を照射する光源を備え、前記制御部は前記光源を点灯するか否かを制御することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記光源は前記被写体に赤外光を照射し、前記制御部は前記光源を点灯する際には前記赤外線フィルタを前記撮像部から取り外すように制御することを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記光源は可視光を含めて赤外光を前記被写体に照射することを特徴とする撮像装置。
6. 被写体を撮像して得た当該の被写体に係る信号を出力する撮像装置を有し、前記信号に係る画像を表示する撮像システムであって、
   前記被写体を撮像して撮像された当該の被写体に係る電気信号を生成する撮像部と、
   当該の撮像部が生成した電気信号を処理して輝度情報と色情報とを含む映像信号を生成する信号処理部と、
   当該の信号処理部が生成した映像信号が含む輝度情報に基づきヒストグラムを生成するヒストグラム部と、
   前記信号処理部が生成した映像信号が含む色情報に基づき前記映像信号のホワイトバランスのずれを検出するホワイトバランス検波部と、
   前記信号処理部が生成した映像信号が供給され前記ホワイトバランス検波部が検出したホワイトバランスのずれに基づき前記映像信号をホワイトバランス補正するホワイトバランス処理部と、
   当該のホワイトバランス処理部がホワイトバランス補正した映像信号を出力する画像出力部と、
   前記撮像装置の構成要素の動作を制御し、前記ヒストグラム部が生成したヒストグラムと前記ホワイトバランス検波部が検出したホワイトバランスのずれに基づき、前記撮像部と前記ホワイトバランス処理部を制御する制御部
   を有する前記した撮像装置と、
   当該の撮像装置の制御部が前記撮像部と前記ホワイトバランス処理部を制御する情報に係る画像信号を生成する表示制御部と、
   当該の表示制御部が生成した画像信号と前記撮像装置の画像出力部が出力した映像信号を合成した合成画像を生成する画像合成部と、
   当該の画像合成部が合成した合成画像を表示する表示部と、
   を有し、
   前記撮像装置の制御部は、
   前記ヒストグラム部が生成したヒストグラムに基づき、前記信号処理部が生成した映像信号の輝度が所定の輝度値よりも高いか否かを判定し、
   前記ヒストグラム部が生成したヒストグラムに基づき、前記信号処理部が生成した映像信号の輝度のコントラストが所定のコントラスト値よりも高いか否かを判定し、
   前記ホワイトバランス検波部が検出したホワイトバランスのずれに基づき、前記信号処理部が生成した映像信号の色情報が所定のホワイトバランス解除領域の内部にあるか否かを判定し、
   前記映像信号の輝度が所定の輝度値よりも高く、前記映像信号の輝度のコントラストが所定のコントラスト値よりも低い場合には、
   前記映像信号の色情報が所定のホワイトバランス解除領域の外部にあり、かつ、前記ホワイトバランス検波部で検出した前記映像信号のホワイトバランスのずれの量が所定のずれ値よりも大きい際には前記ホワイトバランス補正を停止させ、
   前記映像信号の色情報が所定のホワイトバランス解除領域の内部にある際には前記映像信号のホワイトバランスのずれの量に係らず前記ホワイトバランス補正を行うように前記ホワイトバランス処理部を制御する
   ことを特徴とする撮像システム。
7. 被写体を撮像して得た当該の被写体に係る信号に対しホワイトバランスを補正して出力する撮像装置における撮像方法であって、
   撮像して得た映像信号が含む輝度情報のヒストグラムに基づき前記映像信号の輝度が所定の輝度値よりも高いか否かを判定し、
   前記ヒストグラムに基づき前記映像信号の輝度のコントラストが所定のコントラスト値よりも高いか否かを判定し、
   撮像して得た映像信号が含む色情報におけるホワイトバランスのずれに基づき前記映像信号の色情報が所定のホワイトバランス解除領域の内部にあるか否かを判定し、
   前記映像信号の輝度が所定の輝度値よりも高く、前記映像信号の輝度のコントラストが所定のコントラスト値よりも低い場合には、
   前記映像信号の色情報が所定のホワイトバランス解除領域の外部にあり、かつ、前記映像信号のホワイトバランスのずれの量が所定のずれ値よりも大きい際には前記ホワイトバランスの補正を停止させ、
   前記映像信号の色情報が所定のホワイトバランス解除領域の内部にある際には前記映像信号のホワイトバランスのずれの量に係らず前記ホワイトバランスの補正を行う
   ことを特徴とする撮像方法。

Images