JP2009055107A - 撮像装置および撮像制御方法 - Google Patents

Abstract

【課題】照明のサイズおよび消費電力の増大を抑制しつつ、確実に運転者の顔の陰影が抑制された画像を得る。
【解決手段】照明３１は、同期制御部５１の制御の基に、ピーク波長が940nm赤外光である照明光をパルス点灯する。照明光は、偏光フィルタ３２および可視光遮断フィルタ３３を介して運転者１２に照射される。運転者１２により反射された照明光および外乱光の反射光は、可視光遮断フィルタ３３、偏光フィルタ３４および光学レンズ４１を介して、中心波長が940nmの赤外BPF４２に入射する。撮像素子４３は赤外BPF４２を透過した光を撮像する。同期制御部５１は、照明３１の点灯期間と撮像素子４３の露光期間が同期するように制御する。本発明は、例えば、運転者の監視装置に適用できる。
【選択図】図１

Description

本発明は、撮像装置および撮像制御方法に関し、特に、車内の運転者の撮像に用いる撮像装置および撮像制御方法に関する。

近年、脇見や居眠りなどによる事故を防止するために、車両を運転する運転者の顔を撮像し、撮像した画像（以下、運転者画像とも称する）に所定の画像処理を施して、運転者を監視する監視装置の開発が進んでいる。

ところで、走行中の車室内の光環境は、太陽光、街灯、沿道の店舗の照明など車外から差し込む光（以下、外乱光と称する）により常に変動する。この外乱光により、運転者の顔に深い陰影が発生したり、光量過多で運転者画像に白飛びが生じたり、撮像装置を直射して撮像を妨害したりするなどの現象が発生し、運転者画像の画像処理の性能の低下を招く場合がある。

これらの現象のうち、運転者の顔の陰影の発生を抑制するために、運転者の顔に照明を照射することが考えられる。この場合、外乱光の１つである太陽光より強い光を照射する必要があるが、太陽光より強い光を照射すると、運転者が眩惑されたり、運転者の目に損傷を与えたりするなどの悪影響を及ぼす恐れがある。

そこで、従来、太陽光の強度が大きく減衰する0.76μmの波長および0.94μmの波長の光をそれぞれ発光する２種類の発光ダイオード、および、これらの２種類の波長の光を透過するフィルタを備え、昼間は、0.76μmの波長の光を運転者に照射し、夜間は、0.94μmの波長の光を運転者に照射して、運転者の顔を撮像することが提案されている（例えば、特許文献１参照）。

特開２０００−２８３１５号公報

しかしながら、太陽光は非常に強いため、特許文献１に記載の発明において、確実に運転者の顔の陰影が抑制された画像を得るためには、発光ダイオードの数を増やす必要があり、その結果、照明のサイズおよび消費電力が増大してしまう。

本発明は、このような状況に鑑みてなされたものであり、照明のサイズおよび消費電力の増大を抑制しつつ、確実に運転者の顔の陰影が抑制された画像を得ることができるようにするものである。

本発明の一側面の撮像装置は、入射する光の成分のうち、太陽光の強度が所定の閾値以下かつ極小となる赤外領域の波長またはその近傍の波長であって、被写体に照射される照明光のピークの波長の近傍の成分を透過するフィルタと、フィルタを透過した光を撮像する撮像手段と、照明光をパルス点灯させるとともに、照明光が点灯する期間と撮像手段が露光する期間が同期するように制御する同期制御手段とを備える。

本発明の一側面の撮像装置においては、入射する光の成分のうち、太陽光の強度が所定の閾値以下かつ極小となる赤外領域の波長またはその近傍の波長であって、被写体に照射される照明光のピークの波長の近傍の成分を透過するフィルタを透過した光が撮像され、照明光がパルス点灯されるとともに、照明光が点灯する期間と撮像手段が露光する期間が同期するように制御される。

従って、照明のサイズおよび消費電力の増大を抑制しつつ、確実に運転者の顔の陰影が抑制された画像を得ることができる。

この照明光は、例えば、赤外LED（Light Emitting Diode）により発せられる。このフィルタは、例えば、赤外バンドパスフィルタにより構成される。この撮像手段は、例えば、CMOS（Complementary Metal Oxide Semiconductor）またはCCD（Charge Coupled Device）により構成される。この同期制御手段は、例えば、CPU（Central Processing Unit）により構成される。

この照明光は、935nm近傍で935nmより長い波長をピークとする赤外光とすることができる。

これにより、935nm近傍で935nmより長い波長の光に対して良好な感度を有する撮像素子、935nm近傍で935nmより長い波長の光を透過するフィルタを使用することが可能となる。

この制御手段には、さらに、照明光の点灯時の画像および消灯時の画像を交互に撮像するように撮像手段を制御させ、この撮像装置には、照明光の点灯時の画像と消灯時の画像との差分である差分画像を生成する差分画像生成手段をさらに設けることができる。

これにより、より確実に運転者の顔の陰影が抑制された画像を得ることができる。

この差分画像生成手段は、例えば、CPUより構成される。

この撮像装置には、撮像された画像を所定の大きさの領域に分割し、領域内の画素の画素値を加算した画素からなる画像を生成する画素加算手段をさらに設けることができる。

これにより、照明の照度を抑えつつ、運転者の画像の輝度を明るくすることがきる。

この画素加算手段は、例えば、CPUより構成される。

この撮像装置には、照明光を照射する照明と、被写体に照射される照明光を第１の方向に偏光する第１の偏光手段と、撮像手段に入射する光を第１の方向とほぼ直交する第２の方向に偏光する第２の偏光手段とをさらに設けることができる。

これにより、運転者がかけている眼鏡などにより照明光が鏡面反射された成分を除去することができる。

この照明は、例えば、赤外LED（Light Emitting Diode）により構成される。この第１の偏光手段および第２の偏光手段は、例えば、偏光フィルタにより構成される。

本発明の一側面の撮像制御方法は、入射する光の成分のうち、太陽光の強度が所定の閾値以下かつ極小となる赤外領域の波長またはその近傍の波長であって、被写体に照射される照明光のピークの波長の近傍の成分を透過するフィルタと、フィルタを透過した光を撮像する撮像手段とを備える撮像装置の撮像制御方法において、照明光をパルス点灯させるとともに、照明光が点灯する期間と撮像手段が露光する期間が同期するように制御する同期制御ステップを含む。

本発明の一側面の撮像制御方法においては、入射する光の成分のうち、太陽光の強度が所定の閾値以下かつ極小となる赤外領域の波長またはその近傍の波長をピークとする照明光がパルス点灯されるとともに、照明光が点灯する期間と撮像手段が露光する期間が同期するように制御される。

従って、照明のサイズおよび消費電力の増大を抑制しつつ、確実に運転者の顔の陰影が抑制された画像を得ることができる。

この照明光は、例えば、赤外LED（Light Emitting Diode）により発せられる。この撮像手段は、例えば、CMOS（Complementary Metal Oxide Semiconductor）またはCCD（Charge Coupled Device）により構成される。このフィルタは、例えば、赤外バンドパスフィルタにより構成される。この同期制御ステップは、例えば、CPUにより、照明光をパルス点灯させるとともに、照明光が点灯する期間と撮像手段が露光する期間が同期するように制御する同期制御ステップにより構成される。

以上のように、本発明の一側面によれば、照明のサイズおよび消費電力の増大を抑制しつつ、確実に運転者の顔の陰影が抑制された画像を得ることができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した監視システムの一実施の形態を示すブロック図である。図１の監視システム１１は、監視システム１１が設けられている車両（以下、自車とも称する）を運転する運転者１２を監視し、例えば、運転者１２の脇見、居眠りなどの検出を行ったり、運転者１２の認証などを行う。そして、監視システム１１は、その結果を後段の装置に出力する。監視システム１１は、撮像装置２１および画像処理装置２２を含むように構成される。

撮像装置２１は、照明３１の点滅に同期して、自車の運転席に座っている運転者１２の顔をほぼ正面方向から撮像し、照明３１の点灯時に撮像した画像と照明３１の消灯時に撮像した画像の差分を取る。撮像装置２１は、差分の結果得られた差分画像を画像処理装置２２に供給する。なお、以下、運転者を撮像した画像を運転者画像と称する。

画像処理装置２２は、例えば、差分画像に対して所定の画像処理を行うことにより、運転者１２の視線の向き、顔の向き、目の開き具合などを検出したり、顔の特徴量を抽出したりして、運転者１２の脇見、居眠りなどの検出を行ったり、運転者１２の認証などを行う。そして、画像処理装置２２は、その結果を後段の装置に出力する。

撮像装置２１は、照明３１、偏光フィルタ３２、可視光遮断フィルタ３３、偏光フィルタ３４、および、撮像部３５を含むように構成される。また、撮像部３５は、光学レンズ４１、赤外バンドパスフィルタ（BPF）４２、撮像素子４３、および、制御部４４を含むように構成される。

照明３１が点灯している場合、照明３１の照明光は、偏光フィルタ３２により所定の方向に偏光され、可視光遮断フィルタ３３を通過した後、運転者１２の頭部などに照射される。運転者１２などにより反射された照明光および照明光以外の光（外乱光）は、可視光遮断フィルタ３３を通過し、偏光フィルタ３２と偏光方向がほぼ直交する偏光フィルタ３４により所定の方向に偏光され、光学レンズ４１を通過する。光学レンズ４１を通過した光は、赤外BPF４２により、照明３１のピークの波長の近傍の成分のみが透過され、赤外BPF４２を透過した光が撮像素子４３に入射し、撮像される。撮像素子４３は、撮像の結果得られた運転者画像を制御部４４に供給する。

一方、照明３１が消灯している場合、運転者１２などにより反射された外乱光が、可視光遮断フィルタ３３を通過し、偏光フィルタ３４により所定の方向に偏光され、光学レンズ４１を通過する。光学レンズ４１を通過した光は、赤外BPF４２により、照明３１のピークの波長の近傍の成分のみが透過され、赤外BPF４２を透過した光が撮像素子４３に入射し、撮像される。撮像素子４３は、撮像の結果得られた運転者画像を制御部４４に供給する。

制御部４４は、例えば、CPU（Central Processing Unit）、DSP（Digital Signal Processor）、ROM（Read Only Memory）、およびRAM（Random Access Memory）、またはMPU（Micro Processing Unit）などからなり、プログラムを実行することにより、同期制御部５１、画素加算部５２、および、差分画像生成部５３の機能を実現する。

同期制御部５１は、照明３１の照明光の点灯および消灯を制御する。また、同期制御部５１は、図１４を参照して後述するように、照明３１が点滅するタイミングと撮像素子４３が撮像するタイミングを制御する。

画素加算部５２は、図１４などを参照して後述するように、運転者画像を所定の大きさの領域に分割し、各領域内の画素の画素値を加算した画素からなる画像（以下、加算画像とも称する）を生成する。画像加算部５２は、生成した加算画像を差分画像生成部５３に供給する。

差分画像生成部５３は、図１４などを参照して後述するように、照明３１の照明光の点灯時の加算画像と消灯時の加算画像との差分である差分画像を生成し、画像処理装置２２に供給する。

次に、図２乃至図１２を参照して、撮像装置２１の各構成要素の詳細について説明する。

まず、図２乃至図９を参照して、照明３１の照明光の光度（または輝度）が最大となる波長であるピーク波長、および、赤外BPF４２の透過する光の波長の中心である中心波長について説明する。

照明３１は、主に２つの目的で、運転者１２の顔をほぼ正面から照らす位置に設けられる。すなわち、昼間の車室内においては、運転者１２を撮像するために十分な光量を得ることができるが、夜間の車室内においては十分な光量を確保することは困難である。そのため、照明３１は、夜間に運転者１２の顔を撮像するために必要な光量を確保するための補助照明として設けられる。これが１つ目の目的である。

また、走行中の車室内の光環境は、車外から車内に差し込む外乱光により常に変動する。この外乱光は、上述したように、運転者１２の顔に深い陰影を発生させ、後段の画像処理装置２２の画像処理の失敗や性能の低下を招く原因となる恐れがある。そのため、照明３１は、運転者画像において運転者１２の顔の陰影が発生するのを抑制するために設けられる。これが２つ目の目的である。

ところで、運転者１２の顔の陰影の発生を抑え、光斑を抑制するためには、照明３１により、光量が飽和しない程度にほぼ均一に運転者１２の顔に照明光を照射する必要がある。また、運転者１２の顔における光量をほぼ均一にするためには、照明光が、外乱光以上の照度を有する必要がある。そして、照明３１の光量が外乱光の光量を上回るようにするためには、外乱光の照度ができるだけ弱い波長をピーク波長として選択することが望ましい。

図２および図３は、車室内に入射する代表的な外乱光のスペクトルの例を示すグラフである。図２は太陽光のスペクトルの例を示し、図３は人工光のスペクトルの例を示している。図２および図３の横軸は波長（単位は、nm）を示し、縦軸は分光放射照度（単位は、μW/cm²/nm）を示している。

図２の曲線１０１は、晴天時における照度が約10万ルクス（lx）の太陽光のスペクトルを示し、曲線１０２は、曇天時における照度が約3万ルクス（lx）の太陽光のスペクトルを示し、曲線１０３は、晴天時の日陰における照度が約1万ルクス（lx）の太陽光のスペクトルを示している。

また、図３の曲線１１１は、ナイター照明のスペクトルを示し、曲線１１２は、路上の水銀灯のスペクトルを示し、曲線１１３は、駐車場の水銀灯のスペクトルを示し、曲線１１４は、ナトリウム灯のスペクトルを示し、曲線１１５は、水銀灯のスペクトルを示し、曲線１１６は、３ｍ先から照射されたヘッドライトのスペクトルを示している。

図２および図３に示されるように、太陽光の光量は、他の種類の光源の光量と比較して圧倒的に大きい。従って、照明３１のピーク波長として、太陽光の強度が弱い波長付近を選択することが望ましい。

「JIS C 8911:1998 二次基準結晶系太陽電池セル， 図１ 基準太陽光の分光放射照度分布， 財団法人 日本規格協会」（以下、参照図１と称する）によれば、太陽光は、可視光領域の全範囲に渡って強い照度を有するが、赤外光領域では徐々に減衰する。特に、波長が935nm付近において照度が著しく減衰し、近隣の波長が800nmや1000nm付近の値と比べて、半分以下になっている。これは、大気中の水分により太陽光の波長が935nm付近の成分が吸収されるためであり、減衰する程度は若干異なるが、気候や場所の違いに関わらず常に見られる特徴である。

図４は、935nm付近の太陽光のスペクトルを季節により比較したグラフである。具体的には、曲線１３１は、夏季の正午頃における太陽光のスペクトルの一例を示し、曲線１３２は、冬季の正午頃における太陽光のスペクトルの一例を示している。図４から、夏季と冬季で935nm付近の太陽光のスペクトルは、ほぼ同じ傾向になることが分かる。なお、上述したように935nm付近の太陽光のスペクトルの減衰は大気中の水分によるものなので、冬季より湿度が高い傾向にある夏季の方が、935nm付近の波長の照度は低くなる傾向にある。

ところで、赤外BPF４２のフィルタ幅が狭くなるほど、透過特性は急峻となり、透過する光線の波長帯が限定され、外乱光の影響を軽減することができる一方、透過後の光の光量は減少する。一方、赤外BPF４２のフィルタ幅が広くなるほど、透過特性は緩慢となり、より広い波長帯の光線が透過され、外乱光の影響が大きくなる一方、透過後の光の光量の減少は抑制される。

参照図１によれば、太陽光のスペクトルは、935nmを中心にして対称に変化するのではなく、935nmより短い波長領域において、935nmより長い波長領域と比較して、より急峻に変化し、光量も大きくなる。従って、照明３１の照明光のピーク波長、および、赤外BPF４２の中心波長を935nmとした場合、太陽光の935nmより短い波長の成分の影響を受けないようにするために、赤外BPF４２のフィルタ幅を狭くする必要がある。

しかし、赤外BPF４２のフィルタ幅を狭くしてしまうと、透過する照明光の光量が不足し、運転者画像が暗くなってしまう。また、赤外BPF４２を干渉フィルタにより構成した場合、光線の入射角度によっては、その特性が短波長側に数nm〜数十nm程度シフトしてしまい、フィルタ幅を狭くしても、太陽光の935nmより短い波長の成分の影響を受けてしまう可能性がある。

一方、太陽光のスペクトルは、935nmより長い波長領域において、935nmより短い波長領域と比較して、変化も緩やかであり、光量も小さくなる。従って、照明３１の照明光のピーク波長および赤外BPF４２の中心波長を、935nmの近傍で935nmより長い波長とすることにより、赤外BPF４２のフィルタ幅を広くしつつ、太陽光の影響を抑えることが可能となる。

図５は、赤外BPF４２の中心波長および半値幅を変化させながら、赤外BPF４２を通過させた後の太陽光のパワーを測定した結果を示すグラフである。図５において、横軸は波長（単位は、nm）を示し、奥行き方向の軸は半値幅（単位は、nm）を示し、縦軸は太陽光のパワー（単位は、μW/cm²）を示している。

また、図６は、図５のグラフから奥行き方向の軸を削除し、半値幅ごとのグラフを２次元上に表したものである。具体的には、曲線１４１は、半値幅＝14nmのときの赤外BPF４２の中心波長と赤外BPF４２を通過させた後の太陽光のパワーとの関係を示し、曲線１４２は、半値幅＝28nmのときの赤外BPF４２の中心波長と赤外BPF４２を通過させた後の太陽光のパワーとの関係を示し、曲線１４３は、半値幅＝42nmのときの赤外BPF４２の中心波長と赤外BPF４２を通過させた後の太陽光のパワーとの関係を示している。

図７は、図５と同様に、赤外BPF４２の中心波長および半値幅を変化させながら、赤外BPF４２を通過させた後のLED（Light Emitting Diode）光のパワーを測定した結果を示すグラフである。

また、図８は、図６と同様に、図７のグラフから奥行き方向の軸を削除し、半値幅ごとのグラフを２次元上に表したものである。具体的には、曲線１５１は、半値幅＝14nmのときの赤外BPF４２の中心波長と赤外BPF４２を通過させた後のLED光のパワーとの関係を示し、曲線１５２は、半値幅＝28nmのときの赤外BPF４２の中心波長と赤外BPF４２を通過させた後のLED光のパワーとの関係を示し、曲線１５３は、半値幅＝42nmのときの赤外BPF４２の中心波長と赤外BPF４２を通過させた後のLED光のパワーとの関係を示している。

図５乃至図８に示されるように、赤外BPF４２を通過した後の太陽光およびLED光のパワーは、赤外BPF４２の中心波長および半値幅により変化する。そして、赤外BPF４２の中心波長が940nm〜950nm付近である場合に、LED光のパワーが太陽光のパワーを上回るとともに、その差が最も大きくなる。従って、照明３１のピーク波長および赤外BPF４２の中心波長を940nm〜950nm程度に設定するのが適当であると考えられる。また、照明光を940nm〜950nmをピーク波長とする赤外光とすることにより、運転者１２が照明光により眩惑されることが防止される。

また、照明３１の光量および画像処理装置２２の性能に拠るところが大きいが、太陽光のスペクトルの形状を鑑みて、赤外BPF４２の半値幅を40nm程度に設定することが適当であると考えられる。なお、照明３１の光量が大きくなるほど、または、画像処理装置２２において必要とされる運転者画像の輝度が低くなるほど、赤外BPF４２の半値幅を短く設定することが可能となる。

なお、以下、照明３１のピーク波長および赤外BPF４２の中心波長を940nmに設定し、赤外BPF４２の半値幅を40nmに設定した場合について説明する。

さらに、照明３１の照明光のほぼ全成分が赤外BPF４２を透過するように、照明３１の放射分布を設定することが望ましい。図９は、照明３１の照明光のほぼ全成分が赤外BPF４２を通過するように照明３１の放射分布を設定した場合の、太陽光および照明光のスペクトルと、赤外BPF４２の透過特性との関係の例を模式的に示したグラフである。図９の横軸は、波長（単位は、nm）を示し、左側の縦軸は、分光放射照度（単位は、W/m²/μm）を示し、右側の縦軸は、赤外BPF４２の透過率を示している。また、曲線１６１は太陽光のスペクトルの例を示し、曲線１６２は照明３１の照明光のスペクトルの例を示し、曲線１６３は赤外BPF４２の透過特性の例を示している。

図９の例においては、赤外BPF４２が入射光を透過する波長の範囲内に、照明３１の照明光の波長がほぼ収まっている。すなわち、照明３１の照明光のほぼ全成分が赤外BPF４２を透過するように、照明３１の放射特性が設定されている。

ところで、監視システム１１は車室内の限られたスペースに設置されるため、照明３１のサイズをできる限り小さくすることが望まれる。従って、例えば、小型で軽量な赤外LEDなどが、照明３１の光源として適している。

ただし、太陽光が減衰している波長域であっても、１個のLEDで太陽光に相当する光量を得ることは困難なため、複数のLEDを設ける必要がある。一方、監視システム１１の小型化の観点からすると、LEDの数をできる限り少なくすることが望ましい。そこで、照明３１には、可能な限り少ない数のLEDで太陽光に相当する光量を確保する方策を施す必要がある。

例えば、運転者１２の顔以外には照明光を照射する必要がないため、なるべく照明光が運転者１２の顔に集中して照射されるようにパッケージングを工夫し、照明３１の放射指向特性を向上させることが考えられる。また、照明３１の漏れ光線が運転者１２の顔に向けて照射されるように反射板などを設けることが考えられる。

また、LEDは、流れる電流が大きいほど明るく発光するため、照明３１の各LEDに流す電流を増大させることが考えられる。しかし、一方で、消費電力や発熱量の観点からすれば、LEDに流す電流の大きさは可能な限り小さい方が望ましい。また、定格電流を超える電流を流すとLEDは破壊されてしまい、定格電流に近い電流をLEDに流し続けると、LEDの寿命が短くなってしまう。そこで、照明３１は、図１５および図１６を参照して後述するように、パルス状の駆動電流によりパルス点灯される。

赤外BPF４２は、例えば、誘電体多層膜を用いた干渉フィルタにより構成される。赤外BPF４２は、上述したように、照明３１のピーク波長である940nm近傍の光線のみを選択的に透過する。例えば、波長が940nmの光線に対する赤外BPF４２の最大透過率は約90％とされる。従って、赤外BPF４２により、太陽光が照明３１の照度を上回る波長帯（例えば、可視光帯など）の光が減衰され、照明３１の照度が太陽光を上回る波長帯の光が抽出されて、撮像素子４３に入射する。これにより、外乱光の影響を軽減することができる。

なお、赤外BPF４２を干渉フィルタにより構成した場合、手などで触って汚れないような位置に設置することが望ましい。

また、赤外BPF４２を、誘電体多層膜を用いた干渉フィルタ以外の、例えば、色ガラスやプラスチックなどからなるカラーフィルタにより構成するようにしてもよい。

偏光フィルタ３２，３４は、運転者１２がかけている眼鏡などにより、照明光が鏡面反射された成分を除去または軽減するために設けられる。例えば、運転者１２が眼鏡をかけている場合、眼鏡の種類や照明３１の運転者１２に対する照射角によって、照明光が眼鏡により鏡面反射される場合がある。そして、鏡面反射された光が、運転者画像において白点状の領域として現れることがある。例えば、この白点状の領域が運転者１２の瞳の位置と重なってしまうと、画像処理において瞳の検出が困難になるなどの不都合が生じてしまう。

偏光フィルタ３２，３４は、ともに赤外光に対応し、上述したように、偏光方向が互いに直交するように設置される。例えば、図１０に示されるように、偏光フィルタ３２と偏光フィルタ３４を、偏光面が互いに平行となり、偏光方向が直交するように配置する。そして、偏光フィルタ３２側から照明２０１の照明光、すなわち、進行方向に垂直な全方向にほぼ一様に振動している光を照射した場合について考える。この場合、照明光は、偏光フィルタ３２により所定の一方向に偏光され、偏光フィルタ３４によりほぼ完全に遮断される。このような偏光の性質を利用することにより、眼鏡などにより鏡面反射された成分を除去または軽減することができる。

ここで、図１１を参照して、偏光フィルタ３２，３４により鏡面反射された成分を除去または軽減する原理について、さらに詳しく説明する。

照明３１から発せられた、偏光されていない照明光は、偏光フィルタ３２を透過することにより、所定の１方向（以下、A方向と称する）に偏光される。Ａ方向に偏光された照明光は、被写体２１０に照射され反射される。被写体２１０により反射された照明光は、運転者１２の眼鏡などにより鏡面反射された光と、その他の拡散反射された光を含む。そのうち鏡面反射された照明光は、Ａ方向に偏光されているため、偏光フィルタ３４によりほぼ遮断される。そして、拡散反射された照明光のみが偏光フィルタ３４によりＡ方向と直交する方向（以下、Ｂ方向と称する）に偏光され、撮像部３５に入射する。すなわち、照明光の反射光から鏡面反射された成分が除去され、さらにＢ方向に偏光された光が撮像部３５に入射する。

なお、被写体２１０により反射された外乱光の反射光については、鏡面反射および拡散反射の違いに関わらず、偏光フィルタ３４によりＢ方向に偏光され、撮像部３５に入射する。なお、外乱光についても、鏡面反射の角度によってはＳ偏光が大勢を占める場合があり（反射偏光）、偏光フィルタ３４をＰ偏光方向のフィルタとすることにより、鏡面反射された外乱光の反射光の成分も軽減または除去できる場合がある。

可視光遮断フィルタ３３は、可視光線を遮断して赤外領域以上の波長の光線を透過するフィルタにより構成される。可視光遮断フィルタ３３は、光学特性および環境耐久性を考慮して材質や染料が決定される。例えば、可視光遮断フィルタ３３は、アクリルまたはポリカーボネートに可視光線を吸収する染料を練り込むことにより構成される。

可視光遮断フィルタ３３は、主に、撮像装置２１を運転者１２から隠す目的で設けられ、例えば、「監視されている」といった運転者１２の心理的負担を和らげる効果を有する。また、可視光遮断フィルタ３３は、撮像装置２１の内部を埃や水滴等から防護する役割を果たす。

なお、図１のように、可視光遮断フィルタ３３が被写体側の最前面に配置される場合、可視光遮断フィルタ３３には、複屈折現象が起きないように調整されたものを用いるのが望ましい。

また、コスト面や耐久性を考慮して、赤外BPF４２の透過特性を緩く設定し、すなわち、選択波長以外の不要な光線の透過をある程度許容するようにして、可視光遮断フィルタ３３により、その不要な成分の光線を遮断するようにしてもよい。

さらに、可視光遮断フィルタ３３として、適切な波長でシャープに入射光を遮断する特性のものを選び、さらに、同様に適切な波長でシャープに入射光を遮断する赤外遮断フィルタを組み合わせて、この２つの遮断フィルタにより、赤外BPF４２の代わりに、BPFを構成するようにすることも可能である。この場合、赤外遮断フィルタは透明なものが多いため、可視光遮断フィルタ３３を前面に配置するようにすることが望ましい。

図１２は、可視光遮断フィルタ３３の特性の例を示すグラフである。図１２において、横軸は波長（単位は、nm）を示し、縦軸は透過率を示している。この例では、800nm以下の波長の光の透過率はほぼ0となっており、照明３１のピーク波長である940nmの光の透過率は約0.9となっている。

光学レンズ４１は、照明３１のピーク波長に合わせて、赤外領域で結像するように設計されたレンズにより構成される。これにより、可視光用の光学レンズを用いたときに生じる可能性がある、照明３１により赤外光が照射された被写体の像がぼやける等の結像劣化を防止することができる。また、光学レンズ４１は、運転者１２と撮像装置２１との相対位置および撮像距離等に基づいて、画角や画像周辺歪み等が適切な値になるように設計される。さらに、光学レンズ４１の材質は、車室内の環境下での使用に耐えるものであればよく、例えば、ガラスまたはプラスチックが用いられる。

また、光学レンズ４１のレンズ面に誘電体多層膜を形成して、光学レンズ４１に赤外BPF４２の機能を持たせるようにしてもよい。

撮像素子４３は、入射する光を電気信号へと変換する機能を有する素子であり、例えば、CMOS（Complementary Metal Oxide Semiconductor）やCCD（Charge Coupled Device）等により構成される。また、撮像素子４３には、照明３１のピーク波長を中心とする波長帯の光に対する光電変換が良好に行われる素子が採用される。また、撮像素子４３は、後述するように、照明３１のパルス点灯に同期して短期間の露光時間で撮像を行うため、ほぼ同時に全画素のシャッタをきるグローバルシャッタ機能を有する素子が、撮像素子４３に採用される。

図１３は、撮像装置２１の構成の例を模式的に表す分解図である。

図１３の撮像装置２１において、偏光フィルタ３２は、偏光フィルタ３２Ｌおよび偏光フィルタ３２Ｒの２枚の偏光フィルタにより構成される。偏光フィルタ３２Ｌ、偏光フィルタ３２Ｒ、および、偏光フィルタ３４は、偏光フィルタ３２Ｌ、偏光フィルタ３４、偏光フィルタ３２Ｒの順に左右に並べられ、可視光遮断フィルタ３３の被写体側と反対側の面に対向するように配置される。また、上述したように、偏光フィルタ３２Ｌおよび偏光フィルタ３２Ｒと、偏光フィルタ３４とは、偏光方向がほぼ直交するように配置される。

照明３１は、それぞれ同じ数の赤外LEDからなるLEDユニット２５１Ｌ，２５１Ｒ、および、制御用の照明基板２５２により構成される。LEDユニット２５１Ｌの照明面は、偏光フィルタ３２Ｌにより覆われており、LEDユニット２５１Ｌから発せられた照明光は、偏光フィルタ３２Ｌおよび可視光遮断フィルタ３３を介して、被写体に照射される。同様に、LEDユニット２５１Ｒの照明面は、偏光フィルタ３２Ｒにより覆われており、LEDユニット２５１Ｒから発せられた照明光は、偏光フィルタ３２Ｒおよび可視光遮断フィルタ３３を介して、被写体に照射される。

このように左右から照明光を照射することにより、運転者１２の顔にほぼ均一な明るさで照明光を照射することができる。

照明基板２５２には、光学レンズ４１とサイズが適合する孔２５２Ａが設けられている。被写体からの光は、可視光遮断フィルタ３３、偏光フィルタ３４、および、照明基板２５２の孔２５２Ａを通って、レンズホルダ２６１に取り付けられた光学レンズ４１に入射する。光学レンズ４１に入射した光は、レンズホルダ２６１の光学レンズ４１側と反対側の面に設けられている赤外BPF４２を透過し、撮像素子４３の撮像面において結像する。そして、撮像素子４３により撮像された画像が、制御部４４に供給される。

なお、偏光フィルタ３２Ｌ，３２Ｒおよび３４と可視光遮断フィルタ３３を配置する順番を入れ替えることも可能である。ただし、偏光フィルタ３２Ｌ，３２Ｒおよび３４が、被写体側の最前面に配置される場合、偏光フィルタ３２Ｌ，３２Ｒおよび３４の被写体側の表面には、偏光を妨げず透過率の高い保護膜を施すようにすることが望ましい。また、偏光フィルタ３２Ｌ，３２Ｒおよび３４が、被写体側の最前面に配置される場合、さらに、可視光遮断フィルタ３３と赤外BPF４２を配置する順番を入れ替えることも可能である。

ただし、赤外BPF４２を、誘電体多層膜を用いた干渉フィルタにより構成するようにした場合、以下の理由で、図１３のように、赤外BPF４２を撮像素子４３の前面に配置するようにすることが望ましい。

（１）誘電体多層膜は破損しやすいため、被写体側の最前面に配置することは避けた方がよい。
（２）誘電体多層膜は偏光フィルタ３２Ｌ，３２Ｒおよび３４の偏光を妨げる恐れがある。
（３）誘電体多層膜は高価であり、コスト面を考慮すると、できる限りサイズを小さくした方がよい。

なお、赤外BPF４２をカラーフィルタにより構成するようにした場合、以上の３つの問題が軽減されるため、偏光フィルタ３２Ｌ，３２Ｒおよび３４、可視光遮断フィルタ３３、並びに、赤外BPF４２を配置する順番を、相互に入れ替えることも可能である。

次に、図１４を参照して、監視システム１１により実行される監視処理について説明する。なお、この処理は、例えば、自車のエンジンが始動されたとき開始される。

ステップＳ１において、同期制御部５１は、照明３１を点灯させる。これにより、照明３１の照明光が、偏光フィルタ３２および可視光遮断フィルタ３３を介して、運転者１２などに照射され、その反射光（以下、照明反射光と称する）が、可視光遮断フィルタ３３、偏光フィルタ３４、光学レンズ４１、および、赤外BPF４２を介して、撮像素子４３に入射する。また、運転者１２などにより反射された外乱光の反射光（以下、外乱反射光と称する）が、可視光遮断フィルタ３３、偏光フィルタ３４、光学レンズ４１、および、赤外BPF４２を介して、撮像素子４３に入射する。

ステップＳ２において、撮像素子４３は、同期制御部５１の制御の基に、撮像する。すなわち、照明反射光および外乱反射光が、所定の方向（例えば、図１１のＢ方向）に偏光され、偏光された光の成分のうち、940nmの波長を中心とする所定の幅（例えば、約40nm）の波長帯の成分が抽出され、撮像される。撮像素子４３は、撮像の結果得られた運転者画像を画像加算部５２に供給する。

ステップＳ３において、同期制御部５１は、照明３１を消灯する。これにより、外乱反射光のみが、可視光遮断フィルタ３３、偏光フィルタ３４、光学レンズ４１、および、赤外BPF４２を介して、撮像素子４３に入射する。

ステップＳ４において、撮像素子４３は、同期制御部５１の制御の基に、撮像する。すなわち、外乱反射光が、所定の方向（例えば、図１１のＢ方向）に偏光され、偏光された光の成分のうち、940nmの波長を中心とする所定の幅（例えば、約40nm）の波長帯の成分が抽出され、撮像される。撮像素子４３は、撮像の結果得られた運転者画像を画像加算部５２に供給する。

ここで、図１５を参照して、照明３１の点灯時間と消費電力、および、撮像素子４３の受光量との関係について説明する。

上述したように、照明３１のLEDの個数と駆動電流はトレードオフの関係にある。すなわち、LEDの個数を増やせば、LED１個あたりの駆動電流を小さくすることができるが、照明３１のサイズは大きくなる。逆に、LEDの個数を減らせば、照明３１のサイズを小さくできるが、LED１個あたりの駆動電流は大きくなる。

ところで、一般的に、LEDを点滅させるために間欠的に流すパルス状の駆動電流（以下、パルス駆動電流と称する）の定格値は、LEDを常時点灯させるために常時流す場合の駆動電流（以下、定常駆動電流と称する）の定格値と比較して、非常に大きな値となる。その差は、例えば、LEDの点灯時間にほぼ反比例し、最大で約10倍になる。従って、LEDをパルス駆動させることで瞬間的に定常駆動時の10倍の光量が得られ、LEDの個数を削減しても、瞬間的に太陽光を上回る光量を確保することが可能となる。すなわち、瞬間的に、外乱光に対する照明３１の光量の比率を向上させることができ、運転者画像における光斑の発生を抑制することができる。また、照明３１の消費電力および発熱量を抑制することができる。

一方、運転者画像の明るさは、撮像時の露光時間に依存する。すなわち、露光時間が長いほど、撮像素子４３の受光量が増し、運転者画像は明るくなる。逆に、露光時間が短いほど、撮像素子４３の受光量が減り、運転者画像は暗くなる。従って、単純に照明３１の点灯時間を短くして電流を増やしただけでは、十分な光量を得られず、画像処理装置２２の画像処理に必要な明るさの運転者画像を得られない可能性がある。

図１５には、照明３１の点灯時間と駆動電流を変化させた３つのケースが示されている。ケース１は、フレーム周期の全期間に渡って照明３１を点灯し、撮像素子４３を露光させたケースを示しており、ケース２は、フレーム周期の１０％の期間だけケース１の３００％の駆動電流により照明３１を点灯し、撮像素子４３を露光させたケースを示しており、ケース３は、フレーム周期の１％の期間だけケース１の１０００％の駆動電流により照明３１を点灯し、撮像素子４３を露光させたケースを示している。

仮に、ケース１における外乱光と照明光の光量の比率を１：１とし、照明３１の消費電力を１、露光期間中の撮像素子４３の受光量を１とした場合、ケース２において、外乱光と照明光の光量の比率は１：３、照明３１の消費電力は０．３、撮像素子４３の受光量は０．４となり、ケース３において、外乱光と照明光の光量の比率は１：１０、照明３１の消費電力は０．１、撮像素子４３の受光量は０．１１となる。

このように、照明３１の点灯期間を短くし、駆動電流を大きくするほど、外乱光の影響を低減でき、消費電力が減少する一方、撮像素子４３の受光量は減少し、運転者画像は暗くなる。

従って、画像処理装置２２の処理内容や性能等に応じて、どの程度まで外乱光を除去し、運転者画像の輝度を確保するかを決定し、それに合わせて、照明３１に用いるLEDの個数、照明３１の点灯時間、照明３１の点灯時間と消灯時間の比であるデューティ比などを調整することが望ましい。

なお、この場合、偏光フィルタ３２，３４による照明光の低下を考慮する必要がある。具体的には、偏光フィルタ３２により被写体に届く光量は約1/2になり、偏光フィルタ３４により撮像装置２１に戻ってくる光量は約1/2になるため、照明３１から発せられた照明光が、約1/4に減衰されて撮像素子４３に入射することを考慮する必要がある。

次に、図１６を参照して、ステップＳ１乃至Ｓ４の処理における、撮像装置２１のフレーム周期とシャッタ開放時間、および、照明３１の点灯時間の関係の例について説明する。

撮像装置２１のフレーム周期を16.5ミリ秒とした場合、例えば、撮像装置２１のシャッタの開放時間、すなわち露光時間は、フレーム毎に0.3ミリ秒に設定される。照明３１は、２フレームごとに撮像装置２１のシャッタが開放される期間と同じ期間だけパルス点灯される。すなわち、照明３１が点灯する期間と撮像素子４３が露光する期間が同期するように制御される。従って、照明３１は、２フレーム毎に0.3ミリ秒点灯し、デューティ比は、約１％（≒0.3ミリ秒÷33ミリ秒）となる。

なお、撮像装置２１のシャッタを開放する期間は、必ずしも各フレームの先頭に設定する必要はなく、各フレームの途中または末尾に設定するようにしてもよい。また、照明３１が点灯するフレーム（以下、点灯フレームとも称する）と照明３１が点灯しないフレーム（以下、消灯フレームと称する）とで、シャッタを開放するタイミングを変更するようにしてもよい。差分画像の品質を考慮すると、矢印Ａ１で示される、点灯フレームにおけるシャッタの開放期間と消灯フレームにおけるシャッタの開放期間の間の間隔が短ければ短いほど、外乱光や運転者１２の状態の変化が小さくなり、有利である。ただし、矢印Ａ１で示される期間が短すぎると、照明３１や撮像素子４３の処理が間に合わなくなる場合があるため、その点を考慮する必要がある。

また、光量が不足している場合などに、照明３１の点灯時間と撮像部３５のシャッタの開放時間を自動的に調整したり、運転者画像の補正を行うなどの対策を施すようにしてもよい。

さらに、外乱光の状態、周囲の明るさ、天候、窓ガラスの開閉、現在時刻などを検知して、照明３１の点灯時間と撮像部３５のシャッタの開放時間を自動的に調整するようにしてもよい。なお、点灯フレームにおいてシャッタを開放する時間と消灯フレームにおけるシャッタを開放する時間を個別に制御するようにしてもよい。すなわち、点灯フレームにおけるシャッタの開放時間と消灯フレームにおけるシャッタの開放時間を異なる値に設定するようにしてもよい。

図１４に戻り、ステップＳ５において、画素加算部５２は、画素加算処理を行う。ここで、図１７を参照して、画素加算処理について説明する。図１７の左側の画像Ｇ１は、運転者画像内の８×８画素の領域の画像の例を示している。画像Ｇ１の各マスは画素を示しており、マス内の数値は画素値を示している。

画像加算処理では、例えば、この画像Ｇ１を、２×２画素の４つの領域に分割し、各領域内の画素値を加算することにより２×２画素の画像Ｇ２を生成する。従って、画像Ｇ２は、画像Ｇ１と比較して、解像度が１／４となる一方で、各画素の輝度は４倍となる。

画素加算処理では、このような処理を運転者画像の全域にわたって行う。すなわち、運転者画像を所定の大きさの領域に分割し、分割した領域内の画素値を加算した画素からなる画像（以下、画素加算画像とも称する）を生成する。これにより、運転者画像の輝度を上げることができる。

なお、画素加算処理において運転者画像を分割する領域の大きさは、後段の画像処理装置２２の画像処理において必要とされる運転者画像の解像度に応じて設定される。

画素加算部５２は、ステップＳ２において撮像された点灯フレームにおける運転者画像、および、ステップＳ３において撮像された消灯フレームにおける運転者画像の両方に画素加算処理を施し、生成した２枚の画素加算画像を差分画像生成部５３に供給する。

ステップＳ６において、差分画像生成部５３は、照明３１の点灯時と消灯時の画像の差分を取る。すなわち、差分画像生成部５３は、点灯フレームの画素加算画像と、消灯フレームの画素加算画像との差分をとることにより、差分画像を生成する。

例えば、図１７に示されるように、照明点灯時（点灯フレーム）の画素加算画像の画素Ｐ１の画素値が９０および画素Ｐ２の画素値が７０であり、照明消灯時（消灯フレーム）の画素加算画像の画素Ｐ１の画素値が３０および画素Ｐ２の画素値が１０である場合、差分画像の画素Ｐ１およびＰ２の画素値はともに６０となる。

ところで、照明３１が点灯している時に運転者１２に照射される光の状態（光量および分布）は、以下の式（１）により表される。

照明点灯時の光の状態＝照明点灯時の外乱光の状態＋照明３１の照明光の状態
・・・（１）

一方、照明３１が消灯している時に運転者１２に照射される光の状態は、以下の式（２）により表される。

照明消灯時の光の状態＝照明消灯時の外乱光の状態 ・・・（２）

ここで、点灯フレームの運転者画像と消灯フレームの運転者画像の撮像が行われた時刻の差が微少であれば、外乱光の状態、すなわち、外乱光の光量および分布はほぼ同一であると考えることができ、以下の式（３）の近似式が成り立つ。

照明点灯時の外乱光の状態 ≒照明消灯時の外乱光の状態 ・・・（３）

従って、差分画像における光の状態は、式（１）から式（２）を引き、式（３）を代入することにより、以下の式（４）により表される。

差分画像における光の状態≒照明３１の照明光の状態 ・・・（４）

ここで、照明３１の照明光は、運転者１２の顔にほぼ均一に照射されるので、差分画像は、画像処理装置２２の処理に好適な、運転者１２の顔の光斑が除去され、陰影の少ない画像となる。

差分画像生成部５３は、生成した差分画像を画像処理装置２２に供給する。

ステップＳ７において、画像処理装置２２は、画像処理を行う。すなわち、画像処理装置２２は、差分画像に対して所定の画像処理を行うことにより、所定の監視処理を実行する。画像処理装置２２は、その結果を後段の装置に出力する。

ステップＳ８において、監視システム１１は、処理を終了するかを判定する。処理を終了しないと判定された場合、処理はステップＳ１に戻り、ステップＳ８において、処理を終了すると判定されるまで、ステップＳ１乃至Ｓ８の処理が繰り返し実行される。

一方、例えば、自車のエンジンが停止されたとき、ステップＳ８において、監視システム１１は処理を終了すると判定し、監視処理は終了する。

このようにして、照明３１のサイズおよび消費電力の増大を抑制しつつ、確実に運転者の顔の陰影が抑制された画像を得ることができ、画像処理の品質を向上させることができる。

なお、照明３１の光量が十分であり、点灯フレームの運転者画像において、運転者の顔の陰影が十分に除去されている場合、例えば、ステップＳ４乃至Ｓ６の処理を省略して、点灯フレームの運転者画像を画像処理の対象とするようにしてもよい。

また、運転者画像の輝度が十分である場合、例えば、ステップＳ５の画素加算処理を省略して、ステップＳ６において、点灯フレームの運転者画像と消灯フレームの運転者画像の差分をとるようにしてもよい。

さらに、以上の説明では、運転者を撮像する場合の処理について説明したが、本発明は、運転者以外の搭乗者を撮像する場合にも適用できる。

また、以上の説明では、照明３１の照明光のピーク波長および赤外BPF４２の中心波長を940nmとする例を示したが、照明３１の照明光のピーク波長および赤外BPF４２の中心波長を、太陽光のスペクトルにおいて太陽光の強度（分光放射照度）が所定の閾値以下かつ極小となる赤外領域の他の波長またはその近傍の波長（例えば、1120〜1140nm付近、1400nm付近など）に設定するようにしてもよい。

さらに、図１４のステップＳ５の画素加算処理とＳ６の差分処理の順番を入れ替えることも可能である。

また、上述した制御部４４の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。

さらに、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した監視システムの一実施の形態を示すブロック図である。 太陽光のスペクトルの例を示すグラフである。 人工光のスペクトルの例を示すグラフである。 太陽光のスペクトルを季節ごとに比較したグラフである。 赤外BPFの中心波長および半値幅と、赤外BPFを通過後の太陽光のパワーとの関係を示す３次元のグラフである。 図５のグラフを２次元で表したグラフである。 赤外BPFの中心波長および半値幅と、赤外BPFを通過後のLED光のパワーとの関係を示す３次元のグラフである。 図７のグラフを２次元で表したグラフである。 太陽光および照明光のスペクトルと、赤外BPFの透過特性との関係の例を模式的に示したグラフである。 偏光フィルタの働きを説明するための図である。 鏡面反射された成分を除去または軽減する原理を説明するための図である。 可視光遮断フィルタの特性の例を示すグラフである。 撮像装置の構成の例を示す分解図である。 監視システムにより実行される監視処理を説明するための図である。 照明の点灯時間と消費電力、および、撮像素子の受光量との関係について説明するための図である。 撮像装置のフレーム周期とシャッタ開放時間、および、照明の点灯時間の関係の例について説明するための図である。 差分処理について説明するための図である。 画素加算処理について説明するための図である。

符号の説明

１１ 監視システム
２１ 撮像装置
２２ 画像処理装置
３１ 照明
３２ 偏光フィルタ
３３ 可視光遮断フィルタ
３４ 偏光フィルタ
３５ 撮像部
４１ 光学レンズ
４２ 赤外バンドパスフィルタ
４３ 撮像素子
４４ 制御部
５１ 同期制御部
５２ 画素加算部
５３ 差分画像生成部

Claims (6)

1. 入射する光の成分のうち、太陽光の強度が所定の閾値以下かつ極小となる赤外領域の波長またはその近傍の波長であって、被写体に照射される照明光のピークの波長の近傍の成分を透過するフィルタと、
   前記フィルタを透過した光を撮像する撮像手段と、
   前記照明光をパルス点灯させるとともに、前記照明光が点灯する期間と前記撮像手段が露光する期間が同期するように制御する同期制御手段と
   を含む撮像装置。
2. 前記照明光は、935nm近傍で935nmより長い波長をピークとする赤外光である
   請求項１に記載の撮像装置。
3. 前記同期制御手段は、さらに、前記照明光の点灯時の画像および消灯時の画像を交互に撮像するように前記撮像手段を制御し、
   前記照明光の点灯時の画像と消灯時の画像との差分である差分画像を生成する差分画像生成手段を
   さらに含む請求項１に記載の撮像装置。
4. 撮像された画像を所定の大きさの領域に分割し、領域内の画素の画素値を加算した画素からなる画像を生成する画素加算手段を
   さらに含む請求項１に記載の撮像装置。
5. 前記照明光を照射する照明と、
   前記被写体に照射される前記照明光を第１の方向に偏光する第１の偏光手段と、
   前記撮像手段に入射する光を前記第１の方向とほぼ直交する第２の方向に偏光する第２の偏光手段と
   をさらに含む請求項１に記載の撮像装置。
6. 入射する光の成分のうち、太陽光の強度が所定の閾値以下かつ極小となる赤外領域の波長またはその近傍の波長であって、被写体に照射される照明光のピークの波長の近傍の成分を透過するフィルタと、前記フィルタを透過した光を撮像する撮像手段とを備える撮像装置の撮像制御方法において、
   前記照明光をパルス点灯させるとともに、前記照明光が点灯する期間と前記撮像手段が露光する期間が同期するように制御する同期制御ステップを
   含む撮像制御方法。

Images