JP6536946B2 - 撮像装置、撮像方法、プログラムおよび移動体機器制御システム - Google Patents

Description

本発明は、撮像装置、撮像方法、プログラムおよび移動体機器制御システムに関するものである。

従来、自車両前方の物体（他車両、白線、路面、人物、障害物等）を認識するためのセンシング用の画像と自車両のフロントガラスに付着している雨滴等の付着物を検出するための付着物検出用の画像とを単一の画像センサで撮像する撮像装置が知られている。

例えば、特許文献１には、前記センシング用の画像を取得するための撮像フレーム（センシング用フレーム）を３０回連続して撮像するたびに前記付着物検出用の画像を取得するための撮像フレーム（付着物検出用フレーム）を１回撮像することを繰り返す撮像装置が開示されている。この撮像装置は、センシング用フレームについては自動露光制御で露光量を自動調整しながら撮像する一方、付着物検出用フレームについては付着物の検出に適した固定露光量で撮像する。

連続撮像されるセンシング用フレーム間に付着物検出用フレームの撮像を行う撮像装置においては、付着物検出用のフレーム時間を長くするほど、その付着物検出用フレームの前後のセンシング用フレームの間の時間間隔が広がる。センシング用フレーム間の時間間隔が広いほど、前のセンシング用フレームの撮像時点から後のセンシング用フレームの撮像時点までの経過時間が長くなる。そのため、前後のセンシング用フレームの間で、自車両前方の状況（自車両前方の各種物体の相対位置など）の変化が大きくなり、物体の認識精度が低下するなどの不具合を引き起こす。したがって、付着物検出用フレームのフレーム時間はできるだけ短くすることが望ましい。

ところが、付着物検出用フレームのフレーム時間を短くすると、次のような問題が発生することが判明した。
付着物検出用フレームの直後のセンシング用フレームを自動露光制御で撮像する場合、トンネル内や夜間などの暗い環境下などにおいては、当該センシング用フレームの露光時間が長く設定される場合がある。ここでいう露光時間とは、撮像装置における画像センサの受光素子が撮像光を受光し始めてから受光を終えるまでの受光時間を意味する。画像センサから各受光素子の受光量データを出力するタイミングは予め固定されていることから、露光時間が長く設定されると、その分だけ受光開始時期が早くなる。

通常、センシング用フレームのフレーム時間は、自動露光制御により設定可能な上限値に露光時間が設定される場合でも、その受光開始時期が直前のセンシング用フレームにおける露光期間に重なるような事態が起きない。しかしながら、付着物検出用フレームのフレーム時間を短くするために、付着物検出用フレームのフレーム時間をセンシング用フレームのフレーム時間よりも短い時間に設定すると、付着物検出用フレームの直後のセンシング用フレームにおける受光開始時期が付着物検出用フレームの露光期間に重なる事態が起こり得る。このような事態が起こると、付着物検出用フレーム及びその直後のセンシング用フレームの少なくとも一方のフレームについて正常な受光量データを取得することができなくなるという問題が発生し得る。

上述した課題を解決するために、本発明は、光源からの光を光透過性部材に照射して該光透過性部材に付着した付着物を検出するための付着物検出用画像を取得するための付着物検出用フレームを画像センサにより撮像した後に、前記光源以外の光を受光して前記付着物以外の物体を認識するための物体認識用画像を取得する物体認識用フレームを前記画像センサにより複数枚撮像するという一連の撮像動作を繰り返す撮像装置であって、前記付着物検出用フレームのフレーム時間は、前記物体認識用フレームのフレーム時間よりも短く設定されており、前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする。

本発明によれば、付着物検出用フレームのフレーム時間を短く設定しても、付着物検出用フレーム及びその直後のセンシング用フレームの両方について正常な受光量データを取得可能であるという優れた効果が奏される。

実施形態１における移動体機器制御システムの概略構成を示す模式図である。 同移動体機器制御システムにおける撮像ユニットの概略構成を示す模式図である。 同撮像ユニッに設けられる撮像部の概略構成を示す説明図である。 フロントガラスの外壁面上の雨滴に撮像レンズの焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。 無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。 雨滴検出用画像領域に対応する光学フィルタ部分に配置されるフィルタの一例を示す説明図である。 雨滴検出用画像領域に対応する光学フィルタ部分に配置されるフィルタの他の例を示す説明図である。 （ａ）は、同光学フィルタの断面図であり、（ｂ）は同光学フィルタの画像センサ側の正面図である。 撮像画像データの画像例を示す説明図である。 実施形態１における撮像部の詳細を示す説明図である。 同撮像部を構成する光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 付着物検出を説明するための図である。 雨滴が付着している状態の実験結果を示す図である。 雨滴が付着していない状態の実験結果を示す図である。 実施形態１において、雨滴量が異なる雨滴検出用画像領域の状態を示す拡大図である。 比較例における撮像動作の一例を簡易的に示したタイミングチャートである。 （ａ）は、センシング用フレームにおける、ローリングシャッタ方式によるデータ読み出しタイミングと露光期間の関係を説明する説明図である。（ｂ）は、雨滴検出用フレームにおける、ローリングシャッタ方式によるデータ読み出しタイミングと露光期間の関係を説明する説明図である。 実施形態１における撮像動作の一例（構成例１）を簡易的に示したタイミングチャートである。 実施形態１における撮像動作の他の例（構成例３）を簡易的に示したタイミングチャートである。 雨滴検出用フレームにおけるライン読出信号と光源の発光タイミングとの関係の一例を示すタイミングチャートである。 各ラインの露光期間内における光源の発光時期の一例を示す説明図である。 各ラインの露光期間内における光源の発光時期の他の例を示す説明図である。 実験例において、光源がＯＮであるときの外乱光が含まれる雨滴検出用画像領域の画像例を示すものである。 実験例において、光源がＯＮであるときの外乱光が含まれない雨滴検出用画像領域の画像例を示すものである。 図２３に示す画像例において光源光が映し出されている画像部分を拡大した図である。 実施形態２における撮像ユニットの概略構成を示す模式図である。 実施形態２において、雨滴量が異なる雨滴検出用画像領域の状態を示す拡大図である。

〔実施形態１〕
以下、本発明に係る撮像装置を適用した移動体機器制御システムの一実施形態（以下、本実施形態を「実施形態１」という。）について説明する。
なお、本発明に係る撮像装置は、移動体機器制御システムに限らず、例えば、撮像画像に基づいて物体認識を行う物体認識装置を搭載したその他のシステムにも適用できる。

図１は、本実施形態１における移動体機器制御システムの概略構成を示す模式図である。
移動体機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像装置で撮像した撮像画像を利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。

本実施形態１の移動体機器制御システムは、図１に示すように、撮像部を有する撮像ユニット１０１と、露光制御ユニット１０９と、画像解析ユニット１０２と、車両走行制御ユニット１０８と、ワイパー制御ユニット１０６と、ヘッドランプ制御ユニット１０３とを主に備えている。ここで、車両走行制御ユニット１０８、ワイパー制御ユニット１０６、ヘッドランプ制御ユニット１０３は、自車両１００に搭載されている各種車載機器を制御する制御部として機能する。

本実施形態１の移動体機器制御システムに設けられる撮像部は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両１００のフロントガラス１０５のルームミラー付近に設置される。撮像ユニット１０１の撮像部で撮像された撮像画像データは、画像解析ユニット１０２に入力される。露光制御ユニット１０９は、撮像ユニット１０１の撮像部の露光制御を行う。

画像解析ユニット１０２は、撮像部から送信されてくる撮像画像データを解析し、
自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス１０５に付着する雨滴や付着物などの付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したり、雨量を算出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。

画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。

画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、自車両１００の車載機器であるワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や付着物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した付着物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両１００のハンドルやブレーキを制御したりするなどの車線維持制御を行う。

図２は、撮像ユニット１０１の概略構成を示す模式図である。
図３は、撮像ユニット１０１に設けられる撮像部２００の概略構成を示す説明図である。
撮像ユニット１０１は、撮像部２００と、光源２０２と、これらを収容する撮像ケース２０１とから構成されている。撮像ユニット１０１は自車両１００のフロントガラス１０５の内壁面側に設置される。撮像部２００は、図３に示すように、撮像レンズ２０４と、光学フィルタ２０５と、画像センサ２０６とから構成されている。光源２０２は、フロントガラス１０５に向けて光を照射し、その光がフロントガラス１０５の外壁面で反射したときにその反射光が撮像部２００へ入射するように配置されている。

本実施形態１において、光源２０２は、フロントガラス１０５の外壁面に付着した付着物（以下、付着物が雨滴である場合を例に挙げて説明する。）を検出するためのものである。フロントガラス１０５の外壁面に雨滴２０３が付着している場合、光源２０２から照射された光は、フロントガラス１０５の外壁面と外気との界面で反射し、その反射光が撮像部２００へ入射する。このような撮像部２００の撮像画像データから、フロントガラス１０５に付着する雨滴２０３の検出を行う。

また、本実施形態１において、撮像ユニット１０１は、図２に示すとおり、撮像部２００や光源２０２を、フロントガラス１０５とともに撮像ケース２０１で覆っている。このように撮像ケース２０１で覆うことにより、フロントガラス１０５の内壁面が曇るような状況であっても、撮像ユニット１０１で覆われたフロントガラス１０５が曇ってしまう事態を抑制できる。よって、フロントガラス１０５の曇りによって画像解析ユニット１０２が誤解析するような事態を抑制でき、画像解析ユニット１０２の解析結果に基づく各種制御動作を適切に行うことができる。

ただし、フロントガラス１０５の曇りを撮像部２００の撮像画像データから検出して、例えば自車両１００の空調設備を制御する場合には、撮像部２００に対向するフロントガラス１０５の部分が他の部分と同じ状況となるように、撮像ケース２０１の一部に空気の流れる通路を形成してもよい。

ここで、本実施形態１では、撮像レンズ２０４の焦点位置は、無限遠又は無限遠とフロントガラス１０５との間に設定している。これにより、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像部２００の撮像画像データから適切な情報を取得することができる。

例えば、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス１０５との間に焦点が合っている方が、多少ピンボケして、雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高い。

図４は、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
図５は、無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４に示すように、雨滴に映り込んだ背景画像２０３ａまでが撮像される。このような背景画像２０３ａは雨滴２０３の誤検出の原因となる。また、図４に示すように雨滴の一部２０３ｂだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状すなわち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きく、また認識精度の低下を招く。

これに対し、無限遠に焦点が合っている場合には、図５に示すように、多少のピンボケが発生する。そのため、背景画像２０３ａの映り込みが撮像画像データに反映されず、雨滴２０３の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり、雨滴画像の形状は常に略円形状となる。よって、雨滴２０３の形状認識処理の負荷が小さく、また認識精度も高い。

ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。

撮像ユニット１０１の光源２０２には、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いることができる。また、光源２０２の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ２０６の受光感度がおよぶ範囲の波長、例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域の波長を選択するのが好ましい。本実施形態１の光源２０２は、赤外光領域の波長を有する光を照射するものである。

ここで、フロントガラス１０５で反射した光源２０２からの赤外波長光を撮像部２００で撮像する際、撮像部２００の画像センサ２０６では、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。

そこで、本実施形態１においては、例えば、図６に示すように光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図７に示すように透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を画像センサ２０６で受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、画像センサ２０６で受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源２０２でなくても、光源２０２からの光を外乱交と区別することが可能となる。

ただし、本実施形態１においては、撮像画像データから、フロントガラス１０５上の雨滴２０３を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ２０６で受光できず、これらの検出に支障をきたす。

そこで、本実施形態１では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去するフィルタ（以下、「雨滴検出用フィルタ」という場合もある。）を、光学フィルタ２０５に配置している。すなわち、雨滴検出用画像領域は、撮像領域のうち、雨滴検出用フィルタが存在する領域を撮像した撮像画像データの領域である。また、車両検出用画像領域は、撮像領域のうち、雨滴検出用フィルタが存在しない領域を撮像した撮像画像データの領域である。

図８（ａ）は、光学フィルタ２０５の断面図である。
本実施形態１の光学フィルタ２０５は、図８（ａ）に示すように、基板２２１の撮像レンズ側２０５ａの面には、赤外光および可視光相当を透過する分光フィルタ層２２４が形成されている。また、基板２２１の画像センサ側２０５ｂの面には、偏光フィルタ層２２２、ＳＯＧ（Ｓｐｉｎ Ｏｎ Ｇｌａｓｓ）層２２３、雨滴検出用フィルタである赤外光透過フィルタ２１２が順に形成されている。

このようにフィルタ層を光学フィルタ２０５の基板２２１の両面に形成することにより、光学フィルタ２０５の反りを抑制することが可能となる。基板２２１の片側面の面にだけ多層膜を形成すると応力がかかり、反りが生じる。しかしながら、図８（ａ）のように基板２２１の両面に多層膜を形成した場合は、応力の効果が相殺されるため、反りを抑制することができる。

ここで、基板２２１は、可視光域に対して透明な材料、例えば、ガラス、サファイア、水晶などで構成することができる。本実施形態１では、ガラス、特に、安価で、また耐久性もある石英（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を基板２２１の材料として用いる。

また、基板２２１の光学フィルタ２０５ａ側の面に形成された分光フィルタ層２２４は、波長範囲４００ｎｍ〜６７０ｎｍのいわゆる可視光領域と、波長範囲９４０〜９７０ｎｍの赤外光領域の双方を透過するフィルタである。なお、可視光領域は車両周辺情報を検出するのに用い、赤外光領域は雨滴を検出するために用いる。また、分光フィルタ層２２４は、波長７００〜９４０ｎｍの範囲の光を透過しない（透過率５％以下が望ましい）。これは、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、例えばテールランプの検出精度を向上させることができる。

また、光学フィルタ２０５ｂ側の面に形成された偏光フィルタ層２２２は、Ｓ偏光成分をカットし、Ｐ偏光成分のみを透過するフィルタである。この偏光フィルタ層２２２により、外乱要因や不要反射光（映りこみ光）をカットすることができる。

本実施形態１では、偏光フィルタ層２２２は、ワイヤグリッド偏光子で形成されている。ワイヤグリッドは、アルミなどの金属で構成された導電体線が特定のピッチで格子状に配列してなるものであり、そのピッチが入射光（例えば、可視光の波長４００ｎｍから８００ｎｍ）に比べてかなり小さいピッチ（例えば、２分の１以下）であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。

なお、ワイヤグリッド偏光子においては、金属ワイヤ断面積が増加すると、消光比が増加すること、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。ワイヤグリッドの断面構造において溝方向の偏光方向の光が入射したときは遮光し、溝と直交する方向の偏光方向の光が入射したときは透過する。

本実施形態１では、偏光フィルタ層２２２の偏光子として、ワイヤグリッド構造を用いているため、以下のような利点がある。すなわち、ワイヤグリッド構造は、よく知られる半導体プロセス、すなわちアルミ薄膜を蒸着した後にパターニングを行いメタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成すればよい。よって、撮像素子の画素サイズ相当（数ミクロンレベル）で偏光子の方向を調整することが可能であるため、本実施例のような画素単位で透過偏光軸が選択できる。また、ワイヤグリッド構造は上述のとおり、アルミなどの金属で作製されるため、耐熱性に優れ、車載用途には好適である。

本実施形態１のＳＯＧ層２２３は、使用帯域の光に透明な基板と、基板上で直線状に延びたワイヤグリッドの凸部は使用帯域の光の波長よりも小さいピッチで配列されている。そのアルミ凸部の間には基板２２１よりも屈折率の低いか同等の無機材料が充填された充填部が形成されてなる。この充填部はワイヤグリッド構造の凸部も覆うように形成されてなる。

ＳＯＧ層２２３の形成材料としては、偏光フィルタ層２２２の偏光子の偏光特性を劣化させないために、その屈折率が空気の屈折率＝１に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、ポーラスシリカ（ＳｉＯ₂）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ₂Ｏ₃）などが挙げられる。また、これらの低屈折率の程度はセラミックス中の空孔の数や大きさ（ポーラス度）によって決まるものである。このうち、特に、基板２２１の主成分がシリカの水晶やガラスからなる場合にはポーラスシリカ（ｎ＝１．２２〜１．２６）であれば、基板２２１よりも屈折率が小さくなり好適である。

ＳＯＧ層２２３の形成方法としては、無機系塗布膜（ＳＯＧ）生成方法を用いる。すなわち、シラノール［Ｓｉ(ＯＨ)₄］をアルコールに溶かした溶剤を基板上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。

ＳＯＧ層２２３を用いることにより、偏光フィルタ層２２２がサブ波長サイズのワイヤグリッド構造であるため、ＳＯＧ層２２３の上に形成される赤外光透過フィルタ２１２に比べ強度的には弱い。とくに光学フィルタ２０５は、画像センサ２０６に密着配置することが望まれるため、そのハンドリングにおいては光学フィルタ２０５と画像センサ２０６の撮像素子面が接触する可能性もあるが、強度的に弱い偏光フィルタ層２２２はＳＯＧ層２２３で保護されているため、ワイヤグリッド構造を損傷することなく光学フィルタ２０５タを実装することができる。なお分光フィルタ層２２４もＳＯＧ層２２３で保護することも可能である。

また、ＳＯＧ層２２３を設けることにより、ワイヤグリッド部への付着物進入も抑制できる。ワイヤグリッドの凸部の高さは一般に使用波長の半分以下で構成される。一方、分光フィルタは使用波長同等から数倍の高さとなり、かつ厚みを増すほど遮断波長での透過率特性を急峻に出来る。そして、ＳＯＧ層２２３は厚さが増すほど、その上面の平坦性確保が難しくなるとともに、充填領域の均質性が損なわれるなどの理由により、厚くするのは適切ではない。本実施形態１では偏光フィルタ層２２２をＳＯＧ層２２３で覆ったのちに赤外光透過フィルタ２１２を形成しているため、ＳＯＧ層２２３を安定的に形成することができる。またＳＯＧ層２２３の上面に形成する赤外光透過フィルタ２１２もその特性を最適に形成することが可能である。

図８（ｂ）は、光学フィルタ２０５の画像センサ側の正面図である。
図９は、撮像画像データの画像例を示す説明図である。
光学フィルタ２０５は、図８（ｂ）に示すように、車両検出用画像領域２１３である撮像画像中央部（撮像領域の高さ２／４に相当する部分）に対応する箇所に配置される領域２１１と、雨滴検出用画像領域２１４である撮像画像上部（撮像領域高さ１／４に相当する部分）及び撮像画像下部（撮像領域高さ１／４に相当する部分）に対応する箇所に配置される赤外光透過フィルタ２１２とに、領域分割されている。赤外光透過フィルタ２１２には、図６に示したカットフィルタや図７に示したバンドパスフィルタを用いる。

対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像上下方向中央部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在し、撮像画像上部には自車両前方の空の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像下部や上部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図９に示すように、撮像画像下部と上部を雨滴検出用画像領域２１４とし、残りの撮像画像中央部を車両検出用画像領域２１３とし、これに対応して赤外光透過フィルタ２１２を設けるのが好適である。

ただし、本実施形態１においては、撮像画像上部を雨滴検出用画像領域２１４とし、残りの撮像画像中央部及び下部を車両検出用画像領域２１３とする。これは、後述するように、雨滴検出用の撮像フレームのフレーム時間を短くするのに好適だからである。

撮像部２００の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態１では、撮像画像下部に対応する箇所に図６に示したカットフィルタや図７に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。

ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態１では、後述するように、光学フィルタ２０５の後段フィルタ２２０に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ（テールランプの色の波長帯のみを透過させるフィルタ）を配置し、赤色光の受光量を検知できるようにしている。

ただし、本実施形態１の画像センサ２０６を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態１では、光学フィルタ２０５の前段フィルタ２１０において、車両検出用画像領域２１３に対応する箇所を赤外光カットフィルタ領域２１１としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。

図１０は、本実施形態１における撮像部２００の詳細を示す説明図である。
この撮像部２００は、主に、撮像レンズ２０４と、光学フィルタ２０５と、受光素子が２次元配置された画素アレイを有する画像センサ２０６を含んだセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８とから構成されている。被写体（識別対象物）を含む撮像領域からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、画像センサ２０６でその光強度に応じた電気信号に変換される。信号処理部２０８では、画像センサ２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、画像センサ２０６上における各画素の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。

図１１は、光学フィルタ２０５と画像センサ２０６とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ２０６は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などを用いた受光素子であり、画素ごとにフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側にはマイクロレンズ２０６Ｂが設けられている。この画像センサ２０６がワイヤボンディングなどの手法によりＰＷＢ（Ｐｒｉｎｔｅｄ Ｗｉｒｉｎｇ Ｂｏａｒｄ）に接合されてセンサ基板２０７が形成されている。

画像センサ２０６の露光方式としては、全受光素子で同時に受光（同時露光）して各受光素子の信号を読み出すグローバルシャッタ方式や、所定の受光素子ラインごとに順次受光（ライン露光）して各受光素子の信号を読み出すローリングシャッタ方式を採用することができる。本実施形態１ではローリングシャッタ方式を採用する例について説明する。

光学フィルタ２０５と画像センサ２０６はＵＶ接着剤で接合してもよいし、撮影に用いる有効画素範囲外をスペーサなどで支持した状態で有効画素外の四辺領域でＵＶ接着や熱圧着してやればよい。光学フィルタ２０５と画像センサ２０６を密着接合することにより、雨滴検出用画像領域２１４と車両検出用画像領域２１３の境界が明確になり、雨滴有無の判別精度が上げられる。

次に、本実施形態１による、ワイパー１０７やウォッシャーを制御するための付着物検出が可能である。ここで、付着物とは、雨滴であるが、この他、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどを含めることもできる。

図１２は、付着物検出を説明するための図である。
光源２０２は、フロントガラスの外側面の正反射光が撮像レンズの光軸と略一致するように配置される。撮像部２００が受光する光線について、図中の光線Ａ〜Ｅの標記を用いて説明する。

光線Ａは、光源２０２から出射してフロントガラスを通過した光線であり、フロントガラス１０５の撮像部２００から見て外側に雨滴が付着していない場合はそのまま外部に漏れる。なお、光源２０２としてはアイセーフ帯の波長・光量の光源を選択されるとともに、図１２に示すように上側に向けて光を出力することにより安全性がより図られている。

光線Ｂは、光源２０２からの出射光のうち、フロントガラス１０５の内壁面に入射するときにその内壁面で反射された光線である。一般に、光線Ｂの偏光成分は、Ｓ偏光成分であることが知られている。このような光は、本来の雨滴検出にとっては不要光となり誤検出の原因となるが、本実施形態１では、光学フィルタ２０５の偏光フィルタ層２２２によりＳ偏光成分をカットされるようになっているため不要光を除去することが可能である。

光線Ｃは、光源２０２からの出射光のうち、フロントガラス１０５の内壁面で反射されずにフロントガラス１０５内を透過し、画像センサ２０６に入射する光線である。フロントガラス１０５内に入射した光は、フロントガラス１０５の外壁面に雨滴が付着している場合にはその雨滴内部で多重反射して撮像部２００側に向けて再度フロントガラス内を透過し、撮像部の光学フィルタ２０５に到達する。フロントガラス１０５内を透過した光線Ｃの成分は、Ｐ偏光成分がＳ偏光成分に比べて多くなるので、分光フィルタ層２２４を透過し、続く偏光フィルタ層２２２ではＰ偏光成分が透過するようにワイヤグリッド構造の溝方向が形成されているため、ここをも通過する。このとき、雨滴検出用画像領域に対応して光源２０２の波長に合わせた赤外光透過フィルタ２１２が形成されているが、光線Ｃはここを透過し、画像センサ２０６に到達する。

光線Ｄは、光源２０２ではなく、フロントガラス１０５の外側から入射して撮像部２００に到達する光のうち、雨滴検出用画像領域に対応する画像センサ部分に到達する光線であり。この光線Ｄは、赤外光透過フィルタでその多くがカットされるので、雨滴検出用画像領域についてはフロントガラス１０５外側の外乱光もカットされる構成となっている。

光線Ｅは、雨滴検出用画像領域以外の画像領域、すなわち赤外光透過フィルタ２１２が存在しない車両検出用画像領域に対応する光学フィルタ部分を通過する光線である。この光線Ｅは、可視域および赤外光のみ透過するとともに、Ｐ偏光成分のみとなり不要光がカットされた状態で画像センサ２０６に到達し、各種アプリケーション用の信号として検出される。

光源２０２は、雨滴と空気の境界面のいずれかの面での反射光が撮像されるように、フロントガラス１０５への入射角度が設定される。雨滴からの反射光が最も強くなるレイアウトは、図１２に示すように、フロントガラス１０５面の法線に対して撮像部２００の光軸と略反対側の位置に設置された場合、および撮像部２００の光軸とほぼ同じ光軸となるように配置した場合であり、反射光が最も小さいのはフロントガラス１０５の法線と光源の光軸がほぼ一致した場合である。

なお、光源２０２は、赤外光透過フィルタ２１２の領域にのみ照射するように配置することができる。これにより、車両検出用画像領域からのノイズ成分を回避することができる。また、光源２０２を複数設けてもよい。この場合は、偏光フィルタ層２２２の各領域の偏光子パタンは、複数の光源２０２のうち偏光子パタンへの入射光量が最も大きい光源がフロントガラス１０５へ向かって出射する光の光軸と、撮像レンズの光軸との２つの光軸で形成される面に対して平行な偏光成分のみを透過するように設定される。

光源２０２の発光方法としては、連続発光（ＣＷ発光ともいう。）の他、特定のタイミングでパルス発光させてもよい。発光のタイミングと撮影のタイミングとを同期することにより、外乱光による影響をより減少させることができる。また、複数の光源２０２を設置した場合には、複数の光源２０２を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと撮影のタイミングとを同期することにより、外乱光による影響をより減少させることができる。

ここで、発明者らが撮影した実験結果を図１３、図１４に示す。
図１３は雨滴が付着している状態の実験結果を示す図である。
図１４は雨滴が付着していない状態の実験結果を示す図である。
なお、この実験結果を示す図は、画像領域の下部が雨滴検出用画像領域となっている例である。

図１５は、雨滴量が異なる雨滴検出用画像領域の状態を示す拡大図である。
図１５に示す撮影画像の輝度の標準偏差値を計算すると、それぞれ、左の画像から、２０、２７、３９となり、輝度の標準偏差値と雨量との間には相関があることがわかる。このため、本実施形態１では、画像解析ユニット１０２において、雨滴検出用画像領域の撮像画像から、輝度の標準偏差値に関する値を算出し、この標準偏差値に基づき、雨量の測定を行っている。なお、標準偏差に代えて分散値を用いてもよい。

次に、本実施形態１における撮像部２００の撮像動作について説明する。
本実施形態１の撮像部２００は、自車両１００の前方領域からの光を受光して前方領域に存在する物体（他車両、白線、路面、人物、障害物等）を認識するための物体認識用画像を取得するための物体認識用フレームと、光源２０２からの光を照射してフロントガラス上の雨滴を検出するための雨滴検出用画像を取得するための雨滴検出用フレームとを個別に撮像する。具体的には、物体認識用フレームを複数枚撮像するたびに１枚の雨滴検出用フレームを撮像するという一連の撮像動作を繰り返し行う。

図１６は、比較例における撮像動作の一例を簡易的に示したタイミングチャートである。
図１６には、フレーム同期信号、ライン読出信号、フレーム番号、露光期間が同じ時間軸にそって並べて表示されている。露光期間については、縦軸方向が受光素子ラインの位置に対応している。画像センサ２０６の各受光素子の受光量は、ライン読出信号に合わせて受光素子ラインごとに読み出されて出力される。

図１７（ａ）は、センシング用フレームにおける、ローリングシャッタ方式によるデータ読み出しタイミングと露光期間の関係を説明する説明図である。
図１７（ｂ）は、雨滴検出用フレームにおける、ローリングシャッタ方式によるデータ読み出しタイミングと露光期間の関係を説明する説明図である。
本実施形態１（本比較例も同様）は、ローリングシャッタ方式を採用しており、センシング用フレームでは、図１７（ａ）に示すように、画像センサ２０６の受光素子ライン・・・，Ｎ，Ｎ＋１，Ｎ＋２，・・・ごとのライン読出信号（水平同期信号）の各タイミングを基準にして、設定された露光時間に応じた受光開始時間が受光素子ラインごとに異なる。雨滴検出用フレームでも、図１７（ｂ）に示すように、画像センサ２０６の受光素子ライン・・・，Ｍ，Ｍ＋１，Ｍ＋２，・・・ごとのライン読出信号（水平同期信号）の各タイミングを基準にして、設定された露光時間に応じた受光開始時間が受光素子ラインごとに異なる。

本実施形態１（本比較例も同様）は、車両検出用画像領域２１３の画像を取得するための４つの物体認識用フレームとしてのセンシング用フレームと、雨滴検出用画像領域２１４の画像を取得するための１つの付着物検出用フレームとしての雨滴検出用フレームを、順次撮像するという撮像動作を繰り返し行う。

フレーム番号Ｂ０の撮像フレームは、車線維持制御（ＬＤＷ：Lane Departure Warning）に用いられるセンシング用フレームである。この撮像フレームＢ０は、撮像動作時の露光時間が所定の時間範囲内で自動露光制御される自動露光フレームである。したがって、例えば、昼間のように明るい環境下であれば短い露光時間が設定され、夜間のように暗い環境下であれば長い露光時間が設定される。

フレーム番号Ａ１の撮像フレームは、ヘッドランプの配光制御（ＡＨＢ：Auto High Beam）に用いられるセンシング用フレームである。この撮像フレームＡ１は、撮像動作時の露光時間が固定である固定露光フレームである。

フレーム番号Ｂ２の撮像フレームは、衝突回避制御（ＦＣＷ：Front Collision Warning）に用いられるセンシング用フレームである。この撮像フレームＢ２は、撮像動作時の露光時間が所定の時間範囲内で自動露光制御される自動露光フレームである。

フレーム番号Ａ３の撮像フレームは、第２フレーム目の撮像フレームと同様、ヘッドランプの配光制御に用いられるセンシング用フレームで、撮像動作時の露光時間が固定である固定露光フレームである。

フレーム番号Ｒ４の撮像フレームは、ワイパーの駆動制御等に用いられる雨滴検出用フレームである。この撮像フレームＲ４は、撮像動作時の露光時間がごく短時間に固定された固定露光フレームである。雨滴検出用画像領域２１４の画像を取得するための１つの雨滴検出用フレームは、光源２０２からの比較的強い光を受光することから、画像センサ２０６の信号が飽和してしまうのを防ぐために、光源２０２からの照明光以外の外乱光の影響を小さくするために、なるべく露光時間を短くするのが好ましい。また、光源２０２からの光量はほぼ一定であることから、固定露光時間とすることができる。

本実施形態１（比較例も同様）においては、センシング用フレームＢ０〜Ａ３の撮像を所定回数（例えば７回）繰り返した後に１回の雨滴検出用フレームＲ４の撮像を行うという撮像動作を繰り返し実行する。

本実施形態１（比較例も同様）では、図１６に示すように、センシング用フレームＢ０〜Ａ３のフレーム時間Ｆｔよりも、雨滴検出用フレームＲ４のフレーム時間Ｒｔが短く設定されている。雨滴検出用フレームＲ４の露光時間は、上述したとおり、光源２０２からの強い光を受光することを考慮して、センシング用フレームＢ０〜Ａ３で設定される露光時間よりも大幅に短いので、雨滴検出用フレームＲ４のフレーム時間Ｒｔをセンシング用フレームＢ０〜Ａ３のフレーム時間Ｆｔよりも短く設定できる。しかも、本実施形態１では、雨滴検出用フレームＲ４で撮像する雨滴検出用画像領域の受光素子ラインが、センシング用フレームＢ０〜Ａ３で撮像する車両検出用画像領域よりも数が少なく、かつ、画像センサから初めに読み出される受光素子ライン部分（撮像画像上部に対応する部分）であることから、雨滴検出用フレームＲ４のフレーム時間Ｒｔをセンシング用フレームＢ０〜Ａ３のフレーム時間Ｆｔよりも特に短く設定できるようになっている。

ところが、比較例においては、雨滴検出用フレームＲ４の直後のセンシング用フレームＢ０が自動露光制御される自動露光フレームである。そのため、トンネル内や夜間などの暗い環境下などにおいては、図１６に示すように、センシング用フレームＢ０の露光時間が長く設定され、センシング用フレームＢ０における各受光素子の受光開始時期が早くなる場合がある。そして、雨滴検出用フレームＲ４のフレーム時間Ｒｔが短く設定されていることから、その直後のセンシング用フレームＢ０の露光時間が長く設定されると、図１６に示すように、雨滴検出用フレームＲ４の露光期間ＥＲ４にその直後のセンシング用フレームＢ０の露光期間ＥＢ０が重なる事態が起こり得る。このような事態が起こると、雨滴検出用フレームＲ４及びその直後のセンシング用フレームＢ０の少なくとも一方のフレームについて正常な受光量データを取得できなくなる。

〔構成例１〕
図１８は、本実施形態１における撮像動作の一例を簡易的に示したタイミングチャートである。
本実施形態１では、雨滴検出用フレームＲ４の直後のセンシング用フレームＢ０については、自動露光制御により変更可能な露光時間の上限値が雨滴検出用フレームＲ４の露光期間ＥＲ４に当該センシング用フレームＢ０の露光期間ＥＢ０’が重ならない露光時間以下に設定されている。そのため、トンネル内や夜間などの暗い環境下であっても、露光制御ユニット１０９により、センシング用フレームＢ０の露光時間が当該上限値を超えて設定されることはない。よって、図１８に示すように、雨滴検出用フレームＲ４の露光期間ＥＲ４に当該センシング用フレームＢ０の露光期間ＥＢ０’が重なる事態が起こらない。

ただし、本実施形態１では、雨滴検出用フレームＲ４の露光期間ＥＲ４中に光源２０２から光が照射されている関係で、その直後のセンシング用フレームＢ０に光源２０２からの光が影響しないように、一定のマージンをもたせている。詳しくは、雨滴検出用フレームＲ４の露光期間ＥＲ４の終期（最後に読み出されるラインのライン読出信号のタイミング）と、その直後のセンシング用フレームＢ０の露光期間ＥＢ０の始期（最後に読み出されるラインのライン読出信号のタイミング）との間に、一定のブランク期間Ｇｔが設けられるようにしている。

ここで、雨滴検出用フレームＲ４の直後に位置しないセンシング用フレームＢ０については、自動露光制御により変更可能な露光時間の上限値を制限する必要はない。よって、本実施形態１では、暗い環境下であれば、図１８に示すように、雨滴検出用フレームＲ４の直後に位置しないセンシング用フレームＢ０の露光時間が通常どおり長く設定される。そのため、暗い環境下においては、雨滴検出用フレームＲ４の直後のセンシング用フレームＢ０の露光時間ＥＢ０’と、雨滴検出用フレームＲ４の直後ではないセンシング用フレームＢ０との間で露光時間ＥＢ０とが異なるものとなる。このようなセンシング用フレームＢ０間で露光時間の違いが生じると、両者の間で全体的な受光量の違いが生まれ、白線認識精度を低下させるなどの不具合を引き起こすおそれがある。

そこで、本実施形態１において、画像解析ユニット１０２は、画像変換手段として機能し、雨滴検出用フレームＲ４の直後ではないセンシング用フレームＢ０の露光時間ＥＢ０が前記上限値を超えて設定されたとき、雨滴検出用フレームＲ４の直後のセンシング用フレームＢ０で撮像した撮像画像を、当該露光時間ＥＢ０に基づいて、当該露光時間ＥＢ０に対応した撮像画像へと変換する画像変換処理を実施する。具体的には、例えば、雨滴検出用フレームＲ４の直後のセンシング用フレームＢ０で画像センサ２０６から出力される信号値（受光量）を、そのセンシング用フレームＢ０の露光時間ＥＢ０’と雨滴検出用フレームＲ４の直後ではないセンシング用フレームＢ０の露光時間ＥＢ０との差分に応じて増大させる。これにより、センシング用フレームＢ０間における露光時間の違いに基づく信号値（受光量）の違いが軽減され、白線認識精度の低下を抑制することができる。

〔構成例２〕
本実施形態１は、雨滴検出用フレームＲ４の直後のセンシング用フレームＢ０について自動露光制御の露光時間の上限値を制限する一例であるが、他の例でも、当該センシング用フレームＢ０の露光期間ＥＢ０’が雨滴検出用フレームＲ４の露光期間ＥＲ４に重なる事態を防止することは可能である。
例えば、雨滴検出用フレームＲ４の直後のセンシング用フレームＢ０については、自動露光制御を行わず固定の露光時間とする例が挙げられる。このときの固定露光時間は、雨滴検出用フレームＲ４の露光期間ＥＲ４に当該センシング用フレームＢ０の露光期間ＥＢ０’が重ならない露光時間以下に設定される。

この例においても、センシング用フレームＢ０間で露光時間の違いが生じることになる。よって、雨滴検出用フレームＲ４の直後に位置する固定露光時間に設定されたセンシング用フレームＢ０で撮像した撮像画像については、雨滴検出用フレームＲ４の直後に位置しない自動露光制御されたセンシング用フレームＢ０の露光時間ＥＢ０に基づいて、当該露光時間ＥＢ０に対応した撮像画像へと変換する画像変換処理を実施するのがよい。

〔構成例３〕
センシング用フレームＢ０の露光期間ＥＢ０’が雨滴検出用フレームＲ４の露光期間ＥＲ４に重なる事態を防止する他の例としては、図１９に示す例が挙げられる。
この例は、図１９に示すように、車線維持制御に用いられるセンシング用フレームＢ０とヘッドランプの配光制御に用いられるセンシング用フレームＡ１の位置を入れ替え、雨滴検出用フレームＲ４の直後に、固定露光時間のセンシング用フレームＡ１が位置するようにしたものである。このときの固定露光時間は、雨滴検出用フレームＲ４の露光期間ＥＲ４に当該センシング用フレームＡ１の露光期間ＥＡ１が重ならない露光時間以下に設定される。

この例においては、センシング用フレームＡ１間で露光時間の違いが生じることがないので、上述した画像変換処理を実施する必要はない。

次に、本実施形態１における光源２０２の発光制御について説明する。
雨滴検出用フレームＲ４で撮像する撮像画像は、雨滴検出用画像領域のみで十分であるため、雨滴検出用フレームＲ４で読み出すデータは、雨滴検出用画像領域に対応するライン分、すなわち、撮像画像の上部に対応するライン分だけでよい。そのため、光源２０２で光を照射すべき期間も、雨滴検出用画像領域に対応するラインの露光期間だけでよい。

光源２０２から光が照射されている期間は、その光が車両検出用画像領域に対応する画像センサ部分にも入射し、車両検出用画像領域の外乱光となり得る。よって、雨滴検出用画像領域に対応するラインの露光期間だけ光源２０２から光を照射するように光源２０２を発光制御すれば、雨滴検出用フレームＲ４のフレーム時間を短くしても、光源２０２からの光がその前後に位置するセンシング用フレームＡ３，Ｂ０の外乱光となることはない。

図２０は、雨滴検出用フレームＲ４におけるライン読出信号と光源２０２の発光タイミングとの関係の一例を示すタイミングチャートである。
雨滴検出用フレームＲ４で雨滴検出用画像領域に対応するライン分の露光期間は、常に光源２０２を発光させるように制御してもよい。この場合、雨滴検出用画像領域に対応する全ラインについて、光源２０２が発光している状態のデータが取得できる。ただし、この場合、光源２０２からの光以外の外乱光が画像センサ２０６に入射する状況だと、その外乱光成分の誤差が含まれたデータとなる。

本実施形態１においては、１つの雨滴検出用フレームＲ４で雨滴検出用画像領域に対応するライン分の露光期間中に、光源２０２がＯＮとＯＦＦする期間が少なくとも１回ずつ存在するように、光源２０２を発光制御する。本実施形態１では、１ラインごとに光源２０２がＯＮ／ＯＦＦするように光源２０２を発光制御する。なお、例えば２ラインごとに光源２０２がＯＮ／ＯＦＦするように光源２０２を発光制御するようにしてもよい。各ラインの露光期間内における光源２０２の発光時期は、図２１に示すように各ラインの露光期間の最初の時期であってもよいし、図２２に示すように各ラインの露光期間の最後の時期であってもよい。

次に、本発明者らが行った実験例について説明する。
本実験例では、本実施形態１のように１ラインごとに光源２０２がＯＮ／ＯＦＦするように光源２０２を発光制御して雨滴検出が適切に実施できるかどうかを確認する。

図２３は、光源２０２がＯＮであるときの外乱光が含まれる雨滴検出用画像領域の画像例を示すものである。
図２４は、光源２０２がＯＮであるときの外乱光が含まれない雨滴検出用画像領域の画像例を示すものである。
図２５は、図２３に示す画像例において光源光が映し出されている画像部分を拡大した図である。
図２５に示すように、光源２０２のＯＮ／ＯＦＦに応じて１ラインごとに高いコントラストが得られていることがわかる。

〔実施形態２〕
次に、本発明に係る撮像装置を適用した移動体機器制御システムの他の実施形態（以下、本実施形態を「実施形態２」という。）について説明する。
なお、本実施形態２は、撮像ユニット１０１の構成が一部異なる点を除いて、実施形態１とほぼ同様であるため、以下、実施形態１とは異なる点を中心に説明する。

図２６は、本実施形態２における撮像ユニット１０１の概略構成を示す模式図である。
本実施形態２の撮像ユニット１０１においては、光源２０２から出射した光は、図２６の光路で示されるように、フロントガラス１０５の内壁面に設けられた反射偏向部材としてのプリズム２３０に入射することにより、フロントガラス１０５の外壁面上で全反射して撮像レンズ２０４に入射し、センサ基板２０７上の画像センサ２０６で受光される。

一方、フロントガラス１０５の外壁面に雨滴が付着した箇所においては、光源２０２から出射した光がフロントガラス１０５の外壁面を透過するため、画像センサ２０６で受光されることはない。上述した実施形態１では、光源２０２から出射した光がフロントガラス１０５の外壁面を透過する一方、フロントガラス１０５の外壁面に雨滴が付着した箇所ではその雨滴内部で乱反射した光が画像センサ２０６で受光される。

したがって、本実施形態２においては、上述した実施形態１の雨滴検出用画像領域の画像を反転させたような画像が得られることになる。すなわち、上述した実施形態１では、図１５に示したように、雨滴付着箇所の輝度が高い画像が得られるのに対し、本実施形態２では、図２７に示すように、雨滴付着箇所の輝度が低い画像が得られる。したがって、上述した実施形態では、画素値の総和が大きいほど雨量が多いという関係になるが、本実施形態２においては、画素値の総和が小さいほど雨量が多いという関係になる。

以上、上述した実施形態１及び２の移動体機器制御システムで実行される各種処理は、ハードウェアで実現することができる他、ソフトウェアで実現することもできる。ソフトウェアで実現する場合、各種処理を実現するためにコンピュータを機能させるプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
光源２０２からの光をフロントガラス１０５等の光透過性部材に照射して該光透過性部材に付着した雨滴２０３等の付着物を検出するための付着物検出用画像を取得するための雨滴検出用フレームＲ４等の付着物検出用フレームを画像センサ２０６により撮像した後に、前記光源以外の光を受光して前記付着物以外の他車両、白線、路面、人物、障害物等の物体を認識するための物体認識用画像を取得するためのセンシング用フレームＢ０〜Ａ３等の物体認識用フレームを前記画像センサにより複数枚撮像するという一連の撮像動作を繰り返す撮像装置であって、前記付着物検出用フレームのフレーム時間Ｒｔは、前記物体認識用フレームのフレーム時間Ｆｔよりも短く設定されており、前記付着物検出用フレームの直後の物体認識用フレームＢ０（構成例３においてはＡ１）における露光時間は、該付着物検出用フレームの露光期間ＥＲ４に該物体認識用フレームの露光期間ＥＢ０’（構成例３においてはＥＡ１’）が重ならない露光時間に設定されることを特徴とする。
本態様では、付着物検出用フレームＲ４のフレーム時間Ｒｔが物体認識用フレームのフレーム時間Ｆｔよりも短く設定されているが、付着物検出用フレームＲ４の露光期間ＥＲ４にその直後のセンシング用フレームＢ０の露光期間ＥＢ０’が重なる事態が起こらない。付着物検出用フレームＲ４の露光期間ＥＲ４にその直後のセンシング用フレームＢ０の露光期間ＥＢ０’が重ならなければ、雨滴検出用フレームＲ４及びその直後のセンシング用フレームＢ０の両方について正常な受光量データを取得できる。よって、付着物検出用フレームＲ４のフレーム時間Ｒｔを短く設定しても、雨滴検出用フレームＲ４及びその直後のセンシング用フレームＢ０の両方について正常な受光量データを取得できる。
なお、付着物検出用フレーム及びその直後のセンシング用フレームの両方について正常な受光量データを取得する方法としては、当該センシング用フレームの露光時間に応じて、付着物検出用フレームとその直後のセンシング用フレームとの間にブランク時間を設ける方法が考えられる。この方法であれば、当該センシング用フレームの受光開始時期が直前の付着物検出用フレームの露光期間に重ならないようにすることも可能であるが、ブランク時間を設けた分だけ、付着物検出用フレームの前後のセンシング用フレームの間の時間間隔が広がる。よって、上述したように、前後のセンシング用フレームの間で撮像領域内の状況変化が大きくなるので、物体認識精度が低下するなどの不具合を引き起こす。また、この方法だと、ブランク時間を設けた後のフレームタイミングがズレてしまい、例えばフレーム数で経過時間を把握するようなアプリケーションなどでは正常な経過時間を把握できなくなるなどの不具合も発生する。本態様によれば、このようなブランク時間を設けることなく、付着物検出用フレーム及びその直後のセンシング用フレームの両方について正常な受光量データを取得することが可能である。

（態様Ｂ）
前記態様Ａにおいて、前記物体認識用フレームは、露光時間を変更する自動露光制御により前記画像センサを制御した状態で撮像する自動露光フレームＢ０，Ｂ２と、該画像センサにより固定露光時間で撮像する固定露光フレームＡ１，Ａ３とを含んでおり、前記付着物検出用フレームの直後の物体認識用フレームは、前記固定露光フレームＡ１であって、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない固定露光時間に設定されたものであることを特徴とする。
これによれば、前記構成例３で説明したとおり、付着物検出用フレームＲ４の露光期間ＥＲ４にその直後のセンシング用フレームＡ１の露光期間ＥＡ１’が重なる事態が起こらないので、付着物検出用フレームＲ４のフレーム時間Ｒｔを短く維持したまま、雨滴検出用フレームＲ４及びその直後のセンシング用フレームＡ１の両方について正常な受光量データを取得できる。

（態様Ｃ）
前記態様Ｂにおいて、前記付着物検出用フレームＲ４の直後の固定露光フレームＡ１で撮像した物体認識用画像を、前記自動露光フレームを撮像したときの露光時間に基づいて、該露光時間に対応した物体認識用画像へ変換する画像解析ユニット１０２等の画像変換手段を有することを特徴とする。
これによれば、固定露光フレームで撮像された物体認識用画像を、自動露光フレームの露光時間に換算した画像へと変換することができるので、両フレーム間における露光時間の違いに起因した処理誤差等を軽減することができる。

（態様Ｄ）
前記態様Ａにおいて、前記物体認識用フレームは、露光時間を変更する自動露光制御により前記画像センサを制御した状態で撮像する自動露光フレームＢ０，Ｂ２を含んでおり、前記付着物検出用フレームＲ４の直後の物体認識用フレームは、前記自動露光フレームＢ０であって、前記自動露光制御により変更可能な露光時間の上限値が該付着物検出用フレームＲ４の露光期間ＥＲ４に該物体認識用フレームＢ０の露光期間ＥＢ０’が重ならない露光時間以下に設定されたものであることを特徴とする。
これによれば、前記構成例１で説明したとおり、付着物検出用フレームＲ４の露光期間ＥＲ４にその直後のセンシング用フレームＢ０の露光期間ＥＢ０’が重なる事態が起こらないので、付着物検出用フレームＲ４のフレーム時間Ｒｔを短く維持したまま、雨滴検出用フレームＲ４及びその直後のセンシング用フレームＢ０の両方について正常な受光量データを取得できる。

（態様Ｅ）
前記態様Ｄにおいて、前記付着物検出用フレームの直後ではない自動露光フレームＢ０の露光時間ＥＢ０が前記上限値を超えて設定されたとき、該付着物検出用フレームＲ４の直後の自動露光フレームＢ０で撮像した物体認識用画像を該露光時間に基づいて該露光時間に対応した物体認識用画像へ変換する画像変換手段を有することを特徴とする。
これによれば、付着物検出用フレームＲ４の直後の自動露光フレームＢ０で撮像された物体認識用画像を、他の自動露光フレームＢ０の露光時間に換算した画像へと変換することができるので、両フレーム間における露光時間の違いに起因した処理誤差等を軽減することができる。

（態様Ｆ）
前記態様Ａ〜Ｅのいずれかの態様において、前記付着物検出用フレームＲ４では、前記画像センサを構成する受光素子群の一部（画像上部に対応するライン分）であって前記物体認識用フレームで物体認識用画像を取得するときに用いる受光素子の数よりも少ない受光素子群を用いて付着物検出用画像を取得することを特徴とする。
これによれば、付着物検出用フレームＲ４のフレーム時間Ｒｔを短く設定することが可能である。

（態様Ｇ）
前記態様Ｆにおいて、前記撮像動作は、ローリングシャッタ方式で行われるものであり、前記付着物検出用フレームＲ４で付着物検出用画像の撮像に用いられる受光素子群は、前記画像センサから初めにデータが出力される受光素子群であることを特徴とする。
これによれば、付着物検出用フレームＲ４のフレーム時間Ｒｔをより短く設定することが可能である。

（態様Ｈ）
前記態様Ａ〜Ｇのいずれかの態様において、前記撮像動作は、ローリングシャッタ方式で行われるものであり、１つの付着物検出用フレームＲ４中に光源２０２から光が照射される露光期間と光が照射されない露光期間が含まれるように光源を制御する露光制御ユニット１０９等の光源制御手段を有し、前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレーム中における光源から光が照射される露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする。
これによれば、光が照射される露光期間における受光量と光が照射されない露光期間における受光量との差分を用いて外乱光を排除することが可能となり、付着物検出精度を高めることが可能となる。

（態様Ｉ）
光源からの光を光透過性部材に照射して該光透過性部材に付着した付着物を検出するための付着物検出用画像を取得するための付着物検出用フレームを画像センサにより撮像した後に、前記光源以外の光を受光して前記付着物以外の物体を認識するための物体認識用画像を取得するための物体認識用フレームを前記画像センサにより複数枚撮像するという一連の撮像動作を繰り返す撮像方法であって、前記付着物検出用フレームのフレーム時間は、前記物体認識用フレームのフレーム時間よりも短く設定されており、前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする。
これによれば、トンネル内や夜間などの暗い環境下であっても、付着物検出用フレームの露光期間にその直後のセンシング用フレームの露光期間が重なる事態が起こらないので、付着物検出用フレームのフレーム時間を短く維持したまま、雨滴検出用フレーム及びその直後のセンシング用フレームの両方について正常な受光量データを取得できる。

（態様Ｊ）
光源からの光を光透過性部材に照射して該光透過性部材に付着した付着物を検出するための付着物検出用画像を取得するための付着物検出用フレームを画像センサにより撮像した後に、前記光源以外の光を受光して前記付着物以外の物体を認識するための物体認識用画像を取得するための物体認識用フレームを前記画像センサにより複数枚撮像するという一連の撮像動作を繰り返す撮像装置のコンピュータを機能させるためのプログラムであって、前記付着物検出用フレームのフレーム時間は、前記物体認識用フレームのフレーム時間よりも短く設定されており、前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする。
これによれば、トンネル内や夜間などの暗い環境下であっても、付着物検出用フレームの露光期間にその直後のセンシング用フレームの露光期間が重なる事態が起こらないので、付着物検出用フレームのフレーム時間を短く維持したまま、雨滴検出用フレーム及びその直後のセンシング用フレームの両方について正常な受光量データを取得できる。

（態様Ｋ）
撮像装置で撮像した付着物検出用画像及び物体認識用画像に基づいて、自車両１００等の移動体に搭載されたヘッドランプ１０４、ワイパー１０７、警告報知手段、ブレーキ等の所定の機器を制御するヘッドランプ制御ユニット１０３、ワイパー制御ユニット１０６、車両走行制御ユニット１０８等の移動体機器制御手段を備えた移動体機器制御システムにおいて、前記撮像装置として、前記態様Ａ〜Ｈのいずれかの態様に係る撮像装置を用いることを特徴とする。
これによれば、より適切な機器制御が可能となる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス
１０６ ワイパー制御ユニット
１０７ ワイパー
１０８ 車両走行制御ユニット
１０９ 露光制御ユニット
２００ 撮像部
２０１ 撮像ケース
２０２ 光源
２０３ 雨滴
２０４ 撮像レンズ
２０５ 光学フィルタ
２０６ 画像センサ
２０７ センサ基板
２０８ 信号処理部
２１３ 車両検出用画像領域
２１４ 雨滴検出用画像領域
２３０ プリズム

特開２０１３−１１７５２０号公報

Claims (11)

1. 光源からの光を光透過性部材に照射して該光透過性部材に付着した付着物を検出するための付着物検出用画像を取得するための付着物検出用フレームを画像センサにより撮像した後に、前記光源以外の光を受光して前記付着物以外の物体を認識するための物体認識用画像を取得するための物体認識用フレームを前記画像センサにより複数枚撮像するという一連の撮像動作を繰り返す撮像装置であって、
   前記付着物検出用フレームのフレーム時間は、前記物体認識用フレームのフレーム時間よりも短く設定されており、
   前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記物体認識用フレームは、露光時間を変更する自動露光制御により前記画像センサを制御した状態で撮像する自動露光フレームと、該画像センサにより固定露光時間で撮像する固定露光フレームとを含んでおり、
   前記付着物検出用フレームの直後の物体認識用フレームは、前記固定露光フレームであって、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない固定露光時間に設定されたものであることを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記付着物検出用フレームの直後の固定露光フレームで取得した物体認識用画像を、前記自動露光フレームを撮像したときの露光時間に基づいて、該露光時間に対応した物体認識用画像へ変換する画像変換手段を有することを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記物体認識用フレームは、露光時間を変更する自動露光制御により前記画像センサを制御した状態で撮像する自動露光フレームを含んでおり、
   前記付着物検出用フレームの直後の物体認識用フレームは、前記自動露光フレームであって、前記自動露光制御により変更可能な露光時間の上限値が該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間以下に設定されたものであることを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記付着物検出用フレームの直後ではない自動露光フレームの露光時間が前記上限値を超えて設定されたとき、該付着物検出用フレームの直後の自動露光フレームで撮像した物体認識用画像を該露光時間に基づいて該露光時間に対応した物体認識用画像へ変換する画像変換手段を有することを特徴とする撮像装置。
6. 請求項１乃至５のいずれか１項に記載の撮像装置において、
   前記付着物検出用フレームでは、前記画像センサを構成する受光素子群の一部であって前記物体認識用フレームで物体認識用画像を取得するときに用いる受光素子の数よりも少ない受光素子群を用いて付着物検出用画像を取得することを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記撮像動作は、ローリングシャッタ方式で行われるものであり、
   前記付着物検出用フレームで付着物検出用画像の撮像に用いられる受光素子群は、前記画像センサから初めにデータが出力される受光素子群であることを特徴とする撮像装置。
8. 請求項１乃至７のいずれか１項に記載の撮像装置において、
   前記撮像動作は、ローリングシャッタ方式で行われるものであり、
   １つの付着物検出用フレーム中に光源から光が照射される露光期間と光が照射されない露光期間が含まれるように光源を制御する光源制御手段を有し、
   前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレーム中における光源から光が照射される露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする撮像装置。
9. 光源からの光を光透過性部材に照射して該光透過性部材に付着した付着物を検出するための付着物検出用画像を取得するための付着物検出用フレームを画像センサにより撮像した後に、前記光源以外の光を受光して前記付着物以外の物体を認識するための物体認識用画像を取得するための物体認識用フレームを前記画像センサにより複数枚撮像するという一連の撮像動作を繰り返す撮像方法であって、
   前記付着物検出用フレームのフレーム時間は、前記物体認識用フレームのフレーム時間よりも短く設定されており、
   前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする撮像方法。
10. 光源からの光を光透過性部材に照射して該光透過性部材に付着した付着物を検出するための付着物検出用画像を取得するための付着物検出用フレームを画像センサにより撮像した後に、前記光源以外の光を受光して前記付着物以外の物体を認識するための物体認識用画像を取得するための物体認識用フレームを前記画像センサにより複数枚撮像するという一連の撮像動作を繰り返す撮像装置のコンピュータを機能させるためのプログラムであって、
    前記付着物検出用フレームのフレーム時間は、前記物体認識用フレームのフレーム時間よりも短く設定されており、
    前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とするプログラム。
11. 撮像装置で撮像した付着物検出用画像及び物体認識用画像に基づいて、移動体に搭載された所定の機器を制御する移動体機器制御手段を備えた移動体機器制御システムにおいて、
    前記撮像装置として、請求項１乃至８のいずれか１項に記載の撮像装置を用いることを特徴とする移動体機器制御システム。