JP5862207B2 - 画像処理システム - Google Patents

Description

本発明は、車両のフロントガラスの表面に付着する異物を検出するのに適した画像処理システムに関する。

従来、車両のフロントガラスの表面に付着する異物を検出するための画像処理システムとしては、特許文献１〜４に記載されたものが知られている。
特許文献１には、車両のフロントウインドシールドの内壁に装着されて、雨滴の有無を光学的に検出する雨滴センサが開示されている。
この雨滴センサは、プリズムの長手方向両側に発光素子及び受光素子を配置して構成される。
発光素子からの光を平行光にしてプリズム本体に入射させ、プリズム本体に入射した光は、フロントウインドシールドの外壁とプリズム本体の中央部上壁との間で反射された後、光路上に配置されたレンズ部によって集光されて受光素子に入射する。
この方式では、フロントウインドシールドの外壁の雨滴の付着有無に応じて受光素子において生じる光量変化を計測することで雨滴の有無を判別している。

特許文献２には、Ｐ偏光画像とＳ偏光画像を撮像できる撮像装置を用いて雨滴の有無を判別する雨滴検出装置が開示されている。
この装置では、光源から車両のフロントスクリーンに入射角がブリュースター角になる平行光束を照射し、撮像装置でフロントスクリーンに照射した光束の反射光を受光してＳ偏光画像とＰ偏光画像を撮像し、雨滴検出処理部は撮像したＳ偏光画像とＰ偏光画像の反射率の差からフロントスクリーンに雨滴が付着しているか否を判別し、フロントスクリーンに雨滴が付着している場合の雨滴量を単純な構成で検出している。
また、特許文献３には、車両に付着した雨滴を撮像するための近距離用の第１の焦点距離と、車両の周辺を撮像するための遠距離用の第２の焦点距離とを採り得るレンズを備えた車載用監視装置が開示されている。
また、特許文献４には、画像処理装置と光源を備え、光源を照らしてガラスの外側の雨滴を撮像することを特徴とする画像処理システムが開示されている。

上述したように、特許文献１に記載されたる発光素子と受光素子からなる雨滴センサを用いれば、フロントガラス１０５面に付着した雨滴を検出できることが知られている。
しかしながら、特許文献１の雨滴センサはフロントガラス１０５面に密着配置する必要があり、検出領域が限定されるという問題がある。
検出領域を大きくしようとすると雨滴センサの光学系を大きくする必要があるため、センササイズと検出精度がトレードオフの関係となっている。
また、近年の車両においては、車両の走行状況や、障害物情報を撮影してドライバに警告したり、車両の制御を行うための撮像装置がフロントガラス１０５面のルームミラー裏側に設置されているが、このような雨滴センサの取り付け位置との緩衝が課題となっている。

一方、特許文献２に記載されるような、撮像レンズと撮像素子からなる撮像装置を用いる方法が開示されている。
特許文献２においては、特許文献１の専用センサに比べて、レンズ位置とレンズ画角の調整により検出領域を大きくとれるが、レンズの焦点をフロントガラス１０５面としているため、車両周辺状況を撮影するには車両周辺監視用の撮像装置を設置する必要があることが記載されている。
また、特許文献３に記載される遠近両用の焦点を有するレンズを用いれば、フロントガラス１０５面の雨滴と、車両周辺情報のそれぞれに焦点を合わせることができる。
しかしながら、フロントガラス１０５面に焦点を合わせて雨滴を検出した場合、背景のコントラストが雨滴に映りこむとともに、輝点の位置も光源の位置に応じて変化してしまい雨滴の領域抽出を行うことは困難であることが、本発明者らによる実験により確認されている。
また、特許文献３のように、レンズの領域分割により遠近の２焦点を形成することは単レンズであれば可能性があるが、一般に車両に搭載される撮像レンズは４枚〜６枚程度であり、このような複数枚レンズにおいて領域分割することは極めて困難である。

さらに特許文献４には、ピント位置をずらして車両周辺の画像を合わせて撮影することが記載されている。なお、上記のような背景コントラストや輝点の変化については記載されていない。
また、特許文献４には、特定波長の光を発光させるとともに、撮像装置の内部に発光波長に対応した波長フィルタを設置することで信頼性を上げることが記載されてない。
また、光源は温度など環境変化によって出力レベルが変動するが、その対処方法には言及されていない。
さらに、従来のアルゴリズム処理によれば、雨滴検出に関わる処理負担が高かった。
本発明は、上記に鑑みてなされたもので、フロントガラス１０５面の異物を検出するとともに、雨滴の付着度合を容易に検出することが可能な画像処理システムを提供することを目的とする。

請求項１に係る発明は、フロントガラスに向けて光を照射する光源と、前記フロントガラスに対して前記光源と同じ側に、焦点が前記フロントガラスの位置よりも遠方に設定され撮像レンズと、複数の画素アレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に前記基板の撮像素子側の面の有効撮像領域の一部のエリアに、所定の波長範囲の光のみ透過する領域分割型分光フィルタ層を有する光学フィルタを備え、前記フロントガラスの外側の面に付着した付着物によって反射された前記光源からの光を撮像する撮像装置を備えた画像処理システムにおいて、前記撮像素子の各フレーム間で前記光源に対する変調度を変化するように制御する制御部と、前記フロントガラス面での前記光源からの照射光量の変化に応じて、前記撮像装置により撮像された画像から前記フロントガラス面に付着した付着物の付着度合いを検出する画像解析処理部とを備え、前記画像解析処理部は、前記光源からの前記各フレーム間で照射光量の変化に応じて、前記撮像素子により撮像された少なくとも１フレーム以上の間隔の画像における輝度値の変化の割合を算出し、前記変化の割合に基づいて付着物の付着度合いを算出することを特徴とする画像処理システムである。

本発明によれば、撮像素子の各フレーム間で光源に対する変調度を変化するように制御し、フロントガラス面での光源からの照射光量の変化に応じて、撮像装置により撮像された画像からフロントガラス面に付着した雨滴の付着度合いを検出することができる。

本発明の第１実施形態に係る画像処理システムの構成を示す図。 図１に示す撮像ユニットの構成を説明する図。 図２に示す撮像装置により撮影された画像を示す図。 図２に示す光学フィルタの領域によって光学特性を異ならせたことを示す図。 図２に示すセンサ基板部の拡大図。 図２に示す光学フィルタの断面構成、分光フィルタ層Ａの透過率特性、分光フィルタ層Ｂの透過率特性を示す図。 ワイヤグリッドの断面構造を写真で示す図。 本発明の第１実施形態に係る画像処理システムに用いる撮像装置の構成と光路の関係を示す図。 本発明の第１実施形態に係る画像処理システムにおける、照射光量と雨滴検出領域輝度値の関係を説明するための図。 本発明の第１実施形態に係る画像処理システムにおける、光源発光の変調方法について説明するためのタイミングチャート。 本発明の第１実施形態に係る画像処理システムにおける、信号処理部、光源制御部および画像処理ユニットによる動作を説明するためのフローチャート。 本発明の第１実施形態に係る画像処理システムにおける、雨滴が付着している場合、雨滴が付着していない場合の実験結果を写真で示す図。 本発明の第２実施形態に係る画像処理システムに用いる撮像装置の構成と光路の関係を示す図。 本発明の第３実施形態に係る画像処理システムに用いる撮像装置の構成と光路の関係を示す図。 光学フィルタの領域分割パターンと検出項目の関係を説明するための図。 本発明の第３実施形態に係る画像処理システムにおける、信号処理部、光源制御部および画像処理ユニットによる動作を説明するためのフローチャート。

以下、図面を参照して、本発明の実施形態について詳細に説明する。
＜第１実施形態＞
本発明の第１実施形態に係る画像処理システムについて説明する。
図１は、自動車などの車両１００に搭載された撮像装置からの情報を用いて、車両の走行状態の制御を行ったり、ヘッドライトの制御を行ったり、ワイパーの制御を行ったり、各種の走行支援を行う画像処理システムを模式的に示した図である。
本実施形態の画像処理システムは、撮像ユニット１０１と画像解析ユニット１０２とを有している。
撮像ユニット１０１は、車両１００が走行する前方の画像を撮像できるように、座席のルームミラー位置に設置されている。撮像ユニット１０１で撮像された車両前方の画像は、画像信号化されて画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から出力された画像信号を解析する。
具体例としては、画像解析ユニット１０２は、車両１００の前方に存在する他の車両までの位置や距離や角度を算出する。ヘッドライト制御ユニット１０３は、画像解析ユニット１０２からの出力信号を受け、画像解析ユニット１０２が算出した距離値から、ヘッドライト１０４を制御する制御信号を生成する。ヘッドライト制御ユニット１０３が生成した制御信号は、ヘッドライト１０４に送られる。ヘッドライト制御ユニット１０３は、先行車や対向車への幻惑防止を行いつつ、ドライバの視界を確保するために、ヘッドライト１０４のハイビームおよびロービームの切り替えや、部分的な遮光を行ったりする。

また、画像解析ユニット１０２は、車両のフロントガラス１０５に付着した異物を検出する。
ワイパー制御ユニット１０６は、画像解析ユニット１０２からの出力信号を受け、画像解析ユニット１０２が算出した異物や雨量などから、ワイパー１０７を制御する制御信号を生成する。
ワイパー制御ユニット１０６が生成した制御信号は、ワイパー１０７に送られる。ワイパー制御ユニット１０６は、ドライバの視界を確保するべく、ワイパー１０７を稼動させる。
また、画像解析ユニット１０２は、車両が進行する道路の路面領域や白線を検出する。
画像解析ユニット１０２は、車両１００が進行する道路の走行可能な路面領域や白線の座標情報を算出し、次いで、車両走行制御ユニット１０８は、画像解析ユニット１０２からの出力信号を受け、画像解析ユニット１０２が算出した座標値から、ドライバへの警告信号を生成する。また、車両走行制御ユニット１０８は、ハンドルやブレーキの制御をも行う。

図２は、図１における撮像ユニット１０１の構成について説明する図である。
撮像ユニット１０１には、撮像装置２０１、光源２０２，２０２’、光源制御部２０９が備えられている。
撮像装置２０１は、撮像レンズ２０４、光学フィルタ２０５、撮像素子２０６を含むセンサ基板２０７、信号処理部２０８、を備えている。
また、撮像装置２０１の近傍には光源２０２、２０２’が配置されている。
これらの光源は、これらの光源が照射する光の光軸２０２ｂ、２０２’ｂの方向と撮像レンズの光軸２０４ｂの方向が略平行であるとともに、撮像レンズ２０４の画角範囲２０４ａと光源２０２、２０２’の照射領域２０２ａ、２０２’ａがフロントガラス１０５面で重なるように配置されている。
被検物からの光は撮像レンズ２０４を通り、光学フィルタ２０５を透過して撮像素子２０６で電気信号に変換される。ここでの被検物としては車両前方の風景、およびフロントガラス１０５面に付着した雨滴などの異物である。

信号処理部２０８は、撮像素子２０６から出力される電気信号を入力し、後述する画像信号を生成する。そして、撮像装置２０１は、画像データとして、撮影した画像の画素毎の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後続の出力機器へ出力する。
撮像レンズ２０４の焦点位置は、無限遠或いは、無限遠とフロントガラス１０５の間としている。これにより、先行車や対向車の検知や、路面領域や白線などの情報を検知できる。
光源制御部２０９は、信号処理部２０８から入力される画像の水平・垂直同期信号に基づいて、撮像素子２０６の各フレーム間で光源２０２に対する変調度を変化するように制御する。
具体的には、光源制御部２０９は、光源２０２の発光パワーレベルを変化させることにより、フロントガラス１０５面での照射光量を変化させる。
あるいは、光源制御部２０９は、光源２０２の発光時間の長さを変化させることにより、フロントガラス１０５面での照射光量を変化させる。
図１に示す画像解析ユニット１０２は、フロントガラス１０５面での光源２０２からの照射光量の変化に応じて、フロントガラス１０５面に付着した雨滴の付着度合いを検出する。

図３は撮像装置により撮影された画像を示す図であり、（ａ）はピントを無限遠に合わせた場合、図３（ｂ）はフロントガラス１０５面にピントを合わせた場合の画像を示す図である。
また、雨滴２０３を検出するためにはレンズ２０４の焦点がフロントガラス１０５の表面にある雨滴２０３に合っているというよりもむしろ、多少ピンボケが発生した方が円としての認識率が高くなり、雨滴検出性能が向上する。
上記のように、図３（ａ）はピントを無限遠に合わせた場合であり、図３（ｂ）はフロントガラス１０５面にピントを合わせた場合であるが、図３（ｂ）では背景画像が水滴面に映りこむとともに輝点が弓状の画像となっている。映りこむ背景画像は走行シーンによって変化してしまうし、輝点の形状も太陽光や街灯などの各種の外乱光の変化に応じて変化してしまう。このような各種の変化への対応するためには認識処理が膨大となってしまい、認識率を下げてしまう。
これに対して、図３（ａ）のように多少ピンボケが発生した場合の方が常に円形の画像が得られ、かつ外乱光による変化が小さくてすむ。

次いで、ピントを無限遠とフロントガラス１０５との間に合わせた場合について説明する。
無限遠に撮像レンズ２０４の焦点が合っていると、遠方を走行する先行車のテールランプを検出する場合、特に撮像素子２０６が画素数の一部で検出する場合、撮像素子２０６上のテールランプの大きさが１画素程度になると色再現ができずにテールランプと認識されない場合があり、正確な先行車のテールランプの検出が困難になる。撮像レンズ２０４の焦点を無限遠よりも手前に合わせることにより、先行車のテールランプの画像がボケるので、数画素以上の大きさになり、撮像素子２０６において正確に色が再現できる。

ここで、光源波長について説明する。
雨滴を検出すために、本実施形態では、光源２０２を配置している。光源２０２としては、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いればよい。また、光源２０２の発光波長としては、可視光や赤外光を用いればよい。特に夜間などに対向車や歩行者を眩惑しないようにするためには、可視光より波長が長くて撮像素子２０７の受光感度がおよぶ範囲の波長（例えば８００〜１０００ｎｍの中の赤外光領域の波長）を選べば良い。

ここで、赤外光透過フィルタについて説明する。
水滴に反射した赤外波長の光をそのまま検出しようとすると、赤外波長の光を照射する光源２０２は、例えば太陽光など膨大な光量を持つ外乱光よりも照射する光を明るくしなければならないという問題がある。
そこで、光源２０２の発光波長よりも短い波長の光をカットするようなフィルタか、もしくは透過率のピークを光源２０２の発光波長とほぼ一致させたバンドパスフィルタ（図６、分光フィルタ層２０５Ｂ）を、光学フィルタ２０５の撮像素子側に形成してやってもよい。これにより、必要となる光源２０２の発光波長以外の光を除去し、検出される光源２０２の光量を相対的に大きくできる。
なお、本実施形態において、フロントガラス１０５面の異物や雨滴を検出する雨滴検出と、先行車や対向車、路面領域、白線の検出と、を両立させる場合には、部分的に上記フィルタ層２０５Ｂが形成されたものを用いればよい。
もちろん、雨滴検出のみを行う場合は、光学フィルタ２０５の撮像素子側全面に上記フィルタ層２０５Ｂを形成することが出来る。

図４は、領域によって光学特性を異ならせたフィルタ例を示す図である。
例えば光学フィルタ２０５を分割し、画面の中央部１／２の領域を、配光制御や車両制御用の画像を撮影するための車両周辺情報検出領域とし、画面下部および上部の１／４領域ずつを、雨滴検知を行うように画像処理を行うための雨滴検出領域とする。
このような区分の理由としては、対向車のヘッドライト及び先行車のテールランプは、主として画面中央部に写ることが多く、画面下部には自車近傍の路面が写るのが通常であるから、配光制御や車両制御においては画面中央部の情報が重要であり、画面下部の情報はあまり重要でない。同様に画面上部についても空が写るのが通常であるから、配光制御や車両制御においては画面中央部の情報が重要であり、画面上部の情報はあまり重要でない。
よって、配光制御機能と雨滴検知機能を両立させる場合には、図４に示すように、画面上部ならびに下部を雨滴検知用の赤外バンドパス領域（雨滴検出領域）５１とする構成が好適である。

また、通常、カメラを下に傾けていくと自車のボンネットが映りこみ、自車のボンネットで反射した太陽光や先行車のテールランプなどが外乱となり、車線検知や配光制御を行う上で不利な条件となる。しかし、図４に示すようなフィルタを用いるとバンドパスの特性により、外乱光を除去し、かつその領域を雨滴検知用の画像処理を行う領域（雨滴検出領域）５１に割り当てることができる。

ここで、赤外光カットフィルタについて説明する。
遠方の車両のヘッドライト及びテールランプ、近傍の車両のヘッドライト及びテールランプが映る撮影範囲が配向制御機能を実現する上で必要な画像処理範囲となる。ここで、先行車を認識する際に、先行車のテールランプで先行車の有無を判断する必要があるが、対向車のヘッドライトと比べて光量が小さく、また街灯など外乱となる光が多数存在するため、輝度のみからテールランプを検出するのは困難であり、テールランプの赤色を認識する必要がある。

また、本実施形態では、雨滴検出波長を除く赤外光をカットするフィルタ（分光フィルタ層）２０５Ａを撮像レンズ側（図６、２０５ａ）に形成してもよい。一般に撮像素子は赤外領域にも感度を持つので、単に撮像素子のみで画像を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分を抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、光学フィルタ２０５の車両周辺情報検出領域を用いたテールランプの検出精度を向上させることができる。

ここで、光源２０２のフロントガラス表面からの不要反射光に対する対策について説明する。
光源２０２はフロントガラス１０５表面でその一部は透過するが、残りは反射し外乱光となる。このような外乱光に対しては、光源のフロントガラス１０５へ向かって出射する光の光軸と、撮像レンズ２０４の光軸との２つの光軸で形成される面に対して平行な偏光成分のみを透過する偏光フィルタ２０５ｈ（図８）を配置して構成される。
また、このような偏光フィルタ２０５ｈはダッシュボードなどで反射した映りこみ光も遮断することができる。

次に、フィルタと撮像素子との接合について説明する。
図５はセンサ基板部の拡大図である。
撮像素子２０６は、ＣＣＤやＣＭＯＳなどを受光素子であり、画素ごとにフォトダイオード２０６ｂが２次元画像を構成するべくアレイ配置されたものである。
フォトダイオード２０６ｂの表面にはマイクロレンズ２０６ａが形成されておりフォトダイオードとしての集光効率を上げている。
このような撮像素子２０６は、ワイヤボンディングなどの手法によりＰＷＢ基板２０７に接合されてなり、信号処理部２０８に情報を伝達する。そして、このようなセンサ基板２０７の前段に光学フィルタ２０５が配置されて構成される。撮像素子２０６のマイクロレンズ側の面には光学フィルタ２０５が近接配置される。

光学フィルタ２０５と撮像素子２０６とは、ＵＶ接着剤で接合してもよいし、撮影に用いる有効画素範囲外をスペーサなどで支持した状態で有効画素外の四辺領域でＵＶ接着や熱圧着してやればよい。
光学フィルタ２０５と撮像素子２０６とを密着接合することにより、光学フィルタ２０５における雨滴検出領域５１と、それ以外の車両周辺情報を検出する車両周辺情報検出領域との境界が明確になり、雨滴有無の判別精度が上げられる。

また、図４に示すような、画面上部と下部に雨滴検出領域５１を設けたパターンが望ましい。画面上部あるいは画面下部のいずれか一方にのみ雨滴検出領域５１を設けた場合、光学フィルタ２０５と撮像素子２０６を平行に接着することは難しく傾いてしまう。傾いて接着してしまうと画面上部と画面下部で光路長が変わってしまい車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。
なお、後述するような雨滴検出画素と車両周辺情報検出用の画素を市松状のパターンやストライプ状のパターンを画面全体に形成したものであっても、フィルタと撮像素子を平行に接着することが可能である。画面の上部や下部、或いは市松状パターンやストライプ状のパターンを画像全域に形成することにより雨滴検出領域は従来例に比べ大きく取れるため、雨滴検出精度を上げることが可能である。

ここで、光学フィルタの断面構成について説明する。
図６（ａ）は光学フィルタの構成、図６（ｂ）は分光フィルタ層Ａの透過率特性、図６（ｃ）は分光フィルタ層Ｂの透過率特性を示す図である。
上記のように、本実施形態では、図６（ａ）に示すように光学フィルタ２０５の基板２０５ｋの両面に分光フィルタ層が形成されて構成される。
光学フィルタ２０５の撮像レンズ側２０５ａ（基板２０５ｋの撮像レンズ側の面）には分光フィルタ層２０５Ａが形成されている。分光フィルタ層２０５Ａは、図６（ｂ）に示すように、波長範囲４００ｎｍ〜６７０ｎｍの所謂可視光領域と、波長範囲９４０〜９７０ｎｍの赤外光領域を透過する。可視光領域は車両周辺情報を検出するのに用いて、赤外光領域は雨滴情報を検出するために使用する。

また、波長７００〜９４０ｎｍの範囲の光を透過しない（透過率５％以下が望ましい）。この波長を抑制する理由としては、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、例えばテールランプの検出精度を向上させることができる。
また、光学フィルタ２０５の撮像素子側２０５ｂ（基板２０５ｋの撮像素子側の面）には分光フィルタ層２０５Ｂが形成されている。分光フィルタ層２０５Ｂは、図６（ｃ）に示すように、波長範囲９４０〜９７０ｎｍの赤外光領域を透過帯としており、２０５ａ側の面の分光フィルタ層２０５Ａとの組合せにより、波長範囲９４０ｎｍ〜９７０ｎｍの範囲の光のみを透過することとなる。この波長範囲の中心値と光源２０２の発光波長を略同等しておくのが望ましい。

このように、分光フィルタ層を光学フィルタの基板２０５ｋの両面に形成することにより、光学フィルタの反りを抑制することが可能となる。基板の片側面の面にだけ多層膜を形成すると応力がかかり、反りが生じる。しかしながら、図６（ａ）に示すように、基板２０５ｋの両面に多層膜（２０５Ａ、２０５Ｂ）を形成した場合は、応力の効果が相殺されるため、反りを抑制することができる。
なお、後述するとおり、フロントガラスの車内側の面で反射した不要反射光を抑制するための偏光フィルタ２０５ｈを、分光フィルタ層２０５Ｂと光学フィルタ２０５の基板２０５ｋの間に形成してもよい（図８、図１３、図１４）。

光学フィルタ２０５の撮像素子側２０５ｂには、基板２０５ｋ上に偏光フィルタ層２０５ｈ、ＳＯＧ層、分光フィルタ層２０５Ｂの順に各層が形成されてもよい。
基板２０５ｋは、使用帯域の光（本実施形態では可視光域）に対して透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。
本実施形態では、ガラス、特に、安価で、また耐久性もある石英（屈折率１．４６）やテンパックスガラス（屈折率１．５１）が用いられている。

ここで、偏光フィルタ層２０５ｈについて説明する。
まず、図７を参照して、ワイヤグリッド偏光子について説明する。
上記のような偏光子としては、ワイヤグリッド偏光子により構成される。
ワイヤグリッドは、アルミなどの金属で構成された導電体線が特定のピッチで格子状に配列してなるものであり、そのピッチが入射光（例えば、可視光の波長４００ｎｍから８００ｎｍ）に比べて非常に小さいピッチ（例えば、２分の１以下）であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
なお、ワイヤグリッド偏光子においては、金属ワイヤ断面積が増加すると、消光比が増加すること、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。

図７は、ワイヤグリッドの断面構造を示す写真で示す図である。溝方向の偏光方向の光が入射したときは遮光し、溝と直交する方向の偏光方向の光が入射したときは透過する。
ワイヤグリッド偏光子の効果について説明する。
本実施形態では、ワイヤグリッド構造を選択しているため、以下のような効果を有する。
ワイヤグリッド構造は、よく知られる半導体プロセス、すなわちアルミ薄膜を蒸着した後にパターニングを行いメタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成すればよい。
よって、撮像素子の画素サイズ相当（数ミクロンレベル）で偏光子の方向を調整することが可能であるため、本実施形態のような画素単位で透過偏光軸が選択できる。
また、ワイヤグリッド構造は上述のとおり、アルミなどの金属で作製されるため、耐熱性に優れるため、車載用途には好適な偏光子の方式である。

ここで、ＳＯＧ層について説明する。
まず、ＳＯＧ層の構成について説明する。
使用帯域の光に透明な基板と、基板上で直線状に延びたワイヤグリッドの凸部は使用帯域の光の波長よりも小さいピッチで配列されている。そのアルミ凸部の間には基板よりも屈折率の低いか同等の無機材料が充填された充填部（充填層）２０５ｉ（図８、図１３、図１４）が形成されている。この充填部２０５ｉはワイヤグリッド構造の凸部も覆うように形成されて構成される。

次いで、ＳＯＧ層の材料について説明する。
ＳＯＧ層の形成材料としては、偏光子の偏光特性を劣化させないために、その屈折率が空気の屈折率＝１に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、ポーラスシリカ（ＳｉＯ_２）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ_２Ｏ_３）などが挙げられる。また、これらの低屈折率の程度はセラミックス中の空孔の数や大きさ（ポーラス度）によって決まるものである。このうち、とくに基板の主成分がシリカの水晶やガラスからなる場合にはポーラスシリカ（ｎ＝１．２２〜１．２６）であれば、基板よりも屈折率が小さくなり好適である。

次いで、ＳＯＧ層の形成方法について説明する。
このＳＯＧ層の形成方法としては、無機系塗布膜（ＳＯＧ：Ｓｐｉｎ Ｏｎ Ｇｌａｓｓ）生成方法を用いればよい。すなわち、シラノール［Ｓｉ（ＯＨ）_４］をアルコールに溶かした溶剤を基板上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるようにして形成される。

次いで、ＳＯＧ層の効果について説明する。
偏光フィルタ層２０５ｈがサブ波長サイズのワイヤグリッド構造であるため、ＳＯＧ層の上に形成される分光フィルタ層２０５Ｂに比べ強度的には弱い。特に、光学フィルタ２０５は、撮像素子２０６に密着配置することが望まれるため、そのハンドリングにおいては光学フィルタ２０５と撮像素子２０６面が接触する可能性もあるが、強度的に弱い偏光フィルタ層２０５ｈはＳＯＧ層で保護されているため、ワイヤグリッド構造を損傷することなく光学フィルタを実装できる。
なお、分光フィルタ層２０５ＢもＳＯＧ層で保護してもよいが、発明者らの実験によれば、撮像素子面に画素サイズで領域分割された分光フィルタ層２０５Ｂが画素面に接触しても画像に影響を及ぼすような損傷はなかったため、低コスト化のためにも保護しなくてもよい。

また、ＳＯＧ層を設けることによりワイヤグリッド部への異物進入も抑制できる。
ワイヤグリッドの凸部の高さは、一般に使用波長の半分以下で構成される。一方、分光フィルタは使用波長同等から数倍の高さとなり、かつ厚みを増すほど遮断波長での透過率特性を急峻にできる。そして、ＳＯＧは厚さが増すほど、その上面の平坦性確保が難しくなるとともに、充填領域の均質性が損なわれるなどの理由により、厚くするのは適切ではない。
本実施形態では、偏光フィルタ層２０５ｈをＳＯＧ層で覆ったのちに分光フィルタ層２０５Ｂを形成しているため、ＳＯＧ層を安定的に形成できる。またＳＯＧ層の上面に形成する分光フィルタ層２０５５Ｂもその特性を最適に形成することが可能である。

次いで、分光フィルタ（２０５Ａ、２０５Ｂ）の構成について説明する。
まず、分光フィルタの膜構成について説明する。
分光フィルタは多層膜構造によって作製できる。多層膜構造とは、高屈折率と低屈折率の薄膜を交互に多層重ねた波長フィルタのことを指す。光の干渉を利用することで分光透過率を自由に設定でき、薄膜を多数層重ねることで、特定波長に対して１００％近い反射率を得ることもできる。
例えば、赤外成分以外の波長帯域の光を反射させる。撮像する画像の波長範囲が略可視光から赤外光であるため、可視光および赤外の範囲に感度を有する撮像素子を選択し、多層膜の波長範囲としては赤外成分として、例えば波長：λが９００ｎｍ以上の光を透過し、それ以外の波長は反射するようなカットフィルタを形成すればよい。この場合のカットフィルタとしては、よく知られる基板／（０．１２５Ｌ０．２５Ｈ０．１２５Ｌ）ｐ／媒質Ａのような構成で多層膜を作製すればよい。
ここで、０．１２５Ｌは低屈折率材料（例えばＳｉＯ_２）の膜厚標記方法でｎｄ／λでｎは屈折率、ｄは厚み、λはカットオフ波長であり、０．１２５Ｌは１／８波長の光路長となるように膜厚を意味する。同様に０．２５Ｈは１／４波長分の膜厚となるように高屈折率材料（例えばＴｉＯ_２）を積層することを意味する。さらに、上記ｐは、このペアを複数層繰り返すことを意味し、ｐが多いほどリップルなどの影響を抑制できる。また、媒質Ａとは空気や、撮像素子と密着接合するための接着剤を意図する。また、基板とはここではＳＯＧ層を意図する。

また、赤外成分のみを透過する多層膜構造としては、波長範囲として９４０〜９７０ｎｍの範囲のみを透過するバンドパスフィルタであってもよい。バンドパスフィルタを用いることで赤外よりも長波長側の赤外域と赤色領域の識別が可能となる。
バンドパスフィルタの構成としては例えば、
基板／（０．１２５Ｌ ０．５Ｍ ０．１２５Ｌ）ｐ（０．１２５Ｌ ０．５Ｈ ０．１２５Ｌ）ｑ（０．１２５Ｌ ０．５Ｍ ０．１２５Ｌ）ｒ／媒質Ａ
という構成を選択すればよい。
なお、上記の通り、多層膜形成用の高屈折率材料としては、二酸化チタン（ＴｉＯ_２）、低屈折率材料としては二酸化珪素（ＳｉＯ_２）などを使用すれば対候性の高い光学フィルタを実現できる。

次いで、領域分割フィルタの作製方法について説明する。
領域分割型の分光フィルタは、ガラス平板上に多層膜を形成する。多層膜形成方法としてはよく知られる蒸着などの方法を用いればよい。
また、フィルタ領域分割パターンの作製に関しては、多層膜蒸着時にマスクを設けて赤外光フィルタ領域以外は遮蔽しながら蒸着することにより赤外光透過領域を形成することが可能である。

次いで、多層膜を用いた分光フィルタ層の効果について説明する。
本実施形態では、多層膜を用いて分光フィルタ層２０５Ｂを形成する。このような多層膜を用いれば、任意の分光輝度特性を得ることができる。一般に、カラーセンサなどに用いられるカラーフィルタはレジスト剤によって形成されているが、このようなレジスト剤では多層膜に比べ分光輝度特性のコントロールが困難である。
本実施形態では、多層膜を用いて分光フィルタ層を形成してなるため、光源２０２の波長と雨滴検出領域５１の波長帯域を略一致させることが可能である。

図８に示す撮像装置構成と光路の関係を参照して、本発明の第１実施形態に係る画像処理システムについて説明する。
まず、光源の光路について説明する。
光源２０２は、フロントガラス１０５面の異物や雨滴を検出するために設置されている。
光源２０２は、そのフロントガラスの外側面１０５の正反射光が撮像レンズの光軸と略一致するように、配置される。

撮像装置が受光する光線について、図８中の光路Ａ〜Ｇの標記を用いて説明する。
光路Ａ、Ａ’において、光源２０２から出射してフロントガラス１０５を通過した光線Ａは、フロントガラス１０５の撮像装置から見て外側に雨滴が付着していない場合はそのまま外部に漏れる。なお、光源２０２としてはアイセーフ帯の波長・光量の光源を選択される。
光路Ｂ、Ｂ’において、光源２０２からの出射光のうち、その一部はフロントガラス１０５に入射するときにその表面で反射される。一般に、その偏光成分はＳ偏光成分であることが知られている。このような光は、本来の雨滴検出にとっては不要光となり誤検出の原因となるが、本実施形態では、上述のように、光学フィルタ２０５に偏光フィルタ層２０５ｈが設けられており、Ｓ偏光成分をカットされるようになっているため、不要光が除去することが可能である。
光路Ｃ、Ｃ’において、光源２０２からの出射光のうち、フロントガラス１０５の内側表面で反射されずにフロントガラス１０５内を透過した光の成分はＰ偏光成分がＳ偏光成分に比べて多くなる。

このフロントガラス１０５内に入射した光は、フロントガラス１０５の外側に雨滴が付着している場合には雨滴内部で多重反射して撮像装置側に向けて再度フロントガラス１０５内を透過して、撮像装置２０１の光学フィルタ２０５に到達する。分光フィルタ層２０５Ａを透過し、続く偏光フィルタ層２０５ｈではＰ偏光成分が透過するようにワイヤグリッド構造の溝方向が形成されているため、この偏光フィルタ層２０５ｈをも通過する。このとき雨滴検出領域５１には光源２０２の波長に合わせた赤外光透過フィルタ（分光フィルタ層２０５Ｂ）が形成されているが、この赤外光透過フィルタを透過し、撮像素子２０６に到達し、雨滴がフロントガラス１０５面に付着していることが認識できる。
光路Ｄにおいて、また光源２０２ではなく、フロントガラスの外側から入射し撮像装置に到達する光のうち、雨滴検出領域５１に到達する光は赤外光透過フィルタでその多くがカットされる。このように雨滴検出領域はフロントガラス外側の外乱光もカットされる構成となっている。
光路Ｅにおいて、雨滴検出領域ではないフィルタ（車両周辺情報検出領域）を通過する光のうち赤外光成分は赤外光カットフィルタにより遮断される。
光路Ｆ、Ｆ’において、ダッシュボードなどからの映りこみ光は、車両前方撮影や雨滴検出には不要な成分である。これらの光は偏光フィルタ２０５ｈによりカットされる。
一方、光路Ｇにおいて、雨滴検出領域ではないフィルタ（車両周辺情報検出領域）を通過する光は、可視域および赤外光のみ透過するとともに、Ｐ偏光成分のみとなり不要光がカットされた状態で撮像素子２０６に到達し、後述の各種アプリケーション用の信号として検出される。

ここで、雨滴検出のための光源配置について説明する。
上述した光源２０２は、雨滴と空気の境界面のいずれかの面での反射光が撮像されるように、フロントガラス１０５への入射角度が設定される。
発明者らの実験結果によれば、雨滴からの反射光が最も強くなるレイアウトはフロントガラス１０５面の法線に対して撮像装置の光軸と略反対側の位置に設置された場合、および撮像装置の光軸とほぼ同じ光軸となるように配置した場合であり、反射光が最も小さいのはフロントガラスの法線と光源の光軸がほぼ一致した場合であった。図８に示す構成は、撮像装置と光源のそれぞれの光軸が略平行となるように配置された場合である。

ここで、光源の発光方法について説明する。
光源の発光方法としては、連続発光（ＣＷ発光とよばれることもある）でもよいし、特定のタイミングでパルス発光してもよい。発光のタイミングと撮影のタイミングを同期してやれば、外乱光による影響をより小さくできる。
図９は、照射光量と雨滴検出領域輝度値の関係を説明するための図である。
光源の各フレーム間の照射光量を変化させて、雨滴検出領域の輝度値変化を検出することで雨滴の付着状態を検出することができる。
図９に示すように、雨滴が均一に付着している場合（符号９１）は、照射光量の変化に対して輝度値は線形に変化する（符号９１ａ）のに対して、雨滴がまばらに付着している場合（符号９２）は照射光量の変化に対して輝度値は非線形に変化する（符号９２ａ）。

次に、図１０（ａ）〜図１０（ｃ）に示すタイミングチャートを参照して、本実施形態に係る画像処理システムにおける光源発光の変調方法について説明する。
図２に示した光源制御部２０９は、信号処理部２０８から入力される画像の水平・垂直同期信号に基づいて、撮像素子２０６の各フレーム間で光源２０２に対する変調度を変化するように制御する。
例えば、光源制御部２０９は、光源２０２の発光パワーレベルを変化させることにより、フロントガラス１０５面での照射光量を変化させる。すなわち、光源２０２の照射光量の調整方法として、図１０（ａ）のように、各フレーム間で発光パワーをＰｏ、Ｐａ、Ｐｂ、Ｐｃのように順次に変化させる方法でもよい。

また、光源制御部２０９は、光源２０２の発光時間の長さを変化させることにより、フロントガラス１０５面での照射光量を変化させる。すなわち、図１０（ｂ）のように、各フレーム間で発光パワーは同一（Ｐｏ）で、発光時間をｔ１、ｔ２、ｔ３のように順次に変化させる方法でもよい。
さらに、光源制御部２０９は、撮像素子２０６の各フレーム間でパルス数を増加するように制御する。すなわち、図１０（ｃ）のように、同一パルス時間ｔ１でマルチパルス発光させ、１フレームのなかでのパルス数を増加させる方法を用いてもよい。
なお、図１０では、便宜上、連続するフレームで照射光量を変化させる方法を説明したが、実際には、露光時間の異なる複数の画像を撮影して雨滴を検出したり、車両前方画像を検出したりするため、図１０の各フレーム間には雨滴検出ではなく車両前方検出用のフレームが入る。このとき、光源は発光させない、もしくは発光パワーを下げておくことで、不要光の発生を抑制できる。

次に、第１実施形態における光源制御部２０９、信号処理部２０８および画像解析ユニット１０２での動作について説明する。
上述したように、光源制御部２０９が、信号処理部２０８から入力される画像の水平・垂直同期信号に基づいて、撮像素子２０６の各フレーム間で光源２０２に対する変調度を変化するように制御するので、フロントガラス１０５面での光源２０２からの照射光量が変化する。
次いで、フロントガラス１０５の外側の面に付着した異物によって反射された光源２０２からの光を撮像素子２０６で撮像する。次いで、撮像素子２０６は、撮像した画像を電気信号として信号処理部２０８に出力する。信号処理部２０８では、撮像素子２０６から入力された電気信号から画像信号を生成する。
次いで、信号処理部２０８は、画像データとして、撮影した画像の画素毎の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに画像解析ユニット１０２へ出力する。
次いで、画像解析ユニット１０２には、信号処理部２０８から、画像の水平・垂直同期信号とともに、撮影した画像の画素毎の明るさ（輝度）を示すデジタル信号が入力される。
画像解析ユニット１０２では、フロントガラス１０５面での光源２０２からの照射光量の変化に応じて、画像の画素毎の明るさ（輝度）を示すデジタル信号からフロントガラス１０５面に付着した雨滴の付着度合いを検出する。

図１１は、本発明の第１実施形態に係る画像処理システムにおける、信号処理部２０８、光源制御部２０９および画像処理ユニット１０２による動作を説明するフローチャートである。
なお、光源制御部２０９および画像処理ユニット１０２は、ＲＯＭ、ＲＡＭおよびＣＰＵを有し、ＣＰＵがＲＯＭに記憶されているプログラムを読み出して実行する。

まず、ステップＳ５では、信号処理部２０８は、露光時間を固定する。露光時間は１フレーム分の時間を設定することで、１フレーム内の照射光量の変化を検出し易くする。
次いで、ステップＳ１０では、光源制御部２０９は、光源２０２、２０２’をＯＦＦ状態に設定する。
次いで、ステップＳ１５では、画像処理ユニット１０２は、信号処理部２０８から雨滴検出領域５１の画像Ｉ（０）を取り込む。ここで、画像Ｉ（０）は周囲環境から影響を受けている雨滴検出領域５１内のバックグランドノイズに相当する。
次いで、ステップＳ２０では、ステップＳ５と同様に、信号処理部２０８は露光時間を固定する。
次いで、ステップＳ２５では、光源制御部２０９は、光源２０２、２０２’をＰ＝２に設定して点灯する。ここで、上述した図１０（ａ）に示すタイミングチャートを採用する場合にはパワー値Ｐａに設定し、上述した図１０（ｂ）に示すタイミングチャートを採用する場合には点灯時間ｔ１に設定し、上述した図１０（ｃ）に示すタイミングチャートを採用する場合にはパルス数を２つに設定する。

次いで、ステップＳ３０では、画像処理ユニット１０２は、信号処理部２０８から雨滴検出領域５１の画像Ｉ（１）を取り込む。
次いで、ステップＳ３５では、ステップＳ５と同様に、信号処理部２０８は露光時間を固定する。
次いで、ステップＳ４０では、光源制御部２０９は、光源２０２、２０２’をＰ＝２に設定して点灯する。ここで、上述した図１０（ａ）に示すタイミングチャートを採用する場合にはパワー値Ｐｃに設定し、上述した図１０（ｂ）に示すタイミングチャートを採用する場合には点灯時間ｔ２に設定し、上述した図１０（ｃ）に示すタイミングチャートを採用する場合にはパルス数を３つに設定する。
次いで、ステップＳ４５では、画像処理ユニット１０２は、信号処理部２０８から雨滴検出領域５１の画像Ｉ（２）を取り込む。

次いで、ステップＳ５０では、ステップＳ５と同様に、信号処理部２０８は露光時間を固定する。
次いで、ステップＳ５５では、光源制御部２０９は、光源２０２、２０２’をＰ＝３に設定して点灯する。ここで、上述した図１０（ａ）に示すタイミングチャートを採用する場合にはパワー値Ｐｏに設定し、上述した図１０（ｂ）に示すタイミングチャートを採用する場合には点灯時間ｔ３に設定し、上述した図１０（ｃ）に示すタイミングチャートを採用する場合にはパルス数を４つに設定する。
次いで、ステップＳ６０では、画像処理ユニット１０２は、信号処理部２０８から雨滴検出領域５１の画像Ｉ（３）を取り込む。
次いで、ステップＳ６０では、画像処理ユニット１０２は、Ｉ（１）−Ｉ（０）、Ｉ（２）−Ｉ（０）、Ｉ（３）−Ｉ（０）のそれぞれの傾きｍ（１）、ｍ（２）、ｍ（３）を算出する。
なお、図９を参照すると、例えば、照射光量Ｐ＝１のときの画像Ｉ（１）から消灯時の画像Ｉ（０）を対応する画素毎に減算すると、雨滴の輝度成分のみを検出することができるので、バックグランドノイズのレベルが相対的に０点の位置になる。従って、Ｉ（１）−Ｉ（０）の傾きｍ１は、画像｛Ｉ（１）−Ｉ（０）｝の全画素の平均値を照射光量Ｐで除算した値と考えればよい。ここで、画像は１画素につき例えば２５６階調を有するものである。

また、照射光量Ｐ＝１から３までの値がリニアに変化すると仮定すれば、Ｉ（１）−Ｉ（０）の傾きｍ１は、画像｛Ｉ（１）−Ｉ（０）｝の全画素の平均値を１で除算した値と考え、また、Ｉ（２）−Ｉ（０）の傾きｍ２は、画像｛Ｉ（２）−Ｉ（０）｝の全画素の平均値を２で除算した値と考え、さらに、Ｉ（３）−Ｉ（０）の傾きｍ３は、画像｛Ｉ（３）−Ｉ（０）｝の全画素の平均値を３で除算した値と考えればよい。これにより、傾きｍ（１）、ｍ（２）、ｍ（３）は、０〜２５６の範囲内にあることとなる。
ここで、ステップＳ６０において、算出された傾きｍ（１）、ｍ（２）、ｍ（３）を例えば２５６で割って、１００を掛けた値を雨滴の付着度合Ｍ％と考えてもよく、この場合、式（１）のように雨滴の付着度合Ｍ％は、
Ｍ＝（ｍ／２５６）×１００ ％ （１）
と表すことができる。

次いで、ステップＳ６０では、画像処理ユニット１０２は、ｍ（１）、ｍ（２）、ｍ（３）の何れか１つが閾値ｍ_ｔｈを超えた場合、ワイパー制御信号を出力する。ここで、閾値ｍ_ｔｈは０〜２５６の範囲内の値であればよい。
また、閾値ｍ_ｔｈに代わって、０〜１の範囲内の閾値Ｍ_ｔｈであれば、上記式（１）を用いて算出した雨滴の付着度合Ｍを採用することが可能となる。
さらに、閾値ｍ_ｔｈや閾値Ｍ_ｔｈを数段階に設定すれば、この段階に応じてワイパー制御信号にも制御レベルを付加することができるので、雨滴の付着度合に応じてワイパー制御ユニット１０６の駆動段階を低速、中速、高速というように段階的に早く設定することができる。またこの駆動段階に代わって、間歇動作の休止時間を段階的に短くしていくように設定することができる。
すなわち、図９に示すように、雨滴が均一に付着している場合は、照射光量の変化に対して輝度値は線形（９１ａ）に変化して高くなるので、フロントガラス１０５面に付着した雨滴の付着度合も高く検出される。これに対して、雨滴がまばらに付着している場合は、照射光量の変化に対して輝度値は非線形（９２ａ）に変化して低くなるので、フロントガラス１０５面に付着した雨滴の付着度合も低く検出される。

上述したように、光源の各フレーム間の照射光量を変化させて、雨滴検出領域の輝度値変化を検出することで雨滴の付着度合を検出することができる。これにより、従来のアルゴリズム処理による処理負担を低減することができる。
なお、雨滴検出のみではなく、先行車や対向車の検知や、路面領域や白線などの検知を行う場合には、雨滴検出領域の画像取込処理の開始前、及び各雨滴検出領域の画像取込処理（Ｓ５〜Ｓ１５、Ｓ２０〜Ｓ３０、Ｓ３５〜４５、Ｓ５０〜Ｓ６０）の間に、図４に示した光学フィルタ２０５の中央部１／２の領域（車両周辺情報検出領域）を用いた配光制御や車両制御用の画像を撮影する処理が入る。

次に、具体的な認識結果について説明する。
発明者らが撮影した実験結果を図１２に示す。画像下部と上部に雨滴検出領域を設けている。画像中上部は除いた画像となっている。図１２（ａ）は雨滴が付着している場合で、図１２（ｂ）は雨滴が付着していない場合に相当する。
画像中の「detection area」と記載されている画面位置ところが雨滴検出領域であり、この領域に雨滴付着時はＬＥＤ光が入射し、図１２（ｂ）のように雨滴が付着していないときは、ＬＥＤ光は検出されない。雨滴が付着されているときは「Rain detected」と表示されるように雨滴を認識している。
また、雨滴が付着していないときは「Rain not detected」ということで認識していない状態を示している。この認識処理はＬＥＤ受光量の閾値調整により容易に行える。なお閾値は一位に定める必要なく、撮像装置の車両周辺情報を得る領域の露光調整情報などをもとに最適値を算出してやってもよい。

次いで、露光量の調整について説明する。
なお、上図では車両周辺情報と雨滴が同時に撮影した画像であるが、本実施形態においては露光時間を異ならせた２枚の画像をとり、雨滴検出用の画像と車両周辺検出用の画像との２枚を生成できる。分光フィルタＡのみの領域と、分光フィルタ層ＡおよびＢからなる領域とでは取得光量が異なるが、露光時間の異なる２枚の画像を撮影すればそれぞれの画像について最適な露光で情報を取得することが可能となる。
遠方の画像を撮影する場合は、分光フィルタ層Ａのみの領域の部分を検出しながら自動露光調整を行い、雨滴の画像を撮影する場合は、分光フィルタ層ＡおよびＢ両方を透過する部分を検出しながら自動露光調整すればよい。
分光フィルタ層Ａのみの領域は、周辺の光量変化が大きい。カメラが撮影する車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮影シーンに応じて露光時間を調整する必要があり、これに対しては公知の自動露光制御を行えばよい。なお本実施形態で説明してきた車載カメラにおいては、被写体は路面周辺にあるため、路面領域の画像をもとに露光制御を行うのが望ましい。
一方、分光フィルタ層ＡおよびＢからなる領域については、光源２０２の異物からの反射光のみを取り込むように設定されてなるため、周辺環境による光量の変化は小さいため、固定露光時間で撮影することも可能である。

＜第２実施形態＞
図１３に示す撮像装置構成と光路の関係を参照して、本発明の第２実施形態に係る画像処理システムについて説明する。
第１実施形態では図８に示す撮像装置構成と光路の関係を用いて説明したが、第２実施形態では図１３に示す撮像装置構成と光路の関係を用いることを特徴とする。
上述したとおり、フロントガラス１０５面の法線に対して撮像装置の光軸と略反対側の位置に設置された構成であってもよい。図１３は、光源２０２の光軸が図８に示す構成と同様に撮像レンズの光軸に略平行であり、光源２０２’の光軸はフロントガラス１０５面の法線に対して撮像装置の光軸と略反対側の位置に配置された状態を示す。

平行に入射した光路で反射するものと、下側から斜めで入射する場合とで雨滴の多重反射状態は変わるため、検出できる雨滴の形状が広げられる。なお図１３では、図８で説明した光路Ｄ〜Ｇについては便宜上省いている。
第１実施形態では図１０（ａ）〜図１０（ｃ）に示すタイミングチャートを参照して、画像処理システムにおける光源発光の変調方法について説明したが、第２実施形態でも図１０（ａ）〜図１０（ｃ）に示すタイミングチャートを用いることが可能であるため、その説明を省略する。
第１実施形態では光源制御部２０９、信号処理部２０８および画像解析ユニット１０２での動作について説明したが、第２実施形態でも光源制御部２０９、信号処理部２０８および画像解析ユニット１０２での動作は同様であるので、その説明を省略する。

ここで、図１１に示すフローチャートを参照して、本発明の第２実施形態に係る画像処理システムにおける、光源制御部および画像処理ユニットによる動作を説明する。なお、第２実施形態における説明するは、第１実施形態と同様であるので、その説明を省略する。
このように、光源の各フレーム間の照射光量を変化させて、雨滴検出領域の輝度値変化を検出することで雨滴の付着度合を検出することができる。これにより、従来のアルゴリズム処理による処理負担を低減することができる。

＜第３実施形態＞
図１４に示す撮像装置構成と光路の関係を参照して、本発明の第３実施形態に係る画像処理システムについて説明する。
第１実施形態では図８に示す撮像装置構成と光路の関係を用いて説明したが、第３実施形態では図１４に示す撮像装置構成と光路の関係を用いることを特徴とする。
光源２０２としてはＬＤやＬＥＤを用いればよいが、いずれの光源も温度の変化に応じて、その発光パワーが変化する。発光パワーが変化すると雨滴からの反射光量も変化してしまうため、雨滴の付着レベルを誤って検出してしまう。
このような課題に対しては、光源の発光パワーを検出し、フィードバックをかけることが可能である。温度が上がり、発光パワーが低下した場合はもとの発光パワーとなるように調整する。なお後述するとおり、撮像素子が輝度値を検出する１フレームのなかでのフロントガラス１０５面での照射光量が所定の値になっていればよく、発光パワーの調整方法としては、発光パワーレベルを調整させたり、発光時間を調整させたり、マルチパルス発光させている場合はその発光させるパルス数を調整すればよい。
このようなフロントガラス１０５面での光源の照射光量を検出する方法としては、図１４のようにフロントガラス内側の反射光（光路Ｈ）を用いればよい。フロンとガラス内側の反射光は前述のとおりＳ偏光成分が支配的であるため、偏光フィルタ層にＳ偏光成分のみを透過する領域２０５ｈｓを形成（図１５）し、該領域の輝度値を検出してやればよい。

図１５は、光学フィルタの領域分割パターンと検出項目の関係を説明するための図である。
Ｐ偏光成分のみを透過する領域（雨滴検出領域）２０５ｈｐと、Ｓ偏光成分のみを透過する領域（モニタ領域）２０５ｈｓはワイヤグリッドの溝方向を直交させることにより形成できる。
画像解析ユニットは、光源によってフロントガラス１０５面に照射された光のうち、フロントガラス１０５面の内側で反射された光の撮像結果を用いて、光源の発光量をモニタすることができる。

また、光学フィルタ２０５は、領域分割型分光フィルタに加えて、領域分割型偏光フィルタを有し、領域分割型偏光フィルタは、領域分割型分光フィルタの領域を透過した光の一部の領域についてはＳ偏光成分のみを透過させ、一部の領域外の部分はＰ偏光成分のみを透過させるように領域分割されたものであり、画像解析ユニットは、領域分割型偏光フィルタのＰ偏光成分のみを透過させる領域２０５ｈｐを透過した光を用いてフロントガラス１０５面の異物検出を行い、Ｓ偏光成分のみを透過させる領域２０５ｈｓを透過した光を用いて光源の発光量をモニタすることができる。

第１実施形態では図１０（ａ）〜図１０（ｃ）に示すタイミングチャートを参照して、画像処理システムにおける光源発光の変調方法について説明したが、第３実施形態でも図１０（ａ）〜図１０（ｃ）に示すタイミングチャーを用いることが可能であるため、その説明を省略する。
第１実施形態では光源制御部２０９、信号処理部２０８および画像解析ユニット１０２での動作について説明したが、第３実施形態でも光源制御部２０９、信号処理部２０８および画像解析ユニット１０２での動作は同様であるので、その説明を省略する。
このように、光源の各フレーム間の照射光量を変化させて、雨滴検出領域の輝度値変化を検出することで雨滴の付着度合を検出することができる。

次に、図１６に示すフローチャートを参照して、本発明の第３実施形態に係る画像処理システムにおける、光源制御部および画像処理ユニットによる動作を説明する。なお、ステップＳ５、Ｓ１０、Ｓ２０、Ｓ３５、Ｓ５０、Ｓ６５、Ｓ７０については、第１実施形態において説明したので、その説明を省略する。
上述したように、画像解析ユニット１０２は、図１４に示す光源２０２’によってフロントガラス１０５面に照射された光のうち、フロントガラス１０５面の内側で反射された光路Ｈを通る光が光源パワーモニタ領域２０５ｈｓを通過した画像を撮像素子２０５で撮像しておき、この撮像結果を用いて、光源２０２’の発光量をモニタしている。

ステップＳ１１５では、画像処理ユニット１０２は、信号処理部２０８から雨滴検出領域２０５ｈｐの画像Ｉ（０）を取り込むとともに、信号処理部２０８から雨滴検出領域２０５ｈｓの画像Ｒ（０）を取り込む。ここで、画像Ｉ（０）は周囲環境から影響を受けている雨滴検出領域２０５ｈｐ内のバックグランドノイズに相当する。画像Ｒ（０）は周囲環境から影響を受けている雨滴検出領域２０５ｈｓ内のバックグランドノイズに相当する。
ステップＳ１３０では、画像処理ユニット１０２は、信号処理部２０８から雨滴検出領域２０５ｈｐの画像Ｉ（１）を取り込むとともに、信号処理部２０８から雨滴検出領域２０５ｈｓの画像Ｒ（１）を取り込む。ステップＳ１４５、Ｓ１６０においても同様である。
本フローチャートに示すプログラムを最初に起動するときには、ステップＳ１２５では、メモリに記憶された規定値の発光パワーＰ_１を読み出して、光源点灯時のパワーとして設定する。ステップＳ１４０、Ｓ１５５においても同様である。

一方、２回目以降は、ステップＳ１２５では、メモリに記憶された発光パワーＰ_１を読み出して、光源点灯時のパワーとして設定する。同様に、ステップＳ１４０においてはＰ_２、ステップＳ１５５においてはＰ_３を設定する。
ステップＳ１７５では、画像処理ユニット１０２は、Ｒ（１）−Ｒ（０）を算出する。すなわち、照射パワーＰ_１のときの画像Ｒ（１）から消灯時の画像Ｒ（０）を対応する画素毎に減算すると、フロントガラス１０５の車両室内側からの反射光の輝度成分のみを検出することができるので、バックグランドノイズのレベルが相対的に０点の位置になる。この際に、減算結果の画像｛Ｒ（１）−Ｒ（０）｝の全画素の平均値を算出しておき、結果値ｒ（１）とする。
次いで、ステップＳ１８０では、画像処理ユニット１０２は、結果値ｒ（１）が所定発光パワーＰの範囲内にある場合にメモリに記憶する。ここで、結果値ｒ（１）は撮像レベルを表しているので、この撮像レベルを発光パワーＰ_１に変換しておく。この最に、撮像レベル−発光パワー変換テーブルを用いればよい。そして、発光パワーＰ_１がＰ_１ｓ＜Ｐ_１＜Ｐ_１ｅの範囲内にある場合には、発光パワーＰ_１をメモリに記憶する。

一方、発光パワーＰ_１がＰ_１＜Ｐ_１ｓの範囲にある場合には、発光パワーＰ_１が比較的弱い状態にあり、光量ばらつきの原因となる。そこで、発光パワーＰ_１＋ΔＰ_１を新たな発光パワーＰ_１とする。また、発光パワーＰ_１がＰ_１ｅ＜Ｐ_１の範囲にある場合には、発光パワーＰ_１が比較的強い状態にあり、光量ばらつきの原因となる。そこで、発光パワーＰ_１−ΔＰ_１を新たな発光パワーＰ_１とする。
そして、このようにして算出された新たな発光パワーＰ_１をメモリに記憶する。これにより、発光パワーＰ_１を補正することができ、光量ばらつきを低減することができる。
ステップＳ１８５〜Ｓ１９０、Ｓ１９５〜Ｓ２００においても、ステップＳ１７５〜Ｓ１８０と同様の処理を行う。すなわち、ステップＳ１９０では、発光パワーＰ_２がＰ_２ｓ＜Ｐ_２＜Ｐ_２ｅの範囲内にある場合には、発光パワーＰ_２をメモリに記憶する。また、ステップＳ２００では、発光パワーＰ_３がＰ_３ｓ＜Ｐ_３＜Ｐ_３ｅの範囲内にある場合には、発光パワーＰ_３をメモリに記憶する。
このようにしてメモリに記憶されたそれぞれの発光パワーＰを読み出して、それぞれのステップＳ１２５、Ｓ１４０、Ｓ１５５における光源点灯時のパワーとして設定することで、光源パワーにおけるフィードバック制御に利用することができる。

＜変形例１＞
上記第１〜第３実施形態では、画像解析ユニット１０２を用いて、撮像装置により撮像された画像からフロントガラス１０５面に付着した雨滴の付着度合いを検出するという処理を行っているが、本発明はこのような場合に限定されるものではなく、同様の処理内容を行う手段を撮像ユニット１０１内に内蔵させ、直接にワイパー制御ユニット１０６を作動させてもよい。

１０１ 撮像ユニット、１０２ 画像解析ユニット、１０５ フロントガラス、２０１ 撮像装置、２０２，２０２’ 光源、２０４ 撮像レンズ、２０５ 光学フィルタ、２０６ 撮像素子、２０７ センサ基板、２０８ 信号処理部、２０９ 光源制御部

特許３５３６７３８号 特開２０１０−２０４０５９公報 特開２００５−２２５２５０公報 特開２００５−１９５５６６公報

Claims (6)

1. フロントガラスに向けて光を照射する光源と、
   前記フロントガラスに対して前記光源と同じ側に、
   焦点が前記フロントガラスの位置よりも遠方に設定された撮像レンズと、
   複数の画素アレイを有する撮像素子と、
   前記撮像レンズと前記撮像素子の間に前記基板の撮像素子側の面の有効撮像領域の一部のエリアに、所定の波長範囲の光のみ透過する領域分割型分光フィルタ層を有する光学フィルタと、を備え、
   前記フロントガラスの外側の面に付着した付着物によって反射された前記光源からの光を撮像する撮像装置を備えた画像処理システムにおいて、
   前記撮像素子の各フレーム間で前記光源に対する変調度を変化するように制御する制御部と、
   前記フロントガラス面での前記光源からの照射光量の変化に応じて、前記撮像装置により撮像された画像から前記フロントガラス面に付着した付着物の付着度合いを検出する画像解析処理部と、を備え、
   前記画像解析処理部は、前記光源からの前記各フレーム間で照射光量の変化に応じて、前記撮像素子により撮像された少なくとも１フレーム以上の間隔の画像における輝度値の変化の割合を算出し、前記変化の割合に基づいて付着物の付着度合いを算出することを特徴とする画像処理システム。
2. 前記制御部は、前記光源の発光パワーレベルを変化させることにより、前記フロントガラス面での照射光量を変化させることを特徴とする請求項１記載の画像処理システム。
3. 前記制御部は、前記光源の発光時間の長さを変化させることにより、前記フロントガラス面での照射光量を変化させることを特徴とする請求項１記載の画像処理システム。
4. 前記制御部は、前記光源を駆動するパルス数を変化させることにより、前記フロントガラス面での照射光量を変化させることを特徴とする請求項１記載の画像処理システム。
5. 前記画像解析処理部は、前記光源によって前記フロントガラス面に照射された光のうち、前記フロントガラス面の内側で反射された光の撮像結果を用いて、前記光源の発光量をモニタすることを特徴とする請求項１乃至４の何れか一項記載の画像処理システム。
6. 前記光学フィルタは、前記領域分割型分光フィルタに加えて、領域分割型偏光フィルタを有し、
   前記領域分割型偏光フィルタは、前記領域分割型分光フィルタの領域を透過した光の一部の領域についてはＳ偏光成分のみを透過させ、前記一部の領域外の部分はＰ偏光成分のみを透過させるように領域分割されたものであり、
   前記画像解析処理部は、前記領域分割型偏光フィルタのＰ偏光成分のみを透過させる領域を透過した光を用いてフロントガラス面の異物検出を行い、Ｓ偏光成分のみを透過させる領域を透過した光を用いて前記光源の発光量をモニタすることを特徴とする請求項５記載の画像処理システム。

Images