JP7156225B2 - 付着物検出装置および付着物検出方法 - Google Patents

Description

本発明は、付着物検出装置および付着物検出方法に関する。

従来、撮像画像の各画素から検出されるエッジに基づき、雨滴等の形状に類似した特徴をもつ候補領域を検出し、候補領域の画素値に基づいて付着物領域を検出する付着物検出装置が知られている（例えば、特許文献１参照）。

特開２０１９－１０６６４４号公報

しかしながら、従来技術では、付着物を高精度に検出する点で改善の余地があった。例えば、雨滴の形状と、室内照明下における路面反射の形状とが類似しているため、路面反射を付着物領域として誤検出するおそれがあった。

本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、抽出部と、確定部とを備える。前記抽出部は、撮像装置で撮像された画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する。前記確定部は、前記抽出部によって抽出された前記候補領域のうち、前記画像の路面領域を含む第１領域に存在する前記候補領域の面積と、前記路面領域以外の領域を含む第２領域に存在する前記候補領域の面積とに基づいて、前記付着物領域を確定する。

本発明によれば、付着物を高精度に検出することができる。

図１は、実施形態に係る付着物検出方法の概要を示す図である。 図２は、実施形態に係る付着物検出装置の構成を示すブロック図である。 図３Ａは、抽出部の処理内容を示す図である。 図３Ｂは、抽出部の処理内容を示す図である。 図４Ａは、抽出部の処理内容を示す図である。 図４Ｂは、抽出部の処理内容を示す図である。 図５は、抽出部による除外処理を示す図である。 図６は、抽出部の判定処理を示す図である。 図７は、算出部による算出処理を示す図である。 図８は、判定部による判定処理を示す図である。 図９は、判定部による継続性の判定処理を示す図である。 図１０は、確定部による確定処理を示す図である。 図１１は、実施形態に係る付着物検出装置が実行する付着物の全体処理の処理手順を示すフローチャートである。 図１２は、実施形態に係る付着物検出装置が実行する付着物の確定処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る付着物検出方法の概要について説明する。図１は、実施形態に係る付着物検出方法の概要を示す図である。なお、図１には、例えば、屋内駐車場等の室内照明下において、車載カメラ（撮像装置の一例）によって撮像された撮像画像Ｉを示している。

図１に示す撮像画像Ｉでは、照明の直下の路面において、照明の光が反射することで、略楕円形のぼやけた領域と類似する。すなわち、カメラのレンズに付着した付着物に対応する領域（付着物領域）と見え方が類似している。換言すれば、照明等の光が路面に反射した領域と、付着物領域とは輝度特性が類似している。なお、付着物は、泥、埃、雨滴および雪片等のような、付着物の領域がぼやけた領域となる付着物であればよい。

そして、従来は、撮像画像の輝度情報に基づいて付着物領域を検出していたため、このような路面反射の領域を付着物領域として誤検出するおそれがあった。

そこで、実施形態に係る付着物検出装置１（図２参照）は、路面反射の領域が、撮像画像Ｉにおける路面領域に集中する特性を利用して、路面反射の領域と付着物領域とを高精度に判別する。

具体的には、まず、実施形態に係る付着物検出方法では、撮像画像Ｉの各画素から検出されるエッジに基づき、カメラのレンズに付着した付着物に対応する付着物領域の候補となる候補領域１００を抽出する（ステップＳ１）。なお、図１では、路面反射の領域を候補領域１００として誤って抽出した例を示している。

実施形態に係る付着物検出方法では、例えば、パターンマッチング等のマッチング処理により、雨滴等の円形状の輪郭を含む矩形状の領域を候補領域１００として抽出する。

つづいて、実施形態に係る付着物検出方法では、抽出した候補領域１００のうち、撮像画像Ｉの路面領域５１０を含む第１領域に存在する候補領域１００の面積と、路面領域５１０以外の領域５２０を含む第２領域に存在する候補領域１００の面積とに基づいて、付着物領域を確定する（ステップＳ２）。

例えば、実施形態に係る付着物検出方法では、路面領域５１０を含む第１領域に存在する候補領域１００の面積が、路面領域５１０以外の領域５２０を含む第２領域に存在する候補領域１００の面積よりも所定値以上大きい場合、第１領域に存在する候補領域１００以外の候補領域１００を付着物領域として確定する。

すなわち、図１の撮像画像Ｉのように、候補領域１００が路面領域５１０に集中している場合、路面領域５１０に存在する候補領域１００は付着物領域ではないと確定する。これにより、路面反射の領域を付着物領域として誤検出することを抑制することができる。すなわち、実施形態に係る付着物検出方法によれば、付着物を高精度に検出することができる。

なお、上記では、路面領域５１０を含む第１領域に存在する候補領域１００の面積が、路面領域５１０以外の領域５２０を含む第２領域に存在する候補領域１００の面積よりも所定値以上大きいか否かにより付着物領域を確定したが、第１領域に候補領域１００が集中していることが検出できれば、面積の比較方法は任意でよい。

例えば、候補領域１００の全体面積に対して、第２領域に存在する候補領域１００の面積が極端に小さいことを検出することで、付着物領域を確定してもよい。

次に、図２を用いて、実施形態に係る付着物検出装置１の構成について説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、車速センサ１１と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前後方、側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

車速センサ１１は、車両の速度（車速）を検出するセンサである。車速センサ１１は、検出した車速の情報を付着物検出装置１へ出力する。なお、車速センサ１１を省略して、例えば、付着物検出装置１は、カメラ１０の時系列の画像に基づいて車速の情報を算出してもよい。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。

図２に示すように、実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、画像取得部２１と、抽出部２２と、算出部２３と、判定部２４と、確定部２５と、フラグ出力部２６とを備える。記憶部３は、起伏条件情報３１を記憶する。

ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、データフラッシュ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の画像取得部２１、抽出部２２、算出部２３、判定部２４、確定部２５およびフラグ出力部２６として機能する。

また、制御部２の画像取得部２１、抽出部２２、算出部２３、判定部２４、確定部２５およびフラグ出力部２６の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭやデータフラッシュに対応する。ＲＡＭやデータフラッシュは、起伏条件情報３１や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

記憶部３に記憶された起伏条件情報３１は、後述の抽出部２２による処理の基準となる条件を含む情報であり、例えば、輝度分布（輝度平均の分布）の起伏のパターン条件を含む。なお、パターン条件とは、輝度平均の分布の起伏変化の変化パターンや、輝度分布における各画素（単位領域Ｒ）がとり得る輝度の閾値範囲である。なお、起伏条件情報３１を用いた処理については後述する。

画像取得部２１は、カメラ１０で撮像された画像を取得し、現在の撮像画像Ｉである現在フレームを生成（取得）する。具体的には、画像取得部２１は、取得した画像における各画素を輝度に応じて白から黒までの各階調に変換するグレースケール化処理を行う。

また、画像取得部２１は、取得した画像に画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、画像取得部２１は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像である現在フレームを生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。

このように、付着物検出装置は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。

なお、画像取得部２１は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、画像取得部２１は、間引き処理を行わず、取得した画像と同じサイズの現在フレームを生成してもよい。また、以下では、現在フレームを撮像画像Ｉと記載する場合がある。

抽出部２２は、画像取得部２１が取得した撮像画像Ｉの各画素から検出されるエッジに基づき、撮像画像Ｉの中から付着物領域の候補領域１００を抽出する。具体的には、まず、抽出部２２は、撮像画像Ｉにおける各画素の輝度およびエッジ情報を抽出する。各画素の輝度は、例えば、０～２５５のパラメータで表現される。

また、抽出部２２は、各画素の輝度に基づいてエッジ検出処理を行って、各画素について、Ｘ軸方向（撮像画像Ｉの左右方向）のエッジと、Ｙ軸方向（撮像画像Ｉの上下方向）のエッジとを検出する。エッジ検出処理には、例えば、Ｓｏｂｅｌフィルタや、Ｐｒｅｗｉｔｔフィルタ等の任意のエッジ検出フィルタを用いることができる。

そして、抽出部２２は、Ｘ軸方向のエッジと、Ｙ軸方向のエッジとに基づき、三角関数を用いることで、画素のエッジ角度およびエッジ強度の情報を含むベクトルをエッジ情報として検出する。具体的には、エッジ角度は、ベクトルの向きによって表現され、エッジ強度は、ベクトルの長さによって表現される。

そして、抽出部２２は、予め作成された付着物の輪郭を示すテンプレート情報と、検出したエッジ情報とのマッチング処理（テンプレートマッチング）を行い、テンプレート情報と類似するエッジ情報を抽出する。そして、抽出部２２は、抽出したエッジ情報の領域、すなわち、付着物の輪郭を含む矩形状の領域である候補領域１００を抽出する。

なお、抽出部２２は、マッチング処理により抽出した候補領域１００の情報を算出部２３へ出力してもよく、以下に示す抽出処理により、さらに絞り込んだ候補領域１００の情報を算出部２３へ出力してもよい。

つづいて、抽出部２２は、抽出した候補領域１００において連続する複数の画素列に関し、所定画素数を単位とする単位領域Ｒに分割し、単位領域Ｒ毎に輝度の平均値および輝度の標準偏差を算出する。

ここで、図３Ａ～図４Ｂを用いて、抽出部２２の処理内容について説明する。図３Ａ～図４Ｂは、抽出部２２の処理内容を示す図である。

図３Ａおよび図３Ｂに示すように、まず、抽出部２２は、候補領域１００において連続する複数の画素列を帯領域１１０として設定する。かかる帯領域１１０は、後段の単位領域Ｒの分割処理および輝度情報（平均値および標準偏差）の算出処理の対象となる領域である。

具体的には、図３Ａに示すように、まず、抽出部２２は、候補領域１００における水平方向の３列の画素列Ｈ１～Ｈ３と、垂直方向の３列の画素列Ｖ１～Ｖ３とを選択する。そして、抽出部２２は、選択した各画素列について、当該画素列を含む複数の画素列を帯領域１１０として設定する。

図３Ｂでは、水平方向の画素列Ｈ１を含む帯領域１１０を示している。なお、垂直方向の画素列Ｖ１～Ｖ３を含む帯領域１１０の設定方法については、以下に説明する水平方向の画素列Ｈ１を含む帯領域１１０の設定方法とほぼ同様（画素列が水平方向か垂直方向かの違いのみ）であるため、記載を省略する。

図３Ｂに示すように、抽出部２２は、選択した画素列Ｈ１を中心にして、垂直方向に連続する複数の画素列を帯領域１１０として設定する。換言すれば、抽出部２２は、選択した画素列Ｈ１と当該画素列Ｈ１に平行な画素列であって、互いに隣接する複数の画素列とを帯領域１１０として設定する。

図３Ｂでは、水平方向の画素列Ｈ１に対して垂直方向の上側および下側それぞれに連続する３本の画素列（計６本の画素列）と、１本の画素列Ｈ１とを含む計７本の画素列を帯領域１１０として設定する。

なお、帯領域１１０における画素列Ｈ１の位置は、帯領域１１０の中心でなくてもよく、垂直方向の上側および下側のいずれかに寄った位置であってもよい。また、画素列Ｈ１に対して垂直方向の上側および下側それぞれに連続する画素列は、２本以下でも、４本以上でもよい。

また、選択する画素列Ｈ１～Ｈ３、Ｖ１～Ｖ３は、水平方向の画素列Ｈ１～Ｈ３、または、垂直方向の画素列Ｖ１～Ｖ３のいずれか一方の方向の画素列であってもよい。また、各方向において選択する画素列Ｈ１～Ｈ３、Ｖ１～Ｖ３の本数は、３本に限らず、２本以下や、４本以上であってもよい。

つづいて、図４Ａに示すように、抽出部２２は、設定した帯領域１１０において所定画素数を単位とする単位領域Ｒ１～Ｒ８に分割し、単位領域Ｒ１～Ｒ８毎に輝度の平均値および輝度の標準偏差を算出する。

なお、図４Ａでは、抽出部２２は、帯領域１１０を等間隔（同じ画素数）で分割した８つの単位領域Ｒ１～Ｒ８を設定する場合を示しているが、単位領域Ｒの数は６つ以下でも、９つ以上でもよい。また、各単位領域Ｒに含まれる画素数は同じであっても、異なってもよい。

そして、抽出部２２は、算出した輝度の標準偏差が所定値未満である場合、帯領域１１０における単位領域Ｒの代表値として輝度の平均値を設定する。

一方、図４Ｂに示すように、抽出部２２は、算出した輝度の標準偏差が所定値以上である場合、帯領域１１０における輝度平均の分布として、単位領域Ｒの輝度平均に代えて、所定の異常値を単位領域Ｒの代表値に設定する。

図４Ｂに示す例では、算出部２３は、単位領域Ｒ８について、輝度の標準偏差が所定値以上である場合、単位領域Ｒ８の輝度の平均値に代えて、所定の異常値（例えば、最低値やゼロ等）を単位領域Ｒ８の代表値に設定する。

この異常値は、後段処理において付着物領域ではないと判定するための値である。例えば、抽出部２２は、後段処理において、輝度平均の分布が所定のパターンに合致するか否かで付着物領域を判定する場合、かかる所定のパターンに合致しないような異常値を設定する。

このように、後段処理において付着物領域ではないと判定されるような異常値を設定することで、新たな処理を追加することなく付着物領域でない候補領域１００を除くことができるため、処理が複雑化することを抑制できる。

なお、抽出部２２は、単位領域Ｒの代表値として、輝度の平均値を用いたが、例えば、単位領域Ｒ１～Ｒ８毎に輝度のヒストグラムを作成し、ヒストグラムにおける最頻値や中央値、平均値等を代表値として設定してもよい。

つづいて、抽出部２２は、単位領域Ｒ毎に算出した輝度平均の分布に基づいて候補領域１００をさらに絞り込む。

具体的には、まず、抽出部２２は、候補領域１００に含まれる画素の輝度分布（輝度平均の分布）の起伏が所定の除外条件を満たす場合、候補領域１００を付着物領域の判定処理の対象から除外する。

ここで、抽出部２２による候補領域１００の除外処理について図５を用いて説明する。図５は、抽出部２２による除外処理を示す図である。図５では、所定の候補領域１００から算出された各帯領域１１０の輝度平均の分布を示している。図５では、候補領域１００に設定された各画素列Ｈ１～Ｈ３、Ｖ１～Ｖ３に対応する帯領域１１０毎の輝度平均の分布を示している。例えば、図５において「Ｈ１」のグラフは、画素列Ｈ１を含む帯領域１１０における単位領域Ｒの輝度平均の分布を示す。

抽出部２２は、各画素列Ｈ１～Ｈ３、Ｖ１～Ｖ３に対応する帯領域１１０毎の輝度平均の分布における起伏が所定の除外条件を満たす場合、候補領域１００を付着物領域の判定処理の対象から除外する。

例えば、抽出部２２は、帯領域１１０に含まれる単位領域Ｒの代表値に異常値が含まれる場合、候補領域１００を付着物領域の判定処理の対象から除外する。換言すれば、抽出部２２は、帯領域１１０において隣接する２つの単位領域Ｒの代表値の差分が所定値以上となる場合、候補領域１００を付着物領域の判定処理の対象から除外する。

さらに言い換えれば、抽出部２２は、帯領域１１０における単位領域Ｒの中に、代表値の標準偏差が所定値以上の単位領域Ｒ（つまり、異常値が設定された単位領域Ｒ）が含まれる場合、候補領域１００を付着物領域の判定処理の対象から除外する。

すなわち、抽出部２２は、輝度平均の分布における起伏の一部が、異常値により急激に凹凸した形状である場合、除外条件を満たすとして、当該候補領域１００を付着物領域の判定処理の対象から除外する。このように、抽出部２２は、異常値に基づいて除外処理を行うことで、付着物でない領域を高精度に除去できる。

また、図５の画素列Ｖ１～Ｖ３のグラフに示すように、抽出部２２は、単位領域Ｒの輝度平均の分布における起伏が３つのグラフとも平坦、つまり、垂直方向の画素列Ｖ１～Ｖ３に対応する３つの帯領域１１０すべてについて、輝度平均の起伏変化が所定の範囲内である場合、候補領域１００を付着物領域の判定処理の対象から除外する。具体的には、候補領域１００がバックランプの光が壁に反射した場合、単位領域Ｒの輝度平均の分布が平坦になる傾向にあることが実験により判明した。そこで、輝度平均の起伏変化が所定の範囲内である場合は候補領域１００がバックランプの反射で生じたものであると判定し、付着物領域４００の判定処理の対象から除外する。

なお、図５では、垂直方向の画素列Ｖ１～Ｖ３における３つの輝度分布が平坦である場合を示したが、水平方向の画素列Ｈ１～Ｈ３における３つの輝度分布が平坦である場合や、垂直方向および水平方向の画素列Ｈ１～Ｈ３、Ｖ１～Ｖ３における６つの輝度分布が平坦である場合に、候補領域１００を付着物領域の判定処理の対象から除外してもよい。つまり、抽出部２２は、候補領域１００における垂直方向および水平方向の画素列のうち、少なくとも一方の画素列の輝度分布の起伏変化が所定の範囲内である場合、除外条件を満たすとし、候補領域１００を付着物領域の判定処理の対象から除外する。

このように、抽出部２２は、候補領域１００における輝度分布の起伏が所定の除外条件を満たす場合に、かかる候補領域１００を付着物領域の判定処理の対象から除外することで、付着物領域の誤判定を減らすことができる。すなわち、付着物を高精度に検出することができる。

つづいて、抽出部２２は、除外条件により除外した候補領域１００以外の候補領域１００について、さらに絞り込むための処理を行う。ここで、図６を用いて、抽出部２２による処理について説明する。

図６は、抽出部２２の判定処理を示す図である。まず、図６に示すように、抽出部２２は、まず、各帯領域１１０について、隣接する単位領域Ｒ１～Ｒ８の輝度平均の変化量Ｄ１～Ｄ７を算出する。

そして、抽出部２２は、候補領域１００における複数の帯領域１１０のうち、単位領域Ｒの輝度平均の分布における起伏変化のパターンが所定の変化パターンを満たす候補領域１００を抽出する。例えば、抽出部２２は、変化量Ｄ１～Ｄ７の各値と、記憶部３に記憶された起伏条件情報３１に含まれる変化パターンの各値とを比較して判定処理を行う。なお、起伏条件情報３１に含まれる変化パターンとは、変化量Ｄ１～Ｄ７のとり得る最大値および最小値の閾値範囲である。

つまり、抽出部２２は、算出した変化量Ｄ１～Ｄ７の各値が、起伏条件情報３１に含まれる変化量Ｄ１～Ｄ７それぞれの閾値範囲内である候補領域１００を抽出する。

換言すれば、抽出部２２は、隣接する単位領域Ｒ１～Ｒ８の輝度平均の変化量Ｄ１～Ｄ７のパターンが、起伏条件情報３１で設定された閾値範囲である変化パターンを満たす候補領域１００を抽出する。

また、起伏条件情報３１において変化量Ｄ１～Ｄ７の最大値および最小値を設定して幅をもたせることで、輝度分布の起伏が多少ばらついても、候補領域１００として抽出することができる。

なお、図６では、起伏条件情報３１について、すべての変化量Ｄ１～Ｄ７の閾値範囲を設定した場合を示したが、例えば、小さいサイズの付着物領域を検出する場合には、変化量Ｄ１～Ｄ７のうち、一部の変化量の閾値範囲のみを設定してもよい。

抽出部２２は、抽出した候補領域１００の情報を算出部２３へ出力する。

算出部２３は、抽出部２２によって抽出された候補領域１００における所定の内部領域２００において所定方向に連続する複数画素の輝度変化量を算出する。

ここで、図７を用いて、算出部２３による複数画素の輝度変化量の算出処理について説明する。図７は、算出部２３による算出処理を示す図である。

図７に示すように、算出部２３は、まず、抽出された候補領域１００に対して内部領域２００を設定する。例えば、算出部２３は、候補領域１００を垂直方向および水平方向それぞれで所定数に分割する。図７では、候補領域１００を垂直方向および水平方向それぞれで４分割する場合を示すが、３分割以下でも、５分割以上でもよい。

そして、算出部２３は、所定数に分割した分割領域のうち、中央領域を内部領域２００として設定する。図７では、垂直方向および水平方向それぞれで４分割して生成された１６の分割領域のうち、中央領域である４つの分割領域を内部領域２００として設定する。

そして、算出部２３は、内部領域２００において複数画素の輝度変化量を算出する。図７では、算出部２３は、垂直方向に連続する３画素の輝度変化量を算出する。これは、路面反射の領域が垂直方向に延びる場合が多いためである。これにより、後段の判定部２４により路面反射の領域を高精度に判定することができる。なお、算出部２３は、水平方向に連続する複数画素の輝度変化量を算出してもよい。

まず、算出部２３は、垂直方向に隣接する２つの画素の輝度差分値を第１差分として算出する。図７の中段には、１つの第１差分を１マスとし、画素の配列に対応させて２次元状に配列している。つまり、図７の中段において、１つのマスは垂直方向に隣接する２画素の輝度差分値、すなわち第１差分であり、垂直方向に隣接する２つのマスは、３画素から算出された２つの第１差分である。

つづいて、算出部２３は、垂直方向に連続する２つの第１差分の差分値である第２差分を算出する。図７の下段には、絶対値に変換した１つの第２差分を１マスとし、画素の配列に対応させて２次元状に配列している。つまり、図７の下段において、１つのマスは、３画素から算出された１つの第２差分（輝度変化量）である。換言すれば、第２差分は第１差分の変化量である。

このように、輝度が急激に上下する場合は路面の小さな傷等に起因して発生するケースが考えられ、路面反射の領域である可能性が高い。そこで、算出部２３は、第２差分を複数画素の輝度変化量として算出することで、後段の判定部２４において、付着物領域であるか路面反射の領域であるかを容易に判定することができる。具体的には、例えば、路面の小さな傷等に起因して、連続する３画素の輝度が急激に上下する領域（図７に示す「１８０」→「１６０」→「１８０」）では、第２差分が高くなる。すなわち、第２差分を算出することで、このような輝度が急激に上下する領域を容易に識別できるようになるため、後述の判定部２４において、付着物領域であるか路面反射の領域であるかを容易に判定することができる。

算出部２３は、算出結果である第２差分を複数画素の輝度変化量として判定部２４へ出力する。

なお、算出部２３は、第２差分を複数画素の輝度変化量としたが、第１差分を複数画素の輝度変化量としてもよい。第１差分を複数画素の輝度変化量とする場合、複数画素における画素数が２画素以上であればよい。具体的には、２画素の輝度変化量を算出する場合には、算出した１つの第１差分を輝度変化量としてもよく、３画素以上の輝度変化量を算出する場合には、算出した複数の第１差分の平均値を輝度変化量としてもよい。

判定部２４は、算出部２３によって算出された複数画素の輝度変化量をヒストグラム化することで、候補領域１００が付着物領域であるか否かを判定する。ここで、図８を用いて、判定部２４による判定処理について説明する。

図８は、判定部２４による判定処理を示す図である。図８では、一の内部領域２００に含まれる複数の複数画素毎の輝度変化量のヒストグラムを示している。図８に示すヒストグラムでは、横軸を輝度変化量とし、縦軸を領域度数として示している。また、図８では、候補領域１００が付着物領域である場合のヒストグラムと、候補領域１００が路面反射の領域（付着物以外の領域）である場合のヒストグラムとを示している。

なお、領域度数とは、複数画素の数に対応した数であり、１つの度数が１つの複数画素に対応している。言い換えれば、１つの度数は、１つの複数画素における輝度変化量（すなわち、１つの輝度変化量）に対応している。また、領域度数は、度数総和が所定値となるよう正規化した度数である。つまり、図８に示すヒストグラムの領域度数の総和は、大きさの異なる各内部領域２００間で同じとなる。

図８に示すように、付着物領域のヒストグラムと、路面反射の領域のヒストグラムとを比較した場合、第１の範囲における領域度数は双方が類似しているものの、第２の範囲において、路面反射の領域の方が、付着物領域に比べて、領域度数の合計がわずかに多い。これは、路面反射の領域では、路面にできた傷や、汚れ等が第２の範囲の領域度数に影響しているためである。

かかる点に着目して、判定部２４は、輝度変化量が第１の範囲にある輝度変化量の数と、第１の範囲よりも輝度変化量が大きい第２の範囲にある輝度変化量の数とに基づいて候補領域１００が付着物領域であるか否かを判定する。

具体的には、判定部２４は、輝度変化量「０」を最小値とする第１の範囲にある領域度数の和と、第１の範囲の最大値よりも最小値が大きい第２の範囲にある領域度数の和とに基づいて候補領域１００が付着物領域であるか否かを判定する。

例えば、判定部２４は、第１の範囲にある領域度数の和が所定値以上、かつ、第２の範囲にある領域度数の和が所定値未満である場合、候補領域１００が付着物領域であると判定する。

一方、判定部２４は、第１の範囲にある領域度数の和が所定値以上、かつ、第２の範囲にある領域度数の和が所定値以上である場合、候補領域１００が付着物領域ではない（路面反射領域である）と判定する。

これにより、判定部２４は、候補領域１００の中から、路面反射の領域に対応する領域を除くことができるため、路面反射の領域を付着物領域として誤検出することを抑制することができる。

また、判定部２４は、第１の範囲にある領域度数の和が所定値未満である場合には、第２の範囲にある領域度数の和に関わらず、候補領域１００が付着物領域ではないと判定する。

そして、判定部２４は、候補領域１００について付着物領域として継続して判定されたか否かの継続性の判定処理を行う。ここで、判定部２４による継続性の判定処理について説明する。

図９は、判定部２４による継続性の判定処理を示す図である。図９では、各候補領域１００の状態を管理するためのステートマシンの図を示しており、候補領域１００の付着物に関する状態の遷移を示している。

図９に示すように、候補領域１００は、「ＩＤＬＥ」、「潜伏」、「付着」および「移動付着」の４つの状態に遷移し得る。

「ＩＤＬＥ」は、付着物領域として判定されていない状態を示す。すなわち、「ＩＤＬＥ」は、付着物領域として継続していない候補領域１００であることを示す。

「潜伏」は、付着物が付着している可能性があることを示す状態である。すなわち、「潜伏」は、付着物領域であると判定されたものの、付着物領域として継続判定されている期間が所定期間未満の候補領域１００であることを示す。

「付着」は、付着物が付着していることを示す状態である。すなわち、「付着」は、付着物領域として継続判定されている期間が所定期間以上の候補領域１００であることを示す。

「移動付着」は、車両が移動中（車速が所定値以上）も継続して付着物が付着していることを示す状態である。すなわち、「移動付着」は、車両が移動中も、引き続き付着物領域として所定期間以上継続判定されている候補領域１００であることを示す。なお、以下では、「移動付着」の状態の候補領域１００（付着物領域）を移動付着物領域と記載する場合がある。

以下、各状態間の遷移について説明する。なお、状態の遷移は、判定処理の継続性を示すスコアに基づいて行うことができる。

＜「ＩＤＬＥ」→「潜伏」＞
例えば、判定部２４は、初めて付着物領域であると判定した候補領域１００について、「ＩＤＬＥ」から「潜伏」へ遷移させる。

＜「潜伏」→「ＩＤＬＥ」＞
例えば、判定部２４は、付着物領域として継続判定されている期間が所定期間未満である候補領域１００について、現在の撮像画像Ｉにおいて付着物領域ではないと判定した場合に、「潜伏」から「ＩＤＬＥ」へ遷移させる。

＜「潜伏」→「付着」＞
例えば、判定部２４は、付着物領域として継続判定されている期間が所定期間以上となった場合に、「潜伏」から「付着」へ遷移させる。判定部２４は、「潜伏」から「付着」へ遷移した場合、「付着」の状態であることを紐付けた付着物領域の情報をフラグ出力部２６へ出力する。

＜「付着」→「ＩＤＬＥ」＞
例えば、判定部２４は、付着物領域として継続判定されている期間が所定期間以上である候補領域１００について、現在の撮像画像Ｉにおいて付着物領域ではないと判定した場合に、「付着」から「ＩＤＬＥ」へ遷移させる。

＜「付着」→「移動付着」＞
例えば、判定部２４は、「付着」状態に遷移した後に、車両が移動中も付着物領域として継続判定されている期間が所定期間以上となった場合に、「付着」から「移動付着」へ遷移させる。判定部２４は、「付着」から「移動付着」へ遷移した場合、「移動付着」の状態であることを紐付けた付着物領域（移動付着物領域）の情報をフラグ出力部２６へ出力する。

＜「移動付着」→「ＩＤＬＥ」＞
例えば、判定部２４は、「移動付着」の状態で、車両の移動中に取得した現在の撮像画像Ｉにおいて付着物領域ではないと判定した場合に、「移動付着」から「ＩＤＬＥ」へ遷移させる。

確定部２５は、抽出部２２によって抽出された候補領域１００のうち、撮像画像Ｉの路面領域５１０を含む第１領域に存在する候補領域１００の面積と、路面領域５１０以外の領域５２０を含む第２領域に存在する候補領域１００の面積とに基づいて、付着物領域を確定する。

例えば、確定部２５は、判定部２４によって付着物領域（「付着」および「移動付着」）と判定された候補領域１００の面積に基づいて、付着物領域を確定する。

ここで、図１０を用いて、確定部２５による確定処理について説明する。

図１０は、確定部２５による確定処理を示す図である。図１０に示すように、まず、確定部２５は、撮像画像Ｉの全体領域を所定の小領域５００で分割するとともに、小領域５００単位で、３つの領域５１０、５２０ａ、５２０ｂに区分けする。

すなわち、確定部２５は、撮像画像Ｉの全体領域を路面領域５１０、車体領域５２０ａおよび上空領域５２０ｂに区分けする。なお、本実施形態では、第１領域は路面領域５１０であり、第２領域は、車体領域５２０ａおよび上空領域５２０ｂである。

例えば、確定部２５は、撮像画像Ｉにおける水平線を検出し、当該水平線よりも上側の領域を上空領域５２０ｂとして設定する。また、車体領域５２０ａは、カメラ１０の取付位置に応じて予め設定される領域である。また、確定部２５は、撮像画像Ｉの全体領域のうち、車体領域５２０ａおよび上空領域５２０ｂを除いた領域を路面領域５１０として設定する。

そして、確定部２５は、判定部２４によって付着物領域であると判定された候補領域１００を小領域５００の単位に変換し、３つの領域５１０、５２０ａ、５２０ｂそれぞれにおける付着物領域（小領域５００）の面積比を算出する。例えば、確定部２５は、付着物領域全体を１（１００％）として、各領域５１０、５２０ａ、５２０ｂに位置する付着物領域の面積比を算出する。

そして、確定部２５は、第１領域（路面領域５１０）に存在する付着物領域（候補領域１００）と、第２領域（車体領域５２０ａおよび上空領域５２０ｂ）に存在する付着物領域との面積比が所定の路面異常条件を満たす場合、路面領域５１０に含まれる付着物領域を除いた付着物領域を最終的な付着物領域として確定する。

例えば、確定部２５は、第１領域に存在する付着物領域の面積が、第２領域に存在する付着物領域の面積よりも所定値以上大きい場合、第１領域に存在する付着物領域以外の付着物領域を最終的な付着物領域として確定する。

あるいは、確定部２５は、各領域５１０、５２０ａ、５２０ｂのうち、路面領域５１０の面積比が他の領域５２０ａ、５２０ｂよりも所定値以上大きい場合、他の領域５２０ａ、５２０ｂに存在する付着物領域を最終的な付着物領域として確定する。

一方、確定部２５は、各領域５１０、５２０ａ、５２０ｂにおける面積比が概ね同じ（領域５１０、５２０ａ、５２０ｂ間での面積比の差分が所定値未満）である場合、３つの領域５１０、５２０ａ、５２０ｂそれぞれの付着物領域の合計面積を面積計算処理の計算結果とする。

これは、雨滴等の付着物の場合、撮像画像Ｉ全体に万遍なく付着する場合が多く、一方で、路面反射の領域は、撮像画像Ｉの路面領域に集中する場合が多いことに着目している。

つまり、確定部２５は、路面領域５１０に付着物領域が集中している場合、当該付着物領域が路面反射の領域であるとし、付着物領域全体から路面領域５１０に存在する付着物領域の面積を減算した付着物領域を確定する。

このように、確定部２５は、路面領域５１０に付着物領域が集中しているか否かで路面反射の領域か否かを判定することで、付着物領域を高精度に確定することができる。

なお、確定部２５による面積の比較は、第１領域および第２領域の比較に限らず、付着物領域全体および第１領域（あるいは第２領域）の比較や、路面領域５１０および車体領域５２０ａ（あるいは上空領域５２０ｂ）の比較等であってもよい。

なお、確定部２５は、路面領域５１０に付着物領域が集中している場合であっても、かかる付着物領域が移動付着物領域である場合には、付着物領域全体から路面領域５１０の付着物領域を減算しない。

これは、判定結果として確度が高い移動付着物領域が少量付着したことを検出するためである。つまり、確定部２５は、路面領域５１０に移動付着物領域が集中していた場合には、路面反射の領域ではなく付着物領域として確定する。

そして、確定部２５は、確定した付着物領域の情報をフラグ出力部２６へ出力する。

そして、フラグ出力部２６は、確定部２５によって確定された付着物領域の面積が所定値以上である場合には、付着物フラグＯＮを各種機器５０へ出力し、かかる面積が所定値未満である場合には、付着物フラグＯＦＦを各種機器５０へ出力する。

具体的には、フラグ出力部２６は、確定部２５によって確定された付着物領域が移動付着物領域であった場合には、移動付着物領域の面積が第１閾値以上であるときに、付着物フラグＯＮを出力し、移動付着物領域の面積が第１閾値未満であるときには、付着物フラグＯＦＦを出力する。

また、フラグ出力部２６は、付着物領域（「付着」および「移動付着」）の面積が第１閾値よりも大きい第２閾値以上である場合、付着物フラグＯＮを出力し、第２閾値未満である場合、付着物フラグＯＦＦを出力する。

このように、フラグ出力部２６は、移動付着物領域の場合、第２閾値よりも小さい第１閾値を設定することで、判定結果の確度が高い移動付着物領域が少量付着した場合でも、高精度に検出することができる。

次に、図１１を用いて、実施形態に係る付着物検出装置１が実行する全体処理の処理手順について説明する。図１１は、実施形態に係る付着物検出装置１が実行する付着物の全体処理の処理手順を示すフローチャートである。

図１１に示すように、まず、画像取得部２１は、カメラ１０で撮像された撮像画像Ｉを取得し、取得した撮像画像Ｉに対してグレースケール化処理および間引き処理した後、縮小した撮像画像Ｉの画素値に基づいて生成した積分画像を撮像画像Ｉとして取得する（Ｓ１０１）。

つづいて、抽出部２２は、画像取得部２１が取得した撮像画像Ｉの各画素から検出されるエッジに基づき、カメラ１０に付着した付着物に対応する付着物領域の候補領域１００を抽出する（Ｓ１０２）。

つづいて、抽出部２２は、候補領域１００において連続する複数の画素列を含む帯領域１１０に関し、所定画素数を単位とする単位領域Ｒに分割する（ステップＳ１０３）。

つづいて、抽出部２２は、単位領域Ｒの輝度情報を算出する（ステップＳ１０４）。輝度情報は、例えば、輝度の平均値および輝度の標準偏差である。

つづいて、抽出部２２は、算出した輝度の標準偏差が所定値未満であるか否かを判定する（ステップＳ１０５）。

抽出部２２は、輝度の標準偏差が所定値未満である場合（ステップＳ１０５：Ｙｅｓ）、単位領域Ｒの代表値として輝度の平均値（輝度平均）を設定する（ステップＳ１０６）。

一方、抽出部２２は、輝度の標準偏差が所定値以上である場合（ステップＳ１０５：Ｎｏ）、単位領域Ｒの代表値として異常値を設定する（ステップＳ１０７）。

つづいて、抽出部２２は、候補領域１００における単位領域Ｒの輝度平均の分布が所定の除外条件を満たす場合に当該候補領域１００を付着物領域の判定処理の対象から除外する除外処理を行う（ステップＳ１０８）。

つづいて、抽出部２２は、候補領域１００における単位領域Ｒの輝度平均の分布における起伏変化が所定の変化パターンに合致する候補領域１００を抽出し、判定部２４は、算出部２３の算出結果に基づいて、当該候補領域１００が付着物領域であるか否かを判定する判定処理を行う（ステップＳ１０９）。

つづいて、確定部２５は、判定部２４によって継続して付着物領域と判定された候補領域１００の面積に基づいて、確定処理を行い、フラグ出力部２６は、確定された付着物領域の面積が所定値以上であるか否かを判定する（ステップＳ１１０）。

フラグ出力部２６は、確定された付着物領域の面積が所定値以上の場合に、（ステップＳ１１０：Ｙｅｓ）、付着物フラグＯＮを各種機器５０へ出力し（ステップＳ１１１）、処理を終了する。

一方、フラグ出力部２６は、確定された付着物領域の面積が所定値未満の場合に、（ステップＳ１１０：Ｎｏ）、付着物フラグＯＦＦを各種機器５０へ出力し（ステップＳ１１２）、処理を終了する。

次に、図１２を用いて、実施形態に係る付着物検出装置１が実行する確定処理の処理手順について説明する。図１２は、実施形態に係る付着物検出装置１が実行する確定処理の処理手順を示すフローチャートである。

図１２に示すように、確定部２５は、まず、路面領域５１０を含む第１領域に存在する付着物領域の面積を算出する（ステップＳ２０１）。

つづいて、確定部２５は、路面領域５１０以外の領域５２０を含む第２領域に存在する付着物領域の面積を算出する（ステップＳ２０２）。

つづいて、確定部２５は、第１領域および第２領域のうち、第１領域の面積比が所定値以上である場合（ステップＳ２０３：Ｙｅｓ）、第１領域の付着物領域を除いた第２領域の付着物領域を最終的な付着物領域として確定し（ステップＳ２０４）、処理を終了する。

一方、確定部２５は、第１領域の面積比が所定値未満である場合（ステップＳ２０３：Ｎｏ）、第１領域の付着物領域および第２領域の付着物領域を含めた全ての付着物領域を最終的な付着物領域として確定し（ステップＳ２０５）、処理を終了する。

上述してきたように、実施形態に係る付着物検出装置１は、抽出部２２と、確定部２５とを備える。抽出部２２は、撮像装置（カメラ１０）で撮像された撮像画像Ｉの各画素から検出されるエッジに基づき、撮像装置に付着した付着物に対応する付着物領域の候補領域１００を抽出する。確定部２５は、抽出部２２によって抽出された候補領域１００のうち、撮像画像Ｉの路面領域５１０を含む第１領域に存在する候補領域１００の面積と、路面領域５１０以外の領域５２０ａ，５２０ｂを含む第２領域に存在する候補領域１００の面積とに基づいて、付着物領域を確定する。これにより、付着物を高精度に検出することができる。

また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Ｉを用いたが、撮像画像Ｉは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ カメラ
１１ 車速センサ
２１ 画像取得部
２２ 抽出部
２３ 算出部
２４ 判定部
２５ 確定部
２６ フラグ出力部
３１ 起伏条件情報
５０ 各種機器
１００ 候補領域
２００ 内部領域
Ｉ 撮像画像

Claims (4)

1. 撮像装置で撮像された画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する抽出部と、
   前記抽出部によって抽出された前記候補領域のうち、前記画像の路面領域を含む第１領域に存在する前記候補領域の面積と、前記路面領域以外の領域を含む第２領域に存在する前記候補領域の面積とに基づいて、前記付着物領域を確定する確定部と
   を備えることを特徴とする付着物検出装置。
2. 前記確定部は、
   前記第１領域に存在する前記候補領域と、前記第２領域に存在する前記候補領域との面積比が所定の路面異常条件を満たす場合、前記路面領域に含まれる前記候補領域を除いた前記候補領域を前記付着物領域として確定すること
   を特徴とする請求項１に記載の付着物検出装置。
3. 前記第１領域は、前記路面領域であり、
   前記第２領域は、車体領域および上空領域であり、
   前記確定部は、
   前記第１領域に存在する前記候補領域の面積が、前記第２領域に存在する前記候補領域の面積よりも所定値以上大きい場合、前記第１領域に存在する前記候補領域以外の前記候補領域を前記付着物領域として確定すること
   を特徴とする請求項１または２に記載の付着物検出装置。
4. 撮像装置で撮像された画像の各画素から検出されるエッジに基づき、前記撮像装置に付着した付着物に対応する付着物領域の候補領域を抽出する抽出工程と、
   前記抽出工程によって抽出された前記候補領域のうち、前記画像の路面領域を含む第１領域に存在する前記候補領域の面積と、前記路面領域以外の領域を含む第２領域に存在する前記候補領域の面積とに基づいて、前記付着物領域を確定する確定工程と
   を含むことを特徴とする付着物検出方法。

Images