JP7251426B2 - 付着物検出装置および付着物検出方法 - Google Patents

Description

本発明は、付着物検出装置および付着物検出方法に関する。

従来、撮像画像の所定領域を分割した小領域毎の輝度情報を算出し、算出した輝度情報の変動が所定範囲内にある小領域を抽出することで撮像装置のレンズに付着した付着物に対応する領域（以下、付着物領域）を検出する付着物検出装置が知られている（例えば、特許文献１参照）。

特開２０１９－１０６６４４号公報

しかしながら、従来技術では、付着物を高精度に検出する点で改善の余地があった。例えば、夜間に撮像された画像の場合、画像全体が暗くなり、輝度情報の変動が小さくなることで、付着物領域として誤検出するおそれがあった。

本発明は、上記に鑑みてなされたものであって、付着物を高精度に検出することができる付着物検出装置および付着物検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る付着物検出装置は、検出部と、確定部とを備える。前記検出部は、撮像装置で撮像された画像における所定領域を分割した小領域毎の輝度情報に基づいて、当該小領域を前記撮像装置に付着した付着物に対応する付着物領域の候補領域として検出する。前記確定部は、前記検出部によって検出された同一の前記候補領域に含まれる画素の輝度分布の起伏変化が所定の範囲内である場合に、当該候補領域を前記付着物領域として確定する。

本発明によれば、付着物を高精度に検出することができる。

図１は、実施形態に係る付着物検出方法の概要を示す図である。 図２は、実施形態に係る付着物検出装置の構成を示すブロック図である。 図３は、抽出する画素列を説明する図である。 図４は、算出部による輝度の代表値の算出処理を示す図である。 図５は、算出部による輝度の代表値の算出処理を示す図である。 図６は、確定部による処理内容を示す図である。 図７Ａは、確定部による処理内容を示す図である。 図７Ｂは、確定部による処理内容を示す図である。 図８は、実施形態に係る付着物検出装置が実行する処理の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する付着物検出装置および付着物検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る付着物検出方法の概要について説明する。図１は、実施形態に係る付着物検出方法の概要を示す図である。なお、図１の上段には、例えば、車両に搭載されたカメラ（撮像装置の一例）のレンズに泥等の遮光性の付着物が付着した状態で撮像された画像Ｉ（以下、撮像画像Ｉ）を示している。このような遮光性の付着物が付着した場合、撮像画像Ｉにおける付着物領域は、黒つぶれの状態となる。なお、遮光性の付着物は、泥以外に、虫、埃等がある。

ここで、従来の付着物検出方法について説明する。従来は、撮像画像の所定領域（図１に示す所定領域ＲＯＩ）を分割した小領域（図１に示す小領域１００）毎の輝度情報を算出し、算出した輝度情報の変動が所定範囲内にある小領域を抽出することで撮像装置のレンズに付着した付着物に対応する付着物領域を検出していた。

しかしながら、従来の付着物検出方法では、付着物を高精度に検出する点で改善の余地があった。例えば、夜間に撮像された画像の場合、画像全体が暗くなり、輝度情報の変動が小さくなることで、付着物が付着していないにも関わらず、付着物領域を誤検出するおそれがあった。

そこで、実施形態に係る付着物検出方法では、検出した付着物領域を候補領域２００とし、候補領域２００における輝度分布の起伏変化に基づいて最終的に付着物領域を確定することとした。

具体的には、まず、実施形態に係る付着物検出方法では、撮像画像Ｉにおける所定領域ＲＯＩを分割した小領域１００毎に輝度情報を算出する（ステップＳ１）。つづいて、実施形態に係る付着物検出方法では、算出した小領域１００の輝度情報に基づいて、小領域１００をカメラに付着した付着物に対応する付着物領域の候補領域２００として検出する（ステップＳ２）。

つづいて、実施形態に係る付着物検出方法では、候補領域２００に含まれる画素の輝度分布の起伏変化に基づいて、付着物領域を確定する（ステップＳ３）。具体的には、実施形態に係る付着物検出方法では、候補領域２００に含まれる画素の輝度分布の起伏変化が所定の範囲内である場合に、候補領域２００を付着物領域として確定する。

例えば、図１の下段には、１つの候補領域２００（小領域１００）における輝度分布のグラフを示している。かかる輝度分布のグラフは、候補領域２００の水平方向に並ぶ一の画素列の輝度分布である。かかるグラフにおいて、横軸の各「位置」に対応する棒グラフの輝度データは、一の画素列を所定の画素数毎に分割した単位領域における輝度の代表値である。なお、単位領域や、代表値の算出等については、後述する。

図１の輝度分布のグラフに示すように、泥等の付着物の場合、候補領域２００における輝度分布の起伏変化は、所定の範囲内に収まるため、輝度分布の起伏形状が平坦となる。つまり、実施形態に係る付着物検出方法では、輝度分布の起伏形状が平坦になる特性を利用して、付着物領域を確定する。これにより、付着物を高精度に検出することができる。

次に、図２を用いて、実施形態に係る付着物検出装置１の構成について説明する。図２は、実施形態に係る付着物検出装置１の構成を示すブロック図である。図２に示すように、実施形態に係る付着物検出装置１は、カメラ１０と、車速センサ１１と、各種機器５０とに接続される。なお、図２では、付着物検出装置１は、カメラ１０と、各種機器５０とは別体で構成される場合を示したが、これに限らず、カメラ１０および各種機器５０の少なくとも一方と一体で構成されてもよい。

カメラ１０は、たとえば、魚眼レンズ等のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えた車載カメラである。カメラ１０は、例えば、車両の前方、後方、左側方および右側方の様子を撮像可能な位置にそれぞれ設けられ、撮像された撮像画像Ｉを付着物検出装置１へ出力する。

車速センサ１１は、車両の速度を検出するセンサである。車速センサ１１は、検出した車速情報を付着物検出装置１へ出力する。

各種機器５０は、付着物検出装置１の検出結果を取得して、車両の各種制御を行う機器である。各種機器５０は、例えば、カメラ１０のレンズに付着物が付着していることや、ユーザによる付着物の拭き取り指示を通知する表示装置や、流体や気体等をレンズに向かって噴射して付着物を除去する除去装置、自動運転等を制御する車両制御装置を含む。

図２に示すように、実施形態に係る付着物検出装置１は、制御部２と、記憶部３とを備える。制御部２は、前処理部２１と、検出部２２と、算出部２３と、確定部２４と、フラグ出力部２５とを備える。記憶部３は、閾値情報３１を記憶する。

ここで、付着物検出装置１は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の前処理部２１、検出部２２、算出部２３、確定部２４およびフラグ出力部２５として機能する。

また、制御部２の前処理部２１、検出部２２、算出部２３、確定部２４およびフラグ出力部２５の少なくともいずれか一つまたは全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、たとえば、ＲＡＭや、ＲＯＭ、フラッシュメモリに対応する。ＲＡＭや、ＲＯＭ、フラッシュメモリは、閾値情報３１や、各種プログラムの情報等を記憶することができる。なお、付着物検出装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

記憶部３に記憶された閾値情報３１は、制御部２の各処理で用いられる閾値等の情報を含む情報である。閾値情報３１に含まれる閾値等の情報は、実験等によって予め検証された結果に基づいて設定される。

前処理部２１は、カメラ１０で撮像された撮像画像Ｉに対して所定の前処理を施す。

具体的には、前処理部２１は、取得した撮像画像Ｉに画素の間引き処理を行い、取得した画像よりもサイズが小さい画像を生成する。また、前処理部２１は、間引き処理を施した画像に基づいて、各画素における画素値の和および二乗和の積分画像を生成する。なお、画素値とは、画素の輝度やエッジに対応する情報である。

このように、付着物検出装置１は、取得した画像に対して間引き処理を行い、積分画像を生成することで、後段における処理の計算を高速化できるため、付着物を検出するための処理時間を短くすることができる。

なお、前処理部２１は、各画素について、平均化フィルタなどの平滑化フィルタを用いて平滑化処理を行ってもよい。また、前処理部２１は、間引き処理を行わず、取得した画像と同じサイズの撮像画像Ｉの積分画像を生成してもよい。

前処理部２１は、積分画像である撮像画像Ｉを検出部２２へ出力する。

検出部２２は、撮像画像Ｉにおける所定領域ＲＯＩを分割した小領域１００毎の輝度情報に基づいて、小領域１００を付着物領域の候補領域２００として検出する。

具体的には、まず、検出部２２は、撮像画像Ｉに対して所定領域ＲＯＩおよび小領域１００を設定する。所定領域ＲＯＩは、カメラ１０の特性に応じて予め設定される矩形状の領域であり、例えば、車体領域やカメラ１０の筐体領域を除いた領域である。小領域１００は、所定領域Ｒ０Ｉを水平方向、および垂直方向に分割することで形成される矩形状の領域である。例えば、各小領域１００は、４０×４０の画素を含む領域であるが、小領域１００に含まれる画素の数は、任意に設定可能である。

つづいて、検出部２２は、小領域１００毎に輝度の特徴量を示す輝度情報を算出する。具体的には、検出部２２は、小領域１００毎に輝度の平均値および輝度の標準偏差を特徴量として算出する。また、検出部２２は、所定領域ＲＯＩ全体における輝度の特徴量（輝度の平均値および輝度の標準偏差）を算出する。

つづいて、検出部２２は、過去から現在までの撮像画像Ｉにおける輝度の特徴量の変動を算出する。具体的には、検出部２２は、過去および現在の撮像画像Ｉの同じ位置にある小領域１００における輝度の平均値の差分である第１差分を変動として算出する。すなわち、検出部２２は、対応する小領域１００における過去の輝度の平均値と、現在の輝度の平均値との第１差分を変動として算出する。

また、検出部２２は、過去および現在の撮像画像Ｉの同じ位置にある小領域１００における輝度の標準偏差の差分である第２差分を算出する。すなわち、検出部２２は、対応する小領域１００における過去の輝度の標準偏差と、現在の輝度の標準偏差との第２差分を変動として算出する。

つづいて、検出部２２は、小領域１００それぞれについて輝度情報が所定の候補条件を満たすか否かを判定する。具体的には、検出部２２は、過去および現在の撮像画像Ｉにおける小領域１００の輝度の特徴量の変動が所定の閾値範囲内である場合に候補条件を満たすと判定する。

つづいて、検出部２２は、輝度情報が候補条件を満たす回数を示す候補カウント数が所定数以上となった小領域１００の数が所定数以上の場合に、当該所定数の小領域１００を候補領域２００として検出する。つまり、検出部２２は、現在から過去数フレームの撮像画像Ｉにおいて、輝度情報が候補条件を満たす状態が所定回数以上継続した所定数の小領域１００のまとまりを候補領域２００として検出する。

検出部２２は、検出した候補領域２００の情報を算出部２３へ出力する。

算出部２３は、検出部２２によって検出された候補領域２００に含まれる画素の輝度分布の情報を算出する。まず、算出部２３は、候補領域２００において、輝度分布の算出対象となる画素列を抽出する。

図３は、抽出する画素列を説明する図である。図３に示すように、算出部２３は、撮像画像Ｉにおける水平方向の３列の画素列Ｈ１～Ｈ３と、垂直方向の３列の画素列Ｖ１～Ｖ３とを抽出する。

なお、抽出する画素列は、水平方向、または、垂直方向のいずれか一方の画素列であってもよい。また、算出する画素列の列数は、３列に限らず、２列以下や、４列以上であってもよい。

また、抽出した水平方向の３列の画素列Ｈ１～Ｈ３それぞれの間隔や、垂直方向の３列の画素列Ｖ１～Ｖ３それぞれの間隔は、等間隔であってもよく、異なる間隔であってもよい。

そして、算出部２３は、候補領域２００から抽出した各画素列において、所定数の画素を単位とする単位領域毎に輝度の代表値を算出する。かかる点について、図４および図５を用いて説明する。

図４および図５は、算出部２３による輝度の代表値の算出処理を示す図である。まず、図４を用いて、算出部２３による単位領域の設定方法について説明する。図４では、水平方向における一の画素列の輝度分布を示す。

図４に示すように、算出部２３は、水平方向における画素列を、例えば８個の単位領域Ｒ１～Ｒ８（まとめて単位領域Ｒと記載する場合がある）に分割する。例えば、候補領域２００（小領域１００）が４０×４０の画素領域である場合、各単位領域Ｒの画素数（均等割りの場合）は「５」となる。なお、単位領域Ｒ１～Ｒ８の各幅（画素数）は、同じ（すなわち、画素列を均等割りした画素数）であってもよく、各幅がそれぞれ異なってもよい。

また、単位領域Ｒの分割数は、８個に限らず、任意の数を設定可能である。このように、画素列を所定数の単位領域Ｒにまとめることで、後段の算出部２３や、確定部２４による演算量を抑えることができる。

次に、図５に示すように、算出部２３は、単位領域Ｒ毎に輝度の代表値を算出する。図５の上段に示すように、まず、算出部２３は、代表値の算出処理に先立って、各画素の輝度値（例えば、０～２５５）を単位輝度へ変換する。図５では、０～２５５の輝度値を８個の単位画素で均等に区切ることとする（図５の中段に示す「０」～「７」）が、単位画素の数は、任意に設定可能である。これにより、輝度分布の輝度を単位輝度の数まで減らすことができるため、後段の処理負荷を軽減できる。

そして、算出部２３は、単位領域Ｒ１～Ｒ８毎に単位輝度のヒストグラムを作成する。図５の中段では、階級を単位輝度「０」～「７」とし、度数を画素数とする単位領域Ｒ１のヒストグラムを示す。算出部２３は、単位領域Ｒ１～Ｒ８それぞれについてヒストグラムを作成する。

そして、図５の下段に示すように、算出部２３は、作成したヒストグラムに基づいて単位領域Ｒ１～Ｒ８それぞれについて、輝度の代表値を算出する。例えば、算出部２３は、ヒストグラムにおける最頻値の階級（図５では、階級「１」）の単位画素を、単位領域Ｒ１における輝度の代表値として算出する。これにより、輝度分布のデータ数を画素数から単位領域Ｒの数に減らすことができるため、後段の処理負荷を軽減できる。

なお、算出部２３は、最頻値の単位画素を代表値としたが、これに限らず、例えば、ヒストグラムにおける中央値や平均値等を代表値としてもよい。

また、算出部２３は、ヒストグラムに基づいた代表値の算出処理に限らず、例えば、各単位領域Ｒについて、輝度値の平均値を算出し、かかる平均値に対応する単位輝度を輝度の代表値としてもよい。

また、算出部２３は、単位輝度を代表値としたが、例えば、単位領域Ｒにおける輝度値の平均値等をそのまま代表値としてもよい。つまり、代表値は、単位輝度で表現されもよく、輝度値で表現されてもよい。

図２に戻って、確定部２４について説明する。確定部２４は、検出部２２によって検出された候補領域２００に含まれる画素の輝度分布の起伏変化が所定の範囲内にある場合に、候補領域２００を付着物領域として確定する。具体的には、確定部２４は、候補領域２００の垂直方向、または、水平方向の輝度分布の起伏変化が所定の範囲内である場合に、候補領域２００を付着物領域として確定する。ここで、図６～図７Ｂを用いて、確定部２４による確定処理について説明する。

図６～図７Ｂは、確定部２４による処理内容を示す図である。図６の上段には、一の候補領域２００における輝度分布（代表値の輝度分布）を示しており、単位領域Ｒ１～Ｒ８毎の代表値を棒グラフに中抜きで示している。

確定部２４は、単位領域Ｒ１～Ｒ８の輝度の代表値の起伏変化が所定の範囲内である場合に、候補領域２００を付着物領域として確定する。まず、図６の上段に示すように、確定部２４は、隣接する単位領域Ｒ１～Ｒ８の単位輝度の変化量Ｄ１～Ｄ７を算出する。なお、図６の下段には、変化量Ｄ１～Ｄ７の各値が入力されたテーブル（上側テーブル）を示している。

そして、確定部２４は、輝度分布の起伏変化のパターンが所定の変化パターンを満たす場合に、候補領域２００を付着物領域として確定する。具体的には、確定部２４は、変化量Ｄ１～Ｄ７の各値と、記憶部３に記憶された閾値情報３１とを比較して確定処理を行う。

図６の下段には、閾値情報３１の一例として、変化量Ｄ１～Ｄ７それぞれの閾値範囲を含むテーブルの一例を示す（下側テーブル）。確定部２４は、候補領域２００における変化量Ｄ１～Ｄ７それぞれが、閾値情報３１で設定された変化量Ｄ１～Ｄ７それぞれの閾値範囲に収まる場合に、候補領域２００を付着物領域として確定する。

換言すれば、確定部２４は、隣接する単位領域Ｒ１～Ｒ８の単位輝度の変化量Ｄ１～Ｄ７の数値の配列パターンが、閾値情報３１で設定された閾値範囲である配列パターンを満たす場合に、付着物領域として確定する。

つまり、確定部２４は、泥等の付着物の特徴である、候補領域２００の輝度分布の分布形状が平坦になる特徴を閾値情報３１の閾値範囲として記憶しておき、確定処理を行う。

また、確定部２４は、変化量Ｄ１～Ｄ７を用いることで、全体的な輝度値の大小を無視できるため、起伏の形状が類似して輝度値の大小が異なる場合による誤判定を減らすことができる。さらに、輝度値の大小を無視できるため、輝度値毎に閾値条件を設定する必要がなくなることで、閾値条件を記憶するための記憶容量を削減でき、かつ、輝度値毎に確定処理を行う必要がないため、処理量を減らすことができる。さらに、確定部２４は、単位領域Ｒの輝度の代表値の起伏変化により確定処理を行うことで、確定処理において代表値の単位で値を扱うことができるため、処理負荷を軽減できる。

また、閾値情報３１において変化量Ｄ１～Ｄ７の最大および最小を設定して幅をもたせることで、輝度分布の形状が多少くずれたとしても付着物領域として確定することができる。

なお、図６では、閾値情報３１について、すべての変化量Ｄ１～Ｄ７の閾値範囲を設定した場合を示したが、例えば、図７Ａに示すように、変化量Ｄ１～Ｄ７の一部について変化量の閾値範囲を設定してもよい。

具体的には、図７Ａでは、変化量Ｄ１～Ｄ４の閾値範囲が設定される場合を示している。なお、例えば、変化量Ｄ２～Ｄ５の閾値範囲が設定されてもよく、換言すれば、変化量「０」が４つ連続する閾値範囲が設定されてもよい。

このように、閾値情報３１では、変化量Ｄ１～Ｄ７のうち、一部の変化量の閾値範囲が設定された情報が含まれる。そして、確定部２４は、候補領域２００における変化量Ｄ１～Ｄ７のうち、いずれかの位置において、変化量「０」が４つ連続する場合に、付着物領域として確定する。

これにより、候補領域２００の一部が付着物により遮光される場合であっても、付着物領域として確定することができる。

さらに、閾値範囲を設定する変化量の位置をずらすことで、候補領域２００内における付着物領域の位置ずれが生じた場合であっても、付着物領域を高精度に検出することができる。

なお、図７Ａでは、７つの変化量Ｄ１～Ｄ７のうち、連続する４つの変化量の閾値範囲を設定する場合を示したが、４つの変化量に限定されず、３つ以下の変化量や、５つ以上の変化量の閾値範囲が設定されてもよい。

また、図７Ａでは、閾値情報３１における変化量の閾値範囲が「０」である場合を示したが、変化量の閾値範囲についてある程度幅をもたせてもよい。かかる点について、図７Ｂを用いて説明する。

図７Ｂでは、閾値情報３１における変化量の閾値範囲として、７つの変化量Ｄ１～Ｄ７すべて最大値「＋１」、最小値「－１」が設定される場合を示している。そして、図７Ｂに示す閾値情報３１では、７つの変化量Ｄ１～Ｄ７の閾値範囲に加えて、変化量が「０」となる個数を規定している。

つまり、確定部２４は、輝度の代表値の起伏変化が所定の範囲内であり、かつ、隣接する単位領域Ｒの輝度の代表値の差分がゼロとなる数が所定数以上である場合に、候補領域２００を付着物領域として確定する。

図７Ｂに示す例では、７つの変化量Ｄ１～Ｄ７のうち、４つ以上の変化量は「０」で、かつ、残りの変化量が最大値「＋１」、最小値「－１」の閾値範囲である場合に、付着物領域として確定する。

これにより、付着物領域の輝度分布の起伏形状が平坦になる特徴を捉えつつ、ノイズ等により代表値が多少ばらつくことを許容することができる。

上述したように、確定部２４は、候補領域の垂直方向、または、水平方向の輝度分布の起伏変化に基づいて確定処理を行うことで、付着物領域を高精度に確定することができる。

また、図６、図７Ａおよび図７Ｂでは、確定部２４は、算出した輝度の代表値の変化量が閾値情報３１の閾値範囲に含まれるか否かで判定を行う場合を示したが、例えば、変化量Ｄ１～Ｄ７の閾値範囲に基づいて輝度分布の起伏変化をマップ化して確定処理を行ってもよい。

確定部２４は、確定した付着物領域の情報をフラグ出力部２５へ出力する。

なお、確定部２４は、候補領域２００の輝度分布の起伏変化が所定の範囲内である場合が所定数以上継続した場合に、候補領域２００を付着物領域として確定してもよい。

フラグ出力部２５は、確定部２４によって確定された付着物領域の数に応じた付着物フラグを出力する。具体的には、フラグ出力部２５は、付着物領域の数が所定数以上の場合、付着物フラグＯＮを各種機器５０に対して出力する。一方、フラグ出力部２５は、付着物領域の数が所定数未満である場合、付着物フラグＯＦＦを各種機器５０に対して出力する。

次に、図８を用いて、実施形態に係る付着物検出装置１が実行する処理の処理手順について説明する。図８は、実施形態に係る付着物検出装置１が実行する処理の処理手順を示すフローチャートである。

図８に示すように、まず、前処理部２１は、カメラ１０で撮像された画像を取得し、取得した撮像画像Ｉに対して前処理を施す（ステップＳ１０１）。ここでいう、前処理とは、例えば、グレースケール化処理および間引き処理した後、縮小した画像の画素値に基づいて積分画像を生成する処理である。

つづいて、検出部２２は、撮像画像Ｉにおける所定領域ＲＯＩを小領域１００毎に分割する（ステップＳ１０２）。

つづいて、検出部２２は、小領域毎に輝度の特徴量を示す輝度情報を算出する（ステップＳ１０３）。輝度の特徴量は、例えば、輝度の平均値および輝度の標準偏差である。

つづいて、検出部２２は、算出した輝度情報に基づいて、付着物領域の候補領域２００を検出する（ステップＳ１０４）。

つづいて、算出部２３は、検出部２２によって検出された候補領域２００において所定数の画素を単位とする単位領域Ｒ毎に輝度の代表値を算出する（ステップＳ１０５）。

つづいて、確定部２４は、算出部２３によって算出された代表値の起伏変化が所定の範囲内であるか否かを判定する（ステップＳ１０６）。

確定部２４は、候補領域２００における代表値の起伏変化が所定の範囲内である場合（ステップＳ１０６：Ｙｅｓ）、当該候補領域２００を付着物領域として確定する（ステップＳ１０７）。

一方、確定部２４は、候補領域２００における代表値の起伏変化が所定の範囲外である場合（ステップＳ１０６：Ｎｏ）、当該候補領域２００を付着物領域ではない非付着物領域として確定する（ステップＳ１０８）。

つづいて、フラグ出力部２５は、確定した付着物領域の数が所定数以上であるか否かを判定する（ステップＳ１０９）。

フラグ出力部２５は、確定した付着物領域の数が所定数以上である場合（ステップＳ１０９：Ｙｅｓ）、各種機器５０に対して付着物フラグＯＮを出力し（ステップＳ１１０）、処理を終了する。

一方、フラグ出力部２５は、確定した付着物領域の数が所定数未満である場合（ステップＳ１０９：Ｎｏ）、各種機器５０に対して付着物フラグＯＦＦを出力し（ステップＳ１１１）、処理を終了する。

上述してきたように、実施形態に係る付着物検出装置１は、検出部２２と、確定部２４とを備える。検出部２２は、撮像装置（カメラ１０）で撮像された撮像画像Ｉにおける所定領域ＲＯＩを分割した小領域１００毎の輝度情報に基づいて、当該小領域１００を撮像装置に付着した付着物に対応する付着物領域の候補領域２００として検出する。確定部２４は、検出部２２によって検出された候補領域２００に含まれる画素の輝度分布の起伏変化が所定の範囲内である場合に、当該候補領域２００を付着物領域として確定する。これにより、付着物を高精度に検出することができる。

また、上述した実施形態では、車両に搭載されるカメラで撮像された撮像画像Ｉを用いたが、撮像画像Ｉは、例えば、防犯カメラや、街灯等に設置されたカメラで撮像された撮像画像Ｉであってもよい。つまり、カメラのレンズに付着物が付着する可能性があるカメラで撮像された撮像画像Ｉであればよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 付着物検出装置
２ 制御部
３ 記憶部
１０ カメラ
１１ 車速センサ
２１ 前処理部
２２ 検出部
２３ 算出部
２４ 確定部
２５ フラグ出力部
３１ 閾値情報
５０ 各種機器
１００ 小領域
２００ 候補領域
ＲＯＩ 所定領域
Ｉ 撮像画像

Claims (5)

1. 撮像装置で撮像された画像における所定領域を分割した小領域毎の輝度情報に基づいて、当該小領域を前記撮像装置に付着した付着物に対応する付着物領域の候補領域として検出する検出部と、
   前記検出部によって検出された同一の前記候補領域に含まれる画素の輝度分布の起伏変化が所定の範囲内である場合に、当該候補領域を前記付着物領域として確定する確定部と
   を備えることを特徴とする付着物検出装置。
2. 前記確定部は、
   前記候補領域の垂直方向、または、水平方向の前記輝度分布の起伏変化が所定の範囲内である場合に、当該候補領域を前記付着物領域として確定すること
   を特徴とする請求項１に記載の付着物検出装置。
3. 前記候補領域において所定数の画素を単位とする単位領域毎に輝度の代表値を算出する算出部をさらに備え、
   前記確定部は、
   前記輝度の代表値の分布の起伏変化が所定の範囲内である場合に、前記候補領域を前記付着物領域として確定すること
   を特徴とする請求項１または２に記載の付着物検出装置。
4. 前記確定部は、
   前記輝度の代表値の分布の起伏変化が所定の範囲内であり、かつ、隣接する前記単位領域の前記代表値の差分がゼロとなる数が所定数以上である場合に、前記候補領域を前記付着物領域として確定すること
   を特徴とする請求項３に記載の付着物検出装置。
5. 撮像装置で撮像された画像における所定領域を分割した小領域毎の輝度情報に基づいて、当該小領域を前記撮像装置に付着した付着物に対応する付着物領域の候補領域として検出する検出工程と、
   前記検出工程によって検出された同一の前記候補領域に含まれる画素の輝度分布の起伏変化が所定の範囲内である場合に、当該候補領域を前記付着物領域として確定する確定工程と
   を含むことを特徴とする付着物検出方法。

Images