JP6174960B2 - 車外環境認識装置 - Google Patents

Description

本発明は、検出領域に存在する対象物がいずれの特定物に対応するかを特定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１、２）。

ところで、特に寒冷地や標高が高い場所等では、道路上方に水蒸気の塊が浮遊していたり、先行車両の排気管から白い排気ガスが排出され、すぐには拡散せずに滞留することがある。上述したような車両の制御技術では、水蒸気や排気ガス等の浮遊物を車両や歩行者等の特定物と誤判断し、これらを回避するための停止や減速の制御が作動するおそれがある。

そこで、検出した物体の各部分の距離の平均値に対するばらつき（分散）量を算出し、ばらつき量が閾値を超えると、その検出した物体は、水蒸気や排気ガス等接触してもよい浮遊物であると判断する技術が公開されている（例えば、特許文献３）。また、検出領域内の対象部位を相対距離に基づいて対象物としてグループ化し、対象物の輝度のヒストグラムに対する輝度の平均値、分散値、歪度、または尖度のいずれか１または複数の特徴量に基づいて対象物が白色の浮遊物であるか否か判断する技術も開示されている（例えば、特許文献４）。

特許第３３４９０６０号公報 特開２０１０−２２４９２５号公報 特開２００９−１１０１６８号公報 特開２０１２−２４３０４９号公報

しかし、例えば、水蒸気や排気ガス等の浮遊物が道路上に生じた状態で、風等の対流に当たり、その浮遊物の外形が傾いたり、上下で異なってしまう場合がある。この場合、浮遊物が部分的に完全に欠け、対象物の距離を適切に得られなくなってしまうため、特許文献３の技術では浮遊物を特定するのは難しい。また、浮遊物が取り得る距離の分布のパターンは多岐に渡るため、ばらつきだけでは、浮遊物に特徴的な距離の分布を的確に捉えることができず、浮遊物の検出精度は比較的低い値となる。

また、風等の対流に当たった場合、浮遊物の近傍において浮遊物の白色以外の背景の色味が多く混ざってしまうので、特許文献４のように白色を判定する技術のみでは、浮遊物の検出精度が高まらない場合があった。

本発明は、このような課題に鑑み、水蒸気や排気ガス等の浮遊物を精度よく検出することが可能な、車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、検出領域を撮像した画像における複数の対象部位の実空間における３次元位置を導出する３次元位置導出部と、３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物を特定する対象物特定部と、対象物を含む領域を水平方向および垂直方向に均等に分割して複数の分割領域を設定し、当該分割領域毎に、分割領域内の輝度値の平均値である平均輝度値を導出する輝度値導出部と、同じ水平方向に位置する少なくとも２つの分割領域同士の平均輝度値の差分である輝度差分値と予め定められた第１閾値とを比較するとともに、２つの分割領域のそれぞれに対して、その分割領域の平均輝度値と第２閾値とを比較し、それぞれの比較結果に応じて当該対象物の浮遊物らしさを特定する浮遊物特定部と、を備えることを特徴とする。

浮遊物特定部は、同じ水平方向に位置する少なくとも２つの分割領域の輝度差分値が第１閾値以上であり、かつ２つの分割領域のうちいずれかの分割領域の平均輝度値が第２閾値以上の場合、当該対象物は浮遊物の可能性が高いものとして特定してもよい。

浮遊物特定部は、同じ水平方向に位置する少なくとも２つの分割領域の輝度差分値が第１閾値未満であり、かつ２つの分割領域のいずれの平均輝度値も第２閾値未満の場合、当該対象物は浮遊物の可能性が低いものとして特定してもよい。

浮遊物特定部は、さらに、下段に位置する分割領域のそれぞれ対して、分割領域の平均輝度値と第３閾値とを比較し、分割領域の平均輝度値が第３閾値以上の場合、当該対象物は浮遊物の可能性が高いものとして特定しやすくしてもよい。

輝度値導出部は、分割領域内の所定の判定部位の輝度値を用いて平均輝度値を算出するものであって、所定の判定部位は、水平方向に均等に離隔した状態で、対象物の水平方向端部側に偏り、かつ、垂直方向に均等に離隔しているとしてもよい。

本発明によれば、水蒸気や排気ガス等の浮遊物を精度よく検出することが可能となる。

浮遊物の表示態様を示した説明図である。 環境認識システムの接続関係を示したブロック図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 輝度画像と距離画像を説明するための説明図である。 判定部位を説明するための説明図である。 閾値を説明するための説明図である。 車外環境認識方法の全体的な処理の流れを示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。しかし、画像を用いて単純に特定物を特定したとすると、道路上に滞留する水蒸気や排気ガス等の浮遊物を、車両や歩行者といった特定物と誤認識する場合も生じ得る。

ここで、浮遊物特有の距離のばらつきや白さに基づいて浮遊物を特定することも考えられるが、図１の如く、浮遊物１０が風等の対流に当たり、その浮遊物１０の外形が傾いたり、上下で異なる場合には、その特定精度が高まらない場合がある。そこで、本実施形態では、対流により外形が歪んだ浮遊物１０が、四角で区切った領域内では浮遊物１０自体と背景とで輝度が異なる特性を有し、かつ、少なくとも浮遊物１０に相当する領域では比較的輝度値が高くなることに着目し、対照性と輝度値に応じて浮遊物１０を検出することを目的としている。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置を詳述する。

（環境認識システム１００）
図２は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像を生成することができる。ここでは、撮像装置１１０で撮像されたカラー画像を輝度画像として採用し、後述する距離画像と区別する。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する奥行距離に相当）を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度、および、距離画像に基づく自車両１との奥行距離を用いて自車両１前方の検出領域における対象物がいずれの特定物に対応するかを特定する。

車外環境認識装置１２０は、特定物を特定すると、その特定物（例えば、先行車両）を追跡しつつ、特定物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構、制動機構を制御する。

以下、車外環境認識装置１２０に構成について詳述する。ここでは、本実施形態に特徴的な、対象物を浮遊物と特定する手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、３次元位置導出部１６２、対象物特定部１６４、判定部位決定部１６６、輝度値導出部１６８、浮遊物特定部１７０としても機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、対象物特定処理、浮遊物特定処理といった順に詳細な動作を説明する。

（画像処理）
画像処理部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は画面横方向を示し、「垂直」は画面縦方向を示す。

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する奥行距離に相当）を画像データに対応付けた画像を距離画像という。

図４は、輝度画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図４（ａ）のような輝度画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、撮像装置１１０それぞれが生成した２つの輝度画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このような輝度画像２１０からブロック毎の視差を求め、図４（ｂ）のような距離画像２１２を形成する。距離画像２１２における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

図３に戻って説明すると、３次元位置導出部１６２は、画像処理部１６０で生成された距離画像２１２に基づいて検出領域２１４内のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび奥行距離を含む実空間における３次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、対象部位の距離画像２１２における視差からその対象部位の撮像装置１１０に対する奥行距離を導出する方法である。このとき、３次元位置導出部１６２は、対象部位の奥行距離と、対象部位と同奥行距離にある道路表面上の点と対象部位との距離画像２１２上の検出距離とに基づいて、対象部位の道路表面からの高さを導出する。そして、導出された３次元位置情報を改めて距離画像２１２に対応付ける。かかる奥行距離の導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

（対象物特定処理）
対象物特定部１６４は、距離画像２１２に基づく３次元の位置情報を用いて検出領域２１４における対象部位（画素やブロック）同士をグループ化して対象物を特定する。具体的に、対象物特定部１６４は、任意の対象部位を基点として、その対象部位と、水平距離の差分、高さの差分、および、奥行距離の差分が予め定められた所定範囲内にある他の対象部位をグループ化し、その対象部位も一体的な対象物とする。ここで、所定範囲は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、対象物特定部１６４は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離の差分、高さの差分、および、奥行距離の差分が所定範囲内にある他の対象部位をグループ化する。結果的に、距離が所定範囲内であれば、それら全ての対象部位が対象物としてグループ化されることとなる。

（浮遊物特定処理）
続いて、対象物における輝度値が参照され、その結果に基づいて対象物が浮遊物であるか否か判定される。

判定部位決定部１６６は、浮遊物であるか否かを判定する対象物に対して、さらに、輝度値の判定対象となる部位（以下、判定部位という。）を決定する。

図５は、判定部位を説明するための説明図である。判定部位決定部１６６は、まず、図５（ａ）のように、対象物の水平方向および垂直方向の端点を含む長方形２２０で対象物を囲い、水平方向および垂直方向に均等に５分割した領域を設定する。そして、５分割した領域のそれぞれ奇数番に当たる領域（クロスハッチングを除く領域）を対象とする分割領域２２２（図中左上から２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆ、２２２ｇ、２２２ｈ、２２２ｉ）とする。以後の処理は、このような分割領域２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆ、２２２ｇ、２２２ｈ、２２２ｉ毎に行われる。このように分割領域２２２を左右上下に分散して設定することで、処理負荷を低減しつつ、広範囲の情報を得ることができる。

判定部位決定部１６６は、分割領域２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆ、２２２ｇ、２２２ｈ、２２２ｉ毎に複数（ここでは５０個）の短冊２２４を設定する。短冊２２４は、図５（ｂ）に示すように、水平方向に延長され、垂直方向に略均等に離隔して配される。かかる短冊２２４の水平方向の長さは例えば４９画素であり、垂直方向の長さは例えば１画素である。ここで、垂直方向に略均等としたのは、対象物の垂直方向の画素数によっては、短冊２２４を均等に離隔させることで画素に端数がでるからである。例えば、分割領域２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆ、２２２ｇ、２２２ｈ、２２２ｉの垂直方向の長さが５０＋４９×ｎ（ｎは整数）であれば、短冊２２４同士を垂直方向にｎ画素空けることで均等に配することができるが、それ以外であれば、短冊２２４同士の間隔が等しくないものが生じる。この場合、１画素異なる範囲で短冊２２４同士の間隔を設定する。例えば、対象物の垂直方向の画素が２００であれば、間隔は、３と４とが存在することとなる。そして、短冊２２４の４９画素中では、１画素置きに均等に配された２５画素が判定部位となる。ただし、短冊２２４の水平方向や垂直方向の画素数、および分割領域２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆ、２２２ｇ、２２２ｈ、２２２ｉ毎の短冊２２４の数は上述した値に限らず、任意の値を設定することができる。

また、分割領域２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆ、２２２ｇ、２２２ｈ、２２２ｉ内における短冊２２４の水平方向の位置は分割領域２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆ、２２２ｇ、２２２ｈ、２２２ｉ毎に異ならせ、例えば、対象物の水平方向端部側に偏らせることができる。例えば、画面左に位置する分割領域２２２ａ、２２２ｄ、２２２ｇでは、図５（ｂ）に示すように、分割領域２２２ａ、２２２ｄ、２２２ｇそれぞれの左端から短冊２２４が形成され、画面右に位置する分割領域２２２ｃ、２２２ｆ、２２２ｉでは、分割領域２２２ｃ、２２２ｆ、２２２ｉそれぞれの右端から短冊２２４が形成され（図示せず）、画面中央に位置する分割領域２２２ｂ、２２２ｅ、２２２ｈでは、分割領域２２２ｂ、２２２ｅ、２２２ｈのうち水平方向の中央を中心に、左右に均等な幅となるように短冊２２４が形成される（図示せず）。こうすることで、対象物の輝度値の分布を対象物全体に亘って判定することができる。

輝度値導出部１６８は、判定部位決定部１６６が決定した判定部位に対し、分割領域２２２単位で、輝度値を積算し、その平均値を導出する。すなわち、９つの分割領域２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆ、２２２ｇ、２２２ｈ、２２２ｉそれぞれに含まれる２５画素／短冊×５０短冊＝１２５０画素の判定部位の輝度値をすべて積算し、その数（１２５０）で除算する。すると、９つの分割領域２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆ、２２２ｇ、２２２ｈ、２２２ｉ毎に輝度値の平均値（以下、平均輝度値という。）が１つずつ導出される。こうして導出された平均輝度値が浮遊物の判定に用いられる。

浮遊物特定部１７０は、輝度値導出部１６８によって導出された平均輝度値を用いて浮遊物を特定する。具体的に、まず、浮遊物特定部１７０は、分割領域２２２のうち下方（下段）に相当する分割領域２２２ｇ、２２２ｈ、２２２ｉそれぞれの平均輝度値と予め定められた所定の第３閾値と比較し、平均輝度値が第３閾値以上であるか、第３閾値未満であるかに応じて点数を付け、その点数を積算する。例えば、平均輝度値が第３閾値以上であれば＋１を積算（１を加算）し、第３閾値未満であれば−１を積算（１を減算）する。本実施形態のように、浮遊物が対流に当たり、その外形が傾いた場合であっても、地面に近い浮遊物の下方部位はあまり影響を受けないことが多い。ここでは、対象物の下方に位置する分割領域２２２の輝度値が比較的高い値を示している場合、その対象物を浮遊物らしい（浮遊物の可能性が高い）と判定する。

続いて、浮遊物特定部１７０は、分割領域２２２のうち同じ水平方向に位置する少なくとも２つの分割領域２２２同士の平均輝度値の差分（以下、輝度差分値という。）を導出する。例えば、差分を導出する組み合わせとしては、対象物の上段における、分割領域２２２ａと分割領域２２２ｂ、分割領域２２２ｂと分割領域２２２ｃ、分割領域２２２ｃと分割領域２２２ａ、対象物の中段における、分割領域２２２ｄと分割領域２２２ｅ、分割領域２２２ｅと分割領域２２２ｆ、分割領域２２２ｆと分割領域２２２ｄ、対象物の下段における、分割領域２２２ｇと分割領域２２２ｈ、分割領域２２２ｈと分割領域２２２ｉ、分割領域２２２ｉと分割領域２２２ｇといった９組となる。そして、それぞれの輝度差分値と予め定められた所定の第１閾値と比較し、輝度差分値が第１閾値以上であるか、第１閾値未満であるか判定する。

判定の結果、輝度差分値が第１閾値以上であれば、その分割領域２２２同士は平均輝度値が異なる、即ち、平均輝度値が偏っているとして、浮遊物特定部１７０は、輝度差分値に関わる２つの分割領域２２２（例えば、分割領域２２２ａと分割領域２２２ｂの輝度差分値については分割領域２２２ａまたは分割領域２２２ｂ）それぞれの平均輝度値と第２閾値とを比較する。そして、２つの分割領域２２２のいずれかの平均輝度値が第２閾値以上であれば、その分割領域２２２は浮遊物である可能性が高いとして点数に＋１を積算（１を加算）する。また、輝度差分値が第１閾値未満であれば、その分割領域２２２同士は平均輝度値がほぼ等しく、偏っていないとして、浮遊物特定部１７０は、輝度差分値に関わる２つの分割領域２２２それぞれの平均輝度値と第２閾値とを比較する。そして、２つの分割領域２２２のいずれかの平均輝度値が第２閾値未満であれば、いずれの分割領域２２２も浮遊物である可能性が低いとして点数に−１を積算（１を減算）する。

図６は、閾値を説明するための説明図である。ここで、第１閾値〜第３閾値は、浮遊物と、一般的な特定物（例えば、車両や歩行者）との平均輝度値や輝度差分値の差分の中心値をとるとよい。例えば、図６（ａ）には、車両、歩行者、および、浮遊物の奥行距離に応じた平均輝度値の実験値が示されている。図６（ａ）を参照して理解できるように、車両や歩行者の平均輝度値と比べ、浮遊物の平均輝度値は比較的大きくなっている。ここでは、例えば、第２閾値や第３閾値を３００とすることで、車両や歩行者と、浮遊物とを大凡区別することが可能となる。また、図６（ｂ）には、車両、歩行者、および、浮遊物の奥行距離に応じた輝度差分値の実験値が示されている。図６（ｂ）を参照して理解できるように、車両や歩行者の輝度差分値と比べ、浮遊物の輝度差分値は比較的大きくなっている。ここでは、例えば、第１閾値を１３とすることで、車両や歩行者と、浮遊物とを大凡区別することが可能となる。また、第１閾値〜第３閾値は、特性に応じて分割領域２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆ、２２２ｇ、２２２ｈ、２２２ｉ毎に独立して設けることとする。

そして、浮遊物特定部１７０は、積算した点数が１１点以上であるか否か判定し、１１点以上であれば、対象物を浮遊物であると判定する。こうして、車外環境認識装置１２０は、浮遊物を精度よく検出することが可能となる。

（車外環境認識方法）
図７は、本実施形態による車外環境認識方法の全体的な処理の流れを示したフローチャートである。かかる車外環境認識方法は、フレーム単位で実行される。まず、図７に示すように、画像処理部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、パターンマッチングを用いて視差情報を導出し、画像データに対応付けた距離画像２１２を生成する（Ｓ３００）。３次元位置導出部１６２は、検出領域２１４を撮像した画像における複数の対象部位の実空間における３次元位置を導出する（Ｓ３０２）。続いて、対象物特定部１６４は、３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物を特定する（Ｓ３０４）。

判定部位決定部１６６は、対象物特定部１６４に特定された対象物に対して、さらに、輝度値の判定対象となる判定部位を決定する（Ｓ３０６）。続いて、輝度値導出部１６８は、分割領域２２２毎に、対象物における所定の複数の判定部位の平均輝度値を導出するとともに、下方に位置する３つの分割領域２２２ｇ、２２２ｈ、２２２ｉのうち１の分割領域２２２における平均輝度値を選択する（Ｓ３０８）。

続いて、浮遊物特定部１７０は、選択された１の分割領域２２２における平均輝度値と第３閾値と比較する（Ｓ３１０）。浮遊物特定部１７０は、平均輝度値が第３閾値以上であれば（Ｓ３１０におけるＹＥＳ）、点数に１を加算し（Ｓ３１２）、平均輝度値が第３閾値未満であれば（Ｓ３１０におけるＮＯ）、点数から１を減算する（Ｓ３１４）。そして、浮遊物特定部１７０は、下方に位置する３つの分割領域２２２ｇ、２２２ｈ、２２２ｉ全てに対して上記の処理が終了しているか否か判定し（Ｓ３１６）、終了していなければ（Ｓ３１６におけるＮＯ）、下方に位置する次の分割領域２２２を選択して（Ｓ３１８）、第３閾値比較処理（Ｓ３１０）からの処理を繰り返す。終了していれば（Ｓ３１６におけるＹＥＳ）、輝度差分値導出処理（Ｓ３２０）に処理を移行する。

次に、浮遊物特定部１７０は、９つ全ての分割領域２２２に対し、水平方向に位置する分割領域２２２同士の輝度差分値を導出するとともに、そのうち１の輝度差分値を選択する（Ｓ３２０）。

続いて、浮遊物特定部１７０は、選択された１の輝度差分値と第１閾値と比較する（Ｓ３２２）。その結果、輝度差分値が第１閾値以上であれば（Ｓ３２２におけるＹＥＳ）、浮遊物特定部１７０は、輝度差分値に関わる２つの分割領域２２２それぞれの平均輝度値と第２閾値とを比較する（Ｓ３２４）。そして、２つの分割領域２２２のいずれかの平均輝度値が第２閾値以上であれば（Ｓ３２４におけるＹＥＳ）、浮遊物特定部１７０は、点数に１を加算し（Ｓ３２６）、いずれの平均輝度値も第２閾値未満であれば（Ｓ３２４におけるＮＯ）、分割領域終了判定処理（Ｓ３３２）に処理を移行する。また、輝度差分値が第１閾値未満であれば（Ｓ３２２におけるＮＯ）、浮遊物特定部１７０は、輝度差分値に関わる２つの分割領域２２２それぞれの平均輝度値と第２閾値とを比較する（Ｓ３２８）。そして、２つの分割領域２２２のいずれかの平均輝度値が第２閾値未満であれば（Ｓ３２８におけるＹＥＳ）、浮遊物特定部１７０は、点数から１を減算し（Ｓ３３０）、いずれの平均輝度値も第２閾値以上であれば（Ｓ３２８におけるＮＯ）、分割領域終了判定処理（Ｓ３３２）に処理を移行する。

そして、浮遊物特定部１７０は、９つの分割領域２２２ａ、２２２ｂ、２２２ｃ、２２２ｄ、２２２ｅ、２２２ｆ、２２２ｇ、２２２ｈ、２２２ｉ全てに対して上記の処理が終了しているか否か判定し（Ｓ３３２）、終了していなければ（Ｓ３３２におけるＮＯ）、次の分割領域２２２を選択して（Ｓ３３４）、第１閾値比較処理（Ｓ３２２）からの処理を繰り返す。終了していれば（Ｓ３３２におけるＹＥＳ）、点数判定処理（Ｓ３３６）に処理を移行する。

続いて、浮遊物特定部１７０は、積算された点数が１１点以上であるか否か判定し（Ｓ３３６）、１１点以上であれば（Ｓ３３６におけるＹＥＳ）、対象物を浮遊物であると特定し（Ｓ３３８）、１１点未満であれば（Ｓ３３６におけるＮＯ）、対象物は浮遊物ではないと特定する（Ｓ３４０）。

以上、説明したように、本実施形態では、浮遊物が風等の対流に当たり、その浮遊物の外形が傾いたり、上下で異なる場合であっても、平均輝度値や輝度差分値に応じて、水蒸気や排気ガス等の浮遊物を精度よく検出することが可能となる。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、対象物の平均輝度値や輝度差分値に応じて浮遊物を特定する例を挙げているが、特開２００９−１１０１６８号公報に示すような、物体の各対象部位の距離の平均値に対するばらつき（分散）に応じて浮遊物を特定する技術や、特開２０１２−２４３０４９号公報に示すような、対象物の輝度のヒストグラムに対する輝度の平均値、分散値、歪度、または尖度のいずれか１または複数の特徴量に基づいて浮遊物を特定する技術と、本実施形態の技術を併用して、その総合評価により、浮遊物を特定するとしてもよい。こうして、浮遊物の特定精度を高めることが可能となる。

また、上述した車外環境認識方法において、予め定められた閾値以上であるか否かに応じ、点数に１を加算したり、１を減算したりしているが、かかる場合に限らず、閾値との差に応じてその加減算の数値を変更してもよい。かかる構成により、平均輝度値や輝度差分値の大きさに応じて浮遊物らしさを反映することができ、浮遊物の特定精度を高めることができる。

また、上述した実施形態では、分割領域２２２のうち水平方向に位置する分割領域２２２同士の平均輝度値の差分を輝度差分値としているが、かかる場合に限らず、分割領域２２２のうち垂直方向に位置する分割領域２２２同士の平均輝度値の差分を輝度差分値としてもよい。

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、検出領域に存在する対象物がいずれの特定物に対応するかを特定する車外環境認識装置に利用することができる。

１２０ 車外環境認識装置
１６２ ３次元位置導出部
１６４ 対象物特定部
１６８ 輝度値導出部
１７０ 浮遊物特定部

Claims (5)

1. 検出領域を撮像した画像における複数の対象部位の実空間における３次元位置を導出する３次元位置導出部と、
   前記３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物を特定する対象物特定部と、
   前記対象物を含む領域を水平方向および垂直方向に均等に分割して複数の分割領域を設定し、当該分割領域毎に、分割領域内の輝度値の平均値である平均輝度値を導出する輝度値導出部と、
   同じ水平方向に位置する少なくとも２つの分割領域同士の平均輝度値の差分である輝度差分値と予め定められた第１閾値とを比較するとともに、２つの分割領域のそれぞれに対して、その分割領域の平均輝度値と第２閾値とを比較し、それぞれの比較結果に応じて当該対象物の浮遊物らしさを特定する浮遊物特定部と、
   を備えることを特徴とする車外環境認識装置。
2. 前記浮遊物特定部は、同じ水平方向に位置する少なくとも２つの分割領域の輝度差分値が第１閾値以上であり、かつ２つの分割領域のうちいずれかの分割領域の平均輝度値が第２閾値以上の場合、当該対象物は浮遊物の可能性が高いものとして特定することを特徴とする請求項１に記載の車外環境認識装置。
3. 前記浮遊物特定部は、同じ水平方向に位置する少なくとも２つの分割領域の輝度差分値が第１閾値未満であり、かつ２つの分割領域のいずれの平均輝度値も第２閾値未満の場合、当該対象物は浮遊物の可能性が低いものとして特定することを特徴とする請求項１または２に記載の車外環境認識装置。
4. 前記浮遊物特定部は、さらに、下段に位置する分割領域のそれぞれ対して、分割領域の平均輝度値と第３閾値とを比較し、分割領域の平均輝度値が第３閾値以上の場合、当該対象物は浮遊物の可能性が高いものとして特定しやすくすることを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
5. 前記輝度値導出部は、前記分割領域内の所定の判定部位の輝度値を用いて前記平均輝度値を算出するものであって、前記所定の判定部位は、水平方向に均等に離隔した状態で、前記対象物の水平方向端部側に偏り、かつ、垂直方向に均等に離隔していることを特徴とする請求項１から４のいずれか１項に記載の車外環境認識装置。