実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、外界認識装置を含む車載システムの全体構成図である。
車載システム10は、対象物検知装置の一例としての外界認識装置1000と、車載カメラ1010と、制御部1011と、メモリ1012と、自車両制御部1013と、を備えている。外界認識装置1000と、車載カメラ1010と、制御部1011と、メモリ1012と、自車両制御部1013とは、例えば、バス1018を介して接続されている。
車載カメラ1010は、車載システム10が搭載されている車両(自車両)の周囲の画像(例えば、動画像)を撮影する。車載カメラ1010は、周辺車両を認識しやすいように自車両の任意の箇所に設置されている。具体的には、車載カメラ1010は、車両外部のフロントバンパー、リアバンパー、左右のサイドミラー等に設置してもよい。車載カメラ1010は、特定の領域のみの車両を認識することを目的に一台で設置してもよいし、自車両の周辺の全体を認識できるように複数台設置するようにしてもよい。また、車載カメラ1010は、自車両の車内に設置するようにしても良い。車載カメラ1010は、例えば、魚眼カメラであり、周囲の画像を魚眼カメラ画像として撮影する。ここで、車載カメラ1010を魚眼カメラとすると、撮影範囲を広くすることができ、少ない画像により広範囲をカバーすることができるので、車両検知処理においては、処理対象とする画像数を低減することができ、車両検知処理の処理負荷を軽減することができる。
メモリ1012は、車載カメラ1010により撮影された画像を一時的に保持する。制御部1011は、車載カメラ1010と外界認識装置1000との間の画像の入出力、外界認識装置1000と自車両制御部1013との間の各種情報(後述する認識結果情報や警告情報等)の入出力を制御する。自車両制御部1013は、車両全体を統括制御する。例えば、自車両制御部1013は、外界認識装置1000から認識結果情報や、警告情報等を受信した場合には、その情報に基づいて、車両の制御(制動制御等)を実行する。
外界認識装置1000は、車両検知部1001と、周辺状態認識部1004と、警報処理部1008と、ドライバー通知部1009とを有する。本実施形態では、外界認識装置1000は、プロセッサとメモリとを備えるコンピュータであり、各機能部は、外界認識装置1000に備えられたプロセッサが、外界認識装置1000に備えられたメモリに格納されたプログラムを実行することにより構成される。
車両検知部1001は、車載カメラ1010により撮影された画像を入力し、車両を検出する車両検知処理を実行する。車両検知処理については、後述する。車両検知部1001は、車両検知処理の処理結果に基づいて、車両の接近または衝突の危険を表す車両接近信号や、検出した車両の位置を示す車両位置情報や、車両検知ができなかったことを示す検知FAIL信号を周辺状態認識部1004に出力する。
周辺状態認識部1004は、自車両周辺の状態(自車両周辺の車両の状態を含む)を認識する認識処理を実行する周辺認識部1005を有する。周辺認識部1005が実行する認識処理としては、例えば、車載カメラ1010により撮影された画像の解析処理を行って、自車両の近傍および遠方の周辺空間における、バイク、自転車を含む他車両および歩行者の有無、自車両の走行や駐車の妨げになる障害物体の有無を検知して認識する処理や、自車両の近傍および遠方のバイク、自転車を含む他車両および歩行者の急接近を検知して、自車両との衝突を予測する処理や、自車両と障害物との衝突を予測する処理がある。この場合には、周辺認識部1005は、認識結果の情報(認識結果情報)を警報処理部1008に出力する。また、周辺認識部1005による認識処理としては、走行中に自車両が車線を逸脱したことを示す警告情報を警報処理部1008に出力する車線逸脱警報処理や、自車両のドライバーからの死角に人や他車両が入り込んだことを示す警告情報を警報処理部1008に出力する死角警報処理がある。
また、周辺認識部1005は、車両検知部1001から検知FAIL信号が入力されていて、車載カメラ1010から入力されている画像が暗いなどして車両の検知が困難な状態である場合には、正確な画像認識処理が困難であり、誤認識が生じ易い状態であるために、自身の動作と、車両検知部1001の動作とを一時的または連続して停止させる制御を行う。この際、周辺認識部1005は、周辺認識部1005が動作停止状態であることを示す通知情報(汚れ通知情報)をドライバー通知部1009に出力する。
警報処理部1008は、周辺認識部1005から認識結果情報や警報信号を受信した場合に、受信した認識結果情報や警報信号を自車両制御部1013に送信する。これにより、自車両制御部1013が認識結果情報や警報信号に基づいて、適切な制御を実行することができる。
ドライバー通知部1009は、例えば、LED1014、スピーカ1015、ディスプレイ1016、カーナナビゲーションシステム(カーナビ)1017等と接続されており、周辺認識部1005からドライバーに通知すべき通知情報を受け取った場合に、LED1014を点灯させ、スピーカ1015により音声出力させ、ディスプレイ1016に表示出力させ、カーナナビゲーションシステム(カーナビ)1017に表示出力させる等することにより、ドライバーへ通知情報を通知する処理を行う。これにより、ドライバーに対して通知情報を適切に通知することができる。
次に、外界認識装置1000の車両検知部1001の機能構成について説明する。
図2は、外界認識装置の車両検知部の機能構成図である。
車両検知部1001は、画像歪補正部100と、マッチング画像作成部101と、強コントラスト領域判定部102と、マッチング処理部の一例としての車両検出部103と、対象物追跡部の一例としての車両追跡部104と、車両位置統合部105と、強コントラスト補正部106と、強コントラスト領域追跡部107と、確定判定部及び接近判断部の一例としての車両確定部108と、を備える。ここで、車両追跡部104、車両位置統合部105、強コントラスト領域追跡部107、及び車両確定部108が、対象物位置特定部の一例である。
画像歪補正部100は、車載カメラ1010により撮影された動画の1フレームの画像を周期的に入力する。ここで、本実施形態では、フレーム画像は、魚眼カメラ画像となっている。画像歪補正部100は、魚眼カメラ画像の所定の領域の画像を、歪のない画像(歪補正画像:対象画像)に変換し、マッチング画像作成部101に渡す。
マッチング画像作成部101は、画像歪補正部100から受け取った画像(歪補正画像)から、この画像よりもサイズが小さく、車両を検出するためのマッチングに使用するためのマッチング画像を逐次作成し、作成したマッチング画像を強コントラスト領域判定部102に逐次渡す。
強コントラスト領域判定部102は、マッチング画像中に強コントラスト領域(例えば、太陽光や街灯など強い外光の影響で周囲の画素よりも相対的に輝度が高く、画像の一部が白飛びした状態の領域を含む領域)があるか否かを判定する。強コントラスト領域判定部102は、マッチング画像中に強コントラスト領域がある場合には、マッチング画像を強コントラスト補正部106に渡す一方、マッチング画像中に強コントラスト領域がない場合には、マッチング画像を車両検出部103に渡す。
強コントラスト補正部106は、強コントラスト領域があるマッチング画像を強コントラスト領域判定部102から受け取った場合には、マッチング画像中の強コントラスト領域に対して、コントラストを低減するためのシャドウ化処理(コントラスト低減処理)を実施して、強コントラスト領域に対してシャドウ化処理を施した画像(補正マッチング画像)を車両検出部103に渡すとともに、強コントラスト領域追跡部107に強コントラスト領域の位置情報(例えば、歪補正画像中の位置の情報)を渡す。
車両検出部103は、強コントラスト領域判定部102から受け取ったマッチング画像、又は、強コントラスト補正部106から受け取った補正マッチング画像と、車両特徴モデルとのマッチング処理を行って、マッチング画像(補正マッチング画像)中に車両の可能性が高い車両候補が存在するか否かを判定する車両検出処理を実行する。本実施形態では、車両検出部103は、マッチング処理におけるマッチング画像(又は補正マッチング画像)と車両特徴モデルとの適合度合いに基づいて、マッチング画像(又は補正マッチング画像)中の物体が車両である可能性を示すスコア(評価値)を特定し、このスコアが所定の閾値以上か否かに基づいて、車両候補が存在するか否かを判定している。なお、本実施形態では、車両検出部103で検出された車両候補は、車両確定部108による判断を経て、車両であると確定されることとなる。
車両検出部103は、同一の歪補正画像から作成された各マッチング画像(又は補正マッチング画像)に対する車両候補の検出有無に従って、歪補正画像における車両候補の位置情報を車両追跡部104に通知する。
車両追跡部104は、車両検出部103から通知される複数フレーム画像のそれぞれに対応する歪補正画像における車両候補の位置情報に基づいて、同一の車両候補の時間経過に伴う位置を追跡し、追跡結果(車両候補追跡結果)を車両位置統合部105に通知する。
強コントラスト領域追跡部107は、強コントラスト補正部106から渡される複数フレームのそれぞれに対応する歪補正画像おける強コントラスト領域の位置に基づいて、同一の強コントラスト領域の時間経過に伴う位置を追跡し、追跡結果(強コントラスト領域追跡結果)を車両位置統合部105に通知する。
車両位置統合部105は、車両追跡部104の車両候補追跡結果と、強コントラスト領域追跡部107の強コントラスト領域追跡結果とを統合することにより、マッチング画像(又は補正マッチング画像)中の物体が車両である可能性を示すスコアを調整する。具体的には、車両位置統合部105は、車両追跡部104の追跡結果と、強コントラスト領域追跡部107の追跡結果とが同じ物体に対応する追跡結果である場合には、この物体が車両である可能性を示すスコアに所定値を加算する。
車両確定部108は、車両位置統合部105によって調整されたスコアが所定の閾値(車両検出部13において車両候補を判定する際の閾値よりも大きい値)以上であるか否かを判定し、スコアが閾値以上である場合には車両候補が車両であると確定し、その車両の歪補正画像中の位置を確定する一方、それ以外の場合には、車両候補は車両ではないと確定する。車両確定部108は、車両候補が車両であると確定すると、その車両の画像中の位置に基づいて、その車両と自車両との間の距離を算出し、自車両との間の距離が予め設定された距離(注意・警報距離)よりも短いか否かを判定し、自車両との間の距離が注意・警報距離よりも短い場合には、その車両の位置を示す車両位置情報および車両が近接していることを示す車両接近信号を周辺状態認識部104に出力する。また、車両確定部108は、連続して入力されるフレーム画像に対する車両検知処理による検知結果が、検知(車両が検知されたこと)と、不検知(車両が検知されなかったこと)とが短期間(例えば、1フレームごと)で切り替わるような状態、すなわち、実際には起こりえないような状態になった場合には、車両検知処理の信頼性が低下している判断して、適切な車両検知が行えていないことを示す検知FAIL信号を周辺状態認識部104に出力する。
次に、画像歪補正部100による処理について詳細に説明する。
図3は、魚眼カメラ画像と、その画像の歪補正を説明する図である。図3(a)は、自車両の右サイドミラーに設置した車載カメラ1010により撮影された動画の1フレームの魚眼カメラ画像を示している。図3(b)は、魚眼カメラ画像の歪を補正した画像の一例を示している。
図3(a)に示す、車載カメラ1010により撮影された動画の1フレームの魚眼カメラ画像200においては、左側が自車両の前方(フロント方向)となり、右側が自車両の後方(リア方向)となる。魚眼カメラ画像200の中央には、路面204が映り、上部には、空などの背景205が映り、下部には、自車両のボディ203が映り、右側には、後方からの接近車両202が映っている。ここで、本実施形態では、例えば、魚眼カメラ画像200における、自車両の後方の一部(例えば、自車両に対して右後方側)が映る領域201を、車両の検知を行う車両検知領域201として設定している。
魚眼カメラ画像200は、撮像範囲が広範囲となっているが、図示するように、画像が歪んだ状態となっている。特に、魚眼カメラ画像200の上下左右端に近い程(遠方領域となる程)、画像の解像度が侠角レンズ画像よりも低くなる傾向がある。
このように、魚眼カメラ画像200は、画像が歪んでいるので、マッチング処理を行う車両検知に使用するには適していない。そこで、本実施形態では、画像歪補正部100が、魚眼カメラ画像200の車両検知領域201の画像を図3(b)に示すように、歪のない画像(歪補正画像)206に補正している。魚眼カメラ画像における歪を補正する方法としては、例えば、既知の魚眼レンズの歪特性から実際の空間写像に変換する非線形局部幾何補正法や、歪係数を簡易的に表現した線形局部幾何補正法などを用いることができるが、その他の方法を用いてもよい。
本実施形態では、画像歪補正部100は、図3(a)に示す近接車両202、背景205、及び路面204が、図3(b)の接近車両209、背景207、及び路面208のように、すなわち、実際の空間写像と同等に見えるように補正している。
次に、マッチング画像作成部101による処理について詳細に説明する。
図4は、マッチング画像の生成例を説明する図である。図4(a)は、入力画像からマッチング画像を生成する方法を説明する図である。図4(b)は、マッチング画像による車両の検知の概略を説明する図である。
マッチング画像とは、後述するマッチング処理において、予め外界認識装置100の図示しないメモリに記憶してある車両特徴モデルと比較するための画像であり、本実施形態では、画像歪補正部100から受け取る入力画像よりも小さいサイズの画像である。このマッチング画像から抽出した車両特徴と、車両特徴モデルとを比較して一致している度合いを調べることで、車両の存在有無を検知することができる。
マッチング画像作成部101は、図4(a)に示すように、入力画像300(図3(b)の歪補正画像206に対応)に対して、マッチング画像301として切り出す範囲を、左上から右下方向に向かってラスタースキャン状に移動させることにより、複数のマッチング画像を作成している。より具体的には、マッチング画像作成部101は、マッチング画像を切り出す範囲を、左上の原点を基準にした所定のサイズの範囲とし、次に、水平方向に少しずらした位置を基準とした範囲とし、切り出す範囲が入力画像300の右端に到達するまでこれを繰り返し、切り出す範囲が入力画像300の右端に到達したら、垂直方向に少しずらした位置且つ左端を基準とした範囲としていくようにして、結果として線302に示すように移動させる。これにより、入力画像300の全体にわたって、マッチング画像を切り出すことができ、入力画像300において、後述する車両の検知の処理対象としていない領域が生じないようにすることができる。なお、入力画像300からマッチング画像を作成する方法は、これに限られず、入力画像300において切り出されていない領域が生じなければ、任意の方法でよい。
このようにマッチング画像を作成することにより、図4(b)に示すように、車両305、背景306、及び路面307が含まれている入力画像300から切り出される複数のマッチング画像中に、車両305が含まれているマッチング画像304を含めることができる。このため、各マッチング画像に対して車両検出処理を実行することにより、車両305が含まれているマッチング画像304において、車両を検知することができる。したがって、入力画像300のいずれの位置に車両が映っていても、車両の存在を適切に検出することができる。
次に、車両検出部103による処理について詳細に説明する。
車両検出部103は、マッチング画像作成部101により作成されたマッチング画像、又は、強コントラスト補正部106により作成された補正マッチング画像から得た画像特徴と、車両特徴モデルとの一致度合いを示すスコアを特定し、スコアが所定の閾値以上であれば、車両(車両候補)が存在していると認知する。なお、スコアが所定値未満の場合には、車両検出部103は、車両(車両候補)が存在していないと認知する。
車両検出部103による車両検出処理に用いる画像特徴としては、例えば、HaarLike特徴を用いることができる。なお、車両検出に用いる画像特徴は、HaarLike特徴以外の表現方法を用いてもよい。
ここで、HaarLike特徴とは、対象物の複数個のエッジ周辺に関する画像状態を白黒の2値化したパタンデータに置き換えて特徴表現する方法のことである。似た形状の車両同士であれば、車両画像のエッジ周辺の2値化パタンデータも似た数値になることが知られており、マッチング画像を用いた車両検出にこの特徴を利用することができる。
図5は、マッチング画像を使ったマッチング処理を説明する図である。図5(a)は、メモリに記憶されている車両特徴モデルのHaarLike特徴の例である。図5(b)は、マッチング画像の車両に光が反射している領域(強コントラスト領域)が存在していない場合のHaarLike特徴の例である。図5(c)は、マッチング画像の車両に光が反射している領域(強コントラスト領域)が存在している場合のHaarLike特徴の例である。
HaarLike特徴は、画像エッジ上の任意の位置に設定してよいが、本実施形態では、車両特徴モデルのHaarLike特徴として、例えば、図5(a)に示すように、車両400の上部401、左部402、及び右部403の3か所に設定しているものとする。ここで、車両特徴モデルについては、上部401の上段が1、下段が0となり、左部402の左段が1、右段が0となり、右部403の左段が0、右段が1となったものとする。
例えば、図5(b)に示すように、マッチング画像の車両に光が反射している領域(強コントラスト領域)が存在していない場合においては、HaarLike特徴は、車両404の上部405の上段が1、下段が0となり、左部406の左段が1、右段が0となり、右部407の左段が0、右段が1となる。この場合には、図5(a)に示す車両特徴モデルの各値と一致することとなり、車両検出部103により、マッチング画像と、車両特徴モデルとの一致の度合いを示すスコアが高く特定され、車両候補が存在すると判定される。
一方、図5(c)に示すように、マッチング画像の車両に光413が反射している領域(強コントラスト領域)412が存在している場合においては、HaarLike特徴は、車両408の上部409の上段が1、下段が0となり、左部410の左段が1、右段が0となり、右部411の左段が1、右段が1となる。この場合には、右部411の画像特徴が図5(a)の車両特徴モデルの画像特徴と異なるため、車両検出部103により、マッチング画像と、車両特徴モデルとの一致の度合いを示すスコアが低く特定され、マッチング画像に車両が存在するにもかかわらず、車両候補が存在しないと誤判定されてしまう。本実施形態においては、マッチング画像の車両に光413が反射している領域(強コントラスト領域)412が存在している場合においては、マッチング画像の強コントラスト領域を補正することにより、誤判定されることが低減されるようにしている。この点については、後述する。
次に、強コントラスト領域判定部102による処理について詳細に説明する。
図6は、強コントラスト領域を特定する処理を説明する図である。
ここで、強コントラスト領域判定部102に、図6(a)に示すような、車両501の一部分に強コントラスト領域502が存在しているマッチング画像500が入力された場合における強コントラスト領域を検知する処理について説明する。
強コントラスト領域判定部102は、マッチング画像500について、画像中の相対的に明るい画素(所定のしきい値以上の輝度の画素)について、値を1とし、相対的に暗い画素(所定のしきい値よりも輝度が低い画素)については、値を0とした、図6(b)に示すような2値化画像503を生成する。なお、図6(b)の2値化画像503においては、値1の画素は、白く、値0の画素は、黒く示されている。なお、強コントラスト領域判定部102において、使用するしきい値としては、一定としてもよく、画像毎に変えてもよい。
次いで、強コントラスト領域判定部102は、背景などの車両以外のテクスチャの影響を受けることを抑制するために、2値化画像503の周辺部分505を参照しないようにマスク(画素の値を0)する。
次いで、強コントラスト領域判定部102は、2値化画像503中のそれぞれの明部分(値1の画素の塊部分)についてラベリングを行い、それぞれの明部分の面積を特定し、明部分の面積が所定のしきい値以下の明部分は、値を0に変更する。次に、強コントラスト領域判定部102は、マッチング画像500における画素のヒストグラムから算出した所定レベルの輝度(例えば、全体輝度分布の95%以上となる輝度)以上の画素が存在する明部分(506等)のみを残し、それ以外の明部分の値を0に変更する。強コントラスト領域判定部102は、以上の処理によって得られた図6(d)の2値化画像503中の明部分506を含む領域(例えば、明部分506を含む矩形領域)が、外光による光反射の結果生じた強コントラスト領域であると特定する。このような処理により、マッチング処理において、影響の大きい強コントラスト領域を適切に特定することができる。
なお、マッチング画像における強コントラスト領域を特定する方法は、上記に限られず、相対的に明るい領域を特定することができれば、任意の方法でよい。例えば、マッチング画像の平均の輝度よりも高い、所定のしきい値以上の画素を含む領域を強コントラスト領域として特定するようにしてもよい。また、近接する画素との輝度の違いが所定の割合以上である画素を含む領域を強コントラスト領域として特定するようにしてもよい。
次に、強コントラスト補正部106の処理について詳細に説明する。
図7は、強コントラスト領域のコントラストの補正の概要を説明する図である。
ここで、強コントラスト補正部106に、図7(a)に示すような、車両601の一部分に強コントラスト領域602が存在しているマッチング画像600が入力された場合におけるコントラストを補正する処理について説明する。
強コントラスト補正部106は、図7(b)に示す強コントラスト領域判定部102により特定された明部分を含む強コントラスト領域604に対して、マッチング画像600の強コントラスト領域604以外のコントラストレベル(シャドウ化レベル)と同等となるように強コントラスト領域604の輝度を補正する処理(シャドウ化処理)を行い、図7(c)に示すように、この領域の補正後の画像606をもとのマッチング画像600に組み込むことにより、補正マッチング画像605を作成する。
次に、強コントラスト補正部106のシャドウ化処理について詳細に説明する。
図8は、強コントラスト領域のコントラストの補正方法の具体例を示す図である。
ここで、シャドウ化処理とは、マッチング画像中の強コントラスト領域に対して強コントラスト領域以外のコントラストレベルと同等となるように画像の輝度を補正する処理のことである。
まず、強コントラスト補正部106は、マッチング画像700から検知した強コントラスト領域701の画像を切り出して一次的に図示しないメモリに記憶する。次に、マッチング画像702の強コントラスト領域701以外の領域について輝度ヒストグラム704を求める。
次いで、強コントラスト補正部106は、求めた輝度ヒストグラム(値0〜255)について、輝度の低いほう(値0)から所定の割合(A%)に属する第1画素群705と、輝度が高いほうから所定の割合(C%)に属する第2画素群707と、それ以外の全体の所定の割合(B%)となる第3画素群706とに区分し、第3画素群706の画素の平均輝度(基準平均輝度)を求める。
次いで、強コントラスト領域701は、強コントラスト領域701の画像の各画素の平均輝度が、第3画素群706の画素の基準平均輝度と同等となるように、各画素の輝度を補正することにより、コントラスト補正画像708を作成する(この処理がシャドウ化処理に相当する)。この結果、コントラスト補正画像708は、強コントラスト領域701の画像よりも、全体が暗い状態の画像となる。
次いで、強コントラスト補正部106は、マッチング画像700の強コントラスト領域701にコントラスト補正画像708をはめ込むことにより、補正後マッチング画像709を作成する。ここで、上記した処理において、強コントラスト領域701以外の画像の輝度ヒストグラムの暗い部分(第1画素群705)と、明るい部分(第2画素群707)との輝度を、マッチング画像700の強コントラスト領域710以外の平均輝度の算出に利用しないようにしているのは、暗い部分と明るい部分とには、極端な輝度値の部分が存在する可能性があり、算出される平均輝度値への影響が強く、強コントラスト領域701の画像を適切な輝度の画像に補正することができない虞があるためである。なお、マッチング画像700の強コントラスト領域710以外のすべての画素についての平均輝度を基準平均輝度とするようにしてもよい。
次に、強コントラスト領域判定部102による他の処理を詳細に説明する。
図9は、強コントラスト領域の補正を行うか否かを判定する判定処理を説明する図である。
強コントラスト補正部106により、強コントラスト領域に対してシャドウ化処理を行う場合に、マッチング画像800の面積に対して強コントラスト領域の面積が大きすぎると、強コントラスト領域以外の面積が小さすぎて、その平均輝度に大きな偏りが生じてしまい、強コントラスト領域を補正する基準とする平均輝度(シャドウ化レベル)としては適切な値とはならない。
この対策として、本実施形態では、強コントラスト領域判定部102は、マッチング画像800に対してシャドウ化処理の対象となる強コントラスト領域802の面積を求め、マッチング画像800と、強コントラスト領域802との面積比を参照して、シャドウ化処理を実行するか否かを判断する。具体的には、強コントラスト領域判定部102は、強コントラスト領域802の面積が所定の面積比 (例えば、マッチング画像800の面積の1/N:Nは、1より大きい数) 以下の場合には、強コントラスト補正部106に、強コントラスト領域802に対してシャドウ化処理を実行させて補正マッチング画像804を作成させ、結果として、車両検出部103において、補正マッチング画像804を使用してマッチング処理を実行させる一方、強コントラスト領域802の面積が所定の面積比を超える場合には、車両検出部103にマッチング画像800を送信して、車両検出部103において、マッチング画像800を使用してマッチング処理を実行させる。
次に、強コントラスト領域追跡部107による処理を詳細に説明する。
図10は、強コントラスト領域の位置の追跡を説明する図である。
本実施形態の車両検知処理においては、入力画像単体を用いて車両検知を行うことにより得られる車両位置の他に、連続する複数フレームに対応する画像における車両位置を時系列に繋ぎ合わせる車両追跡処理を行うことで、車両位置の検出精度を向上させている。また、本実施形態では、強コントラスト領域の位置を検知することにより、さらに車両位置の検出精度を安定させている。また、強コントラスト領域についても車両位置の追跡と同様に、連続する複数フレームに対応する画像を用いて、強コントラスト領域の位置を時系列に繋ぎ合わせる追跡処理を行うことで、強コントラスト領域の位置の検出精度を向上させ、結果として、車両位置の検出精度を向上させている。
強コントラスト領域追跡部107は、連続する複数フレームに対応する歪補正画像(900,902,904)のそれぞれに強コントラスト領域(901,903,905)が存在する場合に、各強コントラスト領域の重心を求めて、各フレームに対応する歪補正画像間における対応する強コントラスト領域同士を接続して、各強コントラスト領域の位置を記憶する。なお、車両位置統合部105は、車両追跡部104により得られた追跡結果と、強コントラスト領域追跡部107により得られた強コントラスト領域の追跡結果とに基づいて、最終的な車両位置を決定(確定)する。例えば、車両追跡部104により得られた追跡結果が示す車両の移動した位置と、強コントラスト領域追跡部107により得られた追跡結果が示す強コントラスト領域の移動した位置とがほぼ一致していれば、車両追跡部104が追跡していた車両候補が車両である可能性が高いと判断でき、その検出位置の信頼度は高いと判断できる。
次に、車両検知処理の動作について説明する。
図11は、外界認識装置による車両検知処理のフローチャートである。
外界認識装置1000は、車両のイグニションがON(オン)になったか否かを判定し(ステップS1100)、イグニッションがONになっていない、すなわち、イグニションがOFFである場合(ステップS1100:NO)には、イグニッションがONになるまで待機する。
一方、イグニションがONになった場合(ステップS1100:YES)には、外界認識装置1000は、自身の初期化を行う(ステップS1101)。すなわち、外界認識装置1000は、車載カメラ1010からの画像の入力を開始し、車両検知処理に関する各パラメータの初期値を設定し、車両を検知するためのマッチング処理に必要なテンプレートデータ(車両特徴モデル)の読み出し等を実行する。以降、外界認識装置1000は、車両を実際に検知するための処理(ステップS1102からステップS1120)を繰り返し実行することとなる。
画像歪補正部100は、車載カメラ1010により撮像された魚眼カメラ画像を入力し(ステップS1102)、魚眼カメラ画像中の車両検知領域を取り出して、この車両検知領域の画像に対して歪補正処理を実行し、処理後の画像(歪補正画像)をマッチング画像作成部101に渡す(ステップS1103)。
次いで、マッチング画像作成部101は、画像歪補正部100から入力された歪補正画像に基づいて、複数個のマッチング画像を作成する(ステップS1104)。
次いで、強コントラスト領域判定部102は、各マッチング画像に強コントラスト領域が存在するか否かを判定する(ステップS1105)。判定の結果、マッチング画像に強コントラスト領域が存在しない場合(ステップS1106:NO)には、強コントラスト領域判定部102は、マッチング画像を、車両検出対象の画像(対象画像)として、車両検出部103に渡す(ステップS1111)。
一方、マッチング画像に強コントラスト領域が存在する場合(ステップS1106:YES)には、強コントラスト領域判定部102は、強コントラスト領域の面積がマッチング画像の面積の1/N以下であるか否かを判定する(ステップS1107)。この結果、強コントラスト領域の面積がマッチング画像の面積の1/N以下でない場合、すなわち、強コントラスト領域の面積がマッチング画像の面積の1/Nよりも大きい場合(ステップA1107:NO)には、強コントラスト領域判定部102は、マッチング画像を車両検出対象の画像(対象画像)として、車両検出部103に渡す(ステップS1111)。
一方、強コントラスト領域の面積がマッチング画像の面積の1/N以下である場合(ステップS1107:YES)には、強コントラスト領域判定部102は、マッチング画像の強コントラスト領域以外の領域の輝度ヒストグラムに基づいて、シャドウ化処理におけるシャドウ化レベルを設定し、強コントラスト領域に対してシャドウ化処理を実行し(ステップS1109)、強コントラスト領域を補正した補正マッチング画像を対象画像として、車両検出部103に渡す(ステップS1110)。
次いで、車両検出部103は、全ての対象画像に対して車両検知処理を実行し(ステップS1112)、車両候補が存在するか否かを判定する(ステップS1113)。
この結果、全ての対象画像において車両候補が存在しない場合(ステップS1113:NO)には、車両検出部103は、処理をステップS1102に進める。
一方、車両候補が存在する場合(ステップS1113:YES)には、車両追跡部104は、車両検出部103から通知される車両候補の位置情報に基づいて、複数フレームに対応する歪補正画像における同一の車両候補の時間経過に伴う位置の追跡を行い、車両候補の位置を車両位置P1として車両位置統合部105に通知する(ステップS1114)。
次いで、車両追跡部104は、強コントラスト領域のシャドウ化処理を行った補正マッチング画像において、車両候補が検知されたか否かを判定し(ステップS1115)、補正マッチング画像により車両候補が検知されていない場合(ステップS1115:NO)には、処理をステップS1117に進める一方、補正マッチング画像により車両候補が検知された場合(ステップS1115:YES)には、その補正マッチング画像の強コントラスト領域の位置に基づいて、複数フレームに対応する歪補正画像における同一の強コントラスト領域の時間経過に伴う位置の追跡を行い、強コントラスト領域の位置を車両位置P2として、車両位置統合部105に通知する(ステップS1116)。なお、複数のフレームの歪補正画像間の強コントラスト領域が同一であるか否かは、強コントラスト領域の形状が相似形であることや、強コントラスト領域の縦横比の割合がほぼ同一であること等により判定することができる。
次いで、車両位置統合部105は、車両追跡部104からの車両結果(車両位置P1)と、強コントラスト領域追跡部107からの追跡結果(車両位置P2)とを統合することにより、マッチング画像(又は補正マッチング画像)中の物体が車両である可能性を示すスコアを調整する。具体的には、車両位置統合部105は、車両追跡部104の車両位置P1と、強コントラスト領域追跡部107の車両位置P2とが同じ位置と判定できる場合には、車両検知部103によってこの車両候補に対して検出された際のスコアを所定値だけ上昇させ、車両確定部108に通知する。なお、車両位置P2がない場合や、車両位置P1と車両位置P2とが同じ位置とみなせない場合には、車両位置統合部105は、車両検知部103によってこの車両候補に対して検出された際のスコアをそのまま車両確定部108に通知する。次いで、車両確定部108は、車両位置統合部105から通知されたスコアに基づいて、車両候補の物体が車両であるか否かを確定する(ステップS1117)。具体的には、車両確定部108は、通知された車両候補のスコアが、所定の閾値(車両検知部103が使用した閾値よりも高い値)以上であるか否かを判定し、スコアが閾値以上であれば、車両候補を車両として確定する一方、スコアが閾値未満であれば車両でないと確定する。
次いで、車両確定部108は、確定した車両(検知車両)の位置に基づいて、自車両と検知車両との間の距離を算出し(ステップS1118)、検知車両が自車両に接近中、且つ自車両との距離が所定の閾値以下であるか否かを判定する(ステップS1119)。
この結果、検知車両が自車両に接近中、且つ自車両との距離が所定の閾値以下である場合(ステップS1119:YES)には、車両確定部108は、検知車両の位置情報と、車両が近接していることを示す車両接近信号を周辺状態認識部1004に出力し、処理をステップS1121に進める。一方、検知車両が自車両に接近中、且つ自車両との距離が所定の閾値以下でない場合(ステップS1119:NO)には、車両確定部108は、処理をステップS1121に進める。
ステップS1121では、車両検知部1001は、イグニッションOFF(オフ)などによって、外界認識装置1000の動作が終了となる状況が発生したか否かを判断し(ステップS1121)、装置の動作を終了する状況となっていなければ(ステップS1121:NO)、処理をステップS1102に進める一方、装置の動作を終了する状況であれば(ステップS1121:YES)であれば、車両検知処理を終了する。
上記実施形態によると、強コントラスト領域判定部102が複数のマッチング画像のそれぞれに対して、マッチング画像中に強コントラスト領域が存在するか否かを判定し、強コントラスト補正部106がマッチング画像中に強コントラスト領域が存在すると判定された場合に、マッチング画像中の強コントラスト領域に対して、コントラストが低減されるように輝度を補正して、補正マッチング画像を作成し、車両検出部103が補正マッチング画像を用いて、車両の存在を判定するためのマッチング処理を行い、車両追跡部104がマッチング処理の処理結果に基づいて、対象画像中の車両の位置を特定するようにしたので、画像中に強コントラスト領域が存在している場合であっても、適切に車両の存在を判定することができる。
また、上記実施形態によると、車両追跡部104により追跡された車両候補の位置の変化と、強コントラスト領域追跡部107により追跡された強コントラスト領域の位置の変化とに基づいて、車両確定部108が、車両候補が車両であるか否かを確定するようにしたので、強コントラスト領域となってしまっている車両を適切に車両であると確定することができる。すなわち、車両検出部103によるマッチング処理のみでは、車両である可能性が低く判定されてしまう車両を適切に車両として確定することができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
例えば、上記実施形態では、車載カメラとして、魚眼カメラを用いていたが、本発明はこれに限られず、非魚眼カメラとしてもよい。
また、上記実施形態では、マッチングにより検出された車両の位置(位置の変化)と、強コントラスト領域の位置(位置の変化)とに基づいて、物体が車両であるか否かのスコアを変え、当該スコアに基づいて物体が車両であるか否かを確定させるようにしていたが、本発明はこれに限られず、マッチングによって得られたスコアのみによって、物体が車両であるか否かを確定するようにしてもよい。
また、上記実施形態では、外界認識装置1000を車載システム10に搭載して、車両の周囲をセンシングするための用途に利用する例を示していたが、本発明はこれに限られず、外界認識装置を車載システム以外の別のシステムに搭載して、別の用途で利用するようにしてもよく、例えば、監視カメラの画像から対象物を検出する用途に利用するようにしてもよい。
また、上記実施形態では、検知する対象物を車両とした例を示していたが、本発明はこれに限られず、例えば、人、自転車、電車、航空機、船等の車両以外の物体を対象物としてもよい。
また、上記実施形態では、外界認識装置の各機能部を、プロセッサがプログラムを実行することにより構成される例を示していたが、本発明はこれに限られず、各機能部の一部又は全部を、例えば集積回路等のハードウェアによって構成するようにしてもよい。また、上記実施形態において、機能部を構成するプログラムは、プログラムコードを記録した記録媒体により提供されてもよい。この場合には、記録媒体のプログラムをコンピュータのプロセッサが読み出して実行することにより、機能部を実現することができる。プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD−ROM、DVD−ROM,ハードディスク、SSD(Solid State Drive)、光ディスク、光磁気ディスク、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いてよい。また、機能部を構成するプログラムを、ネットワークを介して配信することによって、コンピュータのハードディスクやメモリ等の記憶部又はCD−RW、CD−R等の記憶媒体に格納し、コンピュータが備えるプロセッサが記憶部や記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。