JP2008151659A - 物体検出装置 - Google Patents

Abstract

【課題】ステレオ測距中に物体をロストしても継続的に距離情報を算出可能とする。
【解決手段】第１測距部６は、ステレオカメラ２で撮像した左右一対の画像間のステレオマッチングを行って同一物体に対する視差を検出することで測距を行い、第２測距部７は、逆光等によりステレオ撮像した左右一対の画像間の感度バランスの狂いが生じ、第１測距部６で生成される距離画像の信頼性が低下した場合に対処して、輝度差分に基づくステレオマッチングを行うことにより、視差を検出する。第１測距部６による測距と第２測距部７による測距は、選択的に切換えられて認識処理部１０に入力され、逆光時のような環境条件の悪化に対しても継続的な測距を可能として、環境条件の変化による認識信頼性の低下を防止することができる。
【選択図】図２

Description

本発明は、ステレオカメラで撮像した画像を処理して物体を検出する物体検出装置に関する。

従来、画像による物体検出の技術として、ステレオカメラで対象物を異なる位置から撮像した複数の画像間の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法を用いた物体検出の技術が知られており、自動車等の車両に適用して車外環境を認識し、先行車との車間距離制御や障害物との衝突回避制御に利用されている。

例えば、特許文献１には、単眼カメラとレーダとの組み合わせ、或いはステレオカメラを用いて車外環境を認識する技術に関して、ステレオ画像中の縦エッジペアに基づく領域を基準パターンとして記憶し、縦エッジが検出されない場合、物体をロストしたとして、基準パターンを用いたパターンマッチングによって物体の検知（追跡）を行う技術が開示されている。
特開２００５−３８４０７号公報

特許文献１の技術では、ステレオカメラによる画像中に縦エッジを検出できなくなった場合、すなわち物体をロストした場合には、テンプレートマッチングによって物体を検知する手法に切換えている。しかしながら、テンプレートマッチングでは、物体の存在の有無を検知することはできても物体の距離情報は得られないため、障害物の回避制御や先行車の追跡による追従制御を続行することは困難であり、安全を確保する上では不十分である。

本発明は上記事情に鑑みてなされたもので、ステレオ測距中に物体をロストしても継続的に距離情報を算出可能とすることのできる物体検出装置を提供することを目的としている。

上記目的を達成するため、本発明による物体検出装置は、一対の画像を取得するステレオカメラと、上記一対の画像同士で輝度値が互いに対応する領域を探索して上記一対の画像に写しだされる物体の距離情報を演算する第１の距離情報演算手段と、上記一対の画像のそれぞれにおける所定の画素について隣接する画素との輝度差を算出するとともに、該輝度差が上記一対の画像同士で対応する領域を探索して上記物体の距離情報を演算する第２の距離情報演算手段と、上記第１の距離情報演算手段による上記物体をロストした際、上記第２の距離情報演算手段によって演算される距離情報を選択する選択手段とを備えることを特徴とする。

本発明による物体検出装置は、ステレオ測距中に物体をロストしても継続的に距離情報を算出可能とすることができ、物体検出に基づく各種制御の制御性及び信頼性を向上することが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。図１〜図１２は本発明の実施の一形態に係り、図１は先行車追従制御システムの構成図、図２は物体検出装置のブロック図、図３は逆光時の左右画像の輝度分布を模式的に示す説明図、図４は輝度差分後の左右画像の輝度分布を模式的に示す説明図、図５は追跡破綻判定の説明図、図６は先行車位置修正における左右反転の概念を示す説明図、図７は先行車位置の修正を示す説明図、図８は先行車位置の修正結果を示す説明図、図９は先行車認識処理のフローチャート、図１０は先行車追跡処理のフローチャート、図１１はロスト判定処理のフローチャート、図１２は先行車追従制御処理のフローチャートである。

本発明の物体検出装置は、ステレオカメラで撮像した画像間の感度バランスが悪化した場合においても、継続した距離情報の取得を可能とするものであり、例えば、車両の障害物回避制御や先行車の追跡による車間距離制御等に適用することができる。本形態においては、図１に示すように、車両１に、ステレオカメラ２と、ステレオカメラ２で撮像した画像をステレオ処理して、物体の距離情報を主とする外界環境認識を行うステレオ画像認識装置５とを物体検出装置として搭載し、ステレオ画像認識装置５に、各種車両制御装置を接続して先行車追従制御システムを構成する例について説明する。

ステレオカメラ２は、ＣＣＤやＣＭＯＳ等のイメージセンサを有する複数台のカメラからなり、対象物を異なる視点から撮像する。本形態においては、ステレオカメラ２として、シャッタースピード可変で互いに同期した左右２台のカメラ２ａ，２ｂを互いの光軸が略平行となるように所定の基線長（光軸間隔）で機械的に固定し、車両１の前部に設置している。

また、車両制御装置としては、ステレオ画像認識装置５から外界環境認識情報を受取り、この外界環境認識結果に基づいて車両制御を統括する中央制御装置２０に、エンジン出力を制御するエンジン制御装置２１、ブレーキを制御するブレーキ制御装置２２、先行車への追突危険性や異常発生時に音声出力やディスプレイ表示等による警報を発して運転者の注意を喚起する警報装置２３が接続されている。

中央制御装置２０は、ステレオ画像認識装置５からの外界環境認識結果として、先行車と自車との距離及び速度、先行車をロストしたときのロスト情報等を受取り、エンジン出力を制御するためのスロットル開度指令、制動力を制御するための目標減速度、警報コマンド等を生成し、それぞれ、エンジン制御装置２１，ブレーキ制御装置２２，警報装置２３に出力する。

ステレオ画像認識装置５における外界環境認識は、ステレオカメラ２で撮像した一対の画像を処理して自車周辺に存在する先行車や障害物等の物体までの距離を算出する距離情報の取得を基本としており、距離情報を取得するための２つの測距部を有している。すなわち、図２に示すように、ステレオ画像認識装置５は、互いに異なる処理で物体の三次元測距を並行して実施する第１測距部６と第２測距部７とを備え、更に、追跡処理部８、測距選択部９、認識処理部１０を備えている。

第１測距部６は、本発明における第１の距離情報算出手段に相当し、ステレオ処理に不都合のない条件下での通常の測距を行うものであり、ステレオカメラ２で撮像した左右一対の画像間のステレオマッチングを行って同一物体に対する視差を検出することで測距を行う。

また、第２測距部７は、本発明における第２の第１の距離情報算出手段に相当し、逆光等によりステレオ撮像した左右一対の画像間の感度バランスに狂いが生じ、第１測距部６で生成される距離画像の信頼性が低下した場合に対処するものである。以下に説明するように、第２測距部７は、輝度バランスのズレの影響を回避したステレオマッチングを行うことにより、視差を検出する。

第１測距部６による測距と第２測距部７による測距は、本発明における選択手段に相当する追跡処理部８及び測距選択部９により選択的に切換えられて認識処理部１０に入力され、逆光時のような環境条件の悪化に対しても継続的な測距を可能として、環境条件の変化による認識信頼性の低下を防止することができる。

第１測距部６におけるステレオマッチングは、例えば、周知の領域探索法を用いて左右画像間の相関を評価する。すなわち、ステレオカメラ２の一方の画像を基準画像、他方の画像を比較画像として、基準画像内の或る１つの点の周囲に小領域（ブロック）を設定し、比較画像内の或る点の周囲に同じ大きさの小領域を設け、比較画像上でブロックをずらしながら互いのブロックの相関演算を行うことで、対応点を探索する。

この相関演算における評価関数としては、基準画像のブロックと比較画像のブロックとの間のピクセル値（一般的に、各画素の輝度値）の差分（絶対値）の総和（ＳＡＤ；Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる。ＳＡＤによる評価関数の値は、シティブロック距離と称されるものであり、ブロック間の相関が高い程（類似している程）、シティブロック距離の値が小さくなり、シティブロック距離が最小値を取るブロック間の水平方向のシフト量により、視差が与えられる。

シティブロック距離ＣＢは、画像平面上の位置を、水平方向をｉ座標、垂直方向をｊ座標とする直交座標で定義し、互いの相関度を探索するブロックを、ｉ×ｊ（ｉ＝０〜ｎ，ｊ＝０〜ｎ）の探索ブロックとするとき、以下の（１）式に示すように、基準画像の探索ブロックｍａｉｎ(i,j)と比較画像の探索ブロックｓｕｂ(i,j)とのＳＡＤ値を、ｉ軸上を所定のシフト値ずつずらしながら演算することにより得られる。
ＣＢ＝Σ│ｍａｉｎ(i,j)−ｓｕｂ(i,j)│…(1)
尚、探索ブロック（小領域）間のステレオマッチングについての詳細は、本出願人の特許第３１６７７５２号に詳述されている。

以上のＳＡＤ演算では、例えば４×４画素の探索ブロックを対象として、基準画像の探索ブロック（以下、「メインブロック」と記載する）に対して比較画像の探索ブロック（以下、「サブブロック」と記載する）の位置を水平線上を１画素ずつずらしながらＳＡＤ演算を行うと、シティブロック距離が最小値Ｃ0となる点がメインブロックとサブブロックとの相関度が最も高い対応位置（一致点）として求められる。

この一致点におけるメインブロックとサブブロックとの１画素単位のズレ量（水平方向のメインブロックの位置ｉｍとサブブロックの位置ｉｓとの差）が視差として与えられる。この視差すなわちズレ量は、画像座標系の対応する位置の輝度値に置き換えられて画像形態の距離画像として生成され、距離画像が有する距離情報を用いて実空間での距離を得ることができる。

この場合、画像小領域の中には、目的対象とする先行車以外の部分（背景の電柱や木、手前の白線等）も含まれているため、先行車とは異なる誤った視差が入る可能性がある。従って、各画像小領域に対する視差データを大きい順に並べ、所定比率（例えば、２５％）より大きい側のデータと小さい側のデータは特異点として除外する。そして、残ったデータ（中央の５０％）について平均値を算出し、これを先行車の視差とする。

一方、第２測距部７におけるステレオマッチングは、第１測距部６でステレオ画像処理が正常になされているときの撮像元画像をテンプレート画像として記憶しておき、このテンプレート画像から撮像画像に対してマッチング領域を設定し、このマッチング領域の隣り合う画素の輝度の差分を用いてステレオマッチングを行う。

例えば、ステレオカメラ２の撮像面に太陽光が入射して逆光となった場合、左画像・右画像の輝度値を模式的に表すと、図３に示すような分布となる。図３におけるグラフの横軸は横方向の座標、縦軸は画像上の横線を引いた位置における輝度値であり、図３（ａ）に示す左画像と図３（ｂ）に示す右画像とでは、太陽光の入射等により左右の感度バランスが大きく崩れ、左右の輝度オフセットが生じている。このため、輝度のＳＡＤ演算によりステレオ処理を実施しても、正常にマッチングすることは困難である。

しかしながら、左右の輝度にオフセットが有るものの、輝度の変動する様子には共通性があり、隣り合う画素の輝度の差分（ある画素の輝度値−その右の画素の輝度値）をグラフ化すると、図４に示すようになり、図４（ａ）に示す左画像の輝度差分と図４（ｂ）に示す右画像の輝度差分は、同様に変化していることがわかる。従って、左右それぞれの画像について輝度差分をとり、この輝度差分に対して、前述のＳＡＤ値を算出すれば、ステレオ撮像した画像間に輝度オフセットが生じても、必要な精度を確保しながら視差を検出することができる。

第１測距部６による測距と第２の測距部７による測距との切換えは、追跡処理部８において、注目物体の追跡（先行車の追跡）におけるロストの有無によって判断される。ロストがない状態では、より精度の高い第１測距部６で算出された距離情報が測距選択部９によって選択され、認識処理部１０に入力される。一方、ロストが発生したと判断されると、第２測距部７で算出された距離情報が測距選択部９によって選択され、認識処理部１０に入力される。

追跡処理部８における先行車の追跡処理は、第１測距部６によるステレオ画像処理が正常に実行されているときに距離画像によって認識した先行車に対応する右又は左のカメラ画像を切り出し、先行車のテンプレート画像として毎フレーム毎に記憶・保持する。そして、逆光等による左右画像間の輝度バランスが崩れたときに、テンプレート画像を用いて左右画像内を検索することで先行車に対応する画像上の位置を特定し、第２測距部７による輝度差分のステレオマッチングを行う。

尚、先行車のテンプレート画像は、縮小画像として記憶・保持することで、メモリ容量及び演算負荷を低減し、処理の高速化を図ることができる。

検索の手法としては、従来から知られている様々な手法、例えば、残差逐次検定法や相互相関係数による方法（「画像解析ハンドブック」：東京大学出版会、監修 高木幹雄・下田陽久、１９９１年参照）を採用することができる。以下に、これらの手法による検索の概要を説明する。

Ａ．残差逐次検定法
先行車画像をテンプレート画像とし、検索する画像内を上下にスキャンする。テンプレート画像と検索画像のＳＡＤ値を、以下の（２）式により算出し、ＳＡＤの最小値を得た検索画像内の位置に今回の先行車が存在すると判定する。尚、以下の式中におけるΣｊは、ｊ＝０〜Ｎj-1についての総和を取ることを表し、Σiは、ｉ＝０〜Ｎi-1についての総和を取ることを表すものとする。
Ｒ(a,b)＝ ΣjΣi｜Ｉ(a,b)(i,j)−Ｔ(i,j)｜…(2)
但し、 ａ：検索画像内の横方向座標
ｂ：検索画像内縦方向座標
Ｒ(a,b)：座標（ａ，ｂ）におけるＳＡＤ値
Ｎj：検索範囲の広さ（縦方向画素数）
Ｎi：検索範囲の広さ（横方向画素数）
ｊ：テンプレート画像内縦方向座標（縦方向画素数）
ｉ：テンプレート画像内横方向座標（横方向画素数）
Ｉ(a,b)(i,j)：座標（ａ＋ｉ，ｂ＋ｊ）における検索画像の輝度値
Ｔ(i,j)：座標（ｉ，ｊ）におけるテンプレート画像の輝度値
この残差逐次検定法では、ＳＡＤの加算の途中で加算値が有る閾値を超えたら画像の重ね合わせがずれていると判断して加算を中断し、次の座標（ａ，ｂ）に移る。これにより処理時間を短縮することができる。

Ｂ．相互相関係数による方法
残差逐次検定法と同様に検索範囲内をスキャンするが、ＳＡＤ値の代わりに相互相関係数を用い、その最大値を取る位置に今回の先行車が存在すると判定する。相互相関係数は、以下の（３）式により算出する。
Ｃ(a,b)＝ΣjΣi｛Ｉ(a,b)(i,j)−Ｉave｝｛Ｔ(i,j)−Ｔave｝／√(Ｉσ・Ｔσ）…(3)
但し、 Ｃ(a,b)：座標（ａ，ｂ）における相互相関係数
Ｉave：検索画像の該当範囲内の輝度平均値
Ｔave：テンプレート画像の輝度平均値
Ｉσ：検索画像の該当範囲内の輝度分散値
Ｔσ：テンプレート画像の輝度分散値
尚、元画像上で先行車の画像を追跡する場合、時間とともに輝度オフセットが変化する問題があるが、前述したと同様の輝度差分を算出し、輝度差分に対して残差逐次検定法や相関係数による方法を行うことにより、追跡を有効的に行うことができる。

以上の残差逐次検定法或いは相互相関係数による方法であっても、処理がうまくいかずに先行車でない画像を先行車と誤判定する可能性がある。従って、このような場合にも確実に追跡の破綻を検出するため、以下の（ａ）或いは（ｂ）に説明する手法により、追跡破綻を判定する。

（ａ）残差逐次検定法における追跡破綻の判定
前述の（２）式により、先行車位置及びその周辺でのＳＡＤ値Ｒ(a,b)を算出し、ＳＡＤの谷の深さが閾値より浅ければ追跡が破綻したと判定する。ＳＡＤの谷の深さは、以下の（４）式に示すように、ＳＡＤ平均値ＲaveとＳＡＤ値Ｒ(a,b)との差分のＳＡＤ平均値Ｒaveに対する比率として計算される信頼性パラメータＳＡＤ_reliabilityで評価する。
ＳＡＤ_reliability＝｛Ｒave−Ｒ(a,b)｝／Ｒave…(4)
但し、Ｒave：座標（ａ，ｂ）の画素を取り囲む周辺画素のＳＡＤ値の平均値
ＳＡＤ平均値Ｒaveは、例えば、上下左右の４画素を使用する場合、以下の（５）式、或いは（６）式によって算出することができる。
Ｒave＝Ｒ(a-1,b)＋Ｒ(a,b-1)＋Ｒ(a+1,b)＋Ｒ(a,b+1)＋Ｒ(a,b)…(5)
Ｒave＝Ｒ(a-1,b)＋Ｒ(a,b-1)＋Ｒ(a+1,b)＋Ｒ(a,b+1)…(6)
信頼性パラメータＳＡＤ_reliabilityは、０〜１の範囲の値を取り、大きいほど信頼性が高いと判断される。すなわち、テンプレート画像と検索画像とのマッチングが正常に行われた場合には、図５（ａ）に示すように、ＳＡＤ値Ｒ(a,b)に極小点が出現し、平均値Ｒaveに対する差分の比率が大きくなるが、先行車と自車との間に他の車両が割込んだ場合等には、図５（ｂ）に示すように、ＳＡＤ値Ｒ(a,b)の変化が小さくなり、平均値Ｒaveに対する差分の比率が小さくなる。従って、例えば閾値を０．４としたとき、ＳＡＤ_reliability≦０．４では、追跡破綻と判定する。

（ｂ）相互相関係数による方法における追跡破綻の判定
前述の（３）式により先行車位置及びその周辺での相互相関係数を算出し、相互相関係数の山の高さが低ければ、追跡が破綻したと判定する。

また、以上の処理におけるテンプレート画像（先行車画像）は、左右の元画像のうちの一方を選定するわけであるが、左右何れの画像が適しているかは、ＳＡＤの有効性を示す（４）式の信頼性パラメータＳＡＤ_reliabilityを用いて判定し、この値が大きい方の画像（左右いずれか）を先行車画像として選定する。例えば、左画像から検索した先行車範囲の信頼性パラメータＳＡＤ_reliabilityが０．３で、右画像から検索した先行車範囲の信頼性パラメータＳＡＤ_reliabilityが０．７の場合、信頼性パラメータＳＡＤ_reliabilityの計算値が右画像の方が大きいため、右画像を以後の処理でメイン画像として使用する。

更に、選択した先行車画像の範囲は、正確に先行車を切り出さずに上下左右にずれる場合がある。上下にずれても大きな問題は生じないが、左右にずれて先行車の輪郭が含まれないと、以降で行う視差の算出で使用するエッジの強度が弱まり、距離精度が低下してしまう。そこで自動車の左右対称性を利用し、先行車位置を修正する。

すなわち、図６に示すように、メイン画像における先行車の輪郭の左端が欠けていた場合、位置修正前のメイン画像から右半分を抽出し、これを左右反転する。そして、前述の残差逐次検定法により、左右反転した画像をメイン画像上で検索し、マッチングする位置を特定する。次に、マッチング位置の信頼性を、前述の信頼性パラメータＳＡＤ_reliabilityにより評価し、信頼性パラメータＳＡＤ_reliabilityの値が閾値を超えていた場合には、左右反転画像によるマッチングが成功したと判断し、先行車画像を修正する。

先行車画像の修正に際しては、図７に示すように、右半分、左半分の中心位置に合わせ、中心を移動することで、画像の幅は変えないようにしつつ、左半分・右半分の中心に修正後の先行車画像の中心が一致するように、先行車画像を修正する。図７においては、白抜きの枠が修正前の領域を示し、黒枠が修正後の領域を示している。

これにより、図８に示すように、先行車の左端が含まれていなかった修正前の先行車画像が先行車全体の輪郭を表す先行車画像に修正され、以降は、この先行車画像をテンプレート画像として用い、ステレオ撮像した左右画像内を検索して先行車に対応する画像上の位置を特定し、輝度差分によるステレオマッチングを行う。

ここで、第２測距部７におけるテンプレート画像を用いた先行車領域のマッチングと、第１測距部６における通常の小領域によるステレオマッチングとを比較すると、テンプレート画像を用いたステレオマッチングは、目的対象のマッチングに使用するデータ数が多くなるため、ミスマッチングの可能性が低く、輝度バランスの崩れたステレオ画像に対しても有効に視差を検出することができるが、得られる視差データが限られるため、統計処理が困難であり、通常の小領域によるステレオマッチングに比較すると、高精度は期待できない。

一方、通常の小領域によるステレオマッチングは、データ数が小領域の数だけ得られるので統計処理による精度の向上を図ることができ、統計処理による特異点除去によりミスマッチングを除外することができるが、精度を上げるためには小領域の大きさ／数を増やす必要があり、増やし過ぎると処理時間が長くなる。

以上の第１測距部６或いは第２測距部７からの距離画像データは、測距選択部９を介して選択的に認識処理部１０に送られる。認識処理部１０は、距離画像内から同一距離データの密集箇所を抽出することにより、先行車を認識する。この先行車認識においては、距離画像データを用いて先行車までの距離を算出し、距離のフレーム間差分を取ることにより先行車の速度を算出するとともに、先行車の追跡処理におけるロスト判定結果をロスト判定フラグとして中央制御装置２０に出力される。

中央制御装置２０は、認識処理部１０からのデータに基づき、エンジン制御装置２１やブレーキ制御装置２２を介してスロットル・ブレーキを動作させ、車間距離を目標値に保つ。また、距離・速度データから先行車への追突の危険が有る場合は、警報装置２３を介して車間距離警報を発する。

次に、以上の処理を適用した先行車追従制御システムにおける先行車追従制御について、図９〜図１２のフローチャートを用いて説明する。この先行車追従制御は、ステレオ画像認識装置５における図９〜図１１の先行車認識及び追跡処理と、中央制御装置２０における図１２の先行車追従制御処理とによって実現される。

［先行車認識処理］
先ず、ステレオ画像認識装置５側の処理として、図９に示す画像処理シーケンスについて説明する。この画像処理シーケンスでは、最初のステップＳ１において、ステレオカメラ２で自車前方を撮像し、左右の画像データを取得する。次いで、ステップＳ２へ進み、第１測距部６による通常のステレオ処理を第１ステレオ処理として実行し、距離画像データを生成する。続くステップＳ３では、第１ステレオ処理で生成した距離画像の認識処理を行い、実空間座標での物体データを検出し、ステップＳ４で、追跡データフラグが「挿入中」を示しているか否かを調べる。

追跡データフラグは、並行して実施される先行車追跡処理で生成される物体の追跡データを、第１ステレオ処理で得られた物体データに追加中であることを示す「挿入中」と、第１ステレオ処理で正常に先行車を捕捉しており、追跡データが必要としないことを示す「挿入中止」との何れかに設定されるものである。

ステレオカメラ２で撮像した画像に逆光等による輝度バランスの狂いが生じていない場合や、先行車と自車との間に他の割込み車両がなく、先行車を順調に捕捉できている場合には、追跡データフラグは「挿入中止」に設定されており、ステップＳ４からステップＳ５へ進んでロスト発生を示すフラグを参照する。このロスト発生を示すフラグは、図１１に示すロスト判定処理によって設定されるものであり、ロスト判定処理については後述する。

ステップＳ５におけるフラグ参照の結果、ロストが発生していない場合には、ステップＳ５からステップＳ８へ進んで追跡データフラグを「挿入中止」に設定し、ステップＳ１０で物体データから先行車を選択して処理を抜ける。ロストが発生していない状態では、第１ステレオ処理で取得した物体データから、自車線上の最近距離に存在する物体を先行車として選択することになる。

一方、ステップＳ５におけるフラグ参照の結果、ロストが発生している場合には、ステップＳ５からステップＳ６へ進んで追跡データフラグを「挿入中」に設定し、ステップＳ７で物体へのデータ追加を中止するか否かを判断する。物体データ追加中止と判断する条件は、通常は以下の（１）に示す先行車を再捕捉した場合であるが、その他、以下に説明する（２）〜（４）の条件下においても、物体データ追加中止と判断する。

（１）先行車の再捕捉による物体データ追加中止
一旦ロストが発生した場合には、追跡処理で生成した物体のデータをフレーム毎に追加し続ける。しかし、次フレーム以降で第１ステレオ処理の距離画像による認識物体の中に追跡処理で生成した物体と同一物体と考えられる物体が有った場合には、第１ステレオ処理による距離画像認識が正常状態に復元したと判断し、物体データの追加を中止する。

同一物体の判定は、例えば、第１ステレオ処理の距離画像による認識物体と、追跡処理で生成した物体が同一物体である確率を、各々の距離及び左右方向位置から算出し、この確率が閾値を越えるものが有れば、同一物体が存在すると判定する。尚、この同一物体判定の詳細については、本出願人による特開２００４−０３７２３９号公報に詳述されている。

（２）追跡信頼性の低下による物体データ追加中止
追跡の信頼性を表す評価値を導入し、ロスト発生時に初期値として所定の値（例えば、１００点）を設定する。追跡の信頼性が低いと考えられる現象が生じる毎に、評価値を減算していき、０点に達したら追跡が破綻したものとみなして以後の物体データの追加を中止する。信頼性評価値の減算条件は、以下の（2-1）〜（2-6）に示す通りである。

（2-1）前述の（４）式で算出した信頼性パラメータＳＡＤ_reliabilityの値が閾値より小さいとき、信頼性評価値を減算する。

（2-2）前述の（３）式の相互相関係数による方法に従い、前回までの先行車画像と今回の先行車画像の相互相関係数を算出し、算出した相互相関係数が閾値以下となった場合、信頼性評価値を減算する。

（2-3）追跡処理で先行車と特定された位置が検索範囲の境界線上（検索範囲の上下左右の一番端）となった場合、正しくマッチングできていない可能性が高いと考え、信頼性を減算する。

（2-4）追跡処理で先行車とされた物体の画面内位置が処理フレーム毎に左右に動いている（位置が暴れている）場合、左右位置・上下位置の分散値を数フレームにわたって観測し、分散が閾値を越えたときに信頼性評価値を減算する。

（2-5）追跡処理で導出した追跡車までの距離算出結果が処理フレーム毎に大きく変動している（距離が暴れている）場合、距離の分散値を数フレームにわたって観測し、分散が閾値を越えたときに信頼性評価値を減算する。

（2-6）追跡処理で先行車と特定された位置に、距離画像認識による距離データが生じており、且つ、その距離が距離の再算出結果と大きく異なり、同一位置で異なる距離を生じた距離データの個数が閾値より多い場合、追跡処理と距離画像が矛盾していると判断し、信頼性評価値を減算する。

（３）夜間走行による物体データ追加中止
逆光によるロストの場合は距離画像が乱れていても単眼画像の追跡処理が有効な場合が多いが、夜間は様々な周囲の灯火の光により単眼画像による追跡処理が困難となる。夜間に追跡処理の破綻による誤制動等の問題の発生を防止するため、夜間には追跡機能を停止し、物体データの追加を中止する。夜間であることの検出は、例えば、露光時間に対する画面内平均輝度の関係を活用して実施する。すなわち、露光時間を長くして画面内平均輝度を計測し、平均輝度が閾値以下であれば、夜間と判定する。

（４）追加物体の非選択による物体データ追加中止
後述するように、追跡処理で生成される物体の追跡データは、第１ステレオ処理で検出した物体データに追加され、これらのデータを合わせた中から先行車が抽出・選択される。この追跡処理による追跡物体が先行車に選択されなかった場合、追跡物体は車線外に出たか、または、より近傍に距離画像認識による物体が存在すると判断し、追跡処理による物体の追加は、次のフレーム以降は中止とする。

以上により、ステップＳ７で物体データの追加中止と判断した場合、前述のステップＳ８で追跡データフラグを「挿入中止」に設定し、ステップＳ１０で物体データから先行車を選択して今回の処理を抜ける。一方、ステップＳ７で物体データの追加を中止しないと判断した場合には、ステップＳ７からステップＳ９へ進んで第１ステレオ処理で検出した物体データに追跡データを追加し、ステップＳ１０で物体データから先行車を選択して処理を抜ける。この場合には、第１ステレオ処理で生成された距離画像認識による検出物体と、追跡処理による追跡物体とを合わせた中から、自車線上の最近距離に存在する物体を先行車として選択することになる。

その後、ロスト状態が継続している状態から先行車を再捕捉（或いは追跡信頼性が低下）すると、ステップＳ４の追跡データフラグ参照で「挿入中」となってステップＳ７へ進み、ステップ７で物体データの追加中止と判断される。そして、ステップＳ８で追跡データフラグが「挿入中止」に設定され、ステップＳ１０で第１ステレオ処理の物体データによる先行車選択へ復帰する。

以上の画像処理と並行して、図１０に示す先行車追跡処理、図１１に示すロスト判定処理が実行される。尚、前述したように、本形態においては、夜間時、先行車追跡処理は停止される。

［先行車追跡処理］
図１０の先行車追跡処理では、最初のステップＳ１１において、ステレオカメラ２で撮像した左右の元画像データを取得し、テンプレート画像（先行車画像）として適している方の画像を選定して記憶・保存する。画像の選定は、前述したように、（４）式の信頼性パラメータＳＡＤ_reliabilityを用いて判定する。

次に、ステップＳ１２へ進み、前回、先行車が有ったか否か（認識されていたか否か）を調べる。その結果、先行車が有った場合には、ステップＳ１３で先行車追跡処理を行う。この先行車追跡処理においては、保存した元画像から先行車に対応する位置を切出し、必要に応じてマッチングの信頼性を評価しながら先行車位置の修正を行うが、計算処理の時間を短縮するために、追跡を行う画像データの間引き処理を行い、間引いてデータ数の少なくなった画像に対して追跡処理を行う。この場合、先行車が近づいたり遠ざかったりすることにより画像上の先行車の大きさが変化するが、大きさが変化しても追跡処理を可能とするため、間引きを行うときの間引き率を調整し、テンプレート画像と先行車の画面上の画素数を概ね一致させる。

その後、ステップＳ１４へ進み、先行車のテンプレート画像を用い、ステップＳ１１で取得した左右画像に対して第２測距部７によるステレオ処理を第２ステレオ処理として実施し、距離画像を生成して追跡物体を検出して今回の処理を抜ける。第２ステレオ処理は、前述したように、先行車画像に対応する画像上の位置を残差逐次検定法をにより検索し、先行車領域に対して輝度差分によるステレオマッチングを行う処理であり、逆光によるロスト発生時にも、有効に先行車を追跡することができる。

一方、ステップＳ１２において、前回、先行車が無かった場合には、ステップＳ１２からステップＳ１５へ進み、追跡データフラグを「挿入中止」に設定して今回の処理を抜ける。この「挿入中止」のフラグ設定により、前述の図９の先行車認識処理において、第１ステレオ処理による通常の先行車検出が実施される。

尚、第２ステレオ処理で生成した距離画像は、その認識信頼性が評価され、認識信頼性が高ければ、追跡に使用するテンプレート画像を更新し、認識信頼性が低ければ、テンプレート画像に従来のデータを保持したままとする。距離画像認識の信頼性の低下は、例えば、認識物体の幅により評価する。

［ロスト判定処理］
次に、図１１のロスト判定処理について説明する。このロスト判定処理では、先ず、ステップＳ２１において、ロスト発生を調べるためのフラグを０に初期設定する。このフラグ＝０の設定は、ロスト発生を意味している。次いで、ステップＳ２２で、物体の個数をカウントするカウンタｋを０に初期設定し、ステップＳ２３へ進む。

ステップＳ２３では、今回検出した物体の位置Ｘobj[k]が前回の先行車位置Ｘtargetに対して横方向で設定値ΔＸの範囲内にあり（Ｘtarget−ΔＸ＜Ｘobj[k]＜Ｘtarget＋ΔＸ）、且つ距離方向で設定値ΔＺの範囲内にある（Ｘtarget−ΔＸ＜Ｘobj[k]＜Ｘtarget＋ΔＸ）条件が成立するか否かを調べる。

そして、ステップＳ２３において、上述の条件が成立せず、前回の先行車近傍に物体が検出されない場合は、ロストとしてステップＳ２５へジャンプし、ステップＳ２５でカウンタｋをインクリメントする。一方、上述の条件が成立する場合、すなわち、前回の先行車位置に近い位置に、今回も物体が検出された場合には、ステップＳ２３からステップＳ２４へ進んでフラグを１に設定した後、ステップＳ２５でカウンタｋをインクリメントする。

ステップＳ２５に続くステップＳ２６では、カウンタｋが、判定対象とする物体の個数に達したか否かを調べる。そして、ｋ＜物体個数の場合には、ステップＳ２６からステップＳ２３へ戻って次の対象物体についての位置関係を調べ、ｋ≧物体個数の場合、ステップＳ２６からステップＳ２７へ進んでフラグを参照し、フラグが１か否かを調べる。

その結果、フラグが１である場合には、ステップＳ２８で前回の先行車が存在すると判定して今回の処理を抜け、フラグが０の場合、ステップＳ２９で、前回の先行車が消滅（ロスト）したと判定して今回の処理を抜ける。

［先行車追従制御処理］
以上のロストが発生した場合、中央制御装置２０から警報装置２３を介して認識性能低下の警報が出力され、運転者に対して注意を喚起するが、先行車追従制御は継続し、前触れなく追従走行が切れて運転者の対処が遅れることが防止される。また、通常の距離画像認識（第１ステレオ処理による認識）で再度先行車を認識したことを判定した場合にも、認識性能復元の通知をドライバーに対して出力しつつ制御を継続する。次に、図１２の先行車追従制御処理について説明する。

この先行車追従制御処理では、最初のステップＳ３１において、画像認識によって検出された先行車が有るか否かを調べる。そして、先行車が無い場合には、本処理を終了し、先行車が有る場合、ステップＳ３２へ進み、ステレオ画像認識装置５において第１ステレオ処理による通常の距離画像認識が行われているか、ロスト発生による追跡処理が行われているかを調べる。

その結果、通常の距離画像認識がなされている場合には、ステップＳ３３〜Ｓ３５による制御処理を実行し、追跡処理が行われている場合、ステップＳ３６〜Ｓ３９の制御処理を実行する。

通常の距離画像認識が行われている場合のステップＳ３３〜Ｓ３５について説明する。ステップＳ３３では、距離画像認識による先行車の距離・速度データを読込むと、距離データをフィルタ処理し、追従走行で用いる距離データのバラツキを平滑化する。

この場合、通常の距離画像認識時のフィルタリングと追跡処理時の距離データのフィルタリングとは、それぞれのフィルタリング特性を変え、通常の距離画像認識時の距離データのバラツキと、追跡処理時の距離データのバラツキとの差を吸収する。例えば、通常の距離画像認識時には、５回の移動平均を用いて距離データをフィルタリングし、追跡処理時には、１０回の移動平均を用いて距離データをフィルタリングする。

次に、ステップＳ３４では、先行車の距離・速度データから自車の目標減速度とスロットル開度を計算し、ステップＳ３５で、目標減速度、スロットル開度に、それぞれリミッタをかけ、ブレーキ制御装置２２，エンジン制御装置２１に制御指令を出力する。これらのリミッタは、認識性能低下時に対処するためのものであり、目標減速度にリミッタをかけて目標減速の最大値を制限し、緩ブレーキとすることにより、誤認識によるブレーキ不時作動の影響を小さくし、また、スロットル開度に対してリミッタをかけることにより、加速度の最大値を制限して誤認識による加速の影響を小さくする。

この場合においても、通常の距離画像認識時と追跡処理時とは、認識性能の差に応じて、それぞれのリミッタ特性を変え、例えば、通常の距離画像認識時には、目標減速度を０．２ＧＭＡＸとし、追跡処理時には、目標減速度を０．１ＧＭＡＸとする。

次に、ステップＳ３６〜Ｓ３９の追跡処理について説明する。ステップＳ３６では、追跡処理で得られた先行車の距離・速度データを読込み、距離データをフィルタ処理し、追従走行で用いる距離データのバラツキを平滑化する（例えば、１０回の移動平均によるフィルタリング）。

続くステップＳ３７では、先行車の距離・速度データから自車の目標減速度とスロットル開度を計算し、ステップＳ３８で、目標減速度、スロットル開度に、それぞれ、追跡処理用のリミッタをかける。前述したように、追跡処理時には、認識性能が相対的に低くなるため、通常の距離画像認識時よりもリミッタの効果を強くし、例えば、目標減速度のリミッタを０．１ＧＭＡＸとする。

ステップＳ３８で目標減速度、スロットル開度にリミッタをかけ、ブレーキ制御装置２２，エンジン制御装置２１に制御指令を出力した後は、ステップＳ３９で追跡制御の制御中止を判断する。この制御中止の判断は、例えば、運転者に対して警報を発していても或時間が経過すると忘れる可能性を考慮し、認識性能低下が一定時間継続した場合、制御中止と判断して制御を打ち切る。但し、減速をかけている最中は、減速度が閾値より小さいときのみ制御を打ち切る。

以上のように、本実施の形態においては、ステレオカメラ２で撮像した一対の左右画像の感度バランスが崩れ、通常のステレオ処理が困難な状況となって物体をロストしても、左右画像の一方とテンプレート画像とから物体の追跡を行い、その追跡結果に基づくステレオ処理に切換えるため、継続的に距離情報を取得することができ、車両制御に適用した場合にも、制御性を向上するとともに信頼性を向上することができる。

しかも、通常のステレオ処理で物体検出ができていたときに物体の画像を保持しておき、これを元画像上で追跡するので演算負荷が小さく、誤追跡を回避して信頼性の高いシステムを構築することができる。

先行車追従制御システムの構成図 物体検出装置のブロック図 逆光時の左右画像の輝度分布を模式的に示す説明図 輝度差分後の左右画像の輝度分布を模式的に示す説明図 追跡破綻判定の説明図 先行車位置修正における左右反転の概念を示す説明図 先行車位置の修正を示す説明図 先行車位置の修正結果を示す説明図 先行車認識処理のフローチャート 先行車追跡処理のフローチャート ロスト判定処理のフローチャート 先行車追従制御処理のフローチャート

符号の説明

１ 車両
２ ステレオカメラ
５ ステレオ画像認識装置
６ 第１測距部
７ 第２測距部
８ 追跡処理部
９ 測距選択部
１０ 認識処理部

Claims (18)

1. 一対の画像を取得するステレオカメラと、
   上記一対の画像同士で輝度値が互いに対応する領域を探索して上記一対の画像に写しだされる物体の距離情報を演算する第１の距離情報演算手段と、
   上記一対の画像のそれぞれにおける所定の画素について隣接する画素との輝度差を算出するとともに、該輝度差が上記一対の画像同士で対応する領域を探索して上記物体の距離情報を演算する第２の距離情報演算手段と、
   上記第１の距離情報演算手段による上記物体をロストした際、上記第２の距離情報演算手段によって演算される距離情報を選択する選択手段と
   を備えることを特徴とする物体検出装置。
2. 上記第２の距離情報演算算手段は、
   上記一対の画像の何れかとテンプレート画像との所定領域における互いの相関を求め、該相関に基づいて同一物体を追跡した追跡処理で得られる領域で上記一対の画像同士の対応する領域を探索することを特徴とする請求項１記載の物体検出装置。
3. 上記テンプレート画像として、
   前回撮像した上記一対の画像との上記相関の大きい方の画像を選定することを特徴とする請求項２記載の物体検出装置。
4. 上記相関を、残差逐次検定法により求めることを特徴とする請求項２又は３記載の物体検出装置。
5. 上記相関を、相互相関係数により求めることを特徴とする請求項２又は３記載の物体検出装置。
6. 前回のフレーム処理で算出した物体の近傍の設定範囲内に、今回のフレーム処理で物体が検出されないとき、上記ロストが発生したと判断することを特徴とする請求項１記載の物体検出装置。
7. 上記相関に基づく評価パラメータを用いて上記追跡処理の信頼性を判断することを特徴とする請求項２記載の物体検出装置。
8. 上記追跡処理の領域を、上記物体の形状の対称性を利用して修正することを特徴とする請求項２記載の物体検出装置。
9. 上記物体の候補領域の一部を取り出して反転し、反転した画像を元の画像上でマッチングして上記対称性のある中心位置を特定することを特徴とする請求項８記載の物体検出装置。
10. 上記追跡処理の信頼性を、フレーム間の上記物体の位置の分散値によって判断することを特徴とする請求項２記載の物体検出装置。
11. 上記追跡処理の信頼性を、フレーム間の上記物体の上記距離情報の分散値によって判断することを特徴とする請求項２記載の物体検出装置。
12. 上記追跡処理の信頼性を、同一位置での上記距離情報における異なるデータの個数によって判断することを特徴とする請求項２記載の物体検出装置。
13. 上記追跡処理を、画像データを間引いた画像に対して行うことを特徴とする請求項２記載の物体検出装置。
14. 上記画像データの間引き率を調整し、上記テンプレート画像と上記物体の画面上の画素数を概ね一致させることを特徴とする請求項１３記載の物体検出装置。
15. 上記テンプレート画像を、上記距離情報の信頼性に応じて更新することを特徴とする請求項２記載の物体検出装置。
16. 上記距離情報の信頼性を、認識物体の幅によって評価することを特徴とする請求項２記載の物体検出装置。
17. 上記第１の距離情報演算手段によって演算される距離情報と、上記第２の距離情報演算手段によって演算される距離情報とに対して、互いに特性の異なるフィルタ処理を行い、データのバラツキの差を吸収することを特徴とする請求項１記載の物体検出装置。
18. 上記距離情報に基づいて車両の先行車追従制御を実行し、上記第１の距離情報演算手段によって演算される距離情報に基づく制御量と、上記第２の距離情報演算手段によって演算される距離情報に基づく制御量とに対して、認識性能の差に応じて特性の異なるリミッタをかけることを特徴とする請求項１記載の物体検出装置。

Images