JP2014106901A - 距離算出装置、衝突検出システム、距離算出方法、衝突検出方法、及びプログラム - Google Patents

Abstract

【課題】自車と障害物が衝突する可能性があるか否かを精度よく判定する。
【解決手段】画像に写る障害物の位置を示すフレームと、当該障害物についてのオプティカルフローの消失点との距離に基づいて、自車両に対する障害物の相対移動方向に直交する方向についての、自車両と障害物との距離を算出する（ステップＳ１０８，Ｓ１１０，Ｓ１１２，Ｓ１１３）。そして、自車両と障害物との距離と、撮影装置と自車両の側面までの距離とを比較することにより、自車両と障害物とが衝突するか否かを判定する（ステップＳ１１４）。
【選択図】図６

Description

本発明は、距離算出装置、衝突検出システム、距離算出方法、衝突検出方法、及びプログラムに関し、更に詳しくは、車両と障害物との距離を算出するための距離算出装置、距離算出方法及びプログラム、並びに車両と障害物との衝突を検出するための衝突検出システム及び衝突検出方法及びプログラムに関する。

近年、自車の進行方向を撮影するカメラからの画像を用いて、自車に接近する車両を検出する運転支援システムの実用化が進められている（例えば特許文献１乃至３参照）。

特許文献１に記載された装置は、ステレオカメラを用いて車両前方の障害物の検出を試みる。そして、障害物に衝突するまでの衝突予測時間と閾値との比較結果に基づいて、自車のスロットル及びブレーキを制御する。

特許文献２に記載された装置は、単眼カメラに写る障害物の大きさの変化から、衝突予測時間を算出する。そして、算出した衝突予測時間に応じて、ブレーキの制御を行う。

特許文献３に記載された装置は、画像に写る障害物のエッジの位置や大きさの変化に基づいて、自車の前方に位置する障害物を検出する。

特開２００９−２２０６３０号公報 特開２０１２−９８７７６号公報 特開２００６−６４６５３号公報

上述した装置を用いることで、自車の進行方向に位置する障害物が検出された場合に、車両の速度を減速させたり、衝突の危険性をドライバに報知することが可能となる。

しかしながら、ドライバにストレスを与えることなく運転を支援するためには、自車両の進行方向に位置する障害物を画一的に検出するだけではなく、障害物が自車に衝突する可能性を判定する必要がある。

本発明は、上述の事情の下になされたもので、自車と障害物が衝突する可能性があるか否かを精度よく判定することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る距離算出装置は、
車両の進行方向を順次撮影する撮影手段と、
前記撮影手段によって撮影された第１画像に写る障害物の特徴点を始点とし、前記第１画像が撮影された後に撮影された第２画像に写る障害物の特徴点を終点とする複数のオプティカルフローを算出するオプティカルフロー算出手段と、
前記車両に対して前記障害物が移動する第１方向に直交する第２方向についての、前記オプティカルフローの消失点と前記画像に写る障害物との第１距離に基づいて、前記車両と前記障害物との前記第２方向についての第２距離を算出する距離算出手段と、
を備える。

本発明の第２の観点に係る衝突検出システムは、
本発明の第１の観点に係る距離算出装置と、
前記距離算出装置によって算出された第２距離に基づいて、前記車両と前記障害物とが衝突するか否かを判定する判定手段と、
を備える。

本発明の第３の観点に係る距離算出方法は、
車両の進行方向を順次撮影する工程と、
撮影された第１画像に写る障害物の特徴点を始点とし、前記第１画像が撮影された後に撮影された第２画像に写る障害物の特徴点を終点とする複数のオプティカルフローを算出する工程と、
前記車両に対して前記障害物が移動する第１方向に直交する第２方向についての、前記オプティカルフローの消失点と前記画像に写る障害物との第１距離を求める工程と、
前記車両と前記障害物との前記第２方向についての第２距離を算出する工程と、
を含む。

本発明の第４の観点に係る衝突検出方法は、
本発明の第３の観点に係る距離算出方法によって算出された第２距離に基づいて、前記車両と前記障害物とが衝突するか否かを判定する工程を含む。

本発明の第５の観点に係るプログラムは、
コンピュータに、
車両の前方を撮影することにより得られた第１画像に写る障害物の特徴点を始点とし、前記第１画像が撮影された後に、前記車両の前方を撮影することにより得られた第２画像に写る障害物の特徴点を終点とする複数のオプティカルフローを算出する手順と、
前記車両に対して前記障害物が移動する第１方向に直交する第２方向についての、前記オプティカルフローの消失点と前記画像に写る障害物との第１距離を求める手順と、
前記車両と前記障害物との前記第２方向についての第２距離を算出する手順と、
を実行させる。

本発明によれば、車両に対して障害物が移動する第１方向に直交する第２方向についての、車両と障害物との距離を算出することができる。このため、自車両と障害物が衝突するか否かを精度よく判定することが可能となる。

本実施形態に係る衝突判定システムのブロック図である。 撮影装置の取り付け位置を説明するための図である。 自車両と、自車両に接近する接近車両との相対的な位置関係を示す図である。 撮影装置によって撮影された画像を示す図である。 撮影装置によって撮影された画像を示す図である。 判定装置の動作を説明するためのフローチャートである。 オプティカルフローを示す図である。 衝突予測時間の算出手順を説明するための図である。 自車両と接近車両との相対的な位置関係を示す図である。 オプティカルフローを示す図である。 衝突予測時間の算出手順を説明するための図である。 画像に規定されたフレームを示す図である。 ガードレールについてのオプティカルフローを示す図である。 オプティカルフロー、及びガードレールの移動軌跡を示すベクトルの位置関係を示す図である。 消失点から路面境界までの距離と、路面に対する撮影装置の高さと、消失点からフレームまでの距離と、障害物までの距離との関係を示す図である。 フレームの幅と、消失点からフレームまでの距離との関係を示す図である。 自車両と、自車両の接近する接近車両との相対的な位置関係を示す図である。 自車両と、自車両の接近する接近車両と、フレームとの位置関係を示す図である。 変形例に係る判定装置のブロック図である。

以下、本発明の一実施形態を、図面を参照しつつ説明する。図１は本実施形態に係る衝突判定システム１０の構成を示すブロック図である。衝突判定システム１０は、自車に接近し衝突する可能性がある物体を検出するためのシステムである。この衝突判定システム１０は、図１に示されるように、撮影装置２０、判定装置３０、及び警報装置４０を有している。

撮影装置２０は、被写体を所定のフレームレートで撮影するＣＣＤカメラである。そして、撮影により取得した画像を電気信号に変換し、画像情報として出力する。撮影装置２０は、例えば図２に示されるように、車両１００のフロントウインド上部に取り付けられている。

図３は、車両１００と、当該車両１００の前方を走行する車両１０１との相対的な位置関係を示す図である。例えば、車両１００の前方を走行する車両１０１が、車両１００に相対的に接近している場合を考える。図３を参照するとわかるように、矢印ａ１に示される位置にある車両１０１は、所定の時間が経過すると矢印ａ２に示される位置に相対的に移動する。この場合には、撮影装置２０によって、まず矢印ａ１に示される位置にある車両１０１が撮影され、次に矢印ａ２に示される位置にある車両１０１が撮影される。

図４は、図３における矢印ａ１に示される位置にある車両１０１を撮影することにより得られた画像ＰＨ１を示す図である。また、図５は、図３における矢印ａ２に示される位置にある車両１０１を撮影することにより得られた画像ＰＨ２を示す図である。図４及び図５を参照するとわかるように車両１００に車両１０１が相対的に接近する場合には、画像に写る車両１０１は、フレーム毎に大きくなる。

本実施形態では、上述の画像ＰＨ１，ＰＨ２などの画像について、ｘｙ座標系を定義する。このｘｙ座標系は、撮影装置２０の光学中心に対応する点（撮影装置２０の光軸とその画像面との交点である画像中心）を原点Ｘｃ（ＦＯＥ：Focus of Expansion）とする。このｘｙ座標系の原点Ｘｃは、画像ＰＨ１，ＰＨ２の中心と一致している。

図１に戻り、判定装置３０は、ＣＰＵ（Central Processing Unit）３１、主記憶部３２、補助記憶部３３、表示部３４、及びインタフェース部３５を有するコンピュータである。

ＣＰＵ３１は、補助記憶部３３に記憶されているプログラムに従って、車両１００へ衝突する可能性のある車両や、ガードレールなどの障害物を検出する。具体的な処理の内容については後述する。

主記憶部３２は、ＲＡＭ（Random Access Memory）等を有している。主記憶部３２は、ＣＰＵ３１の作業領域として用いられる。

補助記憶部３３は、例えばＲＯＭ（Read Only Memory）、半導体メモリ等の不揮発性メモリを有している。補助記憶部３３は、ＣＰＵ３１が実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置２０から出力される画像情報、及びＣＰＵ３１による処理結果などを含む情報を順次記憶する。

表示部３４は、ＬＣＤ（Liquid Crystal Display）などの表示ユニットを有している。表示部３４は、ＣＰＵ３１の処理結果などを表示する。

インタフェース部３５は、シリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースなどを含んで構成されている。撮影装置２０及び警報装置４０は、インタフェース部３５を介してシステムバス３６に接続される。

警報装置４０は、判定装置３０から出力される警報発令指示を受信すると、車両１００のドライバに対して、例えば音声による警報を出力する。

図６のフローチャートは、ＣＰＵ３１によって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図６を参照しつつ、衝突判定システム１０の動作について説明する。図６に示される一連の処理は、車両１００のドライバによってイグニッションスイッチがオンにされることによって実行される。

最初のステップＳ１０１では、ＣＰＵ３１の衝突判定システム１０の起動直後の初期化処理として、不図示のタイマ、フラグ、パラメータ、変数等の初期化を行う。

次のステップＳ１０２では、最も新しい１組の画像ＰＨから、オプティカルフローを算出する。

具体的には、ＣＰＵ３１は、画像ＰＨ１，画像ＰＨ２を構成する画素についての特徴量を算出する。例えば、図４に示される画像ＰＨ１を構成する画素Ｍ（ｘ、ｙ）それぞれの特徴量ｆ（ｘ、ｙ）は、画像の輝度勾配を示す関数Ｉ（ｘ、ｙ）を用いると次式（１）によって表される。

ただし、Ｉｘｘ、Ｉｙｙ、Ｉｘｙはそれぞれ次式（２）〜（４）によってそれぞれ表される。また、ｋは定数である。

ＣＰＵ３１は、まず、式（１）を用いて画像ＰＨ１を構成する画素Ｍ（ｘ、ｙ）についての特徴量ｆ（ｘ、ｙ）を算出する。そして、ＣＰＵ３１は、画素Ｍ（ｘ、ｙ）の周囲にある画素の輝度の平均値ＡＶＧ（ｘ、ｙ）を算出し、特徴量ｆ（ｘ、ｙ）を、輝度の平均値ＡＶＧ（ｘ、ｙ）を４乗したもので除する。ＣＰＵ３１は、これにより得られた比較値Ｖ（＝ｆ（ｘ、ｙ）／ＡＶＧ（ｘ、ｙ）^４）を、予め設定された閾値と比較して、比較値Ｖが閾値以上の場合に、このときの画素Ｍ（ｘ、ｙ）を特徴点として抽出する。

これにより、図４に示されるように、画像ＰＨ１から特徴点Ｐ１〜Ｐ４が抽出される。ＣＰＵ３１は、画像ＰＨ２に対しても同様の処理を施す。これにより、図５に示されるように、画像ＰＨ２から特徴点Ｑ１〜Ｑ４が抽出される。なお、ここでは説明の便宜上、各画像から、特徴点が４つ抽出される場合について述べたが、実際は、１枚の画像から複数の特徴点が抽出される。

画像ＰＨ１，ＰＨ２から特徴点を抽出すると、ＣＰＵ３１は、画像ＰＨ１の特徴点を始点とし、画像ＰＨ２の特徴点を終点とするオプティカルフローを規定する。

例えば、画像ＰＨ１の特徴点Ｐ１は、画像ＰＨ２の特徴点Ｑ１に対応する。また、画像ＰＨ１の特徴点Ｐ２は、画像ＰＨ２の特徴点Ｑ２に対応する。また、画像ＰＨ１の特徴点Ｐ３は、画像ＰＨ２の特徴点Ｑ３に対応する。また、画像ＰＨ１の特徴点Ｐ４は、画像ＰＨ２の特徴点Ｑ４に対応する。

そこで、ＣＰＵ３１は、図７に示されるように、ｘｙ座標系に、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１を規定する。同様に、特徴点Ｐ２，Ｐ３，Ｐ４をそれぞれ始点として、特徴点Ｑ２，Ｑ３，Ｑ４をそれぞれ終点とするオプティカルフローＯＰ２，ＯＰ３，ＯＰ４をそれぞれ規定する。

図７に示されるように、本実施形態では説明の便宜上、車両１０１に関するオプティカルフローが４本である場合について説明している。しかしながら、実際は、車両１０１を撮影した画像からは、数十或いは数百の特徴点が抽出され、数十或いは数百本のオプティカルフローが規定される。

図６に戻り、次のステップＳ１０３では、ＣＰＵ３１は、数十或いは数百本のオプティカルフローのうちから、ノイズ成分を多く含むオプティカルフローを除外し、残りのオプティカルフローをグルーピングする。

例えば、車両１０１が完全な直線運動をしている場合には、各オプティカルフローと一致する直線それぞれは、消失点ＶＰで交わるはずである。そこで、ＣＰＵ３１は、オプティカルフローと一致する直線が、消失点ＶＰから著しく離れている場合に、このオプティカルフローを除外し、残りのオプティカルフローを同一の移動体に関連するオプティカルフローとみなしてグルーピングする。ここでは車両１０１に関するオプティカルフローＯＰ１〜ＯＰ４が、車両１０１のオプティカルフローとしてグルーピングされる。

次のステップＳ１０４では、ＣＰＵ３１は、オプティカルフローを用いて、障害物が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。衝突予測時間ＴＴＣを算出する際には、障害物が車両１００に対してＺ軸方向に相対移動するときと、障害物が車両１００に対してＺ軸と交差する方向へ相対移動するときとで、異なる処理が行われる。そこで、まず障害物が車両１００に対してＺ軸方向に相対移動するときに行われる衝突予測時間算出処理について説明する。

図８は、衝突予測時間の算出手順を説明するための図である。図８における点ＲＰ１は、図３において矢印ａ１に示される位置にある車両１０１を構成する後部バンパーの右側端部を示す点である。そして、図８における点ＲＱ１は、図３において矢印ａ２に示される位置にある車両１０１を構成する後部バンパーの右側端部を示す点である。この点ＲＰ１は、特徴点Ｐ１に対応し、点ＲＱ１は、特徴点Ｑ１に対応している。以下、説明の便宜上、点ＲＰ１、点ＲＱ１それぞれを、対応点ＲＰ１、対応点ＲＱ１ともいう。また、車両１０１を構成する後部バンパーの右側端部を便宜上指標点ともいう。

図８におけるＸＹＺ座標系は、車両１００に搭載された撮影装置２０の光学中心を原点Ｏとする直交座標系である。このＸＹＺ座標系におけるＺ軸は、撮影装置２０の光軸と一致する。Ｙ軸は、図８では不図示であるが、Ｘ軸及びＺ軸と直交する。ＸＹＺ座標系におけるＸ座標及びＹ座標は、画像ＰＨ１，ＰＨ２に規定されたｘｙ座標系におけるｘ座標及びｙ座標と一致する。図８における直線ＬＮ１は、撮影装置２０の画像面ＩＭを含む平面を示している。そして、直線ＬＮ２は、車両１００の最も＋Ｚ側にある部分を含む衝突面を示している。

本実施形態では、ＸＹＺ座標系の原点Ｏは、撮影装置２０の光学中心と一致する。したがってＸＹＺ座標系の原点Ｏから直線ＬＮ１までの距離は、撮影装置２０の焦点距離ｆと等しい。また、原点Ｏと直線ＬＮ２との距離はＬであるものとする。

画像ＰＨ１が撮影されたときに、図３における矢印ａ１に示される位置にある車両１０１は、画像ＰＨ２が撮影されたときには、図３における矢印ａ２に示される位置に移動している。この場合、図８を参照するとわかるように、特徴点Ｐ１を始点とし、特徴点Ｑ１を終点とするオプティカルフローＯＰ１に対応するＸＹＺ座標系でのベクトルは、始点を対応点ＲＰ１とし、終点を対応点ＲＱ１とするベクトルＭＶ０となる。

オプティカルフローＯＰ１は、撮影装置２０の画像面ＩＭ内における特徴点の移動軌跡を示している。そして、ベクトルＭＶ０は、ＸＹＺ座標系における対応点の移動軌跡を示している。車両１０１が、車両１００に対してＺ軸に平行に相対移動する場合には、ベクトルＭＶ０はＺ軸に平行となる。また、特徴点Ｐ１及び対応点ＲＰ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ３上に配置される。そして、特徴点Ｑ１及び対応点ＲＱ１は、ＸＹＺ座標系において原点Ｏを通る直線ＬＮ４上に配置される。

したがって、対応点ＲＱ１と一致している車両１０１の指標点が、Ｘ座標をＸ１とするＸ軸上の点ＣＰ１に到達するまでの軌跡を示すベクトルＭＶ２の大きさ｜ＭＶ２｜と、特徴点Ｐ１のＸ座標ｘ２と、特徴点Ｑ１のＸ座標ｘ１と、ベクトルＭＶ０の大きさ｜ＭＶ０｜との幾何学的な関係は、次式（５）で示される。

ここで、ベクトルＭＶ０の大きさ｜ＭＶ０｜は、画像ＰＨ１が撮像された時刻から画像ＰＨ２が撮像された時刻までの時間Δｔと、車両１００に対する車両１０１の相対移動速度Ｖとの積（＝Ｖ・Δｔ）である。また、ベクトルＭＶ２の大きさ｜ＭＶ２｜は、指標点が対応点ＲＱ１からＸ軸上の点ＣＰ１まで移動するのに要する時間ＴＴＣｃと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣｃ）である。

そこで、上記式（５）の｜ＭＶ２｜に（Ｖ・ＴＴＣｃ）を代入し、｜ＭＶ０｜に（Ｖ・Δｔ）を代入して、両辺を相対移動速度Ｖで除することで、次式（６）が導かれる。

また、車両１０１の指標点が、対応点ＲＱ１から直線ＬＮ２で示される衝突面上の点ＣＰ２に到達するまでの軌跡を示すベクトルＭＶ１は、Ｚ軸と平行である。そして、ベクトルＭＶ１の大きさ｜ＭＶ１｜とベクトルＭＶ２の大きさ｜ＭＶ２｜との関係は、Ｘ軸から対応点ＲＱ１までの距離Ｚ１と、Ｘ軸と点ＣＰ２までの距離Ｌを用いると次式（７）で示される。

ここで、上述したように、ベクトルＭＶ２の大きさ｜ＭＶ２｜は、指標点が対応点ＲＱ１からＸ軸上の点ＣＰ１まで移動するのに要する時間ＴＴＣｃと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣｃ）である。また、ベクトルＭＶ１の大きさ｜ＭＶ１｜は、指標点が対応点ＲＱ１から直線ＬＮ２上の点ＣＰ２に到達するまでの衝突予測時間ＴＴＣと、相対移動速度Ｖとの積（＝Ｖ・ＴＴＣ）である。

相対移動速度Ｖは、オプティカルフローＯＰ１〜ＯＰ４に関する情報を用いても求めることができない。そこで、上記式（７）の｜ＭＶ２｜に（Ｖ・ＴＴＣｃ）を代入し、｜ＭＶ１｜に（Ｖ・ＴＴＣ）を代入して、両辺を相対移動速度Ｖで除することで、相対移動速度Ｖを含む項を含まない次式（８）を導く。

上記式（８）のＬは、Ｘ軸と直線ＬＮ２で示される衝突面との距離であり、撮影装置２０の取り付け位置と車両１００の前端との距離にほぼ等しい既知の値である。このため、ＣＰＵ３１は、Ｘ軸と対応点ＲＱ１との距離Ｚ１の値がわかれば、上記式（８）を用いて、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出することが可能となる。

そこで、ＣＰＵ３１は、次式（９）を用いて距離Ｚ１を算出する。なお、ｆは撮影装置２０の焦点距離である。また、δは、画像ＰＨ１，ＰＨ２を構成する画素のｙ軸方向の配列間隔である。また、ｈは、車両１００が走行する路面と撮影装置２０との距離である。また、ｙｂは、図５に示されるように、画像ＰＨ２における、特徴点Ｑ１と車両１００が走行する路面との距離である。

ＣＰＵ３１は、上記式（９）を用いて、距離Ｚ１を算出すると、算出した距離Ｚ１を上記式（８）に代入して、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。

次に、障害物が車両１００に対してＺ軸と交差する方向へ相対移動するときに行われる衝突予測時間算出処理について説明する。

例えば、車両１００が＋Ｚ方向へ進行し、車両１０１がＺ軸と交差する方向へ進行する場合を考える。この場合、撮影装置２０の光学中心を原点ＯとするＸＹＺ座標系では、車両１０１は、車両１００の進行方向と車両１０１の進行方向とが合成された方向へ、相対的に移動することになる。

例えば、図９の矢印ａ１に示される位置にある車両１０１は、所定の時間が経過すると矢印ａ２に示される位置に相対的に移動する。この場合には、撮影装置２０によって、まず矢印ａ１に示される位置にある車両１０１が撮影され、次に矢印ａ２に示される位置にある車両１０１が撮影される。

図１０には、ＣＰＵ３１によって規定されたオプティカルフローＯＰ１〜ＯＰ４が示されている。車両１０１が、車両１００に対してＺ軸に交差する方向へ相対的に移動することにより車両１００に接近する場合は、オプティカルフローＯＰ１〜ＯＰ４の消失点ＶＰは、ｘｙ座標系の原点Ｏと一致しない。

しかしながら、図１１を参照するとわかるように、車両１００の進行方向と車両１０１の進行方向が交差する場合にも、オプティカルフローＯＰ１、ベクトルＭＶ０、ベクトルＭＶ２相互間の幾何学的関係は、車両１００の進行方向と障害物の移動方向が等しいときのオプティカルフローＯＰ１等との関係と等価である。このため、上記式（５）は成立する。したがって、図９における矢印ａ２に示される位置にある車両１０１が、車両１００に衝突するまでの衝突予測時間ＴＴＣは、上記式（８）で表される。

図１１に示されるように、直線ＬＮ５は、原点を通り、ベクトルＭＶ０と直交する直線である。また、点ＣＰ３は、対応点ＲＱ１と点ＣＰ１とを通る直線と、直線ＬＮ５との交点である。説明の便宜上、図１１では、点ＣＰ３と点ＣＰ１とが、ある程度離間して記載されている。しかしながら、実際には、点ＣＰ３と点ＣＰ１との距離は、原点Ｏと直線ＬＮ２で示される衝突面との距離Ｌ等に比べて著しく小さい。このため、ベクトルＭＶ２と平行で、対応点ＲＱ１を始点とし、点ＣＰ３を終点とするベクトルＭＶ３は、ベクトルＭＶ２と大きさが等価であるものとして取り扱っても差し支えない。

そこで、ＣＰＵ３１は、車両１０１が直線ＬＮ５によって示される面に衝突するまでの時間ＴＴＣｃ０を、時間ＴＴＣｃの近似値として、次式（１０）に基づいて算出する。なお、ｘｖｐは消失点ＶＰのＸ座標である。

ＣＰＵ３１は、上記式（１０）で算出した時間ＴＴＣｃ０を、時間ＴＴＣｃとして、上記式（８）へ代入して、車両１０１が車両１００に衝突するまでの衝突予測時間ＴＴＣを算出する。

図６に戻り、次のステップＳ１０５では、ＣＰＵ３１は、ステップＳ１０４で算出した衝突予測時間ＴＴＣが、予め設定された閾値ＴＨより大きいか否かを判定する。そして、衝突予測時間ＴＴＣが閾値ＴＨよりも大きいと判定した場合には（ステップＳ１０５：Ｙｅｓ）、ステップＳ１０２へ戻る。以降、ＣＰＵ３１は、ステップＳ１０５での判定が否定されるまで、ステップＳ１０２〜Ｓ１０５の処理を繰り返し実行する。一方、ＣＰＵ３１は、衝突予測時間ＴＴＣが閾値ＴＨ以下であると判定した場合には（ステップＳ１０５：Ｎｏ）、ステップＳ１０６へ移行する。

ステップＳ１０６では、ＣＰＵ３１は、画像ＰＨ２に写る障害物の検出を試みる。具体的には、ＣＰＵ３１は、画像ＰＨ２に、障害物の検出を行う領域を規定するフレームＦＭを設定する。このフレームＦＭは、図１２に示されるように、グルーピングされた１群のオプティカルフローＯＰ１〜ＯＰ４を含み、フレームＦＭによって囲まれる領域が最も小さくなるように設定される。本実施形態では、フレームＦＭが障害物が位置する領域を示す指標となる。

図１２に示される例では、グルーピングされたオプティカルフローＯＰ１〜ＯＰ４のうちの３つのオプティカルフローＯＰ１，ＯＰ２，ＯＰ４の終点によって、フレームＦＭが規定されている。

ＣＰＵ３１は、フレームＦＭを設定すると、フレームＦＭに囲まれる画像に対して、テンプレートのマッチングを行う。マッチングに用いるテンプレートとしては、例えば車両の後部の画像、ガードレールの画像などが考えられる。ＣＰＵ３１は、種々のテンプレートをフレームＦＭに囲まれる画像に対してマッチングさせて、各テンプレートについての相関値をそれぞれ算出する。

次のステップＳ１０７では、ＣＰＵ３１は、ステップＳ１０６で算出された相関値から、自車前方に位置する障害物が、ガードレールや標識に代表される静止物であるかいなかを判定する。例えば、自車前方にガードレールが位置していた場合には、ステップＳ１０６で算出される相関値は、ガードレールの画像をマッチングさせたときに最も大きくなる。そこで、ＣＰＵ３１は、ガードレールの画像の相関値が、ステップＳ１０６で求めた相関値のうちで最も大きく、かつ所定の閾値を上回る場合に、フレームＦＭに囲まれる画像が、ガードレールなどの静止物の画像であると判定する（ステップＳ１０７：Ｙｅｓ）。そして、ステップＳ１０８へ移行する。

ステップＳ１０８では、ＣＰＵ３１は、距離算出処理１を実行する。この距離算出処理１は、車両１００に対する障害物の移動方向に直交する方向における、当該車両１００と障害物との距離ｗｘを算出するための処理である。障害物が静止物である場合や、車両１００に対する障害物の移動方向が、ＸＹＺ座標系におけるＺ軸に平行な方向である場合には、距離ｗｘは、車両１００と障害物とのＸ軸方向の距離を表す。

例えば、ガードレールＧＲのような静止物は、車両１００の進行方向に平行な直線に沿って相対移動しながら、車両１００に接近する。このため、ガードレールＧＲが車両１００に接近する場合には、図１３に示されるように、例えばオプティカルフローＯＰ５〜ＯＰ８が規定される。この場合には、フレームＦＭ、オプティカルフローＯＰ５、及びガードレールの移動軌跡を示すベクトルＭＶ５のＸＹＺ座標系における位置関係は、図１４に示されるようになる。なお、図１４中の、ｗ１は、画像ＰＨ２における消失点ＶＰからフレームＦＭの端までの距離であり、ｗｘは、車両１００と障害物との距離である。また、ｖｚは、車両１００の速度であり、Ｓｆは、撮影装置２０のスケールファクタである。

そこで、ＣＰＵ３１は、次式（１１）を用いて、車両１００の進行方向に直交する方向（ＸＹＺ座標系におけるＸ軸方向）に関する車両１００と障害物との距離ｗｘを算出する。

ステップＳ１０７の処理において、ガードレールなどの静止物の画像をマッチングさせたときの相関値が所定の閾値以下となった場合には、ＣＰＵ３１は、フレームＦＭに囲まれる画像が静止物の画像ではないと判定し（ステップＳ１０７：Ｎｏ）、ステップＳ１０９へ移行する。

ステップＳ１０９では、ＣＰＵ３１は、フレームＦＭに囲まれる領域に写る障害物と路面との境界の検出を試みる。例えば障害物が、車両１００の前方を走行する車両１０１であって、当該車両１０１の後方へ直射日光があたっているときには、画像ＰＨ２に対して画像処理を実行することにより、当該車両１０１のタイヤと路面との境界を検出することができる。一方、当該車両１０１の前方へ直射日光があたると、当該車両１０１の後方に影ができるため、画像ＰＨ２に対して画像処理を実行したとしても、当該車両１０１のタイヤと路面との境界を検出するのが困難になる。

ＣＰＵ３１は、画像ＰＨ２に対する画像処理によって、フレームＦＭに囲まれる領域に写る障害物と路面との境界が検出できたときには（ステップＳ１０９：Ｙｅｓ）、ステップＳ１１０へ移行する。

ステップＳ１１０では、ＣＰＵ３１は、距離算出処理２を実行する。この距離算出処理２では、ステップＳ１０８で実行される距離算出処理１と比較して、演算に用いられる数式が異なる。

例えば図５に示されるように、車両１０１と路面との路面境界ＢＬが検出された場合は、画像ＰＨ２における消失点ＶＰから路面境界までの距離ｖ１と、路面に対する撮影装置２０の高さＨと、画像ＰＨ２における消失点ＶＰからフレームＦＭまでの距離ｗ１と、車両１００と障害物１０２までの距離ｗｘとの関係は、図１５に示されるようになる。そこで、ＣＰＵ３１は、次式（１２）を用いて、距離ｗｘを算出する。

ステップＳ１０９の処理において、画像ＰＨ２に対する画像処理によって、フレームＦＭに囲まれる領域に写る障害物と路面との境界が検出できなかったときには（ステップＳ１０９：Ｎｏ）、ＣＰＵ３１は、ステップＳ１１１へ移行する。

ステップＳ１１１では、ＣＰＵ３１は、ステップＳ１０６で算出された相関値から、車両１００の前方に位置する障害物が、車両であるか否かを判定する。例えば、車両１００の前方に車両が位置していた場合には、ステップＳ１０６で算出される相関値は、車両の画像をマッチングさせたときに最も大きくなる。そこで、ＣＰＵ３１は、車両の画像をマッチングさせたときの相関値が、ステップＳ１０６で求めた相関値のうちで最も大きく、かつ所定の閾値を上回る場合に、フレームＦＭに囲まれる画像が、車両の画像であると判定する（ステップＳ１１１：Ｙｅｓ）。そして、ステップＳ１１２へ移行する。

ステップＳ１１２では、ＣＰＵ３１は、距離算出処理３を実行する。この距離算出処理３では、ステップＳ１０８，Ｓ１１０で実行される距離算出処理１，２と比較して、演算に用いられる数式が異なる。

フレームＦＭに囲まれる画像が車両の画像である場合には、フレームＦＭの幅は、概ね車両１００の前方を走行する前方車両の幅に対応した大きさになる。例えば、図１６に示されるように、画像ＰＨ２におけるフレームＦＭの幅をｗｏｂｊとし、消失点ＶＰからフレームＦＭまでの距離をｗ１とする。また、前方車両の幅をＷｃとすると、車両１０１までの距離ｗｘは、次式（１３）で示される。そこで、ＣＰＵ３１は、次式（１３）を用いて、距離ｗｘを算出する。なお、前方車両の幅Ｗｃは、一般的な車両の幅を想定したものであり、例えばその値を１．７ｍとすることが考えられる。幅Ｗｃの値は、予め設定され、判定装置３０に記憶されている。

また、ステップＳ１１１の処理において、車両の画像をマッチングさせたときの相関値が所定の閾値以下となった場合には、ＣＰＵ３１は、フレームＦＭに囲まれる画像が車両の画像ではないと判定し（ステップＳ１１１：Ｎｏ）、ステップＳ１１３へ移行する。

ステップＳ１１３では、ＣＰＵ３１は、距離算出処理４を実行する。この距離算出処理４では、ステップＳ１１２で実行される距離算出処理３と比較して、演算に用いられるパラメータが異なる。一般に、走行する車両１００の前方に障害物が存在する場合は、この障害物は車両である蓋然性が極めて高い。そこで、ＣＰＵ３１は、上記式（１３）のパラメータＷｃを、当該パラメータＷｃよりも値が小さいパラメータＷｕｋに代えることにより得られる次式（１４）を用いて、距離ｗｘを算出する。パラメータＷｕｋの値は、前方車両の幅Ｗｃに所定の係数を乗じることにより決定され、例えば所定の係数は１前後とすることが考えられる。パラメータＷｕｋの値は、予め設定され、判定装置３０に記憶されている。

ステップＳ１１３で算出される距離ｗｘは、車両１００と障害物との実際の距離よりも小さくなる。このため、衝突が生じる前に余裕をもって、ドライバへ警報等を発令することが可能となる。

次のステップＳ１１４では、ＣＰＵ３１は、ステップＳ１０８，Ｓ１１０，Ｓ１１２，Ｓ１１３で算出した距離ｗｘに用いて、障害物が車両１００に衝突するか否かを判定する。この判定の際には、障害物が車両１００の進行方向と平行な方向へ相対移動するときと、障害物が車両の進行方向と交差する方向へ相対移動するときとで、異なる処理が行われる。そこで、まず障害物が車両の進行方向と平行な方向へ相対移動するときに行われる判定処理について説明する。

図１７は、ＸＹＺ座標系における車両１００，１０１、及びフレームＦＭとの位置関係を示す図である。図１７を参照するとわかるように、車両１０１が矢印Ａ１に示されるようにＺ軸に平行に移動する場合、すなわち、車両１００の進行方向と、車両１００に接近する障害物の相対的な移動方向が平行な場合には、消失点ＶＰは、ＸＹＺ座標系におけるＺ軸上に規定される。

この場合ＣＰＵ３１は、撮影装置２０から車両１００の右側面までの距離Ｗｃｒ、或いは撮影装置２０から車両１００の左側面までの距離Ｗｃｌと、距離ｗｘとを比較する。そして、距離Ｗｃｒ、或いは距離Ｗｃｌの値が、距離ｗｘの値より小さい場合には、車両１０１などの障害物と車両１００が衝突する可能性がないと判定する（ステップＳ１１４：Ｎｏ）。また、距離Ｗｃｒ、或いは距離Ｗｃｌの値が、距離ｗｘの値以上の場合には、車両１０１などの障害物と車両１００が衝突する可能性があると判定する（ステップＳ１１４：Ｙｅｓ）。

次に、障害物が車両の進行方向と交差する方向へ相対移動するときに行われる判定処理について説明する。

図１８は、ＸＹＺ座標系における車両１００，１０１、及びフレームＦＭとの位置関係を示す図である。ベクトルＡ２に示されるように、車両１０１が、車両１００の進行方向と交差する方向に相対移動しながら、車両１００に接近するときは、ＣＰＵ３１は、衝突予測時間ＴＴＣが経過したときに車両１００に接し、ベクトルＡ２と平行な２本の直線Ｌｒ，Ｌｌと、消失点ＶＰを通りベクトルＡ２に平行な直線Ｌｃとの距離ｄｒ，ｄｌを、次式（１５）及び（１６）を用いてそれぞれ算出する。なお、ｘｖｐは、消失点ＶＰのＸ座標である。また、距離Ｌｃｆは、撮影装置２０から車両１００の前端までの距離であり、距離Ｌｃｒは、撮影装置２０から車両１００の後端までの距離である。

ＣＰＵ３１は、距離ｄｒ，ｄｌを算出すると、これらの距離ｄｒ，或いは距離ｄｌと、距離ｗｘを比較する。そして、距離ｄｒ、或いは距離ｄｌの値が、距離ｗｘの値より小さい場合には、車両１０１などの障害物と車両１００が衝突する可能性がないと判定する（ステップＳ１１４：Ｎｏ）。また、距離ｄｒ、或いは距離ｄｌの値が、距離ｗ１の値以上の場合には、車両１０１などの障害物と車両１００が衝突する可能性があると判定する（ステップＳ１１４：Ｙｅｓ）。

ＣＰＵ３１は、ステップＳ１１４で、障害物と車両１００が衝突する可能性がないと判定した場合には（ステップＳ１１４：Ｎｏ）、ステップＳ１０２に戻り、以降ステップＳ１０２〜Ｓ１１４の処理を繰り返す。一方、ＣＰＵ３１は、ステップＳ１１４で、障害物と車両１００が衝突する可能性があると判定した場合には（ステップＳ１１４：Ｙｅｓ）、ステップＳ１１５へ移行する。

ステップＳ１１５では、ＣＰＵ３１は、警報装置４０へ警報の発令を指示する。これにより、車両１００のドライバに対して、障害物が車両１００に衝突する可能性があることが報知される。ステップＳ１１５の処理が終了すると、ＣＰＵ３１は、ステップＳ１０２へ戻る。そして、ステップＳ１０２以降の処理を繰り返し実行する。

以上説明したように、本実施形態では、画像に写る障害物の位置を示すフレームＦＭと、当該障害物についてのオプティカルフローの消失点ＶＰとの距離ｗ１が求められる。そして、距離ｗ１を用いて、車両１００に対する障害物の相対移動方向に直交する方向についての、車両１００と障害物との距離ｗｘが算出される（ステップＳ１０８，Ｓ１１０，Ｓ１１２，Ｓ１１３）。これにより、距離ｗｘと、車両１００に搭載された撮影装置２０と車両１００の側面までの距離とを比較することにより、車両１００と障害物とが衝突するか否かを精度よく判定することができる（ステップＳ１１４）。

そして、判定結果に基づいて、障害物と車両１００とが衝突する可能性がある場合に限り、車両１００のドライバに警報を発令することが可能となる（ステップＳ１１５）。したがって、ドライバの運転を、適切に支援することが可能となる。

本実施形態では、画像に写る障害物が静止物か、或いは車両であるか否かが判断される（ステップＳ１０７，Ｓ１０９，Ｓ１１１）。そして、判断結果に応じた手順で、消失点ＶＰからフレームＦＭまでの距離ｗ１が算出される。このため、障害物の種類に応じて、衝突可能性の正確な判定が可能となる。したがって、ドライバの運転を、適切に支援することができる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。例えば、上記実施形態に係る判定装置３０の機能は、ハードウェアによっても実現することができる。

一例として、図１９には変形例に係る判定装置３０のブロック図が示されている。図１９に示されるように、この判定装置３０は、記憶部３０ａ，オプティカルフロー算出部３０ｂ、予測時間算出部３０ｃ、属性判別部３０ｄ、距離算出部３０ｅ、及び判定部３０ｆを有している。

例えば、オプティカルフロー算出部３０ｂは、図６に示されるステップＳ１０２，Ｓ１０３に係る処理を実行する。予測時間算出部３０ｃは、ステップＳ１０４，Ｓ１０５に係る処理を実行する。属性判別部３０ｄは、ステップＳ１０６，Ｓ１０７，Ｓ１０９，Ｓ１１１に係る処理を実行する。距離算出部３０ｅは、ステップＳ１０８，Ｓ１１０，Ｓ１１２，Ｓ１１３に係る処理を実行する。判定部３０ｆは、ステップＳ１１４，Ｓ１１５に係る処理を実行する。記憶部３０ａは、上記各部３０ｂ〜３０ｆの処理結果や、撮影装置２０から出力される画像情報を記憶する。

第１の実施形態において判定装置３０の補助記憶部３３に記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。

また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。

なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。

本発明の距離算出装置、距離算出方法、及びプログラムは、車両と障害物との距離を算出するのに適している。また、本発明の衝突検出システム、衝突検出方法、及びプログラムは、車両と障害物との衝突の検出に適している。

１０ 衝突判定システム
２０ 撮影装置
３０ 判定装置
３０ａ 記憶部
３０ｂ オプティカルフロー算出部
３０ｃ 予測時間算出部
３０ｄ 属性判別部
３０ｅ 距離算出部
３０ｆ 判定部
３１ ＣＰＵ
３２ 主記憶部
３３ 補助記憶部
３４ 表示部
３５ インタフェース部
４０ 警報装置
１００，１０１ 車両
１０２ 障害物
ＢＬ 路面境界
ＣＰ１〜ＣＰ３ 点
ＦＭ フレーム
ＧＲ ガードレール
ＩＭ 画像面
Ｍ 画素
ＭＶ０〜ＭＶ５ ベクトル
ＯＰ１〜ＯＰ８ オプティカルフロー
ＰＨ，ＰＨ１，ＰＨ２ 画像
Ｐ１〜Ｐ４ 特徴点
Ｑ１〜Ｑ４ 特徴点
ＶＰ 消失点

Claims (14)

1. 車両の進行方向を順次撮影する撮影手段と、
   前記撮影手段によって撮影された第１画像に写る障害物の特徴点を始点とし、前記第１画像が撮影された後に撮影された第２画像に写る障害物の特徴点を終点とする複数のオプティカルフローを算出するオプティカルフロー算出手段と、
   前記車両に対して前記障害物が移動する第１方向に直交する第２方向についての、前記オプティカルフローの消失点と前記画像に写る障害物との第１距離に基づいて、前記車両と前記障害物との前記第２方向についての第２距離を算出する距離算出手段と、
   を備える距離算出装置。
2. 前記距離算出手段は、
   前記障害物の前記オプティカルフローによって規定されるフレームと、前記消失点の距離を前記第１距離として、前記第２距離を算出する請求項１に記載の距離算出装置。
3. 前記距離算出手段は、
   前記第１方向が、前記車両の進行方向に交差する場合には、前記オプティカルフローの消失点を通り前記第１方向に平行な第１直線と前記障害物との距離を、前記第２距離として算出する請求項１又は２に記載の距離算出装置。
4. 前記第２画像に写る障害物の属性を判別する判別手段を備え、
   前記距離算出手段は、
   前記判別手段の判別結果に応じた距離算出手順で、前記第２距離を算出する請求項１乃至３のいずれか一項に記載の距離算出装置。
5. 前記距離算出手段は、
   前記判別手段によって前記障害物が静止物と判断された場合に、
   前記第２画像における前記消失点から前記障害物までの前記第１距離に基づいて、
   前記車両と前記障害物が衝突するまでの衝突予測時間と、
   前記車両の速度と、
   前記撮影手段のスケールファクタと、
   を用いて前記第２距離を算出する請求項４に記載の距離算出装置。
6. 前記距離算出手段は、
   前記判別手段によって前記障害物と前記車両が走行する路面の境界が検出された場合に、
   前記第２画像における前記消失点から前記障害物までの前記第１距離に基づいて、
   前記第２画像における前記消失点から前記路面までの距離と、
   前記路面に対する前記撮影手段の高さと、
   を用いて前記第２距離を算出する請求項４又は５に記載の距離算出装置。
7. 前記距離算出手段は、
   前記判別手段によって前記障害物が前記車両の前方を走行する前方車両と判断された場合に、
   前記第２画像における前記消失点から前記障害物までの前記第１距離に基づいて、
   前記第２画像における前記前方車両の幅と、
   予め想定され設定された車両の幅と、
   を用いて前記第２距離を算出する請求項４乃至６のいずれか一項に記載の距離算出装置。
8. 前記距離算出手段は、
   前記判別手段によって前記障害物の属性が判別できなかった場合に、
   前記第２画像における前記消失点から前記障害物までの前記第１距離に基づいて、
   前記第２画像における前記障害物の幅と、
   予め想定された車両の幅に所定の係数を乗じて得られるパラメータと、
   を用いて前記第２距離を算出する請求項４乃至７のいずれか一項に記載の距離算出装置。
9. 請求項１乃至８のいずれか一項に記載の距離算出装置と、
   前記距離算出装置によって算出された第２距離に基づいて、前記車両と前記障害物とが衝突するか否かを判定する判定手段と、
   を備える衝突検出システム。
10. 前記障害物の前記オプティカルフローの大きさと、前記第１画像が撮影された時刻から前記第２画像が撮影された時刻までの時間とに基づいて、前記撮影手段の視野内にある物体が前記車両に衝突するまでの予測時間を算出する予測時間算出手段を備え、
    前記判定手段は、
    前記予測時間が経過したときに前記車両が位置するところを予測し、前記車両に接し前記第１直線と平行な第２直線と前記第１直線との第３距離と、前記第２距離との比較結果に基づいて、前記車両と前記障害物とが衝突するか否かを判定する請求項９に記載の衝突検出システム。
11. 車両の進行方向を順次撮影する工程と、
    撮影された第１画像に写る障害物の特徴点を始点とし、前記第１画像が撮影された後に撮影された第２画像に写る障害物の特徴点を終点とする複数のオプティカルフローを算出する工程と、
    前記車両に対して前記障害物が移動する第１方向に直交する第２方向についての、前記オプティカルフローの消失点と前記画像に写る障害物との第１距離を求める工程と、
    前記車両と前記障害物との前記第２方向についての第２距離を算出する工程と、
    を含む距離算出方法。
12. 請求項１１に記載の距離算出方法によって算出された第２距離に基づいて、前記車両と前記障害物とが衝突するか否かを判定する工程を含む衝突検出方法。
13. コンピュータに、
    車両の前方を撮影することにより得られた第１画像に写る障害物の特徴点を始点とし、前記第１画像が撮影された後に、前記車両の前方を撮影することにより得られた第２画像に写る障害物の特徴点を終点とする複数のオプティカルフローを算出する手順と、
    前記車両に対して前記障害物が移動する第１方向に直交する第２方向についての、前記オプティカルフローの消失点と前記画像に写る障害物との第１距離を求める手順と、
    前記車両と前記障害物との前記第２方向についての第２距離を算出する手順と、
    を実行させるためのプログラム。
14. コンピュータに、
    前記第２距離に基づいて、前記車両と前記障害物とが衝突するか否かを判定する手順を実行させるための請求項１３に記載のプログラム。

Images