JP5944781B2 - 移動体認識システム、移動体認識プログラム、及び移動体認識方法 - Google Patents

Description

本発明は、単視点画像を用いて移動体を認識する移動体認識システム、移動体認識プログラム、及び移動体認識方法に関するものである。

従来、車両周辺の移動体を認識して、ドライバへの報知ないし警告や車両の自動制動（以下単に「報知」という。）を行なう移動体認識システムが知られている。自車両から移動体までの距離は、ミリ波レーダ等の距離センサを用いて直接測定でき、又はステレオカメラを用いて画像処理を行なって測定できる。測定された距離を時系列に並べて分析することで、移動体の移動方向及び自車両に対する相対速度を求めることができる。そして、移動体の移動方向や自車両に対する相対速度を求めることで、その移動体が車両に衝突する可能性（危険性）を求めることができ、その危険性に基づいて報知を行なうことができる。

また、より簡易で安価な移動体認識システムとして、一系統の光学系及び撮像素子しかない単眼のカメラによって移動体を認識するシステムも知られている。このシステムは、単眼カメラによって連続的に撮影を行なうことで、時系列に並んだ複数の単視点の画像を得る。これらの複数の単視点の画像から移動体の検出を行なう技術として特許文献１に記載の技術が知られている。

特許文献１に記載の技術では、時系列に並んだ複数の単視点画像の各々から抽出された特徴点とその動きベクトル（オプティカルフロー）に基づいて、特徴点群を移動体ごとにグルーピングする。このグルーピングは、オプティカルフローの消失点への収束性と外分比のばらつきに従って行なわれる。これにより不正確に算出されたオプティカルフローが混在していても、確実な移動体の検出を行なうことができる。

特許第４９１９０３６号公報

車載の移動体認識システムにおいては、衝突の危険性のない移動体についてはむしろドライバに報知をせず、飛び出しなど衝突の危険性のある移動体のみについて報知をすることが望ましい。なぜなら、あらゆる移動体について報知をすることはドライバにとって煩わしく、運転に負の影響を及ぼす可能性があるためである。

車載の移動体認識システムにおいて、認識処理の結果の確実性と、衝突の危険性は、必ずしも一致しない。つまり、認識処理の結果の確実性が高いにも関わらず、衝突の危険性がない場合もありえるし、その逆もありえる。多くのドライバにとって役立つ情報とは、認識処理の確実性ではなく、認識された移動体の自車両への衝突の危険性である。

本発明は、上記の問題に鑑みてなされたものであり、ステレオカメラや距離センサなど比較的高価なセンサを使うことなく、単眼カメラを使い、移動体の衝突の危険性を検知する移動体認識システムを提供することを目的とする。

本発明のある態様の移動体認識システムは、車両に設置され、複数の連続する単視点の画像を撮影するカメラと、前記カメラにて撮影された複数の画像を用いて、画像中の移動体を検出する移動体検出部と、前記移動体検出部にて検出された移動体の前記カメラに対する相対的進入角度を推定する相対的進入角度推定部と、前記相対的進入角度と、前記カメラから前記移動体に向かう移動体方向との関係に基づいて、前記移動体が前記車両に衝突する危険度を算出する衝突危険度算出部とを備えた構成を有する。

この構成によれば、車両のドライバの安全運転のために有用な情報として、移動体が車両に衝突する危険度を得ることができる。また、この危険度の算出を、ステレオカメラ等の比較的高価な構成を採用することなく、単眼カメラという比較的安価な構成によって実現するので、コストを低減できる。

上記の移動体認識システムにおいて、前記衝突危険度算出部は、前記相対的進入角度と前記移動体方向とのずれが小さいほど危険度を高くしてよい。

相対的進入角度と移動体方向とが一致するということは、移動体が相対的に車両に向かってきているということであり、従って、相対的進入角度と移動体方向とのずれが小さいほど危険性が高いといえる。よって、この構成によれば、移動体が車両に衝突する危険度を好適に算出できる。

上記の移動体認識システムにおいて、前記衝突危険度算出部は、前記相対的進入角度に基づいて危険ゾーンを設定し、前記移動体が危険ゾーンに存在する確率に基づいて前記危険度を算出してよい。

この構成によれば、移動体が車両に衝突する危険度を、その移動体の車両に対する相対的進入角度のみではなく、それに基づいて設定される危険ゾーンによって正確に算出できる。

上記の移動体認識システムにおいて、前記危険ゾーンは、前記カメラを原点として、前記カメラの光軸方向をＺ方向とし、鉛直方向をＹ方向とし、水平方向をＸ方向としたときのＸＺ平面に設定され、前記車両から前記車両の幅で前記相対的進入角度の方向に延びる領域であってよい。

この構成によれば、危険ゾーンは、車両の幅をもって車両から相対的進入角度の方向に延びるように設定されるので、車両のいずれかの部分に衝突する危険度を算出できる。

上記の移動体認識システムにおいて、前記衝突危険度算出部は、前記カメラから前記移動体までの前記Ｚ方向の距離の上限値を推定する距離推定部と、前記カメラと前記カメラから焦点距離だけ離れた前記画像上の前記移動体とを通る直線を前記ＸＺ平面に正射影した線分であるＸＺレイの、前記カメラから前記上限値までの線分のうち、前記危険ゾーンに入る線分の割合を前記危険度として算出する危険度算出部とを備えていてよい。

この構成によれば、危険ゾーンの上限が設けられるので、移動体までの距離を求めることができなくとも、移動体方向を特定すればその移動体が危険ゾーンにある確率を算出することができる。

上記の移動体認識システムにおいて、前記移動体検出部は、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを算出するオプティカルフロー算出部と、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点を前記移動体上の複数の特徴点としてグルーピングするグルーピング部を備えていてよく、前記距離推定部は、グルーピングされた前記移動体上の複数の特徴点から、高さが最も低い最下特徴点を選出し、前記最下特徴点と前記光学中心とを結ぶ直線と前記車両が走行する地面との交点を地面点として、前記地面点のＺ座標を前記カメラから前記移動体までの前記Ｚ方向の距離の上限値として推定してよい。

移動体としてグルーピングされた複数の特徴点どうしの間の距離がカメラからの距離と比べて十分に小さいという仮定は、車両周辺の移動体を認識する移動体認識システムでは妥当性を有する。よって、この構成によれば、簡易な計算によって、好適に移動体の距離の上限を推定できる。

上記の移動体認識システムにおいて、前記衝突危険度算出部は、前記カメラから前記移動体までの前記Ｚ方向の距離を推定する距離推定部と、前記カメラと前記カメラから焦点距離だけ離れた前記画像上の前記移動体とを通る直線を前記ＸＺ平面に正射影した線分であるＸＺレイ上の、前記カメラから前記推定された距離を有する点が前記危険ゾーンにある場合に、前記点が前記危険ゾーンにない場合より高い危険度を算出する危険度算出部とを備えていてよい。

この構成によれば、移動体までの距離が推定されるので、移動体が危険ゾーンにいる確率ではなく、危険ゾーンにいるか否かを判断でき、危険ゾーンにいると判断される場合には、高い危険度を算出することができる。なお、危険度は、移動体が衝突する車両の部位に応じてレベル分けされてもよい。

上記の移動体認識システムにおいて、前記移動体検出部は、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを算出するオプティカルフロー算出部と、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点を前記移動体上の複数の特徴点としてグルーピングするグルーピング部を備えていてよく、前記距離推定部は、前記消失点に基づいて前記移動体が前記車両に衝突するまでの衝突時間を求め、前記衝突時間と前記車両の速度に基づいて前記カメラから前記移動体までの前記Ｚ方向の距離を推定してよい。

進行する車両にとって危険な存在である移動体は車両の進行方向を横切る移動体であるので（例えば、車両とすれ違う移動体はあまり危険ではない）、車両周辺の移動体を認識する移動体認識システムでは、移動体が自車両に対して直交して併進移動している（即ち、移動体のカメラの光軸方向の速度成分が０である）と仮定することは妥当性を有する。よって、この構成によれば、簡易な計算によって、好適に移動体の距離を推定できる。

上記の移動体認識システムにおいて、前記衝突危険度算出部は、前記カメラから前記移動体までの前記Ｚ方向の距離の確率分布を決定する距離推定部と、前記カメラと前記カメラから焦点距離だけ離れた前記画像上の前記移動体とを通る直線を前記ＸＺ平面に正射影した線分であるＸＺレイが前記危険ゾーンにある距離範囲での前記確率分布の確率密度関数の積分値に基づいて前記危険度を算出する危険度算出部とを備えていてよい。

この構成によれば、距離が１つの値に推定されるのではなく、確率分布として求められるので、危険ゾーンにかかっている確率分布の確率密度関数の積分値の割合に応じて好適に危険度を算出できる。

上記の移動体認識システムにおいて、前記移動体検出部は、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを算出するオプティカルフロー算出部と、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点を前記移動体上の複数の特徴点としてグルーピングするグルーピング部を備えていてよく、前記距離推定部は、前記消失点に基づいて前記移動体が前記車両に衝突するまでの衝突時間を求め、前記衝突時間に基づいて、所定の正規分布に従って前記距離の確率分布を決定してよい。

車両周辺の移動体を認識する移動体認識システムでは、距離の確率分布が正規分布となるという仮定は妥当性を有するので、この構成によれば、簡易な計算によって、好適に移動体の距離の確率分布を決定できる。

上記の移動体認識システムにおいて、前記衝突危険度算出部は、前記カメラから前記移動体までの前記Ｚ方向の距離の上限値を推定し、かつ前記カメラから前記移動体までの前記Ｚ方向の距離の確率分布を決定する距離推定部と、前記上限値までの距離範囲での前記確率分布の確率密度関数の積分値に対する、前記カメラと前記カメラから焦点距離だけ離れた前記画像上の前記移動体とを通る直線を前記ＸＺ平面に正射影した線分であるＸＺレイが前記危険ゾーンにある距離範囲での前記確率分布の確率密度関数の積分値の割合に基づいて危険度を算出する危険度算出部とを備えていてよい。

この構成によれば、距離が１つの値に推定されるのではなく、確率分布として求められ、かつ、その確率変数の推定上限値より大きい部分を切り捨てるので、残りの値域での確率密度関数の積分値のうちの危険ゾーンにかかっている確率密度関数の積分値の割合に応じて好適に危険度を算出できる。

上記の移動体認識システムにおいて、前記移動体検出部は、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを算出するオプティカルフロー算出部と、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点を前記移動体上の複数の特徴点としてグルーピングするグルーピング部を備えていてよく、前記距離推定部は、グルーピングされた前記移動体上の複数の特徴点から、高さが最も低い最下特徴点を選出し、前記最下特徴点と前記光学中心とを結ぶ直線と前記車両が走行する地面との交点を地面点として、前記地面点のＺ座標を前記カメラから前記移動体までの前記Ｚ方向の距離の上限値として推定し、前記消失点に基づいて前記移動体が前記車両に衝突するまでの衝突時間を求め、前記衝突時間に基づいて、所定の正規分布に従って前記距離の確率分布を決定してよい。

移動体としてグルーピングされた複数の特徴点どうしの間の距離がカメラからの距離と比べて十分に小さいという仮定は車両周辺の移動体を認識する移動体認識システムでは妥当性を有するので、この構成によれば、簡易な計算によって、好適に移動体の距離の上限を推定できる。また、車両周辺の移動体を認識する移動体認識システムでは、距離の確率分布が正規分布となるという仮定は妥当性を有するので、この構成によれば、簡易な計算によって、好適に移動体の距離の確率分布を決定できる。

上記の移動体認識システムにおいて、前記衝突危険度算出部は、前記危険ゾーンを複数のレベルに分けて段階的に設定してよい。

この構成によれば、車両の各部位の衝突した場合の影響の大きさ等に応じて危険度を算出できる。

本発明の別の態様の移動体認識システムは、車両に設置され、複数の連続する単視点の画像を撮影するカメラと、前記カメラにて撮影された複数の画像を用いて、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを生成し、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点をグルーピングすることで、グルーピングされた前記複数の特徴点を移動体として検出する移動体検出部と、前記移動体が前記車両に衝突する危険度を算出する衝突危険度算出部とを備え、前記衝突危険度算出部は、前記画像における前記消失点との間の距離が近い前記移動体の前記危険度が、前記画像における前記消失点との間の距離が遠い前記移動体の前記危険度よりも高くなるように、前記危険度を算出する。

この構成によっても、車両のドライバの安全運転のために有用な情報として、移動体が車両に衝突する危険度を得ることができる。また、この危険度の算出を、ステレオカメラ等の比較的高価な構成を採用することなく、単眼カメラという比較的安価な構成によって実現するので、コストを低減できる。さらに、消失点と移動体との画像上の距離に基づいて、簡易な計算で危険度を算出できる。

上記の移動体認識システムにおいて、前記衝突危険度算出部は、前記移動体上の複数の前記特徴点のうちのいずれかの特徴点、又は前記移動体上の複数の特徴点から求められた点を代表点として、前記代表点が前記車両に衝突する危険度を算出してよい。

この構成によれば、移動体の位置として適切な代表点を特定できる。

上記の移動体認識システムは、前記衝突危険度算出部で算出された危険度に応じて前記車両のドライバに危険を報知する報知部を更に備えていてよい。

この構成によれば、移動体が車両に衝突する危険度に応じてドライバに注意を喚起できる。

上記の移動体認識システムにおいて、前記衝突危険度算出部は、前記移動体が前記車両に衝突するまでの衝突時間に基づいて前記危険度を修正してよい。

この構成によれば、衝突時間も加味してより適切な危険度を得ることができる。

本発明のある態様の移動体認識プログラムは、コンピュータを、車両に設置され、複数の連続する単視点の画像を撮影するカメラにて撮影された複数の画像を用いて、画像中の移動体を検出する移動体検出部、前記移動体検出部にて検出された移動体の前記カメラに対する相対的進入角度を推定する相対的進入角度推定部、及び 前記相対的進入角度と、前記カメラから前記移動体に向かう移動体方向との関係に基づいて、前記移動体が前記車両に衝突する危険度を算出する衝突危険度算出部して機能させる。

この構成によっても、車両のドライバの安全運転のために有用な情報として、移動体が車両に衝突する危険度を得ることができる。また、この危険度の算出を、ステレオカメラ等の比較的高価な構成を採用することなく、単眼カメラという比較的安価な構成によって実現するので、コストを低減できる。

本発明の別の態様の移動体認識プログラムは、コンピュータを、車両に設置され、複数の連続する単視点の画像を撮影するカメラにて撮影された複数の画像を用いて、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを生成し、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点をグルーピングすることで、グルーピングされた前記複数の特徴点を移動体として検出する移動体検出部、及び前記移動体が前記車両に衝突する危険度を算出する衝突危険度算出部であって、前記画像における前記消失点との間の距離が近い前記移動体の前記危険度が、前記画像における前記消失点との間の距離が遠い前記移動体の前記危険度よりも高くなるように、前記危険度を算出する衝突危険度算出部として機能させる。

この構成によっても、車両のドライバの安全運転のために有用な情報として、移動体が車両に衝突する危険度を得ることができる。また、この危険度の算出を、ステレオカメラ等の比較的高価な構成を採用することなく、単眼カメラという比較的安価な構成によって実現するので、コストを低減できる。さらに、消失点と移動体との画像上の距離に基づいて、簡易な計算で危険度を算出できる。

本発明のある態様の移動体認識方法は、車両に設置されたカメラで、複数の連続する単視点の画像を撮影する撮影ステップと、前記カメラにて撮影された複数の画像を用いて、画像中の移動体を検出する移動体検出ステップと、前記移動体検出ステップにて検出された移動体の前記カメラに対する相対的進入角度を推定する相対的進入角度推定ステップと、前記相対的進入角度と、前記カメラから前記移動体に向かう移動体方向との関係に基づいて、前記移動体が前記車両に衝突する危険度を算出する衝突危険度算出ステップとを備えた構成を有する。

この構成によっても、車両のドライバの安全運転のために有用な情報として、移動体が車両に衝突する危険度を得ることができる。また、この危険度の算出を、ステレオカメラ等の比較的高価な構成を採用することなく、単眼カメラという比較的安価な構成によって実現するので、コストを低減できる。

本発明の別の態様の移動体認識方法は、車両に設置されたカメラで、複数の連続する単視点の画像を撮影する撮影ステップと、前記カメラにて撮影された複数の画像を用いて、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを生成し、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点をグルーピングすることで、グルーピングされた前記複数の特徴点を移動体として検出する移動体検出ステップと、前記移動体が前記車両に衝突する危険度を算出する衝突危険度算出ステップとを備え、前記衝突危険度算出ステップは、前記画像における前記消失点との間の距離が近い前記移動体の前記危険度が、前記画像における前記消失点との間の距離が遠い前記移動体の前記危険度よりも高くなるように、前記危険度を算出する。

この構成によっても、車両のドライバの安全運転のために有用な情報として、移動体が車両に衝突する危険度を得ることができる。また、この危険度の算出を、ステレオカメラ等の比較的高価な構成を採用することなく、単眼カメラという比較的安価な構成によって実現するので、コストを低減できる。さらに、消失点と移動体との画像上の距離に基づいて、簡易な計算で危険度を算出できる。

本発明によれば、車両のドライバの安全運転のために有用な情報として、移動体が車両に衝突する危険度を得ることができる。また、この危険度の算出を、ステレオカメラ等の比較的高価な構成を採用することなく、単眼カメラという比較的安価な構成によって実現するので、コストを低減できる。

本発明の実施の形態における移動体認識システムの構成を示すブロック図 （ａ）本発明の実施の形態における相対的進入角度を説明するための対地速度の例を示す図 （ｂ）本発明の実施の形態における相対的進入角度を示す図 本発明の実施の形態における座標の定義を説明する図 本発明の実施の形態における連結オプティカルフローを説明する図 本発明の実施の形態における三次元空間の点群が単位時間内に並進移動する距離を示す図 本発明の実施の形態における消失点を説明する図 （ａ）本発明の実施の形態におけるロバスト推定のコスト関数を示すグラフ （ｂ）本発明の実施の形態におけるロバスト推定の影響関数を示すグラフ 本発明の実施の形態におけるアウトライアが発生しやすい画像の例を示す図 （ａ）本発明の実施の形態における相対的進入角度（θ＜０の場合）の定義を説明する図 （ｂ）本発明の実施の形態における相対的進入角度（θ＞０の場合）の定義を説明する図 本発明の実施の形態における相対的進入角度と消失点との関係を示す図 本発明の実施の形態における距離推定方法の第１の例の地面点を説明する図 本発明の実施の形態における距離推定方法の第１の例の距離の上限値の算出を説明する図 本発明の実施の形態における距離の上限の推定値に基づく危険度の算出を説明するための図 本発明の実施の形態における距離の推定値に基づく危険度の算出を説明するための図 本発明の実施の形態における距離の推定値に基づく危険度の算出の変形例を説明するための図 本発明の実施の形態における距離の確率密度関数に基づく危険度の算出を説明するための図 本発明の実施の形態における推定された距離の上限及び距離の分布に基づく危険度の算出を説明するための図 本発明の実施の形態におけるＴＴＣを加味した危険度の算出を説明するための図

以下、本発明の実施の形態の移動体認識システムについて、図面を参照しながら説明する。図１は、本発明の実施の形態の移動体認識システムの構成を示すブロック図である。本実施の形態の移動体認識システム１００は、移動体が自車両に衝突する危険度を算出してドライバに報知するシステムである。移動体認識システム１００は、カメラ１０、移動体検出部２０、相対的進入角度推定部３０、衝突危険度算出部４０、及び報知部５０を備えている。移動体検出部２０、相対的進入角度推定部３０、及び衝突危険度算出部４０からなる構成は、コンピュータが本発明の実施の形態の移動体認識プログラムを実行することで実現される。移動体認識プログラムは、記憶媒体に記憶されて、記憶媒体からコンピュータによって読み出されて、コンピュータで実行されてよい。

まず、移動体認識システム１００の概要を説明する。カメラ１０は、車両に搭載され、車両が走行している間に、車両周辺を一定の周期で連続的に撮影して画像を生成し、移動体検出部２０に出力する。移動体検出部２０は、カメラ１０から順次入力される複数の画像を用いて、それらの画像の中から移動体を検出する。自車両（即ちカメラ１０）が移動しているので、地面に対して静止している物体も画像内での位置は時々刻々と変化するが、移動体検出部２０は、このような複数の画像から、地面に対して移動している物体を移動体として検出する。

相対的進入角度推定部３０は、検出された移動体の車両に対する相対的な移動方向を相対的進入角度として推定する。図２は、本発明の実施の形態における相対的進入角度を説明する図である。いま、図２（ａ）に示すように、車両Ｃが前方に速度ｖ_cで直進しており、その前方で移動体Ｏが車両の進行方向と直交する方向に速度ｖ_oで移動しているとすると、相対的進入角度θは、図２（ｂ）に示すように、車両の前方方向とｖ_o−ｖ_cのなす角度として求められる。相対的進入角度推定部３０は、画像とカメラ１０の焦点距離を用いて、この相対的進入角度θを推定する。

衝突危険度算出部４０は、自車両から移動体検出部２０で検出された移動体までの距離を推定し、その推定された距離と、相対的進入角度推定部３０で推定した相対的進入角度とに基づいて、衝突の危険度を算出する。報知部５０は、衝突危険度算出部４０で算出された危険度に基づいてドライバへの報知を行なう。以下、詳細に説明する。

カメラ１０は、車両に搭載されて、車両の周辺を撮影する。特に、本実施の形態の移動体認識システム１００は、移動体が自車両に対する衝突の危険性を算出して報知するので、カメラ１０は、自車両の進行方向を撮影するように、車両に設置される。カメラ１０は車両の前方を撮影するように、例えばルームミラーの裏側（前方側）に設置されてよい。車両は後退することも可能であるので、カメラ１０が車両の後方を撮影するように、例えば後ろのナンバープレート近くに設置されてもよい。カメラ１０は、一系統の光学系及び撮像素子を備えた単眼のカメラである。カメラ１０は、所定の周期で（例えば１／３０秒ごとに）連続的に撮像をして画像信号を出力する。

移動体検出部２０は、直線運動を行う剛体のモデルとピンホールカメラモデルに基づいて、画像中の特徴点の座標と動きベクトル（オプティカルフロー）の情報から、同一移動体の特徴点をグルーピング（クラスタリング）する（詳細は特開２０１１−８１６１３号公報を参照）。ここで、オプティカルフローとは、動画などにおいて同じ画像パッチ（例えば５ピクセル四方の小領域）を追跡した軌跡のことである。移動体検出部２０は、また、オプティカルフローからカメラ１０の回転移動に起因する成分を除去する処理も行なう。移動体検出部２０は、連結オプティカルフロー算出部２１、回転移動量・消失点推定部２２、背景点除去部２３、及びグルーピング部２４を備えている。

まず、以下の演算において用いる座標を定義する。図３は、本発明の実施の形態における座標の定義を説明する図である。路面が平坦なとき、カメラ１０の光軸と路面は平行であると仮定する。カメラ１０の光軸をＺ軸、鉛直下方向をＹ軸とし、Ｘ軸は右手座標系により定義する。原点（０，０，０）はカメラ１０の光学中心とする。なお、本実施の形態ではカメラ１０の光軸を路面と平行と仮定するが、カメラ１０の光軸と路面が平行でない場合においても適切な回転行列を導入することで容易に一般化が可能である。透視投影モデルを考え、画像座標は（ｘ，ｙ）＝（ｆＸ／Ｚ，ｆＹ／Ｚ）で与えるものとする。ここで、ｆはカメラ１０の焦点距離であり、既知である。

連結オプティカルフロー算出部２１は、カメラ１０で得られた複数の画像から、複数の画像間で対応する特徴点を抽出し、特徴点ごとにオプティカルフローを算出する（J. shi and C. Tomasi, “Good features to track,”, IEEE CVPR, pp. 593-600, 1994を参照）。本実施の形態ではオプティカルフローの算出アルゴリズムには、ＬＫ法を使用する（B. D. Lucas and T. Kanade, “An iterative image registration technique with an application to stereo vision,” IJCAI, pp. 674-679, 1981を参照）。

オプティカルフローの算出においては、アウトライアが少ないことが望ましい。アウトライアとは、一般には想定外の計算結果のことを指し、オプティカルフローのアウトライアとは、特に、誤って追跡された軌跡のことを指す。上記の特許文献１の技術はオプティカルフローのアウトライアに対して頑健であるが、それでもなお稀に複数のオプティカルフローが、アウトライアであるにもかかわらず同一の消失点と外分比を許容誤差の範囲で有することがある。この場合、アウトライアを検出してしまうため、危険度の計算を誤る結果となる。本実施の形態では演算量の低い、アウトライア除去方法を提供する。

オプティカルフローの精度を高めるために、本実施の形態では、互いに隣り合う２つのフレーム間のオプティカルフローを使う代わりに、隣り合うフレーム間のオプティカルフローを連続する複数フレーム分連結したものを使う。本明細書では、互いに隣り合う２つのフレーム間のオプティカルフロー、即ち、あるフレームの特徴点から当該フレームの次のフレームにおける当該特徴点と同じ（対応する）特徴点へのベクトルを「単オプティカルフロー」と呼び、複数の単オプティカルフローを連結して得られたオプティカルフロー、即ち、あるフレームにおける特徴点から、そのフレームから１以上の所定のフレーム数を隔てたフレームにおける当該特徴点と同じ（対応する）特徴点へのベクトルを「連結オプティカルフロー」と呼ぶ。

図４は、本発明の実施の形態における連結オプティカルフローを説明する図である。図４において、左の列は、カメラ１０によって連続的に取得された画像を上から順に時系列に並べたものであり、中央の列は、単オプティカルフローを示しており、右の列は、３つの単オプティカルフローを連結した連結オプティカルフローを示している。連結オプティカルフロー算出部２１は、同一の（対応する）特徴点の複数フレーム分の単オプティカルフローを連結し、連結オプティカルフローを算出する。

図４に示すように、単オプティカルフローは、隣り合う２つのフレーム間において、同一の特徴点を結ぶことで生成され、連結オプティカルフローは複数の単オプティカルフローを連結することで生成される。図４の例では、３つ（ｎ＝３）のオプティカルフローが連結されることで、連結オプティカルフローが生成されている。

回転移動量・消失点推定部２２は、連結オプティカルフローから消失点を推定する。一般的に、三次元上の点群が一定の速度で並進移動をするとき、これらの点群を透視投影した二次元の点群の移動の軌跡は、その延長線が一点で交わる特徴を持つ。この交点が消失点である。本明細書では、消失点という用語を、画像平面上の点の軌跡の延長線の交点の意味で用いる。なお、移動体が複数ある場合には、移動体ごとに消失点が推定される。

図５は、三次元空間の点群（移動体上の点）が単位時間内に並進移動する距離（点群の三次元空間内での速度）を示す図である。この速度Ｖを（ΔＸ，ΔＹ，ΔＺ） とすると、時刻ｔにおいて透視投影された画像座標 ｘ（ｔ）＝ｆ（Ｘ＋ｔΔＸ）／（Ｚ＋ｔΔＺ）、ｙ（ｔ）＝ｆ（Ｙ＋ｔΔＹ）／（Ｚ＋ｔΔＺ） は、ｔ→−∞又はｔ→∞ の極限において、 （ｆΔＸ／ΔＺ，ｆΔＹ／ΔＺ） に収束する。よって、消失点の二次元座標は（ｆΔＸ／ΔＺ，ｆΔＹ／ΔＺ）と与えられる。なお、ｔ→−∞で収束する点群は、カメラから遠ざかる点群であり、ｔ→∞で収束する点群は、カメラに近づく点群である。

図６は、消失点を説明する図である。図６の例では、特徴点ＦＰ１〜６の連結オプティカルフローＣＯＦ１〜６の延長線が１つの点で交わっており、この点が消失点ＶＰとなる。回転移動量・消失点推定部２２は、各特徴点の連結オプティカルフローを延長して、複数の連結オプティカルフローが交わる点を探索して、それを消失点として推定する。オプティカルフローには、アウトライアや、移動体のオプティカルフローや、背景物体のオプティカルフローが混在していることを考えると、消失点の推定にはロバスト推定を適応するのが妥当である。ロバスト推定とは、はずれ値に対して頑健なパラメタ推定のことをいう。本実施の形態では、ロバスト推定として、Ｍ推定（P. J. Huber and E. M. Ronchetti, “Robust Statistice, 2nd Edition,” Wiley Interscienceを参照）を適用する。

なお、例えば演算能力が制限されている等の理由で上述の技術を適応できない場合は、回転移動量・消失点推定部２２は、以下の簡易な処理により連結オプティカルフローの消失点を求めてもよい。この方法では、回転移動量・消失点推定部２２は、あらかじめカメラ１０の画像の中の地平線の位置を記録しておき、地平線と連結オプティカルフローの交点を、この点の軌跡の消失点とする。この方法は、移動体とカメラ１０が平らな地面と平行に移動しているとき、移動体の軌跡の消失点は地平線上に存在するという事実に基づいている。但し、連結オプティカルフローの傾きが小さい場合（地平線とほぼ平行である場合）、連結オプティカルフローの誤差が消失点の値を大きく変動させ得るので、連結オプティカルフローの誤差の範囲で消失点の値の範囲が大きすぎる場合には、例外的処理として、この点を検出候補から除外する。

また、回転移動量・消失点推定部２２は、カメラ１０の回転移動に起因するオプティカルフローの成分を推定して、それを連結オプティカルフローから除去する。いま、三次元の並進移動量（Ｖ_x，Ｖ_y，Ｖ_z）と回転移動量Ω＝（Ω_x，Ω_y，Ω_z）を持つカメラによって透視投影された三次元上の点（Ｘ，Ｙ，Ｚ）のオプティカルフローをｖ＝（ｖ_x，ｖ_y）とすると、このオプティカルフローｖは下式（１）で表される。

ここで、ｘ＝ｆＸ／Ｚ、ｙ＝ｆＹ／Ｚであり、ｖ_x ^r、ｖ_y ^rは、以下の式（２）で与えられるカメラ１０の回転量の一次の項からなるオプティカルフローの成分である。

式（２）からｐ_F＝（ｘ_F，ｙ_F）＝（ｆＶ_x／Ｖ_z，ｆＶ_y／Ｖ_z）と置き換えられ、奥行き成分ＺとＶ_zを消去すると、以下の式（３）が得られる。

ここで、Ｒ（ｐ_F，Ω）は、パラメタ空間内の誤差関数であり、理想状態において０をとる。式（３）は即ち、回転成分を取り除いた静止点のオプティカルフローを延長すると、画像上の１点（即ち、拡張焦点：ＦＯＥ：Focus Of Expansion）で交わることを意味している。

オプティカルフローのはずれ値や移動体の点は、一般的にはＲの値が大きいと考えられため、本実施の形態では、回転移動量・消失点推定部２２は、式（４）のＭ推定を使用する。

ここで、ρ（Ｒ）は最小値に０を持つ、Ｒ＝０に対して対称の関数である。はずれ値に対する頑健性の度合いは、影響関数ψ（Ｒ）＝∂ρ／∂Ｒによって特徴付けられる。

図７（ａ）は、ロバスト推定のコスト関数を示すグラフであり、図７（ｂ）は、ロバスト推定の影響関数を示す図である。図７（ａ）及び（ｂ）において、破線はＬ２ノルムを示し、実線はＣａｕｃｈｙ関数を示している。本実施の形態では、図７及び次式（５）で定義されるＣａｕｃｈｙの影響関数を用いている。

Ｃａｕｃｈｙの影響関数は、Ｒ＞０において単調増加関数ではなく、極値を境に減少に転じるため、誤差の大きな入力の解に対する影響を低く抑えることができる。式（５）の定数Ｃは、Ｃ＝２．３８５である。この値は、平均を０とするガウス分布の最小二乗法の９５％の効率を与えるよう設定されている。

回転移動量・消失点推定部２２は、Ｍ推定の解法として反復再重み付け最小二乗法（ＩＲＬＳ：Iteratively Reweighted Least Squares）を用いる。これは、式（４）のコスト関数を重み付き誤差の二乗和の形に変形し、最小二乗法と重み更新を解が収束するまで交互に繰り返す方法である。この重みは影響関数を用いて、ω＝ψ（Ｒ）／Ｒで与えられる。以下に、ＩＲＬＳのアルゴリズムを示す。

上記のステップ３）のリスケーリングにおける分母１．４８ｍａｄ（Ｒ）は、Ｒが正規分布に従うとき、標準偏差と等しくなるように設定されている。標準偏差の代わりに中央値絶対偏差（ｍａｄ：median absolute deviation）を用いた理由は、アウトライアの混在によるスケールの変動を小さく抑えるためである。誤差はＦＯＥ座標と回転移動量との積の形で表されるため、ステップ４）は、非線形最小二乗法となる。本実施の形態では、回転移動量・消失点推定部２２は、ニュートン法によって解を求める。回転移動量・消失点推定部２２は、求めた回転移動量に起因する成分を連結オプティカルフローから除去する。

背景点除去部２３は、連結オプティカルフローを延長した直線が許容誤差の範囲内で背景の消失点を通る場合に、その連結オプティカルフローを背景、即ち地面に対して移動しない物体として除去する。即ち、地面に対して移動する移動体は、背景とは異なる位置に消失点を有するので、そのような消失点を有する特徴点群を移動体として検出するために、背景点除去部２３は、背景の消失点を有する特徴点及びその連結オプティカルフローを除去する。

次に、グルーピング部２４について説明する。連結オプティカルフロー算出部２１によって生成されて、回転移動量・消失点推定部２２によって回転移動量に起因する成分が除去され、かつ背景除去部２３によって背景として除去された後に残った連結オプティカルフローは、アウトライアか、正しくトラッキングされた移動体上の特徴点のオプティカルフローのいずれかである。グルーピング部２４は、連結オプティカルフローを用いて、アウトライアを除去しつつ、特徴点及びその連結オプティカルフローのグルーピングを行なう。

グルーピング部２４は、残った特徴点とその連結オプティカルフローに対し、再度消失点をロバスト推定する。グルーピング部２４は、まず、連結オプティカルフローを延長した直線が、許容誤差の範囲でこの消失点を通過する特徴点及びその連結オプティカルフローを仮のグループとしてグルーピングし、この仮のグループからアウトライアを除去し、最終的にグループを確定する。グルーピング部２４は、まず、連結オプティカルフローの直進らしさによってアウトライアを判定して除去し、さらに、連結オプティカルフローより算出されるＴＴＣの類似の度合いからアウトライアを判定して除去する。以下、順に説明する。

（直進らしさに基づくアウトライア除去）
特徴点が正しくトラッキングされている場合、その点が三次元空間で等速直線運動をしている限り、その軌跡は直線となる。一般に、十分に短い時間間隔で移動体の位置を観測する場合、等速直線運動モデルは良い近似である。従って、複数の単オプティカルフローが直線的に並んでいるか否かを判定することはアウトライア除去に有効である。

図８は、アウトライアが発生しやすい画像の例を示す図である。図８に示すように、画像の中に樹木があり、似た形状の葉や枝を多く含む画像である場合、即ち、似通ったパターンを複数個含む画像である場合は、複数のフレームについて対応する特徴点を検出すると、本来対応しない点ＦＰ_t1、ＦＰ_t2、ＦＰ_t3、ＦＰ_t4が対応する特徴点として検出されてしまう。このような特徴点及びそれらを結ぶオプティカルフローは、アウトライアである。このとき、アウトライアとして検出された特徴点ＦＰ_t1、ＦＰ_t2、ＦＰ_t3、ＦＰ_t4の連結オプティカルフローＣＯＦを求めると、図８に示すように、連結オプティカルフローＣＯＦと各単オプティカルフローとのずれが大きくなる。

このようなアウトライアを判定して除去するために、グルーピング部２４は、各単オプティカルフローの、連結オプティカルフローに直交する成分を抽出し、そこから直進らしさの度合いを定量化し、その値と閾値とを比較することによりアウトライアの判定を行う。具体的には、グルーピング部２４は、特徴点ごとに、連結オプティカルフローを構成する各単オプティカルフローが直線的であるか否かを次の要領で判定する。

いま、ｎ連結オプティカルフローを構成する単オプティカルフローを時系列に（Ｖ_x（ｉ）， Ｖ_y（ｉ））、ｉ＝１，２，…，ｎとし、ｎ連結オプティカルフローを（Ｖ_x（１：ｎ），Ｖ_y（１：ｎ））と表記する。まず、グルーピング部２４は、連結オプティカルフローに直交する単位ベクトルを算出する。具体的には、この単位ベクトルは（Ｖ_y（１：ｎ），−Ｖ_x（１：ｎ））／ｓｑｒｔ（Ｖ_x（１：ｎ）²＋Ｖ_y（１：ｎ）²） と与えられる。

次に、ｎ連結オプティカルフローを構成する各単オプティカルフローとこの単位ベクトルの内積の絶対値を算出し、ｎ個分の値の和を取り、この値を直線らしさの指標とする。グルーピング部２４は、この直線らしさの指標をあらかじめ定めた閾値と比較し、連結オプティカルフローの直線らしさの指標が閾値よりも大きい特徴点及びその連結オプティカルフローを仮のグループから除外する。

（ＴＴＣの類似度に基づくアウトライア除去）
グルーピング部２４は、各特徴点の連結オプティカルフローに基づいて、衝突時間（ＴＴＣ：Time To Collision）を算出する。ＴＴＣとは、三次元上の点がカメラに対して接近しているとき、その点が画像平面に到達するまでの時間をいう。なお、衝突時間の算出において、画像平面は無限の広がりを持つものとする。また、点がカメラから遠ざかるときのＴＴＣは負の値を取る。

いま、連結オプティカルフローを表す二次元のベクトルをｕとし、そのｘ成分及びｙ成分をそれぞれ、ｕ_x，ｕ_yとすると、ｕ²＝ｕ_x ²＋ｕ_y ²を満たし、ｕ_xは、三次元座標Ｘ，Ｚ と速度ΔＸ，ΔＺによって下式（６）で表される。

ここで、ｆはカメラ１０の焦点距離である。速度の二乗の項は無視できるオーダーであると考えると、下式（７）を得る。

ここで、消失点のｘ座標ｘ_∞ は、時間を無限にさかのぼった（点が接近している場合）ときに収束する位置であるため、下式（８）のように表される。

ここで、ＴＴＣをΔＴと表記すると、ΔＴは、Ｚ／（−ΔＺ）で与えられる（特徴点が接近する場合は、ΔＺ＜０）。オプティカルフローのｙ成分ｕ_yについても同様の導出ができるため、下式（９）が得られる。

式（７）と式（９）を連立して解くと、下式（１０）が得られる。

ここで、ｐは特徴点の画像座標であり、ｐ_∞は点の軌跡の消失点の画像座標であり、「・」は内積演算子である。

グルーピング部２４は、各特徴点のｎ連結オプティカルフロー（Ｖ_x（１：ｎ），Ｖ_y（１：ｎ））から式（１０）を用いて衝突時間ΔＴ_n を算出する。グルーピング部２４は、同一の特徴点のΔＴ_n-1，ΔＴ_n-2，……もΔＴ_nと同様の方法で算出する。特徴点が正しくトラッキングされている場合には、その点が三次元空間で等速直線運動をしている限り、ΔＴ_n，ΔＴ_n-1，……は互いに等しくなる。上述のように、十分に短い時間間隔で移動体を観測する場合、等速直線運動モデルは良い近似であるため、ΔＴ_n、ΔＴ_n-1、……は互いに類似するといえる。ΔＴ_n，ΔＴ_n-1，……の類似が崩れている場合、それは点が誤ってトラッキングがなされた結果であり、アウトライアであると判定できる。

グルーピング部２４は、ｎ連結オプティカルフローを構成する特徴点群の各々について、衝突時間ΔＴ_n、ΔＴ_n-1、……の類似度を求めて、それを予め定めた閾値と比較し、閾値よりも小さい特徴点及びその連結オプティカルフローを仮のグループから除外する。具体的には、グルーピング部２４は、ＴＴＣのずれをＤ_j＝｜ΔＴ_n-j−ΔＴ_n｜（ｊ＝１，……，ｎ−１） と定量化し、Ｄ_j＞Ｄ_thを満たすｊが一つでもある場合、この特徴点及びその連結オプティカルフローをグループから除外する。ここで、Ｄ_thはあらかじめ定められた閾値である。

グルーピング部２４は、上記の直進らしさに基づく方法、及びＴＴＣの類似度に基づく方法によってアウトライアを除去して連結オプティカルフローのグルーピングを行なう。１つのグループにグルーピングされた複数の連結オプティカルフローの特徴点は、１つの移動体の特徴点である。グルーピング部２４は、このようにして特徴点のグルーピングを行なうことで移動体を検出する。なお、グルーピング部２４は、上記の直進らしさに基づく方法、及びＴＴＣの類似度に基づく方法のいずれかのみによってアウトライアを除去してもよい。

次に、相対的進入角度推定部３０について説明する。相対的進入角度推定部３０は、移動体検出部２０で検出された移動体について、その移動体の車両に対する相対的進入角度を推定する。図９は、相対的進入角度の定義を説明する図である。図９（ａ）は、θ＜０の場合を示しており、図９（ｂ）はθ＞０の場合を示している。図９（ａ）及び（ｂ）に示すように、三次元上の点がＰ₀からＰ₁まで移動したとき、次式（１１）で与えられる角度を相対的進入角度と定義する。

同一の消失点を許容誤差の範囲で共有する点群があるとき、この点群の相対的進入角度が推定可能である。

図１０は、相対的進入角度と消失点との関係を示す図である。同一の速度で並進移動する移動体の三次元上の複数の点Ｐａ、Ｐｂがあるとき、これら点の透視投影後の軌跡は消失点を持つ。いま、光学中心から消失点ＶＰに向かうベクトルＶ＝（ｆΔＸ／ΔＺ，ｆΔＹ／ΔＺ，ｆ）を考えると、このベクトルＶは、点Ｐａ、Ｐｂの速度ベクトルｖａ＝ｖｂ＝（ΔＸ，ΔＹ，ΔＺ）の定数倍（ｆ／ΔＺ倍）である。よって、光学中心から焦点距離ｆだけＺ方向に離れたところにＺ方向に垂直な画像平面を設定すると、光学中心から画像上の消失点ＶＰに向かうベクトルＶと、同一の速度で並進移動する移動体の三次元上の複数の点Ｐａ、Ｐｂの速度ベクトルｖａ、ｖｂとは、平行である。このことから、相対的進入角度は、次式（１２）のとおりとなる。

ここで、ｘ∞＝ｆΔＸ／ΔＺ、ｓは二次元上の点が消失点から遠ざかるとき（ΔＺ＜０）に＋１、近づくとき（ΔＺ＞０）に−１と設定する。相対的進入角度算推定部３０は、式（１２）によって移動体検出部２０で検出された移動体の車両に対する相対的進入角度の推定値を算出する。

次に、衝突危険度算出部４０について説明する。衝突危険度算出部４０は、相対的進入角度やＴＴＣや距離推定値に基づいて移動体と自車両の衝突の危険度を算出する。衝突危険度算出部４０は、距離推定部４１及び危険度算出部４２を備えている。距離推定部４１は、自車両から移動体までのＺ方向の距離（以下単に「距離」という。）を推定する。危険度算出部４２は、距離推定部４１にて推定された距離に基づいて、移動体が自車両に衝突する危険度を算出する。

距離推定部４１にて距離を推定する方法には、以下に説明する複数の方法がある。距離推定部４１は以下のいずれかの一つの推定方法で距離を推定してもよいし、複数の推定方法でそれぞれ推定してもよい。推定された距離は危険度算出部４２における危険度の算出に用いられるため、距離推定部４１は、危険度算出部４２における危険度の算出方法に必要な距離の推定を行なう。以下、それぞれ説明する。

（距離推定方法の第１の例：距離の上限を算出する方法）
第１の例では、距離推定部４１は、移動体までの距離の上限を推定する。図１１は、距離推定方法の第１の例における地面点を説明する図である。また、図１２は、距離推定方法の第１の例における距離の上限値の算出を説明する図である。距離推定部４１は、図１１に示すように、グルーピングされた特徴点群から、ｙ座標の値が最も大きい特徴点（以下、「最下特徴点」という。）を選び、最下特徴点と光学中心を結ぶ直線と地面Ｇの交点（以下、「地面点」という。）ＧＰの座標を算出する。

図１１に示すように、移動体上の点として検出された特徴点群は、それが地面よりも上にある限り、最下特徴点の指し示す三次元上の点のＺ座標は、地面点ＧＰのＺ座標よりも小さくなる。グルーピングされた特徴点群の特徴点同士の間の距離が、カメラ１０からの距離と比べて十分に小さいと仮定すると、地面点ＧＰのＺ座標は、特徴点群のＺ座標の上限値とみなすことができる。地面点ＧＰのＺ座標、即ち距離の上限値Ｄ１は、図１２に示すように、Ｄ１＝Ｈｃ＊ｆ／ｙ＿ｍａｘによって与えられる。ここで、Ｈｃはカメラ１０の地面からの高さ、ｙ＿ｍａｘは最下特徴点のｙ座標、ｆは焦点距離、即ちカメラの光学中心から画像平面ＩＰまでの距離である。なお、この方法は、ｙ＿ｍａｘが正の時のみ適応可能である。距離推定部４１は、Ｈｃ＊ｆ／ｙ＿ｍａｘを距離の上限値Ｄ１として算出する。

（距離推定方法の第２の例：距離を直接推定する方法）
第２の例では、距離推定部４１は、移動体を代表する１つの代表点を特定して、自車両の並進移動速度と代表点の衝突時間ＴＴＣを利用して、距離を直接推定する。距離推定部４１は、移動体としてグルーピングされた複数の特徴点のうちのいずれかを代表点として選択する。代表点として選択された特徴点のＴＴＣは移動体検出部２０で求まっているので、これを利用する。ＴＴＣをΔＴとすると、ΔＴ＝Ｚ／（−ΔＺ）である。移動体が自車両の進行方向に対して直交して並進移動していると仮定すると、ΔＺ＝−Ｖ_cである。ここで、Ｖ_cは自車両の並進移動速度であり、距離推定部４１は図示しない構成によって、このＶ_cを取得している。距離推定部４１は、Ｚ＝ΔＴＶ_cによってＺ、即ち自車両から移動体までの距離を推定する。

（距離推定方法の第３の例：距離の確率分布を決定する方法）
第３の例では、距離推定部４１は、移動体を代表する１つの代表点を特定して、代表点の衝突時間ＴＴＣを利用して距離の確率の分布を決定する。距離推定部４１は、移動体としてグルーピングされた複数の特徴点のうちのいずれかを代表点として選択する。代表点として選択された特徴点のＴＴＣは移動体検出部２０で求まっているので、これを利用する。第３の例において、距離推定部４１は、移動体のＺ方向の速度の確率分布を仮定する。背景点の相対的進入角度とは異なる相対的進入角度を持って移動する物体は、自車両の並進移動方向に対し非零の角度を持っている。そして、これらの移動体のＺ方向の速度の確率分布を、平均０の正規分布と置くことは経験的に妥当である。

距離推定部４１は、移動体の代表点のＺ方向の速度ΔＺの平均−Ｖを予め記憶しており、その標準偏差σも、例えば３ｋｍ／ｈとして予め固定値を記憶している。移動体の代表点のＺ方向の速度ΔＺの確率の分布は、平均−Ｖ、標準偏差σの正規分布に従う。代表点のＴＴＣをΔＴと表記すると、代表点の距離はＺ＝ΔＴ（−ΔＺ）であり、従って、代表点の距離Ｚの確率分布は、平均ΔＴ（−Ｖ）、標準偏差ΔＴσの正規分布に従うことになる。距離推定部４１は、代表点の距離Ｚの確率分布を、平均ΔＴ（−Ｖ）、標準偏差ΔＴσの正規分布として決定する。

危険度算出部４２は、相対的進入角度推定部３０で推定された相対的進入角度θに基づいて危険ゾーンを定義した上で、移動体が自車両に衝突する危険度を算出する。危険ゾーンとは、ＸＺ平面の中の領域であり、ある一定の相対的進入角度を持ってＸＺ平面上の点が自車両に接近したときに、その点が車両に衝突する範囲をいう。但し、自車両が占めるＸＺ平面の部分は非危険ゾーンとする。危険度算出部４２は、距離推定部４１における距離の推定方法に応じた方法で危険度を算出する。以下、順に説明する。

（危険度算出の第１の例：距離の上限の推定値に基づく危険度の算出）
図１３は、距離の上限の推定値に基づく危険度の算出を説明するための図である。危険ゾーンＤＺは、車両Ｃの進行方向（Ｚ軸方向）から相対的進入角度θだけ傾いた方向に、当該方向に垂直な方向の車両Ｃの幅で延び、推定された距離の上限Ｄ１より車両Ｃに近い領域である。なお、危険度算出部４２は、移動体が車両Ｃの右側にあるときには、右に相対的進入角度θだけ傾いた危険ゾーンを設定し、移動体が車両Ｃの左側にあるときには、左に相対的進入角度θだけ傾いた危険ゾーンを設定する。また、光学中心と画像上のある点とを通る直線をＸＺ平面に正射影したものを、ＸＺレイと呼ぶこととする。換言すれば、ＸＺレイは、傾きがＸ／Ｚ＝ｘ／ｆで与えられる、原点を通る直線である。図１３には、ＸＺレイ（１）とＸＺレイ（２）が示されている。

危険度算出部４２は、移動体を代表する１つの代表点を特定して、当該代表点のＸＺ例と危険ゾーンＤＺを用いて、代表点が車両に衝突する危険度を算出する。具体的には、危険度算出部４２は、代表点のＸＺレイの、原点から上限値Ｄ１までの間の線分のうち、危険ゾーンＤＺに入る線分の割合を算出し、この値を危険度とする。図１３の例では、ＸＺレイ（１）の危険度は、Ｌ１／（Ｌ１＋Ｌ２）となり、ＸＺレイ（２）はすべて危険ゾーンに含まれているので、その危険度は１００％（最大）となる。

図１３から明らかなように、本例では、ＸＺ平面において、相対的進入角度θの方向と代表点の位置ベクトルの方向とのずれが小さいほど（一致度が高いほど）、危険度が高くなるようにする。このことは、換言すれば、画像内において、消失点と代表点が近いほど危険度が高くなることを意味する。

なお、危険度算出部４２は、この割合を四捨五入するなどして離散値化し、複数の段階に分けられたレベルとして危険度を算出してもよい。この場合には、割合が高いほど危険なレベルとなるようにする。

（危険度算出の第２の例：距離の推定値に基づく危険度の算出）
図１４は、距離の推定値に基づく危険度の算出を説明するための図である。危険度算出部４２は、上記の算出例と同様に、車両Ｃの進行方向（Ｚ軸方向）から相対的進入角度θだけ傾いた方向に、当該方向に垂直な方向の車両Ｃの幅で延びる危険ゾーンＤＺを設定する。なお、本例でも、危険度算出部４２は、移動体が車両Ｃの右側にあるときには、右に相対的進入角度θだけ傾いた危険ゾーンを設定し、移動体が車両Ｃの左側にあるときには、左に相対的進入角度θだけ傾いた危険ゾーンを設定する。但し、本例では、危険ゾーンの上限は設定しない。本例では、代表点の距離Ｄ２が推定されているので、代表点のＸＺレイと距離の推定値Ｄ２との交点は、即ち代表点の（Ｘ，Ｚ）座標となる。よって、この代表点の（Ｘ，Ｚ）座標が危険ゾーンＤＺに含まれるか否かを危険度とすることができる。即ち、代表点の（Ｘ，Ｚ）座標が危険ゾーンＤＺに含まれているときは危険であると判定し、代表点の（Ｘ，Ｚ）座標が危険ゾーンＤＺに含まれていないときは危険でないと判定する。

図１４において、ＸＺレイ（１）と距離の推定値Ｄ２との交点は、危険ゾーンＤＺの外にあるので、危険ではないと判定される。ＸＺレイ（２）と距離の推定値Ｄ２との交点は、危険ゾーンＤＺ内にあるので、危険であると判定される。

図１５は、本例の変形例を説明するための図である。本変形例では、図１５に示すように、危険ゾーンＤＺを複数のレベルに分けて段階的に設定する。この変形例では、車両Ｃの前方部分（フロントバンパーを含む）をより多く含む領域を危険レベルの高い危険ゾーンＤＺ１を設定し、その外側に危険レベルが中程度の危険ゾーンＤＺ２を設定し、危険ゾーンの周りにも比較的低い危険レベルの危険ゾーンＤＺ３を設定する。そして、危険度算出部４２は、上記と同様に、ＸＺレイと距離の推定値Ｄ２との交点が含まれる危険ゾーンに応じた危険レベルを求める。なお、このような危険ゾーンのレベル分けは、第１の例及び後述する第３及び第４の例においても行なってよい。

本例でも、ＸＺ平面において、相対的進入角度θの方向と代表点の位置ベクトルの方向とのずれが小さいほど（一致度が高いほど）、危険度が高くなるように、換言すれば、画像内において、消失点と代表点が近いほど危険度が高くなるように、危険度が算出される。

（危険度算出の第３の例：距離の確率分布に基づく危険度の算出）
図１６は、距離の確率分布に基づく危険度の算出を説明するための図である。危険度算出部４２は、代表点のＸＺレイ上でちょうど危険ゾーンＤＺと安全ゾーンＳＺの境にある境界点ＢＰ（Ｘ_BP，Ｚ_BP）を算出する。危険度算出部４２は、この境界点ＢＰのＺ座標（Ｚ_BP）を境にして、距離推定部４１で推定された距離の確率分布を二分する。そうすると、確率分布の全体の面積に対する危険ゾーンＤＺ側の確率分布の確率密度関数の積分値Ｓ１は、代表点が危険ゾーンにある確率を示し、確率分布の全体の面積に対する安全ゾーンＳＺ側の確率分布の確率密度関数の積分値Ｓ２は、代表点が安全ゾーンにある確率を示すこととなる。

危険度算出部４２は、代表点が危険ゾーンＤＺ側にある確率をその代表点の危険度とする。なお、距離推定部４１で推定された距離分布が正規分布である場合、その積分には、誤差関数を利用できる。また、危険度算出部４２は、上記のように確率をそのまま危険度としてもよいし、離散化したレベルで危険度を求めてもよい。

本例でも、ＸＺ平面において、相対的進入角度θの方向と代表点の位置ベクトルの方向とのずれが小さいほど（一致度が高いほど）、危険度が高くなるように、換言すれば、画像内において、消失点と代表点が近いほど危険度が高くなるように、危険度が算出される。

（危険度算出の第４の例：推定された距離の上限及び距離の分布に基づく危険度の算出）
図１７は、推定された距離の上限及び距離の分布に基づく危険度の算出を説明するための図である。第４の例では、距離推定部４１において、距離の上限が算出され、距離の確率分布が決定される。危険度算出部４２は、距離推定部４１で決定した距離の確率分布を、距離推定部４１で求めた距離の上限の推定値Ｄ１で切断して単一切断正規分布とする。危険度算出部４２は、距離の上限Ｄ１以下の分布を用いて、第３の例と同様に、代表点のＸＺレイ上で危険ゾーンＤＺと安全ゾーンＳＺの境にある境界点ＢＰ（Ｘ_BP，Ｚ_BP）を算出して、この境界点ＢＰのＺ座標（Ｚ_BP）を境にして、単一切断正規分布を二分する。

代表点のＸＺレイの、距離の上限値Ｄ１までの距離範囲での確率密度関数の積分値は、即ち単一切断正規分布の積分値でありＳ１＋Ｓ２’となり、これは一般的には１００％とはならない。代表点のＸＺレイの、危険ゾーンにある距離範囲での確率密度関数の積分値は、図１７のＳ１である。本例では、Ｓ１＋Ｓ２’に対するＳ１の割合Ｓ１／（Ｓ１＋Ｓ２’）をこの代表点の危険度とする。本例においても、危険度算出部４２は、Ｓ１／（Ｓ１＋Ｓ２’）をそのまま危険度としてもよいし、離散化したレベルで危険度を求めてもよい。

本例でも、ＸＺ平面において、相対的進入角度θの方向と代表点の位置ベクトルの方向とのずれが小さいほど（一致度が高いほど）、危険度が高くなるように、換言すれば、画像内において、消失点と代表点が近いほど危険度が高くなるように、危険度が算出される。

以上説明したように、危険度算出の第１ないし第４の例のいずれにおいても、危険度は、ＸＺ平面において、相対的進入角度θの方向と代表点の位置ベクトルの方向とのずれが小さいほど（一致度が高いほど）高くなるように、換言すれば、画像内において、消失点と代表点が近いほど高くなるように、算出される。このような例は他にもあり得る。衝突危険度算出部４０は、例えば、相対的進入角度θの方向と代表点の位置ベクトルの方向との間の角度差、即ち、画像内における消失点と代表点との間の距離を危険度として算出してもよい。

（危険度算出の変形例）
この変形例は、上記の第１ないし第４の算出例に対して付加できる。この変形例では、上記の第１ないし第４の算出例で算出した危険度にＴＴＣを加味して判断を行なう。ＴＴＣが小さい物体は、当然ＴＴＣが大きい物体よりも危険度が高いといえる。従って、この変形例では、ＴＴＣが小さいほど危険度が大きくなるように、上記の第１ないし第４の算出例で算出した危険度にＴＴＣの大きさに基づく修正を加える。

具体的には、危険度が連続値で得られている場合には、ＴＴＣの逆数をＴＴＣレベルとして、例えば上記の第１ないし第４の算出例で算出した危険度にＴＴＣレベルを掛けることで危険度を修正できる。また、危険度が離散的なレベルで得られている場合には、例えば図１８に示すように、ＴＴＣの値を３つのレベルに分けて、危険度のレベルとＴＴＣレベルとの組み合わせによって危険度を修正できる。

なお、上述のように、距離推定部４１及び／又は危険度算出部４２は、移動体としてグルーピングされた複数の特徴点から１点を代表点として距離の推定及び／又は危険度の算出をするが、距離推定部４１及び／又は危険度算出部４２は、１つの移動体について複数の代表点を特定して、それぞれの代表点について距離の推定及び／又は危険度の算出を行なって、複数の代表点いついて算出された複数の危険度の平均をとってその移動体が自車両に衝突する危険度としてもよい。また、代表点は、その移動体としてグルーピングされた複数の特徴点のうちのいずれかでなくとも、それら複数の特徴点の中点、重心点等、複数の特徴点に基づいて決定される点であってもよい。

報知部５０は、衝突危険度算出部４０にて算出された衝突の危険度に従って、ドライバに報知を行う。移動体認識システム１００は、ヘッドアップディスプレイなどのディスプレイを備えている。ディスプレイには、カメラ１０で撮影された画像がリアルタイムで表示される。この画像には、移動体検出部２０でグルーピングされた特徴点群を囲む矩形が重畳される。このとき、報知部５０は、危険度に応じて矩形の色や太さを変化させる。また、報知部５０は、音によって衝突の危険をドライバに報知してもよい。この場合には、危険度が大きくなるに従って音を大きくしたり、周波数を高くしたりするなどして、ドライバの注意を喚起してよい。

なお、報知部５０に加えて、又は報知部５０に代えて、自動制動システムを設けてもよい。自動制動システムは、危険度算出部４０にて算出された危険度の情報を受けて、車両の制動動作を行なう。この自動制動システムにより、危険な状況での車両の自動制動を行なうことができる。また、報知部５０に加えて、又は報知部５０に代えて、記憶装置を設けてもよい。記憶装置は、危険度算出部４０にて算出された危険度の情報をその位置情報や時間情報とともに記憶する。この危険度の記録を参照することで、危険区域や危険時間帯を把握したり、ドライバの安全運転の状況を把握したりすることができる。

以上のように、本発明の実施の形態の移動体認識システム１００は、車両に設置されたカメラで複数の連続する単眼画像を取得して、画像中の特徴点を消失点でグルーピングすることでその画像から移動体を検出して、その画像から相対的進入角度を推定するので、相対的進入角度を用いて、その移動体が車両に衝突する危険度を算出できる。この危険度は、物理的に意味を有する指標であることから、その危険度に応じた報知をすることで、ドライバが直感的に危険な状況を知ることができ、あるいは危険な状況に応じた制御を行なうことができる。また、本発明の実施の形態の移動体認識システム１００は、相対的進入角度の方向と検出された移動体の位置ベクトルの方向とのずれが小さいほど高くなるように危険度を算出するので、衝突の危険度を好適に算出できる。

また、衝突の危険度を算出するためにステレオカメラや距離センサを用いずに比較的安価な単眼カメラを用いているので、コストを低減できる。なお、本発明の実施の形態の移動体認識システム１００は、上記の構成に加えて、距離センサを併用してもよい。この場合には、移動体認識システム１００は、距離センサによって得られる移動体の軌跡の情報と、上記の構成によって得られる相対的進入角度、衝突時間、移動体までの推定距離等の情報とを比較することで、検出の確からしさを強化できる。また、距離センサを併用する場合には、距離センサによって得られる移動体までの距離をも使用して、移動体の衝突の危険度の計算精度を向上させることができる。

また、移動体の検出においては、連結オプティカルフローを作成してアウトライアを除去するので、移動体の検出精度を向上できる。

本発明は、車両のドライバの安全運転のために有用な情報として、移動体が車両に衝突する危険度を得ることができるという効果を有し、単視点画像を用いて移動体を認識する移動体認識システム等として有用である。

１００ 移動体認識システム
１０ カメラ
２０ 移動体検出部
２１ 連結オプティカルフロー算出部
２２ 回転移動量・消失点推定部
２３ 背景点除去部
２４ グルーピング部
３０ 相対的進入角度推定部
４０ 衝突危険度算出部
４１ 距離推定部
４２ 危険度算出部
５０ 報知部

Claims (19)

1. 車両に設置され、複数の連続する単視点の画像を撮影するカメラと、
   前記カメラにて撮影された複数の画像を用いて、画像中の移動体を検出する移動体検出部と、
   前記移動体検出部にて検出された移動体の前記カメラに対する相対的進入角度を推定する相対的進入角度推定部と、
   前記相対的進入角度と、前記カメラから前記移動体に向かう移動体方向との関係に基づいて、前記移動体が前記車両に衝突する危険度を算出する衝突危険度算出部と、
   を備え、
   前記衝突危険度算出部は、前記相対的進入角度に基づいて危険ゾーンを設定し、前記移動体が危険ゾーンに存在する確率に基づいて前記危険度を算出することを特徴とする移動体認識システム。
2. 前記衝突危険度算出部は、前記相対的進入角度と前記移動体方向とのずれが小さいほど危険度を高くすることを特徴とする請求項１に記載の移動体認識システム。
3. 前記危険ゾーンは、前記カメラを原点として、前記カメラの光軸方向をＺ方向とし、鉛直方向をＹ方向とし、水平方向をＸ方向としたときのＸＺ平面に設定され、前記車両から前記車両の幅で前記相対的進入角度の方向に延びる領域であることを特徴とする請求項１に記載の移動体認識システム。
4. 前記衝突危険度算出部は、前記カメラから前記移動体までの前記Ｚ方向の距離の上限値を推定する距離推定部と、前記カメラと前記カメラから焦点距離だけ離れた前記画像上の前記移動体とを通る直線を前記ＸＺ平面に正射影した線分であるＸＺレイの、前記カメラから前記上限値までの線分のうち、前記危険ゾーンに入る線分の割合を前記危険度として算出する危険度算出部とを備えたことを特徴とする請求項３に記載の移動体認識システム。
5. 前記移動体検出部は、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを算出するオプティカルフロー算出部と、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点を前記移動体上の複数の特徴点としてグルーピングするグルーピング部を備え、
   前記距離推定部は、グルーピングされた前記移動体上の複数の特徴点から、高さが最も低い最下特徴点を選出し、前記最下特徴点と前記光学中心とを結ぶ直線と前記車両が走行する地面との交点を地面点として、前記地面点のＺ座標を前記カメラから前記移動体までの前記Ｚ方向の距離の上限値として推定する
   ことを特徴とする請求項４に記載の移動体認識システム。
6. 前記衝突危険度算出部は、前記カメラから前記移動体までの前記Ｚ方向の距離を推定する距離推定部と、前記カメラと前記カメラから焦点距離だけ離れた前記画像上の前記移動体とを通る直線を前記ＸＺ平面に正射影した線分であるＸＺレイ上の、前記カメラから前記推定された距離を有する点が前記危険ゾーンにある場合に、前記点が前記危険ゾーンにない場合より高い危険度を算出する危険度算出部とを備えたことを特徴とする請求項３に記載の移動体認識システム。
7. 前記移動体検出部は、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを算出するオプティカルフロー算出部と、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点を前記移動体上の複数の特徴点としてグルーピングするグルーピング部を備え、
   前記距離推定部は、前記消失点に基づいて前記移動体が前記車両に衝突するまでの衝突時間を求め、前記衝突時間と前記車両の速度に基づいて前記カメラから前記移動体までの前記Ｚ方向の距離を推定する
   ことを特徴とする請求項６に記載の移動体認識システム。
8. 前記衝突危険度算出部は、前記カメラから前記移動体までの前記Ｚ方向の距離の確率分布を決定する距離推定部と、前記カメラと前記カメラから焦点距離だけ離れた前記画像上の前記移動体とを通る直線を前記ＸＺ平面に正射影した線分であるＸＺレイが前記危険ゾーンにある距離範囲での前記確率分布の確率密度関数の積分値に基づいて前記危険度を算出する危険度算出部とを備えたことを特徴とする請求項３に記載の移動体認識システム。
9. 前記移動体検出部は、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを算出するオプティカルフロー算出部と、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点を前記移動体上の複数の特徴点としてグルーピングするグルーピング部を備え、
   前記距離推定部は、前記消失点に基づいて前記移動体が前記車両に衝突するまでの衝突時間を求め、前記衝突時間に基づいて、所定の正規分布に従って前記距離の確率分布を決定する
   ことを特徴とする請求項８に記載の移動体認識システム。
10. 前記衝突危険度算出部は、前記カメラから前記移動体までの前記Ｚ方向の距離の上限値を推定し、かつ前記カメラから前記移動体までの前記Ｚ方向の距離の確率分布を決定する距離推定部と、前記上限値までの距離範囲での前記確率分布の確率密度関数の積分値に対する、前記カメラと前記カメラから焦点距離だけ離れた前記画像上の前記移動体とを通る直線を前記ＸＺ平面に正射影した線分であるＸＺレイが前記危険ゾーンにある距離範囲での前記確率分布の確率密度関数の積分値の割合に基づいて危険度を算出する危険度算出部とを備えたことを特徴とする請求項３に記載の移動体認識システム。
11. 前記移動体検出部は、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを算出するオプティカルフロー算出部と、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点を前記移動体上の複数の特徴点としてグルーピングするグルーピング部を備え、
    前記距離推定部は、グルーピングされた前記移動体上の複数の特徴点から、高さが最も低い最下特徴点を選出し、前記最下特徴点と前記光学中心とを結ぶ直線と前記車両が走行する地面との交点を地面点として、前記地面点のＺ座標を前記カメラから前記移動体までの前記Ｚ方向の距離の上限値として推定し、前記消失点に基づいて前記移動体が前記車両に衝突するまでの衝突時間を求め、前記衝突時間に基づいて、所定の正規分布に従って前記距離の確率分布を決定する
    ことを特徴とする請求項１０に記載の移動体認識システム。
12. 前記衝突危険度算出部は、前記危険ゾーンを複数のレベルに分けて段階的に設定することを特徴とする請求項１ないし１１のいずれか一項に記載の移動体認識システム。
13. 車両に設置され、複数の連続する単視点の画像を撮影するカメラと、
    前記カメラにて撮影された複数の画像を用いて、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを生成し、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点をグルーピングすることで、グルーピングされた前記複数の特徴点を移動体として検出する移動体検出部と、
    前記移動体が前記車両に衝突する危険度を算出する衝突危険度算出部と、
    を備え、
    前記衝突危険度算出部は、前記画像における前記消失点との間の距離が近い前記移動体の前記危険度が、前記画像における前記消失点との間の距離が遠い前記移動体の前記危険度よりも高くなるように、前記危険度を算出することを特徴とする移動体認識システム。
14. 前記衝突危険度算出部は、前記移動体上の複数の前記特徴点のうちのいずれかの特徴点、又は前記移動体上の複数の特徴点から求められた点を代表点として、前記代表点が前記車両に衝突する危険度を算出することを特徴とする請求項５、７、９、１１、又は１３に記載の移動体認識システム。
15. 前記衝突危険度算出部で算出された危険度に応じて前記車両のドライバに危険を報知する報知部を更に備えたことを特徴とする請求項１ないし１４のいずれか一項に記載の移動体認識システム。
16. コンピュータを、
    車両に設置され、複数の連続する単視点の画像を撮影するカメラにて撮影された複数の画像を用いて、画像中の移動体を検出する移動体検出部、
    前記移動体検出部にて検出された移動体の前記カメラに対する相対的進入角度を推定する相対的進入角度推定部、及び
    前記相対的進入角度と、前記カメラから前記移動体に向かう移動体方向との関係に基づいて、前記移動体が前記車両に衝突する危険度を算出する衝突危険度算出部、
    として機能させる移動体認識プログラムであって、
    前記衝突危険度算出部は、前記相対的進入角度に基づいて危険ゾーンを設定し、前記移動体が危険ゾーンに存在する確率に基づいて前記危険度を算出することを特徴とする移動体認識プログラム。
17. コンピュータを、
    車両に設置され、複数の連続する単視点の画像を撮影するカメラにて撮影された複数の画像を用いて、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを生成し、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点をグルーピングすることで、グルーピングされた前記複数の特徴点を移動体として検出する移動体検出部、及び
    前記移動体が前記車両に衝突する危険度を算出する衝突危険度算出部であって、前記画像における前記消失点との間の距離が近い前記移動体の前記危険度が、前記画像における前記消失点との間の距離が遠い前記移動体の前記危険度よりも高くなるように、前記危険度を算出する衝突危険度算出部
    として機能させることを特徴とする移動体認識プログラム。
18. 車両に設置されたカメラが、複数の連続する単視点の画像を撮影する撮影ステップと、
    移動体検出部が、前記カメラにて撮影された複数の画像を用いて、画像中の移動体を検出する移動体検出ステップと、
    相対的進入角度推定部が、前記移動体検出ステップにて検出された移動体の前記カメラに対する相対的進入角度を推定する相対的進入角度推定ステップと、
    衝突危険度算出部が、前記相対的進入角度と、前記カメラから前記移動体に向かう移動体方向との関係に基づいて、前記移動体が前記車両に衝突する危険度を算出する衝突危険度算出ステップと、
    を備え、
    前記衝突危険度算出ステップは、前記相対的進入角度に基づいて危険ゾーンを設定し、
    前記移動体が危険ゾーンに存在する確率に基づいて前記危険度を算出することを特徴とする移動体認識方法。
19. 車両に設置されたカメラが、複数の連続する単視点の画像を撮影する撮影ステップと、
    移動体検出部が、前記カメラにて撮影された複数の画像を用いて、前記画像から複数の特徴点を抽出して、抽出された特徴点のオプティカルフローを生成し、前記複数の特徴点のうち、延長された前記オプティカルフローが１つの消失点に収束する複数の特徴点をグルーピングすることで、グルーピングされた前記複数の特徴点を移動体として検出する移動体検出ステップと、
    衝突危険度算出部が、前記移動体が前記車両に衝突する危険度を算出する衝突危険度算出ステップと、
    を含み、
    前記衝突危険度算出ステップは、前記画像における前記消失点との間の距離が近い前記移動体の前記危険度が、前記画像における前記消失点との間の距離が遠い前記移動体の前記危険度よりも高くなるように、前記危険度を算出することを特徴とする移動体認識方法。

Images