JP2004086779A

JP2004086779A - 障害物検出装置及びその方法

Info

Publication number: JP2004086779A
Application number: JP2002249782A
Authority: JP
Inventors: Hiroaki Nakai; 中井　宏章; Hiroshi Hattori; 服部　寛; Nobuyuki Takeda; 武田　信之; Kazunori Onoguchi; 小野口　一則
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-08-28
Filing date: 2002-08-28
Publication date: 2004-03-18
Anticipated expiration: 2022-08-28
Also published as: DE60308782D1; EP1394761B1; EP1394761A3; DE60308782T2; US6906620B2; US7132933B2; JP3895238B2; US20050169530A1; EP1394761A2; US20040096082A1

Abstract

【課題】自動車の安全運転支援や自動走行を実現したり、道路の車両通行数の計数や車両の走行状態を監視するための技術であって、車両に搭載あるいは道路上方に設置された複数のカメラを用い、カメラの振動や道路の傾斜の変化等のため道路平面と各カメラとの相対的な位置や姿勢の関係が刻々と変化する場合においても、カメラ前方の走行車両、駐車車両、歩行者等、道路上に存在する障害物を、車両走行上の障害とならない路面上の白線や標識、ペイント、汚れ、路側物の影といったテクスチャから区別して検出する。
【解決手段】障害物検出装置１０は、前記複数の撮像装置１０１から画像が入力する画像入力部１１と、前記入力した左右の画像間において、対応点の組を複数求める対応検出部１２と、前記求めた複数の対応点の組を含む面の斜度を算出する斜度算出部１３と、前記算出された面の斜度が所定値よりも大きいときに障害物が存在すると判定する結果判定部１４とからなる。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、主として自動車の安全運転支援や自動走行を実現したり、道路の車両通行数の計数や車両の走行状態を監視するために、車両に搭載あるいは道路上方に設置された複数のカメラを用い、カメラの振動や道路の傾斜の変化等のため道路平面と各カメラとの相対的な位置や姿勢の関係が刻々と変化する場合においても、カメラ前方の走行車両、駐車車両、歩行者等、道路上に存在する障害物を、車両走行上の障害とならない路面上の白線や標識、ペイント、汚れ、路側物の影といったテクスチャから区別して検出するための障害物検出装置及びその方法に関する。
【０００２】
【従来の技術】
道路上に存在する障害物を検出する方法としては、ソナーやレーダー、レンジファインダといった能動センサを用いる方法と、可視光ＴＶカメラや赤外線カメラといった受動センサを使う方法がある。
【０００３】
能動センサは、様々な目的において物体の位置を計測するのに使われており、その有用性は広く知られるところであるが、道路上の他車両といった自車両の走行に障害となる物を検出する目的においては、検出分解能が低い、計測範囲が十分に取れない、道路上の障害物以外のものを誤検出する、走行レーンを検知できないため障害とならない路側の物体を誤って検出する、といった問題がある。したがって、これらの問題点を解決できるよう、ＴＶカメラ等の受動センサを用いた画像解析による高度な障害物検出技術の実現が望まれている。
【０００４】
車両に搭載されたＴＶカメラ等からの画像を解析することにより道路面上の障害物を検出する方法は、概して画像の輝度パターン情報から障害物を検出したり走行レーンを認識したりするものであると言える。カメラ１台の画像からでも、灰色でテクスチャの少ない部分を切り出すといったことにより走行レーンを検出することは可能ではある。
【０００５】
しかし、実際には道路に似た輝度やパターンを持つ障害物も多いため、誤検出の少ない実用性の高いものの実現は難しい。
【０００６】
これに対し、複数のカメラを用いて障害物や走行レーンを検出する方法があり、一般にステレオ視による方法と言われる。
【０００７】
ステレオ視においては、三角測量の原理で検出対象領域の３次元情報を得ることができるので、より高精度な障害物検出やレーン検出の実現が期待されるが、対応点探索が一般には一意に解けない、またその計算コストが非常に大きいという問題がある。この対応点探索とは、複数のカメラ画像間に映っている、実世界での同一点を見つけることをいう。
【０００８】
この点について、特許文献１や特許文献２といった方法では対応点探索を行う必要がなく、障害物検出の実現には有用である。この方法について以下で説明する。
【０００９】
いま、左右２つのカメラが道路を撮すように設置されているとする。道路面上の点の右左カメラ画像への投影点を、各々（ｕ，ｖ）、（ｕ′，ｖ′）とすれば、
【数１】

という関係式が成り立つ。
【００１０】
【数２】

は、各右左カメラの道路平面に対する位置と姿勢、カメラのレンズ焦点距離や画像原点に依存するパラメータである。ｈは、予め道路平面上の４点以上の右左画像への投影点（ｕ_ｉ，ｖ_ｉ），（ｕ_ｉ′，ｖ_ｉ′）（ｉ＝１，２，…，Ｎ）だけから求めることができる。この関係式を用いて、右画像上の任意の点Ｐ（ｕ，ｖ）が道路平面上にあると仮定した場合の左画像上の対応点Ｐ′（ｕ′，ｖ′）を求める。点Ｐが真に道路面上に存在すれば、点ＰとＰ′とが正しい対応点の組となるので、２点の画素あるいは近傍領域の輝度あるいは特徴が一致する。逆に、点ＰとＰ′の輝度が異なる場合には、点Ｐは障害物領域に属すると判定することができる。この方法は、式（１）のみから直接、画像上の任意の点の道路面からの高さの有無を判定可能であり、右左画像間での対応点探索が不要である。
【００１１】
この方式を車両の前方障害物検出に用いる場合、自車両が比較的平坦な道路を低速で走行している場合にはｈは略一定とみなすことができ、一度求めたｈを用いて正しく障害物を検出することができる。
【００１２】
ここで、前記対応検出部の動作について、図３から図５を用いて説明する。
【００１３】
対応検出部の動作は、第１の撮像装置にて撮影された第１の画像を、第２の撮像装置の視点から見える画像に変換した画像を得ることである。この変換に使用されるパラメータは、複数の撮像装置と道路平面が典型的な幾何学的関係を保つようにして（例えば、傾きのない道路面に静止した車両を配置した場合）予め１回だけ求めたものであり、車両の走行中等障害物検出が行われている時には変更されないものとする。
【００１４】
このパラメータの算出方法は、特許文献１に基づく。この方法を以下で説明する。
【００１５】
今、図３に示すように、２台のカメラａ，ｂが設置されている。道路面上には、カメラの光軸方向に略伸びた２本の平行な白線があり、これらをｌ，ｌ′とする。２台のカメラａ，ｂの互いの位置や姿勢の関係は障害物検出装置にとっては未知、エピポーラ拘束のみが既知であり、障害物検出装置動作中ではカメラａ，ｂの相対的な位置や姿勢、エピポーラ拘束は変化しないものとする。このエピポーラ拘束とは、一般的なステレオ画像に対して成り立つ拘束条件であり、図４に示す通り、カメラｂにて撮影された画像（右画像）上の任意の点Ｐは、カメラｂにより撮影された画像（左画像）上の対応点Ｐ′を含む所定の直線上に存在するよう拘束される状態をいう。この直線をエピポーララインという。例えば、各カメラの光軸を互いに平行になるように配置した場合には、右画像の任意の点Ｐの対応点は、右画像上では同一走査線上に存在するため、エピポーララインは走査線と一致することになる。エピポーラ拘束は、ステレオカメラ間の相対的な位置や姿勢の関係と、各カメラの内部パラメータ（レンズの焦点距離、画像原点等）に依存するため、エピポーラ拘束が不変であることは、ステレオカメラの相対的な位置関係や内部パラメータが（障害物検出装置の動作中ないしはそれを搭載した車両の走行中に）変化しないことを意味する。このエピポーラ拘束は、以下に示す式（３）のとおり定式化される。
【００１６】
【数３】

ここで、（ｕ，ｖ）は右画像上の任意の点Ｐであり、（ｕ′，ｖ′）は左画像上のＰの対応点である。Ｆは３×３の行列であり、基礎行列と呼ばれる。式（３）を展開すると次の式（４）のように表せる。
【００１７】
【数４】

ここで、Ｆ_ｊｉ（ｉ，ｊ＝１，２，３）は、行列Ｆのｊ行ｉ列の要素であり、複数の対応点から求めることができる。また、式（４）は右画像上の点Ｐ（ｕ，ｖ）に対応するエピポーララインを表している。行列Ｆの９つの要素は全て独立ではなく、理論的には７つの対応点から求めることができる。各対応点の組の３次元位置は不要なので、行列Ｆすなわちエピポーラ拘束の算出は比較的容易である。各画像におけるｌ，ｌ′は、３次元的には平行であるものの、左右のカメラが撮影した画像上では平行ではない。図５に示す通り、各画像でのｌ，ｌ′は消失点と呼ばれる無限遠方の点で交差する。次に、道路面上の対応点同士の間に成り立つ関係を求める。図５に示すように、右画像において、直線ｌ上の任意の点をＰ_１，Ｐ_３、直線ｌ′上の任意の点をＰ_２，Ｐ_４、とする。これらの４点の左画像上での対応点Ｐ_１′，Ｐ_２′，Ｐ_３′，Ｐ_４′を、予め求めておいたエピポーラ拘束を用いて算出することができる。つまり、点Ｐ_１の対応点Ｐ_１′は、左画像上において直線ｌと点Ｐ_１のエピポーララインＬ_１との交点に一致する。同様にＰ_２′，Ｐ_３′，Ｐ_４′についても、各点Ｐ_２，Ｐ_３，Ｐ_４のエピポーララインＬ_２，Ｌ_３，Ｌ_４と直線ｌあるいは直線ｌ′との交点として求めることができる。点Ｐ_ｉ（ｉ＝１，２，３，４）の座標を（ｕ_ｉ，ｖ_ｉ）、点Ｐ_ｉ′（ｉ＝１，２，３，４）の座標を（ｕ_ｉ′，ｖ_ｉ′）とする。（ｕ_ｉ，ｖ_ｉ）と（ｕ_ｉ′，ｖ_ｉ′）の間には
【数５】

なる関係式が成り立つ。これら８つの方程式を
【数６】

について解く。任意の１つの解ｈが式（５）を満たすなら、ｋを定数として、ｈの定数倍ｋｈも式（５）を満たすことから、ｈ_３３＝１としても一般性を失わない。したがって、８つの方程式から９つの要素からなるｈを求めることができる。このようにして求められたｈを用いることにより、左画像上の任意の点Ｐ（ｕ，ｖ）が道路面上に存在すると仮定した場合の右画像上の対応点Ｐ′（ｕ′，ｖ′）を
【数７】

のようにして求めることができる。
【００１８】
【特許文献１】
特開２０００−２９３６９３
【００１９】
【特許文献２】
特開２００１−７６１２８
【００２０】
【発明が解決しようとする課題】
しかし、特許文献１や特許文献２といった方法では、車両が屋外の一般の道路を走行する場合には、障害物検出装置の振動や道路の傾斜の変化等のため、道路平面と各カメラとの相対的な位置や姿勢の関係が刻々と変化する。よって、この方法は、車体の振動等により、白線や路面標識、その他ペイント、汚れ、路側物や車両の影といった道路面上のテクスチャ周辺に誤検出が多発するという問題点を抱えている。
【００２１】
上述のように、従来のＴＶカメラを利用する障害物検出装置では、使用環境が限定されていたり、装置の動作中や車両の走行中の振動によって各カメラと道路平面との相対的な位置や姿勢の関係が変化することにより生じる障害物検出精度の低下、具体的には路面上の白線や標識、ペイント、汚れ、影といった路面のテクスチャ周辺に誤検出が多発し、真の障害物検出精度が著しく悪くなるという問題点がある。
【００２２】
本発明はこのような事情に鑑みてなされたもので、障害物検出装置がどのような道路に対して設置されていても、あるいは障害物検出装置の搭載された車両がどのような道路上を走行しても、真の障害物のみを正しく検出する障害物検出装置を提供することにある。
【００２３】
【課題を解決するための手段】
請求項１の発明は、少なくとも２個の撮像装置によって予め設定された共通の検出領域を撮影し、前記検出領域に障害物があるか否かを判定する障害物検出装置において、前記各撮像装置からの画像が入力する画像入力手段と、前記入力された２個の画像間における前記検出領域中の対応点の組を複数求める対応検出手段と、前記各撮像装置の平行な光軸を含む基本平面と、前記求めた複数の対応点を含む検出面との傾斜角に対応する斜度を算出する斜度算出手段と、前記検出面の斜度が所定値よりも大きいときに障害物が存在すると判定する結果判定手段と、を有することを特徴とする障害物検出装置である。
【００２４】
請求項２の発明は、前記斜度算出手段は、前記傾斜角を前記基本平面と前記検出面のピッチ角とし、前記画像間の対応点の対応関係を示すアフィン変換行列のパラメータ、または、パラメータから求められる一意の値を斜度とすることを特徴とする請求項１の障害物検出装置である。
【００２５】
請求項３の発明は、前記斜度算出手段は、前記複数の対応点の組の上下方向の位置と視差に基づく連立式を解くことにより、前記斜度を求めることを特徴とする請求項２の障害物検出装置である。
【００２６】
請求項４の発明は、前記斜度算出手段は、複数の対応点の組の座標値を、前記座標値が満たす式について投票空間に投票することにより前記斜度を求めることを特徴とする請求項１の障害物検出装置である。
【００２７】
請求項５の発明は、前記斜度算出手段は、前記複数の対応点の組が複数存在し、これら組の中で前記斜度の大きな値を算出する対応点の組のみを障害物として検出することを特徴とする請求項１の障害物検出装置である。
【００２８】
請求項６の発明は、少なくとも２個の撮像装置によって予め設定された共通の検出領域を撮影し、前記検出領域に障害物があるか否かを判定する障害物検出方法において、前記各撮像装置からの画像が入力する画像入力ステップと、前記入力された２個の画像間における前記検出領域中の対応点の組を複数求める対応検出ステップと、前記各撮像装置の平行な光軸を含む基本平面と、前記求めた複数の対応点を含む検出面との傾斜角に対応する斜度を算出する斜度算出ステップと、前記検出面の斜度が所定値よりも大きいときに障害物が存在すると判定する結果判定ステップと、を有することを特徴とする障害物検出方法である。
【００２９】
請求項７の発明は、少なくとも２個の撮像装置によって予め設定された共通の検出領域を撮影し、前記検出領域に障害物があるか否かを判定する障害物検出方法をコンピュータによって実現するプログラムにおいて、前記各撮像装置からの画像が入力する画像入力機能と、前記入力された２個の画像間における前記検出領域中の対応点の組を複数求める対応検出機能と、前記各撮像装置の平行な光軸を含む基本平面と、前記求めた複数の対応点を含む検出面との傾斜角に対応する斜度を算出する斜度算出機能と、前記検出面の斜度が所定値よりも大きいときに障害物が存在すると判定する結果判定機能と、を実現することを特徴とする障害物検出方法のプログラムである。
【００３０】
【発明の実施の形態】
以下、本発明の一実施例について図１、２と図６〜１４を用いて説明する。
【００３１】
図１は、本実施例の障害物検出装置１０の概略構成図である。
【００３２】
障害物検出装置１０は、画像入力部１１と、対応検出部１２と、斜度算出部１３と、結果判定部１４とからなる。
【００３３】
そして、結果判定部１４にて判定した結果、障害物があると判明すれば発報装置１０２にて運転者あるいは監視者に警報を与えても良い。また、障害物検出装置１０が車両に搭載されている場合には車体制御手段１０３により制動をかける、操舵を行うといった車体制御を行っても良い。さらに、いずれの場合においても、通信装置１０４等の任意の装置へ結果を出力あるいは転送しても良い。
【００３４】
障害物検出装置１０の画像入力部１１と、対応検出部１２と、斜度算出部１３と、結果判定部１４の各機能は、コンピュータに記憶されているプログラムによって実現する。
【００３５】
（１）画像入力部１１
画像入力部１１は、任意の複数の撮像装置１０１から画像を供給される。本実施例では、撮像装置１０１は複数のＴＶカメラ等の撮像装置からなり、例えば、車両に２個所搭載される場合には図２に示すように自車両前部の左側と右側に取りつけられたり、道路上方に２個所設置される場合には図３に示すように各カメラが道路の伸びている方向に向けて取りつけられる。そして、２個の撮像装置１０１の光軸は、互いに平行である。
【００３６】
画像入力部１１は、複数の撮像装置から出力される映像信号を逐次Ａ／Ｄ変換し、画像入力部１１内のメモリにディジタル画像あるいは画像列として蓄積する。そして、要求された任意時刻、任意領域の画像を次の対応検出部１２に出力する。
【００３７】
（２）対応検出部１２
対応検出部１２は、画像入力部１１に蓄積されている複数の撮像装置１０１にて得られた画像間において、対応点探索を行う。
【００３８】
この対応点探索とは、複数のカメラ画像間に映っている、実世界での同一点を見つけることをいう。本実施例においては、後段の斜度算出部１３で斜度を算出するために対応点を用い、一般のステレオ画像処理での３次元構造復元を行わないため、対応点探索の厳密さは必要なく、計算量の少ない簡便な方法を用いることができる。
【００３９】
ここでは、画像入力部１１に蓄積されている右カメラの画像（以下、右画像という）から、同じ時刻の左カメラの画像（以下、左画像という）への対応関係を求める場合について説明する。
【００４０】
（２−１）右画像における特徴量の算出
まず、右画像の任意画素あるいは任意領域について、予め定められた特徴量を算出し、特徴量が大きい画素あるいは領域を右画像での特徴点とすることができる。
【００４１】
ここで「特徴量」とは、各画素あるいは任意領域において求めることが可能な任意の情報を示す。例を挙げるならば、画素の輝度値や色情報といった単純なものから、空間あるいは時間での微分あるいは積分結果、任意のフィルタの重畳結果、平均や分散といった統計量等、任意の物体検出あるいは領域分割処理を行った結果、及び結果から得られる領域の特徴量、動き量等、画像から算出可能な任意のスカラー量あるいはベクトル量を用いることが可能である。ここでは、画素位置での輝度勾配を特徴量として用いる場合について説明する。
【００４２】
「輝度勾配」とは、画素近傍での輝度変化の度合いを示すものであり、画像中の物体や物体内の構造の境界領域で大きな値となる（単にエッジとも呼ばれる）。
【００４３】
輝度勾配を求める方法としては、例えばＳｏｂｅｌオペレータのようなフィルタを画像に重畳する方法がある。
【００４４】
Ｓｏｂｅｌオペレータを用いて単に画像縦方向の輝度勾配を求めるのであれば、画像（ｘ，ｙ）における輝度値をＩ（ｘ，ｙ）とした場合、縦方向の輝度勾配値Ｄ（ｘ，ｙ）は、フィルタのサイズを２Ｍ＋１として、
【数８】

で求めることができる。この絶対値｜Ｄ（ｘ，ｙ）｜の値の大きい画素（ｘ，ｙ）から任意数の画素を右画像での特徴点とする。あるいは、ある閾値Ｔｈについて｜Ｄ（ｘ，ｙ）｜＞Ｔｈを満たす画素（ｘ，ｙ）を右画像での特徴点とする等により、右画像での特徴点を求めることができる。
【００４５】
他の輝度勾配を求めるフィルタとしては、Ｌａｐｌａｃｉａｎ，Ｒｏｂｉｎｓｏｎ，Ｃａｎｎｙ等様々なものがあり、どれを用いてもかまわない。公知の輝度勾配算出方法を含め、画像の特徴量を算出する方法は数多くあり、例えば非特許文献１（高木、下田監修、画像解析ハンドブック、東京大学出版会、ＩＳＢＮ４−１３−０６１１０７−０）に詳しい。
【００４６】
（２−２）左画像中の対応点の算出
次に、右画像で求めた特徴点に対する左画像中の対応点を求める。
【００４７】
画像中の任意画素あるいは任意領域の一致度を算出する方法は一般にマッチングと呼ばれ、代表的なものにテンプレートマッチングがある。これは、画像中の特徴点近傍領域をテンプレートとし、このテンプレートを画像の探索領域の任意場所に重ね合わさせて、最もぴったりと合う場所を探すという方法である。
【００４８】
（２−２−１）ＳＡＤを用いる方法
最も簡便なＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）を用いる方法では、テンプレート領域をＫ、テンプレート画素の輝度値をＴ（ｉ，ｊ）（本実施例では、右画像中で求めた特徴点近傍領域）、探索範囲中の画素の輝度値をＩ（ｘ，ｙ）（本実施例では、特徴点に対して設定された左画像中での探索領域）とした場合、
【数９】

を探索領域中の各画素（ｘ，ｙ）について求め、Ｒ（ｘ，ｙ）が最小となる画素（ｘ，ｙ）を対応点として求めることができる。
【００４９】
ここで、図４で説明したように、一般に対応点はエピポーラライン上に存在することから、対応点の探索領域をエピポーラライン上に限定することができ、対応点探索の計算量を削減することができる。さらに、各カメラの光軸が互いに平行である場合にはエピポーララインは走査線と一致し、対応点探索はさらに容易である。
【００５０】
（２−２−２）その他の方法
他に、対応点を求める方法としては、ＳＳＤ（Ｓｕｍ　ｏｆ　ＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）を用いる方法や、残差逐次検定法、正規化相関係数法、構造マッチング法等、様々なものがあり、任意の方法を用いることが可能である。公知の方法については、前記した非特許文献１に詳しい。
【００５１】
（２−２−３）１個の特徴点について複数の対応点を算出する場合
また、右画像中の１個の特徴点について、左画像中で複数の対応点を求めても良い。
【００５２】
つまり、ＳＡＤを用いたテンプレートマッチングで対応点を求めた場合、Ｒ（ｘ，ｙ）が最小となる点（ｘ，ｙ）だけを対応点とするのではなく、２番目に小さな値Ｒ（ｘ′，ｙ′）となる点（ｘ′，ｙ′）も対応点とし、さらに３番目に小さな値Ｒ（ｘ″，ｙ″）となる点（ｘ″，ｙ″）も対応点とする等である。
【００５３】
すなわち、右画像中の１個の特徴点に対し左画像中の任意数の対応点を求めることができる。
【００５４】
（２−２−４）その他の対応点探索
さらに、対応点探索は、原画像つまり輝度値画像について行えるだけでなく、前記の任意の特徴量算出結果の画像に対しても行うことも可能である。
【００５５】
（３）斜度算出部１３
斜度算出部１３は、対応検出部１２によって得られた、左右の画像間における複数の対応点の組から、検出領域の３次元空間での面（以下、検出面という）の傾斜角に対応する斜度を求める。
【００５６】
ここで、「傾斜角」とは、検出面の道路平面に対する傾斜角で、具体的には後から詳しく説明するが、道路平面に対するピッチ角であり、ヨー角とロール角は小さいとする。なお、道路平面は、２個の撮像装置１０１のそれぞれ平行な光軸を含む平面（基本平面）とする。
【００５７】
なお、傾斜角は、道路平面に対する傾きであり、水平面に対する傾きではない。したがって、撮像装置１０１を搭載した車両が、水平面に対して傾斜した道路面（すなわち、坂道）を走行していても、その道路面と平行な面の「傾斜角」は０°である。
【００５８】
ピッチ角とは、図９に示すように２個の撮像装置１０１に対して上下方向の傾斜角θであり、ヨー角とは左右方向の傾きであり（すなわち、道路が直線であればヨー角は０°である）、ロール角とは光軸を中心とした傾きである（例えば、水平面であればロール角は０°である）。
【００５９】
そして、「傾斜角」と「斜度」とは異なる用語であり、傾斜角に対して斜度は単調変化する。この点についても後から説明する。
【００６０】
（３−１）斜度算出部１３の理論
前記した特許文献１、特許文献２及び非特許文献２（Ｈ．Ｈａｔｔｏｒｉ　ａｎｄ　Ａ．Ｍａｋｉ，Ｓｔｅｒｅｏ　ｗｉｔｈｏｕｔ　Ｄｅｐｔｈ　Ｓｅａｒｃｈ　ａｎｄ　Ｍｅｔｒｉｃ　Ｃａｌｉｂｒａｔｉｏｎ，ｉｎ　ｐｒｏｃ．ｏｆ　ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，ＣＶＰＲ　２０００，ｐｐ．１７７−１８４，２０００．）のＡｆｆｉｎｅ　ＧＰ　ｃｏｎｓｔｒａｉｎｔによれば、２つのカメラの中点を原点としたときの道路面上の点の３次元座標について、カメラの光軸方向の座標値が画像上下左右方向の座標値に対して十分大きい場合（光軸方向をｚ、画像左右方向をｘ、画像上下方向をｙとすると、ｚ＞＞ｘ，ｚ＞＞ｙ）、ステレオ画像間での対応点の関係を表す式（７）はさらに簡単に表現することができる。
【００６１】
すなわち、道路面上のある点が右画像に投影された点をＰ（ｕ，ｖ）、その左画像での対応点Ｐ′（ｕ′，ｖ′）とすると、その関係は
【数１０】

で表すことができる。
【００６２】
ここで、Ａは２×２のアフィン変換行列であり、（ｔ_ｕ，ｔ_ｖ）^Ｔは平行移動を示すベクトルである。これらは、式（６）のｈと同様にして、道路平面上の３点以上の対応点の組から求めることができ、障害物検出を行う前に予め求めておけば、各カメラ間の位置や姿勢の関係が変わらない限り、一度求めた値を用いて障害物検出を行い続けることができる。
【００６３】
さらに、両カメラが道路の消失点方向に向いており、カメラ光軸回りの回転が十分小さいとすると、Ａは
【数１１】

で近似でき、アフィン変換行列Ａはλのみに依存したものとなる。
【００６４】
左右画像での対応点の画像横方向の位置ずれを視差と呼び、これをｄ＝ｕ′−ｕとすれば、視差ｄは画像座標ｖのみに依存し、
【数１２】

と簡単に表せる。
【００６５】
この関係を使ってλを局所的に推定する方法を考える。
【００６６】
いま、局所的な検出領域を決め、その基準点ｏとし、この点の座標ｖ_０からの変位ｖ−ｖ_０を新たにｖとする。また、検出領域が平面あるいはその一部であると見なし、検出領域内でのλ，ｖの変動Δλ，Δｖを考え、これらにより生じる視差を新たにｄとすると、
【数１３】

と表せる。
【００６７】
式（１３）右辺の第一項Δλ×ｖはｖに依存する部分であり、第二項ΔｄはΔｖにより生じるもののｖに依存せず局所領域内で一定となる視差要素である。
【００６８】
２つ以上の複数の対応点の組Ｐ_ｉ（ｕ_ｉ，ｖ_ｉ），Ｐ_ｉ′（ｕ_ｉ′，ｖ_ｉ′）（ｉ＝１…Ｎ）が求められれば、ΔλとΔｖを未知数として、視差ｄ_ｉ＝ｕ_ｉ′−ｕ_ｉと、そのときのｖ_ｉ値を式（１３）に代入して得られる連立一次方程式を解くことにより、λの検出領域での変動値Δλを求められる。この変動値Δλが後から説明するように「斜度」となる。
【００６９】
全ての特徴点が道路平面上にあれば、対応点の組の座標は式（１０）を満たすはずであり、Δλは０と略等しくなる。逆に、特徴点が道路面上になく障害物上にあるとすれば、式（１０）は満たされず、｜Δλ｜＞＞０となる。
【００７０】
以上から、Δλを求めれば、これが検出領域中に障害物があるか否かを判定する指標となることがわかる。
【００７１】
（３−２）実例による説明
ここで、実例の模式図を用いて斜度算出部１３の原理を説明する。
【００７２】
（３−２−１）変動値Δλの算出
図６は、検出領域とする画像領域Ｒ及びＲ′が左右画像中に予め設定されており、その中に白線及び路面標識があって障害物はない場合の模式図である。
【００７３】
右画像領域Ｒ中に６つの特徴点Ｐ_１…Ｐ_６が見つかっており、これらの対応点が、各特徴点につき１つずつ左画像領域Ｒ′中にＰ_１′…Ｐ_６′として求められている。
【００７４】
同様に、図７にＲ及びＲ′内に障害物が存在する場合のＲ内の特徴点とＲ′内での対応点を求めた結果の例を示す。
【００７５】
まず、障害物がない場合の図６Ｒ中の線分Ｐ_２Ｐ_５と、Ｒ′中の対応する線分Ｐ_２′Ｐ_５′に注目し、これを拡大したものが図８中ｓ及びｓ_１′であるとする。ｓがＰ_２Ｐ_５、線分ｓ_１′がＰ_２′Ｐ_５′である。左領域Ｒ′中の線分ｓ′は、式（１１）の近似のもとでアフィン変換式（１０）によってｓが変換されたものであるとする。画像中での線分ｓ′の傾きがｓとは異なるのは、｜λ｜が０ではない大きな値を持つためである。実際には、基準点ｏや消失点のずれといった外乱が加わり、ｓ′から一定値Δｄだけずれた位置にあるｓ_１′に対応することになる。よって、特徴点と対応点Ｐ_２，Ｐ_５，Ｐ_２′，Ｐ_５′の座標から得られる式（１３）の連立式を解くと、Δλが０と略等しくなる解を得る。
【００７６】
これに対し、図７Ｒ中の線分Ｐ_１Ｐ_３とＲ′中の対応する線分Ｐ_１′Ｐ_３′に注目し、これを拡大したものが図８中ｓ及びｓ_２′であるとする。この場合、ｓは道路平面上にないため、ｓに対応する線分ｓ_２′は、ｓをアフィン変換して得られる線分ｓ′とは異なった角度の線分となる。つまり、ｓをｓ_２′に変換するには、線分上の各点をｖに比例した量だけ横にずらすような変換が必要であり、Ｐ_１，Ｐ_３，Ｐ_１′，Ｐ_３′の座標から式（１３）を解けば、｜Δλ｜＞＞０なるΔλが求められることになる。この例で、障害物（前方車両）背面の凹凸がカメラからの距離に比べて十分に小さく、障害物面（すなわち、検出面）が平面でありカメラ光軸と略垂直に交差すると見なせるとすると、ｓとｓ_２′は原画像上で略平行となり、Δλが−λと略等しくなる（このときＡは単位行列）。
【００７７】
以上で、検出領域にある検出面中に含まれる２個の対応点を結ぶ線分を用いてΔλを求める場合を説明した。
【００７８】
（３−２−２）障害物面の水平面からのピッチ角の算出
次に、式（１３）の視差ｄが特徴点のｖ座標にのみ依存することを利用してアフィン変換パラメータを求めていることを考えると、これは検出領域が３次元空間内の何らかの平面、またはそのの一部（これが検出面である）であり、かつ、検出領域中の道路平面（すなわち、基本平面）、あるいは、障害物面の水平面（すなわち、基本平面）からのピッチ角を求めていることに等しい。なお、検出面は、ピッチ角以外の他のヨー角やロール角は十分に小さいと仮定している。
【００７９】
これを図９及び図１０で説明する。
【００８０】
検出面のピッチ角は図９で言えばθにあたる。ピッチ角θのみが変化するような場合に式（１１）のような近似が適用でき、この場合、図１０で言えば、式（１０）は右画像中の矩形検出領域を左画像中の平行四辺形に変換することを意味する。矩形から平行四辺形への変換の歪みの大きさは、直接はλ＋Δλの大きさに依存し、実世界での原因はθの大きさである。図９のように道路前方の斜面上に路面標識があって、この路面標識周辺が検出領域となっている場合、道路が水平の場合と障害物のような垂直面の場合との中間状態の平行四辺形に変換され、θの大きさに応じてΔλも０から−λの中間の値が得られる。よって、式（１３）の連立式を解くことにより、傾斜角θの大きさに対して単調変化するΔλが得られることがわかる。
【００８１】
また、式（１１）の近似により矩形を平行四辺形に変換するような関係を考えているのであるから、前記説明のように特徴点や対応点は直線上に並んでいる必要はなく、何らかの平面上に存在すれば良いことがわかる。
【００８２】
よって、図６の例では、全ての特徴点と対応点の組Ｐ_１，…Ｐ_６，Ｐ_１′，…Ｐ_６′から得られる式（１３）の連立式を解くことにより、線分で求める場合に比べてより正確にΔλを求められる。図７のように凹凸のある障害物上に特徴点や対応点があっても、カメラからの距離が大きければ平面と見なすことができ、全ての特徴点と対応点を用いて検出面（図１０においては障害物面である）の傾斜角を近似的に求めることができる。
【００８３】
以上より、Δλは、検出面の傾斜角θに応じて求められる量であり、Δλを斜度として次の結果判定部１４へ送ることができる。
【００８４】
なお、斜度としては、Δλから求められる一意の値（例えば｜Δλ｜等）でもよい。
【００８５】
（３−２−３）Δλの他の算出方法
一般に、検出領域中に特徴点がｍ点得られ、各特徴点に対して最大ｎ点の対応点が求まるのであれば、対応点の組は最大ｍ×ｎ個得られ、全ての組から得られる式（１３）の連立式を解けばΔλを求められる。対応点の組が２つあれば前記連立式は解けるが、対応点の組が３つ以上の場合は連立式は冗長となる。よって、最小自乗法といった統計的な手法を用いることにより、より正確なΔλが求められると期待できる。
【００８６】
また、ハフ変換といった方法を用いることにより、連立式を解かなくともΔλを求めることが可能である。
【００８７】
以下、図１１及び図１２を用いて説明する。
【００８８】
式（１３）の連立式を解くことは、式（１３）をΔｄ−Δλ空間での直線と見なし、複数の対応点の組から得られる直線の交点を求めることである。
【００８９】
図１２のように、Δｄ−Δλ空間を複数の矩形セルに分割し、直線がセルを通るときにセルの値を増加させるような処理を行う。このような処理を投票という。全ての直線に関して投票を行った結果、最大値となるセル位置を求めることによりΔλを求められる。この方法は、全ての直線が一点で交差しないような場合でも有効であり、複数の極大値が見つかった場合には最大値となるセル位置等からΔλを求めることができる。
【００９０】
また、図１２右図に示すように、投票処理を行った後、ある値以上のセルについて横方向に加算してプロファイルを求める等により、Δλの分布を求めることができる。これを斜度の分布として次の結果判定部１４へ送ってもよい。
【００９１】
（３−３）検出領域が障害物と道路面とにまたがって設定された等の場合
ここで、図１３に示すように検出領域が、障害物と道路面とにまたがって設定され、特徴点及び対応点も障害物上（Ｐ_１，Ｐ_３，Ｐ_６，Ｐ_１′，Ｐ_３′，Ｐ_６′）と道路面上（Ｐ_２，Ｐ_４，Ｐ_２′，Ｐ_４′）との両方で検出されたり、対応点算出が一部間違ってしまったり（Ｐ_５，Ｐ_５′）している場合について考える。
【００９２】
Ｐ_１…Ｐ_６及びＰ_１′…Ｐ_６′の組からΔλ−Δｄ空間にひかれる直線が図１４中の直線１…６であるとすると、障害物上の対応点の組からひかれる直線群から得られる交点はΔλ＝−λに近いところにあり、他の道路面上の対応点の組や誤対応の対応点の組から得られる直線の交点と区別することができる。
【００９３】
また、障害物上にある対応点組の数が支配的であれば、ハフ変換における交点の投票値が高くなる。
【００９４】
したがって、交点の位置がΔλ＝−λに近い、あるいは交点の投票値が大きい、といった基準を用いることにより、障害物上に存在する対応点の組だけを他から区別することができ、図１３の例で言えばＰ_１，Ｐ_３，Ｐ_６，Ｐ_１′，Ｐ_３′，Ｐ_６′だけを障害物に属するとして区別して検出することができる。
【００９５】
（４）結果判定部１４
結果判定部１４は、斜度検出部１３にて得られた傾斜面の斜度あるいはその分布から、検出領域内に障害物があるか否かを判定する。
【００９６】
斜度算出部１３にて求められるΔλは、検出領域の傾斜面の斜度に応じて単調変化し、傾斜面が略水平であればΔλは０に略等しく、傾斜面が垂直であればΔλは−λと略等しくなる。
【００９７】
したがって、最も簡単には、図９のような斜面を障害物無しとして許容できるように閾値を予め定めておき、Δλを閾値と比較することにより障害物の有無が判定できる。
【００９８】
例えば、ある閾値ｔｈについて、｜Δλ｜＞ｔｈであれば障害物有りと判定する等である。
【００９９】
また、斜度が分布として得られているのであれば、この分布を用いた統計的判別を行うことにより障害物有無を判定しても良い。
【０１００】
例えば、図１２右図においてｔｈより上の分布の面積をｐ_１、下の分布の面積をｐ_２とすれば、ｐ_１＞ｐ_２のとき障害物有りと判定する。
【０１０１】
また、分布を確率分布としてみれば、障害物有りの事後確率ｐはｐ_１／（ｐ_１＋ｐ_２）等で求めることができ、ｐ＞０．５のとき障害物有りと判定しても良い。
【０１０２】
以上のように、斜度算出部１３にて得られた傾斜面の斜度あるいはその分布から、任意の方法により障害物有無の判定を行うことができる。
【０１０３】
このようにして、車両に搭載あるいは道路上方に設置された複数のカメラを用い、カメラの振動や道路の傾斜の変化等のため道路平面と各カメラとの相対的な位置や姿勢の関係が刻々と変化する場合においても、車両走行上の障害とならない路面上の白線や標識、ペイント、汚れ、路側物の影といったテクスチャを誤検出することなく、カメラ前方の走行車両、駐車車両、歩行者等、道路上に存在する障害物だけを正しく検出でき、誤警報を発したり不要な車両制御を行うといった誤動作を大幅に減少させることができる。
【０１０４】
（変更例１）
なお、本発明は上記実施の形態に限定されるものではなく、その主旨を逸脱しない範囲で種々変形して実施できることは言うまでもない。
【０１０５】
例えば、本実施例の説明では検出領域は矩形としているが、検出領域は予め定められた任意の形状とすることができる。
【０１０６】
（変更例２）
左右カメラ画像での検出領域Ｒ，Ｒ′は予め定められているとして説明を行ったが、特許文献３（特開２００１−１５４５６９）のような障害物検出方法を前処理として用い、この結果を用いて検出領域を設定しても良いし、如何なる走行レーン検出方法を用い、その結果から予め定められた方法によって検出領域を設定することも可能である。
【０１０７】
（変更例３）
検出領域が予め定められていなくても、左右カメラ画像中で位置を変えてスキャンすることにより、各スキャン位置において本実施例の操作を行えば、結果的に同様の障害物検出処置を行うことができる。
【０１０８】
（変更例４）
本実施例では右画像領域から左画像領域への変換を与える式として式（１０）ほか画像間の関係式や図を記載しているが、全て左画像から右画像への変換と読み替えることが可能である。
【０１０９】
（変更例５）
カメラ等撮像装置が２つのみの場合について説明を行ったが、撮像装置が３つ以上の場合であっても、任意の２つの撮像装置の組み合わせについて本実施例を適用することができ、この場合全ての撮像装置の組み合わせへの適用結果を統合することにより精度の高い障害物検出装置が実現できることが期待できる。
【０１１０】
（変更例６）
道路面は平面を仮定しているが、道路面が曲面である場合でも部分的に分割して平面と近似する等により本実施例を適用することができる。
【０１１１】
（変更例７）
本発明の目的も、自動車の安全運転支援や自動走行の実現、道路の車両通行数の計数や車両の走行状態の監視に限定されるものではなく、車両後方にカメラを設置すれば後方監視を行うことができる、航空機やヘリコプターに搭載すれば離着陸時の障害物検出が行える、産業用あるいは家庭用ロボットに搭載すれば自動走行等のための障害物検出や監視ができる等、様々な目的で使用することができる。
【０１１２】
【発明の効果】
本発明によれば、障害物検出装置がどのような道路に対して設置されていても、あるいは障害物検出装置の搭載された車両がどのような道路上を走行しても、装置の動作中や車両の走行中の振動等による障害物検出精度の低下、具体的には路面上の白線や標識、ペイント、汚れ、影といった路面のテクスチャ周辺に誤検出が多発し、障害物検出の精度が著しく悪くなるという問題点を回避でき、真の障害物のみを正しく検出するできる等の実用上多大なる効果が奏せられる。
【図面の簡単な説明】
【図１】本発明の実施例の障害物検出装置の概略構成図である。
【図２】車両に搭載された撮像装置の設置状態を示す模式図である。
【図３】道路平面と撮像装置の設置状態を示す模式図である。
【図４】任意の点のエピポーラ拘束を示す模式図である。
【図５】白線ｌ及びｌ′上の点のエピポーラ拘束を示す模式図である。
【図６】障害物がない場合の検出領域画像を説明する模式図である。
【図７】障害物がある場合の検出領域画像を説明する模式図である。
【図８】検出領域上の線分上の視差を示す模式図である。
【図９】カメラ前方に傾斜がある場合を示す模式図である。
【図１０】斜面上に路面標識がある場合の画像変換を示す模式図である。
【図１１】斜度の算出方法を示す模式図である。
【図１２】斜度算出時の投票方法を示す模式図である。
【図１３】検出領域や対応点がずれた場合の対応点の組を示す模式図である。
【図１４】検出領域や対応点がずれた場合の斜度算出を示す模式図である。
【符号の説明】
１０　障害物検出装置
１１　画像入力部
１２　対応検出部
１３　斜度算出部
１４　結果判定部

Claims

少なくとも２個の撮像装置によって予め設定された共通の検出領域を撮影し、前記検出領域に障害物があるか否かを判定する障害物検出装置において、
前記各撮像装置からの画像が入力する画像入力手段と、
前記入力された２個の画像間における前記検出領域中の対応点の組を複数求める対応検出手段と、
前記各撮像装置の平行な光軸を含む基本平面と、前記求めた複数の対応点を含む検出面との傾斜角に対応する斜度を算出する斜度算出手段と、
前記検出面の斜度が所定値よりも大きいときに障害物が存在すると判定する結果判定手段と、
を有する
ことを特徴とする障害物検出装置。
前記斜度算出手段は、
前記傾斜角を前記基本平面と前記検出面のピッチ角とし、前記画像間の対応点の対応関係を示すアフィン変換行列のパラメータ、または、パラメータから求められる一意の値を斜度とする
ことを特徴とする請求項１の障害物検出装置。
前記斜度算出手段は、
前記複数の対応点の組の上下方向の位置と視差に基づく連立式を解くことにより、前記斜度を求める
ことを特徴とする請求項２の障害物検出装置。
前記斜度算出手段は、
複数の対応点の組の座標値を、前記座標値が満たす式について投票空間に投票することにより前記斜度を求める
ことを特徴とする請求項１の障害物検出装置。
前記斜度算出手段は、
前記複数の対応点の組が複数存在し、これら組の中で前記斜度の大きな値を算出する対応点の組のみを障害物として検出する
ことを特徴とする請求項１の障害物検出装置。
少なくとも２個の撮像装置によって予め設定された共通の検出領域を撮影し、前記検出領域に障害物があるか否かを判定する障害物検出方法において、
前記各撮像装置からの画像が入力する画像入力ステップと、
前記入力された２個の画像間における前記検出領域中の対応点の組を複数求める対応検出ステップと、
前記各撮像装置の平行な光軸を含む基本平面と、前記求めた複数の対応点を含む検出面との傾斜角に対応する斜度を算出する斜度算出ステップと、
前記検出面の斜度が所定値よりも大きいときに障害物が存在すると判定する結果判定ステップと、
を有する
ことを特徴とする障害物検出方法。
少なくとも２個の撮像装置によって予め設定された共通の検出領域を撮影し、前記検出領域に障害物があるか否かを判定する障害物検出方法をコンピュータによって実現するプログラムにおいて、
前記各撮像装置からの画像が入力する画像入力機能と、
前記入力された２個の画像間における前記検出領域中の対応点の組を複数求める対応検出機能と、
前記各撮像装置の平行な光軸を含む基本平面と、前記求めた複数の対応点を含む検出面との傾斜角に対応する斜度を算出する斜度算出機能と、
前記検出面の斜度が所定値よりも大きいときに障害物が存在すると判定する結果判定機能と、
を実現する
ことを特徴とする障害物検出方法のプログラム。