JP2006053890A - 障害物検出装置及び方法 - Google Patents

Abstract

【課題】平面投影ステレオ法の、対応点探索を必要としなく、計算量上の実用性を維持しつつ、誤検出が生じる可能性を大幅に減少させる障害物検出装置を提供する。
【解決手段】走行車搭載のビデオカメラにより入力された左右の画像に基づいて道路面上における左右の画像の任意の点の対応関係を表すパラメータを求めるパラメータ計算部と、パラメータに基づいて、一方の画像の道路面上に設定された点が、他方画像上のどの点に対応するのかを計算する対応点計算部と、計算される点の対応関係を用いて一方画像に近似する変換画像を作成する画像変換部と、計算される対応点の対応関係及び変換画像を用いて、道路平面に対して実質的に垂直上方向に一定以上の大きさを有する物体を検出する検出部を含む。
【選択図】 図５

Description

本発明は、障害物検出装置に係り、特に自車両の周囲の先行車、駐車車両、または歩行者等の道路上に存在する障害物を検出する障害物検出装置及び方法に関する。

自動車の安全運転の支援や自動走行を実現するために、自車両の周囲に存在する障害物を検知することは重要である。障害物を検知するための技術には、レーザーやミリ波等を用いる能動センサとテレビカメラを用いるものがある。

テレビカメラを用いる方式には、障害物の検知だけでなく、道路上の白線などのパターン情報を検知して走行レーンの認識等を行うことも出来るという利点がある。また、カメラという汎用的なデバイスを用いるため比較的安価なシステムが実現できるのも大きな利点である。

テレビカメラを用いる場合、１台のカメラを用いてモーションステレオやパターン認識等の技術により障害物検出を行うことも可能であるが、これらは非常に多大な計算量を必要とするためリアルタイム処理を行うのは困難であり、また精度の点でもまだまだ改善すべき点が多い。このため複数台のカメラを用いてステレオ視を行うのが現実的である。

ステレオ視は、空間中の同一点が撮影位置の異なる複数の画像上に投影される投影点の位置関係から三角測量の原理で対象となる点の３次元位置を求めるものである。例えば左右２台のカメラを用いる場合、カメラ間の相対的な位置関係が分かっており、一方の画像上の点の、もう一方の画像上における対応点が与えられればその点の３次元的な位置情報が得られる。このため、ステレオ視にはカメラ間の位置関係のパラメータを求めるキャリブレーションとよばれる作業と、画像間の対応関係を求める対応点探索とよばれる作業が必要になる。

一般的なステレオカメラのキャリブレーションを行うためには、３次元位置が既知で同一平面上にない多数の点を撮影し、カメラ間でそれらの点の投影点の対応関係を与える必要があり、これには多大な労力を要する。

また、対応点探索は画像上で対象までの距離を知りたい全ての点について行う必要があるが、必ずしも１００％正しい対応点が見つかる保証はなく、誤った対応点の組を与えると誤った距離情報が得られることになり、これは自動車の安全運転支援という観点からは非常に望ましくない。

一方、画像上で道路領域と障害物領域とを分離するという目的であれば、必ずしも対応点探索は必要なく、キャリブレーション作業も大幅に簡素化できる手法が存在する。

撮影位置が異なる２つの画像に対する道路面上の点の投影点をそれぞれ(u, v), (u′, v′)とすれば、

という関係式が成り立つ。以下これを道路面拘束式と呼ぶこととする。ここで、ｈ＝｛ｈ１１，ｈ１２，ｈ１３，ｈ２１，ｈ２２，ｈ２３，ｈ３１，ｈ３２，ｈ３３｝は、道路面に対する各カメラの位置と姿勢、さらに各カメラのレンズの焦点距離、画像原点に依存するパラメータであり、これは予め道路面上の４点以上の点の左右の投影点の組（ｕｉ，ｖｉ），（ｕ’ｉ，ｖ’ｉ）｛ｉ＝１，２，…，Ｎ｝から求めておく。この関係式を用いて、一方の画像上の任意の点Ｐ（ｕ，ｖ）が道路面上に存在すると仮定した場合のもう一方の画像上における対応点Ｐ′（ｕ′，ｖ′）が求められる。もし点Ｐが道路面上に存在すれば点、ＰとＰ’は正しい対応点の組となるので、それぞれの点についてその点を中心とする微小な部分画像を切り出して比較すれば両者は一致するはずである。逆に、点Ｐが道路面上に存在しなければ点ＰとＰ’は正しい対応点の組ではないので、同様に部分画像を比較した場合に両者は一致しない。したがって、画像上の任意の点について、式（１）で与えられる対応関係に基づいて画像の比較をおこなうことにより、その点が道路面上に存在するか否かの判定が行える。この手法は平面投影ステレオ法とよばれ、例えば特許文献１で開示されている。平面投影ステレオ法は、キャリブレーションが容易で、対応点探索が不要であるという利点がある。しかし、この手法では道路領域と障害物領域を分離することはできるが、障害物の正確な位置や大きさまでは分からないという問題があった。
特開２００１−７６１２８

上述のように、一般的なステレオ視により障害物の検知を行う場合、事前に煩雑なキャリブレーション作業が必要であり、また対応点探索に失敗すると誤った距離情報が得られてしまうという計測の信頼性に関する問題があった。一方、平面投影ステレオ法により障害物の検知を行う場合、障害物の正確な位置や大きさが分からないという計測の精度に関する問題があった。

上記目的を達成するために、本発明の第１局面は、道路を走行する車に搭載され、左右の画像を入力するビデオカメラと、前記ビデオカメラにより入力された左右の画像を蓄積するための画像蓄積部と、道路面上における左右の画像の任意の点の対応関係を表すパラメータを求めるパラメータ計算部と、前記パラメータに基づいて、前記カメラで撮影された左右画像の一方の画像の道路面上に設定された点が、前記左右画像の他方画像上のどの点に対応するのかを計算する対応点計算部と、前記対応点計算部により計算される点の対応関係を用いて前記左右画像の一方画像に近似する変換画像を作成する画像変換部と、前記対応点計算部で計算される対応点の対応関係及び前記変換画像を用いて、道路平面に対して実質的に垂直上方向に一定以上の大きさを有する物体を検出する検出部を含む障害物検出装置を提供する。

本発明の第２局面は、道路を走行する車に搭載されたビデオカメラにより、左右の画像を入力するステップと、前記左右の画像を画像蓄積部に蓄積するステップと、道路面上における左右の画像の任意の点の対応関係を表すパラメータを求めるステップと、前記パラメータに基づいて、前記左右画像の一方の画像の道路面上に設定された点が、前記左右画像の他方画像上のどの点に対応するのかを計算するステップと、前記計算により求められた点の対応関係を用いて前記左右画像の一方画像に近似する変換画像を作成するステップと、前記計算される対応点の対応関係及び前記変換画像を用いて、道路平面に対して実質的に垂直上方向に一定以上の大きさを有する物体を検出するステップを含む障害物検出方法を提供する。

本発明の第３局面は、道路面上に存在する障害物を検出する障害物検出装置であって、画像を撮影する複数台のカメラと、前記複数台のカメラによりそれぞれ撮影された複数の画像を記憶する画像記憶手段と、前記複数台のカメラのうちの一つのカメラにより撮影された基準画像を複数の短冊状領域に分割する分割手段と、前記基準画像中の道路領域と障害物領域との境界を接地線として表す接地線関数を入力としたときに、前記短冊状領域に基づいて前記短冊状領域毎に前記基準画像と他のカメラにより撮影された参照画像との対応関係を計算する対応関係計算手段と、前記対応関係計算手段により計算される画像の対応関係に基づいて前記基準画像の全体または部分領域とそれに対応する前記参照画像中の領域との間の一致度を前記短冊状領域毎に計算する画像一致度計算手段と、前記基準画像の全体または部分領域について、前記画像一致度計算手段により計算される画像の一致度を最大化する最適な接地線関数を生成する接地線関数最適化手段とを備えることを特徴とする障害物検出装置を提供する。

本発明によれば、車に搭載された複数台のカメラにより取得される画像に基づいて、画像中に存在する被検出物を道路領域から極めて安定的にかつ少ない計算量で抽出することが可能になる。

本発明によれば、道路面上に存在する障害物の位置を正確にかつ高い信頼性をもって検知することが可能になる。また一般のステレオ視では必須の煩雑なキャリブレーション作業を、平面投影ステレオ法と同様に大幅に簡素化できるので、装置の設置に要するコストを大幅に低下できる。

［第１の実施形態］
本発明の第１の実施形態の障害物検出装置は、図１に示すように自動車のフロントの左右に搭載された左及び右ビデオカメラ１１Ｌ及び１１Ｒを利用する。これらビデオカメラ１１Ｌ、１１Ｒは、以下の前提の下でのカメラモデルと考える。

（１）カメラから比較的遠方を対象領域とする。

（２）左右のカメラの前後の位置ずれが微少である。

（３）左右のカメラの光軸は互いにおおよそ平行で、かつおおよそ水平方向を向いているものとし、撮像面の縦軸がおおよそ鉛直方向を向いているものとする。

上記の前提を欠いても本発明の実施には支障がないが、上記の前提に基づけば必要な計算が簡略化されるのでより実用的である。

Ｚ軸をカメラの光軸と平行にとり、道路面の高さを０とすると、道路面上の点（Ｘ，０，Ｚ）の画像への投影点を（ｕ，ｖ）とし、Ｚ軸をカメラの光軸と平行にとると、上記の前提の下では式（１）の関係式は次式のように簡略化される。

上記式（１’）より、道路面上に存在する点の左右の画像への投影点（ｕ_ｌ，ｖ_ｌ），（ｕ_ｒ，ｖ_ｒ）は次式のようなアフィン変換により関係付けられる。

以上では説明の簡略化のため道路平面をＹ＝０としたが、道路面がＹ＝αＺ＋βのように奥行き方向に傾斜を持っていても、道路面上に存在する点の左右の画像への投影点は同様にアフィン変換で関係付けられる。このアフィン変換のパラメータは、道路面上に存在する４点以上の特徴点の対応関係から計算することができる。

従来の平面投影ステレオ法では着目点が道路領域であると仮定した場合の仮説検定を行っていたが、それだけでは、例えば雨天時の濡れた路面などで、障害物の映り込みなどにより見かけ上道路より低い高さを持つような領域や、鏡面反射成分が大きいため左右のビデオカメラから見た輝度が大きく異なるような領域において上記の仮説が棄却され、誤って障害物と判定されてしまう可能性があった。

本発明の実施形態では、道路面上の点の左右の画像における投影点が式（３）のような関係式で対応付けられること以外に、検出対象となる障害物は、高さ方向にはあまり奥行きが変化しないということを利用して、着目する道路上の点に一定以上の高さを有する障害物が存在するか否かを判定する。以下にこの判定方法の一例を説明する。

図２は左側のビデオカメラから撮影された左画像の例、図３は右側のビデオカメラから撮影された右画像の例、図４は図２の画像を式（３）によりアフィン変換した変換画像を示している。図２及び３から明らかなように右画像は左画像に対して道路面が右寄りに撮像されることになる。図２の点Ｐ_ｌが道路領域に含まれるとしたときの図３の対応点をＰ_ｒとする。図２のように点Ｐ_ｌを含み、点Ｐ_ｌから上方に一定の広がりを有する領域Ａ_ｌに着目したとき、もしこの領域Ａ_ｌが道路領域であれば図４の領域Ａ_ｒ２と一致するはずである。

一方、もし領域Ａ_ｌが点Ｐ_ｌを接地点とする障害物であれば、図２の領域Ａ_ｒ１と一致するはずである。従って、領域Ａ_ｌを領域Ａ_ｒｌと領域Ａ_ｒ２の両方と比較することにより、点Ｐ_ｌが道路領域であるか障害物であるかを判定することが可能になる。

本実施形態は、上記の判定方法に基づいており、図１に示すように車に搭載した２台のビデオカメラを用いて道路面上に存在する障害物と道路領域とを識別する。即ち、図１に示すように車に搭載した左右２台のビデオカメラ１１Ｌ、１１Ｒを使用して、歩行者や先行車、駐車車両など、道路平面上に存在する障害物を検出する状況を想定している。図５は本実施形態の障害物検出装置の概略構成を示しており、画像入力部１２、画像蓄積部１３、パラメータ計算部１４、対応点計算部１５、画像変換部１６及び検出部１７とを備えている。

本障害物検出装置は、道路面上の点の左右画像上に投影位置間に成り立つ関係式（以下では道路面拘束と呼ぶ）を求め、それを用いて道路面上に存在する障害物と道路領域とを識別する。この障害物検出装置において画像蓄積部１３は画像入力部１２の左右ビデオカメラ１１Ｌ、１１Ｒにより入力された画像を画像メモリ上に蓄積する。パラメータ計算部１４は画像蓄積部１３に蓄積された左右ビデオカメラ１１Ｌ、１１Ｒでそれぞれ撮影された２枚画像、即ち図２及び３にそれぞれ示される画像から、道路平面拘束のパラメータを計算する。パラメータの具体的な計算方法は、次のように行われる。

パラメータ計算部部１４は、静止時に求めた基準平面に対する道路平面拘束と、特徴抽出部３により求めた２本の白線とその消失点から、走行時の道路平面拘束を計算する。以下に、この方法について説明する。３次元空間中の点（Ｘ，Ｙ，Ｚ）の画像への投影点（ｕ，ｖ）とすると、一般に、

という関係式が成り立つ、ｈ＝（ｈ_１１，ｈ_１２，．．．，ｔ_３）^Ｔはカメラの位置と姿勢、焦点距離、画像中心に関するパラメータである。ｈは定数倍しても同一のカメラモデルを表すので、ｈの任意の１要素を"１"としても一般性を失わない。そこで以下ではｈ_３２＝１とする。

ステレオカメラ座標系では道路平面（基準面）はＺ＝０と表されるため、道路平面上の点Ｐ（Ｘ，Ｙ）の投影点は上式にＺ＝０を代入して、

となる。ここで以下の前提下でカメラモデルを考える。

（ａ）カメラから比較的遠方を対象領域とする。

（ｂ）左右カメラの前後の位置ずれが微小である。

これらの前提の下では、

となる。ここで、βは図５に示すような左右カメラの視点の中点と座標原点のＹ方向のずれであり、ｔ_３＝β＋Δｔ_３である。したがって、式（４）は、

と簡略化できる。さらにＹｃ＝Ｙ＋βとおくと、

となる。右辺の行列をＭとおく。白線ｌ１，ｌ２の交点（消失点）をｔ＝（ｕ０，ｖ０）^Ｔとすると、（ｈ_１２，ｈ_２２）^Ｔ＝ｔである。Ｘ＝（Ｘ／Ｙｃ、１／Ｙｃ）^Ｔとし、道路平面上の点Ｐの左右画像への投影点を各々ｕ_ｌ、ｕ_ｒとすれば、

となる（ｔ_ｌ、ｔ_ｒは白線の消失点）。これより、

となる。ここで、"ｌ"、"ｒ"は各々左右画像に対する添字である。ステレオカメラのキャリブレーションを行なっていないので、Ｍ_ｌ、Ｍ_ｒは未知であるが、Ａは静止時に傾斜のない道路平面上の特徴点から、あらかじめ求めておく。

走行時の道路の傾斜変化や自動車の振動によって、道路平面が基準面Ｚ＝０から傾斜面Ｚ＝ｐＹと変化したとする。Ｘ方向の勾配は、一般にＹ方向の勾配に比べて十分小さいので無視することができ、傾斜面と基準面の交線をＸ軸にとれば、傾斜面の方程式はＺ＝ｐＹと表現できる。Ｚ＝ｐＹに対する道路平面拘束を２本の白線の動きから計算可能する方法を示す。傾斜面上の点（Ｘ，Ｙ，Ｚ）の画像への投影位置（ｕ'，ｖ'）は、式（４）にＺ＝ｐＹを代入すると、前述の２つの前提下では、

Ｙｃ＝Ｙ＋βとおき、さらに式（３）よりｖ'についても同様の式変形を行うと、

だから上式は、

であり、

を得る。もう１本の白線（ｌ_２→ｌ'_２）についても同様に式変形を行なうと、

となり、β＝（β１，β２）^Ｔに関する２本の１次方程式を得る。これによりβを求めれば、式（１６）の行列Ｋを求めることができる。左右画像に各々について上記の処理を行なうと、道路平面上の点の投影位置は、傾斜の変化によってΔμ’_１＝Ｋ_１Δμ_１，Δμ’_ｒ＝Ｋ_ｒΔμ_ｒと変換される。従って、式（９）を用いると、

となる。式（１１）のＡが、傾斜によりＡ’＝Ｋ_ｒＡＫ_ｌ ^−１と変化したことになる。式（１９）が傾斜面に対する道路平面拘束である。

対応点計算部１５は、左右一方の画像中の任意の点の位置を入力し、指定された点に道路平面拘束を適用した場合に、もう一方の画像中で入力点に対応する点の位置を計算し出力する。画像変換部１６は、対応点計算部１５により求められる左右の画像間の対応関係を用いて、図２に示されるような右画像に、右画像中の道路平面拘束を満たす領域が例えば図３に示されるような左画像に一致するような変換を加え、図４のような変換画像を作成し、それを画像蓄積部１３に蓄積する。

検出部１７は、一方の画像中（以下では仮に左画像とする）に図６のような障害物探索領域を設定し、設定された探索領域内の点について障害物か否かの判定を行う。

検出部１７による障害物の検出は、画像蓄積部１３に蓄積されている図７に示されるような左画像、右画像および変換画像を用いて行われる。この場合、まず、図７に示すように左画像中に領域Ａ_ｌのような実質的に垂直方向に一定の長さを有する短冊状の領域を設定し、この短冊状の領域Ａ_ｌごとに障害物の接地位置を求める。

例えば、図７の左画像中の点Ｐ_ｌが障害物の接地位置であると仮定した場合、図７の右画像および変換画像における、左画像の点Ｐ_１に対応する点をそれぞれ点Ｐ_ｒ１，Ｐ_ｒｔ１とおくと、領域Ａ_１の画像の点Ｐ１より上の領域は、図７の右画像中の領域Ａ_ｒ１と対応し、領域Ａ_１の画像の点Ｐ_１より下の領域は、図７の変換画像中の領域Ａ_ｒｔの点Ｐ_ｒｔ１より下の領域と対応する。この対応関係をもとに図７の左画像中の領域Ａ_lの画像と、それに対応する右画像中の領域と変換画像中の領域とを合わせた画像との一致度が正規化相関などの手法によって算出される。

また、図７の左画像中の点Ｐ_２が障害物の接地位置であると仮定した場合、図７の右画像および変換画像における、左画像の点Ｐ_２に対応する点をそれぞれ点Ｐ_ｒ２，Ｐ_ｒｔ３とおくと、領域Ａ_１の画像の点Ｐ_２より上の領域は、図７の右画像中の領域Ａ_ｒ２と対応し、領域Ａ_１の画像の点Ｐ_２より下の領域は、図７の変換画像中の領域Ａ_ｒｔの点Ｐ_ｒｔ２より下の領域と対応する。この対応関係をもとに図７の左画像中の領域Ａ_lの画像と、それに対応する右画像中の領域と変換画像中の領域とを合わせた画像との一致度が正規化相関などの手法によって算出される。

更に、図７の左画像中の点Ｐ_３が障害物の接地位置であると仮定した場合、図７の右画像および変換画像における、左画像の点Ｐ_３に対応する点をそれぞれ点Ｐ_ｒ３，Ｐ_ｒｔ３とおくと、領域Ａ_１の画像の点Ｐ_３より上の領域は、図７の右画像中の領域Ａ_ｒ２より左にずれた領域Ａ_ｒ３および変換画像の点Ｐ_ｒｔ３より上の領域と対応する。領域Ａ_lの画像の点Ｐ_３より下の領域は、図７の右画像の領域Ａ_ｒ３より下の領域および変換画像中の領域Ａ_ｒｔの点Ｐ_ｒｔ３より下の領域と対応する。この場合の右画像における下の領域は、点線で示される道路領域に対応する。即ち、右画像では垂直な領域Ａ_ｒ３と斜めの道路領域とが左画像の領域Ａ_１に対応することになる。この対応関係をもとに図７の左画像中の領域Ａ_lの画像と、それに対応する右画像中の領域と変換画像中の領域とを合わせた画像との一致度が正規化相関などの手法によって算出される。

上記のように接地点の位置を上から順に下まで移動させながら画像処理を繰り返すと、図７の画像の一致度のグラフのように、接地位置に対する画像の一致度の関係が求められる。即ち、右画像の領域Ａ_ｒ１と変換画像の領域Ａ_ｒｔの点Ｐ_ｒｔ１より下の部分の画像信号（輝度信号）を加算（合成）し、左画像の領域Ａ_１との比較を行うことにより、点Ｐ_１を接地位置と仮定した場合の画像の一致度が算出される。同様に、右画像の領域Ａ_ｒ２と変換画像の領域Ａ_ｒｔの点Ｐ_ｒｔ２より下の部分の画像信号（輝度信号）を合成し、左画像の領域Ａ_１との比較を行うことにより、点Ｐ_２を接地位置と仮定した場合の画像の一致度が算出される。また、右画像の領域Ａ_ｒ３と変換画像の領域Ａ_ｒｔの点Ｐ_ｒｔ３より下の部分の画像信号（輝度信号）を合成し、左画像の領域Ａ_１との比較を行うことにより、点Ｐ_３を接地位置と仮定した場合の画像の一致度が算出される。これにより図７に示されるような画像一致度を示すグラフが形成される。このグラフより、接地位置を図７の左画像中の点Ｐ_２のように正しく仮定した場合に、左画像中の領域と右画像、変換画像との正しい対応関係が与えられ、従って画像の一致度が最も高くなることがわかる。そこで、一致度のグラフで最高の一致度を与える点を領域Ａ_１内での障害物の接地位置とする。以下この手順を垂直方向に一定の長さを有する短冊状の領域Ａ_１を水平方向に移動させながら繰り返せば、画像全体について障害物の接地位置を安定かつ高精度に求めることが可能になる。

図８は、本発明の実施形態に従った障害物検出の全体の流れを示している。これによると、スタートによってビデオカメラから得られる左右画像が入力されると、同画像はメモリに蓄積される（Ｓ１，Ｓ２）。蓄積された左右２枚の画像に基づいて道路平面拘束のパラメータを計算する（Ｓ３）。道路平面拘束パラメータを左画像中の任意の点に適用した場合に、右画像中に左画像の点に対応する点の位置を計算する（Ｓ４）。左画像の設定点と右画像の算出点との対応関係を用いて、右画像が左画像に一致するように右画像にアフィン変換を行い、変換画像をメモリに蓄積する（Ｓ５、Ｓ６）。

蓄積画像が読み取られ（Ｓ８）、図７に示されるように左画像の点Ｐ_ｌ（即ち、点Ｐ_１）について左画像に短冊領域Ａ_１を設定する（Ｓ８）。また、右画像に点Ｐ_ｌに対応する点Ｐ_ｒ（即ち、点Ｐ_ｒ１）に領域Ａ_ｒ（即ち、Ａ_ｒ１）を設定する（Ｓ９）。更に、変換画像に点Ｐ_１に対応する点Ｐ_ｒｔ（素案和知、Ｐ_ｒｔ１）に領域Ａ_ｒｔを設定する（Ｓ１０）。設定された左画像の領域Ａ_ｌ、右画像の領域Ａ_ｒおよび変換画像Ａ_ｒｔについて画像の一致度が求められる（Ｓ１１）。

次に、左画像の点Ｐ_ｌが垂直方向に点Ｐ_２に更新される（Ｓ１２）。この更新がｎ回行われたかが判定され（Ｓ１３）、この判定がＮＯであり、処理がステップＳ７に戻ると、点Ｐ２についてステップＳ７〜Ｓ１３の処理が繰り返される。ステップ１３の判定がＹＥＳであると、画像の一致度から障害物検出の判定が行われる（Ｓ１４）。このとき、画像の一致度を示す波形にピークがあると、即ち、障害物検出が判定されると、処理は終了する。しかし、画像の一致度を示す波形にピークがないと、左画像の点Ｐｌが水平方向にずらして再設定され（Ｓ１５）、ステップ７からの処理が再度行われる。

上記のようにして障害物が検出されると、障害物検出の信号が出力され、この検出信号が自動車の安全運転の支援や自動走行のために図示していない安全運転支援装置や自動走行装置に適用される。

上述した実施形態のように実質的に垂直方向に長さを有する短冊状の領域を撮像画像に設定することにより、道路面に対して実質的に垂直方向に長さを有する自動車やオートバイを容易に判別することができ、それらを走行中の自車両の障害物として検出することができる。

本発明は、ハードウエアだけでなく、図８に示す処理をソフトウエアでも実現できる。また、本願発明は、一般道路、高速道路を走行する自動車に限らず構内道路、トンネル又は屋内通路を走行する自動走行運搬車、自動走行検査車両等にも適用できる。

［第２の実施形態］
一般的なステレオ視の計測の信頼性が低い理由は、画像上の全ての点についてそれぞれ距離を求めようとすることに起因する。これはＮ個のデータをもとにＮ個のパラメータ４の推定する問題であり、統計学的な観点から見て信頼性の高い推定を行うのが大変困難な問題である。信頼性の高い推定を行うためには、
データの数≫ 推定したいパラメータの数
であることが必要であり、このためには強力な拘束条件を導入し、推定すべきパラメータの数を大幅に削減する必要がある。そこで、本実施形態では平面投影ステレオで用いられる道路平面拘束に加え、ある一つの奥行きの値を与えたときに、同じ奥行きを持つ任意の点が各画像面に投影される点の間の対応関係を与える障害物面拘束を用いる。障害物面拘束は道路面拘束と同様な以下の式（２０）で与えられる。

図９のように道路面Ｓに垂直に障害物Ｏが立っているとき、画像１上での障害物Ｏの道路面Ｓへの接地点を点Ｐとすれば、点Ｐの画像２上での対応点Ｐ’は式（１）の道路面拘束式で与えられる。このとき、障害物Ｏ上の点は、障害物が道路面と垂直に立つという仮定から点Ｐと同じ奥行きを持つ。従って点Ｐの奥行きから障害物面拘束式（２０）のパラメータが決定できる。これにより、基準画像内で障害物Ｏを含む縦長の領域Ａについて、点Ｐより上側の部分領域については、参照画像内でその部分領域に対応する領域Ａ’を障害物面拘束式（２０）から求めることができる。

また、領域Ａの点Ｐより下側の部分領域は道路面なので、参照画像内でその部分領域に対応する領域Ａ”を道路面拘束式（１）から求めることが出来る。

以上のことから、道路面上の障害物を検知するという目的で、かつその障害物が道路面に対してほぼ垂直に立つものとすれば、図９の基準画像内の領域Ａのような縦長の領域に対して一つの接地点パラメータを与えてやれば、基準画像内の領域Ａの参照画像への対応関係が一意に定まる。

基準画像の横幅をＷ，地平線より下の部分の高さをＨとし、基準画像の地平線より下の部分の画像を、各々が幅１画素×高さＨの画素であるＷ個の画素列に分け、それぞれの画素列に対して一つの接地点パラメータを与えてやれば、基準画像から参照画像への対応関係が一意に定まる。この対応関係に基づいて２つの画像の一致度を測るものとし、この一致度を最大化するような一連の接地点パラメータ（接地線）を求めることにより障害物の検知が行える。これらの画像の一致度を最大化するような接地点パラメータの最適化条件は、
画素数（Ｗ×Ｈ）≫ 接地点の数（Ｗ）
であるから、一般的なステレオ視に比べて遥かに高い信頼度で障害物の推定が行える。またこれは接地線という一次元の関数の最適化なので、Dynamic Programming 等の効率の良い最適化手法を適用することが可能である。

以下、本発明の第２の実施形態を図面を参照して説明する。本実施形態は、図１と同様に車に搭載した左右２台のステレオカメラから歩行者や先行車、駐車車両など、道路面上に存在する障害物を検知する状況を想定している。図１０に示すようにカメラは、障害物を検知したい３次元空間中の領域が全てのカメラの視野に含まれるように配置するものとし、それぞれのカメラで撮影された画像はコンピュータの記憶装置に記憶される。２台のカメラはそれらの光軸が互いにほぼ平行であり、さらに２本の光軸を含む面が道路面に対してほぼ平行であり、２台のカメラの前後の位置ずれが想定している障害物の奥行きに比べて微小となるように配置される。

上記のようなカメラ配置をとれば、画像の変換や座標の対応関係の計算に要する演算量が大幅に低減する。従って、カメラの配置に関して外部からの制約がなければ、上記配置をとることが望ましい。しかしこのような配置を取れない場合でも本実施形態の実施に支障はない。また、カメラは焦点距離や画像面の大きさなどの内部パラメータが同一であることが望ましいが、これも必ずしも必要な条件ではない。

図１１は、本実施形態の障害物検出装置のブロック図を示している。これによると、左右２台のカメラ２１Ｌ、２１Ｒはカメラにより出力される画像信号を記憶する画像記憶装置２２に接続される。画像記憶装置２２は、後述するように基準画像と参照画像の一致度を計算する画像一致度計算部２３に接続される。画像一致度計算部２３の出力部は接地線関数最適化部２４及び対応関係計算部２５に接続される。

対応関係計算部２５は基準画像の道路面領域において、障害物と道路面の接地位置を与えたときに基準画像と参照画像の間の対応関係を計算する。この対応関係計算部２５は、基準画像の道路面領域について対応関係を計算する道路領域対応点計算モジュール２５−１と、基準画像の障害物領域について対応関係を計算する障害物領域対応点計算モジュール２４−２を含んでいる。

道路領域対応点計算モジュール２４−１は、まず特許文献１に記載されている手法等を用いて道路面拘束式（１）のパラメータを求め、基準画像中の任意の点の座標（ｕ，ｖ）に対して道路面拘束式（１）に基づき対応する参照画像中の点の座標（ｕ′，ｖ′）を計算する。

障害物領域対応点計算モジュール２４−２は、まず指定された奥行きｄまたは道路面と障害物の接地点Ｐについて、障害物面拘束式（２０）のパラメータを求め、基準画像中の任意の点の座標（ｕ，ｖ）に対して障害物面拘束式（２０）に基づき対応する参照画像中の点の座標（ｕ′，ｖ′）を計算する。障害物面拘束式（２０）のパラメータの算出は以下のように行う。

まず、奥行きがｄの障害物面上の点Ｐの２つのカメラ座標系における位置ベクトルをそれぞれｍ＝（Ｘ，Ｙ，Ｚ），ｍ′＝（Ｘ′，Ｙ′，Ｚ′）とおき、２つの座標系を結ぶ回転行列をＲ、並進ベクトルをｔとおくと、ベクトルｍ，ｍ′の間には以下の関係が成り立つ。

ｍ′＝Ｒｍ＋ｔ （２１）
一方のカメラ座標系において奥行き方向を表す単位ベクトルをｎとおくと、奥行きdの面上の点は以下の式を満たす。

ｎ^Ｔｍ＝ｄ （２２）
式（２１）は式（２２）を代入することにより次式（２３）のように変形できる。

カメラの焦点距離をｆとすると点Ｐの左右の画像上での座標はそれぞれ以下の式で与えられる。

(u,v)=(fX/Z,fY/Z),(u′,v′)=(fX′/Z′,fY′/Z′) （２４）
ここで、

とおいて、これと式（２３）、（２４）から式（２０）が得られる。２台のカメラ２１Ｌ、２１Ｒのキャリブレーションがなされていれば、回転行列Ｒ、並進ベクトルｔ、奥行き方向ｎは既知であるから、奥行きパラメータdさえ与えれば式（２０）のパラメータが一意に定まる。

入力として奥行きパラメータdではなく、道路面と障害物の接地点Ｐの一方の画像への投影点の座標（ｕ，ｖ）が与えられた場合には、道路面拘束式（１）から点Ｐのもう一方の画像への投影点の座標（ｕ′，ｖ′）を求め、この対応関係からステレオ視により奥行きｄを求めることができる。また、上述したように２台のカメラの光軸がほぼ平行で、２本の光軸を含む平面が道路面とほぼ平行で、２台のカメラの前後のずれが微小な場合は、式（２０）は大幅に簡素化される。

カメラ配置が上記の条件を満たす場合、奥行き方向はカメラの光軸方向にほぼ一致するので、画像面と障害物面はほぼ平行であり、障害物面上のパターンは同一のスケール変化のみを受けてそれぞれの画像面上へ投影される。この場合、障害物面上の点Ｐの左右の画像上での座標（ｕ，ｖ）と（ｕ′，ｖ′）は、左右のカメラ座標系の光軸周りの角度を対応付ける２次元の回転行列Ｑと、並進ベクトルｓを用いた以下の式で対応付けられる。これを簡素化された障害物面拘束と呼ぶ。

事前に道路面上にカメラの画像面と平行な直線を引き、この直線が左右の画像上に投影された線分の間の角度を求め、この角度を回転行列Ｑの回転角とする。車が走行してもカメラ間の相対的な位置関係は変わらないものとすると、回転行列Ｑのパラメータは一定であるから、簡素化された障害物面拘束は障害物面の位置に応じて並進ベクトルｓのみが変化する。並進ベクトルｓは障害物面上の点Ｐの左右の画像上での座標（ｕ，ｖ）と（ｕ′，ｖ′）を一組与えることにより計算でき、障害物面と道路面が交わる点においては（ｕ，ｖ）と（ｕ′，ｖ′）の組は道路面拘束により与えることができるので、障害物の道路面に対する接地位置を与えれば、その障害物の左右の画像への投影像の間の対応関係が計算できることになる。

画像一致度計算部２３は、図１２の領域Ａのような基準画像中の一部分を切り出した基準領域画像を入力とし、あわせて道路面との障害物の接地点の基準画像上での座標をパラメータとして与えたときに、基準領域画像とそれに対応する参照画像中の領域との画像の一致度を計算する。基準領域画像の接地点より下側の領域については、それが道路領域であると仮定して道路領域対応点計算モジュール２５−１により参照画像中で対応する図１２の領域Ａ”を求め、その対応関係に基づき一致度を計算し、道路領域一致度として出力する。

基準領域画像の接地点より上側の領域については、それが接地点と同じ奥行きを持つものと仮定して障害物領域対応点計算モジュール２４−２により参照画像中で対応する図１２の領域Ａ′を求め、その対応関係に基づき一致度を計算し、障害物領域一致度として出力する。一致度は例えば対応点間の輝度値を比較して、輝度値の差が一定の閾値以内であれば一致として１を、そうでなければ０を出力するような単純なものでも良いし、対応点近傍の小領域をそれぞれ切り出し、領域間の正規化相関の値に同様な閾値処理を行うというものでもよい。

輝度値はカメラと光源との位置関係やカメラの絞り値等様々な要素の影響を受けるので、正しい対応点の組であってもカメラ間で輝度値が大きく異なることがときにはある。そのような場合は、輝度値を直接比較するよりは、小領域の正規化相関のように、局所画像の形状を比較する手段を用いることが望ましい。ただし、形状の比較を行う場合、例えば道路面上に描かれたパターンは左右の画像間で大きな変形が加わるので、正しい対応点の組を与えてもそれぞれの点の近傍の局所画像の形状は一致しない。

このような場合は、道路面画像変換モジュール２５−１により図１３のように参照画像の道路面領域が基準画像の道路面領域と一致するような道路面変換画像を作成する。障害物面変換モジュール２５−２を用いて参照画像のある一定の奥行きをもった障害物領域が基準画像の同じ奥行きをもった障害物領域と並行移動で一致するような障害物面変換画像を作成する。基準領域画像のうち接地線より下の道路面領域については参照画像を道路面画像変換モジュール２４−１により変換した道路面変換画像との間で一致度を計算し、基準領域画像のうち接地線より上の障害物領域については参照画像を障害物画像変換モジュール２４−２により変換した障害物面変換画像との間で一致度を計算することにすれば信頼度の高い一致度の算出が可能になる。

このとき、道路面領域に関しては、画像全体に対して同一の道路面拘束を用いるので、道路面画像変換は一回だけで済むが、障害物領域に関しては、障害物面拘束が障害物の道路面に対する接地位置に応じて異なるので、障害物面変換は複数回行う必要がある。ただし、この変換は画像の一致度を測る際の画像の変形を補正するために行うものなので、必ずしも全ての接地位置について変形画像を作成する必要はなく、変形の度合いに応じていくつかの障害物面変換画像を作成すれば十分である。

また、式（２６）の簡素化された障害物面拘束を用いる場合は、障害物の接地位置の違いは平行移動量の違いのみを生じるので、適当に決めたある一つの接地位置についてのみ障害物面変換画像を作成し、その他の接地位置については対応点の位置を平行移動量の違いの分補正を行うことで対応できる。従って、この場合は、障害物面変換は一回だけで済む。

接地線関数最適化部２４は、図１４に示すように基準画像上の道路面領域に障害物と路面の接地線を設定したときに、対応関係計算部２５により計算される基準画像と参照画像の対応関係に基づいて画像一致度計算部２３により計算される基準画像と参照画像の一致度を最大化するような接地線関数を計算する。以下本実施形態におけるDynamic Programmingを用いた接地線関数の最適化方法について図１６及び１７のフローチャートを参照して説明する。以下説明の便宜上左側のカメラの画像を基準画像とし、右側のカメラ２１Ｒの画像を参照画像とする。

まず、図１５のように基準画像の地平線より下の領域を縦に細長いＷ個の短冊状の領域Ａ_ｉ（ｉ＝１，…，Ｗ）に分割し（ステップＳ２１）、領域Ａ_ｉに対して、接地位置の縦座標ｖ_ｉ（ｖ_ｉ＝１，…，Ｈ）を与える（ステップＳ２２）。このときの領域Ａ_ｉの道路領域の一致度ｆ_ｉ（ｖ_ｉ）と障害物領域の一致度ｇ_ｉ（ｖ_ｉ）を対応関係計算部２５と画像一致度計算部２３により求める。即ち、領域Ａ_ｉでの接地位置がｖ_ｉであるときの領域Ａ_１から領域Ａ_ｉまでの画像の一致度の最大値Ｃ_ｉ（ｖ_ｉ）を計算するサブルーチン１を実行する（ステップＳ２３）。サブルーチン１は図１７のフローに示すように縦位置について縦座標ｖ_i-1を与え（ステップ２３−１）、接地線がｖ_i-1を通ってｖ_iに至る場合の画像の一致度Ｃ_i-1（ｖ_i-1）＋ｃ_{i（ｖi、ｖi-1）}を計算する（Ｓ２３−２）。この計算結果は記憶装置に記憶される。このような処理がV_i-1をインクリメントしながら繰り返し行われ、その結果から画像の一致度Ｃ_i-1（ｖ_i-1）＋ｃ_i（ｖ_i、ｖ_i-1）の最大値とそのときのパスｖ_i-1の値を戻り値とする（Ｓ２３−３）。

サブルーチン１において、領域Ａ_ｉでの接地位置がｖ_ｉ、領域Ａ_ｉ−１での接地位置がｖ_ｉ−１であるときの領域Ａ_ｉの一致度をｃ_ｉ（ｖ_ｉ，ｖ_ｉ−１）とし、領域Ａ_ｉでの接地位置がｖ_ｉであるときの領域Ａ_１から領域Ａ_ｉまでの一致度の最大値をＣ_ｉ（ｖ_ｉ）とおくと、Ｃ_ｉ（ｖ_ｉ）は以下の漸化式（２７）を用いて逐次的に計算することが出来る。

この時、Ｃ_i（ｖ_i）の値とそのときのパスＶ_i-1が記憶装置に格納される（ステップＳ２４）。全ての領域の一致度を最大化する接地位置の系列を

とおくと、これは式（２７）の漸化式でＣ_i（ｖ_i）（ｖ_i＝１，…，Ｈ）をｉ＝１からｉ＝Ｗまで順番に計算する。即ち、Ｃ_Ｗ（ｖ_Ｗ）を最大化するｖ_Ｗを求める（ステップＳ２５）。この後、以下の漸化式（２８）をｉ＝Ｗからｉ＝１のように逆順に辿って計算し（ステップＳ２６）、ｖ₁に至るパスｖ_i-1を求める（ステップＳ２７）。

ここで、領域Ａ_i-1での接地位置がｖ_i-1であるときの領域Ａ_iの一致度ｃ_i（ｖ_i，ｖ_i-1）は、領域Ａ_ｉの全体が右側のカメラから撮影された参照画像からも見えている場合は、ｃ_i（ｖ_i，ｖ_i-1）＝ｆ_i（ｖ_i）＋ｇ_i（ｖ_i）としてよいが、図１８の領域Ｂのように着目領域の右側に障害物が存在する場合は、図中の点Ｐより奥に存在する障害物は遮蔽により右側のカメラからは見えない。このような遮蔽が生じる条件を、ｖ_i＜ｖ_i-1−δとおき、ｃ_i（ｖ_i，ｖ_i-1を以下のように定義する。

以上のような手順により、最適接地線の点列ｖ_i（ｉ＝１，…，Ｗ）が求められ、出力される（Ｓ２８）。即ち、基準画像と参照画像の間の一致度を最大化するような対応関係を与える接地線関数が計算できる。

本実施形態ではDynamic Programmingによる最適化手法について述べたが、この最適化問題は接地線関数の関数（汎関数）である画像の一致度を最大化する問題であるから、変分法などの汎関数の最適化手法を用いることも可能である。

以上説明したように、本実施形態で説明する障害物検出装置は、カメラから時々刻々入力される基準画像と参照画像に対して、両者の一致度を最大化するような接地線関数を計算することにより、道路面上に障害物が接地する位置を正確に、かつ高い信頼性をもって検出することができる。

本発明をソフトウエアによって実施する場合には、図１９に示されるようなＣＰＵ３１とＨＤＤ３２とメモリ３３とで構成される処理装置が用いられる。上述した実施形態を実行するためのプログラムはＨＤＤ３２に格納しておき、また、左右のカメラから得られた画像情報がＨＤＤ３２に格納される。ＨＤＤ３２から読み取られたプログラムはメモリ３３に格納され、このメモリ３３に格納されたプログラムに従ってＣＰＵはＨＤＤ３２から画像情報を読み取りながら障害物検出を実行する。

本発明の第１の実施形態に従った障害物検出装置を備え、２台のビデオカメラを搭載した乗用車の斜視図。 左側ビデオカメラで撮影した画像を示す図。 右側ビデオカメラで撮影した画像を示す図。 右画像を変換した変換画像を示す図。 本発明の第１の実施形態の障害物検出装置のブロック回路図。 障害物検出装置による探索領域を示す図。 本発明の第１の実施形態による障害物検出を説明するための図。 本発明の第１の実施形態による障害物検出を説明するためのフローチャート図。 道路面との障害物の接地位置と左右の画像の対応関係を表す図。 カメラと道路面や障害物との位置関係を表す図。 本発明の第２の実施形態による障害物検出装置のブロック図。 基準領域画像に対する一致度の説明図。 道路面変換画像と障害物変換画像の説明図。 道路面と障害物、および接地線の説明図。 画像の分割と部分領域に対する一致度の説明図。 接地線関数最適化処理のフローチャート。 接地線関数最適化処理におけるサブルーチン１のフローチャート。 障害物による遮蔽関係の説明図。 本発明をソフトウエアで実行するための処理装置のブロック図。

符号の説明

１１Ｒ，１１Ｌ…ビデオカメラ、１２…画像入力部、１３…画像蓄積部、
１４…パラメータ計算部、１５…対応点計算部、１６…画像変換部、１７…検出部、
２１Ｌ、２１Ｒ…カメラ、２２…画像記憶装置、２３…画像一致度計算部、
２４…接地線関数最適化部、２５…対応関係計算部、
２５−１…道路領域対応点計算モジュール、２５−２…障害物領域対応点計算モジュール、３１…ＣＰＵ、３２…ＨＤＤ、３３…メモリ

Claims (18)

1. 道路を走行する車に搭載され、左右の画像を入力するビデオカメラと、前記ビデオカメラにより入力された左右の画像を蓄積するための画像蓄積部と、
   蓄積画像に基づいて道路面上における左右の画像の任意の点の対応関係を表すパラメータを求めるパラメータ計算部と、
   前記パラメータに基づいて、前記カメラで撮影された左右画像の一方の画像の道路面上に設定された点が、前記左右画像の他方画像上のどの点に対応するのかを計算する対応点計算部と、
   前記対応点計算部により計算される点の対応関係を用いて前記左右画像の一方画像に近似する変換画像を前記他方画像から作成する画像変換部と、
   前記対応点計算部で計算される対応点の対応関係及び前記変換画像を用いて、道路平面に対して実質的に垂直上方向に一定以上の大きさを有する物体を検出する検出部と、
   を含む障害物検出装置。
2. 前記検出部は、前記左右画像の一方画像中の任意の基準点において、その基準点を含むある一定の大きさの基準領域を前記一方画像に設定する手段と、前記左右画像の他方画像に対して前記基準領域と対応する参照領域を設定し、この参照領域と並んで前記他方画像に基づいて作成された前記変換画像に対する参照領域を設定し、上記基準領域の画像と、上記二つの参照領域の画像を比較することにより、道路平面に対して実質的に垂直上方向に一定以上の大きさを有する物体を検出することを特徴とする請求項1記載の障害物検出装置。
3. 前記画像変換部は、前記他方画像をアフィン変換して前記変換画像を生成する画像変換手段により構成される請求項１記載の障害物検出装置。
4. 前記対応点計算部は、前記左右画像の前記一方の画像の任意の点の位置を入力し、指定された点に道路平面拘束を適用した場合に、前記入力点に対応する、前記他方画像の点の位置を計算し出力する手段を含む請求項１記載の障害物検出装置。
5. 前記検出部は、前記一方画像に実質的に垂直方向に一定の長さを有する短冊状の領域を設定する手段と、接地点を垂直方向に移動しながら前記短冊状の領域を前記他方画像及び前記変換画像の合成領域との一致度を算出する手段と、最大の一致度を示す点を障害物の接地位置として求める手段とを含む請求項１の障害物検出装置。
6. 道路を走行する車に搭載されたビデオカメラにより、左右の画像を入力するステップと、
   前記左右の画像を画像蓄積部に蓄積するステップと、
   蓄積画像に基づいて道路面上における左右の画像の任意の点の対応関係を表すパラメータを求めるステップと、
   前記パラメータに基づいて、前記左右画像の一方の画像の道路面上に設定された点が、前記左右画像の他方画像上のどの点に対応するのかを計算するステップと、
   前記計算により求められた点の対応関係を用いて前記左右画像の一方画像に近似する変換画像を前記他方画像から作成するステップと、前記計算される対応点の対応関係及び前記変換画像を用いて、道路平面に対して実質的に垂直上方向に一定以上の大きさを有する物体を検出するステップと、
   を含む障害物検出方法。
7. 前記検出ステップは、前記左右画像の一方画像中の任意の基準点において、その基準点を含むある一定の大きさの基準領域を前記一方画像に設定し、前記左右画像の他方画像において前記基準領域と対応する参照領域を求め、この参照領域と並んで前記他方画像をもとに作成された前記変換画像に対して参照領域を求め、上記基準領域の画像と、上記二つの参照領域の画像を比較することにより、道路平面に対して実質的に垂直上方向に一定以上の大きさを有する物体を検出することを特徴とする請求項６記載の障害物検出方法。
8. 前記画像変換ステップは、前記他方画像をアフィン変換して前記変換画像を生成するステップにより構成される請求項６または７記載の障害物検出方法。
9. 前記対応点計算ステップは、前記左右画像の前記一方の画像の任意の点の位置を入力するステップと、指定された点に道路平面拘束を適用した場合に、前記入力点に対応する、前記他方画像の点の位置を計算し出力するステップを含む請求項６乃至８のいずれか１記載の障害物検出方法。
10. 前記検出ステップは、前記一方画像に実質的に垂直方向に一定の長さを有する短冊状の領域を設定するステップと、接地点を垂直方向に移動しながら前記短冊状の領域を前記他方画像及び前記変換画像の合成領域との一致度を算出するステップと、最大の一致度を示す点を障害物の接地位置として求めるステップとを含む請求項６乃至９のいずれか１記載の障害物検出方法。
11. 道路面上に存在する障害物を検出する障害物検出装置であって、
    画像を撮影する複数台のカメラと、
    前記複数台のカメラによりそれぞれ撮影された複数の画像を記憶する画像記憶手段と、
    前記複数台のカメラのうちの一つのカメラにより撮影された基準画像を複数の短冊状領域に分割する分割手段と、
    前記基準画像中の道路領域と障害物領域との境界を接地線として表す接地線関数を入力としたときに、前記短冊状領域に基づいて前記短冊状領域毎に前記基準画像と他のカメラにより撮影された参照画像との対応関係を計算する対応関係計算手段と、
    前記対応関係計算手段により計算される画像の対応関係に基づいて前記基準画像の全体または部分領域とそれに対応する前記参照画像中の領域との間の一致度を前記短冊状領域毎に計算する画像一致度計算手段と、
    前記基準画像の全体または部分領域について、前記画像一致度計算手段により計算される画像の一致度を最大化する最適な接地線関数を生成する接地線関数最適化手段と、
    を備えることを特徴とする障害物検出装置
12. 前記対応関係計算手段が、道路面上の任意の点について、前記基準画像中における前記任意の点の投影点の座標と、前記参照画像中での前記任意の点の投影点の座標との対応関係を求める道路領域対応点計算手段と、前記任意の点を接地点とし、この接地点を含み前記道路面に対して垂直な直線を含む一つの平面における前記基準画像中における任意の点の投影点の座標と前記参照画像中での前記任意の点の投影点の座標との対応関係を求める障害物領域対応点計算手段とを備え、前記接地線関数により分けられる画像中の前記道路領域と前記障害物領域について、前記道路領域内の点に関しては前記基準画像と前記参照画像との対応関係を上記道路領域対応点計算手段により求め、前記障害物領域内の点に関しては前記基準画像と前記参照画像との対応関係をその点に対応する接地点を元に、前記障害物領域対応点計算手段により求めることを特徴とする請求項１１に記載の障害物検出装置
13. 前記一致度計算手段は、前記参照画画像中の前記道路領域のパターンが前記基準画像の前記道路領域のパターンと一致する前記参照画像の道路面変換画像を生成する道路面画像変換手段と、前記道路面に垂直に立つ障害物の参照画像中のパターンが前記基準画像中のパターンと一致する前記参照画像の変換画像を生成する障害物画像変換手段とを備え、前記基準画像の全体または一部分の領域を表す基準領域画像とこの基準領域画像内に含まれる障害物の道路面との接地線を入力として、前記基準領域画像のうち接地線より下の道路面領域については前記参照画像を前記道路面画像変換手段により変換した前記道路面変換画像との間で一致度を計算し、前記基準領域画像のうち前記接地線より上の前記障害物領域については前記参照画像を前記障害物画像変換手段により変換した前記障害物面変換画像との間で一致度を計算することを特徴とする請求項１１に記載の障害物検出装置
14. 前記カメラは、光軸が互いに実質的に平行であり、さらに２本の光軸を含む面が道路面に対して実質的に平行である２台のカメラであることを特徴とする請求項１１乃至１３のいずれか１記載の障害物検出装置。
15. 道路面上に存在する障害物を検出する障害物検出方法であって、
    複数台のカメラによりそれぞれ撮影された複数の画像を記憶手段に記憶するステップと、
    前記複数台のカメラのうちの一つのカメラにより撮影された基準画像を複数の短冊状領域に分割するステップと、
    前記基準画像中の道路領域と障害物領域との境界を接地線として表す接地線関数を入力としたときに、前記短冊状領域に基づいて前記短冊状領域毎に前記基準画像と他のカメラにより撮影された参照画像との対応関係を計算するステップと、
    計算された対応関係に基づいて前記基準画像の全体または部分領域とそれに対応する前記参照画像中の領域との間の一致度を前記短冊状領域毎に計算するステップと、
    前記基準画像の全体または部分領域について、計算された一致度を最大化する最適な接地線関数を生成するステップと、
    を有することを特徴とする障害物検出方法
16. 前記対応関係計算ステップは、道路面上の任意の点について、前記基準画像中における前記任意の点の投影点の座標と、前記参照画像中での前記任意の点の投影点の座標との対応関係を求めるステップと、前記任意の点を接地点とし、この接地点を含み前記道路面に対して垂直な直線を含む一つの平面における前記基準画像中における任意の点の投影点の座標と前記参照画像中での前記任意の点の投影点の座標との対応関係を求めるステップとを有し、前記接地線関数により分けられる画像中の前記道路領域と前記障害物領域について、前記道路領域内の点に関しては前記基準画像と前記参照画像との対応関係を前記道路領域対応点計算ステップにより求め、前記障害物領域内の点に関しては前記基準画像と前記参照画像との対応関係をその点に対応する接地点を元に、前記障害物領域対応点計算ステップにより求めることを特徴とする請求項１５に記載の障害物検出装置
17. 前記一致度計算ステップは、前記参照画画像中の前記道路領域のパターンが前記基準画像の前記道路領域のパターンと一致する前記参照画像の道路面変換画像を生成する道路面画像変換ステップと、前記道路面に垂直に立つ障害物の参照画像中のパターンが前記基準画像中のパターンと一致する前記参照画像の変換画像を生成する障害物画像変換ステップとを有し、前記基準画像の全体または一部分の領域を表す基準領域画像とこの基準領域画像内に含まれる障害物の道路面との接地線を入力として、前記基準領域画像のうち接地線より下の道路面領域については前記参照画像を前記道路面画像変換ステップにより変換した前記道路面変換画像との間で一致度を計算し、前記基準領域画像のうち前記接地線より上の前記障害物領域については前記参照画像を前記障害物画像変換ステップにより変換した前記障害物面変換画像との間で一致度を計算することを特徴とする請求項１５に記載の障害物検出方法。
18. 前記カメラは、光軸が互いに実質的に平行であり、さらに２本の光軸を含む面が道路面に対して実質的に平行である２台のカメラであることを特徴とする請求項１１乃至１３のいずれか１記載の障害物検出方法。

Images