JP3786618B2 - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法 Download PDFInfo
- Publication number
- JP3786618B2 JP3786618B2 JP2002084597A JP2002084597A JP3786618B2 JP 3786618 B2 JP3786618 B2 JP 3786618B2 JP 2002084597 A JP2002084597 A JP 2002084597A JP 2002084597 A JP2002084597 A JP 2002084597A JP 3786618 B2 JP3786618 B2 JP 3786618B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- boundary line
- image
- plane
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車載カメラから入力される時系列画像から、道路面上の白線、及び、ガードレール等の側壁と道路面との境界を安定かつ高速に検出し、また、これらの検出結果から自車両の走行レーンを安定して決定する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
従来から、自動車に搭載したカメラから得られる時系列画像から自車両の走行レーンを検出する方法としてさまざまな画像処理技術が提案されている。
【０００３】
“逆投影画像上での候補追跡処理による白線検出”（中山、窪田、谷口、小野口、電子情報通信学会技術研究報告書、Ｖｏｌ．１０１、Ｎｏ．３０２、ｐｐ．１５−２２、２００１）や、特開平１１−１５３４０６号において、一台のカメラを用いた走行レーンの検出方法が提案されている。
【０００４】
この方法では、単眼カメラで撮影した道路画像から、路面上に描かれた走行レーンの境界線である白線を抽出し、自車両が走っている走行レーンを検出している。
【０００５】
しかし、このような方法においては、単眼のカメラで撮影された輝度情報のみに基づいて白線検出が行われるため、路肩や、ガードレールといった白線と似た輝度情報を持つ対象物を道路面上の白線として誤認識してしまい、誤った走行レーンを検出するという問題がある。また、自車両と同じ走行レーンを走る前方車両によって、白線が大きく隠れると、走行レーンの検出が不安定になるという問題もある。
【０００６】
単眼カメラを用いた走行レーンの検出方法の他に、特開平１１−２１３１３８号に代表されるような、複数のカメラによるステレオ視を用いた方法がある。
【０００７】
「ステレオ視」とは、視点の異なる複数のカメラによって得られる複数の画像から、対応点探索によって、同一対象物を表している特徴点の対応付けを行い、三角測量の原理を用いてカメラから対象物までの距離を計測する技術である。
【０００８】
上記の方法は、このステレオ視によって得られる距離情報を統合して、道路の三次元形状を復元し、壁面と道路面の境界を検出することが可能である。
【０００９】
しかし、このような方法においては、ステレオ視によって距離情報を得る処理や、距離情報から三次元形状を復元する処理が複雑になり、計算コストが大きくなるという問題がある。また、この方法には、ステレオ視における対応点探索の問題があり、対象物の形状によって、一方のカメラに撮影されている対象物がもう一方のカメラに撮影されないというオクルージョン領域（隠れ領域）により、誤対応を起こすという問題がある。
【００１０】
さらに、ステレオ視を用いた走行レーン検出方法として、ステレオ視と白線検出を組み合わせた方法がある。
【００１１】
特開平９−３２５０２６号では、一方のカメラで撮影された画像から白線領域を検出し、白線領域内の点と対応する点を、もう一方のカメラから求め、対応点の視差から、白線の路面からの高さを調べるという方法を用いて走行レーンを検出している。
【００１２】
また、特開２００１−９２９７０号は、二つのカメラを用いたステレオ視によって距離情報を計算し、この距離情報と一方のカメラからの輝度情報から白線を検出することによって走行レーンを検出する方法をとっている。
【００１３】
これらの方法により、単眼カメラでは困難だった道路面のみの白線を求める事が可能であり、また三次元モデルの復元を行わないため、計算コストの増加を防ぐことができる。
【００１４】
【発明が解決しようとする課題】
しかし、前記ステレオ視と白線検出を組み合わせた方法においては、白線を一方の画像のみで検出するため、検出した白線領域が前方車両などによってオクルージョン領域になっていると、対応点探索時に誤対応を起こす恐れがある。
【００１５】
また、対応点探索を特徴点近傍の局所領域のみに対して行うため、正しい対応点付近に輝度が類似している領域があると、容易に誤対応を起こす、という問題もある。
【００１６】
そこで、本発明は、上記の点を考慮してなされたもので、複数のカメラで撮影された複数の画像上でそれぞれ境界線候補を検出し、画像間で求まった境界線候補同士の対応を取ることによって、視差を計算し、境界線候補の高さを推定する事によって、安定かつ高速に正しい走行レーンの境界線を検出することを目的とする画像処理装置とその方法を提供する。
【００１７】
【課題を解決するための手段】
請求項１の発明は、前記移動体が走行可能な領域を規定する境界線を、前記移動体に取り付けられた複数の撮影装置によって撮影し、この撮影した複数の画像から前記境界線を求める画像処理装置において、前記複数の画像を取り込む画像取得手段と、輝度情報に基づいて前記境界線の候補を境界線モデルとして前記複数の画像毎に検出する境界線モデル検出手段と、前記複数の画像の中で一の画像を基準画像とし、この基準画像から検出された境界線モデルを基準モデルとし、前記基準画像とは異なる他の画像を比較画像とし、前記基準モデルと前記比較画像から検出された境界線モデルとを比較し、前記基準モデルに対応する前記比較画像から検出された境界線モデルを対応モデルに決定する対応モデル決定手段と、前記基準画像上における前記基準モデルと前記対応モデルとの位置の違いから、前記基準モデルにおける前記移動体が移動する平面からの高さを推定する高さ推定手段と、前記平面からの高さを用いて、前記基準モデルを前記平面に投影して前記境界線を決定する境界線決定手段と、を有することを特徴とする画像処理装置である。
【００１８】
請求項２の発明は、前記対応モデル決定手段は、前記基準画像上での前記基準モデルと前記比較画像から検出された境界線モデルとの位置関係から、前記対応モデルの候補である対応モデル候補を選択する対応モデル候補選択手段と、前記基準モデルと前記対応モデル候補の位置関係と画素情報に基づいて、前記基準モデルと前記対応モデル候補との類似度を計算するモデル間類似度計算手段と、前記類似度に基づいて対応モデル候補の中から前記対応モデルを選択する対応モデル選択手段とを有することを特徴とする請求項１記載の画像処理装置である。
【００１９】
請求項３の発明は、前記モデル間類似度計算手段は、前記境界線モデルは、前記境界線の候補の画像上での特徴を表す複数のモデル構成領域によって構成され、前記基準画像上のモデル構成領域が、前記比較画像上にも存在するかを判定し、存在する場合には、その比較画像上のモデル構成領域を対応モデル構成領域として選択する対応モデル構成領域選択手段と、前記対応モデル構成領域において、前記基準画像上のモデル構成領域を基準モデル構成領域とし、この対応モデル構成領域周辺の画素値を用いた所定の評価値を使って、前記対応モデル構成領域周辺にもっとも評価値の高い点を探索し、その評価値を前記対応モデル構成領域の評価値と決定する対応モデル構成領域探索手段と、前記各対応モデル構成領域の評価値を集計して前記対応モデルの類似度を計算する類似度計算手段と、を有することを特徴とする請求項２記載の画像処理装置である。
【００２０】
請求項４の発明は、前記対応モデル決定手段は 前記基準モデルと前記対応モデルを所定の評価値によって比較し、前記基準モデルより安定して検出されている対応モデルを選択する安定境界線モデル選択手段と、前記選択した対応モデルによって前記基準モデルを修正する境界線モデル修正手段と、を有することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置である。
【００２１】
請求項５の発明は、前記高さ推定手段は 前記撮影装置に撮影されている境界線の候補は全て平面内にあると仮定して、平面に対する前記撮影装置の取り付け位置及び角度から、前記比較画像の座標を、前記基準画像の座標に変換する座標変換を用いて、前記対応モデルを前記基準画像の座標に変換する座標変換手段と、前記基準画像上での前記変換した対応モデルと前記基準モデルとの距離を視差として計算し、この視差から高さを推定する視差計算手段と、を有することを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置である。
【００２２】
請求項６の発明は、前記境界線決定手段は、前記平面からの高さによって、前記基準モデルが前記平面内にあるかどうかを判定し、前記平面内にあれば前記基準モデルを平面内境界線モデルとして決定する平面内境界線モデル決定手段と、前記基準モデルが、前記平面にないと判断された場合、その基準モデルを、前記平面からの高さに応じて前記平面に投影して、投影境界線モデルを決定する投影境界線モデル決定手段と、前記平面内の基準モデルと、前記投影境界線モデルから、前記移動体が走行可能な領域を規定する境界線を選択する境界線選択手段と、を有することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置である。
【００２３】
請求項７の発明は、移動体が走行可能な領域を規定する境界線を、前記移動体に取り付けられた複数の撮影装置によって撮影し、この撮影した複数の画像から前記境界線を求める画像処理方法において、前記複数の画像を取り込む画像取得ステップと、輝度情報に基づいて前記境界線の候補を境界線モデルとして前記複数の画像毎に検出する境界線モデル検出ステップと、前記複数の画像の中で一の画像を基準画像とし、この基準画像から検出された境界線モデルを基準モデルとし、前記基準画像とは異なる他の画像を比較画像とし、前記基準モデルと前記比較画像から検出された境界線モデルとを比較し、前記基準モデルに対応する前記比較画像から検出された境界線モデルを対応モデルに決定する対応モデル決定ステップと、前記基準画像上における前記基準モデルと前記対応モデルとの位置の違いから、前記基準モデルにおける移動体が走行する平面の高さを推定する高さ推定ステップと、前記平面からの高さを用いて、前記基準モデルを前記平面に投影して前記境界線を決定する境界線決定ステップとを有することを特徴とする画像処理方法である。
【００２４】
請求項８の発明は、移動体が走行可能な領域を規定する境界線を、前記移動体に取り付けられた複数の撮影装置によって撮影し、この撮影した複数の画像から前記境界線を求める画像処理方法をコンピュータによって実現するプログラムにおいて、前記複数の画像を取り込む画像取得機能と、輝度情報に基づいて前記境界線の候補を境界線モデルとして前記複数の画像毎に検出する境界線モデル検出機能と、前記複数の画像の中で一の画像を基準画像とし、この基準画像から検出された境界線モデルを基準モデルとし、前記基準画像とは異なる他の画像を比較画像とし、前記基準モデルと前記比較画像から検出された境界線モデルとを比較し、前記基準モデルに対応する前記比較画像から検出された境界線モデルを対応モデルに決定する対応モデル決定機能と、前記基準画像上における前記基準モデルと前記対応モデルとの位置の違いから、前記基準モデルにおける移動体が走行する平面の高さを推定する高さ推定機能と、前記平面からの高さを用いて、前記基準モデルを前記平面に投影して前記境界線を決定する境界線決定機能と、を実現することを特徴とする画像処理方法のプログラムである。
【００２５】
本発明は、視点の異なる複数の撮影装置、例えば、カメラによって撮影された、画像（例えば時系列画像）を用いそれぞれの画像上で境界線の候補である境界線候補の検出を行い、画像間で対応付けを行うことによって、検出した境界線候補の路面からの高さを推定し、その高さを用いて、境界線候補を平面上に投影することによって、正しい道路面上の境界線の検出を行うものである。
【００２６】
例えば、車両に搭載したステレオカメラから得られる二つの時系列画像を入力画像として、一方の時系列画像を基準画像、もう一方の時系列画像を比較画像として、基準画像、比較画像それぞれについて境界線のモデルを検出する。
【００２７】
また、本発明は、基準画像と比較画像の間で境界線モデルの対応付けを行うため、一般的なステレオ視である画像局所情報を用いた対応付けより、オクルージョンによる誤対応や、隣接する類似度の高い輝度値による、誤対応が少なく、かつ対応づけの計算コストも低い。
【００２８】
【発明の実施の形態】
以下、本発明の一実施形態である画像処理装置について図１から図１２を用いて説明する。
【００２９】
（１）本実施形態における前提の説明
本実施形態の画像処理装置２０においては、以下のように定義する。
【００３０】
・「平面」とは、道路面のことである。
【００３１】
・「平面内の境界線」とは、例えば、平面に描かれた境界線や、投影された境界線をいう。これは「平面上の境界線」とすると、平面から上方に位置する境界線も含まれるため、そのあいまいさをなくすために、本明細書では「平面内の境界線」とする。
【００３２】
・「立体物」とは、路肩、ガードレール、壁等の、走行レーンに沿って延びる平面からある高さを持つものである。
【００３３】
・「境界線」とは、白線など、道路面に描かれた道路標識、または、立体物と平面の境界であり、車両が走行可能な領域を規定するものである。
【００３４】
・「境界線候補」とは、白線、路肩、ガードレール、側壁の梁等の、消失点に向かって延びる直線、または曲線のことであり、車両が走行可能な領域を規定する境界線の候補のことである。
【００３５】
・「境界線モデル」とは、画像上で、境界線候補を表す特徴点の集合のことであり、この特徴点が点状のモデル構成領域であり、本実施形態では「モデル点」という。
【００３６】
・「消失点」とは、車両の進行方向を撮影した時系列画像においては、無限遠点を表す。
【００３７】
なお、環境を屋内に限定した場合には、平面は床、通路などの面である。立体物は壁、机、書棚を表す。境界線とは、床、通路と壁との境界を表す。境界線候補は、机の縁や、壁に取り付けられた配管などを表す。
【００３８】
・「アフィン変換」とは下記のような内容である。
【００３９】
すなわち、実空間上の点Ｐが、視点の異なる二つのカメラによって撮影された時、一方のカメラでは画像上の点ａ（ｘａ，ｙａ）に、もう一方のカメラでは画像上の点ｂ（ｘｂ，ｙｂ）にそれぞれ撮影されたとする。点Ｐが道路平面にあると仮定すると、ｆ（ｘ）＝Ｆｘ＋ｔで表されるアフィン変換によって、ｂはａと同じ座標に変換できる。Ｆは２×２の行列、ｔは２×１のベクトルであり、カメラ配置が決まれば前もって求めておける。
【００４０】
もし、点Ｐが平面上になければ、ｂはａとずれた位置に変換される。つまり点Ｐが平面に近ければ近いほどｆ（ｂ）はａに近付く。詳しくは“Ｓｔｅｒｅｏ ｗｉｔｈｏｕｔ Ｄｅｐｔｈ Ｓｅａｒｃｈ ａｎｄ Ｍｅｔｒｉｃ Ｃａｌｉｂｒａｔｉｏｎ”Ｈ．Ｈａｔｔｏｒｉ，ｅｔ．ａｌ，ＩｎＰｒｏｃ．ＣＶＰＲ，Ｖｏｌ．１，ｐｐ１７７−１８４，２０００）を参照されたい。
【００４１】
（２）画像処理装置２０の構成
図１に本実施形態の画像処理装置２０の構成を示す。
【００４２】
画像処理装置２０は、画像取得部１、境界線モデル検出部２、対応モデル決定部３、高さ推定部４、境界線決定部５より構成され、各部１〜５の各機能は、パソコンなどのコンピュータに記憶されたプログラムによって実現する。
【００４３】
まず、画像取得部１では、視点の異なる二つのカメラから二つの時系列画像を取り込む。
【００４４】
次に、境界線モデル検出部２では、それぞれの時系列画像について、輝度情報に基づいて境界線モデルを検出する。
【００４５】
次に、対応モデル決定部３では、二視点の境界線モデル間で、同一の境界線候補を表す境界線モデルのペアを選択する。
【００４６】
次に、高さ推定部４では、境界線モデルのペアの画像上での位置の違いから、境界線モデルの道路面からの高さを推定する。
【００４７】
次に、境界線決定部５では、境界線モデルの道路面からの高さを用いて、正しい道路面内の境界線を決定する。
【００４８】
以下、各部の具体的な構成について述べる。
【００４９】
（３）画像取得部１
画像取得部１は、時系列画像が取得可能な、視点の異なる二つのＴＶカメラであり、道路を走行する車両の前方に取り付けられ、進行方向を撮影している。
【００５０】
本実施形態においては、二つのカメラの光軸は互いに平行であり、かつ、撮影面の水平軸が同じライン上に揃うように設置されているものとする。
【００５１】
しかし、本発明においては、上記カメラ配置に限定されるのではなく、複数のカメラの中で二つのカメラが一定の距離をおいて配置され、同じ道路面を撮影してさえいればよい。
【００５２】
（４）境界線モデル検出部２
境界線モデル検出部２では、画像取得部１によって得られる二つの時系列画像のそれぞれから境界線モデルを検出する。
【００５３】
例えば、“逆投影画像上での候補追跡処理による白線検出”（中山、窪田、谷口、小野口、電子情報通信学会技術研究報告書、Ｖｏｌ．１０１、Ｎｏ．３０２、ｐｐ．１５−２２、２００１）に記載されている方法を用いる。
【００５４】
この方法によって検出される境界線モデルの詳細を図５を用いて説明する。
【００５５】
各境界線モデルは、図５の複数の破線で示されるように、境界線候補に対して生成され、境界線候補領域に設置される点列によって構成される。この点列が境界線モデルのモデル点である。
【００５６】
また、図５の境界線モデル２のように、境界線候補が不連続なものであるときは、境界線候補が存在する画像上の領域のみにモデル点が設置される。
【００５７】
（５）対応モデル決定部３
対応モデル決定部３では、図６に示すように、二視点の境界線モデルから、同一の境界線候補を表している一組の境界線候補を選択する。手順の流れを図２に示す。
【００５８】
対応モデル決定部３は、図２に示すように、対応する境界線モデルの候補を選択する対応モデル候補選択部６と、候補毎にモデル間類似度を計算するモデル間類似度計算部７と、類似度に基づいて対応する境界線モデルを決定する対応モデル決定部８とから構成され、また、安定境界線モデル選択部１５と境界線モデル修正部１６も有している。
【００５９】
（５−１）対応モデル候補選択部６
図７を用いて、対応モデル候補選択部６の処理を説明する。
【００６０】
対応モデル候補選択部６では、まずどちらか一方のカメラで撮影された画像（以下、基準画像という）から検出された境界線モデルを、基準モデルに設定する（図７のＬ１，Ｌ２，Ｌ３）。
【００６１】
次に、もう一方のカメラで撮影された画像（以下、比較画像という）から検出された境界線モデル（Ｒ１，Ｒ２，Ｒ３）を比較モデルとして、アフィン変換によって基準モデルの座標系に変換する（Ｒ１’，Ｒ２’，Ｒ３’）。
【００６２】
図８を用いて、基準モデルＬ１とＲ１’に注目して説明する。
【００６３】
いま、Ｌ１のｉ番目のモデル点（以下、基準モデル点という）をｌｐｉとして、基準モデル点ｌｐｉを通る水平ライン上にＲ１’のモデル点が存在する時、このモデル点をｌｐｉに対する対応モデル点ｒｐｉとする。
【００６４】
以降、基準モデルの基準モデル点に対する対応モデル点を多用するため、対応関係を保持しておく。
【００６５】
ｌｐｉとｒｐｉ間の水平距離を計算し対応モデル点間距離ｄｉとする。ここで対応モデル点がＲ１’に存在しない時、ｄｉ＝０とする。この計算をＬ１の全ての基準モデル点について行う。
【００６６】
つづいて、図８にあるように、消失点からの垂直距離ｈに比例して小さくなるＡ（ｈ）、Ｌ１のモデル点数Ｎ、Ｒ１’の対応モデル点数Ｍ、ｌｐｉの消失点からの垂直距離Ｈｉを用いて、以下の計算を行いＬ１−Ｒ１’間の距離Ｄ１を計算する。
【００６７】
【数１】
消失点から垂直距離が大きくなると、モデル点間の距離が大きくなる不公平さをこの重みＡ（ｈ）によって補正する。Ａ（ｈ）はカメラ配置によって決まるため、前もって求めておく。
【００６８】
同様の処理をＲ２’，Ｒ３’についても行いＤ２，Ｄ３を計算し、最後に最も小さい上位２モデルを選択して、対応モデル候補とする。すなわち、基準画像上での基準モデルに対応するであろう比較画像上での比較モデルを対応モデル候補という。
【００６９】
図８の例でいうと、Ｒ１’とＲ２’がＬ１の対応モデル候補となる。
【００７０】
以上の処理をすべての基準モデルに対して行い対応モデル候補を選択する。
【００７１】
但し、一つの比較モデルが、複数の基準モデルから重複して選択されることがあるが、ここでは重複させておく。
【００７２】
（５−２）モデル間類似度計算部７
図９に示すように、モデル間類似度計算部７では対応モデル候補の各対応モデル点毎に相関値を計算し、それらを集計して、各候補間の類似度を計算する。
【００７３】
まず、モデル点間の相関値の計算方法を述べる。
【００７４】
基準モデルのｉ番目のモデル点をｌｐｉ、対応モデル候補の対応モデル点をｒｐｉとして、画像上の座標をそれぞれ、（ｘｌ，ｙｌ）、（ｘｒ，ｙｒ）とする。また、Ｉｌ（ｍ，ｎ）、Ｉｒ（ｍ，ｎ）を、モデル点座標からの相対座標（ｍ，ｎ）における輝度値とする。相関値は、二つのモデル点周辺領域に設定されたウインドウ内の、輝度値の差の絶対値和（ＳＡＤ）を計算することによって得られる。このＳＡＤが小さいほどモデル点間の相関が高いことを意味している。モデル点間の相関値ｓｉを以下の式で定義する。
【００７５】
【数２】
ここで、Ｗｈｉは水平方向のウインドウサイズで、後に記述する方法により、モデル点の消失点からの垂直距離によって決まる変数であり、Ｗｖは垂直方向のウインドウサイズを表し、Ｗｉはウインドウの面積であり、Ｗｉ＝Ｗｈｉ×Ｗｖとする。
【００７６】
図１０に示すように、ｌｐｉとｒｐｉが必ずしも同一の特徴点を表しているとは限らないので、対応モデル点ｒｐｉ近傍に、より相関が高い輝度値を持つ場所を探索する必要がある。この探索によって求まる最も相関が高い場所、すなわち、下記の式（３）では最も低い相関値Ｓｉを、最終的な対応モデル点の相関値とする。
【００７７】
そこで、まずｓｉを、ｓｉ（ｘ，ｙ）、つまりｒｐｉ近傍の点（ｘ，ｙ）における相関値として再定義する。このｓｉ（ｘ，ｙ）を用いたＳｉの計算式を以下に示す。
【００７８】
【数３】
但し、ｌｐｉに対応するｒｐｉが存在しない時Ｓｉ＝０とする。ここで、ｄは水平方向の探索距離である。また、Ｄｉはその探索範囲であり、Ｗｈｉと同様に消失点からの垂直距離によって決まる変数で、ここではウインドウサイズに同期させて、Ｄｉ＝Ｗｈｉとする。ｓｉが最小となるｄを考慮した座標（ｘ＋ｄ，ｙ）をモデル点を修正した修正モデル点の座標として保存しておく。
【００７９】
相関値を計算するための、ウインドウサイズＷｈｉとＤｉの説明を行う。
【００８０】
境界線候補である白線やガードレールは画像上では消失点に近付くほど小さくなる。このためウインドウサイズを固定してＳＡＤを計算すると、消失点付近ではウインドウ内の輝度情報のほとんどが、白線ではなく道路面などの白線以外の特徴を表してしまい、マッチングの精度が落ちるという問題がある。また、探索範囲を固定すると消失点付近では細い白線に対して、広すぎる範囲を探索してしまい、誤対応を起こす要因ともなる。
【００８１】
そのため、消失点までの垂直距離が小さくなるにしたがって、ウインドウサイズと探索範囲を小さくすることにより、上記の問題に対処する。モデル間類似度計算部では相関値を計算する前処理として、この消失点までの距離毎のウインドウサイズを計算する。本実施形態では図９のように、垂直方向のウインドウサイズは３画素で一定にし、水平方向のウインドウサイズは最大２０画素、最小３画素で、消失点までの垂直距離に比例して変化させた。
【００８２】
基準モデルの全てのｌｐｉについて同様の計算を行い、対応モデル候補間での類似度を決定する。モデル間の類似度Ｓは基準モデルのモデル点数をＮ、対応モデル点数をＭとして、以下の式で表す。
【００８３】
【数４】
以上の手順で全ての対応モデル候補間の類似度を計算する。
【００８４】
（５−３）対応モデル選択部８
対応モデル選択部８は、対応モデル候補の中で、類似度が所定の閾値以上であり、かつ、最も高い類似度をもつ対応モデル候補を、対応モデルとして選択する。
【００８５】
この時一つの比較モデルが、複数の基準モデルによって、対応モデルに選ばれる場合がある。
【００８６】
このような場合、重複する比較モデルと最も高い類似度を持つ基準モデルを選び、この基準モデルと比較モデルの組み合わせを対応モデルと決定する。そして、対応モデルを失った基準モデルは、対応モデル候補の次の候補（２番目に類似度が高いモデル）の類似度が閾値以上の場合に、そのモデルを最終的な対応モデルとして決定する。上記の条件を満たさない場合は、対応モデルなしと判断する。
【００８７】
（５−４）安定境界線モデル選択部１５と境界線モデル修正部１６
ここで、図１２に示すように基準モデルのカメラから撮影される道路面の白線（白線１）が、前方車両によって大きく隠れてしまう状況を考慮して以下の処理を基準モデルに対して安定境界線モデル選択部１５と境界線モデル修正部１６で行う。
【００８８】
安定境界線モデル選択部１５において、境界線の長さを評価値として、対応モデルの長さと基準モデルの長さを比較する。
【００８９】
そして、境界線モデル修正部１６では、対応モデルの長さの方が、基準モデルの長さより長いと判断される場合、対応モデルの各モデル点を基準モデルの画像上にアフィン変換し、アフィン変換後のモデル点を、基準モデルのモデル点として再設定する。
【００９０】
これにより、図１２に示すように一方のカメラから撮影される道路面の白線が（白線１）、前方車両によって大きく隠れてしまうような状況であっても、視点の異なるもう一方のカメラから撮影された白線（白線２）と対応をとることにより、白線２を用いて、白線１の隠れた領域を補間し、より正確な境界線を設定することができる。
【００９１】
（６）高さ推定部４
高さ推定部４では、基準モデルと対応モデルの視差を用いて、道路面からの高さを推定する。手順の流れを図３に示す。
【００９２】
まず、対応モデルを、基準モデルの画像上にアフィン変換する。変換するのは、対応モデルのモデル点（ｘ，ｙ）ではなく、モデル間類似度計算部７で求めた修正モデル点（ｘ＋ｄ，ｙ）である。
【００９３】
基準モデル点をｌｐｉとし、この基準モデル点ｌｐｉと同じ水平ライン上に存在するアフィン変換後の対応モデルの修正モデル点をｒｐ’ｉとする。
【００９４】
ｌｐｉとｒｐ’ｉのｘ座標をそれぞれｘｌｉ，ｘｒ’ｉとすると、ｌｐｉとｒｐ’ｉの視差ｄｉは、
【数５】
と表される。
【００９５】
図１１に示すように、もしこの基準モデルと対応モデルが道路面に存在する境界線候補を表しているなら、全てのｄｉは０になるはずである。また、境界線候補の路面上からの高さに比例してｄｉは大きくなり、もし境界線候補が路面の下に存在するならば、ｄｉ＜０となる。つまり視差ｄｉをもつモデル点の、画像上での高さは
【数６】
で表すことができる。ここで、定数ａはアフィン変換のパラメータによって決まる定数であり、前もって求めておく。
【００９６】
（７）境界線決定部５
境界線決定部５は、図４に示すように、平面に描かれた境界線モデルを決定する平面内境界線モデル決定部１２と、平面に投影した境界線モデルを決定する投影境界線モデルを決定する投影境界線モデル決定部１３と、移動体が走行可能な領域を規定する境界線を決定する境界線決定部１４からなる。
【００９７】
（７−１）平面内境界線モデル決定部１２
平面内境界線モデル決定部１２では、対応モデル決定部３で対応モデルが見つかった基準モデルについて、高さ推定部４で求めたモデル点の高さｈｉを用いて、境界線モデルが路面にあるかどうかの判断を行う。
【００９８】
ｈｉは、画像上での路面からの高さを表しており、実際の高さが同じであっても、消失点付近の高さは画像上では低く検出される。このため、ｉ番目のモデル点の消失点までの垂直距離をＨｉとして、Ｈｉに比例して小さくなる重みＢ（Ｈｉ）を用いた重み付き平均によって、境界線モデルの路面からの高さＭＨを以下の式で求める。
【００９９】
【数７】
ここで、Ｎはモデル点の総数、Ｍは対応モデル点の総数である。誤差を考慮してＭＨが一定の範囲内にあれば、そのモデルを道路面に描かれた白線に決定する。
【０１００】
（７−２）投影境界線モデル決定部１３
投影境界線モデル決定部１３では、対応モデル決定部３で対応モデルが見つかり、かつ、平面内境界線モデル決定部１２で、道路面にないと判断された境界線モデルについて処理を行う。
【０１０１】
前記平面内境界線モデル決定部１２で求めた、境界線モデルの高さＨが負である場合、そのモデルは道路面への写り込み、もしくは対応モデルが誤対応を起こしていると判断して棄却する。
【０１０２】
しかし、境界線モデルの高さＨが正である場合、この基準モデルは路面内にない、ガードレール等立体物の境界線モデルであると判断する。
【０１０３】
この境界線モデルは路面から浮いているため、路面内の正しい境界線候補ではない。そこでｈｉを用いて立体物と道路面の境界線を求める。
【０１０４】
この基準モデルのｉ番目の基準モデル点の座標を（ｘｉ，ｙｉ）とすると、道路面に投影される平面境界点は（ｘｉ，ｙｉ−ｈｉ）となる。
【０１０５】
この計算を全ての基準モデル点について行い、この平面境界点を道路面と立体物の境界線である投影境界線モデルとする。
【０１０６】
（７−３）境界線決定部１４
境界線決定部１４では、平面内境界線モデル決定部１２によって道路面内にある境界線候補と判断された基準モデル（すなわち、平面内の基準モデルである）と、投影境界線モデル決定部１３で立体物と判断された基準モデルの投影境界線モデルから、最終的な道路面内の境界線を決定する。
【０１０７】
消失点より左にある平面内の境界線モデル、または、投影境界線モデルのうち、最も右側にある平面内の境界線モデル、または、投影境界線モデルを左の境界線とする。
【０１０８】
また、消失点より右側にある平面内の境界線モデル、または、投影境界線モデルのうち、最も左にある平面内の境界線モデル、または、投影境界線モデルを、右にある境界線に決定する。
【０１０９】
なお、本発明は前記実施形態で記載した内容に限定されるものではない。
【０１１０】
（変更例１）
対応モデル決定部３において、類似度計算にモデル点同士の相関値を用いているが、モデル全体の輝度値の相関値を用いてもよい。
【０１１１】
例えば、モデルを形成する全モデル点の輝度平均を計算し、この輝度平均の差の絶対値をモデル間の類似度としてもよい。
【０１１２】
また、上記の実施形態では、輝度情報を用いてモデル間の類似度を計算しているが、他にモデルの特徴をよく表している属性があれば、類似度計算にその属性を用いることも可能である。
【０１１３】
例えば、モデルが生成されてからの時間（生存時間）の差の絶対値をモデル間の類似度としてもよい。
【０１１４】
さらに、モデルの特徴を表す様々な属性について類似度を計算し、所定の方法でそれら類似度を統合し、モデル間の類似度としてもよい。
【０１１５】
例えば、前記輝度平均の差の絶対値と、前記生存時間の差の絶対値と、上記の実施形態で用いたＳＡＤによる相関値の重みつき平均を、モデル間の類似度としてもよい。
【０１１６】
（変更例２）
境界線モデル検出部２において、どちらか一方の画像全体をアフィン変換した後に境界線モデル検出しても良い。これにより平面上の境界線候補の形状は両画像間でほぼ同じ形状になるため、ＳＡＤの精度が向上する。
【０１１７】
また、境界線モデルの各モデル点を画像上での境界線候補上に設置しているが、境界線候補を道路面上から見た画像（逆投影画像）に変換して、その逆投影画像上の境界線候補に各モデル点を設置してもよい。
【０１１８】
（変更例３）
対応モデル候補選択部６において、対応モデル候補を上位２つでなく、より多くの候補を残しても良い。
【０１１９】
白線が複数本、密集して道路に描かれているような状況では、より多くの候補を残した方が、誤対応の可能性が低くなる。
【０１２０】
（変更例４）
対応モデル決定部３において、二つの時系列画像において、どちらか一方の画像を基準画像として、その基準画像からの境界線モデルを基準モデルにする必要はない。
【０１２１】
例えば、消失点の左側のモデルの対応モデルを探す時には、左側のカメラからのモデルを基準モデルに設定し、消失点右側のモデルの対応モデルを探すときは、右側に位置するカメラからのモデルを基準モデルにすれば、前方車両による隠れ領域が少ないモデルを基準モデルに設定可能であるので、より安定して対応モデルを決定することができる。
【０１２２】
（変更例５）
モデル間類似度計算部７において、ＳＡＤを計算する時、水平方向ウインドウサイズを消失点までの垂直距離に応じて変化させているが、さらに垂直方向に変化させてもよい。
【０１２３】
（変更例６）
安定境界線モデル選択部１５において、境界線が撮影されている時間の長さを評価値として、対応モデルの撮影時間と基準モデルの撮影時間を比較する。
【０１２４】
そして、境界線モデル修正部１６では、対応モデルの撮影時間の長さの方が、基準モデルの撮影時間の長さより長いと判断される場合、対応モデルの各モデル点を基準モデルの画像上にアフィン変換し、アフィン変換後のモデル点を、基準モデルのモデル点として再設定することもできる。
【０１２５】
【発明の効果】
本発明を用いることにより、道路上の白線と、ガードレールなどの立体物から正しい境界線を検出することが可能である。
【０１２６】
また、モデル同士の対応をとることによって、一般的なステレオ視よりも安定して視差を検出し、計算量も低減することができる。
【図面の簡単な説明】
【図１】本実施形態の画像処理装置の構成である。
【図２】対応モデル選択部の構成例である。
【図３】高さ推定部の構成例である。
【図４】境界線選択部の構成例である。
【図５】入力画像と検出された境界線モデルについて示す。
【図６】対応する境界線モデルの例である。
【図７】対応モデル候補の選択方法について示す。
【図８】モデル間の距離計算の方法について示す。
【図９】モデル点同士のテンプレートマッチングを示す。
【図１０】テンプレートマッチングの探索範囲を示す。
【図１１】道路面からの高さと視差の関係を示す。
【図１２】前方車両によって白線が隠れる様子を示す。
【符号の説明】
１ 画像取得部
２ 境界線モデル検出部
３ 対応モデル決定部
４ 高さ推定部
５ 境界線決定部
６ 対応モデル候補決定部
７ モデル間類似度計算部
８ 対応モデル選択部
９ 座標変換部
１０ 視差計算部
１１ 高さ推定部
１２ 平面内境界線モデル決定部
１３ 投影境界線モデル決定部
１４ 境界線決定部
１５ 安定境界線モデル選択部
１６ 境界線モデル修正部
２０ 画像処理装置
【発明の属する技術分野】
本発明は、車載カメラから入力される時系列画像から、道路面上の白線、及び、ガードレール等の側壁と道路面との境界を安定かつ高速に検出し、また、これらの検出結果から自車両の走行レーンを安定して決定する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
従来から、自動車に搭載したカメラから得られる時系列画像から自車両の走行レーンを検出する方法としてさまざまな画像処理技術が提案されている。
【０００３】
“逆投影画像上での候補追跡処理による白線検出”（中山、窪田、谷口、小野口、電子情報通信学会技術研究報告書、Ｖｏｌ．１０１、Ｎｏ．３０２、ｐｐ．１５−２２、２００１）や、特開平１１−１５３４０６号において、一台のカメラを用いた走行レーンの検出方法が提案されている。
【０００４】
この方法では、単眼カメラで撮影した道路画像から、路面上に描かれた走行レーンの境界線である白線を抽出し、自車両が走っている走行レーンを検出している。
【０００５】
しかし、このような方法においては、単眼のカメラで撮影された輝度情報のみに基づいて白線検出が行われるため、路肩や、ガードレールといった白線と似た輝度情報を持つ対象物を道路面上の白線として誤認識してしまい、誤った走行レーンを検出するという問題がある。また、自車両と同じ走行レーンを走る前方車両によって、白線が大きく隠れると、走行レーンの検出が不安定になるという問題もある。
【０００６】
単眼カメラを用いた走行レーンの検出方法の他に、特開平１１−２１３１３８号に代表されるような、複数のカメラによるステレオ視を用いた方法がある。
【０００７】
「ステレオ視」とは、視点の異なる複数のカメラによって得られる複数の画像から、対応点探索によって、同一対象物を表している特徴点の対応付けを行い、三角測量の原理を用いてカメラから対象物までの距離を計測する技術である。
【０００８】
上記の方法は、このステレオ視によって得られる距離情報を統合して、道路の三次元形状を復元し、壁面と道路面の境界を検出することが可能である。
【０００９】
しかし、このような方法においては、ステレオ視によって距離情報を得る処理や、距離情報から三次元形状を復元する処理が複雑になり、計算コストが大きくなるという問題がある。また、この方法には、ステレオ視における対応点探索の問題があり、対象物の形状によって、一方のカメラに撮影されている対象物がもう一方のカメラに撮影されないというオクルージョン領域（隠れ領域）により、誤対応を起こすという問題がある。
【００１０】
さらに、ステレオ視を用いた走行レーン検出方法として、ステレオ視と白線検出を組み合わせた方法がある。
【００１１】
特開平９−３２５０２６号では、一方のカメラで撮影された画像から白線領域を検出し、白線領域内の点と対応する点を、もう一方のカメラから求め、対応点の視差から、白線の路面からの高さを調べるという方法を用いて走行レーンを検出している。
【００１２】
また、特開２００１−９２９７０号は、二つのカメラを用いたステレオ視によって距離情報を計算し、この距離情報と一方のカメラからの輝度情報から白線を検出することによって走行レーンを検出する方法をとっている。
【００１３】
これらの方法により、単眼カメラでは困難だった道路面のみの白線を求める事が可能であり、また三次元モデルの復元を行わないため、計算コストの増加を防ぐことができる。
【００１４】
【発明が解決しようとする課題】
しかし、前記ステレオ視と白線検出を組み合わせた方法においては、白線を一方の画像のみで検出するため、検出した白線領域が前方車両などによってオクルージョン領域になっていると、対応点探索時に誤対応を起こす恐れがある。
【００１５】
また、対応点探索を特徴点近傍の局所領域のみに対して行うため、正しい対応点付近に輝度が類似している領域があると、容易に誤対応を起こす、という問題もある。
【００１６】
そこで、本発明は、上記の点を考慮してなされたもので、複数のカメラで撮影された複数の画像上でそれぞれ境界線候補を検出し、画像間で求まった境界線候補同士の対応を取ることによって、視差を計算し、境界線候補の高さを推定する事によって、安定かつ高速に正しい走行レーンの境界線を検出することを目的とする画像処理装置とその方法を提供する。
【００１７】
【課題を解決するための手段】
請求項１の発明は、前記移動体が走行可能な領域を規定する境界線を、前記移動体に取り付けられた複数の撮影装置によって撮影し、この撮影した複数の画像から前記境界線を求める画像処理装置において、前記複数の画像を取り込む画像取得手段と、輝度情報に基づいて前記境界線の候補を境界線モデルとして前記複数の画像毎に検出する境界線モデル検出手段と、前記複数の画像の中で一の画像を基準画像とし、この基準画像から検出された境界線モデルを基準モデルとし、前記基準画像とは異なる他の画像を比較画像とし、前記基準モデルと前記比較画像から検出された境界線モデルとを比較し、前記基準モデルに対応する前記比較画像から検出された境界線モデルを対応モデルに決定する対応モデル決定手段と、前記基準画像上における前記基準モデルと前記対応モデルとの位置の違いから、前記基準モデルにおける前記移動体が移動する平面からの高さを推定する高さ推定手段と、前記平面からの高さを用いて、前記基準モデルを前記平面に投影して前記境界線を決定する境界線決定手段と、を有することを特徴とする画像処理装置である。
【００１８】
請求項２の発明は、前記対応モデル決定手段は、前記基準画像上での前記基準モデルと前記比較画像から検出された境界線モデルとの位置関係から、前記対応モデルの候補である対応モデル候補を選択する対応モデル候補選択手段と、前記基準モデルと前記対応モデル候補の位置関係と画素情報に基づいて、前記基準モデルと前記対応モデル候補との類似度を計算するモデル間類似度計算手段と、前記類似度に基づいて対応モデル候補の中から前記対応モデルを選択する対応モデル選択手段とを有することを特徴とする請求項１記載の画像処理装置である。
【００１９】
請求項３の発明は、前記モデル間類似度計算手段は、前記境界線モデルは、前記境界線の候補の画像上での特徴を表す複数のモデル構成領域によって構成され、前記基準画像上のモデル構成領域が、前記比較画像上にも存在するかを判定し、存在する場合には、その比較画像上のモデル構成領域を対応モデル構成領域として選択する対応モデル構成領域選択手段と、前記対応モデル構成領域において、前記基準画像上のモデル構成領域を基準モデル構成領域とし、この対応モデル構成領域周辺の画素値を用いた所定の評価値を使って、前記対応モデル構成領域周辺にもっとも評価値の高い点を探索し、その評価値を前記対応モデル構成領域の評価値と決定する対応モデル構成領域探索手段と、前記各対応モデル構成領域の評価値を集計して前記対応モデルの類似度を計算する類似度計算手段と、を有することを特徴とする請求項２記載の画像処理装置である。
【００２０】
請求項４の発明は、前記対応モデル決定手段は 前記基準モデルと前記対応モデルを所定の評価値によって比較し、前記基準モデルより安定して検出されている対応モデルを選択する安定境界線モデル選択手段と、前記選択した対応モデルによって前記基準モデルを修正する境界線モデル修正手段と、を有することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置である。
【００２１】
請求項５の発明は、前記高さ推定手段は 前記撮影装置に撮影されている境界線の候補は全て平面内にあると仮定して、平面に対する前記撮影装置の取り付け位置及び角度から、前記比較画像の座標を、前記基準画像の座標に変換する座標変換を用いて、前記対応モデルを前記基準画像の座標に変換する座標変換手段と、前記基準画像上での前記変換した対応モデルと前記基準モデルとの距離を視差として計算し、この視差から高さを推定する視差計算手段と、を有することを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置である。
【００２２】
請求項６の発明は、前記境界線決定手段は、前記平面からの高さによって、前記基準モデルが前記平面内にあるかどうかを判定し、前記平面内にあれば前記基準モデルを平面内境界線モデルとして決定する平面内境界線モデル決定手段と、前記基準モデルが、前記平面にないと判断された場合、その基準モデルを、前記平面からの高さに応じて前記平面に投影して、投影境界線モデルを決定する投影境界線モデル決定手段と、前記平面内の基準モデルと、前記投影境界線モデルから、前記移動体が走行可能な領域を規定する境界線を選択する境界線選択手段と、を有することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置である。
【００２３】
請求項７の発明は、移動体が走行可能な領域を規定する境界線を、前記移動体に取り付けられた複数の撮影装置によって撮影し、この撮影した複数の画像から前記境界線を求める画像処理方法において、前記複数の画像を取り込む画像取得ステップと、輝度情報に基づいて前記境界線の候補を境界線モデルとして前記複数の画像毎に検出する境界線モデル検出ステップと、前記複数の画像の中で一の画像を基準画像とし、この基準画像から検出された境界線モデルを基準モデルとし、前記基準画像とは異なる他の画像を比較画像とし、前記基準モデルと前記比較画像から検出された境界線モデルとを比較し、前記基準モデルに対応する前記比較画像から検出された境界線モデルを対応モデルに決定する対応モデル決定ステップと、前記基準画像上における前記基準モデルと前記対応モデルとの位置の違いから、前記基準モデルにおける移動体が走行する平面の高さを推定する高さ推定ステップと、前記平面からの高さを用いて、前記基準モデルを前記平面に投影して前記境界線を決定する境界線決定ステップとを有することを特徴とする画像処理方法である。
【００２４】
請求項８の発明は、移動体が走行可能な領域を規定する境界線を、前記移動体に取り付けられた複数の撮影装置によって撮影し、この撮影した複数の画像から前記境界線を求める画像処理方法をコンピュータによって実現するプログラムにおいて、前記複数の画像を取り込む画像取得機能と、輝度情報に基づいて前記境界線の候補を境界線モデルとして前記複数の画像毎に検出する境界線モデル検出機能と、前記複数の画像の中で一の画像を基準画像とし、この基準画像から検出された境界線モデルを基準モデルとし、前記基準画像とは異なる他の画像を比較画像とし、前記基準モデルと前記比較画像から検出された境界線モデルとを比較し、前記基準モデルに対応する前記比較画像から検出された境界線モデルを対応モデルに決定する対応モデル決定機能と、前記基準画像上における前記基準モデルと前記対応モデルとの位置の違いから、前記基準モデルにおける移動体が走行する平面の高さを推定する高さ推定機能と、前記平面からの高さを用いて、前記基準モデルを前記平面に投影して前記境界線を決定する境界線決定機能と、を実現することを特徴とする画像処理方法のプログラムである。
【００２５】
本発明は、視点の異なる複数の撮影装置、例えば、カメラによって撮影された、画像（例えば時系列画像）を用いそれぞれの画像上で境界線の候補である境界線候補の検出を行い、画像間で対応付けを行うことによって、検出した境界線候補の路面からの高さを推定し、その高さを用いて、境界線候補を平面上に投影することによって、正しい道路面上の境界線の検出を行うものである。
【００２６】
例えば、車両に搭載したステレオカメラから得られる二つの時系列画像を入力画像として、一方の時系列画像を基準画像、もう一方の時系列画像を比較画像として、基準画像、比較画像それぞれについて境界線のモデルを検出する。
【００２７】
また、本発明は、基準画像と比較画像の間で境界線モデルの対応付けを行うため、一般的なステレオ視である画像局所情報を用いた対応付けより、オクルージョンによる誤対応や、隣接する類似度の高い輝度値による、誤対応が少なく、かつ対応づけの計算コストも低い。
【００２８】
【発明の実施の形態】
以下、本発明の一実施形態である画像処理装置について図１から図１２を用いて説明する。
【００２９】
（１）本実施形態における前提の説明
本実施形態の画像処理装置２０においては、以下のように定義する。
【００３０】
・「平面」とは、道路面のことである。
【００３１】
・「平面内の境界線」とは、例えば、平面に描かれた境界線や、投影された境界線をいう。これは「平面上の境界線」とすると、平面から上方に位置する境界線も含まれるため、そのあいまいさをなくすために、本明細書では「平面内の境界線」とする。
【００３２】
・「立体物」とは、路肩、ガードレール、壁等の、走行レーンに沿って延びる平面からある高さを持つものである。
【００３３】
・「境界線」とは、白線など、道路面に描かれた道路標識、または、立体物と平面の境界であり、車両が走行可能な領域を規定するものである。
【００３４】
・「境界線候補」とは、白線、路肩、ガードレール、側壁の梁等の、消失点に向かって延びる直線、または曲線のことであり、車両が走行可能な領域を規定する境界線の候補のことである。
【００３５】
・「境界線モデル」とは、画像上で、境界線候補を表す特徴点の集合のことであり、この特徴点が点状のモデル構成領域であり、本実施形態では「モデル点」という。
【００３６】
・「消失点」とは、車両の進行方向を撮影した時系列画像においては、無限遠点を表す。
【００３７】
なお、環境を屋内に限定した場合には、平面は床、通路などの面である。立体物は壁、机、書棚を表す。境界線とは、床、通路と壁との境界を表す。境界線候補は、机の縁や、壁に取り付けられた配管などを表す。
【００３８】
・「アフィン変換」とは下記のような内容である。
【００３９】
すなわち、実空間上の点Ｐが、視点の異なる二つのカメラによって撮影された時、一方のカメラでは画像上の点ａ（ｘａ，ｙａ）に、もう一方のカメラでは画像上の点ｂ（ｘｂ，ｙｂ）にそれぞれ撮影されたとする。点Ｐが道路平面にあると仮定すると、ｆ（ｘ）＝Ｆｘ＋ｔで表されるアフィン変換によって、ｂはａと同じ座標に変換できる。Ｆは２×２の行列、ｔは２×１のベクトルであり、カメラ配置が決まれば前もって求めておける。
【００４０】
もし、点Ｐが平面上になければ、ｂはａとずれた位置に変換される。つまり点Ｐが平面に近ければ近いほどｆ（ｂ）はａに近付く。詳しくは“Ｓｔｅｒｅｏ ｗｉｔｈｏｕｔ Ｄｅｐｔｈ Ｓｅａｒｃｈ ａｎｄ Ｍｅｔｒｉｃ Ｃａｌｉｂｒａｔｉｏｎ”Ｈ．Ｈａｔｔｏｒｉ，ｅｔ．ａｌ，ＩｎＰｒｏｃ．ＣＶＰＲ，Ｖｏｌ．１，ｐｐ１７７−１８４，２０００）を参照されたい。
【００４１】
（２）画像処理装置２０の構成
図１に本実施形態の画像処理装置２０の構成を示す。
【００４２】
画像処理装置２０は、画像取得部１、境界線モデル検出部２、対応モデル決定部３、高さ推定部４、境界線決定部５より構成され、各部１〜５の各機能は、パソコンなどのコンピュータに記憶されたプログラムによって実現する。
【００４３】
まず、画像取得部１では、視点の異なる二つのカメラから二つの時系列画像を取り込む。
【００４４】
次に、境界線モデル検出部２では、それぞれの時系列画像について、輝度情報に基づいて境界線モデルを検出する。
【００４５】
次に、対応モデル決定部３では、二視点の境界線モデル間で、同一の境界線候補を表す境界線モデルのペアを選択する。
【００４６】
次に、高さ推定部４では、境界線モデルのペアの画像上での位置の違いから、境界線モデルの道路面からの高さを推定する。
【００４７】
次に、境界線決定部５では、境界線モデルの道路面からの高さを用いて、正しい道路面内の境界線を決定する。
【００４８】
以下、各部の具体的な構成について述べる。
【００４９】
（３）画像取得部１
画像取得部１は、時系列画像が取得可能な、視点の異なる二つのＴＶカメラであり、道路を走行する車両の前方に取り付けられ、進行方向を撮影している。
【００５０】
本実施形態においては、二つのカメラの光軸は互いに平行であり、かつ、撮影面の水平軸が同じライン上に揃うように設置されているものとする。
【００５１】
しかし、本発明においては、上記カメラ配置に限定されるのではなく、複数のカメラの中で二つのカメラが一定の距離をおいて配置され、同じ道路面を撮影してさえいればよい。
【００５２】
（４）境界線モデル検出部２
境界線モデル検出部２では、画像取得部１によって得られる二つの時系列画像のそれぞれから境界線モデルを検出する。
【００５３】
例えば、“逆投影画像上での候補追跡処理による白線検出”（中山、窪田、谷口、小野口、電子情報通信学会技術研究報告書、Ｖｏｌ．１０１、Ｎｏ．３０２、ｐｐ．１５−２２、２００１）に記載されている方法を用いる。
【００５４】
この方法によって検出される境界線モデルの詳細を図５を用いて説明する。
【００５５】
各境界線モデルは、図５の複数の破線で示されるように、境界線候補に対して生成され、境界線候補領域に設置される点列によって構成される。この点列が境界線モデルのモデル点である。
【００５６】
また、図５の境界線モデル２のように、境界線候補が不連続なものであるときは、境界線候補が存在する画像上の領域のみにモデル点が設置される。
【００５７】
（５）対応モデル決定部３
対応モデル決定部３では、図６に示すように、二視点の境界線モデルから、同一の境界線候補を表している一組の境界線候補を選択する。手順の流れを図２に示す。
【００５８】
対応モデル決定部３は、図２に示すように、対応する境界線モデルの候補を選択する対応モデル候補選択部６と、候補毎にモデル間類似度を計算するモデル間類似度計算部７と、類似度に基づいて対応する境界線モデルを決定する対応モデル決定部８とから構成され、また、安定境界線モデル選択部１５と境界線モデル修正部１６も有している。
【００５９】
（５−１）対応モデル候補選択部６
図７を用いて、対応モデル候補選択部６の処理を説明する。
【００６０】
対応モデル候補選択部６では、まずどちらか一方のカメラで撮影された画像（以下、基準画像という）から検出された境界線モデルを、基準モデルに設定する（図７のＬ１，Ｌ２，Ｌ３）。
【００６１】
次に、もう一方のカメラで撮影された画像（以下、比較画像という）から検出された境界線モデル（Ｒ１，Ｒ２，Ｒ３）を比較モデルとして、アフィン変換によって基準モデルの座標系に変換する（Ｒ１’，Ｒ２’，Ｒ３’）。
【００６２】
図８を用いて、基準モデルＬ１とＲ１’に注目して説明する。
【００６３】
いま、Ｌ１のｉ番目のモデル点（以下、基準モデル点という）をｌｐｉとして、基準モデル点ｌｐｉを通る水平ライン上にＲ１’のモデル点が存在する時、このモデル点をｌｐｉに対する対応モデル点ｒｐｉとする。
【００６４】
以降、基準モデルの基準モデル点に対する対応モデル点を多用するため、対応関係を保持しておく。
【００６５】
ｌｐｉとｒｐｉ間の水平距離を計算し対応モデル点間距離ｄｉとする。ここで対応モデル点がＲ１’に存在しない時、ｄｉ＝０とする。この計算をＬ１の全ての基準モデル点について行う。
【００６６】
つづいて、図８にあるように、消失点からの垂直距離ｈに比例して小さくなるＡ（ｈ）、Ｌ１のモデル点数Ｎ、Ｒ１’の対応モデル点数Ｍ、ｌｐｉの消失点からの垂直距離Ｈｉを用いて、以下の計算を行いＬ１−Ｒ１’間の距離Ｄ１を計算する。
【００６７】
【数１】
【００６８】
同様の処理をＲ２’，Ｒ３’についても行いＤ２，Ｄ３を計算し、最後に最も小さい上位２モデルを選択して、対応モデル候補とする。すなわち、基準画像上での基準モデルに対応するであろう比較画像上での比較モデルを対応モデル候補という。
【００６９】
図８の例でいうと、Ｒ１’とＲ２’がＬ１の対応モデル候補となる。
【００７０】
以上の処理をすべての基準モデルに対して行い対応モデル候補を選択する。
【００７１】
但し、一つの比較モデルが、複数の基準モデルから重複して選択されることがあるが、ここでは重複させておく。
【００７２】
（５−２）モデル間類似度計算部７
図９に示すように、モデル間類似度計算部７では対応モデル候補の各対応モデル点毎に相関値を計算し、それらを集計して、各候補間の類似度を計算する。
【００７３】
まず、モデル点間の相関値の計算方法を述べる。
【００７４】
基準モデルのｉ番目のモデル点をｌｐｉ、対応モデル候補の対応モデル点をｒｐｉとして、画像上の座標をそれぞれ、（ｘｌ，ｙｌ）、（ｘｒ，ｙｒ）とする。また、Ｉｌ（ｍ，ｎ）、Ｉｒ（ｍ，ｎ）を、モデル点座標からの相対座標（ｍ，ｎ）における輝度値とする。相関値は、二つのモデル点周辺領域に設定されたウインドウ内の、輝度値の差の絶対値和（ＳＡＤ）を計算することによって得られる。このＳＡＤが小さいほどモデル点間の相関が高いことを意味している。モデル点間の相関値ｓｉを以下の式で定義する。
【００７５】
【数２】
【００７６】
図１０に示すように、ｌｐｉとｒｐｉが必ずしも同一の特徴点を表しているとは限らないので、対応モデル点ｒｐｉ近傍に、より相関が高い輝度値を持つ場所を探索する必要がある。この探索によって求まる最も相関が高い場所、すなわち、下記の式（３）では最も低い相関値Ｓｉを、最終的な対応モデル点の相関値とする。
【００７７】
そこで、まずｓｉを、ｓｉ（ｘ，ｙ）、つまりｒｐｉ近傍の点（ｘ，ｙ）における相関値として再定義する。このｓｉ（ｘ，ｙ）を用いたＳｉの計算式を以下に示す。
【００７８】
【数３】
【００７９】
相関値を計算するための、ウインドウサイズＷｈｉとＤｉの説明を行う。
【００８０】
境界線候補である白線やガードレールは画像上では消失点に近付くほど小さくなる。このためウインドウサイズを固定してＳＡＤを計算すると、消失点付近ではウインドウ内の輝度情報のほとんどが、白線ではなく道路面などの白線以外の特徴を表してしまい、マッチングの精度が落ちるという問題がある。また、探索範囲を固定すると消失点付近では細い白線に対して、広すぎる範囲を探索してしまい、誤対応を起こす要因ともなる。
【００８１】
そのため、消失点までの垂直距離が小さくなるにしたがって、ウインドウサイズと探索範囲を小さくすることにより、上記の問題に対処する。モデル間類似度計算部では相関値を計算する前処理として、この消失点までの距離毎のウインドウサイズを計算する。本実施形態では図９のように、垂直方向のウインドウサイズは３画素で一定にし、水平方向のウインドウサイズは最大２０画素、最小３画素で、消失点までの垂直距離に比例して変化させた。
【００８２】
基準モデルの全てのｌｐｉについて同様の計算を行い、対応モデル候補間での類似度を決定する。モデル間の類似度Ｓは基準モデルのモデル点数をＮ、対応モデル点数をＭとして、以下の式で表す。
【００８３】
【数４】
【００８４】
（５−３）対応モデル選択部８
対応モデル選択部８は、対応モデル候補の中で、類似度が所定の閾値以上であり、かつ、最も高い類似度をもつ対応モデル候補を、対応モデルとして選択する。
【００８５】
この時一つの比較モデルが、複数の基準モデルによって、対応モデルに選ばれる場合がある。
【００８６】
このような場合、重複する比較モデルと最も高い類似度を持つ基準モデルを選び、この基準モデルと比較モデルの組み合わせを対応モデルと決定する。そして、対応モデルを失った基準モデルは、対応モデル候補の次の候補（２番目に類似度が高いモデル）の類似度が閾値以上の場合に、そのモデルを最終的な対応モデルとして決定する。上記の条件を満たさない場合は、対応モデルなしと判断する。
【００８７】
（５−４）安定境界線モデル選択部１５と境界線モデル修正部１６
ここで、図１２に示すように基準モデルのカメラから撮影される道路面の白線（白線１）が、前方車両によって大きく隠れてしまう状況を考慮して以下の処理を基準モデルに対して安定境界線モデル選択部１５と境界線モデル修正部１６で行う。
【００８８】
安定境界線モデル選択部１５において、境界線の長さを評価値として、対応モデルの長さと基準モデルの長さを比較する。
【００８９】
そして、境界線モデル修正部１６では、対応モデルの長さの方が、基準モデルの長さより長いと判断される場合、対応モデルの各モデル点を基準モデルの画像上にアフィン変換し、アフィン変換後のモデル点を、基準モデルのモデル点として再設定する。
【００９０】
これにより、図１２に示すように一方のカメラから撮影される道路面の白線が（白線１）、前方車両によって大きく隠れてしまうような状況であっても、視点の異なるもう一方のカメラから撮影された白線（白線２）と対応をとることにより、白線２を用いて、白線１の隠れた領域を補間し、より正確な境界線を設定することができる。
【００９１】
（６）高さ推定部４
高さ推定部４では、基準モデルと対応モデルの視差を用いて、道路面からの高さを推定する。手順の流れを図３に示す。
【００９２】
まず、対応モデルを、基準モデルの画像上にアフィン変換する。変換するのは、対応モデルのモデル点（ｘ，ｙ）ではなく、モデル間類似度計算部７で求めた修正モデル点（ｘ＋ｄ，ｙ）である。
【００９３】
基準モデル点をｌｐｉとし、この基準モデル点ｌｐｉと同じ水平ライン上に存在するアフィン変換後の対応モデルの修正モデル点をｒｐ’ｉとする。
【００９４】
ｌｐｉとｒｐ’ｉのｘ座標をそれぞれｘｌｉ，ｘｒ’ｉとすると、ｌｐｉとｒｐ’ｉの視差ｄｉは、
【数５】
【００９５】
図１１に示すように、もしこの基準モデルと対応モデルが道路面に存在する境界線候補を表しているなら、全てのｄｉは０になるはずである。また、境界線候補の路面上からの高さに比例してｄｉは大きくなり、もし境界線候補が路面の下に存在するならば、ｄｉ＜０となる。つまり視差ｄｉをもつモデル点の、画像上での高さは
【数６】
【００９６】
（７）境界線決定部５
境界線決定部５は、図４に示すように、平面に描かれた境界線モデルを決定する平面内境界線モデル決定部１２と、平面に投影した境界線モデルを決定する投影境界線モデルを決定する投影境界線モデル決定部１３と、移動体が走行可能な領域を規定する境界線を決定する境界線決定部１４からなる。
【００９７】
（７−１）平面内境界線モデル決定部１２
平面内境界線モデル決定部１２では、対応モデル決定部３で対応モデルが見つかった基準モデルについて、高さ推定部４で求めたモデル点の高さｈｉを用いて、境界線モデルが路面にあるかどうかの判断を行う。
【００９８】
ｈｉは、画像上での路面からの高さを表しており、実際の高さが同じであっても、消失点付近の高さは画像上では低く検出される。このため、ｉ番目のモデル点の消失点までの垂直距離をＨｉとして、Ｈｉに比例して小さくなる重みＢ（Ｈｉ）を用いた重み付き平均によって、境界線モデルの路面からの高さＭＨを以下の式で求める。
【００９９】
【数７】
【０１００】
（７−２）投影境界線モデル決定部１３
投影境界線モデル決定部１３では、対応モデル決定部３で対応モデルが見つかり、かつ、平面内境界線モデル決定部１２で、道路面にないと判断された境界線モデルについて処理を行う。
【０１０１】
前記平面内境界線モデル決定部１２で求めた、境界線モデルの高さＨが負である場合、そのモデルは道路面への写り込み、もしくは対応モデルが誤対応を起こしていると判断して棄却する。
【０１０２】
しかし、境界線モデルの高さＨが正である場合、この基準モデルは路面内にない、ガードレール等立体物の境界線モデルであると判断する。
【０１０３】
この境界線モデルは路面から浮いているため、路面内の正しい境界線候補ではない。そこでｈｉを用いて立体物と道路面の境界線を求める。
【０１０４】
この基準モデルのｉ番目の基準モデル点の座標を（ｘｉ，ｙｉ）とすると、道路面に投影される平面境界点は（ｘｉ，ｙｉ−ｈｉ）となる。
【０１０５】
この計算を全ての基準モデル点について行い、この平面境界点を道路面と立体物の境界線である投影境界線モデルとする。
【０１０６】
（７−３）境界線決定部１４
境界線決定部１４では、平面内境界線モデル決定部１２によって道路面内にある境界線候補と判断された基準モデル（すなわち、平面内の基準モデルである）と、投影境界線モデル決定部１３で立体物と判断された基準モデルの投影境界線モデルから、最終的な道路面内の境界線を決定する。
【０１０７】
消失点より左にある平面内の境界線モデル、または、投影境界線モデルのうち、最も右側にある平面内の境界線モデル、または、投影境界線モデルを左の境界線とする。
【０１０８】
また、消失点より右側にある平面内の境界線モデル、または、投影境界線モデルのうち、最も左にある平面内の境界線モデル、または、投影境界線モデルを、右にある境界線に決定する。
【０１０９】
なお、本発明は前記実施形態で記載した内容に限定されるものではない。
【０１１０】
（変更例１）
対応モデル決定部３において、類似度計算にモデル点同士の相関値を用いているが、モデル全体の輝度値の相関値を用いてもよい。
【０１１１】
例えば、モデルを形成する全モデル点の輝度平均を計算し、この輝度平均の差の絶対値をモデル間の類似度としてもよい。
【０１１２】
また、上記の実施形態では、輝度情報を用いてモデル間の類似度を計算しているが、他にモデルの特徴をよく表している属性があれば、類似度計算にその属性を用いることも可能である。
【０１１３】
例えば、モデルが生成されてからの時間（生存時間）の差の絶対値をモデル間の類似度としてもよい。
【０１１４】
さらに、モデルの特徴を表す様々な属性について類似度を計算し、所定の方法でそれら類似度を統合し、モデル間の類似度としてもよい。
【０１１５】
例えば、前記輝度平均の差の絶対値と、前記生存時間の差の絶対値と、上記の実施形態で用いたＳＡＤによる相関値の重みつき平均を、モデル間の類似度としてもよい。
【０１１６】
（変更例２）
境界線モデル検出部２において、どちらか一方の画像全体をアフィン変換した後に境界線モデル検出しても良い。これにより平面上の境界線候補の形状は両画像間でほぼ同じ形状になるため、ＳＡＤの精度が向上する。
【０１１７】
また、境界線モデルの各モデル点を画像上での境界線候補上に設置しているが、境界線候補を道路面上から見た画像（逆投影画像）に変換して、その逆投影画像上の境界線候補に各モデル点を設置してもよい。
【０１１８】
（変更例３）
対応モデル候補選択部６において、対応モデル候補を上位２つでなく、より多くの候補を残しても良い。
【０１１９】
白線が複数本、密集して道路に描かれているような状況では、より多くの候補を残した方が、誤対応の可能性が低くなる。
【０１２０】
（変更例４）
対応モデル決定部３において、二つの時系列画像において、どちらか一方の画像を基準画像として、その基準画像からの境界線モデルを基準モデルにする必要はない。
【０１２１】
例えば、消失点の左側のモデルの対応モデルを探す時には、左側のカメラからのモデルを基準モデルに設定し、消失点右側のモデルの対応モデルを探すときは、右側に位置するカメラからのモデルを基準モデルにすれば、前方車両による隠れ領域が少ないモデルを基準モデルに設定可能であるので、より安定して対応モデルを決定することができる。
【０１２２】
（変更例５）
モデル間類似度計算部７において、ＳＡＤを計算する時、水平方向ウインドウサイズを消失点までの垂直距離に応じて変化させているが、さらに垂直方向に変化させてもよい。
【０１２３】
（変更例６）
安定境界線モデル選択部１５において、境界線が撮影されている時間の長さを評価値として、対応モデルの撮影時間と基準モデルの撮影時間を比較する。
【０１２４】
そして、境界線モデル修正部１６では、対応モデルの撮影時間の長さの方が、基準モデルの撮影時間の長さより長いと判断される場合、対応モデルの各モデル点を基準モデルの画像上にアフィン変換し、アフィン変換後のモデル点を、基準モデルのモデル点として再設定することもできる。
【０１２５】
【発明の効果】
本発明を用いることにより、道路上の白線と、ガードレールなどの立体物から正しい境界線を検出することが可能である。
【０１２６】
また、モデル同士の対応をとることによって、一般的なステレオ視よりも安定して視差を検出し、計算量も低減することができる。
【図面の簡単な説明】
【図１】本実施形態の画像処理装置の構成である。
【図２】対応モデル選択部の構成例である。
【図３】高さ推定部の構成例である。
【図４】境界線選択部の構成例である。
【図５】入力画像と検出された境界線モデルについて示す。
【図６】対応する境界線モデルの例である。
【図７】対応モデル候補の選択方法について示す。
【図８】モデル間の距離計算の方法について示す。
【図９】モデル点同士のテンプレートマッチングを示す。
【図１０】テンプレートマッチングの探索範囲を示す。
【図１１】道路面からの高さと視差の関係を示す。
【図１２】前方車両によって白線が隠れる様子を示す。
【符号の説明】
１ 画像取得部
２ 境界線モデル検出部
３ 対応モデル決定部
４ 高さ推定部
５ 境界線決定部
６ 対応モデル候補決定部
７ モデル間類似度計算部
８ 対応モデル選択部
９ 座標変換部
１０ 視差計算部
１１ 高さ推定部
１２ 平面内境界線モデル決定部
１３ 投影境界線モデル決定部
１４ 境界線決定部
１５ 安定境界線モデル選択部
１６ 境界線モデル修正部
２０ 画像処理装置
Claims (8)
- 移動体が走行可能な領域を規定する境界線を、前記移動体に取り付けられた複数の撮影装置によって撮影し、この撮影した複数の画像から前記境界線を求める画像処理装置において、
前記複数の画像を取り込む画像取得手段と、
輝度情報に基づいて前記境界線の候補を境界線モデルとして前記複数の画像毎に検出する境界線モデル検出手段と、
前記複数の画像の中で一の画像を基準画像とし、この基準画像から検出された境界線モデルを基準モデルとし、前記基準画像とは異なる他の画像を比較画像とし、前記基準モデルと前記比較画像から検出された境界線モデルとを比較し、前記基準モデルに対応する前記比較画像から検出された境界線モデルを対応モデルに決定する対応モデル決定手段と、
前記基準画像上における前記基準モデルと前記対応モデルとの位置の違いから、前記基準モデルにおける前記移動体が移動する平面からの高さを推定する高さ推定手段と、
前記平面からの高さを用いて、前記基準モデルを前記平面に投影して前記境界線を決定する境界線決定手段と、
を有する
ことを特徴とする画像処理装置。 - 前記対応モデル決定手段は、
前記基準画像上での前記基準モデルと前記比較画像から検出された境界線モデルとの位置関係から、前記対応モデルの候補である対応モデル候補を選択する対応モデル候補選択手段と、
前記基準モデルと前記対応モデル候補の位置関係と画素情報に基づいて、前記基準モデルと前記対応モデル候補との類似度を計算するモデル間類似度計算手段と、
前記類似度に基づいて対応モデル候補の中から前記対応モデルを選択する対応モデル選択手段と、
を有する
ことを特徴とする請求項１記載の画像処理装置。 - 前記モデル間類似度計算手段は、
前記境界線モデルは、前記境界線の候補の画像上での特徴を表す複数のモデル構成領域によって構成され、
前記基準画像上のモデル構成領域が、前記比較画像上にも存在するかを判定し、存在する場合には、その比較画像上のモデル構成領域を対応モデル構成領域として選択する対応モデル構成領域選択手段と、
前記対応モデル構成領域において、前記基準画像上のモデル構成領域を基準モデル構成領域とし、この対応モデル構成領域周辺の画素値を用いた所定の評価値を使って、前記対応モデル構成領域周辺にもっとも評価値の高い点を探索し、その評価値を前記対応モデル構成領域の評価値と決定する対応モデル構成領域探索手段と、
前記各対応モデル構成領域の評価値を集計して前記対応モデルの類似度を計算する類似度計算手段と、
を有する
ことを特徴とする請求項２記載の画像処理装置。 - 前記対応モデル決定手段は
前記基準モデルと前記対応モデルを所定の評価値によって比較し、前記基準モデルより安定して検出されている対応モデルを選択する安定境界線モデル選択手段と、
前記選択した対応モデルによって前記基準モデルを修正する境界線モデル修正手段と、
を有する
ことを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。 - 前記高さ推定手段は
前記撮影装置に撮影されている境界線の候補は全て平面内にあると仮定して、平面に対する前記撮影装置の取り付け位置及び角度から、前記比較画像の座標を、前記基準画像の座標に変換する座標変換を用いて、前記対応モデルを前記基準画像の座標に変換する座標変換手段と、
前記基準画像上での前記変換した対応モデルと前記基準モデルとの距離を視差として計算し、この視差から高さを推定する視差計算手段と、
を有する
ことを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。 - 前記境界線決定手段は、
前記平面からの高さによって、前記基準モデルが前記平面内にあるかどうかを判定し、前記平面内にあれば前記基準モデルを平面内境界線モデルとして決定する平面内境界線モデル決定手段と、
前記基準モデルが前記平面にないと判断された場合、その基準モデルを、前記平面からの高さに応じて前記平面に投影して、投影境界線モデルを決定する投影境界線モデル決定手段と、
前記平面内の基準モデルと、前記投影境界線モデルから、前記移動体が走行可能な領域を規定する境界線を選択する境界線選択手段と、
を有する
ことを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。 - 移動体が走行可能な領域を規定する境界線を、前記移動体に取り付けられた複数の撮影装置によって撮影し、この撮影した複数の画像から前記境界線を求める画像処理方法において、
前記複数の画像を取り込む画像取得ステップと、
輝度情報に基づいて前記境界線の候補を境界線モデルとして前記複数の画像毎に検出する境界線モデル検出ステップと、
前記複数の画像の中で一の画像を基準画像とし、この基準画像から検出された境界線モデルを基準モデルとし、前記基準画像とは異なる他の画像を比較画像とし、前記基準モデルと前記比較画像から検出された境界線モデルとを比較し、前記基準モデルに対応する前記比較画像から検出された境界線モデルを対応モデルに決定する対応モデル決定ステップと、
前記基準画像上における前記基準モデルと前記対応モデルとの位置の違いから、前記基準モデルにおける移動体が走行する平面の高さを推定する高さ推定ステップと、
前記平面からの高さを用いて、前記基準モデルを前記平面に投影して前記境界線を決定する境界線決定ステップと、
を有する
ことを特徴とする画像処理方法。 - 移動体が走行可能な領域を規定する境界線を、前記移動体に取り付けられた複数の撮影装置によって撮影し、この撮影した複数の画像から前記境界線を求める画像処理方法をコンピュータによって実現するプログラムにおいて、
前記複数の画像を取り込む画像取得機能と、
輝度情報に基づいて前記境界線の候補を境界線モデルとして前記複数の画像毎に検出する境界線モデル検出機能と、
前記複数の画像の中で一の画像を基準画像とし、この基準画像から検出された境界線モデルを基準モデルとし、前記基準画像とは異なる他の画像を比較画像とし、前記基準モデルと前記比較画像から検出された境界線モデルとを比較し、前記基準モデルに対応する前記比較画像から検出された境界線モデルを対応モデルに決定する対応モデル決定機能と、
前記基準画像上における前記基準モデルと前記対応モデルとの位置の違いから、前記基準モデルにおける移動体が走行する平面の高さを推定する高さ推定機能と、
前記平面からの高さを用いて、前記基準モデルを前記平面に投影して前記境界線を決定する境界線決定機能と、
を実現する
ことを特徴とする画像処理方法のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002084597A JP3786618B2 (ja) | 2002-03-25 | 2002-03-25 | 画像処理装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002084597A JP3786618B2 (ja) | 2002-03-25 | 2002-03-25 | 画像処理装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003281552A JP2003281552A (ja) | 2003-10-03 |
| JP3786618B2 true JP3786618B2 (ja) | 2006-06-14 |
Family
ID=29231858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002084597A Expired - Fee Related JP3786618B2 (ja) | 2002-03-25 | 2002-03-25 | 画像処理装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3786618B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3931891B2 (ja) * | 2004-07-05 | 2007-06-20 | 日産自動車株式会社 | 車載用画像処理装置 |
| JP4659631B2 (ja) | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
| JP4544028B2 (ja) * | 2005-05-13 | 2010-09-15 | 日産自動車株式会社 | 車載画像処理装置、および画像処理方法 |
| JP4632987B2 (ja) * | 2006-03-28 | 2011-02-16 | 株式会社パスコ | 道路画像解析装置及び道路画像解析方法 |
| JP4804202B2 (ja) * | 2006-04-10 | 2011-11-02 | 富士重工業株式会社 | ステレオ式監視装置 |
| JP4868964B2 (ja) * | 2006-07-13 | 2012-02-01 | 三菱ふそうトラック・バス株式会社 | 走行状態判定装置 |
| JP4839330B2 (ja) * | 2008-02-29 | 2011-12-21 | 東芝テリー株式会社 | 画像処理装置および画像処理プログラム |
| JP2009237901A (ja) * | 2008-03-27 | 2009-10-15 | Zenrin Co Ltd | 路面標示地図生成方法 |
| JP5089545B2 (ja) | 2008-09-17 | 2012-12-05 | 日立オートモティブシステムズ株式会社 | 道路境界検出判断装置 |
| US9959595B2 (en) | 2010-09-21 | 2018-05-01 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
| US9118816B2 (en) * | 2011-12-06 | 2015-08-25 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
| US9280711B2 (en) | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
| JP5982298B2 (ja) * | 2013-02-21 | 2016-08-31 | シャープ株式会社 | 障害物検出装置および障害物検出方法 |
| JP6346869B2 (ja) * | 2015-03-31 | 2018-06-20 | 公益財団法人鉄道総合技術研究所 | ステレオ画像処理方法およびその装置 |
| JP7057762B2 (ja) * | 2019-02-06 | 2022-04-20 | Kddi株式会社 | 高さ推定装置及びプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3324821B2 (ja) * | 1993-03-12 | 2002-09-17 | 富士重工業株式会社 | 車輌用車外監視装置 |
| JP3562751B2 (ja) * | 1998-06-09 | 2004-09-08 | 矢崎総業株式会社 | 前方車両検出方法及び装置 |
| JP4256992B2 (ja) * | 1999-09-09 | 2009-04-22 | 株式会社東芝 | 障害物検出装置 |
-
2002
- 2002-03-25 JP JP2002084597A patent/JP3786618B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003281552A (ja) | 2003-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112785702B (zh) | 一种基于2d激光雷达和双目相机紧耦合的slam方法 | |
| CN110567469B (zh) | 视觉定位方法、装置、电子设备及系统 | |
| JP3786618B2 (ja) | 画像処理装置及びその方法 | |
| WO2021196941A1 (zh) | 三维目标检测方法及装置 | |
| JP4198054B2 (ja) | ３ｄビデオ会議システム | |
| CN105551020B (zh) | 一种检测目标物尺寸的方法及装置 | |
| JP4919036B2 (ja) | 移動物体認識装置 | |
| CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
| US20070268295A1 (en) | Posture estimation apparatus and method of posture estimation | |
| JP2016029564A (ja) | 対象検出方法及び対象検出装置 | |
| CN109472820B (zh) | 单目rgb-d相机实时人脸重建方法及装置 | |
| JP2009041972A (ja) | 画像処理装置及びその方法 | |
| JPH07129898A (ja) | 障害物検出装置 | |
| CN108537214B (zh) | 一种室内语义地图的自动化构建方法 | |
| CN109917359B (zh) | 基于车载单目视觉的鲁棒车辆距离估计方法 | |
| CN108776989A (zh) | 基于稀疏slam框架的低纹理平面场景重建方法 | |
| CN112418288A (zh) | 一种基于gms和运动检测的动态视觉slam方法 | |
| CN116449384A (zh) | 基于固态激光雷达的雷达惯性紧耦合定位建图方法 | |
| CN109029442A (zh) | 基于多视角匹配的定位装置及方法 | |
| CN112700486A (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
| CN116468786B (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
| Klappstein et al. | Monocular motion detection using spatial constraints in a unified manner | |
| JP2006236104A (ja) | 対象物判定装置 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| CN104471436B (zh) | 用于计算对象的成像比例的变化的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060314 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060320 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100331 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |