JP3279610B2

JP3279610B2 - 環境認識装置

Info

Publication number: JP3279610B2
Application number: JP33257091A
Authority: JP
Inventors: 弘行高橋; 浩一小嶋
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 1991-11-21
Filing date: 1991-11-21
Publication date: 2002-04-30
Anticipated expiration: 2017-04-30
Also published as: JPH05143156A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は環境認識装置、特に、自
律走行車などにおいて、走行路前方の障害物の認識を行
うのに適した環境認識装置に関する。

【０００２】

【従来の技術】自律走行車の走行制御においては、走行
路前方の状況を的確に認識することが重要である。特
に、走行路前方に存在する障害物は、できるだけ早く認
識し、衝突を回避するための適切な走行制御を行わねば
ならない。このような環境認識を行うために、従来から
種々の手法が提案されてきている。たとえば、特開昭６
４−２６９１３号公報には、２台のカメラを左右に並
べ、走行路前方の障害物についてのステレオ画像を撮像
し、これに基づいて適切な制御を行う自律走行車の制御
装置が開示されている。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
ステレオ画像に基づく環境認識装置には、画像データに
対する演算量が膨大なものとなり、障害物の認識までに
時間がかかるという問題がある。すなわち、実際の障害
物は三次元の物体であるのに対し、解析の材料となるス
テレオ画像はその二次元投影像であるため、左右の画像
についての特徴量の抽出処理や、特徴量の整合処理など
を行わねばならない。このような処理は、膨大な演算を
必要とし、障害物などの認識を短時間に行うことは困難
となる。

【０００４】そこで本発明は、より簡便な演算を用い
て、短時間に環境認識を行うことができる環境認識装置
を提供することを目的とする。

【０００５】

【課題を解決するための手段】

(1) 本願第１の発明は、環境認識装置において、認識
対象についての右画像および左画像からなる二次元のス
テレオ画像を得るために、右撮像装置および左撮像装置
を有するステレオ画像入力手段と、左右の撮像装置相互
の向きおよび位置の関係に基づいて定まる左右の画像間
の変換情報を記憶する変換情報記憶手段と、所定の基準
面を定義し、この基準面を示す式と左右の画像間の変換
情報とに基づいて、右画像に対応する仮想左画像を作成
する右画像変換と、左画像に対応する仮想右画像を作成
する左画像変換と、の少なくとも一方を行う画像変換手
段と、右画像と仮想右画像の組み合わせ、および左画像
と仮想左画像の組み合わせ、の少なくとも一方の組み合
わせについて、差分画像を作成する画像差分手段と、異
なる複数の基準面を定義することにより得られた複数の
差分画像を相互に比較し、予め設定された基準パターン
に最も近似した差分画像が得られた基準面を選択し、こ
の選択した基準面の高さ位置に、差分画像に対応する障
害物の認識を行う障害物認識装置と、を設けたものであ
る。

【０００６】(2) 本願第２の発明は、環境認識装置に
おいて、認識対象についての右画像および左画像からな
る二次元のステレオ画像を得るために、右撮像装置およ
び左撮像装置を有するステレオ画像入力手段と、左右の
撮像装置相互の向きおよび位置の関係に基づいて定まる
左右の画像間の変換情報を記憶する変換情報記憶手段
と、所定の基準面を定義し、この基準面を示す式と左右
の画像間の変換情報とに基づいて、右画像に対応する仮
想左画像を作成する右画像変換と、左画像に対応する仮
想右画像を作成する左画像変換と、の少なくとも一方を
行う画像変換手段と、右画像と仮想右画像の組み合わ
せ、および左画像と仮想左画像の組み合わせ、の少なく
とも一方の組み合わせについて、差分画像を作成する画
像差分手段と、異なる複数の基準面を定義することによ
り得られた複数の差分画像の相互変化を認識し、この相
互変化が予め設定された変化パターンに基づくものであ
る場合には、得られた差分画像を障害物として認識する
障害物認識装置と、を設けたものである。

【０００７】 (3) 本願第３の発明は、上述の第１または第２の発明
による環境認識装置において、それぞれ異なる基準面が
定義され、それぞれ独立した画像変換処理を行うことの
できる複数の画像変換装置、によって画像変換手段を構
成し、この複数の画像変換装置によって変換されたそれ
ぞれの仮想画像について、それぞれ独立して差分画像を
作成する複数の画像差分装置、によって画像差分手段を
構成し、異なる複数の基準面についての各差分画像を、
それぞれ同時に演算して求めることができるようにした
ものである。 (4) 本願第４の発明は、上述の第１〜第３の発明によ
る環境認識装置において、ステレオ画像入力手段が、右
画像および左画像をそれぞれ時系列データとして連続的
に取り込む機能を有し、画像変換手段が、時間的に前後
して与えられる画像間の差を示す時系列的な差分画像を
求め、この時系列的な差分画像に基づいて時間的な変化
を含む所定の対象領域を定め、この対象領域についての
み画像変換の処理を行うようにしたものである。 (5) 本願第５の発明は、環境認識装置において、認識
対象についての右画像および左画像からなる二次元のス
テレオ画像を得るために、右撮像装置および左撮像装置
を有するステレオ画像入力手段と、左右の撮像装置相互
の向きおよび位置の関係に基づいて定まる左右の画像間
の変換情報を記憶する変換情報記憶手段と、所定の基準
面を示す式と変換情報とに基づいて、右画像に対応する
仮想左画像を作成する右画像変換と、左画像に対応する
仮想右画像を作成する左画像変換と、の少なくとも一方
を行う画像変換手段と、右画像と仮想右画像の組み合わ
せ、および左画像と仮想左画像の組み合わせ、の少なく
とも一方の組み合わせについて、差分画像を作成する画
像差分手段と、走行路面上の部分的な特徴を認識し、右
画像および左画像のうちのいずれか一方からなる実画像
上の特徴を示す位置に３点Ｐ１，Ｐ２，Ｐ３を定義し、
これら３点について基準面を定義することなしに変換情
報に基づいて画像変換処理を施すことにより、実画像に
対して左右反対側の仮想画像上に３点Ｐ１，Ｐ２，Ｐ３
に対応するエピポーララインＱ１，Ｑ２，Ｑ３を求め、
この特徴を利用して、エピポーララインＱ１，Ｑ２，Ｑ
３上に、３点Ｐ１，Ｐ２，Ｐ３についての対応点Ｐ
１′，Ｐ２′，Ｐ３′を求め、３点Ｐ１，Ｐ２，Ｐ３と
その対応点Ｐ１′，Ｐ２′，Ｐ３′とに基づいて定まる
平面を、走行路面に対応する基準面として定義し、この
基準面を画像変換手段に与える処理を行う基準面定義手
段と、画像変換手段が走行路面に対応する基準面を示す
式を用いて画像変換を行ったときに得られる差分画像に
基づいて障害物の認識を行う障害物認識装置と、を設け
るようにしたものである。 (6) 本願第６の発明は、上述の第５の発明による環境
認識装置において、基準面定義手段が、３点Ｐ１，Ｐ
２，Ｐ３とその対応点Ｐ１′，Ｐ２′，Ｐ３′とに基づ
いて定まる平面を仮の基準面とし、障害物が存在しない
環境において、仮の基準面を用いた画像変換を画像変換
手段に行わせることにより得られた仮想画像と実画像と
を比較し、両者が一致を示すまで仮の基準面に対する補
正を行い、補正後の基準面を走行路面に対応する基準面
として定義する処理を行うようにしたものである。 (7) 本願第７の発明は、環境認識装置において、認識
対象についての右画像および左画像からなる二次元のス
テレオ画像を得るために、右撮像装置および左撮像装置
を有するステレオ画像入力手段と、左右の撮像装置相互
の向きおよび位置の関係に基づいて定まる左右の画像間
の変換情報を記憶する変換情報記憶手段と、所定の基準
面を示す式と変換情報とに基づいて、右画像に対応する
仮想左画像を作成する右画像変換と、左画像に対応する
仮想右画像を作成する左画像変換と、の少なくとも一方
を行う画像変換手段と、右画像と仮想右画像の組み合わ
せ、および左画像と仮想左画像の組み合わせ、の少なく
とも一方の組み合わせについて、差分画像を作成する画
像差分手段と、路面上の照射点が高い輝度をもつ点とし
て認識できるように走行路面に対して光ビームを照射す
る手段と、画像変換手段が右画像上の照射点と仮想右画
像上の照射点とが一致するような画像変換もしくは左画
像上の照射点と仮想左画像上の照射点とが一致するよう
な画像変換を行うことが可能となるような基準面を、走
行路面に対応する基準面として定義し、この基準面を画
像変換手段に与える処理を行う基準面定義手段と、画像
変換手段が走行路面に対応する基準面を示す式を用いて
画像変換を行ったときに得られる差分画像に基づいて障
害物の認識を行う障害物認識装置と、を設けるようにし
たものである。 (8) 本願第８の発明は、環境認識装置において、認識
対象についての右画像および左画像からなる二次元のス
テレオ画像を得るために、右撮像装置および左撮像装置
を有するステレオ画像入力手段と、左右の撮像装置相互
の向きおよび位置の関係に基づいて定まる左右の画像間
の変換情報を記憶する変換情報記憶手段と、所定の基準
面を示す式と変換情報とに基づいて、右画像に対応する
仮想左画像を作成する右画像変換と、左画像に対応する
仮想右画像を作成する左画像変換と、の少なくとも一方
を行う画像変換手段と、右画像と仮想右画像の組み合わ
せ、および左画像と仮想左画像の組み合わせ、の少なく
とも一方の組み合わせについて、差分画像を作成する画
像差分手段と、路面上の照射点が高い輝度をもつ点とし
て認識できるように走行路面に対して所定の照射角度で
光ビームを照射する手段と、照射点から反射されてきた
光ビームを受光することにより、車両と照射点との距離
を求める手段と、右画像上もしくは左画像上の照射点の
位置と、照射角度と、距離と、に基づいて、走行路面に
対応する基準面を定義し、この基準面を画像変換手段に
与える処理を行う基準面定義手段と、画像変換手段が走
行路面に対応する基準面を示す式を用いて画像変換を行
ったときに得られる差分画像に基づいて障害物の認識を
行う障害物認識装置と、を設けるようにしたものであ
る。

【０００８】

【作用】右画像および左画像からなるステレオ画像が
得られた場合、このステレオ画像を撮像するために用い
た２台のカメラの相互位置関係から、右画像と左画像と
の関係式を導くことができる。したがって、右画像に基
づいて、これに対応する左画像を予測することができ、
逆に、左画像に基づいて、これに対応する右画像を予測
することができる。別言すれば、導かれた関係式に基づ
いて、右画像を仮想左画像に変換することができ、左画
像を仮想右画像に変換することができる。しかしなが
ら、このような変換を行うための条件として、何らかの
基準面を定義する必要がある。すなわち、二次元画像上
の各点が、三次元空間内の所定の基準面上の点であると
いう前提を置くことにより、はじめてこの変換が可能に
なる。

【０００９】本願発明は、この性質を利用したものであ
り、その基本的な原理は次のようなものである。すなわ
ち、まず、走行路前方には障害物が無いものと仮定し、
前方の環境は、平坦な路面のみであるものと考える。こ
の場合、２台のカメラで撮像されたステレオ画像上の各
点（画素）は、すべて平坦な路面上の点であると考える
ことができる。すなわち、平坦な路面を基準面として定
義することができる。そして、２台のカメラの相互位置
関係から導出した関係式に、この基準面の条件を与えれ
ば、右画像を仮想左画像に変換することができ、左画像
を仮想右画像に変換することができる。そして、理論
上、右画像と仮想右画像とは一致し、左画像と仮想左画
像とは一致するはずである。もし、これらの間に不一致
部分（すなわち、差分画像上に現れた像）が生じていた
としたら、この不一致部分については、「ステレオ画像
上の各点は、すべて平坦な路面上の点である」という前
提に誤りがあったことになる。別言すれば、不一致部分
については、基準面たる路面上の点ではなかったという
ことになる。結局、不一致部分を示す画像は、基準面た
る路面上には無い点の集合であり、障害物の像を示して
いることになる。これが、本願発明の基本原理である。
この基本原理に基づく認識処理を行うには、変換式に基
づく座標変換演算と、２つの画像を比較する比較演算
と、を行うだけで済むので、簡便な演算を用いて短時間
に環境認識を行うことができるようになる。なお、この
基本原理については、特願平３−９１１６８号明細書に
開示されている。

【００１０】本願第１の発明の特徴は、この基本原理に
よる障害物の認識に、更に、障害物の高さの認識を付加
した点にある。前述のように、本発明の基本原理では、
仮想画像を演算するために所定の基準面を定義する必要
がある。本願発明者は、この基準面の位置と、実際の障
害物の位置と、の関係により、得られる不一致部分の形
状が変化することに着目し、複数の基準面を定義するこ
とにより障害物の高さの認識を行うようにしたのであ
る。すなわち、実際の障害物の高さ位置に基準面が定義
された場合に、どのような形状の不一致部分が得られる
かを、あらかじめ基準パターンとして用意しておく。そ
して、高さが異なる複数の基準面を定義して、それぞれ
不一致部分を演算して求め、この不一致部分の形状が基
準パターンに最も近くなる基準面を選択すれば、この選
択された基準面の位置により障害物の位置を認識するこ
とができる。

【００１１】本願第２の発明は、上述の第１の発明を応
用することにより、障害物のより確実な検出を可能にす
るものである。前述のように、定義する基準面の位置に
より、得られる不一致部分の形状は変化する。そこで、
真の障害物が存在する場合に、この不一致部分の形状変
化がどのようなものになるかを予め認識しておけば、実
際に求められた不一致部分の形状変化に基づいて、認識
された障害物が真のものであるのか、あるいは誤認識に
よるものであるのか、を判断することができる。本願第
３の発明では、複数の画像変換装置による同時演算が行
われる。本願第４の発明では、時間的な変化を含む部分
のみについて画像変換処理が行われる。また、本願第５
の発明では、エピポーララインを利用した路面決定が行
われ、本願第６の発明では、更に正確な路面決定が可能
になる。更に、本願第７および第８の発明では、路面に
ビーム照射を行うことにより路面決定が行われる。

【００１２】

【実施例】§１．ステレオ画像変換の原理以下、本発明を図示する実施例に基づいて詳述する。始
めに、左右の画像の相互変換の原理を簡単に説明する。
いま、図１に示すように、所定の対象物１０を、右カメ
ラ１１と左カメラ１２とによって撮像し、ステレオ画像
を得る場合を考える。この場合、図２に示すように、右
カメラ１１は対象物１０を三次元右座標系ＲＲで捕え、
左カメラ１２は同じ対象物１０を三次元左座標系ＬＬで
捕えることになる。三次元右座標系ＲＲは、座標軸ＸR
，ＹR ，ＺR で表現される三次元座標系であり、三次
元左座標系ＬＬは、座標軸ＸL ，ＹL ，ＺL で表現され
る別の三次元座標系である。そして、両座標系間には、
次の変換式が成り立つことが知られている。

【００１３】

【数１】ここで、添字を伴った９つの係数Ｒによるマトリックス
は、ローテーションマトリックスと呼ばれ、右カメラ１
１と左カメラ１２との向きについての相関関係に基づい
て定まるものであり、添字を伴った３つの係数Ｔによる
マトリックスは、平行移動マトリックスと呼ばれ、右カ
メラ１１と左カメラ１２との位置偏差についての相関関
係に基づいて定まるものである。

【００１４】ステレオ画像の撮像を行うと、右カメラ１
１は、座標系ＲＲ上の対象物１０を撮像し右画像ＰR を
生成し、左カメラ１２は、座標系ＬＬ上の対象物１０を
撮像し左画像ＰL を生成する。図３に示すように、右画
像ＰR は２つの座標軸ｘR ，ｙR で表現される二次元右
座標系Ｒ上に定義される二次元画像であり、左画像ＰL
は２つの座標軸ｘL ，ｙL で表現される二次元左座標系
Ｌ上に定義される二次元画像である。座標系Ｒ上に得ら
れた投影像１０Ｒは、座標系ＲＲ上の対象物１０を所定
平面上に投影することによって得られる像であり、座標
系Ｌ上に得られた投影像１０Ｌは、座標系ＬＬ上の対象
物１０を所定平面上に投影することによって得られる像
である。

【００１５】ここで、三次元座標系と二次元座標系との
関係を考える。たとえば、図４に示すように、カメラの
レンズ位置を示す点Ｏより右半分に三次元座標系ＸＹＺ
を定義する。各座標系の軸方向は図示のとおりであり、
Ｙ軸は紙面に垂直な方向となる。そして、点Ｏより左側
へ距離ｆの位置に、Ｚ軸に対して垂直な平面を定義し、
この平面上に二次元座標系ｘｙを定義する。ｙ軸はやは
り紙面に垂直な方向となる。このモデルにおいて、座標
系ＸＹＺ内の１点Ｑについての投影像ｑを、座標系ｘｙ
上に得ることを考える。すなわち、座標系ＸＹＺで表現
された座標値Ｑ（ＸQ ，ＹQ ，ＺQ ）に基づいて、座標
系ｘｙで表現された座標値ｑ（ｘq ，ｙq ）を求めるこ
とになる。この場合、図４から、ｘQ ＝ｆ（ＸQ ／ＺQ ）なる変換式が得られることが理解できよう。同様に、ｙQ ＝ｆ（ＹQ ／ＺQ ）なる変換式も得られる。ここで、ｆは、カメラの光学系
によって定まる定数である。このことから、図２に示す
座標系ＲＲ，ＬＬと、図３に示す座標系Ｒ，Ｌと、の間
には、次のような変換式が得られる。

【００１６】ｘR ＝ｆR （ＸR ／ＺR ）ｙR ＝ｆR （ＹR ／ＺR ）ｘL ＝ｆL （ＸL ／ＺL ）ｙL ＝ｆL （ＹL ／ＺL ）さて、三次元座標系ＲＲとＬＬとの関係は、前述のよう
に、係数マトリックスを用いた変換式によって求まり、
三次元座標系ＲＲと二次元座標系Ｒとの関係および三次
元座標系ＲＲと二次元座標系Ｒとの関係は上述の変換式
によって求まる。したがって、これらの変換式を用いれ
ば、二次元座標系Ｒと二次元座標系Ｌとの関係を示す変
換式が得られるはずである。しかしながら、上述の前提
だけでは、この変換式を解くことはできない。この他
に、もうひとつ、所定の基準面を定義してやる必要があ
る。その理由は、図５のようなモデルを考えれば、容易
に理解できる。すなわち、図５におけるｘｙ平面上に投
影点Ｐが得られている場合、この投影点Ｐに対応する実
際の点が、三次元空間のどこに位置するかは、これだけ
の情報からは決定することができない。ところが、三次
元空間内に所定の基準面を決めてやり、実際の点がこの
基準面上の点であると仮定すれば、三次元空間内での実
際の点の位置は決定される。たとえば、図５の例では、
基準面Ｓ１を決めれば実際の点Ｐ１の位置が決定され、
基準面Ｓ２を決めれば実際の点Ｐ２の位置が決定され
る。

【００１７】そこで、所定の基準面を、平面の一般式ａＸ＋ｂＹ＋ｃＺ＝１なる形式で与える。ここで、ａ，ｂ，ｃは、基準面を決
定するための定数である。このような基準面の式を定義
してやり、三次元右座標系内の点（ＸR ，ＹR ，ＺR ）
および三次元左座標内の点（ＸL ，ＹL ，ＺL ）が、い
ずれもこの基準面上の点であるという条件を付加してや
れば、二次元座標系Ｒと二次元座標系Ｌとの関係を示す
変換式を次のように解くことができる。

【００１８】ｘL ＝（ＡｘR ＋ＢｙR ＋Ｃ）／（ＤｘR ＋ＥｙR ＋１）ｙL ＝（ＦｘR ＋ＧｙR ＋Ｈ）／（ＤｘR ＋ＥｙR ＋１）ここで、Ａ〜Ｈは、所定の定数である。この変換式を用
いれば、右画像内の任意の点（ｘR ，ｙR ）について、
これに対応する左画像内の点（ｘL ，ｙL ）を演算によ
り求めることができ、その逆も可能である。

【００１９】§２．基準面と差分画像との関係いま、図６に示すように、車両Ｍが路面Ｓ０上を走行し
ているときに、走行路前方に障害物Ｎが存在する場合を
考える。車両Ｍに右カメラ１１および左カメラ１２を搭
載し、前方の障害物Ｎを捕らえれば、左画像および右画
像は、図７(a)，(b) のようになる。そこで、路面Ｓ０
を基準面として、左画像から仮想右画像を得る画像変換
を行ったものとする。もし、障害物Ｎが存在しなけれ
ば、仮想右画像は実際の右画像と一致するはずである。
すなわち、障害物Ｎが存在しなければ、左画像上のすべ
ての点、および右画像上のすべての点は、路面Ｓ０上に
存在する点であるため、この路面Ｓ０を基準面とした画
像変換によって得られる仮想画像は、理論的には真の画
像と一致するはずである。ところが、障害物Ｎが存在す
ると、この障害物Ｎ上の点は、路面Ｓ０上にはない点で
あるから、路面Ｓ０を基準面にとった画像変換では、不
一致が生じるのである。具体的には、図７(a)に示すよ
うな左画像に基づく画像変換によって得られた仮想右画
像は、たとえば、図７(c) に示すような歪んだものとな
り、図７(b) に示す真の右画像に対して完全には一致し
ない。そこで、不一致部分を抽出するため、図７(b) に
示す右画像と、図７(c) に示す仮想右画像と、の差分を
とり、図７(d) に示す差分画像を作成する。この差分画
像上に残った像が、不一致部分に相当し、路面Ｓ０上に
ない点の集合、すなわち、障害物Ｎに対応する。

【００２０】このように、ステレオ画像の一方に基づい
て得られる仮想画像と、ステレオ画像の他方の画像と、
の差分をとり、得られた差分画像上の像を障害物として
認識するのが、本発明における障害物認識の基本原理で
ある。一般に、ある程度の高さをもった障害物Ｎが路面
Ｓ０上に存在する場合は、図７(d) に示すような逆三角
形の形状をした像が差分画像上に得られる。

【００２１】さて、ここで、障害物Ｎが路面Ｓ０上にな
い場合を考えてみる。たとえば、図８に示すように、路
面Ｓ０から高さＨの位置に障害物Ｎが存在する場合を考
えよう。いま、５つの基準面Ｓ０，Ｓ１，Ｓ２，Ｓ３，
Ｓ４を図８に示す位置に定義する。基準面Ｓ０は路面で
あり、基準面Ｓ１〜Ｓ４は、路面からそれぞれ高さｈ１
〜ｈ４の位置にある面であり、高さｈ２＝Ｈであるもの
とする。この５とおりの基準面について、それぞれ差分
画像を求めてみると、図９(a)〜(e) に示すような像が
得られる。ここで、図９(c) の差分画像では、図７(d)
に示す差分画像と同様、逆三角形の形状をした像が形成
されていることがわかる。すなわち、障害物Ｎの高さ位
置と同じレベルに基準面を定義すると、逆三角形の形状
をした像が差分画像上に形成される。基準面のレベルが
この位置から上にずれても下にずれても、像は三角形を
２つ重ねたような形状に変化してしまう。本発明は、こ
の性質に着目し、障害物Ｎの高さ位置を認識しようとす
るものである。すなわち、いくつかの異なる基準面につ
いて差分画像を求め、この差分画像内の像が図９(c) に
示すような逆三角形に最も近いものを選択し、このとき
の基準面の高さｈ２を障害物Ｎの高さＨとして認識する
のである。

【００２２】なお、基準面が障害物Ｎの高さ位置に一致
したとき、差分画像として得られる像の形状は、必ずし
も逆三角形であるとは限らない。障害物Ｎの形状によっ
て、差分画像上の像の形状は種々異なる。したがって、
厳密には、予測される障害物の形状に基づいて、予め所
定の基準パターンを設定しておき、この基準パターンに
最も近似した像が差分画像として得られる基準面を、障
害物の高さ位置を示す基準面として選択することにな
る。ただ、垂直方向の高さがある程度確保されている一
般的な障害物であれば、基準パターンはほぼ逆三角形と
なるので、実用上は、得られる像が逆三角形にもっとも
近くなる差分画像を選択するようにして問題ない。

【００２３】§３．本発明による環境認識装置の構成
および動作続いて、本発明による環境認識装置の構成および動作
を、図１０に示すブロック図に基づいて説明する。ステ
レオ画像入力手段１００は、図１に示すようなステレオ
撮影を行うための右カメラ１１および左カメラ１２から
構成され、右画像ＰR および左画像ＰL を得る。この実
施例は、この環境認識装置を自律走行車に搭載して利用
するので、車体前部の左右の位置に、右カメラ１１およ
び左カメラ１２を取り付けている。変換情報記憶手段１
１０は、上述した二次元座標系Ｒと二次元座標系Ｌとの
間の相互変換を行うために必要な情報を記憶している。
前述のように、この情報は、右カメラ１１および左カメ
ラ１２の相互の向きおよび位置の関係に基づいて一義的
に決まる。画像変換手段２００は、複数の画像変換装置
２１０〜２１４によって構成され、変換情報記憶手段１
１０内の変換情報と、所定の基準面の式とに基づいて、
左画像ＰL に対応する仮想右画像ＩR0〜ＩR4を作成す
る。前述のように、このような仮想画像を作成するため
には、所定の基準面を定義する必要がある。画像変換装
置２１０〜２１４には、それぞれ異なる基準面が設定さ
れており、作成された仮想右画像ＩR0〜ＩR4は、それぞ
れ異なる基準面に基づいて得られた画像である。

【００２４】一方、画像差分手段３００は、複数の画像
差分装置３１０〜３１４によって構成され、画像変換装
置２１０〜２１４によって作成された仮想右画像ＩR0〜
ＩR4と、右カメラ１１から得られた右画像ＰR と、の差
分画像ＤR0〜ＤR4を出力する。これらの差分画像ＤR0〜
ＤR4は、障害物認識装置４００に入力される。

【００２５】この装置の動作は次のとおりである。い
ま、たとえば、画像変換装置２１０〜２１４には、それ
ぞれ図８に示す基準面Ｓ０〜Ｓ４が設定されていたとす
る。この場合、画像差分装置３１０〜３１４から出力さ
れる差分画像ＤR0〜ＤR4は、図９(a) 〜(e) に示すよう
なものとなる。障害物認識装置４００は、これらの差分
画像ＤR0〜ＤR4の中から、所定の基準パターン、すなわ
ち、逆三角形のパターンに最も近似した像を含むものを
選択する。この例では、図９(c) に示すような差分画像
ＤR2が選択され、これに対応する基準面Ｓ２が障害物の
高さを示す基準面として選択される。こうして、障害物
認識装置４００は、差分画像ＤR2に含まれている像を障
害物として認識するとともに、この障害物が路面から高
さｈ２（路面Ｓ０から基準面Ｓ２までの高さ）の位置に
存在することも認識できる。

【００２６】以上のように、障害物の認識とともに、そ
の障害物の高さ位置を認識することができる点が、この
装置の第１の機能である。このような手法による高さ位
置の認識において、最も演算負担の大きいのが、画像変
換手段２００内で仮想画像を得るために行われる画像変
換処理である。本実施例の装置では、画像変換手段２０
０を、複数の画像変換装置２１０〜２１４によって構成
し、それぞれが独立して固有の基準面に基づく画像変換
処理を実施できるようにしたため、複数の画像変換処理
を同時に並列処理として行うことができる。このため、
演算時間の短縮を図ることができる。

【００２７】この装置の第２の機能は、障害物の認識確
度を向上させる機能である。理論的には、上述のプロセ
スによって障害物を確実に認識することができるはずで
あるが、実際には、種々の要因により誤認識が行なわれ
ることがある。すなわち、真の障害物でないもの（たと
えば、路面の汚れ、水たまりなど）を障害物として認識
してしまうことがある。この装置では、障害物認識装置
４００によって、このような誤認識が低減される。その
原理は次のとおりである。すなわち、真の障害物Ｎが存
在する場合、異なる複数の基準面を定義することにより
得られた複数の差分画像は、基準面の位置に基づいて、
図９に示すように相互変化する。別言すれば、図９に示
すような相互変化の見られる差分画像が得られた場合に
は、真の障害物が存在するということができる。障害物
認識装置４００は、画像差分装置３１０〜３１４から与
えられる差分画像ＤR0〜ＤR4の相互変化を認識し、この
相互変化が予め設定された変化パターンに基づくもので
ある場合には、得られた差分画像を障害物として認識す
るのである。具体的には、基準面を変化させることによ
り、差分画像が、図９(a) ，(b) に示すように２つの三
角形を重ねたパターンから、図９(c) に示すような逆三
角形のパターンに変化し、更に、図９(d) ，(e) に示す
ように２つの三角形を重ねたパターンに変化する場合に
は、真の障害物が認識されたものと判断するのである。
逆に、このようなパターン変化がみられない場合には、
得られた障害物の像は誤認識によるものであると判断で
きる。

【００２８】なお、上述の実施例はいずれも、実際の左
画像を変換することにより仮想右画像を作成し、この仮
想右画像と実際の右画像との差分をとることにより差分
画像を得ているが、これとは全く逆に、実際の右画像を
変換することにより仮想左画像を作成し、この仮想左画
像と実際の左画像との差分をとることにより差分画像を
得るようにしてもかまわないし、これらの両方を行うよ
うにしてもかまわない。

【００２９】§４．画像演算の効率化図１０に示す装置において、画像変換手段２００におけ
る画像変換処理、および画像差分手段３００における差
分演算処理は、多数の画素を取り扱う処理であるため、
画像の解像度が高くなればなるほど演算負担が大きくな
る処理である。そこで、ここでは、これら画像演算をよ
り効率化するための手法を開示しておく。ステレオ画像
入力手段１００によって入力される右画像ＰR および左
画像ＰLは、時事刻々と変化してゆくものであり、それ
ぞれ一定の周期ごとに同期をとって画像変換手段２００
や画像差分手段３００に取り込まれる。別言すれば、右
画像ＰR および左画像ＰL は時系列データとして与えら
れるものである。ここに示す手法は、現時点で処理すべ
き画像のうち、前回処理した画像と同じ部分について
は、処理を省略することにより、全体的な演算負担の軽
減を図るものである。

【００３０】それでは、図１１に示す具体例に即して、
この手法を説明する。図１１の上段に示された４つの画
像は、左カメラ１２から得られた左画像ＰL の時系列画
像データである。すなわち、左画像は、画像ＰL1〜ＰL4
へと時間とともに変化している。画像ＰL1では、遠方の
車両１が障害物として存在しているだけであるが、画像
ＰL2〜ＰL4では、近傍に新たな車両２が侵入してきて、
左右に動いている。いま、これら画像ＰL1〜ＰL4を原画
像として、隣接する時系列データ間での差分画像をとっ
てみると、図１１の下段に示された４つの画像が得られ
る（ここにいう差分画像は、現時点の画像と前に得られ
た画像との差に対応する画像であり、画像差分手段３０
０において得られる左右の画像差を示すものではな
い）。すなわち、画像ＰL1については、その前の画像が
定義されていないので、差分画像ＰL1' は得られない
が、その次の画像ＰL2については、その前の画像ＰL1と
の差分をとることにより、差分画像ＰL2' が得られる。
同様に、画像ＰL3と画像ＰL2との差分として差分画像Ｐ
L3' が得られ、画像ＰL4と画像ＰL3との差分として差分
画像ＰL4' が得られる。差分画像ＰL2' では、車両２が
そのまま像として現れているが、差分画像ＰL3' では車
両２の一部２ａ，２ｂが、差分画像ＰL4'では車両２の
一部２ｃ，２ｄが、それぞれ像として現れている。これ
らの差分画像は、原画像における時間的変化分を示すも
のである。したがって、この差分画像に現れてこない車
両１は、時間的に定位置にある障害物であり、これにつ
いて毎回同じ演算を繰り返し行う必要はない。すなわ
ち、画像ＰL2〜ＰL4については、差分画像に現れている
車両２についてのみ画像演算処理を行えばよいことにな
る。

【００３１】以上の考え方に基づいて、効率良い画像処
理を行うためには、図１０に示す装置において次のよう
な動作を行えばよい。ここでは、説明の便宜上、画像変
換装置２１０および画像差分装置３１０における動作を
例にとって説明する。まず、画像変換装置２１０内に
は、複数枚の画像（少なくとも２枚以上）のデータを蓄
積することができるフレームメモリを用意しておく。し
たがって、時事刻々と与えられる左画像ＰL1〜ＰL4を、
データとして一時的に蓄積しておくことができる。ま
た、この画像変換装置２１０には、時系列画像データに
ついての差分を行い、得られた差分画像に基づいて対象
領域を決定する機能を付加しておく。たとえば、左画像
ＰL1とＰL2とに基づき差分画像ＰL2' を求めたら、この
差分画像ＰL2' 内の車両２の像を含む閉領域を対象領域
として決定するのである。対象領域として、車両２の像
を含む矩形領域をとるようにすれば、左画像ＰL2につい
ては、図１２に示す対象領域ＡL が決定できる。したが
って、画像変換装置２１０は、左画像ＰL1については全
領域について画像変換処理を行って仮想右画像ＩR0を出
力するが、左画像ＰL2については対象領域ＡL 内だけに
対して画像変換処理を行うことになる。また、この左画
像ＰL2上に定義された対象領域ＡL に対応する対象領域
ＡR が、右画像ＰR2上に求められる。画像差分装置３１
０における左右の差分演算は、この対象領域内について
のみ行われる。残りの領域についての障害物（車両１）
に関する情報は、前回得られた左画像ＰL1および右画像
ＰR1に基づく結果をそのまま流用すればよい。

【００３２】なお、差分画像ＰL3' およびＰL4' では、
単一の障害物である車両２の像が、部分２ａ，２ｂおよ
び部分２ｃ，２ｄに別れてしまっている。これらの別れ
た像は、１つ前の差分画像を参照することにより、単一
の障害物の一部であるものと認識することが可能であ
る。たとえば、差分画像ＰL3' における部分２ａ，２ｂ
は、いずれも、差分画像ＰL2' における車両２の像に接
する位置にある。したがって、部分２ａ，２ｂは単一の
障害物の一部であるものと認識することができ、対象領
域としては、この部分２ａ，２ｂの両方を包含するよう
な矩形領域を定義すればよい。同様に、差分画像ＰL4'
における部分２ｃ，２ｄは、いずれも、差分画像ＰL3'
における部分２ａ，２ｂ（車両２の一部として認識済）
に接する位置にある。したがって、部分２ｃ，２ｄは単
一の障害物の一部であるものと認識することができ、対
象領域としては、この部分２ｃ，２ｄの両方を包含する
ような矩形領域を定義することになる。

【００３３】このような手法をとることにより、移動量
の大きな障害物についての演算を高速に行うことがで
き、極めて効率の良い画像演算が可能になる。すなわ
ち、図１１に示す例では、移動量の小さい車両１に比
べ、移動量の大きい車両２に対する演算の方が頻繁に行
われ、高速に演算が行われたことになる。なお、上述の
実施例では、時系列画像データについての差分画像は、
前回の画像との間で差分をとることにより求めている
が、前回の画像、前々回の画像、とそれぞれ重みづけを
して差分をとるようにすることもできる。

【００３４】§５．走行路面の認識処理Ｉ本発明による環境認識装置では、走行路面またはこの走
行路面から所定の高さにある面を基準面として用いる。
したがって、走行路面の認識処理、より具体的には、装
置内で定義した座標系における走行路面の平面の式を求
める処理が必要になる。そこで、以下に、この走行路面
の認識処理の一例を示すことにする。

【００３５】図１０に示す装置において、走行路面の認
識を行うために必要な情報は、右カメラ１１から得られ
る右画像ＰR および左カメラ１２から得られる左画像Ｐ
L である。ここでは、この左右の２つの画像に基づい
て、走行路面の認識を行う方法を説明する。いま、図１
３(a) に示すように、左画像ＰL 上でユニークな２点Ｐ
１，Ｐ２を決める。これは、たとえば、路面上で容易に
識別できる白線Ｗの上の所定点として決めればよい。次
に、この２点Ｐ１，Ｐ２に対応する仮想右画像上の２点
を画像変換により求める。ただし、まだ走行路面の認識
が行われていない状態であるため、基準面は一切定義さ
れていない。このように、基準面を定義することなし
に、左画像から仮想右画像を求めようとすると、左画像
上の１点は仮想右画像上では１点としては求まらず、一
本の線（エピポーラライン）となってしまう。したがっ
て、左画像ＰL 上の２点Ｐ１，Ｐ２の画像変換による右
画像ＰR 上の投影は、図１３(b) に示すように、それぞ
れエピポーララインＱ１，Ｑ２となる。２点Ｐ１，Ｐ２
についての真の対応点Ｐ１´，Ｐ２´は、それぞれ、こ
のラインＱ１，Ｑ２上の１点である。これらの真の対応
点Ｐ１´，Ｐ２´は、右画像ＰR 上で容易に認識でき
る。すなわち、白線ＷとラインＱ１，Ｑ２の交点として
認識できる。具体的には、ラインＱ１，Ｑ２上の画素を
捜索し、白線Ｗに相当する画素値をもった画素を見付
け、この画素の位置を真の対応点Ｐ１´，Ｐ２´とすれ
ばよい。

【００３６】以上の手順により、走行路面上にある２点
の対応点が、左画像ＰL 上と右画像ＰR 上とにプロット
されたことになる。平面を決定するためには、最低３点
必要であるため、更に走行路面上の第３の点について、
それぞれ左画像ＰL と右画像ＰR とに対応点を見付ける
必要がある。そこで、まず、図１４(a) に示すように、
左画像ＰL 上に第３の点Ｐ３を定め、この点Ｐ３を含む
線分Ｓを定義する。点Ｐ３は、点Ｐ１，Ｐ２を結ぶ直線
上でなければ、どこにとってもかまわないが、できれ
ば、線分Ｓ上の画素が特徴的な画素値をもつような位置
に点Ｐ３をとるのが好ましい。続いて、左画像ＰL 上の
点Ｐ３を右画像ＰR に変換する。前述のように、基準面
を定めないと、点Ｐ３に対応するのは、点ではなくエピ
ポーララインとなる。すなわち、図１４(b) に示すよう
に、エピポーララインＱ３が求まる。点Ｐ３についての
真の対応点Ｐ３´は、このラインＱ３上の１点である。
そこで、この点Ｐ３´を定めるために、左画像ＰL 上の
線分Ｓを、このエピポーララインＱ３上に沿って動かし
ながら、線分Ｓ上の画素とエピポーララインＱ３上の画
素との相関をとり、もっとも相関が高くなった位置に点
Ｐ３´を定める。すなわち、図１５に示すように、ライ
ンＱ３上の各画素と線分Ｓ上の各画素とを対比し、最も
画素値が近似するような対比が得られる位置に線分Ｓを
固定し、そのときの中心画素の位置を点Ｐ３´の位置と
して決定するのである。

【００３７】こうして、走行路面上にある３点の対応点
が、左画像ＰL 上と右画像ＰR 上とにプロットされたこ
とになる。したがって、この３点により、走行路面の式
を決定することができる。なお、より高精度に走行路面
の決定を行うためには、次のような誤差補正を行うのが
好ましい。すなわち、上述の手順により、ひとまず走行
路面の式が決定できたら、この式に対応する平面を基準
面として、障害物が存在しない状態での左画像ＰL を画
像変換し、仮想右画像を求めてみる。もし、正しい走行
路面の式が得られているのであれば、障害物が存在しな
い状態では、こうして求めた仮想右画像は、右カメラ１
１から得られた実右画像と一致するはずである。ここ
で、不一致が生じていた場合には、求めた走行路面の式
が誤差を含んでいると考えられる。そこで、２点Ｐ１，
Ｐ２を結ぶ線を回転軸として、求めた走行路面を少し回
転させるローテーション補正を行う。こうして、仮想右
画像が実右画像と一致するまで補正を繰り返し行うよう
にすれば、最終的には、誤差のない走行路面の式が得ら
れることになる。

【００３８】§６．走行路面の認識処理ＩＩ上述した走行路面の認識処理は、図１０に示すステレオ
画像入力手段１００から得られる画像に基づいて、走行
路面の決定を行うものである。ここでは、レーザ光を用
いて走行路面の認識処理を行う別な方法を説明する。こ
の方法では、図１６に示すような測定系が必要になる。
レーザ発振器５００によって作り出されたレーザビーム
は、変調器５１０によって変調され、ハーフミラー５２
１，５２２，５２３および全反射ミラー５２４，５２５
による反射を繰り返し、４本のビームとして走行路面上
に照射される。図には示されていないが、各ビームにつ
いて、照射角度調節機構を設けておくとよい。

【００３９】走行路面から反射してきたレーザビーム
は、受光素子５３０によって受光され、その検出信号は
距離計算装置５４０に与えられる。また、走行路面から
反射してきたレーザビームは、ステレオ画像入力手段１
００（すなわち、右カメラ１１および左カメラ１２）に
よっても捕らえられる。この結果、図１７(a) ，(b) に
示すように、左画像ＰL および右画像ＰRには、走行路
面上における４本のレーザビームの照射点が、高輝度の
画素として認識できる。変調器５１０によってビームに
対する変調を行っておけば、レーザビームをそれ以外の
光源に対して識別することが可能になる。すなわち、各
画像上での高輝度画素のうち、所定の変調パターンで輝
度が変化している画素だけを、レーザビームの照射点に
対応する画素として認識することができる。

【００４０】このような測定系を用意しておけば、２と
おりの方法により、走行路面の決定を行うことができ
る。第１の方法は、図１７に示すような左右の画像を用
いる方法である。すなわち、図１７(a) ，(b) の画像上
の４点は、いずれも実走行路面上の同一点に対応するも
のであるから、一方の画像の４点を画像変換したとき
に、他方の画像の４点に一致するような基準面を、道路
平面計算装置５５０において演算して求めれば、その基
準面が走行路面ということになる。なお、平面は３点あ
れば決定できるので、レーザビームは３本だけにしても
かまわない。

【００４１】第２の方法は、距離計算装置５４０によっ
て求めた距離を利用する方法である。距離計算装置５４
０は、路面上の照射点と車両との間を往復したレーザビ
ームに基づき、両者間の距離を演算し、これを道路平面
計算装置５５０に与える。道路平面計算装置５５０は、
図１７に示すような照射点の画像に加え、各照射点まで
の距離が与えられるので、これらの情報とレーザビーム
の照射角度に関する情報とに基づき、走行路面の式を演
算することができる。

【００４２】

【発明の効果】以上のとおり、本発明による環境認識装
置によれば、得られたステレオ画像について、所定の基
準面を定義した変換処理を施して仮想画像を作成し、も
との画像と仮想画像との差として差分画像を求め、この
差分画像上の像の形状を考慮して障害物の認識を行うよ
うにしたため、障害物をその高さ位置とともに確実に認
識することができるようになる。

【図面の簡単な説明】

【図１】本発明による環境認識装置におけるステレオ画
像の撮像原理を示す図である。

【図２】図１に示す方法で撮像を行う場合に左右のカメ
ラ内で定義される三次元座標系を示す図である。

【図３】図２に示す三次元座標系を二次元投影して得ら
れる二次元座標系を示す図である。

【図４】三次元座標系を二次元投影して二次元座標系を
得る原理を示す図である。

【図５】得られた二次元画像について仮想平面を定義し
てやることにより、三次元空間内の位置が決定されるこ
とを示す図である。

【図６】本発明による環境認識装置による障害物Ｎの認
識原理を説明する図である。

【図７】図６に示す環境において、本発明による環境認
識装置内に得られる各画像を示す図である。

【図８】本発明による環境認識装置による障害物Ｎの高
さ位置の認識原理を説明する図である。

【図９】図８に示す環境において、本発明による環境認
識装置内に得られる差分画像を示す図である。

【図１０】本発明による環境認識装置の基本構成を示す
ブロック図である。

【図１１】本発明による環境認識装置において、画像演
算処理を効率化するための原理を示す図である。

【図１２】図１１に示す方法により、演算対象となる領
域を限定した状態を示す図である。

【図１３】本発明による環境認識装置において、走行路
面の認識を行うための２点の決定方法を説明する図であ
る。

【図１４】本発明による環境認識装置において、走行路
面の認識を行うための第３の点の決定方法を説明する図
である。

【図１５】図１４に示す方法において、画素同士の相関
を求める方法を説明する図である。

【図１６】本発明による環境認識装置において、走行路
面の認識を行うための測定系の基本構成を示すブロック
図である。

【図１７】図１６に示す測定系を用いることにより得ら
れる左右の画像を示す図である。

【符号の説明】

１，２…車両（障害物）１０…対象物１１…右カメラ１２…左カメラ１００…ステレオ画像入力手段１１０…変換情報記憶手段２００…画像変換手段２１０〜２１４…画像変換装置３００…画像差分手段３１０〜３１４…画像差分装置４００…障害物認識装置５００…レーザ発振器５１０…変調器５２１〜５２３…ハーフミラー５２４，５２５…全反射ミラー５３０…受光素子５４０…距離計算装置５５０…道路平面計算装置ＡR ，ＡL …対象領域Ｍ…車両Ｎ…障害物ＲＲ…三次元右座標系ＬＬ…三次元左座標系Ｒ…二次元右座標系Ｌ…二次元左座標系Ｓ…線分Ｓ０〜Ｓ４…基準面Ｐ１〜Ｐ３…平面決定のための点Ｐ１´〜Ｐ３´…Ｐ１〜Ｐ３の対応点Ｑ１〜Ｑ３…エピポーララインＰR …右画像ＰL …左画像ＩR …仮想右画像ＤR …差分画像Ｗ…白線

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G05D 1/02

Claims

(57)【特許請求の範囲】

【請求項１】認識対象についての右画像および左画像
からなる二次元のステレオ画像を得るために、右撮像装
置および左撮像装置を有するステレオ画像入力手段と、前記左右の撮像装置相互の向きおよび位置の関係に基づ
いて定まる前記左右の画像間の変換情報を記憶する変換
情報記憶手段と、所定の基準面を定義し、この基準面を示す式と前記変換
情報とに基づいて、前記右画像に対応する仮想左画像を
作成する右画像変換と、前記左画像に対応する仮想右画
像を作成する左画像変換と、の少なくとも一方を行う画
像変換手段と、前記右画像と前記仮想右画像の組み合わせ、および前記
左画像と前記仮想左画像の組み合わせ、の少なくとも一
方の組み合わせについて、差分画像を作成する画像差分
手段と、異なる複数の基準面を定義することにより得られた複数
の差分画像を相互に比較し、予め設定された基準パター
ンに最も近似した差分画像が得られた基準面を選択し、
この選択した基準面の高さ位置に、差分画像に対応する
障害物の認識を行う障害物認識装置と、を備えることを特徴とする環境認識装置。
【請求項２】認識対象についての右画像および左画像
からなる二次元のステレオ画像を得るために、右撮像装
置および左撮像装置を有するステレオ画像入力手段と、前記左右の撮像装置相互の向きおよび位置の関係に基づ
いて定まる前記左右の画像間の変換情報を記憶する変換
情報記憶手段と、所定の基準面を定義し、この基準面を示す式と前記変換
情報とに基づいて、前記右画像に対応する仮想左画像を
作成する右画像変換と、前記左画像に対応する仮想右画
像を作成する左画像変換と、の少なくとも一方を行う画
像変換手段と、前記右画像と前記仮想右画像の組み合わせ、および前記
左画像と前記仮想左画像の組み合わせ、の少なくとも一
方の組み合わせについて、差分画像を作成する画像差分
手段と、異なる複数の基準面を定義することにより得られた複数
の差分画像の相互変化を認識し、この相互変化が予め設
定された変化パターンに基づくものである場合には、得
られた差分画像を障害物として認識する障害物認識装置
と、を備えることを特徴とする環境認識装置。
【請求項３】請求項１または２に記載の環境認識装置
において、それぞれ異なる基準面が定義され、それぞれ独立した画
像変換処理を行うことのできる複数の画像変換装置、に
よって画像変換手段を構成し、この複数の画像変換装置によって変換されたそれぞれの
仮想画像について、それぞれ独立して差分画像を作成す
る複数の画像差分装置、によって画像差分手段を構成
し、異なる複数の基準面についての各差分画像を、それぞれ
同時に演算して求めることができるようにしたことを特
徴とする環境認識装置。
【請求項４】請求項１〜３のいずれかに記載の環境認
識装置において、ステレオ画像入力手段が、右画像および左画像をそれぞ
れ時系列データとして連続的に取り込む機能を有し、画像変換手段が、時間的に前後して与えられる画像間の
差を示す時系列的な差分画像を求め、この時系列的な差
分画像に基づいて時間的な変化を含む所定の対象領域を
定め、この対象領域についてのみ画像変換の処理を行う
ことを特徴とする環境認識装置。
【請求項５】認識対象についての右画像および左画像
からなる二次元のステレオ画像を得るために、右撮像装
置および左撮像装置を有するステレオ画像入力手段と、前記左右の撮像装置相互の向きおよび位置の関係に基づ
いて定まる前記左右の画像間の変換情報を記憶する変換
情報記憶手段と、所定の基準面を示す式と前記変換情報とに基づいて、前
記右画像に対応する仮想左画像を作成する右画像変換
と、前記左画像に対応する仮想右画像を作成する左画像
変換と、の少なくとも一方を行う画像変換手段と、前記右画像と前記仮想右画像の組み合わせ、および前記
左画像と前記仮想左画像の組み合わせ、の少なくとも一
方の組み合わせについて、差分画像を作成する画像差分
手段と、走行路面上の部分的な特徴を認識し、前記右画像および
左画像のうちのいずれか一方からなる実画像上の前記特
徴を示す位置に３点Ｐ１，Ｐ２，Ｐ３を定義し、これら
３点について基準面を定義することなしに前記変換情報
に基づいて画像変換処理を施すことにより、前記実画像
に対して左右反対側の仮想画像上に前記３点Ｐ１，Ｐ
２，Ｐ３に対応するエピポーララインＱ１，Ｑ２，Ｑ３
を求め、前記特徴を利用して、前記エピポーララインＱ
１，Ｑ２，Ｑ３上に、前記３点Ｐ１，Ｐ２，Ｐ３につい
ての対応点Ｐ１′，Ｐ２′，Ｐ３′を求め、３点Ｐ１，
Ｐ２，Ｐ３とその対応点Ｐ１′，Ｐ２′，Ｐ３′とに基
づいて定まる平面を、前記走行路面に対応する基準面と
して定義し、この基準面を前記画像変換手段に与える処
理を行う基準面定義手段と、前記画像変換手段が前記走行路面に対応する基準面を示
す式を用いて画像変換を行ったときに得られる差分画像
に基づいて障害物の認識を行う障害物認識装置と、を備えることを特徴とする環境認識装置。
【請求項６】請求項５に記載の環境認識装置におい
て、基準面定義手段が、３点Ｐ１，Ｐ２，Ｐ３とその対応点
Ｐ１′，Ｐ２′，Ｐ３′とに基づいて定まる平面を仮の
基準面とし、障害物が存在しない環境において、前記仮
の基準面を用いた画像変換を画像変換手段に行わせるこ
とにより得られた仮想画像と実画像とを比較し、両者が
一致を示すまで前記仮の基準面に対する補正を行い、補
正後の基準面を走行路面に対応する基準面として定義す
ることを特徴とする環境認識装置。
【請求項７】認識対象についての右画像および左画像
からなる二次元のステレオ画像を得るために、右撮像装
置および左撮像装置を有するステレオ画像入力手段と、前記左右の撮像装置相互の向きおよび位置の関係に基づ
いて定まる前記左右の画像間の変換情報を記憶する変換
情報記憶手段と、所定の基準面を示す式と前記変換情報とに基づいて、前
記右画像に対応する仮想左画像を作成する右画像変換
と、前記左画像に対応する仮想右画像を作成する左画像
変換と、の少なくとも一方を行う画像変換手段と、前記右画像と前記仮想右画像の組み合わせ、および前記
左画像と前記仮想左画像の組み合わせ、の少なくとも一
方の組み合わせについて、差分画像を作成する画像差分
手段と、路面上の照射点が高い輝度をもつ点として認識できるよ
うに走行路面に対して光ビームを照射する手段と、前記画像変換手段が、前記右画像上の照射点と前記仮想
右画像上の照射点とが一致するような画像変換もしくは
前記左画像上の照射点と前記仮想左画像上の照射点とが
一致するような画像変換を行うことが可能となるような
基準面を、前記走行路面に対応する基準面として定義
し、この基準面を前記画像変換手段に与える処理を行う
基準面定義手段と、前記画像変換手段が前記走行路面に対応する基準面を示
す式を用いて画像変換を行ったときに得られる差分画像
に基づいて障害物の認識を行う障害物認識装置と、を備えることを特徴とする環境認識装置。
【請求項８】認識対象についての右画像および左画像
からなる二次元のステレオ画像を得るために、右撮像装
置および左撮像装置を有するステレオ画像入力手段と、前記左右の撮像装置相互の向きおよび位置の関係に基づ
いて定まる前記左右の画像間の変換情報を記憶する変換
情報記憶手段と、所定の基準面を示す式と前記変換情報とに基づいて、前
記右画像に対応する仮想左画像を作成する右画像変換
と、前記左画像に対応する仮想右画像を作成する左画像
変換と、の少なくとも一方を行う画像変換手段と、前記右画像と前記仮想右画像の組み合わせ、および前記
左画像と前記仮想左画像の組み合わせ、の少なくとも一
方の組み合わせについて、差分画像を作成する画像差分
手段と、路面上の照射点が高い輝度をもつ点として認識できるよ
うに走行路面に対して所定の照射角度で光ビームを照射
する手段と、前記照射点から反射されてきた光ビームを受光すること
により、車両と前記照射点との距離を求める手段と、前記右画像上もしくは左画像上の照射点の位置と、前記
照射角度と、前記距離と、に基づいて、前記走行路面に
対応する基準面を定義し、この基準面を前記画像変換手
段に与える処理を行う基準面定義手段と、前記画像変換手段が前記走行路面に対応する基準面を示
す式を用いて画像変換を行ったときに得られる差分画像
に基づいて障害物の認識を行う障害物認識装置と、を備えることを特徴とする環境認識装置。