JPH04291405A - 走行路構造認識方法及びその装置 - Google Patents
走行路構造認識方法及びその装置Info
- Publication number
- JPH04291405A JPH04291405A JP3055279A JP5527991A JPH04291405A JP H04291405 A JPH04291405 A JP H04291405A JP 3055279 A JP3055279 A JP 3055279A JP 5527991 A JP5527991 A JP 5527991A JP H04291405 A JPH04291405 A JP H04291405A
- Authority
- JP
- Japan
- Prior art keywords
- area
- partial
- boundary line
- running path
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000001514 detection method Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- DSCFFEYYQKSRSV-KLJZZCKASA-N D-pinitol Chemical compound CO[C@@H]1[C@@H](O)[C@@H](O)[C@H](O)[C@H](O)[C@H]1O DSCFFEYYQKSRSV-KLJZZCKASA-N 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Steering Controls (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は、進行方向前方をとらえ
たテレビカメラからの走行路画像を処理して自律走行す
る場合等に必要となる、遠方領域から近方領域までの走
行路の構造を計算する走行路構造認識方法及びその装置
に関する。
たテレビカメラからの走行路画像を処理して自律走行す
る場合等に必要となる、遠方領域から近方領域までの走
行路の構造を計算する走行路構造認識方法及びその装置
に関する。
【０００２】
【従来の技術】車を自律走行させる従来の走行路構造認
識方法として、路面に走行目標起動に沿って誘導ケーブ
ルまたは金属テープ等のガイドラインを連続的に設置す
る方法があるが、ガイドラインの設置に多額の費用を要
し、現実的ではない。
識方法として、路面に走行目標起動に沿って誘導ケーブ
ルまたは金属テープ等のガイドラインを連続的に設置す
る方法があるが、ガイドラインの設置に多額の費用を要
し、現実的ではない。
【０００３】また、走行車に搭載されたテレビカメラか
ら取り込んだ画像に基づき道路を走行する方法として、
特開昭６０−３７１１号公報「自動車用自動走行操舵装
置」が提案されている。この方法では、２台のテレビカ
メラを車両の左右両側に設置し、右側のテレビカメラが
捉えた画像により特定領域の画像のみを抽出し、その中
からセンターラインを認識し、左側のテレビカメラが捉
えた画像においても上記と同様の処理にてサイドライン
を認識し、検出された境界線が上記テレビカメラでとら
えた画像上のどの位置にあるかを照合することにより、
走行車の操舵を自動的に制御する。上記の方法では、車
両の自律走行のための設備の搭載は必要であるが走行道
路に対しては特別な工事を必要としない。
ら取り込んだ画像に基づき道路を走行する方法として、
特開昭６０−３７１１号公報「自動車用自動走行操舵装
置」が提案されている。この方法では、２台のテレビカ
メラを車両の左右両側に設置し、右側のテレビカメラが
捉えた画像により特定領域の画像のみを抽出し、その中
からセンターラインを認識し、左側のテレビカメラが捉
えた画像においても上記と同様の処理にてサイドライン
を認識し、検出された境界線が上記テレビカメラでとら
えた画像上のどの位置にあるかを照合することにより、
走行車の操舵を自動的に制御する。上記の方法では、車
両の自律走行のための設備の搭載は必要であるが走行道
路に対しては特別な工事を必要としない。
【０００４】
【発明が解決しようとする課題】従来の走行路構造認識
方法においては、車両に搭載したテレビカメラからの走
行路画像に対し処理領域を特定するのに、入力画像が連
続的に変化する動画像であることに注目し、入力画像に
対する処理時間の間隔を短かくすることにより画像中の
データ構造の変化を少なくすることにより処理領域を直
前の処理領域付近に限定し、その結果、ある時刻の認識
処理において前の時刻の画像処理結果を利用して処理す
べきデータ量を減らし、処理速度を高速にしていた。
方法においては、車両に搭載したテレビカメラからの走
行路画像に対し処理領域を特定するのに、入力画像が連
続的に変化する動画像であることに注目し、入力画像に
対する処理時間の間隔を短かくすることにより画像中の
データ構造の変化を少なくすることにより処理領域を直
前の処理領域付近に限定し、その結果、ある時刻の認識
処理において前の時刻の画像処理結果を利用して処理す
べきデータ量を減らし、処理速度を高速にしていた。
【０００５】いま、前方で大きくカーブしている走行路
上があり、上記車両から遠方領域での走行路境界線形状
を認識する場合を考えると、走行路境界線形状を精度よ
く認識するためには、設定すべき処理領域は近方領域の
場合と比較して走行路境界線の形状に応じて、より動的
に左右に移動すべきである。しかしながら上記方法では
遠方領域において、前フレームでの走行路境界線が存在
する位置と現フレームで検出すべき走行路境界線が存在
する位置との間に大きな差異が生じてしまい、遠方領域
における走行路の形状を精度よく推定するのは困難であ
る。
上があり、上記車両から遠方領域での走行路境界線形状
を認識する場合を考えると、走行路境界線形状を精度よ
く認識するためには、設定すべき処理領域は近方領域の
場合と比較して走行路境界線の形状に応じて、より動的
に左右に移動すべきである。しかしながら上記方法では
遠方領域において、前フレームでの走行路境界線が存在
する位置と現フレームで検出すべき走行路境界線が存在
する位置との間に大きな差異が生じてしまい、遠方領域
における走行路の形状を精度よく推定するのは困難であ
る。
【０００６】本発明は、現フレームにおける走行路境界
線の未知領域での形状を検出するのに、前フレームでの
走行路境界線の形状と現フレームで既知である走行路の
形状を融合させることにより、遠方までの走行路境界線
形状の認識を精度よく行うことを目的とする。
線の未知領域での形状を検出するのに、前フレームでの
走行路境界線の形状と現フレームで既知である走行路の
形状を融合させることにより、遠方までの走行路境界線
形状の認識を精度よく行うことを目的とする。
【０００７】
【課題を解決するための手段】本発明の走行路構造認識
方法は、走行路画像から走行路境界線構造を認識するた
めに処理領域を前フレームでの走行路境界線の形状によ
り推定する第１の手段と、同一フレーム中の既知である
走行路の形状を基に推定した処理領域を融合する第２の
手段と、前記第１と第２の手段により処理対象領域を定
めることを特徴とする。
方法は、走行路画像から走行路境界線構造を認識するた
めに処理領域を前フレームでの走行路境界線の形状によ
り推定する第１の手段と、同一フレーム中の既知である
走行路の形状を基に推定した処理領域を融合する第２の
手段と、前記第１と第２の手段により処理対象領域を定
めることを特徴とする。
【０００８】本発明の走行路構造認識装置は、入力画像
を記憶する画像入力部と、道路構造を記憶する走行路構
造モデルと、前記入力画像の部分領域群に関連する情報
を記憶する処理領域記憶部と、前記画像入力部が記憶す
る画像のうち前記処理領域記憶部により指定された部分
領域群の部分画像を基に走行路境界線の一部を算出する
走行路構造検出部と、前記走行路検出部で算出した走行
路境界線から部分領域を推定する隣接処理領域推定部と
、前記処理領域記憶部が記憶する部分領域群と前記隣接
領域推定部とから前記部分領域記憶部の値を更新する処
理領域設定部とを有する。
を記憶する画像入力部と、道路構造を記憶する走行路構
造モデルと、前記入力画像の部分領域群に関連する情報
を記憶する処理領域記憶部と、前記画像入力部が記憶す
る画像のうち前記処理領域記憶部により指定された部分
領域群の部分画像を基に走行路境界線の一部を算出する
走行路構造検出部と、前記走行路検出部で算出した走行
路境界線から部分領域を推定する隣接処理領域推定部と
、前記処理領域記憶部が記憶する部分領域群と前記隣接
領域推定部とから前記部分領域記憶部の値を更新する処
理領域設定部とを有する。
【０００９】
【作用】本発明の走行路構造認識方法及びその装置にお
いて、走行路画像中の隣接部分領域での走行路境界線形
状の近似パラメータと、前フレームでの部分領域群の設
定位置とを基に、走行路を検出するために処理すべき部
分領域の位置を設定する過程を説明する。図２は処理領
域として部分領域群を設定する手順を示し、図３は自律
走行車両に設置したテレビカメラがとらえた進行方向の
走行路画像を示す図である。
いて、走行路画像中の隣接部分領域での走行路境界線形
状の近似パラメータと、前フレームでの部分領域群の設
定位置とを基に、走行路を検出するために処理すべき部
分領域の位置を設定する過程を説明する。図２は処理領
域として部分領域群を設定する手順を示し、図３は自律
走行車両に設置したテレビカメラがとらえた進行方向の
走行路画像を示す図である。
【００１０】図３においてテレビカメラでとらえること
のできる最も近い領域区分線３０より地平線３４を最も
遠い領域区分線とした領域が走行路検出のための走行対
象領域となる。走行対象領域において、自律走行車の走
行速度に応じて幾つかの領域に分割する領域区分線３１
，３２，３３が垂直方向に変動し、走行対象領域は領域
区分線３１，３２，３３によって近方走行領域３５，中
間走行領域３６，３７、遠方走行領域３８に分割される
。ＹＨ は地平線３４の走行路画像における水平座標、
ｄは各部分領域群３９，４０，４１，４２とＹＨ との
差異である。
のできる最も近い領域区分線３０より地平線３４を最も
遠い領域区分線とした領域が走行路検出のための走行対
象領域となる。走行対象領域において、自律走行車の走
行速度に応じて幾つかの領域に分割する領域区分線３１
，３２，３３が垂直方向に変動し、走行対象領域は領域
区分線３１，３２，３３によって近方走行領域３５，中
間走行領域３６，３７、遠方走行領域３８に分割される
。ＹＨ は地平線３４の走行路画像における水平座標、
ｄは各部分領域群３９，４０，４１，４２とＹＨ との
差異である。
【００１１】図２における走行路検出のための処理領域
の設定は次の手順ですすむ。部分領域群を図３に示すよ
うに、走行路画像においてある幅を持つ四角形３９，４
０，４１，４２とし、部分領域群のすべき位置を部分領
域設定値ＰＮＥＸＴ（Ｘ，Ｙ）とすると、例えば、路面
は局所的に平面であり、走行路境界線では局所的に平行
で道幅が既知である道路構造を３時限的に規定する走行
路構造モデルの条件２１を初期条件とした部分領域の設
定値ＰＩＮＩＴ（Ｘ，Ｙ）により、走行路画像の最も近
い部分領域を次式で設定する。
の設定は次の手順ですすむ。部分領域群を図３に示すよ
うに、走行路画像においてある幅を持つ四角形３９，４
０，４１，４２とし、部分領域群のすべき位置を部分領
域設定値ＰＮＥＸＴ（Ｘ，Ｙ）とすると、例えば、路面
は局所的に平面であり、走行路境界線では局所的に平行
で道幅が既知である道路構造を３時限的に規定する走行
路構造モデルの条件２１を初期条件とした部分領域の設
定値ＰＩＮＩＴ（Ｘ，Ｙ）により、走行路画像の最も近
い部分領域を次式で設定する。
【００１２】ＰＮＥＸＴ（Ｘ，Ｙ）＝ＰＩＮＩＴ（Ｘ，
Ｙ）この部分領域設定は処理２４において、次フレーム
での該部分領域を設定するための推定値（以下、該部分
領域推定値）ＰＢＥＦＯＲＥ（Ｘ，Ｙ）はＰＢＥＦＯＲ
Ｅ（Ｘ，Ｙ）＝ＰＮＥＸＴ（Ｘ，Ｙ）として記憶される
。次に処理２５において、ＰＮＥＸＴ（Ｘ，Ｙ）により
限定された部分画像データから走行路境界線形状を検出
し、処理２６において、上記検出結果に基づき隣接した
部分領域を設定するための領域推定値（以下、次部分領
域推定値）ＰＮＯＷ （Ｘ，Ｙ）を計算する。上記の部
分領域推定値ＰＢＥＦＯＲＥ（Ｘ，Ｙ）と、上記の部分
領域推定値ＰＮＯＷ （Ｘ，Ｙ）とを入力として次の部
分領域の設定を行うが、その際には、処理２２において
、部分領域の走行路画像中における位置を参照し、部分
領域群の水平座標値ＹＨ との差ｄを基に、２つの推定
値に対する重みω（ｄ）を算出し、処理２３において次
式、ＰＮＥＸＴ（Ｘ，Ｙ）＝ω（ｄ）×ＰＢＥＦＯＲＥ
（Ｘ，Ｙ）＋（１−ω（ｄ））×ＰＮＯＷ （Ｘ，Ｙ）
により部分領域を設定する。
Ｙ）この部分領域設定は処理２４において、次フレーム
での該部分領域を設定するための推定値（以下、該部分
領域推定値）ＰＢＥＦＯＲＥ（Ｘ，Ｙ）はＰＢＥＦＯＲ
Ｅ（Ｘ，Ｙ）＝ＰＮＥＸＴ（Ｘ，Ｙ）として記憶される
。次に処理２５において、ＰＮＥＸＴ（Ｘ，Ｙ）により
限定された部分画像データから走行路境界線形状を検出
し、処理２６において、上記検出結果に基づき隣接した
部分領域を設定するための領域推定値（以下、次部分領
域推定値）ＰＮＯＷ （Ｘ，Ｙ）を計算する。上記の部
分領域推定値ＰＢＥＦＯＲＥ（Ｘ，Ｙ）と、上記の部分
領域推定値ＰＮＯＷ （Ｘ，Ｙ）とを入力として次の部
分領域の設定を行うが、その際には、処理２２において
、部分領域の走行路画像中における位置を参照し、部分
領域群の水平座標値ＹＨ との差ｄを基に、２つの推定
値に対する重みω（ｄ）を算出し、処理２３において次
式、ＰＮＥＸＴ（Ｘ，Ｙ）＝ω（ｄ）×ＰＢＥＦＯＲＥ
（Ｘ，Ｙ）＋（１−ω（ｄ））×ＰＮＯＷ （Ｘ，Ｙ）
により部分領域を設定する。
【００１３】ここで２つの特徴に着目する。第１の特徴
は、走行車がある一定速度で安定した走行状態から一定
速度の自律走行の状態に移行し、走行車が走行路におい
て安定したポジションをとっている場合、遠方領域にお
いては、特に大きなカーブが存在する場合など、走行路
境界線の形状によりフレーム間で走行路境界線の位置変
動が激しいことである。第２の特徴は、近方の領域にお
いては、例えば、道路は局所的に平面であり、また走行
路境界線は局所的に平行であるという走行路構造モデル
の条件２１と、道幅は既知であるという仮定とから走行
路境界線の位置変動は小さくなることである。この特徴
により、走行路画像中の各部分領域群を設定するための
２つの推定値に対する重みω（ｄ）は、０≦ω（１）≦
ω（２）≦…≦ω（ｄ）≦ω（ｄ＋１）≦…≦１とする
。つまり最も近方の走行対象領域においては、部分領域
は次フレームでの部分領域を設定するための推定値に基
づいて設定するが、中間から遠方までの走行対象領域に
おいては、遠方になるにつれて部分領域中の走行路境界
線形状からの隣接した部分領域を設定するための推定値
に徐々に重みをかけ、最も遠方の走行対象領域中の部分
領域設定においては、部分領域中の走行路境界線の形状
からの隣接した部分領域を設定するための推定値のみに
基づいて部分領域を設定する。上記手順により得られた
部分領域設定値は、処理２４において、次フレームでの
該部分領域推定値ＰＢＥＦＯＲＥ（Ｘ，Ｙ）は、ＰＢＥ
ＦＯＲＥ（Ｘ，Ｙ）＝ＰＮＥＸＴ（Ｘ，Ｙ）として記憶
され、走行路境界線検出のための部分領域設定値として
出力される。処理２６において、走行路境界線形状の検
出結果より次部分領域推定値ＰＮＯＷ （Ｘ，Ｙ）が更
新され、処理２３において上記更新された次部分領域推
定値ＰＮＯＷ （Ｘ，Ｙ）と上記フレームでの該部分領
域推定値ＰＢＥＦＯＲＥ（Ｘ，Ｙ）を入力として更に次
の部分領域の設定を行う。上記手順を繰り返すことによ
り、部分領域３９，４０，４１，４２の順に走行路境界
線の時間的な位置変動の少ない近方領域より遠方領域へ
と、遠方の走行領域になるにつれて徐々に隣接した部分
領域を設定するための推定値に重みをかけ処理の対象と
なる領域が設定され、走行路境界線の抽出が行われる。 部分領域４３，４４，４５，４６においても同様である
。
は、走行車がある一定速度で安定した走行状態から一定
速度の自律走行の状態に移行し、走行車が走行路におい
て安定したポジションをとっている場合、遠方領域にお
いては、特に大きなカーブが存在する場合など、走行路
境界線の形状によりフレーム間で走行路境界線の位置変
動が激しいことである。第２の特徴は、近方の領域にお
いては、例えば、道路は局所的に平面であり、また走行
路境界線は局所的に平行であるという走行路構造モデル
の条件２１と、道幅は既知であるという仮定とから走行
路境界線の位置変動は小さくなることである。この特徴
により、走行路画像中の各部分領域群を設定するための
２つの推定値に対する重みω（ｄ）は、０≦ω（１）≦
ω（２）≦…≦ω（ｄ）≦ω（ｄ＋１）≦…≦１とする
。つまり最も近方の走行対象領域においては、部分領域
は次フレームでの部分領域を設定するための推定値に基
づいて設定するが、中間から遠方までの走行対象領域に
おいては、遠方になるにつれて部分領域中の走行路境界
線形状からの隣接した部分領域を設定するための推定値
に徐々に重みをかけ、最も遠方の走行対象領域中の部分
領域設定においては、部分領域中の走行路境界線の形状
からの隣接した部分領域を設定するための推定値のみに
基づいて部分領域を設定する。上記手順により得られた
部分領域設定値は、処理２４において、次フレームでの
該部分領域推定値ＰＢＥＦＯＲＥ（Ｘ，Ｙ）は、ＰＢＥ
ＦＯＲＥ（Ｘ，Ｙ）＝ＰＮＥＸＴ（Ｘ，Ｙ）として記憶
され、走行路境界線検出のための部分領域設定値として
出力される。処理２６において、走行路境界線形状の検
出結果より次部分領域推定値ＰＮＯＷ （Ｘ，Ｙ）が更
新され、処理２３において上記更新された次部分領域推
定値ＰＮＯＷ （Ｘ，Ｙ）と上記フレームでの該部分領
域推定値ＰＢＥＦＯＲＥ（Ｘ，Ｙ）を入力として更に次
の部分領域の設定を行う。上記手順を繰り返すことによ
り、部分領域３９，４０，４１，４２の順に走行路境界
線の時間的な位置変動の少ない近方領域より遠方領域へ
と、遠方の走行領域になるにつれて徐々に隣接した部分
領域を設定するための推定値に重みをかけ処理の対象と
なる領域が設定され、走行路境界線の抽出が行われる。 部分領域４３，４４，４５，４６においても同様である
。
【００１４】走行路構造モデルの条件２１は、走行路境
界線の居所的な構造条件の他に、高速道路等の道路にお
ける曲率と勾配との関係を示す構造条件などを含む。部
分領域中の走行路境界線の形状からの隣接した部分領域
の位置推定２６は、部分領域中に存在する走行路境界線
を延長した位置に実際の走行路境界線があるものと仮定
することにより部分領域を推定する。即ち、隣接した走
行路境界線の形状の変化に適応させて処理すべき領域を
推定する。該当する部分領域から次フレームの部分領域
を推定する処理は前フレームで求められている走行路境
界線の位置が時間的に変動しないものと仮定することに
よる静的な手法を用いる。
界線の居所的な構造条件の他に、高速道路等の道路にお
ける曲率と勾配との関係を示す構造条件などを含む。部
分領域中の走行路境界線の形状からの隣接した部分領域
の位置推定２６は、部分領域中に存在する走行路境界線
を延長した位置に実際の走行路境界線があるものと仮定
することにより部分領域を推定する。即ち、隣接した走
行路境界線の形状の変化に適応させて処理すべき領域を
推定する。該当する部分領域から次フレームの部分領域
を推定する処理は前フレームで求められている走行路境
界線の位置が時間的に変動しないものと仮定することに
よる静的な手法を用いる。
【００１５】部分領域中の走行路形状から隣接した部分
領域を位置推定する方法を図４に示す。部分領域５０に
おいて走行路境界線が検出され、走行路境界線と領域区
分線５２，５３の交点Ｐ１とＰ２の画像座標（Ｘ（Ｐ１
），Ｙ（Ｐ１）），（Ｘ（Ｐ２），Ｙ（Ｐ２））を用い
て点Ｐ２における接線の勾配ｔａｎθが求められる。 この勾配ｔａｎθを用いて、Ｐ２での接線と領域区分線
５４との交点のＸ座標、Ｘ（Ｐ３）ではＸ（Ｐ３）＝Ｘ
（Ｐ１）−｛Ｘ（Ｐ２）−Ｘ（Ｐ１）｝×Ｄ２／Ｄ１を
求める。Ｘ（Ｐ３）と固定値Ｗより次の部分領域は縦幅
はＤ２、横幅は｛Ｘ（Ｐ１）−｛Ｘ（Ｐ２）−Ｘ（Ｐ１
）｝×Ｄ２／Ｄ１｝×２のサイズに設定され、座標（Ｘ
（Ｐ２）−Ｗ，Ｙ（Ｐ２）−Ｄ２）に位置推定される。 Ｄ１，Ｄ２は領域区分線の縦方向の差であり、上記走行
車の走行速度に応じて設定が可変である。Ｗは定数であ
る。
領域を位置推定する方法を図４に示す。部分領域５０に
おいて走行路境界線が検出され、走行路境界線と領域区
分線５２，５３の交点Ｐ１とＰ２の画像座標（Ｘ（Ｐ１
），Ｙ（Ｐ１）），（Ｘ（Ｐ２），Ｙ（Ｐ２））を用い
て点Ｐ２における接線の勾配ｔａｎθが求められる。 この勾配ｔａｎθを用いて、Ｐ２での接線と領域区分線
５４との交点のＸ座標、Ｘ（Ｐ３）ではＸ（Ｐ３）＝Ｘ
（Ｐ１）−｛Ｘ（Ｐ２）−Ｘ（Ｐ１）｝×Ｄ２／Ｄ１を
求める。Ｘ（Ｐ３）と固定値Ｗより次の部分領域は縦幅
はＤ２、横幅は｛Ｘ（Ｐ１）−｛Ｘ（Ｐ２）−Ｘ（Ｐ１
）｝×Ｄ２／Ｄ１｝×２のサイズに設定され、座標（Ｘ
（Ｐ２）−Ｗ，Ｙ（Ｐ２）−Ｄ２）に位置推定される。 Ｄ１，Ｄ２は領域区分線の縦方向の差であり、上記走行
車の走行速度に応じて設定が可変である。Ｗは定数であ
る。
【００１６】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。図１は本発明の一実施例の走行路構造認識
装置を示すブロック図である。
て説明する。図１は本発明の一実施例の走行路構造認識
装置を示すブロック図である。
【００１７】図１において、自律走行車両に搭載されて
いるテレビカメラ１が進行方向前方で走行路をとらえた
走行路画像は、画像入力部２において画像データとして
記憶される。処理領域設定部４における、部分領域の設
定値は走行路構造モデル３からの走行路の構造に関する
条件を基に初期設定される。処理領域記憶部５は、処理
領域設定部４にて算出された部分領域の設定値を記憶し
、この記憶された設定値を基に部分領域中の画像データ
のみを画像入力部２にて記憶されている走行路画像から
抽出して走行路構造検出部６へ出力する。
いるテレビカメラ１が進行方向前方で走行路をとらえた
走行路画像は、画像入力部２において画像データとして
記憶される。処理領域設定部４における、部分領域の設
定値は走行路構造モデル３からの走行路の構造に関する
条件を基に初期設定される。処理領域記憶部５は、処理
領域設定部４にて算出された部分領域の設定値を記憶し
、この記憶された設定値を基に部分領域中の画像データ
のみを画像入力部２にて記憶されている走行路画像から
抽出して走行路構造検出部６へ出力する。
【００１８】走行路構造検出部６は、部分領域内の画像
に対して例えば、ノイズ除去や走行路上に存在する影と
思われる領域の色補正といった処理を行い走行路境界線
と思われる画像を強調し、エッジ検出やラベリング等の
画像処理を行うことにより、部分領域の画像から、走行
路境界線を抽出し、局所領域内に存在する走行路境界線
の形状を複数のパラメータを用いて曲線近似する。走行
路境界線形状を近似する上記パラメータは、隣接処理領
域推定部７に出力される。隣接処理領域推定部７は走行
路構造モデル３での走行路の構造に関する条件を基に初
期設定された部分領域の設定値に代わり、走行路境界線
形状を近似するパラメータを利用した部分領域の位置推
定値を処理領域設定部４へ出力する。
に対して例えば、ノイズ除去や走行路上に存在する影と
思われる領域の色補正といった処理を行い走行路境界線
と思われる画像を強調し、エッジ検出やラベリング等の
画像処理を行うことにより、部分領域の画像から、走行
路境界線を抽出し、局所領域内に存在する走行路境界線
の形状を複数のパラメータを用いて曲線近似する。走行
路境界線形状を近似する上記パラメータは、隣接処理領
域推定部７に出力される。隣接処理領域推定部７は走行
路構造モデル３での走行路の構造に関する条件を基に初
期設定された部分領域の設定値に代わり、走行路境界線
形状を近似するパラメータを利用した部分領域の位置推
定値を処理領域設定部４へ出力する。
【００１９】処理領域推定部４は隣接処理領域推定部７
から出力された設定値と、処理領域記憶部５にて記憶さ
れている次フレーム中での部分領域の設定位置とを基に
して、部分領域の設定値を計算し処理領域記憶部５に記
憶されている部分領域設定値を更新する。処理領域記憶
部５は更新された設定値を基に、再び部分領域中の画像
データのみを、画像入力部２にて記憶されている走行路
画像から抽出し、走行路構造検出部６へ出力する。こう
して、走行路画像中に設定されたすべての部分領域群内
における走行路境界線形状の近似式が走行路構造検出部
７から出力される。
から出力された設定値と、処理領域記憶部５にて記憶さ
れている次フレーム中での部分領域の設定位置とを基に
して、部分領域の設定値を計算し処理領域記憶部５に記
憶されている部分領域設定値を更新する。処理領域記憶
部５は更新された設定値を基に、再び部分領域中の画像
データのみを、画像入力部２にて記憶されている走行路
画像から抽出し、走行路構造検出部６へ出力する。こう
して、走行路画像中に設定されたすべての部分領域群内
における走行路境界線形状の近似式が走行路構造検出部
７から出力される。
【００２０】なお、本実施例では、センターラインとサ
イドラインの両方の走行路境界線の形状により走行路構
造を認識するものを示したが、センターライン，サイド
ラインといった走行路境界線が白線の場合の他に、道路
両端の走行路境界線による認識、また、センターライン
，サイドライン、あるいは、片方の走行路境界線のみの
形状により走行路構造を認識するようにしてもよい。
イドラインの両方の走行路境界線の形状により走行路構
造を認識するものを示したが、センターライン，サイド
ラインといった走行路境界線が白線の場合の他に、道路
両端の走行路境界線による認識、また、センターライン
，サイドライン、あるいは、片方の走行路境界線のみの
形状により走行路構造を認識するようにしてもよい。
【００２１】
【発明の効果】以上説明してきたように本発明は、現フ
レームにおける走行路境界線の未知領域での形状を検出
するのに、前フレームでの走行路境界線の形状を現フレ
ームで既知である走行路の形状を融合させ、走行路境界
線構造を認識するための処理対象領域を限定し、各限定
された領域に対して効率的に走行路境界線構造検出を行
うことにより、近い領域から遠い領域までの走行路の形
状を精度よく高速に推定することができる。また、近い
領域からの走行路境界線の形状の予測を行うことにより
、安定した走行路境界線の抽出が可能であり、走行路と
交差する道路帯の交わる領域が存在しても、隣接する近
方領域で検出した、走行路構造の認識結果により、自律
走行のための方向制御に適当な走行路境界線の形状及び
走行路白線部の形状を予測することができる。
レームにおける走行路境界線の未知領域での形状を検出
するのに、前フレームでの走行路境界線の形状を現フレ
ームで既知である走行路の形状を融合させ、走行路境界
線構造を認識するための処理対象領域を限定し、各限定
された領域に対して効率的に走行路境界線構造検出を行
うことにより、近い領域から遠い領域までの走行路の形
状を精度よく高速に推定することができる。また、近い
領域からの走行路境界線の形状の予測を行うことにより
、安定した走行路境界線の抽出が可能であり、走行路と
交差する道路帯の交わる領域が存在しても、隣接する近
方領域で検出した、走行路構造の認識結果により、自律
走行のための方向制御に適当な走行路境界線の形状及び
走行路白線部の形状を予測することができる。
【図１】本発明の一実施例の走行路境界線認識装置を示
すブロック図である。
すブロック図である。
【図２】本実施例の処理領域設定部の動作説明のための
図である。
図である。
【図３】車両に搭載したテレビカメラからの走行路画像
を示す図である。
を示す図である。
【図４】走行路境界線を検出した部分領域から隣接した
部分領域のサイズと位置を推定するまでの説明図である
。
部分領域のサイズと位置を推定するまでの説明図である
。
１ テレビカメラ入力
２ 画像入力部
３ 走行路構造モデル
４ 処理領域設定部
５ 処理領域記憶部
６ 走行路構造検出部
７ 隣接処理領域推定部
Claims (2)
- 【請求項１】 走行路画像から走行路境界線構造を認
識するために処理領域を前フレームでの走行路境界線の
形状により推定する第１の手段と、同一フレーム中の既
知である走行路の形状を基に推定した処理領域を融合す
る第２の手段と、前記第１と第２の手段により処理対象
領域を定めることを特徴とする走行路構造認識方法。 - 【請求項２】 入力画像を記憶する画像入力部と、道
路構造を記憶する走行路構造モデルと、前記入力画像の
部分領域群に関連する情報を記憶する処理領域記憶部と
、前記画像入力部が記憶する画像のうち前記処理領域記
憶部により指定された部分領域群の部分画像を基に走行
路境界線の一部を算出する走行路構造検出部と、前記走
行路検出部で算出した走行路境界線から部分領域を推定
する隣接処理領域推定部と、前記処理領域記憶部が記憶
する部分領域群と前記隣接領域推定部とから前記部分領
域記憶部の値を更新する処理領域設定部とを有すること
を特徴とする走行路構造認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3055279A JPH04291405A (ja) | 1991-03-20 | 1991-03-20 | 走行路構造認識方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3055279A JPH04291405A (ja) | 1991-03-20 | 1991-03-20 | 走行路構造認識方法及びその装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04291405A true JPH04291405A (ja) | 1992-10-15 |
Family
ID=12994156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3055279A Pending JPH04291405A (ja) | 1991-03-20 | 1991-03-20 | 走行路構造認識方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04291405A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008197884A (ja) * | 2007-02-13 | 2008-08-28 | Toyota Motor Corp | 環境地図の生成方法及び移動ロボット |
| US9191634B2 (en) | 2004-04-15 | 2015-11-17 | Magna Electronics Inc. | Vision system for vehicle |
| US9555803B2 (en) | 2002-05-03 | 2017-01-31 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
-
1991
- 1991-03-20 JP JP3055279A patent/JPH04291405A/ja active Pending
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9834216B2 (en) | 2002-05-03 | 2017-12-05 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US11203340B2 (en) | 2002-05-03 | 2021-12-21 | Magna Electronics Inc. | Vehicular vision system using side-viewing camera |
| US10683008B2 (en) | 2002-05-03 | 2020-06-16 | Magna Electronics Inc. | Vehicular driving assist system using forward-viewing camera |
| US10351135B2 (en) | 2002-05-03 | 2019-07-16 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US9555803B2 (en) | 2002-05-03 | 2017-01-31 | Magna Electronics Inc. | Driver assistance system for vehicle |
| US9643605B2 (en) | 2002-05-03 | 2017-05-09 | Magna Electronics Inc. | Vision system for vehicle |
| US10118618B2 (en) | 2002-05-03 | 2018-11-06 | Magna Electronics Inc. | Vehicular control system using cameras and radar sensor |
| US9736435B2 (en) | 2004-04-15 | 2017-08-15 | Magna Electronics Inc. | Vision system for vehicle |
| US9948904B2 (en) | 2004-04-15 | 2018-04-17 | Magna Electronics Inc. | Vision system for vehicle |
| US10015452B1 (en) | 2004-04-15 | 2018-07-03 | Magna Electronics Inc. | Vehicular control system |
| US11847836B2 (en) | 2004-04-15 | 2023-12-19 | Magna Electronics Inc. | Vehicular control system with road curvature determination |
| US10110860B1 (en) | 2004-04-15 | 2018-10-23 | Magna Electronics Inc. | Vehicular control system |
| US11503253B2 (en) | 2004-04-15 | 2022-11-15 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US10187615B1 (en) | 2004-04-15 | 2019-01-22 | Magna Electronics Inc. | Vehicular control system |
| US10306190B1 (en) | 2004-04-15 | 2019-05-28 | Magna Electronics Inc. | Vehicular control system |
| US9428192B2 (en) | 2004-04-15 | 2016-08-30 | Magna Electronics Inc. | Vision system for vehicle |
| US10462426B2 (en) | 2004-04-15 | 2019-10-29 | Magna Electronics Inc. | Vehicular control system |
| US9191634B2 (en) | 2004-04-15 | 2015-11-17 | Magna Electronics Inc. | Vision system for vehicle |
| US10735695B2 (en) | 2004-04-15 | 2020-08-04 | Magna Electronics Inc. | Vehicular control system with traffic lane detection |
| US11148583B2 (en) | 2006-08-11 | 2021-10-19 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US10787116B2 (en) | 2006-08-11 | 2020-09-29 | Magna Electronics Inc. | Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera |
| US11396257B2 (en) | 2006-08-11 | 2022-07-26 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US11623559B2 (en) | 2006-08-11 | 2023-04-11 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US10071676B2 (en) | 2006-08-11 | 2018-09-11 | Magna Electronics Inc. | Vision system for vehicle |
| US11951900B2 (en) | 2006-08-11 | 2024-04-09 | Magna Electronics Inc. | Vehicular forward viewing image capture system |
| US7987021B2 (en) | 2007-02-13 | 2011-07-26 | Toyota Jidosha Kabushiki Kaisha | Environment map generating method and mobile robot |
| JP2008197884A (ja) * | 2007-02-13 | 2008-08-28 | Toyota Motor Corp | 環境地図の生成方法及び移動ロボット |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11270131B2 (en) | Map points-of-change detection device | |
| US7106886B2 (en) | Road white line recognition apparatus and method | |
| US11136027B2 (en) | Vehicle control device | |
| KR101083394B1 (ko) | 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법 | |
| EP2757527B1 (en) | System and method for distorted camera image correction | |
| KR102485480B1 (ko) | 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법 | |
| US7623700B2 (en) | Stereoscopic image processing apparatus and the method of processing stereoscopic images | |
| EP4068205A1 (en) | Method for tracking object within video frame sequence, automatic parking method, and apparatus therefor | |
| US11562577B2 (en) | Method of detecting curved lane through path estimation using monocular vision camera | |
| JP2009252198A (ja) | 走行環境推測装置、方法及びプログラム並びに車線逸脱警報装置及び操舵アシスト装置 | |
| JP7068017B2 (ja) | 車両の走行路認識装置及び走行制御装置 | |
| JPH1047954A (ja) | 複眼カメラによる車間距離計測装置 | |
| JPH04291405A (ja) | 走行路構造認識方法及びその装置 | |
| JP4326992B2 (ja) | 周辺車両識別方法及びこれを用いた走行支援システム | |
| JP3856798B2 (ja) | ナビゲーション装置 | |
| CN113361299B (zh) | 一种异常停车的检测方法、装置、存储介质及电子设备 | |
| JP6253175B2 (ja) | 車両の外部環境認識装置 | |
| JP4956400B2 (ja) | 車両存否判定装置、車両存否判定方法及びプログラム | |
| US11157755B2 (en) | Image processing apparatus | |
| JPH0816997A (ja) | 自動車の走行状態判定装置 | |
| JP2001101420A (ja) | 障害物検出装置及びその方法 | |
| JP3405818B2 (ja) | 自動車の走行状態判定装置 | |
| JPH06265330A (ja) | 画像計測装置 | |
| JP3094758B2 (ja) | 車両用画像センサ | |
| JP3349002B2 (ja) | 先行車両認識方法 |