JPH09218937A

JPH09218937A - 区画線検出装置

Info

Publication number: JPH09218937A
Application number: JP8022844A
Authority: JP
Inventors: Takashi Naoi; 孝直井; Hiroyuki Kani; 博之可児
Original assignee: Nippon Soken Inc
Current assignee: Soken Inc
Priority date: 1996-02-08
Filing date: 1996-02-08
Publication date: 1997-08-19
Anticipated expiration: 2016-02-08
Also published as: JP3961584B2

Abstract

(57)【要約】【課題】画像上の直線部分よりも遠方にある区画線（白
線レーンマーク）を精度良く検出する。【解決手段】警報装置本体２０は、画像入力部２１と、
レーンマーク検出部２２と、立体物検出部２３と、位置
判定部２４とに大別される。撮像装置１０から画像入力
部２１に入力された画像信号はレーンマーク検出部２２
及び立体物検出部２３とに送信される。レーンマーク検
出部２２において、ステップＳ１１１〜Ｓ１１４では、
画像内のエッジ抽出、ペアリングによるレーンマーク候
補の抽出、ハフ変換、レーンマーク近傍のエッジ抽出を
行う。また、ステップＳ１１５では、上記の如く得られ
たエッジ点を画像座標系から俯瞰座標系に変換し、続く
ステップＳ１１６では、俯瞰座標系に変換されたエッジ
点を最小２乗法を用いて３次曲線に近似する。白線レー
ンマークを３次多項式の関数として出力することによ
り、遠方の白線レーンマークをも曲線関数にて推定でき
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えばＣＣＤ
（Charge Coupled Device ）カメラ等の撮像装置により
得られた画像情報を用いて道路上の区画線（白線レーン
マーク）を検出する区画線検出装置に関するものであ
る。

【０００２】

【従来の技術】画像から区画線を検出する技術として、
従来の検出装置では、単眼視の画像から得られる画像情
報を基にエッジを抽出し、当該抽出されたエッジにハフ
（Ｈｏｕｇｈ）変換を施して区画線の直線部分を抽出す
る。また、その直線部分を基にして画像上のエッジ探査
を行い、区画線を検出していた。

【０００３】以下、上記処理をより具体的に説明する。
図９は撮像装置で撮影された映像を示す。この映像の画
像信号を画像処理装置に取り込み、例えば明るさの相対
的な変化に応じてエッジ抽出を行う。エッジ抽出には多
数の方法があるが、その一例としては横方向の２画素間
の差分を用いて区画線のエッジを抽出する。差分を用い
てエッジ抽出を行った結果を図１０に示す。図１０にお
いて、白抜きの点は差分が正となったエッジ点（アップ
エッジ）であり、黒点は負となったエッジ点（ダウンエ
ッジ）である。ここで、区画線を横切るエッジに注目す
ると、区画線部分では左側に位置する白抜きエッジ点と
右側に位置する黒エッジ点とがペアになっていることが
分かる。この性質を利用し、ペアリング（白抜きエッジ
点と黒エッジ点のペアを取り出す処理）を行い、区画線
と判断される点を抽出した結果が図１１である。これに
ハフ変換を施すと、図１２のＬ１，Ｌ２のような直線を
取り出すことができる。

【０００４】

【発明が解決しようとする課題】ところが、図１４にお
いて、前記ハフ変換により求められる区画線の直線部分
は図中のａ，ｂ線のようになり、これでは例えばｅ，ｆ
線のように右方に曲がった区画線に対応することはでき
ない。また、区画線のエッジ点が殆ど抽出されなかった
自車両から遠方領域では、直線の延長にて区画線を推定
することにより大きな誤差が発生する。

【０００５】一方、道路上の区画線は直線、円弧、クロ
ソイド曲線で成り立っているため、これは実用上問題の
ない誤差レベルで３次式に近似できる。しかし、撮像装
置に入力された画像では、道路面上の直線は画像上でも
直線であるが、円弧、クロソイド曲線は全く違うものと
なっている。そのため、画像上の区画線に３次近似曲線
を当てはめた場合、図１４のｃ，ｄ線に示すように、デ
ータのある所までは、ある程度元データと一致した曲線
となるが、データの無い領域の予測線はｅ，ｆ線（実際
の区画線）から大きくかけ離れてしまう。

【０００６】また、この種の他の従来技術として、特開
平３−２８２７１０号公報の「移動車の環境認識装置」
が開示されており、同装置では区画線の曲線近似を画像
座標系で行っているが、かかる場合にもその区画線の検
出結果はやはり図１４のｃ，ｄ線のようになる。つま
り、エッジデータの無い遠方領域では予測曲線を求める
ことができなかった。

【０００７】この発明は、上記問題に着目してなされた
ものであって、その目的とするところは、遠方領域にお
いても区画線を精度良く検出することができる区画線検
出装置を提供することにある。

【０００８】

【課題を解決するための手段】本発明では、撮像装置と
して、例えば光軸が道路面にほぼ水平となるＣＣＤカメ
ラを用い、同ＣＣＤカメラにより自車両前方の映像を取
得する。また、本発明では、前記撮像装置により取得さ
れた撮像情報に基づいて、道路面を真上から見おろした
俯瞰図を作成し、その俯瞰図上で区画線（白線レーンマ
ーク）を検出する。そして、俯瞰座標上において、関数
近似により道路上の区画線を推定する。なお、道路上の
区画線は直線、円弧、クロソイド曲線の組み合わせで成
り立っており、クロソイド曲線は緩和曲線と言われ、直
線から円弧に移行する区間に使われる。また、クロソイ
ド曲線は３次式で近似でき、直線、円弧も実用上問題の
ない誤差で３次式で近似できる。

【０００９】その具体的な手段として、請求項１に記載
の発明では、撮像手段（例えばＣＣＤカメラ）により得
られた画像情報から画像座標上の区画線エッジを抽出す
る（区画線エッジ抽出手段）。また、抽出された画像座
標上の区画線エッジを俯瞰座標、若しくは３次元座標に
変換し、その変換された区画線エッジを２次以上のｎ次
曲線で近似する（ｎ次近似手段）。さらに、前記ｎ次曲
線に基づいて区画線を推定する（区画線推定手段）。

【００１０】上記請求項１に記載の発明によれば、俯瞰
座標に変換された区画線情報に２次以上のｎ次近似式を
適用することにより、画像座標系での近似に比べて誤差
の少ない予測曲線を検出することができる。つまり、精
度の高い近似曲線を求めることができ、ひいては画像情
報に現れない遠方の区画線、即ち、画像情報からの区画
線エッジがない遠方の区画線も近似曲線から予測可能と
なる。

【００１１】一方、請求項２に記載の発明では、撮像手
段（例えばＣＣＤカメラ）により得られた画像情報から
画像座標上の区画線エッジを抽出する（区画線エッジ抽
出手段）。また、抽出された画像座標上の区画線エッジ
を俯瞰座標、若しくは３次元座標に変換し、その変換さ
れた区画線エッジを関数近似する（関数近似手段）。さ
らに、その近似関数を前記座標変換時の定数を用いて元
の画像座標に逆変換し、当該逆変換の結果に基づいて区
画線を推定する（区画線推定手段）。

【００１２】要するに、ＣＣＤカメラによる画像情報を
俯瞰座標系、若しくは３次元座標系に変換する場合に
は、ＣＣＤカメラの光軸と路面との角度が重要な一要素
となっているが、実際の車両走行時には、路面の凹凸等
の影響から前記光軸と路面とでなされる角度が変動す
る。かかる場合、俯瞰座標系、若しくは３次元座標系へ
の変換時においてその影響が生じ、関数曲線の精度が悪
化する。これに対して、請求項２に記載の構成によれ
ば、関数近似後において、座標変換時の定数（例えばＣ
ＣＤカメラ等の光軸の角度に関する定数）を用いて俯瞰
座標若しくは３次元座標を元の画像座標に戻すことによ
り、前記の角度変化に起因して発生する座標変換に伴う
誤差を抑制することができる。その結果、前記した路面
の凹凸等に起因する不具合を解消し、画像座標で近似を
行うよりも誤差の少ない予測曲線を検出して区画線の検
出精度をより一層高めることができる。

【００１３】

【発明の実施の形態】

（第１の実施の形態）以下、この発明を障害物検出装置
に具体化した第１の実施の形態を図面に従って説明す
る。

【００１４】図１は本実施の形態における障害物検出装
置の構成を示すブロック図である。図１において、撮像
手段としての撮像装置１０は、車両前方を撮像する左右
一対のＣＣＤカメラ（図示しない）を有し、同装置１０
にて得られた画像信号は警報装置本体２０に入力され
る。図９は、撮像装置１０により得られた一画像を示し
ており、画像内には、区画線（本実施の形態では白線レ
ーンマークという）８１，８２や自車両の前方を走行す
る車両８３，８４や電柱８５等が映し出されている。

【００１５】また、警報装置本体２０には、車速センサ
３０からの速度信号、ヨーレートセンサ・ピッチレート
センサ４０からのヨーレート・ピッチレート検出信号、
ブレーキスイッチ５０からのブレーキ信号が入力され
る。警報装置本体２０は、前記画像信号を基に画像処理
を行い、立体物及び白線レーンマークを検出すると共
に、速度信号、ヨーレート・ピッチレート信号、ブレー
キ信号の情報との照合により、自車両の障害物に対する
危険度等を判定する。そして、警報装置本体２０は、障
害物に対する危険度等に応じてスピーカ６０により警報
を出力したり、表示装置７０により障害物までの距離な
どを出力したりする。なお、本実施の形態では、警報装
置本体２０により区画線エッジ抽出手段、ｎ次近似手段
及び区画線推定手段が構成されている。

【００１６】図２は、警報装置本体２０の構成を作用毎
に示す機能ブロック図であり、以下、図２に従って本実
施の形態における障害物判定処理を説明する。図２にお
いて、警報装置本体２０は、画像入力部２１と、レーン
マーク検出部２２と、立体物検出部２３と、位置判定部
２４とに大別される。画像入力部２１では、前記撮像装
置１０からの画像信号が入力され、同画像信号はレーン
マーク検出部２２及び立体物検出部２３に送信される。
かかる場合、レーンマーク検出部２２には、左右いずれ
か一方のＣＣＤカメラの画像信号が送信され、立体物検
出部２３には左右両方のＣＣＤカメラの画像信号が送信
される。

【００１７】レーンマーク検出部２２では、以下のステ
ップＳ１１１〜Ｓ１１６の手順に従って白線レーンマー
クが検出される。即ち、ステップＳ１１１では、画像内
における横方向について所定画素間の相対的な明るさの
差分が所定のしきい値を越えた点をエッジ点として抽出
する。このエッジ抽出処理により図１０のようなエッジ
点が抽出される。図１０において、白抜きの点は差分が
正となったエッジ点（アップエッジ）であり、黒点は負
となったエッジ点（ダウンエッジ）である。このとき、
白線レーンマークを横切るエッジに着目すると、レーン
マーク部分は左側に位置するアップエッジと、右側に位
置するダウンエッジのペアになっていることが分かる。

【００１８】次に、ステップＳ１１２では、アップエッ
ジとダウンエッジのペアを結びつけるペアリングを行
い、図１１に示す如く白線レーンマークの候補となるエ
ッジ点のみを抽出する。かかるペアリングの手順を以下
に略述する。つまり、図３は平行に延びる白線レーンマ
ークが画像上で一点（消失点）に収束することを示して
おり、同図では消失点からＹだけ下方へ離れた位置の画
像上の白線レーンマークの幅をＷとしている。この場
合、ＣＣＤカメラの取り付け高さｈ、同カメラの横方向
の画角θh 及び画素数ｎh 、縦方向の画角θv 及び画素
数ｎv 、及び道路上における実際の白線レーンマークの
幅ｄが既知であるとすれば、画像上の白線レーンマーク
の幅Ｗは、下記の式（１）により近似的に求めることが
できる。

【００１９】

【数１】しかして、上記式（１）において、画像上の白線レーン
マークの幅Ｗは消失点を基準とする垂直走査位置Ｙの関
数として表される。そして、水平走査時の画像上の間隔
が上記式（１）にて求まる幅Ｗ以内にあるアップエッジ
とダウンエッジとを選択することにより、レーンマーク
候補のエッジ点が抽出できる。この場合、例えばアップ
エッジの横方向位置とダウンエッジの横方向位置との中
間位置をエッジ点の候補とする（図１１）。このとき、
図９の車両８３，８４や電柱８５等に相当するエッジ点
はレーンマーク候補から削除される。

【００２０】次いで、ステップＳ１１３では、レーンマ
ーク候補のエッジ点についてハフ変換処理を行い、実際
の白線レーンマーク上のエッジ点を求めるための基とな
る直線を検出する。図１２はハフ変換により抽出された
直線Ｌ１，Ｌ２を示す。続くステップＳ１１４では、ハ
フ変換により抽出した直線Ｌ１，Ｌ２に基づいて図１１
のレーンマーク候補から白線レーンマークのエッジ点を
取り出す。その結果を図１３に示す。

【００２１】ステップＳ１１５では、上記の如く得られ
たエッジ点を画像座標系から俯瞰座標系（Ｘ−Ｚ座標）
に変換する。図１５は白線レーンマークのエッジ点を俯
瞰図上に点在させた結果を示す図である。以下に、画像
座標系から俯瞰座標系への変換手順を示す。

【００２２】図４は撮像装置１０と路面を横から見た
図、図５は図４を上から見た図（俯瞰図）、図６は撮像
装置１０により撮像された画像を示す図である。ここで
は、図４の座標系を（Ｙ，Ｚ）、図５の座標系を（Ｘ，
Ｚ）とする。また、図５の俯瞰座標系では路面を平面と
して扱っているが、横から見た図４の座標系を併せて考
慮すると、それは３次元座標（Ｘ，Ｙ，Ｚ）に拡張でき
る。

【００２３】また、路面上に任意の点ｐ1 をとると、画
像上でのその位置は（ｘ1 ，ｙ1 ）となる。かかる場
合、図６の消失ラインｙ0 、図４のＺm の関係式は、次
の式（２），（３）で表すことができる。

【００２４】

【数２】

【００２５】

【数３】ここで、式（２），（３）におけるｙm ，θv ，θv0，
ｈは既知の値とすれば、ｙ0 ，Ｚm は所定のある値（固
定値）として求められる。

【００２６】また、図４のＺ1 はｙ0 ，Ｚm を含む次の
式（４）で表すことができる。

【００２７】

【数４】さらに、図５のθh1は、次の式（５）で表され、

【００２８】

【数５】図５のＸ1 は、次の式（６）で表される。

【００２９】

【数６】以上の式（２）〜（６）を用いることにより俯瞰座標系
の（Ｘ1 ，Ｚ1 ）が確定できる。

【００３０】ステップＳ１１６では、俯瞰座標系に変換
されたエッジ点を最小２乗法を用いて３次曲線に近似す
る。そして、白線レーンマークを３次多項式の関数とし
て出力することにより、図１６のＦ1 （Ｚ），Ｆ2
（Ｚ）の曲線関数が得られる。このとき、Ｆ1 （Ｚ）は
右側の白線レーンマークの関数、Ｆ2 （Ｚ）は左側の白
線レーンマークの関数であり、これらによる３次の近似
曲線は、前記ハフ変換により求められた直線部分の延長
線として予測されることになる。

【００３１】一方、立体物検出部２３において、画像入
力部２１から左右一対のＣＣＤカメラによる画像信号が
入力されると、ステップＳ１２１では周知の立体視法を
用いて他の走行車両等、立体物の画像中の位置と実際の
距離を出力する。ここで、立体視法による距離検出手順
について図７を用いて簡単に説明する。図７において、
撮像装置１０には、２つの視点を形成するために物体Ｍ
に対向して２つのレンズ１１，１２が配設され、この２
つのレンズ１１，１２の後ろにそれらの光軸Ｓ１，Ｓ２
が一致するＣＣＤ１３，１４が配設されている。ここ
で、図中の「Ｄｅ」はレンズ１１，１２と物体Ｍとの距
離、「ｆ」はレンズ１１，１２の焦点距離、「ｘa 」，
「ｘb 」はそれぞれ物体Ｍからレンズ１１，１２を経て
ＣＣＤ１３，１４へ焦点を結ぶ点と光軸Ｓ１，Ｓ２との
距離、「Ｐ」は光軸Ｓ１，Ｓ２間のピッチである。かか
る場合、距離Ｄｅは、

【００３２】

【数７】で求めることができる。即ち、焦点距離ｆ，ピッチＰが
既知であるため、（ｘa＋ｘb ）が求まれば物体Ｍまで
の距離Ｄｅが分かる。ここで、（ｘa ＋ｘb ）は左右画
像の視差に相当し、左右の画像中の対象物の輝度値を少
しずつ（例えば１画素ずつ）ずらしながら比較し、最も
一致するずらし量として求めることができる。視差を求
める一般的な手法としては、相関計算が用いられ、次の
式（８）によて求められる相関値Ｖ（ｉ）が最小となる
点のずらし量ｉが視差となる。

【００３３】

【数８】但し、式（８）において、「ａn 」，「ｂn 」は画像の
単位領域（例えば８画素×８画素）を一次元画像とした
場合の輝度の並び（数列）、「ｎ」は画像の横方向の画
素番号、「Ｗ」は単位領域の大きさ（この場合は８）で
ある。なお、輝度の並びを示す数列を「ａm,n 」，「ｂ
m,n 」として、単位領域における二次元画像から相関値
Ｖ（ｉ）を求め、その相関値Ｖ（ｉ）が最小値となるず
らし量ｉから視差を求めることも可能である。

【００３４】また、続くステップＳ１２２では、画像座
標上における立体物の位置を俯瞰座標系に変換する。こ
のとき、図４〜６に示す任意の点ｐ1 に立体物（例えば
他車両）があったとすると、俯瞰変換上のＺ1 は前記式
（８）の距離Ｄｅとして直接求められ、このＺ1 を前記
の式（５），（６）に代入することによりＸ1 を求める
ことができる。かかる処理によれば、図１６に示す俯瞰
図において、前記図８の車両８３，８４がＰ１，Ｐ２の
位置にて検出されることになる。

【００３５】最後に、位置判定部２４では、図１６のよ
うに立体物とレーンマーク関数の関係を求め、立体物と
白線レーンマークとの位置関係を判定する。この場合、
既述した通り俯瞰座標上では、白線レーンマークは関数
Ｆ1 （Ｚ），Ｆ2 （Ｚ）で表される。また、立体物は物
体左右両端の位置（Ｘr ，Ｚ），（Ｘl ，Ｚ）を持つ。
そして、位置判定部２４は、位置判定処理の一つ例とし
て図８のルーチンを実行し、その時々の要否に応じて警
報情報を発生させる。

【００３６】つまり、図８において、ステップＳ２０１
でルーチンが開始されると、ステップＳ２０２では右側
の白線レーンマークの内側に立体物があるか否かを判別
し、次のステップＳ２０３では左側の白線レーンマーク
の内側に立体物があるか否かを判別する。より具体的に
は、次の式（９），（１０）の関係に従い判別処理を実
施する。ここで、「Ｘra」は立体物の右側端Ｘ方向位
置、「Ｘla」は立体物の左側端Ｘ方向位置、「Ｚa 」は
Ｚ方向の位置を示す。

【００３７】

【数９】

【００３８】

【数１０】さらに、ステップＳ２０４では、車速センサ３０からの
速度信号と立体物との距離変化から相対速度を求め、相
対速度、距離、自車速度の関係から現時点の走行状態が
危険な状態か否かを判別する。ステップＳ２０５では、
ブレーキスイッチ５０からのブレーキ信号の有無に基づ
き、ドライバが危険を回避しようとしているか否かを判
別する。そして、ステップＳ２０２〜Ｓ２０５が全て肯
定判別されれば、ステップＳ２０６で立体物（障害物）
との衝突の可能性があるとしてドライバに警報する音を
発生させ、その後ステップＳ２０７で処理を終了する。
また、ステップＳ２０２〜Ｓ２０５のいずれかが否定判
別されれば、直ちにステップＳ２０７で処理を終了す
る。

【００３９】以上詳述した本実施の形態によれば、以下
に示す効果が得られる。（ａ）先ず以て、自車両にとって比較的近距離の領域に
ついては、ハフ変換により直線近似が施される。この場
合、近距離領域では白線レーンマークについて多数のエ
ッジ点が得られることから、正確な直線近似が可能とな
る。

【００４０】（ｂ）これに対して、比較的遠距離の領域
では白線レーンマークについて少数のエッジ点しか得ら
れないが、画像座標を俯瞰座標に変換すると共に、俯瞰
座標に変換された区画線情報に３次近似式を適用するこ
とにより、画像座標系での近似に比べて誤差の少ない予
測曲線を検出することができる。つまり、道路上の白線
レーンマークは直線、円弧、クロソイド曲線の組み合わ
せで成り立っており、３次近似を行うことによりクロソ
イド曲線成分も含めた道路上の白線レーンマークを精度
良く検出することができる。かかる場合、ハフ変換によ
り得られた白線レーンマークの直線部分の延長線とし
て、俯瞰座標上にて求められた３次曲線部分を延長させ
たため、広域にわたって白線レーンマークを予測でき
る。その結果、従来からの懸案であった画像情報に現れ
ない遠方の区画線、即ち、画像情報からの区画線エッジ
がない遠方の区画線も精度良く推定することができる。

【００４１】（ｃ）レーンマーク情報と立体物情報とを
それぞれに俯瞰座標系に変換し、その座標上でそれらの
関係を比較判定することにより、障害物の検出精度を高
めることができ、安全走行が実現できる。

【００４２】（第２の実施の形態）次に、第２の実施の
形態について説明する。但し、本実施の形態の構成にお
いて、上述した第１の実施の形態と同等であるものにつ
いてはその説明を省略する。そして、以下には第１の実
施の形態との相違点を中心に説明する。

【００４３】つまり、上記第１の実施の形態では、撮像
装置１０により得られた画像情報を画像座標系から俯瞰
座標系に変換し、俯瞰座標にて白線レーンマークを３次
近似したが、本実施の形態では、画像情報を画像座標系
（２次元座標系）から３次元座標系に変換し、３次元座
標にて白線レーンマークを３次近似するものである。そ
の詳細を以下に説明する。

【００４４】本実施の形態におけるレーンマーク検出手
順としては、前記図２のＳ１１５の内容が変更されるの
みで他の処理は同一である。即ち、図２のＳ１１５では
下記の処理が行われる。図１７（前記図１３に相当する
図）のように抽出された白線レーンマークのエッジ点に
ついて所定の枠α１を設定し、同α１の拡大図を図１８
に示す。図１８内において、点ｐ1 に対して幅ｗ×高さ
ｈのウィンドウα２を設定する。このウィンドウα２は
白線レーンマークの横幅が当該ウィンドウ内に収まるよ
うに設定し、画面の上に行くに従って幅ｗを小さくして
いく。ウィンドウα２の幅ｗを式に表すと、式（１１）
となる。

【００４５】

【数１１】但し、式（１１）において、「ｗmax 」はレーンマーク
の画面最下部の横幅が十分入る値とし、「ｗmin 」は相
関計算が精度良く行える範囲内で最小値とする。本実施
の形態では、ｗmax ＝５０、ｗmin ＝８、ｈ＝８とし
た。

【００４６】このウィンドウα２に対して相関計算を用
いて距離Ｚ1 を求める。なお、かかる場合にウィンドウ
α２の相関計算を行うにあたり、レーンマーク検出部２
２では撮像装置１０からの左右一対の画像情報が必要と
なる。Ｘ1 は前記の式（６）、Ｙ1 については以下の式
（１２），（１３）により導くものとする。

【００４７】

【数１２】

【００４８】

【数１３】以上のようにして、白線レーンマークに関する画像情報
が３次元座標へ変換されることとなる。そして、上記第
１の実施の形態と同様に、最小２乗法による３次曲線近
似によって白線レーンマークが検出される。

【００４９】一方、図２の立体物検出部２３において
も、上記レーンマークの３次元座標変換と同様に変換処
理が施される。即ち、上記の式（１２），（１３）を用
いて座標変換が行われる。なお、式（１２），（１３）
では、撮像装置１０（ＣＣＤカメラ）の光軸と路面とで
なす角度θv0を微小なものとして省略して扱ったが、こ
の場合、白線レーンマークと立体物の両方共に同じ手順
にて３次元座標への変換処理を行ったため、障害物の判
定精度に影響を及ぼすことはい。

【００５０】以上第２の実施の形態によれば、前記第１
の実施の形態と同様に、白線レーンマークの近似曲線を
精度良く求めることができ、ひいては画像情報に現れな
い遠方の白線レーンマークも予測可能となる。

【００５１】（第３の実施の形態）次に、請求項２に記
載の発明を具体化した第３の実施の形態を説明する。但
し、本実施の形態の構成において、上述した第１の実施
の形態と同等であるものについてはその説明を省略す
る。そして、以下には第１の実施の形態との相違点を中
心に説明する。なお、本実施の形態では、警報装置本体
２０により区画線エッジ抽出手段、関数近似手段及び区
画線推定手段が構成されている。

【００５２】図１９は、本実施の形態における警報装置
本体２０の構成を作用毎に示す機能ブロック図である。
図１９において、画像入力部２１に入力された画像信号
は、レーンマーク検出部２２に送信される。レーンマー
ク検出部２２では、前記第１の実施の形態の図２（ステ
ップＳ１１１〜Ｓ１１６）と同様に、ステップＳ３１１
〜Ｓ３１６において画像信号を用いて画像座標上のレー
ンマークのエッジ点を俯瞰座標上に変換すると共に、同
俯瞰座標系にてエッジ点から３次曲線近似を行って白線
レーンマークを検出する。さらに、本実施の形態では新
たにステップＳ３１７が加えられており、同ステップＳ
３１７では、俯瞰座標系でのレーンマーク検出結果を画
像座標系に再変換する。

【００５３】このとき、ステップＳ３１６で発生させた
俯瞰図上のレーンマーク関数をそのまま関数の形で逆変
換して画像座標系に変換するのはその扱いが難しい。そ
こで、先ずは白線レーンマークの３次関数Ｆ1 （Ｚ），
Ｆ2 （Ｚ）にＺ＝０から計測最大距離Ｚ＝Ｚmax まで距
離計測分解能Ｚanずつ増加させた値を代入していき、俯
瞰座標系でのレーンマークテーブルを作成する。次に、
このテーブル上の１ポイント毎に画像座標変換を行い、
画像座標系でのレーンマークテーブルを作成する。ここ
で、逆変換の式は、前記の式（２）〜（６）を逆変換し
たものであり、次の式（１４），（１５）となる。

【００５４】

【数１４】

【００５５】

【数１５】式（１４），（１５）により得られた（ｘ1 ，ｙ1 ）
は、例えば図２１の画像座標上における点ｐ1 の位置を
示す。このとき、白線レーンマークの曲線関数はｆ1
（ｙ），ｆ2 （ｙ）として表される。

【００５６】一方、立体物検出部２３においては、第１
の実施の形態と同様にステップＳ３２１で立体視法によ
る立体物の検出処理を行うが、同検出結果を俯瞰座標に
変換する処理は実施しない（図２のステップＳ１２２に
相当する処理は省略している）。

【００５７】位置判定部２４では、図２１に示す画像座
標系で立体物と白線レーンマークとの関係を求め、立体
物と白線レーンマークの位置関係を判定する。つまり、
レーンマーク検出部２２のステップＳ３１７の画像座標
変換（逆変換）により、白線レーンマークは画像座標系
の点の集まりのテーブルとなっており、これは関数ｆ1
（ｙ），ｆ2 （ｙ）となっている。また、立体物検出部
２３の立体物抽出により、画像座標系での立体物の下部
の左右端ｏl ，ｏr のｘ座標ｘl ，ｘr とｙ座標ｙl ，
ｙr と距離Ｚが算出される。

【００５８】そこで、位置判定部２４では、前記図８の
ルーチンの一部を変更した位置判定処理により立体物と
レーンマークとの位置関係を判定する。図２０は、図８
のステップＳ２０２，Ｓ２０３を各々ステップＳ４０
２．Ｓ４０３に変更したものであって、ステップＳ４０
２では、右側の白線レーンマークの内側に立体物がある
か否か、即ち、ｆ1 （ｙr ）≧ｘr であるか否かが判別
され、ステップＳ４０３では、左側の白線レーンマーク
の内側に立体物があるか否か、即ち、ｆ2 （ｙl）≦ｘl
であるか否かが判別される。

【００５９】なお、図２２は、前記図９〜図１６に従っ
て最終的に画像座標上にレーンマーク関数ｆ1 （ｙ），
ｆ2 （ｙ）及び立体物（他車両）Ｐ３，Ｐ４を配置した
図である。

【００６０】要するに、俯瞰座標系への変換時には、撮
像装置１０と路面との関係を示す定数（路面に対するＣ
ＣＤカメラの光軸ずれの角度θv0や、θv1等）に基づい
て演算処理が行われている。かかる場合、車両などの移
動体に装置を搭載した場合には、例えば走行路面の凹凸
によりθv0等が変動するため、俯瞰座標上のレーンマー
ク位置Ｚ1 に影響を与え、白線レーンマークの検出に際
して誤差を生じるおそれがあった。しかし、本実施の形
態では、俯瞰座標変換に用いた定数θv0を用いて逆変換
を行うため、上述したようなθv0の変動による誤差の発
生を抑制することができる。その結果、白線レーンマー
クの検出精度をより一層高めることができる。

【００６１】また、白線レーンマークと立体物との位置
関係を判定する場合において、各々のＺ方向における位
置ズレが解消される。つまり、立体視法によれば立体物
の距離が直接検出でき、上記したようなθv0の変動によ
る検出誤差を生じることはない。また、前述した通り白
線レーンマークの検出に際してもθv0の変動による誤差
が解消されている。その結果、白線レーンマークと立体
物との位置関係が正確に把握でき、ひいては障害物の判
定時においても精度の高い判定処理を実現することが可
能となる。

【００６２】なお、本発明は上記実施の形態の他に次の
（１）〜（５）に示す様態にて具体化することができ
る。（１）上記各実施の形態において、道路上の直線部分、
円弧部分、クロソイド曲線部分を近似するにあたって３
次曲線近似を行ったが、これを変更してもよい。つま
り、誤差をさらに小さくしたければ、近似曲線として３
次以上の高次多項式を適応してもよい。また、２次曲線
近似は、３次曲線近似に比べて誤差が大きくなるが、装
置の仕様などによっては適応でき、計算量を少なくでき
るという利点がある。

【００６３】（２）上記実施の形態では、画像上のアッ
プエッジとダウンエッジとのペアリングにより白線レー
ンマークを抽出したが、この抽出法としてはこれに限定
されるものではない。例えば単に相対的に輝度情報が変
化する位置をエッジとして抽出するようにして、エッジ
抽出処理の簡略化を図ってもよい。また、俯瞰図上のＺ
1 を求めるには、左右画像を用いた立体物法の相関計算
を用いてもよい。

【００６４】（３）上記第１の実施の形態（請求項１の
発明）では白線レーンマークを２次以上のｎ次曲線で近
似することを要件としたが、第２の実施の形態（請求項
２の発明）では白線レーンマークを１次関数（直線式）
で近似してもよく、かかる場合にも従来にない新規な効
果が得られる。つまり、請求項２に記載の発明は、ＣＣ
Ｄカメラの光軸と路面との角度変動による誤差を抑制す
ることを主目的としたものであって、１次近似により白
線レーンマークを推定してもかかる目的を達成すること
は可能である。

【００６５】（４）上記第３の実施の形態では、請求項
２に記載の発明を具体化するものとして、白線レーンマ
ークの画像情報について画像座標→俯瞰座標→画像座標
の順で変換処理を行ったが、これを画像座標→３次元座
標→画像座標の順で変換処理を行うように変更してもよ
い。この場合、３次元座標から画像座標への逆変換を行
わずとも、白線レーンマークと立体物との位置判定の精
度は殆ど変わらないが、白線レーンマークの検出処理の
みを考えれば、３次元座標から画像座標への逆変換を行
うことによりその検出精度は向上すると言える。

【００６６】（５）上記実施の形態では、立体物（他車
両）の検出方法としてステレオ画像による立体視法を用
いたが、これを変更してもよい。例えばレーダ光を用い
て立体物を検出するようにしてもよい。

【図面の簡単な説明】

【図１】発明の実施の形態における障害物検出装置の概
要を示す構成図。

【図２】第１の実施の形態における警報装置本体の構成
を作用毎に示す機能ブロック図。

【図３】路面画像を示す概略図。

【図４】撮像装置と道路面との関係を横から見た図。

【図５】図４を上から見た図（俯瞰図）。

【図６】画像上での路面情報を示す図。

【図７】立体視法による距離計測の手順を説明するため
の図。

【図８】位置判定ルーチンを示すフローチャート。

【図９】撮像装置から取り込まれた一画像を示す図。

【図１０】画像にエッジ抽出処理を施した結果を示す
図。

【図１１】ペアリングによりレーンマーク候補を抽出し
た結果を示す図。

【図１２】ハフ変換により直線を抽出した結果を示す
図。

【図１３】ハフ変換の直線からレーンマーク情報を取り
出した結果を示す図。

【図１４】レーンマーク情報と近似関数線との関係を示
す図。

【図１５】俯瞰図上でのレーンマーク情報を示す図。

【図１６】俯瞰図上での白線レーンマークと立体物との
位置関係を示す図。

【図１７】白線レーンマークのエッジ点を示す図。

【図１８】図１７のα１を拡大して示す図。

【図１９】第３の実施の形態における警報装置本体の構
成を作用毎に示す機能ブロック図。

【図２０】第３の実施の形態における位置判定ルーチン
の一部を示すフローチャート。

【図２１】画像上での路面情報を示す図。

【図２２】画像上での白線レーンマークと立体物との位
置関係を示す図。

【符号の説明】

１０…撮像手段としての撮像装置、２０…区画線エッジ
抽出手段，ｎ次近似手段，区画線推定手段，関数近似手
段としての警報装置本体。

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０８Ｇ 1/04 Ｇ０８Ｇ 1/04 Ｄ 1/16 1/16 ＣＨ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ

Claims

【特許請求の範囲】

【請求項１】撮像手段を用いて得られた画像情報に基づ
いて、道路上の区画線を検出する区画線検出装置におい
て、前記撮像手段により得られた画像情報から画像座標上の
区画線エッジを抽出する区画線エッジ抽出手段と、前記区画線エッジ抽出手段により抽出された画像座標上
の区画線エッジを俯瞰座標、若しくは３次元座標に変換
し、その変換された区画線エッジを２次以上のｎ次曲線
で近似するｎ次近似手段と、前記ｎ次近似手段によるｎ次曲線に基づいて区画線を推
定する区画線推定手段とを備えることを特徴とする区画
線検出装置。
【請求項２】撮像手段を用いて得られた画像情報に基づ
いて、道路上の区画線を検出する区画線検出装置におい
て、前記撮像手段により得られた画像情報から画像座標上の
区画線エッジを抽出する区画線エッジ抽出手段と、前記区画線エッジ抽出手段により抽出された画像座標上
の区画線エッジを俯瞰座標、若しくは３次元座標に変換
し、その変換された区画線エッジを関数近似する関数近
似手段と、前記関数近似手段による近似関数を前記座標変換時の定
数を用いて元の画像座標に逆変換し、当該逆変換の結果
に基づいて区画線を推定する区画線推定手段とを備える
ことを特徴とする区画線検出装置。
【請求項３】請求項２に記載の区画線検出装置におい
て、前記近似手段は、区画線エッジを２次以上のｎ次曲線で
近似することを特徴とする区画線検出装置。