JP2003168104A

JP2003168104A - 道路白線認識装置

Info

Publication number: JP2003168104A
Application number: JP2001367542A
Authority: JP
Inventors: Masayasu Shimakage; 正康島影
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2001-11-30
Filing date: 2001-11-30
Publication date: 2003-06-13
Anticipated expiration: 2021-11-30
Also published as: US20030103649A1; JP3780922B2; US7106886B2

Abstract

(57)【要約】【課題】水溜まり等により路面輝度に偏りがある場合
であっても、的確に道路白線を検出する。【解決手段】白線候補点検出領域の輝度情報を路面本
来の輝度情報と水溜まり等による偏向輝度情報とで表し
たときの偏向輝度情報の近似関数を、輝度情報をＸ軸方
向に近似して検出し、これに基づいて、入力した画像情
報の偏向輝度情報を得る（ステップＳ２１〜２３）。撮
像画像の輝度情報から偏向輝度情報を除去して正規化輝
度情報を検出し（ステップＳ２４）、この正規化輝度情
報に基づいてＸ軸方向のライン毎に輝度の平均値及び最
高値を検出し（ステップＳ２５、Ｓ２６）、これらに基
づいて輝度しきい値を算出する（ステップＳ２７）。こ
の輝度しきい値に基づいて正規化輝度情報を２値化し、
これに基づいて白線候補点を検出する（ステップＳ２
８、Ｓ２９）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、道路上の通行区
分帯表示用の道路白線を認識するための道路白線認識装
置に関する。

【０００２】

【従来の技術】従来より、画像によって白線を認識し、
自車両と白線との関係を、車両の自動制御又は一部自動
制御に用いる技術が提案されている。例えば、特開平５
−３４７０００号公報においては、撮像画像から道路白
線を構成する白線候補点を検出し、撮像画像における白
線候補点の位置座標に基づき道路形状、或いは撮像画像
を得るためのカメラ等といった撮像手段の姿勢を推定す
るようにしている。そして、このとき、白線候補点を抽
出するために用いる撮像画像の輝度（濃度）しきい値を
算出する処理領域（以後、しきい値処理算出領域とい
う。）を、しきい値算出領域設定手段によって設定し、
しきい値算出領域の位置及びその範囲を動的に変化させ
ると共に、白線を抽出するために用いる撮像画像の輝度
のしきい値を、しきい値算出領域における、輝度の最大
値と平均値とを組み合わせて算出することにより、撮像
画像のコントラストが変化した場合においても、確実に
白線抽出を行うようにしている。

【０００３】つまり、このようにすることによって、撮
像画像が入力されるたびに、白線を抽出するために用い
る撮像画像の輝度しきい値を算出するため、白線を抽出
するために用いる撮像画像の輝度のしきい値が動的に更
新される。よって、道路画像のコントラストの変化に対
して、撮像画像から白線を抽出する能力が最適化される
ため、昼間と夜間との差に見られる周囲の光量が変化す
ること等によって、白線と路面のコントラストが変化し
た場合であっても、白線検出能力の変動を小さくするこ
とができるようになっている。

【０００４】

【発明が解決しようとする課題】上記従来の方法によれ
ば、道路画像のコントラストが変化した場合に、輝度の
閾値が動的に補正されるため、例えば、走行車両による
磨耗のために白線のペイントの厚さが薄くなった道路へ
進入した場合に発生する白線と舗装路面とのコントラス
ト変動や、晴天から曇天に変化する等して撮像装置に入
力される光量が減少した場合に発生する白線と舗装路面
とのコントラスト変動等に対しては、白線を検出する性
能の劣化を小さくすることが可能である。すなわち、晴
天時又は曇天時の通常の路面は、その撮像画像の輝度値
（濃度値）が全体的にほぼ一様であり、白線部分の画素
濃度（輝度）のみが突出した値である。このため、白線
部分と白線以外の部分とでは、画素の濃度（輝度）に明
確な差が生じるため、精度良く白線を検出することがで
きる。

【０００５】しかしながら、特に雨天時等においては、
車体正面部ほど、また、遠方ほど、水の膜による反射光
が強いため、白線を抽出するために用いる輝度（濃度）
しきい値を算出するしきい値処理算出領域内における撮
像画像の輝度の偏りは無視できない。つまり、図１６
（ａ）〜（ｃ）に示すように、水の膜のある部分と白線
部分とで輝度がほぼ同等となったり、或いは水の膜のあ
る部分の方が輝度が高くなったりする場合がある。な
お、図１６において、（ａ）は撮像画像の一例を示した
ものであって、（ｂ）及び（ｃ）は、（ａ）のｙ_j及び
ｙ_j+1位置におけるＸ軸方向の輝度の変化状況を表した
ものであり、横軸はＸ座標、縦軸は輝度を表す。

【０００６】このため、しきい値処理算出領域内におけ
る輝度の最大値が水の膜のある部分であったり、しきい
値処理算出領域内の平均輝度値と白線の輝度値や最大輝
度値とが接近してしまうため、適切な輝度のしきい値を
設定することが難しい。さらに、このような現象は雨天
時だけでなく、トンネル出口、トンネル内等においても
発生する。すなわち、光学的な現象に支配され、光を反
射し易い路面や、光源が複数ある場合等、光が光源から
直接撮像装置に進入する場合に発生し易い。

【０００７】また、白線の誤検出は、システムの作動停
止につながるため、時間的なコントラスト変化だけでな
く、空間的な輝度の偏りによってしきい値が適切に設定
されなくなるという問題も解決する必要がある。そこ
で、この発明は、上記従来の未解決の問題に着目してな
されたものであり、空間的な輝度の偏りに関わらず、的
確に道路白線を検出することの可能な道路白線認識装置
を提供することを目的としている。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１に係る道路白線認識装置は、車両
前方の道路を撮像する撮像手段と、前記撮像手段で撮像
した撮像画像の輝度情報を路面本来の輝度情報と当該路
面本来の輝度情報を除く偏向輝度情報とで表したときの
前記偏向輝度情報を、前記輝度情報を前記撮像画像の水
平方向に近似して得た近似関数に基づいて検出する偏向
輝度検出手段と、前記輝度情報から前記偏向輝度情報を
除去して正規化輝度情報を検出する正規化輝度情報検出
手段と、当該正規化輝度情報検出手段で検出した正規化
輝度情報に基づいて道路白線の検出を行う道路白線検出
手段と、を備えることを特徴としている。

【０００９】この請求項１に係る発明では、撮像画像の
輝度情報が、路面本来の輝度情報と、この路面本来の輝
度情報を除く偏向輝度情報、つまり水溜まり等の反射光
による輝度のかたより成分等といった偏向輝度情報とで
表され、この偏向輝度情報が、輝度情報を撮像画像の水
平方向に近似して得た近似関数に基づいて検出される。
そして、輝度情報から、この偏向輝度情報が除去されて
正規化輝度情報が検出される。この正規化輝度情報は、
撮像画像の輝度情報から偏向輝度情報を除去したもので
あり、すなわち、路面本来の輝度情報と同等とみなすこ
とができるから、この正規化輝度情報に基づいて道路白
線の検出を行うことによって、路面本来の輝度情報と同
等の輝度情報に基づいて道路白線の検出が行われること
になる。

【００１０】また、請求項２に係る道路白線認識装置
は、車両前方の道路を撮像する撮像手段と、前記撮像手
段で撮像した撮像画像の輝度情報を路面本来の輝度情報
と当該路面本来の輝度情報を除く偏向輝度情報とで表し
たときの前記偏向輝度情報を、前記輝度情報を前記撮像
画像の水平方向に近似して得た近似関数に基づいて検出
する偏向輝度検出手段と、前記輝度情報から前記偏向輝
度情報を除去して正規化輝度情報を検出する正規化輝度
情報検出手段と、当該正規化輝度情報検出手段で検出し
た正規化輝度情報に基づいて道路白線を検出するための
しきい値を設定し、当該しきい値と前記正規化輝度情報
とに基づいて道路白線の白線候補点を検出する白線候補
点検出手段と、当該白線候補点検出手段で検出した白線
候補点に基づいて道路白線を検出する道路白線検出手段
と、を備えることを特徴としている。

【００１１】この請求項２に係る発明では、撮像画像の
輝度情報が、路面本来の輝度情報と、この路面本来の輝
度情報を除く偏向輝度情報、つまり水溜まり等の反射光
による輝度のかたより成分等といった偏向輝度情報とで
表され、この偏向輝度情報が、輝度情報を撮像画像の水
平方向に近似して得た近似関数に基づいて検出される。
そして、輝度情報から、この偏向輝度情報が除去されて
正規化輝度情報が検出される。この正規化輝度情報は、
撮像画像の輝度情報から偏向輝度情報を除去したもので
あり、すなわち、路面本来の輝度情報と同等とみなすこ
とができるから、この正規化輝度情報に基づいてしきい
値を設定し、このしきい値と正規化輝度情報とに基づい
て道路白線の白線候補点を検出することによって、路面
本来の輝度情報と同等の輝度情報に基づいて白線候補点
が検出され、道路白線の認識が行われることになる。

【００１２】また、請求項３に係る道路白線認識装置
は、前記偏向輝度検出手段は、前記撮像画像の水平方向
のラインのうちの隣接しない複数のラインを代表ライン
として当該代表ライン毎に前記近似関数を検出し、当該
代表ライン間のラインにおける近似関数を、前記代表ラ
インの近似関数を特定するパラメータ間を補間して検出
するようになっていることを特徴としている。また、請
求項４に係る道路白線認識装置は、前記偏向輝度検出手
段は、前記撮像画像の水平方向のラインのうちの隣接し
ない複数のラインを検索ラインとし、当該検索ライン毎
に前記近似関数に基づき前記偏向輝度を検出し、前記検
索ライン間のラインにおける偏向輝度を、前記検索ライ
ンの偏向輝度間を補間して検出するようになっているこ
とを特徴としている。

【００１３】また、請求項５に係る道路白線認識装置
は、前記偏向輝度検出手段は、前記撮像画像において、
右側の道路白線を検出するための領域と左側の道路白線
とを検出するための領域とを設定し、当該領域毎に前記
近似関数を検出し、前記撮像画像の水平右方向にその位
置座標が大きくなるものとしたとき右側の道路白線を検
出するための領域では、前記近似関数として単調減少関
数を設定し、左側の道路白線を検出するための領域で
は、前記近似関数として単調増加関数を設定することを
特徴としている。

【００１４】さらに、請求項６に係る道路白線認識装置
は、前記近似関数は、一次関数であることを特徴として
いる。

【００１５】

【発明の効果】本発明の請求項１に係る道路白線認識装
置によれば、撮像手段で撮像した撮像画像の輝度情報に
基づいて、路面本来の輝度情報を除く偏向輝度情報を検
出し、輝度情報から前記偏向輝度情報を除去して正規化
輝度情報を算出し、この正規化輝度情報、すなわち、路
面本来の輝度情報と同等の正規化輝度情報に基づいて道
路白線を検出するようにしているから、水溜まりのある
路面等、輝度に偏りがあるような路面においても、その
影響を受けることなく、的確に道路白線を検出すること
ができる。

【００１６】また、請求項２に係る道路白線認識装置に
よれば、撮像手段で撮像した撮像画像の輝度情報に基づ
いて、路面本来の輝度情報を除く偏向輝度情報を検出
し、輝度情報から前記偏向輝度情報を除去して正規化輝
度情報を算出し、この正規化輝度情報、すなわち、路面
本来の輝度情報と同等の正規化輝度情報に基づいて道路
白線を検出するためのしきい値を設定し、これに基づい
て白線候補点を検出するようにしているから、水溜まり
のある路面等、輝度に偏りがあるような路面において
も、その影響を受けることなく的確に道路白線の白線候
補点を検出することができ、道路白線をより高精度に検
出することができる。

【００１７】また、請求項３に係る道路白線認識装置に
よれば、偏向輝度検出手段は、撮像画像の水平方向のラ
インのうち、隣接しない複数のラインを代表ラインと
し、この代表ライン毎に近似関数を検出し、代表ライン
間のラインにおける近似関数は、代表ラインの近似関数
を特定するパラメータ間を補間して検出し、この検出し
た近似関数に基づいて代表ライン間のラインの偏向輝度
を検出するようにしたから、撮像画像の水平方向のライ
ン全てについて近似関数を検出する必要はなく、撮像画
像全体の偏向輝度情報を得るための演算時間の短縮を図
ることができる。また、水平方向のラインについてその
偏向輝度を記憶しておく必要はなく、近似関数を特定す
るためのパラメータのみを記憶しておけば、偏向輝度を
得ることができるから、記憶領域の削減を図ることがで
きると共に、例えば、ライン毎の偏向輝度に基づく演算
を行うような場合であっても近似関数から容易に演算処
理を行うことができ、その処理時間の短縮を図ることが
できる。

【００１８】また、請求項４に係る道路白線認識装置に
よれば、偏向輝度検出手段は、撮像手段で撮像した撮像
画像の水平方向のラインのうち、隣接しない複数のライ
ンを検索ラインとし、この検索ライン毎に検出された近
似関数に基づいて偏向輝度を検出し、検索ライン間のラ
インにおける偏向輝度は、検索ラインの偏向輝度間を補
間して検出するようにしたから、撮像画像の水平方向の
ライン全てについて近似関数を検出する必要はなく、撮
像画像全体の偏向輝度情報を得るための演算時間の短縮
を図ることができる。

【００１９】また、請求項５に係る道路白線認識装置に
よれば、偏向輝度検出手段は、右側の道路白線を検出す
るための領域と左側の道路白線とを検出するための領域
とを設定してこの領域毎に近似関数を検出するようにし
た際に、撮像画像の水平右方向にその位置座標が大きく
なるものとしたとき右側の道路白線を検出するための領
域では、近似関数として単調減少関数を設定し、左側の
道路白線を検出するための領域では、近似関数として単
調増加関数を設定するようにしている。ここで、水の膜
等が路面に存在する場合には、一般に車体正面部ほど、
反射光が強い、すなわち輝度が大きいから、道路白線側
に近づくほどその輝度は小さくなる。よって、右側の道
路白線を検出するための領域では、近似関数として単調
減少関数を設定し、左側の道路白線を検出するための領
域では、近似関数として単調増加関数を設定することに
よって、近似関数の誤検出を的確に防止することができ
る。

【００２０】さらに、請求項６に係る道路白線認識装置
によれば、近似関数として、一次関数を設定するように
したから、偏向輝度算出に要する所要時間の短縮を図る
ことができる。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。図１は、本発明を適用した道路白
線認識装置の一実施形態を示す構成図である。図１にお
いて、ＣＣＤカメラ等で構成される撮像装置１は、例え
ば、図２に示すように、車幅方向中央の、車室内のフロ
ントウィンドウ上部に取り付けられている。そして、レ
ンズの光軸と車両中心線とのヨー角φが零、また、ピッ
チ角ηがα_radとなるように取り付けられ、車両前部の
道路を含む車両の周囲環境を撮像する。

【００２２】前記撮像装置１で撮像された撮像情報は、
処理装置１０に入力され、処理装置１０は、前記撮像情
報をもとに、道路白線検出部１１において白線候補点の
検出を行い、白線候補点の検出結果に基づいて道路パラ
メータ演算部１２において道路パラメータを推定する。
図３は、処理装置１０の機能構成を示す機能ブロック
図、図４及び図５は、処理装置１０で実行される、道路
白線を検出するための道路白線検出処理の処理手順の一
例を示すフローチャートである。

【００２３】図３に示すように、処理装置１０は、１サ
ンプリング時間前の道路パラメータの推定値に基づいて
白線検出領域を設定する白線検出領域設定手段２１、撮
像装置１からの画像情報に基づいて後述の偏向輝度画像
を生成する偏向輝度画像生成手段２２、偏向輝度画像生
成手段２２で生成した偏向輝度画像と撮像装置１からの
画像情報に基づいて後述の正規化輝度画像を生成する正
規化輝度画像生成手段２３、正規化輝度画像生成手段２
３で検出した正規化画像に基づいて白線候補点検出のた
めのしきい値を設定するしきい値設定手段２４、前記正
規化輝度画像と前記しきい値設定手段２４で設定したし
きい値とをもとに白線候補点を検出する白線候補点検出
手段２５と、を備えている。

【００２４】そして、処理装置１０では次の手順で処理
を行う。まず、図４のステップＳ１で、道路形状や車両
挙動を表すパラメータ（以下、道路パラメータとい
う。）を、初期設定する。つまり、図６に示すような画
面座標系Ｏ−ＸＹ上において、道路白線の白線モデル
を、道路パラメータを用いて次式（１）のように表す。Ｘ＝｛ｙ_r+(ｉ-1/2)*ｗ｝*(Ｙ＋ｆη)/ｈ−ｆ²ｈρ／｛2(Ｙ＋ｆη) ｝＋ｆφ_r ……（１）なお、式（１）中の、ｉは、車線左側白線の場合にはｉ
＝０に設定され、車線右側白線の場合にはｉ＝１に設定
される。また、式（１）において、ｙ_r、ρ、φ_r、
η、ｗは、道路パラメータであり、路面からの撮像装置
１の高さｈを一定とすると、それぞれの道路パラメータ
は次のような道路及び白線の形状又は車両挙動を表す。
すなわち、ｙ_rは車線内の自車両の横変位量、ρは道路
の曲率（曲率半径の逆数）、φ_rは自車両（撮像装置１
の光軸）の道路に対するヨー角、ηは自車両（撮像装置
１の光軸）の道路に対するピッチ角、ｗは道路の車線幅
をそれぞれ表す。

【００２５】なお、初期状態においては、道路及び白線
の形状や車両挙動が不明であるから、各道路パラメータ
には、例えば、中央値に相当する値を初期値として設定
する。すなわち、例えば、車線内の自車両の横変位量ｙ
_rとして車線中央を設定し（ｙ_r＝０）、道路曲率ρと
して直線を設定し（ρ＝０）、車線に対するヨー角φ _r
として零を設定し（φ_r＝０）、車線に対するピッチ角
ηとして停止状態を設定し（η＝α_rad）、車線幅ｗと
して道路構造令に示される高速道路の車線幅を設定す
る。

【００２６】次いで、ステップＳ２に移行し、図７に示
すように、白線候補点検出領域の大きさの初期化を行
う。図７に示す例では、左右の道路白線に対し、６個ず
つ計１２個の白線候補点検出領域を設定している。な
お、初期状態においては、道路パラメータに初期値を設
定した白線モデルと、画面上の実際の道路白線との間に
は大きな差がある可能性があるため、できる限り白線候
補点検出領域を大きく設定することが好ましい。

【００２７】また、既に道路白線が検出されている場合
には画面上の実際の道路白線と白線モデルとの差は小さ
くなっていると考えられるので、図８に示すように、な
るべく白線候補点検出領域を小さく設定するようにすれ
ば、処理速度の向上を図ることができる。この場合、前
記白線候補点検出領域は、例えば、既に検出されている
道路パラメータを用いて公知の手順で設定するようにす
ればよい。次いで、ステップＳ３に移行し、前回処理時
に撮像装置１から入力した画像情報に基づく撮像画像に
対し、白線候補点検出領域を設定する。なお、初期状態
時には、例えば、道路パラメータに初期値を設定した白
線モデルに対し、白線候補点検出領域を設定する。つま
り、ステップＳ２で算出した白線候補点検出領域の大き
さと、ステップＳ１で初期設定した道路パラメータ又は
後述のステップＳ９で補正された道路パラメータに基づ
く白線モデルとに基づいて、図９に示すように、道路パ
ラメータに基づく白線モデルが領域の中心となるよう
に、白線候補点検出領域を設定する。なお、図９は、左
右の道路白線６個ずつ計１２個の白線候補点検出領域を
設定している。

【００２８】次いで、ステップＳ４に移行し、撮像装置
１によって撮像した画像情報を入力し、ステップＳ６に
移行し、ステップＳ４で入力した撮像装置１からの画像
情報に対し、ステップＳ３で設定した白線候補点検出領
域において、白線候補点の検出処理を行う。この白線候
補点の検出処理は、図５のフローチャートに示す手順で
行う。なお、撮像画像において、例えば、その左上座標
を基点とし、水平右方向をＸ軸の正方向、垂直下方向を
Ｙ軸の正方向とする。

【００２９】まず、ステップＳ２１で代表検索ラインを
設定する。この代表検索ラインとしては、例えば、各白
線候補点検出領域の上辺と最下部の白線候補点検出領域
の下辺とを代表検索ラインとして設定する。例えば図９
の場合には、白線候補点検出領域を左右各６個ずつ設定
しているため、代表検索ラインは、左右それぞれ７本ず
つ設定される。なお、代表検索ラインの選定方法は、こ
れに限るものではなく、後述のステップＳ２２で行われ
る補間又は補外処理を行うことによって、全ての白線候
補点検出領域に関するパラメータを算出することができ
るラインであればよく、例えば、白線候補点検出領域の
Ｙ軸方向中央位置におけるＸ軸方向のラインを代表検索
ラインとして設定してもよい。

【００３０】次いでステップＳ２２に移行し、偏向輝度
画像生成用のパラメータを算出する。ここで、前記偏向
輝度は、撮像画像の輝度値に対して変動成分を取り除い
た最も低次の成分として定義される。つまり、例えば撮
像画像の座標（Ｘ，Ｙｉ）における輝度値Ｐ（Ｘ，Ｙ
ｉ）を、次式（２）で表すものとする。Ｐ（Ｘ，Ｙｉ）＝Ａ₀（Ｙｉ）＋Ａ₁（Ｙｉ）Ｘ＋ｆ（Ｘ，Ｙｉ） ……（２）そして、次式（３）としたとき、偏向輝度Ｐ_tend（Ｘ，
Ｙｉ）を０次の偏向輝度と定義する。また、次式（４）
としたとき、偏向輝度Ｐ_tend（Ｘ，Ｙｉ）を一次の偏向
輝度と定義する。

【００３１】Ｐ_tend（Ｘ，Ｙｉ）＝Ａ₀（Ｙｉ） ……（３）Ｐ_tend（Ｘ，Ｙｉ）＝Ａ₀（Ｙｉ）＋Ａ₁（Ｙｉ）Ｘ（Ａ₀（Ｙｉ）≠０） ……（４）ただし、式（２）中の関数ｆ（Ｘ，Ｙｉ）は、路面上に
存在する水の膜等の影響による輝度情報の偏り成分のな
い、道路白線本来の輝度値を表す任意関数である。ま
た、係数Ａ₁（Ｙｉ）は、輝度の偏りが少ない場合には
小さな値となる。また、Ｘ座標の正方向に向かって画像
が明るくなる場合、つまり輝度値が大きくなるような場
合には、Ａ₁は正の値となる。逆に、Ｘ座標の正方向に
向かって画像が暗くなる場合、つまり輝度値が小さくな
るような場合にはＡ₁は負の値となる。

【００３２】前記（２）式を、一般的に記載すると、画
像上の任意の点（Ｘ，Ｙ）における輝度値Ｐ（Ｘ，Ｙ）
は、次式（５）で表すことができる。

【００３３】

【数１】

【００３４】前記（５）式は、画像上の点（Ｘ₀，
Ｙ₀）を中心にテイラー展開したものであり、Ｘ₀＝
０、Ｙ＝Ｙ₀＝Ｙｉとすると、次式（６）を得ることが
できる。すなわち、前記（２）式は、一般的な輝度値を
記述する（５）式において、次式（７）とした場合を表
している。

【００３５】

【数２】

【００３６】次に、偏向輝度画像生成用のパラメータの
算出方法を説明する。各代表検索ラインにおける画素の
偏向輝度の輝度値は、次式（８）で表すことができる。
なお、式中のｉは代表検索ラインを識別するための添え
字である。また、Ｘ及びＹｉは注目画素の座標を表す変
数であり、ｉは代表検索ラインｉのＹ座標であることを
表す。Ｐ^*（Ｘ，Ｙｉ）＝ａ（Ｙｉ）Ｘ＋ｂ（Ｙｉ）＝ａｉＸ＋ｂｉ……（８）この（８）式を用い、撮像装置１から入力された画像情
報をもとに各画素の輝度値をＰ（Ｘ，Ｙ）として最小自
乗法等により次式（９）で示す評価関数Ｊを最小にする
パラメータａｉ及びｂｉを、全ての代表検索ラインにつ
いて算出する。なお、式（９）中の、Ｘ０（ｉ）及びＸ
１（ｉ）は、Ｘ０（ｉ）＜Ｘ１（ｉ）を満足する値であ
って、各代表検索ラインの左右の両端位置におけるＸ座
標を表す。つまり、前記（９）式は、代表検索ラインに
おける偏向輝度と実際の輝度との差の二乗和を表してい
る。

【００３７】

【数３】

【００３８】そして、前記（９）式の評価関数Ｊを最小
にするＰ^*（Ｘ，Ｙｉ）で表される画像を、代表検索ラ
インｉにおける偏向輝度画像と定義する。また、同様の
処理を全ての白線候補点検出領域で実施した結果得られ
るＰ^*（Ｘ，Ｙ）を、白線候補点検出領域における偏向
輝度画像と定義する。ただし、後述するステップＳ２３
の処理においては、偏向輝度画像の空間における連続性
の確保及び計算時間の短縮を図るために、ステップＳ２
２と同様の処理を全ての白線候補点領域で実施せず、パ
ラメータａｉ及びｂｉは、Ｙ座標方向に関して補間処理
を行い、補間処理されたパラメータを用いて前記式
（７）の演算を行う。このようにして算出された輝度画
像も偏向輝度画像と定義する。

【００３９】前記（９）式を満足するパラメータａｉ及
びｂｉは次のようにして算出する。つまり、関数ｆ
（ｘ）をｆ（ｘ）＝ａｘ＋ｂとした場合、Ｎ組のデータ
（ａ、ｂ）によるｆ（ｘ）を取得したとき、次式（１
０）で表される評価関数Ｊを最小にする係数ａ及びｂ
は、次式（１１）が成り立つことから、次式（１２）で
算出することができる。

【００４０】

【数４】

【００４１】したがって、この処理を前記（７）の近似
式にあてはめて計算することによって、全ての代表検索
ラインにおける偏向輝度画像生成用のパラメータａｉ及
びｂｉを算出する。このようにして、偏向輝度画像生成
用のパラメータａｉ及びｂｉを算出すると、次に、ステ
ップＳ２３に移行し、白線候補点検出領域における偏向
輝度画像を算出する。つまり、次式（１３）を用いて、
上下に隣接する代表検索ラインの係数ａｉ及びｂｉにつ
いて、道路の右側白線に相当する代表検索ラインと左側
白線に相当する代表検索ラインとのそれぞれについて、
画像のＹ座標に関する線形補間を個別に行い、右側及び
左側の全ての白線候補点検出領域における、係数Ａ_R(Y)
及びＢ_R(Y) 、係数Ａ_L(Y) 及びＢ_L(Y) を算出す
る。

【００４２】

【数５】

【００４３】図１０は、代表検索ラインの係数を用いて
線形補間を行った場合の一例を示したものであって、横
軸は代表検索ラインを表し、縦軸は係数ａｉ及びｂｉを
表している。また、ｉは、０〜１３であって、ｉ＝０〜
６が左側白線に相当し、ｉ＝７〜１３が右側白線に相当
している。図１０に示すように、右側の白線候補点検出
領域に相当する係数Ａ_R(Y) は正であるから、右側の白
線候補点検出領域における輝度は、Ｘ座標が大きくなる
ほどその輝度が大きくなることを表している。一方、左
側の白線候補点検出領域における係数Ａ_L(Y) は負値で
あるから、Ｘ座標が大きくなるほどその輝度が小さくな
ることを表している。

【００４４】そして、このようにして算出した、撮像画
像のＹ座標に関する係数Ａ_R(Y) 及びＢ_R(Y) 及びＡ_L
(Y) 及びＢ_L(Y) を用いて、全ての白線候補点検出領域
における偏向輝度Ｐ_tend（Ｘ，Ｙ）を算出する。これは
次式（１４）により算出することができ、これによって
算出した偏向輝度で表される画像を、偏向輝度画像と定
義する。Ｐ_tend（Ｘ，Ｙ）＝Ａ（Ｙ）Ｘ＋Ｂ（Ｙ） ……（１４）次いで、ステップＳ２４に移行し、白線候補点検出領域
における正規化輝度画像の算出を行う。この正規化輝度
画像は、次式（１５）に基づいて算出する。式（１５）
に示すように、ステップＳ２３で算出した偏向輝度画像
の輝度値を撮像装置１から入力された撮像画像の輝度値
から差し引いて輝度値Ｐ_nomを算出し、この輝度値Ｐ
_nomで表される画像を正規化輝度画像とする。

【００４５】Ｐ_nom（Ｘ，Ｙ）＝Ｐ（Ｘ，Ｙ）−Ｐ_tend（Ｘ，Ｙ） ……（１５）ここで、前記偏向輝度画像Ｐ_tendは、撮像装置１による
撮像画像の輝度値を、撮像画像のＸ方向に関して一次関
数で近似し、さらに、撮像画像のＹ方向に関して各代表
検索ラインにおけるＸ方向の偏向輝度画像を線形補間し
たものとなっているため、空間的な輝度変化に関してそ
の高周波成分が除去された画像となる。ここで偏向輝度
画像Ｐ_tendを、空間的な単なるローパスフィルタを用い
て算出した場合、前記（１５）式の演算を行うと、正規
化輝度画像Ｐ_nomは撮像画像を単にハイパスフィルタ処
理したいわゆる微分画像となり、輝度のエッジ成分が、
抽出されまた強調されただけの画像になってしまう。す
なわち、輝度の情報は全て失われて輝度変化の大きい点
のみ抽出されることになる。

【００４６】これに対し、ステップＳ２３では、前記偏
向起動画像を、単なるローパスフィルタではなく、一次
関数等の低次の関数を用いて空間的な低周波成分を抽出
しているため、空間的な輝度の偏りを輝度のドリフト成
分として抽出した画像となる。よって、前記（１４）式
から算出される正規化輝度画像Ｐ_nomは、撮像装置１か
ら入力される一枚の輝度画像情報に対して、輝度の偏り
を補正した画像として得ることができる。

【００４７】なお、このステップＳ２４の処理は、撮像
画像全体に対して行う必要はなく、ステップＳ３で予め
設定した白線候補点検出領域内でのみ行うことによっ
て、演算量を削減することができる。次いで、ステップ
Ｓ２５に移行し、ステップＳ２４で算出した正規化輝度
画像Ｐ_nomに対し、白線候補点検出領域毎に、平均輝度
Ｐ_mean(i) を算出する。この平均輝度Ｐ_mean(i) は、例
えば、前記ステップＳ３で設定した白線候補点検出領域
内の輝度情報（濃度情報）を全て使用して算出してもよ
いし、代表検索ラインにおける平均輝度をその代表検索
ラインが属する白線候補点検出領域の平均輝度Ｐ
_mean(i) としてもよい。また、白線候補点検出領域の上
下の代表検索ラインの平均輝度の平均値を、この白線候
補点検出領域の平均輝度Ｐ_mean(i) としてもよい。この
ように、演算に使用する画素数を削減することによって
演算時間の短縮を図ることが可能となる。

【００４８】次いで、ステップＳ２６に移行し、白線候
補点検出領域における最高輝度Ｐ_ma _x(i) を算出する。
この最高輝度Ｐ_max(i) は、白線候補点検出領域内の輝
度情報（濃度情報）を全て使用して算出するようにても
よく、また、代表検索ラインにおける最高輝度を、その
代表検索ラインが属する白線候補点検出領域の最高輝度
Ｐ_max(i) としてもよい。また、白線候補点検出領域の
上下の代表検索ラインの最大輝度（最大濃度）の平均値
を、最高輝度Ｐ_max(i) としてもよく、また、平均値で
はなく大きい方を最高輝度Ｐ_max(i) として設定しても
よい。このように、演算に使用する画素数を削減するこ
とによって演算時間の短縮を図ることが可能となる。

【００４９】次いで、ステップＳ２７に移行し、白線を
検出するための輝度しきい値Ｔ(i)を白線候補点検出領
域毎に算出する。この輝度しきい値Ｔ(i) は、前記ステ
ップＳ２５で算出した平均輝度Ｐ_mean(i) とステップＳ
２６で算出した最高輝度Ｐ_ma _x(i) とから、次式（１
６）に基づいて算出する。Ｔ(i) ＝ζＰ_max(i) ＋（１−ζ）Ｐ_mean(i) ……（１６）０＜ζ＜１次いで、ステップＳ２８に移行し、このようにして設定
した輝度しきい値Ｔ(i) に基づいて、正規化輝度画像Ｐ
_nomに対し、２値化処理を行う。そして、２値化処理後
の正規化輝度画像に対し、白線候補点検出領域におい
て、白線候補線分の抽出処理を行う。具体的には、白線
候補点検出領域の上辺の一点と下辺の一点とを結んでで
きる全ての線分を検索する。次に、検索した全ての線分
に対し、図１１に示すように、その線分上の画素のう
ち、その濃度が、前記ステップＳ２７で算出したしきい
値Ｔ(i) 以上である画素の個数を計測する。そして、全
ての線分について、前記条件を満足する個数を計測した
後、全ての線分の中で、濃度がしきい値Ｔ(i) 以上であ
る画素数が最も多い線分を、白線候補線分として選択す
る。

【００５０】次いで、ステップＳ２９に移行し、白線候
補線分の始点と終点とを検出し、これを、この白線候補
点検出領域における白線候補点とする。このとき、前記
線分上の、濃度がしきい値Ｔ(i) 以上である画素数が、
規定数よりも少ない場合には、白線候補点は検出されな
かったものとみなす。前記規定数は、例えば、濃度がし
きい値Ｔ(i) 以上である画素が、白線候補点検出領域の
垂直方向の長さに対する任意に設定した割合に基づいて
設定される。なお、この割合は、全ての白線候補点検出
領域において同一であってもよいし、白線候補点検出領
域毎に異なるようにしてもよい。

【００５１】つまり、撮像画像において、その左上座標
を基準とし、水平右方向をＸ軸の正方向、垂直下方向を
Ｙ軸の正方向としたとき、例えば、検出領域のＹ軸方向
が１５画素であり、濃度がしきい値Ｔ(i) 以上である画
素数がその１／２つまり、８画素以上が検出されたとき
に白線候補点が検出されたと判定するようにした場合に
は、濃度がしきい値Ｔ(i) 以上である画素数が最も多い
線分上における画素数が、８画素未満の場合には、この
白線候補点検出領域においては、白線候補点が検出され
なかったものと判定する。一方、濃度がしきい値Ｔ(i)
以上である画素数が最も多い線分上における画素数が８
画素以上の場合には、白線候補点が検出されたものとみ
なし、この線分の始点及び終点を白線候補点とする。そ
して、これら始点又は終点の何れか一方の位置座標
（Ｘ、Ｙ）を白線候補点とする。

【００５２】以上の処理を全ての白線候補点検出領域に
対して実行する。このようにして、白線候補点を検出す
ると、図４に戻ってステップＳ７に移行し、全ての白線
候補点検出領域で検出された白線候補点の総数が、規定
値以上かどうかを確認する。そして、白線候補点数が規
定値よりも少ない場合には白線候補点検出領域内に道路
白線が含まれていなかったと判断し、ステップＳ２に戻
る。このとき、ステップＳ２では、上記と同様にして白
線候補点検出領域の大きさの初期設定を再度行うが、例
えば、白線候補点検出領域の大きさをより大きく設定す
る等の処理を行う。

【００５３】一方、白線候補点の数が規定値以上検出さ
れた場合には、ステップＳ８に移行し、図１２に示すよ
うに、今回検出された白線候補点と、前回の処理実行時
に算出した白線モデル上の点とのＸ軸方向におけるずれ
量を、各白線候補点毎に算出する。そして、ステップＳ
９に移行し、各点のずれ量に基づいて、道路パラメータ
に関連づけた複数のパラメータａ〜ｅの変動量Δａ〜Δ
ｅを算出する。この変動量は、例えば、特開平８−５３
８８号公報に示されるように最小二乗法を用いて算出す
ればよい。

【００５４】なお、前記パラメータａ〜ｅは、次式（１
７）に示すように、関連付けられている。なお、ｆは、
撮像装置１の焦点距離である。ａ＝−ｙ_r／ｈｂ＝−ρｈｆ² ｃ＝φ_rｆｄ＝−ηｆｅ＝ｗ／ｈ ……（１７）そして、このようにしてパラメータの変動量Δａ〜Δｅ
を算出すると、ステップＳ１０に移行し、パラメータの
変動量Δａ〜Δｅをもとに次式（１８）にしたがって、
パラメータａ〜ｅを補正する。

【００５５】ａ＝ａ＋Δａｂ＝ｂ＋Δｂｃ＝ｃ＋Δｃｄ＝ｄ＋Δｄｅ＝ｅ＋Δｅ ……（１８）そして、このようにして補正したパラメータａ〜ｅを、
新たな白線モデルの道路パラメータに応じたパラメータ
ａ〜ｅとして所定の記憶領域に記憶した後ステップＳ３
に戻る。次に、上記実施の形態の動作を説明する。

【００５６】道路白線検出処理が起動されると、まず、
ステップＳ１で、道路パラメータの初期設定を行って、
例えば、自車両が車線中央位置に位置する場合に相当す
る値を初期値として設定し、ステップＳ２に移行して、
白線候補点検出領域の大きさの初期化を行い、例えば、
図７に示すように、左右の道路白線に対し、６個ずつ計
１２個の白線候補点検出領域を設定する。そして、ステ
ップＳ１で初期設定した道路パラメータに基づく白線モ
デルが、白線候補点検出領域の中央に位置するように、
ステップＳ２で設定した白線候補点検出領域を設定した
後（ステップＳ３）、撮像装置１から画像情報を入力す
る（ステップＳ４）。

【００５７】そして、この入力した画像情報に対し、ス
テップＳ３で設定した白線候補点検出領域において、白
線候補点の検出処理を行う（ステップＳ６）。まず、代
表検索ラインの設定を行い、例えば、図７に示すよう
に、各白線候補点検出領域の上辺と最下部の白線候補点
検出領域の下辺とを代表検索ラインとして設定する（ス
テップＳ２１）。図７の場合には、白線候補点検出領域
を左右各６個ずつ設定しているため、代表検索ライン
は、左右それぞれ７本ずつ設定されることになる。

【００５８】そして、各代表検索ラインについて、前記
（８）式を満足するパラメータａｉ及びｂｉを算出し、
左側道路白線に相当する代表検索ラインＹ（ｉ）ｉ＝０
〜６に基づいて、ｉ＝０の代表検索ラインとｉ＝１の代
表検索ラインとのパラメータａｉ及びｂｉに基づいてＹ
軸方向に補間処理が行われて、Ｙ座標に応じたパラメー
タＡ（Ｙ）及びＢ（Ｙ）が算出され、ｉ＝０の代表検索
ラインとｉ＝１の代表検索ラインとを上辺及び下辺とす
る白線候補点検出領域内の任意のラインのパラメータａ
ｉ及びｂｉが算出され、このパラメータａｉ及びｂｉと
前記（８）式とから、白線候補点検出領域内の任意のラ
インに属する画素の偏向輝度Ｐ_tendが得られ、白線候補
点検出領域について、偏向輝度Ｐ_tendからなる画像情報
が得られることになる。同様に、ｉ＝１及びｉ＝２の代
表検索ライン間でＹ軸方向に補間処理を行うことによ
り、ｉ＝１及びｉ＝２の代表検索ラインを上辺及び下辺
とする白線候補点検出領域内の画素の偏向輝度Ｐ_tendか
らなる画像情報を得ることができ、この処理を同様に行
うことによって、左側の道路白線に相当する白線候補点
検出領域の偏向輝度Ｐ_tendからなる画像情報が得られる
ことになる。同様に、右側の道路白線に相当する白線候
補点検出領域についても処理を行い、ｉ＝７〜１３の各
代表検索ライン間において補間処理を行うことによっ
て、右側の道路白線に相当する白線候補点検出領域の偏
向輝度Ｐ_tendからなる画像情報が得られることになる
（ステップＳ２４）。

【００５９】そして、各白線候補点検出領域毎に、撮像
装置１から入力した画像情報の各画素の輝度値から、対
応する各画素の、ステップＳ２４で得られた偏向輝度Ｐ
_tendを減算し、正規化輝度Ｐ_nomを算出する。これによ
って、正規化画像が得られる（ステップＳ２５）。そし
て、各白線候補点検出領域毎に、正規化画像に対して最
高輝度及び平均輝度を算出し（ステップＳ２６）、これ
に基づいて前記（１６）式から、輝度しきい値Ｔ(i) を
算出し（ステップＳ２７）、正規化画像において輝度が
輝度しきい値Ｔ(i) 以上の画素が規定数以上の線分であ
り且つその輝度がしきい値Ｔ(i) を超える画素数が最大
の線分を白線候補線分とする（ステップＳ２８）。そし
て、この白線候補線分の白線候補点検出領域における上
辺及び下辺位置における画素を白線候補点として選択す
る（ステップＳ２９）。

【００６０】そして、各白線候補点検出領域で検出した
白線候補点の総数が、規定値以上でないときには、道路
白線は検出されなかったとして再度白線候補点検出領域
の大きさの設定が行われ、これに基づいて再度白線候補
点の検出が行われる。そして、規定値以上の白線候補点
を検出することができたとき、この白線候補点と道路パ
ラメータで規定される白線モデル上の点とのずれ量が検
出され、これに基づいて、道路パラメータに関連づけら
れたパラメータの変動量Δａ〜Δｅが算出され、これに
基づいてパラメータが補正されこれに基づいて、新たな
道路パラメータが得られることになる（ステップＳ８〜
Ｓ１０）。

【００６１】そして、ステップＳ３に戻って、このよう
にして得られた道路パラメータに基づいて、この道路パ
ラメータで特定される白線モデルが領域の中心に位置す
るように、白線候補点検出領域の設定が行われ、新たな
画像情報が読み込まれ、以後、上記と同様にして道路パ
ラメータの補正が行われる。今、自車両が図１３（ａ）
に示すように水溜まり等のない光学的条件が良好な路面
を走行している場合には、光学的影響を受けないため、
撮像画像において、道路白線部分と道路白線以外の部分
とに輝度値が分かれることになる。

【００６２】したがって、撮像画像における輝度値に偏
りがないため、算出される偏向輝度Ｐ_tendは比較的小さ
な値となり、入力した撮像画像の輝度情報から、偏向輝
度Ｐ _tendを減算して得られる正規化画像は、図１３
（ｂ）、（ｃ）に示すように、ほぼ入力した撮像画像と
同等となり、このとき、道路白線部分と道路白線以外の
部分とでは明確に輝度値に差があるから、各白線候補点
検出領域毎に算出される、輝度の最大値は道路白線の輝
度に応じた値となり、また、輝度の平均値Ｐ_meanは、道
路白線以外の部分の輝度値よりの値となる。よって、こ
れらに基づいて算出されるしきい値Ｔ(i) は、道路白線
の輝度に比較して小さめの値に設定される。したがっ
て、このしきい値Ｔ(i) を基準として二値化処理を行う
ことによって、道路白線部分と、道路白線以外の部分と
が明確に二値に分離されることになり、これに基づいて
白線候補点を検出することによって、白線候補点を的確
に検出することができる。

【００６３】なお、図１３において、（ｂ）及び（ｃ）
は、（ａ）のｙ_j及びｙ_j+1位置におけるＸ軸方向の輝
度の変化状況を表したものであり、横軸はＸ座標、縦軸
は輝度を表す。一方、雨天時等水溜まりがある道路を走
行している場合には、自車両正面部や遠方ほど水の膜に
よる反射光が強いため、撮像画像の輝度部分布は、例え
ば図１４の（ａ）及び（ｂ）に示すようになり、白線部
分と水膜部分とで輝度値が同等となり分離されにくい。

【００６４】ここで、偏向輝度Ｐ_tendは、撮像画像の輝
度値を、Ｘ座標方向に関して一次関数を用いて近似して
いるため、偏向輝度画像は、空間的な輝度変化に対して
その高周波成分が除去されると共に、空間的な輝度の偏
りを輝度のドリフト成分として抽出した画像となる。し
たがって、入力した撮像画像から偏向輝度画像を減算す
ることによって得られる正規化輝度画像は、図１４の
（ｃ）に示すように、入力される画像情報に対し、輝度
の偏りを補正した画像として得られることになる。

【００６５】したがって、正規化輝度画像に基づいて、
白線候補点検出領域毎に輝度の最大値及び平均値を求
め、これに基づいてしきい値Ｔ(i) を設定すると、輝度
の平均値Ｐ_meanは、水たまり等による輝度の偏りによる
ドリフト成分の影響を受けない。つまり、入力画像にお
けるＸ軸方向の輝度値は水溜まりの影響を受けるため
に、図１４（ｂ）に示すように、道路白線部分と道路白
線以外の部分とを輝度値の変化から認識することは困難
である。

【００６６】しかしながら、Ｘ軸方向の輝度変化を一次
関数で近似し近似した一次関数から得られるドリフト分
を除去し、図１４（ｃ）に示すように、水たまり等によ
る輝度の偏りによるドリフト成分の影響を受けない正規
化画像に基づいて、しきい値を設定している。このと
き、水溜まりのエッジ位置における輝度値変化は、道路
白線のエッジ位置における輝度値の変化に比較して緩や
かであるため、Ｘ軸方向における輝度は、図１４（ｃ）
に示すように、道路白線部分では大きく、道路白線以外
の部分では比較的小さい。よって、輝度の平均値Ｐ_mean
は、輝度の最大値つまり道路白線部分に相当する輝度に
比較して小さい値となることから、道路白線以外の部分
における輝度よりの値となり、これに基づきしきい値Ｔ
(i) を算出すれば、しきい値Ｔ(i) は、輝度の最大値よ
りも小さな値となる。

【００６７】したがって、このようにして設定したしき
い値Ｔ(i) を用いて、正規化輝度画像に基づいて白線候
補点を検出することによって、水溜まり等の影響を受け
ることなく、的確に道路白線に相当する白線候補点を検
出することができる。このため、白線候補点の検出精度
を向上させることができ、白線候補点に基づいて算出さ
れる道路パラメータの検出精度も向上させることができ
る。また、このとき、偏向輝度画像を一次関数に近似す
るようにしているから、近似する際に必要となる未知の
パラメータは、ａ(i) とｂ(i) とだけでよい。このた
め、演算負荷の増大を最大限抑制することができる。

【００６８】また、偏向輝度の近似関数である前記
（８）式を特定するパラメータａｉ及びｂｉを全てのラ
インについて検出するのではなく、代表検索ラインにつ
いてのみパラメータａｉ及びｂｉを検出し、これら代表
検索ライン間のラインについては、代表検索ラインのパ
ラメータａｉ及びｂｉ間を補間することによって検出す
るようにしているから、その分、演算時間の短縮を図る
ことができると共に、連続性を確保することができる。

【００６９】また、各ラインについて、パラメータａｉ
及びｂｉのみを記憶しておけば、任意の画素における正
規化輝度を容易に検出することができるから、偏向輝度
画像及び正規化輝度画像は、道路白線検出処理を行う際
にその処理過程で容易に算出することができる。よっ
て、処理を簡略化することができ、演算時間の短縮を図
ることができると共に、記憶領域の節約を図ることがで
きる。なお、上記実施の形態において、車両前方に水溜
まり等がある場合には、車両正面部ほどその反射光が強
いことから、車線中央部よりも車線よりの部分の方が輝
度が小さくなるとみなすことができ、すなわち、左側道
路白線の検出領域においては、その輝度はＸ座標が正方
向に大きくなるほど増加し、逆に右側道路白線の検出領
域においては、その輝度はＸ座標が負方向に大きくなる
ほど輝度は小さくなるとみなすことができる。したがっ
て、前記（８）式のパラメータａｉ及びｂｉは、前記図
１０に示すように、左側の道路白線検出領域において
は、正値となり逆に右側の道路白線検出領域において
は、負値となる。

【００７０】したがって、左側道路白線に相当する代表
検索ラインの場合には、前記（８）式を満足すると共
に、前記（８）式が単調増加関数となるように前記パラ
メータａｉ及びｂｉを設定し、逆に、右側道路白線に相
当する代表検索ラインの場合には、前記（８）式を満足
すると共に、前記（８）式が単調減少関数となるように
前記パラメータａｉ及びｂｉを設定するようにしてもよ
い。このようにすることによって、例えば、撮像画像輝
度のＸ軸方向の輝度の分布に極値がある場合に、この極
値の影響によって、誤ったパラメータａｉ及びｂｉが設
定されることを防止することができる。

【００７１】また、上記実施の形態においては、代表検
索ラインについてパラメータａｉ及びｂｉを検出して近
似関数を検出し、これら代表検索ライン間のラインにつ
いては、代表検索ラインのパラメータａｉ及びｂｉ間を
補間することによって近似関数を検出し、この近似関数
に基づいて各ライン毎に偏向輝度を算出するようにした
場合について説明したが、これに限るものではない。例
えば、代表検索ラインについて近似関数を検出しこれに
基づいて代表検索ラインの偏向輝度を算出し、各代表検
索ラインの偏向輝度間を補間することによって、代表検
索ライン間の偏向輝度を検出するようにしてもよい。

【００７２】また、代表検索ラインについてのみ近似関
数を検出して、近似関数のパラメータを補間して代表検
索ライン間の複数のラインについて近似関数を検出し、
代表検索ラインの近似関数と、代表検索ラインの近似関
数を補間して得た、代表検索ライン間のラインの近似関
数と、をもとに、これら各ラインについて偏向輝度を算
出し、算出した偏向輝度間を補間することによって、白
線候補点検出領域内の各ラインの偏向輝度を検出するよ
うにしてもよい。

【００７３】また、上記実施の形態において、近似関数
の傾きが十分小さい場合、つまり、偏向輝度画像の輝度
の変化が小さい場合には、光学的な条件が良好と判断
し、正規化輝度画像を算出せずに、入力された画像情報
に基づいてしきい値を設定するようにしてもよい。この
ようにすることによって、平均輝度値と輝度最大値とが
接近しすぎることを回避することができ、光学的条件が
良好なときの白線候補点の検出精度の低下を防止するこ
とができる。

【００７４】また、上記実施の形態においては、偏向輝
度画像の近似関数を一次関数すなわち直線とした場合に
ついて説明したが、これに限るものではなく、単調な関
数、すなわち、極値を持たない関数に近似することも可
能である。このような極値を持たない、単調な関数とし
て、例えば、次式（１９）で表される図１５に示すよう
な関数を用いることも可能である。Ｐ（Ｘ）＝ｂ×（１−ｅ^-X/a）＋ｃ ……（１９）なお、前記（１９）式を用いて偏向輝度画像の近似を行
う場合、算出しなければならない未知のパラメータが、
ａ，ｂ，ｃの３個となるため、演算負荷は直線近似を行
う場合に比較して多少増加する。しかしながら、近似関
数として曲線を用いることが可能なため、より精度の高
い近似を行うことができる。よって、輝度の偏り傾向が
Ｘ軸方向に曲線的に遷移するような場合に有効である。

【００７５】また、上記実施の形態においては、ステッ
プＳ２７の処理で算出した輝度しきい値をもとに、ステ
ップＳ２８の処理で、正規化輝度画像に対して２値化処
理を行い、この２値化処理した正規化輝度画像に対して
白線候補線分の抽出を行うようにした場合について説明
したが、これに限るものではなく、正規化輝度画像に対
し２値化処理を行わずに白線候補線分の抽出を行うよう
にしてもよい。また、上記実施の形態において、撮像装
置１からの画像情報に対し、ソーベルフィルタ処理を行
うこと等によって微分演算を行って、道路白線の境界付
近が強調された微分画像を生成し、ステップＳ２８での
白線候補線分抽出処理において、正規化画像を用いて白
線の境界位置を検出する前に、原画像の空間的な輝度変
化に相当する微分画像の濃度値の大小に基づいて、白線
と思われる部分をより精密に限定した後に、白線候補線
分の抽出処理を行うようにしてもよい。このようにする
ことによって、白線検出領域内の線分抽出処理に必要な
演算量を削減し、演算時間の短縮を図ることができる。

【００７６】また、上記実施の形態においては、正規化
画像において設定された検出領域における最大輝度と平
均輝度とに基づいてしきい値を決定し、このしきい値に
基づいて白線候補点を検出するようにした場合について
説明したが、これに限るものではなく、輝度情報に基づ
いて道路白線を認識するようにした方法であれば、どの
ような方法であっても適用することができる。ここで、
上記実施の形態において、撮像装置１が撮像手段に対応
し、図５のステップＳ２１〜Ｓ２３の処理が偏向輝度検
出手段に対応し、ステップＳ２４の処理が正規化輝度情
報検出手段に対応し、ステップＳ２５〜Ｓ２９及び図４
の７〜ステップＳ１０の処理が道路白線検出手段に対応
し、ステップＳ２７〜Ｓ２９の処理が白線候補点検出手
段に対応している。

【図面の簡単な説明】

【図１】本発明を適用した、道路白線認識装置の一例を
示す概略構成図である。

【図２】図１の撮像装置の取付位置を説明するための説
明図である。

【図３】図１の処理装置の機能構成を示すブロック図で
ある。

【図４】本発明の実施の形態における道路白線検出処理
の処理手順の一例を示すフローチャートである。

【図５】図４中の白線候補点検出処理の処理手順の一例
を示すフローチャートである。

【図６】道路白線モデルを説明するための説明図であ
る。

【図７】白線候補点検出領域の初期設定方法を説明する
ための説明図である。

【図８】すでに道路白線が検出されている場合の、白線
候補点検出領域の設定方法を説明するための説明図であ
る。

【図９】撮像した撮像画像上における白線候補点検出領
域の設定方法を説明するための説明図である。

【図１０】一次関数に近似した場合の、パラメータの補
間処理を説明するための説明図である。

【図１１】白線候補点の検出方法を説明するための説明
図である。

【図１２】今回検出した白線モデルと前回検出時の白線
モデルとのずれ量を説明するための説明図である。

【図１３】本発明の動作説明に供する説明図である。

【図１４】本発明の動作説明に供する説明図である。

【図１５】近似関数のその他の一例である。

【図１６】従来の動作説明に供する説明図である。

【符号の説明】

１撮像装置１０処理装置１１道路白線検出部１２道路パラメータ演算部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 3/00 ５００Ｇ０６Ｔ 7/60 ２００Ｊ 7/60 ２００Ｇ０８Ｇ 1/16 ＣＧ０８Ｇ 1/16 Ｇ０１Ｂ 11/24 ＫＦターム(参考） 2F065 BB12 CC40 DD04 DD09 FF04 HH08 HH12 JJ03 JJ26 QQ04 QQ08 QQ17 QQ18 QQ24 QQ29 QQ31 QQ42 5B057 AA16 BA30 CA08 CA12 CA16 CB12 CD06 CF05 CH01 DA07 DB09 DC22 5H180 AA01 CC04 CC24 LL01 LL02 LL04 5L096 AA06 BA04 CA02 EA12 EA33 FA14 FA32 FA69 GA51

Claims

【特許請求の範囲】

【請求項１】車両前方の道路を撮像する撮像手段と、前記撮像手段で撮像した撮像画像の輝度情報を路面本来
の輝度情報と当該路面本来の輝度情報を除く偏向輝度情
報とで表したときの前記偏向輝度情報を、前記輝度情報
を前記撮像画像の水平方向に近似して得た近似関数に基
づいて検出する偏向輝度検出手段と、前記輝度情報から前記偏向輝度情報を除去して正規化輝
度情報を検出する正規化輝度情報検出手段と、当該正規化輝度情報検出手段で検出した正規化輝度情報
に基づいて道路白線の検出を行う道路白線検出手段と、
を備えることを特徴とする道路白線認識装置。
【請求項２】車両前方の道路を撮像する撮像手段と、前記撮像手段で撮像した撮像画像の輝度情報を路面本来
の輝度情報と当該路面本来の輝度情報を除く偏向輝度情
報とで表したときの前記偏向輝度情報を、前記輝度情報
を前記撮像画像の水平方向に近似して得た近似関数に基
づいて検出する偏向輝度検出手段と、前記輝度情報から前記偏向輝度情報を除去して正規化輝
度情報を検出する正規化輝度情報検出手段と、当該正規化輝度情報検出手段で検出した正規化輝度情報
に基づいて道路白線を検出するためのしきい値を設定
し、当該しきい値と前記正規化輝度情報とに基づいて道
路白線の白線候補点を検出する白線候補点検出手段と、当該白線候補点検出手段で検出した白線候補点に基づい
て道路白線を検出する道路白線検出手段と、を備えるこ
とを特徴とする道路白線認識装置。
【請求項３】前記偏向輝度検出手段は、前記撮像画像
の水平方向のラインのうちの隣接しない複数のラインを
代表ラインとして当該代表ライン毎に前記近似関数を検
出し、当該代表ライン間のラインにおける近似関数を、
前記代表ラインの近似関数を特定するパラメータ間を補
間して検出するようになっていることを特徴とする請求
項１又は２記載の道路白線認識装置。
【請求項４】前記偏向輝度検出手段は、前記撮像画像
の水平方向のラインのうちの隣接しない複数のラインを
検索ラインとし、当該検索ライン毎に前記近似関数に基
づき前記偏向輝度を検出し、前記検索ライン間のライン
における偏向輝度を、前記検索ラインの偏向輝度間を補
間して検出するようになっていることを特徴とする請求
項１乃至３の何れかに記載の道路白線認識装置。
【請求項５】前記偏向輝度検出手段は、前記撮像画像
において、右側の道路白線を検出するための領域と左側
の道路白線とを検出するための領域とを設定し、当該領
域毎に前記近似関数を検出し、前記撮像画像の水平右方向にその位置座標が大きくなる
ものとしたとき右側の道路白線を検出するための領域で
は、前記近似関数として単調減少関数を設定し、左側の
道路白線を検出するための領域では、前記近似関数とし
て単調増加関数を設定することを特徴とする請求項１乃
至４の何れかに記載の道路白線認識装置。
【請求項６】前記近似関数は、一次関数であることを
特徴とする請求項１乃至５の何れかに記載の道路白線認
識装置。