JP6404748B2 - 走行区画線認識装置 - Google Patents

Description

本発明は、車載カメラにより撮影された画像に基づいて、道路の走行区画線を認識する走行区画線認識装置に関する。

車載カメラにより撮影された画像に基づいて走行区画線を認識する装置において、雪道等の走行区画線を認識しにくい道路環境では、走行区画線の認識を抑制する技術や、認識された走行区画線を用いた制御を抑制する技術が提案されている。

例えば、特許文献１に記載の車線境界線検出装置では、雪轍尤度に基づいて、道路が轍の形成された雪道であるか否か判定している。そして、上記車線境界線検出装置は、轍の形成された雪道であると判定された場合に、走行区画線の検出、検出された走行区画線の出力、及び検出された走行区画線を用いた制御を抑制している。

特開２０１３−２５０８７４号公報

上記車線境界線検出装置では、雪轍の判定を安定して行うために、雪轍尤度を、雪轍尤度の履歴を用いて算出している。そのため、道路環境が改善して、急に明瞭な走行区画線が出現しても、走行区画線が認識されて走行支援制御に用いられるまでにタイムラグが発生し、ユーザに違和感を与えることになる。

本発明は、上記実情を鑑み、走行区画線の認識結果が出力される状態の維持性を向上させることが可能な走行区画線認識装置を提供することを主たる目的とする。

請求項１に記載の発明は、上記課題を解決するため、車両に搭載されたカメラにより撮影された画像から、道路の車線を区画する走行区画線の候補である区画線候補を抽出し、抽出した前記区画線候補を前記走行区画線として認識する走行区画線認識装置であって、前記画像から抽出した前記区画線候補の前記走行区画線らしさを判定する第１判定手段と、前記画像から抽出した前記区画線候補の前記走行区画線らしさを判定する第２判定手段と、複数のフレームの前記画像から、前記走行区画線の認識を妨げる前記道路の路面状態の乱雑さを判定する路面判定手段と、前記路面判定手段により前記路面状態が乱雑でないと判定され、且つ、前記第１判定手段により前記区画線候補が前記走行区画線らしいと判定された場合に、前記区画線候補を前記走行区画線として認識した認識結果を出力し、前記路面判定手段により前記路面状態が乱雑であると判定された場合に、前記認識結果の出力を停止又は保留する出力手段と、を備え、前記第２判定手段は、前記走行区画線の明瞭さに関する前記走行区画線の特徴量を含む前記特徴量に基づいて前記走行区画線らしさを判定するものであり、且つ、前記走行区画線らしさを判定する際の瞬時的な判定条件が、前記第１判定手段よりも厳しいものであり、前記第２判定手段により前記区画線候補が前記走行区画線らしいと判定されたことを条件として、前記路面判定手段により前記路面状態が乱雑であると判定された状態から乱雑でないと判定された状態へ遷移させやすくする、又は、前記路面判定手段により前記路面状態が乱雑であると判定されていても、前記出力手段により前記認識結果を出力させる。

請求項１に記載の発明によれば、第１判定部により、抽出された区画線候補の走行区画線らしさが判定される。さらに、第２判定部により、明瞭さに関する特徴量を含む特徴量に基づいて、第１判定部よりも厳しい瞬時的な判定条件を用いて、区画線候補の走行区画線らしさが判定される。また、路面判定手段により、複数のフレームの画像から、道路の路面状態の乱雑さが判定される。

そして、路面判定手段により路面状態が乱雑でないと判定され、且つ、第１判定手段により区画線候補が走行区画線らしいと判定された場合には、区画線候補を走行区画線として認識した認識結果が出力される。よって、路面状態が走行区画線の認識を妨げる状態でない場合には、認識結果を制御に用いることができる。また、路面判定手段により路面状態が乱雑であると判定された場合には、認識結果が出力されない。よって、路面状態が走行区画線の認識を妨げる状態の場合には、誤認識のおそれがある認識結果が制御に用いられることを抑制できる。

また、第２判定部により、区画線候補が走行区画線らしいと判定された場合に限って、路面状態が乱雑であると判定された状態から乱雑でないと判定された状態へ遷移されやすくされる、又は、路面状態が乱雑であると判定されていても、認識結果が出力される。よって、乱雑な路面状態から急に明瞭な走行区画線が出現した場合には、走行区画線の認識結果が出力されない状態から、認識結果が出力される状態へ早急に移行できる。ひいては、認識結果が出力される状態をより長く維持することができる。

また、請求項２に記載の発明は、車両に搭載されたカメラにより撮影された画像から、道路の車線を区画する走行区画線の候補である区画線候補を抽出し、抽出した前記区画線候補を前記走行区画線として認識する走行区画線認識装置であって、前記画像から抽出した前記区画線候補の前記走行区画線らしさを判定する第１判定手段と、前記画像から抽出した前記区画線候補の前記走行区画線らしさを判定する第２判定手段と、前記区画線候補を前記走行区画線として認識した認識結果と異常閾値との比較に基づいて、前記認識結果が異常であることを判定する異常判定手段と、前記第１判定手段により前記区画線候補が前記走行区画線らしいと判定され、且つ前記異常判定手段により異常でないと判定された場合に、前記区画線候補を前記走行区画線として認識した認識結果を出力し、前記異常判定手段により異常であると判定された場合に、前記認識結果の出力を停止又は保留する出力手段と、を備え、前記第２判定手段は、前記走行区画線の明瞭さに関する前記走行区画線の特徴量を含む前記特徴量に基づいて前記走行区画線らしさを判定するものであり、且つ、前記走行区画線らしさを判定する際の瞬時的な判定条件が、前記第１判定手段よりも厳しいものであり、前記異常判定手段は、前記第２判定手段により判定された前記走行区画線らしさが高いほど、前記認識結果が異常であると判定しにくくするように前記異常閾値を変更させる。

請求項２に記載の発明によれば、第１判定部により、抽出された区画線候補の走行区画線らしさが判定される。さらに、第２判定部により、明瞭さに関する特徴量を含む特徴量に基づいて、第１判定部よりも厳しい瞬時的な判定条件を用いて、区画線候補の走行区画線らしさが判定される。また、異常判定手段により、区画線候補を走行区画線として認識した認識結果と異常閾値との比較に基づいて、認識結果が異常であることが判定される。

そして、第１判定手段により区画線候補が走行区画線らしいと判定され、且つ、異常判定手段により認識結果が異常でないと判定された場合に、区画線候補を走行区画線として認識した認識結果が出力される。よって、認識結果が正常と判定された場合には、認識結果を制御に用いることができる。また、異常判定手段により認識結果が異常と判定された場合には、認識結果が出力されない。よって、認識結果が異常と判定された場合には、認識結果が制御に用いられることを抑制できる。

さらに、第２判定手段により判定された区画線候補の走行区画線らしさが高いほど、認識結果が異常であると判定されにくくなるように、異常閾値が変更させられる。よって、明瞭な走行区画線が見られるような場合には、走行区画線を誤認識するおそれが低いので、異常閾値を厳しくして、走行区画線の認識結果の出力が停止又は保留されにくくされる。よって、明瞭な走行区画線が見られるような場合には、走行区画線の認識結果の出力を維持することができる。

また、請求項３に記載の発明は、車両に搭載されたカメラにより撮影された画像から、道路の車線を区画する走行区画線の候補である区画線候補を抽出し、抽出した前記区画線候補を前記走行区画線として認識する走行区画線認識装置であって、前記画像から抽出した前記区画線候補の前記走行区画線らしさを判定する第１判定手段と、前記画像から抽出した前記区画線候補の前記走行区画線らしさを判定する第２判定手段と、前記区画線候補から前記走行区画線の状態を表すパラメータを算出して、前記区画線候補を前記走行区画線として認識する認識手段と、前記認識手段により算出された前記パラメータが異常であることを判定する異常判定手段と、前記異常判定手段により異常であると判定された場合、及び前記認識手段により前記パラメータが算出されなくなった場合に、前記異常判定手段により異常でないと判定されていたときの前記パラメータに基づいて、前記パラメータを予測する予測手段と、前記第１判定手段により前記区画線候補が前記走行区画線らしいと判定され、且つ前記異常判定手段により異常でないと判定された場合に、前記認識手段により算出された前記パラメータを出力するとともに、前記異常判定手段により異常であると判定された場合、及び前記認識手段により前記パラメータが算出されなくなった場合に、所定時間継続して、前記予測手段により予測された前記パラメータを出力し、その後、前記予測手段により予測された前記パラメータの出力を停止する出力手段と、を備え、前記第２判定手段は、前記走行区画線の明瞭さに関する前記走行区画線の特徴量を含む前記特徴量に基づいて前記走行区画線らしさを判定するものであり、且つ、前記走行区画線らしさを判定する際の瞬時的な判定条件が、前記第１判定手段よりも厳しいものであり、前記出力手段は、前記認識手段により前記パラメータが算出されていたときに前記第２判定手段により判定された前記走行区画線らしさが高いほど、前記所定時間を長くする。

請求項３に記載の発明によれば、第１判定部により、抽出された区画線候補の走行区画線らしさが判定される。さらに、第２判定部により、明瞭さに関する特徴量を含む特徴量に基づいて、第１判定部よりも厳しい瞬時的な判定条件を用いて、区画線候補の走行区画線らしさが判定される。また、区画線候補から走行区画線の状態を表すパラメータが算出されて、区画線候補が走行区画線として認識される。また、異常判定手段により算出されたパラメータの異常が判定される。さらに、異常判定手段により算出されたパラメータが異常であると判定された場合、及びパラメータが算出されなくなった場合に、異常判定手段により正常であると判定されていたときのパラメータに基づいて、パラメータが予測される。

そして、第１判定手段により区画線候補が走行区画線らしいと判定され、且つ、異常判定手段により算出されたパラメータが正常と判定された場合に、算出されたパラメータが出力される。また、異常判定手段により、算出されたパラメータが異常であると判定された場合、及び、認識手段によりパラメータが算出されなくなった場合には、所定時間継続して、予測されたパラメータが出力され、その後、予測されたパラメータの出力が停止される。この所定時間は、第２判定手段により判定された区画線候補の走行区画線らしさが高いほど、長くされる。よって、明瞭な走行区画線が見られるような場合には、予測パラメータの精度が高いので、予測パラメータの出力時間を長くして、パラメータの出力を維持することができる。

車載カメラの搭載位置を示す図。 第１実施形態に係る白線認識装置の機能を示すブロック図。 急に明瞭な白線が出現した路面を示す図。 急に明瞭な白線が出現した路面を示す鳥瞰図。 きれいな路面を示す図。 雪が積もった路面を示す図。 濡れた路面を示す図。 白線パラメータを出力する処理手順を示すフローチャート。 白線らしさを算出する第２処理手順を示すサブルーチン。 白線らしさを算出する第１処理手順を示すサブルーチン。 第２実施形態に係る白線認識装置の機能を示すブロック図。 第３実施形態に係る白線認識装置の機能を示すブロック図。

以下、走行区画線認識装置を具現化した各実施形態について、図面を参照しつつ説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。

（第１実施形態）
まず、図１及び図２を参照して、本実施形態に係る走行区画線認識装置について説明する。本実施形態に係る走行区画線認識装置は、車載カメラ１０により撮影された前方画像から、車線の左右を区画する白線（走行区画線）を認識して、認識結果を走行支援装置３０へ出力する車載装置である。本実施形態に係る走行区画線認識装置は、ＥＣＵ２０により構成されている。なお、本実施形態では、白色以外の黄色等の走行区画線も白線に含める。

車載カメラ１０は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の少なくとも１つから構成されている。図１に示すように、車載カメラ１０は、例えば車両５０のフロントガラスの上端付近に搭載されており、車両前方へ向けて所定角度範囲で広がる領域を撮影する。すなわち、車載カメラ１０は、車両５０の前方の道路を含む周辺環境を撮影する。

走行支援装置３０は、ＥＣＵ２０から出力された白線の認識結果に基づいて、車線の逸脱を警報する逸脱警報装置や、運転支援を行う運転支援装置である。走行支援装置３０は、逸脱警報装置である場合、ディスプレイ、スピーカ、バイブレータ等のヒューマンマシンインターフェースとして構成され、車両５０が車線を逸脱する際に、運転者に警報を出力する。また、走行支援装置３０は、運転支援装置である場合、操舵アクチュエータや制動アクチュエータとして構成され、車両５０の操舵制御やブレーキ制御を行う。

ＥＣＵ２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ及び記憶装置等を備えたコンピュータである。ＣＰＵが、ＲＯＭに記憶されている各種プログラムを実行することにより、第１判定部２１、第２判定部２２、路面判定部２３、認識部２４及び出力部２５の各機能を実現する。

第１判定部２１（第１判定手段）及び第２判定部２２（第２判定手段）は、車載カメラ１０により撮影された前方画像から白線候補（区画線候補）を抽出し、抽出した白線候補の白線らしさを判定する。第１判定部２１及び第２判定部２２は、白線候補が白線の特徴量を備えている度合に基づいて、白線候補の白線らしさを判定する。

第１判定部２１は、外乱等による誤認識を抑制するため、安定して出現する白線に対応する白線候補を、白線らしいと判定するものである。そのため、図３及び図４に示すように、雪で車線の右側の白線が隠れている状態から、急に積雪がなくなり明瞭な白線が出現する状態になった場合に、明瞭な白線が出現してから、第１判定部２１が明瞭な白線に対応する白線候補を白線らしいと判定するまでには、タイムラグが発生する。

しかしながら、明瞭な白線が路面に見えている場合は、白線を誤認識するおそれが低いので、明瞭な白線を直ちに認識して、走行支援装置３０の制御に用いることが望ましい。そこで、本実施形態では、第１判定部２１以外に、第２判定部２２により白線候補の白線らしさを判定する。第２判定部２２は、急に路面状態が回復して明瞭な白線が突然現れた場合に、現れた白線に対応する白線候補を、直ちに白線らしいと判定するものである。なお、明瞭な白線とは、路面と白線とのコントラストが高く、白線の左右のエッジの向きが同じ方向で、且つ左右のエッジの向きが進行方向の手前側と奥側とで一貫しており、かすれていたり、排ガス等で汚れていたりしていない白線である。

詳しくは、第２判定部２２は、主として明瞭さに関する白線の特徴量に基づいて、白線らしさを判定する。第２判定部２２が白線らしさを判定する際に用いる白線の特徴量としては、道路の路面に対するコントラスト（路面の輝度に対する白線の輝度比）、コントラストの変化量、及び左右のエッジの向きとその一貫性の少なくとも一つである。また、明瞭な白線に対応する白線候補は、色、太さ、輝度に、進行方向の手前側と奥側とで一貫性がある。また、明瞭な白線に対応する白線候補は、左右のエッジに含まれるエッジ点数が均等であり、実線や破線等の線種が変更しにくいとともに、直線やカーブ等の形状の変動が小さい。よって、第２判定部２２は、白線の特徴量として、さらに、色の均一性、太さの一貫性、太さの変化の一貫性、輝度の一貫性、輝度の変化の一貫性、左右のエッジに含まれるエッジ点数の均等性、白線の線種、線種の変化、形状、及び形状の変化を用いてもよい。

一方、第１判定部２１は、白線の特徴量として、車線幅の一貫性、車線幅の変化量の一貫性、及び連続距離（１本の白線候補の長さ）の少なくとも一つを用いて、白線候補の白線らしさを判定する。上記三つの特徴量は、白線の連続性に関する特徴量であるため、第１判定部２１のみが、上記三つの特徴量を白線らしさの判定に用い、第２判定部２２は、上記三つの特徴量を白線らしさの判定に用いない。第１判定部２１は、さらに、第２判定部２２が用いる白線の特徴量の少なくとも一つを用いる。

ここで、第２判定部２２は、白線候補の白線らしさを判定する際の瞬時的な判定条件、すなわち継続時間以外の判定条件が、第１判定部２１よりも厳しい。例えば、白線の特徴量をコントラストとした場合、第２判定部２２は、コントラストが閾値１７０％を超えた場合に、コントラストについて、白線候補が白線らしいと判定する。一方、第１判定部２１は、コントラストが閾値１１０％を超えた場合に、コントラストについて白線らしいと判定する。また、白線の特徴量をエッジの向きの一貫性とした場合、第２判定部２２は、エッジの向きのばらつきがＶａ未満の場合に、エッジの向きの一貫性について白線らしいと判定する。一方、第１判定部２１は、エッジの向きのばらつきがＶｂ（Ｖｂ＞Ｖａ）未満の場合に、エッジの向きの一貫性について白線らしいと判定する。

そして、第２判定部２２は、複数の特徴量について白線候補の白線らしさを判定し、所定数以上の特徴量について白線らしいと判定した場合に、白線候補が白線らしいと判定する。同様に、第１判定部２１も、所定数以上の特徴量について白線らしいと判定した場合に、白線候補が白線らしいと判定する。

あるいは、例えば、白線の特徴量をコントラストとした場合、第２判定部２２は、コントラストが１７０％のときの白線らしさ（白線尤度）をＸ％とし、コントラストが高くなるほど白線らしさを高く算出する。白線らしさは、連続的な値として算出してもよいし、段階的な値として算出してもよい。一方、第１判定部２１は、コントラストが１１０％のときの白線らしさをＸ％とし、コントラストが高くなるほど白線らしさを高く算出する。また、白線の特徴量をエッジの向きの一貫性とした場合、第２判定部２２は、エッジの向きのばらつきがＶａのときの白線らしさをＸ％とし、エッジの向きのばらつきが小さくなるほど白線尤度を高く算出する。一方、第１判定部２１は、エッジの向きのばらつきがＶｂのときの白線らしさをＸ％とし、エッジの向きのばらつきが小さくなるほど白線尤度を高く算出する。

すなわち、特徴量を備えている度合が所定の白線候補について、第２判定部２２は、第１判定部２１よりも、白線らしさを低く算出する。そして、第１判定部２１及び第２判定部２２は、それぞれ、特徴量ごとに算出した白線らしさを統合して、統合した白線らしさが閾値を超えた場合に、白線候補を白線らしいと判定する。

さらに、第２判定部２２は、第１判定部２１よりも短い時間で、白線らしさを判定する。詳しくは、第１判定部２１は、複数のフレームの画像に基づいて、車線幅を含む白線の特徴量を学習する学習部２１ａ（学習手段）を有する。そして、第１判定部２１は、学習部２１ａにより学習された白線の特徴量に基づいて、白線候補の白線らしさを判定する。一方、第２判定部２２は、瞬時的な画像、又は第１判定部２１よりも少ないフレーム数の画像から算出した白線の特徴量に基づいて、白線候補の白線らしさを判定する。さらに、学習部２１ａは、第２判定部２２により判定された白線らしさが高いほど、白線の特徴量の学習速度を速くする。

認識部２４（認識手段）は、第１判定部２１又は第２判定部２２により白線候補が白線らしいと判定された場合に、その白線候補を白線として認識する。具体的には、認識部２４は、所定の白線モデルを用いた拡張カルマンフィルタ等により、白線らしいと判定された白線候補の白線パラメータを算出する。白線パラメータは、車線の曲率、車線のオフセット位置、車線幅、ヨー角、ピッチ角等である。

路面判定部２３（路面判定手段）は、複数のフレームの画像から、白線の認識を妨げる道路の路面状態の乱雑さを判定する。図５に示すように、外乱要因存が在せず、明瞭な白線が見られる路面では、白線を誤認識するおそれが低い。また、図６に示すように、雪が積もっている路面や、図７に示すように、雨で濡れて光が反射している路面では、白線を誤認識するおそれが高い。よって、路面判定部２３は、雪が積もっていたり雨で濡れていたりして荒れた路面の状態を、乱雑であると判定する。

具体的には、路面判定部２３は、路面の乱雑さを表す特徴量と閾値とを比較して、路面が乱雑か否かを判定する。例えば、積雪で白線が隠れている路面では、白線のロストの繰り返し頻度が高くなる。また、雨で濡れて光っている路面では、白線パラメータの変動が大きくなる。路面判定部２３は、認識部２４により算出された白線パラメータの時間的な変動の大きさや、変動の頻度、白線の認識再開やロストの繰り返し頻度、エッジ点の並び方、路面に対する白線候補のコントラスト変化等と閾値を比較して、路面状態が乱雑か否かを判定する。路面判定部２３は、複数のフレームの画像における各特徴量の平均値を算出し、算出した各特徴量の平均値を用いて、乱雑さを判定する。

さらに、路面判定部２３は、センサ群１１により取得された情報を用いて、路面状態の乱雑さを判定してもよい。センサ群１１は、ＧＰＳ受信機及び地図情報が記憶された記憶装置、車輪速センサ、ジャイロセンサ、路車間通信装置等である。例えば、路面判定部２３は、現在位置の地図情報から、高速道路、一般道、山道等の道路の属性を取得し、山道の場合に乱雑であると判定する。また、路面判定部２３は、車輪速センサ及びジャイロセンサの検出値から、車両５０の揺れや横滑りを検出した場合に、乱雑であると判定する。また、路面判定部２３は、路車間通信装置から、積雪や降雨の情報を取得した場合に、乱雑であると判定する。

出力部２５（出力手段）は、路面判定部２３により路面状態が乱雑でないと判定され、且つ、第１判定部２１により白線候補が白線らしいと判定された場合に、認識部２４による認識結果、すなわち白線パラメータを、走行支援装置３０へ出力する。また、出力部２５は、路面判定部２３により路面状態が乱雑であると判定された場合に、白線パラメータの出力を停止又は保留する。

ただし、出力部２５は、第２判定部２２により白線候補が白線らしいと判定された場合に限って、路面判定部２３により路面状態が乱雑であると判定されていても、白線パラメータを出力する。この場合、出力部２５は、第２判定部２２により白線候補が白線らしいと判定されたことを条件として、第１判定部２１による白線らしさの判定結果に関わらず、白線パラメータを出力する。

次に、白線パラメータを出力する処理手順について、図８のフローチャートを参照して説明する。本処理手順は、車載カメラ１０により１フレームの画像が撮影された都度、ＥＣＵ２０が実行する。

まず、車載カメラ１０により撮影された画像の情報を取得する（Ｓ１０）。続いて、Ｓ１０で取得した画像情報に基づいて、白線らしさ判定２を実施する（Ｓ２０）。すなわち、第２判定部２２により、白線候補の白線らしさを判定する。白線らしさ判定２の詳細については、後で述べる。続いて、Ｓ１０で取得した画像情報、及び過去に取得した複数のフレームの画像情報に基づいて、白線らしさ判定１を実施する（Ｓ３０）。すなわち、第１判定部２１により、白線候補の白線らしさを判定する。白線らしさ判定１の詳細については、後で述べる。

続いて、Ｓ１０で取得した画像情報、過去に取得した複数のフレームの画像情報、及びセンサ群１１により取得された情報に基づいて、路面状態の乱雑さを判定する（Ｓ４０）。

続いて、Ｓ２０又はＳ３０で白線候補が白線らしいと判定した場合に、白線候補を白線と認識して、白線パラメータを算出する（Ｓ５０）。

続いて、Ｓ４０で路面状態が乱雑でないと判定し、且つＳ３０で白線候補が白線らしいと判定した場合、又は、Ｓ２０で白線候補が白線らしいと判定した場合に、Ｓ５０で算出した白線パラメータを出力する。以上で、本処理を終了する。

次に、第２判定部２２による第２白線らしさ判定について、図９のサブルーチンを参照して説明する。ここでは、白線の特徴量を、色の均一性、路面に対する白線のコントラスト、エッジの向きの一貫性、左右のエッジに含まれるエッジ点数の均等性、太さの一貫性とする。

まず、取得した画像情報から、周知の算出式を用いて色を算出する（Ｓ２１）。続いて、取得した画像情報から、周知の算出式を用いて輝度値を算出する（Ｓ２２）。

続いて、Ｓ２２で算出した輝度値を用いて、路面に対する白線候補のコントラスト、すなわち路面に対する白線候補の輝度比を算出する（Ｓ２３）。続いて、Ｓ２２で算出した輝度値を用いて、白線候補の左右のエッジを算出する（Ｓ２４）。詳しくは、画像を水平方向に走査して、輝度が大きく変化するエッジ点を抽出し、抽出したエッジ点にハフ変換等を適用して、左右のエッジを算出する。

続いて、Ｓ２４で算出した白線候補の左右のエッジについて、それぞれ含まれるエッジ点数を算出する（Ｓ２５）。続いて、Ｓ２４で算出した左右のエッジの間隔から、白線候補の太さを算出する（Ｓ２６）。

続いて、コントラストの強さ、左右のエッジ点数の均等性、及び、白線候補の手前側から奥側までの白線候補の色の均一性、エッジの向きの一貫性、太さの一貫性に基づいて、白線候補の白線らしさを算出する（Ｓ２７）。白線らしさは、連続的な値の確率として算出してもよいし、白線らしいか白線らしくないかの２段階で算出してもよい。また、白線らしさは、３段階以上で段階的に算出してもよい。この後、Ｓ３０の処理に戻る。

次に、第１判定部２１による第１白線らしさ判定について、図１０のサブルーチンを参照して説明する。ここでは、白線の特徴量を、路面に対する白線のコントラスト、車線幅の一貫性、連続距離とする。

まず、Ｓ２３で算出したコントラストを用いて、コントラストを学習する（Ｓ３１）。すなわち、Ｓ２３で算出したコントラストと、記憶されているコントラストの学習値とに所定の重みづけを行って、コントラストの学習値を更新し、更新したコントラストの学習値を記憶する。このとき、Ｓ２７で算出した白線らしさが高いほど、Ｓ２３で算出したコントラストの重みを大きくし、学習速度を速くする。

続いて、Ｓ２４で算出した車両５０の右側の白線候補のエッジと、左側の白線候補のエッジとの間隔から車線幅を算出し、車線幅を学習する（Ｓ３２）。すなわち、算出した車線幅と、記憶されている車線幅の学習値とに所定の重み付けを行って、車線幅の学習値を更新し、更新した車線幅の学習値を記憶する。このとき、Ｓ２７で算出した白線らしさが高いほど、Ｓ２４で算出した車線幅の重みを大きくし、学習速度を速くする。

続いて、Ｓ２４で算出した白線候補のエッジの長さから、白線候補の連続距離を算出する（Ｓ３３）。

続いて、コントラストの学習値、車線幅の学習値、及び連続距離に基づいて、白線候補の白線らしさを算出する（Ｓ３４）。白線らしさは、白線らしさ判定２と同様に、連続的な値の確率として算出してもよいし、段階的に算出してもよい。この後、Ｓ４０の処理に戻る。

以上説明した第１実施形態によれば、以下の効果を奏する。

・路面判定部２３により路面状態が乱雑でないと判定され、且つ、第１判定部２１により白線候補が白線らしいと判定された場合には、白線候補を白線として認識した認識結果が出力される。よって、路面状態が線の白線を誤認識しやすい状態でない場合には、白線の認識結果を走行支援装置３０の制御に用いることができる。また、路面判定部２３により路面状態が乱雑であると判定された場合には、白線の認識結果が出力されない。よって、路面状態が白線を誤認識しやすい状態の場合には、誤認識のおそれがある認識結果が走行支援装置３０の制御に用いられることを抑制できる。さらに、第２判定部２２により、白線候補が白線らしいと判定された場合に限って、路面状態が乱雑であると判定されていても、白線の認識結果が出力される。よって、乱雑な路面状態から急に明瞭な白線が出現した場合には、白線の認識結果が出力されない状態から、白線の認識結果が出力される状態へ早急に移行できる。ひいては、白線の認識結果が出力される状態をより長く維持することができる。

・白線がかすれると、白線に路面の色が混ざり、コントラストが低下するとともに、コントラストの変化量が大きくなる。また、白線がかすれると、白線のエッジは、進行方向以外の方向を向いて、一貫性が低下する。よって、路面と白線のコントラスト、コントラストの変化量及びエッジの向きとその一貫性を、明瞭さに関する白線の特徴量として用いることにより、明瞭な白線を適切に判定することができる。

・車線幅、車線幅の変化量、連続距離を、白線の特徴量として用いることにより、継続的に安定して出現する白線候補を白線らしいと判定することができる。ひいては、白線の誤認識を抑制できる。

・明瞭な白線は、進行方向の手前側から奥側まで、色、太さ、輝度、線種、形状に一貫性があるため、色、太さ、輝度、線種、形状等を白線の特徴量として用いることにより、明瞭な白線を適切に判定することができる。

・第２判定部２２により、明瞭な白線が急に出現した場合でも、瞬時に白線候補を白線らしいと判定することができる。ひいては、白線の認識結果が出力される状態をより長く維持することができる。一方、第１判定部２１により、高い安定性で白線候補の白線らしさを判定して、白線の誤認識を抑制できる。

・第２判定部２２より判定された白線らしさが高いほど、第１判定部２１が判定に用いる白線の特徴量の学習速度が速くされる。すなわち、明瞭な白線が見られるような場合には、白線を誤認識するおそれが低いので、白線の特徴量の学習速度を上昇させて、第１判定部２１による白線らしさの判定の応答性を向上させることができる。

（第１実施形態の変形例）
・第１実施形態では、第２判定部２２により白線候補が白線らしいと判定された場合に限って、路面判定部２３により路面状態が乱雑であると判定されていても、白線パラメータを出力するようにした。この代わりに、第２判定部２２により白線候補が白線らしいと判定された場合に限って、路面判定部２３により路面状態が乱雑であると判定された状態から、乱雑でないと判定された状態へ遷移させやすくしてもよい。具体的には、第２判定部２２により白線候補が白線らしいと判定されたことを条件として、路面判定部２３は、乱雑さの判定に用いるフレーム数を減らし、少ないフレーム数の画像から、乱雑さを判定する。また、第２判定部２２により白線候補が白線らしいと判定されたことを条件として、乱雑と判定する閾値を厳しくしてもよい。

そして、出力部２５は、第２判定部２２により白線候補が白線らしいと判定され、且つ路面判定部２３により路面状態が乱雑でないと判定された状態に遷移した場合に、第１判定部２１による白線らしさの判定結果に関わらず、白線パラメータを出力する。

このようにしても、乱雑な路面状態から急に明瞭な白線が出現した場合には、白線パラメータが出力されない状態から、白線パラメータが出力される状態へ早急に移行できる。ひいては、白線パラメータが出力される状態をより長く維持することができる。

（第２実施形態）
次に、第２実施形態に係る走行区画線認識装置について、第１実施形態に係る走行区画線認識装置と異なる点を、図１１を参照して説明する。第２実施形態に係るＥＣＵ２０は、路面判定部２３の機能の代わりに、異常判定部２６の機能を備える。

異常判定部２６（異常判定手段）は、認識部２４による白線の認識結果と、異常閾値との比較に基づいて、認識結果が異常であることを判定する。詳しくは、異常判定部２６は、認識部２４により算出された各白線パラメータ、及び各白線パラメータの時間的な変動量のそれぞれと、それぞれに対応する異常閾値とを比較して、異常閾値を超えるものがある場合には、認識結果が異常であると判定する。

さらに、異常判定部２６は、第２判定部２２により判定された白線候補の白線らしさに応じて、各異常閾値を変更させる。詳しくは、異常判定部２６は、第２判定部２２により判定された白線候補の白線らしさが高いほど、認識結果が異常であると判定しにくくするように、異常閾値を変更する。すなわち、異常判定部２６は、第２判定部２２により判定された白線候補の白線らしさが高いほど、異常閾値を厳しくする。

出力部２５は、第１判定部２１により白線候補が白線らしいと判定され、且つ異常判定部２６により認識結果が異常でないと判定された場合に、認識結果である白線パラメータを出力する。また、出力部２５は、異常判定部２６により認識結果が異常であると判定された場合に、白線パラメータの出力を停止又は保留する。

さらに、出力部２５は、第２判定部２２により白線候補が白線らしいと判定されたことを条件として、第１判定部２１による判定結果に関わらず、異常判定部２６により認識結果が異常でないと判定された場合に、白線パラメータを出力する。すなわち、出力部２５は、第１判定部２１又は第２判定部２２により白線候補が白線らしいと判定され、且つ異常判定部２６により認識結果が異常でないと判定された場合に、白線パラメータを出力する。

以上説明した第２実施形態によれば、第２判定部２２により判定された白線候補の白線らしさが高いほど、異常判定部２６により白線の認識結果が異常であると判定されにくくなる。すなわち、明瞭な白線が見られるような場合には、白線を誤認識するおそれが低いので、異常閾値を厳しくして、白線の認識結果の出力が停止又は保留されにくくされる。よって、明瞭な白線が見られるような場合には、白線の認識結果の出力を維持することができる。

（第３実施形態）
次に、第３実施形態に係る走行区画線認識装置について、第２実施形態に係る走行区画線認識装置と異なる点を、図１２を参照して説明する。第３実施形態に係るＥＣＵ２０は、さらに予測部２７を備える。

予測部２７（予測手段）は、異常判定部２６により白線パラメータが異常であると判定された場合、及び、急に白線が消えて、認識部２４により白線パラメータが算出されなくなった場合に、異常判定部２６により異常でないと判定されていたときの白線パラメータに基づいて、白線パラメータを予測する。例えば、予測部２７は、前回の処理タイミングで算出した白線パラメータを保留して、予測したパラメータとする。あるいは、予測部２７は、前回と前々回の処理タイミングで算出又は予測した白線パラメータから、次の白線パラメータを予測する。

出力部２５は、第１判定部２１により白線候補が白線らしいと判定され、且つ異常判定部２６により異常でないと判定された場合に、認識部２４により算出された白線パラメータを出力する。また、出力部２５は、第２判定部２２により白線候補が白線らしいと判定されたことを条件として、第１判定部２１による判定結果に関わらず、異常判定部２６により白線パラメータが異常でないと判定された場合に、認識部２４により算出された白線パラメータを出力する。

また、出力部２５は、異常判定部２６により白線パラメータが異常であると判定された場合、及び認識部２４により白線パラメータが算出されなくなった場合に、所定時間継続して、予測部２７により予測された白線パラメータを出力する。そして、出力部２５は、所定時間継続して予測された白線パラメータを出力した後、予測された白線パラメータの出力を停止する。

さらに、出力部２５は、認識部２４により白線パラメータが算出されていたときに、第２判定部２２より判定された白線候補の白線らしさが高いほど、予測した白線パラメータを継続して出力する所定時間を長くする。

以上説明した第３実施形態によれば、異常判定部２６により、認識部２４により算出された白線パラメータが異常であると判定された場合、及び、認識部２４により白線パラメータが算出されなくなった場合には、所定時間継続して、予測された白線パラメータが出力される。そして、その後、予測された白線パラメータの出力が停止される。予測された白線パラメータが継続して出力される所定時間は、第２判定部２２により判定された白線候補の白線らしさが高いほど、長くされる。よって、明瞭な白線が見られるような場合には、予測された白線パラメータの精度が高いので、予測された白線パラメータの出力時間を長くして、白線パラメータの出力を維持することができる。

（他の実施形態）
・認識部２４は、第２判定部２２により判定された白線らしさが高いほど、白線パラメータの算出に用いるフィルタの応答性を高くするようにしてもよい。すなわち、白線候補の明瞭さが高いほど、拡張カルマンフィルタ等のフィルタの応答性を高く設定する。これにより、実際の白線の形状に対して応答性の高い白線パラメータが算出される。

白線が不明瞭な状態で、フィルタの応答性を高くすると、直線のかすれた複合線を、カーブの白線と誤認識したり、コールタール、ガードレール等の外乱により、直線車線をカーブと誤認識したりしやすい。よって、明瞭な白線がみられないような場合には、フィルタの応答性を比較的低くすることにより、白線の誤認識を抑制することができる。また、明瞭な白線が見られるような場合には、フィルタの応答性を比較的高くすることにより、急カーブ等の白線の状態が急激に変化する場所でも、白線を適切に認識することができる。なお、白線パラメータの算出に用いるフィルタは、拡張カルマンフィルタに限らず、応答性を調整できるフィルタであればよい。例えば、Ｈ∞フィルタ等の状態空間フィルタでもよい。

・第１判定部２１は、複数のフレームの画像から算出した白線の特徴量を平均した値を用いて、白線候補の白線らしさを判定してもよい。

・第２判定部２２は、主として白線の明瞭さに関する白線の特徴量を用いれば、白線の明瞭さに関する白線の特徴量以外の白線の特徴量も用いてよい。また、白線の特徴量は、上記各実施形態で説明したものに限らない。

・図８のフローチャートにおいて、路面状態判定を、白線らしさ判定１，２よりも先に実施してもよい。

１０…車載カメラ、２０…ＥＣＵ、５０…車両。

Claims (8)

1. 車両（５０）に搭載されたカメラ（１０）により撮影された画像から、道路の車線を区画する走行区画線の候補である区画線候補を抽出し、抽出した前記区画線候補を前記走行区画線として認識する走行区画線認識装置（２０）であって、
   前記画像から抽出した前記区画線候補の前記走行区画線らしさを判定する第１判定手段と、
   前記画像から抽出した前記区画線候補の前記走行区画線らしさを判定する第２判定手段と、
   複数のフレームの前記画像から、前記走行区画線の認識を妨げる前記道路の路面状態の乱雑さを判定する路面判定手段と、
   前記路面判定手段により前記路面状態が乱雑でないと判定され、且つ、前記第１判定手段により前記区画線候補が前記走行区画線らしいと判定された場合に、前記区画線候補を前記走行区画線として認識した認識結果を出力し、前記路面判定手段により前記路面状態が乱雑であると判定された場合に、前記認識結果の出力を停止又は保留する出力手段と、を備え、
   前記第２判定手段は、前記走行区画線の明瞭さに関する前記走行区画線の特徴量を含む前記特徴量に基づいて前記走行区画線らしさを判定するものであり、且つ、前記走行区画線らしさを判定する際の瞬時的な判定条件が、前記第１判定手段よりも厳しいものであり、
   前記第２判定手段により前記区画線候補が前記走行区画線らしいと判定されたことを条件として、前記路面判定手段により前記路面状態が乱雑であると判定された状態から乱雑でないと判定された状態へ遷移させやすくする、又は、前記路面判定手段により前記路面状態が乱雑であると判定されていても、前記出力手段により前記認識結果を出力させることを特徴とする走行区画線認識装置。
2. 前記明瞭さに関する前記走行区画線の特徴量は、前記道路の路面に対する前記走行区画線のコントラスト、前記コントラストの変化量、及びエッジの向きとその一貫性の少なくとも一つを含む請求項１に記載の走行区画線認識装置。
3. 前記第１判定手段及び前記第２判定手段のうち、前記第１判定手段のみが前記走行区画線らしさを判定する際に用いる前記走行区画線の特徴量は、前記車線の幅の一貫性、前記車線の幅の変化量の一貫性、及び連続距離の少なくとも一つを含む請求項１又は２に記載の走行区画線認識装置。
4. 前記第２判定手段が前記走行区画線らしさを判定する際に用いる前記走行区画線の特徴量は、色の均一性、太さの一貫性、前記太さの変化の一貫性、輝度の一貫性、前記輝度の変化の一貫性、左右のエッジに含まれるエッジ点数の均等性、線種の一貫性、前記線種の変化の一貫性、形状の一貫性、及び前記形状の変化の一貫性の少なくとも一つを含む請求項１〜３のいずれか１項に記載の走行区画線認識装置。
5. 前記第２判定手段は、前記第１判定手段よりも短い時間で、前記走行区画線らしさを判定する請求項１〜４のいずれか１項に記載の走行区画線認識装置。
6. 前記第２判定手段により前記区画線候補が前記区画線らしいと判定されたことを条件として、前記第１判定手段による判定結果に関わらず、前記走行区画線の認識結果を出力させる請求項１〜５のいずれか１項に記載の走行区画線認識装置。
7. 前記第１判定手段は、複数のフレームの前記画像に基づいて、前記車線の幅を含む前記走行区画線の特徴量を学習する学習手段を有し、前記学習手段により学習された前記特徴量に基づいて、前記走行区画線らしさを判定し、
   前記学習手段は、前記第２判定手段により判定された前記走行区画線らしさが高いほど、前記特徴量の学習速度を速くする請求項１〜６のいずれかに記載の走行区画線認識装置。
8. 前記区画線候補から前記走行区画線の状態を表すパラメータを算出して、前記区画線候補を前記走行区画線として認識する認識手段を備え、
   前記認識手段は、前記第２判定手段により判定された前記走行区画線らしさが高いほど、前記パラメータの算出に用いるフィルタの応答性を高くする請求項１〜７のいずれかに記載の走行区画線認識装置。