JP5090313B2 - 路面標示認識装置 - Google Patents

Description

本発明は、自車走行道路の路面を撮像した画像から特定の路面標示を認識する路面標示認識装置に関する。

例えば、特許文献１には、撮像手段により撮像した画像から第１及び第２の路面標示を検出し、第１及び第２の路面標示の位置を算出して、相互の位置関係により第１及び第２の路面標示の認識性能を向上する手法が開示されている。

特開２００７−５２６４５号公報

しかしながら、前述した従来の技術では、路面標示が近傍に複数個存在しない場合には認識性能が向上しにくいといった問題がある。また、路面標示が掠れている場合や、天候、周辺の物体の影などによる悪条件が存在する場合には、期待される認識性能が得られない可能性がある。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、天候や影などの時々刻々と変化する外乱の影響を低減し、路面標示を高精度に認識することができる路面標示認識装置を提供することである。

本発明の路面標示認識装置は、自車走行道路の路面を撮像した画像から特定の路面標示を認識するものであって、画像から路面標示が有する複数の特徴部位を検出して、固有度の高い特徴部位の検出自信度が予め設定された閾値よりも高いときは、路面標示を認識したと判定する。

本発明によれば、固有度の高い特徴部位が高い検出自信度で検出されていれば、検出対象の路面標示を認識したと判定するので、掠れや照明変動等、路面標示の一部が画像認識にとって困難な状況で撮像された場合でも路面標示を高精度に認識でき、誤認識を低減することができる。

以下、図面を参照しつつ、本発明の一実施例について説明する。
図１は、本実施例の機能ブロック図である。路面標示認識装置１０は、画像処理装置１１と、演算装置１２と、主記憶装置１３と、メモリ１４を具備し、画像撮像装置１、車両情報取得装置２、カーナビゲーションシステム２０、警報装置２１が接続されている。

画像処理装置１１は、図示のように、画像撮像装置１により取得された画像データに対して画像処理を行い、特定の路面標示が有する複数の特徴部位を検出することができるように加工するための手段である。画像処理として、例えばテンプレートマッチング処理、ノイズ除去処理、エッジ検出処理、輝度調整処理が行われる。

特徴部位とは、特定の路面標示が有する形状の一部を構成する特徴的な部分であって、例えば、その形状、幅、長さ、模様、色、輝度、又は、路面標示全体における当該部分の位置、大きさ、範囲等が特徴的であり、他の路面標示から識別可能な部分をいう。特徴部位には、物理的に離れているが組み合わせることによって他の路面標示から識別可能なものも含まれる。

演算装置１２は、車両情報取得装置２から車両の速度やヨーレート、舵角といった車両情報を取得する。また、道幅や近傍に存在する道路標示の種類といった地図データ及び自車の位置をカーナビゲーションシステム２０から取得する。

演算装置１２は、これらの情報に基づいて路面標示を検出した場合、その結果に応じて、カーナビゲーションシステム２０や警報装置２１に路面標示の種類や自車からの距離を出力し、ユーザに警告を発する等の種々の制御を行う。

主記憶装置１３には、特定の路面標示が有する複数の特徴部位についての情報が格納されている（特徴部位情報格納手段）。例えば、各特徴部位の形状の情報としてテンプレート画像が格納され、また、各特徴部位の固有度の情報等が格納されている。特徴部位の固有度は、他の特徴部位の形状に類似するに応じて低い値になり、他の特徴部位の形状に類似していないほど高い値になるように設定されている。

画像撮像装置１は、自車走行道路の路面を撮像する装置であり、例えばＣＣＤカメラによって構成されており、自車の車両前部や車両後部に設置されている。車両情報取得装置２は、自車の走行速度、ヨーレート、舵角等の車両情報を取得するものであり、車両に搭載されたコントロールユニット内に構成されている。カーナビゲーションシステム２０は、ＧＰＳ機能により取得される自車位置情報と、ハードディスクやＤＶＤなどの記憶手段に記憶された地図情報とに基づいて目的地までの経路を表示し、車両を誘導するシステムである。

次に、図２のフローチャートを用いて、路面標示認識装置１０が画像から特定の路面標示を認識する処理について説明する。図２は、路面標示認識装置１０の動作例を示すフローチャートである。

まず、ステップＳ１でカーナビゲーションシステム２０からの情報を取得する。カーナビゲーションシステム２０からは、周辺に存在する路面標示の種別と自車から路面標示までの大まかな距離についての情報を取得する。

ステップＳ２では、カーナビゲーションシステム２０から取得した情報から、車両近傍に特定の路面標示が存在するかの判定を行う。画像撮像装置１の撮像範囲内に特定の路面標示が存在する可能性がある場合は、かかる路面標示を検出対象の路面標示に設定して、ステップＳ３以降の検出処理を行う。なお、自車両周辺に検出対象の路面標示が明らかに存在しない場合は、検出処理を行わず、ステップＳ１へ戻る。

ステップＳ３では、車両情報取得装置２からの情報を取得する処理が行われる。車両情報取得装置２から取得する情報は、自車両の移動速度やヨーレート、ステアリングの舵角情報が含まれる。これらの車両情報は、検出対象の路面標示の認識率を向上させるために用いられる。

ステップＳ４では、画像撮像装置１から画像データを取得し、デジタル画像としてメモリ１４に転送する処理が行われる。このとき同時に、画像を取得した時刻がメモリ１４に格納される。

ステップＳ５では、検出対象の路面標示が有する複数の特徴部位を検出する特徴部位検出処理が行われる（第１検出手段）。画像処理装置１１は、予め設定された検出条件（第１の検出条件）に基づいて画像処理を行う。検出条件は、主記憶装置１３に記憶されており、例えば、画像処理フィルタ係数、テンプレートマッチング閾値、エッジ検出閾値、特徴の形状を判別する際の寸法誤差許容範囲などの各種パラメータによって設定されている。本実施例では、予め主記憶装置１３に格納してある特徴部位のテンプレート画像を用いたテンプレートマッチングによって特徴部位の検出が行われる。

図３は、画像処理装置１１によって画像処理がなされる画像の模式図、図４は、本実施例で使用するテンプレート画像を示す図である。例えば、図３に示す路面標示３０に対して、図４に示すテンプレート画像４１、４２、４３を用いたテンプレートマッチングが行われ、路面標示の特徴部位３１、３２、３３が検出される。なお、路面標示の特徴部位を検出する方法は、画像から特徴部位を取得できる方法であれば、テンプレートマッチング以外の方法でもよい。

画像撮像装置１の設置位置や設置角度によって、検出対象となる路面標示が１フレームの画像には入らない場合には、複数フレームの画像に対して特徴部位の検出を行う。全ての特徴部位の検出処理が終了したらステップＳ６へ進む。

特徴部位の検出を行う際、各特徴部位の検出自信度が設定される（第１検出自信度設定手段）。検出自信度とは、予め想定していた特徴部位の形状、色、輝度などの特徴と検出対象の特徴との類似度合いを示すものであり、予め主記憶装置１３に格納してある特徴部位のテンプレート画像に類似した形状であるほど高い値を示す。

ステップＳ６では、各特徴部位に検出自信度を付与する処理が行われる。検出自信度は、各特徴部位に対してそれぞれに付与される。

ステップＳ７では、全ての特徴部位が高い検出自信度で検出されているか否かを判断する処理が行われる。ここでは、ステップＳ６で付与された全ての特徴部位の検出自信度が予め設定された第１閾値よりも高いか否か、換言すると、ステップＳ６で付与された各特徴部位の検出自信度のうち、予め設定された第１閾値以下のものがあるか否かが判断される（第１判断手段）。そして、全ての特徴部位で第１閾値よりも高い検出自信度が付与されている場合は（ステップＳ７でＹＥＳ）、画像から検出したものが検出対象の路面標示であると確定すべくステップ８に移行する。

一方、第１閾値よりも検出自信度が低い特徴部位が存在する場合には（ステップＳ７でＮｏ）、検出対象の路面標示ではないものを誤って検出している可能性があるので、各特徴部位の固有度に応じた判断を行うべく、ステップＳ１１以降に進む。

ステップＳ１１では、全ての特徴部位に対して固有度を付与する処理が行われる。固有度は、特徴部位毎に予め定めてあり、他の特徴部位に類似していない特徴部位ほど、検出できた場合の誤認識の可能性が低いことから、固有度は高く設定されている。固有度が高い特徴部位は、一つの路面標示に複数存在してもよく、また、複数の特徴部位を組み合わせることで一つの重要な特徴部位としてもよい。

図５は、検出対象の路面標示３０を示す図、図６及び図７は、他の路面標示を示す図である。例えば、図５に示す路面標示３０の特徴部位３１は、図６（ａ）〜図６（ｃ）に示すように、検出対象ではない他の路面標示６１、６２、６３に、類似した特徴部位６１ａ、６２ａ、６３ａが存在し、誤認識の可能性があることから、固有度が低い値に設定されている。

また、図５に示す路面標示３０の特徴部位３３は、図７に示すように、検出対象ではない他の路面標示６４に、類似した特徴部位６４ａが存在し、誤認識の可能性があることから、固有度が低い値に設定されている。

一方、特徴部位３２は、他の路面標示に、類似する特徴部位が存在しないので、このような形状を検出した場合には正確である可能性が大きく、特徴部位３２の固有度は高い値に設定されている。

ステップＳ１２では、検出自信度の高い複数の特徴部位を組み合わせて固有度を判定する組み合わせ判定処理が行われる。例えば、図５に示す路面標示３０の特徴部位３１、３３は、単体では、図６に示す他の路面標示６１、６２、６３、図７に示す他の路面標示６４を誤認識されるおそれがあり、固有度は低い値に設定されている。

しかしながら、特徴部位３１、３３を組み合わせた形状は、誤認識する他の路面標示が存在せず、このような組み合わせた形状を検出した場合には正確である可能性が大きいことから、その固有度は高い値に設定されている。

従って、例えば単体で固有度が高い特徴部位３２が掠れており、その形状を認識することが困難な場合でも、特徴部位３１、３３の組み合わせによって検出対象の路面標示であるか否かを正確に判定することができる。特徴部位の組み合わせのパターンとその固有度は、予め主記憶装置に予め格納されている。

ステップＳ１３では、固有度の高い特徴部位が高い自信度で検出されているか否かを判断する処理が行われる。ここでは、固有度の高い特徴部位の検出自信度が予め設定された第２閾値よりも高いか否かが判断される（第２判断手段）。

そして、固有度の高い特徴部位の検出自信度が第２閾値よりも高いと判断された場合は（ステップＳ１３でＹＥＳ）、検出対象の路面標示である可能性が高いので、固有度が低く且つ検出自信度が低い特徴部位の再検出処理を行うべく、ステップＳ１４以降に移行する。一方、固有度が高い特徴部位の検出自信度が第２閾値以下の場合には（ステップＳ１３でＮＯ）、誤認識の可能性が否定できないため、再検出処理を行わず、ステップＳ１にもどる。

ステップＳ１４では、ステップＳ１５の再検出処理における検出条件（第２の検出条件）をステップＳ５の検出処理における検出条件（第１の検出条件）よりも緩やかな条件に再設定する検出条件再設定処理が行われる。検出自信度が低い特徴部位は、掠れや汚れなどで形状が変化していたり、周辺の建物などの影がかかっているなどの悪条件が予想される。このような検出自信度が低い特徴部位を適切に検出するために、検出条件は基本的に外乱の影響を許容する方向に再設定される。テンプレートマッチングでは、類似度の許容閾値を低下させる。

検出条件であるパラメータは、特徴部位の固有度や検出自信度から動的に変更してもよいし、固定値でもよい。パラメータを動的に変更する場合、例えば、固有度が高い部位の検出自信度が第１閾値よりも大幅に高いときは、検出対象の道路標示である可能性が高いため、低特徴部位を緩やかに判断する方向（外乱の影響を許容する方向）にパラメータを変更する。一方、固有度が高い部位の検出自信度が、第１閾値とほぼ同一の場合には、誤認識のおそれがあるので、低特徴部位を厳密に判断する方向にパラメータを変更する。

ステップＳ１５では、ステップＳ１４で再設定された検出条件（第２の検出条件）を用いて画像から特徴部位を再検出する特徴部位再検出処理が行われる（第２検出手段）。これにより、ステップＳ５で検出された複数の特徴部位の中で検出自信度が高くなかった特徴部位、すなわち、固有度が低く且つステップＳ７で検出自信度が第１閾値以下であると判断された特徴部位は、第１の検出条件よりも緩やかな第２の検出条件に基づいて検出される。なお、画像処理と特徴部位の検出処理については、ステップＳ１４で再設定された第２の検出条件を用いる以外は、ステップＳ５と同様であるのでその詳細な説明を省略する。

ステップＳ１６では、ステップＳ１５で再検出された特徴部位の検出自信度を算出して付与する処理が行われる（第２検出自信度設定手段）。外乱などの影響によりステップＳ５の検出処理（１度目の検出処理）では検出自信度が高くなかった特徴部位に関しては、多くの場合１度目より高い検出自信度が付与され、検出対象でない路面標示や全く異なる道路上の特徴であれば検出自信度はほとんど向上しない。従って、掠れや影などの外乱による誤認識を減少させることができるという効果が得られる。

次に、ステップＳ１７では、ステップＳ１５の特徴部位再検出処理により検出された全ての特徴部位が高い検出自信度で検出されているか否かを判断する処理が行われる。ここでは、ステップＳ１６で付与された全ての特徴部位の検出自信度が予め定めた第３閾値よりも高いか否か、換言すると、ステップＳ１６で付与された各特徴部位の検出自信度のうち、予め設定された第３閾値以下のものがあるか否かが判断される（第３判断手段）。

そして、全ての特徴部位で第３閾値より高い検出自信度が付与されている場合は（ステップＳ１７でＹＥＳ）、画像から検出したものが検出対象の路面標示であると確定すべくステップＳ８に移行する。一方、第３閾値よりも検出自信度が低い特徴部位がなお存在する場合には（ステップＳ１７でＮＯ）、検出対象の路面標示ではないものを誤って検出していると判定し、検出処理を続行せず、ステップＳ１に戻る。

ステップＳ８では、検出対象の路面標示を認識したと判定する認識判定処理を行う（認識判定手段）。そして、ステップＳ９で自車から路面標示までの相対位置を算出する処理が行われ、ステップＳ１０で路面標示の検出結果をカーナビゲーションシステム２０や警報装置２１に出力する処理が行われる。

本実施例のように、検出対象の路面標示として「横断歩道あり」を検出した場合であれば、前方に横断歩道があることをユーザに警告することができる。「横断歩道」や「一時停止線」が前方の画像データから検出された場合、減速がなければ警告を行う。また、「最高速度」が検出された場合は、車両情報取得装置２から取得した車速と比較し、必要に応じて警告を行うことができるといった効果が得られる。

本実施例によれば、特徴部位検出処理によって全ての特徴部位を高い検出自信度で検出できた場合には、検出対象の路面標示を認識することができたと判定する。一方、掠れや照明変動等の撮像条件により、全特徴部位を高い検出自信度で検出できなかった場合には、各特徴部位の固有度と検出自信度に基づいて認識信頼度を評価する。

例えば固有度の高い特徴部位が高い検出度で検出されている場合には、特定の路面標示である可能性が高いので、検出条件を最適なものに変更して再検出処理を行い、各特徴部位の検出結果から路面標示全体の検出結果を判定する。従って、掠れや影などの外乱による誤認識を減少させることができる。一方、固有度の高い特徴部位が高い検出自信度で検出されていない場合には、検出対象の路面標示ではないものを誤って検出している可能性があるので、認識処理を中止する。

また、検出自信度の高い複数の特徴部位を組み合わせて固有度を判定する組み合わせ判定処理を行うので、検出対象の路面標示を特定できるような特徴部位の組み合わせが検出されていた場合には、検出対象の路面標示である可能性が非常に高く、検出対象の路面標示を認識することができたと判定することができる。路面標示は、複数の特徴部位とそれらを連結する白線によって構成される。十分な検出自信度で検出対象の特徴部位を検出することができない場合には、認識判定は行わない。

なお、本発明は、上述の実施例の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

本実施例の機能ブロック図。 本実施例の動作例を示すフローチャート。 画像の模式図。 本実施例で使用するテンプレート画像を示す図。 検出対象の路面標示を示す図 他の路面標示を示す図。 他の路面標示を示す図。

符号の説明

１ 画像撮像装置
２ 車両情報取得装置
１０ 路面標示認識装置
１１ 画像処理装置
１２ 演算装置
１３ 主記憶装置
１４ メモリ
３０ 検出対象の路面標示
３１、３２、３３ 特徴部位
４１、４２、４３ テンプレート画像
６１、６２、６３、６４ 他の路面標示

Claims (9)

1. 自車走行道路の路面を撮像した画像から特定の路面標示を認識する路面標示認識装置であって、
   予め設定された第１の検出条件に基づいて前記画像から前記路面標示が有する複数の特徴部位を検出する第１検出手段と、
   該第１検出手段により前記複数の特徴部位を検出した際の各特徴部位の検出自信度を設定する第１検出自信度設定手段と、
   該第１検出自信度設定手段により設定した前記複数の特徴部位の検出自信度のうち、予め設定された第１閾値以下のものがあるか否かを判断する第１判断手段と、
   該第１判断手段により前記第１閾値以下のものがあると判断された場合に前記複数の特徴部位の中で固有度の高い特徴部位の検出自信度が予め設定された第２閾値よりも高いか否かを判断する第２判断手段と、
   該第２判断手段によって前記固有度の高い特徴部位の検出自信度が前記第２閾値よりも高いと判断された場合に、前記固有度の高い特徴部位の検出自信度に応じて設定された第２の検出条件を用いて前記画像から前記路面標示が有する複数の特徴部位を検出する第２検出手段と、
   該第２検出手段により検出された特徴部位の検出自信度に基づいて前記路面標示を認識したと判定する認識判定手段と、
   を有することを特徴とする路面標示認識装置。
2. 自車走行道路の路面を撮像した画像から特定の路面標示を認識する路面標示認識装置であって、
   予め設定された第１の検出条件に基づいて前記画像から前記路面標示が有する複数の特徴部位を検出する第１検出手段と、
   該第１検出手段により前記複数の特徴部位を検出した際の各特徴部位の検出自信度を設定する第１検出自信度設定手段と、
   該第１検出自信度設定手段により設定した前記複数の特徴部位の検出自信度のうち、予め設定された第１閾値以下のものがあるか否かを判断する第１判断手段と、
   該第１判断手段により前記第１閾値以下のものがあると判断された場合に前記複数の特徴部位の中で固有度の高い特徴部位の検出自信度が予め設定された第２閾値よりも高いか否かを判断する第２判断手段と、
   該第２判断手段により前記第２閾値よりも高いと判断された場合に前記第１の検出条件よりも緩やかな第２の検出条件に基づいて前記画像から前記路面標示が有する複数の特徴部位を検出する第２検出手段と、
   該第２検出手段により前記複数の特徴部位を検出した際の各特徴部位の検出自信度を設定する第２検出自信度設定手段と、
   該第２検出自信度設定手段により設定した前記複数の特徴部位の検出自信度のうち、予め設定された第３閾値以下のものがあるか否かを判断する第３判断手段と、
   該第３判断手段によって前記第３閾値以下のものがなく全ての特徴部位の検出自信度が前記第３閾値よりも高いと判断された場合に前記路面標示を認識したと判定する認識判定手段と、
   を有することを特徴とする路面標示認識装置。
3. 前記路面標示が有する複数の特徴部位について該各特徴部位の形状の情報を格納する特徴部位情報格納手段を有し、
   前記第１検出手段及び前記第２検出手段は、前記特徴部位情報格納手段に格納された前記各特徴部位の形状の情報を用いて前記画像から前記複数の特徴部位を検出することを特徴とする請求項２に記載の路面標示認識装置。
4. 前記特徴部位情報格納手段は、前記特徴部位の形状の情報としてテンプレート画像を格納し、
   前記第１検出手段及び第２検出手段は、前記テンプレート画像を用いたテンプレートマッチングによって前記特徴部位を検出することを特徴とする請求項２に記載の路面標示認識装置。
5. 前記第１検出自信度設定手段は、前記第１検出手段により検出した特徴部位の形状が前記テンプレート画像に類似した形状であるほど高い値の検出自信度を設定し、
   前記第２検出自信度設定手段は、前記第２検出手段により検出した特徴部位の形状が前記テンプレート画像に類似した形状であるほど高い値の検出自信度を設定することを特徴とする請求項４に記載の路面標示認識装置。
6. 前記路面標示が有する複数の特徴部位について該各特徴部位の固有度の情報を格納する特徴部位情報格納手段を有し、
   前記第２判断手段は、前記第１検出自信度設定手段により設定された前記各特徴部位の検出自信度が予め設定された第２閾値よりも高いか否かを、前記特徴部位情報格納手段に格納された前記特徴部位の固有度の情報を用いて判断し、
   前記第３判断手段は、前記第２検出自信度設定手段により設定された前記各特徴部位の検出自信度が予め設定された第３閾値よりも高いか否かを、前記特徴部位情報格納手段に格納された前記特徴部位の固有度の情報を用いて判断することを特徴とする請求項２に記載の路面標示認識装置。
7. 前記特徴部位の固有度は、他の特徴部位の形状に類似するに応じて低い値になり、他の特徴部位の形状に類似していないほど高い値になるように設定されていることを特徴とする請求項６に記載の路面標示認識装置。
8. 前記第２の検出条件は、前記第１の検出条件よりも外乱の影響を許容する側に設定されていることを特徴とする請求項２から請求項７のいずれか一つに記載の路面標示認識装置。
9. 前記第２の検出条件は、前記固有度の高い特徴部位の検出自信度に応じて設定されることを特徴とする請求項２から請求項７のいずれか一つに記載の路面標示認識装置。

Images