JP4408095B2 - 車両及び路面標示認識装置 - Google Patents

Description

本発明は、カメラ等の撮像手段を介して取得された道路の画像を処理して、道路のレーンマーク等の路面標示を認識する車両及び路面標示認識装置に関する。

近年、車両にＣＣＤカメラ等の撮像手段を搭載して、走行している高速道路等の路面を撮像し、得られた画像を処理して道路上の白線等のレーンマークを検出する技術が提案されている（例えば、特許文献１参照）。

特許文献１の車両用白線検出装置においては、車両に搭載したカメラで取得した走行路のモノクロ画像（白黒２値画像）を用いて、画像全領域にわたって２値データが明（白）から暗（黒）に変化するエッジ点（正エッジ点）、２値データが暗（黒）から明（白）に変化するエッジ点（負エッジ点）を抽出する。そして、正エッジ点と負エッジ点とを別々にハフ変換して、それぞれのハフ変換の結果を組み合わせて、白線を検出する。

一方、路面表示（レーンマークや道路標示）には、白線以外に、例えば黄線が用いられる場合もある。このような、白色以外の路面表示を検出する場合には、モノクロ画像から路面標示を精度良く検出することは困難である。このため、カラー画像を用いて路面標示を検出する技術が提案されている（例えば、特許文献２参照）。

しかしながら、カメラで道路を撮像する際には、道路周辺の建造物により路面の一部に影ができたり、車両のヘッドライトで路面の一部が照らされたりしていることがある。そして、このように路面を照射する光源や道路周辺の環境により路面の照射状態が部分的に異なっている状況で、道路を撮像すると、例えば図３に示すように、影のできている領域Ａ３では、散乱光によってのみ照射され、画像データの色の特徴量が変化するため、この領域に存在する黄線が本来の黄色として認識されないものとなってしまう。よって、特許文献２のもののようにカラー画像を用いても、白色以外の路面標示を適切に検出することが困難な場合があるという不都合があった。
特開平１１−８５９９９号公報 特許第３３３３４６８号公報

本発明は、かかる不都合を解消し、道路の照射状態が部分的に異なる場合でも、カメラ等の撮像手段を介して取得された道路のカラー画像から、レーンマーク等の路面標示を精度良く認識することができる車両及び路面標示認識装置を提供することを目的とする。

本発明の第１態様の車両は、撮像手段と、前記撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記カラー画像の各画素のカラー成分から、前記道路の路面標示の色に対応した各画素の特徴量を算出する特徴量算出手段と、前記カラー画像の各画素の前記特徴量を、該カラー画像における各画素の位置に合わせて配列した特徴画像から、前記道路の路面標示を検出する路面標示検出手段とを有し、前記カラー画像の各画素のカラー成分は、Ｒ値、Ｇ値及びＢ値、又はＣ値、Ｍ値及びＹ値からなり、前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の比を用いることを特徴とする。

また、本発明の第１態様の路面標示認識装置は、撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記カラー画像の各画素のカラー成分から、前記道路の路面標示の色に対応した各画素の特徴量を、該カラー成分に対する明るさの影響を低減するように算出する特徴量算出手段と、前記カラー画像の各画素の前記特徴量を、該カラー画像における各画素の位置に合わせて配列した特徴画像から、前記道路の路面標示を検出する路面標示検出手段とを有し、前記カラー画像の各画素のカラー成分は、Ｒ値、Ｇ値及びＢ値、又はＣ値、Ｍ値及びＹ値からなり、前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の比を用いることを特徴とする。

前記第１態様の車両及び路面標示認識装置によれば、前記特徴量算出手段は、前記カラー画像の各画素のカラー成分から、前記道路の路面標示の色に対応した各画素の特徴量を算出する。例えば、黄色の路面標示を検出する場合、黄色に対応した特徴量を、各画素のカラー成分から算出する。これにより、黄色の路面標示の特徴を顕著に示す特徴量が算出される。

ここで、前記道路のカラー画像には、路面を照射する光源や道路周辺の環境による路面の照射状態の相違によって、明るさが異なる領域が存在する場合がある。そして、前記カラー画像内の明るさが異なる領域間では、画素のカラー成分のレベルが、明るさに応じて相違する。例えば、影のできている領域のカラー成分のレベルは、影ができていない一般的な明るさを想定して設定したカラー成分の基準レベルより小さくなっている。そして、領域によっては、カラー成分のレベルと基準レベルとの相違が大きいために、該カラー成分に基づいて路面標示（黄線）を検出すると、路面標示の認識が困難な場合がある。

(削除)

(削除)

本発明の第１態様によれば、前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の比を用いる。このとき、前記所定の２つの値の比は、前記路面標示の色の特徴を顕著に示す値となる。例えば、各画素のカラー成分がＲ値、Ｇ値及びＢ値であるときに、カラー画像から黄線に対応した特徴量（黄色成分）を抽出する場合には、黄色は、Ｒ値が高く、Ｂ値が低い傾向を持つので、Ｒ値とＢ値との比は、黄色成分の特徴を顕著に示す値となる。

そして、前記各画素のカラー成分であるＲ値、Ｇ値及びＢ値、又はＣ値、Ｍ値及びＹ値は、それぞれ、明るさの影響により同じように変化している。例えば、各画素が明るい場合には、該画素のカラー成分はいずれも大きくなり、各画素が暗い場合には、該画素のカラー成分はいずれも小さくなる。よって、前記所定の２つの値の比を取ることで、前記カラー成分に対する明るさの影響が相殺され、該カラー成分に対する明るさの影響を低減するように前記特徴量が算出される。これにより、前記カラー画像の各画素の前記特徴量が、明るさに関して同レベルになるように適切に算出される。
そして、前記路面標示検出手段は、前記カラー画像の各画素の前記特徴量を、該カラー画像における各画素の位置に合わせて配列した特徴画像から、前記道路の路面標示を検出するので、撮像された道路のカラー画像に明るさが異なる部分がある場合にも、路面標示を精度良く認識することができる。

次に、本発明の第２態様の車両は、撮像手段と、前記撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記カラー画像の各画素のカラー成分から、各画素の輝度値を算出する輝度値算出手段と、前記カラー画像の各画素のカラー成分と前記輝度値とから、前記道路の路面標示の色に対応した各画素の特徴量を、該カラー成分に対する明るさの影響を低減するように算出する特徴量算出手段と、前記カラー画像の各画素の前記特徴量を、該カラー画像における各画素の位置に合わせて配列した特徴画像から、前記道路の路面標示を検出する路面標示検出手段とを有し、前記カラー画像の各画素のカラー成分は、Ｒ値、Ｇ値及びＢ値、又はＣ値、Ｍ値及びＹ値からなり、前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の差又は和を、各画素の前記輝度値に応じて、該輝度値が大きくなるほど大きくなるように定められる所定の補正係数で除算した値を用いることを特徴とする。

また、本発明の第２態様の路面標示認識装置は、撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記カラー画像の各画素のカラー成分から、各画素の輝度値を算出する輝度値算出手段と、前記カラー画像の各画素のカラー成分と前記輝度値とから、前記道路の路面標示の色に対応した各画素の特徴量を、該カラー成分に対する明るさの影響を低減するように算出する特徴量算出手段と、前記カラー画像の各画素の前記特徴量を、該カラー画像における各画素の位置に合わせて配列した特徴画像から、前記道路の路面標示を検出する路面標示検出手段とを有し、前記カラー画像の各画素のカラー成分は、Ｒ値、Ｇ値及びＢ値、又はＣ値、Ｍ値及びＹ値からなり、前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の差又は和を、各画素の前記輝度値に応じて、該輝度値が大きくなるほど大きくなるように定められる所定の補正係数で除算した値を用いることを特徴とする。

前記第２態様の車両及び路面標示認識装置によれば、前記輝度値算出手段は、前記カラー画像の各画素のカラー成分から、各画素の輝度値を算出し、前記特徴量算出手段は、前記カラー画像の各画素のカラー成分と前記輝度値とから、前記路面標示の色に対応した各画素の特徴量を算出する。例えば、黄色の路面標示を検出する場合、黄色に対応した特徴量を、各画素のカラー成分と前記輝度値から算出する。これにより、黄色の路面標示の特徴を顕著に示す特徴量が算出される。

ここで、前記道路のカラー画像には、路面を照射する光源や道路周辺の環境による路面の照射状態の相違によって、明るさが異なる領域が存在する場合がある。そして、前記カラー画像内の明るさが異なる領域間では、画素のカラー成分のレベルが、明るさに応じて相違する。例えば、影のできている領域のカラー成分のレベルは、影ができていない一般的な明るさを想定して設定したカラー成分の基準レベルより小さくなっている。そして、領域によっては、カラー成分のレベルと基準レベルとの相違が大きいために、該カラー成分に基づいて路面標示（黄線）を検出すると、路面標示の認識が困難な場合がある。

このとき、各画素の輝度値は、照射状態に応じた前記道路のカラー画像の明暗の分布状況を反映したものとなっている。そこで、前記特徴量算出手段は、前記特徴量を算出する際に、各画素のカラー成分に加えて前記輝度値を用いることで、前記カラー成分に対する明るさの影響を低減するように前記特徴量を算出する。これにより、前記道路のカラー画像に明るさが異なる領域がある場合に、各領域間の明るさの相違による影響を低減するように前記特徴量を算出することができる。

（削除）

本発明の第２態様によれば、前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の差又は和を、各画素の前記輝度値に応じて、該輝度値が大きくなるほど大きくなるように定められる所定の補正係数で除算した値を用いる。このとき、前記所定の２つの値の差又は和は、前記路面標示の色の特徴を顕著に示す値となる。
例えば、各画素のカラー成分がＲ値、Ｇ値及びＢ値であるときに、カラー画像から黄線に対応した特徴量（黄色成分）を抽出する場合には、黄色は、Ｒ値が高く、Ｂ値が低い傾向を持つので、Ｒ値とＢ値との差は、黄色成分の特徴を顕著に示す値となる。
また、例えば、各画素のカラー成分がＲ値、Ｇ値及びＢ値であるときに、カラー画像から紫色成分を抽出する場合には、紫色は、Ｒ値とＢ値が共に高い傾向を持つので、Ｒ値とＢ値との和は、紫色成分の特徴を顕著に示す値となる。

さらに、前記特徴量算出手段は、前記所定の２つの値の差又は和を、各画素の前記輝度値に応じて、該輝度値が大きくなるほど大きくなるように定められる所定の補正係数で除算した値を、前記特徴量として用いる。これにより、前記カラー成分に対する明るさの影響を低減して、前記カラー画像の各画素の前記特徴量が、明るさに関して同レベルになるように適切に算出される。
そして、前記路面標示検出手段は、前記カラー画像の各画素の前記特徴量を、該カラー画像における各画素の位置に合わせて配列した特徴画像から、前記道路の路面標示を検出するので、撮像された道路のカラー画像に明るさが異なる部分がある場合にも、路面標示を精度良く認識することができる。

また、前記第２態様の変形態様として、前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の差又は和を、各画素の前記輝度値に応じて、該輝度値が所定輝度値以上のときには、該輝度値が大きくなるほど大きくなるように定められる所定の補正係数で除算した値を用いると共に、該輝度値が前記所定輝度値未満のときには、該輝度値が該所定輝度値であるときの前記所定の補正係数で除算した値を用いることを特徴とする。

これによれば、前記特徴量算出手段は、前記カラー画像の各画素の前記特徴量として、該画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の差又は和を、各画素の前記輝度値に応じて、該輝度値が所定輝度値以上のときには、該輝度値が大きくなるほど大きくなるように定められる所定の補正係数で除算した値を用いると共に、該輝度値が前記所定輝度値未満のときには、該輝度値が該所定輝度値であるときの前記所定の補正係数で除算した値を用いる。このとき、前記所定の２つの値の差又は和は、前記路面標示の色の特徴を顕著に示す値となる。
例えば、各画素のカラー成分がＲ値、Ｇ値及びＢ値であるときに、カラー画像から黄線に対応した特徴量（黄色成分）を抽出する場合には、黄色は、Ｒ値が高く、Ｂ値が低い傾向を持つので、Ｒ値とＢ値との差は、黄色成分の特徴を顕著に示す値となる。
また、例えば、各画素のカラー成分がＲ値、Ｇ値及びＢ値であるときに、カラー画像から紫色成分を抽出する場合には、紫色は、Ｒ値とＢ値が共に高い傾向を持つので、Ｒ値とＢ値との和は、紫色成分の特徴を顕著に示す値となる。

さらに、前記カラー画像の各画素の輝度値が小さい場合には、該画素のカラー成分も小さいと考えられ、前記所定の２つの値の差又は和も小さいと考えられる。そして、このようなカラー成分のレベルの小さい画素は、検出対象である路面標示の画像の画素ではないと想定される。このような場合に、該画素の前記特徴量を算出する際に、前記輝度値の大きさに応じて定められる前記所定の補正係数で除算すると、特徴量が不要に増幅される可能性がある。
そこで、前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、前記所定の２つの値の差又は和を、各画素の前記輝度値に応じて、該輝度値が所定輝度値以上のときには、該輝度値が大きくなるほど大きくなるように定められる所定の補正係数で除算した値を用いると共に、該輝度値が前記所定輝度値未満のときには、該輝度値が該所定輝度値であるときの前記所定の補正係数で除算した値を用いる。
これにより、路面標示の画像の画素でない画素の特徴量を不要に増幅することなく、明るさの違いに応じた特徴量のレベルの変動を抑制するように、前記特徴量が適切に算出される。

前記第１態様又は第２態様の車両及び路面標示認識装置において、前記路面標示検出手段は、前記特徴画像に対して、トップハットフィルタ又はエッジフィルタによるフィルタ処理を行って、前記道路の路面標示を検出することが好ましい。

これによれば、前記路面標示検出手段は、前記特徴画像に対して、トップハットフィルタ又はエッジフィルタによるフィルタ処理を行う。このとき、元のカラー画像において、日の当たっている路面のように明るい領域と、影のできている路面のように暗い領域がある場合であっても、前記特徴画像は、各画素の前記特徴量が明るさに関して同レベルとなるように算出されているので、該特徴画像にあっては、いずれの領域においても、路面標示とその周囲の路面との特徴量のレベルの相違が大きくなる。
従って、所定レベルを閾値とした前記トップハットフィルタ又はエッジフィルタによるフィルタ処理によって、路面標示を容易に認識することができる。

本発明の実施形態について、図面を参照して説明する。
図1は、本発明の第１実施形態による路面標示認識装置の機能ブロック図であり、図２は、図1の路面標示認識装置における路面標示認識処理のフローチャートであり、図３は、図１の路面標示認識装置における路面標示認識処理の処理画像の例示図である。また、図４は、図１の路面標示認識装置による路面標示認識処理における特徴量の算出に関する説明図である。また、図５は、図１の路面標示認識装置の路面標示認識処理における輝度値と補正係数との関係を示すグラフである。
なお、第１実施形態は、本発明の第２態様に対応するものである。

図１を参照して、路面標示認識装置１は、マイクロコンピュータ等により構成された電子ユニットであり、道路のカラー画像を取得する画像取得手段２と、取得したカラー画像から輝度値を算出する輝度値算出手段３と、取得したカラー画像から路面標示の色に対応した特徴量を算出する特徴量算出手段４と、算出した特徴量から生成される特徴画像から路面標示を検出する路面標示検出手段５とを備えて、車両に搭載される。

画像取得手段２は、車両のフロント部分に取り付けられて車両前方道路を撮像するカラービデオカメラ６（ＣＣＤカメラ等、本発明の撮像手段）から出力される映像信号を入力する。画像取得手段２は、入力した映像信号から、画素データにより構成されるカラー画像を取得する。このとき、画素データのカラー成分は、Ｒ値、Ｇ値、Ｂ値で構成されている。なお、カラービデオカメラ６と路面表示認識装置1とを備えることにより、本発明の車両が構成される。

輝度値算出手段３は、画像取得手段２により取得された道路のカラー画像の各画素のカラー成分から、輝度値Ｙを算出する。これにより、算出された輝度値Ｙを前記各画素に対応した画素のデータとする輝度画像が生成される。

特徴量算出手段４は、画像取得手段２により取得された道路のカラー画像の各画素の特徴量ＫＹ'を算出するための補正係数ＲＡＴＥを、各画素の輝度値Ｙに基づいて決定する。さらに、前記カラー画像の各画素のカラー成分のうち、路面標示の色に対応した所定の２つの値の差ＫＹを、補正係数ＲＡＴＥで除算して、特徴量ＫＹ'を算出する。これにより、算出した特徴量ＫＹ'を前記各画素に対応した画素のデータとする特徴画像が生成される。

路面標示検出手段５は、前記特徴画像に対して、トップハットフィルタを用いてフィルタ処理を施す。さらに、路面標示検出手段５は、フィルタ処理を施した特徴画像と、前記輝度画像とを合成し、合成した画像からレーンマーク（本発明の路面標示に相当する）を検出する。レーンマークを検出する手法としては、上記特許文献１又は特許文献２に記載されているような一般的な手法を用いることができる。

次に、本実施形態の路面標示認識装置１の作動（路面標示認識処理）を、図２に示したフローチャートに従って説明する。以下では、図３に示したように、道路のカラー画像内に日の当たっている領域（日向領域Ａ２）と、影になっている領域（日影領域Ａ３）とが存在する場合を例にして説明する。なお、図３中の日向領域Ａ２に含まれているレーンマークＡ０と、日影領域Ａ３に含まれているレーンマークＡ１とは黄線であり、路面標示認識装置１の検出対象である。

図２において、画像取得手段２は、カラービデオカメラ６から出力される映像信号を入力して、道路のカラー画像Ｉ０を取得する（ＳＴＥＰ００１）。ここで、カラー画像Ｉ０は、図４（ａ）に例示するような、ｍ×ｎ個の画素からなる画像である。カラー画像Ｉ０の各画素Ｐ０は、カラー成分としてＲ値，Ｇ値，Ｂ値のデータを有するものであり、Ｐ０（ｉ，ｊ）＝（Ｒij，Ｇij，Ｂij）で表される。ただし、ｉ，ｊは、各画素の座標であり、０≦ｉ＜ｍ，０≦ｊ＜ｎとなる整数である。

次に、ＳＴＥＰ００２で、輝度値算出手段３は、取得されたカラー画像Ｉ０の各画素Ｐ０（ｉ，ｊ）のＲ値，Ｇ値，Ｂ値（Ｒij，Ｇij，Ｂij）から、Ｙij＝α×Ｒij＋β×Ｇij＋γ×Ｂijにより輝度値Ｙijを算出する。ただし、α，β，γは、α＋β＋γ＝１となるような所定の係数である。これにより、図４（ｂ）に例示するような、輝度値Ｙijを各画素Ｐ１（ｉ，ｊ）のデータとする、ｍ×ｎ個の画素からなる輝度画像Ｉ１が生成される。輝度画像Ｉ１は、道路のカラー画像Ｉ０の明暗の分布状況を反映したものとなる。

次に、ＳＴＥＰ００３で、特徴量算出手段４は、特徴量ＫＹ'を算出する。まず、特徴量算出手段４は、取得されたカラー画像Ｉ０の各画素Ｐ０（ｉ，ｊ）のＲ値，Ｂ値（Ｒij，Ｂij）から、ＫＹij＝Ｒij−Ｂijにより、Ｒ値とＢ値との差ＫＹijを算出する。ここで、Ｒij，Ｂijは、レーンマークＡ０，Ａ１の色である黄色に対応した所定の２つの値である。これにより、図４（ｃ）に例示するような、Ｒ値とＢ値との差ＫＹijを各画素Ｐ２（ｉ，ｊ）のデータとする、ｍ×ｎ個の画素からなる画像Ｉ２が生成される。画像Ｉ２は、カラー画像Ｉ０内の黄線の特徴をより顕著に示すものとなる。
このとき、日向領域Ａ２に含まれているレーンマークＡ０の部分と、日影領域Ａ３に含まれているレーンマークＡ１の部分とでは、照射状態の影響により、Ｒ値とＢ値との差ＫＹのレベルが相違するものとなっている。

次に、特徴量算出手段４は、輝度画像Ｉ１の各画素Ｐ１（ｉ，ｊ）の輝度値Ｙijに応じた補正係数ＲＡＴＥijを決定する。この場合、特徴量算出手手段４は、図４（ｄ）のＭ３に例示したように、ｍ×ｎ個の補正係数ＲＡＴＥij（＝Ｐ３（ｉ，ｊ））を決定することになる。
補正係数ＲＡＴＥijは、例えば、図５に示すような、輝度値Ｙと補正係数ＲＡＴＥとの関係を示すグラフに基づいて決定される。図５のグラフは、横軸を、輝度画像Ｉ１の各画素Ｐ１（ｉ，ｊ）の輝度値Ｙijとし、縦軸を、補正係数ＲＡＴＥijとして、輝度値Ｙと補正係数ＲＡＴＥとの関係を示したものである。
図５のグラフにより、補正係数ＲＡＴＥijは、輝度値Ｙijが所定輝度値Ｙ＿ｔｈ以上では、輝度値Ｙijが大きくなるほど大きくなるように決定される。また、輝度値Ｙijが所定輝度値Ｙ＿ｔｈ未満のときには、補正係数ＲＡＴＥijは、輝度値Ｙが所定輝度値Ｙ＿ｔｈであるときの補正係数ＲＡＴＥ＿ｔｈに決定される。

そして、特徴量算出手段４は、Ｒ値とＢ値との差ＫＹijを、補正係数ＲＡＴＥijで除算することにより、特徴量ＫＹ'ijを算出する。これにより、図４（ｅ）に例示するような、特徴量ＫＹ'ijを各画素Ｐ４（ｉ，ｊ）のデータとする特徴画像Ｉ４が生成される。このとき、日向領域Ａ２に含まれているレーンマークＡ０の部分の特徴量ＫＹ'と、日影領域Ａ３に含まれているレーンマークＡ１の部分の特徴量ＫＹ'とが、それぞれ明るさに関して同レベルになるように算出された特徴画像Ｉ４が得られる。

次に、ＳＴＥＰ００４で、路面標示検出手段５は、特徴画像Ｉ４に対して、トップハットフィルタを用いてフィルタ処理を施す。具体的には、特徴画像Ｉ４にトップハットフィルタを用いてフィルタ処理した出力を、所定の閾値で２値化した２値画像を生成する。
ここで、特徴画像Ｉ４においては、上述したＳＴＥＰ００３における特徴量ＫＹ'を算出する処理により、明るさの違いに応じた特徴量ＫＹ'のレベルの変動が抑制されるように特徴量ＫＹ'が算出されているので、前記フィルタ処理により、レーンマークＡ０，Ａ１とその周囲の路面とを適切に区分して、レーンマークＡ０，Ａ１（黄線）を抽出した２値画像を生成することができる。

次に、ＳＴＥＰ００５で、路面標示検出手段５は、前記フィルタ処理の施された特徴画像と、輝度画像Ｉ１とを合成する。具体的には、前記フィルタ処理の施された特徴画像（２値画像）の白の部分の値を、輝度画像Ｉ１の輝度値の最大値と同じ値にして、該輝度画像Ｉ１と合成する。
次に、ＳＴＥＰ００６で、路面標示検出手段５は、前記合成された画像に対して、レーンマークを検出する処理を行う。ＳＴＥＰ００５で、カラー画像Ｉ０中の黄線の抽出された画像である前記フィルタ処理の施された特徴画像と、カラー画像中の白線の強調された画像である輝度画像Ｉ１とを合成することにより、カラー画像Ｉ０中に白線と黄線とが共に存在する場合に、ＳＴＥＰ００６のレーンマークを検出する処理において、黄線と白線とを同時に検出できる。

以上の処理により、道路の照射状態が部分的に異なる場合でも、カラービデオカメラ６により取得された道路のカラー画像から、レーンマークＡ０，Ａ１を精度良く検出することができる。

上記第１実施形態においては、輝度値算出手段３を備えるものとしたが、第２実施形態として、輝度値算出手段３を備えず、特徴量算出手段４は、特徴量ＫＹ'として、画像取得手段２により取得された道路のカラー画像Ｉ０の各画素のカラー成分のうち、路面標示の色に対応した所定の２つの値の比を用いてもよい。
なお、第２実施形態は、本発明の第１態様に対応するものである。

これによれば、特徴量ＫＹ'を算出する際に（図２のＳＴＥＰ００３）、Ｒ値とＢ値との差ＫＹijを補正係数ＲＡＴＥijで除算した値を特徴量ＫＹ'として用いる代わりに、ＫＹ'ij＝Ｒij／Ｂijにより、Ｒ値とＢ値との比を特徴量ＫＹ'として用いる。ここで、Ｒ値とＢ値との比は、カラー画像Ｉ０内の黄線の特徴を顕著に示す値であると共に、カラー画像Ｉ０の各画素について、明るさに関して同レベルとなるような値である。

このようにした場合でも、上述したＳＴＥＰ００３における特徴量ＫＹ'を算出する処理により、明るさの違いに応じた特徴量ＫＹ'のレベルの変動が抑制されるように特徴量ＫＹ'が算出されているので、レーンマークＡ０，Ａ１を精度良く検出することができ、前述のように輝度値算出手段３を備えた場合と同様の作用効果を奏する。

前記第１及び第２実施形態において、画像取得手段２は、画素データのカラー成分がＲ値、Ｇ値、Ｂ値で構成されるものとしたが、画素データのカラー成分として、ＣＭＹ出力を用いるものとしてもよい。この場合は、Ｃ値、Ｍ値、Ｙ値を用いて各画像の特徴量ＫＹ'を算出する。

また、前記第１実施形態において、輝度値算出手段３は、輝度値Ｙを、Ｒ値，Ｇ値，Ｂ値のうちの最大値Ｍａｘ、最小値Ｍｉｎを用いて、Ｙ＝（Ｍａｘ＋Ｍｉｎ）／２により算出してもよい。または、輝度値ＹとしてＧ値を用いるものとしてもよい。

また、前記第１実施形態において、画像取得手段２は、画素データのカラー成分と共に、カラービデオカメラ６からのモノクロ信号の出力を画素データのモノクロ成分として取得し、輝度値算出手段３は、該モノクロ成分を輝度値Ｙとして用いるものとしてもよい。

また、前記第１実施形態において、特徴量算出手段４は、特徴量ＫＹ'として、所定の２つの値の差ＫＹを補正係数ＲＡＴＥで除算した値を用いるものとしたが、画像取得手段２により取得された道路のカラー画像Ｉ０の各画素のカラー成分のうち、路面標示の色に対応した所定の２つの値の和を補正係数ＲＡＴＥで除算した値を用いるものとしてもよい。

また、前記第１実施形態において、特徴量算出手段４は、補正係数ＲＡＴＥを、図５で例示したグラフから決定する代わりに、予め設定した輝度値Ｙと補正係数ＲＡＴＥとの相関式により算出してもよく、或いは、予め設定した輝度値Ｙと補正係数ＲＡＴＥとの対応を示すデータテーブル等を用いて決定してもよい。

前記第１及び第２実施形態において、路面標示検出手段５は、特徴画像Ｉ４をフィルタ処理する際に、トップハットフィルタを用いる代わりに、エッジフィルタを用いてフィルタ処理してもよい。この場合、エッジフィルタにより、トップハットフィルタを用いた場合と同様に、レーンマークＡ０，Ａ１とその周囲の路面とを適切に区分することができる。

また、前記第１及び第２実施形態において、路面標示検出手段５は、特徴画像Ｉ４をフィルタ処理せず、例えば、特徴画像Ｉ４に対して直接、所定の閾値で２値化して２値画像を出力してもよい。

また、前記第１及び第２実施形態において、路面標示検出手段５は、フィルタ処理を施した特徴画像を輝度画像Ｉ１と合成せず、該フィルタ処理を施した特徴画像に対して直接、レーンマークを検出する処理を行うようにしてもよい。これによれば、所定色（黄色等）の路面標示のみが検出される。

また、前記第１及び第２実施形態においては、黄色の路面標示を検出したが、他色の路面標示を検出対象とする場合にも、該他色に対応した特徴量ＫＹを設定することにより、本発明の効果を得ることができる。

また、前記第１及び第２実施形態においては、路面標示として、黄線を検出したが、他の種類のレーンマーク（Ｂｏｔｔｓ Ｄｏｔｓ，キャッツアイ等）、道路標示等を検出対象とする場合にも、本発明の効果を得ることができる。

本発明の第１実施形態による路面標示認識装置の機能ブロック図。 図１の路面標示認識装置の路面標示認識処理を示すフローチャート。 図１の路面標示認識装置の路面標示認識処理における処理画像の例示図。 図１の路面標示認識装置による路面標示認識処理における輝度画像と特徴画像との生成、および特徴画像の補正に関する説明図。 図１の路面標示認識装置の路面標示認識処理における輝度画像の輝度値と特徴画像の補正係数との関係を示すグラフ。

１…路面標示認識装置、２…画像取得手段、３…輝度値算出手段、４…特徴量算出手段、５…路面標示検出手段、６…カラービデオカメラ（撮像手段）。

Claims (8)

1. 撮像手段と、
   前記撮像手段を介して道路のカラー画像を取得する画像取得手段と、
   前記カラー画像の各画素のカラー成分から、前記道路の路面標示の色に対応した各画素の特徴量を算出する特徴量算出手段と、
   前記カラー画像の各画素の前記特徴量を、該カラー画像における各画素の位置に合わせて配列した特徴画像から、前記道路の路面標示を検出する路面標示検出手段とを有し、
   前記カラー画像の各画素のカラー成分は、Ｒ値、Ｇ値及びＢ値、又はＣ値、Ｍ値及びＹ値からなり、
   前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の比を用いることを特徴とする車両。
2. 撮像手段と、
   前記撮像手段を介して道路のカラー画像を取得する画像取得手段と、
   前記カラー画像の各画素のカラー成分から、各画素の輝度値を算出する輝度値算出手段と、
   前記カラー画像の各画素のカラー成分と前記輝度値とから、前記道路の路面標示の色に対応した各画素の特徴量を算出する特徴量算出手段と、
   前記カラー画像の各画素の前記特徴量を、該カラー画像における各画素の位置に合わせて配列した特徴画像から、前記道路の路面標示を検出する路面標示検出手段とを有し、
   前記カラー画像の各画素のカラー成分は、Ｒ値、Ｇ値及びＢ値、又はＣ値、Ｍ値及びＹ値からなり、
   前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の差又は和を、各画素の前記輝度値に応じて、該輝度値が大きくなるほど大きくなるように定められる所定の補正係数で除算した値を用いることを特徴とする車両。
3. 撮像手段と、
   前記撮像手段を介して道路のカラー画像を取得する画像取得手段と、
   前記カラー画像の各画素のカラー成分から、各画素の輝度値を算出する輝度値算出手段と、
   前記カラー画像の各画素のカラー成分と前記輝度値とから、前記道路の路面標示の色に対応した各画素の特徴量を算出する特徴量算出手段と、
   前記カラー画像の各画素の前記特徴量を、該カラー画像における各画素の位置に合わせて配列した特徴画像から、前記道路の路面標示を検出する路面標示検出手段とを有し、
   前記カラー画像の各画素のカラー成分は、Ｒ値、Ｇ値及びＢ値、又はＣ値、Ｍ値及びＹ値からなり、
   前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の差又は和を、各画素の前記輝度値に応じて、該輝度値が所定輝度値以上のときには、該輝度値が大きくなるほど大きくなるように定められる所定の補正係数で除算した値を用いると共に、該輝度値が前記所定輝度値未満のときには、該輝度値が該所定輝度値であるときの前記所定の補正係数で除算した値を用いることを特徴とする請求項３記載の車両。
4. 前記路面標示検出手段は、前記特徴画像に対して、トップハットフィルタ又はエッジフィルタによるフィルタ処理を行って、前記道路の路面標示を検出することを特徴とする請求項１から請求項３のうちいずれか１項記載の車両。
5. 撮像手段を介して道路のカラー画像を取得する画像取得手段と、
   前記カラー画像の各画素のカラー成分から、前記道路の路面標示の色に対応した各画素の特徴量を算出する特徴量算出手段と、
   前記カラー画像の各画素の前記特徴量を、該カラー画像における各画素の位置に合わせて配列した特徴画像から、前記道路の路面標示を検出する路面標示検出手段とを有し、
   前記カラー画像の各画素のカラー成分は、Ｒ値、Ｇ値及びＢ値、又はＣ値、Ｍ値及びＹ値からなり、
   前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の比を用いることを特徴とする路面標示認識装置。
6. 撮像手段を介して道路のカラー画像を取得する画像取得手段と、
   前記カラー画像の各画素のカラー成分から、各画素の輝度値を算出する輝度値算出手段と、
   前記カラー画像の各画素のカラー成分と前記輝度値とから、前記道路の路面標示の色に対応した各画素の特徴量を算出する特徴量算出手段と、
   前記カラー画像の各画素の前記特徴量を、該カラー画像における各画素の位置に合わせて配列した特徴画像から、前記道路の路面標示を検出する路面標示検出手段とを有し、
   前記カラー画像の各画素のカラー成分は、Ｒ値、Ｇ値及びＢ値、又はＣ値、Ｍ値及びＹ値からなり、
   前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の差又は和を、各画素の前記輝度値に応じて、該輝度値が大きくなるほど大きくなるように定められる所定の補正係数で除算した値を用いることを特徴とする路面標示認識装置。
7. 撮像手段を介して道路のカラー画像を取得する画像取得手段と、
   前記カラー画像の各画素のカラー成分から、各画素の輝度値を算出する輝度値算出手段と、
   前記カラー画像の各画素のカラー成分と前記輝度値とから、前記道路の路面標示の色に対応した各画素の特徴量を算出する特徴量算出手段と、
   前記カラー画像の各画素の前記特徴量を、該カラー画像における各画素の位置に合わせて配列した特徴画像から、前記道路の路面標示を検出する路面標示検出手段とを有し、
   前記カラー画像の各画素のカラー成分は、Ｒ値、Ｇ値及びＢ値、又はＣ値、Ｍ値及びＹ値からなり、
   前記特徴量算出手段は、前記カラー画像の各画素の特徴量として、各画素のカラー成分のうち、前記路面標示の色に対応した所定の２つの値の差又は和を、各画素の前記輝度値に応じて、該輝度値が所定輝度値以上のときには、該輝度値が大きくなるほど大きくなるように定められる所定の補正係数で除算した値を用いると共に、該輝度値が前記所定輝度値未満のときには、該輝度値が該所定輝度値であるときの前記所定の補正係数で除算した値を用いることを特徴とする路面標示認識装置。
8. 前記路面標示検出手段は、前記特徴画像に対して、トップハットフィルタ又はエッジフィルタによるフィルタ処理を行って、前記道路の路面標示を検出することを特徴とする請求項５から請求項７のうちいずれか１項記載の路面標示認識装置。

Images