JP4365352B2

JP4365352B2 - 車両及びレーンマーク認識装置

Info

Publication number: JP4365352B2
Application number: JP2005197511A
Authority: JP
Inventors: 幸男小林; 友好青木; 卓馬中森; 直樹森
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2005-07-06
Filing date: 2005-07-06
Publication date: 2009-11-18
Anticipated expiration: 2025-07-06
Also published as: US20090123065A1; JP2007018154A; US7965870B2; EP1909230A1; EP1909230A4; EP1909230B1; CA2614247A1; WO2007004439A1; CA2614247C

Description

本発明は、道路に設けられたレーンマークを認識する機能を有する車両及びレーンマーク認識装置に関する。

従来より、車両前方の道路を撮影する車載カメラにより得られるカラー画像から、道路上に設けられた走行車線区分用のレーンマークを認識するレーンマーク認識装置が知られている（例えば、特許文献１参照）。

かかる従来のレーンマーク認識装置においては、白線及び黄線のレーンマークを検出するため、カラー画像の各画素のカラー信号に対して、レーンマークとレーンマーク以外の部分との差異を強調して、濃淡信号に変換する処理を行っている。

しかし、カラー画像の輝度が高い場合等、道路の状況によっては、濃淡信号に変換したときに、黄線を抽出できない場合があることから、白線と黄線のように、色が異なるレーンマークが混在する場合のレーンマークの検出性能を更に向上させることが要望されている。
特開２００２−１２３８１９号公報

本発明は上記背景を鑑みてなされたものであり、異なる色のレーンマークが混在する道路における各レーンマークの検出精度を向上させた車両及びレーンマーク認識装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、本発明の車両は、撮像手段と、該撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記カラー画像から道路のレーンマークの色に対応した特定色の画素を抽出した特定色抽出画像を生成する処理を、複数種類の該特定色について実行して、複数の特定色抽出画像を生成する特定色抽出画像生成手段と、該特定色抽出画像生成手段により生成された複数の特定色抽出画像に基づく合成画像から、各特定色のレーンマークを検出することを特徴とする。

また、本発明のレーンマーク認識装置は、撮像手段を介して道路のカラー画像を取得する画像取得手段と、前記カラー画像から道路のレーンマークの色に対応した特定色の画素を抽出した特定色抽出画像を生成する処理を、複数種類の該特定色について実行して、複数の特定色抽出画像を生成する特定色抽出画像生成手段と、該特定色抽出画像生成手段により生成された複数の特定色抽出画像に基づく合成画像から、各特定色のレーンマークを検出するレーンマーク検出手段とを備えたことを特徴とする。

かかる本発明の車両及びレーンマーク認識装置においては、前記特定色抽出画像生成手段によって、レーンマークの色に対応した各特定色の画素を抽出した複数の前記特定色抽出画像が生成される。この場合、各特定色抽出画像においては、対応するレーンマークの色を有する画素の部分と他の色の画素の部分とがより分離されたものとなるため、前記レーンマーク検出手段は、各特定色抽出画像を用いて各特定色のレーンマークを精度良く検出することができる。

さらに、本発明によれば、前記合成画像は、対応する特定色の画素が抽出された複数の特定色抽出画像を合成したものであるため、前記カラー画像における各特定色のレーンマークの部分が、他の色の部分から分離された画像となる。そのため、前記レーンマーク検出手段は、前記合成画像から各特定色のレーンマークを精度良く検出することができる。

また、前記本発明の車両及びレーンマーク認識装置において、前記レーンマーク検出手段は、前記特定色抽出画像生成手段により、第１の特定色の画素を抽出した第１の特定色抽出画像と、該第１の特定色以外の第２の特定色の画素を抽出した第２の特定色抽出画像が生成されたときに、前記第１の特定色抽出画像と前記第２の特定色抽出画像間の対応する各画素に対して、前記第２の特定色抽出画像の画素のデータのレベルが、前記第２の特定色用の閾値以上であるときは、前記第１の特定色抽出画像の画素のデータに、前記第１の特定色と判定される閾値以上のレベルのデータを付加して、前記合成画像の対応する画素のデータとし、前記第２の特定色抽出画像の画素のデータのレベルが、前記第２の特定色用の閾値未満であるときには、前記第１の特定色抽出画像の画素のデータを、前記合成画像の対応する画素のデータとする処理を行って、前記合成画像を生成することを特徴とする。

かかる本発明によれば、前記第１の特定色抽出画像の各画素のデータに対して、前記第１の特定色抽出画像以外の特定色抽出画像の対応する画素が特定色であるときに、前記閾値以上のレベルのデータを付加する処理を行って、前記合成画像を生成すると、前記合成画像においては、前記第１の特定色抽出画像以外の特定色抽出画像における特定色の画素に対応した画素のデータが、前記第１の特定色と判定されるレベルとなる。そのため、前記レーンマーク検出手段は、前記合成画像において前記閾値以上のレベルのデータを有する画素に基づいて、前記各特定色のレーンマークを容易に検出することができる。

また、前記本発明の車両及びレーンマーク認識装置において、前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第１の特定色のデータを抽出した第１の特定色抽出画像と、該第１の特定色抽出画像以外の特定色抽出画像の特定色の画素のデータのレベルを、該第１の特定色抽出画像の第１の特定色の画素のデータのレベルに整合させたレベル整合画像との間で、対応する各画素のデータのレベルを比較し、レベルが最大であるデータを前記合成画像の対応する画素のデータとする処理を行って、前記合成画像を生成することを特徴とする。

かかる本発明によれば、前記第１の特定色抽出画像と前記レベル整合画像との間で、対応する各画素のデータのレベルを比較し、レベルが最大であるデータを前記合成画像の対応する画素のデータとする処理を行って前記合成画像を生成すると、前記合成画像における各特定色の画素のデータのレベルが、前記第１の特定色抽出画像における前記第１の特定色の画素のデータのレベルに整合される。そのため、前記レーンマーク検出手段は、前記合成画像において、前記第１の特定色の画素のデータと同レベルのデータを有する画素に基づいて、各特定色のレーンマークを容易に検出することができる。

本発明の実施の形態について、図１〜図７を参照して説明する。図１は本発明の第１及び第２の実施形態におけるレーンマーク認識装置を搭載した車両の構成図、図２はレーンマーク検出における画像の説明図、図３は第１の実施形態におけるレーンマーク検出処理のフローチャート、図４は第１の実施形態における画像合成の説明図、図５は第２の実施形態におけるレーンマーク検出処理のフローチャート、図６は第２の実施形態における画像合成の説明図、図７は本発明の第３の実施形態におけるレーンマーク認識装置を搭載した車両の構成図である。

［第１の実施形態］先ず、本発明の第１の実施形態について説明する。図１を参照して、車両１ａに搭載されたレーンマーク認識装置２０ａは、走行車線を区分するために道路に設けられたレーンマーク（白線、黄線）を検出して、走行車線を認識するものである。

レーンマーク認識装置２０ａは、車両１ａに搭載されて車両１ａの前方の道路の画像を撮像するカラービデオカメラ１０（本発明の撮像手段に相当する）から出力される映像信号ＩＭ_sigを入力して、カラー画像ＩＭ_0を取得する画像取得手段３０、カラー画像ＩＭ_0からレーンマークの色に対応した特定色を抽出した特定色抽出画像ＩＭ_1，ＩＭ_2を生成する特定色抽出画像生成手段３１、及び特定色抽出画像ＩＭ_1，ＩＭ_2を用いてレーンマークを検出するレーンマーク検出手段５０ａを備えている。

特定色抽出画像生成手段３１は、「白」（本発明の第１の特定色に相当する）を特定色とした輝度抽出画像ＩＭ_1（本発明の第１の特定色抽出画像に相当する）を生成する輝度抽出画像生成部４０と、「黄」を特定色とした黄色抽出画像ＩＭ_2（本発明の第１の特定色抽出画像以外の特定色抽出画像に相当する）を生成する黄色抽出画像生成部４１とを備えている。

また、レーンマーク検出手段５０ａは、輝度抽出画像ＩＭ_1と黄色抽出画像ＩＭ_2とを合成して合成画像ＩＭ_Cを生成する画像合成部５１と、合成画像ＩＭ_Cからレーンマーク（白線及び黄線）を検出して、白線の位置データＰd1と黄線の位置データＰd2を出力するレーンマーク検出部５２とを備えている。

以下、図１，２，４を参照しつつ、図３に示したフローチャートに従って、レーンマーク認識装置２０ａによるレーンマークの認識処理について説明する。図３のＳＴＥＰ１及びＳＴＥＰ２は画像取得手段３０（図１参照）による処理である。画像取得手段３０は、ＳＴＥＰ１で、カラービデオカメラ１０から出力される道路の映像信号ＩＭ_sigを入力し、ＳＴＥＰ２で、該映像信号ＩＭ_sigのカラー成分（Ｒ値，Ｇ値，Ｂ値）をデモザイキングして、各画素のデータとして（Ｒ値，Ｇ値，Ｂ値）を有するｍ×ｎ個の画素からなるカラー画像ＩＭ_0（図２参照）を取得する。

続くＳＴＥＰ３は、輝度抽出画像生成部４０（図１参照）による処理であり、輝度抽出画像生成部４０は、カラー画像ＩＭ_0の各画素ＩＭ_0（ｉ，ｊ）（ｉ＝０，１，…，ｍ、ｊ＝０，１，…，ｎ）のカラー成分（Ｒij，Ｇij，Ｂij）に対して、以下の式（１）によるベクトル演算を行う。

ＧRij＝（Ｒij Ｇij Ｂij）（ＫR1 ＫG1 ＫB1）^Ｔ・・・（１）
但し、ＫR1，ＫG1，ＫB1：輝度抽出用の変換係数。

これにより、図２に示したように、各画素ＩＭ_1（ｉ，ｊ）のデータとして、輝度のレベル（明暗）を示す輝度データＧRijを有する輝度抽出画像ＩＭ_1が生成される。

また、ＳＴＥＰ４は黄色抽出画像生成部４１（図１参照）による処理であり、黄色抽出画像生成部４１は、カラー画像ＩＭ_0の各画素ＩＭ_0（ｉ，ｊ）のカラー成分（Ｒij，Ｇij，Ｂij）に対して、以下の式（２）によるベクトル演算を行う。

ＹEij＝（Ｒij Ｇij Ｂij）（ＫR2 ＫG2 ＫB2）^Ｔ・・・（２）
但し、ＫR2，ＫG2，ＫB2：黄色抽出用の変換係数。

これにより、図２に示したように、各画素ＩＭ_2（ｉ，ｊ）のデータとして、黄色のレベル（黄色との近似度合い）を示す黄色データＹEijを有する黄色抽出画像ＩＭ_2が生成される。

ここで、図２に示したように、カラー画像ＩＭ_0において、左側のレーンマークとして白線Ｌ1が含まれ、右側のレーンマークとして黄線Ｌ2が含まれている場合、輝度抽出画像ＩＭ_1においては、白線Ｌ1の抽出部分Ｌw1の画素の輝度データＧRijに比べて、黄線Ｌ2の抽出部分Ｌw2の画素の輝度データＧRijのレベルが低くなる。

この場合、輝度抽出画像ＩＭ_1を２値化してレーンマークを検出するときに、Ｌw2を抽出するためには、閾値をＬw2の画素の輝度データＧRijのレベルよりも下げる必要がある。しかし、このように閾値を下げると、レーンマーク以外の要素をノイズとして抽出し易くなり、レーンマークの検出精度が低下する虞がある。

そこで、レーンマーク検出手段５０ａ（図１参照）は、ＳＴＥＰ５で、画像合成部５１により、輝度抽出画像ＩＭ_1と黄色抽出画像ＩＭ_2を合成して、白線と黄線の双方を精度良く検出可能な合成画像ＩＭ_Cを生成する。

図２を参照して、黄色抽出画像ＩＭ_2においては、カラー画像ＩＭ_0における黄線Ｌ2が強調されたＬyの部分が抽出されている。そこで、画像合成部５１は、図４に示したように、黄色抽出画像ＩＭ_2の各画素の黄色データＹEijのレベルが所定の閾値ＹE_th以上であるとき（ＹEij≧ＹE_th）は、輝度抽出画像ＩＭ_1の対応する画素の輝度データＧRijの最上位ビットとして「１」（本発明の第１の特定色抽出画像において第１の特定色と判定される閾値以上のレベルのデータに相当する）を付加したデータを、合成画像ＩＭ_Cの対応する画素のデータとする。

また、黄色データＹEijのレベルが該閾値ＹE_th未満であるとき（ＹEij＜ＹE_th）には、輝度抽出画像ＩＭ_1の対応する画素の輝度データＧRijの最上位ビットとして「０」を付加したデータを、合成画像ＩＭ_Cの対応するデータとする。これにより、図２に示したように、左側の白線Ｌc1の部分の画素と右側の黄線Ｌc2の部分の画素のデータのレベルが、輝度抽出画像ＩＭ_1における２値化閾値（例えば、輝度ＧRijの範囲の中間値。本発明の第１の特定色抽出画像において第１の特定色と判定される閾値に相当する）を超える合成画像ＩＭ_Cが生成される。

次のＳＴＥＰ６，ＳＴＥＰ７は、レーンマーク検出手段５０ａに備えられたレーンマーク検出部５２による処理である。レーンマーク検出部５２は、ＳＴＥＰ６で、合成画像ＩＭ_Cの２値化、直線抽出処理等を行って、白線及び黄線を検出する。そして、ＳＴＥＰ７で、レーンマーク検出部５２は、車両１ａのメインＥＣＵ等に白線の位置データＰd1及び黄線の位置データＰd2を出力する。

［第２の実施形態］次に、本発明の第２の実施形態について説明する。第２の実施形態の車両及びレーンマーク認識装置は、画像合成部５１による合成画像ＩＭ_Cの生成方法のみが、上述した第１の実施形態と相違する。以下、図１，２，６を参照しつつ、図５に示したフローチャートに従って、レーンマーク認識装置２０ａによるレーンマークの認識処理について説明する。

図５のＳＴＥＰ２０〜ＳＴＥＰ２３は、上述した図３のＳＴＥＰ１〜ＳＴＥＰ４に対応した処理であり、輝度抽出画像ＩＭ_1と黄色抽出画像ＩＭ_2が生成される。続くＳＴＥＰ２４〜ＳＴＥＰ２７及びＳＴＥＰ４０は、画像合成部５１による処理である。画像合成部５１は、ＳＴＥＰ２４で、黄色抽出画像ＩＭ_2の各画素の黄色データＹEijにレベル整合用の係数ＧＡＩＮを乗じて、レベル整合画像ＩＭ_3（図６参照）を生成する。

そして、画像合成部５１は、輝度抽出画像ＩＭ_1、レベル整合画像ＩＭ_3、及び合成画像ＩＭ_Cの対応する各画素ＩＭ_1（ｉ，ｊ），ＩＭ_3（ｉ，ｊ），ＩＭ_C（ｉ，ｊ）のデータについて、ＳＴＥＰ２６，ＳＴＥＰ２７，ＳＴＥＰ４０の処理を行う。

ＳＴＥＰ２６で、画像合成部５１は、輝度抽出画像ＩＭ_1とレベル変換画像ＩＭ_3の対応する画素のデータＧRijとＬCijのレベルを比較する。そして、ＧRijのレベルがＬCijのレベルよりも大きいときはＳＴＥＰ２７に進み、ＧRijを合成画像ＩＭ_Cの対応する画素ＩＭ_C（ｉ，ｊ）のデータＣNijとする（ＧRij→ＣNij）。一方、ＧRijのレベルがＬCijのレベル以下であるときにはＳＴＥＰ４０に分岐し、ＬCijを合成画像ＩＭ_Cの対応する画素ＩＭ_C（ｉ，ｊ）のデータＣNijとする（ＣNij→ＧRij）。

このように、ＳＴＥＰ２５の処理を実行することにより、上述した第１の実施形態と同様に、図２に示したように、白線部分Ｌc1の画素のデータ及び黄線部分Ｌc2の画素のデータのレベルが輝度抽出画像ＩＭ_1における２値化閾値を越える合成画像ＩＭ_Cが生成される。

そして、レーンマーク検出部５２は、次のＳＴＥＰ２８で、合成画像ＩＭ_Cの２値化、直線抽出処理等を行って白線Ｌc1と黄線Ｌc2を検出し、ＳＴＥＰ２９で白線の位置データＰd1と黄線の位置データＰd2を、車両１ａのメインＥＣＵ等に出力する。

［第３の実施形態］次に、本発明の第３の実施形態について図７を参照して説明する。第３の実施形態においては、レーンマーク検出手段５０ｂの構成のみが上記第１の実施形態及び第２の実施形態と相違する。そのため、図１に示した車両１ａ及びレーンマーク認識装置２０ａと同一の構成については、同一の符号を付して説明を省略する。

レーンマーク検出手段５０ｂは、白線検出部５５と黄線検出部５６とを備えている。そして、白線検出部５５は、輝度抽出画像生成部４０により生成された輝度抽出画像ＩＭ_1を、白線の輝度レベルに応じた閾値で２値化し、直線抽出処理等を行って、白線を検出する。また、黄線検出部５６は、黄色抽出画像生成部４１により生成された黄色抽出画像ＩＭ_2を、黄線に対応した黄色データのレベルに応じた閾値で２値化し、直線抽出処理等を行って黄線を検出する。

このように、輝度抽出画像ＩＭ_1から白線を検出する場合、図２を参照して、白線部分Ｌw1の輝度データのレベルに合わせて２値化の閾値を設定することができるため、輝度データのレベルが低い部分がノイズとして抽出されることを排除して、精度良く白線を検出することができる。

また、黄色抽出画像ＩＭ_2から黄線を抽出する場合、図２を参照して、黄線部分Ｌyの黄色データのレベルに合わせて２値化の閾値を設定することができるため、黄色以外の他の色の部分がノイズとして抽出されることを排除して、精度良く黄線を検出することができる。

そして、レーンマーク検出手段５０ｂは、白線検出部５５により検出された白線の位置データＰd1と、黄線検出部５６により検出された黄線の位置データＰd2を、車両１ｂのメインＥＣＵ等に出力する。

なお、上述した第１〜第３の実施形態では、本発明の特定色として、白色のレーンマークに対応した輝度抽出画像と、黄色のレーンマークに対応した黄色抽出画像を抽出する例を示したが、他の色のレーンマークを検出する場合であっても、検出対象とするレーンマークの色の画素を抽出する同様の処理を行うことで、本発明を適用することができる。

また、上述した第１〜第３の実施形態では、白色及び黄色という２種類の色のレーンマークを検出する例を示したが、３種類以上の色のレーンマークを検出する場合であっても、カラー画像から各レーンマークの色に対応した特定色を抽出した特定色抽出画像を生成することにより、本発明を適用することができる。

また、上述した第１〜第３の実施形態では、レーンマークとして、白線及び黄線を検出したが、Botts Dots、キャッツアイ等、他の種類のレーンマークを検出する場合にも、本発明による効果を得ることができる。

また、上述した第１〜第３の実施形態では、各画素のカラー成分として、（Ｒ値，Ｇ値，Ｂ値）を有する画像データを用いたが、他の種類のカラー成分（ＣＭＹ、ＨＳＶ等）を有する画像データを用いる場合であっても、本発明の適用が可能である。

本発明の第１及び第２の実施形態におけるレーンマーク認識装置を搭載した車両の構成図。レーンマーク検出における画像の説明図。第１の実施形態におけるレーンマーク検出処理のフローチャート。第１の実施形態における画像合成の説明図。第２の実施形態におけるレーンマーク検出処理のフローチャート。第２の実施形態における画像合成の説明図。第３の実施形態におけるレーンマーク認識装置を搭載した車両の構成図。

符号の説明

１ａ，１ｂ…車両、１０…カラービデオカメラ（撮像手段）、２０ａ，２０ｂ…レーンマーク認識装置、３０…画像取得手段、３１…特定色抽出画像生成手段、４０…輝度抽出画像生成部、４１…黄色抽出画像生成部、５０ａ，５０ｂ…レーンマーク検出手段、５１…画像合成部、５２…レーンマーク検出部、５５…白線検出部、５６…黄線検出部

Claims

撮像手段と、
該撮像手段を介して道路のカラー画像を取得する画像取得手段と、
前記カラー画像から道路のレーンマークの色に対応した特定色の画素を抽出した特定色抽出画像を生成する処理を、複数種類の該特定色について実行して、複数の特定色抽出画像を生成する特定色抽出画像生成手段と、
該特定色抽出画像生成手段により生成された複数の特定色抽出画像に基づく合成画像から、各特定色のレーンマークを検出することを特徴とする車両。
前記レーンマーク検出手段は、
前記特定色抽出画像生成手段により、第１の特定色の画素を抽出した第１の特定色抽出画像と、該第１の特定色以外の第２の特定色の画素を抽出した第２の特定色抽出画像が生成されたときに、
前記第１の特定色抽出画像と前記第２の特定色抽出画像間の対応する各画素に対して、
前記第２の特定色抽出画像の画素のデータのレベルが、前記第２の特定色用の閾値以上であるときは、前記第１の特定色抽出画像の画素のデータに、前記第１の特定色と判定される閾値以上のレベルのデータを付加して、前記合成画像の対応する画素のデータとし、
前記第２の特定色抽出画像の画素のデータのレベルが、前記第２の特定色用の閾値未満であるときには、前記第１の特定色抽出画像の画素のデータを、前記合成画像の対応する画素のデータとする処理を行って、前記合成画像を生成することを特徴とする請求項１記載の車両。
前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第１の特定色のデータを抽出した第１の特定色抽出画像と、該第１の特定色抽出画像以外の特定色抽出画像の特定色の画素のデータのレベルを、該第１の特定色抽出画像の第１の特定色の画素のデータのレベルに整合させたレベル整合画像との間で、対応する各画素のデータのレベルを比較し、レベルが最大であるデータを前記合成画像の対応する画素のデータとする処理を行って、前記合成画像を生成することを特徴とする請求項１記載の車両。
撮像手段を介して道路のカラー画像を取得する画像取得手段と、
前記カラー画像から道路のレーンマークの色に対応した特定色の画素を抽出した特定色抽出画像を生成する処理を、複数種類の該特定色について実行して、複数の特定色抽出画像を生成する特定色抽出画像生成手段と、
該特定色抽出画像生成手段により生成された複数の特定色抽出画像に基づく合成画像から、各特定色のレーンマークを検出するレーンマーク検出手段とを備えたことを特徴とするレーンマーク認識装置。
前記レーンマーク検出手段は、
前記特定色抽出画像生成手段により、第１の特定色の画素を抽出した第１の特定色抽出画像と、該第１の特定色以外の第２の特定色の画素を抽出した第２の特定色抽出画像が生成されたときに、
前記第１の特定色抽出画像と前記第２の特定色抽出画像間の対応する各画素に対して、
前記第２の特定色抽出画像の画素のデータのレベルが、前記第２の特定色用の閾値以上であるときは、前記第１の特定色抽出画像の画素のデータに、前記第１の特定色と判定される閾値以上のレベルのデータを付加して、前記合成画像の対応する画素のデータとし、
前記第２の特定色抽出画像の画素のデータのレベルが、前記第２の特定色用の閾値未満であるときには、前記第１の特定色抽出画像の画素のデータを、前記合成画像の対応する画素のデータとする処理を行って、前記合成画像を生成することを特徴とする請求項４記載のレーンマーク認識装置。
前記レーンマーク検出手段は、前記特定色抽出画像生成手段により生成された複数の特定色抽出画像のうちの第１の特定色のデータを抽出した第１の特定色抽出画像と、該第１の特定色抽出画像以外の特定色抽出画像の特定色の画素のデータのレベルを、該第１の特定色抽出画像の第１の特定色の画素のデータのレベルに整合させたレベル整合画像との間で、対応する各画素のデータのレベルを比較し、レベルが最大であるデータを前記合成画像の対応する画素のデータとする処理を行って、前記合成画像を生成することを特徴とする請求項４記載のレーンマーク認識装置。