[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2007213166A - 道路区間線検出装置及び方法並びにプログラム - Google Patents

道路区間線検出装置及び方法並びにプログラム Download PDF

Info

Publication number
JP2007213166A
JP2007213166A JP2006030169A JP2006030169A JP2007213166A JP 2007213166 A JP2007213166 A JP 2007213166A JP 2006030169 A JP2006030169 A JP 2006030169A JP 2006030169 A JP2006030169 A JP 2006030169A JP 2007213166 A JP2007213166 A JP 2007213166A
Authority
JP
Japan
Prior art keywords
road
variation
region
interest
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006030169A
Other languages
English (en)
Other versions
JP4821348B2 (ja
Inventor
Shin Koike
伸 小池
Tomoyasu Tamaoki
友康 玉置
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006030169A priority Critical patent/JP4821348B2/ja
Publication of JP2007213166A publication Critical patent/JP2007213166A/ja
Application granted granted Critical
Publication of JP4821348B2 publication Critical patent/JP4821348B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)

Abstract

【課題】周囲環境の影響やノイズの影響を受け難い態様で、道路区間線を高精度に検出すること。
【解決手段】本発明による道路区画線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段10と、周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定手段104と、前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定手段108とを備え、道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出することを特徴とする。
【選択図】図3

Description

本発明は、道路区間線を検出する道路区間線検出装置及び方法並びにプログラムに関する。
従来から、車両に搭載されて車両前方を撮影する撮像手段と、前記撮像手段により撮像された画像の輝度変化に基づいて、レーンマーカ認識処理を行う第1のレーンマーカ認識手段と、前記撮像手段により撮像された画像と所定のテンプレートとのパターンマッチングにより、レーンマーカ認識処理を行う第2のレーンマーカ認識手段と、車両前方に光信号を送出する信号送出手段と、前記信号送出手段から送出された光信号の反射信号を受信する信号受信手段と、前記信号受信手段により受信した反射信号の受信量に基づいて、前記第1のレーンマーカ認識手段および前記第2のレーンマーカ認識手段のうちのいずれか一方を選択する選択手段とを備えることを特徴とするレーンマーカ認識装置が知られている(例えば、特許文献1参照)。
特開2004−139338号公報
ところで、一般的に、道路区間線は、上記の従来技術のように、画像中に含まれる道路区画線に関わる画素の信号レベルと、それ以外の領域の画素の信号レベルとの差(例えば輝度差)に基づいて、検出される。
しかしながら、単に信号レベルの差のみに着目するだけでは、ノイズの影響を適切に除去することができない虞がある。
また、車両から路面を含む風景を撮像して、周囲画像を取得する場合、得られる周囲画像の信号レベルは、周囲光のような車両の周囲環境の影響を受ける。このため、車両の周囲環境によっては、道路区画線に関わる画素の信号レベルと、それ以外の領域の画素の信号レベルとの差が小さく、道路区間線の検出に必要な信号レベル差が得られない場合がある。
そこで、本発明は、周囲環境の影響やノイズの影響を受け難い態様で、道路区間線を高精度に検出することができる道路区間線検出装置及び方法並びにプログラムの提供を目的とする。
上記目的を達成するため、第1の発明に係る道路区間線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定手段と、
前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定手段とを備え、
道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出することを特徴とする。
第2の発明は、第1の発明に係る道路区間線検出装置において、
前記着目領域は、複数個設定され、前記判定手段は、着目領域毎に前記判定を行うことを特徴とする。
第3の発明は、第2の発明に係る道路区間線検出装置において、
前記閾値設定手段は、各着目領域に対して算出されたばらつき度合いの平均値に基づいて、前記閾値を設定することを特徴とする。
第4の発明は、第1〜3のいずれかの発明に係る道路区間線検出装置において、
前記閾値設定手段は、道路区間線の特徴点が存在すると判定された着目領域内の特徴点の数に基づいて、前記閾値を設定することを特徴とする。
第5の発明は、第1〜4のいずれかの発明に係る道路区間線検出装置において、
前記周囲画像は、フレーム毎に処理され、
前記閾値設定手段により設定された閾値は、次フレームの周囲画像に対する前記判定手段による判定に用いられることを特徴とする。
第6の発明は、第1〜5のいずれかの発明に係る道路区間線検出装置において、
前記信号レベルのばらつき度合いは、モルフォロジー演算処理後の周囲画像に基づいて算出されることを特徴とする。
第7の発明は、第1〜6のいずれかの発明に係る道路区間線検出装置において、
前記道路区間線は、間隔をおいて点状に設けられる類の道路区画線であることを特徴とする。
上記目的を達成するため、第8の発明に係る道路区間線検出方法は、車両から撮像手段が撮像した路面を含む周囲画像を取得するステップと、
周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定ステップと、
前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定ステップと、
道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出するステップとを含むことを特徴とする。
上記目的を達成するため、第9の発明に係るコンピューター読み取り可能なプログラムは、コンピューターをして、(1)車両から撮像手段が撮像した路面を含む周囲画像を取得する処理、(2)周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する処理、及び、(3)道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出する処理を含む道路区間線検出処理を実行させることを特徴とする。
本発明によれば、周囲環境の影響やノイズの影響を受け難い態様で、道路区間線を高精度に検出することができる道路区間線検出装置及び方法並びにプログラムが得られる。
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
図1は、本発明による道路区画線検出装置の一実施例を含むシステム構成図である。本実施例の道路区画線検出装置100には、車両から路面を含む風景を撮像するカメラ10が接続される。カメラ10は、CCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)等の撮像素子により、例えば500万画素を有する路面を含む周囲画像を取得する。カメラ10は、例えばルームミラーに取り付けられ、車両前方の路面を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の路面を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の路面を撮像するものであってもよい。
カメラ10は、好ましくはリアルタイムに周囲画像を取得し、取得された周囲画像は、道路区画線検出装置100に供給される。この場合、周囲画像は、適切なフレームレートのストリーム形式で道路区画線検出装置100に供給されてよい。
道路区画線検出装置100は、以下詳説する如く、カメラ10から供給される周囲画像に基づいて、車両周辺の道路区画線を検出する。例えば、車両進行方向前方の路面を撮像するカメラ10の場合、道路区画線検出装置100は、車両前方の道路区画線を検出する。道路区画線は、道路上における白線、ボッツドッツ(Botts Dots)、キャッツアイ等を含む。なお、白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。
図2は、ボッツドッツ及びキャッツアイの説明図である。ボッツドッツ51は、主として北米で用いられる区画線であり、例えばセラミックからなる、直径100mm程度の立体状の円盤を複数並べて、路面に埋め込んだものである(図2(a))。一方、キャッツアイ53は、略矩形状に形成された反射体を複数並べた区画線であり、入射光を同一の方向に反射する特性を有している(図2(b))。キャッツアイ53のみから構成される区画線は、例えば、日本では、高速道路以外のカーブ道路等で使用されており、北米では、カーブ道路だけでなく、直線道路でも使用されている。ボッツドッツ51及びキャッツアイ53は、いずれも路面から僅かに突出した状態で配設されている。
道路区画線検出装置100による道路区画線の検出結果は、車線に沿った車両走行を支援する各種車載システムに用いられうる。
例えば、図1に示す例では、道路区画線検出装置100には、車両の走行支援を行う走行支援ECU30が通信回線を介して接続されている。道路区画線検出装置100は、道路区画線の検出結果を走行支援ECU30に通信回線を介して送信する。
走行支援ECU30は、車両LAN(Local Area Network)等の通信回線33に接続されている。また、車両LAN33には、ステアリングに付与されるアシスト力を制御する電動パワーステアリングECU(EMPS−ECU)35が接続されている。さらに、車両LAN33には、エンジンを統合的に制御するエンジンECU(EFI−ECU)37と、メータパネルの表示等を制御するメータECU39とが接続されている。これら走行支援ECU30、EMPS−ECU35、EFI−ECU37、メータECU39は、車両LAN33を介して、CANプロトコル等に基づいた、双方向のデータ通信を行う。
EMPS−ECU35には、ステアリングにアシスト力を付与する電動モータ等のステアリングアクチュエータ35aが接続されている。EMPS−ECU35は、走行支援ECU30から送信されたトルク値(電流値)に基づいて、ステアリングアクチュエータ35aを駆動、制御する。
EFI−ECU37には、車速を検出する車速センサ37aと、ステアリングの操舵角を検出する操舵角センサ37bが接続されている。車速センサ37aにより検出された車速、および操舵角センサ37bにより検出された操舵角は、EFI−ECU37および車両LAN33を介して、走行支援ECU30に送信される。
走行支援ECU30は、道路区画線検出装置100から通信回線を介して送信された道路区画線の検出結果と運転者の運転状況と基づいて、その後の車両の位置を予測し、自車両が区画線を逸脱するおそれがあると判断した場合に、警報信号をメータECU39に送信する(車線逸脱制御)。メータECU39は、走行支援ECU30からの警報信号を受信すると、ブザー39aに警告音を発生させ、及び/又は警告ランプ39bを点灯させる。
また、走行支援ECU30は、道路区画線検出装置100から通信回線を介して送信された道路区画線の検出結果に基づいて、自車両の推定位置を算出する。さらに、走行支援ECU30は、算出された自車両の推定位置と、車速センサ37aにより検出された車速と、操舵角センサ37bにより検出された操舵角と、に基づいて、自車両が区画線の略中央を走行する為に必要とするアシスト操舵力(電流値)を算出し、EMPS−ECU35に送信する(車線維持制御)。EMPS−ECU35は、走行支援ECU30から送信されたアシスト操舵力に基づいて、ステアリングアクチュエータ35aを制御する。道路区画線の検出結果は、車線逸脱制御や車線維持制御等に用いることができる。本実施例によれば、後述の如く高い精度で道路区画線を検出することができるので、これら各制御を高精度に行うことが可能となる。
図3は、本実施例による道路区画線検出装置100の主要部を示す機能ブロック図である。道路区画線検出装置100のハードウェア構成としては、マイクロコンピュータを中心に構成されている。従って、道路区画線検出装置100は、所与の実行プログラムに従って各種処理を行うCPU、このCPUの実行プログラムを格納するROM、画像データ、演算結果等を格納する読書き可能なRAM(Random Access Memory)、タイマ、カウンタ、入出力インターフェイス等を有している。これらCPU、ROM、RAM、及び入出力インターフェイスは、データバスにより相互に接続されている。尚、以下で説明する道路区画線検出装置100の各部は、CPUによって実行されるプログラムによって実現される。
道路区画線検出装置100は、図3に示すように、特徴点抽出部102、ノイズ除去部104、道路区画線検出部106、及び、閾値設定部108を含む。図3に示す各部102等の処理は、周囲画像のフレーム毎に実行される。即ち、随時供給ないし読み出される周囲画像の各フレームに対して、原則的に、それぞれ独立に実行される(もっとも、後述の如く、標準偏差閾値SDTHの設定方法等については、フレーム間で相関性がありうる。)。以下、各部の処理について詳説する。
特徴点抽出部102は、周囲画像内の特徴点を抽出する。特徴点抽出方法は、多種多様であるが、特徴点抽出部102は、好ましくは、モルフォロジー演算により特徴点を抽出する。モルフォロジー演算によれば、予め設定された構造要素Bを使用した集合論的操作により、元画像(濃淡画像)から特定の幾何学的構造をもった要素のみを選択的に抽出することができる。また、ノイズとの判別が困難な上述のボッツドッツ及びキャッツアイ等の点状の道路区間線を、比較的容易に検出することができる。
ここでは、好ましい実施例として、モルフォロジー演算により特徴点抽出処理が実行される場合について説明する。尚、モルフォロジー演算については、例えば「モルフォロジー」(コロナ社)等に詳述されている。
特徴点抽出部102には、上述の如く取得される周囲画像が入力される。この際、周囲画像は、光学系に起因する輝度ムラを除去する為にシェーディング補正された後、グレースケール化されてよい。例えば、256階調のグレースケール画像(濃淡画像)とされてよい。以下、かくして入力される周囲画像の濃淡画像を、「入力画像」と称する。
特徴点抽出部102は、所定の構造要素Bに基づいて、入力画像に対して収縮処理(Erosion)を行って収縮画像を生成し、生成された収縮画像に対して膨張処理(Dilation)を行ってOpening画像を生成する。次いで、特徴点抽出部102は、トップハット変換処理により、入力画像からOpening画像を差引いた差分画像を生成する(図5参照)。
モルフォロジー演算に用いる構造要素Bは、検出対象の道路区間線に応じて適切に設定される。即ち、構造要素Bの大きさは、得られる差分画像において検出対象の道路区間線とそれよりも小さいノイズのみが残存するように、決定される。
ここでは、ノイズとの判別が困難な上述のボッツドッツ及びキャッツアイ等の点状の道路区間線を検出する例として、検出対象物がボッツドッツである場合について説明する。尚、ボッツドッツ及びキャッツアイは、いずれも非常に小さい為、入力画像上では略同一の特性を持った写り方をする。したがって、ボッツドッツ及びキャッツアイのような点状の道路区間線は、同様の態様で検出可能である。
ボッツドッツの大きさは、見かけ上、「点のような状態」から「横方向へ数ピクセルの幅を持つ」場合まで変化する。トップハット変換の性質は、「構造要素Bよりも小さいものを残す」ことが基本となる為、構造要素Bの大きさをボッツドッツの大きさである10cm+αとすれば、見かけ上10cm以下に見えた場合でも対処できる。αの大きさは実際の実験によって設定されるが、ノイズ等の不要物に係る特徴点が残存しないように、大き過ぎない適度な大きさに設定するのが好ましい。
図4は、モルフォロジー演算処理を説明するための概念図であり、図4(a)は、入力画像の横方向の任意の1ライン(走査線)上の輝度分布を表す。即ち、図4(a)は、入力画像の画素列の輝度分布信号f(x)を示す(xは、横方向の画素位置を示す)。本例では、図4(a)に示すように、走査線上に、横幅6ピクセルの白線、2ピクセル(pixel)のノイズ、および3ピクセルのボッツドッツが含まれているものとする。また、構造要素Bは、例えば高さが1ピクセル、横幅が5ピクセルとする。
図4(b)は、収縮画像の上記走査線上の輝度分布を破線にて示し、入力画像の輝度分布信号f(x)を参考として実線にて示す。即ち、図4(b)は、収縮処理後の輝度分布信号を破線にて示す。収縮処理は、注目画素を中心とした、マスクサイズ幅(構造要素Bに応じて決定される値であって、本例では2.5ピクセル)の範囲内の最小値を探索する処理である。従って、収縮処理により、マスクサイズ(5ピクセル)よりも小さいノイズ及びボッツドッツが消去され、白線を表す幅が収縮される。
図4(c)は、opening画像の上記走査線上の輝度分布を破線にて示し、入力画像の輝度分布信号f(x)を参考として実線にて示す。opening処理は収縮処理後に膨張処理を行なう処理、すなわち最小値の探索の後に最大値を探索する処理である。従って、膨張処理により、白線を表す幅が復元されるが、ノイズ及びボッツドッツは消去されたままで、復元されない。
図4(d)は、差分画像の上記走査線上の輝度分布を実線にて示す。即ち、図4(c)は、トップハット変換処理後の輝度分布信号を実線にて示す。入力画像の輝度分布信号f(x)から、opening処理後の輝度分布信号を差分すると、図4(d)に示す如く、構造要素Bよりも大きい白線(点線)に係る輝度分布信号が消去され、構造要素Bよりも小さいノイズおよびボッツドッツのみに係る輝度分布信号が得られることが分かる。特徴点抽出部102は、差分画像における所定輝度レベル以上の画素の点を、特徴点として抽出する。これにより、白線のような構造要素Bよりも大きい物体に係る特徴点が除去され、ノイズおよびボッツドッツに係る特徴点のみが抽出されることになる。
尚、上記説明では、高さが1ピクセル、横幅が5ピクセルの一次元構造要素Bを用いているが、例えば、ボッツドッツよりも大きい円形(例えば、直径が4ピクセル)の構造要素(2次元構造要素)Bを用いてもよい。1次元構造要素を用いた場合、ボッツドッツの横幅と等しい補修痕、轍(わだち)の筋、雨の筋等が存在した場合であっても、形状が全く異なるにもかかわらず、除去できない場合がある。さらに、横幅が同じである為、トップハット変換処理を行っても、これら不要物は残存する。しかしながら、このような状況下においても、2次元の構造要素Bを用いれば容易に、上記のような不要物を区別することができる。
また、走査線の方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、モルフォロジー演算処理は、入力画像の全領域を認識対象領域として、当該認識対象領域内の全走査ラインに対して実行されてもよいが、予測可能な路面の領域を認識対象領域として限定してもよい。この場合、差分画像は、入力画像よりも全画素数が少なくなる。また、路面領域のうちの車両に近い領域を認識対象領域として限定してもよい。これは、ボッツドッツは直径が10cmしかない為、遠い領域になるとほとんど見えなくなってしまうことを考慮して、10cmのボッツドッツがノイズとの識別が困難なピクセルサイズ(例えば2ピクセル以下)となる領域での無駄な処理を省くためである。
ノイズ除去部104は、特徴点抽出部102により抽出された特徴点に含まれるノイズを除去する。即ち、ノイズ除去部104は、差分画像内に含まれるボッツドッツ以外の要素(主にノイズ)の成分を除去する。
具体的には、ノイズ除去部104は、差分画像(認識対象領域)を幾つかの着目領域に分割し、着目領域毎に、輝度レベルのばらつき度合い(散らばり度合い)を算出し、算出したばらつき度合いが標準偏差閾値SDTHより大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する。
図5は、差分画像に対する着目領域の設定態様の一例を示す。尚、図5に示す例では、認識対象領域は、右斜め方向に延びる道路に対応して略平行四辺形状に設定されており、認識対象領域には、上述の如くボッツドッツとノイズとが混在している。着目領域は、図5に示すように矩形の区域で設定されてもよいし、他の形状の区域で設定されてもよい。また、着目領域は、1走査線上の領域であってもよい。但し、着目領域は、好ましくは、ばらつき度合いが適切に評価されるように、ボッツドッツを表す画素数よりも大きなサイズを有することが望ましい。ばらつき度合いの算出に用いる画素数(標本数)は、差分画像の全画素数やボッツドッツを表す画素数等に依存するが、例えば100画素程度であってよい。
本例では、ばらつき度合いは、輝度レベルの標準偏差として算出される。但し、標準偏差に代えて分散や平均偏差等の統計量が用いられてもよい。また、ばらつき度合いは、好ましくは、着目領域に含まれる全画素の輝度レベルに基づいて導出されるが、着目領域に含まれる画素の幾つかを適切に間引きしてから導出されてもよい。
例えば、ある1着目領域が、N個の画素i(i=1,...N)を有し、各画素i(i=1,...N)の輝度レベルLiである場合、当該1着目領域に対する分散Φは、当該着目領域の各画素i(i=1,...N)の輝度レベルLiの平均値Lavを用いて、
Φ=1/N{(L1―Lav)+(L2―Lav)+...+(LN―Lav)}で表される。従って、1着目領域に対する標準偏差SDは、SD=Φ1/2で表される。以下、着目領域がM個あるとして、各着目領域R(i=1,...M)における標準偏差を、それぞれ記号SD(i=1,...M)で表す。
ここで、図5に示す着目領域Rのように、着目領域にボッツドッツを表す画素が含まれる場合、図5に示す着目領域Rのように、着目領域にノイズのみが含まれる場合に比べて、標準偏差が有意に大きくなる。即ち、SD>SDとなる。本実施例では、この点に着目し、適切な標準偏差閾値SDTHを設定して、ボッツドッツを含む着目領域と、ボッツドッツを含まない着目領域とを判別する。標準偏差閾値SDTHは、差分画像の解像度やボッツドッツのサイズ(画素数)等を考慮して適切に決定される。標準偏差閾値SDTHは、後述の閾値設定部108により設定される。標準偏差閾値SDTHは、固定であってもよいが、好ましくは後述のように後述の閾値設定部108により可変される。
ノイズ除去部104は、標準偏差SDが標準偏差閾値SDTH以下となる着目領域R(例えば図5に示す着目領域R)に対しては、当該着目領域Rにはノイズ成分のみが含まれると判断して、当該着目領域R内の全特徴点を除去・廃棄する。また、ノイズ除去部104は、標準偏差SDが標準偏差閾値SDTHよりも大きい着目領域R(例えば図5に示す着目領域R)に対しては、当該着目領域Rにはボッツドッツに係る特徴点が含まれると判断して、当該着目領域R内の特徴点を維持する。
図6は、ノイズ除去部104による上述のノイズ除去処理後の差分画像を示す。図6に示すように、ノイズ除去処理後には、図5に示す着目領域Rのような輝度レベルの標準偏差が小さい着目領域における全特徴点が除去される。これにより、ノイズ除去処理後には、図5に示す着目領域Rのような輝度レベルの標準偏差が大きい着目領域における特徴点のみが残される。即ち、ボッツドッツが含まれると判断された着目領域における特徴点のみが残される。
道路区画線検出部106は、上述の如くノイズ除去部104によるノイズ除去処理後の差分画像の特徴点に基づいて、ボッツドッツに係る特徴点を検出する。即ち、道路区画線検出部106は、標準偏差SDが標準偏差閾値SDTHよりも大きい着目領域R内で、ボッツドッツに係る特徴点を検出する。ここで、上述の如く、標準偏差SDが標準偏差閾値SDTHよりも大きい着目領域R内においても、ボッツドッツ以外にノイズ成分が依然として残りうるが、ノイズの輝度がボッツドッツの輝度より低い場合は、例えば所定のフィルタ閾値により容易にノイズ成分を除去することができる。一方、ノイズの輝度がボッツドッツの輝度より高い場合は、直線状に並ぶパターンのみを検出するハフ(Hough)変換等により、ボッツドッツに係る特徴点のみを容易に検出することができる。
道路区画線検出部106は、ボッツドッツに係る特徴点として検出した特徴点に基づいて、特徴点リストを生成して出力する。特徴点リストは、ここでは詳説しないが、それに基づいてボッツドッツの位置や方向(車線方向)の把握が可能であるので、上述の如く道路区画線の検出結果として走行支援ECU30により利用されることになる。
閾値設定部108は、ノイズ除去部104による上述の標準偏差SDによる閾値判定処理で用いられる標準偏差閾値SDTHを、設定する。本例では、閾値設定部108は、入力画像上のノイズ成分の出現態様が1フレーム間では大きく変化しないことに着目して、次回のフレームに対する標準偏差閾値SDTHを設定する。尚、1フレーム目の入力画像に対する標準偏差閾値SDTHは、適切な初期値(例えば6)が設定されてよい。
具体的には、閾値設定部108は、認識対象領域全体での輝度レベルの標準偏差の平均値SDAVを用いて、以下の式により標準偏差閾値SDTHを決定して設定する。
SDTH=SDAV+β
ここで、βは補正項であり、固定値であってよく、或いは、後述の如く可変値であってもよい。認識対象領域全体の標準偏差の平均値SDAVは、SDAV=1/M(SD+SD+...+SD)で表される。尚、認識対象領域全体の標準偏差の平均値SDAVは、認識対象領域全体に含まれる全画素の輝度レベルに基づく標準偏差であってもよい。
ところで、周囲光が少ない暗いシーンにおいては、ボッツドッツに関わる画素の輝度レベルが小さくなり、それに伴って、ボッツドッツの画素が含まれる着目領域の標準偏差が小さくなる。しかしながら、かかる場合には、認識対象領域全体の標準偏差の平均値SDAVが小さくなるので、それに伴って、設定される標準偏差閾値SDTHも小さい値となる。
このように本実施例によれば、入力画像(差分画像)全体の輝度レベルのばらつき度合いを用いて、標準偏差閾値SDTHを設定するので、車両の周囲環境によって入力画像)全体の輝度レベルが全体的に変化した場合であっても、適切な標準偏差閾値SDTHによりボッツドッツに係る特徴点を精度良く検出することができる。
本実施例において、標準偏差閾値SDTHを設定するのに用いる補正項βは、入力画像の状態に応じて動的に変化する可変値であってもよい。例えば、補正項βは、ノイズ除去部104によるノイズ除去処理後の差分画像に含まれる特徴点の数に応じて、変化されてもよい。この場合、閾値設定部108は、特徴点の数が所定数以上の場合(特徴点が多い場合)、標準偏差閾値SDTHが最適値よりも小さいと判断して、補正項βを大きくする。一方、閾値設定部108は、特徴点の数が所定数より小さい場合(特徴点が少ない場合)、標準偏差閾値SDTHが最適値よりも大きいと判断して、補正項βを小さくする。このように、補正項βを入力画像の状態に応じて変化させることで、常に最適な標準偏差閾値SDTHを設定することができ、その結果、ノイズ除去部104によるより適切なノイズ除去を実現することができる。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述した実施例では、今回のフレームの入力画像に基づいて設定された標準偏差閾値SDTHを、次回のフレームに係るノイズ除去処理に用いているが、今回のフレームの入力画像に基づいて設定された標準偏差閾値SDTHを、今回のフレームに係るノイズ除去処理に用いることも可能である。即ち、ノイズ除去部104によるノイズ除去処理の前段に、標準偏差閾値SDTH(平均値SDAV)を演算・設定し、当該標準偏差閾値SDTHを用いてノイズ除去部104によるノイズ除去処理(閾値判定処理)を実行してもよい。或いは、ノイズ除去部104によるノイズ除去処理の前段で、差分画像の認識対象領域全体に含まれる全画素の輝度レベルに基づく標準偏差を算出し、当該算出した標準偏差を平均値SDAVとして用いることとしてもよい。
また、上述した実施例では、認識対象領域全体の標準偏差の平均値SDAVに基づいて、標準偏差閾値SDTHを決定しているが、ボッツドッツが存在すると判定された着目領域を除く認識対象領域全体の標準偏差の平均値SD’AVに基づいて、標準偏差閾値SDTHを決定してもよい。例えば、着目領域SDにボッツドッツが存在すると判定された場合、SD’AV=1/M(SD+SD+...+SD)で表される標準偏差の平均値に基づいて、標準偏差閾値SDTHを決定してもよい。
また、上述した実施例は、上述の如く、ボッツドッツよりも大きい物体(例えば白線)とボッツドッツが混在する道路上において、白線やノイズを適切に除去しつつ、ボッツドッツを高精度に検出するものであるが、同一のタイプの道路区間線(例えば白線)のみが存在する道路上であれば、当該道路区間線に応じた適切な構造要素を設定し、同様のノイズ除去処理を実行することで、当該道路区間線を高精度に検出することが可能である。
また、上述した実施例は、ボッツドッツ等のような、通常の白線よりもサイズ(幅)が小さい道路区間線を検出するのに適した処理に関するものであるが、サイズが小さい白線であれば、それに応じた適切な構造要素を設定することで高精度に検出可能である。
また、上述した実施例は、ボッツドッツよりも大きい物体に係る特徴点を、モルフォロジー演算により適切に除去しているが、他の方法により除去してもよい。例えば、パターンマッチングやラインエッジ処理により白線が認識可能な場合には、当該認識結果に基づいて白線を除去し、当該白線が除去された画像に対して上述のノイズ除去処理を実行することで、白線やノイズを適切に除去しつつ、ボッツドッツを高精度に検出することができる。
また、上述した実施例では、輝度レベルのばらつきを利用してボッツドッツ等を高精度に検出するものであるが、カラー画像を入力画像として用い、色相や彩度を表す信号レベルのばらつきを利用してボッツドッツ等を高精度に検出することも可能である。例えば、色相レベルの標準偏差を用いる場合には、同様の態様で、色相レベルの標準偏差に対する適切な標準偏差閾値SDTHを設定すればよい。
本発明による道路区画線検出装置の一実施例を含むシステム構成図である。 ボッツドッツ及びキャッツアイの説明図である。 本実施例による道路区画線検出装置100の主要部を示す機能ブロック図である。 モルフォロジー演算処理を説明するための概念図である。 差分画像に対する着目領域の設定態様の一例を示す図である。 ノイズ除去部104による上述のノイズ除去処理後の差分画像を示す図である。
符号の説明
10 カメラ
30 走行支援ECU
100 道路区画線検出装置
102 特徴点抽出部
104 ノイズ除去部
106 道路区画線検出部
108 閾値設定部

Claims (9)

  1. 車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
    周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定手段と、
    前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定手段とを備え、
    道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出することを特徴とする、道路区間線検出装置。
  2. 前記着目領域は、複数個設定され、前記判定手段は、着目領域毎に前記判定を行う、請求項1に記載の道路区間線検出装置。
  3. 前記閾値設定手段は、各着目領域に対して算出されたばらつき度合いの平均値に基づいて、前記閾値を設定する、請求項2に記載の道路区間線検出装置。
  4. 前記閾値設定手段は、道路区間線の特徴点が存在すると判定された着目領域内の特徴点の数に基づいて、前記閾値を設定する、請求項1〜3のいずれかに記載の道路区間線検出装置。
  5. 前記周囲画像は、フレーム毎に処理され、
    前記閾値設定手段により設定された閾値は、次フレームの周囲画像に対する前記判定手段による判定に用いられる、請求項1〜4のいずれかに記載の道路区間線検出装置。
  6. 前記信号レベルのばらつき度合いは、モルフォロジー演算処理後の周囲画像に基づいて算出される、請求項1〜5のいずれかに記載の道路区間線検出装置。
  7. 前記道路区間線は、間隔をおいて点状に設けられる類の道路区画線である、請求項1〜6のいずれかに記載の道路区間線検出装置。
  8. 車両から撮像手段が撮像した路面を含む周囲画像を取得するステップと、
    周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定ステップと、
    前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定ステップと、
    道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出するステップとを含むことを特徴とする、道路区間線検出方法。
  9. コンピューターをして、次の各処理(1)〜(3)を含む道路区間線検出処理を実行させるコンピューター読み取り可能なプログラム。
    (1)車両から撮像手段が撮像した路面を含む周囲画像を取得する処理、
    (2)周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する処理、及び、
    (3)道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出する処理。
JP2006030169A 2006-02-07 2006-02-07 道路区間線検出装置及び方法並びにプログラム Expired - Fee Related JP4821348B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006030169A JP4821348B2 (ja) 2006-02-07 2006-02-07 道路区間線検出装置及び方法並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006030169A JP4821348B2 (ja) 2006-02-07 2006-02-07 道路区間線検出装置及び方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2007213166A true JP2007213166A (ja) 2007-08-23
JP4821348B2 JP4821348B2 (ja) 2011-11-24

Family

ID=38491565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006030169A Expired - Fee Related JP4821348B2 (ja) 2006-02-07 2006-02-07 道路区間線検出装置及び方法並びにプログラム

Country Status (1)

Country Link
JP (1) JP4821348B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010165204A (ja) * 2009-01-16 2010-07-29 Nissan Motor Co Ltd 車線認識装置および車線認識方法
US8644642B2 (en) 2008-04-30 2014-02-04 Nec Corporation Image quality evaluation method, system, and program based on an alternating-current component differential value
JP5569808B2 (ja) * 2008-04-30 2014-08-13 日本電気株式会社 画質評価システム、方法およびプログラム
JP2019003558A (ja) * 2017-06-19 2019-01-10 アイシン精機株式会社 物体検出装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320998A (ja) * 1995-05-25 1996-12-03 Nissan Motor Co Ltd レーンマーカ検出装置
JPH11353580A (ja) * 1998-06-09 1999-12-24 Anritsu Corp 夜間における車種判別装置及び方法
JP2000099686A (ja) * 1998-09-17 2000-04-07 Nippon Telegr & Teleph Corp <Ntt> パターン認識及び車両認識方法及びそのプログラムを記録した記録媒体
JP2001092970A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd 車線認識装置
JP2001307286A (ja) * 2000-04-27 2001-11-02 Mitsubishi Heavy Ind Ltd 交通流計測装置
JP2002160598A (ja) * 2000-11-24 2002-06-04 Fuji Heavy Ind Ltd 車外監視装置
JP2004062519A (ja) * 2002-07-29 2004-02-26 Nissan Motor Co Ltd レーンマーク検出装置
JP2004112144A (ja) * 2002-09-17 2004-04-08 Nissan Motor Co Ltd 前方車両追跡システムおよび前方車両追跡方法
JP2004139338A (ja) * 2002-10-17 2004-05-13 Nissan Motor Co Ltd レーンマーカ認識装置
JP2004145501A (ja) * 2002-10-23 2004-05-20 Nissan Motor Co Ltd 道路白線認識装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320998A (ja) * 1995-05-25 1996-12-03 Nissan Motor Co Ltd レーンマーカ検出装置
JPH11353580A (ja) * 1998-06-09 1999-12-24 Anritsu Corp 夜間における車種判別装置及び方法
JP2000099686A (ja) * 1998-09-17 2000-04-07 Nippon Telegr & Teleph Corp <Ntt> パターン認識及び車両認識方法及びそのプログラムを記録した記録媒体
JP2001092970A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd 車線認識装置
JP2001307286A (ja) * 2000-04-27 2001-11-02 Mitsubishi Heavy Ind Ltd 交通流計測装置
JP2002160598A (ja) * 2000-11-24 2002-06-04 Fuji Heavy Ind Ltd 車外監視装置
JP2004062519A (ja) * 2002-07-29 2004-02-26 Nissan Motor Co Ltd レーンマーク検出装置
JP2004112144A (ja) * 2002-09-17 2004-04-08 Nissan Motor Co Ltd 前方車両追跡システムおよび前方車両追跡方法
JP2004139338A (ja) * 2002-10-17 2004-05-13 Nissan Motor Co Ltd レーンマーカ認識装置
JP2004145501A (ja) * 2002-10-23 2004-05-20 Nissan Motor Co Ltd 道路白線認識装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644642B2 (en) 2008-04-30 2014-02-04 Nec Corporation Image quality evaluation method, system, and program based on an alternating-current component differential value
JP5569808B2 (ja) * 2008-04-30 2014-08-13 日本電気株式会社 画質評価システム、方法およびプログラム
JP5605570B2 (ja) * 2008-04-30 2014-10-15 日本電気株式会社 画質評価方法、画質評価システムおよびプログラム
US9280705B2 (en) 2008-04-30 2016-03-08 Nec Corporation Image quality evaluation method, system, and computer readable storage medium based on an alternating current component differential value
JP2010165204A (ja) * 2009-01-16 2010-07-29 Nissan Motor Co Ltd 車線認識装置および車線認識方法
JP2019003558A (ja) * 2017-06-19 2019-01-10 アイシン精機株式会社 物体検出装置

Also Published As

Publication number Publication date
JP4821348B2 (ja) 2011-11-24

Similar Documents

Publication Publication Date Title
US8077204B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
US7957559B2 (en) Apparatus and system for recognizing environment surrounding vehicle
JP4622001B2 (ja) 道路区画線検出装置および道路区画線検出方法
JP4248558B2 (ja) 道路区画線検出装置
JP5012718B2 (ja) 画像処理装置
JP2011175468A (ja) 区画線検出装置
JP2010064531A (ja) 白線検出装置
JP4821348B2 (ja) 道路区間線検出装置及び方法並びにプログラム
JP4584120B2 (ja) 道路区画線検出装置、道路区画線の検出方法、道路区画線の検出プログラム
JP3930366B2 (ja) 白線認識装置
JP5541099B2 (ja) 道路区画線認識装置
JP2008030619A (ja) 道路区画線種別判定装置、及び、道路区画線認識装置
JP4769594B2 (ja) 道路区間線検出装置及び方法並びにプログラム
JP2016110373A (ja) カーブミラー検出装置
JP2009193390A (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP4512044B2 (ja) 道路区間線検出装置
JP2006318059A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP6677141B2 (ja) 駐車枠認識装置
JP4532372B2 (ja) 道路区画線検出装置
JP2003271930A (ja) レーンマーク認識装置
US20130070098A1 (en) Apparatus for monitoring surroundings of a vehicle
JP4614826B2 (ja) 道路区画線検出装置
JP4584277B2 (ja) 表示装置
JP6729358B2 (ja) 認識装置
JP4572826B2 (ja) 道路区画線検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110822

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees