JP4032727B2

JP4032727B2 - Lane boundary detection device

Info

Publication number: JP4032727B2
Application number: JP2001379166A
Authority: JP
Inventors: 俊明柿並
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2001-12-12
Filing date: 2001-12-12
Publication date: 2008-01-16
Anticipated expiration: 2021-12-12
Also published as: JP2003178399A

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体が走行路（走行レーン）を移動走行する場合、走行レーンに設けられているレーンマーク（例えば、白線）の境界位置を検出する車線境界検出装置に関するものであり、特に、レーンマークの種類によらず、その境界位置を検出する車線境界検出装置に係わる。
【０００２】
【従来の技術】
近年、車両においては、車両を走行レーンに沿って車両を追従させる自動走行装置、横風や居眠り等によりドライバーの意図とは別に、車両が走行レーンより離れた場合、車両に備え付けられたステアリング操舵機構を用いて自動的にステアリング操舵機構を転舵して、車両の進行方向を走行レーンに対して追従させる自動操舵装置、或いは、車両走行中にドライバーの居眠り等により、車両が走行レーンから離れた場合に、ドライバーに対して注意を促す警報を発するレーン逸脱警報装置等において、白線の検出が必要となってくる。
【０００３】
例えば、この様な装置では、車両の進行方向に向けてカメラ（例えば、ＣＣＤカメラ）を車両に取り付け、車両に設けられたＣＣＤカメラにより、走行レーン前方の画像を取得する。そして、カメラによって撮像したカメラ画像を基に、画像処理技術を用いて、白線検出が行われる。
【０００４】
例えば、特開昭６３−１４２４７８号公報に示される白線検出装置では、カメラにより外部環境を撮像し、カメラで撮像されたカメラ画像が明暗の変化する点集合からエッジ検出を行っている。そして、エッジの幅が所定幅以下である領域を白線候補とし、その領域の中心点の集合から白線のパターンを分類して、ハフ変換を施すことにより、白線検出を行う。
【０００５】
一般的に、走行レーンにおける白線検出は、カメラによって撮像した画像の中から、白線は路面よりも明るいという特性を利用し、走行レーンと白線とを区別する。具体的には、カメラにより得られたカメラ画像に対して微分を行い、白線の輪郭データを抽出後、路面に沿った方向に伸びるパターンの中で、白線の幅が１５〜２０ｃｍであり、白線相互の間隔はレーン幅として設計基準値相当であれば白線と判断している（例えば、特開平６−１１９５９４号公報参照）。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記した白線検出の方法では、常に、車両が走行する走行レーンの両側に、１本の白線が存在することを前提としており、通常は１本の白線だけでなく、複数本の白線や車線、ブロック状の白線といった数々の種類が存在する。例えば、図２に示される様に、複数の走行レーンがある場合におけるレーン幅Ｌの白線（ａ）、片側一車線における白線（ｂ）、登坂車線における一方が破線で他方がブロック状の白線（ｃ）、カーブやトンネル等の手前でスピードを落とす場所に設けられる実線と破線とブロック状白線で構成される白線（ｄ），（ｅ）、センターラインと路側とを示す白線、高速道路等において片側一車線の場所に設けられる暫定共用区間に設けられる白線（ｇ），（ｈ）、車両が所定領域内部に進入することを禁止するゼブラゾーンに設けられる白線（ｉ）、分岐点や合流点に設けられた白線（ｊ）等の様々なものが存在する。これら白線に代表されるレーンマークの標示形態は、法令により定義されている。
【０００７】
上記した白線が路面上に設けられ、複数の白線が走行レーンに設けられた区間を、車両がその白線に沿って進行する場合、走行レーンの方向に沿って、平行な線分が複数本現れるため、走行レーンの白線との境界位置（レーンマーク境界位置）の特定が困難になってしまう。この様に、走行レーンのレーンマーク境界位置の特定が困難になると、走行レーンからずれたレーン検出を行う事となる。
【０００８】
よって、このレーン検出を、移動体の走行を制御する車両制御装置に応用した場合には、所望の性能が出せない場合が生じ得る。
【０００９】
よって、本発明は上記の問題点に鑑みてなされたものであり、走行レーンの車線境界を安定した状態で検出することを技術的課題とする。
【００１０】
【課題を解決するための手段】
上記の課題を解決するために講じた技術的手段は、移動体に設けられた撮像手段によって所定領域のレーンマークを前記移動体の走行レーンを撮像し、撮像した画像データに対して画像処理を行い、少なくとも単一のレーンマークの境界を検出する車線境界検出装置において、
前記画像データに基づき、前記画像データの画像濃度による画像ヒストグラムあるいは前記画像データの微分により求められるエッジのエッジヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラムの集まりに対して、グループ化を行うグループ作成手段と、グループ化された中で、個々のヒストグラムの中央となる第１中央位置を検出する第１中央位置検出手段と、前記第１中央位置に基づき、グループ化されたヒストグラムの中央となる第２中央位置を検出する第２中央位置検出手段と、異なるグループ間の前記第２中央位置に基づき、前記レーンマークまたは前記レーンマークが複数存在するレーンマーク群の中央を検出する車線中央位置検出手段とを備え、
前記車線境界検出装置は、さらに、前記画像データを微分して正負のエッジを求め、前記グループ化された中での正負のエッジの状態に基づき走行レーンを求め、該走行レーンの幅Ｗ_０、グループ化されたレーンマーク群に対する左右のレーンマーク群の幅Ｗ_Ｌ，Ｗ_Ｒおよび左右のレーンマーク群の中のレーンマークの数Ｎ_Ｌ，Ｎ_Ｒを検出し、前記レーンマーク群の幅Ｗ_Ｌ，Ｗ_Ｒおよび左右のレーンマーク群の中のレーンマークの数Ｎ_Ｌ，Ｎ_Ｒより、前記レーンマークの標示形態を割り当て、該標示形態に応じて、前記レーンマークまたは前記レーンマークが複数存在するレーンマーク群の前記中央、もしくは前記正負のエッジに基づきレーンマーク境界位置を求める。
【００１１】
上記した手段によれば、撮像手段により所定領域の車線を含む移動体の走行レーンを撮像して、画像データを得る。この得られた画像データに基づき、ヒストグラムを作成し、ヒストグラムの集まりを検出してグループ化を行う。そして、グループ化されたヒストグラムの中で、個々のヒストグラムの中央となる第１中央位置を検出し、第１中央位置に基づき、グループ化されたヒストグラムの集まりの中で中央となる第２中央位置を検出する。更に、異なるグループのヒストグラム間どうしの第２中央位置に基づき、レーンマークまたはレーンマークが複数存在するレーンマーク群の中央を検出し、レーンマーク境界位置を決めるようにしたので、画像データに基づくヒストグラムの作成により、安定したレーンマーク境界位置の検出が行える。例えば、走行レーンにおいて車線の汚れや影等による外乱が存在しても、ヒストグラム自体は大きく変化せず、画像データのヒストグラムを基にし、安定した状態で走行レーンのレーンマーク境界位置が特定される。
【００１２】
この場合、ヒストグラムは、画像データの画像濃度による画像ヒストグラムあるいは画像データの微分により求められるエッジのエッジヒストグラムであるため、所定領域の画像濃度を単に累積することによって画像ヒストグラムの作成が行える。あるいは、画像データを単に微分することによりエッジを求め、そのエッジを所定領域累積することによってエッジヒストグラムが求められて作成されるので、簡単な方法により走行レーンのレーンマーク境界位置が特定される。
【００１４】
上記のように、画像データを微分して、画像データからの正負のエッジを基にして走行レーンを求め、自車に最も近い走行レーンと他の走行レーンとの間で最も広い空間を出し、その空間を走行レーンの路面幅Ｗ０と見なせ得る。そして、走行レーンの左右のレーンマーク群の幅ＷＬ，ＷＲおよび左右のレーンマーク群の中のレーンマークの数ＮＬ，ＮＲを求め、レーンマーク表示形態を割り当てることによって、レーンマーク境界位置が簡単な方法により求められる。
【００１５】
この場合、レーンマークまたはレーンマーク群が、単線、合流・分岐、登坂車線、ゼブラ、偶数本の多重線の場合には、走行レーン両側のレーンマークに対して最も内側にある正負のエッジを境界位置とすれば、レーンマークまたはレーンマーク群が単線、合流・分岐、登坂車線、ゼブラ、偶数本の多重線の場合には、走行レーン両側のレーンマークに対して最も内側にある正負のエッジがレーンマーク境界位置となり、標示形態により確実にレーンマーク境界位置が特定される。
【００１６】
また、レーンマーク群が、奇数本の多重線、複合線区間の車線境界線の場合には、グループ化されたレーンマーク群の中央をレーンマーク境界位置とすれば、レーンマーク群が、奇数本の多重線、複合線区間の車線境界線の場合には、グループ化されたレーンマーク群の中央がレーンマーク境界位置となり、標示形態により確実にレーンマーク境界位置が特定される。
【００１７】
更に、レーンマーク群が、複合線区間、複合線区間の車道外側線／車線境界線の場合には、走行レーン両側の車線に対して最も内側にある正負のエッジに所定範囲α を加えたものをレーンマーク境界位置とすれば、レーンマーク群が、複合線区間、複合線区間の車道外側線／車線境界線の場合には、走行レーン両側の車線に対して最も内側にある正負のエッジに所定範囲α を加えたものをレーンマーク境界位置となり、標示形態により確実にレーンマーク境界位置が特定される。
【００１８】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１９】
図１は、車線境界検出装置（以下、本装置と単に称す）１のシステム構成図である。本装置１は、図２および図３に示す、様々なレーンマーク（ここでは、白線３０の標示形態（ａ）〜（ｊ））を安定した状態で検出する。そこで、本装置１について、図１を参照して説明に入る前に、以下に示す事項を定義する。本実施形態においては、本装置１を移動体に搭載した例（具体的には、車両の前方に向けて撮像部２が取り付けられ、車両の進行方向を撮像する構成）についての説明を行うが、移動体は車両には限定されるものではなく、移動が行える電子機械（例えば、ロボット等）であっても良い。また、撮像部２の取り付け方向は、車両の前後方向ではなく白線３０が撮像される様、車幅方向であっても良い。更に、本実施形態においては、路面上に付設され、白色および黄色で書かれた線に代表されるレーンマークの事を、総称して白線３０と称し、レーンマークがかたまって複数存在する集まりをレーンマーク群（白線群）３１として定義する。
【００２０】
そこで、図１を参照して、本装置１を説明する。本装置１では、車両の進行方向における走行レーン２９を含む風景が、車両の進行方向に向けて設けられた撮像部（カメラ）２により撮像される。この場合、車両の進行方向を撮像するカメラは、本実施形態では一例としてＣＣＤカメラを用いているが、これに限定されるものではなく、赤外線カメラであっても良い。
【００２１】
撮像部２により得られた情報（カメラ画像）はアナログ信号であり、このアナログ信号はＡ／Ｄ変換器３に送られ、Ａ／Ｄ変換器３によりデジタル化される。デジタル化された情報（デジタル画像データ）は、その後、フレームバッファ４に送られて、その後、エッジ検出部６および濃度分布測定部７に送られる。エッジ検出部６では画像データからエッジが検出される。ここで検出されたエッジは、次にエッジ分布測定部５に入力される。また、これと同時に、エッジ検出部６により検出されたエッジはエッジ分析部９へと送られ、エッジ分析部９にて白線と走行レーンとの区別がなされる。
【００２２】
中央位置検出部１０は、エッジ分布測定部５および濃度分布測定部７からの情報により、白線３０または白線群３１の中央の値あるいはその幾何学的重心位置を検出する。更に、度数測定部１１では検出された白線３０または白線群３１の状態が連続的な直線であるのか断続的な直線であるのかを測定する。
【００２３】
その後、判定部１２ではこれらの検出された情報に基づき、図２に示す白線３０の標示形態における走行レーン２９と白線３０とのレーンマーク境界位置判定を行う。そして、その判定結果を出力部１３に伝える。出力部１３は検出され特定された白線３０の標示形態およびそのレーンマーク境界位置情報を、外部の制御装置に出力する。尚、オフセット設定部８は、所定範囲内に白線がいくつも検出される複合線が白線群３１の中に検出された場合、このオフセット設定部８にて設定される定数によって、白線３０と走行レーン２９とのレーンマーク境界位置を＋αだけ広げるよう、白線間の間隔（走行レーンの間隔）を所定範囲＋αだけ、広げる作用を有するものである。
【００２４】
この様な構成の本装置１は、外部に接続される図示しない制御装置に対して必要な情報（白線形態あるいは白線３０と走行レーン２９とのレーンマーク境界位置に関する情報）が送られる。この場合、上記した制御装置は、車両を走行レーン２９に沿って追従させる自動走行装置、横風や居眠り等によりドライバーの意図とは別に、車両が走行レーン２９より離れた場合にステアリング操舵機構を自動的に転舵して、車両の向きを走行レーン２９に対して追従させる自動操舵装置、或いは、車両走行中にドライバーの居眠り等により、車両が走行レーンから離れた場合にドライバーに対して注意を促す警報を発するレーン逸脱警報装置等に、信号出力を出力して渡すことができる。
【００２５】
更に上記した各ブロックについて、詳細に説明することにする。
【００２６】
撮像部２は、ＣＣＤカメラにより走行レーン２９を含む風景を撮影し、撮像により得られたアナログデータを、Ａ／Ｄ変換器３に伝達してデジタルデータ化して画像データを得る。画像データは、その情報を一時的に記憶するフレームバッファ部４に格納される。
【００２７】
エッジ検出部６は、フレームバッファ部４に格納された画像データに対し、エッジ検出処理を施して、画像データから輪郭線部分のデータを抽出する。この際、画像データからのエッジ検出は、公知のPrewittsのオペレータを画像データに作用させて微分画像を得て、画像ノイズとなるレベル（ノイズレベル）以上の強度を有する領域を検出し、その領域の重心位置を測定することにより、エッジの中央位置を求め、エッジ点の集まりを検出する。この様な方法によって、カメラ画像からエッジ点群を求めるが、この際、画像データをある走査線４１に対して微分した場合、微分の極性が正のエッジデータ群と、負のエッジデータ群とをそれぞれ分けて、記憶する。
【００２８】
エッジ分布測定部５は、フレームバッファ部４に格納された画像データに対し、走行レーン２９の白線３０が映り、且つ、走行レーン幅の最大値を考慮したカメラ画像上の範囲内でウィンドウ４２の領域（ウィンドウ領域）を設定する。そして、このウィンドウ領域内でカメラ画像の横方向であるＸ座標ごとにエッジが検出された点数（エッジ点数）を累積し、エッジヒストグラムを作成する。この場合、エッジヒストグラムは、ウィンドウ４２により定義される所定領域の画像データで作成してもよいし、１本以上の走査線４１の画像データのみで作成しても良い。また、エッジヒストグラムは、あるタイミングで撮像した１枚の画像から作成しても良いし、時間的に連続した複数枚の画像の画像データから作成しても良い。
【００２９】
エッジ分析部９は、エッジ検出部６にて求めた正と負のそれぞれのエッジ点群に対して、公知のHough変換を適用して直線を検出する。この際、検出される直線は１本とは限らない。エッジ分析部９にて検出された直線群に対して、自車に最も近い直線と、それとは異なる直線との間隔が最も広い空間を探し求め、その最も広い空間を、走行レーン２９の路面幅Ｗ_０と見なす。この場合、その路面幅Ｗ_０の左側に位置する直線は、負のエッジ群により生成される直線であり、その右側に位置する直線は、正のエッジ群により生成される直線である。この車線幅Ｗ_０介して負のエッジ群により生成される直線と正のエッジ群により生成される直線との組み合わせを走行レーン２９における最も内側の境界線を表すペア直線と見なすようにしている。また、このエッジ分析部９では、直線の数と幅をカウントする。つまり、後述の白線形態の分類処理の為に、路面幅Ｗ_０の左のエッジ群により生成された直線の数Ｎ_Ｌをカウントすると共に、その右のエッジ群により生成された直線の数Ｎ_Ｒとをカウントする。更には、路面幅Ｗ_０の左のエッジ群による直線群の最大間隔Ｗ_Ｌと、右のエッジ群による直線群の最大間隔Ｗ_Ｒをエッジの間隔より算出する（図４参照）。上記した直線の数Ｎ_Ｌ、Ｎ_Ｒと、左のエッジ群の最大間隔Ｗ_Ｌおよび右のエッジ群の最大間隔Ｗ_Ｒは、図３に示す様に、撮像部２により進行方向の白線３０を撮像し、あるタイミングにて撮像した１枚のカメラ画像から求めても良いし、時間的に連続した複数枚のカメラ画像から作成した値の平均値により求めても良い。
【００３０】
濃度分布測定部７は、フレームバッファ部４に格納された画像データに対し、図３の如く、走行レーン２９の左右の白線３０が映り、走行レーンの路面幅Ｗ_０の最大値を考慮した所定の画像範囲内において、エッジ検出を行うウィンドウ４２を設定する。このウィンドウ４２の範囲（ウィンドウ領域）内で、Ｘ座標毎にウィンドウ４２の進行方向に対するＹ座標の奥行き分（ウィンドウ４２でのＹ方向の幅）だけ濃度を累積して濃度ヒストグラムを作成する。この場合、濃度ヒストグラムを求める原画像の画像データは所定のウィンドウ４２の画像データで作成しても良いし、１本以上の走査線４１による画像データのみで濃度ヒストグラムを作成しても良い。また、別の形態として、濃度ヒストグラムのデータは、所定タイミングにて撮像した１枚の画像データから作成しても良いし、時間的に連続した複数の画像データを用いて作成しても良い。
【００３１】
中央位置検出部１０は、濃度分布測定部７が出力する図４の（ａ）に示される画像データの原画像におけるデータに対して、路面濃度以上の高いしきい値を設定し、そのしきい値以上となる範囲でヒストグラムを作成している。例えば、図３において、撮像部２は、図３におけるカメラ画像において、左から右に走査線４１を走査する。そして、原画像の濃度が路面濃度により決まる所定のしきい値以上となる範囲で、図４の（ｂ）の様に濃度ヒストグラムを原画像データより求める。その後、個々の濃度ヒストグラムにおいて幾何学的な中心位置あるいは重心位置となる中央位置１を求め、図４の（ｃ）の如く、各白線３０の中央位置である中央位置１を検出する。この様な処理をＸ座標の右端の位置まで繰り返して、白線３０の数と位置を検出する。
【００３２】
また、走行レーン２９の左側に存在する、濃度がしきい値以上であるヒストグラムが単一の白線３０だけでなく、複数の白線３０が集まった白線群（例えば、実線３２，破線３３等）３１である場合には、白線群３１における個々のヒストグラムの全てに対する幾何学的な重心位置あるいは中央位置を算出し、路面幅Ｗ_０の左側に存在する白線群３１の中心位置を求める。同様にして、路面幅Ｗ_０の右側に存在する所定の濃度しきい値以上となるヒストグラムの全てに対する幾何学的な重心位置あるいは中央位置を求め、路面幅Ｗ_０の右側に存在する白線群３１の中央位置を求める。以上により、走行レーン２９の左右両側に存在する白線３０間の境界を確実に検出することができる（図４の（ｄ）参照）。
【００３３】
出現度数測定部１１は、濃度分布測定部７にて作成された濃度ヒストグラムのデータに対して路面の濃度値より高いしきい値を設定し、ヒストグラムのデータが所定しきい値以上となる範囲を１グループとしてグループ化して、１画像データ内でのグループ化された複数のグループの出現頻度Ｎ_Ｓと、その各グループの時系列的な出現頻度Ｎ_Ｔの度数をカウントする。所定の時間内におけるグループの出現頻度Ｎ_Ｓと時系列的なグループの出現頻度Ｎ_Ｔの大きい方の和、または、積を求めると、実線３２による白線３０の場合は時系列的にグループの出現度数が高くなる。一方、破線３３やブロック状３４の白線では時系列で見ると、出現頻度が低くなる。よって、この様な出現頻度の現れ方の特性を利用して、白線３０の構成要素である実線３２、破線３３、或いは、ブロック状３４の白線３０を正確に判定することができる。
【００３４】
オフセット設定部８は、実線３２や破線３３と言った様々な種類の白線３０により構成される複合線が検出される場合に、走行レーン両側の白線の内側境界から外側方向に対して、所定値(α)を加え、走行レーンの路面幅を広くするため、その所定値を本装置内のメモリに記憶させて、設定することができるようになっている。
【００３５】
判定部１２は、走行レーン２９を区分する境界線、つまり、１本または複数の白線３０にて構成されているとき、図２に示す複数の白線形態からパターンが判定され、白線３０の標示形態により、どこからの位置を走行レーン２０の境界（レーン境界）と見なすかを判定するものであり、以下に白線３０の標示形態からの判定方法について説明する。
【００３６】
（１）単線、偶数本の多重線、ゼブラで構成される車線の境界線であるとき、左右の白線群３１で形成される路面幅Ｗ_０が道路幅相当であり、（表１）に該当する場合には、路面幅Ｗ_０に接する直線を走行レーン２９の境界を示す位置として出力部１３に出力する。
【００３７】
具体的には、以下の場合には白線３０により決定される走行レーン２９に対して、左右の白線間の最も内側の境界位置（本実施形態においては、これを「内のり」と定義する）を、レーンマーク境界線とする。
【００３８】
【表１】

単線：白線３０は単線であり、その幅Ｗ_０が１５〜２０ｃｍである実線３２、または、白線３０は単線で、その幅が１５〜２０ｃｍである破線３３（図６の（ａ），（ｂ）参照）
合流・分岐・登坂斜線：一方(右)の車線境界線が１５ｃｍまたは２０ｃｍであり且つ他方(左)の白線３０が幅の広いブロック状３４，３５であり、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、３０〜１００ｃｍである（図６の（ｃ），（ｄ）参照）。
【００３９】
ゼブラ：一方(右)の車線境界線が１５ｃｍまたは２０ｃｍであり且つ他方(左)の白線が幅の広いゼブラ３７であり、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、３０ｃｍ以上の不定である（図６の（ｅ）参照）。
【００４０】
多重線：多重線３８，３９は、同じ太さの白線が所定本数（偶数本）以上、あるいは、合計の幅が所定以上で構成されており、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、３０ｃｍ以上である。この場合、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、２か４以上となる（図６の（ｆ），（ｇ）参照）。
【００４１】
（２）奇数本の多重線、複合線区間の車線境界線５１，５２であるとき、左右の白線群３１の距離となる路面幅Ｗ_０が道路幅相当であり、（表２）に該当する場合には、濃度分布の中央位置出力２の位置を走行レーンの境界を示す位置として出力部１３に出力する。
【００４２】
【表２】

多重線：同じ太さの白線が奇数本、あるいは、合計の幅が所定以下で構成されており、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、３５ｃｍ以上である。この場合、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、３となる（図７の（ａ），（ｂ）参照）。
【００４３】
複合線区間：単線の破線とブロック状の白線との組み合せで構成されており、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、４５ｃｍ以上である。この場合、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、３となる（図７の（ｃ），（ｄ）参照）。
【００４４】
（３）複合区間、複合線区間の車道外側線６１、複合線区間の車線境界線６２、複合線区間の車道外側線６１であるとき、左右の白線群３１の距離となる路面幅Ｗ_０が道路幅相当であり、（表３）に該当する場合には、路面幅Ｗ_０に接する直線に対して走行レーン２９の外側方向に所定値（α）を加えた位置を走行レーン２９の境界を示す位置として出力部１３に出力する。
【００４５】
【表３】

複合線区間：急激にレーン幅Ｗ_０が減少し、また、減少前のレーン境界位置より内側のブロック状道路標示の存在を認めた場合、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、４５ｃｍ以上であり、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、３となる（図８の（ａ）参照）。
【００４６】
複合線区間の車道外側線：単線実線とブロック線との組み合せで構成されており、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、４５ｃｍ以上であり、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、３となる（図８の（ｂ）参照）。
【００４７】
複合線区間の車線境界線：単線破線とブロック線との組み合せで構成されているが、各白線の境界線が不明瞭であり、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、４５〜８５ｃｍであり、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、１となる（図８の（ｃ）参照）。
【００４８】
複合線区間の車道外側線：単線実線とブロック線との組み合わせで構成されているが、各白線の境界線が不明瞭であり、左右の白線領域のＷ_Ｌ，Ｗ_Ｒは、４５〜５５ｃｍであり、白線領域の左右の直線数Ｎ_Ｌ，Ｎ_Ｒは、１となる（図８の（ｄ）参照）。
【００４９】
出力部１３は、判定部１２により決定されたレーンマーク境界位置を示す信号が、外部の警報装置や速度制御装置等に代表されるシステム制御装置に対して出力される。
【００５０】
本実施形態においては、濃度分布測定部７が出力する濃度ヒストグラムに対する処理と同様に、エッジ分布測定部５が出力するエッジヒストグラムに対して、中央位置検出部１０と出現度数測定部１１との処理を行い、レーン境界位置を求めることができる。
【００５１】
次に、走行レーンのレーン検出における本装置１の処理について、図９から図１１を参照して説明する。
【００５２】
（第１実施形態）
図９に第１実施形態におけるレーン検出方法を示す。このレーン検出処理では、ステップＳ１０にて、撮像部２により車両の進行方向の白線３０を含む風景を撮像し、その撮像した情報をカメラ画像としてフレームバッファ部４に入力する。ステップＳ１１では画像データを微分することによりエッジ検出がなされる。エッジ検出後、ステップＳ１２では、画像データを微分した場合、極性が負となる負エッジ群と、極性が正となる正エッジ群を求める。また、エッジがかたまって存在するエッジ点群に対し、左右のエッジ群にて分類する。ステップＳ１２で求めた左右のエッジ群に対して、ステップＳ１３では公知のHough変換を行い、エッジ群から直線を決定する。そして、ステップＳ１４では、負エッジ群より生成された直線と正エッジ群より生成された直線の組み合せにより、自車に最も近い直線と別の直線とで間隔が最も広い空間において、その空間の一方が負のエッジとなり、他方が正のエッジとなる幅を路面幅Ｗ_０として、図４に示す様に決定する。
【００５３】
ステップＳ１４にて走行レーン２９に対して、路面幅Ｗ_０の両端のエッジにより左右の境界線が検出されると、この境界線を基にして、ステップＳ１５ではエィンドウ４２の領域設定が行われる。ここでは、左右両方の境界線が含まれ、検出対象となる領域においてＹ方向の奥行きが決定されて、ウィンドウ４２の領域が設定される。この場合、Ｘ方向およびＹ方向のウィンドウ４２の大きさは固定であっても、走行状態により大きさを変化させても良い。
【００５４】
ウィンドウ４２の設定がなされると、ステップＳ１６では、図４の（ｂ）に示す如く、ウィンドウ４２の範囲内での原画像に対して、濃度ヒストグラムの作成が行われる。そして、ノイズレベル（ノイズの濃度しきい値）以上の画像データから、ステップＳ１７では濃度ヒストグラムの幾何学的重心あるいは中央位置を公知の算出方法により求め、その点を個々に存在する白線中央位置とする（図４の（ｃ）に示す中央位置１）。また、ステップＳ１７にて個々の白線中央位置が求まると、今度は、ステップＳ１８にて出現度数の測定がなされる。この出現度数の測定とは、濃度ヒストグラムのデータに対して路面の濃度以上となる濃度領域をグループ化する。そして、画面内での出現度数Ｎ_Ｓと時間的な出現度数Ｎ_Ｔをカウントして、所定時間内の出現頻度Ｎ_Ｓと出現度数Ｎ_Ｔの和または積等の比較を行う。次のステップＳ１９ではレーンマーク境界位置を求めるレーン境界位置判定を行い、ここでは、（表１）から（表３）に従う判定により、白線３０を実線３２、破線３３、ブロック状３４、ゼブラ３７、多重線３８，３９等に形態により分類する。そして、ステップＳ２０にて、ステップＳ１９より判定したレーンマーク境界位置として、外部の制御装置に出力する。
【００５５】
図９に示す第１実施形態におけるレーン検出方法では、画像データからの濃度ヒストグラムを作成することにより、走行レーン２９に対する左右の濃度ヒストグラムの幾何学的な重心位置あるいは中央位置を求めることによって、走行レーン２９の左右に存在する個々の白線３０あるいは白線群３１の中央位置がわかる。これによって、レーンマーク境界位置を正確に検出し、外部装置に対しても正確なレーン境界情報を出力することができる。
【００５６】
（第２実施形態）
次に、レーン検出処理の第２実施形態について、図１０を参照して説明する。図１０に示す第２実施形態では、基本的なレーン検出処理方法は、図９に示す第１実施形態と概略は同じである。しかし、図９の第１実施形態においては、濃度ヒストグラムデータから左右の白線群３１の中央位置あるいは重心位置を求めていたものに代わって、図１０に示す第２実施形態では、画像データを微分した場合に検出されるエッジに基き、エッジヒストグラムより左右の白線群３１の中央位置あるいは重心位置を求める方法が、図９と異なっている。
【００５７】
つまり、図９に示すステップ１６が、図１０ではステップＳ１６ａに代わっている。このステップＳ１６ａでは、原画像からの正のエッジおよび負のエッジを検出し、検出された正および負のエッジをウィンドウ４２のＹ方向における奥行き分（Ｙ方向の幅分）だけ累積することにより、図５の（ｃ）に示す如く、個々の正負のエッジヒストグラムを作成する。このエッジに基づくエッジヒストグラムより幾何学的重心あるいは中央位置を、図５の（ｄ）に示す如く、正と負で求める。そして、その正と負のエッジの中心を、図５の（ｅ）の如く、個々の白線の中央位置として求める。更にその後、白線群３１の中央となる位置を、図５の（ｆ）の如く求め、エッジヒストグラムよりレーンマーク境界位置を正確に検出し、外部装置に対しても正確なレーン境界情報を出力することができる。この様に、ヒストグラムにエッジを用いることにより、レーンマーク境界位置を決定し易くできる。
【００５８】
（第３実施形態）
図１１に、第３実施形態を示す。この図１１に示すフローチャートは、図９に示す第１実施形態と、図１０に示す第２実施形態を組み合せた例であり、図１１に示す左側の処理であるステップＳ１０−Ｓ２０は、図９に示すステップＳ１０−Ｓ２０に一致し、図１１に示す右側の処理であるステップＳ１５ａ−Ｓ１９ａが図１０に示すステップＳ１５−Ｓ１９に相当する。この方法によれば、一方の処理（左側の処理）では濃度ヒストグラムによりレーンマーク境界位置を決定し、他方の処理（右側の処理）ではエッジヒストグラムよりレーンマーク境界位置を決定するようにしたので、これらの２つの処理は走行する路面状況に応じて切り替える様にすることもできる。例えば、白線３０が標示される路面の状態をセンサ等により検出し、路面状態に応じてスイッチ等の切替手段によって、２つのレーン検出処理を並列処理しても良い。また、これとは別に、並列処理でなく、直列処理も行えることは言うまでもない。
【００５９】
上記した様に、本実施形態においては、境界線を構成する白線群の中で、最も内側の境界位置または、白線群３１の中央位置あるいは重心位置を検出する方法を取るので、白線群間３１の隙間の境界を検出しなくても良い。このため、走行路面において白線３０の汚れや影等による外乱が存在しても、安定して走行レーンのレーンマーク境界位置を特定できる。また、画像処理における画像信号に対しての分解能が低くても、安定した状態にてレーン境界位置を特定することができる。
【００６０】
【発明の効果】
本発明によれば、撮像手段により所定領域の車線を含む移動体の走行レーンを撮像し、得られた画像データに基づき、ヒストグラムを作成してヒストグラムの集まりを検出してグループ化を行う。そして、グループ化されたヒストグラムの中で、個々のヒストグラムの中央となる第１中央位置を検出し、第１中央位置に基づき、グループ化されたヒストグラムの集まりの中で中央となる第２中央位置を検出し、異なるグループのヒストグラム間どうしの第２中央位置に基づき、レーンマークまたはレーンマークが複数存在するレーンマーク群の中央を検出し、レーンマーク境界位置を決めるようにしたので、画像データに基づくヒストグラムの作成により、安定したレーンマーク境界位置の検出を行ことができる。例えば、走行レーンにおいて車線の汚れ、剥がれ、影、低コントラスト等による外乱により、白線情報の欠陥があっても、ヒストグラム自体は大きく変化せず、画像データのヒストグラムを基にし、安定した状態で走行レーンのレーンマーク境界位置を特定することができる。これによって、この車線境界検出装置を車両に適用した場合には、レーンマーク境界位置を安定した状態で特定できるので、レーンマーク境界位置を制御内で使用する制御装置（例えば、自動走行装置、自動操舵装置、レーン逸脱警報装置等）の信頼性を向上させることができる。
【００６１】
この場合、ヒストグラムは、画像データの画像濃度による画像ヒストグラムあるいは画像データの微分により求められるエッジのエッジヒストグラムであるため、所定領域の画像濃度を単に累積することによって画像ヒストグラムの作成ができる。あるいは、画像データを単に微分することによりエッジを求め、そのエッジを所定領域累積することによってエッジヒストグラムが作成できるので、簡単な方法により、走行レーンのレーンマーク境界位置を特定することができる。
【００６２】
また、画像データを微分して、正負のエッジを求め、グループ化された中での正負のエッジの状態に基づき走行レーンを求め、走行レーンの幅Ｗ０、グル
ープ化されたレーンマーク群の左右のレーンマーク群の幅ＷＬ，ＷＲおよび左右のレーンマーク群の中のレーンマークの数ＮＬ，ＮＲを検出し、レーンマーク群の左右の走行レーン幅ＷＬ，ＷＲおよび左右のレーンマーク群の中のレーンマークの数ＮＬ，ＮＲより、レーンマークの標示形態を割り当て、標示形態によりレーンマーク境界位置を求めるようにしたので、画像データからの正負のエッジを基にして走行レーンを求め、自車に最も近い走行レーンと他の走行レーンとの間で最も広い空間を検出し、その空間を走行レーンの路面幅Ｗ０と見なすことができる。そして、走行レーンの左右の走行レーン幅ＷＬ，ＷＲおよび左右の走行レーン数ＮＬ，ＮＲを求め、レーンマーク表示形態を割り当てることによって、レーンマーク境界位置を簡単な方法により求めることができる。
【００６３】
この場合、レーンマークまたはレーンマーク群が、単線、合流・分岐、登坂車線、ゼブラ、偶数本の多重線の場合には、走行レーン両側のレーンマークに対して最も内側にある正負のエッジを境界位置とすれば、レーンマークまたはレーンマーク群が単線、合流・分岐、登坂車線、ゼブラ、偶数本の多重線の場合には、走行レーン両側のレーンマークに対して最も内側にある正負のエッジがレーンマーク境界位置となり、標示形態により確実にレーンマーク境界位置を特定することができる。
【００６４】
また、レーンマーク群が、奇数本の多重線、複合線区間の車線境界線の場合には、グループ化されたレーンマーク群の中央をレーンマーク境界位置とすれば、レーンマーク群が、奇数本の多重線、複合線区間の車線境界線の場合には、グループ化されたレーンマーク群の中央をレーンマーク境界位置となり、標示形態により確実にレーンマーク境界位置を特定することができる。
【００６５】
更に、レーンマーク群が、複合線区間、複合線区間の車道外側線／車線境界線の場合には、走行レーン両側の車線に対して最も内側にある正負のエッジに所定範囲α を加えたものをレーンマーク境界位置とすれば、レーンマーク群が、複合線区間、複合線区間の車道外側線／車線境界線の場合には、走行レーン両側の車線に対して最も内側にある正負のエッジに所定範囲α を加えたものをレーンマーク境界位置となり、標示形態により確実にレーンマーク境界位置を特定することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態における車線境界検出装置の構成を示したブロック図である。
【図２】一般に路面に設けられる白線の標示形態の一例を示す説明図である。
【図３】図１に示す車線境界検出装置の撮像部によって撮像された画像データを示す平面図である。
【図４】図１に示す撮像部より撮像された画像データ（原画像）から濃度のヒストグラムを求め、エッジ検出を行うタイミングチャートである。
【図５】図１に示す撮像部より撮像された画像データ（原画像）から濃度のヒストグラムを求め、エッジ検出を行い白線群の中央位置を求めるタイミングチャートである。
【図６】本発明の一実施形態における車線境界検出装置によって決定された走行レーンと白線との車線境界（内のり）を示す説明図である。
【図７】本発明の一実施形態における車線境界検出装置によって決定された走行レーンと白線との車線境界（中央）を示す説明図である。
【図８】本発明の一実施形態における車線境界検出装置によって決定された走行レーンと白線との車線境界（内のり＋α）を示す説明図である。
【図９】第１実施形態におけるレーン検出の処理を示すフローチャートである。
【図１０】第２実施形態におけるレーン検出の処理を示すフローチャートである。
【図１１】第３実施形態におけるレーン検出の処理を示すフローチャートである。
【符号の説明】
１車線境界検出装置
２撮像部（撮像手段）
６エッジ検出部（グループ作成手段）
７濃度分布測定部（ヒストグラム作成手段）
１０中央位置検出部
（第１中央位置検出手段、第２中央位置検出手段、車線中央位置検出手段）
２９ウィンドウ（所定領域）
３０白線（レーンマーク）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a lane boundary detection device that detects a boundary position of a lane mark (for example, a white line) provided in a travel lane when the mobile body travels on a travel path (travel lane), The present invention relates to a lane boundary detection device that detects the boundary position regardless of the type of lane mark.
[0002]
[Prior art]
In recent years, in a vehicle, an automatic traveling device that causes the vehicle to follow the traveling lane, a steering steering mechanism provided in the vehicle when the vehicle is separated from the traveling lane, apart from the driver's intention due to crosswind or doze The vehicle is moved away from the driving lane due to the automatic steering device that automatically steers the steering mechanism using the vehicle to follow the traveling direction of the vehicle with respect to the driving lane, or the driver falls asleep while driving the vehicle. In such a case, it is necessary to detect a white line in a lane departure warning device that issues a warning to alert the driver.
[0003]
For example, in such an apparatus, a camera (for example, a CCD camera) is attached to the vehicle in the traveling direction of the vehicle, and an image ahead of the traveling lane is acquired by the CCD camera provided in the vehicle. Then, white line detection is performed using an image processing technique based on the camera image captured by the camera.
[0004]
For example, in the white line detection device disclosed in Japanese Patent Laid-Open No. 63-142478, an external environment is imaged by a camera, and edge detection is performed from a set of points where the camera image captured by the camera changes in brightness. Then, a white line is detected by classifying a white line pattern from a set of center points of the area, and applying a Hough transform to a region whose edge width is equal to or smaller than a predetermined width.
[0005]
In general, white line detection in a travel lane distinguishes between the travel lane and the white line from the image captured by the camera using the characteristic that the white line is brighter than the road surface. Specifically, differentiation is performed on the camera image obtained by the camera, and after extracting the outline data of the white line, the width of the white line is 15 to 20 cm in the pattern extending in the direction along the road surface. If the mutual interval is equivalent to the design standard value as the lane width, it is determined as a white line (see, for example, JP-A-6-119594).
[0006]
[Problems to be solved by the invention]
However, the above-described white line detection method always assumes that there is one white line on both sides of the travel lane on which the vehicle travels. Usually, not only one white line but also a plurality of white lines or There are many types such as lanes and block-shaped white lines. For example, as shown in FIG. 2, when there are a plurality of traveling lanes, a white line (a) having a lane width L, a white line (b) on one lane, one on the uphill lane, and the other on a block-shaped white line ( c) White lines (d) and (e) composed of solid lines and broken lines and block-shaped white lines provided at places where the speed is reduced in front of curves and tunnels, white lines indicating center lines and roadsides, highways, etc. White lines (g) and (h) provided in the temporary shared section provided in the location of one lane on one side, white lines (i) provided in the zebra zone that prohibits the vehicle from entering the predetermined area, branch points and junctions There are various things such as the white line (j) provided in the. The marking form of the lane mark represented by these white lines is defined by laws and regulations.
[0007]
When a vehicle travels along a white line provided on the road surface and the white line is provided on the driving lane, a plurality of parallel line segments appear along the direction of the driving lane. For this reason, it becomes difficult to specify the boundary position (lane mark boundary position) with the white line of the traveling lane. As described above, when it becomes difficult to specify the lane mark boundary position of the traveling lane, the lane deviated from the traveling lane is detected.
[0008]
Therefore, when this lane detection is applied to a vehicle control device that controls the traveling of a moving body, a case where desired performance cannot be achieved may occur.
[0009]
Therefore, the present invention has been made in view of the above-described problems, and an object of the present invention is to detect a lane boundary of a traveling lane in a stable state.
[0010]
[Means for Solving the Problems]
The technical means taken in order to solve the above-mentioned problem is that the imaging means provided on the moving body images the lane mark of the predetermined area and the traveling lane of the moving body, and performs image processing on the captured image data. In a lane boundary detection device that detects at least a boundary of a single lane mark,
Based on the image data, An edge of an edge obtained by image histogram based on image density of the image data or differentiation of the image data Histogram creation means for creating a histogram, group creation means for grouping the set of histograms, and a first center for detecting a first center position that is the center of each histogram among the grouped histograms Based on the position detection means, the second center position detection means for detecting the second center position that is the center of the grouped histogram based on the first center position, and the second center position between different groups, A lane center position detecting means for detecting the center of a lane mark or a lane mark group having a plurality of lane marks,
The lane boundary detection device further includes: The image data is differentiated to obtain a positive / negative edge, a traveling lane is obtained based on the state of the positive / negative edge in the group, and the width W of the traveling lane ₀ The width W of the left and right lane mark groups with respect to the grouped lane mark group _L , W _R And the number N of lane marks in the left and right lane mark groups _L , N _R , And the width W of the lane mark group _L , W _R And the number N of lane marks in the left and right lane mark groups _L , N _R Assigning the marking form of the lane mark to the marking form Depending on the lane mark or the center of the lane mark group including a plurality of lane marks, or the positive and negative edges. Find the lane mark boundary position.
[0011]
According to the above-mentioned means, the image data is obtained by imaging the traveling lane of the moving body including the lane in the predetermined area by the imaging means. A histogram is created based on the obtained image data, and a group of histograms is detected and grouped. Then, a first center position that is the center of each histogram is detected from the grouped histograms, and a second center position that is the center in the group of the grouped histograms based on the first center position. Is detected. Further, since the center of the lane mark group where a plurality of lane marks or a plurality of lane marks exist is detected based on the second center position between the histograms of different groups and the lane mark boundary position is determined, the histogram based on the image data This makes it possible to detect a stable lane mark boundary position. For example, even if there is disturbance due to lane stains or shadows in the lane, the histogram itself does not change greatly, and the lane mark boundary position of the lane is specified in a stable state based on the histogram of the image data. .
[0012]
In this case, the histogram is an image histogram based on the image density of the image data or an edge histogram of edges obtained by differentiation of the image data. For The image histogram can be created by simply accumulating the image density in a predetermined area. Alternatively, the edge is obtained by simply differentiating the image data, and the edge histogram is obtained and created by accumulating the edges in a predetermined area, so that the lane mark boundary position of the traveling lane is specified by a simple method.
[0014]
as mentioned above, Differentiate image data do it Then, a travel lane is obtained based on the positive and negative edges from the image data, and the widest space is created between the travel lane closest to the vehicle and other travel lanes, and this space is regarded as the road surface width W0 of the travel lane. It can be done. The widths WL and WR of the left and right lane mark groups of the traveling lane and the numbers NL and NR of the lane marks in the left and right lane mark groups are obtained, and the lane mark display position is assigned, thereby simplifying the lane mark boundary position. Determined by the method.
[0015]
In this case, if the lane mark or lane mark group is a single line, merge / branch, uphill lane, zebra, even number of multiple lines, the innermost lane mark on both sides of the lane Positive and negative edge at If the lane mark or lane mark group is a single line, merge / branch, uphill lane, zebra, even number of multiple lines, the innermost lane mark on both sides of the lane Positive and negative edge at Becomes the lane mark boundary position, and the lane mark boundary position is reliably specified by the marking form.
[0016]
If the lane mark group is an odd number of multiple lines or a lane boundary line of a composite line section, the grouped lane mark group Center Is the lane mark boundary position, and if the lane mark group is an odd number of multiple lines or a lane boundary line of a composite line section, the grouped lane mark group In the middle It becomes the lane mark boundary position, and the lane mark boundary position is surely specified by the marking form.
[0017]
Furthermore, when the lane mark group is a composite line section or a roadway outer line / lane boundary line of the composite line section, it is the innermost side with respect to the lanes on both sides of the lane. On a positive or negative edge If the lane mark boundary position is defined by adding the predetermined range α, when the lane mark group is a compound line section or a roadway outside line / lane boundary line of a compound line section, it is on the inside On a positive or negative edge The lane mark boundary position is obtained by adding the predetermined range α, and the lane mark boundary position is reliably specified by the marking form.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[0019]
FIG. 1 is a system configuration diagram of a lane boundary detection device (hereinafter simply referred to as this device) 1. The present apparatus 1 detects various lane marks (in this case, marking forms (a) to (j) of the white line 30) shown in FIGS. 2 and 3 in a stable state. Therefore, the following items are defined for the apparatus 1 before entering the description with reference to FIG. In the present embodiment, an example in which the apparatus 1 is mounted on a moving body (specifically, a configuration in which the imaging unit 2 is attached toward the front of the vehicle and images the traveling direction of the vehicle) will be described. The moving body is not limited to a vehicle, and may be an electronic machine (for example, a robot) that can move. Further, the mounting direction of the imaging unit 2 may be the vehicle width direction so that the white line 30 is captured instead of the vehicle front-rear direction. Furthermore, in the present embodiment, the lane marks attached to the road surface and represented by the lines written in white and yellow are collectively referred to as the white line 30, and a group of a plurality of lane marks is collected. A lane mark group (white line group) 31 is defined.
[0020]
The apparatus 1 will be described with reference to FIG. In the present apparatus 1, a landscape including a travel lane 29 in the traveling direction of the vehicle is imaged by an imaging unit (camera) 2 provided in the traveling direction of the vehicle. In this case, the camera that captures the traveling direction of the vehicle uses a CCD camera as an example in the present embodiment, but is not limited thereto, and may be an infrared camera.
[0021]
The information (camera image) obtained by the imaging unit 2 is an analog signal, which is sent to the A / D converter 3 and digitized by the A / D converter 3. The digitized information (digital image data) is then sent to the frame buffer 4 and then sent to the edge detection unit 6 and the density distribution measurement unit 7. The edge detection unit 6 detects an edge from the image data. The detected edge is input to the edge distribution measuring unit 5 next. At the same time, the edge detected by the edge detection unit 6 is sent to the edge analysis unit 9, and the edge analysis unit 9 distinguishes between the white line and the travel lane.
[0022]
The center position detection unit 10 detects the center value of the white line 30 or the white line group 31 or the geometric center of gravity position based on the information from the edge distribution measurement unit 5 and the density distribution measurement unit 7. Furthermore, the frequency measuring unit 11 measures whether the detected white line 30 or white line group 31 is a continuous straight line or an intermittent straight line.
[0023]
Thereafter, the determination unit 12 determines the lane mark boundary position between the traveling lane 29 and the white line 30 in the marking form of the white line 30 shown in FIG. 2 based on the detected information. Then, the determination result is transmitted to the output unit 13. The output unit 13 outputs the detected form of the identified white line 30 and the lane mark boundary position information to an external control device. Note that when a composite line in which a number of white lines are detected within a predetermined range is detected in the white line group 31, the offset setting unit 8 travels with the white line 30 according to a constant set by the offset setting unit 8. The distance between the white lines (the distance between the driving lanes) is increased by a predetermined range + α so that the lane mark boundary position with the lane 29 is increased by + α.
[0024]
The apparatus 1 having such a configuration sends necessary information (information on the white line form or the lane mark boundary position between the white line 30 and the traveling lane 29) to a control device (not shown) connected to the outside. In this case, the control device described above is an automatic traveling device that causes the vehicle to follow the traveling lane 29, and automatically controls the steering mechanism when the vehicle leaves the traveling lane 29, apart from the driver's intention due to a crosswind or doze. Automatically steer and follow the direction of the vehicle with respect to the driving lane 29, or when the vehicle leaves the driving lane due to the driver falling asleep during driving, etc. A signal output can be output and passed to a lane departure warning device or the like that issues a warning to prompt.
[0025]
Further, each block described above will be described in detail.
[0026]
The imaging unit 2 captures a landscape including the traveling lane 29 with a CCD camera, transmits analog data obtained by the imaging to the A / D converter 3 and converts it to digital data to obtain image data. The image data is stored in the frame buffer unit 4 that temporarily stores the information.
[0027]
The edge detection unit 6 performs edge detection processing on the image data stored in the frame buffer unit 4 and extracts contour line data from the image data. At this time, the edge detection from the image data is performed by applying a known Prewitts operator to the image data to obtain a differential image, detecting a region having an intensity higher than a level (noise level) that becomes image noise, and detecting the region. By measuring the position of the center of gravity, the center position of the edge is obtained, and a collection of edge points is detected. By such a method, an edge point group is obtained from a camera image. At this time, when the image data is differentiated with respect to a certain scanning line 41, an edge data group having a positive polarity and a negative edge data group are obtained. Are stored separately.
[0028]
The edge distribution measuring unit 5 shows the white line 30 of the traveling lane 29 in the image data stored in the frame buffer unit 4 and the window 42 within the range on the camera image considering the maximum value of the traveling lane width. Set the area (window area). Then, the number of points (edge points) at which edges are detected is accumulated for each X coordinate in the horizontal direction of the camera image within this window region, and an edge histogram is created. In this case, the edge histogram may be created from image data of a predetermined area defined by the window 42, or may be created from only image data of one or more scanning lines 41. The edge histogram may be created from one image captured at a certain timing, or may be created from image data of a plurality of images that are temporally continuous.
[0029]
The edge analysis unit 9 detects a straight line by applying a known Hough transform to each of the positive and negative edge point groups obtained by the edge detection unit 6. At this time, the detected straight line is not necessarily one. With respect to the straight line group detected by the edge analysis unit 9, a space having the widest distance between the straight line closest to the vehicle and a different straight line is searched for, and the widest space is determined as the road surface width W of the driving lane 29. ₀ Is considered. In this case, the road width W ₀ The straight line located on the left side of is a straight line generated by a negative edge group, and the straight line located on the right side thereof is a straight line generated by a positive edge group. This lane width W ₀ Thus, the combination of the straight line generated by the negative edge group and the straight line generated by the positive edge group is regarded as a pair straight line representing the innermost boundary line in the travel lane 29. The edge analysis unit 9 counts the number and width of straight lines. In other words, the road surface width W for the white line form classification process described later. ₀ Number N of straight lines generated by the left edge group of _L And the number N of straight lines generated by the right edge group _R And count. Furthermore, the road surface width W ₀ Maximum distance W between straight lines by the left edge group _L And the maximum distance W between straight lines by the right edge group _R Is calculated from the edge interval (see FIG. 4). Number of straight lines N _L , N _R And the maximum interval W of the left edge group _L And the maximum spacing W of the right edge group _R As shown in FIG. 3, the white line 30 in the traveling direction is imaged by the imaging unit 2, and may be obtained from one camera image captured at a certain timing, or a plurality of temporally continuous camera images. You may obtain | require by the average value of the value produced from.
[0030]
As shown in FIG. 3, the density distribution measurement unit 7 displays the left and right white lines 30 of the travel lane 29 on the image data stored in the frame buffer unit 4, and the road surface width W of the travel lane. ₀ A window 42 for edge detection is set within a predetermined image range in consideration of the maximum value of. Within the range (window region) of this window 42, the density histogram is created by accumulating the density for each X coordinate by the depth of the Y coordinate (the width in the Y direction in the window 42) with respect to the traveling direction of the window 42. In this case, the image data of the original image for obtaining the density histogram may be created from the image data of the predetermined window 42, or the density histogram may be created only from the image data of one or more scanning lines 41. As another form, the density histogram data may be created from one piece of image data captured at a predetermined timing, or may be created using a plurality of temporally continuous image data.
[0031]
The center position detection unit 10 sets a threshold value higher than the road surface density to the data in the original image of the image data shown in FIG. A histogram is created in the range that exceeds the value. For example, in FIG. 3, the imaging unit 2 scans the scanning line 41 from left to right in the camera image in FIG. Then, a density histogram is obtained from the original image data as shown in FIG. 4B within a range where the density of the original image is not less than a predetermined threshold determined by the road surface density. Thereafter, the center position 1 which is the geometric center position or the center of gravity position is obtained in each density histogram, and the center position 1 which is the center position of each white line 30 is detected as shown in FIG. Such processing is repeated up to the right end position of the X coordinate, and the number and position of the white lines 30 are detected.
[0032]
In addition, a white line group (for example, a solid line 32, a broken line 33, etc.) 31 in which a plurality of white lines 30 are collected in addition to a single white line 30 in the histogram present on the left side of the traveling lane 29 and having a density equal to or higher than a threshold value. Is calculated, the geometric center-of-gravity position or center position for all of the individual histograms in the white line group 31 is calculated, and the road surface width W ₀ The center position of the white line group 31 existing on the left side is obtained. Similarly, road width W ₀ The geometric center-of-gravity position or center position for all histograms that are equal to or higher than a predetermined density threshold existing on the right side of the road is obtained, and the road surface width W ₀ The center position of the white line group 31 existing on the right side of is obtained. As described above, the boundary between the white lines 30 existing on the left and right sides of the traveling lane 29 can be reliably detected (see FIG. 4D).
[0033]
The appearance frequency measuring unit 11 sets a threshold value higher than the density value of the road surface for the density histogram data created by the density distribution measuring unit 7, and sets a range in which the histogram data is equal to or greater than a predetermined threshold value. Appearance frequency N of a plurality of groups grouped in one image data as one group _S And the time-series appearance frequency N of each group _T Count the frequency of. Group appearance frequency N within a predetermined time _S And frequency of appearance of time-series groups N _T When the sum or product of the larger one is obtained, in the case of the white line 30 by the solid line 32, the frequency of appearance of the group increases in time series. On the other hand, the appearance frequency of the broken line 33 and the white line of the block 34 is low when viewed in time series. Therefore, it is possible to accurately determine the solid line 32, the broken line 33, or the block-shaped white line 30 that is a constituent element of the white line 30 by using such a characteristic of appearance frequency.
[0034]
When a composite line composed of various types of white lines 30 such as a solid line 32 and a broken line 33 is detected, the offset setting unit 8 determines a predetermined value from the inner boundary of the white line on both sides of the lane to the outer side. In order to increase the road surface width of the traveling lane by adding (α), the predetermined value can be stored in the memory in the apparatus and set.
[0035]
The determination unit 12 determines a pattern from a plurality of white line forms shown in FIG. 2 when a boundary line that divides the lane 29, that is, one or a plurality of white lines 30, and indicates a white line 30 sign form. Thus, the position from which the position is regarded as the boundary (lane boundary) of the traveling lane 20 is determined, and the determination method from the indication form of the white line 30 will be described below.
[0036]
(1) Road surface width W formed by the left and right white line group 31 when it is a boundary line of a lane composed of a single line, an even number of multiple lines, and a zebra ₀ Is equivalent to the road width, and if it falls under (Table 1), the road surface width W ₀ Is output to the output unit 13 as a position indicating the boundary of the traveling lane 29.
[0037]
Specifically, in the following case, the innermost boundary position between the left and right white lines (in the present embodiment, this is defined as “inner”) with respect to the travel lane 29 determined by the white line 30. Lane mark boundary line.
[0038]
[Table 1]

Single line: The white line 30 is a single line and its width W ₀ Is a solid line 32 having a length of 15 to 20 cm, or a white line 30 is a single line, and a broken line 33 having a width of 15 to 20 cm (see FIGS. 6A and 6B).
Junction / branch / hill slope oblique line: One (right) lane boundary line is 15 cm or 20 cm, and the other (left) white line 30 is

wide blocks

34 and 35, and W in the left and right white line regions _L , W _R Is 30 to 100 cm (see FIGS. 6C and 6D).
[0039]
Zebra: One (right) lane boundary is 15 cm or 20 cm, and the other (left) white line is a wide zebra 37. _L , W _R Is indefinite of 30 cm or more (see FIG. 6E).
[0040]
Multiple lines: The

multiple lines

38 and 39 are configured such that white lines having the same thickness are equal to or greater than a predetermined number (even number) or a total width is equal to or greater than a predetermined width. _L , W _R Is 30 cm or more. In this case, the number N of left and right straight lines in the white line region _L , N _R Is 2 or 4 or more (see (f) and (g) of FIG. 6).
[0041]
(2) Road surface width W that is the distance between the left and right white line groups 31 when the lane boundary lines 51 and 52 are an odd number of multiple lines and composite line sections. ₀ Is equivalent to the road width and corresponds to (Table 2), the position of the central position output 2 of the concentration distribution is output to the output unit 13 as a position indicating the boundary of the traveling lane.
[0042]
[Table 2]

Multiple lines: The number of white lines having the same thickness is an odd number, or the total width is equal to or less than a predetermined width. _L , W _R Is 35 cm or more. In this case, the number N of left and right straight lines in the white line region _L , N _R Is 3 (see FIGS. 7A and 7B).
[0043]
Composite line section: Consists of a combination of a single broken line and a block-shaped white line. _L , W _R Is 45 cm or more. In this case, the number N of left and right straight lines in the white line region _L , N _R Is 3 (see FIGS. 7C and 7D).
[0044]
(3) Road width W that is the distance between the left and right white line group 31 when the composite section, the roadway outer line 61 of the composite line section, the lane boundary line 62 of the composite line section, and the roadway outer line 61 of the composite line section ₀ Is equivalent to the road width, and in the case of (Table 3), the road surface width W ₀ A position obtained by adding a predetermined value (α) in the outward direction of the travel lane 29 with respect to the straight line in contact with the travel lane 29 is output to the output unit 13 as a position indicating the boundary of the travel lane 29.
[0045]
[Table 3]

Compound line section: Abrupt lane width W ₀ If the presence of a block-shaped road marking inside the lane boundary position before the decrease is recognized, the W _L , W _R Is 45 cm or more, and the number of straight lines N on the left and right of the white line region _L , N _R Is 3 (see FIG. 8A).
[0046]
Roadway outside line of compound line section: It is composed of a combination of a single solid line and a block line. _L , W _R Is 45 cm or more, and the number of straight lines N on the left and right of the white line region _L , N _R Is 3 (see FIG. 8B).
[0047]
Lane boundary line of compound line section: It consists of a combination of a single-line broken line and a block line, but the boundary line of each white line is unclear, and W in the left and right white line areas _L , W _R Is 45 to 85 cm, and the number of straight lines N on the left and right of the white line region _L , N _R Becomes 1 (see FIG. 8C).
[0048]
Road outside line of compound line section: It is composed of a combination of a single solid line and a block line, but the boundary of each white line is unclear, and the left and right white line area W _L , W _R Is 45 to 55 cm, and the number of straight lines N on the left and right of the white line region _L , N _R Becomes 1 (see FIG. 8D).
[0049]
The output unit 13 outputs a signal indicating the lane mark boundary position determined by the determination unit 12 to a system control device represented by an external alarm device, a speed control device, or the like.
[0050]
In the present embodiment, similarly to the process for the density histogram output by the density distribution measurement unit 7, the process of the center position detection unit 10 and the appearance frequency measurement unit 11 for the edge histogram output by the edge distribution measurement unit 5. To obtain the lane boundary position.
[0051]
Next, processing of the present apparatus 1 in lane detection of a traveling lane will be described with reference to FIGS. 9 to 11.
[0052]
(First embodiment)
FIG. 9 shows a lane detection method in the first embodiment. In this lane detection process, in step S10, a landscape including the white line 30 in the traveling direction of the vehicle is imaged by the imaging unit 2, and the captured information is input to the frame buffer unit 4 as a camera image. In step S11, edge detection is performed by differentiating the image data. After the edge detection, in step S12, when the image data is differentiated, a negative edge group having a negative polarity and a positive edge group having a positive polarity are obtained. Further, the edge point group in which the edges are gathered is classified by the left and right edge groups. In step S13, a well-known Hough transform is performed on the left and right edge groups obtained in step S12, and a straight line is determined from the edge groups. In step S14, a combination of a straight line generated from the negative edge group and a straight line generated from the positive edge group results in one of the spaces having the widest distance between the straight line closest to the host vehicle and another straight line. Is the negative edge and the other is the positive edge. ₀ As shown in FIG.
[0053]
In step S14, the road surface width W with respect to the traveling lane 29. ₀ When the left and right boundary lines are detected by the edges at both ends of the area, the area of the window 42 is set in step S15 based on the boundary lines. Here, both the left and right boundary lines are included, the depth in the Y direction is determined in the area to be detected, and the area of the window 42 is set. In this case, the size of the window 42 in the X direction and the Y direction may be fixed or may be changed depending on the traveling state.
[0054]
When the window 42 is set, in step S16, as shown in FIG. 4B, a density histogram is created for the original image within the window 42 range. In step S17, the geometric center of gravity or the center position of the density histogram is obtained from the image data of the noise level (noise density threshold value) or higher by a known calculation method, and the point is determined as the white line center position that exists individually. (Center position 1 shown in FIG. 4C). When the center position of each white line is obtained in step S17, the appearance frequency is measured in step S18. In the measurement of the appearance frequency, density regions that are equal to or higher than the road surface density are grouped with respect to the density histogram data. And the appearance frequency N in the screen _S And appearance frequency N _T And the appearance frequency N within a predetermined time _S And appearance frequency N _T Compare the sum or product of. In the next step S19, the lane boundary position determination for obtaining the lane mark boundary position is performed. Here, the white line 30 is represented by the solid line 32, the broken line 33, the block 34, the zebra 37, according to the determination according to (Table 1) to (Table 3). They are classified into

multiple lines

38, 39, etc. according to their form. In step S20, the lane mark boundary position determined in step S19 is output to an external control device.
[0055]
In the lane detection method according to the first embodiment shown in FIG. 9, the density histogram is created from the image data, and the geometric gravity center position or the center position of the left and right density histograms with respect to the travel lane 29 is obtained. The center position of each white line 30 or white line group 31 existing on the left and right of the lane 29 can be seen. This makes it possible to accurately detect the lane mark boundary position and output accurate lane boundary information to an external device.
[0056]
(Second Embodiment)
Next, a second embodiment of the lane detection process will be described with reference to FIG. In the second embodiment shown in FIG. 10, the basic lane detection processing method is the same as that of the first embodiment shown in FIG. However, in the first embodiment shown in FIG. 9, instead of obtaining the center position or the center of gravity position of the left and right white line groups 31 from the density histogram data, the second embodiment shown in FIG. The method for obtaining the center position or the center of gravity position of the left and right white line groups 31 from the edge histogram based on the detected edge is different from that shown in FIG.
[0057]
That is, step 16 shown in FIG. 9 is replaced with step S16a in FIG. In this step S16a, positive edges and negative edges from the original image are detected, and the detected positive and negative edges are accumulated by the depth in the Y direction of the window 42 (the width in the Y direction). As shown in FIG. 5C, individual positive and negative edge histograms are created. From the edge histogram based on this edge, the geometric center of gravity or the center position is obtained as positive and negative as shown in FIG. Then, the center of the positive and negative edges is obtained as the center position of each white line as shown in FIG. Thereafter, the center position of the white line group 31 is obtained as shown in FIG. 5F, the lane mark boundary position is accurately detected from the edge histogram, and accurate lane boundary information is also output to the external device. be able to. In this way, by using the edge in the histogram, the lane mark boundary position can be easily determined.
[0058]
(Third embodiment)
FIG. 11 shows a third embodiment. The flowchart shown in FIG. 11 is an example in which the first embodiment shown in FIG. 9 and the second embodiment shown in FIG. 10 are combined. Steps S10 to S20 which are the processes on the left side shown in FIG. Steps S15a to S19a that correspond to steps S10 to S20 shown in FIG. 11 and that are the processes on the right side shown in FIG. 11 correspond to steps S15 to S19 shown in FIG. According to this method, in one process (the process on the left side), the lane mark boundary position is determined from the density histogram, and in the other process (the process on the right side), the lane mark boundary position is determined from the edge histogram. These two processes can be switched in accordance with the road surface condition on which the vehicle is traveling. For example, the state of the road surface on which the white line 30 is marked may be detected by a sensor or the like, and the two lane detection processes may be processed in parallel by a switching unit such as a switch according to the road surface state. In addition to this, it goes without saying that serial processing can be performed instead of parallel processing.
[0059]
As described above, in the present embodiment, a method of detecting the innermost boundary position or the center position or the center of gravity position of the white line group 31 among the white line groups constituting the boundary line is adopted. It is not necessary to detect the boundary of the gap. For this reason, the lane mark boundary position of the traveling lane can be identified stably even if there is a disturbance due to dirt or shadow of the white line 30 on the traveling road surface. Even if the resolution for the image signal in the image processing is low, the lane boundary position can be specified in a stable state.
[0060]
【The invention's effect】
According to the present invention, a traveling lane of a moving body including a lane in a predetermined area is imaged by an imaging unit, and a histogram is created based on the obtained image data, and a group of histograms is detected and grouped. Then, a first center position that is the center of each histogram is detected from the grouped histograms, and a second center position that is the center in the group of the grouped histograms based on the first center position. , And based on the second center position between the histograms of different groups, the center of the lane mark group including a plurality of lane marks or lane marks is detected and the lane mark boundary position is determined. A stable lane mark boundary position can be detected by generating a histogram based on the histogram. For example, even if there is a defect in white line information due to disturbance due to lane contamination, peeling, shadows, low contrast, etc. in the driving lane, the histogram itself does not change greatly, and it runs stably based on the histogram of the image data. The lane mark boundary position of the lane can be specified. As a result, when this lane boundary detection device is applied to a vehicle, the lane mark boundary position can be specified in a stable state, and therefore, a control device (for example, an automatic traveling device, an automatic driving device) that uses the lane mark boundary position in the control. The reliability of a steering device, a lane departure warning device, etc.) can be improved.
[0061]
In this case, the histogram is an image histogram based on the image density of the image data or an edge histogram of edges obtained by differentiation of the image data. For An image histogram can be created by simply accumulating the image density of a predetermined area. Alternatively, the edge is obtained by simply differentiating the image data, and the edge histogram can be created by accumulating the edges in a predetermined area, so that the lane mark boundary position of the traveling lane can be specified by a simple method.
[0062]
Differentiate image data do it The positive and negative edges are obtained, the driving lane is obtained based on the state of the positive and negative edges in the group, the driving lane width W0,
The widths WL and WR of the left and right lane mark groups of the grouped lane mark group and the numbers NL and NR of the lane marks in the left and right lane mark groups are detected, and the left and right traveling lane widths WL, The lane mark labeling form is assigned from the WR and the number of lane marks NL and NR in the left and right lane mark groups, and the lane mark boundary position is obtained by the signing form. Thus, the travel lane is obtained, the widest space between the travel lane closest to the host vehicle and the other travel lanes is detected, and the space can be regarded as the road surface width W0 of the travel lane. Then, the left and right traveling lane widths WL and WR and the left and right traveling lane numbers NL and NR of the traveling lane are obtained, and the lane mark display form is assigned, whereby the lane mark boundary position can be obtained by a simple method.
[0063]
In this case, if the lane mark or lane mark group is a single line, merge / branch, uphill lane, zebra, even number of multiple lines, the innermost lane mark on both sides of the lane Positive and negative edge at If the lane mark or lane mark group is a single line, merge / branch, uphill lane, zebra, even number of multiple lines, the innermost lane mark on both sides of the lane Positive and negative edge at Becomes the lane mark boundary position, and the lane mark boundary position can be reliably specified by the marking form.
[0064]
If the lane mark group is an odd number of multiple lines or a lane boundary line of a composite line section, the grouped lane mark group Center Is the lane mark boundary position, and if the lane mark group is an odd number of multiple lines or a lane boundary line of a composite line section, the grouped lane mark group Center Becomes the lane mark boundary position, and the lane mark boundary position can be reliably specified by the marking form.
[0065]
Furthermore, when the lane mark group is a composite line section or a roadway outer line / lane boundary line of the composite line section, it is the innermost side with respect to the lanes on both sides of the lane. On a positive or negative edge If the lane mark boundary position is defined by adding the predetermined range α, when the lane mark group is a compound line section or a roadway outside line / lane boundary line of a compound line section, it is on the inside On a positive or negative edge The lane mark boundary position is obtained by adding the predetermined range α, and the lane mark boundary position can be reliably specified by the marking form.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a lane boundary detection device according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing an example of a white line marking form generally provided on a road surface.
3 is a plan view showing image data picked up by an image pickup unit of the lane boundary detection device shown in FIG. 1; FIG.
4 is a timing chart in which a density histogram is obtained from image data (original image) imaged by the imaging unit shown in FIG. 1 and edge detection is performed.
5 is a timing chart for obtaining a density histogram from image data (original image) imaged by the imaging unit shown in FIG. 1 and performing edge detection to obtain the center position of a white line group.
FIG. 6 is an explanatory diagram showing a lane boundary (inner) between a travel lane and a white line determined by a lane boundary detection device according to an embodiment of the present invention.
FIG. 7 is an explanatory diagram showing a lane boundary (center) between a travel lane and a white line determined by a lane boundary detection device according to an embodiment of the present invention.
FIG. 8 is an explanatory diagram showing a lane boundary (inner + α) between a travel lane and a white line determined by the lane boundary detection device according to the embodiment of the present invention.
FIG. 9 is a flowchart showing a lane detection process in the first embodiment.
FIG. 10 is a flowchart showing a lane detection process in the second embodiment.
FIG. 11 is a flowchart showing a lane detection process in the third embodiment.
[Explanation of symbols]
1 Lane boundary detection device
2 Imaging unit (imaging means)
6 Edge detector (group creation means)
7 Concentration distribution measurement unit (histogram creation means)
10 Center position detector
(First center position detecting means, second center position detecting means, lane center position detecting means)
29 windows (predetermined area)
30 White line (lane mark)

Claims

A lane boundary that captures a lane mark in a predetermined area by an imaging means provided in the moving body, images the travel lane of the moving body, performs image processing on the captured image data, and detects a boundary of at least a single lane mark In the detection device,
Histogram creation means for creating an image histogram based on the image density of the image data based on the image data or an edge histogram of edges obtained by differentiation of the image data , and group creation for grouping the collection of histograms Means, a first center position detecting means for detecting a first center position that is the center of each histogram in the grouped group, and a first center that is the center of the grouped histogram based on the first center position. 2 second center position detecting means for detecting the center position, and lane center position detecting means for detecting the center of the lane mark or a group of lane marks in which a plurality of lane marks exist based on the second center position between different groups. And
The lane boundary detecting device further obtains positive and negative edges by differentiating the image data, obtains a traveling lane based on the state of the positive and negative edges in the grouped, and the width W _{0 of the} traveling lane, The widths W _L and W _R of the left and right lane mark groups with respect to the grouped lane mark groups and the numbers N _L and N _R of the lane marks in the left and right lane mark groups are detected, and the width W _{L of the} lane mark group is detected. , W the number N _L of the lane mark in the _R and the left and right lane marks _group from N _R, assigns the indication form of the lane mark, according to the indication mode, the lane mark or the lane mark there are a plurality of A lane boundary detection device that determines a lane mark boundary position based on the center of the lane mark group or the positive and negative edges .

When the lane mark or the lane mark group is a single line, merge / branch, uphill lane, zebra, or even number of multiple lines, the positive and negative edges that are on the innermost side with respect to the lane mark on both sides of the traveling lane The lane boundary detection device according to claim 1, wherein the lane boundary detection device is a boundary position.

The center of the grouped lane mark group is set as a lane mark boundary position when the lane mark group is an odd number of multiple lines or a lane boundary line of a composite line section. A lane boundary detection device according to claim 1.

When the lane mark group is a composite line section or a roadway outer line / lane boundary line of the composite line section , a predetermined range α is added to the positive and negative edges that are innermost with respect to the lanes on both sides of the lane. The lane boundary detection device according to claim 1, wherein the lane mark boundary position is set as a lane mark boundary position.