JP6126849B2 - 車線識別装置および車線識別方法 - Google Patents

Description

本発明は、車載カメラで撮像した画像に基づいて道路の車線を識別する技術に関する。

従来より、車載カメラで撮像した画像に基づいて道路の車線を識別する技術が開発されており、例えば、特許文献１には、車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、該輝度プロファイルにフィルタ処理を施すことによって白線の位置を検出する技術が開示されている。

特許第４９２７９０８号公報

しかし、画像を俯瞰画像に変換するには大きなハードウエア構成が必要になり、また、輝度プロファイルにより白線を検出する場合、車両や道路標示（ゼブラゾーンなど）が道路上にあると、それらが外乱となり白線の検出精度が低下し、誤検出の原因となる。特に、ゼブラゾーンは白色であるので、誤検出が非常に多くなってしまう。

本発明は上記のような問題点を解消するためになされたもので、道路上に外乱の要因があった場合でも、車線の検出精度が高く、かつ回路規模が小さくて済む車線識別技術を提供することを目的とする。

本発明に係る車線識別装置の第１の態様は、車載カメラで撮像した画像に基づいて道路の車線を識別する車線識別装置であって、前記画像の１フレーム分の画像データを複数の単位ブロックに区分し、単位ブロックごとに前記画像から前記車線の識別を行う際の外乱要因となる画像の複雑度が所定以上であるかどうかを検出する複雑度検出部と、前記複数の単位ブロックのうち前記画像の複雑度が前記所定以上である単位ブロックについてマスク処理を行うマスク処理部と、前記複数の単位ブロックのうち、前記マスク処理の対象となっていない前記単位ブロックについて前記車線を規定する直線を近似的に検出する直線検出部と、前記単位ブロックごとに検出された直線を、フレーム全体で統合して前記車線とする統合処理部とを備え、前記複雑度検出部は、前記画像の複雑度を、前記単位ブロック内での輝度の分散値と閾値との比較により判定する。

本発明に係る車線識別装置の第２の態様は、前記複雑度検出部が、前記画像の複雑度を、前記単位ブロック内での色差の分散値と閾値との比較により判定する。

本発明に係る車線識別装置の第３の態様は、前記直線検出部が、前記マスク処理の対象となっていない前記単位ブロックについてエッジ検出処理を施し、検出されたエッジを構成する複数の特徴点に対してハフ変換を施すことで、前記車線を規定する直線を近似的に検出する。

本発明に係る車線識別方法は、車載カメラで撮像した画像に基づいて道路の車線を識別する車線識別方法であって、前記画像の１フレーム分の画像データを複数の単位ブロックに区分し、単位ブロックごとに前記画像から前記車線の識別を行う際の外乱要因となる画像の複雑度が所定以上であるかどうかを検出する複雑度検出を行うステップ（ａ）と、前記複数の単位ブロックのうち前記画像の複雑度が前記所定以上である単位ブロックについてマスク処理を行うステップ（ｂ）と、前記複数の単位ブロックのうち、前記マスク処理の対象となっていない前記単位ブロックについて前記車線を規定する直線を近似的に検出する直線検出処理を行うステップ（ｃ）と、前記単位ブロックごとに検出された直線を、フレーム全体で統合して前記車線とする統合処理を行うステップ（ｄ）とを備え、前記ステップ（ａ）は、前記画像の複雑度を、前記単位ブロック内での輝度の分散値と閾値との比較により判定するステップを含んでいる。

本発明によれば、外乱要因を含む単位ブロックについてはマスク処理を行い、マスク処理の対象となっていない単位ブロックについて車線を規定する直線を近似的に検出することで、外乱要因を除去して車線検出の精度を高めることができる。

本発明に係る実施の形態の車線識別装置の構成を示すブロック図である。 画像データの読み出し順序を模式的に説明する図である。 カメラによって取得された画像の一例を示す図である。 撮影画像を複数のブロックに区分した場合の一例を示す図である。 車線識別動作を説明するフローチャートである。 ハフ変換の概念を説明する図である。 車線識別動作の変形例を説明するフローチャートである。

＜実施の形態＞
＜装置構成＞
図１は、本発明に係る実施の形態の車線識別装置１０の構成を示すブロック図である。図１に示されるように、車線識別装置１０は、ＣＣＤ（電荷結合素子）等の撮像素子で撮影した画像をデジタル処理するカメラ１１と、画像処理部１２と、フレームメモリ１３と、情報処理部１４と、中間メモリ１５とを備えている。

カメラ１１は、車両のフロント部（例えば、ルームミラー（車両室内のバックミラー）近傍）に備えられ、車両の進行方向前方を中心とした周辺の道路を撮影可能となっている。

画像処理部１２は、カメラ１１によって取得された画像の画像データに各種画像処理を施す部位であり、画像処理部１２で実行される画像処理としては、例えば、不足している色成分を補間により求める画素補間処理（ベイヤ補間）、画像データの色空間を変換する色空間変換処理等がある。

フレームメモリ１３は、画像処理部１２から出力される画像処理後の画像データをフレーム単位で一時的に記憶するためのメモリである。

情報処理部１４は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等で構成され、ＲＯＭ内に格納されたプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、分散算出部１４１、マスク処理部１４２、直線検出部１４３および統合処理部１４４を機能的に実現する。なお、当該情報処理部１４おいて実現される各機能を、ハードウエア回路で実現しても良い。

分散算出部１４１は、フレームメモリ１３から１フレーム分の画像データを読み出す際に、当該画像データを複数のブロックに分けてブロック単位で読み出し、単位ブロック中での輝度および色差の少なくとも一方の分散を算出する処理を行う。

図２は画像データの読み出し順序を模式的に説明する図である。図２に示すように、１フレーム分の画像データは、水平方向（Ｘ方向）および垂直方向（Ｙ方向）にそれぞれ複数に分割されて複数のブロックＢＫに分けられ、ブロック単位でフレームメモリ１３から読み出される。ブロック単位での画像データの読み出しは、例えば、図に向かって最上段左端のブロックＢＫから読み出され、当該ブロックの処理が終了すると、右隣のブロックが読み出され、以後、右側のブロックが順次読み出され、右端に到達すると、次の段の左端のブロックが読み出されるという順序で行われる。

また、各ブロックでの画像データの読み出し順序は、ブロックの最上部列左端のデータから読み出しを行い、右端に到達すると次の列の左端のデータから読み出だされるという順序で行われる。

マスク処理部１４２は、分散算出部１４１で算出された単位ブロック中での輝度および色差の少なくとも一方の分散に基づいて、分散の高いブロックの画像データを以後の処理で使用しないようにマスキングする部位であり、例えば、当該ブロックの画像データを全て予め定めた無意のデータに変更するなどの処理を行う。

直線検出部１４３は、マスク処理部１４２でマスキングされなかったブロックについてエッジ検出処理を施し、検出されたエッジに対して、直線検出処理を施す。エッジ検出処理により、道路の車線を規定する複数のライン（例えば、白線）が検出され、直線検出処理により、当該複数のラインそれぞれに沿った複数の直線が近似的に検出されることになる。直線検出部１４３における各処理は、処理中のデータを中間メモリ１５に記憶しつつ行われる。

直線検出処理としては、例えばハフ（Hough）変換を採用することができるが、他の手法を採用しても良い。なお、ハフ変換以外の直線検出処理としては、最小自乗法を用いた方法などが挙げられる。

統合処理部１４４は、ブロック単位で検出された直線を、フレーム全体で統合して車線として表示できるようにする部位である。

＜動作＞
次に、図３〜図７を用いて車線識別装置１０における車線識別動作について説明する。図３には、カメラ１１（図１）によって取得された画像の一例を示している。

図３において、自車両の前方には車両ＯＢ１およびＯＢ２が２つの車線を併走しており、路肩に引かれた白線ＷＬ１およびＷＬ２が車両ＯＢ１およびＯＢ２に隠れて見えにくくなっている。また、車両ＯＢ１側には、道路に沿って防音壁ＯＢ３が設けられ、車両ＯＢ２側には、道路に沿ってガードレールＯＢ４が設けられている。

このように、検出対象である車線は先行する車両に隠れて見えなくなる場合もあり、また、車線の近くに防音壁ＯＢ３やガードレールＯＢ４があった場合、それらは車線を検出する際の外乱要因となり、それらは、いかなる部分にも発生する可能性がある。

図４には、撮影画像を複数のブロックに区分した場合の一例を示す。図４は撮影画像を５×５のブロックに区分した例を示しており図に向かって最上段左上のブロックＢＫをブロックＡ１と採番し、以後右方向にＡ２、Ａ３、Ａ４、Ａ５と採番し、次の段では左端からＡ６、Ａ７・・と採番している。

図４において、ブロックＡ２１〜Ａ２５には路面のみが表示されているが、画像の上方、すなわち自車両から遠くなるに従って、車両、防音壁、ガードレールが表示されるようになり、画像の複雑度が高くなることが判る。換言すれば車線が表示される領域は比較的複雑度が低いと言える。

そして、画像の複雑度が高くなると、車線を検出する際の外乱要因となり、車線検出の精度が低下するので、画像の複雑度を定量的に算出できる特徴量があれば、算出された画像の複雑度に基づいて、画像の複雑度の高い領域を車線検出の対象から外すことで、外乱要因を除去して車線検出の精度を高めることができる。

例えば、ブロックＡ１６〜Ａ２５には路面が表示され、白線ＷＬ１〜ＷＬ３が表示されているが、そのうち、ブロックＡ１７〜Ａ１９には車両ＯＢ１およびＯＢ２も表示されており、複雑度が高い領域と考えられる。

ここで、画像の複雑度を定量的に算出できる特徴量として空間周波数が挙げられ、空間周波数が高い領域ほど画像の複雑度が高い領域であると定義できる。従って、空間周波数を用いて画像の複雑度を規定し、複雑度の高い領域を車線検出の対象から除外すれば外乱を抑制することが可能であるが、除去したい外乱要因は、例えば先行車両であったり、防音壁であったりして比較的大きな領域を占めるため、ブロック単位で外乱を除去するには、３２×３２もしくは６４×６４の比較的大きなブロックサイズとなる。一方、空間周波数を算出するには画像データを周波数領域へと変換する周波数変換が必要となるが、ブロック単位で周波数変換を行う場合、上記のように大きなブロックサイズでは、演算量が極端に大きくなってしまう。

ここで、周波数変換の例として、一般的なＤＣＴ（離散コサイン変換）を以下の数式（１）に示す。

上記数式（１）によるＤＣＴを行うには小数成分を含む乗算が必要となり、演算量が比較的大きくなる。

そこで、本発明においては、画像の複雑度を定量的に算出する特徴量として輝度値の分散を使用する。また、色の多様性を定量的に算出する特徴量として色差の分散を使用する。

ここで、輝度と色差の算出式を以下の数式（２）に示す。

上記数式（２）において、Ｒは赤、Ｇは緑、Ｂは青を表し、Ｙは輝度、Ｃｂは青色色差成分、Ｃｒは赤色色差成分を表し、画像データから、各画素ごとのＲ、ＧおよびＢの色データを取得することで、画素ごとに輝度および色差を算出することができる。

このようにして得られた輝度の単位ブロック内での分散は以下の数式（３）により算出することができる。

上記数式（３）は、一般的な標本分散を表す式であり、ｐ_ｉは輝度値を、Ｐ_ｍｅａｎは輝度値の平均値を表す。

数式（３）より算出された輝度値の分散が高いブロックでは輝度値のばらつきが大きく、画像の複雑度が高いと言うことができ、輝度値の分散が低いブロックでは輝度値のばらつきが小さく、画像の複雑度が低いと言うことができる。これにより画像の複雑度を簡単に定量的に算出することができる。また、輝度値の分散で複雑度を定量的に算出するので、空間周波数を用いて画像の複雑度を算出する際の周波数変換に比べて、演算量を削減できるという効果もある。

また、色差の単位ブロック内での分散も上記数式（３）と同様に一般的な標本分散を用いて表すことができるが、この場合、ｐ_ｉは色差値を、Ｐ_ｍｅａｎは色差値の平均値を表す。

数式（３）より算出された色差値の分散が高いブロックでは色に多様性があり、複雑な画像と言えるので、画像の複雑度が高いと言うことができ、色差値の分散が低いブロックでは色の種類が少なく画像の複雑度が低いと言うことができる。これにより色の多様性による画像の複雑度を簡単に定量的に算出することができる。

なお、色差成分にはＣｂ、Ｃｒの２種類があるが、ＣｂとＣｒをそれぞれ使用しても良いし、（Ｃｂ−Ｃｒ）または（Ｃｂ＋Ｃｒ）を使用しても良い。

次に、図１を参照しつつ、図５に示すフローチャートを用いて、車線識別装置１０における車線識別動作を説明する。車線識別動作が始まると、図５に示されるように、ステップＳ１において、まず、カメラ１１によって、車両の進行方向の道路を被写体とした画像データが取得される。取得された画像データには、画像処理部１２によって所定の画像処理が施される。

画像処理済みの画像データは、一旦、フレームメモリ１２に保存された後、図４を用いて説明したような単位ブロックごとに読み出され、情報処理部１４の分散算出部１４１に与えられる（ステップＳ２）。

分散算出部１４１では、数式（２）を用いて画像データから、各画素ごとのＲ、ＧおよびＢの色データを取得した後、数式（３）を用いて、画素ごとに輝度を算出し、単位ブロック内での輝度の分散を算出する（ステップＳ３）。

そして、算出した輝度の分散の値が、予め定めた閾値（例えば画素平均値など、フレームごとに固有で有意な値）以上であるか否かを判断し（ステップＳ４）、閾値以上である場合は、その単位ブロックは画像の複雑度が高く、外乱要因が含まれるブロックであると判断し、ステップＳ５に進む。

ステップＳ５では、マスク処理部１４２において、画像の複雑度が高く、外乱要因が含まれるブロックに対して以後の処理で使用しないようにマスク処理を行う。

一方、ステップＳ４で、算出した輝度の分散の値が閾値未満であると判断された場合はステップＳ１１に進み、数式（３）を用いて、画素ごとに色差を算出し、単位ブロック内での色差の分散を算出する。

そして、算出した色差の分散の値が、予め定めた閾値（フレームに関わらず一定の値）以上であるか否かを判断し（ステップＳ１２）、閾値以上である場合は、その単位ブロックは多様な色を有し画像の複雑度が高く、外乱要因が含まれるブロックであると判断し、ステップＳ５に進む。すなわち、車線および路面は色彩に乏しいものであるのに対し、多様な色を有するブロックは車線や路面ではなく外乱要因を含むものと判断する。

例えば、図４においてブロックＡ２０は白線ＷＬ１の他には防音壁ＯＢ３を含むだけであるので、画像の複雑度は低いと言えるが、防音壁ＯＢ３に色彩が施されていたり、広告の看板が設けられている場合には多様な色を有するブロックとなり、画像の複雑度が高く、外乱要因を含むこととなる。

なお、上述したように、分散算出部１４１は、輝度の分散や色差の分散を算出することで、単位ブロックの画像が複雑であるか否かを検出するので、複雑度検出部として機能する部位であると言うことができる。

また、図４においてブロックＡ１〜Ａ５、Ａ６〜Ａ１０は、空や背景を表示する領域であるが、これらの領域には、車線を含まないことは明らかであるので、例えばブロックＡ６〜Ａ１０以上のブロックについては分散の算出処理や、直線検出処理を行わない領域として予めデフォルト設定しておくことで、無用の処理を省いて、車線識別動作を迅速化することができる。

ステップＳ５では、マスク処理部１４２において、画像の複雑度が高いブロックに対して以後の処理で使用しないようにマスク処理を行う。

一方、ステップＳ１２で、算出した色差の分散の値が閾値未満であると判断された場合はステップＳ１３に進み直線検出を行う。

ステップＳ１３では、直線検出部１４３において、単位ブロック内の画像についてエッジ検出処理を施し、検出されたエッジに対して直線検出処理を施す。直線検出処理としてはハフ変換を使用することができる。

図６は、ハフ変換の概念を説明する図である。図６に示すように、検出されたエッジを構成する特徴点Ｐ０、Ｐ１、Ｐ２、Ｐ３およびＰ４がある場合、ハフ変換では、特徴点Ｐ０〜Ｐ４のそれぞれを中心として０゜から１８０゜まで所定角度で変化するように直線を決定する。図６では特徴点Ｐ０を通る複数の直線を示している。このように、平面上の複数の特徴点のそれぞれに対して複数の直線を発生させ、共通する直線を決定することで、エッジ、すなわち、車線の端縁を規定する。

ハフ変換などの投票によって直線を決定する方式の場合、特徴点の取得順番が検出性能に影響を与えないことから、ブロック単位で処理を進めても問題がなく、画像を複数のブロックに区分し、外乱要因が含まれるブロックについては直線検出処理の対象としないことで検出精度を高めるという本発明に適した方式であると言える。

以上説明したステップＳ２〜Ｓ５、Ｓ１１〜Ｓ１３の処理は、１フレーム内の全ての単位ブロックに対して実行されるまで繰り返され（ステップＳ６）、全ての単位ブロック対する処理を終了した後はステップＳ７に進む。

ステップＳ７では、統合処理部１４４において、マスク処理の対象とならないブロックで検出された直線のうち実際に存在する可能性の高い直線を統合し、最終的に車線として表示できるように処理する。

この処理には、例えば、図４においてブロックＡ１６、Ａ２０、Ａ２１、Ａ２２およびＡ２５などから白線ＷＬ１、ＷＬ２およびＷＬ３に対応する直線が検出された場合、白線ＷＬ３については車線として表示できるが、白線ＷＬ１およびＷＬ２についてはブロックＡ１２およびＡ１９がマスク処理の対象となっているので表示できない。そこで、ブロックＡ１２およびＡ１９に該当する領域の白線ＷＬ１およびＷＬ２については、ブロックＡ１６、Ａ２０およびＡ２５で得られた白線ＷＬ１およびＷＬ２に対して外挿するなどの方法により白線データを作成する処理を含んでいる。

直線の統合処理が終了した後は、カメラ１１からの次のフレームデータの入力を受けて（ステップＳ８）、ステップＳ１以下の処理を繰り返す。

なお、以上の説明では、直線検出部１４３において直線検出処理を行うものと説明したが、道路のカーブにおける車線も直線で近似することで検出可能である。

以上説明した実施の形態の車線識別装置１０によれば、車線を検出する際の外乱要因となる画像の複雑度を、輝度および色差の分散により複雑度を算出し、算出された画像の複雑度に基づいて、画像の複雑度の高い領域を車線検出の対象から外すことで、外乱要因を除去して車線検出の精度を高めることができる。また、輝度だけでなく色差についても分散により画像の複雑度を算出することで、色の多様性の点からも画像の複雑度を判断することができ、演算量を増大させずに検出精度を上げることができる。また、車線の検出に際しては、画像を俯瞰画像に変換する必要もないので、回路規模などハードウエア構成が大きくなることもない。

＜変形例＞
以上説明した実施の形態においては、単位ブロック中での輝度および色差の分散を算出することで、画像の複雑度が高く、外乱要因が含まれるブロックを特定する構成を示したが、色差の分散は算出せずに輝度の分散だけで外乱要因が含まれるブロックを特定する構成としても良い。これにより、色差の分散も算出する場合に比べて、演算量を低減することができる。

以下、図７に示すフローチャートを用いて、画像の複雑度が高く、外乱要因が含まれるブロックを輝度の分散だけで特定する場合の車線識別動作を説明する。なお、図７において、ステップＳ１〜Ｓ４の動作は、図５に示したステップＳ１〜Ｓ４の動作と同じであるので説明は省略する。

ステップＳ４では、算出した輝度の分散の値が、予め定めた閾値（例えば画素平均値など、フレームごとに固有で有意な値）以上であるか否かを判断し、閾値以上である場合は、その単位ブロックは画像の複雑度が高く、外乱要因が含まれるブロックであると判断し、ステップＳ５に進む。

ステップＳ５では、マスク処理部１４２において、画像の複雑度が高く、外乱要因が含まれるブロックに対して以後の処理で使用しないようにマスク処理を行う。

一方、ステップＳ４で、算出した輝度の分散の値が閾値未満であると判断された場合はステップＳ９に進み直線検出を行う。

ステップＳ９では、直線検出部１４３において、単位ブロック内の画像についてエッジ検出処理を施し、検出されたエッジに対して直線検出処理を施す。直線検出処理としてはハフ変換を使用することができる。

以上説明したステップＳ２〜Ｓ５、Ｓ９の処理は、１フレーム内の全ての単位ブロックに対して実行されるまで繰り返され（ステップＳ６）、全ての単位ブロック対する処理を終了した後はステップＳ７に進む。

ステップＳ７では、統合処理部１４４において、マスク処理の対象とならないブロックで検出された直線のうち実際に存在する可能性の高い直線を統合し、最終的に車線として表示できるように処理する。

直線の統合処理が終了した後は、カメラ１１からの次のフレームデータの入力を受けて（ステップＳ８）、ステップＳ１以下の処理を繰り返す。

また、上記変形例では、単位ブロック中での輝度の分散を算出することで、画像の複雑度が高く、外乱要因が含まれるブロックを特定する構成を示したが、色差の分散だけで、画像の複雑度が高く、外乱要因が含まれるブロックを特定する構成としても良い。その場合は、図７に示すフローチャートにおいて、ステップＳ３において色差の分散を算出し、ステップＳ４において色差の分散値が閾値以上であるか否かを判断することとなる。

なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。

１０ 車線識別装置
１４１ 分散算出部
１４２ マスク処理部
１４３ 直線検出部
１４４ 統合処理部

Claims (4)

1. 車載カメラで撮像した画像に基づいて道路の車線を識別する車線識別装置であって、
   前記画像の１フレーム分の画像データを複数の単位ブロックに区分し、単位ブロックごとに前記画像から前記車線の識別を行う際の外乱要因となる画像の複雑度が所定以上であるかどうかを検出する複雑度検出部と、
   前記複数の単位ブロックのうち前記画像の複雑度が前記所定以上である単位ブロックについてマスク処理を行うマスク処理部と、
   前記複数の単位ブロックのうち、前記マスク処理の対象となっていない前記単位ブロックについて前記車線を規定する直線を近似的に検出する直線検出部と、
   前記単位ブロックごとに検出された直線を、フレーム全体で統合して前記車線とする統合処理部と、を備え、
   前記複雑度検出部は、
   前記画像の複雑度を、前記単位ブロック内での輝度の分散値と閾値との比較により判定する車線識別装置。
2. 前記複雑度検出部は、
   前記画像の複雑度を、前記単位ブロック内での色差の分散値と閾値との比較により判定する、請求項１記載の車線識別装置。
3. 前記直線検出部は、
   前記マスク処理の対象となっていない前記単位ブロックについてエッジ検出処理を施し、検出されたエッジを構成する複数の特徴点に対してハフ変換を施すことで、前記車線を規定する直線を近似的に検出する、請求項１記載の車線識別装置。
4. 車載カメラで撮像した画像に基づいて道路の車線を識別する車線識別方法であって、
   （ａ）前記画像の１フレーム分の画像データを複数の単位ブロックに区分し、単位ブロックごとに前記画像から前記車線の識別を行う際の外乱要因となる画像の複雑度が所定以上であるかどうかを検出する複雑度検出を行うステップと、
   （ｂ）前記複数の単位ブロックのうち前記画像の複雑度が前記所定以上である単位ブロックについてマスク処理を行うステップと、
   （ｃ）前記複数の単位ブロックのうち、前記マスク処理の対象となっていない前記単位ブロックについて前記車線を規定する直線を近似的に検出する直線検出処理を行うステップと、
   （ｄ）前記単位ブロックごとに検出された直線を、フレーム全体で統合して前記車線とする統合処理を行うステップと、を備え、
   前記ステップ（ａ）は、
   前記画像の複雑度を、前記単位ブロック内での輝度の分散値と閾値との比較により判定するステップを含む車線識別方法。

Images