JP5345999B2

JP5345999B2 - レーンマーク認識装置

Info

Publication number: JP5345999B2
Application number: JP2010256097A
Authority: JP
Inventors: 洋介坂本
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-11-16
Filing date: 2010-11-16
Publication date: 2013-11-20
Anticipated expiration: 2030-11-16
Also published as: JP2012108665A

Description

本発明は、車載カメラの撮像画像から、道路に設けられたレーンマークを認識するレーンマーク認識装置に関する。

従来より、車載カメラの撮像画像から道路に設けられたレーンマークを認識する装置として、例えば、道路上に離散的に設けられたレーンマーク（Botts Dots、キャッツアイ等）を認識するときに、レーンマークの位置が重ならないように設定された時間間隔で撮像された複数の画像を合成し、この合成画像からレーンマークを抽出することにより、レーンマークの検出個数を増加させるようにしたものが提案されている（例えば、特許文献１参照）。

特許第４３５８１４７号公報

車載カメラによる撮像画像には、道路の周囲に存在するポール標識等のレーンマーク以外の立体道路標識の画像部分が含まれる場合がある。そして、立体道路標識をレーンマークであると誤認識すると、自車両の走行レーンの位置を正しく検知することができないという不都合がある。

本発明はかかる背景を鑑みてなされたものであり、車載カメラの撮像画像から、立体道路標識の画像部分を除外して、レーンマークの認識精度を向上させることができるレーンマーク認識装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、車載カメラによる撮像画像から、レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、前記候補画像部分に対して、実空間上の鉛直方向に相当する特定方向の間隔をもった複数の特徴部分を抽出する特徴部分抽出部と、異なる時点での撮像画像間で、同一物体の画像部分であると推定される前記候補画像部分の前記各特徴部分の移動状況を算出する移動状況算出部と、異なる特徴部分間で移動状況を対比したときの対比対象の移動状況間の相違度が所定レベル以上である前記候補画像部分を、所定の立体物の画像部分であるとしてレーンマークの画像部分の候補から除外する候補画像部分除外部と、前記候補画像部分除外部により除外されなかった前記候補画像部分に基づいて、レーンマークを認識するレーンマーク認識部とを備えたことを特徴とする（第１発明）。

第１発明によれば、前記候補画像部分抽出部により抽出されたレーンマークの画像部分の候補である前記候補画像部分に対して、前記特徴部分抽出部により、前記特定方向（実空間上の鉛直方向に相当）の間隔を持った複数の特徴部分が抽出される。そして、前記移動状況算出部により、異なる時点での撮像画像間で、同一物体の画像部分であると推定される前記候補画像部分の前記各特徴部分の移動状況が算出される。

この場合、道路脇に存在する立体道路標識は鉛直方向に長く、立体道路標識の画像部分は自車両近付くに従って前記特定方向の長さ大きく変化するため、前記特定方向の間隔をもった各特徴部分の移動状況（移動方向、移動量等）の相違度が大きくなる。それに対して、レーンマークは鉛直方向の高さが僅かであるため、車両がレーンマークに近付いたときのレーンマークの画像部分の前記特定方向の高さの増加も僅かなものとなり、各特徴部分の移動状況の相違度が小さくなる。

そこで、前記候補画像部分除外部により、各特徴部分の移動状況の相違度が所定レベル以上である前記候補画像部分を、レーンマークの画像部分の候補から除外することによって、道路脇に存在する立体道路標識がレーンマークとして誤認識されることを回避することができる。そして、前記レーンマーク認識部により、前記候補画像部分除外部により除外されなかった前記候補画像部分に基づいてレーンマークを認識することによって、レーンマークの認識精度を向上させることができる。

また、第１発明において、前記特徴部分抽出部は、前記候補画像部分の前記特定方向の両端部を、前記複数の特徴部分とすることを特徴とする（第２発明）。

第２発明によれば、前記候補画像部分の前記特定方向の両端部を前記複数の特徴部分とすることにより、前記移動状況算出部により算出される各特徴部分の移動状況の相違を大きくして、移動状況の相違の判断を容易にすることができる。

また、前記候補画像部分抽出部は、撮像画像における位置又はカメラから物体までの距離に応じて決定した範囲の大きさを有する画像部分に限定して、前記候補画像部分を抽出することを特徴とする（第３発明）。

第３発明において、前記カメラからレーンマークまでの距離が長くなるほど、レーンマークの撮像部分の位置が撮像画像の中心付近に近付き、また、撮像画像におけるレーンマークの画像部分の大きさが小さくなる。そこで、前記候補画像部分抽出部により、撮像画像における位置又はカメラから物体までの距離に応じて決定した範囲の大きさを有する画像部分に限定して、前記候補画像部分を抽出することによって、レーンマークの候補画像部分を効率良く抽出することができる。

カメラ及び車両走行支援装置の車両への取付態様の説明図。車両走行支援装置の構成図。車両走行支援装置によるレーンマーク認識処理のフローチャート。候補画像部分の抽出処理の説明図。時系列画像間での移動ベクトル算出処理の説明図。立体道路標識の移動ベクトルの説明図。レーンマークの移動ベクトルの説明図。

本発明の実施形態について、図１〜図７を参照して説明する。図１を参照して、本実施形態において、本発明のレーンマーク認識装置は、車両１（自車両）に搭載された車両走行支援装置１０の機能の一部として構成されている。車両１には、カメラ２０と車両走行支援装置１０とが搭載されている。

カメラ２０は、車両１の前方を、フロントウィンドウ越しに撮像するように車内に取り付けられており、カメラ２０の取付部を原点として、車両１の左右方向（車幅方向）をＸ軸、上下方向（鉛直方向）をＹ軸、前後方向（進行方向）をＺ軸とした実空間座標系が定義されている。

図２を参照して、車両１には、車両走行支援装置１０の他に、速度センサ２１、加速度センサ２２、ヨーレートセンサ２３、操舵装置３０、及び制動装置３１が備えられている。速度センサ２１は車両１の速度の検出信号を出力し、加速度センサ２２は車両１の加速度の検出信号を出力し、ヨーレートセンサ２３は車両１のヨーレートの検出信号を出力する。

車両走行支援装置１０は、ＣＰＵ、メモリ等により構成された電子ユニットであり、カメラ２０の映像信号及び各センサ２１，２２，２３の検出信号が入力される。車両走行支援装置１０は、メモリに保持された車両走行支援用の制御プログラムをＣＰＵに実行させることによって、候補画像部分抽出部１１、特徴部分抽出部１２、移動ベクトル算出部１３（本発明の移動状況算出部に相当する）、候補画像部分除外部１４、及びレーンマーク認識部１５として機能して、車両１の走行レーンを認識する。

車両１には、さらに、操舵装置３０と制動装置３１が搭載され、車両走行支援装置１０は、操舵装置３０と制動装置３１の一方又は両方の作動を制御することにより、車両１が走行レーンから逸脱しないようにする走行支援制御を実行する。

次に、図３に示したフローチャートに従って、車両走行支援装置１０によるレーンマークの認識処理について説明する。車両走行支援装置１０は、ＳＴＥＰ１０でカメラ２０の撮像画像を入力して画像メモリ（図示しない）に保持し、ＳＴＥＰ２０で２値化処理とエッジ検出を行う。これにより、図４（ａ）に示したようなグレースケール画像（多値画像）から２値画像が生成され、図４（ｂ）に示したようなエッジ抽出画像が抽出される。

続くＳＴＥＰ３０は、候補画像部分抽出部１１による処理である。候補画像部分抽出部１１は、エッジ抽出画像から、レーンマークの画像部分の候補（候補画像部分）を抽出する。図４（ｂ）の例では、候補画像部分として、実際のレーンマークの画像部分５１の他に、道路の周囲に存在する立体道路標識の画像部分５０が抽出されている。

なお、候補画像部分抽出部１１は、抽出対象とする候補画像部分のサイズを、Ｅ1→Ｅ2→Ｅ3というように、実空間上の車両１から物体までの距離が長くなるに従って小さく設定して、各サイズ内に収まる画像部分を候補画像部分として抽出する。これにより、候補画像部分抽出部１１は、他車両等のサイズ的に明らかにレーンマークの画像部分ではないと判断できる画像部分を抽出対象外としている。

続くＳＴＥＰ４０のループは、特徴部分抽出部１２と移動ベクトル算出部１３と候補画像部分除外部１４とによる処理であり、候補画像部分抽出部１１により抽出された各候補画像部分について、ＳＴＥＰ４１〜ＳＴＥＰ４３の処理が実行される。

ＳＴＥＰ４０のループの処理は、図５に示したように、異なる時点ｔ1，ｔ2（ｔ1＋Δｔ）での撮像画像Ｉm(ｔ1)とＩm(ｔ2)間での、候補画像部分の移動状況（６０→６２、６１→６３等）に基づいて実行される。

ＳＴＥＰ４１は、特徴部分抽出部１２による処理である。図６を参照して、特徴部分抽出部１２は、時点ｔ1での撮像画像Ｉm(ｔ1)における候補画像部分６０（立体道路標識の画像部分）の上端エッジ部Ｃa1(ｔ1)と下端エッジ部Ｃb1(ｔ1)を特徴部分として抽出すると共に、時点ｔ2での撮像画像Ｉm(ｔ2)において、同一物体の画像部分であると推定される候補画像部分６１の状態エッジ部Ｃa1(ｔ2)と下端エッジ部Ｃb1(ｔ2)を特徴部分として抽出する。

この場合、候補画像部分６０（立体道路標識の画像部分）の上端エッジ部Ｃa1(ｔ1)と下端エッジ部Ｃb1(ｔ1)は、本発明の鉛直方向に相当する特定方向（ｙ方向）に間隔をもった複数の特徴部分に相当する。

続くＳＴＥＰ４２は、移動ベクトル算出部１３による処理である。移動ベクトル算出部１３は、時点ｔ1，ｔ2間における候補画像部分６０，６１の特徴部分Ｃa1（Ｃa1(ｔ1)→Ｃa1(ｔ2)）の移動ベクトルＶa1と、特徴部分Ｃb1（Ｃb1(ｔ1)→Ｃb1(ｔ2)）の移動ベクトルＶb1とを算出する。なお、移動ベクトルＶa1，Ｖb1は、本発明の移動状況に相当する。

ＳＴＥＰ４３とＳＴＥＰ４５は、候補画像部分除外部１４による処理である。候補画像部分除外部１４は、ＳＴＥＰ４３で、移動ベクトルＶa1とＶb1の相違度が所定レベル以上であるか否かを判断する。ここで、相違度としては、移動ベクトルＶa1とＶb1間の角度θの大きさ、移動ベクトルＶa1とＶb1の長さの差、これらの組合せ等を用いる。

立体画像標識のように、鉛直方向に長い物体の候補画像部分は、撮像画像Ｉm(ｔ1)，Ｉm(ｔ2)間で、ｙ方向に拡大されるため、移動ベクトルＶa1とＶb1の相違度が大きくなる。それに対して、道路に設けられたレーンマークは、鉛直方向の高さがほとんどない。そのため、図７に示したように、撮像画像Ｉm(ｔ1)における候補画像部分７０（レーンマークの画像部分）の上端エッジ部Ｃa2(ｔ1)及び下端エッジ部Ｃb2(ｔ1)と、撮像画像Ｉm(ｔ2)における候補画像部分７１の上端エッジ部Ｃa2(ｔ2)及び下端エッジ部Ｃb2(ｔ2)との間で、移動ベクトルＶa2とＶb2との相違度は僅かなものとなる。

そのため、候補画像部分除外部１４は、ＳＴＥＰ４３で、上端エッジについての移動ベクトルＶaと下端エッジについての移動ベクトルＶbとの相違度が所定レベル以上であるときは、ＳＴＥＰ４５に分岐してその候補画像部分をレーンマークの画像部分の候補から除外する。これにより、立体道路標識等の鉛直方向に長い物体を、レーンマークの候補から除外することができる。

そして、全ての候補画像部分についての除外処理を終えてループ１を抜けたＳＴＥＰ５０で、レーンマーク認識部１５は、ＳＴＥＰ４５で除外されなかった候補画像部分に基づいて、車両１が走行している道路のレーンマークを精度良く認識することができる。

以上説明した図３のフローチャートの処理によれば、演算負荷が小さい処理により立体道路標識等の鉛直方向に長い立体物の除外処理を行うことができる。また、この除外処理は、画像部分の上部エッジ（図６のＣa1）と下部エッジ（図６のＣb1）が一体の立体物のものであると仮定して、この仮定の成否を判断するものである。そして、一体の立体物であると判断された場合には、この画像部分を、レーンマーク認識の処理を開始する前段階で除外することができるため、立体道路標識等がレーンマークであると誤認識されることを抑制することができる。

なお、本実施形態においては、図４（ｂ）に示したように、候補画像部分を抽出する際の領域をカメラ２０との距離に応じて変更して設定したが、この領域を固定とする場合であっても本発明の効果を得ることができる。

また、本実施の形態においては、図６，図７に示したように、候補画像部分のｙ方向の両端エッジを特徴部分としたが、特徴部分はこれに限らず、ｙ方向（実空間上の鉛直方向に相当する特定方向）に間隔をもった複数の特徴部分を抽出して、各特徴部分の移動ベクトルを算出することで、本発明の効果を得ることができる。

また、本実施形態では、本発明の特徴部分の移動状況として移動ベクトルを算出したが、特徴部分の移動量等の他の指標を移動状況として算出してもよい。

１…車両、１０…車両走行支援装置、１１…候補画像部分抽出部、１２…特徴部分抽出部、１３…移動ベクトル算出部、１４…候補画像部分除外部、１５…レーンマーク認識部、２０…カメラ、２１…速度センサ、２２…加速度センサ、２３…ヨーレートセンサ、３０…操舵装置、３１…制動装置。

Claims

車載カメラによる撮像画像から、レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、
前記候補画像部分から、実空間上の鉛直方向に相当する特定方向の間隔をもった複数の特徴部分を抽出する特徴部分抽出部と、
異なる時点での撮像画像間で、同一物体の画像部分であると推定される前記候補画像部分の前記各特徴部分の移動状況を算出する移動状況算出部と、
異なる特徴部分間で移動状況を対比したときの対比対象の移動状況間の相違度が所定レベル以上である前記候補画像部分を、所定の立体物の画像部分であるとしてレーンマークの画像部分の候補から除外する候補画像部分除外部と、
前記候補画像部分除外部により除外されなかった前記候補画像部分に基づいて、レーンマークを認識するレーンマーク認識部と
を備えたことを特徴とするレーンマーク認識装置。
請求項１記載のレーンマーク認識装置において、
前記特徴部分抽出部は、前記候補画像部分の前記特定方向の両端部を、前記複数の特徴部分とすることを特徴とするレーンマーク認識装置。
請求項１又は請求項２記載のレーンマーク認識装置において、
前記候補画像部分抽出部は、撮像画像における位置又はカメラから物体までの距離に応じて決定した範囲内の大きさを有する画像部分に限定して、前記候補画像部分を抽出することを特徴とするレーンマーク認識装置。