JP6416654B2 - 白線検出装置 - Google Patents

Description

本発明は、白線検出装置に関する。

車両が走行する走行車線の白線を検出する技術として、特許文献１に記載された車両用画像処理装置がある。特許文献１に記載された装置は、１台のカメラを利用して立体物検出の処理に適した画像と白線検出の処理に適した画像とを交互に得る。そして、車両用画像処理装置の画像認識処理部は、白線検出の処理に適した画像を利用して、白線検出処理を実行することにより白線を検出する。

特開２００６−３２５０９４号公報

白線検出の処理に適した画像には白線とは異なる立体物も写り込む。画像に写り込んだ立体物は、画像から白線を検出する処理においてノイズになり得る。そこで、白線検出の処理に適した画像に写り込んだ立体物を検出し、立体物の情報を利用してノイズ処理を実行することも考えられる。しかし、白線検出の処理に適した画像は、白線を明瞭に撮像するための条件下で撮像される。一方、白線検出の処理に適した画像に写り込んだ立体物は明瞭でないことがあるので、立体物を精度良く検出してノイズ処理を実行することは困難である。従って、白線を検出する精度を向上させ難かった。

そこで、本発明は、白線の検出精度を向上することを目的とする。

本発明の一形態は、車両に搭載された車載カメラが撮像した画像を利用して、車両が走行する走行車線の白線を検出する白線検出装置であって、第１のタイミングにおいて車載カメラが撮像した立体物用画像と、第１のタイミングと同時ではない第２のタイミングにおいて車載カメラが撮像した白線用画像と、を取得する画像取得部と、立体物用画像を利用して、ステレオ処理により立体物用画像内の立体物の情報を得る立体物抽出部と、白線用画像を利用して、エッジ処理により白線用画像内のエッジを構成する候補点の情報を得る候補点抽出部と、立体物の情報と、車両の車速及び向きと、第１のタイミング及び第２のタイミングの時間差と、を利用して、白線用画像において立体物が占める領域の情報を得る領域特定部と、候補点の情報と立体物が占める領域の情報とを利用して、立体物が占める領域に含まれない候補点を白線のエッジを構成する点として検出する検出部と、を備える。

本発明によれば、白線の検出精度を向上することができる。

図１は、本発明の一形態に係る白線検出装置を備えた画像処理システムの機能ブロック図である。 図２は、立体物用画像及び白線用画像の撮像タイミングを示す図である。 図３は、白線検出装置の動作を示すフロー図である。 図４は、白線検出装置の動作を説明するための立体物用画像及び白線用画像の例である。 図５は、第２の構成に係る白線検出装置を備えた画像処理システムの機能ブロック図である。 図６（ａ）は縁石エッジ及び白線エッジの位置差と尤度との関係を示すグラフであり、図６（ｂ）は縁石エッジと白線エッジとの位置関係を説明するための図である。 図７は、第３の構成に係る白線検出装置を備えた画像処理システムの機能ブロック図である。

以下、添付図面を参照しながら本発明を実施するための形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は、本発明の一形態である白線検出装置を含む画像処理システム１００の機能ブロック図である。画像処理システム１００は、白線検出装置１と、車載カメラ２と、車両センサ３と、データ記録部４と、走路パラメータ推定部５と、を備える。画像処理システム１００は、自車両に搭載されるシステムであり、自車両に搭載された車載カメラ２によって撮像された画像から走行車線の両脇を示す白線を検出する。検出した白線は、走行車線のパラメータ算出などに利用される。

車載カメラ２は、撮像手段である２台のカメラ２ａ，２ｂと、カメラ制御部２ｃとを有する。車載カメラ２は、白線検出装置１からカメラ制御部２ｃに出力された制御信号により撮像条件が制御される。２台のカメラ２ａ，２ｂは、自車両の幅方向に離間して配置される。カメラ制御部２ｃは、白線用画像を取得するための制御パラメータと、立体物用画像を取得するための制御パラメータと、を有し、撮像フレーム毎に制御パラメータを変更する。図２は、立体物用画像及び白線用画像の撮像タイミングを示す図である。図２に示されるように、例えば、カメラ制御部２ｃは、立体物用画像を取得するフレームＦ１と、白線用画像を取得するフレームＦ２と、を５０ミリ秒間隔で繰り返し変更する。車両センサ３は、自車両の走行に関するデータを取得し、白線検出装置１に出力する。車両センサ３は、車速センサ、ヨーレートセンサなどの自車両の運動状態を示す数値を取得するセンサ群からなる。データ記録部４は、白線検出装置１から参照可能に構成される。データ記録部４は、カメラ２ａ，２ｂの配置された位置、カメラ２ａ，２ｂ同士の位置関係、及び各カメラ２ａ，２ｂの画角のようなカメラパラメータや、白線検出に関する各種の設定値が記録される。走路パラメータ推定部５は、自車両が走行する道路の形状を示す各種パラメータを推定する。パラメータには、道路の曲率、曲率変化率、白線に対する自車両のヨー角（向き）、白線に対する自車両の横位置などがある。走路パラメータ推定部５は、後述するように白線検出装置１から入力された白線情報を利用して、カルマンフィルタ処理により上記パラメータを推定する。

白線検出装置１は、ＥＣＵ（Electric Control Unit）上でプログラムを実行することにより実現される。ＥＣＵは、いわゆるコンピュータであり、中央演算処理装置（CPU）、プログラムや各種データが記録されるＲＯＭ、データが一時的に記録されるＲＡＭ、入出力装置などが一つのユニットとして構成される。白線検出装置１は、機能的構成要素として、画像取得部６と、立体物抽出部７と、候補点抽出部８と、領域特定部９と、検出部１１と、を備える。白線検出装置１では、画像取得部６が車載カメラ２から画像を取得する。画像取得部６は、立体物用画像と白線用画像を取得する。立体物抽出部７及び候補点抽出部８は、画像取得部６により取得された画像から立体物に関する情報と白線エッジを構成する候補点に関する情報とをそれぞれ抽出する。領域特定部９は、白線用画像における立体物が占める領域を特定する。そして、検出部１１は、立体物が占める領域に候補点が含まれるか否かを判定して、立体物が占める領域に含まれない候補点を、白線を示す情報として検出する。

画像取得部６は、車載カメラ２から画像情報を取得し、立体物抽出部７及び候補点抽出部８に出力する。画像情報は、２台のカメラ２ａ，２ｂでそれぞれ撮像された２枚の画像を含む。画像取得部６は、車載カメラ２から立体物用画像を取得して立体物抽出部７に出力する動作と、車載カメラ２から白線用画像を取得して候補点抽出部８に出力する動作とを繰り返す。白線用画像は、白線を検出するための画像であり、画像において白線である領域の明るさ（輝度値）が最適とされている。立体物用画像は、立体物を検出するための画像であり、画像において立体物である領域の明るさ（輝度値）が最適とされている。カメラ制御部２ｃは、白線又は立体物の明るさが最適となるように、カメラの露出時間を制御する。

立体物抽出部７は、立体物用画像を利用して、立体物用画像内の立体物に関する情報（以下「立体物情報」という）を得ると共に、取得した立体物情報を領域特定部９に出力する。立体物としては、例えば、自車両の走行する車線に隣接する走行車線を自車両と同じ方向に向かって走行する他車両、対向車線を走行する対向車両、走行車線の外縁に設けられた縁石、道路標識、信号機、電柱などがある。立体物抽出部７は、カメラ２ａ及びカメラ２ｂによって同じタイミングで撮像された視差の異なる２枚の立体物用画像を利用して、画像に含まれた立体物の三次元情報を取得する。立体物抽出部７は、抽出可能な領域を有する全ての立体物について、それらの三次元情報を取得する。三次元情報は、立体物用画像に含まれた立体物の三次元位置データ及び三次元形状データを含む。三次元形状データは、立体物の詳細な形状を示すものではなく、立体物を例えば直方体或いは円柱の形状として近似した場合の高さ、幅、奥行きを示す情報である。また、三次元位置データは、例えば、三次元形状データによって示される形状の重心点（中心点）の位置を、当該立体物の代表位置として示す情報である。なお、以下の説明において、三次元情報を規定する座標系として、自車両を原点として、自車両の幅方向をＸ軸方向とし、鉛直方向をＹ軸方向とし、Ｘ軸とＹ軸とに直交する方向をＺ軸方向とする。

立体物抽出部７は、カメラ２ａで撮像された基準画像（同じタイミングで撮像された視差の異なる立体物用画像の一方）から小領域を切り出し、その小領域と対応するカメラ２ｂで撮像された参照画像（立体物用画像の他方）の小領域を探索する。探索には、例えば、パターンマッチング処理の一例であるＳＡＤ（Sum of Absolute Difference）といった輝度パターンの類似性を利用できる。立体物抽出部７は、探索の結果を利用して、基準画像の小領域と、この小領域に対応する参照画像の小領域とのずれ量（ずれ画素数）を得る。立体物抽出部７は、このずれ画素数と、データ記録部４を参照して得た各カメラの焦点距離、カメラ同士の相対位置を利用して、視差を算出する。そして、立体物抽出部７は、視差をグループ化及びそれらグループを追跡して、立体物に関する三次元位置を算出する。

また、立体物情報は、立体物の絶対速度に関する情報も含む。立体物の絶対速度は、最新の立体物用画像と、１又は所定のフレーム数だけ過去に取得された立体物用画像と、車両センサ３から得た車速及びヨーレートを利用して周知の手法により算出される。また、車両センサに含まれるミリ波センサなどの出力を利用することもできる。

候補点抽出部８は、白線用画像を利用して、白線エッジを構成する候補点の情報（以下「白線候補点情報」という）を得ると共に、取得した白線候補点情報と白線用画像とを領域特定部９に出力する。従って、候補点抽出部８において取得される白線候補点情報は白線を示す情報そのものではなく、この白線候補点情報から抽出された点によって構成される。候補点抽出部８は、エッジ処理により候補点を抽出する。エッジ処理においては、白線用画像を構成するピクセルの輝度値を利用した周知のエッジ処理法が用いられる。候補点抽出部８は、同じタイミングで撮像された２枚の白線用画像に基づいて、ステレオマッチング法により候補点の三次元位置を得てもよい。なお、候補点抽出部８は、白線エッジを構成する候補点に限らず、エッジを構成する候補点を全て抽出してもよい。すなわち、白線候補点には、白線以外の立体物のエッジの候補点などが含まれていてもよい。

候補点抽出部８は、白線用画像を構成するピクセルが有する輝度値を判定値とし、白線用画像の左側から右側へと走査する。そして、候補点抽出部８は、閾値より小さい領域から閾値より大きい領域へ変化した部分を上りエッジを示す点として取得し、閾値より大きい領域から閾値より小さい領域へ変化した部分を下りエッジを示す点として取得する。この上りエッジ点と下りエッジ点との間が白線となる領域である。候補点抽出部８は、２枚の白線用画像のそれぞれから下りエッジ候補情報及び上りエッジ候補情報を取得した後に、ステレオマッチング法といった画像処理方法を利用して、三次元位置情報を得る。従って、候補点抽出部８において取得される候補点情報は、三次元的な位置が特定された上りエッジ候補情報及び下りエッジ候補情報を含む。

なお、候補点抽出部８は、複数の候補点に対してフィッティング処理を行ってもよい。候補点抽出部８は、複数の上りエッジ点を含む集合を上りエッジ候補点群として取り扱い、複数の下りエッジ点を含む集合を下りエッジ候補点群として取り扱う。そして、それぞれの候補点群に対して、例えば、時間的連続性に基づく処理を行う。この処理では、処理対象である候補点が、過去に検出された別の候補点と比較して近い位置にあるか否かを判定することによりノイズを候補点から除き、より確からしい候補点を選択する。また、幾何学的連続性に基づく処理がある。この処理では、処理対象である候補点が、走路パターンなどから予想される仮想線分と比較して近い位置にあるか否かを判定することによりノイズを候補点から除き、より確からしい候補点を選択する。これら処理によれば、候補点抽出部８から出力される情報の精度を向上させることができる。

領域特定部９は、領域情報を得ると共に、取得した領域情報を検出部１１に出力する。領域情報とは、白線用画像において立体物が占める領域を示す情報である。立体物情報は、立体物に関する三次元情報である。また、白線候補点情報は、白線を立体物用画像に含まれた白線を示す情報の候補点を示す三次元情報である。従って、これらは、共通の座標系を選択することにより、仮想的な空間において共通して取り扱うことが可能になる。

ところで、立体物情報は、第１のタイミングで取得された立体物画像から抽出される。また、白線候補点情報は、第２のタイミングで取得された白線用画像から抽出される。そうすると、立体物情報と白線候補点情報とを単に組み合わせただけは、立体物と白線との関係が正確でない場合がある。第１のタイミングと第２のタイミングとは同じではない。

そこで、領域特定部９は、車両センサ３から取得された速度と、ヨーレートと、第１及び第２のタイミングの時間差と、を利用して、第２のタイミングにおける立体物の位置を推定する。そして、領域特定部９は、白線候補点情報を規定する座標系によって示された立体物をＸＹ平面に投影し、ＸＹ平面に占める領域を得る。この処理により、白線用画像において立体物が占める領域を示す領域情報が得られる。

領域特定部９は、水平面（ＸＺ平面）における立体物の位置を推定する。この推定は、水平面（ＸＺ平面）をなすＸ軸及びＺ軸のそれぞれの方向について実施する。具体的には、領域特定部９は、立体物抽出部７が算出した立体物の絶対速度に時間差を乗算して、時間差により生じる立体物の移動量を算出する。当該移動量を立体物用画像から取得された位置に適用して、立体物の運動により生じるずれが補正された推定位置を得る。続いて、領域特定部９は、時間差により生じる自車両の移動量を算出する。自車両の運動については、車両センサ３から得た車速及びヨーレートを利用する。領域特定部９は、当該移動量を前述の推定位置に適用して、立体物の運動及び自車両の運動により生じる位置のずれが補正された推定位置を得る。続いて、領域特定部９は、立体物の推定位置において、立体物情報に含まれた三次元形状データを利用して、立体物の三次元形状を復元する。続いて、領域特定部９は、ＸＹ平面上に投影された立体物の平面形状を算出することにより、白線用画像において立体物が占める領域の情報を取得する。

なお、領域特定部９は、白線用画像を取得した第２のタイミングにおいて立体物が占める領域だけでなく、過去にその立体物が存在していた箇所を領域情報に含めてもよい。具体的には、領域情報は、第１のタイミングから第２のタイミングまでに立体物が移動したときに、立体物が白線画像上に占める領域を含んでもよい。また、立体物が対向車両などの移動体である場合には、領域情報は、水平面（ＸＺ平面）上において、立体物が占める領域をＸＹ平面に投影した領域を含んでもよい。水平面上において、他車両や電柱等の立体物が占める領域は、主に車線内又は車線外の領域であり、一般には白線は存在しない可能性が高いと考えることができる。従って、白線が存在しない可能性が高い領域も領域情報に追加することにより、路面の汚れなどを白線として誤検出する可能性を低減できる。

検出部１１は、白線情報を得ると共に、白線情報を走路パラメータ推定部５に出力する。白線情報とは、白線候補点情報から選択された白線を示す可能性が高い情報である。検出部１１には、領域特定部９からＸＹ平面上における白線エッジの候補を示す候補情報と、同じＸＹ平面上における立体物が占める領域を示す領域情報とが入力される。ここで、立体物が占める領域には、白線が映っていないと考えられる。そうすると、立体物が占める領域に、白線候補点が存在しないと仮定することができる。従って、立体物が占める領域に白線候補点が存在した場合には、それはノイズである可能性が高いと考えられる。

そこで、検出部１１は、領域情報と白線候補点情報とを利用して、立体物が占める領域に白線候補点が含まれるか否かを判断する。そして、検出部１１は、立体物が占める領域に白線候補点が含まれると判断した場合には、当該白線候補点はノイズである可能性が高いと判定し白線情報には採用しない。一方、検出部１１は、立体物が占める領域に白線候補点が含まれない判断した場合には、当該白線候補点は白線を示す真の情報である可能性が高いと判定し白線情報として採用する。すなわち、検出部１１は、当該白線候補点を白線のエッジを構成する点として検出する。検出部１１は、立体物抽出部７において抽出された全ての立体物について、上記判定を行う。検出部１１は、白線候補点の中から白線のエッジを構成する点を検出し、白線のエッジを構成する点を利用して、白線の検出を行う。

次に、図３及び図４を参照しつつ白線検出装置の動作について説明する。

白線検出装置１は、車載カメラ２及び画像取得部６を利用して、第１のタイミングで立体物用画像を取得する（工程Ｓ１）。図４（ａ）に示される立体物用画像Ｇ１は、自車両が片側一車線である走行車線を走行しているときに撮像された画像である。立体物用画像Ｇ１には、白線Ｗａ，Ｗｂと、車両中央線Ｃとが含まれる。また、立体物用画像Ｇ１には、対向車線を走行する対向車Ｔ（立体物）が含まれる。立体物用画像Ｇ１では、対向車Ｔが明瞭に示されている。

続いて、白線検出装置１は、車載カメラ２及び画像取得部６を利用して、第２のタイミングで白線用画像を取得する（工程Ｓ２）。図４（ｂ）に示される白線用画像Ｇ２は、自車両が片側一車線である走行車線を走行しているときに撮像された画像である。白線用画像Ｇ２には、白線Ｗａ，Ｗｂと、車両中央線Ｃとが含まれる。また、白線用画像Ｇ２には、対向車線を走行する対向車Ｔが含まれる。白線用画像Ｇ２では、白線Ｗａ，Ｗｂ及び車両中央線Ｃが明瞭に示されている。また、白線用画像Ｇ２は、立体物用画像Ｇ１よりも後に撮像される。従って、対向車Ｔの位置は、立体物用画像Ｇ１の対向車Ｔの位置とは異なっている。

続いて、白線検出装置１は、車両センサ３を利用して走行データを取得する（工程Ｓ３）。走行データは、自車両の車速、自車両のヨーレートを含む。そして、白線検出装置１は、データ記録部４を利用して設定データを取得する（工程Ｓ４）。設定データは、車載カメラ２のカメラパラメータ、後述する尤度の初期値、後述する尤度の変更値などを含む。

白線検出装置１は、立体物抽出部７を利用して立体物画像から立体物情報を抽出する（工程Ｓ５）。立体物情報に含まれる立体物の数は、少なくとも１個である。立体物情報に含まれる立体物の総数をＮとする（Ｎは１以上の整数）。Ｎが２以上の場合には、例えば、第１の立体物、第２の立体物…というように番号を付して取り扱う。例えば、図４（ｃ）に示されるように、立体物抽出部７は、対向車Ｔを第ｎの立体物とし、対向車Ｔの三次元位置及び三次元形状に関するデータを抽出する。

白線検出装置１は、候補点抽出部８を利用して白線候補点情報を取得する（工程Ｓ６）。候補点情報に含まれる白線の数は、少なくとも１本であり、２本又は３本以上でもよい。例えば、図４（ｄ）に示されるように、候補点抽出部８は、白線Ｗａ，Ｗｂ及び車両中央線Ｃの三次元位置及び形状に関するデータを抽出する。このとき、対向車Ｔの一部が白線Ｗａの一部として誤って抽出されたとする（線分Ｗ１）。また、工程Ｓ６では、全ての候補点に尤度の初期値を設定する。尤度の初期値は、例えば、０．５である。尤度は、候補点が実際に白線エッジを構成する点であるのことの確からしさを表わす評価値である。

白線検出装置１は、時間差を算出する（工程Ｓ７）。この工程Ｓ７は、領域特定部９により実行される。領域特定部９は、立体物用画像Ｇ１及び白線用画像Ｇ２に含まれたそれぞれの時刻データの差分を時間差として算出する。時間差は、例えば５０ミリ秒である。

白線検出装置１は、対向車Ｔの位置を推定する（工程Ｓ８）。この工程Ｓ８は、領域特定部９により実行される。この処理Ｓ８は、立体物情報の基準となる座標系と、候補点情報の基準となる座標系とは共通であるとしている。立体物情報の基準となる座標系が候補点情報の基準となる座標系と異なる場合には、いずれか一方を他方の座標系に基づくように座標変換すればよい。続いて、図４（ｅ）に示されるように、白線検出装置１は、白線用画像Ｇ２において対向車Ｔが占める領域Ａを算出する（工程Ｓ９）。この工程Ｓ９は、領域特定部９により実行される。

白線検出装置１は、白線情報を取得する。この工程は、検出部１１により実行される。具体的には、検出部１１は、処理対象の白線候補点における尤度が初期値（０．５）と等しいか否かを判定する（工程Ｓ１０）。この工程Ｓ１０によれば、繰り返し処理において、既に、立体物が占める領域に含まれると判定された白線候補点の処理を省略することができる。続いて、白線Ｗａを構成する白線候補点情報について処理を行う。対向車Ｔが占める領域Ａに候補点が含まれるか否かを判定する（工程Ｓ１１）。候補点が含まれる場合（工程Ｓ１１：ＹＥＳ）には、当該候補点の尤度を所定の値（例えば０．１）に変更する（工程Ｓ１２）。例えば、図４（ｅ）に示されるように、線分Ｗ１を構成する候補点Ｐ１は対向車Ｔが占める領域Ａに含まれているので、尤度を初期値の０．５から変更値の０．１とする。そして、次の工程Ｓ１３に移行する。候補点が含まれない場合（工程Ｓ１１：ＮＯ）には、当該候補点の尤度を変更することなく、工程Ｓ１３に移行する。例えば、線分Ｗａ１を構成する候補点Ｐ２は対向車Ｔが占める領域Ａに含まれていない、尤度を初期値の０．５ままとする。

続いて、全ての候補点について処理が終了したか否かを判定する（工程Ｓ１３）。処理が終了していない場合（工程Ｓ１３：ＮＯ）には、再び工程Ｓ１０〜工程Ｓ１２を実施する。処理が終了した場合（工程Ｓ１３：ＹＥＳ）には、次の工程Ｓ１４に移行する。上記工程Ｓ１０〜Ｓ１３を実行することにより、１個の立体物に対する処理が終了する。

続いて、全ての立体物について処理が終了したか否かを判定する（工程Ｓ１４）。処理が終了していない場合（工程Ｓ１４：ＮＯ）には、カウンタ（ｎ）を加算して（工程Ｓ１５）、次の第（ｎ＋１）の立体物について、上述の工程Ｓ１０〜工程Ｓ１４を実施する。処理が終了した場合（工程Ｓ１４：ＹＥＳ）には、工程Ｓ１６に移行する。

続いて、白線情報を検出する（工程Ｓ１６）。上述の工程Ｓ１０〜工程Ｓ１４を実施した後の候補情報は、それぞれの候補点について尤度による重み付けがなされている。例えば、図４（ｆ）に示されるように、白線Ｗａにおいて、領域Ａに含まれた線分Ｗ１を構成する候補点は、尤度が０．１である。一方、白線Ｗａにおいて、領域Ａに含まれない線分Ｗａ１，Ｗａ２を構成する候補点は、尤度が０．５である。従って、検出部１１は、所定値以上（０．５以上）の尤度を有する候補点が白線のエッジを構成する点であるとして、選択する。以上の工程Ｓ１〜工程Ｓ１６を実施することにより、白線が検出される。

なお、上述の動作において、立体物情報を抽出する動作（工程Ｓ５）と、白線用画像を取得する動作（工程Ｓ２）とは、並行して実施してもよい。同様に、候補点情報を抽出する動作（工程Ｓ６）と、立体物用画像を取得する動作（工程Ｓ１）とは、並行して実施してもよい。また、上述の動作において、処理に用いる立体物用画像と白線用画像との組み合わせには、処理に用いる立体物用画像と白線用画像との時間差が取得されれば、任意の組み合わせとすることができる。

上述したように白線検出装置１では、画像取得部６が第１のタイミングで立体物用画像Ｇ１を取得し、第１のタイミングと同時ではない第２のタイミングで白線用画像Ｇ２を取得している。立体物用画像Ｇ１と白線用画像Ｇ２を取得するタイミングが時間的にずれているので、車載カメラ２をそれぞれの画像の撮像に適した条件に設定することが可能になる。従って、立体物抽出部７及び候補点抽出部８において、立体物情報及び白線候補点情報をそれぞれ精度良く取得することが可能になる。この白線候補点情報は、立体物である対向車Ｔの存在に起因するノイズ成分（例えば、図４（ｄ）の線分Ｗ１）を含むことがある。そこで、領域特定部９は、立体物情報を利用して、白線用画像Ｇ２において対向車Ｔが占める領域Ａを示す領域情報を取得する。この領域情報の取得では、自車両の車速及び向きと第１及び第２のタイミングの時間差を利用して、それぞれの画像間における時間的な位置のずれが補正される。従って、白線用画像Ｇ２における対向車Ｔが占める領域Ａを精度良く特定することが可能になる。そして、対向車Ｔが占める領域Ａに含まれる候補点Ｐ１はノイズである可能性が高いので、検出部１１は対向車Ｔが占める領域Ａに含まれない候補点Ｐ２等を白線情報として検出する。そうすると、検出された白線情報には、検出精度を低下させるノイズとなり得る候補点Ｐ２等が含まれないので、白線の検出精度を向上することができる。

第２の形態に係る画像処理システム１００Ａについて説明する。画像処理システム１００Ａは、立体物のうち、特に走行車線の外側に設置される縁石に注目し、縁石の存在に起因する白線検出の精度の低下を抑制する。また、立体物用画像の撮像タイミングと白線用画像の撮像タイミングとの時間差に関する補正では、縁石の位置推定を自車両の走行データに基づく推定処理ではなく、画像に基づくフロー検出処理によって実施する。

図５に示されるように、画像処理システム１００Ａは、白線検出装置１Ａと、車載カメラ２と、データ記録部４と、走路パラメータ推定部５とを備える。第１の形態と同一の要素には同一の符号を付し、重複する説明を省略する。

白線検出装置１Ａは、画像取得部６と、立体物抽出部７と、候補点抽出部８と、位置推定部１２と、検出部１３と、を備える。画像取得部６は、第１実施形態の画像取得部６と同様の構成を有し、同様に動作する。

上述した一形態と同様に、立体物抽出部７は、立体物用画像を利用して、当該画像内の縁石に関する縁石情報（立体物情報）を取得し、当該縁石情報を位置推定部１２に出力する。縁石情報とは、縁石の三次元位置及び三次元形状を示す情報である。この情報の取得には、例えば、ステレオマッチング処理を利用することができる。ステレオマッチング処理により、立体物画像に含まれた２枚の画像間における視差を算出する。続いて、縁石の段差（視差の変化または三次元形状を示す情報に含まれる高さ情報）を利用して、路面と縁石との境界を縁石エッジとして検出する。この縁石エッジの検出には、パターンマッチング処理を利用することもできる。パターンマッチング処理によれば、自車両から遠い位置にある縁石の視差精度の低下を抑制できる。なお、上述した一形態においては、立体物抽出部７は、縁石エッジの検出までは行わなくてもよい。

上述した一形態と同様に、候補点抽出部８は、白線用画像を利用して、当該画像内の白線に関する候補点情報を取得し、当該候補点情報を検出部１１に出力する。候補点抽出部８は、候補点抽出部８と同様にエッジ処理により複数の候補点を白線用画像から抽出する。

位置推定部１２は、立体物用画像と白線用画像との間の時間差を利用して、第１のタイミングにおける縁石の位置から、第２のタイミングのタイミングにおける縁石の位置を推定する。そして、位置推定部１２は、推定した縁石の位置に関する情報（推定縁石情報）を、検出部１３に出力する。縁石情報が抽出される立体物用画像と、候補点情報が抽出される白線用画像とは、撮像のタイミングがずれている。すなわち、車載カメラ２におけるシャッタータイミングが異なる（図２参照）。例えば、立体物画像を先に取得しその後に白線用画像を取得した場合、立体物用画像内の縁石の位置は、白線用画像における縁石の位置よりも遅れて見える。立体物用画像を取得した時刻と白線用画像を取得した時刻は既知であるので、位置推定部１２は、これら時刻から時間差（遅れ時間）を算出する。続いて、位置推定部１２は、最新の立体物用画像と１フレーム過去（例えば１００ミリ秒前）の立体物用画像とを利用して、縁石のオプティカルフロー量（単位時間あたりのピクセル移動量）を算出する。そして、位置推定部１２は、当該遅れ時間とオプティカルフロー量とを利用して、立体物用画像から取得された縁石の位置情報から、白線用画像を取得した時刻における位置を推定する。

なお、位置推定部１２は、必要に応じて、候補点情報を規定する座標系を用いた表現に推定された縁石の位置を変換する。また、位置推定部１２は、必要に応じて、推定された縁石の位置情報を利用したパラメータ推定を行ってもよい。パラメータ推定処理では、直線モデルやクロソイドモデルといったモデルを利用して、最小二乗法といった近似処理により、推定縁石情報から縁石のエッジ情報を算出する。このパラメータ推定処理は、ステレオカメラで取得された２枚の画像の視差が小さい場合に縁石の段差が精度よく算出されず、縁石情報により示される縁石のエッジ形状が連続的でない場合に有効である。また、パラメータ推定処理は、ステレオマッチング処理において基準画像の所定領域に対応する領域が参照画像から見つからない場合になどに有効である。

検出部１３は、推定縁石情報を利用して白線候補点情報に対して重み付け処理を行い、重み付けがなされた白線候補点情報から白線情報を検出する。推定縁石情報を利用した白線候補点情報の重み付け処理について説明する。この重み付け処理では、推定縁石情報に示される縁石位置から白線候補点情報に示される白線エッジ候補までのＸ軸方向に沿った位置差をパラメータとする。図６（ａ）は、位置差と白線である確からしさ（尤度）との関係を示す。横軸は、位置差を示し、縦軸は尤度を示す。位置差と尤度とは、所定の関数により示され、ここでは一次関数であるとする。グラフに示されるように、位置差が大きいほど、縁石から白線エッジ候補が離れているので、白線エッジ候補は白線である確からしさが大きいと規定する（尤度を大きくする）。一方、位置差が小さいほど、縁石と白線エッジ候補が近接しているので、白線エッジ候補は白線である確からしさが小さいと規定する（尤度を小さくする）。なお、図６（ａ）に示されたグラフは、最適な制御がなされるように適切に設定される。

図６（ｂ）は、白線候補線情報により示される白線エッジ候補Ｗｃと、推定縁石情報に示される縁石エッジＥとを、Ｙ軸方向から見た平面視した図である。検出部１３は、白線エッジ候補Ｗｃと縁石エッジＥとを奥行き方向（Ｚ軸方向）に沿って３個の領域Ｂ１，Ｂ２，Ｂ３に分割する。例えば、領域Ｂ１，Ｂ２，Ｂ３の長さは、５メートルであるとする。なお、奥行き方向に沿った分割数は、３個以上であってもよい。分割数が多い場合には、湾曲する走行車線において精度のよい位置差を得ることができる。続いて、第１の領域Ｂ１において、縁石エッジＥと白線エッジ候補Ｗｃとの横方向（Ｘ軸方向）における手前側の位置差ｄａを算出する。続いて、第１の領域Ｂ１において奥側の位置差ｄｂを算出する。そして、第１の領域Ｂ１における縁石エッジＥと白線エッジ候補Ｗｃとの位置差ｄ１は、（ｄ１＝（ｄａ＋ｄｂ）／２）であると規定する。続いて、位置差ｄを図６（ａ）に示されたグラフを用いて尤度Ｌ１に換算する。これら位置差ｄを算出する処理と、位置差を尤度に換算する処理と、を第２の領域Ｂ２及び第３の領域Ｂ３についても実施する。その結果、第２の領域Ｂ２の尤度はＬ２であり、第３の領域Ｂ３の尤度はＬ３であるとする。

次に、検出部１３は、白線情報を検出する。検出部１１は、重み付けがなされた第１〜第３の領域Ｂ１，Ｂ２，Ｂ３について、閾値以上の重み（尤度）を有する領域の線分を、白線として選択する。例えば、検出部１３は、尤度がＬｓ以上である領域を白線情報として採用する。そうすると、図６（ａ）に示されるように、領域Ｂ１，Ｂ２を示す白線候補情報が白線情報として採用される。

上記白線検出装置１Ａによれば、白線検出装置１と同様に、縁石の存在に起因するノイズの影響を低減し、白線の検出精度を向上することができる。

第３の形態における白線検出装置１Ｂについて説明する。第３の形態における白線検出装置１Ｂは、縁石の存在に起因する白線検出の精度の低下を抑制する点で、第１実施形態の白線検出装置１と相違し、第２の構成の白線検出装置１Ａと共通する。また、立体物用画像及び白線用画像における撮像タイミングの時間差に関する補正は、自車両の走行データを用いる点で、第１実施形態の白線検出装置１と共通であり、第２の構成の白線検出装置１Ａと相違する。

図７に示されるように、画像処理システム１００Ｂは、白線検出装置１Ｂと、車載カメラ２と、車両センサ３と、データ記録部４と、走路パラメータ推定部５と、を備える。白線検出装置１Ｂは、画像取得部６と、立体物抽出部７と、候補点抽出部８と、位置推定部１２Ａと、検出部１３と、を有する。

位置推定部１２Ａは、立体物用画像と白線用画像との間の時間差を利用して、第１のタイミングにおける縁石の位置から、第２のタイミングのタイミングにおける位置を推定する。この推定において、位置推定部１２Ａは、オプティカルフローを利用した方法に代えて、第１実施形態のように車両センサ３から取得された車両速度、ヨーレートを利用した方法を利用する。具体的には、位置推定部１２Ａは、時間差により生じる自車両の移動量を算出する。当該移動量を縁石の位置に適用することにより、縁石の推定位置を得る。なお、第１実施形態の領域特定部９では、立体物の運動に起因する移動量を算出していた。しかし、縁石は固定物であるのでそれ自身の移動量はゼロである。従って、位置推定部１２Ａでは立体物自体の移動に関する処理は必要ない。

上記白線検出装置１Ｂによれば、白線検出装置１と同様に、縁石の存在に起因するノイズの影響を低減し、白線の検出精度を向上することができる。

１，１Ａ，１Ｂ…白線検出装置、２…車載カメラ、２ａ，２ｂ…カメラ、２ｃ…カメラ制御部、３…車両センサ、４…データ記録部、５…走路パラメータ推定部、６…画像取得部、７…立体物抽出部、８…候補点抽出部、９…領域特定部、１１，１３…検出部、１２…位置推定部、１２Ａ…位置推定部、１００，１００Ａ，１００Ｂ…画像処理システム、Ａ…対向車が占める領域、Ｃ…車両中央線、Ｅ…縁石エッジ、Ｇ１…立体物用画像、Ｇ２…白線用画像、Ｌ１，Ｌ２，Ｌ３…尤度、Ｐ１，Ｐ２…候補点、Ｔ…対向車、Ｗａ，Ｗｂ…白線、Ｗｃ…白線エッジ候補。

Claims (1)

1. 自車両に搭載された車載カメラが撮像した画像を利用して、前記自車両が走行する走行車線の白線を検出する白線検出装置であって、
   第１のタイミングにおいて前記車載カメラが撮像した立体物用画像と、第１のタイミングと同時ではない第２のタイミングにおいて前記車載カメラが撮像した白線用画像と、を取得する画像取得部と、
   前記立体物用画像を利用して、ステレオ処理により前記立体物用画像内の立体物の情報を得る立体物抽出部と、
   前記白線用画像を利用して、エッジ処理により前記白線用画像内のエッジを構成する候補点の情報を得る候補点抽出部と、
   前記立体物の情報と、前記自車両の車速及び向きと、前記第１のタイミング及び前記第２のタイミングの時間差と、を利用して、前記白線用画像において前記立体物が占める領域の情報を得る領域特定部と、
   前記候補点の情報と前記立体物が占める領域の情報とを利用して、前記立体物が占める領域に含まれない前記候補点を前記白線のエッジを構成する点として検出する検出部と、を備える白線検出装置。
   

Images