JP2016162130A - 横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラム - Google Patents

Abstract

【課題】車両の周囲を撮影して得られる画像から横断歩道を正確に検出できる横断歩道検出装置を提供する。
【解決手段】横断歩道検出装置は、車両（１０）に搭載された撮像部（２）により生成された、車両（１０）の周囲が写った画像上で、車両（１０）の周囲の道路の一部に相当する第１の領域及び第１の領域に対して車両（１０）の直進方向と交差する第１の方向に対応する画像上の方向に沿って第１の領域と隣接する第２の領域を設定する検出領域設定部（２１）と、第１の領域において、第１の方向に沿って輝度値の変動が繰り返される第１のパターンを検出する繰り返しパターン検出部（２２）と、第１の領域内に第１のパターンが存在し、かつ、第２の領域内に第１の方向に沿って輝度値の変動が繰り返される第２のパターンが存在する場合に、第１のパターン及び第２のパターンを横断歩道として検出する横断歩道検出部（２３）とを有する。
【選択図】図３

Description

本発明は、例えば、画像上に写っている横断歩道を検出する横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラムに関する。

車両のドライバの運転を支援するなどの目的で、車両に搭載されたカメラにより車両の周囲を撮影して得られる画像から、車両の周囲にある様々な物体または道路標示などを検出する技術が研究されている。

例えば、特許文献１には、撮像された車両前方の画像中から横断歩道の存在とその位置を認識する道路認識装置が開示されている。この道路認識装置は、車両周辺を撮像して得られた画像において設定領域ごとの輝度の繰り返しパターンを認識し、その繰り返しパターンが認識された設定領域に対応する実空間上の点が道路面上にある場合に横断歩道として検出する。その際、この道路認識装置は、繰り返しパターンが横断歩道か否かを判定するために、画像上のエピポーラライン上で輝度微分値が正の閾値以上となる開始画素に対応する実空間上の開始点から輝度微分値が負の閾値以下となる終了画素に対応する実空間上の終了点との間隔を求める。そしてこの道路認識装置は、その間隔が、横断歩道の白線の幅の規格を誤差分だけ拡げた範囲内に含まれることを、繰り返しパターンが横断歩道であると判定する条件の一つとして利用する。

特開２００６−３０９３１３号公報

しかしながら、路面の工事などの際に仮設で設けられる横断歩道、あるいは、立体表示の横断歩道といった、白線の幅が横断歩道の規格を満たしていない横断歩道が路面上に設けられていることがある。また、横断歩道を表した道路標示の一部が摩耗などによって欠けていることがある。このような場合、上記の道路認識装置は、横断歩道を正確に認識できないおそれがある。

そこで本明細書は、車両の周囲を撮影して得られる画像から横断歩道を正確に検出できる横断歩道検出装置を提供することを目的とする。

一つの実施形態によれば、横断歩道検出装置が提供される。この横断歩道検出装置は、車両に搭載された撮像部により生成された、車両の周囲が写った画像上で、車両の前方の道路の一部に相当する第１の領域及び第１の領域に対して車両の直進方向と交差する第１の方向に対応する画像上の方向に沿って第１の領域と隣接する第２の領域を設定する検出領域設定部と、第１の領域において、第１の方向に沿って輝度値の変動が繰り返される第１のパターンを検出する繰り返しパターン検出部と、第１の領域内に第１のパターンが存在し、かつ、第２の領域内に第１の方向に沿って輝度値の変動が繰り返される第２のパターンが存在する場合に、第１のパターン及び第２のパターンを横断歩道として検出する横断歩道検出部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示された横断歩道検出装置は、車両の周囲を撮影して得られる画像から横断歩道を正確に検出できる。

横断歩道検出装置の一つの実施形態である運転支援装置が搭載された車両の構成図である。 一つの実施形態による運転支援装置の概略構成図である。 制御部の機能ブロック図である。 車両が走行中の車線と横断歩道の関係の一例を示す図である。 画像上に設定される一次検出領域及び二次検出領域の一例を示す図である。 横断歩道の白線部分とビンの関係の一例を示す図である。 横断歩道検出処理を含む車線検出処理の動作フローチャートである。 横断歩道検出処理を含む車線検出処理の動作フローチャートである。 上記の各実施形態またはその変形例による横断歩道検出装置の制御部の各部の機能を実現するコンピュータプログラムが動作することにより、横断歩道検出装置として動作するコンピュータの構成図である。

以下、図を参照しつつ、横断歩道検出装置について説明する。この横断歩道検出装置は、車両の前方を撮影することにより得られた画像から、その画像に写っている横断歩道を検出する。その際、この横断歩道検出装置は、車両の周囲の道路の一部を含む１次検出領域において、車両の直進方向と交差する方向の輝度変動の繰り返しパターンを横断歩道の候補として検出する。そしてこの横断歩道検出装置は、車両の直進方向と交差する方向に対応する画像上の方向に沿って１次検出領域に隣接する２次検出領域において、輝度変動の繰り返しパターンが検出された場合に、それらの繰り返しパターンを横断歩道として検出する。

図１は、横断歩道検出装置の一つの実施形態である運転支援装置が搭載された車両の構成図である。
運転支援装置１は、車両１０に搭載され、カメラ２及びディスプレイ３と、ネットワーク４によって互いに接続されている。なお、図１では、説明の都合のため、車両１０の形状、サイズ及び運転支援装置１などの配置は、実際のものとは異なっている。

本実施形態では、運転支援装置１は、カメラ２により車両１０の前方を撮影して得られる画像から車線境界線を検出する。そして運転支援装置１は、車線境界線の画像上での位置に応じて車両１０が走行中の車線からはみ出したり、あるいは、はみ出しそうになったときに、ディスプレイ３を介してドライバへ警告を発する。その際、運転支援装置１は、画像に横断歩道が写っている場合に、その画像から横断歩道を検出し、その検出結果を利用して、横断歩道を車線境界線と誤認識することを抑制する。なお、運転支援装置１の詳細については後述する。

カメラ２は、撮像部の一例であり、例えば、車両１０の車室内に、車両１０の前方へ向けて配置され、車両１０の前方を表す画像を生成する。そのために、カメラ２は、２次元状に配置された複数の固体撮像素子を有するイメージセンサと、そのイメージセンサ上に車両１０の前方の像を結像する結像光学系を有する。

カメラ２は、例えば、一定の時間間隔（例えば1/30秒）ごとに、車両１０の前方の領域を撮影して、その前方の領域が表された画像を生成する。そしてカメラ２は、画像を生成する度に、その画像を、ネットワーク４を介して運転支援装置１へ送信する。

ディスプレイ３は、表示装置の一例であり、例えば、液晶ディスプレイとすることができる。ディスプレイ３は、車両１０の車室内に表示画面がドライバに向くように配置される。例えば、ディスプレイ３は、インストルメントパネル内に配置される。あるいは、ディスプレイ３は、インストルメントパネルと独立して配置されてもよい。そしてディスプレイ３は、運転支援装置１からネットワーク４を介して受信した情報などを表示する。

ネットワーク４は、車両１０に搭載された様々な装置間で通信するためのネットワークであり、例えば、コントロールエリアネットワーク（ＣＡＮ）に準じたネットワークとすることができる。

図２は、運転支援装置１の概略構成図である。運転支援装置１は、記憶部１１と、通信部１２と、制御部１３とを有する。

記憶部１１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部１１は、制御部１３で実行される各種コンピュータプログラム、例えば、横断歩道検出を含む、運転支援処理のコンピュータプログラムを記憶する。さらに、記憶部１１は、運転支援処理で使用される各種のデータを記憶する。さらに、記憶部１１は、カメラ２により生成された画像を一定期間記憶してもよい。

通信部１２は、カメラ２、ディスプレイ３及び車両制御ユニット（図示せず）などとネットワーク４を通じて通信する通信インターフェース及びその制御回路を有する。そして通信部１２は、カメラ２からネットワーク４を介して受け取った画像を制御部１３へわたす。また通信部１２は、制御部１３から受け取った警告メッセージをディスプレイ３へ出力する。さらに、通信部１２は、車両１０の挙動（速度、加速度またはステアリングの回転角など）を検知する各種センサからの情報をネットワーク４を介して受け取って、制御部１３へわたしてもよい。

制御部１３は、一つまたは複数のプロセッサとその周辺回路を有し、横断歩道検出処理を含む運転支援処理を実行する。

図３に、制御部１３の機能ブロック図を示す。図３に示すように、制御部１３は、検出領域設定部２１と、繰り返しパターン検出部２２と、横断歩道検出部２３と、車線検出部２４とを有する。制御部１３が有するこれらの各部は、例えば、制御部１３が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、制御部１３が有するこれらの各部は、ファームウェアとして実装されてもよい。あるいはまた、制御部１３が有するこれらの各部は、専用の回路として実装されてもよい。

検出領域設定部２１は、カメラ２から運転支援装置１が画像を受け取る度に、その画像上に、横断歩道の候補となる輝度変動の繰り返しパターンの検出対象となる１次検出領域及び２次検出領域を設定する。

最初に、車両１０が走行中の車線と横断歩道の関係について説明する。図４は、車両１０が走行中の車線と横断歩道の関係の一例を示す図である。図４に示されるように、例えば、車両１０が３本の車線４０１〜４０３を持つ道路を走行しているとする。車両１０が最も左側の車線４０１を走行していれば、車両１０から横断歩道４１０を見た場合、横断歩道４１０は、車両１０の前方から右側へわたって延びている。同様に、車両１０が最も右側の車線４０３を走行していれば、車両１０から横断歩道４１０を見た場合、横断歩道４１０は、車両１０の前方から左側へわたって延びている。また、車両１０が中央の車線４０２を走行していれば、車両１０から横断歩道４１０を見た場合、横断歩道４１０は、車両１０の前方から左側及び右側の両方へ延びている。

このように、車両１０が走行中の道路が複数の車線を含む場合、横断歩道は、車両１０が走行中の車線あるいは車両１０の車幅よりも、その車線を横切る方向に沿って左側または右側の少なくとも一方に延びている。また、車両１０が走行中の道路がある程度広い道路である場合も、同様に、横断歩道は、車両１０の車幅よりもその道路を横切る方向に沿って左側または右側の少なくとも一方に延びている。そこで、検出領域設定部２１は、画像上で、車両１０の前方の道路の一部に相当する画像上の領域を１次検出領域として設定する。その際、検出領域設定部２１は、道路外の物体による輝度変動の繰り返しパターンを横断歩道として誤検出することを防ぐために、１次検出領域を、道路以外の領域が含まれないように設定することが好ましい。さらに、検出領域設定部２１は、画像上で、車両１０が直進する方向と交差する方向に相当する画像上の方向に沿って１次検出領域に隣接するように２次検出領域を設定する。

図５は、画像上に設定される１次検出領域及び２次検出領域の一例を示す図である。図５に示された画像５００では、下方ほど車両１０の近くにある被写体が写り、上方ほど車両１０から離れた被写体が写るとする。この場合、１次検出領域５０１は、例えば、車両１０が直進した場合に通過する路面に相当する画像上の台形状の領域として設定される。１次検出領域５０１の下端は、例えば、車両１０で隠ぺいされずに路面が画像５００上に写る地点、あるいはその地点から所定のオフセット（例えば、1〜5m）だけ前方の位置に相当する。また、１次検出領域５０１の上端は、１次検出領域５０１の下端から、道路の延伸方向に沿った横断歩道の横幅程度（例えば、2m〜5m）だけ上方に設定される。あるいは、１次検出領域５０１の上端は、カメラ２から見た路面の無限遠に相当する位置に設定されてもよい。また、例えば、１次検出領域５０１の水平方向の幅は、例えば、車両１０の車幅から１車線程度の幅に相当するように、画像５００の下端に近いほど広くなるよう設定される。そして例えば、カメラ２が車両１０の横幅の中心に設置され、かつ、カメラ２の光軸が車両１０の直進方向と平行な方向へ向けられているとする。この場合、画像５００の水平方向の中心から１次検出領域５０１の左端までの距離と１次検出領域５０１の右端までの距離が等しくなるように１次検出領域５０１は設定される。

また、２次検出領域５０２、５０３は、それぞれ、１次検出領域５０１の左側または右側に隣接し、かつ、画像５００上での２次検出領域５０２、５０３の垂直方向の長さが１次検出領域５０１の垂直方向の長さと同一となるように設定される。また、２次検出領域５０２、５０３の水平方向の幅は、例えば、１車線分の幅（例えば、2.5m〜3.5m）に相当する画像上の幅に設定される。なお、１次検出領域５０１と各２次検出領域５０２、５０３とは互いに接していてもよく、あるいは、１画素から数画素離れていてもよい。さらに、１次検出領域５０１と各２次検出領域５０２、５０３とは、互いに部分的に重複していてもよい。

なお、カメラ２の設置位置、光軸方向、画角、及び画像サイズといったカメラ２の各種パラメータは既知であるので、それらパラメータに基づいて、予め、画像上での１次検出領域及び２次検出領域の各頂点の座標が決定され、１次検出領域及び２次検出領域を表す情報として記憶部１１に記憶される。そして検出領域設定部２１は、１次検出領域を表す情報を記憶部１１から読み出して繰り返しパターン検出部２２へ通知する。また検出領域設定部２１は、２次検出領域を表す情報を記憶部１１から読み出して横断歩道検出部２３へ通知する。

なお、直近に取得された所定枚数（例えば、１〜３枚）の画像のうちの何れかにおいて車線検出部２４により車線境界線が検出され、画像上での車線境界線の位置が記憶部１１に記憶されていることがある。この場合、検出領域設定部２１は、画像上での車線境界線を１次検出領域と２次検出領域の境界としてもよい。

繰り返しパターン検出部２２は、カメラ２から運転支援装置１が画像を受け取る度に、その画像上の１次検出領域内で、車両１０の直進方向と交差する方向に相当する画像上での方向に沿って輝度値の変動が繰り返されるパターンを横断歩道の候補として検出する。

ガードレールあるいは縁石なども相対的に明るく、かつ、道路の延伸方向に沿って連続しているため、これらの道路脇に存在する物体により、画像上で、車両１０の直進方向と直交する方向に沿って、横断歩道と同様のパターンが表れることがある。しかし、本実施形態では、繰り返しパターン検出部２２は、横断歩道の候補となるパターンの検出範囲を１次検出領域に限定しているので、これらの道路脇に存在する物体を横断歩道の候補として誤検出することを防止できる。

本実施形態では、繰り返しパターン検出部２２は、先ず、１次検出領域内で、水平方向に画素が連続する画素列ごとに、輝度が相対的に明るい画素が連続するブロックを検出する。そのために、繰り返しパターン検出部２２は、例えば、着目する画素列について、画素x_iごとに、その画素x_iの輝度p(x_i)を右側に隣接する画素x_i+1の輝度p(x_i+1)から減じた差分値(p(x_i+1)-p(x_i))を算出する。そして繰り返しパターン検出部２２は、差分値(p(x_i+1)- p(x_i))が正の値を持つ所定の差分閾値以上となるときの画素x_i+1をブロックの左端とする。さらに、繰り返しパターン検出部２２は、ブロックの左端よりも右側でその左端に最も近い、差分値が負の所定の差分閾値以下となるときの画素x_iをブロックの右端とする。なお、繰り返しパターン検出部２２は、ブロックの右端または左端を検出するために、sobelフィルタなどのエッジ検出フィルタを利用してもよい。

あるいは、繰り返しパターン検出部２２は、１次検出領域全体について、輝度値が所定の輝度閾値以上となる画素（便宜上、明画素と呼ぶ）と輝度値が所定の輝度閾値未満となる画素（便宜上、暗画素と呼ぶ）とに２値化してもよい。繰り返しパターン検出部２２は、画素列ごとに、１次検出領域の左端側から順に着目画素を設定する。そして繰り返しパターン検出部２２は、着目画素が明画素で、かつ、左側に隣接する画素が暗画素であるときに、その着目画素をブロックの左端としてもよい。この場合、繰り返しパターン検出部２２は、ブロックの左端よりも右側において、最初に、着目画素が明画素で、かつ、右側に隣接する画素が暗画素となるときに、その着目画素をブロックの右端とする。

次に、繰り返しパターン検出部２２は、１次検出領域の各画素列におけるブロックを、路面に平行で、車両１０の直進方向とその直進方向と直交する方向とをそれぞれ座標軸とする座標系を表す路面画像上に投影して、路面画像上での各ブロックの位置を求める。

そのために、記憶部１１は、１次検出領域内の各画素の位置と路面画像上の対応位置との関係を表した位置変換テーブルを記憶していてもよい。繰り返しパターン検出部２２は、その位置変換テーブルを参照することで、各ブロックの路面画像上の位置を決定する。あるいは、繰り返しパターン検出部２２は、各ブロックを鳥瞰変換することで、路面画像上での各ブロックの位置を求めてもよい。なお、本実施形態では、カメラ２の光軸方向、焦点距離及び路面からのカメラ２の高さといったカメラに関するパラメータが既知である。そのため、繰り返しパターン検出部２２は、例えば、特開２００５−１６７３０９号公報に開示されている方法に従って各ブロックを鳥瞰変換できる。なお、繰り返しパターン検出部２２は、鳥瞰変換を利用して路面画像上の各ブロックの位置を求める場合、鳥瞰変換を行う様々な方法の何れかに従って各ブロックを鳥瞰変換すればよい。

横断歩道の各白線は道路の延伸方向に沿ってある程度の長さを持ち、かつ、その白線は周囲よりも明るい。また、車両１０の直進方向と、道路の延伸方向とは略一致すると想定される。そのため、もし、１次検出領域内に横断歩道が写っている場合、路面画像上では、車両１０の直進方向に対応する路面画像上の方向、例えば、垂直方向に沿ってブロックが並ぶ可能性が高い。

そこで繰り返しパターン検出部２２は、路面画像への投影後の各画素列のブロックについて、そのブロックに含まれる画素ごとに、対応する路面画像上での水平方向（すなわち、車両１０の直進方向と直交する方向）の位置に１を投票する。これにより、繰り返しパターン検出部２２は、路面画像上での水平方向の位置ごとに、輝度が相対的に明るい画素が検出された回数である累積度数を求める。そして繰り返しパターン検出部２２は、累積度数が所定の閾値以上となる位置が水平方向に沿って連続する範囲を、それぞれ、横断歩道の白線の候補であるビンとする。また、繰り返しパターン検出部２２は、各ビンについて、累積度数が所定の閾値以上となる位置が水平方向に沿って連続する範囲の長さを、ビンの幅とする。１次検出領域に横断歩道が写っている場合、ビンの幅は、画像上での横断歩道の各白線の幅に対応すると想定される。上記のように、実際の横断歩道には、一部が掠れて見えなくなっているものが存在する。そこで所定の閾値は、例えば、道路の延伸方向に沿った横断歩道の想定される幅に相当する路面画像上での垂直方向の画素数に0.5〜0.7を乗じた値に設定される。これにより、繰り返しパターン検出部２２は、横断歩道の一部が掠れて見えなくなっている場合でも、横断歩道の検出に失敗する可能性を低減できる。

なお、繰り返しパターン検出部２２は、ブロックが一つ以上検出された画素列のうち、１次検出領域内で最も下側の画素列から、道路の延伸方向に沿った横断歩道の横幅に相当する画素列の数だけ上側の画素列までを、累積度数の算出に利用してもよい。あるいは、繰り返しパターン検出部２２は、１次検出領域内で最も下側の画素列から順にブロックを検出してもよい。この場合、繰り返しパターン検出部２２は、最初にブロックが検出された画素列から、道路の延伸方向に沿った横断歩道の横幅に相当する画素列の数だけ上側の画素列までをブロックの検出対象としてもよい。これにより、繰り返しパターン検出部２２は、互いに異なる複数の道路標示が累積度数に影響することを抑制できる。

繰り返しパターン検出部２２は、ビンが所定個数以上存在する場合、１次検出領域内に横断歩道の候補となる輝度変動の繰り返しパターンが存在すると判定する。なお、所定個数は、例えば、２に設定される。また一般に、横断歩道の各白線の幅は略等しい。そこで繰り返しパターン検出部２２は、ビンが所定個数以上存在し、かつ、各ビンの幅のうちの最大値と最小値の差、すなわちビンの幅の変動範囲が所定の閾値未満である場合に限り、繰り返しパターンが存在すると判定してもよい。この場合、所定の閾値は、例えば、実空間での5cmに対応する路面画像での画素数に設定される。このように、ビンの幅の変動範囲も横断歩道の候補を検出するための条件に利用することで、繰り返しパターン検出部２２は、横断歩道以外の路面標示を誤って横断歩道の候補とすることを抑制できる。さらに、本実施形態では、繰り返しパターン検出部２２は、ビンの幅の絶対値そのものについては、横断歩道の候補を検出するための条件に用いていない。そのため、繰り返しパターン検出部２２は、仮設の横断歩道といった、白線の幅が規格を満たしていない横断歩道が１次検出領域に写っている場合でも、適切に横断歩道の候補となる繰り返しパターンを検出できる。

図６は、一次検出領域中で検出される横断歩道の白線部分とビンの関係の一例を示す図である。この例では、一次検出領域６００において、水平方向の画素列ごとに、横断歩道の白線が写っている部分がブロック６０１として検出される。路面画像６１０上では、路面画像へ投影された各ブロック６１１の水平方向の位置は対応する白線の位置と略一致する。そのため、路面画像６１０の水平方向の位置ごとの累積度数６３０も、対応する白線の位置で高くなり、閾値Th以上となる。したがって、路面画像６１０の白線に対応する位置にビン６３１が設定される。

繰り返しパターン検出部２２は、１次検出領域に横断歩道の候補が有ると判定した場合、ビンの幅の平均値をその候補についての白線幅とし、かつ、隣接する二つのビン間の間隔の平均値を、その候補についての白線間隔として算出する。さらに、繰り返しパターン検出部２２は、白線幅と白線間隔の和を、繰り返しパターンの周期とする。また、繰り返しパターン検出部２２は、１次検出領域内でブロックが検出された画素列のうち、画像の下端に最も近い画素列から、横断歩道の幅に相当する画素数だけ上側の画素列までを、横断歩道の候補が含まれる領域とする。そして繰り返しパターン検出部２２は、その白線幅、白線間隔及び周期と、横断歩道が含まれる領域を表す情報を横断歩道検出部２３へ渡す。

一方、繰り返しパターン検出部２２が１次検出領域に横断歩道の候補となる繰り返しパターンが無いと判定した場合、制御部１３は、その画像についての横断歩道検出処理を終了する。

横断歩道検出部２３は、横断歩道の候補となる繰り返しパターンが検出された場合、二つの２次検出領域内で、それぞれ、繰り返しパターン検出部２２と同様の処理を実行して横断歩道の候補となる輝度変動の繰り返しパターンを検出する。そして横断歩道検出部２３は、少なくとも一方の２次検出領域において繰り返しパターンが検出された場合、１次検出領域で検出された繰り返しパターン及び２次検出領域で検出された繰り返しパターンを、横断歩道と判定する。

なお、１次検出領域内の繰り返しパターンが横断歩道に対応する場合、２次検出領域内でも、繰り返しパターンの輝度変動の周期は、１次検出領域内の繰り返しパターンの輝度変動の周期と一致すると想定される。そこで変形例によれば、横断歩道検出部２３は、各２次検出領域の路面画像で、１次検出領域内の繰り返しパターンのビンの位置から、その繰り返しパターンの周期の整数倍だけ離れた位置に、その繰り返しパターンの白線の幅と等しい投票可能領域を設定する。そして横断歩道検出部２３は、水平方向の各画素列について、その投票可能領域と重なったブロック内の画素についてのみ、累積度数の算出に利用してもよい。

あるいは、横断歩道検出部２３は、少なくとも一方の２次検出領域において、その２次検出領域を路面画像上へ投影して得られる領域の水平方向の幅を、１次検出領域から検出された横断歩道の候補についての周期で除した数をビン数の想定値としてもよい。そして横断歩道検出部２３は、少なくとも一方の２次検出領域に対応する路面画像上の領域において、その想定値と同数のビンが含まれる場合に、各繰り返しパターンを横断歩道と判定してもよい。

あるいは、横断歩道検出部２３は、少なくとも一方の２次検出領域において、その２次検出領域を路面画像に投影して得られる領域の水平方向の幅を、横断歩道の規格に相当する白線幅及び白線間隔の和に相当する路面画像上の長さで除した数をビン数の閾値とする。そして横断歩道検出部２３は、少なくとも一方の２次検出領域に対応する路面画像上の領域において、その閾値以上の数のビンが含まれる場合に、各繰り返しパターンを横断歩道と判定してもよい。

横断歩道検出部２３は、横断歩道を検出した場合、横断歩道と判定された１次検出領域及び２次検出領域内の各ビンに相当する画像上の画素（すなわち、横断歩道の白線に対応）の位置を表す情報を、横断歩道を表す領域の情報として車線検出部２４へ通知する。なお、横断歩道検出部２３は、各ビンに相当する画像上の画素を、例えば、位置変換テーブルを参照するか、各ビンに対応する、画素列ごとの路面画像上の画素に対して鳥瞰変換の逆変換を実行することで特定できる。そして各ビンに相当する画像上の画素の位置を表す情報は、例えば、各ビンに相当する画像上の画素とそれ以外の画素とが互いに異なる値を持つ２値画像とすることができる。

車線検出部２４は、運転支援装置１がカメラ２から画像を受け取る度に、その画像から車線の境界を表す車線境界線を検出する。そのために、車線検出部２４は、例えば、画像に対してsobelフィルタなどのエッジ検出フィルタを適用するか、あるいは、隣接画素間の輝度差を求めることで得られる値が所定の閾値以上となるエッジ画素を検出する。そして車線検出部２４は、エッジ画素が連続する線を求め、その線のうち、車両１０の直進方向に沿った直線から所定の角度範囲（例えば、±10°〜±30°）にあり、かつ、所定以上の長さを持つ直線を車線境界線として検出する。その際、車線検出部２４は、検出されたエッジ画素の集合に対してハフ変換を適用することで、直線を検出してもよい。また、車線検出部２４は、車線境界線を検出する様々な方法の何れか、例えば、特開２０１３−１２０４５８号公報または特開２０１４−１０２７７５号公報に開示された方法にしたがって車線境界線を検出してもよい。そして車線検出部２４は、車線境界線を表す画素の位置を表す情報を記憶部１１に記憶する。

その際、車線検出部２４は、横断歩道検出部２３がその画像から横断歩道を検出している場合、画像上で横断歩道を表す領域を、車線境界線の検出対象から除外する。これにより、車線検出部２４は、横断歩道を車線境界線として誤検出することを防止できる。

車線検出部２４は、検出した画像上の車線境界線に基づいて、実空間での路面上での車線境界位置及び車両１０自身の横変位等を算出するためのパラメータを算出する。そのために、車線検出部２４は、路面上の車線境界線の位置をモデル化し、そのモデルに従って、画像上での車線境界線の位置から実空間の路面上の車線境界線の位置を算出する。例えば、車線検出部２４は、画像上での車線境界線上の各点の位置を入力として、以下のモデル式を用いて線形近似による繰り返し演算を行うことにより、車両１０自身の横方向の変位及び道路幅などの道路パラメータを推定する。ただし、車線検出部２４は、画像上の車線境界線の位置から実空間上の車線境界線の位置を求める他の方法方を利用して、実空間での車線境界線の位置を求めてもよい。
ここで、xは画像上での車線境界線上の各点の水平方向座標を表し、yは、画像上での車線境界線上の各点の垂直方向座標を表す。fは、カメラ２の撮像光学系の焦点距離を表す。Hは、路面からのカメラ２の設置位置の高さを表す。Wは、車線幅を表す。eは、車両１０（またはカメラ２）の道路中心からの横変位を表す。θは、カメラ２のヨー角を表し、φは、カメラ２のピッチ角を表す。cは、道路の曲率を表す。そしてkは定数であり、例えば、車両１０に対して左側の車線境界線に対して-1、車両１０に対して右側の車線境界線に対して1に設定される。

車線検出部２４は、推定された道路パラメータに基づいて、車両１０と左右の車線境界線との距離を計算し、計算された距離が所定の閾値以下である場合、車両１０が車線から逸脱したと判定する。そして車線検出部２４は、車両１０が車線をはみ出しているか、あるいは車線をはみ出す可能性が有る場合、ディスプレイ３へ、その旨の警告メッセージを表示させる。あるいは、車両１０の車室内にスピーカ（図示せず）が配置されている場合、車線検出部２４は、スピーカに警報音を出力させてもよい。

図７及び図８は、制御部１３により実行される、横断歩道検出処理を含む車線検出処理の動作フローチャートである。制御部１３は、運転支援装置１がカメラ２から画像を受け取る度に、下記の動作フローチャートにしたがって車線検出処理を実行する。

検出領域設定部２１は、画像上に車両１０の前方の道路の一部を含む１次検出領域と１次検出領域に対して車両１０の直進方向と交差する方向に沿って隣接する２次検出領域を設定する（ステップＳ１０１）。そして検出領域設定部２１は１次検出領域を繰り返しパターン検出部２２へ通知し、２次検出領域を横断歩道検出部２３へ通知する。

繰り返しパターン検出部２２は１次検出領域内で画素列ごとに、輝度が相対的に明るい画素が連続するブロックを検出する（ステップＳ１０２）。そして繰り返しパターン検出部２２は各画素列について、検出したブロックを路面画像上に投影して、路面画像上でのブロックの位置を求める（ステップＳ１０３）。そして繰り返しパターン検出部２２は、各画素列について、ブロックに含まれる画素ごとに、路面画像上での水平方向の対応位置に投票することで、路面画像上の水平方向の位置ごとに累積度数を算出する（ステップＳ１０４）。

繰り返しパターン検出部２２は、累積度数が所定の閾値Th以上となる路面画像の位置が連続する範囲をそれぞれ一つのビンとする（ステップＳ１０５）。そして繰り返しパターン検出部２２は、路面画像上での水平方向に沿ったビンの数が所定数以上か否か判定する（ステップＳ１０６）。ビンの数が所定数未満であれば（ステップＳ１０６−Ｎｏ）、繰り返しパターン検出部２２は、画像には横断歩道が写っていないと判定する。

一方、ビンの数が所定数以上であれば（ステップＳ１０６−Ｙｅｓ）、繰り返しパターン検出部２２は１次検出領域に横断歩道の候補となる繰り返しパターンが写っていると判定する。そして繰り返しパターン検出部２２は、各ビンの幅の平均値及び隣接する二つのビン間の間隔を白線幅及び白線間隔として算出する（ステップＳ１０７）。繰り返しパターン検出部２２は、白線幅及び白線間隔と、その和である繰り返しパターンの周期と、横断歩道の候補が写っている領域を横断歩道検出部２３へ通知する。

横断歩道検出部２３は、１次検出領域の左側または右側に隣接する二つの２次検出領域のうち、少なくとも一方について横断歩道の候補となる輝度変動の繰り返しパターンが含まれるか否か判定する（ステップＳ１０８）。何れの２次検出領域にも繰り返しパターンが含まれない場合（ステップＳ１０８−Ｎｏ）、横断歩道検出部２３は画像には横断歩道が写っていないと判定する。

一方、少なくとも一方の２次検出領域において繰り返しパターンが含まれる場合（ステップＳ１０８−Ｙｅｓ）、横断歩道検出部２３は１次検出領域の繰り返しパターン及び２次検出領域の繰り返しパターンを、横断歩道として検出する（ステップＳ１０９）。そして横断歩道検出部２３は、画像上での横断歩道の領域を表す情報を車線検出部２４へわたす。

図８に示されるように、車線検出部２４は、画像上で横断歩道が写っている領域を車線境界線の検出対象から除外する（ステップＳ１１０）。

ステップＳ１１０の後、またはステップＳ１０６またはステップＳ１０８にて画像上に横断歩道が写っていないと判定された場合、車線検出部２４は、路面に対応し、かつ除外されていない画像上の領域からエッジ画素を検出する（ステップＳ１１１）。そして車線検出部２４は、検出されたエッジ画素が連結された線の中から車線境界線を検出する（ステップＳ１１２）。車線検出部２４は、車線境界線の位置に基づいて、車両１０が車線をはみ出すか、あるいは車線をはみ出す可能性が有るかを判定する（ステップＳ１１３）。車両１０が車線をはみ出すか、あるいは車線をはみ出す可能性が有る場合（ステップＳ１１３−Ｙｅｓ）、車線検出部２４は、ディスプレイ３に警告メッセージを表示させる（ステップＳ１１４）。

ステップＳ１１４の後、あるいは、ステップＳ１１３にて車両１０が車線をはみ出しておらず、かつ、車線をはみ出す可能性が無いと判定された場合（ステップＳ１１３−Ｎｏ）、制御部１３は、車線検出処理を終了する。

以上に説明してきたように、横断歩道検出装置の一例である運転支援装置は、画像上に設定される、車両の前方の道路の一部を含む１次検出領域にて車両の直進方向と交差する方向の輝度変動の繰り返しパターンを横断歩道の候補として検出する。そしてこの運転支援装置は、１次検出領域の左側または右側に隣接する２次検出領域にて同様の輝度変化の繰り返しパターンを検出できた場合に、画像に横断歩道が写っていると判断する。このように、この運転支援装置は、横断歩道の白線の幅の規格に応じた条件を用いずに横断歩道を検出するので、規格外の横断歩道も検出できる。またこの運転支援装置は、車両の前方の道路の一部、特に、車両の正面の路面を含む１次検出領域内に輝度変化の繰り返しパターンが検出されることを横断歩道検出の条件としている。そのため、この運転支援装置は、道路脇に存在する、道路の延伸方向と略平行な物体を横断歩道として誤検出することを抑制できる。さらに、この運転支援装置は、車両の直進方向に沿って、輝度が相対的に明るい画素が検出された数である累積度数に基づいて繰り返しパターンを検出するので、横断歩道の一部が見えなくなっている場合でも、横断歩道の検出の失敗を抑制できる。そしてこの運転支援装置は、画像上で横断歩道が検出された領域を車線境界線の検出対象から除外するので、横断歩道を車線境界線として誤認識することを抑制できる。さらに、この運転支援装置は、先ず、１次検出領域で繰り返しパターンが検出されたときのみ、２次検出領域でも繰り返しパターンを検出するので、横断歩道検出の際の演算量を削減できる。

あるいは、繰り返しパターン検出部２２は、１次検出領域内で、検出されたブロックの数が複数あり、かつ、ブロックの水平方向の幅の最大値と最小値の差が所定値以下である画素列の数が所定数以上有る場合に、繰り返しパターンが有ると判定してもよい。なお、所定値は、例えば、5cmに相当する画素数であり、所定数は、例えば、横断歩道の幅に相当する画素数に0.5〜0.7を乗じた値に設定される。この変形例では、繰り返しパターン検出部２２は、投影変換を利用しないので、繰り返しパターン検出の際の演算量をより削減できる。

上述した実施形態またはその変形例による横断歩道検出装置は、様々な用途に利用される。例えば、横断歩道検出装置は、ドライブレコーダにより記録された動画像を解析して、その動画像中に含まれる各画像に写っている物体を識別するといった用途に適用されてもよい。なお、この場合には、車線検出部については省略されてもよい。また、このような用途に適用される場合には、どの動画像を生成する、車両に搭載されるカメラは、車両の後方を向けて設置されていてもよい。また、横断歩道検出装置は、例えば、そのような動画像の解析に利用されるコンピュータとして実現されてもよい。

図９は、上記の各実施形態またはその変形例による横断歩道検出装置の制御部の各部の機能を実現するコンピュータプログラムが動作することにより、横断歩道検出装置として動作するコンピュータの構成図である。

コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。

ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、ユーザの操作に応じて、横断歩道検出処理の対象となる動画像を選択したり、あるいは、横断歩道検出処理を開始させる操作信号をプロセッサ１０５へ出力する。

通信インターフェース部１０２は、コンピュータ１００を、ドライブレコーダなどの動画像入力装置（図示せず）と接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、High-Definition Multimedia Interface(HDMI)（登録商標）、またはUniversal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。

さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、横断歩道検出処理の対象となる動画像を取得し、その動画像をプロセッサ１０５へ渡す。

記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、横断歩道検出処理を実行するためのコンピュータプログラム、横断歩道検出処理の対象となる動画像などを記憶する。

記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、横断歩道検出処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、横断歩道検出処理の対象となる動画像を記憶媒体１０６から読み込んでもよい。

プロセッサ１０５は、上記の各実施形態の何れかまたは変形例による横断歩道検出処理用コンピュータプログラムを実行することにより、動画像に含まれる各画像に写っている横断歩道を検出する。そしてプロセッサ１０５は、その検出結果を記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ 運転支援装置（横断歩道検出装置）
２ カメラ
３ ディスプレイ
４ ネットワーク
１０ 車両
１１ 記憶部
１２ 通信部
１３ 制御部
２１ 検出領域設定部
２２ 繰り返しパターン検出部
２３ 横断歩道検出部
２４ 車線検出部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体

Claims (7)

1. 車両に搭載された撮像部により生成された、前記車両の周囲が写った画像上で、前記車両の周囲の道路の一部に相当する第１の領域及び前記第１の領域に対して前記車両の直進方向と交差する第１の方向に対応する前記画像上の方向に沿って前記第１の領域と隣接する第２の領域を設定する検出領域設定部と、
   前記第１の領域において、前記第１の方向に沿って輝度値の変動が繰り返される第１のパターンを検出する繰り返しパターン検出部と、
   前記第１の領域内に前記第１のパターンが存在し、かつ、前記第２の領域内に前記第１の方向に沿って輝度値の変動が繰り返される第２のパターンが存在する場合に、前記第１のパターン及び前記第２のパターンを横断歩道として検出する横断歩道検出部と、
   を有する横断歩道検出装置。
2. 前記繰り返しパターン検出部は、前記第１のパターンについての前記第１の方向に沿った輝度値の変動の周期を求め、
   前記横断歩道検出部は、前記第２のパターンについての前記第１の方向に沿った輝度値の変動の周期が前記第１のパターンについての輝度値の変動の周期と一致する場合に限り、前記第１のパターン及び前記第２のパターンを横断歩道として検出する、請求項１に記載の横断歩道検出装置。
3. 前記検出領域設定部は、前記車両の直進方向に沿った道路の一部に相当する前記画像上の領域を前記一次検出領域とする、請求項１または２に記載の横断歩道検出装置。
4. 前記繰り返しパターン検出部は、前記第１の領域内で前記第１の方向に沿った画素列ごとに、横断歩道の白線に対応する輝度を持つ画素を検出し、前記第１の方向における位置ごとに、横断歩道の白線に対応する輝度を持つ画素が検出された累積度数を算出し、当該累積度数が所定の閾値以上となる位置が連続する範囲の数が２以上の所定個数以上存在する場合に前記第１のパターンを検出する、請求項１〜３の何れか一項に記載の横断歩道検出装置。
5. 前記画像から、前記横断歩道が写っている領域以外で道路上に標示された車線境界線を検出する車線検出部をさらに有する、請求項１〜４の何れか一項に記載の横断歩道検出装置。
6. 車両に搭載された撮像部により生成された、前記車両の周囲が写った画像上で、前記車両の周囲の道路の一部に相当する第１の領域及び前記第１の領域に対して前記車両の直進方向と交差する第１の方向に対応する前記画像上の方向に沿って前記第１の領域と隣接する第２の領域を設定し、
   前記第１の領域において、前記第１の方向に沿って輝度値の変動が繰り返される第１のパターンを検出し、
   前記第１の領域内に前記第１のパターンが存在し、かつ、前記第２の領域内に前記第１の方向に沿って輝度値の変動が繰り返される第２のパターンが存在する場合に、前記第１のパターン及び前記第２のパターンを横断歩道として検出する、
   ことを含む横断歩道検出方法。
7. 車両に搭載された撮像部により生成された、前記車両の周囲が写った画像上で、前記車両の周囲の道路の一部に相当する第１の領域及び前記第１の領域に対して前記車両の直進方向と交差する第１の方向に対応する前記画像上の方向に沿って前記第１の領域と隣接する第２の領域を設定し、
   前記第１の領域において、前記第１の方向に沿って輝度値の変動が繰り返される第１のパターンを検出し、
   前記第１の領域内に前記第１のパターンが存在し、かつ、前記第２の領域内に前記第１の方向に沿って輝度値の変動が繰り返される第２のパターンが存在する場合に、前記第１のパターン及び前記第２のパターンを横断歩道として検出する、
   ことをコンピュータに実行させるための横断歩道検出用コンピュータプログラム。