JP2014006885A - 段差認識装置、段差認識方法及び段差認識用プログラム - Google Patents

Abstract

【課題】車線境界線画像部が認識できない状況であっても、自車両走行車線側部に存在する縁石や中央分離帯等の段差画像部を高い精度で認識可能とする。
【解決手段】撮像部１１０Ａ，１１０Ｂにより撮像した撮像画像から自車両の走行車線側部に存在する段差の画像候補部を抽出し、抽出した段差の画像候補部の中から白線認識処理部１４９が認識した白線画像部ＷＬとの相対位置関係に基づいて選定した段差の画像候補部を、段差画像部ＥＬ，ＣＬとして認識する段差認識処理を実行する段差認識処理部１４８と、過去に認識した白線画像部の位置情報を記憶するメモリ１３０とを有し、白線画像部が認識されないとき、メモリ内の直近の白線画像部の位置情報に基づいて選定した段差の画像候補部を、段差画像部として認識する。
【選択図】図５

Description

本発明は、自車両前方を撮像手段により撮像した撮像画像に基づいて自車両の走行車線側部に存在する縁石や中央分離帯等の段差を示す段差画像部を認識するための段差認識装置、段差認識方法及び段差認識用プログラムに関するものである。

従来、自車両前方の撮像画像に基づいて認識対象物を認識する認識装置は、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムなどに利用されている。運転者支援システムは、自車両が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車両との車間距離を維持するための自車速度調整機能、自車が走行している車線からの逸脱防止を支援する機能などの様々な機能を実現する。

特許文献１には、自車両前方を撮像手段により撮像して得た輝度画像と距離画像（視差画像情報）とに基づいて、自車両の走行車線の路側帯を検出する障害物検出装置が開示されている。この障害物検出装置は、路側帯を検出する前に、まず、自車両前方の輝度画像に基づいて画像中で明らかな特徴を有する路面上の白線（車線境界線）を検出する。そして、検出した白線と路側帯が平行に存在するという条件から、検出した白線を基準にして路側帯候補となる領域を求める。その後、距離画像に基づいて自車両からの距離が白線とほぼ同じ距離にある路側帯候補を自車両の走行車線の路側帯として検出する。

これらの機能を適切に実現するためには、自車両前方の撮像画像から、自車両周囲に存在する種々の認識対象物（例えば、他車両、歩行者、車線境界線やマンホール蓋などの路面構成物、電柱、ガードレール、縁石、中央分離帯などの路側構造物など）を映し出す画像部分を、精度よく認識し、自車両の走行可能領域を把握したり、衝突を回避すべき物体を精度よく把握したりすることが重要である。一般に、撮像画像中において、輝度、色味、偏向特性などの光学特性が周囲画像に対して顕著に異なる認識対象物の画像部分は、その光学特性の違いを撮像画像から抽出することにより、高い精度で認識することが可能である。例えば、アスファルト等の路面上に存在する白線等の車線境界線の画像部分（車線境界線画像部）は、その周囲画像（路面画像部）に対してコントラストが高いため、高い精度で認識できる。

ところが、自車両の走行車線側部に存在する縁石や中央分離帯などの段差を映し出す画像部分（段差画像部）は、その周囲画像（路面画像部）に対してコントラストが低く、また、その他の光学特性についても、その周囲画像（路面画像部）に対する違いが少ない場合が多い。そのため、このような段差画像部を周囲画像との光学特性の違いだけから高い精度で認識することは困難である。しかしながら、自車両の走行車線側部に存在する段差を映し出す段差画像部は、例えば自車両の走行可能領域を把握する上で、重要な要素であるため、高い精度で認識することが求められる。

縁石や中央分離帯などの段差は、自車両の走行車線側部に存在する白線等の車線境界線と平行に存在している。この点に着目し、上記特許文献１に記載の障害物検出装置における路側帯の検出方法と同様に、認識精度の高い車線境界線画像部を基準にして段差画像部を認識する方法を使用すれば、周囲画像との光学特性の違いだけから段差画像部を認識する方法と比較して、段差画像部の認識精度を高めることが可能である。

しかしながら、この段差認識方法は、事前に車線境界線画像部を認識できていることが前提となるため、例えば車線境界線の一部が汚れや破損している等により車線境界線を認識できない場合には使用することができない。また、例えば、交差点を直進する際などに車線境界線が一時的に途切れる場合があり、この場合、車線境界線が一時的に途切れる直前（例えば交差点の進入直前）に対応する車線境界線画像部や、途切れた車線境界線が再び存在し始めた直後（例えば交差点の通過直後）に対応する車線境界線画像部を、適切に認識することは難しい。そのため、車線境界線が一時的に途切れる直前（例えば交差点の進入直前）に対応する段差画像部や、途切れた車線境界線が再び存在し始めた直後（例えば交差点の通過直後）に対応する段差画像部については、上述した段差認識方法を使用できない。

本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、車線境界線画像部が認識できない状況であっても、自車両走行車線側部に存在する縁石や中央分離帯等の段差画像部を高い精度で認識可能な段差認識装置、段差認識方法及び段差認識用プログラムを提供することである。

本発明は、自車両前方を撮像手段により撮像した撮像画像に基づいて、自車両の走行車線側部に存在する段差を示す段差画像部を認識するための段差認識装置において、上記撮像手段により撮像した撮像画像に基づいて、自車両の走行車線側部に存在する車線境界線を示す車線境界線画像部を認識する車線境界線認識手段と、上記撮像手段により撮像した撮像画像から自車両の走行車線側部に存在する段差の画像候補部を抽出し、抽出した段差の画像候補部の中から上記車線境界線認識手段が認識した車線境界線画像部との相対位置関係に基づいて選定した段差の画像候補部を、上記段差画像部として認識する段差認識処理を実行する段差認識処理実行手段と、上記車線境界線認識手段が認識した車線境界線画像部の位置情報を記憶する車線境界線位置情報記憶手段とを有し、上記段差認識処理実行手段は、上記車線境界線認識手段が車線境界線画像部を認識しないとき、上記車線境界線位置情報記憶手段に記憶されている車線境界線画像部の位置情報に基づいて選定した段差の画像候補部を、上記段差画像部として認識することを特徴とする。

本発明において、車線境界線画像部が認識されるときは、自車両の走行車線側部に存在する段差の画像候補部を撮像画像から抽出し、抽出した段差の画像候補部の中から、認識した車線境界線画像部との相対位置関係に基づいて選定される段差の画像候補部を、段差画像部として認識する。これにより、撮像画像に基づいて周囲画像との光学特性の違いだけから段差画像部を認識する場合よりも、高い精度で段差画像部を認識することが可能となる。

また、本発明においては、車線境界線画像部が認識されないときは、車線境界線位置情報記憶手段に記憶しておいた車線境界線画像部の位置情報に基づいて選定した段差の画像候補部を、段差画像部として認識する。通常、自車両は、その走行車線側部に存在する車線境界線と平行に走行しているので、その自車両前方を撮像した撮像画像上の車線境界線画像部は、過去の車線境界線画像部とほぼ同一箇所に存在する場合が多い。したがって、車線境界線画像部の位置情報に基づいて生成される仮想の車線境界線画像部の位置情報は、車線境界線画像部を認識できていないが本来は存在しているはずの車線境界線、あるいは、一時的に途切れた車線境界線についての車線境界線画像部の位置情報と、高い精度で一致する。よって、車線境界線画像部が認識されない場合でも、車線境界線画像部の位置情報に基づいて選定した段差の画像候補部を段差画像部として認識すれば、段差画像部を高い精度で認識することが可能となる。

以上、本発明によれば、車線境界線画像部が認識できない状況であっても、自車両走行車線側部に存在する縁石や中央分離帯等の段差画像部を高い精度で認識することが可能となるという優れた効果が得られる。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムを構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。 同撮像ユニットの撮像部における光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの領域分割パターンを示す説明図である。 実施形態の段差認識処理に関わる機能ブロック図である。 （ａ）は視差画像の視差値分布の一例を示す説明図である。（ｂ）は、同（ａ）の視差画像の行ごとの視差値頻度分布を示す行視差分布マップ（Ｖマップ）を示す説明図である。 （ａ）は、同撮像部で撮像した撮像画像（輝度画像）の一例を模式的に表した画像例である。（ｂ）は、視差ヒストグラム計算部により算出される行視差分布マップ（Ｖマップ）を直線近似したグラフである。 （ａ）は、白線が汚れや破損している場合の撮像画像（輝度画像）の一例を模式的に表した画像例である。（ｂ）は、認識できなかった白線画像部の箇所に、生成した仮想の白線画像部が示された画像例である。 （ａ）は、交差点を直進する際などに白線が一時的に途切れる場合の撮像画像（輝度画像）の一例を模式的に表した画像例である。（ｂ）は、途切れた白線画像部の箇所に、生成した仮想の白線画像部が示された画像例である。 実施形態の段差認識処理部における白線画像部が認識されない場合の処理の流れを示すフローチャートである。 変形例１における段差認識処理に関わる機能ブロック図である。 変形例２における段差認識処理に関わる機能ブロック図である。

以下、本発明に係る段差認識装置を、車両システムとしての車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る段差認識装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。

図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両１００に搭載された撮像手段としての撮像ユニットで撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して認識対象物の認識結果に応じて各種車載機器の制御を行うものである。

本実施形態の車載機器制御システムは、走行する自車両１００の進行方向前方領域を撮像領域として撮像する撮像手段としての撮像ユニット１０１が設けられている。この撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像領域内に存在する路面上の白線等の車線境界線や自車両の走行車線側部に存在する縁石や中央分離帯等の段差（以下「路側段差」という。）を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。

画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した他車両の距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した車線境界線（本実施形態では白線を例に挙げて説明する。）や路側段差の検出結果に基づいて、走行可能領域から自車両１００が外れそうな場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
撮像ユニット１０１は、２つの撮像部１１０Ａ，１１０Ｂを備えたステレオカメラであり、２つの撮像部１１０Ａ，１１０Ｂの構成は同一のものである。各撮像部１１０Ａ，１１０Ｂは、それぞれ、撮像レンズ１１１Ａ，１１１Ｂと、光学フィルタ１１２Ａ，１１２Ｂと、撮像素子が２次元配置された画像センサ１１３Ａ，１１３Ｂを含んだセンサ基板１１４Ａ，１１４Ｂと、センサ基板１１４Ａ，１１４Ｂから出力されるアナログ電気信号（画像センサ１１３Ａ，１１３Ｂ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する輝度画像情報生成手段としての信号処理部１１５Ａ，１１５Ｂとから構成されている。本実施形態の撮像ユニット１０１からは、赤色画像データ、輝度画像データ、視差画像データが出力される。

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０Ａ，１１０Ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差画像情報生成手段としての視差演算部１２１を備えている。ここでいう視差値とは、各撮像部１１０Ａ，１１０Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

一方、画像解析ユニット１０２は、撮像ユニット１０１から出力される赤色画像データ、輝度画像データ、視差画像データを記憶するメモリ１３０と、識別対象物の認識処理や視差計算制御などを行うソフトウェアを内蔵したＭＰＵ（Micro Processing Unit）１４０とを備えている。ＭＰＵ１４０は、メモリ１３０に格納された赤色画像データ、輝度画像データ、視差画像データを用いて各種の認識処理を実行する。

図３は、光学フィルタ１１２Ａ，１１２Ｂと画像センサ１１３Ａ，１１３Ｂとを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ１１３Ａ，１１３Ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その撮像素子（受光素子）にはフォトダイオード１１３ａを用いている。フォトダイオード１１３ａは、撮像画素ごとに２次元的にアレイ配置されており、フォトダイオード１１３ａの集光効率を上げるために、各フォトダイオード１１３ａの入射側にはマイクロレンズ１１３ｂが設けられている。この画像センサ１１３Ａ，１１３Ｂがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板１１４Ａ，１１４Ｂが形成されている。

画像センサ１１３Ａ，１１３Ｂのマイクロレンズ１１３ｂ側の面には、光学フィルタ１１２Ａ，１１２Ｂが近接配置されている。本実施形態の光学フィルタ１１２Ａ，１１２Ｂは、図３に示すように、透明なフィルタ基板１１２ａ上に分光フィルタ層１１２ｂを形成したものであるが、分光フィルタに代えて又は分光フィルタに加えて、偏光フィルタ等の他の光学フィルタを設けてもよい。分光フィルタ層１１２ｂは、画像センサ１１３Ａ，１１３Ｂ上における１つのフォトダイオード１１３ａに対応するように領域分割されている。

光学フィルタ１１２Ａ，１１２Ｂと画像センサ１１３Ａ，１１３Ｂとの間に空隙がある構成としてもよいが、光学フィルタ１１２Ａ，１１２Ｂを画像センサ１１３Ａ，１１３Ｂに密着させる構成とした方が、光学フィルタ１１２Ａ，１１２Ｂの各フィルタ領域の境界と画像センサ１１３Ａ，１１３Ｂ上のフォトダイオード１１３ａ間の境界とを一致させやすくなる。光学フィルタ１１２Ａ，１１２Ｂと画像センサ１１３Ａ，１１３Ｂは、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をＵＶ接着や熱圧着してもよい。

図４は、本実施形態に係る光学フィルタ１１２Ａ，１１２Ｂの領域分割パターンを示す説明図である。
光学フィルタ１１２Ａ，１１２Ｂは、第１領域及び第２領域という２種類の領域が、画像センサ１１３Ａ，１１３Ｂ上の１つのフォトダイオード１１３ａに対応して配置されたものである。これにより、画像センサ１１３Ａ，１１３Ｂ上の各フォトダイオード１１３ａによって受光される受光量は、受光する光が透過した分光フィルタ層１１２ｂの領域の種類に応じて、分光情報として取得することができる。

本実施形態における光学フィルタ１１２Ａ，１１２Ｂにおいて、第１領域は、赤色波長帯の光のみを選択して透過させる赤色分光領域１１２ｒであり、第２領域は、波長選択を行わずに光を透過させる非分光領域１１２ｃである。そして、光学フィルタ１１２Ａ，１１２Ｂは、図４に示すように、これらの第１領域１１２ｒ及び第２領域１１２ｃが市松模様状に分布したものを用いている。したがって、本実施形態においては、第１領域１１２ｒに対応する撮像画素の出力信号から赤色輝度画像が得られ、第２領域１１２ｃに対応する撮像画素の出力信号から非分光の輝度画像が得られる。よって、本実施形態によれば、一度の撮像動作により、赤色輝度画像と非分光の輝度画像に対応した２種類の撮像画像データを得ることができる。これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間処理を用いてもよい。

このようにして得られる赤色輝度画像データは、例えば、赤色に発光するテールランプの検出に使用することができる。また、非分光の輝度画像データは、例えば、車線境界線である白線、縁石や中央分離帯等の路側段差、対向車両のヘッドランプの検出に使用することができる。

次に、本発明の特徴部分である、段差認識処理について説明する。
図５は、本実施形態の段差認識処理に関わる機能ブロック図である。
本実施形態の視差演算部１２１は、２つの撮像部１１０Ａ，１１０Ｂのうちの一方の撮像部１１０Ａの撮像画像データを基準画像データとし、他方の撮像部１１０Ｂの撮像画像データを比較画像データとして用い、両者の視差を演算して視差画像データを生成し、出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値に応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、視差演算部１２１は、基準画像データのある行について、一の注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（Ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値として算出する。このような視差値を算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。このようにして得られる視差画像データは、視差ヒストグラム計算部１４１と視差画像エッジ抽出部１４４に送られる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

視差画像データを取得した視差ヒストグラム計算部１４１は、視差画像データの各行について、視差値頻度分布を計算する。具体例を挙げて説明すると、図６（ａ）に示すような視差値分布をもった視差画像データが入力されたとき、視差ヒストグラム計算部１４１は、図６（ｂ）に示すような行ごとの視差値頻度分布を計算して出力する。このようにして得られる各行の視差値頻度分布の情報から、例えば、縦方向に視差画像上の縦方向位置をとり、横方向に視差値をとった２次元平面上に、視差画像データ上の各画素を分布させた行視差分布マップ（Ｖマップ）を得ることができる。

図７（ａ）は、撮像部１１０Ａで撮像した撮像画像（輝度画像）の一例を模式的に表した画像例であり、図７（ｂ）は、視差ヒストグラム計算部１４１により算出される行ごとの視差値頻度分布から、行視差分布マップ（Ｖマップ）上の画素分布を直線近似したグラフである。
図７（ａ）に示す画像例は、中央分離帯を有する片側２車線の直線道路において自車両が左車線を走行している状況を撮像したものであり、図中符号ＣＬは中央分離帯を映し出す中央分離帯画像部であり、図中符号ＷＬは車線境界線である白線を映し出す白線画像部（車線境界線画像部）であり、図中符号ＥＬは路端に存在する縁石等の段差を映し出す路端段差画像部である。以下、路端段差画像部ＥＬ及び中央分離帯段差画像部ＣＬをまとめて段差画像部という。また、図中破線で囲まれた領域ＲＳは、中央分離帯と路側段差とによって区画される車両走行が可能な路面である。

本実施形態では、路面領域認識部１４２において、視差ヒストグラム計算部１４１から出力される各行の視差値頻度分布の情報から、路面領域ＲＳを認識する。具体的には、路面領域認識部１４２は、まず、視差ヒストグラム計算部１４１から各行の視差値頻度分布情報を取得し、その情報から特定される行視差分布マップ上の画素分布を最小二乗法やハフ変換処理などにより直線近似する処理を行う。これにより得られる図７（ｂ）に示す近似直線は、視差画像の下部に対応する行視差分布マップの下部において、画像上方へ向かうほど視差値が小さくなるような傾きをもった直線となる。すなわち、この近似直線上又はその近傍に分布する画素（視差画像上の画素）は、視差画像上の各行においてほぼ同一距離に存在して最も占有率が高く、かつ、画像上方へ向かうほど距離が連続的に遠くなる対象を映し出した画素であると言える。

ここで、撮像部１１０Ａでは自車両前方領域を撮像するため、その視差画像の内容は、図７（ａ）に示すように、画像下部において路面領域ＲＳの占有率が最も高く、また、画像上方へ向かうほど路面領域ＲＳの視差値は小さくなる。また、同じ行（横ライン）内において、路面領域ＲＳを構成する画素はほぼ同じ視差値を持つことになる。したがって、視差ヒストグラム計算部１４１から出力される各行の視差値頻度分布情報から特定される、上述した行視差分布マップ（Ｖマップ）上の近似直線上又はその近傍に分布する画素は、路面領域ＲＳを構成する画素が持つ特徴に合致する。よって、図７（ｂ）に示す近似直線上又はその近傍に分布する画素は、高い精度で、路面領域ＲＳを構成する画素であると推定できる。

このように、本実施形態の路面領域認識部１４２は、視差ヒストグラム計算部１４１から得た各行の視差値頻度分布情報に基づいて演算した行視差分布マップ（Ｖマップ）上の直線近似を行い、その近似直線上又はその近傍に分布する画素を、路面を映し出す画素として特定し、特定した画素によって占められる画像領域を路面領域ＲＳとして認識する。なお、路面上には図７（ａ）に示すように白線も存在するが、路面領域認識部１４２では、白線画像部ＷＬも含めて路面領域ＲＳを認識する。路面領域認識部１４２の認識結果は、段差存在範囲推定部１４３に送られる。

段差存在範囲推定部１４３は、路面領域認識部１４２から路面領域ＲＳの情報を取得すると、路面領域ＲＳにおける左右両側の境界線を含む予め決められた一定範囲を、路側段差が存在し得る段差存在範囲として推定する。そして、その推定結果を段差関連視差エッジ抽出部１４６へ送る。

一方、視差画像データを取得した視差画像エッジ抽出部１４４は、その視差画像の画素値（視差値）が規定値以上変化する箇所をエッジ部分として抽出し、その抽出結果から視差エッジ画像データを生成する。この視差エッジ画像データは、エッジ部分と非エッジ部分とを２値で表現した画像データである。エッジ抽出の方法は、公知のものを広く利用することができる。視差画像エッジ抽出部１４４が生成した視差エッジ画像データは、段差関連視差エッジ抽出部１４６に送られる。

視差画像エッジ抽出部１４４から視差エッジ画像データを取得した段差関連視差エッジ抽出部１４６は、段差存在範囲推定部１４３から取得した段差存在範囲の推定結果に基づき、その推定に係る段差存在範囲内に属する視差エッジ部を、段差関連視差エッジ部として抽出する。そして、その抽出結果から、段差関連視差エッジ画像データを生成する。

このようにして生成される段差関連視差エッジ画像データは、視差画像のエッジ部の中から、路面領域ＲＳにおける左右両側部に存在するエッジ部のみを抽出したものであるが、抽出したエッジ部の中には、いまだ、路側段差以外の箇所を映し出すエッジ部も含まれている可能性がある。そこで、本実施形態では、エッジ画像合成部１４７において、視差画像データと同じ撮像領域を撮像した輝度画像データを用いて、路側段差を映し出す段差関連視差エッジ部を更に絞り込む。

撮像部１１０Ａで撮像した輝度画像データは、輝度画像エッジ抽出部１４５に送られる。そして、輝度画像エッジ抽出部１４５は、その輝度画像の画素値（輝度）が規定値以上変化する箇所をエッジ部分として抽出し、その抽出結果から輝度エッジ画像データを生成する。この輝度エッジ画像データは、エッジ部分と非エッジ部分とを２値で表現した画像データである。エッジ抽出の方法は、公知のものを広く利用することができる。輝度画像エッジ抽出部１４５が生成した輝度エッジ画像データは、エッジ画像合成部１４７と車線境界線認識手段としての白線認識処理部１４９に送られる。

エッジ画像合成部１４７は、段差関連視差エッジ抽出部１４６から取得する段差関連視差エッジ画像データと、輝度画像エッジ抽出部１４５から取得する輝度エッジ画像データとを合成する処理を行う。この合成処理は、段差関連視差エッジ画像データに含まれる段差関連視差エッジ部のうち、輝度エッジ画像データに含まれる輝度エッジ部と重複する段差関連視差エッジ部が抽出できるように、両画像データを合成する処理である。この合成処理により生成される合成エッジ画像データは、段差認識処理実行手段としての段差認識処理部１４８へ送られる。

このようにして生成される合成エッジ画像データにおいても、いまだ、路側段差以外の箇所を映し出すエッジ部も含まれている可能性がある。そこで、本実施形態では、段差認識処理部１４８において、白線認識処理部１４９の白線認識結果を利用し、段差関連視差エッジ部の中から、最も路側段差を映し出す段差関連視差エッジ部である可能性が高いものを選定し、これを最終的に段差画像部ＥＬ，ＣＬとして認識する。

白線認識処理部１４９は、輝度エッジ画像データに基づいて路面上の白線を映し出す白線画像部ＷＬを認識する処理を行う。多くの道路では、黒色に近い色の路面上に白線が形成されており、輝度画像上において白線画像部ＷＬの輝度は路面上の他部分より十分に大きい。そのため、輝度画像上で所定値以上の輝度差を有するエッジ部は、白線のエッジ部である可能性が高い。また、路面上の白線を映し出す白線画像部ＷＬは、撮像画像上においてライン状に映し出されるので、ライン状に並ぶエッジ部を特定することで、白線のエッジ部を高精度に認識することができる。そこで、本実施形態の白線認識処理部１４９は、輝度画像エッジ抽出部１４５から取得した輝度エッジ画像データについて最小二乗法やハフ変換処理などによる直線近似処理を施し、得られた近似直線を白線のエッジ部（路面上の白線を映し出す白線画像部ＷＬ）として認識する。白線認識処理部１４９による認識結果は、段差認識処理部１４８へ送られ、段差認識処理部１４８における路側段差の認識処理に利用される。

なお、白線認識処理において、上述した路面領域認識部１４２で認識した路面領域ＲＳの認識結果を用い、路面領域ＲＳ内の輝度エッジ部を対象に白線画像部ＷＬの認識処理を行えば、認識処理の負荷軽減、認識精度の向上を図ることができる。

段差認識処理部１４８では、まず、エッジ画像合成部１４７から取得した合成エッジ画像データによって示される段差関連視差エッジ部の中から、ライン上に並ぶ段差関連視差エッジ部を抽出する。縁石や中央分離帯などの路側段差を映し出す段差画像部ＥＬ，ＣＬは、撮像画像上においてライン状に映し出されるので、ライン状に並ぶ段差関連視差エッジ部を抽出することで、路側段差のエッジ部を高精度に認識することができる。ライン状に並ぶ段差関連視差エッジ部の抽出処理では、例えば、合成エッジ画像データについて最小二乗法やハフ変換処理などによる直線近似処理を施し、得られた近似直線を路側段差のエッジ部（路側段差の画像候補部）として抽出する。

ここで、一般に、縁石や中央分離帯などの路側段差は、自車両１００の走行車線側部に存在する白線に対して自車両が走行する走行車線とは反対側に位置している。また、路側段差は、当該白線に対して平行に存在しており、自車両の前方領域を撮像する撮像画像上において、そのライン状の段差画像部ＥＬ，ＣＬは、ライン状の白線画像部ＷＬに対し、所定の角度範囲内の角度をもって延びている。したがって、段差画像部ＥＬ，ＣＬと白線画像部ＷＬとの相対位置関係は、通常、ある限られた範囲に限定される。

そこで、本実施形態では、上述したようにライン状の段差関連視差エッジ部（路側段差の画像候補部）を抽出したら、続いて、段差認識処理部１４８では、その路側段差の画像候補部の中から、白線認識処理部１４９が認識した白線画像部ＷＬとの相対位置関係が上述の限られた範囲内の関係となっている画像候補部を選定し、これを最終的に段差画像部ＥＬ，ＣＬとして認識する処理を行う。

以上のような一連の処理を経て認識される段差画像部ＥＬ，ＣＬの情報は、後段の処理部に送られ、種々の処理に使用される。例えば、段差画像部ＥＬ，ＣＬの情報は、段差画像部ＥＬ，ＣＬで区画される領域を自車両１００が走行可能な走行可能領域として認識する処理に使用することができる。

ところが、本実施形態における段差認識処理部１４８での処理は、白線認識処理部１４９で認識された白線画像部ＷＬの認識結果を利用することで、段差画像部ＥＬ，ＣＬの高い認識精度を実現できている。そのため、例えば、図８（ａ）中左側の符号ＷＬで示すように、白線が汚れや破損している等により白線認識処理部１４９がその白線画像部ＷＬを認識できない場合、段差認識処理部１４８では、白線画像部の認識結果を利用した段差画像部ＥＬの認識処理を行うことができず、段差画像部ＥＬの認識精度が低下してしまう。また、例えば、図９（ａ）に示すように、交差点を直進する際などに白線が一時的に途切れる場合があり、この場合、途切れる直前（例えば交差点の進入直前）の白線画像部ＷＬａや、途切れた後（例えば交差点の通過直後）の白線画像部ＷＬｂを、適切に認識することは難しい。この場合も、白線が一時的に途切れる直前（例えば交差点の進入直前）に対応する段差画像部ＥＬａや、途切れた白線が再び存在し始めた直後（例えば交差点の通過直後）に対応する段差画像部ＥＬｂについては、認識精度が低下してしまう。

図１０は、本実施形態の段差認識処理部１４８における白線画像部ＷＬが認識されない場合の処理の流れを示すフローチャートである。
本実施形態では、白線認識処理部１４９で白線画像部ＷＬが認識されない場合、次のような処理を行う。段差認識処理部１４８は、まず、エッジ画像合成部１４７から合成エッジ画像データを取得したら、白線認識処理部１４９で白線画像部ＷＬを認識できたか否かを判断する（Ｓ１）。この判断において白線画像部ＷＬを認識できたと判断した場合（Ｓ１のＹｅｓ）、その認識結果を車線境界線位置情報記憶手段としてのメモリ１３０に記憶するとともに（Ｓ２）、その白線画像部ＷＬを利用した上述の段差認識処理を実行して（Ｓ３）、段差画像部ＥＬを認識する。メモリ１３０は、白線画像部ＷＬの認識結果を予め決められた一定期間保持する。

一方、白線画像部ＷＬを認識できないと判断した場合（Ｓ１のＮｏ）、段差認識処理部１４８は、直近の白線認識結果（直前の規定数のフレーム内で認識された白線認識結果）がメモリ１３０内に記憶されているか否かを判断する（Ｓ４）。この判断において、直近の白線認識結果がメモリ１３０内に記憶されていないと判断した場合（Ｓ４のＮｏ）、段差認識処理部１４８は、白線画像部ＷＬを利用せずに段差認識処理を実行する（Ｓ５）。この処理による段差画像部ＥＬの認識結果は、白線画像部ＷＬを利用した処理（Ｓ３）による段差画像部ＥＬの認識結果と比較して、認識精度が落ちる。

他方、直近の白線認識結果がメモリ１３０内に記憶されていると判断した場合（Ｓ４のＹｅｓ）、段差認識処理部１４８は、メモリ１３０から直近の白線認識結果を読み出す（Ｓ６）。そして、読み出した直近の白線認識結果に係る白線の延長線上に白線が存在すると仮定し、図８（ｂ）や図９（ｂ）に示すように、仮定した白線に対応した仮想の白線画像部ＷＬ’を生成する（Ｓ７）。その後、段差認識処理部１４８は、路側段差の画像候補部の中から、生成した仮想の白線画像部ＷＬ’との相対位置関係が上述した一定の関係となっている画像候補部を選定し、これを最終的に段差画像部ＥＬ，ＥＬａ，ＥＬｂとして認識する処理を行う（Ｓ８）。

本実施形態によれば、白線画像部ＷＬを一時的に認識できない状況であっても、過去に認識した白線画像部ＷＬの認識結果から仮想の白線画像部ＷＬ’を生成し、この仮想の白線画像部ＷＬ’によって白線画像部ＷＬの認識結果を補って、段差画像部ＥＬ，ＥＬａ，ＥＬｂとして認識することができる。
なお、本実施形態においては、視差画像エッジ抽出部１４４が視差画像におけるエッジ部分を抽出するものとしている。ただし、例えば輝度画像のエッジを見つけて、そのエッジ部分のみに視差値をもつような視差画像を生成する場合、すなわち基準画像データと比較画像データから直接的に視差エッジ画像データを生成する場合は、視差画像エッジ抽出部１４４における処理を省略することが可能である。

〔変形例１〕
次に、上記実施形態における段差認識処理の一変形例（以下、本変形例を「変形例１」という。）について説明する。
図１１は、本変形例１における段差認識処理に関わる機能ブロック図である。
本変形例１において、段差認識処理部１４８は、まず、段差関連視差エッジ抽出部１４６から出力される段差関連視差エッジ画像データを取得し、この段差関連視差エッジ画像データによって示される段差関連視差エッジ部の中からライン上に並ぶ段差関連視差エッジ部（路側段差の画像候補部）を抽出し、抽出した路側段差の画像候補部の中から白線認識処理部１４９の認識結果を利用して画像候補部を選定し、これを最終的に段差画像部ＥＬ，ＣＬとして認識する。この認識処理により段差画像部ＥＬ，ＣＬが認識できる場合、エッジ画像合成部１４７による段差関連視差エッジ画像データと輝度エッジ画像データとの合成処理が省略されるので、段差認識処理の処理負荷の軽減、段差認識処理の高速化を実現できる。

一方、段差関連視差エッジ抽出部１４６から取得した段差関連視差エッジ画像データから段差画像部ＥＬ，ＣＬを認識できない場合、段差認識処理部１４８は、その結果をスイッチ切替部１５１に出力する。これを受けたスイッチ切替部１５１は、切り替えスイッチ１５０を切り替えて、段差関連視差エッジ抽出部１４６から出力される段差関連視差エッジ画像データをエッジ画像合成部１４７に入力させる。これにより、上述した実施形態の場合と同様、エッジ画像合成部１４７において段差関連視差エッジ画像データと輝度エッジ画像データとの合成処理が実行され、これにより生成される合成エッジ画像データが段差認識処理部１４８に入力される。
上記において段差画像部ＥＬ，ＣＬが認識できたかの判断基準は、段差画像部ＥＬ，ＣＬとして視差値をもつ画素の数が所定の閾値より多いか、段差画像部ＥＬ，ＣＬの傾きが所定の範囲内であるか、または前フレームの段差画像部ＥＬ，ＣＬと比較して段差画像部ＥＬ，ＣＬの傾きおよび切片の差分が所定の閾値より小さいか、等を用いることができる。

これを受けて、段差認識処理部１４８では、上述した実施形態の場合と同様、この合成エッジ画像データに基づいて抽出した路側段差の画像候補部の中から白線認識処理部１４９の認識結果を利用して画像候補部を選定し、これを最終的に段差画像部ＥＬ，ＣＬとして認識する。

本変形例１によれば、段差認識処理の高速化と認識精度の向上との両立を図ることができる。

〔変形例２〕
次に、上記実施形態における段差認識処理の他の変形例（以下、本変形例を「変形例２」という。）について説明する。
本変形例２の段差認識処理部１４８は、白線画像部ＷＬの情報に加えて、白線画像部ＷＬの消失点情報も使用して、段差画像部ＥＬ，ＣＬを認識する。白線画像部ＷＬの情報に代えて、白線画像部ＷＬの消失点情報を使用して、段差画像部ＥＬ，ＣＬを認識してもよい。

図１２は、本変形例２における段差認識処理に関わる機能ブロック図である。
本変形例２において、白線認識処理部１４９から出力される白線画像部ＷＬの認識結果は、段差認識処理部１４８だけでなく、消失点算出部１５２にも送られる。消失点算出部１５２は、白線認識処理部１４９から取得した白線画像部ＷＬの情報から、白線画像部ＷＬの消失点を算出し、その算出結果を段差認識処理部１４８へ送る。段差認識処理部１４８は、路側段差の画像候補部の中から、白線認識処理部１４９が認識した白線画像部ＷＬとの相対位置関係が上述した関係となっており、かつ、その画像候補部の延長線が消失点算出部１５２の算出した消失点を基準とした規定範囲を通る画像候補部を選定し、これを最終的に段差画像部ＥＬ，ＣＬとして認識する処理を行う。
ここでいう規定範囲とは、例えば、算出された白線画像部ＷＬの消失点の座標に対して、Ｘ方向Ｙ方向ともに±５０画素の範囲をいう。

一般に、縁石や中央分離帯などの路側段差の段差画像部ＥＬ，ＣＬの延長線は、自車両１００の走行車線側部に存在する白線の白線画像部ＷＬの消失点近傍の規定範囲を通る。したがって、白線認識処理部１４９が認識した白線画像部ＷＬに対して上述した相対位置関係を有する路側段差の画像候補部を十分に絞り込むことができない場合でも、白線画像部の消失点を基準に路側段差の画像候補部を絞り込むことで、より信頼性の高い画像候補部を選定でき、段差画像部ＥＬ，ＣＬの認識精度を高めることができる。白線が認識できない場合には、消失点算出部１５２は、直近の白線認識結果（直前の規定数のフレーム内で認識された白線認識結果）から上述した仮想の白線画像部ＷＬ’の消失点を算出し、段差認識処理部１４８は、この仮想の白線画像部ＷＬ’の消失点を基準に路側段差の画像候補部を絞り込む。

本変形例２によれば、白線画像部ＷＬ又は仮想の白線画像部ＷＬ’の消失点も利用して段差画像部ＥＬ，ＣＬを認識するので、この消失点を利用しない場合よりも、高い精度で段差画像部ＥＬ，ＣＬを認識することが可能となる。特に、白線画像部ＷＬを一時的に認識できない状況であっても、過去に認識した白線画像部ＷＬの認識結果から仮想の白線画像部ＷＬ’の消失点を生成し、この仮想の白線画像部ＷＬ’の消失点によって白線画像部ＷＬの消失点を補うことができ、高い精度で段差画像部ＥＬ，ＣＬを認識することが可能である。

なお、上述した実施形態（変形例を含む。）では、視差画像データに基づいて段差画像部ＥＬ，ＣＬを認識するにあたり、視差エッジ部の抽出結果、路面領域ＲＳの認識結果（段差存在範囲の推定結果）、輝度エッジ部の認識結果、白線画像部ＷＬや仮想の白線画像部ＷＬの認識結果、形状認識（ライン状）、消失点の算出結果など、段差画像部ＥＬ，ＣＬが有する様々な特徴点（絞り込み要素）から絞り込んで、より精度の高い段差画像部ＥＬ，ＣＬの認識処理を実現しているが、その絞り込み要素の一部を省略しても良いし、更なる絞り込み要素を追加してもよい。

例えば、所定の時間間隔（フレームレート）で連続的に撮像して得られる撮像画像に基づいて認識された段差画像部ＥＬ，ＣＬの認識結果をメモリ１３０に記憶しておく。このメモリ１３０に記憶される１フレーム前又は２フレーム以上前の認識結果を利用し、今回のフレーム（撮像画像）についての段差認識処理により認識された段差画像部ＥＬ，ＣＬが、対応する過去の認識結果でも段差画像部ＥＬ，ＣＬとして認識されているかどうかを新たな絞り込み要素として追加してもよい。
また、例えば、段差画像部ＥＬ，ＣＬの候補が複数存在する場合に、最も自車両に近い候補を、より信頼性の高い段差画像部として認識するようにしてもよい。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
自車両１００の前方を撮像ユニット１０１等の撮像手段により撮像した撮像画像に基づいて、自車両１００の走行車線側部に存在する路側段差等の段差を示す段差画像部ＥＬ，ＣＬを認識するための段差認識装置において、上記撮像手段により撮像した撮像画像に基づいて、自車両１００の走行車線側部に存在する白線等の車線境界線を示す白線画像部ＷＬ等の車線境界線画像部を認識する白線認識処理部１４９等の車線境界線認識手段と、上記撮像手段により撮像した撮像画像から自車両１００の走行車線側部に存在する段差の画像候補部を抽出し、抽出した段差の画像候補部の中から上記車線境界線認識手段が認識した車線境界線画像部との相対位置関係に基づいて選定した段差の画像候補部を、上記段差画像部ＥＬ，ＣＬとして認識する段差認識処理を実行する段差認識処理部１４８等の段差認識処理実行手段と、上記車線境界線認識手段が認識した過去の車線境界線画像部の位置情報を記憶するメモリ１３０等の車線境界線位置情報記憶手段とを有し、上記段差認識処理実行手段は、上記車線境界線認識手段が車線境界線画像部を認識しないとき、上記車線境界線位置情報記憶手段に記憶されている直近の車線境界線画像部の位置情報に基づいて仮想の車線境界線画像部（仮想の白線画像部ＷＬ’等）の位置情報を生成し、生成した位置情報に基づく該仮想の車線境界線画像部との相対位置関係に基づいて選定した段差の画像候補部を、上記段差画像部として認識することを特徴とする。
これによれば、車線境界線画像部が認識されない場合でも、直近の車線境界線画像部の位置情報に基づいて生成される仮想の車線境界線画像部との相対位置関係に基づいて選定した段差の画像候補部を段差画像部として認識するので、段差画像部を高い精度で認識することが可能となる。

（態様Ｂ）
上記態様Ａにおいて、上記段差認識処理実行手段は、上記撮像手段により撮像した撮像画像から、輝度値や視差値等を示す画素値が所定値以上変化するエッジ画像部がライン状に配置されるライン状エッジ画像部を特定し、特定したライン状エッジ画像部を上記段差の画像候補部として抽出することを特徴とする。
これによれば、より高い精度で段差画像部を認識することができる。

（態様Ｃ）
上記態様Ｂにおいて、上記段差認識処理実行手段は、上記車線境界線認識手段が車線境界線画像部を認識しないとき、上記仮想の車線境界線画像部の位置情報から該仮想の車線境界線画像部の消失点を特定し、上記段差の画像候補部として抽出されたライン状エッジ画像部のうち、当該ライン状エッジ画像部又はその延長線が該消失点の周囲の所定範囲内を通るライン状エッジ画像部を、上記段差画像部として認識することを特徴とする。
これによれば、段差画像部を更に高い精度で認識することができる。

（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記段差認識処理実行手段が認識した過去の段差画像部の位置情報を記憶するメモリ１３０等の段差位置情報記憶手段を有し、上記段差認識処理実行手段は、上記車線境界線認識手段が車線境界線画像部を認識しないとき、上記仮想の車線境界線画像部との相対位置関係に基づいて選定した段差の画像候補部の位置が、上記段差位置情報記憶手段に記憶された直近の位置情報が示す過去の段差画像部の位置と整合する場合に、該段差の画像候補部を上記段差画像部として認識することを特徴とする。
これによれば、段差画像部を更に高い精度で認識することができる。

（態様Ｅ）
上記態様Ａ〜Ｄのいずれかの態様において、上記段差認識処理実行手段は、最も自車両に近い段差の画像候補部を、上記段差画像部として認識することを特徴とする。
これによれば、段差画像部を更に高い精度で認識することができる。

（態様Ｆ）
上記態様Ａ〜Ｅのいずれかの態様において、複数の撮像手段により自車両前方を撮像して得られる複数の撮像画像に基づいて視差画像データ等の視差画像情報を生成する視差演算部１２１等の視差画像情報生成手段を有し、上記段差認識処理実行手段は、上記視差画像情報生成手段が生成した視差画像情報から上記段差の画像候補部を抽出することを特徴とする。
これによれば、段差画像部を更に高い精度で認識することができる。

（態様Ｇ）
上記態様Ｆにおいて、撮像手段により自車両前方を撮像して得られる撮像画像に基づいて輝度画像情報を生成する信号処理部１１５Ａ，１１５Ｂ等の輝度画像情報生成手段を有し、上記段差認識処理実行手段は、上記視差画像情報生成手段が生成した視差画像情報と上記輝度画像情報生成手段が生成した輝度画像情報とから、上記段差の画像候補部を抽出することを特徴とする。
これによれば、段差画像部を更に高い精度で認識することができる。

（態様Ｈ）
上記態様Ａ〜Ｇのいずれかの態様において、上記撮像手段を備えていることを特徴とする。
これによれば、段差認識装置を車両に設置する用途に使用することができる。

（態様Ｉ）
自車両前方を撮像手段により撮像した撮像画像に基づいて、自車両の走行車線側部に存在する段差を示す段差画像部を認識するための段差認識方法において、上記撮像手段により撮像した撮像画像に基づいて、自車両の走行車線側部に存在する車線境界線を示す車線境界線画像部を認識する車線境界線認識工程と、上記撮像手段により撮像した撮像画像から自車両の走行車線側部に存在する段差の画像候補部を抽出し、上記車線境界線認識工程で認識した車線境界線画像部との相対位置関係に基づいて、抽出した段差の画像候補部の中から選定した段差の画像候補部を、上記段差画像部として認識する段差認識処理を実行する段差認識処理実行工程と、上記車線境界線認識工程で認識した過去の車線境界線画像部の位置情報を車線境界線位置情報記憶手段に記憶する車線境界線位置情報記憶工程とを有し、上記段差認識処理実行工程では、上記車線境界線認識工程で車線境界線画像部が認識されないとき、上記車線境界線位置情報記憶手段に記憶されている直近の車線境界線画像部の位置情報に基づいて仮想の車線境界線画像部の位置情報を生成し、生成した位置情報に基づく該仮想の車線境界線画像部との相対位置関係に基づいて、抽出した段差の画像候補部の中から選定した段差の画像候補部を、上記段差画像部として認識することを特徴とする。
これによれば、車線境界線画像部が認識されない場合でも、直近の車線境界線画像部の位置情報に基づいて生成される仮想の車線境界線画像部との相対位置関係に基づいて選定した段差の画像候補部を段差画像部として認識するので、段差画像部を高い精度で認識することが可能となる。

（態様Ｊ）
自車両前方を撮像手段により撮像した撮像画像に基づいて自車両の走行車線側部に存在する段差を示す段差画像部を認識するための工程を、コンピュータに実行させるための段差認識用プログラムにおいて、上記撮像手段により撮像した撮像画像に基づいて、自車両の走行車線側部に存在する車線境界線を示す車線境界線画像部を認識する車線境界線認識工程と、上記撮像手段により撮像した撮像画像から自車両の走行車線側部に存在する段差の画像候補部を抽出し、上記車線境界線認識工程で認識した車線境界線画像部との相対位置関係に基づいて、抽出した段差の画像候補部の中から選定した段差の画像候補部を、上記段差画像部として認識する段差認識処理を実行する段差認識処理実行工程と、上記車線境界線認識工程で認識した過去の車線境界線画像部の位置情報を車線境界線位置情報記憶手段に記憶する車線境界線位置情報記憶工程とを、上記コンピュータに実行させるものであって、上記段差認識処理実行工程では、上記車線境界線認識工程で車線境界線画像部が認識されないとき、上記車線境界線位置情報記憶手段に記憶されている直近の車線境界線画像部の位置情報に基づいて仮想の車線境界線画像部の位置情報を生成し、生成した位置情報に基づく該仮想の車線境界線画像部との相対位置関係に基づいて、抽出した段差の画像候補部の中から選定した段差の画像候補部を、上記段差画像部として認識することを特徴とする。
これによれば、車線境界線画像部が認識されない場合でも、直近の車線境界線画像部の位置情報に基づいて生成される仮想の車線境界線画像部との相対位置関係に基づいて選定した段差の画像候補部を段差画像部として認識するので、段差画像部を高い精度で認識することが可能となる。
尚、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス
１０８ 車両走行制御ユニット
１１０Ａ，１１０Ｂ 撮像部
１２０ 処理ハードウェア部
１２１ 視差演算部
１３０ メモリ
１４１ 視差ヒストグラム計算部
１４２ 路面領域認識部
１４３ 段差存在範囲推定部
１４４ 視差画像エッジ抽出部
１４５ 輝度画像エッジ抽出部
１４６ 段差関連視差エッジ抽出部
１４７ エッジ画像合成部
１４８ 段差認識処理部
１４９ 白線認識処理部
１５０ スイッチ
１５１ スイッチ切替部
１５２ 消失点算出部

特開２０００−３３１１４８号公報

Claims (10)

1. 自車両前方を撮像手段により撮像した撮像画像に基づいて、自車両の走行車線側部に存在する段差を示す段差画像部を認識するための段差認識装置において、
   上記撮像手段により撮像した撮像画像に基づいて、自車両の走行車線側部に存在する車線境界線を示す車線境界線画像部を認識する車線境界線認識手段と、
   上記撮像手段により撮像した撮像画像から自車両の走行車線側部に存在する段差の画像候補部を抽出し、抽出した段差の画像候補部の中から上記車線境界線認識手段が認識した車線境界線画像部との相対位置関係に基づいて選定した段差の画像候補部を、上記段差画像部として認識する段差認識処理を実行する段差認識処理実行手段と、
   上記車線境界線認識手段が認識した車線境界線画像部の位置情報を記憶する車線境界線位置情報記憶手段とを有し、
   上記段差認識処理実行手段は、上記車線境界線認識手段が車線境界線画像部を認識しないとき、上記車線境界線位置情報記憶手段に記憶されている車線境界線画像部の位置情報に基づいて選定した段差の画像候補部を、上記段差画像部として認識することを特徴とする段差認識装置。
2. 請求項１の段差認識装置において、
   上記段差認識処理実行手段は、上記撮像手段により撮像した撮像画像から、画素値が所定値以上変化するエッジ画像部がライン状に配置されるライン状エッジ画像部を特定し、特定したライン状エッジ画像部を上記段差の画像候補部として抽出することを特徴とする段差認識装置。
3. 請求項２の段差認識装置において、
   上記段差認識処理実行手段は、上記車線境界線位置情報記憶手段に記憶されている車線境界線画像部の位置情報に基づいて仮想の車線境界線画像部の位置情報を生成し、生成された上記仮想の車線境界線画像部の位置情報から該仮想の車線境界線画像部の消失点を特定し、上記段差の画像候補部として抽出されたライン状エッジ画像部のうち、当該ライン状エッジ画像部又はその延長線が該消失点の周囲の所定範囲内を通るライン状エッジ画像部を、上記段差画像部として認識することを特徴とする段差認識装置。
4. 請求項１乃至３のいずれか１項に記載の段差認識装置において、
   上記段差認識処理実行手段が認識した過去の段差画像部の位置情報を記憶する段差位置情報記憶手段を有し、
   上記段差認識処理実行手段は、上記車線境界線認識手段が車線境界線画像部を認識しないとき、上記仮想の車線境界線画像部との相対位置関係に基づいて選定した段差の画像候補部の位置が、上記段差位置情報記憶手段に記憶された直近の位置情報が示す過去の段差画像部の位置と整合する場合に、該段差の画像候補部を上記段差画像部として認識することを特徴とする段差認識装置。
5. 請求項１乃至４のいずれか１項に記載の段差認識装置において、
   上記段差認識処理実行手段は、最も自車両に近い段差の画像候補部を、上記段差画像部として認識することを特徴とする段差認識装置。
6. 請求項１乃至５のいずれか１項に記載の段差認識装置において、
   複数の撮像手段により自車両前方を撮像して得られる複数の撮像画像に基づいて視差画像情報を生成する視差画像情報生成手段を有し、
   上記段差認識処理実行手段は、上記視差画像情報生成手段が生成した視差画像情報から上記段差の画像候補部を抽出することを特徴とする段差認識装置。
7. 請求項６の段差認識装置において、
   撮像手段により自車両前方を撮像して得られる撮像画像に基づいて輝度画像情報を生成する輝度画像情報生成手段を有し、
   上記段差認識処理実行手段は、上記視差画像情報生成手段が生成した視差画像情報と上記輝度画像情報生成手段が生成した輝度画像情報とから、上記段差の画像候補部を抽出することを特徴とする段差認識装置。
8. 請求項１乃至７のいずれか１項に記載の段差認識装置において、
   上記撮像手段を備えていることを特徴とする段差認識装置。
9. 自車両前方を撮像手段により撮像した撮像画像に基づいて、自車両の走行車線側部に存在する段差を示す段差画像部を認識するための段差認識方法において、
   上記撮像手段により撮像した撮像画像に基づいて、自車両の走行車線側部に存在する車線境界線を示す車線境界線画像部を認識する車線境界線認識工程と、
   上記撮像手段により撮像した撮像画像から自車両の走行車線側部に存在する段差の画像候補部を抽出し、抽出した段差の画像候補部の中から上記車線境界線認識工程で認識した車線境界線画像部との相対位置関係に基づいて選定した段差の画像候補部を、上記段差画像部として認識する段差認識処理を実行する段差認識処理実行工程と、
   上記車線境界線認識工程で認識した車線境界線画像部の位置情報を車線境界線位置情報記憶手段に記憶する車線境界線位置情報記憶工程とを有し、
   上記段差認識処理実行工程では、上記車線境界線認識工程で車線境界線画像部が認識されないとき、上記車線境界線位置情報記憶手段に記憶されている車線境界線画像部の位置情報に基づいて選定した段差の画像候補部を、上記段差画像部として認識することを特徴とする段差認識方法。
10. 自車両前方を撮像手段により撮像した撮像画像に基づいて自車両の走行車線側部に存在する段差を示す段差画像部を認識するための工程を、コンピュータに実行させるための段差認識用プログラムにおいて、
    上記撮像手段により撮像した撮像画像に基づいて、自車両の走行車線側部に存在する車線境界線を示す車線境界線画像部を認識する車線境界線認識工程と、
    上記撮像手段により撮像した撮像画像から自車両の走行車線側部に存在する段差の画像候補部を抽出し、抽出した段差の画像候補部の中から上記車線境界線認識工程で認識した車線境界線画像部との相対位置関係に基づいて選定した段差の画像候補部を、上記段差画像部として認識する段差認識処理を実行する段差認識処理実行工程と、
    上記車線境界線認識工程で認識した車線境界線画像部の位置情報を車線境界線位置情報記憶手段に記憶する車線境界線位置情報記憶工程とを、上記コンピュータに実行させるものであって、
    上記段差認識処理実行工程では、上記車線境界線認識工程で車線境界線画像部が認識されないとき、上記車線境界線位置情報記憶手段に記憶されている車線境界線画像部の位置情報に基づいて選定した段差の画像候補部を、上記段差画像部として認識することを特徴とする段差認識用プログラム。

Images