JP3726309B2 - 車両認識装置及びそれを用いた車両接近報知装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、画像処理によって車両を認識する装置、および該認識結果より車両の接近度を報知する車両接近報知装置に関するものである。
【０００２】
【従来の技術】
従来の車両認識装置に関しては例えば、Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｂａｓｅｄ ｏｎ Ｅｄｇｅ Ｈｉｓｔｏｇｒａｍ Ｍｅｔｈｏｄ ｆｏｒ Ｒｅａｒ−Ｅｎｄ Ｃｏｌｌｉｓｉｏｎ Ａｖｏｉｄａｎｃｅ Ｓｙｓｔｅｍ（１９９４ Ｖｅｈｉｃｌｅ Ｎａｖｉｇａｔｉｏｎ ＆ Ｓｙｓｔｅｍ Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇｓ）という発表された論文がある。この論文は、車両の検出を画像処理により作成されたヒストグラムから推定する手法を述べている。その概要は図３０に示されている。
【０００３】
撮像手段１１０は自車の前方道路を撮像し、得られる前方道路画像において、縦エッジヒストグラム作成手段１１１と、横エッジヒストグラム作成手段１１２が、図３１に示すように、消失点付近を中心とした領域１２０内から縦エッジを検出し縦エッジヒストグラムａを、領域１２１内から横エッジを検出し横エッジヒストグラムｂをそれぞれ作成する。
【０００４】
側面座標特定手段１１３が縦エッジヒストグラムａを用いて２つのピーク値ｃの検出によって先行車の車幅を示す両側面座標を検出する。上端／下端座標特定手段１１４が横エッジヒストグラムｂを用いて先行車の頂部、底部座標をそれぞれ検出する。その後、車両判定手段１１５では、画像の検出結果と、あらかじめ定めた自車との相対運動をパラメータとする先行車の運動モデルとのマッチングを図ることによって、画像の検出結果の信憑性判断および先行車の追跡を行なう。
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来の車両認識装置にあっては、以下のような問題点があった。
すなわち、先行車両側面に現われる縦エッジは車両背景とのコントラストによって生ずるものであるために、図３２に示している縦エッジヒストグラムｄのように片方のピーク値しか現われないことがあり、必ずしも側面位置に縦エッジヒストグラムのピークが現われるとは限らないこと、また、車両背面の形態によっては、縦エッジヒストグラムｅのように車両側面の縦エッジピーク値と同等かそれ以上の値が検出される可能性があることが挙げられる。したがって、実際の走行路上での検出において車両背景によっては検出が困難あるいは検出精度が低下する恐れもある。
この発明は、上記問題点に鑑み、誤検出を無くし、かつ高い検出精度の車両認識装置を提供することと、さらに、それに基づく車両接近報知装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
このため、請求項１記載の発明は、図１に示されるように、車両に搭載されてその進行方向を撮影し、原画像データを生成する撮像手段１５０と、前記生成された原画像データを微分することにより微分画像を生成する微分画像生成手段１５１と、前記微分画像において、参照領域を規定する参照領域規定手段１５２と、前記参照領域において、横エッジ特徴量を算出する横エッジ特徴量算出手段１５３と、前記参照領域において、縦エッジ特徴量を算出する縦エッジ特徴量算出手段１５４と、前記横エッジ特徴量および前記縦エッジ特徴量をもとに前記縦エッジ特徴量もしくは横エッジ特徴量を強調するエッジ特徴量強調手段１５５と、前記強調されたエッジ特徴量を用いて先行車を認識する車両認識手段１５６とを具備するものとした。
そして、とくにエッジ特徴量強調手段は、前記横エッジ特徴量の画面縦方向分布をその値の最大値が最小となるように反転させたものを、縦エッジ特徴量の画面縦方向分布に乗ずることによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布をその値の最大値が最小となるように反転させたものを、横エッジ特徴量の画面横方向分布に乗ずることによって前記横エッジ特徴量を強調するものとした。
【０００７】
請求項２の発明は、請求項１の発明におけるエッジ特徴量強調手段のかわりに、横エッジ特徴量の画面縦方向分布で縦エッジ特徴量の縦方向分布を除することによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布で前記横エッジ特徴量の横方向分布を除することによって前記横エッジ特徴量を強調するエッジ特徴量強調手段としたものである。
【０００８】
とくに、前記参照領域規定手段は、微分画像において自車走行領域を検出し、同走行領域内の横エッジに基づき車両候補位置を検出し、同位置近傍において参照領域を規定することができる。
前記横エッジ特徴量算出手段は、前記参照領域内で画面下方向に横エッジ強度の濃度投影値を算出することができる。
あるいは、前記横エッジ特徴量算出手段は、前記参照領域内で画面同列上に所定の範囲内の横エッジ強度値を有する画素数を計数することができる。
さらにまた、前記横エッジ特徴量算出手段は、前記参照領域内で同列内横エッジ画像のエッジ強度平均値を算出することもできる。
【０００９】
前記縦エッジ特徴量算出手段は、前記参照領域内で画面下方向に縦エッジ強度の濃度投影値を算出することができる。
あるいは、前記縦エッジ特徴量算出手段は、前記参照領域内で同列上に所定の範囲内の縦エッジ強度値を有する画素数を計数することができる。
さらにまた、前記縦エッジ特徴量算出手段は、前記参照領域内で同列内縦エッジ画像のエッジ強度平均値を算出することもできる。
【００１０】
請求項１０記載の発明は、前記車両認識手段が、前記強調された縦エッジ特徴量から車両側面候補座標を推定する手段と、推定された車両側面候補座標において縦エッジ画像に基づいた車両最下端候補座標を算出し、算出された車両最下端候補座標をもとに車両を認識する手段とを含むものとした。
請求項１１記載の発明は、前記車両認識手段が、前記強調された縦エッジ特徴量から車両側面候補座標を推定する手段と、推定された車両側面候補座標より画面内車両幅を算出する手段と、算出された車両幅と、車両側面候補位置が走行路内か否かの判別によって車両を認識する手段とを含むものとした。
【００１１】
請求項１２記載の発明は、図２に示されるように、請求項１記載の構成に加えて、
前方障害物までの距離を測定する測距手段１６０と、
前記車両認識手段１５６による車両認識結果を用いて、前記測距手段の測距データが自車前方を走行する車両までの距離値であることを確認する車間距離判定手段１６１と、
前記確認された距離データに基づいて自車の先行車に対する接近度を判定する接近度判定手段１６２と、
前記判定結果に基づき運転者に注意を促す報知手段１６３とを具備するものとした。
【００１２】
請求項１３記載の発明は、請求項２記載の構成に加えて、
前方障害物までの距離を測定する測距手段１６０と、
前記車両認識手段１５６による車両認識結果を用いて、前記測距手段の測距データが自車前方を走行する車両までの距離値であることを確認する車間距離判定手段１６１と、
前記確認された距離データに基づいて自車の先行車に対する接近度を判定する接近度判定手段１６２と、
前記判定結果に基づき運転者に注意を促す報知手段１６３とを具備したものである。
請求項１２、１３の発明において、前記測距手段は、互いに異なる指向性を有する複数の測距センサから構成することができる。
【００１３】
【作用】
請求項１記載の発明では、原画像を微分し、微分画像から車両の特徴を反映する縦エッジおよび横エッジの特徴量をそれぞれ算出する。そしてその算出値をもとに縦エッジの特徴量もしくは横エッジの特徴量を強調させてから車両の検出に用いるため、エッジ特徴の不鮮明な微分画像でも車両検出が正しく行なわれる。
そして、作成された横エッジ特徴量の画面縦方向分布をその値の最大値が最小となるように反転させたものを、縦エッジ特徴量の画面縦方向分布に乗ずることによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布をその値の最大値が最小となるように反転させたものを、横エッジ特徴量の画面横方向分布に乗ずることによって前記横エッジ特徴量を強調するから、車両の両側面および上下端のエッジ強度のみ強調されることになる。
【００１４】
請求項２記載の発明では、前記作成された横エッジ特徴量の画面縦方向分布で縦エッジ特徴量の縦方向分布を除することによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布で前記横エッジ特徴量の画面横方向分布を除することによって前記横エッジ特徴量を強調するから、車両の両側面および上下端のエッジ強度のみ強調されることになる。
【００１５】
請求項１０記載の発明では、前記強調された縦エッジ特徴量から車両側面候補座標を推定し、推定された車両側面候補座標において縦エッジ画像に基づいた車両最下端候補座標を算出する。そして、算出された車両最下端候補座標を走行路上での車影座標と照合させることによって車両を認識するように行なうと、先行車が誤検出されることなく、認識される。
請求項１１記載の発明では、前記強調された縦エッジ特徴量から車両側面候補座標を推定し、推定された車両側面候補座標より画面内車両幅を算出する。そして算出された車両幅と、車両側面候補位置が走行路内か否かの判別によって車両を認識するから、誤検出を無くし先行車が正しく認識される。
【００１６】
請求項１２、１３記載の発明では、請求項１、２記載のものに加えて、測距手段を設け、車間距離判定手段は、前記車両認識結果を用いて、前記測距手段の測距データは自車前方を走行する車両までの距離値であるかどうかを確認する。そしてその距離確認された距離データに基づいて自車の先行車に対する接近度を判定し、運転者に注意を促すようにしたから、信頼性の報知装置が実現される。なお、測距手段を互いに異なる指向性を有する複数の測距センサから構成することにより、車間距離検出値がより正確なものとなる。
【００１７】
【実施例】
以下この発明を図面に基づいて説明する。
図３は、この発明の第１の実施例のレイアウトを示す。このレイアウトは以下のほかの実施例にも共通に使用される。 まず車両２００のフロントウインドウ上部に前方に向けて撮像手段としてのビデオカメラ２１１が設けられている。このビデオカメラ２１１で車両２００の前方道路を撮像し、その路面画像はコントローラ２１３に入力され、ここでこの路面画像に画像処理を施して自車走行レーンを検出する。そしてその自車走行レーン内でさらに先行車を検出し、概略車間距離を算出する。
【００１８】
コントローラ２１３にはさらに車両２００の前端に設けられたレーザレーダ距離計２１０と前車輪に設けられた車速センサ２１２が接続され、検出値が入力される。測距手段としてのレーザレーダ距離計２１０は３つのヘッドを有して、それぞれ左（Ｌ）、中央（Ｃ）、右（Ｒ）の３方向に所定の指向角を付けられて設置される。各ヘッドはそれぞれの方向にビームを発して先行車を含む物体の距離を検出する。
【００１９】
コントローラ２１３では、上記概略車間距離をもとにレーザレーダ距離計２１０による３つの距離検出値の中から車間距離とみなされる検出値を選出して採用する。そしてその車間距離と車速センサ２１２の入力値とに基づいて、先行車への接近状況が判断される。その判断結果を受けて報知手段としてそれに接続されている表示装置２１４が相応の報知表示をし運転者に注意を促す。
【００２０】
図４は、コントローラ２１３における処理の流れを示すフローチャートである。
電源を投入して処理開始後、まず、ステップ２２０において、全てのパラメータに０を与えて初期化が行なわれる。ステップ２２１で、ビデオカメラ２１１から１フレームの前方画像を取り込む。その後、ステップ２２２において、得られた原画像に対して、図５に示す横エッジ検出用のＳｏｂｅｌフィルタを用いて、画像処理して横エッジを検出する。この処理により図６の（ａ）に示す原画像から（ｂ）の横エッジ画像が作成される。ここに、ステップ２２２は微分画像生成手段を構成している。
【００２１】
次にステップ２２３において、この横エッジ画像からさらにレーンマーカの検出を行なう。
ここでは、画像平面内でレーンマーカモデルを定義し、横エッジ画像から得られる白線候補点と該モデルをカーブフィットさせることによってレーンマーカを検出する。
【００２２】
図７は、三次元空間と画像平面との対応図である。それぞれを路面２４０から高さＨ０の位置に原点を有するカメラ座標系２４１と、消失点座標を（ｘ０、ｙ０）とする画像座標系２４２において定義する。このとき、両者は次の式（１）で対応付けられる。
【数１】

ここで、ｆはビデオカメラの焦点距離に対応した定数である。
【００２３】
レーンマーカモデルは道路の三次元形状、車両位置、車両姿勢をそれぞれ表わす道路パラメータを用いて、白線２４３を、水平面（Ｘ−Ｚ）では二次式、垂直面（Ｘ−Ｙ）では一次式で近似する。図８のように道路パラメータを定め、（ａ）は水平面、（ｂ）は垂直面を示す。
図８の（ａ）において、道路の左端の白線から順に白線を０、１、２、…、ｉ番とする。０〜ｉ番の白線と車両ピッチ成分ＤをパラメータとするＹ方向のモデルが共通の式（２）で記述される。カメラ座標系（Ｘ、Ｙ、Ｚ）の原点は車両の進行とともに刻々と前方に移動し、式（２）中のＡ〜Ｅのパラメータをそれぞれ変化させる。
【数２】

パラメータＡは車両の左側に位置する白線と車両中心（撮像装置の取り付け位置）との距離、Ｂは車両前方の道路曲率、ＣはＺ＝０における白線の接線方向に対する車両のヨー角β、Ｄは道路平面に対する車両のピッチ角α、Ｅは白線間距離にそれぞれ相当する。
【００２４】
ここで式（２）を式（１）によって画像座標系に変換すれば、画像座標系におけるレーンマーカモデル式（３）が得られる。このモデルは、図９に示すように整数ｉはレーンマーカＮｏ数に対応しており、走行路レーンが増加しても、ａ〜ｅの５つパラメータのみで記述されるという特徴を有する。
【数３】

ここに、ａは走行車線上の自車両の位置、ｂは道路曲率、ｃは走行車線に対する相対ヨー角、ｄは走行車線との相対ピッチ角、ｅは車線幅、ｉは道路白線に対応する番号（自然数）に、各々対応する係数であり、式（４）で表わすことができ、走行路推定のパラメータとなる。
【数４】

【００２５】
ステップ２２３におけるレーンマーカ検出の詳細を図１０のフローチャートにしたがって説明する。
まずステップ２２８では、作成された横エッジ画像内において、初回は初期設定で、２回目からは前フレームの処理結果に基づき複数の小ウインドウを設定する。そして各小ウインドウにおいて前回検出されたレーンマーカモデル近傍のエッジ点を探索し、該エッジ点をもって白線候補点として出力する。ステップ２２９においては、検出された白線候補点群に対して、誤差が最小となるようなパラメータａ〜ｅを最小二乗法を用いて決定する。この処理により、レーンマーカが検出されまたは前フレームに対して更新されたことになる。次に、ステップ２３０において、得られたｉ＝０、１番目のレーンマーカモデルをもって、自車走行レーンとして認識する。
【００２６】
図４のステップ２２４では、自車走行レーン上から車両検出処理が行なわれる。
以下、図１１および図１２のフローチャートにしたがって車両検出の詳細を説明する。
最初に、ステップ２２１１において、フラグのチェックを行なう。このフラグは前フレームにおいて既に車両が検出されている場合を１、検出されていない場合を０で表現するものである。フラグが０のときは、ステップ２２１２で、車両候補の検出を、前記自車走行レーンの検出結果により規定される領域において行なう。
【００２７】
一般に、車両下部には影があり、その影によって、画面下から見た場合、明→暗という濃度変化が存在する。したがって、横エッジ画像もその濃度変化の方向を反映したものが道路上に現われる。上記の検出では、図５に示した横エッジ検出用Ｓｏｂｅｌフィルタが用いられたので、負の横エッジが現われている。このことから、自車走行レーン上の所定値以上の長さを有する負の横エッジ点列を車両候補として検出するルーチンを実行する。
具体的には、図１３に示すように、画面下から、式（５）を満足するｙ座標を車両候補検出位置座標ｙｂ０として検出する処理を行なう。
【数５】

ここに、Ｎｅはｙと、検出されたレーンマーカモデルで算出される道幅Ｎｗにより規定される１次元の領域における所定値以上の絶対強度を有する負の水平エッジ点の個数である。車両候補としてみなせるか否かの判定は、道幅ＮｗをもってＮｅを正規化した量γと所定値γ＿ｔｈｒｅｓｈとの比較により行なう。所定値γ＿ｔｈｒｅｓｈは、例えば軽自動車の車幅１．４ｍに対し道幅を高速道路を想定して３．５ｍとすれば、γ＿ｔｈｒｅｓｈ＝０．４（１．４／３．５）と定めることができる。
【００２８】
図１１のステップ２２１３で、ｙｂ０が検出されたと判定された場合には、次のステップへ進み、そうでない場合、ステップ２２１に戻り次のフレームを入力する。ステップ２２１４において、図１４に示すように原画像に縦エッジを検出するウインドウＷを決定する。ウインドウＷの底辺は検出されたｙｂ０で、両端座標ｘｗｌ、ｘｗｒは検出された道幅Ｎｗの両端点座標で、ウインドウの高さは図１５に示すようなカメラ座標系（Ｘ、Ｙ、Ｚ）において高さｈｔで表わされる位置Ｙ＝ｈｔ−Ｈ０を式（１）を用いて画像座標系へ座標変換することにより得られるｙ座標ｙｕ０によって規定する。ｙｕ０は、前記カメラ座標系において記述される道幅相等量Ｅを用いて式（６）で表わされる。
【数６】

【００２９】
ステップ２２１１でフラグが１で、前フレームにおいて車両が検出された場合には、図１６に示すように前フレームの車両側面ｘ座標ｘｌ＿ｏｌｄ、ｘｒ＿ｏｌｄおよび、底辺座標ｙｂ＿ｏｌｄを基準に、それぞれ所定値Ｄｘ、Ｄｙだけ広げることにより新たに得られるウインドウ境界ｘｗｌ＿ｎｅｗ、ｘｗｒ＿ｎｅｗ、ｙｗｂ＿ｎｅｗ、およびｙ＝ｙｗｂ＿ｎｅｗを前記式（６）中ｙｂ０へ代入することによって算出されるｙｗｕ＿ｎｅｗ（ｙｕ０）で規定されるウインドウを設定する。
ここに、ステップ２２１１〜２２１５および前記ステップ２２８〜２３０は参照領域手段を構成している。
【００３０】
次にステップ２２１６では、決定されたウインドウ内において原画像を図１７に示すような縦エッジ検出用Ｓｏｂｅｌフイルタで走査することによって、縦エッジを検出する。そして図１８に示すようにｘｗｌを原点とする座標ｘ’毎に縦エッジ強度値を所定のしきい値で２値化処理した後、和を同列画素においてとることにより強度がＩｖ＿ｐのエッジヒストグラムを作成する。ここでは、車両とその背景とのコントラストが弱く、したがって車両側面にヒストグラムのピーク座標が明確に現われないケースを示している。ここに、ステップ２２１６は縦エッジ特徴量算出手段を構成している。
【００３１】
次にステップ２２１７において、横エッジによる縦エッジ強調処理を行なう。ここは、図１９に示すように２つのステップからなる。ステップ２２２７においては、既に設定されているウインドウ内において前記図６の（ｂ）に示した横エッジ画像から横エッジの特徴量を抽出する処理を行なう。ここでは、前フレームにおいて車両が検出されていない例について説明する。一般の車両においては、少なくともバンパー部などに車両幅を反映した横エッジ成分が検出される。これは次のような特徴を有する。
（１）縦エッジのように背景によってエッジ強度が変動することは少ない。
（２）車両幅を反映した長さを有する横エッジ成分は存在するが、その成分のみを抽出することが困難である。
【００３２】
したがって、前記ウインドウ内において車両が存在する場合は、車両幅を反映した横エッジ成分の比率が多いという仮定をもとに、以下に述べる横エッジ強度ヒストグラムから、車両存在領域（車両幅）を推定したほうが望ましい。すなわち、図２０に示すように、ウインドウ座標ｘｗｌを原点０’とする座標ｘ’毎に、横エッジ強度値を所定のしきい値で２値化し、その結果の縦方向和をＩｈ＿ｐとして算出することにより、横エッジ強度ヒストグラムを作成する。次に得られたヒストグラムの最大値Ｉｈ＿ｐｍａｘを求め、横エッジヒストグラムの値を反転させたものを、Ｉｈ＿ｐｔとして図２１に示すように作成する。ここではＩｈ＿ｐｔを正規化反転値として式（７）により算出する。
【数７】

【００３３】
そして、ステップ２２２８では、得られた横エッジヒストグラムの正規化反転値Ｉｈ＿ｐｔを利用した、前述の縦エッジヒストグラムの強調処理を行なう。これは、図２２に示すように、左側面ｘ’座標位置が不鮮明なヒストグラムＩｖ＿ｐに式（７）で表わされるＩｈ＿ｐｔを乗ずることにより行なう。すなわち、式（８）に基づいて行なう。
【数８】

その結果、図２３に示すように、車両縦エッジ強度のヒストグラムは、とくに車両側面付近において選択的に強調され、車両側面のｘ座標が容易に推定できるという効果を得られる。上記ステップ２２２７は横エッジ特徴量算出手段、ステップ２２２８はエッジ特徴量強調手段をそれぞれ構成している。
【００３４】
次に、図１１のステップ２２１８において、車両側面候補の検出を行なう。車両の左右側面候補は、例えば、しきい値Ｉｖ＿ｔｈｒｅｓｈ以上を満足するＩｖ＿ｐ’をもたらすｘ座標をウインドウ中心を境に、配列ｘｌ（ｉ）、ｘｒ（ｊ）に格納することによって得ることができる。ステップ２２１９では、左右両方ともに候補の検出ができたら、次のステップ２２２０へ進み、そうでない場合、ステップ２２１に戻り、次のフレームを入力する。ここに、ｉ、ｊは整数で、ウインドウ中心の左右の領域においてしきい値Ｉｖ＿ｔｈｒｅｓｈ以上を満足するＩｖ＿ｐを各領域の左から数えるときの番号である。
【００３５】
図１２において、ステップ２２２０では、原画像から車両下端候補検出を左右独立して行なう。
図２４は車両下端候補検出の説明図である。ここでは、車両左側面を例にとって説明する。前記ｘｌ（ｉ）の重心座標としてｘｌ＿ｇを算出した後、ｘｌ＿ｇを中心に所定幅ｄｘ、ｙｂ（またはｙｗｂ＿ｎｅｗ）を中心にウインドウ高さ方向の中点のｙ座標ｙｍより、画面下方に高さ２＊（ｙｂ−ｙｍ）のウインドウＵを設定し、同領域内において原画像から再び縦エッジ検出処理を行なう。この縦エッジ画像において、点（ｘ＝ｘｌ＿ｇ、ｙ＝ｙｍ）から下方に初めて縦エッジ強度Ｉｖ＿ｌが所定値Ｉｖ＿ｌｔｈｒｅｓｈ以下となるｙ座標をｙ＝ｙｂｌ＿ｎｅｗとして検出する。上記処理を車両右側面候補ｘｒ（ｊ）に関しても行ない、ｙ＝ｙｂｒ＿ｎｅｗを検出する。
【００３６】
ステップ２２２１において、以上の検出結果をもとに車両判定を行なう。車両の特徴として左右対称な物体であることが挙げられる。検出された左右の車両下端候補はいずれもタイヤと路面との接点のｙ座標を表わしているはずであるので、もし対象が車両であるならば、その差は極めて小さい値をとるはずである。すなわち、次の式（９）をもって車両判定条件とする。
【数９】

【００３７】
ステップ２２２２において、上式が満足されたと判定された場合は、ステップ２２２４で、フラグを１とし、そうでない場合、ステップ２２２３において、フラグに０を代入して、ステップ２２１に戻り次のフレームを入力する。次に、車両であると判定された場合、ステップ２２２５において、車両最下端座標としてｙｂをｙｂｌ＿ｎｅｗとｙｂｒ＿ｎｅｗの平均をとることによって算出する。その後ステップ２２２６において、次回のウインドウ設定のために、今回検出された車両側面のｘ座標ｘｌ＿ｇ、ｘｒ＿ｇおよびｙｂをそれぞれｘｌ＿ｏｌｄ、ｘｒ＿ｏｌｄおよびｙｂ＿ｏｌｄに格納して画像に関する処理を終了する。ここに、ステップ２２１８〜２２２６は車両認識手段を構成している。
【００３８】
この後図４に戻り、ステップ２２５では、レーザレーダ距離計２１０からの各ビームの距離値（ＬＬ、ＬＣ、ＬＲ）を入力し、各距離値に対して画像処理結果をもとに真の先行車までの距離値を示しているビームを選択した後、その距離値をもとに接近度を判定し、接近し過ぎと判定された場合、表示装置２１４に報知表示を行なわせる。
図２５はその処理の詳細を示す。すなわち前記車両検出により、車両最下端のｙ座標が検出されたので、画像から、先行車までの距離を推定することができる。これは、路面とカメラ取り付け位置との関係が既知であるためである。すなわち先行車までの距離Ｌ＿ＩＭＧは式（１０）により算出することができる。
【数１０】

ここで、ｄは画面上での消失点のｙ座標値を表わす。
【００３９】
ステップ２２２９において、この画像から得られる距離Ｌ＿ＩＭＧと、ＬＬ、ＬＣ、ＬＲとの差分ΔＬＬ、ΔＬＣ、ΔＬＲを算出後、ステップ２２３０において、前記差分のうち最も小さい値を与える距離をＬＬ〜ＬＲから選択することにより、先行車までの距離を確定する。次にステップ２２３１において、車速センサ２１２の検出値を入力し、自車速と、前回の処理によって得た先行車までの距離と、新たに得られた先行車までの距離との差分をとることにより算出される相対速度と、先行車までの距離とにより、接近度を算出し、接近し過ぎであると判定された場合はステップ２２３２で、表示装置２１４に報知表示を行なわせて運転者に注意を促しフローを終了する。ここに、ステップ２２２９〜２２３０は車間距離判定手段、ステップ２２３１、２２３２は接近度判定手段を構成している。
【００４０】
本実施例では、先行車を検出する際、先行車の特徴を反映する縦エッジと横エッジをそれぞれ検出し、検出されたエッジに対して２値化処理した後、縦エッジヒストグラムおよび横エッジヒストグラムを作成する。そして作成された２つのエッジヒストグラムを相関させて縦エッジ特徴量を強調するようにしたから、コントラストが悪く、車両エッジが不鮮明な画像でも車両検出ができる。
またその検出値をもとにレーザレーダからの実測値を選択して接近度演算に用いたから、接近度が精度よく算出され、正しい報知がなされる。
【００４１】
なお、この実施例では、横エッジ特徴量を横エッジヒストグラムを作成することによって得たが、同一ｘ座標において横エッジ強度の平均値をもってＩｈ＿ｐとしてもよい。
【００４２】
また、この実施例では、前記横エッジ特徴量の分布を最大値Ｉｈ＿ｐｍａｘを用いて反転させた値Ｉｈ＿ｐｔを縦エッジ特徴量Ｉｖ＿ｐに乗ずることにより縦エッジ強調処理を行なったが、Ｉｖ＿ｐをＩｈ＿ｐで除することにより強調処理を行なっていてもよい。
以上、接近報知に対して本発明を応用した例を中心に実施例を説明してきたが、これに限定されず、例えば先行車に自動的に追従する自律走行車などに応用することが可能である。
【００４３】
次に、本発明の第２の実施例について説明する。第１の実施例においては、ステップ２２２１における車両判定を車両下端座標を用いて行なったが、画像内車両幅を用いて車両判定を行なってもよい。その判定条件を式（１１）に示す。
【数１１】

上式は車両幅に関する拘束条件で、１．４は軽自動車、２．５は大型トラック、３．５は高速道路の道路幅を表わし、単位はｍである。次に車線内にある物標が先行車であるか否かの判定条件を式（１２）に示す。
【数１２】

式（１１）および（１２）は、車線を第１の実施例と同様の道路モデルで規定し、その内部に車両側面ｘ座標ｘｌ＿ｇおよびｘｒ＿ｇが存在するか否かを確認するものである。すなわち、式（１１）および（１２）が検出された車両側面ｘ座標および車両下端ｙ座標に対して満足されたとき、車両であると判断する。これにより、検出された車両側面座標の信頼性が著しく向上する。
【００４４】
次に本発明の第３の実施例について説明する。第１の実施例では、横エッジ特徴量を用いて縦エッジヒストグラムを強調する例について述べたが、同様にして縦エッジ特徴量を用いて横エッジヒストグラムを強調することもできる。すなわちステップ２２１６において、決定されたウインドウ内において原画像から図２６に示すように縦エッジを検出し、ｙｂ０を原点とする座標ｙ’毎に縦エッジ強度値を所定のしきい値で２値化処理した後、和を同列画素においてとることにより強度がＩｖ＿ｐ’のエッジヒストグラムを作成する。
【００４５】
ステップ２２２７においては、既に設定されているウインドウ内において前記図２７に示すように横エッジ画像からウインドウ座標ｙｂ０を原点０’とする座標ｙ’毎に、横エッジ強度値を所定のしきい値で２値化し、その結果の縦方向和をＩｈ＿ｐ’として算出することにより、横エッジ強度ヒストグラムを作成する。
【００４６】
そして、ステップ２２２８では、図２８のように、得られたヒストグラムＩｖ＿ｐ’の反転値Ｉｖ＿ｐｔ’を求め、そしてＩｈ＿ｐ’に乗ずることによりＩｈ＿ｐ’の強調処理を行なう。図２８の（ａ）はヒストグラムＩｖ＿ｐｔ’、（ｂ）はＩｖ＿ｐｔ’とＩｈ＿ｐ’を重ねたときの様子を示す。
その結果、図２９に示すように、車両横エッジ強度のヒストグラムは、とくに車両上下端付近において選択的に強調される。これによって第１の実施例と同様に画像内から車両存在領域を精度よく切り出すことが可能である、車両上下端のｙ座標が容易に推定できるという効果を得られる。
【００４７】
【発明の効果】
本発明の認識装置によれば、原画像を微分し、微分画像から車両の特徴を反映する縦エッジおよび横エッジの特徴量をそれぞれ算出する。そしてその算出値をもとに縦エッジの特徴量もしくは横エッジの特徴量を強調させてから車両の検出に用いるため、エッジ特徴の不鮮明な微分画像でも車両検出が正しく行なわれる。その結果検出車両の信頼性が向上するとともに検出できる範囲が拡大される。
【００４８】
そして、横エッジ特徴量の画面縦方向分布をその値の最大値が最小となるように反転させたものを、縦エッジ特徴量の画面縦方向分布に乗ずることによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布をその値の最大値が最小となるように反転させたものを、横エッジ特徴量の画面横方向分布に乗ずることによって前記横エッジ特徴量および縦エッジ特徴量を強調することにより、車両の両側および上下端のエッジが選択的に強調されるから、車両の位置を簡単に特定できる。
【００４９】
横エッジ特徴量の画面縦方向分布で縦エッジ特徴量の縦方向分布を除することによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布で前記横エッジ特徴量の分布を除することによって横エッジ特徴量を強調することによっても、車両の両側および上下端のエッジが選択的に強調されるから、車両の位置を簡単に特定できる。
【００５０】
前記強調された縦エッジ特徴量から車両側面候補座標を推定し、推定された車両側面候補座標において縦エッジ画像に基づいた車両最下端候補座標を算出する。そして、算出された車両最下端候補座標を走行路上での車影座標と照合させることによって車両を認識することにより、先行車が誤検出されることなく、信頼性の高い車両検出装置を構成することができる。
また、前記強調された縦エッジ特徴量から車両側面候補座標を推定し、推定された車両側面候補座標より画面内車両幅を算出する。そして算出された車両幅と、車両側面候補位置が走行路内か否かの判別によって車両を認識することによっても、先行車が正しく認識され、信頼性の高い車両検出装置が構成される。
【００５１】
また、本発明の車両接近報知装置は、さらに測距手段を設け、車間距離判断手段は、前記車両認識結果を用いて、測距手段の測距データは自車前方を走行する車両までの距離値であるかどうかを確認する。そしてその距離確認された距離データに基づいて自車の先行車に対する接近度を判定し、運転者に注意を促すようにしたから、信頼性の高い距離報知が行なわれる。なお、測距手段を互いに異なる指向性を有する複数の測距センサから構成することにより、車間距離検出値がより一層正確に検出される。
【図面の簡単な説明】
【図１】 本発明の構成図である。
【図２】 本発明の構成図である。
【図３】 本発明の実施例の構成を示す図である。
【図４】 処理全体のフローチャートである。
【図５】 横エッジ検出オペレータを示す図である。
【図６】 原画像および横エッジ画像を示す図である。
【図７】 設定座標系の説明図である。
【図８】 カメラ座標系における白線の対応図である。
【図９】 認識された白線と数式の対応図である。
【図１０】 レーンマーカ検出ためのフローチャートである。
【図１１】 車両検出のためのフローチャートである。
【図１２】 車両検出のためのフローチャートである。
【図１３】 車両検出の説明図である。
【図１４】 ウインドウの設定位置を示す図である。
【図１５】 ウインドウにおける高さの説明図である。
【図１６】 車両位置からウインドウ設定の説明図である。
【図１７】 縦エッジ検出オペレータを示す図である。
【図１８】 縦エッジからヒストグラム作成の説明図である。
【図１９】 縦エッジ特徴量を強調処理するフローチャートである。
【図２０】 横エッジからヒストグラム作成の説明図である。
【図２１】 反転されたヒストグラムを示す図である。
【図２２】 縦エッジ特徴量の強調処理を示す図である。
【図２３】 強調された縦エッジ特徴量を示す図である。
【図２４】 車両を確認するための説明図である。
【図２５】 報知装置を作動するためのフローチャートである。
【図２６】 縦エッジからヒストグラムを作成する説明図である。
【図２７】 横エッジからヒストグラムを作成する説明図である。
【図２８】 横エッジ特徴量の強調処理説明図である。
【図２９】 強調された横エッジ特徴量の分布と車両の対応関係を示す図である。
【図３０】 従来例の構成を示す図である。
【図３１】 ウインドウの設定と検出されたヒストグラムを示す図である。
【図３２】 検出されたヒストグラムの一例を示す図である。
【符号の説明】
２００ 自車両
２１０ レーザレーダ距離計
２１１ ビデオカメラ
２１２ 車速センサ
２１３ コントローラ
２１４ 表示装置

Claims (14)

1. 車両に搭載されてその進行方向を撮影し、原画像データを生成する撮像手段と、
   前記生成された原画像データを微分することにより微分画像を生成する微分画像生成手段と、
   前記微分画像において、参照領域を規定する参照領域規定手段と、
   前記参照領域において、横エッジ特徴量を算出する横エッジ特徴量算出手段と、
   前記参照領域において、縦エッジ特徴量を算出する縦エッジ特徴量算出手段と、
   前記横エッジ特徴量の画面縦方向分布をその値の最大値が最小となるように反転させたものを、縦エッジ特徴量の画面縦方向分布に乗ずることによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布をその値の最大値が最小となるように反転させたものを、横エッジ特徴量の画面横方向分布に乗ずることによって前記横エッジ特徴量を強調するエッジ特徴量強調手段と、
   前記強調されたエッジ特徴量を用いて先行車を認識する車両認識手段とを具備することを特徴とする車両認識装置。
2. 車両に搭載されてその進行方向を撮影し、原画像データを生成する撮像手段と、
   前記生成された原画像データを微分することにより微分画像を生成する微分画像生成手段と、
   前記微分画像において、参照領域を規定する参照領域規定手段と、
   前記参照領域において、横エッジ特徴量を算出する横エッジ特徴量算出手段と、
   前記参照領域において、縦エッジ特徴量を算出する縦エッジ特徴量算出手段と、
   前記横エッジ特徴量の画面縦方向分布で縦エッジ特徴量の縦方向分布を除することによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布で前記横エッジ特徴量の横方向分布を除することによって前記横エッジ特徴量を強調するエッジ特徴量強調手段と、
   前記強調されたエッジ特徴量を用いて先行車を認識する車両認識手段とを具備することを特徴とする車両認識装置。
3. 前記参照領域規定手段は、微分画像内において自車の走行領域を検出する手段と、該走行領域内において横エッジに基づき車両候補位置を検出する手段と、該車両候補位置の近傍において参照領域を規定する手段とを含むことを特徴とする請求項１または２記載の車両認識装置。
4. 前記横エッジ特徴量算出手段は、前記参照領域内で画面下方向に横エッジ強度の濃度投影値を算出するものであることを特徴とする請求項１または２記載の車両認識装置。
5. 前記横エッジ特徴量算出手段は、前記参照領域内で画面同列上に所定の範囲内の横エッジ強度値を有する画素数を計数するものであることを特徴とする請求項１または２記載の車両認識装置。
6. 前記横エッジ特徴量算出手段は、前記参照領域内で同列内横エッジ画像のエッジ強度平均値を算出するものであることを特徴とする請求項１または２記載の車両認識装置。
7. 前記縦エッジ特徴量算出手段は、前記参照領域内で画面下方向に縦エッジ強度の濃度投影値を算出するものであることを特徴とする請求項１、２、３、４、５または６記載の車両認識装置。
8. 前記縦エッジ特徴量算出手段は、前記参照領域内で同列上に所定の範囲内の縦エッジ強度値を有する画素数を計数するものであることを特徴とする請求項１、２、３、４、５または６記載の車両認識装置。
9. 前記縦エッジ特徴量算出手段は、前記参照領域内で同列内縦エッジ画像のエッジ強度平均値を算出するものであることを特徴とする請求項１、２、３、４、５または６記載の車両認識装置。
10. 前記車両認識手段は、前記強調された縦エッジ特徴量から車両側面候補座標を推定する手段と、推定された車両側面候補座標において縦エッジ画像に基づいた車両最下端候補座標を算出し、算出された車両最下端候補座標をもとに車両を認識する手段とを含むことを特徴とする請求項１、２、３、４、５、６、７、８または９記載の車両認識装置。
11. 前記車両認識手段は、前記強調された縦エッジ特徴量から車両側面候補座標を推定する手段と、推定された車両側面候補座標より画面内車両幅を算出する手段と、算出された車両幅と、車両側面候補位置が走行路内か否かの判別によって車両を認識する手段とを含むことを特徴とする請求項１、２、３、４、５、６、７、８または９記載の車両認識装置。
12. 車両に搭載されてその進行方向を撮影し、原画像データを生成する撮像手段と、
    前記生成された原画像データを微分することにより微分画像を生成する微分画像生成手段と、
    前記微分画像において、参照領域を規定する参照領域規定手段と、
    前記参照領域において、横エッジ特徴量を算出する横エッジ特徴量算出手段と、
    前記参照領域において、縦エッジ特徴量を算出する縦エッジ特徴量算出手段と、
    前記横エッジ特徴量の画面縦方向分布をその値の最大値が最小となるように反転させたものを、縦エッジ特徴量の画面縦方向分布に乗ずることによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布をその値の最大値が最小となるように反転させたものを、横エッジ特徴量の画面横方向分布に乗ずることによって前記横エッジ特徴量を強調するエッジ特徴量強調手段と、
    前記強調されたエッジ特徴量を用いて先行車を認識する車両認識手段と、
    前方障害物までの距離を測定する測距手段と、
    前記車両認識結果を用いて、前記測距手段の測距データは自車前方を走行する車両までの距離値であるかどうかを確認する車間距離判定手段と、
    前記確認された距離データに基づいて自車の先行車に対する接近度を判定する接近度判定手段と、
    前記判定結果に基づき運転者に注意を促す報知手段とを具備することを特徴とする車両接近報知装置。
13. 車両に搭載されてその進行方向を撮影し、原画像データを生成する撮像手段と、
    前記生成された原画像データを微分することにより微分画像を生成する微分画像生成手段と、
    前記微分画像において、参照領域を規定する参照領域規定手段と、
    前記参照領域において、横エッジ特徴量を算出する横エッジ特徴量算出手段と、
    前記参照領域において、縦エッジ特徴量を算出する縦エッジ特徴量算出手段と、
    前記横エッジ特徴量の画面縦方向分布で縦エッジ特徴量の縦方向分布を除することによって前記縦エッジ特徴量を強調する、もしくは縦エッジ特徴量の画面横方向分布で前記横エッジ特徴量の横方向分布を除することによって前記横エッジ特徴量を強調するエッジ特徴量強調手段と、
    前記強調されたエッジ特徴量を用いて先行車を認識する車両認識手段と、
    前方障害物までの距離を測定する測距手段と、
    前記車両認識結果を用いて、前記測距手段の測距データは自車前方を走行する車両までの距離値であるかどうかを確認する車間距離判定手段と、
    前記確認された距離データに基づいて自車の先行車に対する接近度を判定する接近度判定手段と、
    前記判定結果に基づき運転者に注意を促す報知手段とを具備することを特徴とする車両接近報知装置。
14. 前記測距手段は、互いに異なる指向性を有する複数の測距センサからなるものであることを特徴とする請求項１２または１３記載の車両接近報知装置。

Images