JP2013020417A - 車両用外界認識装置及びそれを用いた車両制御システム - Google Patents

Abstract

【課題】例えば薄暮のように昼間と照明条件が異なるシーンにおいて先行車両を正しく検出することができる車両用外界認識装置を提供する。
【解決手段】車両外形を検出するとともに、車両尾灯を検出し、車両外形と車両尾灯が同期して動いているものを車両と判定する。
【選択図】図１

Description

本発明は、車両用外界認識装置及びそれを用いた車両制御システムに係り、例えば、車載カメラ（撮像装置）からの画像情報に基づいて自車前方の車両や歩行者を検知する車両用外界認識装置及びそれを用いた車両制御システムに関する。

交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車前方の先行車と衝突する可能性が生じたときには警報によって運転者に注意を促し、衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。

自車前方の先行車を検知する方法として、１つは、カメラで自車前方を撮像し、撮像された画像から、車両の形状パターンをパターンマッチング処理により検出する方法が知られている。パターンマッチング処理は一般に処理負荷が大きいため、処理負荷を軽くするために、パターンマッチング処理の前にエッジ解析等を行い、車両が存在しそうな領域を絞り込んでから、パターンマッチング処理を行うのが一般的である。例えば、特許文献１には画像のエッジから車両候補を検出し、パターンマッチングによって前方車両であることを判別する方法が記載されている。

一方、自車前方の先行車を検知するもう１つの方法として、先行車のテールライトの特徴である赤色領域を抽出し、赤色のペアを用いて車両を検出する方法が知られている。例えば、特許文献２には画像から所定閾値以上の輝度信号を抽出して、その位置関係等から先行車のテールライトを検出する方法が記載されている。

以上挙げた車両検出の技術は、前者は警報・ブレーキ等の制御を行うことを目的とするため、実際には衝突の危険がないシーンでの誤検知をできるだけ低減する必要がある。一方、後者は夜間に自車の視認性を高めるために自車灯火装置の自動調整を行うことを目的とするため、前者より誤検知が多い。

特開２００６−１８２０８６号公報 特開２００６−２４４３３１号公報

しかしながら、上記方法においては、薄暮、トンネル内、夜間の市街地のように薄暗く、照明条件が昼間と異なる場所で警報・ブレーキ等の制御を行うことは難しい。

前者の技術は昼間と車両のパターンが異なるため、昼間でチューニングしたパターンマッチング方式では検知率が低い。一方、昼間の車両パターンも薄暗いシーンの車両パターンも検出できるように調整すると、昼間の車両パターンの検出精度が低下してしまう。

一方、後者は薄暗いシーンでライトを点灯している車両を検出できるが、前述したように誤検知が多いため、警報・ブレーキ等の制御に使用することは難しい。

本発明は、上記事情に鑑みてなされてもので、その目的とするところは、例えば薄暮のように昼間と照明条件が異なるシーンにおいて先行車両を正しく検出することのできる車両用外界認識装置を提供することにある。

上記目的を達成すべく、本発明に係る車両用外界認識装置は、基本的には、自車周辺を撮影した画像を取得する画像取得手段と、前記画像から画像の勾配情報を用いて車両候補領域を検出する第一の車両候補領域検出手段と、前記画像から画像の色情報を用いて車両候補領域を検出する第二の車両候補領域検出手段と、前記第一の車両候補領域と前記第二の車両候補領域を用いて車両の有無を判定する車両判定手段と、を有し、前記車両判定手段は、前記第一の車両候補領域と前記第二の車両候補領域が重複し同期して動いている領域を車両と判定することを特徴としている。

本発明によれば、薄暮、トンネル内、夜間の市街地のように薄暗く、照明条件が昼間と異なる場所において誤検知の少ない車両検出結果を得ることができ、このようなシーンにおいても警報・ブレーキ等の制御を適正に行うことが可能となる。
上記した以外の、課題、構成、及び効果は、以下の実施形態により明らかにされる。

本発明に係る車両用外界認識装置の第１実施例を示す機能ブロック図。 第１実施例における車両外形検出手段の説明に供される模式図。 第１実施例における車両尾灯検出手段の説明に供される模式図。 第１実施例における車両パターン検出手段の説明に供される模式図。 第１実施例における第二の車両判定手段が実行する処理手順の一例を示すフローチャート。 第１実施例における判定選択手段で用いるテーブルの一例を示す図。 本発明に係る車両用外界認識装置の第２実施例を示す機能ブロック図。 第２実施例における動き検出手段が実行する処理手順の一例を示すフローチャート。 図８のフローチャートにおけるステップ８０３の動き検出処理部分の詳細構成例を示すフローチャート。 第２実施例における第一の物体判定手段の処理手順の一例を示すフローチャート。 本発明に係る車両用外界認識装置の第３実施例を示す機能ブロック図。 本発明の車両用外界認識装置を用いた車両制御システムの処理手順の一例を示すフローチャート。 本発明の車両用外界認識装置を用いた車両制御システムの処理手順の他の例を示すフローチャート。 本発明の車両用外界認識装置を用いた車両制御システムの危険度の算出の説明に供される模式図。 本発明の車両用外界認識装置を用いた配光制御システムの説明に供される模式図。

以下、本発明の実施形態を図面を参照しながら説明する。
図１は、本発明に係る車両用外界認識装置の一実施形態（第１実施例）を示す機能ブロック図である。

＜第１実施例＞
図示実施形態の車両用外界認識装置１０００は、自動車に搭載されるカメラ１０１０内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から車両を検知するためのものであり、本実施形態では、自車の前方を撮像した画像内から先行車両を検知するように構成されている。

車両用外界認識装置１０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによってその主要部が構成されており、所定の処理及び手順がプログラミングされて、予め定められた周期で繰り返し処理を実行する。

第１実施例の車両用外界認識装置１０００は、図１に示すように、画像取得手段１０１１と、車両外形検出手段１０２１と、車両尾灯検出手段１０３１と、車両パターン検出手段１０４１と、第一の車両判定手段１０５１と、第二の車両判定手段１０６１と、判定選択手段１０７１と、第一の出力手段１０８１と、第二の出力手段１０９１とを有し、さらに実施の形態によって、外界判定手段１１１１とを有する。

画像取得手段１０１１は、自車の前方を撮像可能な位置に取り付けられたカメラ１０１０から、自車前方を撮影した画像データを取り込み、画像ＩＭＧＳＲＣ［ｃ］［ｘ］［ｙ］としてＲＡＭに書き込む。なお、画像ＩＭＧＳＲＣ［ｃ］［ｘ］［ｙ］は２次元配列であり、ｃは色情報、ｘ、ｙはそれぞれ画像の座標を示す。色情報の形式はＹＵＶ形式でもＲＧＢ形式等どのような色形式でも良い。例えばＹＵＶ形式であればｃ＝０でＹ画像、ｃ＝１でＵＶ画像となり、例えばＲＧＢ形式であればｃ＝０が赤成分、ｃ＝１が緑成分、ｃ＝２が青成分となる。以下、本実施例では上述のＹＵＶ形式を用いる。

車両外形検出手段１０２１は、画像ＩＭＧＳＲＣ［ｃ］［ｘ］［ｙ］内から車両外形ＲＯＩ１［ｉ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を検出する。ここで、ｉは複数の外形を検出した場合のＩＤ番号である。処理の詳細については後述する。

車両尾灯検出手段１０３１は、画像ＩＭＧＳＲＣ［ｃ］［ｘ］［ｙ］内から車両尾灯ＲＯＩ２［ｊ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を検出する。ここで、ｊは複数の尾灯を検出した場合のＩＤ番号である。処理の詳細については後述する。

車両パターン検出手段１０４１は、車両外形ＲＯＩ１［ｉ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）に対しパターン認識を行い、その結果を第一の車両判定手段１０５１で用いる。本実施例では、車両の背面パターンの有無を判定するものとする。パターン認識処理の詳細については後述する。

第一の車両判定手段１０５１は、車両パターン検出手段１０４１の結果を用いて、第一の車両候補ＶＣＬ１［ｋ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を出力する。ここで、ｋは複数の車両を検出した場合のＩＤ番号である。

第二の車両判定手段１０６１は、車両外形ＲＯＩ１［ｉ］、車両尾灯ＲＯＩ２［ｊ］のうち重複している領域に対して処理を行い、第二の車両候補ＶＣＬ２［ｌ］を出力する。ここで、ｌは複数の車両を検出した場合のＩＤ番号である。処理の詳細については後述する。

判定選択手段１０７１は、第一の車両候補ＶＣＬ１［ｋ］、第二の車両候補ＶＣＬ２［ｌ］に応じて、検出車両ＶＣＬ［ｍ］を出力する。実施の形態によって、外界判定手段１１１１に応じて処理を変更する。ここで、ｍは複数の車両を検出した場合のＩＤ番号である。処理の詳細は後述する。

第一の出力手段１０８１は、検出車両ＶＣＬ［ｍ］の情報を他の処理や他の装置へ向けて出力する。出力は、画像上の座標でもよいし、カメラ幾何モデルを用いて算出した車両の物理的位置（距離、横位置）でもよい。出力は、車両用外界認識装置１０００から信号線により直接出力してもよいし、ＬＡＮ（Local Area Network）を用いた通信を行うことによって出力してもよい。

第二の出力手段１０９１は、車両尾灯ＲＯＩ２［ｊ］の情報を他の処理や他の装置へ向けて出力する。出力は、画像上の座標でもよいし、カメラ幾何モデルを用いて算出した車両の物理的位置（距離、横位置）でもよい。出力は、車両用外界認識装置１０００から信号線により直接出力してもよいし、ＬＡＮを用いた通信を行うことによって出力してもよい。

実施の形態によって存在する外界判定手段１１１１は、自車周辺の照度を測定する。照度の測定には画像ＩＭＧＳＲＣを処理して測定してもよいし、自車に装備されている他のセンサから受信してもよい。

画像ＩＭＧＳＲＣを処理する場合には、例えば以下のように処理を行う。まず、事前にカメラを設置した際の角度等のパラメータと、カメラ幾何より、カメラ画像中に路面が写っている領域を設定する。そして、設定した領域内の輝度の平均値を求めることで、その値が低い場合には周囲は暗く、値が大きい場合には周囲は明るいことがわかる。

他のセンサから受信する場合は、車両用外界認識装置１０００に信号を直接入力してもよいし、ＬＡＮを用いた通信を行うことによって取得してもよい。外界判定手段１１１１の結果は判定選択手段１０７１にて用いられる。

［車両外形検出手段 １０２１］
つぎに、図２を用いて、車両外形検出手段１０２１における処理の内容について説明する。図２は、車両外形検出手段１０２１が実行する処理の一例を示す。

車両外形を検出する手法は、車両両端の縦方向のエッジを検出する方法や、車両の水平エッジを検出する方法などが知られている。

図２は、画像データの中から、車両候補領域を特定する方法を説明するための図である。図２（ａ）は、画像取得手段１０１１にて取得した画像ＩＭＧＳＲＣ［ｃ］［ｘ］［ｙ］のＹ成分を示す。画像データ中の車両は、車両の両端を左右辺、ルーフを上辺、影あるいはバンパーの線を下辺としたほぼ矩形になる。

そこで、車両外形検出手段１０２１は、まず矩形の縦線を成す車両両端の縦エッジを検出する。具体的には、図２（ｂ）に示すように、濃淡画像から縦方向のエッジのみを検出する。つぎに、縦エッジの分布を見るため、図２（ｃ）に示すように、車両が存在する可能性のあるウィンドウ領域２０１を定め、エッジのＸ軸投影を行い、ヒストグラム２０２を得る。車両両端には縦エッジが密集しているはずであるので、車両外形検出手段１０２１は、図２（ｄ）に示すように、ヒストグラム２０２の同程度の高さのピーク２点を車両両端２０３ａ，ｂと特定する。

つぎに、車両外形検出手段１０２１は、図２（ｅ）に示すように、車両両端２０３ａ，ｂの間で、横エッジが連続している部分を画面下方からサーチし、その部分を車両下端２０４とする。

さらに、車両の幅と高さの比は、ある程度決まっているので、車両の下端２０４から、所定距離（例えば、両端の距離の０．８倍の距離）だけ上に、上端２０５を定める。こうして、車両外形検出手段１０２１は、図２（ｆ）に示すように車両候補領域２０６を定める。

検出した車両外形は、車両外形ＲＯＩ１［ｉ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）として、画像上の上下左右端の座標値を記憶しておく。

［ 車両尾灯検出手段１０３１］
つぎに、図３を用いて、車両尾灯検出手段１０３１における処理の内容について説明する。図３は、車両尾灯検出手段１０３１が実行する処理の一例を示す。

車両尾灯検出手段１０３１は、まず画像取得手段１０１１にて取得した画像ＩＭＧＳＲＣ［ｃ］［ｘ］［ｙ］のＵＶ成分を用いて画像中の赤色領域を抽出した２値画像を生成する。これは、ＩＭＧＳＲＣ［ｃ］［ｘ］［ｙ］の１画素１画素を探索し、その画素が赤色領域の条件を満たしていれば１、そうでなければ０の値を入れた画像である。赤色領域の条件は、事前にカメラ１０１０にて様々な環境下で様々な車両の尾灯を撮影して手動で尾灯領域のＵ成分、Ｖ成分の分布を求めておき、その分布を用いる。具体的な方法は、事前に求めたＵＶ空間中の分布の平均・分散を用いてマハラノビス距離を用いたり、分布が含まれるようにＵの範囲、Ｖの範囲を求めて閾値処理を行ったり等の方法を用いる。２値画像を生成した後は、ラベリング処理を行い、領域を抽出する。抽出した結果を図３（ｂ）に示す。抽出した結果、３０１１、３０１２のように、車両の尾灯以外の領域が抽出されることが多い。

つぎに、抽出した領域の関係を用いて車両尾灯を選別する。車両の尾灯は車両に対して左右対称に取り付けられている。よって、抽出した領域の高さや大きさが類似した領域のペアが車両尾灯であると考えることができる。図３（ｃ）は、図３（ｂ）の画像中でＹ座標が同じ高さであり、大きさが同じものをペアリングした結果であり、３０２１、３０２２のペアが抽出されている。

検出した車両尾灯は、車両尾灯ＲＯＩ２［ｊ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）として、画像上の上下左右端の座標値を記憶しておく。

［ 車両パターン検出手段１０４１］
つぎに、図４を用いて、車両パターン検出手段１０４１が実行する処理の内容について説明する。図４は、車両パターン検出手段１０４１が実行する処理の一例を示す。

本処理は、車両外形ＲＯＩ１［ｉ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）一つ一つについて処理を行う。

まず、ある車両外形ＲＯＩ１［ｉ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）について、画像ＩＭＧＳＲＣ［ｃ］［ｘ］［ｙ］からその領域の画像を切出す。切出す画像はＹ画像ＵＶ画像両方でも良いし、Ｙ画像のみでも良い。本実施例ではＹ画像のみを切出した場合を説明する。

つぎに、その画像を所定の大きさに縮小し、縮小画像４０１を生成する。本実施例では、幅１６画素、高さ１２画素の画像へ縮小している。
そして、縮小した画像の画素をラスタスキャンして、１次元ベクトル４０２を生成し、それをニューラルネットワーク４０３への入力とする。

ニューラルネットワーク４０３は人間の脳のネットワークを模倣したものであり、複数のノードで構成される入力層４０３１、中間層４０３３、出力層４０３５が存在し、さらに入力層４０３１の各ノードと中間層４０３２の各ノードの間には重み係数が、中間層４０３２の各ノードと出力層４０３５の各ノードの間にも重み係数がそれぞれ存在する。ニューラルネットワークの出力は出力層のノードの１つの値であり、この値は、このノードに接続されているすべての中間層４０３３のノードの値とその重み係数の積和演算により得られる。さらに、中間層４０３３の各ノードの値は、各ノードに接続されているすべての入力層のノードの値とその重み係数の積和演算により得られる。

いま、車両パターン検出手段１０４１では、１次元ベクトル４０２をそのまま入力層へ接続しているため、出力層の各ノードの値は、上述の処理により算出することができる。その結果、出力層の所定のノードの値が閾値を超えていれば車両パターンが存在すると判定する。

出力層の所定のノードは事前にプログラムを組む際に決定しておく必要があり、入力ノードに車両のパターンが入ってきた場合にはその出力層のノードの出力が閾値以上になり、車両以外のパターンが入ってきた場合には出力が閾値以下となるように、各ノード間の重み係数は予め調整しておく必要がある。調整の方法は公知技術であるバックプロパゲーション法などを用いればよい。

検出結果は、第一の車両判定手段１０５１へ送られ、車両外形ＲＯＩ１［ｉ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）のうち、車両と判定された領域が車両候補ＶＣＬ１［ｋ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）として登録される。

［第二の車両判定手段１０６１］
つぎに、図５を用いて、第二の車両判定手段１０６１が実行する処理の内容について説明する。図５は、車両判定手段１０６１が実行する処理手順の一例を示すフローチャートである。

まず、ステップＳ５０１にて、車両外形ＲＯＩ１［ｉ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を１つ選択する。

つぎのステップＳ５０２にて、車両尾灯ＲＯＩ２［ｊ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を１つ選択する。

そして、ステップＳ５０３において、車両外形ＲＯＩ１［ｉ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）と車両尾灯ＲＯＩ２［ｊ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）が重複しているかどうかを判定する。重複している場合にはステップＳ５０４へ、重複していない場合にはステップＳ５０８へ移動する。

重複の判定には、例えば画像上の上下左右端ＳＸ，ＳＹ，ＥＸ，ＥＹを用いてオーバーラップがないかを確認する方法がある。

ステップＳ５０４では、ＲＯＩ１［ｉ］の動きを検出する。動きは、１フレーム前の外形検出結果を用いて、現在の外形に最も近いものからの変化量を用いて求めてもよい。また、車両外形ＲＯＩ１［ｉ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）内でオプティカルフローを算出し、そのフローの平均値から算出してもよい。こうして、ＲＯＩ１［ｉ］の動きベクトル（ＶＸ１，ＶＹ１）を算出する。

ステップＳ５０５では、ＲＯＩ２［ｊ］の動きを検出する。動きは、１フレーム前の尾灯検出結果を用いて、現在の尾灯に最も近いものからの変化量を用いて求めてもよい。また、車両尾灯ＲＯＩ２［ｊ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）内でオプティカルフローを算出し、そのフローの平均値から算出してもよい。こうして、ＲＯＩ２［ｉ］の動きベクトル（ＶＸ２，ＶＹ２）を算出する。

ステップＳ５０６で動きの方向と大きさを用いて、同一物体であるかを判定する。一致した場合にはステップＳ５０７へ移動し、一致しなかった場合にはステップＳ５０８へ移動する。判定には、例えばＲＯＩ１［ｉ］の動きベクトル（ＶＸ１，ＶＹ１）、ＲＯＩ２［ｊ］の動きベクトル（ＶＸ２，ＶＹ２）より、（ＶＸ１−ＶＸ２）＾２＋（ＶＹ１−ＶＹ２）＾２ が所定閾値以下であるか否かを用いて判定できる。

ステップＳ５０７では、検出した領域を第二の車両領域ＶＣＬ２［ｌ］として新規登録する。

ステップＳ５０８では、ＲＯＩ２［ｊ］をすべて確認したかを判定し、すべて確認した場合にはＳ５０９へ、そうでなければＳ５０２へ戻る。

ステップＳ５０９は、ＲＯＩ１［ｉ］をすべて確認したかを判定し、すべて確認した場合には処理を終了し、そうでなければＳ５０１へ戻る。

［判定選択手段１０７１］
つぎに、判定選択手段１０７１が実行する処理の内容について説明する。
以下、判定選択手段１０７１で外界判定手段１１１１を用いる場合と用いない場合の２通りについて説明する。まず、外界判定手段１１１１を用いる場合について説明する。

外界判定手段１１１１から得られるセンサ入力や前述の画像から測定した値を用いて、自車周囲の照度を推定する。推定は、予め様々な環境下で外界判定手段１１１１の出力を測定しておき、実際の照度とそのときの外界判定手段１１１１の出力を対応付けるテーブルを作成しておくことにより、外界判定手段１１１１の出力から実際の照度を推定することができる。

つぎに、照度に応じて、第一の車両候補ＶＣＬ１［ｋ］、第二の車両候補ＶＣＬ２［ｌ］の結果をどう使用するかを決定する。これも、図６に示すように、様々な照度で実際の環境を確認しながらテーブルを作成しておく。

つぎに、外界判定手段１１１１を用いない場合について説明する。
この場合は、過去数分のデータを積算した車両外形ＲＯＩ１［ｉ］の総数Ｉ、車両尾灯ＲＯＩ２［ｊ］の総数Ｊ、第一の車両候補ＶＣＬ1［ｋ］の総数Ｋ、第二の車両候補ＶＣＬ２［ｌ］の総数Ｌを用いて、現在の状況を推定する。

例えば、Ｉ＜＜Ｊであれば、夜間、Ｉ＞＞Ｊであれば、昼間、Ｉ＞Ｋであれば、薄暮と推測することができる。

このようにして推測した状況から、図６に示される如くのテーブルを用いて、第一の車両候補ＶＣＬ１［ｋ］、第二の車両候補ＶＣＬ２［ｌ］の結果をどう使用するかを決定する。
ここで選択されたほうを、車両ＶＣＬ［ｍ］として出力する。

以上説明したように、本発明実施例を用いることにより、昼間、夜間の検出結果はそのままに、従来の方式では対応できない薄暮のようなシーンにおいても自動的に最適な検出結果へ切り替えることができる。

よって、薄暮のような、通常とは異なる照明条件のシーンにおいて、警報・制御に適用可能な検出結果を出力することができ、薄暮でのシステムの適用範囲を拡大することができる。

＜第２実施例＞
つぎに、本発明の車両用外界認識装置の第２実施例について、図７を用いて説明する。図７は、第２実施例の車両用外界認識装置２０００を示す機能ブロック図である。なお、以下の説明では、上述した第１実施例の車両用外界認識装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付し説明を省略する。

車両用外界認識装置２０００は、自動車に搭載されるカメラ１０１０内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から車両を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から先行車両を検知するように構成されている。

車両用外界認識装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによってその主要部が構成されており、所定の処理がプログラミングされて、予め定められた周期で繰り返し処理を実行する。車両用外界認識装置２０００は、図７に示すように、画像取得手段１０１１と、車両外形検出手段１０２１と、車両尾灯検出手段１０３１と、動き検出手段２０４１と、第一の車両判定手段２０５１と、第二の車両判定手段１０６１と、判定選択手段１０７１と、第一の出力手段１０８１と、第二の出力手段１０９１とを有し、さらに実施の形態によって、外界判定手段１１１１とを有する。

［動き検出手段２０４１］
動き検出手段２０４１は、画像取得手段１０１１より取得した画像ＩＭＧＳＲＣ［ｃ］［ｘ］［ｙ］と、１フレーム前の画像を用いて動きを解析し、背景と異なる動きをする領域を抽出し、候補領域ＲＯＩ３［ｎ］を出力する。

以下、図８を用いて、動き検出手段２０４１が実行する処理の内容について説明する。図８は、動き検出手段２０４１が実行する処理手順の一例を示すフローチャートである。

まず、ステップＳ８０１にて、一回目の処理か否かを判定する。一回目の処理であれば、動きを検出するための過去画像が存在しないため、ステップＳ８０６へ移動する。一回目の処理でなければ、ステップＳ８０２へ移動する。

つぎに、ステップＳ８０２にて、前の処理で保存した１サンプル前の過去画像ＩＭＧＯＬＤ［ｃ］［ｘ］［ｙ］を読み込む。

そして、ステップＳ８０３にて、画像ＩＭＧＳＲＣ［ｃ］［ｘ］［ｙ］と過去画像ＩＭＧＯＬＤ［ｃ］［ｘ］［ｙ］を用いて動きベクトルを算出する。動きベクトルはある１枚の画像の画素がもう１枚の画像のどの位置へ移動したか算出する処理であり、勾配法とブロックマッチング法が知られている。本実施例では、以下にブロックマッチング法の算出方法について、図９を用いて説明する。

まず、ステップＳ９０１にて、過去画像ＩＭＧＯＬＤ［ｃ］［ｘ］［ｙ］を小領域ＰＴ［ｐ］に分割する。

つぎに、ステップＳ９０２にて、小領域ＰＴ［ｐ］を１つ選択し、その中の画像パターンをテンプレートとして記憶する。

そして、ステップＳ９０３にて、小領域ＰＴ［ｐ］の位置に応じて、画像ＩＭＧＳＲＣ［ｃ］［ｘ］［ｙ］内に探索範囲ＳＣを設定する。探索範囲ＳＣは、例えば小領域ＰＴ［ｐ］と同じ位置を中心に、予め設定した所定値分広げた範囲に設定したり、小領域ＰＴ［ｐ］と同じ位置から自車の車速を用いて動きを予測したポイントを中心に予め設定した所定値分広げた範囲に設定したりする。

つぎに、ステップＳ９０４にて、小領域ＰＴ［ｐ］と同じ大きさの参照小領域ＲＦ［ｑ］を設定する。参照小領域ＲＦ［ｑ］は、例えば探索範囲ＳＣ内に重複させながら敷き詰めるように配置したり、間引いて配置したりする。

そして、ステップＳ９０５にて、１つの小領域ＰＴ［ｐ］と複数の参照小領域ＲＦ［ｑ］の組み合わせに対し、画像の各画素間の差分の絶対値の累計を算出し、その値が最少となるＲＦＭＩＮ［ｑ］を求める。

つぎに、ステップＳ９０６にて、ＰＴ［ｐ］と参照小領域ＲＦＭＩＮ［ｑ］の位置の差分から、動きベクトル（ＶＸ［ｐ］，ＶＹ［ｐ］）を算出する。

ステップＳ９０７にて、すべての小領域ＰＴ［ｐ］に対して処理を行ったかを判定し、処理している場合には処理を終了し、処理が終わっていない場合にはステップＳ９０１へ移動する。

以上の処理により、各小領域ＰＴ［ｐ］の画像上での動きベクトル（ＶＸ［ｐ］，ＶＹ［ｐ］）を算出することができる。

図８の説明へ戻る。上述の処理により、ステップＳ８０３にて動きベクトルを算出した後、ステップＳ８０４にて、背景と異なる動きを持つ小領域を抽出する。自車の車速、操舵角、ヨーレートを用いて車両の動きを予測し、かつ画像上に移るものがすべて路面であると仮定すると、画像上の１点が次のフレームでどこへ移動するかが予測できる。よって、各小領域ＰＴ［ｐ］が平面であったと仮定し、その移動量（ＶＸＥ［ｐ］，ＶＹＥ［ｐ］）を予測し、その移動量と画像から観測した動きベクトル（ＶＸ［ｐ］，ＶＹ［ｐ］）との差が大きい領域を抽出する。例えば（ＶＸＥ［ｐ］-ＶＸ［ｐ］）＾２＋（ＶＹＥ［ｐ］-ＶＹ［ｐ］）＾２が閾値ＴＨを超えた場合などを条件とする。

つぎに、ステップＳ８０５にて、抽出した小領域の位置、動きの向き、大きさを用いてグルーピングし、候補領域ＲＯＩ３［ｎ］とする。グルーピングは、例えば、各小領域に対し、隣接する小領域が存在し、かつ、動きベクトルの向き・大きさの差が所定の閾値以内であるものを探索することにより行う。

［第一の車両判定手段２０５１］
つぎに、第一の車両判定手段２０５１が実行する処理について以下説明する。
まず、図１０を用いて、第一の車両判定手段２０５１における処理の内容について説明する。

図１０は、第一の車両判定手段２０５１実行する処理手順の一例を示すフローチャートである。

まず、ステップＳ１０１にて、車両外形ＲＯＩ１［ｉ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を１つ選択する。

つぎに、ステップＳ１０２にて、候補領域ＲＯＩ３［ｎ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を１つ選択する。

そして、ステップＳ１０３において、車両外形ＲＯＩ１［ｉ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）と候補領域ＲＯＩ３［ｎ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）が重複しているかどうかを判断する。重複している場合にはステップＳ１０４へ、重複していない場合にはステップＳ１０８へ進む。重複の判定には、例えば画像上の上下左右端ＳＸ，ＳＹ，ＥＸ，ＥＹを用いて、所定の面積以上オーバーラップしているか否かで判定する。

ステップＳ１０４では、ＲＯＩ１［ｉ］の動きを検出する。動きは、１フレーム前の外形検出結果を用いて、現在の外形に最も近いものからの変化量を用いて求めてもよい。また、車両外形ＲＯＩ１［ｉ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）内でオプティカルフローを算出し、そのフローの平均値から算出してもよい。こうして、ＲＯＩ１［ｉ］の動きベクトル（ＶＸ１，ＶＹ１）を算出する。

ステップＳ１０５では、候補領域ＲＯＩ３［ｎ］の動きを検出する。動きは、１フレーム前の動き検出結果を用いて、現在の動き領域に最も近いものからの変化量を用いて求めてもよい。また、候補領域ＲＯＩ３［ｎ］（ＳＸ，ＳＹ，ＥＸ，ＥＹ）はオプティカルフローより求められているため、そのフローの平均値から算出してもよい。こうして、候補領域ＲＯＩ３［ｎ］の動きベクトル（ＶＸ３，ＶＹ３）を算出する。

ステップＳ１０６で動きの方向と大きさを用いて、同一物体であるかを判定する。一致した場合にはステップＳ１０７へ移動し、一致しなかった場合にはステップＳ１０８へ移動する。判定には、例えばＲＯＩ１［ｉ］の動きベクトル（ＶＸ１，ＶＹ１）、ＲＯＩ３［ｎ］の動きベクトル（ＶＸ３，ＶＹ３）より、（ＶＸ１−ＶＸ３）＾２＋（ＶＹ１−ＶＹ３）＾２が所定閾値以下であるか否かを用いて判定できる。

ステップＳ１０７では、検出した領域を第一の車両領域ＶＣＬ１［ｌ］として新規登録する。

ステップＳ１０８では、ＲＯＩ３［ｎ］をすべて確認したかを判定し、すべて確認した場合にはＳ１０９へ、そうでなければＳ１０２へ戻る。

ステップＳ１０９は、ＲＯＩ１［ｉ］をすべて確認したかを判定し、すべて確認した場合には処理を終了し、そうでなければＳ１０１へ戻る。

＜第３実施例＞
つぎに、本発明の車両用外界認識装置の第３実施例について、図１１を用いて説明する。図１１は、第３実施例の車両用外界認識装置３０００を示す機能ブロック図である。なお、以下の説明では、上述した第１、第２実施例の車両用外界認識装置１０００、２０００と異なる箇所のみ詳述し、同様の箇所には同一の符号を付して説明を省略する。

車両用外界認識装置３０００は、自動車に搭載されるカメラ１０１０内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から車両を検知するためのものであり、本実施例では、自車の前方を撮像した画像内から先行車両を検知するように構成されている。

車両用外界認識装置３０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによってその主要部が構成されており、所定の処理がプログラミングされて、予め定められた周期で繰り返し処理を実行する。車両用外界認識装置３０００は、図１１に示すように、画像取得手段１０１１と、車両外形検出手段１０２１と、車両尾灯検出手段１０３１と、車両パターン検出手段３０４１と、第一の車両判定手段２０５１と、第二の車両判定手段１０６１と、判定選択手段１０７１と、第一の出力手段１０８１と、第二の出力手段１０９１とを有し、さらに実施の形態によって、外界判定手段１１１１とを有する。

［車両パターン検出手段３０４１］
車両パターン検出手段３０４１は、画像取得手段１０１１より取得した画像ＩＭＧＳＲＣ［ｃ］［ｘ］［ｙ］から、パターンマッチ処理により、候補領域ＲＯＩ３［ｎ］を出力する。

図４で説明した車両パターン検出処理は、車両外形ＲＯＩ１［ｉ］に対して行っているが、本実施例では画面全体に対して、画像上の座標（ｘ、ｙ）および大きさ（ｓ）を変えながら繰り返し処理を行う。処理は、例えば画面全体をくまなく探索したり、カメラ幾何モデルを用いて大きさが小さくなるほど消失点近傍のみを探索したり、また、自車の車速、操舵角、ヨーレートを用いて処理領域を制限したりする。

なお、この結果得られた候補領域ＲＯＩ３［ｎ］と車両外形ＲＯＩ１［ｉ］を用いる第一の車両判定手段の処理は、前述の第一の車両判定手段２０５１とほぼ同一であるため説明を割愛する。

＜車両制御システム＞
つぎに、図１２から図１４を用いて、前述の実施例で示した車両用外界認識装置を用いた車両制御システムの一例について説明する。

図１２は、車両制御システムの基本動作の一例を示すフローチャートである。
まず、ステップＳ１２１にて、前述の車両用外界認識装置の第一の出力手段１０８１より、第一の物体情報を取得する。本例では、車両用外界認識装置で検出した車両の画像情報から、カメラ幾何を用いて算出した、車両との距離ＰＹ１［ａ］、横位置ＰＸ１[ａ]を用いる。

同様に、ステップＳ１２２にて、前述の車両用外界認識装置の第二の出力手段１０９１より、第二の物体情報を取得する。本実施例では、車両用外界認識装置で検出した車両の画像情報から、カメラ幾何を用いて算出した、車両との距離ＰＹ２［ｂ］、横位置ＰＸ２[ｂ]を用いる。
つぎに、ステップＳ１２３にて、第一の物体情報を用いて、プリクラッシュ・セーフティ・システムを動作させる（警報・制御処理）。動作の詳細については後述する。

そして、ステップＳ１２４にて、第二の物体情報を用いて、配光制御処理を行う。動作の詳細については後述する。

［警報・制御処理］
以下、図１３，１４を用いて、前述の実施例より判定した先行車に応じて警報を出力する、あるいは自動的にブレーキを制御するといった車両制御システムを説明する。

図１３は、プリクラッシュ・セーフティ・システムの処理手順を示すフローチャートである。

最初に、ステップＳ１３１において、障害物情報（ＰＹ１［ａ］、ＰＸ１［ａ］）を読み込む。

つぎに、ステップＳ１３２において、検知された各物体の衝突予測時間ＴＴＣ［ａ］を式（１）を用いて演算する。ここで、相対速度ＶＹ１［ａ］は、物体の相対距離ＰＹ１［ａ］を擬似微分することによって求める。
ＴＴＣ［ａ］＝ＰＹ１［ａ］÷ＶＹ１［ａ］・・・・・（１）
さらに、ステップＳ１３３において、各障害物に対する危険度ＤＲＥＣＩ［ａ］を演算する。

以下、上述のいずれかの車両用外界認識装置で検知された物体Ｘ［ａ］に対する危険度ＤＲＥＣＩ［ａ］の演算方法の例を、図１４を用いて説明する。
まず、予測進路の推定方法について説明する。図１４に示すように、自車位置を原点Ｏとすると、予測進路は原点Ｏを通る旋回半径Ｒの円弧で近似できる。ここで、旋回半径Ｒは、自車の操舵角α、速度Ｖｓｐ、スタビリティファクタＡ、ホイールベースＬおよびステアリングギア比Ｇｓを用いて式（２）で表される。
Ｒ＝（１＋ＡＶ２）×（Ｌ・Ｇｓ／α）・・・・・・（２）

スタビリティファクタとは、その正負が、車両のステア特性を支配するものであり、車両の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。式（２）からわかるように、旋回半径Ｒは、スタビリティファクタＡを係数として、自車の速度Ｖｓｐの２乗に比例して変化する。また、旋回半径Ｒは車速Ｖｓｐおよびヨーレートγを用いて式（３）で表すことができる。
Ｒ＝Ｖ／γ・・・・・・（３）
つぎに、物体Ｘ［ａ］から、旋回半径Ｒの円弧で近似した予測進路の中心へ垂線を引き、距離Ｌ［ａ］を求める。

さらに、自車幅Ｈから距離Ｌ［ａ］を引き、これが負値の場合には危険度ＤＲＥＣＩ［ａ］＝０とし、正値の場合には以下の式（４）によって危険度ＤＲＥＣＩ［ａ］を演算する。
ＤＲＥＣＩ［ａ］＝ （Ｈ−Ｌ［ａ］）／Ｈ・・・・・・（４）

なお、ステップＳ１３１〜Ｓ１３３の処理は、検知した物体数に応じてループ処理を行う構成としている。

ステップＳ１３４において、ステップＳ１３３で演算した危険度ＤＲＥＣＩ［ａ］に応じて式（５）の条件が成立している物体を選択し、選択された物体の中で衝突予測時間ＴＴＣ［ａ］が最小となる物体ａＭｉｎを選択する。
ＤＲＥＣＩ［ａ］≧ ｃＤＲＥＣＩ＃・・・・・・・（５）

ここで、所定値ｃＤＲＥＣＩ＃は、自車に衝突するか否かを判定するための閾値である。

つぎに、ステップＳ１３５において、選択された物体ｋの衝突予測時間ＴＴＣ［ａＭｉｎ］に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。式（６）が成立している場合にはステップＳ１３６に進み、ブレーキ制御を実行して処理を終了する。
また、式（６）が非成立の場合にはステップＳ１３７に進む。
ＴＴＣ［ａＭｉｎ］≦ｃＴＴＣＢＲＫ＃・・・・（６）

ステップＳ１３７において、選択された物体ａＭｉｎの衝突予測時間ＴＴＣ［ａＭｉｎ］に応じて警報を出力する範囲であるか否かの判定を行う。式（７）が成立している場合にはステップＳ１３８に進み、警報を出力して処理を終了する。また、式（７）が非成立の場合には、ブレーキ制御、警報ともに実行せずに処理を終了する。
ＴＴＣ［ａＭｉｎ］≦ｃＴＴＣＡＬＭ＃・・・・・（７）

以上説明したように、本発明実施例である上述のいずれかの車両用外界認識装置１０００、２０００、３０００において先行車と判定された物体に対して、その危険度に応じて上記警報やブレーキ制御を発動させることができる。

［配光制御］
つぎに、前述の実施例より判定した先行車に応じて自車のヘッドライトの照射強度や範囲を調整する車両制御システムについて説明する。

図１５は、配光制御処理の動作説明図である。配光制御処理は、自車のヘッドライト１５１１を制御して、先行車および対向車が存在する領域にはロービーム、それ以外の領域にはハイビームを照射するように、自車ヘッドライト照射範囲１５１２を自動調整する処理である。図１５（ａ）に示すように、先行車、対向車が存在しない場合は自車ヘッドライト照射範囲１５１２は最大化されるが、図１５（ｂ）に示すように、先行車、対向車が存在する場合は自車ヘッドライト照射範囲を変化させる。以下、処理の流れを説明する。

まず、上述のいずれかの車両用外界認識装置で検知された車両尾灯から、先行車の位置（ＰＹ２［ｂ］、ＰＸ２［ｂ］）を読み込む。

つぎに、対向車の位置（ＰＹＨ[ｈ]、ＰＸＨ［ｈ］）を読み込む。なお、対向車情報は対向車のヘッドライトの候補となる白色の光点を画像から検出し、そのペア情報をもちいることで検出することができる。ヘッドライト検出処理の詳細は、別の公知の手段により抽出可能なため、ここでは説明を省略する。画像のヘッドライトのペアが検出できれば、カメラ幾何を用いて距離ＰＹＨ[ｈ]、ＰＸＨ［ｈ］を検出することができる。

そして、検出した先行車１５２、対向車１５３にはハイビームを照射しないよう、かつ、そのいずれも存在しない領域にはハイビームが照射できるように、自車のヘッドライト１５１１を制御し、ヘッドライト照射範囲１５１２を調整する。

ヘッドライト１５１１の制御は、例えばヘッドライト１５１１の光源の強さを調整したり，ヘッドライト１５１１の照射角度を切り替えたり等を含む。また，ヘッドライト１５１１の照射強さが多段的に切り替え可能な場合は，対向車１５３までの距離ＰＹＨ［ｈ］、先行車１５２までの距離ＰＹ２［ｂ］のうちもっとも自車に近い距離に応じてビーム強さを調整する。

また、ヘッドライト１５１１の照射範囲を横方向の角度によって調整可能な場合は、対向車の位置（ＰＹＨ[ｈ]、ＰＸＨ［ｈ］）、先行車の位置（ＰＹ２［ｂ］、ＰＸ２［ｂ］）に応じて、先行車および対向車のうち最も左端の車両、およびもっとも右端の車両を求め、その範囲内はロービーム、それより外側にはハイビームを照射するように調整する。

以上説明したように、本発明実施例の車両用外界認識装置を用いることにより、薄暮のような、通常とは異なる照明条件のシーンにおいて、警報・制御を発動させることが可能となる。

なお、上記実施例においては主に４輪車について記載したが、2輪車についても同様である。

本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

１０００ 車両用外界認識装置（第１実施例）
１０１０ カメラ
１０１１ 画像取得手段
１０２１ 車両外形検出手段
１０３１ 車両尾灯検出手段
１０４１ 車両パターン検出手段
１０５１ 第一の車両判定手段
１０６１ 第二の車両判定手段
１０７１ 判定選択手段
１０８１ 第一の出力手段
１０９１ 第二の出力手段
１１１１ 外界判定手段
２０００ 車両用外界認識装置（第２実施例）
２０４１ 動き検出手段
２０５１ 第一の車両判定手段
３０００ 車両用外界認識装置（第３実施例）
３０４１ 車両パターン検出手段

Claims (11)

1. 自車周辺を撮影した画像を取得する画像取得手段と、
   前記画像から画像の勾配情報を用いて車両候補領域を検出する第一の車両候補領域検出手段と、
   前記画像から画像の色情報を用いて車両候補領域を検出する第二の車両候補領域検出手段と、
   前記第一の車両候補領域と前記第二の車両候補領域を用いて車両の有無を判定する車両判定手段と、を有し、
   前記車両判定手段は、前記第一の車両候補領域と前記第二の車両候補領域が重複し同期して動いている領域を車両と判定することを特徴とする車両用外界認識装置。
2. 自車周辺を撮影した画像を取得する画像取得手段と、
   前記画像から画像の勾配情報を用いて車両候補領域を検出する第一の車両候補領域検出手段と、
   前記画像から画像の色情報を用いて車両候補領域を検出する第二の車両候補領域検出手段と、
   前記画像から前記第一の車両候補領域検出手段及び第二の車両候補領域検出手段とは異なる検出方法により車両候補領域を検出する第三の車両候補領域検出手段と、
   前記第一の車両候補領域と前記第三の車両候補領域を用いて車両の有無を判定する第一の車両判定手段と、
   前記第一の車両候補領域と前記第二の車両候補領域を用いて車両の有無を判定する第二の車両判定手段と、を有し、
   前記第二の車両判定手段は、前記第一の車両候補領域と前記第二の車両候補領域が重複し同期して動いている領域を車両と判定することを特徴とする車両用外界認識装置。
3. 自車周辺を撮影した画像を取得する画像取得手段と、
   前記画像から画像の勾配情報を用いて第一の車両候補領域を検出する第一の車両候補領域検出手段と、
   前記画像から画像の色情報を用いて第二の車両候補領域を検出する第二の車両候補領域検出手段と、
   前記画像に対して所要の処理操作を施すことにより第三の車両候補領域を検出する第三の車両候補領域検出手段と、
   前記第一の車両候補領域と第三の車両候補領域を用いて車両の有無を判定する第一の車両判定手段と、
   前記第一の車両候補領域と前記第二の車両候補領域を用いて車両の有無を判定する第二の車両判定手段と、
   前記第一の車両判定手段により判定された第一の車両候補と前記第二の車両判定手段により判定された第二の車両候補のいずれかをそのときの状況等に応じて選択する判定選択手段と、
   前記判定選択手段の選択結果を第一の出力として出力する第一の出力手段と、
   前記第二の車両候補領域を第二の出力として出力する第二の出力手段とを有し、
   前記第二の車両判定手段は、前記第一の車両候補領域と前記第二の車両候補領域が重複し同期して動いている領域を車両と判定することを特徴とする車両用外界認識装置。
4. 前記第一の車両候補領域検出手段は車両の外形を検出し、前記第二の車両候補領域検出手段は車両の尾灯を検出することを特徴とする請求項１から３のいずれかに記載の車両用外界認識装置。
5. 前記第三の車両候補領域検出は、パターンマッチ処理により車両パターンの有無を判別することで前記第三の車両候補領域を検出することを特徴とする請求項３に記載の車両用外界認識装置。
6. 前記第三の車両候補領域検出手段は、前記第一の車両候補領域に対して検出処理を行うことを特徴とする請求項５に記載の車両用外界認識装置。
7. 前記第三の車両候補領域検出手段は、画像の動き情報を用いて前記第三の車両候補領域を検出することを特徴とする請求項３に記載の車両用外界認識装置。
8. 外界の照度を判定する照度判定手段を有し、前記判定選択手段は照度判定結果に応じて第一の車両判定手段により判定された第一の車両候補と第二の車両判定手段により判定された第二の車両候補のいずれかを選択することを特徴とする請求項３から７のいずれかに記載の車両用外界認識装置。
9. 請求項３から８のいずれかに記載の車両用外界認識装置と、
   前記第一の出力に応じて前記自車が衝突する危険度を算出する衝突危険度算出手段と、
   前記衝突危険度に応じて自車の衝突を回避するための制御を行う第一の制御手段と、
   前記第二の出力に応じてドライバの視認性を向上させるための制御を行う第二の制御手段と、を有することを特徴とする車両制御システム。
10. 前記第一の制御手段は、警報を発生させる制御もしくはブレーキを発動させる制御を行うことを特徴とする請求項９に記載の車両制御システム。
11. 前記第二の制御手段は、自動車の灯火装置の光量及び／又は照射範囲を調整する制御を行うことを特徴とする請求項９又は１０に記載の車両制御システム。

Images