JP2994170B2 - 車両周辺監視装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、自動車に搭載し車両
周辺の状況を監視する装置に関し、特にイメージセンサ
等の光学系により撮像された画像を用いて、周辺の車両
状況を監視する車両周辺監視装置に関するものである。

【０００２】

【従来の技術】オプティカルフロー（動きベクトル）法
を周辺の車両の相対位置・相対速度検出に利用したもの
に特開平２−２４１８５５号公報に開示されているよう
な先行車識別装置がある。オプティカルフローとは、画
像の空間方向の濃度勾配と、時間方向の濃度勾配を用い
て計算される画像上の動きの速度成分である。このオプ
ティカルフローを求める方法の１つとして一般的にグロ
ーバル法と呼ばれる方法「ビー．ケー．ピー．ホーンと
ビー．ジー．シュンク著の『オプチカルフローの決定』
第１７巻１ー３号（１９８１）（B.K.P.Horn & B.G.Sch
unck,“Determining optical flow",Artificial Intell
igence.Vol.17.No.1-3(1981)第２０５頁〜第２１０頁参
照）」がある。以下にその方法を説明する。

【０００３】ある時刻ｔにおける画像中のある座標
（ｘ，ｙ）の濃度をＥ（ｘ，ｙ，ｔ）で表したとき、物
体の濃度は時間的に不変であると仮定すれば、下に示す
近似式(1)が成立する。

【０００４】 Ｅｘ・ｕ＋Ｅｙ・ｖ＋Ｅｔ＝０ (1) Ｅｘ，Ｅｙ：空間方向（ｘ方向，ｙ方向）の濃度勾配 Ｅｔ ：時間方向（ｔ方向）の濃度勾配 ｕ，ｖ ：ｘ方向，ｙ方向の濃度成分

【０００５】式(1)に、局所的な速度は滑らかに変化す
るという仮定を加え、下式（２）の誤差関数を最小にす
るｕ，ｖが求めるオプティカルフローの速度成分である
とするものである。

【０００６】 ∫∫（ｅｂ²＋ｅｃ²）ｄｘｄｙ (2) ここで、 ｅｄ ＝Ｅｘ・ｕ＋Ｅｙ・ｖ＋Ｅｔ ｅｃ² ＝(∂ｕ／∂ｘ)²＋(∂ｕ／∂ｙ)²＋(∂ｖ／∂ｘ)²＋(∂ｖ／∂ｙ)² ｕ⁽ⁿ⁺¹⁾＝ｕ⁽ⁿ⁾−Ｅｘ（Ｅｘ＊ｕ⁽ⁿ⁾＋Ｅｙ＊ｖ⁽ⁿ⁾＋Ｅｔ）／ （Ｅｘ²＋Ｅｙ²＋α²） (3) ｖ⁽ⁿ⁺¹⁾＝ｖ⁽ⁿ⁾−Ｅｙ（Ｅｘ＊ｕ⁽ⁿ⁾＋Ｅｙ＊ｖ⁽ⁿ⁾＋Ｅｔ）／ （Ｅｘ²＋Ｅｙ²＋α²） (4) （ｕ，ｖ：ベクトルｕ，ｖの８近傍の加重平均、ｕ：繰
り返し回数、α：誤差の重み係数）

【０００７】図８，９はこのオプティカルフロー法を示
す説明図である。図８は連続画像５０，５１及びこの２
枚の連続画像５０，５１における物体の位置関係とオプ
ティカルフローの関係を表した２次元画像５２を示した
ものである。今図８に示したように画像５０における物
体５４が画像５１上で５５で示す位置に移動したと考え
る。図９（ａ），（ｂ）は図８における連続画像５０，
５１のIX−IX線における画像の濃度を１次元信号で表し
たものであり、６０，６５は画像５０における濃度レベ
ルを示す信号、６１，６６は画像５１における濃度レベ
ルを示す信号、実線矢印６２はオプティカルフロー、点
線矢印６３は空間的な濃度勾配、一点鎖線矢印６４は時
間的な濃度勾配を示す。このオプティカルフローの向き
は図９（ｂ）に示すように背景と物体の濃度差が逆にな
っている画像の信号６５、６６の様な場合でも変わらな
い。この性質は図８の２次元画像５２において５３のよ
うなオプティカルフローとして得られる。図８に示すよ
うに、このような連続画像５０，５１から得られるオプ
ティカルフローは背景との濃度差がある部分（物体のエ
ッジ部分）において、空間的な濃度勾配６３と時間的な
濃度勾配６４のベクトル和６２，６３であるとして与え
られる。

【０００８】又、交通渋滞時等における車両の停車の際
に周辺車両の相対位置の変化を検出し、相対位置変化時
にこれを運転者に報知する装置として、特開平４−４０
５９９号公報に開示されているような周辺車両と自車両
の相対位置監視装置がある。これは画像上に所定の領域
（ウィンドウ）を設定し、自車両停止時における上記の
ウィンドウ内の周辺車両画像を記憶し、該記憶画像とそ
の後に撮像されたウィンドウ内の画像との差異を検出す
る事により、自車両の駐停車中における周辺車両との相
対位置変化を検出するものである。

【０００９】

【発明が解決しようとする課題】オプティカルフロー法
は１画素単位の画像の動きを求めるものである為、実画
像のような複雑背景、ノイズの多い画像ではその影響を
強く受けてしまい、そのままでは背景やノイズから対象
の動きを切り出す事が困難である。またある程度の面積
のある物体の移動を塊として検出するためには式(3)，
(4)における繰り返し演算回数を多くする必要があり、
処理時間が長くなるという問題がある。更に、走行中の
道路の凹凸によるバウンドで、画像に揺れが生じた場合
オプティカルフローはこれにも敏感に反応するため、こ
うしたバウンドによるノイズを除去し求める先行車のフ
ローを特定する事が難しくなる。

【００１０】また、従来の自車両駐停車時における周辺
車両との相対位置検出装置では、駐停車時におけるウィ
ンドウ内の周辺車両画像とその後のウィンドウ内の画像
との差分の変化により周辺車の相対位置変化を検出する
ものであるが、この方法では、画像の動きの有無は検出
できるが画像の動きの方向は検出する事が出来ない。従
ってもし駐停車している自車両内の人間が動くなどして
自車両自身が揺れた場合、自車両に取り付けたイメージ
センサで撮像された画像内の周辺車両像も動くため、記
憶されたウィンドウ内の周辺車両画像とこの時のウィン
ドウ内の画像との差異は大きくなり、周辺車両が全く動
かなくても周辺車両が動いて相対位置が変化したものと
誤判断されることがある。

【００１１】この発明は上記のような問題点を解消する
ためになされたものでオプティカルフロー演算手段によ
りオプティカルフローを演算する領域を限定する事によ
り、背景になると思われる部分を最初から除外してオプ
ティカルフローのノイズを減らすと共に演算時間を短縮
する事が出来る車両周辺監視装置を得る事を目的とす
る。又、フローパターン抽出手段において検出したい周
辺車が出現すると思われる位置にフロー監視領域を設定
し、このフロー監視領域内で、特定の動きを持つ先行車
（周辺接近車・周辺割込車）の方向と同様の方向パター
ンに注目し、そのパターンを抽出する事により、背景等
から検出したい移動体、特に周辺接近車・割り込み車等
を分離し、これらの車両のみを検出する事が容易に行え
る車両周辺監視装置を得る事を目的とする。そして道路
の凹凸によるパウンドから起こる画像の揺れや複雑背景
等から生じる強度の大きいノイズを除去し、周辺車（周
辺接近車・周辺割込車）の検出を正確に行う事の出来る
車両周辺監視装置を得る事を目的とする。

【００１２】更に自車両が駐停車している際において、
上記で説明したようなオプティカルフロー演算手段によ
り画像上の見かけの動きの速度分布を示す大きさと方向
を有するオプティカルフローを求め、画像上の所定の位
置に１つ以上の前車発進のオプティカルフロー監視領域
を設定し、その領域内で上記のフローの方向検出手段に
より検出されたオプティカルフローをもとに、前車発進
の画像上での動きの方向パターンと同じパターンを持つ
オプティカルフローを抽出する前車発進フローパターン
抽出手段により前車発進のオプティカルフロー候補を抽
出し、上記フローパターン抽出手段により抽出されたオ
プティカルフローから前車発進検出手段により前車発進
を検出する事により、自車両の揺れなどによる周辺車両
画像の動きと発進による周辺画像の動きを区別し、前車
発進即ち周辺車両の相対位置変化を正確に検出できる車
両周辺監視装置を得る事を目的とする。

【００１３】

【課題を解決するための手段】この発明の請求項１に係
る車両周辺監視装置は、車両の周辺を撮像する撮像手段
と、この撮像手段により撮像された撮像画面内に所定の
位置に１つ以上の演算領域を設定し、その領域内で時系
列的に異なる２枚の画像からこの画像上での速度分布を
示す大きさと方向を有するオプティカルフローを求める
オプティカルフロー演算手段と、上記演算領域内でオプ
ティカルフロー演算手段により得られたオプティカルフ
ローのうち、上記の演算領域で設定した一定値以上の大
きさを持つオプティカルフローの方向を出力するフロー
の方向検出手段と、上記演算領域内の所定の位置に更に
１つ以上のフロー監視領域を設定し、この監視領域内で
上記オプティカルフローの方向検出手段により得られた
各々のオプティカルフローの方向を監視し、周辺接近車
・周辺割り込み車が存在する場合に仮定される画像上で
の動きの方向と同様の方向を持つオプティカルフローを
抽出するフローパターン抽出手段と、上記フロー監視領
域内でフローパターン抽出手段により抽出されたオプテ
ィカルフローから周辺接近車・周辺割り込み車の存在を
検出する手段とを備えたものである。

【００１４】また、この発明の請求項２に係る車両周辺
監視装置は、車両の周辺を撮像する撮像手段と、この撮
像手段により撮像された撮像画面内に所定の位置に１つ
以上の演算領域を設定し、その領域内で時系列的に異な
る２枚の画像からこの画像上での速度分布を示す大きさ
と方向を有するオプティカルフローを求めるオプティカ
ルフロー演算手段と、上記演算領域内でオプティカルフ
ロー演算手段により得られたオプティカルフローのう
ち、上記の演算領域で設定した一定値以上の大きさを持
つオプティカルフローの方向を出力するフローの方向検
出手段と、上記演算領域内の所定の位置に１つ以上の前
車発進のオプティカルフロー監視領域を設定する手段
と、上記前車発進フロー監視領域内で、上記フローの方
向検出手段により検出されたオプティカルフローから前
車発進車の画像上での動きの方向パターンと同じパター
ンを持つオプティカルフロー領域を抽出する前車発進フ
ローパターン抽出手段と、上記フローパターン抽出手段
により抽出されたオプティカルフローから前車発進を検
出する手段とを備えたものである。

【００１５】

【作用】この発明の請求項１に係る車両周辺監視装置に
おいては、オプティカルフロー演算手段ではオプティカ
ルフローを演算する領域を限定することにより、背景に
なると思われる部分を最初から除外してオプティカルフ
ローのノイズを減らすと共に処理時間を短縮する。フロ
ーパターン抽出手段では、検出したい周辺車（接近車・
割り込み車）が出現すると思われる位置に１つ以上のフ
ロー監視領域を設定し、該フロー監視領域内でフローの
方向検出手段により検出されたオプティカルフローから
周辺接近車・割り込み車の画像上での動きの方向と同様
の方向パターンを持つオプティカルフローを抽出する事
により背景から検出したい移動体を分離し、道路の凹凸
によるバウンドから起こる画像の揺れや複雑背景から生
じる強度の大きいノイズを除去し、接近車・割り込み車
の検出を正確に行う。

【００１６】また、この発明の請求項２に係る車両周辺
監視装置においては、自車両が駐停車している際におい
て、前車発進フローパターン抽出手段では、前車及びそ
の周辺の所定の位置に１つ以上前車発進のフロー監視領
域を設定し、このフロー監視領域内において、上記オプ
ティカルフロー演算手段、フローの方向検出手段により
検出されたオプティカルフローから前車発進の画像上で
の動きの方向パターンと同じパターンをもつオプティカ
ルフローを抽出し、自車両の揺れなどにより周辺車両画
像の動きと発進による周辺画像の動きを区別し、前車発
進による画像の動きを正確に検出する。

【００１７】

【実施例】

実施例１．以下、この発明の一実施例を車両前方監視装
置に例とり図について説明する。図１はこの発明の実施
例１による車両前方監視装置の処理ブロック図である。
１，２は図示しない撮像手段である例えばイメージセン
サから入力された時間的に異なる２枚の入力画像、３は
画像内の所定の位置に１つ以上の領域を設定し、その領
域内で画像１，２から速度分布を示す大きさと方向を有
するオプティカルフローを計算するオプティカルフロー
演算手段、４はオプティカルフロー演算手段により得ら
れたオプティカルフローのうち、それぞれの演算領域で
設定した一定値以上の大きさを持つオプティカルフロー
の方向を出力するフローの方向検出手段、５は自車両が
停止した状態かどうかを判断する自車両停止状態判断手
段、６は自車両が走行中と判断されたときに上記の演算
領域内の所定の位置に更に１つ以上のフロー監視領域を
設定し、このフロー監視領域内で、上記オプティカルフ
ローの方向検出手段４により得られた各々のオプティカ
ルフローの方向を監視し、接近車及び割込車が存在する
場合に仮定される画像上での動きの方向パターンと同様
の方向パターンを持つオプティカルフローを抽出するフ
ローパターン抽出手段、７は上記フローパターン抽出手
段により得られたオプティカルフローから前方接近車・
割り込み車を検出する前方接近車・割り込み車検出手
段、８は上記自車両停止状態判断手段５により自車両が
停止していると判断されたときに、上記の演算領域内の
前方車及びその周辺の所定の位置に前車発進のフロー監
視領域を設定し、該領域で上記オプティカルフローの方
向検出手段４により得られたオプティカルフローの方向
を監視し、前車発進の画像上での動きの方向パターンと
同様のパターンを持つオプティカルフローを抽出する前
車発進フローパターン抽出手段、９は上記前車発進フロ
ーパターン抽出手段８によって抽出されたオプティカル
フローから前車発進を検出する手段である。

【００１８】図２は高速道路を走行中の自車両からイメ
ージセンサ等により撮像した前方画像を示したものであ
る。図２の画像２０、画像２１は割り込み車４０をとら
えた連続画像である。この２枚の連続画像２０，２１上
に図３に示したような位置にオプティカルフローの演算
領域４１を設定し、該演算領域内で上記に説明した方法
でオプティカルフローを算出する。これがオプティカル
フロー演算手段３である。

【００１９】次にオプティカルフロー演算手段３により
得られたオプティカルフローの大きさに対しある閾値を
設定し、この閾値以上のものについてのみその方向を図
４（ａ）の１０〜１７に示すような８方向に量子化して
出力し、それ以下のオプティカルフローは全てその大き
さを０とした。本実施例では上記のオプティカルフロー
演算領域４１におけるオプティカルフローの閾値を０.
１とした。これにより、イメージセンサの特性やイメー
ジセンサを搭載している自車両の微細な揺れ等から生じ
る前方画像の微妙な揺れに対応したオプティカルフロー
等が背景とみなされ０になる。この様にして得られたオ
プティカルフローの方向を２次元画像で示したものが図
４（ｂ）である。図に示したように、上記のフロー方向
手段により接近車・割込車や白線、標識などコントラス
トの大きい背景のオプティカルフローが出力される。

【００２０】次にフローパターン抽出手段６，８につい
て説明する。検出したい前方車の動きの種類（接近・割
り込み・発進）により抽出するオプティカルフローのフ
ローパターンは異なる。まず、割り込み車のフローパタ
ーン抽出手段について説明する。上記のオプティカルフ
ロー演算手段３、オプティカルフロー方向検出手段４に
よって得られたオプティカルフローに対し、図３の４
２，４３の様に左右にフロー監視領域を設定し、この領
域の中で割込車の動きの方向と想定されるものと同様の
方向を持つオプティカルフローを抽出する。Ｒ領域４３
では、割り込み車４０が動くと仮定される１３，１４の
方向フローを持つオプティカルフローを、Ｌ領域４２で
は割り込み車４０が動くと仮定される１０，１１の方向
フローを持つオプティカルフローを抽出する。この方法
により抽出されたオプティカルフローを２次元画像で示
したものが図５の画像２４である。これに示したように
Ｌ領域４２では割り込み車４０の周辺にオプティカルフ
ロー３０が抽出される。

【００２１】このようにして割り込み車のオプティカル
フロー候補が抽出されるが、割込車のオプティカルフロ
ー以外に画像２４に示すようなノイズ（背景）のオプテ
ィカルフロー８２が抽出される。このオプティカルフロ
ー８２は走行中の自車両のバウンドによる画像の大きな
揺れ等により、コントラストの強い背景の一部で抽出さ
れる。こうしたノイズを除去し、後方接近車のオプティ
カルフローを強調するため、本実施例では各々のフロー
監視領域４２，４３に縦横３画素ずつの３×３の膨張・
収縮フィルタ８０をかけた。まず、膨張フィルタについ
て説明する。それぞれフロー監視領域内５３，５４内に
おける各画素について、該画素及びその８近傍で上記で
説明した方法によって得られた割り込み車の候補オプテ
ィカルフロー３０がｎ（ｎ＜５）個以上あればその画素
の値を１とし、それ以下の時は上記の画素の値を０とす
る。次にこうして得られた２値画像上におけるそれぞれ
のフロー監視領域内の各画素に対し、該画素及びその８
近傍における画素の値が１である画素がｍ（ｍ＞５）個
以上であれば、その画素の値を１とし、それ以下であれ
ばその値を０とする。これが収縮フィルタである。以上
のようにして、割り込み車候補のオプティカルフロー３
０がバウンド等による画像の揺れから生じたノイズであ
るかどうかを判断し、ノイズと判断すればこれを除去
し、後方接近車であると判断すれば、その領域を拡大し
隣接する抽出領域同志を結合させる。本実施例ではｎ＝
３，ｍ＝７と設定して処理を行なったが、画像の特性や
オプティカルフローの出方によりこの値は自由に設定し
てよく、又今回はフィルタの大きさを３×３画素に設定
したがこれも上記の条件により自由に設定してよい。

【００２２】上記の膨張・収縮フィルタをかけることに
よって得られた画像を示したものが図５のオプティカル
フロー画像２５である。図に示したように、膨張・収縮
フィルタ８０によって出力されたオプティカルフロー画
像２５は上記の処理を行う以前のオプティカルフロー画
像２４に比べ、割り込み車４０のオプティカルフロー３
０が強調され、ノイズがかなり減少するが、バウンド等
による画像の揺れが激しい時には膨張・収縮フィルタ８
０による処理後も画像２５に示すような粒状ノイズ８２
が残る場合がある。こうしたノイズ８２はこのオプティ
カルフロー画像２５に更に３×３画素のメディアンフィ
ルタ８１をかける事により除去する事が出来る。フロー
のうち、連続して検出されないオプティカルフローはノ
イズとして除去する。メディアンフィルタ８１によりノ
イズを除去した後に得られる画像が２６である。画像２
６に示すようにノイズは除去され割り込み車のオプティ
カルフロー３３のみが抽出できる。

【００２３】以上が割り込み車のフローパターン抽出手
段である。次に前車発進及び前方接近車のフローパター
ン抽出手段について説明する。まず図３の４４に示すよ
うにフローの方向監視領域を設定し、この領域で前方接
近車・発進車の動きの方向と同様の方向即ち８方向１０
〜１７全ての方向を持つオプティカルフローを抽出す
る。抽出したオプティカルフローに対し、割り込み車の
時と同様３×３画素の膨張・収縮フィルタ、メディアン
フィルタをかけてノイズ除去した画像が図６である。こ
の時発進車のオプティカルフローの方向は実線矢印８３
が示すような内向きの方向であり、接近車の方向は点線
矢印８４が示すような外向きの方向となる。そこで、図
６の画像２８に示すようにフローの方向監視領域４４内
に４つの領域４５〜４８を設定し、発進車・接近車の動
きと同じ方向のオプティカルフロー（上下左右方向）を
抽出する。例えば発進車の場合領域４５で下方向１６の
フロー、領域４６で上方向１２のフロー、領域４７で右
方向１４のフロー、領域４８で左方向１０のフローを抽
出する。こうした抽出したオプティカルフロー３５を示
したのが画像２９である。

【００２４】以上のようなフローパターン抽出手段によ
り抽出したオプティカルフローを基に前方割り込み車・
接近車・発進車をそれぞれ検出する。以下にその手法に
ついて説明する。図７はフローパターン抽出手段によっ
て抽出された前方割り込み車のオプティカルフロー３３
を示した２次元画像である。このオプティカルフロー画
像２６上のそれぞれのフロー監視領域Ｒ領域４３、Ｌ領
域４２上に図に示すようなウィンドウ領域８５を設定
し、これを動かしながら該領域内に含まれるオプティカ
ルフロー３３の大きさ（画素数）がある閾値以上である
矩形範囲８６を取りだし、この範囲を割り込み車領域と
して検出する。本実施例ではオプティカルフロー画像２
６の大きさ５１２×４８０画素に対し割り込み車検出用
ウィンドウの大きさをＲ領域４３、Ｌ領域４２共に６４
×６４（Ｈ×Ｖ）画素、閾値を２０００画素とした。こ
のウィンドウの大きさは、画像の大きさや、検出したい
割り込み車の大きさによって自由に設定でき、又それぞ
れのフロー監視領域で異なる大きさの前方車検出用ウィ
ンドウを設定してもよい。

【００２５】上記実施例では１つ以上の領域を設定しそ
の中で前方接近車・割り込み車の動きと同様のある特定
の方向のオプティカルフローのみを抽出し、それをもと
に前方接近車割り込み車を検出するように構成したの
で、走行車両という移動体から撮像した画像のように移
動体のみならず背景も移動するような画像であっても画
像からある特定の方向へ移動する物体（接近車）を分離
して抽出できる。又、ノイズ除去のために２種類のフィ
ルタを採用したため、激しいバウンド等による画像の揺
れから生じるオプティカルフローのノイズを除去でき、
安定して移動体（前方接近車・割り込み車）の検出を行
える。更に従来の前方車両との相対位置検出装置が、画
像の差分を利用した物で画像上での動きの有無しかわか
らないのに対し、本発明ではオプティカルフローにより
画像上の動きの大きさと方向がわかるため、停車中の自
車両及び前方車両の揺れ等による画像の揺れと前方車両
の発進による相対位置変化との区別が出来、前車発進を
より正確に検出出来、またその位置を検出する事が出来
る。

【００２６】

【発明の効果】この発明の請求項１に係る車両前方監視
装置は、車両の前方を撮像する撮像手段と、この撮像手
段により撮像された撮像画面内に所定の位置に１つ以上
の演算領域を設定し、その領域内で時系列的に異なる２
枚の画像からこの画像上での速度分布を示す大きさと方
向を有するオプティカルフローを求めるオプティカルフ
ロー演算手段と、上記演算領域内でオプティカルフロー
演算手段により得られたオプティカルフローのうち、上
記の演算領域で設定した一定値以上の大きさを持つオプ
ティカルフローの方向を出力するフローの方向検出手段
と、上記演算領域内の所定の位置に更に１つ以上のフロ
ー監視領域を設定し、この監視領域内で上記オプティカ
ルフローの方向検出手段により得られた各々のオプティ
カルフローの方向を監視し、前方接近車・前方割り込み
車が存在する場合に仮定される画像上での動きの方向と
同様の方向を持つオプティカルフローを抽出するフロー
パターン抽出手段と、上記フロー監視領域内でフローパ
ターン抽出手段により抽出されたオプティカルフローか
ら前方接近車・前方割り込み車の存在を検出する手段と
を備えたため、従来のオプティカルフロー法を用いた先
行車識別手法に比べ、処理時間を短縮でき、走行中の車
両から撮像した画像のように検出したい移動体（接近
車）のみならず背景も移動するような画像に対しても特
定の動きを持つ移動体を背景から分離して検出すること
ができ、しかも実際に車道を走行中に大きなバウンド等
により画像が激しく揺れても安定してこの検出を行う事
が出来るという効果を奏する。

【００２７】また、この発明の請求項２に係る車両前方
監視装置は、車両の前方を撮像する撮像手段と、この撮
像手段により撮像された撮像画面内に所定の位置に１つ
以上の演算領域を設定し、その領域内で時系列的に異な
る２枚の画像からこの画像上での速度分布を示す大きさ
と方向を有するオプティカルフローを求めるオプティカ
ルフロー演算手段と、上記演算領域内でオプティカルフ
ロー演算手段により得られたオプティカルフローのう
ち、上記の演算領域で設定した一定値以上の大きさを持
つオプティカルフローの方向を出力するフローの方向検
出手段と、上記演算領域内の所定の位置に１つ以上の前
車発進のオプティカルフロー監視領域を設定する手段
と、上記前車発進フロー監視領域内で、上記フローの方
向検出手段により検出されたオプティカルフローから前
車発進車の画像上での動きの方向パターンと同じパター
ンを持つオプティカルフロー領域を抽出する前車発進フ
ローパターン抽出手段と、上記フローパターン抽出手段
により抽出されたオプティカルフローから前車発進を検
出する手段とを備えたため、従来の前方車両との監視装
置に比べ、注目する前方車両の画像上の動きの大きさと
方向がわかるため、車両の揺れ等による前方車両画像の
動きと、発進による前方車両画像の動きを区別すること
ができ、前方車両の発進及びそれに伴う相対位置変化を
正確に検出する事が出来る。

【図面の簡単な説明】

【図１】この発明の実施例１を示すブロック図である。

【図２】この発明の実施例１におけるオプティカルフロ
ー演算手段の説明図である。

【図３】実施例１におけるオプティカルフロー演算領域
とオプティカルフロー監視領域を示す説明図である。

【図４】実施例１におけるオプティカルフローの方向検
出手段と該手段によるオプティカルフローの出力状況を
示す説明図である。

【図５】実施例１における前方割り込み車のフローパタ
ーン抽出手段を示す説明図である。

【図６】実施例１における前方接近車・発進車のフロー
パターン抽出手段を示す説明図である。

【図７】実施例１における割り込み車検出手段を説明す
るための図である。

【図８】物体が移動する際に得られるオプティカルフロ
ーのパターンを示す説明図である。

【図９】一次元信号で模式的に表したオプティカルフロ
ーの性質を説明するための説明図である。

【符号の説明】

１，２ 画像 ３ オプティカルフロー演算手段 ４ オプティカルフローの方向検出手段 ５ 自車両停止状態判断手段 ６ フローパターン抽出手段 ７ 前方接近車・割り込み車検出手段 ８ 前車発進のフローパターン抽出手段 ９ 前車発進検出手段 ３３ 割り込み車のオプティカルフロー ３５ 発進車のオプティカルフロー ４１ オプティカルフロー演算領域 ４２，４３ 割り込み車のオプティカルフローの方向監
視領域 ４４ 接近車、前車発進のオプティカルフローの方向監
視領域 ６２ オプティカルフロー ８０ 膨張・収縮フィルタ用ウィンドウ ８１ メディアンフィルタ用ウィンドウ ８５ 割り込み車検出用ウィンドウ ８６ 検出された割り込み車領域

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０ (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 7/20 G05D 1/02 G06T 1/00 G08G 1/00 G08G 1/01 H04N 7/18 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 車両の周辺を撮像する撮像手段と、 このイメージセンサにより撮像された撮像画面内に所定
   の位置に１つ以上の演算領域を設定し、その領域内で時
   系列的に異なる２枚の画像からこの画像上での速度分布
   を示す大きさと方向を有するオプティカルフローを求め
   るオプティカルフロー演算手段と、 上記演算領域内でオプティカルフロー演算手段により得
   られたオプティカルフローのうち、上記の演算領域で設
   定した一定値以上の大きさを持つオプティカルフローの
   方向を出力するフローの方向検出手段と、 上記演算領域内の所定の位置に更に１つ以上のフロー監
   視領域を設定し、この監視領域内で上記オプティカルフ
   ローの方向検出手段により得られた各々のオプティカル
   フローの方向を監視し、周辺接近車・周辺割り込み車が
   存在する場合に仮定される画像上での動きの方向と同様
   の方向を持つオプティカルフローを抽出するフローパタ
   ーン抽出手段と、 上記フロー監視領域内でフローパターン抽出手段により
   抽出されたオプティカルフローから周辺接近車・周辺割
   り込み車の存在を検出する手段と、 を備えたことを特徴とする車両周辺監視装置。
2. 【請求項２】 車両の周辺を撮像する撮像手段と、 このイメージセンサにより撮像された撮像画面内に所定
   の位置に１つ以上の演算領域を設定し、その領域内で時
   系列的に異なる２枚の画像からこの画像上での速度分布
   を示す大きさと方向を有するオプティカルフローを求め
   るオプティカルフロー演算手段と、 上記演算領域内でオプティカルフロー演算手段により得
   られたオプティカルフローのうち、上記の演算領域で設
   定した一定値以上の大きさを持つオプティカルフローの
   方向を出力するフローの方向検出手段と、 上記演算領域内の所定の位置に１つ以上の前車発進のオ
   プティカルフロー監視領域を設定する手段と、 上記前車発進フロー監視領域内で、上記フローの方向検
   出手段により検出されたオプティカルフローから前車発
   進車の画像上での動きの方向パターンと同じパターンを
   持つオプティカルフロー領域を抽出する前車発進フロー
   パターン抽出手段と、 上記フローパターン抽出手段により抽出されたオプティ
   カルフローから前車発進を検出する手段と、 を備えたことを特徴とする車両周辺監視装置。