JPH0737099A - 移動物体検出装置 - Google Patents

Abstract

(57)【要約】 【目的】より短時間で画像処理を行って高速で移動する
移動物体の検出を可能とし、画像データを記憶するメモ
リ容量も少なくできる移動物体検出装置を提供する。 【構成】撮像装置２が移動物体をインタレース走査によ
り撮像しその画像信号を出力し、撮像装置２から送られ
た画像信号の１フレームを構成する奇数フィールドと偶
数フィールドの画像データが記憶装置４に記憶される。
ずれ抽出手段は、記憶装置４に記憶された１フレームの
奇数フィールドと偶数フィールドの各画像データを取り
込み、所定の画素領域内に所定の係数を設定したカーネ
ルについて画像データを積和演算し、奇数フィールドと
偶数フィールドとの画像データのずれを抽出する。移動
物体検出手段は、ずれ抽出手段で抽出されたずれデータ
に基づき、移動物体の輪郭又は濃淡を抽出して移動物体
を検出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、移動物体を含む画像デ
ータの画像処理によって、移動物体の検出を行う移動物
体検出装置に関し、例えば、車両の後方を監視する車両
用モニタ装置等に適用が可能である。

【０００２】

【従来の技術】従来、移動物体を含む画像データを画像
処理して移動物体を検出する装置として、時間差をもつ
２つの画像フレームにおける各画素データの差を求め、
静止物体の画像データの２フレーム間の差は零であり、
移動物体の２フレーム間には有効な差が生じることか
ら、その２フレーム間のデータの差分により移動物体を
検出する装置が開発されている。

【０００３】

【発明が解決しようとする課題】しかし、この２フレー
ム間の画素データの差分を求めて移動物体を検出する装
置では、画像が毎秒３０フレームで形成される場合、２
つのフレームを得るまでに１／１５秒の時間が必要とな
り、移動する物体を実時間で検出することができにくく
なる。また、画像にぶれが生じた場合、移動物体の検出
に悪影響を及ぼしやすく、さらに、２フレーム分の画像
データを記憶するメモリが必要となり、フレームメモリ
の容量が増大する問題があった。

【０００４】本発明は、上記の点に鑑みてなされたもの
で、より短時間で画像処理を行って高速で移動する移動
物体の検出を可能とし、画像データを記憶するメモリ容
量も少なくできる移動物体検出装置を提供することを目
的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明の移動物体検出装置は、移動物体をインタレ
ース走査により撮像しその画像信号を出力する撮像装置
と、撮像装置から送られた画像信号の１フレームを構成
する奇数フィールドと偶数フィールドの画像データを記
憶する記憶手段と、記憶手段に記憶された１フレームの
奇数フィールドと偶数フィールドの各画像データを取り
込み、所定の画素領域内に所定の係数を設定したカーネ
ルについて画像データを積和演算し、奇数フィールドと
偶数フィールドとの画像データのずれを抽出するずれ抽
出手段と、ずれ抽出手段で抽出されたずれデータに基づ
き、移動物体の輪郭又は濃淡を抽出して移動物体を検出
する移動物体検出手段と、から構成される。

【０００６】

【作用・効果】このような構成の移動物体検出装置で
は、撮像装置がインタレース走査により移動物体を撮像
し、移動物体を撮像した画像信号の１フレームを構成す
る奇数フィールドと偶数フィールドの各画像データが記
憶手段に記憶される。この１フレームの画像が、例え
ば、図１（Ａ）に示すような画像である場合、その偶数
フィールドの画像は図１（Ｂ）、奇数フィールドの画像
は図１（Ｃ）に示すような画像となる。画像中、Ｓは静
止物体、Ｍは移動物体である。

【０００７】次に、ずれ抽出手段が、記憶手段に記憶さ
れた１フレームの奇数フィールドと偶数フィールドの画
像データを取り込み、所定の画素領域内に所定の係数を
設定したカーネルについてそれらの画像データを積和演
算し、奇数フィールドと偶数フィールドとの画像データ
のずれを抽出する。

【０００８】奇数フィールドと偶数フィールドとの画像
データのずれは、図１（Ｂ）と（Ｃ）に示す画像の相違
した部分、つまり移動物体Ｍであり、移動物体検出手段
が、そのずれデータに基づき、移動物体の濃淡又は輪郭
を抽出して移動物体Ｍを検出する。

【０００９】このように、画像信号の１フレームを構成
する奇数フィールドと偶数フィールドの画像データのず
れを抽出して、移動物体を検出するため、画像が毎秒３
０フレームで形成される場合、１フレームを得るまでに
１／３０秒と従来に比べ半分の時間となり、高速で移動
する物体を実時間で検出することができ、画像のぶれに
よる影響も少なくなる。また、記憶手段の容量も１フレ
ーム分の画像データを記憶するのみでよいため、従来に
比べ、メモリ容量を少なくすることができる。

【００１０】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。

【００１１】図２は本発明を適用した車両用モニタ装置
の構成ブロック図を示している。この車両用モニタ装置
は、マイクロコンピュータを主要部にして構成され、１
はＣＰＵ、２はＣＣＤ等を使用した撮像装置、３は撮像
装置２が接続される画像信号の入力部である。撮像装置
２は、例えば車両の後部に後方を向けて装着され、車両
の後方を撮影する。入力部３は、撮像装置２から送られ
た画像信号をデジタルフレーム信号（画像データ）に変
換して入力する。

【００１２】４は半導体メモリ等からなる記憶装置で、
画像の１フレームを構成する奇数フィールドと偶数フィ
ールドの各画像データを記憶する。５は輪郭線抽出部
で、記憶装置４から１フレームの奇数フィールドと偶数
フィールドの各画像データを取り込み、例えば、図３に
示すように、３×３のカーネルを設定すると共に、所定
の係数を設定し、カーネル内の画像データ（各画素レベ
ル）と係数を積和演算し、カーネルを移動しながら全画
素についてその演算を行う。

【００１３】このような空間フィルタリングによって、
奇数フィールドと偶数フィールドとの画像データのずれ
を抽出する。さらに、この空間フィルタリング後の画像
データを２値化処理し、論理フィルタをかけて孤立点除
去を行うことにより、移動物体の輪郭線が抽出される。

【００１４】６は動きベクトル検出部であり、オプティ
カルフローつまり連続画像間に生じる二次元画像上の速
度ベクトルを、勾配法或は相関法により求めることによ
って、移動物体の動きベクトルつまり画面上での移動方
向を検出する。

【００１５】ＣＰＵ１は、動きベクトル検出部６から送
られる移動物体の動きベクトルの検出データに基づき、
移動物体の相対的な離隔、静止、又は接近を判定する。
即ち、検出された動きベクトルつまり移動方向が、撮像
装置２が撮影した画面の略中央に位置する無限遠点（Ｆ
ＯＥ）に向う場合、移動物体が離隔していると判定し、
逆に、移動物体の画面上での移動方向がＦＯＥから外側
に向う場合、移動物体が接近していると判定し、動きベ
クトルが零であれば、相対的な静止と判定する。

【００１６】７は、撮像装置２によって撮影された元の
画像と、輪郭線抽出部５で抽出された移動物体の輪郭線
の画像とを合成する画像合成部であり、例えば、接近中
の移動物体の輪郭線には赤色を、静止状態の移動物体の
輪郭線には黄色を着色して画像合成を行う。８は画像合
成部７で合成された画像を表示するＣＲＴ、液晶ディス
プレイ等の表示装置であり、車両の運転席等に設置され
る。

【００１７】次に、上記構成の車両用モニタ装置の動作
を、図４のフローチャートを参照して説明する。

【００１８】このモニタ装置を搭載した自動車Ｃが、図
５に示すような状態で走行する間、自動車後部に後方を
向けて装着された撮像装置２は、図６に示すような画像
を撮影し、その画像信号を出力する。入力部３は、撮像
装置２から送られた画像信号をデジタルフレーム信号
（画像データ）に変換して入力し、その１フレームを構
成する奇数フィールドと偶数フィールドの各画像データ
が記憶装置４に記憶される。

【００１９】輪郭線抽出部５は、記憶装置４から１フレ
ームの奇数フィールドと偶数フィールドの画像データを
取り込み（ステップ１００）、予め設定されたカーネル
内の画像データ（各画素レベル）と所定の係数を積和演
算して、画像データの空間フィルタリングを行う。この
空間フィルタリングによって、１フレームの奇数フィー
ルドと偶数フィールドとの画像データのずれが抽出さ
れ、この空間フィルタリング後の画像データを２値化処
理し、論理フィルタをかけて孤立点除去を行うことによ
り、移動物体の輪郭線が抽出される（ステップ１１
０）。このような演算処理はパイプライン方式等により
実時間で実行される。

【００２０】次に、動きベクトル検出部６が、連続画像
間に生じる二次元画像上の速度ベクトルを、勾配法或は
相関法により求めることによって、移動物体の動きベク
トルつまり画面上で移動物体の輪郭線の移動方向を検出
する（ステップ１２０）。

【００２１】次に、ＣＰＵ１は、ステップ１３０で、動
きベクトル検出部６から送られる移動物体の動きベクト
ルの検出データに基づき、移動物体の相対的な離隔、静
止、又は接近を判定する。即ち、検出された動きベクト
ルつまり移動方向が、撮像装置２が撮影した画面中の無
限遠点（ＦＯＥ）に向う場合、移動物体が離隔している
と判定する。例えば、図６に示すように、街路樹が画面
内に撮影されている場合、これらの固定物体はＦＯＥに
向うため、離隔していると判定する。

【００２２】一方、ＣＰＵ１は、移動物体の画面上での
移動方向がＦＯＥから外側に向う場合、移動物体が接近
していると判定する。例えば、図６のように、自車より
高速で走行しながら接近するオートバイＡが画面に撮影
されている場合、この移動物体はＦＯＥから外側に向っ
て移動するため、移動物体つまりオートバイＡは自車に
接近していると判定する。また、自車と同じ速度で走行
する自動車Ｂが撮影されている場合、この物体の動きベ
クトルは零であるから、この物体つまり自動車Ｂは相対
的に静止していると判定する。

【００２３】次に、ＣＰＵ１は、ステップ１４０で、自
車が走行中であるか停止中であるかを車速信号等により
判定し、自車が走行中の場合、ステップ１５０に進み、
接近中と判定した移動物体、つまり図６のオートバイＡ
の輪郭線を赤色に着色表示するように決定し、相対的に
静止する移動物体、つまり図６の自動車Ｂの輪郭線を黄
色に着色表示するように決定する。

【００２４】また、ステップ１４０で、自車が停止中と
判定した場合、ステップ１６０に進み、接近中と判定し
た移動物体の輪郭線を赤色に着色表示するように決定す
る。

【００２５】そして、画像合成部７において、撮像装置
２によって撮影された元の画像と、輪郭線抽出部５で抽
出された移動物体の輪郭線の画像とが合成され、ステッ
プ１５０又は１６０で決定されたように、接近中のオー
トバイＡの輪郭線が赤色に着色され、静止状態の移動物
体（自動車Ｂ）の輪郭線が黄色に着色され、図７のよう
に表示装置８に表示される（ステップ１７０）。

【００２６】一般に、自動車を運転中の運転者は、バッ
クミラーやモニタ装置の画面を見る場合、瞬間的にしか
それを見ることができないため、そこに見える物体が接
近、静止、或は離隔しているか否かを判断することが困
難である。しかし、このモニタ装置では、上記のよう
に、自車に接近する移動物体が赤色に着色して表示さ
れ、また、同じ速度で走行し相対的に静止する移動物体
が黄色に着色して表示されるため、運転者は、その表示
装置の表示画面を瞬時に見るだけで、直ちに且つ極めて
容易に接近する移動物体や同じ速度で走行する移動物体
を認識することができ、安全運転に役立てることができ
る。

【００２７】なお、上記実施例では、空間フィルタリン
グによって、１フレームの奇数フィールドと偶数フィー
ルドとの画像データのずれを求め、移動物体の輪郭線を
抽出したが、奇数フィールドと偶数フィールドとの画像
データの差分を求め、その差分から移動物体をの輪郭線
を抽出することもできる。

【００２８】また、上記の実施例では、移動物体の輪郭
線を抽出し、その輪郭線を着色して表示したが、移動物
体を濃淡情報の分布から検出し、移動物体のみをカラー
で表示し、背景等の他の部分はモノクロームで表示する
こともできる。

【００２９】図８は本発明を適用した他の車両用モニタ
装置の構成ブロック図を示している。この車両用モニタ
装置は、マイクロコンピュータを主要部にして構成さ
れ、１１はＣＰＵ、１２はＣＣＤ等を使用した撮像装
置、１３は撮像装置１２が接続される画像信号の入力部
である。

【００３０】撮像装置１２は、比較的遠い焦点距離でリ
ファレンス画像を撮影すると共に、複数の特定焦点距離
で距離検出画像を撮影し、撮影した複数の画像信号を別
個に出力する装置である。例えば、焦点距離２ｍ（近距
離）、焦点距離４ｍ（中距離）、及び遠距離と、焦点距
離を変更可能な光学系を有し、１台のＣＣＤセンサによ
り各焦点距離の画像を撮影して出力する。或は、焦点距
離が上記のように異なる光学系を有した３台のＣＣＤセ
ンサを設けて構成することもできる。

【００３１】撮像装置１２は、車両の後部に後方を向け
て装着され、車両の後方を撮影する。入力部１３は、撮
像装置１２から送られた画像信号をデジタルフレーム信
号（画像データ）に変換して入力する。

【００３２】１４は半導体メモリ等からなる記憶装置
で、リファレンス画像として画像の１フレームを構成す
る奇数フィールドと偶数フィールドの各画像データ、及
び、近中焦点距離で撮影した各画像の１フレームの画像
データを記憶する。

【００３３】１５は輪郭線抽出部で、記憶装置４からリ
ファレンス画像の１フレームの奇数フィールドと偶数フ
ィールドの各画像データを取り込み、例えば、３×３の
カーネルを設定すると共に、所定の係数を設定し、カー
ネル内の画像データ（各画素レベル）と係数を積和演算
し、カーネルを移動しながら全画素についてその演算を
行う。

【００３４】このような空間フィルタリングによって、
リファレンス画像の奇数フィールドと偶数フィールドと
の画像データのずれを抽出する。さらに、この空間フィ
ルタリング後の画像データを２値化処理し、論理フィル
タをかけて孤立点除去を行うことにより、リファレンス
画像中の移動物体の輪郭線が抽出される。

【００３５】１６は特定距離画像用の輪郭線抽出部であ
り、焦点距離２ｍ（近距離）、焦点距離４ｍ（中距離）
で撮影された各画像の画像データから、先ず、空間フィ
ルタリングによって輪郭線を抽出する。さらに、それら
の輪郭線データの最大値を検出することにより、焦点距
離に位置する物体の輪郭線を抽出する。輪郭線は、明瞭
な部分ほど、空間的な高周波成分を多く含み、空間的な
ハイパスフィルタをかけることにより、最大の高周波線
分つまり焦点位置の物体の輪郭線を抽出することができ
る。さらに、空間フィルタリング後の画像データは２値
化処理し、さらに論理フィルタをかけて孤立点除去を行
い、各焦点距離つまり距離２ｍ（近距離）と距離４ｍ
（中距離）に位置する物体の輪郭線が抽出される。

【００３６】ＣＰＵ１１は、特定距離画像用の輪郭線抽
出部１６から送られた輪郭線抽出データに対し、距離２
ｍの近距離画像には赤色着色し、距離４ｍの中距離画像
には黄色着色するように、表示用の着色を決定する。さ
らに、特定距離画像用の輪郭線抽出部１６からの輪郭線
抽出データに対し、リファレンス画像の移動物体の輪郭
線以外の部分をマスクするマスク処理を行い、移動物体
のみの輪郭線データとする。

【００３７】１７は、撮像装置１２で撮影されたリファ
レンス画像と、特定距離画像用の輪郭線抽出部１６で抽
出された移動物体の輪郭線の画像とを合成する画像合成
部であり、近距離の移動物体の輪郭線には赤色を、中距
離の移動物体の輪郭線には黄色を着色して画像合成を行
う。１８は画像合成部１７で合成された画像を表示する
ＣＲＴ、液晶ディスプレイ等の表示装置であり、車両の
運転席等に設置される。

【００３８】次に、上記構成の車両用モニタ装置の動作
を、図９のフローチャートを参照して説明する。

【００３９】このモニタ装置を搭載した自動車Ｄが、図
１０に示すような状態で走行する間、自動車後部に後方
を向けて装着された撮像装置１２は、図１１に示すよう
なリファレンス画像、及び焦点距離を２ｍ、４ｍとした
特定焦点距離画像を撮影し、その画像信号を出力する。
入力部１３は、撮像装置１２から送られた画像信号をデ
ジタルフレーム信号（画像データ）に変換して入力し、
各画像データが記憶装置１４に記憶される。特に、リフ
ァレンス画像データについては、その１フレームを構成
する奇数フィールドと偶数フィールドの各画像データが
記憶される。

【００４０】輪郭線抽出部１５は、記憶装置１４からリ
ファレンス画像データの１フレームの奇数フィールドと
偶数フィールドの画像データを取り込み（ステップ２０
０）、予め設定されたカーネル内の画像データ（各画素
レベル）と所定の係数を積和演算して、画像データの空
間フィルタリングを行う。この空間フィルタリングによ
って、１フレームの奇数フィールドと偶数フィールドと
の画像データのずれが抽出され、この空間フィルタリン
グ後の画像データを２値化処理し、論理フィルタをかけ
て孤立点除去を行うことにより、移動物体の輪郭線が抽
出される（ステップ２１０）。このような演算処理はパ
イプライン方式等により実時間で実行される。

【００４１】次に、特定距離画像用の輪郭線抽出部１６
は、記憶装置１４から特定焦点距離（２ｍ，４ｍ）で撮
影した画像データを取り込み（ステップ２２０）、ステ
ップ２３０で、各焦点距離の画像データから、焦点距離
の位置に在る物体の輪郭線を抽出する。

【００４２】即ち、輪郭線抽出部１６は、先ず、各画像
データに対し空間フィルタリングを行うことにより、各
画像の輪郭線を抽出する。さらに、それらの輪郭線デー
タの最大値を検出することにより、焦点距離の位置に在
る物体の輪郭線を抽出する。画像データ中の輪郭線は、
明瞭な部分ほど高い高周波成分を多く含み、空間的なハ
イパスフィルタをかけることにより、最大の高周波成分
つまり焦点位置の物体の輪郭線を抽出することができ
る。さらに、空間フィルタリング後の画像データを２値
化処理し、さらに、論理フィルタをかけて孤立点除去を
行い、各焦点距離つまり距離２ｍ（近距離）と距離４ｍ
（中距離）に位置する物体の輪郭線が抽出される（ステ
ップ２３０）。

【００４３】次に、ＣＰＵ１１は、ステップ２４０で、
特定距離画像用の輪郭線抽出部１６から送られた輪郭線
抽出データに対し、距離２ｍの近距離画像には赤色着色
し、距離４ｍの中距離画像には黄色着色するように、表
示用の着色を決定する。さらに、ステップ２５０で、特
定距離画像用の輪郭線抽出部１６からの輪郭線抽出デー
タに対し、上記ステップ２１０で抽出したリファレンス
画像の移動物体の輪郭線以外の部分をマスクするマスク
処理を行い、これによって、移動物体のみの輪郭線デー
タを作成する。

【００４４】そして、ステップ２６０で、画像合成部１
７において、撮像装置１２によって撮影されたリファレ
ンス画像と、マスク処理された移動物体の輪郭線の着色
画像とが合成され、ステップ２４０で決定されたよう
に、２ｍ後方に位置する自動車Ｅの輪郭線が赤色に着色
され、４ｍ後方に位置する自動車の輪郭線が黄色に着色
され、図１２のように表示装置１８に表示される。

【００４５】このように、自車の２ｍ後方に接近した移
動物体が赤色に着色して表示され、また、４ｍ後方の移
動物体が黄色に着色して表示されるため、運転者は、そ
の表示装置の表示画面を瞬時に見るだけで、直ちに且つ
極めて容易に接近した移動物体を認識することができ、
安全運転に役立てることができる。

【００４６】なお、リファレンス画像をモノクロームで
撮影し、特定距離画像用の輪郭線抽出部で抽出した特定
距離に位置する移動物体のみを着色して表示することも
できる。

【図面の簡単な説明】

【図１】本発明の移動物体検出装置の動作を説明するた
めの１フレーム、奇数フィールド、偶数フィールドの画
面の説明図である。

【図２】本発明の実施例を示す車両用モニタ装置のブロ
ック図である。

【図３】カーネルの説明図である。

【図４】車両用モニタ装置の動作を示すフローチャート
である。

【図５】車両の走行状態を示す説明図である。

【図６】撮像装置の撮影画面図である。

【図７】表示装置８の表示画面図である。

【図８】他の実施例を示す車両用モニタ装置のブロック
図である。

【図９】同モニタ装置の動作を示すフローチャートであ
る。

【図１０】車両の走行状態を示す説明図である。

【図１１】撮像装置の撮影画面図である。

【図１２】表示装置１８の表示画面図である。

【符号の説明】

１−ＣＰＵ、２−撮像装置、４−記憶装置、５−輪郭線
抽出部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０８Ｇ 1/04 Ｃ 7531−3Ｈ 1/16 Ｃ 7531−3Ｈ

Claims (1)

【特許請求の範囲】
1. 【請求項１】移動物体をインタレース走査により撮像し
   その画像信号を出力する撮像装置と、 該撮像装置から送られた画像信号の１フレームを構成す
   る奇数フィールドと偶数フィールドの各画像データを記
   憶する記憶手段と、 該記憶手段に記憶された１フレームの奇数フィールドと
   偶数フィールドの画像データを取り込み、所定の画素領
   域内に所定の係数を設定したカーネルについて該画像デ
   ータを積和演算し、該奇数フィールドと偶数フィールド
   との画像データのずれを抽出するずれ抽出手段と、 該ずれ抽出手段で抽出されたずれデータに基づき、移動
   物体の輪郭又は濃淡を抽出して移動物体を検出する移動
   物体検出手段と、 を備えたことを特徴とする移動物体検出装置。