JP2007311866A - 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム - Google Patents

Abstract

【課題】車両の旋回時に画像上に生じる残像の影響を低減して、車両に搭載された撮像手段により得られた車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラムを提供する。
【解決手段】撮像手段２Ｒ，２Ｌを介して取得した画像から車両１０の周辺に存在する対象物を抽出する対象物抽出手段１１と、抽出された対象物の種類を判定する対象物判定手段１２とを備える。車両１０のヨーレートを逐次検出するヨーレート検出手段３を備える。対象物判定手段１２は、ヨーレート検出手段３により検出されたヨーレートの大きさに応じて、対象物の種類を判定するために実行する判定アルゴリズムを選択的に切り替える手段を備える。
【選択図】図１

Description

本発明は、車両に搭載されたカメラ等の撮像手段を介して取得した画像から、車両の周辺に存在する歩行者等の対象物を検出する装置及び方法に関する。さらに、その装置の処理をコンピュータに実行させるためのプログラムに関する。

近年、車両にＣＣＤカメラ等の撮像手段を搭載して周辺を撮像し、撮像された画像から車両の周辺に存在する歩行者等の対象物を検出し、車両との接触を回避すべき対象を判定して、運転者への情報の提示等を行う技術が知られている（例えば特許文献１参照）。

特許文献１の車両の周辺監視装置においては、２つの赤外線カメラにより得られた車両周辺の画像を２値化処理して対象物を抽出し、該対象物と車両との相対位置や相対速度を検出して、該対象物と車両との接触の可能性及び対象物の種類を判定する。このとき、特許文献１の車両の周辺監視装置では、車両前方の接近判定領域（対象物の車両に対する相対速度や車幅等に応じて定まる領域）に対象物が存在する場合に、該対象物の種類（歩行者、他車両、人工構造物等）を判定する。対象物の種類を判定する際には、対象物の形状、グレースケール画像上での輝度分散等の特徴が用いられる。そして、対象物が歩行者である場合に、該対象物は車両との接触を回避すべき対象であると判定される。

一方、車両の旋回時には、撮像手段の撮像性能に比べて対象物の車両に対する相対位置の時間変化が大きくなるために、車両に搭載された撮像手段から得られた道路周辺の画像上で、歩行者等の対象物の残像が生じる場合がある。例えば、車両が右方向に旋回している場合には、画像上で対象物が左側にずれるため右側に残像が生じ、車両が左方向に旋回している場合には、画像上で対象物が右側にずれるため左側に残像が生じる。そして、このように残像が生じている画像から対象物を抽出すると、残像の影響で、対象物の形状、輝度分散等の特徴が変化する。このため、例えば対象物が歩行者である場合でも、画像上での対象物の形状、輝度分散等の特徴が、残像が生じていない画像上で一般に歩行者が示す特徴と相違することとなる。

しかしながら、特許文献１の車両の周辺監視装置では、このような残像の影響は考慮されていないため、車両の旋回時には、例えば対象物が歩行者である場合でも、対象物の種類を判定する際に歩行者でないと誤判定される可能性がある。このため、車両の旋回時に、画像から抽出された対象物の種類を適切に判定して歩行者等の対象物を検出し得る技術が望まれていた。
特開２００３−２８４０５７号公報

本発明は、かかる背景に鑑みてなされたものであり、車両の旋回時に画像上に生じる残像の影響を低減して、車両に搭載された撮像手段により得られた車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる対象物検出装置、車両、対象物検出方法、並びに該対象物検出装置の処理をコンピュータに実行させる対象物検出用プログラムを提供することを目的とする。

かかる目的を達成するために、本発明の対象物検出装置は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を抽出する対象物抽出手段と、該対象物抽出手段により抽出された対象物の種類を判定する対象物判定手段とを備えた対象物検出装置において、前記車両のヨーレートを逐次検出するヨーレート検出手段を備え、前記対象物判定手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさに応じて、前記対象物の種類を判定するために実行する判定アルゴリズムを選択的に切り替える手段を備えることを特徴とする（第１発明）。

前記本発明の対象物検出装置において、前記対象物抽出手段により、前記撮像手段を介して取得した画像から、前記車両の周辺に存在する対象物が抽出される。このとき、車両の旋回時には、取得された画像上で対象物の残像が生じることがある。例えば、車両が右方向に旋回している場合には、画像上で対象物の右側に残像が生じ、車両が左方向に旋回している場合には、画像上で対象物の左側に残像が生じる。そして、このように残像が生じている画像から対象物を抽出すると、残像の画像部分が対象物の画像部分に含まれて抽出される。このため、残像の影響で、抽出された対象物の画像部分の全体的な形状、輝度分散等の特徴量が変化する。

そこで、前記対象物判定手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさに応じて、前記対象物の種類（例えば歩行者、他車両、人工構造物等）を判定するために実行する判定アルゴリズムを選択的に切り替える。すなわち、前記車両のヨーレートの大きさは、前記画像上で残像が生じている可能性の度合を示す。このため、ヨーレートの大きさに応じて、前記対象物判定手段が実行する判定アルゴリズムを切り替えることにより、残像が生じている状況とそうでない状況とでそれぞれに適した判定アルゴリズムで対象物の種類を判定する処理を実行できる。例えば前者の状況（残像の生じている状況）では、後者の状況（残像の生じていない状況）よりも、より残像の影響を低減し得る判定アルゴリズムに切り替えればよい。よって、本発明によれば、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から歩行者等の対象物の種類を精度良く判定することが可能となる。

また、前記第１発明において、前記対象物判定手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさが所定閾値以上であるか否かに応じて、前記判定アルゴリズムを選択的に切り替えて実行するものであり、前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが前記所定閾値以上である場合に実行する前記判定アルゴリズムは、該画像から前記対象物抽出手段により抽出された対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量に基づいて、該対象物の種類を判定することが好ましい（第２発明）。

これによれば、前記対象物判定手段は、前記画像が取得されたときの前記ヨーレートの大きさが所定閾値以上である場合（車両が旋回してヨーレートの大きさが画像上に残像が生じる程度に十分に大きいとき）に、該画像から前記対象物抽出手段により抽出された対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量に基づいて、該対象物の種類を判定する。すなわち、前記車両の旋回方向と逆側のエッジ寄りの部分は、残像が生じていない側の画像部分であるので、この部分の特徴量は、残像の影響が排除されたものとなる。従って、前記対象物判定手段により、この部分の特徴量に基づいて前記対象物の種類を判定することで、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる。

なお、前記対象物判定手段は、前記画像が取得されたときの前記ヨーレートの大きさが所定閾値未満である場合（ヨーレートの大きさが画像上に残像が生じない程度に十分に小さいとき）には、前記対象物の種類を判定するために実行する判定アルゴリズムを、少なくとも該ヨーレートの大きさが該所定閾値以上である場合に実行する判定アルゴリズムと異なる判定アルゴリズムに切り替えればよい。このとき、前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが前記所定閾値未満である場合に実行する前記判定アルゴリズムは、例えば、該画像から前記対象物抽出手段により抽出された対象物の画像部分の全体的な特徴量（該対象物の画像部分の左右の両側部分のいずれも含む画像部分全体の特徴量）や、該対象物の画像部分の左右の両側部分のうちの予め定められたいずれか一方の部分の特徴量に基づいて、該対象物の種類を判定すればよい。

さらに、前記第２発明において、前記ヨーレート検出手段により検出されたヨーレートの大きさが前記所定閾値未満である場合に、前記対象物判定手段により種類が判定された対象物の画像部分を、対象物画像として逐次記憶する対象物画像記憶手段を備え、前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが所定閾値以上である場合に実行する前記判定アルゴリズムは、該画像から前記対象物抽出手段により抽出された対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、該ヨーレートの大きさが該所定閾値以上に変化する直前に前記対象物画像記憶手段により記憶された対象物画像の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量との類似の度合を算出する処理と、該算出された類似の度合に基づいて、該対象物の種類を判定する処理とを備えることが好ましい（第３発明）。

これによれば、前記対象物画像記憶手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさが前記所定閾値未満である場合（ヨーレートの大きさが画像上に残像が生じない程度に十分に小さいとき）に、前記対象物判定手段により種類が判定された対象物の画像部分を、対象物画像として記憶する。この対象物画像は、例えば対象物が歩行者である場合には、残像が生じていない状態での歩行者の画像部分である。

ここで、前記画像が取得されたときの前記ヨーレートの大きさが所定閾値以上である場合（車両が旋回してヨーレートの大きさが画像上に残像が生じる程度に十分に大きいとき）に、該画像から前記対象物抽出手段により抽出された対象物の画像部分の特徴量と、該ヨーレートの大きさが該所定閾値以上に変化する直前に前記対象物画像記憶手段により記憶された対象物画像の特徴量（例えば歩行者であることを示す特徴量）とが、類似の度合が高ければ、該対象物の種類が判る。

そこで、前記対象物判定手段は、前記対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、前記対象物画像の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量との類似の度合を算出する。すなわち、前記対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分は、残像が生じていない側の画像部分であるので、残像の影響が排除され、算出された前記類似の度合には、前記対象物の特徴量と前記対象物画像の特徴量との類似の度合が精度良く示される。よって、前記対象物判定手段により、前記類似の度合に基づいて前記対象物の種類を判定することで、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる。

さらに、前記第３発明において、前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を検出する距離検出手段を備え、前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが前記所定閾値以上である場合に実行する前記判定アルゴリズムは、該画像から前記対象物抽出手段により抽出された対象物の、前記距離検出手段により検出された距離と、該ヨーレートの大きさが該所定閾値以上に変化する直前に前記対象物画像記憶手段により記憶された対象物画像に対応する対象物の、該距離検出手段により検出された距離とに基づいて、該対象物画像の大きさを補正する処理を備え、該補正された対象物画像を用いて、前記類似の度合を算出することが好ましい（第４発明）。

すなわち、対象物の車両に対する距離が変化すると、該車両に搭載された撮像手段を介して取得された画像上で、該対象物の画像部分の大きさが該距離の変化に応じて変化する。そこで、前記対象物判定手段は、前記ヨーレートの大きさが所定閾値以上であるときに取得された画像から前記対象物抽出手段により抽出された対象物の、前記距離検出手段により算出された距離と、該ヨーレートの大きさが該所定閾値以上に変化する直前に前記対象物画像記憶手段により記憶された対象物画像に対応する対象物の、該距離検出手段により算出された距離とに基づいて、該対象物画像の大きさを補正する。すなわち、前記対象物画像の大きさが、対象物の車両に対する距離の変化の影響を低減するように補正される。

そして、前記対象物判定手段により、前記補正された対象物画像を用いて前記類似の度合が算出される。従って、算出された前記類似の度合は、対象物の車両に対する距離の変化によらずに、前記対象物の画像部分の特徴量と前記対象物画像の特徴量との類似の度合をより適切に示すものとなる。よって、前記対象物判定手段により、算出された前記類似の度合に基づいて前記対象物の種類を判定することで、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる。

さらに、前記第１〜第４発明において、具体的には、前記対象物判定手段が判定する対象物の種類は、少なくとも歩行者を含む（第５発明）。これによれば、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から歩行者を精度良く検出することができる。

次に、本発明の車両は、前記本発明の対象物検出装置を搭載したことを特徴とする（第６発明）。前記本発明の車両によれば、本発明の対象物検出装置と同等の効果を奏する車両を実現できる。

次に、本発明の対象物検出方法は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を抽出し、該抽出された対象物の種類を判定する対象物検出方法であって、前記車両のヨーレートを逐次検出するヨーレート検出ステップと、前記ヨーレート検出ステップで検出されたヨーレートの大きさに応じて、前記対象物の種類を判定する判定アルゴリズムを選択的に切り替え、その選択した判定アルゴリズムを実行することにより該対象物の種類を判定する対象物判定ステップとを備えたことを特徴とする（第７発明）。

前記本発明の対象物検出方法によれば、前記第１発明に関して説明したように、前記ヨーレート検出ステップで検出されたヨーレートの大きさは、前記画像上で残像が生じている可能性の度合を示す。このため、ヨーレートの大きさに応じて、前記対象物判定ステップで実行する判定アルゴリズムを選択的に切り替えることにより、残像が生じている状況とそうでない状況とでそれぞれに適した判定アルゴリズムで対象物の種類を判定する処理を実行できる。よって、本発明によれば、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる。

次に、本発明の対象物検出用プログラムは、車両に搭載された撮像手段を介して取得した画像から抽出される、該車両の周辺に存在する対象物の種類を判定する処理をコンピュータに実行させる対象物検出用プログラムであって、前記車両のヨーレートの検出値を逐次取得するヨーレート取得処理と、前記ヨーレート取得処理により取得されたヨーレートの大きさに応じて、前記対象物の種類を判定するための判定アルゴリズムを選択的に切り替え、その選択した判定アルゴリズムを実行することにより該対象物の種類を判定する対象物判定処理とを前記コンピュータに実行させる機能を有するプログラムであることを特徴とする（第８発明）。

この第８発明の対象物検出用プログラムによれば、前記第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。

本発明の一実施形態を添付の図面を参照して説明する。図１は、本実施形態による対象物検出装置の機能ブロック図であり、図２は、図１に示した対象物検出装置の車両への取り付け態様の説明図であり、図３は、図１の対象物検出装置における対象物検出・注意喚起動作を示すフローチャートである。また、図４は、図３の対象物検出・注意喚起動作における処理画像の例示図である。

図１，２を参照して、本実施形態の対象物検出装置は、ＣＰＵ（中央演算装置）を備えた電子ユニットである画像処理ユニット１を有する。画像処理ユニット１には、２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを逐次検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を逐次検出する車速センサ４と、自車両１０のブレーキの操作を逐次検出するためのブレーキセンサ５とが接続されている。

また、画像処理ユニット１には、自車両１０に搭載された、音声等による聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。表示装置７は、例えば、自車両１０のフロントウィンドウに画像等の情報を表示するＨＵＤ（ヘッドアップディスプレイ）７ａ等を備えている。ＨＵＤ７ａは、自車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。

赤外線カメラ２Ｒ，２Ｌは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。なお、赤外線カメラ２Ｒ，２Ｌは、本発明の撮像手段に相当する。

図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部に所定の間隔で取り付けられている。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両１０の前部に固定されている。

画像処理ユニット１は、詳細の図示は省略するが、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４及びブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル信号に変換されて入力される。そして、画像処理ユニット１は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ６や表示装置７を介して運転者に注意喚起（対象物に対する運転者の注意の喚起）を行う処理等を実行する。これらの処理は、画像処理ユニット１のＲＯＭに予め実装されたプログラムを画像処理ユニット１により実行することにより実現され、そのプログラムは、本発明の対象物検出用プログラムを含んでいる。

より詳しくは、画像処理ユニット１は、上記プログラムにより実現される機能として、取得された画像から自車両１０の周辺に存在する対象物を抽出する対象物抽出手段１１と、抽出された対象物の画像部分から該対象物が歩行者であるか否かを判定する対象物判定手段１２と、ヨーレートセンサ３により検出されたヨーレートの大きさが所定閾値未満である場合に対象物画像を逐次記憶する対象物画像記憶手段１３と、対象物の自車両１０に対する距離を検出する距離検出手段１４とを備える。また、画像処理ユニット１は、その機能として、演算処理周期毎に抽出された対象物の同一性を判定する同一性判定手段１６と、ヨーレートセンサ３により検出されたヨーレートの大きさが所定閾値未満である場合に同一性判定用対象物画像を逐次記憶する同一性判定用対象物画像記憶手段１５とを備える。

対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像から、自車両１０の周辺に存在する対象物を抽出する。具体的には、対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの所定の基準画像（本実施形態では、赤外線カメラ２Ｒを介して取得された画像とする）に２値化処理等を施して、さらにラベリング処理等を施し、対象物の画像部分を抽出する。

距離検出手段１４は、基準画像上で対象物抽出手段１１により抽出された対象物に対応する対象物を赤外線カメラ２Ｌを介して取得された画像上で探索し、２つの赤外線カメラ２Ｒ，２Ｌから得られる画像上での対象物のずれ（視差）に基づいて、対象物の自車両１０に対する距離を検出する。なお、画像に基づいて対象物の距離を検出する具体的な手法としては、例えば、上述の特許文献１に記載したような手法を用いることができる。

対象物画像記憶手段１３は、ヨーレートセンサ３より検出されたヨーレートの大きさが所定閾値未満である場合に、対象物判定手段１２により歩行者であると判定された対象物の画像部分を、対象物画像として逐次記憶する。

対象物判定手段１２は、対象物抽出手段１１により抽出された対象物の画像部分から、該対象物が歩行者であるか否かを判定する。具体的には、対象物判定手段１２は、ヨーレートの大きさが所定閾値以上であるときには、このとき取得された画像から抽出された対象物の画像部分の左右の両側部分のうちの、自車両１０の旋回方向と逆側のエッジ寄りの部分の特徴量と、該ヨーレートの大きさが所定閾値以上に変化する直前に記憶された対象物画像の左右の両側部分のうちの、自車両１０の旋回方向と逆側のエッジ寄りの部分の特徴量との類似の度合に基づいて、該対象物が歩行者であるか否かを判定する。なお、対象物判定手段１２は、距離検出手段１４の検出結果に基づいて対象物画像の大きさを補正し、該補正した対象物画像を用いて前記類似の度合を算出する。

また、対象物判定手段１２は、ヨーレートの大きさが所定閾値未満であるときには、このとき取得された画像から抽出された対象物の画像部分の全体的な特徴量に基づいて、該対象物が歩行者であるか否かを判定する。なお、歩行者の判定に用いる対象物の画像部分の全体的な特徴量は、例えば、対象物の形状、輝度分散等である。

同一性判定用対象物画像記憶手段１５は、ヨーレートセンサ３より検出されたヨーレートの大きさが所定閾値未満である場合に、対象物抽出手段１１により抽出された対象物の画像部分を、同一性判定用対象物画像として逐次記憶する。

同一性判定手段１６は、任意の時刻Ｔａに取得された画像から対象物抽出手段１１により抽出された第１の対象物が、該時刻Ｔａよりも前の演算処理周期の時刻Ｔｂに取得された画像から対象物抽出手段１１により抽出された第２の対象物と同一であるか否かを判定する。具体的には、同一性判定手段１６は、時刻Ｔａにおけるヨーレートの大きさが所定閾値以上であるときに、時刻Ｔａに取得された画像における第１の対象物の画像部分の左右の両側部分のうちの、自車両１０の旋回方向と逆側のエッジ寄りの部分の特徴量と、時刻Ｔｂに取得された画像における第２の対象物の画像部分の左右の両側部分のうちの、自車両１０の旋回方向と逆側のエッジ寄りの部分の特徴量とに基づいて、第１の対象物が第２の対象物と同一であるか否かを判定する。

また、同一性判定手段１６は、時刻Ｔａにおけるヨーレートの大きさが所定閾値未満であるときは、時刻Ｔａに取得された画像における第１の対象物の画像部分の全体的な特徴量と、時刻Ｔｂに取得された画像における第２の対象物の画像部分の全体的な特徴量とに基づいて、第１の対象物が第２の対象物と同一であるか否かを判定する。なお、同一性の判定に用いる対象物の画像部分の全体的な特徴量は、例えば、対象物の重心位置、面積、対象物の外接四角形の縦横比等である。

次に、本実施形態の対象物検出装置の全体的な作動（対象物検出・注意喚起動作）を、図３に示したフローチャートに従って説明する。図３を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ００１〜ＳＴＥＰ０２０の処理を繰り返して、対象物検出・注意喚起動作を実行する。まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得して（ＳＴＥＰ００１）、Ａ／Ｄ変換し（ＳＴＥＰ００２）、グレースケール画像を画像メモリに格納する（ＳＴＥＰ００３）。なお、赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。右画像と左画像とでは、同一の対象物の画像上での横方向（ｘ方向）の位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。

次に、画像処理ユニット１は、グレースケール画像のうちの基準画像に対して、その画像信号を２値化する（ＳＴＥＰ００４）。すなわち、基準画像の画像信号の輝度値が閾値Ｉthより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理が行われる。閾値Ｉthは、実験的に予め決定される値である。

図４（ａ）に、ある演算処理周期の時刻（離散系時刻）ｋにおいて赤外線カメラ２Ｒによって得られる画像を２値化した画像を例示する。図４（ａ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。太い実線で囲まれた領域は、赤外線カメラ２Ｒから得られる画像において、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域である。なお、図４（ａ）に示した例は、自車両１０の前方に歩行者が存在しており、自車両１０が直進している場合の例である。

次に、画像処理ユニット１は、２値化処理で「白」となった領域（以下、２値化領域という）からランレングスデータを作成する（ＳＴＥＰ００５）。作成されるランレングスデータは、２値化領域を画像の横方向の１次元の連結画素であるラインの集合で表し、該２値化領域を構成する各ラインをその始点の座標と、始点から終点までの長さ（画素数）とで示したものである。

次に、画像処理ユニット１は、作成されたランレングスデータに基づいて、対象物のラベリングをする（ＳＴＥＰ００６）ことにより、対象物を抽出する（ＳＴＥＰ００７）。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向（ｙ方向）に重なる部分のあるラインを１つの対象物とみなしてラベル（識別子）を付すことにより、画像内の連結した領域を対象物として抽出する。

上述のＳＴＥＰ００５〜００７の処理により、図４（ａ）に示す２値化領域が、図４（ｂ）に例示するように、対象物（２値化対象物）Ｔ_kとして抽出される。このとき、例えばラベルＴ_kの対象物は、ｎ個のランレングスデータＬ１〜Ｌｎで示される。なお、抽出される対象物（２値化対象物）には、道路周辺の歩行者以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。図４（ｂ）の例では、対象物Ｔ_kは、自車両１０の前方に存在する歩行者に対応する２値化対象物である。

次に、画像処理ユニット１は、抽出された対象物の面積Ｓ、重心位置Ｇｃ、対象物の外接四角形の高さＨｂ、幅Ｗｂ、重心位置Ｇｂ、縦横比ＡＳＰを算出する（ＳＴＥＰ００８）。具体的には、図４（ｂ）の例では、対象物Ｔ_kの面積Ｓ_kは、各ランレングスデータＬｉ（ｉ＝１，．．．，ｎ）で示されるラインの長さを、対象物Ｔ_kのｎ個のランレングスデータについて積算することにより算出する。また、対象物Ｔ_kの重心Ｇｃ_kの座標は、各ランレングスデータＬｉで示されるラインの長さと、各ランレングスデータＬｉのラインの中点の座標（ｘ［ｉ］，ｙ［ｉ］）とをそれぞれ掛け合わせ、更にこれを対象物Ｔ１のｎ個のランレングスデータについて積算したものを、面積Ｓ_kで割ることにより算出する。また、対象物Ｔ_kの外接四角形の縦横比ＡＳＰ_kは、対象物Ｔ_kの外接四角形の高さ（縦方向の長さ）Ｈｂ_kと幅（横方向の長さ）Ｗｂ_kとの比Ｈｂ_k／Ｗｂ_kとして算出する。なお、対象物Ｔ_kの画像部分Ｒ_kは、対象物Ｔ_kを囲む外接四角形の領域全体とする。

次に、画像処理ユニット１は、ヨーレートセンサ３により検出されるヨーレートＹＲと、車速センサ４により検出される車速ＶＣＡＲとを読み込む（ＳＴＥＰ００９）。なお、このＳＴＥＰ００９では、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒの算出も行われる。

次に、画像処理ユニット１は、対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎に同一対象物を認識する処理を行う（ＳＴＥＰ０１０）。同一対象物認識処理は、時刻ｋにおけるＳＴＥＰ００７の処理により対象物Ｔ_kが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ００７の処理により対象物Ｔ_k+1が抽出されたとしたとき、対象物Ｔ_k+1と対象物Ｔ_kとの同一性（対象物Ｔ_k+1が対象物Ｔ_kと同一の対象物であるか否か）を判定する処理である。そして、対象物Ｔ_kと対象物Ｔ_k+1とが同一の対象物であると判定された場合には、対象物Ｔ_k+1のラベルが対象物Ｔ_kのラベルと同じラベルに変更される。これにより、対象物Ｔ_kと対象物Ｔ_k+1とが同一の対象物であると認識されて、時刻間で追跡される。この同一対象物認識処理は、基準画像において実行される。なお、同一対象物認識処理については、詳細を後述する。

一方、画像処理ユニット１は、ＳＴＥＰ００９，０１０の処理に平行して、ＳＴＥＰ０１１〜０１４の処理を実行する。ＳＴＥＰ０１１〜０１４の処理は、対象物と自車両１０との距離ｚ（自車両１０の前後方向の距離）を算出する処理である。

まず、画像処理ユニット１は、基準画像の２値化画像によって追跡される対象物の中の１つを選択して、基準画像から探索画像Ｒ１（選択した対象物を囲む外接四角形の領域全体を探索画像とする）を抽出する（ＳＴＥＰ０１１）。

次に、画像処理ユニット１は、参照画像（赤外線カメラ２Ｒ，２Ｌから得られた右画像及び左画像のうちの基準画像でない画像）中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ＳＴＥＰ０１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、参照画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内に、座標（ｘ0，ｙ0）を基点（領域の左上の頂点）とした探索画像Ｒ１と同一形状の局所領域Ｒ３を設定する。そして、基点の座標（ｘ0，ｙ0）を変化させて、探索領域Ｒ２内で局所領域Ｒ３を移動させながら、局所領域Ｒ３と探索画像Ｒ１との相関の度合を示す輝度値の絶対差分和（SAD，Sum of Absolute Difference）Ｃ（ｘ0，ｙ0）を次式（１）により算出する。

ここで、絶対差分和Ｃ（ｘ0，ｙ0）は、探索画像Ｒ１内の座標（ｍ，ｎ）の画素の輝度値ＩＲと、探索領域Ｒ２内の座標（ｘ0，ｙ0）を基点とした局所領域Ｒ３内の座標（ｘ0＋ｍ，ｙ0＋ｎ）の画素の輝度値ＩＬとの差の絶対値を取り、この差の絶対値の探索画像Ｒ１及び局所領域Ｒ３内の全画素（ｍ＝０，．．．，M-1，ｎ＝０，．．．，N-1）についての総和値を求めたものである。なお、絶対差分和Ｃ（ｘ0，ｙ0）の値が小さいほど、探索画像Ｒ１と局所領域Ｒ３との相関の度合が高いことを示す。これにより、絶対差分和Ｃ（ｘ0，ｙ0）が最小となる基点の座標（ｘ0，ｙ0）を求め、この位置の局所領域Ｒ３を対応画像Ｒ４として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。ＳＴＥＰ０１１〜０１２の処理により、基準画像中の探索画像Ｒ１と、参照画像中の対応画像Ｒ４とが抽出される。

次に、画像処理ユニット１は、探索画像Ｒ１の重心位置と、対応画像Ｒ４の重心位置とに基づいて、視差Δｄ（画素数）を算出する（ＳＴＥＰ０１３）。そして、画像処理ユニット１は、算出された視差Δｄを用いて、次式（２）により、自車両１０と対象物との距離ｚを算出する（ＳＴＥＰ０１４）。

ｚ＝Ｂ×Ｆ／（Δｄ×ｐ） …（２）
なお、Ｂは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、Ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離Ｆ、ｐは画素間隔である。

ＳＴＥＰ０１０及びＳＴＥＰ０１４の処理の終了後、画像処理ユニット１は、次に、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ０１５）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点（自車両１０に固定された位置）を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向及びＹ方向は、それぞれ自車両１０の左右方向（車幅方向）、上下方向であり、これらのＸ方向及びＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、実空間位置（Ｘ，Ｙ，Ｚ）は、次式（３）（４）（５）により算出される。

Ｘ＝ｘ×ｚ×ｐ／ｆ …（３）
Ｙ＝ｙ×ｚ×ｐ／ｆ …（４）
Ｚ＝ｚ …（５）
次に、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、ＳＴＥＰ００９で算出した回頭角θｒを用いて、対象物の実空間位置を補正する。（ＳＴＥＰ０１６）。回頭角補正は、時刻ｋから時刻ｋ＋１までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ２Ｒ，２Ｌによって得られる画像上では、画像の範囲がｘ方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。

次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ０１７）。具体的には、同一対象物についての実空間位置の、所定期間ｄＴ（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（座標ＰvdT＝（ＸvdT，ＹvdT，ＺvdT））から、現在時刻における該直線上の対象物の位置（座標Ｐv0＝（Ｘv0，Ｙv0，Ｚv0））に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、前記特許文献１に記載された手法を用いる。

次に、画像処理ユニット１は、検出した対象物と自車両１０とが接触する可能性を判定して、該対象物が回避対象（自車両１０との接触を回避すべき対象）であるか否かを判定する回避判定処理を行う（ＳＴＥＰ０１８）。なお、回避判定処理については、詳細を後述する。ＳＴＥＰ０１８において、検出した対象物が回避対象でないと判定された場合（ＳＴＥＰ０１８の判定結果がＮＯ）には、ＳＴＥＰ００１に戻り、上述の処理を繰り返す。また、ＳＴＥＰ０１８において、検出した対象物が回避対象であると判定された場合（ＳＴＥＰ０１８の判定結果がＹＥＳ）、ＳＴＥＰ０１９へ進む。

ＳＴＥＰ０１９では、画像処理ユニット１は、対象物に対する車両１０の運転者の注意を喚起すべきか否かを判定する注意喚起出力判定処理を行う。この注意喚起出力判定処理では、ブレーキセンサ５の出力ＢＲから、運転者による自車両１０のブレーキ操作がなされていることが確認され、且つ、自車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行わないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行うべきと判定される。

そして、画像処理ユニット１は、注意喚起を行うべきと判定した場合（ＳＴＥＰ０１９の判定結果がＹＥＳ）には、スピーカ６と表示装置７とによる注意喚起を自車両１０の運転者に対して行う注意喚起処理を実行し（ＳＴＥＰ０２０）、ＳＴＥＰ００１に戻り、上述の処理を繰り返す。この注意喚起処理では、例えば表示装置７に基準画像を表示すると共に、その基準画像中の回避対象である対象物の画像を強調的に表示する。さらに、回避対象である対象物が存在することをスピーカ６から運転者に音声案内する。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。

また、ＳＴＥＰ０１９で注意喚起を行わないと判定した場合（全ての対象物について注意喚起を行わないと判定した場合）には、ＳＴＥＰ０１９の判定結果がＮＯとなり、この場合には、そのままＳＴＥＰ００１に戻り、上述の処理を繰り返す。

以上が、本実施形態の対象物検出装置の画像処理ユニット１における対象物検出・注意喚起動作である。これにより、自車両１０の周辺の赤外線画像と、自車両１０の走行状態を示す信号とから、自車両１０の前方の歩行者等の対象物が検出され、回避対象である対象物について運転者に注意喚起が行われる。

次に、図５に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ０１０における同一対象物認識処理について詳細に説明する。以下の説明では、時刻ｋに、自車両１０の前方に歩行者が存在して自車両１０が直進している場合において、時刻ｋ＋１で、自車両１０が直進を継続し、時刻ｋ＋２で、自車両１０が右方向に旋回している場合を例にして説明する。なお、時刻ｋにおける処理画像は、図４（ａ）に例示したようになる。

図４（ｃ）には、時刻ｋ＋１において、上述のＳＴＥＰ００４で、赤外線カメラ２Ｒによって得られる画像を２値化した画像が例示されている。図４（ｃ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。図４（ｃ）に示す２値化領域は、上述のＳＴＥＰ００５〜００７の処理により、図４（ｄ）に例示するように、対象物（２値化対象物）Ｔ_k+1として抽出される。このとき、対象物Ｔ_k+1の画像部分Ｒ_k+1は、幅Wｂ_k+1、高さＨｂ_k+1とする。

また、図４（ｅ）には、時刻ｋ＋２において、上述のＳＴＥＰ００４で、赤外線カメラ２Ｒによって得られる画像を２値化した画像が例示されている。図４（ｅ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。このとき、図４（ｅ）の例では、自車両１０が右方向に旋回しているため、歩行者の画像部分の右側に残像が生じている。このため、図４（ｅ）に示す２値化領域には、歩行者に相当する領域Ｆ１と共に、残像に相当する領域Ｆ２（点描を付した領域）が含まれている。そして、図４（ｅ）に示す２値化領域は、上述のＳＴＥＰ００５〜００７の処理により、図４（ｆ）に例示するように、対象物（２値化対象物）Ｔ_k+2として抽出される。このとき、対象物Ｔ_k+2の画像部分Ｒ_k+2は、幅Wｂ_k+2、高さＨｂ_k+2とする。

図５を参照して、同一対象物認識処理において、まず、画像処理ユニット１は、図３のＳＴＥＰ００９で読み込まれたヨーレートＹＲが所定閾値ＹＲth以上であるか否かを判断する（ＳＴＥＰ１０１）。

ＳＴＥＰ１０１の判断結果がＮＯの場合（ＹＲ＜ＹＲth）は、自車両１０のヨーレートの大きさが画像上に残像が生じない程度に十分に小さい場合であり、以下のＳＴＥＰ１０２〜１０４の処理が行われ、ＳＴＥＰ１１０又はＳＴＥＰ１１１に進む。上述の図４（ｃ）に示した時刻ｋ＋１の例がこの場合に相当しており、以下ではこの例を用いて説明する。

まず、ＳＴＥＰ１０２に進み、画像処理ユニット１は、抽出された対象物Ｔ_k+1の画像部分Ｒ_k+1を、同一性判定用対象物画像として画像メモリに記憶する。なお、同一性判定用対象物画像は逐次（演算処理周期毎に）更新されて記憶される。

次に、ＳＴＥＰ１０３で、画像処理ユニット１は、時刻ｋ＋１で抽出された対象物Ｔ_k+1と、時刻ｋで抽出された対象物Ｔ_kとの同一性の判定に用いる特徴量を算出する。なお、本実施形態では、同一性判定用の特徴量として、時刻ｋ＋１のＳＴＥＰ００８で算出された対象物Ｔ_k+1の重心位置Ｇｃ_k+1、面積Ｓ_k+1、縦横比ＡＳＰ_k+1と、時刻ｋにおいてＳＴＥＰ００８で算出された対象物Ｔ_kの重心位置Ｇｃ_k、面積Ｓ_k、縦横比ＡＳＰ_kとを用いている。そして、画像処理ユニット１は、それぞれの差ΔＧｃ（＝Ｇｃ_k+1−Ｇｃ_k），ΔＳ（＝Ｓ_k+1−Ｓ_k），ΔＡＳＰ（＝ＡＳＰ_k+1−ＡＳＰ_k）を算出する。

次に、ＳＴＥＰ１０４で、画像処理ユニット１は、ΔＧｃ，ΔＳ，ΔＡＳＰが、それぞれ所定範囲内であるか否か判断する。なお、所定範囲は、ΔＧｃ，ΔＳ，ΔＡＳＰのそれぞれについて、対象物Ｔ_kと対象物Ｔ_k+1とが同一であるときに採り得る値の範囲として予め定められる範囲である。

ＳＴＥＰ１０４の判断結果がＹＥＳ（ΔＧｃ，ΔＳ，ΔＡＳＰの全てが所定範囲内である）の場合には、ＳＴＥＰ１１０に進み、対象物Ｔ_kと対象物Ｔ_k+1とが同一であると判定されて、対象物Ｔ_k+1のラベルが対象物Ｔ_kのラベルと同じラベルに変更され、、同一対象物認識処理が終了される。ＳＴＥＰ１０４の判断結果がＮＯ（ΔＧｃ，ΔＳ，ΔＡＳＰのうちの少なくともいずれかが所定範囲内でない）の場合には、ＳＴＥＰ１１１に進み、対象物Ｔ_kと対象物Ｔ_k+1とが同一でないと判定されて、同一対象物認識処理が終了される。

一方、ＳＴＥＰ１０１の判断結果がＹＥＳの場合（ＹＲ≧ＹＲth）は、自車両１０が旋回してヨーレートの大きさが画像上に残像が生じる程度に十分大きい場合であり、以下のＳＴＥＰ１０５〜１０９の処理が行われ、ＳＴＥＰ１１０又はＳＴＥＰ１１１に進む。上述の図４（ｅ）に示した時刻ｋ＋２の例がこの場合に相当しており、以下ではこの例を用いて説明する。時刻ｋ＋２で抽出された対象物Ｔ_k+2の画像部分Ｒ_k+2は、図６（ｂ）に示したようになる。

まず、ＳＴＥＰ１０５に進み、画像処理ユニット１は、時刻ｋ＋１でＳＴＥＰ１０２において画像メモリに記憶された同一性判定用対象物画像Ｒ_k+1（ヨーレートＹＲが所定閾値ＹＲth以上となる直前の同一性判定用対象物画像）を読み込む。次に、ＳＴＥＰ１０６で、画像処理ユニット１は、読み込んだ同一性判定用対象物画像Ｒ_k+1の大きさ（幅Ｗｂ_k+1と高さＨｂ_k+1）を補正する。具体的には、時刻ｋ＋1の対象物Ｔ_k+1の自車両１０に対する距離Ｚv0_k+1と、時刻ｋ＋2の対象物Ｔ_k+2の自車両１０に対する距離Ｚv0_k+2とを用いて、補正後の同一性判定用対象物画像Ｒ_k+1’の幅Ｗｂ_k+1’＝Ｗｂ_k+1×Ｚv0_k+2／Ｚv0_k+1、高さＨｂ_k+1’＝Ｈｂ_k+1×Ｚv0_k+2／Ｚv0_k+1となるように補正する。

なお、時刻ｋ＋１の対象物Ｔ_k+1の自車両１０に対する距離Ｚv0_k+1としては、時刻ｋ＋１のＳＴＥＰ０１４で算出された値を用いる。また、時刻ｋ＋2の対象物Ｔ_k+2の自車両１０に対する距離Ｚv0_k+2は、例えば、対象物Ｔ_k+2が対象物Ｔ_k+1と同一であると仮定して、時刻ｋ＋１における対象物Ｔ_k+1の位置及び速度とヨーレートＹＲと自車速ＶＣＡＲとに基づいて、移動軌跡を推定することにより算出する。補正された同一性判定用対象物画像Ｒ_k+1’は、図６（ａ）に示したようになる。

次に、ＳＴＥＰ１０７で、画像処理ユニット１は、補正した同一性判定用対象物画像Ｒ_k+1’と、対象物Ｔ_k+2の画像部分Ｒ_k+2とに、それぞれ、自車両１０の旋回方向の逆側寄りのエッジ部分の部分領域Ｃ_k+1，Ｃ_k+2を、図６（ａ）（ｂ）に示したように設定する。なお、部分領域Ｃ_k+2は、部分領域Ｃ_k+1と同一形状とする。これにより、残像が生じていない側の画像部分に、部分領域Ｃ_k+1，Ｃ_k+2が設定される。

次に、ＳＴＥＰ１０８で、画像処理ユニット１は、部分領域Ｃ_k+1と部分領域Ｃ_k+2との相関の度合を示す値である輝度値の絶対差分和を算出する。なお、本実施形態では、同一性判定用の特徴量として、部分領域Ｃ_k+1，Ｃ_k+2の輝度分布を用いており、部分領域Ｃk+1，Ｃk+2の輝度分布の類似の度合として、絶対差分和を用いている。

次に、ＳＴＥＰ１０９で、画像処理ユニット１は、算出された絶対差分和に基づいて、部分領域Ｃ_k+1，Ｃ_k+2の輝度分布の類似の度合を判断する。具体的には、算出された絶対差分和が所定閾値以下（相関の度合が高い）である場合に、類似の度合が高いと判断する。

ＳＴＥＰ１０９の判断結果がＹＥＳ（類似の度合が高い）の場合には、ＳＴＥＰ１１０に進み、対象物Ｔ_k+1と対象物Ｔ_k+2とが同一であると判定されて、対象物Ｔ_k+2のラベルが対象物Ｔ_k+1のラベルと同じラベルに変更され、同一対象物認識処理が終了される。図６に示した例では、類似の度合が高いと判断され、対象物Ｔ_k+1と対象物Ｔ_k+2とが同一であると判定される。ＳＴＥＰ１０９の判定結果がＮＯ（類似の度合が低い）の場合には、ＳＴＥＰ１１１に進み、対象物Ｔ_k+1と対象物Ｔ_k+2とが同一でないと判定されて、同一対象物認識処理が終了される。これにより、自車両１０の旋回時に、取得される画像上に生じる残像の影響を低減して、演算処理周期毎に抽出された対象物の同一性を精度良く判定することができる。

なお、上述の同一対象物認識処理では、同一性判定用の特徴量を算出する際に、２値化画像上での対象物の画像部分を用いたが、後述の歩行者判定処理のように、グレースケール上での対象物の画像部分を用いてもよい。

次に、図７に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ０１８における回避判定処理について詳細に説明する。図７は、本実施形態の回避判定処理を示すフローチャートである。回避判定処理は、以下に示す第１接触判定処理、第２接触判定処理、進入接触判定処理、歩行者判定処理、及び人工構造物判定処理により、検出した対象物と自車両１０との接触の可能性及び対象物の種類を判定して、該対象物が回避対象であるか否かを判定する処理である。

図７を参照して、まず、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第１接触判定処理を行う（ＳＴＥＰ２０１）。第１接触判定処理は、対象物と自車両１０との接触を自車両１０の操舵やブレーキ操作によって余裕を持って回避できるか否かを判定するための処理である。具体的には、第１接触判定処理では、赤外線カメラ２Ｒ，２Ｌにより撮像される自車両１０の前方の領域（赤外線カメラ２Ｒ，２Ｌの視野角内の領域）ＡＲ０のうち、自車両１０からのＺ方向の距離（自車両１０の前後方向の距離）が、所定値以下となる領域ＡＲ１（以下、第１接触判定領域という）に対象物の現在の実空間位置が存在するか否かが判定される。

この場合、自車両１０からの距離に関する所定値は、対象物毎に設定される。具体的には、対象物と自車両１０とのＺ方向の相対速度Ｖｓ（＝（Ｚv0−ＺvdT）/ｄＴ）を求め、この相対速度Ｖｓに所定の時間Ｔ１（例えば２〜５秒程度）を乗じた値Ｖｓ×Ｔ１が、第１接触判定領域ＡＲ１の、Ｚ方向の境界を規定する上記所定値として設定される。なお、相対速度Ｖｓが自車両１０から遠ざかる向きの相対速度である場合には、対象物は第１接触判定領域ＡＲ１に存在しないと判定される。

ここで、図８を参照して説明すると、図８は、自車両１０の走行する道路を上方から見た図であり、自車両１０の前方の領域区分が示されている。図８に示したように、領域ＡＲ０を太い実線で示す外側の三角形の領域とすると、第１接触判定領域ＡＲ１は、領域ＡＲ０内のＺ１（＝Ｖｓ×Ｔ１）より自車両１０に近い領域となる。なお、第１衝突判定領域ＡＲ１は、上下方向では、所定の高さＨ（例えば自車両１０の車高の２倍程度の高さ）を有する領域である。従って、対象物の現在のＺ方向の座標値（距離）Ｚv0がＶｓ×Ｔ１以下で、且つ、対象物の現在のＹ方向の座標値（高さ）Ｙv0がＨ以下である場合に、対象物が第１接触判定領域ＡＲ１に存在すると判定される。

ＳＴＥＰ２０１の判定結果がＮＯの場合（対象物が第１接触判定領域内ＡＲ１に存在しない）には、車両１０の操舵やブレーキ操作によって対象物と車両１０との接触を余裕を持って回避しうる状況である。この場合には、ＳＴＥＰ２０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。

ＳＴＥＰ２０１の判定結果がＹＥＳの場合（対象物が第１接触判定領域ＡＲ１内に存在している）には、ＳＴＥＰ２０２に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第２接触判定処理を行う。第２接触判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、対象物と車両１０との接触の可能性が高いか否かを判定するための処理である。具体的には、第２接触判定処理では、対象物が、図８に示したように、第１接触判定領域ＡＲ１のうちの、自車両１０の車幅αの両側に余裕βを加えた幅（α＋２β）を有する領域ＡＲ２（以下、第２接触判定領域という）内に存在するか否かを判定する。なお、第２接触判定領域ＡＲ２も所定高さＨを有する。

ＳＴＥＰ２０２の判定結果がＹＥＳの場合（対象物が第２接触判定領域ＡＲ２内に存在している）には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両１０と接触する可能性が高い。この場合には、ＳＴＥＰ２０３に進み、画像処理ユニット１は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。なお、歩行者判定処理については、詳細を後述する。

ＳＴＥＰ２０３の判定結果がＹＥＳの場合（対象物は歩行者の可能性がある）には、ＳＴＥＰ２０４に進み、更に対象物が歩行者である可能性の判定の信頼性を上げるために、画像処理ユニット１は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、回避対象から除外する処理である。

ＳＴＥＰ２０４の判定結果がＮＯの場合（対象物が人工構造物でない）には、ＳＴＥＰ２０６に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。従って、対象物が第１接触判定領域内の第２接触判定領域に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が回避対象であると判定される。

また、ＳＴＥＰ２０３の判定結果がＮＯの場合（対象物は歩行者の可能性がない）、あるいは、ＳＴＥＰ２０４の判定結果がＹＥＳの場合（対象物が人工構造物である）には、ＳＴＥＰ２０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。

一方、ＳＴＥＰ２０２の判定結果がＮＯの場合（対象物が第２接触判定領域ＡＲ２内に存在しない）には、ＳＴＥＰ２０５に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、進入接触判定処理を行う。進入接触判定処理は、対象物が第２接触判定領域ＡＲ２内へ進入し、且つ自車両１０との接触する可能性が高いか否かを判定する処理である。進入接触判定処理では、図８に示したように、第１接触判定領域ＡＲ１内で第２接触判定領域ＡＲ２よりＸ座標の絶対値が大きい（第２接触判定領域ＡＲ２の横方向外側の）領域ＡＲ３，ＡＲ４（以下、進入判定領域という）内にある対象物が、第２接触判定領域ＡＲ２に進入して自車両１０と接触するか否かを、対象物の移動ベクトルに基づいて判定する。なお、進入判定領域ＡＲ３，ＡＲ４も所定高さＨを有する。

具体的には、自車両１０の前面のＸＹ平面（自車両１０の前後方向に垂直な面）と、対象物の移動ベクトルを含む直線との交点のＸ座標（車幅方向の位置）が、自車両１０の車幅αよりも若干広い所定範囲内に存在する場合（対象物が相対的に自車両１０に向かってくる場合）に、第２接触判定領域ＡＲ２に進入して接触する可能性が高いと判定される。

ＳＴＥＰ２０５の判定結果がＹＥＳの場合には、対象物が将来、自車両１０と衝突する可能性が高い。そこで、この場合には、ＳＴＥＰ２０６に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。また、ＳＴＥＰ２０５の判定結果がＮＯの場合には、対象物が自車両１０と接触する可能性が低いので、ＳＴＥＰ２０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。

以上が、回避判定処理の詳細である。

次に、図９に示すフローチャートを参照して、図７に示したフローチャートのＳＴＥＰ２０３における歩行者判定処理について詳細に説明する。以下の説明では、時刻ｋに、自車両１０の前方に歩行者が存在して自車両１０が直進している場合において、時刻ｋ＋１で、自車両１０が直進しており、時刻ｋ＋２で、自車両１０が右方向に旋回している場合を例にして説明する。なお、時刻ｋ，ｋ＋１，ｋ＋２における処理画像は、図４（ａ），（ｃ），（ｅ）に例示したようになる。

図９を参照して、まず、画像処理ユニット１は、図３のＳＴＥＰ００９で検出されたヨーレートＹＲが所定閾値ＹＲth以上であるか否かを判断する（ＳＴＥＰ３０１）。

ＳＴＥＰ３０１の判断結果がＮＯの場合（ＹＲ＜ＹＲth）は、自車両１０のヨーレートの大きさが画像上に残像が生じない程度に十分に小さい場合であり、以下のＳＴＥＰ３０２〜３０４の処理が行われ、ＳＴＥＰ３１０又はＳＴＥＰ３１１に進む。上述の図４（ｃ）に示した時刻ｋ＋１の例がこの場合に相当しており、以下ではこの例を用いて説明する。

まず、ＳＴＥＰ３０２に進み、画像処理ユニット１は、抽出された対象物Ｔ_k+1が歩行者であるか否かを判定するために用いる特徴量を算出する。具体的には、まず、画像処理ユニット１は、ＳＴＥＰ００８で算出された対象物Ｔ_k+1（２値化対象物）の面積Ｓ_k+1、重心位置Ｇｃ_k+1、対象物Ｔ_k+1の外接四角形の縦横比ＡＳＰ_k+1、高さＨｂ_k+1、幅Ｗｂ_k+1、重心位置Ｇｂ_k+1、面積（Ｈｂ_k+1×Ｗｂ_k+1）と、ＳＴＥＰ０１４で算出された自車両１０との距離Ｚv0_k+1とを用いて、実空間での２値化対象物の形状特徴量を、歩行者判定用の特徴量として算出する。この実空間での２値化対象物の形状特徴量は、例えば、実空間における２値化対象物の幅ΔＷｂ、実空間における２値化対象物の高さΔＨｂ、実空間における２値化対象物の上端位置Ｙｔ、２値化対象物の面積と外接四角形の面積との比Ｒａｔｅ＝Ｓ_k+1／（Ｈｂ_k+1×Ｗｂ_k+1）、２値化対象物の重心位置と外接四角形の重心位置との実空間における距離Ｄｉｓ、外接四角形の縦横比ＡＳＰ_k+1等である。

さらに、画像処理ユニット１は、２値化画像上での対象物Ｔ_k+1の画像部分Ｒ_k+1基づいて、図１０に示したように、グレースケール画像上での対象物Ｔ_k+1の画像部分ＡＲＥＡ０_k+1（高さＨｇ_k+1，幅Ｗｇ_k+1）を求める。なお、図１０において、２値化画像上での対象物Ｔ_k+1の領域を、太い実線で囲まれた領域で示している。また、グレースケール画像上での対象物の画像部分を算出する具体的な手法としては、例えば、前記した特許文献１の図８のＳ４３に記載された手法を用いることができる。そして、画像処理ユニット１は、画像部分ＡＲＥＡ０_k+1内に、図１０に示したように、マスク領域ＡＲＥＡ１，ＡＲＥＡ２，ＡＲＥＡ３を設定し、ＡＲＥＡ１の輝度平均値Ａｖｅ_Ａ１と、ＡＲＥＡ２の輝度分散Ｖａｒ_Ａ２と、ＡＲＥＡ３の輝度分散Ｖａｒ_Ａ３とを、歩行者判定用の特徴量として算出する。なお、ＡＲＥＡ１は、対象物の頭部に相当する領域であり、ＡＲＥＡ２は、対象物の腕及び胴部に相当する領域であり、ＡＲＥＡ３は、対象物の頭部から下半身にかけての全身に相当する領域である。さらに、画像処理ユニット１は、ＡＲＥＡ１と予め登録されている歩行者の頭部パターンを示すテンプレート画像との相関演算を行い、ＡＲＥＡ１と頭部パターンとの類似の度合を、歩行者判定用の特徴量として算出する。

次に、ＳＴＥＰ３０３で、画像処理ユニット１は、上述の各特徴量が所定範囲内であるか否か判断する。なお、前記所定範囲は、対象物が歩行者の上半身や全身であるときに採り得る値の範囲として予め定められる範囲である。

ＳＴＥＰ３０３の判断結果がＹＥＳ（全特徴量が所定範囲内である）の場合には、ＳＴＥＰ３０４に進み、画像処理ユニット１は、対象物Ｔ_k+1のグレースケール上での画像部分ＡＲＥＡ０_k+1を対象物画像として画像メモリに記憶する。なお、対象物画像は逐次（演算処理周期毎に）更新されて記憶される。そして、ＳＴＥＰ３１０に進み、対象物が歩行者であると判定され、歩行者判定処理が終了される。ＳＴＥＰ３０３の判断結果がＮＯ（特徴量の少なくともいずれかが所定範囲内でない）の場合には、ＳＴＥＰ３１１に進み、対象物が歩行者でないと判定され、歩行者判定処理が終了される。なお、この歩行者を判定する手法については、上述の特許文献１に詳細に記載されている。

一方、ＳＴＥＰ３０１の判断結果がＹＥＳの場合（ＹＲ≧ＹＲth）は、自車両１０が旋回してヨーレートの大きさが画像上に残像が生じる程度に十分に大きい場合であり、以下のＳＴＥＰ３０５〜３０９の処理が行われ、ＳＴＥＰ３１０又はＳＴＥＰ３１１に進む。上述の図４（ｅ）に示した時刻ｋ＋２の例がこの場合に相当しており、以下ではこの例を用いて説明する。時刻ｋ＋２で抽出された対象物Ｔ_k+2のグレースケール上での画像部分ＡＲＥＡ０_k+2（高さＨｇ_k+2，幅Ｗｇ_k+2）は、図１１（ｂ）に示したようになる。なお、図１１（ｂ）において、２値化画像上での対象物Ｔ_k+1の領域を、太い実線で囲まれた領域で示している。

まず、ＳＴＥＰ３０５に進み、画像処理ユニット１は、時刻ｋ＋１でＳＴＥＰ３０４において画像メモリに記憶された対象物画像ＡＲＥＡ０_k+1（ヨーレートＹＲが所定閾値ＹＲth以上となる直前の対象物画像）を読み込む。次に、ＳＴＥＰ３０６で、画像処理ユニット１は、読み込んだ対象物画像ＡＲＥＡ０_k+1の大きさを補正する。具体的には、時刻ｋ＋1のＳＴＥＰ０１４で算出された対象物Ｔ_k+1の自車両１０に対する距離Ｚv0_k+1と、時刻ｋ＋2のＳＴＥＰ０１４で算出された対象物Ｔ_k+2の自車両１０に対する距離Ｚv0_k+2とを用いて、補正後の対象物画像ＡＲＥＡ０_k+1’の幅Ｗｇ_k+1’＝Ｗｇ_k+1×Ｚv0_k+2／Ｚv0_k+1、高さＨｇ_k+1’＝Ｈｇ_k+1×Ｚv0_k+2／Ｚv0_k+1となるように補正する。補正された対象物画像ＡＲＥＡ０_k+1’は、図１１（ａ）に示したようになる。なお、図１１（ａ）において、２値化画像上での対象物Ｔ_k+2領域を、太い実線で囲まれた領域で示している。

次に、ＳＴＥＰ３０７で、画像処理ユニット１は、補正した対象物画像ＡＲＥＡ０_k+1’と、対象物Ｔ_k+2のグレースケール画像上での画像部分ＡＲＥＡ０_k+2とに、それぞれ、自車両１０の旋回方向の逆側寄りのエッジ部分の部分領域Ｄ_k+1，Ｄ_k+2を、図１１（ａ）（ｂ）に示したように設定する。本実施形態では、部分領域Ｄ_k+1，Ｄ_k+2は、対象物が歩行者である場合に、その頭部と肩とが含まれるように設定される。なお、部分領域Ｄ_k+2は、部分領域Ｄ_k+1と同一形状とする。これにより、残像が生じていない側の画像部分に、部分領域Ｄ_k+1，Ｄ_k+2が設定される。

次に、ＳＴＥＰ３０８で、画像処理ユニット１は、部分領域Ｄ_k+1と部分領域Ｄ_k+2との相関の度合を示す値である輝度値の絶対差分和を算出する。なお、本実施形態では、歩行者判定用の特徴量として、部分領域Ｄ_k+1，Ｄ_k+2の輝度分布を用いており、部分領域Ｄ_k+1，Ｄ_k+2の輝度分布の類似の度合として、絶対差分和を用いている。

次に、ＳＴＥＰ３０９で、画像処理ユニット１は、算出された絶対差分和に基づいて、部分領域Ｄ_k+1，Ｄ_k+2の輝度分布の類似の度合を判断する。具体的には、算出された絶対差分和が所定閾値以下（相関の度合が高い）である場合に、類似の度合が高いと判断する。ＳＴＥＰ３０９の判断結果がＹＥＳ（類似の度合が高い）の場合には、ＳＴＥＰ３１０に進み、対象物Ｔ_k+2が歩行者である（歩行者の可能性がある）と判定され、歩行者判定処理が終了される。図１１に示した例では、類似の度合が高いと判断され、対象物Ｔ_k+2が歩行者であると判定される。ＳＴＥＰ３０９の判断結果がＮＯ（類似の度合が低い）の場合には、ＳＴＥＰ３１１に進み、対象物Ｔ_k+2が歩行者でない（歩行者の可能性がない）と判定され、歩行者判定処理が終了される。これにより、自車両１０の旋回時に、取得される画像上に生じる残像の影響を低減して、抽出された対象物Ｔ_k+2が歩行者であるか否かを精度良く判定することができる。

以上の処理により、本実施形態によれば、自車両１０の旋回時に、画像上に生じる残像の影響を低減して、赤外線カメラ２Ｒ，２Ｌにより得られた画像から、自車両１０の周辺に存在する歩行者を精度良く検出することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。

なお、本実施形態では、前述したように、画像処理ユニット１が、その機能として、対象物抽出手段１１と、対象物判定手段１２と、対象物画像記憶手段１３と、距離検出手段１４とを含んでいる。より具体的には、図３のＳＴＥＰ００４〜００７が対象物抽出手段１１に相当し、図３のＳＴＥＰ０１１〜０１４が距離検出手段１４に相当し、図７のＳＴＥＰ２０３及び図９のＳＴＥＰ３０１〜３０３，ＳＴＥＰ３０５〜３１１が対象物判定手段１２に相当し、図９のＳＴＥＰ３０４が対象物画像記憶手段１３に相当する。

また、本実施形態では、前述したように、画像処理ユニット１が、その機能として、同一性判定手段１６と、同一性判定用対象物画像記憶手段１５とを含んでいる。より具体的には、図３のＳＴＥＰ０１０及び図５のＳＴＥＰ１０１，１０３〜１１１が同一性判定手段１６に相当し、図５のＳＴＥＰ１０２が同一性判定用対象物画像記憶手段１５に相当する。

また、本実施形態では、対象物判定手段１２は、対象物の種類として、歩行者を判定するものとしたが（歩行者判定処理（ＳＴＥＰ１０３））、他の実施形態として、対象物の種類として、例えば他車両や人工構造物等を判定するものとしてもよい。具体的には、例えば、人工構造物判定処理（ＳＴＥＰ１０４）において、ヨーレートＹＲの大きさに応じて判定アルゴリズムを切り替えて、対象物が人工構造物であるか否かを判定するものとしてもよい。このとき、ヨーレートＹＲが所定閾値ＹＲｔｈ以上である場合に、例えばＳＴＥＰ３０５〜３０９と同様の判定アルゴリズムを用いることができる。また、歩行者判定処理と人工構造物判定処理との両方で、ヨーレートＹＲの大きさに応じて判定アルゴリズムを切り替えて対象物の種類を判定するものとしてもよい。

また、本実施形態では、画像処理ユニット1がその機能として対象物画像記憶手段１３を備え、画像処理ユニット1は、対象物の画像部分と対象物画像記憶手段１３により記憶された対象物画像との類似の度合に基づいて、対象物が歩行者であるか否かを判定するものとがしたが、他の実施形態として、画像処理ユニット1は、対象物画像の代わりに、予め登録された歩行者の一般的なパターンを示すテンプレート画像を用いて類似の度合を算出し、対象物が歩行者であるか否かを判定してもよい。

また、本実施形態では、画像処理ユニット１は、距離Ｚv0_k+2，Ｚv0_k+1に基づいて対象物画像ＡＲＥＡ０_k+1の大きさを補正し、補正した対象物画像ＡＲＥＡ０_k+1’を用いて類似の度合を算出したが（ＳＴＥＰ３０６〜３０８）、画像処理ユニット１は、演算処理周期が十分に短い場合には、時刻ｋ＋１とｋ＋２とで、画像上での対象物の大きさの変化が少ないと想定して、補正を行わず対象物画像ＡＲＥＡ０_k+1をそのまま用いて類似の度合を算出してもよい。

また、本実施形態では、画像処理ユニット1は、歩行者判定用の特徴量を算出する際に、部分領域Ｄ_k+1，Ｄ_k+2の輝度分布を用いるものとしたが（ＳＴＥＰ３０８）、他の実施形態として、例えば、歩行者判定用の特徴量を算出する際に、部分領域Ｄ_k+1，Ｄ_k+2における対象物の輪郭線の形状を用いてもよい。さらに、歩行者判定用の特徴量として、部分領域Ｄ_k+1，Ｄ_k+2の輝度分布、部分領域Ｄ_k+1，Ｄ_k+2における対象物の輪郭線の形状等の複数の特徴量を組み合わせて用いてもよい。

また、本実施形態では、画像処理ユニット１は、ＳＴＥＰ０１８で回避対象であると判定された対象物について、自車両１０の運転者に注意喚起を行うものとしたが、他の実施形態として、例えば、車両１０が、車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能（ひいては車両１０の走行挙動を操作可能）なものである場合には、ＳＴＥＰ０１８で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように自車両１０のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。例えば、運転者によるアクセルペダルの必要踏力が、回避対象の対象物が存在しない場合（通常の場合）よりも大きくなるようにアクセル装置を制御して、加速しにくくする。あるいは、回避対象と車両１０との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行い得るようにする。あるいは、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両１０の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、回避対象との接触を避けるための車両１０の運転が容易になる。また、上記のようなステアリング装置の制御と、表示装置７もしくはスピーカ６による注意喚起とは、並行して行うようにしてもよい。

また、本実施形態では、距離検出手段１４は、対象物の自車両１０に対する距離を、赤外線カメラ２Ｒ，２Ｌを介して取得された画像に基づいて算出したが、他の実施形態として、距離検出手段１４は、対象物の自車両１０に対する距離を、ミリ波レーダ等の他のセンサにより検出された対象物の位置情報に基づいて算出するものとしてもよい。

また、本実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なＣＣＤカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。

本発明の第１実施形態による対象物検出装置の機能ブロック図。 図１に示した対象物検出装置の車両への取り付け態様の説明図。 図１の対象物検出装置の画像処理ユニットにおける対象物検出・注意喚起動作を示すフローチャート。 図３の対象物検出・注意喚起動作における処理画像の例示図。 図３の対象物検出・注意喚起動作における同一対象物認識処理のフローチャート。 図５の同一対象物認識処理に関する説明図。 図３の対象物検出・注意喚起動作における回避判定処理のフローチャート。 図７の回避判定処理における車両前方の領域区分を示す説明図。 図７の回避判定処理における歩行者判定処理のフローチャート。 図１０の歩行者判定処理に関する説明図。 図１０の歩行者判定処理に関する説明図。

符号の説明

２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、３…ヨーレートセンサ（ヨーレート検出手段）、１０…車両、１１…対象物抽出手段、１２…対象物判定手段、１３…対象物画像記憶手段、１４…距離検出手段。

Claims (8)

1. 車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を抽出する対象物抽出手段と、該対象物抽出手段により抽出された対象物の種類を判定する対象物判定手段とを備えた対象物検出装置において、
   前記車両のヨーレートを逐次検出するヨーレート検出手段を備え、
   前記対象物判定手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさに応じて、前記対象物の種類を判定するために実行する判定アルゴリズムを選択的に切り替える手段を備えることを特徴とする対象物検出装置。
2. 前記対象物判定手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさが所定閾値以上であるか否かに応じて、前記判定アルゴリズムを選択的に切り替えて実行するものであり、
   前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが前記所定閾値以上である場合に実行する前記判定アルゴリズムは、該画像から前記対象物抽出手段により抽出された対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量に基づいて、該対象物の種類を判定することを特徴とする請求項１記載の対象物検出装置。
3. 前記ヨーレート検出手段により検出されたヨーレートの大きさが前記所定閾値未満である場合に、前記対象物判定手段により種類が判定された対象物の画像部分を、対象物画像として逐次記憶する対象物画像記憶手段を備え、
   前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが所定閾値以上である場合に実行する前記判定アルゴリズムは、該画像から前記対象物抽出手段により抽出された対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、該ヨーレートの大きさが該所定閾値以上に変化する直前に前記対象物画像記憶手段により記憶された対象物画像の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量との類似の度合を算出する処理と、該算出された類似の度合に基づいて、該対象物の種類を判定する処理とを備えることを特徴とする請求項２記載の対象物検出装置。
4. 前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を検出する距離検出手段を備え、
   前記対象物判定手段が、前記画像が取得されたときの前記ヨーレートの大きさが前記所定閾値以上である場合に実行する前記判定アルゴリズムは、該画像から前記対象物抽出手段により抽出された対象物の、前記距離検出手段により検出された距離と、該ヨーレートの大きさが該所定閾値以上に変化する直前に前記対象物画像記憶手段により記憶された対象物画像に対応する対象物の、該距離検出手段により検出された距離とに基づいて、該対象物画像の大きさを補正する処理を備え、該補正された対象物画像を用いて、前記類似の度合を算出することを特徴とする請求項３記載の対象物検出装置。
5. 前記対象物判定手段が判定する対象物の種類は、少なくとも歩行者を含むことを特徴とする請求項１〜請求項４のうちいずれか１項記載の対象物検出装置。
6. 請求項１〜請求項５のうちいずれか１項記載の対象物検出装置が搭載されたことを特徴とする車両。
7. 車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を抽出し、該抽出された対象物の種類を判定する対象物検出方法であって、
   前記車両のヨーレートを逐次検出するヨーレート検出ステップと、
   前記ヨーレート検出ステップで検出されたヨーレートの大きさに応じて、前記対象物の種類を判定する判定アルゴリズムを選択的に切り替え、その選択した判定アルゴリズムを実行することにより該対象物の種類を判定する対象物判定ステップとを備えたことを特徴とする対象物検出方法。
8. 車両に搭載された撮像手段を介して取得した画像から抽出される、該車両の周辺に存在する対象物の種類を判定する処理をコンピュータに実行させる対象物検出用プログラムであって、
   前記車両のヨーレートの検出値を逐次取得するヨーレート取得処理と、
   前記ヨーレート取得処理により取得されたヨーレートの大きさに応じて、前記対象物の種類を判定するための判定アルゴリズムを選択的に切り替え、その選択した判定アルゴリズムを実行することにより該対象物の種類を判定する対象物判定処理とを前記コンピュータに実行させる機能を有するプログラムであることを特徴とする対象物検出用プログラム。

Images