JP2007334511A - 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム - Google Patents

Abstract

【課題】車両の旋回時やピッチング時に画像上に生じる残像の影響を低減して、車両に搭載された撮像手段により得られた車両周辺の画像から互いに異なる時刻で抽出された歩行者等の対象物の同一性を精度良く認識することができる対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラムを提供する。
【解決手段】同一性判定手段１６は、少なくとも時刻Ｔａにヨーレートの大きさが所定閾値以上であるとき（又はピッチングが検出されたとき）に、時刻Ｔａに取得された画像における第１の対象物の画像部分の左右の両側部分のうちの、車両１０の旋回方向（又はピッチング方向）と逆側のエッジ寄りの部分の特徴量と、時刻Ｔｂに取得された画像における第２の対象物の画像部分の左右の両側部分のうちの、車両１０の旋回方向（又はピッチング方向）と逆側のエッジ寄りの部分の特徴量とに基づいて、第１の対象物が第２の対象物と同一であるか否かを判定する。
【選択図】図１

Description

本発明は、車両に搭載されたカメラ等の撮像手段を介して取得した画像から、車両の周辺に存在する歩行者等の対象物を検出する装置及び方法に関する。さらに、その装置の処理をコンピュータに実行させるためのプログラムに関する。

近年、車両にＣＣＤカメラ等の撮像手段を搭載して周辺を撮像し、撮像された画像から車両の周辺に存在する歩行者等の対象物を検出し、該車両と接触する可能性が高い歩行者等の対象物を判定して、運転者への情報の提示等を行う技術が知られている（例えば特許文献１参照）。

特許文献１の車両の周辺監視装置においては、２つの赤外線カメラから得られる画像のうちの一方の画像（基準画像）に２値化処理やラベリング処理等を施して、車両の周辺の対象物を抽出する。そして、基準画像上で抽出された対象物を時刻間で追跡すると共に、基準画像上で抽出された対象物に対応する対象物を他方の画像上で探索し、２つの赤外線カメラから得られる画像上での対象物のずれ（視差）に基づいて、車両の周辺に存在する対象物の該車両に対する相対位置を位置データとして検出する。これにより、対象物の位置の時系列データが取得され、この時系列データに基づいて該対象物の該車両に対する移動ベクトルが算出される。そして、対象物の位置データと移動ベクトルとに基づいて該車両と接触する可能性が高い対象物が判定される。

このとき、特許文献１の車両の周辺監視装置において、対象物を時刻間で追跡する処理は、互いに異なる時刻で抽出された対象物の同一性を認識する処理であり、具体的には、時刻kにおいて基準画像から対象物Ｔ_kが抽出され、次の演算処理周期の時刻k+1において基準画像から対象物Ｔ_k+1が抽出されたとしたとき、対象物Ｔ_k+1と対象物Ｔ_kとの同一性（対象物Ｔ_k+1が対象物Ｔ_kと同一の対象物であるか否か）が判定される。この同一性の判定は、対象物の重心位置、面積、縦横比等の対象物の全体的な特徴に基づいて行われる。そして、対象物Ｔ_kと対象物Ｔ_k+1とが同一の対象物であると判定された場合には、対象物Ｔ_k+1のラベルが対象物Ｔ_kのラベルと同じラベルに変更される。これにより、対象物Ｔ_kと対象物Ｔ_k+1とが同一の対象物であると認識されて時刻間で追跡される。

一方、車両の旋回時やピッチング時には、撮像手段の撮像性能に比べて対象物の車両に対する相対位置の時間変化が大きくなるために、車両に搭載された撮像手段から得られた道路周辺の画像上で、歩行者等の対象物の残像が生じる場合がある。例えば、車両が右方向に旋回している場合には、画像上で対象物が左側にずれるため右側に残像が生じ、車両が左方向に旋回している場合には、画像上で対象物が右側にずれるため左側に残像が生じる。また、例えば、車両が上方向にピッチングしている場合には、画像上で対象物が下側にずれるため上側に残像が生じ、車両が下方向にピッチングしている場合には、画像上で対象物が上側にずれるため下側に残像が生じる。そして、このように残像が生じている画像から対象物を抽出すると、残像の影響で、対象物の重心位置、面積、縦横比等の特徴が変化する。このため、同一の対象物である場合でも、画像上での対象物の重心位置、面積、縦横比等の特徴が、残像が生じていない画像上で該対象物が示していた特徴と相違することとなる。

しかしながら、特許文献１の車両の周辺監視装置では、このような残像の影響は考慮されていないため、車両の旋回時やピッチング時には、同一の対象物であるか否かを判定する際に、同一の対象物でないと誤判定される可能性がある。このため、車両の旋回時やピッチング時に、互いに異なる時刻で抽出された対象物の同一性を適切に認識し得る技術が望まれていた。
特開２００１−６０９６号公報

本発明は、かかる背景に鑑みてなされたものであり、車両の旋回時やピッチング時に画像上に生じる残像の影響を低減して、車両に搭載された撮像手段により得られた車両周辺の画像から、互いに異なる時刻で抽出された歩行者等の対象物の同一性を精度良く認識することができる対象物検出装置、車両、対象物検出方法、並びに該対象物検出装置の処理をコンピュータに実行させる対象物検出用プログラムを提供することを目的とする。

かかる目的を達成するために、本発明の第１態様の対象物検出装置は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出手段と、任意の時刻Ｔａに取得された画像から該対象物抽出手段により抽出された第１の対象物が、該時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出手段により抽出された第２の対象物と同一であるか否かを判定する同一性判定手段とを備えた対象物検出装置において、前記車両のヨーレートを逐次検出するヨーレート検出手段を備え、前記同一性判定手段は、少なくとも前記時刻Ｔａにおける前記ヨーレートの大きさが所定閾値以上であるときに、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、前記時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定することを特徴とする（第１発明）。

この第１発明の対象物検出装置において、前記同一性判定手段は、任意の時刻Ｔａに取得された画像から前記対象物抽出手段により抽出された第１の対象物が、時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出手段により抽出された第２の対象物と同一であるか否かを判定する。このとき、車両の旋回時には、取得された画像上で対象物の残像が生じることがある。例えば、車両が右方向に旋回している場合には、画像上で対象物の右側に残像が生じ、車両が左方向に旋回している場合には、画像上で対象物の左側に残像が生じる。そして、このように残像が生じている画像から対象物を抽出すると、残像の画像部分が対象物の画像部分に含まれて抽出される。このため、残像の影響で、抽出された対象物の画像部分の重心位置、面積、縦横比等の全体的な特徴量が変化する。

そこで、前記同一性判定手段は、前記時刻Ｔａにおける前記ヨーレートの大きさが所定閾値以上であるとき（車両が旋回してヨーレートの大きさが画像上に残像が生じる程度に十分に大きいとき）に、時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定する。

すなわち、前記車両の旋回方向と逆側のエッジ寄りの部分は、残像が生じていない側の画像部分であるので、この部分の特徴量は、残像の影響が低減されたものとなる。従って、前記同一性判定手段により、この部分の特徴量に基づいて該第１の対象物が該第２の対象物と同一であるか否かを判定することで、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から互いに異なる時刻で抽出された対象物の同一性を精度良く認識することができる。

なお、前記同一性判定手段は、時刻Ｔａにおける前記ヨーレートの大きさが所定閾値未満であるとき（ヨーレートの大きさが画像上に残像が生じない程度に十分に小さいとき）には、時刻Ｔａに取得された画像における前記第１の対象物の画像部分の全体的な特徴量（該対象物の左右の両側部分のいずれも含む画像部分全体の特徴量）と、時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の全体的な特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定すればよい。

また、前記第１発明の対象物検出装置において、前記ヨーレート検出手段により検出されたヨーレートの大きさが前記所定閾値未満であるときに取得された画像から前記対象物抽出手段により抽出された対象物の画像部分を、対象物画像として逐次記憶する対象物画像記憶手段を備え、前記同一性判定手段は、前記時刻Ｔａ及び時刻Ｔｂが、少なくとも前記ヨーレートの大きさが前記所定値未満から該所定値以上に変化した直後で、且つ、該ヨーレートの大きさが該所定値以上に維持される所定期間内の時刻である場合に、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、該ヨーレートの大きさが該所定閾値以上に変化する直前の時刻Ｔｃに取得された画像から前記対象物画像記憶手段により記憶された対象物画像の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量との第１の類似の度合と、該時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄り部分の特徴量と、該時刻Ｔｃにおける該対象物画像の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量との第２の類似の度合とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定することが好ましい（第２発明）。

これによれば、前記対象物画像記憶手段は、前記ヨーレート検出手段により検出されたヨーレートの大きさが前記所定閾値未満であるとき（ヨーレートの大きさが画像上に残像が生じない程度に十分に小さいとき）に取得された画像から前記対象物抽出手段により抽出された対象物の画像部分を、対象物画像として逐次記憶する。この対象物画像は、残像が生じていない状態での対象物の画像部分であり、この対象物画像には、残像によるノイズが含まれないため対象物の特徴量が顕著に現れている。

一方、前記時刻Ｔａ及び時刻Ｔｂが、少なくとも前記ヨーレートの大きさが前記所定値未満から該所定値以上に変化した直後で、且つ、該ヨーレートの大きさが該所定値以上に維持される所定期間内の時刻である場合には、時刻Ｔａに取得された画像上と、時刻Ｔｂに取得された画像上とのいずれにおいても、残像が生じている状態であり、これらの画像から抽出された第１の及び第２の対象物の画像部分には、残像によるノイズが含まれている。なお、前記所定期間は、画像上に同一の対象物が存在しなくなるまでの期間である。

ここで、前記時刻Ｔａに取得された画像における前記第１の対象物と、前記時刻Ｔｂに取得された画像における前記第２の対象物とのいずれもが、該ヨーレートの大きさが該所定閾値以上に変化する直前の時刻Ｔｃに取得された画像から前記対象物画像記憶手段により記憶された対象物画像に対応する対象物（時刻Ｔｃに取得された画像から前記対象物抽出手段により抽出された第３の対象物）と同一であることが判れば、該第１の対象物が該第２の対象物と同一であることが判る。なお、前記ヨーレートの大きさが前記所定閾値以上に変化する直前の時刻Ｔｃにおける対象物画像とは、該所定閾値以上に変化する前に記憶された対象物画像であって、そのうちの最新に記憶された対象物画像である。

そこで、前記同一性判定手段は、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、該時刻Ｔｃにおける該対象物画像の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量との第１の類似の度合と、該時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄り部分の特徴量と、該時刻Ｔｃにおける該対象物画像の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量との第２の類似の度合とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定する。

すなわち、前記第１及び第２の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分は、残像が生じていない側の画像部分であるので、これらの部分の特徴量は、残像の影響が低減されたものとなる。さらに、これらの部分の特徴量が、残像が生じていない対象物画像の特徴量と比較されるので、残像の影響が排除され、前記第１及び第２の類似の度合には、前記第１及び第２の対象物が前記第３の対象物と同一であるか否かが精度良く示される。よって、前記同一性判定手段により、前記第１及び第２の類似の度合に基づいて該第１の対象物が該第２の対象物と同一であるか否かを判定することで、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から互いに異なる時刻で抽出された対象物の同一性を精度良く認識することができる。

次に、本発明の第２態様の対象物検出装置は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出手段と、任意の時刻Ｔａに取得された画像から該対象物抽出手段により抽出された第１の対象物が、該時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出手段により抽出された第２の対象物と同一であるか否かを判定する同一性判定手段とを備えた対象物検出装置において、前記車両のピッチングを逐次検出するピッチング検出手段を備え、前記同一性判定手段は、少なくとも前記時刻Ｔａにおいて前記ピッチング検出手段によりピッチングが検出されたときに、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の上下の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄りの部分の特徴量と、前記時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の上下の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定することを特徴とする（第３発明）。

この第３発明の対象物検出装置において、前記第１発明と同様に、前記同一性判定手段は、任意の時刻Ｔａに取得された画像から前記対象物抽出手段により抽出された第１の対象物が、時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出手段により抽出された第２の対象物と同一であるか否かを判定する。このとき、車両のピッチング時には、取得された画像上で対象物の残像が生じることがある。例えば、車両が上方向にピッチングしている場合には、画像上で対象物の上側に残像が生じ、車両が下方向にピッチングしている場合には、画像上で対象物の下側に残像が生じる。そして、このように残像が生じている画像から対象物を抽出すると、残像の画像部分が対象物の画像部分に含まれて抽出される。このため、残像の影響で、抽出された対象物の画像部分の重心位置、面積、縦横比等の全体的な特徴量が変化する。

そこで、前記同一性判定手段は、時刻Ｔａにおいて前記ピッチング検出手段により車両のピッチングが検出されたとき（車両が画像上に残像が生じる程度にピッチングしているとき）に、時刻Ｔａに取得された画像における前記第１の対象物の画像部分の上下の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄りの部分の特徴量と、時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の上下の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定する。なお、前記ピッチング検出手段は、車両のピッチングによって変化する状態量の検出値（例えば、車両の上下方向の並進速度や、車両のピッチング軸周りの角速度等）の大きさが所定閾値以上であるときに、ピッチングが検出されたと判断し、該検出値の大きさが該所定閾値未満であるときに、ピッチングが検出されていないと判断する。

すなわち、前記車両のピッチング方向と逆側のエッジ寄りの部分は、残像が生じていない側の画像部分であるので、この部分の特徴量は、残像の影響が低減されたものとなる。従って、前記同一性判定手段により、この部分の特徴量に基づいて該第１の対象物が該第２の対象物と同一であるか否かを判定することで、車両のピッチング時に、画像上に生じる残像の影響を低減して、車両周辺の画像から互いに異なる時刻で抽出された対象物の同一性を精度良く認識することができる。

なお、前記同一性判定手段は、時刻Ｔａにおいて前記ピッチング検出手段によりピッチングが検出されていないとき（車両が画像上に残像が生じる程度にピッチングしていないとき）には、時刻Ｔａに取得された画像における前記第１の対象物の画像部分の全体的な特徴量（該対象物の左右の両側部分のいずれも含む画像部分全体の特徴量）と、時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の全体的な特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定すればよい。

また、前記第３発明の対象物検出装置において、前記ピッチング検出手段によりピッチングが検出されていないときに取得された画像から前記対象物抽出手段により抽出された対象物の画像部分を、対象物画像として逐次記憶する対象物画像記憶手段を備え、
前記同一性判定手段は、前記時刻Ｔａ及び時刻Ｔｂが、少なくとも前記ピッチング検出手段によりピッチングが検出されていない状態からピッチングが検出された状態に変化した直後で、且つ、該ピッチングが検出された状態が維持される所定期間内の時刻である場合に、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄りの部分の特徴量と、該ピッチングが検出された状態となる直前の時刻Ｔｃに取得された画像から前記対象物画像記憶手段により記憶された対象物画像の左右の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量との第１の類似の度合と、該時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄り部分の特徴量と、該時刻Ｔｃにおける該対象物画像の左右の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量との第２の類似の度合とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定することが好ましい（第４発明）。

これによれば、前記対象物画像記憶手段は、前記ピッチング検出手段によりピッチングが検出されていないとき（車両が画像上に残像が生じる程度にピッチングしていないとき）に取得された画像から前記対象物抽出手段により抽出された対象物の画像部分を、対象物画像として逐次記憶する。この対象物画像は、残像が生じていない状態での対象物の画像部分であり、この対象物画像には、残像によるノイズが含まれないため対象物の特徴量が顕著に現れている。

一方、前記時刻Ｔａ及び時刻Ｔｂが、少なくとも前記ピッチング検出手段によりピッチングが検出されていない状態からピッチングが検出された状態に変化した直後で、且つ、該ピッチングが検出された状態が維持される所定期間内の時刻である場合には、時刻Ｔａに取得された画像上と、時刻Ｔｂに取得された画像上とのいずれにおいても、残像が生じている状態であり、これらの画像から抽出された第１の及び第２の対象物の画像部分には、残像によるノイズが含まれている。なお、前記所定期間は、画像上に同一の対象物が存在しなくなるまでの期間である。

ここで、前記時刻Ｔａに取得された画像における前記第１の対象物と、前記時刻Ｔｂに取得された画像における前記第２の対象物とのいずれもが、該ピッチングが検出された状態となる直前の時刻Ｔｃに取得された画像から前記対象物画像記憶手段により記憶された対象物画像に対応する対象物（時刻Ｔｃに取得された画像から前記対象物抽出手段により抽出された第３の対象物）と同一であることが判れば、該第１の対象物が該第２の対象物と同一であることが判る。なお、前記ピッチングが検出された状態となる直前の時刻Ｔｃにおける対象物画像とは、該ピッチングが検出された状態となる前に記憶された対象物画像であって、そのうちの最新に記憶された対象物画像である。

そこで、前記同一性判定手段は、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄りの部分の特徴量と、該時刻Ｔｃにおける該対象物画像の左右の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量との類似の度合と、該時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄り部分の特徴量と、該時刻Ｔｃにおける該対象物画像の左右の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量との類似の度合とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定する。

すなわち、前記第１及び第２の対象物の画像部分の左右の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄りの部分は、残像が生じていない側の画像部分であるので、これらの部分の特徴量は、残像の影響が低減されたものとなる。さらに、これらの部分の特徴量が、残像が生じていない対象物画像の特徴量と比較されるので、残像の影響が排除され、前記第１及び第２の類似の度合には、前記第１及び第２の対象物が前記第３の対象物と同一であるか否かが精度良く示される。よって、前記同一性判定手段により、前記第１及び第２の類似の度合に基づいて該第１の対象物が該第２の対象物と同一であるか否かを判定することで、車両のピッチング時に、画像上に生じる残像の影響を低減して、車両周辺の画像から互いに異なる時刻で抽出された対象物の同一性を精度良く認識することができる。

さらに、前記第１〜第４発明の対象物検出装置において、前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を検出する距離検出手段を備え、前記同一性判定手段は、前記時刻Ｔａに取得された画像における前記第１の対象物の、前記距離検出手段により検出された距離と、前記時刻Ｔｃにおける前記対象物画像に対応する対象物の、該距離検出手段により検出された距離とに基づいて、該対象物画像の大きさを補正する手段を備え、該補正された対象物画像を用いて、前記第１の類似の度合を算出すると共に、前記時刻Ｔｂに取得された画像における前記第２の対象物の、該距離検出手段により検出された距離と、該時刻Ｔｃにおける該対象物画像に対応する対象物の、該距離検出手段により検出された距離とに基づいて、該対象物画像の大きさを補正する手段を備え、該補正された対象物画像を用いて、前記第２の類似の度合を算出することが好ましい（第５発明）。

すなわち、対象物の車両に対する距離が変化すると、該車両に搭載された撮像手段を介して取得された画像上で、該対象物の画像部分の大きさが該距離の変化に応じて変化する。そこで、前記同一性判定手段は、前記時刻Ｔａに取得された画像における前記第１の対象物の、前記距離検出手段により検出された距離と、前記時刻Ｔｃにおける前記対象物画像に対応する対象物の、該距離検出手段により検出された距離とに基づいて、該対象物画像の大きさを補正する。また、前記時刻Ｔｂに取得された画像における前記第２の対象物の、前記距離検出手段により検出された距離と、前記時刻Ｔｃにおける前記対象物画像に対応する対象物の、該距離検出手段により検出された距離とに基づいて、該対象物画像の大きさを補正する。すなわち、前記対象物画像の大きさが、対象物の車両に対する距離の変化の影響を低減するように補正される。

そして、前記同一性判定手段により、前記それぞれ補正された対象物画像を用いて前記第１及び第２の類似の度合が算出される。従って、算出された前記第１及び第２の類似の度合は、対象物の車両に対する距離の変化によらずに、前記第１及び第２の対象物の画像部分の特徴量と前記対象物画像に対応する対象物との類似の度合をより適切に示すものとなる。よって、前記同一性判定手段により、算出された前記第１及び第２の類似の度合に基づいて該第１の対象物が該第２の対象物と同一であるか否かを判定することで、車両の旋回時又はピッチング時に、画像上に生じる残像の影響を低減して、車両周辺の画像から互いに異なる時刻で抽出された対象物の同一性を精度良く認識することができる。

次に、本発明の車両は、前記第１〜第５発明のうちいずれかの対象物検出装置が搭載されたことを特徴とする（第６発明）。この第６発明の車両によれば、本発明の対象物検出装置と同等の効果を奏する車両を実現できる。

次に、本発明の第１態様の対象物検出方法は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出ステップと、任意の時刻Ｔａに取得された画像から該対象物抽出ステップにより抽出された第１の対象物が、該時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出ステップにより抽出された第２の対象物と同一であるか否かを判定する同一性判定ステップとを備える対象物検出方法であって、前記車両のヨーレートを逐次検出するヨーレート検出ステップを備え、前記同一性判定ステップにおいて、少なくとも前記時刻Ｔａにおける前記ヨーレートの大きさが所定閾値以上であるときに、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、前記時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定することを特徴とする（第７発明）。

この第７発明の対象物検出方法によれば、前記第１発明に関して説明したように、時刻Ｔａにおける前記ヨーレートの大きさが所定閾値以上であるとき（車両が旋回してヨーレートの大きさが画像上に残像が生じる程度に十分に大きいとき）に、時刻Ｔａに抽出された対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分は、残像が生じていない側の画像部分であるので、この部分の特徴量は、残像の影響が排除されたものとなる。そして、時刻Ｔａにおける前記ヨーレートの大きさが所定閾値以上であるときには、前記同一性判定ステップにおいて、この残像の影響が低減された部分の特徴量に基づいて、該第１の対象物が時刻Ｔｂに取得された画像における前記第２の対象物と同一であるか否かが判定される。よって、本発明によれば、車両の旋回時に、画像上に生じる残像の影響を低減して、車両周辺の画像から互いに異なる時刻で抽出された対象物の同一性を精度良く認識することができる。

次に、本発明の第２態様の対象物検出方法は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出ステップと、任意の時刻Ｔａに取得された画像から該対象物抽出ステップにより抽出された第１の対象物が、該時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出ステップにより抽出された第２の対象物と同一であるか否かを判定する同一性判定ステップとを備える対象物検出方法であって、前記車両のピッチングを逐次検出するピッチング検出ステップを備え、前記同一性判定ステップにおいて、少なくとも前記時刻Ｔａにおいて前記ピッチング検出ステップでピッチングが検出されたときに、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の上下の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄りの部分の特徴量と、前記時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の上下の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定することを特徴とする（第８発明）。

この第８発明の対象物検出方法によれば、前記第３発明に関して説明したように、時刻Ｔａにおいて前記ピッチング検出ステップでピッチングが検出されたとき（車両が画像上に残像が生じる程度にピッチングしているとき）に、時刻Ｔａに取得された画像における前記第１の対象物の画像部分の上下の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄りの部分は、残像が生じていない側の画像部分であるので、この部分の特徴量は、残像の影響が排除されたものとなる。なお、前記ピッチング検出ステップでは、車両のピッチングによって変化する状態量の検出値（例えば、車両の上下方向の並進速度や、車両のピッチング軸周りの角速度等）の大きさが所定閾値以上であるときに、ピッチングが検出されたと判断し、該検出値の大きさが該所定閾値未満であるときに、ピッチングが検出されていないと判断する。

そして、時刻Ｔａにおいてピッチングが検出されたときには、前記同一性判定ステップにおいて、この残像の影響が低減された部分の特徴量に基づいて、該第１の対象物が時刻Ｔｂに取得された画像における前記第２の対象物と同一であるか否かが判定される。よって、本発明によれば、車両のピッチング時に、画像上に生じる残像の影響を低減して、車両周辺の画像から互いに異なる時刻で抽出された対象物の同一性を精度良く認識することができる。

次に、本発明の第１態様の対象物検出用プログラムは、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出処理と、任意の時刻Ｔａに取得された画像から該対象物抽出処理により抽出された第１の対象物が、時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出処理により抽出された第２の対象物と同一であるか否かを判定する同一性判定処理とを、コンピュータに実行させる対象物検出用プログラムであって、前記車両のヨーレートの検出値を逐次取得するヨーレート取得処理をコンピュータに実行させる機能を備え、前記同一性判定処理として、少なくとも前記時刻Ｔａにおける前記ヨーレートの大きさが所定閾値以上であるときに、時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定する処理をコンピュータに実行させる機能を有するプログラムであることを特徴とする（第９発明）。

この第９発明の対象物検出用プログラムによれば、前記第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。

次に、本発明の第２態様の対象物検出用プログラムは、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出処理と、任意の時刻Ｔａに取得された画像から該対象物抽出処理により抽出された第１の対象物が、該時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出手段により抽出された第２の対象物と同一であるか否かを判定する同一性判定処理とを、コンピュータに実行させる対象物検出用プログラムであって、前記車両のピッチングによって変化する状態量の検出値を逐次取得するピッチング取得処理をコンピュータに実行させる機能を備え、前記同一性判定処理として、少なくとも前記時刻Ｔａにおいて前記ピッチング取得処理で取得された検出値によりピッチングが検出されたときに、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の上下の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄りの部分の特徴量と、前記時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の上下の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定する処理をコンピュータに実行させる機能を有するプログラムであることを特徴とする（第１０発明）。

この第１０発明の対象物検出用プログラムによれば、前記第３発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。

本発明の一実施形態を添付の図面を参照して説明する。まず、本発明の第１実施形態について説明する。図１は、本実施形態による対象物検出装置の機能ブロック図であり、図２は、図１に示した対象物検出装置の車両への取り付け態様の説明図であり、図３は、図１の対象物検出装置における対象物検出・注意喚起動作を示すフローチャートである。また、図４は、図３の対象物検出・注意喚起動作における処理画像の例示図である。なお、本実施形態は、本発明の第１態様の対象物検出装置に相当する。

図１，２を参照して、本実施形態の対象物検出装置は、ＣＰＵ（中央演算装置）を備えた電子ユニットである画像処理ユニット１を有する。画像処理ユニット１には、２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを逐次検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を逐次検出する車速センサ４と、自車両１０のブレーキの操作を逐次検出するためのブレーキセンサ５とが接続されている。なお、加速度センサ１７は、本実施形態には備えられず、後述の第２実施形態に備えられるものであるので、ここでは説明を省略する。

また、画像処理ユニット１には、自車両１０に搭載された、音声等による聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。表示装置７は、例えば、自車両１０のフロントウィンドウに画像等の情報を表示するＨＵＤ（ヘッドアップディスプレイ）７ａ等を備えている。ＨＵＤ７ａは、自車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。

赤外線カメラ２Ｒ，２Ｌは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。なお、赤外線カメラ２Ｒ，２Ｌは、本発明の撮像手段に相当する。

図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部に所定の間隔で取り付けられている。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両１０の前部に固定されている。

画像処理ユニット１は、詳細の図示は省略するが、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４及びブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル信号に変換されて入力される。そして、画像処理ユニット１は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ６や表示装置７を介して注意喚起（対象物に対する運転者の注意の喚起）を行う処理等を実行する。これらの処理は、画像処理ユニット１のＲＯＭに予め実装されたプログラムを画像処理ユニット１により実行することにより実現され、そのプログラムは、本発明の対象物検出用プログラムを含んでいる。

より詳しくは、画像処理ユニット１は、上記プログラムにより実現される機能として、取得された画像から自車両１０の周辺に存在する対象物を抽出する対象物抽出手段１１と、抽出された対象物の画像部分から該対象物が歩行者であるか否かを判定する歩行者判定手段１２と、ヨーレートセンサ３により検出されたヨーレートの大きさが所定閾値未満である場合に歩行者画像を逐次記憶する歩行者画像記憶手段１３と、対象物の自車両１０に対する距離を検出する距離検出手段１４とを備える。また、画像処理ユニット１は、その機能として、演算処理周期毎に抽出された対象物の同一性を判定する同一性判定手段１６と、ヨーレートセンサ３により検出されたヨーレートの大きさが所定閾値未満である場合に対象物画像を逐次記憶する対象物画像記憶手段１５とを備える。

対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像から、自車両１０の周辺に存在する対象物を抽出する。具体的には、対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの所定の基準画像（本実施形態では、赤外線カメラ２Ｒを介して取得された画像とする）に２値化処理等を施して、さらにラベリング処理等を施し、対象物の画像部分を抽出する。

距離検出手段１４は、基準画像上で対象物抽出手段１１により抽出された対象物に対応する対象物を赤外線カメラ２Ｌを介して取得された画像上で探索し、２つの赤外線カメラ２Ｒ，２Ｌから得られる画像上での対象物のずれ（視差）に基づいて、対象物の自車両１０に対する距離を検出する。なお、画像に基づいて対象物の距離を検出する具体的な手法としては、例えば、上述の特許文献１に記載したような手法を用いることができる。

歩行者画像記憶手段１３は、ヨーレートセンサ３より検出されたヨーレートの大きさが所定閾値未満であるときに取得された画像から、歩行者判定手段１２により歩行者であると判定された対象物の画像部分を、歩行者画像として逐次記憶する。

歩行者判定手段１２は、対象物抽出手段１１により抽出された対象物の画像部分から、該対象物が歩行者であるか否かを判定する。具体的には、歩行者判定手段１２は、ヨーレートの大きさが所定閾値以上であるときには、このとき取得された画像から抽出された対象物の画像部分の左右の両側部分のうちの、自車両１０の旋回方向と逆側のエッジ寄りの部分の特徴量と、該ヨーレートの大きさが所定閾値以上に変化する直前に記憶された歩行者画像の左右の両側部分のうちの、自車両１０の旋回方向と逆側のエッジ寄りの部分の特徴量との類似の度合に基づいて、該対象物が歩行者であるか否かを判定する。なお、歩行者判定手段１２は、距離検出手段１４の検出結果に基づいて前記歩行者画像の大きさを補正し、該補正した歩行者画像を用いて前記類似の度合を算出する。

また、歩行者判定手段１２は、ヨーレートの大きさが所定閾値未満であるときには、このとき取得された画像から抽出された対象物の画像部分の全体的な特徴量に基づいて、該対象物が歩行者であるか否かを判定する。なお、歩行者の判定に用いる対象物の画像部分の全体的な特徴量は、例えば、対象物の形状、輝度分散等である。

対象物画像記憶手段１５は、ヨーレートセンサ３より検出されたヨーレートの大きさが所定閾値未満であるときに取得された画像から対象物抽出手段１１により抽出された対象物の画像部分を、対象物画像として逐次記憶する。

同一性判定手段１６は、任意の時刻Ｔａに取得された画像から対象物抽出手段１１により抽出された第１の対象物が、該時刻Ｔａよりも前の演算処理周期の時刻Ｔｂに取得された画像から対象物抽出手段１１により抽出された第２の対象物と同一であるか否かを判定する。具体的には、同一性判定手段１６は、時刻Ｔａにおけるヨーレートの大きさが所定閾値以上であるときに、時刻Ｔａに取得された画像における第１の対象物の画像部分の左右の両側部分のうちの、自車両１０の旋回方向と逆側のエッジ寄りの部分の特徴量と、時刻Ｔｂに取得された画像における第２の対象物の画像部分の左右の両側部分のうちの、自車両１０の旋回方向と逆側のエッジ寄りの部分の特徴量とに基づいて、第１の対象物が第２の対象物と同一であるか否かを判定する。

また、同一性判定手段１６は、時刻Ｔａにおけるヨーレートの大きさが所定閾値未満であるときは、時刻Ｔａに取得された画像における第１の対象物の画像部分の全体的な特徴量と、時刻Ｔｂに取得された画像における第２の対象物の画像部分の全体的な特徴量とに基づいて、第１の対象物が第２の対象物と同一であるか否かを判定する。なお、同一性の判定に用いる対象物の画像部分の全体的な特徴量は、例えば、対象物の重心位置、面積、対象物の外接四角形の縦横比等である。

次に、本実施形態の対象物検出装置の全体的な作動（対象物検出・警報動作）を、図３に示したフローチャートに従って説明する。図３を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ００１〜ＳＴＥＰ０２０の処理を繰り返して、対象物検出・注意喚起動作を実行する。まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得して（ＳＴＥＰ００１）、Ａ／Ｄ変換し（ＳＴＥＰ００２）、グレースケール画像を画像メモリに格納する（ＳＴＥＰ００３）。なお、赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。右画像と左画像とでは、同一の対象物の画像上での横方向（ｘ方向）の位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。

次に、画像処理ユニット１は、グレースケール画像のうちの基準画像に対して、その画像信号を２値化する（ＳＴＥＰ００４）。すなわち、基準画像の画像信号の輝度値が閾値Ｉthより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理が行われる。閾値Ｉthは、実験的に予め決定される値である。

図４（ａ）に、ある演算処理周期の時刻（離散系時刻）kにおいて赤外線カメラ２Ｒによって得られる画像を２値化した画像を例示する。図４（ａ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。太い実線で囲まれた領域は、赤外線カメラ２Ｒから得られる画像において、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域である。なお、図４（ａ）に示した例は、自車両１０の前方に歩行者が存在しており、自車両１０が直進している場合の例である。

次に、画像処理ユニット１は、２値化処理で「白」となった領域（以下、２値化領域という）からランレングスデータを作成する（ＳＴＥＰ００５）。作成されるランレングスデータは、２値化領域を画像の横方向の１次元の連結画素であるラインの集合で表し、該２値化領域を構成する各ラインをその始点の座標と、始点から終点までの長さ（画素数）とで示したものである。

次に、画像処理ユニット１は、作成されたランレングスデータに基づいて、対象物のラベリングをする（ＳＴＥＰ００６）ことにより、対象物を抽出する（ＳＴＥＰ００７）。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向（ｙ方向）に重なる部分のあるラインを１つの対象物とみなしてラベル（識別子）を付すことにより、画像内の連結した領域を対象物として抽出する。

上述のＳＴＥＰ００５〜００７の処理により、図４（ａ）に示す２値化領域が、図４（ｂ）に例示するように、対象物（２値化対象物）Ｔ_kとして抽出される。このとき、例えばラベルＴ_kの対象物は、ｎ個のランレングスデータＬ１〜Ｌｎで示される。なお、抽出される対象物（２値化対象物）には、道路周辺の歩行者以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。図４（ｂ）の例では、対象物Ｔ_kは、自車両１０の前方に存在する歩行者に対応する２値化対象物である。

次に、画像処理ユニット１は、抽出された対象物の面積Ｓ、重心位置Ｇｃ、対象物の外接四角形の高さＨｂ、幅Ｗｂ、重心位置Ｇｂ、縦横比ＡＳＰを算出する（ＳＴＥＰ００８）。具体的には、図４（ｂ）の例では、対象物Ｔ_kの面積Ｓ_kは、各ランレングスデータＬｉ（ｉ＝１，．．．，ｎ）で示されるラインの長さを、対象物Ｔ_kのｎ個のランレングスデータについて積算することにより算出する。また、対象物Ｔ_kの重心位置Ｇｃ_kは、各ランレングスデータＬｉで示されるラインの長さと、各ランレングスデータＬｉのラインの中点の座標（ｘ［ｉ］，ｙ［ｉ］）とをそれぞれ掛け合わせ、更にこれを対象物Ｔ１のｎ個のランレングスデータについて積算したものを、面積Ｓ_kで割ることにより算出する。また、対象物Ｔ_kの外接四角形の縦横比ＡＳＰ_kは、対象物Ｔ_kの外接四角形の高さ（縦方向の長さ）Ｈｂ_kと幅（横方向の長さ）Ｗｂ_kとの比Ｈｂ_k／Ｗｂ_kとして算出する。なお、対象物Ｔ_kの画像部分Ｒ_kは、対象物Ｔ_kを囲む外接四角形の領域全体とする。

次に、画像処理ユニット１は、ヨーレートセンサ３により検出されるヨーレートＹＲと、車速センサ４により検出される車速ＶＣＡＲとを読み込む（ＳＴＥＰ００９）。なお、このＳＴＥＰ００９では、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒの算出も行われる。

次に、画像処理ユニット１は、対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎に同一対象物を認識する処理を行う（ＳＴＥＰ０１０）。同一対象物認識処理は、時刻kにおけるＳＴＥＰ００７の処理により対象物Ｔ_kが抽出され、次の演算処理周期の時刻k+1におけるＳＴＥＰ００７の処理により対象物Ｔ_k+1が抽出されたとしたとき、対象物Ｔ_k+1と対象物Ｔ_kとの同一性（対象物Ｔ_k+1が対象物Ｔ_kと同一の対象物であるか否か）を判定する処理である。そして、対象物Ｔ_kと対象物Ｔ_k+1とが同一の対象物であると判定された場合には、対象物Ｔ_k+1のラベルが対象物Ｔ_kのラベルと同じラベルに変更される。これにより、対象物Ｔ_kと対象物Ｔ_k+1とが同一の対象物であると認識されて、時刻間で追跡される。この同一対象物認識処理は、基準画像において実行される。なお、同一対象物認識処理については、詳細を後述する。

一方、画像処理ユニット１は、ＳＴＥＰ００９，０１０の処理に平行して、ＳＴＥＰ０１１〜０１４の処理を実行する。ＳＴＥＰ０１１〜０１４の処理は、対象物と自車両１０との距離ｚ（自車両１０の前後方向の距離）を算出する処理である。

まず、画像処理ユニット１は、基準画像の２値化画像によって追跡される対象物の中の１つを選択して、基準画像から探索画像Ｒ１（選択した対象物を囲む外接四角形の領域全体を探索画像とする）を抽出する（ＳＴＥＰ０１１）。

次に、画像処理ユニット１は、参照画像（赤外線カメラ２Ｒ，２Ｌから得られた右画像及び左画像のうちの基準画像でない画像、今回の例では赤外線カメラ２Ｌから得られた左画像）中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ＳＴＥＰ０１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、参照画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内に、座標（ｘ0，ｙ0）を基点（領域の左上の頂点）とした探索画像Ｒ１と同一形状の局所領域Ｒ３を設定する。そして、基点の座標（ｘ0，ｙ0）を変化させて、探索領域Ｒ２内で局所領域Ｒ３を移動させながら、局所領域Ｒ３と探索画像Ｒ１との相関の度合を示す輝度値の絶対差分和（SAD，Sum of Absolute Difference）Ｃ（ｘ0，ｙ0）を次式（１）により算出する。

ここで、絶対差分和Ｃ（ｘ0，ｙ0）は、探索画像Ｒ１内の座標（ｍ，ｎ）の画素の輝度値ＩＲと、探索領域Ｒ２内の座標（ｘ0，ｙ0）を基点とした局所領域Ｒ３内の座標（ｘ0＋ｍ，ｙ0＋ｎ）の画素の輝度値ＩＬとの差の絶対値を取り、この差の絶対値の探索画像Ｒ１及び局所領域Ｒ３内の全画素（ｍ＝０，．．．，M-1，ｎ＝０，．．．，N-1）についての総和値を求めたものである。なお、絶対差分和Ｃ（ｘ0，ｙ0）の値が小さいほど、探索画像Ｒ１と局所領域Ｒ３との相関の度合が高いことを示す。これにより、絶対差分和Ｃ（ｘ0，ｙ0）が最小となる基点の座標（ｘ0，ｙ0）を求め、この位置の局所領域Ｒ３を対応画像Ｒ４として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。ＳＴＥＰ０１１〜０１２の処理により、基準画像中の探索画像Ｒ１と、参照画像中の対応画像Ｒ４とが抽出される。

次に、画像処理ユニット１は、探索画像Ｒ１の重心位置と、対応画像Ｒ４の重心位置とに基づいて、視差Δｄ（画素数）を算出する（ＳＴＥＰ０１３）。そして、画像処理ユニット１は、算出された視差Δｄを用いて、次式（２）により、自車両１０と対象物との距離ｚを算出する（ＳＴＥＰ０１４）。

ｚ＝Ｂ×Ｆ／（Δｄ×ｐ） …（２）
なお、Ｂは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、Ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離Ｆ、ｐは画素間隔である。

ＳＴＥＰ０１０及びＳＴＥＰ０１４の処理の終了後、画像処理ユニット１は、次に、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ０１５）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点（自車両１０に固定された位置）を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向及びＹ方向は、それぞれ自車両１０の左右方向（車幅方向）、上下方向であり、これらのＸ方向及びＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、実空間位置（Ｘ，Ｙ，Ｚ）は、次式（３）（４）（５）により算出される。

Ｘ＝ｘ×ｚ×ｐ／ｆ …（３）
Ｙ＝ｙ×ｚ×ｐ／ｆ …（４）
Ｚ＝ｚ …（５）
次に、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、ＳＴＥＰ００９で算出した回頭角θｒを用いて、対象物の実空間位置を補正する。（ＳＴＥＰ０１６）。回頭角補正は、時刻kから時刻k+1までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ２Ｒ，２Ｌによって得られる画像上では、画像の範囲がｘ方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。

次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ０１７）。具体的には、同一対象物についての実空間位置の、所定期間ｄＴ（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（座標ＰvdT＝（ＸvdT，ＹvdT，ＺvdT））から、現在時刻における該直線上の対象物の位置（座標Ｐv0＝（Ｘv0，Ｙv0，Ｚv0））に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、前記特許文献１に記載された手法を用いる。

次に、画像処理ユニット１は、検出した対象物と自車両１０とが接触する可能性を判定して、該対象物が回避対象（自車両１０との接触を回避すべき対象）であるか否かを判定する回避判定処理を行う（ＳＴＥＰ０１８）。なお、回避判定処理については、詳細を後述する。ＳＴＥＰ０１８において、検出した対象物が回避対象でないと判定された場合（ＳＴＥＰ０１８の判定結果がＮＯ）には、ＳＴＥＰ００１に戻り、上述の処理を繰り返す。また、ＳＴＥＰ０１８において、検出した対象物が回避対象であると判定された場合（ＳＴＥＰ０１８の判定結果がＹＥＳ）、ＳＴＥＰ０１９へ進む。

ＳＴＥＰ０１９では、画像処理ユニット１は、対象物に対する車両１０の運転者の注意を喚起すべきか否かを判定する注意喚起出力判定処理を行う。この注意喚起出力判定処理では、ブレーキセンサ５の出力ＢＲから、運転者による自車両１０のブレーキ操作がなされていることが確認され、且つ、自車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行わないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行うべきと判定される。

そして、画像処理ユニット１は、注意喚起を行うべきと判定した場合（ＳＴＥＰ０１９の判定結果がＹＥＳ）には、スピーカ６と表示装置７とによる注意喚起を自車両１０の運転者に対して行う注意喚起処理を実行し（ＳＴＥＰ０２０）、ＳＴＥＰ００１に戻り、上述の処理を繰り返す。この警報出力処理では、例えば表示装置７に基準画像を表示すると共に、その基準画像中の回避対象である対象物の画像を強調的に表示する。さらに、回避対象である対象物が存在することをスピーカ６から運転者に音声案内する。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。

また、ＳＴＥＰ０１９で注意喚起を行わないと判定した場合（全ての対象物について注意喚起を行わないと判定した場合）には、ＳＴＥＰ０１９の判定結果がＮＯとなり、この場合には、そのままＳＴＥＰ００１に戻り、上述の処理を繰り返す。

以上が、本実施形態の対象物検出装置の画像処理ユニット１における対象物検出・注意喚起動作である。これにより、自車両１０の周辺の赤外線画像と、自車両１０の走行状態を示す信号とから、自車両１０の前方の歩行者等の対象物が検出され、回避対象である対象物について運転者に注意喚起が行われる。

次に、図５に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ０１０における同一対象物認識処理について詳細に説明する。以下の説明では、時刻kに、自車両１０の前方に歩行者が存在して自車両１０が直進している場合において、時刻k+1で、自車両１０が直進を継続し、時刻k+2で、自車両１０が右方向に旋回している場合を例にして説明する。なお、時刻kにおける処理画像は、図４（ａ）に例示したようになる。

図４（ｃ）には、時刻k+1において、上述のＳＴＥＰ００４で、赤外線カメラ２Ｒによって得られる画像を２値化した画像が例示されている。図４（ｃ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。図４（ｃ）に示す２値化領域は、上述のＳＴＥＰ００５〜００７の処理により、図４（ｄ）に例示するように、対象物（２値化対象物）Ｔ_k+1として抽出される。このとき、対象物Ｔ_k+1の画像部分Ｒ_k+1は、幅Wｂ_k+1、高さＨｂ_k+1とする。

また、図４（ｅ）には、時刻k+2において、上述のＳＴＥＰ００４で、赤外線カメラ２Ｒによって得られる画像を２値化した画像が例示されている。図４（ｅ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。このとき、図４（ｅ）の例では、自車両１０が右方向に旋回しているため、歩行者の画像部分の右側に残像が生じている。このため、図４（ｅ）に示す２値化領域には、歩行者に相当する領域Ｆ１と共に、残像に相当する領域Ｆ２（点描を付した領域）が含まれている。そして、図４（ｅ）に示す２値化領域は、上述のＳＴＥＰ００５〜００７の処理により、図４（ｆ）に例示するように、対象物（２値化対象物）Ｔ_k+2として抽出される。このとき、対象物Ｔ_k+2の画像部分Ｒ_k+2は、幅Wｂ_k+2、高さＨｂ_k+2とする。

図５を参照して、同一対象物認識処理において、まず、画像処理ユニット１は、図３のＳＴＥＰ００９で読み込まれたヨーレートＹＲが所定閾値ＹＲth以上であるか否かを判断する（ＳＴＥＰ１０１）。

ＳＴＥＰ１０１の判断結果がＮＯの場合（|ＹＲ|＜ＹＲth）は、自車両１０のヨーレートの大きさが画像上に残像が生じない程度に十分に小さい場合であり、以下のＳＴＥＰ１０２〜１０４の処理が行われ、ＳＴＥＰ１１０又はＳＴＥＰ１１１に進む。上述の図４（ｃ）に示した時刻k+1の例がこの場合に相当しており、以下ではこの例を用いて説明する。

まず、ＳＴＥＰ１０２に進み、画像処理ユニット１は、抽出された対象物Ｔ_k+1の画像部分Ｒ_k+1を、対象物画像として画像メモリに記憶する。なお、対象物画像は逐次（演算処理周期毎に）更新されて記憶される。

次に、ＳＴＥＰ１０３で、画像処理ユニット１は、時刻k+1で抽出された対象物Ｔ_k+1と、時刻kで抽出された対象物Ｔ_kとの同一性の判定に用いる特徴量を算出する。なお、本実施形態では、同一性判定用の特徴量として、時刻k+1のＳＴＥＰ００８で算出された対象物Ｔ_k+1の重心位置Ｇｃ_k+1、面積Ｓ_k+1、縦横比ＡＳＰ_k+1と、時刻kにおいてＳＴＥＰ００８で算出された対象物Ｔ_kの重心位置Ｇｃ_k、面積Ｓ_k、縦横比ＡＳＰ_kとを用いている。そして、画像処理ユニット１は、それぞれの差ΔＧｃ（＝Ｇｃ_k+1−Ｇｃ_k），ΔＳ（＝Ｓ_k+1−Ｓ_k），ΔＡＳＰ（＝ＡＳＰ_k+1−ＡＳＰ_k）を算出する。

次に、ＳＴＥＰ１０４で、画像処理ユニット１は、ΔＧｃ，ΔＳ，ΔＡＳＰが、それぞれ所定範囲内であるか否か判断する。なお、所定範囲は、ΔＧｃ，ΔＳ，ΔＡＳＰのそれぞれについて、対象物Ｔ_kと対象物Ｔ_k+1とが同一であるときに採り得る値の範囲として予め定められる範囲である。

ＳＴＥＰ１０４の判断結果がＹＥＳ（ΔＧｃ，ΔＳ，ΔＡＳＰの全てが所定範囲内である）の場合には、ＳＴＥＰ１１０に進み、対象物Ｔ_kと対象物Ｔ_k+1とが同一であると判定されて、対象物Ｔ_k+1のラベルが対象物Ｔ_kのラベルと同じラベルに変更され、同一対象物認識処理が終了される。ＳＴＥＰ１０４の判断結果がＮＯ（ΔＧｃ，ΔＳ，ΔＡＳＰのうちの少なくともいずれかが所定範囲内でない）の場合には、ＳＴＥＰ１１１に進み、対象物Ｔ_kと対象物Ｔ_k+1とが同一でないと判定されて、同一対象物認識処理が終了される。

一方、ＳＴＥＰ１０１の判断結果がＹＥＳの場合（|ＹＲ|≧ＹＲth）は、自車両１０が旋回してヨーレートの大きさが画像上に残像が生じる程度に十分大きい場合であり、以下のＳＴＥＰ１０５〜１０９の処理が行われ、ＳＴＥＰ１１０又はＳＴＥＰ１１１に進む。上述の図４（ｅ）に示した時刻k+2の例がこの場合に相当しており、以下ではこの例を用いて説明する。時刻k+2で抽出された対象物Ｔ_k+2の画像部分Ｒ_k+2は、図６（ｂ）に示したようになる。

まず、ＳＴＥＰ１０５に進み、画像処理ユニット１は、時刻k+1でＳＴＥＰ１０２において画像メモリに記憶された対象物画像Ｒ_k+1（ヨーレートＹＲの大きさが所定閾値ＹＲth以上となる直前の対象物画像）を読み込む。次に、ＳＴＥＰ１０６で、画像処理ユニット１は、読み込んだ対象物画像Ｒ_k+1の大きさ（幅Ｗｂ_k+1と高さＨｂ_k+1）を補正する。具体的には、時刻k＋1の対象物Ｔ_k+1の自車両１０に対する距離Ｚv0_k+1と、時刻k＋2の対象物Ｔ_k+2の自車両１０に対する距離Ｚv0_k+2とを用いて、補正後の対象物画像Ｒ_k+1’の幅Ｗｂ_k+1’＝Ｗｂ_k+1×Ｚv0_k+2／Ｚv0_k+1、高さＨｂ_k+1’＝Ｈｂ_k+1×Ｚv0_k+2／Ｚv0_k+1となるように補正する。

なお、時刻k+1の対象物Ｔ_k+1の自車両１０に対する距離Ｚv0_k+1としては、時刻k+1のＳＴＥＰ０１４で算出された値を用いる。また、時刻k＋2の対象物Ｔ_k+2の自車両１０に対する距離Ｚv0_k+2は、例えば、対象物Ｔ_k+2が対象物Ｔ_k+1と同一であると仮定して、時刻k+1における対象物Ｔ_k+1の位置及び速度とヨーレートＹＲと自車速ＶＣＡＲとに基づいて、移動軌跡を推定することにより算出する。補正された対象物画像Ｒ_k+1’は、図６（ａ）に示したようになる。

次に、ＳＴＥＰ１０７で、画像処理ユニット１は、補正した対象物画像Ｒ_k+1’と、対象物Ｔ_k+2の画像部分Ｒ_k+2とに、それぞれ、自車両１０の旋回方向と逆側のエッジ寄りの部分である部分領域Ｃ_k+1，Ｃ_k+2を、図６（ａ）（ｂ）に示したように設定する（この部分領域Ｃ_k+1，Ｃ_k+2は、図示のごとく、自車両１０の旋回方向と逆側寄りのエッジを含む領域である）。なお、部分領域Ｃ_k+2は、部分領域Ｃ_k+1と同一形状とする。これにより、残像が生じていない側の画像部分に、部分領域Ｃ_k+1，Ｃ_k+2が設定される。

次に、ＳＴＥＰ１０８で、画像処理ユニット１は、部分領域Ｃ_k+1と部分領域Ｃ_k+2との相関の度合を示す値である輝度値の絶対差分和を算出する。なお、本実施形態では、同一性判定用の特徴量として、部分領域Ｃ_k+1，Ｃ_k+2の輝度分布を用いており、部分領域Ｃ_k+1，Ｃ_k+2の輝度分布の類似の度合として、絶対差分和を用いている。

次に、ＳＴＥＰ１０９で、画像処理ユニット１は、算出された絶対差分和に基づいて、部分領域Ｃ_k+1，Ｃ_k+2の輝度分布の類似の度合を判断する。具体的には、算出された絶対差分和が所定閾値以下（相関の度合が高い）である場合に、類似の度合が高いと判断する。

ＳＴＥＰ１０９の判断結果がＹＥＳ（類似の度合が高い）の場合には、ＳＴＥＰ１１０に進み、対象物Ｔ_k+1と対象物Ｔ_k+2とが同一であると判定されて、対象物Ｔ_k+2のラベルが対象物Ｔ_k+1のラベルと同じラベルに変更され、同一対象物認識処理が終了される。図６に示した例では、類似の度合が高いと判断され、対象物Ｔ_k+1と対象物Ｔ_k+2とが同一であると判定される。ＳＴＥＰ１０９の判定結果がＮＯ（類似の度合が低い）の場合には、ＳＴＥＰ１１１に進み、対象物Ｔ_k+1と対象物Ｔ_k+2とが同一でないと判定されて、同一対象物認識処理が終了される。これにより、自車両１０の旋回時に、取得される画像上に生じる残像の影響を低減して、演算処理周期毎に抽出された対象物の同一性を精度良く判定することができる。

さらに、時刻k+3で、画像上に対象物Ｔ_k+3が（対象物Ｔ_k+2と同一の対象物）抽出され、時刻k+2と同様に、自車両１０が右方向に旋回している場合（|ＹＲ|≧ＹＲth）には、時刻k+2と同様に、ＳＴＥＰ１０５〜１０９の処理が行われる。この場合に、時刻k+1，k+2，k+3は、それぞれ、前記第２発明の時刻Ｔｃ，Ｔｂ，Ｔａに相当する。

このとき、ＳＴＥＰ１０６で、画像処理ユニット１は、時刻k＋1の対象物Ｔ_k+1の自車両１０に対する距離Ｚv0_k+1と、時刻k+3の対象物Ｔ_k+3の自車両１０に対する距離Ｚv0_k+3とを用いて、対象物画像Ｒ_k+1の大きさを補正する。次に、ＳＴＥＰ１０７で、画像処理ユニット１は、補正した対象物画像Ｒ_k+1”と、対象物Ｔ_k+3の画像部分Ｒ_k+3とに、それぞれ、自車両１０の旋回方向と逆側のエッジ寄りの部分である部分領域Ｃ_k+1，Ｃ_k+3を設定する。次に、ＳＴＥＰ１０８で、部分領域Ｃ_k+1と部分領域Ｃ_k+3との輝度値の絶対差分和が算出され、ＳＴＥＰ１０９で、部分領域Ｃ_k+1と部分領域Ｃ_k+3との輝度分布の類似の度合が判断される。

そして、ＳＴＥＰ１０９の判断結果がＹＥＳとなり、ＳＴＥＰ１１０で、対象物Ｔ_k+1と対象物Ｔ_k+3とが同一であると判定されて、対象物Ｔ_k+3のラベルが対象物Ｔ_k+1のラベルと同じラベルに変更される。このとき、時刻k+2の演算処理周期において、ＳＴＥＰ１０９で部分領域Ｃ_k+1，Ｃ_k+2の輝度分布の類似の度合が高いと判断され、ＳＴＥＰ１１０で、対象物Ｔ_k+1と対象物Ｔ_k+2とが同一であると判定され、対象物Ｔ_k+2のラベルが対象物Ｔ_k+1のラベルと同じラベルに変更されている。よって、対象物Ｔ_k+3のラベルが対象物Ｔ_k+2のラベルと同じラベルに変更されることとなり、時刻k+3の対象物Ｔ_k+3が時刻k+2の対象物Ｔ_k+2と同一であることが認識される。

以上が、本実施形態における同一対象物認識処理の詳細である。

なお、本実施形態では、画像処理ユニット１がその機能として対象物画像記憶手段１３を備え、画像処理ユニット１は、ヨーレートの大きさが所定閾値以上に変化する直前に対象物画像記憶手段１３により記憶された対象物画像と、対象物の画像部分との類似の度合に基づいて、対象物の同一性を判定するものとがしたが、他の実施形態として、画像処理ユニット１は、対象物画像の代わりに、例えば逐次直前の演算処理周期に抽出された対象物の画像部分を用いて類似の度合を算出し、対象物の同一性を判定してもよい。

このとき、画像処理ユニット１は、例えば、上述の時刻k+3の場合に、時刻k+2とk+3とで、対象物Ｔ_k+2，Ｔ_k+3の画像部分のうちの自車両１０の旋回方向と逆側のエッジ寄り部分Ｃ_k+2，Ｃ_k+3の特徴量を直接比較して類似の度合を算出し、対象物Ｔ_k+2と対象物Ｔ_k+3との同一性を判定する。この場合に、時刻k+2，k+3は、それぞれ、前記第１発明の時刻Ｔｂ，Ｔａに相当する。このようにしても、自車両１０の旋回方向と逆側のエッジ寄りの部分の特徴量は、残像の影響が低減されたものとなるので、自車両１０の旋回時に、取得される画像上に生じる残像の影響を低減して、演算処理周期毎に抽出された対象物の同一性を精度良く判定することができる。

次に、図７に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ０１８における回避判定処理について詳細に説明する。図７は、本実施形態の回避判定処理を示すフローチャートである。回避判定処理は、以下に示す第１接触判定処理、第２接触判定処理、進入接触判定処理、歩行者判定処理、及び人工構造物判定処理により、検出した対象物と自車両１０との接触の可能性及び対象物の種類を判定して、該対象物が回避対象であるか否かを判定する処理である。

図７を参照して、まず、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第１接触判定処理を行う（ＳＴＥＰ２０１）。第１接触判定処理は、対象物と自車両１０との接触を自車両１０の操舵やブレーキ操作によって余裕を持って回避できるか否かを判定するための処理である。具体的には、第１接触判定処理では、赤外線カメラ２Ｒ，２Ｌにより撮像される自車両１０の前方の領域（赤外線カメラ２Ｒ，２Ｌの視野角内の領域）ＡＲ０のうち、自車両１０からのＺ方向の距離（自車両１０の前後方向の距離）が、所定値以下となる領域ＡＲ１（以下、第１接触判定領域という）に対象物の現在の実空間位置が存在するか否かが判定される。

この場合、自車両１０からの距離に関する所定値は、対象物毎に設定される。具体的には、対象物と自車両１０とのＺ方向の相対速度Ｖｓ（＝（Ｚv0−ＺvdT）/ｄＴ）を求め、この相対速度Ｖｓに所定の時間Ｔ１（例えば２〜５秒程度）を乗じた値Ｖｓ×Ｔ１が、第１接触判定領域ＡＲ１の、Ｚ方向の境界を規定する上記所定値として設定される。なお、相対速度Ｖｓが自車両１０から遠ざかる向きの相対速度である場合には、対象物は第１接触判定領域ＡＲ１に存在しないと判定される。

ここで、図８を参照して説明すると、図８は、自車両１０の走行する道路を上方から見た図であり、自車両１０の前方の領域区分が示されている。図８に示したように、領域ＡＲ０を太い実線で示す外側の三角形の領域とすると、第１接触判定領域ＡＲ１は、領域ＡＲ０内のＺ１（＝Ｖｓ×Ｔ１）より自車両１０に近い領域となる。なお、第１衝突判定領域ＡＲ１は、上下方向では、所定の高さＨ（例えば自車両１０の車高の２倍程度の高さ）を有する領域である。従って、対象物の現在のＺ方向の座標値（距離）Ｚv0がＶｓ×Ｔ１以下で、且つ、対象物の現在のＹ方向の座標値（高さ）Ｙv0がＨ以下である場合に、対象物が第１接触判定領域ＡＲ１に存在すると判定される。

ＳＴＥＰ２０１の判定結果がＮＯの場合（対象物が第１接触判定領域内ＡＲ１に存在しない）には、車両１０の操舵やブレーキ操作によって対象物と車両１０との接触を余裕を持って回避しうる状況である。この場合には、ＳＴＥＰ２０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。

ＳＴＥＰ２０１の判定結果がＹＥＳの場合（対象物が第１接触判定領域ＡＲ１内に存在している）には、ＳＴＥＰ２０２に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第２接触判定処理を行う。第２接触判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、対象物と車両１０との接触の可能性が高いか否かを判定するための処理である。具体的には、第２接触判定処理では、対象物が、図８に示したように、第１接触判定領域ＡＲ１のうちの、自車両１０の車幅αの両側に余裕βを加えた幅（α＋２β）を有する領域ＡＲ２（以下、第２接触判定領域という）内に存在するか否かを判定する。なお、第２接触判定領域ＡＲ２も所定高さＨを有する。

ＳＴＥＰ２０２の判定結果がＹＥＳの場合（対象物が第２接触判定領域ＡＲ２内に存在している）には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両１０と接触する可能性が高い。この場合には、ＳＴＥＰ２０３に進み、画像処理ユニット１は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。なお、歩行者判定処理については、詳細を後述する。

ＳＴＥＰ２０３の判定結果がＹＥＳの場合（対象物は歩行者の可能性がある）には、ＳＴＥＰ２０４に進み、更に対象物が歩行者である可能性の判定の信頼性を上げるために、画像処理ユニット１は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、回避対象から除外する処理である。

ＳＴＥＰ２０４の判定結果がＮＯの場合（対象物が人工構造物でない）には、ＳＴＥＰ２０６に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。従って、対象物が第１接触判定領域内の第２接触判定領域に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が回避対象であると判定される。

また、ＳＴＥＰ２０３の判定結果がＮＯの場合（対象物は歩行者の可能性がない）、あるいは、ＳＴＥＰ２０４の判定結果がＹＥＳの場合（対象物が人工構造物である）には、ＳＴＥＰ２０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。

一方、ＳＴＥＰ２０２の判定結果がＮＯの場合（対象物が第２接触判定領域ＡＲ２内に存在しない）には、ＳＴＥＰ２０５に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、進入接触判定処理を行う。進入接触判定処理は、対象物が第２接触判定領域ＡＲ２内へ進入し、且つ自車両１０との接触する可能性が高いか否かを判定する処理である。進入接触判定処理では、図８に示したように、第１接触判定領域ＡＲ１内で第２接触判定領域ＡＲ２よりＸ座標の絶対値が大きい（第２接触判定領域ＡＲ２の横方向外側の）領域ＡＲ３，ＡＲ４（以下、進入判定領域という）内にある対象物が、第２接触判定領域ＡＲ２に進入して自車両１０と接触するか否かを、対象物の移動ベクトルに基づいて判定する。なお、進入判定領域ＡＲ３，ＡＲ４も所定高さＨを有する。

具体的には、自車両１０の前面のＸＹ平面（自車両１０の前後方向に垂直な面）と、対象物の移動ベクトルを含む直線との交点のＸ座標（車幅方向の位置）が、自車両１０の車幅αよりも若干広い所定範囲内に存在する場合（対象物が相対的に自車両１０に向かってくる場合）に、第２接触判定領域ＡＲ２に進入して接触する可能性が高いと判定される。

ＳＴＥＰ２０５の判定結果がＹＥＳの場合には、対象物が将来、自車両１０と接触する可能性が高い。そこで、この場合には、ＳＴＥＰ２０６に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。また、ＳＴＥＰ２０５の判定結果がＮＯの場合には、対象物が自車両１０と接触する可能性が低いので、ＳＴＥＰ２０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。

以上が、本実施形態における回避判定処理の詳細である。

次に、図９に示すフローチャートを参照して、図７に示したフローチャートのＳＴＥＰ２０３における歩行者判定処理について詳細に説明する。以下の説明では、時刻kに、自車両１０の前方に歩行者が存在して自車両１０が直進している場合において、時刻k+1で、自車両１０が直進しており、時刻k+2で、自車両１０が右方向に旋回している場合を例にして説明する。なお、時刻k，k+1，k+2における処理画像は、図４（ａ），（ｃ），（ｅ）に例示したようになる。

図９を参照して、まず、画像処理ユニット１は、図３のＳＴＥＰ００９で検出されたヨーレートＹＲが所定閾値ＹＲth以上であるか否かを判断する（ＳＴＥＰ３０１）。

ＳＴＥＰ３０１の判断結果がＮＯの場合（|ＹＲ|＜ＹＲth）は、自車両１０のヨーレートの大きさが画像上に残像が生じない程度に十分に小さい場合であり、以下のＳＴＥＰ３０２〜３０４の処理が行われ、ＳＴＥＰ３１０又はＳＴＥＰ３１１に進む。上述の図４（ｃ）に示した時刻k+1の例がこの場合に相当しており、以下ではこの例を用いて説明する。

まず、ＳＴＥＰ３０２に進み、画像処理ユニット１は、抽出された対象物Ｔ_k+1が歩行者であるか否かを判定するために用いる特徴量を算出する。具体的には、まず、画像処理ユニット１は、ＳＴＥＰ００８で算出された対象物Ｔ_k+1（２値化対象物）の面積Ｓ_k+1、重心位置Ｇｃ_k+1、対象物Ｔ_k+1の外接四角形の縦横比ＡＳＰ_k+1、高さＨｂ_k+1、幅Ｗｂ_k+1、重心位置Ｇｂ_k+1、面積（Ｈｂ_k+1×Ｗｂ_k+1）と、ＳＴＥＰ０１４で算出された自車両１０との距離Ｚv0_k+1とを用いて、実空間での２値化対象物の形状特徴量を、歩行者判定用の特徴量として算出する。この実空間での２値化対象物の形状特徴量は、例えば、実空間における２値化対象物の幅ΔＷｂ、実空間における２値化対象物の高さΔＨｂ、実空間における２値化対象物の上端位置Ｙｔ、２値化対象物の面積と外接四角形の面積との比Ｒａｔｅ＝Ｓ_k+1／（Ｈｂ_k+1×Ｗｂ_k+1）、２値化対象物の重心位置と外接四角形の重心位置との実空間における距離Ｄｉｓ、外接四角形の縦横比ＡＳＰ_k+1等である。

さらに、画像処理ユニット１は、２値化画像上での対象物Ｔ_k+1の画像部分Ｒ_k+1基づいて、図１０に示したように、グレースケール画像上での対象物Ｔ_k+1の画像部分ＡＲＥＡ０_k+1（高さＨｇ_k+1，幅Ｗｇ_k+1）を求める。なお、図１０において、２値化画像上での対象物Ｔ_k+1の領域を、太い実線で囲まれた領域で示している。また、グレースケール画像上での対象物の画像部分を算出する具体的な手法としては、例えば、本出願人による特開２００３−２８４０５７号公報の図８のＳ４３に記載された手法を用いることができる。そして、画像処理ユニット１は、画像部分ＡＲＥＡ０_k+1内に、図１０に示したように、マスク領域ＡＲＥＡ１，ＡＲＥＡ２，ＡＲＥＡ３を設定し、ＡＲＥＡ１の輝度平均値Ａｖｅ＿Ａ１と、ＡＲＥＡ２の輝度分散Ｖａｒ＿Ａ２と、ＡＲＥＡ３の輝度分散Ｖａｒ＿Ａ３とを、歩行者判定用の特徴量として算出する。なお、ＡＲＥＡ１は、対象物の頭部に相当する領域であり、ＡＲＥＡ２は、対象物の腕及び胴部に相当する領域であり、ＡＲＥＡ３は、対象物の頭部から下半身にかけての全身に相当する領域である。さらに、画像処理ユニット１は、ＡＲＥＡ１と予め登録されている歩行者の頭部パターンを示すテンプレート画像との相関演算を行い、ＡＲＥＡ１と頭部パターンとの類似の度合を、歩行者判定用の特徴量として算出する。

次に、ＳＴＥＰ３０３で、画像処理ユニット１は、上述の各特徴量が所定範囲内であるか否か判断する。なお、前記所定範囲は、対象物が歩行者の上半身や全身であるときに採り得る値の範囲として予め定められる範囲である。

ＳＴＥＰ３０３の判断結果がＹＥＳ（全特徴量が所定範囲内である）の場合には、ＳＴＥＰ３０４に進み、画像処理ユニット１は、対象物Ｔ_k+1のグレースケール上での画像部分ＡＲＥＡ０_k+1を歩行者画像として画像メモリに記憶する。なお、歩行者画像は逐次（演算処理周期毎に）更新されて記憶される。そして、ＳＴＥＰ３１０に進み、対象物が歩行者であると判定され、歩行者判定処理が終了される。ＳＴＥＰ３０３の判断結果がＮＯ（特徴量の少なくともいずれかが所定範囲内でない）の場合には、ＳＴＥＰ３１１に進み、対象物が歩行者でないと判定され、歩行者判定処理が終了される。なお、この歩行者を判定する手法については、上述の特許文献１に詳細に記載されている。

一方、ＳＴＥＰ３０１の判断結果がＹＥＳの場合（|ＹＲ|≧ＹＲth）は、自車両１０が旋回してヨーレートの大きさが画像上に残像が生じる程度に十分に大きい場合であり、以下のＳＴＥＰ３０５〜３０９の処理が行われ、ＳＴＥＰ３１０又はＳＴＥＰ３１１に進む。上述の図４（ｅ）に示した時刻k+2の例がこの場合に相当しており、以下ではこの例を用いて説明する。時刻k+2で抽出された対象物Ｔ_k+2のグレースケール上での画像部分ＡＲＥＡ０_k+2（高さＨｇ_k+2，幅Ｗｇ_k+2）は、図１１（ｂ）に示したようになる。なお、図１１（ｂ）において、２値化画像上での対象物Ｔ_k+1の領域を、太い実線で囲まれた領域で示している。

まず、ＳＴＥＰ３０５に進み、画像処理ユニット１は、時刻k+1でＳＴＥＰ３０４において画像メモリに記憶された歩行者画像ＡＲＥＡ０_k+1（ヨーレートＹＲの大きさが所定閾値ＹＲth以上となる直前の歩行者画像）を読み込む。次に、ＳＴＥＰ３０６で、画像処理ユニット１は、読み込んだ歩行者画像ＡＲＥＡ０_k+1の大きさを補正する。具体的には、時刻k+1のＳＴＥＰ０１４で算出された対象物Ｔ_k+1の自車両１０に対する距離Ｚv0_k+1と、時刻k＋2のＳＴＥＰ０１４で算出された対象物Ｔ_k+2の自車両１０に対する距離Ｚv0_k+2とを用いて、補正後の歩行者画像ＡＲＥＡ０_k+1’の幅Ｗｇ_k+1’＝Ｗｇ_k+1×Ｚv0_k+2／Ｚv0_k+1、高さＨｇ_k+1’＝Ｈｇ_k+1×Ｚv0_k+2／Ｚv0_k+1となるように補正する。補正された歩行者画像ＡＲＥＡ０_k+1’は、図１１（ａ）に示したようになる。なお、図１１（ａ）において、２値化画像上での対象物Ｔ_k+2領域を、太い実線で囲まれた領域で示している。

次に、ＳＴＥＰ３０７で、画像処理ユニット１は、補正した歩行者画像ＡＲＥＡ０_k+1’と、対象物Ｔ_k+2のグレースケール画像上での画像部分ＡＲＥＡ０_k+2とに、それぞれ、自車両１０の旋回方向の逆側寄りのエッジ部分の部分領域Ｄ_k+1，Ｄ_k+2を、図１１（ａ）（ｂ）に示したように設定する。本実施形態では、部分領域Ｄ_k+1，Ｄ_k+2は、対象物が歩行者である場合に、その頭部と肩とが含まれるように設定される。なお、部分領域Ｄ_k+2は、部分領域Ｄ_k+1と同一形状とする。これにより、残像が生じていない側の画像部分に、部分領域Ｄ_k+1，Ｄ_k+2が設定される。

次に、ＳＴＥＰ３０８で、画像処理ユニット１は、部分領域Ｄ_k+1と部分領域Ｄ_k+2との相関の度合を示す値である輝度値の絶対差分和を算出する。なお、本実施形態では、歩行者判定用の特徴量として、部分領域Ｄ_k+1，Ｄ_k+2の輝度分布を用いており、部分領域Ｄ_k+1，Ｄ_k+2の輝度分布の類似の度合として、絶対差分和を用いている。

次に、ＳＴＥＰ３０９で、画像処理ユニット１は、算出された絶対差分和に基づいて、部分領域Ｄ_k+1，Ｄ_k+2の輝度分布の類似の度合を判断する。具体的には、算出された絶対差分和が所定閾値以下（相関の度合が高い）である場合に、類似の度合が高いと判断する。ＳＴＥＰ３０９の判断結果がＹＥＳ（類似の度合が高い）の場合には、ＳＴＥＰ３１０に進み、対象物Ｔ_k+2が歩行者である（歩行者の可能性がある）と判定され、歩行者判定処理が終了される。図１１に示した例では、類似の度合が高いと判断され、対象物Ｔ_k+2が歩行者であると判定される。ＳＴＥＰ３０９の判断結果がＮＯ（類似の度合が低い）の場合には、ＳＴＥＰ３１１に進み、対象物Ｔ_k+2が歩行者でない（歩行者の可能性がない）と判定され、歩行者判定処理が終了される。これにより、自車両１０の旋回時に、取得される画像上に生じる残像の影響を低減して、抽出された対象物Ｔ_k+2が歩行者であるか否かを精度良く判定することができる。

以上の処理により、本実施形態によれば、自車両１０の旋回時に、画像上に生じる残像の影響を低減して、赤外線カメラ２Ｒ，２Ｌにより得られた画像から、自車両１０の周辺に存在する歩行者を精度良く検出することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。

なお、本実施形態では、前述したように、画像処理ユニット１が、その機能として、対象物抽出手段１１と、歩行者判定手段１２と、歩行者画像記憶手段１３と、距離検出手段１４とを含んでいる。より具体的には、図３のＳＴＥＰ００４〜００７が対象物抽出手段１１に相当し、図３のＳＴＥＰ０１１〜０１４が距離検出手段１４に相当し、図７のＳＴＥＰ２０３及び図９のＳＴＥＰ３０１〜３０３，ＳＴＥＰ３０５〜３１１が歩行者判定手段１２に相当し、図９のＳＴＥＰ３０４が歩行者画像記憶手段１３に相当する。

また、本実施形態では、前述したように、画像処理ユニット１が、その機能として、同一性判定手段１６と、対象物画像記憶手段１５とを含んでいる。より具体的には、図３のＳＴＥＰ０１０及び図５のＳＴＥＰ１０１，１０３〜１１１が同一性判定手段１６に相当し、図５のＳＴＥＰ１０２が対象物画像記憶手段１５に相当する。

次に、本発明の第２実施形態について説明する。なお、本実施形態は、第１実施形態において、画像処理ユニット１に、自車両１０の上下方向の加速度を逐次検出する加速度センサ１７が接続されて自車両１０の上下方向の速度が算出されるものであり、画像処理ユニット１の機能である対象物画像記憶手段１５と同一性判定手段１６との作動が第１実施形態と相違する。以下の説明では、第１実施形態と同一の構成については、第１実施形態と同一の参照符号を用いて説明を省略する。なお、本実施形態は、本発明の第２態様の対象物検出装置に相当する。

本実施形態の対象物検出装置において、画像処理ユニット１の機能である対象物画像記憶手段１５は、加速度センサ１７より検出された自車両１０の上下方向の加速度を積分して得られた自車両１０の上下方向の速度の大きさが所定閾値未満であるとき（自車両１０のピッチングが検出されていないとき）に取得された画像から対象物抽出手段１１により抽出された対象物の画像部分を、対象物画像として逐次記憶する。

同一性判定手段１６は、時刻Ｔａにおける上下方向の速度の大きさが所定閾値以上であるとき（自車両１０のピッチングが検出されたとき）に、時刻Ｔａに取得された画像における第１の対象物の画像部分の左右の両側部分のうちの、自車両１０のピッチング方向と逆側のエッジ寄りの部分の特徴量と、時刻Ｔｂに取得された画像における第２の対象物の画像部分の左右の両側部分のうちの、自車両１０のピッチング方向と逆側のエッジ寄りの部分の特徴量とに基づいて、第１の対象物が第２の対象物と同一であるか否かを判定する。また、同一性判定手段１６は、時刻Ｔａにおける上下方向の速度の大きさが所定閾値未満であるとき（自車両１０のピッチングが検出されていないとき）は、時刻Ｔａに取得された画像における第１の対象物の画像部分の全体的な特徴量と、時刻Ｔｂに取得された画像における第２の対象物の画像部分の全体的な特徴量とに基づいて、第１の対象物が第２の対象物と同一であるか否かを判定する。以上説明した以外の構成は、第１実施形態と同じである。

次に、本実施形態の対象物検出装置の全体的な作動（対象物検出・警報動作）を説明する。なお、本実施形態における対象物検出装置の対象物検出・警報動作は、第１実施形態と、自車両１０の走行状態に関する検出値の読み込み等を行う処理（図３のＳＴＥＰ００９）と、同一対象物認識処理（図３のＳＴＥＰ０１０）のみが相違するものである。

本実施形態のＳＴＥＰ００９で、画像処理ユニット１は、ヨーレートセンサ３により検出されるヨーレートＹＲと、車速センサ４により検出される車速ＶＣＡＲ（水平方向の速度）と共に、加速度センサ１７により検出される上下方向の加速度ＧＹを読み込む（ＳＴＥＰ００９）。なお、このＳＴＥＰ００９では、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒの算出も行われる。また、加速度ＧＹを時間積分することにより、自車両１０の上下方向の速度ＶＹの算出も行われる。

次に、ＳＴＥＰ０１０で、画像処理ユニット１は、対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎に同一対象物を認識する処理を行う。ここで、本実施形態の同一対象物認識処理について、図１２に示すフローチャートを参照して説明する。なお、本実施形態では、図３のＳＴＥＰ０１０及び図１２のＳＴＥＰ４０１，４０３〜４１１が同一性判定手段１６に相当し、図１２のＳＴＥＰ４０２が対象物画像記憶手段１５に相当する。

以下の説明では、時刻kに、自車両１０の前方に歩行者が存在して自車両１０が直進している場合において、時刻k+1で、自車両１０が直進を継続し、時刻k+2で、自車両１０が下方向にピッチングしている場合を例にして説明する。なお、時刻k，k+1における処理画像は、図４（ａ），（ｃ）に例示したようになる。

図１３（ａ）には、時刻k+2において、上述のＳＴＥＰ００４で、赤外線カメラ２Ｒによって得られる画像を２値化した画像が例示されている。図１３（ａ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。このとき、図１３（ａ）の例では、自車両１０が下方向にピッチングしているため、歩行者の画像部分の下側に残像が生じている。このため、図１３（ａ）に示す２値化領域には、歩行者に相当する領域Ｆ３と共に、残像に相当する領域Ｆ４（点描を付した領域）が含まれている。そして、図１３（ａ）に示す２値化領域は、上述のＳＴＥＰ００５〜００７の処理により、図１３（ｂ）に例示するように、対象物（２値化対象物）Ｔ_k+2として抽出される。このとき、対象物Ｔ_k+2の画像部分Ｒ_k+2は、幅Wｂ_k+2、高さＨｂ_k+2とする。

図１２を参照して、同一対象物認識処理において、まず、画像処理ユニット１は、図３のＳＴＥＰ００９で算出された自車両１０の上下方向の速度ＶＹが所定閾値ＶＹth以上であるか否かを判断する（ＳＴＥＰ４０１）。

ＳＴＥＰ４０１の判断結果がＮＯの場合（|ＶＹ|＜ＶＹth）は、自車両１０の上下方向の速度の大きさが画像上に残像が生じない程度に十分に小さい場合であり、以下のＳＴＥＰ４０２〜４０４の処理が行われ、ＳＴＥＰ４１０又はＳＴＥＰ４１１に進む。上述の図４（ｃ）に示した時刻k+1の例がこの場合に相当している。なお、ＳＴＥＰ４０２〜４０４，４１０，４１１の処理は、それぞれ、第１実施形態のＳＴＥＰ１０２〜１０４，１１０，１１１の処理と同じであるので、説明を省略する。

一方、ＳＴＥＰ４０１の判断結果がＹＥＳの場合（|ＶＹ|≧ＶＹth）は、自車両１０がピッチングして上下方向の速度の大きさが画像上に残像が生じる程度に十分大きい場合であり、以下のＳＴＥＰ４０５〜４０９の処理が行われ、ＳＴＥＰ４１０又はＳＴＥＰ４１１に進む。上述の図１３（ａ）に示した時刻k+2の例がこの場合に相当しており、以下ではこの例を用いて説明する。時刻k+2で抽出された対象物Ｔ_k+2の画像部分Ｒ_k+2は、図１４（ｂ）に示したようになる。

まず、ＳＴＥＰ４０５に進み、画像処理ユニット１は、時刻k+1でＳＴＥＰ４０２において画像メモリに記憶された対象物画像Ｒ_k+1（上下方向の速度ＶＹが所定閾値ＶＲth以上となる直前の対象物画像）を読み込む。次に、ＳＴＥＰ４０６で、画像処理ユニット１は、読み込んだ対象物画像Ｒ_k+1の大きさ（幅Ｗｂ_k+1と高さＨｂ_k+1）を補正する。具体的には、第１実施形態のＳＴＥＰ１０５と同様に、時刻k+1の対象物Ｔ_k+1の自車両１０に対する距離Ｚv0_k+1と、時刻k＋2の対象物Ｔ_k+2の自車両１０に対する距離Ｚv0_k+2とを用いて、補正後の対象物画像Ｒ_k+1’の幅Ｗｂ_k+1’＝Ｗｂ_k+1×Ｚv0_k+2／Ｚv0_k+1、高さＨｂ_k+1’＝Ｈｂ_k+1×Ｚv0_k+2／Ｚv0_k+1となるように補正する。補正された対象物画像Ｒ_k+1’は、図１４（ａ）に示したようになる。

次に、ＳＴＥＰ４０７で、画像処理ユニット１は、補正した対象物画像Ｒ_k+1’と、対象物Ｔ_k+2の画像部分Ｒ_k+2とに、それぞれ、自車両１０のピッチング方向の逆側寄りのエッジ部分の部分領域Ｃ_k+1，Ｃ_k+2を、図１３（ａ）（ｂ）に示したように設定する。なお、部分領域Ｃ_k+2は、部分領域Ｃ_k+1と同一形状とする。これにより、残像が生じていない側の画像部分に、部分領域Ｃ_k+1，Ｃ_k+2が設定される。

次に、ＳＴＥＰ４０８で、画像処理ユニット１は、部分領域Ｃ_k+1と部分領域Ｃ_k+2との相関の度合を示す値である輝度値の絶対差分和を算出する。なお、本実施形態では、同一性判定用の特徴量として、部分領域Ｃ_k+1，Ｃ_k+2の輝度分布を用いており、部分領域Ｃ_k+1，Ｃ_k+2の輝度分布の類似の度合として、絶対差分和を用いている。

次に、ＳＴＥＰ４０９で、画像処理ユニット１は、算出された絶対差分和に基づいて、部分領域Ｃ_k+1，Ｃ_k+2の輝度分布の類似の度合を判断する。具体的には、算出された絶対差分和が所定閾値以下（相関の度合が高い）である場合に、類似の度合が高いと判断する。

ＳＴＥＰ４０９の判断結果がＹＥＳ（類似の度合が高い）の場合には、ＳＴＥＰ４１０に進み、対象物Ｔ_k+1と対象物Ｔ_k+2とが同一であると判定されて、対象物Ｔ_k+2のラベルが対象物Ｔ_k+1のラベルと同じラベルに変更され、同一対象物認識処理が終了される。図１３に示した例では、類似の度合が高いと判断され、対象物Ｔ_k+1と対象物Ｔ_k+2とが同一であると判定される。ＳＴＥＰ４０９の判定結果がＮＯ（類似の度合が低い）の場合には、ＳＴＥＰ４１１に進み、対象物Ｔ_k+1と対象物Ｔ_k+2とが同一でないと判定されて、同一対象物認識処理が終了される。これにより、自車両１０のピッチング時に、取得される画像上に生じる残像の影響を低減して、演算処理周期毎に抽出された対象物の同一性を精度良く認識することができる。

さらに、時刻k+3で、画像上に対象物Ｔ_k+3が（対象物Ｔ_k+2と同一の対象物）抽出され、時刻k+2と同様に、自車両１０が下方向にピッチングしている場合（ＶＹ≧ＶＹth）には、時刻k+2と同様に、ＳＴＥＰ４０５〜４０９の処理が行われる。この場合に、時刻k+1，k+2，k+3は、それぞれ、前記第４発明の時刻Ｔｃ，Ｔｂ，Ｔａに相当する。

このとき、ＳＴＥＰ４０６で、画像処理ユニット１は、時刻k＋1の対象物Ｔ_k+1の自車両１０に対する距離Ｚv0_k+1と、時刻k+3の対象物Ｔ_k+3の自車両１０に対する距離Ｚv0_k+3とを用いて、対象物画像Ｒ_k+1の大きさを補正する。次に、ＳＴＥＰ４０７で、画像処理ユニット１は、補正した対象物画像Ｒ_k+1”と、対象物Ｔ_k+3の画像部分Ｒ_k+3とに、それぞれ、自車両１０のピッチング方向と逆側のエッジ寄りの部分である部分領域Ｃ_k+1，Ｃ_k+3を設定する。次に、ＳＴＥＰ４０８で、部分領域Ｃ_k+1と部分領域Ｃ_k+3との輝度値の絶対差分和が算出され、ＳＴＥＰ４０９で、部分領域Ｃ_k+1と部分領域Ｃ_k+3との輝度分布の類似の度合が判断される。

そして、ＳＴＥＰ４０９の判断結果がＹＥＳとなり、ＳＴＥＰ４１０で、対象物Ｔ_k+1と対象物Ｔ_k+3とが同一であると判定されて、対象物Ｔ_k+3のラベルが対象物Ｔ_k+1のラベルと同じラベルに変更される。このとき、時刻k+2の演算処理周期において、ＳＴＥＰ４０９で部分領域Ｃ_k+1，Ｃ_k+2の輝度分布の類似の度合が高いと判断され、ＳＴＥＰ４１０で、対象物Ｔ_k+1と対象物Ｔ_k+2とが同一であると判定され、対象物Ｔ_k+2のラベルが対象物Ｔ_k+1のラベルと同じラベルに変更されている。よって、対象物Ｔ_k+3のラベルが対象物Ｔ_k+2のラベルと同じラベルに変更されることとなり、時刻k+3の対象物Ｔ_k+3が時刻k+2の対象物Ｔ_k+2と同一であることが認識される。

以上が、本実施形態における同一対象物認識処理の詳細である。

なお、本実施形態の歩行者判定処理では、自車両１０のピッチングにより画像上に生じる上下方向の残像が、歩行者であることを示す特徴量（例えば頭部の輝度分布等）に及ぼす影響は少ないと想定して、第１実施形態のＳＴＥＰ３０２〜３０３と同様に、対象物の画像部分の全体的な特徴量に基づいて、該対象物が歩行者であるか否かを判定すればよい。

また、本実施形態では、画像処理ユニット１がその機能として対象物画像記憶手段１３を備え、画像処理ユニット１は、ピッチングが検出された状態となる直前に対象物画像記憶手段１３により記憶された対象物画像と、対象物の画像部分との類似の度合に基づいて、対象物の同一性を判定するものとがしたが、他の実施形態として、画像処理ユニット１は、対象物画像の代わりに、例えば逐次直前の演算処理周期に抽出された対象物の画像部分を用いて類似の度合を算出し、対象物の同一性を判定してもよい。

このとき、画像処理ユニット１は、例えば、上述の時刻k+3の場合に、時刻k+2とk+3とで、対象物Ｔ_k+2，Ｔ_k+3の画像部分のうちの自車両１０のピッチング方向と逆側のエッジ寄り部分Ｃ_k+2，Ｃ_k+3の特徴量を直接比較して類似の度合を算出し、対象物Ｔ_k+2と対象物Ｔ_k+3との同一性を判定する。この場合に、時刻k+2，k+3は、それぞれ、前記第３発明の時刻Ｔｂ，Ｔａに相当する。このようにしても、自車両１０のピッチング方向と逆側のエッジ寄りの部分の特徴量は、残像の影響が低減されたものとなるので、自車両１０のピッチング時に、取得される画像上に生じる残像の影響を低減して、演算処理周期毎に抽出された対象物の同一性を精度良く判定することができる。

また、本実施形態では、画像処理ユニット１は、ピッチングによって変化する状態量の検出値として、上下方向の速度（並進速度）ＶＹを用いて、速度ＶＹの大きさが所定閾値ＶＹth以上のときにピッチングが検出されたと判断し、速度ＶＹの大きさが所定閾値ＶＹth未満のときにピッチングが検出されていないと判断するものとしている。これに対し、他の実施形態として、画像処理ユニット１は、上下方向の速度ＶＹの代わりに、自車両１０のピッチング軸周りの角速度ＰＲを用いて、ピッチング軸周りの角速度ＰＲの大きさに応じて自車両１０のピッチングを検出し、対象物の同一性を判定する処理を実行するようにしてもよい。

このとき、ピッチング検出手段として、自車両１０の前部（赤外線カメラ２Ｒ，２Ｌの近傍箇所）に取り付けられた上下方向及び前後方向の加速度センサを用い、逐次検出した上下方向及び前後方向の加速度を時間積分することにより、ピッチング軸周りの角速度ＰＲを算出してもよい。または、ピッチング検出手段として、自車両１０のピッチング軸周りの角速度ＰＲを逐次検出するレートセンサを用いてもよい。または、自車両１０のピッチング角度（ピッチング軸周りの角度）を逐次検出し、所定時間当たりのピッチング角度の変化量（ピッチング軸周りの角速度ＰＲ）を算出してもよい。

また、前記第１及び第２実施形態では、画像処理ユニット１は、距離Ｚv0_k+2，Ｚv0_k+1に基づいて対象物画像Ｒ_k+1の大きさを補正し、補正した対象物画像Ｒ_k+1’を用いて類似の度合を算出したが（ＳＴＥＰ１０６〜１０８，ＳＴＥＰ４０６〜４０８）、画像処理ユニット１は、演算処理周期が十分に短い場合には、時刻k+1とk+2とで、画像上での対象物の大きさの変化が少ないと想定して、補正を行わず対象物画像Ｒ_k+1をそのまま用いて類似の度合を算出してもよい。

また、前記第１及び第２実施形態では、画像処理ユニット１は、同一対象物認識処理で同一性判定用の特徴量を算出する際に、２値化画像上での対象物の画像部分を用いたが、第１実施形態の歩行者判定処理のように、グレースケール画像上での対象物の画像部分を用いてもよい。

また、前記第１及び第２実施形態では、画像処理ユニット１は、同一対象物認識処理で同一性判定用の特徴量を算出する際に、部分領域Ｃ_k+1，Ｃ_k+2の輝度分布を用いるものとしたが（ＳＴＥＰ１０８，ＳＴＥＰ４０８）、他の実施形態として、例えば、同一性判定用の特徴量を算出する際に、部分領域Ｃ_k+1，Ｃ_k+2における対象物の輪郭線の形状を用いてもよい。さらに、同一性判定用の特徴量として、部分領域Ｃ_k+1，Ｃ_k+2の輝度分布、部分領域Ｃ_k+1，Ｃ_k+2における対象物の輪郭線の形状等の複数の特徴量を組み合わせて用いてもよい。

また、前記第１及び第２実施形態では、画像処理ユニット１は、ＳＴＥＰ０１８で回避対象であると判定された対象物について、自車両１０の運転者に注意喚起を行うものとしたが、他の実施形態として、例えば、車両１０が、車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能（ひいては車両１０の走行挙動を操作可能）なものである場合には、ＳＴＥＰ０１８で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように自車両１０のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。例えば、運転者によるアクセルペダルの必要踏力が、回避対象の対象物が存在しない場合（通常の場合）よりも大きくなるようにアクセル装置を制御して、加速しにくくする。あるいは、回避対象と車両１０との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行い得るようにする。あるいは、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両１０の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、回避対象との接触を避けるための車両１０の運転が容易になる。また、上記のようなステアリング装置の制御と、表示装置７もしくはスピーカ６による注意喚起とは、並行して行うようにしてもよい。

また、前記第１及び第２実施形態では、距離検出手段１４は、対象物の自車両１０に対する距離を、赤外線カメラ２Ｒ，２Ｌを介して取得された画像に基づいて算出したが、他の実施形態として、距離検出手段１４は、対象物の自車両１０に対する距離を、ミリ波レーダ等の他のセンサにより検出された対象物の位置情報に基づいて算出するものとしてもよい。

また、前記第１及び第２実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なＣＣＤカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。

本発明の第１実施形態による対象物検出装置の機能ブロック図。 図１に示した対象物検出装置の車両への取り付け態様の説明図。 図１の対象物検出装置の画像処理ユニットにおける対象物検出・注意喚起動作を示すフローチャート。 図３の対象物検出・注意喚起動作における処理画像の例示図。 図３の対象物検出・注意喚起動作における同一対象物認識処理のフローチャート。 図５の同一対象物認識処理に関する説明図。 図３の対象物検出・注意喚起動作における回避判定処理のフローチャート。 図７の回避判定処理における車両前方の領域区分を示す説明図。 図７の回避判定処理における歩行者判定処理のフローチャート。 図１０の歩行者判定処理に関する説明図。 図１０の歩行者判定処理に関する説明図。 本発明の第１実施形態の対象物検出装置における同一対象物認識処理のフローチャート。 図１２の対象物検出・注意喚起動作における処理画像の例示図。 図１２の同一対象物認識処理に関する説明図。

符号の説明

２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、３…ヨーレートセンサ（ヨーレート検出手段）、１０…車両、１１…対象物抽出手段、１４…距離検出手段、１５…対象物画像記憶手段、１６…同一性判定手段、１７…加速度センサ（ピッチング検出手段）。

Claims (10)

1. 車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出手段と、任意の時刻Ｔａに取得された画像から該対象物抽出手段により抽出された第１の対象物が、該時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出手段により抽出された第２の対象物と同一であるか否かを判定する同一性判定手段とを備えた対象物検出装置において、
   前記車両のヨーレートを逐次検出するヨーレート検出手段を備え、
   前記同一性判定手段は、少なくとも前記時刻Ｔａにおける前記ヨーレートの大きさが所定閾値以上であるときに、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、前記時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定することを特徴とする対象物検出装置。
2. 前記ヨーレート検出手段により検出されたヨーレートの大きさが前記所定閾値未満であるときに取得された画像から前記対象物抽出手段により抽出された対象物の画像部分を、対象物画像として逐次記憶する対象物画像記憶手段を備え、
   前記同一性判定手段は、前記時刻Ｔａ及び時刻Ｔｂが、少なくとも前記ヨーレートの大きさが前記所定値未満から該所定値以上に変化した直後で、且つ、該ヨーレートの大きさが該所定値以上に維持される所定期間内の時刻である場合に、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、該ヨーレートの大きさが該所定閾値以上に変化する直前の時刻Ｔｃに取得された画像から前記対象物画像記憶手段により記憶された対象物画像の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量との類似の度合と、該時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄り部分の特徴量と、該時刻Ｔｃにおける該対象物画像の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量との第２の類似の度合とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定することを特徴とする請求項１記載の対象物検出装置。
3. 車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出手段と、任意の時刻Ｔａに取得された画像から該対象物抽出手段により抽出された第１の対象物が、該時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出手段により抽出された第２の対象物と同一であるか否かを判定する同一性判定手段とを備えた対象物検出装置において、
   前記車両のピッチングを逐次検出するピッチング検出手段を備え、
   前記同一性判定手段は、少なくとも前記時刻Ｔａにおいて前記ピッチング検出手段によりピッチングが検出されたときに、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の上下の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄りの部分の特徴量と、前記時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の上下の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定することを特徴とする対象物検出装置。
4. 前記ピッチング検出手段によりピッチングが検出されていないときに取得された画像から前記対象物抽出手段により抽出された対象物の画像部分を、対象物画像として逐次記憶する対象物画像記憶手段を備え、
   前記同一性判定手段は、前記時刻Ｔａ及び時刻Ｔｂが、少なくとも前記ピッチング検出手段によりピッチングが検出されていない状態からピッチングが検出された状態に変化した直後で、且つ、該ピッチングが検出された状態が維持される所定期間内の時刻である場合に、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄りの部分の特徴量と、該ピッチングが検出された状態となる直前の時刻Ｔｃに取得された画像から前記対象物画像記憶手段により記憶された対象物画像の左右の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量との第１の類似の度合と、該時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄り部分の特徴量と、該時刻Ｔｃにおける該対象物画像の左右の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量との第２の類似の度合とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定することを特徴とする請求項３記載の対象物検出装置。
5. 前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を検出する距離検出手段を備え、
   前記同一性判定手段は、前記時刻Ｔａに取得された画像における前記第１の対象物の、前記距離検出手段により検出された距離と、前記時刻Ｔｃにおける前記対象物画像に対応する対象物の、該距離検出手段により検出された距離とに基づいて、該対象物画像の大きさを補正する手段を備え、該補正された対象物画像を用いて、前記第１の類似の度合を算出すると共に、前記時刻Ｔｂに取得された画像における前記第２の対象物の、該距離検出手段により検出された距離と、該時刻Ｔｃにおける該対象物画像に対応する対象物の、該距離検出手段により検出された距離とに基づいて、該対象物画像の大きさを補正する手段を備え、該補正された対象物画像を用いて、前記第２の類似の度合を算出することを特徴とする請求項２又は請求項４記載の対象物検出装置。
6. 請求項１〜請求項５のうちいずれか１項記載の対象物検出装置が搭載されたことを特徴とする車両。
7. 車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出ステップと、任意の時刻Ｔａに取得された画像から該対象物抽出ステップにより抽出された第１の対象物が、該時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出ステップにより抽出された第２の対象物と同一であるか否かを判定する同一性判定ステップとを備える対象物検出方法であって、
   前記車両のヨーレートを逐次検出するヨーレート検出ステップを備え、
   前記同一性判定ステップにおいて、少なくとも前記時刻Ｔａにおける前記ヨーレートの大きさが所定閾値以上であるときに、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、前記時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定することを特徴とする対象物検出方法。
8. 車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出ステップと、任意の時刻Ｔａに取得された画像から該対象物抽出ステップにより抽出された第１の対象物が、該時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出ステップにより抽出された第２の対象物と同一であるか否かを判定する同一性判定ステップとを備える対象物検出方法であって、
   前記車両のピッチングを逐次検出するピッチング検出ステップを備え、
   前記同一性判定ステップにおいて、少なくとも前記時刻Ｔａにおいて前記ピッチング検出ステップでピッチングが検出されたときに、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の上下の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄りの部分の特徴量と、前記時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の上下の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定することを特徴とする対象物検出方法。
9. 車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出処理と、任意の時刻Ｔａに取得された画像から該対象物抽出処理により抽出された第１の対象物が、該時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出処理により抽出された第２の対象物と同一であるか否かを判定する同一性判定処理とを、コンピュータに実行させる対象物検出用プログラムであって、
   前記車両のヨーレートの検出値を逐次取得するヨーレート取得処理をコンピュータに実行させる機能を備え、
   前記同一性判定処理として、少なくとも前記時刻Ｔａにおける前記ヨーレートの大きさが所定閾値以上であるときに、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の左右の両側部分のうちの、前記車両の旋回方向と逆側のエッジ寄りの部分の特徴量と、前記時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の左右の両側部分のうちの、該車両の旋回方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定する処理をコンピュータに実行させる機能を有するプログラムであることを特徴とする対象物検出用プログラム。
10. 車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出処理と、任意の時刻Ｔａに取得された画像から該対象物抽出処理により抽出された第１の対象物が、該時刻Ｔａよりも前の時刻Ｔｂに取得された画像から該対象物抽出手段により抽出された第２の対象物と同一であるか否かを判定する同一性判定処理とを、コンピュータに実行させる対象物検出用プログラムであって、
    前記車両のピッチングによって変化する状態量の検出値を逐次取得するピッチング取得処理をコンピュータに実行させる機能を備え、
    前記同一性判定処理として、少なくとも前記時刻Ｔａにおいて前記ピッチング取得処理で取得された検出値によりピッチングが検出されたときに、該時刻Ｔａに取得された画像における前記第１の対象物の画像部分の上下の両側部分のうちの、前記車両のピッチング方向と逆側のエッジ寄りの部分の特徴量と、前記時刻Ｔｂに取得された画像における前記第２の対象物の画像部分の上下の両側部分のうちの、該車両のピッチング方向と逆側のエッジ寄りの部分の特徴量とに基づいて、該第１の対象物が該第２の対象物と同一であるか否かを判定する処理をコンピュータに実行させる機能を有するプログラムであることを特徴とする対象物検出用プログラム。

Images