JP2007233487A - 歩行者検出方法、装置、およびプログラム - Google Patents

Abstract

【課題】ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することができる歩行者検出方法、装置、およびプログラムを提供する。
【解決手段】所定の視野を撮像する複眼の撮像手段から出力される画像情報に基づいて縦エッジを抽出し、その縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出し、この検出した立体物の特性を示す立体物情報の時間による変動を算出し、この算出した前記立体物の変動に基づいて該立体物が歩行者であるか否かを判定する。
【選択図】 図１

Description

本発明は、複眼の撮像手段によって撮像した入力画像を用いてその画像に含まれる歩行者の検出を行う歩行者検出方法、装置、およびプログラムに関する。

従来、四輪自動車等の車両が走行中に障害物を検知するための技術として、カメラを搭載して道路上の歩行者を検出する技術が知られている。例えば、下記特許文献１では、ステレオカメラを用いて歩行者のモデル画像とのパターンマッチングを行うことによって歩行者を検出する技術が開示されている。

特開２００５−１９６５９０号公報

しかしながら、上述した従来技術では、ステレオカメラでパターンマッチングを行う際の計算負荷が大きく、精度を落とすことなく計算量を削減して歩行者を検出することが困難であった。また、通常のステレオマッチングのみで検出した物標には、車両や看板などの歩行者以外の物標も多く含まれてしまうという問題もあった。

本発明は、上記に鑑みてなされたものであり、ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することができる歩行者検出方法、装置、およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１記載の発明は、所定の視野を撮像する複眼の撮像手段から出力される画像情報を用いて前記視野内を歩行する歩行者を検出する歩行者検出方法であって、前記画像情報に基づいて縦エッジを抽出する縦エッジ抽出ステップと、前記縦エッジ抽出ステップで抽出した縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出する立体物検出ステップと、前記立体物検出ステップで検出した立体物の特性を示す立体物情報の時間による変動を算出する変動算出ステップと、前記変動算出ステップで算出した前記立体物情報の変動に基づいて前記立体物情報に対応する立体物が歩行者であるか否かを判定する判定ステップと、を含むことを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記変動算出ステップは、過去の二つの異なる時間における前記立体物情報と最新の前記立体物情報との差分をそれぞれ算出することを特徴とする。

請求項３記載の発明は、請求項１または２記載の発明において、前記立体物検出ステップは、前記縦エッジ抽出ステップで抽出した縦エッジごとの３次元情報を算出して得られる画素点が所定の基準以上存在するような領域を統合することによって前記立体物を検出することを特徴とする。

請求項４記載の発明は、請求項１〜３のいずれか一項記載の発明において、前記立体物情報は、前記立体物の高さ位置、横幅、および高さ幅を含むことを特徴とする。

請求項５記載の発明は、請求項１〜４のいずれか一項記載の発明において、前記判定ステップで判定した立体物が歩行者である場合、当該歩行者のトラッキング処理を行うトラッキング処理ステップをさらに有することを特徴とする。

請求項６記載の発明は、請求項５記載の発明において、電磁波を用いて物体を検出する検出手段で検出した物体検出結果と、前記トラッキング処理ステップで検出した前記歩行者に関する情報とをフュージョン処理するフュージョン処理ステップをさらに有することを特徴とする。

請求項７記載の発明は、所定の視野を撮像する複眼の撮像手段から出力される画像情報を用いて前記視野内を歩行する歩行者を検出する歩行者検出装置であって、前記画像情報に基づいて縦エッジを抽出する縦エッジ抽出手段と、前記縦エッジ抽出手段で抽出した縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出する立体物検出手段と、前記立体物検出手段で検出した立体物の特性を示す立体物情報の時間による変動を算出する変動算出手段と、前記変動算出手段で算出した前記立体物情報の変動に基づいて前記立体物情報に対応する立体物が歩行者であるか否かを判定する判定手段と、を備えたことを特徴とする。

請求項８記載の発明は、請求項７記載の発明において、前記変動算出手段は、過去の二つの異なる時間における前記立体物情報と最新の前記立体物情報との差分をそれぞれ算出することを特徴とする。

請求項９記載の発明は、請求７または８記載の発明において、前記立体物検出手段は、前記縦エッジ抽出手段で抽出した縦エッジごとの３次元情報を算出して得られる画素点が所定の基準以上存在するような領域を統合することによって前記立体物を検出することを特徴とする。

請求項１０記載の発明は、請求項７〜９のいずれか一項記載の発明において、前記立体物情報は、前記立体物の高さ位置、横幅、および高さ幅を含むことを特徴とする。

請求項１１記載の発明は、請求項７〜１０のいずれか一項記載の発明において、前記判定手段で判定した立体物が歩行者である場合、当該歩行者のトラッキング処理を行うトラッキング処理手段をさらに備えたことを特徴とする。

請求項１２記載の発明は、請求項１１記載の発明において、電磁波を用いて物体を検出する検出手段で検出した物体検出結果と、前記トラッキング処理手段で検出した前記歩行者に関する情報とをフュージョン処理するフュージョン処理手段をさらに備えたことを特徴とする。

請求項１３記載の発明に係る歩行者検出プログラムは、請求項１〜６のいずれか一項に記載の歩行者検出方法をコンピュータに実行させることを特徴とする。

本発明によれば、所定の視野を撮像する複眼の撮像手段から出力される画像情報に基づいて縦エッジを抽出し、その縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出し、この検出した立体物の特性を示す立体物情報の時間による変動を算出し、この算出した前記立体物の変動に基づいて該立体物が歩行者であるか否かを判定することにより、ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することが可能となる。

以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る歩行者検出装置の機能構成を示すブロック図である。同図に示す歩行者検出装置１は、四輪自動車等の車両に搭載され、車両の周囲の所定の範囲に存在する物標の中から歩行者を検出する装置である。歩行者検出装置１は、所定の視野を撮像する撮像部２と、撮像部２による撮像結果すなわち入力画像に基づいた画像処理を行う画像処理部３と、演算処理プログラムが記録されたＲＯＭ（Read Only Memory）および各種パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）を用いて実現され、画像処理部３における処理結果や各種設定情報等を記憶する記憶部４と、を備える。

歩行者検出装置１で検出した歩行者情報は、車両制御装置５に出力される。車両制御装置５では、歩行者検出装置１からの出力に応じて車間距離制御や自動ブレーキ制御等の制御を行う。このように、歩行者検出装置１および車両制御装置５は、全体としてＡＣＣ（自動車間制御装置）、ＰＢＡ（プリクラッシュブレーキアシスト）、ＰＳＢ（プリクラッシュシートベルト）等のシステムを構成する。この意味で、歩行者検出装置１は、前述したシステムにおけるセンサ（画像センサ）としての機能を果たす。

以下、歩行者検出装置１の詳細な構成を説明する。撮像部２は、所定の離間距離で配置された一対のカメラ２１Ｌおよび２１Ｒと、カメラ２１Ｌおよび２１Ｒの各々から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換して記憶するフレームメモリ２２Ｌおよび２２Ｒを備えたステレオカメラである。カメラ２１Ｌおよび２２Ｒは、所定の視野角から入射する光を集光するレンズと、このレンズを透過した光を検知してアナログ信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子とを有する。

図２は、カメラ２１Ｌおよび２１Ｒによる撮像処理を概念的に示す説明図である。同図では、左側に位置するカメラ２１Ｌの光軸ｚ_Lと右側に位置するカメラ２１Ｒの光軸ｚ_Rとが平行な場合を示している。この場合、カメラ２１Ｌ固有の座標系（左カメラ座標系）に対応する左画像領域Ｉ_Lの点Ａ_Lに対応する点が、カメラ２１Ｒ固有の座標系（右カメラ座標系）に対応する右画像領域Ｉ_R内の直線Ｌ_E（エピポーラ線）上に存在している。図２において、物標である歩行者Ｐの画素点Ａの座標値（ｘ，ｙ，ｚ）を算出する際には、左右のカメラ座標系における座標値（ｘ_L，ｙ_L，ｚ_L）および（ｘ_R，ｙ_R，ｚ_R）の算出、および座標値間の対応点探索（ステレオマッチング）を行う。

画像処理部３は、撮像部２で撮像した画像情報において縦方向のエッジ（縦エッジ）を抽出する縦エッジ抽出フィルタとしての機能を有する縦エッジ抽出部３１と、縦エッジ抽出部３１で抽出した縦エッジを用いて画像情報に含まれる立体物を検出する立体物検出部３２と、立体物検出部３２で検出した立体物の大きさや形状等の特性を示す立体物情報の時間的な変動を算出する変動算出部３３と、変動算出部３３で算出した立体物の変動に基づいてその立体物情報に対応する立体物が歩行者であるか否かを判定する判定部３４と、判定部３４で判定した立体物が歩行者である場合、その歩行者のトラッキング処理を行うトラッキング処理部３５とを有する。また、画像処理部３は、後述する各種処理を行う上で必要な種々のパラメータを算出する機能や、画像を生成する際に所定の補正を加える機能を備えている。

画像処理部３はＣＰＵ（Central Processing Unit）等を用いて実現され、本実施の形態１に係る歩行者検出プログラムを含む各種演算処理プログラムを記憶部４から読み出すことによってその読み出したプログラムに対応する処理を実行する。

なお、本実施の形態１に係る歩行者検出プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読取可能な記録媒体に記録して広く流通させることも可能である。

図３は、本実施の形態１に係る歩行者検出方法の概要を示すフローチャートである。まず、撮像部２において撮像処理を行い、撮像した画像情報を画像処理部３へ出力する（ステップＳ１）。この際には、カメラ２１Ｌおよび２１Ｒで撮像した画像情報を一時的にフレームメモリ２２Ｌおよび２２Ｒで記憶する。図４および図５は、撮像部２で撮像対象となる風景例を示す図である。このうち、図４に示す風景１０１は、自車両の前方の横断歩道Ｈを歩行者Ｐが横断している状態を示している。また、図５に示す風景２０１は、自車両に対して先行する車両Ｃが道路Ｒを走行している状態を示している。以下の説明では、この２つの風景１０１および２０１を撮像部２で撮像した場合を参照しながら説明を行う。

画像情報を取得した画像処理部３では、縦エッジ抽出部３１で縦エッジの抽出処理を行う（ステップＳ２）。図６は、風景１０１を撮像した画像情報を用いて縦エッジ抽出処理を行った場合の歩行者Ｐ付近の縦エッジを模式的に示す図である。同図に示すように、歩行者Ｐの場合、縦エッジＥは歩行者Ｐの輪郭と周囲との境界のみならず、歩行者Ｐの内部でも抽出される。これは、例えば歩行者Ｐが着ている服のしわなどが縦に入ったりすることに起因している。他方、図７は、風景２０１を撮像した画像に対して縦エッジ抽出処理を行った場合の車両Ｃ付近の縦エッジを模式的に示す図である。図７に示す場合、車両Ｃの輪郭と周辺部分との境界付近には縦エッジＥが抽出されるが、車両Ｃの中心付近には縦エッジがほとんどない。このように、歩行者Ｐと車両Ｃとでは、抽出された縦エッジの発現の態様が大きく異なる。

ステップＳ２に続いて、立体物検出部３２が立体物を検出する（ステップＳ３）。このステップＳ３で、立体物検出部３２は、まず縦エッジまでの距離を含む画像の３次元情報を求める。その際には、上述したように、左右のカメラ座標系における座標値（ｘ_L，ｙ_L，ｚ_L）および（ｘ_R，ｙ_R，ｚ_R）の算出と、座標値間の対応点探索（ステレオマッチング）とを順次行う。対応点探索は、例えばカメラ２１Ｌとカメラ２１Ｒとから得られた画像の相関を所定の定義にしたがって演算し、縦エッジＥの構成点の３次元座標が算出される。このステップＳ３での算出結果は記憶部４に一時的に格納される。

図８および図９は、立体物検出部３２で上記の如く算出された画素点を画面上へプロットして視覚化したものであり、自車両よりも遠くに行くほど同数の画素点を収容する領域が小さくなるようにして表示したものである。なお、図８および図９では、歩行者Ｐや車両Ｃに対応する箇所以外でも画素点群が形成されている。このように、ステップＳ３で立体物を検出する段階では、不要な立体物も検出している。

図８に示す画像１０２は、風景１０１を撮像した場合の３次元情報を視覚化したものである。画像１０２の略中央部には、略一様な密度の画素点群Ｓ_Pが生成されている。この画素点群Ｓ_Pは、歩行者Ｐに対応した縦エッジＥから得られたものである。立体物検出部３２では、画像１０２の各領域にどれだけの画素点が含まれているかを求め、その画素点の単位領域ごとの密度を求める。

図１０は、図８の画像１０２に対して画素点の密度を求めた結果を視覚化した図である。同図に示す画像１０３は、自車両からみて遠方領域Ｆ、中間領域Ｍ、近傍領域Ｎの順に単位領域が大きくなっており、各領域に含まれる画素点の数すなわち画素点の単位領域辺りの密度に応じて領域ごとの濃淡が異なるように表示されている。図１０に示す場合、画像１０３の中間領域Ｍの中央部付近に一連の高密度領域Ｄ₁が形成されている。このように複数の単位領域に連続して跨り、一つの領域として統合することが可能な高密度領域がある場合、立体物検出部３２は、その立体物を歩行者であると認識する。

これに対して図９に示す画像２０２は、風景２０１を撮像した場合の３次元情報を視覚化したものである。画像２０２における単位領域の分割の仕方は、上述した画像１０２の場合と同じである。画像２０２の中間領域Ｍの略中央部には、左右に略対称な画素点群Ｓ_C1およびＳ_C2が生成されている。これらは本来、車両Ｃに対応した画素点群Ｓ_Cの部分集合であるはずのものであるが、一つの画素点群Ｓ_Cとしてみた場合、その内部の点密度は一様ではなく、中心付近の密度は外周部分よりも顕著に小さい。このため、画像１０３に対して画素点の密度を求めた結果を視覚化したすると、図１１に示す画像２０３のように、高密度領域がＤ₂とＤ₃の二つに分離してしまう。したがって、この場合に立体物検出部３２は、設定によってはこれらの高密度領域Ｄ₂と高密度領域Ｄ₃とが別の立体物に対応する領域であると認識する。

以上説明したステップＳ３の後、変動算出部３３が、立体物の特性を示す立体物情報、具体的には立体物として認識された領域の高さ位置や大きさ（横幅、高さ幅）の時間的な変動を算出する（ステップＳ４）。具体的には、その時点で記憶部４で記憶する画像フレームを読み込んで立体物として認識された領域ごとの立体物情報（高さ位置、横幅、高さ幅）の差分を求めることによって変動を算出する。この際には、最新のフレームから求めた立体物情報と、それよりも１周期前のフレームから求めた立体物情報との差分を求めるだけでなく、最新のフレームから求めた立体物情報と、それよりも２周期前のフレームから求めた立体物情報との差分を求め、これら２つの差分演算結果を合わせて用いることにより、より正確な時間変動を算出することができる。なお、差分を取るフレームとして、前述したフレームよりも時間的に前のフレームを用いてもかまわない。

判定部３４では、変動算出部３３における算出結果に基づいて、立体物が歩行者であるか否かの判定を行う（ステップＳ５）。ここでは、歩行者に対応する立体物は、その立体物情報の変動が小さいという特徴を利用し、それぞれの値の変動幅が所定の範囲内にあるか否かを判定する。判定の結果、立体物が歩行者である場合（ステップＳ５でＹｅｓ）、トラッキング処理部３５はその立体物（歩行者）のトラッキング処理を行う（ステップＳ６）。ここでのトラッキング処理は、歩行者が車両と比較して動きが十分に遅いことに鑑み、移動速度が所定の値（例えば１ｍ／ｓ）よりも小さい「静止物」と仮定する。この仮定のもとで、自車両の速度等から静止物の動きを予測してトラッキングを行う。

最後に、ステップＳ６におけるトラッキング処理の結果を歩行者検出結果として車両制御装置５へ出力する（ステップＳ７）。なお、ステップＳ５では歩行者と認識された立体物があったとしても、静止物であるという仮定に反して高速で移動するような場合もある。このような場合には、ステップＳ６でその立体物をトラッキングすることができず、検出結果が何も得られないため、結局ステップＳ７からは何も出力されない。

ここまで、ステップＳ５で立体物が歩行者であった場合を説明してきたが、ステップＳ５で立体物が歩行者でないと判定した場合（ステップＳ５でＮｏ）には、その立体物に関する検出データを削除し（ステップＳ８）、一連の処理を終了する。

以上説明したように、歩行者Ｐに対応する画素点群Ｓ_Pは、その横幅、高さ幅、および位置を含む立体物情報の時間的な変動が小さいのに対して、車両Ｃ（等の人工構造物）に対応する画素点群Ｓ_Cは、仮に一つの立体物として認識できたとしても、その後の立体物の大きさや位置が時間と共に大きく変動し、場合によっては見かけ上分離してしまうこともある。したがって、本実施の形態１に係る歩行者検出方法によれば、歩行者が他の人工構造物と比較して決定的に異なる性質を有する画素点群を構成することを利用して、歩行者を適確に検出することが可能となる。

また、本実施の形態１においては、従来のステレオカメラにおけるステレオマッチングの手法を適用して歩行者を検出するため、パターンマッチングを適用する場合と比較して計算負荷が少なくて済む。

以上説明した本発明の実施の形態１によれば、所定の視野を撮像する複眼の撮像手段から出力される画像情報に基づいて縦エッジを抽出し、その縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出し、この検出した立体物の特性を示す立体物情報の時間による変動を算出し、この算出した前記立体物の変動に基づいて該立体物が歩行者であるか否かを判定することにより、ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することが可能となる。

（実施の形態２）
本発明の実施の形態２は、ステレオ画像によって得た歩行者情報とミリ波レーダで検出した情報とのフュージョン処理を行うことを特徴とする。図１２は、本実施の形態２に係る歩行者検出装置の機能構成を示すブロック図である。同図に示す歩行者検出装置１１は、撮像部２、画像処理部３に加えて、ミリ波（電磁波の一種）を利用して物体を検出する検出手段であるミリ波レーダ６と、ミリ波レーダ６で検出した受信信号に所定の信号処理を施す信号処理部７と、画像処理部３および信号処理部７の処理に関する各種情報を記憶する記憶部８と、画像処理部３から出力される歩行者情報と信号処理部７から出力されるレーダ検出情報とのフュージョン処理を行うフュージョン処理部９と、を備える。

なお、撮像部２および画像処理部３の構成、ならびにそれらを用いた歩行者検出方法については上記実施の形態１と同じである。

図１３は、本実施の形態２に係る歩行者検出方法の処理の概要を示すフローチャートである。同図において、ステップＳ１１〜ステップＳ１６の処理は、上記実施の形態１に係る歩行者検出方法のステップＳ１〜ステップＳ６の処理とそれぞれ同じである（図３を参照）。

ステップＳ１６に続くステップＳ１７では、フュージョン処理部９で、画像処理部３から出力された歩行者検出情報（ステレオ画像物標）と信号処理部７から出力されたミリ波物標とを受信してフュージョン処理を行う。ここでのフュージョン処理は、従来から知られている技術を適用することができる。

その後、ステップＳ１７で生成されたフュージョン物標を車両制御装置５へ出力する（ステップＳ１８）ことによって一連の処理が修了する。なお、ステップＳ１５で立体物が歩行者でないと判定した場合（ステップＳ１５でＮｏ）には、その立体物に関する検出データを削除し（ステップＳ１９）、一連の処理を終了する。

本実施の形態２においては、ミリ波レーダ６が歩行者を検出することを目的としているため、例えば車両やガードレール等を検知する場合のように、物標からの反射波の受信レベル（強度）の閾値を高く設定しておくと、反射率が低い歩行者を検出できないので意味がない。また、物標からの反射波の受信レベル（強度）の閾値を低く設定したときに検出できない物標は、少なくとも歩行者ではないため、歩行者を検出する上では意味がない。このように、歩行者を検出する際には、ミリ波レーダ６の反射波の受信レベルの高低２つ閾値の中間域で検出された物標情報にステレオ画像物標情報をフュージョンすることによって信頼度が高い歩行者情報を得ることができる。

以上説明した本発明の実施の形態２によれば、所定の視野を撮像する複眼の撮像手段から出力される画像情報に基づいて縦エッジを抽出し、その縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出し、この検出した立体物の特性を示す立体物情報の時間による変動を算出し、この算出した前記立体物の変動に基づいて該立体物が歩行者であるか否かを判定することにより、上記実施の形態１と同様、ステレオカメラを用いて撮像した画像に含まれる歩行者を、少ない計算量で高精度に検出することが可能となる。

加えて、本実施の形態２によれば、上記実施の形態１と同様に検出したステレオ画像物標としての歩行者情報に対し、ミリ波レーダで検出したミリ波物標をフュージョンすることにより、一段と信頼度の高い歩行者検出を実現することが可能となる。

なお、本実施の形態２において、検出手段としてミリ波レーダの代わりにレーザレーダを用いることも可能である。

（その他の実施の形態）
ここまで、本発明を実施するための最良の形態として、実施の形態１および２を詳述してきたが、本発明はそれら２つの実施の形態によってのみ限定されるべきものではない。すなわち、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。

本発明の実施の形態１に係る歩行者検出装置の機能構成を示すブロック図である。 ステレオカメラによる撮像処理を概念的に示す説明図である。 本実施の形態１に係る歩行者検出方法の概要を示すフローチャートである。 撮像部で撮像対象となる風景例（歩行者あり）を示す図である。 撮像部で撮像対象となる風景例（歩行者なし）を示す図である。 図５の風景を撮像した画像情報を用いて縦エッジ抽出処理を行った場合の歩行者付近の縦エッジを模式的に示す図である。 図６の風景を撮像した画像に対して縦エッジ抽出処理を行った場合の車両付近の縦エッジを模式的に示す図である。 立体物検出部で算出した画素点を画面上へプロットした図（歩行者ありの場合）である。 立体物検出部で算出した画素点を画面上へプロットした図（歩行者なしの場合）である。 図８の画像に対して画素点の密度を求めた結果を視覚化した図である。 図９の画像に対して画素点の密度を求めた結果を視覚化した図である。 本発明の実施の形態２に係る歩行者検出装置の機能構成を示すブロック図である。 本実施の形態２に係る歩行者検出方法の概要を示すフローチャートである。

符号の説明

１、１１ 歩行者検出装置
２ 撮像部
３ 画像処理部
４、８ 記憶部
５ 車両制御装置
６ ミリ波レーダ
７ 信号処理部
９ フュージョン処理部
２１Ｌ、２１Ｒ カメラ
２２Ｌ、２２Ｒ フレームメモリ
３１ 縦エッジ抽出部
３２ 立体物検出部
３３ 変動算出部
３４ 判定部
３５ トラッキング処理部
１０１、２０１ 風景
１０２、１０３、２０２、２０３ 画像
Ｃ 車両
Ｄ₁、Ｄ₂、Ｄ₃ 高密度領域
Ｉ_L 左画像領域
Ｉ_R 右画像領域
Ｅ 縦エッジ
Ｆ 遠方領域
Ｈ 横断歩道
Ｌ_E 直線
Ｍ 中間領域
Ｎ 近傍領域
Ｐ 歩行者
Ｒ 道路
Ｓ_C、Ｓ_C1、Ｓ_C2、Ｓ_P 画素点群

Claims (13)

1. 所定の視野を撮像する複眼の撮像手段から出力される画像情報を用いて前記視野内を歩行する歩行者を検出する歩行者検出方法であって、
   前記画像情報に基づいて縦エッジを抽出する縦エッジ抽出ステップと、
   前記縦エッジ抽出ステップで抽出した縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出する立体物検出ステップと、
   前記立体物検出ステップで検出した立体物の特性を示す立体物情報の時間による変動を算出する変動算出ステップと、
   前記変動算出ステップで算出した前記立体物情報の変動に基づいて前記立体物情報に対応する立体物が歩行者であるか否かを判定する判定ステップと、
   を有することを特徴とする歩行者検出方法。
2. 前記変動算出ステップは、
   過去の二つの異なる時間における前記立体物情報と最新の前記立体物情報との差分をそれぞれ算出することを特徴とする請求項１記載の歩行者検出方法。
3. 前記立体物検出ステップは、
   前記縦エッジ抽出ステップで抽出した縦エッジごとの３次元情報を算出して得られる画素点が所定の基準以上存在するような領域を統合することによって前記立体物を検出することを特徴とする請求項１または２記載の歩行者検出方法。
4. 前記立体物情報は、前記立体物の高さ位置、横幅、および高さ幅を含むことを特徴とする請求項１〜３のいずれか一項記載の歩行者検出方法。
5. 前記判定ステップで判定した立体物が歩行者である場合、当該歩行者のトラッキング処理を行うトラッキング処理ステップをさらに有することを特徴とする請求項１〜４のいずれか一項記載の歩行者検出方法。
6. 電磁波を用いて物体を検出する検出手段で検出した物体検出結果と、前記トラッキング処理ステップで検出した前記歩行者に関する情報とをフュージョン処理するフュージョン処理ステップをさらに有することを特徴とする請求項５記載の歩行者検出方法。
7. 所定の視野を撮像する複眼の撮像手段から出力される画像情報を用いて前記視野内を歩行する歩行者を検出する歩行者検出装置であって、
   前記画像情報に基づいて縦エッジを抽出する縦エッジ抽出手段と、
   前記縦エッジ抽出手段で抽出した縦エッジから３次元情報を算出し、この算出した３次元情報をもとに立体物を検出する立体物検出手段と、
   前記立体物検出手段で検出した立体物の特性を示す立体物情報の時間による変動を算出する変動算出手段と、
   前記変動算出手段で算出した前記立体物情報の変動に基づいて前記立体物情報に対応する立体物が歩行者であるか否かを判定する判定手段と、
   を備えたことを特徴とする歩行者検出装置。
8. 前記変動算出手段は、
   過去の二つの異なる時間における前記立体物情報と最新の前記立体物情報との差分をそれぞれ算出することを特徴とする請求項７記載の歩行者検出装置。
9. 前記立体物検出手段は、
   前記縦エッジ抽出手段で抽出した縦エッジごとの３次元情報を算出して得られる画素点が所定の基準以上存在するような領域を統合することによって前記立体物を検出することを特徴とする請求項７または８記載の歩行者検出装置。
10. 前記立体物情報は、前記立体物の高さ位置、横幅、および高さ幅を含むことを特徴とする請求項７〜９のいずれか一項記載の歩行者検出装置。
11. 前記判定手段で判定した立体物が歩行者である場合、当該歩行者のトラッキング処理を行うトラッキング処理手段をさらに備えたことを特徴とする請求項７〜１０のいずれか一項記載の歩行者検出装置。
12. 電磁波を用いて物体を検出する検出手段で検出した物体検出結果と、前記トラッキング処理手段で検出した前記歩行者に関する情報とをフュージョン処理するフュージョン処理手段をさらに備えたことを特徴とする請求項１１記載の歩行者検出装置。
13. 請求項１〜６のいずれか一項に記載の歩行者検出方法をコンピュータに実行させることを特徴とする歩行者検出プログラム。

Images