JP4166253B2 - 物体検出装置、物体検出方法、および物体検出用プログラム - Google Patents

Description

本発明は、物体検出装置、物体検出方法、および物体検出用プログラムに関し、詳細には、道路前方を撮像した対象画像から検出対象物を検出する物体検出装置、物体検出方法、および物体検出用プログラムに関する。

一般に、自車の走行中に、自車に搭載した撮像手段により前方を撮像して得られる画像を処理し、画像処理の結果、自車前方の物体が車両、歩行者、道路構造物等のうちいずれであるかを認識する物体検出装置が公知である。

この種の物体検出装置としては、例えば特許文献１が公知である。同文献の物体検出装置では、ＣＣＤカメラにより自車前方のフレーム画像を取得し、このフレーム画像から前方の車両等の画像を含む物体候補領域を抽出し、切出平面が自車進行方向であるＺ軸に沿って順次移動されてそのときの物体候補領域と切出平面との重合領域を導出し、この重合領域及びメモリの各参照画像に基づき、マッチング距離を算出し、マッチング距離が極小値になるときの切出平面のＺ軸における位置を求め、そのときのＺ軸位置が切り出しの最適位置として設定し、最適位置で切り出される物体候補領域と各参照画像との照合の結果、マッチング距離が極小値をとるか否かにより、その物体候補が車両か非車両かの判断を行う。

しかしながら、特許文献１では、フレーム画像のエッジ抽出回数のヒストグラムを水平方向および垂直方向の両方向について作成して検出対象物体を検出しているため、物体検出のための演算時間が長くなり、高速に物体検出を行うことができないという問題がある。

また、非特許文献１では、クラス判別器を使用したオブジェクト検出方法が提案されている。クラス判別器（矩形の輝度差を特徴とするhaar-like特徴による、cascade of boostedクラス判別器と名付けられている。）は、ポジティブサンプルという、車や顔など特定オブジェクトの数百の画像（大きさは決められたサイズ）について学習をする。その後、ネガティブサンプルという、同じ大きさで任意の画像を学習する。クラス判別器の学習後、検出対象画像を探索ウィンドウで探索し、学習サンプルと同じ大きさの部分画像である、ＲＯＩ(Region of Interest）に適用し、そこが車や顔などでありそうだった場合は「１」を、そうでない場合は「０」を出力する。クラス判別器（以下「辞書」とも称する）は、複数のステージから構成されており、ステージが進む毎に粗い辞書となり、検知対象の識別率は低くなり、被検知対象の棄却率は高くなる。

しかしながら、非特許文献１では、（１）探索の間引き量の検討指標がない、（２）探索ウィンドウの変化量を決定する指標がない、（３）検知対象の存在する位置が不明なため、探索領域を絞り込むことができない、（４）検知対象を検知するために必要な辞書の荒さの指標がない。このため、非特許文献１では、（１）検知対象の検出に時間がかる、（２）画像上の対象サイズを特定できない、（３）誤検出する可能性がある等の問題がある。

特開２００４−１９２０８０号公報 Ｐａｕｌ Ｖｉｏｌａ ａｎｄ Ｍｉｃｈａｅｌ Ｊ． Ｊｏｎｅｓ． Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ． ＩＥＥＥ ＣＶＰＲ（２００１）

本発明は、上記に鑑みてなされたものであって、演算量を低減して高速に物体検出を行うことが可能な物体検出装置、物体検出方法、および物体検出用プログラムを提供することを目的とする。

上記した課題を解決して、本発明の目的を達成するために、道路前方を撮像した対象画像から検出対象物を検出する物体検出装置において、前記道路前方を撮像して対象画像を入力する画像取得手段と、前記検出対象物をモデル化した辞書と、前記対象画像を探索ウィンドウで探索する探索手段と、前記探索ウィンドウ内の画像と、前記辞書とを照合し、道路平面に対して水平方向である画像行方向についての検知回数を、画像行毎にカウントしてヒストグラムを作成するヒストグラム作成手段と、前記作成したヒストグラムの形状から単峰性の分布を検出して、前記検出対象物を検出する検出手段と、を備えたことを特徴とする。

また、本発明の好ましい態様によれば、前記ヒストグラムの形状が複峰性の分布である場合に、誤検出と判定する判定手段を備えたことが望ましい。

また、本発明の好ましい態様によれば、前記探索手段は、前記探索ウィンドウのサイズを変更して前記対象画像を探索し、前記ヒストグラム作成手段は、前記探索ウィンドウのサイズ毎に前記ヒストグラムを作成し、さらに、前記ヒストグラム作成手段で作成された前記探索ウィンドウのサイズ毎のヒストグラムの最大検知回数に基づいて、前記検出対象物のサイズを推定する物体サイズ推定手段を備えたことが望ましい。

また、本発明の好ましい態様によれば、前記辞書の解像度は、前記検出対象物を含む複数のサンプル画像毎に、探索ウィンドウでそれぞれ探索し、前記探索ウィンドウ内のサンプル画像と、解像度の異なる複数の辞書とをそれぞれ照合し、前記複数の辞書毎に、道路平面に対して水平方向についての検知回数をカウントしたヒストグラムを作成し、当該ヒストグラムが単峰性の分布となる辞書のうち、最も低い解像度を決定し、前記複数のサンプル画像について各々算出された前記最も低い解像度を平均した値としたことが望ましい。

また、本発明の好ましい態様によれば、前記探索手段が探索ウィンドウで前記検出対象画像を探索する場合の前記道路平面に対して垂直方向の画素の間引き量は、前記検出対象物を含む複数のサンプル画像毎に、探索ウィンドウでそれぞれ探索し、前記探索ウィンドウ内のサンプル画像と、前記辞書とをそれぞれ照合し、道路平面に対して水平方向についての検知回数をカウントしたヒストグラムを作成し、当該ヒストグラムの形状に基づいて、前記道路平面に対して垂直方向の画素の最大間引き量を算出し、前記複数のサンプル画像について各々算出された前記最大間引き量を平均した値を上限とした値であることが望ましい。

また、本発明の好ましい態様によれば、前記探索手段が探索する場合における前記探索ウィンドウのサイズの変化量は、前記検出対象物を含む複数のサンプル画像を、前記探索ウィンドウのサイズを変更してそれぞれ探索し、前記探索ウィンドウ内のサンプル画像と、前記辞書とをそれぞれ照合し、前記道路平面に対して水平方向についての検知回数をカウントしたヒストグラムを作成し、前記探索ウィンドウのサイズ毎のヒストグラムの最大検知回数に基づいて、探索ウィンドウの最大サイズ変化量を各々算出し、前記複数のサンプル画像について各々算出された前記最大サイズ変化量を平均した値を上限とした値であることが望ましい。

上記した課題を解決して、本発明の目的を達成するために、本発明は、道路前方を撮像した対象画像から検出対象物を検出する物体検出方法において、前記道路前方を撮像して対象画像を入力する画像取得工程と、前記対象画像を探索ウィンドウで探索する探索工程と、前記探索ウィンドウ内の画像と、前記検出対象物をモデル化した辞書とを照合し、道路平面に対して水平方向である画像行方向についての検知回数を、画像行毎にカウントしてヒストグラムを作成するヒストグラム作成工程と、前記作成したヒストグラムの形状から単峰性の分布を検出して、前記検出対象物を検出する検出工程と、を含むことを特徴とする。

上記した課題を解決して、本発明の目的を達成するために、本発明は、道路前方を撮像した対象画像から検出対象物を検出するための物体検出用プログラムにおいて、コンピュータを、前記道路前方を撮像した対象画像を、探索ウィンドウで探索する探索手段と、前記探索ウィンドウ内の画像と、前記検出対象物をモデル化した辞書とを照合し、道路平面に対して水平方向である画像行方向についての検知回数を、画像行毎にカウントしてヒストグラムを作成するヒストグラム作成手段と、前記作成したヒストグラムの形状から単峰性の分布を検出して、前記検出対象物を検出する検出手段として機能させることを特徴とする。

本発明によれば、道路前方を撮像した対象画像から検出対象物を検出する物体検出装置において、画像取得手段は、道路前方を撮像して対象画像を入力し、探索手段は、対象画像を探索ウィンドウで探索し、ヒストグラム作成手段は、探索ウィンドウ内の画像と、検出対象物をモデル化した辞書とを照合し、道路平面に対して水平方向である画像行方向についての検知回数を、画像行毎にカウントしてヒストグラムを作成し、検出手段は、作成したヒストグラムの形状から単峰性の分布を検出して、検出対象物を検出することとしたので、演算量を低減して高速に物体検出を行うことが可能となる。

以下に、この発明に係る物体検出装置、物体検出方法、および物体検出用プログラムについて、図面を参照しつつ詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、下記実施の形態における構成要素には、当業者が容易に想定できるものまたは実質的に同一のものが含まれる。

（物体検出装置の機能構成）
本実施の形態では、車両に搭載される物体検出装置において、歩行者を検出する場合を一例として説明する。本実施の形態に係る物体検出装置は、ナイトビュー装置等に使用することができる。図１は、本発明の実施の形態にかかる物体検出装置の機能構成を示す図である。

物体検出装置１は、図１に示すように、物体を撮像して画像を取得する画像取得部１０と、画像取得部１０で撮像された検出対象画像に基づいて、検出対象物体（歩行者）を検出する画像処理部２０と、画像取得部１０で撮像された画像を表示する表示部３０とを備えている。

画像取得部１０は、近赤外線（７８０ｎｍ〜１５００ｎｍ）カメラで構成されており、車両前方（道路前方）を撮像し、撮像した画像のグレースケール画像を画像処理部２０に出力する。

画像処理部２０は、パラメータ決定部２１と、物体検出部２２と、辞書格納部２３と、パラメータ格納部２４と、表示制御部２５とを備えている。パラメータ決定部２１は、後述するパラメータ決定処理（図２参照）を実行し、物体検出処理で使用するパラメータを算出して、パラメータ格納部２４に格納する。

物体検出部２２は、パラメータ格納部２４に格納されたパラメータを使用して、後述する物体検出処理（図９参照）を実行し、検出対象画像から検出対象物体（歩行者）を検出する。辞書格納部２３は、検出対象物体（歩行者）をモデル化した粗さ（解像度）の異なる辞書を格納しており、具体的には、予め歩行者について学習した、非特許文献１のＮ（例えば、Ｎ＝２０）ステージまでの辞書（クラス判別器）を格納している。この辞書はステージが進む毎に粗い辞書となり、検知対象の識別率は低くなって棄却率が高くなる。辞書格納部２３に格納されている辞書は、パラメータ決定処理および物体検出処理で使用される。なお、辞書の詳細な作成方法は、非特許文献１に記載されているので、その詳細な説明は省略する。

パラメータ格納部２４は、パラメータ決定処理で算出されたパラメータを格納する。このパラメータ格納部２４に格納されたパラメータは、物体検出処理で使用される。表示制御部２５は、表示部３０の表示制御を行うものであり、画像取得部１０で撮像された画像を表示部３０に表示させる。

表示部３０は、ヘッドアップディスプレイ等からなり、画像取得部１０で撮像された画像を表示し、また、画像中の検出対象物（歩行者）を識別表示する。

（パラメータ決定処理）
図２〜図５を参照して、上記図１の物体検出装置１におけるパラメータ決定部２１のパラメータ決定処理を説明する。図２はパラメータ決定部２１のパラメータ決定処理を説明するためのフローチャート、図３はサンプル画像を探索ウィンドウＷで探索する場合を説明するための説明図、図４は探索ウィンドウＷで探索する場合の画素間引き量を説明するための図、図５はパラメータ決定部２１でパラメータ決定処理を実行する場合に、サンプル画像毎に作成するテーブルの一例を示す図である。

パラメータ決定処理では、物体検出処理での演算量を低減して高速に物体検出を行うために、物体検出処理で使用するパラメータ（（１）辞書の粗さの平均値、（２）探索最大画素間引き量の平均値、（３）探索ウィンドウの最大サイズ変化量の平均値）を決定して、パラメータ格納部２４に格納する。

図２において、まず、物体検出装置１では、画像取得部１０で歩行者を含むサンプル画像（グレースケール画像）ｍ（ｍ＝１〜Ｍ）を撮像して、そのグレースケール画像を画像処理部２０に出力する（ステップＳ１）。サンプル画像は、検出対象（歩行者）の大きさの個体差が小さく、平面上に存在するものとする。画像処理部２０のパラメータ決定部２１は、使用する辞書の粗さ（Ｎ＝１〜２０）を設定する（ステップＳ２）。最初は一番細かい辞書を設定し、次第に辞書を粗く設定していく。つぎに、パラメータ決定部２１は、探索ウィンドウＷのサイズ（例えば、３２×６４画素，３８×７６画素、４６×９２画素、５６×１１２画素，６４×１２８画素、７６×１５２画素，・・・，）を設定する（ステップＳ３）。探索ウィンドウＷは、最初は一番小さいサイズを設定し、次第にサイズを大きくしていく。

パラメータ決定部２１は、図３に示すように、画像取得部１０で入力されたサンプル画像ｍの全領域を、設定したサイズの探索ウィンドウＷでＹ方向（道路平面に対して垂直方向）に探索する（ステップＳ４）。なお、図３において、Ｘ方向を道路平面に対して水平方向・画像行方向、Ｙ方向を道路平面に対して垂直方向・画像列方向とする。具体的には、探索ウィンドウＷ内のサンプル画像を画素毎に、設定した辞書と照合して、類似度大「１（検知）」、類似度小「０（非検知）」として、画像行（道路平面に対して水平方向について）毎に、検知回数をカウントしてヒストグラムを作成する。ここで、探索ウィンドウＷのサイズと辞書のサイズが異なる場合は、辞書のサイズに合わせて探索ウィンドウＷ内の画像のサイズを変更する。なお、探索ウィンドウのサイズ毎に、辞書を用意することにしてもよい。

つづいて、パラメータ決定部２１は、探索の間引き量算出処理（図７−１および図７−２参照）を実行して、探索画素最大間引き量＝正規分布の幅と決定する（ステップＳ５）。図４は、探索を行う場合のＹ方向の画素の間引き量を説明するための図であり、Ｌが画素間引き量を示している。同図に示す例は、画素の間引き量Ｌ＝「２画素」となっている。

この後、パラメータ決定部２１は、探索ウィンドウＷのサイズ＞画像サイズ（サンプル画像の全体サイズ）であるか否かを判断する（ステップＳ６）。探索ウィンドウＷのサイズ＞画像サイズでない場合には（ステップＳ６の「Ｎｏ」）、ステップＳ３に戻り、探索ウィンドウＷのサイズを１段階大きく設定して、同様の処理（ステップＳ３〜Ｓ６）を行い、探索ウィンドウＷのサイズ＞画像サイズとなるまで、同じ処理（ステップＳ３〜Ｓ６）を繰り返し実行する。これにより、探索ウィンドウＷのサイズ毎に、画像行のヒストグラムおよび画素の間引き量が算出される。

探索ウィンドウＷのサイズ＞画像サイズの場合には（ステップＳ６の「Ｙｅｓ」）、探索ウィンドウサイズの変化量決定処理（図８−１〜図８−３参照）を実行して、探索ウィンドウＷの最大変化量＝検知できるサイズ範囲と決定する（ステップＳ７）。この後、ヒストグラムが正規分布になるか否かを判断する（ステップＳ８）。ヒストグラムが正規分布になる場合には（ステップＳ８の「ＹＥＳ」）、ステップＳ２に戻り、辞書を一段階粗く設定し、同様の処理（ステップＳ２〜Ｓ８）を行い、ヒストグラムが正規分布にならなくなるまで、同じ処理を繰り返し実行する。ヒストグラムが正規分布にならない場合には（ステップＳ８の「Ｎｏ」）、辞書粗さ決定処理（図６−１〜図６−３参照）を実行して、この辞書よりも１段階細かい辞書を選択する（ステップＳ９）。これにより、ヒストグラムが正規分布となる最も粗い辞書を決定することができる。

上記ステップＳ２〜Ｓ９の処理により、サンプル画像ｍについて、（１）辞書の粗さ、（２）辞書毎の探索画素最大間引き量、（３）探索ウィンドウＷのサイズの最大変化量を決定することができる。図５に示す例では、サンプル画像ｍについて、辞書の粗さは、ヒストグラムが正規分布となる「Ｎ＝５」以上、探索ウィンドウＷの最大サイズ変化量「２」となる。

つづいて、パラメータ決定部２１は、ｍ≧Ｍであるかを判断し（ステップＳ１０）、ｍ≧Ｍでない場合には（ステップＳ１０の「Ｎｏ」）、ステップＳ１に戻り、次のサンプル画像について同様の処理を行い、Ｍ個のサンプル画像が終了するまで、同じ処理を繰り返し実行する。

パラメータ決定部２１は、ｍ≧Ｍである場合には（ステップＳ１０の「Ｙｅｓ」）、全てのサンプル画像１〜Ｍについて、辞書の粗さ、探索最大画素間引き量、およびウィンドウサイズの最大変化量の平均値をそれぞれ算出して、パラメータ格納部２４に格納する（ステップＳ１１）。

［辞書粗さ決定処理］
上記パラメータ決定処理での辞書粗さ決定処理（上記図２のステップＳ９）を図６−１〜図６−３を参照して詳細に説明する。図６−１は、辞書粗さ決定処理を説明するための説明図であり、サンプル画像の一例と当該サンプル画像の画像行についての辞書毎（Ｎ＝１〜４）のヒストグラムの一例を示している。図６−２は、辞書毎（Ｎ＝１〜４）の実際のヒストグラムの一例を説明するための図、図６−３は、図６−２において、正規分布となるヒストグラム（辞書の粗さＮ＝４）の拡大図を示している。図６−２および図６−３において、横軸は画像行、縦軸は検知回数を示している。

図２のステップＳ２〜Ｓ８の処理により、検出対象を含むサンプル画像の全領域を、歩行者のサイズに合ったサイズの探索ウィンドウＷ（例えば、４６×９２画素）で探索した場合の辞書毎の画像行（水平方向）についてのヒストグラムのうち、そのヒストグラムが正規分布となる最も粗い辞書をサンプル画像ｍの辞書の粗さと決定する（上記ステップＳ９）。図６−２および図６−３に示す例では、ヒストグラムが正規分布となるためには、Ｎ＝４以上の辞書を用いる必要がある。

これにより、対象物体を高精度に検出できる最も粗い辞書を選択でき、物体検出処理でこの辞書を使用することにより、演算時間を低減することが可能となる。

［探索の間引き量決定処理］
上記パラメータ決定処理での探索の間引き量決定処理（上記図２のステップＳ５）を、図７−１〜図７−２を参照して詳細に説明する。図７−１は、探索の間引き量決定処理を説明するための説明図であり、サンプル画像の一例と当該サンプル画像の画像行についてのヒストグラムの一例を示している。図７−２は、探索最大画素間引き量を説明するための図である。図７−２において、横軸は画像行、縦軸は検知回数を示している。

図２のステップＳ２〜Ｓ４の処理により、検出対象を含むサンプル画像ｍの全領域を、歩行者のサイズに合ったサイズの探索ウィンドウＷ（例えば、４６×９２画素）で探索した場合の画像行（Ｘ方向）について作成されたヒストグラムに基づいて、辞書毎に、探索時の画像列方向（Ｙ方向）の画素の最大間引き量を決定する（上記ステップＳ５）。

図７−１に示すように、画像行毎のヒストグラムでは、検出対象が存在する行をピークとした正規分布ができる。例えば、図７−２にように、ヒストグラムの正規分布の山の幅を検知可能な探索最大画素間引き量と判断することができる。この探索最大画素間引き量よりも間引き量Ｌを大きくすると、歩行者を検知できなくなる。

これにより、検出対象を検出できなくなる探索時の画素間引き量を特定でき、物体検出処理では、最大間引き量未満で間引き量を大きくすることで、探索する画素数を低減して、演算時間を短縮することが可能となる。

［ウィンドウサイズの変化量決定処理］
上記パラメータ決定処理のウィンドウサイズの変化量決定処理（上記図２のステップＳ７）を図８−１〜図８−３を参照して詳細に説明する。図８−１は、ウィンドウサイズの変化量決定処理を説明するための説明図であり、サンプル画像の一例と当該サンプル画像の画像行についての探索ウィンドウＷのサイズ毎の最大検知回数を模式的に示している。図８−２は、探索ウィンドウのサイズ毎の検知回数の実際の最大検知回数の一例を示す図であり、横軸は画像行、縦軸は検知回数を示している。図８−３は、最大サイズ変化量を決定するためのグラフであり、横軸は、探索ウィンドウのサイズ（幅）、縦軸は最大検知回数を示している。

図２のステップＳ２〜Ｓ６の処理により、検出対象を含むサンプル画像ｍ（検出対象の大きさは個体差が小さく、平面上に存在するものとする）を、探索ウィンドウのサイズを変更しながら探索した場合の画像行（Ｘ方向）についての検知回数が算出される。図８−１および図８−２に示すように、歩行者の存在する行が最大検知回数となる。ウィンドウサイズの変化量決定処理では、図８−３に示すように、横軸に、探索ウィンドウのサイズ、縦軸に探索ウィンドウのサイズ毎の最大検知回数をとるグラフを作成し、このグラフの山の幅（検知できるサイズ範囲）を検知可能な最大サイズ変化量と決定する。山の幅よりもサイズ変化量を大きくすると、未検知の可能性があるためである。

これにより、検出対象を検出できなくなる探索ウィンドウのサイズ変化量を特定でき、後述する物体検出処理では、最大サイズ変化量未満でサイズ変化量を大きくすることで、探索数を低減して、演算時間を短縮することが可能となる。

なお、上述のパラメータ決定処理は、他の装置（パソコン等）で実行して、そのパラメータをパラメータ格納部２４に格納することにしてもよく、また、工場出荷時にそのパラメータをパラメータ格納部２４に格納することにしてもよい。

（物体検出処理）
図９は、上記構成の物体検出装置２０の物体検出部２２の物体検出処理を説明するためのフローチャートである。物体検出処理では、パラメータ格納部２４に格納されている平均の辞書粗さ、探索ウィンドウＷの平均の探索最大画素間引き量、および探索ウィンドウＷの最大サイズ変化量を使用することで、物体検出の演算量を低減している。

図９において、まず、物体検出装置１では、画像取得部１０で検出対象画像（グレースケール画像）を入力する（ステップＳ２１）。表示制御部２５は、入力された検出対象画像を表示部３０に表示する。

物体検出部２２は、探索ウィンドウＷのサイズを設定する（ステップＳ２２）。最初は一番小さいサイズを設定し、次第に、パラメータ格納部２４に格納されている平均の最大サイズ変化量に応じたサイズ変化量（例えば、サイズ変化量＝平均の最大サイズ変化量／２）でサイズを大きくしていく。

また、物体検出部２２は、パラメータ格納部２４に格納されている、平均の辞書の粗さを設定し（ステップＳ２３）、設定された辞書の粗さに対応する、パラメータ格納部２４に格納されている平均の探索最大画素間引き量に応じた間引き量Ｌ（例えば、間引き量Ｌ＝平均の探索最大画素間引き量／２）を設定する（ステップＳ２４）。

物体検出部２２は、画像取得部１０で入力された検出対象画像の全領域を、設定したサイズの探索ウィンドウＷで、設定した間引き量Ｌで探索する（ステップＳ２５）。具体的には、探索ウィンドウ内の検出対象画像の対象となる画素毎に、設定した辞書と照合して、類似度大「１（検知）」、類似度小「０（非検知）」として、画像行毎の検知回数をカウントしてヒストグラムを作成する。上述したように、探索ウィンドウＷのサイズと辞書のサイズが異なる場合は、辞書のサイズに合わせて探索ウィンドウ内の画像のサイズを変更する。なお、探索ウィンドウＷのサイズ毎に、サイズの異なる辞書を用意することにしてもよい。

物体検知部２２は、作成したヒストグラムの山が複数あるか否かを判断する（ステップＳ２６）、ヒストグラムの山が複数ある場合（ステップＳ２６の「Ｙｅｓ」）、すなわち、ヒストグラムが複峰性の分布となる場合には、誤検知と判定する（ステップＳ２７）。表示制御部２５は、物体検出部２２で誤検知と判定された場合、その旨を表示部３０に表示することにしてもよい。

他方、作成したヒストグラムの山が複数ない場合（ステップＳ２６の「Ｎｏ」）、すなわち、ヒストグラムが単峰性の分布となる場合には、探索領域の絞り込み処理（図１１−１〜図１１−２参照）を実行して、正規分布の頂点付近に探索領域を限定して探索する（ステップＳ２８）。具体的には、正規分布の頂点付近に探索領域を限定して、上記ステップＳ２４で設定した間引き量Ｌよりも少ない間引き量で、かつ、上記ステップＳ２３で設定した辞書よりも細かい辞書を使用して画像の探索を行って検出対象物である歩行者の位置を特定する。

この後、物体検知部２２は、検出対象物体の位置特定ｏｒ検出対象物なしか否かを判断する（ステップＳ２９）。検出対象物体の位置特定ｏｒ検出対象物なしでない場合には（ステップＳ２９の「Ｎｏ」）、ステップＳ２３に戻り、辞書を一段階細かく設定して、同様の処理を行う（ステップＳ２３〜２８）。照合する辞書を細かくすることで、検出対象物体である歩行者の検出率を向上させることができる。

他方、物体検知部２２は、検出対象物体の位置特定ｏｒ検出対象物なしである場合には（ステップＳ２９の「Ｙｅｓ」）、探索ウィンドウのサイズ≧画像サイズ（検出対象画像の全体サイズ）であるか否かを判断し（ステップＳ３０）、探索ウィンドウのサイズ≧画像サイズ（検出対象画像の全体サイズ）でない場合には（ステップＳ３０の「Ｎｏ」）、ステップＳ２２に戻り、サイズ変化量Ｌだけ大きくしたサイズの探索ウィンドウＷを設定して、同様の処理を行い（ステップＳ２２〜Ｓ２９）、探索ウィンドウのサイズ≧画像サイズ（検出対象画像の全体サイズ）となるまで同じ処理を繰り返す（ステップＳ２２〜３０）。

物体検知部２２は、探索ウィンドウのサイズ＞画像サイズ（検出対象画像の全体サイズ）である場合には（ステップＳ３０の「Ｙｅｓ」）、物体サイズ推定処理（図１２−１〜図１２−３参照）を実行して、検出対象物体（歩行者）のサイズ＝最も検知回数の多い探索ウィンドウのサイズとして（ステップＳ３０）、検出対象物体（歩行者）のサイズを推定する。表示制御部２５は、表示部３０に表示されている検出対象画像のうち、上記ステップＳ２８で特定した検出対象物を推定した検出対象物体（歩行者）のサイズの矩形の枠で表示し、検出した検出対象物（歩行者）を識別表示する。これにより、利用者は検出対象物（歩行者）の識別が容易となる。

［誤検知判定処理］
上記物体検出処理における誤検知判定処理（上記図９のステップＳ２６，Ｓ２７）を図１０−１〜図１０−２を参照して詳細に説明する。図１０−１は、誤検知判定処理を説明するための説明図であり、検出対象画像の一例と当該検出対象画像の画像行についてのヒストグラムを模式的に示す図である。図１０−２は、誤検知である場合のヒストグラムの一例を示す図であり、横軸は画像行、縦軸は検知回数を示している。

上記図９のステップＳ２２〜Ｓ２５の処理により、検出対象画像の全領域を、探索ウィンドウのサイズを変更しながら探索した場合の画像行（水平方向）についてのヒストグラムが作成される。誤検知判定処理では、作成したヒストグラムの形状を判別し、ヒストグラムに複数の山が存在する場合（複峰性の分布となる場合）には誤検知と判定する（上記ステップＳ２６、Ｓ３１）。

歩行者を正しく検知できた場合は、図１０−１に示すように、ヒストグラムの形状は正規分布形状（単峰性の分布）になる。歩行者は道路平面上にいるため、同じ大きさの歩行者が画像上の別の高さ（行）にいることはないからである。図１０−２に示すように、作成されたヒストグラムに複数の山が存在する場合（複峰性の分布となる場合）には、歩行者以外の山があるため、誤検知と判定することができる。

［探索領域の絞り込み処理］
上記物体検出処理における探索領域の絞り込み処理（上記図９のステップＳ２８）を図１１−１および図１１−２を参照して詳細に説明する。図１１−１は、探索領域の絞り込み方法を説明するための図であり、検出対象画像の一例と当該検出対象画像の画像行についてのヒストグラムを模式的に示す図である。図１１−２は、検出対象画像の探索を説明するための図である。

上記図９のステップＳ２６により、ヒストグラムの形状は正規分布形状（単峰性の分布）と判定された場合には、図１１−１に示すように、そのヒストグラムには、歩行者が存在する行付近をピークとした正規分布ができる。探索領域の絞り込み処理では、正規分布の頂点付近に探索領域を限定して、上記ステップＳ２４で設定した間引き量よりも少ない間引き量で、かつ、上記ステップＳ２３で設定した辞書よりも細かい辞書を使用して細かい探索を行い、検出対象物である歩行者の位置を特定する。

［物体サイズ推定処理］
上記物体検出処理における物体サイズ推定処理（上記図９のステップＳ３１）を図１２−１〜図１２−３を参照して詳細に説明する。図１２−１は、物体サイズ推定処理を説明するための図であり、検出対象画像の一例と当該検出対象画像の画像行についての探索ウィンドウのサイズ毎のヒストグラムを模式的に示している。図１２−２は、探索ウィンドウのサイズ毎の実際の最大検知回数の一例を示す図であり、横軸は画像行、縦軸は最大検知回数を示している。図１２−３は、物体サイズを決定するためのグラフであり、横軸は、探索ウィンドウのサイズ（幅）、縦軸は最大検知回数を示している。

上記図９のステップＳ２２〜Ｓ３０の処理により、検出対象画像の全領域を、探索ウィンドウのサイズを変更しながら探索した場合の画像行（水平方向）についてのヒストグラムが作成される。上述したように、このヒストグラムは、歩行者が存在する行付近をピークとした正規分布ができる。図１２−１に示すように、歩行者の大きさに近い探索ウィンドウＷのサイズの場合は、大きなピークができ、歩行者の大きさと異なる探索ウィンドウのサイズの場合は、小さなピークとなる。

対象サイズ特定処理では、探索ウィンドウの各サイズのヒストグラムを比較し、最もピーク値（最大検知回数）の大きい探索ウィンドウのサイズを歩行者のサイズと推定する（上記図９のステップＳ３１）。例えば、図１２−２に示す例では、探索ウィンドウのサイズ（４６×９２画素）を歩行者のサイズと推定する。

なお、より正確に歩行者のサイズを推定するために、図１２−３に示すように、探索ウィンドウのサイズ（幅）を横軸とし、ヒストグラムのピーク値（最大検知回数）を縦軸としてグラフを作成し、このグラフでピーク値が最大となる探索ウィンドウのサイズ（幅）を、歩行者のサイズと推定することにしてもよい。

以上説明したように、本実施の形態によれば、物体検出装置１は、物体検出処理において、道路前方を撮像した対象画像の全領域を探索ウィンドウで探索し、探索ウィンドウ内の画像と、歩行者をモデル化した辞書とを照合し、道路平面に対して水平方向についての検知回数をカウントしてヒストグラムを作成し、作成したヒストグラムの形状から単峰性の分布を検出して、歩行者を検出することとしたので、一方向のみのヒストグラムを算出してその分布を解析することで物体を検出でき、演算量を低減して高速に物体検出を行うことが可能となる。

また、物体検出処理では、ヒストグラムの形状が複峰性の分布である場合に、誤検出と判定することとしたので、ヒストグラムの形状が単峰性の分布でない場合には、誤検出であると簡便に判定することが可能となる。これにより、誤検出を含む識別結果を使用しないことができる。また、誤検出頻度によって辞書、探索などのパラメータ適合性を判断することができる。

また、物体検出処理では、探索ウィンドウのサイズを変更しながら検出対象画像を探索し、探索ウィンドウのサイズ毎にヒストグラムを作成し、さらに、探索ウィンドウのサイズ毎のヒストグラムの最大検知回数に基づいて、歩行者のサイズを推定することとしたので、簡単な方法で歩行者の大きさを推定することが可能となる。また、表示部３０で撮像した画像を表示する場合に、適当な大きさで歩行者を囲んで表示することが可能となる。さらに、歩行者の大きさにバラツキがない場合は、歩行者までの距離を推定することができる。

また、物体検出装置１は、パラメータ作成処理において、検出対象物を含む複数のサンプル画像毎に、探索ウィンドウでそれぞれ探索し、探索ウィンドウ内のサンプル画像と、解像度の異なる複数の辞書とをそれぞれ照合し、複数の辞書毎に、道路平面に対して水平方向についての検知回数をカウントしたヒストグラムを作成し、当該ヒストグラムが単峰性の分布となる辞書のうち、最も低い解像度を決定し、複数のサンプル画像について各々算出された最も低い解像度を平均した値を算出し、物体検出処理では、辞書の解像度として、この値を使用することとしたので、対象物体を高精度に検出できる最も粗い辞書を選択でき、物体検出処理でこの辞書を使用することにより、演算時間を低減することが可能となる。

また、パラメータ作成処理では、検出対象物を含む複数のサンプル画像毎に、探索ウィンドウでそれぞれ探索し、探索ウィンドウ内のサンプル画像と、辞書とをそれぞれ照合し、道路平面に対して水平方向についての検知回数をカウントしたヒストグラムを作成し、当該ヒストグラムの形状に基づいて、道路平面に対して垂直方向の画素の最大間引き量を算出し、複数のサンプル画像について各々算出された最大間引き量を平均した値を算出し、物体検出処理では、この値を上限として画素間引き量を設定することとしたので、検出対象を検出できなくなる探索時の画素間引き量を特定でき、物体検出処理では、最大間引き量未満の間引き量を大きくすることで、探索する画素数を低減して、演算時間を短縮することが可能となる。

また、パラメータ作成処理では、検出対象物を含む複数のサンプル画像を、探索ウィンドウのサイズを変更してそれぞれ探索し、前記探索ウィンドウ内のサンプル画像と、前記辞書とをそれぞれ照合し、道路平面に対して水平方向についての検知回数をカウントしたヒストグラムを作成し、探索ウィンドウのサイズ毎のヒストグラムの最大検知回数に基づいて、探索ウィンドウの最大サイズ変化量を各々算出し、複数のサンプル画像について各々算出された前記最大サイズ変化量を平均した値を算出し、物体検出処理では、この値を上限とした値を探索ウィンドウのサイズ変化量としたので、検出対象を検出できなくなる探索ウィンドウのサイズ変化量が特定でき、物体検出処理では、最大サイズ変化量未満で変化量を大きくすることで、探索数を低減して、演算時間を短縮することが可能となる。

なお、上記した実施の形態では、歩行者をモデル化した辞書としてクラス判別器を使用することとしたが、本発明はこれに限られるものではなく、歩行者をモデル化した辞書として、パターンマッチングで使用するパターンプレートを使用することにしてもよい。

また、検出対象物体を歩行者とした場合を説明したが、本発明はこれに限られるものではなく、車両、道路構造物等の他の物体としてもよい。この場合は、これらをモデル化した辞書を使用する。

また、上記した実施の形態では、検出対象画像の全領域を探索しているが、本発明はこれに限定されるものではなく、検出対象物が存在する可能性が高い領域のみを探索領域としてもよい。

（プログラム）
なお、本発明の目的は、上述した物体検出装置の機能を実現するソフトウエアのプログラムコードを記録した記録媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（または、ＣＰＵ、ＭＰＵ、ＤＳＰ）が記録媒体に格納されたプログラムコードを実行することによっても達成することが可能である。この場合、記録媒体から読み出されたプログラムコード自体が前述した物体検出装置の機能を実現することになり、そのプログラムコードまたはそのプログラムコードを記憶した記録媒体は本発明を構成することになる。プログラムコードを供給するための記録媒体としては、ＦＤ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリ、ＲＯＭなどの光記録媒体、磁気記録媒体、光磁気記録媒体、半導体記録媒体を使用することができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した物体検出装置の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した物体検出装置の機能が実現される場合も含まれること言うまでもない。

また、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した物体検出装置の機能が実現される場合も含まれることは言うまでもない。

以上のように、本発明に係る物体検出装置、物体検出方法、および物体検出用プログラムは、各種システムおよび装置に利用可能であり、特に、自車前方の車両、歩行者、道路構造物等の物体を認識するナイトビュー装置に有用である。

本発明の実施の形態にかかる物体検出装置の機能構成を示す図である。 パラメータ決定処理を説明するためのフローチャートである。 サンプル画像を探索ウィンドウで探索する場合を説明するための説明図である。 探索ウィンドウで探索する場合の画素間引き量を説明するための図である。 パラメータ決定処理を実行する場合に、サンプル画像毎に作成するテーブルの一例を示す図である。 辞書粗さ決定処理を説明するための説明図である。 辞書毎の実際のヒストグラムの一例を説明するための図である。 図６−２において、正規分布となるヒストグラム（辞書の粗さＮ＝４）の拡大図である。 探索の間引き量決定処理を説明するための説明図である。 最大探索間引き量を説明するための図である。 ウィンドウサイズの変化量決定処理を説明するための説明図である。 探索ウィンドウのサイズ毎の検知回数の実際の最大検知回数の一例を示す図である。 最大サイズ変化量を決定するためのグラフを示す図である。 物体検出処理を説明するためのフローチャートである。 誤検知判定処理を説明するための説明図である。 誤検知である場合のヒストグラムの一例を示す図である。 探索領域の絞り込み処理を説明するための図である。 検出対象画像の探索を説明するための図である。 物体サイズ推定処理を説明するための図である。 探索ウィンドウのサイズ毎の実際の最大検知回数の一例を示す図である。 物体サイズを決定するためのグラフを示す図である。

符号の説明

１ 物体検出装置
１０ 画像取得部
２０ 画像処理部
２１ パラメータ決定部
２２ 物体検出部
２３ 辞書格納部
２４ パラメータ格納部
２５ 表示制御部
３０ 表示部

Claims (8)

1. 道路前方を撮像した対象画像から検出対象物を検出する物体検出装置において、
   前記道路前方を撮像して対象画像を入力する画像取得手段と、
   前記検出対象物をモデル化した辞書と、
   前記対象画像を探索ウィンドウで探索する探索手段と、
   前記探索ウィンドウ内の画像と、前記辞書とを照合し、道路平面に対して水平方向である画像行方向についての検知回数を、画像行毎にカウントしてヒストグラムを作成するヒストグラム作成手段と、
   前記作成したヒストグラムの形状から単峰性の分布を検出して、前記検出対象物を検出する検出手段と、
   を備えたことを特徴とする物体検出装置。
2. 前記ヒストグラムの形状が複峰性の分布である場合に、誤検出と判定する判定手段を備えたことを特徴とする請求項１の物体検出装置。
3. 前記探索手段は、前記探索ウィンドウのサイズを変更して前記対象画像を探索し、
   前記ヒストグラム作成手段は、前記探索ウィンドウのサイズ毎に前記ヒストグラムを作成し、
   さらに、前記ヒストグラム作成手段で作成された前記探索ウィンドウのサイズ毎のヒストグラムの最大検知回数に基づいて、前記検出対象物のサイズを推定する物体サイズ推定手段を備えたことを特徴とする請求項１または２に記載の物体検出装置。
4. 前記辞書の解像度は、
   前記検出対象物を含む複数のサンプル画像毎に、探索ウィンドウでそれぞれ探索し、
   前記探索ウィンドウ内のサンプル画像と、解像度の異なる複数の辞書とをそれぞれ照合し、
   前記複数の辞書毎に、道路平面に対して水平方向についての検知回数をカウントしたヒストグラムを作成し、
   当該ヒストグラムが単峰性の分布となる辞書のうち、最も低い解像度を決定し、
   前記複数のサンプル画像について各々算出された前記最も低い解像度を平均した値としたことを特徴とする請求項１〜請求項３のいずれか１つに記載の物体検出装置。
5. 前記探索手段が探索ウィンドウで前記対象画像を探索する場合の前記道路平面に対して垂直方向の画素の間引き量は、
   前記検出対象物を含む複数のサンプル画像毎に、前記探索ウィンドウでそれぞれ探索し、前記探索ウィンドウ内のサンプル画像と、前記辞書とをそれぞれ照合し、道路平面に対して水平方向についての検知回数をカウントしたヒストグラムを作成し、
   当該ヒストグラムの形状に基づいて、前記道路平面に対して垂直方向の画素の最大間引き量を算出し、
   前記複数のサンプル画像について各々算出された前記最大間引き量を平均した値を上限とした値であることを特徴とする請求項１〜請求項３のいずれか１つに記載の物体検出装置。
6. 前記探索手段が探索する場合における前記探索ウィンドウのサイズの変化量は、
   前記検出対象物を含む複数のサンプル画像を、前記探索ウィンドウのサイズを変更してそれぞれ探索し、前記探索ウィンドウ内のサンプル画像と、前記辞書とをそれぞれ照合し、前記道路平面に対して水平方向についての検知回数をカウントしたヒストグラムを作成し、
   前記探索ウィンドウのサイズ毎のヒストグラムの最大検知回数に基づいて、探索ウィンドウの最大サイズ変化量を各々算出し、
   前記複数のサンプル画像について各々算出された前記最大サイズ変化量を平均した値を上限とした値であることを特徴とする請求項１〜請求項３のいずれか１つに記載の物体検出装置。
7. 道路前方を撮像した対象画像から検出対象物を検出する物体検出方法において、
   前記道路前方を撮像して対象画像を入力する画像取得工程と、
   前記対象画像を探索ウィンドウで探索する探索工程と、
   前記探索ウィンドウ内の画像と、前記検出対象物をモデル化した辞書とを照合し、道路平面に対して水平方向である画像行方向についての検知回数を、画像行毎にカウントしてヒストグラムを作成するヒストグラム作成工程と、
   前記作成したヒストグラムの形状から単峰性の分布を検出して、前記検出対象物を検出する検出工程と、
   を含むことを特徴とする物体検出方法。
8. 道路前方を撮像した対象画像から検出対象物を検出するための物体検出用プログラムにおいて、
   コンピュータを、
   前記道路前方を撮像した対象画像を、探索ウィンドウで探索する探索手段と、
   前記探索ウィンドウ内の画像と、前記検出対象物をモデル化した辞書とを照合し、道路平面に対して水平方向である画像行方向についての検知回数を、画像行毎にカウントしてヒストグラムを作成するヒストグラム作成手段と、
   前記作成したヒストグラムの形状から単峰性の分布を検出して、前記検出対象物を検出する検出手段として機能させることを特徴とする物体検出用プログラム。

Images