JP5257274B2 - 移動体検出装置、移動体検出方法及びコンピュータプログラム - Google Patents

Description

本発明は、例えば道路などに設置したカメラにて道路を含む領域を撮像し、撮像により得られた撮像画像から車輌又は歩行者等の移動体を検出する移動体検出装置、移動体検出方法及びコンピュータプログラムに関する。

円滑な交通及び事故抑止等のために、道路側に設置したインフラ装置と車輌（車載装置）とが路車間通信にて情報を交換する通信システム、特に車輌の運転者からは死角となる場所に存在する他車輌又は歩行者等の情報をインフラ装置から車輌へ提供することができるシステムの検討が進められている。このシステムにおいては、道路上の車輌の通過台数及び平均速度等の情報のみでなく、個々の車輌の位置及び動き等を精度よく検出してインフラ装置から車輌へ提供することが望まれる。このため、インフラ装置には道路上の車輌又は歩行者等を検出するセンサなどの搭載が必要であり、検出範囲、製品寿命及びコスト等の性能を考慮するとカメラが撮像した撮像画像を利用して車輌又は歩行者等の検出を行う方式が有力である。

道路などにカメラを設置し、道路を含む領域を撮像して車輌又は歩行者等の検出を行う場合、検出は屋外で行われるため、昼夜及び気象等の様々な環境条件においても安定した検出精度が要求される。更には、インフラ普及のために、安価な装置を提供することも必要である。近年では、撮像画像に基づいて車輌又は歩行者等の検出を行うための種々の画像処理技術が研究開発されている。画像処理技術として、例えば、車輌が存在しない道路のみの画像を予め作成しておき、この道路のみの画像とカメラによる撮像画像との差分を算出して車輌のみの情報を抽出する方式が数多く提案されている。

また、外部の明るさの変化に影響を受けずに交通量を計測することができる交通量計測処理方法が提案されている（特許文献１参照）。この交通量計測処理方法では、まず、道路側に設置されたカメラで道路を撮影し、撮影した映像情報に基づいて複数のサンプル点の輝度を決定し、エッジを強調するために空間微分処理を行い、微分信号を所定の閾値により二値化して得られた二値化画像に対して、車幅と同程度の幅を持つマスクをかける。次いで、マスク内のエッジを構成する信号の数が基準の数よりも多い場合に、マスク内のエッジを構成する信号の分布から車頭候補点を捜し出し、これら車頭候補点の相互の位置関係から車頭の位置を決定し、先の映像情報において得られた車頭の位置と、現在の車頭の位置との変化から車輌の速度を算出する。

また、撮像画像からＨＯＧ(Histograms of Oriented Gradients）と呼ばれる特徴量を抽出して車輌の検出を行う方法が提案されている（非特許文献１参照）。この方法では、予め車輌及び路面等を撮像した数百〜数千の画像からＨＯＧ特徴量を抽出しておき、車輌が存在する場合のＨＯＧ特徴量と車輌が存在しない場合のＨＯＧ特徴量とをＳＶＭ（Support Vector Machine）などの手法により識別することによって、車輌の検出を行うことができる。ＨＯＧ特徴量は局所領域における輝度勾配をヒストグラム化した特徴量であり、照明変動及び影等の影響を受け難いため精度のよい車輌検出を行うことができる。

また、車輌又は人物等の対象物体を撮像した画像から特徴ある小領域を複数選択し、各領域から予め抽出した輝度値の和の差分などの特徴量を用いて対象物体の検出を行う方法が提案されている（非特許文献２及び非特許文献３参照）。この方法では、多数の画像から予め抽出した特徴量に基づいて決定された識別条件と、撮像画像の検出対象領域から小領域を選択して抽出した特徴量との比較を複数の小領域について行うことによって、車輌の検出を行うことができる。この方法はカメラなどにおける顔検出技術に用いられている。

特開平５−３０７６９５号公報

F.Han, Y.Shan, R.Cekander: "A Two-Stage Approach to People and Vehicle Detection with HOG-Based SVM", PerMIS, pp.133-140, 2006. B.Alefs, "Embedded Vehicle Detection by Boosting", Proc. IEEE ITSC, 2006. P.Viola and M.Jones, "Rapid object detection using a boosted cascade of simple features," Proc. Computer Vision and Pattern Recognition, 2001.

しかしながら、道路のみの画像と撮像画像との差分を算出する従来の方式による車輌及び歩行者等の検出では、日照及び天候等の外部環境変化の影響により生じる道路上の影、木葉揺れ及び路面反射等の車輌及び歩行者等ではない物体を誤検出するという問題があり、根本的な解決はなされていない。

また特許文献１に記載の交通量計測処理方法においては、撮像画像から抽出したエッジに基づいて車輌を検出するため明るさの変化に影響を受けずに車輌の検出を行うことができるが、道路上の影、木葉揺れ及び路面反射等を識別することはできないため、上記の問題を解決することはできない。

非特許文献１のＨＯＧ特徴量を用いた車輌検出では、車輌の一部分においても車両として検出する虞があり、撮像画像中における車輌の位置を正確に特定することが難しいという問題がある。また非特許文献２及び非特許文献３による小領域の特徴量を用いた検出では、検出した対象物体の位置を特定できるが、対象物体が検出対象の小領域に正確に収まっている場合にのみ検出可能であるため、検出対象の小領域を１画素ずつずらして特徴量の抽出及び識別等を行う必要があり、検出に要する演算量が膨大であるという問題がある。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、検出に要する演算量の増大を抑制しつつ、日照及び天候等の外部環境変化に対しても高精度に車輌又は歩行者等の移動体の検出を行うことができる移動体検出装置、移動体検出方法及びコンピュータプログラムを提供することにある。

本発明に係る移動体検出装置は、撮像画像から移動体を検出する移動体検出装置において、撮像画像上の部分画像を特定する部分画像特定手段と、前記部分画像の輝度勾配の分布に係る特徴量を取得する輝度勾配分布特徴量取得手段と、該輝度勾配分布特徴量取得手段が取得した輝度勾配の分布に係る特徴量を、移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別して、部分画像中に移動体が存在するか否かを判定する第１の判定手段と、前記部分画像のエッジに係る特徴量を取得するエッジ特徴量取得手段と、該エッジ特徴量取得手段が取得したエッジに係る特徴量を、移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別して、部分画像中に移動体が存在するか否かを判定する第２の判定手段と、前記部分画像からそれぞれ異なる判定用画像領域を特定し、特定した判定用画像領域を更に二分した一方の領域及び他方の領域の輝度値の差分を算出し、該差分及び閾値の比較をそれぞれ行う複数の比較手段と、該複数の比較手段による複数の比較結果に重み付けを行い、重み付けした複数の比較結果に応じて、部分画像中に移動体が存在するか否かを判定する第３の判定手段とを備え、前記第１の判定手段及び前記第２の判定手段により移動体が存在すると判定された部分画像に対して、前記第３の判定手段による判定を行うようにしてあることを特徴とする。

また、本発明に係る移動体検出装置は、前記第３の判定手段が、重み付けした複数の比較結果の加算値が閾値を超えるか否かに応じて、部分画像中に移動体が存在するか否かをそれぞれ判定する複数の判定手段を有し、該複数の判定手段のうちの一の判定手段により移動体が存在すると判定された部分画像に対して、前記複数の判定手段のうちの次の判定手段による判定を順次的に行うようにしてあり、前記複数の判定手段のうちの最後の判定手段による判定結果を、前記第３の判定手段の判定結果とするようにしてあることを特徴とする。

また、本発明に係る移動体検出装置は、前記撮像画像が、道路を含む領域を撮像して得られたものであり、前記部分画像特定手段は、前記撮像画像の道路に相当する領域から前記部分画像を特定するようにしてあることを特徴とする。

また、本発明に係る移動体検出装置は、前記部分画像特定手段が、前記撮像画像中の座標に応じて、特定する前記部分画像の大きさが異なり、特定した前記部分画像の大きさを、拡大又は縮小により統一するようにしてあることを特徴とする。

また、本発明に係る移動体検出装置は、前記第３の判定手段により移動体が存在すると判定された複数の部分画像の位置が、撮像画像中にて部分的に重複する場合に、重複する各部分画像に対して重み付けを行う手段と、重み付けされた複数の部分画像の位置に応じて、移動体の位置を特定する手段とを更に備えることを特徴とする。

また、本発明に係る移動体検出装置は、前記第１の判定手段が、予め撮像された複数のサンプル画像からそれぞれ取得した輝度勾配の分布に係る特徴量を基に、該特徴量を移動体が存在する特徴量群又は移動体が存在しない在特徴量群に識別する識別条件が予め決定してあり、前記第２の判定手段は、予め撮像された複数のサンプル画像からそれぞれ取得したエッジに係る特徴量を基に、該特徴量を移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別する識別条件が予め決定してあり、前記第３の判定手段は、前記第１の判定手段及び前記第２の判定手段により移動体が存在すると判定されるサンプル画像を基に、前記複数の比較手段がそれぞれ比較に用いる閾値が予め決定してあることを特徴とする。

また、本発明に係る移動体検出方法は、撮像画像から移動体を検出する移動体検出方法において、撮像画像上の部分画像を特定し、前記部分画像の輝度勾配の分布に係る特徴量を取得し、取得した輝度勾配の分布に係る特徴量を、移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別して、部分画像中に移動体が存在するか否かの第１の判定を行い、前記部分画像のエッジに係る特徴量を取得し、取得したエッジに係る特徴量を、移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別して、部分画像中に移動体が存在するか否かの第２の判定を行い、前記第１の判定及び前記第２の判定により移動体が存在すると判定された部分画像からそれぞれ異なる判定用画像領域を特定し、特定した各判定用画像領域を更に二分した一方の領域及び他方の領域の輝度値の差分をそれぞれ算出し、該差分及び閾値の比較をそれぞれ行い、複数の比較結果に重み付けを行い、重み付けした複数の比較結果に応じて、部分画像中に移動体が存在するか否かの第３の判定を行うことを特徴とする。

また、本発明に係るコンピュータプログラムは、コンピュータに、撮像画像から移動体を検出させるコンピュータプログラムにおいて、コンピュータに、撮像画像上の部分画像を特定させるステップと、コンピュータに、前記部分画像の輝度勾配の分布に係る特徴量を取得させるステップと、コンピュータに、取得した輝度勾配の分布に係る特徴量を、移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別して、部分画像中に移動体が存在するか否かを判定させる第１の判定ステップと、コンピュータに、前記部分画像のエッジに係る特徴量を取得させるステップと、コンピュータに、取得したエッジに係る特徴量を、移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別して、部分画像中に移動体が存在するか否かを判定させる第２の判定ステップと、コンピュータに、前記第１の判定ステップ及び前記第２の判定ステップにより移動体が存在すると判定された部分画像からそれぞれ異なる判定用画像領域を特定し、特定した各判定用画像領域を更に二分した一方の領域及び他方の領域の輝度値の差分をそれぞれ算出し、該差分及び閾値の比較をそれぞれ行わせるステップと、コンピュータに、複数の比較結果に重み付けを行い、重み付けした複数の比較結果に応じて、部分画像中に移動体が存在するか否かを判定させる第３の判定ステップとを含むことを特徴とする。

本発明においては、例えば道路上又は道路近傍等に設置されたカメラなどにて道路を含む領域を撮像することによって得られた撮像画像から所定の大きさの部分画像を特定し、この部分画像中に車輌又は歩行者等の移動体が存在するか否かを判定することにより、撮像画像からの移動体の検出を行う。部分画像としては例えば１６×１６画素の画像とすることができ、撮像画像を走査して部分画像の特定と移動体が存在するか否かの判定とを順次的に行うことによって、撮像画像全体での移動体の検出を行うことができる。
部分画像に移動体が存在するか否かの判定は、下記の三種の判定を各部分画像に対して行い、三種全ての判定にて移動体が存在すると判定された場合、当該部分画像に移動体が存在すると判定する。各部分画像に三種の判定を行う構成とすることによって、各判定方法における欠点を他の判定方法で補うことができるため、移動体の検出精度を向上することができる。また第１の判定及び第２の判定にて移動体が存在すると判定された部分画像に対して第３の判定を行うことより、第３の判定に伴う演算などの処理量を低減することができる。

第１の判定として、部分画像の輝度勾配の分布に係る特徴量、例えばＨＯＧ特徴量を用いた判定を行う。ＨＯＧ特徴量は、部分画像の輝度の勾配強度を勾配方向毎にヒストグラム化したベクトルであり、部分画像の特徴を示す情報である。部分画像から取得したＨＯＧ特徴量が、移動体が存在する画像のＨＯＧ特徴量の集合（特徴量群）と、移動体が存在しない画像のＨＯＧ特徴量の集合とのいずれに属するかを、予め決定した識別条件に基づいて識別することによって、部分画像に移動体が存在するか否かを判定する。この識別方法は、所謂ＳＶＭというパターン認識に用いられる方法で実現できる。
ＨＯＧ特徴量を用いた判定では、撮像画像中における部分画像と移動体との位置にズレが生じていても移動体の存在を判定できるため、撮像画像からの移動体の検出漏れが生じ難く、また部分画像の特定を１画素毎に行わずに移動体の検出を行うことが可能であることから演算量を低減することができるという利点がある。ただし、部分画像中に少しでも移動体が含まれている場合には移動体が存在すると判定するため、撮像画像中における移動体の正確な位置を特定することは難しい。

第２の判定として、部分画像のエッジ特徴量を用いた判定を行う。エッジ特徴量は、部分画像に存在する物体の表面形状などの特徴を示す情報であり、例えばソーベルフィルタなどを用いた行列演算により取得することができる。部分画像から取得したエッジ特徴量が、移動体が存在する画像のエッジ特徴量の集合と、移動体が存在しない画像のエッジ特徴量の集合とのいずれに属するかを、予め決定した識別条件に基づいて識別することによって、部分画像に移動体が存在するか否かを判定する。この識別方法は、第１の判定と同様に、ＳＶＭにて実現できる。
エッジ特徴量を用いた判定では、ＨＯＧ特徴量を用いた第１の判定と比較して、撮像画像中における移動体の位置をより精度よく特定することができるという利点があるが、撮像画像に含まれる道路上の影、木葉揺れ及び路面反射等と移動体との誤検出が発生しやすい。
撮像画像の部分画像に対してＨＯＧ特徴量による第１の判定及びエッジ特徴量による第２の判定を行うことによって、誤検出の発生を低減することができ、撮像画像中の移動体の位置をある程度まで絞り込むことができる。
なお、第１の判定及び第２の判定は、いずれを先に行ってもよいが、一方の判定により移動体が存在すると判定された部分画像に対してのみ、他方の判定を行うことによって、演算量を低減することができる。ただし、ＨＯＧ特徴に基づく第１の判定は、上述のように１画素毎に部分画像の特定を行う必要はないが、エッジ特徴量に基づく第２の判定は、部分画像を１画素毎に特定して車輌の検出を行う必要がある。このため、第１の判定を先に行い、この判定結果に対して第２の判定を行うことによって、演算量をより低減することが可能である。

第３の判定として、以下の処理を行う。まず、部分画像から所定サイズの判定用画像領域を特定し、特定した判定用画像領域を更に上下又は左右等に二分し、二分した各領域の輝度値（各領域に含まれる画素の輝度値の合計値又は平均値等）の差分を算出して、差分と閾値との比較を行う（以下、この処理を行うものを「弱識別器」という）。差分との比較を行う閾値は、判定用画像領域毎にそれぞれ予め決定されるものであり、判定用画像領域から差分として取得した特徴が、移動体の特徴を有しているか否かを閾値との比較により判定することができる。この判定を行う弱識別器は複数用意し、各弱識別器は、部分画像中の異なる位置又はサイズの判定用画像領域にて差分の算出をそれぞれ行い、予め定められた閾値との比較をそれぞれ行う。これにより、部分画像が移動体の特徴を有しているか否かを様々な領域にて判定することができる。
次いで、複数の弱識別器による複数の比較結果に対して重み付けを行い、重み付けされた各比較結果の投票により、部分画像に移動体が存在するか否かの判定を行う（以下、この判定を行うものを「強識別器」という）。例えば、弱識別器が比較結果を”１（移動体あり）”又は”０（移動体なし）”で出力する構成とし、強識別器が各比較結果に重みを乗じて加算することにより合計値を算出し、この値が閾値を超えるか否かに応じて移動体が存在するか否かを判定することができる。
弱識別器及び強識別器を用いた第３の判定では、撮像画像中における移動体の正確な位置を特定することができるという利点があるが、撮像画像に含まれる類似物体の誤検出が発生しやすい。そこで第３の判定は、第１の判定及び第２の判定にて移動体が存在すると判定された部分画像に対してのみ行うことによって、撮像画像中の移動体が存在する可能性の高い限定部分に対してのみ第３の判定を行うことができるため、誤検出の発生を低減でき、移動体検出の精度を高めることができる。また、第３の判定に伴う演算量を低減することができる。
以上のように撮像画像に対して三種の判定を行うことによって、第１の判定及び第２の判定の欠点を第３の判定により補い、第３の判定の欠点を第１の判定及び第２の判定により補うことができるため、第１〜第３の判定の利点を最大限に活用することができる。よって、移動体の誤検出を低減して検出精度を高めることができ、撮像画像中における移動体の正確な位置を特定することができると共に、演算量の増大を抑制することができる。

また、本発明においては、第３の判定にて強識別器を複数用い、複数の強識別器が撮像画像の部分画像に対して順に移動体が存在するか否かの判定を行う。即ち、一の強識別器にて移動体が存在すると判定された部分画像に対して次の強識別器が判定を行うという処理を繰り返し、最後の強識別器の判定結果を第３の判定の判定結果とする。これにより、演算量の増大を抑制しつつ、第３の判定による判定精度を向上することができる。

また、本発明においては、カメラなどが道路を含む領域を撮像して撮像画像を取得する場合に、撮像画像に含まれる道路に相当する領域からのみ部分画像を特定し、第１〜第３の判定を行う。これにより、移動体として道路を走行する車輌の検出を行う場合には、演算量を低減して検出に要する時間を短縮することができる。
ここで道路とは、車輌が移動する車道のみであってもよく、これに歩行者が移動する歩道を含んでもよく、又は歩道のみであってもよい。部分画像の特定を行う道路は、移動体検出装置が検出を行う移動体の種別（車輌、二輪車又は歩行者等）に応じて、検出対象の移動体が移動する可能性のある領域を適切に設定する。

また、カメラにて道路を撮像した撮像画像では、カメラから遠い物体は小さく、カメラから近い物体は大きく写される。撮像画像中に存在する移動体も、カメラから遠い移動体は小さく、カメラから近い移動体は大きい。
そこで、本発明においては、撮像画像から第１〜第３の判定を行うための部分画像を特定する際に、撮像画像中の座標に応じて部分画像の大きさを変化させる。ただし、部分画像の大きさが異なると第１〜第３の判定処理が複雑化する虞があるため、拡大又は縮小の画像処理を行って部分画像の大きさを統一した後で、第１〜第３の判定処理を行う。これにより、移動体の検出精度を向上することができる。

また、第１〜第３の判定を行った結果、移動体が存在すると判定された部分画像が複数あり、この複数の部分画像の撮像画像中における位置が部分的に重なる場合がある。そこで、本発明においては、複数の部分画像が部分的に重なる場合には、各部分画像に対して重み付けを行い、例えば重み付けした複数の部分画像の重心を算出することによって、これら複数の部分画像内に存在する移動体の位置を特定する。これにより、撮像画像中における移動体の位置を高精度に特定することができる。なお各部分画像に対して付される重みは、例えば第３の判定において強識別器が算出した比較結果の合計値を用いることができる。

また、本発明においては、予め撮像された複数のサンプル画像（移動体が存在するサンプル画像と、移動体が存在しないサンプル画像とを含む）を基に、第１の判定に用いる識別条件、第２の判定に用いる識別条件及び第３の判定に用いる閾値を予め決定する。
第１の判定に用いる識別条件は、移動体が存在するサンプル画像から取得したＨＯＧ特徴量の集合と、移動体が存在しないサンプル画像から取得したＨＯＧ特徴量の集合とを二分する境界条件を算出すればよく、例えばＳＶＭの方法により算出可能である。第２の判定に用いる識別条件も同様であり、移動体が存在するサンプル画像から取得したエッジ特徴量の集合と、移動体が存在しないサンプル画像から取得したエッジ特徴量の集合とを二分する境界条件を算出すればよい。
第３の判定にて各弱識別器が用いる閾値は、第１の判定及び第２の判定にて移動体が存在すると判定されるサンプル画像（ただし、移動体が存在すると判定されたが実際には移動体が存在しないサンプル画像を含む）に基づいて決定する。第３の判定は、第１の判定及び第２の判定による判定結果に対して行われるため、閾値の決定についても同様に第１の判定及び第２の判定による判定結果を基に行うことで、第３の判定の精度を向上することができる。
弱識別器の閾値は、複数のサンプル画像について判定用画像領域を二分した領域の輝度値の差分をそれぞれ算出し、移動体が存在するサンプル画像から算出した複数の差分と、移動体が存在しない画像から算出した複数の差分とを区別する値を算出すればよい。このとき、各サンプル画像に重み付けを行って閾値の算出を行うと共に、算出した閾値を用いてサンプル画像の判定を再度行った結果に応じて各サンプル画像の重みを更新する処理を繰り返すことによって、より精度のよい弱識別器を得ることができる。

本発明による場合は、撮像画像に対してＨＯＧ特徴量を用いた第１の判定及びエッジ特徴量を用いた第２の判定を行い、これらの判定結果に基づいて複数の弱識別器及び強識別器を用いた第３の判定を行う構成とすることにより、判定に必要な演算量の増大を抑制しつつ、高精度に移動体を検出することができ、撮像画像中における移動体の位置を特定することができる。よって、検出した移動体に係る高精度な情報を無線通信により車輌へ送信することができ、車輌の安全走行及び交通事故の防止等に寄与することができる。

本発明に係る移動体検出装置が行う処理を説明するための模式図である。 本発明に係る移動体検出装置の構成を示すブロック図である。 カメラによる撮像画像の一例を示す模式図である。 車輌検出装置が行う車輌検出処理の手順を示すフローチャートである。 撮像画像における部分画像の特定を説明するための模式図である。 部分画像からのＨＯＧ特徴量の抽出方法を説明するための模式図である。 部分画像からのＨＯＧ特徴量の抽出方法を説明するための模式図である。 部分画像からのＨＯＧ特徴量の抽出方法を説明するための模式図である。 部分画像からのＨＯＧ特徴量の抽出方法を説明するための模式図である。 ＳＶＭによる識別器の構成を説明するための模式図である。 矩形特徴量に基づく判定方法を説明するための模式図である。 矩形特徴量に基づく判定方法を説明するための模式図である。 第３判定の弱識別器及び強識別器の作成手順を示すフローチャートである。 車輌検出装置による車輌検出の一例を示す模式図である。 車輌検出装置による車輌検出の一例を示す模式図である。 第１判定〜第３判定の特徴をまとめた図表である。 車輌位置の特定方法を説明するための模式図である。

以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本発明に係る移動体検出装置が行う処理を説明するための模式図である。また、図２は、本発明に係る移動体検出装置の構成を示すブロック図である。図において１は、本発明に係る移動体検出装置である車輌検出装置であり、カメラ３が撮像した画像（撮像画像）に基づいて道路上の車輌（移動体）を検出する処理を行う。

カメラ３は、道路を含む所定の領域（図１において一点鎖線で示す撮像領域）を撮像すべく、所定の高さ、俯角及び回転角等の撮像条件が設定された状態で道路付近の所要の地点に設置される。カメラ３の撮像により得られた撮像画像は車輌検出装置１へ与えられ、車輌検出装置１は撮像画像から車輌を検出し、他の車輌へ無線通信により検出車輌に係る情報提供を行う。例えば図１においては、２つの道路の交差点にて、一方の道路を撮像すべくカメラ３が設置されており、車輌検出装置１は、カメラ３の撮像領域内に存在する車輌Ｃ１を検出する。また車輌検出装置１は、一方の道路に車輌Ｃ１が存在する旨を、無線通信により他方の道路に存在する車輌Ｃ２、Ｃ３へ通知する。これにより、見通しの悪い交差点などにおいて、車輌Ｃ２、Ｃ３の運転者は、交差する道路に他の車輌Ｃ１が存在することを認識でき、徐行又は一時停止等の安全運転を行うことができる。

車輌検出装置１は、制御部１１、画像入力部１２、Ａ／Ｄ変換部１３、画像メモリ１４、通信部１５、記憶部１６及びＲＯＭ（Read Only Memory）１７等を備えて構成されている。車輌検出装置１は、カメラ３と共に道路付近に設置され、映像信号の入出力を行うためのケーブルを介してカメラ３に接続されている。なお図２においては、車輌検出装置１とカメラ３とを別個の装置としてあるが、これに限るものではなく、両者が一体をなす構成であってもよい。

カメラ３は、動画像の撮像を行う所謂ビデオカメラであり、例えば１フレームあたり２４０×３２０画素の画像を１秒間に３０フレーム撮像することによって動画像の撮像を行い、撮像画像を１フレーム毎に車輌検出装置１へ出力する。なおカメラ３は、撮像して得られた撮像画像をアナログの映像信号として車輌検出装置１の画像入力部１２へ出力する（ただし、カメラ３がデジタルの映像信号を出力する構成であってもよい）。

車輌検出装置１の画像入力部１２は、映像信号入出力用のケーブルを接続する接続端子などを有しており、カメラ３から入力される映像信号（撮像画像）を取得してＡ／Ｄ変換部１３へ出力する。Ａ／Ｄ変換部１３は、画像入力部１２から入力されたアナログの映像信号をデジタル信号に変換し、変換したデジタル信号を画像データとして画像メモリ１４へ記憶する。画像入力部１２を介してカメラ３から入力された撮像画像は、カメラ３のフレームレート（撮像を行う間隔）に同期して１フレーム単位の画像データとして画像メモリ１４に記憶される。

図３は、カメラ３による撮像画像の一例を示す模式図であり、（ａ）には道路上に車輌が存在しない場合の撮像画像を示し、（ｂ）には道路上に２台の車輌が存在する場合の撮像画像を示してある。カメラ３を所定の条件で道路付近に設置することによって、図３に示すようにカメラ３は道路及びその周辺の撮像を行うことができ、道路を走行する車輌を撮像することができる。なお本実施の形態においては、撮像画像のサイズを２４０×３２０画素とするが、これに限定されるものではない。

通信部１５は、狭域通信機能、ＵＨＦ（Ultra High Frequency）帯又はＶＨＦ（Very High Frequency）帯等の無線ＬＡＮ（Local Area Network）などの中域通信機能、及び携帯電話、ＰＨＳ（Personal Handyphone System）、多重ＦＭ（Frequency Modulation）放送又はインターネット通信等の広域通信機能を備える。通信部１５は、カメラ３の撮像領域内及びその付近に存在する車輌から所定の車輌情報（例えば、車輌の位置情報、車速情報、車種情報、ワイパーの動作状況及びヘッドライトなどの車灯の動作状況を示す情報等）を受信する。また通信部１５は、カメラ３の撮像画像から検出された車輌に係る情報を提供すべく、付近に存在する車輌へ情報送信を行う。更に通信部１５は、交通管制センターなどに設置されたサーバ装置、及び他の車輌検出装置との間で所定の情報の送受信を行うことができる。

記憶部１６は、ＳＲＡＭ（Static Random Access Memory）若しくはＤＲＡＭ（Dynamic Random Access Memory）等のメモリ素子、又はハードディスクなどの磁気記憶装置にて構成され、通信部１５にて受信されたデータ及び後述の車輌検出処理を制御部１１が行う演算過程で発生した種々のデータ等を記憶する。

ＲＯＭ１７は、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）又はフラッシュメモリ等の不揮発性のメモリ素子で構成され、車輌検出プログラム４０を含む車輌検出装置１の動作に必要な種々のコンピュータプログラムが予め記憶されている。車輌検出プログラム４０には、部分画像特定手段４１、ＨＯＧ特徴量取得手段４２、ＨＯＧ特徴量判定手段４３、エッジ特徴量取得手段４４、エッジ特徴量判定手段４５及び矩形特徴量判定手段４６等が含まれている。

制御部１１は、具体的にはＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等の演算処理装置にて構成されるものであり、ＲＯＭ１７に記憶されたコンピュータプログラムを読み出して実行することによって、車輌検出装置１の各部の動作を制御し、種々の処理を行うことができる。特に本実施の形態においては、制御部１１がＲＯＭ１７から車輌検出プログラム４０を読み出して実行することにより、カメラ３の撮像画像から車輌を検出する処理を行うことができる。

図４は、車輌検出装置１が行う車輌検出処理の手順を示すフローチャートであり、ＲＯＭ１７に記憶された車輌検出プログラム４０を実行することにより制御部１１が行う処理である。車輌検出装置１の制御部１１は、まず、カメラ３により撮像された撮像画像を画像メモリ１４から取得する（ステップＳ１、図３参照）。次いで制御部１１は、取得した撮像画像から、車輌が存在するか否かの検出を行う範囲である部分画像の特定を行う（ステップＳ２、部分画像特定手段４１）。

図５は、撮像画像における部分画像の特定を説明するための模式図である。カメラ３の撮像画像において車輌検出装置１が検出を行う範囲は予め定められており、例えば図５にハッチングを付して示した検出対象外については以降の検出処理は行わないため、部分画像の特定についても検出対象外の領域については行わない。ここで、図５に示した撮像画像の検出対象外の領域は、図３に示した撮像画像における道路以外の領域に相当し、カメラ３の設置条件などに応じて一意的に定まるものである。

このように、車輌検出装置１は、撮像画像における道路に相当する領域のみを車輌検出の対象とすることで、演算量の低減を図っている。なお説明及び図示の簡略化のために、図３においては道路として車輌が走行する車道のみを図示し、図５においてはこの車道以外を検出対象外としたが、これに限るものではない。例えば車道の両側に歩道（歩行者が移動する道路）が存在する場合には、車道のみでなく歩道を含む領域を車輌の検出範囲（道路）としてもよい。撮像画像における移動体の検出範囲、即ち撮像画像から部分画像の特定を行う範囲については、検出対象の移動体の種別に応じて、この移動体が移動する可能性がある領域を適切に設定すればよい。

車輌検出装置１は、カメラ３の撮像画像から所定サイズの部分画像（図５においては矩形枠で示す）を特定して、部分画像毎に車輌が存在するか否かを判定する。このとき、撮像画像にはカメラ３から遠い物体が小さく写され、近い物体が大きく写されているため、まず車輌検出装置１は、撮像画像の垂直方向の座標（ｙ座標）に応じて、撮像画像の上側では小さな部分画像を特定し、下側では大きな部分画像を特定する。車輌検出装置１は、大きさの異なる部分画像を、例えば１６×１６画素の画像となるように拡大又は縮小してサイズを統一し、同じ大きさの部分画像に対して後段の検出処理を行う。また車輌検出装置１は、撮像画像における部分画像の特定位置を水平方向及び垂直方向へ所定量（例えば４画素分又は８画素分等）移動させながら、順次的に複数の部分画像を特定し、各部分画像に対する車輌の検出処理を行う。

ステップＳ２にて部分画像を特定した後、車輌検出装置１の制御部１１は、特定した部分画像に対して第１判定（ステップＳ３）、第２判定（ステップＳ５）及び第３判定（ステップＳ７）を順に行い、第１判定〜第３判定の全てにて車輌が存在すると判定した場合に（Ｓ４：ＹＥＳ且つＳ６：ＹＥＳ且つＳ８：ＹＥＳ）、判定を行った部分画像の位置を車輌の位置として記憶部１５に記憶し（ステップＳ９）、ステップＳ１０へ処理を進める。第１判定〜第３判定のいずれかにて車輌が存在しないと判定した場合（Ｓ４：ＮＯ、Ｓ６：ＮＯ又はＳ８：ＮＯ）、制御部１１は車輌が存在しないと判定した段階でステップＳ１０へ処理を進める（即ち、制御部１１は車輌が存在しないと判定した時点で、後段の判定処理を行わずに処理を次へ進める）。

制御部１１は、ステップＳ１にて取得した撮像画像の全てについて部分画像の特定及び車輌が存在するか否かの判定を終了したか否かを判定し（ステップＳ１０）、撮像画像の全てについて処理が終了していない場合には（Ｓ１０：ＮＯ）、ステップＳ２へ処理を戻し、部分画像の特定及び車輌が存在するか否かの判定を繰り返し行う。撮像画像の全てについて処理が終了した場合（Ｓ１０：ＹＥＳ）、制御部１１は、この撮像画像に対する車輌の検出処理を終了する。なお、カメラ３は１秒間に３０回の頻度で撮像を行って車輌検出装置１へ撮像画像を出力しており、車輌検出装置１は図４に示したフローチャートの処理を１秒間に３０回の頻度で繰り返し行っている。

次に、車輌検出装置１が行う判定処理の詳細について説明する。車輌検出装置１が撮像画像から特定した各部分画像に対して行う判定処理は下記の三種である。
（１）第１判定：ＨＯＧ特徴量に基づく判定
（２）第２判定：エッジ特徴量に基づく判定
（３）第３判定：矩形特徴量に基づく判定

（１）第１判定：ＨＯＧ特徴量に基づく判定
車輌検出装置１が第１判定に用いるＨＯＧ特徴量は、撮像画像から検出範囲として特定した部分画像の輝度の勾配強度を勾配方向毎にヒストグラム化した特徴ベクトルである。図６〜図９は、部分画像からのＨＯＧ特徴量の抽出方法を説明するための模式図であり、車輌検出装置１のＨＯＧ特徴量取得手段４２により行われる処理である（即ち、車輌検出装置１の制御部１１が車輌検出プログラム４０のＨＯＧ特徴量取得手段４２を実行することによって行う処理である）。

車輌検出装置１は、撮像画像から特定した１６×１６画素の部分画像から更に複数の局所領域（セル）を抽出する（図６参照）。複数のセルは、その一部が重複するように１６×１６画素の部分画像から抽出される。例えば、セルが８×８画素の大きさを有し、部分画像の水平方向及び垂直方向に連続するセルが４画素分重複する場合、車輌検出装置１は１６×１６画素の部分画像から９つのセルを抽出することができる。

車輌検出装置１は、セル毎にＨＯＧ特徴量の抽出を行う。ここで、セル内の各画素の位置を（ｘ、ｙ）で表し、画素（ｘ、ｙ）における輝度の勾配強度をｍ（ｘ、ｙ）とし、勾配方向をθ（ｘ、ｙ）とすると（図７参照）、勾配強度ｍ（ｘ、ｙ）及び勾配方向θ（ｘ、ｙ）は下記の（式１）〜（式３）にて求めることができる。なお、ｆｘ（ｘ、ｙ）は水平方向（横方向又はｘ方向）の輝度勾配であり、ｆｙ（ｘ、ｙ）は垂直方向（縦方向又はｙ方向）の輝度勾配である。またＬ（ｘ、ｙ）は、画素（ｘ、ｙ）の輝度である。

車輌検出装置１は、セルの各画素について上記の（式１）〜（式３）の演算を行って輝度の勾配強度及び勾配方向を算出し、セル毎に８方向のヒストグラムを作成する。即ち、車輌検出装置１は、勾配方向を４５°毎に分割して８方向の勾配方向を設定し（図８参照）、算出した各画素の輝度の勾配強度を勾配方向毎に振り分けてヒストグラムを作成する（図９参照）。勾配強度を算出する場合に、ブロックの中心からの距離に反比例したσ＝１．６のガウシアンフィルタをブロックに対して施して平滑化することもできる。

車輌検出装置１は、セル毎に算出したヒストグラムを部分画像でまとめて７２次元（８方向×９セル）のベクトルとすると共に、部分画像毎のヒストグラムの最大要素（勾配強度の最大値）で各ヒストグラムの要素（勾配強度）を除算することにより正規化を行う。これにより、１つの部分画像で抽出された７２次元の特徴ベクトルの最大成分は”１．０”となる。これにより、下記の（式４）に示すように、１つの部分画像について７２次元の特徴ベクトルＶを算出することできる。この特徴ベクトルＶが、ＨＯＧ特徴量である。

この方法により部分画像から取得したＨＯＧ特徴量は、隣接画素の勾配を検出範囲である部分画像毎にヒストグラム化して正規化したものであるため、道路を撮像して得られる撮像画像に対するノイズ、明るさの変化及び影の有無などの影響を受け難く、局所的な幾何学変化（平行移動及び回転等）に対して頑健である。

ＨＯＧ特徴量として部分画像から特徴ベクトルＶを取得した車輌検出装置１は、ＳＶＭの手法による識別器を用いて、取得した特徴ベクトルＶは車輌が存在するベクトルの集合に含まれるか又は車輌が存在しないベクトルの集合に含まれるかを識別する。即ち車輌検出装置１は、取得したＨＯＧ特徴に基づいて部分画像に車輌が存在するか否かをＨＯＧ特徴判定手段４３にて判定する。ＳＶＭは、ニューロンのモデルとして最も単純な線形しきい素子を用いて、２つのクラスを識別する識別器を構成するための手法であり、予め取得した訓練サンプルの集合からマージン最大化という基準で線形しきい素子のパラメータを訓練する。

図１０は、ＳＶＭによる識別器の構成を説明するための模式図である。なお簡略化のため、図１０においては、ＨＯＧ特徴量である特徴ベクトルはＶ＝（ｖ₁ 、ｖ₂ ）で表される２次元のベクトルとする。また、図１０においては、訓練サンプルから取得したＨＯＧ特徴量のうち、車輌が存在する場合の特徴ベクトルを○（白抜きの丸印）で示し、車輌が存在しない場合の特徴ベクトルを□（白抜きの四角形）で示してある。

訓練サンプルから取得した特徴ベクトルを二種類に識別する場合、識別条件として図１０（ａ）に示すように○の訓練サンプル集合と□の訓練サンプル集合との間に無数の識別超平面（２次元では直線）を設けることができる。ＳＶＭでは、これらの識別超平面のうち、二種類の訓練サンプル集合との距離（マージン）が最大である識別超平面（図１０（ｂ）参照）を、特徴ベクトルを識別するための識別条件として算出することができる。車輌検出装置１は、ＳＶＭの方法にて予め算出された識別条件による識別器を用いて、部分画像から取得したＨＯＧ特徴量の識別を行うことにより、部分画像中の車輌の有無を判定する。

ＳＶＭについて詳しく説明すると以下の通りである。識別器に入力される特徴ベクトルをｘ^T ＝（ｘ₁ 、…、ｘ_M ）とすると、識別器の識別条件は下記の（式５）の識別関数で表される。なお（式５）において、ｗはシナプス荷重に対応するパラメータ（ベクトル）であり、ｈは閾値である。

この識別関数は、入力の特徴ベクトルｘとシナプス荷重ｗとの内積が閾値を超えれば１を出力し、内積が閾値を超えなければ−１を出力する関数であり、幾何学的には識別超平面により特徴ベクトルの空間を２つに分けることに相当する。例えば、車輌が存在する場合の特徴ベクトルの集合Ｃ₁ に対してラベル１を付し、車輌が存在しない場合の特徴ベクトルの集合Ｃ₂ に対してラベル−１を付しておき、入力された特徴ベクトルに対して適切なラベルを出力するように、識別関数のシナプス荷重ｗ及び閾値ｈを決定する。

シナプス荷重ｗ及び閾値ｈは、予め撮像された車輌及び道路等の画像から取得した特徴ベクトル（訓練サンプル）を基に算出される。ここで、訓練サンプルとしてＮ個の特徴ベクトルｘ₁ 、ｘ₂ 、…、ｘ_N と、各訓練サンプルの特徴ベクトルに対する正解ラベルｔ₁ 、ｔ₂ 、…、ｔ_N が与えられているとする（式６）。与えられた訓練サンプルが線形分離可能であると仮定すると、下記の（式７）が成立する。これは、下記の（式８）で表される２つの超平面Ｈ₁ 及びＨ₂ にて訓練サンプルが分離されており、２つの超平面の間には訓練サンプルが存在しないことを示している（図１０（ｂ）参照）。

このとき、識別器の識別条件をなす識別平面と２つの超平面Ｈ₁ 、Ｈ₂ との間の距離、即ちマージンは下記の（式９）となる。よって、このマージンを最大とするパラメータｗ及びｈを求める問題は、（式７）を制約条件とする下記（式１０）の目的関数Ｌ（ｗ）の最小化パラメータを探索する最適化問題となる。

この最適化問題を双対問題に帰着して解くためにラグランジュ乗数α_i （≧０）、ｉ＝１、…、Ｎを導入して（式１０）の目的関数Ｌ（ｗ)を書き換えると、下記の（式１１）となる。パラメータｗ及びｈに関する偏微分から留意点では下記の（式１２）及び（式１３）が成立する。

上記の（式１２）及び（式１３）を（式１１）の目的関数に代入すると、下記の（式１４）及び（式１５）に示す制約条件の下で、（式１６）に示す目的関数を最大とする双対問題が得られ、これはラグランジュ乗数α_i に関する最適化問題となる。

双対問題の解でα_i ^*が０でない、即ちα_i ^*＞０となる訓練サンプルｘ_i は、（式８）に示した超平面Ｈ₁ 又はＨ₂ のいずれかにのっている。このα_i ^*が０でない訓練サンプルｘ_i は、サポートベクターと呼ばれる。ここで、サポートベクターに対応する添え字の集合をＳとすると、双対問題の最適解α_i ^*（ｉ≧０）及び留意点での条件式から、最適なパラメータｗ^* は下記の（式１７）となる。また最適な閾値ｈ^* は、２つの超平面Ｈ₁ 又はＨ₂ にのっているという関係を利用して求めることができ、任意のサポートベクターｘ_s 、ｓ∈Ｓから下記の（式１８）となる。

また、最適な識別関数を双対問題の最適解α_i ^*（ｉ≧０）を用いて表現すると、下記の（式１９）となる。

よって、ＳＶＭによる識別器は、マージン最大化という基準から自動的に識別平面付近の少数の訓練サンプルのみが選択されて構成され、未訓練データに対してもある程度よい識別性能が維持できる。

なお上述のＳＶＭの識別器においては、訓練サンプルが線形分離可能であるものとしたが、訓練サンプルが線形分離不可能な場合もある。このような場合には、識別器による多少の識別誤りを許容するように制約を緩和することで、訓練サンプルから識別器を構成する。この方法はソフトマージン法と呼ばれており、マージン（式９）を最大としながら、いくつかの訓練サンプルが超平面Ｈ₁ 又はＨ₂ を超えて反対側に入ることを許容する。反対側にどれくらい入り込んだかの距離をパラメータξ_i （≧０）を用いて表すと、その和は以下の（式２０）となる。

（式２０）の和はなるべく小さいことが望ましく、これらの条件から最適な識別平面を求める問題は、下記の（式２１）に示す制約条件の下で、（式２２）の目的関数の最小化パラメータを探索する最適化問題に帰着する。ここで、新たに導入したパラメータγは、（式２２）の第１項のマージンの大きさと第２項のはみ出しの程度とのバランスを決める定数である。

この最適化問題は、基本的には線形分離可能な場合と同様であり、ラグランジュ乗数を導入して解くと、下記の（式２３）に示す制約条件の下で、（式２４）の目的関数を最大化する双対問題が得られる。

（２）第２判定：エッジ特徴量に基づく判定
車輌検出装置１が第２判定に用いるエッジ特徴量は、検出範囲として特定した部分画像（更に、第１判定にて車輌が存在すると判定された部分画像）について算出が行われる。車輌検出装置１は、例えばソーベルフィルタ（下記の（式２５）及び（式２６）を参照）などを用いたフィルタ演算を行うことによって、部分画像からエッジ特徴量を取得する（エッジ特徴量取得手段４４）。部分画像が１６×１６画素の場合、部分画像の外周を除く１４×１４の位置に対して、水平方向フィルタ及び垂直方向フィルタによるフィルタ演算を行うことができ、これにより車輌検出装置１は１つの部分画像から３９２次元（１４×１４×２方向）の特徴ベクトルをエッジ特徴量として取得する。

エッジ特徴量として部分画像から３９２次元の特徴ベクトルを取得した車輌検出装置１は、ＳＶＭの手法による識別器を用いて、取得した特徴ベクトルは車輌が存在するベクトルの集合に含まれるか又は車輌が存在しないベクトルの集合に含まれるかを識別する。即ち車輌検出装置１は、取得したエッジ特徴に基づいて部分画像に車輌が存在するか否かをエッジ特徴判定手段４５にて判定する。なお、ＳＶＭによる識別器の構成方法及び識別器による識別方法等は、ＨＯＧ特徴量にて説明した方法と同じであるため、説明は省略する。

ＨＯＧ特徴量又はエッジ特徴量を識別するＳＶＭの識別器は、予め用意した複数の訓練サンプルに基づいて訓練されて構成される（即ち、識別器の識別条件が算出される）。訓練サンプルの数が例えば１万を超えるようなＳＶＭの訓練は、演算量が膨大となる虞がある。そこで、下記のａ）〜ｃ）に示す方法を用いて識別器を作成することにより、演算量の減少を図ることができる。

ａ）用意した全訓練サンプルからランダムにいくつかの訓練サンプルを抽出し、抽出した訓練サンプルのみに基づいてＳＶＭによる識別器を作成し、作成した識別器を用いて全訓練サンプルの識別を行って、識別結果の正解数を算出する。更に、訓練サンプルの抽出から正解数の算出までを繰り返し複数回行って、作成した複数の識別器のうちの正解数が最大のものを採用する。
ｂ）訓練サンプルの抽出を繰り返し行うときに、その時点で正解数が最大の識別器が作成された際のサポートベクターを残し、このサポートベクターとランダムに抽出した訓練サンプルとを用いて新たな識別器を作成する。
ｃ）識別器の作成を繰り返し所定回数（例えば１００回）行っても、識別器による最大正解数が更新されないときには、サポートベクターとして保持していた訓練サンプルの１つを破棄して、新たな訓練サンプルの抽出を行う（局所最適解から抜け出しやすくする）。

このように、識別器を作成するための訓練サンプルの抽出方法を工夫し、識別器を繰り返し作成することによって、ＳＶＭによる識別器の作成に伴う演算量の増大を抑制することができ、且つ、識別精度の高い識別器を作成することができる。

（３）第３判定：矩形特徴量に基づく判定
車輌検出装置１が第３判定に用いる矩形特徴量は、撮像画像から特定した部分画像（第２判定において車輌が存在すると判定された部分画像）において、予め定められた位置及び大きさの矩形領域（判定用画像領域）を特定し、特定した矩形領域を更に上下又は左右等に二分した各領域の輝度値和の差分を算出したものである。図１１及び図１２は、矩形特徴量に基づく判定方法を説明するための模式図である。

第３判定は、複数の弱識別器４８をそれぞれ有する複数の強識別器４７を用いて行われる（図１１参照）。詳しくは、撮像画像から特定された一の部分画像はまず第１の強識別器４７にて車輌が存在するか否かの判定がなされ、車輌が存在すると判定された部分画像のみ第２の強識別器４７による判定がなされる。部分画像に対して複数の強識別器４７による判定を順に行い、全ての強識別器４７により車輌が存在すると判定された場合には、この部分画像に車輌が存在するとの判定結果が第３判定の判定結果として出力される。いずれか一つの強識別器４７により車輌が存在しないと判定された場合には、この部分画像に車輌が存在しないとの判定結果が第３判定の判定結果として出力される。

各強識別器４７は、複数の弱識別器４８を有しており、複数の弱識別器４８の判定結果による重み付きの多数決によって部分画像に車輌が存在するか否かを判定する。各弱識別器４８は、部分画像から矩形特徴量をそれぞれ算出し、算出した矩形特徴量と閾値との比較を行うことによって（比較手段）、部分画像に車輌が存在するか否かをそれぞれ判定する。例えば図１２（ａ）に示すように、第１の弱識別器４８には、矩形特徴量の算出を行う領域として、部分画像に対して所定位置及び所定サイズの矩形領域１が予め定められており、矩形領域１の上半分の領域（ハッチングを付した領域）と下半分の領域（ハッチングを付していない領域）とのそれぞれについて輝度値の和を算出し、更に上半分の輝度値和と下半分の輝度値和との差分（矩形特徴量）を算出して、この矩形特徴量が閾値を超えるか否かに応じて値１（車輌が存在する）又は値０（車輌が存在しない）を出力する。同様に例えば図１２（ｂ）に示すように、第２の弱識別器４８には、第１の弱識別器とは異なる所定位置及び所定サイズの矩形領域２が予め定められており、この矩形領域２により算出した矩形特徴量に応じて部分画像に車輌が存在するか否かの判定を行う。

強識別器４７が有する複数の弱識別器４８は、それぞれ異なる所定位置及び所定サイズの矩形領域について矩形特徴量を算出し、算出した矩形特徴量に応じて判定した車輌が存在するか否かの判定結果を値１又は値０として出力する。強識別器４７は、各弱識別器４８に対して予め定められた重みを出力値に対して乗じ、重みを付した出力値の和が閾値を超えるか否かに応じて部分画像に車輌が存在するか否かを判定する（矩形特徴判定手段４６）。

即ち、強識別器４７及び弱識別器４８を数式で表現すると下記の（式２７）及び（式２８）となる。ただし、Ｈ（ｘ）は強識別器４７であり、部分画像に車輌が存在すると判定した場合に１を出力し、車輌が存在しないと判定した場合に０を出力する。また、ｈ_t （ｘ）又はｈ_j （ｘ）はｔ番目又はｊ番目の弱識別器４８であり、ｘは部分画像であり、Ｔは強識別器４７に含まれる弱識別器４８の個数であり、α_t はｔ番目の弱識別器４８の投票重みである。ｆ_j はｊ番目の弱識別器４８の矩形特徴量であり、θ_j はｊ番目の弱識別器４８の閾値であり、ｐ_j はｊ番目の弱識別器４８のパリティ（１又は−１）である。

各弱識別器４８が用いる矩形領域及び閾値等と、強識別器４７が用いる重みなどは、多数の訓練サンプルを基にブースティングと呼ばれる手法により訓練されて予め決定される。車輌検出装置１は予め訓練された弱識別器４８及び強識別器４７を用いて第３判定を行い、部分画像中の車輌の有無を判定する。ブースティングによる弱識別器４８及び強識別器４７の作成方法（訓練方法）を説明すると以下のとおりである。訓練サンプルとしてｎ枚の画像ｘ_n と、各画像に対する判定の正解値ｙ_n （車輌が存在する場合は１、車輌が存在しない場合は０）とが与えられ、訓練サンプル中には車輌が存在する画像がｍ枚含まれ、車輌が存在しない画像がｌ枚含まれているものとする（ｎ＝ｍ＋ｌ）。

図１３は、第３判定の弱識別器４８及び強識別器４７の作成手順を示すフローチャートであり、汎用のコンピュータなどにて実行されるコンピュータプログラムにて行われる処理である。弱識別器４８及び強識別器４７の作成は、まず訓練サンプル（ｘ_i 、ｙ_i ）を取得し（ステップＳ３１）、各訓練サンプル（ｘ_i 、ｙ_i ）に対して重みｗ_i を付す（ステップＳ３２）。なお、重みｗ_i の初期値は、車輌が存在する訓練サンプルに対してはｗ_i ＝１／２ｍであり、車輌が存在しない訓練サンプルに対してはｗ_i ＝１／２ｌである。また変数ｔの値を１に初期化する（ステップＳ３３）。

次いで、訓練サンプルに付した重みｗ_i を下記の（式２９）により正規化する（ステップＳ３４）。

次いで、全ての矩形特徴量（即ち全ての弱識別器ｈ_j 、ｊ＝１…Ｔ）について、下記の（式３０）による評価値ε_j を最小化するθ_j 及びｐ_j をそれぞれ求める（ステップＳ３５）。評価値ε_j は、訓練サンプルから取得した矩形特徴量を用いて判定を行った判定結果と訓練サンプルに対する正解との差に重みを付して和を算出したものであり、判定結果の誤りの大きさを表している。求めたθ_j 及びｐ_j から得られる弱識別器ｈ_j の評価値ε_j から最小のものを選択して、最小の評価値ε_j に対応する弱識別器ｈ_j を、ｔ番目の弱識別器ｈ_t に決定する（ステップＳ３６）。

次いで、下記の（式３１）に基づいて訓練サンプルの重みｗ_i を更新し（ステップＳ３７）、変数ｔの値に１を加算して（ステップＳ３８）、変数ｔの値が全弱識別器４８の数Ｔを超えたか否かを判定する（ステップＳ３９）。変数ｔの値が全弱識別器４８の数Ｔを超えていない場合には（Ｓ３９：ＮＯ）、ステップＳ３４へ戻って、弱識別器４８の作成を繰り返し行う。変数ｔの値が全弱識別器４８の数Ｔを超えた場合には（Ｓ３９：ＹＥＳ）、作成したＴ個の弱識別器ｈt とステップＳ３７にて算出したβ_t とを用いて、下記の（式３２）にて強識別器Ｈを作成し（ステップＳ４０）、処理を終了する。なお、第３判定には複数の強識別器４７が用いられるが、各強識別器４７の作成方法は同じである。

また、矩形特徴による第３判定は、第１判定及び第２判定と比較して、類似物体の誤検出が起こりやすい。このため、誤検出の発生を低減するためには、第３判定に用いる強識別器４７及び弱識別器４８を作成する際の訓練サンプルの選別が重要である。そこで、本実施の形態に係る車輌検出装置１においては、予め用意した複数の訓練サンプルの全てについてＨＯＧ特徴量による第１判定及びエッジ特徴量による第２判定を行い、両判定にて車輌が存在すると判定された訓練サンプルを用いて、第３判定に用いる強識別器４７及び弱識別器４８を作成する。

即ち、第１判定及び第２判定にて車輌が存在すると判定された訓練サンプルには、実際に車輌が存在する正解の訓練サンプル（正例サンプル）と、車輌が存在しない（又は車輌の位置に対して所定以上の誤差が含まれる）誤った訓練サンプル（負例サンプル）とが含まれており、ｍ個の正例サンプル及びｌ個の負例サンプル（ｍ＋ｌ＝ｎ）を用いて図１３のフローチャート及び（式２９）〜（式３２）に示した処理を行うことで、第３判定に用いる強識別器４７及び弱識別器４８を作成する。車輌検出装置１は、車輌検出を行う際に、第１判定及び第２判定にて車輌が存在すると判定された部分画像に対してのみ第３判定を行う構成であるため、強識別器４７及び弱識別器４８の作成を第１判定及び第２判定にて車輌が存在すると判定された部分画像を基に行うことで、車輌の検出精度をより向上することができる。

以上のように、車輌検出装置１は、カメラ３が撮像した撮像画像から部分画像を特定し、各部分画像に対して第１判定〜第３判定を順に行い、第１判定〜第３判定にて車輌が存在すると判定された部分画像の位置を、撮像画像における車輌の位置として検出することができる。図１４及び図１５は、車輌検出装置１による車輌検出の一例を示す模式図であり、（ａ）にカメラ３が撮像した撮像画像を示し、（ｂ）に第１判定の結果を撮像画像に重ねたものを示し、（ｃ）に第２判定の結果を撮像画像に重ねたものを示し、（ｄ）に第３判定の結果を撮像画像に重ねたものを示す。また、図１６は、第１判定〜第３判定の特徴をまとめた図表である。

ＨＯＧ特徴量を用いる第１判定は、ＳＶＭの手法により訓練された識別器を用いてＨＯＧ特徴を識別することにより、撮像画像中の車輌の存在検出（車輌が存在するか否か）を主として行うものである。このため、撮像画像から特定した部分画像と撮像画像中の車輌との位置にズレが生じていても検出を行うことができ、撮像画像中に存在する車輌の検出漏れが発生し難いという利点があるが、部分画像内に少しでも車輌が含まれていれば車輌が存在すると判定するため撮像画像中の車輌の正確な位置を特定できないという欠点がある。例えば図１４（ｂ）に示すように、第１判定の判定結果では、撮像画像中の１つ車輌に対して、多数の部分画像にて車輌が存在すると判定されるため、判定結果から車輌の位置を特定することは難しい。

エッジ特徴量を用いる第２判定は、第１判定と類似の特徴を有しているが、第１判定と比較して、誤検出の発生は多いが、より正しい車輌位置を特定することができるという利点がある。よって、第１判定にて車輌が存在すると判定された部分画像に対して第２判定を行うことにより、誤検出の発生を防止し、より正確な車輌位置の特定を実現することができる。例えば図１５（ｃ）に示すように、第１判定の判定結果に対して第２判定を行うことにより、第１判定にて車輌が存在すると判定された多数の部分画像から、車輌の位置をより正確に特定できる少数の部分画像を選び出すことができる。

また、ＨＯＧ特徴量はヒストグラムにて車輌の特徴を表すものであるため、上述のように第１判定では部分画像と車輌との位置にズレが生じていても車輌を検出することができるため、撮像画像からの部分画像の特定を水平方向及び垂直方向へ所定量ずつ移動させながら行う場合に、移動量を４画素分又は８画素分等のように比較的大きくすることが可能である。これに対してエッジ特徴量を用いる第２判定では、部分画像の特定を１画素分又は２画素分等の少量ずつ行う必要がある。このため、ＨＯＧ特徴量に基づく第１判定を先に行って、その結果に対してエッジ特徴量に基づく第２判定を行うことにより、判定順序を逆にした場合と比較して、演算量を大幅に削減することができ、車輌検出装置１のコスト削減に寄与することができる。

矩形特徴量を用いる第３判定は、ブースティングの手法により訓練された弱識別器４８及び強識別器４７を用いて矩形特徴量を識別することにより、撮像画像中の車輌の位置検出を主として行うものである。このため、撮像画像中の車輌の位置を正確に特定することができるという利点があるが、撮像画像に含まれる車輌に類似した物体の誤検出が多いという欠点がある。そこで、第１判定及び第２判定により車輌が存在すると判定された部分画像に対してのみ第３判定を行うことによって、類似物体の誤検出の発生を防止することができ、且つ、撮像画像における車輌の位置を正確に特定することができる。例えば図１５（ｄ）に示すように、第２判定の判定結果に対して第３判定を行うことによって、撮像画像中に存在する一の車輌に対して一の（又は少数の）部分画像が判定結果として得られ、この部分画像の位置を車輌位置として特定することができる。

ただし、撮像画像に対して第１判定〜第３判定を行った場合であっても、完全に車輌の位置を特定できない場合がある。このような場合の車輌位置の特定方法について説明する。図１７は、車輌位置の特定方法を説明するための模式図であり、（ａ）に撮像画像中に存在する一の車輌と、第１判定〜第３判定により車輌が存在すると判定された部分画像（図中の矩形枠）とを図示してあり、（ｂ）に部分画像の位置及びサイズを示す矩形枠のみを図示してある。

車輌検出装置１は、第１判定〜第３判定により車輌が存在すると判定した部分画像について、下記の（式３３）による評価値をそれぞれ対応付けて記憶する。この評価値は、第３判定における強識別器４７の判定に伴う演算過程にて算出される値である（上記の（式２７）参照）。第３判定においては複数の強識別器４７により同様の演算がなされるが、例えば最終段の強識別器４７の演算過程で算出された値を部分画像の評価値として車輌検出装置１が記憶すればよい（又は、全ての強識別器４７が算出した値の合計値若しくは平均値等を評価値としてもよい）。

車輌検出装置１は、第１判定〜第３判定の終了後、下記のａ）〜ｄ）の手順により、車輌位置の特定を行う。
ａ）車輌が存在すると判定された全ての部分画像の評価値を調べ、評価値が最も大きい部分画像と、この部分画像の中に中心が含まれる他の全ての部分画像（車輌が存在すると判定された部分画像）とを選択する。
ｂ）選択した複数の部分画像の位置（中心位置）及びサイズについて、各部分画像の評価値をそれぞれ重みとした加重平均を算出し、選択した複数の部分画像に代えて、加重平均にて算出した位置及びサイズの部分画像を車輌の検出結果とする。なお、この新たな部分画像の評価値は、ａ）にて選択された各部分画像の評価値の合計値とする。
ｃ）上記のａ）にて選択されていない残りの部分画像について、ａ）部分画像の選択及びｂ）加重平均の算出を繰り返し行う。
ｄ）車輌が存在すると判定された全ての部分画像について上記ａ）〜ｃ）の処理を行った後に、更にその一部分が重なる部分画像が存在するとき、
ｄ１）部分画像のコア領域（部分画像の中心部であり、部分画像のサイズの縦横５０％の領域）同士が重なる場合、重なり合う各部分画像の評価値を比較して、評価値が小さい部分画像を削除する。
ｄ２）部分画像のコア領域以外が重なる場合、重なり合う各部分画像の評価値を比較して、評価値の差が所定以上（例えば２倍以上の差がある場合など）であれば、評価値が小さい部分画像を削除する。

車輌検出装置１がこれらの処理を行うことによって、第１判定〜第３判定にて車輌が存在すると判定された部分画像、即ち車輌の検出結果を統合又は削除することができ、残された部分画像に基づいて車輌位置のより正確な特定を行うことができる。

以上の構成の車輌検出装置１においては、カメラ３が撮像した撮像画像に対して、ＨＯＧ特徴量に基づく第１判定及びエッジ特徴量に基づく第２判定を行い、これらの判定結果に対して矩形特徴量に基づく第３判定を行う構成とすることにより、各判定手法の欠点を他の判定手法により補うことができ、第１判定〜第３判定の利点を最大限に活用することができるため、撮像画像中の車輌を高精度に検出することができ、各車輌の正確な位置特定を行うことができると共に、演算量の増大を抑制することができる。

また、矩形特徴量に基づく第３判定では、複数の弱識別器４８による判定結果に基づいて判定を行う強識別器４７を複数用い、一の強識別器４７にて車輌が存在すると判定された部分画像に対して次の強識別器４７が判定を行うという処理を繰り返し、最後の強識別器４７の判定結果を第３判定の判定結果とする構成とすることにより、車輌検出装置１の第３判定に係る演算量の増大を抑制しつつ、第３判定の判定精度を向上することができる。

また、ＨＯＧ特徴量に基づく第１判定にて車輌が存在すると判定された部分画像に対して、エッジ特徴量に基づく第２判定を行う構成とすることにより、ＨＯＧ特徴量に基づく第１判定では１つの撮像画像から特定する部分画像の数を低減することができるため、第１判定及び第２判定に伴う演算量を削減することができ、車輌検出装置１のコストを削減することができる。

また、カメラ３の撮像画像から部分画像を特定する際に、撮像画像中の道路以外に相当する領域を検出の対象外とし、道路に相当する領域のみから部分画像の特定を行う構成とすることにより、第１判定〜第３判定の演算量を低減することができる。また、撮像画像の垂直方向の座標（ｙ座標）に応じて特定する部分画像の大きさを変化させると共に、特定した部分画像を拡大又は縮小してサイズを統一する構成とすることにより、第１判定〜第３判定は統一されたサイズの部分画像に対して処理を行うことができるため、処理の複雑化を抑制することができ、且つ、撮像画像中の遠近に応じたサイズで部分画像が特定されるため、車輌の検出を高精度に行うことができる。

また、第１判定〜第３判定を行った結果、車輌が存在すると判定された複数の部分画像が重なり合う場合、各部分画像の評価値に応じて重み付けを行い、重なり合う部分画像の位置及びサイズの加重平均を算出することによって、撮像画像における車輌位置を高精度に特定することができる。

また、予め用意した複数の訓練サンプルを基に第１判定及び第２判定のための識別器をＳＶＭの手法により作成し、第１判定及び第２判定を訓練サンプルに対して行った場合に車輌が存在すると判定される訓練サンプルを基に、第３判定の強識別器及び弱識別器を作成する構成とすることにより、第３判定の強識別器４７及び弱識別器４８の作成に要する演算量を低減することができると共に、車輌検出装置１による第３判定は第１判定及び第２判定の判定結果に対して行われるため、第３判定の精度を向上することができる。

なお、本実施の形態においては、移動体検出装置として車輌の検出を行う車輌検出装置１を例に説明を行ったが、これに限るものではなく、２輪車又は歩行者等の他の移動体を検出する装置に本発明を適用してもよい。また、検出対象の移動体としては、道路上を移動する車輌又は歩行者等のみでなく、海上などを移動する船舶、又は空を移動する航空機等のように道路以外を移動する移動体であってもよく、この場合にはカメラ３は道路を含む領域を撮像するのではなく、検出対象の移動体が移動する領域（海又は空等）を撮像すればよい。また、第１判定〜第３判定の処理は、車輌検出プログラム４０を制御部１１が実行することにより行われる構成としたが、これに限るものではなく、これらの処理をハードウェアにて実現してもよい。

また、第１判定において輝度勾配の分布に係る特徴量としてＨＯＧ特徴量を用いる構成としたが、これに限るものではなく、例えばＳＩＦＴ（Scale-Invariant Feature Transform）などのその他の特徴量を用いて判定を行う構成であってもよい。また、第２判定においてエッジ特徴量の取得をソーベルフィルタにより行う構成としたが、これに限るものではなく、Prewittフィルタを用いる方法など、その他の方法によりエッジ特徴量の取得を行う構成としてもよい。また、ＨＯＧ特徴量に基づく第１判定、エッジ特徴量に基づく第２判定、矩形特徴量に基づく第３判定の順に判定を行う構成としたが、これに限るものではなく、例えば第１判定及び第２判定はいずれを先に行ってもよく、並列的に処理を行ってもよい。ただし、判定に伴う演算量を低減するために、第１判定を先に行って、この判定結果に対して第２判定を行うことが望ましい。また、第３判定において複数の強識別器４７を用いて順に判定を行う構成としたが、これに限るものではなく、１つの強識別器４７でのみ判定を行う構成であってもよい。

また、撮像画像、部分画像及びセル等のサイズは一例であって、これに限るものではない。また、図に示した撮像画像及び部分画像等は一例であって、これに限るものではない。

１ 車輌検出装置（移動体検出装置）
３ カメラ
１１ 制御部
１２ 画像入力部
１３ Ａ／Ｄ変換部
１４ 画像メモリ
１５ 通信部
１６ 記憶部
１７ ＲＯＭ
４１ 部分画像特定手段
４２ ＨＯＧ特徴取得手段（輝度勾配分布特徴量取得手段）
４３ ＨＯＧ特徴判定手段（第１の判定手段）
４４ エッジ特徴取得手段（エッジ特徴量取得手段）
４５ エッジ特徴判定手段（第２の判定手段）
４６ 矩形特徴判定手段（比較手段、第３の判定手段）
４７ 強識別器（判定手段）
４８ 弱識別器（比較手段）

Claims (8)

1. 撮像画像から移動体を検出する移動体検出装置において、
   撮像画像上の部分画像を特定する部分画像特定手段と、
   前記部分画像の輝度勾配の分布に係る特徴量を取得する輝度勾配分布特徴量取得手段と、
   該輝度勾配分布特徴量取得手段が取得した輝度勾配の分布に係る特徴量を、移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別して、部分画像中に移動体が存在するか否かを判定する第１の判定手段と、
   前記部分画像のエッジに係る特徴量を取得するエッジ特徴量取得手段と、
   該エッジ特徴量取得手段が取得したエッジに係る特徴量を、移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別して、部分画像中に移動体が存在するか否かを判定する第２の判定手段と、
   前記部分画像からそれぞれ異なる判定用画像領域を特定し、特定した判定用画像領域を更に二分した一方の領域及び他方の領域の輝度値の差分を算出し、該差分及び閾値の比較をそれぞれ行う複数の比較手段と、
   該複数の比較手段による複数の比較結果に重み付けを行い、重み付けした複数の比較結果に応じて、部分画像中に移動体が存在するか否かを判定する第３の判定手段と
   を備え、
   前記第１の判定手段及び前記第２の判定手段により移動体が存在すると判定された部分画像に対して、前記第３の判定手段による判定を行うようにしてあること
   を特徴とする移動体検出装置。
2. 前記第３の判定手段は、
   重み付けした複数の比較結果の加算値が閾値を超えるか否かに応じて、部分画像中に移動体が存在するか否かをそれぞれ判定する複数の判定手段を有し、
   該複数の判定手段のうちの一の判定手段により移動体が存在すると判定された部分画像に対して、前記複数の判定手段のうちの次の判定手段による判定を順次的に行うようにしてあり、
   前記複数の判定手段のうちの最後の判定手段による判定結果を、前記第３の判定手段の判定結果とするようにしてあること
   を特徴とする請求項１に記載の移動体検出装置。
3. 前記撮像画像は、道路を含む領域を撮像して得られたものであり、
   前記部分画像特定手段は、前記撮像画像の道路に相当する領域から前記部分画像を特定するようにしてあること
   を特徴とする請求項１又は請求項２に記載の移動体検出装置。
4. 前記部分画像特定手段は、
   前記撮像画像中の座標に応じて、特定する前記部分画像の大きさが異なり、
   特定した前記部分画像の大きさを、拡大又は縮小により統一するようにしてあること
   を特徴とする請求項１乃至請求項３のいずれか１つに記載の移動体検出装置。
5. 前記第３の判定手段により移動体が存在すると判定された複数の部分画像の位置が、撮像画像中にて部分的に重複する場合に、
   重複する各部分画像に対して重み付けを行う手段と、
   重み付けされた複数の部分画像の位置に応じて、移動体の位置を特定する手段と
   を更に備えること
   を特徴とする請求項１乃至請求項４のいずれか１つに記載の移動体検出装置。
6. 前記第１の判定手段は、予め撮像された複数のサンプル画像からそれぞれ取得した輝度勾配の分布に係る特徴量を基に、該特徴量を移動体が存在する特徴量群又は移動体が存在しない在特徴量群に識別する識別条件が予め決定してあり、
   前記第２の判定手段は、予め撮像された複数のサンプル画像からそれぞれ取得したエッジに係る特徴量を基に、該特徴量を移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別する識別条件が予め決定してあり、
   前記第３の判定手段は、前記第１の判定手段及び前記第２の判定手段により移動体が存在すると判定されるサンプル画像を基に、前記複数の比較手段がそれぞれ比較に用いる閾値が予め決定してあること
   を特徴とする請求項１乃至請求項５のいずれか１つに記載の移動体検出装置。
7. 撮像画像から移動体を検出する移動体検出方法において、
   撮像画像上の部分画像を特定し、
   前記部分画像の輝度勾配の分布に係る特徴量を取得し、
   取得した輝度勾配の分布に係る特徴量を、移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別して、部分画像中に移動体が存在するか否かの第１の判定を行い、
   前記部分画像のエッジに係る特徴量を取得し、
   取得したエッジに係る特徴量を、移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別して、部分画像中に移動体が存在するか否かの第２の判定を行い、
   前記第１の判定及び前記第２の判定により移動体が存在すると判定された部分画像からそれぞれ異なる判定用画像領域を特定し、
   特定した各判定用画像領域を更に二分した一方の領域及び他方の領域の輝度値の差分をそれぞれ算出し、
   該差分及び閾値の比較をそれぞれ行い、
   複数の比較結果に重み付けを行い、重み付けした複数の比較結果に応じて、部分画像中に移動体が存在するか否かの第３の判定を行うこと
   を特徴とする移動体検出方法。
8. コンピュータに、撮像画像から移動体を検出させるコンピュータプログラムにおいて、
   コンピュータに、撮像画像上の部分画像を特定させるステップと、
   コンピュータに、前記部分画像の輝度勾配の分布に係る特徴量を取得させるステップと、
   コンピュータに、取得した輝度勾配の分布に係る特徴量を、移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別して、部分画像中に移動体が存在するか否かを判定させる第１の判定ステップと、
   コンピュータに、前記部分画像のエッジに係る特徴量を取得させるステップと、
   コンピュータに、取得したエッジに係る特徴量を、移動体が存在する特徴量群又は移動体が存在しない特徴量群に識別して、部分画像中に移動体が存在するか否かを判定させる第２の判定ステップと、
   コンピュータに、前記第１の判定ステップ及び前記第２の判定ステップにより移動体が存在すると判定された部分画像からそれぞれ異なる判定用画像領域を特定し、特定した各判定用画像領域を更に二分した一方の領域及び他方の領域の輝度値の差分をそれぞれ算出し、該差分及び閾値の比較をそれぞれ行わせるステップと、
   コンピュータに、複数の比較結果に重み付けを行い、重み付けした複数の比較結果に応じて、部分画像中に移動体が存在するか否かを判定させる第３の判定ステップと
   を含むこと
   を特徴とするコンピュータプログラム。

Images