JP4830650B2

JP4830650B2 - 追跡装置

Info

Publication number: JP4830650B2
Application number: JP2006162185A
Authority: JP
Inventors: 航一木下; 修一郎築地; 美希松岡; 隆義山下
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2005-07-05
Filing date: 2006-06-12
Publication date: 2011-12-07
Anticipated expiration: 2026-06-12
Also published as: JP2007042072A; US7940956B2; US20070013791A1

Description

本発明は、画像内の人物の顔を追跡する装置や方法に適用されて有効な技術に関する。

近年、静止画像や動画像から人物を検出・追跡する処理（以下、「人物追跡処理」と呼ぶ）を実現する技術が注目されている。このような技術では、人の顔を検出・追跡の対象として用いることが一般的である。顔は、万人に共通する特徴と、個人毎に異なる特徴とを兼ね備えるためである。即ち、顔を対象とすることにより、万人に共通する特徴を用いて顔を検出することが可能であり、個人毎に異なる特徴を用いることにより個人を識別することが可能となるからである。

従来の一般的な人物追跡処理は以下のように実行されていた。まず、万人に共通する顔の特徴を用いることにより、画像中から人の顔が検出され、顔の領域が特定される。次に、検出された顔の中から追跡対象が選択される。この選択は、各顔について個人の同定処理の実行により自動的に行われることもあれば、人間による目視によって行われることもあった。追跡対象が選択されると、前回の処理において顔が検出された位置の周囲（以下、「次検出領域」と呼ぶ）において顔検出が実行される。そして、検出された顔について個人の同定処理が実行されることにより、追跡が実現される。そして、同定処理が失敗してしまった場合にも、音声方向認識や肌色認識などの認識結果に基づいて人物の位置推定を行い、追跡を継続する技術も提案されている（特許文献１参照）。

しかしながら、顔を検出・追跡の対象として動画像等から人物を追跡する従来の技術には以下のような問題があった。第一に、顔が障害物の陰に隠れてしまった場合や、顔が横又は後ろを向いてしまった場合などには、追跡を実行することが困難となるという問題があった。例え音声方向認識が実行されたとしても、被写体が声を発しない場合や騒音のある環境下では有効な結果を得られなかった。第二に、個人の同定処理には処理時間を長く要するため、繰り返し実行が必要となる動画像における人物の追跡処理には不向きであるという問題があった。

そこで、ロバスト性を高めさらに処理の高速化を図るために、人の服の色を追跡の対象とすることにより、人物の追跡を実現する技術が提案されている。このような技術の具体例として、測距用枠内の被写体のうち面積が最大となる色を服の色として追跡を行う技術が提案されている（特許文献２参照）。一般的に、服の色は顔の向きによらず一定であることが多いため、このように服の色を追跡することにより、ロバスト性を高めることが可能となる。また、色を追跡の対象とすることにより、処理が容易となるため、高速化を図ることが可能となる。
特開２００４−２８３９５９号公報特開平０６−２２１９５号公報

しかしながら、上記のような技術にも問題点があった。例えば、測距用枠内に、被写体とすべき人の服よりも大きな面積を有する他の色の領域が存在した場合には、追跡の対象を誤検出してしまい、誤った被写体が追跡の対象とされてしまう。また、追跡対象と同じ色を有した複数の被写体が追跡対象の周囲に存在した場合には、誤った被写体を追跡してしまう可能性があった。

このような問題に対し、予め服装について学習処理を行うことにより誤検出・誤追跡を防止することも考えられる。しかし、通常、服装は日によって変化するものであるため、学習による検出・追跡を実行することは有効とは言えない。

そこで本発明は、動画像中における人物の追跡処理のロバスト性の向上を可能とする装置や方法の提供を目的とする。言い換えれば、本発明は、動画像において追跡対象の顔の検出ができない状況が生じた場合であっても、被写体の追跡を継続可能とする装置や方法を提供することを目的とする。

上記問題を解決するため、本発明は以下のような構成をとる。本発明は、動画像中の顔の位置を追跡する追跡装置であって顔検出手段、記憶手段及び推定手段を含む。顔検出手段は、画像から顔を検出する。記憶手段は、顔検出手段により検出された顔の位置に関連づけて、顔の位置との相対位置関係により定まる領域から取得される周囲情報を記憶する。推定手段は、顔検出手段による顔検出の代わりに、直前に検出された顔の位置に基づいて現在の顔の位置候補を複数求め、この位置候補それぞれに対応する複数の周囲情報を取得し、直前に検出された顔の位置に関連づけられている周囲情報に最も類似する周囲情報が取得された位置候補に基づいて現在の顔の位置を決定する。直前に検出された顔とは、一つ前の画像において検出された顔であっても良いし、直近の複数枚の画像において検出された顔であっても良い。

このように構成された追跡装置では、現在の顔の位置を推定する際に、画像内から顔の検出を行うことなく推定することができる。このため、例えば追跡対象の顔が物陰に隠れてしまった場合や後ろを向いてしまった場合のように、顔の検出が難しい場合であっても、追跡対象の顔を見失うことなく、追跡を継続することが可能となる。

本発明は、直前に検出された顔の位置に基づいて、顔の動き情報を取得する動き情報取得手段をさらに含むように構成されても良い。この場合、推定手段は、位置候補を、直前に検出された顔の位置及び動き情報に基づいて求めるように構成されても良い。

また、本発明における記憶手段は、さらに特徴量を関連づけて記憶するように構成されても良い。この場合顔検出手段は、検出された顔の特徴量と直前に検出された顔の特徴量とに基づいて、検出された顔がこの直前に検出された顔と同一か否か判断するように構成されても良い。さらにこの場合推定手段は、記憶手段に特徴量が記憶される顔のうち、顔検出手段によって検出されなかった顔の位置を決定するように構成されても良い。

このように構成された場合、推定手段による処理は、顔検出手段によって顔が検出されなかった追跡対象についてのみ実施される。推定手段により得られる顔の位置は、顔検出手段によって得られる顔の位置よりも精度が劣ることが多い。このため、このように構成されることにより、顔の位置をより精度良く検出・推定することが可能となる。

本発明における推定手段は、直前に検出された顔の位置に関連づけられている周囲情報に最も類似する周囲情報が取得された位置候補を現在の顔の位置とするように構成されても良い。あるいは、推定手段は、直前に検出された顔の位置に関連づけられている周囲情報に最も類似する周囲情報が取得された位置候補及びその周辺から、最も顔らしい領域を検出し、その検出された領域を現在の顔の位置とするように構成されても良い。

顔の位置と周囲情報を取得する領域の相対位置関係は、顔の位置と領域の相対速度が最も小さくなるように設定されると良い。

周囲情報を取得する領域の範囲が顔の向きに応じて変化するように構成されても良い。

本発明は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。

本発明によれば、動画像において追跡対象の顔の検出ができない状況が生じた場合であっても、被写体の追跡を継続することが可能となる。

以下に説明する追跡装置は、追跡する対象を人間とし、特に人間の顔を検出することによって追跡を実現するように構成される。しかし、このような追跡装置は一つの具体例にすぎず、追跡対象は人間に限られる必要は無く、また人間を追跡する場合にも検出対象は顔に限定される必要はない。

〔システム構成〕
まず、追跡装置１の構成例について説明する。追跡装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含む），ＦＲＡＭ（Ferroelectric
RAM），ハードディスク等を指す。

図１は、追跡装置１の機能ブロックを示す図である。追跡装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、画像入力部２，動画像記憶部３，対象情報記憶部４，制御部５，位置出力部６，関連情報記憶部７等を含む装置として機能する。制御部５は、プログラムがＣＰＵによって実行されることにより実現される。また、制御部５は専用のチップとして構成されても良い。次に、追跡装置１が含む各機能部について説明する。

〈画像入力部〉
画像入力部２は、動画像のデータを追跡装置１へ入力するためのインタフェースとして機能する。画像入力部２によって、動画像のデータが追跡装置１へ入力される。画像入力部２は、追跡装置１へ動画像のデータを入力するためのどのような既存技術を用いて構成されても良い。

〈動画像記憶部〉
動画像記憶部３は、記憶装置を用いて構成される。動画像記憶部３に用いられる記憶装置には、揮発性記憶装置や不揮発性記憶装置など、どのような具体的技術が適用されても良い。ここで言う揮発性記憶装置とは、いわゆるＲＡＭ（Random Access Memory：ＤＲＡＭ（Dynamic RAM），ＳＤＲＡＭ（Synchronous DRAM），ＤＤＲＳＤＲＡＭ（Double Data Rate SDRAM）等）を指す。

動画像記憶部３は、画像入力部２を介して入力された動画像のデータを記憶する。動画像記憶部３に記憶された動画像のデータは、制御部５によって読み出される。動画像記憶部３は、少なくとも制御部５による処理が完了するまでは、その処理の対象となっている
動画像のデータを保持する。

〈対象情報記憶部〉
対象情報記憶部４は、記憶装置を用いて構成される。対象情報記憶部４に用いられる記憶装置も、動画像記憶部３と同様にどのような具体的技術が適用されても良い。対象情報記憶部４は、各追跡対象についての対象情報を記憶する。図２は、対象情報の具体例を示す図である。対象情報記憶部４は、各追跡対象について、例えばＩＤ、位置情報、動き情報、特徴量、周囲情報及び検出失敗フラグを関連づけて記憶するように構成される。位置情報、動き情報、特徴量、周囲情報及び検出失敗フラグの詳細や具体例については制御部５とともに後に説明する。以下、各項目について簡単に説明する。

ＩＤは、追跡対象を示す識別子である。位置情報は、制御部５によって取得される情報であり、追跡対象の画像内における位置を示す情報である。動き情報は、制御部５によって取得される情報であり、追跡対象の画像内における動きを示す情報である。特徴量は、制御部５が追跡対象の顔を同定する際に使用される情報である。周囲情報は、追跡対象の顔の付近の領域における特徴情報である。検出失敗フラグは、今回の顔検出処理において追跡対象の顔が検出されたか否かを示す情報である。検出失敗フラグがたっている場合は、顔検出処理による位置検出ができなかったことを示し、そのような追跡対象については顔検出処理とは異なる処理（具体的には位置推定部５４による位置推定処理）による追跡処理が行われる。

〈制御部〉
制御部５は、ＣＰＵ等によってプログラムが実行されることにより実現される。制御部５は、顔検出部５１，周囲情報収集部５２，動き検出部５３及び位置推定部５４を含む。以下、各機能部について説明する。

〈〈顔検出部〉〉
顔検出部５１は、動画像記憶部３から画像のデータを読み出し、その画像から人の顔を検出し、検出された顔の位置や大きさ等を示す顔情報を特定する。顔検出部５１は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部５１は、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部５１は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部５１は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部５１は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部５１による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。

また、顔検出部５１は、検出された顔から特徴量を取得する。顔検出部５１は、特徴量として、検出された顔を含む特定の領域における輝度分布や色ヒストグラム等を取得する。取得された特徴量は、対象情報記憶部４に記憶される。

また、顔検出部５１は、検出された各顔の追跡対象について、対象情報記憶部４に既に記憶されている追跡対象であるか否か判断する。顔検出部５１は、例えば上述したような特徴量を画像から取得し、対象情報記憶部４に記憶されている特徴量と比較することによって判断を行う。この比較は、輝度分布の正規化相関や、色ヒストグラムのヒストグラムインタセクション等を類似度として取得することによって行うことができる。即ち、類似であるか否かを判断し、類似であると判断された場合には同一人物であると判断することができる。このとき、顔検出部５１は、検出された顔の位置と近い位置情報を有する対象
情報に関連する特徴量のみを用いて比較を行うように構成されても良い。そして、顔検出部５１は、対象情報記憶部４に記憶されている追跡対象のうち、今回の検出処理で検出されなかった追跡対象の検出失敗フラグを立てる。

〈〈周囲情報収集部〉〉
周囲情報収集部５２は、顔検出部５１によって検出された顔の位置や、位置推定部５４によって推定された顔の位置に基づいて周囲情報を取得する。図３は、周囲情報の具体例を示す図である。以下、図３を用いて周囲情報収集部５２の処理の具体例について説明する。

まず、周囲情報収集部５２は、顔検出部５１によって今回の検出処理で検出された顔の位置（図３の検出位置に該当）又は位置推定部５４によって推定された顔の位置に基づいて、周囲情報取得領域を決定する。周囲情報取得領域の位置は顔の位置との相対的関係により決定される。同様に、周囲情報取得領域の大きさは顔の大きさとの相対的関係により決定される。関連情報記憶部７は、顔と周囲情報取得領域の相対的関係を定めるパラメータを記憶している。周囲情報収集部５２は、関連情報記憶部７に記憶されたパラメータを参照して、検出位置の周囲に存在する所定の領域を周囲情報取得領域として決定する。具体的には、周囲情報収集部５２は以下のように周囲情報取得領域を決定しても良い。

まず、検出位置の中心をＰ＝（Ｘ，Ｙ）とし、顔の領域を示す矩形（検出位置を示す矩形）の一辺の長さをＤとすると、周囲情報取得領域を示す長方形の中心Ｒ，幅Ｗ，高さＨは式１のように表すことができる。式１の例では、顔の領域が正方形で表されている。これにより、顔の領域を表すために必要な情報量が少なくなり、処理の高速化が図られる。ただし、顔の領域の表現手法は正方形に限られない。長方形とか多角形を用いることにより、より正確に顔の位置及び大きさを表現することができる。顔の位置及び大きさが正確になれば、周囲情報取得領域の位置及び大きさもより正確に決定することができる。

α，β，γは定数であり、関連情報記憶部７に記憶されたパラメータである。パラメータα，β，γは、人物の胴体部分に周囲情報取得領域が配置されるように、予め定められている。例えば、さまざまな人物の顔と胴体との相対距離や相対サイズを測定し、その平均値を求めることにより、パラメータα，β，γを決定することができる。

そして、周囲情報収集部５２は、周囲情報取得領域において、面積最大色、色ヒストグラム、シルエット、テクスチャ情報などを周囲情報として取得する。

次に、周囲情報収集部５２が周囲情報を取得する際の具体的な処理を説明する。

周囲情報として面積最大色を用いる場合は、周囲情報収集部５２は以下のような処理を行う。例えば、ＲＧＢ空間の各軸をＱ分割し（Ｑは１以上の整数）、それぞれの領域に入る画素数を周囲情報取得領域内でカウントする。これは色ヒストグラムとも呼ばれる。各領域ｉの画素数は式２のように表すことができる。このとき、周囲情報取得領域の画素数は式３のように表すことができる。また、面積最大色は、式２，３におけるＭｉ（正確には、波線を上部に有するＭｉ）の値が最大となるｉによって示される領域の色である。

周囲情報として色ヒストグラムを用いる場合は、各ヒストグラムの要素の値を、式３で表される画素数で除算した正規化ヒストグラムを式４のように作成する。

周囲情報としてシルエットを用いる場合は、例えばラプラシアンフィルタによって、周囲情報取得領域の画像（輝度値）からエッジ情報を求める。このようにして取得された周囲情報は、各追跡対象と関連付けて対象情報記憶部４に記憶される。

〈〈動き検出部〉〉
動き検出部５３は、顔検出部５１の検出結果に基づき、各追跡対象の顔について画像内での動きを計算し動き情報を生成する。また、動き検出部５３は顔検出部５１によって検出されなかった追跡対象の顔についても、位置推定部５４によって推定された位置に基づいて動き情報を生成する。動き検出部５３によって生成された動き情報は、対象情報記憶部４に記憶される。

動き検出部５３は、例えば以下のような処理によって動き情報を生成する。入力画像上での前フレームでの顔検出座標（矩形の中心座標）をＰ１＝（Ｘ１，Ｙ１）、現フレームでの顔検出座標をＰ２＝（Ｘ２，Ｙ２）とすると、動き情報Ｖ＝（Ｖｘ，Ｖｙ）は式５のように表される。また、前フレームと現フレームとの間の時間はＴとして表される。

〈〈位置推定部〉〉
位置推定部５４は、検出失敗フラグがたっている追跡対象の現在の位置を推定する。位置推定部５４は、前回の検出結果として対象情報記憶部４に記憶されている位置情報と、動き検出部５３によって生成された動き情報とに基づいて、現在の顔のおおまかな位置Ｐ’＝（Ｘ’，Ｙ’）を推定する。このような推定は、例えば式６を用いて行うことができる。

次に、このおおまかな位置を示すＸ’，Ｙ’に適当な乱数の組（ｘ，ｙ）を加算することにより、複数の推定位置（位置候補）Ｅ１＝（Ｘｅ１，Ｙｅ１），Ｅ２＝（Ｘｅ２，Ｙｅ２），・・・，ＥＮ＝（ＸｅＮ，ＹｅＮ）を生成する。ここで、Ｎは生成された乱数の組数を示す。位置推定部５４は、複数の各推定位置における周囲情報の取得を周囲情報収
集部５２に依頼する。位置推定部５４は、各推定位置に基づいて得られた周囲情報と、対象情報記憶部４に記憶される周囲情報とを比較する。そして、位置推定部５４は、対象情報記憶部４に記憶される周囲情報と最も類似している周囲情報が得られた推定位置Ｅｎを、現在の顔の位置として推定する。位置推定部５４は、いずれの推定位置によっても対象情報記憶部４に記憶される周囲情報と類似した周囲情報が得られない場合は、その追跡対象については現在の位置を推定しないように構成されても良い。

周囲情報が類似しているか否かは、両周囲情報の類似度を算出することにより判断できる。類似度は、例えば以下のように算出される。周囲情報として面積最大色を用いる場合は、例えばＲＧＢ空間内でのユークリッド距離を用いることができる。

また、周囲情報として色ヒストグラムを用いる場合は、ヒストグラムインタクセションを用いることができる。比較する二つのヒストグラムをそれぞれＨ，Ｍとするとき、ヒストグラムインタセクションは式７として表される。この値は、０から１までの値をとり、全く同一のヒストグラムの場合に１となる。

また、周囲情報としてシルエットを用いる場合は、エッジ画像同士の正規化相関を用いることができる。二つの画像Ｘ，Ｙの正規化相関は、式８によって計算することができる。

〈位置出力部〉
位置出力部６は、制御部５の顔検出部５１によって検出された顔の位置又は位置推定部５４によって推定された顔の位置を追跡装置１の外部に出力する。

〔動作例〕
図４，５は追跡装置１の動作例を示すフローチャートである。まず、制御部５が画像から顔を検出する（Ｓ０１）。次に、検出された顔の中から追跡対象の顔を選択し（Ｓ０２）、この追跡対象についての対象情報が対象情報記憶部４に記憶されているか判断する（Ｓ０３）。対象情報がない場合は（Ｓ０３−ＮＯ）、新たにこの追跡対象についての対象情報を対象情報記憶部４に追加するか判断する（Ｓ０４）。この判断は、この追跡対象が対象情報として記憶する必要があるか否か、例えば検出された顔の大きさなどに基づいて判断する。対象情報を追加すると判断した場合は（Ｓ０４−ＹＥＳ）、この新たな追跡対象についての対象情報を対象情報記憶部４に記憶させる（Ｓ０５）。また、Ｓ０３の処理において、対応する対象情報がある場合には（Ｓ０３−ＹＥＳ）、この対象情報について更新を行う（Ｓ０５）。対象情報の更新とは、位置情報、動き情報、特徴量、周囲情報を新たに取得し対象情報記憶部４に記憶させる処理である。

Ｓ０５の処理の後、又はＳ０４の処理において追加しないと判断された場合（Ｓ０４−ＮＯ）は、処理の対象とした追跡対象の顔が、顔検出部５１によって検出された最後の顔
であるか否か判断する。最後でない場合は（Ｓ０６−ＮＯ）、未処理の顔を選択し（Ｓ０２）この顔についてＳ０３〜Ｓ０５までの処理を実行する。一方、最後であった場合は（Ｓ０６−ＹＥＳ）、顔検出部５１は、対象情報記憶部４に記憶される対象情報のうち、更新されなかった対象情報の検出失敗フラグをたてる（Ｓ０７）。

次に、位置推定部５４は、検出失敗フラグを有する対象情報を選択し（Ｓ０８）、その対象情報における位置情報と動き情報とに基づいて複数の推定位置を得る（Ｓ０９）。位置推定部５４は、複数の推定位置それぞれについて周囲情報を取得し（Ｓ１０）、その結果に基づいて位置推定結果を取得する（Ｓ１１）。そして、推定された位置に基づいて、対象情報記憶部４の位置情報、動き情報、周囲情報を更新する（Ｓ１２）。このとき、特徴量については、顔が検出されなかったため、即ち顔を検出するための特徴量を取得できないため更新はしない。

次に、検出失敗フラグを有する全ての対象情報についてＳ０８〜Ｓ１２の処理が終了したか判断し、終了していない場合には未処理の対象情報に基づいてＳ０８〜Ｓ１２の処理を行う（Ｓ１３−ＮＯ）。一方、全ての対象情報についてＳ０８〜Ｓ１２の処理が終了した場合には、今回の追跡処理が終了し、必要であればＳ０１以降の処理が繰り返される。

〔作用／効果〕
追跡装置１は、画像内における追跡対象の顔を検出することにより追跡を行う。各追跡対象の現在位置は、対象情報記憶部４に位置情報として記憶され、位置出力部６によって外部に出力される。追跡装置１では、追跡対象の顔が物陰に隠れてしまった場合や後ろを向いてしまった場合のように、顔の検出が難しい場合には、顔の検出ではなく位置推定部５４による推定処理を行うことで追跡を継続する。このため、上述したような顔の検出が難しい状況が生じた場合であっても、追跡対象を見失うことなく、追跡を継続することが可能となる。

具体的には、まず過去の追跡履歴に基づいて得られる動き情報によって、顔が検出できなかった追跡対象の現在の大まかな位置が推定され、その位置に基づいて複数の推定位置が決定される。そして、対象情報記憶部４に記憶されている周囲情報と最も類似する周囲情報が得られた推定位置を、追跡対象の現在の位置として最終的に推定される。この周囲情報は、周囲情報取得領域が顔の位置の真下に設定された場合は、一般的にその追跡対象の人物の服についての情報を示す。この場合、顔が検出されなかった場合には、周囲情報に基づいた位置推定を行うことにより、追跡対象の服の色や形などに基づいて位置推定が行われることとなる。

このような追跡装置１は、例えばビデオカメラに搭載することにより、所定の人物を追跡し、その人物に焦点を合わせるような制御を行うことが可能となる。合焦制御以外にも、例えばホワイトバランスの制御基準とすることもできるし、フレーム内にその人物を収めるようにカメラの向き等の制御を行うこともできる。

〔変形例〕
追跡対象の数を制限する場合は、顔検出部５１によって検出された複数の顔の中から追跡対象とすべき顔を選択することもできる。例えば、顔検出部５１は、検出された顔の大きさが大きいものから順に追跡対象として選択し、所定の数を満たした時点で選択されている顔を追跡対象として決定するように構成されても良い。また、最も大きな顔のみを追跡対象として決定するように構成されても良い。また、所定以上の大きさを有する顔を全て追跡対象とするように構成されても良い。また、顔検出部５１が同定処理を行うことが可能に構成された場合は、予め登録された特定の追跡対象のみを顔検出部５１が同定処理によって選択するように構成されても良い。

周囲情報取得領域の位置の算出に、顔の傾きを考慮することも好ましい。例えば、図６に示すように、顔の領域を示す矩形がカメラ座標系（画像座標系）に対して角度θだけ傾いていた場合には、周囲情報取得領域の中心座標Ｒは式９のように算出すればよい。これにより、人物の姿勢が傾いている場合でも、その胴体部分から正確な周囲情報を取得することができる。
Ｒ＝（Ｘ＋αＤｓｉｎθ，Ｙ＋αＤｃｏｓθ）・・・（式９）

顔の領域と周囲情報取得領域の相対的関係は、追跡対象とする人物の条件や、カメラの設置条件などによって変わるものである。例えば、子供と成人では顔と胴体の相対サイズは異なるし、成人と老人とでは顔と胴体の相対位置が異なる。また、カメラが顔と同じ高さに設置されている場合と、カメラが顔よりも高い位置にある場合とでは、同一人でも顔と胴体の相対位置などに違いがでる。そこで、顔の領域と周囲情報取得領域の相対的関係を定めるパラメータ（上記実施形態ではα，β，γ）を固定値にするのではなく、人物の条件やカメラの設置条件などに応じて変更できるようにしておくことも好ましい。これによって、より正確な周囲情報を取得することができる。

また、追跡装置が画像を解析することによって最適なパラメータを自動的に決定することも好ましい。図７の例では、追跡装置が、まず、顔の領域Ｆの周囲に複数の候補領域Ａ，Ｂを設定し、複数フレームの画像を解析することで、顔の領域Ｆと各候補領域Ａ，Ｂとの相対速度を調べる。そして、顔の領域Ｆとの相対速度が最も小さい候補領域Ａが、周囲情報取得領域として設定される。これにより、追跡対象の顔とは無関係な領域（例えば、背景部分や他人の胴体）に周囲情報取得領域が設定されることが無くなり、正確な周囲情報の取得が可能となる。

また、周囲情報取得領域の範囲（位置及び大きさ）の算出に、顔の向きを考慮することも好ましい。顔と胴体の相対位置や相対サイズは、顔及び胴体の向きに応じて変わるからである。図８の例では、顔が正面向きならＷ＝２×Ｄ、顔が斜め向きならＷ＝１．５×Ｄ、顔が横向きならＷ＝１．２５×Ｄのように、顔の向きに応じてパラメータβの値を補正することで周囲情報取得領域の幅を変化させている。また、図８の例では、顔の向きに応じて周囲情報取得領域の中心座標（ｘ座標）も変化させている。このように周囲情報取得領域の範囲を顔の向きに応じて変化させるようにすれば、より正確な周囲情報を取得することが可能である。なお、図８の例では、周囲情報取得領域の幅と位置のみ変化させているが、高さや形状（縦横比など）を変化させるようにしてもよい。

上記実施形態では、顔の検出に成功した場合に必ず周囲情報を更新している（図４のＳ０５参照）。しかし、追跡中の人物が他の人物とすれ違ったり物陰に入ったりすると、正しい周囲情報取得領域（胴体など）が一時的にカメラの視界から外れることがある。そのような場合に誤った周囲情報（他の人物の胴体の色など）で更新を行うと、それ以降の顔位置推定に支障がでるおそれがある。そこで、取得された周囲情報が直前の画像と現在の画像とで大きく異なる場合には、更新を省略することも好ましい。これにより追跡処理の信頼性を向上することができる。

上記実施形態では、位置推定部５４は、直前の周囲情報と最も類似している周囲情報が得られた位置候補を現在の顔の位置とみなしている。しかし、周囲情報取得領域と顔との相対位置は常に同じとは限らないため、推定された顔の位置と真の顔の位置との間に誤差があることもある。例えば、顔が傾いていたり顔が正面以外を向いていたりすると、そのような誤差を生じやすい。そこで、位置推定部５４が、対象情報記憶部４に記憶された直前の周囲情報と最も類似している周囲情報が得られる位置候補を特定した後、さらに、その位置候補及びその周辺から最も顔らしい領域を検出し、その検出された領域を現在の顔
の位置とすることも好ましい。このように限られた範囲の中で顔の再探索を行うことにより、現在の顔の位置をより正確に推定することができる。なお、顔の再探索処理については、顔検出部５１の顔検出処理と同様の手法を利用すればよい。

パーティクルフィルタを利用した追跡手法、ミーンシフトを利用した追跡手法、その他の従来の追跡手法を本発明に組み合わせることも好ましい。

追跡装置の機能ブロック例を示す図である。対象情報の具体例を示す図である。周囲情報の具体例を示す図である。追跡装置の動作例を示すフローチャートである。追跡装置の動作例を示すフローチャートである。顔の傾きを考慮した周囲情報取得領域の設定例を示す図である。顔との相対速度を考慮した周囲情報取得領域の設定例を示す図である。顔の向きを考慮した周囲情報取得領域の設定例を示す図である。

符号の説明

１追跡装置
２画像入力部
３画像記憶部
４対象情報記憶部
５制御部
５１顔検出部
５２周囲情報収集部
５３動き検出部
５４位置推定部
６位置出力部
７関連情報記憶部

Claims

動画像中の顔の位置を追跡する追跡装置であって、
画像から顔を検出する顔検出手段と、
前記顔検出手段により検出された顔の位置及び大きさに対する周囲情報取得領域の位置及び大きさが前記顔検出手段により検出された顔を持つ人物の胴体となるような相対的関係を定めるパラメータに基づいて決められる、前記周囲情報取得領域における特徴情報である周囲情報を記憶する記憶手段と、
前記顔検出手段による顔検出の代わりに、直前に検出された顔の位置に基づいて現在の顔の位置候補を複数求め、この位置候補それぞれに対応する複数の周囲情報を前記記憶手段から取得し、前記直前に検出された顔の位置に関連づけられている周囲情報に最も類似する周囲情報が取得された位置候補に基づいて現在の顔の位置を決定する推定手段とを含む追跡装置。
前記直前に検出された顔の位置に基づいて、顔の動き情報を取得する動き情報取得手段をさらに含み、
前記推定手段は、位置候補を、前記直前に検出された顔の位置及び前記動き情報に基づいて求める請求項１に記載の追跡装置。
前記記憶手段は、さらに特徴量を関連づけて記憶し、
前記顔検出手段は、検出された顔の特徴量と前記直前に検出された顔の特徴量とに基づいて、検出された顔が前記直前に検出された顔と同一か否か判断し、
前記推定手段は、前記直前に検出された顔のうち、前記顔検出手段によって検出されなかった顔の位置を推定する請求項１又は２に記載の追跡装置。
前記推定手段は、前記直前に検出された顔の位置に関連づけられている周囲情報に最も類似する周囲情報が取得された位置候補を現在の顔の位置とする請求項１〜３のいずれかに記載の追跡装置。
前記推定手段は、前記直前に検出された顔の位置に関連づけられている周囲情報に最も類似する周囲情報が取得された位置候補及びその周辺から、最も顔らしい領域を検出し、その検出された領域を現在の顔の位置とする請求項１〜３のいずれかに記載の追跡装置。
前記顔の位置と前記周囲情報を取得する領域との相対位置関係は、前記顔の位置と前記領域の相対速度が最も小さくなるように設定される請求項１〜５のいずれかに記載の追跡装置。
前記周囲情報を取得する領域の範囲が前記顔の向きに応じて変化する請求項１〜６のいずれかに記載の追跡装置。
動画像中の顔の位置を追跡する追跡方法であって、
情報処理装置が、画像から顔を検出するステップと、
前記情報処理装置が、検出された顔の位置及び大きさに対する周囲情報取得領域の位置及び大きさが前記検出された顔を持つ人物の胴体となるような相対的関係が定められたパラメータに基づいて決められる前記周囲情報取得領域における特徴情報である周囲情報を記憶するステップと、
前記情報処理装置が、直前に検出された顔の位置に基づいて現在の顔の位置候補を複数求めるステップと、
前記情報処理装置が、この位置候補それぞれに対応する複数の周囲情報を取得するステップと、
前記情報処理装置が、前記顔を検出するステップの代わりに、前記直前に検出された顔の位置に関連づけられている周囲情報に最も類似する周囲情報が取得された位置候補に基づいて現在の顔の位置を決定するステップと、を含む追跡方法。
情報処理装置に対して動画像中の顔の位置を追跡させるためのプログラムであって、
画像から顔を検出するステップと、
検出された顔の位置及び大きさに対する周囲情報取得領域の位置及び大きさが前記検出された顔を持つ人物の胴体となるような相対的関係が定められたパラメータに基づいて決められる前記周囲情報取得領域における特徴情報である周囲情報を記憶するステップと、
直前に検出された顔の位置に基づいて現在の顔の位置候補を複数求めるステップと、
この位置候補それぞれに対応する複数の周囲情報を取得するステップと、
前記顔を検出するステップの代わりに、前記直前に検出された顔の位置に関連づけられている周囲情報に最も類似する周囲情報が取得された位置候補に基づいて現在の顔の位置を決定するステップと、を情報処理装置に対し実行させるためのプログラム。