JP6977730B2 - 人流推定装置、人流推定方法およびプログラム - Google Patents

Description

本発明は、人の流れ（人流）を推定する人流推定装置、人流推定方法および記録媒体に関する。

特許文献１には、それぞれの人の移動の軌跡を特定する装置が記載されている。特許文献１に記載の装置は、撮像部からフレーム画像を取得し、フレーム画像から被写体であるそれぞれの人の上半身を検出する。特許文献１に記載の装置は、連続するフレーム画像でそれぞれの人の上半身の領域を検出した場合、距離が最小となる領域同士を同一の人とみなして、それぞれの人の移動の軌跡を特定する。

また、特許文献２には、群衆状態認識処理に用いられる辞書を学習するための教師データを生成する装置、および、画像中の群衆状態を認識する装置が記載されている。

また、特許文献３には、時間的に連続する複数の画像を用いて、各画像の局所領域毎に監視対象の数量を推定し、その局所領域の各々で推定された数量の時系列変化から監視対象の移動状況を推定する移動状況推定装置が記載されている。

特開２００９−２１１３１１号公報 国際公開第２０１４／２０７９９１号 国際公開第２０１６／１１４１３４号

特許文献１に記載の装置によって、人流を推定することが考えられる。

しかし、特許文献１に記載の装置では、混雑環境下での人流を正確に推定できない。混雑環境下では、フレーム画像で人同士の重なりが生じ、ある人の上半身で他の人の上半身が隠されることが頻繁に生じる。すると、フレーム画像から上半身が検出されない場合が生じ、連続するフレーム画像間で同一の人を特定することができず、人の移動の軌跡を辿っていくことができなくなる。そのため、特許文献１に記載の装置では、混雑環境下での人流を正確に推定できない。

そのため、本発明は、混雑環境下であっても人流を推定できる人流推定装置、人流推定方法および記録媒体を提供することを目的とする。

本発明による人流推定装置は、画像の部分領域毎に、該部分領域で特定される部分領域画像に基づいて、前記部分領域内の人数を推定する人数推定手段と、前記部分領域毎に、前記部分領域内の人数を整数に補正し、前記部分領域に関する情報に基づいて前記画像上に補正された人数分の人のおおよその位置を決定し、補正前の人数と補正後の人数とに基づいて人数補正係数を算出し、前記おおよその位置に人が観測されたものとする大略人位置決定手段と、前記観測された人毎に、前記観測された人に対応する人のおおよその位置と、前記部分領域に関する情報とに基づいて、人を表す観測値に関する観測モデルを生成する観測モデル生成手段と、記憶手段に記憶された過去の人の状態を表す粒子の状態から、現在の粒子の状態を予測するとともに、新たな粒子を追加し、観測された人毎に生成された観測モデルと前記人数補正係数とに基づいて、予測された前記粒子及び追加した前記粒子の状態の確からしさを評価して、粒子の重みを更新し、更新した前記重みに比例した確率で、粒子をリサンプリングすることによって得られた粒子の状態を、前記記憶手段に記憶するとともに、前記得られた粒子の状態を人流の情報として出力する人状態推定手段とを備えることを特徴とする。

また、本発明による人流推定装置は、入力される画像の部分領域毎に、前記部分領域内の人数として推定された人数と、整数に補正した当該人数とに基づいて、人数補正係数を算出する係数算出手段と、パーティクルＰＨＤ（Probability Hypothesis Density）フィルタと前記人数補正係数とに基づいて、人の状態を表す複数の粒子の各重みを更新し、更新後の各粒子の重みに基づいて修正した人の状態を人流として出力する人流出力手段とを備えることを特徴とする。

また、本発明による人流推定方法は、画像の部分領域毎に、該部分領域で特定される部分領域画像に基づいて、前記部分領域内の人数を推定し、前記部分領域毎に、前記部分領域内の人数を整数に補正し、前記部分領域に関する情報に基づいて前記画像上に補正された人数分の人のおおよその位置を決定し、補正前の人数と補正後の人数とに基づいて人数補正係数を算出し、前記おおよその位置に人が観測されたものとし、前記観測された人毎に、前記観測された人に対応する人のおおよその位置と、前記部分領域に関する情報とに基づいて、人を表す観測値に関する観測モデルを生成し、記憶手段に記憶された過去の人の状態を表す粒子の状態から、現在の粒子の状態を予測するとともに、新たな粒子を追加し、観測された人毎に生成された観測モデルと前記人数補正係数とに基づいて、予測された前記粒子及び追加した前記粒子の状態の確からしさを評価して、粒子の重みを更新し、更新した前記重みに比例した確率で、粒子をリサンプリングすることによって得られた粒子の状態を、前記記憶手段に記憶するとともに、前記得られた粒子の状態を人流の情報として出力することを特徴とする。

また、本発明による人流推定方法は、画像の部分領域毎に、前記部分領域内の人数として推定された人数と、整数に補正した当該人数とに基づいて、人数補正係数を算出し、パーティクルＰＨＤ（Probability Hypothesis Density）フィルタと前記人数補正係数とに基づいて、人の状態を表す粒子の重みを更新し、更新後の重みに基づいてリサンプリングした粒子の状態を人流として出力することを特徴とする。

また、本発明による一時的でない記録媒体は、コンピュータに、画像の部分領域毎に、該部分領域で特定される部分領域画像に基づいて、前記部分領域内の人数を推定する人数推定処理、前記部分領域毎に、前記部分領域内の人数を整数に補正し、前記部分領域に関する情報に基づいて前記画像上に補正された人数分の人のおおよその位置を決定し、補正前の人数と補正後の人数とに基づいて人数補正係数を算出し、前記おおよその位置に人が観測されたものとする大略人位置決定処理、前記観測された人毎に、前記観測された人に対応する人のおおよその位置と、前記部分領域に関する情報とに基づいて、人を表す観測値に関する観測モデルを生成する観測モデル生成処理、および、記憶手段に記憶された過去の人の状態を表す粒子の状態から、現在の粒子の状態を予測するとともに、新たな粒子を追加し、観測された人毎に生成された観測モデルと前記人数補正係数とに基づいて、予測された前記粒子及び追加した前記粒子の状態の確からしさを評価して、粒子の重みを更新し、更新した前記重みに比例した確率で、粒子をリサンプリングすることによって得られた粒子の状態を、前記記憶手段に記憶するとともに、前記得られた粒子の状態を人流の情報として出力する人状態推定処理を実行させるための人流推定プログラムを記録したことを特徴とする。

また、本発明による一時的でない記録媒体は、コンピュータに、画像の部分領域毎に、前記部分領域内の人数として推定された人数と、整数に補正した当該人数とに基づいて、人数補正係数を算出する係数算出処理と、パーティクルＰＨＤ（Probability Hypothesis Density）フィルタと前記人数補正係数とに基づいて、人の状態を表す粒子の重みを更新し、更新後の重みに基づいてリサンプリングした粒子の状態を人流として出力する人流出力処理と、を実行させるための人流推定プログラムを記録したことを特徴とする。

本発明によれば、混雑環境下であっても人流を推定できる。

本発明の第１の実施形態の人流推定装置の構成例を示すブロック図である。 大略人位置決定手段の処理例を示す模式図である。 人状態推定手段の構成例を示すブロック図である。 本発明の第１の実施形態の処理経過の例を示すフローチャートである。 ステップＳ９の処理経過の例を示すフローチャートである。 本発明の第２の実施形態の人流推定装置の構成例を示すブロック図である。 現在および過去の粒子の位置関係の例を示す模式図である。 本発明の第３の実施形態の人流推定装置の構成例を示すブロック図である。 マージ処理後の個々の粒子をそれぞれオブジェクトとして表示する場合の表示例を示す模式図である。 表示例２における粒子の表示態様を示す模式図である。 表示例３における粒子の表示態様を示す模式図である。 表示例４における粒子の表示態様を示す模式図である。 アバタの表示例を示す模式図である。 ピン状のアバタの表示例を示す模式図である。 本発明の具体的な構成例を示すブロック図である。 本発明の概要を示す模式図である。 本発明の概要を示す他の模式図である。

以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
図１は、本発明の第１の実施形態の人流推定装置の構成例を示すブロック図である。第１の実施形態の人流推定装置は、画像取得装置１と、プログラム制御により動作するデータ処理装置２と、情報を記憶する記憶装置３とを備える。画像取得装置１は、カメラ等の撮像装置の出力や、ビデオ機器等の映像装置の出力から画像を取得する。

記憶装置３は、部分領域群記憶手段３１と、人状態記憶手段３２とを備える。

部分領域群記憶手段３１は、画像取得装置１が取得する画像の中に配置される個々の部分領域の位置およびサイズを記憶する。各部分領域の位置およびサイズは、例えば、人流推定装置の管理者によって、予め定められている。以下、管理者が部分領域を定める場合を例にして説明する。基本的に、管理者は、複数の部分領域によって画像全体が覆われるように、個々の部分領域の位置およびサイズを定めればよい。ただし、部分領域を定める態様は、上記の例に限定されない。例えば、管理者は、画像内で人流の推定対象となる領域に対してのみ、複数の部分領域を定めてもよい。また、管理者は、部分領域同士が重なるように、各部分領域を定めてもよい。また、管理者は、部分領域を、後述の人数推定手段２１等の機能に合わせて決定してもよい。部分領域群記憶手段３１は、決定された各部分領域の位置およびサイズを、予め記憶する。なお、上記の例では、管理者が部分領域を定める場合を示したが、プログラムが所定のルールに従って自動的に部分領域を定めてもよい。

以下、画像取得装置１が取得した画像の中で部分領域に該当する部分の画像を部分領域画像と記す。

人状態記憶手段３２は、人の状態を表す粒子の状態を記憶する。粒子の状態には、人の位置、人の移動速度（移動方向および速さ）、人の数を示す重み等の項目がある。一人の人の状態は、所定の複数個の粒子の状態で表される。この所定の複数個の粒子の数を、以下、一人当たりの粒子数と記す。例えば、一人の人を１００個の粒子で表す場合、人の数を表す重みは、粒子１個当たりで、１／１００＝０．０１となる。各粒子の重みの合計が人数となる。

また、各実施形態では、人の頭部位置を人の位置とする場合を示すが、人の足元や体の中心の位置を人の位置としてもよい。また、人の特定の部位を人の位置としてもよい。

また、人の位置や移動速度として、地面を模した実空間平面での位置や移動速度を用いる。ただし、人の位置や移動速度として、画像上での位置や移動速度を用いてもよい。また、粒子の状態に、実身長等の人に関する他の項目を加えてもよい。

データ処理装置２は、人数推定手段２１と、大略人位置決定手段２２と、動き情報取得手段２３と、観測モデル生成手段２４と、人状態推定手段２５とを備える。

人数推定手段２１は、予め定められた部分領域によって（換言すれば、予め部分領域群記憶手段３１に記憶されている各部分領域の位置およびサイズによって）、画像取得装置１が取得した画像の各部分領域画像に基づいて、各部分領域内の人数を推定する。人数推定手段２１は、学習によって得られた推定器を用いて、部分領域内の人数を推定してもよい。この場合、例えば、人数推定手段２１は、部分領域画像が入力されると部分領域内の人数を出力する推定器を、予め学習によって得ておく。人数推定手段２１は、部分領域画像をその推定器に入力することによって得られる人数を、部分領域内の人数の推定値として決定すればよい。上記の推定器を学習する際には、複数の人で構成される群衆を示す部分領域画像と、その部分領域画像に対応する人数の情報との組み合わせを複数用意しておき、その各組み合わせを教師データとして用いればよい。学習に用いる部分領域画像には、人同士が重なっている画像も含めておく。この学習は、部分領域ベースの学習であると言える。また、この学習に、特許文献２に記載の技術を用いてもよい。

なお、人数推定手段２１が部分領域内の人数を推定する方法は、上記の方法に限定されない。人数推定手段２１は、他の方法で、部分領域内の人数を推定してもよい。

また、人数推定手段２１による人数の推定結果は、小数点を含む数で表されるものとする。

図２は、大略人位置決定手段２２の処理例を示す模式図である。図２（ａ）は、部分領域毎に推定された人数の例を示している。

大略人位置決定手段２２は、部分領域毎に、人数推定手段２１によって推定された部分領域内の人数（小数点を含む数で表される人数）を、数えられる数（すなわち、整数）に補正する（図２（ｂ）参照）。さらに、大略人位置決定手段２２は、部分領域毎に、部分領域の位置およびサイズに基づいて、画像取得装置１が取得した画像上に、補正された人数分の人のおおよその位置を決定する（図２（ｃ）参照）。さらに、大略人位置決定手段２２は、部分領域毎に、補正前の人数（人数推定手段２１によって推定された人数）と補正後の人数とに基づいて、人数補正係数を算出する（図２（ｄ）参照）。そして、大略人位置決定手段２２は、人のおおよその位置に人が観測されたものとする。そして、大略人位置決定手段２２は、観測された人毎に、人のおおよその位置、人数補正係数、部分領域の位置およびサイズを整理する。図２（ｅ）は、この整理の結果を模式的に示している。この整理結果において、同じ部分領域で観測されたそれぞれの人の人数補正係数、部分領域の位置およびサイズはいずれも同じ値になる。

大略人位置決定手段２２は、例えば、小数第一位に対して四捨五入、切り上げ、または切り捨てを行うことによって、補正前の人数を整数に補正すればよい。また、大略人位置決定手段２２は、そのような方法による補正後の人数が０であり、かつ、補正前の人数が０より大きい場合には、補正後の人数を１に更新してもよい。

また、ここで示す人のおおよその位置は、人数推定手段２１が人の頭部に基づいて人数を推定する場合には、人の頭部の位置であり、人のおおよその位置は、人数推定手段２１に基づいて決定される。

また、大略人位置決定手段２２は、部分領域内のランダムな位置を、人のおおよその位置として決定してもよい。あるいは、大略人位置決定手段２２は、部分領域の中心位置を、人のおおよその位置として決定してもよい。また、大略人位置決定手段２２は、部分領域内の人の領域（部分領域内の画像で人が表れている領域）を特定し、部分領域内の人の領域におけるランダムな位置を、人のおおよその位置として決定してもよい。部分領域内の人の領域を特定する方法は、特に限定されない。大略人位置決定手段２２は、部分領域の位置およびサイズに基づいて人のおおよその位置を決定するならば、上述した方法とは別の方法で、人のおおよその位置を決定してもよい。

人数補正係数は、補正後の人数との積を計算することで補正前の人数を求めることができる係数である。大略人位置決定手段２２は、部分領域毎に、補正前の人数を補正後の人数で除算することによって、人数補正係数を算出する。

動き情報取得手段２３は、画像取得装置１が取得した画像に基づいて、画像上の動き情報（動きベクトル）を取得する。具体的には、動き情報取得手段２３は、新たな画像と過去の画像とを用いて、オプティカルフローである動きベクトルを算出する。新たな画像と過去の画像はいずれも、画像取得装置１によって得られた画像である。例えば、動き情報取得手段２３は、Ｌｕｃａｓ−Ｋａｎａｄｅ法で動きベクトルを算出してもよい。Ｌｕｃａｓ−Ｋａｎａｄｅ法は、特徴点ベースで動きベクトルを算出する方法である。また、例えば、動き情報取得手段２３は、Ｈｏｒｎ−Ｓｃｈｕｎｃｋ法またはＧｕｎｎａｒ Ｆａｒｎｅｂａｃｋ法で動きベクトルを算出してもよい。Ｈｏｒｎ−Ｓｃｈｕｎｃｋ法やＧｕｎｎａｒ Ｆａｒｎｅｂａｃｋ法は、画素ベースで密な動きベクトルを算出する方法である。動き情報取得手段２３は、他の方法で、動きベクトルを算出してもよい。

観測モデル生成手段２４は、観測された人毎に、観測された人のおおよその位置と、部分領域に関する情報とに基づいて、人を表す観測値に関する観測モデル（尤度関数）を生成する。部分領域に関する情報の例として、例えば、部分領域の位置およびサイズに基づいて決定された観測値の分散値や、部分領域における動き情報等が挙げられる。つまり、部分領域に関する情報は、部分領域の位置およびサイズに基づいて得ることができる情報である。

人を表す観測値は、画像等から観測できて、かつ、人を表す可能性を評価することができる。人を表す観測値の例として、例えば、画像上または実空間平面上の人の位置、画像上または実空間平面上の人のサイズ、画像上または実空間平面上の人の移動速度等が挙げられる。本実施形態の人流推定装置は、人を表す観測値として、複数種類の観測値を用いてもよい。その場合、観測モデル生成手段２４は、観測された人に対して、複数種類の観測モデルを生成する。

人を表す観測値に関する観測モデルは、人の状態が決まった条件下で、人を表す観測値が起こる確率を示すモデル（尤度関数）である。観測モデルに基づく確率が高いほど、観測値は人を表わしていて、かつ、条件とした人の状態は確からしいと評価される。つまり、粒子の状態（人の状態）に基づいて算出した観測値から、観測モデルによって人を表す確率を求めれば、その確率の高さによって、粒子の状態の確からしさを評価することができる。

観測モデルを生成する具体的な手法の例を以下に示す。
（例１）
観測値を、画像上の人の位置とする。ここでは、より具体的に、観測値を、画像上の人の頭部位置とする。この場合、大略人位置決定手段２２は、画像上の人の頭部のおおよその位置を決定する。その人の頭部のおおよその位置に、観測値（画像上の頭部位置）が近付く程、その観測値は“人らしい”（人であることが確からしい）と想定される。例えば、画像上の人の頭部位置が観測値である場合、観測モデル生成手段２４は、以下の式（１）で表される観測モデルを生成することができる。なお、観測値は、粒子の状態に基づいて求められる。

式（１）において、ｘは、粒子の状態（人の状態）である。ｏは、粒子の状態に基づいて求めた画像上の人の頭部位置である。すなわち、ｏは観測値である。ｏ’は、大略人位置決定手段２２によって決定された、画像上の人の頭部のおおよその位置である。σ^２ _ｏは、部分領域の位置およびサイズに基づいて決定された観測値（粒子の状態から求まる画像上の頭部位置）の分散値である。
（例２）
観測値を、画像上の人のサイズとする。ここでは、より具体的に、観測値を、画像上の人の頭部サイズとする。また、頭部サイズは、頭部の縦サイズであるものとする。この場合、大略人位置決定手段２２は、画像上の人の頭部のおおよその位置を決定する。そのおおよその位置と、画像を撮像する撮像装置のカメラパラメータ（撮像装置の焦点距離、レンズ歪み、位置、姿勢等を表すパラメータ）と、人の実身長とに基づいて得られる頭部サイズに、観測値（粒子の状態に基づいて算出される画像上の頭部サイズ）が近い程、その観測値は人らしいと想定される。例えば、画像上の人の頭部サイズが観測値である場合、観測モデル生成手段２４は、以下の式（２）で表される観測モデルを生成することができる。なお、人の実身長として、予め定められた定数を用いてもよい。また、粒子の状態に人の身長も含まれているならば、その身長を、人の実身長として用いてもよい。

式（２）において、ｘは、粒子の状態（人の状態）である。ｓは、粒子の状態に基づいて求めた画像上の人の頭部サイズである。ｓは観測値である。ｓ’は、大略人位置決定手段２２によって決定された画像上の人の頭部のおおよその位置と、カメラパラメータと、実身長とに基づいて得られる頭部サイズである。σ^２ _ｓは、部分領域の位置およびサイズと、カメラパラメータと、実身長とから得られる頭部サイズの範囲に基づいて決定される頭部サイズの分散値である。
（例３）
観測値を、画像上の人の移動速度とする。ここでは、より具体的に、観測値を、画像上の人の頭部の動きベクトルとする。この場合、大略人位置決定手段２２は、画像上の人の頭部のおおよその位置を決定する。そして、観測モデル生成手段２４は、そのおおよその位置の周辺の動きベクトルから、動きベクトルの平均を求める。観測モデル生成手段２４は、頭部のおおよその位置の周辺の動きベクトル（すなわち、動きベクトルの平均を求める元になる動きベクトル）を、動き情報取得手段２３が算出した動きベクトルと、頭部のおおよその位置とに基づいて求めればよい。動きベクトルの平均に、観測値（粒子の状態に基づいて算出される画像上の頭部の動きベクトル）が近い程、その観測値はより人らしいと想定される。例えば、観測値が画像上の人の頭部の動きベクトルである場合、観測モデル生成手段２４は、以下の式（３）で表される観測モデルを生成することができる。

式（３）において、ｘは、粒子の状態（人の状態）である。ｖ_ｉは、粒子の状態に基づいて求めた画像上の人の頭部の動きベクトルである。ｖ_ｉは観測値である。ｖ_ｉ’は、上記の平均の動きベクトルである。σ^２ _ｖは、部分領域の位置およびサイズと、カメラパラメータと、実身長と、一般的な歩行の速さに基づいて決定された観測値の分散値である。一般的な歩行の速さは、例えば、予め定めた定数であってよい。
（例４）
観測値を、画像上の人の移動速度とする。ここでは、より具体的に、観測値を、画像上の頭部の動きベクトルが示す方向および速さとする。この方向（移動方向）および速さは、２次元特徴と称することができる。この場合、観測された人に対応する部分領域内の動きベクトルが示す方向および粒子の速さに、観測値（粒子の状態から求まる動きベクトルが示す方向および速さ）が近いほど、その観測値は人らしいと想定される。この場合、観測モデル生成手段２４は、観測された人に対応する部分領域内の動きベクトルが示す方向および粒子の速さを用いて、二次元ヒストグラムを観測モデルとして生成する。観測モデル生成手段２４は、二次元ヒストグラムの頻度の合計を１に正規化する。
（例５）
観測値を、画像上の人の移動方向とする。ここでは、より具体的に、観測値を、画像上の頭部の動きベクトルが示す方向とする。この場合、観測された人に対応する部分領域内の動きベクトルが示す方向に、観測値（粒子の状態から求まる動きベクトルが示す方向）が近い程、その観測値は人らしいと想定される。この場合、観測モデル生成手段２４は、観測された人に対応する部分領域内の動きベクトルが示す方向を用いて、方向のヒストグラムを観測モデルとして生成する。観測モデル生成手段２４は、ヒストグラムの頻度の合計を１に正規化する。
（例６）
観測値を、画像上の人の移動の速さとする。ここでは、より具体的に、観測値を、画像上の頭部の動きベクトルが示す速さとする。この場合、観測された人に対応する部分領域内の動きベクトルが示す速さに、観測値（粒子の状態から求まる動きベクトルが示す速さ）が近い程、その観測値は人らしいと想定される。この場合、観測モデル生成手段２４は、観測された人に対応する部分領域内の動きベクトルが示す速さを用いて、速さのヒストグラムを観測モデルとして生成する。観測モデル生成手段２４は、ヒストグラムの頻度の合計を１に正規化する。

観測モデル生成手段２４は、基本的に観測された人毎に観測モデルを生成する。複数の種類の観測値を用いる場合には、観測モデル生成手段２４は、観測された人毎に、複数の種類の観測値に応じた複数の観測モデルを生成する。

人状態推定手段２５は、人状態記憶手段３２に記憶されている過去の（人の状態を表す）粒子の状態から、物理的なモデルに基づいて、現在の粒子の状態を予測する。また、人状態推定手段２５は、新たな粒子を追加で生成する。さらに、人状態推定手段２５は、観測された人毎に生成された観測モデルと人数補正係数とに基づいて、現在の粒子の状態の確からしさを評価して、粒子の重みを更新する。そして、人状態推定手段２５は、更新後の粒子の重みに比例した確率で粒子をリサンプリング（後述）する。人状態推定手段２５は、その結果得られた粒子の状態を人状態記憶手段３２に記憶するとともに、得られた粒子の状態を人流として出力する。具体的には、人状態推定手段２５は、粒子の状態が示す人の位置、人の移動速度、および、人の数を示す重みを、人流として出力する。このように、本実施形態では、人流を、人の位置、人の移動速度、および、人の数で表す。なお、粒子の状態に実身長が含まれる場合、実身長は出力の対象としなくてもよい。

人状態推定手段２５が粒子の状態を人流として出力する態様は、特に限定されない。例えば、人状態推定手段２５は、表示装置（図１において図示略）に、人流を表す粒子の状態を表示出力してもよい。また、人状態推定手段２５は、印刷装置（図示略）に、人流を表す粒子の状態を印刷出力してもよい。また、人状態推定手段２５は、外部の装置に、人流を表す粒子の状態をデータとして出力してもよい。

人状態推定手段２５は、一般的なパーティクルＰＨＤ（Probability Hypothesis Density）フィルタを活用してもよい。

図３は、人状態推定手段２５の構成例を示すブロック図である。人状態推定手段２５は、人状態予測手段２５１と、人状態評価手段２５２と、人状態更新手段２５３とを備える。

人状態予測手段２５１は、人状態記憶手段３２に記憶されている過去の人の状態を表す過去の粒子の状態から、物理的なモデルに基づいて、現在の粒子の状態を予測する。また、人状態予測手段２５１は、新たな粒子を追加で生成する。新たに追加される粒子は、新たに人が現れるという仮定に基づいている。

現在の時刻をｔとし、過去の時刻をｔ−１として、具体的に説明する。過去（時刻ｔ−１）の粒子の状態から、現在（時刻ｔ）の粒子の状態を予測するための微小経過時間をｄｔとする。また、微小経過時間ｄｔにおいて、人が等速直線運動をしているという仮定がある程度成り立つと想定する。人状態予測手段２５１は、以下に示す式（４）に示す計算を行い、過去の粒子の状態から現在の粒子の状態を予測する。なお、粒子の状態に実身長が含まれる場合、実身長は変化しないものとする。人状態予測手段２５１が現在の粒子の状態を予測する方法は、上記の方法に限定されず、他の方法であってもよい。

式（４）において、（Ｘ，Ｙ）は、粒子の位置である。（ｕ，ｖ）は、粒子の移動速度である。ｗは、粒子の重みである。ε_Ｘ，ε_Ｙ，ε_ｕ，ε_ｖは、ガウシアンノイズである。なお、式（４）で用いるノイズは、ガウシアンノイズ以外のノイズであってもよい。Ｐ_ｓは、生存確率（粒子が消滅せずに生き残る確率）であり、０＜Ｐ_ｓ＜１である。

また、人状態予測手段２５１は、部分領域毎に、人数推定手段２１によって推定される部分領域内の人数に基づいて、新たに追加する粒子の数を決定する。人状態予測手段２５１は、部分領域内の人数×一人当たりの粒子数×人の出現確率Ｐ_ｂを計算することによって、部分領域毎に、新たに追加する粒子の数を決定する。人状態予測手段２５１は、部分領域毎に、決定した数の粒子を生成する（換言すれば、追加する）。このとき、人状態予測手段２５１は、決定した数の粒子を、対応する部分領域に基づく位置に追加する。例えば、人状態予測手段２５１は、部分領域内で一様に分布する位置に、新しい粒子を追加する。粒子の位置が実空間平面上であるものとする場合、人状態予測手段２５１は、人の実身長と、撮像装置のカメラパラメータとに基づいて、粒子の位置を実空間平面上に変換する。また、人状態予測手段２５１は、粒子の移動速度については、例えば、人が取り得る移動速度の範囲で一様に分布する速度に、追加する新たな粒子の移動速度を定める。また、人状態予測手段２５１は新たな粒子の重みを“１／一人当たりの粒子数”とする。すなわち、人状態予測手段２５１は、１を一人当たりの粒子数で除算した値を、新たな粒子の重みとする。上記の出現確率Ｐ_ｂは、０＜Ｐ_ｂ＜１を満たす。出現確率Ｐ_ｂは、予め定められた所定の値であってもよい。あるいは、人状態予測手段２５１は、画像における部分領域の位置に応じて、出現確率Ｐ_ｂを変更してもよい。

粒子の状態に実身長が含まれる場合、人状態予測手段２５１は、新たな粒子が示す実身長を、人が取り得る身長に基づいて一様分布で定めてもよい。あるいは、人状態予測手段２５１は、新たな粒子が示す実身長を、過去の統計情報が示す分布に応じて定めてもよい。

以上、新たな粒子の生成方法の一例を説明したが、人状態予測手段２５１が新たな粒子を他の方法で生成してもよい。例えば、人状態予測手段２５１は、画像全体の中に、所定の数の粒子をランダムに生成してもよい。また、例えば、人状態予測手段２５１は、画像内で人が出現しやすい特定の位置を中心に、所定の数の粒子をランダムに生成してもよい。

人状態評価手段２５２は、観測された人毎に観測モデル生成手段２４によって生成された観測モデルに基づいて、観測された人に対応する粒子の状態の確からしさを評価する。具体的には、人状態評価手段２５２は、粒子の状態から観測値を算出し、その観測値と、観測された人毎に観測モデル生成手段２４によって生成された観測モデルとを用いて、その観測値の確率を計算する。この確率は、観測された人に対応する粒子の状態の確からしさを表している。観測値の種類が複数ある場合には、人状態評価手段２５２は、全ての種類の観測値に関して、粒子の状態の確からしさを評価する。

粒子の状態から観測値を算出する方法の例を以下に示す。

例えば、観測値が、画像上の頭部位置であるとする。この場合、人状態評価手段２５２は、粒子の位置と、人の実身長と、撮像装置のカメラパラメータとを用いて、画像上の頭部位置という観測値を算出することができる。

例えば、観測値が、画像上の頭部サイズであるとする。この場合、人状態評価手段２５２は、粒子の位置と、人の実身長と、所定の実頭部サイズと、撮像装置のカメラパラメータとを用いて、画像上の頭部サイズという観測値を算出することができる。所定の実頭部サイズは、例えば、予め定数として定めておけばよい。

例えば、観測値が、画像上の頭部の動きベクトルであるとする。この場合、人状態評価手段２５２は、現在の粒子の位置と、現在の粒子の位置および移動速度から求めた過去の粒子の位置と、人の実身長と、撮像装置のカメラパラメータとを用いて、画像上の頭部の動きベクトルという観測値を算出することができる。

なお、人の実身長として、予め定められた定数を用いてもよい。また、粒子の状態が人の身長も示しているならば、その身長を、人の実身長として用いてもよい。

人状態更新手段２５３は、人状態評価手段２５２で計算された、観測された人に対応する粒子の状態の確からしさを示す確率の値と、観測された人毎の人数補正係数と、更新前の粒子の重みとに基づいて、観測された人全てに対する粒子の状態の確からしさを評価して粒子の重みを更新する。人状態更新手段２５３は、人数推定手段２１で得られた部分領域内の人数の総和と、更新された粒子の重みの総和とを同じにするという条件のもとで、この処理を行う。人状態更新手段２５３は、更新後の粒子の重みに比例した確率で粒子をリサンプリングする。さらに、人状態更新手段２５３は、リサンプリングによって得られた粒子の状態を人状態記憶手段３２に記憶するとともに、得られた粒子の状態を人流として出力する。

人状態更新手段２５３は、部分領域内の人数の総和と、更新された粒子の重みの総和とを同じにするという条件のもとで、粒子の状態の確からしさを評価して粒子の重みを更新する。そのため、粒子の重みが人の数を表すという条件を満たしながら、人状態更新手段２５３は、粒子の状態の確からしさを粒子の重みに反映できる。人状態更新手段２５３は、人状態評価手段２５２で計算された、観測された人に対応する粒子の状態の確からしさを示す確率の値と、観測された人毎の人数補正係数と、更新前の粒子の重みとを用いて、以下に示す式（５）の計算により、粒子の重みを計算する。この重みは、観測された人全てに対する粒子の状態の確からしさの評価を表している。粒子の重みが大きい程、粒子の状態がより確からしい。人状態更新手段２５３は、式（５）で計算した重みで、粒子の重みを更新する。式（５）は、一般的なパーティクルＰＨＤフィルタの式に、観測された人に対応する人数補正係数を加えた式である。一般的なパーティクルＰＨＤフィルタの式には、各粒子の検出確率や、各観測値におけるクラッターの確率密度等を設定できるが、本実施形態においても同様である。

式（５）において、ｔ’は更新後を表し、ｔは更新前（現在の時刻）を表す。ｗ^（ｉ） _ｔ’は、ｉ番目の粒子における更新後の粒子の重みである。ｗ^（ｉ） _ｔは、ｉ番目の粒子における更新前の粒子の重みである。ｘ^（ｉ） _ｔは、ｉ番目の粒子における粒子の状態である。ｚ^（ｊ） _ｔは、ｊ番目の観測された人における観測値である。Ｌ（ｚ^（ｊ） _ｔ｜ｘ^（ｉ） _ｔ）は、ｊ番目の観測された人に対応するｉ番目の粒子における粒子の状態の確からしさであり、確率で表される。Ｃ^（ｊ） _ｔは、ｊ番目の観測された人の人数補正係数である。Ｍは観測された人の総数（整数）である。Ｎは、粒子の総数である。

Ｌ（ｚ^（ｊ） _ｔ｜ｘ^（ｉ） _ｔ）は、ある観測された人に対応するある粒子の状態の確からしさである。式（５）の左辺は、観測された人全てに対するある粒子の状態の確からしさである。

観測値の種類が複数ある場合、粒子の状態の確からしさを示す確率の値Ｌ（ｚ^（ｊ） _ｔ｜ｘ^（ｉ） _ｔ）は、観測値の種類の数に応じて、確率の値の積で表す。例えば、３種類の観測値があり、それぞれの観測値を、ｚ^’（ｊ） _ｔ，ｚ^{’ ’（ｊ）} _ｔ，ｚ^{’ ’ ’（ｊ）} _ｔとする。この場合、Ｌ（ｚ^（ｊ） _ｔ｜ｘ^（ｉ） _ｔ）は、以下に示す式で表される。
Ｌ（ｚ^（ｊ） _ｔ｜ｘ^（ｉ） _ｔ）＝Ｌ（ｚ^’（ｊ） _ｔ｜ｘ^（ｉ） _ｔ）×Ｌ（ｚ^{’ ’（ｊ）} _ｔ｜ｘ^（ｉ） _ｔ）
×Ｌ（ｚ^{’ ’ ’（ｊ）} _ｔ｜ｘ^（ｉ） _ｔ）
さらに、人状態更新手段２５３は、粒子の重みを“１／一人当たりの粒子数”という基本的な重みに復元するために、以下の処理を行う。以下、“１／一人当たりの粒子数”を基本的重みと記す。人状態更新手段２５３は、更新された粒子の重みの総和と基本的重みの総和が等しくなるような粒子数を決定する。この粒子数をＱ個とすると、人状態更新手段２５３は、更新された粒子の重みの総和＝基本的重み×ＱをＱについて解くことによって、上記の粒子数を決定する。次に、人状態更新手段２５３は、決定した数（Ｑ個）の粒子を、更新された粒子の重みに比例した確率で、抽出する。例えば、１回の抽出処理で１個の粒子を抽出するものとする。この場合、人状態更新手段２５３は、更新された各粒子の重みに比例した確率に基づいて、１個の粒子を抽出する。人状態更新手段２５３は、この処理をＱ回実行することによって、Ｑ個の粒子を抽出すればよい（リサンプリング）。人状態更新手段２５３は、この処理によって、更新後の重みが大きい粒子の数を増やし、更新後の重みが小さい粒子を破棄するように、粒子に対するフィルタリングを行っている。そして、人状態更新手段２５３は、抽出したＱ個の粒子の重みをそれぞれ基本的重み（１／一人当たりの粒子数）に変更する。さらに、人状態更新手段２５３は、それらの粒子の状態を人状態記憶手段３２に記憶するとともに、それらの粒子の状態を人流として出力する。具体的には、人状態推定手段２５は、粒子の状態が示す人の位置、人の移動速度、および、人の数を人流として出力する。なお、人の数は、粒子の重みの総和で表される。また、人流は、人の位置、人の移動速度、および、人の数で表される。

なお、本実施形態は、人を対象にして人流を推定するが、人以外の物体を対象にして物体の流れを推定してもよい。

人数推定手段２１、大略人位置決定手段２２、動き情報取得手段２３、観測モデル生成手段２４、および人状態推定手段２５（人状態予測手段２５１と人状態評価手段２５２と人状態更新手段２５３とを含む人状態推定手段２５）は、例えば、コンピュータのＣＰＵ（Central Processing Unit）によって実現される。この場合、ＣＰＵは、コンピュータのプログラム記憶装置（図示略）等のプログラム記録媒体から人流推定プログラムを読み込み、そのプログラムに従って、人数推定手段２１、大略人位置決定手段２２、動き情報取得手段２３、観測モデル生成手段２４、および人状態推定手段２５として動作すればよい。

次に、処理経過について説明する。図４は、本発明の第１の実施形態の処理経過の例を示すフローチャートである。既に説明した処理の詳細については、適宜、省略する。

まず、画像取得装置１は、カメラ等の撮像装置の出力や、ビデオ機器等の映像装置の出力から画像を取得する（ステップＳ１）。

次に、人数推定手段２１は、予め定められた部分領域によって、画像取得装置１が取得した画像の各部分領域画像に基づいて、各部分領域内の人数を推定する（ステップＳ２）。

次に、大略人位置決定手段２２は、部分領域毎に、人数推定手段２１によって推定された部分領域内の人数（小数点を含む数で表される人数）を整数に補正する（ステップＳ３）。大略人位置決定手段２２は、部分領域毎に、部分領域の位置およびサイズに基づいて、画像上に、補正された人数分の人のおおよその位置を決定する（ステップＳ４）。さらに、大略人位置決定手段２２は、部分領域毎に、補正前の人数と補正後の人数とに基づいて、人数補正係数を算出する（ステップＳ５）。大略人位置決定手段２２は、人のおおよその位置に人が観測されたものとして、観測された人毎に、人のおおよその位置、人数補正係数、部分領域の位置およびサイズを整理する（ステップＳ６）。

動き情報取得手段２３は、ステップＳ１で得られた画像に基づいて、画像上の動き情報を取得する（ステップＳ７）。

観測モデル生成手段２４は、観測された人毎に、観測された人に対応する人のおおよその位置と、部分領域に関する情報とに基づいて、人を表す観測値に関する観測モデルを生成する（ステップＳ８）。

人状態推定手段２５は、人状態記憶手段３２に記憶されている過去の人の状態を表す粒子の状態から、物理的なモデルに基づいて、現在の粒子の状態を予測する。また、人状態推定手段２５は、新たな粒子を追加で生成する。さらに、人状態推定手段２５は、観測された人毎に生成された観測モデルと人数補正係数とに基づいて、現在の粒子の状態の確からしさを評価して粒子の重みを更新する。そして、人状態推定手段２５は、更新後の粒子の重みに比例した確率で粒子をリサンプリングする。人状態推定手段２５は、その結果得られた粒子の状態を人状態記憶手段３２に記憶するとともに、得られた粒子の状態が示す人の位置、人の移動速度、および、人の数を人流として出力する（ステップＳ９）。

人流推定装置は、画像取得装置１が画像を取得する間、ステップＳ１〜Ｓ９を繰り返す。また、人流推定装置は、ステップＳ７を、ステップＳ２の前に実行してもよい。また、人流推定装置は、ステップＳ５を、ステップＳ４の前に実行してもよい。

図５は、ステップＳ９の処理経過の例を示すフローチャートである。人状態予測手段２５１は、人状態記憶手段３２に記憶されている過去の人の状態を表す過去の粒子の状態から、物理的なモデルに基づいて、現在の粒子の状態を予測する（ステップＳ９１）。人状態予測手段２５１は、前述の式（４）の計算によって、現在の粒子の状態を予測すればよい。次に、人状態予測手段２５１は、新たな粒子を追加で生成する（ステップＳ９２）。

人状態評価手段２５２は、観測された人毎に生成された観測モデルに基づいて、観測された人に対応する粒子の状態の確からしさを評価する（ステップＳ９３）。ステップＳ９３において、人状態評価手段２５２は、粒子の状態から観測値を算出し、その観測値と、観測モデルとを用いて、その観測値の確率を計算すればよい。

次に、人状態更新手段２５３は、ステップＳ９３で計算された、観測された人に対応する粒子の状態の確からしさを示す確率の値と、観測された人毎の人数補正係数と、更新前の粒子の重みとに基づいて、観測された人全てに対する粒子の状態の確からしさを評価して粒子の重みを更新する（ステップＳ９４）。人状態更新手段２５３は、人数推定手段２１で得られた部分領域内の人数の総和と、更新された粒子の重みの総和とを等しくするという条件のもとで、ステップＳ９４の処理を行う。ステップＳ９４において、人状態更新手段２５３は、式（５）の計算によって、粒子の重みを計算し、その計算結果で粒子の重みを更新する。

次に、人状態更新手段２５３は、更新後の粒子の重みに比例した確率で粒子をリサンプリングし（ステップＳ９５）、その結果得られた粒子の状態を人状態記憶手段３２に記憶するとともに、得られた粒子の状態が示す人の位置、人の移動速度、および、人の数を人流として出力する（ステップＳ９６）。そして、ステップＳ９を終了する。

本実施形態によれば、人数推定手段２１は、部分領域ベースの学習による画像認識に基づいて、部分領域内の人数を推定している。部分領域ベースの学習では、人同士の重なりを含めて学習を行っている。従って、人数推定手段２１による部分領域内の人数の推定は、混雑環境下においても頑健である。また、本実施形態では、部分領域内の人数という情報に基づいて、人流を推定している。そして、本実施形態では、画像間で人同士を対応付けて追跡するという処理を行っていない。そのため、混雑環境下で人同士の重なりが発生しても、人流を推定できる。すなわち、本実施形態によれば、混雑環境下であっても人流を推定できる。

また、本実施形態によれば、観測モデル生成手段２４が、観測された人毎に観測モデルを生成し、人状態推定手段２５は、人の状態を、それぞれ重みづけられた複数の粒子の状態で表し、観測モデルによって、各粒子の状態の確からしさを１つ１つ求め、それらの結果を総合的に評価して、各粒子の重みを更新する。従って、本実施形態によれば、人の状態と対応しない粒子があったとしても、当該粒子の重みは低くなるので、粒子の確からしさを正当に評価することができる。
実施形態２．
図６は、本発明の第２の実施形態の人流推定装置の構成例を示すブロック図である。第１の実施形態における構成要素と同様の構成要素については、図１に示す構成要素と同一の符号を付し、説明を省略する。

第２の実施形態における記憶装置５は、第１の実施形態における記憶装置３が備える構成要素に加えて、通過ライン記憶手段３３を備える。

また、第２の実施形態におけるデータ処理装置４は、第１の実施形態におけるデータ処理装置２が備える構成要素に加えて、通過人数算出手段２６を備える。

通過ライン記憶手段３３は、通過ラインを規定する２点の座標を記憶する。通過ラインは、通過方向別の通過人数を算出する対象となるラインである。通過ラインは、予め定められている。通過ラインを規定する２点の座標の単位は、人流として得られる粒子の位置および移動速度に応じて定めればよい。粒子の位置および移動速度が、地面を模した実空間平面上における位置および移動速度であるならば、座標の単位も、その位置および移動速度に応じて定めればよい。また、粒子の位置および移動速度が画像上における位置および移動速度であるならば、座標の単位も、その位置および移動速度に応じて定めればよい。

通過人数算出手段２６は、人流として出力された現在の粒子の状態と、その粒子の状態から推定された過去の粒子の位置と、１回前に人流として出力された過去の粒子の状態と、その粒子の状態から推定された現在の粒子の位置とに基づいて、通過ラインを通過する粒子を通過方向別に抽出し、抽出した粒子の重みを用いて、通過方向別の通過人数を算出する。

以下、図７を参照して、通過人数算出手段２６の動作をより具体的に説明する。図７は、現在および過去の粒子の位置関係の例を示す模式図である。図７（ａ）は、現在の粒子の位置と、その粒子の状態から推定された過去の粒子の位置を示している。図７（ａ）では、現在の粒子を実線の円で囲んで示し、推定された過去の粒子を破線の円で囲んで示している。また、図７（ｂ）は、１回前に人流として出力された過去の粒子の位置と、その粒子の状態から推定された現在の粒子の位置とを示している。図７（ｂ）では、過去の粒子を実線の円で囲んで示し、推定された現在の粒子を破線の円で囲んで示している。

また、通過人数算出手段２６は、１回前に人流が出力されてから現在までの経過時間（ｄｔと記す。）において粒子が等速直線運動するものとして、過去の粒子の位置や現在の粒子の位置を推定する。

人流として出力された現在の粒子の状態は、現在の粒子の位置や移動速度を示している。通過人数算出手段２６は、経過時間ｄｔにおいて粒子が等速直線運動するものとして、現在の粒子の状態から過去の粒子の位置を推定する。通過人数算出手段２６は、現在の粒子の位置と、推定した過去の粒子の位置とを直線で結び、通過ラインとその直線が交差しているか否かに基づいて、通過ラインを通過する粒子を抽出する。また、通過ラインの通過方向として２種類の通過方向（正方向および負方向）が予め定められている。例えば、通過ラインを基準とする所定側から他方側への通過方向を正方向とし、正方向と反対方向の通過方向を負方向とする。通過人数算出手段２６は、通過ラインを通過する粒子を通過方向別に抽出する。例えば、通過人数算出手段２６は、現在の粒子の位置と、推定した過去の粒子の位置とを直線で結び、通過ラインとその直線が交差していて、過去の粒子の位置が上記の所定側に存在する場合、その粒子を、正方向に通過ラインを通過する粒子として抽出する。また、例えば、通過人数算出手段２６は、現在の粒子の位置と、推定した過去の粒子の位置とを直線で結び、通過ラインとその直線が交差していて、過去の粒子の位置が上記の他方側に存在する場合、その粒子を、負方向に通過ラインを通過する粒子として抽出する。

さらに、通過人数算出手段２６は、通過方向別に抽出した各粒子の重みを、通過方向別に合計する。すなわち、通過人数算出手段２６は、正方向に通過ラインを通過する粒子の重みの合計と、負方向に通過ラインを通過する粒子の重みの合計をそれぞれ計算する。通過人数算出手段２６は、各合計値に基づいて、通過ラインを通過する人の数を通過方向別に算出する。すなわち、通過人数算出手段２６は、正方向に通過ラインを通過する粒子の重みの合計値に基づいて、正方向に通過ラインを通過する人の数を算出し、負方向に通過ラインを通過する粒子の重みの合計値に基づいて、負方向に通過ラインを通過する人の数を算出する。

同様に、通過人数算出手段２６は、経過時間ｄｔにおいて粒子が等速直線運動するものとして、１回前に人流として出力された過去の粒子の状態から現在の粒子の位置を予測する。そして、通過人数算出手段２６は、上記の場合と同様に、通過ラインを通過する粒子を通過方向別に抽出する。例えば、通過人数算出手段２６は、過去の粒子の位置と、推定した現在の粒子の位置とを直線で結び、通過ラインとその直線が交差していて、過去の粒子の位置が上記の所定側に存在する場合、その粒子を、正方向に通過ラインを通過する粒子として抽出する。また、例えば、通過人数算出手段２６は、過去の粒子の位置と、予測した現在の粒子の位置とを直線で結び、通過ラインとその直線が交差していて、過去の粒子の位置が上記の他方側に存在する場合、その粒子を、負方向に通過ラインを通過する粒子として抽出する。

さらに、前述の場合と同様に、通過人数算出手段２６は、通過方向別に抽出した各粒子の重みを、通過方向別に合計し、各合計値に基づいて、通過ラインを通過する人の数を通過方向別に算出する。すなわち、通過人数算出手段２６は、正方向に通過ラインを通過する粒子の重みの合計と、負方向に通過ラインを通過する粒子の重みの合計をそれぞれ計算する。そして、正方向に通過ラインを通過する粒子の重みの合計値に基づいて、正方向に通過ラインを通過する人の数を算出し、負方向に通過ラインを通過する粒子の重みの合計値に基づいて、負方向に通過ラインを通過する人の数を算出する。

この結果、現在の粒子の状態から過去の粒子の位置を推定することによって算出した正方向に通過ラインを通過する人の数および負方向に通過ラインを通過する人の数、並びに、過去の粒子の状態から現在の粒子の位置を予測することによって算出した正方向に通過ラインを通過する人の数および負方向に通過ラインを通過する人の数が得られる。

通過人数算出手段２６は、現在の粒子の状態から過去の粒子の位置を推定することによって算出した正方向に通過ラインを通過する人の数と、過去の粒子の状態から現在の粒子の位置を予測することによって算出した正方向に通過ラインを通過する人の数との平均値を計算し、その平均値を、正方向に通過ラインを通過する人の数として決定する。同様に、通過人数算出手段２６は、現在の粒子の状態から過去の粒子の位置を推定することによって算出した負方向に通過ラインを通過する人の数と、過去の粒子の状態から現在の粒子の位置を推定することによって算出した負方向に通過ラインを通過する人の数との平均値を計算し、その平均値を、負方向に通過ラインを通過する人の数として決定する。通過人数算出手段２６は、各通過方向の通過人数を出力する。

上記の例では、通過人数算出手段２６が正方向および負方向の通過人数を２つの方法で算出し、２つの方法で算出した正方向の通過人数の平均値と、２つの方法で算出した負方向の通過人数の平均値を求める場合を説明した。通過人数算出手段２６は、現在の粒子の状態から過去の粒子の位置を推定する方法と、過去の粒子の状態から現在の粒子の位置を予測する方法のうちのいずれか一方の方法のみで、正方向の通過人数および負方向の通過人数を算出してもよい。

また、通過ライン記憶手段３３に、通過ラインが複数定められていてもよい。通過ラインが複数定められている場合には、通過人数算出手段２６は、通過ライン毎に、正方向の通過人数および負方向の通過人数を算出すればよい。

また、通過人数算出手段２６が通過方向別の通過人数を算出する方法は、上記の例に限定されない。例えば、通過人数算出手段２６は、人流として出力された現在の粒子の状態と、人状態予測手段２５１が式（４）による予測に用いた過去の粒子の状態とに基づいて、通過ラインを通過する人の数を通過方向別に算出してもよい。この場合の具体的な処理を以下に示す。

通過人数算出手段２６は、人流として出力された現在の粒子の状態を特定するとともに、式（４）でその粒子の状態を予測する際に用いた過去の粒子の状態を特定する。そして、通過人数算出手段２６は、現在の粒子の位置と、対応する過去の粒子の位置とを直線で結び、通過ラインとその直線が交差していて、過去の粒子の位置が前述の所定側に存在する場合、その粒子を、正方向に通過ラインを通過する粒子として抽出する。また、通過人数算出手段２６は、現在の粒子の位置と、対応する過去の粒子の位置とを直線で結び、通過ラインとその直線が交差していて、過去の粒子の位置が前述の他方側に存在する場合、その粒子を、負方向に通過ラインを通過する粒子として抽出する。そして、通過人数算出手段２６は、正方向に通過ラインを通過する粒子の重みの合計と、負方向に通過ラインを通過する粒子の重みの合計をそれぞれ計算する。さらに、通過人数算出手段２６は、正方向に通過ラインを通過する粒子の重みの合計値に基づいて、正方向に通過ラインを通過する人の数を算出し、負方向に通過ラインを通過する粒子の重みの合計値に基づいて、負方向に通過ラインを通過する人の数を算出する。

ただし、現在の粒子が新たに追加された粒子である場合、その粒子に対応する過去の粒子の状態が得られない。そのため、通過人数算出手段２６は、現在の粒子が新たに追加された粒子である場合、その粒子を抽出対象から除外する。

また、通過人数算出手段２６は、複数の方法で、各通過方向の通過人数を算出し、通過方向別に、複数の方法で算出した通過人数を統合してもよい。

通過人数算出手段２６は、例えば、人流推定プログラムに従って動作するコンピュータのＣＰＵによって実現される。

第２の実施形態においても、第１の実施形態と同様の効果が得られる。

また、第２の実施形態では、第１の実施形態と同様に、混雑環境下でも頑健に得られる部分領域内の人数に基づいて、人流に該当する粒子の情報を得る。また、画像間で人同士を対応付けて追跡するという処理を行っていない。そして、通過人数算出手段２６は、その粒子の情報から、通過方向別に通過ラインを通過する人の数を算出する。従って、人の重なりが発生する混雑環境下でも、通過方向別に通過ラインを通過する人の数を適切に算出することができる。
実施形態３．
図８は、本発明の第３の実施形態の人流推定装置の構成例を示すブロック図である。第１の実施形態における構成要素と同様の構成要素については、図１に示す構成要素と同一の符号を付し、説明を省略する。

第３の実施形態における人流推定装置は、画像取得装置１、データ処理装置６、記憶装置３に加えて、表示装置７を備える。表示装置７は、例えば、液晶ディスプレイ装置等によって実現される。

また、第３の実施形態におけるデータ処理装置６は、第１の実施形態におけるデータ処理装置２が備える構成要素に加えて、表示制御手段２７を備える。

表示制御手段２７は、人の位置、人の移動速度、および人の数（重み）を示す粒子を、表示装置７上に表示する。以下、粒子を表す図形として表示装置７上に表示される図形を、オブジェクトと記す場合がある。以下に、粒子を表すオブジェクトの種々の表示例を示す。
（表示例１）
表示制御手段２７は、人の位置、移動速度、および重みの組み合わせが全く同じである全ての粒子を１つの粒子にマージする。このとき、表示制御手段２７は、マージされる各粒子の重みの総和を、マージ後の１つの粒子の重みとして定める。表示制御手段２７は、このマージ処理を、全ての粒子に対して行う。表示制御手段２７は、このマージ処理後の個々の粒子をそれぞれオブジェクトとして表示装置７上に表示する。図９は、表示制御手段２７がマージ処理後の個々の粒子をそれぞれオブジェクトとして表示する場合の表示例を示す模式図である。図９（ａ）は、オブジェクトが円と矢印の組み合わせである場合の表示例を示し、図９（ｂ）は、オブジェクトが二等辺三角形である場合の例を示す。

図９（ａ）を参照して、表示制御手段２７がマージ処理後の粒子を円と矢印の組み合わせで表示する場合について説明する。表示制御手段２７は、円の中心を粒子の位置に合わせて、円を表示する。このとき、表示制御手段２７は、粒子の重みに応じて、円の半径を定めて、円を表示する。表示制御手段２７は、重みの値が大きい程、円の半径を長くすればよい。さらに、表示制御手段２７は、矢印の始点を粒子の位置に合わせて、矢印を表示する。この矢印は、粒子が示す移動速度を表している。表示制御手段２７は、矢印の向きを粒子の移動方向に合わせ、また、その移動速度における速さに応じて矢印の長さを定めて、矢印を表示する。表示制御手段２７は、速さの値が大きい程、矢印を長くすればよい。なお、矢印の始点とは、アローヘッド（arrowhead）とは反対側の端部を意味する。

図９（ｂ）を参照して、マージ処理後の粒子を二等辺三角形で表示する場合について説明する。表示制御手段２７は、二等辺三角形の底辺の中点を粒子の位置に合わせて、二等辺三角形を表示する。このとき、表示制御手段２７は、粒子の重みに応じて、二等辺三角形の底辺の長さを定める。表示制御手段２７は、重みの値が大きい程、底辺を長くすればよい。また、表示制御手段２７は、二等辺三角形の頂点の方向を、粒子が示す移動速度の方向に合わせる。また、表示制御手段２７は、移動速度における速さに応じて、二等辺三角形の底辺から頂点までの距離を定める。表示制御手段２７は、速さの値が大きい程、底辺から頂点までの距離を長くすればよい。表示制御手段２７は、そのように二等辺三角形の形状を定めた後、二等辺三角形を表示する。ここで、二等辺三角形の頂点とは、二等辺三角形の等辺に共有される頂点である。

ここでは、オブジェクトが円と矢印の組み合わせや二等辺三角形である場合を例示したが、粒子の位置、移動速度（方向および速さ）、および重みを表現できるオブジェクトであれば、円と矢印の組み合わせや二等辺三角形以外であってもよい。例えば、粒子の位置をオブジェクトの位置で表し、粒子の重みをオブジェクトの大きさや幅で表し、粒子の移動方向および速さをオブジェクトの向きおよび長さで表すことができれば、上記の例以外のオブジェクトを、表示例１に適用することができる。

また、表示制御手段２７は、重みが所定の値より大きい粒子のみを表示対象としてもよい。この場合、表示制御手段２７は、重要な粒子を強調して表示することができる。
（表示例２）
図１０は、表示例２における粒子の表示態様を示す模式図である。表示制御手段２７は、例えば、ユーザインタフェースを介して、外部から、画面上または実空間平面上に対する閉空間の設定を受け付ける。閉空間を設定するユーザは、一部の粒子を囲むように閉空間を設定する。なお、ユーザではなく、外部のシステム等が、閉空間を設定してもよい。

閉空間が設定されると、表示制御手段２７は、閉空間内の粒子の重みの総和を計算し、その総和から、閉空間内の人数を算出する。また、表示制御手段２７は、閉空間内の粒子の移動速度から、代表速度（代表となる移動速度）を算出する。例えば、表示制御手段２７は、粒子の移動速度の平均値や最頻値等に基づいて、代表速度を求める。そして、表示制御手段２７は、設定された閉空間と、算出した閉空間内の人数と、上記の代表速度を表す矢印とを、図１０に例示するように、表示装置７上に表示する。表示制御手段２７は、例えば、閉空間の近傍に、閉空間内の人数を表示する。図１０は、“３人”という閉空間内の人数を表示した場合を例示している。また、表示制御手段２７は、代表速度の速さに応じた矢印の長さを定め、代表速度の向きに矢印の向きを定め、その矢印の始点を閉空間の中心に配置して、矢印を表示する。さらに、表示制御手段２７は、代表速度の速さに応じた数値または文言を、表示装置７上に表示する。速さに応じた数値の例として、例えば、「１２０ｃｍ／ｓｅｃ」等が挙げられる。この場合、表示制御手段２７は、代表速度の速さに単位を付して表示すればよい。また、速さに応じた文言の例として、例えば、「滞留」、「歩行」、「疾走」、「速さ：中」等が挙げられる。文言を表示する場合、表示制御手段２７は、速さの範囲と文言との対応関係を記憶しておき、代表速度の速さに対応する文言を選択し、その文言を表示装置７上に表示すればよい。図１０では、「歩行」という文言を表示した場合を例示している。なお、表示する文言は、上記の例に限定されない。

また、表示例２において、表示制御手段２７は、粒子の位置、移動速度および重みを示すオブジェクトを重ねて表示してもよい。図１０では、粒子毎に円と矢印の組み合わせを表示する場合を例示している。
（表示例３）
図１１は、表示例３における粒子の表示態様を示す模式図である。本例では、画像や実空間平面に予め格子状の複数の閉空間が設定される（図１１参照）。表示制御手段２７は、閉空間毎に、閉空間内の粒子の重みの総和を計算し、その総和から、閉空間内の人数を算出する。表示制御手段２７は、算出した人数が「０」よりも大きい閉空間を対象にして、閉空間内の粒子の移動速度から、代表速度（代表となる移動速度）を算出する。例えば、表示制御手段２７は、粒子の移動速度の平均値や最頻値等に基づいて、代表速度を求める。表示制御手段２７は、格子状の各閉空間と、閉空間毎に算出した人数を、表示装置７上に表示する。さらに、表示制御手段２７は、算出した人数が「０」よりも大きい閉空間では、算出した代表速度を表す矢印も表示装置７上に表示する（図１１参照）。このとき、表示例２と同様に、表示制御手段２７は、代表速度の速さに応じた矢印の長さを定め、代表速度の向きに矢印の向きを定め、その矢印の始点を閉空間の中心に配置して、矢印を表示すればよい。

また、表示例２と同様に、表示制御手段２７は、粒子の位置、移動速度および重みを示すオブジェクトを重ねて表示してもよい。
（表示例４）
図１２は、表示例４における粒子の表示態様を示す模式図である。本例では、表示制御手段２７は、粒子をクラスタリングし、同一のクラスタに属する粒子を囲む閉空間を設定する。クラスタリングの態様は特に限定されない。例えば、表示制御手段２７は、粒子の位置に基づいて、粒子をクラスタリングしてもよい。また、例えば、表示制御手段２７は、粒子の位置と、移動速度の方向とに基づいて、粒子をクラスタリングしてもよい。また、例えば、表示制御手段２７は、粒子の位置と、移動速度の速さとに基づいて、粒子をクラスタリングしてもよい。また、例えば、表示制御手段２７は、粒子の位置と移動速度とに基づいて、粒子をクラスタリングしてもよい。

そして、表示制御手段２７は、閉空間毎に、表示例２と同様の動作を行えばよい。すなわち、表示制御手段２７は、閉空間毎に、閉空間内の粒子の重みの総和を計算し、その総和から、閉空間内の人数を算出する。また、表示制御手段２７は、閉空間毎に、閉空間内の粒子の移動速度から、代表速度（代表となる移動速度）を算出する。そして、表示制御手段２７は、閉空間毎に、閉空間と、算出した閉空間内の人数と、上記の代表速度を表す矢印と、代表速度の速さに応じた数値または文言とを、表示装置７上に表示する（図１２参照）。矢印の定め方は、表示例２と同様である。また、代表速度の速さに応じた数値または文言の定め方も、表示例２と同様である。

また、表示例２と同様に、表示制御手段２７は、粒子の位置、移動速度および重みを示すオブジェクトを重ねて表示してもよい。

上記の表示例１〜４において、表示制御手段２７は、オブジェクトの色を、オブジェクトの基となる粒子の移動速度の方向、速さ、および粒子の重みうちの少なくともいずれか１つに基づいて変化させてもよい。また、上記の表示例１〜４において、表示制御手段２７は、画像取得装置１が取得した画像または地図の上に、オブジェクト等を重ねて表示してもよい。また、表示制御手段２７は、閉空間内を半透明として、閉空間内の色を、閉空間内の人数、代表速度の方向および速さのうちの少なくともいずれか１つに基づいて変化させてもよい。また、上記の表示例１〜４において、表示制御手段２７は、実空間平面上のオブジェクトを、撮像装置のカメラパラメータと実高さとを用いて、画像上に投影して表示してもよい。

また、閉空間を用いた表示例（表示例２〜４）において、表示制御手段２７は、オブジェクトの位置に、画像の見え方に合うアバタを表示してもよい。このとき、表示制御手段２７は、オブジェクトの基となる粒子の移動速度の方向にアバタの向きを合わせてもよい。また、表示制御手段２７は、オブジェクトの基となる粒子の移動速度の速さに応じて、アバタの形状を変化させてもよい。例えば、速さが滞留時の速さであるならば、表示制御手段２７は、直立形状のアバタを表示してもよい。また、例えば、速さが歩行時の速さであるならば、表示制御手段２７は、歩行形状のアバタを表示してもよい。また、例えば、速さが疾走時の速さであるならば、疾走形状のアバタを表示してもよい。速さに応じた形状であれば、アバタの形状は、限定されない。

また、表示制御手段２７は、オブジェクトが表わす人数に応じて、アバタの数を調節してアバタを表示してもよい。また、その人数が、小数点を含む数である場合、１つのアバタを“１”とみなし、表示制御手段２７は、整数部分に対応する各アバタに関してはそれぞれ全体を塗りつぶした状態とし、１つのアバタに関しては小数の値に応じた面積を塗りつぶした状態として、各アバタを表示してもよい。

図１３は、アバタの表示例を示す模式図である。図１３は、表示制御手段２７が、実空間平面上の閉空間に関するオブジェクトを画像上に投影し、投影されたオブジェクトの上に人を表すアバタを表示した場合を例示している。

また、閉空間を用いない表示例（表示例１）において、表示制御手段２７は、オブジェクトの位置に、画像の見え方に合うピン状のアバタを表示してもよい。このピン状のアバタは、人を模したアバタであり、かつ、向きを定めることができるアバタである。なお、このアバタは、ピン状に限定されない。表示制御手段２７は、オブジェクトの基となる粒子の移動速度の方向に、ピン状のアバタの向きをあわせてもよい。また、表示制御手段２７は、オブジェクトの基となる粒子の重みの値に応じて、ピン状のアバタの形状を変化させてもよい。例えば、表示制御手段２７は、重みの値に応じて、ピン状のアバタの太さ、大きさまたは高さを変化させてもよい。ここでは、太さ、大きさまたは高さを変化させる場合を例示したが、表示制御手段２７は、他の態様で、アバタの形状を変化させてもよい。

図１４は、ピン状のアバタの表示例を示す模式図である。図１４は、表示制御手段２７が、実空間平面上のオブジェクトを画像上に投影し、投影されたオブジェクトの上にピン状のアバタを表示した場合を例示している。

表示制御手段２７は、例えば、人流推定プログラムに従って動作するコンピュータのＣＰＵによって実現される。

第３の実施形態においても、第１の実施形態と同様の効果が得られる。

また、第３の実施形態では、粒子の状態が示す位置、移動速度および重みに応じて、視覚的に強調したオブジェクトを表示する。従って、ユーザは、表示装置７の画面で、人流全体の状態を直感的に理解できる。

また、第３の実施形態では、粒子を、意味のあるグループ単位にまとめている。例えば、粒子をマージしたり、閉空間により粒子のグループを定めたりしている。そして、表示制御手段２７は、グループの代表の人流状態をオブジェクトとして表示する。従って、意味を理解しやすい単位で人流を強調するので、ユーザは、人流の状態をより明確に理解できる。

また、人流推定装置は、第２の実施形態の機能と、第３の実施形態の機能の双方を備えていてもよい。例えば、第３の実施形態の人流推定装置（図８参照）において、記憶装置３が、第２の実施形態における通過ライン記憶手段３３（図６参照）を備え、データ処理装置６が、第２の実施形態における通過人数算出手段２６（図６参照）を備えていてもよい。

図１５は、本実施形態の具体的な構成例を示すブロック図である。本実施形態の人流推定装置は、図１５に示すように、画像取得装置１と、記憶装置３と、コンピュータ１００と、コンピュータ可読媒体１０２とを備える。記憶装置３は、部分領域群記憶手段３１と、人状態記憶手段３２とを含む。コンピュータ可読媒体１０２は、人流推定プログラム１０１を記憶する。

コンピュータ１００には、画像取得装置１と、記憶装置３と、コンピュータ可読媒体１０２とが接続されている。

コンピュータ可読媒体１０２は、例えば、磁気ディスクや半導体メモリ等の記憶装置である。

コンピュータ１００は、例えば、起動時にコンピュータ可読媒体１０２から、人流推定プログラム１０１を読み込み、人流推定プログラム１０１に従って、各実施形態で示したデータ処理装置として動作する。

例えば、コンピュータ１００は、人流推定プログラム１０１に従って、第１の実施形態におけるデータ処理装置２（人数推定手段２１、大略人位置決定手段２２、動き情報取得手段２３、観測モデル生成手段２４および人状態推定手段２５）として動作する。

また、例えば、コンピュータ１００は、人流推定プログラム１０１に従って、第２の実施形態におけるデータ処理装置４（人数推定手段２１、大略人位置決定手段２２、動き情報取得手段２３、観測モデル生成手段２４、人状態推定手段２５および通過人数算出手段２６）として動作してもよい。この場合、図１５に示す記憶装置３は、通過ライン記憶手段３３を含むように構成しておけばよい。

また、例えば、コンピュータ１００は、人流推定プログラム１０１に従って、第３の実施形態におけるデータ処理装置６（人数推定手段２１、大略人位置決定手段２２、動き情報取得手段２３、観測モデル生成手段２４、人状態推定手段２５および表示制御手段２７）として動作してもよい。この場合、人流推定装置は、表示装置７（図８参照）を備え、コンピュータ１００に表示装置７が接続されるように構成されればよい。

また、本発明の各実施形態の人流推定装置は、画像取得装置１と、コンピュータ１００と、記憶装置３と、コンピュータ可読媒体１０２とをＩＰ（Internet Protocol ）カメラに設けた構成であってもよい。画像取得装置１は、ＩＰカメラから画像を取得する。この構成は、ＩＰカメラ自身が人流を推定する構成であると言うことができる。なお、この構成で第３の実施形態の処理を行う場合には、コンピュータ１００に表示装置７（図８参照）を接続させておけばよい。

次に、本実施形態の概要について説明する。図１６は、本実施形態の概要を示す模式図である。本実施形態の人流推定装置は、人数推定手段２１と、大略人位置決定手段２２と、観測モデル生成手段２４と、人状態推定手段２５とを備える。

人数推定手段２１は、予め定められた部分領域によって、画像取得装置（例えば、画像取得装置１）が取得した画像の部分領域画像に基づいて、部分領域内の人数を推定する。

大略人位置決定手段２２は、部分領域毎に、部分領域内の人数を整数に補正し、部分領域に関する情報に基づいて画像上に補正された人数分の人のおおよその位置を決定し、補正前の人数と補正後の人数とに基づいて人数補正係数を算出し、おおよその位置に人が観測されたものとする。

観測モデル生成手段２４は、観測された人毎に、観測された人に対応する人のおおよその位置と、部分領域に関する情報とに基づいて、人を表す観測値に関する観測モデルを生成する。

人状態推定手段２５は、記憶手段（例えば、人状態記憶手段３２）に記憶された過去の人の状態を表す粒子の状態から現在の粒子の状態を予測するとともに、新たな粒子を追加し、観測された人毎に生成された観測モデルと人数補正係数とに基づいて、現在の粒子の状態の確からしさを評価して粒子の重みを更新し、当該粒子の重みに比例した確率で粒子をリサンプリングし、得られた粒子の状態を記憶手段に記憶するとともに、得られた粒子の状態を人流として出力する。

そのような構成により、混雑環境下であっても人流を推定できる。

本実施形態の概要は、図１７に示すようにも表すことができる。図１７に示す本実施形態の人流推定装置は、係数算出手段７１と、人流出力手段７２とを備える。

係数算出手段７１（例えば、大略人位置決定手段２２）は、入力される画像の部分領域毎に、部分領域内の人数として推定された人数と、当該人数を補正した補正値とに基づいて、人数補正係数を算出する。

人流出力手段７２（例えば、人状態推定手段２５）は、パーティクルＰＨＤフィルタと人数補正係数とに基づいて、人の状態を表す粒子の重みを更新し、更新後の重みに基づいてリサンプリングした粒子の状態を人流として出力する。

そのような構成により、混雑環境下であっても人流を推定できる。

上記の本発明の実施形態は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
（付記１）
画像の部分領域毎に、該部分領域で特定される部分領域画像に基づいて、前記部分領域内の人数を推定する人数推定手段と、
前記部分領域毎に、前記部分領域内の人数を整数に補正し、前記部分領域に関する情報に基づいて前記画像上に補正された人数分の人のおおよその位置を決定し、補正前の人数と補正後の人数とに基づいて人数補正係数を算出し、前記おおよその位置に人が観測されたものとする大略人位置決定手段と、
前記観測された人毎に、前記観測された人に対応する人のおおよその位置と、前記部分領域に関する情報とに基づいて、人を表す観測値に関する観測モデルを生成する観測モデル生成手段と、
記憶手段に記憶された過去の人の状態を表す粒子の状態から、現在の粒子の状態を予測するとともに、新たな粒子を追加し、観測された人毎に生成された観測モデルと前記人数補正係数とに基づいて、予測された前記粒子及び追加した前記粒子の状態の確からしさを評価して、粒子の重みを更新し、更新した前記重みに比例した確率で、粒子をリサンプリングすることによって得られた粒子の状態を、前記記憶手段に記憶するとともに、前記得られた粒子の状態を人流の情報として出力する人状態推定手段とを備える
ことを特徴とする人流推定装置。
（付記２）
前記大略人位置決定手段は、部分領域内のランダムな位置、部分領域の中心位置、または、部分領域内の人の領域におけるランダムな位置を、人のおおよその位置として決定する
付記１に記載の人流推定装置。
（付記３）
前記大略人位置決定手段は、前記補正前の人数を前記補正後の人数で除算することによって前記人数補正係数を算出する
付記１または付記２に記載の人流推定装置。
（付記４）
前記観測モデル生成手段は、観測された人毎に、観測された人に対応する人のおおよその位置と、部分領域に関する情報とに基づいて、前記画像上の人の位置と前記画像上の人のサイズの少なくとも一方を観測値とする観測モデルを生成する
付記１から付記３のうちのいずれかに記載の人流推定装置。
（付記５）
前記画像から、画像上の動き情報を取得する動き情報取得手段を備え、
前記観測モデル生成手段は、観測された人毎に、観測された人に対応する人のおおよその位置と、前記おおよその位置に関連する動き情報と、部分領域に関する情報とに基づいて、前記画像上の人の速さおよび移動の方向の少なくとも一方または両方を観測値とする観測モデルを生成する
付記１から付記４のうちのいずれかに記載の人流推定装置。
（付記６）
前記画像から、画像上の動き情報を取得する動き情報取得手段を備え、
前記観測モデル生成手段は、観測された人毎に、観測された人に対応する部分領域内の動き情報に基づいて、前記画像上の人の速さおよび移動の方向の少なくとも一方または両方を観測値とする観測モデルを、速さと方向の少なくとも一方または両方のヒストグラムとして生成する
付記１から付記５のうちのいずれかに記載の人流推定装置。
（付記７）
前記人状態推定手段は、部分領域内の人数と一人当たりの粒子数と人の出現確率との積を計算することによって、部分領域毎に、新たな粒子として追加する粒子数を決定し、前記粒子数分の粒子を、対応する部分領域に基づく位置に追加する
付記１から付記６のうちのいずれかに記載の人流推定装置。
（付記８）
人流として出力された現在の粒子の状態と、前記粒子の状態から推定された過去の粒子の位置と、１回前に人流として出力された過去の粒子の状態と、前記粒子の状態から予測された現在の粒子の位置とに基づいて、予め定められた通過ラインを通過する粒子を通過方向別に抽出し、抽出した粒子の重みを用いて、通過方向別の通過人数を算出する通過人数算出手段を備える
付記１から付記７のうちのいずれかに記載の人流推定装置。
（付記９）
粒子をクラスタリングし、同一のクラスタに属する粒子を囲む閉空間を設定した場合、または、外部から閉空間が設定された場合に、前記閉空間内の粒子の重みから閉空間内の人数を算出し、前記閉空間内の粒子の移動速度から代表速度を算出し、前記閉空間と、前記人数と、前記代表速度を表す矢印と、前記代表速度の速さに応じた数値または文言とを表示装置上に表示する表示制御手段を備える
付記１から付記８のうちのいずれかに記載の人流推定装置。
（付記１０）
入力される画像の部分領域毎に、前記部分領域内の人数として推定された人数と、当該人数を補正した補正値とに基づいて、人数補正係数を算出する係数算出手段と、
パーティクルＰＨＤ（Probability Hypothesis Density）フィルタと前記人数補正係数とに基づいて、人の状態を表す粒子の重みを更新し、更新後の重みに基づいてリサンプリングした粒子の状態を人流として出力する人流出力手段とを備える
ことを特徴とする人流推定装置。
（付記１１）
画像の部分領域毎に、該部分領域で特定される部分領域画像に基づいて、前記部分領域内の人数を推定し、
前記部分領域毎に、前記部分領域内の人数を整数に補正し、前記部分領域に関する情報に基づいて前記画像上に補正された人数分の人のおおよその位置を決定し、補正前の人数と補正後の人数とに基づいて人数補正係数を算出し、前記おおよその位置に人が観測されたものとし、
前記観測された人毎に、前記観測された人に対応する人のおおよその位置と、前記部分領域に関する情報とに基づいて、人を表す観測値に関する観測モデルを生成し、
記憶手段に記憶された過去の人の状態を表す粒子の状態から、現在の粒子の状態を予測するとともに、新たな粒子を追加し、観測された人毎に生成された観測モデルと前記人数補正係数とに基づいて、予測された前記粒子及び追加した前記粒子の状態の確からしさを評価して、粒子の重みを更新し、更新した前記重みに比例した確率で、粒子をリサンプリングすることによって得られた粒子の状態を、前記記憶手段に記憶するとともに、前記得られた粒子の状態を人流の情報として出力する
ことを特徴とする人流推定方法。
（付記１２）
部分領域内のランダムな位置、部分領域の中心位置、または、部分領域内の人の領域におけるランダムな位置を、人のおおよその位置として決定する
付記１１に記載の人流推定方法。
（付記１３）
前記補正前の人数を前記補正後の人数で除算することによって前記人数補正係数を算出する
付記１１または付記１２に記載の人流推定方法。
（付記１４）
観測された人毎に、観測された人に対応する人のおおよその位置と、部分領域に関する情報とに基づいて、前記画像上の人の位置と前記画像上の人のサイズの少なくとも一方を観測値とする観測モデルを生成する
付記１１から付記１３のうちのいずれかに記載の人流推定方法。
（付記１５）
前記画像から、画像上の動き情報を取得し、
観測された人毎に、観測された人に対応する人のおおよその位置と、前記おおよその位置に関連する動き情報と、部分領域に関する情報とに基づいて、前記画像上の人の速さおよび移動の方向の少なくとも一方または両方を観測値とする観測モデルを生成する
付記１１から付記１４のうちのいずれかに記載の人流推定方法。
（付記１６）
前記画像から、画像上の動き情報を取得し、
観測された人毎に、観測された人に対応する部分領域内の動き情報に基づいて、前記画像上の人の速さおよび移動の方向の少なくとも一方または両方を観測値とする観測モデルを、速さと方向の少なくとも一方または両方のヒストグラムとして生成する
付記１１から付記１５のうちのいずれかに記載の人流推定方法。
（付記１７）
部分領域内の人数と一人当たりの粒子数と人の出現確率との積を計算することによって、部分領域毎に、新たな粒子として追加する粒子数を決定し、前記粒子数分の粒子を、対応する部分領域に基づく位置に追加する
付記１１から付記１６のうちのいずれかに記載の人流推定方法。
（付記１８）
人流として出力された現在の粒子の状態と、前記粒子の状態から推定された過去の粒子の位置と、１回前に人流として出力された過去の粒子の状態と、前記粒子の状態から予測された現在の粒子の位置とに基づいて、予め定められた通過ラインを通過する粒子を通過方向別に抽出し、抽出した粒子の重みを用いて、通過方向別の通過人数を算出する
付記１１から付記１７のうちのいずれかに記載の人流推定方法。
（付記１９）
粒子をクラスタリングし、同一のクラスタに属する粒子を囲む閉空間を設定した場合、または、外部から閉空間が設定された場合に、前記閉空間内の粒子の重みから閉空間内の人数を算出し、前記閉空間内の粒子の移動速度から代表速度を算出し、前記閉空間と、前記人数と、前記代表速度を表す矢印と、前記代表速度の速さに応じた数値または文言とを表示装置上に表示する
付記１１から付記１８のうちのいずれかに記載の人流推定方法。
（付記２０）
入力される画像の部分領域毎に、前記部分領域内の人数として推定された人数と、当該人数を補正した補正値とに基づいて、人数補正係数を算出し、
パーティクルＰＨＤ（Probability Hypothesis Density）フィルタと前記人数補正係数とに基づいて、人の状態を表す粒子の重みを更新し、更新後の重みに基づいてリサンプリングした粒子の状態を人流として出力する
ことを特徴とする人流推定方法。
（付記２１）
コンピュータに、
画像の部分領域毎に、該部分領域で特定される部分領域画像に基づいて、前記部分領域内の人数を推定する人数推定処理、
前記部分領域毎に、前記部分領域内の人数を整数に補正し、前記部分領域に関する情報に基づいて前記画像上に補正された人数分の人のおおよその位置を決定し、補正前の人数と補正後の人数とに基づいて人数補正係数を算出し、前記おおよその位置に人が観測されたものとする大略人位置決定処理、
前記観測された人毎に、前記観測された人に対応する人のおおよその位置と、前記部分領域に関する情報とに基づいて、人を表す観測値に関する観測モデルを生成する観測モデル生成処理、および、
記憶手段に記憶された過去の人の状態を表す粒子の状態から、現在の粒子の状態を予測するとともに、新たな粒子を追加し、観測された人毎に生成された観測モデルと前記人数補正係数とに基づいて、予測された前記粒子及び追加した前記粒子の状態の確からしさを評価して、粒子の重みを更新し、更新した前記重みに比例した確率で、粒子をリサンプリングすることによって得られた粒子の状態を、前記記憶手段に記憶するとともに、前記得られた粒子の状態を人流の情報として出力する人状態推定処理
を実行させるための人流推定プログラムを記録した、一時的でない記録媒体。
（付記２２）
前記人流推定プログラムは、
前記コンピュータに、
前記大略人位置決定処理で、部分領域内のランダムな位置、部分領域の中心位置、または、部分領域内の人の領域におけるランダムな位置を、人のおおよその位置として決定させる
付記２１に記載の記録媒体。
（付記２３）
前記人流推定プログラムは、
前記コンピュータに、
前記大略人位置決定処理で、前記補正前の人数を前記補正後の人数で除算することによって前記人数補正係数を算出させる
付記２１または付記２２に記載の記録媒体。
（付記２４）
前記人流推定プログラムは、
前記コンピュータに、
前記観測モデル生成処理で、観測された人毎に、観測された人に対応する人のおおよその位置と、部分領域に関する情報とに基づいて、前記画像上の人の位置と前記画像上の人のサイズの少なくとも一方を観測値とする観測モデルを生成させる
付記２１から付記２３のうちのいずれかに記載の記録媒体。
（付記２５）
前記人流推定プログラムは、
前記コンピュータに、
前記画像から、画像上の動き情報を取得する動き情報取得処理を実行させ、
前記観測モデル生成処理で、観測された人毎に、観測された人に対応する人のおおよその位置と、前記おおよその位置に関連する動き情報と、部分領域に関する情報とに基づいて、前記画像上の人の速さおよび移動の方向の少なくとも一方または両方を観測値とする観測モデルを生成させる
付記２１から付記２４のうちのいずれかに記載の記録媒体。
（付記２６）
前記人流推定プログラムは、
前記コンピュータに、
前記画像から、画像上の動き情報を取得する動き情報取得処理を実行させ、
前記観測モデル生成処理で、観測された人毎に、観測された人に対応する部分領域内の動き情報に基づいて、前記画像上の人の速さおよび移動の方向の少なくとも一方または両方を観測値とする観測モデルを、速さと方向の少なくとも一方または両方のヒストグラムとして生成させる
付記２１から付記２５のうちのいずれかに記載の記録媒体。
（付記２７）
前記人流推定プログラムは、
前記コンピュータに、
前記人状態推定処理で、部分領域内の人数と一人当たりの粒子数と人の出現確率との積を計算することによって、部分領域毎に、新たな粒子として追加する粒子数を決定させ、前記粒子数分の粒子を、対応する部分領域に基づく位置に追加させる
付記２１から付記２６のうちのいずれかに記載の記録媒体。
（付記２８）
前記人流推定プログラムは、
前記コンピュータに、
人流として出力された現在の粒子の状態と、前記粒子の状態から推定された過去の粒子の位置と、１回前に人流として出力された過去の粒子の状態と、前記粒子の状態から予測された現在の粒子の位置とに基づいて、予め定められた通過ラインを通過する粒子を通過方向別に抽出し、抽出した粒子の重みを用いて、通過方向別の通過人数を算出する通過人数算出処理を実行させる
付記２１から付記２７のうちのいずれかに記載の記録媒体。
（付記２９）
前記人流推定プログラムは、
前記コンピュータに、
粒子をクラスタリングし、同一のクラスタに属する粒子を囲む閉空間を設定した場合、または、外部から閉空間が設定された場合に、前記閉空間内の粒子の重みから閉空間内の人数を算出し、前記閉空間内の粒子の移動速度から代表速度を算出し、前記閉空間と、前記人数と、前記代表速度を表す矢印と、前記代表速度の速さに応じた数値または文言とを表示装置上に表示する表示制御処理を実行させる
付記２１から付記２８のうちのいずれかに記載の記録媒体。
（付記３０）
コンピュータに、
入力される画像の部分領域毎に、前記部分領域内の人数として推定された人数と、当該人数を補正した補正値とに基づいて、人数補正係数を算出する係数算出処理、および、
パーティクルＰＨＤ（Probability Hypothesis Density）フィルタと前記人数補正係数とに基づいて、人の状態を表す粒子の重みを更新し、更新後の重みに基づいてリサンプリングした粒子の状態を人流として出力する人流出力処理
を実行させるための人流推定プログラムを記録した、一時的でない記録媒体。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１６年９月１３日に出願された日本出願特願２０１６−１７８１３２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、人流を推定する人流推定装置に好適に適用される。また、本発明は、例えば、人流の推定を必要とする監視分野での不審者認識、不審物の置き去り認識、異常状態認識、異常行動認識等に利用することができる。また、本発明は、例えば、マーケティング分野での行動解析、環境状態の分析等に利用することができる。また、本発明は、他の装置に対して、人流推定結果を送る入力インタフェースとしての用途に適用することもできる。また、本発明は、推定結果として得られた人流をトリガキーとするビデオ／映像検索装置等に適用することもできる。

１ 画像取得装置
２，４，６ データ処理装置
３，５ 記憶装置
７ 表示装置
２１ 人数推定手段
２２ 大略人位置決定手段
２３ 動き情報取得手段
２４ 観測モデル生成手段
２５ 人状態推定手段
２６ 通過人数算出手段
２７ 表示制御手段
３１ 部分領域群記憶手段
３２ 人状態記憶手段
３３ 通過ライン記憶手段
７１ 係数算出手段
７２ 人流出力手段
２５１ 人状態予測手段
２５２ 人状態評価手段
２５３ 人状態更新手段

Claims (10)

1. 画像の部分領域毎に、該部分領域で特定される部分領域画像に基づいて、前記部分領域内の人数を推定する人数推定手段と、
   前記部分領域毎に、前記部分領域内の人数を整数に補正し、前記部分領域に関する情報に基づいて前記画像上に補正された人数分の人のおおよその位置を決定し、補正前の人数と補正後の人数とに基づいて人数補正係数を算出し、前記おおよその位置に人が観測されたものとする大略人位置決定手段と、
   前記観測された人毎に、前記観測された人に対応する人のおおよその位置と、前記部分領域に関する情報とに基づいて、人を表す観測値に関する観測モデルを生成する観測モデル生成手段と、
   記憶手段に記憶された過去の人の状態を表す粒子の状態から、現在の粒子の状態を予測するとともに、新たな粒子を追加し、観測された人毎に生成された観測モデルと前記人数補正係数とに基づいて、予測された前記粒子及び追加した前記粒子の状態の確からしさを評価して、粒子の重みを更新し、更新した前記重みに比例した確率で、粒子をリサンプリングすることによって得られた粒子の状態を、前記記憶手段に記憶するとともに、前記得られた粒子の状態を人流の情報として出力する人状態推定手段とを備える
   ことを特徴とする人流推定装置。
2. 前記大略人位置決定手段は、部分領域内のランダムな位置、部分領域の中心位置、または、部分領域内の人の領域におけるランダムな位置を、人のおおよその位置として決定する
   請求項１に記載の人流推定装置。
3. 前記大略人位置決定手段は、前記補正前の人数を前記補正後の人数で除算することによって前記人数補正係数を算出する
   請求項１または請求項２に記載の人流推定装置。
4. 前記観測モデル生成手段は、観測された人毎に、観測された人に対応する人のおおよその位置と、部分領域に関する情報とに基づいて、前記画像上の人の位置と前記画像上の人のサイズの少なくとも一方を観測値とする観測モデルを生成する
   請求項１から請求項３のうちのいずれか１項に記載の人流推定装置。
5. 前記画像から、画像上の動き情報を取得する動き情報取得手段を備え、
   前記観測モデル生成手段は、観測された人毎に、観測された人に対応する人のおおよその位置と、前記おおよその位置に関連する動き情報と、部分領域に関する情報とに基づいて、前記画像上の人の速さおよび移動の方向の少なくとも一方または両方を観測値とする観測モデルを生成する
   請求項１から請求項４のうちのいずれか１項に記載の人流推定装置。
6. 前記画像から、画像上の動き情報を取得する動き情報取得手段を備え、
   前記観測モデル生成手段は、観測された人毎に、観測された人に対応する部分領域内の動き情報に基づいて、前記画像上の人の速さおよび移動の方向の少なくとも一方または両方を観測値とする観測モデルを、速さと方向の少なくとも一方または両方のヒストグラムとして生成する
   請求項１から請求項５のうちのいずれか１項に記載の人流推定装置。
7. 前記人状態推定手段は、部分領域内の人数と一人当たりの粒子数と人の出現確率との積を計算することによって、部分領域毎に、新たな粒子として追加する粒子数を決定し、前記粒子数分の粒子を、対応する部分領域に基づく位置に追加する
   請求項１から請求項６のうちのいずれか１項に記載の人流推定装置。
8. 人流として出力された現在の粒子の状態と、前記粒子の状態から推定された過去の粒子の位置と、１回前に人流として出力された過去の粒子の状態と、前記粒子の状態から予測された現在の粒子の位置とに基づいて、予め定められた通過ラインを通過する粒子を通過方向別に抽出し、抽出した粒子の重みを用いて、通過方向別の通過人数を算出する通過人数算出手段を備える
   請求項１から請求項７のうちのいずれか１項に記載の人流推定装置。
9. 画像の部分領域毎に、該部分領域で特定される部分領域画像に基づいて、前記部分領域内の人数を推定し、
   前記部分領域毎に、前記部分領域内の人数を整数に補正し、前記部分領域に関する情報に基づいて前記画像上に補正された人数分の人のおおよその位置を決定し、補正前の人数と補正後の人数とに基づいて人数補正係数を算出し、前記おおよその位置に人が観測されたものとし、
   前記観測された人毎に、前記観測された人に対応する人のおおよその位置と、前記部分領域に関する情報とに基づいて、人を表す観測値に関する観測モデルを生成し、
   記憶手段に記憶された過去の人の状態を表す粒子の状態から、現在の粒子の状態を予測するとともに、新たな粒子を追加し、観測された人毎に生成された観測モデルと前記人数補正係数とに基づいて、予測された前記粒子及び追加した前記粒子の状態の確からしさを評価して、粒子の重みを更新し、更新した前記重みに比例した確率で、粒子をリサンプリングすることによって得られた粒子の状態を、前記記憶手段に記憶するとともに、前記得られた粒子の状態を人流の情報として出力する
   ことを特徴とする人流推定方法。
10. コンピュータに、
    画像の部分領域毎に、該部分領域で特定される部分領域画像に基づいて、前記部分領域内の人数を推定する人数推定処理、
    前記部分領域毎に、前記部分領域内の人数を整数に補正し、前記部分領域に関する情報に基づいて前記画像上に補正された人数分の人のおおよその位置を決定し、補正前の人数と補正後の人数とに基づいて人数補正係数を算出し、前記おおよその位置に人が観測されたものとする大略人位置決定処理、
    前記観測された人毎に、前記観測された人に対応する人のおおよその位置と、前記部分領域に関する情報とに基づいて、人を表す観測値に関する観測モデルを生成する観測モデル生成処理、および、
    記憶手段に記憶された過去の人の状態を表す粒子の状態から、現在の粒子の状態を予測するとともに、新たな粒子を追加し、観測された人毎に生成された観測モデルと前記人数補正係数とに基づいて、予測された前記粒子及び追加した前記粒子の状態の確からしさを評価して、粒子の重みを更新し、更新した前記重みに比例した確率で、粒子をリサンプリングすることによって得られた粒子の状態を、前記記憶手段に記憶するとともに、前記得られた粒子の状態を人流の情報として出力する人状態推定処理
    を実行させるための人流推定プログラム。

Images