JP6806188B2 - 情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明に係るいくつかの態様は、情報処理システム、情報処理方法及びプログラムに関する。

近年、複数のビデオカメラ（撮影装置）で撮影した映像を利用して広範囲にわたる監視を行うシステムが考えられている。例えば特許文献１は、複数のカメラによって撮影された移動体を追跡する監視システムを開示している。特許文献１記載の手法では、個別のカメラ毎に抽出した移動体の輝度値や色等の特徴量を用いて、移動体の同一性を判定している。

特開２００６−１４６３７８号公報

しかしながら、特許文献１記載の手法では、追跡対象がカメラの映像に出現するより先に、追跡対象の移動体と特徴量が類似している別の移動体が当該カメラの映像に出現した場合には、誤ってその別の移動体を、追跡対象の移動体と同一移動体として追跡してしまう可能性がある。

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、複数の撮影装置に映る移動体に対して、好適に同一性を判別することのできる情報処理システム、情報処理方法及びプログラムを提供することを目的の１つとする。

本発明の一態様にかかる情報処理システムは、複数の撮影装置で撮影された映像の入力を受ける入力手段と、前記複数の撮影装置のうち第１の撮影装置が撮影する第１の映像に映る第１の人物画像と、前記複数の撮影装置のうち第２の撮影装置が撮影する第２の映像に映る第２の人物画像とを検出する検出手段と、前記第１の映像に映る第１の人物の特徴量と、前記第２の映像に映る第２の人物の特徴量とに基づいて、前記第１の人物と前記第２の人物とを対応付ける対応付け手段と、前記第１の映像から前記第１の人物がフレームアウトした時点から、前記第２の映像へ前記第２の人物がフレームインした時点までの経過時間を提供する提供手段と、を備え、前記特徴量はヒストグラムに基づく情報を含む。

本発明の一態様にかかる情報処理方法は、複数の撮影装置で撮影された映像の入力を受け、前記複数の撮影装置のうち第１の撮影装置が撮影する第１の映像に映る第１の人物画像と、前記複数の撮影装置のうち第２の撮影装置が撮影する第２の映像に映る第２の人物画像とを検出し、前記第１の映像に映る第１の人物の特徴量と、前記第２の映像に映る第２の人物の特徴量とに基づいて、前記第１の人物と前記第２の人物とを対応付け、前記第１の映像から前記第１の人物がフレームアウトした時点から、前記第２の映像へ前記第２の人物がフレームインした時点までの経過時間を提供し、前記特徴量はヒストグラムに基づく情報を含む。

本発明の一態様にかかるプログラムは、コンピュータに複数の撮影装置で撮影された映像の入力を受ける処理、前記複数の撮影装置のうち第１の撮影装置が撮影する第１の映像に映る第１の人物画像と、前記複数の撮影装置のうち第２の撮影装置が撮影する第２の映像に映る第２の人物画像とを検出する処理、前記第１の映像に映る第１の人物の特徴量と、前記第２の映像に映る第２の人物の特徴量とに基づいて、前記第１の人物と前記第２の人物とを対応付ける処理、前記第１の映像から前記第１の人物がフレームアウトした時点から、前記第２の映像へ前記第２の人物がフレームインした時点までの経過時間を提供する処理、を実行させ、前記特徴量はヒストグラムに基づく情報を含む。

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、複数の撮影装置に映る移動体に対して、好適に同一性を判別することのできる情報処理システム、情報処理方法及びプログラムを提供することができる。

ビデオカメラの映像の具体例を示す図である。 ビデオカメラの映像の具体例を示す図である。 非出現確率の具体例を示す図である。 非出現確率の具体例を示す図である。 第１実施形態に係る追跡システムの概略構成を示す機能ブロック図である。 表示画面の具体例を示す図である。 図１に示す情報処理サーバの処理の流れを示すフローチャートである。 図１に示す情報処理サーバを実装可能なハードウェアの構成を示すブロック図である。 第２実施形態に係る監視装置の概略構成を示す機能ブロック図である。

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。

（１ 第１実施形態）
図１Ａ乃至図６は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず、「１．１」で本システムによる移動体の判別方法の概要を説明する。その後、「１．２」でシステムの機能構成の概要を、「１．３」で処理の流れを、「１．４」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に「１．５」以降で、本実施形態に係る効果などを説明する。

（１．１ 概要）
本実施形態は、例えば撮影範囲がそれぞれ離れた複数の撮影装置（例えば監視カメラ）が撮影した映像を解析することにより、移動体の動きを追跡するシステムに関する。このために、本実施形態に係るシステムでは、第１の撮影範囲からフレームアウトした移動体と同一と判断できる移動体が第２の撮影範囲に現れた場合には、両移動体を同一の移動体として対応づける。つまり、本システムでは、移動体の同一性を判別する。

ここで、移動体の具体例としては、人物や車、バイク、自転車等種々考えることができるが、以下では人物を追跡する場合を中心に説明する。以下、図１Ａ及び図１Ｂを参照しながら、映像に映る人物の同一性の判別方法について考える。

人物の同一性を判別するためには、例えば、それぞれの映像に映る人物の画像から、輝度値や色といった特徴量を抽出した上で、特徴量の類似度が閾値よりも高いものを、同一人物として判別する手法が考えられる。

しかしながら、図１Ａに示すように、時刻ＴにおいてカメラＡの映像に映っていた人物を追跡する場合に、時刻Ｔ＋１において、追跡対象の人物がまだカメラＢの映像には映っていない（撮影範囲に到着していない）にもかかわらず、追跡対象の人物と類似度の高い人物が先にカメラＢの映像に映ると、その人物が追跡対象の人物として誤って判別されてしまう可能性がある。

このような誤った対応付けを防ぐためには、類似度による同一人物判定のための閾値を高く設定する方法も考えられる。しかしながら、閾値を高く設定すると、追跡対象の人物が現れた場合であっても、同一人物とは判断されない可能性が高くなる。

例えば図１Ｂに示すように、カメラＡとカメラＢとが近距離にあって、追跡対象の人物以外の人物がカメラＢに映る可能性が低い場合であっても、例えば人物が小さく映ったり違う角度で映ったりすることにより精度の高い特徴量が取れない場合に類似度判定の閾値が高すぎると、カメラＢに映った人物が追跡対象の人物と同一人物とは判別されなくなってしまう。

そこで、本実施形態に係るシステムでは、類似度のみならず、追跡対象が映っていない可能性をも考慮して、カメラ間での人物追跡（人物の対応付け）を行う。以下、詳細に説明する。

以下、追跡対象の人物がカメラＡの映像からフレームアウトした後、ｔ秒後にカメラＢの映像に人物が映った場合に、画像情報を元に算出される、追跡対象の人物とカメラＢの映像に映った人物とが同一人物である確率をＰとする。ここで確率Ｐは、例えば、カメラＡの映像における追跡対象人物画像の特徴量（以下、単に「人物の特徴量」ともいう。）と、カメラＢに映った映像の人物との類似度の高さ等に基づき算出される。ここで、特徴量としては、例えば、色や輝度、形状、姿勢、それらのヒストグラム等、種々考えられる。

また、追跡対象の人物が、カメラＢの映像にはまだ出現していないであろう確率をＱとする。Ｑは、カメラＡの映像からフレームアウトした後の経過時間ｔを少なくとも一部の変数とする関数であり、Ｑはｔに対して単調非増加となる。また、カメラＡの撮影範囲とカメラＢの撮影範囲との距離に応じて、Ｑ（ｔ）の減少幅は異なる。

図２Ａ及び図２Ｂに、確率Ｑ（ｔ）の具体例を示す。図２Ａは、カメラＡの撮影範囲からカメラＢの撮影範囲までの距離が長い場合のＱ（ｔ）の時間ｔに対する変化、図２Ｂは、図２Ａの場合よりもカメラＡの撮影範囲からカメラＢの撮影範囲までの距離が短い場合のＱ（ｔ）の時間ｔに対する変化を示している。

図２Ａ及び図２Ｂを見ると、時間ｔ＝０の場合には、両方ともＱ（ｔ）は１となっている。これは、カメラＡの撮影範囲とカメラＢの撮影範囲とが重なっていない場合には、カメラＡから追跡対象の人物がフレームアウトした瞬間には、カメラＢの映像に映るとは考えられないからである。

その後、ｔの増加に伴い、Ｑ（ｔ）は減少していく。しかしながら、Ｑ（ｔ）の減少の速度は、図２Ｂの方が図２Ａの場合よりも早い。これは、図２Ｂの方が、図２ＡよりもカメラＡの撮影範囲からカメラＢの撮影範囲までの距離が短いため、長時間追跡対象の人物がカメラＡの映像からフレームアウト後、カメラＢの映像に映るまでにかかる時間が、図２Ｂの場合の方が短いと考えられるためである。

本実施形態に係るシステムでは、このようなＰとＱ（ｔ）とに基づき、Ｐ＞Ｑ（ｔ）であれば、カメラＢに映った人物を追跡対象の人物として判定する。前述の通り、カメラＡとカメラＢとの撮影範囲が近接していれば、Ｑ（ｔ）は小さくなる（時間ｔに対する減少幅が大きくなる）ので、Ｐが小さい場合であっても、同一人物として判定されやすくなる。

一方、カメラＡ及びカメラＢの撮影範囲が離れていれば、Ｑ（ｔ）は大きくなる（時間ｔに対する減少幅が小さくなる）ので、Ｐが十分に大きく無い限り、同一人物とは判定されない。この場合には、継続してカメラＢに映る人物を観測して、Ｐの値を更新する。例えば、解像度の高い画像や、カメラＡでの撮影画像と姿勢や向きなどの撮影条件が近い画像が得られれば、その画像を優先して再度特徴量を算出することにより、Ｐの値を更新することが考えられる。一方、時間が経過する毎に追跡対象の人物がカメラＢの映像に出現していない可能性が減少するために、Ｑ（ｔ）の値も小さくなる。よって、他に適切な人物候補がいなければ、やがてＰ＞Ｑ（ｔ）となって、カメラＢに映る人物が追跡対象の人物として判定されるようになる。

なお、上記ではＱ（ｔ）の値を変える情報として、カメラの撮影範囲間の距離を挙げたが、これ以外にもＱ（ｔ）の値を変える情報は複数考えられる。例えば、他のカメラに映っているかどうかを考慮することが考えられる。カメラＡの撮影範囲から到達可能な他のカメラの映像に時間が経っても人物が映っていないのであれば、カメラＢの映像に映っている人物が追跡対象の人物である可能性が高いため、Ｑ（ｔ）の値を小さくすればよい（時間ｔに対する減少幅を大きくする）。

また、カメラＡとカメラＢとの間に、追跡人物が他の場所へと向かうことのできる出入り口がある場合には、カメラＢの撮影範囲に人物が出現する可能性が低いと考えられるので、Ｑ（ｔ）の値を大きくすればよい（時間ｔに対する減少幅を小さくする）。

或いは、カメラＡの映像に追跡対象の人物の他にも１以上の人物が映っている場合であって、当該１以上の他の人物がカメラＢの映像に映っている場合には、追跡対象の人物もカメラＢの映像に映っている可能性が高いと考えられるので、Ｑ（ｔ）の値を小さくすれば良い（時間ｔに対する減少幅を大きくする）。

（１．２ システム概要）
（１．２．１ システム全体の概要）
以下、図３を参照しながら、本実施形態に係る情報処理システムである追跡システム１のシステム構成を説明する。図１は、追跡システム１のシステム構成を示すブロック図である。

追跡システム１は、大きく分けて、情報処理サーバ１００と、映像（動画像）を撮影（撮像）する複数のビデオカメラ２００（ビデオカメラ２００Ａ乃至２００Ｎ）を総称してビデオカメラ２００と呼ぶ。）と、表示装置３００と、入力装置４００とから構成される。

以下、追跡システム１を、ビデオカメラ２００で撮影された人物を追跡するためのシステムとして説明するが、前述の通り、追跡対象は車や自転車、バイク、動物等の各種移動体とすることも考えられる。

撮影装置であるビデオカメラ２００は、映像を撮影すると共に、当該撮影した映像内に人物がいるか否かを判別した上で、当該人物に係る位置や特徴量などの情報を、撮影映像と共に情報処理サーバ１００へと送信する。またビデオカメラ２００は、撮影した映像をフレーム間で比較することにより、映像内の人物追跡も行うことができる。

なお、映像からの人物の検出（人物に係る画像領域の検出）や特徴量の抽出、カメラ内の人物追跡等の処理は、ビデオカメラ２００以外の、例えば情報処理サーバ１００や、図示しない他の情報処理装置上で行なっても良い。

情報処理サーバ１００は、ビデオカメラ２００で撮影された映像を解析することにより、人物の検出や、追跡する人物の登録、登録された人物の追跡等の各種処理を行う。

なお、以下ではビデオカメラ２００により撮影されるリアルタイムの映像を元に人物追跡を行う場合を中心に説明するが、これに限られるものではなく、例えば、ビデオカメラ２００により撮影された後、記憶装置（例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＶＣＲ（Ｖｉｄｅｏ Ｃａｓｅｔｔｅ Ｒｅｃｏｒｄｅｒ）など）に記憶された映像を対象に追跡（分析）することも考えられる。更に、当該記憶装置に記憶された映像を逆順に再生（逆再生）して追跡することも考えられる。通常、ある人物が不審な行動を取った場合には、その人物がその行為までにどのような経路で移動し、どのような行動をとったかを調べる必要があるため、このような逆再生による追跡を可能とすることは極めて有用である。

情報処理サーバ１００による人物追跡において、情報処理サーバ１００は、表示装置３００に監視用の画面を出力すると共に、入力装置４００から、人物追跡に係る各種操作入力に係る操作信号を入力する。より具体的には、例えば、表示装置３００に表示する監視用画面では、ビデオカメラ２００から入力された映像のうち、追跡対象の人物を、グラフィカルユーザインタフェース（ＧＵＩ）として表示する。表示装置３００が表示する監視用画面の具体例は、図４を参照しながら後述する。

このような監視用画面をユーザに提供するために、情報処理サーバ１００は、映像に映っている人物が追跡対象の人物であるか否か（映像に映っている人物と、追跡対象の人物が同一人物であるか否か）を判別する機能を有する。

表示装置３００は、例えば、液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等に画像を表示するディスプレイである。情報処理サーバ１００から出力される監視用画面は、前述の通り表示装置３００が表示する。

入力装置４００は、ユーザが各種情報を入力するための装置である。例えば、マウスやタッチパッド、タッチパネル等のポインティングデバイスやキーボード等が入力装置４００に該当する。

なお、情報処理サーバ１００と表示装置３００、入力装置４００の構成は種々考えられる。例えば、表示装置３００及び入力装置４００を１台のクライアント装置として実現することも考えられるし、或いは、情報処理サーバ１００、表示装置３００、及び入力装置４００が保つ機能を４台以上の情報処理装置により実現しても良い。また、表示装置３００及び入力装置４００を１台のクライアント装置として実現する場合には、本実施形態に係る情報処理サーバ１００の一部の機能を、当該クライアント装置に持たせても良い。

（１．２．２ 情報処理サーバ１００の機能構成）
以下、本実施形態に係る情報処理サーバ１００の構成を説明する。情報処理サーバ１００は、図３に示すように、入力部１１０、検出部１２０、類似度算出部１３０、非出現確率算出部１４０、人物判別部１５０、及び表示制御部１６０及びデータベース（ＤＢ）１７０を含む。なお、情報処理サーバ１００の機能は、複数の情報処理装置（コンピュータ）により実現しても良い。

入力部１１０は、ビデオカメラ２００から受信した映像を表示制御部１６０へと出力することにより、当該映像を表示装置３００に表示させると共に、同じくビデオカメラ２００から受信した人物検出結果の情報を、検出人物情報１７３としてＤＢ１７０へと登録する。入力部１１０がＤＢ１７０に登録する検出人物情報１７３には、ビデオカメラ２００により検出された人物の特徴量の情報が含まれる。

検出部１２０は、ビデオカメラ２００から入力された映像に対する人物検出結果を示す検出人物情報１７３に基づいて、映像に人物が映っているか否かを検出する。入力された映像に人物が映っていれば、類似度算出部１３０や非出現確率算出部１４０にその旨を伝える。

類似度算出部１３０は、検出人物情報１７３として登録された特徴量を用いて、処理対象の人物（例えば、表示装置３００に表示している映像に映る人物）の特徴量と、追跡対象人物（それ以前にビデオカメラ２００に映った人物）の特徴量との類似度を算出する。もし類似度が高ければ、両人物が同一人物である可能性が高いことになる。よって、当該類似度を、上記「１．１」で説明した、両人物が同一である確率Ｐとして用いることができる。

なお、処理対象の人物（処理対象のビデオカメラ２００に映る人物）に係る特徴量は、人物の移動（映像上の人物の大きさの変化や、人物の姿勢及び向きの変化等）に伴い随時更新されるため、類似度算出部１３０は、更新された特徴量に基づき、随時類似度を算出する。

非出現確率算出部１４０は、追跡対象人物が、処理対象の撮影範囲にまだ出現していない確率（非出現確率）を算出する。この非出現確率算出部１４０が算出する確率は、追跡対象人物がビデオカメラ２００の映像からフレームアウトした時刻からの経過時間ｔの増加に伴い減少するものであり、上記「１．１」で説明したＱ（ｔ）に相当する。また、Ｑ（ｔ）は、追跡対象人物が最後にフレームアウトしたビデオカメラ２００の撮影範囲と、処理対象のビデオカメラ２００の撮影範囲の距離や、他のビデオカメラ２００に出現しているか否か、追跡対象人物の近傍にいた人物が処理対象のビデオカメラ２００の映像に出現済みであるか否か等の情報に応じて変化させることができる。

人物判別部１５０は、上記類似度算出部１３０が算出した類似度に相当する確率Ｐと、非出現確率算出部１４０が算出した非出現確率Ｑ（ｔ）とを比較し、その結果に基づいて、処理対象のビデオカメラ２００に映る人物が、追跡対象人物と同一人物であるか否かを判別する。より具体的には、上述の通り、Ｐ＞Ｑ（ｔ）であれば、処理対象のビデオカメラ２００に映る人物は追跡対象の人物として判別することができ、Ｐ≦Ｑ（ｔ）であれば、処理対象のビデオカメラ２００に映る人物が、追跡対象の人物と同一である可能性は低いものと判別することができる。

表示制御部１６０は、入力部１１０により入力されたビデオカメラ２００の映像や、人物判別部１５０による同一人物判定の結果（すなわち、追跡対象の人物であるか否か）を示すＧＵＩ等を含む監視用画面を生成した上で、当該監視用画面を表示装置３００へと出力する。

表示制御部１６０が生成する監視用画面の具体例を、図４を参照しながら説明する。確率Ｐが予め定められた閾値よりも高いために同一人物である可能性が高いが、Ｑ（ｔ）よりも小さいために同一人物であることを確定できない場合等には、図４左側に示すように当該人物を点線の矩形等でその状態（仮の対応付け状態）を示しておき、Ｑ（ｔ）よりもＰが大きくなった時点で、図４右側に示すように人物を囲む矩形を実線で囲む等により、映像に映る人物が追跡対象人物であることが確定した旨をユーザに伝えるようにしても良い。この場合、他に、より追跡対象人物として尤もらしい人物がビデオカメラ２００の映像に映った場合には、仮の対応付けを行う人物（点線の矩形でユーザに示す人物）を移すようにすることも考えられる。

ＤＢ１７０は、確率情報１７１及び検出人物情報１７３を管理する。

確率情報１７１は、図２Ａや図２Ｂで具体例を示した非出現確率Ｑ（ｔ）を算出するための関数等の情報である。非出現確率算出部１４０は、確率情報１７１に経過時間ｔ等の情報を提供することにより、非出現確率Ｑ（ｔ）の値を算出する。

検出人物情報１７３は、ビデオカメラ２００により撮影及び検出された人物に関する情報である。どの経路で移動したかや検出人物に関する特徴量等の情報が、検出人物情報１７３には含まれる。

（１．３ 処理の流れ）
次に、情報処理サーバ１００の処理の流れを、図５を参照しながら説明する。図５は、本実施形態に係る情報処理サーバ１００の処理の流れを示すフローチャートである。

なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

まず、検出部１２０は、ビデオカメラ２００から入力部１１０で受信する情報に基づき、ビデオカメラ２００（以下、このビデオカメラ２００を「カメラＡ」とも呼ぶ。）で撮影された映像内から、追跡対象の人物がフレームアウトしたことを検出する（Ｓ５０１）。追跡対象の人物がフレームアウトすれば、その後の経過時間を非出現確率算出部１４０は計測する。

その後、検出部１２０は、カメラＡの撮影領域から人物が到達可能なビデオカメラ２００（以下、このビデオカメラ２００を「カメラＢ」とも呼ぶ。）の映像に人物が出現したか否かを判別する（Ｓ５０３）。カメラＢに追跡対象の人物が出現した場合には（Ｓ５０３のＹｅｓ）、類似度算出部１３０は、カメラＡやそれ以前に撮影された追跡対象人物の画像に基づく特徴量と、カメラＢに映った対象人物の特徴量とをＤＢ１７０の検出人物情報１７３から読み込んだ上で、両者の類似度を求め、当該類似度から、両人物が同一人物である確率Ｐを決定する（Ｓ５０５）。

一方、非出現確率算出部１４０は、追跡対象人物がカメラＡの画像からフレームアウトした後の経過時間ｔを算出し、当該経過時間と、ＤＢ１７０に格納された確率情報１７１とに基づいて、追跡対象人物が、経過時間ｔでカメラＢの映像に出現する確率Ｑ（ｔ）を算出する（Ｓ５０７）。

人物判別部１５０は、類似度算出部１３０で算出した確率Ｐと、非出現確率算出部１４０で算出したＱ（ｔ）とを比較する（Ｓ５０９）。その結果、Ｐの方がＱ（ｔ）よりも大きければ（Ｓ５０９のＹｅｓ）、カメラＢに映っている人物は追跡対象の人物と同一人物であると判別できるので、人物判別部１５０は、両人物を同一人物であるとして対応付けた上で追跡を継続する（Ｓ５１１）。

一方、ＰがＱ（ｔ）以下である場合には（Ｓ５０９のＮｏ）、カメラＢに映る他の人物（処理対象の人物以外の人物）や、他のビデオカメラ２００で現在時刻において撮影されている映像に映る各人物が、追跡対象人物と対応付けられたか（同一人物であると判別されたか）否かを判別する（Ｓ５１３）。もし他の人物が追跡対象の人物と対応付けられていれば（Ｓ５１３のＹｅｓ）、カメラＢに映る処理対象の人物は追跡対象の人物では無いことになるので、処理を終了する。現在時刻の各映像に映る各人物が、まだ誰も追跡対象の人物と対応付けられていない場合には（Ｓ５１３のＮｏ）、Ｓ５０５に戻って、再度、新たに抽出された特徴量や経過時間に基づいて処理を繰り返す。

（１．４ ハードウェア構成）
以下、図６を参照しながら、上述してきた情報処理サーバ１００をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお前述の通り、情報処理サーバ１００の機能は、複数の情報処理装置により実現することも可能である。

図６に示すように、情報処理サーバ１００は、プロセッサ６０１、メモリ６０３、記憶装置６０５、入力インタフェース（Ｉ／Ｆ）６０７、データＩ／Ｆ６０９、通信Ｉ／Ｆ６１１、及び表示装置６１３を含む。

プロセッサ６０１は、メモリ６０３に記憶されているプログラムを実行することにより情報処理サーバ１００における様々な処理を制御する。例えば、図３で説明した入力部１１０、検出部１２０、類似度算出部１３０、非出現確率算出部１４０、人物判別部１５０、及び表示制御部１６０に係る処理は、メモリ６０３に一時記憶された上で主にプロセッサ６０１上で動作するプログラムとして実現可能である。

メモリ６０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ６０３は、プロセッサ６０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ６０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。

記憶装置６０５は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置６０５は、オペレーティングシステムや、入力部１１０、検出部１２０、類似度算出部１３０、非出現確率算出部１４０、人物判別部１５０、及び表示制御部１６０を実現するための各種プログラムや、ＤＢ１７０として格納される確率情報１７１及び検出人物情報１７３を含む各種データ等を記憶する。記憶装置６０５に記憶されているプログラムやデータは、必要に応じてメモリ６０３にロードされることにより、プロセッサ６０１から参照される。

入力Ｉ／Ｆ６０７は、ユーザからの入力を受け付けるためのデバイスである。図３で説明した入力装置４００は、入力Ｉ／Ｆ６０７により実現することも可能である。入力Ｉ／Ｆ６０７の具体例としては、キーボードやマウス、タッチパネル等が挙げられる。入力Ｉ／Ｆ６０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介して情報処理サーバ１００に接続されても良い。

データＩ／Ｆ６０９は、情報処理サーバ１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ６０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ６０９は、情報処理サーバ１００の外部に設けられることも考えられる。その場合、データＩ／Ｆ６０９は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００へと接続される。

通信Ｉ／Ｆ６１１は、情報処理サーバ１００の外部の装置、例えばビデオカメラ２００等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ６１１は情報処理サーバ１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ６１１は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００に接続される。

表示装置６１３は、各種情報を表示するためのデバイスである。図１で説明した表示装置３００は、表示装置６１３により実現することも可能である。表示装置６１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置６１３は、情報処理サーバ１００の外部に設けられても良い。その場合、表示装置６１３は、例えばディスプレイケーブル等を介して情報処理サーバ１００に接続される。

（１．５ 本実施形態に係る効果）
以上説明したように、本実施形態に係る追跡システム１では、ビデオカメラ２００の映像に映る人物画像の特徴量の類似性のみならず、前の映像からのフレームアウト後の経過時間に基づく非出現確率をも考慮して、人物の同一性を判別（人物を追跡）している。これにより、追跡対象人物がカメラＡの映像からフレームアウト後、カメラＢの映像に映った際に十分な精度の特徴量が取れない場合であっても、カメラＡとカメラＢとの撮影範囲が近距離で誤る可能性が低い場合には、その人物を追跡対象人物として対応づけることができる。また、カメラＡとカメラＢとの距離が長距離であるにも関わらず、カメラＡから追跡対象人物がフレームアウトした後、すぐに追跡対象人物と特徴量が類似する人物が登場した場合に、その人物が誤って追跡対象人物として対応付けられることも防ぐことができる。つまり、複数の撮影装置に映る移動体に対して、好適に同一性を判別することができる。

（２ 第２実施形態）
以下、第２実施形態を、図７を参照しながら説明する。図７は、情報処理システムである監視装置７００の機能構成を示すブロック図である。図７に示すように、監視装置７００は、入力部７１０と、検出部７２０と、第１算出部７３０と、第２算出部７４０と、判別部７５０とを含む。

入力部７１０は、図示しない撮影装置（例えば、ビデオカメラ）で撮影された映像の入力を受けることができる。

検出部７２０は、複数の撮影装置のうちのあるビデオカメラ（以下、第１撮影装置という。）で撮影した映像（以下、第１映像という。）に映る移動体と、複数の撮影装置のうち、他のビデオカメラ（以下、第２撮影装置という。）が撮影した映像（以下、第２映像という。）に映る移動体とを検出する。

第１算出部７３０は、第１映像に映る移動体と、第２映像に映る移動体との類似度に基づいて、両移動体が同一の移動体である確率（以下、第１確率という。）を求める。

第２算出部７４０は、第１映像から移動体がフレームアウトした後の経過時間に基づいて、当該移動体（第１映像に映る移動体）が第２映像に出現していない確率（以下、第２確率という。）を求める。

判別部７５０は、第１確率と第２確率との比較に基づいて、第１映像に映る移動体と第２映像に映る移動体とが同一であるか否かを判別する。

このように実装することで、本実施形態に係る監視装置７００によれば、複数の撮影装置に映る移動体に対して、好適に同一性を判別できる。

（３ 付記事項）
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

（付記１）
複数の撮影装置で撮影された映像の入力を受ける入力手段と、前記複数の撮影装置のうち第１の撮影装置が撮影する第１の映像に映る移動体と、前記複数の撮影装置のうち第２の撮影装置が撮影する第２の映像に映る移動体とを検出する検出手段と、前記第１の映像に映る移動体の特徴量と、前記第２の映像に映る移動体の特徴量との類似度に基づいて、両移動体が同一である第１の確率を求める第１の算出手段と、前記第１の映像から移動体がフレームアウトした後の経過時間に基づいて、前記第１の映像に映る移動体が前記第２の映像に出現していない第２の確率を求める第２の算出手段と、前記第１の確率と前記第２の確率との比較に基づいて、前記第１の映像に映る移動体と前記第２の映像に映る移動体とが同一であるか否かを判別する判別手段とを備える情報処理システム。

（付記２）
前記判別手段は、前記第１の確率が前記第２の確率よりも大きい場合に、前記第１の映像に映る移動体と前記第２の映像に映る移動体とが同一であると判別する、付記１記載の情報処理システム。

（付記３）
前記第２の確率は、移動体の前記第１の映像からのフレームアウト後の経過時間に対して単調非増加となる、付記１又は付記２記載の情報処理システム。

（付記４）
前記第２の確率は、前記第１の撮影装置の撮影範囲から前記第２の撮影装置の撮影範囲までの距離が長い場合には、前記第１の撮影装置の撮影範囲から前記第２の撮影装置の撮影範囲までの距離が短い場合よりも、経過時間に対する減少幅が小さくなる、付記３記載の情報処理システム。

（付記５）
前記第２の映像を表示装置に表示させる表示制御手段を更に備え、前記表示制御手段は、前記第２の映像に映る移動体が前記第１の映像に映る移動体と同一であると判別された場合の表示方法を、同一であると判別される前と表示方法と変える、付記１乃至付記４のいずれか１項記載の情報処理システム。

（付記６）
前記判別手段は、前記第１の映像に同時に映る複数の移動体のうち、前記第２の映像に映る一部の移動体と同一であるか否かを判別し、前記第２の算出手段は、前記複数の移動体に、前記第２の映像に映る移動体と同一であると判別された移動体がある場合には、前記複数の移動体のうち、前記第２の映像に映る移動体と対応付けられていない移動体に関する前記第２の確率を下げる、付記１乃至付記５記載の情報処理システム。

（付記７）
複数の撮影装置で撮影された映像の入力を受けるステップと、前記複数の撮影装置のうち第１の撮影装置が撮影する第１の映像に映る移動体と、前記複数の撮影装置のうち第２の撮影装置が撮影する第２の映像に映る移動体とを検出するステップと、前記第１の映像に映る移動体の特徴量と、前記第２の映像に映る移動体の特徴量との類似度に基づいて、両移動体が同一である第１の確率を求めるステップと、前記第１の映像から移動体がフレームアウトした後の経過時間に基づいて、前記第１の映像に映る移動体が前記第２の映像に出現していない第２の確率を求めるステップと、前記第１の確率と前記第２の確率との比較に基づいて、前記第１の映像に映る移動体と前記第２の映像に映る移動体とが同一であるか否かを判別するステップとを情報処理システムが行う情報処理方法。

（付記８）
前記第１の確率が前記第２の確率よりも大きい場合に、前記第１の映像に映る移動体と前記第２の映像に映る移動体とが同一であると判別する、付記７記載の情報処理方法。

（付記９）
前記第２の確率は、移動体の前記第１の映像からのフレームアウト後の経過時間に対して単調非増加となる、付記７又は付記８記載の情報処理方法。

（付記１０）
前記第２の確率は、前記第１の撮影装置の撮影範囲から前記第２の撮影装置の撮影範囲までの距離が長い場合には、前記第１の撮影装置の撮影範囲から前記第２の撮影装置の撮影範囲までの距離が短い場合よりも、経過時間に対する減少幅が小さくなる、付記９記載の情報処理方法。

（付記１１）
前記第２の映像を表示装置に表示するステップを更に行い、前記第２の映像に映る移動体が前記第１の映像に映る移動体と同一であると判別された場合の表示方法を、同一であると判別される前と表示方法と変える、付記１乃至付記４のいずれか１項記載の情報処理方法。

（付記１２）
前記第１の映像に同時に映る複数の移動体のうち、前記第２の映像に映る一部の移動体と同一であるか否かを判別し、前記複数の移動体に、前記第２の映像に映る移動体と同一であると判別された移動体がある場合には、前記複数の移動体のうち、前記第２の映像に映る移動体と対応付けられていない移動体に関する前記第２の確率を下げる、付記７乃至付記１１記載の情報処理方法。

（付記１３）
複数の撮影装置で撮影された映像の入力を受ける処理と、前記複数の撮影装置のうち第１の撮影装置が撮影する第１の映像に映る移動体と、前記複数の撮影装置のうち第２の撮影装置が撮影する第２の映像に映る移動体とを検出する処理と、前記第１の映像に映る移動体の特徴量と、前記第２の映像に映る移動体の特徴量との類似度に基づいて、両移動体が同一である第１の確率を求める処理と、前記第１の映像から移動体がフレームアウトした後の経過時間に基づいて、前記第１の映像に映る移動体が前記第２の映像に出現していない第２の確率を求める処理と、前記第１の確率と前記第２の確率との比較に基づいて、前記第１の映像に映る移動体と前記第２の映像に映る移動体とが同一であるか否かを判別する処理とをコンピュータに実行させるプログラム。

（付記１４）
コンピュータに、前記第１の確率が前記第２の確率よりも大きい場合に、前記第１の映像に映る移動体と前記第２の映像に映る移動体とが同一であると判別させる、付記１３記載のプログラム。

（付記１５）
前記第２の確率は、移動体の前記第１の映像からのフレームアウト後の経過時間に対して単調非増加となる、付記１３又は付記１４記載のプログラム。

（付記１６）
前記第２の確率は、前記第１の撮影装置の撮影範囲から前記第２の撮影装置の撮影範囲までの距離が長い場合には、前記第１の撮影装置の撮影範囲から前記第２の撮影装置の撮影範囲までの距離が短い場合よりも、経過時間に対する減少幅が小さくなる、付記１５記載のプログラム。

（付記１７）
コンピュータに、前記第２の映像を表示装置に表示させる処理を更に実行させ、前記第２の映像に映る移動体が前記第１の映像に映る移動体と同一であると判別された場合の表示方法を、同一であると判別される前と表示方法と変えさせる、付記１３乃至付記１６のいずれか１項記載のプログラム。

（付記１８）
コンピュータに、前記第１の映像に同時に映る複数の移動体のうち、前記第２の映像に映る一部の移動体と同一であるか否かを判別させ、前記複数の移動体に、前記第２の映像に映る移動体と同一であると判別された移動体がある場合には、前記複数の移動体のうち、前記第２の映像に映る移動体と対応付けられていない移動体に関する前記第２の確率を下げさせる、付記１３乃至付記１７記載のプログラム。

この出願は、２０１３年４月２６日に出願された日本出願特願２０１３−０９３８４９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１・・・追跡システム
１００・・・情報処理サーバ
１１０・・・入力部
１２０・・・検出部
１３０・・・類似度算出部
１４０・・・非出現確率算出部
１５０・・・人物判別部
１６０・・・表示制御部
１７１・・・確率情報
１７３・・・検出人物情報
２００・・・ビデオカメラ
３００・・・表示装置
４００・・・入力装置
６０１・・・プロセッサ
６０３・・・メモリ
６０５・・・記憶装置
６０７・・・入力インタフェース
６０９・・・データインタフェース
６１１・・・通信インタフェース
６１３・・・表示装置
７００・・・監視装置
７１０・・・入力部
７２０・・・検出部
７３０・・・第１算出部
７４０・・・第２算出部
７５０・・・判別部

Claims (10)

1. 複数の撮影装置で撮影された映像の入力を受ける入力手段と、
   前記複数の撮影装置のうち第１の撮影装置が撮影する第１の映像に映る第１の人物の画像と、前記複数の撮影装置のうち第２の撮影装置が撮影する第２の映像に映る第２の人物の画像とを検出する検出手段と、
   前記第１の映像に映る第１の人物の特徴量と、前記第２の映像に映る第２の人物の特徴量とに基づいて、前記第１の人物と前記第２の人物とを対応付ける対応付け手段と、
   前記第１の映像から前記第１の人物がフレームアウトした時点から、前記第２の映像へ前記第２の人物がフレームインした時点までの経過時間を提供する提供手段と、
   前記第２の映像上において、前記第１の人物と対応付けられた前記第２の人物の画像を強調表示するように制御する制御手段と、を備え、
   前記制御手段は、前記第１の人物の特徴量と前記第２の人物の特徴量との類似度と、前記経過時間とに基づき、前記第２の人物の画像を強調表示する様態を変える、
   情報処理システム。
2. 前記類似度に応じて前記第１の人物と前記第２の人物とが同一人物である第１の確率を算出し、さらに、前記経過時間に基づき前記第１の人物と前記第２の人物とが同一人物でない第２の確率を算出する算出手段を備え、
   前記制御手段は、前記第１の確率と前記第２の確率との大小関係に応じて、前記第２の人物の画像を強調表示する様態を変える、請求項１に記載の情報処理システム。
3. 前記提供手段は、前記算出手段が前記第１の確率を算出した後に、前記経過時間を提供する、
   請求項２に記載の情報処理システム。
4. 前記算出手段は、さらに前記第１の撮影装置の撮影範囲から前記第２の撮影装置の撮影範囲までの距離に基づき、前記第２の確率を算出する、請求項２または３に記載の情報処理システム。
5. 複数の撮影装置で撮影された映像の入力を受け、
   前記複数の撮影装置のうち第１の撮影装置が撮影する第１の映像に映る第１の人物の画像と、前記複数の撮影装置のうち第２の撮影装置が撮影する第２の映像に映る第２の人物の画像とを検出し、
   前記第１の映像に映る第１の人物の特徴量と、前記第２の映像に映る第２の人物の特徴量とに基づいて、前記第１の人物と前記第２の人物とを対応付け、
   前記第１の映像から前記第１の人物がフレームアウトした時点から、前記第２の映像へ前記第２の人物がフレームインした時点までの経過時間を提供し、
   前記第２の映像上において、前記第１の人物と対応付けられた前記第２の人物の画像を強調表示するように制御し、
   前記制御する処理において、前記第１の人物の特徴量と前記第２の人物の特徴量との類似度と、前記経過時間とに基づき、前記第２の人物の画像を強調表示する様態を変える、
   情報処理方法。
6. 前記類似度に応じて前記第１の人物と前記第２の人物とが同一人物である第１の確率を算出し、
   さらに、前記経過時間に基づき前記第１の人物と前記第２の人物とが同一人物でない第２の確率、を算出し、
   前記第１の確率と前記第２の確率との大小関係に応じて、前記第２の人物の画像を強調表示する様態を変える、請求項５に記載の情報処理方法。
7. 前記第１の確率が算出された後に、前記経過時間を提供する、
   請求項６に記載の情報処理方法。
8. コンピュータに
   複数の撮影装置で撮影された映像の入力を受ける処理、
   前記複数の撮影装置のうち第１の撮影装置が撮影する第１の映像に映る第１の人物の画像と、前記複数の撮影装置のうち第２の撮影装置が撮影する第２の映像に映る第２の人物の画像とを検出する処理、
   前記第１の映像に映る第１の人物の特徴量と、前記第２の映像に映る第２の人物の特徴量とに基づいて、前記第１の人物と前記第２の人物とを対応付ける処理、
   前記第１の映像から前記第１の人物がフレームアウトした時点から、前記第２の映像へ前記第２の人物がフレームインした時点までの経過時間を提供する処理、
   前記第２の映像上において、前記第１の人物と対応付けられた前記第２の人物の画像を強調表示するように制御する処理、
   を実行させ、
   前記制御する処理において、前記第１の人物の特徴量と前記第２の人物の特徴量との類似度と、前記経過時間とに基づき、前記第２の人物の画像を強調表示する様態を変える、
   プログラム。
9. さらに、コンピュータに、
   前記類似度に応じて前記第１の人物と前記第２の人物とが同一人物である第１の確率を算出し、さらに、前記経過時間に基づき前記第１の人物と前記第２の人物とが同一人物でない第２の確率を算出する処理を実行させ、
   前記制御する処理において、前記第１の確率と前記第２の確率との大小関係に応じて、前記第２の人物の画像を強調表示する様態を変える、
   請求項８に記載のプログラム。
10. 前記経過時間を提供する処理は、前記第１の確率が算出された後に、実行させる、
    請求項９に記載のプログラム。

Images