JPWO2020195376A1 - 監視装置、不審オブジェクト検出方法、およびプログラム - Google Patents

Abstract

オブジェクトの行動から判別できない不審なオブジェクトの属性変化を検出できる監視装置等を提供する。対応付け部は、時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクトを対応付け、属性変化検出部は、時系列の画像データから、同一のオブジェクトおよび付帯物の少なくとも一方の属性の変化を検出し、不審オブジェクト検出部は、属性の変化に基づいて、不審なオブジェクトを検出する。

Description

本発明は、監視装置、不審オブジェクト検出方法、および記録媒体に関し、特に、不審なオブジェクトを検出する監視装置に関する。

時系列の画像から検出されたオブジェクトの行動に基づいて、不審なオブジェクトを検出する関連技術が存在する。特許文献１には、監視映像に映る人物の行動を検出して、検出した人物の行動を、不審行動のパターンとマッチングすることが記載されている。不審行動のパターンには、それぞれ「不審度」（不審さの度合い）が紐付けられている。特許文献１に記載の技術は、人物の「不審度」が閾値を超えた場合に、警報を出力する。

特許文献２、３及び４には、人物の顔の特徴及び外見の特徴の少なくとも一方を用いて、指定された人物の特徴と時系列の画像から検出された人物の特徴とを照合し、この照合結果を利用することによって、人物を追跡する技術が記載されている。

具体的には、特許文献２や特許文献３では、人物の追跡において、衣服が変わった場合に、その衣服の特徴を新たに追加して人物を追跡する技術について記載されている。一方、特許文献４では、人物を追跡して万引き行為を検出する技術について記載されている。ここでは、万引きの後で衣服のポケットが膨らむ、あるいは速足になるといった変化を検知して、追跡対象である人物が不審かどうかを判定することが記載されている。

特開２０１１−１０７７６５号公報 特開２０１４−１６９６８号公報 特開２０１６−１２７５６３号公報 特開２０１６−０５７９０８号公報

特許文献１に記載の関連技術では、例えば、人間（オブジェクト）が、監視映像に映らない場所で、変装したり、あるいは携行物を置いて来たりしたことを検出できない。

特許文献２、３に記載の技術では、衣服が変化したこと自体を不審と判定しているわけではないため、衣服を着替えた人物を不審者として抽出し、アラートを挙げることはできない。また、特許文献４に記載の技術では、万引きという特有の行為に対して想定される、同一性を逸しない範囲での人物の衣服や歩容の変化、を検知しているのみである。このため、人物の衣服や歩容自体が他のものに切り替わったことを検知し、不審者としてアラートを挙げることはできない。

本発明は、上記の課題に鑑みてなされたものであり、オブジェクトの行動から判別できない不審なオブジェクトを検出できる監視装置等を提供することを主要な目的とする。

本発明の一態様に係わる監視装置は、時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクトを対応付ける対応付け手段と、前記時系列の画像データから、前記同一のオブジェクトおよびその付帯物の少なくとも一方の属性の変化を検出する属性変化検出手段と、前記属性の変化に基づいて、不審なオブジェクトを検出する不審オブジェクト検出手段とを備える。

本発明の一態様に係わる不審オブジェクト検出方法は、時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクトを対応付け、前記時系列の画像データから、前記同一のオブジェクトおよびその付帯物の少なくとも一方の属性の変化を検出し、前記属性の変化に基づいて、不審なオブジェクトを検出することを含む。

本発明の一態様に係わる記録媒体は、時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクトを対応付ける処理と、前記時系列の画像データから、前記同一のオブジェクトおよびその付帯物の少なくとも一方の属性の変化を検出する処理と、前記属性の変化に基づいて、不審なオブジェクトを検出する処理とをコンピュータに実行させるプログラムを記録する。

本発明の一態様によれば、オブジェクトの行動から判別できない不審なオブジェクトを検出できる。

実施形態１に係わる監視装置の構成を示すブロック図である。 実施形態１に係わる監視装置の動作フローを示すフローチャートである。 実施形態２に係わる監視装置の構成を示すブロック図である。 実施形態２に係わる監視装置の動作フローを示すフローチャートである。 実施形態３に係わる監視装置の構成を示すブロック図である。 実施形態３に係わる監視装置の動作フローを示すフローチャートである。 実施形態４に係わる監視装置の構成を示すブロック図である。 例外情報の一例を示す表である。 実施形態４に係わる監視装置の動作フローを示すフローチャートである。 実施形態５に係わる監視装置の構成を示すブロック図である。 実施形態６に係わるハードウェア構成を示す図である。

〔実施形態１〕
図１及び図２を参照して、実施形態１に関して説明する。

（監視装置１００）
図１は、実施形態１に係わる監視装置１００の構成を示すブロック図である。図１に示すように、監視装置１００は、対応付け部１１０、属性変化検出部１２０、及び不審オブジェクト検出部１３０を備えている。

（対応付け部１１０）
対応付け部１１０は、時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクト同士を対応付ける。対応付け部１１０は、対応付け手段の一例である。例えば、対応付け部１１０は、同一のオブジェクトの識別情報（例えば、各オブジェクトにそれぞれ付加されたラベル）を紐付けて、図示しないメモリに格納する。

オブジェクトとは、画像データにおいてモニタリングの対象となる物体である。例えば、オブジェクトは移動体（人物、車両など）、または設置物である。オブジェクトの属性情報は、オブジェクトの属性に関する情報である。オブジェクトの属性とは、オブジェクトに固有の特徴であり、オブジェクトのモダリティを形成するものである。モダリティとは、様相、雰囲気、あるいは、人間の五感による感じられ方を意味する。なお、ここでいう固有の特徴とは、観測対象期間内で固有であればよく、半永久的に固有である必要はない。

特に、オブジェクトが人物である場合、オブジェクトの属性は、人物の外見上の個性を形成する１または複数の特徴であり、具体的には、人物の顔、虹彩、歩容、体型、および髪形のうち、少なくとも一つを含む。

また、オブジェクトの付帯物の特徴もオブジェクトの属性に含まれる。付帯物とは、あるオブジェクトに付帯している他のオブジェクトのことである。例えば、オブジェクトが人物である場合、付帯物は、鞄、スーツケース、手荷物、衣服、履物、装飾品（例えば、マスク、メガネ、帽子など）、またはその他の持ち物である。さらに、付帯物は、人物の顔や髪形など、装飾と一体となった人物の部位も含む。さらに、付帯物自体の属性も、オブジェクトの属性の一部であってもよい。付帯物の属性は、付帯物の色、大きさ、形状、模様、数、位置、および質感のうち少なくとも一つを含む。

付帯物は、衣服のように、オブジェクトと区別せずに検出されるものもあれば、持ち物のように、オブジェクトから区別して検出されるものもある。あるいは、人物（オブジェクトの一例である）が背中に背負ったリュックのように、オブジェクトに密着している付帯物は、オブジェクトと一緒に（すなわち一体として）検出されることもある。ここでは、オブジェクトと付帯物とが不可分に検出されるかどうかによらず、付帯物の特徴をオブジェクトの属性の一部として扱う。

なお、オブジェクトと区別して検出される付帯物の場合には、そのオブジェクトの近傍（例えばオブジェクトの位置から所定範囲内）にあり、かつ、そのオブジェクトに付随して移動する物体が、オブジェクトの付帯物として検出される。

対応付け部１１０は、オブジェクトの属性情報および位置情報の少なくとも一方に基づいて、時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクト同士を対応付ける。以下では、対応付け部１１０による同一のオブジェクトの対応付けについての第一から第三の例を説明する。

第一の例では、対応付け部１１０は、オブジェクトの位置情報に基づいて、複数のオブジェクトのうち、同一のオブジェクト同士を対応付ける。オブジェクトの位置情報は、各画像データにおけるオブジェクトの領域の位置座標を含む。例えば、時系列の画像データから検出されたオブジェクトの位置情報を用いて、同一のオブジェクトを対応付けることによって、オブジェクトをトラッキング（追跡）することができる。なお、オブジェクトをトラッキングする方法は、例えば特許文献２〜４に記載されている。

位置座標は、画像上の位置座標であってもよいし、画像上の位置座標をカメラの位置や姿勢を表すカメラパラメータによって変換して得られる実世界座標系であってもよい。カメラパラメータは、予めキャリブレーションを行うことで算出できる。また、オブジェクトの追跡では、対応付け部１１０は、オブジェクトの属性のほかに、オブジェクトの外見の類似性に関する情報も併せて用いるようにしてもよい。例えば、対応付け部１１０は、オブジェクトの領域の画像の視覚的特徴量（色、模様、形状など）の類似度、動きの類似度等も併せて、オブジェクトの追跡に用いてもよい。

第二の例では、対応付け部１１０は、オブジェクトの属性情報に基づいて、複数のオブジェクトのうち、同一のオブジェクト同士を対応付ける。この場合、対応付け部１１０は、オブジェクトの属性情報を用いて、オブジェクトの同一性を判定し、さらにオブジェクトの同一性判定結果を出力する。例えば、対応付け部１１０は、人物の属性情報の間の類似度または距離に基づくスコアを、オブジェクトを同一性判定するための尺度として算出する。

特に、オブジェクトが人物である場合、対応付け部１１０は、時系列の画像データにおいて検出された複数の人物の間で、顔照合、虹彩照合、またはその他の生体情報を用いた照合で人物の識別を行うことによって、同一の人物を対応付けてもよい。なお、人物の同一性判定は、図示しない識別手段によって行われてもよい。この場合、対応付け部１１０は、識別手段による人物の同一性判定結果に基づいて、同一の人物を対応付ける。

属性情報が複数の要素を含む場合、対応付け部１１０は、複数の属性情報を併用して、同一のオブジェクトを対応付けてもよい。この場合、対応付け部１１０は、複数の属性情報に基づくオブジェクトの同一性判定結果を、各属性情報によるオブジェクトの同一性判定精度に応じて重みを付ける。例えば、対応付け部１１０は、オブジェクトの同一性判定結果を示す尤度（例：オブジェクトＡである可能性は３０％、オブジェクトＢである可能性は７０％）に対し、０から１までの間の係数を付加する。

対応付け部１１０は、重み付けした同一性判定結果を統合する。重みづけの一つの方法は、各属性情報によるオブジェクトの同一性判定の精度に基づいて、重みを決定することである。例えば、各属性情報によるオブジェクトの同一性判定のテストを繰り返し、正しく判定できた回数または割合に基づいて、各属性情報によるオブジェクトの同一性判定の精度が決定される。対応付け部１１０は、各属性情報によるオブジェクトの同一性判定結果を、それぞれ重み付けしてから、足し合わせる。ただし、統合の方法はこれに限らない。あるいは、対応付け部１１０は、複数の属性に対する同一性判定結果を統合するために、任意の方法を用いることができる。対応付け部１１０は、統合した同一性判定結果に基づいて、同一のオブジェクトを対応付ける。

第三の例では、対応付け部１１０は、オブジェクトの属性情報および位置情報の両方を用いて、オブジェクトの同一性判定および同一のオブジェクトの対応付けを行う。この場合、対応付け部１１０は、属性情報に基づくオブジェクトの同一性判定結果と、位置情報に基づくオブジェクトの同一性判定結果とを、それぞれ重み付けする。そして、対応付け部１１０は、重み付けした２つの同一性判定結果を統合した結果に基づいて、同一のオブジェクトを対応付ける。あるいは、対応付け部１１０は、上述のように、他の方法によって、２つの同一性判定結果を統合してもよい。

なお、属性情報は、すべての画像データから抽出できるとは限らない。画像データから属性情報を抽出できない場合、第一の例で述べたように、対応付け部１１０は、位置情報をベースとした追跡により、オブジェクトの同一性を判定する。このように、時系列の画像間で同一性判定の基準が変わり得る。またその結果、同一性判定の信頼度も変化する。よって、対応付け部１１０は、対応付けの情報に、画像ごとの同一性判定の信頼度を表す情報も含めてもよい。

対応付けの信頼度は、オブジェクトの周囲に他のオブジェクトが存在するかどうか、そして、オブジェクト同士の属性が類似しているかどうかということにも依存する。よって、対応付け部１１０は、周囲の他のオブジェクトの分布状況も併せて考慮して、信頼度を求めてもよい。

対応付け部１１０は、上述したいずれかの方法によって、時系列の画像データから検出されたオブジェクトのうち、同一のオブジェクトを対応付ける。すなわち、対応付け部１１０は、オブジェクト同士の同一性を表すスコアが一定値以上の場合に、それらのオブジェクトは同一であると判定し、それらのオブジェクトを対応付ける。そして、対応付け部１１０は、対応付けられた同一のオブジェクトごとにグループ化する。また、対応付けられた同一のオブジェクトのそれぞれの属性情報もグループ化される。

上述のように、属性情報は、常に抽出できるとは限らないため、時系列において飛び飛びに抽出される場合もある。すなわち、ある時刻には、一部の属性情報のみが抽出され、他の時刻にはそれ以外の属性情報も抽出されるといった状況が起こる。対応付け部１１０は、このように抽出された属性情報も、同一のオブジェクトであると判定されたグループに対して対応付ける。

対応付け部１１０は、対応付けしたオブジェクトの同一性判定情報を、属性変化検出部１２０へ送信する。オブジェクトの同一性判定情報は、対応付け部１１０が同一であると判定したオブジェクトのグループを区別する情報と、そのグループに対応付けられたオブジェクトの属性情報とを含む。なお、対応付け部１１０が同一であると判定したオブジェクトのグループを区別する情報をグループＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）とも称する。さらに、オブジェクトの同一性判定情報は、オブジェクトの位置情報も含んでいてもよい。

なお、以下のケース１、ケース２、及びケース３に例示するように、対応付け部１１０は、周囲の他のオブジェクトの分布状況や、環境における制約等の情報も併せて用い、時系列の画像データから検出されたオブジェクトのうち、同一の人物（オブジェクトの一例）を間接的に対応付けてもよい。これらのケースでは、対応付け部１１０は、オブジェクトの属性情報およびオブジェクトの位置情報の少なくとも一方を用いるとともに、環境等に関する情報も用いて、同一の人物を対応付ける。
ケース１：検出された人物の周囲には、他の人物が存在しない。
ケース２：他の人物はすべて識別されており、ただ一人の識別されていない人物がいる。
ケース３：部屋の出入り口が一つであって、部屋の中には他の人物がいない状況で、一人が入室後に一人が退出した。

（属性変化検出部１２０）
属性変化検出部１２０は、時系列の画像データから、同一のオブジェクトおよび付帯物の少なくとも一方の属性の変化を検出する。すなわち、属性変化検出部１２０は、同一と判定されたオブジェクトのうち、付帯物の属性を含む一部の属性が同一性を示さないオブジェクトを検出する。属性変化検出部１２０は、属性変化検出手段の一例である。

具体的には、属性変化検出部１２０は、対応付け部１１０から、オブジェクトの同一性判定情報を受信する。属性変化検出部１２０は、オブジェクトの同一性判定情報を用いて、時系列の画像データにおいて、同一のオブジェクトごとにグループ化し、さらに同一のオブジェクトの属性の一貫性をチェックする。

より詳細には、属性変化検出部１２０は、時系列の画像データにおいて特定した同一のオブジェクトの属性の間の類似度を計算することによって、属性の変化を検出する。以下では、オブジェクトまたは付帯物の属性の変化を、単に属性変化と呼ぶ場合がある。

例えば、属性変化検出部１２０は、時系列の画像データの間で、同一のオブジェクトの付帯物の色、大きさ、形状、模様、数、位置、および質感のうち、少なくとも１つが変化したことを、属性変化として検出する。ただし、ここで説明した属性変化は一例である。属性変化検出部１２０は、オブジェクトまたは付帯物のどのような属性変化を検出してもよい。

例えば、オブジェクトが人物であり、歩容の情報と位置情報とから同一と判定された人物が、途中で３Ｄマスクをかぶったために、人物の顔が変化したことも、属性変化検出部１２０は、属性変化として検出してもよい。同様に、人物が衣服を着替えたために、衣服の属性が同一と変化したことも、属性変化検出部１２０は、属性変化として検出してもよい。

具体的には、時系列で対応付けられた同一と判定されたオブジェクトの属性の間の類似度が、一定の閾値（同一判定で用いる閾値よりも低い値）を下回ったことを、属性変化検出部１２０は、属性変化として検出する。ただし、環境変化等の要因で、一時的に属性間の類似度が下がることはあり得る。そのため、属性間の類似度が一定の閾値を下回った後、属性変化検出部１２０は、オブジェクトの変化後の属性が安定していることを確認した上で、属性変化として検出してもよい。すなわち、変化後の属性の類似度が一定の閾値以上である状態が一定期間以上継続したことに基づいて、属性変化検出部１２０は、属性変化を検出してもよい。

属性変化が検出された場合、属性変化検出部１２０は、属性変化の検出結果を、不審オブジェクト検出部１３０へ送信する。属性変化の検出結果は、オブジェクトを区別するグループのグループＩＤと、変化した属性の種別と、その属性変化の内容を表す情報とを含む。

（不審オブジェクト検出部１３０）
不審オブジェクト検出部１３０は、属性の変化に基づいて、不審なオブジェクトを検出する。不審オブジェクト検出部１３０は、不審オブジェクト検出手段の一例である。

具体的には、不審オブジェクト検出部１３０は、属性変化検出部１２０から、同一のオブジェクトの属性変化の検出結果を受信する。

不審オブジェクト検出部１３０は、属性変化が検出されたオブジェクトを、不審なオブジェクトとして検出する。

不審オブジェクト検出部１３０は、不審なオブジェクトを検出したことを報知してもよい。例えば、不審オブジェクト検出部１３０は、アラートを出力してもよいし、警備員が所持する端末に通知してもよい。

一変形例では、不審オブジェクト検出部１３０は、検出されたオブジェクトの属性変化を、予め定められた属性変化のパターンとマッチングすることによって、オブジェクトが不審である程度（レベル）を表す数値である「不審度」を計算してもよい。例えば、顔や服のみの属性が変化している場合、不審オブジェクト検出部１３０は、不審度の値を高くするようにしてもよい。そして、「不審度」を時系列に累積し、その累積値が閾値を超えたとき、不審オブジェクト検出部１３０は、アラートを出力してもよい。

（監視装置１００の動作フロー）
図２を参照して、本実施形態１に係わる監視装置１００の動作フローを説明する。図２は、監視装置１００の動作フローを示すフローチャートである。

図２に示すように、対応付け部１１０は、時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクト同士を対応付ける（Ｓ１０１）。

対応付け部１１０は、同一のオブジェクト同士の対応付けの結果を含む同一性判定情報を、属性変化検出部１２０へ送信する。

属性変化検出部１２０は、オブジェクトの同一性判定情報を用いて、時系列の画像データの間で、同一のオブジェクトの属性変化を検出する。属性変化検出部１２０は、同一のオブジェクトの属性変化の検出結果を、不審オブジェクト検出部１３０へ送信する。

属性変化検出部１２０が、時系列の画像データの間で、同一のオブジェクトの属性変化を検出しなかった場合（Ｓ１０２でＮｏ）、図２に示すフローは終了する。

一方、属性変化検出部１２０が、時系列の画像データの間で、同一のオブジェクトの属性変化を検出した場合（Ｓ１０２でＹｅｓ）、不審オブジェクト検出部１３０は、属性が変化したオブジェクトを、不審なオブジェクトとして検出する（Ｓ１０３）。

以上で、本実施形態１に係わる監視装置１００の動作フローは終了する。

（本実施形態の効果）
本実施形態１の構成によれば、対応付け部１１０は、時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクト同士を対応付ける。属性変化検出部１２０は、時系列の画像データから、同一のオブジェクトおよび付帯物の少なくとも一方の属性の変化を検出する。不審オブジェクト検出部１３０は、属性の変化に基づいて、不審なオブジェクトを検出する。したがって、本実施形態１に係わる監視装置１００は、オブジェクトの行動から判別できない不審なオブジェクトを検出できる。

〔実施形態２〕
本実施形態２では、属性データ記憶部に格納された属性データを用いて、同一のオブジェクトを対応付け、さらに属性変化を検出する構成について説明する。

（監視装置２００）
図３は、本実施形態２に係わる監視装置２００の構成を示すブロック図である。図３に示すように、監視装置２００は、不審オブジェクト検出部２１０、オブジェクト検出部２２０、属性抽出部２３０、対応付け部２４０、属性変化検出部２５０、および属性データ記憶部２７０を備えている。なお、以降の説明では、主として、オブジェクトが人物である場合について述べるが、オブジェクトは人物でなくてもよい。例えば、監視装置２００は、車両をモニタリングするシステムであり、オブジェクトは車両であってもよい。

（オブジェクト検出部２２０）
オブジェクト検出部２２０は、時系列の画像データを取得する。例えば、オブジェクト検出部２２０は、図示しない一または複数台の監視カメラから、監視カメラが撮影した動画データを、時系列の画像データとして取得する。

オブジェクト検出部２２０は、受信した時系列の画像データから、複数のオブジェクトを検出する。本実施形態２では、オブジェクト検出部２２０は、人物や付帯物などの検出対象となるオブジェクトの特徴を学習した識別器を用いて、各画像データから、オブジェクトを検出し、また、オブジェクトの領域を抽出する。

オブジェクト検出部２２０は、各画像データから検出した各人物に対し、それぞれラベル（以下では、人物ラベルと呼ぶ）を付加する。そして、オブジェクト検出部２２０は、各画像データから抽出した人物の領域の画像データを、人物ラベルとともに、属性抽出部２３０へ送信する。

また、オブジェクト検出部２２０は、オブジェクトの付帯物を検出する。例えば、オブジェクト検出部２２０は、人物と密着しており、かつ、人物の領域と重なりの程度が大きいオブジェクトを、付帯物として検出する。また、オブジェクト検出部２２０は、検出した付帯物に対して、それぞれラベル（以下では、付帯物ラベルと呼ぶ）を付加するとともに、付帯物ラベルを前述の人物ラベルと対応付ける。

あるいは、オブジェクト検出部２２０は、人物と分離しているが、その人物の近傍にあるオブジェクトを、付帯物として検出し、人物と付帯物とを対応付けてもよい。この際、オブジェクト検出部２２０は、人物と付帯物との位置関係も併せて考慮してもよい。または、オブジェクト検出部２２０は、ただ一人の人物が、人物以外のオブジェクトの近くにいる場合に、そのオブジェクトを、付帯物として、その人物に対応付けてもよい。

あるいは、オブジェクト検出部２２０は、対応付けの確からしさを表す信頼度を考慮し、人物と付帯物とを対応付けてもよい。例えば、オブジェクトの近くに複数の人物がいる場合、オブジェクト検出部２２０は、各人物と付帯物とをそれぞれ対応付け、その対応付けの信頼度をそれぞれ求める。ただし、付帯物の近くに複数の人物がいる場合、各人物と付帯物との対応付けの信頼度は、付帯物の近くにただ一人の人物がいる場合よりも低くなる。なお、人物と付帯物との対応付けは、オブジェクト検出部２２０ではなく、後述する属性抽出部２３０が行ってもよい。

また、オブジェクト検出部２２０は、各画像データから検出した人物や付帯物の位置座標（例えば、人物や付帯物の領域の４隅の位置座標）を含む人物や付帯物の位置情報を、人物や付帯物のラベルとともに、対応付け部２４０へ送信する。

（属性抽出部２３０）
属性抽出部２３０は、オブジェクト検出部２２０から、人物の領域の画像データおよび人物ラベルと、付帯物の領域の画像データおよびそのラベルとを受信する。属性抽出部２３０は、人物の領域の画像データから、人物の属性情報を抽出する。例えば、属性抽出部２３０は、人物の属性情報として、人物の顔、虹彩、歩容、および髪形に関する情報を、人物の領域の画像データから抽出する。

属性抽出部２３０は、さらに、付帯物の領域の画像データから、付帯物の属性を示す属性情報を抽出する。属性抽出部２３０は、抽出した人物の属性情報および付帯物の属性情報と、オブジェクト検出部２２０から受信した人物ラベルとを紐付けた属性データを、属性データ記憶部２７０に格納する。

（対応付け部２４０）
対応付け部２４０は、時系列の画像データから検出された複数の人物のうち、同一の人物同士を対応付ける。対応付け部２４０は、対応付け手段の一例である。

具体的には、対応付け部２４０は、オブジェクト検出部２２０から、画像データにおける人物の領域の位置座標を示す人物の位置情報と、人物ラベルとを受信する。

対応付け部２４０は、属性データ記憶部２７０を参照して、オブジェクト検出部２２０から受信した人物ラベルと対応する属性データを取得する。属性データは、人物の属性情報および付帯物の属性情報と、人物ラベルとを紐付けている。

そして、対応付け部２４０は、オブジェクトの属性情報および位置情報の少なくとも一方に基づいて、時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクト同士を対応付ける。

一例では、対応付け部２４０は、オブジェクト検出部２２０から受信した人物の位置情報に基づいて、時系列の画像データから検出された複数の人物のうち、同一の人物同士を対応付ける。具体的には、対応付け部２４０は、人物の位置情報を用いて、人物を追跡する。対応付け部２４０は、人物の追跡結果（人物の動線を含む）に基づいて、時系列の画像データから検出された人物の同一性を判定することによって、時系列の画像データから検出された人物のうち、同一の人物同士を対応付ける。

あるいは、対応付け部２４０は、属性データに含まれる人物の属性情報に基づいて、時系列の画像データから検出された複数の人物のうち、同一の人物同士を対応付けてもよい。具体的には、対応付け部２４０は、人物の属性情報として、人物の顔の特徴または虹彩のパターンを用いて、顔照合または虹彩照合を行うことによって、人物の同一性を判定する。対応付け部２４０は、人物の同一性判定結果に基づいて、時系列の画像データから検出された全ての人物のうち、同一の人物を対応付ける。

対応付け部２４０は、ただ一つの属性情報（例えば人物の顔の特徴、虹彩のパターンなど）のみを用いて、人物の対応付けを行ってもよい。

あるいは、人物の属性情報が複数の要素（例えば、顔、虹彩、歩容、体型、および髪型）を含む場合、対応付け部２４０は、属性情報の複数の要素のうち全部または一部を用いて、人物の対応付けを行ってもよい。この場合、対応付け部２４０は、属性情報の複数の要素に基づく人物の同一性判定結果を重み付けする。そして、対応付け部２４０は、重み付けした人物の同一性判定結果を統合することによって、同一の人物を対応付ける。

あるいはまた、対応付け部２４０は、オブジェクトの属性情報および位置情報の両方に基づいて、時系列の画像データから検出された複数の人物のうち、同一の人物同士を対応付けてもよい。例えば、対応付け部２４０は、人物の位置情報による人物の同一性判定結果と、人物の属性情報による人物の同一性判定結果とを重み付けして統合することによって、同一の人物を対応付ける。

より一般的には、対応付け部２４０は、各属性情報に基づいて、同一の人物らしさを表す尤度を属性別に求める。対応付け部２４０は、得られた属性別の尤度を統合する。そして、対応付け部２４０は、統合した尤度が一定の閾値を超えた場合に、複数の人物は同一の人物であると判定する。あるいは、対応付け部２４０は、複数の属性情報を入力として、統合した尤度を求めるための関数を、ニューラルネットワーク等を用いて学習してもよい。この場合、対応付け部２４０は、学習で得られた関数を用いて、複数の属性情報から直接に、統合した尤度を求めることができる。なお、属性抽出部２３０が、人物の属性情報の一部を抽出できない場合、対応付け部２４０は、抽出できた属性情報のみを用いて、人物の同一性を判定する。

対応付け部２４０は、同一性判定の信頼度も求めてもよい。同一性判定の信頼度は、対応付け部２４０が用いる人物の属性情報や、人物の周囲にいる他の人物の分布状況に依存する。

あるいは、対応付け部２４０は、他の人物の分布情報や、環境の制約情報等も用いて、同一の人物を間接的に対応付けてもよい。前記実施形態１で説明したように、例えば、オブジェクト検出部２２０により検出された複数の人物のうち、ただ一人を除いて識別されている場合である。このような場合、対応付け部２４０は、その一人の人物を識別することなしに、同一の人物を対応付ける。

対応付け部２４０は、上述したいずれかの方法によって、時系列の画像データから検出された人物のうち、同一の人物を対応付ける。対応付け部２４０は、同一の人物と対応する人物ラベルのグループを示す情報（例えばグループＩＤ）を、属性変化検出部２５０へ送信する。

例えば、異なる画像データから検出された人物ａと人物ｂとが同一であるとする。この場合、対応付け部２４０は、人物ａに付加された人物ラベルと、人物ｂに付加された人物ラベルとを、同一の人物のグループとする。そして、対応付け部２４０は、同一の人物のグループを形成する複数の人物ラベルに対し、同一のグループＩＤを付与して、同一の人物のグループを示す情報として、属性変化検出部２５０へ送信する。

（属性変化検出部２５０）
属性変化検出部２５０は、対応付け部２４０から、対応付け部２４０による人物の対応付けの結果として、同一の人物のグループを示す情報を受信する。

属性変化検出部２５０は、対応付け部２４０による人物の対応付けの結果に基づいて、時系列の画像データの間で、同一のオブジェクト（ここでは人物）の属性変化を検出する。

具体的には、属性変化検出部２５０は、同一の人物のグループを示す情報を用いて、一つのグループＩＤに対応付けられた複数の人物ラベルと対応する複数の属性データを、属性データ記憶部２７０から取得する。上述したように、人物の属性データは、人物の属性情報および付帯物の属性情報を含む。

属性変化検出部２５０は、同一の人物の属性が、互いに一致するかどうかを判定する。すなわち、属性変化検出部２５０は、各人物ラベルと紐付けられている人物の属性と、他の人物ラベルと紐付けられている人物の属性とが、互いに一致するかどうかを判定する。例えば、同一の人物と対応する複数の人物ラベル（すなわち一つのグループＩＤに対応付けられた複数の人物ラベル）を、人物ラベルＬ_１、人物ラベルＬ_２、・・・人物ラベルＬ_ｎとする。属性変化検出部２５０は、人物ラベルＬ_１と紐付けられている人物の属性と、人物ラベルＬ_ｋ（ｋ＝２，３，・・・，ｎ）と紐付けられている人物の属性とが、互いに一致するかどうかを判定する。

同一の人物の属性または同一の人物の付帯物の属性が一致していない場合、属性変化検出部２５０は、時系列の画像データの間で、人物および付帯物の少なくとも一方の属性が変化していると判定する。人物の属性または人物の付帯物の属性が変化していることを、以下では、人物の属性変化あるいは単に属性変化と呼ぶ。

ただし、前記実施形態１で述べたように、環境変化等の要因により、一時的に、同一の人物の属性間の類似度が下がることはあり得る。このため、同一の人物の属性間の類似度が下がった後、属性変化検出部２５０は、人物の属性の値が安定していることを確認した上で、属性変化を検出してもよい。

なお、属性抽出部２３０は、画像データから、人物のすべての属性情報を抽出できるとは限らない。そのため、属性変化検出部２５０は、属性抽出部２３０が抽出できた属性情報のみに基づいて、属性変化を検出する。また、同一の人物が複数の属性を有する場合、属性変化検出部２５０は、複数の属性のうち、少なくとも１つの属性が変化していることを、属性変化として検出する。または、属性抽出部２３０は、人物のある特定の付帯物の変化、消失、または出現を、属性変化として検出してもよい。例えば、ある時点から付帯物の存在が検知されなくなったこと、あるいは逆に、ある時点から付帯物が検知されるようになったことを、属性変化検出部２５０は、属性変化として検出してもよい。

属性変化検出部２５０は、属性変化の検出結果を、不審オブジェクト検出部２１０へ送信する。属性変化の検出結果は、変化した属性の種類と、属性変化の内容（例えば付帯物の色、数、大きさ、形状、模様、質感、数、または位置の変化など）と、属性変化した人物の同一性判定情報とを含む。なお、同一性判定情報には、同一性の確からしさを表す信頼度情報も含んでいてもよい。

（不審オブジェクト検出部２１０）
不審オブジェクト検出部２１０は、属性変化の検出結果に基づいて、不審なオブジェクトを検出する。不審オブジェクト検出部２１０は、不審オブジェクト検出手段の一例である。

具体的には、不審オブジェクト検出部２１０は、属性変化検出部２５０から、属性変化の検出結果を受信する。不審オブジェクト検出部２１０は、属性変化した人物を、不審なオブジェクトとして検出する。例えば、不審オブジェクト検出部２１０は、人物が持ち、伴い、背負い、抱き、装着し、押し、あるいは引いている付帯物の属性が変化した場合、その人物を、不審なオブジェクトとして検出する。また例えば、不審オブジェクト検出部２１０は、顔の特徴が変化した人物を、不審なオブジェクトとして検出する。

不審オブジェクト検出部２１０は、不審なオブジェクトを検出したことを報知してもよい。例えば、不審オブジェクト検出部２１０は、アラートを出力してもよいし、警備員が所持する端末に通知してもよい。また、不審オブジェクト検出部２１０は、検出された属性変化の内容（例えば、衣服などの付帯物の色が変化したこと）と、属性変化した人物の画像データとを、図示しない表示装置へ出力してもよい。

また、不審オブジェクト検出部２１０は、前記実施形態１に係わる不審オブジェクト検出部１３０と同様に、検出されたオブジェクトの属性変化を、予め定められた属性変化のパターンとマッチングすることによって、オブジェクトが不審である程度（レベル）を表す数値である「不審度」を計算してもよい。そして、不審オブジェクト検出部２１０は、時系列の「不審度」を累積し、その累積値が閾値を超えたとき、アラートを出力してもよい。

（監視装置２００の動作フロー）
図４を参照して、本実施形態２に係わる監視装置２００の動作フローを説明する。図４は、監視装置２００の動作フローを示すフローチャートである。

図４に示すように、オブジェクト検出部２２０は、時系列の画像データを取得する。

本実施形態２において、オブジェクト検出部２２０は、監視カメラが撮影した動画データの画像フレーム（以下では画像データと呼ぶ）を、１枚ずつ、リアルタイムで受信する。オブジェクト検出部２２０は、受信した１枚の画像データから、１または複数のオブジェクト（ここでは人物や付帯物）を検出する（Ｓ２０１）。

オブジェクト検出部２２０は、画像データにおける各人物や付帯物の領域の画像データを、各人物や付帯物の識別情報（以下では人物ラベル、付帯物ラベルと呼ぶ）とともに、属性抽出部２３０へ送信する。また、オブジェクト検出部２２０は、各人物の位置情報を、各人物に付与された人物ラベルとともに、対応付け部２４０へ送信する。

属性抽出部２３０は、オブジェクト検出部２２０から、人物ラベル、付帯物ラベルとともに、人物や付帯物の領域の画像データを受信する。属性抽出部２３０は、人物や付帯物の領域の画像データから、人物の属性情報、および、人物の付帯物の属性情報を抽出する（Ｓ２０２）。

属性抽出部２３０は、抽出した人物および付帯物の属性情報を、オブジェクト検出部２２０から受信した人物ラベルと紐付けて、属性データとして、属性データ記憶部２７０に格納する。以下では、単に人物の属性情報と記載する場合、付帯物の属性情報も含む。

対応付け部２４０は、オブジェクト検出部２２０から、人物ラベルとともに、人物の位置情報を受信する。

対応付け部２４０は、人物の属性情報および位置情報の少なくとも一方に基づいて、同一の人物を対応付ける（Ｓ２０３）。

対応付け部２４０は、同一の人物と対応する複数の人物ラベルのグループを示す情報（すなわち、グループＩＤ）を、属性変化検出部２５０へ送信する。

属性変化検出部２５０は、対応付け部２４０から、同一の人物と対応する複数の人物ラベルのグループを示すグループＩＤを受信する。属性変化検出部２５０は、同一の人物と対応する複数の人物ラベルを用いて、同一の人物と対応する複数の属性データを、属性データ記憶部２７０から取得する。

そして、属性変化検出部２５０は、属性データ記憶部２７０から取得した複数の属性データを用いて、同一の人物の属性が変化しているかどうかを判定する（Ｓ２０４）。

例えば、対応付け部２４０は、同一の人物の属性の間の類似度または距離を、ステップＳ２０４における判定のための尺度として用いることができる。

同一の人物の属性が変化していない場合（Ｓ２０４でＮｏ）、動作フローはステップＳ２０１に戻る。

一方、同一の人物の属性が変化している場合（Ｓ２０４でＹｅｓ）、不審オブジェクト検出部２１０は、属性変化した人物を、不審なオブジェクトとして検出する（Ｓ２０５）。

監視装置２００によるオブジェクト（人物）の監視が継続される場合（Ｓ２０６でＹｅｓ）、動作フローはステップＳ２０１に戻る。監視装置２００によるオブジェクト（人物）の監視が継続されない場合（Ｓ２０６でＮｏ）、動作フローは終了する。監視装置２００は、例えばタイマーによって、一定の時間帯のみ監視を継続するように制御されてもよい。

（本実施形態の効果）
本実施形態の構成によれば、対応付け部２４０は、時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクト同士を対応付ける。属性変化検出部２５０は、時系列の画像データから、同一のオブジェクトおよび付帯物の少なくとも一方の属性の変化を検出する。不審オブジェクト検出部２１０は、属性の変化に基づいて、不審なオブジェクトを検出する。したがって、オブジェクトの行動から判別できない不審なオブジェクトを検出できる。

〔実施形態３〕
本実施形態３では、検出された属性変化の真偽を検証する構成を説明する。本実施形態３において、真の属性変化とは、実際に生じた属性変化を意味する。偽の属性変化とは、実際に生じていないにもかかわらず、誤検出された属性変化を意味する。なお、以降の説明では、主として、オブジェクトが人物の場合について述べるが、オブジェクトは車両などの人物以外のものであってもよい。

（監視装置３００）
図５は、本実施形態３に係わる監視装置３００の構成を示すブロック図である。図５に示すように、監視装置３００は、不審オブジェクト検出部２１０、オブジェクト検出部２２０、属性抽出部２３０、対応付け部２４０、属性変化検出部２５０、および属性データ記憶部２７０を備えている。加えて、監視装置３００では、不審オブジェクト検出部２１０が属性変化検証部２９０を含んでいる。

本実施形態３に係わる監視装置３００の構成は、前記実施形態２に係わる監視装置２００の構成に、属性変化検証部２９０を追加したものである。本実施形態３では、属性変化検証部２９０に関してのみ、以下で説明する。

（属性変化検証部２９０）
属性変化検証部２９０は、属性変化検出部２５０が検出したオブジェクト（ここでは人物）の属性変化の真偽を検証する。属性変化検証部２９０は、属性変化検証手段の一例である。

具体的には、属性変化検証部２９０は、属性変化検出部２５０から、属性変化の検出結果と、属性変化が検出された画像データを特定するための情報（例えば、画像データのフレーム番号）とを受信する。

属性変化検証部２９０は、属性変化が検出された画像データを特定するための情報（例えば、画像データのフレーム番号）を用いて、時系列の画像データのうち、属性変化が検出された画像データを特定する。

また、属性変化検証部２９０は、属性変化が検出された画像データ及びその前後の所定の時間範囲内の画像フレームに対応する１または複数の画像データ（以下では、検証用画像データと呼ぶ）を、時系列の画像データの中から取得する。

属性変化検証部２９０は、取得した検証用画像データを用いて、属性変化検出部２５０によって検出された属性変化の真偽を検証する。

ここで、偽の属性変化が検出される理由はいくつか存在する。その一例は、対応付け部２４０が、同一の人物の対応付けに失敗したことである。特に、多数の人物が同時に（すなわち同じ画像データ中に）存在する場合、あるいは、属性抽出部２３０が人物や付帯物の属性を正確に抽出できない場合、もしくは、対応付け部２４０が人物の位置情報のみに基づいて同一性判定を行う場合、対応付け部２４０は、同一の人物を正しく対応付けることに失敗しやすい。また、人物が他の人物によって遮蔽される等、他の人物の影響により、属性抽出部２３０が人物や付帯物の正しい属性情報の抽出に失敗することもあり得る。このように、属性変化検出部２５０は、対応付け部２４０による誤った同一人物の対応付け、あるいは属性抽出部２３０による誤った人物や付帯物の属性情報の抽出に起因して、属性変化を誤検出する場合がある。これらは、偽の属性変化である。

属性変化が偽である場合、属性変化検証部２９０は、属性変化検出部２５０による属性変化の検出結果を除去（以下、フィルタリング、あるいはフィルタアウトと記載する場合がある）する。

したがって、不審オブジェクト検出部２１０は、人物の属性の変化が真である場合に、その人物を、不審なオブジェクトとして検出する一方、人物の属性の変化が偽である場合には、その人物を、不審なオブジェクトとして検出しない。なお、真か偽かの判定は、必ずしも二値判定でなくてもよく、不審オブジェクト検出部２１０は、真である度合いを表す指標を算出してもよい。そして、算出した指標の値が、ユーザに指定された閾値を超えた場合に、不審オブジェクト検出部２１０は、検出された属性変化が真であるとみなし、人物を不審なオブジェクトとして検出してもよい。

（偽の属性変化の例）
以下のいずれかのケースに該当する場合、属性変化検証部２９０は、検出された属性変化が偽であると判定する。ただし、以下で説明するケースは、単なる例にすぎない。

（ケース１）人物の検出の失敗、およびそれに伴う属性情報の抽出の失敗
人物が、商品棚（コンテナ）または他の人物などによって隠れている場合、オブジェクト検出部２２０は、画像データから、人物の領域を正確に抽出できない場合がある。この場合、オブジェクト検出部２２０によって抽出された人物の領域は、背景または他のオブジェクトの領域を含む可能性がある。そのため、属性抽出部２３０は、オブジェクト検出部２２０によって抽出された人物の領域から、人物の属性情報を正しく抽出できない。

このケースでは、属性変化検証部２９０は、例えば背景差分法によって、検証用画像データを、人物の領域（前景）と背景とに分離し、人物とそれ以外の領域を区別する。ただし、背景差分法を用いるためには、時系列の画像データが、固定カメラによって撮影されている必要がある。

属性変化検証部２９０は、検証用画像データにおける背景領域（人物でないと判定された領域）と、オブジェクト検出部２２０が検出した人物の領域とを比較する。そして、検出された人物の領域の一部が、棚などの背景領域によって遮蔽されているため、人物の領域または付帯物の領域から抽出された属性の信頼性が低い場合、属性変化検証部２９０は、検出された属性変化が偽であると判定する。

あるいは、属性変化検証部２９０は、検証用画像データにおける人物と、他の人物との重なりを検証する。人物と他の人物との重なりが大きい場合、人物が遮蔽されている可能性が高い。その場合、属性変化検証部２９０は、検出された属性変化が偽であると判定する。ここで、属性変化検証部２９０は、人物が検出された画像フレームと対応する画像データだけでなく、その画像フレームと時間的に近接した画像フレームも含めて、人物と重なる他の人物が存在するかどうかを調べることが好ましい。これにより、人物が検出された画像フレームと対応する画像データにおいては、他の人物が未検出の場合であっても、属性変化検証部２９０は、その画像フレームと時間的に近接した画像フレームから、他の人物を検出できる場合がある。

（ケース２）人物の姿勢の変化によるもの
人物が首を曲げたり、しゃがむまたは屈んだりすることによって、画像データ上において、人物の属性情報（例えば、人物の顔、歩容）が、見かけ上変化する。このケースにおいて、対応付け部２４０は、同一の人物の対応付けに失敗する場合や、人物の属性の抽出に失敗する場合がある。

属性変化検証部２９０は、検証用画像データを分析することにより、人物の姿勢の変化を検出する。検証用画像データから、人物の姿勢の変化が検出された場合、属性変化検証部２９０は、姿勢変動の影響を受ける属性に関しては、属性変化が検出されたとしても、その属性変化は偽であると判定する。

（ケース３）照明の変動によるもの
照明の明るさまたは色が変化したとき、人物の衣服の色などの付帯物の属性が、見かけ上変化する。このケースでは、属性変化検出部２５０は、属性変化を誤検出する場合がある。

属性変化検証部２９０は、検証用画像データから、背景（あるいは特定の領域）の明るさおよび色の少なくとも一方の変化を検出する。そして、属性変化検証部２９０は、検証用画像データにおける背景（あるいは特定の領域）の明るさおよび色の少なくとも一方が変化している場合、照明が変動していると判定する。属性変化検証部２９０は、照明の変動（例えば明るさ）の影響を受ける属性変化が属性変化検出部２５０によって検出された場合、検出された属性変化は偽であると判定する。

あるいは、属性変化検証部２９０は、対応付け部２４０による同一の人物の対応付けの信頼度も考慮してもよい。例えば、属性変化が検出された画像フレームに対して時間的に前後の画像フレームにおいて、属性変化検証部２９０は、対応付け部２４０による同一の人物の対応付けの信頼度をチェックする。対応付け部２４０による同一の人物の対応付けの信頼度が低い場合、属性変化検証部２９０は、検出された属性変化は偽の属性変化であると判定してもよい。オブジェクト検出部２２０（または属性抽出部２３０）は、人物と付帯物との対応付けの信頼度を算出する場合、この信頼度も考慮して、属性変化の真偽を判定してもよい。

（監視装置３００の動作フロー）
図６を参照して、本実施形態３に係わる監視装置３００の動作フローを説明する。図６は、監視装置３００の動作フローを示すフローチャートである。

図６に示すステップＳ３０１からステップＳ３０４までは、前記実施形態２で説明した監視装置２００の動作フローのステップＳ２０１からステップＳ２０４までと共通である。ここでは、ステップＳ３０４以降の動作フローを説明する。

ステップＳ３０４において、属性変化検出部２５０は、時系列の画像データの間で、同一の人物の属性が変化しているかどうかを判定する。

時系列の画像データの間で、同一の人物の属性が変化している場合（Ｓ３０４でＹｅｓ）、属性変化検証部２９０は、属性変化検出部２５０が検出した属性変化の真偽を検証する（Ｓ３０５）。

属性変化が偽である場合（Ｓ３０６でＮｏ）、属性変化検証部２９０は、オブジェクトの属性変化の検出結果をフィルタアウトする。そして、動作フローはステップＳ３０１に戻る。

一方、属性変化が真である場合（Ｓ３０６でＹｅｓ）、不審オブジェクト検出部２１０は、属性変化した人物を、不審オブジェクトとして検出する（Ｓ３０７）。

監視装置３００によるオブジェクト（人物）の監視が継続される場合（Ｓ３０８でＹｅｓ）、動作フローはステップＳ３０１に戻る。監視装置３００によるオブジェクト（人物）の監視が継続されない場合（Ｓ３０８でＮｏ）、動作フローは終了する。

監視装置３００は、例えばタイマーによって、一定の時間帯のみ監視を継続するように制御されてもよい。

（本実施形態の効果）
本実施形態の構成によれば、対応付け部２４０は、時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクト同士を対応付ける。属性変化検出部２５０は、時系列の画像データから、同一のオブジェクトおよび付帯物の少なくとも一方の属性の変化を検出する。不審オブジェクト検出部２１０は、属性の変化に基づいて、不審なオブジェクトを検出する。したがって、オブジェクトの行動から判別できない不審なオブジェクトを検出できる。

さらに、属性変化検証部２９０は、属性変化検出部２５０が検出したオブジェクトの属性変化の真偽を検証する。属性変化検証部２９０は、偽の属性変化をフィルタアウトする。不審オブジェクト検出部２１０は、属性の変化が真である場合に、同一のオブジェクトを、不審なオブジェクトとして検出する一方、属性の変化が偽である場合に、同一のオブジェクトを、不審なオブジェクトとして検出しない。そのため、真の属性変化に基づいて、不審なオブジェクトをより正確に検出できる。

〔実施形態４〕
本実施形態４では、属性変化と関連するコンテキストを分析する構成を説明する。本実施形態４において、関連するコンテキストとは、属性変化に影響する環境、および、属性変化と関連して発生した事象のうち、少なくとも一方を意味する。なお、以降の説明では、主として、オブジェクトが人物である場合について述べるが、オブジェクトは車両などの人物以外のものでもよい。

（監視装置４００）
図７は、本実施形態４に係わる監視装置４００の構成を示すブロック図である。図７に示すように、監視装置４００は、不審オブジェクト検出部２１０、オブジェクト検出部２２０、属性抽出部２３０、対応付け部２４０、属性変化検出部２５０、および属性データ記憶部２７０を備えている。加えて、監視装置４００では、不審オブジェクト検出部２１０がコンテキスト分析部２８０を含んでいる。

本実施形態４に係わる監視装置４００の構成は、前記実施形態２に係わる監視装置２００の構成において、コンテキスト分析部２８０を追加したものである。本実施形態４では、コンテキスト分析部２８０に関してのみ、以下で説明する。

（コンテキスト分析部２８０）
コンテキスト分析部２８０は、オブジェクトの属性変化と関連するコンテキストを分析する。コンテキスト分析部２８０は、コンテキスト分析手段の一例である。

具体的には、コンテキスト分析部２８０は、属性変化検出部２５０から、人物や付帯物（オブジェクトの一例である）の属性変化の検出結果と、属性変化が検出された画像データを特定するための情報（例えば、画像データのフレーム番号）とを受信する。

コンテキスト分析部２８０は、属性変化が検出された画像データを特定するための情報（例えば、画像データのフレーム番号）を用いて、時系列の画像データのうち、属性変化が検出された画像データを特定する。そして、コンテキスト分析部２８０は、属性変化が検出された画像データ及びその前後の所定の時間範囲内の画像フレームに対応する１または複数の画像データ（以下では、コンテキスト分析用画像データと呼ぶ）を、時系列の画像データの中から取得する。

コンテキスト分析部２８０は、取得したコンテキスト分析用画像データを分析することによって、属性変化と関連するコンテキストを特定する。具体的には、コンテキスト分析部２８０は、属性変化に影響する環境（気温、時間帯、天候、湿度、明るさ、人密度など）、および、属性変化と関連して発生した事象（人物の行動、事件、事故、交通状況など）のうち、少なくとも一方を特定する。

あるいは、コンテキスト分析部２８０は、撮像センサ以外のセンサ等を用いて、気温や天候、湿度や明るさ、人密度などの情報を取得してもよい。または、コンテキスト分析部２８０は、事件、事故、交通状況などの情報も、外部の他の情報源から取得してもよい。

コンテキスト分析部２８０は、属性変化および関連するコンテキストの組み合わせと対応する例外情報を検索する。例外情報は、監視装置４００とつながったネットワーク上にあるサーバに、予め格納されていてよい。

例外情報は、特定のコンテキストにおいてのみ不審ではない特定の属性変化を記述する情報である。例えば、寒い外から暖かい室内へ移動したとき、人物は外套や帽子を脱ぐ。上記の例では、人物が外から室内へ移動したことが、特定の事象であり、人物の服装の変化が、特定の属性変化である。

例外情報は、特定のコンテキストの情報と、特定の属性変化の情報とを紐付けている。例外情報は、オブジェクトの種類ごと、また付帯物の種類ごとに、それぞれ存在することが好ましい。例外情報は、図示しない例外情報記憶部に予め蓄積されていてもよい。

一変形例では、例外情報は、コンテキスト分析部２８０によって生成されてもよい。具体的には、特定のコンテキスト（特定の環境および特定の事象のうち少なくとも一方）において、特定の属性変化が、属性変化検出部２５０によって頻繁に（例えば閾値回数以上）検出された場合、コンテキスト分析部２８０は、特定の属性変化と、特定のコンテキストとを紐付けた例外情報を生成する。コンテキスト分析部２８０は、生成した例外情報を、例外情報を格納したサーバへ送信してもよいし、図示しない例外情報記憶部に格納してもよい。

属性変化および関連するコンテキストの組み合わせと対応する例外情報が存在する場合、コンテキスト分析部２８０は、オブジェクトの属性変化の検出結果をフィルタアウトする。

すなわち、不審オブジェクト検出部２１０は、属性の変化および関連するコンテキストの組み合わせが、特定の例外に該当しない場合に、同一のオブジェクトを、不審なオブジェクトとして検出する一方、属性の変化および関連するコンテキストの組み合わせが、特定の例外に該当する場合には、同一のオブジェクトを、不審なオブジェクトとして検出しない。

なお、犯罪が起きた場合など、特別な状況において、本実施形態４に係わる不審オブジェクト検出部２１０は、属性変化の検出結果をコンテキスト分析部２８０によってフィルタアウトすることを制限してもよい。特別な状況は、特定の例外に該当する場合であっても発生し得るからである。

（特定の例外）
図８は、上述した例外情報の一例を示す図である。以下の例１〜例３は、図８に示すＮｏ．１〜Ｎｏ．３に対応している。以下の例１〜例３に関して、順番に説明する。

（例１）
仕事場のロッカールームでは、人物が制服に着替える。この例では、服装の変化が、特定の例外における特定の属性変化に該当し、ロッカールームが、特定の例外における特定の環境に該当する。一方、住居ビルの入り口で、人物の服装（属性情報）が、郵便配達員や宅配業者の制服に変化することは通常では起こりにくい。したがって、後者の例における付帯物の属性変化（服装の変化）と環境（住居ビルの入り口）との組み合わせは、特定の例外に該当しない。

（例２）
鉄道の駅では、荷物がロッカーに預けられるため、人物の荷物（付帯物）の数が変化する。また、人物が背負っていた荷物（付帯物の一例である）を手で持った場合、荷物の位置が変わる。これらの例では、人物の荷物の数または位置の変化が、特定の例外における特定の属性変化に該当し、荷物の預け入れまたは荷物の持ち変えが、特定の例外における特定の事象に該当する。

（例３）
寒い外から暖かい室内へ移動したとき、人物は外套や帽子を脱ぐ。上記の例では、人物の服装の変化が、特定の例外における特定の属性変化であり、人物が外から室内へ移動したことが、特定の例外における特定の事象である。なお、本例において、例外情報は、特定の属性変化に影響する環境に関する情報、例えば、外気温、湿度、および季節などの情報も、さらに含むことが好ましい。これにより、コンテキスト分析部２８０は、例外情報に基づいて、特定の例外をより正確に判定することができる。

（監視装置３００の動作フロー）
図９を参照して、本実施形態４に係わる監視装置４００の動作フローを説明する。図９は、監視装置４００の動作フローを示すフローチャートである。なお、図９に示す監視装置４００の動作フローにおいて、ステップＳ４０１からステップＳ４０４までの流れは、前記実施形態２に置いて説明した、図４に示す監視装置２００の動作フローのステップＳ２０１からステップＳ２０４までと共通である。

まず、オブジェクト検出部２２０は、時系列の画像データを取得する。本実施形態４においても、オブジェクト検出部２２０は、監視カメラが撮影した動画データの画像フレーム（以下では画像データと呼ぶ）を、１枚ずつ、リアルタイムで受信する。オブジェクト検出部２２０は、受信した１枚の画像データから、オブジェクト（ここでは人物や付帯物）を検出する（Ｓ４０１）。

オブジェクト検出部２２０は、画像データにおける人物や付帯物の領域の画像データを、人物や付帯物の領域を識別するための情報（以下ではそれぞれ、人物ラベル、付帯物ラベルと呼ぶ）とともに、属性抽出部２３０へ送信する。また、オブジェクト検出部２２０は、画像データから検出した人物の位置情報を、人物ラベルとともに、対応付け部２４０へ送信する。

属性抽出部２３０は、オブジェクト検出部２２０から、人物ラベル、付帯物ラベルとともに、人物や付帯物の領域の画像データを受信する。属性抽出部２３０は、人物の領域や付帯物の領域の画像データから、人物の属性情報、および、付帯物の属性情報を抽出する（Ｓ４０２）。以下では、単に人物の属性情報と記載する場合、付帯物の属性情報も含む。

属性抽出部２３０は、抽出した人物の属性情報（付帯物の属性情報を含む）を、人物ラベルと紐付けて、属性データとして、属性データ記憶部２７０に格納する。

対応付け部２４０は、オブジェクト検出部２２０から、人物ラベルとともに、人物の位置情報を受信する。

対応付け部２４０は、オブジェクト検出部２２０から受信した人物の位置情報に基づいて、同一の人物を対応付ける（Ｓ４０３）。

対応付け部２４０は、同一の人物と対応する人物ラベルのグループを生成する。対応付け部２４０は、同一の人物のグループを示す情報（例えば、一つのグループＩＤと対応付けられた複数の人物ラベル）を、属性変化検出部２５０へ送信する。

属性変化検出部２５０は、対応付け部２４０から、同一の人物のグループを示す情報を受信する。

属性変化検出部２５０は、属性データ記憶部２７０において、同一の人物と対応する複数の人物ラベルと紐付けられている複数の属性データを取得する。そして、属性変化検出部２５０は、取得した複数の属性データに含まれる属性情報が互いに一致しているかどうかを判定する（Ｓ４０４）。

ステップＳ４０４において、対応付け部２４０は、例えば、属性情報の間の類似度または距離を、ステップＳ４０４における判定のための尺度として用いることができる。

同一の人物と対応する複数の人物ラベルと紐付けられている人物の属性情報が、互いに一致している場合、属性変化検出部２５０は、時系列の画像データの間で、同一の人物の属性が変化していないと判定する（Ｓ４０４でＮｏ）。この場合、動作フローはステップＳ４０１に戻る。

一方、同一の人物と対応する複数の人物ラベルと紐付けられている人物の属性情報の要素のうち、少なくとも一つが一致していない場合、属性変化検出部２５０は、時系列の画像データの間で、同一の人物の属性が変化したと判定する（Ｓ４０４でＹｅｓ）。すなわち、属性変化検出部２５０は、属性変化を検出する。

本実施形態４では、属性変化検出部２５０は、属性変化の検出結果を、属性変化が検出された画像データを特定するための情報（例えば、画像データのフレーム番号）とともに、コンテキスト分析部２８０へ送信する。

コンテキスト分析部２８０は、属性変化検出部２５０から、属性変化の検出結果と、属性変化が検出された画像データを特定するための情報（例えば、画像データのフレーム番号）とを受信する。

コンテキスト分析部２８０は、属性変化が検出された画像データと対応するコンテキスト分析用画像データを、時系列の画像データの中から取得する。そして、コンテキスト分析部２８０は、コンテキスト分析用画像データを用いて、属性変化と関連するコンテキストを分析する（Ｓ４０５）。

具体的には、コンテキスト分析部２８０は、ステップＳ４０５において、属性変化に影響する環境（気温、湿度、明るさ、時間帯、天候、人密度など）、および、属性変化と関連して発生した事象（人物の行動、事件、事故、交通状況など）のうち、少なくとも一方を特定する。

コンテキスト分析部２８０は、検出された属性変化および関連するコンテキストの組み合わせと対応する例外情報を検索する（Ｓ４０６）。

検出された属性変化および関連するコンテキストの組み合わせと対応する例外情報がある場合（Ｓ４０６でＹｅｓ）、コンテキスト分析部２８０は、オブジェクトの属性変化の検出結果をフィルタアウトする。そして、動作フローはステップＳ４０１へ戻る。

一方、属性変化および関連するコンテキストの組み合わせと対応する例外情報がない場合（Ｓ４０６でＮｏ）、不審オブジェクト検出部２１０は、属性変化した人物を、不審オブジェクトとして検出する（Ｓ４０７）。

監視装置４００によるオブジェクト（人物）の監視が継続される場合（Ｓ４０８でＹｅｓ）、動作フローはステップＳ４０１に戻る。監視装置４００によるオブジェクト（人物）の監視が継続されない場合（Ｓ４０８でＮｏ）、動作フローは終了する。監視装置４００は、例えばタイマーによって、一定の時間帯のみ監視を継続するように制御されてもよい。

（本実施形態の効果）
本実施形態４の構成によれば、対応付け部２４０は、時系列の画像データから検出された複数のオブジェクトの属性情報および位置情報の少なくとも一方に基づいて、複数のオブジェクトのうち、同一のオブジェクト同士を対応付け、属性変化検出部２５０は、時系列の画像データの間で、同一のオブジェクトの属性変化を検出する。したがって、不審なオブジェクトの属性変化を誤検出することを抑制することができる。

さらに、コンテキスト分析部２８０は、オブジェクトの属性変化と関連するコンテキストを分析する。コンテキスト分析部２８０は、コンテキストの分析結果に基づいて、属性変化検出部２５０によって検出された属性変化のうち、特定の例外と対応する属性変化をフィルタアウトする。これにより、不審ではないオブジェクトが誤検出されることを防止することができる。

（変形例）
前記実施形態３および４で説明した構成を組み合わせることができる。すなわち、不審オブジェクト検出部２１０は、属性変化検証部２９０およびコンテキスト分析部２８０の両方を備えていてもよい。

本変形例では、属性変化検証部２９０が、属性変化検出部２５０によって検出された属性変化の真偽を検証し、偽の属性変化をフィルタアウト（すなわち除去）する。コンテキスト分析部２８０は、（真の）属性変化および前記関連するコンテキストの組み合わせが、特定の例外に該当する場合に、その属性変化をさらにフィルタアウトする。

本変形例の構成によれば、偽の属性変化と、特定の例外に該当する属性変化との両方がフィルタアウトされる。そのため、不審ではないオブジェクトが誤検出されることを、より確実に防止することができる。

〔実施形態５〕
図１０を参照して、実施形態５に関して説明する。

図１０は、実施形態５に係わる監視装置１０の構成を示すブロック図である。図１０に示すように、監視装置１０は、対応付け部１１、属性変化検出部１２、及び不審オブジェクト検出部１３を備えている。

対応付け部１１は、時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクトを対応付ける。

属性変化検出部１２は、時系列の画像データから、同一のオブジェクトおよびその付帯物の少なくとも一方の属性の変化を検出する。

不審オブジェクト検出部１３は、属性の変化に基づいて、不審なオブジェクトを検出する。

上記構成を備えることにより、本実施形態５に係わる監視装置１０は、同一のオブジェクトとして対応付けされたオブジェクトについて、そのオブジェクトが検出された時刻間の属性の変化を検出することができるので、オブジェクトの行動から判別できない不審なオブジェクトを検出できる。

〔実施形態６〕
図１１を参照して、実施形態６について以下で説明する。

（ハードウェア構成について）
前記実施形態１〜５で説明した監視装置１０、１００、２００、３００及び４００の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図１１に示すような情報処理装置９００により実現される。図１１は、本実施形態６に係わる情報処理装置９００のハードウェア構成の一例を示すブロック図である。

図１１に示すように、情報処理装置９００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
前記実施形態１〜５で説明した監視装置１０、１００、２００、３００及び４００の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

（本実施形態の効果）
本実施形態の構成によれば、前記実施形態１〜５において説明した監視装置１０、１００、２００、３００及び４００が、ハードウェアとして実現される。したがって、前記実施形態１〜５において説明した効果と同様の効果を奏することができる。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

本発明は、空港などの重要施設や公共施設での不審者の検出に利用することができる。他の活用方法として、オブジェクトの属性変化の検出結果を用いた機器の制御（例えば、エアコンの温度調節など）を行ってもよい。

この出願は、２０１９年３月２７日に出願された日本出願特願２０１９−０６１２２３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ 監視装置
１１０ 対応付け部
１２０ 属性変化検出部
１３０ 不審オブジェクト検出部
２００ 監視装置
２１０ 不審オブジェクト検出部
２２０ オブジェクト検出部
２３０ 属性抽出部
２４０ 対応付け部
２５０ 属性変化検出部
２８０ コンテキスト分析部
２９０ 属性変化検証部
３００ 監視装置
４００ 監視装置

Claims (10)

1. 時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクトを対応付ける対応付け手段と、
   前記時系列の画像データから、前記同一のオブジェクトおよびその付帯物の少なくとも一方の属性の変化を検出する属性変化検出手段と、
   前記属性の変化に基づいて、不審なオブジェクトを検出する不審オブジェクト検出手段と
   を備えた監視装置。
2. 前記不審オブジェクト検出手段は、前記属性の変化の真偽を検証する属性変化検証手段を含み、前記属性の変化が真である場合に、前記同一のオブジェクトを、不審なオブジェクトとして検出する一方、前記属性の変化が偽である場合に、前記同一のオブジェクトを、前記不審なオブジェクトとして検出しない
   ことを特徴とする請求項１に記載の監視装置。
3. 前記不審オブジェクト検出手段は、前記属性の変化と関連するコンテキストを分析するコンテキスト分析手段を含み、前記属性の変化および前記関連するコンテキストの組み合わせが、特定の例外に該当しない場合に、前記同一のオブジェクトを、不審なオブジェクトとして検出する一方、前記属性の変化および前記関連するコンテキストの組み合わせが、特定の例外に該当する場合に、前記同一のオブジェクトを、前記不審なオブジェクトとして検出しない
   ことを特徴とする請求項１に記載の監視装置。
4. 前記関連するコンテキストは、前記属性の変化に影響する環境、および、前記属性の変化と関連して発生した事象のうち、少なくとも一方である
   ことを特徴とする請求項３に記載の監視装置。
5. 前記対応付け手段は、前記複数のオブジェクトの属性情報および位置情報のうち少なくとも一方に基づいて、前記同一のオブジェクトを対応付ける
   ことを特徴とする請求項１から４のいずれか１項に記載の監視装置。
6. 前記オブジェクトは、人物であり、
   前記人物の属性は、前記人物の顔、虹彩、歩容、体型、および髪形のうち少なくとも一つを含む
   ことを特徴とする請求項５に記載の監視装置。
7. 前記付帯物の属性は、前記付帯物の色、大きさ、形状、模様、数、位置、および質感のうち少なくとも一つを含む
   ことを特徴とする請求項１から６のいずれか１項に記載の監視装置。
8. 前記不審オブジェクト検出手段は、前記不審なオブジェクトの検出結果を出力する
   ことを特徴とする請求項１から７のいずれか１項に記載の監視装置。
9. 時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクトを対応付け、
   前記時系列の画像データから、前記同一のオブジェクトおよびその付帯物の少なくとも一方の属性の変化を検出し、
   前記属性の変化に基づいて、不審なオブジェクトを検出すること
   を含む不審オブジェクト検出方法。
10. 時系列の画像データから検出された複数のオブジェクトのうち、同一のオブジェクトを対応付ける処理と、
    前記時系列の画像データから、前記同一のオブジェクトおよびその付帯物の少なくとも一方の属性の変化を検出する処理と、
    前記属性の変化に基づいて、不審なオブジェクトを検出する処理と
    をコンピュータに実行させるためのプログラムを記録する記録媒体。

Images