JP7229698B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、監視カメラで長時間撮影される映像について、人間の目で特に注視すべき部分を提示して作業員の負担の軽減、又は見落としの低減を狙う機能が提案されている。
例えば特許文献１では、観測者の視野画像と実空間地図から注目している座標を算出して、注視の頻度と業務知識を用いてエリアの重要度を算出する手法が提案されている。
また、特許文献２では、通行人からの通報を検出して、通報位置と数に応じてカメラごとに注目度を算出する手法が提案されている。

特開２０１４－１８２６２８号公報 特開２０１５－０５６６９７号公報

特許文献１及び特許文献２の手法においては、監視先の状況に基づいて注視すべき場所を提示する。そのため、監視先の知識を得ていたとしても、それを注視すべき場所の情報に反映することができず、そこからのフィードバックを得ることができない。例えば、注視すべきとして得られた場所のうち、既に監視員によって充分に注視を行った場所と、そうでない場所とが同じく注視すべき場所として提示され、それらについて網羅的に注視が行われたかどうかを確認することが難しい。

本発明は、所定の時刻で撮像された画像から検出されたターゲットに対応する要注意度を、該ターゲットが検出された位置を示すマップに表示する表示手段と、前記ターゲットに対する前記要注意度を、少なくとも１つ以上の注視要因に基づいて設定する設定手段と、ユーザによる前記ターゲットに対する情報の入力に基づいて、前記ターゲットに対する前記要注意度を更新する更新手段と、を有し、前記表示手段は、前記更新された前記要注意度に基づいて、前記マップの表示を変更することを特徴とする。

本発明によれば、利用者は情報の付加によるフィードバックを得ることができ、映像への情報の付与及び付与した情報を用いた分析を正確・効率的に行うことができる。

情報処理装置のハードウェア構成の一例を示す図である。 情報処理装置の機能構成の一例を示す図である。 実施形態１のユーザーインターフェース画面の模式図である。 実施形態１の基本の情報処理の一例を示すフローチャートである。 注視要因ウィンドウの表示の一例を示す図である。 要注視度を設定する処理の一例を示すフローチャートである。 実施形態２のユーザーインターフェース画面の模式図である。 実施形態２の基本の情報処理の一例を示すフローチャートである。 実施形態３のユーザーインターフェース画面の模式図である。 実施形態３の基本の情報処理の一例を示すフローチャートである。 時空間立体の表示の一例を示す図である。 実施形態４のユーザーインターフェース画面の模式図である。 実施形態４の基本の情報処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、情報処理装置１００のハードウェア構成の一例を示す図である。
情報処理装置１００は、ハードウェア構成として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、表示部１０２、操作部１０３、記録部１０４、通信部１０５、を含む。
ＣＰＵ１０１は、情報処理装置１００の全体を制御する。表示部１０２は、液晶画面等で構成され、ネットワーク等を介して情報処理装置１００と接続された複数の監視カメラで撮影された映像等を表示する。監視カメラで撮影された映像は、撮影画像の一例である。操作部１０３は、スイッチ及びタッチパネル等によって構成され、利用者による操作を感知して操作情報を入力する。タッチパネルの代わりにマウス、トラックボール等の他のポインティングデバイスが用いられてもよい。記録部１０４は、ハードディスク等の記録メディア等によって構成され、複数の監視カメラで撮影された映像を、撮影時刻及び撮影カメラパラメータ等のメタデータ情報と共に逐次保存する。記録メディアの代わりに、情報処理装置１００は、記録部１０４としてＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）、又はＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク上のストレージを用いてもよい。通信部１０５は、情報処理装置１００をネットワーク等に接続し、監視カメラとの通信等を制御する。ＣＰＵ１０１が記録部１０４に記録されたプログラムに基づき処理を実行することによって、後述する図２に示す情報処理装置１００の機能構成、及び図４、図６、図８、図１０、図１３のフローチャートの処理が実現される。他の例としては、情報処理装置１００の機能の少なくとも一部は、例えば複数のＣＰＵ、記憶部を協働させることにより実現してもよい。また、他の例としては、情報処理装置１００の機能の少なくとも一部は、ハードウェア回路を用いて実現してもよい。また、他の例としては、情報処理装置１００の機能は、複数の装置が協働して実現してもよい。

図２は、情報処理装置１００の機能構成の一例を示す図である。
情報処理装置１００は、機能構成として、制御部１１１、表示情報管理部１１２、情報入力ターゲット検知部１１３、注視要因管理部１１４、要注視度設定部１１５、を含む。
制御部１１１は、情報処理装置１００の全体を制御する。表示情報管理部１１２は、表示部１０２の表示画面を管理して、利用者が操作を行うユーザーインターフェース（ＵＩ）画面を作成する。情報入力ターゲット検知部１１３は、利用者が情報を入力する対象となるターゲットとして情報入力ターゲットを検知する。情報入力ターゲット検知部１１３は、監視カメラで撮影された映像及び記録部１０４に記録された情報等を用いて、所定の物体、状態、情報等を情報入力ターゲットとして検知して、実空間上での位置を推定する。注視要因管理部１１４は、注視すべきであると判断するための要因（注視要因）となる情報を取得し、その要因の程度の大きさとして注視要因の値を決定する。また、注視要因管理部１１４は、複数の注視要因について、それぞれの重要度を管理する。より具体的な注視要因については後述する。注視要因の値を決定するための情報は、監視カメラで撮影された映像、操作部１０３で利用者が操作した操作履歴、記録部１０４に記録された情報、情報入力ターゲット検知部１１３によって検知された情報入力ターゲット及びその属性等の情報を用いる。また、注視要因管理部１１４は、情報処理装置１００の外部のシステム、又はサービスと通信を行うことによって情報を得て、それらから得られる情報を用いることによっても注視要因の値を決定する。要注視度設定部１１５は、注視要因管理部１１４による要注視要因の情報を用いて、実空間上の位置について要注視度を設定する。

次に、図３を用いて、表示部１０２における表示及び利用者の操作について説明する。
図３は、実施形態１の表示部１０２に表示され、表示情報管理部１１２によって制御されるユーザーインターフェース画面の模式図である。利用者の目的は、過去に記録された監視映像に出現した人物について人物ごとに視認して、それが異常であるか否かのラベル情報を付与することである。付与したラベルは後に異常行動の統計モデルを学習したり、監視状況の分析を行って警備計画を見直したりするために用いられる。
まず、表示情報管理部１１２は、表示部１０２に監視範囲の平面図画像２０１を表示する。平面図画像２０１は要注視度表示の例でもある。要注視度設定部１１５によって設定された要注視度の情報が、表示情報管理部１１２によって対応する平面図画像上の位置にマッピングされ、表示される。要注視度の情報は色の濃淡によるヒートマップとして表示され、色が濃いほど要注視度が高いものとして示される。
図３の例では、３か所に監視カメラが設置され、位置と方向とが２０２、２０３、２０４の記号で示されている。
また、情報入力ターゲット表示の例として、情報入力ターゲット検知部１１３は、監視カメラの映像から人体を検出する。そして、表示情報管理部１１２は、２０８、２０９、２１０のように人物映像を並べてリスト表示する。また、表示情報管理部１１２は、平面図画像２０１上に、マーカー記号２０５、２０７、２０６を表示して位置を示し、合わせてマーカー記号と人物映像とを結んで対応させる線を表示する。

人物映像２０８、２０９、２１０は動画像であり、利用者は動画像の下部にそれぞれ設けられたスライダーを操作することによって、表示される人体映像の時刻を操作することができる。また、スライダーを動かすと、対応する平面図画像上のマーカー記号もその時刻での位置に移動する。
表示情報管理部１１２は、人物映像２０８、２０９、２１０を、平面図画像２０１における要注視度の降順で上から順に並べて表示する。これによって、利用者へ要注視度の高い位置に発見された人物映像を優先的に提示することができる。利用者は人物映像の隣に配置されるドロップダウンリスト２１１、２１２、２１３を操作して、人物が異常であるか否かのラベル情報を付与する。例えば、人物映像２０８は倒れた人物が映った映像であるため、利用者は対応するドロップダウンリスト２１１を操作して「異常あり」に設定する。また、人物映像２０９は普通に歩行している人物なので、利用者は対応するドロップダウンリスト２１２を操作して「異常なし」に設定する。表示情報管理部１１２は、このようにして付与された情報を記録部１０４に蓄積する。
平面図画像２０１に表示される時刻は、タイムライン２１４を操作することによって利用者が変更できる。タイムライン２１４は左から右の時間軸に沿って平面図画像のサムネイルが並んで表示され、カーソル２１５を利用者が左右に動かすことで時刻を選択することができる。時刻が変更されると、平面図画像２０１の要注視度のヒートマップが更新され、人物映像のリストもその時刻に発見される人体へと更新される。

ラベル情報を付与するごとに、要注視度設定部１１５は、付与された情報を加えて要注視度を再計算する。表示情報管理部１１２は、再計算された要注視度に基づき表示を更新する。ここでは、情報を付与した人物は利用者が視認して状態を確認した人物であるから、要注視度設定部１１５は、「注視済み」であるその人物については要注視度を低減するようにする。したがって、情報を付与するとヒートマップにおいてその人物の周辺の色の濃さが減じるようになる。タイムライン２１４のサムネイルにおいてもその時刻において情報を付与した人物がいれば、要注視度が再計算され、サムネイルの画像も更新される。
このようにすることで、利用者が要注視度の高い時刻と場所とを選んで、要注視度の高い個所を重点的に注視してラベル情報を付与していくと、映像全体の要注視度が低減していくことになる。利用者はそれによって、ラベル情報を付与するために注視すべき個所を探しやすくなり、また作業の進捗もわかりやすくなる効果がある。

次に、図４を用いて、以上の動作を実現するための処理を説明する。
Ｓ３０１において、制御部１１１は、操作部１０３を介した利用者の作業対象としたい環境情報の指定を受け付け、設定する。指定される環境情報には、現場の平面図画像、一つ又は複数の撮影された映像、撮影時間、カメラ位置と高さの情報、注視要因管理部１１４で管理する注視要因の重みが含まれる。映像は予め監視カメラで撮影された映像で、記録部１０４に記録されている。この映像は個別の動画ファイルでもよいし、データベース、又はビデオマネジメントシステム（ＶＭＳ）に蓄積された映像から日時の範囲を指定して取り出すようなものでもよい。また、カメラの映像ストリームを指定して、記録部１０４に映像を逐次記録しながら利用者が情報を付与するようにしてもよい。
次に、Ｓ３０２において、表示情報管理部１１２は、初期の表示時刻ｔを０に設定する。表示情報管理部１１２は、最初に表示する時刻を映像の先頭とする。表示情報管理部１１２は、前回の作業中断時の時刻、又は最も要注視度の高い時刻を初期時刻としてｔに設定してもよい。

次に、Ｓ３０３において、要注視度設定部１１５は、指定された環境情報に基づき、対象の場所及び時間の全体について要注視度を設定する。この処理によって、平面図画像の各座標及び時刻について０から１までの範囲の要注視度の値がそれぞれ設定され、要注視度のヒートマップの表示に必要な値が準備される。要注視度を設定する方法については後述する。Ｓ３０３の処理は、複数の要注視度を実空間上の位置と時刻とに応じてマッピングして表示する第１の表示処理の一例である。
次に、Ｓ３０４において、情報入力ターゲット検知部１１３は、指定された環境情報に基づき、対象の場所及び時間の映像から人物検出及び動体追尾の手法を用いて、人物を検出してそれぞれの位置を推定する。また、情報入力ターゲット検知部１１３は、異なるカメラの映像、及び異なる時間帯の映像に出現した人物について、人物再同定の手法を用いて同一人物かどうかを判定して、検出した人物に同一人物ごとのＩＤ番号を付与する。
情報入力ターゲット検知部１１３が検出する情報入力ターゲットは人物に限らず、例えば道路を監視するものであれば自動車等の物体を検出するようにしてもよいし、牧場を監視するものであれば牛、又は羊を情報入力ターゲットにしてもよい。また、種類を特定せずに動体をすべて情報入力ターゲットとするようにしてもよい。また、物体に限らず、実空間の領域、又は特定の時刻、また人物の特定の行動、又はカメラ等、装置の特定の状態、又は警報等の発生を情報入力ターゲットとしてもよい。
また、Ｓ３０３及びＳ３０４については、記録部１０４に記録された映像について事前に行って結果を記録しておき、本フローにおいてはその結果を読み込むものとしてもよい。これは要注視度の算出、人体検出に時間がかかる場合に有効である。また、映像ストリームに対する逐次処理を行う場合は、ストリームの入力に対してＳ３０３及びＳ３０４の処理を並列に行って、逐次、要注視度の算出や人体検出を行うようにする。

次に、Ｓ３０５において、表示情報管理部１１２は、時刻ｔにおける要注視度を平面図画像に重畳して表示する。表示情報管理部１１２は、時刻ｔの各座標の要注視度を要注視度設定部１１５から取得して、平面図画像の対応する座標ごとに、例えば赤色の濃淡を加える。より具体的には、座標の色画素値をそれぞれ０から２５５までの範囲のＲＧＢカラーで表現したときに、表示情報管理部１１２は、Ｒ（赤色）成分に要注視度の２５５倍の値を加算して、２５５を超えた場合は２５５とする。
ヒートマップの表示方法はこれに限らず、青色、緑色、白色等その他の色の強さ、明度、彩度、色相の強さで表示してもよく、モノクロ映像ならばドットパターンの密度で表示してもよい。また、表示情報管理部１１２は、平面図画像の対応する点から鉛直方向に延びる棒等の長さとして立体画像で表現してもよい。
次に、Ｓ３０６において、表示情報管理部１１２は、時刻ｔを中心とするタイムラインの表示画像を作成し、表示部１０２で表示する。例えば、表示情報管理部１１２は、時刻（ｔ－１０秒）、時刻ｔ、時刻（ｔ＋１０秒）の要注視度を要注視度設定部１１５から取得して、それぞれＳ３０４と同様の方法でサムネイル画像を作成して、縮小して時系列順に配列する。
サムネイル画像の表示数、表示の範囲はこれに限るものではなく、例えば、表示情報管理部１１２は、表示部１０２の画面の横幅に応じて可変的に表示数を定めてもよい。
次に、Ｓ３０７において、表示情報管理部１１２は、情報入力ターゲット検知部１１３で検出された人物のうち、時刻ｔにおいて出現する人物を取得する。
次に、Ｓ３０８において、表示情報管理部１１２は、時刻ｔにおいて出現する人物のそれぞれについて、その位置に対応する要注視度を要注視度設定部１１５から取得して、要注視度の高いほうから順に並べて表示する。Ｓ３０８の処理は、撮影画像から検出された複数のターゲットを、複数のターゲットのそれぞれに対応する要注視度に基づいて表示する第２の表示処理の一例である。
以上のＳ３０５からＳ３０８までの処理によって、時刻ｔにおけるＵＩ画面が表示情報管理部１１２によって構成されて表示部１０２に表示される。

次に、Ｓ３０９において、表示情報管理部１１２は、ＵＩ画面に対する利用者の操作が操作部１０３を通じて為されるのを待ち、入力された操作によって分岐する。利用者が操作部１０３を用いてタイムラインを選択すると、表示情報管理部１１２は、Ｓ３２１に進む。利用者が操作部１０３を用いて、ラベル情報を指定するドロップダウンリスト、図３における２１１等、を操作してラベル情報を変更すると、表示情報管理部１１２は、Ｓ３３１に進む。利用者が操作部１０３を用いて、人物映像を指定すると、表示情報管理部１１２は、Ｓ３４１に進む。Ｓ３０９の処理は、複数のターゲットのうちの少なくとも一つのターゲットに対する情報の入力を受け付ける受付処理の一例である。
Ｓ３２１において、表示情報管理部１１２は、タイムラインの画面上の、操作部１０３よって選択された位置を取得して、その位置に対応したタイムラインの時刻を新たにｔとして設定する。
Ｓ３２１の次はＳ３０５に進んで、表示情報管理部１１２は、新たなｔに基づいて表示画面を更新して、再びＳ３０９で入力を待つ。
Ｓ３３１において、表示情報管理部１１２は、操作部１０３で操作されたドロップダウンリストの新しい値を、対応する人物のラベル情報として記録部１０４に記録する。また、表示情報管理部１１２は、その操作が行われた際にＵＩ画面で表示していた時刻ｔの情報を合わせて記録部１０４に記録する。
次に、Ｓ３３２において、要注視度設定部１１５は、Ｓ３０３と同様に要注視度を算出して更新する。Ｓ３３２の処理は、入力された情報に基づき複数の要注視度のうちの少なくとも一つの要注視度を再設定する処理の一例である。また、Ｓ３３２の処理は、入力された情報に基づき入力された情報に関するターゲットに対応付けられた要注視度を再設定する処理の一例でもある。後述するように、要注視度設定部１１５は、ラベル情報が入力されたかどうかの情報も用いて要注視度を算出する。その結果としてラベル情報を入力した個所の要注視度が低下する。
Ｓ３３２の次はＳ３０５に進んで、表示情報管理部１１２は、更新された要注視度に基づいて表示画面を更新して、再びＳ３０９で入力を待つ。この処理は、再設定された要注視度を前記実空間上の位置と時刻とに応じてマッピングして表示する処理の一例である。
Ｓ３４１においては、表示情報管理部１１２は、操作部１０３で指定された人物の時刻ｔにおける位置での、それぞれの注視要因における要因値を注視要因管理部１１４から取得して表示する。

注視要因の表示例を図５に示す。人物映像２０８が選択されると、表示情報管理部１１２は、注視要因ウィンドウ４０１を表示する。注視要因ウィンドウ４０１を表示する処理は、複数の要注視度のうち少なくとも一つの要注視度の設定に用いられた一の注視要因、又は複数の注視要因を表示する第３の表示処理の一例である。また、人物映像２０８が選択されると、注視要因ウィンドウ４０１を表示する処理は、入力された情報に関するターゲットに対応付けられた要注視度の設定に用いられた一の注視要因、又は複数の注視要因を表示する処理の一例でもある。
本実施形態においては、注視要因として初出現人物、カメラ映り、人流、警備員巡回、ＰＯＳ（販売地点情報管理）記録、入力操作とする。
要注視度設定部１１５は、初出現人物の注視要因を、情報入力ターゲット検知部１１３が検出した人物が新たに出現した人物であるかどうかによって定める。要注視度設定部１１５は、情報入力ターゲット検知部１１３が人物ごとに付与するＩＤ番号を用いて、初めて新しいＩＤ番号が付与された人物映像については１００、そうでなければ０を、対応する人物が出現した位置での注視要因の値とする。
要注視度設定部１１５は、カメラ映りの注視要因を、情報入力ターゲット検知部１１３が検出した人物を撮影した監視カメラのカメラ画角における、人物映像の大きさと位置とによって定める。より具体的には、要注視度設定部１１５は、すべての監視カメラについて、人物映像の人物を囲う矩形の面積とカメラ映像全体の面積との比の逆数と、人物映像の中心の方向とカメラ光軸との角度と、の積を計算して総和をとる。要注視度設定部１１５は、映像が小さく、カメラ画角の中心から遠く、映っているカメラが少ないほど、注視要因の値が高くなるようにする。

要注視度設定部１１５は、人流の注視要因を、情報入力ターゲット検知部１１３が検出した人物が通った量に応じて、平面図画像上の位置ごとに定める。要注視度設定部１１５は、平面図画像上で対象とする位置を中心に例えば半径１０ｍの円を描き、例えば直近の５分間にその円の内部を通過した人物の軌跡の長さの累計を算出し、その逆数をとって１００倍する。要注視度設定部１１５は、直前に近傍を通過した人物の数が少ないほど、注視要因の値が高くなるようにする。
要注視度設定部１１５は、警備員巡回の注視要因を、外部の警備システムの警備員巡回記録に基づいて、平面図画像上の位置ごとに定める。要注視度設定部１１５は、平面図画像上で対象とする位置を中心に例えば半径３０ｍの円を描き、例えば直近の６０分間に、その円の内部において警備員の巡回が行われたかどうかを判定して、最近の巡回から経過した時間を６０分で割る。要注視度設定部１１５は、警備員が巡回した時間が遠いほど、注視要因の値が高くなるようにする。

要注視度設定部１１５は、ＰＯＳ情報の注視要因を、外部のＰＯＳの記録に基づいて定める。要注視度設定部１１５は、所定の商品陳列棚の在庫情報が、ＰＯＳの販売記録と一致しないという情報がＰＯＳから得られると、その商品陳列棚の周辺において注視要因の値を１００とする。
要注視度設定部１１５は、入力操作の注視要因を、利用者が操作部１０３を用いて入力した情報に基づいて定める。利用者が時刻ｔにある人物についてドロップダウンリストへの入力を行うと、要注視度設定部１１５は、ｔの周辺の時刻の対応する人物の位置の周辺において、負の注視要因の値、例えば－５０を設定する。要注視度設定部１１５は、入力が行われたことによって、利用者が注視を行ったと推定して、その要注視度を低減するようにする。
注視要因ウィンドウ４０１には、各注視要因の説明と、選択した人物映像２０８におけるそれぞれの注視要因の値と、が表示される。また、注視要因ごとにスライドバー４０２と重み４０３とが合わせて表示され、利用者は操作部１０３によってスライドバーを操作することにより、注視要因の重みを修正することができる。要注視度設定部１１５が、利用者によるスライドバーの操作に基づき、注視要因の重みを修正する処理は、一の注視要因の重要度、又は複数の注視要因のそれぞれの重要度を設定する第２の設定処理の一例である。また、ユーザ操作に基づき一の注視要因の重要度、又は複数の注視要因のそれぞれの重要度を設定する処理の一例でもある。
図５に示した注視要因ウィンドウは注視要因表示の一例であり、例えば、要注視度設定部１１５は、重みを棒グラフ、又は円グラフで表示してもよい。また、注視要因重要度設定の方法として、利用者は、スライドバーの代わりに重みを直接入力したり、０か１００かを選択するトグルスイッチで入力したりしてもよい。

以上のようにして求められる注視要因の値と重さとに基づいて、要注視度設定部１１５は、要注視度を算出する。
図６を用いて、Ｓ３０３及びＳ３３２において要注視度設定部１１５が要注視度を設定するための処理を説明する。
まず、Ｓ５０１において、要注視度設定部１１５は、注視要因管理部１１４において管理されている注視要因を含むリストを作成する。ここでは要注視度の計算に用いる注視要因をリストアップするため、要注視度設定部１１５は、重みが０に指定されたもの、及び外部条件によって使用できない注視要因は除外する。例えば、外部のＰＯＳに接続できない場合、要注視度設定部１１５は、ＰＯＳ情報の注視要因を除外する。
次に、Ｓ５０２において、要注視度設定部１１５は、注視要因リストが空かどうかを判定する。要注視度設定部１１５は、空でなければＳ５０３に進み、空ならばＳ５０６に進む。

Ｓ５０３においては、要注視度設定部１１５は、注視要因リストに含まれる注視要因から１つを選択して、それをｅとする。
次に、Ｓ５０４において、要注視度設定部１１５は、注視要因ｅの値を計算する。例えば、注視要因ｅが初出現人物の注視要因であれば、先に図５の説明で述べたようにして、要注視度設定部１１５は、初めて新しいＩＤ番号が付与された人物映像については１００、そうでなければ０を、対応する人物が出現した位置での注視要因の値として定める。その他の注視要因についても、要注視度設定部１１５は先に図５の説明で述べたように求める。
次に、Ｓ５０５において、要注視度設定部１１５は、注視要因ｅを注視要因リストから除去し、Ｓ５０２に戻る。

Ｓ５０２において、注視要因リストが空になっている場合、すべての注視要因について値の計算が完了していれば、要注視度設定部１１５は、Ｓ５０６に進む。
Ｓ５０６においては、要注視度設定部１１５は、それぞれの時刻及び実空間位置について、以下の式で重み付き平均を算出し、その時刻ｔ及び実空間位置ｘにおける要注視度Ａ（ｘ、ｔ）とする。

ここで、ＬはＳ５０１で作成した注視要因リストである。Ａ_e（ｘ、ｔ）は注視要因ｅの時刻ｔ及び実空間位置ｘにおける値である。ｗ_eは注視要因ｅの重みである。但し、Ｌが空の場合はＡ（ｘ、ｔ）＝０とする。
要注視度の計算方法はここに示したものに限らず、例えば対数値の平均をとったり、加算してから上限値でクリップしたり、注視要因ｅごとに重みと値の積をとってから最大値を選択する等して計算してもよい。

本実施形態の情報処理装置１００は、作業対象の映像について要注視度を設定し、要注視度に基づいて表示することによって、利用者は注視すべきものについて優先的に注視してラベル付けの作業を行うことができる。

＜実施形態２＞
実施形態１では、利用者が手動で注視要因の重みを定め、要注視度の算出において重視する要因を設定する必要があった。しかし、情報処理装置１００が利用者の注視している要因を推定し、重みを自動で設定することで利用者の作業を減らすことができる。
本実施形態においては、注視要因の重みｗ_eを利用者の操作履歴から推定することを可能とするものである。以下では実施形態１へ追加する部分について説明する。

図７は、実施形態２の表示部１０２に表示され、表示情報管理部１１２によって制御されるユーザーインターフェース画面の模式図である。図７のユーザーインターフェース画面では図３のユーザーインターフェース画面に対して、要確認チェックボックス６０１、６０２及び６０３が追加されている。
これらの要確認チェックボックスは、人物映像のそれぞれについて設けられ、利用者が要確認であると判断した場合にチェックを入れる目的で追加されたものである。図７の例では、利用者は人物映像２０９を見て、それ自体については異常ではないと判断してドロップダウンリスト２１２は「異常なし」を選択する。しかし同時に、例えば歩き方が怪しい等、後で異常を起こす可能性が高く注意して確認するべきであると判断して、対応する要確認チェックボックス６０２をチェックする。
このとき、要注視度設定部１１５は、要確認チェックボックスがチェックされた同一ＩＤの人物が再び出現した時間については、その個所の要注視度が上昇するようにする。要注視度設定部１１５は、要確認とした人物の出現範囲について注視を促すようにする。
これに加えて、表示情報管理部１１２は、要確認チェックボックスへの入力を記録部１０４に記録しておく。注視要因管理部１１４は、この入力記録に基づいて注視要因の重みを再設定する。

次に、図８を用いて、以上の動作を実現するための処理を説明する。図８のフローチャートは実施形態１における図４のフローチャートに相当する。以下では図４との差分について説明する。
本実施形態では、注視要因の重みは自動で設定されるため、Ｓ３４１の処理は省かれ、人物映像を選択しても注視要因ウィンドウ４０１は表示されない。
但し、Ｓ３４１の処理を省かずに、自動と手動との両方で注視要因を設定できるようにしてもよい。
Ｓ３０９において、表示情報管理部１１２は、操作部１０３による入力として、要確認チェックボックスがチェックされたことを検知すると、Ｓ７０１に進む。
Ｓ７０１においては、表示情報管理部１１２は、操作部１０３で操作された要確認チェックボックスの変更後の状態、チェックされたか否かの情報を、対応する人物に紐づけた情報として記録部１０４に記録する。

次に、Ｓ７０２において、注視要因管理部１１４は、記録部１０４に記録された要確認チェックボックスの状態の情報に基づいて、注視要因の重みを決定する。
注視要因管理部１１４は、注視要因ｅの重みｗ_eを、要確認チェックボックスがチェックされた人物についての要注視度を用いて、以下の式によって算出する。

ここで、ｖｅは予め設定された注視要因ｅの重みの初期値、Ｈは要確認チェックボックスがチェックされた人物の集合、Ｌは注視要因の集合である。ａ_h（ｅ）は人物ｈにおける注視要因ｅの代表値で、以下の式で定義される。Ｔ_hは人物ｈの出現する時刻の集合である。

ｖ_eは、予め注視要因ごとの重要度に応じて情報処理装置１００の出荷時に定められる。なお、ｖ_e注視要因によらず一律で１と定めてもよいし、制御部１１１が操作部１０３を介した利用者の設定操作に応じて設定するようにしてもよい。また、Ｓ３０３における要注視度の設定には注視要因ｅの重みとしてｖ_eが用いられる。Ｓ７０２の処理は、ユーザ操作の操作履歴に基づき前記一の注視要因の重要度、又は前記複数の注視要因のそれぞれの重要度を推定し、設定する処理の一例である。

なお、注視要因の重みを定める方法はここに示したものに限らず、例えば、注視要因管理部１１４は、要確認チェックボックスがチェックされた人物について注視要因ごとにガウス分布等の統計モデルを作成して、それに基づくようにしてもよい。また、注視要因管理部１１４は、注視要因の値を入力ベクトル、要確認チェックボックスの入力操作のバイナリ値を出力として深層学習（ＤＬ）等を用いて最適化したモデルを用いてもよい。
Ｓ７０２の次は、Ｓ３３２に進み、要注視度設定部１１５は、新しい注視要因の重みに応じて要注視度を再計算する。そして、Ｓ３０５において、表示情報管理部１１２は、更新された要注視度に基づいて表示画面を更新する。

本実施形態の情報処理装置１００は、注視要因の重みを自動で定めることができる。

＜実施形態３＞
実施形態３では、実施形態１及び実施形態２とは異なる要注視度の利用方法として、要注視度を用いて映像中から所望の人物の出現を検索する方法を説明する。
図９を用いて、本実施形態における表示部の動作及び利用者の操作について説明する。
本実施形態においては、表示情報管理部１１２は、要注視度を図９（Ａ）のように三次元時空間上の時空間立体として表示する。時空間立体は直方体であり、二辺は平面図画像の縦横であるｘ軸とｙ軸とに対応する。これらに垂直なｔ軸は時間軸であり、この三軸の座標で定まる立体画素が、その場所と時刻とに対応する要注視度に対応した色合いで表示される。
ｔ軸に垂直な平面で切り取ったスライスは、その時刻における要注視度の平面図画像に相当する。ｔ軸に沿って動くカーソル８０１で切り取ったスライスを平面図画像に重畳した画像がウィンドウ８０２に表示され、利用者は操作部１０３を用いてカーソルを動かすと、カーソルの時刻に対応した要注視度の平面図画像をウィンドウ８０２で確認することができる。また、カーソル８０１による時空間立体の断面にも、平面図画像が重畳される。
時空間立体においては、人物の出現は８０３のように要注視度の高い部分がｔ軸方向に伸びているような形で現れる。本実施形態における利用者の目的は、この時空間立体から人物を探し出すことである。本実施形態においては、注視要因として、人物が存在し、その人物に指定した属性があることによって、要注視度が上昇するように注視要因管理部１１４で定める。

利用者は注視要因ウィンドウ８０４を操作して、人物の属性条件を追加する。図９（Ａ）では、黒い服装で短髪の人物が注視要因ウィンドウ８０４で指定されている。これによって注視要因管理部１１４は、「黒い服装」と「短髪」とを重みの高い注視要因として指定して、時空間立体上でそのような人物のいる時間と場所の要注視度が上昇する。利用者は、時空間立体上で要注視度の高い個所を平面図画像と映像で確認して、条件に合う所望の人物を探す。
探している人物の条件を新たに加えると、要注視度の高い個所が絞り込まれる。利用者が注視要因ウィンドウを操作して、注視要因ウィンドウ８０５のように条件を追加すると、図９（Ｂ）のように表示が変化する。
また、利用者は得られた情報を時空間立体上に直接反映することができる。例えば、ある時間と場所との範囲において、例えば工事中で人の侵入ができないということが分かっていれば、利用者は８０６のように時空間立体の範囲を指定して、その範囲の要注視度を下げるように指示する。また、ある時刻において、例えば犯罪が行われて犯人が近くにいる可能性が高いことが分かっていれば、利用者は８０７のように時刻を指定して、その前後の時刻について要注視度が高くなるように設定する。これらの利用者が時空間立体上に入力した情報は、注視要因の一つとして注視要因管理部１１４において管理される。

次に、図１０を用いて、以上の動作を実現するための処理を説明する。図１０のフローチャートは実施形態１における図４のフローチャートに相当する。以下では図４との差分について説明する。
Ｓ９０１において、表示情報管理部１１２は、要注視度設定部１１５の設定した要注視度に基づいて、時空間立体を表示する。
時空間立体は、ｘ軸とｙ軸との方向に広がる長方形の平面図画像を、これらと垂直なｔ軸方向に積み重ねた直方体である。より具体的には、図１１（Ａ）のように、平面図画像の画素と、時間軸方向の最小単位とが成す立方体を立体画素として、それぞれの立方体に着色することによって立体のヒートマップとして表示される。
表示情報管理部１１２は、ｔ軸の同じ値を持つ立体画素から成る面を取り出したときに、そのｔ軸の位置に対応する時刻の平面図画像に一致するようにする。時空間立体のｔ軸方向の長さ（直方体の個数）は表示部１０２の表示画面の大きさに依存して決まり、その時刻は、対象映像の長さを等分するようにして決定される。対象映像のフレーム数が時空間立体のｔ軸方向の長さに対して不足する場合は、表示情報管理部１１２は、隣り合った面から線形補完によって面を補充する。
表示情報管理部１１２は、時空間立体の立体画素をそれぞれ、内部を視認しやすいように透過して表示するようにする。それぞれの立体画素は不透明度を示すアルファチャンネルを持ち、表示情報管理部１１２は、色調と同様に要注視度の大きさに応じて定める。表示情報管理部１１２は、要注視度が大きいほど不透明にして、要注視度が所定の値よりも小さければ透明度を最大にするようにする。こうすることによって、要注視度の高い個所が時空間立体の画面に向かって奥側にあっても、利用者の視認が容易になる。

このようにしても、要注視度が大きい個所同士が重なった場合には、手前側の要注視度が大きい個所によって後ろのものが隠れてしまう。この場合は以下のようにする。
図１１（Ｂ）及び図１１（Ｃ）は、要注視度が高い領域をそれぞれ持つ時空間立体である。図１１（Ｂ）の要注視度が高い領域が、図１１（Ｃ）の要注視度が高い領域よりも手前側にあるものとする。なお、図１１では３色の同心円状のパターンとして図示しているが、実際にはなめらかに色調が変化しているものとする。つまり、点線で示している同心円の枠線は実際に表示されているものではない。
図１１（Ｂ）と図１１（Ｃ）の要注視度が高い２つの領域を同時に表示しようとすると、図１１（Ｂ）の領域の後ろに図１１（Ｃ）が隠れ、視認できなくなってしまう。このような場合は、表示情報管理部１１２は、図１１（Ｄ）のようにして、後ろ側の領域について、要注視度のある高さについての等高線１２０１を時空間立体の最も手前側に表示し、要注視度の高い領域の奥側に異なる要注視度の高い個所があることが視認できるようにする。このようにして、表示情報管理部１１２は、等高線の表示の有無を、要注視度の分布によって定める。

Ｓ３０９において、表示情報管理部１１２は、利用者が操作部１０３を用いて注視要因ウィンドウを操作したと判定した場合には、Ｓ９０２に進む。
Ｓ９０２において、注視要因管理部１１４は、注視要因ウィンドウの操作に応じて注視要因の重みを変更する。
Ｓ９０３において、要注視度設定部１１５は、注視要因の重みの変更に応じて、要注視度を再設定する。

本実施形態におけるＳ３０３及びＳ９０３では、注視要因を以下のようにして算出する。
要注視度設定部１１５は、服装色の注視要因を、情報入力ターゲット検知部１１３が検知した人物映像に基づいて定める。要注視度設定部１１５は、被服の領域の画素値を平均して、注視要因管理部１１４で指定された色との距離、例えばＬ＊ａ＊ｂ＊色空間等の均等色空間における距離の逆数をとって１００倍したものを、対応する人物が出現した位置での注視要因の値とする。即ち、要注視度設定部１１５は、服装の色合いが指定された色に近いほど注視要因の値が大きくなるように定める。
要注視度設定部１１５は、髪型の注視要因を、情報入力ターゲット検知部１１３が検知した人物映像に基づいて定める。要注視度設定部１１５は、頭部のパターンマッチングを行い、注視要因管理部１１４で指定された髪型のモデルへの一致度を、対応する人物が出現した位置での注視要因の値とする。髪型のモデルについては、注視要因管理部１１４で指定可能なものについて予め準備しておく。
要注視度設定部１１５は、身長の注視要因を、情報入力ターゲット検知部１１３が検知した人物映像に基づいて定める。要注視度設定部１１５は、姿勢が最も直立に近い時点の画像をカメラとの距離によって正規化し、頭頂点と足底点の距離を求める。そして、要注視度設定部１１５は、注視要因管理部１１４で指定された範囲、例えば１６０ｃｍ以上等と比較して、含まれれば１００、そうでなければ０を、対応する人物が出現した位置での注視要因の値とする。

要注視度設定部１１５は、性別の注視要因を、情報入力ターゲット検知部１１３が検知した人物映像に基づいて定める。要注視度設定部１１５は、パターンマッチングを行い、注視要因管理部１１４で指定された髪型のモデルへの一致度を、対応する人物が出現した位置での注視要因の値とする。
要注視度設定部１１５は、様子の注視要因を、情報入力ターゲット検知部１１３が検知した人物映像に基づいて定める。要注視度設定部１１５は、感情認識の手法を用いて人物の感情を認識して、注視要因管理部１１４で指定された感情の成分の量に基づいて定め、対応する人物が出現した位置での注視要因の値とする。
要注視度設定部１１５は、所持品の注視要因を、情報入力ターゲット検知部１１３が検知した人物映像に基づいて定める。要注視度設定部１１５は、人物の周辺にあり人物に追従して動く動体を検知して、注視要因管理部１１４で指定された物体のカテゴリに含まれるかどうかによって定める。要注視度設定部１１５は、含まれれば１００、そうでなければ０を、対応する人物が出現した位置での注視要因の値とする。

本実施形態の情報処理装置１００によれば、利用者は時空間立体を用いて人物を探し出すことができる。

＜実施形態４＞
実施形態４では、実施形態１及び実施形態２とは異なる要注視度の利用方法として、要注視度を市場分析のために用いる方法について説明する。
図１２を用いて、本実施形態における表示部の動作及び利用者の操作について説明する。
本実施形態においては、情報処理装置１００が要注視度を算出して表示し、利用者が人物を情報入力ターゲットとして情報を付与する点は実施形態１と同様である。要注視度の表示方法としては、表示情報管理部１１２は、実施形態３と同様に時空間立体を用いて１０００のように表示する。
本実施形態における、注視要因管理部１１４で管理する注視要因は、年代性別、滞留度、購入額、アプローチ形態、お勧め商品である。
利用者は本実施形態における注視要因ウィンドウ１００１を操作部１０３によって操作して、調べたい注視要因の重みを決定する。また、利用者は属性情報、入力情報については、対象としたい項目をドロップダウンリスト１００２、テキストボックス１００３によって指定する。

ここでは例として、利用者は３０代の女性について、購入額と店員の応対の仕方との関係を調査したいとする。まず、利用者は注視要因ウィンドウ１００１を操作して、年代性別を「３０代」「女性」に設定して、年代性別と購入額との注視要因の重みを１００に設定する。そうすると、平面図画像２０１には情報入力ターゲット検知部１１３によって検知された、３０代女性で購入額が高い人物がいる個所が、時空間立体上に要注視度の高い、色の濃い個所として表示される。
利用者は、店員からアプローチして口紅Ｘを勧めた際の売れ行きを調査したいとする。利用者は注視要因ウィンドウ１００１を操作して、アプローチ形態を「店員から」、お勧め商品を「口紅Ｘ」に設定するが、アプローチ形態とお勧め商品との注視要因については情報処理装置１００が自動で判定できないため、利用者がラベル情報として入力を行う必要がある。人物映像１０１１、１０１２、１０１３が、要注視度の高い順にソートされて表示される。また、それぞれに対応してアプローチ形態を入力するドロップダウンリスト１０２１、１０２２、１０２３と、お勧め商品を入力するテキストボックス１０３１、１０３２、１０３３とが表示される。利用者はこれらの情報を、要注視度の高い人物に注意して入力する。
入力が進むと、時空間立体１０００が変化し、店員からアプローチして口紅Ｘを勧めた人物が要注視度の高い個所として絞り込まれる。利用者はこの時空間立体を観察することによって、指定した条件での売り上げと売り場の位置及び時間帯との関係を把握したり、また注視要因ウィンドウ１００１を操作して条件を変えた際にどのように変化するかを観察したりできる。

次に、図１３を用いて、以上の動作を実現するための処理を説明する。図１３のフローチャートは実施形態１における図４のフローチャートに相当する。以下では図４との差分について説明する。
Ｓ３０５及びＳ３０６の代わりに、表示情報管理部１１２が時空間立体を表示するため、実施形態３のＳ９０１と同様の処理を行う。
Ｓ１１０１において、表示情報管理部１１２は、情報入力ターゲット検知部１１３で検出された人物の全体を取得する。本実施形態では時空間立体を用いて人物映像をラベル付けするため、表示情報管理部１１２は、時刻スライスに限らず対象の映像全体から人物を取得するようにする。
Ｓ１１０２において、表示情報管理部１１２は、Ｓ１１０１で得られた対象の映像に出現する人物の全体を要注視度でソートして表示する。人物の要注視度としては、以下の式で得られるａ_hを用いる。

ここでａ_h（ｅ）は実施形態２で述べた人物ｈにおける注視要因ｅの代表値である。Ｌは注視要因全体の集合である。

本実施形態におけるＳ３０３及びＳ３３２では注視要因を以下のようにして算出する。
要注視度設定部１１５は、年代性別の注視要因を、情報入力ターゲット検知部１１３が検知した人物映像に基づいて定める。要注視度設定部１１５は、年代性別推定の手法を用いて人物について年齢と性別とを指定し、注視要因管理部１１４で指定された年齢と性別に対応する人物について１００、そうでなければ０を、対応する人物が出現した位置での注視要因の値とする。
要注視度設定部１１５は、滞留度の注視要因を、情報入力ターゲット検知部１１３が検出した人物らの対象の位置での速度に応じて定める。例えば、要注視度設定部１１５は、直近の５分間に、対象の位置を中心とする円の内部を通過した人物を収集して、その円内での速さの時間平均をとって、その逆数の１００倍を注視要因の値とする。要注視度設定部１１５は、直前に近傍を通過した人物の速度が小さいほど、注視要因の値が大きくなるようにする。

要注視度設定部１１５は、購入額の注視要因を、情報入力ターゲット検知部１１３が検知した人物映像と、外部のＰＯＳとを組み合わせて定める。要注視度設定部１１５は、人物がレジの領域に向かった時刻に基づいて、ＰＯＳからその時刻に購入が行われた記録を取得して、その支払額を所定の上限額、例えば５万円で割って１００倍した値を、対応する人物が出現した位置での注視要因の値とする。
要注視度設定部１１５は、アプローチ形態及びお勧め商品の注視要因を、利用者が操作部１０３を用いて入力したラベル情報に基づいて定める。要注視度設定部１１５は、注視要因管理部１１４で指定されたアプローチ形態と一致するラベル情報が付与された人物について、アプローチ形態の注視要因の値を１００とする。また、要注視度設定部１１５は、注視要因管理部１１４で指定されたお勧め商品の文字列を部分文字列として含むラベル情報が付与された人物について、お勧め商品の注視要因の値を１００とする。

本実施形態の情報処理装置１００によれば、利用者は要注視度の情報を市場分析に用いることができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した実施形態を任意に組み合わせて実施してもよい。

以上、上述した各実施形態の処理によれば、利用者は情報の付加によるフィードバックを得ることができ、映像への情報の付与及び付与した情報を用いた分析を正確・効率的に行うことができる。

１００ 情報処理装置
１０１ ＣＰＵ

Claims (14)

1. 所定の時刻で撮像された画像から検出されたターゲットに対応する要注意度を、該ターゲットが検出された位置を示すマップに表示する表示手段と、
   前記ターゲットに対する前記要注意度を、少なくとも１つ以上の注視要因に基づいて設定する設定手段と、
   ユーザによる前記ターゲットに対する情報の入力に基づいて、前記ターゲットに対する前記要注意度を更新する更新手段と、を有し、
   前記表示手段は、前記更新された前記要注意度に基づいて、前記マップの表示を変更することを特徴とする情報処理装置。
2. 前記更新手段は、前記ターゲットが要注意であるか否かを示すラベル情報に基づいて、前記ラベル情報が入力された前記ターゲットに対する前記要注意度を、前記ラベル情報が入力される前の前記ターゲットの前記要注意度よりも小さくするように前記要注意度を更新することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示手段は、複数の時刻において撮像された画像から算出された前記要注意度を前記マップに表示し、
   前記更新手段は、前記ラベル情報によって要注意であると示されたターゲットが出現した時刻に撮像された画像に基づいて、前記ターゲットが出現した位置の前記要注意度を、前記ターゲットが出現する前より大きくするように更新することを特徴とする請求項２に記載の情報処理装置。
4. 前記設定手段は、前記要注意度に対する前記注視要因の重み付けを変更するための前記情報を受け付けることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記表示手段は、複数の前記ターゲットに対してそれぞれ前記要注意度を表示し、
   前記設定手段は、前記複数のターゲットに対する前記要注意度のそれぞれについて、前記注視要因の重み付けを設定することを特徴とする請求項４に記載の情報処理装置。
6. 前記表示手段は、前記要注意度に対する前記注視要因の重み付けを設定するための設定画面を表示することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記設定手段は、前記情報が入力された前記ターゲットの前記要注意度と前記注視要因とに基づいて、前記要注意度に対する前記注視要因の重み付けを設定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
8. 前記設定手段は、ユーザ操作の操作履歴に基づき前記注視要因の重み付けを推定し、設定することを特徴とする請求項７に記載の情報処理装置。
9. 前記表示手段は、三次元時空間を示す前記マップとして表示することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記表示手段は、複数の前記ターゲットのうち、対応する前記要注意度が高い順に前記ターゲットが検出された画像を更に表示することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記表示手段は、前記要注意度の等高線を、前記マップに表示することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記表示手段は、前記要注意度の等高線を、前記要注意度の分布に基づいて決定することを特徴とする請求項１１に記載の情報処理装置。
13. 所定の時刻で撮像された画像から検出されたターゲットに対応する要注意度を、該ターゲットが検出された位置を示すマップに表示する表示工程と、
    前記ターゲットに対する前記要注意度を、少なくとも１つ以上の注視要因に基づいて設定する設定工程と、
    ユーザによる前記ターゲットに対する情報の入力に基づいて、前記ターゲットに対する前記要注意度を更新する更新工程と、を有し、
    前記表示工程は、前記更新された前記要注意度に基づいて、前記マップの表示を変更することを特徴とする情報処理方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images