WO2016132705A1

WO2016132705A1 - 追跡支援装置、追跡支援システムおよび追跡支援方法

Info

Publication number: WO2016132705A1
Application number: PCT/JP2016/000628
Authority: WO
Inventors: 園子平澤; 藤松　健
Original assignee: パナソニックＩｐマネジメント株式会社
Priority date: 2015-02-20
Filing date: 2016-02-08
Publication date: 2016-08-25
Also published as: DE112016000841T5; JP2016154306A; JP5999394B2; RU2017128072A3; GB2550509A; RU2017128072A; US10181197B2; US20180033153A1; RU2696855C2; GB201711656D0; GB2550509B; CN107251552A

Abstract

　追跡対象とした人物の追尾結果に誤りがないかの確認作業を効率よく行い、誤りがある追尾情報を簡単な操作で修正することができるようにする。　監視者の指定に応じて追跡対象となる人物を設定する追跡対象設定部（２４）と、追尾情報に基づいて、追跡対象とした移動体と同一である可能性が最も高い移動体の映像をカメラ（１）ごとに抽出して、それらの映像のみを確認映像として表示させる確認映像提示部（２５）と、確認映像に誤りがある場合に、追尾情報に基づいて、追跡対象とした移動体と同一である可能性が、誤りがある確認映像の移動体の次に高い移動体の映像を候補映像として表示させて、該当する候補映像を監視者に選択させる候補映像提示部（２６）と、選択された候補映像に対応する移動体を、追跡対象とした移動体と対応づけるように追尾情報を修正する追尾情報修正部（３４）と、を備えたものとする。

Description

追跡支援装置、追跡支援システムおよび追跡支援方法

　本開示は、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置、追跡支援システムおよび追跡支援方法に関するものである。

　監視エリア内に複数のカメラを設置し、この複数のカメラごとの映像を表示する監視画面をモニタに表示して、監視者に監視させる監視システムが広く普及している。このような監視システムでは、カメラの映像をレコーダに蓄積することで、万引きなどの問題のある行為を行った人物が監視エリア内でどのような行動を行ったかを監視者が事後に確認することができる。

　このように監視者が監視画面を見ながら人物を追跡する場合、人物が監視エリア内を移動するのに応じて、その人物を撮影するカメラが次々と切り替わるため、カメラごとの映像を順次確認する必要がある。

　そこで、モニタの表示画面にカメラごとの映像を表示する映像表示ウィンドウを設けて、この映像表示ウィンドウに監視者が追跡対象に指定した人物の映像を表示するとともに、モニタの表示画面に人物の進行経路を表示するようにした技術が知られている（特許文献１参照）。この技術では、進行経路が表示されるため、カメラを次々に代えながら追跡する作業を比較的簡単に行うことができ、追跡作業を行う監視者の負担をある程度軽減することができる。

特許第４７５９９８８号公報

　本開示の追跡支援装置は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、映像蓄積手段に蓄積された映像を表示装置に表示させて、その映像上で追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像をカメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を表示装置に表示させる確認映像提示部と、追跡対象確認画面に表示された確認映像に誤りがある場合に、追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が、誤りがある確認映像に対応する移動体の次に高い移動体の映像を、上位から所定数抽出して、それらの映像が候補映像として表示された候補選択画面を表示装置に表示させて、追跡対象に指定した移動体に該当する候補映像を監視者に選択させる候補映像提示部と、候補選択画面で選択された候補映像に対応する移動体を、追跡対象に設定された移動体と対応づけるように追尾情報を修正する追尾情報修正部と、を備えた構成とする。

　また、本開示の追跡支援システムは、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、監視エリアを撮影するカメラと、このカメラごとの映像を表示する表示装置と、複数の情報処理装置と、を有し、複数の情報処理装置のいずれかが、映像蓄積手段に蓄積された映像を表示装置に表示させて、その映像上で追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定手段と、映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像をカメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を表示装置に表示させる確認映像提示部と、追跡対象確認画面に表示された確認映像に誤りがある場合に、追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が、誤りがある確認映像に対応する移動体の次に高い移動体の映像を、上位から所定数抽出して、それらの映像が候補映像として表示された候補選択画面を表示装置に表示させて、追跡対象に指定した移動体に該当する候補映像を監視者に選択させる候補映像提示部と、候補選択画面で選択された候補映像に対応する移動体を、追跡対象に設定された移動体と対応づけるように追尾情報を修正する追尾情報修正部と、を備えた構成とする。

　また、本開示の追跡支援方法は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、映像蓄積手段に蓄積された映像を表示装置に表示させて、その映像上で追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定するステップと、映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像をカメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を表示装置に表示させるステップと、追跡対象確認画面に表示された確認映像に誤りがある場合に、追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が、誤りがある確認映像に対応する移動体の次に高い移動体の映像を、上位から所定数抽出して、それらの映像が候補映像として表示された候補選択画面を表示装置に表示させて、追跡対象に指定した移動体に該当する候補映像を監視者に選択させるステップと、を備えた構成とする。

　本開示によれば、追跡対象とした移動体が写っている可能性が最も高いカメラの映像に絞り込んで表示されるため、移動体の追尾結果の確認作業を効率よく行うことができる。そして、追跡対象確認画面に表示された確認映像に誤りがある、すなわち、移動体の追尾結果に誤りがある場合には、追跡対象とした移動体が写っている可能性が確認映像の次に高い映像が候補映像として候補選択画面に表示されるため、監視者は候補映像を選択するだけで、追尾情報が修正されるため、簡単な操作で追尾情報を修正することができる。

図１は、第１実施形態に係る追跡支援システムの全体構成図である。図２は、店舗におけるカメラ１の設置状況を示す平面図である。図３は、ＰＣ３の概略構成を示す機能ブロック図である。図４は、モニタ７に表示される画面の遷移状況を示す説明図である。図５は、各画面で行われる監視者の操作に応じてＰＣ３の各部で行われる処理の手順を示すフロー図である。図６は、モニタ７に表示される単一カメラによる人物検索画面を示す説明図である。図７は、モニタ７に表示される複数カメラによる人物検索画面を示す説明図である。図８は、モニタ７に表示される単一カメラ選択画面を示す説明図である。図９は、モニタ７に表示される複数カメラ選択画面を示す説明図である。図１０は、モニタ７に表示される確認映像表示状態のタイムライン画面を示す説明図である。図１１は、モニタ７に表示される連続再生状態のタイムライン画面を示す説明図である。図１２は、モニタ７に表示されるカメラ位置確認画面を示す説明図である。図１３は、モニタ７に表示される候補映像表示状態のタイムライン画面を示す説明図である。図１４は、モニタ７に表示される単一カメラによる人物追加検索画面を示す説明図である。図１５は、モニタ７に表示される複数カメラによる人物追加検索画面を示す説明図である。図１６は、モニタ７に表示されるタイムライン画面の別例を示す説明図である。図１７は、第２実施形態においてモニタ７に表示される画面の遷移状況を示す説明図である。図１８は、モニタ７に表示される追跡対象検索状態のマップ画面を示す説明図である。図１９は、モニタ７に表示される確認映像表示状態のマップ画面を示す説明図である。図２０は、モニタ７に表示される候補映像表示状態のマップ画面を示す説明図である。図２１は、モニタ７に表示される候補映像表示状態のマップ画面を示す説明図である。図２２は、第３実施形態におけるＰＣ３の各部で行われる処理の手順を示すフロー図である。図２３は、第４実施形態におけるＰＣ３の各部で行われる処理の手順を示すフロー図である。

　実施の形態の説明に先立ち、従来の技術における問題点を簡単に説明する。さて、追跡対象に指定した人物に関するカメラごとの映像をモニタの表示画面に順次表示させるには、画像認識技術を用いて人物を追尾する処理を装置に行わせることになるが、この追尾処理において、追跡対象に指定した人物の追尾が失敗して、人物が別人に入れ替わるなど、追尾結果に誤りが生じる場合があり、このように追尾結果に誤りが生じると、人物の追跡の作業に支障を来すことから、追尾結果に誤りがないかを確認する作業が必要になる。特に、広域の監視エリアを対象にした大規模な監視システムでは、数十台あるいは数百台といった多数の監視カメラが用いられることから、追尾結果の確認作業が極めて煩雑になる。そこで、追尾結果の確認作業を効率よく行うことができる技術が望まれる。

　しかしながら、前記の特許文献１に開示された技術では、画面内のいずれかの映像表示ウィンドウに追跡対象とした人物が常に写る、すなわち、追跡対象とした人物の映像が監視エリア内の移動経路の全体を通して漏れなく画面に表示されるものではないため、追跡対象とした人物の追尾結果の確認作業を効率よく行うことができるものではなく、特にカメラの台数が増えると、作業が非常に煩雑になるという問題があった。また、人物の追尾結果に誤りがある場合には、この従来技術ではなんら有効な対応ができず、監視者の負担を軽減する支援処理を適切に行うことができないという問題があった。

　本開示は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、追跡対象とした移動体の追尾結果に誤りがないかを確認する作業を効率よく行うとともに、移動体の追尾結果に誤りがある場合に、簡単な操作で追尾情報を修正することができるように構成された追跡支援装置、追跡支援システムおよび追跡支援方法を提供することにある。

　前記課題を解決するためになされた第１の開示は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、映像蓄積手段に蓄積された映像を表示装置に表示させて、その映像上で追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像をカメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を表示装置に表示させる確認映像提示部と、追跡対象確認画面に表示された確認映像に誤りがある場合に、追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が、誤りがある確認映像に対応する移動体の次に高い移動体の映像を、上位から所定数抽出して、それらの映像が候補映像として表示された候補選択画面を表示装置に表示させて、追跡対象に指定した移動体に該当する候補映像を監視者に選択させる候補映像提示部と、候補選択画面で選択された候補映像に対応する移動体を、追跡対象に設定された移動体と対応づけるように追尾情報を修正する追尾情報修正部と、を備えた構成とする。

　これによると、追跡対象とした移動体が写っている可能性が最も高いカメラの映像に絞り込んで表示されるため、移動体の追尾結果の確認作業を効率よく行うことができる。そして、追跡対象確認画面に表示された確認映像に誤りがある、すなわち、移動体の追尾結果に誤りがある場合には、追跡対象とした移動体が写っている可能性が確認映像の次に高い映像が候補映像として候補選択画面に表示されるため、監視者は候補映像を選択するだけで、追尾情報が修正されるため、簡単な操作で追尾情報を修正することができる。

　また、第２の開示は、追跡対象確認画面では、複数の確認映像が撮影時刻順に並べて表示される構成とする。

　これによると、確認映像が撮影時刻順に並べて追跡対象確認画面に表示されるため、監視者は確認映像を順に見ていくだけで、追跡対象とした移動体の追尾結果に誤りがないかを確認することができ、移動体の追尾結果の確認作業をより一層効率よく行うことができる。

　また、第３の開示は、追跡対象設定部は、複数のカメラを監視者に選択させて、その選択された複数のカメラごとの映像を画面に並べて表示させて、追跡対象とする移動体を監視者に指定させる構成とする。

　これによると、追跡対象とする移動体を撮影したものと想定される複数のカメラの映像が同一画面に表示されるため、追跡対象とする移動体を監視者が指定する作業を効率よく行うことができる。

　また、第４の開示は、複数の確認映像が追跡対象確認画面における確認映像の表示領域に収まりきらない場合に、確認映像の配列方向に確認映像をスライドさせて表示するスクロール操作部が追跡対象確認画面に設けられた構成とする。

　これによると、全ての確認映像を１画面内で確認することができ、追跡対象とした移動体の追尾結果に誤りがないかを監視者が確認する作業を効率よく行うことができる。

　また、第５の開示は、複数の候補映像が候補選択画面における候補映像の表示領域に収まりきらない場合に、候補映像の配列方向に候補映像をスライドさせて表示するスクロール操作部が候補選択画面に設けられた構成とする。

　これによると、全ての候補映像を１画面内で確認することができ、監視者が候補映像を選択する作業を効率よく行うことができる。

　また、第６の開示は、追跡対象設定部は、撮影日時およびカメラに関する検索条件を入力する監視者の操作入力に応じて、検索条件に適合する映像が表示された追跡対象検索画面を表示装置に表示させて、その追跡対象検索画面上で追跡対象とする移動体が写った映像を監視者に検索させて、追跡対象とする移動体を監視者に指定させる構成とする。

　これによると、撮影日時およびカメラに関する検索条件にしたがって、追跡対象検索画面に表示される映像が絞り込まれるため、追跡対象とする移動体を監視者が指定する作業を効率よく行うことができる。

　また、第７の開示は、候補選択画面は、追跡対象確認画面に、候補映像を表示させる候補映像表示部を付加したものである構成とする。

　これによると、候補映像が確認映像と同一画面に表示されるため、監視者が候補映像を選択する作業を確認映像と比較しながら行うことができ、監視者が候補映像を選択する作業を効率よく行うことができる。

　また、第８の開示は、さらに、追跡対象に設定された移動体、およびその移動体と同一として対応づけられた移動体に関するカメラごとの映像が撮影時刻順に並べて表示された連続再生画面を表示装置に表示させ、この連続再生画面において、カメラごとの映像を、時間の経過にしたがって順次動画で表示させる連続再生を行う映像再生部を備えた構成とする。

　これによると、追跡対象とした移動体を連続して追跡することができるため、追跡対象とした移動体が監視エリア内でどのような行動を行ったかを監視者が簡単に確認することができる。

　また、第９の開示は、さらに、連続再生画面上で行われる監視者の操作に応じて、監視エリアの状態を示す地図画像上に再生中の映像に対応するカメラの位置を表示するカメラ位置確認画面を表示装置に表示させる画面生成部を備えた構成とする。

　これによると、連続再生画面のみでは、再生中の映像がどの位置に設置されたカメラによるものかがわからないが、カメラ位置確認画面を見ることで、再生中のカメラの位置を簡単に確認することができる。

　また、第１０の開示は、さらに、候補選択画面に表示された候補映像の中に、追跡対象に指定した移動体に該当する候補映像がない場合に、誤りがある確認映像に対応する期間の映像を表示装置に表示させて、その映像上で追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に追加設定する追跡対象追加設定部を備え、追尾情報修正部は、追跡対象追加設定部で追跡対象に追加設定された移動体を、追跡対象設定部で追跡対象に設定された移動体と対応づけるように追尾情報を修正する構成とする。

　これによると、候補選択画面に表示された候補映像の中に、追跡対象に指定した移動体に該当する候補映像がない場合でも、追跡対象となる移動体を監視者が指定することで、誤りがある確認映像に対応する追尾情報が修正されるため、追尾情報の欠落を避けることができる。

　また、第１１の開示は、さらに、候補選択画面に表示された候補映像の中に、追跡対象に指定した移動体に該当する候補映像がない場合に、追跡対象に指定した移動体が映像に出現している期間を指定する監視者の操作入力に応じて、指定された期間を映像表示期間として設定する映像表示期間設定部を備え、追尾情報修正部は、映像表示期間設定部で設定された映像表示期間を追尾情報に付加する構成とする。

　これによると、候補選択画面に表示された候補映像の中に、追跡対象に指定した移動体に該当する候補映像がない場合でも、映像表示期間を監視者が指定することで、誤りがある確認映像に対応する追尾情報が映像表示期間に置き換えられるため、追尾情報の欠落を避けることができる。特に、カメラごとの映像を時間の経過にしたがって順次動画で表示させる連続再生を行う際に、映像が途切れることを避けることができる。

　また、第１２の開示は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、監視エリアを撮影するカメラと、このカメラごとの映像を表示する表示装置と、複数の情報処理装置と、を有し、複数の情報処理装置のいずれかが、映像蓄積手段に蓄積された映像を表示装置に表示させて、その映像上で追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定手段と、映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像をカメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を表示装置に表示させる確認映像提示部と、追跡対象確認画面に表示された確認映像に誤りがある場合に、追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が、誤りがある確認映像に対応する移動体の次に高い移動体の映像を、上位から所定数抽出して、それらの映像が候補映像として表示された候補選択画面を表示装置に表示させて、追跡対象に指定した移動体に該当する候補映像を監視者に選択させる候補映像提示部と、候補選択画面で選択された候補映像に対応する移動体を、追跡対象に設定された移動体と対応づけるように追尾情報を修正する追尾情報修正部と、を備えた構成とする。

　これによると、第１の発明と同様に、追跡対象とした移動体の追尾結果に誤りがないかを確認する作業を効率よく行うとともに、追尾結果に誤りがある場合に、簡単な操作で追尾情報を修正することができる。

　また、第１３の開示は、映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、映像蓄積手段に蓄積された映像を表示装置に表示させて、その映像上で追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定するステップと、映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像をカメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を表示装置に表示させるステップと、追跡対象確認画面に表示された確認映像に誤りがある場合に、追尾情報に基づいて、追跡対象に設定された移動体と同一である可能性が、誤りがある確認映像に対応する移動体の次に高い移動体の映像を、上位から所定数抽出して、それらの映像が候補映像として表示された候補選択画面を表示装置に表示させて、追跡対象に指定した移動体に該当する候補映像を監視者に選択させるステップと、を備えた構成とする。

　これによると、第１の開示と同様に、追跡対象とした移動体の追尾結果に誤りがないかを確認する作業を効率よく行うとともに、追尾結果に誤りがある場合に、簡単な操作で追尾情報を修正することができる。

　以下、実施の形態を、図面を参照しながら説明する。なお、本実施形態の説明では、「追跡」および「追尾」という同様の意味を持つ用語を使用しており、これは、単に説明の便宜上使い分けているに過ぎないが、「追跡」は、主として監視者の行為と関わりが強い場合に用いており、「追尾」は、主として装置で行われる処理と関わりが強い場合に用いている。

　（第１実施形態）
　図１は、第１実施形態に係る追跡支援システムの全体構成図である。この追跡支援システムは、スーパーマーケットやホームセンターなどの小売店舗などを対象にして構築されるものであり、カメラ１と、レコーダ（映像蓄積手段）２と、ＰＣ（追跡支援装置）３と、カメラ内追尾処理装置４と、を備えている。

　カメラ１は店舗内の適所に設置され、カメラ１により店舗内（監視エリア）が撮影され、このカメラ１で撮影された店舗内の映像がレコーダ２に録画される。

　ＰＣ３には、監視者が種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７とが接続されている。このＰＣ３は、店舗の警備室などに設置され、監視者（警備員）が、モニタ７に表示される監視画面で、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができる。

　なお、本部に設けられたＰＣ１１にも図示しないモニタが接続され、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧し、また、レコーダ２に録画された過去の店舗内の映像を閲覧して、本部で店舗内の状況を確認することができる。

　カメラ内追尾処理装置４では、カメラ１の映像から検出された人物（移動体）を追尾して、人物ごとにカメラ内追尾情報を生成する処理が行われる。このカメラ内追尾処理には、公知の画像認識技術（人物検出技術および人物追跡技術など）を利用すればよい。

　なお、本実施形態では、カメラ内追尾処理装置４が、ＰＣ３とは独立して、カメラ内追尾処理を常時行うようにしているが、ＰＣ３からの指示に応じて追尾処理を実行するものとしてもよい。また、カメラ内追尾処理装置４では、映像から検出された全ての人物を対象にして追尾処理を行うことが望ましいが、追跡対象に指定された人物およびこれと関連度の高い人物に絞って追尾処理を行うようにしてもよい。

　次に、図１に示したカメラ１の店舗での設置状況について説明する。図２は、店舗におけるカメラ１の設置状況を示す平面図である。

　店舗内（監視エリア）には、商品陳列スペースの間に通路が設けられており、この通路を主に撮影するように複数のカメラ１が設置されている。

　店舗内の通路を人物が移動すると、カメラ１のいずれか１つあるいは複数で人物が撮影され、人物が移動するのに応じて、人物の撮影が次のカメラ１に引き継がれる。このとき、人物の撮影を引き継ぐカメラは、店舗内の通路の形態およびカメラ１の撮影エリアにより限定され、この人物の撮影が引き継がれる関係にあるカメラを、本実施形態では、連携関係を有するカメラと呼称する。このカメラの連携関係に関する情報は予め設定されて、カメラ連携情報としてＰＣ３に保持されている。なお、カメラの連携関係に関する情報は、カメラ１の台数や設置場所などの変更に備え、システムの起動時などに各カメラ１の設置情報などをＰＣ３により個別に取得し、各カメラの連携関係に関する情報を更新するようにしてもよい。

　次に、図１に示したＰＣ３の概略構成について説明する。図３は、ＰＣ３の概略構成を示す機能ブロック図である。

　ＰＣ３は、追尾情報蓄積部２１と、カメラ間追尾処理部２２と、入力情報取得部２３と、追跡対象設定部２４と、確認映像提示部２５と、候補映像提示部２６と、追跡対象追加設定部２７と、映像表示期間設定部２８と、映像再生部２９と、画面生成部３０と、を備えている。

　追尾情報蓄積部２１では、カメラ内追尾処理装置４で生成したカメラ内追尾情報が蓄積される。また、追尾情報蓄積部２１では、カメラ間追尾処理部２２で生成したカメラ間追尾情報が蓄積される。

　入力情報取得部２３では、マウスなどの入力デバイス６を用いた監視者の入力操作に応じて、その入力操作に基づく入力情報を取得する処理が行われる。

　追跡対象設定部２４では、レコーダ２に蓄積された映像を表示させた人物検索画面（追跡対象検索画面）をモニタ７に表示させて、その人物検索画面において追跡対象となる人物を監視者に指定させて、その指定された人物を追跡対象に設定する処理が行われる。

　カメラ間追尾処理部２２は、リンクスコア算出部３１と、初期追尾情報生成部３２と、候補選択部３３と、追尾情報修正部３４と、を備えている。

　リンクスコア算出部３１では、追尾情報蓄積部から各カメラ１に関するカメラ内追尾情報を取得して、各カメラ１に関するカメラ内追尾処理で検出追尾された人物同士で、同一人物である可能性の高さを表すリンクスコア（評価値）を算出する。この処理では、人物の検出時刻（フレームの撮影時刻）、人物の検出位置、人物の移動速度、人物像の色情報などに基づいてリンクスコアを算出する。

　初期追尾情報生成部３２では、追跡対象設定部２４で追跡対象に設定された人物を起点にして、連携関係にあるカメラ１に関するカメラ内追尾で追尾された人物の中から、リンクスコアが最も高い、すなわち、同一人物である可能性が最も高い人物をカメラ１ごとに順次選択して、それらの人物を同一人物として対応づけた初期追尾情報を生成する処理が行われる。

　具体的には、まず、人物検索画面で人物を追跡対象に指定したときの映像（追跡対象指定映像）を撮影したカメラ１と連携関係にあるカメラ１のカメラ内追尾で追尾された人物の中からリンクスコアが最も高い人物を選択し、次に、その選択された人物を撮影したカメラ１と連携関係にあるカメラ１のカメラ内追尾で追尾された人物の中からリンクスコアが最も高い人物を選択し、このような人物の選択を連携関係にあるカメラ１ごとに繰り返す。このような人物を選択する処理は、追跡対象指定映像より時間的に前および後の双方で行われ、最も高いリンクスコアが所定のしきい値以下になった時点で、追跡対象とした人物が監視エリア内に存在しないものと判断して、人物の選択を終了する。

　確認映像提示部２５では、初期追尾情報生成部３２で生成した初期追尾情報に基づいて、リンクスコアが最も高い人物の映像、すなわち、追跡対象とした人物が写っている可能性が最も高い映像を確認映像としてカメラ１ごとに抽出して、その確認映像を提示する、具体的には、確認映像が撮影時刻順に並べて表示された確認映像表示状態のタイムライン画面（追跡対象確認画面、図１０参照）をモニタ７に表示させる処理が行われる。

　カメラ間追尾処理部２２の候補選択部３３では、確認映像提示部２５により提示された確認映像に誤りがある、すなわち、初期追尾情報生成部３２で生成した初期追尾情報に誤りがある場合に、その誤りがある確認映像に対応する期間においてカメラ内追尾で追尾された人物の中から、誤りがある確認映像に対応する人物よりリンクスコアが低い人物を候補人物として高い方から所定数選択する処理が行われる。

　このとき、リンクスコアが所定のしきい値以上となり、かつ、誤りがあるものとして選択された確認映像に対応する人物の追尾期間（カメラ内追尾で追尾された期間）を基準にして設定された検索期間内に追尾期間が含まれる人物を対象にして候補人物が選択される。なお、リンクスコアのしきい値、および検索期間を設定する際の時間幅に関する設定情報が、ＰＣ３の設定情報保持部（図示せず）に保持されている。

　候補映像提示部２６では、確認映像提示部２５により提示された確認映像に誤りがある場合に、候補選択部３３で選択した候補人物に関する映像、すなわち、追跡対象とした人物が写っている可能性が確認映像の次に高い映像を候補映像として抽出して、その候補映像を提示する、具体的には、所定数の候補映像が表示された候補映像表示状態のタイムライン画面（候補選択画面、図１３参照）をモニタ７に表示させて、その画面上で追跡対象とした人物が写った候補映像を監視者に選択させる処理が行われる。

　カメラ間追尾処理部２２の追尾情報修正部３４では、候補映像提示部２６により提示された候補映像の中に適切な候補映像がある場合に、その候補映像に対応する人物を追跡対象とした人物と対応づけるように、追跡対象とした人物に関する追尾情報を修正して、修正追尾情報を生成する処理が行われる。

　このとき、追尾情報修正部３４では、初期追尾情報を生成する処理と同様に、候補映像に対応する人物を起点にして、連携関係にあるカメラ１に関するカメラ内追尾で追尾された人物の中から、リンクスコアが最も高い、すなわち、同一人物である可能性が最も高い人物をカメラ１ごとに順次選択して、それらの人物を同一人物として対応づけた修正追尾情報を生成する。また、この追尾情報修正処理では、追跡対象設定部２４で設定した人物、監視者により確定の操作が行われた確認映像に対応する人物、および既に誤りがある確認映像と入れ替えられた候補映像に対応する人物が、修正対象から除外される。

　追跡対象追加設定部２７では、候補映像提示部２６により提示された候補映像の中に適切な候補映像がない場合に、レコーダ２に蓄積された映像を表示させた人物追加検索画面（追跡対象追加検索画面、図１４および図１５参照）をモニタ７に表示させて、その人物追加検索画面において、誤りがある確認映像に対応する期間における映像の中から追跡対象とした人物を監視者に指定させて、その指定された人物を追跡対象に追加設定する処理が行われる。

　カメラ間追尾処理部２２の追尾情報修正部３４では、追跡対象追加設定部２７で追跡対象に設定された人物を、追跡対象設定部２４で追跡対象に設定した人物と対応づけて、追跡対象とした人物に関する追尾情報を修正して、修正追尾情報を生成する処理が行われる。

　映像表示期間設定部２８では、候補映像提示部２６により提示された候補映像の中に適切な候補映像がない場合に、レコーダ２に蓄積された映像を表示させた人物追加検索画面をモニタ７に表示させて、その人物追加検索画面において、追跡対象とした人物が映像に写っている期間を監視者に指定させて、その期間を映像表示期間として設定する処理が行われる。

　カメラ間追尾処理部２２の追尾情報修正部３４では、映像表示期間設定部２８で設定された映像表示期間を、追跡対象とした人物に関する追尾情報に付加する修正を行って、修正追尾情報を生成する処理が行われる。

　映像再生部２９では、モニタ７に表示される画面上でカメラ１の映像を動画で表示させる処理が行われる。本実施形態では、連続再生状態のタイムライン画面（連続再生画面、図１１参照）をモニタ７に表示させる処理が行われ、このタイムライン画面では、追跡対象となる人物が写ったカメラ１ごとの映像を、時間の経過にしたがって順次動画で表示させる連続再生が行われる。

　画面生成部３０は、モニタ７に表示させる画面を生成するものであり、具体的には、追跡対象設定部２４からの指示に応じて人物検索画面（追跡対象検索画面）（図６および図７参照）を生成し、確認映像提示部２５からの指示に応じて確認映像表示状態のタイムライン画面（追跡対象確認画面、図１０参照）を生成し、候補映像提示部２６からの指示に応じて候補映像表示状態のタイムライン画面（候補選択画面、図１３参照）を生成し、映像再生部２９からの指示に応じて連続再生状態のタイムライン画面（連続再生画面、図１１参照）を生成する。

　なお、図３に示したＰＣ３の各部は、ＰＣ３のプロセッサ（ＣＰＵ）にＨＤＤ等のメモリに保存した追跡支援用のプログラム（インストラクション）を実行させることで実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、所定のＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。

　次に、図１に示したモニタ７に表示される各画面、および各画面で行われる監視者の操作に応じてＰＣ３の各部で行われる処理について説明する。図４は、モニタ７に表示される画面の遷移状況を示す説明図である。図５は、各画面で行われる監視者の操作に応じてＰＣ３の各部で行われる処理の手順を示すフロー図である。

　まず、ＰＣ３において追跡支援処理を開始する操作を行うと、単一カメラによる人物検索画面または複数カメラによる人物検索画面（追跡対象検索画面、図６および図７参照）がモニタ７に表示される（ＳＴ１０１）。

　この人物検索画面は、追跡したい人物が万引きなどの問題のある行為を行った日時を指定するとともに、追跡したい人物が問題のある行為を行った場所や、その人物が通ったものと想定されるエリアを撮影するカメラ１を指定して、追跡対象とする人物が写った映像を探し出して、その映像上で追跡対象とする人物を指定するものであり、日時およびカメラ１を指定して表示された映像に追跡対象とする人物が写っていると、その人物に表示された人物枠を選択して、その人物を追跡対象に指定する操作が監視者により行われる（ＳＴ１０２でＹｅｓ）。

　この人物検索画面には、単一カメラによる人物検索画面と複数カメラによる人物検索画面とがあり、単一カメラによる人物検索画面は、単一のカメラ１の映像を表示させて追跡対象とする人物が写った映像を探し出すものであり、複数カメラによる人物検索画面は、複数のカメラ１の映像を表示させて追跡対象とする人物が写った映像を探し出すものである。これらの人物検索画面で、カメラ選択の操作を行うと、単一カメラ選択画面または複数カメラ選択画面に遷移する。単一カメラ選択画面では、人物検索画面に映像を表示させるカメラ１を監視者が１つ選択することができる。複数カメラ選択画面では、人物検索画面に映像を表示させるカメラ１を監視者が複数選択することができる。単一カメラ選択画面または複数カメラ選択画面でカメラ１を選択すると、人物検索画面に戻り、その人物検索画面に選択されたカメラの映像が表示される。

　人物検索画面で、監視者が追跡対象とする人物を指定すると、追跡対象設定部２４において、監視者が指定した人物を追跡対象に設定する処理が行われる（ＳＴ１０３）。ついで、初期追尾情報生成部３２において、各カメラ１に関するカメラ内追尾処理で検出追尾された人物の中からリンクスコアが最も高い人物をカメラごとに順次選択して、初期追尾情報を生成する処理が行われる（ＳＴ１０４）。そして、確認映像提示部２５において、初期追尾情報に基づいて、追跡対象とした人物が写っている可能性が最も高い映像を確認映像としてカメラ１ごとに抽出して、その確認映像が表示された確認映像表示状態のタイムライン画面（追跡対象確認画面、図１０参照）をモニタ７に表示させる処理が行われる（ＳＴ１０５）。

　この確認映像表示状態のタイムライン画面（追跡対象確認画面）は、確認映像によってカメラ間追尾情報（初期追尾情報）に誤りがないかを監視者に確認させるものであり、この確認映像表示状態のタイムライン画面に表示された全ての確認映像に誤りがない、すなわち、全ての確認映像に追跡対象とした人物が写っており、かつ、その人物に人物枠が表示されている場合には、連続再生を指示する操作が監視者により行われて（ＳＴ１０６でＹｅｓ）、連続再生状態のタイムライン画面（連続再生画面、図１１参照）に遷移する（ＳＴ１０７）。

　この連続再生状態のタイムライン画面（連続再生画面）では、追跡対象が写ったカメラ１ごとの映像を、時間の経過にしたがって順次表示させる連続再生が行われる。

　一方、確認映像表示状態のタイムライン画面（追跡対象確認画面）に表示された複数の確認映像の中に誤りがある確認映像が見つかった場合、すなわち、いずれかの確認映像に、追跡対象とした人物が写っていないか、あるいは追跡対象とした人物が写っているものの、追跡対象を示す人物枠が追跡対象とした人物と異なる人物に表示されている場合には、その確認映像を選択して候補映像の表示を指示する操作が監視者により行われる（ＳＴ１０８でＹｅｓ）。

　すると、候補選択部３３において、確認映像に対応する人物よりリンクスコアが低い人物を上位から所定数選択する処理が行われ、候補映像提示部２６において、候補選択部３３で選択された人物の映像を候補映像として抽出して、その候補映像が並べて表示された候補映像表示状態のタイムライン画面（候補選択画面、図１３参照）をモニタ７に表示させる処理が行われる（ＳＴ１０９）。

　この候補映像表示状態のタイムライン画面（候補選択画面）では、追跡対象とした人物が写っている可能性が確認映像の次に高い映像が候補映像として上位のものから所定数だけ表示される。なお、リンクスコアが最も高い人物と次順位以降の人物とが同一のカメラで撮影されている場合もあり、候補映像は、確認映像と同じカメラである場合もある。

　この候補映像表示状態のタイムライン画面に表示された候補映像の中に、適切な候補映像がある、すなわち、追跡対象とした人物が写った候補映像が見つかり、かつ、その人物に人物枠が表示されている場合には、その候補映像を選択する操作が監視者により行われる（ＳＴ１１０でＹｅｓ）。

　すると、カメラ間追尾処理部２２の追尾情報修正部３４において、候補映像表示状態のタイムライン画面で選択された候補映像に対応する人物を、最初に追跡対象に指定した人物と対応づけるように追尾情報を修正する処理が行われる（ＳＴ１１１）。そして、確認映像表示状態のタイムライン画面（追跡対象確認画面）に戻り（ＳＴ１０７）、このタイムライン画面では、追尾情報を修正した結果が反映される、すなわち、タイムライン画面の確認映像が候補映像に置き換えられて表示される。

　一方、候補映像表示状態のタイムライン画面に表示された候補映像の中に、適切な候補映像がない、すなわち、追跡対象とした人物が写った候補映像が見つからないか、または、追跡対象とした人物が写った候補映像が見つかったが、その人物に人物枠が表示されていない場合には、人物手動指定を選択する操作が監視者により行われて（ＳＴ１１２でＹｅｓ）、人物追加検索画面（追跡対象追加検索画面、図１４および図１５参照）に遷移する（ＳＴ１１３）。

　この人物追加検索画面では、日時およびカメラ１を指定して追跡対象とした人物が写った映像を探し出す作業が監視者により行われる。この人物追加検索画面には、人物検索画面（追跡対象検索画面）と同様に、単一カメラによる人物追加検索画面と、複数カメラによる人物追加検索画面とがある。これらの人物追加検索画面で、カメラ選択の操作を行うと、単一カメラ選択画面または複数カメラ選択画面に遷移し、これらの画面でカメラ１を選択すると、人物追加検索画面に戻り、この人物追加検索画面に選択されたカメラの映像が表示される。

　この人物追加検索画面で、追跡対象とした人物が写った映像が見つかり、かつ、その人物に人物枠が表示されている場合、すなわち、追跡対象とした人物に関するカメラ内追尾が成功している場合には、その人物枠を選択する操作が監視者により行われる（ＳＴ１１４でＹｅｓ）。すると、カメラ間追尾処理部２２の追尾情報修正部３４において、人物追加検索画面で選択された人物を最初に追跡対象に指定した人物と対応づけるように追尾情報を修正する処理が行われる（ＳＴ１１１）。そして、確認映像表示状態のタイムライン画面に戻り（ＳＴ１０５）、このタイムライン画面では、追尾情報を修正した結果が反映される、すなわち、タイムライン画面の確認映像が、人物追加検索画面で指定した人物の映像に置き換えられて表示される。

　一方、人物追加検索画面で、追跡対象とした人物が写った映像が見つかったが、その人物に人物枠が表示されていない、すなわち、追跡対象とした人物に関するカメラ内追尾が失敗している場合には、この人物追加検索画面で、追跡対象とした人物が映像に写っている期間を映像表示期間として指定する操作が監視者により行われる（ＳＴ１１５でＹｅｓ）。すると、映像表示期間設定部２８において、映像表示期間を設定する処理が行われ、ついで、追尾情報修正部３４において、追跡対象とした人物に関する追尾情報に映像表示期間を付加する修正が行われる（ＳＴ１１６）。そして、確認映像表示状態のタイムライン画面に戻り（ＳＴ１０５）、このタイムライン画面では、追尾情報を修正した結果が反映される、すなわち、タイムライン画面の確認映像が、人物追加検索画面で指定した映像表示期間の映像に置き換えられて表示される。

　以上のように、確認映像表示状態のタイムライン画面に表示される確認映像に誤りがある場合には、候補映像を指定する操作、または追跡対象とした人物を探し出して指定する操作、または追跡対象とした人物が映像に写る映像表示期間を入力する操作が、監視者により行われ、これらの操作が、誤りがある確認映像がなくなるまで繰り返される。そして、全ての確認映像に誤りがないことが確認されると、連続再生を指示する操作が監視者により行われて（ＳＴ１０６でＹｅｓ）、連続再生状態のタイムライン画面（連続再生画面）（図１１参照）がモニタ７に表示される（ＳＴ１０７）。

　以下に、図４に示した各画面について詳しく説明する。

　まず、図４に示した単一カメラによる人物検索画面および複数カメラによる人物検索画面（追跡対象検索画面）について説明する。図６および図７は、モニタ７に表示される単一カメラによる人物検索画面および複数カメラによる人物検索画面をそれぞれ示す説明図である。

　図６および図７に示すように、人物検索画面（追跡対象検索画面）は、追跡したい人物が万引きなどの問題のある行為を行った日時を指定して、追跡対象とする人物が写った映像を探し出して、その映像上で追跡対象とする人物を指定するものであり、検索日時指定部４１と、検索カメラ指定部４２と、映像表示部４３と、再生操作部４４と、が設けられている。

　検索日時指定部４１では、追跡対象とする人物が写っているものと想定される期間の中心となる日時を監視者が指定する。この検索日時指定部４１で日時を指定して検索ボタン（検索指示部）４５を操作すると、指定した日時の映像が映像表示部４３に表示される。

　検索カメラ指定部４２では、検索モード（単一カメラモードおよび複数カメラモード）に応じてカメラ１を監視者が選択する。単一カメラモードは、単一のカメラ１を指定して、その単一のカメラ１の映像から追跡対象とする人物が写った映像を探し出すものであり、複数カメラモードは、複数のカメラ１を指定して、その複数のカメラ１ごとの映像から追跡対象とする人物が写った映像を探し出すものである。

　この検索カメラ指定部４２には、検索モード選択部（ラジオボタン）４６と、カメラ選択部４７と、マップ表示ボタン４８と、カメラ選択ボタン４９と、設けられている。

　検索モード選択部４６では、単一カメラモードおよび複数カメラモードのいずれかの検索モードを選択する。カメラ選択部４７では、プルダウンメニューにより単一のカメラ１を選択する。また、マップ表示ボタン４８を操作すると、単一カメラ選択画面（図８参照）が表示され、この単一カメラ選択画面で、選択されたカメラの位置を確認することができ、さらに、別のカメラ１に変更することもできる。カメラ選択ボタン４９を操作すると、複数カメラ選択画面（図９参照）が表示され、この複数カメラ選択画面で複数のカメラ１を選択することができる。

　なお、検索モード（単一カメラモードおよび複数カメラモード）の選択状態およびカメラ１の選択状態に関する情報は、図示しない情報保持部に保持され、次回起動時に、前回終了時に選択されていた検索モードおよびカメラ１のままで、単一カメラによる人物検索画面または複数カメラによる人物検索画面が表示される。

　単一カメラモードを選択して、日時およびカメラを指定して、検索ボタン４５を操作すると、図６に示す単一カメラによる人物検索画面が表示され、この単一カメラによる人物検索画面では、映像表示部４３に、指定された単一のカメラ１の映像が表示される。一方、複数カメラモードを選択して、日時およびカメラを指定して、検索ボタン４５を操作すると、図７に示す複数カメラによる人物検索画面が表示され、この複数カメラによる人物検索画面では、映像表示部４３に、指定された複数のカメラ１の映像が並べて表示される。

　映像表示部４３には、カメラ１の映像と、カメラ１の名称と、日時、すなわち、映像の撮影時刻と、が表示される。

　また、図６に示すように、映像表示部４３では、ここに表示された映像から検出された人物、すなわち、カメラ内追尾処理の対象となった人物の画像領域に人物枠５１が表示され、この人物枠５１を選択する操作を行うことで、その人物が追跡対象に設定される。なお、図７に示す複数カメラによる人物検索画面でも、同様にカメラ１の映像上に人物枠が表示される。

　再生操作部４４は、映像表示部４３に表示される映像の再生に関する操作を行うものであり、この再生操作部４４には、再生、逆再生、停止、早送り、および巻き戻しの各ボタン５２が設けられており、これらのボタン５２を操作することで、映像を効率的に閲覧することができ、追跡対象とする人物が写る映像を効率よく見つけ出すことができる。

　また、再生操作部４４には、映像表示部４３に表示される映像の表示時刻を調整するスライダ（表示時刻調整部）５３が設けられており、このスライダ５３を操作することで、所望の時刻の映像に切り替えることができる。具体的には、マウスなどの入力デバイス６を用いてスライダ５３をずらす操作（ドラッグ）を行うと、そのスライダ５３が指し示す時刻の映像が映像表示部４３に表示される。スライダ５３はバー５４に沿って移動可能に設けられており、このバー５４は、検索日時指定部４１で指定された時刻を中心とした表示時刻の調整範囲を規定する。

　また、再生操作部４４には、調整範囲指定ボタン（調整範囲指定部）５５が設けられており、この調整範囲指定ボタン５５により、バー５４で規定されるスライダ５３の移動範囲、すなわち、表示時刻の調整範囲を指定することができる。図に示す例では、表示時刻の調整範囲を１時間と６時間とで切り換えることができる。

　次に、図４に示した単一カメラ選択画面について説明する。図８は、モニタ７に表示される単一カメラ選択画面を示す説明図である。

　人物検索画面（図６および図７参照）において検索モード選択部４６で単一カメラモードを選択して、マップ表示ボタン４８を操作すると、図８に示す単一カメラ選択画面が表示される。

　この単一カメラ選択画面は、単一カメラによる人物検索画面（図６参照）に映像を表示させるカメラを監視者が１つ選択するものであり、店舗内のレイアウト（監視エリアの状態）を示す地図画像６１上に、複数のカメラ１ごとのカメラアイコン（カメラ１を示す映像）６２が重畳して表示されている。このカメラアイコン６２は、カメラ１の撮影方向を表すように傾斜して表示されており、これにより、カメラ１の撮影エリアを監視者が大まかに把握することができる。

　この単一カメラ選択画面でカメラアイコン６２を選択すると、カメラアイコン６２が選択状態に変化する。なお、人物検索画面（図６参照）のカメラ選択部４７でカメラ１を選択した上で、マップ表示ボタン４８を操作すると、この単一カメラ選択画面に、選択されたカメラに関するカメラアイコン６２が選択状態で表示され、選択したカメラの位置を確認することができ、さらに、別のカメラ１に変更することもできる。

　ＰＣ３では、図示しない情報保持部に、カメラアイコン６２の座標および向きなどに関するカメラ設定情報と、選択の有無に応じたカメラアイコン６２の画像情報とが保持されており、これらの情報に基づいて、カメラ１の実際の配置状況に対応した位置および向きで、選択の有無に応じたカメラアイコン６２が表示される。

　この単一カメラ選択画面でカメラアイコン６２を選択して決定ボタン６３を操作すると、人物検索画面に表示させるカメラ１が確定され、そのカメラ１の映像が人物検索画面に表示される。

　次に、図４に示した複数カメラ選択画面について説明する。図９は、モニタ７に表示される複数カメラ選択画面を示す説明図である。

　人物検索画面（図６および図７参照）において検索モード選択部４６で複数カメラモードを選択して、カメラ選択ボタン４９を操作すると、図９に示す複数カメラ選択画面が表示される。

　この複数カメラ選択画面は、複数カメラによる人物検索画面（図７参照）に映像を表示させるカメラを監視者が複数選択するものであり、選択済みカメラ一覧表示部６５と、カメラ選択部６６と、が設けられている。

　選択済みカメラ一覧表示部６５では、選択済みのカメラ１が一覧表示されている。カメラ選択部６６は、図８に示した単一カメラ選択画面と同様である。

　カメラ選択部６６でカメラアイコン６２を選択すると、選択されたカメラアイコン６２に対応するカメラ１が選択済みカメラ一覧表示部６５に追加される。また、チェックボックス６７でカメラ１を選択して、削除ボタン６８を操作すると、選択したカメラ１が削除される。決定ボタン６９を操作すると、選択済みカメラ一覧表示部６５に表示されたカメラ１が、人物検索画面（図７参照）に表示させるカメラ１として確定され、そのカメラ１の映像が人物検索画面に表示される。

　次に、図４に示した確認映像表示状態のタイムライン画面（追跡対象確認画面）について説明する。図１０は、モニタ７に表示される確認映像表示状態のタイムライン画面を示す説明図である。

　人物検索画面（図６および図７参照）において監視者が追跡対象とする人物を指定する操作を行うと、図１０に示す確認映像表示状態のタイムライン画面が表示される。

　この確認映像表示状態のタイムライン画面は、人物検索画面で追跡対象に指定した人物が写っている可能性が最も高い各カメラの映像を確認映像として表示して、この確認映像によってカメラ間追尾情報（初期追尾情報）に誤りがないかを監視者に確認させるものであり、映像表示部７１と、再生操作部４４と、マップ表示ボタン７２と、が設けられている。なお、再生操作部４４は、人物検索画面（図６および図７参照）と同様であるが、連続再生状態のタイムライン画面（図１１参照）で映像を動画で表示させる際に使用されるものであり、後に詳しく説明する。

　映像表示部７１には、確認映像表示部７３と、候補映像表示部７４と、が設けられている。なお、候補映像表示部７４は、候補映像表示状態のタイムライン画面（図１３参照）で映像が表示されるものであり、後に詳しく説明する。

　確認映像表示部７３には、確認映像が撮影時刻順に並べて表示されており、監視エリア（店舗内）に進入して追尾が開始されてから、監視エリアを退出するまでの確認映像が、撮影時刻が古い順に左端から並べて表示されている。また、確認映像表示部７３には、各確認映像の撮影時刻、および各確認映像を撮影したカメラ１の名称が表示されている。タイムライン画面を開いた際の初期状態では、カメラ１でカメラ内追尾が開始された追尾開始時刻の確認映像が静止画で表示される。確認映像に誤りがない場合には、再生操作部４４の操作にしたがって連続再生へと移行させることができる。なお、確認映像には、人物検索画面（図６参照）と同様に、その確認映像で検出追尾された人物に人物枠が表示される。

　なお、確認映像表示部７３では、追跡対象指定映像、すなわち、人物検索画面（図６および図７参照）で人物を追跡対象に指定した映像も表示され、この追跡対象指定映像を識別可能なように、追跡対象指定映像であることを表す枠画像が表示されるようにしてもよい。また、確定された確認映像に、確定状態を表す枠画像が表示されるようにしてもよい。

　また、映像表示部７１には、第１のスクロールバー（スクロール操作部）７５が設けられている。この第１のスクロールバー７５は、全ての確認映像が確認映像表示部（確認映像の表示領域）７３に収まりきらない場合に、確認映像の配列方向、すなわち横方向に確認映像をスライドさせて表示するものであり、ノブ７５ａをドラッグすると横方向に確認映像をスライドさせることができ、アロー（左右の矢印）７５ｂをクリックすることで、その方向に確認映像をノブ７５ａとともに一単位（確認映像１つ分）だけスライドさせることができる。

　なお、確認映像表示部７３で確認映像を選択する操作（右クリック）を行うと、確認映像を拡大して表示する確認映像表示画面（図示せず）が別ウィンドウの形で表示され、この画面で確認映像を詳細に観察することができる。

　このように構成された確認映像表示状態のタイムライン画面では、確認映像表示部７３に表示された確認映像が、追跡対象に指定した人物のものか否かを判断することで、追跡対象に指定した人物に関するカメラ間追尾情報（初期追尾情報）に誤りがない否かを監視者が確認することができる。カメラ間追尾情報に誤りがある場合には、確認映像に、追跡対象とした人物が写っていないか、あるいは追跡対象とした人物が写っているものの、追跡対象とした人物と異なる人物に人物枠が表示されており、この確認映像を見ることで、カメラ間追尾情報に誤りがあるか否かを判断することができる。

　ここで、確認映像表示部７３に表示された全ての確認映像に誤りがない、すなわち、全ての確認映像に追跡対象とした人物が写っており、かつ、その人物に人物枠が表示されている場合には、連続再生を指示する操作、すなわち、再生操作部４４の再生のボタン５２を操作する。すると、図１１に示す連続再生状態のタイムライン画面に遷移する。

　次に、図４に示した連続再生状態のタイムライン画面（連続再生画面）について説明する。図１１は、モニタ７に表示される連続再生状態のタイムライン画面を示す説明図である。

　この連続再生状態のタイムライン画面は、確認映像表示状態のタイムライン画面（図１０参照）と略同様の構成であるが、この連続再生状態のタイムライン画面では、確認映像表示部７３に表示された確認映像を、時間の経過にしたがって順次動画で表示させる連続再生が行われる。再生中の確認映像には、再生中であることを示す枠画像７６が表示される。

　なお、再生操作部４４において、映像表示部７１に表示される確認映像の表示時刻を調整するスライダ５３の移動範囲、すなわち、表示時刻の調整範囲を規定するバー５４の始点（左端）は、撮影時刻が最も古い確認映像の開始時刻となり、バー５４の終点（右端）は、撮影時刻が最も新しい確認映像の終了時刻となる。

　ここで、各カメラの映像が動画で表示される映像表示期間は、人物枠が表示されている期間、すなわち、各カメラに関するカメラ内追尾で人物が検出追尾されている期間となる。また、前後の映像で映像表示期間が整合しない、すなわち、前の映像の終了時刻と後の映像の開始時刻との間にタイムラグがある場合には、映像の再生が途切れないように、映像表示期間を前後に延長して映像表示期間を時間的につなぎ合わせる処理を行う。また、前後の映像で映像表示期間が重複している場合もあり、この場合には、前後の映像で並行して再生が行われる。これにより、連続再生時には、必ず１つまたは２つの映像が再生されている状態となる。

　なお、この連続再生状態のタイムライン画面では、撮影時刻が古いものから順に確認映像が左から並べて表示されているため、連続再生時には確認映像が左から順に再生されるが、全ての確認映像が確認映像表示部７３に収まりきらない場合には、確認映像を適宜なタイミングで自動でスライドさせる処理が行われ、これにより監視者が特別な操作を行うことなく、全ての確認映像が連続して再生される状況を閲覧することができる。また、確認映像表示部７３の確認映像を選択する操作（右クリック）を行うと、確認映像を拡大して表示する確認映像表示画面（図示せず）が別ウィンドウの形で表示され、この画面で確認映像を拡大した状態で動画で表示させることができる。また、連続再生中においては、確認映像を拡大して表示する確認映像表示画面（別ウィンドウ）を選択する操作が行われた場合、以降の全ての確認映像に対して、拡大表示を有効状態とし、１つまたは２つの別ウィンドウにて拡大映像が連続再生されるようにすると良い。

　次に、図４に示したカメラ位置確認画面について説明する。図１２は、モニタ７に表示されるカメラ位置確認画面を示す説明図である。

　連続再生状態のタイムライン画面（図１１参照）において確認映像を連続再生させている状態でマップ表示ボタン７２を操作すると、図１２に示すカメラ位置確認画面が表示される。

　このカメラ位置確認画面は、連続再生状態のタイムライン画面で再生中の映像を撮影したカメラ１の位置を確認するものであり、カメラ選択画面（図８参照）と同様に、店舗内のレイアウト（監視エリアの状態）を示す地図画像６１上に、複数のカメラ１ごとのカメラアイコン（カメラを示す映像）６２が重畳して表示され、再生中のカメラ１に対応するカメラアイコン６２が、その他のカメラ１に対応するカメラアイコン６２と識別可能なように表示色を変更するなどの異なる表示形態で表示される。

　なお、このカメラ位置確認画面の表示は、確認映像表示状態のタイムライン画面（図１０参照）でも同様に行うことができ、確認映像表示状態のタイムライン画面において確認映像を選択してマップ表示ボタン７２を操作すると、選択された確認映像を撮影したカメラ１の位置がカメラ位置確認画面に表示される。

　次に、図４に示した候補映像表示状態のタイムライン画面（候補選択画面）について説明する。図１３は、モニタ７に表示される候補映像表示状態のタイムライン画面を示す説明図である。

　確認映像表示状態のタイムライン画面（図１０参照）に表示された複数の確認映像の中に誤りがある確認映像が見つかった場合、すなわち、いずれかの確認映像に、追跡対象とした人物が写っていないか、あるいは追跡対象とした人物が写っているものの、追跡対象を示す人物枠が追跡対象とした人物と異なる人物に表示されている場合には、その確認映像を選択する操作が監視者により行われて、図１３に示す候補映像表示状態のタイムライン画面が表示される。

　この候補映像表示状態のタイムライン画面（候補選択画面）は、確認映像表示状態のタイムライン画面（図１０参照）に表示された確認映像に誤りがある場合に、追跡対象とした人物が写っている可能性が確認映像の次に高い映像を候補映像として表示して監視者に選択させるものである。

　この候補映像表示状態のタイムライン画面は、確認映像表示状態のタイムライン画面（図１０参照）と略同様であるが、候補映像表示部７４において、誤りがあるものとして選択された確認映像の下に、所定数の候補映像がリンクスコアが高い順に上から一列に並べて表示されている。なお、確認映像表示状態のタイムライン画面（図１０参照）において、誤りがある確認映像を選択すると、その確認映像に選択状態を示す枠画像７７が所定の表示色（例えば黄色）で表示される。

　また、映像表示部７１には、第２のスクロールバー（スクロール操作部）７８が設けられている。この第２のスクロールバー７８は、全ての候補映像が候補映像表示部（候補映像の表示領域）７４に収まりきらない場合に、候補映像の配列方向、すなわち縦方向に候補映像をスライドさせて表示するものであり、ノブ７８ａをドラッグすると縦方向に候補映像をスライドさせることができ、アロー（上下の矢印）７８ｂをクリックすることで、その方向に候補映像をノブ７８ａとともに一単位（候補映像１つ分）だけスライドさせることができる。

　なお、候補映像表示部７４で候補映像を選択する操作（右クリック）を行うと、候補映像を拡大して表示する候補映像表示画面（図示せず）が表示され、この画面で候補映像を詳細に観察することができる。

　この候補映像表示状態のタイムライン画面において、候補映像表示部７４に表示された候補映像の中に、適切な候補映像がある、すなわち、追跡対象とした人物が写った候補映像が見つかり、かつ、その人物に人物枠が表示されている場合には、その候補映像を選択する操作（左クリック）が監視者により行われる。

　すると、カメラ間追尾処理部２２の追尾情報修正部３４において、候補映像表示状態のタイムライン画面で選択された候補映像に対応する人物を、人物検索画面（図６および図７参照）で追跡対象に指定した人物と対応づけるように追尾情報を修正する処理が行われる。そして、この追尾情報を修正した結果を反映させた状態で、確認映像表示状態のタイムライン画面（図１０参照）がモニタ７に表示される。

　この確認映像表示状態のタイムライン画面では、追尾情報を修正した結果が反映される、すなわち、確認映像表示状態のタイムライン画面で誤りがあるものとして選択された確認映像が、候補映像表示状態のタイムライン画面で選択された候補映像に置き換えられて表示される。また、誤りがある確認映像を候補映像と入れ替えたことに伴って、その前後の確認映像が変更される場合もある。すなわち、追尾情報修正部３４では、候補映像に対応する人物を起点にして、リンクスコアが最も高い人物をカメラ１ごとに順次選択する処理が行われ、ここで選択された人物が、確認映像に対応する人物と異なる場合には、人物の入れ替えが発生し、これに応じて確認映像が変更される。また、追尾情報修正部３４において追尾情報を修正する際には、追跡対象設定部２４で設定した人物、監視者により確定の操作が行われた確認映像に対応する人物、および既に誤りがある確認映像と入れ替えられた候補映像に対応する人物は対象から除外されるため、それらの人物に関する確認映像は変更されない。

　なお、本実施形態では、候補映像表示状態のタイムライン画面で適切な候補映像を選択するようにしたが、候補映像上の人物枠を選択するようにしてもよい。このようにすると、誤った人物で追尾情報が修正されることを避けることができる。

　一方、候補映像表示状態のタイムライン画面に表示された候補映像の中に、適切な候補映像がない、すなわち、追跡対象とした人物が写った候補映像が見つからないか、または、追跡対象とした人物が写った候補映像が見つかったが、その人物に人物枠が表示されていない場合には、誤りがあるものとして選択された確認映像上で、メニューを表示させる操作（右クリック）を行って人物手動指定を選択すると、図１４に示す人物追加検索画面が表示される。

　次に、図４に示した単一カメラによる人物追加検索画面および複数カメラによる人物追加検索画面（追跡対象追加検索画面）について説明する。図１４および図１５は、モニタ７に表示される単一カメラによる人物追加検索画面および複数カメラによる人物追加検索画面をそれぞれ示す説明図である。

　図１４および図１５に示す人物追加検索画面（追跡対象追加検索画面）は、候補映像表示状態のタイムライン画面（図１３参照）に表示された候補映像の中に適切な候補映像がない場合に、誤りがある確認映像に対応する期間の映像を再生して、人物を探し出すものである。

　前記のように、候補映像表示状態のタイムライン画面（図１３参照）には、確認映像の人物の次にリンクスコアが高い人物の映像が候補映像として上位から所定数表示され、この候補映像の中に、追跡対象とした人物が写っているものがない場合、すなわち、追跡対象とした人物がスコアの比較的高い人物の中にいない場合、この人物追加検索画面により、誤りがある確認映像に対応する期間で、リンクスコアの低い人物の中から追跡対象とした人物を探し出すことができる。

　この人物追加検索画面（追跡対象追加検索画面）には、人物検索画面（図６および図７参照）と略同様に、検索日時指定部４１と、検索カメラ指定部４２と、映像表示部４３と、再生操作部４４と、が設けられているが、この人物追加検索画面には、さらに、映像表示期間指定部８１が設けられている。

　検索日時指定部４１は、人物検索画面（図６および図７参照）と同様に、検索時刻を指定するものであるが、候補映像表示状態のタイムライン画面（図１３参照）において誤りがある確認映像を選択して人物追加検索画面を表示させる操作を行った際に表示される人物追加検索画面の初期状態では、検索日時指定部４１に、誤りがあるものとして選択された確認映像の後の確認映像の開始時刻が表示され、映像表示部にその時刻の映像が表示される。なお、選択された確認映像の前の確認映像の終了時刻が表示されるようにしてもよい。また、検索時刻を変更したい場合には、検索日時指定部４１に別の時刻を入力して、検索ボタン４５を操作すればよい。

　検索カメラ指定部４２は、人物検索画面（図６および図７参照）と同様であるが、人物追加検索画面の初期状態では、選択した確認映像と同じカメラ１の映像が表示される。なお、同じカメラ１の映像から追跡対象とした人物を見つけることができない場合には、検索カメラ指定部４２で別のカメラ１を選択すればよい。

　再生操作部４４は、人物検索画面（図６および図７参照）と同様である。なお、スライダ５３の移動範囲（表示時刻の調整範囲）は、後続の確認映像の開始時刻より前の期間とする。すなわち、後続の確認映像の開始時刻をバー５４の終点（右端）として、調整範囲指定ボタン５５により指定された期間（１時間または６時間）で、スライダ５３を操作して再生時刻を調整することができる。

　ここで、人物追加検索画面において、追跡対象とした人物が写った映像が見つかり、かつ、その人物に人物枠が表示されている場合、すなわち、誤りがある確認映像に対応する期間で追跡対象とした人物の追尾が成功している場合には、その人物枠を選択することで、検索人物の指定が完了する。すると、カメラ間追尾処理部２２の追尾情報修正部３４において、人物追加検索画面で選択された人物を最初に追跡対象に指定した人物と対応づけるように追尾情報の修正が行われる。そして、この追尾情報の修正結果を反映させた状態で、確認映像表示状態のタイムライン画面（図１０参照がモニタ７に表示される。

　この確認映像表示状態のタイムライン画面では、追尾情報を修正した結果が反映される、すなわち、確認映像表示状態のタイムライン画面で誤りがあるものとして選択された確認映像が、人物追加検索画面で選択された人物の映像に置き換えられて表示される。また、誤りがある確認映像を別の人物の映像と入れ替えたことに伴って、その前後の確認映像が変更される場合もある。これは、候補映像表示状態のタイムライン画面（図１３参照）で候補映像を選択した場合と同様である。

　一方、人物追加検索画面において、追跡対象とした人物が写った映像が見つかったが、その人物に人物枠が表示されていない場合、すなわち、誤りがある確認映像に対応する期間で、追跡対象とした人物の追尾が失敗している場合には、人物の選択に代えて、追跡対象とした人物が写っている期間を映像表示期間として監視者が指定することができる。

　図１４および図１５に示したように、人物追加検索画面には、映像表示期間指定部８１が設けられている。この映像表示期間指定部８１では、追跡対象とした人物が映像に写っている期間を映像表示期間として監視者が指定する。映像表示期間は開始時刻および終了時刻により規定され、映像表示期間指定部８１には、開始時刻入力部８３と、終了時刻入力部８４と、開始時刻確定ボタン８５と、終了時刻確定ボタン８６と、が設けられている。開始時刻入力部８３に開始時刻を入力して開始時刻確定ボタン８５を操作することで開始時刻が確定し、終了時刻入力部８４に終了時刻を入力して終了時刻確定ボタン８６を操作することで終了時刻を確定させることができる。なお、設定解除ボタン８２は、開始時刻および終了時刻の指定をやり直す場合に用いる設定解除用の操作ボタンである。

　このようにして映像表示期間が入力されると、この映像表示期間を追尾情報に付加するように追尾情報が修正されて、確認映像表示状態のタイムライン画面（図１０参照）に戻り、この確認映像表示状態のタイムライン画面では、誤りがある確認映像の代わりに、人物追加検索画面で指定した映像表示期間の映像が確認映像として表示される。このとき、初期状態では、映像表示期間の開始時刻の映像が静止画で表示される。

　ここで、人物の選択の代わりに映像表示期間を指定することで、追跡対象とした人物の追尾情報は途切れるため、指定した映像表示期間の映像に置き換えられた確認映像の隣は空欄となるが、監視エリア内に人物が存在することが想定される場合には、人物追加検索画面で必要に応じてカメラ１を切り換えながら、追跡対象とした人物が写る映像を探し出して、映像表示期間を逐一指定すればよい。また、人物追加検索画面で追跡対象とした人物が写る映像を探し出して、その映像で追跡対象とした人物に人物枠が表示されていると、その人物枠を選択して人物を指定することができ、この場合、リンクスコアに基づくカメラ間追尾が行われて追尾情報が生成される。このようにして生成された追尾情報は、カメラ間追尾で生成した追尾情報の欠落部分が、人物追加検索画面で指定した映像表示期間で補間された状態となる。これにより、連続再生状態のタイムライン画面（図１１参照）で連続再生を行う際に、追跡対象とした人物の映像を途切れることなく再生することができる。

　なお、映像表示部４３に表示された撮影時刻に基づいて開始時刻および終了時刻を入力するようにすればよいが、追跡対象とした人物が映像に出現した直後の状態で開始時刻設定の操作を行う、例えば開始時刻確定ボタン８５を操作することで、開始時刻が設定され、追跡対象とした人物が映像から消失する直前の状態で終了時刻設定の操作を行う、例えば終了時刻確定ボタン８６を操作することで、終了時刻が設定されるようにしてもよい。

　また、開始時刻確定ボタン８５、終了時刻確定ボタン８６の操作に代えて、映像再生にかかる映像画面上において、１回目のクリック操作で開始時刻が、２回目のクリック操作で終了時刻が設定されるようにしてもよく、監視者が視線を変えることなく、追跡対象とした人物が映像に出現する映像表示期間を正確に設定することができる。

　次に、図１０などに示したタイムライン画面の別例について説明する。図１６は、モニタ７に表示されるタイムライン画面の別例を示す説明図である。

　このタイムライン画面の別例には、確認映像表示部７３と、候補映像表示部７４と、再生操作部４４と、が設けられている。再生操作部４４は、図１０などに示したタイムライン画面と同様である。

　このタイムライン画面の別例における確認映像表示部７３には、図１０などに示したタイムライン画面と同様に、確認映像が撮影時刻順に並べて表示されている。また、図１０などに示したタイムライン画面では、確認映像表示部７３に確認映像が１列に並べて表示されていたが、この別例では、確認映像が２列に並べて表示されている。また、確認映像表示部７３には、第１のスクロールバー（スクロール操作部）７５が設けられている。この第１のスクロールバー７５は、全ての確認映像が確認映像表示部７３に収まりきらない場合に、縦方向に確認映像をスライドさせて表示するものである。また、確認映像表示部７３の確認映像を選択すると、その確認映像に選択状態を示す枠画像７７が表示される。

　候補映像表示部７４には、図１０などに示したタイムライン画面と同様に、候補映像がリンクスコアが上位のものから所定数表示されているが、この別例では、候補映像がリンクスコアが高い順に左から並べて表示されている。また、候補映像表示部７４には、第２のスクロールバー（スクロール操作部）７８が設けられている。この第２のスクロールバー７８は、全ての候補映像が候補映像表示部７４に収まりきらない場合に、横方向に候補映像をスライドさせて表示するものである。

　なお、図１６には、候補映像表示状態のタイムライン画面を示したが、確認映像表示状態のタイムライン画面や連続再生状態のタイムライン画面では、図１０および図１１に示した例と同様に、確認映像表示部７３に確認映像が表示されるだけであり、この確認映像を選択すると、候補映像表示部７４に候補映像が表示される。

　以上のように本実施形態では、追跡対象設定部２４において、レコーダ２に蓄積された映像をモニタ７に表示させて、その映像上で追跡対象とする人物を指定する監視者の操作入力に応じて、指定された人物を追跡対象に設定し、確認映像提示部２５において、レコーダ２に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、追跡対象に設定された人物と同一である可能性が最も高い人物の映像をカメラ１ごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面をモニタ７に表示させ、候補映像提示部２６において、追跡対象確認画面に表示された確認映像に誤りがある場合に、追尾情報に基づいて、追跡対象に設定された人物と同一である可能性が、誤りがある確認映像に対応する人物の次に高い人物の映像を、上位から所定数抽出して、それらの映像が候補映像として表示された候補選択画面をモニタ７に表示させて、追跡対象に指定した人物に該当する候補映像を監視者に選択させるものとした。

　これによると、追跡対象とした人物が写っている可能性が最も高いカメラの映像に絞り込んで表示されるため、人物の追尾結果の確認作業を効率よく行うことができる。そして、追跡対象確認画面に表示された確認映像に誤りがある、すなわち、人物の追尾結果に誤りがある場合には、追跡対象とした人物が写っている可能性が確認映像の次に高い映像が候補映像として候補選択画面に表示されるため、監視者は候補映像を選択するだけで、追尾情報が修正されるため、簡単な操作で追尾情報を修正することができる。

　また、本実施形態では、追跡対象確認画面では、複数の確認映像が撮影時刻順に並べて表示されるものとした。これによると、確認映像が撮影時刻順に並べて追跡対象確認画面に表示されるため、監視者は確認映像を順に見ていくだけで、追跡対象とした人物の追尾結果に誤りがないかを確認することができ、人物の追尾結果の確認作業をより一層効率よく行うことができる。

　また、本実施形態では、追跡対象設定部２４において、複数のカメラを監視者に選択させて、その選択された複数のカメラごとの映像を画面に並べて表示させて、追跡対象とする人物を監視者に指定させるものとした。これによると、追跡対象とする人物を撮影したものと想定される複数のカメラの映像が同一画面に表示されるため、追跡対象とする人物を監視者が指定する作業を効率よく行うことができる。

　また、本実施形態では、複数の確認映像が追跡対象確認画面における確認映像の表示領域に収まりきらない場合に、確認映像の配列方向に確認映像をスライドさせて表示する第１のスクロールバー（スクロール操作部）７５が追跡対象確認画面に設けられたものとした。これによると、全ての確認映像を１画面内で確認することができ、追跡対象とした人物の追尾結果に誤りがないかを監視者が確認する作業を効率よく行うことができる。

　また、本実施形態では、複数の候補映像が候補選択画面における候補映像の表示領域に収まりきらない場合に、候補映像の配列方向に候補映像をスライドさせて表示する第２のスクロールバー（スクロール操作部）７８が候補選択画面に設けられたものとした。これによると、全ての候補映像を１画面内で確認することができ、監視者が候補映像を選択する作業を効率よく行うことができる。

　また、本実施形態では、追跡対象設定部２４において、撮影日時およびカメラに関する検索条件を入力する監視者の操作入力に応じて、検索条件に適合する映像が表示された追跡対象検索画面をモニタ７に表示させて、その追跡対象検索画面上で追跡対象とする人物が写った映像を監視者に検索させて、追跡対象とする人物を監視者に指定させるものとした。これによると、撮影日時およびカメラに関する検索条件にしたがって、追跡対象検索画面に表示される映像が絞り込まれるため、追跡対象とする人物を監視者が指定する作業を効率よく行うことができる。

　また、本実施形態では、候補選択画面が、追跡対象確認画面に、候補映像を表示させる候補映像表示部７４を付加したものとした。これによると、候補映像が確認映像と同一画面に表示されるため、監視者が候補映像を選択する作業を確認映像と比較しながら行うことができ、監視者が候補映像を選択する作業を効率よく行うことができる。

　また、本実施形態では、映像再生部２９において、追跡対象に設定された人物、およびその人物と同一として対応づけられた人物に関するカメラ１ごとの映像が撮影時刻順に並べて表示された連続再生画面をモニタ７に表示させ、この連続再生画面において、カメラ１ごとの映像を、時間の経過にしたがって順次動画で表示させる連続再生を行うものとした。これによると、追跡対象とした人物を連続して追跡することができるため、追跡対象とした人物が監視エリア内でどのような行動を行ったかを監視者が簡単に確認することができる。

　また、本実施形態では、画面生成部３０において、連続再生画面上で行われる監視者の操作に応じて、監視エリアの状態を示す地図画像上に再生中の映像に対応するカメラ１の位置を表示するカメラ位置確認画面をモニタ７に表示させるものとした。これによると、連続再生画面のみでは、再生中の映像がどの位置に設置されたカメラ１によるものかがわからないが、カメラ位置確認画面を見ることで、再生中のカメラ１の位置を簡単に確認することができる。

　また、本実施形態では、追跡対象追加設定部２７において、候補選択画面に表示された候補映像の中に、追跡対象に指定した人物に該当する候補映像がない場合に、誤りがある確認映像に対応する期間の映像をモニタ７に表示させて、その映像上で追跡対象とする人物を指定する監視者の操作入力に応じて、指定された人物を追跡対象に追加設定し、追尾情報修正部３４において、追跡対象追加設定部２７で追跡対象に追加設定された人物を、追跡対象設定部２４で追跡対象に設定された人物と対応づけるように追尾情報を修正するものとした。これによると、候補選択画面に表示された候補映像の中に、追跡対象に指定した人物に該当する候補映像がない場合でも、追跡対象となる人物を監視者が指定することで、誤りがある確認映像に対応する追尾情報が修正されるため、追尾情報の欠落を避けることができる。

　また、本実施形態では、映像表示期間設定部２８において、候補選択画面に表示された候補映像の中に、追跡対象に指定した人物に該当する候補映像がない場合に、追跡対象に指定した人物が映像に出現している期間を指定する監視者の操作入力に応じて、指定された期間を映像表示期間として設定し、追尾情報修正部３４において、映像表示期間設定部２８で設定された映像表示期間を追尾情報に付加するものとした。これによると、候補選択画面に表示された候補映像の中に、追跡対象に指定した人物に該当する候補映像がない場合でも、映像表示期間を監視者が指定することで、誤りがある確認映像に対応する追尾情報が映像表示期間に置き換えられるため、追尾情報の欠落を避けることができる。特に、カメラごとの映像を時間の経過にしたがって順次動画で表示させる連続再生を行う際に、映像が途切れることを避けることができる。

　（第２実施形態）
　次に、第２実施形態について説明する。図１７は、第２実施形態においてモニタ７に表示される画面の遷移状況を示す説明図である。図１８、図１９、図２０および図２１は、モニタ７に表示されるマップ画面を示す説明図である。なお、ここで特に言及しない点は前記の実施形態と同様である。

　第１実施形態では、追跡対象となる人物を指定する追跡対象検索画面として、図６および図７に示す人物検索画面を表示するようにしたが、この第２実施形態では、追跡対象検索画面として、図１８に示すように、追跡対象検索状態のマップ画面が表示される。また、第１実施形態では、追跡対象確認画面および候補選択画面として、図１０および図１３に示すタイムライン画面を表示するようにしたが、この第２実施形態では、図１９～図２１に示すマップ画面が表示される。

　この第２実施形態では、図１７に示すように、人物検索状態のマップ画面（追跡対象検索画面）で人物を選択すると、確認映像表示状態のマップ画面（追跡対象確認画面）に遷移する。この確認映像表示状態のマップ画面で、誤りがある確認映像を選択した上で候補表示を選択すると、候補映像表示状態のマップ画面（候補選択画面）に遷移する。この候補映像表示状態のマップ画面で候補映像を選択すると、確認映像表示状態のマップ画面に戻り、追尾情報の修正結果が反映された確認映像が表示される。また、人物手動指定を選択すると、人物追加検索状態のマップ画面（追跡対象追加検索画面）に遷移する。この人物追加検索状態のマップ画面で人物を選択すると、確認映像表示状態のマップ画面に戻り、追尾情報の修正結果が反映された確認映像が表示される。確認映像表示状態のマップ画面で、全ての確認映像に誤りがないことが確認されて、連続再生を指示する操作を行うと、連続再生状態のマップ画面（連続再生画面）に遷移する。

　マップ画面では、以下に説明するように、店舗内のレイアウト（監視エリアの状態）を示す地図画像上にカメラ１ごとの映像が表示され、このマップ画面でカメラ１の位置を確認することができるため、第１実施形態のように、カメラ選択画面やカメラ位置確認画面は不要となる。

　図１８～図２１に示すマップ画面には、検索日時指定部４１と、映像表示部１０１と、再生操作部４４と、が設けられている。検索日時指定部４１および再生操作部４４は、第１実施形態と同様である。

　映像表示部１０１では、店舗内のレイアウト（監視エリアの状態）を示す地図画像６１上に、カメラ１ごとの映像をそれぞれ表示する複数の映像表示ウィンドウ（映像表示枠）１０２が配置されている。各映像表示ウィンドウ１０２は、カメラ１の撮影領域に概ね対応する位置に配置されており、地図画像６１で表される監視エリア内のどの位置が映像表示ウィンドウ１０２に表示されているかを監視者が大まかに把握することができる。

　図１８は、追跡対象検索状態のマップ画面（追跡対象検索画面）を示している。この追跡対象検索状態のマップ画面では、検索日時指定部４１で日時を指定して検索ボタン４５を操作すると、指定した日時の各カメラ１の映像が映像表示部１０１の映像表示ウィンドウ１０２に表示される。このとき、映像表示部１０１では、全てのカメラ１の映像が映像表示ウィンドウ１０２に表示され、監視者は、各映像表示ウィンドウ１０２を見て、追跡対象とする人物を探し出し、該当する人物が見つかると、その人物が写る映像表示ウィンドウ１０２の映像上で人物枠を選択する操作を行う。

　図１９は、確認映像表示状態のマップ画面（追跡対象確認画面）を示している。この確認映像表示状態のマップ画面では、映像表示部１０１において、追跡対象とした人物が写っている可能性が最も高いカメラ１の映像のみが確認映像として映像表示ウィンドウ１０２に表示され、その他の映像表示ウィンドウ１０２はグレーアウトで表示される。このように、確認映像表示状態のマップ画面では、追跡対象とした人物が写っている可能性が最も高いカメラ１の映像に絞り込んで表示されるため、人物の追尾結果の確認作業を効率よく行うことができる。

　この確認映像表示状態のマップ画面において、映像表示ウィンドウ１０２に表示された確認映像に誤りがない場合には、その映像表示ウィンドウ１０２を選択して右クリックで表示されるメニューで、確認映像を誤りがないものとして確定させることができる。このとき、映像表示ウィンドウ１０２の枠画像の表示形態が、未確定状態（例えば緑色）から確定状態（例えば変化）に変化する。一方、映像表示ウィンドウ１０２に表示された確認映像に誤りがある場合には、その映像表示ウィンドウ１０２を選択して右クリックで表示されるメニューで、候補表示を選択すると、図２０および図２１に示す候補映像表示状態のマップ画面が表示される。

　図２０および図２１は、候補映像表示状態のマップ画面（候補選択画面）を示している。図２０に示す例では、候補映像を同一画面に表示したものであり、誤りがあるものと選択した確認映像上に候補映像表示部１１２が重畳して表示され、この候補映像表示部１１２には複数の候補映像が並んで表示される。図２１に示す例では、候補映像を別画面に表示したものであり、確認映像表示状態のマップ画面上にポップアップで候補表示画面１１３が表示される。

　図２０に示す候補映像表示部１１２または図２１に示す候補表示画面１１３に表示された候補映像を選択すると、追尾情報が修正され、選択した候補映像が確認映像として映像表示ウィンドウ１０２に表示される。このとき、追尾情報の修正に応じて、映像が表示される映像表示ウィンドウ１０２も変化する。

　なお、図１７に示した連続再生状態のマップ画面（連続再生画面）は、図１９に示した確認映像表示状態のマップ画面と略同様であるが、追跡対象とした人物が写った映像が複数の映像表示ウィンドウ１０２で順次再生される。また、図１７に示した追跡対象追加検索状態のマップ画面は、図１８に示した追跡対象検索状態のマップ画面と略同様である。

　（第３実施形態）
　図２２は、第３実施形態におけるＰＣ３の各部で行われる処理の手順を示すフロー図である。

　図５に示した第１実施形態では、候補映像表示状態のタイムライン画面に表示された候補映像の中に、適切な候補映像が見つからない場合に（ＳＴ１１０でＮｏ）、人物追加検索画面で、追跡対象とした人物が写る映像を監視者に検索させて人物を指定させ、また、追跡対象とした人物が映像に写る期間を映像表示期間として指定させるようにしたが、この第３実施形態では、これらの処理（ＳＴ１１２～ＳＴ１１６）が省略されている。

　（第４実施形態）
　図２３は、第４実施形態におけるＰＣ３の各部で行われる処理の手順を示すフロー図である。

　図５に示した第１実施形態では、人物追加検索画面で、追跡対象とした人物が写る映像が見つかったが、その人物に人物枠が表示されていないため、人物を指定することができない場合に（ＳＴ１１４でＮｏ）、追跡対象とした人物が映像に写る期間を映像表示期間として指定させるようにしたが、この第４実施形態では、これらの処理（ＳＴ１１５，ＳＴ１１６）が省略されている。また、第３実施形態と比較すると、人物追加検索画面で、追跡対象とした人物が写る映像を監視者に検索させて人物を指定させる処理（ＳＴ１１２～ＳＴ１１４）が追加されている。

　以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る追跡支援装置、追跡支援システムおよび追跡支援方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

　例えば、前記の実施形態では、スーパーマーケットなどの小売店舗の例について説明したが、ファミリーレストランなどの飲食店など、小売店舗以外の業務形態の店舗に適用することも可能であり、さらに、事業所などの店舗以外の施設にも適用することができる。

　また、本実施形態では、移動体として人物を追跡する例について説明したが、人物以外の移動体、例えば自動車や自転車などの車両を追跡する構成も可能である。

　また、前記の実施形態では、追跡対象とした人物に関する追尾情報に基づいて確認映像提示部２５により提示された確認映像に対応する人物を、候補映像提示部２６により提示された候補映像に対応する人物や、監視者が映像上で指定した人物に置き換えるように追跡情報の修正が追尾情報修正部３４で行われるが、この追尾情報修正部３４で行われる追跡情報の修正には、誤った追跡情報を単に削除することも含まれる。すなわち、確認映像に誤りがあるものの、それに代わる適切な映像が見つからない場合には、誤りがある確認映像に対応する人物を追跡情報から削除する。

　また、前記の実施形態では、図１および図３に示したように、カメラ内追尾処理をカメラ内追尾処理装置４に行わせ、カメラ間追尾処理および追跡支援処理をＰＣ３に行わせる例について説明したが、カメラ内追尾処理もＰＣ３に行わせる構成としてもよい。また、カメラ内追尾処理部をカメラ１に設ける構成も可能である。また、カメラ間追尾処理部２２の全部または一部をＰＣ３とは別の追尾処理装置で構成することも可能である。

　また、前記の実施形態では、図２に示したように、カメラ１を、視野角の限定される箱型カメラとしたが、これに限らず、広範囲の撮影が可能な全方位カメラを用いることもできる。

　また、本実施形態では、カメラ内追尾処理および追跡支援処理を、店舗に設けられた装置に行わせるようにしたが、これらの必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で追跡支援システムが構成される。

　特に、クラウドコンピュータ１２を含むシステム構成では、店舗や本部に設けられたＰＣ３，１１の他に、クラウドコンピュータ１２にネットワーク接続されたスマートフォン１３やタブレット端末などの携帯型端末で、必要な情報を表示させることができるようにするとよく、これにより店舗や本部の他に外出先などの任意の場所で必要な情報を確認することができる。

　また、前記の実施形態では、カメラ１の映像を蓄積するレコーダ２を店舗に設置するようにしたが、移動体追跡支援に必要な処理を、本部に設置されたＰＣ１１やクラウドコンピュータ１２に行わせる場合には、カメラ１の映像を、本部や、クラウドコンピューティングシステムの運営施設などに送信して、そこに設置された装置にカメラ１の映像を蓄積するようにしてもよい。

　本開示に係る追跡支援装置、追跡支援システムおよび追跡支援方法は、追跡対象とした移動体の追尾結果に誤りがないかを確認する作業を効率よく行うとともに、移動体の追尾結果に誤りがある場合に、簡単な操作で追尾情報を修正することができる効果を有し、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置、追跡支援システムおよび追跡支援方法などとして有用である。

１　カメラ
２　レコーダ（映像蓄積手段）
３　ＰＣ（追跡支援装置）
４　カメラ内追尾処理装置
６　入力デバイス
７　モニタ
１１　ＰＣ
１２　クラウドコンピュータ
１３　スマートフォン
２１　追尾情報蓄積部
２２　カメラ間追尾処理部
２３　入力情報取得部
２４　追跡対象設定部
２５　確認映像提示部
２６　候補映像提示部
２７　追跡対象追加設定部
２８　映像表示期間設定部
２９　映像再生部
３０　画面生成部
３１　リンクスコア算出部
３２　初期追尾情報生成部
３３　候補選択部
３４　追尾情報修正部
７３　確認映像表示部
７４　候補映像表示部
７５　第１のスクロールバー（スクロール操作部）
７８　第２のスクロールバー（スクロール操作部）

Claims

　映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、
　前記映像蓄積手段に蓄積された映像を前記表示装置に表示させて、その映像上で追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、
　前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させる確認映像提示部と、
　前記追跡対象確認画面に表示された前記確認映像に誤りがある場合に、前記追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が、誤りがある前記確認映像に対応する移動体の次に高い移動体の映像を、上位から所定数抽出して、それらの映像が候補映像として表示された候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補映像を監視者に選択させる候補映像提示部と、
　前記候補選択画面で選択された前記候補映像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるように前記追尾情報を修正する追尾情報修正部と、
を備えたことを特徴とする追跡支援装置。
　前記追跡対象確認画面では、複数の前記確認映像が撮影時刻順に並べて表示されることを特徴とする請求項１に記載の追跡支援装置。
　前記追跡対象設定部は、複数の前記カメラを監視者に選択させて、その選択された複数のカメラごとの映像を画面に並べて表示させて、追跡対象とする移動体を監視者に指定させることを特徴とする請求項１または請求項２に記載の追跡支援装置。
　複数の前記確認映像が前記追跡対象確認画面における前記確認映像の表示領域に収まりきらない場合に、前記確認映像の配列方向に前記確認映像をスライドさせて表示するスクロール操作部が前記追跡対象確認画面に設けられたことを特徴とする請求項１に記載の追跡支援装置。
　複数の前記候補映像が前記候補選択画面における前記候補映像の表示領域に収まりきらない場合に、前記候補映像の配列方向に前記候補映像をスライドさせて表示するスクロール操作部が前記候補選択画面に設けられたことを特徴とする請求項１に記載の追跡支援装置。
　前記追跡対象設定部は、撮影日時および前記カメラに関する検索条件を入力する監視者の操作入力に応じて、前記検索条件に適合する映像が表示された追跡対象検索画面を前記表示装置に表示させて、その追跡対象検索画面上で追跡対象とする移動体が写った映像を監視者に検索させて、前記追跡対象とする移動体を監視者に指定させることを特徴とする請求項１に記載の追跡支援装置。
　前記候補選択画面は、前記追跡対象確認画面に、前記候補映像を表示させる候補映像表示部を付加したものであることを特徴とする請求項１から請求項６のいずれかに記載の追跡支援装置。
　さらに、前記追跡対象に設定された移動体、およびその移動体と同一として対応づけられた移動体に関する前記カメラごとの映像が撮影時刻順に並べて表示された連続再生画面を前記表示装置に表示させ、この連続再生画面において、前記カメラごとの映像を、時間の経過にしたがって順次動画で表示させる連続再生を行う映像再生部を備えたことを特徴とする請求項１に記載の追跡支援装置。
　さらに、前記連続再生画面上で行われる監視者の操作に応じて、監視エリアの状態を示す地図画像上に再生中の映像に対応する前記カメラの位置を表示するカメラ位置確認画面を前記表示装置に表示させる画面生成部を備えたことを特徴とする請求項８に記載の追跡支援装置。
　さらに、前記候補選択画面に表示された前記候補映像の中に、前記追跡対象に指定した移動体に該当する前記候補映像がない場合に、誤りがある前記確認映像に対応する期間の映像を前記表示装置に表示させて、その映像上で追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に追加設定する追跡対象追加設定部を備え、
　前記追尾情報修正部は、前記追跡対象追加設定部で前記追跡対象に追加設定された移動体を、前記追跡対象設定部で追跡対象に設定された移動体と対応づけるように前記追尾情報を修正することを特徴とする請求項１に記載の追跡支援装置。
　さらに、前記候補選択画面に表示された前記候補映像の中に、前記追跡対象に指定した移動体に該当する前記候補映像がない場合に、前記追跡対象に指定した移動体が映像に出現している期間を指定する監視者の操作入力に応じて、指定された期間を映像表示期間として設定する映像表示期間設定部を備え、
　前記追尾情報修正部は、前記映像表示期間設定部で設定された前記映像表示期間を前記追尾情報に付加することを特徴とする請求項１に記載の追跡支援装置。
　映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、
　監視エリアを撮影する前記カメラと、
　このカメラごとの映像を表示する前記表示装置と、
　複数の情報処理装置と、
を有し、
　前記複数の情報処理装置のいずれかが、
　前記映像蓄積手段に蓄積された映像を前記表示装置に表示させて、その映像上で追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定手段と、
　前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させる確認映像提示部と、
　前記追跡対象確認画面に表示された前記確認映像に誤りがある場合に、前記追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が、誤りがある前記確認映像に対応する移動体の次に高い移動体の映像を、上位から所定数抽出して、それらの映像が候補映像として表示された候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補映像を監視者に選択させる候補映像提示部と、
　前記候補選択画面で選択された前記候補映像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるように前記追尾情報を修正する追尾情報修正部と、
を備えたことを特徴とする追跡支援システム。
　映像蓄積手段に蓄積された複数のカメラごとの映像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、
　前記映像蓄積手段に蓄積された映像を前記表示装置に表示させて、その映像上で追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定するステップと、
　前記映像蓄積手段に蓄積された映像に対する追尾処理により取得した追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が最も高い移動体の映像を前記カメラごとに抽出して、それらの映像のみが確認映像として表示された追跡対象確認画面を前記表示装置に表示させるステップと、
　前記追跡対象確認画面に表示された前記確認映像に誤りがある場合に、前記追尾情報に基づいて、前記追跡対象に設定された移動体と同一である可能性が、誤りがある前記確認映像に対応する移動体の次に高い移動体の映像を、上位から所定数抽出して、それらの映像が候補映像として表示された候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補映像を監視者に選択させるステップと、
を備えたことを特徴とする追跡支援方法。