JP6766009B2 - 監視装置、監視方法、コンピュータプログラム、及び記憶媒体 - Google Patents

Description

本発明は、監視カメラを用いた監視システムに関する。

近年の遠隔監視システムには、監視カメラが撮影した映像に何らかの異常や変化等のイベントが発生したときに、監視員の見逃しを防止するために、自動的に映像の表示方法を切り替える機能を備えるものがある。特許文献１は、複数台の監視カメラの映像を巡回表示する監視装置を開示する。この監視装置は、あるカメラの映像から異常が検知されると、そのカメラの映像の次回の巡回表示の際に異常の発生を含む期間の録画映像を再生する。特許文献２は、複数台の監視カメラのいずれかの映像から異常を検知すると、異常を検知した監視カメラの映像に表示を切り替え、異常の検知が終了すると、異常を検知した監視カメラの映像の表示を終了する監視装置を開示する。

特開２０１２−１４５４３号公報 特開２００８−５４２４３号公報

特許文献１の監視装置は、巡回表示の切り替え周期よりも長く異常が継続した場合に、リアルタイムで異常が継続しているにもかかわらず録画映像に切り替わってしまい、監視員の正しい現状把握に支障をきたす可能性がある。特許文献２の監視装置は、映像上ではごく短時間で終了する異常の場合はすぐに表示が正常に戻ってしまい、監視員が異常の発生を見落とす可能性がある。

本発明は、上記課題に鑑みてなされたものであり、監視員が異常をより正確に判断できる監視装置を提供することを主たる目的とする。

本発明の監視装置は、撮影装置により撮影された映像を取得する撮影手段と、前記映像に基づく画像を表示装置に表示する表示手段と、前記映像を記録する記録手段と、前記映像から異常を検知する検知手段と、前記検知手段が検知した前記異常の開始から終了までの時間に基づく注目時間を判定する判定手段と、前記表示手段に、前記異常の検知を終了するまでは前記撮影手段が取得した前記映像をそのまま表示させ、前記異常の検知を終了すると前記注目時間に対応する録画映像を前記記録手段から取得して再生表示させる制御手段と、を備えることを特徴とする。

本発明によれば、異常の開始から終了まで注目時間の映像を異常の検知を終了した後に表示することで、監視員が異常をより正確に把握することができるようになる。

（ａ）、（ｂ）は監視システムの構成例示図。 （ａ）、（ｂ）は画像の説明図。 監視処理を表すフローチャート。 異常検知の説明図。 注目時間の開始時刻及び終了時刻の判定処理の説明図。 監視装置の機能ブロック図。 録画映像とリアルタイム映像との配置の説明図。 監視処理を表すフローチャート。 レイアウト決定処理を表すフローチャート。 レイアウト決定の操作処理の説明図。 注目時間の開始時刻及び終了時刻の判定処理の説明図。

以下、図面を参照して実施の形態を詳細に説明する。

（第１実施形態）
図１は、本実施形態の監視装置を含む監視システムの構成例示図である。図１（ａ）は、監視システムのハードウェア構成図、図１（ｂ）は、監視装置の機能ブロック図である。監視システムは、監視装置１、１台以上の監視カメラ（撮像装置）２、ディスプレイ（表示装置）３、及び操作装置４を備える。１台以上の監視カメラ２は、例えば建物や敷地内等の監視エリア内の各所に配置され、それぞれが、撮影範囲内の映像を撮影する。ディスプレイ３は、各監視カメラ２により撮影された映像に基づく画像を表示する。操作装置４は、監視装置１のユーザインタフェースである。第１実施形態では監視カメラ２が１台の場合を説明するが、複数台設けられる場合であっても同様の処理が可能である。

監視装置１は、監視カメラ２から映像を取得してディスプレイ３に表示する。監視装置１は、操作装置４によりユーザからの指示を受け付ける。このような監視装置１は、ＣＰＵ（Central Processing Unit）１０、ＲＯＭ（Read Only Memory）１１、及びＲＡＭ（Random Access Memory）１２を備えるコンピュータで実現できる。ＣＰＵ１０は、ＲＯＭ１１からコンピュータプログラムを読み込み、ＲＡＭ１２を作業領域に用いて実行することで、監視システム全体の動作を制御する。ＣＰＵ１０、ＲＯＭ１１、及びＲＡＭ１２は、バスＢを介してデータの送受信を行う。バスＢには、ストレージ１３、入力インタフェース（Ｉ／Ｆ）１４、入出力インタフェース（Ｉ／Ｆ）１５、及び出力インタフェース１６（Ｉ／Ｆ）が接続される。ストレージ１３は、大容量記憶装置であり、監視カメラ２から取得した映像を記録する。入力Ｉ／Ｆ１４は操作装置４から指示等を受け付けてＣＰＵ１０に入力する。入出力Ｉ／Ｆ１５は、監視カメラ２に接続されており、ＣＰＵ１０の制御により監視カメラ２の動作を制御し且つ監視カメラ２が撮影した映像を取得する。出力Ｉ／Ｆ１６は、ディスプレイ３に接続されており、ＣＰＵ１０の制御によりディスプレイ３に画像を表示させる。

監視装置１は、制御部１００、撮影部１０１、表示部１０２、表示情報管理部１０３、操作受付部１０４、記録部１０５、異常検知部１０６、及び注目時間判定部１０７として機能する機能ブロックを有する。これらの機能ブロックは、ＣＰＵ１０がコンピュータプログラムを実行することで実現されてもよいが、少なくとも一部がハードウェアにより構成されていてもよい。

制御部１００は、各機能ブロックの動作を制御する。撮影部１０１は、監視カメラ２の撮像素子、撮像レンズ、駆動モータ等の動作を制御し、監視カメラ２に撮影範囲内（監視領域）を撮影させる。撮影部１０１は、監視カメラ２で撮影された映像を取得する。表示部１０２は、ディスプレイ３に、撮影部１０１が監視カメラ２から取得した映像に基づく画像を表示させる。表示情報管理部１０３は、表示部１０２によりディスプレイ３に表示される画像を生成する。表示情報管理部１０３は、撮影部１０１が監視カメラ２から取得した映像にレイアウトや情報の重畳を行って画像を生成する。

操作受付部１０４は、操作装置４による監視員からの指示等を受け付ける。操作装置４は、スイッチやタッチパネル等によって構成され、監視員による操作に応じた指示等を操作受付部１０４に入力する。操作受付部１０４は、受け付けた指示等を制御部１００に送る。制御部１００は、操作受付部１０４から指示等を受信し、指示等に応じた処理を行う。なお、操作装置４は、マウスやトラックボール等のポインティングデバイスを備えていてもよい。

記録部１０５は、撮影部１０１が監視カメラ２から取得した映像を、撮影時刻、撮影条件等のメタデータとともに、逐次、ストレージ１３に記録する。本実施形態のストレージ１３は、例えばハードディスクやＳＳＤ（Solid State Drive）のように監視装置１に直接取り付けられる記録メディアである。また、ストレージ１３は、ＮＡＳ（Network
Attached Storage）やＳＡＮ（Storage Area Network）等のネットワーク上の記録装置により実現することも可能である。

異常検知部１０６は、撮影部１０１が監視カメラ２から取得した映像から人体又は動体のような特定の被写体を検出し、検出した被写体の異常及びその発生個所を検知する。注目時間判定部１０７は、異常検知部１０６による異常の検知結果により、異常を検知した開始時刻から終了時刻までの時間に基づく注目時間を判定する。

図２は、ディスプレイ３に表示される画像の説明図である。図２（ａ）の画像２０１、２０２は、撮影部１０１が監視カメラ２から取得した映像に基づいて表示情報管理部１０３が生成する画像である。図２（ｂ）は、異常検知時のタイムライン２０５を表す。

画像２０１は、正常状態２０６、２０８、すなわち異常検知部１０６が異常を検知していない状態を表す。画像２０１は、撮影部１０１が監視カメラ２から取得した映像そのままの画像である。
画像２０２は、異常状態２０７、すなわち異常検知部１０６が異常を検知している状態である。画像２０２は、撮影部１０１が監視カメラ２から取得した映像に異常の発生箇所２０３及び警告表示２０４が重畳された画像である。表示情報管理部１０３は、異常検知部１０６が異常状態２０７を検知すると、異常の発生箇所２０３及び警告表示２０４を撮影部１０１が監視カメラ２から取得した映像に重畳して画像２０２を生成する。注目時間判定部１０７は、異常検知部１０６が検知する異常の開始時刻及び終了時刻に基づいて注目時間を判定する。

なお、異常検知部１０６は、映像中の人物の位置を示す人物枠を常時検出している。表示情報管理部１０３は、異常検知部１０６が異常状態を検知すると、常時検出される人物枠に基づいて、該人物が移動した軌跡２１１、２１２を映像に重畳する。

異常検知時のタイムラインは、以下のようになる。時刻ｔ１までは、異常検知部１０６は異常を検知していない。そのために表示部１０２は、ディスプレイ３に、撮影部１０１が監視カメラ２から取得した映像を、そのままリアルタイム表示する。以下、監視カメラ２から取得してリアルタイム表示する映像をリアルタイム映像２０９という。

異常検知部１０６が時刻ｔ１で異常を検知すると、注目時間判定部１０７は、注目時間の計時を開始する。表示部１０２は、リアルタイム映像２０９の表示を継続する。リアルタイム映像２０９が表示されるために、監視員は、現在発生している異常の状況をディスプレイ３により視認することができる。

時刻ｔ２で異常検知部１０６が異常の検知を終了すると、注目時間判定部１０７は注目時間の計時を終了する。注目時間判定部１０７は、記録部１０５に記録された映像から注目時間に相当する時間の録画映像２１０を取得して、表示部１０２によりディスプレイ３に再生表示させる。時刻ｔ２以降、表示部１０２は、注目時間の録画映像２１０の再生表示を繰り返し行う。これにより監視員は、リアルタイム映像２０９で異常の状況を確認できない場合であっても、録画映像２１０によって異常の状況を確認することができる。録画映像の再生が異常終了後であるため、録画映像の再生により、リアルタイムで異常が進行しているときの監視員による異常の確認を妨害することがない。

図３は、監視システムによる監視処理を表すフローチャートである。この処理は、監視システムの稼働中に、常時、繰り返し行われる。監視システムのシャットダウンにより、この処理は終了する。監視装置１は、撮影部１０１により、監視システムの稼働中に監視カメラ２から常時映像を取得する。制御部１００は、撮影部１０１により取得した監視カメラ２の映像を記録部１０５に記録する。

監視システムの稼働中、制御部１００は、表示情報管理部１０３を制御し、撮影部１０１が監視カメラ２から取得した映像を、表示部１０２によりディスプレイ３にリアルタイム表示させる（Ｓ３０１）。異常が発生していない正常状態では、監視カメラ２が撮影した映像が、ディスプレイ３にそのまま表示される。制御部１００は、異常検知部１０６を制御し、リアルタイム映像の表示中に、該映像を解析して異常の発生を検知する（Ｓ３０２）。

図４は、異常検知部１０６による異常検知の説明図である。異常検知部１０６は、映像中の特定の被写体として人物又は動体の位置を示す人物枠４０１、４０２を常時検出しており、各人物枠４０１、４０２の異常度を判定して、異常を検知する。表４１０は、人物枠４０１、４０２に付随する情報レコードを例示する。

人物枠４０１、４０２は映像中に矩形で示される。異常検知部１０６は、人物枠４０１、４０２の映像中における幅、高さ、及び中心座標を、人物毎に検出する。なお、異常検知部１０６は、人物枠４０１、４０２の矩形を映像中で一意に表現できる情報を検出すればよく、例えば中心座標の代わりに左上隅や右下隅の座標でもよく、幅、高さの代わりに左上隅と右下隅等の対角の二点の座標でもよい。また、人物枠４０１、４０２は、矩形の代わりに多角形、楕円、スプライン閉曲線等で表されてもよい。人物枠４０１、４０２には、頭部位置を示す矩形４０３、４０４が付随する。異常検知部１０６は、矩形４０３、４０４により人物枠４０１、４０２の中の頭部位置を検出する。

異常検知部１０６は、人物枠４０１、４０２毎に、公知の手法を用いて異常度を導出する。例えば、「V. Saligrama, et al. Video Anomaly Detection Based on Local Statistical Aggregates, CVPR 2012」記載のｋ近傍法により、異常度が導出される。異常検知部１０６は、ｋ近傍法により、近傍距離に適当な係数を乗算する等の手法で異常度を導出する。異常度は、例えば、値が大きいほど異常である蓋然性が高いことを表す数値である。異常検知部１０６は、異常度が所定の閾値よりも高い場合に異常を検知する。また、異常検知部１０６は、異常の種類を推定して、推定異常種を決定する。
異常検知部１０６は、複数の人物枠４０１、４０２、矩形４０３、４０４の情報及び位置関係に基づいて、異常の発生を検知する。図４の例では、異常検知部１０６は、枠４０５において暴行に分類される異常が発生していると判定する。異常の判定には公知の手法が用いられる。例えば、「Loy, S. Gong, et al. Detecting and discriminating behavioral anomalies, Pattern Recognition 2011」記載のＤＢＮが用いられる。ＤＢＮは、動的ベイジアンネットワークである。異常検知部１０６は、異常検知結果を映像に紐づけて記録部１０５に逐次記録する。

制御部１００は、注目時間判定部１０７を制御して、異常検知部１０６の異常検知結果に基づいて、注目時間の開始時刻を判定する（Ｓ３０３）。注目時間の開始時刻ではないと判定した場合（Ｓ３０３：N）、注目時間判定部１０７は注目時間の計時を開始しない。この場合、制御部１００は、Ｓ３０１の処理に戻る。注目時間の開始時刻であると判定した場合（Ｓ３０３：Y）、注目時間判定部１０７は、注目時間の計時を開始する。注目時間の開始時刻の判定処理の詳細は後述する。

注目時間の計時が開始されると、制御部１００は、表示情報管理部１０３を制御して、異常検知時の画像を生成し、生成された画像を表示部１０２によりディスプレイ３に表示させる（Ｓ３０４）。表示情報管理部１０３は、撮影部１０１が監視カメラ２から取得したリアルタイム映像に、異常検知部１０６が検知した異常を表す情報を重畳することで異常検知時の画像を生成する。制御部１００は、異常検知時の画像を表示後に、異常検知部１０６を制御して、Ｓ３０２と同様の処理による異常の発生の判定を行う（Ｓ３０５）。

制御部１００は、注目時間判定部１０７を制御して、Ｓ３０５の処理による異常検知部１０６の異常検知結果に基づいて、注目時間の終了時刻を判定する（Ｓ３０６）。注目時間の終了時刻ではないと判定した場合（Ｓ３０６：N）、注目時間判定部１０７は注目時間の計時を継続する。この場合、制御部１００は、Ｓ３０４の処理に戻り、異常時の画像をディスプレイ３に表示させる。表示情報管理部１０３は、撮影部１０１が監視カメラ２から取得したリアルタイムの映像に、異常検知部１０６がＳ３０２及びＳ３０５の処理で検知した異常を表す情報を重畳することで異常時の画像を生成する。
一方、注目時間の終了時刻であると判定した場合（Ｓ３０６：Y）、注目時間判定部１０７は、注目時間の計時を終了する。

図５は、注目時間判定部１０７が注目時間の開始時刻及び終了時刻を判定する処理の説明図である。なお、注目時間判定部１０７は、以下に説明する処理に限らず、例えば単に異常検知結果が異常の発生を示しているときに注目時間の開始時刻であると判定し、異常検知結果が異常の発生を示さないときに注目時間の終了時刻であると判定してもよい。

異常検知部１０６が時刻ｔ１に異常を検知する場合、注目時間判定部１０７は、注目時間の開始時刻を、時刻ｔ１より以前の時刻ｔ１’に設定する。時刻ｔ１と時刻ｔ１’との時間差５０１は、監視員が異常の前後の状況もあわせて確認するためのマージンとして設けられる。異常発生時、すなわち時刻ｔ１の時点で撮影部１０１は映像５１２を取得している。つまり異常検知部１０６は、映像５１２により異常の発生を検知する。注目時間判定部１０７は、異常検知部１０６が異常検知に用いた映像５１２中の人物枠を遡って追跡し、異常検知の対象となった人物が監視カメラ２の映像に映り始めた映像５１１の撮影時刻を時刻ｔ１’とする。すなわち、注目時間判定部１０７は、時刻ｔ１’から時刻ｔ１までを、異常自体は検知されていないものの、直後の異常に関連する映像として注目時間に含める。人物枠の追跡の方法は、公知の動体追尾方法を用いることができる。

注目時間判定部１０７は、時刻ｔ１から異常検知部１０６が異常を検知し続ける間、注目時間を継続する。なお、注目時間判定部１０７は、期間５０２のように所定の閾値Ｔよりも短い間隔で異常の検知が途切れた場合、それを無視して異常が検知されていると判定する。

閾値Ｔよりも長い時間の異常の途切れが発生した時刻ｔ２に到達すると、制御部１００は、表示部１０２により時刻ｔ１’から始まる注目時間の録画映像２１０の再生を開始する。しかし注目時間判定部１０７は、注目時間の終了時刻ｔ２’の決定を時刻ｔ２から時間差５０３だけ遅らせる。時間差５０３により、映像５１３から映像５１４に状況が進む。注目時間の終了時刻ｔ２’は、映像５１３から映像５１４のように、異常検知部１０６が異常検知の対象となった人物枠が映像から消失した時点である。

このように注目時間が判定されることで、監視員は、単に異常が検知された期間のみならず、異常に関わった人物が監視カメラ２により撮影される映像上に継続して存在する期間を含めて、一連の異常を確認することができる。なお、人物枠の移動によっては、時間差５０１、５０３が長くなりすぎることがある。そのために注目時間判定部１０７は、所定の長さ、例えば１０秒や、時刻ｔ１から時刻ｔ２までの異常の継続期間の５分の１等の長さを超えると人物枠の追跡を打ち切り、注目時間の開始時刻ｔ１’や終了時刻ｔ２’を決定してもよい。

以上のような処理により注目時間が判定されると、制御部１００は、表示情報管理部１０３を制御して、異常が検知されている注目時間の録画映像を表示部１０２によりディスプレイ３に再生表示させる（Ｓ３０７）。表示情報管理部１０３は、記録部１０５に逐次記録されている映像から注目時間に対応する期間の映像を取り出して再生させる。なお、表示部１０２は、再生が完了した後に同じ注目時間の録画映像をループ再生する。

制御部１００は、異常検知部１０６を制御して、Ｓ３０２と同様の処理により異常の発生の判定を行う（Ｓ３０８）。制御部１００は、注目時間判定部１０７を制御して、Ｓ３０８の処理による異常検知部１０６の異常検知結果に基づいて、注目時間の開始時刻を判定する（Ｓ３０９）。

注目時間の開始時刻ではないと判定した場合（Ｓ３０９：N）、つまり新たな異常が発生していない場合、注目時間判定部１０７は、注目時間を計時しない。制御部１００は、注目時間を計時しない場合に、操作受付部１０４により操作装置４から録画映像の再生表示を終了する指示が入力されたか否かを判定する（Ｓ３１０）。終了の指示が入力されていない場合（Ｓ３１０：N）、制御部１００は、Ｓ３０７の処理に戻り、注目時間の録画映像の再生表示を繰り返して行う。終了の指示が入力された場合（Ｓ３１０：Y）、制御部１００は、Ｓ３０１の処理に戻り、リアルタイム映像の表示を開始する。監視員は、操作装置４のボタン操作やタッチパネル操作、音声入力、ジェスチャ入力、視線入力により再生の終了を指示することができる。また、監視員のディスプレイ３の前からの離脱、監視カメラ２の撮影範囲内への監視員の侵入を監視装置１が検知することで、再生の終了の指示が入力されてもよい。

注目時間の開始時刻であると判定した場合（Ｓ３０９：Y）、注目時間判定部１０７は新たな異常が発生したと判定して、注目時間の計時を開始する。注目時間判定部１０７は、直前に録画映像の再生に用いた注目時間と、Ｓ３０９の処理で判定した開始時刻とに基づいて、注目時間を更新する（Ｓ３１１）。
注目時間判定部１０７は、新たな注目時間の開始時刻と、直前の注目時間の終了時刻との時間差が所定の時間（閾値Ｔ）未満、例えば１０秒未満である場合、新たな注目時間が直前の注目時間と一体であると判定する。すなわち注目時間判定部１０７は、直前の注目時間の開始時刻を新たな注目時間の開始時刻とする。注目時間の更新後、制御部１００はＳ３０４の処理に戻る。
注目時間判定部１０７は、新たな注目時間の開始時刻と、直前の注目時間の終了時刻との時間差が所定の時間（閾値Ｔ）以上、例えば１０秒以上である場合、新たな注目時間が始まったと判定する。すなわち注目時間判定部１０７は、Ｓ３０９の処理で判定した開始時刻を新たな異常による新たな注目時間の開始時刻とする。注目時間の更新後、制御部１００はＳ３０４の処理に戻る。
注目時間判定部１０７のこのような処理は、短時間で続けて異常が発生した場合に、これを一連の異常として取り扱い、一連の異常の開始からの録画映像を監視員に提供するために行われる。

以上のように監視システムは、図２で説明した動作を実現し、異常が発生したときに、監視員の現状把握に支障をきたすことなく、且つ異常の見落としの発生を抑制することができる。そのために監視装置１は、異常発生時に、注目時間を正しく判定して録画映像を繰り返し再生することで、監視員に異常の発生を正確に判断させることができる。

（第２実施形態）
第１実施形態の監視システムは、注目時間の録画映像をリアルタイム映像に入れ替えて再生する。しかし監視員は、監視時に、過去の異常検知時の録画映像と、リアルタイム映像とを見比べて確認することもある。第２実施形態の監視システムは、注目時間の録画映像とリアルタイム映像とを同時にディスプレイ３に表示する。第２実施形態の監視システムのハードウェア構成は第１実施形態と同様であるために、説明を省略する。

図６は、第２実施形態の監視装置の機能ブロック図である。監視装置５は、図１（ｂ）に示す監視装置１の機能ブロックにレイアウト決定部１１０８を追加した機能を備える。同じ機能については説明を省略する。レイアウト決定部１１０８は、表示情報管理部１０３がディスプレイ３に表示される画像内の注目時間の録画映像と、リアルタイム映像とをどのように配置するかを決定する。表示情報管理部１０３は、レイアウト決定部１１０８の決定に従って録画映像とリアルタイム映像とを組み合わせた画像を生成し、表示部１０２によりディスプレイ３に表示する。

図７は、録画映像とリアルタイム映像との配置の説明図である。画像６０１〜６０４は、録画映像とリアルタイム映像とが、レイアウト決定部１１０８の決定したレイアウトで配置される例である。レイアウト決定部１１０８は、リアルタイム映像及び録画映像の一方を背景映像に決定し、他方を小窓に表示する映像に決定する。

画像６０１は、注目時間の終了時刻のタイミングにおける画像であり、図２の時刻ｔ２の時点の画像に当たる。画像６０１は、リアルタイム映像上に、注目時間の録画映像を縮小した小窓６１１が重畳されて構成される。監視員は、画像６０１により、小窓６１１を見て直前に発生した異常の状況を確認しつつ、リアルタイム映像を見て異常終了後の現地の現況を確認することができる。このような表示方法は、スマートフォンやタブレット端末等の小さな画面で、注目時間の録画映像とリアルタイム映像とを同時に表示する際に役立つ。リアルタイム映像の一部分が小窓６１１により覆い隠されるために、発生した異常の確認の妨げにならないように、小窓６１１の表示位置がリアルタイム映像上で制御される。

画像６０２は、注目時間の録画映像が重畳されたリアルタイム映像上で新たな異常６２１が発生した場合の画像である。注目時間の録画映像を表示する小窓６２２は、リアルタイム映像の異常６２１の発生位置を避けた位置に移動して表示される。画像６０２のように小窓６２２が異常６２１の発生位置を避けた位置に移動しても、新たな異常の発生、異常６２１の発生位置の移動、監視員の操作による小窓６２２の移動等により、異常の発生位置と小窓６２２とが重なる場合がある。画像６０３は、異常６３１の発生により小窓６３２が移動した後で、別の新たな異常６３３が発生した場合の画像である。小窓６３２は、リアルタイム映像に重畳されるが、異常６３３の発生範囲に重畳する一部分が欠けている。

画像６０４は、異常が多発した場合の画像である。異常が映像全体で多数検知され、小窓で異常を覆い隠すことが不可避であれば、なるべく異常度の低い異常の発生位置６４２を覆うようにして、小窓６４１が表示される。

画像６０１〜６０４は、同一のディスプレイ３の表示画面内に、リアルタイム映像を背景として、小窓の注目時間の録画映像を重畳して表示する例であるが、レイアウトはこれに限られない。複数のディスプレイを用いて、リアルタイム映像と小窓とが異なる表示画面に分けて表示されてもよい。例えば、スマートフォン等のモバイルデバイスの表示画面と連携して、小窓が表示されてもよい。

図８は、第２実施形態の監視システムによる監視処理を表すフローチャートである。図３に示す第１実施形態の監視処理と同じ処理には同じステップ番号が付してある。同じ処理については説明を省略する。

制御部１００は、注目時間判定部１０７が注目時間の終了時刻であると判定して注目時間の計時を終了する場合（Ｓ３０６：Y）、或いは操作装置４から録画映像の再生を終了する指示が入力されていない場合（Ｓ３１０：N）に、画像のレイアウトを決定する。ディスプレイ３に表示する画像のレイアウトは、表示情報管理部１０３及びレイアウト決定部１１０８により決定される。制御部１００は、表示部１０２により、決定したレイアウトに応じて、注目時間の録画映像とリアルタイム映像とを同時にディスプレイ３に表示する（Ｓ７０２）。録画映像とリアルタイム映像とを表示した後の処理は、図３のＳ３０８以降の処理と同様である。

図９は、Ｓ７０１の画像のレイアウト決定処理を表すフローチャートである。

制御部１００は、操作受付部１０４が操作装置４から監視員によるレイアウトを決定する操作を受け付けているか否かを判定する（Ｓ８００）。監視員は、操作装置４のタッチパネルを用いて、小窓の位置や大きさを決定したり、トグルスイッチを用いて、小窓に注目時間の録画映像とリアルタイム映像とのどちらを表示するかを選択することができる。レイアウトを決定する操作を受け付けた場合（Ｓ８００：Y）、制御部１００は、表示情報管理部１０３により、監視員の希望するレイアウトで画像を表示するために、直前のレイアウトを維持する（Ｓ８１０）。レイアウトを決定する操作を受け付けていない場合（Ｓ８００：N）、制御部１００は、レイアウトを自動的に決定する処理に移行する。なお、注目時間の計時が終了して最初にレイアウト決定処理を行う場合にも、制御部１００は、レイアウトを自動的に決定する処理に移行する。監視員によるレイアウト決定の操作についての詳細は後述する。

レイアウトを自動的に決定する場合、制御部１００は、表示情報管理部１０３により、注目時間の録画映像の現在の再生位置における異常度と、監視カメラ２がリアルタイムで撮影している映像の異常度とを比較する（Ｓ８０１）。表示情報管理部１０３は、それぞれの映像で異常検知部１０６が検知した異常の情報の合計を算出して比較する。注目時間の録画映像の異常度がリアルタイム映像の異常度よりも高い場合（Ｓ８０１：Y）、レイアウト決定部１１０８は、注目時間の録画映像を小窓に表示し、リアルタイム映像を背景に表示するように決定する（Ｓ８０２）。リアルタイム映像の異常度が注目時間の録画映像の異常度よりも高い場合（Ｓ８０１：N）、レイアウト決定部１１０８は、注目時間の録画映像を背景に表示し、リアルタイム映像を小窓に表示するように決定する（Ｓ８０３）。ここでは、異常度の高い方の映像を前面の小窓に表示して、より注視しやすくすることを意図しているが、これに限らず他の方法で小窓の表示を定めてもよい。例えば注目時間の録画映像を常に小窓に表示するようにしたり、監視員の操作で切り替えるようにしてもよい。

レイアウト決定部１１０８は、小窓の大きさを決定する（Ｓ８０４）。ここでは、最も異常度の高い映像が表示される小窓の短辺が所定の長さ、例えば５０ピクセルになるように、小窓に表示される映像の縮小を行う。ただし、小窓の大きさは、背景の映像の幅及び高さの半分を上限、４分の１を下限とする。なお、小窓の大きさの決め方は他の方法でもよく、これに限るものではない。

表示情報管理部１０３は、異常検知部１０６による背景の映像の異常検知結果を覆い隠さずに小窓を表示可能な位置を導出する（Ｓ８０５）。表示情報管理部１０３は、例えば、直前の小窓の位置が、背景の映像の異常検知結果を覆い隠さない場合にはその位置を、覆い隠す場合にはすべての背景の映像の異常検知結果からの平均距離が最大になる位置を、小窓を表示可能な位置として導出する。

制御部１００は、表示情報管理部１０３が小窓を表示可能な位置を一つも導出できない場合に（Ｓ８０６：N）、表示情報管理部１０３に、最も異常度の低い背景映像の異常検知結果を除外させる（Ｓ８０７）。その後、表示情報管理部１０３は、小窓を表示可能な位置を再度導出する（Ｓ８０５）。制御部１００は、Ｓ８０５〜Ｓ８０７の処理を繰り返し続けることで、背景の映像の異常検知結果を異常度の低い方から順に除外しながら、小窓が表示可能な位置を取得する。

制御部１００は、表示情報管理部１０３が小窓を表示可能な位置を導出した場合に（Ｓ８０６：Y）、表示情報管理部１０３により、導出した小窓の表示可能な位置のうち、直前の小窓の位置に最も近い位置を選択する。表示情報管理部１０３は、表示可能な位置が一つしかなければそれを選択する。特に、表示情報管理部１０３は、直前の小窓の位置が背景の映像の異常検知結果を覆い隠さないのであれば直前の小窓の位置をそのまま選択する。これにより、小窓が大きく移動して視認しづらくなることを防止することができる。制御部１００は、表示情報管理部１０３により、小窓と重なる背景の映像の異常検知結果の小窓部分を除去して、背景の異常検知領域が小窓で覆い隠されないようにする（Ｓ８２０）。

以上のように表示情報管理部１０３及びレイアウト決定部１１０８は、小窓が背景の映像の妨げにならないように、小窓の表示位置を決定する。

図１０は、Ｓ８００の監視員による操作装置４を用いたレイアウト決定の操作処理の説明図である。監視員は、レイアウトとして、小窓の位置、小窓の大きさ、注目時間の録画映像とリアルタイム映像とのどちらを小窓に表示するか、について決定することができる。これらを監視員が指示することで、指示したレイアウトが維持される。

小窓の位置は、ディスプレイ３に画像９０１が表示される状態で、監視員が操作装置４のタッチパネル上の小窓９１１を指９１２によりドラッグし、画像９０２の小窓９１３の位置に移動させることで決定される。この際に表示情報管理部１０３は、小窓の位置に重なるような異常が過去に検知されていれば、監視員に警告画像９１４を表示させる。

小窓の大きさは、監視員が操作装置４のタッチパネル上の小窓をピンチイン又はピンチアウトすることで決定される。ディスプレイ３に画像９０３が表示される状態で監視員が小窓９１５をピンチイン９１６すると、表示情報管理部１０３は、小窓９１５の表示が注目時間の録画映像である場合には、小窓９１５の映像上に異常検知の結果があるかどうかを判定する。異常検知の結果がある場合、表示情報管理部１０３は、画像９０４のように、小窓の映像のうち異常検知の結果がある位置を中心にしてトリミングを行う。異常検知の結果がない場合、表示情報管理部１０３は、画像９０５のように小窓の全体を縮小表示する。

ディスプレイ３に画像９０６が表示される状態で監視員が小窓９１７をピンチアウト９１８すると、表示情報管理部１０３は、小窓９１７の表示が注目時間の録画映像である場合には、小窓９１７の映像上に異常検知の結果があるかどうかを判定する。異常検知の結果がある場合、表示情報管理部１０３は、画像９０７のように小窓の全体を拡大表示する。異常検知の結果がない場合、表示情報管理部１０３は、画像９０８のように異常検知の結果を中心にトリミングの範囲を拡大する。つまり表示情報管理部１０３は、小窓９１５、９１７の大きさを変更する操作を、小窓９１５、９１７に表示される映像の異常の検知結果に基づいて変更する。

以上のような画像のレイアウトは、例えば異常検知の結果がある録画映像が小窓に表示される場合、異常部分を監視員が特に確認したいと推定して、異常検知の結果を強調して表示するために行われる。注目時間の録画映像とリアルタイム映像とのどちらを小窓に表示するかは、例えば監視員が操作装置４のトグルスイッチを操作することで切り替え可能である。トグルスイッチは、物理的なスイッチでもよいし、タッチパネル上の仮想的なスイッチでもよい。

以上のように監視システムは、監視員に対して注目時間の録画映像とリアルタイム映像とを同時にディスプレイ３に表示することができる。そのために監視システムは、異常が発生したときに、監視員の現状把握に支障をきたすことなく、且つ異常の見落としの発生を抑制することができる。監視装置５は、異常発生時に、監視員に異常の発生を正確に判断させることができる。

（第３実施形態）
第３実施形態の監視システムは、複数台の監視カメラ２を備える。監視装置１は、複数台の監視カメラ２から取得する映像を切り替えながら、ディスプレイ３に画像を表示する。監視システムの全体構成は、監視カメラ２が複数台になったことを除いて、図１（ａ）に示す構成と同じである。複数台の監視カメラ２は、ＬＡＮ（Local Area Network）等のネットワークを介して監視装置１に通信可能に接続される。

監視装置１の撮影部１０１は、複数台の監視カメラ２の一部又は全部から同時に映像を取得する。異常検知部１０６は、複数台の監視カメラ２から取得した映像のそれぞれについて異常の検知を行う。注目時間判定部１０７は、各監視カメラ２から取得した複数の映像の異常の検知結果を組み合わせて注目時間を判定する。

図１１は、注目時間判定部１０７が注目時間の開始時刻及び終了時刻を判定する処理の説明図である。図１１は、２台の監視カメラ（カメラＡ、カメラＢ）が撮影した映像に連続して異常が発生した場合について説明する。

時刻ｔ１以前には、異常検知部１０６は、カメラＡ、カメラＢから取得する映像のいずれにも異常を検知せずに、正常１００１、１００２と判定する。時刻ｔ１において、異常検知部１０６がカメラＡから取得する映像から異常１００３を検知すると、注目時間判定部１０７は、注目時間の開始を判定する。注目時間判定部１０７は、図５と同様に時間差５０１をマージンとして設けて、時刻ｔ１’を注目時間の開始時刻に決定する。

注目時間判定部１０７は、異常１００３が途切れた場合、閾値Ｔよりも長い途切れであれば注目時間を終了するが、それ以前の閾値Ｔ２（＜Ｔ）よりも短い時間間隔で、カメラＢの映像から異常１００４が検知されると注目時間を継続する。この際、注目時間判定部１０７は、カメラＢの映像で異常１００４が発生した時刻ｔ３を記憶する。これ以降は、注目時間判定部１０７は、異常１００４の途切れを判定することによって、注目時間の全体の終了を判定する。時刻ｔ２でカメラＢの映像の異常１００４が閾値Ｔよりも長い時間途切れると、注目時間判定部１０７は、注目時間の終了を判定し、図５と同様にマージンとなる時間差５０３を設けて終了時刻ｔ２’を決定する。

表示部１０２は、ディスプレイ３に時刻ｔ３まではカメラＡから取得される映像１０１１をリアルタイムで表示し、時刻ｔ３から時刻ｔ２まではカメラＢから取得される映像１０１２をリアルタイムで表示する。時刻ｔ２以降は、表示部１０２は、注目時間の録画映像１０１３をディスプレイ３に再生表示する。注目時間の録画映像１０１３は、時刻ｔ１’から時刻ｔ３までに相当する時間にカメラＡから取得した映像、及び時刻ｔ３から時刻ｔ２’までに相当する時間にカメラＢから取得した映像である。これらの録画映像１０１３は、記録部１０５から取り出して再生表示される。

例えば、監視装置１は、カメラＡ、Ｂから時刻ｔ１’で取得する映像１０２１、１０３１では、異常を検知しない。監視装置１は、カメラＡから時刻ｔで取得する映像１０２２により、異常１００３を検知する。映像１０２２の異常は、「ひったくり」である。監視装置１は、カメラＢから取得する映像１０３２からは異常を検知しない。

監視装置１がカメラＡから時刻ｔ３で取得する映像１０２３では、ひったくり犯が映像中の右手側に逃走し、カメラＡの画角から消える。異常検知部１０６は、この時点で異常１００３が途切れたと判定する。しかし、監視装置１がカメラＢから時刻ｔ３で取得する映像１０３３に逃走するひったくり犯が出現する。異常検知部１０６は、カメラＢから取得した映像１０３３により異常１００４を検知する。監視装置１は、カメラＡ、Ｂから時刻ｔ２で取得する映像１０２４、１０３４では、ひったくり犯がカメラＢの画角からも消えるために、異常を検知しない。時刻ｔ１から時刻ｔ２までの一連の流れで発生した異常により、注目時間判定部１０７は、時刻ｔ１’から時刻ｔ２’までを注目時間として判定する。

このように注目時間が判定されることで、カメラＡの映像から検知された異常１００３に続いてカメラＢの映像から検知された異常１００４を含む録画映像１０１３が再生表示される。これにより監視員は、一連の異常を複数台の監視カメラ（カメラＡ、カメラＢ）の映像を手動で切り替えることなく確認することが可能となる。

ここではカメラＡの映像の次にカメラＢの映像で異常が発生したケースを説明しているが、カメラＡとカメラＢとの役割は固定的なものではなく、入れ替わっていてもよい。また、監視カメラが３台以上ある場合でも、異常が発生した順にカメラＡ、カメラＢの役割を割り当てれば同様の方法が適用でき、第３の監視カメラでさらに続けて異常が発生した場合も同様に組み合わせて注目時間が判定可能である。

以上のような処理は、図３又は図８のフローチャートに基づく処理により可能である。監視カメラ２が複数台設けられることで、以下のような処理となる。

Ｓ３０１及びＳ３０４の処理では、表示情報管理部１０３は、表示部１０２により複数台の監視カメラ２の映像による画像をリアルタイムでディスプレイ３に表示する。Ｓ３０１の処理では、表示部１０２は、表示情報管理部１０３の指示により、例えばディスプレイ３の表示画面を分割して複数の映像を表示、あるいは一定時間間隔で巡回しながら映像を表示する。Ｓ３０４の処理では、表示部１０２は、表示情報管理部１０３の指示により、異常が検知された映像及び異常情報を強調して表示する。例えば、分割画面を統合して異常が検知された映像をディスプレイ３に全画面表示する。

Ｓ３０２、Ｓ３０５、及びＳ３０８の処理では、異常検知部１０６は、各監視カメラ２から取得したそれぞれの映像に対して異常検知を行い、それぞれの映像に対する異常検知結果を出力する。Ｓ３０３、Ｓ３０６、及びＳ３０９の処理では、注目時間判定部１０７は、図１１で説明した処理に応じて、注目時間の開始時刻及び終了時刻を判定する。

以上のように監視システムは、複数台の監視カメラ２で続けて異常が発生した場合に、一連の異常を注目時間として録画映像の再生を行い、監視員が異常を正確に確認できるようにすることができる。そのために監視システムは、異常が発生したときに、監視員の現状把握に支障をきたすことなく、且つ異常の見落としの発生を抑制することができる。監視装置１は、異常発生時に、監視員に異常の発生を正確に判断させることができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (21)

1. 撮影装置により撮影された映像を取得する撮影手段と、
   前記映像に基づく画像を表示装置に表示する表示手段と、
   前記映像を記録する記録手段と、
   前記映像から異常を検知する検知手段と、
   前記検知手段が検知した前記異常の開始から終了までの時間に基づく注目時間を判定する判定手段と、
   前記表示手段に、前記異常の検知を終了するまでは前記撮影手段が取得した前記映像をそのまま表示させ、前記異常の検知を終了すると前記注目時間に対応する録画映像を前記記録手段から取得して再生表示させる制御手段と、を備えることを特徴とする、
   監視装置。
2. 前記録画映像の再生表示を終了する指示を受け付ける操作受付手段をさらに備えており、
   前記表示手段は、前記録画映像の再生表示を繰り返し行っており、前記操作受付手段が再生表示を終了する前記指示を受け付けることで、前記録画映像の再生表示を終了することを特徴とする、
   請求項１に記載の監視装置。
3. 前記検知手段は、前記映像から特定の被写体を検出し、前記映像における前記特定の被写体の位置に基づいて、前記異常を検知することを特徴とする、
   請求項１又は２に記載の監視装置。
4. 前記検知手段は、前記特定の被写体として人体又は動体を検出することを特徴とする、
   請求項３に記載の監視装置。
5. 前記表示手段は、前記特定の被写体の軌跡を、前記画像に重畳して表示させることを特徴とする。
   請求項３に記載の監視装置。
6. 前記判定手段は、前記異常に関わった前記特定の被写体が前記映像に継続して存在する期間に基づいて前記注目時間を判定することを特徴とする、
   請求項３又は４に記載の監視装置。
7. 前記判定手段は、前記異常が所定の閾値より短い時間だけ途切れる場合に、該異常が継続しているとみなして前記注目時間を判定することを特徴とする、
   請求項１〜６のいずれか１項に記載の監視装置。
8. 前記判定手段は、前記検知手段が異常を検知したときに、直前に検知された異常の終了時刻からの時間間隔が所定の閾値より短ければ、前記直前に検知された異常の開始時刻を、新たな注目時間の開始時刻とすることを特徴とする、
   請求項１〜６のいずれか１項に記載の監視装置。
9. 表示される前記画像のレイアウトを決定する決定手段をさらに備えており、
   前記表示手段は、前記撮影装置から取得した映像及び前記録画映像を前記決定手段で決定されたレイアウトに応じて重畳した前記画像を、前記表示装置に表示させることを特徴とする、
   請求項１〜８のいずれか１項に記載の監視装置。
10. 前記決定手段は、前記撮影装置から取得した映像及び前記録画映像の一方を背景映像、他方を小窓に表示する映像に決定し、
    前記表示手段は、前記背景映像に前記小窓に表示する映像を重畳した前記画像を、前記表示装置に表示させることを特徴とする、
    請求項９に記載の監視装置。
11. 前記決定手段は、前記小窓の表示位置を、前記背景映像における前記異常の検知結果に基づいて決めることを特徴とする、
    請求項１０に記載の監視装置。
12. 前記決定手段は、前記背景映像において検知した異常のうち、異常度の高いものほど前記小窓に重畳されないように、前記小窓の表示位置を決めることを特徴とする、
    請求項１１に記載の監視装置。
13. 前記表示手段は、前記小窓の表示位置に対応する前記背景において前記検知手段が異常を検知すると、該異常の位置に対応する位置に限って前記小窓の映像を重畳しないことを特徴とする、
    請求項１０〜１２のいずれか１項に記載の監視装置。
14. 前記小窓の操作を受け付ける第２の操作受付手段をさらに備えており、
    前記決定手段は、前記小窓の位置、大きさ、及び前記録画映像と前記撮影手段が取得した映像とのいずれを小窓に表示するか、の少なくとも一つを前記第２の操作受付手段により受け付けた操作に応じて決定することを特徴とする、
    請求項１０〜１３のいずれか１項に記載の監視装置。
15. 前記表示手段は、前記決定手段が前記第２の操作受付手段により受け付けた操作により決定された前記小窓の位置に、前記検知手段が過去に検知した異常が含まれるかどうかを判定し、含まれれば警告画像を前記表示手段に表示させることを特徴とする、
    請求項１４記載の監視装置。
16. 前記第２の操作受付手段は、前記小窓の大きさを変更する操作を、前記小窓に表示される映像の異常の検知結果に基づいて変更することを特徴とする、
    請求項１４又は１５記載の監視装置。
17. 前記撮影手段は、複数台の前記撮影装置のそれぞれから前記映像を取得し、
    前記表示手段は、複数の前記映像の一部又は全部を前記表示装置に表示し、
    前記記録手段は、複数の前記映像を記録し、
    前記検知手段は、複数の前記映像から異常を検知し、
    前記判定手段は、複数の前記映像の前記異常の検知結果に基づいて前記注目時間を判定することを特徴とする、
    請求項１〜１６のいずれか１項に記載の監視装置。
18. 前記判定手段は、複数の前記映像のうち、少なくとも一つで前記検知手段が異常を検知すると前記注目時間の計時を開始し、
    前記表示手段は、前記記録手段に記録される該異常を検知した映像から録画映像を取得して再生表示させることを特徴とする、
    請求項１７記載の監視装置。
19. 撮影装置により撮影された映像を取得して前記映像に基づく画像を表示装置に表示する装置により実行される方法であって、
    前記映像を記録手段に記録しておき、
    前記映像から検知した異常の開始から終了までの時間に基づく注目時間を判定し、
    前記異常の検知を終了するまでは前記撮影装置から取得した前記映像をそのまま前記表示し、前記異常の検知を終了すると前記注目時間に対応する録画映像を前記記録手段から取得して再生表示することを特徴とする、
    監視方法。
20. 撮影装置により撮影された映像を取得して前記映像に基づく画像を表示装置に表示するコンピュータを、
    前記映像を記録する記録手段、
    前記映像から異常を検知する検知手段、
    前記検知手段が検知した前記異常の開始から終了までの時間に基づく注目時間を判定する判定手段、
    前記表示装置に、前記異常の検知を終了するまでは前記撮影装置から取得した前記映像をそのまま表示し、前記異常の検知を終了すると前記注目時間に対応する録画映像を前記記録手段から取得して再生表示する制御手段、
    として機能させるためのコンピュータプログラム。
21. 請求項２０記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。

Images