JP2010166288A - 映像出力方法、映像出力装置、及び監視映像出力システム - Google Patents

Abstract

【課題】監視映像などの長時間記録された映像を、重要なイベントを見逃さずに短時間で閲覧する。
【解決手段】蓄積された映像を登録する映像登録部と、閲覧を要求された映像を指定された条件に基づいて表示する閲覧制御部と、を備えた映像出力装置において、映像登録部は、蓄積された映像を、移動体を含む前景画像と前景画像以外の背景画像とに分離し、移動体ごとに、分離された前景画像を時系列順に配置された前景画像群を含む時空間オブジェクトを抽出し、抽出された時空間オブジェクトに含まれる前景画像に基づいて、抽出された時空間オブジェクトの信頼度を算出し、閲覧制御部は、蓄積された映像の閲覧要求を受け付けた場合には、受け付けられた閲覧要求及び算出された信頼度に基づいて、時空間オブジェクトを選択し、選択された時空間オブジェクトの表示順序及び表示開始時間を設定し、選択された時空間オブジェクトに含まれる前景画像群を出力する。
【選択図】図１

Description

本発明は、映像を出力する技術に関し、特に、長時間記録された映像を短時間で閲覧するための技術に関する。

安全及び安心な社会を実現するために、監視カメラの利用が増加している。今後、さらに大量の監視カメラが設置されるに伴い、長時間の監視映像を短時間でチェックする必要が生じる。しかし、単純な早送りでは人物などの移動体の挙動を把握しにくく、重要な部分を見落とす可能性がある。

監視映像は、通常のテレビ放送又はホームビデオなどによる映像とは異なり、長時間映像に変化がないという特徴がある。また、監視映像の閲覧でもっとも重要な点は、不審な人物及び不審な行動を検知することである。

このため、特許文献１には、映像に変化が大きい部分と、変化が少ない部分とを識別し、変化が少ない部分は高速に再生し、変化が大きい部分は低速又は通常の速度で再生する技術が開示されている。特許文献１に開示された技術によって、監視映像で変化の少ない部分、すなわち重要でない部分を高速に閲覧することが可能となり、長時間の監視映像を短時間で閲覧することができる。

また、特許文献２には、監視カメラで発生したイベントの頻度を、タイムラインを用いて表示し、その情報を用いて監視映像を閲覧することで監視映像の閲覧を支援する技術が開示されている。特許文献２に開示された技術によって、注目すべき部分に高速にアクセスすることが可能となる。

非特許文献１には、さらに効率よく監視映像を閲覧するために、発生する時間が異なるイベントについても、同時に映像として表示する技術が開示されている。具体的には、同時に表示するイベントが画像上で重なり合わないように、イベントを自動的に配置する。非特許文献１に開示された技術によって、同時に複数のイベントを閲覧することが可能となり、長時間の監視映像をより短時間でチェックすることが可能となる。以下、上記の方法で短縮された映像を「要約映像」と呼ぶことにする。
特開２００７−３０６３２２号公報 特開２００４−２６６６２３号公報 Y.Pritch, A.Rav-Acha, and S.Peleg, Nonchronological Video Synopsis and Indexing, IEEE Trans. PAMI, Vol.30, No 11, Nov.2008,pp.1971-1984.

しかし、前述したように、監視カメラの設置台数がさらに増大することを考えると、閲覧時間のより一層の短縮が求められることが想定される。

ところが、従来の監視映像の閲覧方法では、注意深く観察する必要のないイベントも表示されるため、閲覧時間を一定時間より短くすることができないという問題がある。

さらに、従来の監視映像の閲覧方法では、監視映像に録画されている人物及び移動物体の映像をすべて表示する。一方、監視映像の閲覧でもっとも重要な点は、通常のイベントとは異なる行動、人物及び移動物体を監視することである。例えば、既知の人物が単に通行している映像をユーザが注視する必要はない。すなわち、通常のイベントである、信頼できる人物又は移動物体であるということが保障されていれば、それらに関する映像を閲覧対象から削除することが可能であり、より効率よく監視映像を閲覧することが可能となる。

なお、不審なイベント及び人物だけを識別して表示することによって、効率よく監視映像を閲覧することができるが、計算機による識別の精度に問題がある場合には、不審なイベント及び人物の表示に漏れが発生する可能性があることが問題となる。

本発明の目的は、監視対象となるイベント及び人物などを信頼できるか否かを判定し、信頼できる場合には閲覧対象から除外し、選別されたイベントを短時間で閲覧することが可能な監視映像表示技術を提供することである。

本発明の代表的な一形態によれば、蓄積された映像を出力する映像出力装置において、前記蓄積された映像を出力する方法であって、前記映像出力装置は、前記蓄積された映像を登録する映像登録部と、閲覧を要求された映像を指定された条件に基づいて出力する閲覧制御部と、を備え、前記映像登録部は、前記蓄積された映像を、移動体を含む前景画像と、前記前景画像以外の背景画像とに分離し、前記移動体ごとに、前記分離された前景画像を時系列順に配置された前景画像群を含む時空間オブジェクトを抽出し、前記抽出された時空間オブジェクトに含まれる前景画像に基づいて、前記抽出された時空間オブジェクトの信頼度を算出し、前記閲覧制御部は、前記蓄積された映像の閲覧要求を受け付けた場合には、前記受け付けられた閲覧要求及び前記算出された信頼度に基づいて、前記時空間オブジェクトを選択し、前記選択された時空間オブジェクトの出力順序及び出力開始時間を設定し、前記選択された時空間オブジェクトに含まれる前景画像群を出力する。

本発明の一形態によれば、信頼度に基づいて出力する移動体（人物など）を選択して要約映像を出力することによって、短時間で映像を閲覧することが可能となる。

以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。

（構成）
図１は、本発明の実施の形態の監視映像表示装置の構成図である。

本発明の実施の形態の監視映像表示装置の監視映像表示装置は、オンライン映像登録部１０及び閲覧制御部２０を備える。

オンライン映像登録部１０は、監視カメラ１から入力された映像を解析し、閲覧制御部２０によって閲覧するためのデータを作成する。オンライン映像登録部１０は、まず、監視カメラ１から入力された映像を、移動物体又は人物など（移動体）の前景画像と、動きのない背景画像に分離する。

オンライン映像登録部１０は、抽出された前景画像を時間軸で結合（時系列順に配置）し、時空間オブジェクトを抽出する。抽出された時空間オブジェクトには、後述する信頼度などがさらに付加される。信頼度は、信頼性判定用データ７に基づいて算出される。オンライン映像登録部１０は、信頼度などが付加された時空間オブジェクトを信頼度付き時空間オブジェクトデータ１５に格納する。

オンライン映像登録部１０は、前景を抽出するとともに、前景以外の変化のない背景画像を生成し、背景データ１６に格納する。

閲覧制御部２０は、監視映像をユーザに提供する。ユーザからの閲覧要求１１が入力されると、信頼度付き時空間オブジェクトデータ１５から対応する時空間オブジェトを選択する。さらに、選択された時空間オブジェトを適切に配置し、ディスプレイ１４に表示する。

オンライン映像登録部１０は、前景抽出部２、時空間オブジェクト抽出部５、時空間オブジェクト信頼度算出部８、背景作成部４、前景データ格納部３、及び時空間オブジェクト格納部６を備える。

前景抽出部２、時空間オブジェクト抽出部５、時空間オブジェクト信頼度算出部８及び背景作成部４は、計算機上で実行されるプログラムである。また、前景データ格納部３及び時空間オブジェクト格納部６は、監視映像を処理することによって生成されたデータを格納する記憶領域である。

前景抽出部２は、監視カメラ１から入力された監視映像から移動物体又は人物などの前景画像を抽出する。前景データ格納部３は、抽出された前景画像を前景データとして格納する。

背景作成部４は、監視カメラ１から入力された映像の背景画像を作成する。背景画像は、動きのない建物及び設置物などの画像である。

時空間オブジェクト抽出部５は、前景抽出部２によって抽出された前景データを時間軸で結合した時空間オブジェクトを抽出する。時空間オブジェクトは、監視カメラ１によって撮影された映像に入場してから退場するまでの間の画像（動画）に対応する。時空間オブジェクト格納部６は、抽出された時空間オブジェクトを格納する。

時空間オブジェクト信頼度算出部８は、時空間オブジェクト抽出部５によって抽出された時空間オブジェクトの信頼度を算出する。例えば、会社内の監視映像であれば、社員が普通に歩行している場合などは信頼度が高いと判定することができる。一方、部外者が不審な行動をしている場合などには、信頼度が低いと判定することができる。

閲覧制御部２０は、時空間オブジェクト選択部１８、時空間オブジェクト配置部１２、時空間オブジェクト合成部１３、及び時空間オブジェクト表示候補リスト１９を備える。

時空間オブジェクト選択部１８、時空間オブジェクト配置部１２及び時空間オブジェクト合成部１３は、計算機上で実行されるプログラムである。

時空間オブジェクト選択部１８は、ユーザから要求された条件に基づいて、時空間オブジェクトを選択する。ユーザから要求された条件は、例えば、監視カメラ１の指定及び監視映像の撮影時刻などである。

時空間オブジェクト表示候補リスト１９は、時空間オブジェクト選択部１８によって選択された、表示候補となる時空間オブジェクトを格納する記憶領域である。

時空間オブジェクト配置部１２は、時空間オブジェクト表示候補リスト１９に格納された時空間オブジェクトの配置を決定する。具体的には、時空間オブジェクトに対応する前景画像が監視カメラ１に最初に撮影された時刻（以下、時空間オブジェクトの開始時刻とする）の順序で、表示対象の時空間オブジェクトが表示されるように配置する。さらに、複数の時空間オブジェクトが連続的又は同時に表示されるように各時空間オブジェクトの表示タイミングを調整する。

時空間オブジェクト合成部１３は、時空間オブジェクト配置部１２によって配置された時空間オブジェクトを、背景データ１６から取得された背景画像と合成して出力する。この結果、ディスプレイ１４には、表示対象の時空間オブジェクトの前景画像が、背景画像と合成された状態で、連続的に表示される。

図２は、本発明の実施の形態の監視映像表示装置のハードウェア構成を示す図である。

本発明の実施の形態の監視映像表示装置は、一般的な計算機上に実装可能である。監視映像表示装置は、ＣＰＵ４０、ＲＯＭ２１、ＲＡＭ２２、ハードディスク２３、映像入力部３０、媒体入力部２６、入力制御部２８及び画像生成部２９を備える。ＣＰＵ４０、ＲＯＭ２１、ＲＡＭ２２、ハードディスク２３、映像入力部３０、媒体入力部２６、入力制御部２８及び画像生成部２９は、データバス２４によって相互に接続される。

ＣＰＵ４０は、ＲＯＭ２１又はＲＡＭ２２に記憶されたプログラムを実行することによって、各種処理を実行する。

ＲＯＭ２１及びＲＡＭ２２は、各種処理を実行するために必要なプログラム及びデータを記憶する。ＲＯＭ２１は、データの読み出し専用の記憶媒体である。一方、ＲＡＭ２２は、データの読み書きが可能な記憶媒体である。

ハードディスク２３は、監視映像などを格納する磁気記憶装置である。ハードディスク２３の代わりに半導体記憶媒体であるフラッシュメモリなどを利用してもよい。また、ネットワークなどを介して接続された外部記憶装置を利用するようにしてもよい。

本発明の実施の形態の監視映像表示装置を実現するためのプログラムは、記憶媒体２５に格納されており、媒体入力部２６を介してＲＡＭ２２に格納される。なお、ハードディスク２３に当該プログラムを格納し、ハードディスク２３から当該プログラムをＲＡＭ２２にロードしてもよい。また、ＲＯＭ２１にあらかじめ記憶させておいてもよい。

監視映像表示装置を実現するためのプログラムには、図１に示したオンライン映像登録部１０及び閲覧制御部２０が対応する。なお、図１に示した信頼性判定用データ７、信頼度付き時空間オブジェクトデータ１５及び背景データ１６は、ハードディスク２３に格納される。

映像入力部３０は、監視カメラ１が接続され、監視カメラ１によって撮影された映像の入力を受け付けるインタフェースである。監視カメラ１から入力された映像は映像入力部３０によって入力され、ＣＰＵ４０によって各種処理が実行される。

媒体入力部２６は、記憶媒体２５に記憶されたデータ及びプログラムを読み出し、ＣＰＵ４０によって、ＲＡＭ２２又はハードディスク２３に読み出されたデータ及びプログラムを格納する。

入力制御部２８は、キーボードなどの入力装置２７からユーザによって入力された情報を受け付け、ＣＰＵ４０によって処理される。

画像生成部２９は、図１の閲覧制御部２０による監視映像閲覧処理によって画像情報を作成し、ディスプレイ１４に表示する。

（動作）
次に、本発明の実施の形態の動作についてフローチャートを参照して説明する。

図３は、本発明の実施の形態のオンライン映像登録部１０による処理手順を示すフローチャートである。

ＣＰＵ４０は、まず、映像入力部３０によって、監視カメラ１で撮影された映像の入力を受け付ける（Ｓ１０１）。

ＣＰＵ４０は、次に、入力された映像列から背景作成部４によって背景画像を作成する。さらに、作成された背景画像を背景データ１６に格納する（Ｓ１０２）。具体的には、一定時間（例えば数分間）の入力画像のメディアン（中央値）を計算することによって、背景画像を作成する。

ＣＰＵ４０は、前景抽出部２によって、生成された背景データ１６と入力画像を比較することによって、前景領域を抽出する。さらに、抽出された前景領域の画像を前景データ格納部３に格納する（Ｓ１０３）。

前景領域は、入力画像と背景画像を比較することによって抽出される。例えば、公知の背景差分法が用いられる。具体的には、入力画像と背景画像との差分を取得し、取得された差分があらかじめ設定した閾値を越えた画素を前景と判定する。

また、他の方法としては、前景の色モデルとＭｉｎ−ｃｕｔ法を適用することによって前景を抽出することができる。Ｍｉｎ−ｃｕｔ法の詳細については、非特許文献１、及び「Jian Sun; Weiwei Zhang; Xiaoou Tang; Heung-Yeung Shum: Background Cut. Fast random rotation matrices. In ECCV, pages 628-641, 2006」に記述されている。

前景領域が抽出されると、各時刻ｔにおける、前景となる画素を取得できる。取得された画素について、近傍に位置する画素同士を接続することによって、当該時刻における前景オブジェクトが抽出される。例えば、監視映像に３人の人物が同時に写っている場合には、３つのオブジェクトが抽出される。

ＣＰＵ４０は、時空間オブジェクト抽出部５によって、抽出された前景オブジェクトを時系列順に配置し、時空間オブジェクトを抽出する（Ｓ１０４）。前景オブジェクトの接続とは、例えば、前景オブジェクトに対応する人物が撮影領域の中に入ってから外に出るまでの画像を時系列順に配置することである。すなわち、時刻ｔの前景オブジェクトと、時刻ｔ＋１の前景オブジェクトと比較した結果、同じ画素を共有する領域が含まれていた場合に、時刻ｔの前景オブジェクトと時刻ｔ＋１の前景オブジェクトとを接続する。時空間オブジェクトには、時系列順に配置された前景オブジェクト（群）が格納される。

以上の手順によって、時系列順に配置された前景オブジェクトを含む時空間オブジェクトが抽出される。抽出された時空間オブジェクトは、閲覧制御部２０における閲覧の候補となる。抽出された時空間オブジェクトの一例を図１０の時空間画像６０１に示す。時空間画像とは、図７に示すように二次元の画像に対して時間軸を追加した三次元画像である。図１０では三次元の時空間を簡単のため、二次元で表現している。図１０に示された時空間画像の詳細な説明については後述する。

ＣＰＵ４０は、次に、時空間オブジェクト信頼度算出部８によって、信頼性判定用データ７に基づいて、時空間オブジェクトの信頼度を算出する。本発明の実施の形態では、信頼度は、顔認証、行動解析及び存在範囲に基づいて算出される。

まず、ＣＰＵ４０は、時空間オブジェクトの前景オブジェクトが人物に対応する場合には、当該人物の顔を認証することによって信頼度を算出する（Ｓ１０５）。この場合、信頼性判定用データ７には、信頼できる人物の顔のテンプレートデータ（認証用画像）があらかじめ登録されており、時空間オブジェクトの各フレームについて登録されたテンプレートデータと照合する。

さらに具体的に説明すると、Ｓ１０５の顔認証処理では、時空間オブジェクトの各画像について、顔認証処理を実行する。図９に示すように顔認証用画像５０１と監視映像５００とを比較し、登録された認証用画像と同一であるか否かを判定する（Ｓ１０６）。ここで、監視カメラ１によって撮影された人物の顔認証処理について説明する。

図９は、本発明の実施の形態の顔認証処理を説明するための図である。

本発明の実施の形態では、信頼性判定用データ７に顔認証用画像（テンプレートデータ）５０１が格納されている。例えば、図９に示すように、監視映像５００から顔が表示された領域５０２を取得し、領域５０２と顔認証用画像５０１とを比較することによって、登録された人物であるか否かを判定する。

なお、前景オブジェクトが人物でない場合など、顔認証以外の方法で信頼度を算出してもよい。例えば、監視カメラ１が自動車の入口などに設置されている場合には、自動車のナンバープレートを認識して、あらかじめ登録された自動車であるか否かを認証することができる。自動車のナンバープレートを認識する技術については、従来の技術を利用すればよい。

ここで、図３のフローチャートの説明に戻る。

ＣＰＵ４０は、登録済みの顔認証用画像（テンプレートデータ）と時空間オブジェクトに含まれる人物の顔とが一致した場合には（Ｓ１０６の結果が「Ｙｅｓ」）、対応する顔識別子を、当該時空間オブジェクトに対応する時空間オブジェクトデータに登録する（Ｓ１０７）。

ＣＰＵ４０は、次に、時空間オブジェクトに対して行動解析を行うことによって（Ｓ１０８）、時空間オブジェクトに対応する人物が不審な行動をしているか否かを判定する（Ｓ１０９）。具体的には、撮影された人物の行動が不審でないことが明らかであるか否かを解析する。例えば、時空間オブジェクトの移動量を解析し、一定の速度で停留することなく通常の速度で移動している場合には普通に歩行していると判定し、不審な行動ではないと判定することが考えられる。

ＣＰＵ４０は、不審な行動が検知されなかった場合には（Ｓ１０９の結果が「Ｙｅｓ」）、時空間オブジェクトデータに信頼度を設定する（Ｓ１１０）。

ＣＰＵ４０は、次に、時空間オブジェクトに含まれる人物などのオブジェクトが画像上に存在した範囲を抽出する（Ｓ１１１）。具体的には、時空間オブジェクトの全画像について、存在領域の集合和を求めることによって抽出することができる。

ＣＰＵ４０は、最後に、信頼度が設定された時空間オブジェクトを信頼度付き時空間オブジェクトデータ１５に登録する（Ｓ１１２）。

以上の処理によって、監視カメラ１によって撮影された映像を入力として、信頼度付き時空間オブジェクトが生成され、信頼度付き時空間オブジェクトデータ１５に格納される。

図１２は、本発明の実施の形態の信頼度付き時空間オブジェクト７００の詳細を説明する図である。

信頼度付き時空間オブジェクトデータ１５には、監視カメラ１によって撮影された映像をオンライン映像登録部１０で処理することによって生成された信頼度付き時空間オブジェクト７００が格納される。

信頼度付き時空間オブジェクト７００は、開始時刻７０１、終了時刻７０２、顔識別子７０３、行動信頼度７０４、前景画像（群）７２０及び存在範囲データ７３０を含む。

開始時刻７０１は、時空間オブジェクトが発生した時刻である。終了時刻７０２は、時空間オブジェクトが消滅した時刻である。具体的には、監視カメラ１の撮影領域内の入場した時刻が開始時刻７０１であって、退場した時刻が終了時刻７０２である。

顔識別子７０３は、図３のＳ１０７の顔認証処理で認証された場合に、該当する顔の識別子が保存される。登録されている顔認証用画像に一致しない場合には、「該当なし」が保存される。

行動信頼度７０４には、図３のＳ１０８の行動解析処理によって解析された信頼度が保存される。例えば、行動内容が普通に歩行しているのみの場合には信頼度１、特定の場所で停留したり、移動方向の変化が顕著な場合には信頼度０が保存される。

なお、顔識別子７０３及び行動信頼度７０４などに基づいて設定される値を別途保持するように構成してもよい。

また、時空間オブジェクトデータ１５には、開始時刻から終了時刻までに撮影された前景オブジェクトの画像（前景画像）が含まれる。すなわち、開始時刻から終了時刻までの各時刻７１３の前景画像７２０が保存される。ここで、前景画像７２０は前景オブジェクトが存在する画素には前景画像の色を、前景画像の範囲以外には、範囲以外であることを示すマスクを保存する。

存在範囲データ７３０は、図３のＳ１１１の存在範囲登録処理によって、前景オブジェクトが存在した領域を示す情報である。

図１１は、本発明の実施の形態の時空間オブジェクトを閲覧するための閲覧制御部２０による処理手順を示すフローチャートである。

ＣＰＵ４０は、ユーザからの閲覧要求１１の入力を受け付ける（Ｓ２０１）。ここで、閲覧要求１１の内容について、図１３を参照しながら説明する。

図１３は、本発明の実施の形態の時空間オブジェクトの閲覧要求１１の入力仕様の一例を示す図である。

本発明の実施の形態の閲覧要求１１には、閲覧開始時刻８０１、閲覧終了時刻８０２、閲覧時間８０３、顔識別利用フラグ８０４、行動解析利用フラグ８０５及び領域指定情報８０６が含まれる。

閲覧開始時刻８０１は、閲覧する監視映像の始点に対応する時刻である。また、閲覧終了時刻８０２は、閲覧する監視映像の終点に対応する時刻である。

閲覧時間８０３は、閲覧開始時刻８０１及び閲覧終了時刻８０２によって指定された監視映像を閲覧する時間である。本発明の実施の形態では、長時間の監視映像を短時間で閲覧するために、実際の監視映像の時間よりも短い時間を閲覧時間として設定できる。例えば、午後５時から午後８時までの映像を１０分で閲覧するといった設定が可能である。

顔識別利用フラグ８０４は、顔が認証された人物に対応する時空間オブジェクトを閲覧時に表示するか否かを設定するフラグであり、真又は偽の２値が設定される。

行動解析利用フラグ８０５は、行動解析によって信頼できると認証された人物に対応する時空間オブジェクトを閲覧時に表示するか否かを設定するフラグであり、真又は偽の２値が設定される。

領域指定情報８０６は、ある領域に関係した時空間オブジェクトを表示することを指定するための情報である。例えば、指定された領域を通過した時空間オブジェクトだけを表示し、指定された領域を通過しない時空間オブジェクトは表示しないといった設定を行うことができる。

以上の情報が設定された閲覧要求１１の入力を受け付けて、指定された時空間オブジェクトを閲覧する。ここで、図１１のフローチャートの説明に戻り、閲覧要求１１が入力された後の処理について説明する。

ＣＰＵ４０は、時空間オブジェクト選択部１８によって、Ｓ２０１の処理で受け付けられた閲覧要求１１に基づいて、表示する時空間オブジェクトを選択する（Ｓ２０２）。すなわち、閲覧要求１１に含まれる閲覧開始時刻８０１及び閲覧終了時刻８０２を、各時空間オブジェクトの開始時刻７０１及び終了時刻７０２と比較し、期間が重複する時空間オブジェクトを選択し、時空間オブジェクト表示候補リスト１９に格納する。

ＣＰＵ４０は、顔識別利用フラグ８０４の値が真の場合には、時空間オブジェクト表示候補リスト１９に含まれている各時空間オブジェクトについて、顔識別子７０３が設定されているか否かを判定する。そして、顔識別子７０３が設定されている時空間オブジェクトを時空間オブジェクト表示候補リスト１９から除外する（Ｓ２０３）。

ＣＰＵ４０は、行動解析利用フラグ８０５の値が真の場合には、時空間オブジェクト表示候補リスト１９に含まれている時空間オブジェクトの行動信頼度７０４の値を参照し、行動信頼度７０４の値が１の場合には、時空間オブジェクト表示候補リスト１９から除外する（Ｓ２０４）。

ＣＰＵ４０は、領域指定情報８０６が指定されている場合には、時空間オブジェクト表示候補リスト１９の各時空間オブジェクトに対して存在範囲データ７３０と、領域指定情報８０６とを比較する。そして、存在範囲データ７３０と領域指定情報８０６の領域との共通領域が存在しない場合には、時空間オブジェクト表示候補リスト１９から除外する（Ｓ２０５）。

以上の手順によって、表示される時空間オブジェクトによって構成される時空間オブジェクト表示候補リスト１９が作成される。

続いて、ＣＰＵ４０は、時空間オブジェクト配置部１２によって、時空間オブジェクト表示候補リスト１９を時空間上で重ならないように配置する（Ｓ２０６）。時空間オブジェクトの配置とは、時空間オブジェクト表示候補リスト１９に含まれている時空間オブジェクトを表示するタイミングを決定することである。このとき、表示順序は、時空間オブジェクトの開始時刻７０１の順序となるが、先行関係以外の時間要素は変更される。具体的には、各時空間オブジェクトの開始時刻７０１の間隔を指定された閲覧時間に収まるように設定したり、各時空間オブジェクトの開始時刻７０１の間隔を閲覧要求１１の閲覧時間８０３に基づいて圧縮したりする。ここで、図１０を参照しながら時空間オブジェクトの配置についてさらに説明する。

図１０は、本発明の実施の形態の時空間オブジェクトの配置を説明する図である。

時空間画像６０１は、オリジナルの監視映像に対応する時空間オブジェクトを表している。図１０の時空間オブジェクトは、人物などの前景オブジェクトが移動した経路に対応する。また、図１０には、３つの時空間オブジェクトが存在する。縦軸は時間軸を表し、上から開始時刻の早い順に時空間オブジェクトが表示されている。

圧縮時空間画像６０２は、３つの時空間オブジェクトを表示するタイミングを調整することによって、連続的に前景オブジェクトが表示されるように調整したものである。例えば、各時空間オブジェクトが人物に対応するならば、異なる時間に撮影された人物が連なって歩行しているように表示される。圧縮時空間画像６０２では、各時空間オブジェクトが、所定の閲覧時間８０３に収まるように時間軸方向で移動することによって指定された時空間に収まるように再配置される。圧縮時空間画像６０２を生成する処理の詳細は非特許文献１に記載されている。

超圧縮時空間画像６０３は、時空間画像６０１に含まれる３つの時空間オブジェクトのうち、信頼度の高い１つの時空間オブジェクトを除外し、さらに、残りの時空間オブジェクトを再配置したものである。超圧縮時空間画像６０３に示すように、信頼度の高い時空間オブジェクトを除外することで、さらに閲覧時間を短縮することが可能となる。なお、時空間オブジェクトの配置方法に関しては、非特許文献１に詳細が記載されている。

また、前述したように、信頼度を０又は１の二値とするのではなく、他の値を設定できるようにしてもよい。例えば、任意の値を設定可能とし、あらかじめ設定された閾値と、時空間オブジェクトに設定された信頼度とを比較することによって、当該時空間オブジェクトを表示するか否かを決定してもよい。

最後に、ＣＰＵ４０は、再配置された時空間オブジェクトと背景データ１６とを合成して閲覧画像を生成し、ディスプレイ１４に表示する（Ｓ２０７）。

以上が、時空間オブジェクトを閲覧するための閲覧制御部２０による処理である。以下、図４〜図１０を参照しながら本発明の実施の形態の具体的な動作例について説明する。

図４は、本発明の実施の形態における監視カメラによって撮影されたオリジナル監視映像の一例を示す図である。

図４に示す例では、３人の人物が撮影されている。人物ｍ₁は、時刻ｓ₁で登場し、時刻ｅ₁で退場している（３０１）。同様に、人物ｍ₂は時刻ｓ₂で登場し、時刻ｅ₂で退場している（３０２）。さらに、人物ｍ₃は、時刻ｓ₃で登場し、時刻ｅ₃で退場している（３０３）。

図４のグラフ３０４は、縦軸を登場した人物とし、横軸を時間軸としたグラフである。グラフ３０４を参照すると、人物ｍ₁、人物ｍ₂及び人物ｍ₃は、図４の監視映像３０１、監視映像３０２及び監視映像３０３に示すように、人物ｍ₁、人物ｍ₂、人物ｍ₃の順で、別々のタイミングで撮影されている。

図７は、本発明の実施の形態の監視映像の時空間表示した時空間画像４００の一例を示す図である。

前述したように、時空間画像は、二次元の画像に対して時間軸を追加した三次元画像である。各時刻で撮影された二次元画像を時系列順に配置したものである。図４に示した３人の人物は、入場時刻及び退場時刻が重複しないため、図７の時空間画像４００に示すように、３人の人物は時空間画像上に独立して存在している。

ここで、図４に示したオリジナル監視映像及び図７に示した時空間画像４００を時間軸方向に圧縮した圧縮監視映像３１１及び圧縮時空間画像４１０について説明する。

図５は、本発明の実施の形態の圧縮監視映像３１１の一例を示す図である。

図５に示す圧縮監視映像３１１は、各人物に対応する時空間オブジェクトに含まれる前景画像の表示開始（入場）時刻を調節し、すべての人物が連続して表示されるように編集された画像である。図７に示した圧縮時空間画像４１０も同様に、同時に各人物が表示されるようになっている。

このように表示することによって、人物が表示されていない期間の映像を省略することができるため、オリジナルの監視映像よりも短い時間で監視映像を閲覧することが可能となる。

ここで、人物ｍ₂が図３のＳ１０５の処理で登録された顔認証用画像と照合されたと仮定する。顔認証処理については、図９にて説明したとおりである。図９の監視映像５００と図４の監視映像３０２とが一致すると仮定すると、人物ｍ₂の信頼できると判定される。したがって、人物ｍ₂に対応する時空間オブジェクトを表示対象から除外することができる。

このようにして人物ｍ₂を除外することによって超圧縮監視映像３２１及び超圧縮時空間画像４２０を生成することができる。

図６は、本発明の実施の形態の超圧縮監視映像３２１の一例を示す図である。

超圧縮監視映像３２１は、図５に示した圧縮監視映像３１１から人物ｍ₂を除外した画像である。グラフ３２５からは、人物ｍ₂が除外されている。本発明の実施の形態では、３人の人物が撮影されている例を示しているが、多くの人物が撮影されている場合には、閲覧時間を大幅に短縮することが可能となり、さらに有効である。

図８は、本発明の実施の形態の監視映像を時空間表示した時空間画像４００及び超圧縮時空間画像４２０の一例を示す図である。

図６に示した超圧縮監視映像３２１と同様に、人物ｍ₂に対応する時空間オブジェクトが除外されている。すなわち、人物ｍ₁及び人物ｍ₃のみが含まれている状態となっている。

ここで、図１０を参照しながら前述した圧縮の方法についてさらに説明する。図１０では、簡単のため、３次元の時空間画像を二次元で表示している。

時空間画像６０１は、オリジナルの監視映像を示している。図１０において黒線で表されている部分は時空間オブジェクトを表しており、オリジナルの時空間画像６０１には３つの時空間オブジェクトが存在している。また、これらの３つの時空間オブジェクトは、それぞれ、人物ｍ₁、ｍ₂、ｍ₃に対応する。

圧縮時空間画像６０２は、３つの時空間オブジェクトの開始時刻の間隔を短縮して表したものである。超圧縮時空間画像６０３は、さらに、人物ｍ₂が信頼できると判定されたため、人物ｍ₂に対応する時空間オブジェクトを除外して表したものである。

時空間画像６０１、圧縮時空間画像６０２及び超圧縮時空間画像６０３の縦の長さは閲覧時間に対応している。図１０を参照すると、オリジナルの時空間画像６０１が圧縮されることで、閲覧に必要な時間が短縮されていることがわかる。

なお、本発明の実施の形態では、表示する時空間オブジェクトの選別基準として、顔認証、動作解析、及び存在範囲の３つの評価基準を用いていた。これらの３つの評価基準は、任意の１つの評価基準のみに基づいて時空間オブジェクトを選別してもよい。すなわち、顔認証だけ、動作解析だけ、又は存在範囲だけに基づいて、表示する時空間オブジェクトを選別することが可能である。また、いずれか２つの評価基準を組み合わせてもよい。

本発明の実施の形態では、前述した選別基準によって信頼できると判定された時空間オブジェクトを表示対象から除外している。別のオプションとして、信頼できると判定された時空間オブジェクトを半透明に表示してもよい。時空間オブジェクトは、前景領域として定義されているため、背景に合成するときにユーザ指定の透明度を乗算することによって半透明表示が可能である。

さらに別のオプションとして、信頼度が高い時空間オブジェクトを、閲覧時に登場順を遅らせて表示するようにしてもよい。この場合には、信頼できる時空間オブジェクトを登場順が後になるように配置すればよい。

（効果）
本発明の実施の形態では、オンライン映像登録部１０の時空間オブジェクト抽出部５によって、監視対象となる人物又は移動物体（移動体）に対応する時空間オブジェクトを抽出し、時空間オブジェクト格納部６に格納する。そして、時空間オブジェクト信頼度算出部８によって信頼性判定用データ７に基づいて、各時空間オブジェクトの信頼度を算出する。さらに、信頼度の高い時空間オブジェクトを表示対象から除外し、時空間オブジェクト配置部１２及び時空間オブジェクト合成部１３によって超圧縮監視映像を合成して表示する。

本発明の実施の形態によれば、以上の手順によって、監視映像を短時間で閲覧することが可能となる。本発明の実施の形態では、監視映像を早送りなどして表示する必要がなく、信頼度が高い時空間オブジェクトのみが除外されるため、短時間で監視映像を閲覧することを可能としながら、重要なイベントを見逃す可能性を少なくすることができる。

本発明の実施の形態の監視映像表示装置の構成図である。 本発明の実施の形態の監視映像表示装置のハードウェア構成を示す図である。 本発明の実施の形態のオンライン映像登録部による処理手順を示すフローチャートである。 本発明の実施の形態における監視カメラによって撮影されたオリジナル監視映像の一例を示す図である。 本発明の実施の形態の圧縮監視映像の一例を示す図である。 本発明の実施の形態の超圧縮監視映像の一例を示す図である。 本発明の実施の形態の監視映像を時空間表示した時空間画像及び圧縮時空間画像の一例を示す図である。 本発明の実施の形態の監視映像を時空間表示した時空間画像及び超圧縮時空間画像の一例を示す図である。 本発明の実施の形態の顔認証処理を説明するための図である。 本発明の実施の形態の時空間オブジェクトの配置を説明する図である。 本発明の実施の形態の時空間オブジェクトを閲覧するための閲覧制御部による処理手順を示すフローチャートである。 本発明の実施の形態の信頼度付き時空間オブジェクトの詳細を説明する図である。 本発明の実施の形態の時空間オブジェクトの閲覧要求の入力仕様の一例を示す図である。

１ 監視カメラ
２ 前景抽出部
３ 前景データ格納部
４ 背景作成部
５ 時空間オブジェクト抽出部
６ 時空間オブジェクト格納部
７ 信頼性判定用データ
８ 時空間オブジェクト信頼度算出部
１０ オンライン映像登録部
１１ 閲覧要求
１２ 時空間オブジェクト配置部
１３ 時空間オブジェクト合成部
１４ ディスプレイ
１５ 信頼度付き時空間オブジェクトデータ
１６ 背景データ
１８ 時空間オブジェクト選択部
１９ 時空間オブジェクト表示候補リスト
２０ 閲覧制御部
２１ ＲＯＭ
２２ ＲＡＭ
２３ ハードディスク
２４ データバス
２５ 記憶媒体
２６ 媒体入力部
２７ 入力装置
２８ 入力制御部
２９ 画像生成部
３０ 映像入力部
４０ ＣＰＵ

Claims (19)

1. 蓄積された映像を出力する映像出力装置において、前記蓄積された映像を出力する方法であって、
   前記映像出力装置は、前記蓄積された映像を登録する映像登録部と、閲覧を要求された映像を指定された条件に基づいて出力する閲覧制御部と、を備え、
   前記映像登録部は、
   前記蓄積された映像を、移動体を含む前景画像と、前記前景画像以外の背景画像とに分離し、
   前記移動体ごとに、前記分離された前景画像を時系列順に配置された前景画像群を含む時空間オブジェクトを抽出し、
   前記抽出された時空間オブジェクトに含まれる前景画像に基づいて、前記抽出された時空間オブジェクトの信頼度を算出し、
   前記閲覧制御部は、
   前記蓄積された映像の閲覧要求を受け付けた場合には、前記受け付けられた閲覧要求及び前記算出された信頼度に基づいて、前記時空間オブジェクトを選択し、
   前記選択された時空間オブジェクトの出力順序及び出力開始時間を設定し、
   前記選択された時空間オブジェクトに含まれる前景画像群を出力することを特徴とする映像出力方法。
2. 前記閲覧制御部は、前記選択された時空間オブジェクトに含まれる前景画像群を、前記分離された背景画像と合成して出力することを特徴とする請求項１に記載の映像出力方法。
3. 前記信頼度は、前記時空間オブジェクトに含まれる前景画像を、あらかじめ登録された移動体を識別するための情報と比較することによって算出されることを特徴とする請求項１に記載の映像出力方法。
4. 前記信頼度は、前記時空間オブジェクトの前景画像に含まれる移動体の動作を解析することによって算出されることを特徴とする請求項１に記載の映像出力方法。
5. 前記移動体が一定の速度で移動している場合には、前記信頼度が高いと判定されることを特徴とする請求項４に記載の映像出力方法。
6. 前記信頼度は、前記時空間オブジェクトが移動した範囲に基づいて算出されることを特徴とする請求項１に記載の映像出力方法。
7. 前記閲覧制御部は、前記信頼度が所定の閾値よりも高い時空間オブジェクトを出力しないことを特徴とする請求項１に記載の映像出力方法。
8. 前記閲覧制御部は、前記信頼度が所定の閾値よりも高い時空間オブジェクトを半透明に出力することを特徴とする請求項１に記載の映像出力方法。
9. 前記閲覧制御部は、前記信頼度に基づいて、前記時空間オブジェクトの出力順序を設定することを特徴とする請求項１に記載の映像出力方法。
10. 蓄積された映像を出力する映像出力装置であって、
    前記映像出力装置は、前記蓄積された映像を登録する映像登録部と、閲覧を要求された映像を指定された条件に基づいて出力する閲覧制御部と、を備え、
    前記映像登録部は、
    前記蓄積された映像を、移動体を含む前景画像と、前記前景画像以外の背景画像とに分離し、
    前記移動体ごとに、前記分離された前景画像を時系列順に配置された前景画像群を含む時空間オブジェクトを抽出し、
    前記抽出された時空間オブジェクトに含まれる前景画像に基づいて、前記抽出された時空間オブジェクトの信頼度を算出し、
    前記閲覧制御部は、
    前記蓄積された映像の閲覧要求を受け付けた場合には、前記受け付けられた閲覧要求及び前記算出された信頼度に基づいて、前記時空間オブジェクトを選択し、
    前記選択された時空間オブジェクトの出力順序及び出力開始時間を設定し、
    前記選択された時空間オブジェクトに含まれる前景画像群を出力することを特徴とする映像出力装置。
11. 前記閲覧制御部は、前記選択された時空間オブジェクトに含まれる前景画像群を、前記分離された背景画像と合成して出力することを特徴とする請求項１０に記載の映像出力装置。
12. 前記信頼度は、前記時空間オブジェクトに含まれる前景画像をあらかじめ登録された移動体を識別するための情報と比較することによって算出されることを特徴とする請求項１０に記載の映像出力装置。
13. 前記信頼度は、前記時空間オブジェクトの前景画像に含まれる移動体の動作を解析することによって算出されることを特徴とする請求項１０に記載の映像出力装置。
14. 前記移動体が一定の速度で移動している場合には、前記信頼度が高いと判定されることを特徴とする請求項１３に記載の映像出力装置。
15. 前記信頼度は、前記時空間オブジェクトが移動した範囲に基づいて算出されることを特徴とする請求項１０に記載の映像出力装置。
16. 前記閲覧制御部は、前記信頼度が所定の閾値よりも高い時空間オブジェクトを出力しないことを特徴とする請求項１０に記載の映像出力装置。
17. 前記閲覧制御部は、前記信頼度が所定の閾値よりも高い時空間オブジェクトを半透明に出力することを特徴とする請求項１０に記載の映像出力装置。
18. 前記閲覧制御部は、前記信頼度に基づいて、前記時空間オブジェクトの出力順序を設定することを特徴とする請求項１０に記載の映像出力装置。
19. 監視カメラと、前記監視カメラに接続された映像出力装置とを備える監視映像出力システムであって、
    前記監視カメラは、所定の領域を撮影した映像を前記映像出力装置に送信し、
    前記映像出力装置は、
    前記監視カメラによって撮影された映像の入力を受け付け、
    前記撮影された映像を、移動体を含む前景画像と、前記前景画像以外の背景画像とに分離し、
    前記移動体ごとに、前記分離された前景画像を時系列順に配置された前景画像群を含む時空間オブジェクトを抽出し、
    前記抽出された時空間オブジェクトに含まれる前景画像に基づいて、前記抽出された時空間オブジェクトの信頼度を算出し、
    前記蓄積された映像の閲覧要求を受け付けた場合には、前記受け付けられた閲覧要求及び前記算出された信頼度に基づいて、前記時空間オブジェクトを選択し、
    前記選択された時空間オブジェクトの出力順序及び出力開始時間を設定し、
    前記選択された時空間オブジェクトに含まれる前景画像群を出力することを特徴とする監視映像出力システム。