JP2005210573A - 映像表示システム - Google Patents

Abstract

【課題】 映像内容の把握をより短時間で容易にする。
【解決手段】 映像データ中に写っている個々の物体を検出し、同一の物体が複数の画像フレームに渡って写っている期間を認識して１つの映像期間単位と捉えると共に、上記映像期間単位内に写っている一連の同一物体を１つのオブジェクトとして上記映像期間単位と関連付け、このオブジェクトの特徴をメタデータとして抽出するオブジェクト処理部３０と、上記各映像期間単位において、上記メタデータに基づいて映像記憶部２０に蓄積された映像データの中から所定の基準を満たす少なくとも１枚の画像フレームを当該映像期間単位における代表画像ベースとして抽出し、かつ当該映像期間単位と関連付けられたオブジェクトが強調されるように上記代表画像ベースを加工し、当該映像期間単位における代表画像を生成する代表画像処理部５０とを備えた。
【選択図】 図１

Description

本発明は、映像表示システムに関し、特に、映像データの中に写っている物体を認識し、写っている物体が明示的に表示されるような映像表示システムに関するものである。

従来の映像表示システムは、例えば特許文献１に示されるように、映像データを複数の期間に分割し、各期間の特徴を画像から計算して分類を行い、また各期間の映像を代表する代表画像を選択し、この代表画像を分類種類毎に表示を行うことにより、映像内容の把握および特定シーンの検索を容易にすることをねらっている。
また、例えば特許文献２などでは、映像データの輝度差分比較によって分割を行い、分割された期間毎にシーンのタイプを静止画シーン、カメラ動きシーン、対象物動きシーンなどに分類して、それぞれのタイプに応じた代表フレームを検出している。

しかし、これら従来の映像表示システムでは、複数期間へ分割する方法が一定間隔毎であったりカットの切り替わりを検出したりして分割することが想定されており、個々の物体の存在を対象としたものではない。また、各期間の代表画像についても単に各期間の先頭画像であったり、動き情報が最大値のものや画面類似度が最大のものであったりすることが想定されているだけで、どのような特徴を持った物体がその期間内に写っている映像なのかを把握することは難しく、例えばある挙動を特徴とした物体を検索したいというような目的に対しても十分ではない。

一方、特許文献３によると、映像データ中に写る物体を対象とした映像内容管理を行い、これを基に所望の映像部分を検索することをねらっている。すなわち、その要約書に記載されているように、監視カメラからのビデオ内の動く物体は、動きセグメント分割装置により、動きセグメント分割方法を用いてビデオ・シーケンス内で検出される。物体が、物体追跡装置にあるセグメント分割されたデータを通じて追跡される。物体並びにその動きを記述する注釈を付したグラフの形で、ビデオの記号表示が発生される。動き解析装置が物体を追跡した結果を解析し、幾つかの事象を記述する索引をグラフの動きに注釈として付ける。その後、物体の出現／消滅、置くこと／取り去ること、入ってくること／出てゆくこと及び動き／静止のような関心のある事象を確認する為の規則に基づいた分類方式を用いて、索引が付けられる。空間−時間的な質問並びに事象及び物体に基づく質問によって定められたビデオのクリップが呼出されて、所望のビデオを見せる。
しかし、写っている物体がその期間においてどのような特徴のものであったかを明示的に表示する代表画像を抽出するような仕組みは特に持っていない。

特開２００３−２８３９６８号公報（第３頁、第１図） 特開平９−２３３４２２号公報（第１頁、第１および２図） 特開平１０−８４５２５号公報（第１頁、第５図）

従来の映像表示システムでは、映像を分割する方法が、厳密には写っている個々の物体を単位としておらず、また表示される代表画像が、写っている物体の分割された映像期間における特徴を明示的に表現していない。従って、表示される代表画像がその期間の映像の中身を十分表現できず、各映像期間においてどのようなものが写っているかの内容を把握することを困難にさせている。従って、例えばある特徴を持つ物体が写っている映像部分を検索しようとする場合、検索条件に合ったものが写っていることを確認しながら所望の映像部分を絞り込むという作業についても非常に難しくしている。

本発明は、上記のような従来のものの問題点を解決するためになされたものであり、映像内容の把握をより短時間で容易にすることができる映像表示システムを提供することを目的とするものである。

本発明に係る映像表示システムは、映像データを入力する映像入力部と、入力された映像データを蓄積する映像記憶部と、映像データ中に写っている個々の物体を検出し、同一の物体が複数の画像フレームに渡って写っている期間を認識して１つの映像期間単位と捉えると共に、上記映像期間単位内に写っている一連の同一物体を１つのオブジェクトとして上記映像期間単位と関連付け、このオブジェクトの特徴をメタデータとして抽出するオブジェクト処理部と、上記各映像期間単位において、上記メタデータに基づいて上記映像記憶部に蓄積された映像データの中から所定の基準を満たす少なくとも１枚の画像フレームを当該映像期間単位における代表画像ベースとして抽出し、かつ当該映像期間単位と関連付けられたオブジェクトが強調されるように上記代表画像ベースを加工し、当該映像期間単位における代表画像を生成する代表画像処理部と、上記代表画像の表示を行う表示部とを備えたものである。

この発明によれば、映像中に写っている個々の物体を対象に映像期間の分割を行い、対象となった各物体の期間中における特徴を強調して表示する機能を備えたので、映像中の個々の物体が続けて写っているという意味のある単位での映像期間を扱うことができ、かつその映像期間単位に分割された要因が明確に表示される。これによって映像中に写っているものをベースとした映像内容の把握がより短時間で容易に行えるという効果があり、従って、映像データ中から所望の映像を検索することも容易となる。

実施の形態１．
図１は、本発明の実施の形態１による映像表示システムの機能ブロック構成を示し、映像表示システムの構成要素と動作手順を説明するための図である。以下に、この図を基に、本実施の形態による映像表示システムの構成と動作について説明する。本システムは、パソコンやワークステーションのように、コンピュータによって処理が実行される環境において構築されるものである。

映像入力部１０では、ビデオカメラや映像記録再生装置、もしくはＬＡＮ（Local Area Network）や公衆回線等のネットワークから伝送されてくる映像データの入力を受け付け、入力された映像データを後段の映像記憶部２０とオブジェクト処理部３０に渡す。
なお、映像入力部１０は、アナログのビデオカメラのような機器から映像データが入力される場合は、Ａ／Ｄ（Analog-Digital）変換機能を有している。一方、ＬＡＮ等を経由して既にディジタル化された映像データが入力されるような場合には、Ａ／Ｄ変換機能は不要であるが、物理的および論理的なインターフェースとして対応する通信プロトコル処理を行い、映像データ部分のみを取り出す機能を有している。

映像記憶部２０は、前記入力された映像データを蓄積しておくもので、後で代表画像処理部５０によって映像データの読み出しが可能なように、ＨＤＤ（Hard Disk Drive）やＲＡＭ（Random Access Memory）といった電子メディアによって実装する。

オブジェクト処理部３０は、オブジェクト抽出部３１とメタデータ抽出部３２とからなり、以下にその機能を説明する。
始めに、オブジェクト抽出部３１によって、映像入力部１０から渡された映像データ中に写っている個々の物体を背景画像から切り出し、さらに、同一の物体が複数の画像フレーム（以下、画像フレームのことを単にフレームということもある。）間に渡って写っている期間を認識して１つの映像期間単位にまとめると共に、この映像期間単位内に写っている一連の同一物体と認識したものを１つのオブジェクトとして関連づける。以下、このように、映像期間単位と関連付け付けられたオブジェクトのことを、対象オブジェクト、あるいは映像期間単位に対応するオブジェクトと言うこともある。
なお、映像からの物体の切り出しや同一物体が複数フレーム間に渡って写っていることの認識方法については、例えば特開２００１−０７６１５６号公報「画像監視装置」に見られるような、画像差分抽出やテンプレート探索といった画像処理技術を用いることによって自動的に行うことを、一般には想定している。ただし、必要に応じて人手を介した処理を交えることも考えられる。

次に、メタデータ抽出部３２によって、この１つの映像期間単位における対象オブジェクトの特徴をメタデータの形で抽出する。抽出する方法としては、前述の特開２００１−０７６１５６号公報に見られるような画像処理技術を用いることにより、物体の面積や位置や移動軌跡といった特徴の抽出を自動的に行うことを、一般には想定している。ただし、これについても必要に応じて人手を介した処理を交えることも考えられる。
抽出されたメタデータは、後続の処理がしやすい形で保持する。例えばこのシステムを実現する際にファイルシステムを持つコンピュータを利用するような場合、メタデータファイルとして保存するなどの方法をとる。

メタデータ記憶部４０では、メタデータ抽出部３２で抽出されたメタデータを記憶する。図２は、メタデータ記憶部４０において管理されるメタデータの一例を表のイメージで表したものである。抽出されるメタデータの例としては、例えば１つのオブジェクトが映像に写り始めた時点である先頭フレーム情報（ここでのフレーム情報とは該当フレームを特定するポインタ情報であって、フレーム番号やタイムスタンプなどによって表現する。）や、オブジェクトが最後に写っている最終フレーム情報や、該当映像期間単位内にそのオブジェクトが最大の面積で写っている時とかオブジェクトが人間の場合なら顔が最もよく写っている時といったような条件にあてはまる特定の代表フレーム情報などがある。あるいは、オブジェクトそのものの特徴として、期間内におけるオブジェクトの持つ色情報や、平均の動きベクトル量や、どの位置を通過していったかといった軌跡情報や、通過場所における滞留時間情報といったものも挙げられる。また、さらに詳細な情報の例としては、オブジェクトが写っている各フレーム単位における、オブジェクトが写っている画面上の位置座標情報（位置とは、例えば、重心、オブジェクトに外接する楕円形や四角形などの閉曲線、オブジェクトの面積のある割合を領域内に含む楕円形や四角形などの閉曲線、などを対象とした位置である。）、オブジェクト領域部分すなわちオブジェクトが例えば人である場合には人の形をした領域のビットマップ情報、などがある。

また、前述のような画像処理から直接導かれる特徴量に対して、間接的な特徴量としてのメタデータの一例を以下に挙げる。映像中より抽出されたオブジェクトがその形状や動作の特徴を基にして、例えば人なのか車なのかといったといった種類分けや、人の場合に立っているのか寝ているのかといった状態や、さらに例えば人の場合に体型や顔の形状などから人種や性別や年齢といった情報などが考えられる。あるいは、人の顔の形状などの特徴を基にあらかじめシステムに登録されている個人を特定できたり、映像データ情報とは別に、個人ＩＤを識別するＩＤカードやタグなどから個人を特定する情報が得られたりする場合には、対象オブジェクトが持っている個人ＩＤや名称をメタデータとして持つことも考えられる。これらの特徴を抽出するには、通常は、専用の画像処理アルゴリズムをメタデータ抽出部３２内に持つことになるが、場合によっては人手を介した処理を交えることも考えられる。

代表画像処理部５０は、代表画像ベース選択部５１とオブジェクト強調部５２とからなり、各オブジェクトが含まれる各映像期間単位の特徴を簡単に表現するための代表画像を生成する。ただし、本発明における代表画像とは、単に１枚の静止画像によって成り立っているという制限は特に無く、時間的に変化する動画像のような性質のものも含めた表現形態をも全て代表画像と呼ぶことにしている。
以下にその機能を説明する。

始めに、代表画像ベース選択部５１によって、代表画像を生成するためにベースとなるフレームを選択する。すなわち、各映像期間単位において、メタデータに基づいて映像記憶部２０に蓄積された映像データの中から所定の基準を満たす少なくとも１枚の画像フレームを当該映像期間単位における代表画像ベースとして抽出する。
所定の基準を満たすとは、例えば、メタデータ抽出処理の際にオブジェクトの画面上の面積が最大となるフレームをメタデータの項目の１つとしてあらかじめ抽出しておいた場合、これらのフレームを代表画像ベースに選ぶことができる。また、このようにあらかじめメタデータの中に代表画像ベースとなるべきフレームの抽出が完了している必要はなく、例えばメタデータに各フレームにおけるオブジェクトの面積が保存されている場合なら、代表画像ベース選択部５１において、この面積がメタデータ中で最大の値のものを計算してから代表画像ベースを決定しても構わない。

また、この他の代表画像ベース選択の基準例として、オブジェクトの面積が最大ではなく平均となる時のもの、面積ではなく位置が画面中央など所定の場所に最も近い時のもの、オブジェクトの動き量が少ない時のもの、オブジェクトが特定の行動や動作を行った時のもの、オブジェクトが正面を向いている時のもの、人の場合なら顔がよく写っている時のもの、全身が写っている時のもの、といったような基準でもよい。
また、オブジェクトの特徴の表し方として、移動軌跡などの動きなど見せたい場合には、代表画像ベースとして複数のフレームを選択する場合もある。

代表画像処理部５０の機能として、次に、オブジェクト強調部５２によって、写っているオブジェクト、すなわちその映像期間単位と関連付けられたオブジェクトの特徴が強調されるよう、選択された代表画像ベースに対して加工を施す。
例えば、メタデータとして、画面上におけるオブジェクトに外接する閉曲線（例えば、四角形や楕円形など）の位置座標を持っている場合、先に選択した代表画像ベース上にオブジェクトに外接する閉曲線でオブジェクトを囲むように重畳表示を加えたものを改めて代表画像とする。
あるいは、別の例としては、オブジェクト領域をある割合で含む閉曲線（例えば、四角形や楕円形など）で囲んだり、オブジェクトの領域部分だけ、すなわちオブジェクトが例えば人である場合には人の形をしている領域だけを囲んだり目立つ色で着色したり明度や彩度を変化させたりしてもよい。

あるいは、オブジェクトの領域部分やオブジェクトの外接閉曲線（例えば、四角形や楕円形など）内の領域などを拡大して表示することによる強調も可能である。この場合、元の代表画像ベース上で拡大したオブジェクト領域を再重畳して表示したものを代表画像としてもよいし、オブジェクトの外接閉曲線内の領域を最大限に拡大した部分のみを取り出して改めて代表画像と指定し直してもよい。あるいは元の代表画像と拡大したオブジェクト画像とを二つ並列に表示して代表画像としてもよい。
あるいは、映像データの圧縮方法において部分的に解像度を変化させられるような方式が用いられておれば、オブジェクトの領域だけを高精細に表示するといった方法も考えられる。

上記のような例は、いずれもある時刻に撮影された１枚のフレームだけを基にして、映像期間単位と関連付けられたオブジェクトが強調されるように代表画像ベースを加工し、静止状態の代表画像を生成する例であるが、別の例として、オブジェクトの移動軌跡など動き情報を見せたい場合のオブジェクト強調方法の例を以下に挙げる。
このようなオブジェクトの時間的変化を示す代表画像の生成は、例えば、所定の時間間隔で複数のフレームを代表画像ベースとして選択し、どれか１枚のフレームを背景画像として利用した上に、各フレームからオブジェクト領域部分のみを切り出した画像をそれぞれ順次重畳と削除を繰り返すことによって、オブジェクト領域部分だけが背景画像の上を動画ふうに移動しているように表示させたり、重畳表示した画像は消さずに順次重畳を繰り返すことによってストロボ写真のような移動軌跡が残る形で表示したり、オブジェクト領域の画像を重畳するのは最初と最後といったような代表的な箇所だけにした上で、折れ線や曲線で表された移動軌跡を重畳表示させたり、また、例えば選択した複数のフレームを単に準動画としてコマ送り的な表示をさせたり、といった方法である。これらの方法でも、もちろん、前に述べたように各オブジェクト領域の周囲を枠で囲んで強調するといった方法と並行して用いてもよい。

以上に示した例は全てグラフィカルな方法による強調表現であるが、メタデータとして保持している特徴情報をテキストによって代表画像上に重畳表示したり、代表画像の周辺に追加表示したり、音声による表現を行ったりすることによって、オブジェクトの特徴を強調的に表示するという方法も考えられる。

また、以上で述べたような方法のうち、複数の表示方法を同時に表示してもよい。複数の表示方法を同時に表現するという方法は、１つは、例えば、Ａという方法で作成した代表画像の隣にＢという方法で作成した代表画像を並べて表示するという表現方法である。あるいは、Ａという方法が上に述べた１枚のフレームだけで代表画像を生成するような場合で、Ｂという方法が上に述べた動き情報を見せる方法のような場合には、Ａによって生成された代表画像の上にさらにＢの方法でオブジェクトの部分領域を重畳表示する、といった方法でもよい。

一方、条件入力部６０は、本実施の形態においては検索条件が入力される検索条件入力部と表示方法に関する条件が入力される表示条件入力部とを兼ねており、映像表示システムを利用するユーザからの表示方法に関する条件や、検索を行うアプリケーションの場合にはその検索条件を受け付け、表示条件については代表画像処理部５０に情報を渡し、検索条件についてはメタデータ評価部７０に情報を渡す。入力の仕方としては、例えば、キーボードやマウス、タッチパネル等を使う一般のパソコンなどに見られるユーザインタフェースや、専用のボタンやダイヤル等の入力装置を介して行う。

条件入力部６０から表示に関する条件を受け取った場合は、代表画像ベース選択部５１においてはその条件に合うように選択を行い、オブジェクト強調部５２においてはその条件に合うように代表画像の加工を行う。
ここでいう表示に関する条件とは、代表画像処理部５０の説明の所で述べたような表示方法についてのバリエーションである。例えば、代表画像ベースとしてオブジェクトの面積が最大のものを選ぶ、大きさではなく画面上の位置が中心に近いものを選ぶ、といった静止画レベルでの代表画像ベースの選択基準を指定する。あるいは代表画像におけるオブジェクトの強調表現の方法として、例えば、オブジェクト領域の周りを枠で囲む、オブジェクト領域内を着色する、オブジェクト領域部分を最大限に拡大したものを代表画像として使用する、といった強調表示方法を指定してもよい。あるいはオブジェクトの動きを表現したい場合、ストロボ写真的な順次表示にする、オブジェクト領域を最大限拡大した状態で準動画ふうな順次表示を行う、曲線で軌跡を重畳表示する、といった表示方法を指定してもよい。

条件入力部６０から検索に関する条件を受け取った場合、その情報はメタデータ評価部７０に渡され、ここでメタデータの内容と入力された条件とを照合し、条件にあったメタデータを持つオブジェクトのリストを代表画像処理部５０に伝え、代表画像処理部５０は条件にあったオブジェクトに関して代表画像の生成を行う。

条件検索の例として、例えば、メタデータの内容にオブジェクトの平均移動ベクトル情報を持っている場合を挙げて説明する。例えば単純に、オブジェクトが画面上に出現してから退出するまでの平均の移動ベクトルを画面左右方向の軸に投射した値をメタデータに持つものとする。すなわち、例えば右側に動いた場合は正の数値、左側に動いた場合は負の数値、平均した左右方向の動きがない場合は零、というような数値データを持つ。
映像中に写っている人の中で“右向きに移動している人”という条件がユーザから与えられた場合、メタデータの中でオブジェクト平均移動ベクトルの値について調べ、値が正の数値であるオブジェクトだけを検索条件に合致したものとして抽出する。もっとも、厳密に正か正でないかで判定するのではなく、零に近い値で判定閾値を設けるなどしていてもよい。
もちろんこのような単純な平均移動ベクトルを用いる場合を例にとっても、左右方向だけでなく上下斜めなどの方向であってもよく、あるいは画面上に何が写っているのかという環境情報を与えてやることにより、右に移動するものという特徴は例えば玄関に入るという行動、左に移動するものという特徴は玄関から出るという行動に置き換えてやることもできる。

最後に、表示部８０において、代表画像処理部５０によって生成された各オブジェクトの代表画像をディスプレイ等の表示装置に対して表示を行う。表示すべきオブジェクトが複数ある場合は、各映像期間の開始時刻や代表画像ベースの時刻などを基準に時刻順に並べたり、あるいはただ時刻によって並べる順番を決めるだけでなく時間軸上の相対位置に対応した間隔で代表画像を表示する配置位置を決めたりしてもよい。

また、前記メタデータ評価部７０において条件に合ったオブジェクトのリストを代表画像処理部５０に伝えると同時に、条件照合を行った場合の照合度合などを点数化した値や、複数の検索条件が与えられた場合には各々の条件毎に合致したオブジェクトのリストを、表示部８０に伝えたりするようにしてもよい。
その場合、例えば照合度合の点数が高いオブジェクトから順に表示を行ったり、複数の条件がある場合には個別の条件に合ったオブジェクト毎に表示したりするなどの工夫が可能になる。照合度合の点数の例としては、例えば上記のように右向きに移動している人を検索する場合、オブジェクト平均移動ベクトルの値が大きいものほど右向きに大きく動いたということになるので、複数の表示オブジェクトがある場合、単に時刻順ではなくこの数値順に並べて表示するという方法もある。

図３は、これまで説明した本実施の形態による映像表示システムの各機能と処理に関して、簡単に時系列順に並べ直したフローチャートであり、この図を基に本実施の形態による映像表示システムの動作をもう一度説明する。
まず、映像入力部１０によって入力された映像データが映像記憶部２０によって記憶される（ステップＳＴ１）。次に、映像データからオブジェクト抽出部３１によってオブジェクトを抽出し（ステップＳＴ２）、そのオブジェクトの特徴量をメタデータ抽出部３２によってメタデータとして抽出し、メタデータ記憶部４０において記憶する（ステップＳＴ３）。

一方、検索条件の入力と表示条件の入力についてはユーザからの入力であるため一般に時系列上の位置は不定であり、また場合によっては無かったりもする。例えば、与える条件は全てシステム稼働初期において設定しておいたり、絞り込み条件無しで全てのオブジェクトを表示させたりするような使い方も考えられるからである。ここでは、図３で示した例で説明すると、まず条件入力部６０において検索条件を入力し（ステップＳＴ４）、メタデータ評価部７０において表示すべきオブジェクトを決定する（ステップＳＴ５）。次に、条件入力部６０において表示条件を入力し（ステップＳＴ６）、この表示条件を基に代表画像ベース選択部５１によって代表画像のベースを選択し（ステップＳＴ７）、また、オブジェクト強調部５２において代表画像を加工生成し（ステップＳＴ８）、最後に、表示部８０によって代表画像を表示する（ステップＳＴ９）。

次に、図４を用いて、オブジェクトと、そのオブジェクトに対応する映像期間単位と代表画像との関係について、より詳細に説明する。
まず、オブジェクトの抽出について述べる。図４では、フレーム番号１〜５の５枚の映像フレームに２人の人物が写っている。詳細には、１枚目のフレーム（フレーム１）には１人、２枚目から４枚目までのフレーム（フレーム２〜４）には２人、５枚目のフレーム（フレーム５）には１人の人が写っており、これは画像差分抽出処理などによって検出される。
さらに、テンプレート探索処理などによって、１枚目から４枚目までのフレーム（フレーム１〜４）に同一人物が続けて写っており、２枚目から５枚目までのフレーム（フレーム２〜５）にはもう１人別の人物が続けて写っているということが認識される。この１人目の人をここではオブジェクト１、２人目の人をオブジェクト２と呼び、それぞれに対応する映像期間単位は、オブジェクト１についてはフレーム１からフレーム４まで、オブジェクト２についてはフレーム２からフレーム５までとなる。
この例のように、二つの映像期間単位が時間的に重なりを持っていてもよい。すなわち映像データを分割すると言っても複数の映像期間単位に同一の映像部分が含まれることもある。
そして次に、このオブジェクト１とオブジェクト２に対して、各々の映像期間（フレーム１からフレーム４まで、およびフレーム２からフレーム５まで）内における特徴を抽出したものが、メタデータである。

次に、代表画像の生成について述べる。図４の例では、オブジェクト１では、フレーム１からフレーム４までの中から、まずフレーム１をオブジェクト１の代表画像ベースとして選択し、さらにフレーム１の中のオブジェクト１が写っている領域に外接する四角形（枠に相当し、図４では長方形である。）を太線で重畳表示することによってオブジェクトを強調し、代表画像としている。
同様に、オブジェクト２の例では、まずフレーム２からフレーム５までの中からフレーム４を代表画像ベースとして選択し、さらにオブジェクト２の写っている領域に外接する四角形（枠に相当し、図４では長方形である。）を太線で重畳表示することによってオブジェクト領域を強調し、代表画像としている。

図５は、本実施の形態における画面表示の一例である。ある映像データに対して、ユーザが、検索時刻の範囲を指定し、さらに“右向きに移動する人”という条件を指定し、その条件に合った２０個のオブジェクトのうち、最初の５個を表示しているという状態を表している。５個のオブジェクトの持つそれぞれのメタデータのうち、先頭フレーム時刻の早いものから順に上から代表画像を並べサムネイル表示している。また、代表画像の表示内容としては、以下に示すように、複数の表示方法を同時に並べて表示している。

１つは、各映像期間単位内において対応する各オブジェクトが最大面積で写っているフレームを代表画像ベースとし、オブジェクトを強調する加工として、オブジェクトの領域を囲む外接四角形（枠）を重畳表示した１枚の静止画を表示している。各画像中に複数の人が写っているものもあるが、強調表示されているものは対象オブジェクトのみであり、その他の人はそのオブジェクトに対しては背景の一部という扱いとしている。これを静止状態を示す代表画像１とする。
二つ目は、その隣（図５に向かって右側）に対象オブジェクトの領域のみを最大限拡大したものを表示している。さらにこの表示に関しては、単に静止画としてではなく、映像期間単位の時間範囲に渡る複数のフレームからオブジェクト領域部分を切り出して順次表示を行わせている。映像期間が長い場合には、期間中全てのフレームではなく所定の間隔でフレームを間引くことによって準動画ふうの動きにさせる。これをオブジェクトの時間的変化を示す代表画像２とする。
またさらにその隣（図５に向かって右側）には、各オブジェクトに関するその他のメタデータ情報として、オブジェクトの先頭時刻と最終時刻、代表画像１（静止画）のベースとなったフレームの時刻などもテキストで併せて表記させている。

なお、図５では、代表画像ベースとして抽出された１枚の画像フレームにオブジェクトを強調する加工を施して静止状態を示す代表画像１としているが、オブジェクトを強調する加工を施すことなく、代表画像ベースとして抽出された１枚の画像フレームをそのまま静止状態を示す代表画像１としてもよい。

また、この映像表示システムの使い方に関する応用例としては、このように検索条件に合ったオブジェクトの代表画像のうちいずれかをユーザが選択し、図５の左下にある“映像表示実行”というボタンを押下すると、対応するオブジェクトが写っている期間（映像期間単位）の映像再生が開始されるように、アプリケーションを作成することなどが想定される。

また、代表画像のもう１つの生成例を図６に示す。この例では、オブジェクトの動きに注目してストロボ写真のような表示を行っている。すなわち、所定の時間間隔で複数のフレームを選択し、どれか１枚のフレームを背景画像として利用した上で、各フレームからオブジェクト領域部分を切り出した画像を対応する位置と大きさで、それぞれ撮影時刻順に順次上から重畳を繰り返し、最終的には図に示したストロボ写真のように移動軌跡が残る形で表示したものである。

この図６の例でも対象オブジェクト以外に２人の人が写っているが、これは背景画像の一部として写っているだけで、強調対象とはなっていない。一方、対象オブジェクトとなっている人に関しては、強調表示方法としてオブジェクト領域部分を枠で囲んだ画像をさらに順次重畳表示させるという方法を用いて区別している。

あるいは、全てのオブジェクト領域画像重畳を残したストロボ写真のようにするのではなく、背景画像の上にオブジェクト領域画像を対応する位置と大きさで重畳するという点では同じだが、図５に示した２つ目の表示方法（代表画像２）のように順次重畳と削除を繰り返し行い、対象オブジェクト領域に関して動画ふうになるような表示でもよい。これは、図５において２つ目の順次表示方法による代表画像２を、１つ目の静止状態を示す代表画像１の隣に並列表示するのではなく、オブジェクト領域画像の拡大をせずに１つ目の静止状態を示す代表画像１の上に位置を合わせて重畳するようにしたもの、という解釈と同等である。すなわち複数の表示方法を同時に行うという方法は、複数（この例では２つ）の代表画像を隣に並べるというだけではなく１つの代表画像として表示するようにしてもよい。

このように、映像データ中で同一の物体が連続して写っている期間を１つの映像期間単位として扱い、映像期間単位内に写っている一連の同一物体を１つのオブジェクトとして映像期間単位と関連付け、さらにこの映像期間単位でオブジェクトが強調されるように（例えば、図４あるいは図５の代表画像１のように、オブジェクトが写っている位置を強調した）代表画像を生成して表示することにより、映像中の個々の物体が続けて写っているという意味のある期間の単位で映像を扱うことができ、かつその映像期間単位内における映像の内容把握が容易にできるという効果がある。
また、映像データの中から所望のものが写っている部分を探したいような場合においても、各オブジェクトが写っている映像期間単位での映像内容の把握ができるため、例えば撮影順に表示される各映像期間単位の中からでも所望の映像部分を絞り込むことが容易にできるという効果が得られる。

特に、図５や図６の順次表示部分のように、オブジェクトの動きを表現する代表画像を用いることによって、映像期間単位でのオブジェクトの挙動をより明確に把握することができるという効果がある。

また、本実施の形態では、検索条件が入力される検索条件入力部６０と、入力された検索条件に合致するメタデータを持つオブジェクトを抽出するメタデータ評価部７０とを備え、表示部８０は、メタデータ評価部７０で抽出されたオブジェクトと関連付けられた映像期間単位における代表画像の表示を行うので、ユーザは、映像データの中から所望のものが写っている部分を容易に検索することができ、この場合にも、各オブジェクトが写っている映像期間単位での映像内容の把握ができるため、列挙された複数の候補映像期間単位の中からさらに所望の映像部分を絞り込むことが容易にできるという効果が得られる。

また、図５や図６に示したような強調の視点が異なる複数の表示方法を組み合わせることによって、空間的には映像が映し出しているカメラ画角全体を見渡しながらオブジェクト部分を詳細に拡大して見ることができ、一方、時間軸的にはオブジェクト領域画像の順次表示によって映像期間全体の動きを見渡しながら１枚の静止画によってある時刻の映像を詳細に見ることができる。すなわち、映像期間単位に対して、全体と詳細を見比べることが可能になり、より映像内容の把握が容易になるという効果がある。

また、表示方法に関する条件が入力される表示条件入力部６０を備え、代表画像処理部５０は、入力された表示方法に関する条件に従って代表画像を生成するので、ユーザが表示方法に関する条件を指示することによって、どのような代表画像をベースにして、またどのような強調方法を使って代表画像を生成するかを変えられる。したがって、オブジェクトのどのような特徴に対して注目した表示を行うかを選択することができ、その結果、ユーザは、自分の目的に対応した映像内容の把握がより容易になるという効果がある。

実施の形態２．
上記実施の形態１では、条件入力部６０を備え、ユーザが検索条件を指定するというアプリケーションを仮定したが、本発明は、必ずしもユーザが条件を指定して検索を行う形式のものだけに限って適用されるものではなく、以下にその例を示す。

図７は、本発明の実施の形態２による映像表示システムの機能ブロック構成を示し、映像表示システムの構成要素と動作手順を説明するための図である。以下に、この図を基に、本実施の形態による映像表示システムの構成と動作について説明するが、ここでは主に実施の形態１との相違点について説明する。
本実施の形態による映像表示システムでは、実施の形態１で説明したような条件入力部６０は備えていない。
また、メタデータ評価部７０の処理としても、実施の形態１で説明したような、与えられた条件に合うものだけを抽出するのではなく、各オブジェクトをそのメタデータに対して所定の条件を基にグループ分けを行う。すなわち、メタデータ中のある項目の内容に応じて各オブジェクト（映像期間単位）をグループ分けする。
さらに、表示部８０においては、グループ単位で各オブジェクトと関連付けられた映像期間単位における代表画像の表示を行う。すなわち、グループ分けされた内容毎に代表画像の列挙を行う。

この場合、例えばメタデータ評価部７０において、“右向きに動いた物体”、“左向きに動いた物体”、“左右方向の移動は無い物体”というように３つのグループにオブジェクトを分類し、その結果を表示部８０に伝える。表示部８０においては、図８に画面表示の一例を示すように、“右向き移動”、“左向き移動”、“左右移動少”という３グループに分類して表示を行う。この場合の代表画像の作り方については、例えば図５の場合と同様である。

このような形態の映像表示システムにおいても、実施の形態１で述べたものと同様に、映像中の個々の物体が続けて写っているという意味のある期間の単位で映像を扱うことができ、かつ映像の内容把握が容易にできるという基本的な効果が得られる。
これに加えて、このような形態の場合、ユーザが特に検索条件の入力という操作を行わなくても、映像表示システム側が自動的に映像内容を解析し、しかも所定の条件を基に分けられたグループ毎に提示してくれるので、所望の映像部分を絞り込むことが容易にできるという効果も得られる。

実施の形態３．
またさらに別の形態の例としては、複数のオブジェクト（映像期間単位）の代表画像をリストして表示するような場合だけでなく、１つのオブジェクト（映像期間単位）に対応する１つの代表画像を表示するだけといったようなシンプルなアプリケーションであってもよい。

図９は、本発明の実施の形態３による映像表示システムの機能ブロック構成を示し、映像表示システムの構成要素と動作手順を説明するための図である。以下に、この図を基に、本実施の形態による映像表示システムの構成と動作について説明するが、ここでは主に実施の形態１との相違点について説明する。
本実施の形態による映像表示システムでは、実施の形態１で説明したような条件入力部６０およびメタデータ評価部７０は備えていない。

このように構成されたものにおいて、例えば、オブジェクト処理部３０において映像中から１つのオブジェクトを認識しオブジェクトの特徴をメタデータとして抽出した時点で、代表画像処理部５０において１つの代表画像を生成し、表示部８０において表示するといった単純な動作が考えられる。図１０にその画面表示の一例を示す。この場合の代表画像の作り方については、例えば図５の場合と同様である。

このような形態の映像表示システムにおいても、実施の形態１で述べたものと同様に、映像中の個々の物体が続けて写っているという意味のある期間の単位で映像を扱うことができ、かつ映像の内容把握が容易にできるという基本的な効果が得られる。
これに加えて、このような形態の場合、ユーザが特に検索条件の入力という操作を行わなくても、映像表示システム側が自動的に映像内容を解析して提示してくれるという効果も得られる。

実施の形態４．
以上に示した各実施の形態では、代表画像中で強調した表示とする対象は、その映像期間単位内の最初から最後まで連続して写っている、映像期間単位に対応した対象オブジェクトのみであった。しかし、その期間内に１つしか物体が検出されなかった場合を除けば、オブジェクト処理部３０において、その他の物体に対しても別途オブジェクト化がなされており、その特徴量はメタデータとして抽出されている。
そこで、本実施の形態では、各オブジェクトに対応した映像期間単位で映像を扱いつつ、対象オブジェクト以外の物体（映像期間単位内の一部の映像期間に写っているが、当該映像期間単位とは異なる映像期間単位と関連付けられたオブジェクト）に関しても強調表示を行うようにしている。

図１１に、本実施の形態による映像表示システムにおける代表画像の表示例を示す。比較として実施の形態１における図５では、静止状態を示す代表画像１として、１枚の代表画像ベースの上に対象オブジェクトの領域を囲む外接四角形の枠のみを重畳表示して対象オブジェクトを強調する例を示したが、図１１では、対象オブジェクト以外に検出されている他の物体（当該映像期間単位とは異なる映像期間単位と関連付けられたオブジェクト）に対しても、その領域を囲む外接四角形の枠を重畳表示させることにより強調している。

図１２に、本実施の形態による映像表示システムにおける代表画像の別の表示例を示す。比較として実施の形態１における図６では、１枚の代表画像ベースを背景画像とした上に対象オブジェクトに関してのみ複数のフレームから該当するオブジェクト領域を切り出して順次重畳表示させていたが、図１２では、対象オブジェクト以外の物体（当該映像期間単位とは異なる映像期間単位と関連付けられたオブジェクト）に関しても、当該映像期間単位の範囲内で写っている領域を切り出して順次重畳表示させている。

また、このような、各映像期間単位に対応するオブジェクト以外の物体に対する強調表現の有無に関しては、全ての物体を同じ条件で強調する方法から全く強調しない方法までの間をスケーラブルに扱ってもよい。例えば図１１では、対象オブジェクトである左側の人は太い枠線で囲んであるのに対して、右側の人は細い枠線で囲んであり、強調の度合いを変えてある。また、図１２のような例だと、対象オブジェクト以外のものに関しては重畳表示する画像の時間間隔を長くするなどして差を付けることができる。

あるいは、１つの映像期間単位内に写っている複数の物体間の扱いについても、対象オブジェクトとそれ以外という２つに分けるだけでなく、対象オブジェクトに近いか遠いか、対象オブジェクトと画面上での交差が有るか無いか、といったような対象オブジェクトとの関連度合いの強さによって段階的なグループに分け、強調の仕方に差別化を行うようにしてもよい。例えば、対象オブジェクトについては最も強く強調した表示を行い、関連度合いの高いグループの物体に対してのみ比較的弱めの強調を行い、関連度合いの低いグループの物体に対しては全く強調を行わない、場合によっては関連度合いの低いグループの物体に対してはむしろ積極的に代表画像ベースとなる背景画像からも消去する、といったような差別化を行ってもよい。

本実施の形態のように、対象オブジェクト以外の物体についても強調表示を行うことによって、複数の物体が写っている映像を扱う場合に、映像内容の把握をより容易にすることができるという効果が得られる。
また、対象オブジェクト以外に複数の物体が写っている場合に、これらの物体に対しては強調度合いを可変にすることにより、ユーザの目的に応じて、周辺の複数の物体に対して注目しているオブジェクトの挙動を際立たせた表示にすることも可能であるという効果が得られる。

実施の形態５．
実施の形態１において、ユーザが検索条件を与えるということは、ユーザは映像データの中でその検索条件に関連する事項に対して関心があるものと思われる。そこで、表示の仕方という条件を別途入力しなくても、この検索条件に関係のある情報に関して強調表示をするようにしたものが本実施の形態である。

例えば、オブジェクトが持つメタデータの種類として、オブジェクトの移動軌跡情報の他に、その人の推定年齢や性別、個人識別番号などを保持しているとする。
このメタデータ保持状況において、検索条件として、例えば“オブジェクトの平均移動方向が右向きのもの”という条件がユーザから入力されたとする。この場合、ユーザはオブジェクトの移動方向という動きに関する情報に興味があると考えられるため、検索結果としては、平均移動方向が右向きのオブジェクトのみを選択して代表画像を一覧表示すると共に、各代表画像については移動軌跡に関する情報が明示されるような表示を行う。すなわち、例えば移動軌跡の折れ線や曲線を代表画像の中に重畳表示させるとか、合計移動量や平均移動速度といった情報をアイコンやテキスト情報としてそのオブジェクト領域の近くに重畳表示させるとか、などの加工を代表画像処理部５０によって行うような例が挙げられる。もちろん、合計移動量や平均移動速度といった情報をアイコンやテキスト情報として代表画像の周辺に追加表示することも考えられる。

一方、上記と同様のメタデータ保持状況において、検索条件として、例えば“年齢が２０代の人”という条件がユーザから入力されたとする。この場合、ユーザはオブジェクトの動きに関する情報よりもどのような人であるかという個人情報に興味があると考えられる。従って、この場合は、該当する年齢層のオブジェクトのみを選択して代表画像を一覧表示すると共に、その各代表画像については対象オブジェクトの個人情報が明示されるような表示を行う。すなわち、例えば推定年齢や性別、個人識別番号などの情報を、テキストやアイコンを用いてそのオブジェクト領域の近くに重畳表示させる、などの加工を代表画像処理部５０によって行うような例が挙げられる。もちろん、オブジェクトの推定年齢や性別、個人識別番号などの情報を、テキストやアイコンを用いて代表画像の周辺に追加表示することも考えられる。

本実施の形態のように、ユーザから入力された検索条件を基にして、代表画像で強調すべき内容を自動的に判断して代表画像を生成することにより、ユーザが検索条件の他に表示方法に関する条件を入力する手間が省けるという効果が得られる。しかも、ユーザが関心のある内容に関連する情報が併せて表示されるため、所望の映像を探す目的を持って検索を行ったユーザにとって、より一層意味のある内容把握が可能となるという効果が得られる。

実施の形態６．
実施の形態５においては、ユーザが与えた検索に関する条件に関連するオブジェクトの特徴情報を明示的に表示する例を示したが、本実施の形態においては、その逆に、入力された検索条件に関係の無いメタデータ、すなわち入力された検索条件以外のメタデータに関して表示する。検索処理によって得られた検索結果では、このユーザから入力された検索条件に関する情報表示は全て満たされているものばかりのはずである。従って、オブジェクトに関する特徴をメタデータ内に多数持っているような場合、この検索結果に関する情報の追加表示はあえて必要では無く、むしろそれ以外の特徴情報を追加表示してもらう方が便利な場合も考えられる。

例えば、オブジェクトが持つメタデータの種類として、オブジェクトの移動軌跡情報の他に、その人の推定年齢や性別、個人識別番号などを保持しているとする。
このメタデータ保持状況において、検索条件として、例えばオブジェクトの移動方向に関する条件を入力した場合、結果表示される代表画像中の対象オブジェクトは全て移動方向に関しては一定の基準を満たしているはずである。従って、オブジェクトに関するそれ以外の特徴として、例えば、オブジェクトの推定年齢や性別、個人識別番号といった個人情報を、テキストやアイコンを用いてそのオブジェクト領域の近くに重畳表示させる、などの加工を代表画像処理部５０によって行う例が考えられる。もちろん、オブジェクトの推定年齢や性別、個人識別番号といった個人情報を、テキストやアイコンを用いて代表画像の周辺に追加表示することも考えられる。

一方、上記と同様のメタデータ保持状況において、検索条件として、例えば“年齢が２０代の人”という条件がユーザから入力されたとする。この場合、結果表示される代表画像中の対象オブジェクトは全て推定年齢の条件を満たしているものばかりのはずである。従って、オブジェクトに関するそれ以外の情報として、むしろ移動軌跡に関する情報を重畳表示したり、オブジェクトの個人情報に関する表示を行う場合でも推定年齢以外の推定性別や個人識別番号の情報だけに絞ってテキストやアイコンを用いてそのオブジェクト領域の近くに重畳表示させたりする、などの加工を代表画像処理部５０によって行うような例が挙げられる。もちろん、オブジェクトの推定年齢以外の推定性別や個人識別番号などを、テキストやアイコンを用いて代表画像の周辺に追加表示することも考えられる。

本実施の形態のように、ユーザから入力された検索条件に関するもの以外のオブジェクトの特徴情報を併せて表示することによって、オブジェクトが多数の特徴をメタデータとして持っているような場合、多数の情報を表示するとかえって画面が見にくくなることがあるが、あえて表示しなくても検索結果によってわかっている内容を減らすことができ、より多くの情報をよりシンプルな表示方法で表示することができるという効果が得られる。

実施の形態７．
以上に示した各実施の形態においては、全て、表示すべきオブジェクトが複数ある場合は、代表画像をサムネイル表示のようなリスト形式で表示するものであった。これに対して、本実施の形態おいては、例えば首振りを行わない固定カメラの映像など、写っている映像の背景が基本的には変わらないような映像の場合について、１枚の代表画像ベースの上に複数のオブジェクト領域画像を重畳表示する。

図１３は、本発明の実施の形態７による映像表示システムの機能ブロック構成を示し、映像表示システムの構成要素と動作手順を説明するための図である。以下に、この図を基に、本実施の形態による映像表示システムの構成と動作について説明するが、ここでは主に実施の形態１との相違点について説明する。
本実施の形態による映像表示システムは、構成としては、表示部８０の機能について特に背景画像生成部８１とオブジェクト合成部８２とからなる点が異なり、動作に関しては、表示部８０に加えて代表画像処理部５０における処理について一部異なる点がある。

まず、代表画像処理部５０において、複数のオブジェクトに対する代表画像を生成する際、単に代表画像ベースに対してオブジェクト領域の周囲を囲む外枠を重畳するというような追記処理だけでなく、オブジェクト領域内の画像データを一部切り出すような抽出処理が必要である。また、オブジェクト領域の強調表示を付加する前の代表画像ベースの静止画データについても、別途、表示部８０に渡すようにする。

表示部８０においては、表示部８０内における背景画像生成部８１において、代表画像処理部５０によって生成された複数の代表画像の中から１つを選び、さらにこの代表画像の代表画像ベースである静止画データを利用して、背景画像として指定する。
次に、表示部８０内のオブジェクト合成部８２において、各オブジェクトに対するオブジェクト領域の強調表示を、上記背景画像生成部８１において抽出した背景画像に対して順次加えていき、これをディスプレイ等の表示装置に対して表示する。

図１４に、本実施の形態における画面表示の一例を示す。ある映像データに対して、ユーザが、検索時刻の範囲を指定し、さらに、オブジェクトの平均移動方向が右向きのものという条件を指定し、その条件に合った５個のオブジェクトを表示しているという状態を表している。
これら各々のオブジェクトが写っている映像は全て背景が同じとなる状態であるため、各オブジェクトの代表画像ベースとなる静止画のうち１つを背景画像として流用している。その背景画像の上に、各々のオブジェクトの特徴として、各オブジェクトの動きが一目でわかるような移動軌跡情報を明示することによる強調表現を重畳している。
具体的には、実施の形態１において示した図６のようなポラロイド写真的な表現でもよいが、ここでは多数のオブジェクトを同一の画面に重畳する場合には見えにくくなる場合もあることも考慮して、各オブジェクト領域の画像重畳は代表の１枚だけとし、残りの軌跡情報に関しては各オブジェクト領域が複数フレーム間に渡って通過した重心位置を繋いだ曲線の矢印を重畳することで表現している。

以上で述べた例は首振りなどを行わない固定カメラという前提で説明したが、例えばカメラの向きが左右に動くような場合でも、撮影方向の変化に伴う背景位置の変化を対応付け、横長のパノラマ写真のような画像を合成する機能を持っている場合、これを各オブジェクトの共通の背景画像として、上記の例と類似の表示が可能である。図１５はこの場合の代表画像の例である。

本実施の形態のように、複数のオブジェクトの代表画像を表示する際、サムネイル的に並べて表示するのではなく１枚の背景画像上に重畳して表示することにより、すなわち、同一背景を持つ複数の映像期間単位における代表画像を、共通の背景画像上に各映像期間単位と関連付けられた各オブジェクトが重畳して配置されるように、表示することにより、列挙すべきオブジェクトの代表画像が表示を行う画面領域内に収まりきらない場合には画面スクロールを使って残りのリストを表示し直さなければならないという不便を解消することができるという効果が得られる。
また、別の効果として、１つの背景画像上に複数のオブジェクトを重畳表示することにより、どの位置に多数のオブジェクトが偏って出現しているのか、あるいは多数のオブジェクトと極端に異なる位置や移動軌跡を持つオブジェクトが無いか、あるいはどのオブジェクトとどのオブジェクトとがお互いに近い位置に現れたのか、といった複数オブジェクト間の空間上の位置関係をより明確に把握することが可能になるという効果が得られる。

実施の形態１による映像表示システムの構成要素と動作手順を説明するための図である。 実施の形態１に係り、メタデータの一例を示す図である。 実施の形態１による映像表示システムの動作を説明するためのフローチャートである。 実施の形態１による映像表示システムについてより詳細に説明するための図である 実施の形態１に係り、画面表示の一例を示す図である。 実施の形態１に係り、代表画像の別の表示例を示す図である。 実施の形態２による映像表示システムの構成要素と動作手順を説明するための図である。 実施の形態２に係り、画面表示の一例を示す図である。 実施の形態３による映像表示システムの構成要素と動作手順を説明するための図である。 実施の形態３に係り、画面表示の一例を示す図である。 実施の形態４に係り、代表画像の表示例を示す図である。 実施の形態４に係り、代表画像の別の表示例を示す図である。 実施の形態７による映像表示システムの構成要素と動作手順を説明するための図である。 実施の形態７に係り、画面表示の一例を示す図である。 実施の形態７に係り、代表画像の別の表示例を示す図である。

符号の説明

１０ 映像入力部、２０ 映像記憶部、３０ オブジェクト処理部、３１ オブジェクト抽出部、３２ メタデータ抽出部、４０ メタデータ記憶部、５０ 代表画像処理部、５１ 代表画像ベース選択部、５２ オブジェクト強調部、６０ 条件入力部、７０ メタデータ評価部、８０ 表示部、８１ 背景画像生成部、８２ オブジェクト合成部。

Claims (11)

1. 映像データを入力する映像入力部と、
   入力された映像データを蓄積する映像記憶部と、
   映像データ中に写っている個々の物体を検出し、同一の物体が複数の画像フレームに渡って写っている期間を認識して１つの映像期間単位と捉えると共に、上記映像期間単位内に写っている一連の同一物体を１つのオブジェクトとして上記映像期間単位と関連付け、このオブジェクトの特徴をメタデータとして抽出するオブジェクト処理部と、
   上記各映像期間単位において、上記メタデータに基づいて上記映像記憶部に蓄積された映像データの中から所定の基準を満たす少なくとも１枚の画像フレームを当該映像期間単位における代表画像ベースとして抽出し、かつ当該映像期間単位と関連付けられたオブジェクトが強調されるように上記代表画像ベースを加工し、当該映像期間単位における代表画像を生成する代表画像処理部と、
   上記代表画像の表示を行う表示部と
   を備えたことを特徴とする映像表示システム。
2. 上記請求項１に記載された映像表示システムにおいて、
   上記各オブジェクトのメタデータに対して所定の条件を基にグループ分けを行うメタデータ評価部を備え、
   上記表示部は、上記グループ単位で上記各オブジェクトと関連付けられた映像期間単位における代表画像の表示を行う
   ことを特徴とする映像表示システム。
3. 上記請求項１に記載された映像表示システムにおいて、
   検索条件が入力される検索条件入力部と、
   上記入力された検索条件に合致するメタデータを持つオブジェクトを抽出するメタデータ評価部とを備え、
   上記表示部は、上記抽出されたオブジェクトと関連付けられた映像期間単位における代表画像の表示を行う
   ことを特徴とする映像表示システム。
4. 上記請求項１ないし３の何れかに記載された映像表示システムにおいて、
   上記代表画像処理部は、上記映像期間単位内の一部の映像期間に写っているが、上記映像期間単位とは異なる映像期間単位と関連付けられたオブジェクトも強調されるように代表画像を生成する
   ことを特徴とする映像表示システム。
5. 上記請求項１ないし４の何れかに記載された映像表示システムにおいて、
   上記代表画像処理部は、複数枚の画像フレームをその映像期間単位における代表画像ベースとして抽出し、これらの画像フレームを用いて当該映像期間単位と関連づけられたオブジェクトの時間的変化を示す代表画像を生成する
   ことを特徴とする映像表示システム。
6. 上記請求項５に記載された映像表示システムにおいて、
   上記オブジェクトの時間的変化を示す代表画像の生成は、上記各画像フレームにおける上記映像期間単位と関連づけられたオブジェクトの領域の少なくとも一部を含む部分を切り出し、切り出したオブジェクト部分を時間軸に沿って順次表示するように加工することにより行う
   ことを特徴とする映像表示システム。
7. 上記請求項５に記載された映像表示システムにおいて、
   上記代表画像処理部は、所定の基準を満たす１枚の画像フレームをその映像期間単位における代表画像ベースとして抽出し、かつ当該映像期間単位と関連づけられたオブジェクトを強調する加工を施した静止状態を示す代表画像と、上記請求項５に記載のオブジェクトの時間的変化を示す代表画像とを生成し、
   上記表示部は、上記静止状態を示す代表画像と上記オブジェクトの時間的変化を示す代表画像との両方を表示する
   ことを特徴とする映像表示システム。
8. 上記請求項１ないし７の何れかに記載された映像表示システムにおいて、
   表示方法に関する条件が入力される表示条件入力部を備え、
   上記代表画像処理部は、上記入力された表示方法に関する条件に従って代表画像を生成する
   ことを特徴とする映像表示システム。
9. 上記請求項３ないし８の何れかに記載された映像表示システムにおいて、
   上記代表画像処理部は、オブジェクトが強調されるように代表画像ベースを加工する際に、入力された検索条件に関係のあるメタデータに関して重畳表示する
   ことを特徴とする映像表示システム。
10. 上記請求項３ないし８の何れかに記載された映像表示システムにおいて、
    上記代表画像処理部は、オブジェクトが強調されるように代表画像ベースを加工する際に、入力された検索条件以外のメタデータに関して重畳表示する
    ことを特徴とする映像表示システム。
11. 上記請求項１ないし１０の何れかに記載された映像表示システムにおいて、
    上記表示部は、同一背景を持つ複数の映像期間単位における代表画像を、１つの背景画像上に上記各映像期間単位と関連付けられた各オブジェクトが重畳して配置されるように、表示する
    ことを特徴とする映像表示システム。