JPH0887525A - 映像管理マップ表現方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】蓄積された映像素材または回線を介してアクセ
ス可能な映像素材について，それらの管理，検索，利用
を容易にすることを目的とする。 【構成】映像自身に関する属性情報を利用し，選択され
た属性情報による特徴空間での絶対位置ならびに他の映
像との相対的な位置関係を，属性情報による特徴空間を
投影表現したマップ上に設定することにより，利用者イ
ンタフェース上に映像情報の配置を全体的に把握できる
視覚的インタフェースおよび個々の映像へのアクセス環
境を提供する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，映像データベース利用
システムなどにおいて，利用者が映像データに対して，
管理，検索，利用をするための視覚的なインタフェース
を提供する映像管理マップ表現方法および装置に関す
る。

【０００２】

【従来の技術】従来，映像データベースなどの内容を把
握したりアクセスするための利用者インタフェースとし
ては，何らかのメタファーを利用する場合に計算機のフ
ァイルシステムとして管理し，２次元あるいは３次元的
に可視化するものがあった。

【０００３】直感的なインタフェースとしてメタファー
を用いた利用環境の例としては，図書館やビデオショッ
プを模擬したグラフィックインタフェースにより，ビデ
オの管理・検索を実現するものがある。実際の生活上の
利用環境に近づけることにより，自然な感覚で利用でき
るように工夫するものである。

【０００４】一方，Ｕｎｉｘなどのファイルシステムを
対象として，多くのファイルを３次元的に表現し，通常
のファイル管理，検索，アクセスを可能とする例があっ
た（G.George and et al., "Information Visualizatio
n Using 3D Interactive Animation", ACM Communicati
ons Magazine, Vol.36, No.4, pp.57-71,(April 199
3））。管理範囲の全ファイルをインタフェースの視野
に含めるために，周辺視野部は遠近投影感覚で小さく
し，また背後に表示するものも紹介されている。

【０００５】

【発明が解決しようとする課題】これら従来の技術にお
いては，視覚的な直感インタフェースが提供されている
ものの，一般的な映像の管理インタフェースとして利用
するにはいくつかの限界がある。

【０００６】まず，メタファーを用いたインタフェース
では，図書館の例あるいはビデオショップの例でも，前
提とされている分類学がある。すなわち分野別を主とし
た階層的な構造により整然とした分類に基づく。こうし
たインタフェースにおいては，利用者が前知識としてあ
るいは利用習熟により，分類構造を把握することが必要
となる。また，アクセスの際にも利用者の記憶にある映
像がどの分類に入っているかは定かに判断できない場合
も多くなる。

【０００７】さらに新規に映像を蓄積し，管理データに
加える際においても同様にどの分類に入れるかが大きな
問題となり，可能性のある複数の分類に多重に見出し項
目を出すなど，さらに複雑な工夫が必要となってしまう
などの問題がある。また，こうした分類学外的な要因で
決まっている一般的な分類学であったり，利用者が自分
で決める場合でも，ある時点での判断に基づくものに過
ぎず，新たな映像に対して柔軟に対応しにくく，あらか
じめ全体集合が定まっている固定的で一般向けのデータ
ベースへの適用をのぞけば，実際の利用上の観点からは
限界がある。

【０００８】一方，ファイルシステムの可視化の例で
は，ファイルの全体像を直感的に把握できることは管理
上重要な効果があるが，これも実際にはファイルシステ
ムにデータを入れる際に階層的な分類がなされているこ
とを前提としている点で，図書館メタファーなどと同じ
問題を含んでいる。また，多くのファイルの存在を視覚
化するため，おのずと視覚化方法に限界があり，映像の
何らかの属性を反映した直感的な視覚化は困難である。

【０００９】そこで本発明の目的は，利用者が蓄積する
映像データに対して，それらの管理，検索，利用を容易
にするために，利用者インタフェース上に自動的に映像
情報の配置を全体的に把握できる視覚的インタフェース
および個々の映像へのアクセス環境を提供することを可
能にすることである。

【００１０】

【課題を解決するための手段】本発明は，利用者が蓄積
する映像データに対して，それらを管理，検索，利用す
るために，映像自身に関する属性情報を利用し，選択さ
れた属性情報による特徴空間での絶対位置ならびに他の
映像との相対的な位置関係を，属性情報による特徴空間
を投影表現したマップ上に設定することにより，利用者
インタフェース上に映像情報の配置を全体的に把握でき
る視覚的インタフェースおよび個々の映像へのアクセス
環境を提供する。

【００１１】

【作用】本発明では，特定の選択された属性情報によっ
て表現される属性空間を計算機スクリーン平面に投影表
現したマップ上で，各映像素材の存在位置が例えばアイ
コンその他の表現で表示されるので，利用者は映像情報
の属性に着目した配置を全体的な観点で把握することが
でき，特定の映像内容を検索するような場合に，簡単に
アクセスすることができる。

【００１２】映像素材の存在を示す表示を行う際に，表
示する映像素材情報の代表画像を縮小表示したり，属性
情報を可視化して表示することにより，属性空間を投影
したマップ上において，視覚的にわかりやすい映像情報
の索引機能を持たせることができる。

【００１３】計算機スクリーン平面に投影表現したマッ
プ上の属性空間は，投影条件を変更することができるの
で，必要な属性に着目した見やすい形で，属性空間にお
ける映像素材の存在位置を利用者に見せることができ
る。

【００１４】映像素材の属性情報に対して特定の条件に
よりフィルタリングをかけ，その結果に合う映像素材の
計算機スクリーン上の表現に対して強調表示を行うこと
により，特定の属性情報を持つ映像素材の検索を容易化
することができる。

【００１５】属性情報として，時間，地理位置または色
などを用いることができる。これにより，例えばいつど
こで撮影もしくは作成された映像素材であるかなどを直
観的に把握できるとともに，地理的，時間的近接性また
は色彩的近接性などによる映像に関するイベントの発見
を容易に行うことが可能になる。

【００１６】属性空間を投影表現したマップ上における
映像素材のアイコン等に対する操作によって，該当する
映像の再生表示，映像素材を速見するための映像表示，
映像素材の属性に関する新たな表現を行うことにより，
映像情報のアクセス・利用が容易なユーザインタフェー
スを提供することができる。

【００１７】映像素材の入力・更新時に，利用者に属性
情報を入力させるだけでなく，映像素材を解析して得ら
れる情報を属性情報とすることにより，管理情報として
の属性情報の入力を自動化することもできる。

【００１８】カメラから直接入力したリアルタイム映像
またはネットワークを通じてアクセスしたリアルタイム
映像を，管理対象である映像素材の一つとして扱うこと
により，ライブ映像を同様に管理することができる。

【００１９】以上のように，本発明では，映像自身の解
析による属性情報ならびに利用者が入力する属性情報を
用いることで，属性情報による特徴空間での絶対位置な
らびに他の映像との相対的な位置関係が自動的に表現で
きる作用がある。

【００２０】

【実施例】以下，本発明の一実施例を図面を参照して説
明する。図１は本発明の実施例のシステム構成図を示し
たもの，図２は本発明の実施例に関わる処理手順を示し
た図，図３は映像の属性情報の入力に関わる処理手順を
示したものである。

【００２１】以下，処理手順を図１と図２により順を追
って説明する。まず，既に映像素材に関する属性情報が
映像蓄積部３に蓄えられているか，または回線インタフ
ェース６を介して得ることができる状態からの映像管理
制御部２による処理手順を説明する。処理手順１０の管
理・アクセス処理を開始すると，ステップ１３では，ま
ず映像に関する属性情報のうちどの属性を用いてどの範
囲のビューにするかを，あらかじめ登録されている，ま
たは会話的に入力し登録されているデータビュー属性１
１を読み出して設定する。

【００２２】次に，ステップ１４では，データビューで
設定された対象範囲内の各映像素材について，同じくデ
ータビューで設定されている対象属性を順に読み出しな
がら属性特徴空間中でのマッピング位置を決定する。次
のステップ１５では，実際にマッピング位置に表示すべ
きアイコンを必要な属性情報を読み出して構成し，ステ
ップ１６では，属性特徴空間中で計算された設定位置に
映像アイコンをマッピング表示する。

【００２３】ステップ１７では，以上のステップ１４〜
１６の処理をすべての処理対象について終了したか判定
し，終了と判断されるとステップ１８のイベント待ちに
入る。イベントには，さまざまな処理をしかけることが
できるが，代表的なものとして利用者からの映像アクセ
ス指示がある。この映像アクセス指示があると，ステッ
プ１９によって，指示映像を映像蓄積部３にアクセス
し，または映像蓄積部３にない場合で回線を介してアク
セスすべき素材に対しては回線インタフェース６を介し
てアクセスし，映像の表示領域あるいはウィンドウに映
像を表示する。

【００２４】また，イベントとして，３次元的に表現す
る際の視点や３次元データを２次元的に投影する際の条
件などのマッピング表示に関する属性を変更する指示が
あった場合には，ステップ２０によって，記録している
マッピング属性１２を変更した上，そのマッピング属性
変更の処理を行う。

【００２５】また，注目する属性情報の種類や範囲を変
更する指示のイベントがあった場合には，ステップ２１
によって，記録しているデータビュー属性１１を変更し
た上で，ステップ１３の処理からやり直す。終了を指示
するイベントに対しては，ステップ２２へ移り，管理・
アクセス処理を終了する。

【００２６】映像蓄積部３あるいは外部の蓄積部に対し
て新しく管理映像素材を登録する際の入力登録処理は，
図３に示すように行われる。処理手順３０の入力登録処
理の開始により，ステップ３１では，映像入力部７から
映像を入力または回線インタフェース６を介して映像を
入力し，映像内容を解析する。解析内容としては自動的
に解析可能などのようなデータでも利用可能である。利
用可能な解析対象データとしては，例えば平均的な映像
の明るさであるとか，特願平５−３１７６６３号の「映
像カット点検出方法および装置」によれば映像のカット
点情報が得られ，特願平５−３１１９２２号の「映像撮
影状態検出方法」によればカメラ操作などの映像撮影状
態関連情報が得られるので，そのような情報でもよい。
また，例えば特願平５−１６７８８９号の「映像特徴処
理方法」によって対象映像に関する代表的な色情報を得
ることができるが，もちろんこれらに限られるわけでは
ない。

【００２７】ステップ３２では，このようにして得られ
た解析結果情報を管理情報蓄積部４によって属性情報と
して記述し，記録する。また，自動的に得られる属性情
報ばかりではなく，人手による属性情報の登録も可能で
あり，その場合にはステップ３３により，登録者からの
マニュアル入力を受け付け，管理情報蓄積部４に記録す
る。映像解析によって得られる情報は本来時間とともに
変動する情報を得るが，映像を属性特徴空間中にマッピ
ングする際には，全体で平均をとったり，あるいはある
重み付けで評価した平均をとるなど何らかの代表化した
属性情報を用いる。

【００２８】以上が大まかな処理の流れであるが，次に
具体的にインタフェースイメージで映像の属性空間中の
マッピング表示について説明する。図４は映像の代表時
間と代表地理位置とによる属性空間をインタフェースと
した例を示したもの，図５は映像の色相属性情報および
代表時間情報を用いたインタフェース例を示したもので
ある。図中，４０は表示スクリーン，４１は映像ブラウ
ジングウィンドウ，４２は２次元マップ，４３は素材ア
イコン，４４はマップｘ軸，４５はマップｙ軸，４６は
３次元マップ，４７は可変レバー，４８は素材マークを
表す。また，５０は時間軸，５１は色相軸を表す。

【００２９】３次元マップ４６は，地理位置をｘ，ｙの
２軸，および時間軸を含めた３軸によって３次元的な属
性空間の表現を行ったマップであり，２次元マップ４２
は，３次元マップ４６において設定したフィルタリング
条件でｘ−ｙ平面に投影した投影２次元マップである。
例えばｘ−ｙ平面を地図に置き換えて考えると，映像が
撮られた地図上の地点かつ撮られた時間に対応する３次
元マップ４６中の対応位置に，その映像の存在を示す素
材マーク４８が表示される。

【００３０】３次元マップ４６中の座標軸の向きは，マ
ウス動作などの会話的指示で回転することにより見やす
い向きに設定できる。さらに３軸のうち２軸（マップｘ
軸４４，マップｙ軸４５）による平面を設定し，その平
面にデータを投影すると２次元マップ４２が得られ，マ
ップ中に素材映像を示す素材アイコン４３が表示され
る。２軸設定による平面位置は，残りの可変な１軸上の
値として可変レバー４７などによって与える。また投影
する対象範囲も，その可変な１軸上で平面位置を中心と
した範囲を設定することで，関心のある範囲だけのデー
タを投影することができる。この他にも時間，地理位置
も含めた属性の条件フィルタリングを行って，該当する
データに対して強調処理をマーク上に施すこともでき
る。

【００３１】さて，３次元マップ４６で指定された範囲
で２次元投影された図は２次元マップ４２中に表示され
るが，各映像素材対応の特定のマークは例えば単に色付
きのスポットであったり，一枚の代表画像を縮小したイ
メージであったり，他にも種々の表示態様が考えられ
る。例えば映像名としての識別子を表示するなどでもよ
い。２次元マップ４２には，地図イメージが張り付けら
れており，どの場所でいつ頃撮影された映像があるかが
直感的にわかる。この場合，時間軸を変える可変レバー
４７を変えると対象とする時間範囲が変わる。ここで関
心のある映像素材の素材アイコン４３をポイントする
と，映像ブラウジングウィンドウ４１によって該当映像
の再生表示あるいは概要映像が表示される。

【００３２】図５の例では，使用する属性が色相情報お
よび時間である。表示スクリーン４０中の２次元マップ
４２には色相軸（ＨＵＥ）５１および時間軸（ｔ）５０
によって位置の決まる座標系が定義されており，素材映
像の代表色相と代表時間で決まる位置に，代表画像で表
される素材アイコン４３を表示する。これにより，どの
ような色合い感覚の映像が，どの時間（日，月，年な
ど）に存在しているかがわかる。

【００３３】アクセスする映像が回線を介して遠隔のカ
メラ入力に直接つながれているような場合であって，時
間軸を属性の一つにとる場合には，一番最近の位置にラ
イブ映像が表示されることになる。

【００３４】

【発明の効果】以上説明したように，本発明によれば，
利用者が蓄積する映像データに対して，それらの管理，
検索，利用をするために，映像を自動的に解析し得られ
た属性情報またはマニュアルで入力された映像自身に関
する属性情報を利用することにより，属性情報による特
徴空間での絶対位置ならびに他の映像との相対的な位置
関係が，利用者インタフェース上で自動的に視覚的に表
現されるので，利用者は映像情報の配置を全体的な観点
で把握できる効果がある。また，特定の映像内容にもす
ぐにアクセスすることができるという効果がある。

【００３５】さらに，映像の入力に当たっては特定の分
類を考慮することなく登録しておき，それを利用する際
にも分類を気にする必要がない。特に映像の地理的な位
置ならびに絶対時間軸を用いた場合には，映像素材に関
する地理的，時間的近接性によるイベントの発見などを
視覚的に実現できる効果がある。

【図面の簡単な説明】

【図１】本発明の実施例のシステム構成図である。

【図２】本発明の実施例に関わる処理手順を示した図で
ある。

【図３】映像の属性情報の入力に関わる処理手順を示し
た図である。

【図４】属性情報として映像の代表時間，代表地理位置
を用いたインタフェース例を示した図である。

【図５】映像の色相属性情報および代表時間情報を用い
たインタフェース例を示した図である。

【符号の説明】

１ インタフェース部 ２ 映像管理制御部 ３ 映像蓄積部 ４ 管理情報蓄積部 ６ 回線インタフェース １０ 管理・アクセス処理 ３０ 入力登録処理 ４０ 表示スクリーン ４１ 映像ブラウジングウィンドウ ４２ ２次元マップ ４３ 素材アイコン ４４ マップｘ軸 ４５ マップｙ軸 ４６ ３次元マップ ４７ 可変レバー ４８ 素材マーク ５０ 時間軸 ５１ 色相軸

Claims (9)

【特許請求の範囲】
1. 【請求項１】 蓄積された映像素材，または回線を介し
   てアクセス可能な映像素材について管理，アクセス，利
   用するシステムにおける映像管理マップ表現方法であっ
   て，映像素材毎に管理に必要な属性情報を管理情報とし
   て保持し，その映像素材に関する管理情報に含まれる属
   性情報を一つ以上選択し，その選択属性情報によって表
   現される属性空間を計算機スクリーン平面に投影表現し
   たマップ上における管理対象の映像ソースの選択属性情
   報に基づく位置を求め，求めた位置に前記映像素材の存
   在を示す表現を行うことを特徴とする映像管理マップ表
   現方法。
2. 【請求項２】 前記映像素材の存在を示す表示を行う際
   に，表示する映像素材情報の代表画像表現および／また
   は属性情報の可視化表現を行うことを特徴とする請求項
   １記載の映像管理マップ表現方法。
3. 【請求項３】 前記計算機スクリーン平面に投影表現し
   た前記マップ上の属性空間を，投影条件が変更されたと
   きにその変更された投影条件に従って表現し直すことを
   特徴とする請求項１記載の映像管理マップ表現方法。
4. 【請求項４】 前記映像素材の属性情報に対してあらか
   じめ設定した条件あるいは利用者が設定する条件でフィ
   ルタリングをかけ，その結果に合う映像素材の計算機ス
   クリーン上の表現に対して強調表示を行うことを特徴と
   する請求項１記載の映像管理マップ表現方法。
5. 【請求項５】 前記選択属性情報として，前記映像素材
   が撮影もしくは作成された時間の代表値，前記映像素材
   が撮影もしくは作成された地理位置の代表値，または前
   記映像素材の色に関する代表値の一つ以上を用いること
   を特徴とする請求項１記載の映像管理マップ表現方法。
6. 【請求項６】 計算機上のスクリーンに表現された前記
   映像素材の存在表現に対して，利用者操作によって映像
   の再生表示，または前記映像素材を速見するための映像
   表示，または前記映像素材の属性に関する新たな表現を
   行うことを特徴とする請求項１記載の映像管理マップ表
   現方法。
7. 【請求項７】 映像素材の新たな入力・更新時にその映
   像素材を解析し，その結果得られる情報および／または
   利用者による属性の入力情報を，映像素材の管理情報中
   の属性情報として入力し蓄積することを特徴とする請求
   項１記載の映像管理マップ表現方法。
8. 【請求項８】 前記映像素材に，カメラから直接入力し
   たリアルタイム映像またはネットワークを通じてアクセ
   ス可能なリアルタイム映像が含まれることを特徴とする
   請求項１記載の映像管理マップ表現方法。
9. 【請求項９】 蓄積された映像素材，または回線を介し
   てアクセス可能な映像素材について管理，アクセス，利
   用するシステムにおいて，映像素材を蓄積する映像蓄積
   部および／または遠隔の映像素材をアクセスする回線イ
   ンタフェースを備えるとともに，管理対象の映像素材に
   関する管理情報を蓄積しておく管理情報蓄積部と，利用
   者への情報の表示および利用者による情報入力を可能と
   するインタフェース部と，前記管理情報蓄積部に含まれ
   る映像素材に関する属性情報を一つ以上選択し，その選
   択属性情報によって表現される属性空間を前記インタフ
   ェース部のスクリーン平面に投影表現したマップ上での
   管理対象の映像ソースの選択属性情報に基づく位置を求
   め，求めた位置に前記映像素材の存在を示す表現を行う
   映像管理制御部とを備えたことを特徴とする映像管理マ
   ップ表現装置。