JPH0916457A - マルチメディアデータ検索システム - Google Patents
マルチメディアデータ検索システムInfo
- Publication number
- JPH0916457A JPH0916457A JP7161712A JP16171295A JPH0916457A JP H0916457 A JPH0916457 A JP H0916457A JP 7161712 A JP7161712 A JP 7161712A JP 16171295 A JP16171295 A JP 16171295A JP H0916457 A JPH0916457 A JP H0916457A
- Authority
- JP
- Japan
- Prior art keywords
- data
- view object
- multimedia data
- display
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99941—Database schema or data structure
- Y10S707/99944—Object-oriented database structure
- Y10S707/99945—Object-oriented database structure processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【目的】 マルチメディアデータの検索方式に係り、連
続的データの一部分としての部分データの検索を容易と
し、その部分データの表示に際して必要に応じて周辺の
データを表示し、部分データの全体における位置づけを
明確化可能とする。 【構成】 部分データの特徴と、該部分データを特定す
るデータとを記述するビューオブジェクトを格納する手
段１と、部分データの特徴の指定に応じ、手段１に格納
されているビューオブジェクトを検索する手段２と、検
索されたビューオブジェクトに対応する部分データ、ま
たは該部分データを含むマルチメディアデータを表示・
再生する手段３とを備える。
続的データの一部分としての部分データの検索を容易と
し、その部分データの表示に際して必要に応じて周辺の
データを表示し、部分データの全体における位置づけを
明確化可能とする。 【構成】 部分データの特徴と、該部分データを特定す
るデータとを記述するビューオブジェクトを格納する手
段１と、部分データの特徴の指定に応じ、手段１に格納
されているビューオブジェクトを検索する手段２と、検
索されたビューオブジェクトに対応する部分データ、ま
たは該部分データを含むマルチメディアデータを表示・
再生する手段３とを備える。
Description
【０００１】
【産業上の利用分野】本発明はマルチメディアデータの
検索方式に係り、更に詳しくはマルチメディアデータの
一部分のデータに対応するビューオブジェクトを利用し
て、マルチメディアデータの一部分を検索し、またマル
チメディアデータの特徴を生かしてその一部分のデータ
を表示するマルチメディアデータ検索システムに関す
る。
検索方式に係り、更に詳しくはマルチメディアデータの
一部分のデータに対応するビューオブジェクトを利用し
て、マルチメディアデータの一部分を検索し、またマル
チメディアデータの特徴を生かしてその一部分のデータ
を表示するマルチメディアデータ検索システムに関す
る。
【０００２】
【従来の技術】テキスト、音声、静止画、およびビデオ
データなど、様々な種類のデータを取り扱うマルチメデ
ィアデータベースシステムは、近年著しい発展を果たし
つつある。マルチメディアデータの特徴はデータ量が膨
大であること、データの種類が豊富であることなどであ
る。
データなど、様々な種類のデータを取り扱うマルチメデ
ィアデータベースシステムは、近年著しい発展を果たし
つつある。マルチメディアデータの特徴はデータ量が膨
大であること、データの種類が豊富であることなどであ
る。
【０００３】このため大量のデータから簡単に必要な情
報のみを取り出すことができ、またユーザ毎に異なる視
点からデータを検索できる必要があり、更にデータの種
類が追加された場合にもそれに容易に対応できる機能が
必要である。膨大なデータを利用することから、取り出
されたデータの情報をうまく格納してそれを再利用する
方式が必要であり、部分的なデータを利用するために
は、特に連続データに関して、その部分データの前後や
全体の中の位置づけを知る必要もある。
報のみを取り出すことができ、またユーザ毎に異なる視
点からデータを検索できる必要があり、更にデータの種
類が追加された場合にもそれに容易に対応できる機能が
必要である。膨大なデータを利用することから、取り出
されたデータの情報をうまく格納してそれを再利用する
方式が必要であり、部分的なデータを利用するために
は、特に連続データに関して、その部分データの前後や
全体の中の位置づけを知る必要もある。
【０００４】従来のデータベース検索システムでは、主
としてキーワードによる検索が用いられている。しかし
ながらキーワードによる検索では、連続データの途中の
一部分のデータにアクセスすることはできず、更にキー
ワードその他の属性はデータ全体に固有のものであり、
検索できるデータのフォーマットは固定されていた。取
り出されたデータの再利用に関しては、編集したデータ
を保存することができる程度に限られていた。連続デー
タの一部分の表示に関して特に工夫された検索方式は存
在していなかった。
としてキーワードによる検索が用いられている。しかし
ながらキーワードによる検索では、連続データの途中の
一部分のデータにアクセスすることはできず、更にキー
ワードその他の属性はデータ全体に固有のものであり、
検索できるデータのフォーマットは固定されていた。取
り出されたデータの再利用に関しては、編集したデータ
を保存することができる程度に限られていた。連続デー
タの一部分の表示に関して特に工夫された検索方式は存
在していなかった。
【０００５】
【発明が解決しようとする課題】従ってマルチメディア
データに対する検索においては、検索されたデータ自体
が膨大な量となるため、それを閲覧すること自体が困難
であり、全てのユーザに対して画一的な見方のデータし
か提供できず、更に新たな種類のデータが追加された場
合には、システムの再構築が必要であるという問題点を
生じていた。また編集されたデータを保存することによ
り更に膨大なデータが発生するという問題点や、元のデ
ータに変更が加わった場合に、変更前のデータを編集し
た結果のデータを書き替えることができないという問題
点もあった。更に部分データを利用するに際して、特に
連続データの中の部分データの位置づけを知ることがで
きないという問題点もあった。
データに対する検索においては、検索されたデータ自体
が膨大な量となるため、それを閲覧すること自体が困難
であり、全てのユーザに対して画一的な見方のデータし
か提供できず、更に新たな種類のデータが追加された場
合には、システムの再構築が必要であるという問題点を
生じていた。また編集されたデータを保存することによ
り更に膨大なデータが発生するという問題点や、元のデ
ータに変更が加わった場合に、変更前のデータを編集し
た結果のデータを書き替えることができないという問題
点もあった。更に部分データを利用するに際して、特に
連続データの中の部分データの位置づけを知ることがで
きないという問題点もあった。
【０００６】本発明は、連続データの一部分を容易に検
索することができ、ユーザ毎に異なる視点から検索可能
であり、種類の異なるデータを追加した場合にもシステ
ムを柔軟に拡張でき、検索して編集した結果のデータに
対して検索前のデータの表示手順を基にした編集後のデ
ータの表示手順を格納することができ、連続データにつ
いては検索された部分データの前後や全体からの位置づ
けを表示することができるデータベース検索システムを
提供することを目的とする。
索することができ、ユーザ毎に異なる視点から検索可能
であり、種類の異なるデータを追加した場合にもシステ
ムを柔軟に拡張でき、検索して編集した結果のデータに
対して検索前のデータの表示手順を基にした編集後のデ
ータの表示手順を格納することができ、連続データにつ
いては検索された部分データの前後や全体からの位置づ
けを表示することができるデータベース検索システムを
提供することを目的とする。
【０００７】
【課題を解決するための手段】図１は本発明の原理構成
ブロック図である。同図は、マルチメディアデータを格
納するマルチメディアデータベースから、データを検索
するマルチメディアデータ検索システムの原理構成ブロ
ック図である。
ブロック図である。同図は、マルチメディアデータを格
納するマルチメディアデータベースから、データを検索
するマルチメディアデータ検索システムの原理構成ブロ
ック図である。
【０００８】図１においてビューオブジェクト格納手段
１は、例えばビューオブジェクト格納部であり、一連の
データのうちの一部分を時間および／または空間の観点
から切り取った結果としての部分データの特徴、例えば
キーワードと、その部分データを特定するデータ、例え
ばテキストデータではファイルの先頭から何バイト目か
ら何バイト目までというような部分データを特定するデ
ータを記述するビューオブジェクトを格納するものであ
る。従ってこのビューオブジェクトは、部分データ毎に
キーワードに対応して生成され、生成されたビューオブ
ジェクトがこのビューオブジェクト格納手段１に格納さ
れる。
１は、例えばビューオブジェクト格納部であり、一連の
データのうちの一部分を時間および／または空間の観点
から切り取った結果としての部分データの特徴、例えば
キーワードと、その部分データを特定するデータ、例え
ばテキストデータではファイルの先頭から何バイト目か
ら何バイト目までというような部分データを特定するデ
ータを記述するビューオブジェクトを格納するものであ
る。従ってこのビューオブジェクトは、部分データ毎に
キーワードに対応して生成され、生成されたビューオブ
ジェクトがこのビューオブジェクト格納手段１に格納さ
れる。
【０００９】ビューオブジェクト管理手段２は、例えば
ビューオブジェクト管理部であり、部分データの特徴、
例えばキーワードのユーザなどによる指定に応じて、ビ
ューオブジェクト格納手段１に格納されているビューオ
ブジェクトを検索するものである。
ビューオブジェクト管理部であり、部分データの特徴、
例えばキーワードのユーザなどによる指定に応じて、ビ
ューオブジェクト格納手段１に格納されているビューオ
ブジェクトを検索するものである。
【００１０】更にマルチメディアデータ表示・再生手段
３は、例えばマルチメディアデータ表示・再生部であ
り、ビューオブジェクト管理手段２によって検索された
ビューオブジェクトに対応する部分データ、またはその
部分データを含むマルチメディアデータを表示・再生す
るものである。
３は、例えばマルチメディアデータ表示・再生部であ
り、ビューオブジェクト管理手段２によって検索された
ビューオブジェクトに対応する部分データ、またはその
部分データを含むマルチメディアデータを表示・再生す
るものである。
【００１１】
【作用】本発明においてはマルチメディアデータのうち
の一部分、例えば静止画、すなわちイメージデータの画
面の一部のみの部分データがキーワードと対応させられ
て、そのキーワードと、その部分データを特定するデー
タを記述するビューオブジェクトが、例えばビューオブ
ジェクト生成部によって生成され、ビューオブジェクト
格納手段１に格納される。
の一部分、例えば静止画、すなわちイメージデータの画
面の一部のみの部分データがキーワードと対応させられ
て、そのキーワードと、その部分データを特定するデー
タを記述するビューオブジェクトが、例えばビューオブ
ジェクト生成部によって生成され、ビューオブジェクト
格納手段１に格納される。
【００１２】このビューオブジェクト格納手段１にはテ
キストデータ、イメージデータ、オーディオデータ、ビ
デオデータなどのメディア毎に、またキーワードに対応
させられて作成されたビューオブジェクトが多数格納さ
れ、部分データの特徴、例えばキーワードのユーザによ
る指定に応じて、ビューオブジェクト管理手段２によっ
て対応するビューオブジェクトが検索される。このよう
なビューオブジェクトは、本発明においてはオブジェク
ト指向データベースにより管理されるもので、マルチメ
ディアデータの本体とは独立して格納、管理されるもの
である。
キストデータ、イメージデータ、オーディオデータ、ビ
デオデータなどのメディア毎に、またキーワードに対応
させられて作成されたビューオブジェクトが多数格納さ
れ、部分データの特徴、例えばキーワードのユーザによ
る指定に応じて、ビューオブジェクト管理手段２によっ
て対応するビューオブジェクトが検索される。このよう
なビューオブジェクトは、本発明においてはオブジェク
ト指向データベースにより管理されるもので、マルチメ
ディアデータの本体とは独立して格納、管理されるもの
である。
【００１３】ビューオブジェクト管理手段２によって検
索されたビューオブジェクトに対応する部分データは、
例えばビューオブジェクトに定義されたメソッドとして
の“表示（ ）”を起動することによって、マルチメデ
ィアデータ表示・再生手段３によって表示されるが、こ
の部分データの表示にあたってはビューオブジェクトに
よって特定されるデータのみでなく、例えばビデオデー
タであれば時間的に部分データの前、または後のデータ
を追加して表示したり、また例えばイメージデータであ
れば画面上で指定された部分のみでなく、その他の部分
のデータを粗く表示することもできる。
索されたビューオブジェクトに対応する部分データは、
例えばビューオブジェクトに定義されたメソッドとして
の“表示（ ）”を起動することによって、マルチメデ
ィアデータ表示・再生手段３によって表示されるが、こ
の部分データの表示にあたってはビューオブジェクトに
よって特定されるデータのみでなく、例えばビデオデー
タであれば時間的に部分データの前、または後のデータ
を追加して表示したり、また例えばイメージデータであ
れば画面上で指定された部分のみでなく、その他の部分
のデータを粗く表示することもできる。
【００１４】以上のように本発明によれば、部分データ
をビューオブジェクトに対応させることによって、連続
データからその一部分を取り出すことができる。
をビューオブジェクトに対応させることによって、連続
データからその一部分を取り出すことができる。
【００１５】
【実施例】図２は本発明のマルチメディアデータ検索シ
ステムの基本構成ブロック図である。同図において、マ
ルチメディアデータ格納部１１はテキスト、イメージ、
オーディオ、およびビデオなどのマルチメディアデータ
を格納する。ビューオブジェクト格納部１２は、マルチ
メディアデータの一部分に対してユーザ独自の情報、例
えばキーワードと、その部分データを特定するデータを
記述したビューオブジェクトを格納する。
ステムの基本構成ブロック図である。同図において、マ
ルチメディアデータ格納部１１はテキスト、イメージ、
オーディオ、およびビデオなどのマルチメディアデータ
を格納する。ビューオブジェクト格納部１２は、マルチ
メディアデータの一部分に対してユーザ独自の情報、例
えばキーワードと、その部分データを特定するデータを
記述したビューオブジェクトを格納する。
【００１６】ビューオブジェクト管理部１３は、ビュー
オブジェクト格納部１２に格納されているビューオブジ
ェクトの検索を行うものであり、マルチメディアデータ
表示・再生部１４は、ビューオブジェクト管理部１３に
よって検索されたビューオブジェクトに基づいて、必要
な部分データをマルチメディアデータ格納部１１から取
り出し、メディア毎に適切な方法で表示部１６に表示・
再生するものである。更にビューオブジェクト生成部１
５は、ユーザが部分データに関する情報、すなわちキー
ワードと、その部分データを特定するデータを入力部１
７を介して入力した時、マルチメディアデータ格納部１
１に格納されている該当のマルチメディアデータを参照
して、ビューオブジェクト生成のために必要なデータに
変換し、新たにビューオブジェクトを生成するものであ
る。
オブジェクト格納部１２に格納されているビューオブジ
ェクトの検索を行うものであり、マルチメディアデータ
表示・再生部１４は、ビューオブジェクト管理部１３に
よって検索されたビューオブジェクトに基づいて、必要
な部分データをマルチメディアデータ格納部１１から取
り出し、メディア毎に適切な方法で表示部１６に表示・
再生するものである。更にビューオブジェクト生成部１
５は、ユーザが部分データに関する情報、すなわちキー
ワードと、その部分データを特定するデータを入力部１
７を介して入力した時、マルチメディアデータ格納部１
１に格納されている該当のマルチメディアデータを参照
して、ビューオブジェクト生成のために必要なデータに
変換し、新たにビューオブジェクトを生成するものであ
る。
【００１７】図３は図２の基本システム構成を実現する
ためのコンピュータシステムの構成を示すコンピュータ
環境図である。同図は一般的なコンピュータシステムの
構成を示しているが、図２のビューオブジェクト管理部
１３、マルチメディアデータ表示・再生部１４、および
ビューオブジェクト生成部１５はＣＰＵ２０によって実
現され、マルチメディアデータ格納部１１、およびビュ
ーオブジェクト格納部１２は、ハードディスクドライブ
（ＨＤＤ）２１によって実現され、表示部１６はディス
プレイ２３によって、入力部１７はキーボード２４によ
って実現される。
ためのコンピュータシステムの構成を示すコンピュータ
環境図である。同図は一般的なコンピュータシステムの
構成を示しているが、図２のビューオブジェクト管理部
１３、マルチメディアデータ表示・再生部１４、および
ビューオブジェクト生成部１５はＣＰＵ２０によって実
現され、マルチメディアデータ格納部１１、およびビュ
ーオブジェクト格納部１２は、ハードディスクドライブ
（ＨＤＤ）２１によって実現され、表示部１６はディス
プレイ２３によって、入力部１７はキーボード２４によ
って実現される。
【００１８】図４は本実施例におけるビューオブジェク
トのクラス構造を示す。ビューオブジェクトは、このよ
うなクラス構造を持つオブジェクト指向データベースに
よって管理される。このようなオブジェクト指向データ
ベースを利用することの特徴を次に述べる。
トのクラス構造を示す。ビューオブジェクトは、このよ
うなクラス構造を持つオブジェクト指向データベースに
よって管理される。このようなオブジェクト指向データ
ベースを利用することの特徴を次に述べる。
【００１９】マルチメディアデータを取り扱う場合、メ
ディアの異種性の統一と、大規模データの扱いが問題と
なる。オブジェクト指向データベースでは、種類の異な
るデータをオブジェクトとして統一的に扱うことがで
き、マルチメディアデータベースに適している。またポ
リモルフィズムによって、メディアやフォーマットの違
いを意識せずに同じメソッドを使うことができる。すな
わち、異なるフォーマットを持つデータを追加する場合
には、新たなビューオブジェクトのクラスを設ければよ
く、異なるフォーマットを持つデータに対しても柔軟に
拡張できる。マルチメディアデータの表示の手続きにつ
いては、メディアの種類によって一般的に異なるが、ビ
ューオブジェクトに定義されているメソッドとしての
“表示（ ）”を起動することにより、そのメディアの
データのフォーマットに適した表示の手続きが実行され
る。
ディアの異種性の統一と、大規模データの扱いが問題と
なる。オブジェクト指向データベースでは、種類の異な
るデータをオブジェクトとして統一的に扱うことがで
き、マルチメディアデータベースに適している。またポ
リモルフィズムによって、メディアやフォーマットの違
いを意識せずに同じメソッドを使うことができる。すな
わち、異なるフォーマットを持つデータを追加する場合
には、新たなビューオブジェクトのクラスを設ければよ
く、異なるフォーマットを持つデータに対しても柔軟に
拡張できる。マルチメディアデータの表示の手続きにつ
いては、メディアの種類によって一般的に異なるが、ビ
ューオブジェクトに定義されているメソッドとしての
“表示（ ）”を起動することにより、そのメディアの
データのフォーマットに適した表示の手続きが実行され
る。
【００２０】図５〜図８にテキスト、イメージ、オーデ
ィオ、およびビデオのそれぞれのメディアに対するビュ
ーオブジェクトの例を示す。これらのビューオブジェク
トは、ビューオブジェクトのクラスから、システムによ
って提供されている“new （）”というメソッドを起動
することによって生成される。このメソッドは起動され
たクラスの構造を持つオブジェクトを新たに生成するた
めの手続きであり、引き数として属性の値を指定する
と、指定された値を属性の値とし、指定されていない属
性の値はデフォルト値を持つオブジェクトが生成され
る。
ィオ、およびビデオのそれぞれのメディアに対するビュ
ーオブジェクトの例を示す。これらのビューオブジェク
トは、ビューオブジェクトのクラスから、システムによ
って提供されている“new （）”というメソッドを起動
することによって生成される。このメソッドは起動され
たクラスの構造を持つオブジェクトを新たに生成するた
めの手続きであり、引き数として属性の値を指定する
と、指定された値を属性の値とし、指定されていない属
性の値はデフォルト値を持つオブジェクトが生成され
る。
【００２１】次にこれらのビューオブジェクトの生成に
ついて次の〜で具体的に説明する。 テキストビューオブジェクトの生成 ウィンドウ上に表示されたテキストデータに対し、ユー
ザが（マウスでドラッグ、あるいはタブレットでマーク
する等して）登録したい部分を選択し、キーワードを
（キーボードから、あるいは予めキーワードが登録され
ているメニューから選択して）入力する。
ついて次の〜で具体的に説明する。 テキストビューオブジェクトの生成 ウィンドウ上に表示されたテキストデータに対し、ユー
ザが（マウスでドラッグ、あるいはタブレットでマーク
する等して）登録したい部分を選択し、キーワードを
（キーボードから、あるいは予めキーワードが登録され
ているメニューから選択して）入力する。
【００２２】ビューオブジェクト生成部１５は、選択さ
れた部分データの最初と最後の位置をファイルの先頭か
らのバイト数に変換し（これはウィンドウシステムで提
供される機能を利用）、そのバイト数とファイル名と上
記キーワードとを引数として、テキストビューのクラス
からシステムの提供する“new( ）”メソッドを起動
し、その結果テキストビューオブジェクトが生成され
る。例えば、選択部分の最初の位置のファイルの先頭か
らのバイト数をａ、最後の位置のファイルの先頭からの
バイト数をｂとすると、図５のようなテキストビューオ
ブジェクトが生成される。 イメージビューオブジェクトの生成 ウィンドウ上に表示されたイメージデータに対し、ユー
ザが（マウスでドラッグ、あるいはタブレットでマーク
する等して）登録したい部分を選択し、キーワードを
（キーボードから、あるいは予めキーワードが登録され
ているメニューから選択して）入力する。
れた部分データの最初と最後の位置をファイルの先頭か
らのバイト数に変換し（これはウィンドウシステムで提
供される機能を利用）、そのバイト数とファイル名と上
記キーワードとを引数として、テキストビューのクラス
からシステムの提供する“new( ）”メソッドを起動
し、その結果テキストビューオブジェクトが生成され
る。例えば、選択部分の最初の位置のファイルの先頭か
らのバイト数をａ、最後の位置のファイルの先頭からの
バイト数をｂとすると、図５のようなテキストビューオ
ブジェクトが生成される。 イメージビューオブジェクトの生成 ウィンドウ上に表示されたイメージデータに対し、ユー
ザが（マウスでドラッグ、あるいはタブレットでマーク
する等して）登録したい部分を選択し、キーワードを
（キーボードから、あるいは予めキーワードが登録され
ているメニューから選択して）入力する。
【００２３】ビューオブジェクト生成部１５は、選択さ
れた矩形部分の左上座標と右下座標（イメージ全体の左
上座標を（０，０）とする）をウィンドウシステムが提
供する機能を利用して読み込み、その座標とファイル名
と上記キーワードを引数として、イメージビューのクラ
スからシステムの提供する“new( ) ”メソッドを起動
し、その結果イメージビューオブジェクトが生成され
る。例えば、選択部分の左上座標を（ｘ１，ｙ１）、右
下座標を（ｘ２，ｙ２）とすると、図６のようなイメー
ジビューオブジェクトが生成される。 オーディオビューオブジェクトの生成 図９に示すようなＧＵＩ（入力用画面におけるグラフィ
ックユーザインタフェース）を利用して、スピーカから
再生されたオーディオデータに対し、ユーザが最初と最
後のタイミングを画面上に表示された部分設定ボタンを
押すことで、あるいは、スピーカからの再生と同時に表
示される音声波形用ウィンドウ上の波形を参考にして部
分設定バーをマウス等でドラッグすることで、登録した
い部分を選択し、キーワードを（キーボードから、ある
いは予めキーワードが登録されているメニューから選択
して）入力する。
れた矩形部分の左上座標と右下座標（イメージ全体の左
上座標を（０，０）とする）をウィンドウシステムが提
供する機能を利用して読み込み、その座標とファイル名
と上記キーワードを引数として、イメージビューのクラ
スからシステムの提供する“new( ) ”メソッドを起動
し、その結果イメージビューオブジェクトが生成され
る。例えば、選択部分の左上座標を（ｘ１，ｙ１）、右
下座標を（ｘ２，ｙ２）とすると、図６のようなイメー
ジビューオブジェクトが生成される。 オーディオビューオブジェクトの生成 図９に示すようなＧＵＩ（入力用画面におけるグラフィ
ックユーザインタフェース）を利用して、スピーカから
再生されたオーディオデータに対し、ユーザが最初と最
後のタイミングを画面上に表示された部分設定ボタンを
押すことで、あるいは、スピーカからの再生と同時に表
示される音声波形用ウィンドウ上の波形を参考にして部
分設定バーをマウス等でドラッグすることで、登録した
い部分を選択し、キーワードを（キーボードから、ある
いは予めキーワードが登録されているメニューから選択
して）入力する。
【００２４】ビューオブジェクト生成部１５は、選択さ
れた最初と最後の部分をウィンドウシステムが提供する
機能を利用して読み込んで先頭からの秒数に変換し、そ
の秒数とファイル名と上記キーワードを引数として、オ
ーディオビューのクラスから、システムの提供する“ne
w( ) ”メソッドを起動し、オーディオビューオブジェ
クトが生成される。例えば、選択部分の最初の部分の先
頭からの秒数をｔ１、最後の部分の先頭からの秒数をｔ
２とすると、図７のようなオーディオビューオブジェク
トが生成される。 ビデオビューオブジェクトの生成 ビデオデータの部分データの設定では、ビデオデータの
うち複数枚の代表的なフレーム（最初、最後、中間フレ
ーム）をユーザが選出し、それらのフレームに対して選
択部分を指定することにより設定する。具体的には、図
１０に示すようなＧＵＩを利用して、ビデオ表示用ウィ
ンドウ上に再生されたビデオデータに対して、ユーザが
登録したいフレーム近辺で画面上に表示されたコマ送り
ボタンを押してコマ送りをし、登録するフレームにおい
て一時停止ボタンを押して一時停止させる。その一時停
止したフレームに対し、（マウスでドラッグ、あるいは
タブレットでマークする等して）登録したい部分を選択
し、部分設定ボタンを押す。再び、再生ボタンを押し、
登録したい全てのフレームに対して以上を繰り返す。ま
た、キーワードを（キーボードから、あるいは予めキー
ワードが登録されているメニューから選択して）入力す
る。
れた最初と最後の部分をウィンドウシステムが提供する
機能を利用して読み込んで先頭からの秒数に変換し、そ
の秒数とファイル名と上記キーワードを引数として、オ
ーディオビューのクラスから、システムの提供する“ne
w( ) ”メソッドを起動し、オーディオビューオブジェ
クトが生成される。例えば、選択部分の最初の部分の先
頭からの秒数をｔ１、最後の部分の先頭からの秒数をｔ
２とすると、図７のようなオーディオビューオブジェク
トが生成される。 ビデオビューオブジェクトの生成 ビデオデータの部分データの設定では、ビデオデータの
うち複数枚の代表的なフレーム（最初、最後、中間フレ
ーム）をユーザが選出し、それらのフレームに対して選
択部分を指定することにより設定する。具体的には、図
１０に示すようなＧＵＩを利用して、ビデオ表示用ウィ
ンドウ上に再生されたビデオデータに対して、ユーザが
登録したいフレーム近辺で画面上に表示されたコマ送り
ボタンを押してコマ送りをし、登録するフレームにおい
て一時停止ボタンを押して一時停止させる。その一時停
止したフレームに対し、（マウスでドラッグ、あるいは
タブレットでマークする等して）登録したい部分を選択
し、部分設定ボタンを押す。再び、再生ボタンを押し、
登録したい全てのフレームに対して以上を繰り返す。ま
た、キーワードを（キーボードから、あるいは予めキー
ワードが登録されているメニューから選択して）入力す
る。
【００２５】ビューオブジェクト生成部１５は、選択さ
れた全てのフレームに対し、フレーム番号と予めファイ
ルのヘッダに記述されたフレームレートとからそのフレ
ームの先頭からの秒数を計算し、各フレーム内で選択さ
れた部分に関しては、と同様にして左上座標と右下座
標を読み込み、この計算したフレームの秒数と座標の組
の集合と、ファイル名と上記キーワードを引数として、
ビデオビューのクラスから、システムの提供する“new
( ) ”メソッドを起動し、その結果ビデオビューオブ
ジェクトが生成される。例えば、先頭からｔ１，ｔ
２，．．．，ｔｎ秒のフレームを選択し、ｔ１秒のフレ
ームの選択部分の左上座標を（ｘ１１，ｙ１１）、右下
座標を（ｘ１２，ｙ１２）、ｔ２秒のフレームの選択部
分の左上座標を（ｘ２１，ｙ２１）、右下座標を（ｘ２
２，ｙ２２）、・・・ とすると、図８のようなビデオビュ
ーオブジェクトが生成される。
れた全てのフレームに対し、フレーム番号と予めファイ
ルのヘッダに記述されたフレームレートとからそのフレ
ームの先頭からの秒数を計算し、各フレーム内で選択さ
れた部分に関しては、と同様にして左上座標と右下座
標を読み込み、この計算したフレームの秒数と座標の組
の集合と、ファイル名と上記キーワードを引数として、
ビデオビューのクラスから、システムの提供する“new
( ) ”メソッドを起動し、その結果ビデオビューオブ
ジェクトが生成される。例えば、先頭からｔ１，ｔ
２，．．．，ｔｎ秒のフレームを選択し、ｔ１秒のフレ
ームの選択部分の左上座標を（ｘ１１，ｙ１１）、右下
座標を（ｘ１２，ｙ１２）、ｔ２秒のフレームの選択部
分の左上座標を（ｘ２１，ｙ２１）、右下座標を（ｘ２
２，ｙ２２）、・・・ とすると、図８のようなビデオビュ
ーオブジェクトが生成される。
【００２６】なお、ビデオの音声データに対してはフレ
ーム（画像）データに対応して、ｔ 1 〜ｔn の部分が設
定部分とされる。次に、ビューオブジェクトの生成処理
について、一般的に説明する。図１１はビューオブジェ
クト生成処理のフローチャートである。同図において処
理が開始されると、まずステップＳ１においてユーザは
図９、または図１０で示したような入力用ウィンドウ上
で表示・再生させるマルチメディアデータが格納されて
いるファイル名を指定し、ステップＳ２でマルチメディ
アデータ表示部１４は指定されたファイルをウィンドウ
上に表示・再生し、ステップＳ３でユーザはグラフィッ
クユーザインタフェース（ＧＵＩ）を利用してオブジェ
クトに対応する部分データの設定を行い、キーワードを
入力する。この入力に応じて、ステップＳ４でビューオ
ブジェクト生成部１５はそのメディアのビューのクラス
からファイル名、設定部分、およびキーワードの集合を
属性値として持つビューオブジェクトを生成するため
に、メソッド“new( ) ”を実行してビューオブジェク
トを生成し、ステップＳ５でその生成されたビューオブ
ジェクトがビューオブジェクト格納部１２に格納されて
処理を終了する。
ーム（画像）データに対応して、ｔ 1 〜ｔn の部分が設
定部分とされる。次に、ビューオブジェクトの生成処理
について、一般的に説明する。図１１はビューオブジェ
クト生成処理のフローチャートである。同図において処
理が開始されると、まずステップＳ１においてユーザは
図９、または図１０で示したような入力用ウィンドウ上
で表示・再生させるマルチメディアデータが格納されて
いるファイル名を指定し、ステップＳ２でマルチメディ
アデータ表示部１４は指定されたファイルをウィンドウ
上に表示・再生し、ステップＳ３でユーザはグラフィッ
クユーザインタフェース（ＧＵＩ）を利用してオブジェ
クトに対応する部分データの設定を行い、キーワードを
入力する。この入力に応じて、ステップＳ４でビューオ
ブジェクト生成部１５はそのメディアのビューのクラス
からファイル名、設定部分、およびキーワードの集合を
属性値として持つビューオブジェクトを生成するため
に、メソッド“new( ) ”を実行してビューオブジェク
トを生成し、ステップＳ５でその生成されたビューオブ
ジェクトがビューオブジェクト格納部１２に格納されて
処理を終了する。
【００２７】次にビューオブジェクト格納部１２に格納
されているビューオブジェクトの検索について説明す
る。図１２はビューオブジェクトの検索処理のフローチ
ャートである。同図において処理が開始されると、まず
ステップＳ６においてビューオブジェクト管理部１３が
キーワードの指定に応じて対応するビューオブジェクト
を検索する。このキーワードは、例えばキーボードから
入力されるか、あるいは予めキーワードが登録されてい
るメニューからユーザによって選択される。
されているビューオブジェクトの検索について説明す
る。図１２はビューオブジェクトの検索処理のフローチ
ャートである。同図において処理が開始されると、まず
ステップＳ６においてビューオブジェクト管理部１３が
キーワードの指定に応じて対応するビューオブジェクト
を検索する。このキーワードは、例えばキーボードから
入力されるか、あるいは予めキーワードが登録されてい
るメニューからユーザによって選択される。
【００２８】続いてステップＳ７で検索結果の表示が行
われる。この検索結果の表示もビューオブジェクト管理
部１３によって制御される。検索結果としては、例えば
図１３に示されるようにビデオ、オーディオ、イメー
ジ、およびテキストの各メディア毎にビューオブジェク
トが何件検索されたかが表示され、ビデオビューオブジ
ェクトと、オーディオビューオブジェクトについてはそ
れぞれ再生時間の合計が表示される。オーディオビュー
オブジェクトについては図７の設定部分としてのｔ2 −
ｔ1 の合計が、またビデオビューオブジェクトについは
てｔn −ｔ1 の合計が表示される。
われる。この検索結果の表示もビューオブジェクト管理
部１３によって制御される。検索結果としては、例えば
図１３に示されるようにビデオ、オーディオ、イメー
ジ、およびテキストの各メディア毎にビューオブジェク
トが何件検索されたかが表示され、ビデオビューオブジ
ェクトと、オーディオビューオブジェクトについてはそ
れぞれ再生時間の合計が表示される。オーディオビュー
オブジェクトについては図７の設定部分としてのｔ2 −
ｔ1 の合計が、またビデオビューオブジェクトについは
てｔn −ｔ1 の合計が表示される。
【００２９】ユーザはこの検索結果の表示に対して、ス
テップＳ８で更に検索を続けるか、あるいはこれらの検
索結果のビューオブジェクトの表示を行うかを決定し、
更に検索を続ける場合には処理はＳ６に戻り、ビューオ
ブジェクトに対応する部分データの表示を行う場合に
は、ステップＳ９でマルチメディアデータ表示・再生部
１４によって検索された個々のビューオブジェクトから
メソッド“表示（ ）”が起動され、各ビューオブジェ
クトに対応する方法でデータの表示が行われ、処理を終
了する。
テップＳ８で更に検索を続けるか、あるいはこれらの検
索結果のビューオブジェクトの表示を行うかを決定し、
更に検索を続ける場合には処理はＳ６に戻り、ビューオ
ブジェクトに対応する部分データの表示を行う場合に
は、ステップＳ９でマルチメディアデータ表示・再生部
１４によって検索された個々のビューオブジェクトから
メソッド“表示（ ）”が起動され、各ビューオブジェ
クトに対応する方法でデータの表示が行われ、処理を終
了する。
【００３０】図１４はビューオブジェクトに対応する部
分データの表示処理のフローチャートである。同図にお
いて処理が開始されると、まずステップＳ１１でビュー
オブジェクト管理部１３によって表示すべきビューオブ
ジェクトの集合から１つのビューオブジェクトが取り出
され、ステップＳ１２でマルチメディアデータ表示・再
生部１４によってそのビューオブジェクトからの“表示
（ ）”のメソッドが実行され、ステップＳ１３で他に
表示すべきビューオブジェクトがあるか否かが判定さ
れ、ある場合にはステップＳ１１の処理に戻り、表示す
べきビューオブジェクトが存在しない場合には処理を終
了する。
分データの表示処理のフローチャートである。同図にお
いて処理が開始されると、まずステップＳ１１でビュー
オブジェクト管理部１３によって表示すべきビューオブ
ジェクトの集合から１つのビューオブジェクトが取り出
され、ステップＳ１２でマルチメディアデータ表示・再
生部１４によってそのビューオブジェクトからの“表示
（ ）”のメソッドが実行され、ステップＳ１３で他に
表示すべきビューオブジェクトがあるか否かが判定さ
れ、ある場合にはステップＳ１１の処理に戻り、表示す
べきビューオブジェクトが存在しない場合には処理を終
了する。
【００３１】なお、この図１４は図１２のステップＳ９
の処理をシステム側の動きとして記述したものであり、
一方、図１２はユーザ側の利用方法としてデータの検索
・表示のフローを記述したものである。単なる表示と検
索・表示とは、その処理は当然同じであるが、検索せず
に表示することもある。
の処理をシステム側の動きとして記述したものであり、
一方、図１２はユーザ側の利用方法としてデータの検索
・表示のフローを記述したものである。単なる表示と検
索・表示とは、その処理は当然同じであるが、検索せず
に表示することもある。
【００３２】続いて部分データの表示・再生法について
次の(1) 〜(14)で具体的に詳細に説明する。 (1) テキストデータの部分表示 テキストデータの部分表示では、ビューオブジェクトで
指定された部分を表示する。例えば、図５のテキストビ
ューオブジェクトに対しては、ファイルの先頭からａ b
yte の部分を探し、そこから(b-a)byte 分をファイルか
ら読み込んで表示する。 (2) イメージデータの部分表示１ イメージデータの部分表示１では、ビューオブジェクト
で指定された部分を整数倍に拡大してウィンドウ上に表
示する。例えば、図６のイメージビューオブジェクトに
対しては、部分イメージのサイズは（ｘ２−ｘ１，ｙ２
−ｙ１）となるので、これとウィンドウのサイズから、
ウィンドウ上に収まる最大の整数ｎを求め、（ｘ１，ｙ
１）−（ｘ２，ｙ２）内のデータをそれぞれｘ軸方向、
ｙ軸方向にｎ倍にして表示する。 (3) イメージデータの部分表示２ イメージデータの部分表示２では、ビューオブジェクト
で指定された部分を予め設定された長さだけ上下左右大
きめに切り取って整数倍に拡大してウィンドウ上に表示
する。例えば、図６のイメージビューオブジェクトに対
し、長さ 外１だけ大きめに取るとすると、全体のイメ
ージデータ（例えば画面全体）のサイ
次の(1) 〜(14)で具体的に詳細に説明する。 (1) テキストデータの部分表示 テキストデータの部分表示では、ビューオブジェクトで
指定された部分を表示する。例えば、図５のテキストビ
ューオブジェクトに対しては、ファイルの先頭からａ b
yte の部分を探し、そこから(b-a)byte 分をファイルか
ら読み込んで表示する。 (2) イメージデータの部分表示１ イメージデータの部分表示１では、ビューオブジェクト
で指定された部分を整数倍に拡大してウィンドウ上に表
示する。例えば、図６のイメージビューオブジェクトに
対しては、部分イメージのサイズは（ｘ２−ｘ１，ｙ２
−ｙ１）となるので、これとウィンドウのサイズから、
ウィンドウ上に収まる最大の整数ｎを求め、（ｘ１，ｙ
１）−（ｘ２，ｙ２）内のデータをそれぞれｘ軸方向、
ｙ軸方向にｎ倍にして表示する。 (3) イメージデータの部分表示２ イメージデータの部分表示２では、ビューオブジェクト
で指定された部分を予め設定された長さだけ上下左右大
きめに切り取って整数倍に拡大してウィンドウ上に表示
する。例えば、図６のイメージビューオブジェクトに対
し、長さ 外１だけ大きめに取るとすると、全体のイメ
ージデータ（例えば画面全体）のサイ
【００３３】
【外１】
【００３４】ズがｘｍ×ｙｍの場合、
【００３５】
【数１】
【００３６】とし、（xs,ys)-(xe,ye)の部分を(2) と同
様の手法で拡大表示する。 (4) イメージデータの部分表示３ イメージデータの部分表示３では、ビューオブジェクト
で指定された部分をウィンドウの中央部に整数倍に拡大
して表示し、指定されない部分をウィンドウ上の残りの
部分にデータを間引いて縮小表示する。例えば、図６の
イメージビューオブジェクトに対しては、(2) と同様の
方法で拡大率ｎを求める。ウィンドウのサイズをｗｘ×
ｗｙとすると、 xa＝(wx-n(x2-x1))/2,xb＝(wx+n(x2-x1))/2, ya＝(wy-n(y2-y1))/2,yb＝(wy+n(y2-y1))/2 として、(x
1,y1)-(x2,y2) のデータは、(xa,ya)-(xb,yb) に(2) と
同様の方法で拡大表示し、 (0,0)-(x1,y1) のデータは(0,0)-(xa,ya) に、 (x1,0)-(x2,y1)のデータは(xa,0)-(xb,ya)に、 ・・・・ ・・・・ (x2,y2)-(wx,wy) のデータは(xb,yb)-(wx,wy) にそれぞ
れデータを間引いて表示する。
様の手法で拡大表示する。 (4) イメージデータの部分表示３ イメージデータの部分表示３では、ビューオブジェクト
で指定された部分をウィンドウの中央部に整数倍に拡大
して表示し、指定されない部分をウィンドウ上の残りの
部分にデータを間引いて縮小表示する。例えば、図６の
イメージビューオブジェクトに対しては、(2) と同様の
方法で拡大率ｎを求める。ウィンドウのサイズをｗｘ×
ｗｙとすると、 xa＝(wx-n(x2-x1))/2,xb＝(wx+n(x2-x1))/2, ya＝(wy-n(y2-y1))/2,yb＝(wy+n(y2-y1))/2 として、(x
1,y1)-(x2,y2) のデータは、(xa,ya)-(xb,yb) に(2) と
同様の方法で拡大表示し、 (0,0)-(x1,y1) のデータは(0,0)-(xa,ya) に、 (x1,0)-(x2,y1)のデータは(xa,0)-(xb,ya)に、 ・・・・ ・・・・ (x2,y2)-(wx,wy) のデータは(xb,yb)-(wx,wy) にそれぞ
れデータを間引いて表示する。
【００３７】データの間引き方は、例えばｘ軸方向にｍ
個のデータをｋ個に表示するためには、 if(m-k＞k)｛［m/k ］毎にデータを表示する。｝ else ｛［m/m-k ］毎にデータを間引いて表示する。｝; ｙ軸方向に関しても同様である。ここで、例えば［m/k
］はm/k 以下の最大の整数値を意味する（以下同
様）。
個のデータをｋ個に表示するためには、 if(m-k＞k)｛［m/k ］毎にデータを表示する。｝ else ｛［m/m-k ］毎にデータを間引いて表示する。｝; ｙ軸方向に関しても同様である。ここで、例えば［m/k
］はm/k 以下の最大の整数値を意味する（以下同
様）。
【００３８】なお、(2) と同様に指定されたデータをｎ
倍に拡大して表示しても、ｎが整数であるため、一般に
ｘまたはｙ方向に画面が一杯にはならないが、一杯にな
る場合はｎをｎ−１として縮小表示用の部分を残すこと
にする。ただしｎ＝１のときはそのままとする。すなわ
ち次のようにｎを決定する。
倍に拡大して表示しても、ｎが整数であるため、一般に
ｘまたはｙ方向に画面が一杯にはならないが、一杯にな
る場合はｎをｎ−１として縮小表示用の部分を残すこと
にする。ただしｎ＝１のときはそのままとする。すなわ
ち次のようにｎを決定する。
【００３９】n＝min(［wx/x2-x1］, ［wy/y2-y1］); if(n≠1 and (wx ＝n(x2 -x1) or wy ＝n(y2 -y1)) n＝n-1 (5) オーディオデータの部分再生１ オーディオデータの部分再生１では、ビューオブジェク
トで指定された範囲を再生する。例えば、図７のオーデ
ィオビューオブジェクトに対しては、ｔ１秒から(t2-t
1) 秒間再生する。 (6) オーディオデータの部分再生２ オーディオデータの部分再生２では、ビューオブジェク
トで指定された範囲に加えて、予め設定された時間分だ
け前後のデータを取り込んで再生する。例えば、図７の
オーディオビューオブジェクトに対し、時間Δだけ前後
のデータを再生するとすると、全データの再生時間長が
tmの場合、
トで指定された範囲を再生する。例えば、図７のオーデ
ィオビューオブジェクトに対しては、ｔ１秒から(t2-t
1) 秒間再生する。 (6) オーディオデータの部分再生２ オーディオデータの部分再生２では、ビューオブジェク
トで指定された範囲に加えて、予め設定された時間分だ
け前後のデータを取り込んで再生する。例えば、図７の
オーディオビューオブジェクトに対し、時間Δだけ前後
のデータを再生するとすると、全データの再生時間長が
tmの場合、
【００４０】
【数２】
【００４１】とし、ts秒から(te-ts) 秒間再生する。 (7) オーディオデータの部分再生３ オーディオデータの部分再生３では、ビューオブジェク
トで指定された範囲は通常速度で、指定されていない範
囲は予め設定された速度で早送りして再生する。早送り
再生の方法は、例えば、ｎ倍速で再生する場合は、ＰＣ
Ｍデータに変換された音声データをｎ個毎に再生するこ
とによってデータを間引く。図７のオーディオビューオ
ブジェクトに対しては、全データの再生時間長がtmの場
合、ｎ倍速で早送りするとして、０秒からt1/n秒間早送
り、t1秒から(t2-t1) 秒間通常速度、t2秒から（tm-t2)
/n秒間早送り、で再生する。
トで指定された範囲は通常速度で、指定されていない範
囲は予め設定された速度で早送りして再生する。早送り
再生の方法は、例えば、ｎ倍速で再生する場合は、ＰＣ
Ｍデータに変換された音声データをｎ個毎に再生するこ
とによってデータを間引く。図７のオーディオビューオ
ブジェクトに対しては、全データの再生時間長がtmの場
合、ｎ倍速で早送りするとして、０秒からt1/n秒間早送
り、t1秒から(t2-t1) 秒間通常速度、t2秒から（tm-t2)
/n秒間早送り、で再生する。
【００４２】複数のビューオブジェクトが検索された場
合は、設定部分の開始時刻でソートして、例えば、設定
部分がt1-t2 とt3-t4(t1＜t3) の場合は、 (8) オーディオデータの部分再生４ オーディオデータの部分再生４では、ビューオブジェク
トで指定された範囲は通常速度で、指定されていない範
囲は無音部分のデータを飛ばして、予め設定された時間
内に収まるように再生する。音声の振幅がある一定レベ
ル以下の部分が予め設定された時間以上続く部分を無音
部分とみなし、そのレベルを順次あげることにより、全
再生時間が設定された時間内に収まるようにする。例え
ば、図７のオーディオビューオブジェクトに対して、あ
る時間Ｔ内に全部の再生を収めるように指定すると、振
幅レベルを順次増加させるための１回の増分値をα、無
音部分の最低持続時間設定値をtn、全再生時間をtmとす
ると、 if（Ｔ≦t2-t1)｛t1秒から(t2-t1) 秒間再生する。｝ else ｛Ａ＝α * if(0-t1,t2-tm内で振幅Ａ以下がtn以上持続する部分の合計 時間＞tm-T) ｛0-t1, t2-tm 内で振幅Ａ以下がtn以上持続する部分を 除く部分とt1-t2 を再生して終了する。｝ else ｛Ａ＝Ａ＋αとして *へ。｝｝ 複数のオーディオビューオブジェクトが検索された場合
は(7) と同様の方法で、指定されていない範囲を検出
し、その全ての部分に対し上記アルゴリズムを適用し、
再生する。なお、Ｔ＜t2-t1 の場合は時間Ｔの間に全部
の再生はできないので、この場合に限ってＴを越えて全
部を再生するものとする。 (9) ビデオデータの部分再生１ ビデオデータの部分再生１では、ビューオブジェクトに
記述されたフレーム内の矩形でマークされた部分をウィ
ンドウ上に整数倍拡大表示し、ビューオブジェクトに記
載されていないフレームでは、マーク部分が直線的に移
動しているものと仮定して内挿的に表示する。例えば、
図８のビデオビューオブジェクトに対しては、t1,t2,・・
・,tn秒のフレームに関しては、(2) で示した方法により
拡大表示したものを、その他のフレームに関しては、例
えば、t1とt2の間のフレームに関しては、そのフレーム
のt1からの時間をtiとすると、 xs ＝x11+［ (x21-x11)ti/(t2-t1)］,ys ＝y11+ (y21-y11)ti/(t2-t1)］, xe ＝x12+［ (x22-x12)ti/(t2-t1)］,ye ＝y12+ (y22-y12)ti/(t2-t1)］ として、(xs,ys)-(xe,ye) の部分を(2) で示した方法に
より拡大表示したものを再生する。 (10) ビデオデータの部分再生２ ビデオデータの部分再生２では、ビューオブジェクトに
記述されたフレームの矩形でマークされた部分を予め設
定された長さだけ上下左右大きめに取って、整数倍に拡
大してウィンドウ上に表示して再生する。例えば図８の
ビデオビューオブジェクトに対し、長さ 外２ だけ大
きめに取るとすると、
合は、設定部分の開始時刻でソートして、例えば、設定
部分がt1-t2 とt3-t4(t1＜t3) の場合は、 (8) オーディオデータの部分再生４ オーディオデータの部分再生４では、ビューオブジェク
トで指定された範囲は通常速度で、指定されていない範
囲は無音部分のデータを飛ばして、予め設定された時間
内に収まるように再生する。音声の振幅がある一定レベ
ル以下の部分が予め設定された時間以上続く部分を無音
部分とみなし、そのレベルを順次あげることにより、全
再生時間が設定された時間内に収まるようにする。例え
ば、図７のオーディオビューオブジェクトに対して、あ
る時間Ｔ内に全部の再生を収めるように指定すると、振
幅レベルを順次増加させるための１回の増分値をα、無
音部分の最低持続時間設定値をtn、全再生時間をtmとす
ると、 if（Ｔ≦t2-t1)｛t1秒から(t2-t1) 秒間再生する。｝ else ｛Ａ＝α * if(0-t1,t2-tm内で振幅Ａ以下がtn以上持続する部分の合計 時間＞tm-T) ｛0-t1, t2-tm 内で振幅Ａ以下がtn以上持続する部分を 除く部分とt1-t2 を再生して終了する。｝ else ｛Ａ＝Ａ＋αとして *へ。｝｝ 複数のオーディオビューオブジェクトが検索された場合
は(7) と同様の方法で、指定されていない範囲を検出
し、その全ての部分に対し上記アルゴリズムを適用し、
再生する。なお、Ｔ＜t2-t1 の場合は時間Ｔの間に全部
の再生はできないので、この場合に限ってＴを越えて全
部を再生するものとする。 (9) ビデオデータの部分再生１ ビデオデータの部分再生１では、ビューオブジェクトに
記述されたフレーム内の矩形でマークされた部分をウィ
ンドウ上に整数倍拡大表示し、ビューオブジェクトに記
載されていないフレームでは、マーク部分が直線的に移
動しているものと仮定して内挿的に表示する。例えば、
図８のビデオビューオブジェクトに対しては、t1,t2,・・
・,tn秒のフレームに関しては、(2) で示した方法により
拡大表示したものを、その他のフレームに関しては、例
えば、t1とt2の間のフレームに関しては、そのフレーム
のt1からの時間をtiとすると、 xs ＝x11+［ (x21-x11)ti/(t2-t1)］,ys ＝y11+ (y21-y11)ti/(t2-t1)］, xe ＝x12+［ (x22-x12)ti/(t2-t1)］,ye ＝y12+ (y22-y12)ti/(t2-t1)］ として、(xs,ys)-(xe,ye) の部分を(2) で示した方法に
より拡大表示したものを再生する。 (10) ビデオデータの部分再生２ ビデオデータの部分再生２では、ビューオブジェクトに
記述されたフレームの矩形でマークされた部分を予め設
定された長さだけ上下左右大きめに取って、整数倍に拡
大してウィンドウ上に表示して再生する。例えば図８の
ビデオビューオブジェクトに対し、長さ 外２ だけ大
きめに取るとすると、
【００４３】
【外２】
【００４４】t1,t2,・・・,tn秒のフレームについては、
(3) で示した方法により拡大表示したものを、その他の
フレームについては、(9) で示した方法により表示部分
を決定し、それに対して(3) で示した方法により拡大表
示したものを再生する。 (11) ビデオデータの部分再生３ ビデオデータの部分再生３では、ビューオブジェクトに
記述されたフレームの矩形でマークされた部分をウィン
ドウ中央部に整数倍に拡大して表示し、マークされない
部分をウィンドウ上の残りの部分に上下左右のデータを
間引いて縮小表示して再生する。例えば、図８のビデオ
ビューオブジェクトに対しては、t1,t2,・・・,tn秒のフレ
ームについては、(4) で示した方法により、選択部分を
拡大表示、その他の部分を間引いて表示したものを、そ
の他のフレームについては、(9)で示した方法により表
示部分を決定し、それに対して(4) で示した方法によ
り、選択部分を拡大表示、その他の部分を間引いて縮小
表示したものを再生する。なお、(9) 〜(11)、すなわち
ビデオデータの部分再生１〜３での音声データはｔ1〜
ｔn の部分のみ再生する。
(3) で示した方法により拡大表示したものを、その他の
フレームについては、(9) で示した方法により表示部分
を決定し、それに対して(3) で示した方法により拡大表
示したものを再生する。 (11) ビデオデータの部分再生３ ビデオデータの部分再生３では、ビューオブジェクトに
記述されたフレームの矩形でマークされた部分をウィン
ドウ中央部に整数倍に拡大して表示し、マークされない
部分をウィンドウ上の残りの部分に上下左右のデータを
間引いて縮小表示して再生する。例えば、図８のビデオ
ビューオブジェクトに対しては、t1,t2,・・・,tn秒のフレ
ームについては、(4) で示した方法により、選択部分を
拡大表示、その他の部分を間引いて表示したものを、そ
の他のフレームについては、(9)で示した方法により表
示部分を決定し、それに対して(4) で示した方法によ
り、選択部分を拡大表示、その他の部分を間引いて縮小
表示したものを再生する。なお、(9) 〜(11)、すなわち
ビデオデータの部分再生１〜３での音声データはｔ1〜
ｔn の部分のみ再生する。
【００４５】図１５は部分再生の例を示し、(a) は矩形
でマークされた部分だけをウィンドウ上に拡大表示した
状態、(b) は周囲にΔだけ大きくとった状態、(c) は拡
大表示の周囲に縮小表示の部分が再生されている状態を
示す。 (12) ビデオデータの部分再生４ ビデオデータの部分再生４では、ビューオブジェクトに
記述されたフレームの矩形でマークされた部分をウィン
ドウ上に整数倍に拡大表示するが、この時、予め設定さ
れた時間分だけの前後のデータを取り込んで再生する。
例えば、図８のビデオビューオブジェクトに対しては、
(6) に示した方法でt1の前、tnの後の取り入れるフレー
ム（秒）を決定し、その範囲のフレームについて(9) で
示した方法により、各フレームの表示部分を決定して再
生する。また、(10),(11) と組み合わせて表示部分を変
えることも可能である。なお、音声データは(6) に示し
た方法で再生する。 (13) ビデオデータの部分再生５ ビデオデータの部分再生５では、ビューオブジェクトに
記述されたフレームの矩形でマークされた部分をウィン
ドウ上に整数倍に拡大して表示し、ビューオブジェクト
で指定した範囲のフレームは通常速度で、指定されてい
ない範囲は予め設定された速度で早送りして再生する。
早送り再生の方法は、例えば、ｎ倍速で再生する場合は
フレームをｎ個毎に表示することによってデータを間引
く。図８のビデオビューオブジェクトに対しては、t1-t
n を設定部分として(7) に示した方法で早送りと通常速
度の範囲を決定し、表示するフレームに関しては(9) で
示した方法により表示部分を決定して再生する。また、
(10),(11) と組み合わせて表示部分を変えることも可能
である。音声データは(7) に示した方法で再生する。 (14) ビデオデータの部分再生６ ビデオデータの部分再生６では、ビューオブジェクトに
記述されたフレームの矩形でマークされた部分をウィン
ドウ上に整数倍に拡大して表示し、ビューオブジェクト
で指定した範囲のフレームは通常速度で、指定されてい
ない範囲は予め設定された時間内に収まるように早送り
し、音声は無音部分のデータは飛ばして予め設定された
時間内に収まるように再生する。図８のビデオビューオ
ブジェクトに対しては、ある時間Ｔ内に全部の再生を収
めるように指定すると、全再生時間をtmとして、 if(T≦tn-t1)｛t1-tn 秒の部分を(9) に従って再生する。この場合に限り、Ｔ を越えて再生可とする。｝ else ｛n ＝［(tm-(tn-t1))/(T-(tn-t1))］ if(n＝0) ｛0-tm秒の部分を(9) に従って再生する。｝ else ｛0-t1, tn-tm はn+1 倍速で、t1-tn は通常速度で (9) に従って再生する。｝｝ 音声は(8) に従って再生する。また、(10),(11) と組み
合わせて表示部分を変えることも可能である。
でマークされた部分だけをウィンドウ上に拡大表示した
状態、(b) は周囲にΔだけ大きくとった状態、(c) は拡
大表示の周囲に縮小表示の部分が再生されている状態を
示す。 (12) ビデオデータの部分再生４ ビデオデータの部分再生４では、ビューオブジェクトに
記述されたフレームの矩形でマークされた部分をウィン
ドウ上に整数倍に拡大表示するが、この時、予め設定さ
れた時間分だけの前後のデータを取り込んで再生する。
例えば、図８のビデオビューオブジェクトに対しては、
(6) に示した方法でt1の前、tnの後の取り入れるフレー
ム（秒）を決定し、その範囲のフレームについて(9) で
示した方法により、各フレームの表示部分を決定して再
生する。また、(10),(11) と組み合わせて表示部分を変
えることも可能である。なお、音声データは(6) に示し
た方法で再生する。 (13) ビデオデータの部分再生５ ビデオデータの部分再生５では、ビューオブジェクトに
記述されたフレームの矩形でマークされた部分をウィン
ドウ上に整数倍に拡大して表示し、ビューオブジェクト
で指定した範囲のフレームは通常速度で、指定されてい
ない範囲は予め設定された速度で早送りして再生する。
早送り再生の方法は、例えば、ｎ倍速で再生する場合は
フレームをｎ個毎に表示することによってデータを間引
く。図８のビデオビューオブジェクトに対しては、t1-t
n を設定部分として(7) に示した方法で早送りと通常速
度の範囲を決定し、表示するフレームに関しては(9) で
示した方法により表示部分を決定して再生する。また、
(10),(11) と組み合わせて表示部分を変えることも可能
である。音声データは(7) に示した方法で再生する。 (14) ビデオデータの部分再生６ ビデオデータの部分再生６では、ビューオブジェクトに
記述されたフレームの矩形でマークされた部分をウィン
ドウ上に整数倍に拡大して表示し、ビューオブジェクト
で指定した範囲のフレームは通常速度で、指定されてい
ない範囲は予め設定された時間内に収まるように早送り
し、音声は無音部分のデータは飛ばして予め設定された
時間内に収まるように再生する。図８のビデオビューオ
ブジェクトに対しては、ある時間Ｔ内に全部の再生を収
めるように指定すると、全再生時間をtmとして、 if(T≦tn-t1)｛t1-tn 秒の部分を(9) に従って再生する。この場合に限り、Ｔ を越えて再生可とする。｝ else ｛n ＝［(tm-(tn-t1))/(T-(tn-t1))］ if(n＝0) ｛0-tm秒の部分を(9) に従って再生する。｝ else ｛0-t1, tn-tm はn+1 倍速で、t1-tn は通常速度で (9) に従って再生する。｝｝ 音声は(8) に従って再生する。また、(10),(11) と組み
合わせて表示部分を変えることも可能である。
【００４６】なおこのようにフレームのデータは、指定
されていない範囲で予め設定された時間内に収まるよう
に早送りするのに対して、音声データは無音部分のデー
タを飛ばして再生するために、ビューオブジェクトで設
定された部分以外については画像と音声とは必ずしも対
応しないことになるが、ここではビューオブジェクトで
設定された部分以外の再生はその設定部分との関連を示
すことを目的としており、特に問題はないものとする。
されていない範囲で予め設定された時間内に収まるよう
に早送りするのに対して、音声データは無音部分のデー
タを飛ばして再生するために、ビューオブジェクトで設
定された部分以外については画像と音声とは必ずしも対
応しないことになるが、ここではビューオブジェクトで
設定された部分以外の再生はその設定部分との関連を示
すことを目的としており、特に問題はないものとする。
【００４７】また、上のifの条件が成立し、設定された
時間Ｔがビューオブジェクトに設定されている時間ｔ1
〜ｔn よりも短い場合には、Ｔを越えて全てを再生する
か、ビューオブジェクトで指定された範囲のフレームは
設定部分を必ず再生するという方式で再生が行われる。
このifの条件が成立しない時とは、ビデオデータ全体の
長さからビューオブジェクトで設定された部分ｔ1 〜ｔ
n の区間を除いた長さが、指定された再生時間Ｔからこ
のｔ1 〜ｔn を除いた長さのｎ倍以上でｎ＋１倍未満の
場合にあたり、そのため全てを再生するために、設定さ
れた部分ｔ1 〜ｔn を除いた部分はｎ＋１倍速で再生さ
れる。
時間Ｔがビューオブジェクトに設定されている時間ｔ1
〜ｔn よりも短い場合には、Ｔを越えて全てを再生する
か、ビューオブジェクトで指定された範囲のフレームは
設定部分を必ず再生するという方式で再生が行われる。
このifの条件が成立しない時とは、ビデオデータ全体の
長さからビューオブジェクトで設定された部分ｔ1 〜ｔ
n の区間を除いた長さが、指定された再生時間Ｔからこ
のｔ1 〜ｔn を除いた長さのｎ倍以上でｎ＋１倍未満の
場合にあたり、そのため全てを再生するために、設定さ
れた部分ｔ1 〜ｔn を除いた部分はｎ＋１倍速で再生さ
れる。
【００４８】次に複数のビューオブジェクトを複合して
生成される複合ビューオブジェクトについて説明する。
図１６は複合ビューオブジェクトの例を示す。複合ビュ
ーオブジェクトは、その属性として１つのメディアの種
類に対応して合成される複数のビューオブジェクトの集
合が記述され、各メディアに対応してそのような記述の
組が集合とされている形式を持っている。そしてその複
合ビューオブジェクトに対応してキーワードが定義さ
れ、またその複合ビューオブジェクトを表示するための
メソッドとして“表示（ ）”が記述されている。
生成される複合ビューオブジェクトについて説明する。
図１６は複合ビューオブジェクトの例を示す。複合ビュ
ーオブジェクトは、その属性として１つのメディアの種
類に対応して合成される複数のビューオブジェクトの集
合が記述され、各メディアに対応してそのような記述の
組が集合とされている形式を持っている。そしてその複
合ビューオブジェクトに対応してキーワードが定義さ
れ、またその複合ビューオブジェクトを表示するための
メソッドとして“表示（ ）”が記述されている。
【００４９】このように複合ビューオブジェクトは、図
５〜図８に示した単一のビューオブジェクトと比較する
と、ファイル名と設定部分の代わりに、メディア毎にビ
ューオブジェクトを集合値として持つように、拡張され
た構造を持つ複合ビュークラスのオブジェクトである。
このような複合ビュークラスを図４のViewクラスの下に
追加することにより、複合ビューオブジェクトを取り扱
うことができる。この場合メソッドとしての“表示
（ ）”は、各メディア毎にビューオブジェクトのメソ
ッドとしての“表示（ ）”を呼び出すように定義さ
れ、複合ビューオブジェクトから様々なメディアのデー
タを表示させることができる。この複合ビューオブジェ
クトは、検索されたデータの情報を記述しているとみな
すことができ、ビューオブジェクトを再利用することに
よって、半自動的な手続きでデータの編集を行うものと
考えることができる。
５〜図８に示した単一のビューオブジェクトと比較する
と、ファイル名と設定部分の代わりに、メディア毎にビ
ューオブジェクトを集合値として持つように、拡張され
た構造を持つ複合ビュークラスのオブジェクトである。
このような複合ビュークラスを図４のViewクラスの下に
追加することにより、複合ビューオブジェクトを取り扱
うことができる。この場合メソッドとしての“表示
（ ）”は、各メディア毎にビューオブジェクトのメソ
ッドとしての“表示（ ）”を呼び出すように定義さ
れ、複合ビューオブジェクトから様々なメディアのデー
タを表示させることができる。この複合ビューオブジェ
クトは、検索されたデータの情報を記述しているとみな
すことができ、ビューオブジェクトを再利用することに
よって、半自動的な手続きでデータの編集を行うものと
考えることができる。
【００５０】図１７は複合ビューオブジェクトの生成処
理フローチャートである。同図において処理が開始され
ると、まずステップＳ２０でユーザは合成すべきビュー
オブジェクトと、その合成方法（and またはor) を指定
して、キーワードを入力する。ここでand 合成はイメー
ジビューオブジェクト相互間、およびビデオビューオブ
ジェクト相互間のみで定義可能なものとする。続いてス
テップＳ２１で、ビューオブジェクト管理部１３によっ
てビューオブジェクトがメディア毎に集合としてまとめ
られる。合成対象となるビューオブジェクト自体がすで
に複合ビューオブジェクトである場合には、その複合ビ
ューオブジェクトは複合される前のビューオブジェクト
に展開されてメディア毎に集合としてまとめられる。そ
してステップＳ２２で、各メディア名に対してビューオ
ブジェクトの集合を要素として持つ集合ＳＡが空集合と
して定義される。
理フローチャートである。同図において処理が開始され
ると、まずステップＳ２０でユーザは合成すべきビュー
オブジェクトと、その合成方法（and またはor) を指定
して、キーワードを入力する。ここでand 合成はイメー
ジビューオブジェクト相互間、およびビデオビューオブ
ジェクト相互間のみで定義可能なものとする。続いてス
テップＳ２１で、ビューオブジェクト管理部１３によっ
てビューオブジェクトがメディア毎に集合としてまとめ
られる。合成対象となるビューオブジェクト自体がすで
に複合ビューオブジェクトである場合には、その複合ビ
ューオブジェクトは複合される前のビューオブジェクト
に展開されてメディア毎に集合としてまとめられる。そ
してステップＳ２２で、各メディア名に対してビューオ
ブジェクトの集合を要素として持つ集合ＳＡが空集合と
して定義される。
【００５１】これらのステップの後、ステップＳ２３で
１つのメディアに対するビューオブジェクトの集合が取
り出され、ステップＳ２４でそのメディアがビデオか否
かが判定される。ビデオである場合には、ステップＳ２
５で合成方法が andであるか否かが判定され、and であ
る場合にはステップＳ２６でビデオビューオブジェクト
の and合成が行われる。ここで and合成の意味、および
その方法については後述する。
１つのメディアに対するビューオブジェクトの集合が取
り出され、ステップＳ２４でそのメディアがビデオか否
かが判定される。ビデオである場合には、ステップＳ２
５で合成方法が andであるか否かが判定され、and であ
る場合にはステップＳ２６でビデオビューオブジェクト
の and合成が行われる。ここで and合成の意味、および
その方法については後述する。
【００５２】ステップＳ２５で and合成でないと判定さ
れると、ステップＳ２７でビデオビューオブジェクトの
or合成が行われる。このor合成についても後述する。こ
れに対して前述のステップＳ２４でメディアがビデオで
ないと判定されると、ステップＳ２８でメディアがイメ
ージで、しかも合成方法が andであるか否かが判定さ
れ、その条件が満足されるとステップＳ２９でイメージ
ビューオブジェクトの and合成が行われる。ステップＳ
２８で and合成か否かの判定が同時に行われる理由は、
イメージデータに対してはor合成という合成法は適用さ
れないためであり、その理由については後述する。
れると、ステップＳ２７でビデオビューオブジェクトの
or合成が行われる。このor合成についても後述する。こ
れに対して前述のステップＳ２４でメディアがビデオで
ないと判定されると、ステップＳ２８でメディアがイメ
ージで、しかも合成方法が andであるか否かが判定さ
れ、その条件が満足されるとステップＳ２９でイメージ
ビューオブジェクトの and合成が行われる。ステップＳ
２８で and合成か否かの判定が同時に行われる理由は、
イメージデータに対してはor合成という合成法は適用さ
れないためであり、その理由については後述する。
【００５３】ステップＳ２４でメディアがビデオでな
く、またステップＳ２８でメディアがイメージでない
か、あるいはイメージであっても and合成でない場合、
およびステップＳ２６でビデオビューオブジェクトの a
nd合成、ステップＳ２７でor合成、またはステップＳ２
９でイメージビューオブジェクトの and合成が終了した
場合には、ステップＳ３０でメディア名とそのメディア
名に対応する複数のビューオブジェクトの集合がＡとさ
れ、集合にこのＡを加える“add(Ａ）”という、集合Ｓ
Ａに要素を加えるメソッド（システムによって提供され
るメソッド）が起動され、その結果ＳＡの集合が求めら
れ、ステップＳ３１で他にメディアがあるか否かが判定
され、ある場合にはステップＳ２３以降の処理が繰り返
される。
く、またステップＳ２８でメディアがイメージでない
か、あるいはイメージであっても and合成でない場合、
およびステップＳ２６でビデオビューオブジェクトの a
nd合成、ステップＳ２７でor合成、またはステップＳ２
９でイメージビューオブジェクトの and合成が終了した
場合には、ステップＳ３０でメディア名とそのメディア
名に対応する複数のビューオブジェクトの集合がＡとさ
れ、集合にこのＡを加える“add(Ａ）”という、集合Ｓ
Ａに要素を加えるメソッド（システムによって提供され
るメソッド）が起動され、その結果ＳＡの集合が求めら
れ、ステップＳ３１で他にメディアがあるか否かが判定
され、ある場合にはステップＳ２３以降の処理が繰り返
される。
【００５４】ステップＳ３１で他にメディアが存在しな
い、すなわちステップＳ２１でメディア毎に集合として
まとめられた全てのビューオブジェクトの集合に対する
処理が終了すると、ステップＳ３２でビューオブジェク
ト生成部１５により複合ビューオブジェクトのクラスか
ら新しい複合ビューオブジェクトを生成するためのメソ
ッド“new( ) ”が実行され、１つの複合ビューオブジ
ェクトが生成され、続いてステップＳ３３で生成された
複合ビューオブジェクトがビューオブジェクト格納部１
２に格納されて、処理を終了する。
い、すなわちステップＳ２１でメディア毎に集合として
まとめられた全てのビューオブジェクトの集合に対する
処理が終了すると、ステップＳ３２でビューオブジェク
ト生成部１５により複合ビューオブジェクトのクラスか
ら新しい複合ビューオブジェクトを生成するためのメソ
ッド“new( ) ”が実行され、１つの複合ビューオブジ
ェクトが生成され、続いてステップＳ３３で生成された
複合ビューオブジェクトがビューオブジェクト格納部１
２に格納されて、処理を終了する。
【００５５】この図１７は１つの複合ビューオブジェク
トの生成処理を示すものであり、この中で用いられる集
合ＳＡはテンポラリな格納領域に格納されるものであっ
て、ここにメディア毎のビューオブジェクトの集合が格
納され、それらをまとめることにより複合ビューオブジ
ェクトのクラスから新しいオブジェクトが生成される。
例えばイメージのビューオブジェクトがｉｏ１，および
ｉｏ２の時に、これらを複合したビューオブジェクトの
生成時には、次に示す集合ＳＡに対して複合ビューオブ
ジェクトが生成される。
トの生成処理を示すものであり、この中で用いられる集
合ＳＡはテンポラリな格納領域に格納されるものであっ
て、ここにメディア毎のビューオブジェクトの集合が格
納され、それらをまとめることにより複合ビューオブジ
ェクトのクラスから新しいオブジェクトが生成される。
例えばイメージのビューオブジェクトがｉｏ１，および
ｉｏ２の時に、これらを複合したビューオブジェクトの
生成時には、次に示す集合ＳＡに対して複合ビューオブ
ジェクトが生成される。
【００５６】ＳＡ＝｛［image,｛io1,io2 ｝］｝ 図１８は生成された複合ビューオブジェクトの表示処理
のフローチャートである。同図において処理が開始され
ると、ステップＳ３５でユーザは複合ビューオブジェク
トからその複合ビューオブジェクトのメソッド“表示
（ ）”を実行させ、ステップＳ３６でビューオブジェ
クト管理部１３によって複合ビューオブジェクトに記述
されているビューオブジェクトの集合から１つのビュー
オブジェクトが取り出され、ステップＳ３７でマルチメ
ディアデータ表示・再生部１４によってそのビューオブ
ジェクトからメソッド“表示（ ）”が実行され、ステ
ップＳ３８で他にビューオブジェクトがあるか否かが判
定され、ある場合にはステップＳ３６以降の処理が繰り
返され、ない場合に処理を終了する。
のフローチャートである。同図において処理が開始され
ると、ステップＳ３５でユーザは複合ビューオブジェク
トからその複合ビューオブジェクトのメソッド“表示
（ ）”を実行させ、ステップＳ３６でビューオブジェ
クト管理部１３によって複合ビューオブジェクトに記述
されているビューオブジェクトの集合から１つのビュー
オブジェクトが取り出され、ステップＳ３７でマルチメ
ディアデータ表示・再生部１４によってそのビューオブ
ジェクトからメソッド“表示（ ）”が実行され、ステ
ップＳ３８で他にビューオブジェクトがあるか否かが判
定され、ある場合にはステップＳ３６以降の処理が繰り
返され、ない場合に処理を終了する。
【００５７】次に複合ビューオブジェクトの生成につい
て図１７のステップＳ２６，Ｓ２７、およびＳ２９にお
ける合成の方法について、具体例を用いて詳しく説明す
る。図１９はビデオデータの合成方法の説明図である。
同図を用いて、まずビデオデータの and合成とor合成と
について説明する。図に示すように時刻 t11〜t1n の間
のフレームにイヌが表示され、t21 〜t2n の間のフレー
ムにネコが表示されており、t21 がt1n より小さいもの
とする。
て図１７のステップＳ２６，Ｓ２７、およびＳ２９にお
ける合成の方法について、具体例を用いて詳しく説明す
る。図１９はビデオデータの合成方法の説明図である。
同図を用いて、まずビデオデータの and合成とor合成と
について説明する。図に示すように時刻 t11〜t1n の間
のフレームにイヌが表示され、t21 〜t2n の間のフレー
ムにネコが表示されており、t21 がt1n より小さいもの
とする。
【００５８】ビデオデータの and合成は、実質的に１つ
のフレームの中にイヌの表示とネコの表示とが同時に存
在する期間、すなわち時刻t21 〜t1n の間に行われる処
理であって、この区間においてはイヌとネコの表示領域
を共に含む部分が合成結果の設定部分として定義され
る。図１９においては、上の代表フレームの内部におけ
るイヌの表示部分とネコの表示部分とを両方含む領域、
すなわち太い黒線で囲んだ大きな四角形が設定部分とさ
れる。ここではこの設定部分を“イヌかつネコ”と呼ぶ
ことにする。
のフレームの中にイヌの表示とネコの表示とが同時に存
在する期間、すなわち時刻t21 〜t1n の間に行われる処
理であって、この区間においてはイヌとネコの表示領域
を共に含む部分が合成結果の設定部分として定義され
る。図１９においては、上の代表フレームの内部におけ
るイヌの表示部分とネコの表示部分とを両方含む領域、
すなわち太い黒線で囲んだ大きな四角形が設定部分とさ
れる。ここではこの設定部分を“イヌかつネコ”と呼ぶ
ことにする。
【００５９】図１９と異なってt21 の方がt1n より大き
い場合、すなわち１つのフレーム内にイヌの表示とネコ
の表示とが同時に存在する期間がない場合には、共通部
分がないものとして、and 合成の結果は設定部分なしと
される。
い場合、すなわち１つのフレーム内にイヌの表示とネコ
の表示とが同時に存在する期間がない場合には、共通部
分がないものとして、and 合成の結果は設定部分なしと
される。
【００６０】ビデオデータのor合成においては、イヌま
たはネコが表示されている部分が設定部分となる。すな
わち図１９においてt11 〜t21 の区間ではフレーム内の
イヌが表示されている四角形が設定部分となり、t1n 〜
t2n の区間ではネコが表示されている四角形が設定部分
とされる。t21 〜t1n の区間ではor合成の結果は前述の
and 合成の結果と同じであり、図１９の上部の“イヌか
つネコ”に対する大きな四角形が設定部分とされる。
たはネコが表示されている部分が設定部分となる。すな
わち図１９においてt11 〜t21 の区間ではフレーム内の
イヌが表示されている四角形が設定部分となり、t1n 〜
t2n の区間ではネコが表示されている四角形が設定部分
とされる。t21 〜t1n の区間ではor合成の結果は前述の
and 合成の結果と同じであり、図１９の上部の“イヌか
つネコ”に対する大きな四角形が設定部分とされる。
【００６１】このようにビデオデータに対して、and 合
成では１つのフレーム内に合成される２つの設定部分が
存在していない場合には共通部分なしとして合成結果の
設定部分は存在せず、or合成の場合は合成前の元のビュ
ーオブジェクトで設定された部分の両方が設定部分とさ
れて表示される。１つのフレーム内に合成されるべき２
つの設定部分が存在している場合には、 andおよびor合
成共に、２つのデータの設定部分が両方含まれる領域が
合成結果の設定部分として表示される。
成では１つのフレーム内に合成される２つの設定部分が
存在していない場合には共通部分なしとして合成結果の
設定部分は存在せず、or合成の場合は合成前の元のビュ
ーオブジェクトで設定された部分の両方が設定部分とさ
れて表示される。１つのフレーム内に合成されるべき２
つの設定部分が存在している場合には、 andおよびor合
成共に、２つのデータの設定部分が両方含まれる領域が
合成結果の設定部分として表示される。
【００６２】これに対してイメージデータのand 合成で
は、図１９の上に示すようにand 合成の結果として“イ
ヌかつネコ”に対する大きな四角形が設定部分とされ
る。すなわち２つの設定部分を両方とも含む領域が設定
部分とされる。これに対してイメージデータの場合にor
合成の意味を考えると、イヌまたはネコのどちらかが写
っていればよく、ネコのみ、イヌのみ、イヌかつネコの
３つのいずれかでよいが、それらを１つのものとして認
識することはできないので、イメージデータに対してor
合成は適用しない。実際に１枚のイメージにイヌとネコ
が写っている場合には、ビューオブジェクトの合成はせ
ずに、それぞれの設定部分が１枚づつ表示される。
は、図１９の上に示すようにand 合成の結果として“イ
ヌかつネコ”に対する大きな四角形が設定部分とされ
る。すなわち２つの設定部分を両方とも含む領域が設定
部分とされる。これに対してイメージデータの場合にor
合成の意味を考えると、イヌまたはネコのどちらかが写
っていればよく、ネコのみ、イヌのみ、イヌかつネコの
３つのいずれかでよいが、それらを１つのものとして認
識することはできないので、イメージデータに対してor
合成は適用しない。実際に１枚のイメージにイヌとネコ
が写っている場合には、ビューオブジェクトの合成はせ
ずに、それぞれの設定部分が１枚づつ表示される。
【００６３】図１９の具体例を用いた複合ビューオブジ
ェクトの生成、すなわちデータの合成について、次の
〜で更に一般的に説明する。 イメージデータの合成 同一のイメージデータの設定部分のand 合成は、例えば
(x1,y1)-(x2,y2) の矩形部分と(x3,y3)-(x4,y4) の矩形
部分の合成を行う場合、 xs ＝min(x1,x3),ys ＝min(y1,y3),xe ＝max(x2,x4),ye
＝max(y2,y4) として(xs,ys)-(xe,ye) を設定部分とする。 ビデオデータの合成１ 同一のビデオデータの設定部分のand 合成は、例えば代
表フレームが(t11,t12,・・・,t1i,・・・,t1n) の設定部分Ａ
と(t21,t22,・・・,t2i,・・・,t2m) の設定部分Ｂ(t11＜t21)
の合成を行う場合、 if(t1n＜＝t21)｛共通部分なし。｝ else ｛te＝min(t1n,t2m)として、 1. t2i ＜＝teなる時間t2i におけるＡ内のフレームの設定部 分をビデオデータの部分再生１（(9))で記述した方法により 計算する。
ェクトの生成、すなわちデータの合成について、次の
〜で更に一般的に説明する。 イメージデータの合成 同一のイメージデータの設定部分のand 合成は、例えば
(x1,y1)-(x2,y2) の矩形部分と(x3,y3)-(x4,y4) の矩形
部分の合成を行う場合、 xs ＝min(x1,x3),ys ＝min(y1,y3),xe ＝max(x2,x4),ye
＝max(y2,y4) として(xs,ys)-(xe,ye) を設定部分とする。 ビデオデータの合成１ 同一のビデオデータの設定部分のand 合成は、例えば代
表フレームが(t11,t12,・・・,t1i,・・・,t1n) の設定部分Ａ
と(t21,t22,・・・,t2i,・・・,t2m) の設定部分Ｂ(t11＜t21)
の合成を行う場合、 if(t1n＜＝t21)｛共通部分なし。｝ else ｛te＝min(t1n,t2m)として、 1. t2i ＜＝teなる時間t2i におけるＡ内のフレームの設定部 分をビデオデータの部分再生１（(9))で記述した方法により 計算する。
【００６４】 2．t21 ＜＝ t1i＜＝teなる時間t1i におけるＢ内のフレーム の設定部分を1.と同じ方法により計算する。 3. t21-te内のＡ，Ｂそれぞれの代表フレームと1,2 で計算し たフレームとから、 () で記述した方法に従って共通部分 を計算し、これらを代表フレームとする。｝ ビデオデータの合成２ 同一のビデオデータの設定部分のor合成は、例えば代表
フレームが(t11,t12,・・・,t1i,・・・,t1n) の設定部分Ａと
(t21,t22,・・・,t2i,・・・,t2m) の設定部分Ｂ(t11＜t21)の
合成を行う場合、 if(t1n＜t21)｛元のビデオビューオブジェクト。｝ else if(t2m ＜t1n) ｛設定部分Ａのt1i ＜t21 の代表フレームと、 に記述した方法で計算した共通の代表フレームと、 設定部分Ａのt1i ＞t2m の代表フレームとを併せて代表フレーム とする。｝ else ｛設定部分Ａのt1i ＜t21 の代表フレームと、 に記述した方法で計算した共通の代表フレームと、 設定部分Ｂのt2i ＞t1n の代表フレームとを併せて代表フレー ムとする。｝ 次に、図１７のステップＳ２６，Ｓ２７、及びＳ２９に
おけるデータ合成の詳細フローチャートを説明する。図
２０はイメージビューオブジェクトのand 合成処理の詳
細フローチャートである。同図において処理が開始され
ると、まずステップＳ４０で各ビューオブジェクトのフ
ァイル名が全て同じか、すなわち図１７のステップＳ２
３で１つのメディアに対して取り出されたビューオブジ
ェクトの集合内のビューオブジェクトのファイル名が同
じか否かが判定され、同じでない場合には合成処理は不
可能なものとして処理を終了する。
フレームが(t11,t12,・・・,t1i,・・・,t1n) の設定部分Ａと
(t21,t22,・・・,t2i,・・・,t2m) の設定部分Ｂ(t11＜t21)の
合成を行う場合、 if(t1n＜t21)｛元のビデオビューオブジェクト。｝ else if(t2m ＜t1n) ｛設定部分Ａのt1i ＜t21 の代表フレームと、 に記述した方法で計算した共通の代表フレームと、 設定部分Ａのt1i ＞t2m の代表フレームとを併せて代表フレーム とする。｝ else ｛設定部分Ａのt1i ＜t21 の代表フレームと、 に記述した方法で計算した共通の代表フレームと、 設定部分Ｂのt2i ＞t1n の代表フレームとを併せて代表フレー ムとする。｝ 次に、図１７のステップＳ２６，Ｓ２７、及びＳ２９に
おけるデータ合成の詳細フローチャートを説明する。図
２０はイメージビューオブジェクトのand 合成処理の詳
細フローチャートである。同図において処理が開始され
ると、まずステップＳ４０で各ビューオブジェクトのフ
ァイル名が全て同じか、すなわち図１７のステップＳ２
３で１つのメディアに対して取り出されたビューオブジ
ェクトの集合内のビューオブジェクトのファイル名が同
じか否かが判定され、同じでない場合には合成処理は不
可能なものとして処理を終了する。
【００６５】ファイル名が全て同じであれば、ステップ
Ｓ４１で各ビューオブジェクトの設定部分から合成後の
設定部分の計算が前述のようにして行われる。そしてス
テップＳ４２でイメージビューオブジェクトの生成メソ
ッドとしての“new( ) ”が起動され、合成されたビュ
ーオブジェクトが生成されて処理を終了する。なおこの
手続きは図２のビューオブジェクト管理部１３によって
実行される。
Ｓ４１で各ビューオブジェクトの設定部分から合成後の
設定部分の計算が前述のようにして行われる。そしてス
テップＳ４２でイメージビューオブジェクトの生成メソ
ッドとしての“new( ) ”が起動され、合成されたビュ
ーオブジェクトが生成されて処理を終了する。なおこの
手続きは図２のビューオブジェクト管理部１３によって
実行される。
【００６６】図２１はビデオビューオブジェクトの and
合成、すなわちステップＳ２６の詳細フローチャートで
ある。同図を図２０のイメージビューオブジェクトの場
合と比較すると、ステップＳ４５でビデオビューオブジ
ェクトから新しいオブジェクトを生成するためのメソッ
ド“new( ) ”が起動される点のみが異なっている。こ
の手続きの実行部も図２０の場合と同じである。
合成、すなわちステップＳ２６の詳細フローチャートで
ある。同図を図２０のイメージビューオブジェクトの場
合と比較すると、ステップＳ４５でビデオビューオブジ
ェクトから新しいオブジェクトを生成するためのメソッ
ド“new( ) ”が起動される点のみが異なっている。こ
の手続きの実行部も図２０の場合と同じである。
【００６７】図２２はステップＳ２７、すなわちビデオ
ビューオブジェクトのor合成の詳細処理フローチャート
である。同図において処理が開始されると、ステップＳ
５０で各ビューオブジェクトがファイル名毎にまとめら
れ、ステップＳ５１でビューオブジェクトの集合を表す
Ｓが空集合とされる。
ビューオブジェクトのor合成の詳細処理フローチャート
である。同図において処理が開始されると、ステップＳ
５０で各ビューオブジェクトがファイル名毎にまとめら
れ、ステップＳ５１でビューオブジェクトの集合を表す
Ｓが空集合とされる。
【００６８】その後ステップＳ５２〜Ｓ５７の処理が各
ファイルに対応して繰り返される。まずステップＳ５２
で１つのファイル名に対するビューオブジェクトの集合
が取り出され、ステップＳ５３でその集合内のビューオ
ブジェクトが複数か否かが判定され、複数である場合に
は各ビューオブジェクトの設定部分から、ステップＳ５
４で合成後の設定部分が前述のようにして計算され、ス
テップＳ５５でビデオビューオブジェクトのクラスから
メソッド“new( ) ”が起動され、合成されたビューオ
ブジェクトが生成される。
ファイルに対応して繰り返される。まずステップＳ５２
で１つのファイル名に対するビューオブジェクトの集合
が取り出され、ステップＳ５３でその集合内のビューオ
ブジェクトが複数か否かが判定され、複数である場合に
は各ビューオブジェクトの設定部分から、ステップＳ５
４で合成後の設定部分が前述のようにして計算され、ス
テップＳ５５でビデオビューオブジェクトのクラスから
メソッド“new( ) ”が起動され、合成されたビューオ
ブジェクトが生成される。
【００６９】このステップＳ５５の処理の後に、または
ステップＳ５３でビューオブジェクトが複数でないと判
定された時には、ステップＳ５６で集合Ｓにビューオブ
ジェクトを加えるメソッド“add( ) ”を用いて集合Ｓ
にビューオブジェクトが追加され、ステップＳ５７で他
にビューオブジェクトの集合があるか否かが判定され、
ある場合にはステップＳ５２以降の処理が繰り返され
る。
ステップＳ５３でビューオブジェクトが複数でないと判
定された時には、ステップＳ５６で集合Ｓにビューオブ
ジェクトを加えるメソッド“add( ) ”を用いて集合Ｓ
にビューオブジェクトが追加され、ステップＳ５７で他
にビューオブジェクトの集合があるか否かが判定され、
ある場合にはステップＳ５２以降の処理が繰り返され
る。
【００７０】これに対してステップＳ５７で他にビュー
オブジェクトの集合がない、すなわち全てのファイルに
対するビューオブジェクトの集合を対象とした処理が終
了した場合には、ステップＳ５８で集合Ｓの内容がビデ
オビューオブジェクトのor合成の結果とされ、処理を終
了する。なお、この手続きもビューオブジェクト管理部
１３によって実行される。
オブジェクトの集合がない、すなわち全てのファイルに
対するビューオブジェクトの集合を対象とした処理が終
了した場合には、ステップＳ５８で集合Ｓの内容がビデ
オビューオブジェクトのor合成の結果とされ、処理を終
了する。なお、この手続きもビューオブジェクト管理部
１３によって実行される。
【００７１】このような処理の結果、図１９の具体例で
は、ステップＳ５８におけるor合成の結果としてのＳが
t11 〜t2n に対応するビューオブジェクト１つだけとな
る。前述のようにこの間でも区間によって設定部分は異
なるが、連続した区間のビューオブジェクトは合成され
て１つのビューオブジェクトとなる。連続していないビ
ューオブジェクト、例えば他のファイルのビデオや、ビ
デオの不連続な部分に対するビューオブジェクトの場合
には、その不連続なビューオブジェクトの集合Ｓとして
まとめられる。
は、ステップＳ５８におけるor合成の結果としてのＳが
t11 〜t2n に対応するビューオブジェクト１つだけとな
る。前述のようにこの間でも区間によって設定部分は異
なるが、連続した区間のビューオブジェクトは合成され
て１つのビューオブジェクトとなる。連続していないビ
ューオブジェクト、例えば他のファイルのビデオや、ビ
デオの不連続な部分に対するビューオブジェクトの場合
には、その不連続なビューオブジェクトの集合Ｓとして
まとめられる。
【００７２】以上においては、図４のビューオブジェク
トのクラスViewの下にビデオビュー、オーディオビュ
ー、テキストビュー、イメージビュー、および複合ビュ
ーのオブジェクトが存在するものとして実施例を説明し
たが、異なるビューのデータを追加する場合には、この
クラスViewの下に別に新たなクラスが生成される。この
クラスの属性は他のビューオブジェクトと同じであって
もよく、また独自の属性を加えてもよく、メソッドとし
ての“表示（ ）“にはそのデータを表示させるための
手続きを記述するものとする。
トのクラスViewの下にビデオビュー、オーディオビュ
ー、テキストビュー、イメージビュー、および複合ビュ
ーのオブジェクトが存在するものとして実施例を説明し
たが、異なるビューのデータを追加する場合には、この
クラスViewの下に別に新たなクラスが生成される。この
クラスの属性は他のビューオブジェクトと同じであって
もよく、また独自の属性を加えてもよく、メソッドとし
ての“表示（ ）“にはそのデータを表示させるための
手続きを記述するものとする。
【００７３】
【発明の効果】以上詳細に説明したように、本発明によ
れば連続データの一部分としての部分データを容易に取
り出すことができ、ユーザ毎に異なる見方でデータの検
索をすることができ、異なる種類のデータを追加する場
合にもシステムの拡張性が大きいマルチメディアデータ
検索システムを構成することができる。また複合ビュー
オブジェクトを導入することによって、ユーザにとって
意味のあるビューオブジェクトをまとめて扱ったり、よ
り抽象的な概念でデータをまとめたりすることができる
ようになる。そして、この複合ビューオブジェクトを用
いることによりビューオブジェクトの再利用が可能とな
り、データの編集を半自動化することができる。更にオ
ブジェクトとして設定された部分データに追加してその
周辺のデータを表示する機能を備えるために、設定され
た部分データの位置づけを明確にすることができ、追加
された部分から粗い情報を得ることができるという効果
が生じ、マルチメディアデータの特性を考慮した検索の
実現に寄与するところが大きい。
れば連続データの一部分としての部分データを容易に取
り出すことができ、ユーザ毎に異なる見方でデータの検
索をすることができ、異なる種類のデータを追加する場
合にもシステムの拡張性が大きいマルチメディアデータ
検索システムを構成することができる。また複合ビュー
オブジェクトを導入することによって、ユーザにとって
意味のあるビューオブジェクトをまとめて扱ったり、よ
り抽象的な概念でデータをまとめたりすることができる
ようになる。そして、この複合ビューオブジェクトを用
いることによりビューオブジェクトの再利用が可能とな
り、データの編集を半自動化することができる。更にオ
ブジェクトとして設定された部分データに追加してその
周辺のデータを表示する機能を備えるために、設定され
た部分データの位置づけを明確にすることができ、追加
された部分から粗い情報を得ることができるという効果
が生じ、マルチメディアデータの特性を考慮した検索の
実現に寄与するところが大きい。
【図１】本発明の原理構成ブロック図である。
【図２】本発明のマルチメディアデータ検索システムの
基本構成を示すブロック図である。
基本構成を示すブロック図である。
【図３】図２の基本システムを実現するコンピュータシ
ステムの構成を示すコンピュータ環境図である。
ステムの構成を示すコンピュータ環境図である。
【図４】本実施例におけるビューオブジェクトのクラス
構造を示す図である。
構造を示す図である。
【図５】テキストビューオブジェクトの例を示す図であ
る。
る。
【図６】イメージビューオブジェクトの例を示す図であ
る。
る。
【図７】オーディオビューオブジェクトの例を示す図で
ある。
ある。
【図８】ビデオビューオブジェクトの例を示す図であ
る。
る。
【図９】オーディオビューオブジェクトの設定法を説明
する図である。
する図である。
【図１０】ビデオビューオブジェクトの設定法を説明す
る図である。
る図である。
【図１１】ビューオブジェクト生成処理のフローチャー
トである。
トである。
【図１２】マルチメディアデータ検索・表示処理のフロ
ーチャートである。
ーチャートである。
【図１３】検索結果の表示例を示す図である。
【図１４】ビューオブジェクト表示処理のフローチャー
トである。
トである。
【図１５】ビデオデータの部分再生例を示す図である。
【図１６】複合ビューオブジェクトの例を示す図であ
る。
る。
【図１７】複合ビューオブジェクト生成処理の全体フロ
ーチャートである。
ーチャートである。
【図１８】複合ビューオブジェクト表示処理のフローチ
ャートである。
ャートである。
【図１９】ビデオデータの合成処理の説明図である。
【図２０】イメージビューオブジェクトのand 合成処理
のフローチャートである。
のフローチャートである。
【図２１】ビデオビューオブジェクトのand 合成処理の
フローチャートである。
フローチャートである。
【図２２】ビデオビューオブジェクトのor合成処理のフ
ローチャートである。
ローチャートである。
１ ビューオブジェクト格納手段 ２ ビューオブジェクト管理手段 ３ マルチメディアデータ表示・再生手段 １１ マルチメディアデータ格納部 １２ ビューオブジェクト格納部 １３ ビューオブジェクト管理部 １４ マルチメディアデータ表示・再生部 １５ ビューオブジェクト生成部
Claims (20)
- 【請求項１】 マルチメディアデータを格納するマルチ
メディアデータベースからデータを検索するマルチメデ
ィアデータ検索システムにおいて、 一連のデータのうちの一部分を時間および／または空間
の観点から切り取った結果としての部分データの特徴
と、該部分データを特定するデータとを記述するビュー
オブジェクトを格納するビューオブジェクト格納手段
と、 前記部分データの特徴の指定に応じて、該ビューオブジ
ェクト格納手段に格納されているビューオブジェクトを
検索するビューオブジェクト管理手段と、 該ビューオブジェクト管理手段によって検索されたビュ
ーオブジェクトに対応する部分データ、または該部分デ
ータを含むマルチメディアデータを表示・再生するマル
チメディアデータ表示・再生手段とを備えたことを特徴
とするマルチメディアデータ検索システム。 - 【請求項２】 前記マルチメディアデータ検索システム
において、 該システムのユーザからの新たなビューオブジェクトの
生成要求に応じて新たなビューオブジェクトを生成し、
前記ビューオブジェクト格納手段に格納するビューオブ
ジェクト生成手段を更に備えたことを特徴とする請求項
１記載のマルチメディアデータ検索システム。 - 【請求項３】 前記ビューオブジェクト生成手段が、デ
ィスプレイ上に表示されたテキスト画面上でユーザによ
って指定された部分データに対応して、テキストビュー
オブジェクトを生成することを特徴とする請求項２記載
のマルチメディアデータ検索システム。 - 【請求項４】 前記ビューオブジェクト生成手段が、デ
ィスプレイ上に表示されたイメージ画面上でユーザによ
って指定された部分データに対応して、イメージビュー
オブジェクトを生成することを特徴とする請求項２記載
のマルチメディアデータ検索システム。 - 【請求項５】 前記ビューオブジェクト生成手段が、ス
ピーカによる再生音に対してユーザによって指定された
部分データに対応して、オーディオビューオブジェクト
を生成することを特徴とする請求項２記載のマルチメデ
ィアデータ検索システム。 - 【請求項６】 前記ビューオブジェクト生成手段が、デ
ィスプレイ上に表示されたビデオ再生画面からユーザに
よって選ばれた複数枚の代表フレーム上でそれぞれユー
ザによって特定された部分データに対応して、ビデオビ
ューオブジェクトを生成することを特徴とする請求項２
記載のマルチメディアデータ検索システム。 - 【請求項７】 前記ビューオブジェクト生成手段が、複
数のビューオブジェクトを合成して複合ビューオブジェ
クトを生成することを特徴とする請求項２記載のマルチ
メディアデータ検索システム。 - 【請求項８】 前記ビューオブジェクト生成手段が、イ
メージデータの部分データに対応するイメージビューオ
ブジェクトの複数個、またはビデオデータの部分データ
に対応するビデオビューオブジェクトの複数個に対応し
て、前記複合ビューオブジェクトの生成を行うことを特
徴とする請求項７記載のマルチメディアデータ検索シス
テム。 - 【請求項９】 前記マルチメディアデータ表示・再生手
段が、前記複合ビューオブジェクトを表示・再生する
時、該複合ビューオブジェクトの合成前の複数のビュー
オブジェクトに対応する部分データ、または該部分デー
タを含むマルチメディアデータを表示・再生することを
特徴とする請求項７記載のマルチメディアデータ検索シ
ステム。 - 【請求項１０】 前記マルチメディアデータ表示・再生
手段が、前記ビューオブジェクト管理手段によって検索
されたビューオブジェクトに対応してイメージデータを
表示する時、該ビューオブジェクトによって特定される
部分データに加えて、該部分データの上下左右にあらか
じめ定められた長さの分のデータを追加して表示するこ
とを特徴とする請求項１記載のマルチメディアデータ検
索システム。 - 【請求項１１】 前記マルチメディアデータ表示・再生
手段が、前記ビューオブジェクト管理手段によって検索
されたビューオブジェクトに対応してイメージデータを
表示する時、該ビューオブジェクトによって特定される
部分データをディスプレイ上の中央部に拡大表示すると
共に、特定されていないデータをディスプレイ上の残り
の部分に縮小表示することを特徴とする請求項１記載の
マルチメディアデータ検索システム。 - 【請求項１２】 前記マルチメディアデータ表示・再生
手段が、前記ビューオブジェクトと管理手段によって検
索されたビューオブジェクトに対応してオーディオデー
タを再生する時、該ビューオブジェクトによって特定さ
れる部分データに対して時間的にあらかじめ設定された
だけ前、および後のデータを追加して長く再生すること
を特徴とする請求項１記載のマルチメディアデータ検索
システム。 - 【請求項１３】 前記マルチメディアデータ表示・再生
手段が、前記ビューオブジェクト管理手段によって検索
されたビューオブジェクトに対応してオーディオデータ
を再生する時、該ビューオブジェクトによって特定され
る部分データを通常速度で再生すると共に、特定されて
いないデータをあらかじめ設定された速度で早送り再生
することを特徴とする請求項１記載のマルチメディアデ
ータ検索システム。 - 【請求項１４】 前記マルチメディアデータ表示・再生
手段が、前記ビューオブジェクト管理手段によって検索
されたビューオブジェクトに対応して、オーディオデー
タを再生する時、該ビューオブジェクトによって特定さ
れる部分データを通常速度で再生すると共に、特定され
ていないデータを無音部分のデータを除いてあらかじめ
設定された時間内に収まるように再生することを特徴と
する請求項１記載のマルチメディアデータ検索システ
ム。 - 【請求項１５】 前記マルチメディアデータ表示・再生
手段が、前記ビューオブジェクト管理手段によって検索
されたビューオブジェクトに対応してビデオデータを再
生する時、該ビューオブジェクトによって特定されるフ
レームとしての代表フレームに対しては該代表フレーム
上で特定されている部分データを再生すると共に、該代
表フレームの中間のフレームに対しては該中間フレーム
の前と後の代表フレーム上で特定されている部分データ
から直線的に内挿される部分を再生することを特徴とす
る請求項１記載のマルチメディアデータ検索システム。 - 【請求項１６】 前記マルチメディアデータ表示・再生
手段が、前記代表フレーム上の部分データ、および前記
中間フレーム上で内挿された部分に加えて、上下左右に
あらかじめ定められた長さ分のデータを追加して再生す
ることを特徴とする請求項１５記載のマルチメディアデ
ータ検索システム。 - 【請求項１７】 前記マルチメディアデータ表示・再生
手段が、前記代表フレーム上の部分データ、および前記
中間フレーム上の内挿された部分をディスプレイ上の中
央部に拡大表示すると共に、代表フレーム上の部分デー
タ以外のデータ、および中間フレーム上の内挿された部
分以外のデータをディスプレイ上の残りの部分に縮小表
示して再生することを特徴とする請求項１５記載のマル
チメディアデータ検索システム。 - 【請求項１８】 前記マルチメディアデータ表示・再生
手段が、前記代表フレームの最初と最後とによって決定
される時間範囲よりあらかじめ設定された時間だけ前後
にビデオデータを長く再生することを特徴とする請求項
１５記載のマルチメディアデータ検索システム。 - 【請求項１９】 前記マルチメディアデータ表示・再生
手段が、前記代表フレームの最初と最後によって決定さ
れる時間範囲に対してはビデオデータを通常速度で再生
すると共に、該決定された時間範囲以外の範囲のビデオ
データをあらかじめ設定された速度で早送り再生するこ
とを特徴とする請求項１５記載のマルチメディアデータ
検索システム。 - 【請求項２０】 前記マルチメディアデータ表示・再生
手段が、前記代表フレームの最初と最後によって決定さ
れる範囲の音声データを通常速度で再生すると共に、該
決定された時間範囲以外の範囲は無音部分のデータを除
いてあらかじめ決定された時間内に収まるようにビデオ
データの音声データを再生することを特徴とする請求項
１５記載のマルチメディアデータ検索システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7161712A JPH0916457A (ja) | 1995-06-28 | 1995-06-28 | マルチメディアデータ検索システム |
| US08/528,041 US5713021A (en) | 1995-06-28 | 1995-09-14 | Multimedia data search system that searches for a portion of multimedia data using objects corresponding to the portion of multimedia data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7161712A JPH0916457A (ja) | 1995-06-28 | 1995-06-28 | マルチメディアデータ検索システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0916457A true JPH0916457A (ja) | 1997-01-17 |
Family
ID=15740451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7161712A Pending JPH0916457A (ja) | 1995-06-28 | 1995-06-28 | マルチメディアデータ検索システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5713021A (ja) |
| JP (1) | JPH0916457A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100350793B1 (ko) * | 1999-11-29 | 2002-09-10 | 엘지전자 주식회사 | 2진 칼라 히스토그램을 이용한 멀티미디어 객체의 특징소 추출방법과 특징소 정보의 생성방법 및 멀티미디어 검색방법 |
| US7490107B2 (en) | 2000-05-19 | 2009-02-10 | Nippon Telegraph & Telephone Corporation | Information search method and apparatus of time-series data using multi-dimensional time-series feature vector and program storage medium |
Families Citing this family (69)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU5027796A (en) * | 1995-03-07 | 1996-09-23 | Interval Research Corporation | System and method for selective recording of information |
| US6374260B1 (en) | 1996-05-24 | 2002-04-16 | Magnifi, Inc. | Method and apparatus for uploading, indexing, analyzing, and searching media content |
| US5903892A (en) * | 1996-05-24 | 1999-05-11 | Magnifi, Inc. | Indexing of media content on a network |
| US6370543B2 (en) * | 1996-05-24 | 2002-04-09 | Magnifi, Inc. | Display of media previews |
| US6263507B1 (en) * | 1996-12-05 | 2001-07-17 | Interval Research Corporation | Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data |
| US5893062A (en) | 1996-12-05 | 1999-04-06 | Interval Research Corporation | Variable rate video playback with synchronized audio |
| JP3910702B2 (ja) * | 1997-01-20 | 2007-04-25 | ローランド株式会社 | 波形発生装置 |
| US6012069A (en) * | 1997-01-28 | 2000-01-04 | Dainippon Screen Mfg. Co., Ltd. | Method and apparatus for retrieving a desired image from an image database using keywords |
| AU732696B2 (en) * | 1997-04-01 | 2001-04-26 | Medic Interactive, Inc. | System for automated generation of media programs from a database of media elements |
| US6049806A (en) * | 1997-04-11 | 2000-04-11 | Multimedia Archival Systems, Inc. | Computer system for managing a plurality of data types |
| US6735253B1 (en) | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
| JP3192663B2 (ja) * | 1997-07-11 | 2001-07-30 | 三菱電機株式会社 | 動画収集装置 |
| US5929857A (en) * | 1997-09-10 | 1999-07-27 | Oak Technology, Inc. | Method and apparatus for dynamically constructing a graphic user interface from a DVD data stream |
| AU3120299A (en) * | 1998-03-31 | 1999-10-18 | Gaston R. Cangiano | Digitized sound management tool for computer implemented multimedia applications |
| US6665490B2 (en) * | 1998-04-01 | 2003-12-16 | Xerox Corporation | Obtaining and using data associating annotating activities with portions of recordings |
| US6163510A (en) | 1998-06-30 | 2000-12-19 | International Business Machines Corporation | Multimedia search and indexing system and method of operation using audio cues with signal thresholds |
| JP4170458B2 (ja) | 1998-08-27 | 2008-10-22 | ローランド株式会社 | 波形信号の時間軸圧縮伸長装置 |
| US6323797B1 (en) | 1998-10-06 | 2001-11-27 | Roland Corporation | Waveform reproduction apparatus |
| US7254285B1 (en) | 1998-11-06 | 2007-08-07 | Seungup Paek | Image description system and method |
| JP2002529858A (ja) * | 1998-11-06 | 2002-09-10 | ザ トゥルスティーズ オブ コロンビア ユニバーシティ イン ザ シティ オブニュー ヨーク | 相互使用可能なマルチメディアコンテンツ記述のためのシステムおよび方法 |
| US7143434B1 (en) * | 1998-11-06 | 2006-11-28 | Seungyup Paek | Video description system and method |
| AU2217700A (en) * | 1998-12-30 | 2000-07-31 | Earthnoise.Com Inc. | Creating and editing digital video movies |
| US6934461B1 (en) * | 1999-01-05 | 2005-08-23 | Interval Research Corporation | Low attention recording, with particular application to social recording |
| US6825875B1 (en) * | 1999-01-05 | 2004-11-30 | Interval Research Corporation | Hybrid recording unit including portable video recorder and auxillary device |
| KR100350785B1 (ko) * | 1999-08-27 | 2002-08-28 | 엘지전자 주식회사 | 멀티미디어 데이타의 특징 기술정보 생성방법 |
| JP2001075565A (ja) | 1999-09-07 | 2001-03-23 | Roland Corp | 電子楽器 |
| JP2001084000A (ja) | 1999-09-08 | 2001-03-30 | Roland Corp | 波形再生装置 |
| US7155735B1 (en) | 1999-10-08 | 2006-12-26 | Vulcan Patents Llc | System and method for the broadcast dissemination of time-ordered data |
| JP4293712B2 (ja) | 1999-10-18 | 2009-07-08 | ローランド株式会社 | オーディオ波形再生装置 |
| JP2001125568A (ja) | 1999-10-28 | 2001-05-11 | Roland Corp | 電子楽器 |
| US7010491B1 (en) | 1999-12-09 | 2006-03-07 | Roland Corporation | Method and system for waveform compression and expansion with time axis |
| US6757682B1 (en) | 2000-01-28 | 2004-06-29 | Interval Research Corporation | Alerting users to items of current interest |
| KR100767489B1 (ko) * | 2000-03-18 | 2007-10-16 | 주식회사 팬택앤큐리텔 | 벡터 기술자 표현장치 및 이를 이용한 멀티미디어 데이터 검색장치 |
| US7194186B1 (en) * | 2000-04-21 | 2007-03-20 | Vulcan Patents Llc | Flexible marking of recording data by a recording unit |
| US9419844B2 (en) | 2001-09-11 | 2016-08-16 | Ntech Properties, Inc. | Method and system for generation of media |
| US20060015904A1 (en) | 2000-09-08 | 2006-01-19 | Dwight Marcus | Method and apparatus for creation, distribution, assembly and verification of media |
| KR100694238B1 (ko) * | 2000-09-28 | 2007-03-14 | 가부시키가이샤 리코 | 구조편집방법, 영상구조편집방법, 오브젝트의 내용구조관리방법, 오브젝트의 내용구조표시방법, 컨텐츠관리방법 및 기록매체 |
| US20020040311A1 (en) * | 2000-10-04 | 2002-04-04 | John Douglass | Web browser page rating system |
| US8539344B2 (en) * | 2001-11-19 | 2013-09-17 | Ricoh Company, Ltd. | Paper-based interface for multimedia information stored by multiple multimedia documents |
| WO2003051031A2 (en) * | 2001-12-06 | 2003-06-19 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for planarization of a material by growing and removing a sacrificial film |
| US7315848B2 (en) * | 2001-12-12 | 2008-01-01 | Aaron Pearse | Web snippets capture, storage and retrieval system and method |
| JP3780252B2 (ja) * | 2001-12-25 | 2006-05-31 | キヤノン株式会社 | 記録再生装置および記録再生方法 |
| GB2386978B (en) * | 2002-03-25 | 2007-03-28 | Sony Uk Ltd | Data communications network |
| WO2003091850A2 (en) * | 2002-04-26 | 2003-11-06 | The Trustees Of Columbia University In The City Of New York | Method and system for optimal video transcoding based on utility function descriptors |
| US20040095377A1 (en) * | 2002-11-18 | 2004-05-20 | Iris Technologies, Inc. | Video information analyzer |
| AU2004254950A1 (en) | 2003-06-24 | 2005-01-13 | Ntech Properties, Inc. | Method, system and apparatus for information delivery |
| US20060031885A1 (en) * | 2004-04-30 | 2006-02-09 | Vulcan Inc. | Management and non-linear presentation of music-related broadcasted or streamed multimedia content |
| US20060031916A1 (en) * | 2004-04-30 | 2006-02-09 | Vulcan Inc. | Management and non-linear presentation of broadcasted or streamed multimedia content |
| US20060031879A1 (en) * | 2004-04-30 | 2006-02-09 | Vulcan Inc. | Management and non-linear presentation of news-related broadcasted or streamed multimedia content |
| WO2006096612A2 (en) * | 2005-03-04 | 2006-09-14 | The Trustees Of Columbia University In The City Of New York | System and method for motion estimation and mode decision for low-complexity h.264 decoder |
| US20080256058A1 (en) * | 2005-03-11 | 2008-10-16 | Mikael Kother | Highlighting of Search Terms in a Meta Search Engine |
| US7720904B2 (en) * | 2005-05-27 | 2010-05-18 | Microsoft Corporation | Entity projection |
| US20060271384A1 (en) * | 2005-05-31 | 2006-11-30 | Microsoft Corporation | Reference data aggregate service population |
| US7725839B2 (en) * | 2005-11-15 | 2010-05-25 | Microsoft Corporation | Three-dimensional active file explorer |
| US7465241B2 (en) * | 2007-03-23 | 2008-12-16 | Acushnet Company | Functionalized, crosslinked, rubber nanoparticles for use in golf ball castable thermoset layers |
| US8145704B2 (en) | 2007-06-13 | 2012-03-27 | Ntech Properties, Inc. | Method and system for providing media programming |
| WO2009126785A2 (en) * | 2008-04-10 | 2009-10-15 | The Trustees Of Columbia University In The City Of New York | Systems and methods for image archaeology |
| WO2009155281A1 (en) * | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
| US8671069B2 (en) | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
| USD728612S1 (en) * | 2012-09-07 | 2015-05-05 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| USD738400S1 (en) * | 2013-02-22 | 2015-09-08 | Samsung Electronics Co., Ltd. | Display screen portion with icon |
| USD759668S1 (en) * | 2014-01-13 | 2016-06-21 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
| USD789419S1 (en) | 2014-09-01 | 2017-06-13 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| USD773510S1 (en) | 2015-06-05 | 2016-12-06 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| JP2017204753A (ja) * | 2016-05-11 | 2017-11-16 | 富士通株式会社 | フレーム抽出方法、動画再生制御方法、プログラム、フレーム抽出装置及び動画再生制御装置 |
| USD962954S1 (en) | 2016-09-06 | 2022-09-06 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| USD893512S1 (en) | 2018-09-10 | 2020-08-18 | Apple Inc. | Electronic device with graphical user interface |
| USD937858S1 (en) | 2019-05-31 | 2021-12-07 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| USD937295S1 (en) | 2020-02-03 | 2021-11-30 | Apple Inc. | Display screen or portion thereof with graphical user interface |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2698977B1 (fr) * | 1992-12-03 | 1994-12-30 | Alsthom Cge Alcatel | Système d'information multimédia. |
| US5521841A (en) * | 1994-03-31 | 1996-05-28 | Siemens Corporate Research, Inc. | Browsing contents of a given video sequence |
| US5613032A (en) * | 1994-09-02 | 1997-03-18 | Bell Communications Research, Inc. | System and method for recording, playing back and searching multimedia events wherein video, audio and text can be searched and retrieved |
-
1995
- 1995-06-28 JP JP7161712A patent/JPH0916457A/ja active Pending
- 1995-09-14 US US08/528,041 patent/US5713021A/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100350793B1 (ko) * | 1999-11-29 | 2002-09-10 | 엘지전자 주식회사 | 2진 칼라 히스토그램을 이용한 멀티미디어 객체의 특징소 추출방법과 특징소 정보의 생성방법 및 멀티미디어 검색방법 |
| US7490107B2 (en) | 2000-05-19 | 2009-02-10 | Nippon Telegraph & Telephone Corporation | Information search method and apparatus of time-series data using multi-dimensional time-series feature vector and program storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| US5713021A (en) | 1998-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0916457A (ja) | マルチメディアデータ検索システム | |
| JP3955099B2 (ja) | タイムベースメディア処理システム | |
| JP3507176B2 (ja) | マルチメディアシステム動的連動方式 | |
| JP5522894B2 (ja) | 動画のフレーム情報を生成する装置及び方法並びに動画を再生する装置及び方法 | |
| JPH11146325A (ja) | 映像検索方法および装置並びに映像情報作成方法およびその処理プログラムを格納した記憶媒体 | |
| JPH05282379A (ja) | 動画像の管理方法及び管理装置 | |
| JP2012230698A (ja) | 動的メニューボタンを表示する方法 | |
| US8451832B2 (en) | Content using apparatus, content using method, distribution server apparatus, information distribution method, and recording medium | |
| KR20080047847A (ko) | 동적 영상물 재생 장치 및 방법 | |
| JPH11205718A (ja) | 情報再生装置及び情報記録再生装置 | |
| JP2001184842A (ja) | 情報再生装置 | |
| US6879769B1 (en) | Device for processing recorded information and storage medium storing program for same | |
| JP2000350165A (ja) | 動画像記録再生装置 | |
| JP2003069938A (ja) | プレゼンテーション生成実行システムおよび方法 | |
| US8819551B2 (en) | Display device and method, and program | |
| JP4555214B2 (ja) | 情報提示装置、情報提示方法、情報提示プログラム及び情報記録媒体 | |
| JPH08255466A (ja) | オーディオデータ記録および／または再生方法およびその装置 | |
| JP2000050204A (ja) | 映像表示編集処理方法および装置並びに記録媒体 | |
| JPH1032773A (ja) | 要約映像ブラウジング方法および装置 | |
| JP2006510163A (ja) | 記録再生システム、記録装置、再生装置、記録媒体、記録再生方法、記録方法、再生方法、プログラム、および記録媒体 | |
| JP2000244812A (ja) | マルチメディア情報統合装置およびマルチメディア情報統合方法ならびにこの方法を記録した記録媒体 | |
| JP4257327B2 (ja) | 動画像編集装置 | |
| JP2003186885A (ja) | Ｄｖｄ作成システム | |
| JP2014216778A (ja) | 情報処理装置及び情報編集プログラム | |
| JP2005276429A (ja) | 動画像編集方法および動画像編集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040406 |