[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2004112379A - 画像検索システム - Google Patents

画像検索システム Download PDF

Info

Publication number
JP2004112379A
JP2004112379A JP2002272567A JP2002272567A JP2004112379A JP 2004112379 A JP2004112379 A JP 2004112379A JP 2002272567 A JP2002272567 A JP 2002272567A JP 2002272567 A JP2002272567 A JP 2002272567A JP 2004112379 A JP2004112379 A JP 2004112379A
Authority
JP
Japan
Prior art keywords
data
image data
still image
image
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002272567A
Other languages
English (en)
Other versions
JP2004112379A5 (ja
Inventor
Shunsuke Hase
長谷 俊介
Noritoshi Suzuki
鈴木 理敏
Shinya Taguchi
田口 晋也
Masakazu Ogawa
小川 正和
Yutaka Egawa
江川 豊
Nobuyuki Yamazoe
山添 信行
Eisuke Sugano
菅野 英介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2002272567A priority Critical patent/JP2004112379A/ja
Priority to US10/661,590 priority patent/US7848598B2/en
Publication of JP2004112379A publication Critical patent/JP2004112379A/ja
Publication of JP2004112379A5 publication Critical patent/JP2004112379A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】ビデオデータに対応付けられている資料画像データの内から、容易に所望のものを検索できるようにする。
【解決手段】ビデオデータ5に対応付けられている資料画像データに対して、当該資料画像に含まれている文字列を抽出し、ユーザインタフェースのキーワード入力部14、44に入力されたキーワードと抽出した文字列30aとの照合を行って、該当する資料画像30のデータを検索する。なお、検索された資料画像30はその重要度に応じてサイズが変更されて画面表示される。
【選択図】 図8

Description

【0001】
【発明の属する技術分野】
本発明は、ビデオデータ(動画データ)に対応付けられた静止画像データの検索処理を行うシステムに関する。
【0002】
【従来の技術】
パーソナルコンピュータやモバイル端末などの閲覧クライアントに対して種々なコンテンツを配信するサービスが、特定領域或いは広域のサービスとして広く実施されている。
このようなコンテンツ配信を行うシステムには種々な態様があるが、ネットワーク通信技術の発達により、ビデオデータを含むコンテンツデータも配信されている。
【0003】
コンテンツ配信システムの概要は、配信サーバに種々なコンテンツデータを登録しておき、閲覧クライアントが配信サーバにアクセスして所望のコンテンツを選択して要求すると、これに応えて、配信サーバが該当するコンテンツデータを閲覧クライアントに提供すると言うものである。
【0004】
ここで、ビデオデータを配信するシステムでは、コンテンツの選択を容易化するために、ビデオデータに加えて、コンテンツのタイトル、コンテンツを選択するためのキーワード、コンテンツを選択するための分類情報、コンテンツの作者情報などを含むコンテンツレコード(メタデータ)がビデオデータに対応付けられており、閲覧クライアントを利用してコンテンツを視聴するユーザの便利を図っている。
【0005】
【発明が解決しようとする課題】
配信されるビデオデータは、映画などの娯楽を目的としたものから、教育、講演、プレゼンテーションなどといった多種多様なものに拡張されてきている。特に、資料を用いて行われる講義、講演、プレゼンテーションなどといったもののビデオについては、資料の静止画像もビデオ画像とともに閲覧クライアントに提供して、これら画像を同期再生することが提供情報の充実を図るなどのために求められている。
【0006】
ここで、これを実現した場合に、ビデオデータにどのような内容の資料などの静止画像が対応付けられているかが判れば、多くのビデオデータの内から所望のビデオデータを探し出すに便利である。また、ビデオデータに対応付けられている多くの静止画像の内から所望の静止画像データを探し出すのに便利であり、更には、静止画像データが対応付けられているビデオデータ中の再生時間位置から当該ビデオデータを頭出しして再生することもできて便利である。
しかしながら、画像の検索はユーザが目で見て探し出すと言った方法に頼っているため、数多くのビデオデータやこれに対応付けられた静止画象を扱う場合には、検索作業は極めて煩雑であった。
【0007】
本発明は、上記従来の事情に鑑みなされたもので、所望の静止画像やビデオデータの検索を容易に行うことができるようにすることを目的としている。
また、本発明は、ビデオデータ中の所望の場面を容易に頭出しできるようにすることを目的としている。
なお、本発明の更なる目的は以下の説明において明らかなところである。
【0008】
【課題を解決するための手段】
本発明は、画像検索システム、画像検索方法、これらをコンピュータによって実現するためのプログラムなどの種々な態様で捉えられ、いずれにあっても、ビデオデータに対応付けされた静止画像データをキーワード検索と言う容易な手法によって検索することを実現する。
【0009】
本発明に係る画像検索システムでは、入力手段によりキーワード入力を受け付け、また、抽出手段により静止画象データに含まれる文字列を抽出して、抽出された文字列と入力されたキーワードとを検索手段により照合して該当する静止画像データを検索する。
この文字列の抽出は公知の方法で行うことができ、例えば、静止画像データが文字列のテキストデータを伴う形式である場合には当該テキストデータを抽出すればよく、また、静止画像データがイメージデータでる場合には文字認識処理により文字列データを抽出すればよい。
【0010】
また、本発明に係る画像検索システムでは、検索結果としての静止画像データを一覧として画像表示するようにし、この表示の際に、静止画像データの画像サイズを所定の基準に従って変更して表示させるようにしてもよく、このようにすれば、当該基準をもって、視覚によっても静止画像データの選別を容易に行うことができる。この基準としては、静止画像データが対応付けられているビデオ中の再生時間の長さ(すなわち、場面の長さ)、予め設定した文字列の重要度、静止画像に付加して表示する矢印や注釈などの付加画像データの多さなどが採用され、当該基準に従ったものはより大きなサイズで表示することが実現される。
【0011】
また、本発明に係る画像検索システムでは、検索結果としての静止画像データを画像表示して、画像表示された静止画像を選択するユーザ操作入力に応じて、当該静止画像データを対応付けた再生時間位置からビデオデータを再生して画像表示するようにしてもよく、このようにすれば、静止画像の検索に基づいて、所望の場面からビデオデータを再生すると言った頭出しを容易に行うことができる。
【0012】
上記のシステムは、それぞれの機能を専用装置として構成してもよいが、本発明に係るプログラムをコンピュータによって実行することにより構成することができる。
また、本発明に係る方法は、例えば上記のシステムによって実施される。
【0013】
【発明の実施の形態】
本発明を実施例に基づいて具体的に説明する。
図1には本発明を適用したコンテンツ配信システムを示してあり、当該システムはインターネットNを介して接続される配信サーバ1、閲覧クライアント2、登録クライアント3を備えて構成される。なお、本発明はこの内の主に閲覧クライアント2に適用される。
これら配信サーバ1、閲覧クライアント2、登録クライアント2はそれぞれコンピュータハードウエアにより本発明に係るプログラムを実行することにより所定の処理を行うように構成されており、特に、閲覧クライアント2はコンテンツ閲覧をするためのブラウザ機能を有したパーソナルコンピュータにより構成されている。
【0014】
配信サーバ1は、ビデオデータと、当該ビデオデータに対応付けたスライド画像データや資料画像データと言った静止画像データ、検索用の音声インデックスデータ、コンテンツタイトルなどのコンテンツレコード(メタデータ)を各コンテンツ毎のデータとして記憶保持しており、閲覧クライアント2からの要求に応じて該当するコンテンツデータを配信提供する。
【0015】
図2(a)にはビデオデータ5とスライド画像データ6との対応付け関係を示し、図2(b)にはビデオデータ6と資料画像データ7との対応付け関係を示してある。
なお、これらスライド画像データ6と資料画像データ7とはいずれか一方だけをビデオデータ5に付随させるようにしてもよく、本明細書の説明では、特に指摘する場合を除いて、スライド画像データ6と資料画像データ7との両方又はいずれか一方を画像データと記述することもある。
ここで、本例では、主に資料画像データのキーワード検索処理を本発明に係るものとして説明するが、スライド画像データについても同様なキーワード検索を行うようにしてもよい。
【0016】
登録されるビデオデータ5はMPEGなどの形式から配信用のストリーム形式に変換された動画像データであり、スライド画像データ6(A〜K)は配置登録前の前処理によってビデオデータ5中から自動処理又はオペレータ操作によって抽出された静止画像データである。これらスライド画像データ6はビデオ中の或る時間幅を持った場面を代表的に表すシーンの画像であり、ビデオデータ5の該当する場面に対応付けられる。
なお、スライド画像データは、主に閲覧ユーザが所望のコンテンツを探したり又はコンテンツビデオ中の所望の場面を探したりする視認による検索用として提示される。
【0017】
資料画像データ7(a〜n)は配置登録前の登録クライアント3による前処理でオペレータがビデオデータ5を再生してビデオ画像を見ながら対応付け操作し、ビデオデータ5の任意の再生時間位置に対応付けた静止画像データであり、例えばプレゼンテーションや講義などを写したビデオデータ5に対して、当該プレゼンテーションにおいて使用された資料を写した静止画像データである。
資料画像データ7は次の資料画像データが表示されるべき時間位置になるまで画面表示されるように対応付けられ、この結果、資料画像データ7は資料が用いられたビデオ中の或る時間幅を持った場面に対応付けられて、閲覧ユーザに対してビデオデータに同期して該当する資料画像データを再生表示できるようになっている。
【0018】
上記のビデオデータ5や静止画像データ6、7と言ったコンテンツデータは、後述するように、ブラウザを使用する閲覧クライアント2からの要求に応答して配信クライアント1が配信処理を行い、要求元の閲覧クライアント2に提供されてその表示装置に画面表示される。
【0019】
図3には、配信サーバ1に所定のURLでアクセスした閲覧クライアント2にデフォルト画面として表示されるコンテンツ一覧を示してある。このコンテンツ一覧画面は検索インタフェース10と、コンテンツ毎の複数のコンテンツインタフェース20とを含んでおり、閲覧ユーザがキー入力やポインティング入力で検索インタフェース10に指示を入力することによって登録されているコンテンツの内から所望のコンテンツを検索することができ、また、閲覧ユーザがポインティング入力でコンテンツインタフェース20に指示を入力することによって当該コンテンツデータの内容を画面に表示して閲覧することができる。
【0020】
検索インタフェース10は各コンテンツデータに対応付けて配信サーバ1に登録されたメタデータや音声インデックスデータを利用した検索、更には、資料画像データ7に含まれる文字列を利用した検索を行うものであり、カテゴリ(分類)を選択入力するためのドロップダウンウインドウ部11、所望のコンテンツデータを検索するためのキーワード入力部12、これらのその入力に基づいて配信サーバ1に検索処理及び検索結果の提供を要求するため指示を入力する検索ボタン13、更には、資料画像中に含まれる文字列を利用して所望のコンテンツデータを検索するためのキーワード入力部14、その入力に基づいて閲覧クライアント2自身で検索処理を開始する指示を入力する検索ボタン15が設けられている。
【0021】
なお、コンテンツデータに対応付けて配信サーバ1に登録されている音声インデックスデータは当該コンテンツ中に含まれる音声波形データであり、配信サーバ1がキーワード入力部14から入力されたキーワードを音声波形データに変換して、これら波形データを照合することにより入力キーワードを含むコンテンツを検索する。
【0022】
コンテンツインタフェース20は、前記メタデータに基づいたコンテンツ番号21、コンテンツのタイトル22、コンテンツの作者23、コンテンツの著作者24、コンテンツの分類25を表示し、また、コンテンツビデオのタイムスケール26、当該コンテンツビデオのスライド画像27を表示する。なお、タイムスケール26を提示する機能はプラグ26aをユーザ操作で移動させることにより、これに連動して、スライド画像27として表示されるスライド画像データ(A〜K)6を変更させることができ、ビデオデータの再生時間位置に応じたスライド画像を再生することができるようになっている。
【0023】
また、コンテンツインタフェース20には開始ボタン28と詳細ボタン29とが設けられており、開始ボタン28をユーザがポインティング指示することによって当該コンテンツビデオデータを配信サーバ1から取得して閲覧クライアント2の画面に再生表示させることができ、また、詳細ボタン29ユーザがポインティング指示することによって後述するように当該コンテンツのスライド画像や資料画像のデータを配信サーバ1から一括取得して閲覧クライアント2の画面に一覧表示させることができる。
【0024】
このように閲覧クライアント2に、ビデオデータ5と、それに対応付けられた全ての静止画像データを提供する場合には、一覧表示されているスライド画像27や資料画像30をユーザがポインティング指示することによって、ビデオデータを該当する場面(すなわち、再生時間位置)から再生して画面表示させる機能も閲覧クライアント2に備えられている。
【0025】
ここで、資料画面データが対応付け格納されているコンテンツについては当該資料画像に含まれる文字列に基づくキーワード検索が可能であり、この検索結果としてのコンテンツインタフェース20は図4に示すような態様となる。
図3のものとほぼ同様であるが、資料画像30中に含まれている文字列と入力キーワードとの照合により、該当する資料画像30の一覧も表示され、表示されている資料画像30をユーザがポインティング指示することによって、コンテンツビデオデータを該当する場面から同期再生して画面表示させる機能も閲覧クライアント2に備えられている。
【0026】
上記のユーザ指示によって配信サーバ1にアクセスして所望のコンテンツデータが閲覧クライアント2へ配信されるが、この配信されたコンテンツデータは閲覧クライアント2で図5に示すようなコンテンツ閲覧画面として表示される。このコンテンツ閲覧画面は、再生されたビデオ画像を表示するビデオ画面33及び再生や停止などの操作ボタンが配置されたビデオ操作部34を有したビデオプレイヤ部35と、コマ送り操作ボタンが配置された操作部36を有した静止画像データを再生表示する画像表示部37、コンテンツデータに関するプログラム記述などを表示するノート表示画面部38を含んでいる。
したがって、閲覧ユーザがポインティング入力で操作することにより、ビデオ画面33にビデオ画像を再生させ、画像表示部37にビデオデータの再生時間位置に対応した資料画像(又は、スライド画像)を同期表示させることができる。
【0027】
上記詳細ボタン29の押下によって配信サーバ1にアクセスして所望のコンテンツの画像データが閲覧クライアント2へ一括配信されるが、この配信された画像データは閲覧クライアント2で図6又は図7に示すような詳細表示画面として表示される。
図6はスライド画像データ6の一覧画像表示を行った状態を示しており、レコードデータ表示部40には当該コンテンツのメタデータの諸項目が表示され、スライド画像表示部41には当該コンテンツのビデオデータに対応付けられた全てのスライド画像6が時系列に表示される。
【0028】
ここで、各スライド画像6は該当する場面の時間長さに応じて大きくなるようにスライド画像表示部41に表示される。例えば、図2(a)に示すように、他に較べて場面の長さが短いCやDのスライド画像6はスライド画像表示部41において他のスライド画像より小さいサイズで表示される。このようなサイズ変換は、例えば、各スライド画像に場面長さに応じた情報を付加しておき、詳細表示の要求に応じて配信サーバ1において行ったり、閲覧クライアント2で行ったりすることができる。
なお、このような画像サイズに差を持たせて表示する態様は、場面の内容の変化の大きさに応じたり、作者の意図に応じたりと言ったように、場面の重要度に応じてサイズを設定するようにしてもよい。
【0029】
図7は資料画像データ7の一覧画像表示を行った状態を示しており、レコードデータ表示部42には当該コンテンツのメタデータの諸項目が表示され、資料画像表示部43には当該コンテンツのビデオデータに対応付けられた全ての資料画像30が時系列に表示されるとともに、各資料画像30から抽出された「製品紹介…」などと言った当該画像に含まれている記述文字列30aが画像表示される。この文字列30aは資料画像データ7から必要に応じて文字認識処理などで抽出されたテキストデータからなっており、上記のように資料画像30をキーワード検索する際に照合される。
【0030】
また、一覧表示画面のレコード表示部42には、キーワード入力部44と、入力されたキーワードによって文字列30aの検索処理を開始させる検索ボタン45が設けられており、このインタフェースによっても資料画像のキーワード検索を行うことができる。すなわち、ユーザがキーワード入力部44に所望のキーワードを入力して検索ボタン45を押下操作することにより、閲覧クライアント2に設けられた検索機能が起動して、入力されたキーワード文字列を文字列30aに含む資料画像30が検索され、図4に示すように、検索結果として表示される。
【0031】
ここで、一覧表示する資料画像は、図8や図9に例示するように表示のサイズを変更するようにしてもよい。このサイズ変換は、例えば、各資料画像に基準値に応じた情報を付加しておき、詳細表示の要求に応じて閲覧クライアント2の変換機能によって行い、一覧表示するようにすればよい。また、閲覧クライアント2で行う代わりに配信サーバー1の変換機能によって行ってもよい。さらに、詳細表示の要求に応じて変換を行う代わりに、あらかじめ変換したデータを用意しておき、それを用いるようにしてもよい。
必要に応じた種々な基準を設定することが可能であるが、例えば、対応付けたビデオデータ中の場面の長さに応じてサイズを大きくする基準を採用した場合には、図8に示すように、他の資料画像(aやc)に較べて場面の長さが長い資料画像(b)は、これら他の資料画像より大きなサイズで表示して、ビデオ撮影された講義などで長時間に亘って使用された重要度の高い資料であることを視覚的に判るようにするようにしてもよい。
【0032】
また、図10に示すように、資料画像30には別途用意した矢印78や注釈79の画像が付加されているものもあり、同図(a)〜(c)に順を追って示すように、ビデオデータの再生に伴って資料画像30に矢印78と注釈79の画像が順次追加されて表示されるものもある。
図9に示すように、このような付加画像78、79を有した資料画像(a)は、付加画像を有しない資料画像(bやc)に較べて大きなサイズで表示して、ビデオ撮影された講義などで特別に参照された重要度の高い資料であることを視覚的に判るようにしてもよい。
【0033】
図6〜図9に示すように一覧画像表示されたスライド画像や資料画像30に対して、上記のようにユーザがいずれかの画像をポインティング指示で選択することによって、ビデオプレイヤ35が画面表示されて、ビデオデータ5を当該選択されたスライド画像データ6や資料画像のデータ7が対応付けられている時間位置から再生して画面表示させる機能を閲覧クライアント2は有しており、これによって、スライド画像や資料画像に基づいビデオデータを頭出し再生することができる。
【0034】
次に、本例におけるビデオデータ5と画像データ等を対応付けて配信サーバ1に登録する処理を説明する。
図11に示すように、配置サーバ1には配置登録した各コンテンツのレコードを記憶管理するデータベース50と、各コンテンツデータの実体を格納する複数の配置先セット51が設けられている。
データベース50は各コンテンツデータのメタデータ、配置先ファイルパス、配置先URLなどを含むコンテンツ用レコード52と共に当該コンテンツデータが配置登録されている配置先セットを特定する番号53を記憶管理しており、当該データベース50を参照することにより、配信可能に各コンテンツデータを配置先セット51内のフォルダに配置登録し、また、閲覧クライアント2から要求された該当するコンテンツデータを配信することができる。
【0035】
配置先セット51はそれぞれが1又は複数のコンテンツデータを格納する記憶領域であり、これら配置先セット51の集合として配置サーバ1のコンテンツデータ記憶領域が構成されている。
図示の例では、各配置先セット51には、ビデオデータを格納するビデオデータフォルダ54、ビデオデータの再生時間位置に対応付けされた静止画像データを格納するための画像データフォルダ55、音声インデックスデータを格納するための音声インデックスフォルダ56が設けられており、同じコンテンツのデータは同じ配置先セット51となるように、これらフォルダ54〜56内に各コンテンツの対応するデータが登録格納される。
【0036】
各配置先セット51へのコンテンツデータの配置登録は、オペレータ操作に従って登録クライアント3が有するコンテンツ作成ツール60によって行われる。
コンテンツ作成ツール60は、MPEGなどの形式のビデオデータを配信用のストリーム形式のビデオデータに変換する処理、変換したビデオデータを登録する処理、ビデオデータ5にスライド画像データ6を対応付けて登録する処理、後述するようにビデオデータ5に資料画像データ7を対応付けて登録する処理、ビデオデータ5に音声インデックスデータを対応付けて登録する処理などを行う。
【0037】
コンテンツデータ(ビデオデータ、画像データ、音声インデックスデータ)の配置登録処理は、登録するコンテンツデータを登録クライアント3に入力して対応付けなどの必要な処理を行い、登録クライアント3を配信サーバ1に接続することにより開始される。
そして、登録クライアント3はデータベース50からセットレコード62を参照して、アーカイブファイルのコンテンツデータの配置先セット番号、各メディアデータのファイルパス、各メディアデータのURLを設定し、コンテンツデータを配信サーバ1に送信して登録する。
【0038】
また、この際に、上記のようにオペレータが入力したメタデータもコンテンツレコード52に設定され、コンテンツレコード52とセットレコード62とが配置先セット番号で対応付けられる。
このようにして登録配置されたコンテンツデータは、閲覧クライアント2からの要求に応じてデータベース50を参照することにより配信サーバ1から提供される。
【0039】
次に、上記登録クライアント3によるビデオデータ5と資料画像データ7との対応付け処理について説明する。
図12には登録クライアント3の画面に表示される対応付け処理用のインタフェースを示してあり、上記の登録処理の前処理としてビデオデータ5の任意の時間位置にオペレータが資料画像データ7を対応付けるために用いられる。
【0040】
対応付け処理は、登録クライアント3にビデオデータファイルと資料画像データファイルとを読み込み、対応付け処理用のインタフェースを画面表示してオペレータの操作に応じて行われる。
このインタフェース画面は、ビデオデータ5を再生したビデオ画像を表示するビデオ画面80及び再生や停止などの操作ボタンが配置されたビデオ操作部81を有したビデオプレイヤ部82と、資料画像データ7を再生した資料画像を表示する画像画面83及びコマ送り操作ボタンや決定ボタンが配置された操作部84を有した静止画像データを再生表示する画像表示部85、読み込んだ資料画像データファイルに含まれる複数の資料画像30のサムネイルを表示する一覧表示部86、対応付け操作によって得られる対応付け関係情報を表示するスクリプト表示画面部87を同一画面上に含んでいる。
【0041】
このインターフェース画面では、オペレータがポインティング入力で操作することによって、操作部84のコマ送り操作ボタンで一覧表示部86に表示された資料画像30の内の任意の画像を画像画面83に拡大表示してその詳細を確認することができ、また、ビデオ操作部81の操作ボタンでビデオデータを再生させてビデオ画面80にビデオ画像を表示させることができる。そして、ビデオデータの再生中に、操作部84の決定ボタンをオペレータがポインティング入力で押下すると、ビデオデータの当該再生時間位置に画像画面83に表示した資料画像データを対応付けることができる。
したがって、上記対応付け関係情報をに基づいて、上記したように資料画像から対応するビデオ画像の場面を頭出しして再生することができる。
【0042】
なお、閲覧クライアント2が配信サーバ1からデータの配信を受けて再生するシステムを例にとって説明したが、本発明は、例えば、ビデオデータとこれに対応付けられた資料画像データを保持したスタンドアローン型のシステム構成としてもよく、このような構成とする場合には、該当する資料画像データを自らのシステム内で検索して、上記と同様な態様での表示、ビデオデータの選定や頭出し再生を行うことができる。
【0043】
【発明の効果】
以上説明したように、本発明によると、ビデオデータに対応付けられた静止画像データに含まれている文字列を利用してキーワード検索を行うようにしたため、所望の資料などの画像を容易に見付け出すことができ、また、当該検索された画像に対応するビデオデータ中の場面を容易に頭出しすることが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施例に係るシステム構成図である。
【図2】本発明の一実施例に係るビデオデータと画像データとの関係を説明する図である。
【図3】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図4】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図5】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図6】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図7】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図8】本発明の一実施例に係る閲覧クライアントの画面表示の他の態様を示す図である。
【図9】本発明の一実施例に係る閲覧クライアントの画面表示の他の態様を示す図である。
【図10】本発明の一例に係る資料画像の表示態様を説明する図である。
【図11】本発明の一実施例に係る配信サーバを説明する図である。
【図12】本発明の一実施例に係る登録クライアントの画面表示を示す図である。
【符号の説明】
1:配信サーバ、 2:閲覧クライアント、
3:登録クライアント、 5:ビデオデータ、
6,7:静止画像データ、 14、44:キーワード入力部、
15、45:検索開始ボタン、 30:資料画像、
30a:文字列、 33、70:ビデオ画面、
35:ビデオプレイヤ、 37:画像表示部、
60:コンテンツ作成ツール、 78:矢印画像、
79:注釈画像、

Claims (8)

  1. ビデオデータに対応付けた静止画像データを検索する画像検索システムであって、
    キーワード入力を受け付ける入力手段と、
    静止画象データに含まれる文字列を抽出する抽出手段と、
    抽出された文字列と入力されたキーワードとを照合して該当する静止画像データを検索する検索手段と、を備えたことを特徴とする画像検索システム。
  2. 請求項1に記載の画像検索システムにおいて、
    検索結果としての静止画像データを一覧として画像表示する表示手段と、
    静止画像データの画像サイズを所定の基準に従って変更して前記表示手段により表示させるサイズ変更手段と、を備えたことを特徴とする画像検索システム。
  3. 請求項1に記載の画像検索システムにおいて、
    検索結果としての静止画像データを画像表示する表示手段と、
    画像表示された静止画像を選択するユーザ操作入力に応じて、当該静止画像データを対応付けた再生時間位置からビデオデータを再生して画像表示するビデオ表示手段と、を備えたことを特徴とする画像検索システム。
  4. ビデオデータに対応付けた静止画像データを検索する画像検索方法であって、
    静止画象データに含まれる文字列を抽出し、入力されたキーワードと抽出された文字列とを照合して、該当する静止画像データを特定することを特徴とする画像検索方法。
  5. 請求項4に記載の画像検索方法において、
    検索結果としての静止画像データを画像表示し、画像表示された静止画像を選択するユーザ操作入力に応じて当該静止画像データを対応付けた再生時間位置からビデオデータを再生して画像表示することを特徴とする画像検索方法。
  6. ビデオデータに対応付けた静止画像データの検索処理をコンピュータにより実現するプログラムであって、
    キーワード入力を受け付ける機能と、
    静止画象データに含まれる文字列を抽出する機能と、
    抽出された文字列と入力されたキーワードとを照合して該当する静止画像データを検索する機能と、をコンピュータに実現することを特徴とするプログラム。
  7. 請求項6に記載のプログラムにおいて、
    検索結果としての静止画像データを一覧として画像表示する機能と、
    静止画像データの画像サイズを所定の基準に従って変更して前記表示機能により表示させる機能と、をコンピュータに実現することを特徴とするプログラム。
  8. 請求項6に記載のプログラムにおいて、
    検索結果としての静止画像データを画像表示する機能と、
    画像表示された静止画像を選択するユーザ操作入力に応じて、当該静止画像データを対応付けた再生時間位置からビデオデータを再生して画像表示する機能と、をコンピュータに実現することを特徴とするプログラム。
JP2002272567A 2002-09-19 2002-09-19 画像検索システム Pending JP2004112379A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002272567A JP2004112379A (ja) 2002-09-19 2002-09-19 画像検索システム
US10/661,590 US7848598B2 (en) 2002-09-19 2003-09-15 Image retrieval processing to obtain static image data from video data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002272567A JP2004112379A (ja) 2002-09-19 2002-09-19 画像検索システム

Publications (2)

Publication Number Publication Date
JP2004112379A true JP2004112379A (ja) 2004-04-08
JP2004112379A5 JP2004112379A5 (ja) 2005-11-17

Family

ID=31986901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002272567A Pending JP2004112379A (ja) 2002-09-19 2002-09-19 画像検索システム

Country Status (2)

Country Link
US (1) US7848598B2 (ja)
JP (1) JP2004112379A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127518A (ja) * 2004-10-26 2006-05-18 Fuji Xerox Co Ltd プレゼンテーションの取得及び保存のためのシステムと方法
JP2009105719A (ja) * 2007-10-24 2009-05-14 Hitachi Ltd 映像コンテンツ視聴端末
JP2010198084A (ja) * 2009-02-23 2010-09-09 Fujifilm Corp 関連コンテンツ表示装置及びシステム
JP2017049968A (ja) * 2015-08-31 2017-03-09 富士ゼロックス株式会社 ユーザインタラクションを検出、分類及び可視化する方法、システム及びプログラム
JP2018125702A (ja) * 2017-02-01 2018-08-09 富士ゼロックス株式会社 映像制御システム及びプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025127A (ja) * 2004-07-07 2006-01-26 Canon Inc 画像処理装置及びその制御方法
JP4830535B2 (ja) * 2006-02-22 2011-12-07 ソニー株式会社 再生装置、再生方法および再生プログラム
USD582427S1 (en) * 2006-10-12 2008-12-09 Bystronic Laser Ag Printed material and icon for computer display, electronic screen
JP4240330B2 (ja) * 2006-10-24 2009-03-18 ソニー株式会社 データベース作成方法、データベース作成プログラム、データベース作成装置及び映像コンテンツ記録装置
WO2009060817A1 (ja) * 2007-11-08 2009-05-14 Honda Motor Co., Ltd. 情報検索装置
JP2009271997A (ja) * 2008-05-07 2009-11-19 Canon Inc 画像処理装置
US8588576B2 (en) * 2010-02-26 2013-11-19 Sharp Kabushiki Kaisha Content reproduction device, television receiver, content reproduction method, content reproduction program, and recording medium
US10013614B2 (en) * 2016-06-29 2018-07-03 Google Llc Using an image matching system to improve the quality of service of a video matching system
US11328159B2 (en) 2016-11-28 2022-05-10 Microsoft Technology Licensing, Llc Automatically detecting contents expressing emotions from a video and enriching an image index

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282379A (ja) 1992-02-06 1993-10-29 Internatl Business Mach Corp <Ibm> 動画像の管理方法及び管理装置
US5521841A (en) * 1994-03-31 1996-05-28 Siemens Corporate Research, Inc. Browsing contents of a given video sequence
JPH0969165A (ja) 1995-08-31 1997-03-11 Dainippon Screen Mfg Co Ltd 画像処理装置
JPH09116740A (ja) 1995-10-19 1997-05-02 Toppan Printing Co Ltd 自動色調修正装置
US5760767A (en) 1995-10-26 1998-06-02 Sony Corporation Method and apparatus for displaying in and out points during video editing
US20020002562A1 (en) 1995-11-03 2002-01-03 Thomas P. Moran Computer controlled display system using a graphical replay device to control playback of temporal data representing collaborative activities
US5852435A (en) 1996-04-12 1998-12-22 Avid Technology, Inc. Digital multimedia editing and data management system
USRE38401E1 (en) 1997-01-16 2004-01-27 Obvious Technology, Inc. Interactive video icon with designated viewing position
JPH1139343A (ja) 1997-07-17 1999-02-12 Media Rinku Syst:Kk 映像検索装置
US6463444B1 (en) * 1997-08-14 2002-10-08 Virage, Inc. Video cataloger system with extensibility
JP3134827B2 (ja) 1997-11-07 2001-02-13 日本電気株式会社 画像レイアウトシステム、方法及び記録媒体
JPH11184867A (ja) * 1997-12-19 1999-07-09 Toshiba Corp 映像情報検索再生方法ならびに装置及び同方法がプログラムされ記録される記録媒体
US7954056B2 (en) 1997-12-22 2011-05-31 Ricoh Company, Ltd. Television-based visualization and navigation interface
JP3426960B2 (ja) 1998-04-23 2003-07-14 日本電信電話株式会社 映像編集方法及び装置及びそのプログラムを記録した記録媒体
US6789228B1 (en) * 1998-05-07 2004-09-07 Medical Consumer Media Method and system for the storage and retrieval of web-based education materials
WO2000017778A1 (fr) * 1998-09-17 2000-03-30 Sony Corporation Dispositif et procede de generation d'images
JP2000115736A (ja) 1998-09-30 2000-04-21 Mitsubishi Electric Corp 情報配信システム及び情報送信装置及び情報受信装置
US7209942B1 (en) * 1998-12-28 2007-04-24 Kabushiki Kaisha Toshiba Information providing method and apparatus, and information reception apparatus
US6912327B1 (en) * 1999-01-28 2005-06-28 Kabushiki Kaisha Toshiba Imagine information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
JP2000278635A (ja) 1999-03-26 2000-10-06 Tokyo Electric Power Co Inc:The 解説用素材作成編集装置および解説用素材提示装置ならびに解説支援システム
US6751776B1 (en) * 1999-08-06 2004-06-15 Nec Corporation Method and apparatus for personalized multimedia summarization based upon user specified theme
US7299405B1 (en) * 2000-03-08 2007-11-20 Ricoh Company, Ltd. Method and system for information management to facilitate the exchange of ideas during a collaborative effort
JP2001209361A (ja) 2000-01-27 2001-08-03 Matsushita Electric Ind Co Ltd マルチメディア表示装置
US6249281B1 (en) * 2000-02-28 2001-06-19 Presenter.Com On-demand presentation graphical user interface
US6807361B1 (en) 2000-07-18 2004-10-19 Fuji Xerox Co., Ltd. Interactive custom video creation system
US6834371B1 (en) * 2000-08-31 2004-12-21 Interactive Video Technologies, Inc. System and method for controlling synchronization of a time-based presentation and its associated assets
JP2002229438A (ja) 2001-01-31 2002-08-14 Fuji Xerox Co Ltd 遠隔学習支援方法および装置並びにプログラム
JP2002272567A (ja) 2001-03-15 2002-09-24 Minako Ishikawa クリアケース
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
US7068309B2 (en) * 2001-10-09 2006-06-27 Microsoft Corp. Image exchange with image annotation
US7203380B2 (en) 2001-11-16 2007-04-10 Fuji Xerox Co., Ltd. Video production and compaction with collage picture frame user interface
US7143362B2 (en) 2001-12-28 2006-11-28 International Business Machines Corporation System and method for visualizing and navigating content in a graphical user interface
US7149974B2 (en) 2002-04-03 2006-12-12 Fuji Xerox Co., Ltd. Reduced representations of video sequences
JP2004112372A (ja) * 2002-09-19 2004-04-08 Fuji Xerox Co Ltd 画像処理システム
US20030177115A1 (en) * 2003-02-21 2003-09-18 Stern Yonatan P. System and method for automatic preparation and searching of scanned documents

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127518A (ja) * 2004-10-26 2006-05-18 Fuji Xerox Co Ltd プレゼンテーションの取得及び保存のためのシステムと方法
US9875222B2 (en) 2004-10-26 2018-01-23 Fuji Xerox Co., Ltd. Capturing and storing elements from a video presentation for later retrieval in response to queries
JP2009105719A (ja) * 2007-10-24 2009-05-14 Hitachi Ltd 映像コンテンツ視聴端末
US8413192B2 (en) 2007-10-24 2013-04-02 Hitachi, Ltd. Video content viewing apparatus
JP2010198084A (ja) * 2009-02-23 2010-09-09 Fujifilm Corp 関連コンテンツ表示装置及びシステム
JP2017049968A (ja) * 2015-08-31 2017-03-09 富士ゼロックス株式会社 ユーザインタラクションを検出、分類及び可視化する方法、システム及びプログラム
JP2018125702A (ja) * 2017-02-01 2018-08-09 富士ゼロックス株式会社 映像制御システム及びプログラム

Also Published As

Publication number Publication date
US7848598B2 (en) 2010-12-07
US20040056881A1 (en) 2004-03-25

Similar Documents

Publication Publication Date Title
US10714145B2 (en) Systems and methods to associate multimedia tags with user comments and generate user modifiable snippets around a tag time for efficient storage and sharing of tagged items
US10102284B2 (en) System and method for generating media bookmarks
US7739597B2 (en) Interactive media frame display
US8392834B2 (en) Systems and methods of authoring a multimedia file
JP5539904B2 (ja) ビデオインターバルへの注釈
US8923654B2 (en) Information processing apparatus and method, and storage medium storing program for displaying images that are divided into groups
US7895180B2 (en) Content filtering method, apparatus thereby, and recording medium having filtering program recorded thereon
US8931002B2 (en) Explanatory-description adding apparatus, computer program product, and explanatory-description adding method
US7873905B2 (en) Image processing system
JP2004112379A (ja) 画像検索システム
WO2010084585A1 (ja) 情報案内システム
WO2012031242A1 (en) Method and apparatus for providing community-based metadata
US20090083642A1 (en) Method for providing graphic user interface (gui) to display other contents related to content being currently generated, and a multimedia apparatus applying the same
KR100942268B1 (ko) 멀티미디어 북마크를 이용한 광고, 공유, 전송 및 검색방법
JP5552987B2 (ja) 検索結果出力装置、検索結果出力方法及び検索結果出力プログラム
JP2003162543A (ja) コンテンツ管理装置、コンテンツ管理方法、コンテンツ管理プログラム、及びコンテンツ管理プログラムを記録した記録媒体
JP2007047959A (ja) 情報編集表示装置、情報編集表示方法、サーバ、情報処理システムおよび情報編集表示プログラム
JP4096670B2 (ja) 画像再生システム
Amir et al. Towards automatic real time preparation of on-line video proceedings for conference talks and presentations
JP4107027B2 (ja) コンテンツ配信システム
JP4640564B2 (ja) コンテンツ配信システム
KR20070018681A (ko) 정보 편집 표시장치, 정보 편집 표시 방법, 정보 편집 표시프로그램, 기록 매체, 서버, 정보처리 시스템
WO2007036830A2 (en) Method and apparatus for managing contents

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070927

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20071003

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071113