JP2008148077A - 動画再生装置 - Google Patents

Abstract

【課題】 利用者が所望のシーンを指定して、そのシーンを直ぐに見られるようにする装置を提供すること、および利用者が動画データを見る前あるいは可能な限り直ぐに見たいシーンがあるか否かを判断可能とする装置を提供すること。
【解決手段】 そこで例えば、選択された動画データに含まれるキーワードを表示して、利用者に選択させる装置を提供する。具体的に例えば、動画データに対応する複数のキーワードを複数表示するキーワード表示部と、キーワード表示部で表示した複数のキーワードのうち、第１のキーワードの選択入力を受ける選択入力部と、第１のキーワードに対応する一又は複数のシーンを再生するシーン再生部とを有する動画再生装置。
【選択図】 図２

Description

技術分野は、動画データを再生する動画再生装置に関する。特に動画データにおける特定シーンを抽出、選択、再生等する技術に関する。

動画データにおける特定シーンを抽出する技術として、例えば特許文献１、２及び非特許文献１がある。

特許文献１には、「動画像の非重要度は入力手段を用いて画像のシーンごとに付与する。非重要度抽出手段は、閲覧される動画像を蓄積手段から入手し、動画像のシーンごとに付与された非重要度を求め、これを再生制御手段に出力する。再生制御手段は、非重要度が付与された場面を早送りし、非重要でなくなった時刻ｔ１を記録しておき、再び非重要である時間ｔ２に達したら、時刻ｔ１から時刻ｔ２までを再生するよう動画再生手段に指示する。動画再生手段は表示手段に時刻ｔ１から時刻ｔ２までの動画像を再生する。」と記載されている。

非特許文献１には、「This paper describes a system for automated performance evaluation of video summarization algorithms. We call it SUPERSIEV (System for Unsupervised Performance Evaluation of Ranked Summarization in Extended Videos). It is primarily designed for evaluating video summarization algorithms that perform frame ranking. The task of summarization is viewed as a kind of database retrieval, and we adopt some of the concepts developed for performance evaluation of retrieval in database systems. First, ground truth summaries are gathered in a user study from many assessors and for several video sequences. For each video sequence, these summaries are combined to generate a single reference file that represents the majority of assessors’ opinions. Then the system determines the best target reference frame for each frame of the whole video sequence and computes matching scores to form a lookup table that rates each frame. Given a summary from a candidate summarization algorithm, the system can then evaluate this summary from different aspects by computing recall, cumulated average precision, redundancy rate and average closeness. With this evaluation system, we can not only grade the quality of a video summary, but also (1) compare different automatic summarization algorithms and (2) make stepwise improvements on algorithms, without the need for new user feedback.」と記載されている。

特許文献２には課題として「録画したコンテンツの検索を容易かつ効率よく実行できるようにする。」と記載され、解決手段として「コンテンツ検索装置は、チューナ部６を通してデコードされたコンテンツを、コンテンツ蓄積部５に蓄積しておく。蓄積されたコンテンツと、そのコンテンツに付随する字幕情報とを字幕解析部８で解析し、コンテンツを所定の単位に分割して、字幕情報を用いた検索用インデックスを付与しておく。そして入力装置から送信された単語からなる検索キーをコンテンツ検索装置の受信部１で受信すると、検索部２は、受信した単語を検索クエリーとして、コンテンツ蓄積部５に蓄積されたコンテンツを検索する。検索結果は送信部３から表示装置４へ転送される。」と記載されている。

特開２００３−１５３１３９号公報 特開２００６−１１５０５２号公報 D.DeMenthon、 V.Kobla、 and D.Doermann、 "Video Summarization by Curve Simplification"、 ACM Multimedia 98、 Bristol、 England、 pp.211-218、 1998

近年、デジタルテレビ放送による動画データの多チャンネル放送化やネットワークの広帯域化により、多くの動画データを取得あるいは視聴可能となった。また、動画圧縮伸張技術の向上、向上した動画圧縮技術を実現するハードウェア／ソフトウェアの低価格化、及び蓄積メディアの大容量化と低価格化により、多くの動画データを手軽に保存できるようになり、視聴可能な動画データが増加しつつある。しかしながら、多忙な人にとっては、それら動画データ全てを視聴する時間は無く、結果として視聴しきれない動画データが氾濫する状況になってきている。そこで例えば、動画データにおける特定シーンを抽出する技術が重要となる。

この点、特許文献１及び非特許文献１によれば利用者が動画データの内容を短時間で把握することが可能なる。しかし、動画データの中から特定シーンを装置が判別および抽出するので、装置が判別および抽出した特定シーンが利用者の望むシーンと一致しない場合がある。

特許文献２では、利用者が最初にキーワードをカメラ等で入力すると録画した複数のコンテンツ（動画データ）の中からキーワードに対応するコンテンツを検索する。しかし、利用者が先に或る動画データ（コンテンツ）を選択し、選択された動画データの中から特定シーンを抽出するには、利用者が選択された動画データを見ていないとどんなキーワードが含まれているのかが利用者には分からないため、そもそも利用者がキーワードを入力できない。つまり例えば、利用者が視聴していない動画データを選択してその内容のうちから興味あるシーンを短時間で視聴する用途には不向きである。

そこで例えば、選択された動画データに含まれるキーワードを表示して、利用者に選択させる装置を提供する。

具体的に例えば、動画データに対応する複数のキーワードを複数表示するキーワード表示部と、キーワード表示部で表示した複数のキーワードのうち、第１のキーワードの選択入力を受ける選択入力部と、第１のキーワードに対応する一又は複数のシーンを再生するシーン再生部とを有する動画再生装置。

また例えばさらに、第１のキーワードに対応する一又は複数のシーンの、動画データ中での位置又は時間に第１のキーワードを対応付けて表示するシーン位置表示部をさらに有する動画再生装置。

上記手段によれば例えば、利用者は動画データから効率的に特定シーンを視聴可能となる。

以下、本発明の実施に好適な実施例を、図面を参照して説明する。

（１）ハードウェア構成
図１は、本実施例に係る動画再生装置のハードウェア構成の一例である。

動画再生装置としては例えば、動画データを再生可能な、ハードディスクレコーダ、ビデオテープレコーダ、パーソナルコンピュータ、又は携帯端末等が含まれる。

図１に示す通り、動画再生装置は、動画データ入力装置１００と、中央処理装置１０１と、入力装置１０２と、表示装置１０３と、音声出力装置１０４と、記憶装置１０５と、二次記憶装置１０６と、ネットワークデータ入力装置１０８と、を有する。各装置は、バス１０７によって接続され、各装置間で相互にデータの送受信が可能である。

動画データ入力装置１００は、動画データを入力する。本動画データ入力装置１００は、例えば後述する記憶装置１０５あるいは二次記憶装置１０６に記憶されている動画データを読み込む装置としたり、テレビ放送等を受信する場合には、テレビのチューナユニットとしたりすることができる。また、ネットワーク経由で動画データを入力する場合には、本動画データ入力装置１００をＬＡＮカード等のネットワークカードとすることができる。

中央処理装置１０１は、マイクロプロセッサを主体に構成されており、記憶装置１０５や二次記憶装置１０６に格納されているプログラムを実行し、本動画再生装置の動作を制御する。

入力装置１０２は、例えばリモコン、キーボード、又はマウス等のポインティングデバイスによって実現され、利用者が本動画再生装置に対して指示を与えることを可能とする。

表示装置１０３は、例えばディスプレイアダプタと液晶パネルやプロジェクタ等によって実現され、再生画像や後述する表示画面を表示する。

音声出力装置１０４は、例えばサウンドカードとスピーカ等によって実現され、再生動画データに含まれる音声を出力する。

記憶装置１０５は、例えばランダムアクセスメモリ（ＲＡＭ）等によって実現され、中央処理装置１０１によって実行されるプログラムや本動画再生装置において処理されるデータ、あるいは再生対象の動画データ等を格納する。

二次記憶装置１０６は、例えばハードディスクやＤＶＤあるいはＣＤとそれらのドライブ、あるいはフラッシュメモリ等の不揮発性メモリにより構成され、中央処理装置１０１によって実行されるプログラムや本動画再生装置において処理されるデータ、あるいは再生対象の動画データ等を格納する。なお、本二次記憶装置１０６は必須ではない。

ネットワークデータ入力装置１０８は、ＬＡＮカード等のネットワークカードによって実現され、ネットワークでつながれている他の装置から動画データや動画データに関する情報を入力する。なお、本ネットワークデータ入力装置１０８は、後述する実施例４では必須となるが、それ以外では必須ではない。

（２）機能ブロック、データ構成、画面例
図２は、本実施例に係る動画再生装置の機能ブロック図の一例である。これらの機能ブロックの全てが中央処理装置１０１によって実行されるソフトウェアプログラムであるものとして説明するが、一部あるいは全ては、ハードウェアとして実現されてもよい。

図２に示す通り、本実施例に係る動画再生装置は、動画解析動画データ入力部２０１と、インデクシングデータ生成部２０２と、インデクシングデータ保持部２０３と、インデクシングデータ入力部２０４と、キーワードデータ生成部２０５と、キーワードデータ保持部２０６と、キーワードデータ入力部２０７と、キーワード入力部２０８と、キーワード位置データ生成部２０９と、キーワード位置データ保持部２１０と、キーワード位置データ入力部２１１と、キーワード提示部２１２と、キーワード位置提示部２１３と、再生制御部２１４と、再生動画データ入力部２１５と、音声出力部２１７と、画像表示部２１８と、再生位置指定部２１９と、を有する。

ただし、他の装置で既に作成済みのインデクシングデータを使用するなど、インデクシングデータを本動画再生装置で生成しない場合には、解析動画データ入力部２０１と、インデクシングデータ生成部２０２と、インデクシングデータ保持部２０３は必須ではない。また、他の装置で既に作成済みのキーワードデータを使用するなど、キーワードデータを本動画再生装置で生成しない場合には、キーワードデータ生成部２０５と、キーワードデータ保持部２０６は必須ではない。また、他の装置で既に作成済みのキーワード位置データを使用するなど、キーワード位置データを本動画再生装置で生成しない場合には、キーワード位置データ生成部２０９と、キーワード位置データ保持部２１０は必須ではない。

図２において、解析動画データ入力部２０１は、後述するインデクシングデータの生成対象の動画データを動画データ入力装置１００から入力する。

インデクシングデータ生成部２０２は、解析動画データ入力部２０１において入力した動画データにおいて、喋られている台詞あるいは表示されている文字列とそれらの台詞あるいは文字列が喋られる時刻あるいは表示される時刻を基に動画データをインデクシングし、後述する図３に示すインデクシングデータを生成する。

例えば喋られている台詞の字幕データを取得し、その文字列およびそれが表示される時間とともに記録することにより、図３に示すインデクシングデータを作成する。デジタルテレビ放送では、音声のＥＳ（Elementary Stream）や映像のＥＳと同様に字幕のＥＳが送られてきているので、この字幕のＥＳを取得およびデコードすることで、字幕として表示される文字列とそれが表示される時刻の情報を取得でき、これらを基に図３に示すインデクシングデータを生成可能となる。

あるいは、インデクシングデータ生成部２０２は、解析動画データ入力部２０１において入力した動画データの音声を認識し、その文字列を生成することによって、図３に示すインデクシングデータを生成しても良い。この音声認識の技術は公知の技術を流用できるものとし、ここでは説明を省略する。音声認識した結果は文字列とする必要はなく、音素特徴などとしても良い。この場合、図３のインデクシングデータの文字列格納領域に音素特徴を格納すればよい。また、音声認識した結果を音素等の文字列以外とした場合には、後述するようにキーワード位置データ生成部２０９において、音素等の文字列以外でキーワード出現位置を検索するように構成すればよい。これについては後程、キーワード位置データ生成部２０９の説明で改めて言及する。

あるいは、インデクシングデータ生成部２０２は、解析動画データ入力部２０１において入力した動画データの画像上に表示されるテロップを認識し、その文字列を生成することによって、図３に示すインデクシングデータを生成しても良い。このテロップ認識の技術は公知の技術を流用できるものとし、ここでは説明を省略する。テロップ認識した結果は文字列とする必要は無く、文字の辺数等の形状特徴などとしても良い。この場合、図３のインデクシングデータの文字列格納領域に形状特徴を格納すればよい。また、テロップ認識した結果を形状特徴等の文字列以外とした場合には、後述するようにキーワード位置データ生成部２０９において、形状特徴等の文字列以外でキーワード出現位置を検索するように構成すればよい。これについては後程、キーワード位置データ生成部２０９の説明で改めて言及する。

図３は、インデクシングデータのデータ構造の一例である。

３０１は、ある時刻に喋られる台詞あるいは表示される文字列の番号であり、３０４は、喋られる台詞あるいは表示される文字列である。ここで、喋られる台詞としては、字幕情報の場合はデコード結果の文字列とすることができる。また、音声認識結果であれば、単位時間あたりの音声に対して音声認識によって得られた認識結果の文字列としたり、音素データとすることができる。また、テロップ認識結果であれば、テロップが出現したと認識したときにテロップ認識によって得られた認識結果の文字列としたり、辺の数や画数等の形状特徴データとすることができる。

３０２は、３０４に格納される文字列のバイト数や音素データのデータ量等の３０４に格納されるデータのデータ量であり、特にそのデータの倍とすうとすることができる。

３０３は、３０４に格納されるデータが実際に出力される時刻であり、つまり３０４に格納されている台詞あるいは文字に関するデータが喋られるあるいは表示される時刻である。これは、例えば字幕情報の場合はデコード結果の時刻とすることができる。また、音声認識結果であれば、単位時間あたりの音声に対して音声認識する場合には、その音声が出力される時刻とすることができる。また、テロップ認識の場合には、テロップが出現したと認識したときにそのテロップが表示される時刻とすることができる。インデクシングデータ生成部２０２は、上述した３０１から３０４のデータの組でエントリを構成する。図３においては、特に３１１から３１３の３つのエントリがあることを示している。

インデクシングデータ生成部２０２は、エントリがなくなった時点で３１４に示すようにすべてのデータを０にする。これにより、後述するインデクシングデータ入力部２０４で、本インデクシングデータが読み込まれた際にエントリの最後を知ることができる。

なお、図３においては、一例としてデータ＃３０１の領域サイズを４バイト、バイト数３０２の領域サイズを４バイト、時刻３０３の領域サイズを８バイト、文字列３０４の領域サイズをＮバイトとしているがこの限りではなく、動画データに対して十分にそれぞれのデータを格納可能な領域を確保して決定されれば良い。

図２の説明に戻る。インデクシングデータ保持部２０３は、インデクシングデータ生成部２０２において生成したインデクシングデータを保持する。これは、例えばインデクシングデータ生成部２０２において生成したインデクシングデータを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。

インデクシングデータ入力部２０４は、インデクシングデータ保持部２０３において保持されたインデクシングデータ、あるいは他の装置などによって既に生成されているインデクシングデータを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されているインデクシングデータを読み出すことによって実現できる。あるいは他の装置などによって既に生成されているインデクシングデータを入力する場合には、ネットワークデータ入力装置１０８を介して、該当するインデクシングデータが保存されている装置にアクセスし、該当するインデクシングデータを取得すればよい。この方法としては公知のネットワークデータの取得方法が適用可能であるとし、ここでは詳細な説明を省略する。

キーワードデータ生成部２０５は、インデクシングデータ入力部２０４で入力したインデクシングデータの文字列部分を解析および単語分解し、図４に示すキーワードデータを生成する。なお、文字列部分の解析及びキーワードデータの生成には辞書２２０及び／あるいは形態素解析の技術等が応用できる。なお、形態素解析には公知技術を流用できるものとし、ここでは説明を省略する。

インデクシングデータの文字列部分を解析する際には、スペースや振り仮名の文字列、及び文字色や表示位置を指定する制御コードを抜き取った状態で解析することで解析精度を向上することができる。これは、字幕データからインデクシングデータを生成した場合には、スペースの削除を字幕データからスペースの文字コード削除することによって実施できる。また、振り仮名の削除は文字の大きさの制御コードを判別し、振り仮名の大きさで表示される文字列を削除することによって実施できる。

辞書２２０は、例えば人名の辞書や、「天気予報」や「ホームラン」といった番組あるいは番組カテゴリ（総称して動画データの種類ともいう）ごとの固定のキーワードの辞書を用いれば、キーワードが大量に抽出されてしまい一覧表示しきれない又はユーザが探し難いという課題を解消できる。この辞書は動画データの種類によって切り替えてもよい。動画データの種類は例えば番組に付属するメタデータ、ＥＰＧデータ、ユーザの指定等によって決めることができる。

また、「次に」、「次は」、「続いて」といったトピックの先頭や導入（トピックの切れ目）に喋られるキーワードの辞書を用いれば、この言葉を拾うことで動画データ内のトピックの切れ目を検出することが期待できる。

生成したキーワードはキーワード提示部２１２で提示可能となる。

図４は、キーワードデータのデータ構造の一例である。

４０３は、キーワードとなる文字列自身であり、キーワードデータ生成部２０５によって解析および単語分解されたインデクシングデータの文字列部分であり、特にインデクシングデータの文字列部分の一部とすることができる。例えば、上述の通り、インデクシングデータの文字列部分から辞書２２０及び／あるいは形態素解析などの技術を適用して、名詞の単語にあたる文字列（キーワード）を抽出したものとすればよい。

４０１は、キーワードの番号、４０２は、キーワードとなる文字列のバイト数である。キーワードデータ生成部２０５は、さらに、後述するキーワード入力部２０８においてユーザから入力されたキーワードの統計を取り、その統計量によって例えばこれまでにユーザによって指定されたキーワードの多さによってスコアを付けても良い。この場合、図４において、キーワードデータには、キーワードに対してスコア４０４を付し、４０１から４０４を一組として、エントリを形成する。図４においては、一例として４１１から４１３までの３つのエントリがあることを示している。キーワードデータ生成部２０５は、エントリがなくなった時点で４１４に示すようにすべてのデータを０にすればよい。これにより、後述するキーワードデータ入力部２０７で、本キーワードデータが読み込まれた際にエントリの最後を知ることができる。

なお、図４においては、一例としてキーワードの番号４０１の領域サイズを４バイト、バイト数４０２の領域サイズを４バイト、キーワード文字列４０３の領域サイズをＮバイト、スコア４０４の領域サイズを４バイトとしているがこの限りではなく、それぞれのデータレンジに対応して十分に領域を確保して決定されれば良い。

図２の説明に戻る。キーワードデータ保持部２０６は、キーワードデータ生成部２０５において生成したキーワードデータを保持する。これは、例えばキーワードデータ生成部２０５において生成したキーワードデータを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。

キーワードデータ入力部２０７は、キーワードデータ保持部２０６において保持されたキーワードデータ、あるいは他の装置などによって既に生成されているキーワードデータを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されているキーワードデータを読み出すことによって実現できる。あるいは他の装置などによって既に生成されているキーワードデータを入力する場合には、ネットワークデータ入力装置１０８を介して、該当するキーワードデータが保存されている装置にアクセスし、該当するキーワードデータを取得すればよい。この方法としては公知のネットワークデータの取得方法が適用可能であるとし、ここでは詳細な説明を省略する。

キーワード提示部２１２は、キーワードデータ入力部２０７で入力したキーワードデータに格納されたキーワードを図５に示すように利用者に提示する。

図５（ａ）は、利用者に提示されたキーワードの一例を含む本動画再生装置の表示画面の一例であり、特にニュース番組に対してキーワードを提示した例である。

５００は、表示装置１０３上の画面であり、５１０は、動画操作ウィンドウ、５１１は、動画表示ウィンドウである。再生される動画データは、この動画表示ウィンドウ５１１に表示される。

５１２および５１３は、再生位置表示スライダーであり、利用者は、この再生位置表示スライダー５１２および５１３により、再生している位置を知ると共に再生位置を変更あるいは指定することが可能となる。

５１４および５１５は、再生位置指定ボタンであり、利用者がこの再生位置指定ボタン５１４および５１５を押下することにより、後述する再生位置指定部２１９は、再生位置を変更させる。

５２０は、キーワード表示ウィンドウである。キーワード提示部２１２は、このキーワード表示ウィンドウ５２０内にキーワードデータに格納されたキーワードを表示することで、利用者に動画データに含まれるキーワードを提示可能となる。図５（ａ）においては、５２１から５２６がキーワードであり、これらはボタンとなっていても良い。これにより、後述するキーワード入力部２０８で、利用者はキーワードが表示されたボタンを押下することで、キーワードを指定および入力することが可能となる。

なお、５４１、５４２、５４３、及び５４４は、キーワードとして、それぞれ番組あるいは番組カテゴリごとに固定のキーワード、人名、トピック、あるいはその他のキーワードを提示することを指定するためのボタンであり、これらを操作することによって、キーワードデータ生成部２０５で使用する辞書２２０を番組あるいは番組カテゴリごとの固定キーワードの辞書、人名の辞書、トピックの先頭に喋られるキーワードの辞書、あるいはユーザが指定したキーワードの辞書を使用するように構成する。特に、５４１が押された場合には、番組あるいは番組カテゴリをＥＰＧから取得して、番組あるいは番組カテゴリごとの固定キーワードの辞書を適用する。これにより、ユーザの好みの種別のキーワードが提示されるようになる。

例えば図５（ａ）はニュース番組に対して固定のキーワードを提示した例であり、図５（ｂ）は野球番組に対して固定のキーワードを提示した例である。図５（ｃ）は人名のキーワードを提示した例であり、図５（ｄ）はトピックの先頭を検索可能とした例である。ここで、トピックボタン５２７が利用者により押された場合には、後述するキーワード位置データ生成部２０９において、キーワードデータに登録された文字列全てあるいは一部を検索するように構成する。これにより、トピックごとの視聴が可能となる。図５（ｅ）は、人名のキーワードを提示した例である。

図５（ａ）から（ｅ）において、フリーキーワード５２８は、利用者がキーワードを指定するボタンである。フリーキーワード５２８が利用者に押されると、例えば図１４に示すキーワード入力ウィンドウ５３１を表示し、利用者がキーワード入力ボックス５３２からキーワードを指定可能とすればよい。この場合、利用者がキーワード入力ボックス５３２に入力装置１０２からキーワードを入力し、ＯＫボタン５３３を押すと、後述するキーワード位置データ生成部２０９において、キーワード入力ボックス５３２に入力されたキーワードを検索するように構成する。一方、利用者がＣａｎｃｅｌボタン５３３を押すと、キーワード入力ボックス５３２に入力されたキーワードを無効とし、後述するキーワード位置データ生成部２０９において、キーワード入力ボックス５３２に入力されたキーワードが検索されないように構成する。

なお、キーワード提示部２１２は、キーワードを提示する際、あらかじめ決められたスコアのキーワードあるいはあらかじめ決められたキーワードの個数を上位スコアから選出し、利用者に提示してもよい。また、キーワード提示部２１２は、キーワードを提示する際、利用者により指定されたスコアのキーワードあるいは利用者によって指定されたキーワードの個数を上位スコアから選出し、利用者に提示してもよい。

図２の説明に戻る。キーワード入力部２０８は、利用者から指定されるキーワードを入力する。これは、例えば図５でキーワード提示部２１２によりキーワード表示ウィンドウ５２０内に表示されたキーワードを利用者が選択した場合に、そのキーワードを取得することによって実現でき、特に、上述したようにキーワードがボタン上に表示されている場合、利用者が押下したボタンに表示されている文字列を取得することによって実現しても良い。なお、先に述べたように、入力したキーワードがキーワードデータ生成部２０５に供給されるように構成しても良い。この場合、キーワードデータ生成部２０５は、キーワード入力部２０８においてユーザから入力されたキーワードの統計を取り、その統計量によって例えばこれまでにユーザによって指定されたキーワードの多さによって生成するキーワードのスコアを付けるように構成しても良い。なお、利用者が、このキーワード入力部２０８にキーワードを指定することで、本動画再生装置は、動画データにおいて指定したキーワードの出現している位置を検索して再生する。これにより、利用者は、所望のキーワードが出現するシーンを視聴できるようになる。

キーワード位置データ生成部２０９は、キーワード入力部２０８によって入力したキーワードの文字列と、インデクシングデータ入力部２０４で入力したインデクシングデータを基に、図６に示すキーワード位置データを生成する。これは、キーワード位置データ生成部２０９が、キーワード入力部２０８によって入力したキーワードの文字列を、インデクシングデータ入力部２０４で入力したインデクシングデータにおける各エントリの文字列部分から検索し、当該入力したキーワードの文字列が見つかったインデクシングデータにおけるエントリの時刻３０３を取得して、それを図６に示すキーワード位置データにおける位置６０２に格納すればよい。

なお、先に述べた通り、インデクシングデータ生成部２０２において、音声認識あるいはテロップ認識により、音素特徴あるいは形状特徴等の文字列以外を文字列３０４の領域に格納した場合には、キーワード位置データ生成部２０９が、キーワード入力部２０８によって入力したキーワードの文字列を基に、それぞれ音素特徴あるいは形状特徴等に変換して、インデクシングデータにおける各エントリの文字列部分から検索し、当該入力したキーワードの文字列に対応する音素特徴あるいは形状特徴と一致したインデクシングデータにおけるエントリの時刻３０３を取得して、それを図６に示すキーワード位置データにおける位置６０２に格納すればよい。

図６は、キーワード位置データのデータ構造の一例である。

６０１は、位置の番号である。また、６０２は、キーワード入力部２０８によって入力したキーワードの文字列が見つかった際の、その文字列が動画データ内で出現する位置であるが、これは動画データにおけるその文字列が表示される時刻としてもよく、ここでは、動画データ内の位置を動画データ内での時刻ととらえることにする。すなわち、キーワード入力部２０８によって入力されたキーワードの文字列が、インデクシングデータ入力部２０４で入力したインデクシングデータにおける文字列部分に見つかったときの、インデクシングデータにおけるエントリの時刻３０３とすることができる。あるいは、キーワード入力部２０８によって入力されたキーワードの文字列に対応する音素特徴あるいは文字の形状特徴が、インデクシングデータ入力部２０４で入力したインデクシングデータにおける文字列部分に見つかった時の、インデクシングデータにおけるエントリの時刻３０３とすることができる。

図６においては、特に、一例としてキーワード入力部２０８によって入力されたキーワードの文字列、あるいは音素特徴あるいは文字の形状特徴が、インデクシングデータ入力部２０４で入力したインデクシングデータにおける３つのエントリの文字列部分に見つかったことを示しており、これらがそれぞれキーワード位置データにおけるエントリ６０４から６０６に格納されたことを示している。なお、キーワード位置データ生成部２０９は、６０７に示す通り、エントリの最後のデータを０にするとよい。これにより、後述するキーワード位置データ入力部２１１で、本キーワード位置データが読み込まれた際にエントリの最後を知ることができる。

なお、図６においては、一例として位置番号６０１の領域サイズを４バイトととし、位置６０２の領域サイズを８バイトとしているがこの限りではなく、それぞれのデータレンジに対応して十分に領域を確保して決定されれば良い。

図２の説明に戻る。キーワード位置データ保持部２１０は、キーワード位置データ生成部２０９において生成したキーワード位置データを保持する。これは、例えばキーワード位置データ生成部２０９において生成したキーワード位置データを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。

キーワード位置データ入力部２１１は、キーワード位置データ保持部２１０において保持されたキーワード位置データ、あるいは他の装置などによって既に生成されているキーワード位置データを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されているキーワード位置データを読み出すことによって実現できる。あるいは他の装置などによって既に生成されているキーワード位置データを入力する場合には、ネットワークデータ入力装置１０８を介して、該当するキーワード位置データが保存されている装置にアクセスし、該当するキーワード位置データを取得すればよい。この方法としては公知のネットワークデータの取得方法が適用可能であるとし、ここでは詳細な説明を省略する。

キーワード位置提示部２１３は、キーワード位置データ入力部２１１で入力したキーワード位置データに基づいて、動画データ内において利用者が指定したキーワードの出現位置を提示する。これは、例えば図７に示すように図５でも説明した再生位置表示スライダー５１２上に、キーワード位置データ内のエントリの位置６０２に対応する位置にマークを付けることによって実現できる。

図７は、キーワード位置提示の一例である。図７において、５１２および５１３は、図５においても説明した再生位置表示スライダーであり、５１４および５１５は、図５においても説明した再生位置指定ボタンである。そして、７０１から７０３が、キーワード位置提示部２１３によって提示されたキーワード位置であり、具体的には再生位置表示スライダー５１２上に、キーワード位置データ内のエントリの位置に対応する位置にマークを付けることによって実現できる。これは、動画データ全体の再生時間を再生位置表示スライダー５１２の長さ、再生位置表示スライダー５１２の左端を時刻０として、キーワード位置データ内の位置６０２に格納されている時刻に対応する再生位置表示スライダー５１２上の位置を再生位置表示スライダー５１２の長さと動画データ全体の再生時間の割合から求め、当該キーワード位置データ内の位置６０２に格納されている時刻に対応する再生位置表示スライダー５１２上の位置にマークを付けることによって実現できる。

図２の説明に戻る。再生動画データ入力部２１２は、再生対象の動画データを動画データ入力装置１００から入力する。

画像表示部２１８は、後述する再生制御部２１４において生成された再生画像を表示装置１０３に表示する。

音声出力部２１７は、後述する再生制御部２１４において生成された再生音声を音声出力装置１０４に出力する。

再生位置指定部２１９は、利用者からの再生位置の変更があった場合に、その旨を後述する再生制御部２１４に通知する。例えば、図５および図７における再生位置指定ボタン５１４あるいは５１５が利用者により押下された場合に、それを後述する再生制御部２１４にイベントあるいはフラグにより通知することで実現できる。

再生制御部２１４は、動画データを再生動画データ入力部２１２により入力し、再生画像及び再生音声を生成して画像表示部２１８および音声出力部２１７に出力することによって、動画データを再生する。この再生制御部２１４の処理内容の一例を図８に示す。

図８は、再生制御部２１４の処理内容の一例を説明するフローチャートである。

図８に示すとおり、再生制御部２１４は、まず、動画データにおける現在の再生位置（動画データにおける時刻）を取得し（ステップ８０１）、この現在の再生位置を基に、次の再生開始位置を取得する（ステップ８０２）。これは、キーワード位置データの位置６０２を参照し、現在の再生位置よりも後で、かつ現在の再生位置に最も近い位置を取得することによって実現できる。

次に、ステップ８０２で取得した次の再生開始位置へジャンプし（ステップ８０３）、当該再生開始位置から動画データの再生を行う（ステップ８０４）。これは、当該再生位置からの動画データにおける再生画像を画像表示部２１８を介して表示装置１０３への表示すること、及び当該再生位置からの動画データにおける再生音声を音声出力部２１７を介して音声出力装置１０４への出力することにより実施される。

同動画データの再生中、定期的に再生が終了したか否かを判断し（ステップ８０５）、再生が終了した場合には動画データの再生を終了する。具体的には、動画データを全て再生し終わった場合あるいは利用者から再生の終了が指示された場合に再生の終了と判断する。

さらに、同動画データの再生中、定期的に再生位置指定部２１９により再生位置の変更が指示されたか否かを判断する（ステップ８０６）。このステップ８０６における判断の結果、再生位置指定部２１９により再生位置の変更が指示されていないと判断した場合には、ステップ８０４に戻り、ステップ８０４からステップ８０６を繰り返すことで、動画データの再生を継続する。

一方、ステップ８０６における判断の結果、再生位置指定部２１９により再生位置の変更が指示された判断した場合には、ステップ８０１に戻り、ステップ８０１からステップ８０６を繰り返すことで、次の再生開始位置から動画データを再生する。

再生位置指定部２１９において、利用者から再生位置指定ボタン５１５が押下された場合には、ステップ８０２において、キーワード位置データの位置６０２を参照し、現在の再生位置よりも後で、かつ現在の再生位置に最も近い位置を取得する。

再生位置指定部２１９において、利用者から再生位置指定ボタン５１４が押下された場合には、ステップ８０２において、キーワード位置データの位置６０２を参照し、現在の再生位置よりも前で、かつ現在の再生位置に最も近い位置を取得する。これにより、利用者が再生位置指定ボタン５１５を押下した場合には、時間的に次のキーワード出現位置から動画データの再生が行われる。また、利用者が再生位置指定ボタン５１４を押下した場合には、時間的に前のキーワード出現位置から動画データの再生が行われる。

以上の処理により、利用者が指定したキーワードが出現している位置から動画データの再生が可能となる。

（３）全体制御
本動画再生装置の全体的な動作について、動画データの録画時と再生時に分けて説明する。

まず、動画データの録画時の動作を説明する。なお、本動画再生装置が動画データの録画を実施しない場合には、ここで説明する動作は必要ない。

図９は、本動画再生装置の動画データ録画時の動作を示すフローチャートである。

図９に示すとおり、動画データの録画時には本動画再生装置は、まず、解析動画データ入力部２０１により、録画対象の動画データを入力し（ステップ９０１）、インデクシングデータ生成部２０２により、インデクシングデータを生成して（ステップ９０２）、インデクシングデータ保持部２０３により、ステップ９０２でインデクシングデータ生成部２０２によって生成したインデクシングデータを保存して（ステップ９０３）、録画を終了する。なお、他の装置ですでに作成済みのインデクシングデータを使用するなど、インデクシングデータを本動画再生装置で生成しない場合には、ステップ９０２は必要ない。インデクシングデータのみでなく、動画データ自身も録画することは言うまでもない。

次に、動画データ再生時における本動画再生装置の動作を説明する。

図１０は、本動画再生装置の動画データ再生時の動作を示すフローチャートである。

図１０に示すとおり、動画データの再生時には本動画再生装置は、まず、提示する（一覧表示させる）キーワードの種別を入力する（ステップ１０００）。これは、例えば、図５における５４１、５４２、５４３、及び５４４によりユーザから種別を入力してもらうことにより実現する。

続いて、本動画再生装置は、インデクシングデータ入力部２０４により、録画対象の動画データのインデクシングデータを入力し（ステップ９０４）、キーワードデータ生成部２０５により、録画対象の動画データに含まれるキーワードデータを生成して（ステップ９０５）、キーワードデータ保持部２０６により、ステップ９０５でキーワードデータ生成部２０５によって生成したキーワードデータを保存する（ステップ９０６）。なお、他の装置で既に作成済みのキーワードデータを使用するなど、キーワードデータを本動画再生装置で生成しない場合には、ステップ９０４と、ステップ９０５と、ステップ９０６は必要ない。

動画データの再生時には本動画再生装置は、続いて、キーワードデータ入力部２０７により、再生対象の動画データ内に含まれるキーワードが記述されているキーワードデータを入力し（ステップ１００１）、キーワード提示部２１２により、キーワードデータ内のキーワード、すなわち再生対象の動画データ内に含まれるキーワードを表示する（ステップ１００２）。

次に、キーワード入力部２０８により、利用者が視聴したいシーンのキーワードの入力を受ける（ステップ１００３）。例えば図５（ａ）の画面例でいえば、５２１から５２６の選択、又は、５２８の選択から図１４で文字入力を受ける。

ステップ１００３でキーワード入力部２０８によって入力したキーワードが再生動画データ内に出現する位置のデータをキーワード位置データ生成部２０９により生成して（ステップ１００４）、キーワード位置データ保持部２１０により、ステップ１００４でキーワード位置データ生成部２０９によって生成したキーワード位置データを保存する（ステップ１００５）。なお、他の装置ですでに作成済みのキーワード位置データを使用するなど、キーワード位置データを本動画再生装置で生成しない場合には、ステップ１００４と、ステップ１００５は必要ない。

続いて、本動画再生装置は、キーワード位置データ入力部２１１により、キーワード位置データを入力し（ステップ１００６）、キーワード位置提示部２１３により、キーワード位置データに記述されている動画データ内の位置、すなわち、利用者が指定したキーワードが出現する位置を表示する（ステップ１００７）。

その後、本動画再生装置は、再生動画データ入力部２１５により、再生対象の動画データを入力し（ステップ１００８）、再生制御部２１４により、再生対象の動画データにおける利用者が指定したキーワードの出現位置から再生動画を画像表示部２１８経由で表示装置１０３への表示すると共に、当該キーワードの出現位置からの再生音声を音声出力部２１７を介して音声出力装置１０４への出力することで、再生対象の動画データを再生する。

なお、図９と図１０で示したインデクシングデータとキーワードデータとキーワード位置データとを生成するタイミングは一例であり、録画時と再生時のどちらで行うかは任意である。また、図３、４、６で示したインデクシングデータとキーワードデータとキーワード位置データとの切り分けも一例であり、すべてのデータが一体になっていてもよいなど、切り分けは任意である。３つのデータを総称してキーワードデータと呼んでもよい。

以上により、利用者が所望のシーンのキーワードを指定して、そのキーワードが出現しているシーンから動画データを再生することが可能となる。また、動画データを再生する前に、当該動画データに含まれるキーワードを確認でき、利用者が動画データを見る前あるいは可能な限り直ぐに見たいシーンがあるか否かを判断することが可能となる。

図１１は、実施例２に係る動画再生装置の機能ブロック図の構成例である。

図１１の動画再生装置では、図２にデータベース１１０１を加えた構成とし、このデータベースにはあらかじめ人名や地名などのキーワードを登録しておく。キーワードデータ生成部２０５は、インデクシングデータ入力部２０４で入力したインデクシングデータの文字列部分を解析および単語分解し、データベース１１０１に登録されているキーワードが出現した場合に、このキーワードを基にキーワードデータを生成する。

図１１では、あらかじめ登録されたキーワードのみを利用者に提示可能となると共に、あらかじめ登録されたキーワードのシーンから動画データを再生することが可能となる。なお、実施例２における上述した以外の構成および処理内容は実施例１と同様とすることができる。

図１２は、実施例３に係る動画再生装置の機能ブロック図の構成例である。

図１２の動画再生装置では、図２にＥＰＧデータ取得部１２０１を加えた構成とする。

ＥＰＧデータ取得部１２０１は、解析対象の動画データのＥＰＧデータを取得する。ＥＰＧデータは例えば、解析動画データ入力部２０１により、解析対象の動画データに対応するＥＰＧデータを放送から取得できる。あるいは、ネットワークデータ入力装置１０８を介して、あらかじめ決められて装置からＥＰＧデータを取得するように構成しても良い。

キーワードデータ生成部２０５が、ＥＰＧデータ取得部１２０１で取得したＥＰＧデータを解析および単語分解すると共に、インデクシングデータ入力部２０４で入力したインデクシングデータの文字列部分を解析および単語分解して、このインデクシングデータの文字列部分に、前記ＥＰＧデータの解析および単語分解した結果が含まれていた場合に、この解析および分析結果の文字列をキーワードとして、キーワードデータを生成する。

図１２では、利用者がＥＰＧデータを確認し、このＥＰＧデータに含まれるキーワードのシーンから動画データを再生することが可能となる。なお、実施例３における上述した以外の構成および処理内容は実施例１と同様とすることができる。

図１３は、実施例４に係る動画再生装置の機能ブロック図の構成例である。

図１３の動画再生装置では、図２にネットワークデータ取得部１３０１を加えた構成とする。

ネットワークデータ取得部１３０１は、解析対象の動画データに関する出演者やコーナー名等の情報を取得する。これは、例えば、解析対象の動画データに対して、ネットワークデータ入力装置１０８を介して、情報を提供しいているネットワーク上の装置から当該情報を取得するように構成しても良い。あるいは、当該情報を提供しているサイトを検索して、そのサイトにアクセスして当該情報を取得するように構成しても良い。
キーワードデータ生成部２０５が、前記ネットワークデータ取得部１３０１で取得した情報を解析および単語分解すると共に、インデクシングデータ入力部２０４で入力したインデクシングデータの文字列部分を解析および単語分解して、このインデクシングデータの文字列部分に、前記ネットワークデータ取得部１３０１で取得した情報の解析および単語分解した結果が含まれていた場合に、この解析および分析結果の文字列をキーワードとして、キーワードデータを生成する。

図１３では、ＥＰＧデータが不十分な場合、音声認識やテロップ認識が十分でない場合、あるいはテロップや字幕情報の提供が不十分な場合でもネットワークからキーワードを取得することができる。なお、実施例４における上述した以外の構成および処理内容は実施例１と同様とすることができる。

以上、本発明の実施例について実施例１から実施例４までを説明したが、これらの組み合わせによって動画再生装置を構成しても良い。また、これらの実施例ではインデックスデータの生成およびキーワード位置データの生成に関して、字幕情報、テロップ認識、および音声認識を用いた方法を示したが、この限りではなく、例えば顔認識等、動画データのインデクシングおよびキーワード出現位置の検索ができる情報であればなんでも利用可能である。さらに、これらの情報を利用する際、優先順位を付けても良い。例えば、字幕情報が提供されている場合には、字幕情報の活用を優先的にし、字幕情報がない場合にテロップ認識による情報の活用を行う。あるいは、どちらの情報もない場合に音声認識による情報を活用するというように、優先順位を適用することで、認識技術が完全ではない場合あるいは提供されている情報がないあるいは少ない場合にも、インデックスデータの生成およびキーワード位置データの生成が可能となる。さらに、キーワードデータの生成についても、字幕情報、テロップ認識、音声認識、データベース、ＥＰＧデータ、ネットワークデータを用いた方法を示したが、この限りではなく、例えば顔認識等、動画データのキーワード生成ができる情報であれば利用可能である。さらに、これらの情報を利用する際、優先順位を付けても良い。例えば、データベースが利用可能である場合には、データベースの活用を優先的にし、これが存在しない場合には、ネットワーク情報を活用する。さらに、ネットワーク情報もない場合には、字幕情報を活用し、これもない場合にＥＰＧデータを活用する。また、ＥＰＧデータもない場合には、テロップ認識による情報を活用し、テロップ認識による情報もない場合に音声認識による情報を活用するとよい。これにより、認識技術が完全ではない場合あるいは提供されている情報がないあるいは少ない場合にも、キーワードデータの生成が可能となる。

動画再生装置の機能ブロックをソフトウェアで実現する場合のハードウェア構成図の一例である。 実施例１に係る動画再生装置の機能ブロック図の一例である。 インデクシングデータのデータ構造の一例である。 キーワードデータのデータ構造の一例である。 動画再生装置の表示画面の一例である。 動画再生装置の表示画面の一例である。 動画再生装置の表示画面の一例である。 動画再生装置の表示画面の一例である。 動画再生装置の表示画面の一例である。 キーワード位置データのデータ構造の一例である。 キーワード位置提示の一例である。 再生制御部の処理内容の一例を説明するフローチャートである。 動画データの録画時の動作の一例を説明するフローチャートである。 動画データの再生時の動作の一例を説明するフローチャートである。 実施例２に係る動画再生装置の機能ブロック図の一例である。 実施例３に係る動画再生装置の機能ブロック図の一例である。 実施例４に係る動画再生装置の機能ブロック図の一例である。 キーワードを文字入力する画面の一例を示す。

符号の説明

１００・・・動画データ入力装置、１０１・・・中央処理装置、１０２・・・入力装置、１０３・・・表示装置、１０４・・・音声出力装置、１０５・・・記憶装置、１０６・・・二次記憶装置、１０７・・・バス、１０８・・・ネットワークデータ入力装置、２０１・・・動画解析動画データ入力部、２０２・・・インデクシングデータ生成部、２０３・・・インデクシングデータ保持部、２０４・・・インデクシングデータ入力部、２０５・・・キーワードデータ生成部、２０６・・・キーワードデータ保持部、２０７・・・キーワードデータ入力部、２０８・・・キーワード入力部、２０９・・・キーワード位置データ生成部、２１０・・・キーワード位置データ保持部、２１１・・・キーワード位置データ入力部、２１２・・・キーワード提示部、２１３・・・キーワード位置提示部、２１４・・・再生制御部、２１５・・・再生動画データ入力部、２１７・・・音声出力部、２１８・・・画像表示部、２１９・・・再生位置指定部、１１０１・・・データベース、１２０１・・・ＥＰＧデータ取得部、１３０１・・・ネットワークデータ取得部

Claims (15)

1. 動画データに対応する複数のキーワードを複数表示するキーワード表示部と、
   前記キーワード表示部で表示した複数のキーワードのうち、第１のキーワードの選択入力を受ける選択入力部と、
   前記第１のキーワードに対応する一又は複数のシーンを再生するシーン再生部とを有する動画再生装置。
2. 請求項１の動画再生装置であって、
   前記第１のキーワードに対応する一又は複数のシーンの、前記動画データ中での位置又は時間を表示するシーン位置表示部をさらに有する動画再生装置。
3. 請求項１の動画再生装置であって、
   前記第１のキーワードに対応する一又は複数のシーンの、前記動画データ中での位置又は時間に前記第１のキーワードを対応付けて表示するシーン位置表示部をさらに有する動画再生装置。
4. 請求項２又は３の動画再生装置であって、
   前記シーン位置表示部で表示する複数のシーンの位置又は時間のうち、任意の位置又は時間の選択入力を受ける再生位置指定部をさらに有する動画再生装置。
5. 請求項１の動画再生装置であって、
   前記複数のキーワードを含むキーワードデータを生成又は入力するキーワードデータ生成／入力部をさらに有する動画再生装置。
6. 請求項５の動画再生装置であって、
   動画データにおいて、喋られている台詞あるいは表示されている文字列と、それらの台詞が喋られる時刻あるいは文字列が表示される時刻とを基にインデクシングデータを生成するインデクシングデータ生成部をさらに有する動画再生装置。
7. 請求項５の動画再生装置であって、
   前記キーワードデータ生成／入力部は、字幕データに基づいて前記キーワードデータを生成する動画再生装置。
8. 請求項６の動画再生装置であって、
   前記キーワードデータ生成／入力部は、前記スペース又は振り仮名又は文字色を示す情報を除い字幕データ中の文字列からキーワードを生成することを特徴とする動画再生装置。
9. 請求項５の動画再生装置であって、
   前記キーワードデータ生成／入力部は、音声認識に基づいて前記キーワードデータを生成する動画再生装置。
10. 請求項５の動画再生装置であって、
    前記キーワードデータ生成／入力部は、テロップ認識に基づいて前記キーワードデータを生成する動画再生装置。
11. 請求項５の動画再生装置であって、
    前記キーワードデータ生成／入力部は、ＥＰＧデータに基づいて前記キーワードデータを生成する動画再生装置。
12. 請求項５の動画再生装置であって、
    前記キーワードデータ生成／入力部は、ネットワーク経由で取得したデータに基づいて前記キーワードデータを生成する動画再生装置。
13. 請求項１から１２のいずれかの動画再生装置であって、
    前記複数のキーワードは、人名である動画再生装置。
14. 請求項１から１３のいずれかの動画再生装置であって、
    前記複数のキーワードは、前記動画データの種類に基づいて決定される動画再生装置。
15. 請求項１から１２のいずれかの動画再生装置であって、
    前記複数のキーワードは、トピックの切れ目を示す言葉である動画再生装置。

Images