JP4994623B2 - テキスト編集・再生装置、コンテンツ編集・再生装置及びテキスト編集・再生方法 - Google Patents

Description

本発明は、テキスト編集・再生装置、コンテンツ編集・再生装置及びテキスト編集・再生方法に関し、特にテキストデータの編集・再生を行うテキスト編集・再生装置、ビデオ、オーディオ及びテキストが複合化されたコンテンツの編集・再生を行うコンテンツ編集・再生装置及びテキストデータの編集・再生を行うテキスト編集・再生方法に関する。

近年、携帯電話機などの端末へ向けて、多様なコンテンツを配信するコンテンツ配信サービスが普及している。コンテンツ配信サービスを行う上でのストリーム伝送は、ＭＰＥＧ４（Moving Pictures Experts Group-4）の規格に準拠したものが広まっており、ＭＰＥＧ４対応製品も増加してきている。

ＭＰＥＧ４は、携帯電話や電話回線などの低速回線でも高画質の動画データを配信することを目的とした動画フォーマットの規格であり、デジタルテレビ（テレビ会議、テレビ電話など）、インターネットや携帯電話などの映像や音楽の配信、またはインタラクティブメディア（対戦型ゲームなど）といった幅広い用途での利用が想定されている。

一方、ＭＰＥＧ４で規定されている基本となるメディア・ファイルフォーマットはＭＰ４と呼ばれている。ＭＰ４ファイル形式のコンテンツは、メディアデータの再生条件などのヘッダ情報が格納されているヘッダ部と、メディアデータ実体が格納されているメディアデータ部とから構成される。また、このようなコンテンツに対して分割・抽出して編集を行う場合、ビデオデータを基準として行うのが一般的である。

図１２はメディアデータの分割・抽出の様子を示す図である。なお、メディアデータは、符号化された映像、音声等から構成され、ビデオデータＶ、オーディオデータＡ、テキストデータＴを含み、エレメンタリストリーム（ＥＳ：Elementary Stream）とも呼ぶ。

ここで、メディアデータから任意の時間区間のデータを分割・抽出する際は、分割区間の先頭フレームがＩ（Intra-coded）フレームとなるようにする。なぜなら、分割して抽出したビデオデータＶを再生するとき、先頭フレームは、そのフレーム単独で再生可能であることが必要だからである。したがって、メディアデータを分割・抽出する場合は、フレーム間の相関性にもとづく符号化をしていないイントラ符号化されたＩフレームが先頭フレームとなるようにして分割が行われる。

例えば、図に示すように、抽出すべき指定区間を１０秒から２０秒の区間[１０ｓ，２０ｓ]とした場合、１０秒のときのデータと、２０秒のときのデータが共に含まれるように、上記の条件（分割区間のビデオデータＶの先頭フレームがＩフレームとなる）を満たして抽出しようとすると、実際には、[９．８ｓ，２０．３ｓ]の区間で抽出することになる。

また、ビデオデータＶが[９．８ｓ，２０．３ｓ]で分割・抽出されるならば、他のオーディオデータＡとテキストデータＴについても[９．８ｓ，２０．３ｓ]の区間で分割・抽出されることになる。したがって、指定区間[１０ｓ，２０ｓ]に対し、すべてのデータの分割区間は[９．８ｓ，２０．３ｓ]と決定される。

従来技術として、テキストデータをストリーミング型配信に向くようにデータ構造を変えた技術が提案されている（例えば、特許文献１）。
特開２００４−２５４２８１号公報（段落番号〔００８５〕〜〔０１０８〕，第１図）

上記のように、メディアデータを分割・抽出する際は、ビデオデータを基準にして、他のオーディオデータやテキストデータの分割区間も決定されるが、テキストデータについては、１サンプルの時間長が数秒であることが多いため、分割ポイントにまたがってサンプルが存在することがある。

ここで、テキストデータの構成について説明する。図１３はテキストデータのシンタックスを示す図である。テキストデータの１サンプル（テキストサンプル）のシンタックス（構文）の例としてTimedTextのシンタックスを示している（装飾情報内に時間情報が含まれるテキストデータのことをTimedTextと呼ぶ）。

TimedTextは、ＥＳ内に含まれ、４バイトのテキスト長情報に続き、テキスト文字列、装飾情報がくる形となる。また、このテキストサンプルに対する、データサイズ情報、画面に表示を行う時間を指定した時間情報、テキストの表示方法を指定したディスプレイ情報などはヘッダ部（図示せず）に格納されている。

なお、装飾情報については装飾毎にシンタックスが存在する。装飾情報の例としてカラオケとスクロールディレイを示す。カラオケは、指定時間にしたがって文字にハイライトをつける装飾である（例えば、曲に合わせて歌う箇所の歌詞に色表示がされたりする）。まず、ハイライトを開始する時間を４バイト指定し、その後に、テキストサンプル内のハイライト箇所のエントリ数、その後に、ハイライト終了時間、ハイライト開始文字、ハイライト終了文字のセットをエントリ数分繰り返す。

ここで例えば、図１２に示すテキストデータが１５秒表示するサンプルであったなら、分割されたテキストデータは、９．８秒のテキストデータと、５．２秒のテキストデータとに分かれるので、ビデオ／オーディオデータの編集に伴って、テキストデータに関してはヘッダ部の時間情報を編集して、それぞれ９．８秒と５．２秒の表示を行うようにして、分割されたビデオ／オーディオデータに対して対応関係が保たれるようにしている。

しかし、従来において、分割されて時間修正されたテキストデータをファイルに格納した後に再生すると、連続性が保たれず、ユーザにとって非常に不自然な表示でテキストデータが再生されてしまうといった問題があった。

以降、図１４〜図１６を用いて上記の問題点について説明する。図１４は分割前のテキストデータの表示動作を示す図である。テキストサンプルＴ０（Text0）は、「現在時刻は１０時３０分ちょうどです。」というテキストであり、画面の右から左へ横方向にスクロールしながら１５秒表示するサンプルであったとする。通常の表示動作では、図に示すように、画面の右から左へ１５秒かけて「現在時刻は１０時３０分ちょうどです。」というテキストがスクロールして表示される。

一方、テキストデータＴがビデオのＩフレームを基本として９．８秒で分割された場合、テキストデータＴは、９．８秒のテキストデータと、５．２秒のテキストデータとにまたがることになる。

図１５は９．８秒のテキストデータの表示動作を示す図である。ビデオ／オーディオデータの[０ｓ，９．８ｓ]の編集と共に、分割された前段のテキストデータに関しては９．８秒に時間修正される。すると、「現在時刻は１０時３０分ちょうどです。」というテキストは、画面の右から左へ横方向にスクロールしながら９．８秒かけて表示されるサンプルとなる。

なお、このときのスクロール速度は、例えば、携帯電話機の画面の横一行が１３６ピクセルで、１文字が１２ｄｏｔだとすると、「現在時刻は１０時３０分ちょうどです。」は１８文字なので、（１３６＋１２×１８）／９．８＝３５．９ｄｏｔ／ｓとなる（１ピクセル＝１ｄｏｔ）。

図１６は５．２秒のテキストデータの表示動作を示す図である。ビデオ／オーディオデータの[９．８ｓ，２０．３ｓ]の編集と共に、分割された後段のテキストデータに関しては５．２秒に時間修正される。すると、「現在時刻は１０時３０分ちょうどです。」というテキストは、画面の右から左へ横方向にスクロールしながら５．２秒かけて表示されるサンプルとなる。このときのスクロール速度は、（１３６＋１２×１８）／５．２＝６７．７ｄｏｔ／ｓとなる。

そして、[０ｓ，９．８ｓ]のメディアデータをファイル（ファイルｆ１とする）に格納し、[９．８ｓ，２０．３ｓ]のメディアデータをファイル（ファイルｆ２とする）に格納して、２つのファイルｆ１、ｆ２を連続して再生すると、テキストデータに関しては、「現在時刻は１０時３０分ちょうどです。」という速さの違うスクロール表示が２回表示されることになり（９．８秒のスクロール表示と５．８秒のスクロール表示が行われる）、不自然に再生されてしまうことになる（もし、１４秒、１秒で分割されていたら、２回目の表示は１秒でスクロールされて画面上からすぐに消えてしまうことになり、ユーザに与える違和感はとても強いものとなる）。

「現在時刻は１０時３０分ちょうどです。」というテキストデータの表示としては、ファイルｆ１、ｆ２を連続再生したとき、ファイルｆ１では、テキストの途中まで９．８秒間表示し、次のファイルｆ２からはテキストの途中から続けて５．２秒間表示して、ファイルｆ１、ｆ２を通じ全体で１５秒かけた２３．５（＝（１３６＋１２×１８）／１５）ｄｏｔ／ｓで、「現在時刻は１０時３０分ちょうどです。」というテキストが１回スクロールされることが最も自然な表示となる。

しかし、従来では、メディアデータの編集として、ビデオデータを基本にした分割・抽出を行うと、テキストデータは、ビデオ／オーディオデータに関連して単純に時間修正を行っているだけなので、再生したときは連続性が保たれずに不自然な表示となり、また映像や音声との表示上の同期も崩れてしまっていた。なお、従来技術（特開２００４−２５４２８１号公報）についても、上記の問題点については何ら考慮されてはいない。

本発明はこのような点に鑑みてなされたものであり、テキストデータ表示の連続性を保ち、高品質なテキストデータ再生を行うテキスト編集・再生装置を提供することを目的とする。

また、本発明の他の目的は、複合化コンテンツの編集、再生時、テキストデータ表示の連続性を保ち、高品質なテキストデータ再生を行うコンテンツ編集・再生装置を提供することである。

さらに、本発明の他の目的は、テキストデータ表示の連続性を保ち、高品質なテキストデータ再生を行うテキスト編集・再生方法を提供することである。

上記課題を解決するために、テキストデータの編集・再生を行うテキスト編集・再生装置が提供される。テキスト編集・再生装置は、テキストデータを分割して編集する際に、分割ポイントにまたがって、１サンプルのテキストデータであるテキストサンプルを分割する場合、前記分割ポイントの前段に位置するテキストデータを第１のテキストサンプル、前記分割ポイントの後段に位置するテキストデータを第２のテキストサンプルとするテキストデータ分割部と、前記第１のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第１のテキストサンプルの表示開始時間となる第１の装飾経過時間を付加し、前記第２のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第２のテキストサンプルの表示開始時間となる第２の装飾経過時間を付加する装飾時間情報付加部と、前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記第１のテキストサンプルを再生・表示し、前記第２の装飾経過時間から前記第２のテキストサンプルを再生・表示して、前記第１のテキストサンプルと前記第２のテキストサンプルとの連続性を保ちながら再生処理を行うテキストデータ再生処理部と、を備える。テキストデータのスクロール表示を行う場合、前記装飾時間情報付加部は、前記第１のテキストサンプルに対して、前記第１の装飾経過時間の他に、分割前の前記テキストサンプルの装飾表示に要する時間を示す装飾表示時間をさらに付加し、前記第２のテキストサンプルに対して、前記第２の装飾経過時間の他に、前記装飾表示時間をさらに付加し、前記テキストデータ再生処理部は、前記装飾表示時間から前記テキストサンプルの装飾表示速度を求め、前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記装飾表示速度で前記第１のテキストサンプルを再生・表示し、前記第２の装飾経過時間から前記装飾表示速度で前記第２のテキストサンプルを再生・表示する。

テキストデータを分割して表示した際の不自然な表示動作をなくすことができ、連続性を保ちながら高品質にテキストデータの再生・表示を行うことが可能になる。

以下、本発明の実施の形態を図面を参照して説明する。図１はテキスト編集・再生装置の原理図である。テキスト編集・再生装置１０は、テキストデータ分割部１１、装飾時間情報付加部１２、テキストデータ再生処理部１３から構成され、テキストデータの編集・再生を行う装置である。

テキストデータ分割部１１は、テキストデータの編集時に、テキストデータを分割する。このとき、分割ポイントＰにまたがって、１サンプルのテキストデータであるテキストサンプルＴ０を分割する場合、分割ポイントＰの前段に位置するテキストデータを第１のテキストサンプル（テキストサンプルＴ１）とし、分割ポイントＰの後段に位置するテキストデータを第２のテキストサンプル（テキストサンプルＴ２）とする。

装飾時間情報付加部１２は、装飾時間情報として、装飾経過時間を生成して、テキストサンプルＴ１、Ｔ２にそれぞれ付加する。装飾経過時間は、テキストサンプルＴ０の装飾表示の経過時間を示す時間情報である。

テキストサンプルＴ１に対しては、第１の装飾経過時間（装飾経過時間ｔ１）を付加する。特にテキストサンプルＴ１に付加される装飾経過時間ｔ１は、テキストサンプルＴ１の表示開始時間を表す時間情報となる。

また、テキストサンプルＴ２に対しては、第２の装飾経過時間（装飾経過時間ｔ２）を付加する。テキストサンプルＴ２に付加される装飾経過時間ｔ２は、テキストサンプルＴ２の表示開始時間を示す時間情報となる。

なお、設定されたデザイン、レイアウトでテキストデータを表示することを装飾表示と呼ぶ。例えば、テキストデータを画面右から左へスクロールして表示するような表示形式も装飾表示の１つである。

一方、テキストデータのスクロール表示を行う場合は、装飾時間情報付加部１２は、装飾時間情報として、装飾経過時間ｔ１、ｔ２の他に、さらに装飾表示時間ｔｄを生成して、テキストサンプルＴ１、Ｔ２にそれぞれ付加する。装飾表示時間ｔｄは、分割前のテキストサンプルＴ０の装飾表示に要する時間を示す時間情報である。

したがって、テキストサンプルＴ１に対しては、装飾経過時間ｔ１と、装飾表示時間ｔｄとを付加し、テキストサンプルＴ２に対しては、装飾経過時間ｔ２と、装飾表示時間ｔｄとを付加することになる。なお、これら装飾時間情報が付加されてテキスト再生が行われる様子については図２〜図７で後述する。

テキストデータ再生処理部１３は、装飾経過時間ｔ１からテキストサンプルＴ１の分割時間まで、テキストサンプルＴ１を再生・表示し、装飾経過時間ｔ２からテキストサンプルＴ２を再生・表示して、テキストサンプルＴ１とテキストサンプルＴ２との連続性を保ちながら再生処理を行う。

また、テキストデータのスクロール表示を行う場合は、テキストデータ再生処理部１３は、装飾表示時間ｔｄからテキストサンプルＴ０の装飾表示速度を求める。そして、装飾経過時間ｔ１からテキストサンプルＴ１の分割時間まで、求めた装飾表示速度でテキストサンプルＴ１を再生・表示する。さらに、装飾経過時間ｔ２から装飾表示速度でテキストサンプルＴ２を再生・表示して、テキストサンプルＴ１とテキストサンプルＴ２との連続性を保ちながら再生処理を行う。

次にテキストサンプルＴ１、Ｔ２に付加される装飾時間情報を示しながら、テキストサンプルＴ１、Ｔ２が連続性を保ちながら再生・表示される様子について具体例を用いて詳しく説明する（図２〜図４ではスクロール表示の例を示し、図５〜図７ではハイライト表示の例としてカラオケ表示の例を示す）。

スクロール表示の例について説明する。図２はテキストサンプルＴ１、Ｔ２に付加された装飾時間情報を示す図である。テキストサンプルＴ０（Text0）は、装飾がスクロール（画面右→左とする）、時間長が１５秒であり、表示テキストが「現在時刻は１０時３０分ちょうどです。」であるとする。

テキストサンプルＴ０を９．８秒のテキストサンプルＴ１（Text1）と、５．２秒のテキストサンプルＴ２（Text2）とに分割する。この場合、テキストサンプルＴ１は、装飾がスクロール、時間長が９．８秒、表示テキストが「現在時刻は１０時３０分ちょうどです。」といった情報を有している。これらの情報に加えて、装飾時間情報付加部１２は、あらたに装飾経過時間ｔ１が０秒、装飾表示時間ｔｄが１５秒という装飾時間情報を付加する（なお、装飾と時間長はヘッダ情報に含まれ、それ以外の情報はＥＳ内に含まれる）。

装飾経過時間ｔ１は、テキストサンプルＴ０の装飾表示の経過時間を示す時間情報であるが、テキストサンプルＴ０の装飾表示は、まずテキストサンプルＴ１を０秒から開始して表示していくので、ここでは０秒が設定される（表示開始から経過した時間は０秒）。また、装飾表示時間ｔｄは、テキストサンプルＴ０の装飾表示に要する時間を示すものなので１５秒と設定される。

一方、テキストサンプルＴ２は、装飾がスクロール、時間長が５．２秒、表示テキストが「現在時刻は１０時３０分ちょうどです。」といった情報を有している。これらの情報に加えて、装飾時間情報付加部１２は、あらたに装飾経過時間ｔ２が９．８秒、装飾表示時間ｔｄが１５秒という装飾時間情報を付加する。

装飾経過時間ｔ２は、テキストサンプルＴ０の装飾表示の経過時間を示す時間情報であるが、テキストサンプルＴ１で９．８秒表示されてからテキストサンプルＴ２の表示が開始するので、ここでは９．８秒が設定される（表示開始から経過した時間は９．８秒）。また、装飾表示時間ｔｄは、１５秒と設定される。

図３はテキストサンプルＴ１の表示動作を示す図である。テキストデータ再生処理部１３は、装飾経過時間ｔ１と装飾表示時間ｔｄが付加されたテキストサンプルＴ１を受信すると、まず、装飾表示時間ｔｄにもとづき装飾表示速度（スクロール速度）を求める。

ここで、携帯電話機の画面に表示するならば、携帯電話機の画面の横一行が１３６ピクセルで、１文字が１２ｄｏｔだとすると、「現在時刻は１０時３０分ちょうどです。」は１８文字なので、（１３６＋１２×１８）／１５＝２３．５ｄｏｔ／ｓとなる（１ピクセル＝１ｄｏｔ）。

そして、装飾経過時間ｔ１は０秒なので、テキストサンプルＴ１の先頭から２３．５ｄｏｔ／ｓの速度で、画面右からスクロールインして左にスクロールアウトしながら表示される。２３．５ｄｏｔ／ｓの速度でスクロールするので、スクロールの途中でテキストサンプルＴ１の表示は終了することになる。

図４はテキストサンプルＴ２の表示動作を示す図である。テキストデータ再生処理部１３は、装飾経過時間ｔ２と装飾表示時間ｔｄが付加されたテキストサンプルＴ２を受信すると、まず、装飾表示時間ｔｄにもとづき装飾表示速度（スクロール速度）を求める。スクロール速度は、図３と同様に２３．５ｄｏｔ／ｓである。

そして、装飾経過時間ｔ２は９．８秒なので、テキストサンプルＴ２の先頭から２３．５ｄｏｔ／ｓの速度で、画面右からスクロールインして左にスクロールアウトした場合に９．８秒の位置から始まるテキストから表示を開始し、５．２秒間スクロール表示して、サンプル表示を終了する。

このように、テキスト表示に１５秒かけたスクロール速度２３．５ｄｏｔ／ｓで、「現在時刻は１０時３０分ちょうどです。」というテキストデータがテキストの途中まで９．８秒間表示され、その後テキストの途中から続けて５．２秒間表示されることになり、自然な表示を行うことができる。

次にカラオケ表示の例について説明する。図５はテキストサンプルに付加された装飾時間情報を示す図である。テキストサンプルＴ０ａ（Text0a）は、装飾がカラオケ、時間長が８秒であり、表示テキストが「あと８秒です。」であるとする。また、カラオケ情報としては図示してないが、ハイライト開始時間：２秒、カラオケエントリ数：３、ハイライト終了時間１：４秒、開始文字１：０、終了文字１：２、ハイライト終了時間２：６秒、開始文字２：２、終了文字２：４、ハイライト終了時間３：８秒、開始文字３：４、終了文字３：７が含まれる。

なお、カラオケエントリが３とは、テキストのハイライトする箇所が３つあることを示し、この例では“あと”、“８秒”、“です。”の３つがハイライトされることになる。
テキストサンプルＴ０ａを４．７秒のテキストサンプルＴ１ａ（Text1a）と、３．３秒のテキストサンプルＴ２ａ（Text2a）とに分割する。この場合、テキストサンプルＴ１ａは、装飾がカラオケ、時間長が４．７秒、表示テキストが「あと８秒です。」、そして上記のカラオケ情報といった情報を有している（なお、装飾と時間長はヘッダ情報に含まれ、それ以外の情報はＥＳ内に含まれる）。

また、これらの情報に加えて、装飾時間情報付加部１２は、あらたに装飾経過時間ｔ１が０秒を付加する（図では、装飾表示時間ｔｄが８秒と付加しているが、カラオケ表示の場合は、装飾表示時間は不要なので、装飾表示時間ｔｄを付加した場合でも再生側でこの情報は無視される）。

一方、テキストサンプルＴ２ａは、装飾がカラオケ、時間長が３．３秒、表示テキストが「あと８秒です。」、そして上記のカラオケ情報といった情報を有している。これらの情報に加えて、装飾時間情報付加部１２は、あらたに装飾経過時間ｔ２が４．７秒を付加する（装飾表示時間ｔｄの情報は再生側で無視される）。

図６はテキストサンプルＴ１ａの表示動作を示す図である。テキストデータ再生処理部１３は、装飾がカラオケの場合、装飾表示時間ｔｄは影響しないので無視する（この例では装飾表示時間ｔｄが設定されて、テキストデータ再生処理部１３側で無視するものとしたが、装飾時間情報付加部１２側で装飾表示時間ｔｄを設定しないようにしてもよい）。また装飾経過時間ｔ１が０秒になっているので、テキストサンプルＴ１ａの先頭から表示する。

このとき、２秒後にハイライトを開始し、２秒から４秒間は０文字目から２文字目まで、“あと”をハイライトする。また、４秒から６秒までは２文字目から４文字目まで、“８秒”をハイライトするが、サンプルの時間長が４．７秒なので、４秒から４．７秒まで“８秒”をハイライトして終了する。

図７はテキストサンプルＴ２ａの表示動作を示す図である。テキストデータ再生処理部１３において、テキストサンプルＴ２ａの場合も、装飾表示時間ｔｄは影響しないので無視する。

また、ハイライト開始時間が２秒になっているが、装飾経過時間ｔ２が４．７秒になっているので、ハイライトはサンプル表示時に開始する。１つ目のエントリは２秒から４秒になっているが、装飾経過時間が４．７秒になっているので、すでにこのエントリは終了済みとして扱う。２つ目のエントリは４秒から６秒であるが、装飾経過時間が４．７秒なので、４秒から４．７秒はすでに表示済みとして扱うため、４．７秒から６秒までは（０秒から１．３秒は）、２文字目から４文字目までの“８秒”をハイライトする。さらに、６秒から８秒までは（１．３秒から３．３秒までは）４文字目から７文字目までの“です。”をハイライトして終了する。

なお、この例のカラオケ表示を従来の再生・表示処理で行うと、テキストサンプルＴ２ａの再生時、従来では装飾経過時間ｔ２が付加されていないので、何秒経過しているのかわからず、結局、テキストの先頭から３．３秒間だけハイライトされて不自然な表示が行われることになる。

以上説明したように、分割ポイントにまたがって１つのテキストサンプルＴ０が分割された場合、分割されたテキストサンプルＴ１、Ｔ２の双方に装飾経過時間を付加して（スクロール表示する場合は装飾表示時間も付加して）、これらの装飾時間情報にもとづいて、テキストサンプルＴ１、Ｔ２を再生表示することにより、テキストサンプルの連続性を保ちつつ自然な表示を行うことができ、ユーザに違和感を与えることなく、テキストデータの高品質な再生表示を行うことが可能になる。

次にテキスト編集・再生装置１０の機能を含むコンテンツ編集・再生装置について説明する。図８、図９はコンテンツ編集・再生装置の構成を示す図である。コンテンツ編集・再生装置２は、コンテンツ編集部２０と、コンテンツ再生部３０から構成される。

図８に対し、コンテンツ編集部２０は、ヘッダ解析部２１、メディアデータ分離部２２、メディアデータ編集部２３、時間長情報編集部２４、ファイル格納（File Packing）部２５から構成される。

ヘッダ解析部２１は、各種メディアが複合されたコンテンツ（例えば、ＭＰ４ファイル形式の複合コンテンツ）のヘッダ部を解析し、指定された時間や最大サイズ等にしたがって、ファイル分割を行う際の分割ポイントを決定する。

メディアデータ分離部２２は、コンテンツのメディアデータ部から各メディアのＥＳとして、ビデオデータ、オーディオデータ、テキストデータを分離する。メディアデータ編集部２３は、ビデオデータ分割・抽出部２３ａ、オーディオデータ分割・抽出部２３ｂ、テキストデータ分割・抽出部２３ｃから構成される。また、テキストデータ分割・抽出部２３ｃは、図１で上述したテキストデータ分割部１１と装飾時間情報付加部１２を含む。

ビデオデータ分割・抽出部２３ａは、分割ポイントにもとづき、ビデオデータを分割、抽出する。オーディオデータ分割・抽出部２３ｂは、分割ポイントにもとづき、オーディオデータを分割、抽出する。なお、テキストデータ分割・抽出部２３ｃの動作は、図１で上述したテキストデータ分割部１１と装飾時間情報付加部１２と同じである。

時間長情報編集部２４は、ヘッダ解析部２１で決定した分割区分にしたがい、ヘッダ部に含まれる時間長情報を編集する。例えば、分割されたテキストサンプルＴ１の時間長が９．８秒、テキストサンプルＴ２の時間長が５．２秒であるとき、テキストサンプルＴ１を格納するファイルのヘッダ情報内の時間情報を９．８秒に編集し、テキストサンプルＴ２を格納するファイルのヘッダ情報内の時間情報を５．２秒に編集する。

ファイル格納部２５は、時間長情報編集部２４で時間長が編集されたヘッダ情報を、編集済みのビデオデータ、オーディオデータ及びテキストデータに付加して、あらためてＭＰ４ファイルに格納する。

図９に対し、コンテンツ再生部３０は、ファイル振り分け部３１、ヘッダ解析部３２、メディアデータ再生部３３から構成される。また、メディアデータ再生部３３は、ビデオデータ再生処理部３３ａ、オーディオデータ再生処理部３３ｂ及び図１で上述したテキストデータ再生処理部１３を含む。

ファイル振り分け部３１は、編集後のコンテンツファイルを受信して、コンテンツのヘッダ部をヘッダ解析部３２へ、メディアデータ部をメディアデータ再生部３３へ振り分けて送信する。ヘッダ解析部３２は、ヘッダ情報を解析し、コーデック情報、時間情報、サイズ情報、オフセット情報等を保持し管理する。

メディアデータ再生部３３は、ビデオデータ再生処理部３３ａ、オーディオデータ再生処理部３３ｂ、テキストデータ再生処理部１３を含み、ヘッダ解析部３２で解析された情報にもとづき、ビデオデータ、オーディオデータ、テキストデータの再生処理を行う。例えば、ヘッダ解析部３２で解析された情報として、オーディオデータがＭＰ３（MPEG Audio Layer 3）で符号化されていることを認識したら、オーディオデータ再生処理部３３ｂでは、ＭＰ３に対応した復号化処理を行う。

次にコンテンツ編集・再生装置２を適用したコンテンツ配信のサービス例について説明する。図１０はコンテンツ配信のサービス例を示す図である。
〔Ｓ１〕ユーザは使用機種とコンテンツ情報をコンテンツ配信サーバ６０に送信する。

〔Ｓ２〕コンテンツ配信サーバ６０は、使用機種に応じた最大サイズとコンテンツ情報をコンテンツ管理サーバ５０に送信し、コンテンツ取得要求を出す。
〔Ｓ３〕コンテンツ管理サーバ５０は、編集対象コンテンツを最大サイズにもとづき分割編集する要求をコンテンツ編集・再生装置２に依頼する。

〔Ｓ４〕コンテンツ編集・再生装置２は、対象コンテンツを編集し、コンテンツ管理サーバ５０経由でコンテンツ配信サーバ６０に送信する。
〔Ｓ５〕コンテンツ配信サーバ６０は、受信した編集済み複合コンテンツをユーザに配信する。

次にコンテンツの編集例としてＭＰ４ファイルのコンテンツの編集例について説明する。図１１はＭＰ４ファイルコンテンツの編集例を示す図である。ＭＰ４ファイルは、メディアの再生条件などの情報が格納されているヘッダ情報部分であるmoovボックスと、メディアのストリームのみが格納されているメディアデータ部分であるmdatボックスを持つ。

moovボックスには、ビデオの再生条件などの情報が格納されているVideo Trakボックス、オーディオの再生条件などの情報が格納されているAudio Trakボックス、テキストの再生条件が含まれているText Trakボックスで構成される。また、mdatボックスは、同一メディアのいくつかのサンプルがチャンクという単位でまとめられ格納されている。

このような構成をもつＭＰ４ファイルから所定時間区間を抽出し、ＭＰ４ファイルとして編集する場合、以下に示すような流れで編集される。
（１）ＭＰ４ファイルのヘッダを解析後、各メディアの指定された分割区分を求める。

（２）ビデオデータ、オーディオデータ、テキストデータが分割される。
（３）ビデオデータは、分割区分に対応するビデオデータのみが抽出される。
（４）オーディオデータは、分割区分に対応するオーディオデータのみが抽出される。

（５ａ）テキストデータは、１テキストサンプル毎に抽出される。
（５ｂ）テキストサンプルは、分割区分に対応するサンプルのみ抽出され、装飾経過時間情報が付加される。またスクロール表示を行う場合は、装飾表示時間も付加される。

（６）抽出されたビデオデータ、オーディオデータ、テキストデータと、時間編集されたヘッダデータとをＭＰ４ファイルに格納する。
以上説明したように、本発明によれば、テキストデータに装飾経過時間と装飾表示時間といった装飾時間情報を付加することで、分割ポイントにまたがってテキストサンプルが分割された場合でも、テキストデータの連続性を保ちながらユーザに違和感なく自然な形で表示することが可能になる。また、ＭＰ４ファイルフォーマットを崩すことなく、容易にテキストデータの編集・再生を行うことが可能である。

（付記１） テキストデータの編集・再生を行うテキスト編集・再生装置において、
テキストデータを分割して編集する際に、分割ポイントにまたがって、１サンプルのテキストデータであるテキストサンプルを分割する場合、前記分割ポイントの前段に位置するテキストデータを第１のテキストサンプル、前記分割ポイントの後段に位置するテキストデータを第２のテキストサンプルとするテキストデータ分割部と、
前記第１のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第１のテキストサンプルの表示開始時間となる第１の装飾経過時間を付加し、前記第２のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第２のテキストサンプルの表示開始時間となる第２の装飾経過時間を付加する装飾時間情報付加部と、
前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記第１のテキストサンプルを再生・表示し、前記第２の装飾経過時間から前記第２のテキストサンプルを再生・表示して、前記第１のテキストサンプルと前記第２のテキストサンプルとの連続性を保ちながら再生処理を行うテキストデータ再生処理部と、
を有することを特徴とするテキスト編集・再生装置。

（付記２） テキストデータのスクロール表示を行う場合、前記装飾時間情報付加部は、前記第１のテキストサンプルに対して、前記第１の装飾経過時間の他に、分割前の前記テキストサンプルの装飾表示に要する時間を示す装飾表示時間をさらに付加し、前記第２のテキストサンプルに対して、前記第２の装飾経過時間の他に、前記装飾表示時間をさらに付加し、前記テキストデータ再生処理部は、前記装飾表示時間から前記テキストサンプルの装飾表示速度を求め、前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記装飾表示速度で前記第１のテキストサンプルを再生・表示し、前記第２の装飾経過時間から前記装飾表示速度で前記第２のテキストサンプルを再生・表示することを特徴とする付記１記載のテキスト編集・再生装置。

（付記３） 前記装飾時間情報付加部は、前記第１の装飾経過時間をゼロ、前記第２の装飾経過時間を前記テキストサンプルの分割時間とすることを特徴とする付記２記載のテキスト編集・再生装置。

（付記４） 前記装飾時間情報付加部は、前記第１の装飾経過時間をゼロ、前記第２の装飾経過時間を前記テキストサンプルの分割時間とし、前記テキストデータ再生処理部は、前記第１のテキストサンプルと前記第２のテキストサンプルの装飾表示として、時間経過と共にハイライト箇所が変更するような装飾表示を行うことを特徴とする付記１記載のテキスト編集・再生装置。

（付記５） ビデオ、オーディオ及びテキストが複合化されたコンテンツの編集・再生を行うコンテンツ編集・再生装置において、
前記コンテンツの所定の時間区間を分割・抽出して編集する際、前記コンテンツのヘッダ部を解析して、前記コンテンツの分割ポイントを決定するヘッダ解析部と、
前記分割ポイントにもとづき、ビデオデータを分割し、抽出するビデオデータ分割・抽出部と、
前記分割ポイントにもとづき、オーディオデータを分割し、抽出するオーディオデータ分割・抽出部と、
前記分割ポイントにもとづき、テキストデータを分割し、前記分割ポイントにまたがって、１サンプルのテキストデータであるテキストサンプルが分割された場合、前記分割ポイントの前段に位置するテキストデータを第１のテキストサンプル、前記分割ポイントの後段に位置するテキストデータを第２のテキストサンプルとするテキストデータ分割部と、前記第１のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第１のテキストサンプルの表示開始時間となる第１の装飾経過時間を付加し、前記第２のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第２のテキストサンプルの表示開始時間となる第２の装飾経過時間を付加する装飾時間情報付加部と、から構成されるテキストデータ分割・抽出部と、
抽出後の前記ビデオデータ、前記オーディオデータ及び前記テキストデータをファイルに格納するファイル格納部と、
ファイルに格納されたコンテンツに含まれる前記ビデオデータを再生するビデオデータ再生処理部と、
ファイルに格納されたコンテンツに含まれる前記オーディオデータを再生するオーディオデータ再生処理部と、
ファイルに格納されたコンテンツに含まれる前記テキストデータを再生する場合に、前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記第１のテキストサンプルを再生・表示し、前記第２の装飾経過時間から前記第２のテキストサンプルを再生・表示して、前記第１のテキストサンプルと前記第２のテキストサンプルとの連続性を保ちながら再生処理を行うテキストデータデータ再生処理部と、
を有することを特徴とするコンテンツ編集・再生装置。

（付記６） テキストデータのスクロール表示を行う場合、前記装飾時間情報付加部は、前記第１のテキストサンプルに対して、前記第１の装飾経過時間の他に、分割前の前記テキストサンプルの装飾表示に要する時間を示す装飾表示時間をさらに付加し、前記第２のテキストサンプルに対して、前記第２の装飾経過時間の他に、前記装飾表示時間をさらに付加し、前記テキストデータ再生処理部は、前記装飾表示時間から前記テキストサンプルの装飾表示速度を求め、前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記装飾表示速度で前記第１のテキストサンプルを再生・表示し、前記第２の装飾経過時間から前記装飾表示速度で前記第２のテキストサンプルを再生・表示することを特徴とする付記５記載のコンテンツ編集・再生装置。

（付記７） 前記装飾時間情報付加部は、前記第１の装飾経過時間をゼロ、前記第２の装飾経過時間を前記テキストサンプルの分割時間とすることを特徴とする付記６記載のコンテンツ編集・再生装置。

（付記８） 前記装飾時間情報付加部は、前記第１の装飾経過時間をゼロ、前記第２の装飾経過時間を前記テキストサンプルの分割時間とし、前記テキストデータ再生処理部は、前記第１のテキストサンプルと前記第２のテキストサンプルの装飾表示として、時間経過と共にハイライト箇所が変更するような装飾表示を行うことを特徴とする付記５記載のコンテンツ編集・再生装置。

（付記９） テキストデータの編集・再生を行うテキスト編集・再生方法において、
テキストデータを分割し、
分割ポイントにまたがって、１サンプルのテキストデータであるテキストサンプルが分割された場合、前記分割ポイントの前段に位置するテキストデータを第１のテキストサンプル、前記分割ポイントの後段に位置するテキストデータを第２のテキストサンプルとし、
前記第１のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第１のテキストサンプルの表示開始時間となる第１の装飾経過時間を付加し、
前記第２のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第２のテキストサンプルの表示開始時間となる第２の装飾経過時間を付加し、
前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記第１のテキストサンプルを再生・表示し、
前記第２の装飾経過時間から前記第２のテキストサンプルを再生・表示して、前記第１のテキストサンプルと前記第２のテキストサンプルとの連続性を保ちながら再生処理を行うことを特徴とするテキスト編集・再生方法。

（付記１０） テキストデータのスクロール表示を行う場合、前記第１のテキストサンプルに対して、前記第１の装飾経過時間の他に、分割前の前記テキストサンプルの装飾表示に要する時間を示す装飾表示時間をさらに付加し、前記第２のテキストサンプルに対して、前記第２の装飾経過時間の他に、前記装飾表示時間をさらに付加し、前記装飾表示時間から前記テキストサンプルの装飾表示速度を求め、前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記装飾表示速度で前記第１のテキストサンプルを再生・表示し、前記第２の装飾経過時間から前記装飾表示速度で前記第２のテキストサンプルを再生・表示することを特徴とする付記９記載のテキスト編集・再生方法。

（付記１１） 前記第１の装飾経過時間をゼロ、前記第２の装飾経過時間を前記テキストサンプルの分割時間とすることを特徴とする付記１０記載のテキスト編集・再生方法。
（付記１２） 前記第１の装飾経過時間をゼロ、前記第２の装飾経過時間を前記テキストサンプルの分割時間とし、前記第１のテキストサンプルと前記第２のテキストサンプルの装飾表示として、時間経過と共にハイライト箇所が変更するような装飾表示を行うことを特徴とする付記９記載のテキスト編集・再生方法。

テキスト編集・再生装置の原理図である。 テキストサンプルに付加された装飾時間情報を示す図である。 テキストサンプルの表示動作を示す図である。 テキストサンプルの表示動作を示す図である。 テキストサンプルに付加された装飾時間情報を示す図である。 テキストサンプルの表示動作を示す図である。 テキストサンプルの表示動作を示す図である。 コンテンツ編集・再生装置の構成を示す図である。 コンテンツ編集・再生装置の構成を示す図である。 コンテンツ配信のサービス例を示す図である。 ＭＰ４ファイルコンテンツの編集例を示す図である。 メディアデータの分割・抽出の様子を示す図である。 テキストデータのシンタックスを示す図である。 分割前のテキストデータの表示動作を示す図である。 ９．８秒のテキストデータの表示動作を示す図である。 ５．２秒のテキストデータの表示動作を示す図である。

符号の説明

１０ テキスト編集・再生装置
１１ テキストデータ分割部
１２ 装飾時間情報付加部
１３ テキストデータ再生処理部
Ｐ 分割ポイント
Ｔ０ 分割前のテキストサンプル
Ｔ１ 分割前段のテキストサンプル
Ｔ２ 分割後段のテキストサンプル
ｔ１、ｔ２ 装飾経過時間
ｔｄ 装飾表示時間

Claims (3)

1. テキストデータの編集・再生を行うテキスト編集・再生装置において、
   テキストデータを分割して編集する際に、分割ポイントにまたがって、１サンプルのテキストデータであるテキストサンプルを分割する場合、前記分割ポイントの前段に位置するテキストデータを第１のテキストサンプル、前記分割ポイントの後段に位置するテキストデータを第２のテキストサンプルとするテキストデータ分割部と、
   前記第１のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第１のテキストサンプルの表示開始時間となる第１の装飾経過時間を付加し、前記第２のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第２のテキストサンプルの表示開始時間となる第２の装飾経過時間を付加する装飾時間情報付加部と、
   前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記第１のテキストサンプルを再生・表示し、前記第２の装飾経過時間から前記第２のテキストサンプルを再生・表示して、前記第１のテキストサンプルと前記第２のテキストサンプルとの連続性を保ちながら再生処理を行うテキストデータ再生処理部と、
   を備え、
   テキストデータのスクロール表示を行う場合、前記装飾時間情報付加部は、前記第１のテキストサンプルに対して、前記第１の装飾経過時間の他に、分割前の前記テキストサンプルの装飾表示に要する時間を示す装飾表示時間をさらに付加し、前記第２のテキストサンプルに対して、前記第２の装飾経過時間の他に、前記装飾表示時間をさらに付加し、前記テキストデータ再生処理部は、前記装飾表示時間から前記テキストサンプルの装飾表示速度を求め、前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記装飾表示速度で前記第１のテキストサンプルを再生・表示し、前記第２の装飾経過時間から前記装飾表示速度で前記第２のテキストサンプルを再生・表示する、
   ことを特徴とするテキスト編集・再生装置。
2. ビデオ、オーディオ及びテキストが複合化されたコンテンツの編集・再生を行うコンテンツ編集・再生装置において、
   前記コンテンツの所定の時間区間を分割・抽出して編集する際、前記コンテンツのヘッダ部を解析して、前記コンテンツの分割ポイントを決定するヘッダ解析部と、
   前記分割ポイントにもとづき、ビデオデータを分割し、抽出するビデオデータ分割・抽出部と、
   前記分割ポイントにもとづき、オーディオデータを分割し、抽出するオーディオデータ分割・抽出部と、
   前記分割ポイントにもとづき、テキストデータを分割し、前記分割ポイントにまたがって、１サンプルのテキストデータであるテキストサンプルが分割された場合、前記分割ポイントの前段に位置するテキストデータを第１のテキストサンプル、前記分割ポイントの後段に位置するテキストデータを第２のテキストサンプルとするテキストデータ分割部と、前記第１のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第１のテキストサンプルの表示開始時間となる第１の装飾経過時間を付加し、前記第２のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第２のテキストサンプルの表示開始時間となる第２の装飾経過時間を付加する装飾時間情報付加部と、から構成されるテキストデータ分割・抽出部と、
   抽出後の前記ビデオデータ、前記オーディオデータ及び前記テキストデータをファイルに格納するファイル格納部と、
   ファイルに格納されたコンテンツに含まれる前記ビデオデータを再生するビデオデータ再生処理部と、
   ファイルに格納されたコンテンツに含まれる前記オーディオデータを再生するオーディオデータ再生処理部と、
   ファイルに格納されたコンテンツに含まれる前記テキストデータを再生する場合に、前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記第１のテキストサンプルを再生・表示し、前記第２の装飾経過時間から前記第２のテキストサンプルを再生・表示して、前記第１のテキストサンプルと前記第２のテキストサンプルとの連続性を保ちながら再生処理を行うテキストデータ再生処理部と、
   を備え、
   テキストデータのスクロール表示を行う場合、前記装飾時間情報付加部は、前記第１のテキストサンプルに対して、前記第１の装飾経過時間の他に、分割前の前記テキストサンプルの装飾表示に要する時間を示す装飾表示時間をさらに付加し、前記第２のテキストサンプルに対して、前記第２の装飾経過時間の他に、前記装飾表示時間をさらに付加し、前記テキストデータ再生処理部は、前記装飾表示時間から前記テキストサンプルの装飾表示速度を求め、前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記装飾表示速度で前記第１のテキストサンプルを再生・表示し、前記第２の装飾経過時間から前記装飾表示速度で前記第２のテキストサンプルを再生・表示する、
   ことを特徴とするコンテンツ編集・再生装置。
3. テキストデータの編集・再生を行うテキスト編集・再生方法において、
   テキストデータを分割し、
   分割ポイントにまたがって、１サンプルのテキストデータであるテキストサンプルが分割された場合、前記分割ポイントの前段に位置するテキストデータを第１のテキストサンプル、前記分割ポイントの後段に位置するテキストデータを第２のテキストサンプルとし、
   前記第１のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第１のテキストサンプルの表示開始時間となる第１の装飾経過時間を付加し、
   前記第２のテキストサンプルに対して、前記テキストサンプルの装飾表示の経過時間を示し、前記第２のテキストサンプルの表示開始時間となる第２の装飾経過時間を付加し、
   前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記第１のテキストサンプルを再生・表示し、
   前記第２の装飾経過時間から前記第２のテキストサンプルを再生・表示して、前記第１のテキストサンプルと前記第２のテキストサンプルとの連続性を保ちながら再生処理を行い、
   テキストデータのスクロール表示を行う場合、前記第１のテキストサンプルに対して、前記第１の装飾経過時間の他に、分割前の前記テキストサンプルの装飾表示に要する時間を示す装飾表示時間をさらに付加し、
   前記第２のテキストサンプルに対して、前記第２の装飾経過時間の他に、前記装飾表示時間をさらに付加し、
   前記装飾表示時間から前記テキストサンプルの装飾表示速度を求め、
   前記第１の装飾経過時間から前記第１のテキストサンプルの分割時間まで、前記装飾表示速度で前記第１のテキストサンプルを再生・表示し、
   前記第２の装飾経過時間から前記装飾表示速度で前記第２のテキストサンプルを再生・表示する、
   ことを特徴とするテキスト編集・再生方法。

Images