JP5110715B2 - 字幕を組むための方法および装置 - Google Patents

Description

本発明は、例えば、いわゆるブルーレイディスクのような事前記録フォーマットにおけるＨＤＴＶ字幕に対して使用しうるオーディオ／ビデオプレゼンテーションのための字幕を組むための方法及び装置に関する。

オーディオ・ビジュアル（ＡＶ）素材の字幕付け技術は、最初のセルロイド映画に始まってさらに最近現れたディジタルメディアにまで使用されている。字幕付けの主目的は障害者や少数民族言語集団をサポートすることである。したがって、字幕付けはしばしばピクセルマップのようなグラフィックデータとしてエンコードされている場合でさえテキスト情報の提示を目的としている。したがって、放送用に事前に制作されたＡＶ素材（クローズド・キャプション、テレテキスト、ＤＶＢ字幕など）及び映画ディスク（ＤＶＤサブピクチャ）は主に単純な静的テキスト情報を表す字幕に最適化されている。しかしながら、テキスト情報の提示とアニメーションのためのＰＣソフトウェア開発における進歩によって、事前記録及び放送に使用されるディジタル字幕付け技術における可能性と機能とに対する需要が相応して生じている。何ら特別な対策なしに直接的なアプローチを用いると、字幕付けに対するこの需要の増大によって、限られた帯域全体のあまりに大きな部分が消費されてしまう。カラオケから本物のアニメーションまでを含む「フル機能搭載」の字幕への相反する要求は、一方では符号化効率であり、他方では字幕著作者のための完全管理である。

ＡＶ素材に別個の字幕付け情報をディジタル式に付与する今日の技術状況では、２つの主要な手法が存在している：字幕付けはピクセルデータ又は文字データのいずれかに基づいて行うことができる。双方のケースとも、字幕付けスキームは、例えばＡＶ時間軸に沿った字幕付け要素の同期化を処理する全般的なフレームワークを含んでいる。

文字データに基づいた字幕付け：
文字ベースの字幕付け手法では、例えば、ヨーロッパのアナログ又はディジタルＴＶのテレテキストシステムＥＴＳ ３００ ７０６では、ストリングは本質的に非常に多様な効率的な符号化を可能にする文字コード、例えばＡＳＣＩＩ又はＵＮＩＣＯＤＥのシーケンスで記述される。しかし、文字ストリングからだけでは、字幕ビデオにオーバーレイすべきグラフィック表示に字幕を変換することはできない。このためには、目的の文字セット、フォント、及び、いくつかのフォントパラメータ、とりわけフォントサイズを、字幕ビットストリーム内で明示的に符号化するか、又は適切に定義された字幕付けのコンテキストにおいてこれらに関する暗黙の仮定をしなければならない。また、この手法でのいずれの字幕付けも、使用中の特定のフォントの文字及びシンボルで表現しうるものに限定されている。「文字オブジェクト」モードにおけるＤＶＢ字幕付け規格ＥＴＳ ３００ ７４３は、文字ベースの字幕付けの別の従来技術の一例である。

ピクセルデータに基づいた字幕付け：
ピクセルベースの字幕付け手法では、字幕付けフレームは、直接ＡＶスクリーン上のピクセル値の（一般には矩形の）領域として記述されたグラフィック表示の形式で搬送される。ビデオに重ね合わされる字幕付け面において何かを可視にする場合には、そのピクセル値を符号化し、適切な同期化情報とともに字幕付けビットストリームに供給しなければならない。したがって、フル機能搭載の字幕アニメーションの場合には、変化したすべてのピクセルをトランスポートしなければならない。明らかに、フル機能搭載のテレテキストアニメーションに固有のいずれかの制限を取り除く場合には、ピクセルベースの手法は字幕付けデータのための帯域が著しく増大するという不利益を有している。ピクセルベースの字幕付けスキームの例は、ＥＴＳ ３００ ７４３において規格化されているＤＶＢ字幕付けの「ピクセルオブジェクト」構想と同様に、ＤＶＤのサブピクチャ構想「再生専用ディスク向けのＤＶＤ規格」、第３部：ビデオにも見られる。

本発明の要点は、アニメーション性能を改善する拡張されたシンタックス及びセマンティクスの要素を含んだ字幕付けフォーマットである。開示される要素は使用可能な字幕ビットレートを圧迫することなく字幕の性能を改善する。これは、放送することのできる又は例えばブルーレイディスクなどの大容量光学媒体に焼き付けることのできる事前記録フォーマットでハイエンドＨＤＴＶ字幕のコンテンツを制作する場合に不可欠となる。本発明は、字幕をアニメーション化するためにコンテンツ制作の開発可能性を改善する能力を含んでいる。

表示するグラフィックスの一部に対する色変更を記述するシンタックス及びセマンティクスの要素が開示によって導入される。これは、例えばカラオケのような用途におけるハイライト効果に使用することができ、ピクセルデータの反復転送を回避する。

シンタックス及びセマンティクスの他の開示要素は、字幕の一部を表示前にクロッピングする能力を向上させる。表示するオブジェクトに関するクロッピングパラメータを後で転送する技術を用いることによって、ビットを節約した字幕アニメーションが得られる。このようなクロッピングパラメータは、例えば、ワイピングボックス、ブラインド、スクロール、ワイプ、チェッカーボックスなどによってテキストの変更を生じさせるために使用することができる。

さらに、開示要素はテキスト及びグラフィック情報に関する対話機能の提供に使用することができる。特に、字幕の位置決め及び／又は色設定をユーザのリクエストに基づいて操作することができる。

本発明の実施例を添付した図面及び表を参照して説明する。
拡張ＰＣＳ及びＲＣＳのためのｓｅｇｍｅｎｔ＿ｔｙｐｅ値を示す。 拡張ページ構成セグメントを示す。 拡張領域構成セグメントを示す。 字幕領域とページ内でのその位置の定義の例を示す。 領域ｓｕｂ−ＣＬＵＴの定義と領域クロッピングの例を示す。 結果として生じるディスプレイの例を示す。 字幕のインタラクティブな使用を示す。 ビデオ及びグラフィックス面を示す。 ビデオ及びグラフィックスのミキシング及びスイッチングを示す。

実施例
本発明は好適にはＤＶＢ字幕規格（ＤＶＢ−ＳＴ）のシンタックス及びセマンティクスに基づいて実施される。グラフィック字幕要素の操作性能を改善するため、ＤＶＢ−ＳＴのページ構成セグメント（ＰＣＳ）及び領域構成セグメント（ＲＣＳ）のセマンティクスが拡張される。

ＤＶＢ−ＳＴはディスプレイスクリーン上の１つ又は複数の矩形領域の位置を記述するためにページ構成セグメント（ＰＣＳ）を使用する。領域構成セグメント（ＲＣＳ）はこのような矩形エリアのサイズを定め、中で使用されているカラールックアップテーブル（ＣＬＵＴ）を識別するために使用される。

提案する発明は、ＤＶＢ−ＳＴによるセグメントタイプ値と拡張ＰＣＳ及び拡張ＲＣＳに対する付加的な値とを示す図１に列挙されているように、拡張ＰＣＳ要素と拡張ＲＣＳ要素とでは異なるｓｅｇｍｅｎｔ＿ｔｙｐｅを用いて後方互換性を維持する。代わりに、他の値を選択することも可能である。後方互換性を保つ別の手法は、既存のｓｅｇｍｅｎｔ＿ｔｙｐｅを維持し、例えばＰＥＳ＿ｄａｔａ＿ｆｉｅｌｄ構造内のｓｕｂｔｉｔｌｅ＿ｓｔｒｅａｍ＿ｉｄをインクリメントすることにより規格のｖｅｒｓｉｏｎ＿ｎｕｍｂｅｒを上げることである。

図２は、ｒｅｇｉｏｎ＿ｃｒｏｐｐｉｎｇセクションとｒｅｇｉｏｎ＿ｓｕｂ＿ＣＬＵＴセクションとを含んだ拡張ページ構成セグメント（ＰＣＳ）のデータ構造を示している。図３は、サブカラールックアップテーブルの識別子ｓｕｂ＿ＣＬＵＴ＿ｉｄを含んだ拡張領域構成セグメント（ＲＣＳ）のデータ構造を示している。オリジナルのＤＶＢ−ＳＴに関しては、すべての構成が拡張されている。テーブル内で、追加エントリは図２では行１５−２８であり、図３では行１６である。

図２に示されている拡張ＰＣＳは、列挙されたすべての領域について、領域クロッピングに関するオプショナルな情報とｒｅｇｉｏｎ＿ｓｕｂ＿ＣＬＵＴに関するオプショナルな情報とを持っている。ｒｅｇｉｏｎ＿ｃｒｏｐｐｉｎｇとｒｅｇｉｏｎ＿ｓｕｂ＿ＣＬＵＴの２つの値は、プロセス中の現在領域についてこのようなオプショナルな情報が利用できるか否かを示す。したがって、クロッピングとｓｕｂ−ＣＬＵＴはすべての領域の各々について別個に定義されうる。”ｉｆ ｒｅｇｉｏｎ＿ｃｒｏｐｐｉｎｇ＝＝０ｘ０１”により示されているように、ｒｅｇｉｏｎ＿ｃｒｏｐｐｉｎｇがフラグとして使用される一方で、ｒｅｇｉｏｎ＿ｓｕｂ＿ＣＬＵＴは記述されているｓｕｂ−ＣＬＵＴ位置がいくつあるかを表す値を示す。これはストリーム内で異なる選択肢を提供するために行われる。択一的なｓｕｂ−ＣＬＵＴ位置は、ディスプレイスクリーンに対して異なるメニューボタン位置を定めるために使用することができる。それらのうちの１つだけ−第１のものはデフォルト−がアクティブであり、ユーザは、予め決められた種々の位置を巡回するために、例えばリモコンを押して位置を変更することができる。

図３に示されている拡張ＲＣＳは、この領域に適用されるＣＬＵＴの族（ｆａｍｉｌｙ）を識別するｓｕｂ＿ＣＬＵＴ＿ｉｄを持っている。これは異なる領域及び異なる領域のｓｕｂ−ＣＬＵＴに対してＣＬＵＴを再利用するために行われる。拡張ＰＣＳ要素と拡張ＲＣＳ要素は、符号化方法とは無関係に、すなわち、文字データとして符号化されるのか又はピクセルデータとして符号化されるのかとは無関係に字幕を操作することのできる能力を提供する。

拡張ＰＣＳ及びＲＣＳは字幕に対して多くの異なるアニメーション効果を行うために使用することができる。これらはワイピングボックス、ブラインド、スクロール、ワイプ、チェッカーボックスなどである。以下の図はカラオケ用途の例を示している。図４はカラオケ用に表示された歌詞を含む領域Ｒの定義を示している。字幕の文字はピクセルデータとして又は文字データとして符号化しうる。ｒｅｇｉｏｎ＿ｖｅｒｔｉｃａｌ＿ａｄｄｒｅｓｓ ＲＶＡとｒｅｇｉｏｎ＿ｈｏｒｉｚｏｎｔａｌ＿ａｄｄｒｅｓｓ
ＲＨＡは、フレーム又はページＰＧ内に表示する字幕の位置を定める。

図５の上部は領域クロッピングを示しており、下部は領域ｓｕｂ−ＣＬＵＴの位置を示している。領域クロッピングは領域のどの部分が有効に表示されるかを定める。これは開始座標と表示する断片のサイズとを示す４つのパラメータＲＨＣ，ＲＶＣ，ＲＣＨ，ＲＣＷにより行われる。ｒｅｇｉｏｎ＿ｈｏｒｉｚｏｎｔａｌ＿ｃｒｏｐｐｉｎｇ ＲＨＣはこのクロッピングの左上ピクセルの水平アドレスを指定し、ｒｅｇｉｏｎ＿ｖｅｒｔｉｃａｌ＿ｃｒｏｐｐｉｎｇ ＲＶＣはこのクロッピングのトップラインの垂直アドレスを指定し、ｒｅｇｉｏｎ＿ｃｒｏｐｐｉｎｇ＿ｗｉｄｔｈ ＲＣＷはこのクロッピングの水平方向の長さを指定し、ｒｅｇｉｏｎ＿ｃｒｏｐｐｉｎｇ＿ｈｅｉｇｈｔ ＲＣＨはこのクロッピングの垂直方向の長さを指定する。ここで、クロッピングとは、ディスプレイ上で可視である字幕部分を意味する。

図５の下部に示された領域ｓｕｂ−ＣＬＵＴの位置は、領域ＣＬＵＴとは異なるカラールックアップテーブル（ＣＬＵＴ）を用いて領域のどの部分が表示されるべきかを定める。これは、開始座標とｓｕｂ−ＣＬＵＴにより使用される部分領域の大きさとを示す４つのパラメータＳＣＨＡ，ＳＣＶＡ，ＳＣＨ，ＳＣＷにより行われる。すべての座標パラメータはｓｕｂ−ＣＬＵＴが属する領域に関するものとして理解されなければならない。ｓｕｂ−ＣＬＵＴ＿ｈｏｒｉｚｏｎｔａｌ＿ａｄｄｒｅｓｓ ＳＣＨＡはこのｓｕｂ−ＣＬＵＴの左上ピクセルの水平アドレスを指定し、ｓｕｂ−ＣＬＵＴ＿ｖｅｒｔｉｃａｌ＿ａｄｄｒｅｓｓ ＳＣＶＡはこのｓｕｂ−ＣＬＵＴのトップラインの垂直アドレスを指定し、ｓｕｂ−ＣＬＵＴ＿ｗｉｄｔｈ ＳＣＷはこのｓｕｂ−ＣＬＵＴの水平方向の長さを指定し、ｓｕｂ−ＣＬＵＴ＿ｈｅｉｇｈｔ ＳＣＨはこのｓｕｂ−ＣＬＵＴの垂直方向の長さを指定する。

今までの図で定義されたすべてのパラメータをまとめると、図６に示されているような字幕が表示される。字幕の全体がディスプレイに表示されるのではなく、字幕のクロッピングされた部分だけが表示される。さらに、ハイライトＨＴを提供するためにｓｕｂ−ＣＬＵＴが使用されており、それによりユーザは今何を歌えばいいのかを知ることができる。

拡張ＰＣＳは、プレゼンテーション・タイム・スタンプ（ＰＴＳ）によりラベル付けされたＭＰＥＧパケットエレメンタリストリーム（ＰＥＳ）パケット内で送られるので、いずれの効果もＡＶに同期させることができる。

本発明の別のアイデアはユーザによる字幕アニメーションパラメータの取り替えである。これはインタラクティブな字幕を実現する１つの方法を提供する。拡張ＰＣＳパラメータはデフォルトとして転送され、ユーザは例えばリモコンを介してこれらを変更するものとする。したがって、ユーザは字幕を動かす、クロッピングする、又は強調表示することができる。

これは字幕テキストのユーザ定義による位置替えにとって有利であり、その結果ユーザは動画ビデオのトップに字幕テキストが配置されることによる不快感を主体的に最小化することができる。また、字幕の色はユーザの好みに応じて設定してもよい。図７はインタラクティブな字幕の変更のためのブロック図を示している。ディスクＤから読み取ったデフォルトパラメータＤＤは取り替えデータＳＤによって取り替えられる。この取り替えデータＳＤは、ユーザアクションＵＡに応じて生成され、プロセッサＰにより処理されるものである。

位置、クロッピング矩形、ＣＬＵＴ、及びｓｕｂ−ＣＬＵＴのような字幕アニメーションパラメータのオーバーライドの別用途は、非常に基本的な種類のインタラクティブゲームの実現である。字幕はアニメーション化された文字のピクセルデータを担うものとする。この文字はつづいてディスプレイスクリーン上でユーザインタラクション、プログラムコントロール、又はその両方によって動かされる。

字幕アニメーションパラメータのオーバーライドは少なくとも２つのやり方で実施することができる。第１のオプションは、オーバーライドパラメータＳＤがビットストリームで送られるパラメータＤＤに取って代わるというものである。第２のオプションは、オーバーライドパラメータＳＤがビットストリームで送られる字幕アニメーションパラメータＤＤに加えられる又はこのパラメータＤＤから差し引かれるオフセットとして使用されるというものである。拡張ＰＣＳ及びＲＣＳはここでは説明しないさらに多くのアニメーション能力を提供する。以下はその例の非網羅的なリストである：各個には、ワイピングボックス、ブラインド、スクロール、ワイプ、チェッカーボックス。

例示的なビデオ及びグラフィックス面が図８に例示的、概略的に示されている。背景はＭＰＥＧ−２ビデオレイヤーＭＶＬ又は静止画レイヤーＳＰＬのいずれかによって提供される。これらは相互に排他的である。このことは、これらの両方を一度にバッファに保持しなくてもよいということを意味している。次の２つのレイヤーは字幕レイヤーＳＬとＡＶ ｓｙｎｃタイプのグラフィックスレイヤーＡＶＳＧＬとを備えている。これら２つのレイヤーはこの例では交換可能である。このことは、字幕レイヤーＳＬ又はＡＶ ｓｙｎｃタイプのグラフィックスレイヤーＡＶＳＧＬのいずれかが他方に対して優先権を有していることを意味している。フロントレイヤーは非ＡＶ ｓｙｎｃグラフィックスレイヤーＮＡＶＳＧＬであり、例えばメニューや他のオンスクリーンディスプレイのようなＡＶコンテンツと同期させる必要のないグラフィックスを含んでいる。本発明の方法は好適には字幕レイヤーＳＬ、ＡＶ ｓｙｎｃグラフィックスレイヤーＡＶＳＧＬ及び／又は非ＡＶ ｓｙｎｃグラフィックスレイヤーＮＡＶＳＧＬに対して使用することができる。

図９は、ビデオ及びグラフィックスのミキシング及びスイッチングのための装置の該当するコンポーネントを示している。静止画データ又はＭＰＥＧ−２ビデオデータのいずれかを含むデータ、字幕用の別のデータ、アニメーション用のデータ、及びメニューボタンのような非ＡＶ ｓｙｎｃグラフィックス用のデータは、ディスクＤから取り出される。付加的に又は択一的に、字幕、アニメーション、及び／又は非ＡＶ ｓｙｎｃグラフィックス用のデータをネットワークＮＷ、例えばインターネットから取り出すようにしてもよい。処理ユニットＣＰＵは非ＡＶ ｓｙｎｃグラフィックスデータを処理し、その結果のデータを非ＡＶ ｓｙｎｃグラフィックス用のレンダリング装置ＲＮＡＶＧに送信する。

装置は静止画デコーダＳＰＤｅｃとＭＰＥＧ−２ビデオデコーダＭＶＤｅｃを有しているが、これらのうちの一方しか一度には使用できないため、どのデータをさらなる処理に使用するかをスイッチｓ１が選択するものとする。さらに、字幕及びアニメーションデータをデコードするために、同一の２つのデコーダＡＶＳＧＤｅｃ１，ＡＶＳＧＤｅｃ２が使用される。これら２つのデコーダＡＶＳＧＤｅｃ１，ＡＶＳＧＤｅｃ２の出力は、独立したスイッチｓ２，ｓ３によってミキサＭＸへ切り替えられるか、又は事前処理のためにミキサ／スケーラＭＸＳへ切り替えることができる。ミキサ／スケーラＭＸＳは結果データを前記ミキサＭＸに出力する。これら２つのユニットＭＸ、ＭＸＳはそれらの種々の入力データの重ね合わせを実行するために使用され、そのようにしてレイヤーの表示順序を制御する。ミキサＭＸはフロントレイヤーｆ２、ミドルフロントレイヤーｍｆ、ミドルバックレイヤーｍｂ、及び背景レイヤーｂ２のための入力を有している。フロントレイヤーｆ２は、対応するスイッチｓ３が第２のＡＶ ｓｙｎｃグラフィックスデコーダＡＶＳＧＤｅｃ２をミキサ／スケーラＭＸＳに接続する位置にある場合には、使用されないものとする。このユニットＭＸＳはフロントレイヤーｆ１、ミドルレイヤーｍ、及び背景レイヤーｂのための入力を有している。このユニットはこれらのデータを相応して重ね合わせ、その結果の画像データをミキサＭＸの背景入力ｂ２に送信する。したがって、これらのデータは、例えば、画像の３つまでのレイヤーと字幕とを備えるフレームを表す。これらのレイヤーと字幕はスケーリングされ、最終的な画像の中でともに移動させることができる。ミキサ／スケーラＭＸＳの背景入力ｂ１は上記のスイッチｓ１に接続されているため、背景は静止画又はＭＰＥＧ−２ビデオから生成することができる。

第１のＡＶ ｓｙｎｃグラフィックスデコーダＡＶＳＧＤｅｃ１の出力は第２のスイッチｓ２に接続されており、この第２のスイッチｓ２は第１のＡＶ ｓｙｎｃグラフィックスデコーダＡＶＳＧＤｅｃ１の出力をミキサ／スケーラＭＸＳのミドルレイヤー入力ｍへ又はミキサＭＸのミドルバックレイヤー入力ｍｂへ切り替えるものとする。第２のＡＶ ｓｙｎｃグラフィックスデコーダＡＶＳＧＤｅｃ２の出力は第３のスイッチｓ３に接続されており、この第３のスイッチｓ３は第２のＡＶ ｓｙｎｃグラフィックスデコーダＡＶＳＧＤｅｃ２の出力をミキサ／スケーラＭＸＳのフロントレイヤー入力ｆ１へ又はミキサＭＸのフロントレイヤー入力ｆ２へ切り替えるものとする。

第２及び第３のスイッチｓ２，ｓ３の位置に応じて、第１又は第２のＡＶ ｓｙｎｃグラフィックスデコーダＡＶＳＧＤｅｃ１，ＡＶＳＧＤｅｃ２のいずれかの出力は、上で説明したように、他方に対して優先権を持つものとする。第１のデコーダＡＶＳＧＤｅｃ１からのデータを前景にするためには、第２のスイッチｓ２が字幕データをミキサＭＸのミドルバック入力ｍｂにルーティングし、その一方で、第３のスイッチｓ３がアニメーショングラフィックスデータをミキサ／スケーラＭＸＳのフロント入力ｆ１にルーティングすることにより、アニメーショングラフィックスデータがミキサＭＸの背景入力ｂ２に終着するようにする。そうではなく、第２のデコーダＡＶＳＧＤｅｃ２からのデータを前景にするためには、図９に示されているように、スイッチｓ２，ｓ３がそれらの出力を同じユニット、すなわち、ミキサ／スケーラＭＸＳ又はミキサＭＸのいずれかにルーティングするようにする。

Claims (1)

1. ビデオ再生装置によって再生可能な、ビデオ及び字幕の情報を含んだデータストリームが記録された記憶媒体であって、
   前記記録されたデータストリームは、字幕レイヤーデータを含み、
   前記字幕レイヤーデータは、グラフィックの字幕要素と、クロッピングフラグおよびクロッピングする領域を指定する字幕レイヤーのピクセルのアドレスを有するクロッピング情報と、を含み、
   前記クロッピングフラグの値により、ビデオ再生装置は、前記字幕要素のクロッピング部分が表示されるか否かを決定し、前記クロッピング情報により、ビデオ再生装置は、前記字幕要素の部分を特定してクロッピングし、当該クロッピングされる字幕要素の部分だけを表示する、前記記憶媒体。

Images