JP5553945B2 - ビットストリームサブセットの指示 - Google Patents

Description

本発明は、圧縮ビデオビットストリーム内のビットストリームサブセットを示す方法及び装置、並びに圧縮ビデオビットストリームからビデオパケットを抽出する方法及び装置に関する。更に本発明は、コンピュータプログラム及びコンピュータプログラム製品に関する。

ＭＰＥＧ−４／高度ビデオ符号化（ＡＶＣ）としても既知であるＨ．２６４は、最新のビデオ符号化規格である。これは、各ビデオフレーム内の冗長及びフレーム間の冗長の双方の除去を利用する複合コーデックである。符号化処理の出力はビデオ符号化レイヤ（ＶＣＬ）データであり、これは送信又は格納前にネットワーク抽象化レイヤ（ＮＡＬ）ユニットに更にカプセル化される。ビデオデータ以外にＮＡＬユニットで搬送可能な他のデータは、ビデオの解像度又は必要な復号器の性能等のＶＣＬデータの復号化に必須のデータを搬送するシーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）等のパラメータセット、あるいは復号器又はネットワーク要素にとって有用であるがＶＣＬデータの復号化に必須ではない情報を搬送する補足拡張情報（ＳＥＩ）を含む。

ＮＡＬは、広範な種類のシステムがリアルタイム転送プロトコル（ＲＴＰ）又はハイパーテキスト転送プロトコル（ＨＴＴＰ）を介する送信、あるいはＩＳＯファイル形式での格納等のビデオデータの転送及び格納のために単純で効果的に且つ柔軟にＶＣＬを使用できるようにするために設計されている。ＮＡＬユニットの概念は、圧縮ビットストリームを論理ユニットに分割することにより、ネットワーク、すなわち送信及び格納システムがビットストリームにアクセスし、それらをグループ化して操作する手段を提供すると考えられる。例えば１つの圧縮ピクチャに対応するユニットは、符号化ピクチャが圧縮ビデオの復号化を開始するためのランダムアクセスポイントとして使用可能であるかをネットワークに示す高度な情報で補足される。

ＮＡＬは、Ｈ．２６４／ＡＶＣビデオの最小サイズの機能ユニットである。ＮＡＬユニットは、ＮＡＬユニットヘッダ及びＮＡＬユニットペイロードに細分化可能である。ＮＡＬユニットヘッダは、圧縮ビットストリームを管理するためにネットワークにより使用される識別子セットから構成される。例えば帯域幅が制限される場合にビデオの送信ビットレートを減少するために、ビデオデータの破棄による品質の劣化を最小限にするように、ＮＡＬユニットヘッダにおいて搬送される情報に基づいていくつかのＮＡＬユニットが破棄される。この処理を「ビットストリームの間引き」と呼ぶ。

従来のビデオサービスは単一の表現で、すなわち固定されたカメラ位置及び空間解像度を使用してビデオを提供するが、最近、多重解像度及び多視点のビデオ表現が重要度を帯びている。多重解像度表現は、異なる表示解像度を有する対象の装置で使用されるように、複数の異なる空間解像度のビデオを表現する。多視点表現は異なるカメラ視点からのコンテンツを表現する。特定の例は立体ビデオであり、シーンは人間の目と同様の距離を有する２つのカメラにより取り込まれる。適切な表示技術を使用して、奥行きの知覚が閲覧者に提供される。

多くの場合、多重解像度表現及び多視点ビデオ表現は階層表現レイヤと呼ばれる。この場合、基本レイヤはビデオの基本品質を表現し、後続の拡張レイヤはより高い品質に向けて表現を修正する。

スケーラブルビデオ符号化（ＳＶＣ）及び多視点ビデオ符号化（ＭＶＣ）はそれぞれ、多重解像度ビデオ表現及び多視点ビデオ表現を圧縮するために使用されるビデオ符号化規格であり、異なるレイヤ間の冗長情報を除去することにより高い圧縮効率が達成される。ＳＶＣ及びＭＶＣはＡＶＣ規格に基づき、ＡＶＣの新版の付録Ｇ及びＨとして含まれる。そのため、これらはＡＶＣ構造の大部分を共有する。

ＳＶＣ及びＭＶＣのビットストリームに固有の階層依存性のため、ＮＡＬユニットヘッダ内に復号化依存性及びビュー識別子等の追加情報フィールドが必要とされる。しかし、既存のＡＶＣの実現例との互換性を維持するために、基本的なＡＶＣのＮＡＬユニットヘッダは変更されなかった。その代わりに、ＮＡＬユニットの２つの新しいタイプ、すなわちプレフィックスＮＡＬユニット（タイプ１４）及び符号化スライス拡張ＮＡＬユニット（タイプ２０）を導入することにより、依存性及びビュー識別子等の追加情報が組み込まれた。これらは、ＡＶＣにおいて「不使用」と定義されるため、仕様の付録Ｇ又はＨをサポートしないＡＶＣ復号器により無視される。

プレフィックスＮＡＬユニットは、ビットストリームにおいてプレフィックスＮＡＬユニットの直後に位置することになっているＶＣＬ ＡＶＣ ＮＡＬユニットと関連付けられ、基本レイヤに関する追加情報を伝達する。ＡＶＣ復号器は、プレフィックスＮＡＬユニットを無視することにより基本レイヤを復号化できる。

符号化スライス拡張ＮＡＬユニットは、ＳＶＣ又はＭＶＣの拡張レイヤでのみ使用される。これは、基本レイヤ又は他の拡張レイヤに関する拡張情報を表す。プレフィックスＮＡＬユニットと同様に依存性及びビュー識別子を伝達する他に、符号化スライス拡張ＮＡＬユニットはＳＶＣ又はＭＶＣのＮＡＬユニットヘッダ及び対応するＶＣＬデータの双方から構成される。従って、これはプレフィックスＮＡＬユニットとＶＣＬ ＡＶＣ ＮＡＬユニットとの組み合わせである。ＳＶＣ及びＭＶＣの拡張レイヤのＮＡＬユニットは、ＡＶＣ復号器により無視される。

ＡＶＣのＳＶＣ及びＭＶＣへの拡張は同様の方法で定義される。それらの使用は相互に排他的であり、すなわち規格において定義される構文及び意味は部分的に矛盾し、ＳＶＣの要素とＭＶＣの要素とを同時に使用できない。ＳＶＣの特徴とＭＶＣの特徴とを組み合わせるには規格を変更する必要があり、特にＮＡＬユニットヘッダの定義を変更する必要がある。

ＨＥＶＣは、現在標準化が進められている次世代ビデオ符号化規格である。ＨＥＶＣは、ＡＶＣと比較して、特に高解像度ビデオシーケンスに対して符号化を実質的に向上することを目的とする。

高度な構文の設計に関して、最も単純な方法はＡＶＣの高度な構文の概念を採用することであり、特にＡＶＣのＮＡＬユニットの概念を採用することである。しかし、これは以下の問題を生じる。

最新の技術によると、ＳＶＣ及びＭＶＣは下位互換性を有するようにＡＶＣから構築される。新規のＮＡＬユニットのタイプ２０は、どんな拡張レイヤにも使用できるヘッダの拡張を用いて設計される。従来のＡＶＣ復号器の問題を解決するために、従来のＮＡＬユニット（タイプ１、タイプ５及び他のタイプ）は維持され、プレフィックスＮＡＬユニットを関連付ける方法が通常のＡＶＣのＶＣＬ ＮＡＬユニット（タイプ１及びタイプ５）の各々に対して使用される。この手法は原則的にＨＥＶＣ及びそれ以降の拡張に対して使用されてもよいが、関連する以下の問題を有する。
−新規の特徴又は機能性を導入するには、例えば符号化スライス拡張ＮＡＬユニットである新規のＮＡＬユニットのタイプの定義が必要である。これは、ＮＡＬユニットのタイプの最大数が通常は例えばＮＡＬユニットのタイプフィールドの定義された長さにより制限されるため、望ましくない。
−従来の復号器を考慮するために、基本レイヤはプレフィックスＮＡＬユニットと共に従来のＮＡＬユニットのタイプを用いて作成される必要があり、その結果、第２の新規のＮＡＬユニットのタイプが設計される必要がある。従って、ＮＡＬユニットのタイプ数が更に増加する。
−基本レイヤ及び拡張レイヤの信号伝送は一様でなく、レイヤ毎にネットワークを介する特別な処理が必要である。そのため、実現例が複雑になる。プレフィックスＮＡＬユニットの使用は不自然であり、必要なヘッダ情報と対応するＶＣＬデータとの間に弱いリンクしか提供しない。このリンクは、例えばＮＡＬユニットのうちの１つが送信中に紛失した場合に容易に切れる可能性がある。
−今後拡張する場合、プレフィックスＮＡＬユニットのネスティングが複雑である。
−追加のＮＡＬユニットヘッダを介して高度なインタフェースを拡張することにより、ＮＡＬユニットヘッダにおいて伝達される情報に基づいてＮＡＬユニットを処理すると考えられるネットワーク機能性は、ＮＡＬユニットヘッダが拡張される度に更新される必要がある。

最新のＡＶＣの概念に関連する更なる問題は、階層表現に関する。現在、ＳＶＣ及びＭＶＣにおいて、ｖｉｅｗ＿ｉｄ、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ及びｑｕａｌｉｔｙ＿ｉｄ等のレイヤのプロパティに関する全てのフラグは知的な選択又は分類を行わずに単純にＮＡＬユニットヘッダに入れられる。例えばビットストリームを受信中のクライアントがビットストリームを間引くか又は操作したい場合、クライアントはフラグの定義に関する詳細な知識を有する必要がある。基本的に、クライアントは各フラグの意味及びそれらの相互関係性を完全に理解する必要がある。例えば１つのビューが多視点ビットストリームから抽出される必要のある場合、そのビューが依存するビューが含まれない場合に誤った動作が行われやすい。あるいは、クライアントがｖｉｅｗ＿ｉｄフラグのみを考慮する場合、低品質バージョンが選択される。ＳＥＩ要素が何らかの補助を行う場合でも、階層ビットストリームから特定のビデオ表現を抽出するために必要な全ての情報をネットワークが見つけ且つ理解するのは非常に困難である。

更に、３Ｄを範囲に含むアプリケーション及び規格の増加に伴い、奥行きマップ及びオクルージョンマップ等の新規のデータ要素がテクスチャと共に送信され、受信側における出力ビューの更に柔軟なレンダリングが可能になる。そのような要素は（多視点又はスケーラブル）「テクスチャ」ビデオと共に階層表現を形成するため、全てを同一のビットストリームで送信するのが望ましい。あるいは、異なるデータ要素のそのようなバンドリングは、転送プロトコル又はファイル形式等の高いシステムレベルでの信号伝送を介して達成されてもよい。しかし、そのような高度なプロトコルのソフトウェア及びハードウェアでの実現例はビデオの伸張の実現例と切り離されることが多く、そのため、ビットストリームレベルでサポートされない場合、テクスチャと奥行きとの同期等の異なるデータ要素の正確な時間同期は非常に複雑である。尚、異なるビデオ要素はフレームを位置合わせされる必要があるため、テクスチャ及び奥行き等の異なるビデオデータ要素の同期は、ビデオとオーディオとの同期よりはるかに緊密である必要がある。更に、テクスチャ及び奥行き等のビデオ要素は、例えばそれらの間の動き情報（「動きベクトル」）を再使用することにより一緒に圧縮されてもよく、それにはビットストリームレベルでの緊密な結合が必要である。

ＨＥＶＣの開発の当初の対象はビデオのみである。しかし、今後、スケーラブル符号化及び／又は多視点符号化に拡張される可能性がある。また、ＡＶＣにおけるＮＡＬユニットの概念と同様のパケット化の概念が使用される可能性がある。従って、以下において、提示される方法は主にＨＥＶＣ等の将来のビデオ符号化規格に適用可能であるが、用語「ＮＡＬユニット」はＡＶＣにおいて定義されるのと同じ意味で使用される。また、ＳＰＳ、ＰＰＳ及びＳＥＩ等の他のＡＶＣの概念がＨＥＶＣにおいて使用されることが予期されるため、ＨＥＶＣ又は他の何らかの将来のビデオ符号化規格において異なる名称で呼ばれる可能性があるが、以下においてＡＶＣ用語を使用する。

本発明の目的は、上記の技術及び従来技術の向上された技術を提供することである。

更に詳細には、本発明の目的は、階層ビデオ表現を容易にする将来のビデオ符号化規格に対する向上された汎用構文を提供することである。

本発明の上記の目的及び他の目的は、独立請求項により定義される本発明の種々態様により達成される。本発明の実施形態は、従属請求項により特徴付けられる。

本発明を説明するために、ビデオ信号は圧縮ビデオビットストリームに符号化され、例えばローカルエリアネットワーク、移動電話ネットワーク又はインターネットであるネットワークを介して送信され、例えばテレビ、コンピュータ、ビデオプレーヤ又は移動電話であるクライアントにおいて復号化されると仮定する。ネットワークは、ルータ及びスイッチ等の複数のネットワーク要素を含んでもよい。

本発明の第１の態様によると、圧縮ビデオビットストリーム内のビットストリームサブセットを示す方法が提供される。圧縮ビデオビットストリームは、複数のビットストリームサブセット、すなわち少なくとも２つのビットストリームサブセットを含む。方法は、圧縮ビデオビットストリームを受信することと、ビデオビットストリームをビデオパケットに分割することと、複数のサブセット識別子のうちの一つのサブセット識別子で各ビデオパケットにマークを付けることとを備える。各ビデオパケットは、ビデオデータ又は補足情報のいずれか一方を含む。複数のサブセット識別子の各サブセット識別子は、複数のビットストリームサブセットのうちの対応するビットストリームサブセットと関連付けられる。

本発明の第２の態様によると、コンピュータプログラムが提供される。コンピュータプログラムは、コンピュータプログラムコードを備える。コンピュータプログラムコードは、本発明の第１の態様に係る方法を実現するために実行されるように構成される。

本発明の第３の態様によると、コンピュータプログラム製品が提供される。コンピュータプログラム製品は、コンピュータ可読媒体を備える。コンピュータ可読媒体において、本発明の第２の態様に係るコンピュータプログラムが実現されている。

本発明の第４の態様によると、圧縮ビデオビットストリームからビデオパケットを抽出する方法が提供される。圧縮ビデオビットストリームはビデオパケットに分割される。圧縮ビデオビットストリームは、複数のビットストリームサブセットを含む。各ビデオパケットは、ビデオデータ又は補足情報のいずれか一方を含む。各ビデオパケットは、複数のサブセット識別子のうちの一つのサブセット識別子を更に含む。各サブセット識別子は、複数のビットストリームサブセットのうちの対応するビットストリームサブセットと関連付けられる。方法は、少なくとも１つの関係のあるサブセット識別子を提供することと、圧縮ビデオビットストリームからビデオパケットを受信することとを備える。方法は、受信したビデオパケット毎に、ビデオパケットのサブセット識別子を検査することと、圧縮ビデオビットストリームからビデオパケットを抽出することとを更に備える。ビデオパケットは、抽出されたサブセット識別子が少なくとも１つの関係のあるサブセット識別子のうちの１つと一致するという条件で、圧縮ビデオビットストリームから抽出される。

本発明の第５の態様によると、別のコンピュータプログラムが提供される。コンピュータプログラムは、コンピュータプログラムコードを備える。コンピュータプログラムコードは、本発明の第４の態様に係る方法を実現するために実行されるように構成される。

本発明の第６の態様によると、コンピュータプログラム製品が提供される。コンピュータプログラム製品はコンピュータ可読媒体を備える。コンピュータ可読媒体において、本発明の第５の態様に係るコンピュータプログラムが実現されている。

本発明の第７の態様によると、圧縮ビデオビットストリーム内のビットストリームサブセットを示すビットストリームマーカが提供される。圧縮ビデオビットストリームは、複数のビットストリームサブセットを含む。ビットストリームマーカは、受信ユニットと、パケット化ユニットと、マーク付けユニットとを備える。受信ユニットは圧縮ビデオビットストリームを受信するように構成される。パケット化ユニットは、圧縮ビデオビットストリームをビデオパケットに分割するように構成される。各ビデオパケットはビデオデータ又は補足情報のいずれか一方を含む。マーク付けユニットは、複数のサブセット識別子のうちの一つのサブセット識別子で各ビデオパケットにマークを付けるように構成される。各サブセット識別子は、複数のビットストリームサブセットのうちの対応するビットストリームサブセットと関連付けられる。

本発明の第８の態様によると、圧縮ビデオビットストリームからビデオパケットを抽出するビットストリーム抽出器が提供される。圧縮ビデオビットストリームはビデオパケットに分割される。圧縮ビデオビットストリームは複数のビットストリームサブセットを含む。各ビデオパケットはビデオデータ又は補足情報のいずれか一方を含む。各ビデオパケットは、複数のサブセット識別子のうちの一つのサブセット識別子を更に含む。各サブセット識別子は、複数のビットストリームサブセットのうちの対応するビットストリームサブセットと関連付けられる。ビットストリーム抽出器は、サブセット選択ユニットと、受信ユニットと、抽出ユニットとを備える。サブセット選択ユニットは、少なくとも１つの関係のあるサブセット識別子を提供するように構成される。受信ユニットは、圧縮ビデオビットストリームからのビデオパケットを受信するように構成される。抽出ユニットは、受信したビデオパケット毎に、ビデオパケットのサブセット識別子を検査し且つ圧縮ビデオビットストリームからビデオパケットを抽出するように構成される。ビデオパケットは、抽出されたサブセット識別子が少なくとも１つの関係のあるサブセット識別子のうちの１つと一致するという条件で、圧縮ビデオビットストリームから抽出される。

本発明は、最新のビデオ符号化規格の階層ビットストリームの概念が異なるビットストリームサブセットの識別を可能にするように一般化されてもよいという見解を利用する。この場合、各ビットストリームサブセットは、特定のプロパティが関連付けられたレイヤを表す。例えば各ビットストリームサブセットは、テクスチャ基本ビューレイヤ、奥行きマップ高品質レイヤ、時間オクルージョンマップレイヤ等のビデオデータを搬送するＶＣＬレイヤ、あるいは非ビデオデータ、すなわち例えばパラメータセットである補足情報を搬送する非ＶＣＬレイヤのいずれかを表す。これは、各レイヤ、すなわちビットストリームサブセットとストリーム識別子（ｓｔｒｅａｍ＿ｉｄ）とを関連付けることにより達成される。ストリーム識別子は、特定のビュー識別子（ｖｉｅｗ＿ｉｄ）又は依存性識別子（ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ）等のレイヤのプロパティを記述するパラメータと関連付けられる。ｓｔｒｅａｍ＿ｉｄは、ＮＡＬユニットヘッダにおいて信号伝送される。

特定のレイヤの異なるプロパティの全てを単一の識別子ｓｔｒｅａｍ＿ｉｄに統合することにより、ネットワーク内及びクライアント側でビデオパケットを解釈及び識別する処理が簡略化される。提案される構文により、特に階層表現に適用され、従って将来のビデオコーデック及びアプリケーションと互換性のあるネットワークフレンドリで高度なビデオビットストリームの信号伝送の簡潔で拡張可能なシステム設計が可能になる。本発明の一実施形態に係るビデオビットストリームの信号伝送は、最新のビデオ符号化規格、特に上述のＡＶＣのＮＡＬユニットの概念に固有の問題が軽減される点で有利である。

更に詳細には、新規の機能性は、新規のＮＡＬユニットのタイプの定義もＮＡＬユニットヘッダの構文の更新も必要としない。更に、レイヤのプロパティが単一のｓｔｒｅａｍ＿ｉｄに要約されるため、ビデオビットストリームを処理するネットワーク要素及びクライアントは、ＮＡＬユニットヘッダ内で使用される全ての情報要素、すなわち識別子、標識、パラメータ又はフラグに関する詳細な知識を有する必要がない。寧ろ、関係のあるｓｔｒｅａｍ＿ｉｄに関する知識で十分である。最後に、階層ビデオビットストリーム、すなわち１つの圧縮ビデオビットストリームに多重化された複数のビットストリームサブセットの信号伝送は、高度な信号伝送に依存する解決策より容易に正確な時間同期を達成できる点で有利である。更に、ビデオ表現の関係のあるレイヤ間の冗長がビデオ信号の圧縮において利用されてもよい。

圧縮ビデオビットストリーム内の各ビデオパケットに単一のサブセット識別子でマークを付けると述べたが、圧縮ビデオビットストリームに含まれる全てのビデオパケットのサブセットに単一のサブセット識別子でマークを付けるだけの本発明の実施形態も考えられる。

本発明の一実施形態によると、方法は、少なくとも１つのサブセットの定義を提供することを更に備える。サブセットの定義の各々は、複数のビットストリームサブセットのうちの対応するビットストリームサブセットのプロパティを記述する。関連付けられたビットストリームサブセットのプロパティを定義するためにサブセットの定義を利用することは、対応するビデオレイヤのプロパティがネットワーク要素及びクライアントに明確に提供される点で有利である。

本発明の一実施形態によると、少なくとも１つのサブセットの定義は圧縮ビデオビットストリーム内のビデオパケットとして提供される。ビデオパケットは、各々が異なるビットストリームサブセットに対応する複数のサブセットの定義を搬送してもよい。１つ又は複数のサブセットの定義を含むビデオパケットは、パラメータストリームセット（ＳｔＰＳ）において搬送されてもよい。これは、関連付けられたビットストリームサブセット、すなわちビデオ又はパラメータレイヤのプロパティを記述するサブセットの定義がビデオ信号と共にネットワーク要素及びクライアントに提供される点で有利である。サブセットの定義の各々は、ｔｅｍｐｏｒａｌ＿ｉｄ、ｖｉｅｗ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ、ｐｒｉｏｒｉｔｙ＿ｉｄ又はサブセットにおいて搬送されるデータの種類のうちの少なくとも１つに関する情報を含む。１つ以上のビットストリームサブセットがサブセットの定義又は他のパラメータを信号伝送するために確保されてもよいことが理解されるだろう。そのような確保されたビットストリームサブセットは、ネットワーク要素及びクライアントに対して既知である、例えばｓｔｒｅａｍ＿ｉｄ＝０である事前に定義されたｓｔｒｅａｍ＿ｉｄと関連付けられてもよい。

本発明の一実施形態によると、複数のサブセット識別子の各サブセット識別子は数値であってもよい。各サブセット識別子の値は、それと関連付けられたビットストリームサブセットの相対的な優先順位に対応する。換言すると、各ビットストリームサブセットのサブセット識別子ｓｔｒｅａｍ＿ｉｄは、特定のビットストリームサブセットにより搬送されるビデオデータの重要度を示す。そのような情報を使用して、例えば帯域幅が制限されるためパケットを破棄する必要のあるネットワーク要素又はクライアントは、関連性が低いことを示す高いｓｔｒｅａｍ＿ｉｄを有するパケットを破棄し、関連性が高いことを示す低いｓｔｒｅａｍ＿ｉｄを有するパケットを保持する。

本発明の一実施形態によると、方法は、少なくとも１つのビデオ表現の定義を提供することを更に備える。ビデオ表現の定義の各々は、少なくとも１つの関係のあるサブセット識別子を含む。少なくとも１つの関係のあるサブセット識別子と関連付けられたビットストリームサブセットは、復号化可能なビデオ表現を形成する。換言すると、各ビデオ表現は、複数のｓｔｒｅａｍ＿ｉｄ及びそれらと関連付けられたビットストリームサブセットをグループ化して、復号化可能なビデオを形成する。これは、独立して復号化できない単一のビットストリームサブセットを識別するサブセットの定義と異なる。ビデオ表現は、例えば基本ビューに対する全てのテクスチャ情報、あるいはテクスチャ及び奥行きマップ情報を含む。これは、特定のビデオ表現を正常に復号化するために処理する必要のあるビットストリームサブセットに関する情報がネットワーク要素又はクライアントに提供される点で有利である。

本発明の一実施形態によると、少なくとも１つのビデオ表現の定義は、圧縮ビデオビットストリーム内のビデオパケットとして提供される。これは、ビデオ表現に関する情報、すなわち復号化可能なビデオを形成するために処理する必要のあるｓｔｒｅａｍ＿ｉｄのリストがビデオデータと共に信号伝送され、すなわち多重化される点で有利である。ビデオパケットは複数のビデオ表現の定義を搬送してもよい。ビデオ表現の定義の各々は、特定の特徴、すなわちプロパティを有する復号化可能な異なるビデオ表現に対応する。１つ又は複数のビデオ表現の定義を含むビデオパケットは、この目的のために確保される表現パラメータセット（ＲＰＳ）と呼ばれるビットストリームサブセットにおいて搬送されてもよい。ＲＰＳは、例えばｓｔｒｅａｍ＿ｉｄ＝０である事前に定義されたｓｔｒｅａｍ＿ｉｄと関連付けられてもよい。ビデオ表現は、ビデオ表現の相対的な優先順位を示す数値と関連付けられてもよいことが更に理解されるだろう。

本発明の一実施形態によると、方法は、受信したビデオパケット毎に、抽出したビデオパケットを転送又は復号化するか、あるいは受信したビデオパケットを破棄することを更に備える。受信したビデオパケットは、抽出されたサブセット識別子が少なくとも１つの関係のあるサブセット識別子のいずれとも一致しないという条件で破棄される。換言すると、受信したビデオパケットは、それと関連付けられたｓｔｒｅａｍ＿ｉｄが関係のあるｓｔｒｅａｍ＿ｉｄのリストと一致する場合に処理され、すなわち転送又は復号化され、一致しない場合に破棄される。これは、受信したビデオパケットが関係のあるビデオパケットであるか否かに依存してネットワーク要素又はクライアントが当該ビデオパケットを処理するという点で有利である。例えばクライアントは、例えば復号化可能なビデオ、すなわちビデオ表現を共に形成するサブセットのグループである特定のビットストリームサブセットのみを処理するように構成される。更に、ネットワーク要素は、帯域幅が制限される場合、例えば高品質拡張レイヤである関連性が低いと考えられるビットストリームサブセットを破棄するように構成されてもよい。

本発明の一実施形態によると、方法は、サブセットの定義を提供することを更に備える。サブセットの定義は、複数のビットストリームサブセットのうちの対応するビットストリームサブセットのプロパティを記述する。方法は、対応するビットストリームと関連付けられたサブセット識別子を少なくとも１つの関係のあるサブセット識別子として使用することを更に備える。サブセットの定義に含まれるｓｔｒｅａｍ＿ｉｄを使用することは、ネットワーク要素及びクライアントがサブセットの定義により指定されたビデオパケットを処理対象として選択できるようにする点で有利である。

本発明の一実施形態によると、方法は、複数のサブセットの定義からサブセットの定義を選択することを更に備える。サブセットの定義は、対応するビットストリームサブセットの少なくとも１つのプロパティに従って選択される。これは、複数のサブセットの定義が提供される場合にネットワーク要素又はクライアントが特定のプロパティを有するビットストリームサブセットを処理するために選択する点で有利である。例えばクライアントは、例えば特定のｔｅｍｐｏｒａｌ＿ｉｄ、ｖｉｅｗ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ、ｐｒｉｏｒｉｔｙ＿ｉｄであるか又はサブセットにおいて搬送されるデータの特定の種類を示す特定の標識を含むサブセットの定義を選択する。

本発明の一実施形態によると、方法は、圧縮ビデオビットストリーム内のビデオパケットからサブセットの定義を受信することを更に備える。これは、関連付けられたビットストリームサブセット、すなわちビデオ又はパラメータレイヤのプロパティを記述するサブセットの定義がビデオデータと共にネットワーク要素及びクライアントにより受信される点で有利である。

本発明の一実施形態によると、方法は、圧縮ビデオビットストリーム内のビデオパケットからビデオ表現の定義を受信することを更に備える。これは、復号化可能なビデオを形成するために処理する必要のあるビデオ表現に関する情報、すなわち複数のｓｔｒｅａｍ＿ｉｄがビデオデータと共に受信される点で有利である。

本発明の第１の態様及び第４の態様に係る方法の実施形態を参照して、本発明の利点をいくつかの例において説明したが、対応する論法は本発明の第２の態様及び第５の態様に係るコンピュータプログラムの実施形態、本発明の第３の態様及び第６の態様に係るコンピュータプログラム製品、並びに本発明の第７の態様及び第８の態様に係る装置に適用される。

本発明の更なる目的、特徴及び利点は、以下の詳細な開示、図面及び添付の特許請求の範囲を検討することにより明らかになるだろう。本発明の種々の特徴は以下に説明する実施形態以外の実施形態を作成するために組み合わせ可能であることが当業者には理解される。

本発明の上記の目的、特徴及び利点、並びに追加の目的、特徴及び利点は、添付の図面を参照して以下の本発明の実施形態の例示であって限定しない詳細な説明を読むことにより更に理解されるだろう。
図１は、ビデオ信号を符号化、転送及び復号化するシステムを示す図である。 図２は、本発明の実施形態に係るビットストリームサブセット、サブセットの定義及びビデオ表現の定義の概念を示す図である。 図３は、本発明の実施形態に係る提案される構文を示す図である。 図４は、本発明の一実施形態に係る圧縮ビデオビットストリーム内のビットストリームサブセットを示す方法を示す図である。 図５は、本発明の一実施形態に係る圧縮ビデオビットストリームからビデオパケットを抽出する方法を示す図である。 図６は、本発明の一実施形態に係るビットストリームマーカを示す図である。 図７は、本発明の一実施形態に係るビットストリーム抽出器を示す図である。 図８は、本発明の一実施形態に係るコンピュータプログラムコードを実行するビデオ処理装置を示す図である。

全ての図面は概略的であり、必ずしも一定の縮尺ではなく、一般に、本発明を説明するために必要な部分のみを示す。その場合、他の部分は省略されるか又は単に提案される。

本発明を説明するために、ビデオ信号を符号化、転送及び復号化するシステム１００を図１に示す。

システム１００は、ビデオ符号化装置１１０、転送ネットワーク１２０及びビデオ復号化装置１３０を備える。通常、ビデオ符号化装置１１０は１つ又は複数のソースからビデオ信号を受信し、ビデオ信号を圧縮し且つ結果として得られたビットストリームを例えばＮＡＬユニットであるビデオパケットに細分化するように構成される。結果として得られたビデオパケットは、その後、転送ネットワーク１２０を介して復号化装置１３０に転送される。転送ネットワーク１２０は、通常、符号化装置１１０から復号化装置１３０にビデオパケットを転送するように構成される複数の相互接続ノード、すなわちネットワーク要素１２１〜１２３を備える。ネットワーク要素１２１〜１２３は、例えばスイッチ、ルータ又はビデオパケットを処理するのに適した他の何らかの種類のネットワークノードである。転送ネットワーク１２０は、例えばローカルエリアネットワーク、移動電話ネットワーク又はインターネットである。

復号化装置１３０は、転送ネットワーク１２０からビデオパケットを受信し且つ受信した圧縮ビデオビットストリームを復号化するように構成される。更に、復号化装置１３０は、復号化されたビデオを閲覧者に対して表示するように構成されてもよい。復号化装置１３０は、例えばビデオプレーヤ、テレビ、コンピュータ又は移動電話である。

以下、ストリーム識別子、サブセットの定義及びビデオ表現の概念を示す図２を参照して、本発明の実施形態を説明する。

図２において、圧縮ビデオビットストリーム２１０の一部分が示される。当該部分は６つのビデオパケット、すなわちＮＡＬユニット２１１〜２１６を含み、各ビデオパケットはビデオデータあるいはパラメータ等の補足情報を含む。更に、各ＮＡＬユニット２１１〜２１６は、各ＮＡＬユニット２１１〜２１６と圧縮ビデオビットストリームの対応するビットストリームサブセットとを関連付けるためのフラグｓｔｒｅａｍ＿ｉｄを含む。例えば図２に例示するビデオビットストリームの一部分２１０の場合、ＮＡＬユニット２１１、２１３及び２１６はｓｔｒｅａｍ＿ｉｄ＝０でマークを付けられる。すなわち、これらは第１のビットストリームサブセットと関連付けられる。更に、ＮＡＬユニット２１２及び２１４はｓｔｒｅａｍ＿ｉｄ＝１でマークを付けられる。すなわち、これらは第１のビットストリームサブセットと異なる第２のビットストリームサブセットと関連付けられる。最後に、ＮＡＬユニット２１５はｓｔｒｅａｍ＿ｉｄ＝２でマークを付けられる。すなわち、これは第１のビットストリームサブセット及び第２のビットストリームサブセットと異なる第３のビットストリームサブセットと関連付けられる。

圧縮ビデオビットストリームにおいて搬送される各ＮＡＬユニットに含まれる識別子ｓｔｒｅａｍ＿ｉｄにより、ＮＡＬユニットが属するビットストリームサブセットがＮＡＬユニット毎に示される。圧縮ビデオビットストリームにおいて搬送される各ビットストリームサブセットが、例えばテクスチャ基本ビューレイヤ、奥行きマップ高品質レイヤ、パラメータセットレイヤ、時間レイヤ、オクルージョンマップレイヤ又は他の何らかの種類のビデオ又は補足レイヤである圧縮ビデオ信号の特定のレイヤを表すため、各ＮＡＬユニットは対応するレイヤと関連付けられる。このように、例えばレイヤが表現するビュー、レイヤが含むビデオ品質又はレイヤ間の依存性を記述するパラメータである特定のレイヤと関連付けられる全てのパラメータは、単一のストリーム識別子ｓｔｒｅａｍ＿ｉｄに要約される。パラメータセットを記述するために単一の識別子を使用することにより間接指定が導入され、ＮＡＬユニットが転送される際に通過するネットワーク要素又はＮＡＬユニットが復号化されるクライアントによるＮＡＬユニットの簡略な処理が可能になる。

各レイヤ、すなわちビットストリームサブセットのプロパティは事前に定義され、ビデオ信号の符号化、転送及び復号化に関係する全てのエンティティに対して既知であってもよい。例えば図１を参照すると、復号化装置１３０は、転送ネットワーク１２０を介して符号化装置１１０から受信した異なるビットストリームサブセット、すなわちレイヤのうちの１つ又はいくつかに属するビデオパケットのみを復号化するように構成されてもよい。これは、例えばｓｔｒｅａｍ＿ｉｄ＝０が基本レイヤであり、ｓｔｒｅａｍ＿ｉｄ＝１及びｓｔｒｅａｍ＿ｉｄ＝２が向上されたビデオ品質を提供するための拡張レイヤであって、復号化装置１３０が低品質のビデオ信号しか表示できない場合に当てはまる。更に、ネットワーク要素１２１〜１２３は、使用可能な帯域幅が制限される場合、３つのビットストリームサブセットのうちの１つ又は２つに属するビデオパケットのみを転送するように構成されてもよい。

更に図２を参照して、多層ビデオビットストリームに含まれるビデオレイヤの向上された処理を説明する。

本発明の一実施形態によると、各レイヤ、すなわちビットストリームサブセットのプロパティは、サブセットの定義２２１〜２２３により、ビデオ信号の符号化、転送及び復号化に関係するエンティティに提供される。レイヤ毎に、レイヤのプロパティを記述する情報、すなわちパラメータを含む対応するサブセットの定義２２１〜２２３が提供される。例えばサブセットの定義２２１は、ｓｔｒｅａｍ＿ｉｄ＝０で示される第１のビットストリームサブセットのプロパティを記述する。それに対応して、サブセットの定義２２２は第２のビットストリームサブセット、すなわちｓｔｒｅａｍ＿ｉｄ＝１のプロパティを記述し、サブセットの定義２２３は第３のビットストリームサブセット、すなわちｓｔｒｅａｍ＿ｉｄ＝２のプロパティを記述する。サブセットの定義２２１〜２２３の各々に含まれるパラメータ、すなわちｔｅｘｔｕｒｅ＿ｆｌａｇ、ｄｅｐｔｈ＿ｆｌａｇ、ｏｃｃｌｕｓｉｏｎ＿ｆｌａｇ及びｖｉｅｗ＿ｉｄは、ビットストリームサブセットがテクスチャレイヤであるか、奥行きマップレイヤであるか、オクルージョンテクスチャレイヤであるか、並びにそれが属するビューを示す。図２に例示するサブセットの定義２２１〜２２３の場合、全てのレイヤはｖｉｅｗ＿ｉｄ＝０であり、同一のビューに属する。サブセットの定義２２１により記述される第１のレイヤはビューのテクスチャを含み、サブセットの定義２２２により記述される第２のレイヤはビューの奥行きマップを含み、サブセットの定義２２３により記述される第３のレイヤはビューのオクルージョンテクスチャを含む。

図２を更に参照して、本発明の一実施形態に係るビデオ表現の概念を説明する。

ビデオ表現は、復号化可能なビデオを形成するために１つ以上のレイヤ、すなわちビットストリームサブセットをグループ化するために使用される。このグループ化機構は、圧縮ビデオビットストリームの処理に関係するネットワーク要素及びクライアントにビットストリームサブセットに関する情報を提供するために使用される。これは、ネットワーク要素及びクライアントにビデオ表現の定義に含まれる統合された情報を提供することにより達成される。このために、ビデオ表現は、例えばビットストリーム内の全てのテクスチャ情報を含んでもよく、あるいは基本ビューに対するテクスチャ及び奥行きマップ情報を含んでもよい。例えばビデオ信号を復号化して閲覧者に対してビデオを表示するために圧縮ビデオビットストリームから特定のビデオ表現を抽出したいネットワーク要素又はクライアントは、関係のあるビデオ表現を識別した後、ビデオ表現の一部である全てのビットストリームサブセットを抽出する。

本発明の一実施形態に係る図２に示すビデオ表現２３１〜２３３等のビデオ表現は、ネットワーク要素及びクライアントによるビデオ表現の識別を容易にするために、ビデオ表現識別子ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＿ｉｄでマークを付けられる。更に、各ビデオ表現は、ビデオ信号を復号化することにより有意味なビデオをレンダリングするために必要なビットストリームセブセットを示すｓｔｒｅａｍ＿ｉｄのリストを含む。

例えば、表現の定義２３１により定義される第１のビデオ表現はｒｅｐｒｅｓｅｎｔａｔｉｏｎ＿ｉｄ＝０でマークを付けられており、単一のビットストリームサブセット識別子ｓｔｒｅａｍ＿ｉｄ＝０を含む。従って、ｓｔｒｅａｍ＿ｉｄ＝０を有するビットストリームサブセットの定義２２１を与えられるため、第１の表現はモノラル２Ｄビデオシーケンス、すなわちテクスチャ情報の単一ビューである。更に、表現の定義２３２により定義される第２のビデオ表現はｒｅｐｒｅｓｅｎｔａｔｉｏｎ＿ｉｄ＝１でマークを付けられ、２つのビットストリームサブセット識別子ｓｔｒｅａｍ＿ｉｄ＝０及びｓｔｒｅａｍ＿ｉｄ＝１のリストを含む。従って、サブセットの定義２２１及び２２２を与えられるため、第２のビデオ表現はｓｔｒｅａｍ＿ｉｄ＝１を有するレイヤにより搬送される奥行きマップを更に含み、３Ｄビデオシーケンスをレンダリングできる。しかし、第２のビデオ表現がオクルージョンテクスチャ情報を含まないため、レンダリングされる３Ｄビデオの品質は制限される。この問題は、オクルージョンテクスチャ情報を含む３Ｄビデオシーケンスのレンダリングを可能にする第３のビデオ表現により解決される。この目的のために、ビデオ表現の定義２３３は、３つのビットストリームサブセット識別子ｓｔｒｅａｍ＿ｉｄ＝０、ｓｔｒｅａｍ＿ｉｄ＝１及びｓｔｒｅａｍ＿ｉｄ＝２のリストを含む。

階層ビットストリーム、サブセットの定義及びビデオ表現の概念は上述したように１つのビューのみに限定されないことが理解されるだろう。サブセットの定義は、例えば異なるカメラアングルを有する例えばｖｉｅｗ＿ｉｄ＝０及びｖｉｅｗ＿ｉｄ＝１である異なるビューを表現するレイヤ、あるいは異なるビデオ品質のビデオ信号を搬送するレイヤのプロパティを記述するために使用される。

ビデオ表現の概念により、ビデオビットストリームの処理に関係するネットワーク要素及びクライアントによる多層ビデオビットストリームの簡略な処理が可能になる。特定のビデオ表現を転送したいネットワーク要素又は復号化したいクライアントは、単純に、対応する表現の定義を識別し、必要なビットストリームサブセット識別子のリストを表現の定義から読み出し、必要なビットストリームサブセットに属するビデオパケットを圧縮ビデオビットストリームから抽出する。

例えばｔｅｍｐｏｒａｌ＿ｉｄ、ｐｒｉｏｒｉｔｙ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ及びｄｅｐｅｎｄｅｎｃｙ＿ｉｄ等である複数の識別子を使用するＳＶＣのＮＡＬユニットヘッダの拡張等であるビットストリームサブセットを識別する既知の方法と比較して、提案される方法は単一の識別子のみを使用するため、ハードウェア及びソフトウェアの双方のはるかに単純な実現例が可能になる。特に、単一の識別子ｓｔｒｅａｍ＿ｉｄは、例えばｄｅｐｅｎｄｅｎｃｙ＿ｉｄと異なり、事前に定義された意味を有さないが、その意味は、例えばサブセットの定義である二次手段を介して示される。この間接指定により、提案される概念は、新規の機能性が後の段階で導入される場合にそのような機能性に関する情報がサブセットの定義において信号伝送されるため容易に拡張可能であり、ＮＡＬユニットヘッダの変更は不要である。特に、本発明の一実施形態に係るＮＡＬユニットヘッダは、拡張が使用されるか否かに関係なく固定長を有する。それにより、ＮＡＬユニットヘッダの構文解析は既知の解決策よりはるかに単純になる。

図３を参照して、特に提案される構文に関して、本発明の実施形態の更に詳細な説明を以下に提示する。

サブセット識別子ｓｔｒｅａｍ＿ｉｄは、ＮＡＬユニットヘッダにおいて搬送される。ＮＡＬユニットヘッダは、ＮＡＬユニットのタイプ又はｏｕｔｐｕｔ＿ｆｌａｇ等の他の識別子を含んでも含まなくてもよい。ＮＡＬユニットヘッダ３１０の一例を図３に示す。本例において、ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔは０に等しいとされ、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＮＡＬユニットに含まれるタイプデータを指定し、ｏｕｔｐｕｔ＿ｆｌａｇは現在のＮＡＬユニットの復号化されたコンテンツが画面出力を意図するかを信号伝送する。

異なるＮＡＬユニットに同一のｓｔｒｅａｍ＿ｉｄでマークを付けることにより、それらは同一のビットストリームサブセット、すなわち同一のレイヤに属するものとしてマークを付けられる。通常、同一のビットストリームサブセットに属する全てのＮＡＬユニットは、以下に例示する特定のプロパティのうちの１つ以上を共有する。
−サブセット内の全てのＮＡＬユニットはパラメータセットである。
−サブセット内の全てのＮＡＬユニットはイントラ符号化ピクチャである。
−サブセット内の全てのＮＡＬユニットは、いわゆる「クローズドピクチャグループ（ＧＯＰ）」のランダムアクセスポイントの始点を示す（ＡＶＣにおける瞬時復号器リフレッシュ（ＩＤＲ）ピクチャ）。
−サブセット内の全てのＮＡＬユニットは、いわゆる「オープンＧＯＰ」のランダムアクセスポイントの始点を示す（復号化を開始できるイントラピクチャ）。
−サブセット内の全てのＮＡＬユニットは、基本品質を表現するビデオフレームを搬送する。
−サブセット内の全てのＮＡＬユニットは、時間リファイン情報を搬送する。
−サブセット内の全てのＮＡＬユニットは、空間スケーラビリティの場合の空間リファイン情報を搬送する。
−サブセット内の全てのＮＡＬユニットは、多視点符号化における特定のカメラビューに対応する情報を搬送する。
−サブセット内の全てのＮＡＬユニットは、特定のビデオストリーム又は例えば奥行きマップストリームに関する情報を搬送する。

尚、複数のそのようなプロパティは、所定のサブセットに対して同時に有効であってもよい。

いくつかのサブセットのプロパティ及び関連付けられるｓｔｒｅａｍ＿ｉｄは事前に定義されてもよい。例えばｓｔｒｅａｍ＿ｉｄ＝０は、ＳＰＳ、ＰＰＳ、ＳｔＰＳ又はＲＰＳ等のパラメータセットを搬送するＮＡＬユニットのみを含むサブセットを示す。あるいは、ＳＰＳ、ＰＰＳ、ＳｔＰＳ及びＲＰＳは事前に定義された異なるｓｔｒｅａｍ＿ｉｄを有する。

サブセットのプロパティに関する情報は、例えばサブセットの定義により明示的に提供されてもよい。サブセットの定義は、例えばｔｅｍｐｏｒａｌ＿ｉｄ又はｑｕａｌｉｔｙ＿ｉｄ等のパラメータを含んでもよい。サブセットの定義３２０の一例を図３に示す。

サブセットの定義３２０等の本発明の一実施形態に係るサブセットの定義の構文は、例えばＮＡＬユニットのタイプ又は他のプロパティに依存する条件付きフィールドを含んでもよい。サブセットの定義３２０は、参照するＮＡＬユニットがＶＣＬデータを含み且つ非ＶＣＬデータを含まない場合にのみ使用される構文要素を例示する（尚、本開示において、例におけるＮＡＬユニットのタイプはＡＶＣの仕様に従う）。

サブセットの定義３２０において、ｓｔｒｅａｍ＿ｉｄはビットストリームのサブセットである階層ストリームを識別し、ｓｔｒｅａｍ＿ｔｙｐｅは指定されているストリームの種類を記述し、ｖｅｒｓｉｏｎ＿ｉｄはストリームを記述する際に従う仕様のバージョンを指定する。ｖｉｅｗ＿ｉｄ、ｔｅｍｐｏｒａｌ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ及びｄｅｐｅｎｄｅｎｃｙ＿ｉｄのフラグの各々は、プロパティ又は対応するレイヤを識別する。更に詳細には、ｖｉｅｗ＿ｉｄはカメラビューを示し、ｔｅｍｐｏｒａｌ＿ｉｄは、例えば３０Ｈｚのフレームレートを上位の６０Ｈｚにリファインする時間リファインレイヤを示し、ｑｕａｌｉｔｙ＿ｉｄは圧縮ビデオの信号忠実度を示し、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄは空間スケーラビリティの場合の空間リファインレイヤを示す。

サブセットの定義自体は、例えば専用のＮＡＬユニット、すなわちＳｔＰＳの形態でビットストリームにおいて搬送されてもよい。そのような専用のＮＡＬユニットは、専用のＮＡＬユニットのタイプにより示される。これは、パラメータセットを搬送するＮＡＬユニットのＮＡＬユニットヘッダにおいて特定のｓｔｒｅａｍ＿ｉｄにより示されるパラメータセットのビットストリームサブセット等の専用のサブセットの一部であってもよい。そのようなストリームパラメータセットのＮＡＬユニットを搬送するサブセットは、ｓｔｒｅａｍ＿ｉｄ＝０等の事前に定義されたｓｔｒｅａｍ＿ｉｄを有してもよい。

ＳｔＰＳは、時間拡張（ｔｅｍｐｏｒａｌ＿ｉｄ）、品質拡張（ｑｕａｌｉｔｙ＿ｉｄ）、空間拡張（ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ）、優先順位（ｐｒｉｏｒｉｔｙ＿ｉｄ）、あるいはＳＶＣ及びＭＶＣに対するＮＡＬユニットの拡張ヘッダにおいて搬送されるような何らかの信号伝送に関するパラメータを含んでもよい。ＳｔＰＳは、関連付けられたＮＡＬユニットにおいて搬送されるデータの種類に関する情報、すなわち、ＮＡＬユニットがパラメータセット、ＳＥＩメッセージ、イントラピクチャ又はアンカーピクチャ等を含むかに関する情報を更に含んでもよい。ＳｔＰＳは、圧縮データが表現するコンテンツに関する高度な情報を更に搬送してもよく、例えば関連付けられたＮＡＬユニットがテクスチャデータ、奥行き情報又はオクルージョン情報等を表すかに関する情報を搬送してもよい。

図３に例示するサブセットの定義３２０等の本発明の一実施形態に係るストリームパラメータセットの構文は、拡張可能な方法で定義される。このために、それは、例えばバージョンＮである仕様の特定のバージョンにより定義される構文要素を含む。例えばバージョンＮ＋１である仕様の将来の更新において、追加の構文要素が含まれる。この場合、仕様のバージョンＮに準拠する受信装置はバージョンＮの構文要素しか解釈できないが、バージョンＮ＋１に準拠する受信装置は追加の構文要素も解釈できる。この場合、ＳｔＰＳは可変長を有し、必要に応じて、仕様の新規バージョンにおいて拡張可能である。バージョンＮの受信装置がバージョンＮに準拠するパラメータ及びバージョンＮ＋１に準拠する更なるパラメータを含むバージョンＮ＋１のＳｔＰＳを受信する場合、当該受信装置はバージョンＮの構文要素を読み出し、バージョンＮ＋１の構文要素を無視する。あるいは、バージョンＮの受信装置は、バージョンＮに準拠しないため解釈できない構文要素を見つけた場合、ＳｔＰＳと関連付けられたＮＡＬユニットを処理しないと決定する。装置の挙動、すなわち未知の構文を無視するか又は関連付けられたＮＡＬユニットを処理しないかは、例えば別個のフラグにより信号伝送される。

ストリームパラメータセットの構文は、それが準拠する仕様のバージョンを示すバージョン識別子を更に含んでもよい。バージョン識別子は例えば数値として表されてもよく、その場合、数値が大きくなるほど大きいバージョン番号を示す。バージョンＮの受信装置がＮ以下のバージョン番号を有するＳｔＰＳを受信する場合、当該受信装置は構文を解析できる。バージョンＮの受信装置がＮより大きいバージョン番号を有するＳｔＰＳを受信する場合、当該受信装置は構文を解析できず、少なくともバージョン番号がＮより大きいバージョンに特有の部分を解析できない。その場合、当該受信装置はＳｔＰＳと関連付けられたＮＡＬユニットを処理しない。あるいは、当該受信装置は、ＳｔＰＳ自体を解釈せずにＳｔＰＳと関連付けられたＮＡＬユニットを復号化する。この挙動は、追加フラグにより制御されてもよい。

サブセットの定義３２０において示すように、ストリームパラメータセットとサブセットに含まれるＮＡＬユニットとの関連付けはパラメータｓｔｒｅａｍ＿ｉｄにより提供され、ストリームパラメータセット、すなわちサブセットの定義を含むＮＡＬユニットと関連するＮＡＬユニットとは同一のｓｔｒｅａｍ＿ｉｄでマークを付けられる。あるいは、ＳｔＰＳは、ｓｔｒｅａｍ＿ｉｄのリストを含むことにより２つ以上のｓｔｒｅａｍ＿ｉｄとの関連を示し、例えばＳｔＰＳがこれらのｓｔｒｅａｍ＿ｉｄのうちのいずれかを有するＮＡＬユニットに対応することを示す。更に別の方法として、ＳｔＰＳは、Ｍ＝「１１１１１１１１００００００００」（１０進数で６５２８０）等のビットマスクフィールド及び例えばＶ＝「１０１０１０１０００００００００」（１０進数で４３５２０）である値フィールドを示し、「＆」をビット単位の「ａｎｄ」演算とする「ｓｔｒｅａｍ＿ｉｄ＆Ｍ＝Ｖ」等の条件に一致するｓｔｒｅａｍ＿ｉｄを有する全てのＮＡＬユニットがＳｔＰＳと関連付けられる。複数のｓｔｒｅａｍ＿ｉｄを同一のＳｔＰＳと関連付けることは、サブセットのプロパティに関するパラメータを搬送するために必要なＳｔＰＳのパケット数が少ないという利点を有する。このように、複数の異なるｓｔｒｅａｍ＿ｉｄに対応する複数のビットストリームサブセットに有効な情報が単一のＳｔＰＳにおいて搬送される。これらのサブセットのうちの１つ又はいくつかに対してのみ有効な追加情報は、別個のＳｔＰＳにおいて搬送可能である。

ｓｔｒｅａｍ＿ｉｄは数値であってもよく、低いｓｔｒｅａｍ＿ｉｄを有するＮＡＬユニットがパラメータセット又はイントラフレーム等の重要度の高いデータを搬送し且つ高いｓｔｒｅａｍ＿ｉｄを有するＮＡＬユニットがＳＥＩ又は時間拡張データ等の重要度の低いデータを搬送するように定義されてもよい。そのような優先順位情報を使用して、例えば帯域幅が制限されるためパケットを破棄する必要のあるネットワークノードは、ｓｔｒｅａｍ＿ｉｄの値が高いパケットを破棄し、ｓｔｒｅａｍ＿ｉｄの値が低いパケットを保持する。

ＳＶＣ及びＭＶＣのようにｔｅｍｐｏｒａｌ＿ｉｄ及びｄｅｐｅｎｄｅｎｃｙ＿ｉｄ等の複数のパラメータを使用する場合と比較して、ｓｔｒｅａｍ＿ｉｄの概念の利点は、間接指定を使用するため、新規のコーデック機能性が新たに設定される場合に新規のフィールドを導入する必要がないことである。更に、ｓｔｒｅａｍ＿ｉｄが関連付けられたビットストリームサブセットの相対的な優先順位を表す場合、いくつかの例では間接指定を分析する必要すらなく、ＮＡＬユニットの構文解析及びディスパッチが更に単純になる。

ビデオ表現内にｓｔｒｅａｍ＿ｉｄのリストを提供することにより、圧縮ビデオビットストリームの他の部分から独立して復号化可能な当該ビットストリームの一部が識別される。関連付けられたビットストリームサブセットは復号化可能なビデオを形成する。すなわち、表現外のＮＡＬユニットに対するピクチャ間又はビュー間の依存性は存在しない。これは、単一のｓｔｒｅａｍ＿ｉｄにより識別されるが例えば時間拡張情報のみを含む場合に独立して復号化されないビットストリームサブセットと異なる。ビデオ表現は、例えばテクスチャ、奥行き又はオクルージョン情報であるコンテンツの種類等の特定のプロパティと関連付けられる。

ビデオ表現の定義、すなわち必要なｓｔｒｅａｍ＿ｉｄのリスト及び表現の追加のプロパティは、ビットストリーム内の別個のビデオパケット、すなわちＲＰＳにおいて提供されてもよい。表現のパラメータセットを提供する少なくとも２つの方法が存在する。１つの方法は、１つのＮＡＬユニットにおいて１つのＲＰＳのみを提供することである。別の方法として、本発明の一実施形態に係るＮＡＬユニット３３０により示すような単一のＮＡＬユニットにおいて複数のＲＰＳを提供する。

ビデオ表現の定義３３０において、ｎｕｍ＿ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓはこのＮＡＬユニットにおいて指定される表現の数であり、ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＿ｉｄはビデオ表現を識別し、ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＿ｐｒｉｏｒｉｔｙ＿ｉｄは表現の優先順位を定義し、ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｙｐｅはビデオ表現の種類である。ビデオ表現の種類は、例えば以下のうちのいずれか１つである。
−テクスチャのみを有する平面ビデオ。
−テクスチャのみ及び立体アプリケーションを有する立体ビデオ。
−テクスチャ及び奥行き情報を有し、ビューの合成を使用して何らかの裸眼立体／立体効果を生成する平面ビデオ。
−テクスチャ及び奥行き情報を有し、ビューの合成を使用して十分な裸眼立体効果を生成する立体ビデオ。
−テクスチャ、奥行き及び非オクルージョン情報を有し、ビューの合成を使用して十分な裸眼立体／立体効果を生成する平面ビデオ。
−可逆チャネルを使用して事前に帯域外でネットワーク要素及びクライアントに送信されるＳＰＳ及びＰＰＳ。

ビデオ表現の定義３３０を更に参照すると、ｎｕｍ＿ｓｔｒｅａｍｓはこの表現に含まれる必要なストリームの数を信号伝送し、各ｓｔｒｅａｍ＿ｉｄは必要なストリームを指定する。オプションとして、ＲＰＳ情報を搬送するＮＡＬユニットは、例えばｓｔｒｅａｍ＿ｉｄ＝０である事前に定義されたｓｔｒｅａｍ＿ｉｄでマークを付けられてもよい。

表現の定義３３０において示したように、ＲＰＳにより定義されるプロパティのうちの１つは、他のビデオ表現に対する現在の表現の優先順位の値を示す優先順位標識ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＿ｐｒｉｏｒｉｔｙ＿ｉｄであってもよい。

表現の定義であるＲＰＳ及びサブセットの定義であるＳｔＰＳに基づいて、動的ストリーミングの手法が単純な方法で適用される。例えばサーバは、ｑｕａｌｉｔｙ＿ｉｄ＝０、１及び２によりそれぞれ識別される３つのビットストリームサブセット、すなわちレイヤを有するビデオビットストリームを提供する。これらのストリームは、低品質、中間品質及び高品質の３つのビデオ表現に選択的に組み合わされる。この場合、低品質の表現はｑｕａｌｉｔｙ＿ｉｄ＝０を有するサブセットを含み、中間品質の表現はｑｕａｌｉｔｙ＿ｉｄ＝１及びｑｕａｌｉｔｙ＿ｉｄ＝２を有する２つのサブセットを含み、第３の表現は３つ全てのサブセットを含む。クライアントは、短いバッファ時間を得るために品質は最低であるがサイズが最小である第１のストリームのダウンロードを開始してもよい。ビデオをしばらく再生した後、ネットワークの帯域幅が利用可能であると検出した場合、クライアントは中間品質又は高品質の表現に切り替えてもよい。ネットワークにおいて輻輳が発生した場合、クライアントは低品質のレベルに引き下げてもよい。

ｑｕａｌｉｔｙ＿ｉｄとサブセットの定義において定義される他のパラメータとを有することで、必要なビットストリームサブセットの選択は容易になる。このために、クライアントは、ＳＶＣのＮＡＬユニットヘッダの場合のように複数の識別子を構文解析し且つ解釈するのではなく、ｓｔｒｅａｍ＿ｉｄに関する規則を用いて単純に命令される。尚、通常は帯域幅が品質と正相関を有するため、ｑｕａｌｉｔｙ＿ｉｄの代わりにｂａｎｄｗｉｄｔｈ＿ｉｄを信号伝送して必要なビットレートを示してもよい。

本発明の実施形態によると、パケットを受信又は転送するビデオパケット受信機又はビデオパケット転送機等のネットワーク要素、あるいはビデオパケットを受信及び復号化する復号化装置は、以下のようにｓｔｒｅａｍ＿ｉｄを解釈する。受信、転送又は復号化動作に関係すると考えられるｓｔｒｅａｍ＿ｉｄのリストがネットワーク又は復号化装置に提供されると仮定する。ビデオパケットが受信されると、ｓｔｒｅａｍ＿ｉｄが検査される。ｓｔｒｅａｍ＿ｉｄの値に従って、ビデオパケットは受信／転送／復号化される、すなわちビットストリームから抽出されるか、あるいは破棄される。すなわち、ビデオパケット内のｓｔｒｅａｍ＿ｉｄが関係のあるｓｔｒｅａｍ＿ｉｄのうちの１つと一致する場合、パケットは更に処理される。ビデオパケット内のｓｔｒｅａｍ＿ｉｄが関係のあるｓｔｒｅａｍ＿ｉｄのうちのいずれとも一致しない場合、パケットは破棄され、それ以上処理されない。

関係のあるｓｔｒｅａｍ＿ｉｄのリストは、事前に定義されたｓｔｒｅａｍ＿ｉｄを含んでもよい。例えばこれは、関連付けられたビットストリームサブセットがパラメータセットを含むことを示すｓｔｒｅａｍ＿ｉｄ＝０を含んでもよい。このように、受信／転送／復号化装置は全てのパラメータセットを受信する。その後、装置は例えばＳｔＰＳ又はＲＰＳのうちの１つ又はいくつかを解釈し、それに従って、関係のあるｓｔｒｅａｍ＿ｉｄのリストを更新する。このために、受信装置は、全てのＳｔＰＳを受信して、特定のプロパティに対してＳｔＰＳの構文を検査してもよい。例えばテクスチャデータ等のビデオデータの種類である所定のプロパティを有するＳｔＰＳが検出される場合、関連付けられたｓｔｒｅａｍ＿ｉｄを有するビデオパケットがビットストリームから抽出される。このように、ＳｔＰＳ及び関連付けられたｓｔｒｅａｍ＿ｉｄは、ＳｔＰＳにおいて搬送されるｔｅｍｐｏｒａｌ＿ｉｄ、ｖｉｅｗ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ又はビデオデータの種類等のパラメータに基づいて選択可能である。

サブセットの関連性は、関連付けられたＳｔＰＳにおいて搬送されるバージョン識別子に基づいて更に判定されてもよい。受信装置がＳｔＰＳにおいて示されるバージョン識別子に準拠する場合、当該装置は関連付けられたＮＡＬユニットを抽出する。受信装置がそのようなバージョン識別子に準拠しない場合、当該装置は関連付けられたＮＡＬユニットを破棄する。

関係のあるストリーム識別子のリストは、関係があると考えられる表現の定義を検査することにより取得されてもよい。この場合、ストリーム識別子のリストは表現の定義から抽出され、関係のあるストリーム識別子として使用される。

受信装置は、全てのＲＰＳを受信し、例えば優先順位、ビデオコンテンツの種類又はビデオの解像度である特定のプロパティに対してＲＰＳの構文を検査する。所定のプロパティを有するＲＰＳが検出される場合、全ての関連付けられたｓｔｒｅａｍ＿ｉｄが関係のあるｓｔｒｅａｍ＿ｉｄであると考えられ、ビットストリームから抽出される。

あるいは、受信／転送／復号化装置は、各ＮＡＬユニットの優先順位に基づいて、パケットを抽出するか又は破棄するかを決定する。特に、ｓｔｒｅａｍ＿ｉｄがビットストリームサブセットの相対的な優先順位に従って定義される場合、受信／転送／復号化装置は、ｓｔｒｅａｍ＿ｉｄが「低い」、すなわち重要度の高いデータを含むパケットを抽出し、ｓｔｒｅａｍ＿ｉｄが「高い」、すなわち重要度の低いデータを含むパケットを破棄する。ｓｔｒｅａｍ＿ｉｄの数値が「低い」又は「高い」という決定は、閾値に基づいてもよい。この手法は、帯域幅が制限される場合のネットワーク要素におけるパッケージの非処理又はビットストリームの間引きに使用される。

本発明を更に説明するために、一例を以下に提示する。例は立体ビデオに関し、すなわち、ｖｉｅｗ＿ｉｄ＝０及びｖｉｅｗ＿ｉｄ＝１をそれぞれ有し且つ付随する奥行きデータを有する２つのビューに関する。テクスチャ及び奥行きビデオの双方は、異なるｔｅｍｐｏｒａｌ＿ｉｄにより示される何らかの時間スケーラビリティを提供すると仮定する。この場合、ｔｅｍｐｏｒａｌ＿ｉｄ＝０は例えば３０Ｈｚフレームレートのビデオである時間の基本品質を示し、ｔｅｍｐｏｒａｌ＿ｉｄ＝１は例えばフレームレートを３０Ｈｚから６０Ｈｚに拡張するための時間拡張情報を有する。

利用可能なビュー及び時間解像度に対するテクスチャ及び奥行きの双方に関するデータを搬送するＮＡＬユニットは、複数のビットストリームサブセットを使用して同一のビットストリームに多重化される。本発明の実施形態に係るビットストリームサブセット及びビデオ表現の概念を使用する場合、それらは一意に識別可能である。

以下の表は、サブセットの定義の一例を提供する。

テクスチャデータ、ｖｉｅｗ＿ｉｄ＝０及びｖｉｅｗ＿ｉｄ＝１に対応するｓｔｒｅａｍ＿ｉｄ＝１〜５を有する５つのサブセット、並びに奥行きデータに対応するｓｔｒｅａｍ＿ｉｄ＝６〜１０を有する５つの更なるサブセットが存在する。ｓｔｒｅａｍ＿ｉｄ＝１及びｓｔｒｅａｍ＿ｉｄ＝６を有するサブセットは、シーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）、すなわち非ＶＣＬデータをそれぞれ搬送するサブセットを示す。残りのｓｔｒｅａｍ＿ｉｄは、ＶＣＬデータを搬送するサブセットを示す。

更に、対応する表現の定義の一例を以下の表に示す。

表中、ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＿ｉｄ＝０を有する表現は、テクスチャ部分に対するＳＰＳ及びＰＰＳのみであるｓｔｒｅａｍ＿ｉｄ＝１を有するＮＡＬユニットを含む。別の例として、ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＿ｉｄ＝３を有する表現はｓｔｒｅａｍ＿ｉｄ＝１、２及び３を含み、テクスチャ情報のみを含むｖｉｅｗ＿ｉｄ＝０の単一ビューのビデオを表現する。更なる例として、ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＿ｉｄ＝７は完全なビットストリームに対応する。

表現の定義を受信後、受信又は転送装置は、信号伝送されたプロパティに依存して、所定のアプリケーションに対して最も適切な表現を決定し、それにより、関係のあるｓｔｒｅａｍ＿ｉｄのリストを取得する。装置は、受信されるＮＡＬユニットのＮＡＬユニットヘッダを検査することにより、これらのｓｔｒｅａｍ＿ｉｄと関連付けられたＮＡＬユニットを容易に抽出できる。

以下、図４を参照して、圧縮ビデオビットストリーム内のビットストリームサブセットを示す方法の実施形態を説明する。方法の一実施形態は、例えば図１を参照して説明した符号化装置１１０等の送出装置において実行される。特に、方法の一実施形態は、ビデオ符号器から圧縮ビデオビットストリームを受信するビットストリームマーク付け装置、すなわちビットストリームマーカにおいて実行されてもよい。このために、方法の一実施形態はビデオ符号器において実現されてもよい。ビットストリームマーカは、各々が例えばビデオフレームである圧縮ビデオデータ、補足情報又は一般にＮＡＬユニットを含むビデオパケットにビットストリームを細分化する。その後、各ビデオパケットは、本発明の一実施形態に係るＮＡＬユニットヘッダ内の構文要素ｓｔｒｅａｍ＿ｉｄを使用して、単一のサブセット識別子でマークを付けられる。オプションとして、ビデオ符号器はビットストリームマーカにパケット化されたビデオビットストリームを提供してもよく、その場合、ビットストリームマーカはビットストリームをパケットに細分化する必要がない。更に、本発明の一実施形態に係るマーク付け手順は、別個のビットストリームマーカではなくビデオ符号器により実行されてもよい。

圧縮ビデオビットストリーム内のビットストリームサブセットを示す方法の一実施形態４１０を図４に示す。方法４１０は、例えばビデオ符号器から圧縮ビデオビットストリームを受信すること（４１１）と、圧縮ビデオビットストリームをビデオパケットに分割すること（４１２）と、複数のサブセット識別子のうちの単一のサブセット識別子で各ビデオパケットにマークを付けること（４１３）とを備える。複数のサブセット識別子の各サブセット識別子は、複数のビットストリームサブセットのうちの対応するビットストリームサブセットと関連付けられる。

オプションとして、方法４１０は、少なくとも１つのサブセットの定義を提供すること（４１４）を更に備える。サブセットの定義の各々は、複数のビットストリームサブセットのうちの対応するビットストリームサブセットのプロパティを記述する。サブセットの定義は、圧縮ビデオビットストリーム内のビデオパケットとして提供され、ネットワーク要素及びクライアントに送信されてもよい。

ステップ４１４で提供されるサブセットの定義に加えて、方法４１０は少なくとも１つのビデオ表現の定義を提供すること（４１５）を更に備えてもよい。ビデオ表現の定義の各々は少なくとも１つの関係のあるサブセット識別子を含み、少なくとも１つの関係のあるサブセット識別子と関連付けられた全てのビットストリームサブセットは復号化可能なビデオ表現を形成する。少なくとも１つのビデオ表現の定義は、圧縮ビデオビットストリーム内のビデオパケットとして提供され、ネットワーク要素及びクライアントに送信されてもよい。

以下、図５を参照して、ビデオパケットに分割された圧縮ビデオビットストリームからビデオパケットを抽出する方法の実施形態を説明する。方法の一実施形態は、例えば図１を参照して説明したネットワーク要素１２１〜１２３等の受信装置又は復号化装置１３０において実行される。特に、本発明の一実施形態は、ビデオパケットに分割された圧縮ビデオビットストリームを受信するビットストリーム抽出装置、すなわちビットストリーム抽出器において実行されてもよい。このために、方法の一実施形態は、ビデオ復号器又はビデオパケットをルーティングするように構成されるネットワーク要素において実現されてもよい。

ビデオパケットに分割された圧縮ビデオビットストリームからビデオパケットを抽出する方法の一実施形態５１０を図５に示す。方法５１０は、少なくとも１つの関係のあるサブセット識別子を提供すること（５１１）と、圧縮ビデオビットストリームからビデオパケットを受信すること（５１２）と、受信したビデオパケット毎に（５１３）、ビデオパケットのサブセット識別子を検査すること（５１４）と、抽出したサブセット識別子が少なくとも１つの関係のあるサブセット識別子のうちの１つと一致するという条件で（５１５）、圧縮ビデオビットストリームからビデオパケットを抽出すること（５１６）とを備える。

オプションとして、方法５１０は、抽出したビデオパケットを転送又は復号化すること（５１７）と、抽出したサブセット識別子が少なくとも１つの関係のあるサブセット識別子のうちのいずれとも一致しないという条件で（５１５）、受信したビデオパケットを破棄すること（５１８）とを更に備える。

更に、方法５１０は、複数のビットストリームサブセットのうちの対応するビットストリームサブセットのプロパティを記述するサブセットの定義を提供すること（５１９）を備えてもよい。対応するビットストリームと関連付けられたサブセット識別子は、ステップ５１１で少なくとも１つの関係のあるサブセット識別子として使用される。

オプションとして、ステップ５１９において、サブセットの定義は対応するビットストリームサブセットの少なくとも１つのプロパティに従って複数のサブセットの定義から選択されてもよい。サブセットの定義は、圧縮ビデオビットストリーム内のビデオパケットから受信されてもよい。

更に、方法５１０は、少なくとも１つの関係のあるサブセット識別子を含むビデオ表現の定義を提供すること（５２０）を更に備えてもよい。少なくとも１つの関係のあるサブセット識別子と関連付けられたビットストリームサブセットは復号化可能なビデオ表現を形成する。ビデオ表現の定義は、圧縮ビデオビットストリーム内のビデオパケットから受信されてもよい。

以下、図６を参照して、本発明の一実施形態に係る圧縮ビデオビットストリーム内のビットストリームサブセットを示すビットストリームマーカを説明する。ビットストリームマーカの一実施形態は、例えば図１を参照して説明した符号化装置１１０内に位置する。特に、ビットストリームマーカの一実施形態はビデオ符号器において実現されてもよい。

ビットストリームマーカ６２０は、ビデオソース信号６０１を符号化するように構成されるビデオ符号器６１０から圧縮ビデオビットストリーム６０２を受信する。ビットストリームマーカ６２０は、各々が例えばビデオフレームである圧縮ビデオデータ、補足情報又は一般にＮＡＬユニットを含むビデオパケットにビットストリーム６０２を細分化する。その後、各ビデオパケットは、前述したように、ＮＡＬユニットヘッダ内の構文要素ｓｔｒｅａｍ＿ｉｄを使用して単一のサブセット識別子でマークを付けられる。ビットストリームマーカ６２０は、パケット化され且つマークを付けられたビットストリーム６０３をネットワーク１２０等の転送ネットワークに送信し、最終的にクライアント又は図１を参照して説明した復号化装置１３０等のピア・トゥ・ピアネットワーク内のピアに送信する。

このために、ビットストリームマーカ６２０は、圧縮ビデオビットストリームを受信する受信ユニット６２１と、圧縮ビデオビットストリームをビデオパケットに分割するように構成されたパケット化ユニット６２２と、単一のサブセット識別子ｓｔｒｅａｍ＿ｉｄで各ビデオパケットにマークを付けるマーク付けユニット６２３とを備える。

更に、ビットストリームマーカ６２０は、オプションで、少なくとも１つのサブセットの定義を提供するサブセットの定義ユニット６２４を備えてもよい。サブセットの定義は、圧縮ビデオビットストリーム内のビデオパケットとして提供されてもよい。

更に、ビットストリームマーカ６２０は、オプションで、少なくとも１つのビデオ表現の定義を提供するビデオ表現の定義ユニット６２５を備えてもよい。ビデオ表現の定義は、圧縮ビデオビットストリーム内のビデオパケットとして提供されてもよい。

受信ユニット６２１、パケット化ユニット６２２、マーク付けユニット６２３、サブセットの定義ユニット６２４及びビデオ表現ユニット６２５は、回路網、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、１つ以上のプロセッサ上で実行するコンピュータプログラムモジュール、あるいはそれらの組み合わせにより実現される。ユニット６２１〜６２５は別個のユニットとして実現されてもよく、あるいは組み合わされて実現されてもよい。

ビデオ符号器６１０はビットストリームマーカ６２０にパケット化されたビデオビットストリーム６０２を提供してもよく、その場合、ビットストリームマーカ６２０はビットストリーム６０２をパケットに細分化する必要がないことが理解されるだろう。更に、上述の本発明の一実施形態に係るマーク付け手順は、別個のビットストリームマーカではなくビデオ符号器６１０により実現されてもよい。更に、コンピュータプログラムの一実施形態を用いて既存のビデオ符号器のソフトウェアを更新することにより、既存のビデオ符号器が本発明の一実施形態に係るビットストリームのマーク付けを実行するように構成されてもよい。

以下、図７を参照して、本発明の一実施形態に係る圧縮ビデオビットストリームからビデオパケットを抽出するビットストリーム抽出器を説明する。ビットストリーム抽出器の一実施形態は、例えば図１を参照して説明した復号化装置１３０又はネットワーク要素１２１〜１２３内に位置する。特に、ビットストリーム抽出器の一実施形態はビデオ復号器において実現されてもよく、あるいはビデオパケットをルーティングするように構成されるネットワーク要素において実現されてもよい。

ビットストリーム抽出器７１０は、圧縮ビデオビットストリーム７０１、ビデオパケット、すなわち複数のビットストリームサブセットと関連付けられたＮＡＬユニットを受信する。ビデオビットストリーム７０１は、例えば図１を参照して説明したネットワーク１２０等の転送ネットワークから受信される。ビットストリーム抽出器７１０は、ビットストリーム７０１に含まれる関係のあるＮＡＬユニットを識別し、更なる処理のためにそれらを抽出する。

このために、ビットストリーム抽出器７１０は、少なくとも１つの関係のあるサブセット識別子を提供するサブセット選択ユニット７１１と、ビデオビットストリーム７０１からビデオパケットを受信する受信ユニット７１２と、受信したビデオパケット毎にそのサブセット識別子を検査し且つ抽出したサブセット識別子が少なくとも１つの関係のあるサブセット識別子のうちの１つと一致するという条件でビデオビットストリーム７０１からビデオパケットを抽出する抽出ユニット７１３とを備える。オプションとして、抽出ユニット７１３は、受信したビデオパケット毎に、抽出したビデオパケットの転送又は復号化、並びにビデオパケットの破棄（７０４）を行うように更に構成される。ビデオパケットが転送される場合、これは例えばビデオ復号器７２０に送信される（７０２）。ビデオ復号器７２０はビデオ信号を復号化し、閲覧者に対する表示等の更なる処理のために復号化ビデオ信号７０３を出力する。受信したビデオパケットは、抽出されたサブセット識別子が少なくとも１つの関係のあるサブセット識別子のうちのいずれとも一致しないという条件で破棄される（７０４）。

オプションとして、ビットストリーム抽出器７１０は、サブセットの定義を提供するサブセットの定義ユニット７１４を更に備えてもよい。サブセットの定義ユニット７１４は、対応するビットストリームサブセットの少なくとも１つのプロパティに従って複数のサブセットの定義から１つのサブセットの定義を選択するように構成される。サブセットの定義ユニット７１４は、圧縮ビデオビットストリーム内のビデオパケットからサブセットの定義を受信するように更に構成されてもよい。

ビットストリーム抽出器７１０等のビットストリーム抽出器の一実施形態は、ビデオ表現の定義を提供するビデオ表現の定義ユニット７１５を更に備えてもよい。ビデオ表現の定義ユニット７１５は、圧縮ビデオビットストリーム内のビデオパケットからビデオ表現の定義を受信するように更に構成されてもよい。

サブセット選択ユニット７１１、受信ユニット７１２、抽出ユニット７１３、サブセットの定義ユニット７１４及びビデオ表現ユニット７１５は、回路網、ＩＣ、ＡＳＩＣ、１つ以上のプロセッサ上で実行するコンピュータプログラムモジュール、あるいはそれらの組み合わせにより実現される。ユニット７１１〜７１５は、別個のユニットとして実現されてもよく、あるいは組み合わされて実現されてもよい。

ビデオビットストリームからビットストリームサブセット、すなわちビデオパケットを抽出する手順は、別個のビットストリーム抽出器ではなくビデオ復号器７２０により実行されてもよいことが理解されるだろう。更に、コンピュータプログラムの一実施形態を用いて既存のビデオ復号器のソフトウェアを更新することにより、既存のビデオ復号器が本発明の一実施形態に係るビットストリームの抽出を実行するように構成されてもよい。

図８を参照して、本発明の実施形態に係るコンピュータプログラム及びコンピュータプログラム製品を示す。

図８は、ビデオビットストリーム８０１を処理し且つ処理されたビデオビットストリーム８０２を出力するビデオ処理装置８００を示す。ビデオ処理装置８００は、プロセッサ８０３及び記憶媒体８０４を備える。コンピュータプログラム製品は、コンピュータプログラム８０５を記憶した記憶媒体８０４を備える。あるいは、コンピュータプログラム８０５は、フロッピディスク又はメモリスティック等の適切なコンピュータプログラム製品により記憶媒体８０４に転送される。更なる方法として、コンピュータプログラム８０５は、ネットワークを介して記憶媒体８０４にダウンロードされる。プロセッサ８０３は、記憶媒体８０４からコンピュータプログラム８０５をロードしてコンピュータプログラム８０５に含まれるコンピュータプログラムコードを実行することにより本発明の第１の態様又は第４の態様に係る方法の一実施形態を実現するように構成される。例えばプロセッサ８０３は、コンピュータプログラム８０５を実行する時に、圧縮ビデオビットストリーム内のビットストリームサブセットを示す方法の一実施形態を実現するように構成される。あるいは、プロセッサ８０３は、コンピュータプログラム８０５を実行する時に、圧縮ビデオビットストリームからビデオパケットを抽出する方法の一実施形態を実現するように構成される。プロセッサ８０３は、汎用プロセッサ、ビデオプロセッサ、あるいはコンピュータプログラム８０５を実行する時に本発明の第１の態様又は第４の態様に係る方法の一実施形態を実現するように構成される他の何らかの種類の回路網である。処理装置８００は、例えば移動電話、タブレット、ユーザ機器（ＵＥ）、パーソナルコンピュータ、ビデオプレーヤ／レコーダ、マルチメディアプレーヤ、メディアストリーミングサーバ、セットトップボックス、テレビ、あるいは演算機能を有する他の何らかの種類の装置に含まれてもよい。

更に、上述した本発明の全ての実施形態は、ソフトウェア、ハードウェア又はそれらの組み合わせでビデオ符号器又は復号器において実現される。符号器及び／又は復号器は、送出装置と受信装置との間の通信ネットワーク内のネットワークノードであるか又はそのようなネットワークノードに属するネットワーク装置において実現されてもよい。そのようなネットワーク装置は、例えば受信装置が送出装置から送出されたビデオ符号化規格ではない別のビデオ符号化規格のみに対応するか又はそれを優先することが確立される場合に１つのビデオ符号化規格に従うビデオを別のビデオ符号化規格に変換する装置である。上記で開示したビデオ符号器及び／又は復号器は物理的に別個の装置として開示され、１つ以上のＡＳＩＣ等の特定用途向け回路に含まれてもよいが、本発明は、符号器及び／又は復号器の一部が１つ以上の汎用プロセッサ上で実行するコンピュータプログラムモジュールとして実現される装置の実施形態を範囲に含む。

本発明は上述の実施形態に限定されないことが当業者には理解される。多くの変更及び変形が添付の特許請求の範囲の範囲内で可能である。例えば提案された階層ストリームの信号伝送の概念は、原則的に、オーディオ、字幕及びグラフィックス等の全ての種類のメディアに適用される。更に、クライアント又はネットワーク要素が信頼性の高い伝送チャネルによりＳｔＰＳ及びＲＰＳを有利に取得できる一方で、ビデオデータを含む残りのビットストリームサブセットを送信するためにＨＴＴＰ及びＲＴＰ等の伝送プロトコルが使用されてもよい。最後に、ＮＡＬユニットヘッダは、単一のサブセット識別子ｓｔｒｅａｍ＿ｉｄに加えて、更なる情報要素を含んでもよいことが更に理解されるだろう。

Claims (28)

1. 複数のビットストリームサブセットを含む圧縮ビデオビットストリーム（２１０）内のビットストリームサブセットを示す方法（４１０）であって、
   前記圧縮ビデオビットストリームを受信すること（４１１）と、
   各々がビデオデータ又は補足情報のいずれか一方を含むビデオパケット（２１１〜２１６）に前記圧縮ビデオビットストリームを分割すること（４１２）と、
   複数のサブセット識別子のうちの一つのサブセット識別子で各ビデオパケットにマークを付けること（４１３）と、前記複数のサブセット識別子の各サブセット識別子が前記複数のビットストリームサブセットのうちの対応するビットストリームサブセットと関連付けられ、
   各々が少なくとも１つの関係のあるサブセット識別子を含む少なくとも１つのビデオ表現の定義（２３１〜２３３、３３０）を提供すること（４１５）と、を備え、前記少なくとも１つの関係のあるサブセット識別子と関連付けられた前記ビットストリームサブセットは復号化可能なビデオ表現を形成する、ことを特徴とする方法。
2. 各々が前記複数のビットストリームサブセットのうちの対応するビットストリームサブセットのプロパティを記述する少なくとも１つのサブセットの定義（２２１〜２２３、３２０）を提供すること（４１４）を更に備えることを特徴とする請求項１記載の方法。
3. 前記少なくとも１つのサブセットの定義（２２１〜２２３、３２０）は、前記圧縮ビデオビットストリーム（２１０）内のビデオパケットとして提供されることを特徴とする請求項２記載の方法。
4. 前記複数のサブセット識別子の各サブセット識別子は、関連付けられたビットストリームサブセットの相対的な優先順位に対応する数値であることを特徴とする請求項１から３のいずれか１項に記載の方法。
5. 前記少なくとも１つのビデオ表現の定義（２３１〜２３３、３３０）は、前記圧縮ビデオビットストリーム（２１０）内のビデオパケットとして提供されることを特徴とする請求項１記載の方法。
6. プロセッサ（８０３）上で実行される時に請求項１から５のいずれか１項に記載の方法を実現するように構成されたコンピュータプログラム（８０５）。
7. 請求項６記載のコンピュータプログラム（８０５）を記憶したコンピュータ読み取り可能な記憶媒体（８０４）。
8. ビデオパケット（２１１〜２１６）に分割された圧縮ビデオビットストリームからビデオパケットを抽出する方法（５１０）であって、前記圧縮ビデオビットストリーム（２１０）は複数のビットストリームサブセットを含み、各ビデオパケットがビデオデータ又は補足情報のいずれか一方と複数のサブセット識別子のうちの一つのサブセット識別子とを含み、各サブセット識別子が複数のビットストリームサブセットのうちの対応するビットストリームサブセットと関連付けられ、
   少なくとも１つの関係のあるサブセット識別子を含むビデオ表現の定義（２３１〜２３３、３３０）を提供すること（５２０）と、前記少なくとも１つの関係のあるサブセット識別子と関連付けられた前記ビットストリームサブセットは復号化可能なビデオ表現を形成し、
   前記圧縮ビデオビットストリームからビデオパケットを受信すること（５１２）と、
   受信したビデオパケット毎に、
   前記ビデオパケットの前記サブセット識別子を検査すること（５１４）と、
   前記抽出されたサブセット識別子が前記少なくとも１つの関係のあるサブセット識別子のうちの１つと一致する場合に（５１５）、前記圧縮ビデオビットストリームから前記ビデオパケットを抽出すること（５１６）と、
   を備えることを特徴とする方法。
9. 受信したビデオパケット毎に、
   前記抽出したビデオパケットを転送又は復号化すること（５１７）と、
   前記抽出されたサブセット識別子が前記少なくとも１つの関係のあるサブセット識別子のいずれとも一致しない場合に（５１５）、前記受信したビデオパケットを破棄すること（５１８）と、
   を更に備えることを特徴とする請求項８記載の方法。
10. 前記複数のビットストリームサブセットのうちの対応するビットストリームサブセットのプロパティを記述するサブセットの定義（２２１〜２２３、３２０）を提供すること（５１９）と、
    前記対応するビットストリームサブセットと関連付けられた前記サブセット識別子を前記少なくとも１つの関係のあるサブセット識別子として使用すること（５１１）と、
    を更に備えることを特徴とする請求項８又は９記載の方法。
11. 前記対応するビットストリームサブセットの少なくとも１つのプロパティに従って、複数のサブセットの定義（２２１〜２２３、３２０）から前記サブセットの定義を選択すること（５１９）を更に備えることを特徴とする請求項１０記載の方法。
12. 前記圧縮ビデオビットストリーム（２１０）内のビデオパケットから前記サブセットの定義（２２１〜２２３、３２０）を受信すること（５１９）を更に備えることを特徴とする請求項１０又は１１記載の方法。
13. 前記圧縮ビデオビットストリーム（２１０）内のビデオパケットから前記ビデオ表現の定義（２３１〜２３３、３３０）を受信すること（５２０）を更に備えることを特徴とする請求項８記載の方法。
14. 前記複数のサブセット識別子の各サブセット識別子は、関連付けられたビットストリームサブセットの相対的な優先順位に対応する数値であることを特徴とする請求項８から１３のいずれか１項に記載の方法。
15. プロセッサ（８０３）上で実行される時に請求項８から１４のいずれか１項に記載の方法を実現するように構成されたコンピュータプログラム（８０５）。
16. 請求項１５記載のコンピュータプログラム（８０５）を記憶したコンピュータ読み取り可能な記憶媒体（８０４）。
17. 複数のビットストリームサブセットを含む圧縮ビデオビットストリーム（２１０、６０２）内のビットストリームサブセットを示すビットストリームマーカ（１１０、６２０）であって、
    前記圧縮ビデオビットストリームを受信するように構成された受信ユニット（６２１）と、
    各々がビデオデータ又は補足情報のいずれか一方を含むビデオパケット（２１１〜２１６）に前記圧縮ビデオビットストリームを分割するように構成されたパケット化ユニット（６２２）と、
    複数のサブセット識別子のうちの一つのサブセット識別子で各ビデオパケットにマークを付けるように構成されたマーク付けユニット（６２３）と、各サブセット識別子は前記複数のビットストリームサブセットのうちの対応するビットストリームサブセットと関連付けられており、
    各々が少なくとも１つの関係のあるサブセット識別子を含む少なくとも１つのビデオ表現の定義（２３１〜２３３、３３０）を提供するように構成されたビデオ表現の定義ユニット（６２５）を更に備え、前記少なくとも１つの関係のあるサブセット識別子と関連付けられた前記ビットストリームサブセットは復号化可能なビデオ表現を形成する、ことを特徴とするビットストリームマーカ。
18. 各々が前記複数のビットストリームサブセットのうちの対応するビットストリームサブセットのプロパティを記述する少なくとも１つのサブセットの定義（２２１〜２２３、３２０）を提供するように構成されたサブセットの定義ユニット（６２４）を更に備えることを特徴とする請求項１７記載のビットストリームマーカ。
19. 前記少なくとも１つのサブセットの定義（２２１〜２２３、３２０）は、前記圧縮ビデオビットストリーム（２１０、６０３）内のビデオパケットとして提供されることを特徴とする請求項１８記載のビットストリームマーカ。
20. 前記複数のサブセット識別子の各サブセット識別子は、関連付けられたビットストリームサブセットの相対的な優先順位に対応する数値であることを特徴とする請求項１７から１９のいずれか１項に記載のビットストリームマーカ。
21. 前記少なくとも１つのビデオ表現の定義（２３１〜２３３、３３０）は、前記圧縮ビデオビットストリーム（２１０、６０３）内のビデオパケットとして提供されることを特徴とする請求項１７記載のビットストリームマーカ。
22. ビデオパケット（２１１〜２１６）に分割された圧縮ビデオビットストリームからビデオパケットを抽出するビットストリーム抽出器（１２１〜１２３、１３０、７１０）であって、前記圧縮ビデオビットストリーム（２１０、７０１）は複数のビットストリームサブセットを含み、各ビデオパケットはビデオデータ又は補足情報のいずれか一方と複数のサブセット識別子のうちの一つのサブセット識別子とを含み、各サブセット識別子は複数のビットストリームサブセットのうちの対応するビットストリームサブセットと関連付けられ、前記ビットストリーム抽出器は、
    少なくとも１つの関係のあるサブセット識別子を含むビデオ表現の定義（２３１〜２３３、３３０）を提供するように構成されたビデオ表現の定義ユニット（７１５）と、前記少なくとも１つの関係のあるサブセット識別子と関連付けられた前記ビットストリームサブセットは復号化可能なビデオ表現を形成し、
    前記圧縮ビデオビットストリームからビデオパケットを受信するように構成された受信ユニット（７１２）と、
    受信したビデオパケット毎に、
    前記ビデオパケットの前記サブセット識別子を検査し、且つ
    前記抽出されたサブセット識別子が前記少なくとも１つの関係のあるサブセット識別子のうちの１つと一致する場合に、前記圧縮ビデオビットストリームから前記ビデオパケットを抽出するように構成された抽出ユニット（７１３）と、
    を備えることを特徴とするビットストリーム抽出器。
23. 前記抽出ユニット（７１３）は、受信したビデオパケット毎に、
    前記抽出したビデオパケットを転送又は復号化し（７０２）、
    前記抽出されたサブセット識別子が前記少なくとも１つの関係のあるサブセット識別子のいずれとも一致しない場合に、前記受信したビデオパケットを破棄する（７０４）ように更に構成されることを特徴とする請求項２２記載のビットストリーム抽出器。
24. 前記複数のビットストリームサブセットのうちの対応するビットストリームサブセットのプロパティを記述するサブセットの定義（２２１〜２２３、３２０）を提供するように構成されたサブセットの定義ユニット（７１４）を更に備え、
    前記抽出ユニット（７１３）は、前記対応するビットストリームサブセットと関連付けられた前記サブセット識別子を前記少なくとも１つの関係のあるサブセット識別子として使用するように更に構成されることを特徴とする請求項２２又は２３記載のビットストリーム抽出器。
25. 前記サブセットの定義ユニット（７１４）は、前記対応するビットストリームサブセットの少なくとも１つのプロパティに従って、複数のサブセットの定義（２２１〜２２３、３２０）から前記サブセットの定義を選択するように更に構成されることを特徴とする請求項２４記載のビットストリーム抽出器。
26. 前記サブセットの定義（２２１〜２２３、３２０）は、前記圧縮ビデオビットストリーム（２１０、７０１）内のビデオパケットから受信されることを特徴とする請求項２４又は２５記載のビットストリーム抽出器。
27. 前記ビデオ表現の定義ユニット（７１５）は、前記圧縮ビデオビットストリーム（２１０、７０１）内のビデオパケットから前記ビデオ表現の定義（２３１〜２３３、３３０）を受信するように更に構成されることを特徴とする請求項２２記載のビットストリーム抽出器。
28. 前記複数のサブセット識別子の各サブセット識別子は、関連付けられるビットストリームサブセットの相対的な優先順位に対応する数値であることを特徴とする請求項２２から２７のいずれか１項に記載のビットストリーム抽出器。

Images