JP7553685B2 - クラスタに基づいた依存信号 - Google Patents

Description

本発明は、例えばマルチレイヤビデオ符号化の分野などの・・・・に関する。

ＨＥＶＣ基本仕様［非特許文献１］などのビデオ符号器規格、および、マルチビュー（ｖｉｅｗ）拡張［非特許文献２、３］などのその拡張は、通常、層にされた符号化シナリオにおいて、ビデオデータの個々の符号化された大きな塊が属する層を信号で伝えるためのメカニズムを引き継ぐ。信号化メカニズムはすぐに利用できることを必要とする（図１の表に与えられたＨＥＶＣのＮＡＬユニットヘッダー（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）の中のレイヤ識別子と比較してください）。

ビットについてその有限サイズに関して、個々のＨＥＶＣ構文要素は、スケーラブル層、ビューおよび／または深度を識別するために用いられる６４個の値を許容する。例えば、現在のＨＥＶＣ ＮＡＬユニットヘッダー構文を使っているマルチビュービデオに対して、これは、最大６４個のビュー、または、３２個のビュー＋深度の組み合わせの制限を暗示している。これは多くの共通のステレオビューシナリオおよび他の応用のために十分であるけれども、光分野画像処理［非特許文献４、５］またはホログラフィックディスプレイ［非特許文献６］のような応用のための１００個を超えるビューを有する莫大なカメラ配列は、レイヤ識別子のより大きい空間を信号で伝えるために拡張可能なメカニズムを必要とする。

さらに、それらの符号化依存（ｃｏｄｉｎｇ ｄｅｐｅｎｄｅｎｃｉｅｓ）もしくは互いの空間関係の観点から、所定の層またはビューをグループ化することによってレイヤ識別子の空間を構造化することが有利である。さらに、そのような情報を符号化されたビデオビットストリーム内の既に利用可能な情報から導出することが耐えられない計算処理源を必要とするので、構造化されたレイヤ識別子空間の中の符号化依存のコンパクトな表現も利点がある。

Ｂ．ブロス、Ｗ．－Ｊ．ハン、Ｊ．－Ｒ．オーム、Ｇ．Ｊ．サリバン、Ｔ．ウィーガント（編集）、「高能率ビデオ符号化（ＨＥＶＣ）テキスト仕様書草稿１０」、ＪＣＴＶＣ－Ｌ１００３、ジュネーブ、ＣＨ、２０１３年１月 Ｇ．テク、Ｋ．ウェグナー、Ｙ．チェン、Ｍ．ハンニュクセラ、Ｊ．ボイス（編集）、「ＭＶ－ＨＥＶＣ草稿テキスト３（ＩＳＯ／ＩＥＣ ２３００８－２ ＰＤＡＭ２）」、ＪＣＴ３Ｖ－Ｃ１００４、ジュネーブ、ＣＨ、２０１３年１月 Ｇ．テク、Ｋ．ウェグナー、Ｙ．チェン、Ｓ．イア（編集）、「３Ｄ－ＨＥＶＣテストモデル説明書、草稿仕様書」、ＪＣＴ３Ｖ－Ｃ１００５、ジュネーブ、ＣＨ、２０１３年１月 ウィルバーン、ベネット他、大きいカメラ配列を使用している高性能画像、グラフィックのＡＣＭトランスアクション、２００５、２４。Ｊｇ．、Ｎｒ．３、Ｓ．７６５－７７６ ウィルバーン、ベネットＳ．他、光分野ビデオカメラ、電子画像処理２００２、光学と光通信学のための国際協会、２００１．Ｓ．２９－３６ ホリマイ ヒデヨシ他、３６０度水平線視角を持つフルカラー３Ｄディスプレイシステム、Ｐｒｏｃ．Ｉｎｔ．３Ｄとコンテンツのシンポジウム、２０１０、Ｓ．７－１０

従って、例えば、減少したサイド情報オーバーヘッド、および／または、発展したバックワード互換性について、より効率的であるマルチレイヤ符号化に関連して・・・・の信号のための概念を提供することが、本応用の目的である。この目的は保留中の独立請求項の主題によって達成される。

本応用の面のうちの１つは、マルチレイヤデータストリームの層間のレイヤ間依存の信号化に関係している。この面によると、一方のレイヤ間依存の潜在的な多様性の非常に集中的な制限と、他方のレイヤ間依存の非常に複雑な信号との間の良好な妥協案は、ベースレイヤＩＤによって表現可能な異なる値のペア間の相互依存を標示している第１相互依存構文構造と、拡張レイヤＩＤによって表現可能な異なる値のペア間の相互依存を標示している第２相互依存構文構造との方法によって、レイヤ間依存を説明することによって見付けられる。マルチレイヤデータストリームの部分は、層に索引を付けているベースレイヤＩＤおよび拡張レイヤＩＤに関連する。この概念に従って、強調は、一方の信号化できる相互層依存の増大した多様性と、他方のレイヤ間依存を信号で伝えるための減少したサイド情報オーバーヘッドとの間を移行する。例えば、共通のベースレイヤＩＤを持つ層のセットを、それぞれ「クラスタ（群れ）」と呼ぶ。同じ第２相互依存構文構造は、第１の相互依存構文構造を介して、全てのクラスタ内の、および、互いに関連した全てのクラスタ間の相互依存を調節するために、別々に使用される。代わりに、第２相互依存構文構造の２つの例示が、一方のクラスタ内の層と他方の異なるクラスタの層間との相互依存を説明するために用いられる。増大した多様性または減少したサイド情報オーバーヘッドに置かれた強調とは無関係に、相互依存信号概念が、信号オーバーヘッドを低く保持することを生じる。

本応用の面のうちの１つは、マルチレイヤビデオ信号のパケットの各々が関連するレイヤＩＤの信号に関係している。特にこの面は、この層関係を信号で伝える効率的な方法を達成する。それでも、ベースレイヤＩＤフィールドの所定の値が、ベースレイヤＩＤフィールドのベースレイヤＩＤ値が０のように拡張できないと制限される符号でバックワード互換性を維持する。この拡張できないベースレイヤＩＤ値についてこの制限を特に回避する代わりに、マルチレイヤデータストリームの部分のレイヤＩＤは、ベースレイヤＩＤフィールドを第１副フィールドおよび第２副フィールドに区分することによって拡張できる方法で信号で伝えられる。ベースレイヤＩＤフィールドの第１の副フィールドが既定の基準を満たせば、いつでも、拡張レイヤＩＤフィールドが提供される。仮にベースレイヤＩＤフィールドの第１副フィールドが、既定の基準を満たさないならば、拡張レイヤＩＤフィールドは省略される。前記の拡張できないベースレイヤＩＤ値は、ベースレイヤＩＤフィールドの第１副フィールドが既定の基準を満たさないベースレイヤＩＤ値のグループ内に「隠されて」いる。従って、この拡張できないベースレイヤＩＤ値は別々に処理されるのではなく、前者のグループの部分が処理される。むしろ、仮にベースレイヤＩＤフィールドの第１副フィールドが、既定の基準を満たすならば、拡張値は、拡張値のドメインの第１副セットの中に存在するように、マルチレイヤデータストリーム内の信号で伝えられた拡張レイヤＩＤフィールドから導出される。そして、仮にベースレイヤＩＤフィールドの第１副フィールドが、既定の基準を満たさないならば、この拡張値は、拡張値のドメインの第１副セットに解体する値に設定される。個々の部分が関連する層は、その時、ベースレイヤＩＤフィールドの第２副フィールドから導出されるクラスタ値と同様の拡張値を使って索引を付けられる。大体、信号効率は、バックワード互換性の維持にも関わらず失われない。

本応用の面のうちの１つは、マルチレイヤビデオ信号などの層のための少なくとも１つの特性の信号（例えばそれぞれの層毎にそれぞれの層がレイヤ間予測を介して直接に関連する依存層の標示）または、前述の第２相互依存構文構造の信号に関係している。この面に従って、最大の構文要素は、マルチレイヤビデオ信号のパケットの拡張レイヤＩＤフィールドの使用された最大値を示すために、マルチレイヤビデオ信号内で信号が伝えられる。例えば、最大の構文要素の範囲は、マルチレイヤビデオ信号のいくつかの部分を横切って拡張している、マルチレイヤビデオ信号の既定の部分である。従って、この面によると、マルチレイヤビデオ信号の相対的に大きい既定の部分に対して、拡張レイヤＩＤフィールドによって信号化できる可能な値の可能なドメインの実際に消費された部分についての知識を得ることは、マルチレイヤビデオ信号を受信するデコーダやネットワーク要素などの装置に対して適当である。少なくとも１つの特性が、ベースレイヤＩＤフィールド値と拡張レイヤＩＤフィールド値とのそれぞれの結合のために信号で伝えられる必要はないけれども、むしろ、仮の最大値に基づいて決定された層の最大値のための少なくとも１つの特性を信号で伝えることは重要である。従って、少なくとも１つの特性は、レイヤＩＤを持つ層のために送信／信号することは必要でない。その拡張レイヤＩＤは、マルチレイヤビデオ信号の既定の部分内で起こらない。これを越えて、別の実施の形態に従って、仮の最大値の知識は、個々の部分のレイヤＩＤを信号で伝えるためのサイド情報オーバーヘッドを減らすために、すなわち、マルチレイヤビデオ信号のパケット内の拡張レイヤＩＤフィールドを信号で伝えるために必要なビットを減らすために使用される。

概説された面は結合され又は個々に使用され、上で概説された面の好ましい実例は、従属請求項の主題であり、図に関して後で議論される。

図１は、ＨＥＶＣのＮＡＬユニットヘッダーの構文を示す。 図２は、マルチレイヤビデオエンコーダ、ネットワーク要素およびマルチレイヤビデオデコーダを含む環境を模式的に説明する。マルチレイヤビデオエンコーダ、ネットワーク要素およびマルチレイヤビデオデコーダは、以下の図面において説明された概念のいずれか、または、いずれかの結合によって改善される。 図３は、ネットワーク装置、および、ネットワーク装置に到達するマルチレイヤデータストリーム内のクラスタな方法のレイヤ間依存において信号で伝える概念を模式的に示す。 図４は、図３の概念に従ってレイヤ間依存を信号で伝える方法を模式的に説明する。 図５は、図３の信号概念を使う場合にレイヤ間依存を導出するために、より具体的な例を模式的に説明する。 図６は、レイヤＩＤ拡張を示している構文要素の方法によって拡張されたＨＥＶＣ構文の一部分を示すことによって、スライスセグメントヘッダーのＨＥＶＣ構文の可能な拡張を示す。 図７は、図３の信号概念を実施するために、例示的に拡張されたＶＰＳ構文の一例を示す。 図８は、図７の例の代案を示す。 図９は、図７の例の代案を示す。 図１０は、図７の例の代案を示す。 図１１は、拡張レイヤＩＤフィールドの仮の最大値が、データストリームの中で信号によって伝えられる本応用のより一層の概念を設定するための装置を模式的に示す。 図１２は、図１１の概念を模式的に説明する。 図１３は、拡張レイヤＩＤフィールドを含むように拡張されたＨＥＶＣのスライスセグメントヘッダーを取り出す部分の一例を示す。 図１４は、図１３の拡張レイヤＩＤフィールドの長さを示すために、構文要素を含むように拡張されたＶＰＳ構文の一例を示す。 図１５は、拡張レイヤＩＤフィールドの最大値を示している構文要素を含むように拡張されたＶＰＳ構文の一例を示す。 図１６ａは、拡張レイヤＩＤフィールドを含むように拡張されたＳＥＩ拡張の構文構造を取り出す部分の一例を示す。 図１６ｂは、拡張レイヤＩＤフィールドを含むように拡張されたＳＰＳ拡張の構文構造を取り出す部分の一例を示す。 図１６ｃは、拡張レイヤＩＤフィールドを含むように拡張されたＰＰＳ拡張の構文構造を取り出す部分の一例を示す。 図１７は、図１１および図１２について説明された仮の最大値に依存している構文部分を、複数回繰り返して通ることによって、ビデオデータストリーム内の層に情報を信号で伝えているＶＰＳ構文の一例を示す。 図１８は、特定の例に従って、特に、拡張レイヤＩＤフィールドを示すためにｌａｙｅｒ＿ｉｄ＿ｅｘｔを使用して、ベースレイヤＩＤフィールドを示すためにｎｕｈ＿ｌａｙｅｒ＿ｉｄを使用して、及び、レイヤＩＤを示すためにｌａｙｅｒＩＤを使用して、拡張レイヤＩＤフィールド、ベースレイヤＩＤフィールドおよびレイヤＩＤの間の模式的な例示関係を示す。そして、拡張レイヤＩＤフィールドの表現可能な値の数が、ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ（ｐｌｕｓ１）によって示されている。ここでは、例として、ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎを２と等しく設定することによって、拡張レイヤＩＤフィールドの長さを２に選択することによって３に設定されている。 図１９は、拡張レイヤＩＤフィールドを含むように拡張されたスライスセグメントヘッダーを取り出す部分の一例を示す。 図２０ａは、ベースレイヤＩＤフィールドの副フィールドの長さを示す構文要素を含むように拡張されたＶＰＳ構文の一例を示す。 図２０ｂは、拡張レイヤＩＤフィールドを条件付きで明示的に信号で伝えるように修正されたスライスセグメントヘッダー構文を取り出す部分の一例を示す。 図２１は、図１８の概念に従って実施された関係を使用してレイヤＩＤを導出しているネットワーク装置の機能を説明するフローチャートを示す。

本応用の特定の実施の形態を説明する前に、例示的なマルチレイヤビデオ符号器の環境が図２に関して説明される。以下で概説される実施の形態と面は有利に使用される。例示的なマルチレイヤビデオ符号器の環境のこの概要は、さらに以下で概説される実施の形態を限定するものと理解してはならないけれども、以下の図について例示的に提供される詳細と機能は、より詳細な実施の形態を生じるように以下でさらに概説される実施の形態の可能な拡張の予定を説明するとみなされる。ともかく、以下に提供された説明のマルチレイヤビデオ符号器の環境は、以下で概説される実施の形態の利点の理解をより容易にする。

図２は、入力でビデオ素材２０２を受信するマルチレイヤビデオエンコーダ２００を説明的に示す。説明の目的だけのために、ビデオ素材２０２は、ビデオの個々の画像のためのテクスチャーや深度などの複数のビューのそれぞれのためにビデオデータを移送するマルチビュービデオ信号として説明される。一般的に、ビデオ素材２０２は１つの場面の多次元サンプリングを表している。１つの次元は時間ｔである。すなわち、ビデオ素材２０２はこの場面を時間的にサンプリングし、従って、１つの時間瞬間（ｔｉｍｅ ｉｎｓｔａｎｔ）当たり１つの画像を生じる。さらに、この場面は異なる視点から捕らえられ、従って、１つのビュー当たり１つのビデオ、または、時間瞬間ごとに１つのビュー当たり１つの画像を生じる。さらに、ビデオ素材２０２は、場面のテクスチャーの空間的サンプリング（すなわち、個々のビュー毎の、場面の色や場面の深度マップの空間的サンプリング）に加えて、個々のビュー、または個々のビューの副セットを提供する。図２は、例えば、ハッチングを使用して説明された深度マップとハッチングが描かれていないテクスチャーマップまたはイメージとの間で異なる。しかし、さらに以下で概説される実施の形態のどれもが、そのようなマルチビュー素材に限定されないこと注意するべきである。むしろ、図２の説明は、以下で前面に出された説明を緩和するように提供されただけである。

マルチレイヤビデオエンコーダ２００は、マルチレイヤデータストリームまたはビデオ信号２０４の中にビデオ素材２０２を符号化するように構成されている。特に、マルチレイヤビデオエンコーダ２００は、レイヤ間予測を使用して、異なる情報量レベルに対応する異なる層で、マルチレイヤデータストリーム２０４の中にビデオ素材を符号化する。これは以下を意味している。マルチレイヤビデオエンコーダ２００は、複数のパケット２０６を含むようにマルチレイヤデータストリームを生成する。パケット２０６のそれぞれは、異なる層のうちの１つと関連する。マルチレイヤビデオエンコーダ２００は、例えば、所定のベースレイヤのパケット２０６の中に、ビデオ素材２０２（例えば単に１つのビューのテクスチャーまたは同類など）の情報量のあるベースレベルを符号化する。例えば、様々な層のうちのいずれかにパケット２０６の関連が、個々のパケット２０６内のレイヤ識別構文要素構造２０８から導出される。例えば、レイヤ識別構文要素構造２０８は、個々のパケット２０６のヘッダー２１０内に含まれている。例えば、説明の目的のために、数字１、２、および３が、パケット２０６の中に記入されるように示される。従って、レイヤＩＤを持つ層がそれぞれ１、２、および３によって説明される。例えば、これらの層の間で、レイヤＩＤ１を持つ層は、情報量のベースレベルを提供する最も低い層またはベースレイヤを形成する。他の層のパケット２０６は、１以上または様々な情報タイプについてのみ、ベースレイヤのパケット２０６で利用可能な情報量を増大する。例えば、特定の層のパケット２０６は、ベースレイヤまたはリファレンスレイヤのパケット２０６内で既に符号化されたビューに加えて、その中で符号化された別のビューを持つ。代わりに、特定の層のパケット２０６は、ビデオ素材２０２の場面の深度情報（ビューの深度情報など）を持ってもよい。そのテクスチャーは、ベースレイヤまたはより一般的にはより下の層であるリファレンスレイヤのパケットの中に既に符号化されている。同様に、表面反射率情報は、別の層（すなわち、照明状況とは無関係にその場面内のオブジェクトの表面反射率についての場面の空間サンプリング）のパケットの中に符号化される。そして、さらに、アルファ混合情報は、別の層（すなわち、個々の画像サンプルと一致している場面ポイントの透明度の空間のサンプリング）のパケットの中に符号化される。また、特定の層のパケット２０６は、特定のカラーコンポーネント情報を追加し、または、空間解像度を増大する（すなわち、空間解像度改良を提供する）。同様に、特定の層のパケット２０６は、ＳＮＲ解像度改良を単に提供する、すなわち、符号化されたビデオ素材の信号対ノイズ比を増大させる。様々な層が関係している限り、マルチレイヤデータストリーム２０４内の冗長性を避けるために、レイヤ間予測がマルチレイヤビデオエンコーダ２００によって使用される。すなわち、特定の層のパケット２０６は、前者の層についてリファレンスレイヤと呼ばれる１つ以上の他の層から得られるように、レイヤ間予測について予測残差をその中で符号化する。レイヤ間予測は、ビデオ素材２０２を説明している構文要素やパラメータなどの異なる実体に適用される。例えば、特定の層のパケット２０６によって運ばれた予測残差は、１つ毎の画素に基づいて空間ドメインの中の１つ以上のリファレンスレイヤから得られるようにレイヤ間予測を訂正する。代わりに、マルチレイヤビデオエンコーダ２００は、例えば、変換残差符号化を使用し、レイヤ間予測訂正が変換係数ベース毎にＤＣＴドメインなどの変換ドメイン内で起こる。代わりに又は追加的に、マルチレイヤビデオエンコーダ２００は、空間的および／または時間的な予測を使用するハイブリッドビデオ符号器タイプであり、例えば、レイヤ間予測は、動作ベクトルの改良に追加的または代替的に関係する。さらに、マルチレイヤビデオエンコーダ２００は、異なる予測モード（空間的および時間的予測など）が適用されるユニットの中の符号化ブロックの中に、および／または、前記の変換が予測残差上で実行されるユニットの中の変換ブロックの中に、および／または、特定の符号化パラメータがビデオ素材２０２を符号化するためにセットされるユニットの中の別のブロックの中に、ビデオ素材２０２の画像を副分割するために、階層的なマルチツリー副分割を使用する。そして、改めて別の層のための副分割情報を信号で伝える代わりに、副分割化が１つ以上のベースレイヤのいずれかから完全に採用されるか、または、その副分割情報についての改良が信号で伝えられるかのいずれかである。

層間のレイヤ間依存の方法によって、マルチレイヤビデオ信号２０４の層が、ツリー２１２の枝を介して相互に関係付けられる。ツリー２１２の節（ノード）は前記の層によって形成される。層間のレイヤ間依存についての情報を移送する（すなわち、復号化側で利用できる相互依存ツリー２１２上の情報を提出する）ために、マルチレイヤビデオ信号２０４は、そこに符号化されたそこの情報を持つ。

図２において、例えば、マルチレイヤビデオエンコーダ２００が、ビデオデータストリーム２０４の中に、情報２１４を構成する又は移送するハイレベル構文パケット２１６を散在させることが説明されている。情報２１４は、ツリー２１２の中のレイヤ間依存を説明するために相互依存構文構造を含む。

しかし、ツリー２１２の情報は、エンコーダおよびデコーダでの欠陥（デフォルト）によって、代替的に知られている又は再建可能である。従って、追加的または代わりに、層関連情報２１４は、あるレイヤＩＤ拡張機構に関連した情報を含む。特に、多くの応用に対して、層の適度な数は、マルチレイヤビデオ信号２０４を形成するために重要であるけれども、いくつかの別の応用は、レイヤ識別構文要素構造２０８によって信号化可能な非常に小さい数の層から損害を被る。すなわち、レイヤ識別構文要素構造２０８が、高い数の層を必要とするそれらの応用に対して、莫大な数の層に適応するように、レイヤ識別構文要素構造２０８を構成することは、応用の全体の多様性を考慮するとき、高いサイドの情報オーバーヘッドの中に不利を生じさせる。そして、レイヤ識別構文要素構造２０８が適度な数の層にのみ適応するように、レイヤ識別構文要素２０８を構成することは、データストリーム２０４を根底にしているマルチレイヤビデオ符号器によって十分にサポートされることから別の応用を除外する。従って、ある拡張機構は、データストリーム２０４のモード間で切り替えできるように使用される。ここで、レイヤ識別構文要素構造２０８はより低い適数の層にのみ適応する。そして、レイヤ識別構文要素構造が高い数の層および情報２１４に適応するモードは、これらのモード間の切り替えに追加的または代替的に関与する。

ハイレベル構文パケット２１６の妥当性の範囲は、マルチレイヤビデオ信号２０４の全体を取り巻くけれども、例えば、それらはマルチレイヤビデオ信号２０４が時間的に分割される大きな塊と関連するように、パケット２１６が属する既定の部分がより小さいことも可能である。それぞれの大きな塊は画像のシーケンスである。例えば、ＤＡＳＨまたは別の適応したストリーミングプロトコルを使用して、マルチレイヤビデオエンコーダ２００は、ちょうど言及した既定の部分のユニットの中のビットストリーム２０４の中に符号化された層数、ツリー構造２１２の形式のレイヤ間依存、および／または、レイヤ識別構文要素構造２０８について拡張または不拡張の間の切り替えを変更する。とにかく、ハイレベル構文パケット２１６を周期的に送信することは、受信者を、ランダムアクセスに基づいて、両者間でマルチレイヤビデオ信号２１４を復号化し始めるために複数のランダムアクセス時間瞬間を持つことができるようにする。

図２は、マルチレイヤデータストリームを受信するための装置も例示的に示す。例えば、オプションのネットワーク要素２１８は、マルチレイヤビデオデータストリーム２０４を受信し、それをマルチレイヤビデオデータストリーム２０４の受信者に転送するために処理する。従って、図２は、マルチレイヤビデオデータストリーム２０４を復号するように構成されたマルチレイヤビデオデコーダ２２０も示す。両方の実体、すなわちネットワーク要素２１８およびマルチレイヤビデオデコーダ２２０は、マルチレイヤデータストリーム２０４を処理するための装置のための例を形成する。

ネットワーク要素２１８は、そこから様々な層間のレイヤ間予測を使って、マルチレイヤデータストリーム２０４を復号できる必要はない。これにもかかわらず、ネットワーク要素２１８およびマルチレイヤビデオデコーダ２２０（すなわち受信者）は、ツリー２１２によって定義されるように、様々な層とそれらの層間のレイヤ間依存とに関連するパケット２０６を知らせる必要がある。ネットワーク要素２１８は、例えば、提供された追加の情報量がネットワーク要素２１８とマルチレイヤビデオデコーダ２２０との間の別の連結内でそれぞれ予備的に必要ではない層に関連したデータストリーム２０４のパケット２０６を破棄する。例えば、連結内のビットレート欠点のために、追加の情報量または同類を再生するための受信者の無能力を破棄する。同様に、マルチレイヤビデオデコーダ２２０も、現在利用できる計算能力、空間解像度などの再生装置のディスプレイ性能、インプットビューまたは同類の最大数のような外部パラメータに対応した特定の層のパケット２０６のうちのいくつかを破棄することを決める。すなわち、装置２１８／２２０は、パケット２０６のレイヤ識別構文要素構造２０８を読み取り、もし存在するならば、層間のレイヤ間依存を情報２１４から導出し、および／または、情報２１４に対応したレイヤ識別構文要素構造２０８に関する拡張モードまたは不拡張モードの間で切り替え、および／または、情報２１４から層に関する別の特性を読み取ることが可能である。

それを超えて、マルチレイヤビデオデコーダ２２０は、その層と、この層が相互予測依存によって相互に関連した全ての層とに関連したパケット２０６の情報を収集して使用することによって、所定のレベルに引き上げて、インバウンド（帰航）データストリーム２０４からビデオ素材２０２を再構成することができる（ツリー構造２１２を参照）。すなわち、上で概説したようにマルチレイヤビデオデコーダ２２０は、マルチレイヤビデオデコーダ２２０がその層の１つ以上のリファレンスレイヤのパケット２０６から導出するレイヤ間予測に関する予測残差として、特定の層のパケット２０６を使用する。この点について、マルチレイヤビデオデコーダ２２０は、上で概説したように、変換残差復号化、ハイブリッドビデオ復号化、階層的マルチツリー副分割化および／または別の符号化概念を使用するデコーダである。

完全性だけのために、図２は、マルチレイヤビデオエンコーダ２００とデータストリーム２０４が、異なる時間瞬間または画像に属しているパケット２０６が互いに挟まれない方法で、時間瞬間毎に連続的アクセスユニット２２２を形成するように、パケット２０６がデータストリーム２０４内に含まれるように例示的に提供されることを示す。それぞれは、そのアクセスユニット２２２の個々の時間瞬間に属しているパケット２０６を収集している。その結果、別の時間瞬間に属しているパケット２０６は、データストリーム２０４内において、このアクセスユニット２２２の前又は後に続くかのいずれかである。しかし、この制限は説明目的のために選択されただけであり、データストリーム２０４内のパケット２０６のより緩和した配置が代わりに選択されてもよいことは注意するべきである。

以下において、ツリー構造２１２に従ってレイヤ間依存を信号で伝える可能性が、より詳細に説明される。前記したように、この信号は情報２１４を含む。この可能性に従って、層はクラスタにグループ化される。データストリーム内において、一方のクラスタ間のレイヤ間依存と他方のクラスタ内の層とが、別々に信号で伝えられる。その限りにおいて、以下で前面に出される説明は、レイヤ間依存２１２を信号で伝えるために、図２の情報２１４を実施する可能性を表現している。しかし、既に上で注意したように、図３に関して以下に説明される詳細は、図２に発表された詳細に限定されない。むしろ図２は図３に関する説明のための可能な実施貯蔵所と見られるべきである。

図３は、図２のネットワーク要素２１８またはマルチレイヤビデオデコーダ２２０であるネットワーク装置１８を説明する。そして、マルチレイヤデータストリーム１０は、図２のデータストリーム２０４のように処理するように構成される。

図３は、レイヤＩＤ ｌＩＤによって識別された異なる層で、ビデオ素材をその中に符号化されたマルチレイヤデータストリーム１０を説明する。個々の層は、異なる情報量レベルに対応する。この点における可能性は、既に図２に関して議論されているけれども、より容易な理解のために、特定のビューをデータストリーム１０に追加している個々の層について考える。しかし、これは図３の説明を制限することを意図しない。個々の層は、代替的に、情報量（例えば、ビューの数および空間解像度の数または同類など）のための異なる手段の結合に一致している。

従って、マルチレイヤデータストリーム１０は、図２のパケット２０６に例示的に一致している複数のパケット１２から成る。そのようなパケット１２（または２０６）は、例えばビデオ信号１０の中に符号化された個々の画像の波面並列処理を許している副ストリームである。副ストリームは、順に、ＮＡＬユニット、スライスまたは同類などのより小さいユニットから構成されている。しかし、図２および図３のパケット１２またはパケット２０６は、ＮＡＬユニット、スライスまたは別のユニットでもあることが、同封して提出される。

個々のパケット１２は、異なる層のうちの１つと関連する。そして、マルチレイヤデータストリーム１０のビット消費を減らすために、個々のパケット１２がデータストリーム１０のより低い層の特定の副セットのパケットに「残差」を単に追加するように、レイヤ間予測が使用される。符号１４で示されるように、「より低い層」は個々の層毎に小さいドットによって説明される。

図３において示された実施の形態に従って、レイヤ間予測依存は、以下でより詳細に説明され、図において実線１６を使用して説明されるように限定される。特に、レイヤＩＤは、以下において説明されるように、２つの値の連結によって形成される。特に、マルチレイヤデータストリーム１０を受信するネットワーク装置は、パケット１２毎に、図２のリファレンス記号２０８を使用して示されたレイヤＩＤ構文構造を読み取る。しかし、ここは、ベースレイヤＩＤフィールド２０と、条件付きで、－例えば拡張機構をオンとオフに切り換えるベースレイヤＩＤフィールドまたはハイレベル構文要素に条件的に依存する－拡張レイヤＩＤフィールド２２とから成る。例示的に、両方のフィールドを持っているパケット１２のみが、図において示される。しかし、前記したように、ベースレイヤＩＤフィールド２０の１つ以上の値が、個々のパケット１２のためのフィールド２２の不存在を信号で伝える。例えば、拡張機能全体は、データストリームの中の拡張フラグを介して、データストリームの中でオン／オフ切り換え可能である。拡張レイヤＩＤフィールドを必要とする又は必要としない可能な条件は、前記したように、ベースレイヤＩＤフィールドが０である、または、特定のビットを設定する又は設定しない、または、フィールド２０の副部分内の特定の値を仮定する、または、ベースレイヤＩＤフィールドがある値より大きい又は小さい値を持っていることである。別の例が以下に発表される。

レイヤＩＤ構文構造２０と２２に基づいて、ネットワーク装置１８は、個々のパケット１２が関連する層を識別しているレイヤＩＤ、すなわちｌＩＤを導出する。異なる可能性は以下に説明される。ネットワーク装置１８は、マルチレイヤデータストリーム１０から、例えば前記で識別されたｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇｓを含んでいる第１相互依存構文構造、および、例えば以下で示されたｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇおよび／またはｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇｓを含んでいる第２相互依存構文構造も読み取る。第１相互依存構文構造は、ベースレイヤＩＤフィールド２０によって表現可能な異なる値のペア間の相互依存を２進数の方法で示す。これに対して、第２相互依存構文構造は、拡張レイヤＩＤフィールドによって表現可能な異なる値のペア間の相互依存を２進数の方法で示す。両方の相互依存構文構造に基づいて、ネットワーク装置１８は、その時、異なる層（図において符号１４で描かれたものなど）の間のレイヤ間予測依存を明らかにしているレイヤ間依存マトリクスを形成する。派生される方法は、以下において、第１および第２相互依存構文構造に関係するフォアーネクストループを使用している擬似符号を使用して説明され、そして、以下の図に関しても説明される。しかし、信号で伝えられたレイヤ間予測依存が、実際にデータストリームにおいて使われることは必要ないことは注意するべきである。むしろ、可能なレイヤ間予測依存の信号化は、デコーダまたは別のネットワーク装置に、相互に関係付けられたパケット、すなわち、リファレンスパケットに先がけてレイヤ間予測依存に従って別のパケットによってリファレンスされたパケットが、適切な順序で利用可能である必要なステップを取ることを指示するためにある。

以下の説明から明らかになるように、レイヤ間依存マトリクス１４の構築は、第２相互依存構文構造が、レイヤ間依存マトリクス１４がベースレイヤＩＤフィールド２０内の同じ値から導出され、その結果、それと関連しているレイヤＩＤの層間のレイヤ間予測依存に関連する全ての事例に適用されるように実行される。また、以下に、より詳細に説明された別の実施の形態に従って、第２相互依存構文構造が、例えばベースレイヤＩＤフィールド２０の個々の可能な値に対して、または、ベースレイヤＩＤフィールド２０の可能な値の副セットに対して読み取られ、そして、ビットストリーム１０内に数回送信される。一方、第２相互依存構文構造の様々な具体例が、索引付けを使用して、例えば、以下に示された例の中のｉｎｃｌｕｄｅｄ＿ｎｕｈ＿ｌａｙｅｒ＿ｉｄを使用するなどして、ベースのレイヤＩＤフィールド２０の可能な値に関係付けられる。別の実施の形態においてさえ、構造は、全ての可能なレイヤ間予測依存が許されて、第２相互依存構文構造の方法で、すなわち第１相互依存構文構造が相互依存の存在を示すベースレイヤＩＤフィールドの異なる値のペア毎に第２相互依存構文構造を送信することによって描写できることにおいて一般化される。

言い換えると、図４においてさらに説明されるように、図３は、別々の相互依存構文構造２４と２６が、データストリームの個々のパケット内のフィールド２０と２２によって提供されたベースレイヤＩＤおよび拡張レイヤＩＤの範囲の間のインタフェースと一致している両方の相互依存構文構造２４と２６の範囲の間のインタフェースを持つ階層的な方法で、レイヤ間依存を説明するために使用されることに従って、レイヤ間依存を信号で伝えるための例を示す。フィールド２０と２２によって提供されるようなベースレイヤＩＤおよび拡張レイヤＩＤは、フィールド２０と２２が構成される個々のパケットのレイヤＩＤを独自に定義する。拡張レイヤＩＤおよびベースレイヤＩＤの結合によって表現可能な全ての表現可能なレイヤＩＤのセットは、円２８内でドット３０によって示される。すなわち、個々のドット３０は、ベースレイヤＩＤおよび拡張レイヤＩＤの異なるカップルに一致している。例えば、レイヤＩＤは、ベースレイヤＩＤおよび拡張レイヤＩＤの連結である。フィールド２０だけによって提供されるベースレイヤＩＤを使用して、レイヤＩＤ３０の完全なセット２８が、以下のクラスタ３２と称されるレイヤＩＤの解体セット３２に副分割される。特定のクラスタ３２に属している全てのレイヤＩＤは、同じベースレイヤＩＤを持つ。以前に図２に関して説明したように、レイヤＩＤ３０と関連した層が、ドット３０の間の点線を使用して、図４において説明したこれらのレイヤ間依存を持つレイヤ間予測のためにツリー似の方法で相互に連結される。理解し易くするために、実際のレイヤ間依存の副セットだけが図４において説明される。

ともかく、２つのクラスタ３２の間の連結化（このペアの第１クラスタ３２の層と第２クラスタ３２の層との間のレイヤ間依存の方法による）が、第１相互依存構文構造２４の方法によって示される。すなわち、第１相互依存構文構造２４は、層間の相互依存を粗く又はクラスタ状（群れ状）に説明する。図４おいて、これらの相互依存は、クラスタ３２の間の実線を使って説明される。第１クラスタの少なくとも１つの層が第２クラスタの中の１つのクラスタに連結している第１および第２クラスタ３２の全てのペアは、相互連結され、第１相互依存構文構造２４において表示されている。第２相互依存構文構造２６は、その時、第１相互依存構文構造２４によって相互連結されると表示されたクラスタ３２のペアの層のどちらが、レイヤ間予測によって互いに実際に関連するかを明確にする。すなわち、第２相互依存構文構造２６は、微細粒状（ｆｉｎｅ－ｇｒａｎｕｌａｒ）の相互依存を明確にする。しかし、第２相互依存構文構造２６は、個々のクラスタ３２内の層の間の相互依存、すなわち層間の内部クラスタ依存も個別に定義する。図４において、例えば６つのクラスタ３２が示され、従って、第２相互依存構文構造２６が別のクラスタ３２の層間の微細粒状の相互依存を調節するクラスタ３２の１５個の可能なペアに加えて、第２相互依存構文構造２６が相互依存を内部で調節する６つのクラスタを生じる。上で概説したように、そして、以下に更に概説するように、従って、最大で第２相互依存構文構造の１個～２１個の実例３４が、つまり、個別にクラスタ当たり１つとクラスタ３２の連結されたペア当たり１つとが存在する。明らかに、第２相互依存構文構造２６は、第１相互依存構文構造２４によって連結されないように信号で伝えられたクラスタ３２のペアに対して、信号で伝えられる必要はなく、従って、貴重なサイド情報ビットレートが抑制される。クラスタ３２の異なるペアの層のレイヤ間依存を説明するために第２相互依存構文構造２６を使う場合において、クラスタ３２当たりの層数が、全てのクラスタ３２に対して等しいことに注意するべきである。仮に、レイヤＩＤがベースレイヤＩＤおよび拡張レイヤＩＤの連結を使って説明されるならば、これは典型的な例である。しかし、クラスタ３２の層数がクラスタ３２の間で理論上変わることは注意するべきである。その典型的な例において、第２相互依存構文構造２６の個々の実例３４が、例えばデータストリーム内でクラスタ３２の個々の相互連結されたペアに対して信号で伝えられ、少なくとも１つの実例３４が個々のクラスタサイズに対して送信される。

図３は、例えば、レイヤＩＤが、最も重要な数字としてベースレイヤＩＤを使い、より重要でない数字として拡張レイヤＩＤを使うことによって、ベースレイヤＩＤおよび拡張レイヤＩＤから得られる場合を説明する。図３は、１つの実例３４が１つのクラスタ内の層のレイヤ間依存を記述するために用いられ、別の実例３４が異なるクラスタの層間の依存を記述するために用いられる例示的な場合も説明する。完全性のために、図３のマトリクス１４がレイヤＩＤとして多くの線と多くの列を持つことが、注意される。対角線の下半分だけが満たされる。なぜなら、単に、どの層も、レイヤ間予測の方法で、前の層に（すなわち階層的に低い層に）依存するからである。図３の例において、列数は、レイヤ間予測の使用によって別の層（すなわちベースレイヤ）に依存する層のレイヤＩＤと一致している。これらのベースレイヤは、例えば２進数によって示される。２進数のゼロが、個々の層を予測しているレイヤ間に関与していない層を示す一方、そのレイヤＩＤは現在の列と一致する。その限りにおいて、図３の実施の形態において、第２相互依存構文構造２６はマトリクス１４の副マトリクスを多少説明する。

上に既に記述したように、第１相互依存構文構成２４および第２相互依存構文構成２６は、ハイレベルパケット２１６内の情報２１４によって構成される（図２と比較してください）。図５は、第１相互依存構文構造２４が符号３６で描かれた層クラスタの間の相互依存を明らかにする例を説明する。例えば、ベースレイヤＩＤ２を持つクラスタは、ベースレイヤＩＤ２および１を持つクラスタに依存する。

また、第２相互依存構文構造の第１実例３４は、データストリームの中に存在し、副マトリクス３８の形式で図５の中に描かれた層の間の内部クラスタ依存を調節する。さらに、図５の例に従って、データストリームは、また、異なるクラスタの層の層状相互依存を調節する第２相互依存構文構造２６の実例３４を含む。特に、第２実例は、リファレンスされたクラスタのエンハンスメントレイヤＩＤ当たり１つの行、および、リファレンスしているクラスタのエンハンスメントレイヤＩＤ当たり１つの列を持っている副マトリクス４０を介して、異なるクラスタの層間の依存を説明する。

図５の例において、副マトリクス３８は、マトリクス３６がクラスタ間の相互依存を示す個々の位置（すなわち、１が置かれる個々の位置）に置かれ、そのクラスタは同じベースレイヤＩＤのクラスタ（すなわち、マトリクス３６の対角線上にあるクラスタ）である。そして、副マトリクス４０は、マトリクス３６が異なるベースレイヤＩＤのクラスタ間の相互依存を「１」で示す位置に置かれる。結果は符号４２で示される。

マトリクス４２などのマトリクスを介するレイヤ間依存の説明が、レイヤ間依存を説明するための単なる１つの例であることは注意すべきである。別の説明が同様に使われうる。マトリクス３６～４０が第１および第２相互依存構文構造によって符号化される方法は、次の通りである。第１相互依存構文構造２４は、対角線の下でかつ対角線を含むマトリクス３６の各係数に対して、２進値を信号で伝える。マトリクス３８を標示する第２相互依存構文構造２６の実例３４は、対角線の下でかつ対角線を含むマトリクス３８の各係数に対して、２進値を信号で伝える。マトリクス４０を標示する第２相互依存構文構造２６の実例３４は、マトリクス４０の全ての係数に対して、２進値を信号で伝える。

レイヤ間依存をどのように信号で伝えるかについて可能性を説明した後に、より詳細な実例がＨＥＶＣ規格の拡張として以下に例示的に提供される。

特に、レイヤ識別クラスタ化およびクラスタ依存信号化は、存在する符号器の中に次の通り構築される。

２つの構文要素ｎｕｈ＿ｌａｙｅｒ＿ｉｄとｌａｙｅｒ＿ｉｄ＿ｅｘｔが、ビデオビットストリーム内の符号化された層を、いわゆる互いの空間関係などの特性に基づいて依存又は別の物を符号化しているクラスタの中にグループ化するために使用される。クラスタの中へのレイヤ識別子の構造化は、個々のクラスタ内の等しく構造化された符号化依存を持つクラスタに対して許される。すなわち、定義されたクラスタの全て又は副セット内の符号化依存は、同じである。特定の層のリファレンスレイヤを決めるために、依存フラグの追加のセットとしてクラスタ内の依存を信号で伝えること、および、依存を既存の依存信号化（ＨＥＶＣ拡張のＶＰＳ拡張の中のｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇと比較してください）に結合することは、図６に記述されるように行われる。

０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックス（索引）ｊである層が、同じ層クラスタ内の拡張インデックスｉである層に対して、直接的リファレンスレイヤでないことを規定する。１と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックスｊである層が、同じクラスタ内の拡張インデックスｉである層に対して、直接的リファレンスレイヤであることを規定する。ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０から（１＜＜ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）－１の範囲内のｉとｊに対して、存在しないとき、それは０に等しいと推定される。

代替えの構文は、未使用のレイヤ識別子に依存を符号化することを信号で伝えることを避けるために、ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔによってｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｃｅｎｃｙ＿ｆｌａｇ構文要素のループを制限する。

クラスタ内の及びクラスタ間の符号化依存のより柔軟な信号は次の通り許される。
ａ）クラスタ毎に基づいてクラスタ内の依存を符号化する信号によって。
ｂ）クラスタ依存セットの数の定義、および、定義されたクラスタ依存セットが適用されるクラスタの識別（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄによってどちらか一方）によって。
ｃ）クラスタ間の第１依存が信号で伝えられ、２つの依存するクラスタ内の層の第２依存が信号で伝えられる方法の中の依存の階層的信号によって。
ｄ）ｂ）とｃ）の組み合わせによって。従って、以下のデータが信号で伝えられる。
１．クラスタ間の依存（例えば、リファレンスのペアおよび依存するクラスタ）。
２．リファレンス（リファレンスされた）クラスタおよび依存する（リファレンスしている）クラスタ内の層間の依存を定義しているクラスタ依存セットの数。
３．個々のクラスタ依存セットに対して、クラスタ依存が適用する標示（１において信号で伝えられるように）。
クラスタ内の層間に依存があるとき、ｃ）とｄ）に対してクラスタが自身に依存できることに注意しなさい。
ａ）からｄ）は、構造化のために使用される特性空間（例えばカメラの空間的位置）が均一に使われないとき、レイヤ識別子の空間を構造化することを許す。１つの例が、空間密度が一定でない二次元カメラアレイ、または、矩形ではない二次元カメラアレイである。以下は、上記に従って、複数の方法において、クラスタ依存セットの定義を信号で伝えるための構文例を与える。

ａ）図７は、クラスタ毎に基づいて、クラスタ内の依存を符号化することを定義するビデオパラメータセット（設定）拡張構文について例示的に実施の形態を与える。

０と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊである層またはクラスタが、インデックスｉである層またはクラスタに対して、直接的なリファレンスレイヤまたはリファレンスクラスタでないことを規定する。１と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊである層またはクラスタが、インデックスｉである層またはクラスタに対して、直接的なリファレンスレイヤまたはリファレンスクラスタであることを規定する。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
０と等しいｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックスｊである層が、同じ層クラスタ内の拡張インデックスｉである層に対して、直接的なリファレンスレイヤではないことを規定する。１と等しいｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、拡張インデックスｊである層が、同じクラスタ内の拡張インデックスｉである層に対して、直接的なリファレンスレイヤであることを規定する。ｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔの範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］は、拡張インデックスｋである層が、ｉ番目の層クラスタ内の拡張インデックスｊである層に対して、直接的なリファレンスレイヤではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］は、拡張インデックスｋである層が、ｉ番目の層クラスタ内の拡張インデックスｊである層に対して、直接的なリファレンスレイヤであることを規定する。ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］が、０からｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔの範囲内で、ｉ、ｊおよびｋに対して存在しないとき、それは０に等しいと推定される。

ｂ）図８は、クラスタ依存セットの数の信号（ｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ）を通して、クラスタ内の依存を符号化すること、個々のクラスタ依存セット内の依存（ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ）を符号化すること、および、クラスタ（たとえば、クラスタの個々のｎｕｈ＿ｌａｙｅｒ＿ｉｄのためのポジティブなフラグを通して、与えられた構文要素ｉｎｃｌｕｄｅｄ＿ｎｕｈ＿ｌａｙｅｒ＿ｉｄによって識別されたクラスタ）を適用することを定義するビデオパラメータセット拡張の中の構文について例示的な実施の形態を与える。

ｃ）図９は、クラスタ間の第１依存が信号で伝えられ、および、２つの依存するクラスタ内の層の第２依存だけが信号で伝えられる方法で、依存の階層的な信号のための例示的な実施の形態を与える。

０と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊである層またはクラスタが、インデックスｉである層またはクラスタに対して、直接的なリファレンスレイヤまたはリファレンスクラスタではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊである層またはクラスタが、インデックスｉである層又はリファレンスクラスタに対して、直接的なリファレンスレイヤ又はリファレンスクラスタであることを規定する。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
注記：仮に、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０より大きければ、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、クラスタ間の依存を信号で伝える。そうでなければ（ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０と等しいならば）、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、層のための依存を信号で伝える。

０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］［ｌ］は、ｊ番目のクラスタの中のｌ番目の層が、ｉ番目のクラスタの中のｋ番目の層に対して、直接的なリファレンスレイヤではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］［ｌ］は、ｊ番目のクラスタの中のｌ番目の層が、ｉ番目のクラスタの中のｋ番目の層に対して、直接的なリファレンスレイヤであることを規定する。ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］［ｋ］［ｌ］が存在しないとき、それは０に等しいと推定される。

ｄ）図１０は、ｂ）とｃ）の組み合わせのための例示的な実施の形態を与える。

０と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊである層またはクラスタが、インデックスｉである層またはクラスタに対して、直接的なリファレンスレイヤまたはリファレンスクラスタでないことを規定する。１と等しいｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、インデックスｊである層またはクラスタが、インデックスｉである層またはリファレンスクラスタに対して、直接的なリファレンスレイヤまたはリファレンスクラスタであることを規定する。ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］が、０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内で、ｉとｊに対して存在しないとき、それは０に等しいと推定される。
注記：仮に、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０より大きければ、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、クラスタ間の依存を信号で伝える。そうでなければ（ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎが０と等しいならば）、ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］は、層のための依存を信号で伝える。

０と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］は、ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が１に等しいとき、ｊ番目のクラスタの中のｌ番目の層が、ｉ番目のクラスタの中のｋ番目の層に対して、直接的なリファレンスレイヤではないことを規定する。１と等しいｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］は、ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が１に等しいとき、ｊ番目のクラスタの中のｌ番目の層が、ｉ番目のクラスタの中のｋ番目の層に対して、直接的なリファレンスレイヤであることを規定する。
０と等しいｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］は、ｉ番目のクラスタの中の層とｊ番目のクラスタの中の層との間の依存が、ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］によって規定されないことを規定する。１と等しいｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］は、ｉ番目のクラスタの中の層とｊ番目のクラスタの中の層との間の依存が、ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｎ］［ｋ］［ｌ］によって規定されることを規定する。ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が存在しないとき、それは０に等しいと推定される。ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔ＿ａｐｐｌｉｅｓ＿ｆｌａｇ［ｎ］［ｉ］［ｊ］が、０から（ｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ－１）の範囲内で、ｉとｊと全てのｎとの特定の結合に対して０と等しいとき、ｊ番目のクラスタの中の層は、ｉ番目のクラスタの中のどの層に対しても、直接的なリファレンスレイヤでないことを含む。

従って、ＨＥＶＣ拡張の中に図２から図５のクラスタに基づいた相互依存信号を実行する上の例において、図２のパケット２０６はスライスまたはスライスセグメントであり、パケット２１６は例えばビデオ、画像または連続パラメータセットなどのパラメータセットである。図７の構文例に従って、第１相互依存構文構造２４は、ｉ≦ｊであるクラスタｉ、ｊの各ペアに対して、構文要素ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを使って信号で伝えられる。ここで、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１は、ベースレイヤＩＤ－１の最大値である。従って、構文要素は、例えば図５の粗いマトリクス３６を明らかにする。ｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇと称する構文要素４４は、２つのオプション（第２相互依存構文構造２６の１つの実例は全てのベースレイヤＩＤに提出されて適用される、または、もう１つの実例は個々のベースレイヤＩＤ ｉに対して送られるのいずれか）の間を区別する。第１ケースにおいて、フラグｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、共通して、ベースレイヤＩＤ毎に符号３８に従って副マトリクスを築く。第２ケースにおいて、フラグｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、別々に、ベースレイヤＩＤ毎に符号３８に従って副マトリクスを築く。ｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇは、両方のオプションの間を切り替える。従って、図７の場合において、仮に、ｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇが０に等しいならば、結果として生じる副マトリクス３８は、マトリクス３６内の、リファレンスしている及びリファレンスされたクラスタＩＤに等しいように一致している個々のポジションに置かれる。ここで、１はｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇによって示される。第１相互依存構文構造２４が異なるクラスタＩＤのクラスタ間の相互依存を示す残留ポジションは、既定の副マトリクス（すなわち、エンコーダ、ネットワーク要素およびマルチレイヤビデオデコーダなどの全ての参加装置によって知られている副マトリクス）を使用して、欠陥によって満たされる。１に等しいｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇの場合において、第１相互依存構文構造２４が、等しいリファレンスされた及びリファレンスしているクラスタＩＤのポジションで１を示す個々のポジションに対して、このまさしくそのクラスタＩＤのための別個の副マトリクスが、マトリクス４２の中の個々のポジションに、信号で伝えられて置かれる。従って、ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１クラスタのそれぞれの内部の層の数に一致する。

図８の場合、第１相互依存構文構造２４は、図７の例と同じ方法で送られる：個々のクラスタＩＤに対して、クラスタＩＤ当たり１つのフラグは、個々のクラスタＩＤと等しい又はより小さい。フラグｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ４６は、上で既に概説していた構文要素ｇｅｎｅｒａｌ＿ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを使って、図７の第１オプション間を切り換える。第２相互依存構文構造２６の実例の数が、構文要素ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを使って、データストリームの中に提出されることに従う異なるモードが、ｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓと称される構文要素を使って、明示的に信号で伝えられる。これらの実例は、その時、個々の実例が構文要素ｉｎｃｌｕｄｅｄ＿ｎｕｈ＿ｌａｙｅｒ＿ｉｄ５０を使って適用されるクラスタＩＤを明示的に記載することによって、これらの実例が適用されるクラスタＩＤに関連する。この手段によって、第２相互依存構文構造２６の実例３４は、個々のクラスタＩＤに対して提出されない。むしろ、第２相互依存構文構造２６の実例のより小さい数のみが、１と等しいｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの場合に提出される。個々の実例は、実例に関連するクラスタＩＤに関連している。また、異なるクラスタの相互依存するペアが関係する限り、欠陥規則がマトリクス４２をそのようなポジション（クラスタ対角線の下側）で満たすために適用される。

図９の例に従って、第２相互依存構文構造の信号は、第１相互依存構文構造について差し挟まれた方法で、例示的に信号で伝えられる。しかし、この差し挟みは代わりの実施の形態に従って除外される。ともかく、図９の実施の形態において、副マトリクス３８または４０（すなわち、第２相互依存構文構造２６の実例３４）は、第１相互依存構文構造２４が相互クラスタ依存を標示する（等しい又は等しくない）クラスタＩＤの個々のペアに対して提出される。構文例から導出されるように、副マトリクス４０の送信は、副マトリクス３８より多いビットｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇを消費する。これは条件条項５２と条件条項５４からそれぞれ導出することができる。すなわち、クラスタ内部の相互依存規則のために第２相互依存構文構造２６の実例を送信することにおいて、カウンターｉによって示されたリファレンスしているクラスタＩＤは、カウンターｊによって示されたリファレンスされたクラスタＩＤに等しく、ｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、エンハンスメントレイヤＩＤの結合のために、リファレンス及びリファレンスしている層（リファレンスされた層（ここではｌ）のエンハンスメントレイヤＩＤが、リファレンスされた層（ここではｋ）のエンハンスメントレイヤＩＤのエンハンスメントレイヤＩＤより小さい）に対してのみ送信される。すなわち、副マトリクス３８のｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇは、副マトリクス３８の対角線の下側のポジションに対してのみ送信される。別の場合において、すなわち、相互依存するクラスタペアｉ≠ｊのための第２相互依存構文構造２６の実例に対して、完全な副マトリクスが送信される。すなわち、フラグｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇが、副マトリクス４０のそれぞれのポジション毎に送信される。

図１０の実施の形態は、図８及び図９の実施の形態の特定の特性：完全な副マトリクスを結合する。すなわち、第２相互依存構文構造２６の実例が、つまり数の中のｎｕｍｂｅｒ＿ｏｆ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｙ＿ｓｅｔｓが提出される。そして、その時、これらの実例のそれぞれは、マトリクス３６のグリッドサイトに関連する。ここで、例えば、第２相互依存構文構造２６の個々の実例が、第１相互依存構文構造２４がそれによってクラスタ独立性の存在を示すために（符号５６と比較してください）それらの間で適用される。

言い換えると、図９について説明したように、第２相互依存構文構造２６の複数の実例３４は、マルチレイヤデータストリームから、つまり、ベースレイヤＩＤによって表現できる数値であるＮである値が０＜ｋ≦ｊ≦ｎ＜Ｎのペア（ｊ、ｋ）に対して読み取られる。ｎはＮに等しいように設定される。しかし、また、ここに説明されるように、実際に使われたクラスタ濃度の明示的なシグナリングは、送信オーバーヘッドを制限するために使われる。ペア（ｊ、ｋ）は詳察されて（図９の符号２４でｉとｊに亘るループを見てください）、そして、第２相互依存構文構造を読み取ることが、このペア間の相互依存の存在または不存在を示している第１相互依存構文構造に条件付きで依存しているペア（ｊ、ｋ）に対して実行される又は抑制される（図９の「ｉｆ（ｄｉｒｅｃｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇ［ｉ］［ｊ］）」を見てください、ここで、ｉ、ｊはｊとｋにそれぞれ一致する）。ｊ＝ｋであるペア（ｊ、ｋ）に対して読み取る第２相互依存構文構造２６の実例３４は、ベースレイヤＩＤがｊであるそれらの間の層が、ベースレイヤＩＤがｊであるそれらの間の別の層に依存するレイヤ間予測であることを示す。ｊ＞ｋである異なる値のペア（ｊ、ｋ）に対して読み取る第２相互依存構文構造２６の実例３４は、ベースレイヤＩＤがｊであるそれらの間の層が、ベースレイヤＩＤがｋであるそれらの間の層に依存するレイヤ間予測であることを示す。しかし、図７と同様に、第２相互依存構文構造２６の１つの実例が、マルチレイヤデータストリームから読み取られることもある。第２相互依存構文構造２６の１つの実例は、個々のクラスタ値ペア（ｊ、ｊ）に対して、共通して示す。ベースレイヤＩＤがｊであるそれらの間の層は、ベースレイヤＩＤがｊであるそれらの間の別の層に依存するレイヤ間予測である。図７の場合、仮に、ｕｎｉｑｕｅ＿ｃｌｕｓｔｅｒ＿ｄｅｐｅｎｄｅｎｃｉｅｓ＿ｆｌａｇが０に等しい、または、ｊ≠ｋであるペア（ｊ、ｋ）に対して共通しているならば、第１相互依存構文構造２４は、個々のペア間の相互依存の存在を示す。ベースレイヤＩＤがｊであるそれらの間の層は、ベースレイヤＩＤがｋであるそれらの間の別の層に依存するレイヤ間予測である拡張レイヤＩＤ２２によって表現できる数値をＭと示し、第２相互依存構文構造は、ベースレイヤＩＤがｉであるそれらの間の層が、ベースレイヤＩＤがｉであるそれらの間の別の層に依存するレイヤ間予測であることを示すために、拡張値が０＜ｑ＜ｐ≦ｍ＜Ｍの個々のペア（ｐ、ｑ）に対して１つの２進数の値を含み、そして、拡張値ｐおよびベースレイヤＩＤがｊである層が、拡張値ｑおよびベースレイヤＩＤがｋである層に依存するレイヤ間予測であることを示すために、拡張値が０＜ｐ、ｑ≦ｍ＜Ｍの個々のペアに対して１つの２進数の値を含む。また、明細書の中の別の場所で説明されるように、ｍがＭと等しいように設定される。しかし、また、ここに説明されるように、実際に使われた拡張濃度の明示的なシグナリングは、送信オーバーヘッドを制限するために使われる。さらに、図８と図１０に示すように、インデックス構文構造５０が、第２相互依存構文構造の実例をベースレイヤＩＤ値の個々のペア（ｊ、ｋ）に関連付けるために使用される。ここで、図１０は、関連構文構造がペア（ｊ、ｋ）毎にフラグを含み、関連構文構造の構造解析が、第１相互依存構文構造がペア（ｊ、ｋ）間の相互依存の不存在（独立性）を示す値が０＜ｋ≦ｊ≦ｎ＜Ｎのスキップペア（ｊ、ｋ）を含むことを明らかにする。

すなわち、上のセクションの中で説明されたものは、「レイヤ識別子クラスタ化とクラスタ依存信号化」として示される。これに関して、装置はビデオデコーダである。このように動作するビデオデコーダは、復号化に対して、（拡張された）レイヤＩＤによって識別されたビットストリームのパケットを選択することができる。しかし、装置は、代わりに、ネットワーク利用（デコーダなどについての知識）のような外部のファクターに基づいた（拡張された）レイヤＩＤによって識別されたビットストリームのパケットを破棄することができるネットワーク要素であってもよい。

当然、上で概説された概念は、概念によって改善されるべき符号器の既存のエンコーダも詰め込む。図２の１つのようなエンコーダは、異なる情報量レベルに対応する異なる層で、レイヤ間予測を使って、ビデオ素材をマルチレイヤデータストリーム１０の中に符号化するように構成される。マルチレイヤデータストリームは、それぞれが異なる層のうちの１つと関連する複数のパケット１２を含む。各層は、ベースレイヤＩＤ２０、または、ベースレイヤＩＤ２０及び拡張レイヤＩＤ２２によって索引を付けられ、マルチレイヤデータストリームの中に挿入される。第１相互依存構文構造２４は、ベースレイヤＩＤ２０によって表現できる異なる値のペア間の相互依存を示す。そして、第２相互依存構文構造２６は、拡張レイヤＩＤ２２によって表現できる異なる値のペア間の相互依存を示す。第１および第２相互依存構文構造をそのように設定することで、第１および第２相互依存構文構造に基づいて、異なる層間の可能なレイヤ間予測依存を明らかにするレイヤ間依存記述１４が、組み立て可能である。

次に記述される詳細は、効率的な方法で、層関連の情報を信号で伝える可能性に関する。そのような層関連の情報は、例えば、図２から図１０について概説したレイヤ間依存に関する情報を含む。出発点として、しばしば上に示された状況が、個々のパケット２０６によって構成されたレイヤ識別構文要素構造２０８（図２と比較してください）が、図１１において描かれたベースレイヤＩＤフィールド１０８と拡張レイヤＩＤフィールド１１２とから成ることに従って、使われる。図１１は、図２の中に示されるネットワーク要素２１８またはマルチレイヤビデオデコーダ２２０などのマルチレイヤデータストリームを処理するための装置１００を示す。装置１００は、一連のパケット（そのそれぞれがレイヤ識別構文要素を含む）から成るマルチレイヤビデオ信号を受信するように構成されたレシーバー１０２を含むとして示される。

レシーバー１０２によって受信されたマルチレイヤビデオ信号１０４（図２の符号２０４と一致している）は、一連のパケット１０６（図２の符号２０６と一致している）を含む。各パケット１０６は、少なくともベースレイヤＩＤフィールド１０８を含むレイヤ識別構文要素構造（図２の符号２０８と一致している）を含み、ハイレベル構文要素またはベースレイヤＩＤフィールド１０８または拡張レイヤＩＤフィールド１１２の値に無条件に又は条件付きで依存する。

例えば、パケット１０６は、マルチレイヤビデオ信号１０４が副分割されるＮＡＬユニット、スライス、タイル、画像、または別のパケットである。また、装置１００に含まれたレイヤ識別エクステンダー１１０は、部分１１３のような複数のパケット１０６を含むマルチレイヤビデオ信号の既定の部分に対して、マルチビデオ信号の既定の部分１１３を含むパケット１０８の拡張レイヤＩＤフィールド１１２の仮の最大値を示すマルチレイヤビデオ信号から最大構文要素を読み取る。既定の部分１１３は、例えば、符号化されたビデオシーケンス、大きな塊、画像のグループなどである。最大構文要素１１４は、例えばＶＰＳ ＮＡＬユニットのような部分１１３の特定のパケット内に含まれる。既定の部分１１３内のパケットのそれぞれに対して、エクステンダー１１０は、符号１０８、そして、条件付きで符号１１２から成るレイヤＩＤ構文構造に基づいて個々のパケットのためにレイヤＩＤを決定する。例えば、構文要素１０８と１１２の両方の値の連結は、レイヤＩＤを生じる。

エクステンダー１１０は、上で説明された最大構文要素を使って、拡張レイヤＩＤフィールドのビット長さを導出する。代わりに、特別な構文要素が、この終わりに使用されてもよい。代わりでも、拡張レイヤＩＤフィールド１１２を表すためのビット数は、欠陥（デフォルト）によって固定される。

エクステンダー１１０は、その時、仮の最大値に基づいて、部分１１２内の最大レイヤ数を決定する。例えば、エクステンダー１１０は、部分１１３に対して、部分１１３内のパケット１０６のベースレイヤＩＤフィールド１０８のための仮の最大値を示すデータストリーム１０４から構文要素も読み取り、そして、最大レイヤ数を決定するために両方の仮の最大値を結合する。

エクステンダー１１０は、最大レイヤ数のそれぞれに対して、マルチレイヤビデオ信号のレイヤ特性化構文部分を、最大レイヤ数と等しい回数繰り返して構文解析することによって、少なくとも１つの特性を決定する。利点的に、データストリーム１０４は、それぞれの可能な値に対して（すなわち、拡張レイヤＩＤフィールド１１２の全体の濃度全体に対してではなく、この濃度の外の実際に使われた副部分に対して）、少なくとも１つの特性を信号で伝えることを必要としない。さらに、最大構文要素１１４は、丁度記載されたように、データストリーム１０４内の拡張レイヤＩＤフィールド１１２の表現ビット数を導出するように使われさえする。例えば、「特性」は、別の層または同類に対するレイヤ間予測である。

すなわち図１１について、データストリーム２０４／１０４内で、重要性の既定の部分１１３内の全てのパケット１０６／２０６を考慮するとき、拡張レイヤＩＤフィールドの表現できる状態の外のいくつが実際に仮定されるかの明示的な信号化を送ることが可能であることが説明される。例えば、拡張レイヤＩＤフィールド１１２がＮビットのフィールドであるとすると、２^N個の拡張レイヤＩＤ１２０が拡張レイヤＩＤフィールド１１２によって表現できる。フィールド１１２の長さは、固定されるか、または信号で伝えられて、データストリーム内で、図１２の点線１２２を使って示された所定のハイレベル構文要素の方法によって設定される。しかし、いくつかの理由のために、利用できる拡張レイヤＩＤの全てが、重要性の既定の部分１１３内で使われない。例えば、図１２において、７個の表現できる拡張レイヤＩＤのみが使われることが描かれる、すなわちハッチングの方法によって描かれる。

図１１に従って、最大構文要素１１４が、拡張レイヤＩＤフィールド１１２の実際に使われた／仮定された値のこの数を示す。この構文要素１１４のため、拡張レイヤＩＤフィールド１１２の表現できる値の完全な数に対してというよりも、むしろ拡張レイヤＩＤの実際に仮定された数についてのみ層特定情報をデータストリームの中に挿入することが実現できる。従って、図１２の符号１２２で説明されるように、マルチレイヤビデオ信号を構文解析している装置は、例えば、拡張レイヤＩＤフィールドの実際に利用できる／表現できる値の完全な数よりもむしろ構文要素１１４によって示された最大レイヤ数に等しい回数だけ、マルチレイヤビデオ信号の所定のレイヤ特性化構文部分１２４を構文解析する。データストリームによって消費されたサイド情報量は、従ってより低く保持される。例えば図６から図１０の例において、拡張レイヤＩＤフィールド１１２の表現できる値の最大数と等しいようにこの値（ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ）を設定するよりもむしろ、構文要素１１４によって示される拡張状態の仮の最大数と等しいようにｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔを設定することが実現できる。従って、「特性化構文部分」１２４は、以前に提出されたフラグｄｉｒｅｃｔ＿ｅｘｔ＿ｄｅｐｅｎｄｅｎｃｙ＿ｆｌａｇによって具体的に示される。

上で既に概説したように、フィールド１１２のビット長さの存在／信号化はオプションである。ともかく、構文要素１１４が実際に使用した／アクティブな拡張レイヤＩＤの数を示す粒状性／忠実性は、構文要素１２２によって設定された拡張レイヤＩＤフィールド１１２の利用できる／表現できる値の数をより粗く設定することに比べて増大する。好ましくは、構文要素１１４が拡張レイヤＩＤフィールド１１２の実際に仮定された値の数を示す忠実性または粒状性は、実際に仮定された値の正確な数を示すために極めて十分である。代わりに、ものの間のどこかの忠実性／粒状性、および、構文要素１２２によって提供されたフィールド１１２の利用できる／表現できる値の最大数の信号化の忠実性／粒状性が同様に実現できる。すなわち、最大構文要素１１４は、拡張レイヤＩＤフィールドのビット長さであるｎを持つ（ｎ－１）²より小さい又は等しいユニットの中の拡張レイヤＩＤフィールド１０８の仮の最大値を示す。

従って、図１１と図１２に従って、ネットワーク要素またはマルチレイヤビデオデコーダなどの装置が、レシーバー１０２およびエクステンダー１１０を含むことが説明される。レシーバー１０２は、一連のパケット１０６から成るマルチレイヤビデオ信号１０４を受信するように構成されている。パケット１０６のそれぞれは、ベースレイヤＩＤフィールドおよびことによると条件付きのみで拡張レイヤＩＤフィールド１１２から成るレイヤ識別構文要素構造を含む。レイヤ識別エクステンダー１１０は、一連のパケット１０６の外の複数のパケットを含むマルチレイヤビデオ信号の既定の部分１１３に対して、マルチレイヤビデオ信号１０４から最大構文要素１１４を読み取るように構成されている。最大構文要素１１４は、既定の部分１１３によって構成されたパケット１０６の間の拡張レイヤＩＤフィールド１１２の仮の最大値を示す。エクステンダー１１０は、既定の部分１１３内のパケット１０６のそれぞれに対して、上で概説されたフィールド１０８と１１２のベースレイヤＩＤと拡張レイヤＩＤとを連結することなどによって、レイヤ識別構文要素構造に基づいた個々のパケット１０６のためのレイヤＩＤを決定する。エクステンダー１１０は、また、仮の最大値に基づいた既定の部分１１３内の最大レイヤ数を決定し、最大レイヤ数のそれぞれに対して、レイヤ特性化構文部分１０４を、最大レイヤ数と等しい回数繰り返して構文解析することによって、少なくとも１つの特性を決定する。「最大レイヤ数」は、図１１と１２の実施の形態を図２～図１０について上記で概説した実施の形態と結合するとき、クラスタ当たり最大レイヤ数を示す。この場合、「最大レイヤ数」の決定は、例えば、仮の最大値を「最大レイヤ数」として直接に採用する。「少なくとも１つの特性」は、第２相互依存構文構造内のレイヤ間依存を示しているフラグの数である。しかし、特性の別の例は、個々のレイヤＩＤに対して設定された一致している符号化パラメータのデータストリーム内の信号化でもある。その場合、「最大レイヤ数」は、使われた又は表現できるベースレイヤＩＤの数×仮の最大値、すなわち実際に使用された／仮定された拡張レイヤＩＤの数と等しいように決定される。別の例は同様に実現可能である。ともかく、構文要素１１４の方法によって実際に仮定された値の伝達は、貴重なサイド情報ビットレートを保存することを可能にする。

図１１と図１２の概念は、上で既に概説されたように、図２～図１０について上に概説した概念と結合される、または、以前に説明された概念を使わないで単独で使われる。

しかし、図２～図１０について前に提出された上記の説明と同様に、以下の説明は、ＨＥＶＣの拡張などの既存のビデオ符号器の中に、図１１と図１２の概念をいかにして築くかの可能性を明らかにする。

ＨＥＶＣにおいて、レイヤ識別子変数（ＬａｙｅｒＩＤと称する）は、ビデオおよびメタデータパケットのヘッダー、例えばビデオまたはメタデータパケットの大きな塊のそれぞれの中において信号で伝えられたｎｕｈ＿ｌａｙｅｒ＿ｉｄおよび追加の情報の明示的に信号で伝えられたレイヤ識別子から導出され、その識別のために使われるように、特定のデータパケットの新しい可変のＬａｙｅｒＩｄを形成する。

図１１と図１２に従って信号で伝えられた追加の情報は、特定のビデオまたはメタデータパケットがエンハンスメント層（向上層）に属し、それ故、レガシー（古くて機能的には劣るけれども普及していて替えることができない）装置のみベースレイヤと互換性を維持することを与えられた追加の構文要素（ビデオまたはメタデータパケットのヘッダーまたはペイロードのいくらかの部分内のｌａｙｅｒ＿ｉｄ＿ｅｘｔと比較してください）を含む。ビデオまたはメタデータパケットが、ベースレイヤに属すけれども、有能な装置を処理しているエンハンスメント層によって処理されるとき、デフォルト値はｌａｙｅｒ＿ｉｄ＿ｅｘｔに対して仮定される。

図１３は、ＨＥＶＣ符号化ビデオのエンハンスメント層（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＞０と比較してください）のビデオデータパケットの中に含まれるスライスヘッダーの中の構文要素ｌａｙｅｒ＿ｉｄ＿ｅｘｔとして、追加の情報を信号で伝えるスライスセグメントヘッダーのための例を与える。

数学的な操作は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄとｌａｙｅｒ＿ｉｄ＿ｅｘｔを、より大きい識別子空間を許し、かつｎｕｈ＿ｌａｙｅｒ＿ｉｄとｌａｙｅｒ＿ｉｄ＿ｅｘｔの２つの値の特別な組み合わせに対して特別であるＬａｙｅｒＩｄの中に結合するために使われる。数学的な操作は、例えば以下のように、ＬａｙｅｒＩｄ変数のＭＳＢとしてｎｕｈ＿ｌａｙｅｒ＿ｉｄのビットが、そして、ＬａｙｅｒＩｄ変数のＬＳＢとしてｌａｙｅｒ＿ｉｄ＿ｅｘｔのビットが使われる（または、逆もまた同様である）。

可変のＬａｙｅｒＩｄは次の通り決定される。そこで、ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎはビットについてのｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の長さである。

ＬａｙｅｒＩｄ＝（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＜＜ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）＋ｌａｙｅｒ＿ｉｄ＿ｅｘｔ

図１１と図１２の概念は、送られたデータ量を効率的に利用するために、ビデオまたはメタデータパケットのヘッダーまたはペイロードのいくらかの部分の追加の情報（上のＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎと比較してください）を伝えるために使用されるビットの量の明示的な信号化を含む。図１４は、ＨＥＶＣビデオパラメータセット拡張構文などのメタデータパケットにおいて信号で伝えているＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ値の例示的な構文と意味を与える。

ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎは、ＬａｙｅｒＩｄ範囲を拡張するために使われるビット数を示す。

図１１と図１２の概念は、符号化されたビデオビットストリーム（例えばｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ）において使われたｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の最大値の明示的な信号化を含む。それに基づいて、ビデオまたはメタデータパケットのヘッダーまたはペイロードのいくらかの部分の追加の情報（上のＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎと比較してください）を伝えるために必要なビットの最低可能量が、送られたデータ量を効率的に利用するために導出される。図１５は、ＨＥＶＣビデオパラメータセット拡張構文などのメタデータパケットにおいて信号で伝えているｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素値の最大値の構文と意味を例示的に与える。

ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、符号化されたビデオシーケンス内のスライスヘッダーの中のｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の最大値を示す。
発明の上記の拡張に依存しているｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の意味の２つの例示的なバリエーションが、以下において与えられる。
ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、層を識別するために、ｎｕｈ＿ｌａｙｅｒ＿ｉｄとの結合において使用される。構文要素ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎビットを使って符号化される。存在しないとき、その値は０と推定される。
ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、層を識別するために、ｎｕｈ＿ｌａｙｅｒ＿ｉｄとの結合において使用される。構文要素ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、符号化されたＣｅｉｌ（Ｌｏｇ２（ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ））ビットである。存在しないとき、その値は０と推定される。

ＨＥＶＣビデオ符号器規格のパラメータセットまたはＳＥＩメッセージのレイヤ識別子は、図１６ａ～図１６ｃにおいて与えられた依存を構造解析すること無く拡張される。

層にされた符号化シナリオにおいて、図１７のビデオパラメータセット拡張のための構文テーブルで例示的に与えられるように、レイヤ識別子またはその最大数に関連する信号化は、正規の明示的なレイヤ識別子空間（ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値範囲と比較してください）の代わりに拡張レイヤ識別子空間（ＬａｙｅｒＩｄの値範囲と比較してください）をカバーするために適合される。ここで、可変のＶｐｓＭａｘＮｕｍＬａｙｅｒｓが、次の通り例示的に与えられる。
拡張レイヤの範囲の中の最大レイヤ数を規定している可変のＶｐｓＭａｘＮｕｍＬａｙｅｒｓは、（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）＊２＾ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ．＋１と等しく設定される。または
拡張レイヤの範囲の中の最大レイヤ数を規定している可変のＶｐｓＭａｘＮｕｍＬａｙｅｒｓは、（ｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１）^*ｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ．＋１と等しく設定される。

ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］は、ｉ番目の層のＶＣＬ ＮＡＬユニットと関連したＬａｙｅｒＩｄ値の値を規定する。０からＶｐｓＭａｘＮｕｍＬａｙｅｒｓ－１の範囲内のｉに対して、包括的に、存在しないとき、ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］の値はｉに等しいと推定される。

ｉが０より大きいとき、ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］は、ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ－１］より大きい。０からｖｐｓ＿ｍａｘ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲内のｉに対して、包括的に、可変のＬａｙｅｒＩｄＩｎＶｐｓ［ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］］はｉと等しく設定される。

ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ］は、ｉ番目の層のｊ番目の現在のスケーラビリティ次元タイプの識別子を規定する。ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ］の表現のために使われたビット数は、ｄｉｍｅｎｓｉｏｎ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１［ｊ］＋１ビットである。ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ］が、０からＮｕｍＳｃａｌａｂｉｌｉｔｙＴｙｐｅｓ－１の範囲内のｊに対して、存在しないとき、包括的に、ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ］は、（（ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］＆（（１＜＜ｄｉｍＢｉｔＯｆｆｓｅｔ［ｊ＋１］）？１））＞＞ｄｉｍＢｉｔＯｆｆｓｅｔ［ｊ］）に等しいと推定される。

ｉ番目の層のｓｍＩｄｘ番目のスケーラビリティ次元タイプの識別子を規定している可変のＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［ｓｍＩｄｘ］、ｉ番目の層のビュー識別子を規定している可変のＶｉｅｗＩｄ［ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］］、および、ｉ番目の層がビュースケーラビリティ拡張レイヤであるかどうかを規定している可変のＶｉｅｗＳｃａｌＥｘｔＬａｙｅｒＦｌａｇは、次の通り導出される。
ｆｏｒ（ｉ＝１；ｉ＜＝ＶｐｓＭａｘＮｕｍＬａｙｅｒｓ；ｉ＋＋）｛
ｌＩｄ＝ｌａｙｅｒ＿ｉｄ＿ｉｎ＿ｎａｌｕ［ｉ］
ｆｏｒ（ｓｍＩｄｘ＝０、ｊ＝０；ｓｍＩｄｘ＜１６；ｓｍＩｄｘ＋＋）
ｉｆ（ｉ！＝０）＆＆ｓｃａｌａｂｉｌｉｔｙ＿ｍａｓｋ［ｓｍＩｄｘ］）
ＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［ｓｍＩｄｘ］＝ｄｉｍｅｎｓｉｏｎ＿ｉｄ［ｉ］［ｊ＋＋］
ｅｌｓｅ
ＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［ｓｍＩｄｘ］＝０
ＶｉｅｗＩｄ［ｌＩｄ］＝ＳｃａｌａｂｉｌｉｔｙＩｄ［ｉ］［０］
ＶｉｅｗＳｃａｌＥｘｔＬａｙｅｒＦｌａｇ［ｌＩｄ］＝（ＶｉｅｗＩｄ［ｌＩｄ］！＝ＶｉｅｗＩｄ［０］）
｝

当然、上で概説された概念は、概念によって改善される符号器の既存のエンコーダも詰め込む。図２のようなエンコーダは、一連のパケット１０６から成るマルチレイヤビデオ信号１０４の中にビデオ信号を符号化するように構成されている。パケット１０６のそれぞれは、ベースレイヤＩＤフィールド１０８と拡張レイヤＩＤフィールド１１２から成るレイヤ識別構文構造を含む。さらに、このエンコーダは、複数のパケットを含むマルチレイヤビデオ信号の既定の部分１１３に対して、最大構文要素１１４をマルチレイヤビデオ信号の中に挿入し、マルチレイヤビデオ信号の既定の部分１１３を含むパケットの拡張レイヤＩＤフィールド１０８の仮の最大値を示し、仮の最大値に基づいてマルチレイヤビデオ信号の既定の部分内の最大レイヤ数を決定し、最大レイヤ数のそれぞれに対して、マルチレイヤビデオ信号のレイヤ特性化構文部分１２４を最大レイヤ数と等しい回数繰り返し書くことによって、マルチレイヤビデオ信号１０４の中に少なくとも１つの特性を信号で伝えるように構成されている。例えば、エンコーダは、部分１１３の符号化を終えるまで、ストリーム１０４の出力を延期する。

以下の図面は、マルチレイヤデータストリームに含まれたパケットのレイヤＩＤを信号で伝える概念、および、どのような推論のためでも、０などのベースレイヤＩＤの特定の値が、そこにおいて拡張レイヤＩＤを付加した可能性から除外されることを要求することが必要な場合において、バックワード互換性を解決すること無く拡張メカニズムを使って、このレイヤＩＤを効率的に信号で伝えることを達成する可能性を扱う。後者の必要性は以下の非対称を生じる：ベースレイヤＩＤの殆んど全ての可能な値に対して、拡張レイヤＩＤを付加することが実現できる。これは以下の非対称を生じる：ベースレイヤＩＤの殆んど全ての値に対して、拡張レイヤＩＤの付加が実現でき、従って、ベースレイヤＩＤの殆んど全ての値の数×レイヤＩＤ値を表現可能な拡張レイヤＩＤの表現可能な値の数を生じる。しかし、限定されたベースレイヤＩＤ値は、どのような拡張レイヤＩＤでも付加する可能性を除く。従って、この非対称が受け入れられるか、または、ベースレイヤＩＤの禁じられた値が、拡張メカニズムを使う場合において使われないかのいずれかである。以下に発表された解決は、より効率的な方法でこの問題を克服する。

今回、この次の概念の説明は、ちょうど概説された制限が正確に適用されるＨＥＶＣ規格の可能な拡張について直ちに概説される。しかし、以下で概説された概念は、例えばレイヤ識別拡張メカニズムの上に同様な制限を課す別の符号器にも移送可能である。

ＨＥＶＣの制限は、上で概説したように、ベースレイヤが拡張できないことである。ゆえに、ＨＥＶＣ規格に従うために、レイヤｉｄ拡張値ｌａｙｅｒ＿ｉｄ＿ｅｘｔは、０と等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを持つ層に対して、信号で伝えることができない。従って、０と等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄに関連したクラスタは、ベースレイヤ自身のみを含むことができる。そのような異なるクラスタの中の層の等しくない数は不適当である。

問題は、以下に概説された概念によって解決できる。それは、クラスタおよびクラスタ内のレイヤｉｄ拡張値を、上の説明とは異なる方法で導出する。それは、０と等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄに対して複数の層を持つことができないので、複数の層を持たない制限は、０と等しくない別のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に拡張される。これらの限定されたｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に属する層は、そのとき、層の等しい数を持つクラスタを形成するために、無制限のｎｕｈ＿ｌａｙｅｒ＿ｉｄ値からの層と結合される。

基本的なアイデアは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが、例えばビットマスキングによって２つの値に分離されることである。１つの値は、クラスタを決定するために用いられる。この方法の異なるｎｕｈ＿ｌａｙｅｒ＿ｉｄ値は同じクラスタに属することができる。もう１つの値は、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ値の存在を決定し（それゆえ、仮に、複数の層がｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に属することができるならば、決定し）、そして、ＬａｙｅｒＩｄ派生においてｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｖａｌｕｅに追加のオフセットを決定するために利用される。

基本的なアイデアの実施の形態のための例は、以下において与えられ、図１８において説明される。従って、図１８は、３と等しいｍａｘ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ（２と等しいＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）の例示的な場合に対して、ｌａｙｅｒ＿ｉｄ＿ｅｘｔとｎｕｈ＿ｌａｙｅｒ＿ｉｄとＬａｙｅｒＩｄとの間の関係のための例を提供する。

この例のみにおいて、６ビットｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のうち５個の最も重要なビットが、クラスタを決定するために用いられる。ゆえに、異なる最も重要でないビットを持つ２つのｎｕｈ＿ｌａｙｅｒ＿ｉｄ値が、１つのクラスタに属している。

仮に、最も重要でないビットが０と等しいならば、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ値は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄおよびｕｈ＿ｌａｙｅｒ＿ｉｄに属する１つの層のみに対して、信号で伝えられない。定義によって、この層は、５個の最も重要なビットによって規定されたクラスタ内の０と等しいｌａｙｅｒ＿ｉｄ＿ｅｘｔを持つ層である。さもなければ、仮に、最も重要でないビットが１と等しいならば、複数の層はｎｕｈ＿ｌａｙｅｒ＿ｉｄ値に属する。個々の層に対して、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ値は明示的に信号で伝えられ、個々の層は５個の最も重要なビットによって規定されたクラスタに属する。

図１９の構文テーブルは実施の形態のために使われる。それはパケット２０６のヘッダー、すなわちスライスセグメントのヘッダー、または、より精密なその破片を示す。

ｎｕｈ＿ｌａｙｅｒ＿ｉｄの最も重要でないビットが０と等しいとき、Ｌａｙｅｒ＿ｉｄ＿ｅｘｔは存在しない。それが存在しないとき、それは０に等しいと推定される。可変のＬａｙｅｒＩｄは次の通り決定される。ここで、ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎは、ビットについてのｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の長さである。
ＬａｙｅｒＩｄ＝（（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＞＞１）＜＜ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）＋ｌａｙｅｒ＿ｉｄ＿ｅｘｔ

別の実施の形態において、可変のａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎは、ビットストリ－ム、例えばＶＰＳにおいて信号で伝えられる。（前に説明した実施の形態が、１と等しいａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎを持つこの実施の形態の特別な場合であることに注意してください）。６ビットｎｕｈ＿ｌａｙｅｒ＿ｉｄ構文要素の最も重要なビット（６－ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）は、クラスタを決定するために使われる。最も重要でないビットａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎは、ｌａｙｅｒ＿ｉｄ＿ｅｘｔが推定されるかどうかを規定する。さらに、それらはｌａｙｅｒ＿ｉｄ＿ｅｘｔ値に追加のオフセットを規定する。図２０ａおよび図２０ｂの構文テーブルは、実施の形態を示すために用いられる。

実施の形態において、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの最も重要でないビット（ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）が１と等しいとき、ｌａｙｅｒ＿ｉｄ＿ｅｘｔのみが存在する。ｌａｙｅｒ＿ｉｄ＿ｅｘｔが存在しないとき、それは０に等しいと推定される。可変のＬａｙｅｒＩｄは次の通り決定される。ここで、ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎは、ビットについてのｌａｙｅｒ＿ｉｄ＿ｅｘｔ構文要素の長さである。
ＬａｙｅｒＩｄ＝
（（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ＞＞ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎ）＜＜ＬｅｎｇｔｈＯｆＥｘｔｅｎｓｉｏｎ）＋ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＋ｌａｙｅｒＩｄＥｘｔＯｆｆｓｅｔ

従って、図１８～図２０ｂについて上で概説された概念に従って、図２において描かれたマルチレイヤビデオデコーダのネットワーク要素などの装置は、レイヤ間予測を使って、ビデオ素材が、異なる情報量レベルに対応する異なる層で符号化されるマルチレイヤデータストリームを処理するように構成される。装置は、マルチレイヤデータストリームを含むパケットのそれぞれに対して、以下のことを行う。個々のパケットは、上で既に説明したように、異なる層のうちの１つと関連している。

特に、図２１に示すように、装置は、マルチレイヤデータストリームから、または、より精密であるように現在のパケットから、ベースレイヤＩＤフィールド３０８を読み取る。ベースレイヤＩＤフィールドは第１副フィールド３０８ａと第２副フィールド３０８ｂとを含む。例えば、第１副フィールドは、フィールド３０８の１つ以上の最も重要でないビットによって形成される。一方、第２副フィールド３０８ｂは、フィールド３０８の別の最も重要なビットによって形成される。図２０ｂの例において示されるように、ａｄｄ＿ｌａｙｅｒ＿ｉｄ＿ｅｘｔ＿ｌｅｎと称される高レベル構文要素３１０は、副フィールド３０８ａの長さを定義する。

ステップ３１２において、装置はベースレイヤＩＤフィールド３０８を読み取った後、ステップ３１４において、副フィールド３０８ａが、既定の基準を満たすかどうかをチェックする。例えば、仮に、副フィールドが１つであるか、または「全く同じシーケンス」であるならば、基準は満たされる。既定の基準が満たされる場合、装置は、ステップ３１８において、データストリームから、または、より精密であるように、現在のパケットから拡張レイヤＩＤフィールド３１６を読み取る。そして、ステップ３２０において、拡張値が拡張値のドメインの第１副セット内にあるように、拡張レイヤＩＤフィールドを使って拡張値を導出する。ステップ３２０における導出は、フィールド３１６内のビット表現の単なるコピーと一致する。拡張レイヤＩＤフィールド３１６内の値が０などの特定の値を仮定しないことは、データストリームの要件である。さらに以下で概説されるように、ベースレイヤＩＤフィールド３０８の副フィールド３０８ａが基準を満たさない場合、後者の値が確保される。

ステップ３２０の後、装置は、第２副フィールド３０８ｂの可能な値のドメインからクラスタ値のドメイン上にマッピングすることによって、クラスタ値を第２副フィールド３０８ｂから導出する。現在のパケットが関連する層、すなわち、フィールド３０８および３１６を構成している層が、ステップ３２４において、ステップ３２０と３２２において導出されたクラスタと拡張値を使って索引を付けられる。例えば、クラスタおよび拡張値は、例えば最も重要な数字のためのクラスタ値を使って、お互いに単に連結される。副フィールド３０８ｂに基づいたクラスタ値３２２の導出は、また、例えば、クラスタ値の２進数の表現として、副フィールド３０８ｂのビットの直接的な使用から成る。

しかし、仮に、ステップ３１４のチェックが、既定の基準が合致しないならば、装置は、現在のパケットに対してマルチレイヤデータストリームから拡張レイヤＩＤフィールドを読み取ることを控える。むしろ、装置は、ステップ３２６において、拡張値を０に設定することなどによって、拡張値のドメインの第１副セットに解体する値の上に拡張値を設定し、そして、クラスタ値のドメインの上に第２副フィールド３０８ｂの可能な値のドメインからマッピングすることによって、クラスタ値を第２副フィールド３０８ｂから導出する。ステップ３２２と３２８の導出は、同じマッピングを使って実行される。次に、現在のパケットのレイヤＩＤは、ステップ３２６と３２８において設定されて導出されたクラスタと拡張値から決定される。ここで、仮に、クラスタと拡張値がステップ３２０と３２２において導出されるならば、レイヤＩＤの決定が同じ方法で再び実行される。

図２１の説明を図１８の実施の形態に関連させて、第１副フィールド３０８ａは、１ビットの長さであり、特にフィールド３０８のＬＳＢである。仮に、このＬＳＢ３０８ａが勝ち取られて、拡張レイヤＩＤフィールド３１６にわたる拡張値の前記ドメインが｛０、１、２、３｝であり、図１８の場合において、ｌａｙｅｒ＿ｉｄ＿ｅｘｔ、すなわちフィールド３１６が２ビットの長さであるならば、既定の基準が満たされる。従って、拡張値のドメイン、すなわちステップ３２０における導出の共通ドメインの第１副セットは、｛１、２、３｝である。特に、ステップ３２０における導出は、図１８の例の中で、拡張レイヤＩＤフィールドに適用されたユニットのマトリクスの方法によって実施される。代わりに、いくらかの別の計算が、第１副フィールド３０８ａの値をユニットのマトリクス応用の結果に追加するように使われる。従って、ステップ３２６において、拡張値は、｛１、２、３｝に解体する値、すなわち０に設定される。導出３２２と３２８において使われたマッピングは同じであるけれども、代わりに異なっていてもよい。マッピングは特にバイジェクティブ（ｂｉｊｅｃｔｉｖｅ）である。

ステップ３２４の中のインデックスの決定は、図１８において説明されるように、より重要な数字を設定するためのクラスタ値と、より重要でない数字を設定するための拡張値とを使用する。従って、図１８において説明したように、ｌａｙｅｒ＿ｉｄ＿ｅｘｔフィールド、すなわち拡張レイヤＩＤフィールド３１６は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ、すなわちベースレイヤＩＤフィールド３０８のＬＳＢが１である場合に単に存在する。その他の場合は、ｌａｙｅｒ＿ｉｄ＿ｅｘｔフィールドは０であると推定される。従って、ｌａｙｅｒ＿ｉｄ＿ｅｘｔとｎｕｈ＿ｌａｙｅｒ＿ｉｄの結合に対してレイヤＩＤのマッピングは、完全に対称であり、未使用のビット表現は存在しない。ｌａｙｅｒ＿ｉｄ＿ｅｘｔの推定された値は、ｌａｙｅｒ＿ｉｄ＿ｅｘｔを移送することによって、データストリームの中で利用される。その結果、ｌａｙｅｒ＿ｉｄ＿ｅｘｔの移送のためのデータストリームの中に亘るビットが、実のところ、ｌａｙｅｒ＿ｉｄ＿ｅｘｔが３つの異なる値｛１、２、３｝を単に仮定するという事実を説明するように減少する。例えば、２進数の単項符号は、エントロピー符号化／復号化を使って、データストリームの中に符号化され、かつ、そこから復号化された２進数のストリングスの上に、｛１、２、３｝の３つの要素をマップするために使用される。

従って、相互エイリアスが後ろの概念について記述される。レイヤ間予測を使って、異なる情報量レベルに対応する異なる層でビデオ素材が符号化されるマルチレイヤデータストリームを処理するように構成された装置。それぞれが異なる層のうちの１つと関連する複数のパケットを含むマルチレイヤデータストリーム。マルチレイヤデータストリームのパケットのそれぞれに対して、マルチレイヤデータストリームからベースレイヤＩＤフィールドを読み取るように構成された装置。第１副フィールドおよび第２副フィールドを含むベースレイヤＩＤフィールド。ベースレイヤＩＤフィールドの第１副フィールドが、既定の基準を満たすかどうかについてのチェック。

仮に、ベースレイヤＩＤフィールドの第１副フィールドが、既定の基準を満たすならば、マルチレイヤデータストリームから拡張レイヤＩＤフィールドを読み取り、拡張値が拡張値のドメインの第１副セット内にあるように、拡張レイヤＩＤフィールドを使って拡張値を導出し、そして、第２副フィールドの可能な値のドメインからクラスタ値のドメイン上にマッピングすることによって、クラスタ値を第２副フィールドから導出しなさい。

仮に、ベースレイヤＩＤフィールドの第１副フィールドが、既定の基準を満たさないならば、マルチレイヤデータストリームから拡張レイヤＩＤフィールドを読み取ることを控え、拡張値を拡張値のドメインの第１副セットに解体する値に設定し、そして、第２副フィールドの可能な値のドメインからクラスタ値のドメイン上にマッピングすることによって、クラスタ値を第２副フィールドから導出しなさい。

ここで、装置は、個々のパケットが、クラスタと拡張値を使って関連する層に索引を付ける。既定の基準がマルチレイヤデータストリームから読み取られることに注意するべきである。上で説明したように、「第１副フィールド」は、「既定の基準」が「仮に１つならば」、１ビットの長さおよび特にＬＳＢである。「拡張値のドメイン」は、例えば｛０、１、２、３｝である。「第１副セット」は｛１、２、３｝である。「拡張レイヤＩＤフィールドを使って」は、代わりに、ユニットのマトリクス応用の結果に第１副フィールドの値を加えている、拡張レイヤＩＤフィールドに適用されたユニットのマトリクスである。「拡張値に解体する値に設定しなさい」は、「０に」設定することである。「第１副フィールドの可能な値のドメインからクラスタ値のドメイン上にマッピングすること」は、両方の場合に対して同じである。しかし、代わりに異なっていてもよい。マッピングはバイジェクティブである。「クラスタと拡張値を使って、個々のパケットが関連する層に索引を付ける」は、例えば、より重要でない数字を設定するために、より重要な数字および拡張値を設定することに対して、クラスタ値を使うことを含む。

後ろの概念は、レイヤ間予測を使って、異なる情報量レベルに対応する異なる層で、ビデオ素材２０２をマルチレイヤデータストリーム２０４の中に符号化するように構成された符号器の中に直接に移送される。マルチレイヤデータストリームは、それぞれが異なる層の１つと関連する複数のパケット２０６を含む。個々のパケットが関連する層が、クラスタと拡張値によって独特に決定される。符号器は、仮に、拡張値が拡張値のドメインの第１副セット内にあるならば、マルチレイヤデータストリームのパケット２０６のそれぞれに対して、第２副フィールドを設定するためのクラスタ値を使って、既定の基準を満たすために第１副フィールドを設定することで、第１副フィールド３０８ａおよび第２副フィールド３０８ｂを含むベースレイヤＩＤフィールド３０８をマルチレイヤデータストリームの中に挿入するように構成されている。そして、符号器は、拡張レイヤＩＤを設定するための拡張値を使って、拡張レイヤＩＤをマルチレイヤのデータストリームの中に挿入するように構成されている。そして、符号器は、仮に、拡張値が拡張値のドメインの第１副セットに解体する値に等しいならば、既定の基準を満たさないように、第２副フィールドを設定するためのクラスタ値を使って、第１副フィールドを設定することで、マルチレイヤデータストリームの中に、拡張レイヤＩＤフィールドを挿入することおよびベースレイヤＩＤフィールド３０８を挿入３１２することを控えるように構成されている。すなわち、符号器は、復号器が、正しいレイヤＩＤを上で概説した方法で導出して、復号側または受信側について上で概説したこれらに比較した逆マッピングをこの終わりに使うように、データストリームを生成する。

上の説明を要約すると、同じく、エンハンスメント層データのレイヤ識別子、クラスタの中のレイヤ識別子のグループ化およびクラスタ内の符号化依存の効率的な信号に対して、拡張メカニズムが提供される。

上に発表された詳細は、層にされた符号化シナリオの中のエンハンスメントレイヤのデータに適用される。一方、ベースレイヤのデータは不変に置かれる。層にされた符号化シナリオのベースレイヤは、ベースレイヤとエンハンスメントレイヤのデータパケットの共通のヘッダー構文の中のレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄと比較してください）を通じて識別される。

上の例では、受信者側の個々の装置はビデオデコーダである。従って動作するビデオデコーダは、復号化のための（拡張された）ｌａｙｅｒＩＤによって識別されたビットストリームのパケットを選ぶことができる。しかし、装置は、代わりに、ネットワーク利用、復号器についての知識などの外部のファクターに基づいて、（拡張された）ｌａｙｅｒＩＤによって識別されるビットストリームのパケットを破棄することができるネットワーク要素である。

上の実施の形態の全てにおいて、マルチレイヤデータストリームは、別の層から予測された層レイヤ間が、１つ以上のさらなるビュー、深度情報、表面反射率情報、カラーコンポーネント情報、空間解像度改良およびＳＮＲ解像度改良を追加するように、レイヤ間予測を使って、異なる層にてその中で符号化されたビデオ素材を持つ。

いくつかの面が装置の文脈において説明されたけれども、これらの面が、また、ブロックまたは装置が方法ステップまたは方法ステップの特徴に対応する対応方法の説明を表現することは明らかである。相似的に、方法ステップの文脈において説明された面は、また、対応する装置の対応するブロックまたはアイテムまたは特徴の説明を表現する。方法ステップのうちのいくつかまたは全ては、例えばマイクロプロセッサー、プログラム可能なコンピュータ、または電子回路のようなハードウェア装置によって（または使って）実行される。いくつかの実施の形態において、最も重要な方法ステップのうちの約１つ以上は、そのような装置によって実行される。

上で述べられた発明の符号化された信号は、デジタル記憶媒体に格納されるか、または、無線通信媒体のような通信媒体またはインターネットのような有線通信媒体で移送される。

特定の実行要件に依存することによって、本発明の実施の形態はハードウェアまたはソフトウェアにおいて実行できる。実行は、個々の方法が実行されるようなプログラム可能なコンピュータシステムと協力し（または、協力する可能性があり）、そこに格納された電子的に読み取り可能な制御信号を持つデジタル記憶媒体（例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリ）を使って実行できる。従って、デジタル記憶媒体は読み取り可能なコンピュータであってもよい。

本発明に従ったいくつかの実施の形態は、ここに説明された方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協力する可能性がある電子的に読み取り可能な制御信号を持つデータキャリアを含む。

一般に、本発明の実施の形態は、プログラム符号を持つコンピュータプログラム製品として実行できる。コンピュータにおいてコンピュータプログラム製品が稼働するとき、プログラム符号は方法のうちの１つを実行するために操作される。例えば、プログラム符号は機械的に読み取り可能なキャリアに格納されてもよい。

別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを含み、機械的に読み取り可能なキャリアに格納される。

すなわち、本発明の方法の実施の形態は、従って、コンピュータプログラムがコンピュータにおいて稼働するとき、ここに説明された方法のうちの１つを実行するためのプログラム符号を持つコンピュータプログラムである。

従って、本発明の方法の別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを含む、その上において記録されるデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は、一般に実在し、および／または、非移行である。

従って、本発明の方法の別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムを表現しているデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えばデータ通信接続（例えばインターネット）を介して転送されるように構成される。

別の実施の形態は、ここに説明された方法のうちの１つを実行するように構成された、または適用された処理手段（例えばコンピュータまたはプログラム可能な論理デバイス）を含む。

別の実施の形態は、ここに説明された方法のうちの１つを実行するためのコンピュータプログラムをインストールしているコンピュータを含む。

本発明に従う別の実施の形態は、レシーバーに対して、ここに記述された方法のうちの１つを実行するためのコンピュータプログラムを転送する（例えば、電子的にまたは光学的に）ように構成された装置またはシステムを含む。例えば、受信器は、コンピュータ、モバイル装置、メモリー装置または同類である。例えば、装置またはシステムは、コンピュータプログラムを受信器に転送するためのファイルサーバーを含む。

いくつかの実施の形態において、プログラム可能な論理デバイス（例えば、フィールドプログラム可能ゲートアレイ）は、ここに説明された方法の機能のいくつかまたは全てを実行するために使用される。いくつかの実施の形態において、フィールドプログラム可能ゲートアレイは、ここに説明された方法のうちの１つを実行するために、マイクロプロセッサーと協働する。一般に、方法は、どのようなハードウェア装置によっても好ましく実行される。

上に説明された実施の形態は、本発明の原則のためにのみ説明される。ここに説明された配置と詳細の部分修正と変化は、この分野における熟練した者に明白であることは理解される。従って、切迫した特許の請求項の範囲のみによって制限され、ここの実施の形態の説明と例示の方法によって提出された特定の詳細によって制限されない。

Claims (4)

1. ビデオ信号のセットを複数含む符号化されたビデオ信号を表すデータストリームを処理するように構成された装置であって、ビデオ信号のセットはそれぞれマルチレイヤビデオ信号を含み、
   前記装置は、
   前記ビデオ信号の第１のセットに関連付けられた第１のベースレイヤＩＤであって、前記第１のベースレイヤＩＤは前記ビデオ信号の前記第１のセットの前記マルチレイヤビデオ信号の各レイヤについて共通である、第１のベースレイヤＩＤと、
   前記ビデオ信号の前記第１のセットに関連付けられた第１レイヤの前記ビデオ信号の前記第１のセットに関連付けられた第２レイヤに対する、予測のための直接の依存性を示す第１のフラグであって、前記第１のフラグは、前記ビデオ信号の前記第１のセットに関連付けられた前記第２レイヤが、前記ビデオ信号の前記第１のセットに関連付けられた前記第１レイヤにとっての基準レイヤであることを示す、第１のフラグと、
   前記ビデオ信号の第２のセットに関連付けられた第２のベースレイヤＩＤであって、前記第２のベースレイヤＩＤは前記ビデオ信号の前記第２のセットの前記マルチレイヤビデオ信号の各レイヤについて共通である、第２のベースレイヤＩＤと、
   前記ビデオ信号の前記第２のセットに関連付けられた第１レイヤの前記ビデオ信号の前記第２のセットに関連付けられた第２レイヤに対する、予測のための直接の依存性を示す第２のフラグであって、前記第２のフラグは、前記ビデオ信号の前記第２のセットに関連付けられた前記第２レイヤが、前記ビデオ信号の前記第２のセットに関連付けられた前記第１レイヤにとっての基準レイヤであることを示す、第２のフラグと、
   を前記データストリームから読み取り、
   前記ビデオ信号の前記第１のセットに関連付けられた前記第２レイヤから取得した、レイヤ間予測に関する予測残差を使用して、前記ビデオ信号の前記第１のセットに関連付けられた前記第１レイヤを復号し、
   前記ビデオ信号の前記第２のセットに関連付けられた前記第２レイヤから取得した、レイヤ間予測に関する予測残差を使用して、前記ビデオ信号の前記第２のセットに関連付けられた前記第１レイヤを復号する
   ように構成される、
   装置。
2. データストリームを生成して、ビデオ信号のセットを複数含む符号化されたビデオ信号を表すように構成された装置であって、ビデオ信号のセットはそれぞれマルチレイヤビデオ信号を含み、
   前記装置は、
   前記ビデオ信号の第１のセットに関連付けられた第１のベースレイヤＩＤであって、前記第１のベースレイヤＩＤは前記ビデオ信号の前記第１のセットの前記マルチレイヤビデオ信号の各レイヤについて共通である、第１のベースレイヤＩＤと、
   前記ビデオ信号の前記第１のセットに関連付けられた第１レイヤの前記ビデオ信号の前記第１のセットに関連付けられた第２レイヤに対する、予測のための直接の依存性を示す第１のフラグであって、前記第１のフラグは、前記ビデオ信号の前記第１のセットに関連付けられた前記第２レイヤが、前記ビデオ信号の前記第１のセットに関連付けられた前記第１レイヤにとっての基準レイヤであることを示す、第１のフラグと、
   前記ビデオ信号の第２のセットに関連付けられた第２のベースレイヤＩＤであって、前記第２のベースレイヤＩＤは前記ビデオ信号の前記第２のセットの前記マルチレイヤビデオ信号の各レイヤについて共通である、第２のベースレイヤＩＤと、
   前記ビデオ信号の前記第２のセットに関連付けられた第１レイヤの前記ビデオ信号の前記第２のセットに関連付けられた第２レイヤに対する、予測のための直接の依存性を示す第２のフラグであって、前記第２のフラグは、前記ビデオ信号の前記第２のセットに関連付けられた前記第２レイヤが、前記ビデオ信号の前記第２のセットに関連付けられた前記第１レイヤにとっての基準レイヤであることを示す、第２のフラグと、
   を前記データストリームに書き込み、
   前記ビデオ信号の前記第１のセットに関連付けられた前記第２レイヤから取得した、レイヤ間予測に関する予測残差を使用して、前記ビデオ信号の前記第１のセットに関連付けられた前記第１レイヤを符号化し、
   前記ビデオ信号の前記第２のセットに関連付けられた前記第２レイヤから取得した、レイヤ間予測に関する予測残差を使用して、前記ビデオ信号の前記第２のセットに関連付けられた前記第１レイヤを符号化する
   ように構成される、
   装置。
3. ビデオ信号のセットを複数含む符号化されたビデオ信号を表すデータストリームを処理するための方法であって、ビデオ信号のセットはそれぞれマルチレイヤビデオ信号を含み、
   前記方法は、
   前記ビデオ信号の第１のセットに関連付けられた第１のベースレイヤＩＤであって、前記第１のベースレイヤＩＤは前記ビデオ信号の前記第１のセットの前記マルチレイヤビデオ信号の各レイヤについて共通である、第１のベースレイヤＩＤと、
   前記ビデオ信号の前記第１のセットに関連付けられた第１レイヤの前記ビデオ信号の前記第１のセットに関連付けられた第２レイヤに対する、予測のための直接の依存性を示す第１のフラグであって、前記第１のフラグは、前記ビデオ信号の前記第１のセットに関連付けられた前記第２レイヤが、前記ビデオ信号の前記第１のセットに関連付けられた前記第１レイヤにとっての基準レイヤであることを示す、第１のフラグと、
   前記ビデオ信号の第２のセットに関連付けられた第２のベースレイヤＩＤであって、前記第２のベースレイヤＩＤは前記ビデオ信号の前記第２のセットの前記マルチレイヤビデオ信号の各レイヤについて共通である、第２のベースレイヤＩＤと、
   前記ビデオ信号の前記第２のセットに関連付けられた第１レイヤの前記ビデオ信号の前記第２のセットに関連付けられた第２レイヤに対する、予測のための直接の依存性を示す第２のフラグであって、前記第２のフラグは、前記ビデオ信号の前記第２のセットに関連付けられた前記第２レイヤが、前記ビデオ信号の前記第２のセットに関連付けられた前記第１レイヤにとっての基準レイヤであることを示す、第２のフラグと、
   を前記データストリームから読み取るステップと、
   前記ビデオ信号の前記第１のセットに関連付けられた前記第２レイヤから取得した、レイヤ間予測に関する予測残差を使用して、前記ビデオ信号の前記第１のセットに関連付けられた前記第１レイヤを復号化するステップと、
   前記ビデオ信号の前記第２のセットに関連付けられた前記第２レイヤから取得した、レイヤ間予測に関する予測残差を使用して、前記ビデオ信号の前記第２のセットに関連付けられた前記第１レイヤを復号化するステップと、
   を含む、
   方法。
4. データストリームを生成してビデオ信号のセットを複数含む符号化されたビデオ信号を表すための方法であって、ビデオ信号のセットはそれぞれマルチレイヤビデオ信号を含み、
   前記方法は、
   前記ビデオ信号の第１のセットに関連付けられた第１のベースレイヤＩＤであって、前記第１のベースレイヤＩＤは前記ビデオ信号の前記第１のセットの前記マルチレイヤビデオ信号の各レイヤについて共通である、第１のベースレイヤＩＤと、
   前記ビデオ信号の前記第１のセットに関連付けられた第１レイヤの前記ビデオ信号の前記第１のセットに関連付けられた第２レイヤに対する、予測のための直接の依存性を示す第１のフラグであって、前記第１のフラグは、前記ビデオ信号の前記第１のセットに関連付けられた前記第２レイヤが、前記ビデオ信号の前記第１のセットに関連付けられた前記第１レイヤにとっての基準レイヤであることを示す、第１のフラグと、
   前記ビデオ信号の第２のセットに関連付けられた第２のベースレイヤＩＤであって、前記第２のベースレイヤＩＤは前記ビデオ信号の前記第２のセットの前記マルチレイヤビデオ信号の各レイヤについて共通である、第２のベースレイヤＩＤと、
   前記ビデオ信号の前記第２のセットに関連付けられた第１レイヤの前記ビデオ信号の前記第２のセットに関連付けられた第２レイヤに対する、予測のための直接の依存性を示す第２のフラグであって、前記第２のフラグは、前記ビデオ信号の前記第２のセットに関連付けられた前記第２レイヤが、前記ビデオ信号の前記第２のセットに関連付けられた前記第１レイヤにとっての基準レイヤであることを示す、第２のフラグと、
   を前記データストリームに書き込むステップと、
   前記ビデオ信号の前記第１のセットに関連付けられた前記第２レイヤから取得した、レイヤ間予測に関する予測残差を使用して、前記ビデオ信号の前記第１のセットに関連付けられた前記第１レイヤを符号化するステップと、
   前記ビデオ信号の前記第２のセットに関連付けられた前記第２レイヤから取得した、レイヤ間予測に関する予測残差を使用して、前記ビデオ信号の前記第２のセットに関連付けられた前記第１レイヤを符号化するステップと
   を含む、
   方法。

Images