JP5976188B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、動画像データを構成する各ピクチャの画像データを階層符号化して送信する送信装置等に関する。

圧縮動画を、放送、ネット等でサービスする際、受信機のデコード能力によって再生可能なフレーム周波数の上限が制限される。従って、サービス側は普及している受信機の再生能力を考慮して、低フレーム周波数のサービスのみに制限したり、高低複数のフレーム周波数のサービスを同時提供したりする必要がある。

受信機は、高フレーム周波数のサービスに対応するには、高コストとなり、普及の阻害要因となる。初期に低フレーム周波数のサービス専用の安価な受信機のみ普及していて、将来サービス側が高フレーム周波数のサービスを開始する場合、新たな受信機が無いと全く視聴不可能であり、サービスの普及の阻害要因となる。

例えば、ＨＥＶＣ（High Efficiency Video Coding）において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている（非特許文献１参照）。受信側では、ＮＡＬ（Network Abstraction Layer）ユニットのヘッダに挿入されているテンポラルＩＤ（temporal_id）情報に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。

Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012

本技術の目的は、受信側において良好なデコード処理を可能とすることにある。

本技術の概念は、
動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第１のストリームと高階層側のピクチャの符号化画像データを持つ第２のストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記第１のストリームおよび上記第２のストリームを多重化して多重化ストリームを得ると共に、該多重化ストリームに、上記第１のストリームに対応させて該第１のストリームのレベル指定値が記述された第１のデスクリプタを挿入し、上記第２のストリームに対応させて上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値が記述された第２のデスクリプタを挿入する多重化部と、
上記多重化部で得られた多重化ストリームを送信する送信部を備える
送信装置にある。

また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第１のストリームと高階層側のピクチャの符号化画像データを持つ第２のストリームを含むと共に、上記第１のストリームに対応して該第１のストリームのレベル指定値が記述された第１のデスクリプタを含み、上記第２のストリームに対応して上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値が記述された第２のデスクリプタを含む多重化ストリームを受信する受信部と、
デコード能力に応じて、上記受信された多重化ストリームに含まれる上記第１のストリームに、あるいは上記第１のストリームおよび上記第２のストリームの双方にデコード処理を実行する処理部を備える
受信装置にある。

本技術によれば、受信側において良好なデコード処理が可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 エンコーダで行われる階層符号化の一例を示す図である。 ＮＡＬユニットヘッダの構造例（Syntax）およびその構造例における主要なパラメータの内容（Semantics）を示す図である。 エンコーダで行われる階層符号化の他の一例を示す図である。 各ピクチャの符号化画像データの構成例を示す図である。 レイヤ・デコーディング・デスクリプタ（Layer_decoding_descriptor）の構造例（Syntax）を示す図である。 レイヤ・デコーディング・デスクリプタの構造例における主要な情報の内容（Semantics）を示す図である。 ＰＥＳエクステンション・フィールド・データ「pes_extension_field_data()」の構造例(Syntax)を示す図である。 ペス・エクステンション・デスクリプタ（PES_extension_descriptor）の構造例（Syntax）と、その構造例における主要な情報の内容（Semantics）を示す図である。 単一ストリームによる配信を行う場合であって、プログラムマップテーブルの配下に階層情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 ２ストリームによる配信を行う場合であって、プログラムマップテーブルの配下に階層情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 単一ストリームによる配信を行う場合であって、イベントインフォメーションテーブルの配下に階層情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 ２ストリームによる配信を行う場合であって、イベントインフォメーションテーブルの配下に階層情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 単一ストリームによる配信を行う場合であって、ＰＥＳパケットヘッダのエクステンションフィールドに階層情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 ２ストリームによる配信を行う場合であって、ＰＥＳパケットのヘッダのエクステンションフィールドに階層情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 受信装置の構成例を示すブロック図である。 階層構成が変化する場合における符号化画像データの「level_idc」のシグナリングと階層情報との対応関係の一例を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。

送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、各階層のピクチャの画像データの符号化データを持つビデオストリームが含まれる。この場合、各階層のピクチャの符号化画像データを持つ単一のビデオストリーム、あるいは複数の階層が上位階層側および下位階層側の２つの組に分割され、各階層組のピクチャの符号化画像データをそれぞれ持つ２つのビデオストリームが含まれる。

例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５/ＨＥＶＣなどの符号化が施され、被参照ピクチャが自己階層および／または自己階層よりも低い階層に所属するように符号化される。そして、この場合、低階層側および高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。このような符号化が行われることで、受信側では、低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、バッファサイズの減少およびデコード遅延の減少が可能となる。

各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置される。このように階層識別情報が付加されることで、受信側では、所定階層以下の階層の符号化画像データを選択的に取り出してデコード処理を行うことができる。

コンテナのレイヤに、各階層のレベル指定値の情報などを含む階層情報が挿入される。受信側では、この階層情報を参照することで、ビデオストリームからデコーダの能力に見合った階層のピクチャの符号化画像データを選択的に取り出すことが、容易に可能となる。例えば、この階層情報は、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下、あるいはイベントインフォメーションテーブル（ＥＩＴ：Event Information Table）の配下に挿入される。

また、例えば、この階層情報は、ビデオストリームの各ピクチャの符号化画像データに同期した位置であるＰＥＳパケットのヘッダのＰＥＳエクステンションフィールド（PES extension field）に挿入される。これにより、受信側では、階層構成が変化する場合にも、ビデオストリームからデコーダの能力に見合った階層のピクチャの符号化画像データを選択的に取り出すことを適切に行うことが可能となる。

このように階層情報がＰＥＳパケットのエクステンションフィールドに挿入されるとき、ＰＥＳパケットのエクステンションフィールドに階層情報が挿入されていることを識別する識別情報が、プログラムマップテーブルの配下に挿入される。この場合、受信側においては、この識別情報に基づいて、ＰＥＳパケットのエクステンションフィールドに階層情報が挿入されていることを識別可能となる。

受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、このトランスポートストリームＴＳを処理する。この場合、コンテナのレイヤに含まれる階層情報に基づいて、ビデオストリームから、デコーダの能力に見合った所定階層以下の階層のピクチャの符号化画像データが選択的に取り出されて復号化（デコード）され、この所定階層以下の階層のピクチャの画像データが得られる。

「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０３と、マルチプレクサ１０４と、送信部１０５を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。

エンコーダ１０２は、非圧縮の動画像データＶＤを入力して、階層符号化を行う。エンコーダ１０２は、この動画像データＶＤを構成する各ピクチャの画像データを複数の階層に分類する。そして、エンコーダ１０２は、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。

エンコーダ１０２は、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化を行う。この際、エンコーダ１０２は、参照するピクチャ（被参照ピクチャ）が、自己階層および／または自己階層よりも下位の階層に所属するように、符号化する。また、エンコーダ１０２は、複数の階層を低階層側と高階層側に二分し、それぞれの階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する。

図３は、エンコーダ１０２で行われる階層符号化の一例を示している。この例は、０から５までの６階層に分類され、各階層のピクチャの画像データに対して符号化が施された例である。

縦軸は階層を示している。階層０から５のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダ部分に配置されるtemporal_id（階層識別情報）として、それぞれ、０から５が設定される。一方、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。

図４（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図４（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「Forbidden_zero_bit」の１ビットフィールドは、０が必須である。「Nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「Nuh_layer_id」の６ビットフィールドは、０を前提とする。「Nuh_temporal_id_plus1」の３ビットフィールドは、temporal_idを示し、１を加えた値（１〜６）をとる。

図３に戻って、矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。例えば、「０」から「７」の８個のピクチャによりサブ・ピクチャグループ（Sub group of pictures）が構成されており、「０」はそのサブ・ピクチャグループの先頭のピクチャとなる。このサブ・ピクチャグループがいくつか集まってＧＯＰ（Group Of Pictures）となる。

この例では、階層０から２の３階層が低階層側で、階層３から５の３階層が高階層側となる。図示のように、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されていく。例えば、最初に低階層側の「０」と高階層側の「１」とが１つの組にされて符号化され、次に低階層側の「２」と高階層側の「３」とが１つの組にされて符号化され、以下同様に符号化されていく。この場合、低階層は、ある一定階層より低い階層に限定される。これにより、低階層をデコードする際には、限定された階層のみをデコードすることで安定したデコード表示が可能になる。このことは、低階層、高階層に分けられていない場合であっても同様である。

図３に戻って、実線、破線矢印は、符号化におけるピクチャの参照関係を示している。例えば、「０」はＩピクチャ（Intra picture）であり、他のピクチャを参照しない。「１」はＰピクチャであり、「１」のピクチャを参照して符号化される。「２」はＢピクチャであり、「０」のピクチャと、前のサブ・ピクチャグループのピクチャ（図示せず）を参照して符号化される。「３」はＢピクチャであり、「０」、「２」のピクチャを参照して符号化される。同様に、その他のピクチャは、表示順で近くのピクチャを参照して符号化される。なお、「Ｄ」は、参照するピクチャと表示順でどのくらい離れているかを示している。「Ｄ」の表示がないところは、Ｄ＝１である。

図５は、エンコーダ１０２で行われる階層符号化の他の一例を示している。詳細説明は省略するが、この例は、図３の例では高階層側の各ピクチャの表示順が低階層側の各ピクチャの表示順より１ピクチャ分遅れているが、図５の例では高階層側の各ピクチャの表示順が低階層側の各ピクチャの表示順より１ピクチャ分進んでいる。この例の場合も、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されていく。

エンコーダ１０２は、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。例えば、各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは上位階層側および下位階層側のピクチャの符号化画像データをそれぞれ持つ２つのビデオストリームを生成する。

図６は、各ピクチャの符号化画像データの構成例を示している。ＧＯＰの先頭ピクチャの符号化画像データは、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。一方、ＧＯＰの先頭ピクチャ以外のピクチャは、ＡＵＤ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。ＶＰＳはＳＰＳと共に、シーケンス（ＧＯＰ）に一度、ＰＰＳは毎ピクチャで伝送可能とされている。なお、ＥＯＳは存在しなくともよい。

ＳＰＳ（Sequence Parameter Set）には、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、ＳＰＳには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ（sub_layer）として括られ、“Sublayer_level_presented_flag”が“１”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」も挿入可能とされている。以上はＳＰＳだけでなくＶＰＳにおいても供給される。

例えば、図３の階層符号化の例を考える。ＳＰＳに挿入される「general_level_idc」の値は、階層０から５の全てのピクチャを含むレベル値とされる。例えば、そのフレームレートが、１２０Ｐであるときは、 “Ｌｅｖｅｌ５．２”とされる。また、ＳＰＳに挿入される「sublayer_level_idc[2]」の値は、階層０から２のピクチャのみを含むレベル値とされる。例えば、そのフレームレートが、６０Ｐであるときは、 “Ｌｅｖｅｌ５．１”とされる。

図２に戻って、圧縮データバッファ(ｃｐｂ)１０３は、エンコーダ１０２で生成された、各階層のピクチャの符号化画像データを含むビデオストリームを、一時的に蓄積する。マルチプレクサ１０４は、圧縮データバッファ１０３に蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。このトランスポートストリームＴＳには、上述したように、単一あるいは複数のビデオストリームが含まれる。

マルチプレクサ１０４は、コンテナのレイヤに、階層情報を挿入する。送信部１０５は、マルチプレクサ１０４で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。

［階層情報の挿入について］
マルチプレクサ１０４における階層情報の挿入についてさらに説明する。マルチプレクサ１０４は、例えば、以下の（Ａ），（Ｂ），（Ｃ）のいずれかにより、コンテナのレイヤに階層情報を挿入する。
（Ａ）プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に、階層情報を挿入する。
（Ｂ）イベントインフォメーションテーブル（ＥＩＴ：Event Information Table）の配下に、階層情報を挿入する。
（Ｃ）ＰＥＳパケットのヘッダのエクステンションフィールド（Extension field）に階層情報を挿入する。

「（Ａ）の説明」
トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴが含まれている。このＰＭＴには、各ビデオストリームに関連した情報を持つビデオエレメンタリ・ループ（video ES1 loop）が存在する。このビデオエレメンタリ・ループには、各ビデオストリームに対応して、ストリームタイプ、パケット識別子（ＰＩＤ）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。

マルチプレクサ１０４は、このデスクリプタの一つとして新たに定義するレイヤ・デコーディング・デスクリプタ（Layer_decoding_descriptor）を挿入する。図７（ａ），（ｂ）は、レイヤ・デコーディング・デスクリプタの構造例（Syntax）を示している。また、図８は、その構造例における主要な情報の内容（Semantics）を示している。

「Layer_decoding_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、レイヤ・デコーディング・デスクリプタであることを示す。「Layer_decoding_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降の「layer_information()」のバイト数を示す。

図７（ｂ）は、「layer_information()」の構造例（Syntax）を示している。「layer_minimum LMI」の３ビットフィールドは、“temporal_id”の最小値で示される階層（layer）を示す。「layer_maximum LMX」の３ビットフィールドは、“temporal_id”の最大値で示される階層（layer）を示す。ここで、“temporal_id”を割り当てるレイヤ数は、（ＬＭＸ−ＬＭＩ＋１）となる。「layer_level_idc[i]」の８ビットフィールドは、各階層のビットレートのレベル指定値である「level_idc」を示す。

「（Ｂ）の説明」
また、トランスポートストリームＴＳには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴが含まれている。マルチプレクサ１０４は、このＥＩＴの配下に、上述したレイヤ・デコーディング・デスクリプタ（図７参照）を配置する。この場合、マルチプレクサ１０４は、このＥＩＴの配下に、従来周知のコンポーネント・デスクリプタ（Component descriptor）をも配置し、ＰＥＳストリームとのリンクをとる。

「（Ｃ）の説明」
ＰＥＳパケットのヘッダに、ＰＥＳエクステンションフィールド（Extension field）を設けることができる。マルチプレクサ１０４は、このエクステンションフィールドに、階層情報を持つＰＥＳエクステンション・フィールド・データを挿入する。マルチプレクサ１０４は、このようにＰＥＳパケットのヘッダにＰＥＳエクステンションフィールドを設けて、階層情報を持つＰＥＳエクステンション・フィールド・データを挿入することを、例えば、少なくともＣＶＳ（Coded Video Sequence）単位で行う。図９は、ＰＥＳエクステンション・フィールド・データ「pes_extension_field_data()」の構造例(Syntax)を示している。

なお、「PES_extension field length」は、このシンタクス構造の外部で与えられるものとする。「start_sync_byte」の８ビットフィールドは、エクステンション・フィールド（extension field）の開始を表す符号値を示す。「extension_field_type」の８ビットフィールドは、エクステンションフィールドのタイプを示す。ここでは、階層情報を供給することを示す。「layer_information()」は、上述したように、「layer_minimum LMI」「layer_minimum LMX」、「layer_level_idc[i]」のフィールドを持つ（図７（ｂ）参照）。

この場合、マルチプレクサ１０４は、ビデオエレメンタリ・ループに、デスクリプタの１つとして、ＰＥＳエクステンションフィールドに階層情報が挿入されていることを明示するためのペス・エクステンション・デスクリプタ（PES_extension_descriptor）を配置する。

図１０（ａ）は、ペス・エクステンション・デスクリプタ（PES_extension_descriptor）の構造例（Syntax）を示している。また、図１０（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「PES_extention_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ペス・エクステンション・デスクリプタであることを示す。「PES_extention_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。「PES_extension_existed」の１ビットフィールドは、該当するＰＥＳストリームのＰＥＳエクステンションフィールドに符号化がなされているかを示す。１”は、符号化がなされていることを示し、“０”は符号化がなされていないことを示す。

[トランスポートストリームＴＳの構成]
図１１は、単一ストリームによる配信を行う場合であって、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に階層情報を挿入する場合（上述の（Ａ））におけるトランスポートストリームＴＳの構成例を示している。この構成例では、複数の階層のピクチャの例えばＨＥＶＣによる符号化画像データを持つビデオストリームのＰＥＳパケット「video PES1」が存在する。

各ピクチャの符号化画像データには、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＳＬＩＣＥ、ＳＥＩなどのＮＡＬユニットが存在する。上述したように、ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。ＳＰＳには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、ＳＰＳには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ（sub_layer）として括られ、“Sublayer_level_presented_flag”が“１”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（video ES loop）が存在する。

ビデオエレメンタリ・ループには、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したレイヤ・デコーディング・デスクリプタ（Layer_decoding_descriptor）が挿入される。

例えば、図３、図５の階層符号化例の場合、このデスクリプタに記述される内容は、以下とされる。すなわち、「layer_minimum LMI」＝０、「layer_maximum LMX」＝５、「layer_level_idc[0]」＝Level5、「layer_level_idc[1]」＝Level5、「layer_level_idc[2]」＝Level5.1、「layer_level_idc[3]」＝Level5.2、「layer_level_idc[4]」＝Level5.2、「layer_level_idc[5]」＝Level5.2とされる。

図１２は、２ストリームによる配信を行う場合であって、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に階層情報を挿入する場合（上述の（Ａ））におけるトランスポートストリームＴＳの構成例を示している。この構成例では、複数の階層が低階層側と高階層側の２つの組に分割され、この２つ組のピクチャの例えばＨＥＶＣによる符号化画像データをそれぞれ持つビデオストリームのＰＥＳパケット「video PES1」、「video PES2」が存在する。

低階層側の各ピクチャの符号化画像データには、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＳＬＩＣＥ、ＳＥＩなどのＮＡＬユニットが存在する。ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。ＳＰＳには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、ＳＰＳには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ（sub_layer）として括られ、“sublayer_level_presented_flag”が“１”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。

一方、高階層側の各ピクチャの符号化画像データには、ＰＰＳ、ＳＬＩＣＥなどのＮＡＬユニットが存在する。ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、２つのビデオエレメンタリ・ループ（video ES1 loop, video ES2 loop ）が存在する。

各ビデオエレメンタリ・ループには、ビデオストリーム（video PES1, video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したレイヤ・デコーディング・デスクリプタ（Layer_decoding_descriptor）が挿入される。

例えば、図３、図５の階層符号化例の場合、ＰＥＳパケット「video PES1」、「video PES2」に対応したデスクリプタにそれぞれ記述される内容は、以下とされる。すなわち、ＰＥＳパケット「video PES1」に対応したデスクリプタでは、「layer_minimum LMI」＝０、「layer_maximum LMX」＝２、「layer_level_idc[0]」＝Level5、「layer_level_idc[1]」＝Level5、「layer_level_idc[2]」＝Level5.1とされる。また、ＰＥＳパケット「video PES1」に対応したデスクリプタでは、「layer_minimum LMI」＝３、「layer_maximum LMX」＝５、「layer_level_idc[3]」＝Level5.2、「layer_level_idc[4]」＝Level5.2、「layer_level_idc[5]」＝Level5.2とされる。

図１３は、単一ストリームによる配信を行う場合であって、イベントインフォメーションテーブル（ＥＩＴ：Event Information Table）の配下に階層情報を挿入する場合（上述の（Ｂ））におけるトランスポートストリームＴＳの構成例を示している。この構成例では、図１１の構成例と同様に、複数の階層のピクチャの例えばＨＥＶＣによる符号化画像データを持つビデオストリームのＰＥＳパケット「video PES1」が存在する。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（video ES loop）が存在する。このビデオエレメンタリ・ループには、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。

また、トランスポートストリームＴＳには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴが含まれている。このＥＩＴの配下に、上述したレイヤ・デコーディング・デスクリプタ（Layer_decoding_descriptor）が配置される。詳細説明は省略するが、このデスクリプタに記述される内容は、図１１の構成例と同様となる。なお、このＥＩＴの配下には、従来既知のコンポーネント・デスクリプタ（Component descriptor）が配置されており、ＰＥＳパケット「video PES1」とのリンクが取られている。

図１４は、２ストリームによる配信を行う場合であって、イベントインフォメーションテーブル（ＥＩＴ：Event Information Table）の配下に階層情報を挿入する場合（上述の（Ｂ））におけるトランスポートストリームＴＳの構成例を示している。この構成例では、図１２の構成例と同様に、複数の階層が低階層側と高階層側の２つの組に分割され、この２つ組のピクチャの例えばＨＥＶＣによる符号化画像データをそれぞれ持つビデオストリームのＰＥＳパケット「video PES1」、「video PES2」が存在する。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、２つのビデオエレメンタリ・ループ（video ES1 loop, video ES2 loop ）が存在する。各ビデオエレメンタリ・ループには、ビデオストリーム（video PES1, video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。

また、トランスポートストリームＴＳには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴが含まれている。このＥＩＴの配下に、ＰＥＳパケット「video PES1」、「video PES2」のそれぞれに対応したレイヤ・デコーディング・デスクリプタ（Layer_decoding_descriptor）が配置される。詳細説明は省略するが、このデスクリプタに記述される内容は、図１２の構成例と同様となる。なお、このＥＩＴの配下には、従来既知のコンポーネント・デスクリプタ（Component descriptor）が配置されており、ＰＥＳパケット「video PES1」、「video PES2」とのリンクが取られている。

図１５は、単一ストリームによる配信を行う場合であって、ＰＥＳパケットのヘッダのエクステンションフィールド（Extension field）に階層情報を挿入する場合（上述の（Ｃ））におけるトランスポートストリームＴＳの構成例を示している。この構成例では、図１１の構成例と同様に、複数の階層のピクチャの例えばＨＥＶＣによる符号化画像データを持つビデオストリームのＰＥＳパケット「video PES1」が存在する。

ＰＥＳパケットのヘッダに、ＰＥＳエクステンションフィールド（Extension field）が設けられ、「layer_information()」を持つＰＥＳエクステンション・フィールド・データ「pes_extension_field_data()」が挿入される。詳細説明は省略するが、この「layer_information()」の記述内容は、図１１の構成例におけるレイヤ・デコーディング・デスクリプタと同様となる。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（video ES loop）が存在する。

各ビデオエレメンタリ・ループには、ビデオストリーム（video PES1, video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ペス・エクステンション・デスクリプタ（PES_extention_descriptor）が挿入される。このペス・エクステンション・デスクリプタは、ＰＥＳエクステンションフィールドに階層情報が挿入されていることを明示するためのデスクリプタである。

図１６は、２ストリームによる配信を行う場合であって、ＰＥＳパケットのヘッダのエクステンションフィールド（Extension field）に階層情報を挿入する場合（上述の（Ｃ））におけるトランスポートストリームＴＳの構成例を示している。この構成例では、図１２の構成例と同様に、複数の階層が低階層側と高階層側の２つの組に分割され、この２つ組のピクチャの例えばＨＥＶＣによる符号化画像データをそれぞれ持つビデオストリームのＰＥＳパケット「video PES1」、「video PES2」が存在する。

ＰＥＳパケット「video PES1」のヘッダに、ＰＥＳエクステンションフィールド（Extension field）が設けられ、「layer_information()」を持つＰＥＳエクステンション・フィールド・データ「pes_extension_field_data()」が挿入される。詳細説明は省略するが、この「layer_information()」の記述内容は、図１２の構成例におけるＰＥＳパケット「video PES1」に対応したレイヤ・デコーディング・デスクリプタと同様となる。

また、ＰＥＳパケット「video PES2」のヘッダに、ＰＥＳエクステンションフィールド（Extension field）が設けられ、「layer_information()」を持つＰＥＳエクステンション・フィールド・データ「pes_extension_field_data()」が挿入される。詳細説明は省略するが、この「layer_information()」の記述内容は、図１２の構成例におけるＰＥＳパケット「video PES2」に対応したレイヤ・デコーディング・デスクリプタと同様となる。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、２つのビデオエレメンタリ・ループ（video ES1 loop, video ES2 loop ）が存在する。

各ビデオエレメンタリ・ループには、ビデオストリーム（video PES1, video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ペス・エクステンション・デスクリプタ（PES_extention_descriptor）が挿入される。このペス・エクステンション・デスクリプタは、ＰＥＳエクステンションフィールドに階層情報が挿入されていることを明示するためのデスクリプタである。

図２に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、非圧縮の動画像データＶＤが入力される。エンコーダ１０２では、この動画像データＶＤに対して、階層符号化が行われる。すなわち、エンコーダ１０２では、この動画像データＶＤを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。

この場合、参照するピクチャが、自己階層および／または自己階層よりも下位の階層に所属するように、符号化される。また、この場合、複数の階層が低階層側と高階層側に二分され、それぞれの階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。また、この場合、各階層のピクチャの符号化画像データを持つ単一のビデオストリームが生成されるか、あるいは上位階層側および下位階層側のピクチャの符号化画像データをそれぞれ持つ２つのビデオストリームが生成される。

エンコーダ１０２で生成された、各階層のピクチャの符号化データを含むビデオストリームは、圧縮データバッファ（ｃｐｂ）１０３に供給され、一時的に蓄積される。マルチプレクサ１０４では、圧縮データバッファ１０３に蓄積されているビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳには、上述したように、単一あるいは複数のビデオストリームが含まれる。

このようにマルチプレクサ１０４でトランスポートストリームＴＳが生成されるとき、コンテナのレイヤに、例えば、プログラムマップテーブル（ＰＭＴ）の配下に、イベントインフォメーションテーブル（ＥＩＴ）の配下に、あるいはＰＥＳパケットのヘッダのエクステンションフィールドに階層情報が挿入される。マルチプレクサ１０４で生成されたトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５では、このトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。

「受信装置の構成」
図１７は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４を有している。また、この受信装置２００は、デコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、ポスト処理部２０７と、表示部２０８を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。

受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、デコーダ２０５の能力に応じた階層のピクチャの符号化画像データを、選択的に取り出し、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。この場合、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に配置されている、“temporal_id”を意味する「nuh_temporal_id_plus1」の値を参照する。

この場合、デマルチプレクサ２０３はコンテナのレイヤに挿入されている階層情報を抽出し、この階層情報から各階層の「layer_level_idc」を認識し、デコーダ２０５の能力ではどの階層までデコード可能かを検出する。例えば、図３、図５の階層符号化例で、「layer_level_idc[0]」＝Level5、「layer_level_idc[1]」＝Level5、「layer_level_idc[2]」＝Level5.1、「layer_level_idc[3]」＝Level5.2、「layer_level_idc[4]」＝Level5.2、「layer_level_idc[5]」＝Level5.2であるとする。この場合、デコーダ２０５が６０Ｐ、つまり“Ｌｅｖｅｌ５．１”の能力があるときには、階層２までデコード可能であると検出される。また、この場合、デコーダ２０５が１２０Ｐ、つまり“Ｌｅｖｅｌ５．２”の能力があるときには、階層５までデコード可能であると検出される。

圧縮データバッファ(ｃｐｂ)２０４は、デマルチプレクサ２０３から送られてくる各階層のピクチャの符号化画像データを、一時的に蓄積する。デコーダ２０５は、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出してデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。

非圧縮データバッファ（ｄｐｂ）２０６は、デコーダ２０５でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部２０７は、非圧縮データバッファ（ｄｐｂ）２０６からＰＴＳ（Presentation Time stamp）で与えられる表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。

例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が２倍となるように補間処理を施し、１２０ｆｐｓの画像データとして表示部２０８に送る。

表示部２０８は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０８は、受信装置２００に接続される外部機器であってもよい。

図１７に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、コンテナのレイヤに挿入されている階層情報に基づいて、デコーダ２０５の能力に応じた階層のピクチャの符号化画像データが選択的に取り出され、圧縮データバッファ（ｃｐｂ）２０４に送られ、一時的に蓄積される。

デコーダ２０５では、圧縮データバッファ２０４に蓄積されている各階層のピクチャの符号化画像データが取り出される。そして、デコーダ２０５では、取り出された各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ（ｄｐｂ）２０６に送られ、一時的に蓄積される。

そして、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部２０７に送られる。ポスト処理部２０７では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部２０７で処理された各ピクチャの画像データは、表示部２０８に供給され、動画像の表示が行われる。

以上説明したように、図１に示す送受信システム１０において、送信装置１００では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。そのため、例えば、受信装置２００では、低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、一括りのタイミングで進めることが可能となり、バッファサイズの減少とデコード遅延の減少が可能となる。

また、図１に示す送受信システム１０において、送信装置１００では、階層符号化された各階層のピクチャの画像データを持つビデオストリームを含むトランスポートストリームを生成する際に、コンテナのレイヤに階層情報が挿入される。そのため、例えば、受信装置２００では、この階層情報を参照することで、ビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことが容易に可能となる。

また、図１に示す送受信システム１０において、送信装置１００では、階層情報は、例えば、ビデオストリームの各ピクチャの符号化画像データに同期した位置であるＰＥＳパケットのヘッダのＰＥＳエクステンションフィールド（PES extension field）に、少なくともＣＶＳ（Coded Video Sequence）単位で挿入される。そのため、受信側では、階層構成に変化がある場合にも、ビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことを適切に行うことが可能となる。

図１８は、階層構成が変化する場合における符号化画像データの「level_idc」のシグナリングと階層情報との対応関係の一例を示している。この例は、階層０から２の３階層の符号化が行われている第１の５０ＰＣＶＳ系から、階層０から３の４階層の符号化が行われている第２の５０ＰＣＶＳ系に変化し、さらに、階層０から５の６階層の符号化が行われている１００ＰＣＶＳ系に変化する。また、図示の例は、階層情報が、ＰＭＴの配下に挿入されている例を示しているが、上述したように、ＥＩＴの配下、あるいはＰＥＳエクステンションフィールドに挿入される場合にあっても同様である。

第１の５０ＰＣＶＳ系の期間では、単一のビデオストリームで配信されている。符号化画像データのＳＰＳに挿入される「general_level_idc」の値は、階層０から２の全てのピクチャを含むレベル値である“Level5.1”とされている。また、階層１のビットレートのレベル指定値である「sublayer_level_idc[1]」は“Level5”とされている。この場合、階層情報に関しては、「layer_level_idc[0]」＝Level4.1、「layer_level_idc[1]」＝Level5、「layer_level_idc[2]」＝Level5.1」とされている。

第２の５０ＰＣＶＳ系の期間では、単一のビデオストリームで配信されている。符号化画像データのＳＰＳに挿入される「general_level_idc」の値は、階層０から３の全てのピクチャを含むレベル値である“Level5.1”とされている。また、階層２のビットレートのレベル指定値である「sublayer_level_idc[2]」は“Level5”とされている。この場合、階層情報に関しては、「layer_level_idc[0]」＝Level4、「layer_level_idc[1]」＝Level4.1、「layer_level_idc[2]」＝Level5」、「layer_level_idc[3]」＝Level5.1」とされている。

１００ＰＣＶＳ系の期間では、２つのビデオストリームで配信されている。符号化画像データのＳＰＳに挿入される「general_level_idc」の値は、階層０から５の全てのピクチャを含むレベル値である“Level5.2”とされている。また、階層２のビットレートのレベル指定値である「sublayer_level_idc[2]」は“Level5.1”とされている。この場合、階層情報に関しては、「layer_level_idc[0]」＝Level4.1、「layer_level_idc[1]」＝Level5、「layer_level_idc[2]」＝Level5.1」、「layer_level_idc[3]」＝Level5.2」、「layer_level_idc[4]」＝Level5.2」、「layer_level_idc[5]」＝Level5.2」とされている。

図示のように階層構成が変化していく場合、受信装置２００のデコーダ２０５が、例えば５０Ｐに対応するとき、デマルチプレクサ２０３では、階層情報に基づいて、第１の５０ＰＣＶＳ系の期間では階層０から２が取り出され、第２の５０ＰＣＶＳ系の期間では階層０から３が取り出され、１００ＰＣＶＳ系の期間では階層０から２が取り出され、圧縮データバッファ２０４に送られる。そして、デコーダ２０５では、各ピクチャの符号化画像データがそれぞれのデコードタイミングでデコードされ、５０Ｐの画像データが得られる。

＜２．変形例＞
なお、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。

また、本技術は、以下のような構成を取ることもできる。
（１）動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する
送信装置。
（２）階層情報をコンテナのレイヤに挿入する階層情報挿入部をさらに備える
前記（１）に記載の送信装置。
（３）上記階層情報は、各階層のレベル指定値の情報を持つ
前記（２）記載の送信装置。
（４）上記階層情報挿入部は、
上記階層情報を、上記コンテナのレイヤの、上記ビデオストリームの各ピクチャの符号化画像データに同期した位置に挿入する
前記（２）または（３）に記載の送信装置。
（５）上記階層情報挿入部は、
上記階層情報を、ＰＥＳパケットのエクステンションフィールドに挿入する
前記（４）に記載の送信装置。
（６）上記階層情報挿入部は、
上記階層情報をＰＥＳパケットのエクステンションフィールドに挿入することを、少なくともコーデッド・ビデオ・シーケンス単位で行う
前記（５）に記載の送信装置。
（７）プログラムマップテーブルの配下に、上記ＰＥＳパケットのエクステンションフィールドに上記階層情報が挿入されているか否かを明示する情報を挿入する情報挿入部をさらに備える
前記（５）または（６）に記載の送信装置。
（８）上記階層情報挿入部は、
上記階層情報を、プログラムマップテーブルの配下に挿入する
前記（２）または（３）に記載の送信装置。
（９）上記階層情報挿入部は、
上記階層情報を、イベントインフォメーションテーブルの配下に挿入する
前記（２）または（３）に記載の送信装置。
（１０）上記画像符号化部は、
上記各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは上記複数の階層を上記上位階層側および上記下位階層側の２つの組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ２つのビデオストリームを生成する
前記（１）から（９）のいずれかに記載の送信装置。
（１１）動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化ステップと、
送信部により、上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、
低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する
送信方法。
（１２）動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されており、
上記受信されたコンテナを処理する処理部をさらに備える
受信装置。
（１３）コンテナのレイヤに階層情報が挿入されており、
上記処理部は、
上記階層情報に基づいて、上記ビデオストリームから所定階層以下の階層のピクチャの符号化画像データを選択的に取り出して復号化し、該所定階層以下の階層のピクチャの画像データを得る
前記（１２）に記載の受信装置。
（１４）受信部により、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部ステップを有し、
上記符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されており、
上記受信されたコンテナを処理する処理ステップをさらに有する
受信方法。

本技術の主な特徴は、低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化することで、受信側で低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、バッファサイズの減少およびデコード遅延の減少を可能としたことである（図３、図５参照）。また、本技術の主な特徴は、コンテナのレイヤに階層情報が挿入されることで、受信側でビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことを容易に可能としたことである（図７、図１１〜図１６参照）。

１０・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０３・・・圧縮データバッファ（ｃｐｂ）
１０４・・・マルチプレクサ
１０５・・・送信部
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・圧縮データバッファ（ｃｐｂ）
２０５・・・デコーダ
２０６・・・非圧縮データバッファ（ｄｐｂ）
２０７・・・ポスト処理部
２０８・・・表示部

Claims (5)

1. 動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第１のストリームと高階層側のピクチャの符号化画像データを持つ第２のストリームを生成する画像符号化部と、
   上記画像符号化部で生成された上記第１のストリームおよび上記第２のストリームを多重化して多重化ストリームを得ると共に、該多重化ストリームに、上記第１のストリームに対応させて該第１のストリームのレベル指定値が記述された第１のデスクリプタを挿入し、上記第２のストリームに対応させて上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値が記述された第２のデスクリプタを挿入する多重化部を備え、
   上記多重化ストリームはトランスポートストリームであり、上記第１のデスクリプタおよび上記第２のデスクリプタは、プログラムマップテーブルに挿入され、
   上記多重化部で得られた多重化ストリームを送信する送信部をさらに備える
   送信装置。
2. 上記第１のデスクリプタには上記第１のストリームに含まれるピクチャの階層の最大および最小の情報がさらに記述され、上記第２のデスクリプタには上記第２のストリームに含まれるピクチャの階層の最大および最小の情報がさらに記述される
   請求項１に記載の送信装置。
3. 画像符号化部が、動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第１のストリームと高階層側のピクチャの符号化画像データを持つ第２のストリームを生成する画像符号化ステップと、
   多重化部が、上記画像符号化ステップで生成された上記第１のストリームおよび上記第２のストリームを多重化して多重化ストリームを得ると共に、該多重化ストリームに、上記第１のストリームに対応させて該第１のストリームのレベル指定値が記述された第１のデスクリプタを挿入し、上記第２のストリームに対応させて上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値が記述された第２のデスクリプタを挿入する多重化ステップを有し、
   上記多重化ストリームはトランスポートストリームであり、上記第１のデスクリプタおよび上記第２のデスクリプタは、プログラムマップテーブルに挿入され、
   送信部が、上記多重化ステップで得られた多重化ストリームを送信する送信ステップをさらに有する
   送信方法。
4. 動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第１のストリームと高階層側のピクチャの符号化画像データを持つ第２のストリームを含むと共に、上記第１のストリームに対応して該第１のストリームのレベル指定値が記述された第１のデスクリプタを含み、上記第２のストリームに対応して上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値が記述された第２のデスクリプタを含む多重化ストリームを受信する受信部を備え、
   上記多重化ストリームはトランスポートストリームであり、上記第１のデスクリプタおよび上記第２のデスクリプタは、プログラムマップテーブルに挿入されており、
   デコード能力に応じて、上記受信された多重化ストリームに含まれる上記第１のストリームに、あるいは上記第１のストリームおよび上記第２のストリームの双方にデコード処理を実行する処理部をさらに備える
   受信装置。
5. 受信部が、動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第１のストリームと高階層側のピクチャの符号化画像データを持つ第２のストリームを含むと共に、上記第１のストリームに対応して該第１のストリームのレベル指定値が記述された第１のデスクリプタを含み、上記第２のストリームに対応して上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値が記述された第２のデスクリプタを含む多重化ストリームを受信する受信ステップを有し、
   上記多重化ストリームはトランスポートストリームであり、上記第１のデスクリプタおよび上記第２のデスクリプタは、プログラムマップテーブルに挿入されており、
   処理部が、デコード能力に応じて、上記受信された多重化ストリームに含まれる上記第１のストリームに、あるいは上記第１のストリームおよび上記第２のストリームの双方にデコード処理を実行する処理ステップをさらに有する
   受信方法。

Images