JP7091421B2 - 送信装置、及び、受信装置 - Google Patents

Description

本発明は、階層的に符号化された符号化データを送信する送信装置等に関する。

従来、符号化データを所定の多重化方式で伝送する技術が知られている。符号化データは、映像データおよび音声データを含むコンテンツを、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの動画像符号化規格に基づいて符号化することで生成される。

所定の多重化方式には、例えば、ＭＰＥＧ－２ ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ
Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ－２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）、または、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）などがある（非特許文献１参照）。

Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ － Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｃｏｄｉｎｇ ａｎｄ ｍｅｄｉａ ｄｅｌｉｖｅｒｙ ｉｎ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｅｎｖｉｒｏｎｍｅｎｔ － Ｐａｒｔ１：ＭＰＥＧ ｍｅｄｉａ ｔｒａｎｓｐｏｒｔ（ＭＭＴ）、ＩＳＯ／ＩＥＣ ＤＩＳ ２３００８－１

ところで、ＨＥＶＣにおいては、階層的な符号化が可能である。受信側では、階層的に符号化された符号化データを階層レベルに応じて選別することにより、映像のフレームレートの選択等が可能である。

本発明は、階層的に符号化された符号化データを容易に選別できる符号化データを送信する送信装置等を提供する。

本発明の一態様に係る送信装置は、映像が時間階層的に符号化され、符号化順と表示順とが異なる符号化データの送信装置であって、前記符号化データが前記符号化データの階層レベルである基本階層レベルと拡張階層レベルとで異なるパケットにパケット化されたパケットであって、少なくとも前記基本階層レベルと前記拡張階層レベルとに応じて異なるアセットＩＤが対応付けられた前記パケットと、前記拡張階層レベルの復号に用いる前記基本階層レベルの前記アセットＩＤを示す情報と前記アセットＩＤと前記パケットに付与されるパケットＩＤとの対応関係を示す情報とを含む前記パケットとを生成する生成部と、前記基本階層レベルを含む前記パケットと前記拡張階層レベルを含む前記パケットとを符号化ストリームで送信し、生成した前記情報を含む前記パケットを送信する送信部とを備え、前記符号化データの前記基本階層レベルを含む前記パケット、前記符号化データの前記拡張階層レベルを含む前記パケット及び前記情報を含む前記パケットには異なる前記パケットＩＤが付与される。

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明によれば、階層的に符号化された符号化データを容易に選別できる。

図１は、時間スケーラブルに符号化された符号化データを説明するための図である。 図２は、ＭＭＴにおける符号化ストリームのデータ構造を説明するための第１の図である。 図３は、ＭＭＴにおける符号化ストリームのデータ構造を説明するための第２の図である。 図４は、実施の形態１に係る符号化ストリームにおけるパケットＩＤと、データ（アセット）との対応関係を示す図である。 図５は、実施の形態１に係る送信装置の構成を示すブロック図である。 図６は、実施の形態１に係る送信方法のフローチャートである。 図７は、実施の形態１に係る受信装置の構成を示すブロック図である。 図８は、実施の形態１に係る受信方法のフローチャートである。 図９は、実施の形態１に係る受信方法を概念的に示す図である。 図１０は、実施の形態２に係る受信装置の構成を示すブロック図である。 図１１は、実施の形態２に係る送受信方法の概要を説明するための第１の図である。 図１２は、実施の形態２に係る送受信方法の概要を説明するための第２の図である。 図１３は、フラグメントしたＭＦＵ単位で符号化データをパケット化する例を説明するための第１の図である。 図１４は、フラグメントしたＭＦＵ単位で符号化データをパケット化する例を説明するための第２の図である。 図１５は、フラグメントしたＭＦＵ単位で符号化データをパケット化する例を説明するための第３の図である。 図１６は、符号化データをそのままの順番でＭＰ４データに配置する例を示す図である。 図１７は、符号化データを階層レベルごとにＭＰ４データに配置する第１の例を示す図である。 図１８は、符号化データを階層レベルごとにＭＰ４データに配置する第２の例を説明するための図である。

（本発明の基礎となった知見）
映像符号化方式ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、時間スケーラブルに対応しており、例えば、１２０ｆｐｓの映像を６０ｆｐｓの映像として再生することが可能である。図１は、時間スケーラブルに符号化された符号化データを説明するための図である。

時間スケーラブルに符号化された符号化データには、階層ごとにＴｅｍｐｏｒａｌ ＩＤが付与されている。図１では、例えば、Ｔｅｍｐｏｒａｌ ＩＤが０のピクチャ（Ｉ０、Ｐ４）とＴｅｍｐｏｒａｌ ＩＤが１のピクチャ（Ｂ２）とを表示させれば６０ｆｐｓで映像が表示され、Ｔｅｍｐｏｒａｌ ＩＤが２のピクチャ（Ｂ１、Ｂ３）をさらに追加で表示させれば１２０ｆｐｓで映像が表示される。

図１の例では、Ｔｅｍｐｏｒａｌ ＩＤが０または１である符号化データを基本レイヤ（基本階層レベル）とし、Ｔｅｍｐｏｒａｌ ＩＤが２のデータを拡張レイヤ（拡張階層レベル）とする。

基本レイヤのピクチャは、独立して符号化可能であるか、または、基本レイヤの他のピクチャを用いて復号可能である。これに対し、拡張レイヤのピクチャは、単独で復号不可能であり、図１において矢印の始点に位置する参照ピクチャの復号後でなければ復号できない。このため、拡張レイヤのピクチャの参照ピクチャとなる、基本レイヤのピクチャは、拡張レイヤのピクチャに対して先に復号されなければならない。

なお、復号順は、画像表示順とは異なる。図１の例では、画像表示順が（Ｉ０、Ｂ１、Ｂ２、Ｂ３、Ｐ４）の並びであるのに対して、復号順は（Ｉ０、Ｐ４、Ｂ２、Ｂ１、Ｂ３）の並びである。画像表示順は、ピクチャごとに付与されるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）に基づいて定められ、復号順は、ピクチャごとに付与されるＤＴＳ（Ｄｅｃｏｄｅ Ｔｉｍｅ Ｓｔａｍｐ）に基づいて定められる。

時間スケーラブル符号化の場合だけでなく、空間スケーラブル符号化およびＳＮＲスケーラブル符号化の場合も、ピクチャを基本レイヤと拡張レイヤとに分けた場合、拡張レイヤに属するピクチャは、単独で復号不可能である。拡張レイヤに属するピクチャは、基本レイヤに属するピクチャと合わせて復号されなければならない。

スケーラブルに符号化された（階層的に符号化された）符号化データは、受信側（復号側）においては容易に選別できることが望ましい。

そこで、本発明の一態様に係る送信方法は、映像が階層的に符号化された符号化データの送信方法であって、前記符号化データがパケット化されたパケットであって、少なくとも前記符号化データの階層レベルに応じて異なるパケットＩＤが付与された前記パケットを含む符号化ストリームと、前記パケットＩＤと前記階層レベルとの対応関係を示す情報とを生成する生成ステップと、生成した前記符号化ストリームおよび生成した前記対応関係を示す情報を送信する送信ステップとを含む。

これにより、パケットＩＤのフィルタリングによって符号化データを階層レベルごとに選別できる。つまり、受信側において符号化データが容易に選別できる。

また、前記階層レベルには、基本階層レベルと、拡張階層レベルとが含まれ、前記基本階層レベルの前記符号化データは、独立して復号可能であるか、または、前記基本階層レベルの他の前記符号化データの復号後のデータを参照することによって復号可能であり、前記拡張階層レベルの前記符号化データは、前記基本階層レベルの前記符号化データの復号後のデータを参照することによって復号可能であってもよい。

また、前記生成ステップでは、前記基本階層レベルの前記符号化データがパケット化された前記パケットを含み、かつ、前記拡張階層レベルの前記符号化データがパケット化された前記パケットを含まない前記符号化ストリームである第一符号化ストリームと、前記拡張階層レベルの前記符号化データがパケット化された前記パケットを含み、かつ、前記基本階層レベルの前記符号化データがパケット化された前記パケットを含まない前記符号化ストリームである第二符号化ストリームとを生成し、前記送信ステップでは、前記第一符号化ストリームを第一の伝送路を用いて送信し、前記第二符号化ストリームを前記第一の伝送路とは異なる第二の伝送路を用いて送信してもよい。

また、前記生成ステップでは、前記第一符号化ストリームおよび前記第二符号化ストリームを、互いに異なる多重化方式にしたがって生成してもよい。

また、前記生成ステップでは、前記第一符号化ストリームおよび前記第二符号化ストリームの一方を、ＭＰＥＧ２－ＴＳ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ－２ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）にしたがって生成し、前記第一符号化ストリームおよび前記第二符号化ストリームの他方を、ＭＭＴ（ＭＰＥＧＭｅｄｉａＴｒａｎｓｐｏｒｔ）にしたがって生成してもよい。

また、前記第一の伝送路および前記第二の伝送路の一方は、放送用の伝送路であり、前記第一の伝送路および前記第二の伝送路の他方は、通信用の伝送路であってもよい。

また、前記生成ステップでは、前記対応関係を示す情報を含む前記符号化ストリームを生成し、前記送信ステップでは、前記対応関係を示す情報を含む前記符号化ストリームを送信してもよい。

また、前記対応関係を示す情報は、当該符号化ストリームが単独で復号可能であることを示す情報、および当該符号化ストリーム復号に必要な他の符号化ストリームを示す情報のいずれか一方を含んでもよい。

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
［送信方法］
以下、実施の形態１に係る送信方法（送信装置）について図面を参照しながら説明する。実施の形態１では、一例としてＭＭＴにしたがって符号化データを送信する送信方法について説明する。

まず、ＭＭＴにおける符号化ストリームのデータ構造について説明する。図２および図３は、ＭＭＴにおける符号化ストリームのデータ構造を説明するための図である。

図２に示されるように、符号化データは、複数のＡＵ（Ａｃｃｅｓｓ Ｕｎｉｔ）からなる。符号化データは、例えば、ＨＥＶＣなどの動画像符号化規格に基づいて符号化されたＡＶデータである。符号化データは、具体的には、映像データ、音声データ、並びに、これらに付随するメタデータ、静止画およびファイルなどを含む。符号化データが映像データである場合、１つのＡＵは、１つのピクチャ（１フレーム）に相当する単位である。

ＭＭＴでは、符号化データは、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）単位でＭＰ４のファイルフォーマットにしたがって、ＭＰ４データ化される（ＭＰ４ヘッダが付与される）。ＭＰ４データに含まれるＭＰ４ヘッダには、ＡＵの提示時刻（上述のＰＴＳ）や復号時刻（上述のＤＴＳ）の相対値が記述される。また、ＭＰ４ヘッダには、ＭＰ４データのシーケンス番号が記述される。なお、ＭＰ４データ（ＭＰ４ファイル）は、ＭＭＴ規格において定義されるデータ単位であるＭＰＵ（Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の一例である。

なお、以下では、ＭＰ４データ（ファイル）を送信する場合を例に挙げて説明するが、送信されるデータはＭＰ４データでなくてもよい。例えば、ＭＰ４ファイルとは異なるファイルフォーマットのデータでもよく、符号化データと符号化データの復号に必要な情報（例えば、ＭＰ４ヘッダに含まれる情報）とが送信されていれば、受信側で符号化データを復号することができる。

そして、図３に示されるように、ＭＭＴにおける符号化ストリーム１０は、プログラム情報１１と、時刻オフセット情報１２と、複数のＭＭＴパケット１３とを含む。言い換えると、符号化ストリーム１０は、ＭＭＴパケット１３のパケット列である。

符号化ストリーム１０（ＭＭＴストリーム）は、１つのＭＭＴパッケージを構成する１以上のストリームの１つである。ＭＭＴパッケージは、例えば、１つの放送番組コンテンツに相当する。

プログラム情報１１は、符号化ストリーム１０が、スケーラブル符号化されたストリーム（基本レイヤと拡張レイヤとの両方を含むストリーム）であることを示す情報や、スケーラブル符号化の種類および階層レベル数（階層数）の情報を含む。ここで、スケーラブル符号化の種類とは、時間スケーラビリティ、空間スケーラビリティ、およびＳＮＲスケーラビリティなどであり、階層レベル数とは、基本レイヤおよび拡張レイヤ等のレイヤの数である。なお、プログラム情報１１は、上記の情報を全て含む必要はなく、少なくともいずれか一つの情報を含んでいればよい。

また、プログラム情報１１は、例えば、複数のアセットと、パケットＩＤとの対応関係を示す情報などを含む。なお、アセットは、同一のトランスポート特性のデータを含むデータエンティティであり、例えば、映像データおよび音声データなどのいずれか１つである。また、プログラム情報１１は、それぞれのパケットＩＤ（または、アセット）の階層関係を示す記述子を含んでいてもよい。

プログラム情報１１は、具体的には、ＭＭＴにおけるＣＩ（Ｃｏｍｐｏｓｉｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ）およびＭＰＴ（ＭＭＴ Ｐａｃｋａｇｅ Ｔａｂｌｅ）である。なお、プログラム情報１１は、ＭＰＥＧ２－ＴＳでは、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）であり、ＭＰＥＧ－ＤＡＳＨではＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）などである。

時刻オフセット情報１２は、ＡＵのＰＴＳまたはＤＴＳを決定するための時刻情報である。時刻オフセット情報１２は、具体的には、例えば、基本レイヤに属する先頭のＡＵの絶対的なＰＴＳまたはＤＴＳである。

ＭＭＴパケット１３は、ＭＰ４データがパケット化されたデータである。実施の形態１では、１つのＭＭＴパケット１３には、１つのＭＰ４データ（ＭＰＵ）が含まれる。図３に示されるように、ＭＭＴパケット１３は、ヘッダ１３ａ（ＭＴＴパケットヘッダ。ＭＰＥＧ２－ＴＳの場合はＴＳパケットヘッダ）と、ペイロード１３ｂとを含む。

ペイロード１３ｂには、ＭＰ４データが格納される。なお、ペイロード１３ｂには、ＭＰ４を分割したものが格納される場合がある。

ヘッダ１３ａは、ペイロード１３ｂに関する付属情報である。例えば、ヘッダ１３ａには、パケットＩＤが含まれる。

パケットＩＤは、ＭＭＴパケット１３（ペイロード１３ｂ）に含まれるデータのアセットを示す識別番号である。パケットＩＤは、ＭＭＴパッケージを構成するアセットごとに固有の識別番号である。

符号化ストリーム１０では、基本レイヤの映像データと、拡張レイヤの映像データとを異なるアセットとして取り扱う点が特徴である。つまり、符号化ストリーム１０のＭＭＴパケット１３には、格納される符号化データの階層レベルに応じて異なるパケットＩＤが付与される。図４は、符号化ストリーム１０におけるパケットＩＤと、データ（アセット）との対応関係を示す図である。なお、図４は、対応関係の一例である。

図４に示されるように、実施の形態１では、基本レイヤの映像データ（基本階層レベルの符号化データ）がパケット化されたＭＭＴパケット１３には、パケットＩＤ「１」が付与される。つまり、ヘッダ１３ａにパケットＩＤ「１」が記述される。そして、拡張レイヤの映像データ（拡張階層レベルの符号化データ）がパケット化されたＭＭＴパケット１３には、パケットＩＤ「２」が付与される。つまり、ヘッダ１３ａにパケットＩＤ「２」が記述される。

同様に、音声データがパケット化されたＭＭＴパケット１３には、パケットＩＤ「３」が付与され、時刻オフセット情報１２がパケット化されたＭＭＴパケット１３には、パケットＩＤ「４」が付与される。プログラム情報１１がパケット化されたＭＭＴパケット１３には、パケットＩＤ「５」が付与される。

また、図４に示されるような対応関係は、符号化ストリーム１０のプログラム情報１１内に記述される。なお、上記対応関係には、パケットＩＤ「１」が付与されたＭＭＴパケット１３とパケットＩＤ「２」が付与されたＭＭＴパケット１３とがペアであり、スケーラビリティに用いられることを示す情報が含まれる。

以上説明したような、実施の形態１に係る符号化ストリーム１０の送信方法（送信装置）について説明する。図５は、実施の形態１に係る送信装置の構成を示すブロック図である。図６は、実施の形態１に係る送信方法のフローチャートである。

図５に示されるように、送信装置１５は、符号化部１６と、多重化部１７と、送信部１８とを備える。なお、送信装置１５の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。

実施の形態１に係る符号化ストリーム１０の送信方法においては、まず、パケットＩＤが付与されたＭＭＴパケット１３と、パケットＩＤと階層レベルとの対応関係を示す情報とを含む符号化ストリーム１０が生成される（Ｓ１１）。

具体的には、多重化部１７は、符号化部１６から出力される符号化データのパケット化に際し、当該符号化データの階層レベルに応じてパケットＩＤを決定（選択）する。続いて、多重化部１７は、決定されたパケットＩＤを含むＭＭＴパケット１３を生成する。一方で、多重化部１７は、上記対応関係を示す情報を生成する。そして、多重化部１７は、生成したＭＭＴパケット１３と生成した対応関係を示す情報とを含む符号化ストリーム１０を生成する。

生成された符号化ストリーム１０は、送信部１８により伝送路を用いて伝送される（Ｓ１２）。

このように、符号化データの階層レベルに応じて異なるパケットＩＤが付与されたＭＭＴパケット１３を含む符号化ストリーム１０が送信されれば、受信側において従来のパケットフィルタの仕組みを利用して容易に符号化データを選別することができる。

なお、パケットＩＤと階層レベルとの対応関係を示す情報は、符号化ストリーム１０に含まれず、符号化ストリーム１０とは別に伝送されてもよい。また、受信側でパケットＩＤと階層レベルとの対応関係が既に把握されている場合は、パケットＩＤと階層レベルとの対応関係を示す情報は、伝送されなくてもよい。

例えば、上記対応関係を示す情報は、放送信号のような連続した信号の中に繰り返し挿入されるプログラム情報に含まれてもよいし、復号開始前に通信サーバから取得されてもよい。

［受信方法］
以下、実施の形態１に係る受信方法（受信装置）について図面を参照しながら説明する。図７は、実施の形態１に係る受信装置の構成を示すブロック図である。図８は、実施の形態１に係る受信方法のフローチャートである。

なお、以下の説明では、基本レイヤを階層レベルＡと記載し、拡張レイヤを階層レベルＢと記載する場合がある。

図７に示されるように、受信装置２０は、パケットフィルタ２１と、プログラム情報解析部２２と、制御部２３と、パケットバッファ２４と、復号部２５と、提示部２６とを備える。なお、受信装置２０の構成要素のうち、パケットバッファ２４および提示部２６以外の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。パケットバッファ２４は、例えば、半導体メモリなどの記憶装置である。提示部２６は、例えば、液晶パネルなどの表示装置である。

図８に示されるように、まず、パケットフィルタ２１は、符号化ストリーム１０に含まれるＭＭＴパケット１３を分離し（Ｓ２１）、プログラム情報１１をプログラム情報解析部２２に出力する。ここで、パケットフィルタ２１は、予めプログラム情報１１を含むＭＭＴパケット１３のパケットＩＤを認識している（または、プログラム情報１１を含むＭＭＴパケット１３のパケットＩＤを他の制御情報から取得可能な）ため、符号化ストリーム１０からプログラム情報１１を含むＭＭＴパケット１３を分離できる。

次に、プログラム情報解析部２２は、プログラム情報１１を解析する（Ｓ２２）。プログラム情報１１には、上述のようにパケットＩＤとアセットとの対応関係等が含まれる。

一方で、制御部２３は、どの階層レベルの符号化データ（ＭＭＴパケット１３）を抽出するかを決定する（Ｓ２３）。この決定は、入力受付部（図７において図示せず）が受け付けたユーザの入力に基づいて行われてもよいし、提示部２６の仕様（例えば、提示部２６が対応しているフレームレートなど）に応じて行われてもよい。

そして、パケットフィルタ２１は、制御部２３の制御に基づいて、決定された階層レベルの符号化データ（ＭＭＴパケット１３）を抽出（フィルタリング）する（Ｓ２４）。制御部２３は、プログラム情報解析部２２の解析により、階層レベルごとのパケットＩＤを認識しているため、パケットフィルタ２１に決定された階層レベルの符号化データを抽出させることができる。

続いて、パケットバッファ２４は、パケットフィルタ２１によって抽出された符号化データをバッファし、ＤＴＳのタイミングで復号部２５に出力する（Ｓ２５）。ＤＴＳのタイミングは、プログラム情報１１、時刻オフセット情報１２、および、例えば、ＭＰ４ヘッダ内で伝送される時刻情報に基づいて算出される。なお、空間スケーラビリティなどで、基本レイヤの符号化データと拡張レイヤの符号化データとに同じＤＴＳが付与されているような場合は、基本レイヤの符号化データが拡張レイヤの符号化データより先に復号されるように、復号順が並び替えられてもよい。

パケットバッファ２４によってバッファされた符号化データは、復号部２５によって復号され、ＰＴＳのタイミングで提示部２６によって提示（表示）される（Ｓ２６）。ＰＴＳのタイミングは、プログラム情報１１、時刻オフセット情報１２、およびＭＰ４ヘッダ内の時刻情報に基づいて算出される。

このような受信方法についてさらに図９を用いて説明する。図９は、実施の形態１に係る受信方法を概念的に示す図である。

図９に示されるように、例えば、階層レベルが階層レベルＡである（抽出対象が基本レイヤの符号化データのみである）と決定された場合、パケットフィルタ２１は、パケットＩＤ「１」が付与されたＭＭＴパケット１３を全て抽出し、パケットＩＤ「２」が付与されたＭＭＴパケット１３は抽出しない。この結果、フレームレートの低い（例えは、６０ｆｐｓ）映像が提示部２６によって表示される。

また、例えば、階層レベルが階層レベルＡ＋Ｂである（抽出対象が基本レイヤの符号化データと拡張レイヤの符号化データとの両方である）と決定された場合、パケットフィルタ２１は、パケットＩＤ「１」または「２」が付与されたＭＭＴパケット１３を全て抽出する。この結果、フレームレートの高い（例えば、１２０ｆｐｓ）映像が提示部２６によって表示される。

このように、受信装置２０においては、パケットフィルタ２１を利用して容易に基本階層レベルの符号化データと、拡張階層レベルの符号化データとを選別可能である。

（実施の形態２）
［送受信方法］
以下、実施の形態２に係る送信方法および受信方法（受信装置）について図面を参照しながら説明する。図１０は、実施の形態２に係る受信装置の構成を示すブロック図である。図１１および図１２は、実施の形態２に係る送受信方法の概要を説明するための図である。なお、送信装置のブロック図、並びに、受信方法および送信方法のフローチャートについては、階層レベルＩＤを用いる点を除けば実施の形態１で説明したものとほぼ同一であるため、説明が省略される。

図１０に示されるように、実施の形態２に係る受信装置２０ａは、階層フィルタ２７を備える点が受信装置２０と異なる。

図１１の（１）に示されるように、実施の形態２に係る送信方法において送信される符号化ストリームでは、基本レイヤのＭＭＴパケット１３および拡張レイヤのＭＭＴパケット１３のそれぞれに、同一のパケットＩＤ（図１０ではパケットＩＤ：１）が付与される。

そして、同じパケットＩＤが付与されたＭＭＴパケット１３に対して、階層レベルに関する識別子である階層レベルＩＤがパケットＩＤとは別に付与される。図１０の例では、階層レベルＩＤは、例えば、基本レイヤに対してＡ、拡張レイヤに対してＢが付与される。パケットＩＤおよび階層レベルＩＤは、例えば、ＭＴＴパケットに対応するヘッダ１３ａ（ＭＴＴパケットヘッダ）に記述される。

階層レベルＩＤは、新規の識別子として規定されてもよいし、ｐｒｉｖａｔｅ ｕｓｅｒ ｄａｔａやその他の識別子を利用して実現されてもよい。

なお、ＴＳパケットヘッダが用いられる場合には、階層レベルＩＤは、新規の識別子として規定されてもよいし、既存の識別子を用いて実現されてもよい。例えば、トランスポートプライオリティ識別子およびエレメンタリーストリームプライオリティ識別子のいずれか一方、または両方を用いて階層レベルＩＤと同等の機能が実現可能である。

図１１の（２）および図１２の（２）に示されるように、伝送された符号化ストリームは、受信装置２０ａのパケットフィルタ２１によってパケットフィルタリングされる。つまり、伝送された符号化ストリームは、パケットヘッダに付与されているパケットＩＤに基づいてフィルタリングされる。

図１１の（３）および図１２の（３）に示されるように、パケットフィルタリングされたＭＭＴパケット１３は、さらに、階層フィルタ２７によって、階層レベルＩＤに基づいて階層レベルフィルタリングされる。フィルタリングされた符号化データは、パケットバッファ２４で一旦バッファリングされた後、ＤＴＳのタイミングで復号部２５によって復号される。そして、図１１の（４）および図１２の（４）に示されるように、復号後のデータは、提示部２６によってＰＴＳのタイミングで提示される。

ここで、基本レイヤのみが復号された映像（例えば６０ｆｐｓの映像）を得るためには、低階層の階層レベルＩＤ「Ａ」のＭＭＴパケット１３（符号化データ）のみが復号されればよい。したがって、階層レベルフィルタリングにおいては、階層レベルＩＤ「Ａ」のＭＭＴパケット１３のみが抽出される。

一方、基本レイヤおよび拡張レイヤが復号された映像（例えば１２０ｆｐｓの映像）を得るためには、低階層の階層レベルＩＤ「Ａ」のＭＭＴパケット１３、および、高階層の階層レベルＩＤ「Ｂ」のＭＭＴパケット１３の両方が復号される必要がある。したがって、階層レベルフィルタリングにおいては、階層レベルＩＤ「Ａ」のＭＭＴパケット１３および階層レベルＩＤ「Ｂ」のＭＭＴパケット１３の両方が抽出される。

このように、実施の形態２に係る受信方法（受信装置２０ａ）は、階層レベルＩＤが「Ａ」のＭＭＴパケット１３のみをフィルタリングして、基本レイヤのみの映像を復号および提示する系列と、階層レベルＩＤが「Ａ」または「Ｂ」のＭＭＴパケット１３をフィルタリングして、基本レイヤ＋拡張レイヤの映像を復号および提示する系列との２つの系列を有する。

なお、パケットフィルタリングおよび階層レベルフィルタリングにおいてどのパケットＩＤまたは階層レベルＩＤをフィルタリングするかは、プログラム情報１１に記述されているスケーラブル符号化の種類や、階層数の情報、および受信装置２０ａがどの階層の符号化データを復号および表示するか等を考慮して決定される。

このような決定は、例えば、受信装置２０ａの持つ処理能力に応じて受信装置２０ａによって行われる。なお、送信装置は、さらに、コンテンツを復号および表示するために必要な受信装置２０ａの能力に係る情報をシグナリング情報として送信してもよく、このような場合、上記決定は、受信装置２０ａがシグナリング情報と受信装置２０ａの能力とを照らし合わせることにより行われる。

なお、パケットフィルタ２１と階層レベルフィルタ２７とを一つにまとめたフィルタ部が設けられ、フィルタ部は、パケットＩＤと階層レベルＩＤとに基づいて一括でフィルタリングを行ってもよい。

以上説明したように実施の形態２に係る送受信方法によれば、階層レベルＩＤのフィルタリングによって符号化データを階層レベルごとに選別できる。つまり、受信側において符号化データが容易に選別できる。また、パケットＩＤと階層レベルＩＤとが別々に付与されるため、パケットフィルタリングでは基本レイヤの符号化データおよび拡張レイヤの符号化データを同一のストリームとして扱うことができる。

また、パケットに階層レベルＩＤを付与することにより、フィルタリングの動作のみで所望の階層符号化データを抽出可能となり、リアセンブルが不要となる。

さらに、階層フィルタによって所望の階層符号化データを抽出できることにより、ベースレイヤのみの復号に対応した受信装置は、拡張レイヤのデータパケットをバッファするメモリを削減できる。

［具体例１］
ＭＭＴでは、ＭＰ４データで構成されるＭＰＵをＭＦＵ（Ｍｅｄｉａ Ｆｒａｇｍｅｎｔ Ｕｎｉｔ）にフラグメントし、ＭＦＵ単位でヘッダ１３ａを付加してＭＭＴパケット１３を生成することができる。ここで、ＭＦＵは、最小ＮＡＬユニット単位までフラグメント可能である。

以下、実施の形態２の具体例１として、フラグメントしたＭＦＵ単位で符号化データをパケット化する例について説明する。図１３、図１４、および図１５は、フラグメントしたＭＦＵ単位で符号化データをパケット化する例を説明するための図である。なお、図１３、図１４、および図１５中で、白色のＡＵは、基本レイヤのＡＵを示し、ハッチングされたＡＵは、拡張レイヤのＡＵを示す（以下の図１６～図１８においても同様である）。

フラグメントされたＭＦＵをパケット化する場合、ＭＭＴパケットヘッダのパケットＩＤには同一のパケットＩＤが付与され、さらに、ＭＭＴパケットヘッダに階層レベルＩＤが付与される。また、’ｆｔｙｐ’、’ｍｏｏｖ’、および、’ｍｏｏｆ’などの中で、階層レベルに無関係の共通のデータ（共通情報）のＭＭＴパケットヘッダに対しては、共通であることを示すＩＤが付与される。図１３では、階層レベルＡ：基本レイヤ、階層レベルＢ：拡張レイヤ、階層レベルＺ：共通情報とされている。ただし、基本レイヤと共通情報の階層レベルは同一であってもよい。

このような構成の場合、階層レベルＢの符号化データが１つのアセットとして取り扱われる。受信装置２０ａでは、パケットＩＤに基づくフィルタリングが行われた後、階層レベルのフィルタリングが可能な状態となる。

基本レイヤの符号化データと拡張レイヤの符号化データとの両方を復号したい場合、受信装置２０ａにおいて、パケットＩＤに基づくフィルタリングを行った後、階層レベルＩＤに基づくフィルタリングにより全ての階層レベルＩＤを抽出する。つまり、階層レベルフィルタリングでは、階層レベルＡ：基本レイヤ、階層レベルＢ：拡張レイヤ、および、階層レベルＺ：共通情報、の全てを抽出する。抽出されたデータは、図１４に示されるようなデータである。

基本レイヤの符号化データのみを復号したい場合、受信装置２０ａにおいて、パケットＩＤに基づくフィルタリングを行った後、階層レベルＡ：基本レイヤ、および、階層レベルＺ：共通情報をフィルタリングして抽出する。抽出されたデータは、図１５の（ａ）に示されるようなデータである。

このとき、拡張レイヤのＡＵが除去されるため、復号部２５においては、図１５の（ｂ）に示されるように基本レイヤのＡＵが詰められた状態で取得される。しかし、’ｍｏｏｆ’に記述されているサンプル（ＡＵ）の時間オフセット情報やデータサイズは、拡張レイヤを含んだ状態で生成された情報である。このため、ヘッダに記述されている情報と、実際のデータとに不整合が生じる。

したがって、除去したＡＵのサイズやオフセット情報などを別途記憶しておくなど、ＭＰ４データを再構築するのに必要な情報を記憶する必要がある。

そこで、復号部２５は、基本レイヤのＡＵ、または、ＤＴＳおよびＰＴＳを取得する際には、’ｍｏｏｆ’などのヘッダ情報において、拡張レイヤのＡＵ（フィルタリングにより除去）が’ｍｄａｔ’内に存在しないことを考慮して復号処理を行ってもよい。

例えば、’ｍｏｏｆ’におけるアクセスユニット（サンプル）のオフセット情報は、拡張レイヤのＡＵが存在するものとして設定されている。このため、復号部２５は、基本レイヤのみを取得した場合には、オフセット情報から、除去されたＡＵのサイズを減算する。減算した得られるデータは、模式的には、図１５の（ｃ）のようになる。

同様に、ＤＴＳやＰＴＳについても、除去された拡張レイヤのＡＵに対応するｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎ（連続するアクセスユニット間のＤＴＳの差分）や、ｓａｍｐｌｅ＿ｃｏｍｐｏｓｉｔｉｏｎ＿ｔｉｍｅ＿ｏｆｆｓｅｔ（アクセスユニットにおけるＤＴＳとＰＴＳとの差分）に基づいて算出する。

なお、上記のような減算の代わりに、基本レイヤのみを抽出したデータを復号するためのヘッダ情報（基本レイヤのみのＡＵに対するヘッダ情報）が予めＭＰ４ヘッダに記述されてもよい。さらに、ＭＰ４ヘッダには、基本レイヤのみを復号する場合のヘッダ情報と、基本レイヤおよび拡張レイヤの両方を復号する場合のヘッダ情報とを識別するための情報が記述されてもよい。

［具体例２］
以下、実施の形態２の具体例２として、ＭＰＵをフラグメントせずに、ＭＰＵ単位でパケット化する例について説明する。

まず、符号化データをそのままの順番でＭＰ４データに配置する例について説明する。図１６は、符号化データをそのままの順番でＭＰ４データに配置する例（異なる階層レベルのＡＵを同時に多重する場合）を示す図である。

符号化データをそのままＭＰ４データに配置する場合、’ｍｄａｔ’ ｂｏｘの中の１つのｔｒａｃｋに、基本レイヤのＡＵと拡張レイヤのＡＵとが混在する。この場合、階層レベルＩＤは、ＡＵごとに付与される。ＡＵ（サンプル）ごとの階層レベルＩＤは、’ｍｏｏｖ’や’ｍｏｏｆ’の中に記述される。なお、対応関係にある基本レイヤのＡＵと拡張レイヤのＡＵは、同じ’ｍｄａｔ’ ｂｏｘに配置されるのが望ましい。なお、ＭＰ４データにトランスポートヘッダをつけてパケット化する際には、同一のパケットＩＤが付与される。

以上のような構成では、パケットヘッダに階層レベルＩＤを付与できないため、パケット単位でのフィルタリングはできない。ＭＰ４データを解析することによってフィルタリングが可能となる。

なお、別の方法として、符号化データの基本レイヤと拡張レイヤとをｔｒａｃｋに分けて、対応関係をヘッダに記述する方法もある。

このようにパケット化されたデータは、受信装置２０ａにおいて、パケットフィルタリングされた後、ＭＰ４データの解析時にＡＵの階層レベルの判定が行われ、所望のレイヤのＡＵが抽出および復号される。

次に、符号化データを階層レベルごとにＭＰ４データに配置する第１の例について説明する。図１７は、符号化データを階層レベルごとにＭＰ４データに配置する第１の例を示す図である。

符号化データを階層レベルごとにＭＰ４データに配置する場合、符号化データは、階層レベルごとに分離され、階層レベルごとにフラグメントの’ｍｄａｔ’ ｂｏｘの中に配置される。この場合、階層レベルＩＤは、’ｍｏｏｆ’に記述される。共通のヘッダには、階層によらず共通の情報であることを示す階層レベルＩＤが付与される。

また、パケットヘッダには、同一のパケットＩＤが付与される。この場合も、パケット単位でのフィルタリングは不可能である。

このようにパケット化されたデータは、受信装置２０ａにおいて、パケットフィルタリングされた後、ＭＰ４データの解析時にフラグメントの階層レベルの判定が行われ、所望のレイヤのフラグメントが抽出および復号される。

最後に、符号化データを階層レベルごとにＭＰ４データに配置する第２の例について説明する。図１８は、符号化データを階層レベルごとにＭＰ４データに配置する第２の例を説明するための図である。

この例では、符号化データは、階層レベルごとに分離され、階層レベルごとに’ｍｄａｔ’ ｂｏｘの中に配置される。

基本レイヤのＡＵが格納されているＭＰ４データと拡張レイヤのＡＵが格納されているＭＰ４データを生成する。

階層レベルＩＤは、ＭＰ４データのヘッダおよびトランスポートパケットヘッダのいずれか一方または両方に記述される。ここで、階層レベルＩＤは、ＭＰ４データ間またはトランスポートパケット間の階層関係を示す。なお、パケットヘッダには、同一のパケットＩＤが付与される。

このようにパケット化されたデータは、受信装置２０ａにおいて、パケットフィルタリングされた後、パケットヘッダの階層レベルＩＤに基づいて所望のレイヤのパケットが抽出および復号される。

［変形例］
上記実施の形態２では、パケットＩＤと階層レベルＩＤとが別々に付与されると説明したが、パケットＩＤの一部のビットを使用して階層レベルＩＤが付与されてもよいし、拡張パケットＩＤとして、新たにビットが割り当てられてもよい。なお、パケットＩＤの一部のビットを使用して階層レベルＩＤを付与することは、階層レベルＩＤを示すビット以外は同じＩＤを付与するというルールに基づき、階層レベルごとに異なるパケットＩＤを付与することと等価である。

また、上記実施の形態２では、基本レイヤの符号化データと拡張レイヤの符号化データの両方を復号する場合、パケットフィルタリングや階層レベルフィルタリングによって、基本レイヤ＋拡張レイヤのデータをフィルタリングによって抽出すると説明した。しかしながら、符号化データは、階層レベルフィルタリングにおいて一旦基本レイヤと拡張レイヤとに分別された後、再構築されてもよい。

（その他の実施の形態）
本発明は、上記実施の形態に限定されるものではない。

上記実施の形態１および２では、ＭＭＴにしたがって多重化された符号化ストリームについて説明した。しかしながら、符号化ストリームは、ＭＰＥＧ２－ＴＳ、またはＲＴＰ（Ｒｅａｌ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）など、その他の多重化方式にしたがって多重化されたものでもよい。また、ＭＭＴパケットがＭＰＥＧ－ＴＳ２にしたがって送信されるような構成であってもよい。いずれの場合であっても、受信側で符号化データを容易に選別することができる。

上記実施の形態１および２では、１つの符号化ストリームに基本レイヤの符号化データと、拡張レイヤの符号化データとが混在した。しかしながら、基本レイヤの符号化データからなる第一符号化ストリームと、拡張レイヤの符号化データからなる第二符号化ストリームとが、別々に生成されてもよい。ここで、第一符号化ストリームは、より詳細には、基本レイヤの符号化データがパケット化されたパケットを含み、かつ、拡張レイヤの符号化データがパケット化されたパケットを含まない符号化ストリームである。第二符号化ストリームは、拡張レイヤの符号化データがパケット化されたパケットを含み、かつ、基本レイヤの符号化データがパケット化されたパケットを含まない符号化ストリームである。

このような場合、第一符号化ストリームと、第二符号化ストリームとは、互いに異なる多重化方式にしたがって生成されてもよい。例えば、第一符号化ストリームおよび第二符号化ストリームの一方が、ＭＰＥＧ２－ＴＳにしたがって生成され、第一符号化ストリームおよび第二符号化ストリームの他方が、ＭＭＴにしたがって生成されてもよい。

２つの符号化ストリームが、互いに異なる多重化方式にしたがって生成される場合、パケットＩＤまたは階層レベルＩＤは、それぞれの多重化方式にしたがって付与される。また、この場合、各符号化ストリームにおけるパケットＩＤの階層レベルとの対応関係または階層レベルＩＤの階層レベルとの対応関係は、共通のプログラム情報に記述される。具体的には、２つの符号化ストリームの一方にのみ上記共通のプログラム情報が含まれるか、または、２つの符号化ストリームの両方に上記共通のプログラム情報がそれぞれ含まれる。

受信装置においては、プログラム情報に記述された対応関係に基づいて、パケットフィルタリング、階層レベルフィルタリングが行われ、所望の階層レベルの符号化データが抽出および復号される。すなわち、２つの符号化ストリームから１つの映像が表示される。

また、第一符号化ストリームと、第二符号化ストリームとは、（物理的に）異なる伝送路を用いて伝送されてもよい。具体的には、例えば、第一符号化ストリームおよび第二符号化ストリームの一方は、放送用の伝送路を用いて伝送され、第一符号化ストリームおよび第二符号化ストリームの他方は、通信用の伝送路を用いて伝送されてもよい。このような伝送は、例えば、階層伝送や、チャネルをまたがって伝送するバルク伝送などの場合に想定される。この場合、それぞれのパケットＩＤや階層レベルＩＤの対応関係は共通のプログラム情報に記述される。なお、プログラム情報は共通のものでなくてもよい。受信装置が、パケットＩＤの階層レベルとの対応関係、または、階層レベルＩＤの階層レベルとの対応関係を認識できればよい。

なお、上記実施の形態１および２では、１つの基本レイヤと、１つの拡張レイヤとの２つの階層からなる符号化ストリームについて説明したが、拡張レイヤが多段に構成されることにより、符号化ストリームは、３以上の階層レベルから構成されてもよい。この場合、３つの階層レベルそれぞれに異なるパケットＩＤ（または異なる階層レベルＩＤ）が付与される。

なお、上記実施の形態１および２では、送信装置１５は、符号化部１６を備えるが、送信装置は、符号化機能を有しなくてもよい。この場合、送信装置１５とは別に符号化機能を有する符号化装置が設けられる。

同様に、上記実施の形態１および２では、受信装置２０および２０ａは、復号部２５を備えるが、受信装置２０および２０ａは、復号機能を有しなくてもよい。この場合、受信装置２０および２０ａとは別に復号機能を有する復号装置が設けられる。

なお、上記実施の形態１および２において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記実施の形態１において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

なお、本発明の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、本発明の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

なお、本発明は、これらの実施の形態またはその変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態またはその変形例に施したもの、あるいは異なる実施の形態またはその変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明の１局面である第１の送信装置は、時間スケーラブル符号化されたデータを送信するものである。ここで、時間スケーラブル符号化されたデータは、レイヤに含まれるデータを用いて復号可能である基本レイヤのデータと、単独で復号不可能であり基本レイヤのデータと合わせて復号しなければならない拡張レイヤのデータを含む。ここで、基本レイヤのデータは、例えば６０ｐの映像を復号するためのデータであり、拡張レイヤのデータは、例えば基本レイヤのデータと併せて用いることで１２０ｐの映像を復号するためのデータである。

基本レイヤのデータは、第１パケットＩＤが付与された第１アセットとして伝送され、拡張レイヤのデータは、第２パケットＩＤが付与された第２アセットとして伝送される。パケットＩＤは、データが格納されたパケットのヘッダに記述される。送信装置は、基本レイヤのデータ、拡張レイヤのデータ、およびプログラム情報を多重化して送信する。ここでプログラム情報は、例えば、それぞれのパケットＩＤ（または各パケットＩＤに対応するアセット）の階層関係を示す識別子を含んでもよい。ここで、階層関係を示す情報とは、例えば、第１パケットＩＤ（第１アセット）のデータは単独で復号可能であることを示す情報と、第２パケットＩＤ（第２アセット）のデータは単独で復号が不可能であり、第１パケットＩＤ（第１アセット）のデータを用いて復号する必要があることを示す情報を含む。

また、プログラム情報は、プログラムを構成するストリームが、スケーラブル符号化されたストリーム（基本レイヤと拡張レイヤの両方を含むストリーム）であることを示す情報、スケーラブル符号化の種類を示す情報、階層数を示す情報、および階層レベルに関わる情報の少なくともいずれか一つを含んでいてもよい。

また、本発明の一局面である第１の受信装置は、時間スケーラブル符号化されたデータを受信するものである。ここで、時間スケーラブル符号化されたデータは、レイヤに含まれるデータを用いて復号可能である基本レイヤのデータと、単独で復号不可能であり基本レイヤのデータと合わせて復号しなければならない拡張レイヤのデータを含む。ここで、基本レイヤのデータは、例えば６０ｐの映像を復号するためのデータであり、拡張レイヤのデータは、例えば基本レイヤのデータと併せて用いることで１２０ｐの映像を復号するためのデータである。

基本レイヤのデータは、第１パケットＩＤが付与された第１アセットとして伝送され、拡張レイヤのデータは、第２パケットＩＤが付与された第２アセットとして伝送される。パケットＩＤは、データが格納されたパケットのヘッダに記述される。送信装置は、基本レイヤのデータ、拡張レイヤのデータ、およびプログラム情報を多重化して送信する。ここでプログラム情報は、例えば、それぞれのパケットＩＤ（または各パケットＩＤに対応するアセット）の階層関係を示す識別子を含んでもよい。ここで、階層関係を示す情報とは、例えば、第１パケットＩＤ（第１アセット）のデータは単独で復号可能であることを示す情報と、第２パケットＩＤ（第２アセット）のデータは単独で復号が不可能であり、第１パケットＩＤ（第１アセット）のデータを用いて復号する必要があることを示す情報を含む。

また、プログラム情報は、プログラムを構成するストリームが、スケーラブル符号化されたストリーム（基本レイヤと拡張レイヤの両方を含むストリーム）であることを示す情報、スケーラブル符号化の種類を示す情報、階層数を示す情報、および階層レベルに関わる情報の少なくともいずれか一つを含んでいてもよい。

上述した第１の送信装置および第２の受信装置によると、受信側では選択されたパケットＩＤ（アセット）のデータを復号するために必要なパケットＩＤ（アセット）をプログラム情報から取得して、パケットＩＤ（アセット）に基づくフィルタリングを行うことができる。例えば、第１パケットＩＤが付与された第１アセットを再生する場合、第１パケットＩＤ（第１アセット）のデータは単独で復号可能であるため、フィルタリングにより第１パケットＩＤ（第１アセット）のデータを取得する。一方、第２パケットＩＤが付与された第２アセットを再生する場合、第２パケットＩＤ（第２アセット）のデータは単独で復号が不可能であり、第１パケットＩＤ（第１アセット）のデータを用いて復号する必要があるため、フィルタリングにより第１パケットＩＤ（第１アセット）のデータと第２パケットＩＤ（第２アセット）のデータを取得する。

なお、上記の構成では、プログラム情報に、各パケットＩＤ（アセット）のデータを復号するために必要な、当該パケットＩＤ（アセット）以外のパケットＩＤ（アセット）のデータを示す情報が記述されている。この構成によると、例えばスケーラブル符号化されたデータが、レイヤＡ、レイヤＡと合わせて復号されるレイヤＢ、およびレイヤＡと合わせて復号されるレイヤＣという３つの階層を含むような場合にも、受信装置は、再生するレイヤが選択されると、複雑な判定を行うことなく復号に必要なデータが伝送されるパケットＩＤ（アセット）を特定することができる。

特に、階層の深さが３以上になる場合や、複数種類のスケーラブル符号化で符号化されたデータが多重されて送信される場合等が将来的にあり得ることを考慮すると、複雑な判定を行うことなく復号に必要なデータが伝送されるパケットＩＤ（アセット）を特定することができる上記構成は有用である。

本発明は、階層的に符号化された符号化データを受信側で容易に選別できる符号化データの送信方法として、テレビ放送または動画配信などに適用できる。

１０ 符号化ストリーム
１１ プログラム情報
１２ 時刻オフセット情報
１３ ＭＭＴパケット
１３ａ ヘッダ
１３ｂ ペイロード
１５ 送信装置
１６ 符号化部
１７ 多重化部
１８ 送信部
２０、２０ａ 受信装置
２１ パケットフィルタ
２２ プログラム情報解析部
２３ 制御部
２４ パケットバッファ
２５ 復号部
２６ 提示部

Claims (11)

1. 映像が時間階層的に符号化され、符号化順と表示順とが異なる符号化データの送信装置であって、
   前記符号化データが前記符号化データの階層レベルである基本階層レベルと拡張階層レベルとで異なるパケットにパケット化されたパケットであって、少なくとも前記基本階層レベルと前記拡張階層レベルとに応じて異なるアセットＩＤが対応付けられた前記パケットと、前記拡張階層レベルの復号に用いる前記基本階層レベルの前記アセットＩＤを示す情報と前記アセットＩＤと前記パケットに付与されるパケットＩＤとの対応関係を示す情報と階層数を特定するための情報とを含む前記パケットとを生成する生成部と、
   前記基本階層レベルを含む前記パケットと前記拡張階層レベルを含む前記パケットとを符号化ストリームで送信し、生成した前記情報を含む前記パケットを送信する送信部とを備え、
   前記符号化データの前記基本階層レベルを含む前記パケット、前記符号化データの前記拡張階層レベルを含む前記パケット及び前記情報を含む前記パケットには異なる前記パケットＩＤが付与される
   送信装置。
2. 前記基本階層レベルの前記符号化データは、独立して復号可能であるか、または、前記基本階層レベルの他の前記符号化データの復号後のデータを参照することによって復号可能であり、
   前記拡張階層レベルの前記符号化データは、前記基本階層レベルの前記符号化データの復号後のデータを参照することによって復号可能である
   請求項１に記載の送信装置。
3. 前記生成部は、
   前記基本階層レベルの前記符号化データがパケット化された前記パケットを含み、かつ、前記拡張階層レベルの前記符号化データがパケット化された前記パケットを含まない前記符号化ストリームである第一符号化ストリームと、
   前記拡張階層レベルの前記符号化データがパケット化された前記パケットを含み、かつ、前記基本階層レベルの前記符号化データがパケット化された前記パケットを含まない前記符号化ストリームである第二符号化ストリームとを生成し、
   前記送信部は、前記第一符号化ストリームを第一の伝送路を用いて送信し、前記第二符号化ストリームを前記第一の伝送路とは異なる第二の伝送路を用いて送信する
   請求項２に記載の送信装置。
4. 前記生成部は、前記第一符号化ストリームおよび前記第二符号化ストリームを、互いに異なる多重化方式にしたがって生成する
   請求項３に記載の送信装置。
5. 前記生成部は、
   前記第一符号化ストリームおよび前記第二符号化ストリームの一方を、ＭＰＥＧ２－ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ－２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）にしたがって生成し、
   前記第一符号化ストリームおよび前記第二符号化ストリームの他方を、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）にしたがって生成する
   請求項４に記載の送信装置。
6. 前記拡張階層レベルの階層数は、１である
   請求項１～５のいずれか１項に記載の送信装置。
7. 映像が時間階層的に符号化され、符号化順と表示順とが異なる符号化データの受信装置であって、
   前記符号化データの符号化ストリームには、前記符号化データが前記符号化データの階層レベルである基本階層レベルと拡張階層レベルとで異なるパケットにパケット化されたパケットであって、少なくとも前記基本階層レベルと前記拡張階層レベルとに応じて異なるアセットＩＤが対応付けられた前記パケットと、前記拡張階層レベルの復号に用いる前記基本階層レベルの前記アセットＩＤを示す情報と前記アセットＩＤと前記パケットに付与されるパケットＩＤとの対応関係を示す情報と階層数を特定するための情報とを含む前記パケットとが含まれ、
   前記符号化データの前記基本階層レベルを含む前記パケット、前記符号化データの前記拡張階層レベルを含む前記パケット及び前記情報を含む前記パケットには異なる前記パケットＩＤが付与され、
   前記受信装置は、
   前記基本階層レベルを含む前記パケットと前記拡張階層レベルを含む前記パケットとを前記符号化ストリームで受信し、かつ、前記情報を含む前記パケットを受信する受信部と、
   受信された前記符号化ストリーム、及び、受信された前記情報を含む前記パケットを用いて前記符号化データを復号する復号部とを備える
   受信装置。
8. 前記基本階層レベルの前記符号化データは、独立して復号可能であるか、または、前記基本階層レベルの他の前記符号化データの復号後のデータを参照することによって復号可能であり、
   前記拡張階層レベルの前記符号化データは、前記基本階層レベルの前記符号化データの復号後のデータを参照することによって復号可能である
   請求項７に記載の受信装置。
9. 前記基本階層レベルの前記符号化データがパケット化された前記パケットを含み、かつ、前記拡張階層レベルの前記符号化データがパケット化された前記パケットを含まない前記符号化ストリームである第一符号化ストリーム、及び、前記拡張階層レベルの前記符号化データがパケット化された前記パケットを含み、かつ、前記基本階層レベルの前記符号化データがパケット化された前記パケットを含まない前記符号化ストリームである第二符号化ストリームは、互いに異なる多重化方式にしたがって生成される
   請求項７または８に記載の受信装置。
10. 前記第一符号化ストリームおよび前記第二符号化ストリームの一方は、ＭＰＥＧ２－ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ－２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）にしたがって生成され、
    前記第一符号化ストリームおよび前記第二符号化ストリームの他方は、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）にしたがって生成される
    請求項９に記載の受信装置。
11. 前記拡張階層レベルの階層数は、１である
    請求項７～１０のいずれか１項に記載の受信装置。

Images