JP7383785B2 - メディアコンテンツのカプセル化を改善するための方法、デバイス、およびコンピュータプログラム - Google Patents

Description

本発明は、カプセル化されたメディアコンテンツの部分の伝送を最適化することを可能にする、メディアデータのカプセル化および解析を改善するための方法、デバイス、およびコンピュータプログラムに関する。

本発明は、例えばＭＰＥＧ標準化機構によって定義されたＩＳＯベースメディアファイルフォーマットに従ったメディアコンテンツのカプセル化、解析、およびストリーミングに関するものであり、メディアコンテンツのグループの相互交換、管理、編集、および提示を容易にする柔軟で拡張可能なフォーマットを提供し、例えば、適応型ｈｔｔｐストリーミングプロトコルを用いてインターネットなどのＩＰネットワーク上でのその配信を改善する。

国際標準化機構ベースメディアファイルフォーマット（ＩＳＯ ＢＭＦＦ、ＩＳＯ／ＩＥＣ １４４９６－１２）は、ローカル記憶またはネットワークを介するかまたは別のビットストリーム配信メカニズムを介する伝送のいずれかのための符号化された、時間付き（timed）メディアデータビットストリームを記述する周知の柔軟かつ拡張可能なフォーマットである。このファイルフォーマットは、いくつかの拡張子、例えば、様々なＮＡＬ（ネットワーク抽象化レイヤ）ユニットベースのビデオ符号化フォーマットのためのカプセル化ツールを記述するＰａｒｔ－１５、ＩＳＯ／ＩＥＣ １４４９６－１５を有する。このような符号化フォーマットの例は、AVC（Advanced Video Coding）、SVC（Scalable Video Coding）、HEVC（High Efficiency Video Coding）、またはL－HEVC（Layered HEVC）である。このファイルフォーマットは、オブジェクト指向である。それは、逐次的または階層的に編成され、タイミングおよび構造パラメータなどの符号化された、時間付きメディアデータビットストリームの記述パラメータを定義する、ボックスと呼ばれる構築ブロック（または、それぞれが４文字コードによって識別されるデータ構造）から構成される。ファイルフォーマットでは、時間にわたる全体的なプレゼンテーションはムービーと呼ばれる。ムービーは、メディアまたはプレゼンテーションファイルの最上位にムービーボックス（４文字コード’ｍｏｏｖ’）で記述される。このムービーボックスは、プレゼンテーションを記述する様々なボックスのセットを含む初期化情報コンテナを表す。これは論理的にトラックボックス（４文字コード’ｔｒａｋ’）で表されるトラックに分割される。各トラック（トラック識別子（ｔｒａｃｋ＿ＩＤ）によって一意に識別される）は、プレゼンテーション（例えば、ビデオのフレーム）に関連するメディアデータの時間付きシーケンスを表す。各トラック内で、データのそれぞれの時間付き単位はサンプルと呼ばれ、これは、ビデオ、オーディオ、または時間付きメタデータのフレームの場合がある。サンプルは、暗黙のうちに順番に番号付けされる。実際のサンプルデータは、ムービーボックスと同じレベルのMedia Data Boxes（４文字コード’ｍｄａｔ’）と呼ばれるボックスにある。ムービーはまた、断片化されてもよく、すなわち、全体のプレゼンテーションのための情報を含むムービーボックスとして時間的に編成されてもよく、その後に、ムービー断片とMedia Data Boxの対のリストが続く。ムービーフラグメント（４文字コード’ｍｏｏｆ’のボックス）内には、ムービーフラグメントごとに０個以上のトラックフラグメントのセット（４文字コード’ｔｒａｆ’のボックス）がある。トラックフラグメントは次に、０個以上のトラックランボックス（’ｔｒｕｎ’）を含み、各トラックランボックスは、そのトラックフラグメントに対するサンプルの連続したランを文書化する。

ＩＳＯＢＭＦＦでカプセル化されたメディアデータは、ＨＴＴＰでの適応型ストリーミングに使用できる。たとえば、MPEG DASH（”Dynamic Adaptive Streaming over HTTP”の場合）やSmooth Streamingは、メディアファイルのセグメントまたはフラグメントベースの配信を可能にするＨＴＴＰ適応型ストリーミングプロトコルである。MPEG DASH標準化（”ＩＳＯ／ＩＥＣ ２３００９－１、Dynamic adaptive streaming over HTTP（DASH）、Ｐａｒｔ１:Media presentation description and segment formats”を参照）は、メディアプレゼンテーションのコンテンツのコンパクトな記述と、ＨＴＴＰアドレスと、の間のリンクを確立することを可能にする。通常、この関連付けは、マニフェストファイルまたは記述ファイルと呼ばれるファイルで記述される。ＤＡＳＨの文脈では、このマニフェストファイルは、ＭＰＤファイル（Media Presentation Descriptionのための）とも呼ばれるファイルである。クライアントデバイスがＭＰＤファイルを取得すると、メディアコンテンツのそれぞれ符号化され且つ配信可能なバージョンの記述をクライアントが簡単に判別できる。マニフェストファイルを読み取るか解析することにより、クライアントは、メディアプレゼンテーションで提案されたメディアコンテンツ構成要素の種類を認識し、関連するメディアコンテンツ構成要素をダウンロードするためのＨＴＴＰアドレスを認識する。したがって、どのメディアコンテンツ構成要素を（ＨＴＴＰ要求を介して）ダウンロードし、再生する（メディアデータセグメントの受信後に復号して再生する）かを決定できる。ＤＡＳＨは、いくつかのタイプのセグメント、主に初期化セグメント、メディアセグメント、またはインデックスセグメントを定義する。初期化セグメントは、典型的には、ＩＳＯＢＭＦＦメディアファイルの少なくとも’ｆｔｙｐ’ボックスと’ｍｏｏｖ’ボックスである、メディアコンテンツを記述する設定情報とメタデータを含む。メディアセグメントは、メディアデータを含む。例えば、ＩＳＯＢＭＦＦファイルの１つ以上の’ｍｏｏｆ’と’ｍｄａｔ’ボックス、またはＩＳＯＢＭＦＦファイルの’ｍｄａｔ’ボックスのバイト範囲についてあり得る。メディアセグメントは、（１つ以上の完全な’ｍｏｏｆ’と’ｍｄａｔ’ボックスにも対応する）サブセグメントにさらに細分することができる。ＤＡＳＨマニフェストは、ストリーミングクライアントがＨＴＴＰ要求を介してこれらのセグメントをアドレス指定するためのセグメントへのバイト範囲を含むファイルへのセグメントＵＲＬまたはベースＵＲＬを提供する場合がある。バイト範囲情報は、インデックスセグメントによって、またはSegment Index Box’ｓｉｄｘ’またはSubSegment Index Box’ｓｓｉｘ’などの特定のＩＳＯＢＭＦＦボックスによって提供され得る。

図１は、メディアデータをサーバからクライアントにストリーミングする例を示している。

図示されるように、サーバ１００は、ネットワークインターフェース（図示せず）を介して、クライアント１２０のカプセル化解除モジュール１１５にも接続される通信ネットワーク１１０に、ネットワークインターフェース（図示せず）を介して接続されるカプセル化モジュール１０５を備える。

サーバ１００は、ストリーミング又は記憶のために、データ、例えば、ビデオ及び／又はオーディオデータを処理する。そのために、サーバ１００は例えば、ソースビデオと呼ばれる１つ以上のカメラによるシーンの記録を含むデータを取得または受信する。ソースビデオは、ピクチャ１２５のオリジナルシーケンスとしてサーバによって受信される。サーバは、表されていないメディアエンコーダ（例えば、ビデオエンコーダ）を使用して、ピクチャのシーケンスをメディアデータ（すなわち、ビットストリーム）に符号化し、カプセル化モジュール１０５を使用して、メディアデータを１つ以上のメディアファイルまたはメディアセグメント１３０にカプセル化する。カプセル化モジュール１０５は、メディアデータをカプセル化するためのライタまたはパッケージャのうちの少なくとも１つを備える。メディアエンコーダは、受信データを符号化するためにカプセル化モジュール１０５内に実装されてもよく、またはカプセル化モジュール１０５とは別個であってもよい。

クライアント１２０は、例えばメディアファイル１３０を処理するために、通信ネットワーク１１０から受信されたデータを処理するために使用される。受信されたデータがカプセル化解除モジュール１１５（パーサとも知られる）でカプセル化解除された後、メディアデータビットストリームに対応するカプセル化解除されたデータ（または解析されたデータ）は復号され、例えば、記憶、表示または出力され得るオーディオおよび／またはビデオデータを形成する。メディアデコーダは、カプセル化解除モジュール１１５内に実装されてもよく、またはカプセル化解除モジュール１１５から分離されてもよい。メディアデコーダは、１つ以上のビデオビットストリームを並列に復号するように構成されてもよい。

メディアファイル１３０は、カプセル化解除モジュール１１５に異なる方法で通信されてもよいことに留意されたい。具体的には、カプセル化モジュール１０５がメディア記述（例えば、DASH MPD）でメディアファイル１３０を生成し、クライアント１２０から要求を受信すると、それをカプセル化解除モジュール１１５に直接通信（またはストリーム）することができる。

例示のために、メディアファイル１３０は、メディアデータ（例えば、符号化されたオーディオまたはビデオ）を、ISO Base Media File Format（ＩＳＯＢＭＦＦ、ＩＳＯ／ＩＥＣ １４４９６－１２およびＩＳＯ／ＩＥＣ １４４９６－１５規格）に従ってボックスにカプセル化することができる。このような場合、メディアファイル１３０は、１つ以上のメディアファイル（ＦｉｌｅＴｙｐｅＢｏｘ’ｆｔｙｐ’によって示される）または１つ以上のセグメントファイル（ＳｅｇｍｅｎｔＴｙｐｅＢｏｘ’ｓｔｙｐ’によって示される）に対応することができる。ＩＳＯＢＭＦＦによれば、メディアファイル１３０は、メディアデータを含む’ｍｄａｔ’として識別される”メディアデータボックス”と、メディアデータの配置とタイミングを定義するメタデータを含む”メタデータボックス”（例えば’ｍｏｏｆ’）の２種類のボックスを含むことができる。好ましい実施形態では、ピクチャ１２５のシーケンスが、Versatile Video Codec仕様ＩＳＯ／ＩＥＣ２３０９０－３に従って符号化または圧縮される。

これらのメカニズムに基づく解決策は、それらの有効性を証明しているが、そのようなメカニズムを改善すること、特に、新しい用途および新しいデバイスへのそれらの適応性を向上させることが絶えず必要とされている。

本発明は、前述の問題のうちの１つ以上に対処するように考案された。

本発明の第１の態様によれば、サーバ内の分割されたビデオデータ（または分割された時間付きメディアデータ）をカプセル化する方法であって、前記分割されたビデオデータは複数のフレーム（または時間付きの複数のサンプル）を含み、各フレームは複数のパーティション（または複数のサブサンプル）を含み、前記フレームは複数のグループにグループ化され、
複数の空間トラックを取得することと、各空間トラックは最初のフレームの少なくとも１つのパーティションと、前記最初のフレームとは異なる複数のフレームの各フレームの１つの対応するパーティションとを含み、前記対応するパーティションの各々は前記最初のフレームの前記少なくとも１つのパーティションとそれ自体のフレームの同じ空間位置に位置し、
前記空間トラックの少なくともいくつかを参照するベーストラックを作成することと、前記ベーストラックは複数の再構成命令を含み、前記複数の再構成命令の各々はフレームのグループに関連付けられ、前記複数の再構成命令の各々はフレームの同じグループに属する空間トラックのパーティションからビットストリームの部分を生成することを可能にし、
前記複数のトラックの各々を少なくとも１つのメディアファイルにカプセル化することと、
を含む方法が提供される。

したがって、本発明の方法は、例えば再構成ルールを提供するために、トラック参照の動的変更を可能にする何らかの柔軟性をもたらしながら、メタデータ部分に記述される（すなわち、ビデオデータと混合されない）低い記述オーバヘッドを使用することを可能にする。

いくつかの実施形態によれば、再構成命令の各々は、空間トラック参照の順序付けられたリストに対応する。

いくつかの実施形態によれば、再構成命令は、ベーストラックのメタデータ部分に属する。

いくつかの実施形態によれば、方法は、複数の空間トラックを生成することをさらに含む。

いくつかの実施形態によれば、前記複数の空間トラックを生成することは、
前記複数のフレームのうちの１つの複数のパーティションの中からパーティションを選択することと、
前記選択されたパーティションごとに、前記選択されたパーティションを含む１つの空間トラックと、前記選択されたパーティションとそれ自体のフレームの同じ空間位置に配置する対応するパーティションと、を生成することと
を含む。

いくつかの実施形態によれば、方法は、フレーム内のパーティションのレイアウトを決定することをさらに含む。

いくつかの実施形態によれば、方法は、カプセル化レイアウトを決定することをさらに含み、複数の空間トラックは、カプセル化レイアウトの機能として生成される。

本発明の第２の態様によれば、カプセル化されたパーティション化されたビデオデータから、クライアントデバイスにおいてビットストリームを生成するための方法であって、前記パーティション化されたビデオデータは複数のフレームを含み、各フレームは複数のパーティションを含み、前記複数のフレームは複数のグループにグループ化され、
少なくとも１つのベーストラックと複数の空間トラックとを含む少なくとも１つのメディアファイルを取得することと、
各空間トラックは最初のフレームの少なくとも１つのパーティションと前記最初のフレームとは異なる前記複数のフレームの各フレームの１つの対応するパーティションとを含み、前記対応する複数のパーティションの各々は前記最初のフレームの前記少なくとも１つのパーティションとそれ自体のフレームの同じ空間位置に位置し、
前記ベーストラックは前記複数の空間トラックの少なくともいくつかを参照し、前記ベーストラックは複数の再構成命令を含み、前記複数の再構成命令の各々はフレームのグループに関連付けられており、前記複数の再構成命令の各々はフレームの同じグループに属する空間トラックのパーティションからビットストリームの部分を生成することを可能にし、
前記複数のフレームのグループの各々について、前記複数のフレームのグループの各々に関連付けられている複数の再構成命令に従ってビットストリームの部分を生成することと、
を含む、方法が提供される。

したがって、本発明の方法は、例えば、再構成ルールを提供するために、トラック参照の動的変更を可能にする何らかの柔軟性をもたらしながら、メタデータ部分に記述される（すなわち、ビデオデータと混合されない）低い記述オーバヘッドを使用することを可能にする。

いくつかの実施形態によれば、方法は、空間トラックからメディアデータを取得することと、取得されたメディアデータを、再構成命令によって定義された順序に従って連結することと、をさらに含む。

いくつかの実施形態によれば、方法は、メタデータを取得することと、取得されたメタデータをメディアデータと連結することと、をさらに含む。

いくつかの実施形態によれば、メタデータはベーストラックから、または追加のトラックから取得される。

いくつかの実施形態によれば、再構成命令は、空間トラックへの参照の順序付けられたリストを含む。

いくつかの実施形態によれば、フレームのグループに関連付けられた再構成命令は、別のフレームのグループに関連付けられた再構成命令を修正することを可能にする。

いくつかの実施形態によれば、ビットストリームの部分は、MPEG Versatile Video Coding規格に準拠する。

本発明の他の態様によれば、上述の方法の各ステップを実行するように構成された処理ユニットを備えるデバイスが提供される。このデバイスは、上述の方法によって提供されるものと同様の利点を提供する。

本発明による方法の少なくとも一部は、コンピュータで実施することができる。したがって、本発明は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または本明細書ではすべて一般に”回路”、”モジュール”、または”システム”と呼ばれることがあるソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形態をとることができる。さらに、本発明は、媒体に具現化されたコンピュータ使用可能プログラムコードを有する任意の有形の表現媒体に具現化されたコンピュータプログラム製品の形成をとることができる。

本発明はソフトウェアで実施することができるので、本発明は、任意の適切なキャリア媒体上のプログラマブル装置に提供するためのコンピュータ可読コードとして実施することができる。有形キャリア媒体は、フロッピーディスク、ＣＤ－ＲＯＭ、ハードディスクドライブ、磁気テープデバイスまたはソリッドステートメモリデバイスなどの記憶媒体を含むことができる。過渡搬送媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、または電磁信号、例えばマイクロ波またはＲＦ信号などの信号を含むことができる。

ここで、本発明の実施形態を、単なる例として、以下の図面を参照して説明する：
図１は、サーバからクライアントにメディアデータをストリーミングする例を示す。 図２は、本発明のいくつかの実施形態による、サーバにおいて実行されるカプセル化プロセスのステップの例を示す。 図３は、本発明のいくつかの実施形態による、クライアントデバイスにおいて実行される解析プロセスのステップの例を示す。 図４は、再構成命令を提供するサンプルグループを使用する例を示す。 図５は、再構成命令を提供するサンプルグループを使用する別の例を示し、フルビデオは、ベーストラック、いくつかの空間トラック、およびいくつかのパラメータセットトラックから再構成され得る。 図６は、再構成命令を提供するサンプルグループを使用する別の例を示し、再構成命令は、空間スワッピングを可能にする。 図７は、再構成命令を提供するサンプルグループを使用する別の例を示し、再構成命令は、ピクチャ組合せを可能にする。 図８は、オリジナルの順序とは異なる順序で再構成を可能にする再構成命令を提供するサンプルグループを使用する別の例を示す。 図９は、本発明の少なくとも１つの実施形態を実施するように構成された処理デバイスを概略的に示す。

いくつかの実施形態によれば、本発明は異なる再構成命令を、区分された時間付きメディアデータの時間付きサンプルの異なるグループ、例えば、ピクチャの異なるグループに関連付けることを可能にし、その結果、時間付きサンプルの部分を、メディアデータをコーディングする異なるトラックから再構成することができる。

特に、本発明のいくつかの実施形態は、ＨＴＴＰを介した適応型ストリーミングのために、符号化されたビデオのスライス、タイル、またはサブピクチャを利用し、（例えば、利用可能な帯域幅およびクライアント処理能力の観点から）クライアントがビデオの空間部分を選択および構成して、クライアントコンテキストを与えられたビデオを取得およびレンダリングする可能性を与える。これは、関連付けられた実際のデータ（またはペイロード）とは無関係に、選択したメタデータにアクセスする可能性をクライアントに与えることによって得られる。

例示のために、本明細書で以下に説明する多くの実施形態は、MPEG Versatile Video Coding（ＶＶＣ）規格またはその拡張に基づいている。しかしながら、本発明の実施形態は、他の符号化規格にも適用される。

ＶＶＣ規格に従って、ビデオビットストリームは、圧縮ビデオへの空間的アクセスを可能にするスライス、タイル、および／またはサブピクチャなどのパーティションを使用して符号化されてもよいことに留意されたい。このようなパーティションは、スライスのメディアデータであるビデオコーディングレイヤ（ＶＣＬ）ＮＡＬＵと呼ばれる圧縮ビデオデータ、またはパラメータセットまたはピクチャヘッダである非ＶＣＬ ＮＡＬＵと呼ばれる記述パラメータのいずれかに対応するネットワーク抽象化レイヤ（ＮＡＬ）ユニット（ＮＡＬＵ）としてアクセス可能である。

ここで、タイルは、ピクチャにおける特定のタイル列および特定のタイル行内のコーディングツリーユニット（ＣＴＵ）の矩形領域として定義され、スライスは単一のＮＡＬユニットに排他的に含まれるピクチャのタイル内の整数個の完了タイル又は整数個の連続した完了ＣＴＵ行として定義され、サブピクチャはピクチャ内の１つ以上のスライスの矩形領域として定義されることを想起されたい。

パーティション（タイルまたはサブピクチャの存在）が何であれ、ＶＶＣ規格は、デコーダに提供されるべきＮＡＬＵ順序に関する制約を指定する。

このようなＮＡＬＵ順序に対処するために、ＩＳＯ／ＩＥＣ １４４９６パート１２および１５に従うカプセル化およびパッケージングレイヤは、メディアデータを含む１つ以上のトラックからトラックを再構成するためのツールを提供する。タイルトラックのセットからフルピクチャを再構成するためのメカニズムは、パート１５に見出すことができる。それらは、エクストラクタまたは暗黙の再構成を使用する。抽出部を使用する場合、再構成ルールはサンプルベースで提供される。これにより、記述のオーバヘッド、サンプルあたり数バイト、が発生する。さらに、これらの命令は、圧縮されたビデオに対応するデータと混合された特定のＮＡＬユニットであるため、解析プロセスを複雑にする。暗黙の再構成を使用する場合、トラック参照は、トラックのすべてのサンプルに適用するべきトラックレベルでの再構成順序を示す特定のタイプを有するトラック関係を提供することができる。

本発明のいくつかの実施形態は、例えば再構成ルールを提供するために、トラック参照の動的変更を可能にする何らかの柔軟性をもたらしながら、メタデータ部分に記述される（すなわち、ビデオデータと混合されない）低い記述オーバヘッドを使用することを可能にする。これは、圧縮ビデオにおける追跡されるオブジェクト（又は動的注目領域（ＲＯＩ））の抽出のような新しいユースケースを可能にする。このような実施形態は、以下を可能にする一般的なツールと見なすことができる：
－フルビデオの再構成；
－考慮される圧縮ビデオからの１つ以上の部分（または領域）の抽出であって、空間位置がビデオ内で変化し得る抽出；
－圧縮されたさまざまなビデオの構成；
－圧縮されたビデオの空間的再配置；
－ライブビデオの取り扱い

図２は、本発明のいくつかの実施形態による、サーバ、例えば図１のサーバ１００で実行されるカプセル化プロセスのステップの例を示す。

図示のように、ステップは２つのフェーズ、空間トラックを準備するための第１のフェーズ２００と、クライアントが空間トラックからＶＶＣ規格（または任意の他の所定のフォーマット）に準拠するビットストリームを生成することを可能にするベーストラックを生成するための第２のフェーズ２０５と、にグループ化することができる。

図示された例によれば、第１のフェーズの第１のステップ（ステップ２１０）は例えば、圧縮されたビデオビットストリームとしてビデオデータを取得することに関する。このようなビットストリームは、ローカル記憶媒体から読み取ることも、通信ネットワークを介して受信することもできる。それは、完全に利用可能であってもよく、またはオンザフライで生成されてもよい。ビットストリームは、図２自体のステップを実行するサーバによって生成されてもよいし、別のデバイスで生成されてもよい。いくつかの実施形態では、取得されたビットストリームがVersatile Video Codec仕様に準拠する。

次に、カプセル化モジュールが得られたビットストリームから最初のＮＡＬユニット（ＮＡＬＵ）を読み出し、読み出したＮＡＬＵが圧縮ビデオデータを含むＮＡＬＵか否か、すなわちビデオコーディングレイヤＮＡＬＵ（またはＶＣＬ ＮＡＬＵ）であるか否かを判定するテストが実行される（ステップ２１５および２２０）。通常、ビットストリームにおける最初のＮＡＬＵは、パラメータセット（例えば、デプスパラメータセット（ＤＰＳ）、ビデオパラメータセット（ＶＰＳ）、またはシーケンスパラメータセット（ＳＰＳ））に対応する非ＶＣＬ ＮＡＬＵである場合がある。

読み出したＮＡＬＵが非ＶＣＬ ＮＡＬＵである場合、サーバのメモリに格納される（ステップ２２５）。次に、非ＶＣＬ ＮＡＬＵのタイプに応じて、カプセル化モジュールは、ピクチャパーティショニング情報を探すためにＮＡＬＵをさらに検査することができる（ステップ２３０）。例えば、サブピクチャの位置及びサイズ並びにコーディング制約を提供するサブピクチャレイアウトの宣言をチェックするためにＳＰＳを検査してもよい。また、ＰＰＳにおいて、タイルの存在をチェックし、存在する場合にはそれらの位置をチェックすることもできる。ＰＰＳから、スライス位置を提供するＰＰＳの部分を解析することもできる。ピクチャヘッダに対応するパラメータセット等の他の非ＶＣＬ ＮＡＬＵは、後で使用するために格納される。

ステップ２３０で実行された非ＶＣＬ ＮＡＬＵ解析の結果として、カプセル化モジュールは、ＶＣＬ ＮＡＬＵストレージの粒度、すなわち、符号化されたピクチャの空間レイアウトを決定する。実際、ビットストリームにおいて符号化されたピクチャは、１つ以上のスライス、１つ以上のタイル、及び／又は１つ以上のサブピクチャを含むことができる。異なるパラメータセットを検査し、カプセル化コンフィギュレーションパラメータに従って（カプセル化モジュール内でハードコーディングされるか、またはユーザによって指定されてもよく、例えば、グラフィカルユーザインターフェースを介してまたはコマンドラインまたはスクリプトによって）、カプセル化モジュールは、ストレージ粒度、例えば、スライス、タイル、またはサブピクチャの機能として編成されたストレージを決定する。いくつかの実施形態によれば、１つ以上の空間トラックは、ストレージ粒度の機能として定義され（ステップ２３５）、各空間トラックは例えば、１つ以上のスライス、タイル、またはサブピクチャに対応する。空間トラックについては、以下でより詳細に説明する。

非ＶＣＬ ＮＡＬＵを処理した後、別のＮＡＬＵを読み出すべきかどうかを決定するためのテストが実行される（ステップ２４０）。別のＮＡＬＵが読み出される場合、カプセル化モジュールはそれを読み取り、ステップ２１５にループしてそのタイプを読み取り、それに応じて処理される。

読み取られたＮＡＬＵがＶＣＬ ＮＡＬＵ（ステップ２２０）、例えばスライスを定義するＮＡＬＵである場合、カプセル化モジュールは、スライスアドレスを解析して（ステップ２４５）、圧縮されたビデオのピクチャ内のスライスの位置を決定する。この情報は、スライスヘッダから取得できる。非ＶＣＬ ＮＡＬＵが、サブピクチャが存在することを示す場合、スライスヘッダはサブピクチャ識別子を提供する。このパラメータは、ステップ２４５の間にカプセル化モジュールによって読み取ることもできる。スライスアドレスを決定することにより、カプセル化モジュールは、ステップ２３５で準備された空間トラックの１つにスライスをマッピングすることができる（ステップ２５０）。

次に、現在のＶＣＬ ＮＡＬＵのスライスヘッダとスライスペイロード（すなわち、ビットストリーム内のｓｌｉｃｅ＿ｄａｔａ）が読み取られ、後で対応する空間トラックのデータ部分にサンプルとして格納されるようにバッファされる。実際、空間レイアウトを決定した後（ステップ２３０）、および空間トラックのリストを構築するとき（ステップ２３５）、カプセル化モジュールは、各空間トラックの空間位置を決定された空間レイアウトにメモリに格納する。次に、カプセル化モジュールは、ステップ２４５で決定された読み出されたスライスアドレスから、それをステップ２５５で適切な空間トラックに割り当てるようにピクチャ全体におけるスライスの位置を決定しなければならない。適切な空間トラックのサンプル記述は、サンプルサイズ情報、ファイルのデータ部分におけるサンプル位置、復号時間、オプションで合成時間で更新される。メディアデータがセグメントまたはフラグメントにカプセル化される場合、情報のこれらのアイテムは、’ｔｒｕｎ’ボックスに格納されてもよい。それ以外の場合は、サンプル記述の専用ボックス（サブボックス）に格納される（例えば、SampleTableBox ’stbl’）。

カプセル化モジュールが、フェーズ２０５に対応するトラックまたはサンプル記述をフラッシュすることを決定する（ステップ２４０）まで、ステップ２１５～２５５が繰り返される。この決定は新しいピクチャの開始（例えば、カプセル化モジュールがピクチャヘッダに対応する非ＶＣＬ ＮＡＬＵを識別するとき）、またはセグメンテーションまたはフラグメンテーションルール（例えば、フラグメントまたはセグメント持続時間に達する）に対応し得る。フラグメントまたはセグメント継続時間は、ユーザによって、ユーザインタフェース、コマンドラインまたはスクリプトを介して、あるいはカプセル化モジュールのために事前に定義された設定によって、設定されてもよい１つのカプセル化設定である。

カプセル化モジュールは、記述のいくつかの部分をフラッシュすることを決定すると、エントリポイントを１つ以上の特定のトラックとして準備する。エントリポイントは、表示の候補となるトラックである場合がある。これは、トラックヘッダボックス、例えば、ｔｒａｃｋ＿ｉｎ＿ｍｏｖｉｅフラグにフラグ値を設定することで示される場合がある。最初のエントリポイントは、フルビデオの再構成を可能にするトラックとすることができる。別のエントリポイントは、フルビデオの空間エリア又は領域のみを再構成することを可能にする抽出トラックであってもよい。別のエントリポイントは、異なるビデオからの部分の合成を提供するトラックであってもよい。

エントリポイントの目的が何であれ、対応するトラックはベーストラックと呼ばれる。「ベース」は、単に例の名前であることを理解されたい。合成トラック、抽出トラックなどの別の名前を使用することができる。このようなベーストラックの特性を以下に詳述する。

このようなエントリポイントは、表示可能なトラックのリストとして、初期化ステップで決定および宣言され、それぞれに対応する「ｔｒａｋ」ボックスが付いている。

図示されるように、カプセル化モジュールは、収集された制御フラグから、またはステップ２２５～２３５の間に取得されたエンコーダ知識から、独立して復号され得るＶＣＬ ＮＡＬユニットを有する空間トラックの可能な空間またはセットを決定する（ステップ２６０）。例えば、独立したサブピクチャを記述する空間トラックは、独立して復号可能なトラックであると仮定される。同様に、タイルまたはタイルのセットを格納する空間トラックであって、それらが動きが制約されていることを示す補足強化情報（ＳＥＩ）、は独立して復号可能なトラックであると仮定される。さらに一例として、空間トラックがすべてイントラ符号化されたスライスを格納する場合、カプセル化モジュールは、この空間トラックを独立して復号可能であると見なすことができる。

ビットストリームから（例えば、パラメータセットまたはＳＥＩから）、または帯域外情報から、スライス、タイル、またはサブピクチャ間の依存関係を判定し、ステップ２６０中に使用して、互いに結合されたときに独立して復号可能なビットストリームにつながる空間トラックのセットを収集することができる。

次に、ステップ２６０で得られた空間トラックのリストから、カプセル化モジュールは、各ベーストラックについての情報および参照を提供する（ステップ２６５）。より正確には、それは各ベーストラックに対して、収集された空間トラックの数と、ベーストラック記述におけるこれらの空間トラックへの参照とを提供する。これは、例えば、再構成命令を記述するサンプルグループにおいて行うことができる。このようなサンプルグループの使用は、本明細書中以下に記載される。カプセル化モジュールは、ベーストラックから空間トラック以外の他のトラック、例えばパラメータセットを含むトラックへの依存関係を提供することができる。別の例は、１つのレイヤまたはサブレイヤに対応し、別のベーストラックに依存して、レイヤまたはサブレイヤのセットを再構成するベーストラックを対象とする。これらの依存関係は、トラック参照ボックスで宣言できる。

次に、エントリポイントの種類に応じて、収集された空間トラックに存在するＶＣＬ ＮＡＬユニットが任意のＶＶＣデコーダ（または使用される所定のフォーマットに対応するデコーダ）によって復号可能なビットストリームをもたらすように、いくつかのパラメータセットを生成する必要がある場合がある。例示のために、エントリポイントが選択されたＲＯＩに対応する場合、ピクチャサイズ、ならびにプロファイルおよびレベル情報が提供され得る。その後、パラメータセットのいくつかの部分はカプセル化モジュールによって書き換えられるか、または最初のものから再使用されるが、ＶＣＬ ＮＡＬユニットは書き換えられない。

次に、（符号化されたＶＣＬ ＮＡＬに対応する）ベーストラックのサンプルグループに、参照された空間トラックのリストが書き込まれる（ステップ２７０）。参照のこのリストは、各サンプルについて、これらの空間トラックの各々のＶＣＬ ＮＡＬユニットの連結が使用される符号化フォーマット（例えば、ＶＶＣ、ＨＥＶＣ、ＡＶＣなど）に準拠するビットストリームを生成することを保証する順序で空間トラックを提供する。

次に、ビットストリームの終わりに達したかどうかをチェックするためのテストが実行される（ステップ２７５）。ビットストリームの終わりに達していない場合、次のＮＡＬＵが読み出され（ステップ２１５）、そのタイプに応じて（ステップ２２０で決定される）、ステップ２２５～２３５またはステップ２４５～２５５に従って処理される。ビットストリームの終わりに達すると、プロセスが停止し、生成されたファイルがクライアントデバイスからアクセスできるようにパブリッシュされる場合がある。

図３は、本発明のいくつかの実施形態による、クライアントデバイスにおいて実行される解析プロセスのステップの例を示す。

図示されるように、クライアントデバイス（以下、クライアント）のパーサにおいて実行される最初のステップは、カプセル化されたファイルを取得することである（ステップ３０５）。このファイルは、ローカルストレージメディアから読み取ることもできるし、通信ネットワークを介してリモートサーバから取得することもできる。それは、ダウンロードされてもよいし、ストリーミングされてもよい。カプセル化されたファイルは、ファイル、フラグメント化されたファイル、またはセグメントファイルとして取得できる。

高レベルのメタデータから、例えばトラック宣言から、パーサは再生に使用されるいくつかのトラックを識別する。これは’ｍｏｏｖ’ボックスの下にあるトラックヘッダボックスのフラグの値を読むことで行える。パーサは、これらのトラックのうち１つ以上を選択し（ステップ３１０）、適切なデコーダを初期化し（ステップ３１５）、例えば、パーサは、符号化フォーマットの機能として選択されたビデオトラックのためにビデオデコーダを初期化する。これは、得られたカプセル化ファイルから、選択された１つ以上のトラックのサンプル記述内のデコーダコンフィギュレーション情報を読み取ることによって行うことができる（ステップ３２０）。

次に、さらにサンプル記述を読み取るために、パーサは、再構成情報を提供するサンプルグループを検出することができる（ステップ３２５）。このような情報項目は、解析するデータが異なるトラックからのものであり、デコーダに提供される前に特定の順序でデータを連結する必要がある可能性があることをパーサに通知する。サンプルグループの記述からの再構成命令を使用して、パーサは、参照される各トラックから指定された順序でＮＡＬユニットを読み取る。次に、これらのＮＡＬユニットは連結され（ステップ３３０）、レンダリングまたは表示のために対応するピクチャを再構成するためにそれらを使用するデコーダに提供される（ステップ３３５）。

例えば、他のトラックに対する依存関係を有するＶＶＣトラックからのサンプルは、以下のように再構成されてもよい。まず、出力サンプルが空に初期化される。次に、関連するサンプルエントリからのパラメータセットが出力サンプルに挿入され、サンプルからのデータが出力ビットストリームに挿入される。参照されたトラックの各々について、そして参照の順序で、参照されたトラックが空間トラックである場合、同じ復号時間をもつ参照されたトラック内のサンプルがフェッチされ、そのデータが出力ビットストリーム内に挿入される。その復号時間についてサンプルがない場合、例えば、参照されたトラックがその復号時間において空のサンプルを有する場合、データは挿入されない。参照されたトラックが非ＶＣＬ ＮＡＬＵのみを記述し且つ格納するトラックである場合、同じ復号時間を持つ参照されたトラック内のサンプル、または復号時間内にサンプルの直前の’同期’サンプルとしてマークされたサンプルがフェッチされ、そのデータが出力ビットストリームに挿入される。

図示されるように（ステップ３４０）、このプロセスは、カプセル化されたファイルの最後のサンプルに到達するまで繰り返される。

期待される順序で記述された再構成命令を持つことにより、特定のＮＡＬユニットが（例えば、Ｅｘｔｒａｃｔｏｒｓを使用して）そのような命令を提供する場合よりも、パーサにとって解析と再構成が容易になる。

空間トラック
いくつかの実施形態によれば、特にＶＶＣに関するいくつかの実施形態によれば、空間トラックはビデオフレームの空間部分の時間付きシーケンスを表す、すなわち、空間トラックは、主にＶＣＬ ＮＡＬＵを含む。空間トラックは、異なる符号化ピクチャ内の同じ空間領域に対応するＶＣＬ ＮＡＬユニットを含むトラックである。空間トラックは、それ自体で再生されなくてもよい。空間トラックがそれ自体で再生できない場合、例えばトラックヘッダボックスに適切なフラグを設定することで、カプセル化されたファイル内で、「隠されている」か、再生の候補ではないと記述され、ｔｒａｃｋ＿ｉｎ＿ｍｏｖｉｅフラグは設定されない。

空間トラックに関連付けられている空間領域は、カプセル化のために選択されたアクセス粒度（上述したように、ハードコーディングされてもよく、またはユーザによって定義されてもよい）に応じて、スライス、スライスのグループ（またはセット）、タイル、タイルのグループ（またはセット）、サブピクチャ、またはサブピクチャのグループ（またはセット）に対応してもよい。

空間トラックは、独立して復号可能でなくてもよい。例えば、アクセス粒度がサブピクチャレベルである場合、カプセル化モジュールは、ＳＰＳを検査することによって、サブピクチャのための符号化制約を提供することで、制御フラグを見つけることができる。これらの制御フラグは、サブピクチャの独立した符号化機能を明示的に示す単一のフラグであってもよいし、存在する、あるいは存在しない符号化制約の種類に関する情報を提供するフラグのセットであってもよい。別の例として、アクセス粒度がタイルまたはタイルのグループに対応する場合、特にサーバ自体によって実行される場合、エンコーダに関する知識は、独立して復号可能な基準を決定するのに役立つ。例えば、サーバは各タイル又はタイルのグループが自己完結型で、即ち、符号化されたピクチャ内の同じ位置にないタイル又はタイルのグループへの依存関係を持たないように、動き予測に対する制約を有するビデオを符号化することができる。

空間トラックは、’ｔｒａｋ’ボックスおよびそのサブボックスで記述することができる。トラックとサンプル記述は、カプセル化モジュールによって生成され、所与の時間における空間領域のデータをファイルのデータ部分から容易に検索できるようにする。

いくつかの実施形態によれば、空間トラックのサンプルは、所与の空間領域に対応するソースビデオのデータを含む。空間トラックは、アクセスの粒度に応じて、異なるサンプルエントリタイプを有しても良い。例えば、サンプルエントリタイプ’ｖｖｓｌ’（または予約された４文字コード）は、空間トラックが１つ以上のスライスの時間付きシーケンスを表すことを示すために使用されてもよく、サンプルエントリタイプ’ｖｖｔｌ’（または予約された４文字コード）は、空間トラックが１つ以上のタイルの時間付きシーケンスを表すことを示すために使用されてもよく、サンプルエントリタイプ’ｖｖｓｐ’（または予約された４文字コード）は、１つ以上のサブピクチャの時間付きシーケンスを示すために使用されてもよい。

別の例として、サンプルエントリタイプ’ｖｖｃＳ’または’ｖｖｃｓ’（またはこの目的のために予約され、既存のものと競合しない別の４文字コード）は、トラックが空間トラックであるが、アクセス粒度（スライス、タイル、またはサブピクチャ）を提供しないのみであることを示している。例えば、’ｖｖｃＳ’または’ｖｖｃｓ’サンプルエントリは、ＶＣＬ ＮＡＬユニットを格納するためにのみ使用されるＶＶＣトラックを識別し、スライス、タイル、またはサブピクチャの矩形領域を形成する。それが空間トラックであることを示すサンプルエントリを有するトラック（例えば、アクセス粒度の表示を伴う又は伴わない上述の例の１つ）は、このサンプルエントリタイプがこのトラックに対する唯一のサンプルエントリである。換言すれば、空間トラックは、ピクチャ領域のサンプルのような異なる種類のサンプルをフルビデオのサンプルとミックスすること、または所与のピクチャ領域からのサンプルを別のピクチャ領域のサンプルとミックスすることができない。別段の指示がない限り、ビデオサンプルエントリの他の子ボックス（クリーンアパーチャ、ピクセルアスペクト比など）は’ｖｖｃＳ’サンプルエントリ内に存在すべきではなく、パーサによって無視されるべきであり、これらの情報は、ベーストラック内で定義される。

ＶＶＣ空間トラック内のサンプルは、それが含む全てのＶＣＬ ＮＡＬＵがイントラ符号化スライスのみである場合に、同期（’ｓｙｎｃ’）サンプルとしてマークされてもよい。ビットストリームでランダムアクセスポイントとして示されたピクチャのサブサンプルに対応する場合、’ｓｙｎｃ’サンプルとしてマークされてもよい。例えば、カプセル化モジュールは、同じピクチャに対応するＶＣＬ ＮＡＬＵのＮＡＬＵタイプ、またはランダムアクセスポイント上で通知する非ＶＣＬ ＮＡＬＵ内の任意の指示を読み取ることによって、ピクチャがランダムアクセスポイントであるかどうかを判定することができる。ＶＶＣ空間トラックのサンプルに対する合成時間オフセット情報は存在してはならず、この情報はベーストラックに提供される。これは、表示できないトラックには役に立たない。空間トラックのサンプルに対するサンプル依存関係タイプボックスおよびサンプル依存関係フラグは、空間トラック内のサンプル記述がフルＶＶＣサンプルを記述しないので、存在しないはずであり、したがって、すべての依存関係情報はここでは関連せず、好ましくはベーストラックに格納される。ＶＶＣ空間トラックのサンプルに対するサブサンプル情報は存在してもよく、存在する場合、それらはＶＶＣサンプルエントリタイプに対するサブサンプルの定義に従う。空間トラックのサンプルエントリは、このコンフィギュレーションレコードが適用されるこのトラックのサンプルに対して、少なくともＮＡＬＵｎｉｔＬｅｎｇｔｈフィールドのバイト単位の長さを提供するコンフィギュレーション情報を提供する。この最小限のコンフィギュレーション情報は、次のように記述でき、

ＶＶＣ空間トラックのＶＶＣサンプルエントリに以下のように埋め込まれる。

ここで、lengthSizeMinusOne ＋ １は、このコンフィギュレーションレコードが適用されるストリーム内のＶＶＣビデオサンプルのＮＡＬＵｎｉｔＬｅｎｇｔｈフィールドのバイト単位の長さを示す。たとえば、１バイトのサイズは０の値で示される。このフィールドの値は、それぞれ１、２、または４バイトで符号化された長さに対応する０、１、または３のうちの１である。

有利には、データを空間トラックに分割することは、空間部分が各フレームに対してインターリーブされる場合よりも簡単な方法で時間に沿って空間部分へのアクセスを提供する。実際、これにより、メディアプレーヤはファイルがストリーミングされるときに、複数のバイト範囲または複数の要求を持つ１つの要求ではなく、１バイト範囲を持つ１つの要求で、所与の空間領域の時間セグメントを要求できる。

空間トラックは例えば、ビデオ圧縮がライブで行われるときに、断片化又はセグメント化されてもよい。

空間トラックはフルビデオについての指示、例えば、ソース識別子を提供するトラック記述またはサンプル記述でカプセル化されてもよく、ソース識別子はこのフルビデオから来ており、オプションとして、このフルビデオにおけるその位置である。いくつかの実施形態によれば、同じソース識別子を共有する空間トラックは、同じソースビデオから来るものと見なされる。追加の識別子が、ＮＡＬＵが来るオリジナルのビットストリームをさらに示すために、空間トラックの記述の中に書かれることがある。これは、異なるビットストリームからのピクチャ領域がマージされるユースケースや、ピクチャ領域がスワップされるユースケース、例えば、品質をローカルに変更する、に役立つ場合がある。このような追加の識別子のために、この追加の識別子に対して同じ値を有するすべてのトラックは、同じビットストリームからのＮＡＬＵを記述すると考えられる。これは、ビットストリームごとに１つのグループであるエンティティグループのリストを提供するｇｒｏｕｐＬｉｓｔＢｏｘとして記述される。ビットストリーム識別子の変形は、専用のグループ化タイプを有するトラックグループボックスを使用するか、空間トラックがマルチソースプレゼンテーションに属することを示す’ｍｓｒｃ’グループ化タイプを再利用することによって、トラックのグループを定義することで構成される。マルチソースは、同じビットストリームを表す複数の空間トラックであり、次に同じソースビデオであることを示す。

ベーストラック
いくつかの実施形態によれば、ベーストラックは、カプセル化されたファイル内のエントリポイントを定義する。たとえば、ベーストラックは、対応するトラックヘッダボックスにｔｒａｃｋ＿ｉｎ＿ｍｏｖｉｅフラグを設定することで、ベーストラックとしてシグナリングされる。ベーストラックは、特定のサンプルエントリタイプ、例えば’ｖｖｓ１’を有する。ベーストラックは、そのサンプルにおいて直接的に、または他のトラックへの参照によって、非ＶＣＬ ＮＡＬＵを提供する。ベーストラックはオペレーションポイント、すなわち、圧縮されたビデオの抽出された部分、またはフルビデオ、またはビデオの組合せに対応する圧縮されたビデオのバージョンに対応する適合ビットストリームを構築するための再構成命令を提供する。

サンプルエントリタイプが’ｖｖｓ１’（またはＶＶＣベーストラックサンプル記述のための専用４文字コード）である場合、このサンプルエントリが適用されるストリームは、暗黙の再構成の後、このサンプルエントリのＶＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘで与えられるコンフィギュレーション（プロファイル、階層、およびレベルを含む）の下で動作するＶＶＣデコーダによって見られるような準拠ＶＶＣストリームである。ＶＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘは、デコーダコンフィギュレーションの情報を提供するボックスである（ＶｖｃＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄと呼ばれるメタデータ構造で記述されている）。サンプルエントリ名が’ｖｖｓ１’の場合、ＶｖｃＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄのａｒｒａｙ＿ｃｏｍｐｌｅｔｅｎｅｓｓのデフォルト値はすべてのアレイで０であり、示されたタイプの追加のＮＡＬユニットがストリームに存在する可能性があることを示す。これにより、ビデオシーケンスに沿ってパラメータセットを更新できる。特定の’ｖｖｓ１’サンプルエントリタイプの使用は、トラックタイプのコーデックパラメータを介した早期のシグナリングを可能にすることである。変形はまた、このトラックについて宣言されたトラック参照を検査することによって、いくつかの特定のトラック参照タイプ（例えば、暗黙の再構成または空間ＶＶＣトラックへの依存関係を示すトラック参照タイプ）の存在または非存在を検査することによって、トラックタイプを導出することであり得る。

いくつかの実施形態によれば、ベーストラックは、いかなるＶＣＬ ＮＡＬＵも記憶しない。その代わりに、それは、トラックレベル及び／又はそのサンプル記述において、メディアデータを得ることができる空間トラックへの参照を提供する。これは、他のＶＶＣトラックへの依存関係を示すタイプ’ｖｖｃｄ’のトラック参照タイプとして表現することができる。これは表示可能なトラックにわたってＶＣＬ ＮＡＬＵを複製することを回避し、すなわち、ＶＣＬ ＮＡＬＵはファイル内の単一の場所に格納され（空間トラックによって記述され）、圧縮ビデオのバージョンを再構成するために１つ以上のベーストラックによって参照され得る。再構成は、矩形のビデオにつながるはずである。

さらに、いくつかの実施形態によれば、ベーストラックは、存在する場合のトラック参照に加えて、参照されるトラックのリストに加えて、それらのＮＡＬＵのための連結順序として、再構成命令（または再構成ルール）または他のトラックへの依存関係を提供する１つまたはいくつかのサンプルグループを含んでもよい。トラック参照は、デフォルトの依存関係または、１つ以上のサンプルグループを介して一部のサンプルに対してオーバーライドできる再構成ルールを提供する。どのサンプルグループにもマッピングされていないサンプルは、トラック参照で与えられたデフォルトの再構築ルールに従うか、ベーストラックのトラック参照で宣言されたものと同じ依存関係を有する。サンプルグループ内の連結順序は、このサンプルグループ内にマッピングされるサンプルの考慮されるグループのためのピクチャ（またはピクチャの部分）を再構成することを可能にする。例えば、サンプルグループは、暗黙的な再構成情報のgrouping_type’irif’を有する。ここでの４文字コードは単なる一例であり、１つ以上のサンプルに対する動的な（トラックの全てのサンプルに対する静的なものとは反対に）トラック参照を記述するサンプルグループに対する任意の予約された４文字コードを使用することができる。より汎用的なサンプルグループは、動的なトラック参照用のgrouping_type’dtrf’を有する。’ｖｖｓ１’サンプルエントリを有するサンプルまたはベーストラックのサンプルは、’ｖｖｃｄ’のｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒとサンプルグループ化タイプ’ｄｔｒｆ’を用いて、トラック全体ではなく、サンプルベースのグループのトラック依存関係のリストを提供できる。’ｖｖｓ１’に等しいサンプルエントリタイプを有する任意のサンプルについて、トラック依存関係または再構成命令は’ｖｖｃＮ’または’ｖｖｃＳ’に等しい、すなわちＶＶＣ空間トラックからの、関連するサンプルエントリタイプを有するサンプルを指し示すだけである。このようなサンプルグループの特性を以下に詳述する。

好ましくは、ベーストラックは独立して復号可能である。ベーストラックは、それが参照する空間トラックと同じ基準で、断片化またはセグメント化することができる。ベーストラック内のサンプルは、すべての参照トラックが同じ復号時間でランダムアクセスサンプルも含むとき、ランダムアクセスサンプルとしてマークすることができる。前者では、メカニズムが時間に沿ったいくつかのトラック参照の起動／非アクティブ化、または過負荷メカニズムとして見ることができる。ベーストラックは再構成のために使用することができるトラックの潜在的な最大リストで初期化することができ、または、例えばトラック参照ボックスに依存することができる。このトラックのリストまたはトラック間の順序は、動的トラック参照のためにサンプルグループ内のいくつかのサンプルについて更新され得る。事前宣言は、たとえばトラック参照ボックスで、パーサの初期化（メモリ割り当て、検査するトラックの数）で再構築を処理するのに役立つ場合がある。

暗黙的再構成または動的トラック参照のためのサンプルグループの指定
１つ以上のサンプルのトラック参照のセットをオーバーライドするために使用されるサンプルグループは、たとえば動的暗黙的再構成を記述するために、特定のｇｒｏｕｐｉｎｇ＿ｔｙｐｅ、たとえば、動的トラック参照の場合は’ｄｔｒｆ’、暗黙的再構成情報の場合は’ｉｒｉｆ’を有する（名前と関連する４文字コードは単なる例である）。この特定のタイプのサンプルグループは、このグループ化タイプ値を持つＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘと、オプションでこの同じグループ化タイプ値を持つＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘで構成される。ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘは、たとえば、特定の４文字コード’ｉｒｉｆ’で識別されるＩｍｐｌｉｃｉｔＲｅｃｏｎＩｎｆｏＧｒｏｕｐＥｎｔｒｙと呼ばれる、１つ以上の特定のＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙを含む。

定義は以下の通りである：

ここで、ｒｅｆ＿ｃｏｕｎｔは、このサンプルグループを含むトラックのサンプルの再構成に関係する空間トラックの数を示し、
ここで、ｒｅｆｅｒｅｎｃｅｓ[ｒｅｆ_ｃｏｕｎｔ]は、ＶＣＬ ＮＡＬＵを取得する空間トラックを識別するためのトラック参照ボックスからのインデックスのリストである。ｒｅｆ＿ｃｏｕｎｔが０に設定されている場合、これは、このグループのサンプルは、たとえばトラック参照ボックスでデフォルトで与えられるデフォルトの再構成ルールに従わない、ことを意味する。０に設定されたｒｅｆ＿ｃｏｕｎｔパラメータは、ベーストラック内の空のサンプルをもたらすことができる。参照パラメータは、使用中のビデオ符号化フォーマット（例えば、ＶＶＣ、ＨＥＶＣ、ＡＶＣなど）に準拠するＮＡＬＵ順序につながる再構成順序を与える。’ｉｒｉｆ’サンプルグループは、時間と共に変化し得る再構成命令を記述することを可能にする。それは１つ以上のサンプル、すなわち、サンプルのグループについての再定義を可能にし、暗黙の再構成はトラック参照ボックスにおいて宣言され得る。また、ＮＡＬＵファイルフォーマットの現在の暗黙的再構成ルールがシーケンス全体のルールを定義するのに対し、フラグメントベースまたはセグメントベースで再構成ルールを定義することも可能である。参照パラメータは互いに代替として宣言された、単一のトラックだけでなく、トラックのグループを示すこともあることに留意されたい（例えば、トラック参照ボックス内のエントリが、代替トラックを示すグループ化タイプ、例えば’ａｌｔｅ’トラックグループタイプを有するトラックグループ識別子を指しているとき）。

動的トラック参照のためのサンプルグループの別の定義は、以下のものである。

ここで、ｒｅｆ＿ｃｏｕｎｔは、サンプルグループエントリ内の参照の数を示し、ｒｅｆ＿ｆｌａｇｓは、この参照のフラグのセットを示す。その意味は、オーバーロードするトラック参照タイプに依存し、ｒｅｆ＿ｉｎｄｅｘは、ＳａｍｐｌｅＴｏＧｒｏｕｐボックスのｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒで与えられた、所与のトラック参照タイプの、このトラックのトラック参照ボックス内の参照のインデックスを示す。このサンプルグループは、特定のトラック参照タイプをオーバーライドすることを可能にするという意味で、前のサンプルグループの一般化である。上書きするトラック参照タイプは、サンプルのグループへのマッピングを提供するSampleToGroupBox’sbgp’のｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒに示されるものとする。適用する新しい参照は、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが’ｄｔｒｆ’に設定されたＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘのエントリの所与のタイプのトラック参照ボックスのインデックスとして与えられる。ｒｅｆ＿ｆｌａｇｓの使用の一例は、ｖｖｃｄ＿ｔｒｅｆ＿ｔｅｍｐｏｒａｌ＿ａｄｊｕｓｔという名前のフラグ値（０ｘ０１）であり、これは、所与の参照が再構成中にサンプル復号時間調整を必要とする異なる時間分解能を有するトラックへのものであることを示す。このフラグがセットされている場合、参照されているトラックにサンプルが見つからない場合、再構成は次のように変更される。復号時間内の直前のサンプルがフェッチされ、そのデータが出力ビットストリームに挿入される。これにより、低フレームレートトラックからサンプルを複製することにより、低フレームレートトラックから高フレームレートトラックを再構成することができる。

例えば、ＶＶＣベーストラックがトラック参照タイプ’ｖｖｃｄ’を使用して、ＶＶＣ空間トラックまたは非ＶＣＬトラックへの依存関係を宣言する場合、’ｄｔｒｆ’に等しいグループ化タイプを有するグループボックスへのサンプルのグループ化タイプパラメータは、’ｖｖｃｄ’に設定される。これは、サンプルグループがこのグループにマッピングされるサンプルのグループのトラック参照に与えられた依存関係または再構成ルールをオーバーライドすることを意味する。この同じメカニズムは、ＨＥＶＣタイルトラックに対する’ｓａｂｔ’暗黙的再構成に適用することができる。ＨＥＶＣタイルベースは、ＨＥＶＣタイルトラックから再構成するための’ｓａｂｔ’トラック参照を宣言し、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒを’ｓａｂｔ’に設定した’ｄｔｒｆ’サンプルグループは、一部のサンプルまたはサンプルのグループについて時間に沿って再構成を変更できる。トラック参照のオーバーライドの別の例として、コーディング依存性があり、たとえば、トラック参照タイプ’ｓｃａｌ’で示される。１つ以上の他のトラックへの依存関係を有するトラックでは、このトラック内のいくつかのサンプルが、これらの他のトラック内のサンプルから独立していてもよい。’ｓｃａｌ’トラック参照をオーバーライドするサンプルグループは、grouping_type=’dtrf’およびｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒ＝’ｓｃａｌ’を有するサンプルグループ内でこれらのサンプルを宣言することによって、これらのサンプルをシグナリングすることができる。ゼロに等しい参照カウントは、対応するサンプルグループ記述エントリが、他のトラックのサンプルからの依存関係がないことを示すことである。この例では、参照カウントがゼロに等しくない場合、サンプルオフセットの追加パラメータは、ｒｅｆｅｒｅｎｃｅｓ［］パラメータにリストされている依存トラックの１つで特定のサンプルへの依存関係を示すのに役立つことがある。

トラック参照タイプ’ｖｖｃｄ’は動的またはオーバーライド可能なトラック参照として定義されているが、既存のトラック参照タイプは定義されていない。一部のトラック参照がカプセル化されたファイルで上書きされる可能性があることを示すために、専用ブランドが定義されている。このブランドがＧｅｎｅｒａｌＴｙｐｅＢｏｘから継承するｆｔｙｐ、ｔｔｙｐ、ｓｔｙｐボックス、または任意のボックスに存在する場合、パーサは、このブランドをメジャーブランドとして有するファイル、トラック、またはセグメントを無視するか、またはこのパーサが動的トラック参照をサポートしない場合、互換性のあるブランドのそのリストにあると決定することができる。パーサが動的トラック参照をサポートしている場合、オーバーライドされたトラック参照を有するトラックを表示するように選択できる。

変形として、動的トラック参照または暗黙的再構成のためのサンプルグループの前の例では、参照パラメータはｔｒａｃｋ＿ＩＤのリストを直接提供してもよい。これにより、解析時にトラック参照ボックスを介した間接参照が回避される。別の変形では、参照パラメータは、トラックｉｄまたはトラックグループｉｄまたはエンティティｉｄのリストを提供する。

別の変形では、暗黙的再構成のためのサンプルグループは、時間付きではない調整された方法での暗黙的再構成のための追加パラメータを含む。追加パラメータは、サンプルグループ内で宣言された各参照に対して、リファレンストラック内でコピーするためのサンプルへのサンプルオフセットを提供する。暗黙的再構成のサンプルグループに適用される新しいサンプルグループエントリは、次のようになる。時間付きではない調整された再構成

の’ｉｒｉｆ’のサンプルオフセットテーブルを再び使用する。

別の変形では、サンプルオフセットパラメータが全ての参照トラックに適用される。次に、参照トラックから時間調整されたサンプルをシフトすることによって、ベーストラック内に１つのサンプルを構築するために使用することができる。

参照を動的に追跡するため、または動的暗黙的再構成のためのサンプルグループのさらに別の変形では、参照カウントおよびｒｅｆｅｒｅｎｃｅ＿ｌｉｓｔパラメータが、記述コストをさらに低減するために可変ビット数で符号化される。ファイルを生成するときのビット数は、カプセル化されたファイルの’ｍｏｏｖ’ボックスで宣言されたトラック数のｌｏｇ２としてカプセル化モジュールによって決定される。パーサは、カプセル化されたファイルを処理するときに、カプセル化されたファイルの’ｍｏｏｖ’ボックスで宣言されたトラック数を調べることによって、使用中のビット数も決定する。

図４は、再構成命令を提供するサンプルグループの使用の例を示す。

例示のために、符号化されカプセル化されるビデオシーケンス４００は、４０５－１～４０５－ｎで参照されるフレームまたはピクチャ（または時間付きサンプル）のセットを含む。ピクチャは、グループにグループ化されてもよい（グループのピクチャが連続していてもよいし、連続していなくてもよいことに留意されたい）。例えば、ピクチャ４０５－１～４０５－ｋは、グループＧ１に属してもよく、ピクチャ４０５－ｋ＋１～４０５－ｎはグループＧ２に属してもよい。

符号化中、各ピクチャは、空間サブセット（またはサブサンプル）と呼ばれる矩形領域に分割される。空間サブセットまたはサブサンプルは、ＶＶＣ空間サンプルとしてカプセル化され得る。ＶＶＣ空間サンプルは、対応するサンプルエントリタイプによって示されるように、ＶＶＣ空間トラックに記述されるサンプルである。ＶＶＣ空間サンプルは、所与の復号時間における空間サブセットに対応するＶＣＬ ＮＡＬＵを含む。例えば、ＶＶＣでは、空間サブセットがスライス（又はスライスのセット）、タイル（又はタイルのセット）、又はサブピクチャ（又はサブピクチャのセット）とすることができる。空間サブセットは、１つ以上のＮＡＬユニットに対応することができる。空間サブセットは、独立して符号化されてもよく、または他の空間サブセットに対する時間依存関係を有してもよい。例えば、各ピクチャは、４１０－１～４１０－ｐで参照されるｐ個の空間サブセット（ｐは整数）に分割されてもよい。

上述のように、空間トラックは、ピクチャ領域に対応するサンプル（すなわち、サブサンプルまたはＶＶＣ空間サンプル）を記述するために使用され得る。ピクチャ領域は、ピクチャ分割から生じる１つ以上の空間サブセットを含む符号化ピクチャの矩形エリアである（例えば、ピクチャ領域は、空間サブセット４１０－１および４１０－２を含むことができる）。ビデオシーケンスのフレームに沿った同じピクチャ領域は、空間トラック内のサンプルとしてカプセル化される。フレーム内の各ピクチャ領域には、空間トラック内のサンプルが対応する。例えば、図示された例における空間サブセット４１０－１及び４１０－２に対応するピクチャ領域は、空間トラック４１５－１にカプセル化される。同様に、空間サブセット４１０－ｊに対応するピクチャ領域は、空間トラック４１５－２にカプセル化することができ、以下同様である。

したがって、ピクチャＧ１またはＧ２のグループは図示されるように、サンプルのグループとしてカプセル化された空間トラック内に見つけることができる。

ベーストラック内に格納された再構成命令を使用して、空間トラックを使用してビットストリームを再構成することができる。例えば、ベーストラック４２０を使用して、１つ、いくつか、またはすべての空間トラック４１５－１～４１５－ｒに格納されているメディアデータからビットストリームを再構成することができる。言い換えれば、ベーストラック４２０は、４２５－１および４２５－２で参照される再構成命令（ＲＩ）を提供するベーストラックであり、関心のあると考えられるピクチャ領域に対応するビデオを再構成することを可能にする。例示のために、結果として得られるビットストリームは、ピクチャグループＧ１については空間トラック４１５－１および４１５－２からのメディアデータを使用し、ピクチャグループＧ２については空間トラック４１５－２および４１５－３からのメディアデータを使用して再構成される。これは、動的ピクチャ領域の再構成、すなわち、ソースビデオ内の移動エリアを追跡する適合するＶＶＣビットストリームの再構成を可能にする。

再構成命令を提供する他のベーストラックを定義することができる。特に、特定のベーストラックが、フルピクチャを再構成するために定義されてもよい。このような場合、ベーストラックは、全ての空間トラックを参照する。

ベーストラックおよび必要とされる空間トラック（すなわち、トラック４２０およびトラック４１５－１～４１５－ｒのうちの１つ以上）を含むトラックのセットは、パーサによって処理されるとき、グループＧ１に対応するＮＡＬユニットおよびグループＧ２に対応するＮＡＬユニットを含むビットストリーム４３０などのビットストリームにつながる。より正確には、ピクチャのグループＧ１に対応するＮＡＬユニットは、再構成命令４２５－１によって参照されるトラック（すなわち、空間サブセット４１０－１、４１０－２、および４１０－ｊに対応する空間トラック４１５－１および４１５－２）からのサンプルの連結から生じる、４３５－１で参照される連結されたＮＡＬユニットを含む。同様に、ピクチャのグループＧ２に対応するＮＡＬユニットは、再構成命令４２５－２によって参照されるトラックからのサンプルの連結から生じる、４３５－２で参照される連結されたＮＡＬユニットを含む。

サンプルのこれらのグループは、カプセル化されたファイルのメタデータ部分において宣言される。それらは、サンプルグループ化メカニズム、例えば、ＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ、およびオプションでＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘを使用して記述することができる。

カプセル化モジュールは、空間トラックが常にソースビデオの同じ空間エリアを記述するように、換言すれば、それが同じピクチャ領域を記述するように、空間サブセットがビデオシーケンスに沿って一貫性を保つことを確実にしなければならない。例えば、ビットストリームのＰＰＳ変化がタイル構成を変更する場合、結果として生じる空間サブセットが、ソースビデオの同じ位置及びサイズに対応する１つ以上のスライス、タイル、又はサブピクチャを含むようになる。タイル構成がタイル内のタイル行またはタイル列、あるいはその両方の挿入で構成されている場合、この追加のタイル行または列またはその両方は、初期タイルを含む空間サブセットの一部と見なされる（挿入前の空間サブセットには１つのタイルが含まれ、挿入後に２つのタイルが含まれるか、タイル行とタイル列の挿入の場合はその両方が含まれる）。ＳＰＳ変更およびサブピクチャについても同様である。

図５は、再構成命令を提供するサンプルグループを使用する別の例を示し、ここで、フルビデオは、ベーストラック、いくつかの空間トラック、および１つまたはいくつかのパラメータセットトラックから再構成され得る。

図示されるように、符号化されカプセル化されるべきビデオシーケンス５００は、フレーム又はピクチャのセットを含む。この例によれば、ピクチャは、４つの空間サブセット（４つの異なるパターンで表される）に分割される。各空間サブセットは、５０５－１～５０５－４で参照される空間トラックのうちの１つにカプセル化される。

ベーストラック５１０－１は、フルビデオのフル再構成のための再構成命令を提供する。いくつかの実施形態によれば、ベーストラック５１０－１はメタデータのみを含み、ベーストラックのサンプルは空であるため、対応するペイロードデータは空である（空のサンプルは、破線を有する長方形、例えば５３５で参照される長方形を使用して表される）。実際、再構成中に、再構成されたサンプルは、５２０で参照される暗黙的再構成ルールで参照される異なるトラックのセットから非ＶＣＬおよびＶＣＬ ＮＡＬＵを収集する。図示された例によれば、暗黙ルール５２０は、まず、ＤＰＳ、ＶＰＳ、ＳＰＳまたはＰＰＳのようなかなり静的ないくつかのパラメータセット、またはビデオシーケンスまたはピクチャのグループのための構文要素を提供する任意の構文構造を提供する、５１５－１で参照されるトラックを参照する。ベーストラック５１０－１はまた、例えばピクチャヘッダまたは適応パラメータセット（ＡＰＳ）、あるいはその両方、あるいは所与のピクチャのための構文要素を提供する任意の構文構造のような、時間に沿って変化する非ＶＣＬ ＮＡＬＵを提供する５１５－２（順序に関してトラック５１５－１の後）で参照されるトラックを参照する。

そのようなカプセル化編成は、ビデオシーケンス５００のピクチャ分割によって定義されるサブセットのためのデータを相互化（mutualizing）することを可能にする。この相互化（mutualization）は、ファイルが少なくとも２つのベーストラックを含む場合に有用である。例えば、フル再構成のために宣言されたベーストラック５１０－１と、ビデオの１つ以上の空間サブセットを再構成するために提供されるベーストラック５１０－２のような第２のベーストラックである。

５２５－１で参照されるベーストラック５１０－２に記載された再構成命令から、ベーストラック５１０－２は非ＶＣＬ ＮＡＬユニットについてはトラック５１５－２のみを参照し、注目ピクチャ領域についてはＶＣＬ ＮＡＬＵについては空間トラック５０５－４のみを参照することが分かる。再構成命令５２５－２はまた、トラック５１５－２からの非ＶＣＬ ＮＡＬＵおよび別の空間トラック、ここでは空間トラック５０５－３からのＶＣＬ ＮＡＬＵを再使用する。ベーストラック５１０－２はまた、５３０で参照されるそれ自体のパラメータセットを提供し、これらは、注目ピクチャ領域に対応するビデオを記述するために書き換えられる。したがって、空間トラックだけでなく、ＡＰＳまたはピクチャヘッダのような非ＶＣＬ ＮＡＬＵ、またはトラック５１５－２のような書き換えを必要としない任意のパラメータセットを含むトラックも共用することができる。書き換えられたパラメータセットは、図２のステップ２６５で再構成トラックを準備するときに、ベーストラック自体に含まれることが好ましい。

図６は、再構成命令を提供するサンプルグループを使用する別の例を示し、再構成命令は、空間スワッピングを可能にする。

空間スワッピングと呼ばれるビデオの空間適応を可能にするこの例によれば、同じソースビデオは異なる品質のビットストリーム、例えば、２つのビットストリーム６００－１および６００－２に符号化され、符号化されたピクチャは、少なくともスライス、タイル、またはサブピクチャに同様に分割される（圧縮専用のより低いレベルの分割は異なってもよい）。例示のために、ビットストリーム６００－１および６００－２のピクチャは、図示されるように、４つのサブセットに分割される。カプセル化されるために、これらのビットストリームは、パッケージングの目的のためにカプセル化モジュールに提供され、最終的には後でストリーミングするための準備がなされる。

いくつかの実施形態によれば、カプセル化モジュールは、図２を参照して説明したステップ等のステップを実行して、各ビットストリームを空間トラックのセットおよび１つ以上のベーストラックにカプセル化する。

例示のために、ビットストリーム６００－１の空間サブセットは、空間トラック６０５－１～６０５－４にカプセル化され、ビットストリーム６００－２の空間サブセットは、空間トラック６１０－１～６１０－４にカプセル化される。各ビットストリームは例えば、パラメータセットトラック６１５および６２０にそれぞれ、または非ＶＣＬ ＮＡＬＵの格納専用のトラック、例えば、トラック６２５またはその両方に、１つ以上のパラメータセットトラックに記述することもできる。データの重複を回避するために、非ＶＣＬ ＮＡＬＵを専用トラックに格納することは、それらが２つ以上のベーストラックから共有または参照され得る場合に有利であり得ることに留意されたい。オプションで、非ＶＣＬトラックは特定のサンプルエントリタイプ、例えば’ｖｖｃＮ’を有することができ、このトラックのサンプルのために使用される少なくともＮＡＬＵｎｉｔＬｅｎｇｔｈを記述する、構成ボックス、例えばＶｖｃＮＡＬＵＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘとして情報の最小セットを提供する。さらに、この非ＶＣＬトラックは、そのトラックヘッダにｔｒａｃｋ＿ｉｎ＿ｍｏｖｉｅフラグを設定しないことで、ファイル内で非表示にできる場合がある。

いくつかの実施形態によれば、各ビットストリームの各サブセットは、空間トラックにカプセル化される。さらに、各空間トラックは、符号化されたビデオのバージョンまたはそれが記述するビットストリームの指標を含むことができる。これは、特にカプセル化時に計画されていないいくつかの組合せに対して、再構成命令の書込みを容易にする。また、このようなカプセル化されたファイルのストリーミングマニフェストでの記述を簡素化することもできる。

再構成またはベーストラックを準備するとき、例えば、図２のステップ２１１を実行するとき、カプセル化モジュールは、ビットストリーム６００－１のトラック６３０およびビットストリーム６００－２のトラック６３５のようなソースビデオの符号化されたバージョンごとにベーストラックを作成することができる。ベーストラック６３０は、ビットストリーム６００－１に圧縮されたビデオシーケンスに対して６４０で参照される再構成命令を提供し、一方、トラック６３５は、ビットストリーム６００－２に圧縮されたビデオシーケンスに対して再構成命令６４５を提供する。再構成命令の各セットは図６に示すように、使用するトラックを特定の順序で定義する。

例えば、図３のステップ３１０を参照して説明したように、表示されるトラックとしてトラック６３０を選択するパーサは、トラック６１５からのサンプルと、それに続く空間トラック６０５－１～６０５－４からのサンプルとを繰り返し連結することによって、サンプルごとにビットストリームを再構成する。同様に、パーサまたはプレーヤがトラック６３５を選択すると、サンプルは、トラック６２０、６２５、および６１０－１～６１０－４からサンプルの連結として、この順序で再構成される。ベーストラックがサンプルを含む場合、後者は連結の最初である。

図６に示す例によれば、ベーストラック６３０および６３５は、空のサンプル６５０または６５５のような空のサンプルのみを有する（すなわち、サンプルを記述するメタデータ部分、例えばサンプル記述ボックスのみを含むが、ファイルのデータ部分、例えば’ｍｄａｔ’ボックスには関連データは含まない）。

６６０で参照される別のベーストラックがカプセル化ファイル内で生成され、ビデオのいくつかの特定のサブセットにより高い品質を与えることができる。この例によれば、これは、ベーストラック６６０の始めの再構成命令６６５に記述される。例えば、ピクチャの左上に位置する空間サブセット（６７０で参照される）の品質は、時間ｔにおいて、ピクチャの他の空間サブセットの１つよりも高い。トラックの後方（時間ｔ＋デルタ）に、破線矢印で示すように、６７５で参照される新しい再構成命令が、他の空間トラックを参照して記述される。この再構成は、時間ｔ＋デルタから最後まで、右下に位置する空間サブセット（６８０で参照される）の品質がピクチャの他の空間サブセットの１つよりも高いビデオをもたらす。

この種のサブセットのカプセル化および「スワップ」は、カプセル化モジュールがビットストリーム解析中にピクチャヘッダの互換性をチェックするときにより容易である。これは、それらの対応する非ＶＣＬ ＮＡＬＵがバイナリ等価であるか否かを、同じ復号時間を有するピクチャについてチェックすることによって行うことができる。バイナリ等価でない場合、カプセル化モジュールは各ピクチャヘッダの各パラメータを解析し、それらを１つずつ比較して、どこに差があるかをチェックする。ピクチャヘッダが同等である場合、カプセル化モジュールは、これらのピクチャヘッダを６２５のような専用トラックにカプセル化することを決定することができ、その結果、それらをベーストラック間で相互化することができる。それらが等価でない場合、カプセル化モジュールは図２のステップ２６５を参照して説明したように、再構成トラックの記述を準備しながらピクチャヘッダを書き換えることを決定することができる。書き換えられる場合、ピクチャヘッダは、ベーストラックのサンプルとしてカプセル化されることが好ましい。この場合、ベーストラックのサンプルを再構成するとき、ピクチャヘッダ情報を含むベーストラックサンプルは、参照命令で参照されるトラックからコピーされるサンプルの前に配置される。同じコーディングコンフィギュレーション、例えば同じパラメーターセットを共有する空間トラックは、それらのビットレートに差別化属性を有する切り替え可能なトラックとしてトラック選択ボックスで宣言することができる。最初のカプセル化が同じソースビデオの各符号化バージョン（６００－１および６００－２）のためのベーストラックのみを生成するとき、この情報は、このカプセル化されたファイルのための異なるエントリポイントを生成または格納する後続のカプセル化に有用である。

図７は、再構成命令を提供するサンプルグループを使用する別の例を示し、再構成命令は、ピクチャ組合せを可能にする。

この例によれば、７００－１および７００－２で参照される２つのビットストリームのピクチャを結合することができる。説明のために、これら２つのビットストリームのパラメータセットおよびピクチャヘッダは同じであると仮定する。ビットストリーム７００－１および７００－２は、サーバのカプセル化モジュールによってカプセル化される。そのために、カプセル化モジュールは、たとえば図２を参照して説明されているように、各ビットストリームから個別に異なるＮＡＬＵを解析することによって、ビットストリームを順番に、または並列に解析する。

図示されるように、７０５で参照されるトラックは、パラメータセットの記憶専用であり、７１０で参照される別のトラックは、ＡＰＳおよびピクチャヘッダ専用である。トラック７０５および７１０の両方は、’ｖｖｃＮ’のような専用サンプルエントリタイプを有する非ＶＣＬトラックとしてマークされてもよい。それらのトラックヘッダは、ｔｒａｃｋ＿ｉｎ＿ｍｏｖｉｅフラグを有し、表示の候補ではないため設定されていない。

ビットストリーム７００－１および７００－２のピクチャの空間サブセットの各々は、それ自体の空間トラックにカプセル化され、適切なサンプル記述（少なくともサンプルエントリタイプは、これらの空間トラックのサンプルが実際にビットストリーム７００－１または７００－２からのサブサンプルであることを示す）を有する。所与の例によれば、ビットストリーム７００－１の空間サブセットは、空間トラック７１５－１～７１５－４にカプセル化され、ビットストリーム７００－２の空間サブセットは、空間トラック７２０－１～７２０－４にカプセル化される。

７２５で参照されるベーストラックは、そのトラック参照ボックス内の、依存関係または生成されたすべての空間トラックへの参照を定義する（パラメータセットは、それ自身のパラメータセットのリストを書き換えるので、パラメータセットトラック７０５を除く）。一部の依存関係は、たとえば’ｖｖｃｄ’のような特定のトラック参照タイプで、時間に沿ってオーバーライドされる可能性があるとして宣言される。

カプセル化モジュールは、異なる入力ビットストリーム７００－１および７００－２からの空間サブセットの連結のためのベーストラック７２５を生成する。再構成の結果は、一方または他方の入力ビットストリームとは異なることが予想されるので、カプセル化モジュールは特に、組合せおよび空間レイアウトの予想されるサイズを記述する新しいパラメータセットを生成する。いくつかの実施形態によれば、カプセル化モジュールは、’最大’コンフィギュレーション、すなわち、空間アクセスのために使用され得るスライス、タイル、またはサブピクチャの組合せおよび最大数によって到達され得る最大サイズを生成する。これは、例えば、図２のステップ２３０を参照して説明したように、空間レイアウト決定中に、ビットストリーム解析から得られた情報を追加することによって行うことができる。

ＩＳＯＢＭＦＦは、カプセル化されたファイルにトラックを追加（または削除）できないため、これは、適切な数のトラックを割り当てて宣言するために行う必要がある。

ベーストラック７２５が動的トラック参照のためにサンプルグループを使用するので、すべての参照がすべてのサンプルに対してアクティブであるわけではないことに留意されたい。実際、いくつかの実施形態によれば、カプセル化モジュールは、例えば’ｉｒｉｆ’または’ｄｔｒｆ’サンプルグループのような、動的トラック参照のためのサンプルグループを使用して再構成命令を生成する。例えば、カプセル化モジュールは、ｔからｔ＋デルタ（除外）までのサンプルの第１のグループのための再構成命令を提供する７３０－１で参照される第１のサンプルグループと、ｔ＋デルタ（含まれる）からシーケンスの終わりまでのサンプルの第２のグループのための再構成命令を提供する７３０－２で参照される第２のサンプルグループと、を生成する。

図示の例によれば、第１のサンプルグループは、ビットストリーム７００－１に関連付けられているすべての空間トラック７１５－１～７１５－４から、およびビットストリーム７００－２のピクチャの左側空間サブセットに対応する空間トラック７２０－１および７２０－３からの再構成を定義する。さらに図示の例によれば、第２のサンプルグループは、ビットストリーム７００－１に関連付けられているすべての空間トラック７１５－１～７１５－４から、およびビットストリーム７００－２に関連付けられているすべての空間トラック７２０－１～７２０－４からの再構成を定義する。

一実施形態によれば、サンプルグループ７３０－１内の最初の参照は、トラック７１０のようなピクチャヘッダを含む非ＶＣＬトラックへの参照である。これにより、異なる空間トラックまたはベーストラックにわたってピクチャヘッダを相互化することが可能になる。これはカプセル化モジュールが、新しいパラメータセットを書き込むとき、どのピクチャヘッダの中のサブピクチャ識別子にも基づく空間レイアウトを定義しないと仮定する。

ベーストラック７２５の例では、サンプルグループ７３０－１が少なくとも７（６つの空間トラックにピクチャヘッダのトラックを加えたもの）に等しい参照カウントを有する。サンプルグループ７３０－１の参照リストにおけるそれらの順序は、ピクチャヘッダのトラック（すなわち、この例ではトラック７１０）であり、最初に空間トラック７１５－１、７１５－２（図示せず）、７２０－１、７１５－３（図示せず）、７１５－４、最後に７２０－３が続き、空間トラック７２０－３は、ビットストリーム７００－２のピクチャの左下に位置する空間サブセットを含む。サンプルグループ７３０－２は、少なくとも９（８つの空間トラックにピクチャヘッダのトラックを加えたもの）に等しい参照カウントを有する。サンプルグループ７３０－２に記載された参照リスト内のそれらの順序は、ピクチャヘッダ（すなわち、この例ではトラック７１０）のトラックであり、最初に空間トラック７１５－１、７１５－２（図示せず）、７２０－１、７２０－２（図示せず）、７１５－３（図示せず）、７１５－４、７２０－３、最後に７２０－４が続き、空間トラック７２０－４は、ビットストリーム７００－２のピクチャの右下に位置する空間サブセットを含む。参照される空間トラックに対するこの特定の順序は、空間レイアウトを定義するベーストラック７２５の書き換えられたＳＰＳ７３１および７３２に従う（例えば、サブピクチャインデックスおよびオプションでサブピクチャ識別子）。特に、この例では、新しいＳＰＳ７３２がシーケンスの２番目の部分の空間レイアウトを更新する。

別の実施形態によれば、ピクチャヘッダに対応する非ＶＣＬ ＮＡＬＵは、ベーストラック７２５にサンプルとして直接格納される。次に、これらの非ＶＣＬ ＮＡＬユニットは、サンプルを再構成するときに参照されたトラックからの任意のＮＡＬＵの前に、最初のＮＡＬＵとして付加される。そのような場合、サンプルグループ７３０－１は少なくとも６（６空間トラック）に等しい参照カウントを有することができ、サンプルグループの参照リスト内の参照トラックの順序は、空間トラック７１５－１、７１５－２（図示せず）、７２０－１、７１５－３（図示せず）、７１５－４、および最後に７２０－３である。結果として得られるカプセル化されたファイルはパーサによって処理されると、ビットストリーム７３５につながり、復号された画像は復号されたピクチャ７４０および７４５によって示されるように、時間に沿って異なる。

図８は、オリジナルの順序とは異なる順序での再構成を可能にする再構成命令を提供するサンプルグループを使用する別の例を示す。

例示のために、８００で示されるカプセル化されるビットストリームは、「Ａ」、「Ｂ」、「Ｃ」、および「Ｄ」で示される４つの独立したサブピクチャを含む。ビットストリーム８００は、サブピクチャＡ、Ｂ、Ｃ、およびＤに基づいて、以下の空間レイアウトを宣言するＳＰＳによって符号化されていると仮定される。
－インデックス０を有し、８０５－１で参照され、（０、０）から始まり（ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ／２、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔ／２）で終わるサブピクチャＡ
－インデックス１を有し、８０５－２で参照され、（０、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔ／２）から始まり（ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ／２、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔ）で終わるサブピクチャＣ
－インデックス２を有し、８０５－３で参照され、（ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ／２、０）から始まり（ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔ／２）で終わるサブピクチャＢ
－インデックス３を有し、８０５－４で参照され、（ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ／２、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔ／２）から始まり（ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔ）で終わるサブピクチャＤ

ここで、ｗｉｄｔｈおよびｈｅｉｇｈｔは、ビットストリーム８００のピクチャの幅および高さを表す。

これらのサブピクチャに対応するビットストリームに期待される順序は、サブピクチャ０用のＮＡＬＵであり、サブピクチャ１用のＮＡＬＵが後に続き、次いでサブピクチャ２用のＮＡＬＵが後に続き、最後にサブピクチャ３用のＮＡＬＵが後に付く。これは、ＶＶＣ仕様がサブピクチャインデックスの機能としてサブピクチャを含むビットストリームにおけるＮＡＬＵ順序を定義するからである。

図示されるように、８１０で参照されるトラックは、メタデータ、特にパラメータセット（例えば、ＤＰＳ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＡＰＳ）を格納するために使用される。ビットストリーム８００のピクチャのサブピクチャの各々は、適切なサンプル記述（少なくとも、これらの空間トラックのサンプルが実際にビットストリーム８００からのサブサンプルであることを示すサンプルエントリタイプ）を用いて、それ自体の空間トラックにカプセル化される。所与の例によれば、サブピクチャは、それぞれ、空間トラック８１５－１～８１５－４にカプセル化される。

いくつかの実施形態によれば、カプセル化モジュールは、８２０および８２５で参照される、ベーストラックとも呼ばれる２つの表示可能なＶＶＣトラックを生成する。ベーストラック８２０は、初期ピクチャ順序に基づいて再構成を提供し、一方、ベーストラック８２５は、書き換えられたＳＰＳを有する別の再構成順序を提供する。実際に、この例によれば、カプセル化モジュールはＳＰＳを変更して、例えば、限定されたバッファリング（例えば、１つまたは限定された個数のＣＴＵ行）を用いて、低遅延復号のために、特定のデコーダ実装をターゲットにして、ラインベースの復号を可能にする。

トラック８１０内で利用可能であり、ベーストラック８２０によって使用される初期パラメータセットがＡ、Ｃ、Ｂ、およびＤの順序でサブピクチャを記述する間、ベーストラック８２５は、次のサブピクチャインデックスを有する新しいサブピクチャレイアウトを宣言する。
－インデックス０（８０５－１）を有し、（０，０）から始まり（ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ／２、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔ／２）で終わるサブピクチャＡ
－インデックス１（８０５－３）を有し、（ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ／２，０）から始まり（ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔ／２）で終わるサブピクチャＢ
－インデックス２（８０５－２）を有し、（０、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔ／２）から始まり（ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ／２、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔ）で終わるサブピクチャＣ
－インデックス３（８０５－４）を有し、（ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ／２、ｐｉｃｔｕｒｅ＿ｈｅｉｇｈｔ／２）から始まり（ｐｉｃｔｕｒｅ＿ｗｉｄｔｈ）で終わるサブピクチャＤ

カプセル化モジュールは、書き換えられたＳＰＳが与えられると、準拠ＮＡＬＵ順序を考慮して再構成命令を提供する。次に、動的暗黙的再構成のためのサンプルグループは、以下の順序：８０５－１、８０５－３、８０５－２、および８０５－４で４つのサブピクチャトラックを参照する。動的暗黙的再構成は、１つ以上のビットストリームの抽出、再構成、またはマージから生じる、オリジナルのものまたはビットストリームのいずれかでビットストリームに記載された空間レイアウトと一致するものとする。これはカプセル化モジュールによって処理されるため、表示可能なトラックが選択されると、解析があいまいにならない。

いくつかの実施形態では、動的トラック参照がメディアトラックを記述するメタデータトラックに適用される。例えば、メディアトラックは、注目オブジェクトが追跡されるビデオトラックであってもよい。関連するメタデータトラックは、トラック参照タイプ’ｃｄｓｃ’を介して、そのトラック参照ボックス内のビデオトラックに、追跡されたオブジェクトの注釈を提供することができる。これらの注釈はユーザによって入力されたテキストによる記述であってもよいし、画像解析モジュールによって生成されたテキストによる注釈であってもよい。ビデオ上に移動する複数の追跡対象オブジェクトが存在する可能性がある。トラック参照は、メタデータトラックをビデオトラックにトラックレベルで関連付けるが、動的トラック参照のサンプルグループは、’ｄｔｒｆ’のような特定のグループ化タイプで示され、この関連付けを絞り込むことができる。例えば、ビデオは、独立したサブピクチャのセットを有するＶＶＣビットストリームに符号化される。各サブピクチャは、ＶＶＣ空間トラックにカプセル化される。注釈はこれらのサブピクチャのいずれかにオブジェクトを記述する可能性があるため、メタデータトラックはデフォルトでこれらの空間トラックのそれぞれに関連付けられている。

動的トラック参照は、ビデオシーケンスに沿って、注釈が適用される１つ以上の特定のサブピクチャへの関連付けをリファインすることを可能にする。種類’ｄｔｒｆ’のサンプルグループは、’ｃｄｓｃ’に設定されているそのｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒを有し、メタデータトラックとファイル内の他のいくつかのトラックとの’ｃｄｓｃ’関係をリファインすることが示される。動的トラック参照のためのサンプルグループは、メタデータトラックのサンプルのグループによって記述されるトラックの数を示すサンプルのグループのための参照カウントを提供する。メタデータサンプルは、注釈のリストを提供することがある。サンプルグループ内のｒｅｆｅｒｅｎｃｅｓ［］パラメータは、どの注釈がどのトラックに適用されるか、我々の例ではＶＶＣ空間トラックを示す。所与の期間範囲に注目オブジェクトが検出されない場合、この時間範囲のサンプルを含む動的トラック参照のサンプルグループは、０に設定されたｒｅｆ＿ｃｏｕｎｔを有する。１つの注目オブジェクトが別の時間範囲の１つのサブピクチャ内に検出されると、このサンプルグループは１に設定されたｒｅｆ＿ｃｏｕｎｔを有し、ｒｅｆｅｒｅｎｃｅｓ［］パラメータは、’ｃｄｓｃ’に対応するトラック参照内のインデックスを、このサブピクチャをカプセル化するＶＶＳ空間トラックに提供する。別の時間範囲の場合、オブジェクトは別のサブピクチャに移動し、この別の時間範囲に対応する、同じ時間であるがサンプルの新しいグループを有する新しいサンプルグループは、このサブピクチャを記述するＶＶＣ空間トラックへの参照を提供する。コンテンツ記述トラック参照’ｃｄｓｃ’のこの拡張は、空間トラックだけでなく、他のメディアトラックに適用できることに留意されたい。

したがって、発明の一態様は、サーバ内の分割された時間付きメディアデータをカプセル化する方法であって、前記分割された時間付きメディアデータは複数の時間付きサンプルを含み、各時間付きサンプルは複数のサブサンプルを含み、前記時間付きサンプルは複数のグループにグループ化され、
複数の空間トラックを取得することと、各空間トラックは最初の時間付きサンプルの少なくとも１つのサブサンプルと、前記最初の時間付きサンプルとは異なる複数の時間付きサンプルの各時間付きサンプルの１つの対応するサブサンプルとを含み、前記対応するサブサンプルの各々は前記最初の時間付きサンプルの前記少なくとも１つのサブサンプルとそれ自体の時間付きサンプルの同じ空間位置に位置し、
前記空間トラックの少なくともいくつかを参照する追加トラックを作成することと、前記追加トラックは、空間トラック間のリンクに関連する情報の項目、例えば、これらの空間トラック内で符号化されたオブジェクト表現に関する項目を含み、
少なくとも１つのメディアファイル内の各トラックを独立してカプセル化することと
を含む方法を提供する。

上述の例は連続するサンプルのグループに関するが、本発明は反復サンプルパターン（例えば、２つのサンプル毎またはランダムサンプル毎）に対応するサンプルグループ、およびＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘおよびＩＳＯＢＭＦＦサンプルグループ化メカニズムによって記述することができる任意のサンプルグループ化にも適用されることに留意されたい。

図９は、本発明の１つ以上の実施形態の実施のためのコンピューティングデバイス９００の概略ブロック図である。コンピューティングデバイス９００は、マイクロコンピュータ、ワークステーション、またはライトポータブルデバイスなどのデバイスとすることができる。コンピューティングデバイス９００は、以下に接続された通信バス９０２を備える。
－マイクロプロセッサなどの中央処理ユニット（ＣＰＵ）９０４
－本発明の実施形態の方法の実行可能コード、ならびにデータを要求し、カプセル化解除し、および／または復号するための方法を実施するために必要な変数およびパラメータを記録するように適合されたレジスタ、を格納するためのランダムアクセスメモリ（ＲＡＭ）９０８で、そのメモリ容量は例えば、拡張ポートに接続されたオプションのＲＡＭによって拡張することができる
－本発明の実施形態を実施するためのコンピュータプログラムを格納するための読出し専用メモリ（ＲＯＭ）９０６
－ネットワークインターフェース９１２は、典型的には処理されるデジタルデータが送受信される通信ネットワーク９１４に接続される。ネットワークインターフェース９１２は単一のネットワークインターフェースであってもよいし、異なるネットワークインターフェースのセット（例えば、有線および無線インターフェース、または異なる種類の有線または無線インターフェース）から構成されてもよい。データは、送信のためにネットワークインターフェースに書き込まれるか、またはＣＰＵ９０４内で実行されているソフトウェアアプリケーションの制御の下で受信のためにネットワークインターフェースから読み出される
－ユーザからの入力を受け取るため、またはユーザに情報を表示するためのユーザインターフェース（ＵＩ）９１６
－ハードディスク（ＨＤ）９１０
－ビデオソースやディスプレイなどの外部デバイスとの間でデータを送受信するためのＩ／Ｏモジュール９１８

実行可能コードは、読み出し専用メモリ９０６、ハードディスク９１０、またはたとえばディスクなどのリムーバブルデジタル媒体のいずれかに格納することができる。変形によれば、プログラムの実行可能コードは、実行される前に、ハードディスク９１０などの通信デバイス９００の格納手段の１つに格納されるために、ネットワークインターフェース９１２を介して、通信ネットワークの手段によって受信することができる。

中央処理ユニット９０４は、前述の格納手段の１つに格納された本発明の実施形態によるプログラムまたは複数のプログラムのソフトウェアコードの命令または部分の実行を制御し、指示するように適合される。電源投入後、ＣＰＵ９０４は例えば、プログラムＲＯＭ９０６またはハードディスク（ＨＤ）９１０からそれらの命令がロードされた後に、ソフトウェアアプリケーションに関するメインＲＡＭメモリ９０８からの命令を実行することができる。このようなソフトウェアアプリケーションは、ＣＰＵ９０４によって実行されると、前の図に示したフローチャートのステップを実行させる。

この実施形態では、装置が本発明を実施するためにソフトウェアを使用するプログラマブル装置である。しかしながら、代替的に、本発明はハードウェア（例えば、特定用途向け集積回路またはＡＳＩＣの形態）で実施されてもよい。

以上、特定の実施形態を参照して本発明を説明したが、本発明は特定の実施形態に限定されるものではなく、本発明の範囲内にある修正は当業者には明らかであろう。

多くのさらなる修正および変形は単に例として与えられ、添付の特許請求の範囲によってのみ決定される本発明の範囲を限定することを意図しない、前述の例示的な実施形態を参照することにより、当業者に示唆されるのであろう。特に、様々な実施形態からの異なる特徴は、適宜、交換されてもよい。

特許請求の範囲において、単語「有する」は他の要素又はステップを排除するものではなく、不定冠詞「ａ」又は「ａｎ」は複数を排除するものではない。異なる特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組合せが有利に使用されることができないことを示すものではない。

Claims (16)

1. ファイル生成装置で実行される、分割されたビデオデータをカプセル化する方法であって、前記分割されたビデオデータは複数のサンプルを含み、各サンプルは複数のグループに対応する複数のサブピクチャまたはスライスまたはタイルを含み、
   複数の空間トラックを取得することと、各空間トラックは、第１サンプルの少なくとも１つのサブピクチャまたはスライスまたはタイルと、前記第１サンプルとは異なる複数のサンプルの各々の少なくとも１つの対応するサブピクチャまたはスライスまたはタイルと、を含み、該複数のサンプルの各々の少なくとも１つの対応するサブピクチャまたはスライスまたはタイルは前記第１サンプルの前記少なくとも１つのサブピクチャまたはスライスまたはタイルと同じ空間位置に位置し、
   前記複数の空間トラックの少なくともいくつかを参照するベーストラックを作成することと、前記ベーストラックは、該ベーストラックのメタデータ部分に複数の再構成命令を含み、前記複数の再構成命令の各々は、前記複数のグループの少なくともいくつかに関連付けられ、同じグループに属する空間トラックのサブピクチャまたはスライスまたはタイルからビットストリームの部分を生成することを可能にし、
   前記複数の空間トラックの各々をカプセル化した少なくとも１つのメディアファイルを生成することと、
   を含む方法。
2. 前記複数の再構成命令の各々は、前記複数の空間トラックへの参照の順序が付与されたリストを含む、請求項１に記載の方法。
3. 前記複数の空間トラックを生成することをさらに含む、請求項１または２に記載の方法。
4. 前記複数の空間トラックを生成することは、
   前記複数のサンプルのうちの１つのサンプルの複数のサブピクチャまたはスライスまたはタイルの中から少なくとも１つのサブピクチャまたはスライスまたはタイルを選択することと、
   前記選択されたサブピクチャまたはスライスまたはタイルごとに、前記選択されたサブピクチャまたはスライスまたはタイルを含む１つの空間トラックと、前記選択されたサブピクチャまたはスライスまたはタイルと同じ空間位置に位置する対応するサブピクチャまたはスライスまたはタイルと、を生成することと
   を含む、請求項３に記載の方法。
5. 前記サンプル内のサブピクチャまたはスライスまたはタイルのレイアウトを決定することをさらに含む、請求項３または請求項４に記載の方法。
6. カプセル化レイアウトを決定することをさらに含み、前記複数の空間トラックは、前記カプセル化レイアウトの機能によって生成される、請求項３ないし５のいずれか１項に記載の方法。
7. クライアント装置で実行される、カプセル化されたビデオデータからビットストリームを生成するための方法であって、前記ビデオデータは複数のサンプルを含み、各サンプルは複数のグループに対応する複数のサブピクチャまたはスライスまたはタイルを含み、
   少なくとも１つのベーストラックと複数の空間トラックとを含む少なくとも１つのメディアファイルを取得することと、
   各空間トラックは、第１サンプルの少なくとも１つのサブピクチャまたはスライスまたはタイルと、前記第１サンプルとは異なる複数のサンプルの各々の少なくとも１つの対応するサブピクチャまたはスライスまたはタイルとを含み、該複数のサンプルの各々の少なくとも１つの対応するサブピクチャまたはスライスまたはタイルは前記第１サンプルの前記少なくとも１つのサブピクチャまたはスライスまたはタイルと同じ空間位置に位置し、
   前記ベーストラックは、前記複数の空間トラックの少なくともいくつかを参照し、該ベーストラックのメタデータ部分に複数の再構成命令を含み、前記複数の再構成命令の各々は、前記複数のグループの少なくともいくつかに関連付けられており、同じグループに属する空間トラックのサブピクチャまたはスライスまたはタイルからビットストリームの部分を生成することを可能にし、
   前記複数のグループの各々について、関連付けられている複数の再構成命令に従ってビットストリームの部分を生成することと、
   を含む、方法。
8. 前記複数の空間トラックからメディアデータを取得し、前記複数の再構成命令によって定義される順序に従って前記取得されたメディアデータを連結することをさらに含む、請求項７に記載の方法。
9. メタデータを取得し、前記取得したメタデータを前記メディアデータと連結することをさらに含む、請求項８に記載の方法。
10. 前記メタデータは、前記ベーストラックまたは追加のトラックから取得される、請求項９に記載の方法。
11. 前記複数の再構成命令は、前記複数の空間トラックへの参照の順序が付与されたリストを含む、請求項１ないし１０のいずれか１項に記載の方法。
12. 前記複数のグループの少なくともいくつかに関連付けられている再構成命令は、別のグループに関連付けられている再構成命令を修正することを可能にする、請求項１ないし１１のいずれか１項に記載の方法。
13. ビットストリームの前記部分は、ＭＰＥＧ多用途ビデオ符号化規格に準拠する、請求項１ないし１２のいずれか１項に記載の方法。
14. プログラマブル装置のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、前記プログラマブル装置にロードされ、前記プログラマブル装置によって実行されるときに、請求項１ないし１３のいずれか１項に記載の方法のステップのそれぞれを実施するための一連の命令を含む、コンピュータプログラム製品。
15. 請求項１ないし１３のいずれか１項に記載の前記方法のステップの各々を実施するためのコンピュータプログラムの命令を格納する非一時的なコンピュータ可読記憶媒体。
16. 分割されたビデオデータをカプセル化するか、またはカプセル化されたビデオデータからビットストリームを生成するデバイスであって、前記デバイスは、請求項１ないし１３のいずれか１項に記載の前記方法の各ステップを実行するように構成された処理ユニットを備える、デバイス。

Images