JP2014030187A - メディアファイル生成方法、メディアファイル生成プログラム - Google Patents

Abstract

【課題】 動画の各ピクチャから特定のタイルを抽出して表示・再生する際にもピクチャ全体もしくはスライス全体を復号する必要があるため、復号の処理時間が長く、消費電力も大きい。
【解決手段】 タイルの復号に必要な符号化データまでのオフセットをスライスインデックスＢｏｘもしくはタイル内スライス数Ｂｏｘとして格納可能なメディアファイルフォーマットを用いてメディアファイルを生成する。
【選択図】 図１

Description

本願発明はメディアファイル生成方法、メディアファイル生成プログラムに関し、特に各ピクチャが矩形状のタイルに分割されて符号化された符号化データを格納するメディアファイルのフォーマットに関する。

現在デジタル技術の進展によりデジタルカメラ・デジタルビデオカメラにおける高解像度でのデジタル動画撮影が広く普及している。デジタル動画はフラッシュメモリに代表される記録媒体に効率良く記録するため一般に圧縮（符号化）されており、動画の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）が広く使用されている。

近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始されて、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。ＪＣＴ−ＶＣでは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式（以下、ＨＥＶＣ）の標準化が進められている。

ＨＥＶＣの標準化にあたっては、種々の符号化ツールが、符号化効率向上のみならず実装の容易性や処理時間の短縮といった観点も含めて幅広く検討されている。その中には、符号化・復号の並列処理、エラー耐性を高める等の目的のため１枚のピクチャを符号化順に水平方向に分割するスライス分割と呼ばれる手法、１枚のピクチャを矩形領域に分割するタイル分割と呼ばれる手法等がある（非特許文献１を参照）。スライスやタイルを用いることによって、符号化・復号の並列処理による高速化を実現すると共に、符号化プログラム・復号プログラムが必要とするメモリ容量を削減することが可能となっている。ＨＥＶＣにおいては、このスライス分割及びタイル分割を併用することも可能である。

また、このタイル分割を利用して、符号化ストリームの連続するピクチャから一部のタイルのみを独立して復号可能にするＭＣＴＳ（Ｍｏｔｉｏｎ Ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ Ｓｅｔｓ）と呼ばれる手法がある（非特許文献４）。ＭＣＴＳ ＳＥＩメッセージが符号化ストリームに含まれていると、当該ビデオ・シーケンスにおいては以下の制約により符号化されていなければならない。
・ビデオ・シーケンス内の全てのピクチャが同じタイル分割を使用して符号化する。
・ＭＣＴＳの符号化においては当該タイルセット外の参照画素を必要とする動きベクトルを使用して符号化しない。

符号化ストリームの復号において、このＭＣＴＳ ＳＥＩメッセージが符号化ストリームに含まれている場合、連続するピクチャからＭＣＴＳとして指定されたタイルセットのみを抽出して部分動画として高速に復号・再生することができる。ＭＣＴＳを用いることで、例えばユーザの注目領域のみを高速に復号するＲＯＩ（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を実現することができる。

一方、Ｈ．２６４の動画データを格納するメディアファイルフォーマットとして、ＡＶＣファイルフォーマット（非特許文献２を参照）が広く使用されている。ＨＥＶＣについてもＡＶＣファイルフォーマットと同等のメディアファイルフォーマットが使用されることが見込まれている。

ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｉ１００３＿ｄ４．ｄｏｃ インターネット＜ ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／９＿Ｇｅｎｅｖａ／ｗｇ１１／ ＞ ＩＳＯ／ＩＥＣ １４４９６−１５ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ） ｆｉｌｅ ｆｏｒｍａｔ ＩＳＯ／ＩＥＣ １４４９６−１２ ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｍ０２３５−ｖ３．ｄｏｃ インターネット＜ ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／ ＞

水平４０９６画素×垂直２０４８画素（以下、４０９６×２０４８画素と表記する）のように解像度が大きい１枚以上のピクチャ群から構成される動画を、小さい解像度の端末で再生する際には、一部の領域のみを抽出し、再生できることが望ましい。例えば、ピクチャ中に何人もいるシーンにおいて、ある特定の人物の顔を拡大して表示するユースケースである。このようなユースケースにおいて、動画中のピクチャ全体を復号してから一部の領域を抽出して表示する際には、復号時間（表示までの遅延時間）が長く消費電力も大きい。よって、一部の領域を抽出して再生する場合には、各ピクチャをタイル分割して符号化し、再生時には特定のタイルのみ復号して再生できることが、表示までの遅延時間及び消費電力の観点から望ましい。

非特許文献２記載のＡＶＣファイルフォーマットにおいては、各ピクチャ符号化データ（非特許文献２ではサンプルデータ）はスライスの符号化データを単位として格納するファイルフォーマットである。各スライスの符号化データにＮＡＬヘッダと呼ばれる１バイトのデータを付加することでＮＡＬユニットデータとする。ＮＡＬとはネットワーク抽象化レイヤの略であり、非特許文献１中７．４．１節に詳細が記載されているため説明は省略する。各ＮＡＬユニットデータの前には各ＮＡＬユニットデータが何バイトのデータであるかのＮＡＬユニットデータ長が付加される。よって、ＡＶＣファイルフォーマットに則って生成されたメディアファイルを再生するプログラムは、各スライスを復号することなく、ピクチャ内の任意のスライスの符号化データに、符号化データを復号することなくアクセスすることが可能である。

ＨＥＶＣにおいて、１スライス内に複数タイルが含まれるスライス分割及びタイル分割で符号化されている場合、タイルの復号に必要な符号化パラメータは、各タイルが属するスライスのスライスヘッダに含まれている。よって、スライス内の一部のタイルのみ復号する場合にも、当該スライスのスライスヘッダを復号する必要がある。

ＨＥＶＣにおいて、タイルの水平・垂直画素数は非特許文献１中７．４．２．３節記載のピクチャ・パラメータ・セット（以下、ＰＰＳと表記する）内の符号化パラメータから算出することが可能である。例えば、垂直タイル数から１を引いた数を示すパラメータ（ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１）、水平タイル数から１を引いた数を示すパラメータ（ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１）及び非特許文献１に記載のシーケンス・パラメータ・セット（以下、ＳＰＳと表記する）内のピクチャの水平・垂直画素数から、各タイルの水平・垂直画素数を算出することが可能である。

しかしながら、各スライスの水平・垂直画素数は前記ＳＰＳやＰＰＳには含まれておらず、当該スライスを復号することでのみ、各スライスの水平・垂直画素数を得ることが可能である。

すなわち、ピクチャ内の特定のタイルを抽出して復号する際に、スライスを復号せずに対象とするタイルが何番目のスライスに含まれているかを知ることはできない。よってピクチャ全体を復号する必要があり、復号時間の長時間化及び消費電力の増大を招くという課題があった。

また、ＨＥＶＣにおいては１タイル内に複数スライスが含まれるスライス分割及びタイル分割でも各ピクチャを符号化することも可能である。しかしながら、前記同様にスライスを復号せずに各タイルを復号するために何番目のスライスを復号すればよいかは知ることができない。よって同様にピクチャ全体を復号する必要があり、復号時間の長時間化及び消費電力の増大を招くという課題があった。

本願発明は上記課題を鑑みて提案されたものであり、ピクチャ内の特定のタイルを抽出して復号し、表示する際の処理の高速化及び省電力化、さらにはメモリ使用量を削減することを目的とする。

上述の問題点を解決するため、本願発明のメディアファイル生成方法は以下の構成を有する。すなわち、１枚以上のピクチャから構成されるピクチャ群の各ピクチャが、ピクチャ内で符号化順に分割した２つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成方法であって、前記スライスは２つ以上の矩形状のタイルに分割されて符号化されており、前記メディアファイルフォーマットは各タイルが属するスライスが、ピクチャ内の何番目のスライスかを示すスライスインデックスＢｏｘを含む。

更に、本願発明のメディアファイル生成方法は以下の構成を有する。すなわち、１枚以上のピクチャから構成されるピクチャ群の各ピクチャが、ピクチャ内で符号化順に分割した２つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成方法であって、前記スライスは２つ以上の矩形状のタイルに分割されて符号化されており、前記メディアファイルフォーマットは各スライス内の先頭のタイルが、ピクチャ内の何番目のタイルかを示すタイルインデックスＢｏｘを含む。

更に、本願発明のメディアファイル生成方法は以下の構成を有する。すなわち、１枚以上のピクチャから構成されるピクチャ群の各ピクチャが、ピクチャ内で符号化順に分割した２つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成方法であって、前記スライスは２つ以上の矩形状のタイルに分割されて符号化されており、前記メディアファイルフォーマットはピクチャの符号化データの先頭から各タイルの符号化データへのオフセットをバイト数で示したタイルオフセットＢｏｘを含む。

本願発明に係るメディアファイルフォーマットによれば、復号対象タイルを含まないスライスの符号化データを復号することなく、タイルの符号化データにアクセスすることが可能である。よって、特定のタイルのみ復号して表示・再生する場合に、復号時間短縮及び省電力化を実現することができる。またピクチャ全体の復号に必要なメモリを使用する必要が無いため、メモリ使用量を削減することが可能になる。

実施形態１のメディアファイルフォーマットを示す図 実施形態１のタイル分割及びスライス分割の例を示す図 実施形態１のスライスインデックスＢｏｘを示す図 実施形態１の各スライスを符号化処理のフローチャートを示す図 実施形態１のメディアファイルの生成処理のフローチャートを示す図 実施形態１のメディアファイルから特定のタイルのみを抽出して再生するユースケースを示す図 実施形態１のメディアファイルから特定のタイルのみを抽出して再生する処理のフローチャートを示す図 実施形態２のメディアファイルフォーマットを示す図 実施形態２のタイルインデックスＢｏｘを示す図 実施形態３のメディアファイルフォーマットを示す図 実施形態３のタイルオフセットＢｏｘを示す図 実施形態４のメディアファイルフォーマットを示す図 実施形態４のタイル分割及びスライス分割の例を示す図 実施形態４のタイル内スライス数Ｂｏｘを示す図 実施形態４の各スライスを符号化するフローチャートを示す図 実施形態４のメディアファイルの生成処理のフローチャートを示す図 実施形態４のメディアファイルから特定のタイルのみを抽出して再生する処理のフローチャートを示す図 実施形態５のメディアファイルフォーマットを示す図 実施形態５のタイルオフセットＢｏｘを示す図 本発明のメディアファイル生成方法に適用可能なコンピュータのハードウェアの構成例を示すブロック図 実施形態６のＭＣＴＳとして符号化するタイルセットを示す図 実施形態６のメディアファイルフォーマットを示す図 実施形態６のＭＣＴＳスライスインデックスＢｏｘを示す図 実施形態６のメディアファイルから特定のタイルのみを抽出して再生する処理のフローチャートを示す図 実施形態７のＭＣＴＳスライスインデックスＢｏｘを示す図 実施形態８のメディアファイルフォーマットを示す図 実施形態８のＲＯＩタイルセットＢｏｘを示す図 実施形態９のメディアファイルフォーマットを示す図 実施形態９のＲＯＩタイルインデックスＢｏｘを示す図 実施形態１０の各タイルセットの有効サンプルを示す図 実施形態１０のメディアファイルフォーマットを示す図 実施形態１０のＲＯＩ有効サンプルＢｏｘを示す図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本願発明は図示された構成に限定されるものではない。

＜実施形態１＞
本願発明の実施形態１における符号化データを格納するメディアファイルのフォーマットを図１に示す。本実施形態は１スライスに複数の矩形状のタイルが含まれるスライス分割及びタイル分割で符号化が行われる場合に適用することが可能な実施形態である。

図１に示されるように、本実施形態におけるメディアファイルフォーマットはＡＶＣファイルフォーマットと同様にファイルタイプＢｏｘ１００、ムービーＢｏｘ１０１、メディアデータＢｏｘ１１０から構成される。このＢｏｘとは各種データの種類を示す識別子及びデータサイズを付加して、データを格納するデータタイプである。詳細は非特許文献３中の６．２節に記載されているので、さらなる説明は省略する。

ファイルタイプＢｏｘ１００（図１においてはｆｔｙｐと表記）は、メディアファイルが準拠しているフォーマットを示す情報である。ＨＥＶＣ符号化データ向けのファイルフォーマットに準拠していれば識別子として、例えばｈｖｃ１、ｈｅｖ１もしくはｈｖｃＣ等の文字列がファイルタイプＢｏｘ１００に格納される。

メディアデータＢｏｘ１１０はピクチャや音声の符号化データそのものを格納しており、非特許文献２中の５．３．４．２節に示すように、ピクチャ群の符号化データは、１ピクチャに相当するサンプルデータ１１１という単位で分割されて格納されている。サンプルデータ１１１内部には前述のように各スライスに相当する符号化データがＮＡＬユニットデータ１１３として、ＮＡＬユニットのデータ長１１２とセットで格納される。

ムービーＢｏｘ１０１（図１においてはｍｏｏｖと表記）は、メディアデータＢｏｘ１１０を復号や表示等を行うための情報を格納するＢｏｘであり、サンプルテーブルＢｏｘ１０２（図１においてはｓｔｂｌと表記）等を格納することが可能である。通常ムービーＢｏｘ１０１とサンプルテーブルＢｏｘ１０２の間には複数のＢｏｘが階層的に位置しているが、本願発明との関連が少なく、かつ詳細が非特許文献３中の６．２．３節に記載されているため、中間階層のＢｏｘについての説明は省略する。

サンプルテーブルＢｏｘ１０２の中にはサンプルサイズＢｏｘ１０３、ＨＥＶＣコンフィグレーションＢｏｘ１０４、スライスインデックスＢｏｘ１０５が格納される。通常他に多くのＢｏｘデータが格納されるが、本願発明との関連が少ないため図１に図示しておらず、記述も省略する。サンプルサイズＢｏｘ１０３（図１においてはｓｔｓｚと表記）にはメディアデータＢｏｘ１１０内の各サンプルデータ１１１のデータ長が動画中の全サンプル分含まれている。ＨＥＶＣコンフィグレーションＢｏｘ１０４（図１においてはｈｖｃＣと表記）にはメディアデータＢｏｘ１１０内の各サンプルデータ１１１を復号するための、前記ＳＰＳ、ＰＰＳに相当するヘッダ情報が含まれている。スライスインデックスＢｏｘ１０５（図１においてはｓｉｄｘと表記）については後述する。

本ファイルフォーマットによれば、前記サンプルサイズＢｏｘ１０３等を使用して各サンプルデータ１１１へ高速にアクセスすることができ、早送り等や逆再生等の特殊再生を容易に実現することが可能となっている。

なお、ファイルタイプＢｏｘ１００、ムービーＢｏｘ１０１、メディアデータＢｏｘ１１０の格納順序は図１の構成に限定されない。例えばファイルタイプＢｏｘ１００、メディアデータＢｏｘ１１０、ムービーＢｏｘ１０１の順に、メディアファイルに格納することも可能である。

図２に、本実施形態において動画中の各ピクチャの符号化に使用するスライス分割及びタイル分割を示す。図示されるように、４０９６×２０４８画素の各ピクチャは、４つの４０９６×５１２画素分のスライスに分割されている。符号化時には各スライス内の全画素の符号化が完了後、スライス終端フラグを１として符号化することにより、スライスの終了であること示す。このスライス終端フラグとは非特許文献１中の７．４．４節に記載されている、ＨＥＶＣにおけるｅｎｄ＿ｏｆ＿ｓｌｉｃｅ＿ｆｌａｇである。

復号時には復号したスライス終端フラグが１になっていることにより、メディア再生処理中の復号処理はスライス境界を検出することが可能である。

図２において、各スライスは内部で４つのタイルに分割されており、各タイルは１０２４×５１２画素に相当する。ＨＥＶＣにおいて、符号化処理は前記ＰＰＳ中の符号化パラメータを、例えば下記の通り設定することにより各タイルの大きさを図２のように設定することが可能である。なお、下記はＨＥＶＣにおいてコーディングツリーブロックと呼ばれる符号化単位が、６４×６４画素であることを仮定している。

・ｔｉｌｅｓ＿ｏｒ＿ｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｉｄｃ＝１
（ピクチャがタイル分割されているか否か、及び複数のコーディングツリーブロック行を並列処理するか否かを示す符号化パラメータである。１を設定することによりタイル分割を用いることを示す。）
・ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１＝３
（ピクチャ内の（水平方向タイル分割数−１）を示す符号化パラメータである。３を設定することにより、ピクチャが水平方向に４タイルに分割されていることを示す。）
・ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１＝３
（ピクチャ内の（垂直方向タイル分割数−１）を示す符号化パラメータである。３を設定することにより、ピクチャが垂直方向に４タイルに分割されていることを示す。）
・ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ＝０
（ピクチャ内で各タイルの水平・垂直画素数を明示的に与えるか否かを示す。本符号化パラメータとして０が設定された場合には、前記ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１、ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１で与えられた水平・垂直タイル分割数に応じてピクチャ内で各タイルを均一に分割する。一方、本符号化パラメータとして１が設定された場合には各タイルの水平・垂直画素数が下記ｃｏｌｕｍｎ＿ｗｉｄｔｈ［ｉ］、ｒｏｗ＿ｈｅｉｇｈｔ［ｉ］により明示的に与えられることを示す。なお、本符号化パラメータとして１が設定された場合にもピクチャ内で各タイルを均一に分割することも可能である。）
・ｃｏｌｕｍｎ＿ｗｉｄｔｈ［ｉ］＝１６（ｉ＝０，１，２，３）
（各タイルの水平画素数をコーディングツリーブロックの水平画素数に基づいて示す符号化パラメータである。）
・ｒｏｗ＿ｈｅｉｇｈｔ［ｉ］＝８（ｉ＝０，１，２，３）
（各タイルの垂直画素数をコーディングツリーブロックの垂直画素数に基づいて示す符号化パラメータである。）
また上記パラメータ設定以外にも、ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ＝１としてピクチャ内で各タイルを均一に分割することにより、図２のタイル分割を指定することが可能である。復号処理はＰＰＳに含まれる上記符号化パラメータを解析することによって、各タイルの大きさを得ることが可能である。

本実施形態においては、上記タイルとスライスの対応関係を示すために、各タイルの符号化データがピクチャ中の何番目のスライスの符号化データ（ＮＡＬユニットデータ）に属しているかを示すために、図１のスライスインデックスＢｏｘ１０５を使用する。

図３（ａ）に本実施形態におけるスライスインデックスＢｏｘ１０５の内部フォーマットを示す。スライスインデックスＢｏｘ１０５先頭にはＢｏｘ全体のデータ長をバイト単位で示すＢｏｘサイズが４バイトで挿入される。本実施形態のスライスインデックスＢｏｘ１０５において、Ｂｏｘ全体のデータ長は、（４バイト＋４バイト＋２バイト＋エントリ数×２バイト）により与えられる。

Ｂｏｘサイズに続いて、Ｂｏｘ種類を示す識別子が４バイトで挿入される。本実施形態のスライスインデックスＢｏｘ１０５においては、識別子として“ｓｉｄｘ”（Ｓｌｉｃｅ Ｉｎｄｅｘ）の文字列を使用する。

Ｂｏｘ種類に続いて、データ本体がいくつ格納されているかを示す、エントリ数が２バイトで挿入される。本実施形態のスライスインデックスＢｏｘ１０５において、エントリ数は（ピクチャ内のタイル数−１）に等しい。エントリ数に続いてスライスインデックスＢｏｘ１０５のデータ本体である各タイルのスライスインデックスが各２バイトで、エントリ数分だけ挿入される。

このスライスインデックスは、ピクチャ中の各タイルが何番目のスライスに属しているか示す情報であり、このスライスインデックスを用いることにより特定のタイルの符号化データに高速にアクセスすることが可能である。スライスインデックスは、タイルの符号化順番（左上→右上→左下→右下）と同じ順番で格納される。

符号化順で１番目のタイル（タイル１）は、ピクチャ内の符号化順で１番目のスライス（スライス１）に含まれることが自明であるため、スライスインデックスは挿入されない。２番目以降のタイルについて、各タイルがスライス２に含まれるならばスライスインデックスとして１が、スライス３に含まれるならば２がスライスインデックスとして格納される。ピクチャ内のスライス数がＮ個の場合には、スライスインデックスの内容として０〜（Ｎ−１）のいずれかが使用される。

図３（ｂ）に、図２のスライス分割及びタイル分割タイルに対応するスライスインデックスＢｏｘ１０５の内容を示す。図２においてタイル数は１６であるため、エントリ数は１５、データサイズは ４＋４＋２＋２×１５＝４０バイトである。

エントリ数に続いて、タイル２からタイル１６の各タイルのスライスインデックスが挿入される。図２に図示されるように、タイル２からタイル４はスライス１に含まれるため、タイル２からタイル４までのスライスインデックスとして０が格納される。また、タイル１３からタイル１６はスライス４に含まれるため、対応するスライスインデックスとして３が格納される。

上記スライスインデックスＢｏｘ１０５は、前記サンプルテーブルＢｏｘ１０２中に格納されることを基本とするが、本願発明はこれに限定されない。ムービーＢｏｘ１０１中のいずれのＢｏｘに格納されることも可能である。

図２の例のように、１スライスの中に複数タイルが含まれるスライス分割及びタイル分割を用いて符号化を行い、図１に示した本実施形態のメディアファイルを生成する手順を、図４及び図５のフローチャートを用いて示す。

図４は、ピクチャ中の各スライスを符号化する手順を示したフローチャートである。ステップＳ４０１において、スライスの符号化で使用する符号化パラメータを外部（ユーザー）から設定する。なお、スライス分割及びタイル分割を決定するパラメータは後述する図５のステップＳ５０２で与えられ、本ステップで与えられる符号化パラメータはスライス分割及びタイル分割に影響を与えない。

ステップＳ４０２において、スライス内の前記コーディングツリーブロックの符号化処理を行う。このコーディングツリーブロックとは、ＨＥＶＣでは６４×６４画素〜１６×１６画素の間で大きさが可変の画素ブロックである。各コーディングツリーブロックの符号化処理順序はスライス分割及びタイル分割に依存するが、非特許文献１中の６．５．１節に記載されているので説明は省略する。

また、本願発明において各コーディングツリーブロックの符号化は特定の符号化アルゴリズムに依存せず、既存のいかなる符号化アルゴリズムも使用することが可能であるため説明を省略する。ステップＳ４０３において、各コーディングツリーブロックの符号化完了時に、１タイルの符号化処理が完了したか否かを判断する。１タイルの符号化が完了していればステップＳ４０４に進み、完了していなければステップＳ４０７に進む。

ステップＳ４０４において、１タイルの符号化の完了を受け、スライスインデックスＢｏｘ１０５生成に必要なスライスインデックスを生成する。本実施形態においては、符号化したタイルが何番目のスライスに属しているかの情報から、このスライスインデックスを算出する。ステップＳ４０４においてはまた、各タイルを符号化した結果、何バイトの符号化データになったかの符号化データ長を算出する。

ステップＳ４０５において、１スライスの符号化処理が完了したか否かを判断する。１スライスの符号化が完了していればステップＳ４０６に進み、完了していなければステップＳ４０７に進む。ステップＳ４０６において、１スライスの符号化が完了したことを示すスライス終端フラグとして１を符号化し、ステップＳ４０８に進む。ステップＳ４０７において、スライスの符号化が完了していないことからスライス終端フラグとして０を符号化し、後続のコーディングツリーブロックを符号化すべくステップＳ４０２に戻る。

ステップＳ４０８において、ステップＳ４０４で算出した各タイルの符号化データ長から、ＨＥＶＣのスライスヘッダに含まれる符号化パラメータであるエントリポイントオフセット（ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ）を算出する。非特許文献１記載のように、１番目のエントリポイントオフセットはスライスヘッダ直後から、２番目のタイルの符号化データ先頭までのオフセットを示す。２番目のエントリポイントオフセットは２番目のタイルの符号化データ先頭から３番目のタイルの符号化データ先頭までのオフセットのようにエントリポイントオフセットを使用して各タイルの符号化データへアクセスできる。このエントリポイントオフセットと、ステップＳ４０１で設定されたスライスの符号化で使用した符号化パラメータとから、ステップＳ４０８においてスライスヘッダを生成及び符号化し、１スライスの符号化データ生成を完了する。

図５は本実施形態のメディアファイルを生成するメディアファイル生成の手順を示したフローチャートである。

ステップＳ５０１において、画像サイズや色差フォーマット等の基本的なパラメータが外部（ユーザー）より設定され、対応する符号化パラメータセットであるＳＰＳが生成される。生成されたＳＰＳはＮＡＬヘッダが付加され、ＮＡＬユニットデータ化される。

ステップＳ５０２において、各ピクチャをどのようにスライス分割及びタイル分割するかが外部（ユーザー）から設定され、量子化パラメータ等と共に、対応する符号化パラメータセットであるＰＰＳを生成する。生成されたＰＰＳはＮＡＬヘッダが付加され、ＮＡＬユニットデータ化される。なお、２ピクチャ目以降において、スライス分割及びタイル分割が前のピクチャと同じ場合には、本ステップにおけるスライス分割及びタイル分割の設定はスキップされる。

ステップＳ５０３において、図４のフローチャートで示した各スライスの符号化を行う。ステップＳ５０４において、ステップＳ５０３で生成されたスライスの符号化データにＮＡＬヘッダを付加してＮＡＬユニットデータ化される。また、図４のステップＳ４０４で算出した各タイル符号化データのデータ長及びスライスヘッダのデータ長を加算し、さらにＮＡＬヘッダ分の１バイトを加算することで、ＮＡＬユニットデータの符号データ長（バイト数）を算出する。

ステップＳ５０５において、１ピクチャの符号化が完了したか否かを判断する。１ピクチャの符号化が完了していればステップＳ５０６に進み、完了していなければ後続のスライスを符号化すべくステップＳ５０３に戻る。ステップＳ５０６において、スライス符号化データを格納するＮＡＬユニットデータおよびそのデータ長を、１ピクチャ分多重化して１サンプルデータ１１１として生成する。ステップＳ５０７において、図４のステップＳ４０４で生成したスライスインデックスを集め、図３に示したスライスインデックスＢｏｘ１０５を生成する。

動画１シーケンス中の全ピクチャにおいて、図２のスライス分割及びタイル分割が使用される場合にはスライスインデックスＢｏｘ１０５は１シーケンスに１つのみ存在するため、２ピクチャ目以降の処理においては、本ステップはスキップされる。一方、１シーケンスの途中のピクチャにおいて図２と異なるスライス分割及びタイル分割に変更することも可能である。その場合には、スライス分割及びタイル分割が変更されるピクチャのステップＳ５０７において、スライスインデックスＢｏｘ１０５を追加で挿入してもよいし、既存のスライスインデックスＢｏｘ１０５にエントリを追加してもよい。

ステップＳ５０８において、符号化対象となる全てのピクチャの符号化が完了したか否かを判断する。全ピクチャの符号化が完了していればステップＳ５０９に進み、完了していなければ後続のピクチャを符号化すべくステップＳ５０２に戻る。

ステップＳ５０９において、ステップＳ５０１及びステップＳ５０２で生成された符号化パラメータセットであるＳＰＳ、ＰＰＳのＮＡＬユニットデータをＨＥＶＣコンフィギュレーションＢｏｘ１０４に格納する。ＨＥＶＣコンフィグレーションＢｏｘ１０４へのＳＰＳ、ＰＰＳ格納については、非特許文献２中の５．２．４．１節に記載されている、ＡＶＣコンフィグレーションＢｏｘへのＳＰＳ、ＰＰＳ格納と同じ内容で実現可能であるため、説明は省略する。

ステップＳ５１０において、ステップＳ５０６で生成されたサンプルデータ１１１のデータ長からサンプルサイズＢｏｘ１０３を生成する。生成されたサンプルサイズＢｏｘ１０３、ステップＳ５０７で生成されたスライスインデックスＢｏｘ１０５及びステップＳ５０９で生成したＨＥＶＣコンフィグレーションＢｏｘ１０４を多重化してサンプルテーブルＢｏｘ１０２を生成する。ステップＳ５１１において、ファイルタイプＢｏｘ１００、サンプルテーブルＢｏｘ１０２を含むムービーＢｏｘ１０１、及びサンプルデータ１１１を格納したメディアデータＢｏｘ１１０をメディアファイルに多重化し、メディアファイル生成を完了する。

本実施形態におけるメディアファイルの再生ユースケースのイメージを図６に示す。図６は、図２のスライス分割及びタイル分割を用いて符号化された符号化データから、タイル１０、１１、１４、１５のみを抽出して表示・再生するユースケースを示している。本実施形態のメディアファイルフォーマットに則って生成されたメディアファイルから、図６のように特定のタイルのみを抽出して復号し、部分再生するメディアファイル再生の手順を、図７のフローチャートを用いて示す。

ステップＳ７０１において、読み込んだメディアファイル中、サンプルテーブルＢｏｘ１０２に格納されているＨＥＶＣコンフィグレーションＢｏｘ１０４を解析し、ＳＰＳ及びＰＰＳを抽出する。

ステップＳ７０２において、外部（ユーザー）から復号対象タイル（表示すべきタイル）を復号タイル情報として設定する。この復号対象タイルは、動画に付属するサムネイル等に従ってユーザが任意のタイルを選択することが可能である。

ステップＳ７０３において、サンプルテーブルＢｏｘ１０２に格納されている、スライスインデックスＢｏｘ１０５を解析する。スライスインデックスＢｏｘ１０５中のスライスインデックスと、ステップＳ７０２で設定された復号タイル情報とを照らし合わせることにより、復号するスライスを算出する。例えば、図６のようにタイル１０、１１、１４，１５が復号タイル情報として設定されると、図３（ｂ）に示すスライスインデックスにより、復号するスライスはスライス３及びスライス４である。

ステップＳ７０４において、復号対象ピクチャの符号化データが含まれているサンプルデータ１１１から、ステップＳ７０３において算出された復号するスライスが含まれているＮＡＬユニットデータを読み込む。なお、動画シーケンスの先頭から通常再生をする場合にはサンプルサイズＢＯＸ１０３の解析は不要であるが、動画シーケンスの途中から再生する場合はサンプルサイズＢＯＸ１０３を解析し、復号対象ピクチャのサンプルデータ１１１を読み込む。

復号するスライスには、サンプルデータ１１１中の各ＮＡＬユニットデータの前に付加されているＮＡＬユニットのデータ長を用いることにより、高速にアクセスすることが可能である。例えば、スライス３が含まれるＮＡＬユニットデータにアクセスする場合、まずスライス１のＮＡＬユニットデータの前に付加されている符号データ長に基づいてスライス１をスキップする。同様にスライス２が含まれるＮＡＬユニットデータをスキップすることにより、スライス３の符号データが含まれるＮＡＬユニットデータの先頭に高速にアクセスすることが可能である。

ステップＳ７０５において、復号対象のタイルが含まれているスライスのスライスヘッダを解析して、タイルの復号で使用する符号化パラメータを復号する。スライスヘッダには各スライスのピクチャ内における位置を示す非特許文献１に記載のｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ａｄｄｒｅｓｓが格納されている。各スライスのピクチャ内における位置と、ステップＳ７０１で解析されたＰＰＳ中のタイル分割の情報を照らし合わせ、当該スライス符号化データとタイルの対応関係を算出し、スライス中の何番目のタイルが復号の対象であるかを算出することができる。例えば図２においては、スライス３の開始位置がタイル９に対応していることが算出可能であり、図６のケースにおいてはスライス３の２番目のタイル（タイル１０）が復号対象であることがわかる。また、スライスヘッダに含まれている、各タイルの符号化データにアクセスするためのオフセットである前記エントリポイントオフセットを復号する。

ステップＳ７０６において、ステップＳ７０５で復号されたエントリポイントオフセットに基づいて、復号タイル情報中のタイルの符号化データを読み込み、復号を行う。タイル内の復号は一般的なコーディングツリーブロック単位の復号であるため説明は省略する。

ステップＳ７０７において、スライス中の復号対象のタイルが全て復号されたか否かを判断する。例えば図６のケースにおいては、スライス３，４はそれぞれ２個のタイルを復号する必要がある。復号対象のタイルが全て復号された場合にはステップＳ７０８に進み、復号対象の全てのタイルが復号されていない場合にはステップＳ７０６に戻り後続のタイルを復号する。

ステップＳ７０８において、復号対象タイルが含まれる全てのスライスの処理が完了したか否かを判断する。例えば図６のケースにおいては、スライス３とスライス４の両スライスの処理を行う必要がある。復号対象タイルを含む全スライスの処理が完了した（図６のケースではスライス４まで処理が終わった）場合にはステップＳ７０９に進み、完了していない場合にはステップＳ７０４に戻り後続のスライスを復号する。

ステップＳ７０９において、ステップＳ７０６で復号された全てのタイルを出力する。ステップＳ７１０において、メディアファイル中の全再生対象ピクチャの復号が完了したか否かを判断する。全再生対象ピクチャの処理が完了した場合には復号処理を完了し、再生すべきピクチャが残っている場合にはステップＳ７０１に戻り、後続のピクチャに対するＰＰＳの解析及び復号を行う。なお、後続のピクチャの処理において復号タイル情報、スライス分割及びタイル分割に変更が無い場合には、ステップＳ７０２及びステップＳ７０３はスキップする。ここで、スライス分割及びタイル分割に変更が無い場合とは、スライスインデックスＢＯＸが一つのみ含まれており、かつ１ピクチャ目の処理時に全スライスインデックスＢＯＸ中の全スライスインデックスが使用された場合を示す。
なお、ステップＳ７０１にはＰＰＳが含まれているため、各ピクチャで解析を行うことが望ましい。

図７は、通常再生についてのフローチャートを示したものであるが、ステップＳ７０１からステップＳ７０４までのピクチャ単位での制御を適切に変更することにより、早送り再生等の特殊再生に対応することも容易に可能である。

上記のようにスライスインデックスＢｏｘ１０５を使用することによって、特定のタイルのみを抽出して復号・表示する際に、スライスヘッダと復号対象タイルのみを復号すれば良い。動画の復号においては処理の大半がコーディングツリーブロックの復号に費やされるため、ピクチャもしくはスライス全体を復号する場合に比べ、大幅な復号の高速化及び省電力化を実現することが可能になる。例えば図６のユースケースにおいて、ピクチャ全体を復号する場合に比べ、ピクチャの大きさの１／４に過ぎない復号対象タイルのみを復号することにより、復号にかかる復号時間を１／３程度に短縮できることが見込まれる。また、本実施形態の方法をプログラムとして実行する場合には、ＣＰＵで処理される消費電力を１／３程度まで低減できることが見込まれる。

本実施形態のさらなる効果として、本実施形態のスライスインデックスＢｏｘ１０５（ｓｉｄｘ）が存在することにより、メディアファイルの再生は、タイルサイズがスライスサイズよりも小さいことを認識することができる。各タイルは独立に復号可能であるため、特定のタイルのみを表示・再生するユースケースに限らず、ピクチャ全体を復号するユースケースにおいても使用するメモリ使用量を削減することができる。タイルとスライスの大小関係が把握できているため、１スライス全体に対応するメモリを使用する代わりに、１タイルに対応するメモリだけを使用する。各タイルで同じメモリ領域を共有して順次各タイルを復号することにより、復号時のメモリ使用量を削減することが可能である。

なお、スライスインデックスＢｏｘ１０５内の各データのデータ長、スライス分割やタイル分割、スライスインデックスＢｏｘ１０５の名称や識別子に使用される文字列、及びメディアファイル中の挿入位置等は上記に限定されない。

本実施形態の説明において、動画において特定のタイルを抽出し再生する例について説明したが、本願発明はこれに限定されない。例えば、ＨＥＶＣで１枚の静止画を符号化し、メディアファイルに格納する場合にも有効であるし、複数ピクチャから静止画を合成するようなユースケースにおいて、特定のタイルのみを抽出する場合に対しても有効である。

＜実施形態２＞
本願発明の実施形態２は、実施形態１と同様に、１スライスに複数タイルが含まれるスライス分割及びタイル分割で符号化が行われる場合の実施形態である。

図８に、本実施形態におけるメディアファイルフォーマットを示す。なお図８において、図１と同じ内容を示すＢｏｘ及びデータについては、図１と同じ符号を付加し説明は省略する。図示されるように、図１のスライスインデックスＢｏｘ１０５の代わりにタイルインデックスＢｏｘ８０１が、サンプルテーブルＢｏｘ１０２に格納される。

タイルインデックスＢｏｘ８０１のフォーマット及び例を図９に示す。なお、スライス分割及びタイル分割の例として図２を参照する。図９（ａ）に示すように、本実施形態のタイルインデックスＢｏｘ８０１においては、各スライス内の先頭タイルのタイルインデックス（各ピクチャで何番目のタイルか）をスライスの符号化順番で格納する。符号化順で１番目のスライス（スライス１）の先頭は、符号化順で１番目のタイル（タイル１）を含むことは自明であるため、スライス１に対するタイルインデックスは挿入されない。スライス２の先頭は図２に示されるように５番目のタイルであるため、タイルインデックスとして４が格納される。後続のスライスについても同様に、先頭タイルのタイルインデックスを格納する。ピクチャ内のタイル数がＭ個の場合には、タイルインデックスとして１〜（Ｍ−１）のいずれかが使用される。

なお、本タイルインデックスＢｏｘ８０１においては、識別子としてｔｉｄｘ（Ｔｉｌｅ Ｉｎｄｅｘ）の文字列を使用する。Ｂｏｘサイズは実施形態１同様タイルインデックスＢｏｘ全体のデータ長を格納し、エントリ数は（ピクチャ内のスライス数−１）に等しく、また各エントリのデータ長は２バイトとしている。

メディアファイルの生成についても、実施形態１のスライスインデックスＢｏｘ１０５の代わりにタイルインデックスＢｏｘ８０１を使用することで、図４及び図５で示した実施形態１と同じ手順を使用することが可能である。但し、図５のステップＳ５０７において、各スライスにつき１回、先頭タイルのタイルインデックスを生成し、タイルインデックスＢｏｘ８０１に格納することが異なる。

特定のタイルのみ抽出して、部分再生するメディアファイル再生処理においても、実施形態１のスライスインデックスＢｏｘ１０５の代わりにタイルインデックスＢｏｘ８０１を使用することで、図７で示した実施形態１と同じ手順を使用することが可能である。但し、図７のステップＳ７０３において、（図７のステップＳ７０２で設定された）復号タイル情報とタイルインデックスＢｏｘ８０１中に含まれているタイルインデックスを比較することが異なる。復号対象タイルのタイルインデックスがＸである場合には、Ｘ以下で最大のタイルインデックスが格納されるエントリを検索する。当該エントリが何番目のエントリであるかより、復号対象タイルが含まれているスライスを特定可能である。

例えば、図９（ｂ）のようなタイルインデックスＢｏｘ８０１の内容で、タイル１０（タイルインデックス＝９）が含まれるスライスを探索するとする。図９（ｂ）において、９以下で最大のタイルインデックスを有しているのは３番目のエントリの８である。よって、タイル１０はスライス３に含まれることを、メディアファイルを再生する処理は特定することが可能である。実施形態１と同様にスライス３のスライスヘッダを解析後、タイル１０の符号化データのみを復号することによって、タイル１０のみの復号を高速に行うことができる。

このように、タイルインデックスＢｏｘ８０１を使用しても、実施形態１と同じ効果を得ることが可能である。本実施形態も、実施形態１同様にタイルインデックスＢｏｘ８０１内の各データのデータ長や内容、及びスライス分割やタイル分割は上記に限定されず、また静止画を格納するメディアファイルにも、同様に適用することが可能である。

＜実施形態３＞
本願発明の実施形態３は、実施形態１と同様に、１スライスに複数タイルが含まれるスライス分割及びタイル分割で符号化が行われる場合の実施形態である。

図１０に、本実施形態におけるメディアファイルフォーマットを示す。なお図１０において、図１と同じ内容を示すＢｏｘ及びデータについては、図１と同じ符号を付加し説明は省略する。図示されるように、図１のスライスインデックスＢｏｘ１０５の代わりにタイルオフセットＢｏｘ１００１が、サンプルテーブルＢｏｘ１０２に格納される。

本実施形態におけるタイルオフセットＢｏｘ１００１のフォーマットを図１１（ａ）に、例を図１１（ｂ）に示す。図１１（ａ）に示すように、本実施形態のタイルオフセットＢｏｘ１００１は、各サンプルデータ１１１の先頭から、各タイルの符号化データ先頭までのオフセットをバイト単位で示した、タイルオフセットバイト数を格納する。ただしピクチャ先頭のタイルについては符号化データの位置が自明であるため、タイル１のタイルオフセットバイト数は格納しない。なお、本タイルオフセットＢｏｘ１００１においては、識別子としてｔｓｏｂ（Ｔｉｌｅ ｉｎ Ｓｌｉｃｅ Ｏｆｆｓｅｔ Ｂｙｔｅ）の文字列を使用する。Ｂｏｘサイズは上述の実施形態と同様にタイルオフセットＢｏｘ１００１全体のデータ長を格納し、エントリ数は（ピクチャ内のタイル数−１）に等しく、また各エントリのデータ長は４バイトとしている。

メディアファイル生成についても、実施形態１のスライスインデックスＢｏｘ１０５の代わりにタイルオフセットＢｏｘ１００１を使用することで、図４及び図５で示した実施形態１と同じ手順を使用することが可能である。但し、図５のステップＳ５０７において、図５のステップＳ５０３のスライス符号化で発生した符号化データ長をタイル内及びピクチャ内で積算し、サンプルデータ１１１先頭から各タイルの符号化データ先頭までのオフセットをバイト単位で算出することが異なる。このタイルオフセットバイト数を、（ピクチャ内のタイル数―１）個集めて格納することにより、タイルオフセットＢｏｘ１００１を生成する。

なお、タイルオフセットＢｏｘ１００１にタイルオフセットバイト数を格納する場合には、タイル分割及びスライス分割が直前のピクチャと同じ場合でも、タイルオフセットバイト数は変化する。よって、図５のステップＳ５０７はスキップされず、タイルオフセットＢｏｘ１００１はピクチャ枚数分だけ挿入される（もしくはエントリ数がタイル数×ピクチャ枚数となる）。

特定のタイルのみ抽出して、部分再生するメディアファイル再生処理においても、実施形態１のスライスインデックスＢｏｘ１０５の代わりにタイルオフセットＢｏｘ１００１を使用することで、図７で示した実施形態１と同じ手順を使用することが可能である。図７のステップＳ７０３においては、スライスインデックスＢｏｘ１０５の代わりにタイルオフセットＢｏｘ１００１を解析すること。

ステップＳ７０４において、ステップＳ７０２で設定された復号タイル情報、ステップＳ７０３で解析したタイルオフセットバイト数及びサンプル中の各ＮＡＬユニットデータのデータ長を照らし合わせることにより、復号対象タイルを特定することが可能である。ステップＳ７０５でスライスヘッダを解析後、ステップＳ７０６で前記タイルオフセットバイト数を使用してタイルの符号化データを読み込む。

このようにタイルオフセットＢｏｘ１００１に格納するデータとしてタイルオフセットバイト数を格納することにより、実施形態１と同じ効果を得つつ、より高速に復号対象タイルの符号化データへとアクセスし、復号時間を短縮することが可能になる。

本実施形態も、実施形態１同様にタイルオフセットＢｏｘ１００１内の各データのデータ長や内容、及びスライス分割やタイル分割は上記に限定されず、また静止画を格納するメディアファイルにも、同様に適用することが可能である。また、本実施形態においてはタイルオフセットバイト数として、サンプルデータ１１１先頭から各タイルの符号化データ先頭までのオフセットを使用したが、本実施形態はこれに限定されない。各タイルの符号化データ先頭から次のタイルの符号化データ先頭へのオフセット、もしくは各タイルが含まれるスライスの符号化データ先頭へのオフセットを使用することも可能である。

＜実施形態４＞
本願発明の実施形態４におけるメディアファイルフォーマットは、１タイルに複数スライスが含まれるスライス分割及びタイル分割で符号化が行われる場合に適用することが可能な実施形態である。

図１２に、本実施形態におけるメディアファイルフォーマットを示す。なお図１２において、図１と同じ内容を示すＢｏｘ及びデータについては、図１と同じ符号を付加し説明は省略する。図示されるように、図１のスライスインデックスＢｏｘ１０５の代わりにタイル内スライス数Ｂｏｘ１２０１が、サンプルテーブルＢｏｘ１０２に格納される。

また本実施形態図１３に、本実施形態におけるスライス分割及びタイル分割の例を示す。本実施形態におけるタイル内スライス数Ｂｏｘ１２０１のフォーマットを図１４（ａ）に、例を図１４（ｂ）に示す。図１４（ａ）に示すように、本実施形態のタイル内スライス数Ｂｏｘ１２０１は、各タイルにスライスがいくつ含まれているかの、タイル内スライス数をデータ本体として格納する。なお、本タイル内スライス数Ｂｏｘ１２０１においては、Ｂｏｘ識別子としてｎｍｓｌ（Ｔｈｅ Ｎｕｍｂｅｒ ｏｆ ＳＬｉｃｅ Ｉｎ Ｔｉｌｅ）の文字列を使用する。Ｂｏｘサイズは上述の実施形態と同様にタイル内スライス数Ｂｏｘ１２０１全体のデータ長を格納し、エントリ数はピクチャ内のタイル数に等しく、また各エントリのデータ長は２バイトとしている。

図１４（ｂ）に、図１３に示したスライス分割及びタイル分割に対応する、タイル内スライス数Ｂｏｘ１２０１の例を示す。図１３においてピクチャは４タイルに分割されているため、タイル内スライス数Ｂｏｘ１２０１内のエントリ数は４である。タイル１及びタイル２は４スライスに分割されているため、図１４（ｂ）のタイル内スライス数として４が格納されている。一方、タイル３は２スライスに、タイル４は２スライスに分割されているため、タイル内スライス数はそれぞれ２が格納されている。

図１３のように、１タイルの中に複数スライスが含まれるスライス分割及びタイル分割で符号化を行い、本実施形態のメディアファイルの生成手順を図１５及び図１６のフローチャートを用いて示す。図１５は、各スライスを符号化する手順を示したフローチャートである。なお図１５において、図４と同一の動作を行うステップは図４と同じ符号を付加し、説明は省略する。

ステップＳ１５０１においてはスライス内の全コーディングツリーブロックの符号化が完了したか否かを判断する。全コーディングツリーブロックの符号化が完了していれば図１５のステップＳ４０６に進み、完了していなければ、スライス終端フラグを０として符号化し、後続のコーディングツリーブロックを符号化するために図１５のステップＳ４０２に戻る。

図１６は本実施形態のメディアファイルの生成手順を示したフローチャートである。なお、図１６において図５と同一の動作を行うステップは図５と同じ符号を付加し、説明は省略する。

ステップＳ１６０１において、図１５のフローチャートで示した各スライスの符号化を行う。ステップＳ１６０２において、タイル内の全スライスの符号化が完了したか否かを判断する。完了していればステップＳ１６０３に進み、完了していなければ後続のスライスを符号化するためにステップＳ１６０１に戻る。ステップＳ１６０３において、各タイルにおいて、いくつのスライスを符号化したかの情報から、タイル内スライス数を生成する。

ステップＳ１６０４において、ピクチャ内の全タイルの符号化が完了したか否かを判断する。完了していれば図１６のステップＳ５０６に進み、完了していなければ後続のタイルを符号化するためにステップＳ１６０１に戻る。ステップＳ１６０５において、ステップＳ１６０３で生成した各タイルのタイル内スライス数を集約してタイル内スライス数Ｂｏｘ１２０１を生成する。

ステップＳ１６０６において、図１６のステップＳ５０６で生成されたサンプルデータ１１１のデータ長から図１２のサンプルサイズＢｏｘ１０３を生成する。生成されたサンプルサイズＢｏｘ１０３、ステップＳ１６０５で生成されたタイル内スライス数Ｂｏｘ１２０１及びＨＥＶＣコンフィグレーションＢｏｘ１０４を多重化して、サンプルテーブルＢｏｘ１０２を生成する。

本実施形態のメディアファイルフォーマットに則って生成されたメディアファイルから、特定のタイルのみを抽出して復号し、部分再生するメディアファイル再生手順を、図１７のフローチャートを用いて示す。図１７においては図１３のタイル２のみが復号対象のタイルとして設定されたと仮定する。なお、図１７において図７と同一の動作を行うステップは図７と同じ符号を付加し、説明は省略する。

ステップＳ１７０１において、図１２のサンプルテーブルＢｏｘ１０２中のタイル内スライス数Ｂｏｘ１２０１を解析し、各タイルのタイル内スライス数を得る。ステップＳ１７０２において、ステップＳ１７０１で得られたタイル内スライス数から、復号対象タイルに含まれるＮＡＬユニットデータ（スライスの符号化データ）の読み込みを以下の手順により行う。

まず、復号対象タイルより符号化順で前のタイルに含まれるＮＡＬユニットデータを読み飛ばす。図１４（ｂ）によると、（タイル２より前の符号化順である）タイル１のタイル内スライス数は４であるため、４スライス分のＮＡＬユニットデータを読み飛ばす。このＮＡＬユニットデータの読み飛ばしは、各ＮＡＬユニットデータに付加されているＮＡＬユニットデータ長を用いることにより容易に可能である。

次に復号対象タイルに含まれているＮＡＬユニットデータを読み込む。図１４（ｂ）によると、復号対象タイルであるタイル２のタイル内スライス数は４であるため、５番目から９番目までのＮＡＬユニットデータ（４スライス分の符号化データ）を読み込む。ステップＳ１７０３において、ステップＳ１７０２で読み込まれた、復号対象タイル内のスライスのスライスヘッダを解析して、スライスの復号で使用する符号化パラメータを復号する。ステップＳ１７０４において、ステップＳ１７０２で読み込まれたスライスの符号化データの復号を行う。スライスの復号は一般的なコーディングツリーブロック単位の復号であるため、説明は省略する。

ステップＳ１７０５において、復号対象タイル中のスライスが全て復号されたか否かを判断する。例えば図１３においては、タイル２の復号のためにはスライス５からスライス８を復号する必要がある。復号対象のスライスが全て復号された場合には図１７のステップＳ７１０に進み、復号されていない場合には図１７のステップＳ１７０３に戻り後続のスライスを復号する。

上記のようにタイル内スライス数Ｂｏｘ１２０１に格納するデータとして、タイル内スライス数を格納することにより、複数スライスが１タイルに含まれる場合にも高速に復号対象タイルの符号化データへとアクセスすることができる。前述のように、動画の復号においては処理の大半がコーディングツリーブロックの復号に費やされる。例えば図１３のタイル２のみを表示するユースケースにおいて、ピクチャ全体を復号する場合に比べ、大きさでピクチャの１／４に過ぎないタイル２のみを復号することにより、復号にかかる復号時間を１／３程度に短縮できることが見込まれる。また、本実施形態の方法をプログラムとして実行する場合には、ＣＰＵで処理される消費電力を１／３程度まで低減できることが見込まれる。

本実施形態のさらなる効果として、本実施形態のタイル内スライス数Ｂｏｘ１２０１（ｎｍｓｌ）が存在することにより、メディアファイルの再生は、タイルサイズがスライスサイズよりも大きいことを認識することができる。例えばＨＥＶＣの符号化データをマルチコアＣＰＵで並列に復号する時に、複数スライスを並列に復号するか、もしくは複数タイルを並列に復号するかを、このタイルとスライスの大小関係により決定することが可能である。

なお、実施形態１のスライスインデックスＢｏｘ１０５（ｓｉｄｘ）が、本実施形態のタイル内スライス数Ｂｏｘ１２０２（ｎｍｓｌ）と共存することも可能である。複数タイルが１スライスに含まれる場合には、タイル内スライス数Ｂｏｘ１２０１の当該タイルについてのタイル内スライス数Ｂｏｘが１か否かによって、複数タイルが１スライスに含まれることを検出することが可能である。一方、複数スライスが１タイルに含まれる場合にはスライスインデックスＢｏｘ１０５内の各スライスインデックスが１か否かによって、複数スライスが１タイルに含まれることを検出することが可能である。

なお、タイル内スライス数Ｂｏｘ１２０１内の各データのデータ長、スライス分割やタイル分割、タイル内スライス数Ｂｏｘ１２０１の名称や識別子に使用される文字列、及びメディアファイル中の挿入位置等は上記に限定されない。また静止画を格納するメディアファイルにも適用が可能である。またタイル内スライス数Ｂｏｘ１２０１の格納位置として、前記ＰＰＳもしくはＳＰＳのパラメータであるＶＵＩ（ビデオ表示情報）パラメータやＳＥＩパラメータ（エンハンスメント補足情報）に格納することも可能である。

＜実施形態５＞
本願発明の実施形態５は、実施形態４と同様に、１タイルに複数スライスが含まれるスライス分割及びタイル分割で符号化が行われる場合の実施形態である。

図１８に、本実施形態におけるメディアファイルフォーマットを示す。なお図１８において、図１と同じ内容を示すＢｏｘ及びデータについては、図１と同じ符号を付加し説明は省略する。図示されるように、図１のスライスインデックスＢｏｘ１０５の代わりにタイルオフセットＢｏｘ１８０１が、サンプルテーブルＢｏｘ１０２に格納される。

本実施形態におけるタイルオフセットＢｏｘ１８０１のフォーマットを図１９（ａ）に、例を図１９（ｂ）に示す。図示されるように、本実施形態のタイルオフセットＢｏｘ１８０１は各サンプルデータ１１１の先頭から、各タイルの先頭スライスを格納するＮＡＬユニットデータまでのオフセットをタイルオフセットバイト数として格納するフォーマットである。なお、本タイルオフセットＢｏｘ１８０１においては、識別子としてｓｔｏｂ（Ｓｌｉｃｅ ｉｎ Ｔｉｌｅ Ｏｆｆｓｅｔ Ｂｙｔｅ）の文字列を使用する。Ｂｏｘサイズは上述の実施形態と同様にタイルオフセットＢｏｘ１８０１全体のデータ長を格納し、エントリ数はピクチャ内のタイル数に等しく、また各エントリのデータ長は４バイトとしている。

メディアファイルの生成については、実施形態４のタイル内スライス数Ｂｏｘ１２０１の代わりにタイルオフセットＢｏｘ１８０１を使用することで、図１５及び図１６で示した、実施形態４と同じ手順を使用することが可能である。但し、図１６のステップＳ５０４の各スライスの符号化データに対応するＮＡＬユニットデータのデータ長を、タイル内で積算することによりタイルの符号化データ長が得られることが異なる。この各タイルの符号化データ長をピクチャ内で積算することにより、図１６のステップＳ１６０３において、各タイルのタイルオフセットバイト数を算出することが可能である。このタイルオフセットバイト数を（自明である１番目のタイルを除く）ピクチャ内のタイル分だけ格納することによりタイルオフセットＢｏｘ１８０１を生成することが可能である。

特定のタイルのみ抽出して、部分再生するメディアファイル再生処理においても、実施形態４のタイル内スライス数Ｂｏｘ１２０１の代わりにタイルオフセットＢｏｘ１８０１を使用することで、図１７で示した実施形態４と同じ手順を使用することが可能である。ただし、ステップＳ１７０１で得られたタイルオフセットＢｏｘ１８０１中のタイルオフセットバイト数を、ステップＳ１７０２で使用することで、復号対象タイルの先頭スライスに対応するＮＡＬユニットデータに直接アクセスすることができることが異なる。

実施形態４の構成では復号対象タイルより前のタイルについては、ＮＡＬユニットデータのデータ長を用いて読み飛ばす必要があった。本実施形態のタイルオフセットバイト数を使用することにより、より高速に復号対象タイル先頭スライスのＮＡＬユニットデータに到達することが可能である。一方、タイル分割及びスライス分割が直前のピクチャと同じ場合でもタイルオフセットバイト数はピクチャ毎に変化する。よって、図１７のステップＳ１７０１はスキップされず、タイルオフセットＢｏｘ１８０１はピクチャ枚数に相当する個数だけ必ず挿入される（もしくはエントリ数が（タイル数−１）×ピクチャ枚数となる）。

このようにタイルオフセットＢｏｘ１８０１に格納するデータとしてタイルオフセットバイト数を格納することにより、実施形態４と同じ効果を得つつ、より高速に復号対象タイルの符号化データへとアクセスし、復号時間を短縮することが可能になる。

本実施形態も、実施形態４同様にタイルオフセットＢｏｘ１８０１内の各データのデータ長や内容、及びスライス分割やタイル分割は上記に限定されず、また静止画を格納するメディアファイルにも、同様に適用することが可能である。

また、本実施形態においてはタイルオフセットバイト数として、図１８のサンプルデータ１１１先頭から、各タイルの先頭スライスに相当するＮＡＬユニットデータ先頭までのオフセットを使用したが、本実施形態はこれに限定されない。各タイルの先頭スライスに相当するＮＡＬユニットデータ先頭から、次のタイルの先頭スライスに相当するＮＡＬユニットデータまでのオフセットを使用することも可能である。またタイルオフセットＢｏｘ１８０１の格納位置として、前記ＰＰＳもしくはＳＰＳのパラメータであるＶＵＩ（ビデオ表示情報）パラメータやＳＥＩパラメータ（エンハンスメント補足情報）に格納することも可能である。
＜実施形態６＞
本願発明の実施形態６は、ＭＣＴＳ ＳＥＩメッセージを使用し、ピクチャ群がＭＣＴＳのタイルセットを含んで符号化されている場合の実施形態である。非特許文献４に記載されているように、ＭＣＴＳのタイルセットを用いて符号化されていると、復号においては連続するピクチャ内の特定のタイルセットのみを独立して復号し、部分動画として高速に表示することが可能である。ピクチャ内において、ＭＣＴＳのタイルセットは複数使用することが可能であり、各タイルセットの識別子であるタイルセットＩＤ（非特許文献４におけるｍｃｔｓ＿ｉｄ）を用いて、部分動画として復号するタイルセットを特定することが可能である。

図２と同じスライス分割及びタイル分割に基づき、ＭＣＴＳを使用して符号化した様子を図２１に示す。本実施形態における各ピクチャは、タイル３、４、７、８の矩形タイル領域から構成される、タイルセットＩＤが０であるＭＣＴＳのタイルセットと、タイル１０、１１、１４、１５の矩形タイル領域から構成される、タイルセットＩＤが８であるＭＣＴＳのタイルセットを含む。

図２２に、本実施形態におけるメディアファイルフォーマットを示す。なお図２２において、図１と同じ内容を示すＢｏｘ及びデータについては、図１と同じ符号を付加し説明は省略する。

また図２２におけるメディアファイルは図２１のＭＣＴＳに対応しており、タイルセット数と同じ２個のＭＣＴＳスライスインデックスＢｏｘ２２０１がサンプルテーブルＢｏｘ１０２に格納される。また、先頭のサンプルデータ１１１にはスライスの符号化データのＮＡＬユニットデータ１１３に加え、ＳＥＩメッセージに相当するＮＡＬユニットデータ２２０３及び当該ＮＡＬユニットのデータ長２２０２がセットで格納される。

例えば、ＨＥＶＣ符号化処理は非特許文献４記載のＭＣＴＳ ＳＥＩメッセージ中の符号化パラメータを下記の通り設定することにより、図２１のようなＭＣＴＳのタイルセットを用いて符号化することが可能である。なおｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇについては非特許文献４に記載され、本実施形態には影響しないため記述を省略する。
・ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１＝１
（ＳＥＩメッセージに格納される、ＭＣＴＳとして符号化されるタイルセット数から１を減じた数である。１を設定することにより、図２１においてタイルセット数が２であることを示す。）
１番目のタイルセットである図２１の右上のタイルセットについて、以下のようにＭＣＴＳ ＳＥＩメッセージ中のパラメータを設定する。
・ｍｃｔｓ＿ｉｄ＝０
（ピクチャ内で複数定義することが可能なタイルセットを識別する、タイルセットＩＤである。０〜２５５の任意の値を設定することが可能である。例えば０を設定することにより、図２１における１番目のタイルセットＩＤが０であることを示す。）
・ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１＝０
（各タイルセットは複数のタイルから構成される矩形領域である矩形タイル群を複数包含することが可能であり、本シンタックスは各タイルセットに含まれる矩形タイル群数から１を減じた数である。０を設定することによって図２１における１番目のタイルセットを構成する、矩形タイル群数が１であることを示す。）
・ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［０］［０］＝２
（矩形タイル群内の左上に位置するタイルのインデックスである。２を設定することによって図２１のタイル３が、１番目のタイルセットを構成する矩形タイル領域の左上に位置することを示す。）
・ｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［０］［０］＝７
（矩形タイル群内の右下に位置するタイルのインデックスである。７を設定することによって図２１のタイル８が、１番目のタイルセットを構成する矩形タイル群の右下に位置することを示す。）
同様に、２番目のタイルセットとして、図２１の下部のタイルセットを以下のように設定する。
・ｍｃｔｓ＿ｉｄ＝８
・ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１＝０
・ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］＝９
・ｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［１］［０］＝１４
上記ＭＣＴＳとして指定されたタイルセットの符号化データが、ピクチャ内のどのスライスの符号化データに含まれるかを示す情報が、本実施形態における図２２のＭＣＴＳスライスインデックスＢｏｘ２２０１である。ＭＣＴＳスライスインデックスＢｏｘ２２０１のフォーマット及び例を図２３に示す。

図２３（ａ）に本実施形態におけるＭＣＴＳスライスインデックスＢｏｘ２２０１の内部フォーマットを示す。ＭＣＴＳスライスインデックスＢｏｘ２２０１先頭にはＢｏｘ全体のデータ長をバイト単位で示すＢｏｘサイズが４バイトで挿入される。本実施形態のＭＣＴＳスライスインデックスＢｏｘ２２０１において、Ｂｏｘ全体のデータ長は、（４バイト＋４バイト＋４バイト＋２バイト＋エントリ数×２バイト）により与えられる。Ｂｏｘサイズに続いて、Ｂｏｘ種類を示す識別子が４バイトで挿入される。本実施形態のＭＣＴＳスライスインデックスＢｏｘ２２０１においては、識別子として“ｍｔｓｉ”（Ｍｏｔｉｏｎ ｃｏｎｓｔｒａｉｎｅｄ Ｔｉｌｅ ｓｅｔ Ｓｌｉｃｅ Ｉｎｄｅｘ）の文字列を使用する。

Ｂｏｘ種類に続いて、当該ＭＣＴＳスライスインデックスＢｏｘ２２０１が対象とするタイルセットＩＤが４バイトで挿入される。前述のように、ＨＥＶＣ符号化ストリームに格納されるＳＥＩメッセージにおいては、各ピクチャ内に複数存在が可能なタイルセットそれぞれにタイルセットＩＤを設定することが可能である。ＭＣＴＳスライスインデックスＢｏｘ２２０１内のタイルセットＩＤを使用し、スライスインデックスを示す対象となるタイルセットを特定することが可能である。

タイルセットＩＤに続いて、データ本体がいくつ格納されているかを示す、エントリ数が２バイトで挿入される。本実施形態のＭＣＴＳスライスインデックスＢｏｘ２２０１において、エントリ数は対象タイルセットの復号に必要なスライス数に等しい。

エントリ数に続いて、ＭＣＴＳスライスインデックスＢｏｘ２２０１のデータ本体である、対象タイルセットの復号に必要な各スライスのスライスインデックスが各２バイトで、エントリ数分だけ挿入される。

図２３（ｂ）に、図２１においてタイルセットＩＤが８であるタイルセットに対応するＭＣＴＳスライスインデックスＢｏｘ２２０１の内容を示す。図２１においてタイルセットを構成するスライス数は２であるため、エントリ数は２、データサイズは４＋４＋４＋２＋２×２＝１８バイトである。

エントリ数に続いて、タイルセットの復号に必要なスライスのスライスインデックスが挿入される。図２１に図示されるように、タイルセットＩＤが８であるタイルセットの復号にはスライス３、スライス４の２スライスが必要であるため、スライスインデックスとして２、３が格納される。

上記ＭＣＴＳスライスインデックスＢｏｘ２２０１は、前記サンプルテーブルＢｏｘ１０２中に格納されることを基本とするが、本願発明はこれに限定されない。ムービーＢｏｘ１０１中のいずれのＢｏｘに格納されることも可能である。

メディアファイルの生成についても、実施形態１のスライスインデックスＢｏｘ１０５の代わりにＭＣＴＳスライスインデックスＢｏｘ２２０１を使用することで、図４及び図５で示した実施形態１と同様の手順を使用することが可能である。

但し、図４のステップＳ４０２において、ＭＣＴＳに属するコーディングツリーの符号化においては、参照フレーム上におけるＭＣＴＳ外のタイルを参照しない動きベクトルを使用する必要がある。

また、各スライスのスライスヘッダを生成するステップＳ４０８において、当該スライスがＭＣＴＳとなるタイルを含む場合には、スライスインデックスを生成する。また、図５のステップＳ５０１においても、当該シーケンスにおいて、どのタイルをＭＣＴＳとするかを設定する必要がある。またステップＳ５０２におけるタイル分割の設定では、非特許文献４記載のＭＣＴＳについての制約を満足する必要がある。すなわち、シーケンス内の全ピクチャで同じタイル分割を使用すると共に、ＭＣＴＳ ＳＥＩメッセージを生成し、生成したＳＥＩメッセージをＮＡＬユニットデータとして、先頭ピクチャのサンプルデータの一部として格納する必要がある。

１番目のピクチャにおけるステップＳ５０７においては、スライスインデックスＢｏｘ１０５の代わりにステップＳ４０８で生成したスライスインデックスに基づいてＭＣＴＳスライスインデックスＢｏｘ２２０１を生成する。ステップＳ５１０において生成したＭＣＴＳスライスインデックスＢｏｘ２２０１を格納し、サンプルテーブルＢｏｘ１０２を生成する。

上記実施形態は各ピクチャにおいてＭＣＴＳとなるタイルセット数が２であり、かつ各タイルセット内の矩形タイル群数が１である場合の例であるが、本発明はこれに限定されない。すなわちＭＣＴＳとなるタイルセット数や、各タイルセット内の矩形タイル群数として、ピクチャ内のタイル数と矛盾しない、任意の値を使用することが可能である。

また、格納されるＭＣＴＳスライスインデックスＢｏｘの数も上記のようにタイルセット数と同数には限定されず、ピクチャ内においてＭＣＴＳのタイルセットがＹ個存在する場合には、Ｙ個以下の任意のＭＣＴＳスライスインデックスＢｏｘ２２０１をサンプルテーブルＢｏｘ１０２に格納することが可能である。但し、各ＭＣＴＳスライスインデックスＢｏｘ２２０１中のタイルセットＩＤは互いに異なる値を持つ必要がある。

また上記実施形態は各ピクチャにおけるスライス分割が同じである符号化フォーマットであるが、本発明はこれに限定されない。各ピクチャにおけるスライス分割が異なる場合にはスライス分割が変化する毎に、新たなＭＣＴＳスライスインデックスＢｏｘ２２０１を生成し、前記サンプルテーブルＢｏｘ１０２中に格納することで実現が可能である。

本実施形態のメディアファイルフォーマットに則って生成されたメディアファイルから、ＭＣＴＳである特定のタイルセットを抽出して復号し、部分再生するメディアファイル再生手順を、図２４のフローチャートを用いて示す。図２４においては、図２１におけるタイルセットＩＤ＝８であるタイルセットが復号対象のタイルセットとして設定されたとする。なお、図２４において図７と同一の動作を行うステップは図７と同じ符号を付加し、説明は省略する。

ステップＳ２４０１においては、先頭サンプルに含まれる図２２のＳＥＩデータ２２０３に含まれるＭＣＴＳ ＳＥＩメッセージを解析し、ＭＣＴＳとして指定された各タイルセットのタイルセットＩＤを解析すると共に復号対象となる矩形タイル群を算出する。

ステップＳ２４０２においてはステップＳ２４０１で解析された、ＭＣＴＳ ＳＥＩメッセージに含まれるタイルセットの中から、復号対象とするタイルセットのタイルセットＩＤを選択する。

ステップＳ２４０３において、ステップＳ２４０２において指定されたタイルセットＩＤと同じタイルセットＩＤを持つＭＣＴＳスライスインデックＢｏｘ２２０１を選択すると共に、当該ＭＣＴＳスライスインデックスＢｏｘ２２０１を解析し、復号するスライス符号化データを特定する。特定されたスライス符号化データと、ＭＣＴＳ ＳＥＩメッセージから得られた復号対象タイル群の情報から、実施形態１と同様にステップＳ７０４以降を処理することで、部分復号対象として指定したタイルの復号を行うことが可能である。

このように、ＭＣＴＳスライスインデックスＢｏｘ２２０１を使用しても、実施形態１と同じ効果を得ることが可能である。特にＭＣＴＳにおける制約条件に基づいてシーケンスから復号対象のタイルセットのみを、当該タイルセット以外のタイルを参照せずに高速に復号することができ、さらなる復号処理の高速化を実現することが可能である。

本実施形態も、ＭＣＴＳスライスインデックスＢｏｘ２２０１内の各データのデータ長や内容、及びスライス分割やタイル分割、ＭＣＴＳスライスインデックスＢｏｘ２２０１の名称や識別子に使用される文字列、及びメディアファイル中の挿入位置等は上記に限定されない。また静止画を格納するメディアファイルにも、同様に適用することが可能である。
＜実施形態７＞
本願発明の実施形態７は、実施形態６と同様にピクチャ群が前記ＭＣＴＳ ＳＥＩメッセージを使用して符号化されており、かつ１タイルに複数スライスが含まれるスライス分割及びタイル分割で符号化が行われる場合の実施形態である。なお本実施形態におけるメディアファイルフォーマットは実施形態６と同じく、図２２で示したフォーマットを使用することが可能である。

本実施形態においては、図１３におけるタイル１及びタイル３の２タイルから成る矩形タイル群を、タイルセットＩＤが０であるＭＣＴＳのタイルセットとして符号化する。このタイルセットの復号に必要なスライス符号化データを示すＭＣＴＳスライスインデックスＢｏｘを図２５に示す。

図１３に示されるように、タイル１は４つのスライス符号化データ、タイル３は２つのスライス符号化データから構成され、復号対象のタイルセットは６個のスライス符号化データから構成される。よって図２５のＭＣＴＳスライスインデックスＢｏｘにおけるエントリ数は６であり、タイル１、２、３、４、９、１０を示すスライスインデックスである０，１，２，３、８、９がデータ本体として格納される。またＭＣＴＳスライスインデックスＢｏｘ２２０１先頭に格納されるデータサイズは４＋４＋４＋２＋２×６＝２６バイトである。

ＭＣＴＳである特定のタイルセットを抽出して復号し、部分再生するメディアファイル再生においても実施形態６と同じ処理を行うことにより、指定されたタイルセットのみを高速に復号することが可能である。本実施形態のようにシーケンス中の各ピクチャが、１タイルに複数スライスが含まれているタイル分割及びスライス分割で符号化されている場合にも、実施形態６と同じ効果を得ることが可能である。

本実施形態も、実施形態６同様にＭＣＴＳスライスインデックスＢｏｘ２２０１内の各データのデータ長や内容、及びスライス分割やタイル分割、ＭＣＴＳスライスインデックスＢｏｘ２２０１の名称や識別子に使用される文字列、及びメディアファイル中の挿入位置等は上記に限定されない。また静止画を格納するメディアファイルにも、同様に適用することが可能である。

＜実施形態８＞
本願発明の実施形態８は、実施形態６及び７において使用されたＭＣＴＳと指定されたタイルセットを、優先度を備えた注目領域（ＲＯＩ）として明示的に指定する場合の実施形態である。

図２６に、本実施形態におけるメディアファイルフォーマットを示す。なお図２６において、図２２と同じ内容を示すＢｏｘ及びデータについては、図２２と同じ符号を付加し説明は省略する。

図示されるように、図２６においてはＭＣＴＳスライスインデックスＢｏｘ２２０１に続いて、ＲＯＩタイルセットＢｏｘ２６０１がサンプルテーブルＢｏｘ１０２に格納される。なお図２６のメディアファイルは、実施形態６と同じくＭＣＴＳのタイルセットが２個である図２１の構成で各ピクチャが符号化される場合の例である。

ＭＣＴＳの各タイルセットを、優先度を備えるＲＯＩとして示す情報が、本実施形態における図２６のＲＯＩタイルセットＢｏｘ２６０１である。ＲＯＩタイルセットＢｏｘ２６０１のフォーマット及び例を図２７に示す。

図２７（ａ）に本実施形態におけるＲＯＩタイルセットＢｏｘ２６０１の内部フォーマットを示す。ＲＯＩタイルセットＢｏｘ２６０１先頭にはＢｏｘ全体のデータ長をバイト単位で示すＢｏｘサイズが４バイトで挿入される。本実施形態のＲＯＩタイルセットＢｏｘ２６０１において、Ｂｏｘ全体のデータ長は、（４バイト＋４バイト＋２バイト＋エントリ数×５バイト）により与えられる。

Ｂｏｘサイズに続いて、Ｂｏｘ種類を示す識別子が４バイトで挿入される。本実施形態のＲＯＩタイルセットＢｏｘ２６０１においては、識別子として“ｒｉｔｓ”（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ Ｔｉｌｅ Ｓｅｔ）の文字列を使用する。

Ｂｏｘ種類に続いて、データ本体がいくつ格納されているかを示す、エントリ数が２バイトで挿入される。本実施形態のＲＯＩタイルセットＢｏｘ２６０１において、エントリ数はＲＯＩとして指定するタイルセット数に等しい。エントリ数に続いてＲＯＩタイルセットＢｏｘ２６０１のデータ本体である、ＲＯＩとして指定するタイルセットのタイルセットＩＤが４バイトと、当該タイルセットのＲＯＩ優先度が１バイト（計５バイト）となる。この値がそれぞれのエントリ数分だけ挿入される。ＲＯＩ優先度は０〜２５５の値から、ＲＯＩとしての表示の優先度が高いタイルセットほど大きい値を格納する。

図２１におけるタイルセットＩＤ＝０である右上のタイルセットを低優先ＲＯＩ、タイルセットＩＤ＝８である下部のタイルセットを高優先ＲＯＩとして指定する際の、ＲＯＩタイルセットＢｏｘ２５０１の内容を図２７（ｂ）に示す。ＲＯＩとして指定するタイルセット数は２であるため、エントリ数は２、データサイズは４＋４＋２＋２×５＝２０バイトである。

エントリ数に続いて、タイルセットＩＤが０であることを示す０と、当該タイルセットが低優先の注目領域であることを示すＲＯＩ優先度として０が格納される。続いてタイルセットＩＤが８であることを示す８と、当該タイルセットが高優先の注目領域であることを示すＲＯＩ優先度として２５５が格納される。

上記ＲＯＩタイルセットＢｏｘ２６０１は、前記サンプルテーブルＢｏｘ１０２中に格納されることを基本とするが、本願発明はこれに限定されない。ムービーＢｏｘ１０１中のいずれのＢｏｘに格納されることも可能である。

メディアファイルの生成についても、図４及び図５で示した実施形態６と同様の手順を使用することが可能である。但し、図５のステップＳ５０１において、当該シーケンスにおいて、どのタイルをＭＣＴＳとするかの設定に加えて、ＭＣＴＳ中のどのタイルセットをＲＯＩにするか及び各ＲＯＩの優先度を設定する必要がある。このＲＯＩの設定及びＲＯＩ優先度の設定は、カメラでの撮影時に一般的に取得可能である、顔や人体・物体等を認識した結果や特定の人物認証情報に基づいて決定することが可能である。

同様に図５のステップＳ５０７においては、ＭＣＴＳスライスインデックスＢｏｘ２２０１に加えてＲＯＩタイルセットＢｏｘ２６０１を生成し、ステップＳ５１０におけるサンプルテーブルＢｏｘ生成において、ＭＣＴＳスライスインデックスＢｏｘ２２０１と共にＲＯＩタイルセットＢｏｘ２６０１を格納する。

ＭＣＴＳである特定のタイルセットを抽出して復号し、部分再生するメディアファイル再生においても、図２４で示した実施形態６と同じ処理を行うことにより、指定されたタイルセットのみを部分動画として高速に復号することが可能である。

但し、ステップＳ２４０２においてユーザから再生すべきＲＯＩ優先度を指定する。指定されたＲＯＩ優先度に基づいてＲＯＩタイルセットＢｏｘ２６０１を参照することで再生すべきＭＣＴＳであるタイルセットのタイルセットＩＤを算出する。算出されたタイルセットＩＤを持つＭＣＴＳスライスインデックスＢｏｘ２２０１を探索し、探索されたＭＣＴＳスライスインデックスＢｏｘ２２０１を参照することで復号対象であるタイルセットの復号に必要なスライス符号化データが特定できる。

本実施形態においてはＭＣＴＳを構成するタイルセットをＲＯＩとして優先度付きで指定することにより、実施形態６と同じ効果に加え、ユーザが指定するＲＯＩ優先度に応じて復号対象となるタイルセットを決定できるという効果を備える。

本実施形態も、ＲＯＩタイルセットＢｏｘ２６０１内の各データのデータ長や内容、及びスライス分割やタイル分割、ＲＯＩタイルセットＢｏｘ２６０１の名称や識別子に使用される文字列、及びメディアファイル中の挿入位置等は上記に限定されない。また静止画を格納するメディアファイルにも、同様に適用することが可能である。

＜実施形態９＞
本願発明の実施形態９は、実施形態８において使用された注目領域（ＲＯＩ）の指定及びＲＯＩ優先度の指定を、ＭＣＴＳではない通常のタイル分割のみで各ピクチャが符号化されている場合に適用する実施形態である。

図２８に、本実施形態におけるメディアファイルフォーマットを示す。なお図２８において、図２２と同じ内容を示すＢｏｘ及びデータについては、図２２と同じ符号を付加し説明は省略する。

図示されるように、図２８においてはＲＯＩタイルインデックスＢｏｘ２８０１がスライスインデックス１０５と共にサンプルテーブルＢｏｘ１０２に格納される。図２８は指定するＲＯＩの領域数が１の場合の例であり、ＲＯＩの領域数がＮ個の場合にはＮ個のＲＯＩタイルインデックスＢｏｘ２８０１がサンプルテーブルＢｏｘ１０２に格納される。

図２９（ａ）に本実施形態におけるＲＯＩタイルインデックスＢｏｘ２８０１の内部フォーマットを示す。ＲＯＩタイルインデックスＢｏｘ２８０１先頭にはＢｏｘ全体のデータ長をバイト単位で示すＢｏｘサイズが４バイトで挿入される。本実施形態のＲＯＩタイルインデックスＢｏｘ２８０１において、Ｂｏｘ全体のデータ長は、（４バイト＋４バイト＋４バイト＋１バイト＋２バイト＋エントリ数×２バイト）により与えられる。

Ｂｏｘサイズに続いて、Ｂｏｘ種類を示す識別子が４バイトで挿入される。本実施形態のＲＯＩタイルインデックスＢｏｘ２８０１においては、識別子として“ｒｉｔｉ”（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ Ｔｉｌｅ Ｉｎｄｅｘ）の文字列を使用する。

Ｂｏｘ種類に続いて、指定する注目領域を識別するためのＲＯＩＩＤ（注目領域ＩＤ）が４バイトで挿入される。実施形態６におけるタイルセットＩＤと同じく、ＲＯＩＩＤとしては０〜２５５の値の中から、任意の値を格納する必要がある。ただし前記のようにピクチャ内に複数のＲＯＩを定義し、サンプルテーブルＢｏｘ１０２内に複数のＲＯＩタイルインデックスＢｏｘ２８０１が格納される場合には、各ＲＯＩタイルインデックスＢｏｘ２８０１におけるＲＯＩＩＤは互いに異なる値を持つ必要がある。

ＲＯＩＩＤに続いて、指定する領域の優先度を示すＲＯＩ優先度が１バイトで挿入される。実施形態８と同じく、ＲＯＩ優先度としては０〜２５５の値の中から、表示の優先度が高いＲＯＩほど大きい値を格納する。

ＲＯＩ優先度に続いて、データ本体がいくつ格納されているかを示す、エントリ数が２バイトで挿入される。本実施形態のＲＯＩタイルインデックスＢｏｘ２８０１において、エントリ数はＲＯＩを構成するタイル数に等しい。エントリ数に続いてＲＯＩタイルインデックスＢｏｘ２８０１のデータ本体である、ＲＯＩを構成するタイルのインデックスを各２バイトで、エントリ数分だけ挿入される。タイルインデックスの定義は本発明の実施形態２と同一であるため、記述を省略する。

図２に示したスライス分割及びタイル分割で符号化されているピクチャのうち、タイル６、７、１０，１１の４タイルで、ＲＯＩＩＤが１となる高優先度ＲＯＩを構成する際の、ＲＯＩタイルセットＢｏｘ２８０１の内容を図２９（ｂ）に示す。

ＲＯＩを構成するタイル数は４であるため、エントリ数は４、データサイズは４＋４＋４＋１＋２＋２×４＝２３バイトである。Ｂｏｘ識別子に続いてＲＯＩＩＤ＝１であることを示す１と、当該ＲＯＩが高優先度であることを示すＲＯＩ優先度として２５５が挿入される。

エントリ数として４が挿入された後、ＲＯＩタイルインデックスＢｏｘ２８０１のデータ本体としてＲＯＩを構成するタイル６、７、１０、１１に対応するタイルインデックスとして５、６、９、１０が挿入される。

上記ＲＯＩタイルインデックスＢｏｘ２８０１は、前記サンプルテーブルＢｏｘ１０２中に格納されることを基本とするが、本願発明はこれに限定されない。ムービーＢｏｘ１０１中のいずれのＢｏｘに格納されることも可能である。

メディアファイルの生成についても、図４及び図５で示した実施形態１と同様の手順を使用することが可能である。但し、図５のステップＳ５０２において、ピクチャ中のどのタイルセットをＲＯＩにするか、及び各ＲＯＩの優先度を設定する必要がある。このＲＯＩの設定及びＲＯＩ優先度の設定はカメラでの撮影時に一般的に取得可能である顔や人体・物体等を認識した結果や特定の人物認証情報に基づいて決定することが可能である。

同様に図５のステップＳ５０７においてはスライスインデックスＢｏｘ１０５に加えてＲＯＩタイルインデックスＢｏｘ２８０１を生成する。ステップＳ５１０におけるサンプルテーブルＢｏｘ生成において、スライスインデックスＢｏｘ１０５と共にＲＯＩタイルインデックスＢｏｘ２８０１を格納する。

ＲＯＩタイルのみを抽出して復号し、部分再生するメディアファイル再生においても図７で示した実施形態１と同じ処理を行うことにより、ＲＯＩのみを高速に復号することが可能である。但し、ステップＳ７０２において例えばユーザから再生すべきＲＯＩ優先度を指定する。指定されたＲＯＩ優先度に基づいて、ステップＳ７０２において当該優先度を備えるＲＯＩタイルインデックスＢｏｘ２８０１を参照することで、再生すべきＲＯＩのタイルインデックスを算出する。

ステップＳ７０３において、ステップＳ７０２で算出されたＲＯＩを構成するタイルの復号に必要なスライス符号化データをスライスインデックスＢｏｘ１０５に基づいて特定し、ステップＳ７０４以降で必要なスライスデータの復号を行い、ＲＯＩを復号する。

本実施形態においてはＭＣＴＳが使用されていない場合にも、ＲＯＩを構成するタイルをＩＤ及び優先度付きでタイルインデックスとして指定することにより、実施形態８と同じ効果を得ることができる。ただしＭＣＴＳが使用されていないため、ＲＯＩタイル以外のタイルを参照しての復号が必要となる可能性があるため、復号の処理速度についてはＭＣＴＳを使用する実施形態８に比べ低下する可能性がある。

本実施形態も、ＲＯＩタイルインデックスＢｏｘ２８０１内の各データのデータ長や内容、及びスライス分割やタイル分割、ＲＯＩタイルインデックスＢｏｘ２８０１の名称や識別子に使用される文字列、及びメディアファイル中の挿入位置等は上記に限定されない。また静止画を格納するメディアファイルにも、同様に適用することが可能である。さらには、ＲＯＩＩＤやＲＯＩ優先度のどちらか、もしくは両方が存在しない場合にも適用することが可能である。

また注目領域となるタイル群の指定方法も上記のようなタイルインデックスで直接指定する方法に限定されず、左上に位置するタイルのインデックスと右下に位置するタイルのインデックスにより、注目領域となる矩形領域を指定することが可能である。

ＲＯＩＩＤとＲＯＩ優先度のどちらかが存在しない場合に、ユーザはメディアファイルの再生時にどちらか利用可能な情報に基づいて再生するＲＯＩを決定する。

なお本実施形態は、メディアファイル中に含まれるデータとして、スライスインデックスＢｏｘ１０５の代わりに実施形態２で示されたタイルインデックスＢｏｘ８０１を使用することも可能である。その際にはタイルインデックスＢｏｘ８０１と復号対象ＲＯＩのタイルインデックスを比較することにより、ＲＯＩの復号に必要なスライスを特定することが可能である。

さらに本実施形態は、メディアファイル中に含まれるデータとして、スライスインデックスＢｏｘ１０５が存在しない場合にも適用することが可能である。但し、ピクチャ内の全スライス符号化データのスライスヘッダを解析し、各スライスのピクチャ内における位置及びタイル分割情報から、当該スライスがＲＯＩの復号に必要か否かを判断する必要がある。

全スライス符号化データのスライスヘッダを解析すると、スライスインデックスＢｏｘ１０５が存在するケースに比べると復号時間は長くなる。その場合においても、ピクチャ全体を復号しＲＯＩ部分のみを切り出す場合に比べると、復号にかかる時間を大幅に短縮することが可能である。

なお、本実施形態は各ピクチャが複数のスライスに分割されず、単一スライスとして符号化されている場合にも適用することが可能である。その際にはＲＯＩタイルインデックスＢｏｘ２８０１と、実施形態１で記述したスライスヘッダに含まれる各タイルへのエントリポイントオフセットを参照することにより、ＲＯＩの復号に必要なタイルの符号化データへと高速にアクセスし、高速復号を実現することが可能である。

＜実施形態１０＞
本願発明の実施形態１０は、実施形態６から実施形態９において示されたＭＣＴＳもしくはＲＯＩタイルが、時系列で有効であるか否かを指定する方法に関する実施形態である。

図３０に被写体の動きもしくは動画撮影装置の動きにより、ピクチャ内の注目領域から人物等の注目対象が一時的に外れるケースを示す。図３０はタイルセットＩＤが０及び８である、２個のＭＣＴＳタイルセットを注目領域として使用する符号化するケースである。

図示されるようにタイルセットＩＤが０のタイルセットにおいては、シーケンスの先頭であるサンプル０からサンプル２１までは、注目対象が当該タイルセットに含まれない。またタイルセットＩＤが８のタイルセットにおいては、先頭のサンプル０からサンプル１４まで、及びサンプル３０からサンプル３８までの期間においてのみ、当該タイルセットに注目対象が含まれる。

図３１に、本実施形態におけるメディアファイルフォーマットを示す。なお図３１において、図２２と同じ内容を示すＢｏｘ及びデータについては、図２２と同じ符号を付加し説明は省略する。図示されるように、図３１においてはＲＯＩ有効サンプルＢｏｘ３１０１がＭＣＴＳスライスインデックスＢｏｘ２２０１と共にサンプルテーブルＢｏｘ１０２に格納される。

なお図３１は有効サンプルを示す対象となるタイルセット数が２の場合の例である。有効サンプルを示す対象となるタイルセット数もしくはＲＯＩタイルがＭ個存在する場合には、Ｍ個のＲＯＩ有効サンプルＢｏｘ３１０１をサンプルテーブルＢｏｘ１０２に格納する。

ＭＣＴＳであるタイルセットもしくはＲＯＩタイルについて、時系列においてどのサンプルで当該タイルセットに注目対象が含まれている、有効サンプルであるかを示す情報が、本実施形態における図３１のＲＯＩ有効サンプルＢｏｘ３１０１である。ＲＯＩ有効サンプルＢｏｘ３１０１のフォーマット及び例を図３２に示す。

図３２（ａ）に本実施形態におけるＲＯＩ有効サンプルＢｏｘ３１０１の内部フォーマットを示す。ＲＯＩ有効サンプルＢｏｘ３１０１先頭にはＢｏｘ全体のデータ長をバイト単位で示すＢｏｘサイズが４バイトで挿入される。本実施形態のＲＯＩ有効サンプルＢｏｘ３１０１において、Ｂｏｘ全体のデータ長は、（４バイト＋４バイト＋４バイト＋２バイト＋エントリ数×８バイト）により与えられる。

Ｂｏｘサイズに続いて、Ｂｏｘ種類を示す識別子が４バイトで挿入される。本実施形態のＲＯＩ有効サンプルＢｏｘ３１０１においては、識別子として“ｒｉｖｓ”（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ Ｖａｌｉｄ Ｓａｍｐｌｅｓ）の文字列を使用する。

Ｂｏｘ種類に続いて、有効サンプルを示す対象となるタイルセットを示すタイルセットＩＤが４バイトで挿入される。ＲＯＩ有効サンプルＢｏｘ３１０１においては、このタイルセットＩＤが一致するタイルセットについてのみ、注目対象が当該タイルセットに含まれるか否かを示す。

タイルセットＩＤに続いて、データ本体がいくつ格納されているかを示す、エントリ数が２バイトで挿入される。本実施形態のＲＯＩ有効サンプルＢｏｘ３１０１において、エントリ数は各タイルセットにおいて、有効サンプルが継続する期間が何回発生するかの発生回数に等しい。

エントリ数に続いてＲＯＩ有効サンプルＢｏｘ３１０１のデータ本体である、有効サンプルとなる開始サンプルと有効サンプルが継続する期間のサンプル数が、各４バイトの計８バイトで、エントリ数分だけ挿入される。

図３０のタイルセットＩＤが０であるタイルセットの有効サンプルに対応するＲＯＩ有効サンプルＢｏｘ３１０１の内容を図３２（ｂ）に、同じくタイルセットＩＤが８であるタイルセットに対応する内容を図３２（ｃ）に示す。

図３２（ｂ）に示すように、図３０においてタイルセットＩＤが０であるタイルセットは、有効サンプルが継続する期間が発生する回数は１であるため、データサイズとして４＋４＋４＋２＋１×８＝２２バイト、タイルセットＩＤとして０、エントリ数として１が挿入される。エントリ数に続いて、有効期間の開始サンプルであるサンプル２２を示す２２と、有効サンプルが継続するサンプル数である１６がＲＯＩ有効サンプルＢｏｘ３１０１のデータ本体として挿入される。

同様に図３２（ｃ）に示すように、タイルセットＩＤが８であるタイルセットは、エントリ数である有効サンプルが継続する期間が発生する回数は２であり、データサイズは４＋４＋４＋２＋２×８＝３０バイトとなる。１番目の有効サンプル期間の開始サンプルであるサンプル０を示す０と、有効サンプルが継続するサンプル数である１４が、続いて２番目の有効サンプル期間の開始サンプルであるサンプル３０を示す３０と、有効サンプルが継続するサンプル数である８が挿入される。

メディアファイルの生成についても、図４及び図５で示した実施形態６と同様の手順を使用することが可能である。但し、図５のステップＳ５０７におけるＭＣＴＳスライスインデックスＢｏｘ２２０１の生成において各タイルセットに有効情報が含まれているか否かを前述した認識結果や認証結果により判定し、ＭＣＴＳスライスインデックスＢｏｘ２２０１を生成する。ステップＳ５１０において、有効情報に基づいてＭＣＴＳスライスインデックスＢｏｘ２２０１と共にＲＯＩ有効サンプルＢｏｘ３１０１を生成し、サンプルテーブルＢｏｘ１０２に格納する。

ＭＣＴＳである特定のタイルセットを抽出して復号し、部分再生するメディアファイル再生においても、図２４で示した実施形態６と同じ処理を行うことにより、指定されたタイルセットのみを高速に復号することが可能である。但し、ステップＳ２４０２において復号対象であるタイルセットにタイルセットＩＤが対応するＲＯＩ有効サンプルＢｏｘ３１０１を解析し、復号対象のタイルセットにおいて、各ピクチャに相当するサンプルが有効であるか否かを判断する。有効でない場合には当該ピクチャの復号及び表示をスキップし、再度有効サンプルとなるピクチャのサンプルデータから復号処理を開始ことが可能である。結果として注目領域であるタイルセットについて、注目対象が含まれるピクチャのみを復号することで、復号処理を効率的に実施することが可能である。

例えば、図３０においてタイルセットＩＤが８のタイルセットを復号対象のタイルセットとユーザが指定すると、ＲＯＩ有効サンプルＢｏｘ３１０１を使用しない場合には全３９ピクチャに含まれる当該タイルセットを復号する必要がある。ＲＯＩ有効サンプルＢｏｘ３１０１に含まれるＲＯＩ有効サンプル情報を参照することで、当該タイルセットに注目対象が含まれるピクチャに含まれるタイルセットのみを復号すればよく、１５＋９＝２４ピクチャに含まれるタイルセットを復号すれば良い。

本実施形態も、ＲＯＩ有効サンプルＢｏｘ３１０１内の各データのデータ長や内容、及びスライス分割やタイル分割、ＲＯＩ有効サンプルＢｏｘ３１０１の名称や識別子に使用される文字列、及びメディアファイル中の挿入位置等は上記に限定されない。

なお、本実施形態はＲＯＩ有効サンプルＢｏｘ３１０１が指定する対象として、実施形態８で示したＲＯＩとして指定されたＭＣＴＳのタイルセットや、実施形態９で示したＭＣＴＳを使用しないＲＯＩタイルについて、注目領域に注目対象が含まれるか否かを示すことも可能である。実施形態９で示したＲＯＩタイルの有効サンプル期間を示す場合には、図３２におけるタイルセットＩＤの代わりに、図２９で示したＲＯＩＩＤを指定することで、どのＲＯＩについて、各サンプルが有効サンプルであるかを示すことが可能である。

なお、本実施形態ではタイルセットが有効である期間を指定する単位として、ピクチャに相当するサンプルを使用したが本発明はこれに限定されない。例えば有効期間としてタイルセットが有効になるピクチャの表示時刻（有効期間開始時刻）及び有効時間を指定することも容易に可能である。また、タイルセットが有効になる期間を開始のサンプルと終了のサンプル、または開始の表示時刻と終了の表示時刻で表してももちろん構わない。

また本実施形態はメディアファイル中のビデオ・シーケンス数が１であることを前提としたが、本発明はこれに限定されない。メディアファイルは通常複数のビデオ・シーケンスを格納することが可能である。各注目領域に注目対象が含まれるか否かの情報をビデオ・シーケンス単位で指定することも可能である。その場合には、図３２で使用したＲＯＩ有効サンプルＢｏｘ３１０１の有効開始サンプルと有効サンプル継続数のセットの代わりに、ビデオ・シーケンスの識別子であるシーケンスＩＤを有効シーケンスＩＤとして格納する。

例えばメディアファイル中にシーケンスＩＤが０〜３である４つのビデオ・シーケンスが含まれ、シーケンスＩＤが１及び３のビデオ・シーケンスにのみ注目対象が含まれる場合には、ＲＯＩ有効サンプルＢｏｘ３１０１のデータ本体である有効シーケンスＩＤとして１と３が格納される。

このように各注目領域に注目対象が含まれるか否かを有効サンプルではなく有効シーケンスＩＤに応じて示す場合にも、有効サンプルを使う場合と同じ効果を得ることができる。

＜その他の実施形態＞
図２０は、上記各実施形態に係る処理をプログラムとして実行するコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ２００１は、ＲＡＭ２００２やＲＯＭ２００３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る処理を実行する。

ＲＡＭ２００２は、外部記憶装置２００６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）２００７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ２００２は、ＣＰＵ２００１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ２００２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。

ＲＯＭ２００３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部２００４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ２００１に対して入力することができる。出力部２００５は、ＣＰＵ２００１による処理結果を出力する。また出力部２００５は例えば液晶ディスプレイのような表示装置で構成して処理結果を表示することができる。

外部記憶装置２００６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置２００６には、ＯＳ（オペレーティングシステム）や、上記各実施形態に係る処理をＣＰＵ２００１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置２００６には、処理対象としての各画像が保存されていても良い。

外部記憶装置２００６に保存されているコンピュータプログラムやデータは、ＣＰＵ２００１による制御に従って適宜ＲＡＭ２００２にロードされ、ＣＰＵ２００１による処理対象となる。Ｉ／Ｆ２００７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ２００７を介して様々な情報を取得したり、送出したりすることができる。２００８は上述の各部を繋ぐバスである。

また、本願発明の目的は、上記各実施形態に係る処理を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本願発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本願発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (13)

1. １枚以上のピクチャから構成されるピクチャ群の各ピクチャが、ピクチャ内で符号化順に分割した２つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成方法であって、
   前記スライスは２つ以上の矩形状のタイルに分割されて符号化されており、前記メディアファイルフォーマットは各タイルが属するスライスが、ピクチャ内の何番目のスライスかを示すスライスインデックスＢｏｘを含むことを特徴とするメディアファイル生成方法。
2. 前記スライスは更に、２つ以上の前記タイルから構成されるタイルセットが当該タイルセット外のタイルの復号画素を参照することなく復号が可能な独立復号タイルセットとして符号化されており、前記メディアファイルフォーマットは各独立復号タイルセットがピクチャ内の何番目のスライスから構成されるかを示す独立復号タイルセットスライスインデックスＢｏｘを含むことを特徴とする請求項１に記載のメディアファイル生成方法。
3. 前記メディアファイルフォーマットは、優先度を備えた注目領域であることを示す注目領域タイルセットＢｏｘを含むことを特徴とする請求項２に記載のメディアファイル生成方法。
4. 前記メディアファイルフォーマットは、前記各独立復号タイルセットにおいて有効な情報が含まれている期間を示すＲＯＩ有効サンプルＢｏｘを含むことを特徴とする請求項２に記載のメディアファイル生成方法。
5. １枚以上のピクチャから構成されるピクチャ群の各ピクチャが、ピクチャ内で符号化順に分割した２つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成方法であって、
   前記スライスは２つ以上の矩形状のタイルに分割されて符号化されており、前記メディアファイルフォーマットは各スライス内の先頭のタイルが、ピクチャ内の何番目のタイルかを示すタイルインデックスＢｏｘを含むことを特徴とするメディアファイル生成方法。
6. １枚以上のピクチャから構成されるピクチャ群の各ピクチャが、ピクチャ内で符号化順に分割した２つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成方法であって、
   前記スライスは２つ以上の矩形状のタイルに分割されて符号化されており、前記メディアファイルフォーマットはピクチャの符号化データの先頭から各タイルの符号化データへのオフセットをバイト数で示したタイルオフセットＢｏｘを含むことを特徴とするメディアファイル生成方法。
7. １枚以上のピクチャから構成されるピクチャ群の各ピクチャが２つ以上の矩形状のタイルに分割されて符号化されており、かつ各タイルはタイル内で符号化順に分割した２つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成方法であって、
   前記メディアファイルフォーマットは各タイルが包含するスライスがピクチャ内の何番目のスライスかを示すタイル内スライスインデックスＢｏｘを含むことを特徴とするメディアファイル生成方法。
8. １枚以上のピクチャから構成されるピクチャ群の各ピクチャが、ピクチャ内で符号化順に分割した１つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成方法であって、
   前記スライスが２つ以上の矩形状のタイルに分割され、かつ１つ以上の前記タイルが注目領域として符号化されており、前記メディアファイルフォーマットは各注目領域における識別子又は優先度及び注目領域がピクチャ内の何番目のタイルから構成されるかを示すＲＯＩタイルインデックスＢｏｘを含むことを特徴とするメディアファイル生成方法。
9. １枚以上のピクチャから構成されるピクチャ群の各ピクチャが、ピクチャ内で符号化順に分割した２つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成プログラムであって、
   前記スライスは２つ以上の矩形状のタイルに分割されて符号化されており、前記メディアファイルフォーマットは各タイルが属するスライスが、ピクチャ内の何番目のスライスかを示すスライスインデックスＢｏｘを含むことを特徴とするメディアファイル生成プログラム。
10. １枚以上のピクチャから構成されるピクチャ群の各ピクチャが、ピクチャ内で符号化順に分割した２つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成プログラムであって、
    前記スライスは２つ以上の矩形状のタイルに分割されて符号化されており、前記メディアファイルフォーマットは各スライス内の先頭のタイルが、ピクチャ内の何番目のタイルかを示すタイルインデックスＢｏｘを含むことを特徴とするメディアファイル生成プログラム。
11. １枚以上のピクチャから構成されるピクチャ群の各ピクチャが、ピクチャ内で符号化順に分割した２つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成プログラムであって、
    前記スライスは２つ以上の矩形状のタイルに分割されて符号化されており、前記メディアファイルフォーマットはピクチャの符号化データの先頭から各タイルの符号化データへのオフセットをバイト数で示したタイルオフセットＢｏｘを含むことを特徴とするメディアファイル生成プログラム。
12. １枚以上のピクチャから構成されるピクチャ群の各ピクチャが２つ以上の矩形状のタイルに分割されて符号化されており、かつ各タイルはタイル内で符号化順に分割した２つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成プログラムであって、
    前記メディアファイルフォーマットは各タイルが包含するスライスがピクチャ内の何番目のスライスかを示すタイル内スライスインデックスＢｏｘを含むことを特徴とするメディアファイル生成プログラム。
13. １枚以上のピクチャから構成されるピクチャ群の各ピクチャが、ピクチャ内で符号化順に分割した１つ以上のスライスから構成され、前記各スライスの符号化データを格納するＮＡＬユニットデータを単位として、各ピクチャの符号化データを格納するメディアファイルフォーマットを用いてメディアファイルを生成するメディアファイル生成プログラムであって、
    前記スライスが２つ以上の矩形状のタイルに分割され、かつ１つ以上の前記タイルが注目領域として符号化されており、前記メディアファイルフォーマットは各注目領域における識別子又は優先度及び注目領域がピクチャ内の何番目のタイルから構成されるかを示すＲＯＩタイルインデックスＢｏｘを含むことを特徴とするメディアファイル生成プログラム。
    

Images