JP2013102298A - 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム - Google Patents

Abstract

【課題】 フレーム内における符号化処理順序と出力画素の順序が異なる場合に大量のメモリを必要とすると共に処理の遅延時間が大きい。
【解決手段】 画像復号装置が復号可能な処理の組み合わせを示すプロファイル及び画像復号装置が復号可能なパラメータ値の範囲を示すレベルを算出し、特定のプロファイルにおいて前記レベルに応じて予め定められている最大水平画素数であるＮ以下（Ｎ＞０）となるように前記タイルの水平画素数もしくは水平タイル数を決定し、また、特定のプロファイルにおいて前記レベルに応じて予め定められている最大垂直画素数であるＭ以下（Ｍ＞０）となるように前記タイルの垂直画素数もしくは垂直タイル数を決定し、決定されたタイルの水平画素数及び垂直画素数もしくはタイル数に応じて各フレームを分割して符号化する。
【選択図】 図１

Description

本発明は画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特に各フレームが矩形状のタイルに分割された画像の符号化方法・復号方法に関する。

現在デジタル技術の進展によりデジタルカメラ・デジタルビデオカメラにおける高解像度でのデジタル動画像撮影が広く普及している。またデジタル動画の高解像度化に伴い、撮影された動画からユーザの好みのフレームを抽出して静止画としてプリントしたいというユーザのニーズも同時に高まっている。この動画からフレームを抽出してプリントすることを本願発明においては動画フレームプリントと呼ぶ。

デジタル動画像はフラッシュメモリに代表される記録媒体に効率良く記録するため一般に圧縮（符号化）されており、動画像の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、Ｈ．２６４）が広く使用されている。（非特許文献１）
Ｈ．２６４におけるマクロブロックの処理順序を図１９に示す。図１９（ａ）に示されるように符号化処理は１フレームを１６画素×１６画素から成るマクロブロック単位に分割して符号化処理が行われる。フレーム内においては左上のマクロブロックから順に右上→左下→右下の順で符号化が行われる。復号処理においては符号化処理と同じ処理順序で復号が行われ、復号した画像を出力する。またＨ．２６４においてはエラー耐性を高める等の目的のため１枚のフレームを複数のスライスに分割するマルチスライス構造が採用されている。スライスは１つ以上のマクロブロックで構成されている。図１９（ｂ）にマルチスライス構造及び符号化・復号の順序を示す。

近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始されて、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。ＪＣＴ−ＶＣでは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式（以下、ＨＥＶＣ）の標準化が進められている。

ＨＥＶＣの標準化にあたっては、種々の符号化方法が、符号化効率向上のみならず実装の容易性や処理時間の短縮といった点も含めて幅広く検討されている。その中には、符号化・復号の並列処理等を可能にする、Ｔｉｌｅと呼ばれる手法がある。（非特許文献２）
Ｔｉｌｅを用いることによって、符号化・復号の並列処理による高速化を実現すると共に符号化装置・復号装置が備えるメモリ容量を削減することが可能となっている。

特開２００９−１９４７４８

ＩＴＵ−Ｔ Ｈ．２６４ （０３／２０１０） Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏ ｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｆ３３５．ｄｏｃ インターネット＜ ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／６＿Ｔｏｒｉｎｏ／ｗｇ１１／ ＞

デジタル動画においてはフルハイビジョン（水平１９２０画素×垂直１０８０画素）のように横長のフレームが一般的に使用されている。一方、動画フレームプリントのユースケースにおいては主にプリンタ本体の機構上の制約から横長のフレームをプリントする際にはフレームの垂直画素列単位で水平方向に（左端の画素列から右端の方向）プリントされることが一般的である。

図２０を用いて動画フレームプリントにおける復号とプリント処理のための画像出力の処理順序を示す。図２０は水平方向ｐ個、垂直方向ｑ個のマクロブロックから成るフレームを示したものであり、図中の数字は各マクロブロックの空間座標を示す。前述のようにＨ．２６４での復号処理はマクロブロック単位のラスタ・スキャン順である。図２０では（０，０）→（０，１）→（０，２）→ ・・・ →（０，ｐ−１）→（１，０）→（１，１）→ ・・・ →（１，ｐ−１）→（２，０）→ ・・・ →（ｑ−１，０）→ ・・・ →（ｑ−１，ｐ−１）の順に処理が行われる。一方、動画フレームプリントにおけるプリント処理は（０，０）〜（ｑ−１，０）の左端のマクロブロック列が最初に必要な領域である。その後（０，１）〜（ｑ−１，１）、（０，２）〜（ｑ−１，２）、のマクロブロック列が順次必要となり、復号における処理順序とは異なっている。

Ｈ．２６４の復号処理において（ｑ−１，０）のマクロブロックの復号が完了するのは１フレーム処理の完了直前であり、プリント処理は１フレームの復号処理がほぼ完了するまで出力画素を得ることができない。
このように、動画フレームプリントのような動画復号の処理順序と異なる処理順序で出力画像が必要なユースケースにおいては、プリント処理が処理対象フレームの大部分の復号処理の完了を待つ必要がある。この待ち時間は動画フレームプリントの処理時間増大を招き、ユーザの利便性を損なうという問題があった。

また上記のようにプリント処理が１フレームの復号完了を待つためには、復号したフレーム全体をメモリに保持する必要がある。プリンタ本体がＨ．２６４等の動画の復号処理を行う場合には追加メモリ領域が必要となりプリンタ本体のコストが増大してしまうという問題もあった。

この点、特許文献１においてはプリンタ内部における限られたメモリサイズにおいて復号処理と異なる処理順序での出力が必要な場合に、符号化された画像ファイルを複数回復号する方法が記されている。しかしながら圧縮されたファイルを複数回復号する際には処理時間が長くなり、前記処理時間増大の課題を十分に解決できるものではない。

本発明は上記課題を鑑みて提案されたものであり、動画フレームプリントのように復号の処理順序と画素出力の処理順序が異なるユースケースにおいて処理の高速化及びメモリコストを低減することを目的とする。

上記の課題を解決するため、本発明の画像符号化装置は、１枚以上の画像フレームの各フレームを複数の矩形状のタイルに分割し、それぞれのタイルを符号化する画像符号化装置であって、画像復号装置が復号可能な処理の組み合わせを示すプロファイル及び画像復号装置が復号可能なパラメータ値の範囲を示すレベルを算出する算出手段と、特定のプロファイルにおいて前記レベルに応じて予め定められている最大水平画素数であるＮ以下（Ｎ＞０）となるように前記タイルの水平画素数もしくは水平タイル数を決定し、また、特定のプロファイルにおいて前記レベルに応じて予め定められている最大垂直画素数であるＭ以下（Ｍ＞０）となるように前記タイルの垂直画素数もしくは垂直タイル数を決定する決定手段と、決定されたタイルの水平画素数及び垂直画素数もしくはタイル数に応じて各フレームを分割して符号化する符号化手段とを有することを特徴とする。

画像復号装置が復号可能な処理の組み合わせを示すプロファイル及び画像復号装置が復号可能なパラメータ値の範囲を示すレベルを含み、特定のプロファイルにおけるタイルの水平画素数が最大水平画素数であるＮ以下（Ｎ＞０）もしくはタイルの垂直画素数が最大垂直画素数であるＭ以下（Ｍ＞０）に制限され、前記タイルの最大垂直画素数及びタイルの最大垂直画素数は前記レベルに応じて定められる画像符号化フォーマットで符号化された符号化ストリームを復号することを特徴とする。

本発明によれば動画復号の処理順序と異なる処理順序で出力画像が必要なユースケースにおいても、復号処理の完了を待つことなく画素出力処理を開始することができ、処理時間を短縮することができる。また出力用メモリにおいてもフレーム全体を保持する必要が無いためメモリサイズを削減し、低コスト化を実現することが可能になる。またプロファイルに応じて最大タイルサイズを規定することにより復号時に発生する最大処理時間及び最大メモリサイズをより好ましい値として規定することが可能となる。

実施形態１の画像復号装置を示す図 実施形態１のタイル分割の例を示す図 実施形態１の符号化ストリームの例を示す図 実施形態１のタイルサイズが異なる場合のタイル分割の例を示す図 実施形態１タイルサイズの制限を示す図 実施形態２の各フレームの復号フローチャートを示す図 実施形態２の各タイルの復号フローチャートを示す図 実施形態３の符号化ストリームの例を示す図 実施形態３のタイル分割を示す図 実施形態３のタイルサイズの制限を示す図 実施形態４のタイルサイズの制限を示す図 実施形態４のタイル分割を示す図 実施形態５のタイルサイズの制限を示す図 実施形態５の画像復号装置を示す図 本発明において使用可能なタイプの異なるプリンティング・プロファイルのリストを示す図 実施形態６の画像符号化装置を示す図 実施形態７の各フレームの符号化フローチャートを示す図 実施形態７の各タイルの符号化フローチャートを示す図 Ｈ．２６４における符号化・復号の処理順序及びマルチスライス構造を示す図 Ｈ．２６４におけるマクロブロック位置を示す図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
本発明の実施形態１においては非特許文献２と同様に１フレームが複数の矩形状の領域であるＴｉｌｅ（タイル）に分割される。このタイル分割を行うと分割後のタイルの水平画素数をＨ．２６４のスライス分割されたスライスより小さくすることができる。よって符号化・復号のより柔軟な並列処理が可能になると共にシステムＬＳＩとして実装した時のオンチップメモリ（ＳＲＡＭ）の容量削減が可能になる。

図２に実施形態１におけるタイル構造及びブロックを示す。図２においては水平１９２０画素×垂直１０８８画素のフレームが６個のタイルに分割された様子を示している。各タイルサイズはブロックの逓倍であり、図２において各タイルは水平１０個×垂直３４個のブロックから構成される。図中の番号はフレーム中における各ブロックの空間座標を示す。本発明の符号化フォーマットではブロック単位で符号化が行われ、ブロックは水平３２画素×垂直３２画素で構成されている（各タイルは水平３２０画素×垂直１０８８画素を有する）。なお本発明におけるブロックのサイズは水平３２画素×垂直３２画素に限定されず、水平１６画素×垂直１６画素や水平６４画素×垂直６４画素等のサイズも使用することが可能である。

本実施形態において各タイルは画面内予測やフレーム間予測及びフィルタ処理において他のタイルを参照することなく独立して符号化される。復号時にも他のタイルを参照することなく独立して復号することが可能である。タイル間の依存性を無くすことにより複数のタイルを並列に符号化・復号することが可能である。

各タイル内部における符号化及び復号順序はラスタ・スキャン順であり、図２のタイル１においては（０，０）→（０，１）〜（０，９）→（１，０）→（１，１）〜（１，９）〜（３３，８）→（３３，９）の順序で復号される。

図３に実施形態１におけるタイル分割を含んだ画像符号化ストリーム（以下、ストリーム）の例を示す。図３においてストリームの先頭付近に挿入されるシーケンス・パラメータ・セットに復号可能な処理の組み合わせを示すプロファイル、復号可能なパラメータ値の範囲を示すレベル、フレームの水平・垂直画素数に加えてタイル情報を挿入することが可能である。

タイル情報としてまずフレーム内の水平タイル数、垂直タイル数の情報が挿入される。図３においてはＮｕｍＴｉｌｅｓＨ， ＮｕｍＴｉｌｅｓＶであり、それぞれ非特許文献２に記載のｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１， ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１に相当する。ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１及びｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１はそれぞれフレーム内の水平タイル数、垂直タイル数から１を減じた数を示す。

水平タイル数もしくは垂直タイル数が２以上の場合（タイル分割が行われる場合）には続いて各タイルの大きさが同じであるか否かを示す情報であるｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ（非特許文献２記載）が挿入される。本実施形態では各タイルが同じサイズを使用することを仮定しておりｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ＝１である。なお後述の実施形態３で示すようにｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ＝０である時にも本発明は適用可能である。

非特許文献２に記載されているようにｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ＝１の場合の各タイルの水平・垂直画素数はフレーム水平・垂直画素数及び前記水平・垂直タイル数から除算により求めることができる。なおｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ＝１の時にもフレームサイズとタイル数の関係により各タイルのサイズがわずかに異なる場合がある。図４に水平１２８０画素×垂直８００画素のフレームにおいて水平タイル数が４、垂直タイル数が３である例を示す。

なお本発明におけるタイル情報の挿入位置はシーケンス・パラメータ・セットに限定されず、例えばピクチャ・パラメータ・セットやスライス・ヘッダの一部として挿入することも可能である。

図１に前記画像符号化フォーマットに従ったストリームを復号する画像復号装置の内容を示す。図１記載の画像復号装置は図示されるようにストリーム解析器１０１、全体制御器１０２、タイルサイズ解析器１０３、動き補償器１０４、予測残差復号器１０５、加算器１０６、画面内補償器１０７、加算器１０８、画面内補償用メモリ１０９、選択器１１０、フィルタ処理器１１１、画素出力器１１２、動き補償用メモリ１１３、画像出力用メモリ１１４から構成される。

ストリーム解析器１０１は符号化ストリームを入力し、タイル情報を含むヘッダ情報、動きベクトル及び符号化された予測残差の分離を行う。全体制御器１０２はストリーム解析器１０１からヘッダ情報を受け取り、レベル・プロファイル及び様々な符号化モード・符号化パラメータ（動き予測もしくは画面内予測、画面内予測モード）を解析する。全体制御器１０２は解析した符号化モード・符号化パラメータに応じて各処理の制御を行う。タイルサイズ解析器１０３はストリーム解析器１０１から水平・垂直タイル数等のタイル情報を受け取りタイルの水平・垂直画素数の算出を行う。算出された水平・垂直画素数及びタイル間の依存性等の情報は関連する各処理に伝達される。

復号処理対象ブロックの符号化モードが動き予測である場合、動き補償器１０４は動きベクトル及びタイル情報に応じて、動き予測のための復号された画像が記録されている動き補償用メモリ１１３に対するアドレスを生成する。動き補償用メモリ１１３から読み込んだ参照画像を用いて動き補償器１０４は動き補償のための参照ブロックを生成する（動きベクトルが非整数値を示す場合にはフィルタ処理等を施す）。また本実施形態は前述のように他のタイルを参照せずに符号化された（ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｉｎｄｅｐｅｎｄｅｎｃｅ＿ｉｄｃ＝１である）ことを前提としている。前記参照ブロック生成に使用する画素がタイル外に位置する場合には予め定められた画素値への置換を行う。

予測残差復号器１０５は前記符号化された予測残差のエントロピー復号（可変長復号もしくは算術復号）及び逆量子化、逆直交変換を行い、予測残差を生成する。加算器１０６は動き補償器１０４から出力される参照ブロックと予測残差復号器１０５で復号された予測残差の加算を行う。

復号処理対象ブロックの符号化モードが画面内予測で符号化されたブロックである場合、画面内補償器１０７は画面内予測モードに対応した画素を画面内補償用メモリ１０９から読み込み参照ブロックを生成する。なお画面内補償器１０７においてもタイル情報を参照したタイル外に位置する画素の置換を行う。加算器１０８は画面内補償器１０７から出力される参照ブロックと予測残差の加算を行う。加算後の復号された画素は後続ブロックの画面内補償のため画面内補償用メモリ１０９へと記録される。

選択器１１０は符号化モードに応じて加算器１０６もしくは加算器１０８のいずれかの出力を選択する。加算後の復号された画像は後続ブロックの画面内補償のため画面内補償用メモリ１０９へと記録される。フィルタ処理器１１１は選択器１１０の出力を受け取りデブロッキング・フィルタ等のフィルタ処理を行う。なおフィルタ処理器１１１においてもタイル情報を参照してタイル外に位置する画素の置換を行う。画素出力器１１２はタイル情報を参照してメモリアドレスを算出し、動き補償用メモリ１１３及び画像出力用メモリ１１４に記録する。

本実施形態での符号化ストリームを復号する際には図２であれば（３３，９）に位置するブロックの復号が完了し、フレーム全体の１／６の復号が完了した時点で左側１／６のプリント処理を開始することが可能である。結果として残り５／６フレームの復号処理とプリント処理を並列して動作させることが可能になり、動画フレームプリントの処理時間を大幅に短縮することができる。またプリントが完了した画素はメモリ上に保持し続ける必要は無く、後続タイルの復号画素の記録に使用することが可能である。結果として図２の構成であれば画像出力用メモリの１／６を復号に、１／６をプリント処理に使用することで必要なメモリサイズは従来の１／３となる（動き補償等、復号の過程で使用するメモリ容量は除く）。

一般に画像復号装置においてはサポート対象のレベル及びプロファイルで符号化されたストリームは全てデコード可能である必要がある。しかしながらフレーム内のタイル数及びタイルサイズは符号化時に決定されるため、前述した動画フレームプリント装置の処理時間短縮及びメモリサイズ削減の効果が得られるかどうかは符号化時にタイル分割が使用されたか否かに依存してしまう。またタイル分割されたストリームであっても各タイルの画素数が適切な数値でない場合には（例えばタイルの水平画素数がフレームの水平画素数と同じなど）前述の効果を得ることができない。プリンタ等の画像復号装置を備えるシステムは設計時にどれほどメモリが必要かを見極めることができず、結果的に１フレーム全体を処理可能なメモリを搭載することになり、コストが増加してしまうという問題があった。

そこで本実施形態における符号化方式においては動画フレームプリント装置に適し、かつメモリサイズ削減が可能なプロファイルとしてタイル分割用プロファイルであるプロファイルを規定する。ここでは便宜上、このプロファイルをプリンティング・プロファイルと称する。例えば、Ｈ．２６４のプロファイルを示すｐｒｏｆｉｌｅ＿ｉｄｃと同様にプロファイルがプリンティング・プロファイルを０ｘ８０とした時には以下の全ての条件を満たさなければならない。

下記条件においてｔｉｌｅ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ（非特許文献２記載）はストリームのヘッダに含まれる情報であり、後続のヘッダにタイルに関する情報が挿入されていることを示している。ｃｏｌｕｍｎ＿ｗｉｄｔｈ［ｉ］、ｒｏｗ＿ｈｅｉｇｈｔ［ｉ］ （共に非特許文献２記載）はそれぞれ各タイルの水平画素数、垂直画素数を示しており、フレームの水平・垂直画素数及び水平・垂直タイル数によって決定される数である。またＭａｘＴｉｌｅＷｉｄｔｈは各タイルの最大水平画素数を、ＭａｘＴｉｌｅＨｅｉｇｈｔは各タイルの最大垂直画素数を示しており、それぞれレベルに応じて予め定められる値である。

・ｔｉｌｅ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ ＝ １
・（ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１ ＞ ０） ＯＲ （ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１ ＞ ０）
・ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ ＝ １
・ｃｏｌｕｍｎ＿ｗｉｄｔｈ［ｉ］ ≦ＭａｘＴｉｌｅＷｉｄｔｈ
・ｒｏｗ＿ｈｅｉｇｈｔ［ｉ］ ≦ＭａｘＴｉｌｅＨｅｉｇｈｔ
図５にプリンティング・プロファイルにおけるタイルサイズ制限の例を示す。左側のベースライン・プロファイルはタイルサイズに制限を加えない従来のプロファイルであり、レベルに依存せず符号化時にはどのようなタイルサイズも使用することが可能である。一方で本発明のプリンティング・プロファイルにおいては図中に示されるようにタイルの水平・垂直画素数をレベルに応じた特有の値に制限する。このプリンティング・プロファイルのみをサポート対象とする画像復号装置においては、最大タイルサイズを超える符号化ストリームはサポート外ストリームとみなし、復号を行う必要は無い。よって画像復号装置が搭載すべき最大メモリ容量を一定の量以下に削減することが可能になる。図１の画像復号装置においてこれを実現する場合、全体制御器１０２はプリンティング・プロファイルでありかつ算出されたタイルサイズが最大タイルサイズを超える場合には外部にサポート外ストリームである旨を通知し、復号処理を中止する。

本発明は上記構成に限定されるものではなく、プリンティング・プロファイルにおける各タイルの最大水平画素数及び最大垂直画素数として任意の値を規定することが可能である。また特定のプロファイルとレベルの組み合わせに限定されるものではなく、例えばプロファイルのみで最大水平画素数及び最大垂直画素数を規定することも可能である。またタイルサイズに関する制限をタイルの水平画素数もしくは垂直画素数のいずれかのみに適用することも可能である。

サポートするストリームをタイルサイズに制限を設けたプリンティング・プロファイルに限定することでプリンタ等の画像復号装置は必要なメモリサイズ（最大使用メモリサイズ）を機器設計時に把握することができ、かつメモリコストを削減することができる。またプリンティング・プロファイルで符号化されたストリームの動画フレームプリント装置による処理時間の短縮を実現することが可能となる。

なお、タイルの分割数などもこれに限定されず、プロファイルの名称やプロファイルを示す値もこれに限定されない。

特に動画フレームプリントにおいては、タイルの垂直画素数をフレームの垂直画素数と同じにすることにより、より高速な処理が可能になる。よってより高速な処理を実現するために、タイルの垂直画素数をフレームの垂直画素数と同じ数に限定するハイ・プリンティング・プロファイルを設けることも可能である。このハイ・プリンティング・プロファイルにおけるタイルの最大垂直画素数はフレームの最大垂直画素数と同じ数に限定される。

更に各タイルはラスタ・スキャン順でストリームに多重化されることを基本とする（図２及び図４ではタイル１→タイル２→タイル３の番号順である）。しかし本発明においてはプリントの処理順序により近くなるよう、フレームの左端のタイル列を優先して多重化することも可能である。この場合、図４においてタイル１→タイル５→タイル９→タイル２の順序で多重化が行われる。またタイルの処理順序をヘッダ中に含めることも可能である。

このようにタイル間の多重化順序をプリント処理に近い順序にすることにより動画フレームプリントの更なる高速化を実現することが可能である。

＜実施形態２＞
本発明における符号化ストリームの復号はＣＰＵ上のソフトウェア・プログラムとして実現することも可能である。図６及び図７に１フレームを復号するプログラムのフローチャートを示す。なお符号化ストリームのフォーマット及びタイルの分割については実施形態１と同様の構成を使用するものとする。

まずステップＳ６０１において、符号化ストリーム中のヘッダ情報を解析し、レベル・プロファイル、タイル情報（タイル数・タイル間の依存性、各タイルが同じ大きさか否か等）を抽出する。ステップＳ６０２において、ステップＳ６０１で得られたタイル情報から各タイルのタイルサイズを決定する。さらにフレームに含まれる総タイル数を算出する。ステップＳ６０３において、プロファイルがプリンティング・プロファイルであるか否かを判断する。プリンティング・プロファイルの場合にはタイルサイズの確認を行うためにステップＳ６０４に進み、プリンティング・プロファイル以外のプロファイルの場合にはサポート外のため復号できないストリームであることを通知して終了する。

ステップＳ６０４において、ステップＳ６０１で抽出されたプリンティング・プロファイルのレベルに応じて規定された各タイルの最大水平・垂直画素数であるＭａｘＴｉｌｅＷｉｄｔｈ、ＭａｘＴｉｌｅＨｅｉｇｈｔを算出する。ステップＳ６０５及びステップＳ６０６において、各タイルの水平画素数、垂直画素数がステップＳ６０４で算出された最大数以下であることを確認し、いずれかが最大数を超える場合には復号できないストリームであることを通知して終了する。ステップＳ６０７及びステップＳ６０８において、フレーム内の全タイルの復号処理を繰り返し行う。符号化ストリームが複数の画像フレームから構成される場合には最終フレームまでステップＳ６０１〜ステップＳ６０８を繰り返す。

図７に各タイルの復号処理のフローチャートを示す。ステップＳ７０１において、ブロック毎のヘッダ情報から復号対象ブロックの符号化モード及び符号化パラメータを抽出する。ステップＳ７０２において、エントロピー復号（可変長復号もしくは算術復号）、逆量子化、逆変換処理を行い、予測残差を復号する。ステップＳ７０３において、ステップＳ７０１で復号対象ブロックの符号化モードを判定し、画面内予測モードで符号化されたか動き予測モードで符号化されたかの判断を行う。動き予測モードであればステップＳ７０４に進み、画面内予測モードであればステップＳ７０６に進む。

ステップＳ７０４において、動き補償を行うための動きベクトルを符号化ストリームから抽出し復号する。ステップＳ７０５において動き補償処理として、ステップＳ７０４で生成された動きベクトルを使用して動き補償用の参照ブロックの生成及び参照ブロックと予測誤差の加算を行う。ステップＳ６０２において解析されたタイルサイズを参照し、実施形態１と同様にタイル外に位置する参照画素の置き換えを行う。

ステップＳ７０６において、ステップＳ７０１で抽出された画面内予測モードに応じた画面内補償を行う。実施形態１と同様にタイル外に位置する画素の置き換えを行う。ステップＳ７０７において、動き補償もしくは画面内補償されて復号されたブロックに対してデブロッキング・フィルタ等のフィルタ処理を行う。実施形態１と同様にタイル外に位置する画素の置き換えを行う。ステップＳ７０８において、タイル内の全ブロックの復号処理が完了していない場合にはステップＳ７０１に戻り、全ブロックの復号処理が完了するとタイル復号が終了となる。なお本実施形態２も実施形態１同様、タイルサイズ及びタイルの分割数などもこれに限定されない。

上記のようにプログラムで画像復号処理を実現した場合にもソフトウェアで実現することで前記実施形態１と同等の効果を実現することができる。

なお、本実施形態ではプロファイルがプリンティング・プロファイル以外であった場合に処理を終了したが、これに限定されず、復号処理のメモリ割り当てを増やすなどして復号することももちろん可能である。但し、この場合は処理が高速化される効果は失われる。

＜実施形態３＞
本発明の実施形態３における符号化フォーマットは実施形態１とは異なるタイル分割及び最大タイルサイズを使用する。総画素数を制限することで、実施形態１と同様のメモリサイズを削減する効果をより柔軟な形式で実現することができる。

図８に実施形態３におけるタイル分割を含んだ符号化ストリームの例を示す。実施形態３では各タイルで異なるタイルサイズを用いるため前記ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃを０とする。ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃの後にタイルの水平画素数（前記ｃｏｌｕｍｎ＿ｗｉｄｔｈ［ｉ］）が水平タイル数分、タイルの垂直画素数（前記ｒｏｗ＿ｈｅｉｇｈｔ［ｉ］）が垂直タイル数分挿入されている。図９に実施形態３におけるタイル分割の例を示す（水平タイル数が３、垂直タイル数が３の例である）。

実施形態３においては水平画素数と垂直画素数の積、すなわちタイル内の総画素数を制限するものとする。よって本実施形態においてプロファイルがプリンティング・プロファイルを示す値、例えばＨ．２６４でも使用されているｐｒｏｆｉｌｅ＿ｉｄｃが０ｘ８０である時には以下の全ての条件を満たさなければならない。下記条件においてＭａｘＴｉｌｅＳｉｚｅはタイル内の最大総画素数でありレベルに応じて定められる。その他の変数は実施形態１と同じ内容を示す。

・ｔｉｌｅ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ ＝ １
・（ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１ ＞ ０） ＯＲ （ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１ ＞ ０）
・ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃ ＝ ０
・ｃｏｌｕｍｎ＿ｗｉｄｔｈ［ｉ］×ｒｏｗ＿ｈｅｉｇｈｔ［ｉ］≦ＭａｘＴｉｌｅＳｉｚｅ
例として符号化ストリーム中のプロファイルがプリンティング・プロファイルである場合には図１０に示すようなテーブルに応じてタイル内の総画素数ＭａｘＴｉｌｅＳｉｚｅが制限される。

復号装置については実施形態１と同様の構成である。

このようにタイルサイズをタイル内の総画素数により制限しても実施形態１と同様の効果を実現することができる。

またこのように他のタイルを参照して符号化することにより符号化・復号処理の並列性はやや落ちるもののタイル境界での画質劣化発生を抑制することができる。

更に本実施形態の構成は実施形態２のようにソフトウェア・プログラムにより実現することも可能である。本実施形態では、ステップＳ６０４でＭａｘＴｉｌｅＳｉｚｅを算出し、ステップＳ６０５の条件がｃｏｌｕｍｎ＿ｗｉｄｔｈ［ｉ］×ｒｏｗ＿ｈｅｉｇｈｔ［ｉ］≦ＭａｘＴｉｌｅＳｉｚｅに代わることで実現される。

＜実施形態４＞
本発明の実施形態４における符号化ストリームはタイル情報を省略可能なフォーマットである（前記ｔｉｌｅ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝０）。符号化ストリームがプリンティング・プロファイルである場合にはｔｉｌｅ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝０であっても自動的にタイル分割が行われる。

実施形態４においては図１１のテーブルに示すように各レベルの制限値である最大タイル水平・垂直画素数もしくはタイル内の最大総画素数がタイルサイズとして使用される。図１２に本実施形態におけるタイル分割の例を示す。なお画像復号装置は実施形態１と同様の構成を使用する。

図１１（ａ）はタイルの制限値である最大タイル水平・垂直画素数がタイルサイズとして使用される例である。図１１（ａ）のレベル２（Ｍｉｄｄｌｅレベル）に対応したタイル分割の例を図１２（ａ）に示す。

また本実施形態は更に図１１（ｂ）のテーブルに示すように各レベルの制限値としてタイル内の最大総画素数を使用することも可能である。この場合各タイルの水平画素数及び垂直画素数はプロファイルとレベルに応じて予め定められるタイルのアスペクト比に応じて決定される。図１１（ｂ）のプリンティング・プロファイルのレベル２（Ｍｉｄｄｌｅレベル）に対応し、更にタイルのアスペクト比として水平１：垂直３を使用した際のタイル分割を図１２（ｂ）に示す。なお予め定められるタイルのアスペクト比はこれに限定されず、水平４：垂直３や水平１：垂直１等、いかなるアスペクト比も使用可能である。また前記ハイ・プリンティング・プロファイルを使用する場合にはタイルの垂直画素数がフレームの垂直画素数と同じ数に限定されるため、タイル内の最大総画素数をフレームの垂直画素数で除算した数がタイルの水平画素数となる。図１１（ｂ）のハイ・プリンティング・プロファイルのレベル２（Ｍｉｄｄｌｅレベル）に対応したタイル分割を図１２（ｂ）に示す。なお上記タイル内の最大総画素数を用いたタイルの水平画素数及び垂直画素数は、タイルサイズがブロックサイズ（本実施形態では水平３２画素×垂直３２画素）の逓倍である、という制約を満たした上で算出される。

符号化ストリームがプリンティング・プロファイルであり、かつタイル情報が省略されている場合（ｔｉｌｅ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝０の場合）、全タイルは同じサイズであることを基本とする。しかし図１２に示されているようにフレーム端においてはタイルサイズが他のタイルよりも小さくなることがある。

このようにストリーム中のタイル情報が省略される場合に最大タイルサイズを適用して自動的にタイル分割することにより、簡易的にタイル分割を行い、処理高速化及びメモリコスト削減を実現できる。またプリンティング・プロファイルにおいて規定される最大タイルサイズと符号化ストリームから算出されるタイルサイズが矛盾したストリームの発生リスクを低下させ、符号化・復号関連機器間の相互運用性を高めるという効果も備える。

なお前記アスペクト比はシーケンス・パラメータ・セット等、ヘッダ情報の一部としてストリームに含めることも可能である。アスペクト比をストリームに含めることによりヘッダ情報量及び解析処理の処理量は増加するものの、符号化時に様々なアスペクト比を使用することができるという効果を有する。

また本実施形態の構成は実施形態２のようにソフトウェア・プログラムにより実現することも可能である。この場合、ステップＳ６０５は常に正常に通過する。

また本実施形態で前記アスペクト比がストリームに含まれる場合、ステップＳ６０１でアスペクト比についても解析し、ステップＳ６０４で最大総画素数とアスペクト比によってタイルサイズを決定することに代わることで実現する。

＜実施形態５＞
本発明の実施形態５における符号化ストリームは実施形態４同様、タイル情報を省略可能なフォーマットである（前記ｔｉｌｅ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝０）。符号化ストリームがプリンティング・プロファイルである場合にはｔｉｌｅ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝０であっても自動的にタイル分割が行われる。タイルサイズは図１３のテーブルに示すようにレベルに応じたデフォルト値（各レベルのタイル水平・垂直画素数の１／２をデフォルト値として使用）が使用される。なお画像復号装置は実施形態１と同様の構成を使用する。

また実施形態４に示したように各レベルの制限値としてのデフォルトのタイル内総画素数を使用することも可能である。各タイルの水平画素数及び垂直画素数はデフォルトのタイル内総画素数及び予め定められるタイルのアスペクト比に応じて実施形態４と同じように決定される。

本発明はフレーム間予測を使用した符号化方式に限定されず、図１４のように画面内予測のみを使用したストリームのみをサポート対象とする画像復号装置にも適用することが可能である。図１４の画像復号装置はストリーム解析器１４０１、全体制御器１４０２、タイルサイズ解析器１４０３、予測残差復号器１４０４、画面内補償器１４０５、加算器１４０６、画面内補償用メモリ１４０７、フィルタ処理器１４０８、画素出力器１４０９、画像出力用メモリ１４１０から構成される。各処理は図１の同名の処理と同じ動作を行う（加算器１４０６は加算器１０８と同じ動作を行う）。

このようにストリーム中のタイル情報が省略される場合にデフォルト・タイルサイズを適用することにより実施形態４に比べ、より小さいタイルサイズを使用して必要なメモリサイズをより削減することが可能である。また実施形態４と同様に符号化・復号関連機器間の相互運用性を高めるという効果も得られる。

また画面内符号化のみを使用して符号化されたストリームのみを復号処理対象とすることにより動き補償用メモリが必要無く、メモリコストを更に削減することが可能である。この画面内符号化のみ使用する符号化フォーマットは静止画像にも適用することが可能である。

更に本実施形態の構成は実施形態２のようにソフトウェア・プログラムにより実現することも可能である。本実施形態では図６のステップＳ６０４でデフォルト値に従ってのタイル水平・垂直画素数を算出する。また、ステップＳ６０５は常に正常に通過する。さらに、図７のステップＳ７０３、Ｓ７０４、Ｓ７０５は不要になる。

なお本発明における符号化フォーマットはタイル数やタイル分割は上記実施形態１〜５の構成に限定されるものではない。図１５に本発明において実現可能なタイルサイズ制限の組み合わせテーブルを示す。タイプ１〜４は異なる種類のプリンティング・プロファイルである。また各タイプのプロファイルにおいて実施形態１で示したタイルの垂直画素数をフレームの垂直画素数と同じとしたハイ・プリンティング・プロファイルを定義することが可能である。

ハイ・プリンティング・プロファイル及びプリンティング・プロファイルの各タイプにおいてタイル間で依存性が有る、無い（前記ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｉｎｄｅｐｅｎｄｅｎｃｅ＿ｉｄｃがそれぞれ０、１）のいずれも使用可能である。

＜実施形態６＞
図１６に本発明の画像符号化フォーマットを用いて画像フレームを符号化する画像符号化装置の内容を示す。図１６記載の画像符号化装置は図示されるようにタイルサイズ決定及び全体制御器１６０１、画素入力器１６０２、動き探索器１６０３、画面内予測器１６０４、選択器１６０５、画面内予測用メモリ１６０６、減算器１６０７、予測残差符号化及び局所復号器１６０８、ストリーム多重化器１６０９、加算器１６１０、フィルタ処理器１６１１、動き探索用メモリ１６１２から構成される。

タイルサイズ決定及び全体制御器１６０１には画像符号化装置外部から使用するフレームサイズと共に使用するレベルとプロファイルと共に使用するタイル数が設定される。プロファイルがプリンティング・プロファイルである場合には実施形態１〜実施形態３と同様に、レベルに応じて予め規定された最大タイルサイズ（垂直・水平画素数もしくはタイル内画素数）を上回らないサイズになるようにタイル数が設定されなければならない。なお画像符号化装置外部からタイルサイズを直接設定することも可能であることも可能であるが、最大タイルサイズを上回らないタイルサイズとなるように設定されなければならない。また前述のようにタイルサイズを直接指定する場合には前記ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃは０とする必要がある。

決定されたレベル・プロファイル及びタイル情報等は関連する処理に伝達されると共にヘッダ情報の一部としてストリーム多重化器１６０９でストリームに多重化される。画素入力器１６０２はタイルサイズに応じた入力画像を読み込む。動き探索器１６０３は動き探索用メモリ１６１２から参照画像を読み込み、参照ブロックを生成して最適な動きベクトルの探索を行い、最も発生符号量が少なくなると推定される動きベクトルを決定する。なお実施形態１同様に参照ブロック生成に使用する画素がタイル外に位置する場合には予め定められた画素値への置換を行う。

画面内予測器１６０４は画面内予測用メモリ１６０６から参照画像を読み込み、画面内予測モードに対応した参照ブロックを生成して最適な画面内予測モードの探索を行い、最も発生符号量が少なくなると推定される画面内予測モードを決定する。選択器１６０５は画面内予測器１６０４と動き探索器１６０３で算出された推定符号量を比較し、動き予測もしくは画面内予測を示す符号化モードを決定すると共に、動き探索器１６０３か画面内予測器１６０４のいずれかの参照ブロックを選択する。なお、符号化モードはエントロピー符号化によって符号化されても良い。符号化の減算器１６０７は入力ブロックと参照ブロックの予測（減算）を行う。予測残差符号化及び局所復号器１６０８は減算器１６０７の出力である予測残差の直交変換、量子化及びエントロピー符号化（可変長符号化もしくは算術符号化）を行う。予測残差符号化及び局所復号器１６０８は同時に、後続のブロックの画面内予測もしくは動き予測のために予測誤差の量子化直交変換係数の逆量子化及び逆直交変換を行い、予測誤差を局所復号する。ストリーム多重化器１６０９は予測誤差の符号化データ、符号化モード、動きベクトル及びヘッダ情報等の多重化を行い符号化ストリームとして出力する。

加算器１６１０は予測残差符号化及び局所復号器１６０８は局所復号された予測誤差と選択器１６０５から出力される参照ブロックの加算（動き補償もしくは画面内補償）を行う。加算器１６１０によって復号された画素はフィルタ処理器１６１１に出力されると同時に、後続のブロックの画面内予測のために画面内予測用メモリ１６０６に記録される。フィルタ処理器１６１１は復号されたブロックについてデブロッキング・フィルタ等のフィルタ処理を施す。フィルタ処理された復号画像は動き探索用メモリ１６１２に記録される。

本発明の画像符号化装置は特定のタイル数やタイルサイズに限定されない。画像符号化装置においても図１５に示した全てのプリンティング・プロファイル及びハイ・プリンティング・プロファイルのタイプに準拠した符号化ストリームを生成することが可能である。

また本発明の画像符号化装置はタイル間の依存性（ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｉｎｄｅｐｅｎｄｅｎｃｅ＿ｉｄｃ）についても限定されない。全てのプリンティング・プロファイルのタイプにおいてタイル境界での画質劣化を避けるためにタイル間で画素間の依存性を持たせて符号化することも可能であるし、より並列性を高めて符号化するためにタイル間の依存性無しに符号化することも可能である。図１６においては動き探索器１６０３、画面内予測器１６０４、フィルタ処理器１６１１がタイル間の依存性を考慮して符号化処理を行う。

使用するタイルの数及びタイルサイズは特定の数値に限定されない。また実施形態４及び実施形態５のように最大タイルサイズもしくはデフォルト・タイルサイズによりタイル分割を行いつつも、ヘッダにタイル情報を含めずに（ｔｉｌｅ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝０）符号化することも可能である。また実施形態５で記述されるように画面内予測のみを用いて符号化する画像符号化装置にも適用することが可能である。

上記のように符号化時にプロファイルに応じてタイルサイズの制限を設けることにより、前記プリンティング・プロファイルやハイ・プリンティング・プロファイルに限定した低コストの復号装置で復号可能なストリームを生成することができる。また当該ストリームは動画フレームプリント装置でのプリント時の処理時間がより短くなる効果も得られる。

＜実施形態７＞
実施形態６の画像符号化装置はＣＰＵ上のソフトウェア・プログラムとして実現することも可能である。図１７及び図１８に実施形態７における１フレームを符号化するプログラムのフローチャートを示す。

まずステップＳ１７０１において、プログラム外部から使用するフレームサイズを設定する。ステップＳ１７０２においてプログラム外部から使用するレベル・プロファイルを設定する。ステップＳ１７０３において、プロファイルがプリンティング・プロファイルである場合にはステップＳ１７０４に進み、その他のプロファイルである場合にはステップＳ１７０６に進む。ステップＳ１７０４において、レベルに応じて予め規定されている、タイルの最大水平画素数及び最大垂直画素数を算出する。

ステップＳ１７０５において、タイルサイズがステップＳ１７０４で算出された最大水平・垂直画素数の範囲内になるように水平タイル数及び垂直タイル数を決定し、各タイルのタイルサイズを算出する。なお実施形態６と同様に外部から直接タイルサイズを設定することも可能である（その際には前記ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃを０とする必要がある）。ステップＳ１７０６において、フレームサイズより小さい範囲で任意のタイル数及びタイルサイズを使用する。水平タイル数＝１、垂直タイル数＝１としてタイル分割を行わないことも可能である。ステップＳ１７０７において、決定されたタイル情報を符号化ストリームへ多重化する。ステップＳ１７０８及びステップＳ１７０９において、フレーム内の全てのタイルの符号化を行う。

図１８に各タイルの符号化処理のフローチャートを示す。ステップＳ１８０１において各ブロックの画面内予測モードの探索を行い、予測残差から発生符号量を推定する。ステップＳ１８０２において、タイル内の各ブロックの動きベクトルを探索し、予測残差から発生符号量を推定する。なお処理対象フレームが画面内符号化フレームである場合には本ステップは省略される。ステップＳ１８０３において動き予測の推定符号量と画面内予測の推定符号量を比較し、比較結果である符号化モードに応じてステップＳ１８０４以降の動き予測もしくはステップＳ１８０７以降の画面内予測を行う。

ステップＳ１８０４においてステップＳ１８０２において探索された動きベクトルを用いて動き予測を行う。さらに符号化モードが動き予測モードであることを符号化し、探索された動きベクトルを符号化し、符号化ストリームへの多重化を行う。ステップＳ１８０５において実施形態６の予測残差符号化及び局所復号器１６０８と同様に符号化データの生成及び予測残差の局所復号を行う。ステップＳ１８０６において局所復号された予測残差の動き補償を行う。ステップＳ１８０７においてステップＳ１８０１において探索された画面内予測モードを用いて画面内予測を行う。さらに探索された符号化モードが画面内予測モードであることを示す情報と画面内予測モードを符号化し、符号化ストリームへの多重化を行う。

ステップＳ１８０８においてステップＳ１８０５と同様に符号化データの生成及び予測残差の局所復号を行う。ステップＳ１８０９において局所復号された予測残差の画面内補償を行う。ステップＳ１８１０において符号化された予測残差の符号化ストリームへの多重化を行う。この時に動きベクトルもしくは画面内符号化モードについても同じく符号化ストリームへ多重化される。ステップＳ１８１１においてタイル内の全ブロックの符号化が完了したと判断されるとタイルの符号化が完了する。

本実施形態７も実施形態６と同様、特定のタイル数やタイルサイズに限定されるものではなく。いかなるｔｉｌｅ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｔｉｌｅ＿ｂｏｕｎｄａｒｙ＿ｉｎｄｅｐｅｎｄｅｎｃｅ＿ｉｄｃ、ｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｉｄｃの組み合わせについても使用することが可能である。上記のようにプログラムで画像符号化処理を実現した場合にも前記実施形態６と同等の効果を実現することができる。

なお、本発明の説明において、動画像から１フレームを指定してプリントアウトする例について説明したが、これに限定されない。例えば、複数フレームから静止画を合成するような方法に対しても有効である。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (10)

1. １枚以上の画像フレームの各フレームを複数の矩形状のタイルに分割し、それぞれのタイルを符号化する画像符号化装置であって、
   画像復号装置が復号可能な処理の組み合わせを示すプロファイル及び画像復号装置が復号可能なパラメータ値の範囲を示すレベルを算出する算出手段と、
   特定のプロファイルにおいて前記レベルに応じて予め定められている最大水平画素数であるＮ以下（Ｎ＞０）となるように前記タイルの水平画素数もしくは水平タイル数を決定し、また、特定のプロファイルにおいて前記レベルに応じて予め定められている最大垂直画素数であるＭ以下（Ｍ＞０）となるように前記タイルの垂直画素数もしくは垂直タイル数を決定する決定手段と、
   決定されたタイルの水平画素数及び垂直画素数もしくはタイル数に応じて各フレームを分割して符号化する符号化手段とを有することを特徴とする画像符号化装置。
2. 前記プロファイルはタイル分割用プロファイルであることを特徴とする請求項１に記載の画像符号化装置。
3. 前記タイルの水平画素数及び垂直画素数もしくはタイルの数をヘッダ情報として含むことを特徴とする請求項１に記載の画像符号化装置。
4. 前記タイルの水平画素数及び垂直画素数もしくはタイルの数をヘッダ情報として符号化ストリーム中に含めこむことができない場合に、前記特定のプロファイル及び前記レベルにより定められたタイルの最大水平画素数及び最大垂直画素数をタイルサイズとして使用して符号化することを特徴とする請求項３に記載の画像符号化装置。
5. 前記タイルの水平画素数及び垂直画素数もしくはタイルの数をヘッダ情報として符号化ストリーム中に含めない場合に、特定のプロファイル及び前記レベルにより定められた特定のタイル内の最大総画素数から予め定められたタイルのアスペクト比に応じて決定されるタイルサイズを使用して符号化することを特徴とする請求項３に記載の画像符号化装置。
6. １枚以上の画像フレームの各フレームを複数の矩形状のタイルに分割し、それぞれのタイルを符号化する画像符号化装置の符号化方法であって、
   画像復号装置が復号可能な処理の組み合わせを示すプロファイル及び画像復号装置が復号可能なパラメータ値の範囲を示すレベルを算出する算出工程と、
   特定のプロファイルにおいて前記レベルに応じて予め定められている最大水平画素数であるＮ以下（Ｎ＞０）となるように前記タイルの水平画素数もしくは水平タイル数を決定し、また、特定のプロファイルにおいて前記レベルに応じて予め定められている最大垂直画素数であるＭ以下（Ｍ＞０）となるように前記タイルの垂直画素数もしくは垂直タイル数を決定する決定工程と、
   決定されたタイルの水平画素数及び垂直画素数もしくはタイル数に応じて各フレームを分割して符号化する符号化工程とを有することを特徴とする符号化方法。
7. 画像復号装置が復号可能な処理の組み合わせを示すプロファイル及び画像復号装置が復号可能なパラメータ値の範囲を示すレベルを含み、特定のプロファイルにおけるタイルの水平画素数が最大水平画素数であるＮ以下（Ｎ＞０）もしくはタイルの垂直画素数が最大垂直画素数であるＭ以下（Ｍ＞０）に制限され、前記タイルの最大垂直画素数及びタイルの最大垂直画素数は前記レベルに応じて定められる画像符号化フォーマットで符号化された符号化ストリームを復号することを特徴とする画像復号装置。
8. 画像復号装置が復号可能な処理の組み合わせを示すプロファイル及び画像復号装置が復号可能なパラメータ値の範囲を示すレベルを含み、特定のプロファイルにおけるタイルの水平画素数が最大水平画素数であるＮ以下（Ｎ＞０）もしくはタイルの垂直画素数が最大垂直画素数であるＭ以下（Ｍ＞０）に制限され、前記タイルの最大垂直画素数及びタイルの最大垂直画素数は前記レベルに応じて定められる画像符号化フォーマットで符号化された符号化ストリームを復号することを特徴とする画像復号装置の画像復号方法。
9. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１に記載の画像符号化装置として機能させることを特徴とするプログラム。
10. コンピュータが読み出して実行することにより、前記コンピュータを、請求項７に記載の画像復号装置として機能させることを特徴とするプログラム。

Images