JP2016506200A

JP2016506200A - スライスセグメントのエントロピー符号化方法及びその装置、スライスセグメントのエントロピー復号化方法及びその装置

Info

Publication number: JP2016506200A
Application number: JP2015551608A
Authority: JP
Inventors: リ，タミー; チェー，ビョン−ドゥ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2013-01-04
Filing date: 2014-01-06
Publication date: 2016-02-25
Anticipated expiration: 2034-01-06
Also published as: PT2986004T; ES2728091T3; DK2986003T3; ZA201506855B; MY189391A; KR20150087823A; PT2940999T; EP2986003A2; JP2018201234A; CN105357525A; IL243292B; TR201908706T4; SG11201505296RA; US10271071B2; EP2986006B1; JP6388697B2; TR201906908T4; CN108307196B; JP5990347B2; BR122015024097B1

Abstract

ビデオ符号化及びビデオ復号化のためのエントロピー符号化及びエントロピー復号化に係り、ビットストリームから獲得した最大符号化単位に係わるビンストリング及びビンインデックスを決定し、ビンインデックスにおいてシンタックス要素に割り当てられるビンストリングと、現在獲得されたビンストリングとを比較し、シンタックス要素の値を決定するとき、最後の最大符号化単位において、最後のシンタックス要素であり、最大符号化単位が含まれたピクチャに従属的スライスセグメントが含まれている場合には、最大符号化単位に係わるコンテクスト変数を保存し、先に決定されたシンタックス要素の値を利用して、最大符号化単位のシンボルを復元するビデオエントロピー復号化方法である。

Description

本発明は、ビデオ符号化及びビデオ復号化のためのエントロピー符号化及びエントロピー復号化に関する。

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質のビデオコンテンツを効果的に符号化／復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。

周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続的に反復的に発生するデータを小サイズのデータに置き換えることにより、データ量を節減している。

ビデオ符号化によって生成されたシンボルのビット列を圧縮するために、エントロピー符号化が行われる。最近、算術符号化基盤のエントロピー符号化方式が広く使用されている。算術符号化基盤のエントロピー符号化のために、シンボルをビット列に二進化した後、ビット列に対してコンテクスト基盤の算術符号化が行われる。

本発明は、ビデオ符号化及びビデオ復号化のために、スライスセグメントの属性を考慮し、周辺データのコンテクスト情報を利用するエントロピー符号化方式及びエントロピー復号化方式の方法を提案する。

多様な実施形態によるビデオエントロピー復号化方法は、ビットストリームから獲得した最大符号化単位に係わるビンストリング（bin string）及びビンインデックスを決定する段階と、前記ビンインデックスにおいてシンタックス要素に割り当てられるビンストリングと、前記獲得されたビンストリングとを比較し、前記シンタックス要素の値を決定する段階と、前記シンタックス要素が、前記最大符号化単位において、最後のシンタックス要素であり、前記最大符号化単位が含まれたピクチャに、従属的スライスセグメントが含まれ、前記最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位である場合、前記最大符号化単位に係わるコンテクスト変数を保存する段階と、前記決定されたシンタックス要素の値を利用して、前記最大符号化単位のシンボルを復元する段階と、を含む。

開示されたエントロピー符号化／復号化方式に基づいて、現在ピクチャにおいて従属的スライスセグメントが使用されるならば、各スライスセグメントの最後の最大符号化単位のエントロピー符号化（復号化）を完了した後、コンテクスト変数を保存することができる。従って、以前スライスセグメントが独立的スライスセグメントであるとしても、その次の従属的スライスセグメントのために必要なコンテクスト変数の初期変数を、先に符号化された独立的スライスセグメントの最後の最大符号化単位のコンテスト変数から獲得することができる。

また、エントロピー符号化／復号化のためのコンテクスト変数の同期化地点を効率的に知らせるために、サブセットオフセットから１ずつ減少した数を示す情報がスライスセグメントを介して提供されるので、スライスセグメントのデータサイズが縮小される。

多様な実施形態によるビデオエントロピー符号化装置のブロック図である。多様な実施形態によるビデオエントロピー符号化方法のフローチャートである。多様な実施形態によるビデオエントロピー復号化装置のブロック図である。多様な実施形態によるビデオエントロピー復号化方法のフローチャートである。ピクチャ内のタイル及び最大符号化単位を図示する図面である。ピクチャ内のスライスセグメント及び最大符号化単位を図示する図面である。一実施形態によるＣＡＢＡＣパージング動作のフローチャートである。保存されたコンテクスト変数を利用するエントロピー復号化過程を図示する図面である。一実施形態によるＣＡＢＡＣコンテクスト変数の保存動作の詳細フローチャートである。一実施形態によるスライスセグメントヘッダのシンタックスを図示する図面である。図８は一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。本発明の一実施形態による符号化単位の概念を図示する図面である。本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。本発明の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。本発明の一実施形態による深度別符号化情報を図示する図面である。本発明の一実施形態による深度別符号化単位を図示する図面である。本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。一実施形態によるプログラムが保存されたディスクの物理的構造を例示する図面である。ディスクを利用してプログラムを記録して読み取るためのディスクドライブを図示する図面である。コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。本発明による通信システムが適用されたデジタル放送システムを図示する図面である。本発明の一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。

多様な実施形態によって前記コンテクスト変数を保存する段階は、前記スライスセグメントが、独立的スライスセグメントであるか、あるいは従属的スライスセグメントであるかということと係わりなく、前記ピクチャに従属的スライスセグメントが含まれている場合、前記最大符号化単位に係わるコンテクスト変数を保存する段階を含んでもよい。

多様な実施形態による前記ビデオエントロピー復号化方法は、前記ピクチャに含まれるスライスセグメントのうち、前記スライスセグメントの次に位置する従属的スライスセグメントの最初の最大符号化単位のコンテクスト変数に対するエントロピー復号化のために、前記保存されたコンテクスト変数を利用する段階を含む。

多様な実施形態による前記ビデオエントロピー復号化方法は、前記ビットストリームのピクチャパラメータセットから獲得された第１情報に基づいて、前記ピクチャに従属的スライスセグメントが含まれているか否かということを決定する段階と、前記ビットストリームのスライスセグメント別データのうち、前記最大符号化単位に係わるデータから獲得された第２情報に基づいて、前記最大符号化単位が前記スライスセグメントにおいて、最後の最大符号化単位であるか否かということを決定する段階と、前記最大符号化単位に係わるデータから、前記ビンストリングを獲得する段階と、を含んでもよい。

多様な実施形態による前記ビデオエントロピー復号化方法は、前記ビットストリームのスライスセグメントヘッダから獲得された第３情報に基づいて、前記スライスセグメントに含まれたサブセットのエントリーポイントの個数を決定する段階と、前記ビットストリームのスライスセグメントヘッダから獲得された前記エントリーポイント別オフセットに係わる第４情報に基づいて、前記第４情報が示す数から１位増加した数であるオフセットを利用して、各エントリーポイントの位置を決定する段階と、を含み、前記ピクチャに含まれたスライスセグメントにタイルが含まれているか、前記ピクチャに含まれた最大符号化単位のコンテクスト変数のために同期化動作が遂行される場合、前記エントリーポイントの個数、及び前記エントリーポイントの位置を決定することができる。

多様な実施形態によるビデオエントロピー符号化方法は、最大符号化単位の符号化を介して決定されたシンボルのビット列を生成する段階と、前記シンボルに対応するシンタックス要素値のビンインデックス別コンテクスト変数を決定する段階と、前記シンタックス要素のコンテクスト変数に基づいて、前記シンタックス要素値を示すビンストリングを決定する段階と、シンタックス要素が、前記最大符号化単位において、最後のシンタックス要素であり、前記最大符号化単位が含まれたピクチャに、従属的スライスセグメントが含まれ、前記最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位である場合、前記最大符号化単位に係わるコンテクスト変数を保存する段階と、を含む。

多様な実施形態によって、前記コンテクスト変数を保存する段階は、前記スライスセグメントが、独立的スライスセグメントであるか、あるいは従属的スライスセグメントであるかということと係わりなく、前記ピクチャに従属的スライスセグメントが含まれている場合、前記最大符号化単位に係わるコンテクスト変数を保存する段階を含んでもよい。

多様な実施形態によるビデオエントロピー復号化装置は、ビットストリームから獲得した最大符号化単位に係わるビンストリング及びビンインデックスを決定し、前記ビンインデックスにおいてシンタックス要素に割り当てられるビンストリングと、前記獲得されたビンストリングとを比較し、前記シンタックス要素の値を決定するコンテクスト初期化部；前記シンタックス要素が、前記最大符号化単位において、最後のシンタックス要素であり、前記最大符号化単位が含まれたピクチャに、従属的スライスセグメントが含まれ、前記最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位である場合、前記最大符号化単位に係わるコンテクスト変数を保存するコンテクスト保存部；及び前記決定されたシンタックス要素の値を利用して、前記最大符号化単位のシンボルを復元するシンボル復元部；を含む。

多様な実施形態によるビデオエントロピー符号化装置は、最大符号化単位の符号化を介して決定されたシンボルのビット列を生成する二進化部；前記シンボルに対応するシンタックス要素値のビンインデックス別コンテクスト変数を決定し、前記シンタックス要素のコンテクスト変数に基づいて、前記シンタックス要素値を示すビンストリングを決定するビンストリング決定部；及びシンタックス要素が、前記最大符号化単位において、最後のシンタックス要素であり、前記最大符号化単位が含まれたピクチャに、従属的スライスセグメントが含まれ、前記最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位である場合、前記最大符号化単位に係わるコンテクスト変数を保存するコンテクスト保存部；を含む。

多様な実施形態によるビデオエントロピー復号化方法を具現するためのプログラムを収録したコンピュータで読み取り可能な記録媒体を提案する。

多様な実施形態によるビデオエントロピー符号化方法を具現するためのプログラムを収録したコンピュータで読み取り可能な記録媒体を提案する。

以下、図１Ａないし図７を参照し、多様な実施形態によって、スライスセグメントでのエントロピー符号化技法、及びスライスセグメントでのエントロピー復号化技法について開示する。また、図８ないし図２０を参照し、先に提案したエントロピー符号化技法及び復号化技法が適用可能な多様な実施形態によるツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号化技法について開示する。また、図２１ないし図２７を参照し、先に提案したビデオ符号化方法、ビデオ復号化方法が適用可能な多様な実施形態について開示する。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すことができる。

図１Ａは、多様な実施形態によるビデオエントロピー符号化装置１０のブロック図である。

多様な実施形態によるビデオエントロピー符号化装置１０は、二進化部１２、ビンストリング決定部１４及びコンテクスト保存部１６を含む。

ビデオエントロピー符号化装置１０は、最大符号化単位別に符号化されたシンボルに対して、エントロピー符号化を行うことができる。ビデオエントロピー符号化装置１０は、最大符号化単位別に符号化を行うビデオ符号化部（図示せず）を保存することができる。

以下、説明の便宜のために、ビデオエントロピー符号化装置１０がビデオ符号化部（図示せず）を含み、最大符号化単位別に符号化し、シンボルを生成する過程について詳細に説明する。ただし、ビデオエントロピー符号化装置１０は、ビデオ符号化部（図示せず）を直接含む構造に限定されるものではなく、外部の符号化装置で符号化されたシンボルを受信することもできるということに留意しなければならない。

一実施形態によるビデオ符号化過程は、映像データの時空間的類似性によって重複するデータを最小化する過程であるソース符号化過程と、ソース符号化を介して生成されたデータのビット列において、さらに重複性を最小化する過程であるエントロピー符号化過程とに区分される。一実施形態によるビデオエントロピー符号化装置１０は、ビデオを構成するそれぞれのピクチャをブロック別にソース符号化し、符号化シンボルを生成する。ソース符号化は、空間領域のビデオデータに対して、ブロック単位でイントラ予測／インター予測、変換、量子化を行う過程を含む。ソース符号化の結果、ブロック別に符号化シンボルが生成される。例えば、レジデュアル（residual）成分の量子化された変換係数、動きベクトル、イントラモード属性、インタモード属性、量子化パラメータなどが符号化シンボルにもなる。

一実施形態によるエントロピー符号化は、シンボルをビット列に変換する二進化過程と、ビット列に対してコンテクスト基盤の算術符号化を行う算術符号化過程と、に分類することができる。コンテクスト基盤の算術符号化を行う算術符号化方式として、ＣＡＢＡＣ（context adaptive binary arithmetic ccoding）などが広く利用されている。コンテクスト基盤の算術符号化／復号化によれば、シンボルビット列の各ビットがコンテクストの各ビン（bin）になり、各ビット位置がビンインデックスにマッピングされる。ビット列長が、すなわち、ビンの長さは、シンボル値の大きさによって変わる。コンテクスト基盤の算術符号化／復号化のためには、シンボルのコンテクストを決定するコンテクストモデリングが必要である。

コンテクストモデリングのためには、シンボルビット列のビット位置ごとに、すなわち、それぞれのビンインデックスごとに、コンテクストを新たに更新する必要がある。ここで、コンテクストモデリングは、各ビンで、０または１が発生する確率を分析する過程である。これまでのコンテクストに、新たなブロックのシンボルのビット別確率を分析した結果を反映させてコンテクストを更新する過程が、ブロックごとに反復される。かようなコンテクストモデリングの結果を収録した情報として、各ビンごとに発生確率がマッチングされた確率表が提供される。一実施形態によるエントロピーコーディング確率情報は、かようなコンテクストモデリング結果を収録した情報でもある。

従って、コンテクストモデリング情報、すなわち、エントロピーコーディング確率情報が確保されれば、エントロピーコーディング確率情報のコンテクストに基づいて、ブロックシンボルの二進化されたビット列のビットごとにコードを割り当てることにより、エントロピー符号化が行われる。

また、エントロピー符号化は、コンテクストを基盤とする算術符号化／復号化を行うので、ブロックごとにシンボルコードコンテクスト情報が更新され、更新されたシンボルコードコンテクスト情報を使用してエントロピー符号化を行うことにより、圧縮率が向上する。

本発明の多様な実施形態によるビデオ符号化技法は、データ単位である「ブロック」に対するビデオ符号化技法にのみ限定されると解釈されてはならなず、多様なデータ単位に適用される。

映像符号化の効率性のために、映像を所定サイズのブロックに分割して符号化する。ブロックの属性は、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位において、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式は、図８ないし図２０を参照して後述する。

ピクチャのブロックは、ラスタースキャン方向に沿って符号化される。

ビデオエントロピー符号化装置１０は、ピクチャを一つ以上のタイルに分割し、各タイルは、ピクチャのブロックのうち、ラスター方向に沿って羅列されたブロックを含んでもよい。ピクチャは、一つ以上の縦列に分割するタイルに分割されるか、一つ以上の横列に分割するタイルに分割されるか、または１列以上の縦列、及び１列以上の横列に分割されるタイルに分割される。各タイルは、空間領域を分割し、各空間領域を個別的に符号化するために、ビデオエントロピー符号化装置１０は、タイル別に個別的に符号化することができる。

各スライスセグメントは、ラスター方向に沿って羅列されたブロックを含むので、ビデオエントロピー符号化装置１０は、ピクチャを横方向に分割することにより、スライスセグメントを生成することもできる。ピクチャは、一つ以上のスライスセグメントに分割される。各スライスセグメント別に、１つのＮＡＬ（network adaptation layer）ユニットを介して伝送される。

一実施形態によるビデオエントロピー符号化装置１０は、かようなスライスセグメントに対する符号化を行うことができる。一実施形態によるビデオエントロピー符号化装置１０は、スライスセグメントごとに含まれたブロックに対して順次に符号化を行い、ブロック別に符号化シンボルを生成することができる。各スライスセグメント別に、ブロックの符号化データが１つのＮＡＬユニットに含まれて送受信される。各タイルは、少なくとも１つのスライスセグメントを含んでもよい。場合により、スライスセグメントが、少なくとも１つのタイルを含んでもよい。

また、スライスセグメントは、従属的スライスセグメントと、独立的スライスセグメントとに分類される。

現在スライスセグメントが従属的スライスセグメントである場合、現在スライスセグメントより先に符号化された以前スライスセグメントの符号化シンボルを参照するインピクチャ予測（in-picture prediction）が行われる。また、現在スライスセグメントが従属的スライスセグメントである場合、現在スライスセグメントより先に符号化された以前スライスセグメントのエントロピー情報を参照する従属的なエントロピー符号化が行われる。

現在スライスセグメントが独立的スライスセグメントである場合、以前スライスセグメントを参照してインピクチャ予測を行わず、以前スライスセグメントのエントロピー情報を参照しない。

一実施形態による１つのピクチャは、１つの独立的スライスセグメントと、ラスタースキャン順序によって、独立的スライスセグメントに連続する少なくとも１つの従属的セグメントを含んでもよい。１つの独立的スライスセグメントが、１つのスライスでもある。

一実施形態によるビデオエントロピー符号化装置１０は、タイル別に、他のタイルと個別的に符号化することができる。ビデオエントロピー符号化装置１０は、タイル別に、現在タイルに含まれた最大符号化単位を順次に符号化することができる。

また、一実施形態によるビデオエントロピー符号化装置１０は、スライスセグメント別に、現在スライスセグメントの最大符号化単位を符号化することができる。現在スライスセグメントに含まれた最大符号化単位のうち、所定タイルに含まれる最大符号化単位は、現在タイルでの符号化順序によって符号化することができる。

一実施形態によるビデオエントロピー符号化装置１０は、現在スライスセグメントの全体最大符号化単位が、現在タイルに属するとき、現在スライスセグメントに含まれた多数の最大符号化単位を、現在タイル内でのラスタースキャン順序によって符号化することができる。その場合、現在スライスセグメントは、現在タイルの境界にかけて位置しないので、現在スライスセグメントの最大符号化単位は、現在タイルの境界を越えて位置しない。その場合、一実施形態によるビデオエントロピー符号化装置１０は、各タイルに含まれた少なくとも１つのスライスセグメント別に順次に符号化し、各スライスセグメントに含まれた多数のブロックを、ラスタースキャン順序によって符号化することができる。

また、現在スライスセグメントが少なくとも１つのタイルを含む場合にも、ビデオエントロピー符号化装置１０は、現在スライスセグメントに含まれた最大符号化単位のうち、現在タイルに属する最大符号化単位に対して、現在タイルでの最大符号化単位のラスタースキャン順序によって符号化を行うことができる。一実施形態によるビデオエントロピー符号化装置１０は、スライスセグメントに対して順次に符号化を行うことができる。従って、一実施形態によるスライスビデオエントロピー符号化装置１０は、スライスセグメントに対して順次に符号化を行い、各スライスセグメントごとに含まれたブロックに対して順次に符号化を行い、ブロック別に符号化シンボルを生成することができる。スライスセグメントのブロックごとに、イントラ予測、インター予測、変換、インループフィルタリング、ＳＡＯ（sample adaptive offset）補償、量子化を行うことができる。

ソース符号化過程で生成された符号化シンボル、例えば、イントラサンプル、動きベクトル、符号化モード情報などを予測符号化するために、インピクチャ予測が行われる。インピクチャ予測が行われる場合には、現在符号化シンボルの代わりに、現在符号化シンボルと、以前符号化シンボルとの差値が符号化される。また、現在サンプルの代わりに、現在サンプルと、隣接サンプルとの差値が符号化される。

また、エントロピー符号化過程で生成されたエントロピーコンテクスト情報や、コードコンテクスト情報などを予測符号化するために、従属的エントロピー符号化が行われる。従属的エントロピー符号化が行われる場合には、現在エントロピー情報と、以前エントロピー情報とが同一であるならば、現在エントロピー情報の符号化が省略される。

ただし、ビデオエントロピー符号化装置１０は、各タイルに対して個別的に符号化するので、互いに異なるタイルに属する最大符号化単位の間には、インピクチャ予測または従属的エントロピー符号化を行わない。

ビデオエントロピー符号化装置１０は、スライスセグメントの使用可能性や、スライスセグメントの属性を示す情報を、ＳＰＳ（sequence parameter set）、ＰＰＳ（picture parameter set）、スライスセグメントヘッダのような各種符号化単位のヘッダに記録することができる。

例えば、ビデオエントロピー符号化装置１０は、現在スライスセグメントが、現在ピクチャにおいて、最初のスライスセグメントであるか否かということを示す情報を含むスライスセグメントヘッダを生成することができる。

現在スライスセグメントが属している現在ピクチャに係わる各種基本情報は、ＰＰＳに収録されて伝送される。特に、ＰＰＳは、現在ピクチャが従属的スライスセグメントを含むか否かということについての情報を含んでもよい。従って、現在ピクチャにおいて、従属的スライスセグメントが使用されることを示す情報がＰＰＳに収録されるとき、ビデオエントロピー符号化装置１０は、現在スライスセグメントヘッダに、現在スライスセグメントが、以前スライスセグメントのスライスヘッダ情報を利用する従属的スライスセグメントであるか否かということを示す情報を含んでもよい。

反対に、現在ピクチャのＰＰＳに、現在ピクチャにおいて、従属的スライスセグメントが使用されないことを示す情報が含まれた場合には、現在スライスセグメントヘッダに、現在スライスセグメントが従属的スライスセグメントであるか否かということを示す情報が含まれない。

また、ビデオエントロピー符号化装置１０は、現在スライスセグメントが最初のスライスセグメントではないならば、現在スライスセグメントが従属的スライスセグメントであるか否かということを示す情報を、スライスセグメントヘッダに追加することができる。

すなわち、現在ピクチャのＰＰＳに、現在ピクチャにおいて従属的スライスセグメントが使用されるということを示す情報が含まれており、現在スライスセグメントヘッダに、現在スライスセグメントが最初のスライスセグメントではないという情報が含まれている場合、現在スライスセグメントが従属的スライスセグメントであるか否かということを示す情報が、現在スライスセグメントヘッダにさらに追加される。一実施形態による最初のスライスセグメントは、独立的スライスセグメントでなければならない。従って、現在スライスセグメントが最初のスライスセグメントであるならば、従属的スライスセグメントであるか否かということを示す情報は、省略することができる。従って、ビデオエントロピー符号化装置１０は、最初のスライスセグメントのためのスライスセグメントヘッダに、最初のスライスセグメントであるか否かということを示す情報に引き続き、現在スライスセグメントについての基本情報を、スライスセグメントヘッダに追加して伝送することができる。

従って、現在ピクチャにおいて、従属的スライスセグメントが使用され、現在スライスセグメントが最初のスライスセグメントではない場合、現在スライスセグメントが従属的スライスセグメントであるか否かということを示す情報が、現在スライスセグメントヘッダにさらに追加される。

ただし、現在スライスセグメントが最初のスライスセグメントではなく、従属的スライスセグメントであるならば、一部スライスセグメントについての基本情報は、以前スライスセグメントヘッダの情報と同一である。従って、現在スライスセグメントヘッダは、最初のスライスセグメントであるか否かということを示す情報、従属的スライスセグメントであるか否かということを示す情報を含むが、以前スライスセグメントヘッダの情報と重複する情報は、省略したまま伝送することができる。

一実施形態による現在スライスセグメントが従属的スライスセグメントではないならば、現在スライスセグメントヘッダは、従属的スライスセグメントであるか否かということを示す情報を含みながら、現在スライスセグメントのための各種ヘッダ情報をさらに含んでもよい。

また、ビデオエントロピー符号化装置１０は、スライスセグメントヘッダに、量子化パラメータと、エントロピー符号化のためのコンテクストの初期コンテクスト情報とが収録して伝送することができる。

しかし、現在スライスセグメントが従属的スライスセグメントである場合、ビデオエントロピー符号化装置１０は、現在スライスセグメントより先に符号化された以前スライスセグメントの符号化シンボルを参照するインピクチャ予測を行うことができる。現在スライスセグメントが従属的スライスセグメントである場合、ビデオエントロピー符号化装置１０は、現在スライスセグメントより先に符号化された以前スライスセグメントのエントロピー情報を参照する従属的なエントロピー符号化を行うこともできる。

従って、ビデオエントロピー符号化装置１０は、現在スライスセグメントが従属的スライスセグメントである場合には、現在スライスセグメントのスライスセグメントヘッダに、量子化パラメータと初期コンテクスト情報とを収録しない。従属的スライスセグメントの量子化パラメータと、初期コンテクスト情報は、以前に符号化された独立的スライスセグメントのヘッダ情報に収録された量子化パラメータと初期コンテクスト情報とに初期化される。

現在スライスセグメントが独立的スライスセグメントである場合、ビデオエントロピー符号化装置１０は、インピクチャ予測を行わないので、以前スライスセグメントと関係なく、現在スライスセグメントの符号化シンボルのビットストリームを出力することができる。現在スライスセグメントが独立的スライスセグメントである場合、ビデオエントロピー符号化装置１０は、以前に符号化された隣接するスライスセグメントのエントロピー情報と関係なく、現在スライスセグメントのエントロピー情報を出力することもできる。例えば、現在スライスセグメントが独立的スライスセグメントである場合には、現在スライスセグメントヘッダに、量子化パラメータと初期コンテクスト情報とを収録しなければならない。

ビデオエントロピー符号化装置１０は、スライスセグメント別に、スライスセグメントヘッダ及びスライスセグメントのシンボルを伝送することができる。

以下、図１Ｂを参照し、ビデオエントロピー符号化装置１０の各構成要素別に、ビデオエントロピー符号化を行う動作について詳細に説明する。

図１Ｂは、多様な実施形態によるビデオエントロピー符号化方法のフローチャートを図示している。

ビデオエントロピー符号化装置１０は、ピクチャの少なくとも１つのスライスセグメントに分割し、スライスセグメント別に符号化を行い、スライスセグメントに含まれた最大符号化単位に対して順次に符号化を行うということは、前述の通りである。

段階１１において、最大符号化単位別に符号化を行って決定されたシンボルに対して、二進化部１２が二進化を行い、シンボルのビット列を生成することができる。

段階１３において、ビンストリング決定部１４は、最大符号化単位のシンボルに対応するシンタックス要素（syntaxel ement）値のビンインデックス別コンテクスト変数を決定することができる。先に符号化された他の最大符号化単位で使用されたシンタックス要素値のビンインデックス別コンテクスト変数に基づいて、現在最大符号化単位のためのコンテクスト変数が決定される。

コンテクスト変数は、コンテクストテーブル及びコンテクストインデックスを含んでもよい。シンタックス要素別に、コンテクスト変数が決定される。

段階１５において、ビンストリング決定部１４は、決定されたシンタックス要素のコンテクスト変数に基づいて、シンタックス要素値を示すビンストリングを決定することができる。ビデオエントロピー符号化装置１０は、各シンタックス要素に対して、コンテクスト変数とビンストリングとの対応関係を収録するコンテクストテーブルに係わるデータを保存している。

ビンストリング決定部１４は、現在シンタックス要素値に対するコンテクストテーブルにおいて、段階１３で決定されたコンテクスト変数が示すビンストリングを採択することができる。

ビデオエントロピー符号化装置１０は、最大符号化単位に係わる全てのシンタックス要素に係わるビンストリングを生成した後、最大符号化単位で決定されたコンテクスト変数を保存するか否かということを決定することができる。

段階１７において、コンテクスト保存部１６は、シンタックス要素が最大符号化単位において、最後のシンタックス要素であり、最大符号化単位が含まれたピクチャに、従属的スライスセグメントが含まれ、最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位である場合、最大符号化単位に係わるコンテクスト変数を保存することができる。

コンテクスト保存部１６は、スライスセグメントが、独立的スライスセグメントであるか、あるいは従属的スライスセグメントであるかということと係わりなく、ピクチャに従属的スライスセグメントが含まれている場合、最大符号化単位に係わるコンテクスト変数を保存することができる。

ピクチャに複数個のスライスセグメントが含まれているとき、現在スライスセグメントの次に位置する従属的スライスセグメントの最初の最大符号化単位のコンテクスト変数に対するエントロピー符号化のために、現在スライスセグメントに保存されたコンテクスト変数が利用される。

ビデオエントロピー符号化装置１０は、ピクチャに含まれたスライスセグメント、最大符号化単位、最大符号化単位を復号化するのに共通して必要な各種情報を収録するピクチャパラメータセットを生成することができる。ビデオエントロピー符号化装置１０は、ピクチャパラメータセットに、ピクチャに従属的スライスセグメントが含まれているか否かということを示す第１情報を含めることができる。

ビデオエントロピー符号化装置１０は、各スライスセグメントに含まれた各最大符号化単位を符号化して生成されたデータを含むスライスセグメントデータを生成することができる。ビデオエントロピー符号化装置１０は、スライスセグメント別データのうち最大符号化単位に係わるデータに、最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位であるか否かということを示す第２情報を含めることができる。また、最大符号化単位に係わるデータに、エントロピー符号化によって生成されたビンストリングも含まれている。

ビデオエントロピー符号化装置１０は、スライスセグメントに含まれた最大符号化単位、最大符号化単位を復号化するのに必要な共通した各種情報を含むスライスセグメントヘッダを生成することができる。ビデオエントロピー符号化装置１０は、スライスセグメント別に符号化を行った結果、ピクチャパラメータセット、スライスセグメントヘッダ、及びスライスセグメント別のデータを含むビットストリームを生成することができる。

ビデオエントロピー符号化装置１０は、ピクチャに含まれたスライスセグメントにタイルが含まれているか、ピクチャに含まれた最大符号化単位のコンテクスト変数のために同期化動作が行われる場合、スライスセグメントヘッダに、スライスセグメントに含まれたサブセットのエントリーポイントの個数を示す第３情報、及びエントリーポイント別オフセットより１ほど小さい数を示す第４情報を含めることができる。

スライスセグメントに含まれたサブセットは、スライスセグメントに含まれた最大符号化単位のうち、最大符号化単位のスキャン順序によって順次に符号化される最大符号化単位のグループを意味する。各サブセットに対するプロセッシングは、並列的に行われる。

各サブセットごとに割り当てられた第４情報を利用して、以前サブセットから現在サブセットまでのサブセットオフセットを合算することにより、現在の最初のバイトが決定される。サブセットが２以上存在するならば、サブセットオフセットが０より大きい数でなければならないので、サブセットオフセットを示す第４情報は、サブセットオフセットから１を差し引いた値に決定される。従って、実際サブセットオフセットは、第４情報が示す数に１ほど増加させた値でもある。

各サブセットを構成するバイトのインデックスは、０から始まり、最初のバイトを示すバイトインデックスは、０である。従って、現在の最初バイトに、現在サブセットに割り当てられた第４情報が示す数を合算し、現在の最後バイトが決定される。

一実施形態によるビデオエントロピー符号化装置１０は、二進化部１２、ビンストリング決定部１４及びコンテクスト保存部１６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、二進化部１２、ビンストリング決定部１４及びコンテクスト保存部１６が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せずが相互有機的に作動することにより、ビデオエントロピー符号化装置１０が全体的に作動することもできる。または、一実施形態によるビデオエントロピー符号化装置１０の外部プロセッサ（図示せず）の制御により、ビデオエントロピー符号化装置１０及びビデオエントロピー符号化装置１０が制御されてもよい。

一実施形態によるビデオエントロピー符号化装置１０は、二進化部１２、ビンストリング決定部１４及びコンテクスト保存部１６の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオエントロピー符号化装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。

図２Ａは、多様な実施形態によるビデオエントロピー復号化装置のブロック図である。

一実施形態によるビデオエントロピー復号化装置２０は、コンテクスト初期化部２２、シンボル復元部２４及びコンテクスト保存部２６を含む。

一実施形態によるビデオエントロピー復号化装置２０は、ピクチャが２以上のタイルと、少なくとも１つのスライスセグメントとに分割されて符号化された結果として生成されたビットストリームを受信することができる。ビットストリームは、スライスセグメント別に生成されたデータでありながら、タイル別に生成されたデータでもある。

以下、ビデオエントロピー復号化装置２０が、スライスセグメントの属性によって、スライスセグメントヘッダをパージングすることができる。ビデオエントロピー復号化装置２０は、現在スライスセグメントのスライスセグメントヘッダから、現在スライスセグメントが、現在ピクチャにおいて、最初のスライスセグメントであるか否かということを示す情報をパージングすることができる。

ビデオエントロピー復号化装置２０は、パージングされた情報から、現在スライスセグメントが最初のスライスセグメントではないということを判読するならば、現在スライスセグメントヘッダから、現在スライスセグメントが以前スライスセグメントのスライスヘッダ情報を利用する従属的スライスセグメントであるか否かということを示す情報をさらにパージングすることができる。

ただし、現在スライスセグメントが属している現在ピクチャに係わるＰＰＳから、現在ピクチャが従属的スライスセグメントを含むか否かということについての情報がパージングされる。従って、現在ピクチャのＰＰＳから、現在ピクチャにおいて、従属的スライスセグメントが使用されるということを示す情報がパージングされた場合、ビデオエントロピー復号化装置２０は、現在スライスセグメントヘッダから、現在スライスセグメントが従属的スライスセグメントであるか否かということを示す情報をパージングすることができる。

反対に、現在ピクチャのＰＰＳから、現在ピクチャにおいて、従属的スライスセグメントが使用されないということを示す情報がパージングされた場合には、現在スライスセグメントヘッダから、現在スライスセグメントが従属的スライスセグメントであるか否かということを示す情報がパージングされない。

従って、現在ピクチャのＰＰＳから、現在ピクチャにおいて、従属的スライスセグメントが使用されるということを示す情報がパージングされ、現在スライスセグメントが最初のスライスセグメントではないことを示す情報がパージングされるならば、ビデオエントロピー復号化装置２０は、現在スライスセグメントヘッダから、現在スライスセグメントが従属的スライスセグメントであるか否かということを示す情報をさらにパージングすることができる。すなわち、現在ピクチャが、従属的スライスセグメントを使用し、現在従属的スライスセグメントが最小スライスセグメントではないと判読された場合、現在スライスセグメントヘッダから、現在スライスセグメントが従属的スライスセグメントであるか否かということを示す情報をさらにパージングすることができる。

ビデオエントロピー復号化装置２０が、パージングされた情報から、現在スライスセグメントが最初のスライスセグメントであると判読するならば、現在スライスセグメントヘッダから、現在スライスセグメントが、従属的スライスセグメントであるか否かということを示す情報がパージングされない。最初のスライスセグメントは、従属的スライスセグメントではありえないために、パージング情報なしも、独立的スライスセグメントであるということが決定される。従って、ビデオエントロピー復号化装置２０は、現在スライスセグメントが最初のスライスセグメントであるならば、ピクチャの最初のスライスセグメントヘッダから、最初のスライスセグメントであるか否かということを示す情報、及び現在スライスセグメントについての基本情報をさらにパージングすることができる。

ビデオエントロピー復号化装置２０は、現在スライスセグメントヘッダからパージングされた情報から、現在スライスセグメントが従属的スライスセグメントであるということを判読するならば、以前スライスセグメントのヘッダからパージングされた一部ヘッダ情報を、現在スライスセグメントの基本情報として決定することができる。

ビデオエントロピー復号化装置２０は、現在スライスセグメントヘッダからパージングされた情報から、現在スライスセグメントが従属的スライスセグメントではないと判読するならば、現在スライスセグメントヘッダから、現在スライスセグメントのための各種ヘッダ情報をパージングすることができる。

ビデオエントロピー復号化装置２０は、現在スライスセグメントヘッダからパージングされた情報、及び現在スライスセグメントのシンボルを利用して、現在スライスセグメントを復号化することができる。

ビデオエントロピー復号化装置２０は、１つのＮＡＬユニットを介して、各スライスセグメントが受信されれば、スライスセグメント別に、ブロックの符号化データが含まれて受信される。各タイルは、少なくとも１つのスライスセグメントを含んでもよい。場合により、スライスセグメントが少なくとも１つのタイルを含んでもよい。スライスセグメントとタイルとの関係は、先に図１Ａ及び図１Ｂを参照して詳細に説明したところと同一である。

また、ビデオエントロピー復号化装置２０は、復元された現在スライスセグメントを含み、各タイルに含まれる少なくとも１つのスライスセグメントを復元し、復元されたタイルを組み合わせてピクチャを復元することができる。

ビデオエントロピー復号化装置２０は、タイル別に、現在タイルに含まれた少なくとも１つのスライスセグメント別に、現在スライスセグメントに含まれた多数のブロックのシンボルをラスタースキャン順序によってパージングすることができる。また、ビデオエントロピー復号化装置２０は、ブロックのラスタースキャン順序によってパージングされたシンボルを利用して、ブロックをラスタースキャン順序によって復号化することができる。

ビデオエントロピー復号化装置２０は、各スライスセグメントのビットストリームに対してエントロピー復号化を行い、最大符号化単位別に符号化シンボルをパージングすることができる。スライスセグメントに含まれた最大符号化単位に対して順次にエントロピー復号化を行い、最大符号化単位別符号化シンボルをパージングすることができる。以下、ビデオエントロピー復号化装置２０が、スライスセグメントに含まれた符号化単位別に符号化シンボルをパージングして復元する過程について、以下図２Ｂを参照して詳細に説明する。

図２Ｂは、多様な実施形態によるビデオエントロピー復号化方法のフローチャートを図示している。

段階２１において、コンテクスト初期化部２２は、ビットストリームから獲得した最大符号化単位に係わるビンストリングと、ビンインデックスとを決定することができる。

コンテクスト初期化部２２は、各シンタックス要素に対して、コンテクストインデックス別に初期化値に係わる初期化テーブルを保存している。コンテクスト変数の初期化動作により、初期化テーブルに基づいて、現在シンタックス要素のコンテクストインデックスが初期化値に決定される。

また、コンテクスト初期化部２２は、各シンタックス要素について、コンテクスト変数とビンストリングとの対応関係を収録するコンテクストテーブルに係わるデータを保存している。

コンテクスト初期化部２２は、シンタックス要素のためのコンテクスト変数を決定することができる。周辺最大符号化単位のコンテクスト変数を利用して、現在最大符号化単位のコンテクスト変数を同期化することもできる。

段階２３において、コンテクスト初期化部２２は、コンテクストテーブルに基づいて、現在コンテクスト変数において、シンタックス要素に割り当てられるビンストリングと、段階２１で決定されたビンインデックスでのビンストリングとを比較し、現在ビンストリングが示すシンタックス要素の値を決定することができる。

最大符号化単位のエントロピー復号化を始めるときの初期コンテクスト変数から、最大符号化単位に係わるビンストリングに対してエントロピー復号化を行いながら新たに蓄積されるコンテクストに基づいて、コンテクスト変数が更新される。

コンテクスト初期化部２２は、ビットストリームのＰＰＳから獲得された第１情報に基づいて、ピクチャに従属的スライスセグメントが含まれているか否かということを決定することができる。コンテクスト初期化部２２は、ビットストリームのスライスセグメント別データのうち最大符号化単位に係わるデータから獲得された第２情報に基づいて、最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位であるか否かということを決定することができる。また、コンテクスト初期化部２２は、スライスセグメント別データのうち最大符号化単位に係わるデータからビンストリングを獲得することができる。

段階２５において、コンテクスト保存部２６は、シンタックス要素が最大符号化単位において、最後のシンタックス要素であり、最大符号化単位が含まれたピクチャに、従属的スライスセグメントが含まれ、最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位である場合、最大符号化単位に係わるコンテクスト変数を保存することができる。

スライスセグメントが、独立的スライスセグメントであるか、あるいは従属的スライスセグメントであるかということと係わりなく、ピクチャに従属的スライスセグメントが含まれている場合、最大符号化単位に係わるコンテクスト変数が保存される。

ピクチャに、複数個のスライスセグメントが含まれているとき、現在スライスセグメントの次に位置する従属的スライスセグメントの最初の最大符号化単位のコンテクスト変数に対するエントロピー符号化のために、現在スライスセグメントに保存されたコンテクスト変数が利用される。

段階２７において、シンボル復元部２４は、段階２３で決定されたシンタックス要素の値を利用して、最大符号化単位のシンボルを復元することができる。

ビデオエントロピー復号化装置２０は、ビットストリームのスライスセグメントヘッダから獲得された第３情報に基づいて、スライスセグメントに含まれたサブセットのエントリーポイントの個数を決定することができる。

ビデオエントロピー復号化装置２０は、ビットストリームのスライスセグメントヘッダから獲得されたエントリーポイント別オフセットに係わる第４情報に基づいて、第４情報が示す数から１ほど増加した数であるオフセットを利用して、各エントリーポイントの位置を決定することができる。従って、ビデオエントロピー復号化装置２０は、スライスセグメント、タイルまたは最大符号化単位の列のようなサブセットごとにエントリーポイントが明確に決定することができるので、周辺最大符号化単位のコンテクスト変数を獲得するエントロピー同期化地点を正確に決定することができる。

段階２１ないし段階２７によって、各スライスセグメントごとにパージングされた最大符号化単位の符号化シンボルを利用して、ビデオエントロピー復号化装置２０は、各最大符号化単位に対して、ラスタースキャン順序によって順次に復号化を行うことができる。

ビデオエントロピー復号化装置２０は、タイル別に、他のタイルと個別的に復号化することができる。１つのＮＡＬユニットには、タイル別に、現在タイルに含まれた最大符号化単位を順次に復号化することができる。

従って、ビデオエントロピー復号化装置２０は、各スライスセグメントごとにパージングされた最大符号化単位の符号化シンボルを利用して、各最大符号化単位に対して、ラスタースキャン順序によって順次に復号化を行うことができる。

また、現在スライスセグメントに含まれた最大符号化単位のうち、所定タイルに含まれる最大符号化単位は、現在タイルでの復号化順序によって復号化することができる。

ビデオエントロピー復号化装置２０は、現在スライスセグメントの全体最大符号化単位が現在タイルに属するとき、現在スライスセグメントに含まれた多数の最大符号化単位を、現在タイル内でのラスタースキャン順序によって復号化することができる。その場合、現在スライスセグメントは、現在タイルの境界にかけて位置しない。ビデオエントロピー復号化装置２０は、各タイルに含まれた少なくとも１つのスライスセグメント別に順次に復号化し、各スライスセグメントに含まれた多数のブロックをラスタースキャン順序によって復号化することができる。

また、現在スライスセグメントが少なくとも１つのタイルを含む場合にも、ビデオエントロピー復号化装置２０は、現在スライスセグメントに含まれた最大符号化単位のうち、現在タイルに属する最大符号化単位に対して、現在タイルでの最大符号化単位のラスタースキャン順序によって復号化を行うことができる。
最大符号化単位別にパージングされたイントラサンプル、動きベクトル、符号化モード情報などのような符号化シンボルを利用して、インピクチャ予測が行われる。インピクチャ予測を介して、以前符号化シンボルの復元値と、現在符号化シンボルと以前符号化シンボルとの差値とが合成されることにより、現在符号化シンボルの復元値が決定される。また、現在サンプルより先に復元された隣接サンプルの復元値と、現在サンプルと以前サンプルとの差値が合成されることにより、現在サンプルの復元値が決定される。

最大符号化単位の符号化シンボルを利用した復号化は、逆量子化、逆変換、イントラ予測／動き補償などを介して行われる。例えば、各最大符号化単位の符号化シンボルに対して逆量子化を行い、変換単位の変換係数が復元され、変換単位の変換係数に対して逆変換を行い、予測単位のレジデュアル情報が復元される。レジデュアル情報においてイントラサンプルを利用して、イントラ予測が行われる。また、動きベクトルが示す他の復元予測単位とレジデュアル情報とを合成する動き補償を介して、現在予測単位のサンプルが復元される。また、最大符号化単位に対して、ＳＡＯ補償及びインループフィルタリングが行われる。

従って、ビデオエントロピー復号化装置２０は、各スライスセグメント及び各タイルの最大符号化単位に対して、タイル内での復号化順序によって順次に復号化することができる。

一実施形態によって、タイルが少なくとも１つのスライスセグメントを含む場合には、スライスセグメントごとに最大符号化単位を復号化し、スライスセグメント別に復元した結果を組み合わせ、１つのタイルが復元される。

また、一実施形態によってス、ライスセグメントが少なくとも１つのタイルを含む場合には、タイルごとに最大符号化単位を復号化し、タイル別に復元した結果を組み合わせ、１つのスライスセグメントが復元される。

ビデオエントロピー復号化装置２０は、復元されたタイルまたは復元されたスライスセグメントで構成されたピクチャを復元することができる。

図１Ａ、図１Ｂ、図２Ａ、図２Ｂを参照して説明したエントロピー符号化／復号化方式に基づいて、現在ピクチャにおいて、従属的スライスセグメントが使用されるならば、各スライスセグメントの最後の最大符号化単位のエントロピー符号化（復号化）を完了した後、コンテクスト変数を保存することができる。従って、以前スライスセグメントが独立的スライスセグメントであるとしても、その次の従属的スライスセグメントのために必要なコンテクスト変数の初期変数を、先に符号化された独立的スライスセグメントの最後の最大符号化単位のコンテスト変数から獲得することができる。

また、エントロピー符号化／復号化のためのコンテクスト変数の同期化地点を効率的に知らせるために、サブセットオフセットから１ずつ減少した数を示す情報が、スライスセグメントを介して提供されるので、スライスセグメントのデータサイズが縮小される。

以下、図３及び図４を参照し、一実施形態によるビデオエントロピー符号化装置１０及びビデオエントロピー復号化装置２０が使用するサブ領域であるスライスセグメントとタイルとの関係について詳細に説明する。

図３は、ピクチャ内のタイル及び最大符号化単位を図示している。

ピクチャ３０１を、縦方向及び横方向のうち少なくとも一方向に分割して生成された各領域に対して、独立して符号化及び復号化を行うとき、各領域をタイルと呼ぶ。ＨＤ（high definision）級、ＵＨＤ（ultra high definition）級の解像度のビデオの大データ量を利用して、リアルタイムでプロセッシングするために、ピクチャを少なくとも１列の縦列（column）と、少なくとも１列の横列（row）に分割してタイルが形成され、タイル別に符号化／復号化が行われる。

ピクチャ３０１において各タイルは、個別的に符号化／復号化される空間領域であるので、符号化／復号化する領域のタイルのみを選択的に符号化／復号化することが可能になる。

図３で、ピクチャ３０１が縦列境界３２１，３２３と横列境界３１１，３１３とによってタイルに分割される。縦列境界３２１，３２３のうち一つと、横列境界３１１，３１３のうち一つとによって取り囲まれた領域がタイルである。

ピクチャ３０１をタイルに分割して符号化するならば、縦列境界３２１，３２３と横列境界３１１，３１３との位置についての情報がＳＰＳ（sequence parameter set）またはＰＰＳ（picture parameter set）に収録されて伝送される。ピクチャ３０１の復号化時には、ＳＰＳまたはＰＰＳから、縦列境界３２１，３２３と横列境界３１１，３１３との位置についての情報をパージングし、タイル別に復号化し、ピクチャ３０１の各サブ領域を復元し、縦列境界３２１，３２３と横列境界３１１，３１３とについての情報を利用して、各サブ領域を１つのピクチャ３０１に復元することができる。

ピクチャ３０１を最大符号化単位（ＬＣＵ）に分割し、ブロック別に符号化／復号化が行われる。従って、ピクチャ３０１を、縦列境界３２１，３２３と横列境界３１１，３１３とに分割して形成された各タイルは、最大符号化単位を含む。ピクチャを分割する縦列境界３２１，３２３と横列境界３１１，３１３は、隣接するＬＣＵの境界に沿って通過するので、各ＬＣＵを分割しない。従って、各タイルは、整数個のＬＣＵを含む。

従って、ピクチャ３０１のタイル別にプロセッシングが行われながら、各タイルでは、ＬＣＵ別に符号化／復号化が行われる。図３において、各ＬＣＵに表記されている数字は、タイル内でＬＣＵのスキャン順序、すなわち、符号化または復号化されるために処理される順序を示す。

タイルは、原則的にタイル間で独立して符号化／復号化が行われるという点で、スライスセグメント及びスライスと比較される。以下、図４を参照し、スライスセグメント及びスライスについて詳細に説明する。

図４は、ピクチャ内のスライスセグメント及び最大符号化単位を図示している。

ピクチャ４０１は、多数のＬＣＵに分割されている。図４では、ピクチャ４０１が横方向に１３個、縦方向に９個、すなわち、総１１７個のＬＣＵに分割されている。各ＬＣＵは、ツリー構造の符号化単位に分割されて符号化／復号化される。

ピクチャ４０１は、境界線４１１によって、上段スライス及び下段スライスの２つのスライスに分割されている。また、ピクチャ４０１は、境界線４２１，４２３，４１１により、スライスセグメント４３１，４３３，４３５，４４１に分割されている。

スライスセグメント４３１，４３３，４３５，４４１のタイプは、従属的スライスセグメント（dependent slice segment）と独立的スライスセグメント（independent slice segment）とに分類される。従属的スライスセグメントでは、所定スライスセグメントに対するソース符号化及びエントロピー符号化で利用されるか生成される情報が、異なるスライスセグメントのソース符号化及びエントロピー符号化のために参照される。復号化時にも、同様に従属的スライスセグメントのうち所定スライスセグメントに対するエントロピー復号化において、パージング情報及びソース復号化で利用されるか復元される情報が、異なるスライスセグメントのエントロピー復号化及びソース復号化のために参照される。

独立的スライスセグメントでは、スライスセグメント別に、ソース符号化及びエントロピー符号化で利用されたり生成されたりする情報が互いに全然参照されず、独立して符号化される。復号化時にも、同様に独立的スライスセグメントのエントロピー復号化及びソース復号化のために、他のスライスセグメントのパージング情報及び復元情報は、全然利用されない。

スライスセグメントのタイプが従属的スライスセグメントであるか、あるいは独立的スライスセグメントであるかということについての情報は、スライスセグメントヘッダに収録されて伝送される。ピクチャ３０１の復号化時には、スライスセグメントヘッダから、スライスセグメントタイプについての情報をパージングし、スライスセグメントのタイプによって、現在スライスセグメントを、他のスライスセグメントを参照して復元するか、あるいは他のスライスセグメントとは独立して復号化するかということを決定することができる。

特に、独立的スライスセグメントのスライスセグメントヘッダのシンタックス成分（syntax elements）の値、すなわち、ヘッダ情報は、先行するスライスセグメントのヘッダ情報から類推して決定されることがない。これに対し、従属的スライスセグメントのスライスセグメントヘッダのヘッダ情報は、先行するスライスセグメントのヘッダ情報から類推して決定される。

各スライスは、整数個のＬＣＵを含んでもよい。また、１つのスライスは、少なくとも１つのスライスセグメントを含んでもよい。１つのスライスがスライスセグメントを一つのみ含むならば、独立的スライスセグメントを含む。また、１つのスライスは、１つの独立的スライスセグメントと、独立的スライスセグメントとに続き、少なくとも１つの従属的スライスセグメントをさらに含んでもよい。１つのスライスに含まれる少なくとも１つのスライスセグメントは、同一アクセスユニット（access unit）を介して送受信される。

ピクチャ４１０の上段スライスが、１つの独立的スライスセグメント４２１と、２つの従属的スライスセグメント４３３，４３５と、を含んでいる。ピクチャ４１０の下段スライスは、１つの独立的スライスセグメント４４１だけで構成されている。

以下、図５ないし図７を参照し、エントロピー復号化を介したシンボルのパージング過程について詳細に説明する。

図５は、一実施形態によるＣＡＢＡＣパージング動作５０のフローチャートを図示している。

一実施形態によって、ビデオエントロピー復号化装置２０がＣＡＢＡＣ復号化を行う場合、ＣＡＢＡＣパージング動作５０を介して、所定シンタックス要素に係わるシンボルをパージングすることができる。

動作５１１を介して、ビデオエントロピー復号化装置２０は、現在パージングするシンタックス要素がスライスセグメント、タイルまたはＬＣＵ列などのサブセットにおいて、最初のシンタックス要素であるか否か、すなわち、初めてパージングされるシンタックス要素であるか否かということを決定する。

最初のシンタックス要素であるならば、動作５１３を介して、コンテクスト内部変数が初期化される。コンテクスト内部変数は、現在シンタックス要素に係わるコンテクストインデックス及びコンテクストテーブルでもある。コンテクスト内部変数が既設定のデフォルト値に決定される。

動作５２１を介して、ビデオエントロピー復号化装置２０は、ビットストリームから、現在シンタックス要素を示すビンストリングを獲得することができる。動作５２３及び動作５２４において、いったんビンストリングの最初のビンインデックスは、−１に設定し、ビンストリングの１ビットずつ追加されながら、ビンインデックスも、１ずつ増加する。

動作５２７を介して、ビデオエントロピー復号化装置２０は、シンタックス要素の現在ビンインデックスに対応するコンテクスト変数を獲得することができる。例えば、現在ビンインデックスに対応するコンテクスト変数は、コンテクストテーブル、コンテクストインデックス及びバイパスフラグを含んでもよい。各シンタックス要素の各ビンインデックスに対応するように、既設定のコンテクスト変数に係わるデータがビデオエントロピー復号化装置２０にあらかじめ保存されている。既保存のデータを基に、現在シンタックス要素のビンインデックスに対応するコンテクスト変数が選択される。

動作５２９を介して、ビデオエントロピー復号化装置２０は、ビンストリングのコンテクスト変数に対応するビット列を復号化することができる。シンタックス要素別に、ビンインデックスによってあらかじめ設定されたバイパスフラグに係わるデータを基に、現在ビンインデックスに割り当てられるバイパス状態が決定される。シンタックス要素別に、現在符号化されるデータ単位（符号化単位、変換単位、予測単位など）の現在状態や属性（データ単位のスキャンインデックス、カラー成分インデックス、データ単位の大きさなど）に基づいて、コンテクストインデックスが決定される。コンテクストテーブルにおいて、現在コンテクストインデックス及びバイパス状態に対応するビット列が決定される。

動作５３１を介して、ビデオエントロピー復号化装置２０は、現在シンタックス要素において使用可能なビット列を収録するデータと、動作５２９を介して決定された現在ビット列とを比較することができる。現在決定されたビット列が、ビット列データに属さないのであるならば、さらに動作５２５に戻り、ビンインデックスを１ほど増加させて１ビットを追加されたビンストリングに対し、さらにコンテクスト変数を決定し、ビット列を復号化する動作５２７，５２９が反復される。

動作５２９を介して決定された現在ビット列が、シンタックス要素に係わるビット列データに属するならば、動作５３３を介して、現在シンタックス要素がＰＣＭモードであるということを示す情報「ｐｃｍ＿flag」でありながら、シンタックス要素値がＰＣＭモードであるということを示すか否かということが判断される。動作５２９を介して、ＰＣＭモードの最大符号化単位であるということが決定されるならば、動作５３５において、復号化動作５０が初期化される。

ＰＣＭモードではないならば、動作５３７を介して、現在シンタックス要素が現在サブセット（ＬＣＵまたはスライスセグメント）において最後のシンタックス要素であるか否か、すなわち、最後にパージングされる対象であるか否かということが判断される。最後のシンタックス要素であるならば、動作５３９において、現在ＬＣＵで最終的に更新されたコンテックスト変数が保存される。

コンテックスト変数の保存が完了するか、あるいは最後のシンタックス要素ではないならば、現在シンタックス要素に係わるパージング過程が完了する。

動作５３９で保存されたコンテクスト変数は、他ののエントロピー復号化のために利用される。図６Ａは、保存されたコンテクスト変数を利用するエントロピー復号化過程を図示している。

サブセットが、各ＬＣＵ行（row）である場合、以前ＬＣＵ行の最終コンテクスト変数を利用して、現在ＬＣＵ行の初期コンテクスト変数が決定される。

例えば、映像６０において、現在ＬＣＵ行の最初のＬＣＵの初期コンテクスト変数は、真上に位置するＬＣＵ行の最後のＬＣＵの最終コンテクスト変数として決定、すなわち、同期化される。従って、最初のＬＣＵ行の最初のＬＣＵ６１は、初期コンテクスト変数は、デフォルトコンテクスト変数に設定されるが、２番目ＬＣＵ行の最初のＬＣＵ６３の初期コンテクスト変数６３１は、最初のＬＣＵ行の最後のＬＣＵ６２の最終コンテクスト変数６２９に決定され、３番目ＬＣＵ行の最初のＬＣＵ６５の初期コンテクスト変数６５１は、２番目ＬＣＵ行の最後のＬＣＵ６４の最終コンテクスト変数６４９として決定される。

もし同期化距離が１である場合には、現在ＬＣＵのコンテクスト変数の同期化のために、コンテクスト保存部２６は、上端ＬＣＵ行の２番目最大符号化単位のコンテクスト変数を利用することができる。従って、上端ＬＣＵ行の２番目最大符号化単位の更新が完了し、最終コンテクスト変数が決定されれば保存し、保存された上端ＬＣＵ行の最終コンテクスト変数を利用して、現在ＬＣＵ行の最大符号化単位のコンテクスト変数を決定することができる。

図６Ｂは、一実施形態によるＣＡＢＡＣコンテクスト変数の保存動作５３９の詳細フローチャートを図示している。

動作５５１において、コンテクスト保存部１６，２６は、現在ＬＣＵが現在サブセットにおいて２番目ＬＣＵであり、現在ピクチャにおいて、コンテクスト変数の同期化が行われなければならないか否かということを判断することができる。コンテクスト変数の同期化が必要であり、現在ＬＣＵが２番目ＬＣＵであるならば、動作５５３において、コンテクスト保存部１６，２６は、ウエーブフロントコーディング（ＷＰＰ：wavefront parallel processing）のために、現在ＬＣＵの最終コンテクスト変数を保存することができる。ウエーブフロントコーディングの場合、図６Ａにおいて、同期化距離が１である場合のように、現在ＬＣＵ行の最初のＬＣＵのコンテクスト変数は、上端ＬＣＵ行の２番目ＬＣＵで保存されたコンテクスト変数に同期化される。

動作５６１において、コンテクスト保存部１６，２６は、現在ＬＣＵが現在スライスセグメントにおいて、最後のＬＣＵであり、現在ピクチャに従属的スライスセグメントが存在するか否かということを判断することができる。従属的スライスセグメントが存在し、現在スライスセグメントが最後のスライスセグメントであるならば、動作５６３においてコンテクスト保存部１６，２６は、後続する従属的スライスセグメントのために、現在ＬＣＵの最終コンテクスト変数を保存することができる。

図７は、一実施形態によるスライスセグメントヘッダのシンタックスを図示している。

ビデオエントロピー復号化装置２０は、スライスセグメントヘッダ７１から、現在スライスセグメントのエントリーポイントオフセットに係わる情報を獲得することができる。具体的に見れば、現在スライスセグメントが含まれたピクチャにおいて、スライスセグメントがタイルの存在可能性「tiles＿enabled＿flag」の条件と、ＬＣＵ別にコンテクスト変数の同期化可能性「entropy＿coding＿ｓｙｎｃ＿enabled＿flag」の条件とのうち少なくとも１つの条件を満足する場合（７２）、スライスセグメントヘッダ７１は、現在スライスセグメントに含まれたサブセットのエントリーポイントの個数を示す情報「ｎｕｍ＿entry＿point＿offsets」を収録する（７３）。また、エントリーポイントの個数ほど、各エントピポイントごとに（７４）、実際エントリーポイント別オフセットより１ほど小さい数を示す情報「entry＿point＿offset＿minus１［ｉ］」が割り当てられる（７５）。

サブセットが２以上存在するならば、サブセットオフセットが０より大きい数でなければならないので、エントリーポイントオフセット情報「entry＿point＿offset＿minus１［ｉ］」は、実際サブセットオフセットから１を差し引いた値に決定される。従って、実際サブセットオフセットは、エントリーポイントオフセット情報「entry＿point＿offset＿minus１［ｉ］」が示す数に１ほど増加させた値でもある。

各サブセットごとに割り当てられたエントリーポイントオフセット情報「entry＿point＿offset＿minus１［ｉ］」を利用して、以前サブセットから現在サブセットまでのサブセットオフセットを合算することにより、現在の最初バイトが決定される。従って、以前サブセットから現在サブセットまで各のエントリーポイントオフセット情報「entry＿point＿offset＿minus１［ｉ］」が示す数に１ほど増加した値を合算した結果値が、現在の最初バイトに決定される。

各サブセットを構成するバイトのインデックスは、０から始まり、最初バイトを示すバイトインデックスは、０である。従って、現在の最初バイトに、現在サブセットに割り当てられたエントリーポイントオフセット情報「entry＿point＿offset＿minus１［ｉ］」が示す数を合算し、現在の最後バイトが決定される。

一実施形態によるエントロピー符号化装置１０、及び一実施形態によるエントロピー復号化装置２０において、ビデオデータが分割されるブロックが最大符号化単位であり、各最大符号化単位は、ツリー構造の符号化単位に分割されるという点は、前述の通りである。以下、図８ないし図２０を参照し、一実施形態による最大符号化単位及びツリー構造の符号化単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置について開示する。

図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図である。

一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して指称する。

符号化単位決定部１２０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横に大きさが２の累乗である正方形のデータ単位でもある。

一実施形態による符号化単位は、最大サイズ及び最大深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データは、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに対する符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内において、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は１に設定され、２回分割された符号化単位の深度は２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用され、段階別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になる、それ以上さらに分割されない符号化単位を「予測単位」と指称する。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが変換深度によって、ツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図１０ないし図２０を参照して詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードについての情報をビットストリーム形態で出力する。

符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。

深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードについての情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位の中に含まれている最大サイズの正方形データ単位でもある。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。

ピクチャ別、スライスセグメント別またはＧＯＰ（group of picture）別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。

また、現在ビデオに対して許容される変換単位の最大サイズについての情報、及び変換単位の最小サイズについての情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、予測と係わる参照情報、予測情報、スライスセグメントタイプ情報などを符号化して出力することができる。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが、２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。

一実施形態によるビデオ符号化装置１００が、最大符号化単位ごとにツリー構造の符号化単位を決定し、符号化単位ごとに符号化を行った結果、シンボルが生成される。一実施形態によるビデオエントロピー符号化装置１０は、最大符号化単位ごとに、シンボルに対して、エントロピー符号化を行うことができる。特に、ビデオエントロピー符号化装置１０は、ピクチャが分割されたスライスセグメントまたはタイルごとに、横方向に連続する最大符号化単位で構成された最大符号化単位列に沿って、各最大符号化単位に係わるエントロピー符号化を行うことができる。また、エントロピー符号化装置１０は、２以上の最大符号化単位列に対するエントロピー符号化を同時に並列処理することができる。

ビデオエントロピー符号化装置１０は、最大符号化単位別に符号化を行って決定されたシンボルに対して二進化を行い、シンボルのビット列を生成することができる。最大符号化単位のシンボルに対応するシンタックス要素値のビンインデックス別コンテクスト変数が決定され、シンタックス要素のコンテクスト変数に基づいて、シンタックス要素値を示すビンストリングを決定することができる。ビデオエントロピー符号化装置１０は、現在シンタックス要素値に係わるコンテクストテーブルにおいて、現在決定されたコンテクスト変数が示すビンストリングを採択することができる。

ビデオエントロピー符号化装置１０は、最大符号化単位に係わる全てのシンタックス要素に係わるビンストリングを生成した後、最大符号化単位で決定されたコンテクスト変数を保存するか否かということを決定することができる。シンタックス要素が、最大符号化単位において、最後のシンタックス要素であり、最大符号化単位が含まれたピクチャに、従属的スライスセグメントが含まれ、最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位である場合、最大符号化単位に係わるコンテクスト変数が保存される。

図９は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図である。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して指称する。

一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図８及びビデオ符号化装置１００を参照して説明したところと同一である。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして最大符号化単位ごとに映像データを復号化させる。

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されてもよい。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端において、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一符号化深度及び符号化モードについての情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位においてそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって同一符号化モードで復号化する１つのデータ単位で見なされる。そのように決定された符号化単位ごとに、符号化モードについての情報を獲得し、現在符号化単位の復号化が行われる。

受信部２１０は、図２Ａを参照して説明したビデオエントロピー復号化装置２０を含んでもよい。ビデオエントロピー復号化装置２０は、受信されたビットストリームから、多数の最大符号化単位列をパージングすることができる。

受信部２１０が、ビットストリームから第１最大符号化単位列及び第２最大符号化単位列を抽出すれば、ビデオエントロピー復号化装置２０は、第１最大符号化単位列に対してエントロピー復号化を行い、第１最大符号化単位列の最大符号化単位のシンボルを順次に復元することができる。

ビデオエントロピー復号化装置２０は、ビットストリームから獲得した最大符号化単位に係わるビンストリングとビンインデックスとを決定することができる。各シンタックス要素について、コンテクスト変数とビンストリングとの対応関係を収録するコンテクストテーブルに係わるデータを保存している。ビデオエントロピー復号化装置２０は、コンテクストテーブルに基づいて、現在コンテクスト変数において、シンタックス要素に割り当てられるビンストリングと、現在決定されたビンインデックスでのビンストリングとを比較し、現在ビンストリングが示すシンタックス要素の値を決定することができる。

ビデオエントロピー復号化装置２０は、シンタックス要素が、最大符号化単位において、最後のシンタックス要素であり、最大符号化単位が含まれたピクチャに、従属的スライスセグメントが含まれ、最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位である場合、最大符号化単位に係わるコンテクスト変数を保存することができる。スライスセグメントが、独立的スライスセグメントであるか、あるいは従属的スライスセグメントであるかということと係わりなく、ピクチャに従属的スライスセグメントが含まれている場合、最大符号化単位に係わるコンテクスト変数が保存される。

ビデオエントロピー復号化装置２０は、各シンタックス要素の値を利用して、最大符号化単位のシンボルを復元することができる。

結局、ビデオ復号化装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位で決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

図１０は、本発明の一実施形態による符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８、８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８に設定され、符号化単位の最大サイズが１６に設定され、最大深度が１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上する。

図１１は、本発明の一実施形態による、符号化単位に基づいた映像符号化部４００のブロック図である。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０が、いずれも最大符号化単位ごとに最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

特に、エントロピー符号化部４５０は、一実施形態によるビデオエントロピー符号化装置１０に相応する。

図１２は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図である。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０において、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が遂行される。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとにそれぞれ、パーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。特に、エントロピー復号化部５２０は、一実施形態によるビデオエントロピー復号化装置２０に相応する。

図１３は、本発明の一実施形態による、深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定される。あらかじめ設定された符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び最大幅が６４であり、最大深度が４である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度において、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図１４は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位において、映像を符号化／復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほどは大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００において、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図１５は、本発明の一実施形態による深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。

パーティションタイプについての情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態についての情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。

また、変換単位サイズについての情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうちいずれか一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を抽出して復号化に利用することができる。

図１６は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索していく。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であれば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索していく。

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９８０に対して、分割情報が設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

そのように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度に決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に対する符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。

図１７、図１８及び図１９は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１であり、符号化単位１０１４，１０１６，１０１８、１０２８，１０５０，１０５２は、深度が２であり、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３であり、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０のうち、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０のうち、一部変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０における当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償の作業、及び変換／逆変換の作業であるとしても、それぞれ別個のデータ単位を基に行う。

それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームからツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、該符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種の大きさに設定され、インターモードで２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。

図２０は、表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位でるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ１３２２，２ＮｘＮ１３２４，Ｎｘ２Ｎ１３２６，ＮｘＮ１３２８，２ＮｘｎＵ１３３２，２ＮｘｎＤ１３３４，ｎＬｘ２Ｎ１３３６及びｎＲｘ２Ｎ１３３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ１３２２，２ＮｘＮ１３２４，Ｎｘ２Ｎ１３２６及びＮｘＮ１３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ１３３２，２ＮｘｎＤ１３３４，ｎＬｘ２Ｎ１３３６及びｎＲｘ２Ｎ１３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図２０を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるのもではなく、設定によって、０、１、２、３、…などに増加して変換単位が階層的に分割される。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは８ｘ８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（１）のように定義される。

CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex））（１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。

一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって異なる。
例えば、現在予測モードがインターモードであるならば、RootTuSizeは、下記数式（２）によって決定される。数式（２）で、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。

RootTuSize＝ｍｉｎ（MaxTransformSize，PUSize）（２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize）（３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がそれに限定されるものではないということに留意しなければならない。

図８ないし図２０を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法により、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

説明の便宜のために、先に図１Ａないし図２０を参照して説明したエントロピー符号化方法を遂行するビデオ符号化方法は、「本発明のビデオ符号化方法」とする。また、先に図１Ａないし図２０を参照して説明したエントロピー復号化方法を遂行するビデオ復号化方法は、「本発明のビデオ復号化方法」とする。

また、先に図１Ａないし図２０を参照して説明したエントロピー符号化装置１０を含むビデオ符号化装置１００、及び映像符号化部４００で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」とする。また、先に図１Ａないし図２０を参照して説明したエントロピー復号化装置２０を含むビデオ復号化装置２００及び映像復号化部５００は、「本発明のビデオ復号化装置」とする。

一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク２６０００である実施形態について、以下で詳細に説明する。

図２１は、一実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示する。記録媒体として説明したディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（登録商標（Blu-ray））ディスク、ＤＶＤディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒで構成され、トラックは、円周方向に沿って所定個数のセクタＳｅに分割される。前述の実施形態によるプログラムを保存するディスク２６０００において特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。

前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して、達成されたコンピュータシステムについて、図２２を参照して説明される。

図２２は、ディスク２６０００を利用して、プログラムを記録して読み取るためのディスクドライブ２６８００を図示している。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムをディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によってディスク２６０００からプログラムが読み取られ、プログラムがコンピュータシステム２６７００に伝送される。

図２１及び図２２で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。

前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて説明する。

図２３は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。

コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００、及び無線基地局１１７００，１１８００，１１９００，１２０００を経てインターネット１１１００に連結される。

しかし、コンテンツ供給システム１１０００は、図２４に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ずに、通信網１１４００に直接連結されてもよい。

ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）方式、ＣＤＭＡ（code division multiple access）方式、Ｗ−ＣＤＭＡ（wideband code division multiple access）方式、ＧＳＭ（登録商標（global system for mobile communications）方式及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。

ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツをリアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００で撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されてもよい。

カメラ１２６００で撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。カメラ１２６００は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びビデオ復号化のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。

また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。

ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。

一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００、または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。

クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ１２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信させ、リアルタイムで復号化して再生させ、個人放送（personal broadcasting）を可能にさせる。

コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。

図２４及び図２５を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明する。

図２４は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張したりすることができるスマートフォンでもある。

携帯電話１２５００は、無線基地局１２０００とＲＦ（radio frequency）信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diodes）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクフォン１２５５０、または他の形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤカメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されたり、電子メール（Ｅ−mail）に受信されるか、他の形態で獲得されたりするビデオや静止映像のように、符号化されるか復号化されたデータを保存するための記録媒体１２５７０；及び記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０；を含んでもよい。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable and programmable read only memory）のような他の形態のフラッシュメモリでもある。

図２５は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号化部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer/demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。

ユーザが電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。

中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random access memory）を含む。

携帯電話１２５００が外部に通信データを送信する過程では、中央制御部１２７１０の制御によって、携帯電話１２５００においてデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によってデ、ジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。

例えば、携帯電話１２５００が通話モードであるとき、マイクフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。

データ通信モードにおいて、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して中央制御部１２６１０に伝送される。中央制御部１２６１０の制御により、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して無線基地局１２０００に送出される。

データ通信モードにおいて映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。

映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中に、携帯電話１２５００のマイクフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経てデジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。

多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して送出される。

携帯電話１２５００が外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を周波数復元（frequency recovery）処理及びＡ／Ｄ変換（analog-digital conversion）処理を介してデジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。

携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換及びＡ／Ｄ変換（analog-digital conversion）処理を介してデジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナグ音響信号に変換され、アナグ音響信号が、スピーカ１２５８０を介して出力される。

データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果として多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。

アンテナ１２５１０を介して受信した多重化されたデータを復号化するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０により、符号化されたビデオデータストリームは、ビデオ復号化部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。

映像復号化部１２６９０の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９０は、前述の本発明のビデオ復号化方法を利用して、符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に、復元されたビデオデータを提供することができる。

それによってインターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０にディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナグ音響信号に変換し、アナグ音響信号をスピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。

携帯電話１２５００または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号化装置のみを含む受信端末機でもある。

本発明の通信システムは、図２４を参照して説明した構造に限定されるものではない。例えば、図２６は、本発明による通信システムが適用されたデジタル放送システムを図示している。図２６の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。

具体的に見れば、放送局１２８９０は、電波を介して、ビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、該放送信号は、家庭にあるアンテナ１２８６０によっ、て衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top box）１２８７０または他のデバイスによって復号化されて再生される。

再生装置１２８３０において、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを読み取って復号化することができる。それにより、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。

衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。

他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に本発明のビデオ復号化装置が搭載されてもよい。

適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号化されたビデオが再生される。

ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存されてもよい。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。

自動車ナビゲーションシステム１２９３０は、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００（図２３）及びＴＶ受信機１２８１０も、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。

図２７は、本発明の一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示している。

本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。

クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザに必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）のようなコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望する時点で所望するほど選んで使用することができる。

特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal computer）１４３００、スマートＴＶ１４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、テブレットＰＣ１４８００など、インターネット接続が可能な全ての電子機器にもなる。

クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップードされたデータを含んでもよい。そのように、クラウドコンピューティングサーバ１４１００は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。

ユーザＤＢ１４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報や、住所、氏名などの個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、該インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。

ユーザＤＢ１４１００に保存された動画についての情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ１４１００に所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一の動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ１４１００を参照し、所定動画サービスを見い出して再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先に図２４を参照して説明した携帯電話１２５００の動作と類似している。

クラウドコンピューティングサーバ１４１００は、ユーザＤＢ１４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機からユーザＤＢ１４１００に保存された動画に対する再生要請を受信する。該動画がそれ以前に再生中であったならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機への選択により、最初から再生するか、あるいは以前の停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を最初のフレームからストリーミング伝送する。一方、端末機が、以前の停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。

そのとき、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。

図１Ａないし図２０を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について図２１ないし図２７において説明した。しかし、図１Ａないし図２０を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法が、記録媒体に保存されたり、あるいは本発明のビデオ符号化装置及びビデオ復号化装置が、デバイスで具現されたりする多様な実施形態は、図２１ないし図２７の実施形態に限定されるものではない。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

多様な実施形態によって、ビデオ復号化装置によって行われるビデオ復号化方法は、ビットストリームから、符号化単位の最大サイズについての情報を獲得する段階と、ビットストリームから、ピクチャに従属的スライスセグメントが含まれることが許容されるか否かということを示す第１情報を獲得する段階と、最大サイズについての情報によって決定された最大符号化単位の大きさに基づいて、第１スライスセグメントに含まれる一つ以上の最大符号化単位を決定する段階と、ビットストリームから、現在最大符号化単位が第１スライスセグメントの終りであるか否かということを示す第２情報を獲得する段階と、第１情報が、ピクチャに従属的スライスセグメントが含まれることが許容されるということを示し、第２情報が、現在最大符号化単位は、第１スライスセグメントの終りであるということを示す場合、第１スライスセグメントのコンテクスト変数を保存する段階と、保存されたコンテクスト変数を利用して、ピクチャにおいて、第１スライスセグメントの次に位置する従属的スライスセグメントを復号化する段階と、を含んでもよい。

多様な実施形態によって、コンテクスト変数を保存する段階は、スライスセグメントが、独立的スライスセグメントであるか、あるいは従属的スライスセグメントであるかということと係わりなく、ピクチャに従属的スライスセグメントが含まれることが許容される場合、現在最大符号化単位に係わるコンテクスト変数を保存する段階を含むことを特徴とする。

多様な実施形態によって、コンテクスト変数を保存する段階は、第２情報が、現在最大符号化単位は、第１スライスセグメントの終りであるということを示す場合、第１スライスセグメントにおいて、最後に復号化された現在最大符号化単位に係わるコンテクスト変数を保存する段階を含むことを特徴とする。

多様な実施形態によって、ビデオエントロピー復号化方法は、ビットストリームのピクチャパラメータセットから獲得された第１情報に基づいて、ピクチャに従属的スライスセグメントが含まれているか否かということを決定する段階と、ビットストリームのスライスセグメント別データのうち最大符号化単位に係わるデータから獲得された第２情報に基づいて、最大符号化単位がスライスセグメントの終りであるということを示すか否かということを決定する段階と、現在最大符号化単位に係わるデータから、ビンストリングを獲得する段階と、を含むことを特徴とする。

多様な実施形態によって、ビデオエントロピー復号化方法は、ビットストリームのスライスセグメントヘッダから獲得された第３情報に基づいて、スライスセグメントに含まれたサブセットのエントリーポイントの個数を決定する段階と、ビットストリームのスライスセグメントヘッダから獲得されたエントリーポイント別オフセットに係わる第４情報に基づいて、第４情報が示す数から１ほど増加した数であるオフセットを利用して、各エントリーポイントの位置を決定する段階と、を含み、ピクチャに含まれたスライスセグメントにタイルが含まれているか、ピクチャに含まれた最大符号化単位のコンテクスト変数のために同期化動作が行われる場合、エントリーポイントの個数及びエントリーポイントの位置を決定することを特徴とする。

多様な実施形態によって、ビデオを復号化するビデオ復号化装置は、ビットストリームから、符号化単位の最大サイズについての情報及び第１情報を獲得する獲得部；及び最大サイズについての情報によって決定された最大符号化単位の大きさに基づいて、第１スライスセグメントに含まれる一つ以上の最大符号化単位を決定する復号化部；を含み、該獲得部は、ビットストリームから、現在最大符号化単位が第１スライスセグメントの終りであるか否かということを示す第２情報を獲得することを特徴とし、復号化部は、第１情報が、ピクチャに従属的スライスセグメントが含まれることが許容されるということを示し、第２情報が、現在最大符号化単位は、第１スライスセグメントの終りであるということを示す場合第１スライスセグメントのコンテクスト変数を保存することを特徴とする。

以下、図１Ｂを参照し、ビデオエントロピー符号化装置１０の各構成要素別に、ビデオエントロピー符号化を行う動作について詳細に説明する。図１Ｂは、多様な実施形態によるビデオエントロピー符号化方法のフローチャートを図示している。

また、現在スライスセグメントが少なくとも１つのタイルを含む場合にも、ビデオエントロピー復号化装置２０は、現在スライスセグメントに含まれた最大符号化単位のうち、現在タイルに属する最大符号化単位に対して、現在タイルでの最大符号化単位のラスタースキャン順序によって復号化を行うことができる。

最大符号化単位別にパージングされたイントラサンプル、動きベクトル、符号化モード情報などのような符号化シンボルを利用して、インピクチャ予測が行われる。インピクチャ予測を介して、以前符号化シンボルの復元値と、現在符号化シンボルと以前符号化シンボルとの差値とが合成されることにより、現在符号化シンボルの復元値が決定される。また、現在サンプルより先に復元された隣接サンプルの復元値と、現在サンプルと以前サンプルとの差値が合成されることにより、現在サンプルの復元値が決定される。

図３は、ピクチャ内のタイル及び最大符号化単位を図示している。ピクチャ３０１を、縦方向及び横方向のうち少なくとも一方向に分割して生成された各領域に対して、独立して符号化及び復号化を行うとき、各領域をタイルと呼ぶ。ＨＤ（high definision）級、ＵＨＤ（ultra high definition）級の解像度のビデオの大データ量を利用して、リアルタイムでプロセッシングするために、ピクチャを少なくとも１列の縦列（column）と、少なくとも１列の横列（row）に分割してタイルが形成され、タイル別に符号化／復号化が行われる。

図４は、ピクチャ内のスライスセグメント及び最大符号化単位を図示している。ピクチャ４０１は、多数のＬＣＵに分割されている。図４では、ピクチャ４０１が横方向に１３個、縦方向に９個、すなわち、総１１７個のＬＣＵに分割されている。各ＬＣＵは、ツリー構造の符号化単位に分割されて符号化／復号化される。

CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex））（１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式１によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。

一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって異なる。

例えば、現在予測モードがインターモードであるならば、RootTuSizeは、下記数式（２）によって決定される。数式（２）で、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。

ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）方式、ＣＤＭＡ（code division multiple access）方式、Ｗ−ＣＤＭＡ（wideband code division multiple access）方式、ＧＳＭ（登録商標（global system for mobile communications））方式及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。

Claims

ビデオエントロピー復号化方法において、
ビットストリームから獲得した最大符号化単位に係わるビンストリング及びビンインデックスを決定する段階と、
前記ビンインデックスにおいて、シンタックス要素に割り当てられるビンストリングと、前記獲得されたビンストリングとを比較し、前記シンタックス要素の値を決定する段階と、
前記シンタックス要素が、前記最大符号化単位において、最後のシンタックス要素であり、前記最大符号化単位が含まれたピクチャに、従属的スライスセグメントが含まれ、前記最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位である場合、前記最大符号化単位に係わるコンテクスト変数を保存する段階と、
前記決定されたシンタックス要素の値を利用して、前記最大符号化単位のシンボルを復元する段階と、を含むことを特徴とするビデオエントロピー復号化方法。
前記コンテクスト変数を保存する段階は、
前記スライスセグメントが、独立的スライスセグメントであるか、あるいは従属的スライスセグメントであるかということと係わりなく、前記ピクチャに従属的スライスセグメントが含まれている場合、前記最大符号化単位に係わるコンテクスト変数を保存する段階を含むことを特徴とする請求項１に記載のビデオエントロピー復号化方法。
前記ビデオエントロピー復号化方法は、
前記ピクチャに含まれるスライスセグメントのうち、前記スライスセグメントの次に位置する従属的スライスセグメントの最初の最大符号化単位のコンテクスト変数に対するエントロピー復号化のために、前記保存されたコンテクスト変数を利用する段階を含むことを特徴とする請求項１に記載のビデオエントロピー復号化方法。
前記ビデオエントロピー復号化方法は、
前記ビットストリームのピクチャパラメータセットから獲得された第１情報に基づいて、前記ピクチャに従属的スライスセグメントが含まれているか否かということを決定する段階と、
前記ビットストリームのスライスセグメント別データのうち、前記最大符号化単位に係わるデータから獲得された第２情報に基づいて、前記最大符号化単位が前記スライスセグメントにおいて、最後の最大符号化単位であるか否かということを決定する段階と、
前記最大符号化単位に係わるデータから、前記ビンストリングを獲得する段階と、を含むことを特徴とする請求項１に記載のビデオエントロピー復号化方法。
前記ビデオエントロピー復号化方法は、
前記ビットストリームのスライスセグメントヘッダから獲得された第３情報に基づいて、前記スライスセグメントに含まれたサブセットのエントリーポイントの個数を決定する段階と、
前記ビットストリームのスライスセグメントヘッダから獲得された前記エントリーポイント別オフセットに係わる第４情報に基づいて、前記第４情報が示す数から１ほど増加した数であるオフセットを利用して、各エントリーポイントの位置を決定する段階と、を含み、
前記ピクチャに含まれたスライスセグメントにタイルが含まれているか、前記ピクチャに含まれた最大符号化単位のコンテクスト変数のために同期化動作が遂行される場合、前記エントリーポイントの個数、及び前記エントリーポイントの位置を決定することを特徴とする請求項１に記載のビデオエントロピー復号化方法。
ビデオエントロピー符号化方法において、
最大符号化単位の符号化を介して決定されたシンボルのビット列を生成する段階と、
前記シンボルに対応するシンタックス要素値のビンインデックス別コンテクスト変数を決定する段階と、
前記シンタックス要素のコンテクスト変数に基づいて、前記シンタックス要素値を示すビンストリングを決定する段階と、
シンタックス要素が、前記最大符号化単位において、最後のシンタックス要素であり、前記最大符号化単位が含まれたピクチャに、従属的スライスセグメントが含まれ、前記最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位である場合、前記最大符号化単位に係わるコンテクスト変数を保存する段階と、を含むことを特徴とするビデオエントロピー符号化方法。
前記コンテクスト変数を保存する段階は、
前記スライスセグメントが、独立的スライスセグメントであるか、あるいは従属的スライスセグメントであるかということと係わりなく、前記ピクチャに従属的スライスセグメントが含まれている場合、前記最大符号化単位に係わるコンテクスト変数を保存する段階を含むことを特徴とする請求項６に記載のビデオエントロピー符号化方法。
前記ビデオエントロピー符号化方法は、
前記ピクチャに含まれるスライスセグメントのうち、前記スライスセグメントの次に位置する従属的スライスセグメントの最初の最大符号化単位のコンテクスト変数に対するエントロピー符号化のために、前記保存されたコンテクスト変数を利用する段階を含むことを特徴とする請求項６に記載のビデオエントロピー符号化方法。
前記ビデオエントロピー符号化方法は、
ピクチャパラメータセットに、前記ピクチャに従属的スライスセグメントが含まれているか否かということを示す第１情報を含める段階と、
前記ピクチャのスライスセグメント別データのうち、前記最大符号化単位に係わるデータに、前記最大符号化単位が前記スライスセグメントにおいて、最後の最大符号化単位であるか否かということを示す第２情報及び前記ビンストリングを含める段階と、
前記ピクチャパラメータセット及び前記スライスセグメント別データを含むビットストリームを生成する段階と、を含むことを特徴とする請求項６に記載のビデオエントロピー符号化方法。
前記ビデオエントロピー符号化方法は、
前記ピクチャに含まれたスライスセグメントにタイルが含まれているか、前記ピクチャに含まれた最大符号化単位のコンテクスト変数のために同期化動作が遂行される場合、スライスセグメントヘッダに、前記スライスセグメントに含まれたサブセットのエントリーポイントの個数を示す第３情報、及び前記エントリーポイント別オフセットより１ほど小さい数を示す第４情報を含める段階と、
前記スライスセグメントヘッダを含むビットストリームを生成する段階と、を含むことを特徴とする請求項６に記載のビデオエントロピー符号化方法。
ビデオエントロピー復号化装置において、
ビットストリームから獲得した最大符号化単位に係わるビンストリング及びビンインデックスを決定し、前記ビンインデックスにおいてシンタックス要素に割り当てられるビンストリングと、前記獲得されたビンストリングとを比較し、前記シンタックス要素の値を決定するコンテクスト初期化部と、
前記シンタックス要素が、前記最大符号化単位において、最後のシンタックス要素であり、前記最大符号化単位が含まれたピクチャに、従属的スライスセグメントが含まれ、前記最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位である場合、前記最大符号化単位に係わるコンテクスト変数を保存するコンテクスト保存部と、
前記決定されたシンタックス要素の値を利用して、前記最大符号化単位のシンボルを復元するシンボル復元部と、を含むことを特徴とするビデオエントロピー復号化装置。
ビデオエントロピー符号化装置において、
最大符号化単位の符号化を介して決定されたシンボルのビット列を生成する二進化部と、
前記シンボルに対応するシンタックス要素値のビンインデックス別コンテクスト変数を決定し、前記シンタックス要素のコンテクスト変数に基づいて、前記シンタックス要素値を示すビンストリングを決定するビンストリング決定部と、
シンタックス要素が、前記最大符号化単位において、最後のシンタックス要素であり、前記最大符号化単位が含まれたピクチャに、従属的スライスセグメントが含まれ、前記最大符号化単位がスライスセグメントにおいて、最後の最大符号化単位である場合、前記最大符号化単位に係わるコンテクスト変数を保存するコンテクスト保存部と、を含むことを特徴とするビデオエントロピー符号化装置。
請求項１に記載のビデオエントロピー復号化方法を具現するためのプログラムを収録したコンピュータで読み取り可能な記録媒体。
請求項６に記載のビデオエントロピー復号化方法を具現するためのプログラムを収録したコンピュータで読み取り可能な記録媒体。