JP5654597B2 - ビデオ符号化方法及び装置、ビデオ復号化方法及び装置 - Google Patents

Description

本発明は、ビデオの符号化及び復号化に関する。

高解像度または高画質ビデオコンテンツを再生、保存できるハードウェアの開発及び普及によって、高解像度または高画質ビデオコンテンツを効果的に符号化または復号化するビデオコーデックの必要性が増大しつつある。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。

本発明は、多様なサイズの階層的符号化単位に基づく映像符号化及び映像復号化に関する。

本発明の一実施形態によるビデオ符号化方法は、現在ピクチャーを、最大サイズの符号化単位である最大符号化単位に分割する段階と、前記最大符号化単位を分割する回数に比例する深度によって、前記最大符号化単位を分割して生成された分割領域を符号化して、前記深度から前記分割領域別に最終符号化結果が出力される符号化深度を決定する段階と、前記最大符号化単位に対する前記少なくとも一つの分割領域別最終符号化結果を含む映像データと、深度及び予測モードに関する符号化情報とを出力する段階と、を含む。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。

深度とは、符号化単位が階層的に分割される段階を表し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。本明細書では、高い深度または上位深度から低い深度または下位深度の方向に‘深度が深くなる’と定義する。深度が深くなるにつれて最大符号化単位の分割回数が増加し、最大符号化単位の分割可能な総回数が‘最大深度’に対応する。符号化単位の最大サイズ及び最大深度が既定されている。

一実施形態によるビデオ符号化方法は、前記符号化サイズの最大サイズ及び最大深度を既定する段階をさらに含む。

一実施形態によるビデオ符号化方法は、前記最大符号化単位別に、少なくとも一つの深度別による深度別符号化単位に基づいて前記映像データを符号化し、前記深度が深くなるにつれて前記最大符号化単位から符号化単位が階層的に分割される。

一実施形態による前記ビデオ符号化方法の符号化深度決定段階は、前記最大符号化単位別符号化深度を決定するために、前記最大符号化単位別に前記深度別符号化単位ごとに、現在深度の符号化単位、及び前記現在深度の符号化単位の高さ及び幅のうち少なくとも一つを分割したパーティション別に予測符号化を行って、該当映像データを符号化できる。

一実施形態による前記ビデオ符号化方法の符号化深度決定段階は、前記最大符号化単位別符号化深度を決定するために、前記最大符号化単位別に前記深度別符号化単位ごとに、現在深度の符号化単位の高さ及び幅より小さいか、または同じデータ単位で変換を行って該当映像データを符号化できる。

一実施形態による前記ビデオ符号化方法の符号化深度決定段階は、前記最大符号化単位別に前記深度別符号化結果を比較して、最小符号化誤差を発生させる符号化深度の符号化単位ごとに予測符号化を行ったデータ単位のパーティションタイプ及び予測モード、及び変換を行ったデータ単位のサイズのうち少なくとも一つを決定する段階をさらに含む。

前記最大符号化単位別前記予測モードは、前記深度別符号化単位別に独立して決定され、イントラモード、インターモード及びスキップモードのうち少なくとも一つを含む。

前記最大符号化単位別に決定された符号化モードに関する情報は、前記決定された符号化深度の符号化単位ごとに予測符号化を行ったデータ単位のパーティションタイプについての情報、及び前記パーティション別予測モードについての情報、及び前記決定された符号化深度の符号化単位の変換を行ったデータ単位のサイズについての情報のうち少なくとも一つを含む。

一実施形態による前記ビデオ符号化方法は、前記最大符号化単位ごとに、前記深度別に現在深度で符号化せず、下位深度の符号化単位で符号化するかどうかを表す分割情報を符号化する段階をさらに含む。前記現在深度の分割情報に基づいて下位深度に対する符号化が行われる場合、前記現在深度の符号化単位を分割した部分的符号化単位ごとに反復して符号化が行われる。

前記最大符号化単位の深度が最上位深度であり、前記深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位でありうる。また、前記現在深度のパーティションは、前記現在深度のデータ単位の高さ及び幅のうち少なくとも一つを半分にしたデータ単位でありうる。

前記符号化誤差は、ラグランジュの未定乗数法（Ｌａｇｒａｎｇｉａｎ Ｍｕｌｔｉｐｌｉｅｒ）基盤の率−歪曲最適化（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ）技法を利用して測定される。

一実施形態によって、前記イントラモードの予測符号化及び前記インターモードの予測符号化は、前記現在深度の符号化単位及び前記現在深度の符号化単位の高さ及び幅のうち少なくとも一つを半分にしたデータ単位別に行われる。

本発明の一実施形態によるビデオ復号化方法は、符号化されたビデオに対するビットストリームを受信してパージングする段階と、前記ビットストリームから、最大サイズの符号化単位である最大符号化単位に割り当てられる現在ピクチャーの映像データ、及び前記最大符号化単位に対する符号化深度及び符号化モードに関する符号化情報を抽出する段階と、前記最大符号化単位に対する符号化深度及び符号化モードに関する符号化情報に基づいて、それぞれの最大符号化単位の映像データを復号化する段階と、を含み、前記深度は、前記最大符号化単位の領域を分割する回数が増加するにつれて深くなり、前記最大符号化単位の符号化深度は、前記現在ピクチャーの符号化過程で、前記深度ごとに前記最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、前記少なくとも一つの分割領域別に最終符号化結果が出力された深度と決定される。

一実施形態による前記ビデオ復号化方法は、前記ビットストリームから、前記最大符号化単位の高さ及び幅を階層的に分割可能な総回数を表す最大深度に関する情報を抽出する段階をさらに含む。

一実施形態による前記ビデオ復号化方法の復号化段階は、前記抽出された最大符号化単位別符号化モードに関する情報のうち、符号化深度、予測符号化を行うデータ単位のパーティションタイプ及び予測モードに基づいて、前記最大符号化単位別に前記符号化深度の符号化単位に対して予測符号化を行う段階を含む。

一実施形態による前記ビデオ復号化方法の復号化段階は、前記抽出された最大符号化単位別符号化深度及び前記逆変換を行うデータ単位のサイズに基づいて、前記最大符号化単位別に前記符号化深度の符号化単位に対して逆変換を行う段階を含む。

一実施形態による前記ビデオ復号化方法は、前記ビットストリームから、前記最大符号化単位ごとに深度別に現在深度で復号化せず、下位深度の符号化単位で復号化するかどうかを表す分割情報を抽出する段階をさらに含む。

本発明の一実施形態によるビデオ符号化装置は、現在ピクチャーを、最大サイズの符号化単位である少なくとも一つの最大符号化単位に分割する最大符号化単位分割部と、前記最大符号化単位を分割する回数に比例する深度によって、前記最大符号化単位を分割して生成された分割領域を符号化して、前記深度から前記分割領域別に最終符号化結果が出力される符号化深度を決定する符号化単位決定部と、前記最大符号化単位ごとに、前記少なくとも一つの分割領域別最終符号化結果である映像データと、深度及び予測モードに関する符号化情報とを出力する出力部と、を備える。

本発明の一実施形態によるビデオ復号化装置は、符号化されたビデオに対するビットストリームを受信してパージングする受信部と、前記ビットストリームから最大サイズの符号化単位である最大符号化単位に割り当てられる現在ピクチャーの映像データ、及び前記最大符号化単位に対する符号化深度及び符号化モードに関する符号化情報を抽出する映像データ及び符号化情報抽出部と、前記最大符号化単位に対する符号化深度及び符号化モードに関する符号化情報に基づいて、それぞれの最大符号化単位の映像データを復号化する復号化部と、を備え、前記深度は、前記最大符号化単位の領域を分割する回数が増加するにつれて深くなり、前記最大符号化単位に対する符号化深度は、前記現在ピクチャーの符号化過程で、前記最大符号化単位に対して前記深度ごとに前記最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、前記少なくとも一つの分割領域別に最終符号化結果が出力された深度と決定される。

本発明は、一実施形態によるビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を備える。

また、本発明は、一実施形態によるビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を備える。

高い解像度の映像またはデータ量の過度に多い映像であっても、符号化端から伝送された最適符号化モードに関する情報を利用して、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元できる。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を示す図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する。 本発明の一実施形態による符号化単位及び変換単位の関係を示す図である。 本発明の一実施形態による深度別符号化情報を示す図である。 本発明の一実施形態による深度別符号化単位を示す図である。 本発明の一実施形態による符号化単位の関係を示す図である。 本発明の一実施形態による予測単位の関係を示す図である。 本発明の一実施形態による変換単位の関係を示す図である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図である。 本発明の一実施形態によるビデオ符号化方法を示すフローチャートである。 本発明の一実施形態によるビデオ復号化方法を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について詳述する。実施形態において、文脈によって“単位”は、サイズの単位であるが、そうでない場合もある。

以下、‘符号化単位’は、実施形態によって符号化端で映像データを符号化するための符号化するデータ単位であり、復号化端で符号化された映像データを復号化するための符号化されたデータ単位である。また、符号化深度は、符号化単位が符号化された深度を表す。

以下、‘映像’は、ビデオの静止画または動画、すなわち、ビデオそれ自体を意味する。

図１は、本発明の一実施形態によるビデオ符号化装置１００のブロック図である。 一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を備える。

最大符号化単位分割部１１０は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切ることができる。現在ピクチャーが最大符号化単位より大きいならば、現在ピクチャーの映像データは、少なくとも一つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位であり、横及び縦サイズが２の二乗である正方形のデータ単位でありうる。映像データは、少なくとも一つの最大符号化単位別に符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度と特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を表し、深度が深くなるか、または増加するほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義できる。最大符号化単位は、深度が深くなるにつれて深度別符号化単位のサイズは低減するので、上位深度の符号化単位は、複数の下位深度の符号化単位を含む。

前述したように符号化単位の最大サイズによって、現在ピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は深度別に分割されるので、最大符号化単位に含まれた空間領域（ｓｐａｔｉａｌ ｄｏｍａｉｎ）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズが既定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、少なくとも一つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャーの最大符号化単位ごとに深度別符号化単位で映像データを符号化して、最も小さな符号化誤差が発生する深度を選択して符号化深度と決定する。したがって、決定された符号化深度の符号化単位の符号化された映像データが最終的に出力される。また、符号化深度の符号化単位を、符号化される符号化単位であるといえる。

決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも一つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づく符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差の最も小さな深度が選択される。それぞれの最大化符号化単位ごとに少なくとも一つの符号化深度が決定される。

最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割され、符号化単位の数は増加する。また、一つの最大符号化単位に含まれる同じ深度の符号化単位であるとしても、それぞれのデータに対する符号化誤差を測定して下位深度への分割如何が決定される。したがって、一つの最大符号化単位に含まれるデータであるとしても位置によって深度別符号化誤差が異なるため、位置によって符号化深度が異なって決定される。したがって、一つの最大符号化単位に対して符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区切られる。

したがって、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定する。一実施形態による‘ツリー構造による符号化単位’は、現在最大符号化単位に含まれるあらゆる深度別符号化単位のうち、符号化深度と決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では深度によって階層的に決定され、他の領域に対しては独立して決定される。同様に、現在領域に対する符号化深度は、他の領域に対する符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と関連する指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総数を表す。例えば、最大符号化単位の深度が０である時、最大符号化単位が１回分割された符号化単位の深度は１に設定され、２回分割された符号化単位の深度が２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位ならば、深度０、１、２、３及び４の５つの深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位に基づいて行われる。変換は、直交変換または整数変換の方式によって行われる。

最大符号化単位が深度別に分割される度に深度別符号化単位の数が増加するため、深度が深くなるにつれて生成されるあらゆる深度別符号化単位に対して、予測符号化及び変換を含む符号化が行われねばならない。以下、説明の便宜のために、少なくとも一つの最大符号化単位のうち、現在深度の符号化単位に基づいて予測符号化及び変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択できる。映像データの符号化のためには予測符号化、変換、エントロピー符号化などの段階を経るが、あらゆる段階にかけて同じデータ単位が使われても、段階別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択できる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、これ以上一分割されない符号化単位に基づいて予測符号化が行われる。以下、予測符号化の基盤になる、これ以上一分割されない符号化単位を‘予測単位’と称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。

例えば、サイズ２Ｎ×２Ｎ（ただし、Ｎは、正の整数）の符号化単位がこれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位になり、パーティションのサイズは２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどでありうる。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的割合で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように非対称的割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含む。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでありうる。例えば、イントラモード及びインターモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションに対して行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の一つの予測単位ごとに独立して符号化が行われて、符号化誤差の最も小さな予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位に基づいて符号化単位の映像データの変換を行える。

符号化単位の変換のためには、符号化単位より小さいか、または同じサイズのデータ単位に基づいて変換が行われる。例えば、変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含む。

以下、変換の基盤になるデータ単位は、‘変換単位’と称する。一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割して変換単位に至るまでの分割回数を表す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在符号化単位の変換単位が、現在符号化単位とサイズの同じサイズ２Ｎ×２Ｎの変換単位ならば、変換深度０に設定され、現在符号化単位の高さ及び幅がそれぞれ半分になって総４＾１個に分割されたサイズＮ×Ｎの変換単位ならば、変換深度１に設定され、現在符号化単位の高さ及び幅がそれぞれ四分されて総４＾２個に分割されたサイズＮ／２×Ｎ／２の変換単位ならば、変換深度２に設定される。例えば、変換深度の階層的性格によって、上位変換深度の変換単位が４個の下位変換深度の変換単位に分割される階層的ツリー構造による変換単位が設定される。

また符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小さなサイズの変換単位に分割されつつ、領域別に独立して決定される。したがって、一実施形態による符号化単位内で符号化単位の残差データは、変換深度によってツリー構造による変換単位によって区切られる。

符号化深度別符号化情報は、符号化深度だけでなく予測関連情報及び変換関連情報が必要である。したがって、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを決定できる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし１２を参照して詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュの未定乗数法基盤のレート歪み最適化法を利用して測定できる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも一つの符号化深度に基づいて、符号化された最大符号化単位の映像データ及び深度別符号化モードに関する情報をビットストリーム形態で出力する。

符号化された映像データは、映像の残差データの符号化結果でありうる。

深度別符号化モードに関する情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するかどうかを表す深度別分割情報を利用して定義できる。現在符号化単位の現在深度が符号化深度ならば、現在符号化単位は現在深度の符号化単位で符号化されるため、現在深度の分割情報はこれ以上下位深度に分割されないように定義される。これに対し、現在符号化単位の現在深度が符号化深度でなければ、下位深度の符号化単位を利用した符号化を試みるべきなので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復して符号化が行われて、同じ深度の符号化単位ごとに再帰的符号化が行われる。

一つの最大符号化単位内にツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに少なくとも一つの符号化モードに関する情報が決定されねばならないため、一つの最大符号化単位に対しては、少なくとも一つの符号化モードに関する情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区切られて位置別に符号化深度が異なるので、データに対して符号化深度及び符号化モードに関する符号化情報が設定される。

したがって、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、該当符号化深度及び符号化モードについての符号化情報が割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位でもありうる。

例えば、出力部１３０を通じて出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに大別される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に関する情報、インターモードの参照映像インデックスに関する情報、動きベクトルに関する情報、イントラモードのクロマ成分に関する情報、イントラモードの補間方式に関する情報などを含む。また、ピクチャー、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに関する情報及び最大深度に関する情報は、ビットストリームのＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）またはヘッダに挿入される。

ビデオ符号化装置１００で、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎ×２Ｎならば、下位深度の符号化単位のサイズはＮ×Ｎである。また、２Ｎ×２Ｎサイズの現在符号化単位は、Ｎ×Ｎサイズの下位深度符号化単位を最大４つ含む。

したがって、一実施形態によるビデオ復号化装置１００は、現在ピクチャーの特性を考慮して決定された最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を決定して、ツリー構造による符号化単位を構成できる。また、それぞれの最大符号化単位ごとに多様な予測モード、変換方式などで符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが決定される。

映像の解像度が非常に高いか、またはデータ量の非常に大きい映像を既存マクロブロック単位で符号化するならば、ピクチャー当りマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。したがって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節できるので、映像圧縮効率が向上する。

図２は、本発明の一実施形態によるビデオ復号化装置２００のブロック図である。

一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を備える。一実施形態によるビデオ復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに関する情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して前述した通りである。

受信部２０５は、符号化されたビデオに対するビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから最大符号化単位別に、ツリー構造による符号化単位によって符号化単位ごとに符号化された映像データを抽出して映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャーに対するヘッダまたはＳＰＳから、現在ピクチャーの符号化単位である最大サイズに関する情報を抽出できる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから最大符号化単位別に、ツリー構造による符号化単位に対する符号化深度及び符号化モードに関する符号化情報を抽出する。抽出された符号化深度及び符号化モードに関する符号化情報は、映像データ復号化部２３０に出力される。すなわち、ビット熱意映像データを最大符号化単位に分割して、映像データ復号化部２３０をして最大符号化単位ごとに映像データを復号化させる。

最大符号化単位別符号化深度及び符号化モードに関する符号化情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに関する情報は、該当符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されることもある。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに関する符号化情報は、一実施形態によるビデオ符号化装置１００のように符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行って、最小符号化誤差を発生させると決定された符号化深度及び符号化モードに関する符号化情報である。したがって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元できる。

一実施形態による符号化深度及び符号化モードについての符号化情報は、該当符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に符号化深度及び符号化モードに関する符号化情報を抽出できる。所定データ単位別に、該当最大符号化単位の符号化深度及び符号化モードに関する符号化情報が記録されているならば、同じ符号化深度及び符号化モードに関する符号化情報を持っている所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに関する符号化情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャーを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化できる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含む。逆変換過程は、直交逆変換または整数逆変換の方式による。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによってイントラ予測または動き補償を行える。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとにそれぞれの変換単位によって逆変換を行える。

映像データ復号化部２３０は、深度別分割情報を利用して現在最大符号化単位の符号化深度を決定できる。もし、分割情報が現在深度でこれ以上分割されないことを表しているならば、現在深度が符号化深度である。したがって、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して各符号化深度に対応する符号化単位の符号化されたデータを、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化し、現在最大符号化単位の映像データを出力できる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察して、同じ分割情報を含む符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０により同じ符号化モードで復号化する一つのデータ単位と見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って、最小符号化誤差を発生させた符号化単位についての情報を獲得して、現在ピクチャーに対する復号化に利用できる。すなわち、最大符号化単位ごとに最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。符号化単位の最大単位は、解像度または映像データ量を考慮して決定される。

したがって、高い解像度の映像またはデータ量の過度に多い映像であっても、符号化端から伝送された最適符号化モードに関する情報を利用して、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元できる。

以下、図３ないし図１３を参照して、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式が詳述される。

図３は、階層的符号化単位の概念を図示する。符号化単位の例は、符号化単位のサイズは幅×高さで表現され、サイズ６４×６４の符号化単位から、３２×３２、１６×１６、８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４、６４×３２、３２×６４、３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２、３２×１６、１６×３２、１６×１６のパーティションに分割され、サイズ１６×１６の符号化単位は、サイズ１６×１６、１６×８、８×１６、８×８のパーティションに分割され、サイズ８×８の符号化単位は、サイズ８×８、８×４、４×８、４×４のパーティションに分割される。

ビデオデータ３１０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度は３５２×２８８、符号化単位の最大サイズは１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。

解像度が高いか、またはデータ量の多い場合、符号化効率の向上だけでなく映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。したがって、ビデオデータ３３０に比べて、解像度の高いビデオデータ３１０、３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度は２であるため、ビデオデータ３１０の符号化単位３１５は、長軸サイズ６４の最大符号化単位から、２回分割しつつ深度が二階層深くなって、長軸サイズ３２、１６の符号化単位まで含む。一方、ビデオデータ３３０の最大深度は１であるため、ビデオデータ３３０の符号化単位３３５は、長軸サイズ１６の符号化単位から、１回分割しつつ深度が１階層深くなって、長軸サイズ８の符号化単位まで含む。

ビデオデータ３２０の最大深度は３であるため、ビデオデータ３２０の符号化単位３２５は、長軸サイズ６４の最大符号化単位から、３回分割しつつ深度が三階層深くなって、長軸サイズ３２、１６、８の符号化単位まで含む。深度が深くなるほど細部情報の表現能力が向上する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図である。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で映像データの符号化に経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用してインター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て量子化された変換係数に出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて、参照フレーム４９５に出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５に出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０がいずれも、最大符号化単位ごとに最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づく作業を行わねばならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位のサイズを決定せねばならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図である。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に関する情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータに出力され、逆変換部５４０を経て空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用してインターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されて復元フレーム５９５に出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部４００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０がいずれも、最大符号化単位ごとにツリー構造による符号化単位に基づいて作業を行わねばならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとにパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに変換単位のサイズを決定せねばならない。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示する。

一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定されてもよく、ユーザの要求に応じて多様に設定されてもよい。既定の符号化単位の最大サイズによって、深度別符号化単位のサイズが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度４の場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であり、深度が０であり、符号化単位のサイズ、すなわち高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２の深度１の符号化単位６２０、サイズ１６×１６の深度２の符号化単位６３０、サイズ８×８の深度３の符号化単位６４０、サイズ４×４の深度４の符号化単位６５０が存在する。サイズ４×４の深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位ならば、予測単位は、サイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、サイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、サイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、サイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、サイズ４×４のパーティション６４６に分割される。

最後に、深度４のサイズ４×４の符号化単位６５０は最小符号化単位であり、かつ最下位深度の符号化単位であり、該当予測単位も、サイズ４×４のパーティション６５０のみで設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同じ範囲及びサイズのデータを含むための深度別符号化単位の数は、深度が深くなるほど深度別符号化単位の数も増加する。例えば、深度１の符号化単位１つが含むデータに対して、深度２の符号化単位は４つ必要である。したがって、同じデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されねばならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行って、該当深度で最も小さな符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行って、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプと選択されうる。

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示する。

一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに最大符号化単位より小さいか、または同じサイズの符号化単位で映像を符号化または復号化する。符号化過程中に変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。

例えば、一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を利用して変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２、１６×１６、８×８、４×４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。

図８は、本発明の一実施形態によって、深度別符号化情報を図示する。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに関する情報として、それぞれの符号化深度の符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズについての情報８２０を符号化して伝送できる。

パーティションタイプについての情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態についての情報を表す。例えば、サイズ２Ｎ×２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、サイズＮ×Ｎのパーティション８０８のうちいずれか一つのタイプに分割されて利用される。この場合、現在符号化単位のパーティションタイプに関する情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６及びサイズＮ×Ｎのパーティション８０８のうち一つを表すように設定される。

予測モードに関する情報８１０は、それぞれのパーティションの予測モードを表す。例えば、予測モードに関する情報８１０を通じて、パーティションタイプに関する情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかどうかが設定される。

また、変換単位サイズに関する情報８２０は、現在符号化単位をいかなる変換単位に基づいて変換を行うかを表す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つでありうる。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズについての情報８２０を抽出して復号化に利用できる。

図９は、本発明の一実施形態による深度別符号化単位を図示する。

深度の変化を表すために分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるかどうかを表す。

深度０及び２Ｎ＿０×２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１４、Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１８を含む。図９では、予測単位が対称的割合で分割されたパーティション９１２、９１４、９１６、９１８のみ例示されているが、前述したように、パーティションタイプはこれに限定されず、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

パーティションタイプごとに、１つの２Ｎ＿０×２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０×Ｎ＿０サイズのパーティション、２つのＮ＿０×２Ｎ＿０サイズのパーティション、４つのＮ＿０×Ｎ＿０サイズのパーティションごとに、反復して予測符号化が行われねばならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０及びサイズ２Ｎ＿０×Ｎ＿０及びサイズＮ＿０×Ｎ＿０のパーティションに対しては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０×２Ｎ＿０のパーティションに予測符号化に対してのみ行われる。

パーティションタイプ９１２、９１４、９１６、９１８による予測符号化を含む符号化誤差が比較されて、パーティションタイプ９１２、９１４、９１６、９１８のうち最小符号化誤差が決定される。サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２、９１４、９１６のうち一つによる符号化誤差が最も小さいならば、これ以上下位深度に分割する必要がない。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さいならば、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行って、最小符号化誤差を検索し続けられる。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１×Ｎ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１×Ｎ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さいならば、深度１を深度２に変更しつつ分割し（９５０）、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０に対して反復して符号化を行って、最小符号化誤差を検索し続けられる。

最大深度がｄの場合、深度別分割情報は深度ｄ−１まで設定され、分割情報は深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割（段階９７０）されて深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに反復して予測符号化による符号化が行われて、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さくても、最大深度がｄであるため、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）はこれ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１に決定され、パーティションタイプはＮ＿（ｄ−１）×Ｎ＿（ｄ−１）に決定される。また最大深度がｄであるため、深度ｄ−１の符号化単位９５２に対して分割情報は設定されていない。

データ単位９９９は、現在最大符号化単位に対する‘最小単位’と称する。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位でありうる。これらの反復的符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較して最も小さな符号化誤差が発生する深度を選択して、符号化深度を決定し、該当パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。

かような方法で、深度０，１，…，ｄ−１，ｄのあらゆる深度別最小符号化誤差を比較して、誤差の最も小さな深度が選択されて符号化深度と決定される。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードに関する情報で符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないため、符号化深度の分割情報のみ‘０’に設定され、符号化深度を除外した深度別分割情報は‘１’に設定されねばならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に対する符号化深度及び予測単位に関する情報を抽出して、符号化単位９１２の復号化に利用できる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して分割情報が‘０’の深度を符号化深度と把握し、該当深度に対する符号化モードに関する情報を利用して復号化に利用できる。

図１０ないし図１２は、本発明の一実施形態による、符号化単位１０１０、予測単位１０６０及び変換単位１０７０の関係を図示する。

符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうちそれぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であれば、符号化単位１０１２、１０５４は深度が１、符号化単位１０１４、１０１６、１０１８、１０２８、１０５０、１０５２は深度が２、符号化単位１０２０、１０２２、１０２４、１０２６、１０３０、１０３２、１０４８は深度が３、符号化単位１０４０、１０４２、１０４４、１０４６は深度が４である。

予測単位１０６０のうち一部パーティション１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４、１０２２、１０５０、１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６、１０４８、１０５２は、Ｎ×２Ｎのパーティションタイプ、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、または同一である。

変換単位１０７０のうち一部１０５２の映像データに対しては、符号化単位に比べて小さなサイズのデータ単位に変換または逆変換が行われる。また、変換単位１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、予測単位１０６０のうち該当予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、同じ符号化単位に対するイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとして、それぞれ別個のデータ単位に基づいて行える。

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて、最適符号化単位が決定されることで、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位についての分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下、表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定できる一例を表す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位についての符号化情報を抽出する。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるかどうかを表す。現在深度ｄの分割情報が０ならば、現在符号化単位が下位符号化単位にこれ以上分割されない深度が符号化深度であるため、符号化深度に対してパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、さらに１段階分割されねばならない場合には、分割された４つの下位深度の符号化単位ごとに独立して符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで表す。イントラモード及びインターモードはあらゆるパーティションタイプで定義でき、スキップモードはパーティションタイプ２Ｎ×２Ｎのみで定義できる。

パーティションタイプ情報は、予測単位の高さ及び幅のうち少なくとも一つが対称的割合で分割された対称的パーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ及びＮ×Ｎと、予測単位の高さ及び幅のうち少なくとも一つが非対称的割合で分割された非対称的パーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎとを表す。非対称的パーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を表す。

変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定される。例えば、変換単位分割情報が０ならば、変換単位のサイズが現在符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１ならば、現在符号化単位が分割されたサイズの変換単位が設定される。また、サイズ２Ｎ×２Ｎの現在符号化単位に対するパーティションタイプが対称形パーティションタイプならば、変換単位のサイズはＮ×Ｎ、非対称型パーティションタイプならば、Ｎ／２×Ｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を一つ以上含む。

したがって、隣接したデータ単位同士でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるかどうかが確認される。また、データ単位が保有している符号化情報を利用すれば、該当符号化深度の符号化単位を確認できるため、最大符号化単位内の符号化深度等の分布が類推される。

したがって、この場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

さらに他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることで、周辺符号化単位が参照されてもよい。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する。図１３で、最大符号化単位１３００は、符号化深度の符号化単位１３０２、１３０４、１３０６、１３１２、１３１４、１３１６、１３１８を含む。このうち一つの符号化単位１３１８は符号化深度の符号化単位であるため、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）が０ならば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、ＴＵ ｓｉｚｅ ｆｌａｇが１ならば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称型パーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定された場合、ＴＵ ｓｉｚｅ ｆｌａｇが０ならば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、ＴＵ ｓｉｚｅ ｆｌａｇが１ならば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

図１３を参照して前述された変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）は、０または１の値を持つフラッグであるが、一実施形態による変換単位分割情報が１ビットのフラッグに限定されるものではない。例えば、他の実施形態によるＴＵ ｓｉｚｅ ｆｌａｇが０，１，２，３…などと増加しつつ変換単位が階層的に分割されてもよい。

図１３を参照して前述された変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）は、０または１の値を持つフラッグであるが、一実施形態による変換単位分割情報が１ビットのフラッグに限定されるものではなく、設定によって０，１，２，３…などと増加しつつ変換単位が階層的に分割されてもよい。

この場合、一実施形態による変換単位分割情報を変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位のサイズが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化できる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報はＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用できる。

例えば、現在符号化単位がサイズ６４×６４であり、最大変換単位サイズは３２×３２ならば、変換単位分割情報が０である時に変換単位のサイズが３２×３２、変換単位分割情報が１である時に変換単位のサイズが１６×１６、変換単位分割情報が２である時に変換単位のサイズが８×８に設定される。

他の例として、現在符号化単位がサイズ３２×３２であり、最小変換単位サイズは３２×３２ならば、変換単位分割情報が０である時に変換単位のサイズが３２×３２に設定され、変換単位のサイズが３２×３２より小さいことはないので、これ以上の変換単位分割情報が設定され得ない。

さらに他の例として、現在符号化単位がサイズ６４×６４であり、最大変換単位分割情報が１ならば、変換単位分割情報は０または１であり、他の変換単位分割情報が設定され得ない。

したがって、最大変換単位分割情報を‘ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ’、最小変換単位サイズを‘ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ’、変換単位分割情報が０である場合の変換単位サイズを‘ＲｏｏｔＴｕＳｉｚｅ’と定義する時、現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’は、下記の関係式（１）のように定義できる。

ＣｕｒｒＭｉｎＴｕＳｉｚｅ
＝ｍａｘ（ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ，ＲｏｏｔＴｕＳｉｚｅ/
（２＾ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ）） （１）
現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’と比較して、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、システム上採択可能な最大変換単位サイズを表す。すなわち、関係式（１）によれば、‘ＲｏｏｔＴｕＳｉｚｅ／（２＾ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ）’は、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、‘ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ’は最小変換単位サイズであるため、これらのうち小さな値が、現在現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’でありうる。

一実施形態による最大変換単位サイズＲｏｏｔＴｕＳｉｚｅは、予測モードによって変わりうる。

例えば、現在予測モードがインターモードならば、ＲｏｏｔＴｕＳｉｚｅは、下記の関係式（２）によって決定できる。関係式（２）で‘ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ’は、最大変換単位サイズ、‘ＰＵＳｉｚｅ’は、現在予測単位サイズを表す。

ＲｏｏｔＴｕＳｉｚｅ
＝ｍｉｎ（ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ，ＰＵＳｉｚｅ） （２）
すなわち、現在予測モードがインターモードならば、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、最大変換単位サイズ及び現在予測単位サイズのうち小さな値に設定される。

現在パーティション単位の予測モードがイントラモードならば、‘ＲｏｏｔＴｕＳｉｚｅ’は、下記の関係式（３）によって決定できる。‘ＰａｒｔｉｔｉｏｎＳｉｚｅ’は、現在パーティション単位のサイズを表す。

ＲｏｏｔＴｕＳｉｚｅ
＝ｍｉｎ（ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ，ＰａｒｔｉｔｉｏｎＳｉｚｅ （３）
すなわち、現在予測モードがイントラモードならば、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さな値に設定できる。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ‘ＲｏｏｔＴｕＳｉｚｅ’は一実施形態に過ぎず、現在最大変換単位サイズを決定する要因がこれに限定されるものではないということに留意せねばならない。

図１４は、本発明の一実施形態によるビデオ符号化方法を示すフローチャートである。図１４で、段階１２１０で、現在ピクチャーは、少なくとも一つの最大符号化単位に分割される。また、可能な総分割回数を表す最大深度があらかじめ設定されてもよい。

段階１２２０で、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域が符号化されて、少なくとも一つの分割領域別に最終符号化結果が出力される深度が決定され、ツリー構造による符号化単位が決定される。

最大符号化単位は深度が深くなる度に空間的に分割されて、下位深度の符号化単位に分割される。それぞれの符号化単位は、隣接する他の符号化単位と独立して、空間的に分割されつつ再び下位深度の符号化単位に分割される。深度別に符号化単位ごとに反復して符号化が行われねばならない。

また、深度別符号化単位ごとに、符号化誤差の最も小さなパーティションタイプ別変換単位が決定されねばならない。符号化単位の最小符号化誤差を発生させる符号化深度が決定されるために、あらゆる深度別符号化単位ごとに符号化誤差が測定されて比較できる。

段階１２３０で、最大符号化単位ごとに少なくとも一つの分割領域別最終符号化結果である映像データと、符号化深度及び符号化モードに関する符号化情報とが出力される。符号化モードに関する情報は、符号化深度に関する情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報及び変換単位サイズ情報のうち少なくとも一つを含む。符号化された符号化モードに関する情報は、符号化された映像データと共に復号化端に伝送される。

図１５は、本発明の一実施形態によるビデオ復号化方法を示すフローチャートである。

段階１３１０で、符号化されたビデオに対するビットストリームが受信されてパージングされる。

段階１３２０で、パージングされたビットストリームから最大サイズの最大符号化単位に割り当てられる現在ピクチャーの映像データ、及び最大符号化単位別符号化深度及び符号化モードに関する符号化情報が抽出される。最大符号化単位別符号化深度は、現在ピクチャーの符号化過程で、最大符号化単位別に符号化誤差が最も少ない深度として選択された深度である。最大符号化単位別符号化は、最大符号化単位を深度別に階層的に分割した少なくとも一つのデータ単位に基づいて映像データが符号化されたことである。

一実施形態による符号化深度及び符号化モードに関する符号化情報によれば、最大符号化単位がツリー構造による符号化単位に分割される。ツリー構造による符号化単位による符号化単位は、それぞれ符号化深度の符号化単位である。したがって、符号化単位別符号化深度を把握した後、それぞれの映像データを復号化することで映像の符・復号化の効率性が向上する。

段階１３３０で、最大符号化単位別符号化深度及び符号化モードに関する符号化情報に基づいて、それぞれの最大符号化単位の映像データが復号化される。復号化された映像データは、再生装置により再生されるか、記録媒体に保存されるか、またはネットワークを通じて伝送される。

一方、前述した本発明の実施形態は、コンピュータで実行されるプログラムで作成でき、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用ディジタルコンピュータで具現できる。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットによる伝送）などの記録媒体を含む。

以上、本発明についてその望ましい実施形態を中心として説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現できるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。

Claims (4)

1. ビデオ復号化装置がビデオを復号化する方法において、
   前記ビデオ復号化装置が、ビットストリームから符号化単位の最大サイズを決定するための符号化単位サイズ情報を抽出し、前記符号化単位サイズ情報を用いて映像から分割された多数の最大符号化単位を決定する段階と、
   前記ビデオ復号化装置が、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す分割情報、及び分割可能回数を指示する最大深度をビットストリームから抽出する段階と、
   前記ビデオ復号化装置が、前記分割情報及び前記最大深度に基づき、前記最大符号化単位から分割された符号化単位のうちこれ以上分割されない符号化単位を含む階層構造の符号化単位を決定する段階と、
   前記ビデオ復号化装置が、前記最大符号化単位内で前記階層構造の符号化単位を復号化する段階と、
   を含み、
   前記最大符号化単位は前記分割情報に従って、少なくとも一つの深度の符号化単位に階層的に分割され、
   前記少なくとも一つの深度のうち現在深度における前記分割情報が分割を示すとき、前記現在深度の符号化単位は、周辺符号化単位と独立して、前記少なくとも一つの深度のうち下位深度の符号化単位に分割され、
   前記少なくとも一つの深度のうち前記現在深度における前記分割情報が分割を示さないとき、前記現在深度の符号化単位の予測のための一つ以上の予測単位は前記現在深度の符号化単位から獲得され、前記現在深度の符号化単位の変換のための一つ以上の変換単位が前記現在深度の符号化単位から獲得されることを特徴とするビデオ復号化方法。
2. 前記抽出する段階は、
   前記ビットストリームから現在符号化単位の予測のためのパーティションタイプに関する情報及び予測モードに対する情報、及び前記現在符号化単位の変換のための変換単位のための分割情報を抽出する段階を含むことを特徴とする請求項１に記載のビデオ復号化方法。
3. 前記現在深度の符号化単位は、４つの正方形の前記下位深度の符号化単位に分割されることを特徴とする請求項１に記載のビデオ復号化方法。
4. ビデオ復号化装置において、
   受信されたビットストリームから符号化単位の最大サイズを決定するための符号化単位サイズ情報を抽出し、前記符号化単位サイズ情報を用いて映像から分割された多数の最大符号化単位を決定し、前記ビットストリームから、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す分割情報及び分割可能回数を指示する最大深度を抽出する受信部と、
   前記分割情報及び前記最大深度に基づき、前記最大符号化単位から分割された符号化単位のうちこれ以上分割されない符号化単位を含む階層構造の符号化単位を決定し、前記最大符号化単位内で前記階層構造の符号化単位を復号化する復号化部を備え、
   前記最大符号化単位は、前記分割情報に従って、少なくとも一つの深度の符号化単位に階層的に分割され、
   前記少なくとも一つの深度のうち現在深度における前記分割情報が分割を示すとき、前記現在深度の符号化単位は、周辺符号化単位と独立して、前記少なくとも一つの深度のうち下位深度の符号化単位に分割され、
   前記少なくとも一つの深度のうち前記現在深度における前記分割情報が分割を示さないとき、前記現在深度の符号化単位の予測のための一つ以上の予測単位は前記現在深度の符号化単位から獲得され、前記現在深度の符号化単位の変換のための一つ以上の変換単位が前記現在深度の符号化単位から獲得されることを特徴とするビデオ復号化装置。

Images