JP2013214989A - 大きいサイズの変換単位を利用した映像符号化、復号化方法及び装置 - Google Patents

Abstract

【課題】 より効率的なＤＣＴを利用した映像を符号化、復号化する方法及び装置を提供する。また、復号化する方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【解決手段】 受信されたビットストリームからパージングされた符号化単位の分割形態についての情報、予測単位についての情報、及び変換単位についての情報を利用して、映像の復号化のための少なくとも１つの階層構造の符号化単位、それぞれの符号化単位に対する予測のための少なくとも１つの予測単位、及びそれぞれの符号化単位に対する逆変換のための少なくとも１つ以上の変換単位を決定する段階と、ビットストリームから、それぞれの符号化単位を所定の変換単位により変換して生成された変換係数をパージングし、変換係数をエントロピー復号化、逆量子化及び逆変換して、少なくとも１つの予測単位のデータを復元する段階と、復元されたデータを用いたイントラ予測及びインター予測を行って映像を復元する段階とを含む。
【選択図】 図１

Description

本発明は、映像符号化、復号化方法及び装置に係り、特にピクセルドメインの映像を周波数ドメインの係数に変換して、映像を符号化、復号化する方法及び装置に関する。

ほとんどの映像符号化、復号化方法及び装置は、映像圧縮のためにピクセルドメインの映像を周波数ドメインに変換して符号化する。周波数変換のうち一つの技法であるＤＣＴ(Discrete Cosine Transform)は、映像または音声圧縮に使われる広く知られた技術である。ＤＣＴを利用した映像符号化方法では、ピクセルドメインの映像をＤＣＴして、離散コサイン係数を生成し、生成された係数を量子化及びエントロピー符号化する。

本発明が解決しようとする課題は、より効率的なＤＣＴを利用した映像を符号化、復号化する方法及び装置を提供するところにあり、前記方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。

前記課題を解決するための本発明の一実施形態による映像符号化方法は、隣接した複数の予測単位を選択して、一つの変換単位を設定するステップと、前記変換単位によって、前記複数の予測単位を周波数ドメインに変換して、周波数成分係数を生成するステップと、前記生成された周波数成分係数を量子化するステップと、前記量子化された周波数成分係数をエントロピー符号化するステップと、を含む。

本発明の他の実施形態によれば、前記設定するステップは、現在のスライスまたは現在のピクチャーの最大符号化単位から、前記隣接した複数の予測単位を含むサブ符号化単位に段階的に縮小した程度を表す深度に基づいて、一つの変換単位を設定するステップを含む。

本発明のさらに他の実施形態によれば、前記設定するステップは、同じ種類の予測モードによって予測が行われた隣接した複数の予測単位を選択して、一つの変換単位を設定するステップを含む。

本発明のさらに他の実施形態によれば、前記同じ種類の予測モードは、インター予測モードまたはイントラ予測モードであることを特徴とする。

本発明のさらに他の実施形態によれば、前記映像符号化方法は、相異なる変換単位に対して、前記隣接した複数の予測単位を選択して、一つの変換単位を設定するステップと、前記選択された複数の予測単位を一つの変換単位で周波数ドメインに変換して、周波数成分係数を生成するステップと、前記生成された周波数成分係数を量子化するステップと、前記量子化された周波数成分係数をエントロピー符号化するステップを反復して、最適の変換単位を設定するステップとをさらに含む。

前記課題を解決するための本発明の一実施形態による映像符号化装置は、隣接した複数の予測単位を選択して、一つの変換単位を設定し、前記変換単位によって、前記複数の予測単位を周波数ドメインに変換して、周波数成分係数を生成する変換部と、前記生成された周波数成分係数を量子化する量子化部と、前記量子化された周波数成分係数をエントロピー符号化するエントロピー符号化部と、を備える。

前記課題を解決するための本発明の一実施形態による映像復号化方法は、所定の変換単位によって、周波数ドメインに変換して生成された周波数成分係数をエントロピー復号化するステップと、前記エントロピー復号化された周波数成分係数を逆量子化するステップと、前記周波数成分係数をピクセルドメインに逆変換して、前記変換単位に含まれた隣接した複数の予測単位を復元するステップと、を含む。

前記課題を解決するための本発明の一実施形態による映像復号化装置は、所定の変換単位によって、周波数ドメインに変換して生成された周波数成分係数をエントロピー復号化するエントロピー復号化部と、前記エントロピー復号化された周波数成分係数を逆量子化する逆量子化部と、前記周波数成分係数をピクセルドメインに逆変換して、前記変換単位に含まれた隣接した複数の予測単位を復元する逆変換部と、を備える。

前記課題を解決するために、本発明の一実施形態は、前記した映像符号化及び復号化方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明によれば、予測単位より大きいサイズに変換単位を設定し、ＤＣＴを行えるので、映像をより効率的に圧縮して符号化することができる。

下記図面を参照して、本発明の実施形態について説明することで、前記または他の特徴及び長所がさらに明白になる。
本発明の一実施形態による映像符号化装置を示す図である。 本発明の一実施形態による映像復号化装置を示す図である。 本発明の一実施形態による階層的な符号化単位を示す図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部を示す図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部を示す図である。 本発明の一実施形態による最大符号化単位、サブ符号化単位、及び予測単位を示す図である。 本発明の一実施形態による符号化単位及び変換単位を示す図である。 本発明の一実施形態による符号化単位、予測単位、及び変換単位の分割形態を示す図である。 本発明の一実施形態による符号化単位、予測単位、及び変換単位の分割形態を示す図である。 本発明の他の実施形態による映像符号化装置を示す図である。 本発明の一実施形態による変換部を示す図である。 本発明の一実施形態による変換単位の類型を示す図である。 本発明の一実施形態による変換単位の類型を示す図である。 本発明の一実施形態による変換単位の類型を示す図である。 本発明の一実施形態による相異なる変換単位を示す図である。 本発明の他の実施形態による映像復号化装置を示す図である。 本発明の一実施形態による映像符号化方法を説明するためのフローチャートである。 本発明の一実施形態による映像復号化方法を説明するためのフローチャートである。

以下、図面を参照して本発明の実施形態について説明する。実施形態において、文脈によって、“単位”は、サイズの単位であってもよく、そうでなくてもよい。本明細書において、“映像”は、ビデオの静止画または動画、すなわち、ビデオそれ自体を意味する。

図１は、本発明の一実施形態による映像符号化装置１００を示す。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深度決定部１２０、映像データ符号化部１３０、及び符号化情報符号化部１４０を備える。

最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在のピクチャーまたは現在のスライスを分割する。現在のピクチャーまたは現在のスライスを少なくとも一つの最大符号化単位に分割する。

本発明の一実施形態によれば、最大符号化単位及び深度を利用して、符号化単位が表現される。前述したように、最大符号化単位は、現在のピクチャーの符号化単位のうち最も大きい符号化単位を表し、深度は、符号化単位が階層的に縮小されたサブ符号化単位のサイズを表す。深度が大きくなるにつれて、符号化単位は、最大符号化単位から最小符号化単位まで縮小し、最大符号化単位の深度は、最小深度として定義され、最小符号化単位の深度は、最大深度として定義される。最大符号化単位は、深度が大きくなるにつれて、深度別の符号化単位のサイズは縮小するので、ｋ深度のサブ符号化単位は、複数個（ｋ＋ｎ）の深度のサブ符号化単位を含む（ｋ、ｎは、１より大きいか、またはそれと同じ整数を表す）。

符号化されるピクチャーのサイズが大きくなるにつれて、さらに大きい単位で映像を符号化すれば、さらに高い映像圧縮率で映像を符号化できる。しかし、符号化単位を大きくし、そのサイズを固定させれば、変わり続ける映像の特性を反映して効率的に映像を符号化できない。

例えば、海または空についての平坦な領域を符号化する時には、符号化単位を大きくするほど、圧縮率が向上するが、人またはビルについての複雑な領域を符号化する時には、符号化単位を小さくするほど、圧縮率が向上する。

このために、本発明の一実施形態は、ピクチャーまたはスライスごとに相異なる最大映像符号化単位を設定し、最大深度を設定する。最大深度は、符号化単位が縮小する最大回数を意味するので、最大深度によって、最大映像符号化単位に含まれた最小符号化単位のサイズを可変的に設定できる。

符号化深度決定部１２０は、最大深度を決定する。最大深度は、Ｒ−Ｄコスト(Rate-Distortion Cost)計算に基づいて決定される。最大深度は、ピクチャーまたはスライスごとに異なって決定されるか、またはそれぞれの最大符号化単位ごとに異なって決定されてもよい。決定された最大深度は、符号化情報符号化部１４０に出力され、最大符号化単位別の映像データは、映像データ符号化部１３０に出力される。

最大深度は、最大符号化単位に含まれる最も小さい符号化単位、すなわち、最小符号化単位を意味する。換言すれば、最大符号化単位は、相異なる深度によって、相異なるサイズのサブ符号化単位に分割される。図８Ａ及び図８Ｂを参照して詳細に後述する。また、最大符号化単位に含まれた相異なるサイズのサブ符号化単位は、相異なるサイズの処理単位に基づいて予測または変換される。換言すれば、映像符号化装置１００は、映像符号化のための複数の処理段階を、多様なサイズ及び多様な形態の処理単位に基づいて行う。映像データの符号化のためには、予測、変換、エントロピー符号化などの処理段階を経るが、あらゆる段階にわたって同じサイズの処理単位が利用されてもよく、段階別に相異なるサイズの処理単位を利用してもよい。

例えば、映像符号化装置１００は、符号化単位を予測するために、符号化単位と異なる処理単位を選択できる。

符号化単位のサイズが２Ｎ×２Ｎ（ただし、Ｎは、正の整数）である場合、予測のための処理単位は、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。換言すれば、符号化単位の高さまたは幅のうち少なくとも一つを半分にする形態の処理単位に基づいて、動き予測が行われてもよい。以下、予測の基礎となるデータ単位は、‘予測単位’という。

予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであり、特定の予測モードは、特定のサイズまたは形態の予測単位に対してのみ行われる。例えば、イントラモードは、正方形の２Ｎ×２Ｎ、Ｎ×Ｎサイズの予測単位に対してのみ行われる。また、スキップモードは、２Ｎ×２Ｎサイズの予測単位に対してのみ行われる。符号化単位の内部に複数の予測単位があるならば、それぞれの予測単位に対して予測を行って、符号化誤差の最も小さい予測モードが選択される。

また、映像符号化装置１００は、符号化単位と異なるサイズの処理単位に基づいて、映像データを変換する。符号化単位の変換のために、符号化単位より小さいか、またはそれと同じサイズのデータ単位に基づいて変換が行われる。以下、変換の基礎となる処理単位を‘変換単位’という。変換は、ＤＣＴ(Discrete Cosine Transformation)またはＫＬＴ(Karhunen Loeve Transform)である。

符号化深度決定部１２０は、ラグランジュの乗数(Lagrangian Multiplier)基盤の率−歪曲最適化技法(Rate-Distortion Optimization)を利用して、最大符号化単位に含まれたサブ符号化単位を決定する。換言すれば、最大符号化単位がいかなる形態の複数のサブ符号化単位に分割されるか決定するが、ここで、複数のサブ符号化単位は、深度によってサイズが相異なる。次いで、映像データ符号化部１３０は、符号化深度決定部１２０で決定された分割形態、すなわち、最大符号化単位が分割された形態に基づいて、最大符号化単位を符号化して、ビットストリームを出力する。

符号化情報符号化部１４０は、符号化深度決定部１２０で最大符号化単位の符号化モードについての情報を符号化する。最大符号化単位の分割形態についての情報、最大深度についての情報、及び深度別のサブ符号化単位の符号化モードについての情報を符号化して、ビットストリームを出力する。サブ符号化単位の符号化モードについての情報は、サブ符号化単位の予測単位についての情報、予測単位別の予測モード情報、サブ符号化単位の変換単位についての情報などを含む。

最大符号化単位ごとに相異なるサイズのサブ符号化単位が存在し、それぞれのサブ符号化単位ごとに符号化モードについての情報が決定されねばならないので、一つの最大符号化単位に対しては、少なくとも一つの符号化モードについての情報が決定される。

映像符号化装置１００は、深度が大きくなるにつれて、最大符号化単位を高さ及び幅を半分にして、サブ符号化単位を生成する。すなわち、ｋ深度の符号化単位のサイズが２Ｎ×２Ｎであれば、ｋ＋１深度の符号化単位のサイズはＮ×Ｎである。

したがって、一実施形態による映像復号化装置１００は、映像の特性を考慮した最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の分割形態を決定する。映像特性を考慮して、可変的に相異なるサイズの最大符号化単位を利用して符号化することはいうまでもなく、相異なる深度のサブ符号化単位に最大符号化単位を分割して、映像を符号化することで、多様な解像度の映像をさらに効率的に符号化することができる。

図２は、本発明の一実施形態による映像復号化装置２００を示す。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、映像データ獲得部２１０、符号化情報抽出部２２０、及び映像データ復号化部２３０を備える。

映像データ獲得部２１０は、映像復号化装置２００が受信したビットストリームをパージングして、最大符号化単位別に映像データを獲得して、映像データ復号化部２３０に出力する。映像データ獲得部２１０は、現在のピクチャーまたはスライスについてのヘッダから、現在のピクチャーまたはスライスの最大符号化単位についての情報を抽出する。換言すれば、ビットストリームを最大符号化単位に分割して、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化する。

符号化情報抽出部２２０は、映像復号化装置２００が受信したビット列をパージングして、現在のピクチャーについてのヘッダから、最大符号化単位、最大深度、最大符号化単位の分割形態、サブ符号化単位の符号化モードについての情報を抽出する。分割形態及び符号化モードについての情報は、映像データ復号化部２３０に出力される。

最大符号化単位の分割形態についての情報は、最大符号化単位に含まれた深度によって異なるサイズのサブ符号化単位についての情報を含み、符号化モードについての情報は、サブ符号化単位別の予測単位についての情報、予測モードについての情報、及び変換単位についての情報などを含む。

映像データ復号化部２３０は、符号化情報抽出部２２０で抽出された情報に基づいて、それぞれの最大符号化単位の映像データを復号化して、現在のピクチャーを復元する。最大符号化単位の分割形態についての情報に基づいて、映像データ復号化部２３０は、最大符号化単位に含まれたサブ符号化単位を復号化する。復号化過程は、イントラ予測及び動き補償を含む動き予測過程及び逆変換過程を含む。

映像データ復号化部２３０は、サブ符号化単位の予測のために、サブ符号化単位別の予測単位についての情報及び予測モードについての情報に基づいて、イントラ予測またはインター予測を行う。また、映像データ復号化部２３０は、サブ符号化単位の変換単位についての情報に基づいて、サブ符号化単位ごとに逆変換を行う。

図３は、本発明の一実施形態による階層的な符号化単位を示す。図３を参照すれば、本発明による階層的な符号化単位は、幅×高さが６４×６４である符号化単位から、３２×３２、１６×１６、８×８、及び４×４を含む。正方形の符号化単位以外にも、幅×高さが６４×３２、３２×６４、３２×１６、１６×３２、１６×８、８×１６、８×４、４×８である符号化単位が存在してもよい。

図３を参照すれば、解像度が１９２０×１０８０である映像データ３１０に対して、最大符号化単位のサイズが６４×６４、最大深度が２に設定されている。

解像度が１９２０×１０８０である映像データ３２０に対して、最大符号化単位のサイズが６４×６４、最大深度が３に設定されている。解像度が３５２×２８８である映像データ３３０に対して、最大符号化単位のサイズが１６×１６、最大深度が１に設定されている。解像度が高いか、またはデータ量が多い場合、圧縮率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きい。したがって、映像データ３３０に比べて、解像度の高い映像データ３１０，３２０は、最大符号化単位のサイズが６４×６４に選択される。

最大深度は、階層的な符号化単位で総階層数を表す。映像データ３１０の最大深度は２であるので、映像データ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、深度が大きくなるにつれて、長軸サイズが３２，１６であるサブ符号化単位まで含む。

一方、映像データ３３０の最大深度は１であるので、映像データ３３０の符号化単位３３５は、長軸サイズが１６である最大符号化単位から、深度が大きくなるにつれて、長軸サイズが８である符号化単位まで含む。

映像データ３２０の最大深度は３であるので、映像データ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、深度が大きくなるにつれて、長軸サイズが３２，１６，８であるサブ符号化単位まで含む。深度が大きくなるほど、さらに小さいサブ符号化単位に基づいて映像を符号化するので、より微細なディテールを含む映像を符号化するのに適している。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００を示す。

イントラ予測部４１０は、現在のフレーム４０５のうち、イントラモードの予測単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位に対して、現在のフレーム４０５及び参照フレーム４９５を利用してインター予測及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０、及び動き補償部４２５から出力された予測単位に基づいて、レジデュアル値が生成され、生成されたレジデュアル値は、変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。

量子化された変換係数は、逆量子化部４６０及び逆変換部４７０を通じて、再びレジデュアル値に復元され、復元されたレジデュアル値は、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５に出力される。

本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０、及びループフィルタリング部４９０は、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて、映像符号化過程を処理する。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００を示す。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経てレジデュアル値に復元される。レジデュアル値は、イントラ予測部５５０のイントラ予測の結果、または動き補償部５６０の動き補償結果と加算されて、符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループフィルタリング部５８０を経て、次の符号化単位または次のピクチャーの予測に利用される。

本発明の一実施形態による映像復号化方法によって復号化するために、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０、及びループフィルタリング部５８０が、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて、映像復号化過程を処理する。

特に、イントラ予測部５５０及び動き補償部５６０は、最大符号化単位及び深度を考慮して、サブ符号化単位内の予測単位及び予測モードを決定し、逆変換部５４０は、変換単位のサイズを考慮して逆変換を行う。

図６は、本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を示す。

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、映像特性を考慮して符号化及び復号化を行うために、階層的な符号化単位を利用する。最大符号化単位及び最大深度は、映像の特性によって適応的に設定されるか、またはユーザーの要求によって多様に設定される。

本発明の一実施形態による符号化単位の階層構造６００は、最大符号化単位６１０の高さ及び幅が６４であり、最大深度が４である場合を示す。符号化単位の階層構造６００の縦軸に沿って深度が大きくなり、深度の増加によって、サブ符号化単位６２０ないし６５０の高さ及び幅が縮小する。また、符号化単位の階層構造６００の横軸に沿って、最大符号化単位６１０及びサブ符号化単位６２０ないし６５０の予測単位が示されている。

最大符号化単位６１０は、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が大きくなり、サイズ３２×３２である深度１のサブ符号化単位６２０、サイズ１６×１６である深度２のサブ符号化単位６３０、サイズ８×８である深度３のサブ符号化単位６４０、サイズ４×４である深度４のサブ符号化単位６５０が存在する。サイズ４×４である深度４のサブ符号化単位６５０は、最小符号化単位であり、最小符号化単位は、最小符号化単位より小さい予測単位に分割される。

図６を参照すれば、それぞれの深度別に横軸に沿って予測単位の例示が示されている。すなわち、深度０の最大符号化単位６１０の予測単位は、サイズ６４×６４の符号化単位６１０と同じであるか、またはそれより小さいサイズ６４×６４の予測単位６１０、サイズ６４×３２の予測単位６１２、サイズ３２×６４の予測単位６１４、サイズ３２×３２の予測単位６１６である。

深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０と同じであるか、またはそれより小さいサイズ３２×３２の予測単位６２０、サイズ３２×１６の予測単位６２２、サイズ１６×３２の予測単位６２４、サイズ１６×１６の予測単位６２６である。

深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０と同じであるか、またはそれより小さいサイズ１６×１６の予測単位６３０、サイズ１６×８の予測単位６３２、サイズ８×１６の予測単位６３４、サイズ８×８の予測単位６３６である。

深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０と同じであるか、またはそれより小さいサイズ８×８の予測単位６４０、サイズ８×４の予測単位６４２、サイズ４×８の予測単位６４４、サイズ４×４の予測単位６４６である。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位であり、かつ最大深度の符号化単位であり、符号化単位６５０の予測単位は、サイズ４×４の予測単位６５０、サイズ４×２の予測単位６５２、サイズ２×４の予測単位６５４、サイズ２×２の予測単位６５６である。

図７は、本発明の一実施形態による符号化単位及び変換単位を示す。

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位そのまま符号化するか、または最大符号化単位より小さいか、またはそれと同じサブ符号化単位に最大符号化単位を分割して符号化する。符号化過程中で、変換のための変換単位のサイズは、それぞれの符号化単位より大きくない変換単位として選択される。例えば、現在の符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を利用して変換が行われる。

図８Ａ及び図８Ｂは、本発明の一実施形態による符号化単位、予測単位及び変換単位の分割形態を示す。

図８Ａは、本発明の一実施形態による符号化単位及び予測単位を示す。図８Ａの左側は、最大符号化単位８１０を符号化するために、本発明の一実施形態による映像符号化装置１００が選択した分割形態を示す。映像符号化装置１００は、多様な形態に最大符号化単位８１０を分割して符号化した後、多様な分割形態の符号化結果をＲ−Ｄコストに基づいて比較して、最適の分割形態を選択する。最大符号化単位８１０をそのまま符号化することが最適である場合には、図８Ａ及び図８Ｂのように、最大符号化単位８１０を分割せず、最大符号化単位８００を符号化してもよい。

図８Ａの左側を参照すれば、深度０である最大符号化単位８１０を深度１以上のサブ符号化単位に分割して符号化する。最大符号化単位８１０を四つの深度１のサブ符号化単位に分割した後、全部または一部の深度１のサブ符号化単位を再び深度２のサブ符号化単位に分割する。

深度１のサブ符号化単位のうち、右側の上部に位置したサブ符号化単位、及び左側の下部に位置したサブ符号化単位が、深度２以上のサブ符号化単位に分割された。深度２以上のサブ符号化単位のうち一部は、再び深度３以上のサブ符号化単位に分割される。

図８Ｂの右側は、最大符号化単位８１０についての予測単位の分割形態を示す。

図８Ａの右側を参照すれば、最大符号化単位についての予測単位８６０は、最大符号化単位８１０と異なって分割される。換言すれば、サブ符号化単位それぞれについての予測単位は、サブ符号化単位より小さくてもよい。

例えば、深度１のサブ符号化単位のうち、右側の下部に位置したサブ符号化単位８５４についての予測単位は、サブ符号化単位８５４より小さい。深度２のサブ符号化単位８１４，８１６，８１８，８２８，８５０，８５２のうち、一部のサブ符号化単位８１５，８１６，８５０，８５２についての予測単位は、サブ符号化単位より小さい。また、深度３のサブ符号化単位８２２，８３２，８４８についての予測単位は、サブ符号化単位より小さい。予測単位は、それぞれのサブ符号化単位を高さまたは幅方向に半分にした形態であってもよく、高さ及び幅方向に４分した形態であってもよい。

図８Ｂは、本発明の一実施形態による予測単位及び変換単位を示す。図８Ｂの左側は、図８Ａの右側に示す最大符号化単位８１０についての予測単位の分割形態を示し、図８Ｂの右側は、最大符号化単位８１０の変換単位の分割形態を示す。図８Ｂの右側を参照すれば、変換単位８７０の分割形態は、予測単位８６０と異なって設定される。

例えば、深度１の符号化単位８５４についての予測単位が、高さを半分にした形態に選択されるとしても、変換単位は、深度１の符号化単位８５４のサイズと同じサイズに選択される。同様に、深度２の符号化単位８１４，８５０についての予測単位が、深度２の符号化単位８１４，８５０の高さを半分にした形態に選択されるとしても、変換単位は、深度２の符号化単位８１４，８５０の本来のサイズと同じサイズに選択される。

予測単位よりさらに小さいサイズに変換単位が選択されてもよい。例えば、深度２の符号化単位８５２についての予測単位が幅を半分にした形態に選択された場合に、変換単位は、予測単位よりさらに小さい高さ及び幅を半分にした形態に選択される。

図９は、本発明の他の実施形態による映像符号化装置９００を示す。図９を参照すれば、本発明の一実施形態による映像符号化装置９００は、変換部９１０、量子化部９２０、及びエントロピー符号化部９３０を備える。

変換部９１０は、ピクセルドメインの映像処理単位を入力されて、周波数ドメインに変換する。イントラ予測またはインター予測を通じて生成されたレジデュアル値を含む複数の予測単位を入力されて、周波数ドメインに変換する。周波数ドメインに変換した結果、周波数成分の係数が生成される。本発明の一実施形態によれば、周波数ドメインへの変換は、ＤＣＴまたはＫＬＴであり、ＤＣＴまたはＫＬＴの結果、周波数ドメインの係数が生成される。以下では、ＤＣＴを例として説明するが、当業者は、あらゆるピクセルドメインの映像を周波数ドメインに変換するあらゆる変換に本発明が適用されるということが容易に分かるであろう。

また、本発明の一実施形態によれば、変換部９１０は、複数の予測単位をグルーピングして一つの変換単位を設定し、設定された変換単位によって変換を行う。図１０、図１１Ａ、図１１Ｂ及び図１２を参照して詳細に説明する。

図１０は、本発明の一実施形態による変換部９１０を示す。図１０を参照すれば、本発明の一実施形態による変換部９１０は、選択部１０１０及び変換実行部１０２０を備える。

選択部１０１０は、隣接した複数の予測単位を選択して、一つの変換単位を設定する。従来の映像符号化装置によれば、所定のサイズのブロック、すなわち、予測単位によってイントラ予測またはインター予測を行い、予測単位より小さいか、またはそれと同じサイズでＤＣＴを行う。換言すれば、従来の映像符号化装置は、予測単位より小さいか、またはそれと同じ変換単位に基づいて、ＤＣＴを行った。

しかし、それぞれの変換単位ごとに付加されるヘッダ情報のために、変換単位が小さいほど、付加されるオーバーヘッドが大きくなって、映像符号化の圧縮率を低下させた。かかる問題点を解決するために、本発明の一実施形態による映像符号化装置９００は、隣接した複数の予測単位を一つの変換単位にグルーピングし、グルーピング結果として生成された変換単位によってＤＣＴを行う。隣接した複数の予測単位は、類似したレジデュアル値を含む確率が高いので、隣接した複数の予測単位をまとめて一つの変換単位でＤＣＴを行うならば、符号化の圧縮率を大きく向上させることができる。

このために、選択部１０１０は、一つの変換単位にグルーピングして、ＤＣＴを行う隣接した複数の予測単位を選択する。図１１Ａないし図１１Ｃ及び図１２を参照して詳細に説明する。

図１１Ａないし図１１Ｃは、本発明の一実施形態による変換単位の類型を示す。図１１Ａないし図１１Ｃを参照すれば、所定の符号化単位１１１０に対して、予測単位１１２０は、符号化単位１１１０の幅を半分にした形態である。符号化単位１１１０は、前述した最大符号化単位であってもよく、最大符号化単位より小さいサブ符号化単位であってもよい。

図１１Ａに示すように、変換単位１１３０のサイズが予測単位１１２０より小さいか、または図１１Ｂに示すように、変換単位１１４０のサイズが予測単位１１２０と同じである。また、本発明の一実施形態による変換単位１１５０は、図１１Ｃに示すように、予測単位１１２０のサイズより大きい。すなわち、変換単位１１３０ないし１１５０は、予測単位１１２０と関係なく設定されてもよい。

また、図１１Ｃは、一つの符号化単位１１１０に含まれた複数の予測単位１１２０をグルーピングして、予測単位１１２０を設定する例を示した。しかし、一つの符号化単位ではない複数の符号化単位に含まれた複数の予測単位を一つの変換単位に設定することで、変換単位を符号化単位より大きく設定できる。換言すれば、変換単位は、図１１Ａないし図１１Ｃと関連して前述したように、符号化単位のサイズと同じであるか、またはそれより小さく設定されてもよく、符号化単位のサイズより大きく設定されてもよい。すなわち、変換単位は、予測単位はいうまでもなく、符号化単位と関係なく設定されてもよい。

図１１Ａないし図１１Ｃは、変換単位が正方形に設定される実施形態を示したが、隣接した予測単位のグルーピング方法によって、変換単位が長方形に設定されてもよい。例えば、図１１Ａないし図１１Ｃのように、長方形に予測単位が設定されず、符号化単位１１１０を四つの正方形に四等分した形態に予測単位が設定される場合に、予測単位は、上下または左右に隣接した予測単位のみをグルーピングすることで、横が長いか、または縦が長い長方形に変換単位が設定されてもよい。

再び図１０を参照すれば、選択部１０１０が隣接した複数の予測単位を選択する基準には制限がない。しかし、本発明の一実施形態によれば、選択部１０１０は、深度に基づいて、変換単位を選択する。深度とは、前述したように、現在のスライスまたは現在のピクチャーの最大符号化単位からサブ符号化単位のサイズに段階的に縮小した程度を表す。図３及び図６と関連して前述したように、深度が大きいほど、サブ符号化単位のサイズが小さいことを意味し、これによって、含まれた予測単位も小さくなる。この場合、予測単位より小さいか、またはそれと同じサイズの変換単位によってＤＣＴを行わば、前述したように、変換単位ごとにヘッダ情報が付加されて、映像符号化の圧縮率が低下する。

したがって、所定の深度以上のサブ符号化単位は、サブ符号化単位に含まれた予測単位をグルーピングして、一つの変換単位に設定し、ＤＣＴが行われる。このために、選択部１０１０は、サブ符号化単位の深度に基づいて、変換単位を設定する。例えば、選択部１０１０は、図１１Ｃに示す符号化単位１１１０の深度がｋより大きい場合には、予測単位１１２０をグルーピングして、一つの変換単位１１５０に設定する。

また、本発明の他の実施形態によれば、選択部１０１０は、同じ種類の予測モードによって予測が行われた隣接した複数の予測単位を一つの変換単位に設定する。選択部１０１０は、イントラ予測またはインター予測を利用して予測された、隣接した複数の予測単位をグルーピングして、一つの変換単位に設定する。同じ種類の予測モードによって予測が行われた隣接した複数の予測単位は、類似したレジデュアル値を含む確率が高いので、隣接した複数の予測単位を一つの変換単位にグルーピングして、ＤＣＴを行うことが可能である。

選択部１０１０が変換単位を設定すれば、変換実行部１０２０は、設定された変換単位によって、複数の予測単位を周波数ドメインに変換する。変換実行部１０２０は、選択された複数の予測単位を一つの変換単位にＤＣＴを行って、離散コサイン係数を生成する。

再び図９を参照すれば、量子化部９２０は、変換部９１０で生成された周波数成分係数、例えば、離散コサイン係数を量子化する。所定の量子化ステップによって、入力された離散コサイン係数を量子化する。

エントロピー符号化部９３０は、量子化部９２０で量子化された離散コサイン係数をエントロピー符号化する。ＣＡＢＡＣ(Context-Adaptive Binary Arithmetic Coding)またはＣＡＶＬＣ(Context-Adaptive Variable Length Coding)を利用して、離散コサイン係数をエントロピー符号化する。

本発明の他の実施形態による映像符号化装置９００は、相異なる変換単位に対して、前述したＤＣＴ、量子化及びエントロピー符号化を反復して、最適の変換単位を決定する。隣接した複数の予測単位を選択する過程を機械的に反復して行って、最適の変換単位を決定する。最適の変換単位は、Ｒ−Ｄコスト(Rate-Distortion Cost)を考慮して決定されるが、図１２と関連して詳細に説明する。

図１２は、本発明の一実施形態による相異なる変換単位を示す。図１２を参照すれば、本発明による映像符号化装置９００は、相異なる変換単位に対して符号化を反復する。

図１２に示すように、所定の符号化単位１２１０は、符号化単位より小さい予測単位１２２０に基づいて予測符号化される。予測結果、生成されたレジデュアル値はＤＣＴが行われるが、この時、図１２に示すように、相異なる変換単位に基づいてＤＣＴが行われる。

最初に示す変換単位１２３０は、符号化単位１２１０と同じサイズの変換単位であり、符号化単位１２１０に含まれたあらゆる予測単位をグルーピングしたサイズの変換単位である。

二番目に示す変換単位１２４０は、符号化単位１２１０の幅を半分にしたサイズの変換単位であり、縦方向に隣接した二つの予測単位をそれぞれグルーピングしたサイズの変換単位である。

三番目に示す変換単位１２５０は、符号化単位１２１０の高さを半分にしたサイズの変換単位であり、横方向に隣接した二つの予測単位をそれぞれグルーピングしたサイズの変換単位である。

四番目に示す変換単位１２６０は、予測単位１２２０と同じサイズの変換単位１２６０に基づいて、変換を行う場合に利用される。

図１３は、本発明の他の実施形態による映像復号化装置１３００を示す。図１３を参照すれば、本発明の一実施形態による映像復号化装置１３００は、エントロピー復号化部１３１０、逆量子化部１３２０、及び逆変換部１３３０を備える。

エントロピー復号化部１３１０は、所定の変換単位についての周波数成分係数をエントロピー復号化する。図１１Ａないし図１１Ｃ及び図１２と関連して前述したように、変換単位は、隣接した複数の予測単位をグルーピングして生成された変換単位である。

映像符号化装置９００と関連して前述したように、変換単位は、深度に基づいて隣接した複数の予測単位をグルーピングした変換単位、または同じ種類の予測モード、すなわち、イントラ予測モードまたはインター予測モードによって予測が行われた、隣接した複数の予測単位をグルーピングした変換単位である。

複数の予測単位は、一つの符号化単位ではない複数の符号化単位に含まれた複数の予測単位である。換言すれば、エントロピー復号化部１３１０でエントロピー復号化される変換単位は、図１１Ａないし図１１Ｃと関連して前述したように、符号化単位のサイズと同じであるか、またはそれより小さく設定された変換単位であってもよく、符号化単位のサイズより大きく設定された変換単位であってもよい。

また、図１２と関連して前述したように、隣接した複数の予測単位をグルーピングする過程を機械的に反復して、相異なる変換単位に対して、ＤＣＴ、量子化、及びエントロピー復号化を反復して行うことで選択された最適の変換単位であってもよい。

逆量子化部１３２０は、エントロピー復号化部１３１０でエントロピー復号化された周波数成分係数を逆量子化する。逆量子化部１３２０は、変換単位の符号化時に利用された量子化ステップによってエントロピー復号化された周波数成分係数を逆量子化する。

逆変換部１３３０は、逆量子化された周波数成分係数をピクセルドメインに逆変換する。逆変換部１３３０は、逆量子化された離散コサイン係数に逆ＤＣＴを行って、ピクセルドメインの変換単位を復元する。復元された変換単位は、隣接した複数の予測単位を含む。

図１４は、本発明の一実施形態による映像符号化方法を説明するためのフローチャートである。図１４を参照すれば、ステップ１４１０で、本発明の一実施形態による映像符号化装置は、隣接した複数の予測単位を選択して、一つの変換単位を設定する。深度に基づいて、隣接した複数の予測単位を選択するか、または同じ種類の予測モードで予測が行われた、隣接した複数の予測単位を選択する。

ステップ１４２０で、映像符号化装置は、ステップ１４２０で設定された変換単位によって、複数の予測単位を周波数ドメインに変換する。複数の予測単位をグルーピングしてＤＣＴを行うことで、離散コサイン係数を生成する。

ステップ１４３０で、映像符号化装置は、ステップ１４２０で生成された周波数成分係数、すなわち、離散コサイン係数を所定の量子化ステップによって量子化する。

ステップ１４４０で、映像符号化装置は、ステップ１４３０で量子化された周波数成分係数をエントロピー符号化する。ＣＡＢＡＣまたはＣＡＶＬＣを利用して、離散コサイン係数をエントロピー符号化する。

本発明の他の実施形態による映像符号化方法は、相異なる変換単位に対して、前記したステップ１４１０ないし１４４０を反復して、最適の変換単位を設定するステップをさらに含んでもよい。図１２に示すような相異なる変換単位に対して、変換、量子化及びエントロピー符号化を反復して、最適の変換単位を設定する。

図１５は、本発明の一実施形態による映像復号化方法を説明するためのフローチャートである。図１５を参照すれば、ステップ１５１０で、本発明の一実施形態による映像復号化装置は、所定の変換単位についての周波数成分係数をエントロピー復号化する。周波数成分係数は、離散コサイン係数である。

ステップ１５２０で、映像復号化装置は、ステップ１５１０でエントロピー復号化された周波数成分係数を逆量子化する。符号化時に利用された量子化ステップを利用して、離散コサイン係数を逆量子化する。

ステップ１５３０で、映像復号化装置は、ステップ１５２０で逆量子化された周波数成分係数をピクセルドメインに逆変換して、変換単位を復元する。復元された変換単位は、隣接した複数の予測単位をグルーピングして設定された変換単位である。前述したように、変換単位は、深度に基づいて、隣接した複数の予測単位をグルーピングして設定された変換単位、または、同じ予測モードによって予測が行われた、隣接した複数の予測単位をグルーピングして設定された変換単位である。

本発明によれば、予測単位より大きいサイズに変換単位を設定し、変換を行えるので、映像をより効率的に圧縮して符号化することができる。

以上のように、本発明は、限定された実施形態と図面により説明したが、本発明が前記の実施形態に限定されるものではなく、これは、当業者ならば、かかる記載から多様な修正及び変形が可能である。したがって、本発明の思想は、後述する特許請求の範囲によってのみ把握されねばならず、それと均等であるか、または等価的な変形は、いずれも本発明の思想の範疇に属するといえる。また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードで具現することが可能である。

例えば、本発明の例示的な実施形態による映像符号化装置、映像復号化装置、映像符号化部、及び映像復号化部は、図１、図２、図４、図５、図９、図１０及び図１４に示すような装置のそれぞれのユニットにカップリングされたバス、前記バスに結合された少なくとも一つのプロセッサを含む。また、命令、受信されたメッセージまたは生成されたメッセージを保存するために、前記バスに結合されて、前述したような命令を行うための少なくとも一つのプロセッサにカップリングされたメモリを含む。

また、コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存されるあらゆる種類の記録装置を含む。記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。

Claims (4)

1. 映像復号化装置において、
   受信されたビットストリームからパージングされた符号化単位の分割形態についての情報、予測単位についての情報、及び変換単位についての情報を利用して、映像の復号化のための少なくとも１つの階層構造の符号化単位、それぞれの符号化単位に対する予測のための少なくとも１つの予測単位、及び前記それぞれの符号化単位に対する逆変換のための少なくとも１つ以上の変換単位を決定するプロセッサと、
   前記ビットストリームから、前記それぞれの符号化単位を所定の変換単位により変換して生成された変換係数をパージングし、前記変換係数をエントロピー復号化、逆量子化及び逆変換して、前記少なくとも１つの予測単位のデータを復元し、前記復元されたデータを用いたイントラ予測及びインター予測を行って前記映像を復元する復号化部と、を含み、
   前記階層構造の符号化単位は、前記映像が分割された最大サイズの符号化単位から深度により階層的に分割され、
   前記所定の変換単位は、前記予測単位より大きなサイズの形態に決定されることを特徴とする映像復号化装置。
2. 前記少なくとも１つの予測単位は、複数個の予測単位を含み、前記予測単位より大きなサイズの形態に決定される変換単位は、前記複数個の予測単位を結合することによって生成されることを特徴とする請求項１に記載の映像復号化装置。
3. 前記少なくとも１つの変換単位のサイズは、前記少なくとも１つの予測単位のサイズ及び前記符号化単位のサイズと異なることを特徴とする請求項１に記載の映像復号化装置。
4. 前記映像は、深度により前記最大符号化単位サイズ情報による最大符号化単位から前記符号化深度の符号化単位まで階層的に分割され、
   現在深度の符号化単位は、上位深度の符号化単位から分割された正方形データ単位の１つであり、
   前記現在深度の符号化単位は、隣接符号化単位と独立して当該符号化深度に至るまで下位深度の符号化単位に分割されることを特徴とする請求項１に記載のビデオ復号化装置。

Images