JP2022513203A - ２次変換に基づく映像コーディング方法及びその装置 - Google Patents

Abstract

本文書による映像デコーディング方法は、対象ブロックに対する量子化された変換係数に基づいて逆量子化を介して変換係数を導出するステップ；前記変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出するステップ；及び、前記修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルに基づいて復元ピクチャを生成するステップ；を含み、前記対象ブロックの８×８領域のうち左上段４×４領域の変換係数に対して前記変換カーネルマトリクスを利用した逆ＲＳＴが実行され、前記逆ＲＳＴを介して前記８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の修正された変換係数が導出されることを特徴とする。【選択図】図１０

Description

本文書は、映像コーディング技術に関し、より詳しくは、映像コーディングシステムで変換（ｔｒａｎｓｆｏｒｍ）に基づく映像コーディング方法及びその装置に関する。

最近、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が多様な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、既存の映像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して映像データを送信し、または、既存の格納媒体を利用して映像／ビデオデータを格納する場合、送信費用と格納費用が増加される。

また、最近、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。

それによって、前記のような多様な特性を有する高解像度、高品質の映像／ビデオの情報を効果的に圧縮して送信または格納し、再生するために、高効率の映像／ビデオ圧縮技術が要求される。

本文書の技術的課題は、映像コーディング効率を上げる方法及び装置を提供することにある。

本文書の他の技術的課題は、変換効率を上げる方法及び装置を提供することにある。

本文書の他の技術的課題は、ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づく映像コーディング方法及び装置を提供することにある。

本文書の他の技術的課題は、イントラ予測モードによって変換係数の配列を異なるようにして２次変換の効率を上げる方法及び装置を提供することにある。

本文書の他の技術的課題は、２次変換に適用される変換カーネルマトリクスを最適化して２次変換の効率を上げる方法及び装置を提供することにある。

本文書の他の技術的課題は、コーディング効率を増加させることができる変換セットに基づく映像コーディング方法及び装置を提供することにある。

本文書の一実施例によると、デコーディング装置により実行される映像デコーディング方法を提供する。前記方法は、対象ブロックに対する量子化された変換係数に基づいて逆量子化を介して変換係数を導出するステップと、前記変換係数に対して既設定された変換カーネルマトリクスを利用する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出するステップ；前記修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、前記対象ブロックに対するレジデュアルサンプルに基づいて復元ピクチャを生成するステップとを含み、前記修正された変換係数を導出するステップは、前記対象ブロックの８×８領域のうち左上段４×４領域の変換係数に前記変換カーネルマトリクスを適用することで、前記８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の修正された変換係数を導出する。

前記８×８領域のうち左上段４×４領域の変換係数と前記変換カーネルマトリクスの行列演算時、前記８×８領域のうち左上段４×４領域の変換係数は、順方向対角スキャニング順序によって１次元配列される。

前記１次元配列の前記変換係数は、前記変換カーネルマトリクスとの行列演算後、前記対象ブロックに適用されるイントラ予測モードによって行優先方向または列優先方向のうちいずれか一つの順序によって前記８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域に２次元に配列される。

本文書の他の一実施例によると、映像デコーディングを実行するデコーディング装置が提供される。前記デコーディング装置は、ビットストリームから対象ブロックに対する量子化された変換係数及び予測に対する情報を導出するエントロピーデコーディング部と、前記予測に対する情報に基づいて対象ブロックに対する予測サンプルを生成する予測部と、前記対象ブロックに対する量子化された変換係数に基づいて逆量子化を介して変換係数を導出する逆量子化部；前記変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出する逆ＲＳＴ部と前記修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部を含む逆変換部と、前記レジデュアルサンプル及び前記予測サンプルに基づいて復元サンプルを生成する加算部とを含み、前記逆ＲＳＴ部は、前記対象ブロックの８×８領域のうち左上段４×４領域の変換係数に前記変換カーネルマトリクスを適用することで、前記８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の修正された変換係数を導出する。

本文書の一実施例によると、エンコーディング装置により実行される映像エンコーディング方法を提供する。前記方法は、対象ブロックに適用されるイントラ予測モードに基づいて予測サンプルを導出するステップと、前記予測サンプルに基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、前記レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出するステップと、前記変換係数に対するＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出するステップと、前記修正された変換係数に基づいて量子化を実行して量子化された変換係数を導出するステップとを含み、前記修正された変換係数を導出するステップは、前記対象ブロックの８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の変換係数に前記変換カーネルマトリクスを適用することで、前記８×８領域のうち左上段４×４領域に対応する修正された変換係数を導出することを特徴とする。

本文書の他の一実施例によると、エンコーディング装置により実行された映像エンコーディング方法によって生成されたエンコーディングされた映像情報及びビットストリームが含まれている映像データが格納されたデジタル格納媒体が提供される。

本文書の他の一実施例によると、デコーディング装置により前記映像デコーディング方法を実行するようにするエンコーディングされた映像情報及びビットストリームが含まれている映像データが格納されたデジタル格納媒体が提供される。

本文書によると、全般的な映像／ビデオ圧縮効率を上げることができる。

本文書によると、イントラ予測モードによって変換係数の配列を異なるようにして２次変換の効率を上げることができる。

本文書によると、変換セットに基づいて映像コーディングを実行して映像コーディング効率を上げることができる。

本文書によると、２次変換に適用される変換カーネルマトリクスを最適化して２次変換の効率を上げることができる。

本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。 本文書が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。 本文書が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。 本文書の一実施例に係る多重変換技法を概略的に示す。 ６５個予測方向のイントラ方向性モードを例示的に示す。 本文書の一実施例に係るＲＳＴを説明するための図である。 本文書の一実施例に係る変換係数のスキャニング順序を示す。 本文書の一実施例に係る逆ＲＳＴ過程を示す流れ図である。 本文書の一実施例に係るビデオデコーディング装置の動作を示す流れ図である。 本文書の一実施例に係る逆ＲＳＴを説明するための制御流れ図である。 本文書の一実施例に係るビデオエンコーディング装置の動作を示す流れ図である。 本文書の一実施例に係るＲＳＴを説明するための制御流れ図である。 本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

本文書は、多様な変更を加えることができ、種々の実施例を有することができ、特定実施例を図面に例示して詳細に説明する。しかしながら、これは、本文書を特定実施例に限定するものではない。本明細書において、常用する用語は、単に特定の実施例を説明するために使われたものであって、本文書の技術的思想を限定する意図で使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において“含む”または“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、または、これらを組合せたものが存在することを指定し、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、または、これらを組合せたもの等の存在または付加可能性をあらかじめ排除しないと理解しなければならない。

一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために、独立的に示しものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち、二つ以上の構成が結合されて一つの構成をなすこともでき、一つの構成を複数の構成に分けることもできる。各構成が統合及び／または分離された実施例も本文書の本質から外れない限り、本文書の権利範囲に含まれる。

以下、添付図面を参照して、本文書の好ましい実施例をより詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。

この文書は、ビデオ／映像コーディングに関する。例えば、この文書に開示された方法／実施例は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、または、その他のビデオコーディング関連標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準等）と関連することができる。

この文書ではビデオ／映像コーディングに関する多様な実施例を提示し、他の言及がない限り、前記実施例は、互いに組合せて実行されることもできる。

この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。一つのピクチャは、一つ以上のスライス／タイルで構成されることができる。一つのピクチャは、一つ以上のタイルグループで構成されることができる。一つのタイルグループは、一つ以上のタイルを含むことができる。

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として‘サンプル（ｓａｍｐｌｅ）’が使われることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。または、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。

ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び該当領域に関連した情報のうち少なくとも一つを含むことができる。一つのユニットは、一つのルマブロック及び二つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列及びＮ個の行からなるサンプル（または、サンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。

この文書において、“／”と“、”は、“及び／または”と解釈される。例えば、“Ａ／Ｂ”は、“Ａ及び／またはＢ”と解釈され、“Ａ、Ｂ”は、“Ａ及び／またはＢ”と解釈される。追加的に、“Ａ／Ｂ／Ｃ”は、“Ａ、Ｂ及び／またはＣのうち少なくとも一つ”を意味する。また、“Ａ、Ｂ、Ｃ”も“Ａ、Ｂ及び／またはＣのうち少なくとも一つ”を意味する。（Ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ “／” ａｎｄ “，” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ．”Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ／Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ．”Ｆｕｒｔｈｅｒ，“Ａ，Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ．”Ｆｕｒｔｈｅｒ，“Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”Ａｌｓｏ，“Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”）

追加的に、本文書において“または”は、“及び／または”と解釈される。例えば、“ＡまたはＢ”は、１）“Ａ”のみを意味し、または、２）“Ｂ”のみを意味し、または、３）“Ａ及びＢ”を意味することができる。他の表現として、本文書の“または”は、“追加的にまたは選択的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）”を意味することができる。（Ｆｕｒｔｈｅｒ，ｉｎ ｔｈｅ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ “ｏｒ” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ．”Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ ｏｒ Ｂ” ｍａｙ ｃｏｍｐｒｉｓｅ １）ｏｎｌｙ Ａ，２）ｏｎｌｙ Ｂ，ａｎｄ／ｏｒ ３）ｂｏｔｈ Ａ ａｎｄ Ｂ．Ｉｎ ｏｔｈｅｒ ｗｏｒｄｓ，ｔｈｅ ｔｅｒｍ “ｏｒ” ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ．”）

図１は、本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。

図１を参照すると、ビデオ／映像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達できる。

前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを含むことができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に含まれることができる。受信機は、デコーディング装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。

ビデオソースは、ビデオ／映像のキャプチャ、合成または生成過程などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成されることができ、この場合、関連データが生成される過程としてビデオ／映像キャプチャ過程が代替されることができる。

エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達できる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。送信部は、あらかじめ決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達できる。

デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／映像をデコーディングすることができる。

レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。

図２は、本文書が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置とは、映像エンコーディング装置を含むことができる。

図２を参照すると、エンコーディング装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含んで構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施例によって一つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。

映像分割部２１０は、エンコーディング装置２００に入力された入力映像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／またはターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／またはターナリ構造が後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または、必要によって、コーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）、より下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使われることができる。

減算部２３１は、入力映像信号（原本ブロック、原本サンプルまたは原本サンプルアレイ）から、予測部２２０から出力された予測信号（予測されたブロック、予測サンプルまたは予測サンプルアレイ）を減算してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルまたはレジデュアルサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。予測部２２０は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２２０は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができる。予測部は、各予測モードに対する説明で後述するように、予測モード情報など、予測に関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または、離れて位置することもできる。イントラ予測において、予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定によって、それ以上またはそれ以下の個数の方向性予測モードが使われることができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロックまたはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャは、同じであってもよく、異なってもよい。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることもでき、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出するためにどのような候補が使われるかを指示する情報を生成することができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合に、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用できる。スキップモードの場合、マージモードとは違って、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることで現在ブロックの動きベクトルを指示することができる。

予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用できる。これはｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。

インター予測部２２１及び／またはイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために利用され、または、レジデュアル信号を生成するために利用されることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、または、ＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）などを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとする時、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じ大きさを有するピクセルブロックに適用されることもでき、正方形でない可変大きさのブロックに適用されることもできる。

量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信し、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームで出力できる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列でき、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なエンコーディング方法を実行することができる。エントロピーエンコーディング部２４０は、量子化された変換係数外に、ビデオ／イメージ復元に必要な情報（例えば、シンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別途にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、または、ビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書で後述されるシグナリング／送信される情報及び／またはシンタックスエレメントは、前述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、または、デジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／または格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または、送信部は、エントロピーエンコーディング部２４０に含まれることもできる。

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによってレジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加算することによって復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルまたは復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使われることもできる。

一方、ピクチャエンコーディング及び／または復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納できる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に対する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。フィルタリングに関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使われることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置２００とデコーディング装置での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納できる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２２１に伝達できる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達できる。

図３は、本文書が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。

図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｒｙ）３６０を含んで構成されることができる。予測部３３０は、インター予測部３３２及びイントラ予測部３３１を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２２を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むこともできる。

ビデオ／映像情報を含むビットストリームが入力されると、デコーディング装置３００は、図２のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出することができる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを利用してデコーディングを実行することができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造及び／またはターナリツリー構造によって分割されることができる。コーディングユニットから一つ以上の変換ユニットが導出されることができる。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。

デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／または前記一般制限情報にさらに基づいてピクチャをデコーディングすることができる。本文書で後述されるシグナリング／受信される情報及び／またはシンタックスエレメントは、前記デコーディング手順を介してデコーディングされて前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法を基にビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳しくは、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックスエレメントに該当するｂｉｎを受信し、デコーディング対象シンタックスエレメント情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってｂｉｎの発生確率を予測してｂｉｎの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行することで、各シンタックスエレメントの値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデル決定後、次のシンボル／ｂｉｎのコンテキストモデルのためにデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキストモデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち、予測に関する情報は、予測部３３０に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが実行されたレジデュアルに対する情報、即ち、量子化された変換係数及び関連パラメータ情報は、逆量子化部３２１に入力されることができる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されることができ、または、受信部は、エントロピーデコーディング部３１０の構成要素であることもある。一方、本文書によるデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれることができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、及びメモリ３６０のうち少なくとも一つを含むことができる。

逆量子化部３２１では量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列できる。この場合、前記再整列は、エンコーディング装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

逆変換部３２２では変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。

予測部は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて前記現在ブロックにイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。

予測部は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用できる。これはｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。

イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または、離れて位置することもできる。イントラ予測において、予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロックまたはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

加算部３４０は、取得されたレジデュアル信号を予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加算することによって復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。

加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するように、フィルタリングを経て出力されることもでき、または、次のピクチャのインター予測のために使われることもできる。

一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信できる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使われることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部３３２に伝達できる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３１に伝達できる。

本明細書において、デコーディング装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、及びフィルタリング部３５０などで説明された実施例は、各々、エンコーディング装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５、及びフィルタリング部２６０などにも同じくまたは対応されるように適用されることができる。

前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。それによって、コーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同じく導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置にシグナリングすることで映像コーディング効率を上げることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を実行し、レジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために、量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

図４は、本文書による多重変換技法を概略的に示す。

図４を参照すると、変換部は、前述した図２のエンコーディング装置内の変換部に対応されることができ、逆変換部は、前述した図２のエンコーディング装置内の逆変換部または図３のデコーディング装置内の逆変換部に対応されることができる。

変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を実行して（１次）変換係数を導出することができる（Ｓ４１０）。このような１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）は、核心変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。ここで、前記１次変換は、多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づくことができ、１次変換で多重変換が適用される場合、多重核心変換と呼ばれることができる。

多重核心変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ２とＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１を追加的に使用して変換する方式を示すことができる。即ち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８、及び前記ＤＳＴタイプ１の中から選択された複数の変換カーネルに基づいて空間ドメインのレジデュアル信号（または、レジデュアルブロック）を周波数ドメインの変換係数（または、１次変換係数）に変換する変換方法を示すことができる。ここで、前記１次変換係数は、変換部立場で臨時変換係数と呼ばれることができる。

即ち、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいてレジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数が生成されることができた。これとは違って、前記多重核心変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及び／またはＤＳＴタイプ１などに基づいてレジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数（または、１次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１等は、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）または変換コア（ｃｏｒｅ）と呼ばれることができる。

参考までに、前記ＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義されることができ、前記基底関数は、以下の表のように示される。

前記多重核心変換が実行される場合、前記変換カーネルの中から対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択されることができ、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が実行され、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が実行されることができる。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を示すことができる。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを含む対象ブロック（ＣＵまたはサブブロック）の予測モード及び／または変換インデックスに基づいて適応的に決定されることができる。

また、一例によると、ＭＴＳを適用して１次変換を実行する場合、特定基底関数を所定値に設定し、垂直変換または水平変換である時、どのような基底関数が適用されるかを組合せて変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向変換カーネルをｔｒＴｙｐｅＨｏｒで表し、垂直方向変換カーネルをｔｒＴｙｐｅＶｅｒで表す場合、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値０はＤＣＴ２に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値１はＤＳＴ７に設定され、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒ値２はＤＣＴ８に設定されることができる。

この場合、多数の変換カーネルセットのうちいずれか一つを指示するために、ＭＴＳインデックス情報がエンコーディングされてデコーディング装置にシグナリングされることができる。例えば、ＭＴＳインデックスが０である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも０であることを指示し、ＭＴＳインデックスが１である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも１であることを指示し、ＭＴＳインデックスが２である場合、ｔｒＴｙｐｅＨｏｒ値は２であり、かつｔｒＴｙｐｅＶｅｒ値は１であることを指示し、ＭＴＳインデックスが３である場合、ｔｒＴｙｐｅＨｏｒ値は１であり、かつｔｒＴｙｐｅＶｅｒ値は２であることを指示し、ＭＴＳインデックスが４である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が両方とも２であることを指示することができる。

変換部は、前記（１次）変換係数に基づいて２次変換を実行して修正された（２次）変換係数を導出することができる（Ｓ４２０）。前記１次変換は、空間ドメインから周波数ドメインへの変換であり、前記２次変換は、（１次）変換係数間に存在する相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を利用してより圧縮的な表現に変換することを意味する。前記２次変換は、非分離変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を含むことができる。この場合、前記２次変換は、非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）またはＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。前記非分離２次変換は、前記１次変換を介して導出された（１次）変換係数を非分離変換マトリクス（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて２次変換してレジデュアル信号に対する修正された変換係数（または、２次変換係数）を生成する変換を示すことができる。ここで、前記非分離変換マトリクスに基づいて前記（１次）変換係数に対して垂直変換及び水平変換を分離して（または、水平垂直変換を独立的に）適用せずに一度に変換を適用することができる。即ち、前記非分離２次変換は、前記（１次）変換係数の垂直成分及び水平成分を分離せずに、例えば、２次元信号（変換係数）を特定に決められた方向（例えば、行優先（ｒｏｗ－ｆｉｒｓｔ）方向または列優先（ｃｏｌｕｍｎ－ｆｉｒｓｔ）方向）を介して１次元信号に再整列した後、前記非分離変換マトリクスに基づいて修正された変換係数（または、２次変換係数）を生成する変換方法を示すことができる。例えば、行優先順序は、Ｍ×Ｎブロックに対して１番目の行、２番目の行、．．．、Ｎ番目の行の順序に一列に配置し、列優先順序は、Ｍ×Ｎブロックに対して１番目の列、２番目の列、．．．、Ｍ番目の列の順序に一列に配置する。前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックと呼ばれる）の左上段（ｔｏｐ－ｌｅｆｔ）領域に対して適用されることができる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも８以上である場合、８×８非分離２次変換が前記変換係数ブロックの左上段８×８領域に対して適用されることができる。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が両方とも４以上であり、かつ前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さい場合、４×４非分離２次変換が前記変換係数ブロックの左上段ｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して適用されることができる。ただし、実施例は、これに限定されるものではなく、例えば、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が両方とも４以上である条件のみを満たしても、４×４非分離２次変換が前記変換係数ブロックの左上段ｍｉｎ（８，Ｗ）×ｍｉｎ（８，Ｈ）領域に対して適用されることもできる。

具体的に、例えば、４×４入力ブロックが使われる場合、非分離２次変換は、下記のように実行されることができる。

前記４×４入力ブロックＸは、以下のように示される。

前記Ｘをベクトル形態で表す場合、ベクトル

は、以下のように示される。

数式２のように、ベクトル

は、行優先（ｒｏｗ－ｆｉｒｓｔ）順序によって数式１のＸの２次元ブロックを１次元ベクトルに再配列する。

この場合、前記２次非分離変換は、以下のように計算されることができる。

ここで、

は変換係数ベクトルを示し、Ｔは１６×１６（非分離）変換マトリクスを示す。

前記数式３を介して１６×１変換係数ベクトル

が導出されることができ、前記

は、スキャン順序（水平、垂直、対角（ｄｉａｇｏｎａｌ）等）を介して４×４ブロックで再構成（ｒｅ－ｏｒｇａｎｉｚｅｄ）されることができる。ただし、前述した計算は、例示に過ぎず、非分離２次変換の計算複雑度を減らすためにＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－Ｇｉｖｅｎｓ Ｔｒａｎｓｆｏｒｍ）などが非分離２次変換の計算のために使われることもできる。

一方、前記非分離２次変換は、モードによって（ｍｏｄｅ ｄｅｐｅｎｄｅｎｔ）変換カーネル（または、変換コア、変換タイプ）が選択されることができる。ここで、モードは、イントラ予測モード及び／またはインター予測モードを含むことができる。

前述したように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８変換または４×４変換に基づいて実行されることができる。８×８変換は、ＷとＨが両方とも８と同じまたは大きい時、該当変換係数ブロック内部に含まれている８×８領域に適用されることができる変換を指し、該当８×８領域は、該当変換係数ブロック内部の左上段８×８領域である。類似するように、４×４変換は、ＷとＨが両方とも４と同じまたは大きい時、該当変換係数ブロック内部に含まれている４×４領域に適用されることができる変換を指し、該当４×４領域は、該当変換係数ブロック内部の左上段４×４領域である。例えば、８×８変換カーネルマトリクスは６４×６４／１６×６４行列になり、４×４変換カーネルマトリクスは１６×１６／８×１６行列になることができる。

このとき、モードによる変換カーネル選択のために、８×８変換及び４×４変換の両方ともに対して非分離２次変換のための変換セット当たり３個ずつの非分離２次変換カーネルが構成されることができ、変換セットは３５個である。即ち、８×８変換に対して３５個の変換セットが構成され、４×４変換に対して３５個の変換セットが構成されることができる。この場合、８×８変換に対する３５個の変換セットには各々３個ずつの８×８変換カーネルが含まれることができ、４×４変換に対する３５個の変換セットには各々３個ずつの４×４変換カーネルが含まれることができる。ただし、前記変換のサイズ、前記セットの数、及びセット内の変換カーネルの数は、例示に過ぎず、８×８または４×４以外のサイズが使われることができ、または、ｎ個のセットが構成され、各セット内にｋ個の変換カーネルが含まれることもできる。

前記変換セットは、ＮＳＳＴセットと呼ばれることができ、前記ＮＳＳＴセット内の変換カーネルは、ＮＳＳＴカーネルと呼ばれることができる。前記変換セットの中から特定セットの選択は、例えば、対象ブロック（ＣＵまたはサブブロック）のイントラ予測モードに基づいて実行されることができる。

参考までに、例えば、イントラ予測モードは、２個の非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｎｏａｌ、または、非角度性（ｎｏｎ－ａｎｇｕｌａｒ））イントラ予測モードと６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ、または、角度性（ａｎｇｕｌａｒ））イントラ予測モードを含むことができる。前記非方向性イントラ予測モードは、０番であるプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番であるＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。ただし、これは例示に過ぎず、本文書はイントラ予測モードの数が異なる場合にも適用されることができる。一方、場合によって、６７番イントラ予測モードがさらに使用されることができ、前記６７番イントラ予測モードは、ＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）モードを示すことができる。

図５は、６５個の予測方向のイントラ方向性モードを例示的に示す。

図５を参照すると、左上向対角予測方向を有する３４番イントラ予測モードを中心にして水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードを区分することができる。図５のＨとＶは、各々、水平方向性と垂直方向性を意味し、－３２～３２の数字は、サンプルグリッドポジション（ｓａｍｐｌｅ ｇｒｉｄ ｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示す。これはモードインデックス値に対するオフセットを示すことができる。２番乃至３３番イントラ予測モードは水平方向性を有し、３４番乃至６６番イントラ予測モードは垂直方向性を有する。一方、３４番イントラ予測モードは、厳密に言えば水平方向性も垂直方向性もないとみることができるが、２次変換の変換セットを決定する観点で水平方向性に属すると分類されることができる。これは、３４番イントラ予測モードを中心にして対称される垂直方向モードに対しては入力データをトランスポーズ（ｔｒａｎｓｐｏｓｅ）して使用し、３４番イントラ予測モードに対しては水平方向モードに対する入力データ整列方式を使用するためである。入力データをトランスポーズすることは、２次元ブロックデータＭ×Ｎに対して行が列になり、列が行になってＮ×Ｍデータを構成することを意味する。１８番イントラ予測モードと５０番イントラ予測モードは、各々、水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）、垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を示し、２番イントラ予測モードは、左側参照ピクセルを有して右上向方向に予測するため、右上向対角イントラ予測モードと呼ばれることができ、同様に、３４番イントラ予測モードは、右下向対角イントラ予測モードと呼ばれ、６６番イントラ予測モードは、左下向対角イントラ予測モードと呼ばれることができる。

この場合、前記３５個の変換セットと前記イントラ予測モードとの間のマッピング（ｍａｐｐｉｎｇ）は、例えば、以下の表のように示される。参考までに、対象ブロックにＬＭモードが適用される場合、前記対象ブロックに対しては２次変換が適用されない。

一方、特定セットが使われることと決定されると、非分離２次変換インデックスを介して前記特定セット内のｋ個の変換カーネルの中から一つが選択されることができる。エンコーディング装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックベースの特定変換カーネルを指す非分離２次変換インデックスを導出することができ、前記非分離２次変換インデックスをデコーディング装置にシグナリングできる。デコーディング装置は、前記非分離２次変換インデックスに基づいて特定セット内のｋ個の変換カーネルの中から一つを選択することができる。例えば、ＮＳＳＴインデックス値０は、１番目の非分離２次変換カーネルを指すことができ、ＮＳＳＴインデックス値１は、２番目の非分離２次変換カーネルを指すことができ、ＮＳＳＴインデックス値２は、３番目の非分離２次変換カーネルを指すことができる。または、ＮＳＳＴインデックス値０は、対象ブロックに対して１番目の非分離２次変換が適用されないことを指すことができ、ＮＳＳＴインデックス値１乃至３は、前記３個の変換カーネルを指すことができる。

再び、図４を参照すると、変換部は、選択された変換カーネルに基づいて前記非分離２次変換を実行し、修正された（２次）変換係数を取得することができる。前記修正された変換係数は、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

一方、前述したように２次変換が省略される場合、前記１次（分離）変換の出力である（１次）変換係数は、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。

逆変換部は、前述した変換部で実行された手順の逆順に一連の手順を実行することができる。逆変換部は、（逆量子化された）変換係数を受信し、２次（逆）変換を実行して（１次）変換係数を導出し（Ｓ４５０）、前記（１次）変換係数に対して１次（逆）変換を実行してレジデュアルブロック（レジデュアルサンプル）を取得することができる（Ｓ４６０）。ここで、前記１次変換係数は、逆変換部立場で修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれることができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述した通りである。

一方、デコーディング装置は、２次逆変換適用可否決定部（または、２次逆変換の適用可否を決定する要素）と、２次逆変換決定部（または、２次逆変換を決定する要素）をさらに含むことができる。２次逆変換適用可否決定部は、２次逆変換の適用可否を決定することができる。例えば、２次逆変換は、ＮＳＳＴまたはＲＳＴであり、２次逆変換適用可否決定部は、ビットストリームからパーシングした２次変換フラグに基づいて２次逆変換の適用可否を決定することができる。他の一例としては、２次逆変換適用可否決定部は、レジデュアルブロックの変換係数に基づいて２次逆変換の適用可否を決定することもできる。

２次逆変換決定部は、２次逆変換を決定することができる。このとき、２次逆変換決定部は、イントラ予測モードによって指定されたＮＳＳＴ（または、ＲＳＴ）変換セットに基づいて現在ブロックに適用される２次逆変換を決定することができる。また、一実施例として、１次変換決定方法に依存的に（ｄｅｐｅｎｄ ｏｎ）２次変換決定方法が決定されることができる。イントラ予測モードによって１次変換と２次変換の多様な組合せが決定されることができる。また、一例として、２次逆変換決定部は、現在ブロックの大きさに基づいて２次逆変換が適用される領域を決定することもできる。

一方、前述したように、２次（逆）変換が省略される場合（逆量子化された）、変換係数を受信して前記１次（分離）逆変換を実行することでレジデュアルブロック（レジデュアルサンプル）を取得することができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成することができることは、前述した通りである。

一方、本文書では非分離２次変換による計算量とメモリ要求量の低減のために、ＮＳＳＴの概念で変換マトリクス（カーネル）の大きさが減少されたＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を適用することができる。

一方、本文書で説明された変換カーネル、変換マトリクス、変換カーネルマトリクスを構成する係数、即ち、カーネル係数またはマトリクス係数は、８ビットで表現されることができる。これはデコーディング装置及びエンコーディング装置で具現されるための一つの条件であり、既存の９ビットまたは１０ビットと比較して合理的に受け入れることができる性能低下と共に、変換カーネルを格納するためのメモリ要求量を減らすことができる。また、カーネルマトリクスを８ビットで表現することによって小さい乗算器を使用することができ、最適のソフトウェア具現のために使われるＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ）命令にさらに適合できる。

本明細書において、ＲＳＴは、簡素化ファクタ（ｆａｃｔｏｒ）によって大きさが減少された変換マトリクス（ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて対象ブロックに対するレジデュアルサンプルに対して実行される変換を意味することができる。簡素化変換を実行する場合、変換マトリクスの大きさ減少によって変換時に要求される演算量が減少されることができる。即ち、ＲＳＴは、大きさが大きいブロックの変換または非分離変換時に発生する演算複雑度（ｃｏｍｐｌｅｘｉｔｙ）問題を解消するために利用されることができる。

ＲＳＴは、減少された変換、減少変換、ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ｒｅｄｕｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ、ｓｉｍｐｌｅ ｔｒａｎｓｆｏｒｍなど、多様な用語で呼ばれることもでき、ＲＳＴを指す名称は、羅列された例示に限定されるものではない。または、ＲＳＴは、主に変換ブロックで０でない係数を含む低周波領域で行われるため、ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）とも呼ばれる。

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。

図６は、本文書の一実施例に係るＲＳＴを説明するための図である。

本明細書において、“対象ブロック”は、コーディングが実行される現在ブロックまたはレジデュアルブロックを意味することができる。

一実施例に係るＲＳＴにおいて、Ｎ次元ベクトル（Ｎ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）が他の空間に位置したＲ次元ベクトル（Ｒ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）にマッピングされて減少された変換マトリクスが決定されることができ、ここで、Ｒは、Ｎより小さい。Ｎは、変換が適用されるブロックの一辺の長さ（ｌｅｎｇｔｈ）の自乗または変換が適用されるブロックと対応される変換係数の総個数を意味することができ、簡素化ファクタは、Ｒ／Ｎ値を意味することができる。簡素化ファクタは、減少されたファクタ、減少ファクタ、ｒｅｄｕｃｅｄ ｆａｃｔｏｒ、ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ、ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ、ｓｉｍｐｌｅ ｆａｃｔｏｒなど、多様な用語で呼ばれることもできる。一方、Ｒは、簡素化係数（ｒｅｄｕｃｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）と呼ばれることができるが、場合によって、簡素化ファクタがＲを意味することもできる。また、場合によって、簡素化ファクタは、Ｎ／Ｒ値を意味することもできる。

一実施例において、簡素化ファクタまたは簡素化係数は、ビットストリームを介してシグナリングされることができるが、実施例がこれに限定されるものではない。例えば、簡素化ファクタまたは簡素化係数に対する既定義された値が各エンコーディング装置２００及びデコーディング装置３００に格納されている場合があり、この場合、簡素化ファクタまたは簡素化係数は、別途にシグナリングされない場合もある。

一実施例に係る簡素化変換マトリクスのサイズは、通常の変換マトリクスのサイズＮ×Ｎより小さいＲ×Ｎであり、以下の数式４のように定義されることができる。

図６の（ａ）に示すＲｅｄｕｃｅｄ Ｔｒａｎｓｆｏｒｍブロック内のマトリクスＴは、数式４のマトリクスＴ_Ｒ×Ｎを意味することができる。図６の（ａ）のように、対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリクスＴ_Ｒ×Ｎが掛け算される場合、対象ブロックに対する変換係数が導出されることができる。

一実施例において、変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（即ち、Ｒ／Ｎ＝１６／６４＝１／４）である場合、図６の（ａ）によるＲＳＴは、以下の数式５のような行列演算で表現されることができる。この場合、メモリと乗算演算が簡素化ファクタにより略１／４に減少されることができる。

本文書における行列演算とは、行列を列ベクトルの左側に置いて行列と列ベクトルを掛け算して列ベクトルを得る演算であると理解されることができる。

数式５において、ｒ_１乃至ｒ_６４は、対象ブロックに対するレジデュアルサンプルを示すことができ、より具体的に、１次変換を適用して生成された変換係数である。数式５の演算結果、対象ブロックに対する変換係数ｃ_ｉが導出されることができ、ｃ_ｉの導出過程は、数式６の通りである。

数式６の演算結果、対象ブロックに対する変換係数ｃ_１乃至ｃ_Ｒが導出されることができる。即ち、Ｒ＝１６である場合、対象ブロックに対する変換係数ｃ_１乃至ｃ_１６が導出されることができる。もし、ＲＳＴでなく通常の（ｒｅｇｕｌａｒ）変換が適用されて、サイズが６４×６４（Ｎ×Ｎ）である変換マトリクスが、サイズが６４×１（Ｎ×１）であるレジデュアルサンプルに掛け算された場合、対象ブロックに対する変換係数が６４個（Ｎ個）導出されるが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみが導出される。対象ブロックに対する変換係数の総個数がＮ個からＲ個へ減少してエンコーディング装置２００がデコーディング装置３００に送信するデータの量が減少するため、エンコーディング装置２００－デコーディング装置３００間の送信効率が増加できる。

変換マトリクスのサイズ観点で検討すると、通常の変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、それに対して、簡素化変換マトリクスのサイズは１６×６４（Ｒ×Ｎ）に減少するため、通常の変換を実行する時と比較すると、ＲＳＴを実行する時、メモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の変換マトリクスを利用する時の乗算演算数Ｎ×Ｎと比較すると、簡素化変換マトリクスを利用する場合、乗算演算数をＲ／Ｎ割合で減少（Ｒ×Ｎ）させることができる。

一実施例において、エンコーディング装置２００の変換部２３２は、対象ブロックに対するレジデュアルサンプルを１次変換及びＲＳＴベースの２次変換を実行することによって対象ブロックに対する変換係数を導出することができる。このような変換係数は、デコーディング装置３００の逆変換部に伝達されることができ、デコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる。

一実施例に係る逆ＲＳＴマトリクスＴ_Ｎ×Ｒのサイズは、通常の逆変換マトリクスのサイズＮ×Ｎより小さいＮ×Ｒであり、数式４に示す簡素化変換マトリクスＴ_Ｒ×Ｎとトランスポーズ（ｔｒａｎｓｐｏｓｅ）関係にある。

図６の（ｂ）に示すＲｅｄｕｃｅｄ Ｉｎｖ．Ｔｒａｎｓｆｏｒｍブロック内のマトリクスＴ^ｔは、逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔを意味することができる（上付き文字Ｔは、トランスポーズを意味する）。図６の（ｂ）のように対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛け算される場合、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルが導出されることができる。逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔは（Ｔ_Ｒ×Ｎ）^Ｔ _Ｎ×Ｒで表現することもできる。

より具体的に、２次逆変換で逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛け算されると、対象ブロックに対する修正された変換係数が導出されることができる。一方、逆１次変換で逆ＲＳＴが適用されることができ、この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴＲ×ＮＴが掛け算されると、対象ブロックに対するレジデュアルサンプルが導出されることができる。

一実施例において、逆変換が適用されるブロックのサイズが８×８であり、Ｒ＝１６（即ち、Ｒ／Ｎ＝１６／６４＝１／４である場合）である場合、図６の（ｂ）によるＲＳＴは、以下の数式７のような行列演算で表現されることができる。

数式７において、ｃ_１乃至ｃ_１６は、対象ブロックに対する変換係数を示すことができる。数式７の演算結果、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ_ｊが導出されることができ、ｒ_ｊの導出過程は、数式８の通りである。

数式８の演算結果、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ_１乃至ｒ_Ｎが導出されることができる。逆変換マトリクスのサイズ観点で検討すると、通常の逆変換マトリクスのサイズは６４×６４（Ｎ×Ｎ）であり、それに対して、簡素化逆変換マトリクスのサイズは６４×１６（Ｎ×Ｒ）に減少するため、通常の逆変換を実行する時と比較すると、逆ＲＳＴを実行する時、メモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の逆変換マトリクスを利用する時の乗算演算数Ｎ×Ｎと比較すると、簡素化逆変換マトリクスを利用する場合、乗算演算数をＲ／Ｎ割合で減少（Ｎ×Ｒ）させることができる。

一方、８×８ ＲＳＴに対しても、表２のような変換セット構成を適用することができる。即ち、表２での変換セットによって該当８×８ ＲＳＴが適用されることができる。一つの変換セットは、画面内の予測モードによって２個または３個の変換（カーネル）で構成されているため、２次変換を適用しない場合まで含んで最大４個の変換の中から一つを選択するように構成されることができる。２次変換を適用しない時の変換は、恒等行列が適用されたと見なされることができる。４個の変換に対して各々０、１、２、３のインデックスを付与するとした時（例えば、０番インデックスを恒等行列、即ち、２次変換を適用しない場合に割り当てることができる）、ＮＳＳＴインデックスというシンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を変換係数ブロック毎にシグナリングして適用される変換を指定することができる。即ち、ＮＳＳＴインデックスを介して８×８左上段ブロックに対して、８×８ ＮＳＳＴを指定することができ、ＲＳＴ構成では８×８ ＲＳＴを指定することができる。８×８ ＮＳＳＴ及び８×８ ＲＳＴは、変換の対象になる対象ブロックのＷとＨが両方とも８と同じまたは大きい時、該当変換係数ブロック内部に含まれている８×８領域に適用されることができる変換を指し、該当８×８領域は、該当変換係数ブロック内部の左上段８×８領域である。類似するように、４×４ ＮＳＳＴ及び４×４ ＲＳＴは、対象ブロックのＷとＨが両方とも４と同じまたは大きい時、該当変換係数ブロック内部に含まれている４×４領域に適用されることができる変換を指し、該当４×４領域は、該当変換係数ブロック内部の左上段４×４領域である。

一方、数式４のような（順方向）８×８ ＲＳＴを適用するようになると、１６個の有効な変換係数が生成されるため、８×８領域を構成する６４個の入力データが１６個の出力データに縮小されると見ることができ、２次元領域観点で見ると、１／４ほどの領域にのみ有効な変換係数が満たされるようになる。したがって、順方向８×８ ＲＳＴを適用して得た１６個の出力データは、例えば、図７のブロックの左上段領域（１番から１６番変換係数、即ち、数式６を介して得られるｃ_１、ｃ_２、．．．、ｃ_１６）に１番から１６番方向へ対角方向スキャニング順序によって満たされることができる。

図７は、本文書の一実施例に係る変換係数のスキャニング順序を示す。前述したように、順方向スキャン順序が１番から始まると、逆方向スキャニングは、順方向スキャン順序上に６４番目から１７番目まで図７に示す矢印方向及び順序に行われることができる。

図７において、左上段４×４領域は、有効な変換係数が満たされるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域であり、残りの領域は、空の状態になる。空の領域には０値がデフォルトで満たされることができる。

即ち、順方向変換行列の形態が１６×６４である８×８ ＲＳＴを８×８領域に対して適用した時、出力変換係数は、左上段４×４領域に配置され、出力変換係数が存在しない領域は、図７でのスキャン順序を追って（６４番目から１７番目まで）０で満たされることができる。

もし、図７のＲＯＩ領域以外に０でない有効な変換係数が発見された場合、８×８ ＲＳＴが適用されないことが確実であるため、該当ＮＳＳＴインデックスコーディングが省略されることができる。それに対して、図７のＲＯＩ領域以外で０でない変換係数が発見されない場合（例えば、８×８ ＲＳＴが適用される場合、ＲＯＩ以外の領域への変換係数を０に設定した時）、８×８ ＲＳＴが適用された可能性があるため、ＮＳＳＴインデックスをコーディングすることができる。このような条件的ＮＳＳＴインデックスコーディングは、０でない変換係数の存在有無をチェックしなければならないため、レジデュアルコーディング（ｒｅｓｉｄｕａｌ ｃｏｄｉｎｇ）過程以後に実行されることができる。

本文書は、本実施例で記述したＲＳＴ構造から４×４ブロックに適用されることができるＲＳＴの設計及び関連最適化方法を扱っている。当然、一部概念に対しては４×４ ＲＳＴだけでなく、８×８ ＲＳＴまたは他の形態の変換にも適用されることができる。

図８は、本文書の一実施例に係る逆ＲＳＴ過程を示す流れ図である。

図８に開示された各ステップは、図３に開示されたデコーディング装置３００により実行されることができる。より具体的に、Ｓ８００は、図３に開示された逆量子化部３２１により実行されることができ、Ｓ８１０及びＳ８２０は、図３に開示された逆変換部３２２により実行されることができる。したがって、図３で前述された内容と重複する具体的な内容は、説明を省略または簡単にする。一方、本文書において、ＲＳＴは、順方向に適用される変換を意味し、逆ＲＳＴは、インバス方向に適用される変換を意味することができる。

一実施例において、逆ＲＳＴによる細部動作は、ＲＳＴによる細部動作と順序のみが正反対であり、ＲＳＴによる細部動作と逆ＲＳＴによる細部動作は、実質的に類似する。したがって、当該技術分野の通常の技術者は、以下で説明される逆ＲＳＴに対するＳ８００乃至Ｓ８２０の説明がＲＳＴにも同じくまたは類似するように適用可能であることを容易に理解することができる。

一実施例に係るデコーディング装置３００は、対象ブロックに対する量子化された変換係数に対して逆量子化を実行して変換係数を導出することができる（Ｓ８００）。

一方、デコーディング装置３００は、逆１次変換後、逆２次変換前に逆２次変換の適用可否を決定することができる。例えば、逆２次変換は、ＮＳＳＴまたはＲＳＴである。一例として、デコーディング装置は、ビットストリームからパーシングした２次変換フラグに基づいて逆２次変換の適用可否を決定することができる。他の一例としては、デコーディング装置は、レジデュアルブロックの変換係数に基づいて逆２次変換の適用可否を決定することもできる。

また、デコーディング装置３００は、逆２次変換を決定することができる。このとき、デコーディング装置３００は、イントラ予測モードによって指定されたＮＳＳＴ（または、ＲＳＴ）変換セットに基づいて現在ブロックに適用される逆２次変換を決定することもできる。また、一実施例として、１次変換決定方法に依存して２次変換決定方法が決定されることができる。例えば、１次変換で変換カーネルとしてＤＣＴ－２が適用される場合にのみＲＳＴまたはＬＦＮＳＴが適用されることと決定されることができる。または、イントラ予測モードによって１次変換と２次変換の多様な組合せが決定されることができる。

また、一例として、デコーディング装置３００は、逆２次変換を決定するステップ前に現在ブロックの大きさに基づいて逆２次変換が適用される領域を決定することもできる。

一実施例に係るデコーディング装置３００は、変換カーネル（ｔｒａｎｓｆｏｒｍ ｋｅｒｎｅｌ）を選択することができる（Ｓ８１０）。より具体的に、デコーディング装置３００は、変換インデックス、変換が適用される領域の幅（ｗｉｄｔｈ）及び高さ（ｈｅｉｇｈｔ）、映像デコーディングで利用されるイントラ予測モード、並びに対象ブロックの色相成分（ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ）に対する情報のうち少なくとも一つに基づいて変換カーネルを選択することができる。ただし、実施例は、これに限定されるものではなく、例えば、変換カーネルは、既定義されたものであって、変換カーネルを選択するための別途の情報がシグナリングされない場合もある。

一例示において、対象ブロックの色相成分に対する情報は、ＣＩｄｘを介して指示されることができる。対象ブロックがルマ（ｌｕｍａ）ブロックである場合、ＣＩｄｘは０を指示することができ、対象ブロックがクロマ（ｃｈｒｏｍａ）ブロック、例えば、ＣｂブロックまたはＣｒブロックである場合、ＣＩｄｘは０でない値（例えば、１）を指示することができる。

一実施例に係るデコーディング装置３００は、選択された変換カーネル及び簡素化ファクタ（ｒｅｄｕｃｅｄ ｆａｃｔｏｒ）に基づいて変換係数に対して逆ＲＳＴを適用することができる（Ｓ８２０）。

以下では、本文書の一実施例によってイントラ予測モードとブロックの大きさを考慮して２次ＮＳＳＴセット、即ち、２次変換セットまたは変換セットを決定する方法を提案する。

一実施例として、前述されたイントラ予測モードに基づいて現在変換ブロックに対するセットを構成することによって、変換ブロックに多様な大きさの変換カーネルで構成された変換セットを適用することができる。表３の変換セットを０から３で表示すると、表４の通りである。

表３に示されているインデックス０、２、１８、３４は、表４の０、１、２、３に各々対応される。表３及び表４において、変換セットは、３５個の変換セットでないただ４個の変換セットのみが使われ、これによりメモリ空間が著しく減ることができる。

また、各変換セットに含まれることができる変換カーネルマトリクスの多様な個数は、以下の表のように設定されることができる。

表５は、各変換セットに対して２個の利用可能な（ａｖａｉｌａｂｌｅ）変換カーネルが使われ、それによって変換インデックスは０から２までの範囲を有することになる。

表６によると、変換セット０、即ち、イントラ予測モードのうちＤＣモードとプラナーモードに対する変換セットに対しては２個の利用可能な変換カーネルが使われ、残りの変換セットに対しては各々一つの変換カーネルが使われる。このとき、変換セット１に対する利用可能な変換インデックスは０から２になり、残りの変換セット１乃至３に対する変換インデックスは０から１になる。

表７では各変換セットに対して１個の利用可能な（ａｖａｉｌａｂｌｅ）変換カーネルが使われ、それによって変換インデックスは０から１までの範囲を有することになる。

一方、前記表３の変換セットマッピングでは全て４個の変換セットが使われることができ、４個の変換セットは０、１、２、３のインデックスに区分されるように、表４のように再配列されることができる。以下の表８及び表９は、２次変換に使われることができる４個の変換セットを例示的に示しており、表８は、８×８ブロックに適用されることができる変換カーネルマトリクス、表９は、４×４ブロックに適用されることができる変換カーネルマトリクスを提示している。表８及び表９は、変換セット当たり２個の変換カーネルマトリクスで構成されており、表５のように全てのイントラ予測モードに対して２個ずつの変換カーネルマトリクスを適用することができる。

表８に提示された変換カーネルマトリクス例示は、全て１２８がスケーリング値として掛け算された変換カーネルマトリクスである。表８のマトリクス配列で登場するｇ＿ａｉＮｓｓｔ８×８［Ｎ１］［Ｎ２］［１６］［６４］アレイにおいて、Ｎ１は変換セットの数を示し（Ｎ１は４または３５、インデックス０、１、．．．、Ｎ１－１に区分）、Ｎ２は各変換セットを構成する変換カーネルマトリクス数を示し（１または２）、［１６］［６４］は１６×６４ Ｒｅｄｕｃｅｄ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ（ＲＳＴ）を示す。

表３及び表４のようにどのような変換セットが１個の変換カーネルマトリクスで構成される場合、表８で該当変換セットに対して１番目または２番目の変換カーネルマトリクスのうちいずれか一つを使用することができる。

該当ＲＳＴを適用すると、１６個の変換係数が出力されるが、１６×６４行列のうちｍ×６４部分のみが適用するようになると、ｍ個の変換係数のみが出力されるように構成できる。例えば、ｍ＝８にして一番上から８×６４行列のみを掛け算して８個の変換係数のみを出力する代わりに、計算量は半分に減らすことができる。最悪の場合（Ｗｏｒｓｔ ｃａｓｅ）の計算量を減らすために、８×８変換ユニット（ＴＵ）に対して８×６４行列を適用することができる。

このように、８×８領域に適用されることができるｍ×６４変換行列は（ｍ≦１６、例えば、表８の変換カーネルマトリクス）、６４個のデータの入力を受けてｍ個の係数を生成する。即ち、数式５に示すように、６４個のデータが６４×１ベクトルをなすとした時、ｍ×６４行列と６４×１ベクトルを順序通りに掛け算してｍ×１ベクトルが生成される。このとき、８×８領域をなす６４個のデータを適切に配列して６４×１ベクトルを構成することができ、一例として、以下の表１０のように８×８領域の各位置に表示されたインデックスの順序通りにデータが配列されることができる。

表１０に示すように、２次変換のための８×８領域におけるデータ配列は、行優先方向順序である。これは２次元のデータが２次変換、具体的にＲＳＴまたはＬＦＮＳＴのために１次元に配列される時の順序を意味し、これはエンコーディング装置で実行される順方向２次変換に適用されることができる。したがって、エンコーディング装置の逆変換部やデコーディング装置の逆変換部で行われる逆方向２次変換では変換の結果生成された変換係数、即ち、１次変換係数は、表１０のように２次元に配列されることができる。

一方、画面内の予測モードが図５のように、６７個で構成された時、全ての方向性モード（２番～６６番）が３４番モードを中心にして対称的に構成されている。即ち、（２＋ｎ）番モードは、（６６－ｎ）番モードと（０≦ｎ≦３１）予測方向側面で３４番モードを中心にして対称的である。したがって、（２＋ｎ）番モード、即ち、２番乃至３３番モードに対して６４×１入力ベクトルを構成するためのデータ配列順序が表１０のように行優先方向である場合、（６６－ｎ）番モードに対しては表１１のような順序通りに６４×１入力ベクトルが構成されることができる。

表１１に示すように、２次変換のための８×８領域におけるデータ配列は、列優先方向順序である。これは２次元のデータが２次変換、具体的にＲＳＴまたはＬＦＮＳＴのために１次元に配列される時の順序を意味し、これはエンコーディング装置で実行される順方向２次変換に適用されることができる。したがって、エンコーディング装置の逆変換部やデコーディング装置の逆変換部で行われる逆方向２次変換では変換の結果生成された変換係数、 即ち、１次変換係数は、表１１のように２次元に配列されることができる。

表１１は、画面内の予測モードが（６６－ｎ）番モード、即ち、３５番乃至６６番モードに対しては列優先方向順序によって６４×１入力ベクトルが構成されることができることを示す。

整理すると、（２＋ｎ）番モードに対しては入力データを行優先方向順序によって、（６６－ｎ）番モードに（０≦ｎ≦３１）対しては入力データを列優先方向順序によって、対称的に配列しながら、表８のような同じ変換カーネルマトリクスを適用することができる。モード別にどのような変換カーネルマトリクスを適用するかに対しては表５乃至表７に例示されている。このとき、イントラ予測モード０番であるプラナーモード、イントラ予測モード１番であるＤＣモード、イントラ予測モード３４番に対しては表１０または表１１のいずれか一つの配列順序を適用することができる。例えば、イントラ予測モード３４番に対しては表１０のように入力データを行優先方向順序によって配列できる。

他の一例によって、４×４領域に適用されることができる表９に提示された変換カーネルマトリクス例示は、全て１２８がスケーリング値として掛け算された変換カーネルマトリクスである。表９のマトリクス配列で登場するｇ＿ａｉＮｓｓｔ４×４［Ｎ１］［Ｎ２］［１６］［６４］アレイにおいて、Ｎ１はｔｒａｎｓｆｏｒｍ ｓｅｔの数を示し（Ｎ１は４または３５、インデックス０、１、．．．、Ｎ１－１に区分）、Ｎ２は各変換セットを構成する変換カーネルマトリクス数を示し（１または２）、［１６］［１６］は１６×１６変換を示す。

表３及び表４のようにどのような変換セットが１個の変換カーネルマトリクスで構成される場合、表９で該当変換セットに対して１番目または２番目の変換カーネルマトリクスのうちいずれか一つを使用することができる。

８×８ ＲＳＴの場合と同様に、１６×１６行列のうちｍ×１６部分のみを使用するようになると、ｍ個の変換係数のみが出力されるように構成できる。例えば、ｍ＝８にして一番上から８×１６行列のみを掛け算して８個の変換係数のみを出力する代わりに、計算量は半分に減らすことができる。最悪の場合の計算量を減らすために、４×４変換ユニット（ＴＵ）に対して８×１６行列を適用することができる。

基本的に表９で提示された４×４領域に適用されることができる変換カーネルマトリクスは、４×４ ＴＵ、４×Ｍ ＴＵ、Ｍ×４ ＴＵに対して適用され（Ｍ＞４、４×Ｍ ＴＵとＭ×４ ＴＵの場合、４×４領域に分けて各々指定された変換カーネルマトリクスを適用し、または、最大左上段４×８または８×４領域に対してのみ適用できる）、または、左上段４×４領域に対してのみ適用されることができる。２次変換が左上段４×４領域に対してのみ適用されるように構成されると、表８に提示された８×８領域に適用されることができる変換カーネルマトリクスは、不必要になる。

このように、４×４領域に適用されることができるｍ×６４変換行列は（ｍ≦１６、例えば、表９の変換カーネルマトリクス）、１６個のデータの入力を受けてｍ個の係数を生成する。即ち、１６個のデータが１６×１ベクトルをなすとした時、ｍ×１６行列と１６×１ベクトルを順序通りに掛け算してｍ×１ベクトルが生成される。このとき、４×４領域をなす１６個のデータを適切に配列して１６×１ベクトルを構成することができ、一例として、以下の表１２のように４×４領域の各位置に表示されたインデックスの順序通りにデータが配列されることができる。

表１２に示すように、２次変換のための４×４領域におけるデータ配列は、行優先方向順序である。これは２次元のデータが２次変換、具体的にＲＳＴまたはＬＦＮＳＴのために１次元に配列される時の順序を意味し、これはエンコーディング装置で実行される順方向２次変換に適用されることができる。したがって、エンコーディング装置の逆変換部やデコーディング装置の逆変換部で行われる逆方向２次変換では変換の結果生成された変換係数、即ち、１次変換係数は、表１２のように２次元に配列されることができる。

一方、画面内の予測モードが図５のように、６７個で構成された時、全ての方向性モードが（２番～６６番）３４番モードを中心にして対称的に構成されている。即ち、（２＋ｎ）番モードは、（６６－ｎ）番モードと（０≦ｎ≦３１）予測方向側面で３４番モードを中心にして対称的である。したがって、（２＋ｎ）番モード、即ち、２番乃至３３番モードに対して１６×１入力ベクトルを構成するためのデータ配列順序が表１２のように行優先方向である場合、（６６－ｎ）番モードに対しては表１３のように順序通りに１６×１入力ベクトルが構成されることができる。

表１３に示すように、２次変換のための４×４領域におけるデータ配列は、列優先方向順序である。これは２次元のデータが２次変換、具体的にＲＳＴまたはＬＦＮＳＴのために１次元に配列される時の順序を意味し、これはエンコーディング装置で実行される順方向２次変換に適用されることができる。したがって、エンコーディング装置の逆変換部やデコーディング装置の逆変換部で行われる逆方向２次変換では変換の結果生成された変換係数、即ち、１次変換係数は、表１３のように２次元に配列されることができる。

表１３は、画面内の予測モードが（６６－ｎ）番モード、即ち、３５番乃至６６番モードに対しては列優先方向順序によって１６×１入力ベクトルが構成されることができることを示す。

整理すると、（２＋ｎ）番モードに対しては入力データを行優先方向順序によって、（６６－ｎ）番モードに（０≦ｎ≦３１）対しては入力データを列優先方向順序によって、対称的に配列しながら、表９のような同じ変換カーネルマトリクスを適用することができる。モード別にどのような変換カーネルマトリクスを適用するかに対しては表５乃至表７に例示されている。このとき、イントラ予測モード０番であるプラナーモード、イントラ予測モード１番であるＤＣモード、イントラ予測モード３４番に対しては表１２または表１３のいずれか一つの配列順序を適用することができる。例えば、イントラ予測モード３４番に対しては表１２のように入力データを行優先方向順序によって配列できる。

一方、本文書の他の実施例によって、８×８領域を構成する６４個のデータに対して表８及び表９の最大１６×６４変換カーネルマトリクスでない、４８個のデータのみを選択して最大１６×４８変換カーネルマトリクスを適用することができる。ここで、“最大”とは、ｍ個の係数を生成することができるｍ×４８変換カーネルマトリクスに対してｍの最大値が１６ということを意味する。

本実施例に係る１６×４８変換カーネルマトリクスは、表１４のように示すことができる。

８×８領域にｍ×４８変換カーネルマトリクス（ｍ≦１６）を適用してＲＳＴを実行する場合、４８個のデータの入力を受けてｍ個の係数を生成することができる。表１４は、ｍが１６である場合の変換カーネルマトリクスの一例を示し、４８個のデータの入力を受けて１６個の係数を生成する。即ち、４８個のデータが４８×１ベクトルをなすとした時、１６×４８行列と４８×１ベクトルを順序通りに掛け算して１６×１ベクトルが生成されることができる。このとき、８×８領域をなす４８個のデータを適切に配列して４８×１ベクトルを構成することができ、入力データは、以下のような順序に配列されることができる。

ＲＳＴ時、表１４のように最大１６×４８変換カーネルマトリクスを適用して行列演算を実行すると、１６個の修正された変換係数が生成され、１６個の修正された変換係数は、スキャニング順序によって左上段４×４領域に配置されることができ、右上段４×４領域と左下段４×４領域は０で満たされることができる。表１６は、行列演算を介して生成された１６個の修正された変換係数の配列順序に対する一例を示している。

表１６に示すように、最大１６×４８変換カーネルマトリクスを適用した時に生成される修正された変換係数は、スキャニング順序によって左上段４×４領域に満たされることができる。このとき、左上段４×４領域内の各位置の数字は、スキャニング順序を示す。通常的に、１６×４８変換カーネルマトリクスで最も上段の行と４８×１入力列ベクトルとの内積演算から生成された係数がスキャニング順序上１番目となる。この場合、下段行に下りる方向とスキャニング順序が一致することができる。例えば、４８×１入力列ベクトルと上からｎ番目の行との内積演算から生成された係数は、スキャニング順序上ｎ番目となる。

最大１６×４８変換カーネルマトリクスの場合、表１６の右下段４×４領域は、２次変換を適用しない領域であるため、元来の入力データ（１次変換係数）がそのまま保存され、右上段４×４領域と左下段４×４領域は０で満たされるようになる。

また、他の実施例によると、表１６に提示されたスキャニング順序以外に他のスキャニング順序が適用されることもできる。例えば、スキャニング順序として行優先方向または列優先方向が適用されることができる。

また、表８のような１６×６４変換カーネルマトリクスを適用しても同じく１６個の変換係数が生成されるため、該当１６個の変換係数を表１６で提示されたスキャニングの順序通りに配置でき、１６×６４変換カーネルマトリクスを適用する場合は、４８個でない６４個の入力データを全て使用して行列演算を実行するため、左上段４×４領域を除外した全ての４×４領域に０が満たされる。この場合にも、スキャニング順序は、表１６のような対角方向スキャニング順序が適用されることができ、その他に行優先方向または列優先方向のような異なるスキャニング順序が適用されることもできる。

一方、デコーディング装置で実行される逆変換過程として逆ＲＳＴまたはＬＦＮＳＴが実行される場合、逆ＲＳＴを適用する入力係数データは、表１６の配列順序を追って１次元ベクトルで構成され、１次元ベクトルに該当逆ＲＳＴ行列を左側で掛け算して得られた修正された係数ベクトルを表１５の配列順序によって２次元ブロックに配列できる。

デコーディング装置は、変換係数を導出するために、先に受信された変換係数に対する情報を逆方向スキャニング順序、図７の６４番から対角方向スキャニング順序によって配列できる。

その後、デコーディング装置の逆変換部３２２は、表１６のスキャニング順序によって１次元に配列された変換係数に変換カーネルマトリクスを適用することができる。即ち、表１６のスキャニング順序によって配列された１次元変換係数と表１４の変換カーネルマトリクスに基づく変換カーネルマトリクスとの行列演算を介して４８個の修正された変換係数を導出することができる。即ち、１次元変換係数は、表１４の変換カーネルマトリクスにトランスポーズを行ったマトリクスと行列演算を介して４８個の修正された変換係数として導出されることができる

このように導出された４８個の修正された変換係数は、逆１次変換のために、表１５のように２次元に配列されることができる。

整理すると、変換過程で、８×８領域にＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち８×８領域の右下段領域を除外した左上段、右上段、左下段領域の４８個変換係数と１６×４８の変換カーネルマトリクスとの行列演算が実行される。行列演算のために、４８個の変換係数は、表１５のような順序に１次元配列で入力される。このような行列演算が実行されると、１６個の修正された変換係数が導出され、修正された変換係数は、８×８領域の左上段領域に表１６のような形態で配列されることができる。

その反対に、逆変換過程で、８×８領域に逆ＲＳＴまたはＬＦＮＳＴが適用される場合、８×８領域の変換係数のうち８×８領域の左上段に対応する１６個の変換係数は、表１６のようなスキャニング順序によって１次元配列形態で入力されて４８×１６の変換カーネルマトリクスと行列演算されることができる。即ち、このような場合の行列演算は、（４８×１６行列）＊（１６×１変換係数ベクトル）＝（４８×１修正された変換係数ベクトル）で表すことができる。ここで、ｎ×１ベクトルは、ｎ×１行列と同じ意味で解釈されることができるため、ｎ×１列ベクトルで表記されることもできる。また、＊は、行列乗算演算を意味する。このような行列演算が実行されると、４８個の修正された変換係数が導出されることができ、４８個の修正された変換係数は、表１５のように８×８領域の右下段領域を除外した左上段、右上段、左下段領域に配列されることができる。

一方、一実施例によって表１５に示すように、２次変換のための８×８領域におけるデータ配列は、行優先方向順序である。一方、画面内の予測モードが図５のように、６７個で構成された時、全ての方向性モード（２番～６６番）が３４番モードを中心にして対称的に構成されている。即ち、（２＋ｎ）番モードは、（６６－ｎ）番モードと（０≦ｎ≦３１）予測方向側面で３４番モードを中心にして対称的である。したがって、（２＋ｎ）番モード、即ち、２番乃至３３番モードに対して４８×１入力ベクトルを構成するためのデータ配列順序が表１５のように行優先方向である場合、（６６－ｎ）番モードに対しては表１７のように順序通りに４８×１入力ベクトルが構成されることができる。

表１７に示すように、２次変換のための８×８領域におけるデータ配列は、列優先方向順序である。表１７は、画面内の予測モードが（６６－ｎ）番モード、即ち、３５番乃至６６番モードに対しては列優先方向順序によって６４×１入力ベクトルが構成されることができることを示す。

整理すると、（２＋ｎ）番モードに対しては入力データを行優先方向順序によって、（６６－ｎ）番モードに（０≦ｎ≦３１）対しては入力データを列優先方向順序によって、対称的に配列しながら、表１４のような同じ変換カーネルマトリクスを適用することができる。モード別にどのような変換カーネルマトリクスを適用するかに対しては表５乃至表７に例示されている。

このとき、イントラ予測モード０番であるプラナーモード、イントラ予測モード１番であるＤＣモード、イントラ予測モード３４番に対しては表１５または表１７のいずれか一つの配列順序を適用することができる。例えば、イントラ予測モード０番であるプラナーモード、イントラ予測モード１番であるＤＣモード、イントラ予測モード３４番に対しては表１５の行優先方向順序を適用し、導出された変換係数に対して表１６の配列順序を適用することができる。または、イントラ予測モード０番であるプラナーモード、イントラ予測モード１番であるＤＣモード、イントラ予測モード３４番に対しては表１７の列優先方向順序を適用し、導出された変換係数に対して表１６の配列順序を適用することもできる。

前述したように、２次変換に表１４の１６×４８変換カーネルマトリクスを適用すると、表１６のように８×８領域の右上段４×４領域と左下段４×４領域は、０で満たされるようになる。もし、２次変換にｍ×４８変換カーネルマトリクスを適用する場合（ｍ≦１６）、右上段４×４領域と左下段４×４領域だけでなく、表１６で提示されたスキャニング順序上に（ｍ＋１）番目から１６番目までも０で満たされることができる。

したがって、スキャニング順序上に（ｍ＋１）番目から１６番目の位置までまたは右上段４×４領域または左下段４×４領域に一つでも０でない変換係数が存在すると、ｍ×４８ ２次変換が（ｍ≦１６）適用されない場合に該当できる。このような場合には２次変換に対するインデックスなどをシグナリングしない。デコーディング装置は、変換係数を先にパーシングして該当条件（即ち、２次変換で変換係数が０になるべき領域に０でない変換係数が存在する場合）が満たすかどうかをチェックし、満たす場合、該当２次変換に対するインデックスをパーシングせずに０に誘導できる。例えば、ｍ＝１６である場合に対しては右上段４×４領域または左下段４×４で０でない係数が存在するかどうかをチェックすることによって、２次変換の適用可否及び２次変換に対するインデックスのパーシング可否を判断することができる。

一方、表１８は、４×４領域に適用されることができる変換カーネルマトリクスの他の例を示している。

一方、最悪の場合に対する計算量を減らすために、次のような実施例が提案されることができる。本文書において、Ｍ個の行とＮ個の列で構成された行列をＭ×Ｎ行列で表示し、Ｍ×Ｎ行列は、順方向変換、即ち、エンコーディング装置で変換（ＲＳＴ）を実行する時に適用される変換行列を意味する。したがって、デコーディング装置で実行される逆変換（逆ＲＳＴ）ではＭ×Ｎ行列にトランスポーズを行ったＮ×Ｍ行列が使われることができる。また、以下内容は、８×８領域に対する変換行列としてｍ×６４変換カーネルマトリクスが（ｍ≦１６）適用される場合を記述したが、入力ベクトルが４８×１であり、ｍ×４８変換カーネルマトリクスが（ｍ≦１６）適用される場合にも同じく適用されることができる。即ち、１６×６４（または、ｍ×６４）は、１６×４８に（または、ｍ×４８）代替されることができる。

１）幅がＷであり、かつ高さがＨであるブロック（例えば、変換ユニット）に対してＷ≧８であり、かつＨ≧８である場合は、８×８領域に適用されることができる変換カーネルマトリクスをブロックの左上段８×８領域に適用する。Ｗ＝８であり、かつＨ＝８である場合に対しては１６×６４行列のうち８×６４部分のみを適用することができる。即ち、８個の変換係数が生成されることができる。または、１６×４８行列のうち８×４８部分のみを適用することができる。即ち、８個の変換係数が生成されることができる。

２）幅がＷであり、かつ高さがＨであるブロック（例えば、変換ユニット）に対してＷとＨのうち一つが８より小さい場合、即ち、ＷとＨのうち一つが４である場合、４×４領域に適用されることができる変換カーネルマトリクスをブロックの左上段に適用する。Ｗ＝４であり、かつＨ＝４である場合に対しては１６×１６行列のうち８×１６部分のみを適用することができ、この場合、８個の変換係数が生成される。

もし、（Ｗ，Ｈ）＝（４，８）または（８，４）である場合、左上段４×４領域に対してのみ２次変換を適用する。ＷまたはＨが８より大きい場合、即ち、ＷまたはＨが１６と同じまたは大きい、かつ他の一つは４である場合、左上段二つの４×４ブロックまでのみ２次変換を適用する。即ち、最大左上段４×８または８×４領域までのみ４×４のブロック２個に分けられて指定された変換カーネルマトリクスが適用されることができる。

３）幅がＷであり、かつ高さがＨであるブロック（例えば、変換ユニット）に対し、ＷとＨが両方とも４である場合に対しては２次変換を適用しない。

４）幅がＷであり、かつ高さがＨであるブロック（例えば、変換ユニット）に対し、２次変換を適用して生成される係数の数を変換ユニットの面積（即ち、変換ユニットを構成する総ピクセル数＝Ｗ×Ｈ）対比１／４以下に維持されるように構成できる。例えば、ＷとＨが両方とも４である場合に対しては４個の変換係数が生成されるように、１６×１６行列のうち最上位４×１６行列を適用することができる。

全体変換ユニット（ＴＵ）のうち最大左上段８×８領域に対してのみ２次変換を適用するとした時、４×８変換ユニットまたは８×４変換ユニットに対しては８個以下の係数が生成されなければならないため、左上段４×４領域に対して１６×１６行列のうち最上位８×１６行列を適用するように構成できる。８×８変換ユニットに対しては最大１６×６４行列（または、１６×４８行列）まで適用でき（１６個まで係数生成可能）、４×ＮまたはＮ×４（Ｎ≧１６）変換ユニットに対しては左上段４×４ブロックに対して１６×１６行列を適用し、または、左上段に位置した２個の４×４ブロックに対して１６×１６行列のうち最上位８×１６行列を適用することができる。同様の方式で、４×８変換ユニットまたは８×４変換ユニットに対しては、左上段に位置した２個の４×４ブロックに対して１６×１６行列のうち最上位４×１６行列を各々適用して全て８個の変換係数を生成することができる。

５）４×４領域に適用される２次変換の最大大きさを８×１６に制限できる。この場合、４×４領域に適用される変換カーネルマトリクスの格納に必要なメモリ量を１６×１６行列対比半分に減らすことができる。

例えば、表９または表１８に提示された全ての変換カーネルマトリクスに対して各々１６×１６行列のうち最上位８×１６行列のみを抽出して最大大きさを８×１６に制限でき、実際映像コーディングシステムで変換カーネルマトリクスの該当８×１６行列のみを格納するように具現できる。

最大適用可能な変換の大きさが８×１６であり、係数一つの生成に必要な最大乗算数を８に制限すると、４×４ブロックの場合、最大８×１６行列を適用することができ、４×ＮブロックやＮ×４ブロックに対しては（Ｎ≧８、Ｎ＝２ｎ、ｎ≧３）内部を構成する最大左上段２個の４×４ブロックに対して各々最大８×１６行列を適用することができる。例えば、４×ＮブロックやＮ×４ブロックに対しては（Ｎ≧８、Ｎ＝２ｎ、ｎ≧３）、左上段１個の４×４ブロックに対して８×１６行列を適用することができる。

一実施例によって、ルマ成分に適用する２次変換を指定するインデックスをコーディングする時、より具体的に一つの変換セットが２個の変換カーネルマトリクスで構成された場合、２次変換を適用するかどうか、及び適用する場合はどのような変換カーネルマトリクスを適用するかを指定しなければならない。例えば、２次変換を適用しない場合には変換インデックスを０でコーディングし、適用する場合には２個の変換セットに対する変換インデックスを各々１と２でコーディングできる。

この場合、変換インデックスをコーディングする時は、トランケーテッドユーナリ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）コーディングを使用することができ、例えば、変換インデックス０、１、２に各々０、１０、１１の二進コード（ｂｉｎａｒｙ ｃｏｄｅ）を割り当ててコーディングできる。

また、トランケーテッドユーナリ方式でコーディングされる場合、各ｂｉｎ毎に異なるＣＡＢＡＣコンテキストを付与することができ、前述した例示によって変換インデックス０、１０、１１をコーディングする時、２個のＣＡＢＡＣコンテキストを使用することができる。

一方、色差成分に適用する２次変換を指定する変換インデックスをコーディングする時、より具体的に一つの変換セットが２個の変換カーネルマトリクスで構成された場合、ルマ成分に対する２次変換に対する変換インデックスをコーディングする時と類似するように、２次変換を適用するかどうか、及び適用する場合はどのような変換カーネルマトリクスを適用するかを指定しなければならない。例えば、２次変換を適用しない場合には変換インデックスを０でコーディングし、適用する場合には２個の変換セットに対する変換インデックスを各々１と２でコーディングできる。

この場合、変換インデックスをコーディングする時は、トランケーテッドユーナリ（ｔｒｕｎｃａｔｅｄ ｕｎａｒｙ）コーディングを使用することができ、例えば、変換インデックス０、１、２に各々０、１０、１１の二進コード（ｂｉｎａｒｙ ｃｏｄｅ）を割り当ててコーディングできる。

また、トランケーテッドユーナリ方式でコーディングされる場合、各ｂｉｎ毎に異なるＣＡＢＡＣコンテキストを付与することができ、前述した例示によって変換インデックス０、１０、１１をコーディングする時、２個のＣＡＢＡＣコンテキストを使用することができる。

また、一実施例によって、クロマイントラ予測モードによって異なるＣＡＢＡＣコンテキストセットを割り当てることができる。例えば、プラナーモードまたはＤＣモードである場合のような非方向モードと、その他の方向性モードに区分する場合（即ち、２グループに区分する場合）、前述した例示と同様に、０、１０、１１をコーディングする時、グループ別に（２個のコンテキストで構成された）該当ＣＡＢＡＣコンテキストセットを割り当てることができる。

このようにクロマイントラ予測モードをいくつかのグループに分割して該当ＣＡＢＡＣコンテキストセットを割り当てる場合、２次変換に対する変換インデックスコーディング前にクロマイントラ予測モード値を知らなければならない。しかしながら、クロマダイレクトモード（Ｃｈｒｏｍａ ｄｉｒｅｃｔ ｍｏｄｅ、ＤＭ）の場合、ルマイントラ予測モード値をそのまま使用するため、ルマ成分に対するイントラ予測モード値も知らなければならない。したがって、色差成分に対する情報をコーディングする時、ルマ成分情報に対するデータ依存性（ｄａｔａ ｄｅｐｅｎｄｅｎｃｙ）が発生できるため、クロマＤＭモードである場合、イントラ予測モードに対する情報なしに２次変換に対する変換インデックスコーディングを実行する時、どのような特定グループでマッピングして前述したデータ依存性を除去することができる。例えば、クロマイントラ予測モードがクロマＤＭモードである場合、プラナーモードまたはＤＣモードであると見なして該当ＣＡＢＡＣコンテキストセットを使用して該当変換インデックスコーディングを実行し、または、その他の方向性モードであると見なして該当ＣＡＢＡＣコンテキストセットを適用することができる。

図９は、本文書の一実施例に係るビデオデコーディング装置の動作を示す流れ図である。

図９に開示された各ステップは、図３に開示されたデコーディング装置３００により実行されることができる。より具体的に、Ｓ９１０は、図３に開示されたエントロピーデコーディング部３１０により実行されることができ、Ｓ９２０は、図３に開示された逆量子化部３２１により実行されることができ、Ｓ９３０及びＳ９４０は、図３に開示された逆変換部３２２により実行されることができ、Ｓ９５０は、図３に開示された加算部３４０により実行されることができる。併せて、Ｓ９１０乃至Ｓ９５０による動作は、図４乃至図８で前述された内容のうち一部に基づいたものである。したがって、図３乃至図８で前述された内容と重複する具体的な内容は、説明を省略または簡単にする。

一実施例に係るデコーディング装置３００は、ビットストリームから対象ブロックに対する量子化された変換係数を導出することができる（Ｓ９１０）。より具体的に、デコーディング装置３００は、ビットストリームから対象ブロックに対する量子化された変換係数に関する情報をデコーディングすることができ、対象ブロックに対する量子化された変換係数に関する情報に基づいて対象ブロックに対する量子化された変換係数を導出することができる。対象ブロックに対する量子化された変換係数に関する情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）またはスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）に含まれることができ、簡素化変換（ＲＳＴ）が適用されるかどうかに対する情報、簡素化ファクタに関する情報、簡素化変換を適用する最小変換サイズに対する情報、簡素化変換を適用する最大変換サイズに対する情報、簡素化逆変換サイズ、変換セットに含まれている変換カーネルマトリクスのうちいずれか一つを指示する変換インデックスに対する情報のうち少なくとも一つを含むことができる。

一実施例に係るデコーディング装置３００は、対象ブロックに対する量子化された変換係数に対して逆量子化を実行して変換係数を導出することができる（Ｓ９２０）。

導出された変換係数は、４×４ブロック単位で逆方向対角スキャン順序によって配列されることができ、４×４ブロック内の変換係数も逆方向対角スキャン順序によって配列されることができる。即ち、逆量子化が実行された変換係数は、ＶＶＣやＨＥＶＣのようなビデオコデックで適用されている逆方向スキャン順序を追って配置されることができる。

一実施例に係るデコーディング装置３００は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出することができる（Ｓ９３０）。

一例示において、逆ＲＳＴは、逆ＲＳＴマトリクスに基づいて実行されることができ、逆ＲＳＴマトリクスは、列の個数が行の個数より少ない非正方形マトリクスである。

一実施例において、Ｓ９３０は、変換インデックスをデコーディングするステップ、変換インデックスに基づいて逆ＲＳＴを適用する条件に該当するかどうかを判断するステップ、変換カーネルマトリクスを選択するステップ、及び逆ＲＳＴを適用する条件に該当する場合、選択された変換カーネルマトリクス及び／または簡素化ファクタに基づいて変換係数に対して逆ＲＳＴを適用するステップを含むことができる。このとき、簡素化逆変換マトリクスのサイズは、簡素化ファクタに基づいて決定されることができる。

一実施例に係るデコーディング装置３００は、修正された変換係数に対する逆変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる（Ｓ９４０）。

デコーディング装置３００は、対象ブロックに対する修正された変換係数に対して逆１次変換を実行することができ、このとき、逆１次変換は、簡素化逆変換が適用されることもでき、通常的な分離変換が使われることもできる。

一実施例に係るデコーディング装置３００は、対象ブロックに対するレジデュアルサンプル及び対象ブロックに対する予測サンプルに基づいて復元サンプルを生成することができる（Ｓ９５０）。

Ｓ９３０を参照すると、対象ブロックに対する変換係数に対する逆ＲＳＴに基づいて、対象ブロックに対するレジデュアルサンプルが導出されることを確認することができる。逆変換マトリクスのサイズ観点で検討すると、通常の逆変換マトリクスのサイズはＮ×Ｎであり、それに対して、逆ＲＳＴマトリクスのサイズはＮ×Ｒに減少するため、通常の変換を実行する時と比較すると、逆ＲＳＴを実行する時、メモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の逆変換マトリクスを利用する時の乗算演算数Ｎ×Ｎと比較すると、逆ＲＳＴマトリクスを利用する場合、乗算演算数をＲ／Ｎ割合で減少（Ｎ×Ｒ）させることができる。併せて、逆ＲＳＴを適用する時、Ｒ個の変換係数のみをデコーディングすればよいため、通常の逆変換が適用される時、Ｎ個の変換係数をデコーディングすべきことと比較する時、対象ブロックに対する変換係数の総個数がＮ個からＲ個へ減少してデコーディング効率が増加できる。整理すると、Ｓ９３０によると、逆ＲＳＴを介してデコーディング装置３００の（逆）変換効率及びデコーディング効率が増加できる。

図１０は、本文書の一実施例に係る逆ＲＳＴを説明するための制御流れ図である。

デコーディング装置３００は、ビットストリームから量子化された変換係数、イントラ予測モード及び変換インデックスに対する情報を受信する（Ｓ１０００）。

ビットストリームから受信された量子化された変換係数は、図９のＳ９２０のように逆量子化を介して変換係数として導出される。

逆量子化された変換係数に逆ＲＳＴを適用するために、対象ブロックに適用される変換セットと変換カーネルマトリクスが導出される（Ｓ１０１０）。

一例によると、変換セットは、対象ブロックのイントラ予測モードによるマッピング関係により導出され、一つの変換セットには複数個のイントラ予測モードがマッピングされることができる。また、一つの変換セットの各々は、複数の変換カーネルマトリクスを含むことができる。変換インデックスは、複数の変換カーネルマトリクスのうちいずれか一つを指示することができ、例えば、一つの変換セットが２個の変換カーネルマトリクスで構成される場合、変換インデックスは、二つの変換カーネルマトリクスのうちいずれか一つを指示することができる。

一実施例に係る変換インデックスのシンタックスエレメントは、逆ＲＳＴが適用されるかどうか及び変換セットに含まれている変換カーネルマトリクスのうちいずれか一つを指示することができ、変換セットが二つの変換カーネルマトリクスを含む場合、変換インデックスのシンタックスエレメントの値は三つの種類である。

即ち、一実施例によって、変換インデックスに対するシンタックスエレメントの値は、対象ブロックに逆ＲＳＴが適用されない場合を指示する０、変換カーネルマトリクスのうち１番目の変換カーネルマトリクスを指示する１、変換カーネルマトリクスのうち２番目変換カーネルマトリクスを指示する２を含むことができる。このような情報は、シンタックス情報として受信され、シンタックス情報は、０と１を含む二進化されたｂｉｎストリングとして受信される。

一例に係る変換カーネルマトリクスは、２次変換の縮小または簡素化大きさによって対象ブロックの左上段の特定領域、例えば、８×８領域または４×４領域に適用されることができ、変換カーネルマトリクスを適用して出力される修正された変換係数の大きさ、即ち、変換係数の個数は、変換インデックス、イントラ予測モード、及び２次変換が適用される対象ブロックの大きさに基づいて導出されることができる。

一例によって対象ブロックの一領域、即ち、８×８領域または４×４領域の変換係数に逆２次変換が適用される時、８×８領域または４×４領域内に含まれている変換係数のうち一部にのみ逆２次変換が適用されることができる。逆２次変換のために、８×８領域の変換係数のうち４８個の変換係数のみが入力されると、８×８領域に適用される６４×ｍ変換カーネルマトリクスは、４８×ｍ変換カーネルマトリクスにさらに縮小されることができる。

一例によって、ｍは１６であり、４８×１６変換カーネルマトリクスは、表１４に基づいた変換カーネルマトリクス、即ち、表１４の行列にトランスポーズを行った行列である。変換セットが４個であり、変換セットの各々に２個の変換カーネルマトリクスが含まれる場合、逆２次変換が適用されるかどうか及び変換セットに含まれている変換カーネルマトリクスのうちいずれか一つを指示する変換インデックスは、０、１、２値を有することができる。変換インデックスが０である場合、逆２次変換が適用されないことを示すため、変換セットが４個である場合、全て８個の変換カーネルマトリクスが逆２次変換に利用されることができる。

数式７のように逆量子化を介して導出された変換係数の１次元配列が変換カーネルマトリクスとの行列演算を介して２次元配列を有する修正された変換係数として導出されることができる。

本実施例に係る逆変換部３２２は、対象ブロックの８×８領域のうち左上段４×４領域の変換係数に変換カーネルマトリクスを適用することで、８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の修正された変換係数を導出することができる（Ｓ１０２０）。

一例によって、８×８領域のうち左上段４×４領域の変換係数と変換カーネルマトリクスの行列演算時、８×８領域のうち左上段４×４領域の変換係数は、表１６のように順方向対角スキャニング順序によって１次元配列され、１次元配列の変換係数は、変換カーネルマトリクスとの行列演算後、対象ブロックに適用されるイントラ予測モードによって行優先方向または列優先方向のうちいずれか一つの順序によって表１５または表１７のように８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域に２次元に配列されることができる。即ち、８×８領域で左上段４×４領域の１６個の変換係数に逆２次変換が適用されることができ、変換カーネルマトリクスとの演算を介して８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の４８個の修正された変換係数が導出されることができる。

対象ブロックに適用されることができるイントラ予測モードが６５個の方向性モードのうちいずれか一つであり、イントラ予測モードが左上段対角線方向のイントラ予測モード３４番モードを中心にして対称であり、対象ブロックに適用されるイントラ予測モードがイントラ予測モード３４番モードを基準にして左側方向の２番乃至前記３４番モードである場合、修正された変換係数は、行優先方向順序によって２次元配列されることができる。

もし、対象ブロックに適用されるイントラ予測モードがイントラ予測モード３４番モードを基準にして右側方向の３５番乃至前記６６番モードである場合、修正された変換係数は、列優先方向順序によって２次元配列されることができる。

また、対象ブロックに適用されるイントラ予測モードがプラナーモードまたはＤＣモードである場合、修正された変換係数は、行優先方向順序によって２次元配列されることができる。

逆変換部３２２は、逆ＲＳＴを適用して８×８領域または４×４領域の修正された変換係数を２次元ブロックで生成でき、後続的にこのように生成された２次元ブロックの修正された変換係数に逆１次変換が適用される。

図１１は、本文書の一実施例に係るビデオエンコーディング装置の動作を示す流れ図である。

図１１に開示された各ステップは、図２に開示されたエンコーディング装置２００により実行されることができる。より具体的に、Ｓ１１１０は、図２に開示された予測部２２０により実行されることができ、Ｓ１１２０は、図２に開示された減算部２３１により実行されることができ、Ｓ１１３０及びＳ１１４０は、図２に開示された変換部２３２により実行されることができ、Ｓ１１５０は、図２に開示された量子化部２３３及びエントロピーエンコーディング部２４０により実行されることができる。併せて、Ｓ１１１０乃至Ｓ１１５０による動作は、図４乃至図８で前述された内容のうち一部を基づいたものである。したがって、図２及び図４乃至図８で前述された内容と重複する具体的な内容は、説明を省略または簡単にする。

一実施例に係るエンコーディング装置２００は、対象ブロックに適用されるイントラ予測モードに基づいて予測サンプルを導出することができる（Ｓ１１１０）。

一実施例に係るエンコーディング装置２００は、対象ブロックに対するレジデュアルサンプルを導出することができる（Ｓ１１２０）。

一実施例に係るエンコーディング装置２００は、レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出することができる（Ｓ１１３０）。１次変換は、複数の変換カーネルを介して実行されることができ、この場合、イントラ予測モードに基づいて変換カーネルが選択されることができる。

デコーディング装置３００は、対象ブロックに対する変換係数に対して２次変換、具体的にＮＳＳＴを実行することができ、このとき、ＮＳＳＴは、簡素化変換（ＲＳＴ）に基づいて実行され、または、ＲＳＴに基づかずに実行されることができる。ＮＳＳＴがＲＳＴに基づいて実行されると、Ｓ１１４０による動作と対応されることができる。

一実施例に係るエンコーディング装置２００は、変換係数に対するＲＳＴに基づいて対象ブロックに対する修正された変換係数を導出することができる（Ｓ１１４０）。一例示において、ＲＳＴは、簡素化変換マトリクスまたは変換カーネルマトリクスに基づいて実行されることができ、簡素化変換マトリクスは、行の個数が列の個数より少ない非正方形マトリクスである。

一実施例において、Ｓ１１４０は、ＲＳＴを適用する条件に該当するかどうかを判断するステップ、前記判断に基づいて変換インデックスを生成及びエンコーディングするステップ、変換カーネルマトリクスを選択するステップ、及びＲＳＴを適用する条件に該当する場合、選択された変換カーネルマトリクス及び／または簡素化ファクタに基づいてレジデュアルサンプルに対してＲＳＴを適用するステップを含むことができる。このとき、簡素化変換カーネルマトリクスのサイズは、簡素化ファクタに基づいて決定されることができる。

一実施例に係るエンコーディング装置２００は、対象ブロックに対する修正された変換係数に基づいて量子化を実行して量子化された変換係数を導出し、量子化された変換係数に関する情報をエンコーディングすることができる（Ｓ１１５０）。

より具体的に、エンコーディング装置２００は、量子化された変換係数に関する情報を生成し、生成された量子化された変換係数に関する情報をエンコーディングすることができる。

一例示において、量子化された変換係数に関する情報は、ＲＳＴが適用されるかどうかに対する情報、簡素化ファクタに関する情報、ＲＳＴを適用する最小変換サイズに対する情報、及びＲＳＴを適用する最大変換サイズに対する情報のうち少なくとも一つを含むことができる。

Ｓ１１４０を参照すると、レジデュアルサンプルに対するＲＳＴに基づいて対象ブロックに対する変換係数が導出されることを確認することができる。変換カーネルマトリクスのサイズ観点で検討すると、通常の変換カーネルマトリクスのサイズはＮ×Ｎであり、それに対して、簡素化変換マトリクスのサイズはＲ×Ｎに減少するため、通常の変換を実行する時と比較すると、ＲＳＴを実行する時、メモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の変換カーネルマトリクスを利用する時の乗算演算数Ｎ×Ｎと比較すると、簡素化変換カーネルマトリクスを利用する場合、乗算演算数をＲ／Ｎ割合で減少（Ｒ×Ｎ）させることができる。併せて、ＲＳＴが適用されると、Ｒ個の変換係数のみが導出されるため、通常の変換が適用される時のＮ個の変換係数が導出されることと比較する時、対象ブロックに対する変換係数の総個数がＮ個からＲ個へ減少してエンコーディング装置２００がデコーディング装置３００に送信するデータの量が減少できる。整理すると、Ｓ１１４０によると、ＲＳＴを介してエンコーディング装置２００の変換効率及びコーディング効率が増加できる。

図１２は、本文書の一実施例に係るＲＳＴを説明するための制御流れ図である。

まず、エンコーディング装置２００は、対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて変換セットを決定することができる（Ｓ１２００）。

その後、変換部２３２は、変換セットに含まれている複数の変換カーネルマトリクスのうちいずれか一つを選択することができる（Ｓ１２１０）。

一例によると、変換セットは、対象ブロックのイントラ予測モードによるマッピング関係により導出され、一つの変換セットには複数個のイントラ予測モードがマッピングされることができる。また、一つの変換セットの各々は、複数の変換カーネルマトリクスを含むことができる。一つの変換セットが２個の変換カーネルマトリクスで構成される場合、二つの変換カーネルマトリクスのうちいずれか一つを指示する変換インデックスがエンコーディングされてデコーディング装置にシグナリングされることができる。

レジデュアルサンプルに２回の変換過程が適用される場合、レジデュアルサンプルが１次変換されると、変換係数と呼ばれ、１次変換後、ＲＳＴのような２次変換が実行されると、修正された変換係数と呼ばれることができる。

一例によって、対象ブロックの一領域、即ち、８×８領域または４×４領域の変換係数に２次変換が適用される時、８×８領域または４×４領域内に含まれている変換係数のうち一部にのみ２次変換が適用されることができる。例えば、８×８領域の変換係数のうち４８個の変換係数にのみ２次変換が適用される場合、８×８領域に適用されるｍ×６４変換カーネルマトリクスは、ｍ×４８変換カーネルマトリクスに縮小されることができる。

一例によって、ｍは１６であり、１６×４８変換カーネルマトリクスは表１４である。変換セットが４個であり、変換セットの各々に２個の変換カーネルマトリクスが含まれる場合、逆２次変換が適用されるかどうか及び変換セットに含まれている変換カーネルマトリクスのうちいずれか一つを指示する変換インデックスは、０、１、２値を有することができる。変換インデックスが０である場合、２次変換が適用されないことを示すため、変換セットが４個である場合、全て８個の変換カーネルマトリクスが２次変換に利用されることができる。

変換部２３２は、変換係数に変換カーネルマトリクスを利用してＲＳＴを実行する時、１次変換を経た２次元配列の変換係数を対象ブロックに適用されるイントラ予測モードに基づいて行優先方向または列優先方向のうちいずれか一つの順序によって１次元に配列できる。具体的に、一例によって、変換部２３２は、対象ブロックの８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の変換係数に変換カーネルマトリクスを適用することで、８×８領域のうち左上段４×４領域に対応する修正された変換係数を導出することができる（Ｓ１２２０）。

変換カーネルマトリクスは、２次変換の縮小または簡素化大きさによって、対象ブロックの左上段の特定領域、例えば、８×８領域または４×４領域、または、８×８領域の一部領域に適用されることができ、変換カーネルマトリクスを適用して出力される修正された変換係数の大きさ、即ち、修正された変換係数の個数は、変換カーネルマトリクスの大きさ、イントラ予測モード及び２次変換が適用される対象ブロックの大きさに基づいて導出されることができる。

数式５のように、２次元の変換係数は、変換カーネルマトリクスとの行列演算のために１次元に配列されなければならず、数式６のような演算を介して変換係数の個数より少ない数の修正された変換係数が導出されることができる。

即ち、特定領域の２次元配列の変換係数は、一定な方向順序によって１次元に読み込まれ、変換カーネルマトリクスとの行列演算を介して修正された変換係数として導出される。

一例によって、８×８領域のうち左上段４×４領域の変換係数と変換カーネルマトリクスの行列演算時、８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の４８個の変換係数は、対象ブロックに適用されるイントラ予測モードによって、表１５または表１７のように行優先方向または列優先方向のうちいずれか一つの順序によって１次元配列されることができ、導出された１６個の修正された変換係数は、表１６のように８×８領域のうち左上段４×４領域に対角スキャニング方向に配列されることができる。

対象ブロックに適用されることができるイントラ予測モードが６５個の方向性モードのうちいずれか一つであり、イントラ予測モードが左上段対角線方向のイントラ予測モード３４番モードを中心にして対称であり、対象ブロックに適用されるイントラ予測モードがイントラ予測モード３４番モードを基準にして左側方向の２番乃至前記３４番モードである場合、８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の変換係数は、表１５のように行優先方向順序によって１次元配列されることができる。

もし、対象ブロックに適用されるイントラ予測モードがイントラ予測モード３４番モードを基準にして右側方向の３５番乃至前記６６番モードである場合、８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の変換係数は、表１７のように列優先方向順序によって１次元配列されることができる。

また、対象ブロックに適用されるイントラ予測モードがプラナーモードまたはＤＣモードである場合、８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の変換係数は、行優先方向順序によって１次元配列されることができる。

このようにＲＳＴが実行されると、ＲＳＴに対する情報がエントロピーエンコーディング部２４０でエンコーディングされることができる。

まず、エントロピーエンコーディング部２４０は、変換セットに含まれている変換カーネルマトリクスのうちいずれか一つを指示する変換インデックスに対するシンタックスエレメントの値を導出し、導出された変換インデックスに対するシンタックスエレメントの値を二進化した後、変換インデックスのｂｉｎストリングに対するコンテキスト情報、即ち、コンテキストモデルに基づいてシンタックスエレメントｂｉｎストリングのｂｉｎをエンコーディングすることができる。

エンコーディングされたシンタックスエレメントｂｉｎストリングは、ビットストリームの形態でデコーディング装置３００または外部に出力されることができる。

前述した実施例において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本文書は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または、流れ図の一つまたはそれ以上のステップが本文書の範囲に影響を及ぼさずに削除可能であることを理解することができる。

前述した本文書による方法は、ソフトウェア形態で具現されることができ、本文書によるエンコーディング装置及び／またはデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を実行する装置に含まれることができる。

本文書において、実施例がソフトウェアで具現される時、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。例えば、各図面で示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。

また、本文書が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使われることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置として、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。また、本文書によるデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読み出すことができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームは、コンピュータが読み取り可能な記録媒体に格納され、または、有無線通信ネットワークを介して送信されることができる。また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施例によりコンピュータで実行されることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。

図１３は、本文書が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

また、本文書が適用されるコンテンツストリーミングシステムは、大別して、エンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。

前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略されることができる。前記ビットストリームは、本文書が適用されるエンコーディング方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。

前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

前記ストリーミングサーバは、メディア格納所及び／またはエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間格納することができる。

前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末（ｓｍａｒｔｗａｔｃｈ）、グラス型端末（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがある。前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

Claims (15)

1. デコーディング装置により実行される映像デコーディング方法において、
   対象ブロックに対する量子化された変換係数に基づいて逆量子化を介して変換係数を導出するステップと、
   前記変換係数に対して既設定された変換カーネルマトリクスを利用する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出するステップと、
   前記修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
   前記対象ブロックに対するレジデュアルサンプルに基づいて復元ピクチャを生成するステップとを含み、
   前記修正された変換係数を導出するステップは、前記対象ブロックの８×８領域のうち左上段４×４領域の変換係数に前記変換カーネルマトリクスを適用することで、前記８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の修正された変換係数を導出することを特徴とする映像デコーディング方法。
2. 前記８×８領域のうち左上段４×４領域の変換係数と前記変換カーネルマトリクスの行列演算時、前記８×８領域のうち左上段４×４領域の変換係数は、順方向対角スキャニング順序によって１次元配列されることを特徴とする請求項１に記載の映像デコーディング方法。
3. 前記１次元配列の前記変換係数は、前記変換カーネルマトリクスとの行列演算後、前記対象ブロックに適用されるイントラ予測モードによって行優先方向または列優先方向のうちいずれか一つの順序によって前記８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域に２次元に配列されることを特徴とする請求項２に記載の映像デコーディング方法。
4. 前記対象ブロックに適用されることができるイントラ予測モードが６５個の方向性モードのうちいずれか一つであり、前記イントラ予測モードが左上段対角線方向のイントラ予測モード３４番モードを中心にして対称であり、
   前記対象ブロックに適用されるイントラ予測モードが前記イントラ予測モード３４番モードを基準にして左側方向の２番乃至前記３４番モードである場合、
   前記修正された変換係数は、前記行優先方向順序によって２次元配列されることを特徴とする請求項３に記載の映像デコーディング方法。
5. 前記対象ブロックに適用されることができるイントラ予測モードが６５個の方向性モードのうちいずれか一つであり、前記イントラ予測モードが左上段対角線方向のイントラ予測モード３４番モードを中心にして対称であり、
   前記対象ブロックに適用されるイントラ予測モードが前記イントラ予測モード３４番モードを基準にして右側方向の３５番乃至前記６６番モードである場合、
   前記修正された変換係数は、前記列優先方向順序によって２次元配列されることを特徴とする請求項３に記載の映像デコーディング方法。
6. 前記対象ブロックに適用されるイントラ予測モードがプラナーモードまたはＤＣモードである場合、前記修正された変換係数は、前記行優先方向順序によって２次元配列されることを特徴とする請求項３に記載の映像デコーディング方法。
7. 前記逆ＲＳＴは、前記対象ブロックに適用されるイントラ予測モードによるマッピング関係に基づいて決定される変換セット及び前記変換セットの各々に含まれる複数の変換カーネルマトリスの中から選択された変換カーネルマトリクスに基づいて実行され、
   前記逆ＲＳＴが適用されるかどうか及び前記変換セットに含まれている前記変換カーネルマトリクスのうちいずれか一つを指示する変換インデックスに基づいて実行されることを特徴とする請求項１に記載の映像デコーディング方法。
8. 前記変換セットが４個であり、前記変換セットの各々に２個の変換カーネルマトリクスが含まれる場合、
   前記対象ブロックの８×８領域のうち左上段４×４領域の変換係数に適用される前記変換カーネルマトリクスは、以下の通りであることを特徴とする請求項７に記載の映像デコーディング方法。
   

   

   

   

   

   

   

   

   
9. 映像エンコーディング装置により実行される映像エンコーディング方法において、
   対象ブロックに適用されるイントラ予測モードに基づいて予測サンプルを導出するステップと、
   前記予測サンプルに基づいて前記対象ブロックに対するレジデュアルサンプルを導出するステップと、
   前記レジデュアルサンプルに対する１次変換に基づいて前記対象ブロックに対する変換係数を導出するステップと、
   前記変換係数に対して既設定された変換カーネルマトリクスを利用するＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出するステップと、
   前記修正された変換係数に基づいて量子化を実行して量子化された変換係数を導出するステップとを含み、
   前記修正された変換係数を導出するステップは、前記対象ブロックの８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の変換係数に前記変換カーネルマトリクスを適用することで、前記８×８領域のうち左上段４×４領域に対応する修正された変換係数を導出することを特徴とする映像エンコーディング方法。
10. 前記８×８領域のうち左上段４×４領域の変換係数と前記変換カーネルマトリクスの行列演算時、前記８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の変換係数は、前記対象ブロックに適用されるイントラ予測モードによって行優先方向または列優先方向のうちいずれか一つの順序によって１次元配列されることを特徴とする請求項９に記載の映像エンコーディング方法。
11. 導出された前記修正された変換係数は、８×８領域のうち左上段４×４領域に対角スキャニング方向に配列されることを特徴とする請求項１０に記載の映像エンコーディング方法。
12. 前記対象ブロックに適用されることができるイントラ予測モードが６５個の方向性モードのうちいずれか一つであり、前記イントラ予測モードが左上段対角線方向のイントラ予測モード３４番モードを中心にして対称であり、
    前記対象ブロックに適用されるイントラ予測モードが前記イントラ予測モード３４番モードを基準にして左側方向の２番乃至前記３４番モードである場合、
    前記８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の変換係数は、前記行優先方向順序によって１次元配列されることを特徴とする請求項１０に記載の映像エンコーディング方法。
13. 前記対象ブロックに適用されることができるイントラ予測モードが６５個の方向性モードのうちいずれか一つであり、前記イントラ予測モードが左上段対角線方向のイントラ予測モード３４番モードを中心にして対称であり、
    前記対象ブロックに適用されるイントラ予測モードが前記イントラ予測モード３４番モードを基準にして右側方向の３５番乃至前記６６番モードである場合、
    前記８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の変換係数は、前記列優先方向順序によって１次元配列されることを特徴とする請求項１０に記載の映像エンコーディング方法。
14. 前記対象ブロックに適用されるイントラ予測モードがプラナーモードまたはＤＣモードである場合、前記８×８領域のうち左上段４×４領域、右上段４×４領域、及び左下段４×４領域の変換係数は、前記行優先方向順序によって１次元配列されることを特徴とする請求項１０に記載の映像エンコーディング方法。
15. コンピュータ読み取り可能なデジタル格納媒体であって、請求項１に記載された映像デコーディング方法を実行するようにするビットストリームが格納されたデジタル格納媒体。

Images