JP2024096399A - 変換カーネルセットに関する情報に対するコーディング - Google Patents

Abstract

【課題】デコード装置によって行われる画像デコード方法の提供。【解決手段】方法は、ビットストリームからＭＴＳインデックス及びレジデュアル情報を含む画像情報を取得するステップと、レジデュアル情報に基づいて現在ブロックに対する量子化された変換係数を導出するステップと、量子化された変換係数に逆量子化を実行することによって現在ブロックに対する変換係数を導出するステップと、ＭＴＳインデックスに関連する変換カーネルセットに基づいて変換係数に逆変換を実行することによって現在ブロックのレジデュアルサンプルを生成するステップと、を含み、ＭＴＳインデックスは、変換カーネルセット候補のうち、現在ブロックに適用される変換カーネルセットを表し、変換カーネルセットは、水平方向に現在ブロックに適用される変換係数と、垂直方向に変換ブロックに適用される変換係数とを含む。【選択図】図３

Description

本文書は、画像コーディング技術に関し、より詳細には、変換カーネルセットに関する情報に対するコーディングに関する。

近年、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像／ビデオのような高解像度、高品質の画像／ビデオに対する需要が様々な分野で増加している。画像／ビデオデータが高解像度、高品質になるほど、既存の画像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、既存の格納媒体を利用して画像／ビデオデータを格納する場合、送信費用と格納費用が増加される。

また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム画像のように、現実画像と異なる画像特性を有する画像／ビデオに対する放送が増加している。

これにより、上記のような様々な特性を有する高解像度・高品質の画像／ビデオの情報を効果的に圧縮して送信するか、格納し、再生するために高効率の画像／ビデオ圧縮技術が求められる。

本文書の一実施形態によれば、画像／ビデオコーディング効率を上げる方法及び装置を提供する。

本文書の一実施形態によれば、画像コーディングにおいてＭＴＳインデックスをコーディングする方法及び装置を提供する。

本文書の一実施形態によれば、ＭＴＳインデックス情報をシグナリングする方法及び装置を提供する。

本文書の一実施形態によれば、複数の変換カーネルセットのうち、現在ブロックに適用される変換カーネルセットを表す情報をシグナリングする方法及び装置を提供する。

本文書の一実施形態によれば、ＭＴＳインデックスに対するビンに対してコンテキストコーディングまたはバイパスコーディングする方法及び装置を提供する。

本文書の一実施形態によると、デコード装置により行われるビデオ／画像デコード方法を提供する。

本文書の一実施形態によると、ビデオ／画像デコードを行うデコード装置を提供する。

本文書の一実施形態によると、エンコード装置により行われるビデオ／画像エンコード方法を提供する。

本文書の一実施形態によると、ビデオ／画像エンコードを行うエンコード装置を提供する。

本文書の一実施形態によると、本文書の実施形態のうち、少なくとも１つに開示されたビデオ／画像エンコード方法によって生成されたエンコードされたビデオ／画像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。

本文書の一実施形態によると、デコード装置により本文書の実施形態のうち、少なくとも１つに開示されたビデオ／画像デコード方法を行うようにするエンコードされた情報またはエンコードされたビデオ／画像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。

本文書によれば、全般的な画像／ビデオ圧縮効率を上げることができる。

本文書によれば、ＭＴＳインデックス情報を効率的にシグナリングすることができる。

本文書によれば、ＭＴＳインデックス情報を効率的にコーディングしてコーディングシステムの複雑度を低めることができる。

本文書の具体的な一例を介して得ることができる効果は、以上で羅列された効果に制限されない。例えば、関連した技術分野の通常の知識を有する者が（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が本文書から理解し、または誘導できる多様な技術的効果が存在できる。それによって、本文書の具体的な効果は、本文書に明示的に記載されたものに制限されずに、本文書の技術的特徴から理解され、または誘導されることができる多様な効果を含むことができる。

本文書が適用され得るビデオ／画像コーディングシステムの例を概略的に示す。 本文書が適用され得るビデオ／画像エンコード装置の構成を概略的に説明する図である。 本文書が適用され得るビデオ／画像デコード装置の構成を概略的に説明する図である。 本文書の一実施形態による多重変換技法を概略的に示す。 ６５個予測方向のイントラ方向性モードを例示的に示す。 本文書の一実施形態によるＲＳＴを説明するための図である。 本文書の一実施形態によるＲＳＴを説明するための図である。 シンタックス要素をエンコードするためのＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）を例示的に示す。 本文書の実施形態（等）に係るビデオ／画像エンコード方法及び関連コンポーネントの一例を概略的に示す。 本文書の実施形態（等）に係るビデオ／画像エンコード方法及び関連コンポーネントの一例を概略的に示す。 本文書の実施形態（等）に係るビデオ／画像デコード方法及び関連コンポーネントの一例を概略的に示す。 本文書の実施形態（等）に係るビデオ／画像デコード方法及び関連コンポーネントの一例を概略的に示す。 本文書において開示された実施形態が適用され得るコンテンツストリーミングシステムの例を示す。

本文書は、様々な変更を加えることができ、種々の実施形態を有することができ、特定実施形態を図面に例示し、詳細に説明しようとする。しかしながら、これは、本文書を特定実施形態に限定しようとするものではない。本明細書で常用する用語は、単に特定の実施形態を説明するために使用されたものであって、本文書の技術的思想を限定しようとする意図で使用されるものではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことと理解されるべきである。

一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の都合上、独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち、二つ以上の構成が結合されて１つの構成をなすこともでき、１つの構成を複数の構成に分けることもできる。各構成が統合及び／又は分離された実施形態も本文書の本質から外れない限り、本文書の権利範囲に含まれる。

以下、添付図面を参照して、本文書の好ましい実施形態をより詳細に説明する。以下、図面上の同じ構成要素に対しては、同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略されることができる。

この文書は、ビデオ／画像コーディングに関する。例えば、この文書に開示された方法／実施形態は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、またはそれ以外のビデオコーディング関連標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準等）と関連することができる。

この文書ではビデオ／画像コーディングに関する多様な実施形態を提示し、他の言及がない限り、前記実施形態は、互いに組み合わせて行われることもできる。

この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の画像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の１つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。１つのピクチャは、１つ以上のスライス／タイルで構成されることができる。１つのピクチャは、１つ以上のタイルグループで構成されることができる。１つのタイルグループは、１つ以上のタイルを含むことができる。

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、１つのピクチャ（または、画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。または、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。

ユニット（ｕｎｉｔ）は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報のうち、少なくとも１つを含むことができる。１つのユニットは、１つのルマブロック及び二つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）、または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。

この文書において、“／”と“、”は、“及び／又は”と解釈される。例えば、“Ａ／Ｂ”は、“Ａ及び／又はＢ”と解釈され、“Ａ、Ｂ”は、“Ａ及び／又はＢ”と解釈される。追加的に、“Ａ／Ｂ／Ｃ”は、“Ａ、Ｂ及び／又はＣのうち、少なくとも１つ”を意味する。また、“Ａ、Ｂ、Ｃ”も、“Ａ、Ｂ及び／又はＣのうち、少なくとも１つ”を意味する。（Ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ “／” ａｎｄ “，” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ．” Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ／Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ．”Ｆｕｒｔｈｅｒ，“Ａ，Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ．”Ｆｕｒｔｈｅｒ，“Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”Ａｌｓｏ，“Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”）

追加的に、本文書において、“または”は、“及び／又は”と解釈される。例えば、“ＡまたはＢ”は、１）“Ａ”のみを意味し、または、２）“Ｂ”のみを意味し、または、３）“Ａ及びＢ”を意味することができる。他の表現としては、本文書の“または”は、“追加的にまたは代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）”を意味することができる。（Ｆｕｒｔｈｅｒ，ｉｎ ｔｈｅ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ “ｏｒ” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ．” Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ ｏｒ Ｂ” ｍａｙ ｃｏｍｐｒｉｓｅ １）ｏｎｌｙ Ａ，２）ｏｎｌｙ Ｂ，ａｎｄ／ｏｒ ３）ｂｏｔｈ Ａ ａｎｄ Ｂ．Ｉｎ ｏｔｈｅｒ ｗｏｒｄｓ，ｔｈｅ ｔｅｒｍ “ｏｒ” ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ．”）

本明細書において、“少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）”は、“ただＡ”、“ただＢ”または“ＡとＢの両方とも”を意味することができる。また、本明細書において、“少なくとも１つのＡまたはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）”や“少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）”という表現は、“少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）”と同じく解釈されることができる。

また、本明細書において、“少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）”は、“ただＡ”、“ただＢ”、“ただＣ”、または“Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”を意味することができる。また、“少なくとも１つのＡ、ＢまたはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ｏｒ Ｃ）”や“少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ／ｏｒ Ｃ）”は、“少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）”を意味することができる。

また、本明細書で使用される括弧は、“例えば（ｆｏｒ ｅｘａｍｐｌｅ）”を意味することができる。具体的に、“予測（イントラ予測）”で表示された場合、“予測”の一例として“イントラ予測”が提案されたものである。他の表現としては、本明細書の“予測”は、“イントラ予測”に制限（ｌｉｍｉｔ）されるものではなく、“イントラ予測”が“予測”の一例として提案されたものである。また、“予測（即ち、イントラ予測）”で表示された場合にも、“予測”の一例として“イントラ予測”が提案されたものである。

本明細書において、１つの図面内で個別的に説明される技術的特徴は、個別的に具現されることもでき、同時に具現されることもできる。

図１は、本文書が適用されることができるビデオ／画像コーディングシステムの例を概略的に示す。

図１を参照すると、ビデオ／画像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコードされたビデオ（ｖｉｄｅｏ）／画像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達できる。

前記ソースデバイスは、ビデオソース、エンコード装置、送信部を含むことができる。前記受信デバイスは、受信部、デコード装置、及びレンダラを含むことができる。前記エンコード装置は、ビデオ／画像エンコード装置と呼ばれることができ、前記デコード装置は、ビデオ／画像デコード装置と呼ばれることができる。送信機は、エンコード装置に含まれることができる。受信機は、デコード装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。

ビデオソースは、ビデオ／画像のキャプチャ、合成または生成過程などを介してビデオ／画像を取得することができる。ビデオソースは、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程を関連データが生成される過程に代替されることができる。

エンコード装置は、入力ビデオ／画像をエンコードすることができる。エンコード装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を行うことができる。エンコードされたデータ（エンコードされたビデオ／画像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

送信部は、ビットストリーム形態で出力されたエンコードされたビデオ／画像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達できる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。送信部は、あらかじめ決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコード装置に伝達できる。

デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／画像をデコードすることができる。

レンダラは、デコードされたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介してディスプレイされることができる。

図２は、本文書が適用されることができるビデオ／画像エンコード装置の構成を概略的に説明する図である。以下、ビデオエンコード装置とは、画像エンコード装置を含むことができる。

図２に示すように、エンコード装置２００は、画像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコード部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を備えて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を備えることができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を備えることができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ、２３１）をさらに備えることができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。上述した画像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコード部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）によって構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに備えることもできる。

画像分割部２１０は、エンコード装置２００に入力された入力画像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本開示に係るコーディング手順が行われ得る。この場合、画像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに備えることができる。この場合、前記予測ユニット及び前記変換ユニットは、各々上述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を導く単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を導く単位であることができる。

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）等の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、画像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。

減算部２３１は、入力画像信号（原本ブロック、原本サンプルまたは原本サンプルアレイ）から、予測部２２０から出力された予測信号（予測されたブロック、予測サンプルまたは予測サンプルアレイ）を減算してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルまたはレジデュアルサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。予測部２２０は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２２０は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができる。予測部は、各予測モードに対する説明で後述するように、予測モード情報など、予測に関する多様な情報を生成してエントロピーエンコード部２４０に伝達できる。予測に関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することができ、または、離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは、例示であり、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部２２２は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは同じであることができ、異なることもできる。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌ ＣＵ）などの名前で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われ得るし、例えば、スキップモードとマージモードとの場合に、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることにより、現在ブロックの動きベクトルを指示することができる。

予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のためにイントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用できる。これはｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画像コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように行われることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち、少なくとも１つを利用することができる。

インター予測部２２１及び／又はイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために利用され、またはレジデュアル信号を生成するために利用されることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）などを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとする時、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じ大きさを有するピクセルブロックに適用されることもでき、正方形でない可変の大きさのブロックにも適用されることができる。

量子化部２３３は、変換係数を量子化してエントロピーエンコード部２４０に送信され、エントロピーエンコード部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコードしてビットストリームで出力できる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列でき、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコード部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なエンコード方法を行うことができる。エントロピーエンコード部２４０は、量子化された変換係数外にビデオ／イメージの復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別途にエンコードすることもできる。エンコードされた情報（例えば、エンコードされたビデオ／画像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書で後述されるシグナリング／送信される情報及び／又はシンタックス要素は、前述したエンコード手順を介してエンコードされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。エントロピーエンコード部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコード装置２００の内／外部エレメントとして構成されることができ、または、送信部は、エントロピーエンコード部２４０に含まれることもできる。

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加えることによって、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルまたは復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

一方、ピクチャエンコード及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍ ａｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に対する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコード部２９０に伝達できる。フィルタリング関する情報は、エントロピーエンコード部２９０でエンコードされてビットストリーム形態で出力されることができる。

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２８０で参照ピクチャとして使用されることができる。エンコード装置は、これを介してインター予測が適用される場合、エンコード装置２００とデコード装置での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

メモリ２７０のＤＰＢは。修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するためにインター予測部２２１に伝達できる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達できる。

図３は、本文書が適用されることができるビデオ／画像デコード装置の構成を概略的に説明する図である。

図３に示すように、デコード装置３００は、エントロピーデコード部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を備えて構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を備えることができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を備えることができる。上述したエントロピーデコード部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施形態によって１つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに備えることもできる。

ビデオ／画像情報を含むビットストリームが入力されれば、デコード装置３００は、図３のエンコード装置でビデオ／画像情報が処理されたプロセスに対応して画像を復元することができる。例えば、デコード装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコード装置３００は、エンコード装置で適用された処理ユニットを用いてデコードを行うことができる。したがって、デコードの処理ユニットは、例えば、コーディングユニットであることができ、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出され得る。そして、デコード装置３００を介してデコード及び出力された復元画像信号は、再生装置を介して再生されることができる。

デコード装置３００は、図２のエンコード装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコード部３１０を介してデコードされることができる。例えば、エントロピーデコード部３１０は、前記ビットストリームをパーシングして画像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出できる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコード装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報にも基づいてピクチャをデコードすることができる。本文書で後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコード手順を介してデコードされて前記ビットストリームから取得されることができる。例えば、エントロピーデコード部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法を基礎にしてビットストリーム内の情報をデコードし、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳しくは、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームで各シンタックス要素に該当するｂｉｎを受信し、デコード対象シンタックス要素情報と隣接及びデコード対象ブロックのデコード情報または以前ステップでデコードされたシンボル／ｂｉｎの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってｂｉｎの発生確率を予測してｂｉｎの算術デコード（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行して各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、コンテキストモデル決定後、次のシンボル／ｂｉｎのコンテキストモデルのためにデコードされたシンボル／ｂｉｎの情報を利用してコンテキストモデルをアップデートすることができる。エントロピーデコード部３１０でデコードされた情報のうち予測に関する情報は、予測部３３０に提供され、エントロピーデコード部３１０でエントロピーデコードが実行されたレジデュアルに対する情報、即ち、量子化された変換係数及び関連パラメータ情報は、逆量子化部３２１に入力されることができる。また、エントロピーデコード部３１０でデコードされた情報のうちフィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコード装置から出力された信号を受信する受信部（図示せず）がデコード装置３００の内／外部エレメントとしてさらに構成されることができ、または、受信部は、エントロピーデコード部３１０の構成要素である場合もある。一方、本文書によるデコード装置は、ビデオ／画像／ピクチャデコード装置と呼ばれることができ、前記デコード装置は。情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコード部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、及びメモリ３６０のうち、少なくとも１つを含むことができる。

逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコード装置で行われた係数スキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコード部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。

予測部は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のためにイントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用できる。これはｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画像コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように行われることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち、少なくとも１つを利用することができる。

イントラ予測部３３２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置でき、または離れて位置することもできる。イントラ予測において、予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３２は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。

インター予測部３３１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロックまたはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、を含むことができる。例えば、インター予測部３３１は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。多様な予測モードに基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

加算部３４０は、取得されたレジデュアル信号を、予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることによって復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。

加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることもでき、または、次のピクチャのインター予測のために使用されることもできる。

一方、ピクチャデコード過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ６０、具体的に、メモリ３６０のＤＰＢに送信できる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３１で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するためにインター予測部３３１に伝達できる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３２に伝達できる。

本明細書において、デコード装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、及びフィルタリング部３５０などで説明された実施形態は、各々、エンコード装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５、及びフィルタリング部２６０などにも同一または対応されるように適用されることができる。

一方、前述したように、ビデオコーディングを行うにあたって圧縮効率を上げるために予測を行う。それによって、コーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコード装置及びデコード装置で同様に導出され、前記エンコード装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに関する情報（レジデュアル情報）をデコード装置にシグナリングすることで画像コーディング効率を上げることができる。デコード装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックを加算して復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコード装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコード装置にシグナリングすることができる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコード装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出できる。デコード装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコード装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

図４は、本文書による多重変換技法を概略的に示す。

図４を参照すると、変換部は、前述した図２のエンコード装置内の変換部に対応されることができ、逆変換部は、前述した図２のエンコード装置内の逆変換部または図３のデコード装置内の逆変換部に対応されることができる。

変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を実行して（１次）変換係数を導出することができる（Ｓ４１０）。このような１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）は、核心変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。ここで、前記１次変換は、多重変換選択（ＭＴＳ：Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）に基づくことができ、１次変換で多重変換が適用される場合に多重核心変換と呼ばれることができる。

例えば、多重核心変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ２（ＤＣＴ－II）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ７（ＤＳＴ－VII）、ＤＣＴタイプ８（ＤＣＴ－VIII）及び／又はＤＳＴタイプ１（ＤＳＴ－Ｉ）を追加的に使用して変換する方式を示すことができる。即ち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８、及び前記ＤＳＴタイプ１の中から選択された複数の変換カーネルに基づいて、空間ドメインのレジデュアル信号（または、レジデュアルブロック）を周波数ドメインの変換係数（または、１次変換係数）に変換する変換方法を示すことができる。ここで、前記１次変換係数は、変換部側で臨時変換係数と呼ばれることができる。

即ち、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいてレジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数が生成されることができる。ただし、これと違って、前記多重核心変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８及び／又はＤＳＴタイプ１などに基づいて、レジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数（または、１次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１等は、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）または変換コア（ｃｏｒｅ）と呼ばれることができる。このようなＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義されることができる。

前記多重核心変換が行われる場合、前記変換カーネルの中から対象ブロックに対する垂直変換カーネル及び／又は水平変換カーネルが選択されることができ、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が実行され、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が行われることができる。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を示すことができる。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを含む対象ブロック（ＣＵまたはサブブロック）の予測モード及び／又は変換インデックスに基づいて適応的に決定されることができる。

または、例えば、ＭＴＳを適用して１次変換を行う場合、特定基底関数を所定値に設定し、垂直変換または水平変換である時、どのような基底関数が適用されるかを組み合わせて変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向変換カーネルをｔｒＴｙｐｅＨｏｒで表し、垂直方向変換カーネルをｔｒＴｙｐｅＶｅｒで表す場合、０の値を有するｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒは、ＤＣＴ２に設定されることができ、１の値を有するｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒは、ＤＳＴ７に設定されることができる。２の値を有するｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒは、ＤＣＴ８に設定されることができる。

または、例えば、複数の変換カーネルセットのうち、いずれか１つを指示するために、ＭＴＳインデックス（ｉｎｄｅｘ）がエンコードされてＭＴＳインデックス情報がデコード装置にシグナリングされることができる。ここで、ＭＴＳインデックスは、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素またはｍｔｓ＿ｉｄｘシンタックス要素と表すことができる。例えば、ＭＴＳインデックスが０である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が共に０であることを表すことができ、（ｔｒＴｙｐｅＨｏｒ、ｔｒＴｙｐｅＶｅｒ）＝（ＤＣＴ２、ＤＣＴ２）になることができる。ＭＴＳインデックスが１である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が共に１であることを表すことができ、（ｔｒＴｙｐｅＨｏｒ、ｔｒＴｙｐｅＶｅｒ）＝（ＤＳＴ７、ＤＳＴ７）になることができる。ＭＴＳインデックスが２である場合、ｔｒＴｙｐｅＨｏｒ値は２であり、ｔｒＴｙｐｅＶｅｒ値は１であることを表すことができ、（ｔｒＴｙｐｅＨｏｒ、ｔｒＴｙｐｅＶｅｒ）＝（ＤＣＴ８、ＤＳＴ７）になることができる。ＭＴＳインデックスが３である場合、ｔｒＴｙｐｅＨｏｒ値は１であり、ｔｒＴｙｐｅＶｅｒ値は２であることを表すことができ、（ｔｒＴｙｐｅＨｏｒ、ｔｒＴｙｐｅＶｅｒ）＝（ＤＳＴ７、ＤＣＴ８）になることができる。ＭＴＳインデックスが４である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が共に２であることを表すことができ、（ｔｒＴｙｐｅＨｏｒ、ｔｒＴｙｐｅＶｅｒ）＝（ＤＣＴ８、ＤＣＴ８）になることができる。例えば、ＭＴＳインデックスによる変換カーネルセットは、次の表のように表すことができる。

変換部は、前記（１次）変換係数に基づいて２次変換を実行して修正された（２次）変換係数を導出することができる（Ｓ４２０）。前記１次変換は、空間ドメインから周波数ドメインへの変換であり、前記２次変換は、（１次）変換係数間に存在する相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を利用してさらに圧縮的な表現に変換することを示すことができる。

例えば、前記２次変換は、非分離変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を含むことができる。この場合、前記２次変換は、非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）またはＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。前記非分離２次変換は、前記１次変換を介して導出された（１次）変換係数を非分離変換マトリクス（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて２次変換してレジデュアル信号に対する修正された変換係数（または、２次変換係数）を生成する変換を示すことができる。ここで、前記非分離変換マトリクスに基づいて前記（１次）変換係数に対して垂直変換及び水平変換を分離して（または、水平変換及び垂直変換を独立的に）適用せずに、一度に変換を適用することができる。

即ち、前記非分離２次変換は、前記（１次）変換係数の垂直成分及び水平成分を分離することなく、例えば、２次元信号（変換係数）を特定決められた方向（例えば、行優先（ｒｏｗ－ｆｉｒｓｔ）方向または列優先（ｃｏｌｕｍｎ－ｆｉｒｓｔ）方向）を介して１次元信号に再整列した後、前記非分離変換マトリクスに基づいて修正された変換係数（または、２次変換係数）を生成する変換方法を示すことができる。

例えば、行優先方向（または、順序）は、Ｍ×Ｎブロックに対して１番目の行、２番目の行、...、Ｎ番目の行の順序によって一列に配置することを示すことができ、列優先方向（または、順序）は、Ｍ×Ｎブロックに対して１番目の列、２番目の列、...、Ｍ番目の列の順序によって一列に配置することを示すことができる。ここで、Ｍ及びＮは、各々、ブロックの幅（Ｗ）及び高さ（Ｈ）を示すことができ、全て正の整数である。

例えば、前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックという）の左上段（ｔｏｐ－ｌｅｆｔ）領域に対して適用されることができる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が全て８以上である場合、８×８非分離２次変換が前記変換係数ブロックの左上段８×８領域に対して適用されることができる。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が全て４以上であり、かつ前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さい場合、４×４非分離２次変換が前記変換係数ブロックの左上段ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることができる。ただし、実施形態は、これに限定されるものではなく、例えば、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が全て４以上である条件のみ満たしても、４×４非分離２次変換が前記変換係数ブロックの左上段ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることもできる。

具体的に、例えば、４×４入力ブロックが使用される場合、非分離２次変換は、下記のように行われることができる。

前記４×４入力ブロックＸは、以下のように示される。

例えば、前記Ｘのベクトル形態は、以下のように示される。

数式２を参照すると、
は、ベクトルＸを示すことができ、行優先（ｒｏｗ－ｆｉｒｓｔ）順序によって数式１のＸの２次元ブロックを１次元ベクトルに再配列して示される。

この場合、前記２次非分離変換は、以下のように計算されることができる。

ここで、
は、変換係数ベクトルを示すことができ、Ｔは、１６×１６（非分離）変換マトリクスを示すことができる。

前記数式３に基づいて１６×１サイズの
が導出されることができ、前記
は、スキャン順序（水平、垂直または対角（ｄｉａｇｏｎａｌ）等）を介して４×４ブロックで再構成（ｒｅ－ｏｒｇａｎｉｚｅｄ）されることができる。ただし、前述した計算は、一例に過ぎず、非分離２次変換の計算複雑度を減らすためにＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－Ｇｉｖｅｎｓ Ｔｒａｎｓｆｏｒｍ）などが非分離２次変換の計算のために使用されることもできる。

一方、前記非分離２次変換は、モードベース（ｍｏｄｅ ｄｅｐｅｎｄｅｎｔ）の変換カーネル（または、変換コア、変換タイプ）が選択されることもできる。ここで、モードは、イントラ予測モード及び／又はインター予測モードを含むことができる。

例えば、前述したように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８変換または４×４変換に基づいて行われることができる。例えば、８×８変換は、Ｗ及びＨが全て８と同じまたは大きい場合、該当変換係数ブロックの内部に含まれている８×８領域に適用されることができる変換を示すことができ、前記８×８領域は、該当変換係数ブロックの内部の左上段８×８領域である。また、これと類似するように、４×４変換は、Ｗ及びＨが全て４と同じまたは大きい場合、該当変換係数ブロックの内部に含まれている４×４領域に適用されることができる変換を示すことができ、前記４×４領域は、該当変換係数ブロックの内部の左上段４×４領域である。例えば、８×８変換カーネルマトリクスは、６４×６４／１６×６４行列になることができ、４×４変換カーネルマトリクスは、１６×１６／８×１６行列になることができる。

このとき、モードベースの変換カーネル選択のために、８×８変換及び４×４変換の両方ともに対して非分離２次変換のための変換セット当たり２個ずつの非分離２次変換カーネルが構成されることができ、変換セットは、４個である。即ち、８×８変換に対して４個の変換セットが構成されることができ、４×４変換に対して４個の変換セットが構成されることができる。この場合、８×８変換に対する４個の変換セットには各々２個ずつの８×８変換カーネルが含まれることができ、４×４変換に対する４個の変換セットには各々２個ずつの４×４変換カーネルが含まれることができる。

ただし、前記変換のサイズ、前記セットの個数、及びセット内の変換カーネルの個数は、一例に過ぎず、８×８または４×４以外のサイズが使用されることもでき、または、ｎ個のセットが構成されることもでき、各セット内にｋ個の変換カーネルが含まれることもできる。ここで、ｎ及びｋは、各々、正の整数である。

例えば、前記変換セットは、ＮＳＳＴセットと呼ばれることができ、前記ＮＳＳＴセット内の変換カーネルは、ＮＳＳＴカーネルと呼ばれることができる。例えば、前記変換セットの中からの特定セットの選択は、対象ブロック（ＣＵまたはサブブロック）のイントラ予測モードに基づいて行われることができる。

例えば、イントラ予測モードは、２個の非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｎｏａｌ）または非角度性（ｎｏｎ－ａｎｇｕｌａｒ）イントラ予測モードと、６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ）または角度性（ａｎｇｕｌａｒ）イントラ予測モードと、を含むことができる。前記非方向性イントラ予測モードは、０番であるプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番であるＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。ただし、これは一例に過ぎず、本文書による実施形態は、イントラ予測モードの個数が異なる場合にも適用されることができる。一方、場合によって、６７番イントラ予測モードがさらに使用されることができ、前記６７番イントラ予測モードは、ＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）モードを示すこともできる。

図５は、６５個の予測方向のイントラ方向性モードを例示的に示す。

図５を参照すると、左上向対角予測方向を有する３４番イントラ予測モードを中心にして、水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードとを区分することができる。図５のＨとＶは、各々、水平方向性と垂直方向性を意味することができ、－３２～３２の数字は、サンプルグリッドポジション（ｓａｍｐｌｅ ｇｒｉｄ ｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示すことができる。これは、モードインデックス値に対するオフセットを示すことができる。

例えば、２番乃至３３番イントラ予測モードは、水平方向性を有することができ、３４番乃至６６番イントラ予測モードは、垂直方向性を有することができる。一方、３４番イントラ予測モードは、厳密には水平方向性も垂直方向性もないとみることができるが、２次変換の変換セットを決定する観点で水平方向性に属すると分類されることができる。その理由は、３４番イントラ予測モードを中心にして対称される垂直方向モードに対しては入力データをトランスポーズ（ｔｒａｎｓｐｏｓｅ）して使用し、３４番イントラ予測モードに対しては水平方向モードに対する入力データ整列方式を使用するためである。ここで、入力データをトランスポーズすることは、２次元ブロックデータＭ×Ｎに対して行が列になり、列が行になってＮ×Ｍデータを構成することを意味することができる。

また、１８番イントラ予測モード及び５０番イントラ予測モードは、各々、水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）及び垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を示すことができ、２番イントラ予測モードは、左側参照ピクセルを有して右上向の方向に予測するため、右上向対角（ｄｉａｇｏｎａｌ）イントラ予測モードと呼ばれることができ、同様に、３４番イントラ予測モードは、右下向対角イントラ予測モードと呼ばれ、６６番イントラ予測モードは、左下向対角イントラ予測モードと呼ばれることができる。

一方、非分離変換に特定セットが使用されると決定されると、非分離２次変換インデックスを介して前記特定セット内のｋ個の変換カーネルの中から１つが選択され得る。例えば、エンコード装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックに基づいて特定変換カーネルを示す非分離２次変換インデックスを導出でき、前記非分離２次変換インデックスをデコード装置にシグナリングできる。例えば、デコード装置は、前記非分離２次変換インデックスに基づいて特定セット内のｋ個の変換カーネルの中から１つを選択することができる。例えば、０の値を有するＮＳＳＴインデックスは、１番目の非分離２次変換カーネルを示すことができ、１の値を有するＮＳＳＴインデックスは、２番目の非分離２次変換カーネルを示すことができ、２の値を有するＮＳＳＴインデックスは、３番目の非分離２次変換カーネルを示すことができる。または、０の値を有するＮＳＳＴインデックスは、対象ブロックに対して１番目の非分離２次変換が適用されないことを示すことができ、１乃至３の値を有するＮＳＳＴインデックスは、前記３個の変換カーネルを指すことができる。

変換部は、選択された変換カーネルに基づいて前記非分離２次変換を実行し、修正された（２次）変換係数を取得することができる。前記修正された変換係数は、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコードされてデコード装置にシグナリング及びエンコード装置内の逆量子化／逆変換部に伝達されることができる。

一方、前述したように、２次変換が省略される場合、前記１次（分離）変換の出力である（１次）変換係数が、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコードされてデコード装置にシグナリング及びエンコード装置内の逆量子化／逆変換部に伝達されることができる。

再び、図４を参照すると、逆変換部は、前述した変換部で実行された手順の逆順に一連の手順を行うことができる。逆変換部は、（逆量子化された）変換係数を受信し、２次（逆）変換を実行して（１次）変換係数を導出し（Ｓ４５０）、前記（１次）変換係数に対して１次（逆）変換を実行してレジデュアルブロック（レジデュアルサンプル）を取得することができる（Ｓ４６０）。ここで、前記１次変換係数は、逆変換部側で修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれることができる。エンコード装置及び／又はデコード装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成することができ、これに基づいて復元ピクチャを生成することができることは、前述した通りである。

一方、デコード装置は、２次逆変換適用可否決定部（または、２次逆変換の適用可否を決定する要素）及び２次逆変換決定部（または、２次逆変換を決定する要素）をさらに含むこともできる。例えば、２次逆変換適用可否決定部は、２次逆変換の適用可否を決定することができる。例えば、２次逆変換は、ＮＳＳＴまたはＲＳＴであり、２次逆変換適用可否決定部は、ビットストリームからパーシングまたは取得した２次変換フラグに基づいて２次逆変換の適用可否を決定することができる。または、例えば、２次逆変換適用可否決定部は、レジデュアルブロックの変換係数に基づいて２次逆変換の適用可否を決定することもできる。

２次逆変換決定部は、２次逆変換を決定することができる。このとき、２次逆変換決定部は、イントラ予測モードによって指定されたＮＳＳＴ（または、ＲＳＴ）変換セットに基づいて現在ブロックに適用される２次逆変換を決定することができる。または、１次変換決定方法に依存的に（ｄｅｐｅｎｄｏｎ）２次変換決定方法が決定されることもできる。または、イントラ予測モードによって１次変換及び２次変換の多様な組み合わせが決定されることができる。例えば、２次逆変換決定部は、現在ブロックの大きさに基づいて２次逆変換が適用される領域を決定することもできる。

一方、前述したように、２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信して前記１次（分離）逆変換を行うことでレジデュアルブロック（レジデュアルサンプル）を取得することができる。エンコード装置及び／又はデコード装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成することができ、これに基づいて復元ピクチャを生成することができることは、前述した通りである。

一方、本文書では非分離２次変換による計算量とメモリ要求量の低減のために、ＮＳＳＴの概念で変換マトリクス（カーネル）の大きさが減少されたＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を適用することができる。

本文書において、ＲＳＴは、簡素化ファクタ（ｆａｃｔｏｒ）によって大きさが減少された変換マトリクス（ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて対象ブロックに対するレジデュアルサンプルに対して行われる（簡素化）変換を意味することができる。これを行う場合、変換マトリクスの大きさ減少によって変換時に要求される演算量が減少されることができる。即ち、ＲＳＴは、大きさが大きいブロックの変換または非分離変換時に発生する演算複雑度（ｃｏｍｐｌｅｘｉｔｙ）問題を解消するために利用されることができる。

例えば、ＲＳＴは、減少された変換（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）、減少された２次変換（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）、減少変換（ｒｅｄｕｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ）、簡素化した変換（ｓｉｍｐｌｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ）または簡素化変換（ｓｉｍｐｌｅ ｔｒａｎｓｆｏｒｍ）等、多様な用語で呼ばれることができ、ＲＳＴが呼ばれる名称は、羅列された例示に限定されるものではない。または、ＲＳＴは、主に変換ブロックで０でない係数を含む低周波領域で行われるため、ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。

一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコード装置２００の逆変換部２３５とデコード装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。

図６及び図７は、本文書の一実施形態によるＲＳＴを説明するための図である。

例えば、図６は、正方向減少された変換（ｆｏｒｗａｒｄ ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）が適用されることを説明するための図面であり、図７は、逆方向減少された変換（ｉｎｖｅｒｓｅ ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）が適用されることを説明するための図である。本文書において、対象ブロックは、コーディングが行われる現在ブロック、レジデュアルブロックまたは変換ブロックを示すことができる。

例えば、ＲＳＴではＮ次元ベクトル（Ｎ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）が異なる空間に位置したＲ次元ベクトル（Ｒ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）にマッピングされて減少された変換マトリクスが決定されることができる。ここで、Ｎ及びＲは、各々、正の整数であり、Ｒは、Ｎより小さい。Ｎは、変換が適用されるブロックの一辺の長さ（ｌｅｎｇｔｈ）の自乗または変換が適用されるブロックと対応される変換係数の総個数を意味することができ、簡素化ファクタは、Ｒ／Ｎ値を意味することができる。簡素化ファクタは、減少されたファクタ（ｒｅｄｕｃｅｄ ｆａｃｔｏｒ）、減少ファクタ（ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ）、簡素化したファクタ（ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ）または簡素化ファクタ（ｓｉｍｐｌｅ ｆａｃｔｏｒ）等、多様な用語で呼ばれることができる。一方、Ｒは、減少された係数（ｒｅｄｕｃｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）で呼ばれることができるが、場合によっては、簡素化ファクタがＲを意味することもできる。また、場合によって、簡素化ファクタは、Ｎ／Ｒ値を意味することもできる。

例えば、簡素化ファクタまたは減少された係数は、ビットストリームを介してシグナリングされることができるが、これに限定されるものではない。例えば、簡素化ファクタまたは減少された係数に対する既に定義された値が各エンコード装置２００及びデコード装置３００に格納されている場合があり、この場合、簡素化ファクタまたは減少された係数は、別途にシグナリングされない。

例えば、簡素化変換マトリクスのサイズ（Ｒ×Ｎ）は、通常の変換マトリクスのサイズ（Ｎ×Ｎ）より小さく、以下の数式のように定義されることができる。

例えば、図６に示す減少された変換（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）ブロック内のマトリクスＴは、数式４のマトリクスＴ_Ｒ×Ｎを示すことができる。図６のように対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリクスＴ_Ｒ×Ｎが掛け算される場合、対象ブロックに対する変換係数が導出されることができる。

例えば、変換が適用されるブロックのサイズが８×８であり、Ｒが１６である場合（即ち、Ｒ／Ｎ＝１６／６４＝１／４）、図６によるＲＳＴは、以下の数式５のような行列演算で表現されることができる。この場合、メモリと掛け算演算が簡素化ファクタにより略１／４に減少されることができる。

本文書において、行列演算とは、行列を列ベクトルの左側に置き、行列と列ベクトルを掛け算して列ベクトルを得る演算として理解されることができる。

数式５において、ｒ_１乃至ｒ_６４は、対象ブロックに対するレジデュアルサンプルを示すことができる。または、例えば、１次変換を適用して生成された変換係数である。数式５の演算結果に基づいて対象ブロックに対する変換係数ｃ_ｉが導出されることができる。

例えば、Ｒが１６である場合、対象ブロックに対する変換係数ｃ_１乃至ｃ_１６が導出されることができる。もし、ＲＳＴではなく、通常の（ｒｅｇｕｌａｒ）変換が適用され、サイズが６４×６４（Ｎ×Ｎ）である変換マトリクスが、サイズが６４×１（Ｎ×１）であるレジデュアルサンプルに掛け算された場合、対象ブロックに対する変換係数が６４個（Ｎ個）導出されるが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみ導出される。対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少してエンコード装置２００がデコード装置３００に送信するデータの量が減少するため、エンコード装置２００とデコード装置３００との間の送信効率が増加できる。

変換マトリクスのサイズ観点を考慮すると、通常の変換マトリクスのサイズは、６４×６４（Ｎ×Ｎ）であり、それに対して、簡素化変換マトリクスのサイズは、１６×６４（Ｒ×Ｎ）に減少するため、通常の変換を行う時と比較すると、ＲＳＴを行う時にメモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎ割合で減少（Ｒ×Ｎ）させることができる。

一実施形態において、エンコード装置２００の変換部２３２は、対象ブロックに対するレジデュアルサンプルを１次変換及びＲＳＴベースの２次変換を行うことによって対象ブロックに対する変換係数を導出できる。このような変換係数は、デコード装置３００の逆変換部に伝達されることができ、デコード装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて対象ブロックに対するレジデュアルサンプルを導出できる。

一実施形態による逆ＲＳＴマトリクスＴ_Ｎ×Ｒのサイズは、通常の逆変換マトリクスのサイズＮ×Ｎより小さいＮ×Ｒであり、数式４に示す簡素化変換マトリクスＴ_Ｒ×Ｎとトランスポーズ（ｔｒａｎｓｐｏｓｅ）関係にある。

図７に示す減少された逆変換（ｒｅｄｕｃｅｄ ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）ブロック内のマトリクスＴ^ｔは、逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔを示すことができる。ここで、上付き文字Ｔは、トランスポーズを示すことができる。図７のように対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛け算される場合、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルが導出されることができる。逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔは、（Ｔ_Ｒ×Ｎ）^Ｔ _Ｎ×Ｒで表現することもできる。

より具体的に、２次逆変換で逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛け算されると、対象ブロックに対する修正された変換係数が導出されることができる。一方、逆１次変換で逆ＲＳＴが適用されることができ、この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴ_Ｒ×Ｎ ^Ｔが掛け算されると、対象ブロックに対するレジデュアルサンプルが導出されることができる。

一実施形態において、逆変換が適用されるブロックのサイズが８×８であり、Ｒが１６である場合（即ち、Ｒ／Ｎ＝１６／６４＝１／４）、図７によるＲＳＴは、以下の数式６のような行列演算で表現されることができる。

数式６において、ｃ_１乃至ｃ_１６は、対象ブロックに対する変換係数を示すことができる。数式６の演算結果に基づいて対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ_ｊが導出されることができる。即ち、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ_１乃至ｒ_Ｎが導出されることができる。

逆変換マトリクスのサイズ観点を考慮すると、通常の逆変換マトリクスのサイズは、６４×６４（Ｎ×Ｎ）であり、それに対して、簡素化逆変換マトリクスのサイズは、６４×１６（Ｎ×Ｒ）に減少するため、通常の逆変換を行う時と比較すると、逆ＲＳＴを行う時にメモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の逆変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化逆変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎ割合で減少（Ｎ×Ｒ）させることができる。

一方、８×８ＲＳＴに対しても変換セットを構成して適用できる。即ち、変換セットによって該当８×８ＲＳＴが適用されることができる。１つの変換セットは、画面内の予測モードによって２個または３個の変換カーネルで構成されているため、２次変換を適用しない場合まで含んで最大４個の変換の中から１つを選択するように構成されることができる。２次変換を適用しない時の変換は、恒等行列が適用されたと見なされる。４個の変換に対して各々０、１、２または３のインデックスを付与するとした時（例えば、０番インデックスを恒等行列、即ち、２次変換を適用しない場合に割り当てることができる）、ＮＳＳＴインデックスというシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を変換係数ブロック毎にシグナリングして適用される変換を指定することができる。即ち、ＮＳＳＴインデックスを介して８×８左上段ブロックに対して、８×８ＮＳＳＴを指定することができ、ＲＳＴ構成では８×８ＲＳＴを指定することができる。８×８ＮＳＳＴ及び８×８ＲＳＴは、変換の対象になる対象ブロックのＷ及びＨが全て８と同じまたは大きい場合、該当変換係数ブロックの内部に含まれている８×８領域に適用されることができる変換を示すことができ、前記８×８領域は、該当変換係数ブロックの内部の左上段８×８領域である。また、これと類似するように、４×４ＮＳＳＴ及び４×４ＲＳＴは、対象ブロックのＷ及びＨが全て４と同じまたは大きい場合、該当変換係数ブロックの内部に含まれている４×４領域に適用されることができる変換を示すことができ、前記４×４領域は、該当変換係数ブロックの内部の左上段４×４領域である。

一方、例えば、エンコード装置は、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）またはＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なコーディング方法に基づいてシンタックス要素の値またはレジデュアルに関する変換係数の量子化された値などをエンコードしてビットストリームを導出できる。また、デコード装置は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのような多様なコーディング方法に基づいてビットストリームをデコードし、画像復元に必要なシンタックス要素の値またはレジデュアルに関する変換係数の量子化された値などを導出できる。

例えば、前述したコーディング方法は、後述する内容のように行われることができる。

図８は、シンタックス要素をエンコードするためのＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）を例示的に示す。

例えば、ＣＡＢＡＣのコーディング過程でエンコード装置は、入力信号が二進値でないシンタックス要素である場合には、前記入力信号の値を二進化（ｂｉｎａｒｉｚａｔｉｏｎ）して入力信号を二進値に変換できる。また、前記入力信号が既に二進値である場合（即ち、前記入力信号の値が二進値である場合）には、二進化が実行されずに、そのまま前記入力信号が利用されることができる。ここで、二進値を構成する各々の二進数０または１をｂｉｎということができる。例えば、二進化された後の二進ストリングが１１０である場合、１、１、及び０の各々を１つのｂｉｎと表すことができる。１つのシンタックス要素に対する前記ｂｉｎは、前記シンタックス要素の値を示すことができる。このような二進化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓまたはＦｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓなど、多様な二進化方法に基づくことができ、対象シンタックス要素に対する二進化方法は、あらかじめ定義されることができる。前記二進化手順は、エントロピーエンコード部内の二進化部により行われることができる。

以後、前記シンタックス要素の二進化されたｂｉｎは、正規（ｒｅｇｕｌａｒ）コーディングエンジンまたはバイパス（ｂｙｐａｓｓ）コーディングエンジンに入力されることができる。エンコード装置の正規コーディングエンジンは、該当ｂｉｎに対して確率値を反映するコンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を割り当てることができ、割り当てられたコンテキストモデルに基づいて該当ｂｉｎをエンコードすることができる。エンコード装置の前記正規コーディングエンジンは、各ｂｉｎに対するコーディングを実行した後に該当ｂｉｎに対するコンテキストモデルを更新することができる。前述した内容のようにコーディングされるｂｉｎは、コンテキストコーディングされたｂｉｎ（ｃｏｎｔｅｘｔ－ｃｏｄｅｄ ｂｉｎ）と表すことができる。

一方、前記シンタックス要素の二進化されたｂｉｎが前記バイパスコーディングエンジンに入力される場合には、次のようにコーディングされることができる。例えば、エンコード装置のバイパスコーディングエンジンは、入力されたｂｉｎに対して確率を推定する手順と、コーディング後に前記ｂｉｎに適用した確率モデルを更新する手順と、を省略することができる。バイパスコーディングが適用される場合、エンコード装置は、コンテキストモデルを割り当てる代わりに均一な確率分布を適用して入力されるｂｉｎをコーディングすることができ、これを介してエンコード速度を向上させることができる。前述した内容のようにコーディングされるｂｉｎは、バイパスｂｉｎ（ｂｙｐａｓｓ ｂｉｎ）と表すことができる。

エントロピーデコードは、前述したエントロピーエンコードと同じ過程を逆順に行う過程を示すことができる。

デコード装置（エントロピーデコード部）は、エンコードされた画像／ビデオ情報をデコードすることができる。前記画像／ビデオ情報は、パーティショニング関連情報、予測関連情報（例えば、インター／イントラ予測区分情報、イントラ予測モード情報、インター予測モード情報等）、レジデュアル情報またはインループフィルタリング関連情報などを含むことができ、またはそれに関する多様なシンタックス要素を含むことができる。前記エントロピーコーディングは、シンタックス要素単位で行われることができる。

デコード装置は、対象シンタックス要素に対する二進化を行うことができる。ここで、前記二進化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓまたはＦｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓなど、多様な二進化方法に基づくことができ、対象シンタックス要素に対する二進化方法は、あらかじめ定義されることができる。デコード装置は、前記二進化手順を介して対象シンタックス要素の利用可能な値に対する利用可能ｂｉｎストリング（ｂｉｎストリング候補）を導出できる。前記二進化手順は、エントロピーデコード部内の二進化部により行われることができる。

デコード装置は、ビットストリーム内の入力ビットから前記対象シンタックス要素に対する各ｂｉｎを順次にデコードまたはパーシングしながら、導出されたｂｉｎストリングを該当シンタックス要素に対する利用可能ｂｉｎストリングと比較できる。もし、導出されたｂｉｎストリングが前記利用可能ｂｉｎストリングのうち１つと同じ場合、該当ｂｉｎストリングに対応する値が該当シンタックス要素の値として導出される。もし、それとも、前記ビットストリーム内の次のビットをさらにパーシング後、前述した手順を再び行うことができる。このような過程を介してビットストリーム内に特定情報（または、特定シンタックス要素）に対する開始ビットや終了ビットを使用することなく、可変長ビットを利用して該当情報をシグナリングすることができる。これを介して低い値に対しては相対的に少ないビットを割り当てることができ、全般的なコーディング効率を上げることができる。

デコード装置は、ＣＡＢＡＣまたはＣＡＶＬＣなどのエントロピーコーディング技法に基づいて、ビットストリームから前記ｂｉｎストリング内の各ｂｉｎをコンテキストモデルに基づいてまたはバイパスに基づいてデコードできる

シンタックス要素がコンテキストモデルに基づいてデコードされる場合、デコード装置は、ビットストリームを介して前記シンタックス要素に該当するｂｉｎを受信することができ、前記シンタックス要素とデコード対象ブロックまたは隣接ブロックのデコード情報または以前ステップでデコードされたシンボル／ｂｉｎの情報を利用してコンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を決定することができ、決定されたコンテキストモデルによって前記受信されたｂｉｎの発生確率を予測してｂｉｎの算術デコード（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことで前記シンタックス要素の値を導出できる。以後、前記決定されたコンテキストモデルに基づいて、次にデコードされるｂｉｎのコンテキストモデルがアップデートされることができる。

コンテキストモデルは、コンテキストコーディング（正規コーディング）されるｂｉｎ別に割当及びアップデートされることができ、コンテキストモデルは、コンテキストインデックス（ｃｔｘＩｄｘ：ｃｏｎｔｅｘｔ ｉｎｄｅｘ）またはコンテキストインデックス増分（ｃｔｘＩｎｃ：ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｉｎｃｒｅｍｅｎｔ）に基づいて指示されることができる。ｃｔｘＩｄｘは、ｃｔｘＩｎｃに基づいて導出されることができる。具体的に、例えば、前記正規コーディングされるｂｉｎの各々に対するコンテキストモデルを示すｃｔｘＩｄｘは、ｃｔｘＩｎｃ及びコンテキストインデックスオフセット（ｃｔｘＩｄｘＯｆｆｓｅｔ：ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｏｆｆｓｅｔ）の和として導出されることができる。例えば、前記ｃｔｘＩｎｃは、各ｂｉｎ別に異なるように導出されることができる。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、前記ｃｔｘＩｄｘの最小値（ｔｈｅ ｌｏｗｅｓｔ ｖａｌｕｅ）で示される。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、一般的に他のシンタックス要素に対するコンテキストモデルとの区分のために利用される値であり、１つのシンタックス要素に対するコンテキストモデルは、ｃｔｘＩｎｃに基づいて区分または導出されることができる。

エントロピーエンコード手順で、正規コーディングエンジンを介してエンコードを行うか、または、バイパスコーディングエンジンを介してエンコードを行うかが決定されることができ、これによって、コーディング経路がスイッチングされることができる。エントロピーデコードは、エントロピーエンコードと同じ過程を逆順に行うことができる。

一方、例えば、シンタックス要素がバイパスデコードされる場合、デコード装置は、ビットストリームを介して前記シンタックス要素に該当するｂｉｎを受信することができ、均一な確率分布を適用して入力されるｂｉｎをデコードすることができる。この場合、デコード装置は、シンタックス要素のコンテキストモデルを導出する手順と、デコード以後に前記ｂｉｎに適用したコンテキストモデルを更新する手順と、は、省略されることができる。

一方、本文書の一実施形態は、ＭＴＳインデックスをシグナリングする方案を提案できる。ここで、ＭＴＳインデックスは、上述したように、複数の変換カーネルセットのうち、いずれか１つを表すことができ、ＭＴＳインデックスがエンコードされてＭＴＳインデックス情報がデコード装置にシグナリングされることができ、デコード装置でＭＴＳインデックス情報をデコードしてＭＴＳインデックスを取得し、ＭＴＳインデックスに基づいて適用される変換カーネルセットを判断できる。ＭＴＳインデックスは、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素またはｍｔｓ＿ｉｄｘシンタックス要素と表すこともできる。例えば、ＭＴＳインデックスは、Ｒｉｃｅ－Ｇｏｌｍｂ ｐａｒａｍｅｔｅｒ ０次を使用して二進化されることができるが、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅに基づいて二進化されることもできる。Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅに基づいて二進化される場合、入力パラメータであるｃＭａｘは、４の値を有することができ、ｃＲｉｃｅＰａｒａｍは、０の値を有することができる。例えば、エンコード装置は、ＭＴＳインデックスを二進化してＭＴＳインデックスに対するビン（等）を導出し、導出したビン（等）をエンコードしてＭＴＳインデックス情報（ＭＴＳインデックスに対するビット（等）を導出し、ＭＴＳインデックス情報をデコード装置にシグナリングすることができる。デコード装置は、ＭＴＳインデックス情報をデコードしてＭＴＳインデックスに対するビン（等）を導出し、導出したＭＴＳインデックスに対するビン（等）とＭＴＳインデックスに対する候補ビン（等）とを比較してＭＴＳインデックスを導出できる。

例えば、ＭＴＳインデックス（例えば、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素またはｍｔｓ＿ｉｄｘシンタックス要素）は、全てのビンに対してコンテキストモデルまたはコンテキストインデックスに基づいてコンテキストコーディングされることができる。この場合、ＭＴＳインデックスのコンテキストコーディングのためのコンテキストインデックス増分（ｃｔｘＩｎｃ：ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｉｎｃｒｅｍｅｎｔ）またはビン位置によるｃｔｘＩｎｃは、表２のように割当または決定されることができる。または、表２のように、ビン位置によってコンテキストモデルが選択され得る。

表２を参照すれば、０番ビン（１番目のビン）に対するｃｔｘＩｎｃは、ｃｑｔＤｅｐｔｈに基づいて割り当てられることができる。ここで、ｃｑｔＤｅｐｔｈは、現在ブロックに対するクアッドツリーデプス（ｑｕａｄ－ｔｒｅｅ ｄｅｐｔｈ）を表すことができ、０～５のうち１つの値に導出されることができる。すなわち、０番目のビンに対するｃｔｘＩｎｃは、ｃｑｔＤｅｐｔｈによって０～５のうち１つの値に割り当てられることができる。また、１番ビン（２番目のビン）に対するｃｔｘＩｎｃは、６が割り当てられることができ、２番ビン（３番目のビン）に対するｃｔｘＩｎｃは、７が割り当てられることができ、３番ビン（４番目のビン）に対するｃｔｘＩｎｃは、８が割り当てられることができる。すなわち、０番ビンないし３番ビンは、互いに異なる値のｃｔｘＩｎｃを割り当てられることができる。ここで、互いに異なるｃｔｘＩｎｃ値は、互いに異なる文脈モデルを表すことができ、この場合、ＭＴＳインデックスのコーディングのための文脈モデルが９個になることができる。

または、例えば、ＭＴＳインデックス（例えば、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素またはｍｔｓ＿ｉｄｘシンタックス要素）は、表３のように、全てのビンに対してバイパスコーディングされることもできる。この場合、ＭＴＳインデックスのコーディングのための文脈モデルが０個になることができる。

または、例えば、ＭＴＳインデックス（例えば、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素またはｍｔｓ＿ｉｄｘシンタックス要素）は、表４のように、０番ビン（１番目のビン）に対してコンテキストモデルまたはコンテキストインデックスに基づいてコンテキストコーディングされることができ、残りのビンに対してバイパスコーディングされることもできる。すなわち、０番ビン（１番目のビン）に対するｃｔｘＩｎｃは、０が割り当てられることができる。この場合、ＭＴＳインデックスのコーディングのための文脈モデルが１個になることができる。

または、例えば、ＭＴＳインデックス（例えば、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素またはｍｔｓ＿ｉｄｘシンタックス要素）は、表５のように、０番ビン（１番目のビン）及び１番ビン（２番目のビン）に対してコンテキストモデルまたはコンテキストインデックスに基づいてコンテキストコーディングされることができ、残りのビンに対してバイパスコーディングされることもできる。すなわち、０番ビン（１番目のビン）に対するｃｔｘＩｎｃは、０が割り当てられることができ、１番ビン（２番目のビン）に対するｃｔｘＩｎｃは、１が割り当てられることができる。この場合、ＭＴＳインデックスのコーディングのための文脈モデルが２個になることができる。

または、例えば、ＭＴＳインデックス（例えば、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素またはｍｔｓ＿ｉｄｘシンタックス要素）は、表６のように、全てのビンに対してコンテキストモデルまたはコンテキストインデックスに基づいてコンテキストコーディングされることができ、各ビンに対して１個のｃｔｘＩｎｃを割り当てることができる。すなわち、０番ビン（１番目のビン）に対するｃｔｘＩｎｃは、０が割り当てられることができ、１番ビン（２番目のビン）に対するｃｔｘＩｎｃは、１が割り当てられることができる。２番ビン（３番目のビン）に対するｃｔｘＩｎｃは、２が割り当てられることができ、３番ビン（４番目のビン）に対するｃｔｘＩｎｃは、２が割り当てられることができる。この場合、ＭＴＳインデックスのコーディングのための文脈モデルが４個になることができる。

上述したように、一実施形態は、ＭＴＳインデックスのビンのうち全部または一部にバイパスコーディングを適用するか、コンテキストコーディングを適用しても、特定値をｃｔｘＩｎｃに適用して文脈モデルの個数を減らすことにより複雑度が低くなり、デコーダの出力量が増加されるという効果がありうる。また、一実施形態は、上述したように文脈モデルを使用する場合、各ビンの位置に対する発生統計に基づいて初期値及び／又は多重ウィンドウの大きさは、可変的であることもできる。

図９及び図１０は、本文書の実施形態（等）に係るビデオ／画像エンコード方法及び関連コンポーネントの一例を概略的に示す。

図９において開示された方法は、図２または図１０において開示されたエンコード装置によって行われることができる。具体的に、例えば、図９のＳ９００ないしＳ９２０は、図１０の前記エンコード装置のレジデュアル処理部２３０によって行われることができ、図９のＳ９３０は、図１０の前記エンコード装置のエントロピーエンコード部２４０によって行われることができる。また、図９において図示していないが、図１０において前記エンコード装置の予測部２２０によって予測サンプルまたは予測関連情報を導出でき、前記エンコード装置のレジデュアル処理部２３０によって原本サンプルまたは予測サンプルからレジデュアル情報が導出され得るし、前記エンコード装置のエントロピーエンコード部２４０によってレジデュアル情報または予測関連情報からビットストリームが生成され得る。図９において開示された方法は、本文書において上述した実施形態を含むことができる。

図９に示すように、エンコード装置は、現在ブロックに対するレジデュアルサンプルを導出する（Ｓ９００）。例えば、エンコード装置は、予測サンプル及び原本サンプルに基づいてレジデュアルサンプルを導出できる。図９において図示していないが、エンコード装置は、現在ブロックに対する予測サンプルを生成するために、ＲＤ（ｒａｔｅ ｄｉｓｔｏｒｔｉｏｎ）コスト（ｃｏｓｔ）を考慮して現在ブロックにイントラ予測またはインター予測を行うことができ、予測モード／タイプ情報を含む予測関連情報を生成できる。

エンコード装置は、レジデュアルサンプルに基づいて現在ブロックに対する変換係数を導出する（Ｓ９１０）。例えば、エンコード装置は、前記レジデュアルサンプルに変換を行って前記変換係数を導出できる。ここで、変換は、変換カーネルまたは変換カーネルセットに基づいて行われることができる。例えば、変換カーネルセットは、水平方向変換カーネル及び垂直方向変換カーネルを含むことができる。例えば、エンコード装置は、レジデュアルサンプルに１次変換を行って変換係数を導出できる。または、例えば、エンコード装置は、レジデュアルサンプルに１次変換を行って臨時変換係数を導出し、臨時変換係数に２次変換を行って前記変換係数を導出することもできる。例えば、前記変換カーネルセットに基づいて行う変換は、１次変換を表すことができる。

エンコード装置は、変換係数に基づいてＭＴＳインデックス及びレジデュアル情報を生成する（Ｓ９２０）。言い換えれば、エンコード装置は、変換係数に基づいてＭＴＳインデックス及び／又はレジデュアル情報を生成できる。

ＭＴＳインデックスは、変換カーネルセット候補のうち、現在ブロック（の変換係数）に適用された変換カーネルセットを表すことができる。ここで、ＭＴＳインデックスは、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素またはｍｔｓ＿ｉｄｘシンタックス要素と表すこともできる。上述したように、変換カーネルセットは、水平方向変換カーネル及び垂直方向変換カーネルを含むことができ、水平方向変換カーネルは、ｔｒＴｙｐｅＨｏｒと表すことができ、垂直方向変換カーネルは、ｔｒＴｙｐｅＶｅｒと表すことができる。

例えば、現在ブロック（の変換係数）に適用された水平方向変換カーネル及び垂直方向変換カーネルによりｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの値が表されることができ、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの値によってＭＴＳインデックスが０～４を含む候補のうち１つで表わされることができる。

例えば、ＭＴＳインデックスが０である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒが共に０であることを表すことができる。または、ＭＴＳインデックスが１である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒが共に１であることを表すことができる。または、ＭＴＳインデックスが２である場合、ｔｒＴｙｐｅＨｏｒが２であり、ｔｒＴｙｐｅＶｅｒが１であることを表すことができる。ＭＴＳインデックスが３である場合、ｔｒＴｙｐｅＨｏｒが１であり、ｔｒＴｙｐｅＶｅｒが１であることを表すことができる。または、ＭＴＳインデックスが４である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは共に２であることを表すことができる。例えば、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒの値が０である場合、現在ブロック（の変換係数）に水平方向または垂直方向としてＤＣＴ２が適用されたことを表すことができ、１である場合、ＤＳＴ７が適用されたことを表すことができ、２である場合、ＤＣＴ８が適用されたことを表すことができる。すなわち、前記水平方向として適用する変換カーネル及び前記垂直方向として適用する変換カーネルの各々は、前記ＭＴＳインデックスに基づいてＤＣＴ２、ＤＳＴ７、及びＤＣＴ８を含む候補のうち１つで表わされることができる。

ＭＴＳインデックスは、ＭＴＳインデックスのビンストリングのビンに基づいて表わされることができる。言い換えれば、ＭＴＳインデックスは、二進化されてＭＴＳインデックスのビンストリング（のビン）で表わされることができ、ＭＴＳインデックスのビンストリング（のビン）は、エントロピーエンコードされることができる。

言い換えれば、ＭＴＳインデックスのビンストリングのビンのうち、少なくとも１つのビンは、コンテキストコーディングに基づいて表わされることができる。ここで、コンテキストコーディングは、コンテキストインデックス増分（ｃｔｘＩｎｃ）の値に基づいて行われることができる。または、コンテキストコーディングは、コンテキストインデックス（ｃｔｘＩｄｘ）またはコンテキストモデルに基づいて行われることができる。ここで、コンテキストインデックスは、コンテキストインデックス増分の値に基づいて表わされることができる。または、コンテキストインデックスは、コンテキストインデックス増分の値及びコンテキストインデックスオフセット（ｃｔｘＩｄｘＯｆｆｓｅｔ）に基づいて表されることもできる。

例えば、ＭＴＳインデックスのビンストリングのビンの全てがコンテキストコーディングに基づいて表わされることができる。例えば、ＭＴＳインデックスのビンストリングのビンのうち、１番目のビンまたは０番ビン（ｂｉｎ ０）に対するｃｔｘＩｎｃは、ｃｑｔＤｅｐｔｈに基づいて表わされることができる。ここで、ｃｑｔＤｅｐｔｈは、現在ブロックに対するクアッドツリーデプス（ｑｕａｄ－ｔｒｅｅ ｄｅｐｔｈ）を表すことができ、０～５のうち１つの値に表わされることができる。また、２番目のビンまたは１番ビン（ｂｉｎ １）に対するｃｔｘＩｎｃは、６に表わされることができ、３番目のビンまたは２番ビン（ｂｉｎ ２）に対するｃｔｘＩｎｃは、７に表わされることができ、４番目のビンまたは３番ビン（ｂｉｎ ３）に対するｃｔｘＩｎｃは、８に表わされることができる。または、例えば、ＭＴＳインデックスのビンストリングのビンのうち、１番目のビンまたは０番ビン（ｂｉｎ ０）に対するｃｔｘＩｎｃは、０に表わされることができ、２番目のビンまたは１番ビン（ｂｉｎ １）に対するｃｔｘＩｎｃは、１に表わされることができ、３番目のビンまたは２番ビン（ｂｉｎ ２）に対するｃｔｘＩｎｃは、２に表わされることができ、４番目のビンまたは３番ビン（ｂｉｎ ３）に対するｃｔｘＩｎｃは、３に表わされることができる。すなわち、前記ビンストリングのビンのうち、１番目のビンのコンテキストコーディングのために使用されることができるコンテキストインデックス増分の値の個数は、１個であることができる。

または、例えば、ＭＴＳインデックスのビンストリングのビンのうち一部がコンテキストコーディングに基づいて表わされ、残りは、バイパスコーディングに基づいて表わされることもできる。例えば、ＭＴＳインデックスのビンストリングのビンのうち、１番目のビンまたは０番ビン（ｂｉｎ ０）に対するｃｔｘＩｎｃは、０に表わされることができ、残りのビンは、バイパスコーディングに基づいて表わされることができる。または、例えば、ＭＴＳインデックスのビンストリングのビンのうち、１番目のビンまたは０番ビン（ｂｉｎ ０）に対するｃｔｘＩｎｃは、０に表わされることができ、２番目のビンまたは１番ビン（ｂｉｎ １）に対するｃｔｘＩｎｃは、１に表わされることができ、残りのビンは、バイパスコーディングに基づいて表わされることができる。すなわち、前記ビンストリングのビンのうち、１番目のビンのコンテキストコーディングのために使用されることができるコンテキストインデックス増分の値の個数は、１個であることができる。

または、ＭＴＳインデックスのビンストリングのビンの全てがバイパスコーディングに基づいて表わされることもできる。ここで、バイパスコーディングは、均一な確率分布に基づいてコンテキストコーディングを行うことを表すこともでき、コンテキストコーディングのアップデート手順などが省略されることにより、コーディング効率を向上させることができる。

レジデュアル情報は、レジデュアルサンプルを導出するために利用される情報を表すことができる。また、例えば、エンコード装置は、変換係数に量子化を行うことができ、レジデュアル情報は、レジデュアルサンプルに関する情報、変換関連情報、及び／又は量子化関連情報を含むことができる。例えば、レジデュアル情報は、量子化された変換係数に関する情報を含むことができる。

エンコード装置は、ＭＴＳインデックス及びレジデュアル情報を含む画像情報をエンコードする（Ｓ９３０）。例えば、画像情報は、予測関連情報をさらに含むことができる。例えば、エンコード装置は、画像情報をエンコードしてビットストリームを生成できる。ビットストリームは、エンコードされた（画像）情報と呼ばれることもできる。

または、図９に図示していないが、例えば、エンコード装置は、前記レジデュアルサンプル及び前記予測サンプルに基づいて復元サンプルを生成することもできる。また、前記復元サンプルに基づいて復元ブロック及び復元ピクチャが導出されることもできる。

例えば、エンコード装置は、上述した情報（または、シンタックス要素）の全部または一部を含む画像情報をエンコードしてビットストリームまたはエンコードされた情報を生成できる。または、ビットストリーム形態で出力することができる。また、前記ビットストリームまたはエンコードされた情報は、ネットワークまたは格納媒体を介してデコード装置に送信されることができる。または、前記ビットストリームまたはエンコードされた情報は、コンピュータ読み取り可能な格納媒体に格納されることができ、前記ビットストリームまたは前記エンコードされた情報は、上述した画像エンコード方法により生成されることができる。

図１１及び図１２は、本文書の実施形態（等）に係るビデオ／画像デコード方法及び関連コンポーネントの一例を概略的に示す。

図１１において開示された方法は、図３または図１２において開示されたデコード装置によって行われることができる。具体的に、例えば、図１１のＳ１１００は、図１２において前記デコード装置のエントロピーデコード部３１０によって行われることができ、図１１のＳ１１１０及びＳ１１２０は、図１２において前記デコード装置のレジデュアル処理部３２０によって行われることができる。また、図１１において図示していないが、図１２において前記デコード装置のエントロピーデコード部３１０によってビットストリームから予測関連情報またはレジデュアル情報が導出され得るし、前記デコード装置のレジデュアル処理部３２０によってレジデュアル情報からレジデュアルサンプルが導出され得るし、前記デコード装置の予測部３３０によって予測関連情報から予測サンプルが導出され得るし、前記デコード装置の加算部３４０によってレジデュアルサンプルまたは予測サンプルから復元ブロックまたは復元ピクチャが導出され得る。図１１において開示された方法は、本文書において上述した実施形態を含むことができる。

図１１に示すように、デコード装置は、ビットストリームからＭＴＳインデックス及びレジデュアル情報を取得する（Ｓ１１００）。例えば、デコード装置は、ビットストリームをパーシングまたはデコードしてＭＴＳインデックス及び／又はレジデュアル情報を取得できる。ここで、ビットストリームは、エンコードされた（画像）情報と呼ばれることもできる。

ＭＴＳインデックスは、変換カーネルセット候補のうち、現在ブロックに適用する変換カーネルセットを表すことができる。ここで、ＭＴＳインデックスは、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素またはｍｔｓ＿ｉｄｘシンタックス要素と表すこともできる。また、変換カーネルセットは、現在ブロックに水平方向として適用する変換カーネル及び前記現在ブロックに垂直方向として適用する変換カーネルを含むことができる。ここで、水平方向として適用する変換カーネルは、ｔｒＴｙｐｅＨｏｒと表すことができ、垂直方向として適用する変換カーネルは、ｔｒＴｙｐｅＶｅｒと表すことができる。

例えば、ＭＴＳインデックスは、０～４を含む候補のうち１つで導出されることができ、ＭＴＳインデックスによってｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは、各々０～２のうち１つで導出されることができる。例えば、ＭＴＳインデックスが０である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは共に０であることができる。または、ＭＴＳインデックスが１である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは共に１であることができる。または、ＭＴＳインデックスが２である場合、ｔｒＴｙｐｅＨｏｒは２であり、ｔｒＴｙｐｅＶｅｒは１であることができる。ＭＴＳインデックスが３である場合、ｔｒＴｙｐｅＨｏｒは１であり、ｔｒＴｙｐｅＶｅｒは１であることができる。または、ＭＴＳインデックスが４である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは共に２であることができる。例えば、ｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒの値は、変換カーネルを表すことができ、０である場合、ＤＣＴ２を表すことができ、１である場合、ＤＳＴ７を表すことができ、２である場合、ＤＣＴ８を表すことができる。すなわち、前記水平方向として適用する変換カーネル及び前記垂直方向として適用する変換カーネルの各々は、前記ＭＴＳインデックスに基づいてＤＣＴ２、ＤＳＴ７、及びＤＣＴ８を含む候補のうち１つで導出されることができる。

ＭＴＳインデックスは、ＭＴＳインデックスのビンストリングのビンに基づいて導出されることができる。言い換えれば、ＭＴＳインデックス情報は、エントロピーデコードされて二進化されたＭＴＳインデックスで導出されることができ、二進化されたＭＴＳインデックスは、ＭＴＳインデックスのビンストリング（のビン）で表わされることができる。

言い換えれば、ＭＴＳインデックスのビンストリングのビンのうち、少なくとも１つのビンは、コンテキストコーディングに基づいて導出されることができる。ここで、コンテキストコーディングは、コンテキストインデックス増分（ｃｔｘＩｎｃ）の値に基づいて行われることができる。または、コンテキストコーディングは、コンテキストインデックス（ｃｔｘＩｄｘ）またはコンテキストモデルに基づいて行われることができる。ここで、コンテキストインデックスは、コンテキストインデックス増分の値に基づいて導出されることができる。または、コンテキストインデックスは、コンテキストインデックス増分の値及びコンテキストインデックスオフセット（ｃｔｘＩｄｘＯｆｆｓｅｔ）に基づいて導出されることもできる。

例えば、ＭＴＳインデックスのビンストリングのビンの全てがコンテキストコーディングに基づいて導出されることができる。例えば、ＭＴＳインデックスのビンストリングのビンのうち、１番目のビンまたは０番ビン（ｂｉｎ ０）に対するｃｔｘＩｎｃは、ｃｑｔＤｅｐｔｈに基づいて割り当てられることができる。ここで、ｃｑｔＤｅｐｔｈは、現在ブロックに対するクアッドツリーデプス（ｑｕａｄ－ｔｒｅｅ ｄｅｐｔｈ）を表すことができ、０～５のうち１つの値に導出されることができる。また、２番目のビンまたは１番ビン（ｂｉｎ １）に対するｃｔｘＩｎｃは、６が割り当てられることができ、３番目のビンまたは２番ビン（ｂｉｎ ２）に対するｃｔｘＩｎｃは、７が割り当てられることができ、４番目のビンまたは３番ビン（ｂｉｎ ３）に対するｃｔｘＩｎｃは、８が割り当てられることができる。または、例えば、ＭＴＳインデックスのビンストリングのビンのうち、１番目のビンまたは０番ビン（ｂｉｎ ０）に対するｃｔｘＩｎｃは、０が割り当てられることができ、２番目のビンまたは１番ビン（ｂｉｎ １）に対するｃｔｘＩｎｃは、１が割り当てられることができ、３番目のビンまたは２番ビン（ｂｉｎ ２）に対するｃｔｘＩｎｃは、２が割り当てられることができ、４番目のビンまたは３番ビン（ｂｉｎ ３）に対するｃｔｘＩｎｃは、３が割り当てられることができる。すなわち、前記ビンストリングのビンのうち、１番目のビンのコンテキストコーディングのために使用されることができるコンテキストインデックス増分の値の個数は、１個であることができる。

または、例えば、ＭＴＳインデックスのビンストリングのビンのうち一部がコンテキストコーディングに基づいて導出され、残りは、バイパスコーディングに基づいて導出されることもできる。例えば、ＭＴＳインデックスのビンストリングのビンのうち、１番目のビンまたは０番ビン（ｂｉｎ ０）に対するｃｔｘＩｎｃは、０が割り当てられることができ、残りのビンは、バイパスコーディングに基づいて導出されることができる。または、例えば、ＭＴＳインデックスのビンストリングのビンのうち、１番目のビンまたは０番ビン（ｂｉｎ ０）に対するｃｔｘＩｎｃは、０が割り当てられることができ、２番目のビンまたは１番ビン（ｂｉｎ １）に対するｃｔｘＩｎｃは、１が割り当てられることができ、残りのビンは、バイパスコーディングに基づいて導出されることができる。すなわち、前記ビンストリングのビンのうち、１番目のビンのコンテキストコーディングのために使用されることができるコンテキストインデックス増分の値の個数は、１個であることができる。

または、ＭＴＳインデックスのビンストリングのビンの全てがバイパスコーディングに基づいて導出されることもできる。ここで、バイパスコーディングは、均一な確率分布に基づいてコンテキストコーディングを行うことを表すこともでき、コンテキストコーディングのアップデート手順などが省略されることにより、コーディング効率を向上させることができる。

レジデュアル情報は、レジデュアルサンプルを導出するために利用される情報を表すことができ、レジデュアルサンプルに関する情報、逆変換関連情報、及び／又は逆量子化関連情報を含むことができる。例えば、レジデュアル情報は、量子化された変換係数に関する情報を含むことができる。

デコード装置は、レジデュアル情報に基づいて現在ブロックに対する変換係数を導出する（Ｓ１１１０）。例えば、デコード装置は、レジデュアル情報に含まれた前記量子化された変換係数に関する情報に基づいて現在ブロックに対する量子化された変換係数を導出できる。例えば、デコード装置は、前記量子化された変換係数に対して逆量子化を行って現在ブロックに対する変換係数を導出できる。

デコード装置は、ＭＴＳインデックス及び変換係数に基づいて現在ブロックのレジデュアルサンプルを生成する（Ｓ１１２０）。例えば、前記レジデュアルサンプルは、前記変換係数及び前記ＭＴＳインデックスにより表される変換カーネルセットに基づいて生成されることができる。すなわち、デコード装置は、前記ＭＴＳインデックスにより表される変換カーネルセットを用いた逆変換を介して前記変換係数から前記レジデュアルサンプルを生成できる。ここで、ＭＴＳインデックスにより表される変換カーネルセットを用いた逆変換は、１次逆変換に含まれることができる。または、デコード装置は、変換係数からレジデュアルサンプルを生成の際、１次逆変換だけでなく、２次逆変換も利用することができる。この場合、デコード装置は、変換係数に２次逆変換を行って修正された変換係数を導出し、修正された変換係数に１次逆変換を行って前記レジデュアルサンプルを生成することもできる。

図１１に図示していないが、例えば、デコード装置は、ビットストリームから予測モード／タイプ情報を含む予測関連情報を取得でき、予測モード／タイプ情報に基づいてイントラ予測またはインター予測を行って現在ブロックに対する予測サンプルを生成できる。また、例えば、デコード装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて復元サンプルを生成できる。また、例えば、前記復元サンプルに基づいて復元ブロックまたは復元ピクチャが導出され得る。

例えば、デコード装置は、ビットストリームまたはエンコードされた情報をデコードして前述した情報（または、シンタックス要素）の全部または一部を含む画像情報を取得することができる。また、前記ビットストリームまたはエンコードされた情報は、コンピュータ読み取り可能な格納媒体に格納されることができ、前述したデコード方法が行われるようにすることができる。

前述した実施形態において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、該当実施形態は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または、流れ図の１つまたはそれ以上のステップが本文書の実施形態の範囲に影響を及ぼさずに削除可能であることを理解することができる。

前述した本文書の実施形態による方法は、ソフトウェア形態で具現されることができ、本文書によるエンコード装置及び／またはデコード装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの画像処理を行う装置に含まれることができる。

本文書において、実施形態がソフトウェアで具現される時、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに格納され、プロセッサにより行われることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。即ち、本文書で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて行われることができる。例えば、各図面で示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて行われることができる。この場合、具現のための情報（例えば、ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）またはアルゴリズムがデジタル格納媒体に格納されることができる。

また、本文書の実施形態が適用されるデコード装置及びエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、画像電話ビデオ装置、運送手段端末（例えば、車両（自律走行車両を含む）端末、飛行機端末、船舶端末等）、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使われることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置として、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）などを含むことができる。

また、本文書の実施形態が適用される処理方法は、コンピュータで行われるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。また、本文書の実施形態によるデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読みだすことができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコード方法で生成されたビットストリームがコンピュータが読み取り可能な記録媒体に格納され、または、有無線通信ネットワークを介して送信されることができる。

また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施形態によりコンピュータで行われることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。

図１３は、本文書において開示された実施形態が適用され得るコンテンツストリーミングシステムの例を示す。

図１３に示すように、本文書の実施形態が適用されるコンテンツストリーミングシステムは、大別して、エンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。

前記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略されることができる。

前記ビットストリームは、本文書の実施形態に適用されるエンコード方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。

前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

前記ストリーミングサーバは、メディア格納所及び／またはエンコードサーバからコンテンツを受信することができる。例えば、前記エンコードサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間格納することができる。

前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末（ｓｍａｒｔｗａｔｃｈ）、グラス型端末（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジがある。

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

本明細書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせて装置で具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせて方法で具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせて装置で具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせて方法で具現されることができる。

Claims (3)

1. デコード装置によって行われる画像デコード方法において、
   ビットストリームからＭＴＳ（Multiple Transform Selection）インデックスとレジデュアル情報とを含む画像情報を取得するステップと、
   前記レジデュアル情報に基づいて現在ブロックに対する量子化された変換係数を導出するステップと、
   前記量子化された変換係数に逆量子化を行うことによって前記現在ブロックに対する変換係数を導出するステップと、
   前記ＭＴＳインデックスに関連する変換カーネルセットに基づいて前記変換係数に逆変換を行うことによって前記現在ブロックのレジデュアルサンプルを生成するステップと、
   を含み、
   前記ＭＴＳインデックスは、変換カーネルセット候補のうち、前記現在ブロックに適用される前記変換カーネルセットを表し、
   前記変換カーネルセットは、水平方向に前記現在ブロックに適用される変換カーネルと、垂直方向に前記現在ブロックに適用される変換カーネルとを含み、
   前記ＭＴＳインデックスのビンストリングのビンは、コンテキストコーディングに基づいて導出され、
   前記コンテキストコーディングは、前記ＭＴＳインデックスの前記ビンストリングの前記ビンに対するコンテキストインデックス増分の値に基づいて行われ、
   前記ＭＴＳインデックスの前記ビンストリングの前記ビンは、１番目のビン、２番目のビン、３番目のビン及び４番目のビンを含み、
   前記１番目のビンに対する前記コンテキストインデックス増分の値は、０に固定され、
   前記２番目のビンに対する前記コンテキストインデックス増分の値は、１に固定され、
   前記３番目のビンに対する前記コンテキストインデックス増分の値は、２に固定され、
   前記４番目のビンに対する前記コンテキストインデックス増分の値は、３に固定される、画像デコード方法。
2. エンコード装置によって行われる画像エンコード方法において、
   現在ブロックに対するレジデュアルサンプルを導出するステップと、
   変換カーネルセットに基づいて前記レジデュアルサンプルに変換を行うことによって前記現在ブロックに対する変換係数を導出するステップと、
   前記変換係数に量子化を行うことによって量子化された変換係数を導出するステップと、
   前記変換カーネルセットに関連するＭＴＳ（Multiple Transform Selection）インデックスと、前記量子化された変換係数に関連するレジデュアル情報とを生成するステップと、
   前記ＭＴＳインデックスと前記レジデュアル情報とを含む画像情報をエンコードしてビットストリームを出力するステップと、
   を含み、
   前記ＭＴＳインデックスは、変換カーネルセット候補のうち、前記現在ブロックに適用される前記変換カーネルセットを表し、
   前記変換カーネルセットは、水平方向に前記現在ブロックに適用される変換カーネルと、垂直方向に前記現在ブロックに適用される変換カーネルとを含み、
   前記ＭＴＳインデックスのビンストリングのビンは、コンテキストコーディングに基づいて表わされ、
   前記コンテキストコーディングは、前記ＭＴＳインデックスの前記ビンストリングの前記ビンに対するコンテキストインデックス増分の値に基づいて行われ、
   前記ＭＴＳインデックスの前記ビンストリングの前記ビンは、１番目のビン、２番目のビン、３番目のビン及び４番目のビンを含み、
   前記１番目のビンに対する前記コンテキストインデックス増分の値は、０に固定され、
   前記２番目のビンに対する前記コンテキストインデックス増分の値は、１に固定され、
   前記３番目のビンに対する前記コンテキストインデックス増分の値は、２に固定され、
   前記４番目のビンに対する前記コンテキストインデックス増分の値は、３に固定される、画像エンコード方法。
3. 画像のためのデータの送信方法であって、
   前記画像のためのビットストリームを取得するステップであって、前記ビットストリームは、
   現在ブロックに対するレジデュアルサンプルを導出するステップと、
   変換カーネルセットに基づいて前記レジデュアルサンプルに変換を行うことによって前記現在ブロックに対する変換係数を導出するステップと、
   前記変換係数に量子化を行うことによって量子化された変換係数を導出するステップと、
   前記変換カーネルセットに関連するＭＴＳ（Multiple Transform Selection）インデックス及びレジデュアル情報を生成するステップと、
   前記ＭＴＳインデックスと、前記量子化された変換係数に関連する前記レジデュアル情報とを含む画像情報をエンコードしてビットストリームを出力するステップと、に基づいて生成される、ステップと、
   前記画像のための前記ビットストリームを含む前記データを送信するステップと、
   を含み、
   前記ＭＴＳインデックスは、変換カーネルセット候補のうち、前記現在ブロックに適用される前記変換カーネルセットを表し、
   前記変換カーネルセットは、水平方向に前記現在ブロックに適用される変換カーネルと、垂直方向に前記現在ブロックに適用される変換カーネルとを含み、
   前記ＭＴＳインデックスのビンストリングのビンは、コンテキストコーディングに基づいて表わされ、
   前記コンテキストコーディングは、前記ＭＴＳインデックスの前記ビンストリングの前記ビンに対するコンテキストインデックス増分の値に基づいて行われ、
   前記ＭＴＳインデックスの前記ビンストリングの前記ビンは、１番目のビン、２番目のビン、３番目のビン及び４番目のビンを含み、
   前記１番目のビンに対する前記コンテキストインデックス増分の値は、０に固定され、
   前記２番目のビンに対する前記コンテキストインデックス増分の値は、１に固定され、
   前記３番目のビンに対する前記コンテキストインデックス増分の値は、２に固定され、
   前記４番目のビンに対する前記コンテキストインデックス増分の値は、３に固定される、送信方法。

Images