JP5732454B2 - 空間変化残差符号化を行う方法および装置 - Google Patents

Description

（関連出願の相互参照）
本願は、２００９年７月６日出願の米国仮出願第６１／２２３，２７７号（代理人整理番号第ＰＵ０９００５８号）の利益を主張するものである。

本発明の原理は、一般に映像の符号化および復号に関し、より詳細には、空間変化残差符号化（Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｒｅｓｉｄｕｅ Ｃｏｄｉｎｇ）を行う方法および装置に関する。

ブロックに基づく離散変換は、例えばＪｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ、Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ−Ｔ）Ｈ．２６３勧告（以下「Ｈ．２６３勧告」）、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ（ＩＳＯ／ＩＥＣ） Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−１（ＭＰＥＧ−１）規格、ＩＳＯ／ＩＥＣ ＭＰＥＧ−２規格、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）規格／ＩＴＵ−Ｔ Ｈ．２６４勧告（以下「ＭＰＥＧ−４ ＡＶＣ規格」）など、多くの画像およびビデオの圧縮規格の基本的な構成要素であり、幅広い範囲の応用分野で使用されている。

離散コサイン変換（ＤＣＴ）は、最も広く使用されているブロック変換である。ＤＣＴ方式は、ピクチャを複数のピクセル・ブロック（通常は４×４および８×８）に分割し、ＤＣＴを用いて各ブロックを空間領域から周波数領域に変換し、変換係数を量子化することによって、ピクチャの局所的な空間的相関特性を利用する。大抵の画像およびビデオの圧縮規格は、一定の２次元（２Ｄ）分離可能ＤＣＴブロック変換を使用する。複数のブロック・サイズ（通常は４×４ブロックから１６×１６ブロック）が許容される場合には、ブロックのサイズに対応するサイズを有するＤＣＴを使用する。ただし、各ブロック・サイズ毎に変換は１つしか存在せず、ブロック内の全てのピクセルが、その変換で処理される。

例えばＭＰＥＧ−４ ＡＶＣ規格などの画像およびビデオの符号化規格では、各ブロック・サイズ毎に使用するブロック変換の選択肢は１つである。残差（すなわち予測誤差）を符号化する場合には、この符号化は、変換係数を介して実行される。全てのピクセルが変換される。図１を参照すると、ＭＰＥＧ−４ ＡＶＣ規格のいくつかの変換サイズの全体が、参照番号１００で示してある。図示の変換サイズ１００では、８×８ブロック１１０が符号化される。８×８ブロック１１０は、４×４変換で変換される４つの４×４ブロック１２１から１２４に分割される。場合によっては、一部の４×４ブロックについては、変換係数を送信する必要がないこともある。例えば、図示の変換サイズ１００では、３つの４×４ブロック１２１、１２２および１２３（斜線無しで示す）については残差（対応する係数で表される）が送信されず、残りの４×４ブロック１２４（斜線で示す）については残差が送信される。主な欠点は、変換の空間的サポートが一定であるので、残差の符号化の柔軟性がかなり低下する点である。

１つの従来技術の手法は、空間変化変換を提案することによって、残差符号化ステップにさらなる柔軟性を導入するものである。図２を参照すると、空間変化変換の全体が、参照番号２００で示してある。この場合には、ＭＰＥＧ−４ ＡＶＣ規格に従って残差を符号化することができるが、空間変化変換も許容されている。空間変化変換は、サブブロック２１０（斜線で示す）のみに適用され、残差のその他の部分は符号化されないままである。従って、Ｎ×Ｎブロック２２０のうちのＭ×Ｍ個のピクセルからなるサブブロック２１０が変換される。エンコーダは、Ｍ×Ｍサブブロック２１０の位置（すなわち位置ｘおよびｙ）を信号伝達しなければならない。しかし、この手法は、依然として柔軟性を欠いている。例えば、この手法は、ブロック２２０内に変換が１つしかないために柔軟性が欠けており、残差データの一部の符号化を行わず、また、画質を向上させるためのプレフィルタリングも行われない。

第２の従来技術の手法は、いわゆる適応型予測誤差符号化（ＡＰＥＣ）技術を提案するものである。フレーム間残差は相関性が低く、ＤＣＴは相関性の高いデータにしか適切でない。従って、この第２の従来技術の手法は、空間領域および周波数領域において適応型予測誤差符号化を可能にすることを提案する。予測誤差の各ブロック毎に、変換符号化または空間領域符号化を適用する。レート／歪みコストが低い方のアルゴリズムを、当該ブロックに対して選択する。つまり、この第２の従来技術の手法は、ブロックの残差を符号化するために変換を使用するか否かを選択することを提案するものであるが、究極的には、エントロピ符号化の前に全てのピクセルを変換するか、あるいは全てのピクセルを空間領域で直接エントロピ符号化するかという２つの選択肢の一方のみが、各ブロックに適用される。

空間変化残差符号化を行う方法および装置を対象とする本発明の原理は、従来技術の上記およびその他の欠点および短所に対処するものである。

本発明の原理の１つの特徴によれば、装置が提供される。この装置は、ピクチャ内の少なくとも１つのブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するビデオ・エンコーダを含む。前記ブロックの一部分は、１つまたは複数の変換を使用して変換され、前記ブロックの残りの領域は、前記１つまたは複数の変換とは別の代替の符号化方法を使用して符号化されるか、あるいは符号化されない。

本発明の原理の別の特徴によれば、ビデオ・エンコーダにおける方法が提供される。この方法は、ピクチャ内の少なくとも１つのブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するステップを含む。前記ブロックの一部分は、１つまたは複数の変換を使用して変換され、前記ブロックの残りの領域は、前記１つまたは複数の変換とは別の代替の符号化方法を使用して符号化されるか、あるいは符号化されない。

本発明の原理のさらに別の特徴によれば、装置が提供される。この装置は、ピクチャ内の少なくとも１つのブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するビデオ・デコーダを含む。１つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記１つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する。

本発明の原理のさらに別の特徴によれば、ビデオ・デコーダにおける方法が提供される。この方法は、ピクチャ内の少なくとも１つのブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するステップを含む。１つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記１つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する（９２０）。

本発明の原理の追加の特徴によれば、装置が提供される。この装置は、多層残差符号化を用いてピクチャ内の少なくとも１つのブロックのピクチャ・データを符号化するビデオ・エンコーダを含む。前記ブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する元の残差を、第１の符号化方法を用いて符号化して、符号化された残差を得る。前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第２の符号化方法を用いて符号化する。

本発明の原理の別の追加の特徴によれば、ビデオ・エンコーダにおける方法が提供される。この方法は、多層残差符号化を用いてピクチャ内の少なくとも１つのブロックのピクチャ・データを符号化するステップを含む。前記ブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する元の残差を、第１の符号化方法を用いて符号化して、符号化された残差を得る。前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第２の符号化方法を用いて符号化する。

本発明の原理のさらに別の追加の特徴によれば、装置が提供される。この装置は、多層残差復号を用いてピクチャ内の少なくとも１つのブロックのピクチャ・データを復号するビデオ・デコーダを含む。前記ブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する元の残差を、第１の復号方法を用いて復号して、復号された残差を得る。前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第２の復号方法を用いて復号する。

本発明の原理のさらに別の追加の特徴によれば、ビデオ・デコーダにおける方法が提供される。この方法は、多層残差復号を用いてピクチャ内の少なくとも１つのブロックのピクチャ・データを復号するステップを含む。前記ブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する元の残差を、第１の復号方法を用いて復号して、復号された残差を得る。前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第２の復号方法を用いて復号する。

本発明の原理の上記およびその他の特徴、特性および利点は、以下の例示的な実施例の詳細な説明を、添付の図面と関連付けて読めば明らかになるであろう。

本発明の原理は、以下の例示的な図面によってよりよく理解することができる。

ＭＰＥＧ−４ ＡＶＣ規格におけるいくつかの変換サイズを示す図である。 空間変化変換を示す図である。 本発明の原理の一実施例による、本発明の原理を適用することができる例示的なビデオ・エンコーダを示すブロック図である。 本発明の原理の一実施例による、本発明の原理を適用することができる例示的なビデオ・デコーダを示すブロック図である。 本発明の原理の一実施例による、空間変化残差符号化の一例を示す図である。 本発明の原理の一実施例による、２つの完全に重複する変換の組合せを用いる空間変化残差符号化の一例を示す図である。 本発明の原理の一実施例による、フィルタリングを用いる空間変化残差符号化の一例を示す図である。 本発明の原理の一実施例による、ブロック残差の空間変化符号化を実行する例示的な方法を示す流れ図である。 本発明の原理の一実施例による、ブロック残差の空間変化復号を実行する例示的な方法を示す流れ図である。 本発明の原理の一実施例による、ブロック残差の空間変化符号化を実行する別の例示的な方法を示す流れ図である。 本発明の原理の一実施例による、ブロック残差の空間変化復号を実行する別の例示的な方法を示す流れ図である。 本発明の原理の一実施例による、ブロック残差の空間変化符号化を実行するさらに別の例示的な方法を示す流れ図である。 本発明の原理の一実施例による、ブロック残差の空間変化復号を実行するさらに別の例示的な方法を示す流れ図である。

本発明の原理は、空間変化残差符号化を行う方法および装置を対象とする。

本明細書は、本発明の原理を例示するものである。従って、当業者なら、本明細書に明示的には記述または図示していなくても、本発明の原理を実現し、本発明の趣旨および範囲内に含まれる様々な構成を考案することができることを理解されたい。

本明細書に記載する全ての例および条件に関する表現は、本発明の原理と、当技術分野をさらに進歩させるために発明者が与える概念とを、読者が理解するのを助けるという教育的な目的を有するものであって、これらの具体的に記載した例および条件に限定されるわけではないものと解釈されたい。

さらに、本発明の原理、特徴および実施例、ならびに本発明の原理の具体的な例について本明細書に記載する全ての記述は、その構造的均等物および機能的均等物の両方を含むものとする。さらに、これらの均等物には、現在既知の均等物だけでなく、将来開発されるであろう均等物も含まれる、すなわち、その構造に関わらず、同じ機能を実行する、開発される任意の要素も含まれるものとする。

従って、例えば、当業者なら、本明細書に示すブロック図が本発明の原理を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示してある場合もしていない場合もあるコンピュータまたはプロセッサによって実質的に実行される様々なプロセスを表すことを理解されたい。

図面に示す様々な要素の機能は、専用のハードウェアを使用することによって、またソフトウェアを実行することができるハードウェアを適当なソフトウェアと関連付けて使用することによって、実現することができる。プロセッサによってそれらの機能を実現するときには、単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実現することもできる。さらに、「プロセッサ」または「制御装置」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）および不揮発性記憶装置（ただしこれらに限定されない）を暗に含むことがある。

従来の、且つ／または特注の、その他のハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。それらの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理の相互作用によっても、あるいは手作業でも実施することができ、開発者が、前後関係から適宜判断して特定の技術を選択することができる。

本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、当該機能を実行する任意の方法を含むものとする。例えば、（ａ）当該機能を実行する回路素子の組合せや、（ｂ）ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含むものとする。特許請求の範囲によって定義される本発明の原理は、記載した様々な手段が実施する機能を、特許請求の範囲が要求するかたちで組み合わせ、まとめることにある。従って、これらの機能を実施することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。

本明細書において、本発明の原理の「一実施例」または「実施例」あるいはその他の変形例と述べている場合、それは、当該実施例に関連して述べられる特定の特性、構造、特徴などが、本発明の原理の少なくとも１つの実施例に含まれるという意味である。従って、本明細書の様々な箇所に見られる「一実施例において」または「実施例において」という表現、あるいはその他の任意の変形表現は、その全てが必ずしも同じ実施例のことを指しているわけではない。

例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」ならびに「ＡおよびＢの少なくとも１つ」の場合など、「／」、「および／または」ならびに「の少なくとも１つ」の何れかを使用している場合、それは、１番目に挙げた選択肢（Ａ）のみを選択すること、または２番目に挙げた選択肢（Ｂ）のみを選択すること、または両方の選択肢（ＡおよびＢ）を選択することを含むということであることを理解されたい。さらに別の例として、「Ａ、Ｂおよび／またはＣ」ならびに「Ａ、ＢおよびＣの少なくとも１つ」の場合には、この表現は、１番目に挙げた選択肢（Ａ）のみを選択すること、または２番目に挙げた選択肢（Ｂ）のみを選択すること、または３番目に挙げた選択肢（Ｃ）のみを選択すること、または１番目と２番目に挙げた選択肢（ＡおよびＢ）のみを選択すること、または１番目と３番目に挙げた選択肢（ＡおよびＣ）のみを選択すること、または２番目と３番目に挙げた選択肢（ＢおよびＣ）のみを選択すること、または３つ全ての選択肢（ＡおよびＢおよびＣ）を選択することを含むということである。当技術分野および関連技術分野の当業者には容易に分かるように、この解釈は、列挙されている項目の数に応じて拡張することができる。

さらに、本明細書で使用する「ピクチャ」および「画像」という用語は入れ替えて使用してもよく、ビデオ・シーケンスに含まれる静止画像またはピクチャを指している。既知の通り、ピクチャは、フレームであってもフィールドであってもよい。

さらに、本明細書で使用する「信号伝達」という用語は、対応するデコーダに対して何かを示すことを指している。例えば、エンコーダは、エンコーダ側で具体的にどのパラメータが使用されたかがデコーダに分かるようにするために、空間変化残差符号化に関する１つまたは複数のパラメータを信号伝達することができる。このようにして、エンコーダ側とデコーダ側の両方で同じパラメータを使用することができる。従って、例えば、エンコーダは、デコーダに特定のパラメータを伝送して、デコーダが同じ特定のパラメータを使用することができるようにすることもできるし、あるいは、デコーダが既に当該特定のパラメータおよびその他のパラメータを有している場合には、信号伝達を（伝送は使用せずに）使用して、単に、デコーダが当該特定のパラメータを知り、これを選択することができるようにすることもできる。いかなるパラメータも実際に伝送することを避けることにより、ビット節約を実現することができる。信号伝達は、様々な方法で実施することができることを理解されたい。例えば、１つまたは複数のシンタックス要素やフラグなどを使用して、対応するデコーダに情報を信号伝達することができる。

図３を参照すると、本発明の原理を適用することができる例示的なビデオ・エンコーダの全体を、参照番号３００で示してある。ビデオ・エンコーダ３００は、結合器３８５の非反転入力と信号伝達している出力を有するフレーム順序付けバッファ３１０を含む。結合器３８５の出力は、変換器／量子化器３２５の入力、および空間変化技術モジュール３１１の入力に信号伝達で接続される。空間変化技術モジュール３１１の出力は、選択モジュール３１２の第１の入力に信号伝達で接続される。変換器／量子化器３２５の出力は、選択モジュール３１２の第２の入力に信号伝達で接続される。選択モジュール３１２の出力は、エントロピ・コーダ３４５の第１の入力、逆空間変化技術モジュール３１３の第１の入力、および逆変換器／逆量子化器３５０の第１の入力に信号伝達で接続される。エントロピ・コーダ３４５の出力は、結合器３９０の第１の非反転入力に信号伝達で接続される。結合器３９０の出力は、出力バッファ３３５の第１の入力に信号伝達で接続される。

エンコーダ制御装置３０５の第１の出力は、フレーム順序付けバッファ３１０の第２の入力、逆空間変化技術モジュール３１３の第２の入力、逆変換器／逆量子化器３５０の第２の入力、ピクチャ・タイプ判断モジュール３１５の入力、マクロブロック・タイプ（ＭＢタイプ）判断モジュール３２０の第１の入力、イントラ予測モジュール３６０の第２の入力、デブロッキング・フィルタ３６５の第２の入力、動き補償器３７０の第１の入力、動き推定器３７５の第１の入力、および参照ピクチャ・バッファ３８０の第２の入力に信号伝達で接続される。

エンコーダ制御装置３０５の第２の出力は、付加拡張情報（ＳＥＩ）挿入器３３０の第１の入力、エントロピ・コーダ３４５の第２の入力、出力バッファ３３５の第２の入力、およびシーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器３４０の入力に信号伝達で接続される。

ＳＥＩ挿入器３３０の出力は、結合器３９０の第２の非反転入力に信号伝達で接続される。

ピクチャ・タイプ判断モジュール３１５の第１の出力は、フレーム順序付けバッファ３１０の第３の入力に信号伝達で接続される。ピクチャ・タイプ判断モジュール３１５の第２の出力は、マクロブロック・タイプ判断モジュール３２０の第２の入力に信号伝達で接続される。

シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器３４０の出力は、結合器３９０の第３の非反転入力に信号伝達で接続される。

逆量子化器／逆変換器３５０の出力および逆空間変化技術モジュール３１３の出力は、結合器３１９の第１の非反転入力に信号伝達で接続される。結合器３１９の出力は、イントラ予測モジュール３６０の第１の入力およびデブロッキング・フィルタ３６５の第１の入力に信号伝達で接続される。デブロッキング・フィルタ３６５の出力は、参照ピクチャ・バッファ３８０の第１の入力に信号伝達で接続される。参照ピクチャ・バッファ３８０の出力は、動き推定器３７５の第２の入力および動き補償器３７０の第３の入力に信号伝達で接続される。動き推定器３７５の第１の出力は、動き補償器３７０の第２の入力に信号伝達で接続される。動き推定器３７５の第２の出力は、エントロピ・コーダ３４５の第３の入力に信号伝達で接続される。

動き補償器３７０の出力は、スイッチ３９７の第１の入力に信号伝達で接続される。イントラ予測モジュール３６０の出力は、スイッチ３９７の第２の入力に信号伝達で接続される。マクロブロック・タイプ判断モジュール３２０の出力は、スイッチ３９７の第３の入力に信号伝達で接続される。スイッチ３９７の第３の入力は、スイッチの「データ」入力（「データ」入力とは、制御入力すなわち第３の入力に対する呼称）が、動き補償器３７０またはイントラ予測モジュール３６０によって与えられるか否かを判定する。スイッチ３９７の出力は、結合器３１９の第２の非反転入力および結合器３８５の反転入力に信号伝達で接続される。

フレーム順序付けバッファ３１０の第１の入力およびエンコーダ制御装置３０５の入力は、入力ピクチャ３０１を受信するための、エンコーダ３００の入力として利用することができる。さらに、付加拡張情報（ＳＥＩ）挿入器３３０の第２の入力は、メタデータを受信するための、エンコーダ３００の入力として利用することができる。出力バッファ３３５の出力は、ビットストリームを出力するための、エンコーダ３００の出力として利用することができる。

図４を参照すると、本発明の原理を適用することができる例示的なビデオ・デコーダの全体を、参照番号４００で示してある。ビデオ・デコーダ４００は、エントロピ・デコーダ４４５の第１の入力に信号伝達で接続された出力を有する入力バッファ４１０を含む。エントロピ・デコーダ４４５の第１の出力は、セレクタ４１２の入力に信号伝達で接続される。セレクタ４１２の出力は、逆変換器／逆量子化器４５０の第１の入力および逆空間変化技術モジュール４１３の第１の入力に信号伝達で接続される。逆変換器／逆量子化器４５０の出力および逆空間変化技術モジュール４１３の出力は、結合器４２５の第２の非反転入力に信号伝達で接続される。結合器４２５の出力は、デブロッキング・フィルタ４６５の第２の入力およびイントラ予測モジュール４６０の第１の入力に信号伝達で接続される。デブロッキング・フィルタ４６５の第２の出力は、参照ピクチャ・バッファ４８０の第１の入力に信号伝達で接続される。参照ピクチャ・バッファ４８０の出力は、動き補償器４７０の第２の入力に信号伝達で接続される。

エントロピ・デコーダ４４５の第２の出力は、動き補償器４７０の第３の入力、デブロッキング・フィルタ４６５の第１の入力、およびイントラ予測器４６０の第３の入力に信号伝達で接続される。エントロピ・デコーダ４４５の第３の出力は、デコーダ制御装置４０５の入力に信号伝達で接続される。デコーダ制御装置４０５の第１の出力は、エントロピ・デコーダ４４５の第２の入力に信号伝達で接続される。デコーダ制御装置４０５の第２の出力は、逆変換器／逆量子化器４５０の第２の入力に信号伝達で接続される。デコーダ制御装置４０５の第３の出力は、デブロッキング・フィルタ４６５の第３の入力に信号伝達で接続される。デコーダ制御装置４０５の第４の出力は、イントラ予測モジュール４６０の第２の入力、動き補償器４７０の第１の入力、および参照ピクチャ・バッファ４８０の第２の入力に信号伝達で接続される。デコーダ制御装置４０５の第５の出力は、逆空間変化技術モジュール４１３の第２の入力に信号伝達で接続される。

動き補償器４７０の出力は、スイッチ４９７の第１の入力に信号伝達で接続される。イントラ予測モジュール４６０の出力は、スイッチ４９７の第２の入力に信号伝達で接続される。エントロピ・デコーダ４４５の第４の出力は、スイッチ４９７の第３の入力に信号伝達で接続される。スイッチ４９７の第３の入力は、スイッチの「データ」入力（「データ」入力とは、制御入力すなわち第３の入力に対する呼称）が、動き補償器４７０またはイントラ予測モジュール４６０によって与えられるか否かを判定する。スイッチ４９７の出力は、結合器４２５の第１の非反転入力に信号伝達で接続される。

入力バッファ４１０の入力は、入力ビットストリームを受信するための、デコーダ４００の入力として利用することができる。デブロッキング・フィルタ４６５の第１の出力は、出力ピクチャを出力するための、デコーダ４００の出力として利用することができる。

現在の大抵のビデオ符号化規格では、空間領域の残差の相関を効率的に低減させるために変換を利用している。変換のサイズは、通常は、予測データのサイズによって決まる。また、変換符号化は、残差の変化する特徴を扱うためのその他の符号化技術と組み合わされない。これらの方式では、ブロック・サイズ毎に変換が１つしかなく、ブロック内の全てのピクセルがその変換で処理されるので、制限がある。画像およびビデオ・コンテンツ・データの統計および性質は変化する。従って、各ブロックで複数の変換を使用し、一部の残差データの圧縮にその他の技術を使用できるようにすれば、圧縮利得がある可能性がある。発明者等は、この非効率性を認識し、そのため、本発明の原理によって、１つのブロックで複数の変換を同時に併用するとともに、変換しない残差データの符号化にその他の技術を使用することを可能にする方法および装置を提案する。好ましい実施例では、発明者等は、プレフィルタリングおよびポストフィルタリング技術を使用して画質および効率を改善することにより、この手法を強化する。従って、１つまたは複数の実施例では、本発明の原理は、残差の空間変化変換および符号化方法と相補的なフィルタリング技術とを使用して、画像およびビデオ・データの効率および画質を改善する。

残差符号化の空間変化技術
ビデオ符号化技術は、より高い表示解像度および高精細度（ＨＤ）コンテンツの使用が増えていることによる要件を満たすようになってきている。高精細度コンテンツ符号化の効率の点では、ブロック単位が大きい方が有利である。従って、予測単位およびその結果生じる残差変換が大きくなる。通常は、ブロック・サイズは、４×４または８×８ブロックから３２×３２または６４×６４ブロックに拡大される。１２８×１２８ピクセルという大きさの符号化単位を用いる提案もある。

一方で、予測技術は急速に改良が進んでおり、残差データが、従来のビデオ符号化規格とは全く異なる低い空間的相関およびスパーシティ（ｓｐａｒｓｉｔｙ：希薄）特性を有するようになってきている。

この２つの傾向（単位が大きくなっていること、および予測が改良されてきていること）の結果として、ＤＣＴ手法は、残差符号化を適切に扱うことができなくなっている。残差の空間的変動制に適応することができる新たな技術が必要とされている。

本発明の原理によれば、発明者等は、１つのブロックの残差を符号化するために様々な変換およびその他の技術を組み合わせることを提案する。このようにすると、残差データのいくつかの部分で観察される空間的相関を利用すると同時に、同じブロックの残差のその他の部分で観察されるスパーシティも利用することができる。本発明の原理は、小さいブロックを用いる既存のビデオ符号化規格、勧告およびそれらの拡張だけでなく、より大きなブロックおよび改良された予測方法を用いる新たなコーデック・パラダイムにも適していることを理解されたい。すなわち、本発明の原理は、任意のブロック・サイズを用いるビデオ符号化規格、勧告およびそれらの拡張に適用することができる。

図５を参照すると、空間変化残差符号化の一例の全体を、参照番号５００で示してある。空間変化残差符号化５００は、ブロック５０５を形成するＮピクセル×Ｎピクセルのピクチャ・データを含む。ブロック５０５は、１つまたは複数の変換を用いて符号化されるが、これらの変換は、必ずしもブロック５０５の全体をカバーするとは限らない。例えば、ブロック５０５内のサブブロック５１１から５１３（斜線で示す）は、このブロックをカバーしていない。サブブロック５１１から５１３は、上記の１つまたは複数の変換によって符号化される。次いで、残りの残差（斜線が施されていない背景）が、別の方法で符号化される。この別の方法（以下、「背景方法」と呼ぶ）は、例えば、上述の第２の従来技術の手法に対応する空間領域符号化であってもよいし、あるいは、当技術分野および関連技術分野の当業者には既知のその他の何らかの代替方法を用いるものであってもよい。別の実施例では、背景方法は、レンペル・ジフ方法であってもよいし、あるいは、マルチスケール回帰パターン、または適応型確率モデルを用いたマルチスケール回帰パターン、またはベクトル量子化などを用いるものであってもよい。本明細書に与える本発明の原理の教示があれば、当技術分野および関連技術分野の当業者なら、残りの残差を符号化する上記およびその他の多くの選択肢を企図できることを理解されたい。さらに、上記の（背景）方法の２つ以上を組み合わせて、残りの残差を符号化することもできることも理解されたい。最後に、エンコーダは、「従来の」変換方式を使用するか、提案する空間変化技術を使用するかを選択することができ、そのため、エンコーダは、ブロック全体に対して変換を使用する選択肢を保持しながら、この新たな技術を利することもできる（後者は、全てではないが多くの状況でうまくいくことが分かっている）。

この状況で、エンコーダは、変換の数、それらのサイズおよび位置を示し、また残りの残差を符号化するために選択された背景方法が何であるかを示さなければならない。これらのパラメータは、例えばシーケンス・レベル、フレーム・レベル、スライス・レベル、および／またはその他の何らかのレベルで、意図的に固定することができ、従って、これらのパラメータの一部または全てを必ずしもその都度示す必要がないこともある。

ブロック内の変換のセットの位置は、適応的にすることができる。一実施例では、エンコーダは、各変換の位置を明示的に示す。送信するパラメータとしては、例えば、（１）各変換のｘおよびｙ、（２）以前の変換に対するｘおよびｙ、または（３）（相対）位置の角度や係数など、ｘおよびｙと等価なその他の値などが挙げられるが、これらに限定されるわけではない。もちろん、本明細書に与える本発明の原理の教示があれば、当技術分野および関連技術分野の当業者なら、本発明の原理の趣旨および範囲を維持しながら、本発明の原理によって送信することができる上記およびその他のパラメータを企図できるであろう。

別の実施例では、デコーダは、以前に再構築したデータおよび符号化における諸選択から、（少なくとも一部の）変換の位置を推定する。例えば、変換の位置および数は、以前のブロックの予測データ、予測モード、以前の残差または動きベクトルなど（ただしこれらに限定されない）によって決まることがある。選択は、エンコーダおよびデコーダの両方で利用可能なデータによって決まるので、それらは同じ判断を下すことができ、従って、同期することができる（従ってこれを支援する付加情報を送信する必要がなくなる）。

一般に、提案する方法は、変換が互いに重複しないときにより高い利得をもたらすことができるが、状況によっては、この重複が性能に利することもある。１つまたは複数の実施例では、提案する方法は、変換の位置および背景方法を制限しない、すなわちこれらが重複することができる。

この点から、多層残差符号化を用いる別の実施例が得られる。図６を参照すると、完全に重複する２つの変換の組合せを用いる空間変化残差符号化の一例の全体が、参照番号６００で示してある。この場合には、最初に、残差を１つの方法で符号化する。次いで、この符号化された残差を、元の残差から減算する。その後、残りの残差を、別の方法で符号化する。この方法のよい例を、以下に挙げる。
１．当該変換手法を用いてブロック（Ｎ×Ｎ）６１０を符号化する。
２．当該変換の最大の低周波係数のみを保持する。
３．符号化された残差を元の残差から減算する。
４．別の変換を用いて（１つまたは複数の）サブブロック（例えば斜線で示すＭ×Ｍサブブロック６２０）を符号化する。

この多層残差符号化方法は、２レイヤの残差を使用し、空間的に変化する。第１の層は、ブロック６１０全体の残差の広範な記述を与える。第２の層は、符号化が特に困難な領域または関心領域（例えばサブブロック６２０）に焦点を当てることができるので、第２の層は、当該特定領域に関して第１の層を洗練することができる。この手法は、スケーラブル・ビデオ符号化（ＳＶＣ）の信号対雑音比（ＳＮＲ）のスケーラビリティに容易に拡張することができる。

これは、単なる例に過ぎない。従って、本発明の原理は、このような２つ（またはそれ以上）のレイヤが変換符号化に依拠している場合に限定されるわけではないことを理解されたい。例えば、第２のレイヤは、空間領域手法を用いて符号化することもできる。上記およびその他の変形例は、本明細書に与える本発明の原理の教示があれば、当技術分野および関連技術分野の当業者によって容易に企図される。

残差符号化の空間変化技術のためのフィルタリング
空間変化技術では、近接するデータが様々な方法または変換を用いて再構築されることになるので、多くのビデオ符号化規格で見られるブロッキング・アーティファクトなどのようなアーティファクトが境界に沿って生じる可能性がある。アーティファクトは、フィルタリングを行えば低減または除去することができる。このフィルタリングは、デブロッキング・フィルタ、低域通過フィルタ、非線形フィルタ、ラップ変換（ｌａｐｐｅｄ ｔｒａｎｓｆｏｒｍ）などとすることができる。変換のタイプおよびサイズ、量子化レベル、ならびにその他の符号化パラメータによって、このフィルタリングの最良の選択肢が決定される。

図７を参照すると、フィルタリングを用いる空間変化残差符号化の一例の全体が、参照番号７００で示してある。図示のように、ブロック７０５内の境界（例えばサブブロックの境界）を横切るフィルタリングを実行することができる。フィルタリングは、隣接する領域に応じて異なったものとすることができる。例えば、２つの変換サブブロック７１１と７１２（斜線で示す）の間（図７では白矢印）ではデブロッキング・フィルタを使用することができ、変換サブブロック７１１および７１２（斜線で示す）と背景方法で符号化されるそれらの隣接領域（無地で示す）との間（図７では黒矢印）では低域通過フィルタリングを使用することができる。

一実施例では、これらのフィルタは全て、ブロックの再構築後に適用される。しかし、別の実施例では、空間変化技術で符号化する前にデータをプレフィルタリングするという代替方法がある。この場合には、最初に、異なる技術で符号化する領域間にフィルタを適用し、その後、このフィルタリング済みの残差を符号化する。

デコーダでは、逆の処理を適用する。最初に、空間変化方法を使用して残差を復号し、次いで、上記の領域間で逆フィルタリングを適用する。

このようなフィルタの一例は、以下の線形フィルタＦである。

ここで、ａ、ｂ、ｃ、ｄは、フィルタのパラメータである。これは、境界の４つのピクセルに適用される１Ｄ線形フィルタであり、２つは当該領域範囲の一方側にあり、２つは他方側にある。もちろん、本発明の原理は、上記のフィルタのみに限定されるわけではなく、従って、本発明の原理によれば、本発明の原理の趣旨および範囲を維持しながら、非線形フィルタ、適応型フィルタ、２Ｄフィルタ、およびその他の多くの様々なフィルタを利用することができることを理解されたい。

デコーダ側では、逆フィルタＦ^−１が適用される。

つまり、１つまたは複数の実施例では、発明者等は、残差符号化のための空間変化技術と連動するフィルタリングを提案する。一実施例では、（残差符号化の前に）プレフィルタを使用する。別の実施例では、（残差符号化の後で）ポストフィルタを使用する。さらに別の実施例では、プレフィルタおよびポストフィルタの両方を使用する。

図８を参照すると、ブロック残差の空間変化符号化を実行する例示的な方法の全体が、参照番号８００で示してある。方法８００は、制御を機能ブロック８１０に渡す開始ブロック８０５を含む。機能ブロック８１０では、サイズＮ×Ｎのブロック残差データを入力し、制御を機能ブロック８１５および機能ブロック８２０に渡す。機能ブロック８１５では、サイズＮ×Ｎの変換をブロック残差データに適用し、制御を機能ブロック８２５に渡す。機能ブロック８２５では、（サイズＮ×Ｎの変換を適用した結果に基づいて）レート／歪み解析を実行し、制御を機能ブロック８３５に渡す。機能ブロック８２０では、サイズＭｋ×ＭｋのＫ個の変換および背景方法をブロック残差データに適用し、制御を機能ブロック８２３に渡す。機能ブロック８２３では、ブロックの複数の部分に渡って異なる変換または方法を用いてフィルタリングを行い、制御を機能ブロック８３０に渡す。機能ブロック８３０では、（サイズＭｋ×ＭｋのＫ個の変換および背景方法を適用した結果に基づいて）レート／歪み解析を実行し、制御を機能ブロック８３５に渡す。

機能ブロック８３５では、機能ブロック８２５および８３０で実行されたそれぞれのレート／歪み解析のそれぞれの結果を相互に比較し、この比較の結果に基づいて適用する変換を選択し、選択した変換を適用して残差を符号化し、制御を機能ブロック８４０に渡す。機能ブロック８４０では、選択した変換および符号化された残差を出力し、制御を終了ブロック８９９に渡す。

図９を参照すると、ブロック残差の空間変化復号を実行する例示的な方法の全体が、参照番号９００で示してある。方法９００は、制御を機能ブロック９１０に渡す開始ブロック９０５を含む。機能ブロック９１０では、符号化された残差を入力し、制御を判断ブロック９１５に渡す。判断ブロック９１５では、空間変化残差復号を実行するか否かを判定する（これはエンコーダが行ったことに応じて行う、すなわちエンコーダで下された判断を復号する）。実行する場合には、制御は、機能ブロック９２０に渡される。そうでない場合には、制御は、機能ブロック９２５に渡される。機能ブロック９２０では、符号化された残差に、サイズＭｋ×ＭｋのＫ個の逆変換および逆背景方法を適用し、制御を機能ブロック９２３に渡す。機能ブロック９２３では、ブロックの複数の部分に渡って異なる変換または方法を用いてフィルタリングを行い、制御を機能ブロック９２５に渡す。機能ブロック９２５では、符号化された残差に逆Ｎ×Ｎ変換を適用し、制御を機能ブロック９３０に渡す。機能ブロック９３０では、その結果得られた残差データを出力し、制御を終了ブロック９９９に渡す。

図１０を参照すると、ブロック残差の空間変化符号化を実行する別の例示的な方法の全体が、参照番号１０００で示してある。方法１０００は、制御を機能ブロック１０１０に渡す開始ブロック１００５を含む。機能ブロック１０１０では、サイズＮ×Ｎのブロック残差データを入力し、制御を機能ブロック１０２０および機能ブロック１０４０に渡す。機能ブロック１０２０では、サイズＮ×Ｎの変換を適用し、制御を機能ブロック１０２５に渡す。機能ブロック１０２５では、符号化された残差を元の残差から減算し、制御を機能ブロック１０３０に渡す。機能ブロック１０３０では、サイズＭ×ＭのＭ×Ｍ変換を適用し、制御を機能ブロック１０５０に渡す。機能ブロック１０５０では、（サイズＭ×Ｍの変換を適用した結果に基づいて）レート／歪み解析を実行し、制御を機能ブロック１０６０に渡す。機能ブロック１０４０では、マルチスケール回帰パターン方法に基づいてサイズＭ×Ｍの変換および背景方法を適用し、制御を機能ブロック１０４５に渡す。機能ブロック１０４５では、変換のサイズＭおよび位置を送信し、制御を機能ブロック１０５５に渡す。機能ブロック１０５５では、（サイズＭ×Ｍの変換を適用した結果に基づいて）レート／歪み解析を実行し、制御を機能ブロック１０６０に渡す。機能ブロック１０６０では、これらのレート／歪み解析の結果を比較し、この比較の結果に基づいて変換を選択し、選択した変換を適用し、制御を機能ブロック１０６５に渡す。機能ブロック１０６５では、符号化における選択および符号化された残差を出力し、制御を機能ブロック１０９９に渡す。

図１１を参照すると、ブロック残差の空間変化復号を実行する別の例示的な方法の全体が、参照番号１１００で示してある。方法１１００は、制御を機能ブロック１１１０に渡す開始ブロック１１０５を含む。機能ブロック１１１０では、符号化された残差を入力し、制御を判断ブロック１１１５に渡す。判断ブロック１１１５では、多層復号方法を使用するか否かを判定する。使用する場合には、制御は、機能ブロック１１３０に渡される。そうでない場合には、制御は、機能ブロック１１５０に渡される。機能ブロック１１３０では、変換のサイズＭおよび位置を復号し、制御を機能ブロック１１４０に渡す。機能ブロック１１４０では、マルチスケール回帰パターン方法に基づいて逆Ｍ×Ｍ変換および背景方法を適用し、制御を機能ブロック１１７０に渡す。機能ブロック１１５０では、サイズＭ×Ｍの逆変換を適用し、制御を機能ブロック１１５５に渡す。機能ブロック１１５５では、サイズＮ×Ｎの逆変換を適用し、制御を機能ブロック１１６０に渡す。機能ブロック１１６０では、Ｎ×Ｎ変換およびＭ×Ｍ変換で得られた残差を加算し、制御を機能ブロック１１７０に渡す。機能ブロック１１７０では、符号化された残差を出力し、制御を終了ブロック１１９９に渡す。

図１２を参照すると、ブロック残差の空間変化符号化を実行するさらに別の例示的な方法の全体が、参照番号１２００で示してある。方法１２００は、制御を機能ブロック１２０５に渡す開始ブロック１２０２を含む。機能ブロック１２０５では、元の残差に対応するサイズＮ×Ｎのブロック残差データを入力し、制御を機能ブロック１２１０に渡す。機能ブロック１２１０では、（元の残差に）Ｎ×Ｎ変換を適用して（符号化された残差を得）、制御を機能ブロック１２１５に渡す。機能ブロック１２１５では、符号化された残差を元の残差から減算し、制御を機能ブロック１２２０および機能ブロック１２３０に渡す。機能ブロック１２２０では、ブロックの一部分に背景方法を適用し、制御を機能ブロック１２２５に渡す。機能ブロック１２２５では、（ブロックの一部分に背景方法を適用した結果に基づいて）レート／歪み解析を実行し、制御を機能ブロック１２５５に渡す。

機能ブロック１２３０では、マルチスケール回帰パターン方法に基づいてＭ×Ｍ変換および背景方法を適用し、制御を機能ブロック１２３５に渡す。機能ブロック１２３５では、変換のサイズＭおよび位置を送信し、制御を機能ブロック１２４０に渡す。機能ブロック１２４０では、（Ｍ×Ｍ変換および背景方法を適用した結果に基づいて）レート／歪み解析を実行し、制御を機能ブロック１２５５に渡す。

機能ブロック１２５５では、これらのレート／歪み解析の結果を比較し、この比較の結果に基づいて変換を選択し、選択した変換を適用し、制御を機能ブロック１２６０に渡す。機能ブロック１２６０では、符号化における選択および符号化された残差を出力し、制御を終了ブロック１２９９に渡す。

図１３を参照すると、ブロック残差の空間変化復号を実行するさらに別の例示的な方法の全体が、参照番号１３００で示してある。方法１３００は、制御を機能ブロック１３１０に渡す開始ブロック１３０５を含む。機能ブロック１３１０では、符号化された残差を入力し、制御を判断ブロック１３１５に渡す。判断ブロック１３１５では、サイズＭの逆変換を適用するか否かを判定する。適用する場合には、制御は、機能ブロック１３２０に渡される。そうでない場合には、制御は、機能ブロック１３３０に渡される。機能ブロック１３２０では、変換のサイズＭおよび位置を復号し、制御を機能ブロック１３２５に渡す。機能ブロック１３２５では、マルチスケール回帰パターン方法に基づいて逆Ｍ×Ｍ変換および背景方法を適用し、制御を機能ブロック１３３５に渡す。機能ブロック１３３０では、ブロックの一部分に逆背景方法を適用し、制御を機能ブロック１３３５に渡す。機能ブロック１３３５では、逆Ｎ×Ｎ変換を適用し、制御を機能ブロック１３４０に渡す。機能ブロック１３４０では、残差を加算し、制御を機能ブロック１３４５に渡す。機能ブロック１３４５では、復号された残差を出力し、制御を終了ブロック１３９９に渡す。

以下、一部については既に上述した、本発明の数多くの付随的な利点／特性のうちのいくつかについて説明する。例えば、１つの利点／特性は、ピクチャ内の少なくとも１つのブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するビデオ・エンコーダを有する装置であって、前記ブロックの一部分が、１つまたは複数の変換を使用して変換され、前記ブロックの残りの領域が、前記１つまたは複数の変換とは別の代替の符号化方法を使用して符号化される、または符号化されない、装置である。

別の利点／特性は、前記空間変化符号化方法が多層残差符号化で使用される、上記のビデオ・エンコーダを有する装置である。

さらに別の利点／特性は、１つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する、上記のビデオ・エンコーダを有する装置である。

さらに別の利点／特性は、１つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する上記のビデオ・エンコーダを有する装置であって、前記１つまたは複数のフィルタが、１つまたは複数の前処理フィルタとして、１つまたは複数の後処理フィルタとして、あるいは１つまたは複数の前処理フィルタおよび１つまたは複数の後処理フィルタの組合せとして構成される装置である。

さらに、別の利点／特性は、前記代替の符号化方法が、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも１つを含む、上記のビデオ・エンコーダを有する装置である。

さらに、別の利点／特性は、前記空間変化符号化方法のパラメータの少なくとも１つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記１つまたは複数の変換の数、前記１つまたは複数の変換のサイズ、前記１つまたは複数の変換の位置、および前記代替の符号化方法のうちの少なくとも１つを含む、上記のビデオ・エンコーダを有する装置である。

また、別の利点／特性は、前記空間変化符号化方法のパラメータの少なくとも１つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記１つまたは複数の変換の数、前記１つまたは複数の変換のサイズ、前記１つまたは複数の変換の位置、および前記代替の符号化方法のうちの少なくとも１つを含む、上記のビデオ・エンコーダを有する装置であって、前記サブセット内の残りのパラメータが一定であり、前記エンコーダおよび前記対応するデコーダに既知である装置である。

本発明の原理の上記およびその他の特性および利点は、本明細書の教示に基づいて、当業者であれば容易に確認することができる。本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはそれらの組合せの様々な形態で実施することができることを理解されたい。

本発明の原理の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置に有形に実施されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備える機械にアップロードして実行することができる。この機械は、１つまたは複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）および入出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォームで実施されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードを含むこともできる。本明細書に記載する様々なプロセスおよび機能は、ＣＰＵによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの任意の組合せの何れかにすることができる。さらに、追加のデータ記憶装置や印刷装置など、その他の様々な周辺装置をコンピュータ・プラットフォームに接続することができる。

さらに、添付の図面に示す構成成分のシステム構成要素および方法の一部はソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続は、本発明の原理をプログラミングする方法によって異なっていてもよいことを理解されたい。本明細書の教示があれば、当業者なら、本発明の原理の上記の実施態様または構成およびそれと同様の実施態様または構成を思いつくことができるであろう。

本明細書では、添付の図面を参照して例示的な実施例について述べたが、本発明の原理は、これらの具体的な実施例に限定されるわけではなく、当業者なら、本発明の原理の範囲または趣旨から逸脱することなく様々な変更および修正をそれらの実施例に加えることができることを理解されたい。そうした変更および修正は全て、添付の特許請求の範囲に記載する本発明の原理の範囲内に含まれるものとする。
本発明は以下の態様を含む。
（付記１）
ピクチャ内のブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するビデオ・エンコーダ（３００）を含む装置であって、
１つまたは複数の変換を使用して前記ブロックの一部分を変換し、前記１つまたは複数の変換とは別の代替の符号化方法を使用して前記ブロックの残りの領域を符号化する、前記装置。
（付記２）
前記空間変化符号化方法が、多層残差符号化で使用される、付記１に記載の装置。
（付記３）
１つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する、付記１に記載の装置。
（付記４）
前記１つまたは複数のフィルタが、１つまたは複数の前処理フィルタとして、１つまたは複数の後処理フィルタとして、あるいは１つまたは複数の前処理フィルタおよび１つまたは複数の後処理フィルタの組合せとして構成される、付記３に記載の装置。
（付記５）
前記代替の符号化方法が、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも１つを含む、付記１に記載の装置。
（付記６）
前記空間変化符号化方法のパラメータの少なくとも１つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記１つまたは複数の変換の数、前記１つまたは複数の変換のサイズ、前記１つまたは複数の変換の位置、および前記代替の符号化方法のうちの少なくとも１つを含む、付記１に記載の装置。
（付記７）
前記サブセット内の残りのパラメータが一定であり、前記エンコーダおよび前記対応するデコーダに既知である、付記６に記載の装置。
（付記８）
ビデオ・エンコーダにおいて、ピクチャ内のブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するステップを含む方法であって、
１つまたは複数の変換を使用して前記ブロックの一部分を変換し、前記１つまたは複数の変換とは別の代替の符号化方法を使用して前記ブロックの残りの領域を符号化する（８２０）、前記方法。
（付記９）
前記空間変化符号化方法が、多層残差符号化で使用される（１０２０、１０２５、１０３０）、付記８に記載の方法。
（付記１０）
１つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する（８２３）、付記８に記載の方法。
（付記１１）
前記１つまたは複数のフィルタが、１つまたは複数の前処理フィルタとして、１つまたは複数の後処理フィルタとして、あるいは１つまたは複数の前処理フィルタおよび１つまたは複数の後処理フィルタの組合せとして構成される（８２３）、付記１０に記載の方法。
（付記１２）
前記代替の符号化方法が、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも１つを含む（１０４０）、付記８に記載の方法。
（付記１３）
前記空間変化符号化方法のパラメータの少なくとも１つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記１つまたは複数の変換の数、前記１つまたは複数の変換のサイズ、前記１つまたは複数の変換の位置、および前記代替の方法のうちの少なくとも１つを含む（１０４５）、付記８に記載の方法。
（付記１４）
前記サブセット内の残りのパラメータが一定であり、前記エンコーダおよび前記対応するデコーダに既知である（８２０）、付記１３に記載の方法。
（付記１５）
ピクチャ内のブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するビデオ・デコーダ（４００）を含む装置であって、
１つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記１つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する、前記装置。
（付記１６）
前記空間変化復号方法が、多層残差復号で使用される、付記１５に記載の装置。
（付記１７）
１つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する、付記１５に記載の装置。
（付記１８）
前記１つまたは複数のフィルタが、１つまたは複数の前処理フィルタとして、１つまたは複数の後処理フィルタとして、あるいは１つまたは複数の前処理フィルタおよび１つまたは複数の後処理フィルタの組合せとして構成される、付記１７に記載の装置。
（付記１９）
前記代替の復号方法が、非変換型復号方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも１つを含む、付記１５に記載の装置。
（付記２０）
前記空間変化復号方法のパラメータの少なくとも１つのサブセットが、前記デコーダによって受信され、前記パラメータが、適用される前記１つまたは複数の変換の数、前記１つまたは複数の変換のサイズ、前記１つまたは複数の変換の位置、および前記代替の復号方法のうちの少なくとも１つを含む、付記１５に記載の装置。
（付記２１）
前記サブセット内の残りのパラメータが一定であり、前記デコーダおよび対応するエンコーダに既知である、付記２０に記載の装置。
（付記２２）
ビデオ・デコーダにおいて、ピクチャ内のブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するステップを含む方法であって、
１つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記１つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する（９２０）、前記方法。
（付記２３）
前記空間変化復号方法が、多層残差復号で使用される（１１５０、１１５５、１１６０）、付記２２に記載の方法。
（付記２４）
１つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する（９２３）、付記２２に記載の方法。
（付記２５）
前記１つまたは複数のフィルタが、１つまたは複数の前処理フィルタとして、１つまたは複数の後処理フィルタとして、あるいは１つまたは複数の前処理フィルタおよび１つまたは複数の後処理フィルタの組合せとして構成される（９２３）、付記２４に記載の方法。
（付記２６）
前記代替の復号方法が、非変換型復号方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも１つを含む（１１４０）、付記２２に記載の方法。
（付記２７）
前記空間変化復号方法のパラメータの少なくとも１つのサブセットが、前記デコーダによって受信され、前記パラメータが、適用される前記１つまたは複数の変換の数、前記１つまたは複数の変換のサイズ、前記１つまたは複数の変換の位置、および前記代替の復号方法のうちの少なくとも１つを含む（１１３０）、付記２２に記載の方法。
（付記２８）
前記サブセット内の残りのパラメータが一定であり、前記デコーダおよび対応するエンコーダに既知である（９２０）、付記２７に記載の方法。
（付記２９）
符号化されたビデオ信号データを有する記憶媒体であって、
ピクチャ内の少なくとも１つのブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって符号化された、前記ブロックのピクチャ・データを含み、
前記ブロックのサイズより小さいサイズの１つまたは複数の変換を使用して、前記ブロックの残りの領域を除く前記ブロックの一部分が変換され、前記１つまたは複数の変換とは別の代替の符号化方法を使用して前記ブロックの前記残りの領域が符号化される、前記記憶媒体。
（付記３０）
多層残差符号化を用いてピクチャ内のブロックのピクチャ・データを符号化するビデオ・エンコーダ（３００）を含む装置であって、
前記ブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する元の残差を第１の符号化方法を用いて符号化して符号化された残差を得、前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第２の符号化方法を用いて符号化する、前記装置。
（付記３１）
ビデオ・エンコーダにおいて、多層残差符号化を用いてピクチャ内のブロックのピクチャ・データを符号化するステップを含む方法であって、
前記ブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する元の残差を第１の符号化方法を用いて符号化して符号化された残差を得、前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第２の符号化方法を用いて符号化する（１２１０、１２１５、１２２０）、前記方法。
（付記３２）
前記第１の符号化方法および前記第２の符号化方法が、両方とも変換型である（１０２５、１０３０、１０３５）、付記３１に記載の方法。
（付記３３）
前記第１の符号化方法または前記第２の符号化方法の一方のみが変換型であり、前記第１の符号化方法または前記第２の符号化方法の他方が非変換型である（１２１０、１２１５、１２３０、１２３５）、付記３１に記載の方法。
（付記３４）
前記第１の符号化方法が、前記ブロックのサイズより小さいサイズの１つまたは複数の変換を使用する空間変化符号化方法であり、前記１つまたは複数の変換が適用されない前記ブロックの残りの領域が、前記１つまたは複数の変換とは別の代替の方法を用いて符号化され、前記代替の方法が、前記第２の符号化方法または第３の符号化方法である（１２１０、１２１５、１２３０、１２３５）、付記３１に記載の方法。
（付記３５）
多層残差復号を用いてピクチャ内のブロックのピクチャ・データを復号するビデオ・デコーダ（４００）を含む装置であって、
前記ブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する元の残差を第１の復号方法を用いて復号して復号された残差を得、前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第２の復号方法を用いて復号する、前記装置。
（付記３６）
ビデオ・デコーダにおいて、多層残差復号を用いてピクチャ内のブロックのピクチャ・データを復号するステップを含む方法であって、
前記ブロックの元のバージョンと少なくとも１つの参照ブロックとの間の差に対応する元の残差を第１の復号方法を用いて復号して復号された残差を得、前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第２の復号方法を用いて復号する（１３２０、１３２５、１３３５、１３４０）、前記方法。

Claims (32)

1. ビデオ・シーケンスにおけるピクチャのブロックの残差を結果のビットストリーム内に符号化するために構成されたビデオ・エンコーダを含む装置であって、
   前記ビデオ・エンコーダは、少なくとも第１の空間変化符号化方法を選択して前記ブロックの第１のサブブロックの残差を符号化するために構成され、
   前記ビデオ・エンコーダは、少なくとも１つの代替の符号化方法を選択して前記ブロックの少なくとも第２のサブブロックの残差を符号化するために構成され、
   前記代替の符号化方法は前記第１の空間変化符号化方法とは異なる、前記装置。
2. 前記ビデオ・エンコーダは、少なくとも１つのフィルタを使用して残差の少なくとも一部をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去するためにさらに構成される、請求項１に記載の装置。
3. 前記少なくとも１つのフィルタは、少なくとも１つの前処理フィルタ、少なくとも１つの後処理フィルタ、および少なくとも１つの前処理フィルタと少なくとも１つの後処理フィルタとの組合せのうちの少なくとも１つとして構成される、請求項２に記載の装置。
4. 前記代替の符号化方法は、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いる前記マルチスケール回帰パターン方法、およびベクトル量子化方法からなるグループから選択された少なくとも１つを含む、請求項１に記載の装置。
5. 前記第１の空間変化符号化方法の少なくとも１つのパラメータは、対応するデコーダに伝送され、前記少なくとも１つのパラメータは、前記第１の空間変化符号化方法により適用される少なくとも１つの変換の数、前記少なくとも１つの変換のサイズ、および前記少なくとも１つの変換の位置からなるグループから選択された少なくとも１つを含む、請求項１に記載の装置。
6. 前記第１の空間変化符号化方法の伝送されない任意の残りのパラメータは一定であり、前記ビデオ・エンコーダおよび前記対応するデコーダに既知である、請求項５に記載の装置。
7. ビデオ・エンコーダにおいて、ビデオ・シーケンスにおけるピクチャのブロックの残差を結果のビットストリーム内に符号化するステップを含む方法であって、
   前記符号化するステップは、少なくとも第１の空間変化符号化方法を選択して前記ブロックの第１のサブブロックの残差を符号化し、少なくとも１つの代替の符号化方法を使用して前記ブロックの少なくとも第２のサブブロックの残差を符号化し、
   前記代替の符号化方法は前記第１の空間変化符号化方法とは異なる、前記方法。
8. 少なくとも１つのフィルタを使用して残差の少なくとも一部をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去するステップをさらに含む、請求項７に記載の方法。
9. 前記少なくとも１つのフィルタは、少なくとも１つの前処理フィルタ、少なくとも１つの後処理フィルタ、および少なくとも１つの前処理フィルタと少なくとも１つの後処理フィルタとの組合せのうちの少なくとも１つとして構成される、請求項８に記載の方法。
10. 前記代替の符号化方法は、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いる前記マルチスケール回帰パターン方法、およびベクトル量子化方法からなるグループから選択された少なくとも１つを含む、請求項７に記載の方法。
11. 前記第１の空間変化符号化方法の少なくとも１つのパラメータは、対応するデコーダに伝送され、前記少なくとも１つのパラメータは、前記第１の空間変化符号化方法により適用される少なくとも１つの変換の数、前記少なくとも１つの変換のサイズ、および前記少なくとも１つの変換の位置からなるグループから選択された少なくとも１つを含む、請求項７に記載の方法。
12. 前記第１の空間変化符号化方法の伝送されない任意の残りのパラメータは一定であり、前記ビデオ・エンコーダおよび前記対応するデコーダに既知である、請求項１１に記載の方法。
13. ビットストリームからビデオ・シーケンス内のピクチャのブロックの残差を復号するために構成されたビデオ・デコーダを含む装置であって、
    前記ビデオ・デコーダは、第１の空間変化復号方法を選択して前記ブロックの第１のサブブロックの残差を復号するために構成され、
    前記ビデオ・デコーダは、少なくとも１つの代替の復号方法を選択して前記ブロックの少なくとも第２のサブブロックの残差を復号するために構成され、
    前記代替の復号方法は前記第１の空間変化復号方法とは異なる、前記装置。
14. 前記デコーダは、少なくとも１つのフィルタを使用して残差の少なくとも一部をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去するためにさらに構成される、請求項１３に記載の装置。
15. 前記少なくとも１つのフィルタは、少なくとも１つの前処理フィルタ、少なくとも１つの後処理フィルタ、および少なくとも１つの前処理フィルタと少なくとも１つの後処理フィルタとの組合せのうちの少なくとも１つとして構成される、請求項１４に記載の装置。
16. 前記代替の復号方法は、非変換型復号方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いる前記マルチスケール回帰パターン方法、およびベクトル量子化方法からなるグループから選択された少なくとも１つを含む、請求項１３に記載の装置。
17. 前記第１の空間変化復号方法の少なくとも１つのパラメータは、前記ビデオ・デコーダによって受信され、前記少なくとも１つのパラメータは、前記第１の空間変化復号方法により適用される少なくとも１つの逆変換の数、前記少なくとも１つの逆変換のサイズ、および前記少なくとも１つの逆変換の位置からなるグループから選択された少なくとも１つを含む、請求項１３に記載の装置。
18. 前記第１の空間変化復号方法の伝送されない任意の残りのパラメータは一定であり、前記ビデオ・デコーダおよび対応するエンコーダに既知である、請求項１７に記載の装置。
19. ビデオ・デコーダにおいて、ビットストリームからのビデオ・シーケンスにおけるピクチャのブロックの残差を復号するステップを含む方法であって、
    前記復号するステップは、第１の空間変化復号方法を選択して前記ブロックの第１のサブブロックの残差を復号し、少なくとも１つの代替の復号方法を選択して前記ブロックの少なくとも第２のサブブロックの残差を復号することを含み、
    前記代替の復号方法は前記第１の空間変化復号方法とは異なる、前記方法。
20. 少なくとも１つのフィルタを使用して残差の少なくとも一部をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去するステップをさらに含む、請求項１９に記載の方法。
21. 前記少なくとも１つのフィルタは、少なくとも１つの前処理フィルタ、少なくとも１つの後処理フィルタ、および少なくとも１つの前処理フィルタと少なくとも１つの後処理フィルタとの組合せのうちの少なくとも１つとして構成される、請求項２０に記載の方法。
22. 前記代替の復号方法は、非変換型復号方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いる前記マルチスケール回帰パターン方法、およびベクトル量子化方法からなるグループから選択された少なくとも１つを含む、請求項１９に記載の方法。
23. 前記第１の空間変化復号方法の少なくとも１つのパラメータは、前記ビデオ・デコーダによって受信され、前記少なくとも１つのパラメータは、前記第１の空間変化復号方法により適用される少なくとも１つの逆変換の数、前記少なくとも１つの逆変換のサイズ、および前記少なくとも１つの逆変換の位置からなるグループから選択された少なくとも１つを含む、請求項１９に記載の方法。
24. 前記第１の空間変化復号方法の伝送されない任意の残りのパラメータは一定であり、前記ビデオ・デコーダおよび対応するエンコーダに既知である、請求項２３に記載の方法。
25. 前記代替の符号化方法の少なくとも１つのパラメータは対応するデコーダに伝送され、前記少なくとも１つのパラメータは、前記代替の符号化方法により適用される少なくとも１つの変換の識別子、前記少なくとも１つの変換のサイズ、および前記少なくとも１つの変換の位置からなるグループから選択された少なくとも１つを含む、請求項１に記載の装置。
26. 前記代替の符号化方法の伝送されない任意のパラメータは一定であり、前記ビデオ・エンコーダおよび前記対応するデコーダに既知である、請求項２５に記載の装置。
27. 前記代替の符号化方法の少なくとも１つのパラメータは対応するデコーダに伝送され、前記少なくとも１つのパラメータは、前記代替の符号化方法により適用される少なくとも１つの変換の識別子、前記少なくとも１つの変換のサイズ、および前記少なくとも１つの変換の位置からなるグループから選択された少なくとも１つを含む、請求項７に記載の方法。
28. 前記代替の符号化方法の伝送されない任意のパラメータは一定であり、前記ビデオ・エンコーダおよび前記対応するデコーダに既知である、請求項２７に記載の方法。
29. 前記代替の復号方法の少なくとも１つのパラメータは前記ビデオ・デコーダによって受信され、前記少なくとも１つのパラメータは、前記代替の復号方法により適用される少なくとも１つの逆変換の識別子、前記少なくとも１つの逆変換のサイズ、および前記少なくとも１つの逆変換の位置からなるグループから選択された少なくとも１つを含む、請求項１３に記載の装置。
30. 前記代替の復号方法の伝送されない任意のパラメータは一定であり、前記ビデオ・デコーダおよび対応するエンコーダに既知である、請求項２９に記載の装置。
31. 前記代替の復号方法の少なくとも１つのパラメータは前記ビデオ・デコーダによって受信され、前記少なくとも１つのパラメータは、前記代替の復号方法により適用される少なくとも１つの逆変換の識別子、前記少なくとも１つの逆変換のサイズ、および前記少なくとも１つの逆変換の位置からなるグループから選択された少なくとも１つを含む、請求項１９に記載の方法。
32. 前記代替の復号方法の伝送されない任意のパラメータは一定であり、前記ビデオ・デコーダおよび対応するエンコーダに既知である、請求項３１に記載の方法。

Images