JP5409909B2 - ビットストリームを復号する方法 - Google Patents

Description

本発明は、包括的にはビデオコーデックに関し、より詳細には、ビデオフレーム及びビデオ画像におけるピクセルブロックの符号化及び復号中に用いられる方向変換に関する。

コーデック
デジタルビデオコーデックはビデオを圧縮及び解凍する。コーデックは、放送機器、テレビ、パーソナルコンピューター、ビデオレコーダー及びビデオプレイヤー、人工衛星、並びに移動デバイス及びオンラインデバイスにおいて見ることができる。コーデックは、ビデオの各フレームをピクセルブロックに分割し、該ブロックを一度に１つずつ処理する。

符号化中、空間冗長性及び時間冗長性が除去されてデータレートが低減される。本発明は特に、ビデオの符号化及び復号中に用いられる変換に関する。最も一般的な変換は、ＭＰＥＧ及びＨ．２６４／ＡＶＣ標準規格において指定されているような離散コサイン変換（ＤＣＴ）である。ＤＣＴは、空間領域におけるピクセル輝度を周波数領域における変換係数にコンバートする。次に、係数は量子化され、エントロピー符号化されて、圧縮されたビットストリームが生成される。ビットストリームは、媒体（ＤＶＤ）に格納することもできるし、復号器に直接通信することもできる。復号中、ステップは逆に行われる。エントロピー復号及び逆量子化の後、逆変換が適用され、元のビデオが復元される。

通常、世界中の復号器、例えば消費者製品の数は、符号化器の数をはるかに上回る。したがって、相互運用性を可能にするために、ビットストリーム及び復号プロセスのみが標準化されている。符号化プロセスは通常、標準規格において全く指定されていない。

変換
ＤＣＴはブロック内のピクセルの各行に適用される水平１Ｄ ＤＣＴ及び各列に適用される垂直１Ｄ ＤＣＴを含む。大部分が水平又は垂直の特徴を有するブロックの場合、２Ｄ ＤＣＴが効率的である。しかしながら、２Ｄ ＤＣＴは、水平でも垂直でもない特徴、すなわち方向特徴を含むブロックを効率的に変換しない。ここで、「方向（directional）」とは、水平及び垂直以外の向きを指す。

概して、方向変換を実施する２つの方法が存在する。第１の方法は、ブロック内の所定の経路に沿って２Ｄ ＤＣＴを適用する。第２の方法は、方向フィルターを適用し、その後、２Ｄ ＤＣＴを適用する。通常、ファンフィルターが、ブロックを１組の方向サブバンドに分割する。その後、変換が各サブバンドに適用される。カンターレット等の方向変換がこのように実施される。カンターレットは、曲線の境界によって分離された平滑領域を含むフレームを効率的に変換する。

Ｈ．２６４／ＡＶＣ等の既存のビデオコーディング方法のための既存の２Ｄ ＤＣＴ変換又はＤＣＴ様変換を補うために、方向変換が用いられてきた。符号化プロセス中、Ｈ．２６４／ＡＶＣ符号化器は、従来の２Ｄ変換等の１組の変換及び１組の方向変換の中から選択する。次に、レート／歪みの意味で最も良好な性能が得られる単一の変換が、符号化及び復号のために選択される。

変換後、対応するデータのエントロピー符号化において、方向データの統計を利用することによって改善を行うことができる。Ｈ．２６４／ＡＶＣでは、コンテキスト適応二値算術コーダー（ＣＡＢＡＣ）又はコンテキスト適応可変長コーダー（ＣＡＶＬＣ）を用いて様々なタイプのデータをエントロピー符号化する。入力シンボルが二値符号語にマッピングされ、算術コーダーによって圧縮される。コンテキストを用いて、算術コーダーによって用いられる統計を適応させる。各コンテキストが、最も確からしいシンボル（０又は１）及び対応する確率を格納する。

Ｈ．２６４／ＡＶＣ標準規格は、２Ｄ ＤＣＴを用いるように設計されている。既存の方法は、方向変換を用いて、Ｈ．２６４／ＡＶＣ符号化器の性能を拡張することができる。しかしながら、これらの方法は依然として、従来のＨ．２６４／ＡＶＣフレームワークを用いて、方向に関連した判定及びデータを生成しコーディングする。このため、方向情報を効率的に表すこと、及びコーディング効率を改善することが必要とされている。

変換の目的は、変動するピクセル値のブロックを、係数のほとんどがゼロである係数のブロックにコンバートすることである。ＤＣＴの場合、ピクセルのアレイセット（an array set of pixcel）が、ブロック内の低周波数データから高周波数データを表す１組のＤＣＴ係数にコンバートされる。周波数が最も低いのは、変換によってコンバートされた全てのピクセルの平均値に関するＤＣ係数である。次の係数は、信号内に含まれる最も低周波数のコサイン波の振幅を表す。それに続く係数は周波数の増大に対応する。データがＤＣＴによく適している場合、周波数係数の多くがゼロになり、復号器がビデオを再構築するのに必要とされない。

１組の並列の１Ｄ変換を用いる既存の方向変換に伴う１つの問題は、各１Ｄ変換の長さが、ブロック内の変換位置に依拠して変動する場合があるということである。例えば、４５度に向けられた方向変換を用いて８×８のブロックを変換するために、ブロックの主対角線に沿った１Ｄ変換は８つの要素を有し、隣接する１Ｄは７つの要素を有し、１つ又は２つの要素の変換まで以下同様であり、これらは非効率的である。１要素変換は、最高でも１つのピクセル値のスケーリングであり、コーディング効率を改善するのにほとんど役立たない。このため、小さな変換経路が呈する非効率性を被らず、それでもなお元の変換の方向特性を維持する形でこれらの変換を用いてブロックを変換する方法が必要とされている。

また、データが第２の直交方向において相関していないときに２Ｄ ＤＣＴの性能が劣化するような形で性能を劣化させることなく、コーディング効率を更に改善するように、第１の１組の変換の出力に第２の１組の変換を適用する方法も必要とされている。

さらに、Ｈ．２６４／ＡＶＣ等の予測コーダーにおいて一般的に見られるコーディング予測残余ブロックに適した、この変換の分割版が必要とされている。

ビットストリームが、一連のフレームを含む。各フレームは符号化ブロックに分割される。各ブロックについて、ビットストリーム内の変換インデックスから求められた変換角における１組の経路が求められる。ビットストリームから変換係数が得られる。変換係数は、経路ごとに１つのＤＣ係数を含む。変換係数に逆変換が適用され、復号ビデオが生成される。

本発明の実施形態によるビデオシステムのブロック図である。 本発明の実施形態による復号器のブロック図である。 本発明の実施形態による符号化器のブロック図である。 本発明の実施形態によるサブブロック及び分割方向処理モジュールのブロック図である。 本発明の実施形態による変換タイプ及び方向判定モジュールのブロック図である。 本発明の実施形態による方向推論モジュールのブロック図である。 本発明の実施形態による方向予測モジュールのブロック図である。 本発明の実施形態による方向インデックス符号化モジュールのブロック図である。 本発明の実施形態による方向インデックス符号化器モジュールの第１の実施形態の概略図である。 本発明の実施形態による方向インデックス符号化器モジュールの第２の実施形態の概略図である。 本発明の実施形態によるコンテキスト生成モジュールの流れ図である。 本発明の実施形態によるコンテキスト生成モジュールの流れ図である。 本発明の実施形態による一次方向変換及び二次方向変換の経路の概略図である。 本発明の実施形態による一次方向変換及び二次方向変換の経路の概略図である。 本発明の実施形態による８×８のピクセルブロックの一次方向変換のブロック図である。 本発明の実施形態による８×８のピクセルブロックの一次方向変換のブロック図である。 本発明の実施形態による８×８のピクセルブロックの一次方向変換のブロック図である。 本発明の実施形態による８×８のピクセルブロックの一次方向変換のブロック図である。 本発明の実施形態による８×８のピクセルブロックの一次方向変換のブロック図である。 本発明の実施形態による８×８のピクセルブロックの一次方向変換のブロック図である。 本発明の実施形態による１組の分割方向変換のブロック図である。

コーデック
図１Ａは、本発明の実施形態によるビデオシステムを示している。システムは、符号化器１０及び復号器２０（併せてコーデック３０）を備える。コーデックは、当該技術において既知のメモリ及び入出力インターフェースを備えるプロセッサにおいて実装することができる。

符号化器は、入力ビデオ１をビットストリーム１５に圧縮する。符号化器は、以下で詳細に説明するように、入力ビデオに変換、量子化、及びエントロピー符号化を適用する。出力ビデオが入力ビデオを正確に反映することを保証するために、復号器２０は逆順で逆ステップを実行する。加えて、符号化器は通常、符号化プロセスのフィードバックを提供する復号器に相当するものを備える。全ての符号化器変数が符号化器において容易に利用可能であるので、符号化器内の復号器は比較的単純である。本発明は特に、逆方向変換２５に関係している。

後述し、図１１Ｂに示すように、変換は一次変換及び二次変換を含むことができる。符号化中、一次変換はピクセル輝度に作用し、変換係数、例えばＤＣ係数及びＡＣ係数を求める。二次変換はＤＣ係数１１６０に対してのみ処理を行い、二次変換係数１１７０を生成してデータ冗長性を更に低減する。逆変換はＤＣ係数を再構築する二次逆変換２６を含み、一次逆変換２７は復号ビデオのピクセル輝度を復元する。

符号化器と復号器との間の相互運用性を保証するために、ビデオコーディング標準規格は通常、ビットストリーム及び復号プロセスのみを指定している。しかしながら、以下で詳述するように、当業者であれば、符号化プロセスの説明は、逆の復号プロセスを正確に推定するのに十分であることを理解されよう。

復号器
図１Ｂは本発明による復号器２０の関連部分を示している。復号器は符号化(encoded)ビットストリーム１５及び情報１６０を受信する。ビットストリームはＣＡＢＡＣエントロピー復号器１９１に与えられ、ＣＡＢＡＣエントロピー復号器１９１は、その情報に従って、量子化された変換係数１９２を生成する。第１のブロックの場合、情報は初期コンテキストとすることができる。その後、この情報は以前に処理された（復号された）ブロックに関するものとなる。

係数は、復号されたブロックが出力ビデオ又は復号ビデオ２を形成するように逆量子化され（２４）、逆変換される（２５）。変換は、逆離散コサイン変換（ＩＤＣＴ）とすることができる。変換は２Ｄ逆離散コサイン変換及び１組の逆方向変換を含むことができる。以下でより詳細に説明するように、二次逆変換も適用することができる。

情報１６０は復号器のコンテキスト生成モジュール（ＣＧＭ）に与えられる。ＣＧＭは、選択されたコンテキスト９２１及び９２２をＣＡＢＡＣ復号器に転送する。以前に復号されたブロック１６０の予測変換インジケーター（ＰＴＩ）５０１が方向インデックス復号モジュール（ＤＩＤＭ）６０１に与えられ、ＤＩＤＭ６０１は逆変換２５の変換インジケーター６０２を生成する。逆変換は、逆変換のうちの任意のもの、例えば１Ｄ水平逆ＤＣＴ及び１Ｄ垂直逆ＤＣＴ（２Ｄ ＩＤＣＴ）４１、１組の逆方向変換４２、並びに任意の他の既知の逆変換４３を用いることができる。

現行のビデオコーディング標準規格が、異なる変換へのインデックスが必要ないように、単一の予め指定された変換のみを用いることに留意されたい。また、現行の標準規格は、逆変換中に、以前に復号されたブロックに関する副情報を考慮しない。

符号化器
図１Ｃは、符号化器１０の関連する詳細を示している。符号化器は本発明の実施形態による方向変換を用いる。示される本方法のステップは、符号化器のプロセッサにおいて実行することができる。プロセッサは、当該技術分野において既知のメモリ及び入出力インターフェースを備える。

符号化器への入力は、コーディングされるビデオのフレームのブロック１０１である。本明細書において規定されるように、ブロックは、マクロブロックと、サブブロックと、ブロック区画（包括的にピクセルのアレイ）とを含む。ほとんどのコーディング用途において、動作は好ましくはマクロブロック及びサブブロックに対して実行される。ブロックは、元のビデオデータ、ビデオデータの空間予測若しくは動き補償予測からの残余、又は変換される他のテクスチャ関連データを含むことができる。ブロックは、サブブロック分割方向処理モジュール（ＳＰＤＰＭ）２００によってサブブロックに分割することができる。ここで、サブブロックは一度に１つずつ「ブロック」として処理される。

各ブロックは、従来の２次元離散コサイン変換（２Ｄ ＤＣＴ）１２０、１組の方向変換１３０、又は他の変換（包括的に変換１２５）から選択された変換を用いて変換される。変換の出力は、変換タイプ及び方向判定モジュール（ＴＴＤＤＭ）３００によって測定される。ＴＴＤＤＭは、レート／歪みコスト等のメトリックを用いて、変換のうちのいずれが最も良好な性能を与えるかを判断する。レート／歪みコストは、符号化レートと、歪みを乗算したスカラーとの和である。最小のコストを有する変換タイプ及び方向が、変換のために選択される。性能は、限定ではないが、コーディング効率の基準とすることができる。着想は、最も良好な性能を有する変換が符号化のために選択され、選択された変換がビットストリームにおいてインデックス１６として復号器にシグナリングされるというものである。

ＴＴＤＤＭは、方向推論モジュール（ＤＩＭ）４００から入力を受信することもできる。ＤＩＭへの入力は、以前に処理された隣接ブロックに用いられた変換及び方向を示すデータの集まり１６０である。ＤＩＭの出力は、好ましい方向４３１等の、データ１６０に対応する値又は１組の値である。ＴＴＤＤＭはこの情報を用いて、いずれの変換及び方向を用いてブロック１０１を符号化するかに関する判定を行う。ＴＴＤＤＭは、最終分割インジケーター（ＦＰＩ）１４１を分割への誘導としてＳＰＤＰＭに転送することもできる。ＴＴＤＤＭモジュールは、変換ブロック１０２と、選択された変換及び方向を表す選択変換インジケーター（ＳＴＩ）１４５とを生成する。

次に、変換されたブロック１０２を、エントロピーコーディングを用いて適切に符号化し（１５０）、符号化された出力ブロック１７を生成することができる。

方向予測モジュール（ＤＰＭ）５００は、ＤＩＭからの情報、及び以前に処理されたブロック１６０に関連する情報も受信する。ＤＰＭはこの情報を用いて、予測変換インジケーター（ＰＴＩ）５０１を生成する。ＰＴＩは、ＳＴＩ１４５とともに、方向インデックス符号化モジュール（ＤＩＥＭ）６００に入力される。ＤＩＥＭは、コンテキスト適応二値算術コーダー（ＣＡＢＡＣ）１９０による符号化のためにその表現を二値符号語６０３にコンバートする。

ＣＡＢＡＣによって用いられるコンテキストは、コンテキスト生成モジュール（ＣＧＭ）９００によって決定される。ＣＧＭへの入力は、ＤＩＭからの、以前に符号化された隣接ブロックによって用いられた変換及び方向に関する情報、又は現在のブロックから既にコーディングされた情報である。ＣＧＭはＣＡＢＡＣのためのコンテキストを生成し、二値方向インデックスを符号化する。ＣＡＢＡＣは符号化された変換インデックス１６を出力する。

サブブロック及び分割方向処理モジュール
図２は、ＳＰＤＰＭ２００の詳細を示している。入力ブロック１０１内のピクセルは、ビデオフレームデータ、動き補償予測残余、及び空間予測残余等の、ビデオ関連情報を表すことができる。ＳＰＤＰＭは、ブロックを、区画２１０（包括的にピクセルアレイ）に分割する。従来の変換又は方向変換１２５が区画に適用される。ＴＴＤＤＭによって生成された最終分割インジケーター１４１は、最良の性能のためにいずれの区画を用いるかを示す。

変換タイプ及び方向判定モジュール
図３は、ブロック２１０を変換するのに用いる最も良好な変換及び方向を選択するためのＴＴＤＤＭ３００を示している。変換選択器３１０は、利用可能な変換タイプの中でいずれを測定モジュール３２０に送信するかを選び、測定モジュール３２０は、変換を選択するのに用いられるレート／歪み（Ｒ／Ｄ）コスト等のメトリック３２１を決定する。

変換選択器は、ＤＩＭ４００による影響を受けることができる。ＤＩＭは、例えば、隣接ブロックを検査して、現在のブロックのためにいずれの方向が良好に機能する可能性がより高いかを判断することができる。次に、測定を利用可能な方向のサブセットに限定し、これによって処理時間を低減することができる。これらの測定を用いて最も良好な方向又は変換を求めた後、選択された変換インジケーター１４５、及び対応する変換ブロック１０２が出力される。ＴＴＤＤＭが区画のうちの選択したものに対し動作を行っている場合、最良の性能が得られる最終分割インジケーター１４１もＳＰＤＰＭに出力される。

方向推論モジュール
図４は、ＤＩＭ４００を示している。ブロック選択モジュールは、以前に処理されたブロック及び副情報１６０を用いて、現在のブロックのために可能な変換方向４１１を求める。可能な変換方向を用いて１組の好ましい方向４３１を求める。その後、これは、ＤＰＭによって、この情報を表すのに必要とされるビット数を低減するのに用いられ、この結果、符号化器及び復号器における効率が改善する。

ブロック選択モジュール（ＢＳＭ）４１０が、現在のブロックに対する選択されたブロックの距離等の判断基準に基づいてブロック１６０の中から選択する。信頼度判定モジュール（ＲＤＭ）４２０は、選択されたブロックの信頼度を推定する。ＲＤＭモジュールは、テクスチャ情報、位置、及び他のブロックデータ４１２を用いることができる。選択されたブロックそれぞれの信頼度係数４２１及び対応する変換方向４１１が優先方向決定モジュール（ＰＤＤＭ）に供給され、ＰＤＤＭにおいて好ましい方向４３１が特定される。

方向予測モジュール
図５は、ＤＩＥＭ６００及びＣＧＭのための予測変換インジケーター５０１を求めるＤＰＭ５００を示している。第１ステージ予測器５１０は、好ましい方向４３１から候補５１５を選択する。第２ステージ予測器４２０は、これらの候補及び符号化副情報１６０を用いて、好ましい変換インジケーター５０１を選択する。

変換されたテクスチャ残余を符号化するために、選択された変換方向インジケーター１４５は、Ｈ．２６４／ＡＶＣにおいて用いられる内部予測モード等のテクスチャ予測器に相関させることができる。したがって、ＤＰＭに供給される副情報は、例えば、インジケーター５０１を選択する内部予測モードを含むことができる。

方向インデックス符号化モジュール
図６はＤＩＥＭ６００を示している。入力は、選択された変換インジケーター１４５及び予測された変換インジケーター５０１を含み、これらは方向の意味のある表現にマッピングされる（６０５及び６０６）。選択された変換インジケーター及び予測された変換インジケーターに異なるマッピング（６０５及び６０６）を用いることができる。２つの方向間の差は、変換インジケーターの差６１２として求められる（６１０）。予測は選択された変換方向の妥当な近似であるので、小さな角度差によって、効率的に符号化することができる類似した符号語が生じるはずである。差は符号語６０３に二値化され（６２０）、符号語６０３は、ＣＡＢＡＣ１９０によって、符号化された変換インデックス１６としてエントロピーコーディングされる。任意のコンテキスト適応エントロピーコーダー及び可変長コーディング（ＶＬＣ）を用いることができることを理解されたい。差計算は、後述するように回避することができる（６１１）。

図７は、ＤＩＥＭ６００の第１の実施形態を概略的に示している。例えば、８つの可能な変換方向７０１及び対応する予測７０２が存在する。変換方向は選択された変換インジケーター１４５によって選択され、予測はＰＴＩ５０１によって選択される。変換インジケーターはグレイコードにマッピングされる。グレイコードでは、隣接する方向は１ビットしか異ならない。選択方向の符号語及び予測方向の符号語が排他的ＯＲ（ＸＯＲ）６１０演算を用いて１ビットずつ比較され、差６１１が得られる。精密な予測器の場合、これによって、低エントロピーの場合にほとんどがゼロのビットストリームが得られる。インジケーターマッピング６０５及び６０６は二値表現を用いるので、二値化６２０は用いられない。

図８は、ＤＩＥＭの第２の実施形態を示している。この実施形態では、方向は一様連続数列によって表される。差６１０は

であり、ここで、Ｉ_Ｓは選択された方向インジケーターのマッピングされたインデックスであり、Ｉ_Ｐは予測された方向インジケーターのマッピングされたインデックスであり、Ｎは可能な方向の数、例えば８である。小さな差となる可能性がより高いので、二値化６２０はより少ないビットでゼロに近い差（０，１，Ｎ−１，２，Ｎ−２，．．．）をコーディングする。差計算は回避することができ（６１１）、マッピングされた変換インジケーターは、二値化モジュール６２０に直接転送される。この場合、コンテキスト生成モジュール９００は、予測された変換インジケーターを用いて適切なコンテキストを選択する。

コンテキスト生成モジュール
図９及び図１０は、ＣＧＭ９００の実施形態を示している。ＣＧＭは、ＣＡＢＡＣ１９０のコンテキスト９２１及び９２２を選択する。３つ以上のコンテキストを選択することもできる。コンテキストを求めるために、ＣＧＭは好ましい処理ブロック情報１６０、ＰＴＩ５０１、及び好ましい方向４３１を用いることができる。コンテキストＡ及びＢは、正確な予測方向と不正確な予測とを区別する。図９は、好ましい方向４３１がコンテキストを求めるのにいかに用いられるかを示している。最大差φが求められ（９１０）、所定のしきい値Ｔと比較される（９２０）。差がしきい値未満である場合、予測はコンテキストＡ９２１において正確であり、そうでない場合、コンテキストＢ９２２は不正確である。例えば、ＤＩＥＭが用いられる場合、ＣＡＢＡＣに供給されるビットはほとんどがゼロであり、この確率に適合するようにコンテキストＡが選択される。ＣＧＭ９００のコンテキスト選択は、ビット位置等の他の係数を検討し、３つ以上のコンテキストの中で判定することもできる。

図１０に示す実施形態は、ＤＩＥＭが差計算６１０を回避する（６１１）と仮定する。予測された変換インジケーター５０１、及びインデックス６０３からのいずれのビットが符号化されるかを表す位置インデックス１００１が入力である。ＰＴＩ５０１は、ＤＩＥＭにおいて用いられる同じインジケーターマッピング６０５を用いて二値符号語にマッピングされる（１０１０）。双方の符号語が同じであるべきなので、ＣＡＢＡＣの最も確からしいビットは、１０３０の現在のビットＣＷ［ｉ］と同じであるべきである。このため、比較１０３０が現在のビットが１であることを示す場合、１であることが好ましいコンテキストＡ９２１が選択され、そうでない場合、０が好ましいビットであるコンテキストＢ９２２が選択される。

一次方向変換及び二次方向変換
図１１Ａは、本発明の実施形態による方向変換を示している。復号中、変換は逆変換であることを理解されたい。変換（又は逆変換）はＭ×Ｎのピクセルブロック１１００に対し処理を行う。変換において、ピクセルに関連付けられる値１１０１は、符号化のステージであるか又は復号のステージであるかに依拠して、輝度又は変換係数とすることができる。

変換は１組の１Ｄ変換｛Ｔ_０，Ｔ_１，．．．，Ｔ_Ｎ−１｝１１０２を含む。ここで、Ｎはブロックに適用される１Ｄ変換の総数である。変換Ｔ_ｉの長さｌ_ｉは、１Ｄ変換が動作するピクセル数を示す。このため、組内の変換｛Ｔ_０，Ｔ_１，．．．，Ｔ_Ｎ−１｝は、対応する長さ｛ｌ_０，ｌ_１，．．．，ｌ_Ｎ−１｝を有する。

各変換がブロック内の経路１１０２に沿ってピクセルに適用される。経路は通常、１組の連続ピクセル又は隣接ピクセルを含む。しかしながら、連続していないピクセルも経路内に含めることができる。

図１１Ｂに示すように、経路上のピクセルの値が係数である場合、各経路の第１の係数はＤＣ係数であり、ＡＣ係数がそれに続く。第１の係数１１５０の全てが１組の二次変換係数（ＳＴＣ）１１７０において収集される。組内の第１の二次係数は二次ＤＣ（ＳＤＣ）係数である。

復号中、二次方向変換２６を１組の二次変換係数に適用して、各経路のＤＣ係数を再構築することができる。符号化中、各経路の第１の係数、すなわちＤＣ係数が、１組の二次変換係数１１７０が形成された後に廃棄される。

各経路は、垂直方向１１０３に対して、方向変換インデックスによって決まる変換角θ１１０５に向けられる。上述したように、符号化中に求められる変換インデックスは、復号されるビットストリームの一部分である。

特定のブロック及び変換のための経路は一般に同じ方向に向けられる。経路は以下のように生成される。

変換長Ｌ_ｍｉｎ１１１０の最小経路がブロックに関して指定される。変換経路は通常、ブロック１１００のエッジ（又は角）に位置する開始ピクセル１１２０から開始する。上述したように、ピクセルの値が係数である場合、開始ピクセルの値はＤＣ係数である。

経路は、角θに沿って、別のエッジの終了ピクセル１１２１まで続く。ピクセルを単位とする経路長はｍである。開始ピクセルがエッジ又は角にある場合、長さｍ＝１である。

ｍ≧Ｌ_ｍｉｎである場合、経路は完全であるとみなされる。ブロックが、経路上にないいずれかのピクセルをまだ含む場合、新たな経路が開始する。新たな経路は、ブロック内の任意の未変換ピクセルから開始することができる。通常、次の経路は、前の経路の開始部に隣接しているか若しくは近いピクセルから開始するか、又はブロック内での経路長の分布が実質的に対称になるようにブロックの反対側の角から開始することができる。プロセスは全てのピクセルが変換されるまでステップ２を続ける。

ｍ＜Ｌ_ｍｉｎである場合、経路は過度に短く、プロセスは、以前に処理されたピクセルに隣接するピクセルを含めることによって継続する。２つ以上の隣接ピクセルが存在する場合、ブロック内の他の経路を用いて現在の経路を決定することができる。未処理ピクセルが利用可能である場合、ピクセルは経路の一部にされ、経路長ｍが増分され、プロセスはブロックのエッジに達するまで方向（１８０−θ）においてステップ２を継続する。このため、方向θは、ステップ２を継続する前に、（１８０−θ）に、事実上Ｕターンに設定される。

図１２Ａ〜図１２Ｃは、Ｌ_ｍｉｎ＝３並びにそれぞれ４５度、３０度、及び９０度の角度の場合の方向変換を示している。図１２Ｄ〜図１２Ｆは、Ｌ_ｍｉｎ＝５の場合の方向変換を示している。経路がエッジではなくブロック内で終了するとき、代替的な実施形態が可能である。

逆変換２６は、逆変換係数が用いられることを除き、上述したのと同じ経路に沿って動作する。例えば、各経路について１Ｄ ＤＣＴが用いられる場合、逆変換は１Ｄ逆ＤＣＴ（ＩＤＣＴ）を用いる。

二次方向変換
図１１Ｂは、二次方向変換２６を示している。一次方向変換が適用された後、初期変換の各経路からの初期係数を含む経路に沿って、各ブロックに二次変換を適応的に適用することができる。これらの係数は通常、ＤＣＴ等の１Ｄ変換のＤＣ係数に対応する。

逆二次変換は、逆二次変換係数が用いられることを除き、上述したのと同じ経路に沿って動作する。逆二次方向変換は、復号中に逆方向変換の前に実行される。

二次変換は、方向変換係数のＤＣ成分における冗長性を更に低減する。代替的に、１つの方向変換のＤＣ成分を用いて、別の方向変換のＤＣ成分を予測するために用いることができる。

分割方向変換
図１３は、分割方向変換を示している。Ｍ×Ｎ（８×８）のピクセルブロック１３００は、垂直に対し分割角φを有する線１３１０に概ね沿って、２つのブロック区画Ａ及びＢに分割される。分割角は、変換角θ１１０５に対し垂直である。

次に、ブロック区画Ａが角度θ_Ａに向けられた１組の経路を有し、区画Ｂが角度θ_Ｂに向けられた１組の経路（a set of paths）を有するという制約で、上述したステップを用いて方向変換が生成される。方向変換θの一次角は、θ_Ａと同じてあるとみなされる。区画内で経路が生成されると、線１３１０は区画のエッジを近似する。このため、方向変換における各ピクセルは、区画Ａ又はＢのいずれかにある。角度θ_Ａ及びθ_Ｂは、異なることができる。

本発明の１つの実施形態では、二次方向変換は双方の区画Ｂに適用される。プロセスを逆に行うために、二次逆変換が適用され、次に区画Ａ及びＢに逆方向変換が独立して適用される。本発明の別の実施形態では、二次変換が各区画に独立して適用される。

すなわち、双方の逆二次変換を逆一次変換の前に適用することもできるし、逆二次変換及び逆一次変換を区画に独立して適用することもできる。この判定は、ブロック単位で適応的に行われる。

スケーリング及び量子化順序
一次変換及び二次変換の完了後、結果の係数がスケーリングされ、順序付けされ、量子化される。

変換係数のスケーリングは、各１Ｄ方向変換の経路の長さｍ、又はブロック内の係数のロケーションに依拠する。長さｍの１Ｄ変換はスケール係数Ｓ_ｍを有する。このため、長さｍの経路内の全ての係数がＳ_ｍによってスケーリングされる。通常、スケール係数は、ＤＣ係数の大きさが、同一のピクセル値を変換するときに同じになるように選択される。長さｍ＝４を用いた変換がそれぞれ値ｖを有する４つのピクセルを変換し、長さｍ＝５を用いた変換がそれぞれ値ｖを有する５つのピクセルを変換する場合、スケール係数Ｓ_ｍは、双方の変換が同じ値を有する第１の（ＤＣ）係数を出力するように選択される。

代替的なスケーリング方法も可能である。長さｍ又は方向θに基づいて、より短い変換に、より小さいか又はより大きいスケール係数を与えることができる。スケーリングを変換自体の一部にし、このプロセスの実施を簡略化することもできる。

スケーリングされた係数が走査順で配列される。１つの実施形態では、１組の変換｛Ｔ_０，Ｔ_１，．．．，Ｔ_Ｎ−１｝が独立して、かつ順番に走査される。各変換において、第１のＤＣ係数が最初に走査され、その後、後続のＡＣ係数がその変換の経路と同じ順序で走査される。

別の実施形態では、各変換からの全ての第１のＤＣ係数が走査され、その後、各変換からの全ての第２の係数が走査され、最後の変換まで以下同様である。第２の実施形態では、変換が走査される順序を変化させることができる。例えば、変換は、それらのインデックスの順序で走査することができ、すなわち、第１の走査は１組の変換｛Ｔ_０，Ｔ_１，．．．，Ｔ_Ｎ−１｝からのＤＣ係数を順序｛０，１，．．．，Ｎ−１｝で用いる。代替的に、変換はそれらの長さ｛ｌ_０，ｌ_１，．．．，ｌ_Ｎ−１｝の順序で走査することができる。係数は、ブロック内のそれらの相対位置に基づいて走査することができる。例えば、ブロックのエッジに沿った全ての係数を最初に走査することができ、その後、エッジから離れた係数を走査することができる。

本発明を好ましい実施形態の例として説明してきたが、本発明の趣旨及び範囲内で様々な他の適応及び変更を行うことができることは理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の趣旨及び範囲内に入るすべての変形及び変更を包含することである。

Claims (11)

1. ビットストリームを復号する方法であって、該ビットストリームは符号化ビデオに対応し、該符号化ビデオは、一連のフレームを含み、各フレームは符号化ブロックに分割され、該方法は、符号化ブロックごとに、
   前記符号化ブロック内の１組の経路を求めるステップであって、各経路は前記ビットストリーム内の変換インデックスから求められた変換角の方向に向けられる、ステップと、
   前記ビットストリームから変換係数を取得するステップであって、該変換係数は経路ごとに１つのＤＣ係数を含む、ステップと、
   復号ビデオを生成するために、各経路上の前記変換係数に一次逆変換を適用するステップと
   を含み、
   該方法は、さらに、前記変換角に対して垂直な分割角に従って前記符号化ブロックを１組の区画に分割するステップを含み、
   前記求めるステップ、前記取得するステップ、前記適用するステップ、及び、前記分割するステップは復号器において実行される、ビットストリームを復号する方法。
2. 各経路は第１の係数を有し、前記取得するステップは、
   各経路が有する前記第１の係数からなる第１の係数の組に二次逆変換を適用して、各経路の前記ＤＣ係数を取得すること
   を更に含む、請求項１に記載の方法。
3. 各経路は第１の係数を有し、前記取得するステップは、
   各経路が有する前記第１の係数からなる第１の係数の組から各経路の前記ＤＣ係数を予測すること、
   を更に含む、請求項１に記載の方法。
4. 各経路に長さを関連付けるステップ
   を更に含む、請求項１に記載の方法。
5. 前記長さは異なる、請求項４に記載の方法。
6. 前記一次逆変換は、逆離散コサイン変換に基づく、請求項１に記載の方法。
7. 前記符号化ブロックは、マクロブロック、サブブロック、ブロック区画、又は、ピクセルアレイを含む、請求項１に記載の方法。
8. 量子化パラメーターに従って前記変換係数を逆量子化するステップと、
   前記符号化ブロック内の前記変換係数のロケーションに従って該変換係数をスケーリングするステップと
   を更に含む、請求項１に記載の方法。
9. 量子化パラメーターに従って前記変換係数を逆量子化するステップと、
   前記長さに従って前記変換係数をスケーリングするステップと
   を更に含む、請求項４に記載の方法。
10. 前記変換係数の走査順序は該変換係数が量子化された順序に依拠する、請求項１に記載の方法。
11. 各一次逆変換の走査順序は独立して実行される、請求項１に記載の方法。

Images