JP5927117B2 - ビデオ符号化及び復号化のための適応的変換選択のための方法及び装置 - Google Patents

Description

本出願は、参照することによってその全体がここに援用される、２００９年７月２３日に出願された米国仮出願第６１／２２７，９３８号（代理人整理番号第ＰＵ０９０１００号）の利益を請求する。

本原理は、一般にビデオ符号化及び復号化に関し、より詳細には、ビデオ符号化及び復号化のための適応的変換選択のための方法及び装置に関する。

ブロックベース離散変換は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）のＨ．２６３ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ（以降、“Ｈ．２６３ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ”）、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）のＭＰＥＧ−１（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−１）規格、ＩＳＯ／ＩＥＣのＭＰＥＧ−２規格、ＩＳＯ／ＩＥＣのＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格／ＩＴＵ−Ｔ Ｈ．２６４ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ（以降、“ＭＰＥＧ−４ ＡＶＣ規格”）などを含む多数のイメージ及びビデオ圧縮規格の基本的なコンポーネントであり、広範な用途において利用される。変換は、信号を変換領域に変換し、当該信号を変換基底関数セットの線形結合として表す。その後に、量子化段階が続く。ビデオ符号化のための良好な変換は、（１）量子化対象の信号を相関解除し、これにより、個々の値に対するスカラー量子化がベクトル量子化と比較して符号化効率を大きく失わせることなく効果的に利用可能にし、（２）ビデオ信号のエネルギーを可能な限り少数の係数にコンパクト化し、エンコーダがイメージを大きな規模の少数の係数によって表現することを可能にすべきである。上記２つの基準の下で良好に実行される変換は、Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ変換（ＫＬＴ）である。離散コサイン変換（ＤＣＴ）は、通常のイメージ信号に対してＫＬＴの良好な近似を提供し、ほとんどすべての現在のビデオ符号化規格において利用される。

ＤＣＴ方式は、イメージ／フレームをピクセルのブロック（通常は、４×４、８×８及び１６×１６）に分割し、離散コサイン変換を利用して各ブロックを空間領域から周波数領域に変換し、ＤＣＴ係数を量子化することによって、イメージ／フレームのローカルな空間相関性質を利用する。大部分のイメージ及びビデオ圧縮規格は、固定的な２次元（２Ｄ）分離可能なＤＣＴブロック変換を利用する。複数のブロックサイズが許容される場合（典型的には、４×４から１６×１６ブロック）、それらはブロックに対応するサイズによってＤＣＴを利用する。

ＭＰＥＧ−４ ＡＶＣ規格などのイメージ及びビデオ符号化規格では、利用すべき変換はブロックサイズに依存する。例えば、４×４ブロックには４×４整数ＤＣＴが利用され、８×８ブロックには８×８整数ＤＣＴが利用され、イントラ１６×１６ブロックには４カスケード４×４整数ＤＣＴが利用される。ＤＣＴ基底関数は予め決定され、ビデオコンテンツや符号化パラメータに適応するものでない。

ＫＬＴは最適化された線形変換であるため、第１の従来アプローチでは、ＭＰＥＧ−４ ＡＶＣ規格における９つのイントラ予測モードのそれぞれについて最良の変換を導くのに利用される。各モードの統計量が抽出され、対応するＫＬＴが導かれる。各イントラ予測モードの残差データが、対応するＫＬＴにより符号化される。９つのイントラモードは、ＤＣＴが最良の変換に決して近づかないようにデータ空間を効果的に分割し、これにより、最良な各変換が導かれ、良好に適用可能となる。概して、第１の従来アプローチは複数の変換を利用し、各変換は、ビデオコンテンツに関係なく選択されたイントラ予測モードに固定される。

第２の従来アプローチでは、１以上の変換をオフラインにトレーニングすることが提案され、その後にエンコーダは、これらのブロックの各ブロックについて圧縮パフォーマンスを最適化する変換を選択する。この選択は、各ブロックについて通知される。しかしながら、イメージ及びビデオコンテンツは、変動する統計量と性質とを備えたデータを有する。エンコーダはまた、異なるターゲットビットレートなどの異なる符号化パラメータを利用して動作する。オリジナルイメージ及び残差イメージにおける変化は、ＤＣＴによって常にキャプチャ可能であるとは限らない。

図１を参照して、エンコーダにおける典型的な変換選択方法が、参照番号１００により全体的に示される。方法１００は、機能ブロック１２０に制御をわたすスタートブロック１１０を含む。機能ブロック１２０は変換セットを初期化し、ループ制限ブロック１３０に制御をわたす。ループ制限ブロック１３０は、１から現在のビデオシーケンス（処理中の）のピクチャ数（＃）までの範囲を有する変数ｊを用いてループ（以降、“ループ（１）”）を開始し、ループ制限ブロック１４０に制御をわたす。ループ制限ブロック１４０は、１から処理中の現在のピクチャのブロック数（＃）までの範囲を有する変数ｉを用いてループ（以降、“ループ（２）”）を開始し、機能ブロック１５０に制御をわたす。機能ブロック３５０は、ブロックに対する最良の変換を選択する（例えば、１以上の基準に基づき）、機能ブロック１６０に制御をわたす。機能ブロック１６０は、ピクチャｊのブロックｉを符号化し、ループ制限ブロック１８０に制御をわたす。ループ制限ブロック１７０はループ（２）を終了し、ループ制限ブロック１８０に制御をわたす。ループ制限ブロック１８０はループ（１）を終了し、エンドブロック１９９に制御をわたす。

従来技術では、変換セットは、大きなトレーニングデータセットによってオフラインにトレーニングされる。トレーニング技術は、通常のＫＬＴ、疎目的関数などに基づくものとすることができる。符号化中、エンコーダは、圧縮パフォーマンスを向上させるため、各ブロックについてトレーニングセットから最良の変換を選択する。この選択はビットストリームにより通知され、これにより、対応するデコーダは、ビットストリームを解析し、エンコーダにより利用されたものと同じ（しかしながら逆の）変換を利用してビデオ信号を復号化することができる。

図２を参照して、デコーダにおける典型的な変換選択方法が、参照番号２００により全体的に示される。方法２００は、機能ブロック２２０に制御をわたすスタートブロック２１０を有する。機能ブロック２２０は、変換セットを初期化し、ループ制限ブロック２３０に制御をわたす。ループ制限ブロック２３０は、１から現在のビデオシーケンス（処理中の）におけるピクチャ数（＃）までの範囲を有する変数ｊを用いてループ（以降、“ループ（１）”）を開始し、ループ制限ブロック２４０に制御をわたす。ループ制限ブロック２４０は、１から処理中の現在のピクチャのブロック数（＃）までの範囲を有する変数ｉを用いてループ（以降、“ループ（２）”）を開始し、機能ブロック２５０に制御をわたす。機能ブロック２５０は、（現在）ブロックについて変換を復号化し、機能ブロック２６０に制御をわたす。機能ブロック２６０は、ピクチャｊのブロックｉを復号化し、ループ制限ブロック２７０に制御をわたす。ループ制限ブロック２７０はループ（２）を終了し、ループ制限ブロック２８０に制御をわたす。ループ制限ブロック２８０はループ（１）を終了し、エンドブロック２９９に制御をわたす。

従って、方法２００において、デコーダは、各ブロックに対してエンコーダにより利用された変換をビットストリームから取得し、その後、通知された変換（逆変換）を用いてビデオ信号を再構成する。しかしながら、変換セットは、オフラインに導出され、入力されたビデオシーケンス及び符号化パラメータに適応することができない。

従来技術の上記及び他の欠点及び短所が、ビデオ符号化及び復号化のための適応的な変換選択のための方法及び装置に関する本原理により解決される。

本原理の一態様によると、装置が提供される。本装置は、変換を用いてピクチャにおける少なくとも１つのブロックを符号化するビデオエンコーダを有する。ブロックを符号化するのに用いられる変換は、複数の変換から選択される。複数の変換が、ピクチャの符号化中に適応的に更新される。

本原理の他の態様によると、ビデオエンコーダにおける方法が提供される。本方法は、変換を用いてピクチャにおける少なくとも１つのブロックを符号化することを有する。ブロックを符号化するのに用いられる変換は、複数の変換から選択される。複数の変換が、ピクチャの符号化中に適応的に更新される。

本原理のさらなる他の態様によると、装置が提供される。本装置は、逆変換を用いてピクチャにおける少なくとも１つのブロックを復号化するビデオデコーダを有する。ブロックを復号化するのに用いられる逆変換は、複数の逆変換から選択される。複数の逆変換が、ピクチャの復号化中に適応的に更新される。

本原理のさらなる態様によると、ビデオデコーダにおける方法が提供される。本方法は、逆変換を用いてピクチャにおける少なくとも１つのブロックを復号化することを有する。ブロックを復号化するのに用いられる逆変換は、複数の逆変換から選択される。複数の逆変換が、ピクチャの復号化中に適応的に更新される。

本原理の上記及び他の態様、特徴及び効果は、添付した図面に関して参照されるべき以下の実施例の詳細な説明から明らかになるであろう。

図１は、従来技術によるエンコーダにおける典型的な変換選択方法を示すフロー図である。 図２は、従来技術によるデコーダにおける典型的な変換選択方法を示すフロー図である。 図３は、本原理の実施例による本原理が適用される一例となるビデオエンコーダを示すブロック図である。 図４は、本原理の実施例による本原理が適用される一例となるビデオデコーダを示すブロック図である。 図５は、本原理の実施例による符号化中に更新され、対応するデコーダに送信される変換を用いてピクチャを符号化する一例となる方法を示すフロー図である。 図６は、本原理の実施例によるエンコーダから受信した更新された変換を用いてピクチャを復号化する一例となる方法を示すフロー図である。 図７は、本原理の実施例による符号化中に更新された変換を用いてピクチャを符号化する一例となる方法を示すフロー図である。 図８は、本原理の実施例による復号化中に更新された変換を用いてピクチャを復号化する一例となる方法を示すフロー図である。 図９は、本原理の実施例による符号化中に更新された変換と、対応するデコーダに送信される変換インデックスを用いてピクチャを符号化する一例となる方法を示すフロー図である。 図１０は、本原理の実施例による対応するエンコーダから受信した変換インデックスを用いてピクチャを復号化する一例となる方法を示すフロー図である。 図１１は、本原理の実施例による特異値分解を用いてエンコーダにおいて変換を導出する一例となる方法を示すフロー図である。 図１２は、本原理の実施例による特異値分解を用いてデコーダにおいて変換を導出する一例となる方法を示すフロー図である。

本原理は、ビデオ符号化及び復号化のための適応的変換選択のための方法及び装置に関する。

本開示は、本原理を説明する。当業者は、ここに明示的には説明又は図示されないが、本原理を実現し、その趣旨及び範囲内に含まれる各種構成を構成可能であることが理解されるであろう。

ここに記載されるすべての具体例と条件付言語とは、技術の進歩のため発明者が貢献した本原理とコンセプトとを読者が理解するのに役立つように、教育的な目的のために意図されており、このように具体的に記載された具体例と条件とに限定されることなく解釈されるべきである。

さらに、本原理の原理、態様及び実施例と共にこれらの具体的な具体例を記載したここでのすべての記述は、これらの構成的及び機能的な均等を含むことが意図される。さらに、このような均等は、現在知られている均等と共に、将来開発される均等、すなわち、構成に関係なく同一の機能を実行する開発される任意の要素を含むことが意図される。

従って、例えば、ここに提供されるブロック図は本原理を実現する例示的な回路の概念図を表すことが、当業者に理解されるであろう。同様に、何れかのフローチャート、フロー図、状態遷移図、擬似コードなどは、コンピュータ又はプロセッサが明示的に図示されるか否かにかかわらず、コンピュータ可読媒体に実質的に表され、コンピュータ又はプロセッサにより実行される各種処理を表すことが理解されるであろう。

図示される各種要素の機能は、専用のハードウェア又は適切なソフトウェアに関してソフトウェアを実行可能なハードウェアを利用することによって提供されてもよい。プロセッサにより提供されるとき、これらの機能は、単一の専用プロセッサ、単一の共有プロセッサ又は一部が共有される複数の個別のプロセッサによって提供されてもよい。さらに、“プロセッサ”又は“コントローラ”という用語の明示的な利用は、ソフトウェアを実行可能なハードウェアのみを参照するものと解釈されるべきでなく、限定することなく、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及び不揮発性ストレージを暗黙的に含むものであってもよい。

従来の及び／又はカスタムな他のハードウェアがまた含まれてもよい。同様に、図示される何れかのスイッチは単なる概念的なものである。それらの機能は、プログラムロジックの処理を介し、専用ロジックを介し、プログラム制御及び専用ロジックのやりとりを介し、又は手動により実行されてもよく、特定の技術は、コンテクストからより具体的に理解されるように、実現者によって選択可能である。

請求項において、指定された機能を実行する手段として表現される何れかの要素は、例えば、ａ）当該機能を実行する回路要素の組み合わせ、又はｂ）当該機能を実行するためソフトウェアを実行するための適切な回路と組み合わされたファームウェア、マイクロコードなどを含む何れかの形態によるソフトウェアなどを含む、当該機能を実行する何れかの方法を含むことが意図される。このような請求項に規定される本原理は、記載された各種手段によって提供される機能が、請求項が求める方法により組み合わされ、一緒にされるという事実にある。従って、これらの機能を提供可能な何れかの手段がここに示されたものと等価であるとみなされる。

本原理の“一実施例”又は“実施例”という明細書の表現は、これらの他の変形と共に、当該実施例に関して説明された特定の特徴、構成、特性などが本原理の少なくとも１つの実施例に含まれることを意味する。従って、明細書を通じて各所に出現する“一実施例では”又は“実施例では”という表現の出現は、他の何れかの変形と共に、すべてが同一の実施例を必ずしも参照しているとは限らない。

例えば、“Ａ／Ｂ”、“Ａ及び／又はＢ”及び“ＡとＢの少なくとも１つ”のケースなど、“／”、“及び／又は”及び“少なくとも１つ”の何れかの利用は、列記された第１オプション（Ａ）のみの選択、列記された第２オプション（Ｂ）のみの選択、又は双方のオプション（Ａ及びＢ）の選択を含むことが意図される。さらなる具体例として、“Ａ，Ｂ及び／又はＣ”と“Ａ，Ｂ，Ｃの少なくとも１つ”のケースでは、このような表現は、列記された第１オプション（Ａ）のみの選択、列記された第２オプション（Ｂ）のみの選択、列記された第３オプション（Ｃ）のみの選択、列記された第１及び第２オプション（Ａ及びＢ）の選択、列記された第１及び第３オプション（Ａ及びＣ）の選択、列記された第２及び第３オプション（Ｂ及びＣ）の選択、又は３つすべてのオプション（Ａ及びＢ及びＣ）の選択を含むことが意図される。これは、列記された多数のアイテムと同様に、当該及び関連技術における当業者によって容易に明らかなように拡張されてもよい。

ここで用いられる“ハイレベルシンタックス”とは、階層的にマクロブロックレイヤより上位のビットストリームにあるシンタックスを意味する。例えば、ここで用いられるハイレベルシンタックスは、限定することなく、スライスヘッダレベルのシンタックス、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）レベル、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）レベル、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）レベル、及びＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットヘッダレベルを意味するものであってもよい。

また、ここで用いられる“ピクチャ”及び“イメージ”という単語は、互換的に用いられ、ビデオシーケンスからの静止したイメージ又はピクチャを意味する。知られているように、ピクチャはフレーム又はフィールドであってもよい。

さらに、ここで用いられるように、“ビットストリーム”という単語はエンコーダの出力を意味する。もちろん、エンコーダの出力は、そのすべてが本原理により想到される多くの形態によるものとすることができる。例えば、“ビットストリーム”は、限定することなく、ブロードキャスト、ポイント・ツー・ポイント又はマルチキャスト伝送アプローチなどを用いて信号として送信可能であり、又は限定することなく、光、磁気又は他の記憶媒体などの固定媒体に記録可能である。

さらに、ここで用いられる“信号”という単語は、対応するデコーダに何れかを通知することを意味する。例えば、エンコーダは、何れの変換（又は変換サブセット）がエンコーダ側で利用されたかデコーダに認識させるため、当該変換（又は変換サブセット）を通知してもよい。このように、同じ変換（又は変換サブセット）がエンコーダ側とデコーダ側との双方において利用されてもよい。従って、例えば、エンコーダは、デコーダが同じ変換（又は変換サブセット）を利用できるように、マッピング関数をデコーダに送信してもよく、又はデコーダがすでに当該変換（又は変換サブセット）を有している場合、デコーダが当該変換（変換サブセット）を認識及び選択することを単に可能にするため、通知が（送信なしに）が利用されてもよい。何れかの実際の変換の送信を回避することによって、ビットの節約が実現されてもよい。通知は各種方法により実現可能であることが理解されるべきである。例えば、１以上のシンタックス要素やフラグなどが対応するデコーダに情報を通知するのに利用されてもよい。上述された通知は変換に関して説明されているが、それは等しく逆変換に適用される。

図３を参照して、本原理が適用される一例となるビデオエンコーダが、参照番号３００によって全体的に示される。

ビデオエンコーダ３００は、合成手段３８５の非反転入力と信号通信接続される出力を有するフレームオーダリングバッファ３１０を有する。合成手段３８５の出力は、変換量子化手段３２５の第１入力と信号通信接続される。変換量子化手段３２５の出力は、エントロピー符号化手段３４５の第１入力と逆変換逆量子化手段３５０の第１入力と信号通信接続される。エントロピー符号化手段３４５の出力は、合成手段３９０の第１非反転入力と信号通信接続される。合成手段３９０の出力は、出力バッファ３３５の第１入力と信号通信接続される。

エンコーダコントローラ３０５の第１出力は、フレームオーダリングバッファ３１０の第２入力と、逆変換逆量子化手段３５０の第２入力と、ピクチャタイプ判定モジュール３１５の入力と、マクロブロックタイプ（ＭＢタイプ）判定モジュール３２０の第１入力と、イントラ予測モジュール３６０の第２入力と、デブロッキングフィルタ３６５の第２入力と、動き補償手段３７０の第１入力と、動き推定手段３７５の第１入力と、リファレンスピクチャバッファ３８０の第２入力と信号通信接続される。

エンコーダコントローラ３０５の第２出力は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）挿入手段３３０の第１入力と、変換量子化手段３２５の第２入力と、エントロピー符号化手段３４５の第２入力と、出力バッファ３３５の第２入力と、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）及びＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）挿入手段３４０の入力と信号通信接続される。

ＳＥＩ挿入手段３３０の出力は、合成手段３９０の第２非反転入力と信号通信接続される。

ピクチャタイプ判定モジュール３１５の第１出力は、フレームオーダリングバッファ３１０の第３入力と信号通信接続される。ピクチャタイプ判定モジュール３１５の第２出力は、マクロブロックタイプ判定モジュール３２０の第２入力と信号通信接続される。

ＳＰＳ及びＰＰＳ挿入手段３４０の出力は、合成手段３９０の第３非反転入力と信号通信接続される。

逆変換逆量子化手段３５０の出力は、合成手段３１９の第１非反転入力と信号通信接続される。合成手段３１９の出力は、イントラ予測モジュール３６０の第１入力とデブロッキングフィルタ３６５の第１入力と信号通信接続される。デブロッキングフィルタ３６５の出力は、リファレンスピクチャバッファ３８０の第１入力と信号通信接続される。リファレンスピクチャバッファ３８０の出力は、動き推定手段３７５の第２入力と動き補償手段３７０の第３入力と信号通信接続される。動き推定手段３７５の第１出力は、動き補償手段３７０の第２入力と信号通信接続される。動き推定手段３７５の第２出力は、エントロピー符号化手段３４５の第３入力と信号通信接続される。

動き補償手段３７０の出力は、スイッチ３９７の第１入力と信号通信接続される。イントラ予測モジュール３６０の出力は、スイッチ３９７の第２入力と信号通信接続される。マクロブロックタイプ判定モジュール３２０の出力は、スイッチ３９７の第３入力と信号通信接続される。スイッチ３９７の第３入力は、スイッチの“データ”入力（制御入力、すなわち、第３入力と対比して）が、動き補償手段３７０又はイントラ予測モジュール３６０によって提供されるべきか判断する。スイッチ３９７の出力は、合成手段３１９の第２非反転入力と合成手段３８５の反転入力と信号通信接続される。

フレームオーダリングバッファ３１０の第１入力とエンコーダコントローラ１０５の入力とは、入力ピクチャを受信するため、エンコーダ３００の入力として利用可能である。さらに、ＳＥＩ挿入手段３３０の第２入力は、メタデータを受信するため、エンコーダ３００の入力として利用可能である。出力バッファ３３５の出力は、ビットストリームを出力するため、エンコーダ３００の出力として利用可能である。

図４を参照して、本原理が適用される一例となるビデオデコーダが、参照番号４００によって全体的に示される。

ビデオデコーダ４００は、エントロピー復号化手段４４５の第１入力と信号通信接続される出力を有する入力バッファ４１０を有する。エントロピー復号化手段４４５の第１出力は、逆変換逆量子化手段４５０の第１入力と信号通信接続される。逆変換逆量子化手段４５０の出力は、合成手段４２５の第２非反転入力と信号通信接続される。合成手段４２５の出力は、デブロッキングフィルタ４６５の第２入力とイントラ予測モジュール４６０の第１入力と信号通信接続される。デブロッキングフィルタ４６５の第２出力は、リファレンスピクチャバッファ４８０の第１入力と信号通信接続される。リファレンスピクチャバッファ４８０の出力は、動き補償手段４７０の第２入力と信号通信接続される。

エントロピー復号化手段４４５の第２出力は、動き補償手段４７０の第３入力と、デブロッキングフィルタ４６５の第１入力と、イントラ予測モジュール４６０の第３入力と信号通信接続される。エントロピー復号化手段４４５の第３出力は、デコーダコントローラ４０５の入力と信号通信接続される。デコーダコントローラ４０５の第１出力は、エントロピー復号化手段４４５の第２入力と信号通信接続される。デコーダコントローラ４０５の第２出力は、逆変換逆量子化手段４５０の第２入力と信号通信接続される。デコーダコントローラ４０５の第３出力は、デブロッキングフィルタ４６５の第３入力と信号通信接続される。デコーダコントローラ４０５の第４出力は、イントラ予測モジュール４６０の第２入力と、動き補償手段４７０の第１入力と、リファレンスピクチャバッファ４８０の第２入力と信号通信接続される。

動き補償手段４７０の出力は、スイッチ４９７の第１入力と信号通信接続される。イントラ予測モジュール４６０の出力は、スイッチ４９７の第２入力と信号通信接続される。スイッチ４９７の出力は、合成手段４２５の第１非反転入力と信号通信接続される。

入力バッファ４１０の入力は、入力ビットストリームを受信するため、デコーダ４００の入力として利用可能である。デブロッキングフィルタ４６５の第１出力は、出力ピクチャを出力するため、デコーダ４００の出力として利用可能である。

変換がビデオコンテンツと符号化パラメータとに選択的に適用可能である場合、潜在的な圧縮ゲインが利用可能であることを認識していた。従って、本原理によると、ビデオ符号化及び復号化により利用されるコンテンツ適応的変換選択のための方法及び装置が開示される。また、何れの変換が利用されるべきか最も良く選択する方法に関する方法が説明される。変換セットが、符号化処理中に導出される。変換は符号化中に導出されるため、それらは、入力ビデオシーケンスと符号化パラメータとに自動的に適応し、より高い圧縮パフォーマンスを提供可能である。

従来アプローチと対照的に、本原理の１以上の実施例によると、利用される変換は、符号化処理中に以前に符号化されたピクチャから導出された情報を利用して、符号化処理中にリアルタイムにトレーニングされる。ビデオ信号はしばしばシーン内の隣接ピクチャ間で類似しているため、以前のピクチャを用いてトレーニングされた変換は、しばしば現在ピクチャのものに大変近いものとなる。以前に符号化されたピクチャを利用することによって、トレーニング処理は、入力されるビデオシーケンスと符号化パラメータとの特性を自動的に考慮する。

図５を参照して、符号化中に更新され、対応するデコーダに送信される変換を用いてピクチャを符号化する一例となる方法が、参照番号５００によって全体的に示される。方法５００は、機能ブロック５２０に制御をわたすスタートブロック５１０を有する。機能ブロック５２０は、変換セットを初期化し、ループ制限ブロック５３０に制御をわたす。ループ制限ブロック５３０は、１から現在のビデオシーケンス（処理中の）におけるピクチャ数（＃）までの範囲を有する変数ｊを用いて、ループ（以降、“ループ（１）”）を開始し、ループ制限ブロック５４０に制御をわたす。ループ制限ブロック５４０は、１から処理中の現在のピクチャのブロック数（＃）までの範囲を有する変数ｉを用いて、ループ（以降、“ループ（２）”）を開始し、機能ブロック５５０に制御をわたす。機能ブロック５５０は、（現在）ブロックについて最良の変換を選択肢、機能ブロック５６０に制御をわたす。機能ブロック５６０は、ピクチャｊのブロックｉを符号化し、ループ制限ブロック５７０に制御をわたす。ループ制限ブロック５７０は、ループ（２）を終了し、機能ブロック５８０に制御をわたす。機能ブロック５８０は、符号化されたピクチャから変換を更新し、更新された変換を送信し、ループ制限ブロック５９０に制御をわたす。ループ制限ブロック５９０は、ループ（１）を終了し、エンドブロック５９９に制御をわたす。機能ブロック５８０に関して、変換は、例えば、フレームベース、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）ベース及び／又はシーンベースにより更新されてもよい。さらに、機能ブロック５８０に関して、変換は、例えば、以前に符号化されたピクチャから提供された情報又はその一部などに基づき更新されてもよい。

方法５００に関して、変換セットは、変換が各ピクチャの符号化後に更新されるように、符号化中にトレーニングされる。この更新処理は、計算複雑性を低減するため、例えば、ＧＯＰ又はシーンなどの少数のピクチャの後に適用することも可能である。変換を更新するため、１以上の符号化されたピクチャが利用可能である。利用される以前に符号化されたピクチャの量は、エンコーダとデコーダとの双方に知られているいくつかのルールに基づくものとすることが可能であり、又はデコーダにビットストリームなで伝送されるいくつかの他の基準に基づくものとしてもよい。リセット処理は、シーン変更において初期的なものに変換をリセットするため搭載することが可能である。デコーダが適切に機能するため、変換は、シンタックスにより具体的に示され、ビットストリームにより伝送される。

図６を参照して、エンコーダから受信した更新された変換を用いてピクチャを復号化する一例となる方法が、参照番号６００により全体的に示される。方法６００は、機能ブロック６２０に制御をわたすスタートブロック６１０を有する。機能ブロック６２０は、変換セットを初期化し、ループ制限ブロック６３０に制御をわたす。ループ制限ブロック６３０は、１から現在のビデオシーケンス（処理中の）におけるピクチャ数（＃）までの範囲を有する変数ｊを用いて、ループ（以降、“ループ（１）”）を開始し、機能ブロック６４０に制御をわたす。機能ブロック６４０は、ビットストリームから変換を復号化し、ループ制限ブロック６５０に制御をわたす。ループ制限ブロック６５０は、１から処理中の現在のピクチャのブロック数（＃）までの範囲を有する変数ｉを用いて、ループ（以降、“ループ（２）”）を開始し、機能ブロック６６０に制御をわたす。機能ブロック６６０は、（現在）ブロックについて変換を復号化し、機能ブロック６７０に制御をわたす。機能ブロック６７０は、ピクチャｊのブロックｉを復号化し、ループ制限ブロック６８０に制御をわたす。ループ制限ブロック６８０はループ（２）を終了し、ループ制限ブロック６９０に制御をわたす。ループ制限ブロック６９０はループ（１）を終了し、エンドブロック６９９に制御をわたす。

方法６００に関して、デコーダは、各ピクチャについて変換セットを導出するため、ビットストリームを解析する。その後、各ブロックについて、デコーダは、エンコーダにより用いられる変換を取得し、その後に、対応する逆変換を利用することによってビデオ信号を再構成する。従って、方法６００では、トレーニングされた変換が、各ピクチャについて受信される。

しかしながら、変換の送信は大きなオーバヘッドを生じさせる。従って、変換がデコーダに送信されず、その代わりにデコーダが使用すべき変換を決定するとデコーダにおいて更新される本原理の他の実施例が開示される。

図７を参照して、符号化中に更新された変換を用いてピクチャを符号化する一例となる方法が、参照番号７００により全体的に示される。方法７００は、機能ブロック７２０に制御をわたすスタートブロック７１０を有する。機能ブロック７２０は、変換セットを初期化し、ループ制限ブロック７３０に制御をわたす。ループ制限ブロック７３０は、１から現在のビデオシーケンス（処理中の）におけるピクチャ数（＃）までの範囲を有する変数ｊを用いてループ（以降、“ループ（１）”）を開始し、ループ制限ブロック７４０に制御をわたす。ループ制限ブロック７４０は、１から処理中の現在ピクチャのブロック数（＃）までの範囲を有する変数ｉを用いてループ（以降、“ループ（２）”）を開始し、機能ブロック７５０に制御をわたす。機能ブロック７５０は、（現在）ブロックについて最良の変換を選択し、機能ブロック７６０に制御をわたす。機能ブロック７６０は、ピクチャｊのブロックｉを符号化し、ループ制限ブロック７７０に制御をわたす。ループ制限ブロック７７０は、ループ（２）を終了し、機能ブロック７８０に制御をわたす。機能ブロック７８０は、符号化されたピクチャから変換を更新し、ループ制限ブロック７９０に制御をわたす。ループ制限ブロック７９０は、ループ（１）を終了し、エンドブロック７９９に制御をわたす。機能ブロック７８０に関して、変換は、例えば、フレーム単位、ＧＯＰ単位及び／又はシーン単位で更新されてもよい。さらに、機能ブロック７８０に関して、変換は、例えば、以前に符号化されたピクチャから提供される情報又は以前に符号化されたピクチャから提供される情報の一部などに基づき更新されてもよい。

図８を参照して、復号化中に更新された変換を用いてピクチャを復号化する一例となる方法が、参照番号８００により全体的に示される。方法８００は、機能ブロック８２０に制御をわたすスタートブロック８１０を有する。機能ブロック８２０は、変換セットを初期化し、ループ制限ブロック８３０に制御をわたす。ループ制限ブロック８３０は、１から現在のビデオシーケンス（処理中の）におけるピクチャ数（＃）までの範囲を有する変数ｊを用いてループ（以降、“ループ（１）”）を開始し、ループ制限ブロック８４０に制御をわたす。ループ制限ブロック８４０は、１から現在ピクチャ（処理中の）のブロック数（＃）までの範囲を有する変数ｉを用いてループ（以降、“ループ（２）”）を開始し、ループ制限ブロック８５０に制御をわたす。機能ブロック８５０は、ブロックの変換を復号化し、機能ブロック８６０に制御をわたす。機能ブロック８６０は、ピクチャｊのブロックｉを復号化し、ループ制限ブロック８７０に制御をわたす。ループ制限ブロック８７０は、ループ（２）を終了し、機能ブロック８８０に制御をわたす。機能ブロック８８０は、変換を更新し、ループ制限ブロック８９０に制御をわたす。機能ブロック８８０に関して、変換は、例えば、フレーム単位、ＧＯＰ単位及び／又はシーン単位などにより更新されてもよい。また、機能ブロック８８０に関して、変換は、例えば、以前に復号化されたピクチャから提供される情報又は以前に復号化されたピクチャから提供される情報の一部などに基づき更新されてもよい。

多数の変換（及び逆変換）がエンコーダ及びデコーダにおいて既知である本原理の他の実施例がまた開示される。各ピクチャについて、変換サブセットが選択され、それらのインデックスがデコーダに送信される。

図９を参照して、符号化中に更新された変換と対応するデコーダに送信される変換インデックスとを用いてピクチャを符号化する一例となる方法が、参照番号９００により全体的に示される。方法９００は、機能ブロック９２０に制御をわたすスタートブロック９１０を有する。機能ブロック９２０は、大きな変換セットを初期化し、ループ制限ブロック９３０に制御をわたす。ループ制限ブロック９３０は、１から現在のビデオシーケンス（処理中の）におけるピクチャ数（＃）までの範囲を有する変数ｊを用いてループを開始し、機能ブロック９４０に制御をわたす。機能ブロック９４０は、ピクチャｊを符号化し、機能ブロック９５０に制御をわたす。機能ブロック９５０は、変換をトレーニングし、機能ブロック９６０に制御をわたす。機能ブロック９６０は、（大きな変換セットから）変換サブセットを選択肢、機能ブロック９７０に制御をわたす。機能ブロック９７０は、変換のインデックスを送信し、ループ制限ブロック９８０に制御をわたす。ループ制限ブロック９８０は、ループを終了し、エンドブロック９９９に制御をわたす。機能ブロック９７０に関して、変換インデックスは、例えば、１以上のハイレベルシンタックス要素などを用いて送信されてもよい。

方法９００に関して、エンコーダは、トレーニングされた変換を用いて変換セットがコンテンツにより良好にマッチすることを可能にすることによって、大きな変換セットを更新する。トレーニングされた変換に近い変換は、対応するデコーダが大きな負荷を要することなくこのような情報を取得することを可能にするため、インデックスを介し通知される。これは、選択するためのピクチャのサブ最適な変換のコストをもたらす。

図１０を参照して、対応するエンコーダから受信した変換インデックスを用いてピクチャを復号化する一例となる方法が、参照番号１０００により全体的に示される。方法１０００は、機能ブロック８２０に制御をわたすスタートブロック１０１０を有する。機能ブロック１０２０は、大きな変換セットを初期化し、ループ制限ブロック１０３０に制御をわたす。ループ制限ブロック１０３０は、１から現在のビデオシーケンス（処理中の）におけるピクチャ数（＃）までの範囲を有する変数ｊを用いてループ（以降、“ループ（１）”）を開始し、機能ブロック１０４０に制御をわたす。機能ブロック１０４０は、変換インデックスを復号化し、ビットストリームから当該変換を取得し、ループ制限ブロック１０５０に制御をわたす。ループ制限ブロック１０５０は、１から処理中の現在ピクチャのブロック数（＃）までの範囲を有する変数ｉを用いてループ（以降、“ループ（２）”）を開始し、機能ブロック１０６０に制御をわたす。機能ブロック１０６０は、ブロックの変換を復号化し、機能ブロック１０７０に制御をわたす。機能ブロック１０７０は、ピクチャｊのブロックｉを復号化し、ループ制限ブロック１０８０に制御をわたす。ループ制限ブロック１０８０は、ループ（２）を終了し、ループ制限ブロック１０９０に制御をわたす。ループ制限ブロック１０９０は、ループ（１）を終了し、エンドブロック１０９９に制御をわたす。機能ブロック１０４０に関して、変換インデックスは、例えば、ビットストリームの（及び／又はサイド情報からの）１以上のシンタックス要素などから復号化されてもよい。

図１１を参照して、特異値分解を用いてエンコーダにおいて変換を導出する一例となる方法が、参照番号１１００により全体的に示される。方法１１００は、機能ブロック１１２０に制御をわたすスタートブロック１１１０を有する。機能ブロック１１２０は、以前に符号化されたピクチャからトレーニングデータを収集し、機能ブロック１１３０に制御をわたす。機能ブロック１１２０により収集されたデータに関して、当該データは、現在のピクチャについて同一の変換が利用可能となるように、非ゼロの残差又は残差の一部を有してもよい。機能ブロック１１３０は、トレーニングデータに特異値分解（ＳＶＤ）を適用し、機能ブロック１１４０に制御をわたす。機能ブロック１１４０は、変換基底を計算し、エンドブロック１１９９に制御をわたす。

図１２を参照して、特異値分解を用いてデコーダにおいて変換を導出する一例となる方法が、参照番号１２００により全体的に示される。方法１２００は、機能ブロック１２２０に制御をわたすスタートブロック１２１０を有する。機能ブロック１２２０は、以前に復号化されたピクチャからトレーニングデータを収集し、機能ブロック１２３０に制御をわたす。機能ブロック１２３０は、トレーニングデータに特異値分解（ＳＶＤ）を適用し、機能ブロック１２４０に制御をわたす。機能ブロック１２４０は、変換基底を計算し、エンドブロック１２９９に制御をわたす。
［シンタックス］
変換セットは、例えば、１以上のハイレベルシンタックス要素などにより指定可能である。図５の方法５００に関する実施例についてシンタックスを規定する方法の具体例が提供される。テーブル１は、本原理の実施例（方法５００に関する）によるピクチャパラメータセット（ＰＰＳ）の一例となるシンタックスを示す。同様のシンタックスの変更は、各種レベルにおいて他のシンタックス要素に適用可能である。本例では、４×４、８×８及び１６×１６の３つの変換サイズが検討される。各ブロックサイズについて、ピクチャパラメータセットを介し変換セットが示される。Ｎ４，Ｎ８及びＮ１６はそれぞれ、４×４、８×８及び１６×１６の変換のセットの変換の個数を示す。

テーブル１のシンタックス要素のいくつかの意味は、以下の通りである。

ｔｒａｎｓｆｏｒｍ＿ｓｅｌｅｃｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいことは、変換の選択がピクチャパラメータセットにあることを示す。ｔｒａｎｓｆｏｒｍ＿ｓｅｌｅｃｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいことは、変換の選択がピクチャパラメータセットにないことを示す。

ｔｒａｎｓｆｏｒｍ＿ｂａｓｉｓ＿４×４［ｉ］［ｊ］は、ｉ番目の４×４変換のｊ番目の変換基底要素の値を示す。

ｔｒａｎｓｆｏｒｍ＿ｂａｓｉｓ＿８×８［ｉ］［ｊ］は、ｉ番目の８×８変換のｊ番目の変換基底要素の値を示す。

ｔｒａｎｓｆｏｒｍ＿ｂａｓｉｓ＿１６×１６［ｉ］［ｊ］は、ｉ番目の１６×１６変換のｊ番目の変換基底要素の値を示す。

また、図９の方法９００に関する実施例についてシンタックスを規定する方法の具体例が提供される。テーブル２は、本原理の他の実施例（方法９００に関する）によるピクチャパラメータセット（ＰＰＳ）の一例となるシンタックスを示す。各ブロックサイズについて、ピクチャパラメータセットを介し変換のインデックスが示される。指定されたインデックスに対応する変換は、エンコーダとデコーダの双方において知られている。

テーブル２のシンタックス要素のいくつかの意味は、以下の通りである。

ｔｒａｎｓｆｏｒｍ＿ｓｅｌｅｃｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しいことは、変換の選択がピクチャパラメータセットにあることを示す。ｔｒａｎｓｆｏｒｍ＿ｓｅｌｅｃｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しいことは、変換の選択がピクチャパラメータセットにないことを示す。

ｔｒａｎｓｆｏｒｍ＿ｂａｓｉｓ＿４×４＿ｉｎｄｅｘ［ｉ］は、４×４変換のｉ番目の変換基底のインデックスを示す。

ｔｒａｎｓｆｏｒｍ＿ｂａｓｉｓ＿８×８＿ｉｎｄｅｘ［ｉ］は、８×８変換のｉ番目の変換基底のインデックスを示す。

ｔｒａｎｓｆｏｒｍ＿ｂａｓｉｓ＿１６×１６＿ｉｎｄｅｘ［ｉ］は、１６×１６変換のｉ番目の変換基底のインデックスを示す。
［ピクチャに対して変換セットを決定する方法］
符号化対象のデータが利用可能であるとき、又は適切なトレーニングデータセットが存在するとき、最適な変換セットを導出するための技術が存在する。これらの技術は、通常のＫＬＴ、疎目的関数又はその他に基づくものとすることが可能である。本原理の実施例によると、特異値分解（ＳＶＤ）を用いて変換セットを導出する方法が提案される。もちろん、本原理はＳＶＤのみに限定されず、変換セットを導出する他の方法がまた、本原理の趣旨及び範囲を維持しながら本原理により利用されてもよい。以下の具体例では、ピクチャについてエンコーダが２つの変換から選択し、これら２つの変換の１つがＤＣＴであるシナリオが検討される。トレーニングデータを収集し、ピクチャについてＴｓｖｄとして示されるピクチャｎの他方の変換を生成する必要がある。

ピクチャについてＴｓｖｄをトレーニングするため、以前に符号化されたピクチャからのトレーニングデータセットが、変換としてＴｓｖｄを選択する現在のピクチャの残差に類似することが重要である。トレーニングの残差の一部のみを利用することが提案される。一実施例では、残差全体の当該部分は、非ゼロであり、前のピクチャにおいてＤＣＴを選択していない残差とすることが可能である。その後、ＳＶＤが選択された残差ブロックに適用され、変換Ｔｓｖｄ，０が生成される。図５の方法５００について、Ｔｓｖｄ，０は、Ｔｓｖｄとして利用され、ビットストリームにより送信される。図９の方法９００について、Ｔｓｖｄ，０が大きな変換セットの各変換と比較され、最も近い変換が現在ピクチャのＴｓｖｄとして利用される。Ｔｓｖｄのインデックスがビットストリームにおいて送信される。

一部が上述された本発明の多数の付随する効果／特徴の一部が説明される。例えば、１つの効果／特徴は、変換を用いてピクチャにおける少なくとも１つのブロックを符号化するビデオエンコーダを有する装置である。ブロックを符号化するのに用いられる変換は、複数の変換から選択される。複数の変換は、ピクチャの符号化中に適応的に更新される。

他の効果／特徴は、複数の変換が以前に符号化されたピクチャから提供される情報に応じて適応的に更新される、上述されたビデオエンコーダを有する装置である。

さらなる他の効果／特徴は、複数の変換が以前に符号化されたピクチャから提供される情報に応じて適応的に更新され、以前に符号化されたピクチャから提供される情報の一部のみが複数の変換を適応的に更新するのに利用される、上述されたビデオエンコーダを有する装置である。

さらなる他の効果／特徴は、複数の変換が以前に符号化されたピクチャから提供される情報に応じて適応的に更新され、特異値分解トレーニングが複数の変換を適応的に更新するのに利用される、上述されたビデオエンコーダを有する装置である。

さらに、他の効果／特徴は、複数の変換が以前に符号化されたピクチャから提供される情報に応じて適応的に更新され、複数の変換がフレーム単位、ＧＯＰ単位及びシーン単位の少なくとも１つに基づく適応的に更新される、上述されたビデオエンコーダを有する装置である。

さらに、他の効果／特徴は、選択された変換が対応するデコーダにないとき、選択された変換が対応するデコーダに送信され、選択された変換が対応するデコーダにすでにあるとき、選択された変換が対応するデコーダに特定され、選択された変換が対応するデコーダにないとき、選択された変換が対応するデコーダにおいて再生成される、上述されたビデオエンコーダを有する装置である。

また、他の効果／特徴は、ピクチャが複数のピクチャを有するビデオシーケンスに含まれ、複数の変換と対応する複数の逆変換とがビデオエンコーダと対応するデコーダとの双方において知られ、複数の変換と複数の逆変換との少なくとも一方のサブセットが、複数のピクチャのそれぞれについて選択される、上述されたビデオエンコーダを有する装置である。

さらに、他の効果／特徴は、ピクチャが複数のピクチャを有するビデオシーケンスに含まれ、複数の変換と対応する複数の逆変換とがビデオエンコーダと対応するデコーダとの双方において知られ、複数の変換と複数の逆変換との少なくとも一方のサブセットが、複数のピクチャのそれぞれについて選択され、サブセットのインデックスが１以上のハイレベルシンタックス要素を用いて対応するビットストリームにおいて送信される、上述されたビデオエンコーダを有する装置である。

さらに、他の効果／特徴は、ピクチャが複数のピクチャを有するビデオシーケンスに含まれ、複数の変換と対応する複数の逆変換とがビデオエンコーダと対応するデコーダとの双方において知られ、複数の変換と複数の逆変換との少なくとも一方のサブセットが、複数のピクチャのそれぞれについて選択され、複数の変換が複数のトレーニングされた変換を取得するのに適応的に更新され、サブセットの選択が複数の変換と複数のトレーニングされた変換とに基づく、上述されたビデオエンコーダを有する装置である。

さらに、他の効果／特徴は、ピクチャが複数のピクチャを有するビデオシーケンスに含まれ、複数の変換と対応する複数の逆変換とがビデオエンコーダと対応するデコーダとの双方において知られ、複数の変換と複数の逆変換との少なくとも一方のサブセットが、複数のピクチャのそれぞれについて選択され、複数の変換が以前に符号化されたピクチャから提供される情報に応じて適応的に更新される、上述されたビデオエンコーダを有する装置である。

本原理の上記及び他の特徴及び効果は、ここでの教示に基づき当業者によって容易に確信されてもよい。本原理の教示はハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ又はこれらの組み合わせの各種形態により実現されてもよいことが理解されるべきである。

より好適には、本原理の教示は、ハードウェアとソフトウェアとの組み合わせとして実現される。さらに、ソフトウェアは、プログラム記憶ユニット上に有形に実現されるアプリケーションプログラムとして実現されてもよい。アプリケーションプログラムは、何れか適切なアーキテクチャを有するマシーンにアップロード及び実行されてもよい。好ましくは、マシーンは、１以上の中央処理ユニット（ＣＰＵ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上で実現される。コンピュータプラットフォームはまた、オペレーティングシステムとマイクロ命令コードとを有してもよい。ここに開示される各種処理及び機能は、ＣＰＵにより実行可能なマイクロ命令コードの一部、アプリケーションプログラムの一部又はこれらの何れかの組み合わせであってもよい。さらに、さらなるデータ記憶ユニットと印刷ユニットなどの各種の他の周辺ユニットが、コンピュータプラットフォームに接続されてもよい。

さらに、添付した図面に示される構成要素となるシステムコンポーネントと方法との一部は、好ましくはソフトウェアにより実現されるため、システムコンポーネント又は処理機能ブロックとの間の実際の接続は、本原理がプログラムされる方法に応じて異なってもよいことが理解されるべきである。ここでの教示が与えられると、当業者は、本原理の上記及び同様の実現形態又は構成を想到しうるであろう。

例示された実施例は添付した図面を参照して説明されたが、本原理はこれらの正確な実施例に限定されず、本原理の範囲又は趣旨から逸脱することなく各種変更及び改良が当業者に実現可能であることが理解されるべきである。このようなすべての変更及び改良は、添付した請求項に提供される本原理の範囲内に含まれることが意図される。
以上の実施例に関し、更に、以下の項目を開示する。
（付記１）変換を用いてピクチャにおける少なくとも１つのブロックを符号化するビデオエンコーダを有する装置であって、
前記ブロックを符号化するのに用いられる変換は、複数の変換から選択され、
前記複数の変換は、前記ピクチャの符号化中に適応的に更新される装置。
（付記２）ビデオエンコーダにおける方法であって、
変換を用いてピクチャにおける少なくとも１つのブロックを符号化するステップを有し、
前記ブロックを符号化するのに用いられる変換は、複数の変換から選択され、
前記複数の変換は、前記ピクチャの符号化中に適応的に更新される方法。
（付記３）前記複数の変換は、以前に符号化されたピクチャから提供される情報に応じて適応的に更新される、付記２記載の方法。
（付記４）前記以前に符号化されたピクチャから提供される情報の一部のみが、前記複数の変換を適応的に更新するのに利用される、付記３記載の方法。
（付記５）特異値分解トレーニングが、前記複数の変換を適応的に更新するのに利用される、付記３記載の方法。
（付記６）前記複数の変換は、フレーム単位、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）単位及びシーン単位の少なくとも１つに基づき適応的に更新される、付記３記載の方法。
（付記７）前記選択された変換が対応するデコーダにないとき、前記選択された変換は前記対応するデコーダに送信されるか、前記選択された変換が前記対応するデコーダにすでにあるとき、前記選択された変換は前記対応するデコーダに特定されるか、又は前記選択された変換が前記対応するデコーダにないとき、前記選択された変換は前記対応するデコーダにおいて再生成される、付記２記載の方法。
（付記８）前記ピクチャは、複数のピクチャを有するビデオシーケンスにおいて構成され、
前記複数の変換と対応する複数の逆変換とは、前記ビデオエンコーダと対応するデコーダとの双方において知られ、
前記複数の変換と前記複数の逆変換との少なくとも一方のサブセットは、前記複数のピクチャのそれぞれについて選択される、付記２記載の方法。
（付記９）前記サブセットのインデックスは、１以上のハイレベルシンタックス要素を用いて対応するビットストリームにより送信される、付記８記載の方法。
（付記１０）前記複数の変換は、複数のトレーニングされた変換を取得するため適応的に更新され、
前記サブセットの選択は、前記複数の変換と前記複数のトレーニングされた変換とに基づく、付記８記載の方法。
（付記１１）前記複数の変換は、以前に符号化されたピクチャから提供される情報に応じて適応的に更新される、付記８記載の方法。
（付記１２）逆変換を用いてピクチャにおける少なくとも１つのブロックを復号化するビデオデコーダを有する装置であって、
前記ブロックを復号化するのに用いられる逆変換は、複数の逆変換から選択され、
前記複数の逆変換は、前記ピクチャの復号化中に適応的に更新される装置。
（付記１３）ビデオデコーダにおける方法であって、
逆変換を用いてピクチャにおける少なくとも１つのブロックを復号化するステップを有し、
前記ブロックを復号化するのに用いられる逆変換は、複数の逆変換から選択され、
前記複数の逆変換は、前記ピクチャの復号化中に適応的に更新される方法。
（付記１４）前記複数の逆変換は、以前に復号化されたピクチャから提供される情報に応じて適応的に更新される、付記１３記載の方法。
（付記１５）前記以前に復号化されたピクチャから提供される情報の一部のみが、前記複数の逆変換を適応的に更新するのに利用される、付記１４記載の方法。
（付記１６）特異値分解トレーニングが、前記複数の逆変換を適応的に更新するのに利用される、付記１４記載の方法。
（付記１７）前記複数の逆変換は、フレーム単位、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）単位及びシーン単位の少なくとも１つに基づき適応的に更新される、付記１４記載の方法。
（付記１８）前記選択された逆変換が前記ビデオデコーダにないとき、前記選択された逆変換は前記ビデオデコーダによって受信され、前記選択された変換が前記ビデオデコーダにすでにあるとき、前記選択された逆変換は前記ビデオデコーダに特定される、付記１３記載の方法。
（付記１９）前記ピクチャは、複数のピクチャを有するビデオシーケンスにおいて構成され、
前記複数の変換と対応する複数の逆変換とは、前記ビデオデコーダと対応するエンコーダとの双方において知られ、
前記複数の変換と前記複数の逆変換との少なくとも一方のサブセットが、前記複数のピクチャのそれぞれについて選択される、付記１３記載の方法。
（付記２０）前記サブセットのインデックスは、１以上のハイレベルシンタックス要素を用いて対応するビットストリームにより受信される、付記１９記載の方法。
（付記２１）前記複数の変換は、複数のトレーニングされた変換を取得するため適応的に更新され、
前記サブセットの選択は、前記複数の変換と前記複数のトレーニングされた変換とに基づく、付記１９記載の方法。
（付記２２）前記複数の変換は、以前に復号化されたピクチャから提供される情報に応じて適応的に更新される、付記１９記載の方法。
（付記２３）符号化されたビデオ信号データを有する記憶媒体であって、
変換を用いて符号化されたピクチャにおける少なくとも１つのブロックを有し、
前記ブロックを符号化するのに用いられる変換は、複数の変換から選択され、
前記複数の変換は、前記ピクチャの符号化中に適応的に更新される記憶媒体。

Claims (18)

1. 複数の変換から選択された変換を用いてピクチャにおける少なくとも１つのブロックを符号化するように構成されたビデオエンコーダを有する装置であって、
   前記複数の変換は、１つ以上のピクチャが符号化された後に、前記符号化された１つ以上のピクチャからの残差情報に基づいて適応的に更新される装置。
2. ビデオエンコーダにおける方法であって、
   複数の変換から選択された変換を用いてピクチャにおける少なくとも１つのブロックを符号化するステップを有し、
   前記複数の変換は、１つ以上のピクチャが符号化された後に、前記符号化された１つ以上のピクチャからの残差情報に基づいて適応的に更新される方法。
3. 前記選択された変換が対応するデコーダにないとき、前記選択された変換は前記対応するデコーダに送信される、請求項２記載の方法。
4. 逆変換を用いてピクチャにおける少なくとも１つのブロックを復号化するビデオデコーダを有する装置であって、
   前記ブロックを復号化するのに用いられる逆変換は、複数の逆変換から選択され、
   前記複数の逆変換は、１つ以上のピクチャが復号化された後に、前記復号化された１つ以上のピクチャからの残差情報に基づいて適応的に更新される装置。
5. ビデオデコーダにおける方法であって、
   逆変換を用いてピクチャにおける少なくとも１つのブロックを復号化するステップを有し、
   前記ブロックを復号化するのに用いられる逆変換は、複数の逆変換から選択され、
   前記複数の逆変換は、１つ以上のピクチャが復号化された後に、前記復号化された１つ以上のピクチャからの残差情報に基づいて適応的に更新される方法。
6. 以前に復号化されたピクチャから提供される残差情報の非ゼロの部分のみが、前記複数の逆変換を適応的に更新するのに利用される、請求項５記載の方法。
7. 特異値分解トレーニングが、前記複数の逆変換を適応的に更新するのに利用される、請求項５記載の方法。
8. 前記選択された逆変換が前記ビデオデコーダにないとき、前記選択された逆変換は前記ビデオデコーダによって受信される、請求項５記載の方法。
9. 前記ピクチャは、複数のピクチャを有するビデオシーケンスに含まれ、
   前記複数の変換と対応する複数の逆変換とは、前記ビデオエンコーダとビデオデコーダとの双方において知られ、
   前記複数の変換と複数の逆変換との少なくとも一方のサブセットが、前記複数のピクチャのそれぞれについて選択される、請求項２記載の方法。
10. 前記サブセットのインデックスは、１以上のハイレベルシンタックス要素を用いて対応するビットストリームにより送信される、請求項９記載の方法。
11. 前記複数の変換は、複数のトレーニングされた変換を取得するため適応的に更新され、
    前記サブセットの選択は、前記複数の変換と前記複数のトレーニングされた変換とに基づく、請求項９記載の方法。
12. 符号化されたビデオ信号データを有する記憶媒体であって、
    複数の変換から選択された変換を用いて符号化されたピクチャにおける少なくとも１つのブロックを有し、
    前記複数の変換は、１つ以上のピクチャが符号化された後に、前記符号化された１つ以上のピクチャからの残差情報に基づいて適応的に更新される記憶媒体。
13. 以前に符号化されたピクチャから提供される残差情報の非ゼロの部分のみが、前記複数の変換を適応的に更新するのに利用される、請求項２記載の方法。
14. 特異値分解トレーニングが、前記複数の変換を適応的に更新するのに利用される、請求項２記載の方法。
15. 前記複数の変換は、フレームベース、グループオブピクチャベース及びシーンベースのグループから選択された少なくとも１つに基づいて適応的に更新される、請求項２記載の方法。
16. 前記複数の逆変換は、フレームベース、グループオブピクチャベース及びシーンベースのグループから選択された少なくとも１つに基づいて適応的に更新される、請求項５記載の方法。
17. 前記複数の変換は、シーンベースで更新され、リセット処理がシーンの変更において前記複数の変換をリセットするために利用される、請求項２記載の方法。
18. 前記複数の逆変換は、シーンベースで更新され、リセット処理がシーンの変更において前記複数の逆変換をリセットするために利用される、請求項５記載の方法。

Images