JP2021517395A5 - ビデオ復号方法、装置およびコンピュータプログラム - Google Patents

Description

本明細書で提供される背景技術の説明は、本開示のコンテキストを全体的に示すことを目的とする。この背景技術部分及び本明細書の各態様において説明された、現在署名されている発明者の研究は、本開示の提出時に先行技術として示されていない可能性があり、また、明示的にも黙示的にも本開示の先行技術として認めていない。

図１を参照して、右下には、Ｈ．２６５の３５個の予測可能な方向から知られている９つの予測方向のサブセットが描かれている。矢印が収束する点（１０１）は、予測されているサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が水平から４５度の角度にある右上の１つ以上のサンプルから予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が水平から２２．５度の角度にあるサンプル（１０１）の左下の１つ以上のサンプルから予測されることを示す。

フレーム内予測方向から符号化されたビデオビットストリームにおける方向を表すビットへのマッピングは、ビデオ符号化技術によって異なる可能性があり、また、例えば、予測方向への簡単な直接マッピングから、フレーム内予測モード、コードワード、最も可能性が高いモードを含む複雑な適応スキーム、および類似な技術まで、様々なものがある。しかしながら、すべての場合に、ビデオコンテンツにおいて、他の特定の方向よりも統計的に発生する可能性が低い特定の方向が存在する可能性がある。ビデオ圧縮の目的は冗長性の削減であるため、それらの可能性が低い方向は、適切に機能するビデオ符号化技術では、可能性が高い方向よりも多くのビットで表される。

ビデオソース（６０１）は、ビデオエンコーダ（６０３）によって符号化されたソースビデオシーケンスをデジタルビデオサンプルストリームの形式で提供することができ、デジタルビデオサンプルストリームは、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ…）及び任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）を有することができる。メディアサービスシステムでは、ビデオソース（６０１）は、以前に準備されたビデオを記憶する記憶デバイスであってもよい。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってもよい。ビデオデータは、順番に見られるときに動きを与える複数の個別の画像として提供されることができる。画像自体は、空間画素アレイとして構成されてもよく、ここで、各画素は、使用中のサンプリング構造、色空間などに応じて、１つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てる。

いくつかの実施形態では、ビデオエンコーダ（６０３）は、符号化ループで動作するように構成される。過度に簡単化された説明として、一例では、符号化ループは、ソースコーダ（６３０）（例えば、符号化される入力画像と、参照画像とに基づいて、シンボルストリームなどのようなシンボルを作成することを担当する）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、（リモート）デコーダがサンプルデータを作成すると同様の方法でシンボルを再構築してサンプルデータを作成する（開示された主題で考慮されているビデオ圧縮技術では、シンボルと符号化されたビデオビットストリームとの間の任意の圧縮が無損失であるからである）。再構築されたサンプルストリーム（サンプルデータ）は、参照画像メモリ（６３４）に入力される。シンボルストリームの復号化により、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果が得られるため、参照画像メモリ（６３４）のコンテンツは、「ローカル」デコーダ（６３３）と「リモート」デコーダの間でもビット正確に対応する。言い換えれば、エンコーダの予測部分が「見た」参照画像サンプルは、デコーダが復号化期間に予測を使用する際に「見た」サンプル値と全く同じである。この参照画像の同期性の基本原理（および、例えばチャネル誤差の原因で同期性が維持されない場合にはドリフトが生じる）は、いくつかの関連技術でも使用されている。

この時点で、デコーダに存在する解析／エントロピー復号化以外のいかなるデコーダ技術も、対応するエンコーダにおいて、実質的に同一の機能形式で必ず存在する必要がある、ということが分かる。このため、開示された主題は、デコーダ動作に焦点を合わせる。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略されることができる。特定の領域だけで、より詳細な説明が必要であり、以下で提供される。

動作中に、いくつかの実施形態では、ソースコーダ（６３０）は、動き補償予測符号化を実行することができ、動き補償予測符号化は、ビデオシーケンスから「参照画像」として指定された１つ以上の以前に符号化された画像を参照して、入力画像を予測的に符号化する。このようにして、符号化エンジン（６３２）は、入力画像の画素ブロックと、入力画像に対する予測参照として選択されることができる参照画像の画素ブロックとの間の差分を符号化する。

付録Ａ：略語
ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ、共同探索モデル
ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ、汎用ビデオ符号化
ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ、ベンチマークセット
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、モーションベクトル
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオ符号化／復号化
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、補足強化情報
ＶＵＩ：Ｖｉｓｕａｌ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ビジュアルユーザビリティ情報
ＧＯＰｓ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ、画像のグループ
ＴＵｓ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔｓ、変換ユニット
ＰＵｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔｓ、予測ユニット
ＣＴＵｓ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔｓ、符号化ツリーユニット
ＣＴＢｓ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋｓ、符号化ツリーブロック
ＰＢｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋｓ、予測ブロック
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ、仮想参照デコーダ
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ、信号雑音比
ＣＰＵｓ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ、中央処理ユニット
ＧＰＵｓ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ、グラフィック処理ユニット
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、陰極線管
ＬＣＤ：Ｌｉｑｕｉｄ−Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、有機発光ダイオード
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ、コンパクトディスク
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、デジタルビデオディスク
ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、読み取り専用メモリ
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、特定用途向け集積回路
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、プログラマブルロジックデバイス
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ローカルエリアネットワーク
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、モバイル通信のグローバルシステム
ＬＴＥ：Ｌｏｎｇ−Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、ロングタームエボリューション
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ、コントローラエリアネットワークバス
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、汎用シリアルバス
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、外部コントローラインターフェース
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ、フィールドプログラマブルゲートアレイ
ＳＳＤ：ｓｏｌｉｄ−ｓｔａｔｅ ｄｒｉｖｅ、ソリッドステートドライブ
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、集積回路
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ、符号化ユニット
本開示は、いくつかの例示的な実施形態について説明したが、本開示の範囲内にある変更、配置、および様々な均等置換が存在している。したがって、当業者は、本明細書では明確に示されていないかまたは説明されていないが、本開示の原則を具現しているので、本開示の精神および範囲内にある、様々なシステムおよび方法を設計することができる、ということを理解されたい。

Claims (20)

1. ビデオを復号化するためにデコーダが実行する方法であって、
   現在ブロックの予測画像を生成するためのフレーム内予測モードを決定するステップと、
   符号化されたビデオビットストリームから抽出されたシグナリング情報に基づいて、１つ以上の主変換を決定するステップと、
   前記決定されたフレーム内予測モードと、前記決定された１つ以上の主変換とに基づいて、二次変換を決定するステップと、
   前記符号化されたビデオビットストリームから抽出された入力ブロックの１つ以上の係数と、前記決定された１つ以上の主変換と、前記決定された二次変換とに基づいて、現在ブロックの残差画像を再構築するステップと、
   前記現在ブロックの予測画像および残差画像に基づいて、前記現在ブロックの画像を再構築するステップと、を含む、
   ことを特徴とする方法。
2. 前記１つ以上の主変換に基づいて、前記二次変換を使用して二次変換処理を実行するかどうかを決定するステップ、をさらに含み、
   前記二次変換処理を実行すると決定された場合、前記二次変換を決定することと、前記決定された二次変換に基づいて前記現在ブロックの残差画像を再構築することとを実行する、
   ことを特徴とする請求項１に記載の方法。
3. 前記１つ以上の主変換を決定するステップは、水平変換および垂直変換の複数のペアのうちの１つを決定するステップ、を含み、
   前記二次変換を決定するステップは、複数の二次変換のうちの１つを識別し、前記識別される二次変換は、前記フレーム内予測モードと、前記水平変換および垂直変換の複数のペアのうちの１つとの組み合わせに関連付けられるステップ、を含み、また、
   前記複数の二次変換のそれぞれが、前記水平変換および垂直変換の複数のペアのうちの異なるペアに関連付けられる、
   ことを特徴とする請求項１または２に記載の方法。
4. 前記１つ以上の主変換を決定するステップは、前記符号化されたビデオビットストリームから抽出された第１フラグが第１値を有する場合、水平変換および垂直変換のペアがＤＣＴ−ＩＩ（離散コサイン変換−タイプＩＩ）変換であると決定するステップ、を含む、
   ことを特徴とする請求項１または３に記載の方法。
5. 前記符号化されたビデオビットストリームから抽出された第１フラグが前記第１値を有する場合、前記二次変換を使用する二次変換処理を実行しないと決定するステップ、をさらに含む、
   ことを特徴とする請求項４に記載の方法。
6. 前記１つ以上の主変換を決定するステップは、前記符号化されたビデオビットストリームから抽出された第１フラグが第２値を有する場合、前記符号化されたビデオビットストリームから抽出された変換インデックスに基づいて、前記水平変換および垂直変換のペアを決定するステップと、
   前記符号化されたビデオビットストリームから抽出された第１フラグが前記第２値を有する場合、前記フレーム内予測モードと、前記水平変換および垂直変換のペアとに基づいて、前記二次変換を決定することを実行するステップと、を含む、
   ことを特徴とする請求項４または５に記載の方法。
7. 前記符号化されたビデオビットストリームから抽出された第１フラグが第２値を有し、かつ、前記入力ブロックの１つ以上の係数が、複数個の係数のうちの１つに対応し、高周波数領域に非ゼロの係数を持たず、
   前記複数個の係数の量子化レベルが閾値より小さい場合、
   前記水平変換がデフォルトの水平変換であり、前記垂直変換がデフォルトの垂直変換であり、および、
   前記符号化されたビデオビットストリームから抽出された第１フラグが前記第２値を有する場合、前記フレーム内予測モードと、前記デフォルトの水平変換と、前記デフォルトの垂直変換とに基づいて、前記二次変換を決定することを実行する、
   ことを特徴とする請求項４または５に記載の方法。
8. 前記ブロックが色度ブロックであり、かつ、
   前記決定されたフレーム内予測モードと、前記符号化されたビデオビットストリームから抽出されたシグナリング情報に基づいて１つ以上の同一の場所に配置された輝度ブロックに対して決定された１つ以上の主変換と、前記１つ以上の同一の場所に配置された輝度ブロックに対して決定された１つ以上の二次変換とに基づいて、前記１つ以上の主変換を決定することを実行する、
   ことを特徴とする請求項１−７のうちの何れか１項に記載の方法。
9. 前記ブロックが色度ブロックであり、かつ、
   前記現在ブロックが直接モードによって予測された色度成分を有する場合のみ、１つ以上の同一の場所に配置された輝度ブロックに対して決定された１つ以上の主変換と、前記１つ以上の同一の場所に配置された輝度ブロックに対して決定された１つ以上の二次変換とに基づいて、前記１つ以上の主変換を決定することを実行する、
   ことを特徴とする請求項１−７のうちの何れか１項に記載の方法。
10. 前記１つ以上の主変換を決定するステップは、前記符号化されたビデオビットストリームから抽出された変換インデックスに基づいて、ＤＣＴ−ＩＩ（離散コサイン変換−タイプＩＩ）変換およびＤＳＴ−ＶＩＩ（離散サイン変換−タイプＶＩＩ）変換を含む候補変換のみから、水平変換および垂直変換のペアを決定するステップを含み、および、
    前記主変換を実行した後に、さらに、前記決定されたフレーム内予測モードおよび前記変換インデックスに基づいて決定された置換処理を実行することに基づいて、前記残差画像を再構築することを実行する、
    ことを特徴とする請求項１または９に記載の方法。
11. 前記１つ以上の主変換を決定するステップは、前記フレーム内予測モードが垂直モードおよび水平モードのうちの一つに対応する場合、前記フレーム内予測モードと、前記符号化されたビデオビットストリームから抽出された変換インデックスとに基づいて、水平変換および垂直変換のペアを決定するステップ、を含む、
    ことを特徴とする請求項１または９に記載の方法。
12. 前記１つ以上の主変換を決定するステップは、前記符号化されたビデオビットストリームが水平変換および垂直変換のうちの一つのみに使用される変換インデックスを含む場合、
    前記符号化されたビデオビットストリームから抽出された変換インデックスに基づいて、前記水平変換および垂直変換のうちの一つを決定し、かつ、
    前記水平変換および垂直変換のうちのもう一つをデフォルト変換に決定するステップ、を含む、
    ことを特徴とする請求項１または９に記載の方法。
13. 処理回路を含む装置であって、前記処理回路は、
    現在ブロックの予測画像を生成するためのフレーム内予測モードを決定し、
    符号化されたビデオビットストリームから抽出されたシグナリング情報に基づいて、１つ以上の主変換を決定し、
    前記決定されたフレーム内予測モードと、前記決定された１つ以上の主変換とに基づいて、二次変換を決定し、
    前記符号化されたビデオビットストリームから抽出された入力ブロックの１つ以上の係数と、前記決定された１つ以上の主変換と、前記決定された二次変換とに基づいて、現在ブロックの残差画像を再構築し、
    前記現在ブロックの予測画像および残差画像に基づいて、前記現在ブロックの画像を再構築するように構成される、
    ことを特徴とする装置。
14. 前記処理回路は、
    前記１つ以上の主変換に基づいて、前記二次変換を使用して二次変換処理を実行するかどうかを決定し、
    前記二次変換処理を実行すると決定された場合、前記二次変換を決定し、前記決定された二次変換に基づいて現在ブロックの残差画像を再構築するように構成される、
    ことを特徴とする請求項１３に記載の装置。
15. 前記処理回路は、
    水平変換および垂直変換の複数のペアのうちの１つを決定し、
    複数の二次変換のうちの１つを識別し、前記識別される二次変換は、前記フレーム内予測モードと、前記水平変換および垂直変換の複数のペアのうちの１つとの組み合わせに関連付けられるように構成され、
    ここで、前記複数の二次変換のそれぞれが、前記水平変換および垂直変換の複数のペアのうちの異なるペアに関連付けられる、
    ことを特徴とする請求項１３または１４に記載の装置。
16. 前記処理回路は、
    前記符号化されたビデオビットストリームから抽出された第１フラグが第１値を有する場合、水平変換および垂直変換のペアがＤＣＴ−ＩＩ（離散コサイン変換−タイプＩＩ）変換であると決定するように構成される、
    ことを特徴とする請求項１３または１５に記載の装置。
17. 前記処理回路は、
    前記符号化されたビデオビットストリームから抽出された第１フラグが第２値を有する場合、前記符号化されたビデオビットストリームから抽出された変換インデックスに基づいて、前記水平変換および垂直変換のペアを決定し、
    前記符号化されたビデオビットストリームから抽出された第１フラグが前記第２値を有する場合、前記フレーム内予測モードと、前記水平変換および垂直変換のペアとに基づいて、前記二次変換を決定するように構成される、
    ことを特徴とする請求項１６に記載の装置。
18. 前記符号化されたビデオビットストリームから抽出された第１フラグが第２値を有し、かつ
    前記入力ブロックの１つ以上の係数が、複数個の係数のうちの１つに対応し、高周波数領域に非ゼロの係数を持たず、
    前記複数個の係数の量子化レベルが閾値より小さい場合、
    前記水平変換がデフォルトの水平変換であり、前記垂直変換がデフォルトの垂直変換であり、および、
    前記処理回路は、前記符号化されたビデオビットストリームから抽出された第１フラグが第２値を有する場合、前記フレーム内予測モードと、前記デフォルトの水平変換と、前記デフォルトの垂直変換とに基づいて、前記二次変換を決定するように構成される、
    ことを特徴とする請求項１６に記載の装置。
19. 前記現在ブロックが色度ブロックであり、
    前記処理回路は、前記決定されたフレーム内予測モードと、前記符号化されたビデオビットストリームから抽出されたシグナリング情報に基づいて１つ以上の同一の場所に配置された輝度ブロックに対して決定された１つ以上の主変換と、前記１つ以上の同一の場所に配置された輝度ブロックに対して決定された１つ以上の二次変換とに基づいて、前記１つ以上の主変換を決定するように構成される、
    ことを特徴とする請求項１３−１８のうちの何れか１項に記載の装置。
20. ビデオ復号化装置のコンピュータに、
    現在ブロックの予測画像を生成するためのフレーム内予測モードを決定することと、
    符号化されたビデオビットストリームから抽出されたシグナリング情報に基づいて、１つ以上の主変換を決定することと、
    前記決定されたフレーム内予測モードと、前記決定された１つ以上の主変換とに基づいて、二次変換を決定することと、
    前記符号化されたビデオビットストリームから抽出された入力ブロックの１つ以上の係数と、前記決定された１つ以上の主変換と、前記決定された二次変換とに基づいて、現在ブロックの残差画像を再構築することと、
    前記現在ブロックの予測画像および残差画像に基づいて、前記現在ブロックの画像を再構築することと、
    を実行させることを特徴とするコンピュータプログラム。