JP7543301B2

JP7543301B2 - 境界平滑化された動き補償に基づくオプティカルフローによるビデオ符号化および復号化の方法および装置

Info

Publication number: JP7543301B2
Application number: JP2021557967A
Authority: JP
Inventors: ギャルピン，フランク; ロベール，アントワーヌ; ルリアネック，ファブリス
Original assignee: インターデジタルヴイシーホールディングス，インコーポレイテッド
Priority date: 2019-04-18
Filing date: 2020-04-14
Publication date: 2024-09-02
Anticipated expiration: 2040-04-14
Also published as: MX2021012698A; EP3957073A1; US20220201328A1; US11991389B2; CN113875253A; WO2020214564A1; JP2022529104A

Description

本実施形態の少なくとも１つは、概して、例えば、ビデオ符号化または復号化のための方法または装置に関し、より具体的には、境界平滑化された動き補償に基づくオプティカルフローを使用して画像ブロックのインター予測を精緻化することを含む方法または装置に関する。

１つ以上の実施態様のドメイン技術フィールドは、概してビデオ圧縮に関する。少なくともいくつかの実施形態は、ＨＥＶＣ（ＨＥＶＣは、「ＩＴＵのＩＴＵ－ＴＨ．２６５電気通信標準化セクタ（１０／２０１４）、シリーズＨ：視聴覚およびマルチメディアシステム、視聴覚サービスのインフラストラクチャ動画のコード化、高効率ビデオコード化、ＩＴＵ－ＴＨ．２６５の推奨」に記載されるＨ．２６５およびＭＰＥＧ－Ｈパート２としても知られる高効率ビデオ符号化を指す）などの既存のビデオ圧縮システムと比較して、またはＶＶＣ（ＪＶＥＴ、合同ビデオ専門家チームによって開発されている新しい標準である汎用ビデオコード化）などの開発中のビデオ圧縮システムと比較して、圧縮効率を改善することに関する。

高い圧縮効率を達成するために、画像およびビデオコード化方式は、通常、画像の分割、動きベクトル予測を含む予測、ビデオコンテンツの空間的および時間的冗長性を利用するための変換を採用する。全般的に、イントラまたはインター予測は、イントラまたはインターフレーム相関を利用するために使用され、次いで、予測誤差または予測残差として示されることが多い元の画像と予測画像との間の差は、周波数ドメイン係数に変換され、係数が量子化され、エントロピーがコード化される。ビデオを再構築するために、圧縮データは、エントロピー復号化、逆量子化、逆変換、および予測に対応する逆プロセスによって復号化される。

ビットレートの節約または複雑さの低減の観点からビデオ圧縮効率を向上させるために、ブロックアーチファクトを低減することが望ましい。いくつかのブロックアーチファクトは、例えば、ブロックベースの動き補償によって関与するため、インター予測を精緻化するために、インターコード化／復号化ツールをさらに適合させることが望ましい。

本発明の目的は、先行技術の不利な点の少なくとも１つを克服することである。

この目的のために、少なくとも１つの実施形態の一般的な態様によれば、境界平滑化された動き補償に基づくオプティカルフローを使用して画像ブロックのインター予測を精緻化する方法が提示される。「インター予測」という用語は、非限定的な例に従って、ＶＶＣのイントラブロックコピー予測モードを含む、任意の動き補償に基づく予測をカバーする広範な用語であることが意図される。動き補償に基づく任意の予測は、本原則に適合する。

少なくとも一実施形態の別の全般的な態様によれば、画像符号化におけるブロックを符号化する方法が提示される。本方法は、境界平滑化された動き補償に基づくオプティカルフローを使用した画像ブロックのインター予測精緻化を含む。

少なくとも一実施形態の別の全般的な態様によれば、境界平滑化された動き補償に基づくオプティカルフローを使用して画像ブロックのインター予測精緻化を含む、画像のブロックを復号化する方法が提示される。

少なくとも１つの実施形態の別の一般的な態様によれば、符号化方法の実施形態のいずれか１つを実施するための手段を含む、ビデオ符号化のための装置が提示される。

少なくとも１つの実施形態の別の一般的な態様によれば、復号化方法の実施形態のいずれか１つを実施するための手段を含む、ビデオ復号化のための装置が提示される。

少なくとも一実施形態の別の全般的な態様によれば、ビデオ符号化のための装置は、１つ以上のプロセッサと、少なくとも１つのメモリとを備える。１つ以上のプロセッサは、符号化方法の実施形態のいずれか１つに実装するように構成されている。

少なくとも１つの実施形態の別の一般的な態様によれば、ビデオ復号化のための装置は、１つ以上のプロセッサおよび少なくとも１つのメモリを備える。１つ以上のプロセッサは、復号化方法の実施形態のいずれか１つに実装するように構成されている。

少なくとも１つの実施形態の別の全般的な態様によれば、オプティカルフローは、ブロックの動き情報、上隣接ブロックの動き情報、左隣接ブロックの動き情報、および動き情報重み付け係数に基づいている。

少なくとも１つの実施形態の別の全般的な態様によれば、ブロックに関する動き情報、上隣接ブロックに関する動き情報、および左隣接ブロックに関する動き情報が取得され、ブロックに関する新しい動き情報は、ブロックに関する動き情報、上隣接ブロックに関する動き情報、および左隣接ブロックに関する動き情報の重み付けされた合計から、動き情報重み付け係数を使用して決定され、画像ブロックに関する精緻なインター予測は、ブロックに関する新しい動き情報に基づくオプティカルフローを決定することによって取得される。

少なくとも１つの実施形態の別の全般的な態様によれば、画像ブロックの精緻化されたインター予測は、画像ブロックの因果ボーダー（ｃａｕｓａｌｂｏｒｄｅｒ）の境界サブブロックについて取得される。

少なくとも一実施形態の別の全般的な態様によれば、画像ブロックは、サブブロック動きを有し、画像ブロックの任意のサブブロックに対してインター予測精緻化が実行される。

少なくとも１つの実施形態の別の全般的な態様によれば、画像ブロックは、サブブロック動きフィールドを有し、画像ブロックのインター予測精緻化は、境界平滑化された動き補償に基づき、さらにサブブロック動きフィールドに基づくオプティカルフローを使用する。

少なくとも１つの実施形態の別の全般的な態様によれば、画像ブロックのインター予測精緻化は、ブロックのサイズが値よりも大きいことに応答して、またはブロックのインター予測モードに応答して、ブロックレベルまたはサブブロックレベルで有効にされる。

少なくとも１つの実施形態の別の全般的な態様によれば、画像ブロックのインター予測精緻化は、信号通知構文要素に、インター予測精緻化が適用されるブロックまたはサブブロックを識別することを可能にするフラグを挿入することによって、ブロックレベル、サブブロックレベルで有効にされる。

少なくとも１つの実施形態の別の全般的な態様によれば、動き情報重み付け係数は、動き情報の入手可能性、記憶された重み付け係数のセット、および精緻化するためのインター予測と隣接するブロックの動き情報との間の距離のうちの少なくとも１つから導出される。

少なくとも１つの実施形態の別の全般的な態様によれば、前述の説明のいずれかの方法または装置に従って生成されたデータコンテンツを含む、非一時的なコンピュータ可読媒体が提示される。

少なくとも１つの実施形態の別の全般的な態様によれば、前述の説明のいずれかの方法または装置に従って生成されたビデオデータを含む信号またはビットストリームが提供される。

本実施形態の１つ以上はまた、上述の方法のいずれかに従って、ビデオデータを精緻化インター予測、符号化、または復号化するための命令をその上に記憶するコンピュータ可読記憶媒体を提供する。また、本実施形態は、上で説明される方法に従って生成されたビットストリームが保存されたコンピュータ可読記憶媒体を提供する。また、本実施形態は、上で説明される方法に従って生成されたビットストリームを送信するための方法および装置を提供する。また、本実施形態は、説明された方法のいずれかを実行するための命令を含むコンピュータプログラム製品を提供する。

圧縮されたＨＥＶＣピクチャを表すためのコード化ツリーユニット（ＣＴＵ）およびコード化ツリー（ＣＴ）の概念の図である。コード化ツリーユニットをコード化ユニット、予測ユニットおよび変換ユニットに分割する例を示す。特定の実施形態に係るインター予測ブロックを取得するための方法のフローチャートを示す。特定の実施形態によるオーバーラップしたブロック動き補償の例を示す。特定の実施形態による双方向オプティカルフローで使用される拡張ＣＵ領域の例を示す図である。特定の実施形態によるオプティカルフローベースの動き精緻化フローの例を示す。特定の実施形態による、境界平滑化された動き補償に基づくオプティカルフローを使用して画像ブロックのインター予測を精緻化する方法のフローチャートを示す。特定の実施形態による画像のブロックを復号化する方法のフローチャートを示す。特定の実施形態に係る画像のブロックを符号化する方法のフローチャートを示す。別の特定の実施形態による、境界平滑化された動き補償に基づくオプティカルフローを使用して画像ブロックのインター予測を精緻化する方法のフローチャートを示す。別の特定の実施形態による、境界平滑化された動き補償に基づくオプティカルフローを使用して画像ブロックのインター予測を精緻化する方法が適用される例示的なサブブロック動きフィールドを示す。サブブロックＢ０およびその隣接する動きベクトルの例を示す。特定の実施形態による、境界平滑化された動き補償方法に基づくオプティカルフローのフローチャートを示す。特定の実施形態による、位置（ｉ，ｊ）における画素の境界平滑化された動き補償に基づくオプティカルフローのフローチャートを示す。特定の実施形態による、Ｌ０リスト予測器の上隣接についての隣接する動き抽出のフローチャートを示す。特定の実施形態による、Ｌ０リスト予測器の上隣接の代替の隣接する動き抽出を示す図である。特定の実施形態による、Ｌ０リスト予測器の上隣接についての代替の隣接する動き抽出の別の例を示す。特定の実施形態による、各動きベクトルの重みを計算する方法のフローチャートを示す。特定の実施形態による、各動きベクトルの重みを計算する方法を示す。別の特定の実施形態による、境界平滑化された動き補償方法に基づくオプティカルフローのフローチャートを示す。実施形態の様々な態様が実装され得るビデオ符号化器の実施形態を示すブロック図を示す。実施形態の様々な態様が実装され得るビデオ復号化器の実施形態のブロック図を示す。実施形態の様々な態様が実装され得る例示的な装置のブロック図を示す。

図および説明は、明確にするために、典型的な符号化デバイスおよび／または復号化デバイスに見出される他の多くの要素を排除しながら、本発明の原理を明確に理解するために、関連する要素を説明するために簡略化されていることを理解されたい。本明細書では、第１および第２の用語を使用して様々な要素を説明する場合があるが、これらの要素は、これらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。

画像の符号化／復号化に関して、様々な実施形態が説明される。これらの実施形態は、スライス画像またはタイル画像、タイル群画像、または画像のシーケンス全体など、画像の一部を符号化／復号化するために適用されてもよい。

様々な方法が上で説明されており、各方法は、説明された方法を達成するための１つ以上のステップまたは動作を含む。本方法の正しい動作のために特定の順序のステップまたは行為が必要でない限り、特定のステップおよび／または行為の順序および／または使用は、変更されてもよく、または組み合わされてもよい。

少なくともいくつかの実施形態は、境界平滑化された動き補償に基づくオプティカルフローを使用して画像ブロックのインター予測を精緻化することに関する。有利には、オプティカルフローベースの補正は、境界ブロックの動き情報を使用して導出され、したがって、ブロック境界におけるアーチファクトを平滑化する。有利には、オプティカルフローベースの補正は、ブロック（サブブロック）の分割について導出され、したがって、ブロック内のサブブロック境界でアーチファクトを平滑化する。

以下では、本原則の理解に有用であり、本原則を実施することができる全般的な実施形態を説明する。次に、境界平滑化された動き補償に基づくオプティカルフローのいくつかの実施形態を開示する。最後に、追加情報および全般的な実施形態を開示する。

ＨＥＶＣでは、動き補償時間予測は、ビデオの連続したピクチャの間に存在する冗長性を利用するために用いられる。

図１は、圧縮されたＨＥＶＣピクチャを表すためのコード化ツリーユニット（ＣＴＵ）およびコード化ツリー（ＣＴ）の概念を示す。ＨＥＶＣ符号化器では、ピクチャは、大きなブロック（ＣＴＵ）に分割される。各ＣＴＵは、ＣＴＵの再帰的な四分ツリーまたは二分ツリー分割に基づいて、コード化ツリーによって表され、各リーフは、図１に例示されるように、コード化ユニット（ＣＵ）と呼ばれる。各ＣＵは１つ以上の予測ユニット（ＰＵ）で予測され、次にいくつかのイントラまたはインター予測パラメータ（予測情報）が与えられる。

図２は、コード化ツリーユニットをコード化ユニット、予測ユニット、変換ユニットに分割する例を示す。イントラまたはインターコード化モードは、図２に示すようにＣＵレベルで割り当てられる。ＨＥＶＣの各ＰＵに正確に１つの動きベクトルが割り当てられる。この動きベクトルは、考慮されるＰＵの動き補償された時間予測に使用される。したがって、ＨＥＶＣでは、予測されたブロックとその参照ブロックとをリンクする動きモデルは単に、平行移動からなる。

ＶＶＣの最新の開発では、ＰＵは、共通のパラメトリック動きモデル（例えば、アフィンモード）を使用して、または記憶された時間動き（例えば、サブブロック時間動きベクトル予測器ＳｂＴＭＶＰ、別名ＡＴＭＶＰ）を使用して、サブブロック動き（例えば、４×４角形サブブロック）を含有することができる。

図３は、特定の実施形態による、インター予測ブロックを取得するための方法のフローチャートを示す。画像のブロックを構築するために使用されるパイプラインの非限定的な例を示す。変形実施形態によれば、段階のいくつかは迂回される。例えば、段階ＬＩＣおよびＯＢＭＣは、迂回される。他の変形実施形態によれば、図３に表されない付加的な段階が付加される。例えば、ＰＲＯＦが追加される。インター予測ブロックの復号化に関して、ＶＶＣの開発のために以下のプロセスが検討されている。
－ＭＣ：動き補償（ブロックまたはサブブロックのいずれか）、
－ＬＩＣ：局所照明補償。線形適応を使用して、予測サンプル値を変更する。
－ＢＩＯまたはＢＤＯＦ：双方向予測オプティカルフロー。ブロックを再構築するために使用される２つの参照ブロック間のオプティカルフロー推定の結果を使用して、予測されるサンプル値を変更する。このツールの詳細については、以下で説明する。
－ＤＭＶＲ：復号化器側の動きベクトル精緻化（図３には示されていない）：双方向予測のために復号化器側のＰＵ内の動きベクトルを精緻化。
－ＧＢＩ一般化双予測、ＣＵレベルの重み付きＢＣＷ双予測とも呼ばれる：ブロックを再構築するために使用される２つの参照ブロックの重み付け平均。
－ＯＢＭＣ：オーバーラップしたブロック動き補償。隣接するブロックからの異なる動きベクトルを使用して、動き補償ブロックの重み付け平均。このツールの詳細については、以下で説明する。
－ＩＱ／ＩＴ：残差を再構築するために使用される逆量子化と変換。
－イントラ予測：周囲のサンプル値を使用してブロックを予測するための使用。
－Ｍｕｌｔｉ－ＨｙｐｏｔｈｅｓｉｓまたはＣＩＩＰＣｏｍｂｉｎｅｄＩｎｔｅｒ／ＩｎｔｒａＰｒｅｄｉｃｔｉｏｎ：位置に応じて重み付け平均を使用して、いくつかの予測（通常はインターとイントラ）を統合する。また、ブロック内でいくつかのインター予測をマージすることができる三角形のｍｕｌｔｉ－ｈｙｐｏｔｈｅｓｉｓにも拡張される。
－ＣＣＬＭ：クロスコンポーネントリニアモデル。別の既に再構築されたコンポーネントを使用して、線形モデルを使用して現在のコンポーネントを予測する。

図４は、特定の実施形態によるオーバーラップしたブロック動き補償の一例を示す図である。オーバーラップしたブロック動き補償はＶＶＣでは適用されなかったが、ＯＭＢＣはテストモデルで検討された。テストモデルによると、ＣＵ間の動きのトランジションを減衰させることを目的としたオーバーラップされたブロック動き補償ＯＢＭＣと呼ばれるプロセス（ブロックアーチファクトによるデブロッキングフィルタのようなもの）により、すべてのインターＣＵのコード化モードが動き補償ステップに従った。しかしながら、この方法は、ＰＵまたはサブブロックによるいくつかの動き補償を必要とし、これは復号化器のメモリ帯域幅要件を増加させる。本原理は、インター予測の精緻化を説明し、したがって、ＯＢＭＣの多重動き補償を有利に回避する。しかしながら、ＯＢＭＣとして、本原則は、サブブロックＰＵまたは非サブブロックＰＵの両方に有利に適用される。

上および左側のブロックを使用した、ブロックベースのＯＢＭＣについてのＯＢＭＣの基本原理を図４に示す。
－現在のブロックＣは、現在のブロックの動きベクトルで第１の動きを補償され、
－現在のブロックＣの左バンドは、左ブロック隣接Ｌの動きベクトルで補償され、
－現在のブロックＣの上バンドは、上ブロックの隣接するＴ０およびＴ１の動きベクトルを使用して補償され、
－次いで、最終動き補償ブロックを計算するために、（ブロックレベルまたは画素レベルのいずれかで）重み付け和が実行される。

現在のブロックのＯＢＭＣプロセスは、この現在のブロックの再構築中に実行される。これは、現在のブロックの各バンドの動き補償を実行するために必要なパラメータを隣接する各ブロックに保存する必要があることを意味する。

ＶＶＣ仕様は、オプティカルフローの原理に基づいて画素レベルでの動き補償を精緻化するインター予測の予測精緻化のための２つのツールを備えている。オプティカルフローの概念は、２つの仮定に依存している。第１に、物体の動きが滑らかであり、第２に、オプティカルフロー方程式によって導出される動き精緻化を加えることによって予測サンプルを精緻化する。第１のツールは、精緻化されたインター予測を得るために時間的なオプティカルフローを実行する双方向オプティカルフローＢＤＯＦである。第２のツールは、精緻化されたインター予測を得るために空間オプティカルフローを実行するオプティカルフローＰＲＯＦを用いた予測精緻化である。

ＢＤＯＦは、Ｌ０とＬ１の予測サンプルとの間の差を最小限にすることによって、４×４サブブロックレベルでのブロックまたはＣＵの双予測を精緻化するために使用される。ＢＤＯＦは、ＶＶＣの開発中に簡略化されたため、ＢＤＯＦのより単純なバージョンは、特に乗算の数および乗算器のサイズの観点から、はるかに少ない計算を必要とする。ＢＤＯＦは、以下の条件を満たす場合、ＣＵに適用される。
１）ＣＵの高さは４ではなく、ＣＵは４×８のサイズではなく、
２）ＣＵは、アフィンモードまたはｓｂＴＭＶＰマージモードを使用してコード化されず、
３）ＣＵは、「真の」双予測モードを使用してコード化され、すなわち、２つの参照ピクチャのうちの１つは、表示順に現在のピクチャの前にあり、他方は、表示順に現在のピクチャの後にある。

ＢＤＯＦは、輝度コンポーネントにのみ適用される。

その名が示すように、ＢＤＯＦモードは、対象物の動きが滑らかであり、その輝度が考慮された時間間隔に沿って一定であると仮定するオプティカルフローの概念に基づく。各４×４サブブロックについて、Ｌ０とＬ１予測サンプルとの差を最小限にすることによって、動き精緻化（ｖ_ｘ，ｖ_ｙ）を計算する。次いで、動きの精緻化は、４×４サブブロック内の双予測サンプル値を調節するために使用される。ＢＤＯＦプロセスでは、以下の手順が適用される。

先ず、水平および垂直勾配
および
、２つの予測信号のｋ＝０，１が、２つの隣接するサンプル間の差を直接的に算出することによって計算される。
ここで、Ｉ^（ｋ）（ｉ，ｊ）は、リストｋ，ｋ＝０，１における予測信号の座標（ｉ，ｊ）でのサンプル値である。

そして、Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_５，Ｓ_６の勾配の自己相関と相互相関を次のように計算する。
ここで：
式中、Ωは、４×４サブブロックを取り囲む６×６の窓である。

次いで、以下を使用して、相互相関項および自己相関項を使用して、動きの精緻化（ｖ_ｘ、ｖ_ｙ）が導出される。
ここで、
および
は、床関数である。

動きの精緻化と勾配に基づいて、４×４サブブロックの各サンプルについて以下の調整が計算される。
最後に、ＣＵのＢＤＯＦサンプルは、以下のように双予測サンプルを調整することによって計算される。
上記では、ｎ_ａ，ｎ_ｂの値および
はそれぞれ３、６、および１２に等しい。これらの値は、ＢＤＯＦ処理における乗算器が１５ビットを超えず、ＢＤＯＦ処理における中間パラメータの最大ビット幅が３２ビット以内に維持されるように選択される。

勾配値を導出するために、現在のＣＵ境界の外側のリストｋ（ｋ＝０，１）内のいくつかの予測サンプルＩ^（ｋ）（ｉ，ｊ）を生成する必要がある。図５に示すように、ＢＤＯＦのより単純なバージョンは、ＣＵの境界の周りに１つの拡張された行／列を使用する。境界外予測サンプルを生成する計算の複雑さを制御するために、双線形フィルタを使用して拡張領域（ホワイト位置）内の予測サンプルを生成し、通常の８タップ動き補償補間フィルタを使用してＣＵ（グレー位置）内の予測サンプルを生成する。これらの拡張サンプル値は、勾配計算でのみ使用される。ＢＤＯＦプロセスの残りのステップでは、ＣＵ境界外のサンプル値とグラデーション値が必要な場合、それらは最も近い隣接から埋め込まれる（すなわち繰り返し）される。双方向オプティカルフロー（ＢＤＯＦ）は、双予測のブロックワイズ動き補償の上で実行されるサンプルワイズ動きの精緻化である。サンプルレベルの動きの精緻では、信号通知は使用されない。双予測の場合、ＢＤＯＦの目標は、２つの参照ピクチャの間の線形変位を仮定し、オプティカルフローのハーマイトの補間に基づいて、各サンプルの動きを精緻化することである。

ＶＶＣに採用されている第２のツールは、オプティカルフローベースの動き精緻化であり、オプティカルフローまたはＰＲＯＦによる予測精緻化と呼ばれるブロックベースのアフィン動き補償を修正する。図６は、特定の実施形態によるオプティカルフローベースの動き精緻化フローの例を示す。より細かい動き補償の粒度を達成するために、このツールは、サブブロックベースのアフィン動き補償予測を空間オプティカルフローで精緻化する方法を提案する。サブブロックベースのアフィン動き補償を行った後、オプティカルフロー方程式により導出される差分を加えることにより、輝度予測サンプルを精緻化する。ＰＲＯＦは、次の４つのステップとして説明されている。
ステップ１）サブブロックベースのアフィン動き補償を実行して、サブブロック予測Ｉ（ｉ，ｊ）を生成する。
ステップ２）サブブロック予測の空間勾配ｇ_ｘ（ｉ，ｊ）およびｇ_ｙ（ｉ，ｊ）は、３タップフィルタ［－１，０，１］を使用して、各サンプル位置で計算される。
ｇ_ｘ（ｉ，ｊ）＝Ｉ（ｉ＋１，ｊ）－Ｉ（ｉ－１，ｊ）
ｇ_ｙ（ｉ，ｊ）＝Ｉ（ｉ，ｊ＋１）－Ｉ（ｉ，ｊ－１）
サブブロック予測は、勾配計算のために両側に１画素延長される。メモリ帯域幅と複雑性を低減するために、拡張されたボーダー上の画素は、参照ピクチャの最も近い整数画素位置からコピーされる。したがって、埋め込み領域に対する追加の補間は回避される。
ステップ３）輝度予測精緻化は、オプティカルフロー方程式により算出する。
ΔＩ（ｉ，ｊ）＝ｇ_ｘ（ｉ，ｊ）＊Δｖ_ｘ（ｉ，ｊ）＋ｇ_ｙ（ｉ，ｊ）＊Δｖ_ｙ（ｉ，ｊ）
ここで、Δｖ（ｉ，ｊ）は、図６に示すように、ｖ（ｉ，ｊ）で示されるサンプル位置（ｉ，ｊ）について計算される画素ＭＶと、画素（ｉ，ｊ）が属するサブブロックのサブブロックＭＶＶ_ＳＢとの差である。アフィンモデルのパラメータおよびサブブロック中心に対する画素位置はサブブロックからサブブロックに変更されないため、第１のサブブロックについてΔｖ（ｉ，ｊ）を算出し、同じＣＵ内の他のサブブロックについて再利用することができる。ｘおよびｙを画素位置からサブブロックの中心までの水平および垂直オフセットとすると、Δｖ（ｘ，ｙ）は以下の式で導出することができ、
４パラメータアフィンモデルについて、
６パラメータアフィンモデルについて、
式中、（ｖ_０ｘ、ｖ_０ｙ）、（ｖ_１ｘ、ｖ_１ｙ）、（ｖ_２ｘ、ｖ_２ｙ）は、左上、右上および左下の制御点動きベクトルであり、ｗおよびｈは、ＣＵの幅および高さである。
ステップ４）最後に、サブブロック予測Ｉ（ｉ，ｊ）に輝度予測精緻化を追加する。最終予測Ｉ’は、Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）＋ΔＩ（ｉ，ｊ）として生成される。

図７は、特定の実施形態による、境界平滑化された動き補償に基づくオプティカルフローを使用して画像ブロックのインター予測を精緻化する方法のフローチャートを示す。上記で説明したように、ＯＢＭＣプロセスがＣＵ間の動き遷移を減衰させることを目的とする場合、それは、特定のブロックを再構築するときにオンザフライで適用され、復号化器におけるメモリ帯域幅要件の問題を引き起こすいくつかの動き補償を必要とする。ＯＢＭＣなどのブロック境界でのアーチファクトを、より低い実施態様の複雑度で平滑化する方法を見出すことが望ましい。そのために、本発明の原理は、オプティカルフローベースの境界平滑化された動き補償を使用して、画像ブロックのインター予測を精製することを開示する。変形文言によれば、オプティカルフローベースのＯＢＭＣを用いた動き補償予測精緻方法がここに開示される。既知のオプティカルフローベースの方法、例えば、所与の予測（時間的またはアフィン）を精緻化するために使用されるＢＤＯＦおよびＰＲＯＦとは異なり、本原理は、ブロック境界でアーチファクトを平滑化する代替のオプティカルフロー方法を開示する。以下では、オプティカルフローベースの境界平滑化された動き補償という用語と、オプティカルフローベースの重なり合ったブロック動き補償という用語を無関心に使用してもよい。

したがって、図７に示されるように、画像ブロックのインター予測Ｓ１００を精緻化する方法は、ＯＭＢＣに基づくオプティカルフローのステップＳ１１０を含む。有利には、インター予測Ｓ１００を精緻化するための方法の少なくとも１つの全般的な実施形態は、
－動き情報のみを使用することによって、境界ブロック上のオプティカルフロー予測精緻化を導出し、
－いくつかの固定条件に基づいて条件付きでこの精緻化を適用するか、または精緻化の適用を信号通知し、
－ＣＵ、サブブロック（４×４）、またはより大きなブロック（１６×１６）レベルでの精緻化を適用する。

有利には、インター予測Ｓ１００を精緻化するための方法の少なくとも１つの全般的な実施形態は、単一の動き補償を使用して、ブロックアーチファクトを動き補償から除去する。実際、各境界サブブロックの精緻化は、オプティカルフローの概念に由来するプロセスを使用して行われる。

少なくとも一実施形態の別の全般的な態様によれば、境界平滑化された動き補償に基づくオプティカルフローを使用して画像ブロックのインター予測精緻化を含む、画像のブロックを復号化する方法が提示される。図８は、特定の実施形態による画像のブロックを復号する方法のフローチャートを示す。このため、その変形例のいずれかに係るインター予測精緻化Ｓ１００は、復号化方法Ｓ２００に実装される。

少なくとも一実施形態の別の全般的な態様によれば、画像符号化におけるブロックを符号化する方法が提示される。本方法は、境界平滑化された動き補償に基づくオプティカルフローを使用した画像ブロックのインター予測精緻化を含む。図９は、特定の実施形態による画像のブロックを符号化する方法のフローチャートを示す。同様に、変形例のいずれかに係るインター予測精緻化Ｓ１００は、符号化方法Ｓ３００で実装される。

第１の変形例によれば、境界平滑化された動き補償に基づくオプティカルフローの少なくとも１つの実施形態は、輝度成分にのみ適用される。第２の変形例によれば、境界平滑化された動き補償に基づくオプティカルフローの少なくとも１つの実施形態は、彩度成分に適用される。

図１０は、別の特定の実施形態による、境界平滑化された動き補償に基づくオプティカルフローを使用して画像ブロックのインター予測を精緻化する方法のフローチャートを示す。図４に示すように、各ブロックＣについて、第１のステップＳ１１１において、ブロックについての動き情報、上隣接ブロックの動き情報、左隣接ブロックの動き情報がメモリから取得される。すなわち、少なくとも現在のブロックｍｖＣの動きベクトル、上ブロックｍｖＴの動きベクトル、および左ブロックｍｖＬの動きベクトルが取り出される。次いで、ステップＳ１１２において、新しい画素単位の動きベクトルｍｖ（ｉ，ｊ）は、ｍｖ（ｉ，ｊ）＝ａ（ｉ，ｊ）＊ｍｖＣ（ｉ，ｊ）＋ｂ（ｉ，ｊ）＊ｍｖＴ（ｉ，ｊ）＋ｃ（ｉ，ｊ）＊ｍｖＬ（ｉ，ｊ）を有する３つの動きベクトルｍｖＣ、ｍｖＴおよびｍｖＬの重み付け和として計算され、相対重みａ（ｉ，ｊ），ｂ（ｉ，ｊ）およびｃ（ｉ，ｊ）は、隣接するブロックからの画素距離に応答する。次に、ステップＳ１１３において、ブロックの各画素について、新規の動きベクトルと現在のブロックの動きベクトルとの差分Δｍｖ（ｉ，ｊ）に基づくオプティカルフローベースの精緻化を取得し、差分を画素（ｉ，ｊ）ついてΔｍｖ（ｉ，ｊ）＝ｍｖ（ｉ，ｊ）－ｍｖＣ（ｉ，ｊ）で算出する。特定の実施形態によれば、インター予測を精緻化する方法の異なるステップＳ１１、Ｓ１１２、およびＳ１１３は、サブブロック上で実行され、なぜなら、動きフィールドが定義される特定の例では、動き情報は、ブロック内の各サブブロックについて変化するからである。有利には、ブロック内の境界アーチファクトは、したがって、平滑化される。以下では、様々な特徴および実施形態について説明する。

図１１は、別の特定の実施形態による、境界平滑化された動き補償に基づくオプティカルフローを使用して画像ブロックのインター予測を精緻化する方法が適用される例示的なサブブロック動きフィールドを示す。この実施形態によれば、画像ブロックの因果ボーダーの境界サブブロックについて、画像ブロックの精緻化されたインター予測が取得される。図１３は、この特定の実施形態による、境界平滑化された動き補償方法に基づくオプティカルフローの例示的なフローチャートを示す。ＣＵＣ内の因果ボーダーの各サブブロック（４×４）、例えば図１１のサブブロックＢ０～Ｂ６について、図１３に示される全体的なプロセスが実行される。プロセスは、すべての予測（一方向予測の場合はＬ０またはＬ１のいずれか、または双予測の場合はその両方）に対して実行される。
－各サブブロックＢ０～Ｂ６について、ステップＳ１１１で、現在のサブブロックの現在ｍｖＣ、上ｍｖＴ、および左ｍｖＬ動きベクトルが抽出される。以下では、ｍｖ抽出または検索のための様々な実施形態が開示される。
－ステップＳ１１２において、例えば、サブブロックＢ０を有する図１２に例示されるように、現在のサブブロックＢ内の各画素について、新しい動きベクトルｍｖ（ｉ，ｊ）は、３つの動きベクトルｍｖＣ、ｍｖＴおよびｍｖＬ：ｍｖ（ｉ，ｊ）＝ａ（ｉ，ｊ）＊ｍｖＣ（ｉ，ｊ）＋ｂ（ｉ，ｊ）＊ｍｖＴ（ｉ，ｊ）＋ｃ（ｉ，Ｊ）＊ｍｖＬ（ｉ，ｊ）の重み付け和として計算される。以下では、重み付け係数を取得するための様々な実施形態が開示される。
－ステップＳ１１３では、次いで、サブブロックの各画素に対してオプティカルフローベースの精緻化が実行される。図１４は、特定の実施形態による、位置（ｉ，ｊ）での画素の境界平滑化された動き補償に基づくオプティカルフローのフローチャートを図示する。
ｏサブブロックについての空間勾配ｇｘ（Ｉ，ｊ）およびｇｙ（Ｉ，ｊ）が計算される。勾配は、ＣＵ内の因果ボーダーの各サブブロックに対して動き補償を１画素拡大することによって計算される。勾配を計算するためのいくつかの変形によれば、
■ ブロックの外側の画素について最も近い画素動き補償は、複雑な補間フィルタを有利に回避するために実行される。
■ 現在のサブブロックにサブブロックの動きベクトルがない（すなわち、ＳｂＴＭＶＰのアフィンではない）場合、サブブロックの外側の右ボーダーと下ボーダーは、ＣＵ内の隣接するサブブロックからコピーされる。
ｏ動きベクトル差は、Δｍｖ（ｉ，ｊ）＝ｍｖ（ｉ，ｊ）－ｍｖＣ（ｉ，ｊ）で計算される。
ｏ精緻化は、ΔＩ（ｉ，ｊ）＝Δｍｖ（ｉ，ｊ）＿ｘ＊ｇｘ（ｉ，ｊ）＋Δｍｖ（ｉ，ｊ）＿ｙ＊ｇｙ（ｉ，ｊ）から計算され、ここで、Ｉは現在の予測画像であり、Δｍｖ（ｉ，ｊ）＿ｘおよびΔｍｖ（ｉ，ｊ）＿ｙは、動きベクトル差Δｍｖ（ｉ，ｊ）のｘおよびｙ成分である。
ｏ精緻化された予測は、クリップされた精緻化を予測に追加することによって得られる：Ｉ（ｉ，ｊ）←Ｉ（ｉ，ｊ）＋ｃｌｉｐ（ΔＩ（ｉ，ｊ））。
■ クリッピング機能を使用すると、大きな勾配や動きの場合に精緻化の補正を制限できる。通常、クリップ関数は次のようになる：
・Ｃｌｉｐ（ｘ）：ｉｆｘ＜－ＴｔｈｅｎｒｅｔｕｒｎＴｅｌｓｅｉｆｘ＞ＴｒｅｔｕｒｎＴｌｅｓｅｒｅｔｕｒｎｘ．
・閾値Ｔは固定されている。典型的な値は、１０ビット信号の場合８である。
したがって、オプティカルフローベースのＯＭＢＣを使用して、精緻化されたインター予測Ｉが得られる。

図１５は、特定の実施形態による、Ｌ０リスト予測器の上隣接についての隣接する動き抽出のフローチャートを示す。当業者は、例えば左隣接ブロックに対して、他の隣接ブロックに対する対応する抽出を容易に導出するであろう。第１のステップでは、動きベクトルは、それが存在する場合、リストＬ０から抽出される。存在しない場合、動きベクトルｍｖＴはゼロ値に設定される。存在する場合は、参照ピクチャがテストされる。Ｌ０上ブロックの参照ピクチャとＬ０現在ブロックの参照ピクチャが同じ場合、上ブロックのリストＬ０から抽出された上ブロック動きベクトルｍｖＴは、現在ブロックのオプティカルフローベースのＯＢＭＣでさらに使用するために記憶される。それらが異なる場合、動きベクトルｍｖＴはゼロ値に設定される。さらに、リストＬ１についての上および左側の隣接の動きベクトルは、リストＬ０の１つと類似している。変形例の実施形態によれば、ｍｖＴが存在しないとき、動きベクトルｍｖＴはゼロに設定されないが、欠損した動きベクトルｍｖＴに関連付けられた重みｂ（ｉ，ｊ）はゼロに設定され、したがって、対応する上動きベクトルの重み付け和における重み寄与度ゼロをもたらす。

隣接する動きベクトル抽出の変形実施形態によれば、隣接するブロックの参照ピクチャが現在のブロックの参照ピクチャを指さない場合、動きベクトルは再スケーリングされる。図１６は、特定の実施形態による、Ｌ０リスト予測器の上隣接の代替の隣接する動き抽出の例を示す。前述のように、第１のステップでは、動きベクトルが存在する場合、リストＬ０から抽出される。存在する場合は、参照ピクチャがテストされる。Ｌ０上ブロックの参照ピクチャとＬ０現在ブロックの参照ピクチャが同じ場合、上ブロックのリストＬ０から抽出された上ブロック動きベクトルｍｖＴは、現在ブロックのオプティカルフローベースのＯＢＭＣでさらに使用するために記憶される。それらが異なる場合、Ｌ０からの動きベクトルｍｖＴは、ピクチャ距離に基づいて現在の参照ピクチャを指すように再スケールされる。実際、再スケーリングプロセスは、標準的な適応動きベクトル予測ＡＭＶＰプロセスにおける動きベクトル予測器の再スケーリングに使用されるものと同じである。リストＬ０から動きベクトルｍｖＴが抽出されない場合、動きベクトルｍｖＴは、動きベクトルｍｖＴは、ゼロ値に設定される。

隣接する動きベクトル抽出のさらに別の変形実施形態によれば、動きベクトルは、現在のリスト（この例ではＬ０）に存在しない場合、他のリスト（この例ではＬ１）から追加的に抽出される。図１７は、特定の実施形態による、Ｌ０リスト予測器の上隣接の代替の隣接する動き抽出の例を示す。前述のように、再スケーリングプロセスは、標準的なＡＭＶＰプロセスにおける動きベクトル予測器を再スケーリングするために使用されるものと同じである。第１のステップでは、動きベクトルは、それが存在する場合、リストＬ０から抽出される。存在する場合は、参照ピクチャがテストされる。Ｌ０上ブロックの参照ピクチャとＬ０現在ブロックの参照ピクチャが同じ場合、上ブロックのリストＬ０から抽出された上ブロック動きベクトルｍｖＴは、現在ブロックのオプティカルフローベースのＯＢＭＣでさらに使用するために記憶される。それらが異なる場合、Ｌ０からの動きベクトルｍｖＴは、ピクチャ距離に基づいて現在の参照ピクチャを指すように再スケールされる。実際、再スケーリングプロセスは、標準的な適応動きベクトル予測ＡＭＶＰプロセスにおける動きベクトル予測器の再スケーリングに使用されるものと同じである。リストＬ０から動きベクトルｍｖＴが抽出されない場合、動きベクトルｍｖＴが存在する場合、リストＬ１から抽出される。リストＬ１から抽出した動きベクトルｍｖＴが存在する場合、参照ピクチャがテストされる。同様に、Ｌ１上ブロックの参照ピクチャとＬ１現在ブロックの参照ピクチャが同じ場合、上ブロックについてリストＬ１から抽出された上ブロック動きベクトルｍｖＴは、現在ブロックのオプティカルフローベースのＯＢＭＣでさらに使用するために記憶される。参照ピクチャが異なる場合、Ｌ１からの動きベクトルｍｖＴは、現在の参照ピクチャを指すように再スケーリングされる。リストＬ１から動きベクトルｍｖＴが抽出されない場合、動きベクトルｍｖＴはゼロ値に設定される。

図１８は、特定の実施形態による、各動きベクトルの重みを計算する方法のフローチャートを示す。各動きベクトルについて、動きベクトルが存在しない場合（動き情報抽出のための前の実施形態で述べられているように）、またはそれが存在する場合、所与の重み（後述のように）が０に設定される。例えば、上動きベクトルが存在しない場合、重みｂ’（ｉ，ｊ）はゼロに設定される。同様に、左動きベクトルが存在しない場合、重みｃ’（ｉ，ｊ）はゼロに設定される。それ以外の場合、所与の重みａ’（ｉ，ｊ）、ｂ’（ｉ，ｊ）、およびｃ’（ｉ，ｊ）は、例えば、ＬＵＴから取得されるか、または上または左隣接ブロックまでの画素の距離に基づいて計算される。最後のステップでは、３つの重みは、適用される前に正規化される。代替的に、正規化は、動きベクトルの重み付け和が計算された後に適用される。

図１９は、特定の実施形態による、各動きベクトルの重みを計算するための方法を示す。例えば、４×４サブブロックにおいて、図１９は、画素位置に応じて、各動きベクトル（左隣接動きベクトル、上隣接動きベクトルのｂ’（ｉ，ｊ）、現在の隣接動きベクトルのａ’（ｉ，ｊ））に印加されるデフォルトの重み（それぞれ、左隣接動きベクトル、上隣接動きベクトル、および現在ブロック動きベクトル）の例を示す。例として、重みは、以下である。
－ダークレー、０．５の重み
－ライトグレー、０．２５の重み
－ホワイト、０の重み

変形実施形態によれば、重みのＬＵＴは、考慮された動きベクトルのブロックへの画素の距離から導出される。したがって、重みは、図１９の例示的な実施形態としてデフォルトの重みのＬＵＴに事前計算されて記憶されるか、または以下に記載されるようにオンラインで計算され、重み付け関数またはパラメータＷおよびＫは適応的である。例えば、上動きベクトルについて、画素ｐ（ｉ，ｊ）の重みは、以下によって与えられる。
ｗ（ｉ，ｊ）＝Ｗ｜１－１／Ｋ（ｉ－ｉ０）｜ｉｆｉ＜ｉ０＋Ｋ
ｗ（ｉ，ｊ）＝０ｏｔｈｅｒｗｉｓｅ
ここで、ｉ０は上行の座標であり、Ｗはスケールファクタであり、Ｋはサブブロック内部の平滑化の長さである。例えば、Ｗ＝１、Ｋ＝２を取ると、次のようになる。
ｗ（ｉ０，ｊ）＝１
ｗ（ｉ０＋１，ｊ）＝１／２
ｗ（ｉ０＋２，ｊ）＝０
ｗ（ｉ０＋３，ｊ）＝０
ボーダーから中央までの任意の他の減少重み付け関数を使用することができる。

追加の変形例によれば、サブブロック動きベクトルの場合（例えば、アフィンまたはｓｂＴＭＶＰの場合に生じる）、本原理は、以下に記載されるようにサブブロック動きベクトルに適用される。図２０は、この特定の実施形態による、境界平滑化された動き補償方法に基づくオプティカルフローのフローチャートを図示する。

第１の変形例によれば、考慮されるブロックがサブブロック動きフィールド（すなわち、各サブブロックの動きベクトルは潜在的に異なる）を有するとき、本原理は、ＣＵの各サブブロックに使用される。動きフィールドが不連続を導入できるｓｂＴＭＶＰＣＵに特に有用である。図２０に例示されるように、ブロックＣの任意のサブブロック（例えば、図１１の１６のサブブロック）について、現在のサブブロックの動きベクトル、現在のサブブロックの上隣接サブブロックの動きベクトル、および現在のサブブロックの左隣接サブブロックの動きベクトルは、メモリから検索される。次いで、現在のサブブロックの各画素について、新たな動きベクトルが、検索された動きベクトルの重み付け和から取得され、オプティカルフローが適用されて、サブブロック内の精緻化されたインター予測画素を取得する。因果ボーダーサブブロックＢ０～Ｂ６に関して説明される変形実施形態のいずれかは、この実施形態に関して容易に導出され得る。有利には、この実施形態は、内部ブロック動き平滑化を達成する。

第２の変形例によれば、非因果動きベクトルが利用可能であるとき（例えば、図２０で上述されるようなフルブロック処理において）、本原理は、上および左隣接動きベクトルだけでなく、下および右隣接動きベクトルも取ることによって適用される。各画素は、潜在的に、上、左、下、右および現在のサブブロックから来る５つの動きベクトルの重み付け和として表現され得ることを除いて、プロセスは前と同じである。前述のように、関連付けられた重みは、画素から考慮されたボーダーまでの距離から推定される。

第３の変形例によれば、本発明の原理は、アフィン生成動きベクトルを使用して予測を精緻化するＰＲＯＦプロセスと適合する。ここで説明したＰＲＯＦプロセスと動き円滑化を同時に使用するために、２つのプロセスを同じ空間勾配で組み合わせることができる。プロセスを組み合わせるために、動きベクトル差だけが変更され、ここで説明したＰＲＯＦとの動きベクトル差の重み付け和にすることができる。２つのプロセスの間の重みは、固定されていると仮定される（典型的には０．５）。

別の実施形態によれば、本発明の原理は、図３の再構築パイプラインにおいて実装される。説明されている新しいツールは、例えば以下のいずれかに実装されている。
－予測の動き補償（つまりＭＣおよびＬＩＣの間）の直後、
－ＬＩＣなどの補正ツールによって予測が変更された後（つまりＬＩＣ，ＢＤＯＦ、ＢＣＷまたはＯＢＭＣの後）。

変形実施形態によれば、本原理は、以下のようないくつかの制約に関して、全てのＣＵ、またはＣＵに自動的に適用される。
－ＣＵサイズ（表面または長さのいずれか）が閾値より大きい、
－プロセスがアクティブかどうかを示すフラグがＣＵにコード化されている。フラグは、他のレベル（ＣＴＵ、スライス）に設定でき得る。
－一部のモード（マージモードなど）では、動き予測器のフラグ値を使用してフラグが推測される。

したがって、変形実施形態によれば、画像ブロックのインター予測精緻化は、ブロックのサイズが値よりも大きいことに応答して、またはブロックのインター予測モードに応答して、ブロックレベルまたはサブブロックレベルで有効にされる。有利には、有効化は、信号ではなく、他のパラメータから復号化器で暗黙的に導出される。前の実施形態は、サイズ４×４のブロックまたはサブブロックについて説明されるが、本実施形態は、４×４のサブブロックに限定されず、任意のサブブロックサイズは、本原理と互換性がある。

変形実施形態によれば、画像ブロックのインター予測精緻化は、インター予測精緻化が適用されるブロックまたはサブブロックを識別することを可能にするフラグを信号通知構文要素に挿入することによって、ブロックレベル、サブブロックレベルで有効にされる。

変形実施形態によれば、画像ブロックのインター予測精緻化は、信号通知構文要素に、インター予測精緻化が適用される画像の部分を識別することを可能にするフラグを挿入することによって、ＣＴＵ、スライス、またはシーケンスレベルで有効にされる。例えば、フラグはＳＰＳヘッダで信号通知される。より全般的には、画像の少なくとも１つの領域のインター予測精緻化を可能にする少なくとも１つの高レベル構文要素は、シーケンスパラメータセット（ＳＰＳ）内で信号通知される。

本出願は、ツール、特徴、実施形態、モデル、アプローチなどを含む様々な態様を説明する。これらの態様の多くは、具体的に説明されており、少なくとも個々の特徴を示すために、多くの場合、限定的に聞こえるような方法で説明されている。しかしながら、これは、説明を明確にするためのものであり、これらの態様の用途または範囲を限定するものではない。実際、異なる態様のすべてを組み合わせ、かつ交換して、さらなる態様を提供することができる。さらに、これらの態様は、以前の出願で説明された態様とも組み合わせて、交換することができる。

本出願で説明および想定される態様は、多くの異なる形態で実装することができる。以下の図２１、２２、および２３は、いくつかの実施形態を提供するが、他の実施形態が企図され、図２１、２２、および２３の考察は、実施態様の幅を限定するものではない。これらの態様のうちの少なくとも１つは、概して、ビデオ符号化および復号化に関し、少なくとも１つの他の態様は、概して、生成または符号化されたビットストリームを送信することに関する。これらおよび他の態様は、方法、装置、説明された方法のいずれかに従ってビデオデータをコード化または復号化するための命令を記憶したコンピュータ可読記憶媒体、および／または説明された方法のいずれかに従って生成されるビットストリームを記憶したコンピュータ可読記憶媒体として実装できる。

本出願では、「再構築された」および「復号化された」という用語は互換的に使用され得、「画素」および「サンプル」という用語は互換的に使用され得、「画像」、「ピクチャ」、および「フレーム」という用語は互換的に使用され得る。必ずしもではないが、通常は、「再構築された」という用語は、符号化器側で使用され、一方で「復号化された」は、復号化器側で使用される。

様々な方法が、本明細書に記載されており、それらの方法のそれぞれは、説明された方法を達成するための１つ以上のステップまたは行為を含む。本方法の正しい動作のために特定の順序のステップまたは行為が必要でない限り、特定のステップおよび／または行為の順序および／または使用は、変更されてもよく、または組み合わされてもよい。

本出願で説明される様々な方法および他の態様を使用して、例えば、図２１および図２２に示されるようなビデオ符号化器１００および復号化器２００の動き推定および／または動き補償モジュール（１７０、１７５、２７５）などのモジュールを修正することができる。さらに、本態様は、ＶＶＣまたはＨＥＶＣに限定されず、例えば、既存かまたは将来開発されるかどうかに関わらず、他の標準規格および推奨事項、ならびに任意のそのような標準規格および推奨事項（ＶＶＣおよびＨＥＶＣを含む）の拡張版に適用することができる。特に指示されていない限り、または技術的に除外されていない限り、本出願で説明される態様は、個別にまたは組み合わせて使用することができる。

本出願では、例えば、動きベクトルまたはブロックサイズの重みなど、様々な数値が使用される。特定の値は、例示的な目的のためであり、記載された態様は、これらの特定の値に限定されるものではない。

図２１は、符号化器１００を示している。この符号化器１００の変形が想定されるが、符号化器１００は、明確にするためにすべての予想される変形を説明することなく、以下に説明される。

コード化される前に、ビデオシーケンスは事前コード化処理（１０１）、例えば、入力色ピクチャに色変換（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）を適用すること、または、（例えば、色成分のうちの１つのヒストグラム等化を使用して）圧縮に対してより復元力のある信号分布を得るために、入力ピクチャ成分の再マッピングを実行することを経る場合がある。メタデータは事前処理に関連付けられ得、ビットストリームに添付され得る。

符号化器１００では、以下に説明されているように、ピクチャが、符号化器要素によって符号化される。符号化されるピクチャは、分割され（１０２）、例えば、ＣＵの単位で処理される。各単位は、例えば、イントラモードまたはインターモードのいずれかを使用して符号化される。単位がイントラモードで符号化されるとき、イントラ予測を実行する（１６０）。インターモードにおいて、動き推定（１７５）および動き補償（１７０）が行われる。符号化器は、イントラモードまたはインターモードのどちらをその単位の符号化に使用するかを決定し（１０５）、例えば、予測モードフラグによって、イントラ／インター決定を示す。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算すること（１１０）によって、計算される。

次いで、予測残差が変換され（１２５）、量子化される（１３０）。量子化された変換係数に加えて、動きベクトルおよび他の構文要素は、ビットストリームを出力するためにエントロピーコード化される（１４５）。符号化器は、変換をスキップし、非変換残差信号に直接量子化を適用し得る。符号化器は、変換および量子化の両方をバイパスすることもでき、すなわち、残差は、変換または量子化プロセスを適用せずに直接コード化される。

符号化器は、符号化されたブロックを復号化して、さらに予測するための参照を提供する。量子化された変換係数は非量子化され（１４０）、逆変換され（１５０）、予測残差を復号化する。復号化された予測残差と予測されたブロックとを組み合わせて（１５５）、画像ブロックが再構築される。ループ内フィルタ（１６５）は、再構築されたピクチャに適用され、例えば、デブロッキング／ＳＡＯ（サンプル適応オフセット）フィルタリングを行い、符号化アーチファクトを低減する。フィルタリングされた画像は、参照ピクチャバッファ（１８０）に記憶される。

図２２は、ビデオ復号化器２００のブロック図を示す。復号化器２００において、ビットストリームは、以下に説明するように、復号化器の要素によって復号化される。ビデオ復号化器２００は、概して、図２１に記載されるように、符号化パスに対して互換的な復号化パスを実行する。符号化器１００はまた、概して、ビデオデータの符号化の一部としてビデオ復号化を実行する。

特に、復号化器の入力は、ビデオ符号化器１００によって生成され得るビデオビットストリームを含む。まず、ビットストリームがエントロピー復号化され（２３０）、変換係数、動きベクトル、および他のコード化された情報を取得する。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがって、復号化器は、復号化されたピクチャ分割情報に従ってピクチャを分割することができる（２３５）。変換係数は非量子化され（２４０）、逆変換され（２５０）、予測残差を復号化する。復号化された予測残差と予測されたブロックとを組み合わせて（２５５）、画像ブロックが再構築される。予測されたブロックは、イントラ予測（２６０）または動き補償予測（すなわち、インター予測）（２７５）から取得され得る（２７０）。ループ内フィルタ（２６５）は、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。

復号化されたピクチャは、復号化後処理（２８５）、例えば、逆色変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）または事前コード化処理（１０１）で行われる再マッピングプロセスの逆を実行する逆再マッピングをさらに経ることができる。復号化後処理では、事前コード化処理で導出され、ビットストリームで信号通知されるメタデータを使用することができる。

図２３は、様々な態様および実施形態が実装されているシステムの一例のブロック図を示す。システム１０００は、以下で説明される様々な構成要素を含むデバイスとして具現化することができ、本文献で説明される態様の１つ以上を実行するように構成されている。そのようなデバイスの例は、これらに限定されるものではないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ録画システム、コネクテッド家電、およびサーバなどの様々な電子デバイスを含む。システム１０００の要素は、単独でも組み合わせでも、単一の集積回路、複数のＩＣ、および／または個別の構成要素で具現化され得る。例えば、少なくとも１つの実施形態において、システム１０００の処理および符号化器／復号化器要素は、複数のＩＣおよび／または個別の構成要素にわたって分散している。様々な実施形態において、システム１０００は、１つ以上の他のシステムに、または他の電子デバイスに、例えば、通信バスを介して、または専用の入力および／もしくは出力ポートを通して、通信可能に結合される。様々な実施形態において、システム１０００は、本文献に記載の態様のうちの１つ以上を実装するように構成される。

システム１０００は、例えば、本文献に記載の様々な態様を実装するために、読み込まれた命令を実施するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、当技術分野で既知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス、および／または不揮発性メモリデバイス）を含む。システム１０００は、不揮発性メモリおよび／または揮発性メモリを含むことができるストレージデバイス１０４０を含み、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブを含むが、これらに限定されない。ストレージデバイス１０４０は、非限定的な例として、内部ストレージデバイス、付属のストレージデバイス（取り外し可能および取り外し不可能なストレージデバイスを含む）、ならびに／またはネットワークアクセス可能なストレージデバイスを含み得る。

システム１０００は、例えば、符号化されたビデオまたは復号化されたビデオを提供するためにデータを処理するように構成された符号化器／復号化器モジュール１０３０を含み、符号化器／復号化器モジュール１０３０は、独自のプロセッサおよびメモリを含み得る。符号化器／復号化器モジュール１０３０は、符号化機能および／または復号化機能を実行するデバイスに含まれ得るモジュールを表す。既知であるように、デバイスは、符号化および復号化モジュールの一方または両方を含み得る。さらに、符号化器／復号化器モジュール１０３０は、システム１０００の別個の要素として実装することができ、または、当業者には既知であるように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ１０１０内に組み込むことができる。

本文献に記載の様々な態様を実行するためにプロセッサ１０１０または符号化器／復号化器１０３０に読み込まれるプログラムコードは、ストレージデバイス１０４０に記憶され、続いて、プロセッサ１０１０による実施のためにメモリ１０２０に読み込まれ得る。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、ストレージデバイス１０４０、および符号化器／復号化器モジュール１０３０のうちの１つ以上は、本文献に記載のプロセスの実行中、様々な項目のうちの１つ以上を記憶することができる。このような記憶される項目には、入力ビデオ、復号化されたビデオまたは復号化されたビデオの一部、ビットストリーム、マトリックス、変数、ならびに方程式、式、演算、および演算ロジックの処理からの中間結果または最終結果が含まれ得るが、これらに限定されない。

いくつかの実施形態において、プロセッサ１０１０および／または符号化器／復号化器モジュール１０３０の内部のメモリを使用して、命令を記憶し、符号化または復号化中に必要とされる処理のために、ワーキングメモリを提供する。しかしながら、他の実施形態において、処理デバイス（例えば、処理デバイスは、プロセッサ１０１０または符号化器／復号化器モジュール１０３０のいずれかであり得る）の外部のメモリは、これらの機能のうちの１つ以上に使用される。外部メモリは、メモリ１０２０および／またはストレージデバイス１０４０、例えば、ダイナミック揮発性メモリおよび／または不揮発性フラッシュメモリであり得る。いくつかの実施形態において、例えば、テレビのオペレーティングシステムを記憶するために外部不揮発性フラッシュメモリが使用される。少なくとも１つの実施形態では、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ＭＰＥＧ－２（ＭＰＥＧはＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐを指し、ＭＰＥＧ－２は、ＩＳＯ／ＩＥＣ１３８１８とも称され、１３８１８－１はＨ．２２２としても既知であり、１３８１８－２はＨ．２６２としても既知である）、ＨＥＶＣ（ＨＥＶＣはＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇを指し、Ｈ．２６５およびＭＰＥＧ－ＨＰａｒｔ２としても既知である）、またはＶＶＣ（ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇであり、ＪＶＥＴ、すなわちＪｏｉｎｔＶｉｄｅｏＥｘｐｅｒｔｓＴｅａｍによって開発された新標準規格）などのビデオコード化および復号化動作のためのワーキングメモリとして使用される。

システム１０００の要素への入力は、ブロック１１３０に示されるような様々な入力デバイスを通して提供され得る。このような入力デバイスは、（ｉ）例えば、放送局によって無線で送信されたＲＦ信号を受信する無線周波数（ＲＦ）部分、（ｉｉ）コンポーネント（ＣＯＭＰ）入力端子（またはＣＯＭＰ入力端子のセット）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ）入力端子、および／または（ｉｖ）高品位マルチメディアインターフェース（ＨＤＭＩ）入力端子を含むが、これらに限定されない。図２３に示されていない他の例としては、コンポジットビデオが挙げられる。

様々な実施形態において、ブロック１１３０の入力デバイスは、当技術分野で既知であるような関連するそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択する（信号を選択する、またはある周波数帯域に信号を帯域制限する、とも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）（例えば）ある特定の実施形態ではチャネルと称され得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限する、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調する、（ｖ）誤り訂正を実行する、および（ｖｉ）逆多重化して、所望のデータパケットストリームを選択するのに好適な要素に関連付けられ得る。様々な実施形態のＲＦ部は、これらの機能、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、および逆多重化器を実行する１つ以上の要素を含む。ＲＦ部は、例えば、受信された信号をより低い周波数に（例えば、中間周波数またはベースバンドに近い周波数）、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実行するチューナを含むことができる。１つのセットトップボックスの実施形態において、ＲＦ部およびその関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体経由で送信されたＲＦ信号を受信し、フィルタリングし、ダウンコンバートし、所望の周波数帯域に再びフィルタリングすることによって、周波数選択を実行する。様々な実施形態では、上記（および他の）要素の順番が並べ替えられ、これらの要素のうちのいくつかが取り除かれ、かつ／または同様もしくは異なる機能を実行する他の要素が追加される。要素を追加することは、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ－デジタル変換器を挿入することなどを含むことができる。様々な実施形態において、ＲＦ部は、アンテナを含む。

さらに、ＵＳＢおよび／またはＨＤＭＩ端子は、ＵＳＢおよび／またはＨＤＭＩ接続を介して、他の電子デバイスにシステム１０００を接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リードソロモン誤り訂正が、例えば、必要に応じて、別個の入力処理ＩＣ内、またはプロセッサ１０１０内に実装され得ることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内またはプロセッサ１０１０内に実装され得る。復調され、誤り訂正され、かつ逆多重化されたストリームは、例えば、プロセッサ１０１０と、出力デバイス上での表示用に、必要に応じてデータストリームを処理するためにメモリおよびストレージ要素と組み合わせて動作する符号化器／復号化器１０３０と、を含む様々な処理要素に提供される。

システム１０００の様々な要素は、統合されたハウジング内に設けられ得、統合されたハウジング内では、様々な要素は、例えば、インター－ＩＣ（Ｉ２Ｃ）バス、配線、およびプリント回路基板を含む、当技術分野で知られているような、適切な接続構成１１４０を使用して、相互に接続され、それらの間でデータを送信することができる。

システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、通信チャネル１０６０経由でデータを送受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース１０５０は、モデムまたはネットワークカードを含むことができるが、これらに限定されず、通信チャネル１０６０は、例えば、有線および／または無線媒体内に実装され得る。

データは、様々な実施形態において、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥは、電気電子技術者協会を指す）などの無線ネットワークを使用して、システム１０００にストリーミングされるか、または別様に提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合された通信チャネル１０６０および通信インターフェース１０５０を介して受信される。これらの実施形態の通信チャネル１０６０は、典型的には、ストリーミングアプリケーションおよび他のオーバーザトップ通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイントまたはルータに接続される。他の実施形態は、入力ブロック１１３０のＨＤＭＩ接続経由でデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム１０００に提供する。さらに他の実施形態は、入力ブロック１１３０のＲＦ接続を使用して、ストリーミングされたデータをシステム１０００に提供する。上記のように、様々な実施形態は、非ストリーミング方式でデータを提供する。さらに、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラーネットワークまたはＢｌｕｅｔｏｏｔｈネットワークを使用する。

システム１０００は、ディスプレイ１１００、スピーカ１１１０、および他の周辺デバイス１１２０を含む、様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、および／または折り畳み式ディスプレイのうちの１つ以上を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、携帯電話（モバイルフォン）、または他のデバイス用であり得る。ディスプレイ１１００はまた、他の構成要素（例えば、スマートフォンのように）と統合され得るか、または別個（例えば、ラップトップ用の外部モニタ）であり得る。他の周辺デバイス１１２０は、実施形態の様々な例において、スタンドアロンデジタルビデオディスク（もしくはデジタル多用途ディスク）（両用語ともＤＶＲ）、ディスクプレーヤ、ステレオシステム、および／または照明システムのうちの１つ以上を含む。様々な実施形態は、システム１０００の出力に基づく機能を提供する１つ以上の周辺デバイス１１２０を使用する。例えば、ディスクプレーヤは、システム１０００の出力を再生する機能を実行する。

様々な実施形態において、システム１０００と、ディスプレイ１１００、スピーカ１１１０、または他の周辺デバイス１１２０との間で、ＡＶ．Ｌｉｎｋ、コンシューマエレクトロニクス制御（ＣＥＣ）、またはユーザの介入の有無に関わらず、デバイス間制御を可能にする他の通信プロトコルなどの信号通知を使用して、制御信号が通信される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、および１０９０を通して専用接続を介してシステム１０００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース１０５０を介して、通信チャネル１０６０を使用してシステム１０００に接続され得る。ディスプレイ１１００およびスピーカ１１１０は、例えば、テレビなどの電子デバイス内のシステム１０００の他の構成要素と、単一のユニット内に統合され得る。様々な実施形態において、ディスプレイインタフェース１０７０は、例えば、タイミングコントローラ（ＴＣｏｎ）チップなどのディスプレイドライバを含む。

ディスプレイ１１００およびスピーカ１１１０は、代替的に、例えば、入力１１３０のＲＦ部が別個のセットトップボックスの一部である場合、他の構成要素のうちの１つ以上とは別個であり得る。ディスプレイ１１００およびスピーカ１１１０が外部構成要素である様々な実施形態において、例えば、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力部を含む専用出力接続を介して、出力信号が提供され得る。

実施形態は、プロセッサ１０１０によって、またはハードウェアによって、またはハードウェアとソフトウェアとの組み合わせによって実装されるコンピュータソフトウェアによって、実行されてもよい。非限定的な例として、実施形態は、１つ以上の集積回路によって実装され得る。メモリ１０２０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、および取り外し可能なメモリなどの任意の適切なデータストレージ技術を使用して実装され得る。プロセッサ１０１０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含し得る。

様々な実施態様は、復号化を伴う。本出願で使用される「復号化」は、例えば、受信した符号化されたシーケンスで実行されるプロセスのすべてまたは一部を包含して、表示に適した最終出力を生成することができる。様々な実施形態では、そのようなプロセスは、復号化器によって通常実行されるプロセスのうちの１つ以上、例えば、エントロピー復号化、逆量子化、逆変換、および差分復号化を含む。様々な実施形態では、そのようなプロセスはまた、または代替的に、例えば、境界ブロックの動き情報を使用してオプティカルフロー予測精緻化を導出する、本出願で説明される様々な実施態様の復号化器によって実行されるプロセスを含む。

さらなる例として、一実施形態では、「復号化」は、エントロピー復号化のみを指し、別の実施形態では、「復号化」は、差分復号化のみを指し、別の実施形態では、「復号化」は、エントロピー復号化および差分復号化の組み合わせを指す。「復号化処理」という句が、具体的に動作のサブセットを指すことを意図しているか、または概してより広い復号化処理を指すことを意図しているかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。

様々な実施態様は、符号化を伴う。「復号化」に関する上記の考察と同様に、本出願で使用される「符号化」は、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスで実行されるプロセスのすべてまたは一部を包含することができる。様々な実施形態では、そのようなプロセスは、典型的には、符号化器によって実行される１つ以上のプロセス、例えば、分割、差分符号化、変換、量子化、およびエントロピー符号化を含む。様々な実施形態では、そのようなプロセスはまた、または代替的に、例えば、境界ブロックの動き情報を使用してオプティカルフロー予測精緻化を導出する、本出願で説明される様々な実施態様の符号化器によって実行されるプロセスを含む。

さらなる例として、一実施形態では、「符号化」は、エントロピー符号化のみを指し、別の実施形態では、「符号化」は、差分符号化のみを指し、別の実施形態では、「符号化」は、差分符号化およびエントロピー符号化の組み合わせを指す。「符号化プロセス」という句が、具体的に動作のサブセットを指すことを意図しているか、または概してより広い符号化プロセスを指すことを意図しているかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。

本明細書で使用される構文要素、例えば、ＣＵおよび／またはＣＴＵおよび／またはスライスレベルでのオーバーラップしたブロック動きの精緻化に基づくオプティカルフローを有効または無効にするために信号を送るために使用されるフラグは、説明的な用語であることに留意されたい。したがって、それらは、他の構文要素名の使用を排除するものではない。

図がフロー図として提示されている場合、それは、対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示されている場合、それは、対応する方法／プロセスのフロー図も提供することを理解されたい。

本明細書で説明された実施態様および態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号に実装され得る。単一の実施態様の文脈でのみ考察された（例えば、方法としてのみ考察された）としても、考察された特徴の実施態様はまた、他の形態（例えば、装置またはプログラム）で実装することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。それらの方法は、例えば、プロセッサ内に実装することができ、このプロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む処理デバイス全般を指す。プロセッサは、通信デバイス、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタンス（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなども含む。

「１つの実施形態」もしくは「一実施形態」、または「１つの実施態様」もしくは「一実施態様」、ならびにそれらの他の変形への言及は、実施形態に関連して説明された特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本出願全体にわたって様々な箇所においてみられる、「１つの実施形態では」もしくは「一実施形態では」または「１つの実施態様では」もしくは「一実施態様では」という句、ならびに任意の他の変形の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。

さらに、本出願は、情報の様々な部分を「判定すること」に言及する場合がある。情報の判定には、例えば、情報の評価、情報の計算、情報の予測、またはメモリからの情報の検索のうちの１つ以上が含まれ得る。

さらに、本出願は、情報の様々な部分に「アクセスすること」に言及する場合がある。情報のアクセスには、例えば、情報の受信、（例えば、メモリからの）情報の検索、情報の記憶、情報の移動、情報のコピー、情報の計算、情報の判定、情報の予測、または情報の評価のうちの１つ以上が含まれ得る。

さらに、本出願は、情報の様々な部分を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることが意図されている。情報の受信には、例えば、情報へのアクセス、または（例えば、メモリからの）情報の検索のうちの１つ以上が含まれ得る。さらに、「受信すること」は、典型的には、何らかの方法で、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の判定、情報の予測、または情報の評価などの動作中に伴う。

例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、ならびに「ＡおよびＢのうちの少なくとも１つ」の場合、次の「／」、「および／または」、ならびに「のうちの少なくとも１つ」のいずれかの使用は、１番目に列記された選択肢（Ａ）のみの選択、または２番目に列記された選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を網羅することを意図していることが分かるはずである。さらなる例として、「Ａ、Ｂ、および／またはＣ」ならびに「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、そのような言い回しは、１番目に列記された選択肢（Ａ）のみの選択、または２番目に列記された選択肢（Ｂ）のみの選択、または３番目に列記された選択肢（Ｃ）のみの選択、または１番目および２番目に列記された選択肢（ＡおよびＢ）のみの選択、または１番目および３番目に列記された選択肢（ＡおよびＣ）のみの選択、または２番目および３番目に列記された選択肢（ＢおよびＣ）のみの選択、または３つすべての選択肢（ＡおよびＢおよびＣ）の選択、を網羅することを意図している。これは、当業者にとって明らかであるように、列記される項目の数だけ拡張され得る。

また、本明細書で使用される場合、「信号通知する」という単語は、とりわけ、対応する復号化器に何かを指示することを指す。例えば、ある特定の実施形態では、符号化器は、重み付け係数を導出するため、またはオーバーラップしたブロック動き精緻化に基づくオプティカルフローを可能にするフラグを導出および／または推論するための複数のパラメータのうちの特定の１つを信号通知する。このようにして、実施形態では、同じパラメータが、符号化器側および復号化器側の両方で使用される。したがって、例えば、符号化器は、特定のパラメータを復号化器に送信することができ（明示的な信号通知）、その結果、復号化器は、同じ特定のパラメータを使用することができる。逆に、復号化器が既に特定のパラメータならびに他のパラメータを有する場合、信号通知は、送信（暗黙的な信号通知）を行わずに使用されて、復号化器が簡単に特定のパラメータを認識および選択することを可能にすることができる。いかなる実際の機能の送信も回避することによって、ビットの節約が、様々な実施形態で実現される。信号通知は、様々な方法で達成できることが分かるはずである。例えば、１つ以上の構文要素、フラグなどが、様々な実施形態で、対応する復号化器に情報を信号通知するために使用される。上記は、「信号通知する」という単語の動詞形に関するものであるが、「信号通知」という単語はまた、本明細書では、名詞として使用することもできる。

当業者には明らかであるように、実施態様は、例えば、記憶または送信され得る情報を搬送するようにフォーマットされる様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明される実施態様のうちの１つにより生成されたデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされ得る。このような信号は、例えば、（例えば、スペクトルの無線周波数部分を使用する）、電磁波として、またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログまたはデジタル情報とすることができる。信号は、既知であるように、様々な異なる有線または無線リンクを介して送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。

いくつかの実施形態について説明する。これらの実施形態の特徴は、様々な特許請求の範囲のカテゴリおよびタイプにわたって、単独で、または任意の組み合わせで提供され得る。さらに、実施形態は、様々な請求項のカテゴリおよびタイプにわたって、単独でまたは任意の組み合わせで、以下の特徴、デバイス、または態様のうちの１つ以上を含むことができる。
・復号化器および／または符号化器に適用されるインター予測プロセスを修正すること。
・復号化器および／または符号化器内の境界ブロックの動き情報を使用してオプティカルフロー予測精緻化を導出すること。
・現在のブロックの動きベクトル、上隣接ブロックの動きベクトル、左隣接ブロックの動きベクトル、および復号化器および／または符号化器内の動きベクトル重み付け係数から、オーバーラップしたブロック動き精緻化に基づくオプティカルフローで使用される精緻化された動きベクトルを決定すること。
・復号化器および／または符号化器内で、オーバーラップしたブロック動きの精緻化に基づくオプティカルフローで使用される動きベクトル重み付け係数を導出すること。
・復号化器および／または符号化器内のオーバーラップしたブロック動作精緻化に基づくオプティカルフローを有効にすること。
・復号化器が、オーバーラップしたブロック動作の精緻化に基づくオプティカルフローを識別し、インター予測で使用することを可能にする信号通知構文要素を挿入すること。
・復号化器および／または符号化器内のＣＵ、サブブロック（４×４）、またはより大きなブロック（例えば１６×１６）レベルで、オーバーラップしたブロック動きに基づくオプティカルフローの精緻化を有効にすること。
・復号化器が、オーバーラップしたブロック動き精緻化に基づくオプティカルフローが適用されるＣＵ、サブブロック、またはブロックを識別することを可能にする信号通知構文要素を挿入すること。
・これらの構文要素に基づいて、オプティカルフローベースのオーバーラップしたブロック動き精緻化を選択して、復号化器に適用すること。
・記載された構文要素またはその変形のうちの１つ以上を含むビットストリームまたは信号。
・記載された実施形態のいずれかに従って生成された情報を伝達する構文を含むビットストリームまたは信号。
・記載された構文要素、またはそれらの変形の１つ以上を含むビットストリームもしくは信号を作成および／または送信および／または受信および／または復号化すること。
・記載される実施形態のいずれかに従って、作成および／または送信および／または受信および／または復号化すること。
・記載される実施形態のいずれかに係る方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、または信号。
・記載される実施形態のいずれかに従って、重複ブロック動作精緻化に基づくオプティカルフローを実行する、テレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・記載された実施形態のいずれかに従ってオーバーラップしたブロック動き精緻化に基づくオプティカルフローを実行し、結果として生じる画像を（例えば、モニタ、スクリーン、または他のタイプのディスプレイを使用して）表示する、テレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・テレビ、セットトップボックス、携帯電話、タブレット、または符号化された画像を含む信号を受信するためにチャネルを選択し（例えば、チューナを使用して）、記載された実施形態のいずれかに従ってオーバーラップしたブロック動き精緻化に基づくオプティカルフローを実行する、他の電子デバイス。
・テレビ、セットトップボックス、携帯電話、タブレット、または符号化された画像を含む信号、および記載される実施形態のいずれかに従って、オーバーラップしたブロック動き精緻化に基づいたオプティカルフローを受信する（例えば、アンテナを使用して）、他の電子デバイス。

Claims

インター予測精緻化（Ｓ１００）により画像ブロックを復号化するための方法であって、
前記ブロックについての動き情報、上隣接ブロックについての動き情報、左隣接ブロックについての動き情報を取得すること（Ｓ１１１）と、
動き情報重み付け係数を使用した、前記ブロックについての動き情報、前記上隣接ブロックについての動き情報、および前記左隣接ブロックについての動き情報の重み付け和から、前記ブロックについての新しい動き情報を取得すること（Ｓ１１２）と、
前記ブロックについての前記新しい動き情報を用いて、オプティカルフローを適用することによって、前記画像ブロックのインター予測を精緻化すること（Ｓ１１３）と、
を含む、方法。
インター予測精緻化（Ｓ１００）により画像ブロックを符号化するための方法であって、
前記ブロックについての動き情報、上隣接ブロックについての動き情報、左隣接ブロックについての動き情報を取得すること（Ｓ１１１）と、
動き情報重み付け係数を使用した、前記ブロックについての動き情報、前記上隣接ブロックについての動き情報、および前記左隣接ブロックについての動き情報の重み付け和から、前記ブロックについての新しい動き情報を取得すること（Ｓ１１２）と、
前記ブロックについての前記新しい動き情報を用いて、オプティカルフローを適用することによって、前記画像ブロックのインター予測を精緻化すること（Ｓ１１３）と、
を含む、方法。
インター予測精緻化（Ｓ１００）により画像ブロックを復号化するための装置であって、
前記ブロックについての動き情報、上隣接ブロックについての動き情報、左隣接ブロックについての動き情報を取得するための手段と、
動き情報重み付け係数を使用した、前記ブロックについての動き情報、前記上隣接ブロックについての動き情報、および前記左隣接ブロックについての動き情報の重み付け和から、前記ブロックについての新しい動き情報を取得するための手段と、
前記ブロックについての前記新しい動き情報を用いて、オプティカルフローを適用することによって、前記画像ブロックのインター予測を精緻化する（Ｓ１１３）ための手段と、
を備える、装置。
インター予測精緻化（Ｓ１００）により画像ブロックを符号化するための装置であって、
前記ブロックについての動き情報、上隣接ブロックについての動き情報、左隣接ブロックについての動き情報を取得するための手段と、
動き情報重み付け係数を使用した、前記ブロックについての動き情報、前記上隣接ブロックについての動き情報、および前記左隣接ブロックについての動き情報の重み付け和から、前記ブロックについての新しい動き情報を取得するための手段と、
前記ブロックについての前記新しい動き情報を用いて、オプティカルフローを適用することによって、前記画像ブロックのインター予測を精緻化する（Ｓ１１３）ための手段と、
を備える、装置。
前記インター予測精緻化は、前記画像ブロックの因果ボーダーの境界サブブロックについて実行される、請求項１，２のうちいずれか一項に記載の方法。
前記画像ブロックが、サブブロック動きフィールドを有し、前記インター予測精緻化が、前記画像ブロックの任意のサブブロックについて実行される、請求項１，２のうちいずれか一項に記載の方法。
前記取得することは、下隣接ブロックについての動き情報および右隣接ブロックについての動き情報のうちの少なくとも１つを取得することを含み、
前記取得することは、前記下隣接ブロックについての動き情報および前記右隣接ブロックについての動き情報のうちの少なくとも１つについての動き情報の重み付け和から、前記ブロックについての前記新しい動き情報を取得することを含む、請求項１，２，５，６のいずれか一項に記載の方法。
前記画像ブロックが、サブブロック動きフィールドを有し、
前記精緻化することは、前記サブブロック動きフィールドを更に用いて、オプティカルフローを適用することによって、前記画像ブロックのインター予測を精緻化することを含む、請求項１，２，５，６，７のいずれか一項に記載の方法。
前記画像ブロックの前記インター予測精緻化が、ある値よりも大きい前記ブロックのサイズに応答するか、または前記ブロックのインター予測モードに応答して、ブロックレベルまたはサブブロックレベルで有効になる、請求項１，２，５，６，７，８のいずれか一項に記載の方法。
前記画像ブロックの前記インター予測精緻化が、前記インター予測精緻化が適用される前記ブロックまたはサブブロックを識別することを可能にするフラグを信号通知構文要素に挿入することによって、ブロックレベル、サブブロックレベルで有効になる、請求項１，２，５，６，７，８のいずれか一項に記載の方法。
前記動き情報重み付け係数が、前記インター予測精緻化が実行されるブロックのピクセルと前記上および左隣接ブロックとの間の距離に基づいて導出される、請求項１，２のいずれか一項に記載の方法。
１つ以上のプロセッサによって実行されたときに、請求項１、２および５～１１のいずれか一項に記載の方法を実行するためのコンピューティング命令を備えるコンピュータプログラム。