JP2021513826A - ビデオ圧縮における複数ラインのフレーム内予測のための方法および装置 - Google Patents

Abstract

ビデオ復号の方法は、画像の現在ブロックについて、複数の参照ラインから１つの参照ラインを決定することを含む。この方法は、さらに、複数の参照ラインから決定された１つの参照ラインに基づいて、現在ブロックのフレーム内予測モードを決定することを含む。この方法は、さらに、決定されたフレーム内予測モードと、複数の参照ラインから決定された１つの参照ラインに含まれる１つ以上のサンプルとに基づいて、現在ブロックのフレーム内予測を実行することを含む。前記複数の参照ラインには、隣接参照ラインと少なくとも1つの非隣接参照ラインとが含まれ、前記隣接参照ラインが前記現在ブロックに隣接し、前記少なくとも１つの非隣接参照ラインが前記現在ブロックと隣接せず、前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数は、前記隣接参照ラインに関連付けられたフレーム内予測モードの数の半分以下である。

Description

［関連出願への相互参照］
本開示は、２０１８年２月１２日に提出された米国仮出願第６２／６２９，５１９号「ビデオ圧縮における複数ラインのフレーム内予測のための方法および装置」に対する優先権および２０１８年１１月２６日に提出された米国出願第１６／２００，１２８号「ビデオ圧縮における複数ラインのフレーム内予測のための方法および装置」に対する優先権を主張し、それらの全体が参照により本明細書に組み込まれる。
［技術分野］
本開示は、概してビデオ符号化／復号に関連する実施形態を説明する。

本明細書で提供される背景技術の説明は、本開示のコンテキストを全体的に示すことを目的とする。この背景技術部分及び本明細書の各態様において説明された、現在署名されている発明者の作業の程度は、本開示の提出時に先行技術として示されておらず、また、本開示の先行技術として認められていることを明示または暗示していない。

ビデオの符号化と復号は、動き補償を含む画像間予測を用いて実行されてもよい。非圧縮デジタルビデオは一連の画像を含んでもよく、各画像は、例えば１９２０×１０８０の輝度サンプルと関連付けられた色度サンプルの空間次元を有する。当該一連の画像は、例えば１秒当たり６０画像または６０Ｈｚの固定または可変画像レート（非公式的にフレームレートとも呼ばれる）を有してもよい。非圧縮ビデオには、ビットレートについて厳格な要件がある。例えば、１サンプル当たり８ビットの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚフレームレートでの１９２０×１０８０輝度サンプル解像度）には、１．５Ｇｂｉｔ／ｓに近い帯域幅が必要である。このようなビデオが１時間利用される場合は、６００ＧＢｙｔｅを上回る記憶空間が必要である。

ビデオ符号化および復号の１つの目的は、入力ビデオ信号における冗長情報を圧縮により低減することである。圧縮は、上記の帯域幅または記憶空間に対する要件を低減することを助けることができ、いくつかの場合では、二桁以上程度を低減することができる。可逆圧縮および不可逆圧縮、ならびに両方の組み合わせは、いずれも使用されることができる。可逆圧縮とは、元の信号の正確なコピーを圧縮された元の信号から再構築することができる、という技術を指す。不可逆圧縮が使用される場合、再構築された信号は、元の信号と同一ではない可能性があるが、元の信号と再構築された信号との間の歪みが十分に小さいので、再構築された信号が予想されるアプリケーションに利用されることができる。ビデオの場合、不可逆圧縮は広く使われている。許容される歪みの量は、アプリケーションに依存し、例えば、あるストリーミングアプリケーションを消費するユーザは、テレビ貢献アプリケーションのユーザより、高い歪みを許容することができる。実現可能な圧縮比は、より高い許可／許容可能な歪みがより高い圧縮比を生成することができる、ということを反映している。

ビデオエンコーダおよびデコーダは、例えば動き補償、変換、量子化およびエントロピー符号化を含む、いくつかの広範なカテゴリからの技術を利用することができる。

ビデオ符号化／復号技術は、フレーム内符号化として知られている技術を含むことができる。フレーム内符号化では、サンプル値は、以前に再構築された参照画像からのサンプルまたは他のデータを参照せずに表現される。いくつかのビデオコーデックでは、画像は空間的にサンプルブロックに細分される。すべてのサンプルブロックがフレーム内モードで符号化された場合、その画像はフレーム内画像とすることができる。独立デコーダリフレッシュ画像などのようなフレーム内画像およびそれらの派生は、デコーダの状態をリセットするために使用されることができ、したがって、符号化されたビデオビットストリームおよびビデオセッション中の１番目の画像または静止画像として使用されることができる。フレーム内ブロックのサンプルは変換に用いられ、また、変換係数はエントロピー符号化の前に量子化されることができる。フレーム内予測は、プリ変換ドメインにおけるサンプル値を最小化する技術とすることができる。いくつかの場合では、変換後のＤＣ値が小さくなり、ＡＣ係数が小さくなるほど、エントロピー符号化後のブロックを表すために、与えられた量子化ステップサイズで必要なビットが少なくなる。

例えばＭＰＥＧ−２符号化技術から知られているような従来のフレーム内符号化は、フレーム内予測を使用していない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、周囲のサンプルデータおよび／またはメタデータからデータブロックを取得しようとする技術を含み、周囲のサンプルデータおよび／またはメタデータは、空間的に隣接するブロックの符号化／復号期間で、かつ、復号順の前に得られたものである。このような技術は、以降「フレーム内予測」技術と呼ばれる。少なくともいくつかの場合では、フレーム内予測は、参照画像からの参照データを使用せずに、再構築中の現在画像からの参照データのみを使用する、ということに留意されたい。

多くの異なる形態のフレーム内予測が存在することができる。与えられたビデオ符号化技術では、このような技術のうちの２つ以上を使用することができる場合、使用中の技術は、フレーム内予測モードで符号化を行うことができる。いくつかの場合では、モードは、サブモードおよび／またはパラメータを有してもよいし、これらのモードが、単独で符号化されてもよく、またはモードコードワードに含まれてもよい。どのコードワードを与えられたモード／サブモード／パラメータの組み合わせに使用するかは、フレーム内予測によって符号化効率利得に影響を及ぼすので、コードワードをビットストリームに変換するために使用されるエントロピー符号化技術にも影響を及ぼす。

フレーム内予測の特定のモードは、Ｈ．２６４で導入され、Ｈ．２６５において改善され、また、共同探索モデル（ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ）、汎用ビデオ符号化（ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）、ベンチマークセット（ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ）などの、新しい符号化／復号技術においてさらに改善される。予測ブロックは、既に利用可能なサンプルに属する、隣接するサンプル値を使用して形成されることができる。隣接するサンプルのサンプル値は、ある方向に従って予測ブロックにコピーされる。使用中の方向への参照は、ビットストリームに符号化されてもよく、または、その自身が予測されてもよい。

ビデオ符号化技術の発展につれて、可能な方向の数が既に増加された。Ｈ．２６４（２００３年）では、９つの異なる方向を表すことができた。これは、Ｈ．２６５（２０１３年）で３３個に増加し、ＪＥＭ／ＶＣ／ＢＭＳは、開示時点で最多６５個の方向をサポートすることができる。最も可能な方向を識別するための実験が行われ、そして、エントロピー符号化におけるいくつかの技術は、少数のビットでそれらの可能性がある方向を表すために使用され、可能性が低い方向に対して、いくつかの代償を受ける。さらに、方向の自体は、隣接する既に復号されたブロックで使用される隣接する方向から予測されることができる場合がある。

フレーム内予測方向から符号化されたビデオビットストリームにおける方向を表すビットへのマッピングは、ビデオ符号化技術によって異なることができ、また、例えば、予測方向への簡単な直接マッピングから、フレーム内予測モード、コードワード、最も可能性が高いモードを含む複雑な適応スキーム、および類似な技術まで、様々なものがある。当業者はそれらの技術に容易に精通している。しかしながら、すべての場合では、ビデオコンテンツにおいて、他の特定の方向よりも統計的に発生する可能性が低い特定の方向が存在する可能性がある。ビデオ圧縮の目的は冗長性の削減であるため、それらの可能性が低い方向は、適切に機能するビデオ符号化技術では、可能性が高い方向よりも多くのビットで表される。

従来のフレーム内予測では、フレーム内予測プロセスは、予測されている現在ブロックに最も近いライン（例えば、行または列）に制限される。しかしながら、他のラインには、現在ブロックを予測するための意味のある情報も含まれている場合があり、それによって予測の改善につながる。したがって、フレーム内予測を実行する場合、最も近いライン以外のラインを考慮することには大きなメリットがある。さらに、異なるラインインデックスを有する参照サンプルは、異なる特性があることができる。したがって、異なる参照ラインに対して同じ数のフレーム内予測モードを設定することは、最適ではない場合がある。

本開示の一実施形態によれば、ビデオデコーダが実行するビデオ復号の方法が提供される。この方法は、画像の現在ブロックについて、複数の参照ラインから１つの参照ラインを決定することであって、前記複数の参照ラインのうちの各参照ラインが前記現在ブロックの辺に平行であることを含む。この方法は、さらに、前記複数の参照ラインから決定された前記１つの参照ラインに基づいて、前記現在ブロックのフレーム内予測モードを決定することを含む。この方法は、さらに、決定されたフレーム内予測モードと、前記複数の参照ラインから決定された前記１つの参照ラインに含まれる１つ以上のサンプルとに基づいて、前記現在ブロックのフレーム内予測を実行することを含む。前記複数の参照ラインには、隣接参照ラインと少なくとも1つの非隣接参照ラインとが含まれ、前記隣接参照ラインが前記現在ブロックに隣接し、前記少なくとも１つの非隣接参照ラインが前記現在ブロックと隣接せず、前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数は、前記隣接参照ラインに関連付けられたフレーム内予測モードの数の半分以下であり、前記少なくとも1つの非隣接参照ラインの各非隣接参照ラインが、同じ数のフレーム内予測モードに関連付けられる。

本開示の一実施形態によれば、処理回路を含む、ビデオ復号のためのビデオデコーダが提供される。この処理回路は、画像の現在ブロックについて、複数の参照ラインから１つの参照ラインを決定することであって、前記複数の参照ラインのうちの各参照ラインが前記現在ブロックの辺に平行であることと、前記複数の参照ラインから決定された前記１つの参照ラインに基づいて、前記現在ブロックのフレーム内予測モードを決定することと、決定されたフレーム内予測モードと、前記複数の参照ラインから決定された前記１つの参照ラインに含まれる１つ以上のサンプルとに基づいて、前記現在ブロックのフレーム内予測を実行することと、を実行するように構成され、ここで、前記複数の参照ラインには、隣接参照ラインと少なくとも1つの非隣接参照ラインとが含まれ、前記隣接参照ラインが前記現在ブロックに隣接し、前記少なくとも１つの非隣接参照ラインが前記現在ブロックと隣接せず、前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数は、前記隣接参照ラインに関連付けられたフレーム内予測モードの数の半分以下であり、前記少なくとも1つの非隣接参照ラインの各非隣接参照ラインが、同じ数のフレーム内予測モードに関連付けられる。

開示された主題の更なる特徴、性質、および様々な利点は、以下の詳細な説明および添付図面からより明らかになり、ここで、
一実施形態による通信システム（１００）の簡略化されたブロック図の概略図である。 一実施形態による通信システム（２００）の簡略化されたブロック図の概略図である。 一実施形態によるデコーダの簡略化されたブロック図の概略図である。 一実施形態によるエンコーダの簡略化されたブロック図の概略図である。 別の実施形態によるエンコーダのブロック図を示す図である。 別の実施形態によるデコーダのブロック図を示す図である。 ３５個の予測モードの様々な角度モードを示す図である。 ３５個の予測モードの様々な角度モードを示す図である。 ６７個の予測モードの様々な角度モードを示す図である。 ６７個の予測モードの様々な角度モードを示す図である。 例示的なフレーム内予測モードの概略図である。 複数ラインのフレーム内予測の実施形態の概略図である。 エンコーダまたはデコーダによって実行されるプロセスの実施形態を示す図である。 一実施形態によるコンピュータシステムの概略図である。

図１は、本開示の実施形態による通信システム（１００）の簡略化されたブロック図である。通信システム（１００）は、例えばネットワーク（１５０）を介して相互に通信することができる複数の端末デバイスを含む。例えば、通信システム（１００）は、ネットワーク（１５０）を介して相互接続された第１ペアの端末デバイス（１１０）と（１２０）を含む。図１の例では、第１ペアの端末デバイス（１１０）と（１２０）は、データの単方向伝送を行う。例えば、端末デバイス（１１０）は、ネットワーク（１５０）を介して他の端末デバイス（１２０）に伝送するために、ビデオデータ（例えば、端末デバイス（１１０）によって捕捉されたビデオ画像ストリーム）を符号化することができる。符号化されたビデオデータは、１つ以上の符号化されたビデオビットストリームの形で伝送されることができる。端末デバイス（１２０）は、ネットワーク（１５０）から、符号化されたビデオデータを受信し、符号化されたビデオデータを復号してビデオ画像を復元し、復元されたビデオデータに基づいてビデオ画像を表示することができる。単方向データ伝送は、メディアサービングアプリケーションなどでは一般的である。

別の例では、通信システム（１００）は、例えばビデオ会議中に発生する可能性がある、符号化されたビデオデータの双方向伝送を実行する第２ペアの端末デバイス（１３０）と（１４０）を含む。データの双方向伝送の場合、一例では、端末デバイス（１３０）と（１４０）の各端末デバイスは、ネットワーク（１５０）を介して端末デバイス（１３０）と（１４０）のうちの他方の端末デバイスに送信するために、ビデオデータ（例えば、端末デバイスによって捕捉されたビデオ画像ストリーム）を符号化することができる。端末デバイス（１３０）と（１４０）の各端末デバイスは、端末デバイス（１３０）と（１４０）のうちの他方の端末デバイスによって送信された、符号化されたビデオデータを受信することもでき、また、符号化されたビデオデータを復号してビデオ画像を復元し、復元されたビデオデータに基づいて、アクセス可能な表示デバイスにビデオ画像を表示することもできる。

図１の例では、端末デバイス（１１０）、（１２０）、（１３０）および（１４０）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示されてもよいが、本開示の原理は、これに限定されていない。本開示の実施形態には、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤーおよび／または専用のビデオ会議機器を有する用途がある。ネットワーク（１５０）は、端末デバイス（１１０）、（１２０）、（１３０）および（１４０）間で、符号化されたビデオデータを伝送する任意の数のネットワークを表し、有線（ワイヤード）および／または無線の通信ネットワークを含む。通信ネットワーク（１５０）は、回路交換および／またはパケット交換のチャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本開示の目的のために、ネットワーク（１５０）のアーキテクチャおよびトポロジは、以下に本明細書で説明されない限り、本開示の動作にとって重要ではない場合がある。

図２は、開示された主題に対するアプリケーションの例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示す。開示された主題は、例えば、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮されたビデオの記憶、ビデオ会議、デジタルＴＶなどを含む、他のビデオサポートアプリケーションにも同等に適用可能である。

ストリーミングシステムは、捕捉サブシステム（２１３）を含むことができ、この捕捉サブシステムが、例えばデジタルカメラなどのビデオソース（２０１）を含むことができ、例えば圧縮されていないビデオ画像ストリーム（２０２）を作成する。一例では、ビデオ画像ストリーム（２０２）は、デジタルカメラによって撮影されたサンプルを含む。符号化されたビデオデータ（２０４）（または符号化されたビデオビットストリーム）と比較する際に、高いデータボリュームを強調するために太い線で描かれたビデオ画像ストリーム（２０２）は、ビデオソース（２０１）に結合されたビデオエンコーダ（２０３）を含む電子デバイス（２２０）によって処理されることができる。ビデオエンコーダ（２０３）は、以下でより詳細に説明するように、開示された主題の様々な態様を可能にするかまたは実現するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオ画像ストリーム（２０２）と比較する際に、より低いデータボリュームを強調するために細い線で描かれた、符号化されたビデオデータ（２０４）（または符号化されたビデオビットストリーム（２０４））は、将来の使用のためにストリーミングサーバ（２０５）に記憶されることができる。図２のクライアントサブシステム（２０６）および（２０８）などのような１つ以上のストリーミングクライアントサブシステムは、符号化されたビデオデータ（２０４）のコピー（２０７）および（２０９）を検索するために、ストリーミングサーバー（２０５）にアクセスすることができる。クライアントサブシステム（２０６）は、例えば、電子デバイス（２３０）にビデオデコーダ（２１０）を含むことができる。ビデオデコーダ（２１０）は、入力する、符号化されたビデオデータのコピー（２０７）を復号して、出力する、ビデオ画像ストリーム（２１１）を生成し、このビデオ画像ストリーム（２１１）が、ディスプレイ（２１２）（例えば、ディスプレイスクリーン）または他のレンダリングデバイス（図示せず）に表示されることができる。一部のストリーミングシステムでは、符号化されたビデオデータ（２０４）、（２０７）および（２０９）（例えば、ビデオビットストリーム）は、特定のビデオ符号化／圧縮規格に従って符号化されることができる。これらの規格の例は、ＩＴＵ−Ｔ推薦Ｈ．２６５を含む。一例では、開発中のビデオ符号化規格は、非公式には次世代ビデオ符号化（ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれる。開示された主題は、ＶＶＣのコンテキストで使用されることができる。

なお、電子デバイス（２２０）および（２３０）は、他のコンポーネント（図示せず）を含むことができる。例えば、電子デバイス（２２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（２３０）は、同様にビデオエンコーダ（図示せず）を含むことができる。

図３は、本開示の実施形態によるビデオデコーダ（３１０）のブロック図を示す。ビデオデコーダ（３１０）は、電子デバイス（３３０）に含まれることができる。電子デバイス（３３０）は、受信機（３３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（３１０）は、図２の例におけるビデオデコーダ（２１０）の代わりに使用することができる。

受信機（３３１）は、ビデオデコーダ（３１０）によって復号される１つ以上の符号化されたビデオシーケンスを受信することができ、同じまたは別の実施形態では、一度に1つの符号化されたビデオシーケンスを受信することができ、ここで、各符号化されたビデオシーケンスの復号が、他の符号化されたビデオシーケンスから独立されている。符号化されたビデオシーケンスは、チャネル（３０１）から受信されることができ、このチャネルが、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアのリンクであってもよい。受信機（３３１）は、それぞれの使用エンティティ（図示せず）に伝送されることができる、例えば符号化されたオーディオデータおよび／または補助データストリームなどのような他のデータとともに、符号化されたビデオデータを受信することができる。受信機（３３１）は、符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（３１５）は、受信機（３３１）とエントロピーデコーダ／解析器（Ｐａｒｓｅｒ）（３２０）（以降「解析器（３２０）」）との間に結合されることができる。いくつかのアプリケーションでは、バッファメモリ（３１５）は、ビデオデコーダ（３１０）の一部である。他の場合では、バッファメモリ（３１５）は、ビデオデコーダ（３１０）の外部に配置されてもよい（図示せず）。さらに他の場合では、例えばネットワークジッタを防止するために、ビデオデコーダ（３１０）の外部にバッファメモリ（図示せず）があってもよく、さらに、例えば再生タイミングを処理するために、ビデオデコーダ（３１０）の内部に別のバッファメモリ（３１５）があってもよい。受信機（３３１）が十分な帯域幅および制御可能性を有するストア／フォワードデバイスからまたは等時性同期ネットワーク（ｉｓｏｓｙｎｃｈｒｏｎｏｕｓ ｎｅｔｗｏｒｋ）からデータを受信する場合、バッファメモリ（３１５）は、必要ではないかまたは小さくてもよい。インターネットなどのようなベストエフォートパケットネットワークで使用するために、バッファメモリ（３１５）は、必要になる場合があり、比較的大きくすることができ、有利には適応性のサイズにすることができ、オペレーティングシステムまたはビデオデコーダ（３１０）の外部の類似要素（図示せず）に少なくとも部分的に実装されることができる。

ビデオデコーダ（３１０）は、符号化されたビデオシーケンスからシンボル（３２１）を再構築するための解析器（３２０）を含むことができる。これらのシンボルのカテゴリには、ビデオデコーダ（３１０）の動作を管理するために使用される情報が含まれ、電子デバイス（３３０）の不可欠な部分ではないが、図３に示すように、電子デバイス（３３０）に結合されることができるレンダリングデバイス（３１２）（例えば、ディスプレイスクリーン）などのようなレンダリングデバイスを制御するための情報が潜在的に含まれる。レンダリングデバイスの制御情報は、補足強化情報（ＳＥＩメッセージ）またはビジュアルユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形であってもよい。解析器（３２０）は、受信された、符号化されたビデオシーケンスに対して解析／エントロピー復号を行うことができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術または規格に従うことができ、可変長符号化、ハフマン符号化、コンテキスト感度を有するかまたは有しないかの算術符号化などを含む、様々な原理に従うことができる。解析器（３２０）は、グループに対応する少なくとも１つのパラメータに基づいて、符号化されたビデオシーケンスから、ビデオデコーダにおける画素のサブグループのうちの少なくとも１つのサブグループパラメータのセットを抽出することができる。サブグループは、グループオブピクチャ（ＧＯＰ：Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）、画像、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）、ブロック、変換ユニット（ＴＵ：Ｔｒａｎｓ ｆｏｒｍ Ｕｎｉｔ）、予測ユニット（ＰＵ：Ｐｒｅｃｔｉｏｎ Ｕｎｉｔ）などを含むことができる。解析器（３２０）は、変換係数、量子化器パラメータ値、動きベクトルなどのような情報を符号化されたビデオシーケンスから抽出することもできる。

解析器（３２０）は、シンボル（３２１）を作成するために、バッファメモリ（３１５）から受信されたビデオシーケンスに対してエントロピー復号／解析動作を実行することができる。

シンボル（３２１）の再構築は、符号化されたビデオ画像またはその一部（例えば、フレーム間画像およびフレーム内画像、フレーム間ブロックおよびフレーム内ブロック）のタイプおよび他の要因に応じて、複数の異なるユニットに関連することができる。どのようなユニットに関連するか、およびどのように関連するかは、解析器（３２０）によって、符号化されたビデオシーケンスから解析されたサブグループ制御情報によって制御されることができる。解析器（３２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明瞭にするために示されていない。

既に言及された機能ブロックに加えて、ビデオデコーダ（３１０）は、以下に説明するように、いくつかの機能ユニットに概念的に細分されることができる。商業的制約で動作する実際の実施形態では、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的には互いに統合されることができる。しかしながら、開示された主題を説明する目的のために、以下の機能ユニットへの概念的な細分は適切である。

第１ユニットは、スケーラ／逆変換ユニット（３５１）である。スケーラ／逆変換ユニット（３５１）は、量子化された変換係数と、どのような変換を使用するかということ、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報とを、解析器（３２０）からシンボル（３２１）として受信する。スケーラ／逆変換ユニット（３５１）は、アグリゲータ（３５５）に入力できるサンプル値を含むブロックを出力することができる。

いくつかの場合では、スケーラ／逆変換ユニット（３５１）の出力サンプルは、フレーム内符号化ブロックに属することができ、即ち、以前に再構築された画像からの予測情報を使用していないが、現在画像の以前に再構築された部分からの予測情報を使用することができるブロックである。このような予測情報は、フレーム内画像予測ユニット（３５２）によって提供されてもよい。いくつかの場合では、フレーム内画像予測ユニット（３５２）は、現在画像バッファ（３５８）から抽出された、周囲の既に再構築された情報を使用して、再構築中のブロックと同じサイズおよび形状のブロックを生成する。現在画像バッファ（３５８）は、例えば、部分的に再構築された現在画像および／または完全に再構築された現在画像をバッファリングする。アグリゲータ（３５５）は、いくつかの場合では、サンプルごとに基づいて、フレーム内予測ユニット（３５２）によって生成された予測情報を、スケーラ／逆変換ユニット（３５１）によって提供される出力サンプル情報に追加する。

他の場合では、スケーラ／逆変換ユニット（３５１）の出力サンプルは、フレーム間符号化されたブロックおよび潜在的に動き補償されたブロックに属することができる。このような場合、動き補償予測ユニット（３５３）は、参照画像メモリ（３５７）にアクセスして、予測に用いられるサンプルを抽出することができる。抽出されたサンプルが、ブロックに関連するシンボル（３２１）に基づいて動き補償された後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（３５５）によってスケーラ／逆変換ユニット（３５１）の出力（この場合、残差サンプルまたは残差信号と呼ばれる）に追加されることができる。動き補償予測ユニット（３５３）が予測サンプルを抽出するときの参照画像メモリ（３５７）内のアドレスは、例えば、Ｘ、Ｙ、および参照画像成分を有することができるシンボル（３２１）の形で、動き補償予測ユニット（３５３）に利用可能な動きベクトルによって制御されることができる。動き補償は、サブサンプルの正確な動きベクトルが使用中であるときに、参照画像メモリ（３５７）から抽出されたサンプル値の補間、動きベクトル予測メカニズムなどを含むこともできる。

アグリゲータ（３５５）の出力サンプルは、ループフィルタユニット（３５６）において様々なループフィルタリング技術を受けてもよい。ビデオ圧縮技術は、符号化されたビデオシーケンス（符号化されたビデオビットストリームとも呼ばれる）に含まれ、解析器（３２０）からのシンボル（３２１）としてループフィルタユニット（３５６）に利用可能になるパラメータによって制御されるループ内フィルタ技術を含むことができ、また、符号化された画像または符号化されたビデオシーケンスの前の部分（復号順序で）を復号する期間で得られたメタ情報に応答し、および、以前に再構築されてループフィルタリングされたサンプル値に応答することもできる。

ループフィルタユニット（３５６）の出力は、レンダリングデバイス（３１２）に出力することができ、および、将来のフレーム間画像予測で使用するために参照画像メモリ（３５７）に記憶することができるサンプルストリームとすることができる。

特定の符号化された画像は、完全に再構築されると、将来の予測のための参照画像として使用することができる。例えば、現在画像に対応する符号化された画像が完全に再構築され、符号化された画像が（例えば、解析器（３２０）によって）参照画像として識別されると、現在画像バッファ（３５８）は、参照画像メモリ（３５７）の一部になることができ、そして、後続の符号化された画像の再構築を開示する前に、新しい現在画像バッファを再割り当てることができる。

ビデオデコーダ（３１０）は、例えばＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６５．などのような規格における所定のビデオ圧縮技術に従って復号動作を実行することができる。符号化されたビデオシーケンスは、符号化されたビデオシーケンスがビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格の文書としてのプロファイルとの両方に従うという意味で、使用されているビデオ圧縮技術または規格によって指定された構文に従うことができる。具体的には、プロファイルは、ビデオ圧縮技術または規格で使用可能なすべてのツールから、そのプロファイルで使用できる唯一のツールとしていくつかのツールを選択することができる。符号化されたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義された範囲内にあるということもコンプライアンスに必要である。いくつかの場合では、レベルは、最大画像サイズ、最大フレームレート、（例えば、毎秒メガ（ｍｅｇａ）個のサンプルを単位として測定された）最大再構築サンプルレート、最大参照画像サイズなどを制限する。レベルによって設定された制限は、いくつかの場合では、仮想参照デコーダ（ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）仕様と、符号化されたビデオシーケンスにおいてシグナルで通知されるＨＲＤバッファ管理のメタデータとによって、さらに制限されることができる。

一実施形態では、受信機（３３１）は、符号化されたビデオとともに付加（冗長）的なデータを受信することができる。付加的なデータは、符号化されたビデオシーケンスの一部として含まれることができる。付加的なデータは、データを適切に復号し、および／または元のビデオデータをより正確に再構築するために、ビデオデコーダ（３１０）によって使用されることができる。付加的なデータは、例えば、時間的、空間的、または信号雑音比（ＳＮＲ：ｓｉｇｎａｌ ｎｏｉｓｅ ｒａｔｉｏ）拡張層、冗長スライス、冗長画像、前方誤り訂正符号などのような形式にすることができる。

図４は、本開示の一実施形態によるビデオエンコーダ（４０３）のブロック図を示す。ビデオエンコーダ（４０３）は、電子デバイス（４２０）に含まれる。電子デバイス（４２０）は、送信機（４４０）（例えば、送信回路）を含む。ビデオエンコーダ（４０３）は、図２の例におけるビデオエンコーダ（２０３）の代わりに使用することができる。

ビデオエンコーダ（４０３）は、ビデオエンコーダ（４０３）によって符号化されるビデオ画像を捕捉するビデオソース（４０１）（図４の例における電子デバイス（４２０）の一部ではない）から、ビデオサンプルを受信することができる。別の例では、ビデオソース（４０１）は、電子デバイス（４２０）の一部である。

ビデオソース（４０１）は、ビデオエンコーダ（４０３）によって符号化されたソースビデオシーケンスをデジタルビデオサンプルストリームの形式で提供することができ、前記デジタルビデオサンプルストリームは、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ…）及び任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）を有することができる。メディアサービスシステムでは、ビデオソース（４０１）は、以前に準備されたビデオを記憶する記憶デバイスであってもよい。ビデオ会議システムでは、ビデオソース（４０１）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってもよい。ビデオデータは、順番に見られるときに動きを与える複数の個別の画像として提供されることができる。画像自体は、空間画素アレイとして構成されてもよく、ここで、各画素は、使用中のサンプリング構造、色空間などに応じて、１つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てる。

一実施形態によれば、ビデオエンコーダ（４０３）は、リアルタイムで、またはアプリケーションによって要求される任意の他の時間制約の下で、ソースビデオシーケンスの画像を、符号化されたビデオシーケンス（４４３）に符号化し圧縮することができる。適切な符号化速度を実施することは、コントローラ（４５０）の１つの機能である。いくつかの実施形態では、コントローラ（４５０）は、以下で説明するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。該結合は、明瞭にするために図示されていない。コントローラ（４５０）によって設定されたパラメータは、レート制御関連パラメータ（画像スキップ、量子化器、レート歪み最適化技術のλ（ラムダ）値…）、画像サイズ、グループオブピクチャ（ＧＯＰ：ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）レイアウト、最大動きベクトル探索範囲などを含むことができる。コントローラ（４５０）は、特定のシステム設計に対して最適化されたビデオエンコーダ（４０３）に関連する他の適切な機能を有するように構成されることができる。

いくつかの実施形態では、ビデオエンコーダ（４０３）は、符号化ループで動作するように構成される。過度に簡単化された説明として、一例では、符号化ループは、ソースコーダ（４３０）（例えば、符号化される入力画像と、参照画像とに基づいて、シンボルストリームなどのようなシンボルを作成することを担当する）と、ビデオエンコーダ（４０３）に埋め込まれた（ローカル）デコーダ（４３３）とを含むことができる。デコーダ（４３３）は、（リモート）デコーダがサンプルデータを作成すると同様の方法でシンボルを再構築してサンプルデータを作成する（開示された主題で考慮されているビデオ圧縮技術では、シンボルと符号化されたビデオビットストリームとの間の任意の圧縮が可逆圧縮であるからである）。再構築されたサンプルストリーム（サンプルデータ）は、参照画像メモリ（４３４）に入力される。シンボルストリームの復号により、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果が得られるため、参照画像メモリ（４３４）のコンテンツは、ローカルエンコーダとリモートエンコーダの間でもビットで正確に対応する。言い換えれば、エンコーダの予測部分が「見た」参照画像サンプルは、デコーダが復号期間に予測を使用する際に「見た」サンプル値と全く同じである。この参照画像の同期性の基本原理（および、例えばチャネル誤差の原因で同期性が維持されない場合に生じるドリフト）は、いくつかの関連技術でも使用されている。

「ローカル」デコーダ（４３３）の動作は、既に図３に関連して以上で詳細に説明された、ビデオデコーダ（３１０）などのような「リモート」デコーダの動作と同じであってもよい。しかし、図３をさらに簡単に参照すると、シンボルが利用可能であり、かつ、エントロピーコーダ（４４５）および解析器（３２０）によって符号化されたビデオシーケンスへのシンボルの符号化／復号が可逆圧縮であることができるため、バッファメモリ（３１５）と解析器（３２０）を含むビデオデコーダ（３１０）のエントロピーデコード部分は、ローカルデコーダ（４３３）で完全に実行できない可能性がある。

この時点で、デコーダに存在する解析／エントロピー復号以外のいかなるデコーダ技術も、対応するエンコーダにおいて、実質的に同一の機能形式で必ず存在する必要がある、ということが観察されている。このため、開示された主題は、デコーダ動作に焦点を合わせる。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略されることができる。特定の領域だけで、より詳細な説明が必要であり、以下で提供される。

動作中に、いくつかの実施形態では、ソースコーダ（４３０）は、動き補償予測符号化を実行することができ、前記動き補償予測符号化は、ビデオシーケンスから「参照画像」として指定された１つ以上の以前に符号化された画像を参照して、入力画像を予測的に符号化する。このようにして、符号化エンジン（４３２）は、入力画像の画素ブロックと、入力画像に対する予測参照として選択されることができる参照画像の画素ブロックとの間の差分を符号化する。

ローカルビデオデコーダ（４３３）は、ソースコーダ（４３０）によって生成されたシンボルに基づいて、参照画像として指定されることができる画像の符号化されたビデオデータを復号することができる。符号化エンジン（４３２）の動作は、有利には不可逆プロセスであってもよい。符号化されたビデオデータがビデオデコーダ（図４に示されない）で復号された場合、再構築されたビデオシーケンスは、通常、いくつかの誤差を伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ（４３３）は、参照画像に対してビデオデコーダによって実行されることができる復号プロセスをコピーして、再構築された参照画像を参照画像キャッシュ（４３４）に記憶することができる。このようにして、ビデオエンコーダ（４０３）は、遠端ビデオデコーダによって得られる（伝送誤差が存在しない）再構築された参照画像と共通のコンテンツを有する再構築された参照画像のコピーを、ローカルに記憶することができる。

予測器（４３５）は、符号化エンジン（４３２）に対して予測検索を実行することができる。すなわち、符号化される新しい画像について、予測器（４３５）は、新しい画像の適切な予測参照として機能するサンプルデータ（候補参照画素ブロックとして）または特定のメタデータ、例えば参照画像動きベクトル、ブロック形状などについて、参照画像メモリ（４３４）を検索することができる。予測器（４３５）は、適切な予測参照を見つけるために、サンプルブロックに基づいて、画素ブロックごとに動作することができる。いくつかの場合では、予測器（４３５）によって得られた検索結果によって決定されるように、入力画像は、参照画像メモリ（４３４）に記憶された複数の参照画像から引き出された予測参照を有することができる。

コントローラ（４５０）は、例えば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースエンコーダ（４３０）の符号化動作を管理することができる。

上述のすべての機能ユニットの出力は、エントロピーコーダ（４４５）でエントロピー符号化されることができる。エントロピーコーダ（４４５）は、例えばハフマン符号化、可変長符号化、算術符号化などの当業者に知られている技術に従って、シンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルを符号化されたビデオシーケンスに変換する。

送信機（４４０）は、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであることができる通信チャネル（４６０）を介した送信に備えるために、エントロピーコーダ（４４５）によって生成された、符号化されたビデオシーケンスをバッファリングすることができる。送信機（４４０）は、ビデオコーダ（４０３）からの符号化されたビデオデータを、送信される他のデータ、例えば、符号化されたオーディオデータおよび／または補助データストリーム（ソースは図示せず）とマージすることができる。

コントローラ（４５０）は、ビデオエンコーダ（４０３）の動作を管理することができる。符号化する期間、コントローラ（４５０）は、各符号化された画像に、特定の符号化された画像タイプを割り当てることができ、これは、それぞれの画像に適用できる符号化技術に影響を与える可能性がある。例えば、画像は、しばしば以下の画像タイプのいずれかとして割り当てられてもよい。

フレーム内画像（Ｉ画像）は、シーケンス内の任意の他の画像を予測のソースとして使用せずに、符号化および復号されることができるものであってもよい。いくつかのビデオコーデックは、独立デコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ、「ＩＤＲ」）画像などの異なるタイプのフレーム内画像を許容する。当業者は、Ｉ画像の変種とそれらのアプリケーションおよび機能とを理解している。

予測画像（Ｐ画像）は、多くとも１つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するフレーム内予測またはフレーム間予測を使用して符号化および復号され得るものであってもよい。

双方向予測画像（Ｂ画像）は、多くとも２つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するフレーム内予測またはフレーム間予測を使用して符号化および復号され得るものであってもよい。同様に、複数の予測画像は、単一のブロックの再構築に、２つ以上の参照画像および関連されたメタデータを使用することができる。

ソース画像は、一般的に、複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８、または１６×１６個のサンプルのブロック）に空間的に細分され、ブロックごとに符号化されることができる。これらのブロックは、ブロックのそれぞれの画像に適用される符号化割り当てによって決定されるように、他の（既に符号化された）ブロックを参照して予測的に符号化されることができる。例えば、Ｉ画像のブロックは、非予測的に符号化されてもよく、またはそれらが同じ画像の既に符号化されたブロックを参照して予測的に符号化されてもよい（空間予測またはフレーム内予測）。Ｐ画像の画素ブロックは、１つ前に符号化された参照画像を参照して、空間的予測を介してまたは時間的予測を介して予測的に符号化されてもよい。Ｂ画像のブロックは、１つまたは２つ前に符号化された参照画像を参照して、空間的予測を介してまたは時間的予測を介して予測的に符号化されてもよい。

ビデオエンコーダ（４０３）は、例えばＩＴＵ−Ｔ Ｈ．２６５などのような所定のビデオ符号化技術または規格に従って、符号化動作を実行することができる。その動作において、ビデオエンコーダ（４０３）は、入力ビデオシーケンスにおける時間的と空間的冗長性を利用する予測符号化動作を含む、様々な圧縮動作を実行することができる。したがって、符号化されたビデオデータは、使用されるビデオ符号化技術または規格によって指定された構文に従うことができる。

一実施形態では、送信機（４４０）は、符号化されたビデオとともに、付加的なデータを送信することができる。ソースコーダ（４３０）は、そのようなデータを、符号化されたビデオシーケンスの一部として含むことができる。付加的なデータは、時間的／空間的／ＳＮＲ拡張層、冗長画像やスライスなどのような他の形式の冗長データ、補足拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、略称ＳＥＩ）、ビジュアルユーザビリティ情報（Ｖｉｓｕａｌ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、略称ＶＵＩ）パラメータセットフラグメントなどを含むことができる。

ビデオは、時系列で複数のソース画像（ビデオ画像）として捕捉されることができる。フレーム内画像予測（フレーム内予測と略称されることが多い）は、与えられた画像における空間的相関を利用し、フレーム間画像予測は、画像間の（時間的または他の）相関を利用する。一例では、現在画像と呼ばれる、符号化／復号中の特定の画像がブロックに分割される。現在画像のブロックが、ビデオにおける以前に符号化され、まだバッファリングされている参照画像における参照ブロックに類似している場合、現在画像のブロックは、動きベクトルと呼ばれるベクトルによって符号化されることができる。動きベクトルは、参照画像における参照ブロックを指し、複数の参照画像が使用されている場合、参照画像を識別する３番目の次元を有することができる。

いくつかの実施形態では、双方向予測技術は、フレーム間画像予測に使用されることができる。双方向予測技術によれば、例えば、復号の順で両方とも、ビデオにおける現在画像の前にある（ただし、表示の順でそれぞれ、過去と将来にあるかもしれない）第１および第２参照画像などのような２つの参照画像が使用される。現在画像におけるブロックは、第１参照画像における第１参照ブロックを指す第１動きベクトルと、第２参照画像における第２参照ブロックを指す第２動きベクトルによって符号化されることができる。ブロックは、第１参照ブロックおよび第２参照ブロックの組み合わせによって予測されることができる。

さらに、符号化効率を向上させるために、マージモード技術は、フレーム間画像予測で使用されることができる。マージモードでは、現在画像におけるブロックは、（例えば、現在画像におけるブロックと境界を共有し、現在画像におけるブロックと一緒に、より大きなパーティション領域に配置される）現在画像にける隣接するブロックの動きベクトルを継承することができる。

本開示のいくつかの実施形態によれば、フレーム間画像予測やフレーム内画像予測などのような予測は、ブロックの単位で実行される。例えば、ＨＥＶＣ規格に従って、ビデオ画像のシーケンスにおける画像は、圧縮のために符号化ツリーユニット（ＣＴＵ：ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）に分割され、画像におけるＣＴＵは同じサイズ、例えば６４×６４画素、３２×３２画素、または１６×１６画素を有する。一般的に、ＣＴＵは、１つの輝度ＣＴＢと２つの色度ＣＴＢである３つの符号化ツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、再帰的に四分木で１つ以上の符号化ユニット（ＣＵ）に分割されてもよい。例えば、６４×６４画素のＣＴＵは、１つの６４×６４画素のＣＵ、４つの３２×３２画素のＣＵ、または１６つの１６×１６画素のＣＵに分割されることができる。一例では、各ＣＵは、フレーム間予測タイプまたはフレーム内予測タイプなどのようなＣＵに対する予測タイプを決定するために分析される。ＣＵは、時間的および／または空間的予測可能性に応じて、１つ以上の予測ユニット（ＰＵ）に分割される。通常、各ＰＵは、輝度予測ブロック（ＰＢ）と２つの色度ＰＢを含む。一実施形態では、符号化（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で実行される。輝度予測ブロックを予測ブロックの例として使用すると、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などのような画素値（例えば、輝度値）の行列を含む。

図５は、本開示の別の実施形態によるビデオエンコーダ（５０３）の図を示す。ビデオエンコーダ（５０３）は、ビデオ画像シーケンスにおける現在ビデオ画像内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを符号化されたビデオシーケンスの一部である符号化された画像に符号化するように構成される。一例では、ビデオエンコーダ（５０３）は、図２の例におけるビデオエンコーダ（２０３）の代わりに使用される。

ＨＥＶＣの例では、ビデオエンコーダ（５０３）は、例えば８×８サンプルの予測ブロックなどのような処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（５０３）は、例えばレート歪み最適化を使用して、フレーム内モード、フレーム間モード、または双方向予測モードを使用して処理ブロックを符号化するかどうかを決定する。処理ブロックがフレーム内モードで符号化される場合、ビデオエンコーダ（５０３）は、フレーム内予測技術を使用して、処理ブロックを符号化された画像に符号化することができ、また、処理ブロックがフレーム間モードまたは双方向予測モードで符号化される場合、ビデオエンコーダ（５０３）は、それぞれフレーム間予測または双方向予測技術を使用して、処理ブロックを符号化された画像に符号化することができる。特定のビデオ符号化技術では、マージモードは、予測値以外にある符号化された動きベクトル成分の利点を利用しない場合に、動きベクトルが１つ以上の動きベクトル予測値から導出されるフレーム間画像予測サブモードにすることができる。特定の他のビデオ符号化技術では、主題ブロックに適用可能な動きベクトル成分が存在する場合がある。一例では、ビデオエンコーダ（５０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などのような他のコンポーネントを含む。

図５の例では、ビデオエンコーダ（５０３）は、図５に示すように一緒に結合された、フレーム間エンコーダ（５３０）と、フレーム内エンコーダ（５２２）と、残差計算器（５２３）と、スイッチ（５２６）と、残差エンコーダ（５２４）と、汎用コントローラ（５２１）と、エントロピーエンコーダ（５２５）とを含む。

フレーム間エンコーダ（５３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを参照画像（例えば、前の画像と後の画像におけるブロック）内の１つ以上の参照ブロックと比較し、フレーム間予測情報（例えば、フレーム間符号化技術による冗長情報説明、動きベクトル、マージモード情報）を生成して、任意の適切な技術を使用して、フレーム間予測情報に基づいてフレーム間予測結果（例えば、予測されたブロック）を計算するように構成される。

フレーム内エンコーダ（５２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、いくつかの場合では、そのブロックを同じ画像で既に符号化されたブロックと比較し、変換後に量子化された係数を生成して、いくつかの場合では、フレーム内予測情報（例えば、１つ以上のフレーム内符号化技術によるフレーム内予測方向情報）を生成するように構成される。

汎用コントローラ（５２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（５０３）の他のコンポーネントを制御するように構成される。一例では、汎用コントローラ（５２１）は、ブロックのモードを決定し、そのモードに基づいて制御信号をスイッチ（５２６）に提供する。例えば、モードがフレーム内モードである場合、汎用コントローラ（５２１）は、残差計算器（５２３）によって使用されるフレーム内モード結果を選択するように、スイッチ（５２６）を制御し、フレーム内予測情報を選択して、そのフレーム内予測情報をコードストリームに含めるように、エントロピーエンコーダ（５２５）を制御する。また、モードがフレーム間モードである場合、汎用コントローラ（５２１）は、残差計算器（５２３）によって使用されるフレーム間予測結果を選択するように、スイッチ（５２６）を制御し、フレーム間予測情報を選択して、そのフレーム間予測情報をコードストリームに含めるように、エントロピーエンコーダ（５２５）を制御する。

残差計算器（５２３）は、受信されたブロックとフレーム内エンコーダ（５２２）またはフレーム間エンコーダ（５３０）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（５２４）は、残差データに基づいて動作して、残差データを符号化することで変換係数を生成するように構成される。一例では、残差エンコーダ（７２４）は、周波数領域で残差データを変換し、変換係数を生成するように構成される。次に、変換係数は量子化処理を受けて、量子化された変換係数が得られる。

エントロピーエンコーダ（５２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（５２５）は、ＨＥＶＣ規格などのような適切な規格に従って様々な情報を含むように構成される。一例では、エントロピーエンコーダ（５２５）は、汎用制御データ、選択された予測情報（例えば、フレーム内予測情報またはフレーム間予測情報）、残差情報、およびビットストリーム内の他の適切な情報を含むように構成される。開示された主題によれば、フレーム間モードまたは双方向予測モードのマージサブモードでブロックを符号化する場合、残差情報はないということに留意されたい。

図６は、本開示の別の実施形態によるビデオデコーダ（６１０）の図を示す。ビデオデコーダ（６１０）は、符号化されたビデオシーケンスの一部である符号化された画像を受信し、符号化された画像を復号して再構築された画像を生成するように構成される。一例では、ビデオデコーダ（６１０）は、図２の例におけるビデオデコーダ（２１０）の代わりに使用される。

図６の例では、ビデオデコーダ（６１０）は、図６に示されるように一緒に結合された、エントロピーデコーダ（６７１）と、フレーム間デコーダ（６８０）と、残差デコーダ（６７３）と、再構築モジュール（６７４）と、フレーム内デコーダ（６７２）とを含む。

エントロピーデコーダ（６７１）は、符号化された画像から、符号化された画像を構成する構文要素を表す特定のシンボルを再構築するように構成されることができる。このようなシンボルは、例えば、ブロックを符号化するためのモード（例えば、フレーム内、フレーム間、双方向予測、後者の２つのマージサブモードまたは別のサブモード）と、フレーム内デコーダ（６７２）またはフレーム間デコーダ（６８０）による予測に使用される特定のサンプルまたはメタデータをそれぞれ識別できる予測情報（例えば、フレーム内予測情報またはフレーム間予測情報など）と、例えば量子化された変換係数の形式の残差情報などとを含む。一例では、予測モードがフレーム間予測モードまたは双方向予測モードである場合、フレーム間予測情報は、フレーム間デコーダ（６８０）に提供される。そして、予測タイプがフレーム内予測タイプである場合、フレーム内予測情報は、フレーム内デコーダ（６７２）に提供される。残差情報は、逆量子化を受けて、残差デコーダ（６７３）に提供されることができる。

フレーム間デコーダ（６８０）は、フレーム間予測情報を受信し、フレーム間予測情報に基づいてフレーム間予測結果を生成するように構成される。

フレーム内デコーダ（６７２）は、フレーム内予測情報を受信し、フレーム内予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（６７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、その逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（６７３）はまた、特定の制御情報（量子化器パラメータＱＰを含むように）も必要とする場合があり、その情報は、エントロピーデコーダ（６７１）によって提供される場合がある（これが低ボリューム制御情報のみであるため、データ経路は図示されていない）。

再構築モジュール（６７４）は、空間領域において、残差デコーダ（６７３）による出力としての残差と、（場合によっては、フレーム間予測モジュールまたはフレーム内予測モジュールによる出力としての）予測結果とを組み合わせて、再構築されたブロックを形成するように構成され、再構築されたブロックは、再構築された画像の一部とすることができ、その後、再構築された画像は、再構築されたビデオの一部とすることができる。それは、視覚的品質を改善するために、デブロッキング動作などのような他の適切な動作を実行することができる、ということに留意されたい。

ビデオエンコーダ（２０３）、（４０３）および（５０３）と、ビデオデコーダ（２１０）、（３１０）および（６１０）とは、任意の適切な技術を使用して実現されることができる、ということに留意されたい。一実施形態では、ビデオエンコーダ（２０３）、（４０３）および（５０３）と、ビデオデコーダ（２１０）、（３１０）および（６１０）とは、１つ以上の集積回路を使用して実現されることができる。別の実施形態では、ビデオエンコーダ（２０３）、（４０３）および（５０３）と、ビデオデコーダ（２１０）、（３１０）および（６１０）とは、ソフトウェア命令を実行する１つ以上のプロセッサを使用して実装されることができる。

図７Ａおよび図７Ｂは、３３個の角度モードを含む合計で３５個のフレーム内予測モードの実施形態を示す。モード０は、ＩＮＴＲＡ＿ＰＬＡＮＡＲ（プラナー）モードであり、モード１は、ＩＮＴＲＡ＿ＤＣ（ＤＣ）モードである。さらに、モード２〜３４は、フレーム内角度モードを示す。当業者には理解されるように、モード１０は、水平角度モードであり、モード２６は、垂直モードである。ことである。

図８Ａおよび図８Ｂは、６５個の角度モードを含む合計で６７個のフレーム内予測モードの実施例を示す。モード０は、ＩＮＴＲＡ＿ＰＬＡＮＡＲ（プラナー）モードであり、モード１は、ＩＮＴＲＡ＿ＤＣ（ＤＣ）モードである。さらに、モード２〜６６は、それぞれ、フレーム内角度モードＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２〜ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ６６を示す。当業者には理解されるように、モード１８は、水平モードであり、モード５０は、垂直モードである。

図９は、フレーム内予測に使用される例示的な角度モードの実施形態を示す。図９では、右下に描かれているのは、９個の予測方向の例であり、この９個の予測方向は、Ｈ．２６５の３５個の可能な予測方向からのものであってもよい。矢印が収束する点（９０１）は、予測されるサンプルを示す。矢印は、サンプルが予測される方向を示す。例えば、矢印（９０２）は、サンプル（９０１）がサンプル（９０１）の右上の、水平軸から４５度の角度での１つまたは複数のサンプルから予測されることを示す。同様に、矢印（９０３）は、サンプル（９０１）がサンプル（９０１）の左下の、水平軸から２２．５度の角度での１つまたは複数のサンプルから予測されることを示す。

引き続き図９を参照すると、左上に４×４のサンプルの正方形ブロック（９０４）が示されている（太い破線で表示されている）。正方形ブロック（９０４）は、１６個のサンプルを含み、それぞれが文字「Ｓ」、Ｙ次元におけるその位置（例えば、行インデックス）、およびＸ次元におけるその位置（例えば、列インデックス）でラベル付けられている。例えば、サンプルＳ２１は、ブロック（９０４）でのＹ次元における（上からの）２番目のサンプルかつＸ次元における（左からの）１番目のサンプルである。同様に、サンプルＳ４４は、ブロック（９０４）でのＹ次元およびＸ次元の両方における４番目のサンプルである。ブロックのサイズが４×４のサンプルであるため、Ｓ４４は、右下に位置する。さらに、同様の番号付けスキームに従う参照サンプルが示されている。参照サンプルは、文字「Ｒ」、ブロック（９０４）に対するそのＹ位置（例えば、行インデックス）およびＸ位置（列インデックス）でラベル付けられている。フレーム画像内予測は、信号で通知される予測方向に応じて、適切に隣接するサンプルから参照サンプル値をコピーすることで機能することができる。例えば、符号化されたビデオビットストリームには、このブロックに対して、矢印（９０２）と一致する予測方向を示すシグナリングが含まれていると仮定し、即ち、サンプルは、予測サンプル（９０１）の右上の、水平から４５度の角度での１つまたは複数のサンプルから予測される。その場合、サンプルＳ４１、Ｓ３２、Ｓ２３およびＳ１４は、同じくＲ０５から予測される。次に、サンプルＳ４４は、Ｒ０８から予測される。

場合によっては、参照サンプルを算出するために、特に方向が４５度で均等に分割できない場合、複数の参照サンプルの値を、例えば補間によって組み合わせることができる。

図１０は、現在ブロック１０００のための複数の候補参照ラインを有する実施形態を示す。ブロック１０００および関連された候補参照ラインは、より大きな画像の一部であってもよい。図１０に示されるように、フレーム内方向モードについて、候補参照ライン（例えば、行または列）の数は、１（即ち、ブロック１０００に最も近いライン）からＮに増加し、ここで、Ｎは、一実施形態では、１より大きい整数であり、別の実施形態では、１以上である。各参照ラインは、１からＮまでのインデックスが付けられてもよい（例えば、参照ライン（ｉ））。例えば、参照ライン（１）は、ブロック１０００に最も近い参照ラインである参照ライン１００２ａおよび１００２ｂを指す。参照ライン（２）は、参照ライン１００４ａおよび１００４ｂを指す。参照ライン（３）は、参照ライン１００６ａおよび１００６ｂを指す。参照ライン（Ｎ）は、ブロック１０００から最も遠い参照ラインである参照ライン１００８ａおよび１００８ｂを指す。

現在ブロック１０００は、４×４の予測ユニット（ＰＵ）であってもよい。Ｎ個の参照ラインのうちの１つを選択して、予測値を生成することができる。例えば、予測値ｐ（ｘ，ｙ）は、フレーム内予測を実行するためにどの参照ラインが選択されるかによって、参照サンプルＳ_１、Ｓ_２、…、およびＳ_Ｎのうちの１つから生成され得る。いくつかの実施形態では、どの参照ラインがフレーム内方向モードのために選択されているかを示すフラグが信号で通知される。例えば、Ｎが４である場合、２ビットのフラグを使用して、次のように４つの異なる参照ラインのうちの１つを示すことができ、即ち、
００＝第１参照ライン（例えば、１００２ａ、１００２ｂ）
０１＝第２参照ライン（例えば、１００４ａ、１００４ｂ）
１０＝第３参照ライン（例えば、１００６ａ、１００６ｂ）
１１＝第４参照ライン（例えば、１００８ａ、１００８ｂ）
いくつかの実施形態では、スムーズな領域に対して、第１参照ライン（例えば、１００２ａ、１００２ｂ）は、他の参照ラインよりも好ましい。

いくつかの実施形態によれば、各参照ラインは、異なる数のフレーム内予測モードに関連付けられている。例えば、図１０を参照すると、Ｎが４に等しい場合、第１参照ライン（例えば、１００２ａ、１００２ｂ）は、６７個のモードに関連付けられており、第２参照ライン（例えば、１００４ａ、１００４ｂ）は、３５個のモードに関連付けられており、第３参照ライン（例えば、１００６ａ、１００６ｂ）は、１７個のモードに関連付けられており、第４参照ライン（例えば、１００８ａ、１００８ｂ）は、９個のモードに関連付けられている。

いくつかの実施形態によれば、１より大きいインデックスを有する参照ライン（例えば、現在ブロックに最も近い参照ライン以外の参照ライン）は、同じ数のフレーム間予測モードに関連付けられるが、第１参照ライン（例えば、１００２ａ、１００２ｂ）のフレーム内予測モードの数よりも少ない。例えば、第１参照ライン（例えば、１００２ａ、１００２ｂ）は、６７個のフレーム内予測モードに関連付けられてもよく、他の各参照ラインは、３５個のフレーム内予測モードに関連付けられてもよい。別の例として、第１参照ライン（例えば、１００２ａ、１００２ｂ）は、６７個のフレーム内予測モードに関連付けられてもよく、他の各参照ラインは、１７個のフレーム内予測モードに関連付けられてもよい。第１参照ライン（例えば、１００２ａ、１００２ｂ）以外の参照ラインに対して、より少ない予測モードを指定することにより、ブロックに対してフレーム内予測を実行するときの計算の複雑さを低減するという非常に有利な特徴が実現される。

いくつかの実施形態では、ルックアップテーブル（ＬＵＴ）を使用して、各参照ラインと、各参照ラインに関連付けられているいくつかのフレーム内予測モードとの間の関係を記憶することができる。例えば、４つの参照ライン（例えば、Ｎ＝４）がある場合、ＬＵＴは、第１参照ライン（例えば、１００２ａ、１００２ｂ）が６７個のフレーム内予測モードに関連付けられ、第２参照ラインから第４参照ラインのそれぞれが３５個のフレーム内予測モードに関連付けられる、ということを指定することができる。

図１１は、それぞれフレーム内エンコーダ５２２またはフレーム内デコーダ６７２などのエンコーダまたはデコーダによって実行されるプロセスの実施形態を示す。当該プロセスは、一般に、ステップＳ１１００で開始することができ、ここで、画像の現在ブロックに対して、複数の参照ラインのうちの１つを決定する。例えば、図１０を参照すると、フラグを使用して、参照ライン１（例えば、１００２ａ、１００２ｂ）から参照ラインＮ（１００８ａ、１００８ｂ）のうちのいずれか１つを示すことができる。

このプロセスは、ステップＳ１１０２に進み、複数の参照ラインのうちの決定された１つに基づいて、現在ブロックのためのフレーム内予測モードを決定する。例えば、各参照ラインに関連付けられたフレーム内予測モードの数を示すＬＵＴにアクセスして、決定された参照ラインに関連付けられたフレーム内予測モードの数を決定することができる。決定された参照ラインのフレーム内予測モードの数が決定されると、ＩＮＴＲＡ＿ＰＬＡＮＡＲおよびＩＮＴＲＡ＿ＤＣモードに加えて、角度モードの数も知られている。例えば、図７Ａおよび図７Ｂを参照すると、ＬＵＴが、決定された参照ラインについてのフレーム内予測モードの数が３５であることを示す場合、現在ブロックについてのフレーム内予測モードは、角度モード２〜３４のうちのいずれかによることができる。現在ブロックについてのフレーム内予測モードを決定するためのプロセスは、図１２および図１３に指定されたプロセス、および２０１８年９月２８日に提出された「最も可能性の高いモード導出のための方法および装置（Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ Ｄｅｒｉｖａｔｉｏｎ）」というタイトルの米国特許出願第１６／１４７，５４４号に記載の対応する書面による説明（その全体の内容が参照により本明細書に組み込まれる）に従って実行され得る。

このプロセスは、ステップＳ１１０４に進み、決定されたフレーム内予測モードと、複数の参照ラインのうちの決定された１つに含まれるサンプルとに基づいて、現在ブロックに対してフレーム内予測を実行する。例えば、図１０を参照すると、複数の参照ラインのうちの決定された１つが第２参照ライン（例えば、１００４ａ、１００４ｂ）である場合、当該参照ラインは、３５個のフレーム内予測モードに関連付けられ得る。したがって、ブロック１０００についてのフレーム内予測モードが１８であると決定された場合（例えば、図７Ｂを参照）、サンプルＳ_２を使用して、ｐ（ｘ，ｙ）を予測することができる。

上記の技術は、コンピュータ読み取り可能な命令を使用するコンピュータソフトウェアとして実現され、また、物理的に１つ以上のコンピュータ読み取り可能な媒体に記憶されることができる。例えば、図１２は、開示された主題の特定の実施形態を実現するのに適したコンピュータシステム（１２００）を示す。

コンピュータソフトウェアは、任意の適切なマシンコードまたはコンピュータ言語を使用して符号化されることができ、アセンブリ、コンパイル、リンク、または同様のメカニズムを受けて命令を含むコードを作成することができ、命令は、１つ以上のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって、直接的に実行されてもよく、またはコード解釈、マイクロコード実行などによって実行されてもよい。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットのデバイス（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ ｄｅｖｉｃｅｓ）などを含む、様々なタイプのコンピュータまたはそのコンポーネントで実行されてもよい。

図１２に示されるコンピュータシステム（１２００）のコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実現するコンピュータソフトウェアの使用範囲または機能に関するいかなる制限も示唆することが意図されていない。コンポーネントの構成は、コンピュータシステム（１２００）の例示的な実施形態に示されているコンポーネントのいずれかまたは組み合わせに関連する任意の依存性または要件を有すると解釈されるべきではない。

コンピュータシステム（１２００）は、いくつかのヒューマンインターフェース入力デバイスを含むことができる。このようなヒューマンインターフェース入力デバイスは、触覚入力（例えば、キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（例えば、音声、拍手など）、視覚入力（例えば、ジェスチャーなど）、嗅覚入力（図示せず）によって、1人以上のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスはまた、例えばオーディオ（例えば、音声、音楽、環境音など）、画像（例えば、スキャンされた画像、静止画像カメラから得られた写真画像など）、ビデオ（例えば、２次元ビデオ、立体映像を含む３次元ビデオなど）などの、人間による意識的な入力に必ずしも直接関連されているとは限らない、特定のメディアを捕捉するために使用されることもできる。

ヒューマンインターフェース入力デバイスは、キーボード（１２０１）、マウス（１２０２）、トラックパッド（１２０３）、タッチスクリーン（１２１０）、データグローブ（図示せず）、ジョイスティック（１２０５）、マイクロホン（１２０６）、スキャナ（１２０７）、カメラ（１２０８）（それぞれの1つだけが図示された）のうちの１つまたは複数を含むことができる。

コンピューターシステム（１２００）はまた、いくつかのヒューマンインターフェース出力デバイスを含むことができる。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および嗅覚／味覚によって、１人以上のユーザの感覚を刺激することができる。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１２１０）、データグローブ（図示せず）またはジョイスティック（１２０５）による触覚フィードバックであるが、入力デバイスとして作用しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（例えば、スピーカ（１２０９）、ヘッドホン（図示せず））、視覚出力デバイス（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１２１０）であり、各々は、タッチスクリーン入力機能を備えてもよく、あるいは備えていなくてもよいし、各々は、触覚フィードバック機能を備えてもよく、あるいは備えていなくてもよいし、これらのいくつかは、例えば、ステレオグラフィック出力、仮想現実メガネ（図示せず）、ホログラフィックディスプレイとスモークタンク（図示せず）、およびプリンタ（図示せず）などによって、２次元の視覚出力または３次元以上の視覚出力を出力することができる。

コンピューターシステム（１２００）は、ＣＤ／ＤＶＤを有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１２２０）を含む光学媒体または類似の媒体（１２２１）、サムドライブ（１２２２）、リムーバブルハードドライブまたはソリッドステートドライブ（１２２３）、テープおよびフロッピーディスク（図示せず）などのようなレガシー磁気媒体、セキュリティドングル（図示せず）などのような特殊なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスなどのような、人間がアクセス可能な記憶デバイスおよびそれらに関連する媒体を含むことができる。

当業者はまた、ここで開示されている主題に関連して使用される「コンピュータ読み取り可能な媒体」という用語は、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解すべきである。

コンピューターシステム（１２００）はまた、一つ以上の通信ネットワークへのインターフェースを含むことができる。ネットワークは、例えば、無線、有線、光学的であってもよい。ネットワークはさらに、ローカルネットワーク、広域ネットワーク、大都市圏ネットワーク、車両用ネットワークおよび産業用ネットワーク、リアルタイムネットワーク、遅延耐性ネットワークなどであってもよい。ネットワークの例は、イーサネット（登録商標）などのＬＡＮ、無線ＬＡＮ、セルラーネットワーク（ＧＳＭ（登録商標）、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなど）、テレビケーブルまたは無線広域デジタルネットワーク（有線テレビ、衛星テレビ、地上放送テレビを含む）、車両用および産業用ネットワーク（ＣＡＮＢｕｓを含む）などを含む。いくつかのネットワークは、一般に、いくつかの汎用データポートまたは周辺バス（１２４９）（例えば、コンピュータシステム（１２００）のＵＳＢポート）に接続された外部ネットワークインターフェースアダプタが必要であり、他のシステムは、通常、以下に説明するようにシステムバスに接続することによって、コンピュータシステム（１２００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（１２００）は、他のエンティティと通信することができる。このような通信は、単方向の受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、Ｃａｎｂｕｓから特定のＣａｎｂｕｓデバイスへ）、あるいは、双方向の、例えばローカルまたは広域デジタルネットワークを使用して他のコンピュータシステムへの通信であってもよい。上述のように、特定のプロトコルおよびプロトコルスタックは、それらのネットワークおよびネットワークインターフェースのそれぞれで使用されることができる。

上記のヒューマンインターフェースデバイス、ヒューマンアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピューターシステム（１２００）のコア（１２４０）に接続されることができる。

コア（１２４０）は、１つ以上の中央処理ユニット（ＣＰＵ）（１２４１）、グラフィック処理ユニット（ＧＰＵ）（１２４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１２４３）の形式の専用プログラマブル処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１２４４）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１２４５）、ランダムアクセスメモリ（１２４６）、例えば内部の非ユーザアクセスハードディスクドライブ、ＳＳＤなどの内部大容量ストレージ（１２４７）などとともに、システムバス（１２４８）を介して接続されてもよい。いくつかのコンピュータシステムでは、付加的なＣＰＵ、ＧＰＵなどによって拡張を可能にするために、システムバス（１２４８）に１つ以上の物理的プラグの形でアクセスすることができる。周辺デバイスは、コアのシステムバス（１２４８）に直接的に接続されてもよく、または周辺バス（１２４９）を介して接続されてもよい。周辺バスのアーキテクチャは、外部コントローラインターフェース（ＰＣＩ）、汎用シリアルバス（ＵＳＢ）などを含む。

ＣＰＵ（１２４１）、ＧＰＵ（１２４２）、ＦＰＧＡ（１２４３）、およびアクセラレータ（１２４４）は、いくつかの命令を実行することができ、これらの命令を組み合わせて上述のコンピュータコードを構成することができる。そのコンピュータコードは、ＲＯＭ（１２４５）またはＲＡＭ（１２４６）に記憶されることができる。また、一時的なデータは、ＲＡＭ（１２４６）に記憶されることができる一方、永久的なデータは、例えば内部大容量ストレージ（１２４７）に記憶されることができる。１つ以上のＣＰＵ（１２４１）、ＧＰＵ（１２４２）、大容量ストレージ（１２４７）、ＲＯＭ（１２４５）、ＲＡＭ（１２４６）などと密接に関連することができる、キャッシュメモリを使用することにより、任意のメモリデバイスに対する高速記憶および検索が可能になる。

コンピュータ読み取り可能な媒体は、様々なコンピュータ実行された動作を実行するためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものであってもよく、またはコンピュータソフトウェア分野の技術者によって知られ、利用可能な媒体およびコードであってもよい。

限定ではなく例として、アーキテクチャ（１２００）、特にコア（１２４０）を有するコンピュータシステムは、１つ以上の有形な、コンピュータ読み取り可能な媒体に具体化されたソフトウェアを実行する、（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）プロセッサとして機能を提供することができる。このようなコンピュータ読み取り可能な媒体は、上記のユーザがアクセス可能な大容量ストレージに関連する媒体であり、コア内部大容量ストレージ（１２４７）またはＲＯＭ（１２４５）などの、不揮発性コア（１２４０）を有する特定のストレージであってもよい。本開示の様々な実施形態を実現するソフトウェアは、そのようなデバイスに記憶され、コア（１２４０）によって実行されてもよい。コンピュータ読み取り可能な媒体は、特定のニーズに応じて、１つ以上のメモリデバイスまたはチップを含むことができる。このソフトウェアは、コア（１２４０）、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（１２４６）に記憶されているデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってこのようなデータ構造を修正することとを含む、本明細書に説明された特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えてまたは代替として、コンピュータシステムは、ロジックハードワイヤードされているか、または別の方法で回路（例えば、アクセラレータ（１２４４））に組み込まれているため、機能を提供することができ、この回路は、ソフトウェアの代わりに動作し、またはソフトウェアと一緒に動作して、本明細書に説明された特定のプロセスの特定のプロセスまたは特定の部分を実行することができる。適切な場合には、ソフトウェアへの参照はロジックを含むことができ、逆もまた然りである。適切な場合には、コンピュータ読み取り可能な媒体への参照は、実行されるソフトウェアを記憶する回路（集積回路（ＩＣ）など）を含み、実行されるロジックを具体化する回路、またはその両方を兼ね備えることができる。本開示は、ハードウェアおよびソフトウェアの任意の適切な組み合わせを包含する。

付記Ａ：頭字語
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、モーションベクトル
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオ符号化／復号
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、補足強化情報
ＶＵＩ：Ｖｉｓｕａｌ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ビジュアルユーザビリティ情報
ＧＯＰｓ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ、グループオブピクチャ
ＴＵｓ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔｓ、変換ユニット
ＰＵｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔｓ、予測ユニット
ＣＴＵｓ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔｓ、符号化ツリーユニット
ＣＴＢｓ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋｓ、符号化ツリーブロック
ＰＢｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋｓ、予測ブロック
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ、仮想参照デコーダ
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ、信号雑音比
ＣＰＵｓ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ、中央処理ユニット
ＧＰＵｓ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ、グラフィック処理ユニット
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、陰極線管
ＬＣＤ：Ｌｉｑｕｉｄ−Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、有機発光ダイオード
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ、コンパクトディスク
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、デジタルビデオディスク
ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、読み取り専用メモリ
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、特定用途向け集積回路
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、プログラマブルロジックデバイス
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ローカルエリアネットワーク
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、モバイル通信のグローバルシステム
ＬＴＥ：Ｌｏｎｇ−Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、長期的な進化
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ、コントローラエリアネットワークバス
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、汎用シリアルバス
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、外部コントローラインターフェース
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ、フィールドプログラマブルゲートアレイ
ＳＳＤ：ｓｏｌｉｄ−ｓｔａｔｅ ｄｒｉｖｅ、ソリッドステートドライブ
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、集積回路
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ、符号化ユニット
本開示は、いくつかの例示的な実施形態について説明したが、本開示の範囲内にある変更、配置、および様々な均等置換が存在している。したがって、当業者は、本明細書では明確に示されていないかまたは説明されていないが、本開示の原則を具現しているので、本開示の精神および範囲内にある、様々なシステムおよび方法を設計することができる、ということを理解されたい。

（１）ビデオデコーダによって実行されるビデオ復号の方法は、画像の現在ブロックについて、複数の参照ラインから１つの参照ラインを決定するステップであって、前記複数の参照ラインのうちの各参照ラインが前記現在ブロックの辺に平行であるステップと、前記複数の参照ラインから決定された前記１つの参照ラインに基づいて、前記現在ブロックのフレーム内予測モードを決定するステップと、決定されたフレーム内予測モードと、前記複数の参照ラインから決定された前記１つの参照ラインに含まれる１つ以上のサンプルとに基づいて、前記現在ブロックのフレーム内予測を実行するステップと、を含み、ここで、前記複数の参照ラインには、隣接参照ラインと少なくとも1つの非隣接参照ラインとが含まれ、前記隣接参照ラインが前記現在ブロックに隣接し、前記少なくとも１つの非隣接参照ラインが前記現在ブロックと隣接せず、前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数は、前記隣接参照ラインに関連付けられたフレーム内予測モードの数の半分以下であり、前記少なくとも1つの非隣接参照ラインの各非隣接参照ラインが、同じ数のフレーム内予測モードに関連付けられる。

（２）特徴（１）の方法であって、少なくとも１つの非隣接参照ラインの各非隣接参照ラインは、同じ数のフレーム内予測モードに関連付けられる。

（３）特徴（１）の方法であって、少なくとも１つの非隣接参照ラインの各非隣接参照ラインは、現在ブロックから離れる方向に対して、減少する数のフレーム内予測モードに関連付けられる。

（４）特徴（１）〜（３）のいずれか１つの方法であって、隣接参照ラインに関連付けられたフレーム内予測モードの数が６７であり、少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数が３３以下である。

（５）特徴（１）〜（４）のいずれか１つの方法であって、複数の参照ラインのうちの各参照ラインは、現在ブロックの上方の行である。

（６）特徴（１）〜（５）のいずれか１つの方法であって、複数の参照ラインのうちの各参照ラインは、現在ブロックの左側の列である。

（７）ビデオ復号のためのビデオデコーダは、処理回路を含み、前記処理回路は、画像の現在ブロックについて、複数の参照ラインから１つの参照ラインを決定することであって、前記複数の参照ラインのうちの各参照ラインが前記現在ブロックの辺に平行であることと、前記複数の参照ラインから決定された前記１つの参照ラインに基づいて、前記現在ブロックのフレーム内予測モードを決定することと、決定されたフレーム内予測モードと、前記複数の参照ラインから決定された前記１つの参照ラインに含まれる１つ以上のサンプルとに基づいて、前記現在ブロックのフレーム内予測を実行することと、を実行するように構成され、ここで、前記複数の参照ラインには、隣接参照ラインと少なくとも1つの非隣接参照ラインとが含まれ、前記隣接参照ラインが前記現在ブロックに隣接し、前記少なくとも１つの非隣接参照ラインが前記現在ブロックと隣接せず、前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数は、前記隣接参照ラインに関連付けられたフレーム内予測モードの数の半分以下であり、前記少なくとも1つの非隣接参照ラインの各非隣接参照ラインが、同じ数のフレーム内予測モードに関連付けられる。

（８）特徴（７）のビデオデコーダであって、少なくとも１つの非隣接参照ラインの各非隣接参照ラインは、同じ数のフレーム内予測モードに関連付けられる。

（９）特徴（７）のビデオデコーダであって、少なくとも１つの非隣接参照ラインの各非隣接参照ラインは、現在ブロックから離れる方向に対して、減少する数のフレーム内予測モードに関連付けられる。
（１０）特徴（７）〜（９）のいずれか１つのビデオデコーダであって、隣接参照ラインに関連付けられたフレーム内予測モードの数が６７であり、少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数が３３以下である。

（１１）特徴（７）〜（１０）のいずれか１つのビデオデコーダであって、複数の参照ラインのうちの各参照ラインは、現在ブロックの上方の行である。

（１２）特徴（７）〜（１１）のいずれか１つのビデオデコーダであって、複数の参照ラインのうちの各参照ラインは、現在ブロックの左側の列である。

（１３）ビデオデコーダ内のプロセッサによって実行されると、前記プロセッサに下記の方法を実行させる命令が記憶されている非一時的なコンピュータ読み取り可能な媒体であって、前記方法は、
画像の現在ブロックについて、複数の参照ラインから１つの参照ラインを決定するステップであって、前記複数の参照ラインのうちの各参照ラインが前記現在ブロックの辺に平行であるステップと、前記複数の参照ラインから決定された前記１つの参照ラインに基づいて、前記現在ブロックのフレーム内予測モードを決定するステップと、決定されたフレーム内予測モードと、前記複数の参照ラインから決定された前記１つの参照ラインに含まれる１つ以上のサンプルとに基づいて、前記現在ブロックのフレーム内予測を実行するステップと、を含み、ここで、前記複数の参照ラインには、隣接参照ラインと少なくとも1つの非隣接参照ラインとが含まれ、前記隣接参照ラインが前記現在ブロックに隣接し、前記少なくとも１つの非隣接参照ラインが前記現在ブロックと隣接せず、前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数は、前記隣接参照ラインに関連付けられたフレーム内予測モードの数の半分以下であり、前記少なくとも1つの非隣接参照ラインの各非隣接参照ラインが、同じ数のフレーム内予測モードに関連付けられる。

（１４）特徴（１３）の非一時的コンピュータ読み取り可能な媒体であって、少なくとも１つの非隣接参照ラインの各非隣接参照ラインは、同じ数のフレーム内予測モードに関連付けられる。

（１５）特徴（１３）の非一時的コンピュータ読み取り可能な媒体であって、少なくとも１つの非隣接参照ラインの各非隣接参照ラインは、現在ブロックから離れる方向に対して、減少する数のフレーム内予測モードに関連付けられる。

（１６）特徴（１３）〜（１５）のいずれか１つの非一時的コンピュータ読み取り可能な媒体であって、隣接参照ラインに関連付けられたフレーム内予測モードの数が６７であり、少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数が３３以下である。

（１７）特徴（１３）〜（１６）のいずれか１つの非一時的コンピュータ読み取り可能な媒体であって、複数の参照ラインのうちの各参照ラインは、現在ブロックの上方の行である。

（１８）特徴（１３）〜（１７）のいずれか１つの非一時的コンピュータ読み取り可能な媒体であって、複数の前記参照ラインのうちの各参照ラインは、前記現在ブロックの左側の列である。

Claims (18)

1. ビデオデコーダが実行するビデオ復号の方法であって、 画像の現在ブロックについて、複数の参照ラインから１つの参照ラインを決定するステップであって、前記複数の参照ラインのうちの各参照ラインが前記現在ブロックの辺に平行であるステップと、
   前記複数の参照ラインから決定された前記１つの参照ラインに基づいて、前記現在ブロックのフレーム内予測モードを決定するステップと、
   決定されたフレーム内予測モードと、前記複数の参照ラインから決定された前記１つの参照ラインに含まれる１つ以上のサンプルとに基づいて、前記現在ブロックのフレーム内予測を実行するステップと、を含み、ここで、
   前記複数の参照ラインには、隣接参照ラインと少なくとも1つの非隣接参照ラインとが含まれ、前記隣接参照ラインが前記現在ブロックに隣接し、前記少なくとも１つの非隣接参照ラインが前記現在ブロックと隣接せず、
   前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数は、前記隣接参照ラインに関連付けられたフレーム内予測モードの数の半分以下である、
   ことを特徴とするビデオ復号の方法。
2. 前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインは、同じ数のフレーム内予測モードに関連付けられる、
   ことを特徴とする請求項１に記載の方法。
3. 前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインは、前記現在ブロックから離れる方向に対して、減少する数のフレーム内予測モードに関連付けられる、
   ことを特徴とする請求項１に記載の方法。
4. 前記隣接参照ラインに関連付けられたフレーム内予測モードの数が６７であり、
   前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数が３３以下である、
   ことを特徴とする請求項１〜３のいずれか一項に記載の方法。
5. 前記複数の参照ラインのうちの各参照ラインは、前記現在ブロックの上方の行である、
   ことを特徴とする請求項１〜４のいずれか一項に記載の方法。
6. 前記複数の参照ラインのうちの各参照ラインは、前記現在ブロックの左側の列である、
   ことを特徴とする請求項１〜５のいずれか一項に記載の方法。
7. ビデオ復号のためのビデオデコーダであって、
   処理回路を含み、前記処理回路は、
   画像の現在ブロックについて、複数の参照ラインから１つの参照ラインを決定することであって、前記複数の参照ラインのうちの各参照ラインが前記現在ブロックの辺に平行であることと、
   前記複数の参照ラインから決定された前記１つの参照ラインに基づいて、前記現在ブロックのフレーム内予測モードを決定することと、
   決定されたフレーム内予測モードと、前記複数の参照ラインから決定された前記１つの参照ラインに含まれる１つ以上のサンプルとに基づいて、前記現在ブロックのフレーム内予測を実行することと、を実行するように構成され、ここで、
   前記複数の参照ラインには、隣接参照ラインと少なくとも1つの非隣接参照ラインとが含まれ、前記隣接参照ラインが前記現在ブロックに隣接し、前記少なくとも１つの非隣接参照ラインが前記現在ブロックと隣接せず、
   前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数は、前記隣接参照ラインに関連付けられたフレーム内予測モードの数の半分以下である、
   ことを特徴とするビデオデコーダ。
8. 前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインは、同じ数のフレーム内予測モードに関連付けられる、
   ことを特徴とする請求項７に記載のビデオデコーダ。
9. 前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインは、前記現在ブロックから離れる方向に対して、減少する数のフレーム内予測モードに関連付けられる、
   ことを特徴とする請求項７に記載のビデオデコーダ。
10. 前記隣接参照ラインに関連付けられたフレーム内予測モードの数が６７であり、
    前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数が３３以下である、
    ことを特徴とする請求項７〜９のいずれか一項に記載のビデオデコーダ。
11. 前記複数の参照ラインのうちの各参照ラインは、前記現在ブロックの上方の行である、
    ことを特徴とする請求項７〜１０のいずれか一項に記載のビデオデコーダ。
12. 前記複数の参照ラインのうちの各参照ラインは、前記現在ブロックの左側の列である、
    ことを特徴とする請求項７〜１１のいずれか一項に記載のビデオデコーダ。
13. ビデオデコーダ内のプロセッサによって実行されると、前記プロセッサに下記の方法を実行させるためのコンピュータプログラムであって、前記方法は、
    画像の現在ブロックについて、複数の参照ラインから１つの参照ラインを決定するステップであって、前記複数の参照ラインのうちの各参照ラインが前記現在ブロックの辺に平行であるステップと、
    前記複数の参照ラインから決定された前記１つの参照ラインに基づいて、前記現在ブロックのフレーム内予測モードを決定するステップと、
    決定されたフレーム内予測モードと、前記複数の参照ラインから決定された前記１つの参照ラインに含まれる１つ以上のサンプルとに基づいて、前記現在ブロックのフレーム内予測を実行するステップと、を含み、ここで、
    前記複数の参照ラインには、隣接参照ラインと少なくとも1つの非隣接参照ラインとが含まれ、前記隣接参照ラインが前記現在ブロックに隣接し、前記少なくとも１つの非隣接参照ラインが前記現在ブロックと隣接せず、
    前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数は、前記隣接参照ラインに関連付けられたフレーム内予測モードの数の半分以下である、
    ことを特徴とするコンピュータプログラム。
14. 前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインは、同じ数のフレーム内予測モードに関連付けられる、
    ことを特徴とする請求項１３に記載のコンピュータプログラム。
15. 前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインは、前記現在ブロックから離れる方向に対して、減少する数のフレーム内予測モードに関連付けられる、
    ことを特徴とする請求項１３に記載のコンピュータプログラム。
16. 前記隣接参照ラインに関連付けられたフレーム内予測モードの数が６７であり、
    前記少なくとも１つの非隣接参照ラインの各非隣接参照ラインに関連付けられたフレーム内予測モードの数が３３以下である、
    ことを特徴とする請求項１３〜１５のいずれか一項に記載のコンピュータプログラム。
17. 前記複数の参照ラインのうちの各参照ラインは、前記現在ブロックの上方の行である、
    ことを特徴とする請求項１３〜１６のいずれか一項に記載のコンピュータプログラム。
18. 前記複数の参照ラインのうちの各参照ラインは、前記現在ブロックの左側の列である、
    ことを特徴とする請求項１３〜１７のいずれか一項に記載のコンピュータプログラム。

Images