JP2021517788A - 映像符号化のための方法並びに、その、装置及びコンピュータプログラム - Google Patents

Abstract

本開示の態様は、映像復号のための方法及び装置を提供する。いくつかの例では、装置は、受信回路及び処理回路を含む。処理回路は、符号化された映像ビットストリームからブロックの予測情報を復号するように構成される。予測情報は、候補リストに基づく予測モードを示す。さらに、処理回路は、予測モードに応じて、ブロックの2つのコーナ位置の間の、ブロックに隣接する位置に位置している少なくとも1つのサイド候補を含む候補リストを構築する。次いで、処理回路は、サイド候補の動き情報に従ってブロックの少なくとも1つのサンプルを再構成する。

Description

参照による組み込み
本開示は、米国で2018年5月8日に出願された米国仮出願第62/668,776号「METHODS FOR MERGE AND MOTION VECTOR PREDICTION SPATIAL CANDIDATE LIST FOR INTER-PICTURE PREDICTION」、及び2018年11月26に出願された米国通常特許出願第16/200,569号「METHOD AND APPARATUS FOR VIDEO CODING」に対して優先権の利益を主張するものであり、これらの出願は参照により本明細書に組み込まれる。

本開示は、一般に映像符号化に関連する実施形態を説明する。

本明細書で提供される背景技術説明は、本開示の背景を概略的に提示するためのものである。現在記載されている発明者らの研究は、出願時に別の形で先行技術としての資格を有し得ない記載の態様と同様に、その研究がこの背景技術で説明される範囲において、明示又は黙示を問わず本開示に対する先行技術として認められるものではない。

映像符号化及び復号は、動き補償付きインタピクチャ予測を使用して実行されることができる。非圧縮デジタル映像は一連のピクチャを含むことができ、各ピクチャは、たとえば1920x1080の輝度サンプルと関連するクロミナンスサンプルとの空間次元を有している。一連のピクチャは、たとえば毎秒60ピクチャ又は60 Hzの固定又は可変のピクチャレート（非公式にはフレームレートとしても知られる）を有することができる。非圧縮映像は、重要なビットレート要件を有している。たとえば、サンプルあたり8ビットでの1080p60 4：2：0の映像（60 Hzのフレームレートで1920x1080の輝度サンプル解像度）は、1.5 Gbit／sに近い帯域幅を必要とする。こうした映像の1時間は、600 GBを超えるストレージスペースを必要とする。

映像符号化及び復号の1つの目的は、圧縮を通じた、入力映像信号内の冗長性の低減とすることができる。圧縮は、前述の帯域幅又はストレージスペースの要件を、場合によっては2桁以上削減するのに役立つ。ロスレス圧縮とロシー圧縮の両方、及びそれらの組合せが採用されることができる。ロスレス圧縮とは、圧縮された元の信号から、元の信号の正確なコピーが再構成されることができる手法を指す。ロシー圧縮を使用したとき、再構成された信号は元の信号と同一ではない可能性があるが、元の信号と再構成された信号との間の歪みは、再構成された信号を目的のアプリケーションに有用なものにできるほど十分に小さいものである。映像の場合、ロシー圧縮が広く採用されている。許容される歪み量はアプリケーションに依存し、たとえば、ある特定のコンシューマ・ストリーミング・アプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高次の歪みを許容し得る。達成可能な圧縮率は、より高次の許容可能／容認可能歪みがより高い圧縮率をもたらす、ということを反映することができる。

動き補償は、ロシー圧縮手法とすることができ、前に再構成されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以下MV）によって示される方向に空間的にシフトされた後、新しく再構成されたピクチャ又はピクチャの一部の予測のために使用される手法、に関連するものとすることができる。場合によっては、参照ピクチャは現在再構成中のピクチャと同じとすることができる。MVは、XとYとの2つの次元、又は3つの次元を有することができ、3番目の次元は、使用中の参照ピクチャの指標である（後者は間接的に時間の次元とすることができる）。

いくつかの映像圧縮手法では、サンプルデータのある特定の領域に適用可能なMVは、他のMVから、たとえば、再構成中の領域に空間的に隣接し、復号順序において当該のMVの前にある、サンプルデータの別の領域に関連するMVから、予測されることができる。そうすることで、MVを符号化するために必要とされるデータ量を大幅に削減することができ、それによって冗長性を除去し、圧縮率を向上させる。たとえば、カメラから導出された入力映像信号（自然映像として知られる）を符号化するとき、単一のMVが適用可能な領域よりも大きな領域が、類似の方向に移動し、したがって、場合によっては、隣接する領域のMVから導出された類似の動きベクトルを使用して予測されることができる、といった統計的可能性が存在するため、MV予測が効果的に機能することができる。このことは、所与の領域について見出されたMVが周囲のMVから予測されたMVと類似しているか又は同じであり、今度は、このMVは、エントロピ符号化後に、MVを直接符号化する場合に使用されるよりも少ないビット数で表されることができる、という結果になる。場合によっては、MV予測は、元の信号（つまり、サンプルストリーム）から導出された信号（つまり、MV）のロスレス圧縮の一例とすることができる。他の場合では、たとえば、いくつかの周囲のMVから予測子を計算するときの丸め誤差に起因して、MV予測自体をロシーとすることができる。

さまざまなMV予測メカニズムがH.265/HEVC（ITU-T Rec H.265、「High Efficiency Video Coding」、2016年12月）において説明されている。H.265が提供する多くのMV予測メカニズムのうち、ここで説明されるのは、以下「空間マージ」と称される手法である。

図1を参照すると、現在ブロック（101）は、空間的にシフトされた同じサイズの前のブロックから予測可能であることが、動き探索プロセス中にエンコーダによって見出されているサンプルを含む。当該のMVを直接符号化する代わりに、1又は複数の参照ピクチャと関連付けられたメタデータから、たとえば（復号順序で）最新の参照ピクチャから、5つの周囲のサンプル、すなわち示されているA0、A1及びB0、B1、B2（それぞれ102から106）のいずれか1つと関連付けられたMVを使用して、MVが導出されることができる。H.265では、MV予測は、隣接するブロックが使用しているのと同じ、参照ピクチャからの予測子を使用することができる。

本開示の態様は、映像復号のための方法及び装置を提供する。いくつかの例では、装置は、受信回路及び処理回路を含む。処理回路は、符号化された映像ビットストリームからブロックの予測情報を復号するように構成される。予測情報は、候補リストに基づく予測モードを示す。さらに、処理回路は、予測モードに応じて、ブロックの2つのコーナ位置の間の、ブロックに隣接する位置に位置している少なくとも1つのサイド候補を含む候補リストを構築する。次いで、処理回路は、サイド候補の動き情報に従ってブロックの少なくとも1つのサンプルを再構成する。

いくつかの実施形態では、予測モードは、マージモード及び高度動きベクトル予測（AMVP）モードのうちの1つである。

一実施形態では、処理回路は、予測モードに応じて、ブロックの高さが高さしきい値よりも大きいときは、ブロックに隣接して左サイドの中央位置に位置している左サイド候補を含む候補リストを構築する。

別の実施形態では、処理回路は、予測モードに応じて、ブロックの幅が幅しきい値よりも大きいときは、ブロックに隣接して上サイドの中央位置に位置している上サイド候補を含む候補リストを構築する。

別の実施形態では、処理回路は、予測モードに応じて、ブロックの高さが高さしきい値よりも大きいときは、ブロックに隣接して左端に等間隔に配置された複数の左サイド候補を含む候補リストを構築する。

別の実施形態では、処理回路は、予測モードに応じて、ブロックの幅が幅しきい値よりも大きいときは、ブロックに隣接して上端に等間隔に配置された複数の上サイド候補を含む候補リストを構築する。

一例では、処理回路は、候補リスト内のコーナ候補の前にサイド候補を優先させる。別の例では、処理回路は、候補リスト内の上サイド候補の前に左サイド候補を優先させる。別の例では、処理回路は、候補リスト内の左サイド候補の前に上サイド候補を優先させる。

本開示の態様は、映像復号のためにコンピュータによって実行されたときに、コンピュータに映像符号化のための方法を実行させる命令を格納した非一時的なコンピュータ可読媒体も提供する。

開示される主題事項のさらなる特徴、性質、及びさまざまな利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。

H.265に係る、現在ブロック及びその周囲の空間マージ候補の概略図である。 一実施形態に係る、通信システム（200）の簡略化ブロック図の概略図である。 一実施形態に係る、通信システム（300）の簡略ブロック図の概略図である。 一実施形態に係る、デコーダの簡略ブロック図の概略図である。 一実施形態に係る、エンコーダの簡略ブロック図の概略図である。 別の実施形態に係る、エンコーダのブロック図を示す。 別の実施形態に係る、デコーダのブロック図を示す。 いくつかの例における空間的及び時間的候補の例を示す。 本開示の一実施形態に係る、追加の空間マージ候補の例を示す。 本開示の一実施形態に係る、追加の空間マージ候補の例を示す。 本開示の一実施形態に係る、追加の空間マージ候補の例を示す。 本開示の一実施形態に係る、追加の空間マージ候補の例を示す。 本開示の一実施形態に係る、追加の空間マージ候補の例を示す。 本開示の一実施形態に係る、サイド候補を追加する例を示す。 本開示の一実施形態に係る、サイド候補を追加する例を示す。 本開示の一実施形態に係る、現在ブロックの左サイド及び上サイド両方からのサイド候補を追加する例を示す。 本開示のいくつかの実施形態に係る、プロセス例を概説するフローチャートを示す。 一実施形態に係る、コンピュータシステムの概略図である。

図2は、本開示の一実施形態に係る、通信システム（200）の簡略化ブロック図を示している。通信システム（200）は、たとえばネットワーク（250）を介して互いに通信することができる複数の端末デバイスを含む。たとえば、通信システム（200）は、ネットワーク（250）を介して相互接続された第1のペアの端末デバイス（210）と（220）とを含む。図2の例では、第1のペアの端末デバイス（210）と（220）とは、データの一方向送信を実行する。たとえば、端末デバイス（210）は、ネットワーク（250）を介したもう一方の端末デバイス（220）への送信のために、映像データ（たとえば、端末デバイス（210）によってキャプチャされた映像ピクチャのストリーム）を符号化し得る。符号化された映像データは、1又は複数の符号化された映像ビットストリームの形式で送信されることがきる。端末デバイス（220）は、ネットワーク（250）から符号化された映像データを受信し得、映像ピクチャを復元するために、符号化された映像データを復号し得、復元された映像データに従って映像ピクチャを表示し得る。一方向データ送信は、メディア供給アプリケーションなどでは一般的であり得る。

別の例では、通信システム（200）は、たとえばテレビ会議中に発生し得る符号化された映像データの双方向送信を実行する、第2のペアの端末デバイス（230）と（240）とを含む。データの双方向送信については、一例では、端末デバイス（230）及び（240）のうちの各端末デバイスは、ネットワーク（250）を介した端末デバイス（230）及び（240）のうちのもう一方の端末デバイスへの送信のために映像データ（たとえば、端末デバイスによってキャプチャされた映像ピクチャのストリーム）を符号化し得る。端末デバイス（230）及び（240）のうちの各端末デバイスはまた、端末デバイス（230）及び（240）のうちのもう一方の端末デバイスによって送信された、符号化された映像データを受信し得、映像ピクチャを復元するために、符号化された映像データを復号し得、復元された映像データに従って、アクセス可能な表示デバイスで映像ピクチャを表示し得る。

図2の例では、端末デバイス（210）、（220）、（230）及び（240）は、サーバ、パーソナルコンピュータ及びスマートフォンとして示され得るが、本開示の原理はそのように限定はされ得ない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のテレビ会議機器にアプリケーションを見出す。ネットワーク（250）は、たとえば有線（ワイヤード）及び／又は無線通信ネットワークを含む、端末デバイス（210）、（220）、（230）及び（240）間で符号化された映像データを伝達する任意の数のネットワークを表す。通信ネットワーク（250）は、回線交換及び／又はパケット交換チャネルでデータを交換し得る。代表的なネットワークは、電気通信ネットワーク、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、及び／又はインターネットを含む。本議論の目的のために、ネットワーク（250）のアーキテクチャ及びトポロジは、以下で本明細書において説明されない限り、本開示の動作にとって重要ではないものとし得る。

図3は、開示される主題事項に関するアプリケーションについての一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示している。開示された主題事項は、たとえば、テレビ会議、デジタルTV、CD、DVD、メモリスティックなどを含むデジタルメディアへの圧縮された映像の記録、などを含む他の映像対応のアプリケーションに等しく適用可能とすることができる。

ストリーミングシステムは、たとえば非圧縮の映像ピクチャのストリーム（302）を生成する映像ソース（301）、たとえばデジタルカメラを含むことができる、キャプチャサブシステム（313）を含み得る。一例では、映像ピクチャのストリーム（302）は、デジタルカメラによって取得されたサンプルを含む。映像ピクチャのストリーム（302）は、符号化された映像データ（304）（又は符号化された映像ビットストリーム）と比較してデータボリュームが大きいことを強調するために太線で描かれており、映像ソース（301）に連結されたビデオエンコーダ（303）を含む電子デバイス（320）によって処理されることができる。ビデオエンコーダ（303）は、以下でより詳細に説明されるように、開示される主題事項の態様を可能にするか又は実施するために、ハードウェア、ソフトウェア、又はそれらの組合せを含むことができる。符号化された映像データ（304）（又は符号化された映像ビットストリーム（304））は、映像ピクチャのストリーム（302）と比較してデータボリュームが小さいことを強調するために細線で描かれており、将来の使用のためにストリーミングサーバ（305）に記憶されることができる。図3のクライアントサブシステム（306）及び（308）などの1又は複数のストリーミング・クライアント・サブシステムは、符号化された映像データ（304）のコピー（307）及び（309）を取り出すためにストリーミングサーバ（305）にアクセスすることができる。クライアントサブシステム（306）は、たとえば、電子デバイス（330）内にビデオデコーダ（310）を含むことができる。ビデオデコーダ（310）は、入って来る、符号化された映像データのコピー（307）を復号し、ディスプレイ（312）（たとえば、ディスプレイスクリーン）又は他のレンダリングデバイス（描かれていない）にレンダリングされることができる、出ていく、映像ピクチャのストリーム（311）を生成する。いくつかのストリーミングシステムでは、符号化された映像データ（304）、（307）、及び（309）（たとえば、映像ビットストリーム）は、ある特定の映像符号化／圧縮規格に従って符号化されることができる。それらの規格の例には、ITU-T Recommendation H.265が含まれる。一例では、開発中の映像符号化規格が、非公式にVVC（Versatile Video Coding）として知られている。開示される主題事項は、VVCの背景において使用され得る。

なお、電子デバイス（320）及び（330）は、他のコンポーネント（図示されていない）を含むことができる。たとえば、電子デバイス（320）は、ビデオデコーダ（図示されていない）を含むことができ、電子デバイス（330）は、同様にビデオエンコーダ（図示されていない）を含むことができる。

図4は、本開示の一実施形態に係る、ビデオデコーダ（410）のブロック図を示している。ビデオデコーダ（410）は、電子デバイス（430）に含まれることができる。電子デバイス（430）は、受信器（431）（たとえば、受信回路）を含むことができる。ビデオデコーダ（410）は、図3の例におけるビデオデコーダ（310）の場所に使用されることができる。

受信器（431）は、ビデオデコーダ（410）によって復号されることになる1又は複数の符号化された映像シーケンスを受信し得、同じか又は別の実施形態では、一度に1つの符号化された映像シーケンスを受信し得、各符号化された映像シーケンスの復号は、他の符号化された映像シーケンスから独立している。符号化された映像シーケンスは、符号化された映像データを記憶するストレージデバイスへのハードウェア／ソフトウェアリンクであり得るチャネル（401）から受信され得る。受信器（431）は、符号化された映像データを、他のデータ、たとえば、それぞれの使用エンティティ（描かれていない）に転送され得る符号化されたオーディオデータ及び／又は補助データストリームと共に受信し得る。受信器（431）は、符号化された映像シーケンスを他のデータから分離し得る。ネットワークジッタへの対策をするため、受信器（431）とエントロピデコーダ／解析器（420）（以下、「解析器（420）」）との間にバッファメモリ（415）が連結され得る。ある特定のアプリケーションでは、バッファメモリ（415）は、ビデオデコーダ（410）の一部である。他の用途では、それはビデオデコーダ（410）の外部にあるものとすることができる（描かれていない）。さらに他の用途では、たとえばネットワークジッタへの対策をするために、ビデオデコーダ（410）の外部にバッファメモリ（描かれていない）が存在するものとすることができ、さらに、たとえば再生タイミングを操作するために、ビデオデコーダ（410）の内部に別のバッファメモリ（415）が存在するものとすることができる。受信器（431）が十分な帯域幅及び可制御性の記憶／転送デバイスから、又はアイソシンクロナスネットワークからデータを受信しているとき、バッファメモリ（415）は必要とされなくてもよいか、又は小さいものとすることができる。インターネットなどのベスト・エフォート・パケット・ネットワークでの使用については、バッファメモリ（415）が必要となり得、比較的大きいものとすることができ、また有利に適応性のあるサイズのものとすることができ、少なくとも部分的に、ビデオデコーダ（410）の外部で、オペレーティングシステム又は類似の要素（描かれていない）内で実施され得る。

ビデオデコーダ（410）は、符号化された映像シーケンスからシンボル（421）を再構成するための解析器（420）を含み得る。それらのシンボルのカテゴリには、ビデオデコーダ（410）の動作を管理するために使用される情報、及び潜在的に、図4に示されているように、電子デバイス（430）の一体となっている部分ではないが電子デバイス（430）に連結されることができるレンダリングデバイス（412）、などのレンダリングデバイス（たとえば、ディスプレイスクリーン）を制御するための情報が含まれる。レンダリングデバイスのための制御情報は、補足拡張情報（（Supplemental Enhancement Information：SEI）メッセージ）又は映像ユーザビリティ情報（Video Usability Information：VUI）パラメータセットの断片（描かれていない）の形式であり得る。解析器（420）は、受信された符号化された映像シーケンスを解析／エントロピ復号し得る。符号化された映像シーケンスの符号化は、映像符号化技術又は規格によることができ、可変長符号化、ハフマン符号化、文脈依存性あり又はなしの算術符号化などを含むさまざまな原理に従うことができる。解析器（420）は、ビデオデコーダにおいてピクセルのサブグループのうちの少なくとも1つについての一式のサブグループパラメータを、グループに対応する少なくとも1つのパラメータに基づいて、符号化された映像シーケンスから抽出し得る。サブグループは、ピクチャグループ（Groups of Pictures：GOP）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（Coding Unit：CU）、ブロック、変換ユニット（Transform Unit：TU）、予測ユニット（Prediction Unit：PU）などを含むことができる。解析器（420）は、符号化された映像シーケンスから、変換係数、量子化器パラメータ値、動きベクトルその他などの情報も抽出し得る。

解析器（420）は、シンボル（421）を生成するために、バッファメモリ（415）から受信された映像シーケンスに対してエントロピ復号／解析動作を実行し得る。

シンボル（421）の再構成には、符号化された映像ピクチャ又はその部分のタイプ（インタピクチャ及びイントラピクチャ、インタブロック及びイントラブロックなど）、及びその他のファクタに応じて、複数の異なるユニットを関与させることができる。どのユニットが、及びどのように関与するかは、符号化された映像シーケンスから解析器（420）によって解析されたサブグループ制御情報によって制御されることができる。解析器（420）と以下の複数のユニットとの間のこうしたサブグループ制御情報のフローは、明確にするために描かれていない。

既に述べられた機能ブロックを超越して、ビデオデコーダ（410）は、以下で説明されるように、いくつかの機能ユニットに概念的に細分化されることができる。商業的制約のもとで動作する実践的な実施態様では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的には互いに統合されることができる。しかしながら、開示される主題事項を説明する目的ために、以下の機能ユニットへの概念的な細分化が適切である。

第1のユニットは、スケーラ／逆変換ユニット（451）である。スケーラ／逆変換ユニット（451）は、量子化された変換係数、及び、どの変換を使用するのか、ブロックサイズ、量子化ファクタ、量子化スケーリングマトリックス、などを含む制御情報を、解析器（420）からシンボル（421）として受信する。スケーラ／逆変換ユニット（451）は、アグリゲータ（455）に入力されることができる、サンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換（451）の出力サンプルは、イントラ符号化されたブロック、すなわち、前に再構成されたピクチャからの予測情報を使用していないが、現在ピクチャの、前に再構成された部分からの予測情報を使用することができるブロック、に関係することができる。こうした予測情報は、イントラピクチャ予測ユニット（452）によって提供されることができる。場合によっては、イントラピクチャ予測ユニット（452）は、現在ピクチャバッファ（458）からフェッチされた、周囲の既に再構成された情報を使用して、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ（458）は、たとえば、部分的に再構成された現在ピクチャ及び／又は完全に再構成された現在ピクチャをバッファリングする。アグリゲータ（455）は、場合によっては、サンプルごとのベースで、イントラ予測ユニット（452）が生成した予測情報を、スケーラ／逆変換ユニット（451）によって提供される出力サンプル情報に加える。

他の場合では、スケーラ／逆変換ユニット（451）の出力サンプルは、インタ符号化された、そして潜在的に動き補償される、ブロックに関係することができる。こうした場合では、動き補償予測ユニット（453）は、予測に使用されるサンプルをフェッチするために、参照ピクチャメモリ（457）にアクセスすることができる。フェッチされたサンプルをブロックに関係するシンボル（421）に従って動き補償した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（455）によってスケーラ／逆変換ユニット（451）の出力に加えられることができる（この場合、残差サンプル又は残差信号と呼ばれる）。動き補償予測ユニット（453）が予測サンプルをフェッチする参照ピクチャメモリ（457）内のアドレスは、動きベクトルによって制御されることができ、動き補償予測ユニット（453）に対して、たとえば、XとYと参照ピクチャコンポーネントとを有することができるシンボル（421）の形式で利用可能である。動き補償は、サブサンプリングの正確な動きベクトルが使用されているときの参照ピクチャメモリ（457）からフェッチされたサンプル値の補間、動きベクトル予測メカニズム、その他も含むことができる。

アグリゲータ（455）の出力サンプルは、ループフィルタユニット（456）でさまざまなループフィルタリング手法の対象となることができる。映像圧縮技術は、符号化された映像シーケンス（符号化された映像ビットストリームとも称される）に含まれ、解析器（420）からのシンボル（421）としてループフィルタユニット（456）に対して利用可能にされた、パラメータによって制御されるが、符号化されたピクチャ又は符号化された映像シーケンスの前の（復号順序で）部分の復号中に取得されたメタ情報に応答、及び前に再構成されてループフィルタリングされたサンプル値に応答することもできる、インループフィルタ技術を含めることができる。

ループフィルタユニット（456）の出力は、レンダリングデバイス（412）に出力されること、及び将来のインタピクチャ予測での使用のために参照ピクチャメモリ（457）に記憶されること、ができるサンプルストリームとすることができる。

ある特定の符号化されたピクチャは、完全に再構成された時点で、将来の予測のための参照ピクチャとして使用されることができる。たとえば、現在ピクチャに対応する符号化されたピクチャが完全に再構成され、符号化されたピクチャが（たとえば、解析器（420）によって）参照ピクチャとして特定された時点で、現在ピクチャバッファ（458）は参照ピクチャメモリ（457）の一部とすることができ、次の符号化されたピクチャの再構成を開始する前に新しい現在ピクチャバッファが新たに割り当てられることができる。

ビデオデコーダ（410）は、ITU-T Rec. H.265などの規格における所定の映像圧縮技術に従って復号動作を実行し得る。符号化された映像シーケンスは、映像圧縮技術又は規格のシンタックスと映像圧縮技術又は規格で文書化されているプロファイルとの両方を、符号化された映像シーケンスが順守するという意味において、使用されている映像圧縮技術又は規格によって指定されたシンタックスに準拠し得る。具体的には、プロファイルは、映像圧縮技術又は規格において利用可能なすべてのツールから、当該のプロファイルのもとで使用可能な唯一のツールとしてある特定のツールを選択することができる。また、符号化された映像シーケンスの複雑さが、映像圧縮技術又は規格のレベルによって定義されている範囲内にあることも、順守に必要であるとすることができる。場合によっては、レベルが、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（たとえば、メガサンプル／秒で測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定された制限は、場合によっては、仮想参照デコーダ（Hypothetical Reference Decoder：HRD）の仕様と、符号化された映像シーケンスでシグナリングされるHRDバッファ管理のためのメタデータとによってさらに制限されることができる。

一実施形態では、受信器（431）は、符号化された映像と共に追加の（冗長な）データを受信し得る。追加のデータは、符号化された映像シーケンスの一部として含まれ得る。追加のデータは、データを適切に復号するために、及び／又は元の映像データをより正確に再構成するために、ビデオデコーダ（410）によって使用され得る。追加のデータは、たとえば、時間的、空間的、又は信号ノイズ比（SNR）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形式とすることができる。

図5は、本開示の一実施形態に係る、ビデオエンコーダ（503）のブロック図を示している。ビデオエンコーダ（503）は、電子デバイス（520）に含まれる。電子デバイス（520）は、送信器（540）（たとえば、送信回路）を含む。ビデオエンコーダ（503）は、図3の例におけるビデオエンコーダ（303）の場所に使用されることができる。

ビデオエンコーダ（503）は、ビデオエンコーダ（503）によって符号化されることになるビデオ画像をキャプチャし得る映像ソース（501）（図5の例では電子デバイス（520）の一部ではない）から映像サンプルを受信し得る。別の例では、映像ソース（501）は、電子デバイス（520）の一部である。

映像ソース（501）は、ビデオエンコーダ（503）によって符号化されることになるソース映像シーケンスを、任意の適切なビット深度（たとえば、8ビット、10ビット、12ビット、…）、任意の色空間（たとえば、BT.601 Y CrCB、RGB、…）、及び任意の適切なサンプリング構造（たとえば、Y CrCb 4：2：0、Y CrCb 4：4：4）とすることができる、デジタル映像サンプルストリームの形式で提供し得る。メディア供給システムでは、映像ソース（501）は、前に準備された映像を記憶するストレージデバイスであり得る。テレビ会議システムでは、映像ソース（501）は、ローカルの画像情報を映像シーケンスとしてキャプチャするカメラであり得る。映像データは、順番に見たときに動きを与える複数の個別ピクチャとして提供され得る。ピクチャ自体は、ピクセルの空間的配列として構造化され得、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、1又は複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明は、サンプルに重点を置く。

一実施形態によれば、ビデオエンコーダ（503）は、リアルタイムで、又はアプリケーションによって要求される任意の他の時間制約のもとで、ソース映像シーケンスのピクチャを、符号化された映像シーケンス（543）に符号化して圧縮し得る。適切な符号化速度を執行することは、コントローラ（550）の1つの機能である。いくつかの実施形態では、コントローラ（550）は、以下で説明されるように他の機能ユニットを制御し、他の機能ユニットに機能的に連結されている。明確にするために、連結は描かれていない。コントローラ（550）によって設定されるパラメータは、レート制御関連のパラメータ（ピクチャスキップ、量子化器、レート歪み最適化手法のラムダ値、…）、ピクチャサイズ、ピクチャグループ（group of picture：GOP）レイアウト、最大動きベクトル探索範囲、その他を含むことができる。コントローラ（550）は、ある特定のシステム設計に対して最適化されたビデオエンコーダ（503）に関連する他の適切な機能を有するように構成されることができる。

いくつかの実施形態では、ビデオエンコーダ（503）は、符号化ループで動作するように構成される。過度に単純化した説明として、一例では、符号化ループは、ソースコーダ（530）（たとえば、符号化されることになる入力ピクチャ及び参照ピクチャに基づいて、シンボルストリームなどのシンボルの作成を担う）、及びビデオエンコーダ（503）に埋め込まれた（ローカルの）デコーダ（533）を含むことができる。デコーダ（533）は、（シンボルと符号化された映像ビットストリームとの間のいかなる圧縮も、開示された主題事項において考慮される映像圧縮技術ではロスレスであるため、）（リモートの）デコーダも作成するのと同様の方法でサンプルデータを生成するためにシンボルを再構成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（534）に入力される。シンボルストリームの復号が、デコーダの位置（ローカルかリモートか）に関係なくビットイグザクト（bit-exact）な結果をもたらすため、参照ピクチャメモリ（534）内のコンテンツもローカルエンコーダとリモートエンコーダとの間でビットイグザクトである。言い換えると、エンコーダの予測部分は、参照ピクチャのサンプルとして、デコーダが復号中に予測を使用するときに「目にする」のとまったく同じサンプル値を「目にする」。この参照ピクチャの同期性の基本原理（及び、たとえばチャネルエラーのために同期性が維持されることができない場合に結果として生じるドリフト）は、いくつかの関連技術でも使用される。

「ローカルの」デコーダ（533）の動作は、ビデオデコーダ（410）などの「リモートの」デコーダの動作と同じとすることができ、これは、図4に関連して上記で既に詳細に説明されている。ただし、図4も簡単に参照して、シンボルが利用可能であり、エントロピコーダ（545）及び解析器（420）による、符号化された映像シーケンスへのシンボルの符号化／復号はロスレスとすることができるため、バッファメモリ（415）を含んでビデオデコーダ（410）のエントロピ復号部分、及び解析器（420）は、ローカルのデコーダ（533）において完全に実施されなくてもよい。

この時点で観察されることは、デコーダに存在する、解析／エントロピ復号以外のいかなるデコーダ技術も、実質的に同一の機能形式で、対応するエンコーダ内に必ず存在する必要があるということである。このため、開示される主題事項は、デコーダ動作に重点を置いている。エンコーダ技術の説明は、包括的に説明されるデコーダ技術の逆であるため、省略されることができる。ある特定の領域でのみ、より詳細な説明が必要とされ、以下に提供される。

動作中、いくつかの例では、ソースコーダ（530）は、「参照ピクチャ」として指定された映像シーケンスからの1又は複数の前に符号化されたピクチャを参照しながら入力ピクチャを予測的に符号化する、動き補償予測符号化を実行し得る。このようにして、符号化エンジン（532）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックと、の間の差分を符号化する。

ローカルのビデオデコーダ（533）は、ソースコーダ（530）によって生成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化された映像データを復号し得る。符号化エンジン（532）の動作は、好都合にロシープロセスであり得る。符号化された映像データがビデオデコーダ（図5には示されていない）で復号され得るとき、再構成された映像シーケンスは、通常、いくらかの誤差を伴ったソース映像シーケンスの複製であり得る。ローカルのビデオデコーダ（533）は、参照ピクチャに対してビデオデコーダによって実行され得る復号プロセスを複製し、再構成された参照ピクチャを参照ピクチャキャッシュ（534）に記憶させ得る。このようにして、ビデオエンコーダ（503）は、遠端のビデオデコーダによって得られるであろう再構成された参照ピクチャ（送信エラーなし）として、共通のコンテンツを有する再構成された参照ピクチャのコピーをローカルに記憶し得る。

予測器（535）は、符号化エンジン（532）のために予測探索を実行し得る。すなわち、符号化されることになる新しいピクチャについて、予測器（535）は、新しいピクチャについての適切な予測参照としての機能を果たし得る、サンプルデータ（候補の参照ピクセルブロックとして）、又は参照ピクチャ動きベクトル、ブロック形状などの、ある特定のメタデータを求めて、参照ピクチャメモリ（534）を探索し得る。予測器（535）は、適切な予測参照を見つけるために、ピクセルブロックごとのサンプルブロックのベースで、動作し得る。場合によっては、予測器（535）によって得られた探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（534）に記憶された複数の参照ピクチャから引き出された予測参照を有し得る。

コントローラ（550）は、たとえば、映像データを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（530）の符号化動作を管理し得る。

前述のすべての機能ユニットの出力は、エントロピコーダ（545）でエントロピ符号化を受け得る。エントロピコーダ（545）は、ハフマン符号化、可変長符号化、算術符号化その他などの技術に従ってシンボルをロスレス圧縮することによって、さまざまな機能ユニットによって生成されたとおりのシンボルを、符号化された映像シーケンスに変換する。

送信器（540）は、符号化された映像データを記憶するストレージデバイスへのハードウェア／ソフトウェアリンクであり得る通信チャネル（560）を介した送信の準備をするために、エントロピコーダ（545）によって生成された符号化された映像シーケンスをバッファリングし得る。送信器（540）は、映像コーダ（503）からの符号化された映像データを、送信されることになる他のデータ、たとえば符号化されたオーディオデータ及び／又は補助データストリーム（ソースは図示されていない）とマージし得る。

コントローラ（550）は、ビデオエンコーダ（503）の動作を管理し得る。符号化中、コントローラ（550）は、各符号化されたピクチャに、それぞれのピクチャに適用され得る符号化手法に影響し得るある特定の符号化されたピクチャタイプを割り当て得る。たとえば、多くの場合、ピクチャは次のピクチャタイプのいずれか1つとして割り当てられ得る。

イントラピクチャ（Iピクチャ）は、予測のソースとしてシーケンス内の他のいずれのピクチャも使用することなく、符号化及び復号され得るものである。いくつかのビデオコーデックは、たとえば、独立デコーダリフレッシュ（Independent Decoder Refresh：IDR）ピクチャを含む、異なったタイプのイントラピクチャを許している。当業者は、Iピクチャのそれらの変形及びそれらのそれぞれのアプリケーション及び特徴を知っている。

予測ピクチャ（Pピクチャ）は、各ブロックのサンプル値を予測するために最大で1つの動きベクトルと参照インデックスとを使用する、イントラ予測又はインタ予測を使用して符号化及び復号され得るものであり得る。

双方向予測ピクチャ（Bピクチャ）は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトルと参照インデックスとを使用する、イントラ予測又はインタ予測を使用して符号化及び復号され得るものであり得る。同様に、マルチ予測ピクチャは、単一のブロックの再構成のために2つを超える参照ピクチャと関連するメタデータとを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（たとえば、それぞれ4x4、8x8、4x8、又は16x16サンプルのブロック）に空間的に分割され得、ブロックごとのベースで符号化され得る。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割当てによって決定されるように、他の（既に符号化された）ブロックを参照しつつ予測的に符号化され得る。たとえば、Iピクチャのブロックは、非予測的に符号化され得るか、又はそれらは同じピクチャの既に符号化されたブロックを参照しつつ予測的に符号化され得る（空間予測又はイントラ予測）。Pピクチャのピクセルブロックは、1つの前に符号化された参照ピクチャを参照しつつ、空間予測を介して又は時間予測を介して予測的に符号化され得る。Bピクチャのブロックは、1つ又は2つの前に符号化された参照ピクチャを参照しつつ、空間予測を介して又は時間予測を介して予測的に符号化され得る。

ビデオエンコーダ（503）は、ITU-T Rec. H.265などの所定の映像符号化技術又は規格に従って符号化動作を実行し得る。その動作において、ビデオエンコーダ（503）は、入力映像シーケンス内の時間的及び空間的冗長性を利用する予測符号化動作を含む、さまざまな圧縮動作を実行し得る。したがって、符号化された映像データは、使用されている映像符号化技術又は規格において指定されたシンタックスに準拠し得る。

一実施形態では、送信器（540）は、符号化された映像と共に追加のデータを送信し得る。ソースコーダ（530）は、こうしたデータを、符号化された映像シーケンスの一部として含め得る。追加のデータは、時間／空間／SNR拡張レイヤ、冗長なピクチャ及びスライスなどの他の形式の冗長データ、SEIメッセージ、VUIパラメータセットの断片などを含み得る。

映像は、時間的に順次に、複数のソースピクチャ（映像ピクチャ）としてキャプチャされ得る。イントラピクチャ予測（イントラ予測と略されることが多い）は、所与のピクチャ内の空間的相関を利用し、インタピクチャ予測は、ピクチャ間の（時間的又はその他の）相関を利用する。一例では、現在ピクチャと称される、符号化／復号中のある具体的なピクチャがブロックに分割される。現在ピクチャ内のブロックが、前に符号化されてまだバッファリングされている、映像の参照ピクチャ内の参照ブロックに類似しているとき、現在ピクチャ内のブロックは、動きベクトルと称されるベクトルによって符号化されることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合、参照ピクチャを特定する第3の次元を有することができる。

いくつかの実施形態では、インタピクチャ予測において双予測手法が使用されることができる。双予測手法によれば、映像内で復号順序において現在ピクチャに対して両方とも前である（が、表示順序においてそれぞれ過去及び将来であり得る）第1の参照ピクチャ及び第2の参照ピクチャなどの2つの参照ピクチャが使用される。現在ピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指し示す第1の動きベクトル、及び第2の参照ピクチャ内の第2の参照ブロックを指し示す第2の動きベクトルによって符号化されることができる。ブロックは、第1の参照ブロックと第2の参照ブロックとの組合せによって予測されることができる。

さらに、符号化効率を改善するために、インタピクチャ予測においてマージモード手法が使用されることができる。

本開示のいくつかの実施形態によれば、インタピクチャ予測及びイントラピクチャ予測などの予測は、ブロックのユニットで実行される。たとえば、HEVC規格に従って、一連の映像ピクチャ内のピクチャは、圧縮のために符号化ツリーユニット（coding tree unit：CTU）に分割され、ピクチャ内のCTUは、64x64ピクセル、32x32ピクセル、又は16x16ピクセルなどの同じサイズを有する。一般に、CTUは、1つのルマCTBと2つのクロマCTBとである、3つの符号化ツリーブロック（CTB）を含む。各CTUは、1つ又は複数の符号化ユニット（CU）に再帰的に四分木分割されることができる。たとえば、64x64ピクセルのCTUは、64x64ピクセルの1つのCU、又は32x32ピクセルの4つのCU、又は16x16ピクセルの16個のCUに分割されることができる。一例では、各CUは、インタ予測タイプ又はイントラ予測タイプなど、CUについての予測タイプを決定するために解析される。CUは、時間的及び／又は空間的予測可能性に応じて、1又は複数の予測ユニット（PU）に分割される。一般に、各PUは、1つのルマ予測ブロック（PB）、及び2つのクロマPBを含む。一実施形態では、符号化（符号化／復号）における予測動作は、予測ブロックのユニットで実行される。ルマ予測ブロックを予測ブロックの例として使用すると、予測ブロックは、8x8ピクセル、16x16ピクセル、8x16ピクセル、16x8ピクセルなどのピクセルの値（たとえばルマ値）のマトリックスを含む。

図6は、本開示の別の実施形態に係るビデオエンコーダ（603）の図を示している。ビデオエンコーダ（603）は、一連の映像ピクチャ内の現在映像ピクチャ内のサンプル値の処理ブロック（たとえば、予測ブロック）を受信し、その処理ブロックを、符号化された映像シーケンスの一部である符号化されたピクチャに符号化する、ように構成される。一例では、ビデオエンコーダ（603）は、図3の例におけるビデオエンコーダ（303）の場所に使用される。

HEVCの例では、ビデオエンコーダ（603）は、8×8サンプルなどの予測ブロックなど、処理ブロックのサンプル値のマトリックスを受信する。ビデオエンコーダ（603）は、処理ブロックが、たとえばレート歪み最適化を使用して、イントラモードを使用して最良に符号化されるのか、インタモードを使用して最良に符号化されるのか、それとも双予測モードを使用して最良に符号化されるのかを決定する。処理ブロックがイントラモードで符号化されることになるとき、ビデオエンコーダ（603）は、イントラ予測手法を使用して、処理ブロックを、符号化されたピクチャに符号化し得、処理ブロックがインタモード又は双予測モードで符号化されることになるとき、ビデオエンコーダ（603）は、それぞれインタ予測又は双予測手法を使用して、処理ブロックを、符号化されたピクチャに符号化し得る。ある特定の映像符号化技術では、マージモードがインタピクチャ予測サブモードとされることができ、動きベクトルは、予測子の外部で、符号化された動きベクトルコンポーネントの恩恵なしに、1又は複数の動きベクトル予測子から導出される。ある特定の他の映像符号化技術では、対象ブロックに適用可能な動きベクトルコンポーネントが存在し得る。一例では、ビデオエンコーダ（603）は、処理ブロックのモードを決定するためのモード決定モジュール（図示されていない）などの他のコンポーネントを含む。

図6の例では、ビデオエンコーダ（603）は、図6に示されるように一緒に連結されたインタエンコーダ（630）、イントラエンコーダ（622）、残差計算器（623）、スイッチ（626）、残差エンコーダ（624）、統括コントローラ（621）、及びエントロピエンコーダ（625）を含む。

インタエンコーダ（630）は、現在ブロック（たとえば、処理ブロック）のサンプルを受信し、そのブロックを参照ピクチャ内の1又は複数の参照ブロック（たとえば、前のピクチャ及び後のピクチャ内のブロック）と比較し、インタ予測情報（たとえば、インタ符号化手法に従った冗長情報の記述、動きベクトル、マージモード情報）を生成し、任意の適切な手法を使用してインタ予測情報に基づいてインタ予測結果（たとえば予測ブロック）を計算する、ように構成される。いくつかの例では、参照ピクチャは、符号化された映像情報に基づいて復号される、復号された参照ピクチャである。

イントラエンコーダ（622）は、現在ブロック（たとえば、処理ブロック）のサンプルを受信し、場合によっては、そのブロックを同じピクチャ内で既に符号化されたブロックと比較し、量子化された変換後の係数、及び場合によっては、イントラ予測情報（たとえば、1又は複数のイントラ符号化手法に従ったイントラ予測方向情報）も、生成、するように構成される。一例では、イントラエンコーダ（622）は、同じピクチャ内のイントラ予測情報及び参照ブロックに基づいて、イントラ予測結果（たとえば、予測ブロック）も計算する。

統括コントローラ（621）は、統括制御データを決定し、統括制御データに基づいてビデオエンコーダ（603）の他のコンポーネントを制御、するように構成される。一例では、統括コントローラ（621）は、ブロックのモードを決定し、そのモードに基づいてスイッチ（626）に制御信号を提供する。たとえば、モードがイントラモードであるときには、統括コントローラ（621）は、残差計算器（623）による使用のためにイントラモードの結果を選択するようにスイッチ（626）を制御し、イントラ予測情報を選択してビットストリームにイントラ予測情報を含めるようにエントロピエンコーダ（625）を制御し、また、モードがインタモードであるときには、統括コントローラ（621）は、残差計算器（623）による使用のためにインタ予測結果を選択するようにスイッチ（626）を制御し、インタ予測情報を選択してビットストリームにインタ予測情報を含めるようにエントロピエンコーダ（625）を制御する。

残差計算器（623）は、受信されたブロックと、イントラエンコーダ（622）又はインタエンコーダ（630）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（624）は、変換係数を生成するために残差データを符号化するために、残差データに基づいて動作するように構成される。一例では、残差エンコーダ（624）は、残差データを周波数領域に変換し、変換係数を生成する、ように構成される。次いで、変換係数は、量子化された変換係数を得るために量子化処理を受ける。さまざまな実施形態では、ビデオエンコーダ（603）は、残差デコーダ（628）も含む。残差デコーダ（628）は、逆変換を実行し、復号された残差データを生成する、ように構成される。復号された残差データは、イントラエンコーダ（622）及びインタエンコーダ（630）によって適切に使用されることができる。たとえば、インタエンコーダ（630）は、復号された残差データ及びインタ予測情報に基づいて、復号されたブロックを生成することができ、イントラエンコーダ（622）は、復号された残差データ及びイントラ予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックは、復号されたピクチャを生成するために適切に処理され、いくつかの例では、復号されたピクチャは、メモリ回路（図示されていない）にバッファリングされることができ、参照ピクチャとして使用されることができる。

エントロピエンコーダ（625）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピエンコーダ（625）は、HEVC規格などの適切な規格に従ってさまざまな情報を含むように構成される。一例では、エントロピエンコーダ（625）は、統括制御データ、選択された予測情報（たとえば、イントラ予測情報又はインタ予測情報）、残差情報、及び他の適切な情報をビットストリーム内に含むように構成される。開示される主題事項によれば、インタモード又は双予測モードのいずれかのマージサブモードでブロックを符号化するとき、残差情報がないことに留意されたい。

図7は、本開示の別の実施形態に係るビデオデコーダ（710）の図を示している。ビデオデコーダ（710）は、符号化された映像シーケンスの一部である符号化されたピクチャを受信し、再構成されたピクチャを生成するためにその符号化されたピクチャを復号する、ように構成される。一例では、ビデオデコーダ（710）は、図3の例におけるビデオデコーダ（310）の場所に使用される。

図7の例では、ビデオデコーダ（710）は、図7に示されるように、一緒に連結された、エントロピデコーダ（771）、インタデコーダ（780）、残差デコーダ（773）、再構成モジュール（774）、及びイントラデコーダ（772）を含む。

エントロピデコーダ（771）は、符号化されたピクチャから、符号化されたピクチャが構成されているシンタックス要素を表すある特定のシンボルを再構成するように構成されることができる。こうしたシンボルは、たとえば、ブロックが符号化されるモード（たとえば、イントラモード、インタモード、双予測モード、マージサブモード又は別のサブモードにおける後者の2つなど）、イントラデコーダ（772）又はインタデコーダ（780）によってそれぞれ予測に使用されるある特定のサンプル又はメタデータを特定することができる予測情報（たとえば、イントラ予測情報又はインタ予測情報など）、たとえば、量子化された変換係数などの形式の残差情報などを含むことができる。一例では、予測モードがインタ予測モード又は双予測モードであるときには、インタ予測情報がインタデコーダ（780）に提供され、予測タイプがイントラ予測タイプであるときには、イントラ予測情報がイントラデコーダ（772）に提供される。残差情報は逆量子化を受けるものとすることができ、残差デコーダ（773）に提供される。

インタデコーダ（780）は、インタ予測情報を受信し、そのインタ予測情報に基づいてインタ予測結果を生成する、ように構成される。

イントラデコーダ（772）は、イントラ予測情報を受信し、そのイントラ予測情報に基づいて予測結果を生成する、ように構成される。

残差デコーダ（773）は、量子化解除された変換係数を抽出するために逆量子化を実行し、残差を周波数領域から空間領域に変換するために、その量子化解除された変換係数を処理する、ように構成される。残差デコーダ（773）は、（量子化器パラメータ（Quantizer Parameter：QP）を含むために）ある特定の制御情報も必要とし得、当該情報は、エントロピデコーダ（771）によって提供され得る（低ボリュームの制御情報のみであり得るため、データパスは描かれていない）。

再構成されたピクチャの一部となり得、次いでそれが、再構成された映像の一部となり得る、再構成されたブロックを形成するために、再構成モジュール（774）は、空間領域において、残差デコーダ（773）による出力としての残差と（場合に応じてインタ予測モジュール又はイントラ予測モジュールによる出力としての）予測結果とを組み合わせる。なお、視覚的品質を改善するために、デブロッキング演算などの他の適切な操作が実行されることができる。

なお、ビデオエンコーダ（303）、（503）、及び（603）、並びにビデオデコーダ（310）、（410）、及び（710）は、任意の適切な手法を使用して実施されることができる。一実施形態では、ビデオエンコーダ（303）、（503）、及び（603）、並びにビデオデコーダ（310）、（410）、及び（710）は、1又は複数の集積回路を使用して実施されることができる。別の実施形態では、ビデオエンコーダ（303）、（503）、及び（503）、並びにビデオデコーダ（310）、（410）、及び（710）は、ソフトウェア命令を実行する1又は複数のプロセッサを使用して実施されることができる。

本開示の態様は、インタピクチャ予測のための動きベクトル予測の空間候補リストを構築するための手法を提供する。

一般に、ブロックの動きベクトルは、差分を動きベクトル予測子にシグナリングする、明示的な方法（たとえば、高度動きベクトル予測又はAMVPモード）、又は、前に符号化又は生成された1つの動きベクトルから完全に示される、暗示的な方法、のいずれかで符号化されることができる。後者はマージモードと称され、現在ブロックがその動き情報を使用して、前に符号化されたブロックにマージされる。

AMVPモード及びマージモードの両方は、復号中に候補リストを構築する。

図8は、いくつかの例における空間的及び時間的候補の例を示している。

インタ予測におけるマージモードについて、候補リスト内のマージ候補は、現在ブロックの空間的又は時間的に隣接するブロックのいずれかからの動き情報をチェックすることによって主に形成される。図8の例では、候補ブロックA1、B1、B0、A0及びB2が順次チェックされる。候補ブロックのいずれかが有効な候補である、たとえば、動きベクトルで符号化されるとき、有効な候補ブロックの動き情報がマージ候補リストに追加されることができる。重複する候補がリストに再度入れられないことを確実にするために、何らかのプルーニング操作が実行される。候補ブロックA1、B1、B0、A0及びB2は、現在ブロックのコーナに隣接しており、コーナ候補と称される。

空間的候補の後、時間的候補もリストの中に入れられてチェックされる。いくつかの例では、指定された参照ピクチャ内に現在ブロックの同一位置ブロックが見つけられる。同一位置ブロックのC0位置（現在ブロックの右下コーナ）の動き情報が、時間的マージ候補として使用される。この位置のブロックがインタモードで符号化されていないか又は利用できない場合、代わりに（同一位置ブロックの中心の外側右下コーナの）C1位置が使用される。本開示は、マージモードをさらに改善するための手法を提供する。

HEVCにおける高度動きベクトル予測（AMVP）モードとは、予測残差がさらに符号化される一方で、現在ブロックの動き情報を予測するために、空間的及び時間的隣接ブロックの動き情報を使用することを指す。空間的及び時間的隣接候補の例も図8に示されている。

いくつかの実施形態では、AMVPモードでは、2候補の動きベクトル予測子リストが形成される。たとえば、リストは、第1の候補予測子及び第2の候補予測子を含む。第1の候補予測子は、空間的にA0位置、A1位置の順序で、左端からの最初の利用可能な動きベクトルからのものである。第2の候補予測子は、空間的にB0位置、B1位置、及びB2位置の順序で、上端から最初の利用可能な動きベクトルからのものである。左端又は上端のいずれについても、チェックされた位置から有効な動きベクトルが見つけられない場合、候補がリストに登録されない。2つの候補が利用可能で同じ場合、1つだけがリストに保持される。リストが（2つの異なる候補で）いっぱいでない場合、C0位置からの（スケーリング後の）時間的な同一位置動きベクトルが別の候補として使用される。C0位置の動き情報が利用可能でない場合、代わりに位置C1が使用される。

いくつかの例では、まだ十分な動きベクトル予測子候補がない場合、ゼロ動きベクトルがリストを埋めるために使用される。

本開示の態様によれば、現在ブロックに隣接している追加の候補ブロックが、チェックされ、及び候補リストに追加されることができる。いくつかの例では、大きなブロック又は長辺を有するブロックについて、ブロックの長辺に沿って、より多くの潜在的なマージ候補が利用可能であり得る。提案された手法は、利用可能であれば、追加の空間候補を候補リストに導出する。

いくつかの実施形態では、追加の空間マージ候補は、条件付で空間マージ候補リストに含められ得る。一例では、現在ブロックの高さがYピクセル以上であるとき、新たな候補は、現在ブロックの左端に隣接して中央に位置する1又は複数の候補を含むことができる。さらに、現在ブロックの幅がXピクセル以上であるとき、新たな候補は、現在ブロックの上端に隣接して中央に位置する1又は複数の候補を含むことができる。新たな候補はコーナ候補の間にあり、いくつかの例ではサイド候補と称される。

図9A及び図9Bは、本開示の一実施形態に係る、追加の空間マージ候補の例を示している。図9A及び図9Bでは、現在ブロックの幅はXピクセル以上で、ブロックの高さはYピクセル未満であり、B3などの追加の空間候補は、ブロックの上端上でチェックされ得る。追加の空間候補は、候補リストの順序において優先され得る。たとえば、空間マージ候補の順序は、｛B3，A1，B1，B0，A0，B2｝であり得る。

図10A及び図10Bは、本開示の一実施形態に係る、追加の空間マージ候補の例を示している。図10A及び図10Bでは、ブロックの高さはYピクセル以上で、ブロックの幅はXピクセル未満であり、A2などの追加の空間候補は、ブロックの左端上でチェックされ得る。追加の空間候補は、候補リストの順序において優先され得る。一例では、空間マージ候補の順序は、｛A2，A1，B1，B0，A0，B2｝であり得る。

図11は、本開示の一実施形態に係る、追加の空間マージ候補の例を示している。図11の例では、ブロックの高さはYピクセル以上で、ブロックの幅はXピクセル以上であり、A2及びB3などの追加の空間候補は、上端上及び左端上の両方でチェックされ得る。追加の空間候補は、候補リストの順序において優先され得る。一例では、空間マージ候補の順序は、｛A2，B3，B1，B0，A0，B2｝であり得る。

いくつかの実施形態では、X及びYは正の整数である。一例では、X＝Y＝16である。別の例では、XとYとは異なる数である。

いくつかの例では、各ピクセルの位置を記述するために、座標系が利用される。こうしたシステムでは、ブロックの左上コーナのピクセルは座標（0，0）を有する。現在ブロックの右下コーナのピクセルは座標（W−1，H−1）を有し、Wはブロックの幅を示し、Hはブロックの高さを示す。W_minはブロックの最小幅を示すものとし、H_minはブロックの最小高さを示すものとする。

上端に隣接する上中央の候補ブロック（図9A及び図9BでB3として示されている）は、現在ブロックの上端の中央点の左サイド（図9Bに示されるように）又は右サイド（図9Aに示されるように）のいずれかにあるとすることができる。一実施形態では、上中央の候補ブロックの左下ピクセルの位置は、座標（W／2，−1）にあり得る。別の実施形態では、上中央の候補ブロックの左下のピクセルの位置は、座標（W／2−1，−1）にあり得る。

左端に隣接する左中央の候補ブロック（図10A及び図10BでA2として示されている）は、現在ブロックの左端の中央点の上サイド（図10Aに示されるように）又は下サイド（図10Bに示されるように）のいずれかにあるとすることができる。一実施形態では、左中央の候補ブロックの右上のピクセルの位置は、座標（−1，H／2）にあり得る。別の実施形態では、左中央の候補ブロックの右上ピクセルの位置は、座標（−1，H／2−1）であり得る。

いくつかの実施形態では、マージ候補リストを形成するとき、位置A2及び／又はB3のマージ候補が最初に、すなわち他の空間候補の前にチェックされる。

一シナリオでは、A2及びB3の両方が候補リストに追加される必要があるとき、一例では、リスト上の空間マージ候補の順序は｛A2，B3，A1，B1，B0，A0，B2｝であり得、別の例では、リスト上の空間マージ候補の順序は、｛B3，A2，A1，B1，B0，A0，B2｝であり得る。前述の2つの例において、A2とB3と以外の空間候補が再順序付けされてもよい。

別のシナリオでは、現在の条件が、B3ではなくA2が候補リストに追加されることを可能にするとき、一例では、リスト上の空間マージ候補の順序は、｛A2，A1，B1，B0，A0，B2｝であり得る。この例において、A2以外の空間候補が再順序付けされてもよい。

別のシナリオでは、現在の条件が、A2ではなくB3が候補リストに追加されることを可能にするとき、一例では、リスト上の空間マージ候補の順序は、｛B3，A1，B1，B0，A0，B2｝であり得る。この例において、B3以外の空間候補が再順序付けされてもよい。

マージ候補リストを形成するプロセス中に、ある位置の候補が利用できない（インタモードで符号化されていない、又は存在しない）場合、その候補は候補リストに追加されない。導出された候補と同じか又は類似の動き情報を有する、構築されたリスト上の候補がある場合、冗長性を回避するために、導出された候補は候補リストに追加されない。

候補Aと候補Bとの間の動き情報の類似性を決定するためにさまざまな手法が使用されることができる。一実施形態では、候補A及び候補Bの動きベクトルが同じ参照ピクチャを指し示し、2つの候補についての動きベクトルのxコンポーネント及び／又はyコンポーネントの絶対差が、所与のしきい値以下であるとき、候補A及び候補Bの動きベクトルは類似している。一例では、しきい値は1整数ピクセルとすることができる。

別の実施形態では、候補A及び候補Bの動きベクトルは、異なる参照ピクチャを指し示すことができる。一例では、共通の参照ピクチャを指すように動きベクトルを調整するために、スケーリング操作が実行される。スケーリング操作後、2つの候補についての調整された動きベクトルのxコンポーネント及び／又はyコンポーネントの絶対差が所与のしきい値以下であるとき、候補A及び候補Bの動きベクトルは類似している。一例では、しきい値は1整数ピクセルとすることができる。

本開示のいくつかの態様によれば、現在ブロックのサイズがサイズしきい値よりも大きいとき、2つ以上のサイド候補が空間マージ候補リストに挿入されることができる。

いくつかの実施形態では、現在ブロックの高さHがYピクセル以上であるとき、現在ブロックの左端に隣接する複数の追加の空間マージ候補が追加され得、既存の候補A1から始まる。

図12は、本開示の一実施形態に係る、サイド候補を追加する例を示している。図12の例では、上向きにMピクセルごとに、新たな候補が追加される。Hは現在ブロックの高さを示し、Amjは左側のj番目（下から上に数えて）の追加の空間候補を示し、

とする。各候補ブロック（Amj）の代表的な位置は、その右上のピクセルの座標で表されることができ、それは、分割点の上サイド又は下サイド上のいずれかとすることができ、すなわち、
（−1，H−M×j＋H_min）又は（−1，H−M×j）
のいずれかとすることができる。

いくつかの実施形態では、現在ブロックの幅WがXピクセル以上であるとき、現在ブロックの上端に隣接する複数の追加の空間マージ候補が追加され得、既存の候補B1から始まる。

図13は、本開示の一実施形態に係る、サイド候補を追加する例を示している。図13の例では、左向きにNピクセルごとに、新たな候補が追加される。Wは現在ブロックの幅を示し、Bmkは現在ブロックの上端上のk番目（右から左に数えて）の追加の空間候補を示し、

とする。各候補ブロック（Bmk）の代表的な位置は、その右下のピクセルの座標で表されることができ、それは、分割点の左サイド又は右サイドのいずれかとすることができ、すなわち、
（W−N＊k−W_min，−1）又は（W−N＊k，−1）
のいずれかとすることができる。

いくつかの実施形態では、現在ブロックの高さHがYピクセル以上であり、現在ブロックの幅WがXピクセル以上であるとき、左サイド及び上サイドの両方について複数の追加の空間マージ候補が追加される。

図14は、本開示の一実施形態に係る、現在ブロックの左サイド及び上サイド両方からのサイド候補を追加する例を示している。

大きな幅又は高さを有するブロックについては、新たな追加の空間マージ候補の数は、HEVCで現在使用されているマージ候補の元の最大数より大幅に大きくなり得る。いくつかの例では、マージ候補の最大数は、利用可能な空間候補と時間的マージ候補との数に基づいて増加される。

一実施形態では、空間的及び時間的を含んで、現在ブロックについての合計の利用可能なマージ候補の数が、マージ候補の最大数として使用され得る。

別の実施形態では、現在ブロックの幅及び高さが、マージ候補の最大数を決定するために使用され得る。C_maxは候補の最大数を示し、Wはブロックの幅を示し、Hはブロックの高さを示すものとする。一例では、C_maxは式1によって定義される。

ここで、a、b、及びcは整数値である。一例では、a＝8、b＝8、c＝1である。a、b、cについて他の値が使用されてもよい。

別の例では、C_maxは式2によって定義される。

ここで、a、b、c、及びnは整数値である。一例では、a＝1、b＝1、c＝1、n＝2である。a、b、c、及びnについて他の値が使用されてもよい。

マージ候補リストを形成するプロセス中に、ある位置の候補が利用できない（インタモードで符号化されていない、又は存在しない）場合、その候補は候補リストに追加されない。導出された候補と同じか又は類似の動き情報を有する、構築されたリスト上の候補がある場合、冗長性を回避するために、導出された候補は候補リストに追加されない。

候補Aと候補Bとの間の動き情報の類似性を決定するためにさまざまな手法が使用されることができる。一実施形態では、候補A及び候補Bの動きベクトルが同じ参照ピクチャを指し示し、2つの候補についての動きベクトルのxコンポーネント及び／又はyコンポーネントの絶対差が、所与のしきい値以下であるとき、候補A及び候補Bの動きベクトルは類似している。一例では、しきい値は1整数ピクセルとすることができる。

別の実施形態では、候補A及び候補Bの動きベクトルは、異なる参照ピクチャを指し示すことができる。一例では、共通の参照ピクチャを指すように動きベクトルを調整するために、スケーリング操作が実行される。スケーリング操作後、2つの候補についての調整された動きベクトルのxコンポーネント及び／又はyコンポーネントの絶対差が所与のしきい値以下であるとき、候補A及び候補Bの動きベクトルは類似している。一例では、しきい値は1整数ピクセルとすることができる。

なお、候補リストに追加の空間候補を提供するための上記の開示された手法は、候補リストを使用する任意の適切なモードで使用されることができる。

本開示のいくつかの態様によれば、候補リストに追加の空間候補を提供するための手法は、動きベクトル予測の残差がビットストリーム内でシグナリングされるAMVPモードで使用されることができる。

一実施形態では、現在ブロックの高さがYピクセル以上であるとき、図10A及び図10Bに示されるように、現在ブロックの左端に隣接して中央に位置する空間候補A2は、適切にチェックされ、及び有効な場合は候補リストに追加されることができる。一例では、図10Aに示されるように、空間候補A2は、現在ブロックの左端に隣接して中央点の上に位置する。別の例では、図10Bに示されるように、空間候補A2は、現在ブロックの左端に隣接して中央点の下に位置する。

別の実施形態では、現在ブロックの幅がXピクセル以上であるとき、図9A及び図9Bに示されるように、現在ブロックの上端に隣接して中央に位置する空間候補B3は、適切にチェックされ、及び有効な場合は候補リストに追加されることができる。一例では、図9Bに示されるように、空間候補B3は、現在ブロックの上端に隣接して中央点の左サイドに位置する。別の例では、図9Aに示されるように、空間候補B3は、現在ブロックの上端に隣接して中央点の右サイドに位置する。

上記の説明では、X及びYは整数である。一例では、X＝Y＝16である。別の例では、X及びYは異なる数であり得る。

なお、AMVPモードでは、スケーリングなしの動きベクトル予測子が最初にチェックされることができ、有効な候補がない場合、スケーリングされた動きベクトル予測子がチェックされることができる。一実施形態では、現在ブロックの幅はXピクセル以上で、現在ブロックの高さはYピクセル未満であり、追加の空間的AMVP候補は、ブロックの上端上でのみチェックされ得る。一例では、現在ブロックの上サイドにつてのAMVP候補のチェック順序は、｛B3，B0，B1，B2，スケーリングされたB3，スケーリングされたB0，スケーリングされたB1，スケーリングされたB2｝であり得る。

別の実施形態では、現在ブロックの高さはYピクセル以上で、現在ブロックの幅はXピクセル未満であり、追加の空間的AMVP候補は、ブロックの左端上でのみチェックされ得る。現在ブロックの左サイドにつてのAMVP候補のチェック順序は、｛A2，A0，A1，スケーリングされたA2，スケーリングされたA0，スケーリングされたA1｝であり得る。

別の実施形態では、現在ブロックの高さはYピクセル以上で、現在ブロックの幅はXピクセル以上であり、追加の空間的AMVP候補は、上端上及び左端上の両方でチェックされ得る。

各サイドについて、空間スケーリングを使用することが必要とされない3つのケース、及び空間スケーリングが使用される3つのケースを伴って、動きベクトル候補として使用されることができる最大6つのケースが存在し得る。たとえば、A2が現在ブロックの左端上で利用可能であるとき、現在ブロックの左サイドについてのAMVP候補のチェック順序は、｛A2，A0，A1，スケーリングされたA2，スケーリングされたA0，スケーリングされたA1｝であり得る。別の例では、B3が利用可能であるとき、現在ブロックの上サイドにつてのAMVP候補のチェック順序は、｛B3，B0，B1，B2，スケーリングされたB3，スケーリングされたB0，スケーリングされたB1，スケーリングされたB2｝であり得る。

新たな空間候補がAMVPモードについての動きベクトル予測子リストに追加されたとき、最終的なMV予測子候補を形成するためにさまざまな手法が使用されることができる。

一実施形態では、左端からの候補のうちの1つが第1のMV予測子となり、一方、上端からの候補のうちの1つが第2のMV予測子となる。事前定義されたチェック順序を使用して、端の第1の利用可能な候補が選択される。一例では、左端についてのチェック順序は、下から上への方向に沿って、A0、A1、A2、…であり、上端についてのチェック順序は、右から左の方向に沿って、B0、B1、B3、B2、…である。別の例では、左端についてのチェック順序は、下から上への方向に沿ってではあるが中央の候補を最初に配置して、A2、A0、A1、…であり、上端についてのチェック順序は、右から左の方向に沿ってではあるが中央の候補を最初に配置して、B3、B0、B1、B2、…である。

別の実施形態では、上端及び左端の両方からのいくつかの候補がリストを形成する。リスト内の最初のN個の利用可能な候補が、現在ブロックについてのMV予測子として選択される。Nは正の整数である。一実施形態では2に設定される。他の数にも設定されることができる。上端及び左端の両方のチェック順序は事前定義されており、異なったバリエーションを有することができる。一例では、リストのチェック順序は、｛B3，A2，A1，B1，B0，A0，B2｝とすることができる。別の例では、リストのチェック順序は、｛A2，B3，A1，B1，B0，A0，B2｝とすることができる。別の例では、リストのチェック順序は、｛B3，A2，B1，A1，B0，A0，B2｝とすることができる。別の例では、リストのチェック順序は、｛A2，B3，B1，A1，B0，A0，B2｝とすることができる。上記の例では、左端又は上端いずれかの長さが要件を満たさない場合、候補（A2又はB3）はリストに追加されない。さらに、上記の例では、A2とB3と以外の空間候補のチェック順序が並べ換えられることができる。

図15は、本開示の一実施形態に係る、プロセス（1500）を概説するフローチャートを示している。プロセス（1500）は、イントラモードで符号化されたブロックの再構成に使用されることができ、そのため、再構成中のブロックについての予測ブロックを生成するために使用されることができる。さまざまな実施形態では、プロセス（1500）は、端末デバイス（210）、（220）、（230）、及び（240）内の処理回路、ビデオエンコーダ（303）の機能を実行する処理回路、ビデオデコーダ（310）の機能を実行する処理回路、ビデオデコーダ（410）の機能を実行する処理回路、イントラ予測モジュール（452）の機能を実行する処理回路、ビデオエンコーダ（503）の機能を実行する処理回路、予測器（535）の機能を実行する処理回路、イントラエンコーダ（622）の機能を実行する処理回路、イントラデコーダ（772）の機能を実行する処理回路、などの処理回路によって実行される。いくつかの実施形態では、プロセス（1500）はソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行したとき、処理回路がプロセス（1500）を実行する。プロセスは（S1501）で開始し、（S1510）に進む。

（S1510）において、ブロックの予測情報が、符号化された映像ビットストリームから復号される。予測情報は、候補リストに基づく、マージモード、AMVPモードなどの予測モードを示す。

（S1520）において、予測モードに応じて候補リストが構築される。候補リストは、コーナ候補間でかつブロックの左端に隣接する、コーナ候補間でかつブロックの上端に隣接する、など、ブロックに隣接する位置に位置する少なくとも1つのサイド候補を含む。

（S1530）において、ブロックのサンプルが、サイド候補の動き情報に従って再構成される。次いで、プロセスは（S1599）に進み、終了する。

上記の手法は、コンピュータ可読命令を使用し、1又は複数のコンピュータ可読媒体に物理的に記憶される、コンピュータソフトウェアとして実施されることができる。たとえば、図16は、開示された主題事項のある特定の実施形態を実施するのに適したコンピュータシステム（1600）を示している。

コンピュータソフトウェアは、直接、又はインタプリテーション、マイクロコードの実行などを通じて、1又は複数のコンピュータ中央処理ユニット（central processing unit：CPU）、グラフィック処理ユニット（Graphics Processing Unit：GPU）などによって実行されることができる命令を含むコードを生成するために、アセンブリ、コンパイル、リンク、又は同様のメカニズムの対象となり得る、任意の適切なマシンコード又はコンピュータ言語を使用して符号化されることができる。

命令は、たとえば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーミングデバイス、モノのインターネットデバイスなどを含む、さまざまなタイプのコンピュータ又はそのコンポーネント上で実行されることができる。

コンピュータシステム（1600）について図16に示されるコンポーネントは、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用又は機能性の範囲に関していかなる限定も示唆することを意図するものではない。また、コンポーネントの構成も、コンピュータシステム（1600）の例示的な実施形態に示されているコンポーネントのいずれの1つ又は組合せに関するいかなる依存性又は要件も有するものとして解釈されるべきではない。

コンピュータシステム（1600）は、ある特定のヒューマンインタフェース入力デバイスを含み得る。こうしたヒューマンインタフェース入力デバイスは、たとえば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（描かれていない）、を通じた1又は複数の人間のユーザによる入力に応答し得る。ヒューマン・インタフェース・デバイスは、オーディオ（スピーチ、音楽、周囲音など）、画像（スキャンされた画像、静止画カメラから得られた写真画像など）、映像（2次元映像、立体映像を含む3次元映像など）など、人間による意識的な入力に必ずしも直接関係しないある特定のメディアをキャプチャするためにも使用されることができる。

入力ヒューマン・インタフェース・デバイスは、（それぞれの1つだけが描かれている）キーボード（1601）、マウス（1602）、トラックパッド（1603）、タッチスクリーン（1610）、データグローブ（示されていない）、ジョイスティック（1605）、マイク（1606）、スキャナ（1607）、カメラ（1608）のうちの1又は複数を含み得る。

コンピュータシステム（1600）は、ある特定のヒューマンインタフェース出力デバイスも含み得る。こうしたヒューマンインタフェース出力デバイスは、たとえば、触覚出力、音、光、及びにおい／味を通じて、1又は複数の人間のユーザの感覚を刺激しているものとし得る。こうしたヒューマンインタフェース出力デバイスは、触覚出力デバイス（たとえば、タッチスクリーン（1610）、データグローブ（示されていない）、又はジョイスティック（1605）による触覚フィードバックであるが、入力デバイスとしての機能を果たさない触覚フィードバックデバイスも存在することができる）、オーディオ出力デバイス（スピーカ（1609）、ヘッドホン（描かれていない）など）、視覚出力デバイス（CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン（1610）などであって、それぞれタッチスクリーン入力機能を有するか又は有さず、それぞれ触覚フィードバック機能を有するか又は有さず、いくつかは2次元視覚出力を、又は立体出力などの手段、すなわち、バーチャル・リアリティ・グラス（描かれていない）、ホログラフィックディスプレイ及びスモークタンク（描かれていない）、を通じて、3次元を超える出力を、出力することが可能であり得る）、及びプリンタ（描かれていない）を含み得る。

コンピュータシステム（1600）は、CD／DVD又は類似の媒体を伴ったCD／DVD ROM／RW（1620）を含む光学媒体（1621）、サムドライブ（1622）、リムーバブル・ハード・ドライブ又はソリッド・ステート・ドライブ（1623）、テープ及びフロッピー（登録商標）ディスク（描かれていない）などのレガシー磁気媒体、セキュリティドングル（描かれていない）などの専用のROM／ASIC／PLDベースのデバイス、などの、人間がアクセス可能なストレージデバイス及びそれらの関連媒体も含むことができる。

当業者は、本開示の主題事項に関連して使用される用語「コンピュータ可読媒体」は、送信媒体、搬送波、又は他の一時的な信号を包含しないことも理解するべきである。

コンピュータシステム（1600）は、1又は複数の通信ネットワークへのインタフェースも含むことができる。ネットワークは、たとえば、無線、有線、光とすることができる。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両及び産業、リアルタイム、遅延耐性などとすることができる。ネットワークの例は、イーサネットと、無線LANと、GSM（登録商標）、3G、4G、5G、LTEなどを含むセルラネットワークと、ケーブルテレビ、衛星テレビ、及び地上波放送テレビを含むテレビ有線又は無線ワイド・エリア・デジタル・ネットワークと、CANBusを含む車両用及び産業用と、その他いろいろと、などのローカル・エリア・ネットワークを含む。ある特定のネットワークは、一般に、ある特定の汎用データポート又は周辺バス（1649）（たとえば、コンピュータシステム（1600）のUSBポートなど）に取り付けられた外部ネットワーク・インタフェース・アダプタを必要とし、他のものは一般に、以下に説明するようにシステムバスへの取付けによって、コンピュータシステム（1600）のコアに統合される（たとえば、イーサネットインタフェースがPCコンピュータシステムへ、又はセルラ・ネットワーク・インタフェースがスマートフォン・コンピュータ・システムへ）。これらのネットワークのいずれかを使用して、コンピュータシステム（1600）は他のエンティティと通信することができる。こうした通信は、一方向で、受信のみ（たとえば、放送テレビ）、一方向送信のみ（たとえば、ある特定のCANbusデバイスに対するCANbus）、又は双方向、たとえば、ローカル又はワイド・エリア・デジタル・ネットワークを使用して他のコンピュータシステムに対して、とすることができる。ある特定のプロトコル及びプロトコルスタックが、上記のような、これらのネットワークとネットワークインタフェースとのそれぞれで使用されることができる。

前述のヒューマン・インタフェース・デバイス、人間がアクセス可能なストレージデバイス、及びネットワークインタフェースが、コンピュータシステム（1600）のコア（1640）に取り付けられることができる。

コア（1640）は、1又は複数の、中央処理ユニット（Central Processing Unit：CPU）（1641）、グラフィック処理ユニット（Graphics Processing Unit：GPU）（1642）、フィールド・プログラマブル・ゲート領域（Field Programmable Gate Area：FPGA）（1643）の形式の特殊なプログラマブル処理ユニット、ある特定のタスク用のハードウェアアクセラレータ（1644）、などを含むことができる。これらのデバイスは、リード・オンリ・メモリ（Read-only memory：ROM）（1645）、ランダム・アクセス・メモリ（1646）、ユーザがアクセス可能でない内部ハードドライブ、SSDなどの内部マスストレージ（1647）と共に、システムバス（1648）を介して接続され得る。いくつかのコンピュータシステムでは、追加のCPU、GPUなどによる拡張を可能にするために、システムバス（1648）は1又は複数の物理的プラグの形式でアクセス可能とすることができる。周辺デバイスは、コアのシステムバス（1648）に直接、又は周辺バス（1649）を介してのいずれかで取り付けられることができる。周辺バスについてのアーキテクチャは、PCI、USBなどを含む。

CPU（1641）、GPU（1642）、FPGA（1643）、及びアクセラレータ（1644）は、組み合わせて、前述のコンピュータコードを構成することができるある特定の命令を実行することができる。当該のコンピュータコードは、ROM（1645）又はRAM（1646）に記憶されることができる。並進移動データもRAM（1646）に記憶されることができるが、永続データは、たとえば内部マスストレージ（1647）に記憶されることができる。1又は複数のCPU（1641）、GPU（1642）、マスストレージ（1647）、ROM（1645）、RAM（1646）などと密接に関連付けられることができるキャッシュメモリの使用を通じて、メモリデバイスのいずれへの高速ストレージ及び取り出しも可能とされることができる。

コンピュータ可読媒体は、さまざまなコンピュータ実施動作を実行するためにコンピュータコードをその上に有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものとすることができるか、又はそれらは、コンピュータソフトウェア技術の当業者に広く知られており利用可能な種類のものとすることができる。

限定の目的ではなく例として、アーキテクチャを有するコンピュータシステム（1600）、及び具体的にはコア（1640）は、1又は複数の有形のコンピュータ可読媒体で具現化されたソフトウェアを実行するプロセッサ（CPU、GPU、FPGA、アクセラレータなどを含む）の結果として機能性を提供することができる。こうしたコンピュータ可読媒体は、上で紹介されたユーザがアクセス可能なマスストレージ、及びコア内部マスストレージ（1647）又はROM（1645）などの、非一時的な性質のコア（1640）の、ある特定のストレージ、と関連付けられた媒体とすることができる。本開示のさまざまな実施形態を実施するソフトウェアは、こうしたデバイスに記憶され、コア（1640）によって実行されることができる。コンピュータ可読媒体は、特定のニーズに従って、1又は複数のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（1640）及び具体的にはその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM（1646）に記憶されているデータ構造を定義すること、及びこうしたデータ構造を、ソフトウェアによって定義されたプロセスに従って変更することを含む、本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分、を実行させることができる。追加的に又は代替として、コンピュータシステムは、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに、又はソフトウェアと一緒に動作することができる、ハードワイヤードか又はそうでない場合は回路内で具現化されたロジック（たとえば、アクセラレータ（1644））の結果として、機能性を提供することができる。ソフトウェアへの言及は、適切な場合、ロジックを包含しているとすることができ、その逆も同様である。コンピュータ可読媒体への言及は、適切な場合、実行のためのソフトウェアを記憶する回路（集積回路（IC）など）、実行のためのロジックを具現化する回路、又はその両方を包含しているとすることができる。本開示は、ハードウェアとソフトウェアとの任意の適切な組合せを包含する。

付録A：頭字語
JEM：共同探索モデル
VVC：多目的ビデオ符号化
BMS：ベンチマークセット
MV：動きベクトル
HEVC：高効率ビデオ符号化
SEI：付加拡張情報
VUI：映像ユーザビリティ情報
GOP：ピクチャグループ
TU：変換ユニット、
PU：予測ユニット
CTU：符号化ツリーユニット
CTB：符号化ツリーブロック
PB：予測ブロック
HRD：仮想参照デコーダ
SNR：信号ノイズ比
CPU：中央処理ユニット
GPU：グラフィック処理ユニット
CRT：陰極線管
LCD：液晶ディスプレイ
OLED：有機発光ダイオード
CD：コンパクトディスク
DVD：デジタルビデオディスク
ROM：リード・オンリ・メモリ
RAM：ランダム・アクセス・メモリ
ASIC：特定用途向け集積回路
PLD：プログラマブル・ロジック・デバイス
LAN：ローカル・エリア・ネットワーク
GSM：グローバル・システム・フォー・モバイル・コミュニケーションズ
LTE：ロング・ターム・エボリューション
CANBus：コントローラ・エリア・ネットワーク・バス
USB：ユニバーサル・シリアル・バス
PCI：ペリフェラル・コンポーネント・インターコネクト
FPGA：フィールド・プログラマブル・ゲート領域
SSD：ソリッド・ステート・ドライブ
IC：集積回路
CU：符号化ユニット

本開示はいくつかの例示的な実施形態を説明しているが、本開示の範囲内になる変更、置換、及びさまざまな代替等価物が存在する。したがって、本明細書では明示的に示されていないか又は説明されていないが、本開示の原理を具現化し、したがってその精神及び範囲内にある多数のシステム及び方法を当業者が考案することができることが理解されよう。

101 現在ブロック
102 サンプル
103 サンプル
104 サンプル
105 サンプル
106 サンプル
200 通信システム
210 端末デバイス
220 端末デバイス
230 端末デバイス
240 端末デバイス
250 通信ネットワーク
300 通信システム
301 映像ソース
302 映像ピクチャのストリーム
303 ビデオエンコーダ
304 符号化された映像データ、符号化された映像ビットストリーム
305 ストリーミングサーバ
306 クライアントサブシステム
307 符号化された映像データのコピー
308 クライアントサブシステム
309 符号化された映像データのコピー
310 ビデオデコーダ
311 映像ピクチャのストリーム
312 ディスプレイ
313 キャプチャサブシステム
320 電子デバイス
330 電子デバイス
401 チャネル
410 ビデオデコーダ
412 レンダリングデバイス
415 バッファメモリ
420 エントロピデコーダ／解析器
421 シンボル
430 電子デバイス
431 受信器
451 スケーラ／逆変換ユニット
452 イントラピクチャ予測ユニット
453 動き補償予測ユニット
455 アグリゲータ
456 ループフィルタユニット
457 参照ピクチャメモリ
458 現在ピクチャバッファ
501 映像ソース
503 ビデオエンコーダ
520 電子デバイス
530 ソースコーダ
532 符号化エンジン
533 ローカルのビデオデコーダ
534 参照ピクチャメモリ、参照ピクチャキャッシュ
535 予測器
540 送信器
543 符号化された映像シーケンス
545 エントロピコーダ
550 コントローラ
560 通信チャネル
603 ビデオエンコーダ
621 統括コントローラ
622 イントラエンコーダ
623 残差計算器
624 残差エンコーダ
625 エントロピエンコーダ
626 スイッチ
628 残差デコーダ
630 インタエンコーダ
710 ビデオデコーダ
771 エントロピデコーダ
772 イントラデコーダ
773 残差デコーダ
774 再構成モジュール
780 インタデコーダ
1500 プロセス
1600 コンピュータシステム
1601 キーボード
1602 マウス
1603 トラックパッド
1605 ジョイスティック
1606 マイク
1607 スキャナ
1608 カメラ
1609 スピーカ
1610 タッチスクリーン
1620 CD／DVD ROM／RW
1621 光学媒体
1622 サムドライブ
1623 ソリッド・ステート・ドライブ
1640 コア
1641 中央処理ユニット（CPU）
1642 グラフィック処理ユニット（GPU）
1643 フィールド・プログラマブル・ゲート領域（FPGA）
1644 ある特定のタスク用のハードウェアアクセラレータ
1645 リード・オンリ・メモリ（ROM）
1646 ランダム・アクセス・メモリ（RAM）
1647 内部マスストレージ
1648 システムバス
1649 周辺バス

Claims (12)

1. 映像復号のための方法であって、
   符号化された映像ビットストリームからブロックの予測情報を復号するステップであって、前記予測情報は候補リストに基づく予測モードを示す、ステップと、
   前記予測モードに応じて、前記ブロックの2つのコーナ位置の間の、前記ブロックに隣接する位置に位置する少なくとも1つのサイド候補を含む前記候補リストを構築するステップと、
   前記サイド候補の動き情報に従って前記ブロックの少なくとも1つのサンプルを再構成するステップと、
   を含む方法。
2. 前記予測モードは、マージモード及び高度動きベクトル予測（advanced motion vector prediction：AMVP）モードのうちの1つである、請求項1に記載の方法。
3. 前記予測モードに応じて、前記ブロックの高さが高さしきい値よりも大きいときは、前記ブロックに隣接して左サイドの中央位置に位置している左サイド候補を含む前記候補リストを構築するステップ
   をさらに含む、請求項1に記載の方法。
4. 前記予測モードに応じて、前記ブロックの幅が幅しきい値よりも大きいときは、前記ブロックに隣接して上サイドの中央位置に位置している上サイド候補を含む前記候補リストを構築するステップ
   をさらに含む、請求項1に記載の方法。
5. 前記予測モードに応じて、前記ブロックの高さが高さしきい値よりも大きいときは、前記ブロックに隣接して左端に等間隔に配置された複数の左サイド候補を含む前記候補リストを構築するステップ
   をさらに含む、請求項1に記載の方法。
6. 前記予測モードに応じて、前記ブロックの幅が幅しきい値よりも大きいときは、前記ブロックに隣接して上端に等間隔に配置された複数の上サイド候補を含む前記候補リストを構築するステップ
   をさらに含む、請求項1に記載の方法。
7. 前記候補リスト内のコーナ候補の前に前記サイド候補を優先させるステップ
   をさらに含む、請求項1に記載の方法。
8. 前記候補リスト内の上サイド候補の前に左サイド候補を優先させるステップ
   をさらに含む、請求項1に記載の方法。
9. 前記予測モードが高度動きベクトル予測（advanced motion vector prediction：AMVP）モードであるときは、前記上サイド候補の前に前記左サイド候補を優先させるステップ
   をさらに含む、請求項8に記載の方法。
10. 前記候補リスト内の左サイド候補の前に上サイド候補を優先させるステップ
    をさらに含む、請求項1に記載の方法。
11. 請求項1乃至10の何れか一項に記載の方法の各ステップを実行するように構成された処理回路を含む装置。
12. コンピュータに請求項1乃至10の何れか一項に記載の方法を実行させるコンピュータプログラム。

Images