[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7545331B2 - ビデオ符号化及び復号化の動き補償 - Google Patents

ビデオ符号化及び復号化の動き補償 Download PDF

Info

Publication number
JP7545331B2
JP7545331B2 JP2020561924A JP2020561924A JP7545331B2 JP 7545331 B2 JP7545331 B2 JP 7545331B2 JP 2020561924 A JP2020561924 A JP 2020561924A JP 2020561924 A JP2020561924 A JP 2020561924A JP 7545331 B2 JP7545331 B2 JP 7545331B2
Authority
JP
Japan
Prior art keywords
sub
blocks
motion
video information
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020561924A
Other languages
English (en)
Other versions
JP2021523604A (ja
JPWO2019217383A5 (ja
Inventor
チェン，ヤ
ギャルピン，フランク
ポワリエ，タンギ
Original Assignee
インターデジタル ヴイシー ホールディングス， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス， インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス， インコーポレイテッド
Publication of JP2021523604A publication Critical patent/JP2021523604A/ja
Publication of JPWO2019217383A5 publication Critical patent/JPWO2019217383A5/ja
Application granted granted Critical
Publication of JP7545331B2 publication Critical patent/JP7545331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

技術分野
[1] 本開示はビデオ符号化及び復号化を含む。
背景
[2] 高圧縮効率を達成するために、ＨＥＶＣ（高効率ビデオ符号化）規格により定義される等の画像及びビデオ符号化方式は通常、予測及び変換符号化を採用して、ビデオコンテンツにおける空間的及び時間的冗長性を利用する。一般に、フレーム内又はフレーム間相関の利用にイントラ予測又はインター予測が使用され、予測誤差又は予測残差と記される元のブロックと予測ブロックとの間の差分は多くの場合、変換、量子化、及びエントロピー符号化される。ビデオを再構築するために、圧縮されたデータは、予測、変換、量子化、及びエントロピー符号化に対応する反転プロセスにより復号化される。ビデオ圧縮技術への近年の追加は、ジョイントビデオ探索チーム（ＪＶＥＴ：Joint Video Exploration Team）により開発されているジョイント探索モデル（ＪＥＭ：Joint Exploration Model）のリファレンスソフトウェア及び／又はドキュメンテーションの種々のバージョンを含む。ＪＥＭ等の努力目的は、ＨＥＶＣ等の既存の規格に対して更なる改善を行うことである。
概要
[3] 一般に、方法又は例えば、１つ又は複数のプロセッサを含む装置の実施形態の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる複数の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含む複数のサブブロックを有する符号化単位を含み、複数の動きベクトルは、サブブロックの第１行目に含まれる各サブブロック及びサブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた動きベクトルの群を含み、少なくとも１つのモデルパラメータを決定することは、動きベクトルの群に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[4] 方法又は例えば、１つ又は複数のプロセッサを含む装置の実施形態の別の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含む複数のサブブロックを有する符号化単位を含み、動き補償情報は、サブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた第１の組の動きベクトルと、サブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた第２の組の動きベクトルとを含み、局所照明補償モデルを取得することは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、少なくとも１つのモデルパラメータを決定することは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[5] 方法又は例えば、１つ又は複数のプロセッサを含む装置の実施形態の別の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、ビデオ情報は、複数のサブブロックを有する符号化単位を含み、第１の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第１のサブブロックが関連付けられ、少なくとも１つのモデルパラメータを決定することは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[6] 方法又は例えば、１つ又は複数のプロセッサを含む装置の実施形態の別の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、第１の動きベクトルには符号化単位の中心が関連付けられ、少なくとも１つのモデルパラメータを決定することは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[7] 方法又は例えば、１つ又は複数のプロセッサを含む装置の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、複数の動きベクトルの少なくとも１つに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、符号化単位に含まれる複数のサブブロックは、サブブロックの第１行目及びサブブロックの第１列目を含み、複数の動きベクトルは、サブブロックの第１行目に含まれる各サブブロック及びサブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた動きベクトルの群を含み、少なくとも１つのモデルパラメータを決定することは、動きベクトルの群に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[8] 方法又は例えば、１つ又は複数のプロセッサを含む装置の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、符号化単位に含まれる複数のサブブロックは、サブブロックの第１行目及びサブブロックの第１列目を含み、動き補償情報は、サブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた第１の組の動きベクトルと、サブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた第２の組の動きベクトルとを含み、局所照明補償モデルを取得することは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、少なくとも１つのモデルパラメータを決定することは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[9] 方法又は例えば、１つ又は複数のプロセッサを含む装置の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、
第１の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第１のサブブロックが関連付けられ、少なくとも１つのモデルパラメータを決定することは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[10] 方法又は例えば、１つ又は複数のプロセッサを含む装置の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、第１の動きベクトルには、符号化単位の中心が関連付けられ、少なくとも１つのモデルパラメータを決定することは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[11] 一般に、実施形態は、ビデオ情報を符号化する方法であって、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含む方法を含むことができる。
[12] 一般に、別の実施形態は、１つ又は複数のプロセッサを備えた、ビデオ情報を符号化する装置であって、１つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成される装置を含むことができる。
[13] 一般に、別の実施形態は、ビデオ情報を復号化する方法であって、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を復号化することとを含む方法を含むことができる。
[14] 一般に、別の実施形態は、１つ又は複数のプロセッサを備えた、ビデオ情報を復号化する装置であって、１つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成される装置を含むことができる。
[15] 一般に、別の実施形態は、符号化ビデオ情報を含むようにフォーマットされたビットストリームを含むことができ、符号化ビデオデータは、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成し、局所照明補償モデルを取得し、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することにより符号化される。
[16] 一般に、１つ又は複数の実施形態は、本明細書に記載される方法又は装置によりビデオデータを符号化又は復号化する命令を記憶したコンピュータ可読記憶媒体、例えば不揮発性コンピュータ可読記憶媒体を提供することもできる。本実施形態の１つ又は複数は、本明細書に記載される方法又は装置により生成されたビットストリームを記憶したコンピュータ可読記憶媒体を提供することもできる。本実施形態の１つ又は複数は、本明細書に記載される方法又は装置により生成されたビットストリームを送信又は受診する方法及び装置を提供することもできる。
図面の簡単な説明
[17] 本開示は、添付図と共に以下の詳細な説明を考慮することにより、よりよく理解し得る。
[18]ビデオエンコーダの実施形態の例のブロック図を示す。 [19]ビデオデコーダの実施形態の例のブロック図を示す。 [20]ビデオ符号化及び／又は復号化を提供するシステムの実施形態の例のブロック図を示す。 [21]例えば、ＨＥＶＣ等における符号化ツリーユニット（ＣＴＵ）の符号化単位（ＣＵ）、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）への分割の例を示す。 [22]ジョイント探索モデル（ＪＥＭ）において使用される等のアフィン動きモデルの例を示す。 [23]４×４サブＣＵベースのアフィン動きベクトル場の例を示す。 [24]アフィンＡＭＶＰ ＣＵの動きベクトル（ＭＶ）予測プロセスの例を示す。 [25]アフィン統合モードにおける動きベクトル予測候補の例を示す。 [26]アフィン統合モードにおけるアフィン動き場制御ポイントの空間導出を示す。 [27]局所照明補償（ＬＩＣ）モデルに関連付けられたパラメータを導出する近傍サンプルの使用例を示す。 [28]双方向予測モデルにおけるＬＩＣモデルのパラメータの導出例を示す。 [29]サブブロックに関連付けられた動きベクトルに基づいて現在の符号化単位のサブブロックに対応する基準ピクチャのブロックの周囲に異なるＬ字形で配置された近傍サンプルの例を示す。 [30]ビデオエンコーダの一部の実施形態の例を示す。 [31]ビデオエンコーダの一部の別の実施形態の例を示す。 [32]サブブロックに関連付けられた動きベクトルに基づいて現在の符号化単位のサブブロックに対応する基準ピクチャのブロックの周囲に疑似Ｌ字形で配置された近傍サンプルの例を示す。 [33]ビデオエンコーダの一部の別の実施形態の例を示す。 [34]サブブロックの群に関連付けられた動きベクトルに基づいて現在の符号化単位のサブブロックの群に対応する基準ピクチャのブロックの周囲に異なるＬ字形で配置された近傍サンプルの例を示す。 [35]ビデオエンコーダの一部の実施形態の別の例を示す。 [36]ビデオデコーダの一部の実施形態の例を示す。 [37]ビデオデコーダの一部の実施形態の別の例を示す。 [38]ビデオデコーダの一部の実施形態の別の例を示す。 [39]ビデオデコーダの一部の実施形態の別の例を示す。 [40]ビデオエンコーダの一部の実施形態の別の例を示す。 [41]ビデオエンコーダの一部の実施形態の別の例を示す。 [42]符号化単位の中心における動きベクトルの実施形態の例を示す。 [43]符号化単位の中心における動きベクトルの実施形態の別の例を示す。 [44]符号化単位の中心における動きベクトルの実施形態の別の例を示す。 [45]局所照明補償モデルのパラメータを決定する実施形態の例を示す。
[46] 種々の図において、同様の参照符号は同じ又は同様の特徴を指す。
詳細な説明
[47] ジョイントビデオ探索チーム（ＪＶＥＴ）により開発されているジョイント探索モデル（ＪＥＭ）に関連付けられる等のビデオ圧縮技術を進化させる近年の努力は、高度な特徴及びツールを提供する。例えば、そのような開発努力は、時間的予測を改善する追加の動きモデルへのサポート提供を含む。そのような１つの動きモデルは、より詳細に後述するアフィン動きモデルである。ブロックベースの局所照明補償（ＬＩＣ）等のツールへのサポートも提供される。ＬＩＣツールは、ＬＩＣモデルを適用して、動き補償予測に使用される予測ブロックと対応する基準ブロックとの間で生じ得る照明の変動を予測することを含む。本明細書に記載される種々の態様及び実施形態は、例えば、アフィン動きモデル及びＬＩＣツール等の動きモデル及びツールを含む。
[48] 本文書は、ツール、特徴、実施形態、モデル、手法等を含む多種多様な態様を記載する。これらの態様の多くは具体的に説明され、少なくとも個々の特徴を示すために、限定と聞こえ得るように説明されることが多い。しかしながら、これは説明の明確さのためであり、それらの態様の適用又は範囲を限定しない。実際には、様々な態様の全ては、更なる態様を提供するために結合することができ、相互交換することができる。さらに、態様は、先の図において説明された態様とも同様に結合し、相互交換することができる。
[49] 本文書において記載され考慮される態様は、多くの異なる形態で実施することができる。以下の図１、図２、及び図３並びに他の図は本文書全体を通して幾つかの実施形態を提供するが、他の実施形態も考慮され、図１、図２、及び図３の考察は実施態様の範囲を限定しない。態様の少なくとも１つは一般に、ビデオの符号化及び復号化に監視、少なくとも１つの他の態様は一般に、生成又は符号化されたビットストリームの送信に関する。これら及び他の態様は、方法、装置、又はコンピュータ可読記憶媒体として実施することができる。例えば、コンピュータ可読記憶媒体は非一時的コンピュータ可読媒体であることができる。コンピュータ可読記憶媒体は、記載される任意の方法によりビデオデータを符号化又は復号化する命令及び／又は記載される任意の方法により生成されたビットストリームを記憶していることができる。
[50] 本願では、「再構築された」及び「復号化された」という用語は同義で使用することができ、「ピクセル」及び「サンプル」という用語は同義で使用することができ、「画像」、「ピクチャ」、及び「フレーム」という用語は同義で使用することができる。必ずしもそうであるわけではないが通常、「再構築された」という用語はエンコーダ側で使用され、一方、「復号化された」という用語はデコーダ側で使用される。
[51] 種々の方法が上述され、各方法は、記載された方法を達成するための１つ又は複数のステップ又は動作を含む。方法の適切な動作に特定の順序のステップ又は動作が必要とされる場合を除き、特定のステップ及び／又は動作の順序及び／又は使用は変更又は結合が可能である。
[52] 本文書に記載される種々の方法及び他の態様は、例えば、図１及び図２にそれぞれ示されるＪＶＥＴ又はＨＥＶＣエンコーダ１００及びデコーダ２００の動き推定モジュール１７０、動き補償モジュール１７５、及び／又は動き補償モジュール２７５等のビデオエンコーダ及び／又はデコーダの１つ又は複数のモジュールの変更に使用することができる。さらに、本態様はＪＶＥＴ又はＨＥＶＣに限定されず、例えば、既に存在するか、それとも将来開発されるかに関係なく、他の規格及び勧告並びにそのような任意の規格及び勧告の拡張（ＪＶＥＴ及びＨＥＶＣを含む）に適用することができる。別記される場合又は技術的に除外される場合を除き、本文書に記載される態様は個々に又は組み合わせて使用することができる。
[53] 種々の数値が本文書で使用され得る。任意の特定の数値は例であり、記載される態様はこれらの特定の値に限定されない。
[54] 図１、図２、及び図３はそれぞれ、エンコーダ１００、デコーダ２００、及びシステム１０００の実施形態の例のブロック図を示す。エンコーダ１００、デコーダ２００、及びシステム１０００の変形も考慮されるが、後述する例は、考えられる又は予期される全ての変形を記載せずに、明確さを目的として提供され説明される。
[55] 図１では、符号化前、ビデオシーケンスは符号化前処理（１０１）を受けることができ、例えば、色変換を入力カラーピクチャに適用し（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）、又は圧縮により強靱な信号分布を得るために入力ピクチャ成分のリマッピングを実行する（例えば、色成分の１つのヒストグラム等化を使用）。メタデータを前処理に関連付け、ビットストリームに取り付けることができる。
[56] エンコーダ１００において、ピクチャは以下説明するようにエンコーダ要素により符号化される。符号化されるピクチャは、例えばＣＵ単位で分割され（１０２）処理される。各ユニットは、例えば、イントラモード又はインターモードの何れかを使用して符号化される。ユニットがイントラモードで符号化される場合、エンコーダ１００はイントラ予測を実行する（１６０）。インターモードでは、動き推定（１７５）及び補償（１７０）が実行される。エンコーダは、イントラモード又はインターモードのいずれをユニットの符号化に使用すべきかを判断し（１０５）、例えば、予測モードフラグによりイントラ／インター判断を示す。例えば、元の画像ブロックから予測ブロックを差し引くこと（１１０）により予測残差が計算される。
[57] 次に、予測残差は変換され（１２５）量子化される（１３０）。量子化変換係数並びに動きベクトル及び他のシンタックス要素は、エントロピー符号化されて（１４５）、ビットストリームを出力する。エンコーダは変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは変換及び量子化の両方を迂回することができ、すなわち、残差は、変換又は量子化プロセスの適用なしで直接符号化される。
[58] エンコーダは、符号化ブロックを復号化して、更なる予測の基準を提供する。量子化変換係数は逆量子化され（１４０）、逆変換されて（１５０）、予測残差を復号化する。復号化された予測残差と予測ブロックとを結合して（１５５）、画像ブロックが再構築される。インループフィルタ（１６５）が再構築されたピクチャに適用されて、例えば、デブロック／ＳＡＯ（サンプル適応オフセット）フィルタリングを実行し、符号化アーチファクトを低減する。フィルタリングされた画像は基準ピクチャバッファに記憶される（１８０）。
[59] 図２はビデオデコーダ２００の例のブロック図を示す。デコーダ２００において、ビットストリームは以下説明するようにデコーダ要素により復号化される。ビデオデコーダ２００は一般に、図１で説明された符号化パスの逆である復号化パスを実行する。上述したように、図１におけるエンコーダ１００も一般に、例えば、更なる予測の基準を提供するために、ビデオデータの符号化の一環としてビデオ復号化を実行する。
[60] 特に、デコーダの入力はビデオビットストリームを含み、ビデオビットストリームは図１のビデオエンコーダ１００等のビデオエンコーダにより生成することができる。ビットストリームはまずエントロピー復号化され（２３０）、変換係数、動きベクトル、及び他の符号化情報を取得する。ピクチャ分割情報は、ピクチャがいかに分割されたかを示す。したがって、デコーダは、復号化されたピクチャ分割情報に従ってピクチャを分割することができる（２３５）。変換係数は逆量子化され（２４０）、逆変換されて（２５０）、予測残差を復号化する。復号化された予測残差と予測ブロックとを結合して（２５５）、画像ブロックが再構築される。予測ブロックは、イントラ予測（２６０）又は動き補償予測（すなわち、インター予測）（２７５）から取得することができる（２７０）。インループフィルタ（２６５）が、再構築された画像に適用される。フィルタリングされた画像は基準ピクチャバッファに記憶される（２８０）。
[61] 復号化されたピクチャは、復号化後処理（２８５）、例えば、逆色変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）又は符号化前処理（１０１）において実行されたリマッピングプロセスの逆を実行する逆リマッピングを更に受けることができる。復号化後処理は、符号化前処理で導出され、ビットストリームでシグナリングされたメタデータを使用することができる。
[62] 図３は、種々の態様及び実施形態を実施することができるシステムのブロック図を示す。システム１０００は、以下に説明する種々の構成要素を含むデバイスとして実施することができ、本文書に記載される態様の１つ又は複数を実行するように構成される。そのようなデバイスの例には、限定ではなく、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビジョン受信機、パーソナルビデオ記録システム、接続された家電機器、及びサーバがある。システム１０００は、図３に示され、当業者に既知の通信チャネルを介して他の同様のシステム及びディスプレイに通信可能に結合することができ、それにより、本文書に記載される種々の態様の１つ又は複数を実施する。
[63] システム１０００は、本文書に記載される種々の態様の１つ又は複数を実施する、ロードされた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含むことができる。プロセッサ１０１０は、組み込みメモリ、入出力インターフェース、及び当技術分野において既知の種々の他の回路を含むことができる。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス、不揮発性メモリデバイス）を含むことができる。システム１０００は記憶装置１０４０を含むことができ、記憶装置１０４０は、限定ではなく、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブを含む不揮発性メモリを含むことができる。記憶装置１０４０は、非限定的な例として、内部記憶装置、取り付けられた記憶装置、及び／又はネットワークアクセス可能記憶装置を含むことができる。システム１０００は、データを処理して、符号化ビデオ又は復号化ビデオを提供するように構成されたエンコーダ／デコーダモジュール１０３０を含むことができる。
[64] エンコーダ／デコーダモジュール１０３０は、符号化機能及び／又は復号化機能を実行するためにデバイスに含むことができるモジュールを表す。知られているように、デバイスは符号化モジュール及び復号化モジュールの一方又は両方を含むことができる。さらに、エンコーダ／デコーダモジュール１０３０は、システム１０００の別個の要素として実施することもでき、又は当業者に既知のようにハードウェアとソフトウェアとの組合せとしてプロセッサ１０１０内に組み込むこともできる。
[65] 本文書に記載された種々の態様を実行するためにプロセッサ１０１０にロードされるプログラムコードは、記憶装置１０４０に記憶することができ、続けて、プロセッサ１０１０による実行のためにメモリ１０２０にロードすることができる。実施形態によれば、プロセッサ１０１０、メモリ１０２０、記憶装置１０４０，及びエンコーダ／デコーダモジュール１０３０の１つ又は複数は、限定ではなく、入力ビデオ、復号化ビデオ、ビットストリーム、式、公式、行列、変数、演算、及び演算論理を含む、本文書に記載されるプロセスの実行中、種々の項目の１つ又は複数を記憶することができる。
[66] システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェース１０５０を含むことができる。通信インターフェース１０５０は、限定ではなく、通信チャネル１０６０からデータを送受信するように構成された送受信機を含むことができる。通信インターフェースは、限定ではなく、モデム又はネットワークカードを含むことができ、通信チャネルは有線及び／又は無線媒体内で実施することができる。システム１０００の種々の構成要素は、限定ではなく、内部バス、ワイヤ、及びプリント回路基板を含む種々の適した接続を使用して一緒に接続又は通信可能に結合することができる。
[67] 以下により詳細に説明するように、本開示による態様及び実施形態は、動き推定特徴、例えば図１のモジュール１７５及び図１のモジュール１７０及び／又は図２のモジュール２７５等の動き補償特徴等の図１、図２、及び図３に示されるシステムの特徴に関連することができる。
[68] 説明を明確にするために、以下の詳細な説明において、例えば、ＨＥＶＣ、ＪＥＭ、及び／又はＨ．２６６等のビデオ圧縮技術を含む実施形態を参照して態様を説明する。しかしながら、説明される態様は他のビデオ処理技術及び規格にも適用可能である。
[69] ＨＥＶＣビデオ圧縮規格では、ピクチャはいわゆる符号化ツリーユニット（ＣＴＵ）に分割され、各ＣＴＵは圧縮ドメインにおいて符号化単位（ＣＵ）により表される。次に、各ＣＵにイントラ又はインター予測パラメータ（予測情報）が与えられる。そうするために、１つ又は複数の予測ユニット（ＰＵ）に空間的に分割され、各ＰＵには幾らかの予測情報が割り当てられる。イントラ又はインター符号化モードはＣＵレベルで割り当てられる。符号化単位、予測ユニット、及び変換ユニットへの符号化ツリーユニットの分割の図を図４に示す。
[70] インター符号化モードでは、動き補償時間的予測が利用されて、ビデオの連続ピクチャ間に存在する冗長性を利用する。そうするために、厳密に１つの動きベクトル（ＭＶ）がＨＥＶＣにおける各ＰＵに割り当てられる。したがって、ＨＥＶＣでは、ＰＵ及びその基準ブロックをリンクする動きモデルは単に並進を含む。
[71] ＪＶＥＴ（ジョイントビデオ探索チーム）グループにより開発されたジョイント探索モデル（ＪＥＭ）の少なくとも１つのバージョンでは、ＣＵはもはやＰＵ又はＴＵに分割されず、幾らかの動き情報（インターモードでは予測情報）が各ＣＵに直接割り当てられる。ＪＥＭでは、ＣＵはサブＣＵに分割することができ、各サブＣＵの動きベクトルを計算することができる。さらに、時間的予測を改善するために、幾つかのより豊富な動きモデルがサポートされる。ＪＥＭにおいて導入された新しい動きモデルの１つはアフィンモデルであり、アフィンモデルは基本的に、アフィンモデルを使用して、ＣＵにおいて動きベクトルを表すことを含む。使用される動きモデルを図５により示す。アフィンモデルは、動き予測のためにＣＵ内部の動き場を生成するのに使用することができる。例えば、アフィン動き場は、式１により定義されるような、考慮されるブロック内部の各位置（ｘ，ｙ）の動きベクトル成分値を含む。
式１：アフィン動き場の生成に使用される、いわゆる制御ポイント動きベクトルである（ｖ０ｘ，ｖ０ｙ）及び（ｖ１ｘ，ｖ１ｙ）がどこにあるかを予測するために、ＣＵ内部の動き場を生成するのに使用されるアフィンモデルである。（ｖ０ｘ，ｖ０ｙ）は動きベクトルの左上隅制御ポイントであり、（ｖ１ｘ，ｖ１ｙ）は動きベクトル右上隅制御ポイントである。
[72] 実際には、複雑性を妥当なレベルに保つために、例えば、図６に示されるように、考慮されるＣＵの各４×４サブブロック（サブＣＵ）の動きベクトルを計算することができる。アフィン動きベクトルは、各サブブロックの中心の位置において、制御ポイント動きベクトルから計算される。その結果、アフィンモデルにおけるＣＵの時間的予測は、それ自体の動きベクトルを用いた各サブブロックの動き補償予測を含む。
[73] アフィン動き補償は、少なくとも２つの方法、例えば、ＪＥＭではアフィンＡＭＶＰ（高度動きベクトル予測）又はＡＦ＿ＡＭＶＰ及びアフィン統合で使用することができる。
－アフィンＡＭＶＰ（ＡＦ＿ＡＭＶＰ）
８×８よりも大きいサイズのＡＭＶＰモードにおけるＣＵは、アフィンＡＭＶＰモードで予測することができる。これは、ビットストリーム内のフラグを通してシグナリングされる。そのインターＣＵのアフィン動き場の生成は、制御ポイント動きベクトル（ＣＰＭＶ）を決定することを含み、ＣＰＭＶは、動きベクトル差分と制御ポイント動きベクトル予測（ＣＰＭＶＰ）との合算を通してデコーダにより得られる。ＣＰＭＶＰは、アフィンＡＭＶＰ ＣＵの動きベクトル予測プロセスの例を示す図７に示されるように、リスト（Ａ，Ｂ，Ｃ）及び（Ｄ，Ｅ）からそれぞれとられた一対の動きベクトル候補である。
－アフィン統合
アフィン統合モードでは、ＣＵレベルフラグが、統合ＣＵがアフィン動き補償を利用するか否かを示す。利用する場合、アフィン統合モードにおける動きベクトル予測候補を示す図８に示されるように、アフィンモードで符号化された最初の利用可能な近傍ＣＵが、候補位置（Ａ，Ｂ，Ｃ，Ｄ，Ｅ）の順序付き集合の中から選択される。
[74] アフィンモードにおける最初の近傍ＣＵが得られると、図９に示されるように、近傍ＣＵの左上隅、右上隅、及び左下隅からの３つの動きベクトル
が検索される。これらの３つのベクトルに基づいて、式２に示されるように、現在ＣＵの左上隅及び右上隅の２つのＣＰＭＶが導出される。
現在ＣＵの制御ポイント動きベクトル
が取得されると、現在のＣＵ内部の動き場が、式１のモデルを通して４×４サブＣＵ単位で計算される。
[75] ＪＥＭにおいて、ブロックベースの局所照明補償（ＬＩＣ）を適用することもできる。ＬＩＣツールは基本的に、予測ブロックと動き補償予測を通して利用される基準ブロックとの間で生じ得る照明の変動を予測することを目的とする。各インターモード不符号化ＣＵについて、ＬＩＣの使用を示すＬＩＣフラグがシグナリングされ、又は暗黙的に導出される。ＬＩＣツールは、ＬＩＣパラメータと呼ばれるスケーリング係数ａ及びオフセットｂを使用する照明変化の線形モデルに基づく。ＪＥＭ等のコーデックでは、ＬＩＣツールは、上述したアフィン動き補償を利用しているインターモード符号化ＣＵではディセーブルされる。
[76] インターモードでは、ブロックベースの局所照明補償（ＬＩＣ）は、空間的又は時間的局所照明変動を考慮することにより、動き補償を介して取得されたブロック予測サンプルを補正できるようにする。これは、スケーリング係数ａ及びオフセットｂを使用する証明変化の一次線形モデル等の照明変化のモデルに基づく。図１０に示されるように、ＬＩＣパラメータ（ａ及びｂ）は、近傍Ｖｃｕｒに配置された現在ブロック（「現在ｂｌｋ」）を囲む１組の再構築されたサンプルを基準ピクチャ内の基準ブロック（「基準ｂｌｋ」）の近傍Ｖｒｅｆ（ＭＶ）に配置された１組の再構築されたサンプル（組は用途に応じて種々のサイズを有することができる）と比較することにより推定することができる。ＭＶは、現在ブロックと基準ブロックとの間の動きベクトルを表す。通常、Ｖｃｕｒ及びＶｒｅｆ（ＭＶ）は、現在ブロック及び基準ブロックのそれぞれの周囲にＬ字形（上側、左側、及び左上側）に配置されたサンプルに含まれる。
[77] ＬＩＣパラメータは、任意の種々の手法に基づいて選ぶことができる。例えば、ＬＩＣパラメータは、局所歪みの最小化に基づいて選択することができる。局所歪みを最小化する一手法は、Ｖｃｕｒにおけるサンプルと、Ｖｒｅｆ（ＭＶ）における補正されたサンプルとの間の平均二乗誤差（ＭＳＥ）差分を最小化することを含むことができる。一例として、ＬＩＣモデルは線形モデル、すなわち、ＬＩＣ（ｘ）＝ａ＊ｘ＋ｂであることができ、式中、パラメータａ及びｂは式３にあるようなＭＳＥ差分の最小化に基づいて特定することができる。
式中、ｒ及びｓはそれぞれＶｃｕｒ及びＶｒｅｆ（ＭＶ）におけるピクセル位置に対応する。別の手法は、最小最大法を使用することを含むことができる。例えば、図２８に示されるように、最小値（Ｍｉｎ）及び最大値（Ｍａｘ）を有する２つの基準サンプル（ＸＡ，ＸＢ）並びに例えば図２８の点Ａ、Ｂにおける関連付けられた再構築サンプル（ＹＡ，ＹＢ）を使用して、式４にあるように傾き「ａ」を導出することができる。
変形は、ロバスト性を上げるために平均化と共に２番目の最小点及び最大点、例えば図２８における点Ａ’、Ｂ’を使用することを含むこともできる。
[78] 双方向予測の場合、Ｖｒｅｆ０（ＭＶ０）及びＶｒｅｆ１（ＭＶ１）のそれぞれのＬＩＣパラメータ（ａ０，ｂ０）及び（ａ１，ｂ１）を独立して導出することができる。他の実施形態では、導出は依存又は相互依存し得る。例えば、図１１に示されるように、双方向予測では、基準０及び１にけるＬ字形は現在ブロックのＬ字形と比較されて、ＬＩＣパラメータを導出する。
[79] ＣＵが統合モードを用いて符号化される場合、統合モードでの動き情報コピーと同様にして、ＬＩＣフラグを近傍ブロックからコピーすることができ、他の場合、ＣＵのＬＩＣフラグは、ＬＩＣが適用されるか否かを示すためにシグナリングされる。しかしながら、ＪＥＭ等の手法では、ＣＵがアフィンモデル（アフィンＡＭＶＰ、アフィン統合）を使用している場合、ＬＩＣフラグは常に偽に設定される。
[80] 少なくとも１つの実施形態は、アフィン動き予測がインターモード符号化された符号化単位（ＣＵ）に利用される場合、ブロックベースの局所照明補償（ＬＩＣ）ツールをイネーブルすることを含む。
[81] 少なくとも１つの実施形態は、動きベクトルの表現にアフィンモデルを利用するインターモード符号化されたＣＵにＬＩＣツールをアクティブ化することを含む。
[82] 少なくとも１つの実施形態は、例えば、アフィンモデルを使用してインターモード符号化されたＣＵにＬＩＣツールをアクティブ化することを含み、アフィンＡＭＶＰ及びアフィン統合のＬＩＣフラグ判定並びに対応するＬＩＣパラメータ導出ルールを含むことができる。
[83] 少なくとも１つの実施形態は、符号化設計の複雑性増大を最小にしながら、良好な圧縮効率（レート歪み性能）を提供するように、ＬＩＣツールをアクティブ化し、アフィン動き予測を使用したインターモード符号化に関連するルールを作成する方法を含む。
[84] 少なくとも１つの実施形態は、
・アフィン動き予測を使用してインターモード符号化されたＣＵのＬＩＣフラグを決定することを含む。アフィンＡＭＶＰの場合、ＬＩＣツールにわたる反復ループを適用して、ＬＩＣフラグを決定することができ、ＬＩＣフラグはビットストリームにシグナリングされる。他の場合、アフィン統合では、ＬＩＣフラグは近傍ブロックに基づいて取得することができ、例えば、統合モードにおける動き情報コピーと同様にして、近傍ブロックに関連付けられたアフィン制御ポイントから導出することができる。［エンコーダ／デコーダ］
[85] 少なくとも１つの実施形態は、
・ＬＩＣフラグが真であるとの判断に基づいて、対応するＬＩＣパラメータの導出を提供することを含む。１つ又は複数の特徴が関わることができる。例えば、最初のサブブロック若しくは任意の他のサブブロック（例えば、中央サブブロック）の１つの動きベクトルを使用し、又は第１行目／第１列目におけるサブブロックの複数の動きベクトル、例えば、第１行目／第１列目のサブブロックに関連付けられた全ての動きベクトル又は第１行目及び／又は第１列目の全ての動きベクトルのサブセットに関連付けられた動きベクトルを考慮に入れる。別の例として、ＣＵ全体に一意の対のＬＩＣパラメータを生成する。別の例として、複数の対のＬＩＣパラメータを導出する。［エンコーダ／デコーダ］
[86] 少なくとも１つの実施形態は、例えば、アフィン動き予測を使用してインターモード符号化されたＣＵにＬＩＣツールをイネーブルすることにより、照明変動の考慮に基づいてブロック予測サンプルの補正を改善する。
[87] 本明細書に記載される種々の実施形態は、符号化効率の改善を提供する。
[88] 少なくとも１つの実施形態は、アフィンモデルで非アクティブ化されるＬＩＣを含む手法が、照明変動を考慮することにより補正されないことに起因して、アフィン動き補償を介してブロック予測サンプルに起因した潜在的な性能を完全には組み込むことができないという本発明者らの認識に基づく。
[89] 一般に、少なくとも１つの実施形態は、余分なビットをビットストリームに符号化する必要なく、それにより、余分な負担をビットレートに導入せずに、エンコーダ側でパラメータを導出する１つ又は複数の実施形態に従って、デコーダ側でＬＩＣパラメータが導出されることを含むことができる。しかしながら、実施形態は、シグナリングに挿入される１つ又は複数のシンタックス要素を含み得る。
[90] 少なくとも１つの実施形態では、アフィンモデルを使用してＣＵの各４×４サブブロックに対してアフィンＭＶを計算することができる。これは、それ自体の動きベクトルを有する、各サブブロックで異なることができる、Ｖｒｅｆ（ＭＶ）における１組の再構築サンプルを生成する。アフィンモデルを用いた１６×１６ＣＵの一例を図１２に提示する。
[91] 図１２では、アフィンモデルを使用した１６×１６ＣＵの異なるＬ字形に配置された近傍サンプルの例を示す。
[92] 現在の左上サブブロック（「現在サブｂｌｋ０」）にはＭＶ０が関連付けられ、その対応する再構築サンプルは、基準ピクチャにおける基準ブロック（「基準ｂｌｋ０」）の近傍Ｖｒｅｆ（ＭＶ０）に配置され、一方、ＭＶｉを有する現在の左下サブブロック（現在サブｂｌｋｉ）の場合、再構築サンプルは基準ピクチャにおける基準ブロック（「基準ｂｌｋｉ」）の近傍Ｖｒｅｆ（ＭＶｉ）に配置される。Ｖｒｅｆ（ＭＶ０）及びＶｒｅｆ（ＭＶｉ）は、関連する基準ブロックの周囲に異なるＬ字形を生成することができる。以下に詳細に説明するように、ＬＩＣパラメータ導出は、種々の実施形態に基づいてアフィンモデルに適応することができる。
[93] 図１３は、インタースライスにおけるＣＵのＬＩＣフラグを決定する方法の、例えばエンコーダにおける実施形態の例を示す。見て分かるように、ＬＩＣツールを利用するための追加のインターモードは、アフィン統合モード及びアフィンＡＭＶＰモードを含む。アフィン統合モードの場合、ＬＩＣフラグは近傍ブロックから推測される。アフィンＡＭＶＰモードの場合、性能又は品質メトリック、例えばレート歪みサーチを現在ＣＵについて評価することができる。図１３の例では、そのような評価は、ステップ１３４０においてＬＩＣパラメータを導出し、ステップ１３５０において動き補償を実行し、ステップ１３６０においてＬＩＣを適用し、ステップ１３７０においてコスト、例えばレート歪みコストを計算することを含む。図１３に示されるように、これらのステップはＬＩＣフラグ、すなわち、ＬＩＣフラグオン及びオフにわたりループで繰り返される。したがって、可能な各ＬＩＣフラグ値は、アフィンＡＭＶＰモード及びＡＭＶＰモードの両方で現在ＣＵについてレート歪みの視点から評価される。ＬＩＣフラグが決定されると、フラグは、例えばＬＩＣ使用をシグナリングするための既存のシンタックスを使用し、それにより、シンタックス追加に関するオーバーヘッド追加を回避して又は特別の環境、状況、若しくは用途に適切な場合、シンタックスを追加することにより、ビットストリームでシグナリングすることができる。
[94] 少なくとも１つの実施形態によれば、アフィンＡＭＶＰモードと同様に、現在ＣＵのＬＩＣフラグはＭＶＰ候補から及び／又は近傍ＭＶＰから導出することができる。
[95] 少なくとも１つの実施形態は、１つのみの動きベクトルを使用してＣＵ全体のＬＩＣパラメータを導出することができる。例えば、この動きベクトルは最初のサブブロックの動きベクトルＭＶ０（ｖ０ｘ，ｖ０ｙ）であることができる。少なくとも１つの実施形態は、基準ブロックの周囲の同じＬ字形に配置された１組の再構築サンプルを取得し、一意のＬＩＣパラメータを計算した後、現在ブロックにおける全てのサブブロックに適用することを含むことができる。
[96] １つの動きベクトルを使用してアフィンモデルのＬＩＣパラメータを導出する方法の実施形態を図１４に示す。ステップ３００において、ＬＩＣフラグが評価される。ＬＩＣフラグが偽の場合、ステップ３０３Ａにおいて動き補償処理が行われ、それに続きステップ３０５において、レート歪み（ＲＤ）分析等の性能メトリックが実行される。動きベクトル（ＭＶ）は、ステップ３０５において、メトリック分析結果に基づいて提供される。ステップ３００においてＬＩＣフラグが真である場合、処理はステップ３０１に続き、最初のサブブロックの動きベクトルＭＶ０（ｖ０ｘ，ｖ０ｙ）が式１を介して計算される。ステップ３０１の後にステップ３０２が続き、Ｖｒｅｆ（ＭＶ０）における１組の補正されたサンプルを用いて式３に従って局所歪みを最小化することにより、ＬＩＣパラメータが導出される。ステップ３０２の後にブロック３０６が続き、ブロック３０６は、３０３Ｂにおける動き補償処理（３０３Ａに関して上述したものと同じ動き補償処理）を含み、その後、３０４において、３０２において導出されたＬＩＣパラメータに基づいてＬＩＣを適用することを含む。各サブブロックに対してループオーバー３０６が実行され、ここで、３０２において取得されたＬＩＣパラメータが、各サブブロックの照明変化を補正するために３０４において利用される。全てのサブブロックに対するループオーバー３０６実行完了後、すなわち、ステップ３０３Ｂ及び３０４を通した実行完了後、上述したように処理はステップ３０５に続く。
[97] 説明したように、図１４に示される実施形態の例は、最初のサブブロックに対応する１つの動きベクトルを含むことができる。しかしながら、少なくとも１つの実施形態では、１つの動きベクトルは、最初のサブブロック以外の任意のサブブロック、例えば、中心のサブブロックに基づいて計算することができ、又は近傍ブロック等について計算することができる。符号化単位の「中心」における１つのＭＶの例では、１つのＭＶは、選択された実施形態に応じて１つ又は複数のサブブロックに基づいて取得又は計算し得る。ＣＵの中心おける１つのＭＶを取得する実施形態の具体的な例を図２５、図２６、及び図２７に示す。
[98] 例えば、図２５では、サブブロック内の破線円により示されたサブブロックに関連付けられたＭＶは、符号化単位の中心における点、すなわち、点（Ｗ／２，Ｈ／２）を含むサブブロックの選択に基づいて「中心」又は中心ＭＶであることができ、ここで、Ｗ及びＨはそれぞれ、符号化単位の幅及び高さである。別の例として、「中心」におけるＭＶは、中心、すなわち点（Ｗ／２，Ｈ／２）の近傍にける複数のＭＶを結合することにより取得し得る。一例として、図２６に示される実施形態は、４つのＭＶの平均をとり、中心又は中心ＭＶであると見なすことができる１つの動きベクトルを提供することにより、図２６においてＭＶ１、ＭＶ２、ＭＶ３、及びＭＶ４と記された、点（Ｗ／２，Ｈ／２）の周囲の４つのサブブロックのＭＶを結合する。
別の例を図２７に示し、図２７では、太線の矢印で示される等の「中心」におけるＭＶは、ＣＰＭＶ（制御ポイント動きベクトル）ＭＶ（ｖ０ｘ，ｖ０ｙ）を用いたアフィンモデルを介して点（Ｗ／２，Ｈ／２）におけるＭＶを計算し適用することにより取得し得、ここで、
である。
[99] 上述したような実施形態は、それ自体のアフィン動きベクトルを有する各サブブロックに起因して生成されることがある基準ブロックの周囲の異なるＬ字形に対処することができる。しかしながら、１つのみの動きベクトルを介して計算されたＬＩＣパラメータは、各サブブロックとその基準ブロックとの間の照明変動が異なり得るため、サブブロックの全てに対して最適であるわけではないことがある。一般に、少なくとも１つの実施形態は、ベンチマークとして複数の動きベクトルを考慮することによりＣＵ全体のＬＩＣパラメータを導出する。より具体的には、基準ブロックの周囲の完全なＬ字形の代わりに、幾つかの潜在的な非接続パッチにより生成される「疑似Ｌ字形」が使用される。複数の動きベクトルが連続したＬ字形データ構成を形成しない各再構築サンプルを参照し得るため、疑似Ｌ字形が生成され得る。
[100] 例えば、図１５に示されるように、現在の左上サブブロック（「現在サブｂｌｋ０」）の場合、基準ブロックＭＶ０の上のＶｒｅｆ（ＭＶ０）における対応する再構築サンプルは、「疑似Ｌ字形」の左上隅パッチとして使用される。次に、ＣＵの第１行目に配置されたサブブロック（基準ブロックＭＶ０、ＭＶ１、ＭＶ２、及びＭＶ３に対応する）は、「疑似Ｌ字形」の上パッチを生成する（Ｖｒｅｆ（ＭＶ０）、Ｖｒｅｆ（ＭＶ１）、Ｖｒｅｆ（ＭＶ２）、Ｖｒｅｆ（ＭＶ３））。さらに、「疑似Ｌ字形」の左パッチは、サブブロックの基準ブロックの左側の再構築サンプルを使用することにより、第１列目におけるサブブロック（基準ブロックＭＶ０、ＭＶ４、及びＭＶ５に対応する）により形成される。追加の「Ｖｒｅｆ（ＭＶ０）」は基準におけるＭＶ０の左側に形成される。なお、ピクチャにおけるサブブロックは同じ動きベクトルＭＶ５を有するために、Ｖｒｅｆ（ＭＶ５）は二十ブロックとして示されている。「疑似Ｌ字形」を使用して、ＬＩＣパラメータを導出することができ、次に、例えば、ＣＵ全体に適用することができる。
[101] 例えば、複数の動きベクトルを用いて局所歪みを最小化して、ＬＩＣパラメータを選ぶ一手法は、式５における複数の動きベクトルに向けて変更されて、式３に関して上述したのと同様に、ＭＳＥ差分の最小化基づくことができる。
式中、ｒはなおＶｃｕｒにおけるＬ字形ピクセルロケーションに対応し、一方、ｓ０はＶｒｅｆ（ＭＶ０）におけるピクセルロケーションに対応し、ｓ１はＶｒｅｆ（ＭＶ１）におけるピクセルロケーションに対応する。「疑似Ｌ字形」を形成する全てのパッチがトラバースされるまで、続くｓｊはＶｒｅｆ（ＭＶｉ）におけるピクセルロケーションに一貫して対応する。１つの動きベクトルについての式４に関して上述したように、複数の動きベクトルについてＬＩＣモデルパラメータを取得する別の手法は、最小最大法を使用することを含むことができる。
[102] 複数の動きベクトルを使用してＬＩＣパラメータを導出する方法の少なくとも１つの実施形態を図１６に示す。ステップ４０１において、第１行目及び第１列目におけるサブブロックの動きベクトルが、第１行目及び第１列目におけるサブブロックにわたりループすることにより式１を介して生成される。ステップ４０２において、ＬＩＣフラグが真である場合、ＬＩＣパラメータは、基準ブロックの周囲の「疑似Ｌ字形」を用いて式４を使用して局所歪みを最小化することにより導出することができる。ステップ４０３及び４０４における処理は、図１４のステップ３０３及び３０４に関して上述したのと同様に進む。
[103] 少なくとも１つの実施形態では、複雑性を低減するために、２つのみの動きベクトル、例えば上及び左を別個に用いて「疑似Ｌ字形」を生成することもできる。第１の動きベクトルは上の行、例えば、第１行目の中間位置におけるサブブロックからのものであり、第２の動きベクトルは、第１列目、例えば第１列目の中間位置におけるサブブロックからのものである。
[104] 少なくとも１つの実施形態では、符号化単位のサブブロックの第１行目及び／又は第１列目に関連付けられた複数の動きベクトルのサブセットを使用して、「疑似Ｌ字形」を生成することができる。例えば、疑似Ｌ字形は、サブブロックの第１行目におけるサブブロックのサブセット又はサブブロックの第１列目におけるサブブロックのサブセットの１つ又は複数に関連付けられた動きベクトルを使用して取得された再構築サンプルに基づいて形成することができる。すなわち、第１の組の動きベクトルは、符号化単位のサブブロックの第１行目に含まれる各サブブロックに関連付けられた動きベクトルを含むことができ、第２の組の動きベクトルは、符号化単位に含まれるサブブロックの第１列目に含まれる各サブブロックに関連付けられた動きベクトルを含むことができる。疑似Ｌ字形は、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数、すなわち、第１のサブセット、第２のサブセット、又は第１及び第２のサブセットの両方に基づいて生成された再構築サンプルに基づいて生成することができる。第１行目の中間位置におけるサブブロック及び／又はサブブロックの第１列目の中間位置が関わる上述した例では、動きベクトルの記載された第１及び／又は第２のサブセットはそれぞれ、第１行目及び／又は第１列目の中間における各サブブロックに関連付けられた１つの動きベクトルを含み得る。
[105] 上述した少なくとも１つの実施形態では、一対のみのＬＩＣパラメータ（ａ及びｂ）が導出され、ＣＵ全体に使用される。少なくとも１つの他の実施形態では、アフィンモデルのＬＩＣツールは、複数の組又は多数の組のＬＩＣパラメータを含むことができ、例えば、アフィン動きモデルと併用するのに、線形ＬＩＣモデルの複数の対のＬＩＣパラメータを生成して、予測サンプルをより正確に補正することができる。ＬＩＣパラメータはデコーダ側でも同じように導出することができるため、複数の組のＬＩＣパラメータを追加することは、ビットストリームに追加のシンタックスビットを符号化する必要はなく、ビットレートへの追加の負担を示さない。
[106] 一例として、図１７は別の実施形態を示し、この別の実施形態では、１）幾つかのサブブロックをより大きなサブブロック（本明細書では「ＬＩＣグループ」と呼ばれる）にグループ化することができ、２）ＣＵは複数のＬＩＣグループに、例えば４つのＬＩＣグループ（左上、右上、左下、右下）に分割することができ、３）各ＬＩＣグループに関連付けられた一対のＬＩＣパラメータを導出することができ、４）動き補償中、サブブロックにおけるサンプルの照明変化は、サブブロックが属するＬＩＣグループの対応するＬＩＣパラメータを用いて補正される。
[107] 各ＬＩＣグループに一対のＬＩＣパラメータを計算する場合にも、本明細書に記載される１つ又は複数の実施形態を適用することができる。実施形態では、現在のＬＩＣグループ（Ｖｃｕｒ＿ｔｌ／Ｖｃｕｒ＿ｔｒ／Ｖｃｕｒ＿ｂｌ／Ｖｃｕｒ＿ｂｒ）の周囲のＬ字形が、現在ＣＵ（Ｖｃｕｒ）の周囲のＬ字形の代わりに適用される。実施形態では、ＣＵは４つよりも大きい／小さい数のＬＩＣグループに分割することができる。実施形態では、ＣＵは、ＣＵのサイズに応じて異なる数のＬＩＣグループに分割することができる。例えば、ＣＵのサイズが１６×１６又は３２×３２である場合、４つのＬＩＣグループが生成され、６４×６４の場合、ＣＵは８つのＬＩＣグループに分割することができる。
[108] エンコーダの一部の実施形態の別の例を図１８に示す。図１８では、ピクチャ部分を含むビデオデータ等のビデオ情報は、ステップ１８１０において、アフィン動きモデルに基づいて処理されて、動き補償情報を生成する。ステップ１８２０において、局所照明補償（ＬＩＣ）モデルが取得され、例えば、線形モデルのパラメータが、本明細書に記載されるように１つ又は複数の態様又は実施形態に従って導出される。次に、ステップ１８３０において、ビデオ情報は符号化されて、動き補償情報及びＬＩＣモデルに基づいて符号化ビデオ情報を生成する。
[109] 本開示の１つ又は複数の態様によるデコーダの一部分又は一部の実施形態の例を図１９に示す。図１９では、符号化ピクチャ部分を含むビデオデータ等の符号化ビデオ情報は、ステップ１９１０において、アフィン動きモデルに基づいて処理されて、動き補償情報を生成する。ステップ１９２０において、局所照明補償（ＬＩＣ）モデルが取得され、例えば、線形モデルのパラメータが、本明細書に記載されるように１つ又は複数の態様又は実施形態に従って導出される。次に、ステップ１９３０において、ビデオ情報が復号化されて、動き補償情報及びＬＩＣモデルに基づいて復号化ピクチャ部分を生成する。
[110] 図２０、図２１、及び図２２は、デコーダの部分の実施形態の追加の例を示す。図２０では、ステップ２０１０において、インターモード符号化された現在ＣＵの動き補償処理が実行される。ステップ２０２０は、インターモードが統合モードであるか否かを判断する。統合モードである場合、ステップ２０３０において、本明細書に記載されるようにＬＩＣフラグが推測される。統合モードではない場合、ステップ２０８０において、ＬＩＣフラグは復号化される。ステップ２０２０及びステップ２０８０の両方の後にステップ２０４０が続き、ＬＩＣフラグの状態がテストされる。ＬＩＣフラグが偽である場合、ＬＩＣは適用されず、ステップ２０７０において、ＬＩＣに関する処理は終了する。ステップ２０４０において、ＬＩＣフラグが真であると判断される場合、ステップ２０５０において、ＬＩＣパラメータは導出される。ステップ２０６０において、ＬＩＣは、現在ＣＵの全てのパラメータに基づいて適用され、その後、ステップ２０７０において処理は終了する。
[111] 図２１では、ステップ２１１０において、現在ＣＵのＬＩＣフラグがテストされる。偽である場合、ＬＩＣ処理は現在ＣＵに対してディセーブルされ、又はアクティブ化されず、ステップ２１７０において動き補償処理が行われ、それに続き、ステップ２１６０において、ＬＩＣ関連処理は終了する。ステップ２１１０においてＬＩＣフラグが真である場合、１つのサブブロックに対応する動きベクトル、例えば、最初のサブブロックに対応するＭＶ０が計算、特定、又は取得される。次に、ステップ２１３０において、動きベクトル及び関連付けられた基準ブロック、例えばＶｒｅｆ（ＭＶ０）に基づいてＬＩＣパラメータを導出することによりＬＩＣモデルが取得される。次に、ステップ２１４０において動き補償、ステップ２１５０においてＬＩＣが適用される。ステップ２１４０及び２１５０は全てのサブブロックにわたるループとして繰り返されて、１つの動きベクトルから決定されたパラメータに基づいてＬＩＣモデルを全てのサブブロックに適用する。全てのサブブロックにわたるループが完了した後、処理はステップ２１６０において終了する。
[112] 図２２では、ステップ２２１０において、現在ＣＵのＬＩＣフラグがテストされる。偽である場合、ＬＩＣ処理は現在ＣＵに対してディセーブルされ、又はアクティブ化されず、ステップ２２７０において動き補償処理が行われ、それに続き、ステップ２２６０において、ＬＩＣ関連処理は終了する。ステップ２２１０においてＬＩＣフラグが真である場合、ステップ２２２０において、複数のサブブロック、例えば、第１行目におけるサブブロックのサブセット及び／又は第１列目におけるサブブロックのサブセットに対応する複数の動きベクトルが、サブブロックの１つ又は複数のサブセットに含まれるサブセットにわたりループすることにより計算、特定、又は取得される。ステップ２２２０の後にはステップ２２３０が続き、複数の動きベクトルに関連付けられた複数の基準ブロックに基づいてＬＩＣパラメータが導出される。上述したように、複数の基準ブロックは、疑似Ｌ字形と呼ばれるデータ構成を有し得る。次に、ステップ２２４０において動き補償処理が行われ、ステップ２２５０においてＬＩＣ処理が適用され、ここで、ＬＩＣはステップ２２３０において特定されたＬＩＣパラメータに基づく。ステップ２２４０及び２２５０は全てのサブブロックにわたるループとして繰り返されて、ＬＩＣモデルを全てのサブブロックに適用する。全てのサブブロックにわたるループが完了した後、処理はステップ２２６０において終了する。
[113] 本明細書に記載されるようにアフィンモデルに提案されたＬＩＣパラメータを導出する１つ又は複数の実施形態は、ＬＩＣツールがアクティブ化される場合、他のサブＣＵベースの動きベクトル予測（すなわち、「サブブロックベースの時間的統合候補」：代替時間的動きベクトル予測（ＡＴＭＶＰ）、時空間的動きベクトル予測（ＳＴＭＶＰ）、及びサブブロックベースの時間的動きベクトル予測（ＳｂＴＭＶＰ））に対して実行することもできる。
[114] 加えて、種々の態様及び実施形態をインターモード又はインター符号化及びＬＩＣに関連付けられた線形モデルでのビデオ情報処理に関して説明したが、１つ又は複数の態様、実施形態、及び特徴はイントラモード又はイントラ符号化に適用することもできる。例えば、イントラ符号化でのクロスコンポーネント線形モデル（ＣＣＬＭ）の場合、ルマ（luma）サンプルが、線形モデルに基づいて対応するクロマサンプルを予測するのに使用され、線形モデルのパラメータは、ＬＩＣに関して本明細書に記載される１つ又は複数の態様に従って導出又は取得することができる。
[115] また、１つのＣＵ内部に幾つかのサブブロックがある場合、各サブブロックは対応する異なる被参照サブブロックを有することができる。したがって、記載される１つ又は複数の実施形態はそのような場合に適用することもできる。
[116] 実施形態は、実装されたコンピュータソフトウェアにより、例えば、図３のシステム１０００のプロセッサ１０１０により、ハードウェアにより、又はハードウェアとソフトウェアとの組合せにより実行することができる。非限定的な例として、実施形態は１つ又は複数の集積回路により実施することができる。図３に示されるシステム１０００の例に含まれるメモリ１０２０は、技術的環境に適切な任意のタイプであることができ、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリ等の任意の適切なデータ記憶技術を使用して実施することができる。プロセッサ１０１０は、技術的環境に適切な任意のタイプであることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサの１つ又は複数を包含することができる。
[117] 本明細書に記載される実施態様及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号で実施することができる。１つの実施態様の状況でのみ考察される（例えば、方法としてのみ考察される）場合であっても、考察された特徴の実施態様は他の形態（例えば、装置又はプログラム）で実施することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実施することができる。例えば、方法は、例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスを含む、例えば一般に処理デバイスと呼ばれるプロセッサ等の装置で実施することができる。プロセッサは、例えば、コンピュータ、セル電話、ポータブル／個人情報端末（「ＰＤＡ」）、及びエンドユーザ間の情報通信に役立つ他のデバイス等の通信デバイスも含む。
[118] 「一実施形態」、「実施形態」、「一実施態様」、又は「実施態様」、及びそれらの他の変形への言及は、その実施形態に関連して記載された特定の特徴、構造、及び特性等が少なくとも１つの実施形態に含まれることを意味する。したがって、本文書全体を通して種々の場所に見られる「一実施形態において」、「実施形態において」、「一実施態様において」、又は「実施態様において」という句、及び任意の他の変形は、必ずしも全て同じ実施形態を指すわけではない。
[119] さらに、本文書は種々の情報を「決定する」と言及し得る。情報の決定は、例えば、情報の推測、情報の計算、情報の予測、又はメモリからの情報の検索の１つ又は複数を含むことができる。
[120] さらに、本文書は種々の情報に「アクセスする」と言及し得る。情報へのアクセスは、例えば、情報の受信、情報の検索（例えば、メモリから）、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、又は情報の推測の１つ又は複数を含むことができる。
[121] さらに、本文書は種々の情報を「受信する」と言及し得る。受信は、「アクセス」と同様に、広義の用語であることが意図される。情報の受信は、例えば、情報へのアクセス又は情報の検索（例えば、メモリから）の１つ又は複数を含むことができる。さらに、「受信」は通常、いずれにせよ、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、又は情報の消去等の動作中に関わる。
[122] 当業者には明らかになるように、実施態様は、例えば、記憶又は送信することができる情報を搬送するようにフォーマットされた多種多様な信号を生成することができる。情報は、例えば、方法を実行する命令又は記載された実施態様の１つにより生成されたデータを含むことができる。例えば、信号は、記載された実施形態のビットストリームを搬送するようにフォーマットすることができる。そのような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を使用）又はベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームの符号化及び符号化データストリームを用いての搬送波の変調含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報であることができる。信号は、既知のように、多種多様な異なる有線又は無線リンクを介して伝送することができる。信号は、プロセッサ可読媒体、例えば非一時的コンピュータ可読媒体に記憶することができる。
[123] 一般に、少なくとも１つの実施形態は、ビデオ情報を符号化する方法であって、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含む方法を含むことができる。
[124] 少なくとも１つの実施形態は、１つ又は複数のプロセッサを備えた、ビデオ情報を符号化する装置であって、１つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成される装置を含むことができる。
[125] 少なくとも１つの実施形態は、ビデオ情報を復号化する方法であって、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を復号化することとを含む方法を含むことができる。
[126] 少なくとも１つの実施形態は、１つ又は複数のプロセッサを備えた、ビデオ情報を復号化する装置であって、１つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成される装置を含むことができる。
[127] 少なくとも１つの実施形態は、局所照明補償モデルを取得することは、動き補償情報に含まれる少なくとも１つの動きベクトルに基づいてビデオ情報の照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含む、本明細書に記載される方法又は装置を含むことができる。
[128] 方法の実施形態の一例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる複数の動きベクトルに基づいてビデオ情報の照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含む複数のサブブロックを有する符号化単位を含み、複数の動きベクトルは、サブブロックの第１行目に含まれる各サブブロック及びサブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた動きベクトルの群を含み、少なくとも１つのモデルパラメータを決定することは、動きベクトルの群に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[129] 方法の実施形態の別の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を復号化することとを含み、ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含む複数のサブブロックを有する符号化単位を含むことができ、動き補償情報は、サブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた第１の組の動きベクトル及びサブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた第２の組の動きベクトルを含み、局所照明補償モデルを取得することは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、少なくとも１つのモデルパラメータを決定することは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[130] 方法の実施形態の別の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、ビデオ情報は、複数のサブブロックを有する符号化単位を含み、第１の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第１のサブブロックが関連付けられ、少なくとも１つのモデルパラメータを決定することは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[131] 方法の実施形態の別の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、第１の動きベクトルには符号化単位の中心が関連付けられ、少なくとも１つのモデルパラメータを決定することは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[132] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、複数の動きベクトルの少なくとも１つに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、符号化単位に含まれる複数のサブブロックは、サブブロックの第１行目及びサブブロックの第１列目を含み、複数の動きベクトルは、サブブロックの第１行目に含まれる各サブブロック及びサブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた動きベクトルの群を含み、少なくとも１つのモデルパラメータを決定することは、動きベクトルの群に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[133] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、符号化単位に含まれる複数のサブブロックは、サブブロックの第１行目及びサブブロックの第１列目を含み、動き補償情報は、サブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた第１の組の動きベクトルと、サブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた第２の組の動きベクトルと、を含み、局所照明補償モデルを取得することは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、少なくとも１つのモデルパラメータを決定することは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[134] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することと、を含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、第１の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第１のサブブロックが関連付けられ、少なくとも１つのモデルパラメータを決定することは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[135] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、第１の動きベクトルには、符号化単位の中心が関連付けられ、少なくとも１つのモデルパラメータを決定することは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[136] 装置の実施形態の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成され、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、動き補償情報に含まれる複数の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含む複数のサブブロックを有する符号化単位を含み、複数の動きベクトルは、サブブロックの第１行目に含まれる各サブブロック及びサブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた動きベクトルの群を含み、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、動きベクトルの群に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
[137] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成され、ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含む複数のサブブロックを有する符号化単位を含み、動き補償情報は、サブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた第１の組の動きベクトルと、サブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた第２の組の動きベクトルとを含み、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
[138] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成され、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、ビデオ情報は、複数のサブブロックを有する符号化単位を含み、第１の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第１のサブブロックが関連付けられ、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することと、を行うように更に構成される。
[139] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成され、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、第１の動きベクトルには符号化単位の中心が関連付けられ、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
[140] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成され、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、複数の動きベクトルの少なくとも１つに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、符号化単位に含まれる複数のサブブロックは、サブブロックの第１行目及びサブブロックの第１列目を含み、複数の動きベクトルは、サブブロックの第１行目に含まれる各サブブロック及びサブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた動きベクトルの群を含み、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、動きベクトルの群に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
[141] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することと、
を行うように構成され、符号化単位に含まれる複数のサブブロックは、サブブロックの第１行目及びサブブロックの第１列目を含み、動き補償情報は、サブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた第１の組の動きベクトルと、サブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた第２の組の動きベクトルとを含み、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することと、を行うように更に構成される。
[142] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することと、を行うように構成され、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、第１の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第１のサブブロックが関連付けられ、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することと、を行うように更に構成される。
[143] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することと、
を行うように構成され、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、第１の動きベクトルには、符号化単位の中心が関連付けられ、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することと、を行うように更に構成される。
[144] 方法の実施形態の例は、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる複数の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含む複数のサブブロックを有する符号化単位を含み、複数の動きベクトルは、サブブロックの第１行目に含まれる各サブブロック及びサブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた動きベクトルの群を含み、少なくとも１つのモデルパラメータを決定することは、動きベクトルの群に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[145] 方法の実施形態の別の例は、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することと、
を含むことができ、ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含む複数のサブブロックを有する符号化単位を含み、動き補償情報は、サブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた第１の組の動きベクトルと、サブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた第２の組の動きベクトルとを含み、局所照明補償モデルを取得することは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、少なくとも１つのモデルパラメータを決定することは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[146] 方法の実施形態の別の例は、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、ビデオ情報は、複数のサブブロックを有する符号化単位を含み、第１の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第１のサブブロックが関連付けられ、少なくとも１つのモデルパラメータを決定することは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[147] 方法の実施形態の別の例は、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、第１の動きベクトルには符号化単位の中心が関連付けられ、少なくとも１つのモデルパラメータを決定することは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[148] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、局所照明補償モデルを取得することは、複数の動きベクトルの少なくとも１つに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、符号化単位に含まれる複数のサブブロックは、サブブロックの第１行目及びサブブロックの第１列目を含み、複数の動きベクトルは、サブブロックの第１行目に含まれる各サブブロック及びサブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた動きベクトルの群を含み、少なくとも１つのモデルパラメータを決定することは、動きベクトルの群に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することと、を含む。
[149]方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、符号化単位に含まれる複数のサブブロックは、サブブロックの第１行目及びサブブロックの第１列目を含み、動き補償情報は、サブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた第１の組の動きベクトルと、サブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた第２の組の動きベクトルと、を含み、局所照明補償モデルを取得することは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、少なくとも１つのモデルパラメータを決定することは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[150] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、第１の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第１のサブブロックが関連付けられ、少なくとも１つのモデルパラメータを決定することは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[151] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含み、第１の動きベクトルには、符号化単位の中心が関連付けられ、少なくとも１つのモデルパラメータを決定することは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
[152] 装置の実施形態の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、動き補償情報に含まれる複数の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含む複数のサブブロックを有する符号化単位を含み、複数の動きベクトルは、サブブロックの第１行目に含まれる各サブブロック及びサブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた動きベクトルの群を含み、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、動きベクトルの群に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
[153] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含む複数のサブブロックを有する符号化単位を含み、動き補償情報は、サブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた第１の組の動きベクトルと、サブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた第２の組の動きベクトルとを含み、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、少なくとも１つのモデルパラメータを決定するため、１つ又は複数のプロセッサは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
[154] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、ビデオ情報は、複数のサブブロックを有する符号化単位を含み、第１の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第１のサブブロックが関連付けられ、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することと、を行うように更に構成される。
[155] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、第１の動きベクトルには符号化単位の中心が関連付けられ、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
[156] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、複数の動きベクトルの少なくとも１つに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、符号化単位に含まれる複数のサブブロックは、サブブロックの第１行目及びサブブロックの第１列目を含み、複数の動きベクトルは、サブブロックの第１行目に含まれる各サブブロック及びサブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた動きベクトルの群を含み、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、動きベクトルの群に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
[157] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、符号化単位に含まれる複数のサブブロックは、サブブロックの第１行目及びサブブロックの第１列目を含み、動き補償情報は、サブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた第１の組の動きベクトルと、サブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた第２の組の動きベクトルとを含み、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、第１の組の動きベクトルの第１のサブセット又は第２の組の動きベクトルの第２のサブセットの１つ又は複数に基づいて疑似Ｌ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
[158] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、第１の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第１のサブブロックが関連付けられ、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することと、を行うように更に構成される。
[159] 装置の実施形態の別の例は、１つ又は複数のプロセッサを備えることができ、１つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、複数のサブブロックのそれぞれ１つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、局所照明補償モデルを取得するために、１つ又は複数のプロセッサは、動き補償情報に含まれる第１の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定するように更に構成され、第１の動きベクトルには、符号化単位の中心が関連付けられ、少なくとも１つのモデルパラメータを決定するために、１つ又は複数のプロセッサは、第１の動きベクトルに基づいてＬ字形を形成する１組の再構築されたサンプルを取得することと、１組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
[160] サブブロックの第１行目及びサブブロックの第１列目を含む複数のサブブロックを有する符号化単位を含む本明細書に記載される少なくとも１つの実施形態の変形では、動きベクトルの第１のサブセットは、サブブロックの第１行目の中間位置に配置されたサブブロックに対応する第１の動きベクトルを含み、動きベクトルの第２のサブセットは、サブブロックの第１列目の中間位置に配置されたサブブロックに対応する第２の動きベクトルを含む。
[161] 符号化単位の複数のサブブロックを含む本明細書に記載される少なくとも１つの実施形態の変形では、複数のサブブロックは、サブブロックの複数の群に分割することができ、局所照明補償モデルのモデルパラメータは、サブブロックの複数の群のそれぞれで決定することができ、局所照明補償モデルに基づいて符号化又は復号化することは、各群に決定された少なくとも１つのモデルパラメータのそれぞれを使用してサブブロックの各群に関連付けられたビデオ情報を処理することを含むことができる。
[162] サブブロックを群化することを含む本明細書に記載される少なくとも１つの実施形態の変形では、サブブロックの各群におけるサブブロックの第１の数及び符号化単位のために形成される群の第２の数の少なくとも一方は、符号化単位のサイズに基づいて選択される。
[163] ビデオ情報を符号化することを含む本明細書に記載される少なくとも１つの実施形態の変形は、局所照明補償モデルの適用に関連付けられたレート歪みメトリックを特定することと、レート歪みメトリックに基づく値を有する符号化ビデオ情報内のシンタックス要素を提供することとを含むことができる。
[164] 線形モデルの少なくとも１つのモデルパラメータを含む本明細書に記載される少なくとも１つの実施形態の変形では、少なくとも１つのモデルパラメータは、スケーリング係数及びオフセットに対応する一対の第１及び第２のモデルパラメータを含むことができる。
[165] 実施形態の別の例は、１つ又は複数のプロセッサにより実行されると、本明細書に記載される任意の方法を実行する計算命令を含むコンピュータプログラム製品を含むことができる。
[166] 実施形態の別の例は、本明細書に記載される任意の方法を実行する命令をコンピュータに実行させる実行可能プログラム命令を記憶した非一時的コンピュータ可読媒体を含むことができる。
[167] 実施形態の別の例は、本明細書に記載される方法により生成された符号化ビデオ情報を含むようにフォーマットされたビットストリームを含むことができる。
[168] 本明細書に記載されるビットストリームの実施形態の変形は、局所照明補償モデル及びアフィン動きモデルに基づいてビデオ情報の符号化を示すインジケータと、局所照明補償モデル及びアフィン動きモデルに基づいて符号化されたピクチャ情報とを含む符号化ビデオ情報を含むことができる。
[169] 実施形態の別の例は、本明細書に記載される装置と、（ｉ）信号を受信するように構成されたアンテナであって、信号はビデオ情報を表すデータを含む、アンテナ、（ｉｉ）ビデオ情報を表すデータを含む周波数帯域に受信信号を制限するように構成された帯域リミッタ、及び（ｉｉｉ）ビデオ情報からの画像を表示するように構成されたディスプレイの少なくとも１つとを備えるデバイスを含むことができる。
[170] 少なくとも１つの実施形態は、本明細書に記載される方法又は装置を含むことができ、複数のサブブロックのうちの選択された１つは、サブブロックの最上行の中間位置に配置され、複数のサブブロックのうちの第３のサブブロックは、サブブロックの左列の中間位置に配置される。
[171] 少なくとも１つの実施形態は、本明細書に記載される方法又は装置を含むことができ、線形モデルの少なくとも１つのモデルパラメータは、スケーリング係数及びオフセットに対応する一対の第１及び第２のモデルパラメータを含み、線形モデルに基づいてビデオ情報を処理することは、スケーリング係数及びオフセットを使用して線形モデルに基づいて現在の符号化単位の複数のサブブロックを処理することを含む。
[172] 少なくとも１つの実施形態は、本明細書に記載される方法又は装置を含むことができ、線形モデルの少なくとも１つのモデルパラメータは、スケーリング係数及びオフセットに対応する一対の第１及び第２のモデルパラメータを含み、線形モデルに基づいてビデオ情報を処理することは、現在の符号化単位の複数のサブブロックをサブブロックの複数の群に分割することと、サブブロックの複数の群のそれぞれに一対のモデルパラメータを決定して、複数の対のパラメータを生成することと、複数の対のパラメータのそれぞれ１つを使用して線形モデルに基づいてビデオ情報のサブブロックの群のそれぞれを処理することと、を含む。
[173] 少なくとも１つの実施形態は、本明細書に記載されるようにサブブロックの複数の群を処理する方法又は装置を含むことができ、サブブロックの各群におけるサブブロックの第１の数及び現在の符号化単位に形成されるサブ群の第２の数の少なくとも一方は、現在の符号化単位のサイズに基づいて選択される。
[174] 少なくとも１つの実施形態は、本明細書に記載され、局所照明補償モデルの適用に基づいてレート歪みメトリックを特定することと、レート歪みメトリックに基づく値を有する符号化ビデオ情報内のシンタックス要素を提供することとを更に含む、ビデオ情報を符号化する方法又は装置を含むことができる。
[175] 少なくとも１つの実施形態は、符号化ビデオ情報を含むようにフォーマットされたビットストリームを含むことができ、符号化ビデオ情報は、局所照明補償モデル及びアフィン動きモデルに基づいてビデオ情報の符号化を示すインジケータと、局所照明補償モデル及びアフィン動きモデルに基づいて符号化されたピクチャ情報とを含む。
[176] 少なくとも１つの実施形態は、本明細書に記載され、（ｉ）信号を受信するように構成されたアンテナであって、信号はビデオ情報を表すデータを含む、アンテナ、（ｉｉ）ビデオ情報を表すデータを含む周波数帯域に受信信号を制限するように構成された帯域リミッタ、及び（ｉｉｉ）ビデオ情報からの画像を表示するように構成されたディスプレイの少なくとも１つを更に含む任意の実施形態による装置を含むデバイスを含むことができる。
[177]少なくとも１つの実施形態では、ＬＩＣツールがアクティブ化される場合、アフィンモデルに提案されるＬＩＣパラメータは、他のサブＣＵベースの動きベクトル予測（すなわち、「サブブロックベースの一時的統合候補（subblock0-based temporal merging candidates）」：代替時間動きベクトル予測（ＡＴＭＶＰ：Alternative Temporal Motion Vector Prediction)、時空間動きベクトル予測（ＳＴＭＶＰ：Spatial-Temporal Motion Vector Prediction）、及びサブブロックベースの時間運動ベクトル予測（ＳｂＴＭＶＰ：Subblock-based Temporal Motion Vector Prediction））について導出される。
[178] 少なくとも１つの実施形態は、予測符号化及び／又は復号化を用いて補償を可能にすることを含む。
[179] 本明細書に記載される、提案されたＬＩＣパラメータを導出する１つ又は複数の実施形態は、スケーリング、オフセット、及び／又は選択のパラメータ等の他のパラメータの導出に適用することができる。
[180] 少なくとも１つの他の実施形態は、予測ブロック（動きベクトルが指すブロック）のピクセル値を変更することを含むことができ、変更は多種多様なフィルタ、例えば、本明細書に記載される照明補償及び／又は色補償によるものであることができる。
[181] 少なくとも１つの他の実施形態は、イントラ符号化により決定される予測子を含む種々のモードにより生成される動きベクトルに基づく予測子ブロックを含むことができる。
[182] 少なくとも１つの実施形態は、アフィン動き予測がインターモード符号化される符号化単位（ＣＵ）に利用される場合、ブロックベースの局所照明補償（ＬＩＣ）ツールを可能にすることを含む。
[183] 少なくとも１つの実施形態は、アフィンモデルを利用して動きベクトルを表すインターモード符号化ＣＵに対してＬＩＣツールをアクティブ化することを含む。
[184] 少なくとも１つの実施形態は、例えば、アフィンモデルを使用するインターモード符号化ＣＵに対してＬＩＣツールをアクティブ化することを含み、アフィンＡＭＶＰ及びアフィン統合のＬＩＣフラグ判定と、対応するＬＩＣパラメータ導出ルールとを含むことができる。
[185] 少なくとも１つの実施形態は、符号化設計の複雑性の増大を最小限に抑えながら良好な補償効率（レート歪み性能）を提供するように、ＬＩＣツールをいかにアクティブ化し、アフィン動き予測を使用するインターモード符号化に関連するルールをいかに作成するかを含む。
[186] 少なくとも１つの実施形態は、
・アフィン動き予測を使用してインターモード符号化ＣＵのＬＩＣフラグを決定することであって、アフィンＡＭＶＰの場合、ＬＩＣツールにわたる反復ループを提供して、ＬＩＣフラグを決定することができ、ＬＩＣフラグはビットストリームにシグナリングすることができ、他の場合、アフィン統合では、統合モードでの動き情報コピーと同様にして、ＬＩＣフラグは近傍ブロックからコピーすることができ、例えば、近傍ブロックに関連付けられた少なくとも１つのアフィン制御ポイントに基づいてＬＩＣフラグを決定する、決定すること
を含む。［エンコーダ／デコーダ］
[187] 少なくとも１つの実施形態は、
・ＬＩＣフラグが真であるとの判断に基づいて、対応するＬＩＣパラメータを導出するルールを作成し、通常、幾つかの態様、例えば、第１のサブブロックの１つの動きベクトルの使用又は第１行目／列中のサブブロックの複数の動きベクトルの考慮が含まれ、別の例として、ＣＵ全体にＬＩＣパラメータの一意の対が生成され、別の例として、ＬＩＣパラメータの複数の対が導出される、作成すること
を含む。［エンコーダ／デコーダ］
[188] 少なくとも１つの実施形態は、例えば、アフィン動き予測を使用してインターモード符号化ＣＵにＬＩＣツールを可能にすることにより、照明変動の考慮に基づいてブロック予測サンプルの補正を改善する。
[189] 本明細書に記載される種々の実施形態は、符号化効率の改善という利点を提供する。
[190] 少なくとも１つの実施形態は、ＬＩＣがアフィンモデルにおいて非アクティブ化されることを含む手法が、照明変動を考慮することにより補正されないことに起因してアフィン動き補償を介したブロック予測サンプルに起因して、潜在的な性能を完全には組み込むことができないという本発明者らの認識に基づく。
[191] 少なくとも１つの実施形態では、ＬＩＣパラメータは、エンコーダ側でビットストリームに符号化する追加のビットを必要とせずに、デコーダ側でパラメータを導出する１つ又は複数の実施形態に従って導出することができ、それにより、追加の負担をビットレートに導入しない。
[192] 少なくとも１つの実施形態は、デコーダがエンコーダ側で使用される実施形態に基づいてＬＩＣパラメータ等のパラメータを導出できるようにするシグナリングシンタックス要素を挿入することを含み得る。
[193] 少なくとも１つの実施形態では、デコーダにおいて適用される方法は、シグナリングに挿入される１つ又は複数のシンタックス要素に基づいて選択することができる。
[194] 少なくとも１つの実施形態では、ビットストリーム又は信号は、記載されたシンタックス要素又はその変形の１つ又は複数を含む。
[195] 少なくとも１つの実施形態は、記載されたシンタックス要素又はその変形の１つ又は複数を含むビットストリーム又は信号を作成、送信、受信、及び／又は復号化することを含む。
[196] 記載される実施形態の何れか１つを実施するＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
[197] 記載される実施形態の何れか１つを実施し、生成された画像を表示する（例えば、モニタ、画面、又は他のタイプのディスプレイを使用して）ＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
[198] 符号化画像を含む信号を受信するようにチャネルを調整し（例えば、チューナーを使用して）、記載される実施形態の何れか１つに従って画像を処理するＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
[199] 無線で符号化画像を含む信号を受信し（例えば、アンテナを使用して）、記載される実施形態の何れか１つに従って画像を処理するＴＶ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
[200] 実施形態は、実行されると、本明細書に記載される任意の実施形態による方法を実行するプログラムコードを含むコンピュータプログラム製品を含み得る。
[201] 実施形態は、実行されると、本明細書に記載される任意の実施形態による方法を実行するプログラムコードを記憶するコンピュータ可読媒体を含み得る。
[202] 本開示全体を通して、種々の他の一般化された及び具体化された発明及び特許請求の範囲もサポートされ考慮される。

Claims (25)

  1. 方法であって、
    ビデオ情報における照明変化及び前記ビデオ情報に関連付けられた動き補償情報に含まれる複数の動きベクトルに基づいて、前記ビデオ情報に関連付けられた局所照明補償情報を取得することと、
    前記局所照明補償情報及び前記動き補償情報に基づいて前記ビデオ情報を符号化することと、
    を含み、
    前記ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含むブロックを含み、前記複数の動きベクトルは、前記サブブロックの第１行目に含まれるサブブロックの第１のサブセット又は前記サブブロックの第１列目に含まれるサブブロックの第２のサブセットの１つ又は複数に関連付けられた動きベクトルの群を含み、
    前記局所照明補償情報を取得することは、前記動きベクトルの群に基づいて取得された１組の再構築されたサンプルに基づく、方法。
  2. 方法であって、
    ビデオ情報における照明変化及び前記ビデオ情報に関連付けられた動き補償情報に含まれる複数の動きベクトルに基づいて、前記ビデオ情報に関連付けられた局所照明補償情報を取得することと、
    前記局所照明補償情報及び前記動き補償情報に基づいて前記ビデオ情報を復号化することと、
    を含み、
    前記ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含むブロックを含み、前記複数の動きベクトルは、前記サブブロックの第１行目に含まれるサブブロックの第１のサブセット又は前記サブブロックの第１列目に含まれるサブブロックの第２のサブセットの１つ又は複数に関連付けられた動きベクトルの群を含み、
    前記局所照明補償情報を取得することは、前記動きベクトルの群に基づいて取得された１組の再構築されたサンプルに基づく、方法。
  3. 装置であって、
    １つ又は複数のプロセッサ
    を備え、前記１つ又は複数のプロセッサは、
    ビデオ情報における照明変化及び前記ビデオ情報に関連付けられた動き補償情報に含まれる複数の動きベクトルに基づいて、前記ビデオ情報に関連付けられた局所照明補償情報を取得することと、
    前記局所照明補償情報及び前記動き補償情報に基づいて前記ビデオ情報を符号化することと、
    を行うように構成され、
    前記ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含むブロックを含み、前記複数の動きベクトルは、前記サブブロックの第１行目に含まれるサブブロックの第１のサブセット又は前記サブブロックの第１列目に含まれるサブブロックの第２のサブセットの１つ又は複数に関連付けられた動きベクトルの群を含み、
    前記局所照明補償情報は、前記動きベクトルの群に基づいて取得された１組の再構築されたサンプルに基づいて取得される、装置。
  4. 装置であって、
    １つ又は複数のプロセッサ
    を備え、前記１つ又は複数のプロセッサは、
    ビデオ情報における照明変化及び前記ビデオ情報に関連付けられた動き補償情報に含まれる複数の動きベクトルに基づいて、前記ビデオ情報に関連付けられた局所照明補償情報を取得することと、
    前記局所照明補償情報及び前記動き補償情報に基づいて前記ビデオ情報を復号化することと、
    を行うように構成され、
    前記ビデオ情報は、サブブロックの第１行目及びサブブロックの第１列目を含むブロックを含み、前記複数の動きベクトルは、前記サブブロックの第１行目に含まれるサブブロックの第１のサブセット又は前記サブブロックの第１列目に含まれるサブブロックの第２のサブセットの１つ又は複数に関連付けられた動きベクトルの群を含み、
    前記局所照明補償情報は、前記動きベクトルの群に基づいて取得された１組の再構築されたサンプルに基づいて取得される、装置。
  5. 前記動き補償情報はアフィン動きモデルに基づいて取得される、請求項１に記載の方法。
  6. 前記１組の再構築されたサンプルは疑似Ｌ字形を形成する、請求項１に記載の方法。
  7. 前記局所照明補償情報を取得することは、前記動きベクトルの群に基づいて前記ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含む、請求項１に記載の方法。
  8. 前記少なくとも１つのモデルパラメータを決定することは、前記動きベクトルの群に含まれる少なくとも第１の動きベクトルに基づき、前記第１の動きベクトルは、前記ビデオ情報ブロックの左上隅に配置された複数のサブブロックのうちの第１の１つに関連付けられる、請求項７に記載の方法。
  9. 前記動きベクトルの群は、前記サブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた第１の組の動きベクトル及び前記サブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた第２の組の動きベクトルを含み、前記第１の組の動きベクトルは、前記サブブロックの第１行目の中間位置に配置された前記複数のサブブロックのうちの第１のサブブロックに対応する第１の動きベクトルを含み、前記第２の組の動きベクトルは、前記サブブロックの第１列目の中間位置に配置された前記複数のサブブロックのうちの第２のサブブロックに対応する第２の動きベクトルを含む、請求項１に記載の方法。
  10. 前記ビデオ情報ブロックの前記複数のサブブロックは、サブブロックの複数の群に分けられ、前記少なくとも１つのモデルパラメータは、前記サブブロックの複数の群のそれぞれに決定され、前記局所照明補償情報に基づいて符号化することは、サブブロックの各群に決定された少なくとも１つのモデルパラメータのそれぞれを使用して各サブブロック群に関連付けられたビデオ情報を処理することを含む、請求項７に記載の方法。
  11. 前記アフィン動きモデルは、前記ビデオ情報ブロックの近傍のビデオ情報の第２のブロックに関連付けられた少なくとも１つのアフィン制御ポイントに基づいて局所照明補償フラグを決定することを含むアフィン統合動きモデルを含む、請求項５に記載の方法。
  12. 前記線形モデルの前記少なくとも１つのモデルパラメータは、スケーリング係数及びオフセットに対応する一対の第１及び第２のモデルパラメータを含む、請求項７に記載の方法。
  13. １つ又は複数のプロセッサにより実行されると、請求項２に記載の方法を実行する計算命令を含むコンピュータプログラム。
  14. デバイスであって、
    請求項４に記載の装置と、
    （ｉ）信号を受信するように構成されたアンテナであって、前記信号はビデオ情報を表すデータを含む、アンテナ、（ｉｉ）前記ビデオ情報を表す前記データを含む周波数帯域に前記受信信号を制限するように構成された帯域リミッタ、及び（ｉｉｉ）前記ビデオ情報からの画像を表示するように構成されたディスプレイの少なくとも１つと、
    を備えるデバイス。
  15. テレビジョン、テレビジョン信号受信機、セットトップボックス、ゲートウェイデバイス、モバイルデバイス、セル電話、タブレット、ラップトップコンピュータ若しくはデスクトップコンピュータを含むコンピュータ、サーバ、又は他の電子デバイスの１つを含む、請求項１４に記載のデバイス。
  16. 前記動き補償情報はアフィン動きモデルに基づいて取得される、請求項３に記載の装置。
  17. 前記１組の再構築されたサンプルは疑似Ｌ字形を形成する、請求項３に記載の装置。
  18. 前記局所照明補償情報を取得することは、前記動きベクトルの群に基づいて前記ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含む、請求項３に記載の装置。
  19. 前記動き補償情報はアフィン動きモデルに基づいて取得される、請求項２に記載の方法。
  20. 前記１組の再構築されたサンプルは疑似Ｌ字形を形成する、請求項２に記載の方法。
  21. 前記局所照明補償情報を取得することは、前記動きベクトルの群に基づいて前記ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含む、請求項２に記載の方法。
  22. 前記動きベクトルの群は、前記サブブロックの第１行目に含まれる各サブブロックのそれぞれ１つに関連付けられた第１の組の動きベクトル及び前記サブブロックの第１列目に含まれる各サブブロックのそれぞれ１つに関連付けられた第２の組の動きベクトルを含み、前記第１の組の動きベクトルは、前記サブブロックの第１行目の中間位置に配置された前記複数のサブブロックのうちの第１のサブブロックに対応する第１の動きベクトルを含み、前記第２の組の動きベクトルは、前記サブブロックの第１列目の中間位置に配置された前記複数のサブブロックのうちの第２のサブブロックに対応する第２の動きベクトルを含む、請求項２に記載の方法。
  23. 前記動き補償情報はアフィン動きモデルに基づいて取得される、請求項４に記載の装置。
  24. 前記１組の再構築されたサンプルは疑似Ｌ字形を形成する、請求項４に記載の装置。
  25. 前記局所照明補償情報を取得することは、前記動きベクトルの群に基づいて前記ビデオ情報における照明変化の線形モデルの少なくとも１つのモデルパラメータを決定することを含む、請求項４に記載の装置。
JP2020561924A 2018-05-09 2019-05-07 ビデオ符号化及び復号化の動き補償 Active JP7545331B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305568.0 2018-05-09
EP18305568 2018-05-09
PCT/US2019/031068 WO2019217383A1 (en) 2018-05-09 2019-05-07 Motion compensation for video encoding and decoding

Publications (3)

Publication Number Publication Date
JP2021523604A JP2021523604A (ja) 2021-09-02
JPWO2019217383A5 JPWO2019217383A5 (ja) 2022-05-13
JP7545331B2 true JP7545331B2 (ja) 2024-09-04

Family

ID=66589929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020561924A Active JP7545331B2 (ja) 2018-05-09 2019-05-07 ビデオ符号化及び復号化の動き補償

Country Status (6)

Country Link
US (2) US11902560B2 (ja)
EP (1) EP3791578A1 (ja)
JP (1) JP7545331B2 (ja)
CN (1) CN112385211B (ja)
MX (2) MX2020011906A (ja)
WO (1) WO2019217383A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116939198A (zh) 2018-10-23 2023-10-24 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间预测编解码
CN112868239B (zh) * 2018-10-23 2023-05-30 北京字节跳动网络技术有限公司 并置的局部照明补偿和帧内块复制编解码
CN113261280B (zh) * 2018-12-26 2024-09-03 交互数字Vc控股公司 运动补偿边界滤波
CN113302918A (zh) 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
WO2020147804A1 (en) 2019-01-17 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Use of virtual candidate prediction and weighted prediction in video processing
US11632563B2 (en) * 2019-02-22 2023-04-18 Qualcomm Incorporated Motion vector derivation in video coding
CN116248891A (zh) * 2019-03-14 2023-06-09 华为技术有限公司 帧间预测的方法及相关装置
EP3751853A1 (en) * 2019-06-12 2020-12-16 InterDigital VC Holdings, Inc. Method and apparatus for encoding a block and decoding based on illumination compensation
CN110446044B (zh) * 2019-08-21 2022-08-09 浙江大华技术股份有限公司 线性模型预测方法、装置、编码器及存储装置
CN111031319B (zh) * 2019-12-13 2022-04-19 浙江大华技术股份有限公司 一种局部光照补偿预测方法、终端设备及计算机存储介质
CN118541976A (zh) * 2021-09-29 2024-08-23 Lg 电子株式会社 图像编码/解码方法和设备以及具有存储在其上的比特流的记录介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3059970B1 (en) * 2013-10-18 2020-01-08 LG Electronics Inc. Method predicting view synthesis in multi-view video coding and method for constituting merge candidate list by using same
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
CN112929660B (zh) 2015-10-13 2023-12-26 三星电子株式会社 用于对图像进行编码或解码的方法和设备
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
US10880570B2 (en) * 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
WO2018070152A1 (en) * 2016-10-10 2018-04-19 Sharp Kabushiki Kaisha Systems and methods for performing motion compensation for coding of video data
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
CN107147911B (zh) 2017-07-05 2019-07-26 中南大学 基于局部亮度补偿lic的快速帧间编码模式选择方法及装置
WO2019093597A1 (ko) * 2017-11-09 2019-05-16 삼성전자 주식회사 움직임 벡터 해상도에 기초하여 영상을 부호화하는 장치 및 방법, 및 복호화 장치 및 방법
EP3738310A4 (en) * 2018-01-11 2021-08-11 Qualcomm Incorporated VIDEO ENCODING USING LOCAL LIGHTING COMPENSATION

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN, Huanbang et al.，CE1-related: Combination of LIC and affine，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 March 2019, [JVET-N0171-v1]，JVET-N0171 (version 1)，ITU-T，2019年03月13日，＜URL:https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0171-v1.zip＞: JVET-N0171-v1.docx: pp.1-6
CHEN, Jianle et al.，Algorithm Description of Joint Exploration Test Model 7 (JEM 7)，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017, [JVET-G1001-v1]，JVET-G1001 (version 1)，ITU-T，2017年08月19日，＜URL:https://jvet-experts.org/doc_end_user/documents/7_Torino/wg11/JVET-G1001-v1.zip＞: JVET-G1001-v1.docx: pp.17-20
TOMA, Tadamasa et al.，Description of SDR video coding technology proposal by Panasonic，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018, [JVET-J0020-v1]，JVET-J0020 (version 1)，ITU-T，2018年04月02日，＜URL:https://jvet-experts.org/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0020-v1.zip＞: JVET-J0020-v1.docx: pp.49-51

Also Published As

Publication number Publication date
JP2021523604A (ja) 2021-09-02
MX2024006250A (es) 2024-06-05
US20210243465A1 (en) 2021-08-05
US20240121423A1 (en) 2024-04-11
US11902560B2 (en) 2024-02-13
EP3791578A1 (en) 2021-03-17
CN112385211B (zh) 2024-10-22
WO2019217383A1 (en) 2019-11-14
MX2020011906A (es) 2021-02-18
CN112385211A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
JP7545331B2 (ja) ビデオ符号化及び復号化の動き補償
RU2770185C2 (ru) Множество кандидатов предсказателя для компенсации движения
US20220159277A1 (en) Method and apparatus for video encoding and decoding with subblock based local illumination compensation
US11689727B2 (en) Local illumination compensation for video encoding and decoding using stored parameters
JP7507279B2 (ja) ビデオ符号化および復号における適応的照度補償のための方法および装置
CN111418209A (zh) 用于视频编码和视频解码的方法和装置
JP7509763B2 (ja) ビデオエンコーディングおよびデコーディングにおけるアフィンモードシグナリング
CN111527750B (zh) 用于视频编码和解码中的自适应照明补偿的方法和装置
JP7532388B2 (ja) ビデオの符号化および復号における動きベクトルの導出
CN117597933A (zh) 空间局部光照补偿
JP2024059909A (ja) 画像エンコーディングおよびデコーディングのための方法およびデバイス
US20220303526A1 (en) Illumination compensation for video encoding and decoding
JP7543301B2 (ja) 境界平滑化された動き補償に基づくオプティカルフローによるビデオ符号化および復号化の方法および装置
US20220174306A1 (en) Data dependency in coding/decoding
US12063376B2 (en) Local illumination compensation for video encoding and decoding using stored parameters
JP2024161411A (ja) ビデオの符号化および復号における動きベクトルの導出
WO2023194103A1 (en) Temporal intra mode derivation
CN118975236A (zh) 时间帧内模式推导

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220502

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220502

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240625

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240823

R150 Certificate of patent or registration of utility model

Ref document number: 7545331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150