[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2023054290A - ビデオ符号化のための方法、装置及びコンピュータプログラム - Google Patents

ビデオ符号化のための方法、装置及びコンピュータプログラム Download PDF

Info

Publication number
JP2023054290A
JP2023054290A JP2023026885A JP2023026885A JP2023054290A JP 2023054290 A JP2023054290 A JP 2023054290A JP 2023026885 A JP2023026885 A JP 2023026885A JP 2023026885 A JP2023026885 A JP 2023026885A JP 2023054290 A JP2023054290 A JP 2023054290A
Authority
JP
Japan
Prior art keywords
intra
prediction
mode
block
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023026885A
Other languages
English (en)
Other versions
JP2023054290A5 (ja
Inventor
ジャオ,リアン
Liang Zhao
リィウ,シャン
Shan Liu
ジャオ,シン
Xin Zhao
リ,シアン
Xiang Li
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of JP2023054290A publication Critical patent/JP2023054290A/ja
Publication of JP2023054290A5 publication Critical patent/JP2023054290A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】本開示の態様はビデオ符号化のための方法及び装置を提供する。【解決手段】装置内の処理回路は、符号化されたビデオビットストリームから第1ブロックの予測情報を復号化する。第1ブロックは、非正方形ブロックであり、第1ブロックの予測情報は、正方形ブロックのための第1組のイントラ予測モードにおける第1イントラ予測モードを指示する。次に、処理回路は、第1イントラ予測モードが、正方形ブロックのための第1組のイントラ予測モードにおける、非正方形ブロックに対して無効にされたイントラ予測モードのサブセット内にあることを決定し、第1イントラ予測モードを、非正方形ブロックのための第2組のイントラ予測モードにおける第2イントラ予測モードに再マッピングする。また、処理回路は、第2イントラ予測モードに基づき、第1ブロックの少なくとも1つのサンプルを再構築する。【選択図】図1

Description

関連出願の相互参照
本出願は、2018年9月28日にて提出されたアメリカ特許出願第16/147,503号である「METHOD AND APPARATUS FOR VIDEO CODING(ビデオ符号化のための方法及び装置)」(今はアメリカ特許第10.284.866号になる)の優先権を主張し、その全内容を本明細書に援用により組み込み、当該アメリカ特許出願は、2018年7月2日にて提出されたアメリカ仮出願第62/693,050号である「METHODS AND APPARATUS FOR WIDE ANGULAR INTRA PREDICTION IN VIDEO COMPRESSION(ビデオ圧縮における広角イントラ予測のための方法及び装置)」の優先権を主張する。
技術分野
本開示は、一般的にビデオ符号化に関する実施形態を記載する。
本明細書で提供される記載は、本開示のコンテキストを一般的に提示することを目的とする。この背景技術で記載された作業について、現在指定された発明者の作業、及び出願時に従来技術に対する記載としての資格を具備していないおそれがある態様は、本開示に対する従来技術として明示的にも暗黙的にも認められていない。
ビデオの符号化及び復号化は、動き補償を伴うピクチャ間予測を使用して実行することができる。非圧縮のデジタルビデオは一連のピクチャを含んでもよく、各ピクチャの空間次元は、例えば1920×1080の輝度サンプル及び関連する色度サンプルである。当該一連のピクチャは、例えば、毎秒60枚ピクチャ又は60Hzの固定又は可変のピクチャレート(非公式にはフレームレートとも呼ばれる)を有することができる。非圧縮のビデオには、著しいビットレート要件がある。例えば、1サンプルあたり8ビットの1080p60 4:2:0ビデオ(60Hzフレームレートで1920×1080の輝度サンプルの解像度)は、約1.5Gbit/sに近い帯域幅が必要である。このようなビデオを1時間使用するには、600GB以上のストレージ容量が必要である。
ビデオ符号化及び復号化の目的の1つは、圧縮によってビデオ入力信号の冗長性を低減することである。圧縮は、以上に言及された帯域幅又はストレージスペースに対する要件を低減することに役立つことができ、場合によって、2桁以上低減されることがある。可逆圧縮、非可逆圧縮、及びそれらの組み合わせを採用できる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なレプリカを再構築する技術を指す。非可逆圧縮を使用する場合に、再構築された信号は、元の信号と異なる可能性があるが、元の信号と再構築された信号との間の歪みは十分に小さいから、再構築された信号は、予期のアプリケーションで有用にする。ビデオの場合に、非可逆圧縮は広く使用される。許容される歪み量は、アプリケーションに依存し、例えば、特定のコンシューマストリーミングアプリケーションのユーザーは、テレビ貢献アプリケーションのユーザーよりも高い歪みを許容する。達成可能な圧縮率は、許可/許容可能な歪みが高いほど、達成可能な圧縮率が高くなることを反映することができる。
ビデオ符号器と復号器とは、動き補償、変換、量子化及びエントロピー符号化が含まれた若干の幅広いタイプからの技術を使用できる。
ビデオコーデック技術は、イントラ符号化と呼ばれる技術を含めることができる。イントラ符号化では、サンプル値は、以前に再構築された参照ピクチャからのサンプル、又は他のデータを参照せず表現される。いくつかのビデオコーデックでは、ピクチャは空間的にサンプルブロックに細分化される。全てのサンプルブロックがイントラモードで符号化する場合、当該ピクチャはイントラピクチャであってもよい。イントラピクチャ及びその派生物(例えば、独立した復号器リフレッシュピクチャ)は、復号器の状態をリセットするために使用できるため、符号化されたビデオビットストリームとビデオセッション内の最初のピクチャ、又は静止画像として使用されることができる。イントラブロックのサンプルを変換することができ、また、エントロピー符号化を行う前に、変換係数を量子化することができる。イントラ予測は、プレ変換領域におけるサンプル値を最小化する技術である。場合によって、変換されたDC値が小さく、且つAC係数が小さいほど、特定の量子化ステップサイズで、エントロピー符号化されたブロックを表すために必要なビットが少なくなることがある。
例えばMPEG-2世代の符号化技術から知られているような通常イントラ符号化は、イントラ予測を使用していない。しかしながら、いくつかの新たなビデオ圧縮技術は、例えば、空間的に隣接するとともに、復号化順序で先行するデータブロックの符号化/復号化期間に取得されたメタデータ及び/又は周辺のサンプルデータから試みる技術を含む。以降、このような技術は「イントラ予測」技術と呼ばれる。なお、少なくともいくつかの場合に、イントラ予測は、再構築中の現在ピクチャからの参照データのみを使用し、参照画像からの参照データを使用しないことに注意されたい。
イントラ予測には多くの異なる形態があってもよい。特定のビデオ符号化技術では、1種以上のこのような技術を使用できる場合に、使用される技術をイントラ予測モードで符号化することができる。場合によって、モードは、サブモード及び/又はパラメータを有してもよく、サブモード及び/又はパラメータは、別個に符号化されるか、又はモードコードワードに含まれてもよい。特定のモード/サブモード/パラメータの組み合わせにどんなコードワードを使用するかということは、イントラ予測による符号化効率の利得に影響を与える可能性があるため、エントロピー符号化技術は、コードワードをビットストリームに変換するために使用されることができる。
特定のモードのイントラ予測はH.264を介して導入され、H.265において細分化され、例えば共同探索モデル(JEM)、多用途ビデオ符号化(VVC)、ベンチマークセット(BMS)などの新たな符号化技術では、さらに細分化される。既に使用可能なサンプルに属する隣接サンプル値を使用して予測器ブロックを形成できる。方向に従って、隣接サンプルのサンプル値を予測器ブロックにコピーする。使用中の方向への参照は、ビットストリームに符号化することができ、又はその自身は予測されることができる。
図1を参照し、H.265の35個の可能な予測方向から知られている9つの予測方向のサブセットは右下に描画される。矢印が収束する点(101)は、予測されたサンプルを表す。矢印は、サンプルが予測された方向を表す。例えば、矢印(102)は、右上の、水平と45度の角度をなす1つ以上のサンプルからサンプル(101)を予測することを表す。同様に、矢印(103)は、サンプル(101)の右下の、水平と22.5度の角度をなす1つ以上のサンプルからサンプル(101)を予測することを表す。
さらに図1を参照し、4×4個のサンプルの正方形ブロック(104)(太い破線で示される)は右上に描画される。正方形ブロック(104)は16個のサンプルが含まれ、各サンプルは、「S」、Y次元での位置(例えば、行インデックス)及びX次元での位置(例えば、列インデックス)によって表記される。例えば、サンプルS21は、Y次元での(上からの)2番目のサンプルと、X次元での(左側からの)1番目のサンプルである。同様に、サンプルS44は、ブロック(104)において、Y次元とX次元の両方での4番目のサンプルである。ブロックのサイズは4×4個のサンプルであるから、S44は、右下にある。さらに、同様の番号付けスキームに従う参照サンプルが示される。参照サンプルは、R、ブロック(104)に対するY位置(例えば、行インデックス)及びX位置(列インデックス)によって表記される。H.264とH.265の両方で、予測サンプルは、再構築中のブロックに隣接しているため、負の値を使用する必要がない。
イントラピクチャ予測は、合図された予測方向に応じて、隣接するサンプルから、参照サンプル値をコピーすることで行われる。例えば、符号化ビデオビットストリームにはシグナリングが含まれ、シグナリングは、当該ブロックに対して、矢印(102)と一致する予測方向、即ち、右上にある、水平と45度の角度をなす1つ以上の予測サンプルからサンプルを予測することを示すと想定する。この場合、同じR05からサンプルS41、S32、S23及びS14を予測する。次に、R08からサンプルS44を予測する。
特定の場合、特に、方向が45度で割り切れない場合に、参照サンプルを計算するために、複数の参照サンプルの値を例えば補間によって組み合わせることができる。
ビデオ符号化技術の開発に伴い、可能な方向の数も増えている。H.264(2003年)では、9つの異なる方向を表すことができる。これは、H.265(2013年)では33個に増えて、開示時に、JEM/VVC/BMSは最大65個の方向をサポートできる。最も可能性の高い方向を認識するための実験が既に行われており、エントロピー符号化における特定の技術は、少ないビット数でこれらの可能な方向を表すために使用されることで、比較的に不可能な方向について特定のペナルティを受ける。また、隣接する復号化されたブロックで使用される隣接方向に基づき、方向自体を予測ことができる場合がある。
図2は、JEMの65個イントラ予測方向に基づき、時間とともに増加する予測方向の数を示す概略図201である。
符号化されたビデオビットストリームにおける方向を示すためのイントラ予測方向ビットのマッピングは、異なるビデオ符号化技術によって異なってもよく、例えば、予測方向、イントラ予測モード、コードワードを含む単純な直接マッピングから、最も可能性の高いモードや類似の手法を含む複雑な適応スキームまで、さまざまな範囲がある。当業者はこれらの技術に容易に精通することができる。ただし、全ての場合に、他の特定の方向よりも統計的にビデオコンテンツに表示される可能性がないいくつかの方向が存在する。ビデオ圧縮は、冗長性を減少することを目的とするから、適切に機能するビデオ符号化技術では、可能性の高い方向に比べると、これらの比較的に不可能な方向は、より大きいビット数で表される。
本開示の態様は、ビデオ符号化のための方法及び装置を提供する。いくつかの例では、装置は処理回路を含む。処理回路は、符号化されたビデオビットストリームから第1ブロックの予測情報を復号化する。第1ブロックは、非正方形ブロックであり、第1ブロックの予測情報は、正方形ブロックのための第1組のイントラ予測モードにおける第1イントラ予測モードを指示する。次に、処理回路は、第1イントラ予測モードが、正方形ブロックのための第1組のイントラ予測モードにおける、非正方形ブロックに対して無効にされたイントラ予測モードのサブセット内にあることを決定し、第1イントラ予測モードを、非正方形ブロックのための第2組のイントラ予測モードにおける第2イントラ予測モードに再マッピングする。第2組のイントラ予測モードは、無効にされたイントラ予測モードのサブセットが含まれていない。また、処理回路は、第2イントラ予測モードに基づき、第1ブロックの少なくとも1つのサンプルを再構築する。
いくつかの例では、処理回路は、第2イントラ予測モードに関連付けられたイントラ予測角度パラメータを決定し、イントラ予測角度パラメータに基づき、第1ブロックの少なくとも1つのサンプルを再構築する。例では、第2イントラ予測モードは、第1組のイントラ予測モードに含まれていない。
いくつかの例では、処理回路は、第1ブロックの形状に基づき、第2組のイントラ予測モードを決定する。いくつかの実施形態において、処理回路は、第1ブロックのアスペクト比を計算し、第1ブロックのアスペクト比に基づき、非正方形ブロックに対して無効にされたイントラ予測モードのサブセットを決定する。例として、第1ブロックの長辺と短辺の比率が2以下である場合、無効にされたイントラ予測モードのサブセットは、第1数の無効にされたイントラ予測モードを有し、当該比率が4以上である場合、無効にされたイントラ予測モードのサブセットは、第2数の無効にされたイントラ予測モードを有し、第2数は第1数よりも大きい。
また、いくつかの実施形態において、処理回路は、第1ブロックの幅が第1ブロックの高さよりも大きいことを決定し、第1イントラ予測モードが第1組のイントラ予測モードにおける左下対角線方向モードから始める無効にされたイントラ予測モードのサブセット内にあることを検出する。他の実施形態において、処理回路は、第1ブロックの高さが第1ブロックの幅よりも大きいことを決定し、第1イントラ予測モードが第1組のイントラ予測モードにおける右上対角線方向モードから始める無効にされたイントラ予測モードのサブセット内にあることを検出する。
いくつかの実施形態において、処理回路は、第1ブロックの幅が第1ブロックの高さよりも大きいことを決定し、第1イントラ予測モードに関連付けられたモード番号に値を加算することで、第1イントラ予測モードを第2イントラ予測モードに再マッピングする。いくつかの例では、処理回路は、第1ブロックの高さが第1ブロックの幅よりも大きいことを決定し、第1イントラ予測モードに関連付けられたモード番号から値を差し引くことで、第1イントラ予測モードを第2イントラ予測モードに変換する。
本開示の態様はさらに、命令を記憶するための非一時的なコンピュータ読み取り可能な媒体を提供し、当該命令は、ビデオ復号化のためのコンピュータによって実行されるときに、ビデオ符号化のための方法をコンピュータに実行させる。
開示されたテーマのさらなる特徴、性質及び様々な利点は、以下の詳細な説明及び図面からより明確になる。
H.265によるイントラ予測モードのサブセットの概略図である。 JEMによるイントラ予測方向の説明図である。 実施形態による通信システム(300)の簡略化ブロック図の概略図である。 実施形態による通信システム(400)の簡略化ブロック図の概略図である。 実施形態による復号器の簡略化ブロック図の概略図である。 実施形態による符号器の簡略化ブロック図の概略図である。 他の実施形態による符号器のブロック図を示す。 他の実施形態による復号器のブロック図を示す。 広角モードの例を説明するための概略図(900)を示す。 通常イントラ予測モードを広角モードに再マッピングするいくつかの例を示す。 通常イントラ予測モードを広角モードに再マッピングするいくつかの他の例を示す。 通常イントラ予測方向及び広角イントラ予測方向を説明するための概略図を示す。 本開示の実施形態による処理(1300)を概略的に説明するためのフローチャートを示す。 実施形態によるコンピュータシステムの概略図である。
図3は、本開示の実施形態による通信システム(300)の簡略化ブロック図を示す。通信システム(300)は、例えばネットワーク(350)を介して互いに通信することができる複数の端末機器を含む。例えば、通信システム(300)は、ネットワーク(350)を介して互いに接続された第1対の端末機器(310)、(320)を含む。図3の例では、第1対の端末機器(310)、(320)は一方向のデータ送信を実行する。例えば、端末機器(310)は、ビデオデータ(例えば、端末機器(310)によってキャプチャされたビデオピクチャストリーム)を符号化して、ネットワーク(350)を介して別の端末機器(320)に送信することができる。符号化されたビデオデータは、1つ以上の符号化されたビデオビットストリームの形で送信されてもよい。端末機器(320)はネットワーク(350)から符号化されたビデオデータを受信し、符号化されたビデオデータを復号化することで、ビデオピクチャを復元し、復元されたビデオデータに基づきビデオピクチャを表示することができる。一方向のデータ送信はメディアサービスアプリケーションなどでは一般的である。
別の実施形態において、通信システム(300)は、符号化されたビデオデータの双方向送信を実行するための第2対の端末機器(330)、(340)を含み、当該双方向送信は、例えば、ビデオ会議中に発生する可能性がある。双方向データ送信について、例では、端末機器(330)、(340)のそれぞれは、ビデオデータ(例えば、端末機器によってキャプチャされたビデオピクチャストリーム)を符号化して、ネットワーク(350)を介して端末機器(330)、(340)のうちの別の端末機器に送信することができる。端末機器(330)、(340)のそれぞれはさらに、端末機器(330)、(340)のうちの別の端末機器から送信された、符号化されたビデオデータを受信してもよく、さらに、符号化されたビデオデータを復号化して、ビデオピクチャを復元し、復元されたビデオデータに基づき、ビデオピクチャを、アクセス可能な表示機器に表示することができる。
図3の例において、端末機器(310)、(320)、(330)及び(340)は、サーバ、パーソナルコンピュータ及びスマートフォンとして示されるが、本開示の原理はこれに限定されていない。本開示の実施形態はラップトップコンピュータ、タブレット、メディアプレイヤー及び/又は専用のビデオ会議機器に適用される。ネットワーク(350)は、端末機器(310)、(320)、(330)及び(340)の間で符号化されたビデオデータを送信するための、例えば有線(配線)及び/又は無線通信ネットワークが含まれた任意の数のネットワークを示す。通信ネットワーク(350)は回線交換及び/又はパケット交換チャネルにおいてデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアエリア及び/又はインターネットを含む。本出願で説明される目的からすると、以下で説明されない限り、ネットワーク(350)のアーキテクチャ及びトポロジは、本開示の動作にとって重要ではないかもしれない。
図4はビデオ符号器及びビデオ復号器のストリーミング環境における配置を示す。開示されたテーマの適用例として、開示されたテーマは、ビデオ会議、デジタルテレビが含まれる、ビデオをサポートする他のアプリケーションに等価的に適用され、CD、DVD、メモリースティックなどが含まれるデジタルメディアに圧縮ビデオなどを記憶する。
ストリーミングシステムはキャプチャサブシステム(413)を含むことができ、当該キャプチャサブシステムは、例えば非圧縮のビデオピクチャストリーム(402)を作成するための、デジタル撮影装置のようなビデオソース(401)を含むことができる。例では、ビデオピクチャストリーム(402)はデジタル撮影装置から撮影されたサンプルを含む。ビデオピクチャストリーム(402)は、ビデオソース(401)に連結されるビデオ符号器(403)が含まれる電子機器(420)によって処理され、ビデオピクチャストリームは、符号化されたビデオデータ(404)(又は符号化されたビデオビットストリーム)と比較して多いデータ量を強調するように、太い線として描画される。ビデオ符号器(403)は、以下で詳細に説明される開示されるテーマの各態様を実現又は実施するために、ハードウェア、ソフトウェア又はそれらの組み合わせを含むことができる。符号化されたビデオデータ(404)(又は符号化されたビデオビットストリーム(404))は、将来の使用のために、ストリーミングサーバ(405)に記憶されることができ、符号化されたビデオデータは、ビデオピクチャストリーム(402)と比較して少ないデータ量を強調するように、細い線として描画される。1つ以上のストリーミングクライアントサブシステム、例えば図4におけるクライアントサブシステム(406)、(408)は、ストリーミングサーバ(405)にアクセスすることで、符号化されたビデオデータ(404)のレプリカ(407)、(409)を検索することができる。クライアントサブシステム(406)は、例えば電子機器(430)におけるビデオ復号器(410)を含んでもよい。ビデオ復号器(410)は、符号化されたビデオデータの着信レプリカ(407)を復号化するとともに、ディスプレイ(412)(例えば、スクリーン)又は他のレンダリング機器(図示せず)でレンダリングできる発信ビデオピクチャストリーム(411)を作成する。一部のストリーミングシステムにおいて、符号化されたビデオデータ(404)、(407)及び(409)(例えば、ビデオビットストリーム)を特定のビデオ符号化/圧縮規格に従って符号化することができる。これらの規格の例にはITU-T H.265勧告書が含まれる。例では、開発中のビデオ符号化規格は、非公式に多用途ビデオ符号化又はVVCと呼ばれる。開示されたテーマはVVCのコンテキストで使用することができる。
なお、電子機器(420)、(430)は、他の部品(図示せず)を含むことができる。例えば、電子機器(420)はビデオ復号器(図示せず)を含んでもよく、電子機器(430)はビデオ符号器(図示せず)を含んでもよい。
図5は、本開示の実施形態によるビデオ復号器(510)のブロック図を示す。ビデオ復号器(510)は電子機器(530)に含まれることができる。電子機器(530)は受信機(531)(例えば、受信回路)を含むことができる。ビデオ復号器(510)は、図4の例におけるビデオ復号器(410)の代わりに使用されてもよい。
受信機(531)は、ビデオ復号器(510)によって復号化される1つ以上の符号化されたビデオシーケンスを受信することができ、同じ実施形態又は別の実施形態において、1度に1つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号化は、他の符号化されたビデオシーケンスと独立している。チャネル(501)から符号化されたビデオシーケンスを受信することができ、チャネル(612)は、符号化されたビデオデータを記憶するための記憶装置へのハードウェア/ソフトウェアリンクであってもよい。受信機(531)は、他のデータが付けられた符号化されたビデオデータを受信することができ、他のデータは、例えばそれぞれの使用エンティティ(図示せず)に転送される符号化されたオーディオデータ及び/又は補助データストリームである。受信機(531)は符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークのジッタを防止するために、バッファメモリ(515)を受信機(531)とエントロピー復号器/パーサー(520)(以下「パーサー(520)」と呼ばれる)との間に連結することができる。特定の適用において、バッファメモリ(515)はビデオ復号器(510)の一部である。他の適用において、バッファメモリはビデオ復号器(510)の外部にあってもよい(図示せず)。さらなる他の適用において、例えば、ネットワークのジッタを防止するために、ビデオ復号器(510)の外部にあるバッファメモリ(図示せず)が存在し、また、例えば、放送タイミングを処理するために、ビデオ復号器(510)の内部にある別のバッファメモリ(515)が存在してもよい。受信機(531)は、十分な帯域幅及び制御可能性を有する記憶/転送機器、又は等時性リアルタイムネットワーク(isosynchronous network)からデータを受信する際、バッファメモリ(515)を必要としない可能性があり、又はバッファメモリ(315)が小さくなってもよい。例えばインターネットのようなベストエフォート型パケットネットワークで使用するために、バッファメモリ(515)を必要とする可能性があり、バッファメモリ(315)は比較的大きく、有利に適応サイズを有してもよく、少なくとも部分的に、オペレータシステム又はビデオ復号器(510)の外部にある同様の要素(図示せず)に実現されてもよい。
ビデオ復号器(510)は、符号化されたビデオシーケンスに基づきシンボル(521)を再構築するために、パーサー(520)を含むことができる。これらのシンボルのカテゴリには、ビデオ復号器(510)の動作を管理するための情報、及びディスプレイ(512)(例えば、スクリーン)のような表示機器を制御するための情報が含まれてもよく、当該表示機器(512)は、図5に示すように、電子機器(530)の構成部分ではないが、電子機器(530)に連結されることができる。表示機器のための制御情報は、補充拡張情報(SEIメッセージ)又はビデオユーザビリティ情報(VUI)パラメータセットフラグメント(図示せず)という形であってもよい。パーサー(520)は、受信された、符号化されたビデオシーケンスを解析/エントロピー復号化することができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術又は規格に準拠することができ、可変長符号化、ハフマン符号化(Huffman coding)、文脈依存の有無にかかわらず算術符号化などを含む様々な原理に従うことができる。パーサー(520)は、グループに対応する少なくとも1つのパラメータに基づき、符号化されたビデオシーケンスから、ビデオ復号器における画素のサブグループのうちの少なくとも1つのサブグループのためのサブグループパラメータセットを抽出する。サブグループには、ピクチャグループ(Group of Pictures、GOP)、ピクチャ、タイル(tile)、スライス、マクロブロック、符号化ユニット(Coding Unit、CU)、ブロック、変換ユニット(Transform Unit、TU)、予測ユニット(Prediction Unit、PU)などが含まれる。パーサー(520)はさらに符号化されたビデオシーケンスから、変換係数、量子化器パラメータ値、動きベクトルなどの情報を抽出してもよい。
パーサー(520)はバッファメモリ(515)から受信されたビデオシーケンスに対してエントロピー復号化/解析動作を実行することで、シンボル(521)を作成することができる。
シンボル(521)の再構築は、符号化されたビデオピクチャ又はその一部のタイプ(例えば、インターピクチャとイントラピクチャ、インターブロックとイントラブロック)及び他の要因によって、複数の異なるユニットに関与する。関与するユニット及び関与形態は、パーサー(520)が符号化されたビデオシーケンスから解析したサブグループ制御情報によって制御されることができる。簡潔のために、パーサー(520)と以下の複数のユニットとの間の、このようなサブグループ制御情報の流れは図示されていない。
既に言及された機能ブロックに加えて、ビデオ復号器(510)は、概念的には、以下の複数の機能ユニットに細分化されることができる。ビジネス上の制約の下で運行する実際の実現形態において、これらのユニットのうちの複数のユニットは互いに密接に相互作用するとともに、少なくとも部分的に互いに統合することができる。しかしながら、開示されたテーマを説明するために、概念的に以下の機能ユニットに細分化されることは適切である。
第1ユニットはスケーラ/逆変換ユニット(551)である。スケーラ/逆変換ユニット(551)はパーサー(520)から、量子化変換係数及び制御情報をシンボル(521)として受信し、使用する変換方式、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む。スケーラ/逆変換ユニット(551)は、サンプル値を含む、アグリゲーター(555)に入力することができるブロックを出力することができる。
場合によって、スケーラ/逆変換ユニット(551)の出力サンプルは、イントラ符号化ブロック、即ち、以前に再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの以前に再構築された部分からの予測情報を使用することができるブロックに関連することができる。このような予測情報は、イントラピクチャ予測ユニット(552)によって提供されることができる。ある場合に、イントラピクチャ予測ユニット(552)は、現在ピクチャバッファ(558)から取得された、周囲が既に再構築された情報を使用して、再構成中のブロックと同じサイズ及び形状のブロックを生成する。例えば、現在ピクチャバッファ(558)は、部分的に再構築された現在ピクチャ及び/又は完全に再構築された現在ピクチャをバッファリングする。ある場合に、アグリゲーター(555)は、サンプルごとに、イントラ予測ユニット(552)によって生成された予測情報を、スケーラ/逆変換ユニット(551)によって提供される出力サンプル情報に加算する。
他の場合に、スケーラ/逆変換ユニット(551)の出力サンプルは、インター符号化された、潜在的に動き補償されたブロックに関連することができる。このような場合に、動き補償予測ユニット(553)は、参照ピクチャメモリ(557)にアクセスして、予測のためのサンプルを取得することができる。ブロックに関するシンボル(521)に基づき、取得されたサンプルを動き補償した後、これらのサンプルは、アグリゲーター(555)によってスケーラ/逆変換ユニット(551)の出力(このような場合に、残差サンプル又は残差信号と呼ばれる)に加算され、出力サンプル情報が生成される。動き補償予測ユニット(553)が予測サンプルを取得するための参照ピクチャメモリ(557)内のアドレスは、動きベクトルによって制御され、動きベクトルは動き補償予測ユニット(553)によって取得され、例えばX、Y及び参照ピクチャ成分を有するシンボル(521)の形を有する。動き補償はさらに、サブサンプルの正確な動きベクトルが使用されるときに参照ピクチャメモリ(557)から抽出されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。
アグリゲーター(555)の出力サンプルは、ループフィルタユニット(556)において、様々なループフィルタリング技術によって処理される。ビデオ圧縮技術は、ループ内フィルタ技術を含むことができるが、ビデオ圧縮技術は、符号化されたピクチャ又は符号化されたビデオシーケンスの(復号化の順序で)前の部分を復号化する期間に取得されたメタ情報、及び以前に再構築されループフィルタリング処理されたサンプル値に応答することもできる。ループ内フィルタ技術は、符号化されたビデオシーケンス(符号化されたビデオビットストリームとも呼ばれる)に含まれており、パーサー(520)からのシンボル(521)としてループフィルタユニット(556)に提供されるパラメータによって制御される。
ループフィルタユニット(556)の出力は、将来のピクチャ間予測で使用されるために、表示機器(512)に出力され、参照ピクチャメモリ(557)に記憶されることができるサンプルストリームであってもよい。
ある符号化されたピクチャは完全に再構成されたら、将来の予測のための参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応する符号化されたピクチャは完全に再構成され、符号化されたピクチャは(例えばパーサー(520)を介して)参照ピクチャとして認識されると、現在ピクチャバッファ(558)は、参照ピクチャメモリ(557)の一部になることができ、その後の符号化されたピクチャの再構成を開始する前に、新たな現在ピクチャバッファを再割り当てることができる。
ビデオ復号器(510)は、例えばITU-T H.265勧告書の規格における所定のビデオ圧縮技術に従って復号化動作を実行することができる。符号化されたビデオシーケンスがビデオ圧縮技術又は規格の構文、及びビデオ圧縮技術又は規格に記録されたプロファイルの両方に従うという意味で、符号化されたビデオシーケンスは、使用されているビデオ圧縮技術又は規格によって指定された構文に準拠することができる。具体的に、プロファイルはビデオ圧縮技術又は規格で使用可能な全てのツールから、このプロファイルに応じて使用可能な唯一のツールとして、特定のツールを選択することができる。符号化されたビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルによって限定される範囲内にあることもコンプライアンスに必要である。場合によって、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート(例えば、メガサンプル/秒で測定)、最大参照ピクチャサイズなどを制限する。レベルによって設置される制限は、場合によって、符号化されたビデオシーケンスにおいて合図されるHRDバッファが管理するためのメタデータ、及び仮想参照復号器(HRD)の仕様によってさらに限定されることがある。
実施形態において、受信機(531)は、符号化されたビデオとともに、追加の(冗長な)データを受信することができる。追加のデータは、符号化されたビデオシーケンスの一部として含まれてもよい。追加のデータは、ビデオ復号器(510)によって使用されることで、データを適切に復号化し、及び/又は元のビデオデータをより正確に再構築することができる。追加のデータは、例えば、時間、空間又は信号対雑音比(SNR)拡張層、冗長スライス、冗長ピクチャ、前方誤り訂正コードなどの形であり得る。
図6は、本開示の実施形態によるビデオ符号器(603)のブロック図を示す。ビデオ符号器(603)は、電子機器(620)に含まれる。電子機器(620)は、送信機(640)(例えば、送信回路)を含む。ビデオ符号器(603)は、図4の例におけるビデオ符号器(403)の代わりに使用されてもよい。
ビデオ符号器(603)は、ビデオソース(601)(ビデオソースは図6の例における電子機器(620)の一部ではない)からビデオサンプルを受信し、当該ビデオソースは、ビデオ符号器(603)によって符号化されるビデオ画像をキャプチャすることができる。別の例では、ビデオソース(601)は、電子機器(620)の一部である。
ビデオソース(601)は、ビデオ符号器(603)によって符号化される、デジタルビデオサンプルストリームの形であるソースビデオシーケンスを提供することができ、当該デジタルビデオサンプルストリームは、任意の適切なビット深度(例えば:8ビット、10ビット、12ビットなど)、任意の色空間(例えば、BT.601 Y CrCB、RGBなど)、及び任意の適切なサンプリング構成(例えば、Y CrCb 4:2:0、Y CrCb 4:4:4)を有することができる。メディアサービスシステムにおいて、ビデオソース(601)は、事前に準備されたビデオを記憶するための記憶装置であってもよい。ビデオ会議システムにおいて、ビデオソース(601)は、ビデオシーケンスとして、ローカル画像情報をキャプチャするための撮影装置であってもよい。ビデオデータは、順番に見たときに、動きを伝える複数の個別のピクチャとして提供できる。ピクチャ自体は、空間画素アレイとして編成でき、使用するサンプリング構成、色空間などに依存し、各画素には1つ以上のサンプルが含まれてもよい。画素とサンプルとの間の関係は、当業者にとって容易に理解できる。以下、サンプルを中心に説明する。
実施形態によれば、ビデオ符号器(603)は、ソースビデオシーケンスのピクチャを、リアルタイムで、又はアプリケーションで必要とする他の任意の時間制約の下で、符号化されたビデオシーケンス(643)に符号化及び圧縮することができる。適切的な符号化速度で実行することは、コントローラ(650)の機能の1つである。いくつかの実施形態において、コントローラ(650)は、以下で説明する他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。簡潔のために、結合は示されていない。コントローラ(650)によって設置されるパラメータは、レート制御関連パラメータ(ピクチャスキップ、量子化器、レート歪み最適化技術のλ値など)、ピクチャサイズ、ピクチャグループ(GOP)配置、最大動きベクトル検索範囲などを含んでもよい。コントローラ(650)は、他の適切な機能を有するように配置されてもよく、これらの機能は特定のシステム設計に対して最適化されたビデオ符号器(603)に関連する。
いくつかの実施形態において、ビデオ符号器(603)は、符号化ループで動作するように配置される。非常に簡略化した説明として、例では、符号化ループは、ソース符号器(630)(例えば、符号化対象となる入力ピクチャと参照ピクチャに基づき、シンボルストリームのようなシンボルを作成することを担当する)と、ビデオ符号器(603)に埋め込まれる(ローカル)復号器(633)とを含むことができる。復号器(633)は、(リモート)復号器がサンプルデータを作成するのと同じ方法で、シンボルを再構築して、サンプルデータを作成する(開示されたテーマでは考慮されるビデオ圧縮技術において、シンボルと符号化ビデオビットストリームとの間の任意の圧縮は可逆であるためである)。再構築されたサンプルストリーム(サンプルデータ)は参照ピクチャメモリ(634)に入力される。シンボルストリームの復号化により、復号器の位置(ローカル又はリモート)と関係がないビットが正確である(bit-exact)結果が得られるから、参照ピクチャメモリ(634)におけるコンテンツはローカル符号器とリモート符号器との間でもビットが正確である。言い換えれば、符号器の予測部分は、復号化中に予測を使用するときに復号器が「見る」サンプル値とまったく同じサンプル値を、参照ピクチャサンプルとして見る。参照ピクチャの同期性(及び、例えばチャネル誤差から、同期性を維持できない場合に発生するドリフト)の当該基本原理もいくつかの関連分野に適用される。
「ローカル」復号器(633)の動作は、図5を結合しながら以上で詳細に説明した「リモート」復号器(例えばビデオ復号器(510))の動作と同じであってもよい。ただし、さらに、図5を簡単に参照し、シンボルは、使用可能であり、エントロピー符号器(645)とパーサー(520)がシンボルを符号化されたビデオシーケンスに無損失で符号化/復号化する場合、バッファメモリ(515)とパーサー(520)とを含めるビデオ復号器(510)のエントロピー復号化部分は、ローカル復号器(633)で完全に実現されることができないおそれがある。
この場合、復号器に存在する解析/エントロピー復号化に加えて、任意の復号器技術も、必然的に基本的に同じ機能形式で対応する符号器に存在することが分かる。このため、開示されたテーマは、復号器の動作に着目する。符号器技術と完全に説明された復号器技術とは相互に逆であるため、符号器技術の説明を簡略化できる。より詳しい説明は、特定の領域のみで必要であり、以下で提供される。
動作中に、いくつかの例では、ソース符号器(630)は、動き補償予測符号化を実行することができ、即ち、ビデオシーケンスからの、「参照ピクチャ」として指定される1つ以上の以前に符号化されたピクチャを参照して、入力ピクチャに対して予測符号化を実行する。このようにして、符号化エンジン(632)は、入力ピクチャの画素ブロックと、入力ピクチャの予測参照として選択されることができる参照ピクチャの画素ブロックとの間の差を符号化する。
ローカルビデオ復号器(633)は、ソース符号器(630)によって作成されるシンボルに基づき、参照ピクチャとして指定されることができるピクチャの符号化されたビデオデータを復号化することができる。符号化エンジン(632)の動作は、有利には、非可逆処理であってもよい。符号化されたビデオデータはビデオ復号器(図6には図示せず)で復号化され得る場合、再構築されたビデオシーケンスは、一般的に、多少の誤差を伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオ復号器(633)は、参照ピクチャに対してビデオ復号器によって実行される復号化処理を複製し、再構築された参照ピクチャを参照ピクチャキャッシュ(634)に記憶することができる。このようにして、(送信誤差なしに)リモートビデオ復号器から取得される再構築参照ピクチャとして、ビデオ符号器(603)は、共通コンテンツを有する再構築参照ピクチャのレプリカをローカルに記憶することができる。
予測器(635)は、符号化エンジン(632)に対して予測検索を実行する。即ち、符号化対象となる新たなピクチャに対して、予測器(635)は、参照ピクチャメモリ(634)から、新たなピクチャの適切な予測参照として使用可能な、(候補参照画素ブロックとしての)サンプルデータ又は例えば、参照ピクチャ動きベクトル、ブロック形状などのメタデータを検索することができる。予測器(635)は、サンプルブロックにおいて、画素ブロックごとに動作することで、適切な予測参照を見つけることができる。場合によって、予測器(635)によって取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ(634)に記憶される複数の参照ピクチャから抽出される予測参照を有することができる。
コントローラ(650)は、例えばビデオデータを符号化するためのパラメータとサブグループパラメータの設置を含むソース符号器(630)の符号化動作を管理することができる。
全ての前記機能ユニットの出力は、エントロピー符号器(645)でエントロピー符号化されることができる。エントロピー符号器(645)は、当業者に知られている技術(例えばハフマン符号化、可変長符号化、算術符号化など)に従って、シンボルを可逆圧縮することで、各機能ユニットによって生成されたシンボルを、符号化されたビデオシーケンスに変換する。
送信機(640)は、通信チャネル(660)を介した送信の準備をするように、エントロピー符号器(645)によって作成される符号化されたビデオシーケンスをバッファリングすることができ、当該通信チャネルは、符号化されたビデオデータを記憶するための記憶装置へのハードウェア/ソフトウェアリンクであってもよい。送信機(640)は、ビデオ符号器(603)からの符号化されたビデオデータと、送信対象となる他のデータ、例えば符号化されたオーディオデータ及び/又は補助データストリーム(ソースは図示せず)をマージすることができる。
コントローラ(650)は、ビデオ符号器(603)の動作を管理することができる。符号化中に、コントローラ(650)は、各符号化されたピクチャに、対応するピクチャに適用される符号化技術に影響を与える可能性がある特定の符号化ピクチャタイプを割り当てる。例えば、一般的に、ピクチャは次のピクチャタイプのいずれかとして割り当てられる。
イントラピクチャ(Iピクチャ)は、シーケンス内の任意の他のピクチャを予測のソースとして使用せず、符号化及び復号化されるピクチャであってもよい。一部のビデオコーデックは、例えば独立復号器リフレッシュ(「IDR」)ピクチャを含む異なるタイプのイントラピクチャを許容する。当業者は、Iピクチャのそれらの変形、及び対応する用途及び特徴を知っている。
予測ピクチャ(Pピクチャ)は、次のようなイントラ予測又はインター予測を使用して符号化及び復号化するピクチャであってもよく、当該イントラ予測又はインター予測は多くとも1つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。
双方向予測ピクチャ(Bピクチャ)は、次のようなイントラ予測又はインター予測を使用して符号化及び復号化するピクチャであってもよく、当該イントラ予測又はインター予測は多くとも2つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。同様に、複数の予測ピクチャは、2つを超える参照ピクチャと関連するメタデータを、単一のブロックの再構築に適用する。
ソースピクチャは一般的に、空間的に複数のサンプルブロック(例えば、それぞれ4×4、8×8、4×8又は16×16個のサンプルのブロック)に細分化され、ブロックごとに符号化されることができる。これらのブロックは、他の(符号化された)ブロックを参照して、予測的に符号化されることができ、前記他のブロックは、ブロックの対応するピクチャに適用される符号化割当によって決定される。例えば、Iピクチャのブロックは、非予測的に符号化されるか、又はこれらのブロックは、同じピクチャの符号化されたブロックを参照して、予測的に符号化(空間的予測又はイントラ予測)されてもよい。Pピクチャの画素ブロックは、以前に符号化された1つの参照ピクチャを参照して、空間的予測又は時間的予測を介して予測的に符号化されてもよい。Bピクチャのブロックは、以前に符号化された1つ又は2つの参照ピクチャを参照して、空間的予測又は時間的予測を介して予測的に符号化されてもよい。
ビデオ符号器(603)は、例えばITU-T H.265勧告書における所定のビデオ符号化技術又は規格に基づき符号化動作を実行することができる。その動作において、ビデオ符号器(603)は、入力ビデオシーケンスにおける時間的と空間的冗長性を使用した予測的符号化動作が含まれる様々な圧縮動作を実行することができる。従って、符号化されたビデオデータは、使用されているビデオ符号化技術又は規格によって指定される構文に準拠している。
実施形態において、送信機(640)は、符号化されたビデオとともに追加のデータを送信する。ソース符号器(630)は、符号化されたビデオシーケンスの一部として、このようなデータを含んでもよい。追加のデータは、時間/空間/SNR拡張層、冗長ピクチャとスライスのような他の形式の冗長データ、補充拡張情報(SEI)メッセージ、ビデオユーザビリティ情報(VUI)パラメータセットフラグメントなどを含んでもよい。
ビデオは、時系列における複数のソースピクチャ(ビデオピクチャ)としてキャプチャされてもよい。イントラピクチャ予測(一般的にイントラ予測と簡略化される)は、特定のピクチャにおける空間相関性を使用し、インターピクチャ予測は、ピクチャの間の(時間的又はその他の)相関性を使用する。例では、現在ピクチャと呼ばれる符号化/復号化中の特定のピクチャは、ブロックに分割される。現在ピクチャにおけるブロックは、ビデオにおける、以前に符号化され、まだバッファリングされている参照ピクチャにおける参照ブロックに類似している場合、動きベクトルと呼ばれるベクトルによって、現在ピクチャにおけるブロックを符号化することができる。動きベクトルは、参照ピクチャにおける参照ブロックを指し、複数の参照ピクチャを使用する場合、参照ピクチャを認識するための第3次元を有してもよい。
いくつかの実施形態において、インターピクチャ予測に双方向予測技術を使用することができる。双方向予測技術によれば、ビデオにおける現在ピクチャよりも復号化順で前にある(ただし、それぞれ表示順で過去と将来となる可能性がある)第1参照ピクチャと第2参照ピクチャの2つの参照ピクチャを使用する。第1参照ピクチャにおける第1参照ブロックを指す第1動きベクトル、及び第2参照ピクチャにおける第2参照ブロックを指す第2動きベクトルによって、現在ピクチャにおけるブロックを符号化することができる。ブロックは第1参照ブロックと第2参照ブロックとの組み合わせによって予測することができる。
また、符号化効率を向上させるために、インターピクチャ予測にマージモード技術を使用する。
本開示のいくつかの実施形態によれば、ブロックごとにインターピクチャ予測及びイントラピクチャ予測のような予測を実行する。例えば、HEVC規格によれば、ビデオピクチャシーケンスにおけるピクチャは、圧縮のために符号化ツリーユニット(CTU)に分割され、ピクチャにおけるCTUは、例えば64×64画素、32×32画素又は16×16画素などの同じサイズを有する。CTUは一般的に、1つの輝度CTBと2つの色度CTBという3つの符号化ツリーブロック(CTB)を含む。各CTUは、1つ以上の符号化ユニット(CU)に再帰的に四分木で分割することができる。例えば、64×64画素であるCTUを1つの64×64画素であるCU、又は4つの32×32画素であるCU、或いは16個の16×16画素であるCUに分割してもよい。例では、各CUを分析して、インター予測タイプ又はイントラ予測タイプなどのCUのための予測タイプを決定する。CUは、時間的及び/又は空間的予測可能性によって、1つ以上の予測ユニット(PU)に分割される。各PUは一般的に、輝度予測ブロック(PB)と2つの色度PBとを含む。実施形態において、符号化(符号化/復号化)における予測動作は、予測ブロックごとに実行される。予測ブロックの例として、輝度予測ブロックを使用する場合、予測ブロックは、8×8画素、16×16画素、8×16画素、16×8画素などの画素値(例えば、輝度値)の行列を含む。
図7は、本開示の他の実施形態によるビデオ符号器(703)の図を示す。ビデオ符号器(703)は、ビデオピクチャシーケンスにおける現在ビデオピクチャ内のサンプル値の処理ブロック(例えば、予測ブロック)を受信するとともに、処理ブロックを符号化ビデオシーケンスの一部である符号化ピクチャに符号化するように配置される。例では、ビデオ符号器(703)は、図4の例におけるビデオ符号器(403)の代わりに使用される。
HEVCの例において、ビデオ符号器(703)は、処理ブロックのためのサンプル値の行列を受信し、処理ブロックは、例えば8×8サンプルの予測ブロックなどである。ビデオ符号器(703)は、例えばレート歪み最適化によって、イントラモード、インターモード、双方向予測モードのいずれを使用して処理ブロックを最適に符号化するかということを決定する。処理ブロックをイントラモードで符号化する場合、ビデオ符号器(703)はイントラ予測技術によって、処理ブロックを符号化ピクチャに符号化し、処理ブロックをインターモード又は双方向予測モードで符号化する場合、ビデオ符号器(703)はそれぞれインター予測又は双方向予測技術によって、処理ブロックを符号化ピクチャに符号化することができる。あるビデオ符号化技術では、マージモードは、インターピクチャ予測サブモードであってもよく、予測器の外部の符号化された動きベクトル成分を使用せず、1つ以上の動きベクトル予測器から動きベクトルを取得する。ある他のビデオ符号化技術では、テーマブロックに適用される動きベクトル成分が存在し得る。例では、ビデオ符号器(703)は、例えば処理ブロックのモードを決定するためのモード決定モジュール(図示せず)などの他のコンポーネントを含む。
図7の例では、ビデオ符号器(703)は、図7に示すように連結されたインター符号器(730)、イントラ符号器(722)、残差計算器(723)、スイッチ(726)、残差符号器(724)、汎用コントローラ(721)及びエントロピー符号器(725)を有する。
インター符号器(730)は、現在ブロック(例えば、処理ブロック)のサンプルを受信し、当該ブロックと参照ピクチャにおける1つ以上の参照ブロック(例えば、前のピクチャとその後のピクチャにおけるブロック)とを比較し、インター予測情報(例えば、インター符号化技術による冗長情報記述、動きベクトル、マージモード情報)を生成し、インター予測情報に基づき、任意の適切な技術を使用してインター予測結果(例えば、予測されたブロック)を計算するように配置される。いくつかの例では、参照ピクチャは、符号化されたビデオ情報に基づき復号化された復号化の参照ピクチャである。
イントラ符号器(722))は、現在ブロック(例えば、処理ブロック)のサンプルを受信し、場合によって、当該ブロックと同じピクチャにおける符号化されたブロックとを比較し、変換後の量子化係数を生成し、また、場合によって、イントラ予測情報(例えば、1つ以上のイントラ符号化技術によるイントラ予測方向情報)をさらに生成するように配置される。
汎用コントローラ(721)は、汎用制御データを決定し、汎用制御データに基づき、ビデオ符号器(703)の他のコンポーネントを制御するように配置される。例では、汎用コントローラ(721)はブロックのモードを決定し、当該モードに基づき、制御信号をスイッチ(726)に提供する。例えば、モードがイントラモードである場合、汎用コントローラ(721)は、残差計算器(723)の使用のためのイントラモード結果を選択するようにスイッチ(726)を制御するとともに、イントラ予測情報を選択してビットストリームに含めるように、エントロピー符号器(725)を制御し、モードがインターモードである場合、汎用コントローラ(721)は、残差計算器(723)の使用のためのインター予測結果を選択するようにスイッチ(726)を制御するとともに、インター予測情報を選択してビットストリームに含めるようにエントロピー符号器(725)を制御する。
残差計算器(723)は、受信されたブロックとイントラ符号器(722)又はインター符号器(730)から選択された予測結果との間の差(残差データ)を計算するように配置される。残差符号器(724)は残差データに基づき動作して、残差データを符号化することで、変換係数を生成するように配置される。例では、残差符号器(724)は、周波数領域における残差データを変換して、変換係数を生成するように配置される。そして、変換係数は、量子化処理され、量子化された変換係数が得られる。
エントロピー符号器(725)は、符号化されたブロックが含まれるようにビットストリームをフォーマットするように配置される。エントロピー符号器(725)は、HEVC規格などの適切な規格に従って様々な情報を含むように配置される。例では、エントロピー符号器(725)は、ビットストリームには汎用制御データ、選択された予測情報(例えば、イントラ予測情報又はインター予測情報)、残差情報及び他の適切な情報が含まれるように配置される。開示されたテーマによれば、双方向予測モード又はインターモードのマージサブモードでブロックを符号化する場合、残差情報がないことに注意されたい。
図8は、本開示の他の実施形態によるビデオ復号器(810)の図を示す。ビデオ復号器(810)は、符号化ビデオシーケンスの一部である符号化されたピクチャを受信し、符号化されたピクチャを復号化して、再構築されたピクチャを生成するように配置される。例では、ビデオ復号器(810)は、図4の例におけるビデオ復号器(410)の代わりに使用される。
図8の例では、ビデオ復号器(810)は、図8に示すように連結されたエントロピー復号器(871)、インター復号器(880)、残差復号器(873)、再構築モジュール(874)及びイントラ復号器(872)を含む。
エントロピー復号器(871)は、符号化されたピクチャに基づき、特定のシンボルを再構築するように配置され、これらのシンボルは、符号化されたピクチャを構成する構文要素を示す。このようなシンボルは、例えば、ブロックを符号化するためのモード(例えば、イントラモード、インターモード、双方向予測モード、マージサブモード又は別のサブモードにおける後の2つ)、イントラ復号器(872)又はインター復号器(880)による予測にそれぞれ使用されるするいくつかのサンプル又はメタデータを認識できる予測情報(例えば、イントラ予測情報又はインター予測情報)、例えば量子化された変換係数という形を有する残差情報などを含むことができる。例では、予測モードがインター又は双方向予測モードである場合、インター予測情報をインター復号器(880)に提供し、予測タイプがイントラ予測タイプである場合、イントラ予測情報をイントラ復号器(872)に提供する。残差情報は逆量子化されて残差復号器(873)に提供される。
インター復号器(880)は、インター予測情報を受信し、インター予測情報に基づきインター予測結果を生成するように配置される。
イントラ復号器(872)は、イントラ予測情報を受信し、イントラ予測情報に基づき予測結果を生成するように配置される。
残差復号器(873)は、逆量子化を実行して、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するように配置される。残余復号器(873)は、(量子化器パラメータ(QP)を含むために)いくつかの制御情報も必要とする場合があり、当該情報は、エントロピー復号器(871)から提供されることができる(これは低容量の制御情報のみであるから、データパスは示されない)。
再構築モジュール(874)は、空間領域において、残差復号器(873)から出力された残差と予測結果(状況に応じて、インター予測モジュール又はイントラ予測モジュールから出力される)とを組み合わせることで、再構築されるブロックを形成するように配置され、当該再構築されるブロックは、再構築されるピクチャの一部であってもよく、さらに、当該再構築されるピクチャは、再構築されるビデオの一部であってもよい。なお、視覚的品質を向上させるために、デブロッキング動作などの他の適切な動作を実行することができる。
なお、任意の適切な技術を使用してビデオ符号器(403)、(603)、(703)及びビデオ復号器(410)、(510)、(810)を実現することができる。実施形態において、1つ以上の集積回路によってビデオ符号器(403)、(603)、(703)及びビデオ復号器(410)、(510)、(810)を実現することができる。別の実施形態において、ソフトウェア命令を実行する1つ以上のプロセッサによってビデオ符号器(403)、(603)、(703)及びビデオ復号器(410)、(510)、(810)を実現することができる。本開示のいくつかの態様によれば、イントラ予測の場合に、広角モードを使用して、ビデオを圧縮し、帯域幅又はストレージスペース記憶空間の要件を低減することができる。
図9は、広角モードの例を説明するための概略図(900)を示す。一般的に、イントラ予測は、右上の45度方向(図9における34を指す矢印に対応し、モード34を指示する)から左下の45度方向(図9における2を指す矢印に対応し、モード2を指示する)までの範囲内にあり、通常イントラ予測モードと呼ばれる。35HEVCイントラ予測モードを適用する場合、モード2は左下対角線モードと呼ばれ、モード34は右上対角線モードと呼ばれる。通常イントラ予測モードによってカバーされる予測方向範囲を超えた広角は、広角イントラ予測モードに対応する。
いくつかの例では、広角イントラ予測方向は1つの通常イントラ予測方向に関連する。例えば、広角イントラ予測方向及び関連するイントラ予測方向は、同じ方向性をキャプチャするが、反対側(左の列又は一番上の行)の参照サンプルを使用する。例では、使用可能な広角「反転モード」を有する関連方向に対する1ビットフラグを送信することで、広角イントラ予測モードを合図する。図9の例では、35を指す矢印を有する第1方向は広角イントラ予測方向であり、03を指す矢印を有する第2方向に関連する。そのため、第2方向に対する1ビットフラグを送信することで、第1方向を合図することができる。
実施形態において、33方向角度イントラ予測の場合、新たなモードの使用可能性は、45度対角線右上モード(即ち、35個の通常イントラモードを使用する際のモード34)と左下モード(即ち、35個の通常イントラモードを使用する際のモード2)に最も近い10個の方向モードに限定される。実際のサンプル予測処理は、HEVC又はVVCにおける予測処理に従う。
図9の例では、モード2~モード34に関連する33個のイントラ予測方向を示す。例では、ブロックの幅がブロックの高さよりも大きい場合、モード35とモード36に関連する方向は、広角イントラ予測方向として使用されることができる。次に、モード3とモード4とは、指示されるモードを使用するか、それともモード35とモード36の反転された広角方向を使用するかということを指示する余分なフラグを有する。いくつかの例(例えば、グローバルビデオコーディングテストモデル1(VTM1))では、四分木、二分木及び三分木(QT+BT+TT)という分割構造で、正方形ブロック及び非正方形ブロックをサポートする。正方形ブロックと非正方形ブロックのためのイントラ予測が正方形ブロックに対して同じイントラ予測モード(例えば、モード2~モード34)を使用するように設計される場合、イントラ予測モード(例えば、図9の例におけるモード2~モード34)は非正方形ブロックに対して効率的ではない。広角予測モード(例えば、図9の例におけるモード35とモード36)は、より効率的に非正方形ブロックを符号化するために使用されることができる。
いくつかの例では、広角イントラ予測のシグナリングはイントラ予測モードに依存する。従って、広角制御フラグを解析する場合、解析依存という問題が存在する(解析処理において、イントラ予測モードを再構築しなければならない)。
いくつかの実施形態において、正方形ブロックのためのいくつかのイントラ予測モードを非正方形ブロックのための広角予測モードに再マッピングする。例では、再マッピング処理において、正方形ブロックに対して本来使用される1組のイントラ予測モードから正方形ブロックのためのいくつかのイントラ予測モードを除去するとともに、同じ数の広角予測モードをこの組のイントラ予測モードに追加することで、特定の非正方形ブロックのための新たな1組のイントラ予測モードを形成する。従って、イントラ予測モード組における特定数のモードが変更され、他のモードが同じに保たれる。いくつかの例では、変更された特定数のモードはブロックの形状、例えばブロックのアスペクト比に依存する。
正方形ブロックに対して、1組の通常イントラ予測モードをイントラ予測に適用し、この組の通常イントラ予測モードのモード数は35個、67個などであってもよい。非正方形ブロックに対して、この組の通常イントラ予測モードからいくつかのモードを除去し、(除去されたモードと)同じ数の広角モードを残りの通常イントラ予測モードに追加することで、新たな1組のイントラ予測モードを形成することができる。従って、例では、非正方形ブロックと正方形ブロックのための、合図されるモードインデックスは同じであり、非正方形ブロックと正方形ブロックは同じモード符号化アルゴリズムを共有する。35個の通常イントラ予測モードである場合、追加された右上の広角モードのインデックスはモード35、モード36、モード37、モード38などであり、追加された左下の広角モードのインデックスはモード-1、モード-2、モード-3、モード-4などである。
図10と図11は、いくつかの通常イントラ予測モードを広角モードに再マッピングする2つの例を示す。図10において、モード2~モード34は図10に示されるイントラ予測方向に関する。モード2~モード34はモード0とモード1とともに、正方形ブロックのための1組の通常イントラ予測モードを形成する。図10の例では、この組の通常イントラ予測モードからモード2とモード3(破線で示される)を除去する。また、広角モード35とモード36(点線で示される)を追加し、モード35の方向はモード3の方向と反対し((1001)で示される)、モード36の方向はモード4の方向と反対する((1002)で示される)。従って、モード4~モード36はモード0とモード1とともに、特定の非正方形ブロックのための新たな1組のイントラ予測モードを形成する。
図11において、モード33とモード34(破線で示される)を除去し、広角モード-1とモード-2(点線で示される)を追加する。モード-1の方向は、モード33の方向と反対し((1101)で示される)、モード-2の方向は、モード32の方向と反対する((1102)で示される)。従って、モード-2、モード-1、及びモード2~モード32は、モード0とモード1とともに、特定の非正方形ブロックのための新たな1組のイントラ予測モードを形成する。
一実施形態において、除去された通常モードと追加された広角モードとの間の角距離は90度よりも大きく、且つ180度以下である。例えば、35個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード2~モード5を除去し、広角モード35~モード38を追加し、高さが幅よりも大きい場合、モード31~モード34を除去し、モード-1~モード-4を追加する。別の例では、67個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード2~モード9を除去し、モード67~モード74を追加し、高さが幅よりも大きい場合、モード59~モード66を除去し、モード-1~モード-8を追加する。
代替の実施形態において、除去された通常モードと追加された広角モードとは反対方向である。例えば、35個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード3~モード6を除去し、モード広角モード35~モード38を追加し、高さが幅よりも大きい場合、モード30~モード33を除去し、モード-1~モード-4を追加する。また、例えば、67個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード3~モード10を除去し、広角モード67~モード74を追加し、高さが幅よりも大きい場合、モード58~モード65を除去し、広角モード-1~モード-8を追加する。
代替の実施形態において、幅が高さよりも大きい場合、左下方向にあるいくつかの通常モードを除去し、同じ数の右上方向にある広角モードを追加する。さもなければ、高さが幅よりも大きい場合、右上方向にあるいくつかのモードを除去し、同じ数の左下方向にある広角モードを追加する。
例えば、35個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード2~モード5を除去し、広角モード35~モード38を追加し、高さが幅よりも大きい場合、モード31~モード34を除去し、広角モード-1~モード-4を追加する。
代替の実施形態において、全ての非正方形ブロック形状に対して、除去された通常イントラ予測モードの数は固定である。全ての非正方形ブロックに対して、N個の通常イントラ予測モードを除去し、相応的にN個の広角モードを追加する。例えば、35個の通常モードを使用する場合、Nは1~7であってもよく、67個の通常モードを使用する場合、Nは2~14であってもよく、及び129個の通常イントラ予測モードを使用する場合、Nは4~28であってもよい。
サブ実施形態において、Nは、(例えば、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、スライスヘッダにおいて)高度な構文要素、又はピクチャの領域のための共通構文要素やパラメータとして、合図されることができる。
1つの例では、35個の通常イントラ予測モードが存在する場合、4つの通常イントラモードを除去し、67個の通常イントラ予測モードが存在する場合、8つの通常イントラモードを除去する。
代替の実施形態において、除去された通常イントラ予測モードの数は、非正方形ブロックの形状に依存する。
いくつかの例では、幅/高さ≦2又は高さ/幅≦2(アスペクト比=幅/高さ、l<アスペクト比≦2、或いは1/2≦アスペクト比<l)である場合、M個の通常イントラ予測モードが除去される。また、幅/高さ≧4又は高さ/幅≧4(アスペクト比≧4又はアスペクト比≦1/4)である場合、N個の通常イントラ予測モードが除去される。また、例では、2<アスペクト比<4又は1/4≦アスペクト比<1/2である場合、P個の通常イントラ予測モードが除去される。例では、MはNに等しくない。1つの例では、35個の通常イントラ予測モードが存在する場合、Mは3に等しく、Nは5に等しく、67個の通常イントラ予測モードが存在する場合、Mは6に等しく、Nは10に等しい。Pは、M又はNと同じであってもよく、又は、MとNとも異なってもよい。
サブ実施形態において、MとNとは、(例えば、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、スライスヘッダにおいて)高度な構文要素、又はピクチャの領域のための共通構文要素やパラメータとして合図されることができる。別の例では、除去された通常イントラ予測モードの数は符号化された情報に依存し、ブロックの幅、ブロックの高さ、及びブロックの幅と高さとの比率、ブロック領域のサイズが含まれるが、これらに限定されていない。
代替の実施形態において、除去された通常イントラ予測モードは、左下対角線モード(即ち、35個のモードを使用する場合のモード2)又は右上対角線モード(即ち、35個のモードを使用する場合のモード34)から開始し、追加された広角モードは、左下対角線モード又は右上対角線モードを超えた最も近い角(即ち、モード1又はモード35)から開始する。
いくつかの例では、除去された通常モードと追加された広角モードとは連続的又は非連続的であってもよい。1つの例では、35個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード2~モード5を除去し、広角モード35~モード38を追加する。別の例では、35個の通常イントラ予測モードが存在し、且つ幅が高さよりも大きい場合、モード2~モード5を除去し、広角モード35、モード37、モード38及びモード39を追加する。
代替の実施形態において、使用/除去された通常イントラ予測モードは、追加された広角モードを指示するために使用される。その結果、未使用の通常イントラ予測モードは引き続き合図されるが、これらの未使用の通常イントラ予測モードの意味は、追加された広角モードに変換される。例えば、幅が高さよりも大きい場合、モード2を除去するが、モード2を引き続き合図する。1つの非正方形ブロックに対して、復号器がモード2を復号化し、幅が高さよりも大きい場合、復号器はモード2をモード35に変換する。
代替の実施形態において、現在ブロックの最も可能性の高いモード(MPM)を取得するために、隣接ブロックのイントラ予測が現在ブロックのイントラ予測方向範囲を超える場合、隣接ブロックのモードは、現在ブロックのイントラ予測の方向範囲によってカバーされる最も近い方向にマッピングされる。例えば、現在ブロックは正方形ブロックであり、その左にあるブロックは非正方形ブロックであり、左にあるブロックのモード番号は35である。モード35は現在ブロックのモード範囲によってカバーされていない。従って、左にあるブロックのモードは、現在ブロックのモード範囲によってカバーされる最も近いモード34にマッピングされる。
いくつかの実施形態において、矩形ブロックに対して広角予測によってイントラ予測処理を実行する。イントラ予測処理は、例えば、イントラ予測モード(predModeIntraで表される)、現在ブロックの幅(nWidthで表される)、ブロックの高さ(nHeightで表される)、隣接サンプル(p[x][y]で表され、(x=-1,y=-1~nWidth+nHeight-1)(x=0~nWidth+nHeight-1,y=-1))、及び現在ブロックの色成分を指定する変数cIdxのような入力を受信する。イントラ予測処理は、予測サンプルpredSamples[x][y]を生成することができ、その中、x=0~nWidth-1,y=0~nHeight-1である。
いくつかの実施形態において、イントラ予測モードpredModeIntraと角度パラメータintraPredAngleとの間のマッピングに基づき、イントラ予測処理を実行する。
図12は43個のイントラ予測方向を説明するための概略図を示す。43個のイントラ予測方向は、通常イントラ予測モードのモード2~モード34に対応する33個の通常イントラ予測方向を含み、さらに、(モード35~モード39に示すように)モード34を超えて広がる5つの広角方向、及び、(モード-1~モード-5に示すように)モード2を超えて広がる5つの広角方向を含む。
図12はさらに頂部標尺(上標尺)と左側標尺(左標尺)を示す。いくつかの例では、角度パラメータintraPredAngleは頂部標尺又は左側標尺によって測定される。表1はイントラ予測モードpredModeIntraと角度パラメータintraPredAngleとの間のマッピングテーブルを指定する。
Figure 2023054290000002

例では、入力中のイントラ予測モードpredModeIntraは除去された通常イントラ予測モードの1つであり、入力中のイントラ予測モードpredModeIntraは、現在ブロックのアスペクト比(nWidth/nHeight)に基づき、広角モードに変換される。
例えば、nWidth/nHeight=2且つ2≦predModeIntra≦4である場合、predModeIntra←predModeIntra+33になる。具体的に、ブロックの幅nWidthがブロックの高さnHeightの2倍である場合、1組の通常イントラ予測モードから3つの通常イントラ予測モード(モード2、モード3及びモード4)を除去し、3つの広角モード(モード35、モード36及びモード37)と残りの通常イントラ予測モードを加算することで、当該ブロックのための新たな1組のイントラ予測モードを形成する。入力中のイントラ予測モードpredModeIntraが除去されたモードの1つに対応する場合、イントラ予測モードpredModeIntraは広角モードに変換される。
また、nWidth/nHeight≧4且つ2≦predModeIntra≦6である場合、predModeIntra←predModeIntra+33になる。具体的に、ブロックの幅nWidthがブロックの高さnHeightの4倍の以上である場合、1組の通常イントラ予測モードから5つの通常イントラ予測モード(モード2、モード3、モード4、モード5、モード6)を除去し、5つの広角モード(モード35、モード36、モード37、モード38及びモード39)と残りの通常イントラ予測モードとを加算することで、当該ブロックのための新たな1組のイントラ予測モードを形成する。入力中のイントラ予測モードpredModeIntraが除去されたモードの1つに対応する場合、イントラ予測モードpredModeIntraは広角モードに変換される。
また、nHeight/nWidth=2且つ32≦predModeIntra≦34である場合、predModeIntra←predModeIntra-35になる。具体的に、ブロックの高さnHeightがブロックの幅nWidthの2倍である場合、1組の通常イントラ予測モードから3つの通常イントラ予測モード(モード34、モード33及びモード32)を除去し、3つの広角モード(モード-1、モード-2及びモード-3)と残りの通常イントラ予測モードとを加算することで、当該ブロックのための新たな1組のイントラ予測モードを形成する。入力中のイントラ予測モードpredModeIntraが除去されたモードの1つに対応する場合、イントラ予測モードpredModeIntraは、広角モードに変換される。
また、nHeight/nWidth≧4且つ30≦predModeIntra≦34である場合、predModeIntra←predModeIntra-35になる。具体的に、ブロックの高さnHeightがブロックの幅nWidthの4倍の以上である場合、1組の通常イントラ予測モードから5つの通常イントラ予測モード(モード34、モード33、モード32、モード31、モード30)を除去し、5つの広角モード(モード-1、モード-2、モード-3、モード-4及びモード-5)と残りの通常イントラ予測モードとを加算することで、当該ブロックのための新たな1組のイントラ予測モードを形成する。入力中のイントラ予測モードpredModeIntraが除去されたモードの1つに対応する場合、イントラ予測モードpredModeIntraは広角モードに変換される。
次に、イントラ予測モードpredModeIntraに従って、例えば表1に基づき、対応する角度パラメータintraPredAngleを決定することができる。適切なビデオ符号化規格(例えば、HEVC規格)に従って、角度パラメータintraPredAngleに基づき、予測サンプルpredSamples[x][y]を計算することができる。
別の例では、65個の通常イントラ予測方向を正方形ブロックのイントラ予測に適用する。例えば、図2に示すように、65個の通常イントラ予測方向は、通常イントラ予測モードとしてのモード2~モード66に対応する。モード2~モード66、及びモード0(平面モード)、モード1(DCモード)は、正方形ブロックのための1組67個のイントラ予測モードを形成する。いくつかの実施形態において、一定数の通常イントラ予測モードを除去し、同じ数の広角モードを、矩形ブロックのための新たな1組のイントラ予測モードに追加し、当該数は矩形ブロックのアスペクト比に依存する。
いくつかの実施形態において、矩形ブロック(現在ブロック)に対して広角予測によってイントラ予測処理を実行する。イントラ予測処理は、イントラ予測モードpredModeIntra、現在ブロックの幅nWidth、ブロックの高さnHeight、隣接サンプル(p[x][y]で表され、その中、(x=-1,y=-1~nWidth+nHeight-1)(x=0~nWidth+nHeight-1,y=-1))のような入力を受信する。イントラ予測処理は、予測サンプルpredSamples[x][y]を生成することができ、その中、x=0~nWidth-1であり、且つy=0~nHeight-1である。
例では、変数whRatioは、min(abs(Log2(nWidth/nHeight)),2)に等しくなるように限定される。nWidthがnHeightよりも大きいが、nHeightの2倍よりも小さい場合、whRatioは1よりも小さい。nWidthがnHeightの2倍に等しい場合、whRatioは1に等しい。nWidthがnHeightの2倍よりも大きいが、nHeightの4倍よりも小さい場合、whRatioは(1、2)という範囲内にある値である。nWidthがnHeightの4倍である場合、whRatioは2に等しい。nWidthがnHeightの4倍を超えた場合、whRatioは2に等しい。
同様に、nHeightがnWidthよりも大きいが、nWidthの2倍よりも小さい場合、whRatioは1よりも小さい。nHeightがnWidthの2倍に等しい場合、whRatioは1に等しい。nHeightがnWidthの2倍よりも大きいが、nWidthの4倍よりも小さい場合、whRatioは(1、2)という範囲内にある値である。nHeightがnWidthの4倍である場合、whRatioは2に等しい。nHeightがnWidthの4倍を超えた場合、whRatioは2に等しい。そのため、whRatioはブロック形状の関数であり、ブロックの配向に依存していない。
例では、入力中のイントラ予測モードpredModeIntraは、除去された通常イントラ予測モードの1つであり、入力中のイントラ予測モードpredModeIntraは、現在ブロックのwhRatioに基づき、広角モードに変換される。
例えば、nWidthがnHeightよりも大きいが、nHeightの2倍よりも小さい場合、whRatioは1よりも小さく、1組の通常イントラ予測モードから、6つの通常イントラ予測モード(モード2~モード7)を除去し、6つの広角モード(モード67~モード72)と残りの通常イントラ予測モードとを加算することで、ブロックのための新たな1組のイントラ予測モードを形成する。入力中のイントラ予測モードpredModeIntraが除去されたモード(2以上且つ8よりも小さい)の1つに対応する場合、65を加算することで、イントラ予測モードpredModeIntraを広角モードに変換する。
また、nWidthがnHeightの4倍の以上である場合、1組の通常イントラ予測モードから10つの通常イントラ予測モード(モード2~モード11)を除去し、10つの広角モード(モード67~モード76)と残りの通常イントラ予測モードとを加算することで、ブロックのための新たな1組のイントラ予測モードを形成する。入力中のイントラ予測モードpredModeIntraが除去されたモード(2以上且つ12よりも小さい)の1つに対応する場合、65を加算することで、イントラ予測モードpredModeIntraを広角モードに変換する。
また、nHeightがnWidthよりも大きいが、nWidthの2倍よりも小さい場合、whRatioは1よりも小さく、1組の通常イントラ予測モードから6つの通常イントラ予測モード(モード61~モード66)を除去し、6つの広角モード(モード-1~モード-6)と残りの通常イントラ予測モードとを加算することで、ブロックのための新たな1組のイントラ予測モードを形成する。入力中のイントラ予測モードpredModeIntraが除去されたモード(61以上且つ67よりも小さい)の1つに対応する場合、67を差し引くことで、イントラ予測モードpredModeIntraを広角モードに変換する。
また、nHeightがnWidthの4倍の以上である場合、1組の通常イントラ予測モードから10つの通常イントラ予測モード(モード57~モード66)を除去し、10つの広角モード(モード-1~モード-10)と残りの通常イントラ予測モードとを加算することで、ブロックのための新たな1組のイントラ予測モードを形成する。入力中のイントラ予測モードpredModeIntraが除去されたモード(57以上且つ67よりも小さい)の1つに対応する場合、67を差し引くことで、イントラ予測モードpredModeIntraを広角モードに変換する。
次に、イントラ予測モードpredModeIntraに従って、例えばルックアップテーブルに基づき、対応する角度パラメータintraPredAngleを決定することができる。次に、適切なビデオ符号化規格(例えば、HEVC規格)に従って、角度パラメータintraPredAngleに基づき、予測サンプルpredSamples[x][y]を計算することができる。
図13は本開示の実施形態による処理(1300)を概略的に説明するためのフローチャートを示す。処理(1300)は、イントラモードで符号化されたブロックの再構築に使用でき、再構築中のブロックに対して予測ブロックを生成する。各実施形態において、処理(1300)は、端末機器(310)、(320)、(330)及び(340)における処理回路、ビデオ符号器(403)の機能を実行する処理回路、ビデオ復号器(410)の機能を実行する処理回路、ビデオ復号器(510)の機能を実行する処理回路、イントラ予測モジュール(552)の機能を実行する処理回路、ビデオ符号器(603)の機能を実行する処理回路、予測器(635)の機能を実行する処理回路、イントラ符号器(722)の機能を実行する処理回路、イントラ復号器(872)の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態において、処理(1300)はソフトウェア命令によって実現されるので、処理回路がソフトウェア命令を実行する場合、処理回路は、処理(1300)を実行する。処理は(S1301)から開始し、(S1310)に進む。
(S1310)では、ブロックのための予測情報を復号化する。例では、処理回路は、符号化されたビデオビットストリームから、ブロックの予測情報を復号化する。いくつかの例では、ブロックは非正方形のブロックであり、ブロックの予測情報は第1イントラ予測モードを指示し、前記第1イントラ予測モードは、正方形ブロックのための第1組のイントラ予測モードに含まれる。
(S1320)では、処理回路は、第1イントラ予測モードが、非正方形ブロックに対して無効にされたイントラ予測モードのサブセット内にあるかどうかを決定する。第1イントラ予測モードが非正方形ブロックに対して無効にされたイントラ予測モードのサブセット内にある場合、処理は(S1330)に進み、さもなければ、処理は(S1350)に進む。
(S1330)では、第1イントラ予測モードを非正方形ブロックのための第2組のイントラ予測モードにおける第2イントラ予測モードに再マッピングする。第2イントラ予測モードは広角イントラ予測モードであり、正方形ブロックのための第1組のイントラ予測モードにない。第2組のイントラ予測モードは、無効にされたイントラ予測モードのサブセットを含まない。
(S1340)では、第2イントラ予測モードに基づき、ブロックのサンプルを再構築する。いくつかの例では、第2イントラ予測モードに従って、例えばルックアップテーブルに基づき、対応する角度パラメータを決定することができる。次に、適切なビデオ符号化規格(例えばHEVC規格)に従って、角度パラメータに基づきブロックのサンプルを計算することができる。次に、処理はS1399に進んで、終了する。
(1350)では、第1イントラ予測モードに基づき、ブロックのサンプルを再構築する。いくつかの例では、第1イントラ予測モードに従って、例えばルックアップテーブルに基づき、対応する角度パラメータを決定することができる。次に、適切なビデオ符号化規格(例えばHEVC規格)に従って、角度パラメータに基づきブロックのサンプルを計算することができる。処理はS1399に進み、終了する。
上記の技術は、コンピュータ読み取り可能な命令によってコンピュータソフトウェアとして実現され、1つ以上のコンピュータ読み取り可能な媒体に物理的に記憶される。例えば、図14は開示されたテーマのいくつかの実施形態を実現するのに適したコンピュータシステム(1400)を示す。
コンピュータソフトウェアは、任意の適切なマシンコード又はコンピュータ言語によって符号化することができ、コンピュータソフトウェアは、アセンブル、コンパイル、リンクなどのメカニズムを介して、命令を含むコードを作成することができ、当該命令は、1つ以上のコンピュータ中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)などによって直接的に実行されるか、又は解釈、マイクロコードなどによって実行されることができる。
当該命令は、例えばパーソナルコンピュータ、タブレット、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む、様々なタイプのコンピュータ又はそれらのコンポーネントで実行されることができる。
図14に示めされるコンピュータシステム(1400)のコンポーネントは、本質的に例示であり、本開示の実施形態を実現するためのコンピュータソフトウェアの使用範囲又は機能に制限を加えることを意図するものではない。コンポーネントの配置は、コンピュータシステム(1400)の例示的な実施形態に示めされたるコンポーネントのいずれか、又はそれらの組み合わせに関連する依存性又は要件を有するものとして解釈されるべきではない。
コンピュータシステム(1400)は、いくつかのヒューマンインタフェース入力機器を含んでもよい。このようなヒューマンインタフェース入力機器は、例えば触覚入力(例えば、キーストローク、スライド、データグローブ移動)、オーディオ入力(例えば、音声、拍手)、視覚入力(例えば、姿勢)、嗅覚入力(図示せず)による1つ以上の人間のユーザーの入力に応答することができる。ヒューマンインタフェース機器はさらに、例えば、オーディオ(例えば、音声、音楽、環境音)、画像(例えば、スキャンした画像、静的画像撮影装置から取得された写真画像)、ビデオ(例えば、2次元ビデオ、ステレオビデオが含まれる3次元ビデオ)などの、人間の意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されることもできる。
ヒューマンインタフェース入力機器は、キーボード(1401)、マウス(1402)、タッチパッド(1403)、タッチパネル(1410)、データグローブ(図示せず)、ジョイスティック(1405)、マイク(1406)、スキャナ(1407)、撮影装置(1408)のうちの1つ以上を含んでもよい(それぞれが1つのみ図示される)。
コンピュータシステム(1400)はさらに特定のヒューマンインタフェース出力機器を含んでもよい。このようなヒューマンインタフェース出力機器は、例えば触覚出力、音、光及び匂い/味によって1つ以上の人間のユーザーの感覚を刺激することができる。このようなヒューマンインタフェース出力機器は、触覚出力機器(例えば、タッチパネル(1410)、データグローブ(図示せず)又はジョイスティック(1405)による触覚フィードバックがあるが、入力機器として使用されない触覚フィードバック機器もある)、オーディオ出力機器(例えば、スピーカー(1409)、ヘッドフォン(図示せず))、視覚出力機器(例えば、スクリーン(1410)であって、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含み、それぞれはタッチスクリーン入力機能がある場合とない場合、触覚フィードバック機能がある場合とない場合があり、そのうちのいくつかは、ステレオ出力のような手段で、2次元の視覚出力又は3次元以上の出力を出力できる場合がある)、バーチャルリアリティ眼鏡(図示せず)、ホログラフィックディスプレイ及びスモークタンク(図示せず))、プリンター(図示せず)を含むことができる。
コンピュータシステム(1400)はさらに人間がアクセス可能な記憶装置及びその関連する媒体を含んでもよく、例えば、CD/DVDなどの媒体(1421)を有するCD/DVD ROM/RW(1420)などの光学媒体、サムドライブ(1422)、取り外し可能なハードドライブ又はソリッドステートドライブ(1423)、従来の磁気媒体(例えば、磁気テープとフロッピーディスク(図示せず))、専用ROM/ASIC/PLDによる機器(例えば、ドングル(図示せず))などを含んでもよい。
また、当業者は、現在開示されたテーマに関連して使用される「コンピュータ読み取り可能な媒体」という用語には、伝送媒体、搬送波又は他の一時的な信号が含まれていないことを理解するべきである。
コンピュータシステム(1400)はさらに1つ以上の通信ネットワークへのインタフェースを含んでもよい。ネットワークは、例えば無線、有線、光などのネットワークであってもよい。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車載、工業用、リアルタイム、遅延耐性などのネットワークであってもよい。ネットワークの例は、例えば、イーサネットなどのローカルエリアネットワーク、無線LAN、セルラーネットワーク(GSM、3G、4G、5G、LTEなどを含む)、テレビ有線又は無線ワイドエリアデジタル ネットワークテレビ(有線テレビ、衛星テレビ及び地上波テレビが含まれる)、車載及び工業用ネットワーク(CANBusを含む)などを含む。一部のネットワークは一般的に、ある汎用データポート又は周辺バス(1449)(例えば、コンピュータシステム(1400)のUSBポート)に接続される外部ネットワークインタフェースアダプタを必要とし、他のネットワークは一般的に、以下で説明するようなシステムバス(例えば、PCコンピュータシステムのイーサネットインタフェース、又はスマートフォンコンピュータシステムのセルラーネットワークインタフェース)に接続されることによって、コンピュータシステム(1400)のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム(1400)は他のエンティティと通信できる。このような通信は、一方向、受信のみ(例えば、放送テレビ)、一方向送信のみ(例えば、あるCANbus機器へのCANbus)、又は双方向(例えば、ローカルエリア又はワイドエリアデジタル ネットワークを使用して他のコンピュータシステムに達する)あってもよい。上記のようなこれらのネットワークとネットワークインタフェースのそれぞれに、特定のプロトコル及びプロトコルスタックを使用することができる。
前記ヒューマンインタフェース機器、人間がアクセス可能な記憶装置及びネットワークインタフェースは、コンピュータシステム(1400)のコア(1440)に取り付けることができる。
コア(1440)は、1つ以上の中央処理ユニット(CPU)(1441)、グラフィック処理ユニット(GPU)(1442)、フィールドプログラム可能なゲートアレイ(FPGA)(1443)の形の専用のプログラム可能な処理ユニット、特定のタスクのためのハードウェアアクセラレータ(1444)などを含んでもよい。これらの機器は、読み取り専用(ROM)(1445)、ランダムアクセスメモリ(1446)、内部大容量記憶装置(例えば、ユーザーがアクセスできない内部ハードディスクドライブ、SSDなど)(1447)とともに、システムバス(1448)を介して接続することができる。一部のコンピュータシステムにおいて、システムバス(1448)に1つ以上の物理プラグの形でアクセスできることで、付加的なCPU、GPUなどによる拡張を可能にすることができる。周辺機器は、直接的又は周辺バス(1449)を介してコアのシステムバス(1448)に接続することができる。周辺バスのアーキテクチャはPCI、USBなどを含む。
CPU(1441)、GPU(1442)、FPGA(1443)及びアクセラレータ(1444)は、組み合わせて前記コンピュータコードを構成する特定の命令を実行することができる。当該コンピュータコードは、ROM(1445)又はRAM(1446)に記憶されることができる。一時的なデータはRAM(1446)にも記憶でき、永久データは、例えば内部大容量記憶装置(1447)に記憶される。キャッシュメモリを使用することによって、記憶装置における任意の記憶装置への高速ストレージ及び検索が可能になり、当該キャッシュメモリは1つ以上のCPU(1441)、GPU(1442)、大容量記憶装置(1447)、ROM(1445)、RAM(1446)などに密接に関連することができる。
コンピュータ読み取り可能な媒体は、コンピュータが実現する様々な動作を実行するためのコンピュータコードを有することができる。媒体とコンピュータコードは、本開示の目的のために、特別に設計及び構築される媒体とコンピュータコードであってもよいし、又は、それらは、コンピュータソフトウェアの当業者にとって周知であり、使用可能なタイプのものであってもよい。
限定ではなく例として、アーキテクチャ(1400)を有するコンピュータシステム、特に、コア(1440)は、プロセッサ(CPU、GPU、FPGA、アクセラレータなどを含む)が1つ以上の有形コンピュータ読み取り可能な媒体に実装されるソフトウェアを実行することで実現された機能を提供することができる。このようなコンピュータ読み取り可能な媒体は、上記のような、ユーザーがアクセス可能な大容量記憶装置に関する媒体、及び例えばコア内部大容量記憶装置(1447)又はROM(1445)などの非一時的なコア(1440)を有する特定の記憶装置であってもよい。本開示を実現するための様々な実施形態のソフトウェアはこのような機器に記憶され、コア(1440)によって実行されることができる。特定のニーズに応じて、コンピュータ読み取り可能な媒体には1つ以上の記憶装置又はチップが含まれてもよい。ソフトウェアは、コア(1440)、特にその中のプロセッサ(CPU、GPU、FPGAなどを含む)に、本明細書では説明されている特定の処理又は特定の処理の特定の部分を実行させ、RAM(1446)に記憶されるデータ構成を限定すること、及びソフトウェアによって限定された処理によってこのようなデータ構成を修正することが含まれる。さらに又は代替として、コンピュータシステムは、ロジックハードワイヤード、又は他の方法で回路(例えば、アクセラレータ(1444))に実装されることによって、機能を提供することができ、当該回路は、ソフトウェアの代わりに、又はソフトウェアとともに動作して、本明細書では説明されている特定の処理又は特定の処理の特定の部分を実行することができる。適切な場合、ソフトウェアに対する言及にはロジックが含まれ、逆に、ロジックに対する言及にはソフトウェアが含まれてもよい。適切な場合、コンピュータ読み取り可能な媒体に対する言及には、実行のためのソフトウェアが記憶される回路(例えば、集積回路(IC))、実行のためのロジックを具現化する回路、又はその両方が含まれてもよい。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを含む。
本開示は、いくつかの例示的な実施形態を説明したが、本開示の範囲内に含まれる変更、置き換え及び様々な代替の均等物が存在する。従って、当業者は、本明細書では明示的に示されていないか、又は説明されていないが、本開示の原理を具現化したのでその趣旨及び範囲内にある多くのシステム及び方法を想到できることは理解されたい。
〔付録A〕頭字語
JEM:共同探索モデル(joint exploration model、JEM)
VVC:多用途ビデオ符号化(versatile video coding、VVC)
BMS:ベンチマークセット(benchmark set、BMS)
HEVC:高効率ビデオ符号化(High Efficiency Video Coding、HEVC)
SEI:補充拡張情報(Supplementary Enhancement Information、SEI)
VUI:ビデオユーザビリティ情報(Video Usability Information、VUI)
GOP:ピクチャグループ(Groups of Pictures、GOP)
TU:変換ユニット(Transform Units、TU)
PU:予測ユニット(Prediction Unit、PU)
CTU:符号化ツリーユニット(Coding Tree Unit、CTU)
CTB:符号化ツリーブロック(Coding Tree Block、CTB)
PB:予測ブロック(Prediction Block、PB)
HRD:仮想参照復号器(Hypothetical Reference Decoder、HRD)
SNR:信号対雑音比(Signal Noise Ratio、SNR)
CPU:中央処理ユニット(Central Processing Unit、CPU)
GPU:グラフィック処理ユニット(Graphics Processing Unit、GPU)
CRT:陰極線管(Cathode Ray Tube、CRT)
LCD:液晶ディスプレイ(Liquid-Crystal Display、LCD)
OLED:有機発光ダイオード(Organic Light-Emitting Diode、OLED)
CD:コンパクトディスク(Compact Disc、CD)
DVD:デジタル ビデオコンパクトディスク(Digital Video Disc、DVD)
ROM:読み取り専用(Read-Only Memory、ROM)
RAM:ランダムアクセスメモリ(Random Access Memory、RAM)
ASIC:特定用途向け集積回路(Application-Specific Integrated Circuit、ASIC)
PLD:プログラマブルロジックデバイス(Programmable Logic Device、PLD)
LAN:ローカルエリアネットワーク(Local Area Network、LAN)
GSM:グローバルモバイルシステムオブシステム(Global System for Mobile communications、GSM)
LTE:ロングタームエボリューション(Long-Term Evolution、LTE)
CANBus:コントローラエリアネットワークバス(Controller Area Network Bus、CANBus)
USB:ユニバーサルシリアルバス(Universal Serial Bus、USB)
PCI:周辺コンポーネント相互接続(Peripheral Component Interconnect、PCI)
FPGA:フィールドプログラム可能なゲートアレイ(Field Programmable Gate Areas、FPGA)
SSD:ソリッドステートドライブ(solid-state drive、SSD)
IC:集積回路(Integrated Circuit、IC)
CU:符号化ユニット(Coding Unit、CU)

Claims (1)

  1. 復号器によって実行されるビデオ復号の方法であって、
    符号化されたビデオビットストリームから第1ブロックの予測情報を復号化するステップであって、前記第1ブロックが非正方形ブロックであり、前記第1ブロックの予測情報が正方形ブロックのための第1組のイントラ予測モードにおける第1イントラ予測モードを指示するステップと、
    前記第1イントラ予測モードが、前記正方形ブロックのための前記第1組のイントラ予測モードにおける、前記非正方形ブロックのための無効なイントラ予測モードのサブセット内にあることを決定するステップと、
    前記第1イントラ予測モードを、前記非正方形ブロックのための第2組のイントラ予測モードにおける第2イントラ予測モードに再マッピングするステップであって、前記第2組のイントラ予測モードには、前記無効なイントラ予測モードのサブセットが含まれないステップと、
    前記第2イントラ予測モードに基づき、前記第1ブロックの少なくとも1つのサンプルを再構築するステップと、
    を含み、
    前記再マッピングするステップが:
    前記第1ブロックの幅が前記第1ブロックの高さよりも大きいことを決定するステップおよび、
    前記第1イントラ予測モードに関連付けられるモード番号に一定の値を加算し、前記第1イントラ予測モードを前記第2イントラ予測モードに再マッピングするステップ、
    または、
    前記第1ブロックの高さが前記第1ブロックの幅よりも大きいことを決定するステップおよび、
    前記第1イントラ予測モードに関連付けられるモード番号から一定の値を差し引き、前記第1イントラ予測モードを前記第2イントラ予測モードに変換するステップを含み、
    正方形ブロックのための第1組のイントラ予測モードは左下対角線方向モードから右上対角線方向モードまで2~Xの番号を付されており、番号X+nのイントラ予測モードは、イントラ予測モード2+nの方向を逆にしたものであり、番号-nのイントラ予測モードはイントラ予測モードX-nの方向を逆にしたものであり、Xおよびnは整数である、
    方法。
JP2023026885A 2018-07-02 2023-02-24 ビデオ符号化のための方法、装置及びコンピュータプログラム Pending JP2023054290A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862693050P 2018-07-02 2018-07-02
US62/693,050 2018-07-02
US16/147,503 US10284866B1 (en) 2018-07-02 2018-09-28 Method and apparatus for video coding
US16/147,503 2018-09-28
JP2020551480A JP7280887B2 (ja) 2018-07-02 2019-06-20 ビデオ符号化のための方法、装置及びコンピュータプログラム
PCT/US2019/038306 WO2020009811A1 (en) 2018-07-02 2019-06-20 Method and apparatus for video coding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020551480A Division JP7280887B2 (ja) 2018-07-02 2019-06-20 ビデオ符号化のための方法、装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2023054290A true JP2023054290A (ja) 2023-04-13
JP2023054290A5 JP2023054290A5 (ja) 2023-10-04

Family

ID=66333877

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2020551480A Active JP7280887B2 (ja) 2018-07-02 2019-06-20 ビデオ符号化のための方法、装置及びコンピュータプログラム
JP2020545523A Active JP7026249B2 (ja) 2018-07-02 2019-06-26 映像復号化のための方法、装置及びコンピュータ・プログラム
JP2021174004A Active JP7159423B2 (ja) 2018-07-02 2021-10-25 映像復号化のための方法、装置及びコンピュータ・プログラム
JP2022164306A Active JP7443455B2 (ja) 2018-07-02 2022-10-12 映像復号化のための方法、装置及びコンピュータ・プログラム
JP2023026885A Pending JP2023054290A (ja) 2018-07-02 2023-02-24 ビデオ符号化のための方法、装置及びコンピュータプログラム
JP2024024172A Pending JP2024045671A (ja) 2018-07-02 2024-02-21 映像復号化のための方法、装置及びコンピュータ・プログラム

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2020551480A Active JP7280887B2 (ja) 2018-07-02 2019-06-20 ビデオ符号化のための方法、装置及びコンピュータプログラム
JP2020545523A Active JP7026249B2 (ja) 2018-07-02 2019-06-26 映像復号化のための方法、装置及びコンピュータ・プログラム
JP2021174004A Active JP7159423B2 (ja) 2018-07-02 2021-10-25 映像復号化のための方法、装置及びコンピュータ・プログラム
JP2022164306A Active JP7443455B2 (ja) 2018-07-02 2022-10-12 映像復号化のための方法、装置及びコンピュータ・プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024024172A Pending JP2024045671A (ja) 2018-07-02 2024-02-21 映像復号化のための方法、装置及びコンピュータ・プログラム

Country Status (6)

Country Link
US (13) US10382772B1 (ja)
EP (2) EP3818709A4 (ja)
JP (6) JP7280887B2 (ja)
KR (5) KR102530377B1 (ja)
CN (7) CN115623203B (ja)
WO (2) WO2020009811A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2552323B (en) * 2016-07-18 2020-04-29 Imagination Tech Ltd Mip map compression
KR101842178B1 (ko) * 2018-01-19 2018-05-14 광성(주) 선박용 황산화물 저감장치 및 선박용 황산화물 저감장치의 운전방법
JP2021522713A (ja) * 2018-04-24 2021-08-30 サムスン エレクトロニクス カンパニー リミテッド ビデオ符号化方法及びその装置、ビデオ復号方法及びその装置
CN118869991A (zh) * 2018-06-21 2024-10-29 株式会社Kt 对图像进行解码和编码的方法以及用于发送比特流的装置
US10951900B2 (en) * 2018-06-22 2021-03-16 Intel Corporation Speeding up small block intra-prediction in video coding
US11509889B2 (en) 2018-06-27 2022-11-22 Kt Corporation Method and apparatus for processing video signal
CN112672161B (zh) 2018-06-27 2024-09-10 株式会社Kt 用于处理视频信号的方法和设备
US10893285B2 (en) * 2018-06-29 2021-01-12 FG Innovation Company Limited Device and method for coding video data based on one or more reference lines
US10567752B2 (en) 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
WO2020036390A1 (ko) * 2018-08-12 2020-02-20 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
BR112021003510A2 (pt) * 2018-09-19 2021-05-18 Fujitsu Limited aparelho de codificação de vídeo, método de codificação de vídeo, programa de codificação de vídeo, aparelho de decodificação de vídeo, método de decodificação de vídeo e programa de decodificação de vídeo
EP3861749A1 (en) * 2018-10-01 2021-08-11 InterDigital VC Holdings, Inc. Directions for wide angle intra prediction
CN113395516B (zh) * 2019-01-02 2023-05-23 Oppo广东移动通信有限公司 帧内预测方法及装置、计算机可读存储介质
JP7437404B2 (ja) * 2019-01-02 2024-02-22 オッポ広東移動通信有限公司 イントラ予測方法、装置およびコンピュータ記憶媒体
US11423582B2 (en) * 2019-03-01 2022-08-23 Tencent America LLC Method and apparatus for point cloud compression
CN113678459B (zh) 2019-04-12 2023-09-19 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的适应性
US20220201286A1 (en) * 2019-04-25 2022-06-23 Mediatek Inc. Method and Apparatus of Encoding or Decoding with Mode Dependent Intra Smoothing Filter in Intra Prediction
JP2022533190A (ja) * 2019-05-22 2022-07-21 北京字節跳動網絡技術有限公司 アップサンプリングを使用した行列ベースのイントラ予測
EP3959876A4 (en) 2019-05-31 2022-06-29 Beijing Bytedance Network Technology Co., Ltd. Restricted upsampling process in matrix-based intra prediction
US11134275B2 (en) 2019-06-04 2021-09-28 Tencent America LLC Method and apparatus for performing primary transform based on filtering of blocks
JP2022534320A (ja) 2019-06-05 2022-07-28 北京字節跳動網絡技術有限公司 マトリクスベースイントラ予測のためのコンテキスト決定
CN110166774B (zh) * 2019-06-25 2021-08-31 浙江大华技术股份有限公司 帧内预测方法、视频编码方法、视频处理装置、存储介质
EP3972258B1 (en) * 2019-06-25 2024-05-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Information processing method and device, apparatus, and storage medium
CN114175657B (zh) 2019-07-26 2023-12-26 北京字节跳动网络技术有限公司 基于块尺寸的图片分割模式确定
EP4000261A4 (en) * 2019-08-06 2023-05-24 HFI Innovation Inc. METHOD AND DEVICE FOR CODING OR DECODING VIDEO DATA WITH MATCHING INTRA PREDICTION MODES
EP4022904A4 (en) * 2019-09-20 2023-05-31 Huawei Technologies Co., Ltd. INTRA PREDICTION METHOD AND APPARATUS
US11432018B2 (en) 2020-05-11 2022-08-30 Tencent America LLC Semi-decoupled partitioning for video coding
US11259055B2 (en) 2020-07-10 2022-02-22 Tencent America LLC Extended maximum coding unit size
US11432006B2 (en) 2020-08-14 2022-08-30 Tencent America LLC Chroma mode video coding
CN114554195B (zh) * 2020-11-25 2024-06-25 腾讯科技(深圳)有限公司 图像处理方法、设备及存储介质
CN113099229B (zh) * 2021-02-22 2022-08-09 浙江大华技术股份有限公司 块划分方法、帧间预测方法、视频编码方法及相关装置
CN112437102B (zh) * 2021-01-28 2021-05-14 北京电信易通信息技术股份有限公司 一种音视频加密计算加速的方法及系统
CN113794877B (zh) * 2021-06-30 2022-11-25 杭州海康威视数字技术股份有限公司 解码方法、编码方法、装置、设备及机器可读存储介质
CN117882378A (zh) * 2021-09-22 2024-04-12 深圳市大疆创新科技有限公司 编解码方法及装置

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7935108B2 (en) * 1999-07-14 2011-05-03 Cardiofocus, Inc. Deflectable sheath catheters
FI20060254L (fi) * 2006-03-17 2007-12-14 Toivo Lipponen Höyrykaappi
WO2008016605A2 (en) * 2006-08-02 2008-02-07 Thomson Licensing Adaptive geometric partitioning for video decoding
CN104702951B (zh) * 2009-12-01 2018-10-19 数码士有限公司 用于编码/解码高分辨率图像的方法和设备
US9467705B2 (en) * 2009-12-30 2016-10-11 Ariscale Inc. Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block
WO2011080547A1 (en) * 2009-12-31 2011-07-07 Abb Research Ltd Process optimization method and system for a power plant
AR083502A1 (es) * 2010-10-21 2013-02-27 Biomarin Pharm Inc Sal tosilada de (8s,9r)-5-fluoro-8-(4-fluorofenil)-9-(1-metil-1h-1,2,4-triazol-5-il)-8,9-dihidro-2h-pirido[4,3,2-de]ftalazin-3(7h)-ona cristalina
US8526495B2 (en) 2010-11-22 2013-09-03 Mediatek Singapore Pte. Ltd. Apparatus and method of constrained partition size for high efficiency video coding
KR20240128140A (ko) * 2010-12-08 2024-08-23 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
MX2013006339A (es) * 2011-01-07 2013-08-26 Mediatek Singapore Pte Ltd Metodo y aparato para una mejor codificacion del modo de prediccion intra-luma.
ES2928097T3 (es) * 2011-01-13 2022-11-15 Nec Corp Dispositivo, método y programa de descodificación de video
US9049452B2 (en) 2011-01-25 2015-06-02 Mediatek Singapore Pte. Ltd. Method and apparatus for compressing coding unit in high efficiency video coding
US9392301B2 (en) * 2011-07-01 2016-07-12 Qualcomm Incorporated Context adaptive entropy coding for non-square blocks in video coding
US9769472B2 (en) * 2011-08-17 2017-09-19 Mediatek Singapore Pte. Ltd. Method and apparatus for Intra prediction using non-square blocks
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
EP3139596B1 (en) 2011-09-13 2019-09-25 HFI Innovation Inc. Method and apparatus for intra mode coding in hevc
US9699457B2 (en) * 2011-10-11 2017-07-04 Qualcomm Incorporated Most probable transform for intra prediction coding
HUE050473T2 (hu) * 2012-01-20 2020-12-28 Dolby Laboratories Licensing Corp Eljárás belsõ predikciós mód leképezésére
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US20140078394A1 (en) * 2012-09-17 2014-03-20 General Instrument Corporation Selective use of chroma interpolation filters in luma interpolation process
WO2014050971A1 (ja) * 2012-09-28 2014-04-03 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
US20140198855A1 (en) * 2013-01-14 2014-07-17 Qualcomm Incorporated Square block prediction
US20140286412A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated Intra dc prediction for lossless coding in video coding
EP2936816B1 (en) * 2013-04-09 2020-04-29 MediaTek Singapore Pte Ltd. Method and apparatus for non-square intra mode coding
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
FR3010210B1 (fr) 2013-08-29 2017-01-13 Stmicroelectronics Rousset Protection d'un calcul contre des attaques par canaux caches
US10516884B2 (en) * 2014-03-05 2019-12-24 Lg Electronics Inc. Method for encoding/decoding image on basis of polygon unit and apparatus therefor
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
US10448011B2 (en) 2016-03-18 2019-10-15 Mediatek Inc. Method and apparatus of intra prediction in image and video processing
US10230961B2 (en) 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
CN116684592A (zh) * 2016-08-08 2023-09-01 Lg电子株式会社 视频解码方法、视频信号编码方法及其介质
WO2018037896A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、および画像符号化方法
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
US10674165B2 (en) * 2016-12-21 2020-06-02 Arris Enterprises Llc Constrained position dependent intra prediction combination (PDPC)
PT3552393T (pt) * 2016-12-23 2023-05-30 Huawei Tech Co Ltd Um aparelho de codificação para sinalizar um modo de intra-predição direcional de extensão dentro de um conjunto de modos de intra-predição direcional
KR102371266B1 (ko) * 2016-12-23 2022-03-07 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트로부터 방향성 인트라 예측 모드를 제거하기 위한 인트라 예측 장치
WO2018117892A1 (en) * 2016-12-23 2018-06-28 Huawei Technologies Co., Ltd. An intra-prediction apparatus for extending a set of predetermined directional intra-prediction modes
FI20175006A1 (en) * 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
EP3646463A1 (en) 2017-06-30 2020-05-06 Airity Technologies, Inc. High gain resonant amplifier for resistive output impedance
US10764587B2 (en) * 2017-06-30 2020-09-01 Qualcomm Incorporated Intra prediction in video coding
WO2019147087A1 (ko) * 2018-01-25 2019-08-01 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
KR20190101891A (ko) * 2018-02-23 2019-09-02 인텔렉추얼디스커버리 주식회사 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
US11611757B2 (en) * 2018-04-02 2023-03-21 Qualcomm Incorproated Position dependent intra prediction combination extended with angular modes
US10419754B1 (en) * 2018-04-02 2019-09-17 Tencent America LLC Method and apparatus for video decoding using multiple line intra prediction
US11856184B2 (en) * 2018-05-14 2023-12-26 Interdigital Vc Holdings, Inc. Block shape adaptive intra prediction directions for quadtree-binary tree
WO2019221465A1 (ko) * 2018-05-14 2019-11-21 인텔렉추얼디스커버리 주식회사 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
WO2019224032A1 (en) 2018-05-25 2019-11-28 Basf Se Use of compositions comprising a solvent mixture for avoiding pattern collapse when treating patterned materials with line-space dimensions of 50 nm or below
CN112672161B (zh) * 2018-06-27 2024-09-10 株式会社Kt 用于处理视频信号的方法和设备
US11159806B2 (en) * 2018-06-28 2021-10-26 Qualcomm Incorporated Position dependent intra prediction combination with multiple reference lines for intra prediction

Also Published As

Publication number Publication date
CN110677677B (zh) 2022-08-12
JP7443455B2 (ja) 2024-03-05
JP7280887B2 (ja) 2023-05-24
JP2021515491A (ja) 2021-06-17
US10623748B2 (en) 2020-04-14
CN115623201A (zh) 2023-01-17
EP3818707A4 (en) 2022-05-11
CN111989921B (zh) 2022-08-30
US10284860B1 (en) 2019-05-07
KR20230065389A (ko) 2023-05-11
US10616593B2 (en) 2020-04-07
JP2022020694A (ja) 2022-02-01
EP3818709A1 (en) 2021-05-12
KR102545299B1 (ko) 2023-06-20
US20200204815A1 (en) 2020-06-25
KR20200121904A (ko) 2020-10-26
CN115604464B (zh) 2024-10-22
US11516488B2 (en) 2022-11-29
EP3818707A1 (en) 2021-05-12
US11350119B2 (en) 2022-05-31
KR102530377B1 (ko) 2023-05-10
US20210127127A1 (en) 2021-04-29
US20220232235A1 (en) 2022-07-21
CN115604464A (zh) 2023-01-13
KR20200124736A (ko) 2020-11-03
US10911766B2 (en) 2021-02-02
US10284866B1 (en) 2019-05-07
US20200007878A1 (en) 2020-01-02
JP7026249B2 (ja) 2022-02-25
US11265565B2 (en) 2022-03-01
US12003749B2 (en) 2024-06-04
KR102708037B1 (ko) 2024-09-23
CN115623203B (zh) 2024-07-19
CN115866273A (zh) 2023-03-28
US11706436B2 (en) 2023-07-18
CN115623203A (zh) 2023-01-17
JP7159423B2 (ja) 2022-10-24
US11683516B2 (en) 2023-06-20
CN111989921A (zh) 2020-11-24
CN111837390A (zh) 2020-10-27
US20220038729A1 (en) 2022-02-03
WO2020009811A1 (en) 2020-01-09
US20200007880A1 (en) 2020-01-02
JP2021517411A (ja) 2021-07-15
US20230023233A1 (en) 2023-01-26
WO2020009870A1 (en) 2020-01-09
JP2022179714A (ja) 2022-12-02
EP3818709A4 (en) 2022-05-04
JP2024045671A (ja) 2024-04-02
KR20230092030A (ko) 2023-06-23
KR20240144431A (ko) 2024-10-02
CN110677677A (zh) 2020-01-10
US20240283960A1 (en) 2024-08-22
US20200007868A1 (en) 2020-01-02
US20200195950A1 (en) 2020-06-18
CN111837390B (zh) 2023-01-06
US10382772B1 (en) 2019-08-13
CN115623201B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
JP7280887B2 (ja) ビデオ符号化のための方法、装置及びコンピュータプログラム
JP7241177B2 (ja) アフィン線形加重イントラ予測モードのための簡易シグナリング方法
JP7242705B2 (ja) ビデオ符号化のための方法、装置、及びコンピュータプログラム
JP7339389B2 (ja) ビデオ圧縮における複数ラインのフレーム内予測のための方法および装置
CN114745540B (zh) 一种视频编解码方法、装置、设备和介质
CN113261298B (zh) 视频编解码的方法和装置
EP3769519A1 (en) Method and apparatus for intra prediction for non-square blocks in video compression
CN113574894B (zh) 视频解码方法、视频解码器、计算机设备及介质
JP2022552381A (ja) ビデオ復号の方法、装置、およびコンピュータプログラム
JP2022526380A (ja) スキップモードフラグを伝達するための方法、装置及びコンピュータプログラム
CN112235573B (zh) 视频编解码的方法、装置、电子设备、存储介质
JP7236558B2 (ja) ビデオコーディングのための方法および装置
JP7267404B2 (ja) ビデオを符号化及び復号する方法、並びにその装置及びコンピュータプログラム
CN115804089A (zh) 零残差标志编解码
JPWO2021207026A5 (ja)
JP2023525668A (ja) 多重変換選択を用いた適応スキャン
KR20230065344A (ko) 서브블록 교차 성분 선형 모델 예측

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241105