[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7422858B2 - ビデオ処理方法、装置、記憶媒体及び記憶方法 - Google Patents

ビデオ処理方法、装置、記憶媒体及び記憶方法 Download PDF

Info

Publication number
JP7422858B2
JP7422858B2 JP2022506683A JP2022506683A JP7422858B2 JP 7422858 B2 JP7422858 B2 JP 7422858B2 JP 2022506683 A JP2022506683 A JP 2022506683A JP 2022506683 A JP2022506683 A JP 2022506683A JP 7422858 B2 JP7422858 B2 JP 7422858B2
Authority
JP
Japan
Prior art keywords
block
transform
luma
prediction mode
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022506683A
Other languages
English (en)
Other versions
JP2022543102A (ja
Inventor
ザン,リー
ザン,カイ
リュウ,ホンビン
ワン,ユエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022543102A publication Critical patent/JP2022543102A/ja
Priority to JP2024000128A priority Critical patent/JP2024041836A/ja
Application granted granted Critical
Publication of JP7422858B2 publication Critical patent/JP7422858B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
願は、2020年8月3日付で出願された国際特許出願第PCT/CN2020/106561に基づいており、同出願は2019年8月3日付で出願された国際特許出願第PCT/CN2019/099158号に対する優先権を主張ている。上記の特許出願は全て本件で全体的に参照により援用される。
技術分野
本特許文献はビデオ処理技術、デバイス、及びシステムに関連する。
背景
ビデオ圧縮における進歩にもかかわらず、デジタル・ビデオは、インターネットその他のデジタル通信ネットワークにおいて最大の帯域幅を依然として占めている。ビデオを受信及び表示することが可能な接続ユーザー・デバイスの台数が増加するにつれて、デジタル・ビデオの利用に対する帯域幅の需要は増加し続けるであろうということが予想される。
デバイス、システム、及び方法は、デジタル・ビデオ・コーディング、具体的にはビデオ・コーディングにおける残差コーディングのためのコンテキスト・モデリングに関連している。説明される方法は、既存のビデオ・コーディング規格(例えば、高効率ビデオ・コーディング(High Efficiency Video Coding,HEVC)及び将来のビデオ・コーディング規格又はビデオ・コーデックの両方に適用される可能性がある。
代表的な一態様において、開示される技術は、ビデオ処理方法を提供するために使用することが可能である。本方法は、ビデオのビデオ・ユニットの現在のビデオ・ブロックと、ビデオのコーディングされた表現との間の変換に関し、特定のイントラ予測モードを使用してコーディングされたビデオ・ユニットのデフォルト・イントラ予測モードを決定し、その結果、現在のビデオ・ブロックの予測ブロックが、ある方向に沿って現在のビデオ・ブロックの隣接するピクセルを外挿することなく生成されるステップと、その決定に基づいて変換を実行するステップとを含む。
別の代表的な態様において、開示される技術は、ビデオ処理方法を提供するために使用することが可能である。本方法は、ルールを使用して、ビデオのクロマ・ブロックの所定の位置をカバーするビデオのルマ・ブロックについての決定を行うステップと、決定に基づいて、ビデオとビデオのコーディングされた表現との間の変換を実行するステップとを含み、クロマ・ブロックは、イントラ予測モードを使用して、コーディングされた表現で表現される。
更に別の代表的な態様において、開示される技術は、ビデオ処理方法を提供するために使用することが可能である。本方法は、ルールを使用して、ビデオのクロマ・ブロックのイントラ予測モードを、クロマ・ブロックに対応するルマ・ブロックのコーディング・モードに基づいて導出するステップと、導出されたイントラ予測モードに基づいて、クロマ・ブロックとビデオのコーディングされた表現との間の変換を実行するステップとを含み、ルールは、ルマ・ブロックのコーディング・モードが、ある方向に沿ってルマ・ブロックの隣接するピクセルを外挿することなく、ルマ・ブロックの予測ブロックが生成される特定のイントラ予測モードである場合に、デフォルトのイントラ予測モードを使用することを規定している。
更に別の代表的な態様において、開示される技術は、ビデオ処理方法を提供するために使用することが可能である。本方法は、ビデオのクロマ・ブロックに関し、非ノーマル・クロマ・イントラ予測モードがビデオのクロマ・ブロックに適用されるかどうかの第1判定を行うステップと、 クロマ・ブロックに対応するルマ・ブロックに関し、ルマ・イントラ予測モードがルマ・ブロックに適用される第2判定を行うステップと、ルマ・イントラ予測モードに基づいてクロマ・ブロックに変換セット又は変換行列が適用される第3判定を行うステップと、第3判定に従って、ビデオとビデオのコーディングされた表現との間の変換を実行するステップとを含み、非ノーマル・クロマ・イントラ予測モードは、クロマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、クロマ・ブロックをコーディングすることを含む。
更に別の代表的な態様において、開示される技術は、ビデオ処理方法を提供するために使用することが可能である。本方法は、ビデオのクロマ・ブロックに関し、クロマ・ブロックに対応するルマ・ブロックが、非ノーマル・ルマ・イントラ予測モードを使用してコーディングされる第1判定を行うステップと、
第1判定に基づいて、ルールに従ってクロマ・ブロックに対する変換セット又は変換行列の第2判定を行うステップと、第2判定に従って、ビデオとビデオのコーディングされた表現との間の変換を実行するステップとを含み、ルールは、ルマ・ブロックが非ノーマル・ルマ・イントラ予測モードを使用してコーディングされることに起因して、クロマ・ブロックに関連する1つ以上のデフォルト・モード又はデフォルト変換セットは、クロマ・ブロックが非ノーマル・クロマ・イントラ予測モードを使用してコーディングされる場合に変換セット又は変換行列を決定することを規定しており、非ノーマル・ルマ・イントラ予測モードは、ルマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、ルマ・ブロックをコーディングすることを含み、非ノーマル・クロマ・イントラ予測モードは、クロマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、クロマ・ブロックをコーディングすることを含む。
更に別の代表的な態様において、開示される技術は、ビデオ処理方法を提供するために使用することが可能である。本方法は、ビデオの現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換に関し、1つの色成分の現在のビデオ・ブロックに適用される第2変換ツールの適用可能性を、1)別の色成分の対応するブロックのコーディング・モード、又は2)現在のビデオ・ブロックのコーディング・モードのうちの少なくとも1つに基づいて決定するステップと、決定に基づいて変換を実行するステップとを含み、二次変換ツールを使用して:符号化の間に、量子化の前に、現在のビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換が適用され、又は復号化の間に、インバース一次変換を適用する前に、現在のビデオ・ブロックの逆量子化の出力にインバース二次変換が適用される。
更に別の代表的な態様において、開示される技術は、ビデオ処理方法を提供するために使用することが可能である。本方法は、ビデオのクロマ・ブロックに関し、クロマ・ブロックの予め決定された位置をカバーしているルマ・ブロックが、非ノーマル・ルマ・イントラ予測モードを使用して符号化される第1判定を行うステップと、第1判定に基づいて、ルマ・ブロックが非ノーマル・ルマ・イントラ予測モードを使用して符号化されることに起因して、予め決定されたイントラ予測モードをクロマ・ブロックに適用する第2判定を行うステップと、第2判定に従って、ビデオとビデオのコーディングされた表現との変換を実行するステップとを含み、非ノーマル・ルマ・イントラ予測モードは、ルマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、ルマ・ブロックを符号化することを含む。
更に別の代表的な態様において、開示される技術は、ビデオ処理方法を提供するために使用することが可能である。本方法は、ビデオのクロマ・ブロックに関し、クロマ・ブロックの予め決定された位置をカバーしているルマ・ブロックが、ノーマル・ルマ・イントラ予測モードを使用して符号化される第1判定を行うステップと、第1判定に基づいて、ルマ・ブロックのノーマル・ルマ・イントラ予測モードに基づいて、クロマ・イントラ予測モードを導出する第2判定を行うステップと、第2判定に従って、ビデオとビデオのコーディングされた表現との変換を実行するステップとを含み、ノーマル・ルマ・イントラ予測モードは、ルマ予測方向に沿って外挿された隣接するピクセルの値を使用して、ルマ・ブロックを符号化することを含む。
更に別の代表的な一態様において、上記の方法は、プロセッサで実行することが可能なコードの形態で具現化され、コンピュータ読み取り可能なプログラム媒体に記憶される。
更に別の代表的な一態様において、上記の方法を実行するように構成された又は動作することが可能なデバイスが開示される。デバイスは、この方法を実装するようにプログラムされたプロセッサを含んでもよい。
更に別の代表的な一態様において、ビデオ・デコーダ装置は本願で説明される方法を実装することができる。
開示された技術の上記及びその他の態様及び特徴は、図面、明細書及び特許請求の範囲において、より詳細に記載されている。
例示的なエンコーダのブロック図を示す。
67個のイントラ予測モードの例を示す。
4×4ブロックに対するALWIPの例を示す。
8×8ブロックに対するALWIPの例を示す。
8×4ブロックに対するALWIPの例を示す。
16×16ブロックに対するALWIPの例を示す。
予測ブロックに隣接する4つの参照ラインの例を示す。
4×8及び8×4ブロックの分割例を示す。
4×8、8×4、4×4を除く全てのブロックの分割例を示す。
JEMにおける二次変換の例を示す。
提案される縮小二次変換(reduced secondary transform,RST)の例を示す。
フォワード及びインバース縮小変換の例を示す。
16×48行列を用いたフォワードRST 8×8プロセスの例を示す。
8×8行列に対するゼロ・アウト領域の例を示す。
サブ・ブロック変換モードSBT-V及びSBT-Hの例を示す。
4×4コーディング・グループに対する対角線右上向きスキャン順序の例を示す。
サイズ4×4のコーディング・グループによる8×8ブロックに対する対角線右上向きスキャン順序の例を示す。
確率モデルを選択するために使用されるテンプレートの例を示す。
依存量子化(dependent quantization)に使用される2つのスカラー量子化器の例を示す。
提案される依存量子化プロセスに対する状態遷移と量子化器選択の例を示す。
4つのコーディング・グループを有する8×8ブロックの例である。
ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。
本件で説明されるビジュアル・メディア復号化又はビジュアル・メディア符号化技術を実装するためのハードウェア・プラットフォーム例のブロック図である。 本件で説明されるビジュアル・メディア復号化又はビジュアル・メディア符号化技術を実装するためのハードウェア・プラットフォーム例のブロック図である。
デュアル・ツリー・パーティションの下での1つのクロマ・ブロックと、それに対応するルマ・ブロックのうちの前者の例を示す。 デュアル・ツリー・パーティションの下での1つのクロマ・ブロックと、それに対応するルマ・ブロックの後者の例を示す。
対応するルマ・ブロックからのDM導出のための‘CR’位置の例を示す。
ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。
ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。 ビデオ処理の例示的な方法のフローチャートを示す。
開示される技術の実施形態は、圧縮パフォーマンスを改善するために、既存のビデオ・コーディング規格(例えば、HEVC,H.265)及び将来の規格に適用される可能性がある。セクション見出しは、本明細書においては説明の可読性を向上させるために使用されており、如何なる方法によっても、本説明又は実施形態(及び/又は実装)を個々のセクションだけに限定してはいない。
2 ビデオ・コーディング・イントロダクション
より高い解像度のビデオの益々増える要請に起因して、ビデオ・コーディング方法及び技術は現代技術の至る所に存在する。ビデオ・コーデックは、典型的には、デジタル・ビデオを圧縮又は解凍する電子回路又はソフトウェアを含み、より高いコーディング効率を提供するために絶えず改良されている。ビデオ・コーデックは、圧縮されていないビデオを圧縮されたフォーマットへ、又は逆向きに変換する。ビデオ品質と、ビデオを表現するために使用されるデータ量(ビット・レートによって決定される)と、符号化及び復号化アルゴリズムの複雑さと、データ損失及びエラーに対する感度と、編集の容易さと、ランダム・アクセスと、エンド・ツー・エンド遅延(レイテンシ)との間には複雑な関係が存在する。圧縮されたフォーマットは、通常、標準的なビデオ圧縮規格、例えば、高効率ビデオ・コーディング(HEVC)規格(H.265又はMPEG-H Part 2としても知られている)、ファイナライズされる予定の汎用ビデオ・コーディング(Versatile Video Coding,VVC)規格、又は他の現在及び/又は将来のビデオ・コーディング規格に準拠している。
ビデオ・コーディング規格は、周知のITU-T及びISO/IEC規格の開発を通じて主に発展してきた。ITU-TはH.261とH.263を作成し、ISO/IECはMPEG-1とMPEG-4 Visualを作成し、その2つの組織は共同してH.262/MPEG-2ビデオとH.264/MPEG-4アドバンスト・ビデオ・コーディング(AVC)とH.265/HEVC規格とを作成した。H.262以来、ビデオ・コーディング規格はハイブリッド・ビデオ・コーディング構造に基づいており、そこでは時間的予測と変換コーディングが使用される。HEVCを越える将来のビデオ・コーディング技術を探求するため、2015年に共同ビデオ探査チーム(Joint Video Exploration Team,JVET)がVCEGとMPEGにより共同で設立された。それ以来、多くの新しい方法がJVETによって採用されており、共同探索モデル(Joint Exploration Model,JEM)[3][4]と名付けられる参照ソフトウェアに組み込まれている。2018年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間で共同ビデオ・エキスパート・チーム(JVET)が発足し、HEVCと比較して50%のビットレート低減を目指すVVC規格に取り組んだ。
2.1 典型的なビデオ・コーデックのコーディング・フロー
図1は、VVCのエンコーダ・ブロック図の例を示し、3つのループ内フィルタリング・ブロック、即ち:デブロッキング・フィルタ(DF)、サンプル適応オフセット(SAO)、及びALFを含む。予め定義されたフィルタを使用するDFとは異なり、SAO及びALFはそれぞれ、現在のピクチャのオリジナル・サンプルを使用して、オリジナル・サンプルと再構成されたサンプルとの間の平均二乗誤差を、オフセットを追加することによって、及び有限インパルス応答(FIR)フィルタを適用することによって減少させ、コーディングされたサイド情報は、オフセットとフィルタ係数をシグナリングする。ALFは、各ピクチャの最終処理ステージに位置し、以前のステージで生成されたアーチファクトを捕捉して修復しようとするツールと見なすことができる。
2.2 VVCにおけるイントラ・コーディング
2.2.1 67個のイントラ予測モードによるイントラ・モード・コーディング
自然なビデオで提示される任意のエッジ方向を捕らえるために、方向イントラ・モードの数は、HEVCで使用されているような33個から、65個へ拡張される。追加の方向モードは、図2において点線の矢印として描かれており、平面モード及びDCモードは同じままである。これらのより高密度な方向性イントラ予測モードは、全てのブロック・サイズに対して、そしてルマ及びクロマ・イントラ予測の両方に対して適用される。
従来の角度イントラ予測方向は、図2に示すように時計回り方向に45度から-135度までに対して定義される。VTM2では、幾つかの従来の角度イントラ予測モードは、非正方ブロックに対する広角イントラ予測モードで適応的に置換される。置換されるモードは、オリジナルの方法を用いてシグナリングされ、解析後に広角モードのインデックスに再マッピングされる。イントラ予測モードの総数は変化せず、即ち67であり、イントラ・モード・コーディングは変わらない。
HEVCでは、イントラ・コーディングされるブロックは全て正方形であり、各辺の長さは2のべき乗である。従って、DCモードを使用してイントラ予測子を生成するために分割処理は必要とされない。VVV2では、ブロックは長方形の形状を有する可能性があり、一般的なケースではブロックごとに分割処理を使用する必要がある。DC予測のための分割処理を回避するために、長辺のみが、非正方形ブロックに対する平均を計算するために使用される。
67個のイントラ予測モードに加えて、非正方形ブロック(WAIP)及びポジション依存イントラ予測結合(PDPC)法の広角イントラ予測が、特定のブロックに対して更にイネーブルにされる。PDPCは、以下のイントラ・モード:平面、DC、水平、垂直、左下の角度モードとその8つの隣接する角度モード、及び右上の角度モードとその8つの隣接する角度モードに対して、シグナリングなしに適用される。
2.2.2 アフィン線型加重イントラ予測(ALWIP又はマトリクス・ベースのイントラ予測)
アフィン線型加重イントラ予測(ALWIP,マトリクス・ベースのイントラ予測(Matrix based intra prediction,MIP)としても知られている)はJVET-N0217で提案されている。
2.2.2.1 行列ベクトル乗算による縮小予測信号の生成
先ず、隣接する参照サンプルは平均化によってダウン・サンプリングされ、縮小参照信号bdryredを生成する。次いで、行列ベクトル積を計算してオフセットを加えることによって、縮小予測信号predredが計算される:
Figure 0007422858000001
ここで、Aは、W=H=4である場合は4列、他の全ての場合は8列と、Wred・Hred行とを有する行列である。bはサイズがWred・Hredであるベクトルである。
2.2.2.2 ALWIPプロセス全体の説明
平均化、行列ベクトル乗算、及び線型補間の全体的なプロセスが、図3-6で様々な形状に関して示されている。残りの形状は、図示のケースのうちの何れかと同様に扱われることに留意されたい。
1.4×4ブロックであるとすると、ALWIPは境界の各軸に沿って2つの平均をとる。結果の4つの入力サンプルは、行列ベクトル乗算に入る。行列は集合S0から取られる。オフセットを加えた後、これは16個の最終予測サンプルを生じる。線型補間は予測信号を生成するためには不要である。従って、サンプル当たり合計(4・16)/(4・4)=4回の乗算が実行される。
2.8×8ブロックであるとすると、ALWIPは境界の各軸に沿って4つの平均をとる。結果の8つの入力サンプルは、行列ベクトル乗算に入る。行列は集合S1から取られる。これは予測ブロックの奇数位置における16個のサンプルを生じる。従って、サンプル当たり合計(8・16)/(8・8)=2回の乗算が実行される。オフセットを加えた後、これらのサンプルは、縮小された上・境界を使用することによって、垂直方向に補間される。元の左・境界を使用することによって、水平補間が続く。
3.8×4ブロックであるとすると、ALWIPは境界の水平軸に沿って4つの平均と、左境界における4つの元の境界値とをとる。結果の8つの入力サンプルは、行列ベクトル乗算に入る。行列は集合S1から取られる。これは予測ブロックの水平方向の奇数位置と垂直方向の各位置とで16個のサンプルを生じる。従って、サンプル当たり合計(8・16)/(8・4)=4回の乗算が実行される。オフセットを加えた後、これらのサンプルは、元の左・境界を使用することによって、水平方向に補間される。
4.16×16ブロックであるとすると、ALWIPは境界の各軸に沿って4つの平均をとる。結果の8つの入力サンプルは、行列ベクトル乗算に入る。行列は集合S2から取られる。これは予測ブロックの奇数位置で64個のサンプルを生じる。従って、サンプル当たり合計(8・64)/(16・16)=2回の乗算が実行される。オフセットを加えた後、これらのサンプルは、上・境界の8つの平均を使用することによって、垂直方向に補間される。元の左・境界を使用することによって、水平補間が続く。この場合、補間プロセスは、如何なる乗算も追加しない。従って、ALWIP予測を計算するためには、全体として、サンプル当たり2回の乗算が必要とされる。
より大きな形状についても、手順は本質的には同じであり、サンプル当たりの乗算回数は4未満であることを確認することは容易である。
W×8ブロックの場合(W>8)、水平補間のみ必要となり、なぜならサンプルは奇数の水平位置であって各垂直位置で与えられているからである。
最後に、W×4ブロックの場合(W>8)、A_kbeを、ダウン・サンプリングしたブロックの水平軸に沿った奇数エントリに対応する全ての行を除外することによって生じる行列とする。従って、出力サイズは32であり、再び、水平補間のみが実行されるように残る。
転置されるケースは相応に取り扱われる。
イントラ予測ブロックのMPMリストを作成する場合において、隣接ブロックがMIPモードでコーディングされるならば、MIPモードは、次のテーブルを使用することによってイントラ予測モードにマッピングされるであろう。ここで、隣接するルマ・ブロックの幅、高さをそれぞれwidthNeig、hightNeigとすると、MipSizeIdは次のようにして導出される:
・widthNeigとhightNeigが4に等しい場合、MipSizeIdは0に等しく設定される。
・それ以外の場合において、widthNeigとhightNeigの両方が8以下であるならば、MipSizeIdは1に等しく設定される。
・それ以外の場合、MipSizeIdは2に等しく設定される。
Figure 0007422858000002
Figure 0007422858000003
2.2.3 多重参照ライン(MRL)
多重参照ライン(Multiple reference line,MRL)イントラ予測は、イントラ予測のために、より多くの参照ラインを使用する。図7において、4つの参照ラインの例が描かれており、ここで、セグメントA及びFのサンプルは、再構成された隣接するサンプルから取ってくるのではなく、それぞれセグメントB及びEからの最も近いサンプルでパディングされる。HEVCイントラ・ピクチャ予測は、最も近い参照ライン(即ち参照ライン0)を使用している。MRLでは、2つの追加ライン(参照ライン1及び参照ライン3)が使用される。
選択された参照ラインのインデックス(mrl_idx)は、シグナリングされて、イントラ予測子を生成するために使用される。0より大きな参照ライン・インデックスの場合、追加の参照ライン・モードをMPMリストに含めるだけであり、残りのモードを使用せずにMPMインデックスをシグナリングするだけである。参照ライン・インデックスは、イントラ予測モードの前にシグナリングされ、プレーナ(Planar)及びDCモードは、ゼロでない参照ライン・インデックスがシグナリングされた場合に、イントラ予測モードから除外される。
MRLは、CTU内側のブロックの第1ラインについてはディセーブルにされて、現在のCTUライン外側にある拡張された参照サンプルを使用することを禁止する。また、追加ラインが使用される場合、PDPCはディセーブルにされる。

2.2.4 イントラ・サブ・ブロック・パーティショニング(ISP)
JVET-M0102では、ISPが提案されており、これはテーブル1に示されるように、ルマ・イントラ予測ブロックを、ブロック・サイズのディメンジョンに依存して垂直に又は水平に、2つ又は4つのサブ・パーティションに分割する。図8及び図9は、2つの可能性の例を示す。全てのサブ・パーティションは、少なくとも16サンプルを有するという条件を満たしている。ブロック・サイズが4×N又はN×4(N>8)である場合、許容される場合には、1×N又はN×1のサブ・パーティションが存在してもよい。
Figure 0007422858000004
Figure 0007422858000005
Figure 0007422858000006
Figure 0007422858000007
Figure 0007422858000008
VTM4では、64×64のサイズに及ぶ大きなブロック・サイズの変換がイネーブルにされており、これは高解像度ビデオ、例えば1080pや4Kシーケンスに主に有用である。高周波変換係数は、サイズ(幅又は高さ、又は幅及び高さの両方)が64に等しい変換ブロックに対して、低周波係数のみが保持されるようにゼロ化される。例えば、M×N変換ブロックの場合、Mをブロック幅とし、Nをブロック高さとし、Mが64に等しい場合に、変換係数のうちの左32列のみが保持される。同様に、Nが64に等しい場合、変換係数の上位32行のみが保持される。大きなブロックに対して変換スキップ・モードが使用される場合、如何なる値もゼロ化することなく、ブロック全体が使用される。
HEVCで採用されているDCT-IIに加えて、多重変換選択(Multiple Transform Selection,MTS)方式が、インター及びイントラ・コーディングされたブロック双方を残差コーディングするために使用される。これはDCT8/DST7から選択される複数の変換を使用する。新たに導入される変換行列はDST-VIIとDCT-VIIIである。以下のテーブル4は、選択されるDST/DCTの基底関数を示す。
Figure 0007422858000009
変換行列の直交性を保持するために、変換行列はHEVCの変換行列よりも精密に量子化される。水平変換の後及び垂直変換の後に、変換された係数の中間値を16ビットの範囲内に保つため、全ての係数は10ビットを有するべきである
MTSスキームを制御するために、イントラ及びインターそれぞれについて、別々のイネーブル化フラグがSPSレベルで指定される。MTSがSPSでイネーブルにされると、MTSが適用されるか否かを指定するために、CUレベル・フラグがシグナリングされる。ここで、MTSはルマについてのみ適用される。MTS CUレベル・フラグは、以下の条件が充足される場合にシグナリングされる。
○ 幅及び高さ双方が32以下であること
○ CBFフラグが1に等しいこと

MTS CUフラグがゼロに等しい場合、DCT2は双方向に適用される。しかしながら、MTS CUフラグが1に等しい場合、2つの他のフラグが追加的にシグナリングされて、水平及び垂直方向それぞれについて変換タイプを指定する。変換及びシグナリング・マッピングはテーブル5にされるとおりである。変換行列の精度に関しては、8ビットの一次変換コアが使用される。従って、4点DCT-2及びDST-7,8点,16点,及び32点DCT-2を含む、HEVCで使用される全ての変換コアは同一に保たれる。また、64点DCT-2,4点DCT-8,8点,16点,32点DST-7及びDCT-8を含む他の変換コアは、8ビット一次変換コアを使用する。
Figure 0007422858000010
大きなサイズのDST-7及びDCT-8の複雑さを低減させるため、32に等しいサイズ(幅又は高さ、又は幅及び高さの双方)を有するDST-7及びDCT-8ブロックに関し、高周波変換係数はゼロ化される。16×16の低周波領域内の係数のみが保持される。
異なる変換が適用される場合に加えて、VVCは、HEVCにおけるTSの概念に類似する変換スキップ(TS)と呼ばれるモードもサポートしている。TSはMTSの特殊なケースとして取り扱われる。
2.4.2 JVET-N0193で提案される縮小二次変換(RST)
2.4.2.1 JEMにおけるノン・セパラブル二次変換(NSST)
JEMでは、フォワード一次変換と量子化(エンコーダ側)の間、逆量子化とインバート一次変換(デコーダ側)の間で、二次変換が適用される。図10に示すように、4×4(又は8×8)の二次変換はブロック・サイズに依存して実行される。例えば、4×4二次変換が小さなブロック(即ち、min (width, height) < 8)に適用され、8×8ブロック毎に、8×8二次変換がより大きなブロック(即ち、min (width, height) > 4)に適用される。
一例として以下のような入力を使用してノン・セパラブル変換(non-separable transform)の適用を説明する。ノン・セパラブル変換を適用するために、先ず、
Figure 0007422858000011
Figure 0007422858000012
Figure 0007422858000013
Figure 0007422858000014
2.4.2.2 JVET-N0193における縮小二次変換(RST)
RST(低周波ノン・セパラブル変換(Low Frequency Non-Separable Transform,LFNST))がJVET-K0099で導入され、(35個の変換セットではなく)4つの変換セットのマッピングがJVET-L0133で導入されている。このJVET-N0193では、16×64行列(更に、16×48行列に縮小される)及び16×16行列が使用される。表記の便宜上、16×64(16×48に縮小される)変換はRST8×8、16×16変換はRST4×4として表記される。図11はRSTの一例を示す。
2.4.2.2.1 RST計算
縮小変換(RT)の主要なアイデアは、N次元ベクトルを別空間内のR次元ベクトルにマッピングすることであり、ここでR/N(R<N)は縮小因子である。
Figure 0007422858000015
ここで、変換行列のR個の行はN次元空間のR個の基底である。RTに対するインバート変換行列は、そのフォワード変換の転置(transpose)である。フォワード及びインバートRTは図12に描かれている。
この寄稿では、4という縮小因子(1/4サイズ)のRST8x8が適用される。従って、従来の8×8ノン・セパラブル変換行列サイズである64×64の代わりに、16×64のダイレクト・マトリクス(direct matrix)が使用される。言い換えれば、64×16インバートRST行列が、8×8の左上領域でコア(一次)変換係数を生成するために、デコーダ側で使用される。フォワードRST8x8は16×64(又は8×8ブロックに対しては8×64)行列を使用し、その結果、所与の8×8領域内の左上の4×4領域においてのみ非ゼロ係数を生成する。言い換えれば、RSTが適用されると、左上の4×4領域を除く8×8領域はゼロ係数のみを有することになる。RST4×4、16×16(4×4ブロックに対しては8×16)の場合、ダイレクト・マトリクス乗算が適用される。
インバートRSTは、以下の2つの条件が満たされる場合に、条件付きで適用される:
○ ブロック・サイズは、所与の閾値以上であること(W>=4 && H>=4)
○ 変換スキップ・モード・フラグはゼロに等しいこと
変換係数ブロックの幅(W)と高さ(H)の両方が4より大きい場合、RST8x8は、変換係数ブロックの左上の8×8領域に適用される。それ以外の場合、RST4x4が変換係数ブロックの左上のmin(8,W)×min(8,H)の領域に適用される。
RSTインデックスが0に等しい場合、RSTは適用されない。それ以外の場合、RSTが適用され、そのカーネルは、RSTインデックスを用いて選択される。RSTの選択方法とRSTインデックスのコーディングについては後述する。
更に、RSTは、イントラ及びインター・スライスの両方においてイントラCUに、またルマ及びクロマの両方に適用される。デュアル・ツリーがイネーブルにされている場合、ルマとクロマに対するRSTインデックスは別々にシグナリングされる。インター・スライスの場合(デュアル・ツリーはディセーブルにされている)、単一のRSTインデックスがシグナリングされ、ルマとクロマの両方に使用される。
2.4.2.2.2 RSTの制約
ISPモードが選択される場合、RSTはディセーブルにされ、RSTインデックスはシグナリングされず、なぜなら、たとえRSTが適切な全てのパーティション・ブロックに適用されたとしても、パフォーマンスの改善はわずかであるに過ぎないからである。更に、ISPで予測された残差に対してRSTをディセーブルにすることは、符号化の複雑さを減らす可能性がある。
2.4.2.2.3 RST選択
RST行列は4つの変換セットから選択され、それら各々は2つの変換から構成される。どの変換セットが適用されるかは、以下のように、イントラ予測モードから決定される:
(1)3つのCCLMモードのうちの1つが指定される場合、変換セット0が選択される。
Figure 0007422858000016
IntraPredModeと表記される、上記テーブルにアクセスするためのインデックスは、[-14,83]というレンジを有し、それは広角イントラ予測に使用される変換モード・インデックスである。
後に、CCLMモードでコーディングされたクロマ・ブロックに対する低周波数非ノン・セパラブル変換(LFNST)(RSTとしても知られている)セットの選択は、変数IntraPredMode_CCLMに基づいて修正され、ここで、IntraPredMode_CCLMは[-14,80]というレンジを有する。IntraPredMode_CCLMは、現在のクロマ・ブロックのディメンジョンとコロケーテッド(co-located)ルマ・イントラ予測モードとによって決定される。
デュアル・ツリーがイネーブルにされている場合、現在のクロマ・ブロックにおける左上のクロマ・サンプルの対応するルマ・サンプルをカバーするブロック(例えば、PU)は、コロケーテッド(又は同等位置の)ルマ・ブロックとして定義される。具体例は、図24a及び24bに示されており、同等位置の場所はTLによって示される。
2.4.2.2.4 縮小ディメンジョンのRST行列
更なる簡略化に関し、同じ変換セットの設定を用いて16×64行列の代わりに16×48行列が適用され、それらの各々は、左上の8×8ブロックの中の3つの4×4ブロックから(右下の4×4ブロックを除いている)、48個のデータを取り込む(図13に示されている)。
2.4.2.2.5 RSTシグナリング
フォワードRST8x8は16×48行列を使用し、その結果、最初の3つの4×4領域内の中で左上の4×4領域のみにおいて非ゼロの係数を生成する。言い換えれば、RST8x8が適用される場合に、左上4×4(RST8x8によるもの)と右下4×4(一次変換によるもの)の領域のみが非ゼロの係数を有する可能性がある。その結果、右上の4×4及び左下の4×4ブロック領域(図14に示されており、「ゼロ・アウト(zero-out)」領域と呼ばれる)で何らかの非ゼロ要素が検出された場合、RSTインデックスはコーディングされず、なぜならその場合はRSTが適用されなかったことを意味するからである。そのようなケースでは、RSTインデックスはゼロであると推定される。
2.4.2.2.6 1つのCGにおけるゼロ・アウト領域
通常、4×4のサブ・ブロックにインバートRSTを適用する前に、4×4のサブ・ブロック内の何らかの係数は非ゼロである可能性がある。しかしながら、場合によっては、インバートRSTがサブ・ブロックに適用される前に、4×4サブ・ブロックの幾つかの係数はゼロでなければならないように制限される。
nonZeroSizeを変数であるとする。インバートRSTの前に、1-Dアレイに再配列された場合にnonZeroSizeより小さくないインデックスを有する如何なる係数も、ゼロでなければならないことが要求される。
nonZeroSizeが16に等しい場合、左上の4×4サブ・ブロックの係数にゼロ・アウト制約はない。
Figure 0007422858000017
Figure 0007422858000018
Figure 0007422858000019
Figure 0007422858000020
2.4.3 サブ・ブロック変換
1に等しいcu_cbfを有するインター予測されたCUの場合、残差ブロック全体又は残差ブロックのサブ・パートが復号化されるかどうかを示すために、cu_sbt_flag がシグナリングされてもよい。前者の場合、CUの変換タイプを決定するために、インターMTS情報が更に解析される。後者の場合、残差ブロックの一部は推定適応変換でコーディングされ、残差ブロックの他の部分はゼロ・アウト化される。SBTは複合インター・イントラ・モードには適用されない。
Figure 0007422858000021
Figure 0007422858000022
2.4.4 量子化残差ドメイン・ブロック差分パルス・コード変調コーディング(QR-BDPCM)
JVET-N0413では、量子化残差ドメインBDPCM(以下、RBDPCMと表す)が提案されている。イントラ予測と同様に、予測方向にサンプル・コピーを行うことによって(水平又は垂直予測)、ブロック全体に関してイントラ予測が行われる。残差は量子化され、量子化された残差とその予測子(水平又は垂直)量子化値との間のデルタがコーディングされる。
Figure 0007422858000023
Figure 0007422858000024
水平予測の場合、同様なルールが適用され、残差量子化サンプルは以下によって取得される:
Figure 0007422858000025
Figure 0007422858000026
Figure 0007422858000027
Figure 0007422858000028
水平の場合は次のとおりである。
Figure 0007422858000029
Figure 0007422858000030
QR-BDPCMが選択される場合、適用される変換は存在しない。
2.5 係数のエントロピー・コーディング
2.5.1 変換適用ブロックの係数コーディング
HEVCでは、コーディング・ブロックの変換係数は、オーバーラップしない係数グループ(又はサブブロック)を用いてコーディングされ、各CGは、コーディング・ブロックの4×4ブロックの係数を含む。コーディング・ブロック内のCGとCG内の変換係数は、予め定義されたスキャン順序に従ってコーディングされる。
コーディング・ブロック内のCGとCG内の変換係数は、予め定義されたスキャン順序に従ってコーディングされる。CGとCG内の係数の両方とも、対角線右上向きスキャン順序に従う。4×4ブロック及び8×8スキャン順序の例がそれぞれ図16及び図17に描かれている。
コーディングの順序は、反転したスキャン順序(即ち、図17ではCG3からCG0への復号化)であり、あるブロックを復号化する場合、最後の非ゼロ係数の座標が最初に復号化されることに留意されたい。
少なくとも1つの非ゼロ変換係数を有するCGの変換係数レベルのコーディングは、複数のスキャン・パスに分離されてもよい。第1パスでは、第1ビン(bin0で示され、significant_coeff_flagとも言及され、これは係数の大きさが0より大きいことを示す)がコーディングされる。次に、第2/第3ビン(それぞれbin1及びbin2により指定され、coeff_abs_greater1_flag及びcoeff_abs_greater2_flagとも言及される)をコーディングするコンテキストに対する2つのスキャン・パスが適用されてもよい。最終的に、必要に応じて、係数レベルの符号情報及び残りの値(coeff_abs_level_remainingとも呼ばれる)をコーディングするための2つ以上のスキャン・パスが呼び出される。最初の3つのスキャン・パスのビンのみが、レギュラー・モードでコーディングされ、それらのビンは以下の説明ではレギュラー・ビンと呼ばれることに留意されたい。
VVC 3では、各々のCGについて、レギュラー・コーディングされたビンとバイパス・コーディングされたビンはコーディング順序の中で分離され;先ず、サブブロックに対する全てのレギュラー・コーディングされたビンが伝送され、その後にバイパス・コーディングされたビンが伝送される。サブブロックの変換係数レベルは、スキャン・ポジションにおける5つのパスで以下のようにしてコーディングされる:
○ パス1:有意性(sig_flag)、1より大フラグ(gt1_flag)、パリティ(par_level_flag)、2より大フラグ(gt2_flag)のコーディングが、コーディング順序で処理される。sig_flagが1に等しい場合、先ず、gt1_flagがコーディングされる(それは、絶対レベルが1より大きいかどうかを指定する)。gt1_flagが1に等しい場合、par_flagが追加的にコーディングされる(それは、絶対レベル・マイナス2のパリティを指定する)。
○ パス2:残りの絶対レベル(リメインダ(remainder))のコーディングが、1に等しいgt2_flag又は1に等しいgt1_flagを有する全てのスキャン・ポジションに対して処理される。非バイナリ・シンタックス要素は、Golomb-Riceコードで二進化され、結果のビンは算術符号化エンジンのバイパス・モードでコーディングされる。
○ パス3:(レギュラー・コーディングされたビンの限界に到達したことに起因して)第1パスでsig_flagがコーディングされていない係数の絶対レベル(absLevel)が、Golomb-Riceコードを使用して算術符号化エンジンのバイパス・モードで完全にコーディングされる。
○ パス4:1に等しいsig_coeff_flagを有する全てのスキャン・ポジションに対する符号(sign_flag)をコーディングする。
4x4サブブロックに関して、32より多くないレギュラー・コーディングされたビン(sig_flag, par_flag, gt1_flag及びgt2_flag)が符号化又は復号化されることが保証される。2×2クロマ・サブブロックの場合、レギュラー・コーディングされたビンの数は8に制限される。
(パス3における)非バイナリ・シンタックス要素リメインダをコーディングためのライス・パラメータ(ricePar)が、HEVCと同様に導出される。各サブブロックの始めに、riceParは0に等しく設定される。シンタックス要素リメインダをコーディングした後に、ライス・パラメータは予め定義された式に従って修正される。(パス4における)非バイナリ・シンタックス要素absLevelをコーディングするために、ローカル・テンプレート中の絶対値の合計sumAbsが決定される。変数ricePar及びposZeroは、テーブル・ルックアップによって、依存量子化及びsumAbに基づいて決定される。中間変数codeValueは以下のように導出される:
○ absLevel[k]が0に等しい場合、codeValueはposZeroに等しく設定される;
○ それ以外の場合、absLevel[k]がposZero以下であるならば、codeValueはabsLevel[k]-1に等しく設定される;
○ それ以外の場合(absLevel[k]はposZeroより大きい)、codeValueはabsLevel[k]に等しく設定される。
codeValueの値は、ライス・パラメータriceParとともにGolomb-Riceコードを使用してコーディングされる。
2.5.1.1 係数コーディングのためのコンテキスト・モデリング
変換係数レベルの絶対値に関連するシンタックス要素の確率モデルの選択は、ローカルな近隣における絶対値レベルの値又は部分的に再構成された絶対値レベルの値に依存する。使用されるテンプレートは図18に示されている。
選択される確率モデルは、ローカルな近隣における絶対値レベル(又は部分的に再構成された絶対値レベル)の合計と、ローカルな近隣における0より大きな絶対値レベルの数(1に等しいsig_coeff_flagsの数によって与えられる)に依存する。コンテキスト・モデリング及び二値化は、ローカルな近隣に対する以下の尺度に依存する:
○ numSig:ローカルな近隣における非ゼロ・レベルの数;
○ sumAbs1:ローカルな近隣における第1パスの後の部分的に再構成された絶対値レベル(absLevel1)の合計;
○ sumAbs:ローカルな近隣における再構成された絶対値レベルの合計;
○ ダイアゴナル・ポジション(d):変換ブロック内の現在のスキャン・ポジションの水平及び垂直座標の合計。
numSig, sumAbs1,及びdの値に基づいて、sig_flag, par_flag, gt1_flag,及びgt2_flagをコーディングするための確率モデルが選択される。abs_remainderを二進化するためのライス・パラメータは、sumAbs及びnumSigの値に基づいて選択される。
2.5.1.2 依存量子化(DQ)
更に、同じHEVCスカラー量子化が、依存スケール量子化(dependent scale quantization)と呼ばれる新たな概念とともに使用される。依存スカラー量子化とは、変換係数の許容可能な再構成値のセットが、再構成順序において現在の変換係数レベルに先行する変換係数レベルの値に依存しているアプローチを指す。このアプローチの主な効果は、HEVCで使用されるような従来の独立スカラー量子化と比較して、許容可能な再構成ベクトルが、N次元ベクトル空間(Nは変換ブロックにおける変換係数の数を表す)において、より高密度に詰め込まれることである。これは、N次元単位体積あたりの許容可能な再構成ベクトルの所与の平均数に対して、入力ベクトルと最も近い再構成ベクトルとの間の平均逸脱(average distortion)が低減されることを意味する。依存スカラー量子化のアプローチは:(a)異なる再構成レベルを有する2つのスカラー量子化器を定義すること、及び(b)2つのスカラー量子化器の間の切り替えのためのプロセスを定義することによって実現される。
Q0とQ1で示される2つのスカラー量子化器が図19に示されている。利用可能な再構成レベルの位置は、量子化ステップ・サイズΔによって一意に指定される。使用されるスカラー量子化器(Q0又はQ1)は、ビットストリームで明示的にはシグナリングされない。その代わりに、現在の変換係数に使用される量子化器は、コーディング/再構成順序において現在の変換係数に先行する変換係数レベルのパリティによって決定される。
Figure 0007422858000031
Figure 0007422858000032
Figure 0007422858000033
2.5.2 TSコーディングされたブロック及びQR-BDPCMコーディングされたブロックの係数コーディング
QR-BDPCMはTSコーディングされたブロックのコンテキスト・モデリング方法に従う。
TS残差に関する修正された変換係数レベル・コーディング
レギュラー残差コーディングの場合と比較して、TSに対する残差コーディングは以下の変更を含む:
(1)最後のx/yポジションのシグナリングはない。
(2)全ての先行するフラグが0に等しい場合、最後のサブブロックを除いてすべてのサブブロックについてコーディングされるcoded_sub_block_flag。
(3)縮小テンプレートを用いるsig_coeff_flagコンテキスト・モデリング
(4)abs_level_gt1_flag及びpar_level_flagに対するシングル・コンテキスト・モデル
(5)符号フラグ、5,7,9より大きな追加フラグに対するコンテキスト・モデリング
(6)リメインダ二進化のための修正されたライス・パラメータ導出
(7)コンテキスト・コーディングされたビンのサンプル当たりの数に対する制限、1ブロック内でサンプル当たり2つのビン
Figure 0007422858000034
Figure 0007422858000035
Figure 0007422858000036
2.5 クロマダイレクトモード
ダイレクト・モード(Direct Mode, DM)では、クロマ・イントラ予測モードを導出するためにコロケーテッド(同等位置の)ルマ・ブロックの予測モードが使用される。
先ず、イントラ予測モードlumaIntraPredModeが導出される:
・コロケーテッド・ルマ・ブロックがMIPモードでコーディングされる場合、lumaIntraPredModeは平面モードに等しく設定される。
・それ以外の場合、コロケーテッド・ルマ・ブロックがIBCモード又はパレット・モードでコーディングされるならば、lumaIntraPredModeはDCモードに等しく設定される。
・それ以外の場合、lumaIntraPredModeは、クロマ・ブロックの中央の対応するルマ・サンプルをカバーするコロケーテッド・ルマ・ブロックのイントラ予測モードに等しく設定される。一例が図25に示されている。
Figure 0007422858000037
Figure 0007422858000038
Figure 0007422858000039
Figure 0007422858000040
3 既存の実装の欠点
現行の設計は以下の問題を有する:
(1)クロマ成分に対する4つの事前に定義された変換セットは、ルマ成分の変換セットと同じである。更に、同じイントラ予測モードを利用するルマ及びクロマ・ブロックは、同じ変換セットを使用する。しかしながら、典型的には、ルマ成分と比較してクロマ信号はより滑らかである。同じセットを使用することは、最適ではない場合がある。
(2)RSTは、全てのCGではなく特定のCGに限って適用される。しかしながら、RSTインデックスをシグナリングすることに関する決定は、全ブロックにおける非ゼロ係数の数に依存する。RSTが適用されるCGの全ての係数がゼロである場合、RSTインデックスをシグナリングする必要性はない。しかしながら、現行の設計はそれでもインデックスをシグナリングする場合があり、不必要なビットを浪費している。
(3)RSTインデックスは、残差コーディングの後にシグナリングされ、なぜなら非ゼロ係数がどの程度多いか、非ゼロ係数が所定の場所に存在するかどうかを記録する必要があるからである(例えば、セクション2.3.2.2.7のnumZeroOutSigCoeff, numSigCoeff)。このような設計は、解析プロセスをより複雑にする。
(4)RSTインデックスは、コンテキスト・コーディングされ、コンテキスト・モデリングは、コーディングされたルマ/クロマ・イントラ予測モード、及びMTSインデックスに依存する。このような設計は、イントラ予測モードの再構成の観点から言えば解析の遅延を導入してしまう。また、8つのコンテキストが導入されており、これはハードウェア実装の負担となる可能性がある。
(a)DMとCCLMは同じコンテキスト・インデックス・オフセットを共有しているが、それらは2つの異なるクロマ・イントラ予測法であるので意味をなさない。
(5)非TS残差コーディングの現行の設計は、先ず、係数情報をコーディングし、次いでRSTのインデックス(即ち、RSTを使用するか又は使用しないか、使用する場合には、どの行列が選択されるか)のコーディングに続く。このような設計では、残差のエントロピー・コーディングにおいて、RSTのオン/オフ情報を考慮することができない。
(6)RSTは、一次変換が適用された変換ブロックの左上領域に常に適用される。しかしながら、異なる一次変換を基礎とする場合、エネルギーが変換ブロックの左上領域に集中することは、常には正しくない。
(7)RST関連情報をシグナリングするかどうかの決定は、デュアル・ツリー及びシングル・ツリーのコーディング構造に対して異なる方法で行われる。
(8)CU内に1つより多いTUがある場合(例えば、CUサイズは128×128である)、RST関連情報を解析するかどうかは、全てのTUを復号化した後でのみ決定することができる。例えば、128×128 CUの場合、最初のPBは最後のPBの後に来るLFNSTインデックスを待つことなく処理することはできない。これは、(CABACが分離可能である場合に)全体的な64×64ベースのデコーダ・パイプラインを必然的に壊さないが、特定数のデコーダ・パイプライン・ステージに対してデータ・バッファリングを4倍増加させる。これはコストがかかる。
(9)JVET-O0219では、コロケーテッド・ルマ・ブロックのイントラ予測モードは、CCLMモード符号化クロマ・ブロックのLFNST変換セットを決定するために使用される。しかしながら、コロケーテッド・ルマ・ブロックは、非イントラ予測モード(即ち、DC/平面/角度 予測方向を使用するような従来のイントラ予測方法ではない)でコーディングされる可能性がある。例えば、デュアル・ツリーの場合、コロケーテッド・ルマ・ブロックは、パレット・モード、IBCモード等でコーディングされる可能性がある。この場合、コロケーテッド・ルマ・ブロックのイントラ予測モードは未定である。従って、クロマ・ブロックに対する二次変換セットを導出する方法は不明である。
(10)サブ条項8.4.4で定義されたクロマ・イントラ予測ブロックの導出は、対応する左上ルマ・サンプルをカバーするルマ・ブロックがMIP/IBC/パレット・モードでコーディングされるかどうかをチェックする。それが真であれば、デフォルト・モードが与えられる。それ以外の場合は、中央ルマ・サンプルのイントラ予測モードが使用される。それは2つの問題を生じさせる:
a. (例えば、図24(a)及び図24(b)のTL、現在のクロマ・ブロックの左上クロマ・サンプルの対応するルマ・サンプルである)左上ルマ・サンプルをカバーするコーディング・ブロックがMIPモードでコーディングされ、(例えば、図25のCRである)中央のルマ・サンプルをカバーするコーディング・ブロックがノーマル・イントラ・モードでコーディングされる場合、このケースでは、デフォルト・モードが使用されてクロマ・イントラ予測モードに設定され、それは、現在のクロマ・ブロックとCRをカバーするルマ・ブロックとの間の相関を遮断する。より低いコーディング・パフォーマンスが生じることになる。
b. (例えば、図24(a)及び図24(b)のTL、現在のクロマ・ブロックの左上クロマ・サンプルの対応するルマ・サンプルである)左上ルマ・サンプルをカバーするコーディング・ブロックがイントラ・モードでコーディングされ、(例えば、図25のCRである)中央のルマ・サンプルをカバーするコーディング・ブロックがIBC/パレット/MIPでコーディングされる場合、このケースでは、CRをカバーするコーディング・ブロックからのイントラ予測モードが、クロマDMモードを導出するために使用される。しかしながら、MIP/IBC/パレット・モードに関連するこのようなイントラ予測モードの定義はない。
4 残差コーディングのコンテキスト・モデリングのための方法例
ここで開示される技術の実施形態は、既存の実装の欠点を克服し、それによって、より高いコーディング効率を有するビデオ・コーディングを提供する。開示される技術に基づく残差コーディングのためのコンテキスト・モデリングのための方法は、現存する及び将来の双方のビデオ・コーディング規格を強化する可能性があり、種々の実装について説明される以下の実施例において解明される。以下に提供される開示される技術の実施例は、一般的な概念を説明しており、限定として解釈されるようには意図されていない。実施例において、明示的に別意を指定しない限り、これらの実施例で説明される種々の特徴は組み合わせることが可能である。
以下の説明において、“ブロック”とは、コーディング・ユニット(CU)、変換ユニット(TU)、又はビデオ・データの何らかの矩形領域を指す可能性がある。“現在のブロック”とは、復号化/符号化されたコーディング・ユニット(CU)、現在復号化/符号化されつつある変換ユニット(TU)、又はビデオ・データの何らかの復号化/符号化されつつある矩形コーディング領域を指す可能性がある。“CU”又は“TU”は、“コーディング・ブロック”及び“変換ブロック”としても知られている可能性がある。
これらの実施例において、RSTはJVET-N0193における設計の如何なるバリエーションであってもよい。RSTは、二次変換を1つのブロックに適用するか、又はある変換を、変換スキップ(TS)コーディングされたブロックに適用することが可能な如何なる技術(例えば、TSコーディングされたブロックに適用されるJVET-N0193で提案されたRST)であってもよい。
以下“ノーマル・イントラ予測モード”とは、DCモード、平面モード、及び角度イントラ予測モード(例えば、広角イントラ予測モードを更に含むことが可能であるもの)のような、隣接するピクセルをある方向から外挿(extrapolating)することによって予測信号が生成される従来のイントラ予測方法を指すために使用される。ノーマル・イントラ予測モードを使用せずにコーディングされるブロックについては、ブロックは、少なくとも1つのコーディング方法、例えば、IBC、MIP、パレット、BDPCMイントラ予測モードでコーディングされる可能性がある。
更に、‘ゼロ・アウト領域’又は‘ゼロ・アウトCG’は、二次変換プロセスで使用される縮小された変換サイズに起因して、常にゼロ係数を有するこれらの領域/CGを示してもよい。例えば、二次変換サイズが16×32であり、CGサイズが4×4である場合、それは最初の2つのCGに適用されるであろうが、最初のCGだけが非ゼロ係数を有する可能性があり、2番目の4×4CGもゼロ・アウトCGと言及される。

RSTにおける変換行列の選択
1. RSTが適用されるサブ領域は、ブロックの左上部分ではないサブ領域である可能性がある。
a. 一例では、RSTは、ブロックの右上、右下、左下、又は中央のサブ領域に適用される可能性がある。
b. RSTが適用されるサブ領域は、イントラ予測モード及び/又は一次変換行列(例えば、DCT-II、DST-VII、恒等変換)に依存する可能性がある。
2. RSTで使用される変換セット及び/又は変換行列の選択は、色成分に依存する可能性がある。
a. 一例では、変換行列の1セットがルマ(又はG)成分に対して使用され、1セットがクロマ成分(又はB/R)成分に対して使用されてもよい。
b. 一例では、各色成分は、1セットに対応してもよい。
c. 一例では、少なくとも1つの行列は、異なる色成分に対する2つ又は複数のセットの何れにおいても相違する。
3. RSTで使用される変換セット及び/又は変換行列の選択は、イントラ予測方法(例えば、CCLM、多重参照ライン・ベースのイントラ予測法、行列ベースのイントラ予測法)に依存する可能性がある。
a. 一例では、変換行列の1セットがCCLMコーディングされたブロックに対して使用され、他のものが非CCLMコーディング・ブロックに対して使用されてもよい。
b. 一例では、変換行列の1セットがノーマルなイントラ予測コーディングされたブロックに対して使用され、他のものが多重参照ラインが有効なブロック(即ち、イントラ予測のために隣接するラインを使用しないもの)に対して使用されてもよい。
c. 一例では、変換行列の1セットがジョイント・クロマ残差コーディングを用いたブロックに対して使用され、他のものはジョイント・クロマ残差コーディングが適用されないブロックに対して使用されてもよい。
d. 一例では、少なくとも1つの行列は、異なるイントラ予測方法に対する2つ又は複数のセットの何れにおいても相違する。
e. 代替的に、RSTは、特定のイントラ予測方向及び/又は特定のコーディング・ツール、例えば、CCLM、及び/又はジョイント・クロマ残差コーディング、及び/又は特定の色成分(例えば、クロマ)でコーディングされたブロックに対してディセーブルにされてもよい。
4. デフォルトのイントラ予測モードは、MIP、IBC、パレットのようなノーマル・イントラ予測モードでコーディングされていないブロック(例えば、CU/PU/CB/PB)に割り当てられる可能性がある。
a. デフォルト・モードは、コーディング方法(MIP/IBC/パレット)に依存する可能性がある。
b. デフォルト・モードは、シグナリングされてもよいし、又はオン・ザ・フライで導出されてもよい。
c. デフォルト・モードは、クロマ導出モード(DM)の導出で利用されてもよい。
d. デフォルト・モードは、他のブロックのイントラ予測モードを予測するために使用される可能性がある。例えば、現在のブロックの後続ブロックをコーディングするため最確モード(most-probable-mode,MPM)リストの導出に利用されてもよい。
e. ある色成分(例えばルマ)のブロックに割り当てられるデフォルト・モードは、別の色成分(例えばクロマ)の変換セット又は変換インデックスの導出に利用されてもよい。
f. 代替的に、更に、デフォルト・モードは、予測モード(例えば、イントラ/インター/IBC)と一緒に記憶されてもよい。
g. デフォルト・モードは、インター・コーディングされたブロックには割り当てられない可能性がある。
5. クロマ・イントラ予測モード導出プロセスの全ての動作において、クロマ・コーディング・ブロックの同一の予め決定された位置をカバーする1つのルマ・コーディング・ブロック(対応するルマ・ブロックとして知られている場合がある)の情報を使用することが提案される。例えば、クロマ・コーディング・ブロックの同じ所定の位置をカバーする同じルマ・コーディング・ブロックは、ルマ・コーディング・ブロックの予測モード(又はIBC/MIP/パレットのようなコーディング方法)をチェックするために使用され、ルマ・コーディング・ブロックのイントラ予測モードを取って来るために使用される。
a. 一例では、同じ所定の位置が、現在のクロマ・ブロックの中央クロマ・サンプルの対応するルマ・サンプル(例えば、図25のCR)に関連付けられるように定義される。
b. 一例では、同じ所定の位置が、現在のクロマ・ブロックの左上クロマ・サンプルの対応するルマ・サンプル(例えば、図24bのTL)に関連付けられるように定義される。
c. 代替的に、更に、同じ所定の位置をカバーするコーディング・ブロックがIBC/パレット/MIPモード/何らかの他の非ノーマル・イントラ予測モードでコーディングされる場合、デフォルト・イントラ予測モードが、クロマ・イントラ予測モードを導出するために使用されてもよい。それ以外の場合、同じ所定の位置をカバーするコーディング・ブロックの復号化されたイントラ予測モードが、クロマ・イントラ予測モードを導出するために使用されてもよい。
6. 非ノーマル・イントラ予測モード(例えば、CCLM)でコーディングされたクロマ・ブロックに関し、対応するルマ・ブロックが非ノーマル・イントラ予測モード(例えば、IBC/パレット/MIP)でコーディングされる場合、RST又はその他のコーディング・ツールで使用される変換セット/変換マトリクスは、1つ以上のデフォルト・モード又はデフォルト変換セットから導出されてもよい。
a. デフォルトの変換セット/変換行列を使用するか、或いは対応するルマ・ブロックのルマ・イントラ予測モードから変換セット/変換行列を導出するかは、対応するルマ・ブロックのコーディング・モードに依存してもよい。
i. 一例では、対応するルマ・ブロックがノーマル・イントラ予測モード及び/又はBDPCMでコーディングされる場合、変換セット/変換行列は、対応するルマ・ブロックに関連するルマ・イントラ予測モード(例えば、発明項目5で定義されるルマ・ブロック又は同等位置のルマ・ブロック)に従って導出されてもよい。
ii. 一例では、対応するルマ・ブロックが非ノーマル・イントラ予測モード(例えば、IBC/パレット及び/又はBDPCM)でコーディングされる場合、デフォルト変換セット(例えば、K(例えば、K=0)に等しいセット・インデックスを有するもの)が使用されてもよい。
b. ある色成分のブロックに対してRSTをイネーブルにするかどうかは、別の色成分における1つ以上の対応するブロックのコーディング方法及び/又は現在のブロックのコーディング方法に依存してもよい。
i. クロマ・ブロックに対してRSTをイネーブルにするかどうかは、1つ以上の対応するルマ・ブロックのコーディング方法及び/又は現在のクロマ・ブロックのコーディング方法に依存してもよい。
ii. 一例では、対応するルマ・ブロックがノーマル・イントラ予測モード及び/又はBDPCMでコーディングされている場合、RSTはクロマ・ブロックに対してイネーブルにされてもよい。
iii. 一例では、対応するルマ・ブロックが非ノーマル・イントラ予測モード(例えば、IBC/パレット及び/又はBDPCM)でコーディングされている場合、RSTはクロマ・ブロックに対してディセーブルにされてもよい。
1) 代替的に、更に、対応するルマ・ブロックが非ノーマル・イントラ予測モード(例えば、IBC/パレット及び/又はBDPCM)でコーディングされている場合、RSTは、非ノーマル・イントラ予測モード(例えば、CCLM)でコーディングされたクロマ・ブロックに対してディセーブルにされてもよい。
c. コロケーテッド・ルマ・ブロックがノーマル・イントラ予測モードでコーディングされていない場合、所定のイントラ予測モードが割り当てられてもよく、それは次いでRSTで使用される変換セット及び/又は変換行列の選択に使用される(例えば、セクション2.4.2.2.3に示される変換セット選択テーブルに従う)。
i. 一例では、コロケーテッド・ルマ・ブロックがIBC(イントラ・ブロック・コピー)モードでコーディングされる場合、第1の所定のイントラ予測モード(例えば、DC又は平面モード)が割り当てられてもよい。
ii. 一例では、コロケーテッド・ルマ・ブロックがパレット・モードでコーディングされる場合、第2の所定のイントラ予測モード(例えば、DC又は平面モード)が割り当てられてもよい。
iii. 一例では、コロケーテッド・ルマ・ブロックがMIPモードでコーディングされる場合、第3の所定のイントラ予測モード(例えば、平面又はDCモード)が割り当てられてもよい。
iv. 一例では、コロケーテッド・ルマ・ブロックがブロック・ベースのデルタ・コード変調(Block-based Delta Pulse Code Modulation, BDPCM)モードでコーディングされる場合、第4の所定のイントラ予測モード(例えば、平面又はDCモード)が割り当てられてもよい。
v. 一例では、所定のイントラ予測モードの各々について、それは、DCモード、平面モード、垂直モード、水平モード、45度モード、又は135度モードであってもよい。
vi. 代替的に、コロケーテッド・ルマ・ブロックがMIPモードでコーディングされる場合、MIPモードは、コロケーテッド・ルマ・ブロックのディメンジョン及びMIPモードに従って、例えばセクション2.2.2.2“MIPとイントラ予測モードの間のマッピングの仕様”におけるテーブルを使用することによって、イントラ予測モードにマッピングされてもよい。
vii. 所定のモードは、DCモード及び平面モードのような候補から適応的に選択されてもよい。
1) 所定のモードは、エンコーダからデコーダへシグナリングされてもよい。
2) 所定のモードは、エンコーダからデコーダへ導出されてもよい。
a. 例えば、デコーダが、現在のピクチャはスクリーン・コンテンツ・ピクチャであると判断した場合に、所定のモードはDCモードであってもよく、それ以外の場合に、所定のモードは平面モードであってもよい。
viii. 所定のモードは、クロマDM導出プロセス(例えば、サブ条項8.4.3におけるlumaIntraPredMode)に使用されるものと同じ方法で定義されてもよい。
d. コロケーテッド・ルマ・ブロックがノーマル・イントラ予測モード又は/及びBDPCMモードでコーディングされる場合、クロマ・イントラ予測モードは、DMモード(セクション2.7で規定されるようなもの)と同様に、同等位置のルマ・ブロックのイントラ予測モードに依存して導出されてもよい。次いで、導出されるクロマ・イントラ予測モードは、RSTで使用される変換セット及び/又は変換行列の選択に使用される(例えば、セクション2.6に示されている変換セット選択テーブルに従う)。
e. 上記の項目において、コロケーテッド・ルマ・ブロックは、図24bのTLや図25のCRのように、特定のルマ位置をカバーするコーディング・ブロックであってもよい。
7. RSTで使用される変換セット及び/又は変換行列の選択は、一次変換に依存する可能性がある。
a. 一例では、1つのブロックに適用される一次変換が恒等変換である場合(例えば、TSモードが1つのブロックに適用される)、RSTで使用される変換セット及び/又は変換行列は、他の種類の一次変換とは異なる可能性がある。
b. 一例では、1つのブロックに適用される水平及び垂直1-D一次変換が同じ基底(例えば、双方ともDCT-II)である場合、RSTで使用される変換セット及び/又は変換行列は、異なる方向(垂直又は水平)に対する異なる基底による一次変換とは異なる可能性がある。

RSTサイド情報のシグナリング及び残差コーディング
8. RSTのサイド情報(例えば、st_idx)をシグナリングするかどうか、及び/如何にして行うかは、(スキャニング順序で)ブロック内で最後の非ゼロ係数に依存する可能性がある。
a. 一例では、最後の非ゼロ係数が、RSTが適用されたCG内に位置する場合に限り、RSTはイネーブルにされてもよく、RSTのインデックスがシグナリングされてもよい。
b. 一例では、最後の非ゼロ係数が、RSTが適用されたCG内に位置していない場合、RSTはディセーブルにされ、RSTのシグナリングはスキップされる。
9. RSTのサイド情報(例えば、st_idx)をシグナリングするかどうか、及び/如何にして行うかは、CU内の全ての利用可能な色成分ではなく、特定の色成分の係数に依存する可能性がある。
a. 一例では、RSTのサイド情報をシグナリングするかどうか、及び/如何にして行うかを決定するために、サイド情報のみが使用される可能性がある。
i. 代替的に、更に、上記の方法はブロックのディメンジョンが特定の条件を充足している場合にのみ適用される。
1) 条件はW<T1 又は H<T2である。
2) 例えば、T1=T2=4である。従って、4X4 CUの場合、ルマ・ブロック・サイズは4x4であり、4:2:0フォーマットにおける2つのクロマ・ブロックは2x2であり、この場合、ルマ情報のみが使用される可能性がある。
ii. 代替的に、更に、上記の方法は現在のパーティション・タイプ・ツリーがシングル・ツリーである場合にのみ適用される。
b. 1つの色成分の情報を使用するか、又は全ての色成分の情報を使用するかは、ブロックのディメンジョン/コーディングされた情報に依存する可能性がある。
7. RSTのサイド情報(例えば、st_idx)をシグナリングするかどうか、及び/如何にして行うかは、ブロック全体ではなく、1つのブロックの部分的な領域内の係数に依存する可能性がある。
a. 一例では、部分的な領域は、RSTが適用されるCGとして定義されてもよい。
b. 一例では、部分的な領域は、ブロックのスキャニング順序又は逆のスキャニング順序における最初の又は最後のM個の(例えば、M=1、又は2)CGとして定義されてもよい。
i. 一例では、Mはブロック・ディメンジョンに依存する可能性がある。
ii. 一例では、ブロック・サイズが4xN及び/又はNx4(N>8)である場合に、Mは2に設定される。
iii. 一例では、ブロック・サイズが4x8及び/又は8x4及び/又はWxH(W≧8,H≧8)である場合に、Mは1に設定される。
c. 一例では、ディメンジョンW×Hを有するブロックの情報(例えば、ブロックの非ゼロ係数の数)は、RSTの使用及び/又はRST関連情報のシグナリングを決定するために考慮に入れることが許容されない可能性がある。
i. 例えば、W<T1又はH<T2である場合に、ブロックの非ゼロ係数の数はカウントされない可能性がある。例えば、T1=T2=4である。
d. 一例では、部分的な領域は、ディメンジョンW×Hを有する現在のブロックの左上M×N領域として定義される可能性がある。
i. 一例では、MはWより小さい可能性があり、及び/又はNはHより小さい可能性がある。
ii. 一例では、M及びNは固定数である可能性があり、例えば、M=N=4である。
iii. 一例では、M及び/又はNは、W及び/又はHに依存する可能性がある。
iv. 一例では、M及び/又はNは、最大許容変換サイズに依存する可能性がある。
1)例えば、Wが8より大きく、Hが4に等しい場合、M=8及びN=4である。
2)例えば、Hが8より大きく、Wが4に等しい場合、M=4及びN=8である。
3)例えば、上記の2つの条件が何れも満たさない場合、M=4及びN=4である。
v. 代替的に、更に、これらの方法は、7.cの条件が満たされていないような、特定のブロック寸法に対してのみ適用されてもよい。
e. 一例では、部分的な領域は、全てのブロックに対して同一であってもよい。
i. 代替的に、これはブロック・ディメンジョン及び/又はコーディングされた情報に基づいて変更されてもよい。
f. 一例では、部分的な領域は、スキャニング順序インデックスの所与のレンジに依存する可能性がある。
i. 一例では、部分的な領域は、ディメンジョンW×Hを有する現在のブロックの係数スキャン順序(例えば、逆の復号化順序)に基づいて、両端を含む[dxS, IdxE]内でそれらのスキャニング順序インデックスを伴う特定のレンジ内に位置する係数をカバーするものであってもよい。
1)一例では、IdxSは0に等しい。
2)一例では、IdxEはW×H-1より小さい可能性がある。
3)一例では、IdxEは固定数である可能性がある。例えば、IdxE=15である。
4)一例では、IdxEはW及び/又はHに依存する可能性がある。
a. 例えば、Wが8より大きく、Hが4に等しい場合、IdxE=31である。
b. 例えば、Hが8より大きく、Wが4に等しい場合、IdxE=31である。
c. 例えば、Wが8に等しく、Hが8に等しい場合、IdxE=7である。
d. 例えば、Wが4に等しく、Hが4に等しい場合、IdxE=7である。
e. 例えば、上記の2つの条件a)とb)の何れも満たされない場合、IdxE=15である。
f. 例えば、上記の2つの条件a),b),c)及びd)の何れも満たされない場合、IdxE=15である。
g. 例えば、上記の2つの条件c)とd)の何れも満たされない場合、IdxE=15である。
ii. 代替的に、更に、これらの方法は7.cの条件が満たされていないような、特定のブロック寸法に対してのみ適用されてもよい。
g. 一例では、これは部分的な領域内の非ゼロ係数の位置に依存する可能性がある。
h. 一例では、これは部分的な領域内の非ゼロ係数のエネルギー(2乗和又は絶対値の和など)に依存する可能性がある。
i. 一例では、これはブロック全体ではなく、1ブロックの部分的な領域内の非ゼロ係数の数に依存する可能性がある。
i. 代替的に、これはCU内の1つ以上のブロックの部分的な領域内の非ゼロ係数の数に依存する可能性がある。
ii. 1ブロックの部分的な領域内の非ゼロ係数の数が閾値より小さい場合、RSTのサイド情報のシグナリングはスキップされてもよい。
iii. 一例では、閾値はNであるように固定される(例えば、N=1又は2)。
iv. 一例では、閾値は、スライス・タイプ/ピクチャ・タイプ/パーティション・ツリー・タイプ(デュアル又はシングル)/ビデオ・コンテンツ(スクリーン・コンテンツ又はカメラでキャプチャされたコンテンツ)に依存してもよい。
v. 一例では、閾値は、4:2:0又は4:4:4のようなカラー・フォーマット、及び/又はY又はCb/Crのような色成分に依存してもよい。
11. RSTが適用される可能性のあるCGに非ゼロ係数が存在しない場合、RSTはディセーブルにされるものとする。
a. 一例では、RSTが1ブロックに適用される場合、RSTが適用される少なくとも1つのCGは、少なくとも1つの非ゼロ係数を含まなければならない。
b. 一例では、4×N及び/又はN×4(N>8)に関し、RSTが適用される場合、最初の2つの4×4 CGは少なくとも1つの非ゼロ係数を含まなければならない。
c. 一例では、4×8及び/又は8×4に関し、RSTが適用される場合、左上4×4は少なくとも1つの非ゼロ係数を含まなければならない。
d. 一例では、WxH(W>=8及びH>=8)に関し、RSTが適用される場合、左上4×4は少なくとも1つの非ゼロ係数を含まなければならない。
e. 適合ビットストリームは、上記の1つ又は複数の条件を満たさなければならない。
12. RST関連のシンタックス要素は、残差(例えば、変換係数/直接的に量子化されるもの)をコーディングする前にシグナリングされてもよい。
a. 一例では、ゼロ・アウト領域における非ゼロ係数の数(例えば、numZeroOutSigCoeff)及びブロック全体における非ゼロ係数の数(例えば、numSigCoeff)をカウントすることは、係数の解析プロセスで除外される。
b. 一例では、RST関連のシンタックス要素(例えば、st_idx)は、residual_codingの前にコーディングされてもよい。
c. RST関連シンタックス要素は、条件付きで(例えば、コーディングされたブロック・フラグ、TSモードの使用法に従って)シグナリングされてもよい。
vi. 一例では、RST関連シンタックス要素(例えば、st_idx)は、コーディングされたブロック・フラグのシグナリングの後、又はTS/MTS関連シンタックス要素のシグナリングの後にコーディングされてもよい。
vii. 一例では、TSモードがイネーブルにされている場合(例えば、復号化されたtransform_skip_flagが1に等しい場合)、RST関連シンタックス要素のシグナリングはスキップされる。
d. 残差関連シンタックスは、ゼロ・アウトCGに対してシグナリングされない可能性がある。
e. 残差をどのようにコーディングするか(例えば、スキャニング順序、二進化、復号化されるシンタックス、コンテキスト・モデリング)は、RSTに依存してもよい。
i. 一例では、対角線右上向きスキャニング順序ではなく、ラスタ・スキャニング順序が適用されてもよい。
1)ラスタ・スキャニング順序は左から右へ、上から下へ、又はその逆の順序である。
2)代替的に、対角線右上向きスキャニング順序の代わりに、垂直スキャニング順序(上から下へ、左から右へ、又はその逆の順序)が適用されてもよい。
3)代替的に、更に、コンテキスト・モデリングが修正されてもよい。
a. 一例では、コンテキスト・モデリングは、右、下、右下の近隣を使用するのではなく、テンプレートの中で、スキャン順序で最近のN個の近隣である以前にコーディングされた情報に依存してもよい。
b. 一例では、コンテキスト・モデリングは、スキャンされたインデックスに従って、テンプレートの中で、以前にコーディングされた情報(例えば、現在のインデックスが0に等しいと仮定して、-1,-2,...)に依存してもよい。
ii. 一例では、異なる二値化方法(例えば、ライス・パラメータ導出)を適用して、RSTコーディングされたブロック及びRSTコーディングされてないブロックに関連する残差をコーディングしてもよい。
iii. 一例では、特定のシンタックス要素のシグナリングは、RSTコーディングされたブロックに対してスキップされてもよい。
1)RSTが適用されるCGに対するCGコード化ブロック・フラグ(coded_sub_block_flag)のシグナリングはスキップされてもよい。
a. 一例では、RST8x8が対角線スキャン順序で最初の3つのCGに適用された場合、CGコード化ブロック・フラグのシグナリングは、第2及び第3CG、例えば、ブロックの左上8x8領域の右上4×4CG及び左下4×4CGについてスキップされる。
i. 代替的に、更に、対応するCGコード化ブロック・フラグは0であると推定される、即ち、全ての係数はゼロである。
b. 一例では、RSTが1ブロックに適用される場合に、CGコード化ブロック・フラグのシグナリングは、スキャニング順序で最初のCG(又は逆のスキャニング順序で最後のCG)に対してスキップされる。
ii. 代替的に、更に、ブロック内の左上CGに対するCGコード化ブロック・フラグは、1であると推定される、即ち、それは少なくとも1つの非ゼロ係数を含む。
c. 8×8ブロックの一例が図21に示されている。RST8x8又はRST4x4が8x8ブロックに適用される場合、CG0のcoded_sub_block_flagは1であると推定され、CG1及びCG2のcoded_sub_block_flagは0であると推定される。
2)特定の座標に対する係数の大きさ及び/又は符号フラグのシグナリングはスキップされてもよい。
a. 一例では、スキャン順序における1つのCGに対するインデックスが、非ゼロ係数が存在し得る最大許容インデックスより小さくない場合(例えば、セクション0におけるnonZeroSize)、係数のシグナリングはスキップされてもよい。
b. 一例では、sig_coeff_flag, abs_level_gtX_flag, par_level_flag, abs_remainder, coeff_sign_flag, dec_abs_levelのようなシンタックス要素のシグナリングは、スキップされてもよい。
3)代替的に、残差のシグナリング(例えば、CGコード化ブロック・フラグ、係数の大きさ、及び/又は特定の座標の符号フラグ)は維持されるかもしれないが、コンテキスト・モデリングは、他のCGと異なるように修正される可能性がある。
iv. 一例では、RSTが適用されるCG及び他のCGにおける残差のコーディングは異なっていてもよい。
1)上記のサブ項目に関し、それらはRSTが適用されるCGにのみ適用されてもよい。
10. RST関連シンタックス要素は、変換スキップ及び/又はMTSインデックスのような他の変換指示の前にシグナリングされてもよい。
a. 一例では、変換スキップのシグナリングは、RST情報に依存してもよい。
i. 一例では、RSTがブロック内で適用される場合、変換スキップ指示はシグナリングされず、ブロックについて0であると推定される。
b. 一例では、MTSインデックスのシグナリングは、RST情報に依存してもよい。
i. 一例では、RSTがブロック内で適用される場合、1つ以上のMTS変換指示はシグナリングされず、ブロックについて使用されないと推定される。
11. 1つのブロック内の異なる部分に対する算術符号化において、異なるコンテキスト・モデリング法を使用することが提案される。
a. 一例では、ブロックは、スキャニング順序における最初のM個のCGと残りのCGという2つの部分であるように取り扱われる。
i. 一例において、Mは1に設定される。
ii. 一例において、Mは4xN及びNx4(N>8)ブロックに対して2に設定され、他のすべての場合に対して1に設定される。
b. 一例では、ブロックは、RSTが適用されるサブ領域とRSTが適用されないサブ領域、という2つの部分であるように取り扱われる。
i. RST4x4が適用される場合、RSTが適用されるサブ領域は、現在のブロックの最初の1つ又は2つのCGである。
ii. RST4x4が適用される場合、RSTが適用されるサブ領域は、現在のブロックの最初の3つのCGである。
c. 一例では、1つのブロック内の最初の部分に対するコンテキスト・モデリング・プロセスにおいて、以前にコーディングされた情報の使用をディセーブルにするが、2番目の部分に対してはそれをイネーブルにすることが提案される。
d. 一例では、第1CGを復号化する場合に、残りの1つ以上のCGの情報は、使用されることを許容されない場合がある。
i. 一例では、第1CGに対してCGコード化ブロック・フラグをコーディングする場合に、第2CGの値(例えば右又は下)は考慮されない。
ii. 一例では、第1CGに対するCGコード化ブロック・フラグをコーディングする場合に、第2及び第3CGの値(例えば、WxH(W≧8及びH≧8)に対する右及び下のCG)は考慮されない。
iii. 一例では、現在の係数をコーディングする場合に、コンテキスト・テンプレートにおける近隣が異なるCG内にある場合、この近隣からの情報は、使用されることを禁止される。
e. 一例では、RSTが適用される領域内の係数を復号化する場合に、RSTが適用されない残りの領域の情報は、使用されることを禁止される場合がある。
f. 代替的に、更に、上記方法は特定の条件下で適用されてもよい。
i. 条件は、RSTがイネーブルであるかどうかを含んでもよい。
ii. 条件は、ブロック・ディメンジョンを含んでもよい。

RSTサイド情報の算術コーディングにおけるコンテキスト・モデリング
15. RSTインデックスをコーディングする場合に、コンテキスト・モデリングは、明示的又は暗黙的な多重変換選択(multiple transform selection, MTS)がイネーブルにされているかどうかに依存してもよい。
a. 一例では、暗黙のMTSがイネーブルである場合に、同じイントラ予測モードでコーディングされたブロックに対して、異なるコンテキストが選択されてもよい。
i. 一例では、形状(正方形又は非正方形)のようなブロック・ディメンジョンが、コンテキストを選択するために使用される。
b. 一例では、明示的なMTSに対してコーディングされる変換インデックス(例えば、tu_mts_idx)をチェックする代わりに、変換行列の基底が使用されてもよい。
i. 一例では、水平及び垂直1-D変換の両方についてDCT-IIを用いた変換行列の基底に対して、対応するコンテキストは、他の種類の変換行列と相違していてもよい。
16. RSTインデックスをコーディングする場合に、コンテキスト・モデリングはCCLMがイネーブルにされているかどうかに依存してもよい(例えば、sps_cclm_enabled_flag)。
a. 代替的に、RSTインデックス・コーディングのためのコンテキストを選択することをイネーブルにするかどうか、又はどのように選択するかは、CCLMが1つのブロックに適用されるかどうかに依存してもよい。
b. 一例では、コンテキスト・モデリングは、現在のブロックに対してCCLMがイネーブルにされているかどうかに依存してもよい。
i. 以下は一例である。
intraModeCtx = sps_cclm_enabled_flag? ( intra_chroma_pred_mode[ x0 ][ y0 ] is CCLM: intra_chroma_pred_mode[ x0 ][ y0 ] is DM) ? 1 : 0.
c. 代替的に、RSTインデックス・コーディングのためのコンテキストを選択することをイネーブルにするかどうか、又はどのように選択するかは、現在のクロマ・ブロックがDMモードでコーディングされるかどうかに依存してもよい。
i. 以下は一例である。
intraModeCtx = ( intra_chroma_pred_mode[ x0 ][ y0 ] == (sps_cclm_enabled_flag ? 7:4) ) ? 1 : 0.
17. RSTインデックスをコーディングする場合に、コンテキスト・モデリングはブロック・ディメンジョン/分割深度(例えば、四分木深度及び/又はBT/TT深度)に依存してもよい。
18. RSTインデックスをコーディングする場合に、コンテキスト・モデリングは、カラー・フォーマット及び/又は色成分に依存してもよい。
19. RSTインデックスをコーディングする場合に、コンテキスト・モデリングは、イントラ予測モード及び/又はMTSインデックスから独立していてもよい。
20. RSTインデックスをコーディングする場合に、第1及び/又は第2ビンは、1つのコンテキストのみでコンテキスト・コーディングされるか、又はバイパス・コーディングされる可能性がある。

条件下でRSTプロセスを起動すること
21. インバースRSTプロセスを起動するかどうかは、CGコード化ブロック・フラグに依存してもよい。
a. 一例では、左上のCGコード化ブロック・フラグがゼロである場合、プロセスを起動する必要はない。
i. 一例では、左上CGコード化ブロック・フラグがゼロであり、ブロック・サイズが4xN/Nx4(N>8)と等しくない場合、プロセスを起動する必要はない。
b. 一例では、スキャニング順序で最初の2つのCGコード化ブロック・フラグが両方ともゼロに等しい場合、プロセスを起動する必要はない。
i. 一例では、スキャニング順序で最初の2つのCGコード化ブロック・フラグが両方ともゼロに等しく、ブロック・サイズが4xN/Nx4(N>8)に等しい場合、プロセスを起動する必要はない。
22. インバースRSTプロセスを起動するかどうかは、ブロック・ディメンジョンに依存してもよい。
a. 一例では、4×8/8×4のような特定のブロック・ディメンジョンに対して、RSTはディセーブルにされてもよい。代替的に、更に、RST関連シンタックス要素のシグナリングはスキップされてもよい。

デュアル・ツリー及びシングル・ツリー・コーディングの統一
23. RSTの使用法及び/又はRST関連情報のシグナリングは、デュアル・ツリー及びシングル・ツリー・コーディングにおいて同じ方法で決定されてもよい。
a. 例えば、カウントされる非ゼロ係数の数(例えば、JVET-N0193で規定されているnumSigCoeff)が、デュアル・ツリー・コーディングのケースでT1より大きくはないか、又はシングル・ツリー・コーディングのケースでT2より大きくはない場合、RSTは適用されるべきではなく、関連する情報はシグナリングされず、ここでT1はT2に等しい。
b. 一例では、T1及びT2は両方ともN、に設定され、例えば、N = 1又は2である。

CU内の複数のTUを考察する。
24. RSTを適用するかどうか、及び/又はどのように適用するかは、ブロック・ディメンジョンW×Hに依存する可能性がある。
a. 一例では、W>T1 又はH>T2ならば、RSTは適用されない場合がある。
b. 一例では、W>T1 及び H>T2ならば、RSTは適用されない場合がある。
c. 一例では、W*H>=Tならば、RSTは適用されない場合がある。
d. 上記の例に関し、以下が適用される:
i. 一例では、ブロックはCUである。
ii. 一例では、T1=T2=64である。
iii. 一例では、T1及び/又はT2は許容最大変換サイズに依存する可能性があり、例えば、T1=T2=許容最大変換サイズである。
iv. 一例では、Tは4096に設定される。
e. 代替的に、更に、RSTは適用されないことに決定された場合、関連する情報はシグナリングされなくてもよい。
22. CU内にN個の TUが存在する場合(N>1)、RSTの使用法及び/又はRST関連情報のシグナリングを決定するために、N個のTUのうちの唯1つのコーディングされた情報が使用される。
a. 一例では、復号化順序でのCUの最初のTUが、判定を行うために使用されてもよい。
b. 一例では、復号化順序におけるCUの左上TUが、判定を行うために使用されてもよい。
c. 一例では、特定のTUを用いる判定は、CUに1つのTUしかないケースと同じ方法で行われてもよい。
23. RSTの使用法及び/又はRST関連情報のシグナリングは、CUレベルの代わりにTUレベル又はPUレベルで実行されてもよい。
a. 代替的に、更に、CU内の異なるTU/PUは、異なる二次変換行列を選択したり、制御フラグを有効/無効にしたりしてもよい。
b. 代替的に、更に、デュアル・ツリーのケースに関し、クロマ・ブロックがコーディングされ、異なる色成分は、異なる二次変換行列を選択したり、制御フラグを有効/無効にしたりしてもよい。
c. 代替的に、どのビデオ・ユニット・レベルでRST関連の情報をシグナリングするかどうかは、パーティション・ツリー・タイプ(デュアル又はシングル)に依存してもよい。
d. 代替的に、どのビデオ・ユニット・レベルでRST関連の情報をシグナリングするかどうかは、CU/PU/TUと最大許容変換ブロック・サイズの間の関係、例えばより大きい又はより小さいことに依存してもよい。
5 開示される技術の実装例
以下の例示的な実施形態では、最新のJVET-N0193に対する変更が太字で且つイタリック体で強調されている。削除されるテキストは、二重括弧でマーキングされる(例えば、[[a]]は、文字“a”の削除を示す)。
Figure 0007422858000041
Figure 0007422858000042
Figure 0007422858000043
Figure 0007422858000044
Figure 0007422858000045
Figure 0007422858000046
Figure 0007422858000047
Figure 0007422858000048
Figure 0007422858000049
Figure 0007422858000050
Figure 0007422858000051
Figure 0007422858000052
Figure 0007422858000053
Figure 0007422858000054
上述の例は、以下に説明される方法、例えば方法2200, 2210, 2220, 2230, 2240 及び 2250の状況で組み込まれることが可能であり、これらはビデオ・デコーダ又はビデオ・エンコーダにおいて実装されてもよい。
図22Aは、ビデオ処理のための例示的な方法のフローチャートを示す。方法2200は、ステップ2202において、現在のビデオ・ブロックに縮小二次変換を適用するための変換セット又は変換マトリクスを、現在のビデオ・ブロックの特徴に基づいて選択することを含む。
本方法2200は、ステップ2204において、現在のビデオ・ブロックと、現在のビデオ・ブロックを含むビデオのビットストリーム表現との間の変換の一部として、選択された変換セット又は変換マトリクスを現在のビデオ・ブロックの一部に適用することを含む。
幾つかの実施態様において、現在のビデオ・ブロックの一部は、現在のビデオ・ブロックの右上サブ領域、右下サブ領域、左下サブ領域、又は中央サブ領域である。
幾つかの実施形態において、現在のビデオ・ブロックの特徴は、現在のビデオ・ブロックのイントラ予測モード又はプライマリ変換行列である。
幾つかの実施形態において、特徴は現在のビデオブロックの色成分である。一例において、第1変換セットは、現在のビデオ・ブロックのルマ成分に対して選択され、第1変換セットとは異なる第2変換セットは、現在のビデオ・ブロックの1つ以上のクロマ成分に対して選択される。
幾つかの実施形態において、特徴は、現在のビデオ・ブロックのイントラ予測モード又はイントラ・コーディング方法である。一例では、イントラ予測方法は、多重参照ライン(MRL)ベースの予測法又は行列ベースのイントラ予測法を含む。別の例では、第1変換セットは、現在のビデオ・ブロックがクロス・コンポーネント線型モデル(CCLM)コード化ブロックである場合に選択され、第1変換セットとは異なる第2変換セットは、現在のビデオ・ブロックが非CCLMコード化ブロックである場合に選択される。更に別の例では、第1変換セットは、現在のビデオ・ブロックがジョイント・クロマ残差コーディング方法でコーディングされる場合に選択され、第1変換セットとは異なる第2変換セットは、現在のビデオ・ブロックがジョイント・クロマ残差コーディング方法でコーディングされない場合に選択される。
幾つかの実施形態において、特徴は現在のビデオ・ブロックの一次変換である。
図22Bは、ビデオ処理のための例示的な方法のフローチャートを示す。方法2210は、ステップ2212において、現在のビデオ・ブロックのビットストリーム表現における縮小二次変換(RST)の適用のためのサイド情報のシグナリングの選択的な包含に関する決定を、現在のビデオ・ブロックに関連する1つ以上の係数に基づいて行うことを含む。
方法2210は、ステップ2214において、決定に基づいて、現在のビデオ・ブロックと、現在のビデオ・ブロックのビットストリーム表現を含むビデオとの間の変換を実行することを含む。
幾つかの実施形態において、1つ以上の係数は、現在のビデオ・ブロックのスキャン順序における最後の非ゼロ係数を含む。
幾つかの実施形態において、1つ以上の係数は、現在のビデオ・ブロックの部分的な領域内の複数の係数を含む。一例では、部分的な領域は、RSTが適用され得る1つ以上のコーディング・グループを含む。別の例では、部分的な領域は、現在のビデオ・ブロックのスキャン順序で先頭からM個のコーディング・グループ又は末尾からM個のコーディング・グループを含む。更に別の例では、部分的な領域は、現在のビデオ・ブロックの逆スキャン順序で先頭からM個のコーディング・グループ又は末尾からM個のコーディング・グループを含む。更に別の例では、決定を行うステップは、複数の係数の1つ以上の非ゼロ係数のエネルギーに更に基づいている。
図22Cは、ビデオ処理のための例示的な方法のフローチャートを示す。方法2220は、ステップ2222において、現在のビデオ・ブロックに縮小二次変換を適用するために、現在のビデオ・ブロックのビットストリーム表現を構成することを含み、ここで、RSTに関連するシンタックス要素は、残差情報をコーディングする前に、ビットストリーム表現においてシグナリングされる。
方法2220は、ステップ2224において、上記の構成に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換を実行することを含む。
幾つかの実施形態において、RSTに関連するシンタックス要素をシグナリングすることは、少なくとも1つのコーディングされたブロック・フラグ又は変換選択モードの使用に基づいている。
幾つかの実施形態において、ビットストリーム表現は、全てゼロ係数を有するコーディング・グループに対応するコーディング残差情報を除外する。
幾つかの実施態様において、コーディング残差情報は、RSTの適用に基づいている。
図22Dは、ビデオ処理のための例示的な方法のフローチャートを示す。方法2230は、ステップ2232において、現在のビデオ・ブロックに縮小二次変換を適用するために、現在のビデオ・ブロックのビットストリーム表現を構成することを含み、ここで、RSTに関連するシンタックス要素は、変換スキップ指示又は多重変換セット(MTS)インデックスの何れかの前に、ビットストリーム表現においてシグナリングされる。
方法2230は、ステップ2234において、上記の構成に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換を実行することを含む。
幾つかの実施形態において、変換スキップ指示又はMTSインデックスは、RSTに関連するシンタックス要素に基づいている。
図22Eは、ビデオ処理のための例示的な方法のフローチャートを示す。方法2240は、ステップ2242において、現在のビデオ・ブロックの特徴に基づいて、縮小二次変換(RST)のインデックスをコーディングするためのコンテキスト・モデルを構成することを含む。
方法2240は、ステップ2244において、上記の構成に基づいて、現在のビデオ・ブロックと、現在のビデオ・ブロックを含むビデオのビットストリーム表現との間の変換を実行することを含む。
幾つかの実施形態では、特徴は、多重変換選択(MTS)プロセスの明示的又は暗示的な実施可能性である。
幾つかの実施形態において、特徴は、現在のビデオ・ブロックにおけるクロス・コンポーネント線型モデル(CCLM)コーディング・モードの実施可能性である。
幾つかの実施形態において、特徴は、現在のビデオ・ブロックのサイズである。
幾つかの実施形態において、特徴は、現在のビデオ・ブロックに適用されるパーティショニング・プロセスの分割深度である。一例では、パーティショニング・プロセスは、四分木(QT)パーティショニング・プロセス、二分木(BT)パーティショニング・プロセス又は三分木(TT)パーティショニング・プロセスである。
幾つかの実施形態において、特徴は、現在のビデオ・ブロックのカラー・フォーマット又は色成分である。
幾つかの実施態様において、特徴は、現在のビデオ・ブロックのイントラ予測モードと多重変換選択(MTS)プロセスのインデックスとを除外する。
図22Fは、ビデオ処理のための例示的な方法のフローチャートを示す。この方法2250は、ステップ2252において、現在のビデオ・ブロックに対するインバース二次変換(RST)の選択的適用に関する決定を、現在のビデオ・ブロックの特徴に基づいて行うことを含む。
方法2250は、ステップ2254において、決定に基づいて、現在のビデオ・ブロックと、現在のビデオ・ブロックを含むビデオのビットストリーム表現との間の変換を実行することを含む。
幾つかの実施形態において、特徴は、現在のビデオ・ブロックのコーディング・グループのコーディングされたブロック・フラグである。一例では、インバースRSTプロセスは適用されず、ここで、左上コーディング・グループのコーディングされたブロック・フラグはゼロである。別の例では、インバースRSTプロセスは適用されず、ここで、現在のビデオ・ブロックのスキャン順序における第1及び第2コーディング・グループに対するコーディングされたブロック・フラグはゼロである。
幾つかの実施形態において、特徴は、現在のビデオ・ブロックの高さ(M)又は幅(N)である。一例では、インバースRSTプロセスは適用されず、ここで、(i) M = 8及びN = 4、又は(ii)M = 4及びN = 8である。
図26Aは、ビデオ処理のための例示的な方法のフローチャートを示す。方法2610は、ステップ2612において、ビデオのビデオ・ユニットの現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換について、特定のイントラ予測モードを使用してコーディングされたビデオ・ユニットのデフォルト・イントラ予測モードを決定し、その結果、現在のビデオ・ブロックの予測ブロックが、ある方向に沿って現在のビデオ・ブロックの隣接するピクセルを外挿することなく生成されるようにすることを含む。方法2610は、更に、ステップ2614において、決定に基づいて変換を実行することを含む。
図26Bは、ビデオ処理のための例示的な方法のフローチャートを示す。方法2620は、ステップ2622において、ルールを使用して、ビデオのクロマ・ブロックの所定の位置をカバーするビデオのルマ・ブロックの決定を行うことを含む。方法2620は、ステップ2624において、決定に基づいて、ビデオとビデオのコーディングされた表現との間の変換を実行することを更に含む。幾つかの実装形態において、クロマ・ブロックは、イントラ予測モードを用いてコーディングされた表現で表現される。
図26Cは、ビデオ処理のための例示的な方法のフローチャートを示す。方法2630は、ステップ2632において、ルールを使用して、クロマ・ブロックに対応するルマ・ブロックのコーディング・モードに基づいて、ビデオのクロマ・ブロックのイントラ予測モードを導出することを含む。方法2630は、ステップ2634において、導出されたイントラ予測モードに基づいて、そのクロマ・ブロックとビデオのコーディングされた表現との間の変換を実行することを更に含む。幾つかの実装形態において、ルマ・ブロックの符号化モードが、特定のイントラ予測モードであって、ルマ・ブロックの予測ブロックが、ルマ・ブロックの隣接するピクセルを或る方向に沿って外挿することなく生成されるものである場合に、ルールは、デフォルトのイントラ予測モードを使用することを規定している。
図27Aはビデオ処理のための例示的な方法のフローチャートを示す。方法2710は、ステップ2712において、ビデオのクロマ・ブロックに関し、非ノーマル・クロマ・イントラ予測モードがビデオのクロマ・ブロックに適用されるかどうかの第1判定を行うことを含む。方法2710は、ステップ2714において、クロマ・ブロックに対応するルマ・ブロックに関し、ルマ・イントラ予測モードがルマ・ブロックに適用される第2判定を行うことを更に含む。方法2710は、ステップ2716において、ルマ・イントラ予測モードに基づいてクロマ・ブロックに変換セット又は変換行列が適用される第3判定を行うことを更に含む。方法2710は、ステップ2718において、第3判定に従って、ビデオとビデオのコーディングされた表現との間の変換を実行することを更に含む。幾つかの実装において、非ノーマル・クロマ・イントラ予測モードは、クロマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、クロマ・ブロックをコーディングすることを含む。
図27Bはビデオ処理のための例示的な方法のフローチャートを示す。方法2720は、ステップ2722において、ビデオのクロマ・ブロックに関し、クロマ・ブロックに対応するルマ・ブロックが、非ノーマル・ルマ・イントラ予測モードを使用してコーディングされる第1判定を行うことを含む。方法2720は、ステップ2724において、第1判定に基づいて、ルールに従って、クロマ・ブロックに対する変換セット又は変換行列の第2判定を行うことを更に含む。方法2720は、ステップ2726において、第2判定に従って、ビデオとビデオのコーディングされた表現との間の変換を実行することを更に含む。幾つかの実装において、ルールは、ルマ・ブロックが非ノーマル・ルマ・イントラ予測モードを使用してコーディングされることに起因して、クロマ・ブロックに関連する1つ以上のデフォルト・モード又はデフォルト変換セットは、クロマ・ブロックが非ノーマル・クロマ・イントラ予測モードを使用してコーディングされる場合に変換セット又は変換行列を決定することを規定しており、ここで、非ノーマル・ルマ・イントラ予測モードは、ルマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、ルマ・ブロックをコーディングすることを含み、またここで、非ノーマル・クロマ・イントラ予測モードは、クロマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、クロマ・ブロックをコーディングすることを含む。
図27Cはビデオ処理のための例示的な方法のフローチャートを示す。方法2730は、ステップ2732において、ビデオの現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換に関し、1つの色成分の現在のビデオ・ブロックに適用される第2変換ツールの適用可能性を、1)別の色成分の対応するブロックのコーディング・モード、又は2)現在のビデオ・ブロックのコーディング・モードのうちの少なくとも1つに基づいて決定することを含む。方法2730は、ステップ2734において、決定に基づいて変換を実行することを更に含む。幾つかの実装において、二次変換ツールを使用して:符号化の間に、量子化の前に、現在のビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換が適用され、又は復号化の間に、インバース一次変換を適用する前に、現在のビデオ・ブロックの逆量子化の出力にインバース二次変換が適用される。
図27Dはビデオ処理のための例示的な方法のフローチャートを示す。方法2740は、ステップ2742において、ビデオのクロマ・ブロックに関し、クロマ・ブロックの予め決定された位置をカバーしているルマ・ブロックが、非ノーマル・ルマ・イントラ予測モードを使用して符号化される第1判定を行うことを含む。方法2740は、ステップ2744において、第1判定に基づいて、ルマ・ブロックが非ノーマル・ルマ・イントラ予測モードを使用して符号化されることに起因して、予め決定されたイントラ予測モードをクロマ・ブロックに適用する第2判定を行うことを更に含む。方法2740は、ステップ2746において、第2判定に従って、ビデオとビデオのコーディングされた表現との変換を実行することを更に含む。幾つかの実装において、非ノーマル・ルマ・イントラ予測モードは、ルマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、ルマ・ブロックを符号化することを含む。
図27Eはビデオ処理のための例示的な方法のフローチャートを示す。方法2750は、ステップ2752において、ビデオのクロマ・ブロックに関し、クロマ・ブロックの予め決定された位置をカバーしているルマ・ブロックが、ノーマル・ルマ・イントラ予測モードを使用して符号化される第1判定を行うことを含む。方法2750は、ステップ2754において、第1判定に基づいて、ルマ・ブロックのノーマル・ルマ・イントラ予測モードに基づいて、クロマ・イントラ予測モードを導出する第2判定を行うことを更に含む。方法2750は、ステップ2756において、第2判定に従って、ビデオとビデオのコーディングされた表現との変換を実行することを更に含み、ここで、ノーマル・ルマ・イントラ予測モードは、ルマ予測方向に沿って外挿された隣接するピクセルの値を使用して、ルマ・ブロックを符号化することを含む。
図23Aは、ビデオ処理装置2300のブロック図である。装置2300は、本願で説明される1つ以上の方法を実装するために使用されてもよい。装置2300は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機などで具体化されてもよい。装置2300は、1つ以上のプロセッサ2302、1つ以上のメモリ2304、及びビデオ処理ハードウェア2306を含んでもよい。プロセッサ2302は、本文書で説明される1つ以上の方法(方法2200ないし2750を含むが、これらに限定されない)を実装するように構成されてもよい。メモリ(memories)2304は、本願で説明される方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用されてもよい。ビデオ処理ハードウェア2306は、ハードウェア回路において、本文書で説明される幾つかの技術を実装するために使用されてもよい。幾つかの実施形態において、ハードウェア2306は、例えばグラフィックス・コプロセッサのように少なくとも部分的にプロセッサ2302内にあってもよい。
図23Bは、開示される技術が実装され得るビデオ処理システムの別の例のブロック図である。図23Bは、本願で開示される種々の技術が実装され得る例示的なビデオ処理システム2400を示すブロック図である。種々の実装は、システム4100の構成要素の一部又は全部を含んでもよい。システム2400は、ビデオ・コンテンツを受信するための入力2402を含んでもよい。ビデオ・コンテンツは、生の又は非圧縮のフォーマット、例えば、8又は10ビットの多重成分ピクセル値で受信されてもよいし、又は圧縮された又は符号化されたフォーマットにおけるものであってもよい。入力2402は、ネットワーク・インターフェース、周辺バス・インターフェース、又はストレージ・インターフェースを表現している可能性がある。ネットワーク・インターフェースの例は、イーサーネット、光受動ネットワーク(PON)などの有線インターフェースや、Wi-Fi又はセルラー・インターフェースのような無線インターフェースを含む。
システム2400は、本文書で説明される種々のコーディング又は符号化方法を実装することが可能なコーディング構成要素2404を含んでもよい。コーディング構成要素2404は、コーディング構成要素2404の入力2402から出力までのビデオの平均ビットレートを低減して、ビデオのコーディングされた表現を生成することができる。従って、コーディング技術は、ビデオ圧縮又はビデオ・トランスコーディング技術と呼ばれることが間々ある。コーディング構成要素2404の出力は、記憶されてもよいし、あるいは構成要素2406によって表現されているように接続された通信を介して伝送されてもよい。入力2402で受信されたビデオの記憶又は通信されるビットストリーム(又はコーディングされた)表現は、ディスプレイ・インターフェース2410に送信されるピクセル値又は表示可能なビデオを生成するために、構成要素2408によって使用されてもよい。ビットストリーム表現から、ユーザーが視聴可能なビデオを生成するプロセスは、ビデオ解凍と呼ばれることが間々ある。更に、特定のビデオ処理演算は、“コーディングする”演算又はツールと称されるが、コーディング・ツール又は演算はエンコーダで使用され、コーディングの結果を逆向きに処理する対応する復号化ツール又は演算はデコーダによって実行される、ということは理解されるであろう。
周辺バス・インターフェース又はディスプレイ・インターフェースの例は、ユニバーサル・シリアル・バス(USB)又は高解像度マルチメディア・インターフェース(HDMI(登録商標))、ディスプレイポート(Displayport)などを含む可能性がある。ストレージ・インターフェースの例は、シリアル・アドバンスト・テクノロジ・アタッチメント(serial advanced technology attachment,SATA)、PCI、IDEインターフェースなどを含む。本文書で説明される技術は、携帯電話、ラップトップ、スマートフォン、又はその他のデバイスであって、デジタル・データ処理及び/又はビデオ表示を実行することが可能なデバイス、のような種々の電子デバイスで具現化されることが可能である。
幾つかの実施形態において、本文書で説明されるビデオ処理方法は、図23A又は23Bに関して説明したようにハードウェア・プラットフォーム上に実装された装置を使用して実装されてもよい。
開示される技術の幾つかの実施形態は、ビデオ処理ツール又はモードを動作可能にする判断又は決定を行うことを含む。一例では、ビデオ処理ツール又はモードがイネーブルにされている場合に、エンコーダは、ビデオのブロックの処理においてツール又はモードを使用又は実装するであろうが、結果として生じるビットストリームをツール又はモードの使用に基づいて必ずしも修正しない可能性がある。即ち、ビデオのブロックからビデオのビットストリーム表現への変換は、判断又は決定に基づいてイネーブルにされた場合に、ビデオ処理ツール又はモードを使用するであろう。別の例では、ビデオ処理ツール又はモードがイネーブルにされている場合に、デコーダは、ビットストリームがビデオ処理ツール又はモードに基づいて修正されている旨の情報とともに、ビットストリームを処理するであろう。即ち、ビデオのビットストリーム表現からビデオのブロックへの変換は、判断又は決定に基づいてイネーブルにされたビデオ処理ツール又はモードを使用して実行されるであろう。
開示される技術の幾つかの実施形態は、ビデオ処理ツール又はモードをディセーブルにする判断又は決定を行うことを含む。一例では、ビデオ処理ツール又はモードがディセーブルにされる場合、エンコーダは、ビデオのブロックをビデオのビットストリーム表現に変換する際に、ツール又はモードを使用しないであろう。別の例では、ビデオ処理ツール又はモードがディセーブルにされる場合、デコーダは、ビットストリームが、その判断又は決定に基づいてディセーブルにされたビデオ処理ツール又はモードを使用して修正されていない旨の情報とともに、ビットストリームを処理するであろう。
本文書において、“ビデオ処理”という用語は、ビデオ符号化、ビデオ復号化、ビデオ圧縮又はビデオ解凍を指す可能性がある。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から、対応するビットストリーム表現へ、又はその逆への変換の間に適用される可能性がある。現在のビデオ・ブロックのビットストリーム表現は、例えばシンタックスによって定義されるように、ビットストリーム内で同等位置にあるか又は異なる場所に分散されるビットに対応してもよい。例えば、マクロブロックは、変換されたコーディングされたエラー残差値の観点から、また、ビットストリーム内のヘッダ及びその他のフィールドのビットを使用して符号化されてもよい。
様々な技術及び実施形態は以下の条項形式を用いて記述することができる。第1セットの条項は、上記のセクションにおいて開示される技術の特定の特徴及び態様を記述している。
1. ビデオ処理方法であって、
現在のビデオ・ブロックの特徴に基づいて、縮小二次変換を現在のビデオ・ブロックに適用するための変換セット又は変換行列を選択するステップ;及び
現在のビデオ・ブロックと、現在のビデオ・ブロックを含むビデオのビットストリーム表現との間の変換の一部として、選択された変換セット又は変換行列を、現在のビデオ・ブロックの一部分に適用するステップ;
を含む方法。
2.現在のビデオ・ブロックの一部分は、現在のビデオ・ブロックの右上サブ領域、右下サブ領域、左下サブ領域又は中央サブ領域である、条項1に記載の方法。
3.現在のビデオ・ブロックの特徴は、現在のビデオ・ブロックのイントラ予測モード又は一次変換行列である、条項1又は2に記載の方法。
4.上記の特徴は、現在のビデオ・ブロックの色成分である、条項1に記載の方法。
5.第1変換セットは、現在のビデオ・ブロックのルマ成分に対して選択され、第1変換セットとは異なる第2変換セットは、現在のビデオ・ブロックの1つ以上のクロマ成分に対して選択される、条項4に記載の方法。
6. 上記の特徴は、現在のビデオ・ブロックのイントラ予測モード又はイントラ・コーディング方法である、条項1に記載の方法。
7.イントラ予測方法は、多重参照ライン(MRL)ベースの予測方法又は行列ベースのイントラ予測方法を含む、条項6に記載の方法。
8.第1変換セットは、現在のビデオ・ブロックがクロス・コンポーネント線型モデル(CCLM)コード化ブロックである場合に選択され、第1変換セットとは異なる第2変換セットは、現在のビデオ・ブロックが非CCLMコード化ブロックである場合に選択される、条項6に記載の方法。
9.第1変換セットは、現在のビデオ・ブロックがジョイント・クロマ残差コーディング方法でコーディングされる場合に選択され、第1変換セットとは異なる第2変換セットは、現在のビデオ・ブロックがジョイント・クロマ残差コーディング方法でコーディングされない場合に選択される、条項6に記載の方法。
10.上記の特徴は、現在のビデオ・ブロックの一次変換である、条項1に記載の方法。
11.ビデオ処理方法であって:
現在のビデオ・ブロックに関連する1つ以上の係数に基づいて、現在のビデオ・ブロックのビットストリーム表現における縮小二次変換(RST)の適用のためのサイド情報のシグナリングの選択的な包含に関する決定を行うステップ;及び
決定に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現を含むビデオとの間の変換を実行するステップ;
を含む方法。
12.1つ以上の係数は、現在のビデオ・ブロックのスキャニング順序における最後の非ゼロ係数を含む、条項11に記載の方法。
13.1つ以上の係数は、現在のビデオ・ブロックの部分的な領域内の複数の係数を含む、条項11に記載の方法。
14.部分的な領域は、RSTが適用され得る1つ以上のコーディング・グループを含む、条項13に記載の方法。
15.部分的な領域は、現在のビデオ・ブロックのスキャニング順序で先頭からM個のコーディング・グループ又は最後からM個のコーディング・グループを含む、条項13に記載の方法。
16.部分的な領域は、現在のビデオ・ブロックの逆スキャニング順序で先頭からM個のコーディング・グループ又は最後からM個のコーディング・グループを含む、条項13に記載の方法。
17.決定を行うことは、複数の係数の1つ以上の非ゼロ係数のエネルギーに更に基づいている、条項13に記載の方法。
18. ビデオ処理方法であって:
縮小二次変換(RST)を現在のビデオ・ブロックに適用することに関し、現在のビデオ・ブロックのビットストリーム表現を構築するステップであって、RSTに関連するシンタックス要素は、残差情報をコーディングする前に、ビットストリーム表現においてシグナリングされる、ステップ;及び
その構築に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換を実行するステップ;
を含む方法。
19.RSTに関連するシンタックス要素をシグナリングすることは、少なくとも1つのコーディングされたブロック・フラグ又は変換選択モードの使用法に基づいている、条項18に記載の方法。
20.ビットストリーム表現は、全てゼロ係数であるコーディング・グループに対応するコーディング残差情報を除外している、条項18に記載の方法。
21.コーディング残差情報は、RSTの適用に基づいている、条項18に記載の方法。
22.ビデオ処理方法であって:
縮小二次変換(RST)を現在のビデオ・ブロックに適用するために、現在のビデオ・ブロックのビットストリーム表現を構築するステップであって、RSTに関連するシンタックス要素は、変換スキップ指示又は多重変換セット(MTS)インデックスの何れかの前にビットストリーム表現でシグナリングされる、ステップ;及び
その構築に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換を実行するステップ;
を含む方法。
23.変換スキップ指示又はMTSインデックスは、RSTに関連するシンタックス要素に基づいている、条項22に記載の方法。
24.ビデオ処理方法であって:
現在のビデオ・ブロックの特徴に基づいて、縮小二次変換(RST)のインデックスをコーディングするためのコンテキスト・モデルを構築するステップ;及び
その構築に基づいて、現在のビデオ・ブロックと、現在のビデオ・ブロックを含むビデオのビットストリーム表現との間の変換を実行するステップ;
を含む方法。
25.上記の特徴は、多重変換選択(MTS)プロセスの明示的又は暗示的な実施可能性である、条項24に記載の方法。
26.上記の特徴は、現在のビデオ・ブロックにおけるクロス・コンポーネント線型モデル(CCLM)コーディング・モードの実施可能性である、条項24に記載の方法。
27.上記の特徴は、現在のビデオ・ブロックのサイズである、条項24に記載の方法。
28.上記の特徴は、現在のビデオ・ブロックに適用されるパーティショニング・プロセスの分割深度である、条項24に記載の方法。
29.パーティショニング・プロセスは、四分木(QT)パーティショニング・プロセス、二分木(BT)パーティショニング・プロセス、又は三分木(TT)パーティショニング・プロセスである、条項28に記載の方法。
30.上記の特徴は、現在のビデオ・ブロックのカラー・フォーマット又は色成分である、条項24に記載の方法。
31.上記の特徴は、現在のビデオ・ブロックのイントラ予測モードと、多重変換選択(MTS)プロセスのインデックスとを除外している、条項24に記載の方法。
32.ビデオ処理方法であって:
現在のビデオ・ブロックの特徴に基づいて、現在のビデオ・ブロックに対するインバース縮小二次変換(RST)プロセスの選択的適用に関する決定を行うステップ;及び
決定に基づいて、現在のビデオ・ブロックと、現在のビデオ・ブロックを含むビデオのビットストリーム表現との間の変換を実行するステップ;
を含む方法。
33.上記の特徴は、現在のビデオ・ブロックのコーディング・グループのコーディングされたブロック・フラグである、条項32に記載の方法。
34.インバースRSTプロセスは適用されず、左上コーディング・グループのコーディングされたブロック・フラグはゼロである、条項33に記載の方法。
35.インバースRSTプロセスは適用されず、現在のビデオ・ブロックのスキャニング順序における第1及び第2コーディング・グループに対するコーディングされたブロック・フラグはゼロである、条項33に記載の方法。
36.上記の特徴は、現在のビデオ・ブロックの高さ(M)又は幅(N)である、条項32に記載の方法。
37.インバースRSTプロセスは適用されず、(i)M=8及びN=4、又は(ii)M=4及びN=8である、条項36に記載の方法。
38. ビデオ処理方法であって:
現在のビデオ・ブロックの特徴に基づいて、現在のビデオ・ブロックに対するインバース縮小二次変換(RST)プロセスの選択的適用に関する決定を行うステップ;及び
決定に基づいて、現在のビデオ・ブロックと、現在のビデオ・ブロックを含むビデオのビットストリーム表現との間の変換を実行するステップ;
を含み、ビットストリーム表現はRSTに関するサイド情報を含み、サイド情報は、現在のビデオ・ブロックのルマ成分又はシングル・カラーの係数に基づいて包含される、方法。
39. サイド情報は、現在のビデオ・ブロックのディメンジョンに更に基づいて包含される、条項38に記載の方法。
40. サイド情報は、現在のビデオ・ブロックに対するブロック情報を考慮することなく包含される、条項38又は39に記載の方法。
41. 変換は、ビットストリーム表現を現在のビデオ・ブロックから生成することを含む、条項1-40のうちの何れか1項に記載の方法。
42. 変換は、現在のビデオ・ブロックをビットストリーム表現から生成することを含む、条項1-40のうちの何れか1項に記載の方法。
43. プロセッサと命令を伴う非一時的なメモリとを含むビデオ・システムにおける装置であって、命令は、プロセッサにより実行されると、条項1-42のうちの何れか1つにおける方法をプロセッサに実行させる、装置。
44. 非一時的なコンピュータ読み取り可能な媒体に記憶されるコンピュータ・プログラム製品であって、条項1-42のうちの何れか1つにおける方法を実行するためのプログラム・コードを含む、コンピュータ・プログラム製品。
第2セットの条項は、上記のセクション、例えば例示的なアイテム4及び5において開示される技術の特定の特徴及び態様を記述している。
1.ビデオ処理方法であって、
ビデオのビデオ・ユニットの現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換について、特定のイントラ予測モードを使用してコーディングされたビデオ・ユニットのデフォルト・イントラ予測モードを決定し、その結果、現在のビデオ・ブロックの予測ブロックが、ある方向に沿って現在のビデオ・ブロックの隣接するピクセルを外挿することなく生成されるようにするステップと、
決定に基づいて変換を実行するステップと
を含む方法。
2. ビデオユニットは、コーディング・ユニット、予測ユニット、コーディング・ブロック、又は予測ブロックに対応する、条項1に記載の方法。
3. ビデオ・ユニットは、行列ベクトル乗算を使用して予測ブロックを生成する行列ベースのイントラ予測(MIP)を使用してコーディングされる、条項1に記載の方法。
4. ビデオ・ユニットは、現在のビデオ・ブロックを含むビデオ・フレームを指すブロック・ベクトルを少なくとも使用して予測ブロックを生成するイントラ・ブロック・コピー(IBC)モードを使用してコーディングされる、条項1に記載の方法。
5. ビデオ・ユニットは、代表的なサンプル値のパレットを使用して現在のビデオ・ブロックを表現又は再構成することを可能にするパレット・モードを使用してコーディングされる、条項1に記載の方法。
6. デフォルトのイントラ予測モードは、現在のビデオ・ブロックのコーディング・モードに基づいて決定される、条項1に記載の方法。
7. デフォルトのイントラ予測モードに関する情報は、コーディングされた表現に含まれる、条項1に記載の方法。
8. デフォルトのイントラ予測モードに関する情報は、シグナリングされることなく導出される、条項1に記載の方法。
9. デフォルトのイントラ予測モードの決定は、クロマ導出モード(DM)の導出で更に使用される、第1項に記載の方法。
10. デフォルトのイントラ予測モードの決定は、ビデオの他のブロックのイントラ予測モードを予測するために更に使用される、第1項に記載の方法。
11. ある色成分の現在のビデオ・ブロックに割り当てられたデフォルトのイントラ予測モードの決定が、別の色成分の変換セット又は変換インデックスの導出に使用される、条項1に記載の方法。
12. デフォルトのイントラ予測モードは、ビデオのブロックの予測モードと共に記憶される、第1項に記載の方法。
13. デフォルトのイントラ予測モードは、インター・コーディングされたブロックには割り当てられない、条項1に記載の方法。
14. デフォルトのイントラ予測モードが平面イントラ予測モードである、条項1に記載の方法。
15. ビデオ処理方法であって、
ルールを使用して、ビデオのクロマ・ブロックの所定の位置をカバーするビデオのルマ・ブロックの決定を行うステップと、
決定に基づいて、ビデオとビデオのコーディングされた表現との間の変換を実行するステップと
を含み、クロマ・ブロックは、イントラ予測モードを用いてコーディングされた表現で表現される、方法。
16. 変換を実行するステップは、ルマ・ブロックの予測モード又はコーディング・モードをチェックするステップと、ルマ・ブロックのイントラ予測モードをフェッチするステップとを含む、第15項に記載の方法。
17. ルマ・ブロックは、クロマ・ブロックの中央にあるクロマ・サンプルに対応するように位置するルマ・サンプルを含む、条項15に記載の方法。
18. ルマ・ブロックは、クロマ・ブロックの左上にあるクロマ・サンプルに対応するように位置するルマ・サンプルを含む、条項15に記載の方法。
19. ビデオ処理方法であって、
ルールを使用して、クロマ・ブロックに対応するルマ・ブロックのコーディング・モードに基づいて、ビデオのクロマ・ブロックのイントラ予測モードを導出するステップと、
導出されたイントラ予測モードに基づいて、そのクロマ・ブロックとビデオのコーディングされた表現との間の変換を実行するステップと
を含み、ルマ・ブロックのコーディング・モードが、特定のイントラ予測モードであって、ルマ・ブロックの予測ブロックが、ルマ・ブロックの隣接するピクセルを或る方向に沿って外挿することなく生成される特定のイントラ予測モードである場合に、ルールは、デフォルトのイントラ予測モードを使用することを規定している、方法。
20. ルールは、ルマ・ブロックのコーディング・モードが特定のイントラ予測モードでない場合に、復号化されたイントラ予測モードを使用することを規定している、条項19に記載の方法。
21. ルマ・ブロックのコーディング・モードは、行列ベクトル乗算を使用して予測ブロックを生成する行列ベースのイントラ予測(MIP)に対応する、条項19に記載の方法。
22. 復号化されたイントラ予測モードは、平面イントラ予測モードである、条項21に記載の方法。
23. ルマ・ブロックのコーディング・モードは、現在のビデオ・ブロックを含むビデオ・フレームを指すブロック・ベクトルを少なくとも使用して予測ブロックを生成するイントラ・ブロック・コピー(IBC)モードに対応する、条項19に記載の方法。
24. ルマ・ブロックのコーディング・モードは、代表的なサンプル値のパレットを使用して、現在のビデオ・ブロックを表現又は再構成することを可能にするパレット・モードに対応する、条項19に記載の方法。
25. 復号化されたイントラ予測モードが、DCイントラ予測モードである、条項23又は24に記載の方法。
返還を実行するステップは、二次変換ツールを現在のビデオ・ブロックに適用するステップを含み、前記二次変換ツールを使用して、符号化の間に、量子化の前に、現在のビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換が適用され、又は復号化の間に、インバース一次変換を適用する前に、前記現在のビデオ・ブロックの逆量子化の出力にインバース二次変換が適用される、条項1ないし25のうちの何れか1項に記載の方法。
27. 変換の実行は、コーディングされた表現をビデオから生成することを含む、条項1ないし26のうちの何れか1項に記載の方法。
28. 変換の実行は、コーディングされた表現からビデオを生成することを含む、条項1ないし26のうちの何れか1項に記載の方法。
29. 条項1ないし28のうちの何れか1項に記載の方法を実行するように構成されたプロセッサを含むビデオ処理装置。
30. 実行された場合に、条項1ないし28のうちの任意の1つ以上に記載の方法をプロセッサに実行させるプログラム・コードを記憶したコンピュータ読み取り可能な媒体。
第3セットの条項は、上記のセクション、例えば例示的なアイテム5及び6において開示される技術の特定の特徴及び態様を記述している。
1. ビデオ処理方法であって、
ビデオのクロマ・ブロックに関し、非ノーマル・クロマ・イントラ予測モードがビデオの前記クロマ・ブロックに適用されるかどうかの第1判定を行うステップと、
クロマ・ブロックに対応するルマ・ブロックに関し、ルマ・イントラ予測モードがルマ・ブロックに適用される第2判定を行うステップと、
ルマ・イントラ予測モードに基づいてクロマ・ブロックに変換セット又は変換行列が適用される第3判定を行うステップと、
第3判定に従って、ビデオとビデオのコーディングされた表現との間の変換を実行するステップと
を含み、非ノーマル・クロマ・イントラ予測モードは、クロマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、クロマ・ブロックをコーディングすることを含む、方法。
2. 変換セット又は変換行列は、クロマ・ブロックに適用される二次変換ツールで使用される、条項1に記載の方法。
3. 二次変換ツールは、低周波ノン・セパラブル変換(LFNST)ツールに対応しており、二次変換ツールを使用して、
符号化の間に、量子化の前に、クロマ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換が適用され、又は
復号化の間に、インバース一次変換を適用する前に、クロマ・ブロックの逆量子化の出力にインバース二次変換が適用される、条項2に記載の方法。
4. 非ノーマル・クロマ・イントラ予測モードは、線型モデルを使用してクロマ・コンポーネントの予測値を他のコンポーネントから導出するクロス・コンポーネント線型モデル(CCLM)予測モードに対応している、条項1に記載の方法。
5. ルマ・ブロックは、クロマ・ブロックの予め決定された位置にあるクロマ・サンプルに対応するルマ・サンプルをカバーしている、条項1に記載の方法。
6. ルマ・ブロックは、クロマ・ブロックの中央のクロマ・サンプルに対応するルマ・サンプルをカバーしている、条項1に記載の方法。
7. ルマ・ブロックは、現在のビデオ・ブロックの左上のクロマ・サンプルに対応するルマ・サンプルをカバーしている、条項1に記載の方法。
8. ルマ・イントラ予測は非ノーマル・ルマ・イントラ予測モードであり、非ノーマル・ルマ・イントラ予測モードは、ルマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、ルマ・ブロックをコーディングすることを含む、条項1に記載の方法。
9. 非ノーマル・ルマ・イントラ予測モードは、行列ベクトル乗算を使用して予測値を生成するマトリクス・ベースのイントラ予測(MIP)に対応している、条項8に記載の方法。
10. 非ノーマル・ルマ・イントラ予測モードは、ルマ・ブロックを含むビデオ・フレームを指すブロック・ベクトルを少なくとも使用して予測値を生成するイントラ・ブロック・コピー(IBC)モードに対応している、条項8に記載の方法。
11. 非ノーマル・ルマ・イントラ予測モードは、代表サンプル値のパレットを使用してルマ・ブロックを表現又は再構成することを可能にするパレット・モードに対応している、条項8に記載の方法。
12. ルマ・イントラ予測モードが非ノーマル・ルマ・イントラ予測モードであることに応答して、予め決定されたイントラ予測モードがクロマ・ブロックのために指定され、非ノーマル・クロマ・イントラ予測モードの代わりに、予め決定されたイントラ予測モードを更に使用して、クロマ・ブロックに適用される変換セット又は変換行列を導出する、条項8ないし11のうちの何れか1項に記載の方法。
13. 予め決定されたイントラ予測モードは、ルマ・ブロックの非ノーマル・ルマ・イントラ予測モードに基づいて決定される、条項12に記載の方法。
14. 非ノーマル・ルマ・イントラ予測モードがIBCモード又はパレット・モードであることに応答して、予め決定されたイントラ予測モードはDCモードとして決定される、条項13に記載の方法。
15. 非ノーマル・ルマ・イントラ予測モードがMIPモードであることに応答して、予め決定されたイントラ予測モードは平面モードとして決定される、条項13に記載の方法。
16. ルマ・イントラ予測はノーマル・ルマ・イントラ予測モードであり、ノーマル・ルマ・イントラ予測モードは、ルマ予測方向に沿って外挿された隣接するピクセルの値を使用して、ルマ・ブロックをコーディングすることを含む、条項1に記載の方法。
17. ルマ・イントラ予測モードが非ノーマル・ルマ・イントラ予測モードであることに応答して、ルマ・イントラ予測がクロマ・ブロックのために指定され、非ノーマル・クロマ・イントラ予測モードの代わりに、ルマ・イントラ予測モードを更に使用して、クロマ・ブロックに適用される変換セット又は変換行列を導出する、条項16に記載の方法。
18. ビデオ処理方法であって、
ビデオのクロマ・ブロックに関し、クロマ・ブロックに対応するルマ・ブロックが、非ノーマル・ルマ・イントラ予測モードを使用してコーディングされる第1判定を行うステップと、
第1判定に基づいて、ルールに従って前記クロマ・ブロックに対する変換セット又は変換行列の第2判定を行うステップと、
第2判定に従って、ビデオとビデオのコーディングされた表現との間の変換を実行するステップと
を含み、ルールは、ルマ・ブロックが非ノーマル・ルマ・イントラ予測モードを使用してコーディングされることに起因して、クロマ・ブロックに関連する1つ以上のデフォルト・モード又はデフォルト変換セットは、クロマ・ブロックが非ノーマル・クロマ・イントラ予測モードを使用してコーディングされる場合に変換セット又は変換行列を決定することを規定しており、
非ノーマル・ルマ・イントラ予測モードは、ルマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、ルマ・ブロックをコーディングすることを含み、
非ノーマル・クロマ・イントラ予測モードは、クロマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、クロマ・ブロックをコーディングすることを含む、方法。
19. 非ノーマル・クロマ・イントラ予測モードは、線型モデルを使用してクロマ・コンポーネントの予測値を他のコンポーネントから導出するクロス・コンポーネント線型モデル(CCLM)予測モードに対応している、条項18に記載の方法。
20. 非ノーマル・ルマ・イントラ予測モードは、行列ベクトル乗算を使用して予測値を生成するマトリクス・ベースのイントラ予測(MIP)に対応している、条項18に記載の方法。
21. 非ノーマル・ルマ・イントラ予測モードは、ルマ・ブロックを含むビデオ・フレームを指すブロック・ベクトルを少なくとも使用して予測値を生成するイントラ・ブロック・コピー(IBC)モードに対応している、条項18に記載の方法。
22. 非ノーマル・ルマ・イントラ予測モードは、代表サンプル値のパレットを使用してルマ・ブロックを表現又は再構成することを可能にするパレット・モードに対応している、条項18に記載の方法。
23. ルマ・ブロックは、クロマ・ブロックの予め決定された位置にあるクロマ・サンプルに対応するルマ・サンプルをカバーしている、条項18に記載の方法。
24. ルマ・ブロックは、クロマ・ブロックの中央のクロマ・サンプルに対応するルマ・サンプルをカバーしている、条項18に記載の方法。
25. ルマ・ブロックは、現在のビデオ・ブロックの左上のクロマ・サンプルに対応するルマ・サンプルをカバーしている、条項18に記載の方法。
26. ルールは、デフォルト変換セット又はデフォルト変換行列のうちの少なくとも1つを使用するか、或いはルマ・ブロックのイントラ・ルマ予測モードから前記変換セット又は変換行列を導出するかを、ルマ・ブロックのコーディング・モードに基づいて規定している、条項18に記載の方法。
27. ルールは、ルマ・ブロックの隣接するピクセルを外挿することによってルマ・ブロックの予測ブロックを生成するノーマル・イントラ予測モードを使用してルマ・ブロックが符号化されることに起因して、ルマ・ブロックのイントラ・ルマ予測モードに従って、変換セット又は変換行列を導出することを規定している、条項18に記載の方法。
28. ルールは、ブロック・ベースのデルタ・パルス・コード変調(BDPCM)モードを使用してルマ・ブロックが符号化されることに起因して、ルマ・ブロックのイントラ・ルマ予測モードに従って、変換セット又は変換行列を導出することを規定している、条項18に記載の方法。
29. ルールは、非ノーマル・ルマ・イントラ予測モードを使用してルマ・ブロックが符号化されることに起因して、デフォルト変換セット又はデフォルト変換行列のうちの少なくとも1つを使用することを規定している、条項26に記載の方法。
30. ビデオ処理方法であって、
ビデオの現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換に関し、1つの色成分の現在のビデオ・ブロックに適用される第2変換ツールの適用可能性を、1)別の色成分の対応するブロックのコーディング・モード、又は2)現在のビデオ・ブロックのコーディング・モードのうちの少なくとも1つに基づいて決定するステップと、
決定に基づいて前記変換を実行するステップと、
を含み、二次変換ツールを使用して、
符号化の間に、量子化の前に、現在のビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換が適用され、又は
復号化の間に、インバース一次変換を適用する前に、現在のビデオ・ブロックの逆量子化の出力にインバース二次変換が適用される、方法。
31. 二次変換ツールは、低周波ノン・セパラブル変換(LFNST)ツールに対応している、条項30に記載の方法。
32. 現在のビデオ・ブロックはクロマ・ブロックに対応し、対応するブロックはクロマ・ブロックに対応するルマ・ブロックに対応している、条項30に記載の方法。
33. 対応するブロックのコーディング・モードが、i)予測方向に沿って外挿された隣接するピクセルの値を使用して、対応するブロックを符号化することを含むノーマル・イントラ予測モード、及び/又はii)ブロック・ベースのデルタ・パルス・コード変調(BDPCM)モードであることに起因して、決定するステップは、第2変換ツールを前記現在のビデオ・ブロックに適用することを決定する、条項31に記載の方法。
34. 対応するブロックのコーディング・モードが、予測方向に沿って外挿された隣接するピクセルの値を使用せずに、対応するブロックを符号化することを含む非ノーマル・イントラ予測モードであることに起因して、決定するステップは、現在のビデオ・ブロックに対して第2変換ツールをディセーブルにすることを決定する、条項31に記載の方法。
35. 現在のビデオ・ブロックのコーディング・モードは、線型モデルを使用してクロマ・コンポーネントの予測値を他のコンポーネントから導出するクロス・コンポーネント線型モデル(CCLM)予測モードに対応している、条項30に記載の方法。
36. ビデオ処理方法であって、
ビデオのクロマ・ブロックに関し、クロマ・ブロックの予め決定された位置をカバーしているルマ・ブロックが、非ノーマル・ルマ・イントラ予測モードを使用して符号化される第1判定を行うステップと、
第1判定に基づいて、ルマ・ブロックが非ノーマル・ルマ・イントラ予測モードを使用して符号化されることに起因して、予め決定されたイントラ予測モードをクロマ・ブロックに適用する第2判定を行うステップと、
第2判定に従って、ビデオとビデオのコーディングされた表現との変換を実行するステップと、
を含み、非ノーマル・ルマ・イントラ予測モードは、ルマ予測方向に沿って外挿された隣接するピクセルの値を使用せずに、ルマ・ブロックを符号化することを含む、方法。
37. クロマ・ブロックに適用される二次変換ツールで使用される変換セット又は変換行列は、予め決定されたイントラ予測モードに基づいて選択される、条項36に記載の方法。
38. 二次変換ツールは、低周波ノン・セパラブル変換(LFNST)ツールに対応しており、前記二次変換ツールを使用して、
符号化の間に、量子化の前に、クロマ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換が適用され、又は
復号化の間に、インバース一次変換を適用する前に、クロマ・ブロックの逆量子化の出力にインバース二次変換が適用される、条項36に記載の方法。
39. クロマ・ブロックに適用される予め決定されたイントラ予測モードは、ルマ・ブロックの非ノーマル・ルマ・イントラ予測モードに依存している、条項36ないし38のうちの何れか1項に記載の方法。
40. 予め決定されたイントラ予測モードは、DCモード、平面モード、垂直モード、水平モード、45度モード、又は135度モードのうちの少なくとも1つに対応している、条項36ないし38のうちの何れか1項に記載の方法。
41. 非ノーマル・ルマ・イントラ予測モードは、イントラ・ブロック・コピー(IBC)モード、パレット・モード、マトリクス・ベースのイントラ予測(MIP)、又はブロック・ベースのデルタ・パルス・コード変調(BDPCM)モードのうちの少なくとも1つに対応している、条項36ないし38のうちの何れか1項に記載の方法。
42. 非ノーマル・ルマ・イントラ予測モードが、マトリクス・ベースのイントラ予測(MIP)に対応している場合に、MIPモードは、ルマ・ブロックのディメンジョンと前記MIPに基づいて特定のイントラ予測モードにマッピングされる、条項36ないし38のうちの何れか1項に記載の方法。
43. 予め決定されたイントラ予測モードは複数の候補の中から選択される、条項36ないし38のうちの何れか1項に記載の方法。
44. 予め決定されたイントラ予測モードはシグナリングされる、条項36ないし38のうちの何れか1項に記載の方法。
45. 予め決定されたイントラ予測モードは導出される、条項36ないし38のうちの何れか1項に記載の方法。
46. ビデオ処理方法であって、
ビデオのクロマ・ブロックに関し、クロマ・ブロックの予め決定された位置をカバーしているルマ・ブロックが、ノーマル・ルマ・イントラ予測モードを使用して符号化される第1判定を行うステップと、
第1判定に基づいて、ルマ・ブロックのノーマル・ルマ・イントラ予測モードに基づいて、クロマ・イントラ予測モードを導出する第2判定を行うステップと、
第2判定に従って、ビデオとビデオのコーディングされた表現との変換を実行するステップと、
を含み、ノーマル・ルマ・イントラ予測モードは、ルマ予測方向に沿って外挿された隣接するピクセルの値を使用して、ルマ・ブロックを符号化することを含む、方法。
47. クロマ・ブロックに適用される二次変換ツールで使用される変換セット又は変換行列は、クロマ・イントラ予測モードに基づいて選択される、条項46に記載の方法。
48. 二次変換ツールは、低周波ノン・セパラブル変換(LFNST)ツールに対応しており、二次変換ツールを使用して、
符号化の間に、量子化の前に、現在のビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換が適用され、又は
復号化の間に、インバース一次変換を適用する前に、現在のビデオ・ブロックの逆量子化の出力にインバース二次変換が適用される、条項46に記載の方法。
49. ルマ・ブロックは、クロマ・ブロックの中央にあるクロマ・サンプルに対応する位置にあるルマ・サンプルを含む、条項46ないし48のうちの何れか1項に記載の方法。
50. ルマ・ブロックは、クロマ・ブロックの左上にあるクロマ・サンプルに対応する位置にあるルマ・サンプルを含む、条項46ないし48のうちの何れか1項に記載の方法。
51. 変換を実行するステップは、コーディングされた表現をビデオから生成するステップ、或いはビデオをコーディングされた表現から生成するステップを含む、条項1ないし50のうちの何れか1項に記載の方法。
52. 条項1ないし51のうちの何れか1項に記載された方法を実行するように構成されたプロセッサを含むビデオ処理装置。
53. 実行された場合に、条項1ないし51のうちの何れか1項に記載された方法をプロセッサに実行させるプログラム・コードを記憶したコンピュータ読み取り可能な記憶媒体。
以上から、本件で開示される技術の特定の実施形態が、説明の目的で本明細書で説明されてきたが、本発明の範囲を逸脱することなく、種々の修正が行われてもよいことは理解されるであろう。従って、ここに開示される技術は、添付のクレームによる場合を除いて限定されない。
本特許文献で説明される対象事項及び機能的動作の実装は、本明細書で開示される構造及びそれらの構造的均等物を含む、種々のシステム、デジタル電子回路、又はコンピュータ・ソフトウェア、ファームウェア、又はハードウェア、又はそれらの1つ以上の組み合わせにおいて実現することができる。本明細書で説明される対象事項の実装は、1つ以上のコンピュータ・プログラム製品として、即ち、データ処理装置による実行のための、又はその動作を制御するための、有形且つ非一時的なコンピュータ読み取り可能な媒体上で符号化されているコンピュータ・プログラム命令の1つ以上のモジュールとして、実装することができる。コンピュータ読み取り可能な媒体は、機械読み取り可能なストレージ・デバイス、機械読み取り可能なストレージ基板、メモリ・デバイス、機械読み取り可能な伝搬信号に影響を与える物質の組成、又はそれらの1つ以上の組み合わせであるとすることが可能である。用語“データ処理ユニット”又は“データ処理装置”は、例えば、プログラマブル・プロセッサ、コンピュータ、又は複数のプロセッサ又はコンピュータを含む、データを処理するための全ての装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、問題としているコンピュータ・プログラムの実行環境を生成するコード、例えば、プロセッサ・ファームウェア、プロトコル・スタック、データベース管理システム、オペレーティング・システム、又はそれらの1つ以上の組み合わせを構成するコードを含むことができる。
コンピュータ・プログラム(プログラム、ソフトウェア、ソフトウェア・アプリケーション、スクリプト、又はコードとしても知られているもの)は、コンパイル又は解釈された言語を含む、任意の形式のプログラミング言語で書くことが可能であり、それは、スタンド・アロン・プログラムとして、又はモジュール、コンポーネント、サブルーチン、又はコンピューティング環境での使用に適したその他のユニットとしてのものを含む、任意の形式で配備することが可能である。コンピュータ・プログラムは、必ずしもファイル・システム内のファイルに対応するとは限らない。プログラムは、他のプログラム又はデータを保持するファイルの一部分(例えば、マークアップ言語文書に保存される1つ以上のスクリプト)内に、問題としているプログラムに専用の単一ファイル内に、又は複数の調整されたファイル(例えば、1つ以上のモジュール、サブ・プログラム、又はコードの一部分を記憶するファイル)内に、保存されることが可能である。コンピュータ・プログラムは、1つのコンピュータ上で又は複数のコンピュータ上で実行されるように配備することが可能であり、複数のコンピュータは、1つのサイトに配置されるか、又は複数のサイトにわたって分散されて通信ネットワークによって相互接続されている。
本明細書で説明されるプロセス及びロジックの流れは、1つ以上のコンピュータ・プログラムを実行する1つ以上のプログラマブル・プロセッサによって実行され、入力データに作用して出力を生成することによって機能を実行することができる。プロセス及びロジックのフローはまた、例えばFPGA(フィールド・プログラマブル・ゲート・アレイ)又はASIC(特定用途向け集積回路)のような特殊目的論理回路によって実行されることが可能であり、また、それらとして装置を実装することも可能である。
コンピュータ・プログラムの実行に適したプロセッサは、例えば、汎用及び専用双方のマイクロプロセッサ、及び任意の種類のデジタル・コンピュータの任意の1つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリ・メモリ又はランダム・アクセス・メモリ又は双方から命令及びデータを受信するであろう。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令及びデータを記憶するための1つ以上のメモリ・デバイスである。一般に、コンピュータはまた、データを記憶するための1つ以上の大容量ストレージ・デバイス、例えば磁気的なもの、磁気光ディスク、又は光ディスクを含み、あるいはそれらからデータを受信したり、それらへデータを転送したり、或いは双方のために動作可能に結合される。しかしながら、コンピュータは、そのようなデバイスを有することを必須とはしない。コンピュータ・プログラム命令及びデータを記憶するのに適したコンピュータ読み取り可能な媒体は、例えば、EPROM、EEPROM、及びフラッシュ・メモリ・デバイスのような半導体メモリ・デバイスを含む、あらゆる形態の不揮発性メモリ、媒体及びメモリ・デバイスを含む。プロセッサ及びメモリは、特殊目的論理回路によって補足されるか、又はそこに内蔵されることが可能である。
明細書は図面と共に模範としてのみ考慮されることが意図されており、ここで模範は例を意味する。本願で使用されるように、“又は”の使用は、文脈が明らかに別意を示していない限り、“及び/又は”を含むように意図されている。
本特許文献は多くの詳細を含んでいるが、これらは、何れかの発明やクレームされ得るものの範囲に関する限定として解釈されるべきではなく、むしろ特定の発明の特定の実施形態に特有である可能性のある特徴の説明として解釈されるべきである。別々の実施形態の文脈で本特許文献で説明されている特定の特徴は、組み合わせて単一の実施形態で実施することも可能である。逆に、単一の実施形態の文脈で説明されている種々の特徴は、複数の実施形態において別々に、又は任意の適切なサブコンビネーションで実施することも可能である。更に、特徴が、特定の組み合わせにおいて作用するものとして上述されていたり、当初にはそのようにクレームされていたりさえするかもしれないが、クレームされた組み合わせ中の1つ以上の特徴は、場合によっては、組み合わせから切り出されることが可能であり、クレームされた組み合わせは、サブコンビネーション又はサブコンビネーションの変形例に仕向けられる可能性がある。
同様に、図中、動作は特定の順序で描かれているが、これは、所望の結果を達成するために、このような動作が図示の特定の順序で又は順番通りに実行されること、又は、例示された全ての動作が実行されること、を要求するものとして理解されるべきではない。更に、この特許文献で説明される実施形態における種々のシステム構成要素の分け方は、全ての実施形態でこのような分け方を要求とするものとして理解されるべきではない。
僅かな実装例及び実施例のみが記述されているに過ぎず、本特許文献で説明され図示されているものに基づいて他の実装、拡張及び変更を行うことが可能である。

Claims (12)

  1. ビデオ・データを処理する方法であって:
    ビデオの現在のクロマ・ブロックと前記ビデオのビット・ストリームとの間の変換の際に、前記現在のクロマ・ブロックはクロス・コンポーネント線型モデル・イントラ予測モードでコーディングされる第1判定を行うステップ;
    前記現在のクロマ・ブロックの中央におけるクロマ・サンプルに対応する位置にあるルマ・サンプルをカバーするルマ・ブロックのコーディング・モードが特定のコーディング・モードである場合に、前記現在のクロマ・ブロックに対する二次変換プロセスにおいて所定のイントラ予測モードが使用される第2判定を行うステップ;
    前記所定のイントラ予測モードに基づいて、前記二次変換プロセスに対する変換セットを決定するステップ;及び
    前記変換セットに基づいて前記変換を実行するステップ;
    を含み、前記二次変換プロセスにおいて、
    符号化の間に、量子化の前に、前記現在のクロマ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換が適用され、又は
    復号化の間に、インバース一次変換を適用する前に、前記現在のクロマ・ブロックの逆量子化の出力にインバース二次変換が適用され;及び
    前記ルマ・ブロックの前記特定のコーディング・モードが、ブロック・ベクトルにより決定されるものと同じビデオ領域のサンプル値のブロックから導出される、前記ルマ・ブロックの予測サンプルを生成するイントラ・ブロック・コピー(IBC)モードである場合に、前記所定のイントラ予測モードは、DCイントラ予測モードとして決定され、或いは、前記ルマ・ブロックの前記特定のコーディング・モードが、代表サンプル値のパレットを使用して前記ルマ・ブロックを表現又は再構成することを可能にするパレット・モードである場合に、前記所定のイントラ予測モードは、DCイントラ予測モードとして決定される、方法。
  2. 前記ルマ・ブロックの前記特定のコーディング・モードが、行列ベクトル乗算を使用して前記ルマ・ブロックの予測サンプルを生成するマトリクス・ベースのイントラ予測(MIP)モードである場合に、前記所定のイントラ予測モードは、平面イントラ予測モードとして決定される、請求項1に記載の方法。
  3. 前記ルマ・ブロックの前記特定のコーディング・モードが、マトリクス・ベースのイントラ予測(MIP)モードではなく、イントラ・ブロック・コピー(IBC)モードでもなく、パレット・モードでもない場合に、前記ルマ・ブロックのルマ・イントラ予測モードが、前記変換セットを決定する際に使用される、請求項1に記載の方法。
  4. 前記変換セットは所定の変換セット選択テーブルから選択され、IntraPredModeとして示される前記変換セット選択テーブルに対するインデックスは、前記ルマ・ブロックが前記特定のコーディング・モードでコーディングされる場合には前記所定のイントラ予測モードに基づいており、或いは前記ルマ・ブロックが前記特定のコーディング・モードでコーディングされない場合には前記ルマ・ブロックのルマ・イントラ予測モードに等しい、請求項1-3のうちの何れか1項に記載の方法。
  5. 前記所定の変換セット選択テーブルは:
    Figure 0007422858000055
    であり、IntraPredModeは[-14,80]のレンジを有する、請求項4に記載の方法。
  6. 前記二次変換プロセスが適用される前記現在のクロマ・ブロックの領域内に、最後の非ゼロ係数が位置していない場合、前記二次変換プロセスは、前記現在のクロマ・ブロックに対してディセーブルにされる、請求項1-5のうちの何れか1項に記載の方法。
  7. 前記二次変換プロセスは、低周波ノン・セパラブル変換(LFNST)ツールに対応している、請求項1-6のうちの何れか1項に記載の方法。
  8. 前記変換は、前記現在のクロマ・ブロックを前記ビット・ストリームに符号化することを含む、請求項1-7のうちの何れか1項に記載の方法。
  9. 前記変換は、前記現在のクロマ・ブロックを前記ビット・ストリームから復号化することを含む、請求項1-7のうちの何れか1項に記載の方法。
  10. プロセッサと命令を伴う非一時的なメモリとを含むビデオ・データを処理する装置であって、命令は、プロセッサにより実行されると、前記プロセッサに:
    ビデオの現在のクロマ・ブロックと前記ビデオのビット・ストリームとの間の変換の際に、前記現在のクロマ・ブロックはクロス・コンポーネント線型モデル・イントラ予測モードでコーディングされる第1判定を行うステップ;
    前記現在のクロマ・ブロックの中央におけるクロマ・サンプルに対応する位置にあるルマ・サンプルをカバーするルマ・ブロックのコーディング・モードが特定のコーディング・モードである場合に、前記現在のクロマ・ブロックに対する二次変換プロセスにおいて所定のイントラ予測モードが使用される第2判定を行うステップ;
    前記所定のイントラ予測モードに基づいて、前記二次変換プロセスに対する変換セットを決定するステップ;及び
    前記変換セットに基づいて前記変換を実行するステップ;
    を実行させ、前記二次変換プロセスにおいて、
    符号化の間に、量子化の前に、前記現在のクロマ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換が適用され、又は
    復号化の間に、インバース一次変換を適用する前に、前記現在のクロマ・ブロックの逆量子化の出力にインバース二次変換が適用され;及び
    前記ルマ・ブロックの前記特定のコーディング・モードが、ブロック・ベクトルにより決定されるものと同じビデオ領域のサンプル値のブロックから導出される、前記ルマ・ブロックの予測サンプルを生成するイントラ・ブロック・コピー(IBC)モードである場合に、前記所定のイントラ予測モードは、DCイントラ予測モードとして決定され、或いは、前記ルマ・ブロックの前記特定のコーディング・モードが、代表サンプル値のパレットを使用して前記ルマ・ブロックを表現又は再構成することを可能にするパレット・モードである場合に、前記所定のイントラ予測モードは、DCイントラ予測モードとして決定される、装置。
  11. 命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体であって、命令は、プロセッサに:
    ビデオの現在のクロマ・ブロックと前記ビデオのビット・ストリームとの間の変換の際に、前記現在のクロマ・ブロックはクロス・コンポーネント線型モデル・イントラ予測モードでコーディングされる第1判定を行うステップ;
    前記現在のクロマ・ブロックの中央におけるクロマ・サンプルに対応する位置にあるルマ・サンプルをカバーするルマ・ブロックのコーディング・モードが特定のコーディング・モードである場合に、前記現在のクロマ・ブロックに対する二次変換プロセスにおいて所定のイントラ予測モードが使用される第2判定を行うステップ;
    前記所定のイントラ予測モードに基づいて、前記二次変換プロセスに対する変換セットを決定するステップ;及び
    前記変換セットに基づいて前記変換を実行するステップ;
    を実行させ、前記二次変換プロセスにおいて、
    符号化の間に、量子化の前に、前記現在のクロマ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換が適用され、又は
    復号化の間に、インバース一次変換を適用する前に、前記現在のクロマ・ブロックの逆量子化の出力にインバース二次変換が適用され;及び
    前記ルマ・ブロックの前記特定のコーディング・モードが、ブロック・ベクトルにより決定されるものと同じビデオ領域のサンプル値のブロックから導出される、前記ルマ・ブロックの予測サンプルを生成するイントラ・ブロック・コピー(IBC)モードである場合に、前記所定のイントラ予測モードは、DCイントラ予測モードとして決定され、或いは、前記ルマ・ブロックの前記特定のコーディング・モードが、代表サンプル値のパレットを使用して前記ルマ・ブロックを表現又は再構成することを可能にするパレット・モードである場合に、前記所定のイントラ予測モードは、DCイントラ予測モードとして決定される、記憶媒体。
  12. ビデオのビット・ストリームを記憶する方法であって:
    前記ビデオの現在のクロマ・ブロックはクロス・コンポーネント線型モデル・イントラ予測モードでコーディングされる第1判定を行うステップ;
    前記現在のクロマ・ブロックの中央におけるクロマ・サンプルに対応する位置にあるルマ・サンプルをカバーするルマ・ブロックのコーディング・モードが特定のコーディング・モードである場合に、前記現在のクロマ・ブロックに対する二次変換プロセスにおいて所定のイントラ予測モードが使用される第2判定を行うステップ;
    前記所定のイントラ予測モードに基づいて、前記二次変換プロセスに対する変換セットを決定するステップ;
    前記変換セットに基づいて前記ビット・ストリームを生成するステップ;及び
    前記ビット・ストリームを、非一時的なコンピュータ読み取り可能な記憶媒体に記憶するステップ;
    を含み、前記二次変換プロセスにおいて、
    符号化の間に、量子化の前に、前記現在のクロマ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換が適用され、又は
    復号化の間に、インバース一次変換を適用する前に、前記現在のクロマ・ブロックの逆量子化の出力にインバース二次変換が適用され;及び
    前記ルマ・ブロックの前記特定のコーディング・モードが、ブロック・ベクトルにより決定されるものと同じビデオ領域のサンプル値のブロックから導出される、前記ルマ・ブロックの予測サンプルを生成するイントラ・ブロック・コピー(IBC)モードである場合に、前記所定のイントラ予測モードは、DCイントラ予測モードとして決定され、或いは、前記ルマ・ブロックの前記特定のコーディング・モードが、代表サンプル値のパレットを使用して前記ルマ・ブロックを表現又は再構成することを可能にするパレット・モードである場合に、前記所定のイントラ予測モードは、DCイントラ予測モードとして決定される、記憶方法。
JP2022506683A 2019-08-03 2020-08-03 ビデオ処理方法、装置、記憶媒体及び記憶方法 Active JP7422858B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024000128A JP2024041836A (ja) 2019-08-03 2024-01-04 ビデオ・データ処理方法、装置、及び記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/099158 2019-08-03
CN2019099158 2019-08-03
PCT/CN2020/106561 WO2021023152A1 (en) 2019-08-03 2020-08-03 Selection of matrices for reduced secondary transform in video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024000128A Division JP2024041836A (ja) 2019-08-03 2024-01-04 ビデオ・データ処理方法、装置、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2022543102A JP2022543102A (ja) 2022-10-07
JP7422858B2 true JP7422858B2 (ja) 2024-01-26

Family

ID=74503764

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022506683A Active JP7422858B2 (ja) 2019-08-03 2020-08-03 ビデオ処理方法、装置、記憶媒体及び記憶方法
JP2024000128A Pending JP2024041836A (ja) 2019-08-03 2024-01-04 ビデオ・データ処理方法、装置、及び記憶媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024000128A Pending JP2024041836A (ja) 2019-08-03 2024-01-04 ビデオ・データ処理方法、装置、及び記憶媒体

Country Status (6)

Country Link
US (3) US11882274B2 (ja)
EP (1) EP3994887A4 (ja)
JP (2) JP7422858B2 (ja)
KR (1) KR102699362B1 (ja)
CN (3) CN117376555A (ja)
WO (2) WO2021023151A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228672A1 (en) 2019-05-10 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Context modeling of reduced secondary transforms in video
WO2020244656A1 (en) 2019-06-07 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
JP7422858B2 (ja) 2019-08-03 2024-01-26 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、記憶媒体及び記憶方法
MX2022001902A (es) * 2019-08-14 2022-04-18 Lg Electronics Inc Método y aparato de codificación/decodificación de imagen para determinar el modo de predicción del bloque de croma por referencia a la posición de la muestra de luma, y método para transmitir flujo de bits.
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
MX2022003996A (es) * 2019-10-04 2022-04-26 Lg Electronics Inc Metodo de codificacion de imagenes a base de transformacion, y dispositivo para el mismo.
CN116600140A (zh) 2019-10-29 2023-08-15 Lg电子株式会社 图像编码和解码设备及发送图像数据的设备
BR112022007946A2 (pt) 2019-10-29 2022-07-12 Lg Electronics Inc Método para codificação de imagem com base em transformada e aparelho para o mesmo
US11575909B2 (en) * 2020-04-07 2023-02-07 Tencent America LLC Method and apparatus for video coding
WO2023009608A1 (en) * 2021-07-27 2023-02-02 Beijing Dajia Internet Information Technology Co., Ltd. Coding enhancement in cross-component sample adaptive offset
WO2023080691A1 (ko) * 2021-11-03 2023-05-11 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치
WO2023140547A1 (ko) * 2022-01-19 2023-07-27 현대자동차주식회사 다중 참조라인들을 이용하는 크로마 채널 코딩을 위한 방법 및 장치
WO2024124188A1 (en) * 2022-12-09 2024-06-13 Beijing Dajia Internet Information Technology Co., Ltd Method and apparatus for cross-component prediction for video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020226424A1 (ko) 2019-05-08 2020-11-12 엘지전자 주식회사 Mip 및 lfnst를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796842A (en) 1996-06-07 1998-08-18 That Corporation BTSC encoder
US8027563B2 (en) 2005-08-10 2011-09-27 Mitsubishi Electric Corporation Recording medium, reproducing apparatus, and reproducing method
EP2464017A4 (en) 2009-08-06 2012-07-11 Panasonic Corp CODING METHOD, DECODING METHOD, CODING DEVICE AND DECODING DEVICE
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US8693795B2 (en) 2010-10-01 2014-04-08 Samsung Electronics Co., Ltd. Low complexity secondary transform for image and video compression
KR101756442B1 (ko) 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
AU2015249109B2 (en) 2011-03-08 2017-08-24 Qualcomm Incorporated Coding of transform coefficients for video coding
US20120230418A1 (en) 2011-03-08 2012-09-13 Qualcomm Incorporated Coding of transform coefficients for video coding
US20120320972A1 (en) * 2011-06-16 2012-12-20 Samsung Electronics Co., Ltd. Apparatus and method for low-complexity optimal transform selection
US20130003856A1 (en) 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
CN107959857B (zh) 2011-10-18 2022-03-01 株式会社Kt 视频信号解码方法
KR20130058524A (ko) * 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
KR102657113B1 (ko) 2011-12-29 2024-04-15 엘지전자 주식회사 비디오 인코딩 및 디코딩 방법과 이를 이용하는 장치
EP3512197B8 (en) 2012-01-20 2020-10-21 Dolby Laboratories Licensing Corporation Intra prediction mode mapping method
BR112014025563B1 (pt) * 2012-04-16 2023-12-05 Electronics And Telecommunications Research Institute Método para decodificar um sinal de vídeo
ES2961654T3 (es) 2012-06-29 2024-03-13 Electronics & Telecommunications Res Inst Método y dispositivo para codificar/decodificar imágenes
US9420289B2 (en) * 2012-07-09 2016-08-16 Qualcomm Incorporated Most probable mode order extension for difference domain intra prediction
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9532051B2 (en) 2012-10-05 2016-12-27 Futurewei Technologies, Inc. Architecture for hybrid video codec
CN108259901B (zh) 2013-01-16 2020-09-15 黑莓有限公司 用于对游长编码变换系数进行熵编码的上下文确定
US20140254661A1 (en) 2013-03-08 2014-09-11 Samsung Electronics Co., Ltd. Method and apparatus for applying secondary transforms on enhancement-layer residuals
WO2014205730A1 (zh) 2013-06-27 2014-12-31 北京大学深圳研究生院 Avs视频压缩编码方法及编码器
WO2015056945A1 (ko) * 2013-10-14 2015-04-23 삼성전자 주식회사 깊이 인트라 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US10271052B2 (en) 2014-03-14 2019-04-23 Qualcomm Incorporated Universal color-space inverse transform coding
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
WO2016040865A1 (en) * 2014-09-12 2016-03-17 Vid Scale, Inc. Inter-component de-correlation for video coding
CN105516730B (zh) 2014-09-24 2018-04-24 晨星半导体股份有限公司 视讯编码装置及视讯解码装置以及其编码与解码方法
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US10091504B2 (en) 2015-01-08 2018-10-02 Microsoft Technology Licensing, Llc Variations of rho-domain rate control
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US20170034530A1 (en) 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Reduced size inverse transform for decoding and encoding
WO2017041271A1 (en) 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US10750167B2 (en) 2015-10-22 2020-08-18 Lg Electronics, Inc. Intra-prediction method and apparatus in video coding system
CA3013317A1 (en) 2016-02-08 2017-08-17 Sharp Kabushiki Kaisha Systems and methods for transform coefficient coding
CN105791867B (zh) 2016-03-23 2019-02-22 北京大学 基于边界自适应变换的优化视频数据编码方法
WO2017173593A1 (en) 2016-04-06 2017-10-12 Mediatek Singapore Pte. Ltd. Separate coding secondary transform syntax elements for different color components
US10708164B2 (en) 2016-05-03 2020-07-07 Qualcomm Incorporated Binarizing secondary transform index
EP3453181A4 (en) 2016-05-04 2019-05-01 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR ENCODING TRANSFORMED DATA
CN109417625B (zh) * 2016-05-05 2023-02-28 交互数字麦迪逊专利控股公司 编码或解码视频的装置及方法
EP3453174A1 (en) * 2016-05-06 2019-03-13 VID SCALE, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
AU2017261992A1 (en) 2016-05-13 2018-11-22 Sony Corporation Image processing device and method
JP6868785B2 (ja) * 2016-05-13 2021-05-12 ソニーグループ株式会社 画像処理装置および方法
US10547854B2 (en) * 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
CN113411578B (zh) 2016-05-13 2024-04-12 夏普株式会社 图像解码装置及其方法、图像编码装置及其方法
CN114422796A (zh) 2016-06-24 2022-04-29 韩国电子通信研究院 用于基于变换的图像编码/解码的方法和设备
US10972733B2 (en) 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
CN115914625A (zh) 2016-08-01 2023-04-04 韩国电子通信研究院 图像编码/解码方法
JP6962325B2 (ja) 2016-08-24 2021-11-05 ソニーグループ株式会社 画像処理装置、画像処理方法、及びプログラム
US10880564B2 (en) 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
US11095893B2 (en) 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
CN110326294A (zh) 2017-01-03 2019-10-11 Lg电子株式会社 使用二次变换编码/解码视频信号的方法和设备
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
CN110313179B (zh) 2017-01-31 2022-01-28 夏普株式会社 用于按比例缩放变换系数水平值的系统和方法
EP3586511B1 (en) 2017-03-16 2022-01-05 MediaTek Inc. Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding
US20180288439A1 (en) 2017-03-31 2018-10-04 Mediatek Inc. Multiple Transform Prediction
US10855997B2 (en) 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
US10638126B2 (en) 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
US10742975B2 (en) 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
US10750181B2 (en) 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
US10805641B2 (en) 2017-06-15 2020-10-13 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding
JP2021010046A (ja) 2017-10-06 2021-01-28 シャープ株式会社 画像符号化装置及び画像復号装置
US10827173B2 (en) 2017-11-13 2020-11-03 Electronics And Telecommunications Research Institute Method and apparatus for quantization
US10764590B2 (en) 2017-11-15 2020-09-01 Google Llc Entropy coding primary and secondary coefficients of video data
US11310517B2 (en) * 2017-12-07 2022-04-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding using selective information sharing between channels
WO2019117634A1 (ko) 2017-12-15 2019-06-20 엘지전자 주식회사 2차 변환에 기반한 영상 코딩 방법 및 그 장치
BR122021010320B1 (pt) 2017-12-15 2022-04-05 Lg Electronics Inc. Método de codificação de imagem com base em transformada secundária não separável e dispositivo para o mesmo
GB2570711B (en) 2018-02-05 2023-04-05 Sony Corp Data encoding and decoding
CN108322745B (zh) 2018-02-28 2019-12-03 中南大学 一种基于不可分二次变换模式的帧内快速选择方法
EP3764645A4 (en) 2018-03-09 2021-12-08 Electronics and Telecommunications Research Institute METHOD AND APPARATUS FOR IMAGE CODING / DECODING USING SAMPLE FILTER
KR102465119B1 (ko) 2018-04-01 2022-11-09 엘지전자 주식회사 축소된 2차 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US11019355B2 (en) 2018-04-03 2021-05-25 Electronics And Telecommunications Research Institute Inter-prediction method and apparatus using reference frame generated based on deep learning
WO2019231291A1 (ko) 2018-05-31 2019-12-05 엘지전자 주식회사 레이어드 기븐스 변환을 이용하여 변환을 수행하는 방법 및 장치
FI3806476T3 (fi) 2018-06-03 2023-08-15 Lg Electronics Inc Menetelmä ja laite videosignaalin käsittelemiseksi redusoitua muunnosta käyttäen
TW202247652A (zh) 2018-06-29 2022-12-01 弗勞恩霍夫爾協會 擴充參考圖像內預測技術
US11166044B2 (en) 2018-07-31 2021-11-02 Tencent America LLC Method and apparatus for improved compound orthonormal transform
CN110839158B (zh) 2018-08-16 2023-03-10 北京字节跳动网络技术有限公司 变换矩阵选择的系数相关的编解码
JP2021509789A (ja) 2018-09-02 2021-04-01 エルジー エレクトロニクス インコーポレイティド ビデオ信号の符号化/復号方法及びそのための装置
EP4152748A1 (en) 2018-09-02 2023-03-22 LG Electronics, Inc. Method and apparatus for processing image signal
CN116055719A (zh) 2018-09-05 2023-05-02 Lg电子株式会社 对图像信号进行编码/解码的设备及发送图像信号的设备
KR102432406B1 (ko) 2018-09-05 2022-08-12 엘지전자 주식회사 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
US10819979B2 (en) 2018-09-06 2020-10-27 Tencent America LLC Coupled primary and secondary transform
US11039139B2 (en) 2018-09-14 2021-06-15 Tencent America LLC Method and apparatus for identity transform in multiple transform selection
TWI815272B (zh) 2018-12-20 2023-09-11 弗勞恩霍夫爾協會 使用具有鄰近取樣縮減的線性或仿射變換的內預測
WO2020139008A1 (ko) 2018-12-28 2020-07-02 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020149608A1 (ko) 2019-01-14 2020-07-23 엘지전자 주식회사 영상 코딩 시스템에서 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치
CN112514384A (zh) 2019-01-28 2021-03-16 株式会社 Xris 视频信号编码/解码方法及其装置
US11523136B2 (en) 2019-01-28 2022-12-06 Hfi Innovation Inc. Methods and apparatuses for coding transform blocks
US11595663B2 (en) 2019-02-01 2023-02-28 Qualcomm Incorporated Secondary transform designs for partitioned transform units in video coding
KR20210114386A (ko) 2019-02-08 2021-09-23 주식회사 윌러스표준기술연구소 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치
US11616966B2 (en) 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
US11172211B2 (en) 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
US11134257B2 (en) 2019-04-04 2021-09-28 Tencent America LLC Simplified signaling method for affine linear weighted intra prediction mode
BR112021020026A2 (pt) 2019-04-12 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento vídeo, aparelho para processar de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitórios
WO2020211775A1 (en) 2019-04-16 2020-10-22 Mediatek Inc. Methods and apparatuses for coding video data with adaptive secondary transform signaling depending on tb level syntax
MX2021012730A (es) 2019-04-16 2022-01-06 Lg Electronics Inc Transformacion para intra-prediccion en base a matriz en la codificacion de imagen.
JP7303328B2 (ja) 2019-04-20 2023-07-04 北京字節跳動網絡技術有限公司 クロミナンス残差の結合符号化のための構文要素の信号通知
WO2020228672A1 (en) 2019-05-10 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Context modeling of reduced secondary transforms in video
WO2020242183A1 (ko) * 2019-05-27 2020-12-03 엘지전자 주식회사 광각 인트라 예측 및 변환에 기반한 영상 코딩 방법 및 그 장치
CN113940070B (zh) 2019-06-06 2023-11-21 Lg电子株式会社 基于变换的图像解码和编码方法及发送比特流的方法
WO2020244656A1 (en) 2019-06-07 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
US11115658B2 (en) * 2019-06-25 2021-09-07 Qualcomm Incorporated Matrix intra prediction and cross-component linear model prediction harmonization for video coding
KR20220032565A (ko) * 2019-07-19 2022-03-15 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
JP2022542083A (ja) 2019-07-21 2022-09-29 エルジー エレクトロニクス インコーポレイティド パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングする画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
MX2021012983A (es) * 2019-07-24 2021-12-10 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes relacionados con modo de intra-prediccion.
JP7422858B2 (ja) 2019-08-03 2024-01-26 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置、記憶媒体及び記憶方法
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
WO2021110018A1 (en) 2019-12-02 2021-06-10 Beijing Bytedance Network Technology Co., Ltd. Separable secondary transform processing of coded video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020226424A1 (ko) 2019-05-08 2020-11-12 엘지전자 주식회사 Mip 및 lfnst를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Z. Zhang, R. Sjoberg, R. Yu,Non-CE6: On LFNST transform set selection for a CCLM coded block [online], JVET-O JVET-O0219-v1,ITU-T インターネット<URL:https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0219-v1.zip>,2019年06月24日,pp.1-2

Also Published As

Publication number Publication date
JP2024041836A (ja) 2024-03-27
EP3994887A1 (en) 2022-05-11
WO2021023151A1 (en) 2021-02-11
KR20220038682A (ko) 2022-03-29
CN117376555A (zh) 2024-01-09
US20220150498A1 (en) 2022-05-12
CN114208190B (zh) 2023-12-15
JP2022543102A (ja) 2022-10-07
EP3994887A4 (en) 2022-09-28
US20220150502A1 (en) 2022-05-12
KR102699362B1 (ko) 2024-08-28
US11882274B2 (en) 2024-01-23
CN114208190A (zh) 2022-03-18
CN114208183A (zh) 2022-03-18
US20240080442A1 (en) 2024-03-07
WO2021023152A1 (en) 2021-02-11
US11638008B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
JP7422858B2 (ja) ビデオ処理方法、装置、記憶媒体及び記憶方法
JP7514359B2 (ja) ビデオ・データ処理方法、装置、記憶媒体及び記憶方法
JP7277616B2 (ja) ビデオ・データを処理する方法、装置及び記憶媒体
WO2021032045A1 (en) Context modeling of side information for reduced secondary transforms in video
JP7372449B2 (ja) スキップしたブロックを変換するための残差コーディング
KR20220087451A (ko) 크로스 컴포넌트 비디오 코딩에서 선형 파라미터의 유도
JP2022531553A (ja) 多重変換行列のコンテキストモデリングおよび選択
WO2020228693A1 (en) Coding of multiple intra prediction methods
WO2020253874A1 (en) Restriction on number of context coded bins

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240116

R150 Certificate of patent or registration of utility model

Ref document number: 7422858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150