[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113892264A - 使用非矩形预测模式来减少用于视频数据预测的运动场存储 - Google Patents

使用非矩形预测模式来减少用于视频数据预测的运动场存储 Download PDF

Info

Publication number
CN113892264A
CN113892264A CN202080039988.6A CN202080039988A CN113892264A CN 113892264 A CN113892264 A CN 113892264A CN 202080039988 A CN202080039988 A CN 202080039988A CN 113892264 A CN113892264 A CN 113892264A
Authority
CN
China
Prior art keywords
block
motion information
current block
partition
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080039988.6A
Other languages
English (en)
Inventor
K.P.A.鲁伊兹
C-C.陈
W-J.钱
H.黄
M.卡尔切维茨
V.塞雷金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Qualcomm Technologies Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN113892264A publication Critical patent/CN113892264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种示例性视频编解码设备被配置为：对视频数据的当前块的第一运动信息集进行编解码，该当前块根据非矩形分割模式被分割为第一分割和第二分割，该第一运动信息集参考参考图片列表并且与该第一分割相关联；在对第一运动信息集进行编解码之后，对参考该参考图片列表并且与该第二分割相关联的该当前块的第二运动信息集进行编解码；响应于该第一运动信息集及该第二运动信息集两者都参考该参考图片列表，存储该当前块的第二运动信息集；以及使用所存储的第二运动信息集来预测与该当前块相邻的该视频数据的后续块的后续运动信息。

Description

使用非矩形预测模式来减少用于视频数据预测的运动场存储
本申请要求于2020年6月4日提交的美国申请第16/893,052号、于2019年6月5日提交的美国临时申请第62/857,584号和于2019年6月14日提交的美国临时申请第62/861,811号的权益，通过引用将其各自的全部内容并入本文。
技术领域
本公开涉及视频编解码，包含视频编码和视频解码。
背景技术
数字视频能力可以被结合到广泛的设备中，包含数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议设备、视频流传输设备等。数字视频设备实现视频编解码技术，例如那些在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高级视频编解码(AVC)、ITU-T H.265/高效视频编解码(HEVC)所定义的标准以及这种标准的扩展中所描述的技术。通过实现此类视频编解码技术，视频设备可以更有效地发送、接收、编码、解码和/或存储数字视频信息。
视频编解码技术包含空域(图片内)预测和/或时域(图片间)预测来减少或消除视频序列中固有的冗余。对于基于块的视频编解码，可以将视频条带(例如，视频图片或视频图片的一部分)分割为视频块，其也可以被称为编解码树单元(CTU)、编解码单元(CU)和/或编解码节点。图片的帧内编解码(I)条带中的视频块使用关于同一图片中相邻块中的参考样点的空域预测来进行编码。图片的帧间编解码(P或B)条带中的视频块可以使用关于同一图片中的相邻块中的参考样点的空域预测，或关于其他参考图片中的参考样点的时域预测。图片可以被称为帧，并且参考图片可以被称为参考帧。
发明内容
通常，本公开描述用于使用帧间预测的视频编解码的技术。更具体地说，在帧间预测期间，可使用非矩形分割模式(例如，三角形分割模式(TPM)或其他几何分割模式)来分割并预测视频数据的块。本公开描述了可以用于简化非矩形分割模式(例如，TPM)的数据存储的技术。因此，本公开的技术可减少在视频编解码过程期间和之后存储的数据量，借此改进视频数据的存储和经编解码的视频数据的比特率。此外，本公开的技术可用于对形成单向帧间预测条带(即，P条带)的一部分的块执行非矩形分割。也就是说，除了本公开中所描述的其他技术之外，视频编解码器可在对P条带的块执行的非矩形分割(例如，TPM)期间禁用混合操作。
在一个示例中，对视频数据进行编解码的方法包含：对视频数据的当前块的第一运动信息集进行编解码，该当前块根据非矩形分割模式被分割为第一分割和第二分割，该第一运动信息集参考参考图片列表并且与该第一分割相关联；在对该第一运动信息集进行编解码之后，对该当前块的第二运动信息集进行编解码，该第二运动信息集参考该参考图片列表并且与该第二分割相关联；响应于该第一运动信息集及该第二运动信息集两者都参考该参考图片列表，存储该当前块的第二运动信息集；以及使用所存储的第二运动信息集来预测与该当前块相邻的该视频数据的后续块的后续运动信息。
在另一示例中，用于对视频数据进行编解码的设备包含：存储器，其被配置为存储视频数据；以及一个或多个处理器，其在电路中实现并且被配置为：对该视频数据的当前块的第一运动信息集进行编解码，该当前块根据非矩形分割模式被分割为第一分割及第二分割，该第一运动信息集参考参考图片列表并且与该第一分割相关联；在对该第一运动信息集进行编解码之后，对该当前块的第二运动信息集进行编解码，该第二运动信息集参考该参考图片列表并且与该第二分区相关联；响应于该第一运动信息集及该第二运动信息集两者都参考该参考图片列表，将该当前块的第二运动信息集存储于该存储器中；以及使用所存储的第二运动信息集来预测与该当前块相邻的该视频数据的后续块的后续运动信息。
在另一示例中，计算机可读存储介质上存储有指令，该指令在执行时使处理器对视频数据的当前块的第一运动信息集进行编解码，该当前块根据非矩形分割模式被分割为第一分割和第二分割，该第一运动信息集参考图片列表并且与该第一分割相关联；在对该第一运动信息集进行编解码之后，对该当前块的第二运动信息集进行编解码，该第二运动信息集参考该参考图片列表并且与该第二分割相关联；响应于该第一运动信息集及该第二运动信息集两者都参考该参考图片列表，存储该当前块的第二运动信息集；以及使用所存储的第二运动信息集来预测与该当前块相邻的该视频数据的后续块的后续运动信息。
在另一示例中，用于对视频数据进行编解码的设备包含：用于对该视频数据的当前块的第一运动信息集进行编解码的部件，该当前块根据非矩形分割模式分割为第一分割及第二分割，该第一运动信息集参考图片列表并且与该第一分割相关联；用于在对该第一运动信息集进行编解码之后对该当前块的第二运动信息集进行编解码的部件，该第二运动信息集参考该参考图片列表并且与该第二分区相关联；用于响应于该第一运动信息集及该第二运动信息集两者都参考该参考图片列表而存储该当前块的该第二运动信息集的部件；以及用于使用所存储的第二运动信息集来预测与该当前块相邻的该视频数据的后续块的后续运动信息集的部件。
在附图和下面的描述中阐述了一个或多个示例的细节。根据说明书、附图和权利要求书，其他特征、目的和优点将是显而易见的。
附图说明
图1是图示了可以执行本公开的技术的示例视频编码和解码系统的框图。
图2A和2B是图示了示例四叉树二叉树(QTBT)结构和对应编解码树单元(CTU)的概念图。
图3是图示了使用三角形分割模式(TPM)分割的块的示例的框图。
图4是图示了用于构造运动预测候选列表的空域和时域相邻块的框图。
图5是图示了可以在TPM的混合过程中使用的示例权重的框图。
图6是图示了可以在针对具有等于两个样点的步幅宽度的TPM预测块的混合过程中使用的示例权重的框图。
图7是图示了可以执行本公开的技术的示例视频编码器的框图。
图8是图示了可以执行本公开的技术的示例视频解码器的框图。
图9是图示了根据本公开的技术的用于对当前块进行编码的示例方法的流程图。
图10是图示了根据本公开的技术的用于对当前块进行解码的示例方法的流程图。
图11是图示了根据本公开的技术的对视频数据进行解码的示例方法的流程图。
具体实施方式
视频编解码标准包含ITU-T H.261、ISO/IECMPEG-1视觉、ITU-T H.262或ISO/IECMPEG-2视觉、ITU-T H.263、ISO/IECMPEG-4视觉和ITU-T H.264(也称为ISO/IECMPEG-4AVC)，包含其可缩放视频编解码(SVC)和多视图视频编解码(MVC)扩展。在2010年3月的ITU-T建议H.264，“通用视听服务的高级视频编码(Advanced video coding for genericaudiovisual services)”中描述了MVC的最新联合草案。此外，存在一种由ITU-T视频编解码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频编解码联合组(JCT-VC)新开发的视频编解码标准，即高效视频编解码(HEVC)。可从phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得HEVC的最新草案。
此外，以下描述了即将开发的视频编解码标准：Bross等人的“多功能视频编解码(草案5)”，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)，第14次会议：日内瓦，瑞士，2019年3月19日至27日，JVET-N1001-v3(下文称为“VVC草案5”)。以下描述了VVC和测试模型4(VTM 4)：Chen等人的“多功能视频编解码和测试模型5的算法描述(VTM 5)”，文献JVET-N1002，2019年5月21日。
视频编解码设备(例如，视频编码器和视频解码器)实现压缩技术以例如执行空域和时域预测以减少或移除输入视频信号中固有的冗余。为了减少时域冗余(即，相邻帧中的视频信号之间的相似性)，执行运动估计以跟踪视频对象的运动。可以对可变大小的块进行运动估计。作为运动估计结果的对象位移通常被称为运动矢量。运动矢量可以具有半像素、四分之一像素、1/16像素精度(或任何更精细的精度)。这允许视频编解码器以比整数像素位置高的精度跟踪运动场，并且因此获得较好的预测块。当使用具有分数像素值的运动矢量时，执行内插操作。
在运动估计之后，视频编码器可使用某一率失真模型来确定最佳执行的运动矢量。然后，视频编码器可以使用最佳运动矢量通过运动补偿来形成预测视频块。视频编码器可通过从原始视频块中减去预测视频块来形成残差视频块。然后，视频编码器可以对残差块应用变换。然后，视频编码器可以量化所得到的变换系数，并对经量化的变换系数(以及其他视频数据，例如定义运动矢量的运动信息)进行熵编码，以进一步降低比特率。
图1是图示了可执行本公开的技术的示例视频编码和解码系统100的框图。本公开的技术通常针对编解码(编码和/或解码)视频数据。通常，视频数据包含用于处理视频的任何数据。从而，视频数据可以包含原始的未编解码的视频、编码的视频、解码(例如重构)的视频以及视频元数据(例如，信令通知数据)。
如图1所示，在本示例中，系统100包含提供将由目标设备116进行解码和显示的编码的视频数据的源设备102。具体地，源设备102经由计算机可读介质110将视频数据提供给目标设备116。源设备102和目标设备116可以包括多种设备中的任何一种，包含台式计算机、笔记本(即膝上型计算机)、平板电脑、机顶盒、手持电话(例如智能手机)、电视、摄像机、显示设备、数字媒体播放器、视频游戏机、视频流设备等。在一些情况下，源设备102和目标设备116可以被配备用于无线通信，并且因此可以被称为无线通信设备。
在图1的示例中，源设备102包含视频源104、存储器106、视频编码器200和输出接口108。目标设备116包含输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目标设备116的视频解码器300可被配置为应用用于使用三角形分割模式减少预测的运动场存储的技术。因此，源设备102表示视频编码设备的示例，而目标设备116表示视频解码设备的示例。在其他示例中，源设备和目标设备可以包含其他组件或布置。例如，源设备102可以从例如外部摄像机的外部视频源接收视频数据。同样，目标设备116可以与外部显示设备相接，而不是包含集成的显示设备。
如图1所示的系统100仅是一个示例。通常，任何数字视频编码和/或解码设备可执行用于使用三角形分割模式减少预测的运动场存储的技术。源设备102和目标设备116仅仅是此类编解码设备的示例，其中源设备102生成编解码的视频数据以传输到目标设备116。本公开将“编解码”设备称为执行数据的编解码(编码和/或解码)的设备。从而，视频编码器200和视频解码器300表示编解码设备的示例，具体地，分别表示视频编解码器和视频解码器。在一些示例中，设备102、116可以大体上对称的方式操作，使得设备102、116中的每个包含视频编码及解码组件。因此，系统100可支持视频设备102、116之间的单向或双向视频传输，例如，用于视频流、视频回放、视频广播或视频电话。
通常，视频源104表示视频数据源(即原始的未编解码的视频数据)，并将视频数据的一系列连续的图片(也称为“帧”)提供给视频编码器200，其对图片的数据进行编码。源设备102的视频源104可以包含视频捕获设备，例如摄像机、含有先前捕获的原始视频的视频档案和/或从视频内容提供商接收视频的视频馈送接口。作为进一步的替代，视频源104可以生成基于计算机图形的数据作为源视频，或者实况视频、存档的视频和计算机生成的视频的组合。在每种情况下，视频编码器200对捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图片从接收的顺序(有时被称为“显示顺序”)重新布置成用于编解码的编解码顺序。视频编码器200可以生成包含编码的视频数据的比特流(bitstream)。源设备102然后可以经由输出接口108将编码的视频数据输出到计算机可读介质110上，用于由例如目标设备116的输入接口122接收和/或检索。
源设备102的存储器106和目标设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可存储原始视频数据(例如，来自视频源104的原始视频)和来自视频解码器300的原始的解码的视频数据。附加地或可替代地，存储器106、120可以分别存储可由例如，视频编码器200和视频解码器300执行的软件指令。尽管在此示例中与视频编码器200和视频解码器300分开展示，但应理解，视频编码器200和视频解码器300还可包含用于功能上类似或等效目的内部存储器。此外，存储器106、120可以存储编码的视频数据，例如从视频编码器200输出并输入到视频解码器300的数据。在一些示例中，存储器106、120的部分可以被分配为一个或多个视频缓冲器，例如，以存储原始的、解码的和/或编码的视频数据。
计算机可读介质110可以表示能将编码的视频数据从源设备102传输到目标设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示通信介质，以使得源设备102能够例如经由射频网络或基于计算机的网络实时地向目标设备116发送编码的视频数据。根据通信标准(例如无线通信协议)，输出接口108可以调制包含编码的视频数据的传输信号，并且输入接口122可以解调所接收的传输信号。通信介质可以包括任何无线或有线通信介质，例如射频(RF)频谱或一条或多条物理传输线。通信介质可以形成基于分组的网络(例如局域网、广域网或全球网络(例如因特网))的一部分。通信介质可以包含路由器、交换机、基站或有助于促进从源设备102到目标设备116的通信的任何其他设备。
在一些示例中，源设备102可以从输出接口108向存储设备112输出编码的数据。类似地，目标设备116可以经由输入接口122访问来自存储设备112的编码的数据。存储设备112可以包含各种分布式或本地访问的数据存储介质中的任何一种，例如硬盘、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器，或者用于存储编码的视频数据的任何其他合适的数字存储介质。
在一些示例中，源设备102可以向文件服务器114或可以存储由源设备102生成的编码的视频的另一中间存储设备输出编码的视频数据。目标设备116可以经由流传输或下载，从文件服务器114访问所存储的视频数据。文件服务器114可以是能存储编码的视频数据并向目标设备116发送该编码的视频数据的任何类型的服务器设备。文件服务器114可以表示网页服务器(例如，用于网站的)、文件传输协议(FTP)服务器、内容递送网络设备或网络附加存储(NAS)设备。目标设备116可以通过任何标准数据连接(包含互联网连接)，访问来自文件服务器114的编码的视频数据。这可以包含无线信道(例如，Wi-Fi连接)、有线连接(例如，数字订户线(DSL)、电缆调制解调器等)或者适于访问存储在文件服务器114上的编码的视频数据的二者的组合。文件服务器114和输入接口122可以配置为根据流传输协议、下载传输协议或其组合来操作。
输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线网络组件(例如，以太网卡)、根据各种IEEE 802.11标准中的任何标准操作的无线通信组件、或其他物理组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据例如4G、4G-LTE(长期演进)、LTE高级、5G或类似标准的蜂窝通信标准来传输数据(例如编码的视频数据)。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可以被配置为根据其他无线标准，例如IEEE 802.11规范、IEEE802.15规范(例如，ZigBeeTM)、蓝牙TM标准或类似标准，来传输数据，例如编码的视频数据。在一些示例中，源设备102和/或目标设备116可以包含各自的片上系统(SoC)设备。例如，源设备102可以包含执行属于视频编码器200和/或输出接口108的功能性的SoC设备，并且目标设备116可以包含执行属于视频解码器300和/或输入接口122的功能性的SoC设备。
本公开的技术可以应用于视频编解码，以支持多种多媒体应用中的任何一种，例如空中电视广播、有线电视传输、卫星电视传输、互联网流传输视频传输(例如通过HTTP的动态自适应流传输(DASH))、被编码到数据存储介质上的数字视频、存储在数据存储介质上的数字视频的解码或其他应用。
目标设备116的输入接口122从计算机可读介质110(例如，存储设备112、文件服务器114等)接收编码的视频比特流。编码的视频比特流可以包含由视频编码器200定义的信令通知信息，例如具有描述视频块或其他编解码的单元(例如，条带、图片、图片组、序列等)的特性和/或处理的值的语法元素，该信令信息也被视频解码器300使用。显示设备118向用户显示解码的视频数据的解码的图片。显示设备118可以表示多种显示设备中的任何一种，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一种类型的显示设备。
尽管未在图1中示出，但在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成在一起，并且可以包含适当的MUX-DEMUX单元或其他硬件和/或软件，来处理公共数据流中包含音频和视频两者的多路复用流。如果适用，MUX-DEMUX单元可以符合ITU H.223多路复用器协议，或其他协议，例如用户数据报协议(UDP)。
视频编码器200和视频解码器300各自可以被实现为多种合适的编码器和/或解码器电路中的任何一种，例如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件或其任何组合。当该技术部分地以软件实现时，设备可以将用于软件的指令存储在合适的非暂时计算机可读介质中，并使用一个或多个处理器在硬件中执行该指令来执行本公开的技术。视频编码器200和视频解码器300中的每个可以被包含在一个或多个编码器或解码器中，这两者都可以集成为各自设备中组合编码器/解码器(CODEC)的一部分。包含视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或无线通信设备，例如蜂窝电话。
视频编码器200和视频解码器300可根据视频编解码标准(例如，ITU-T H.265，也被称为高效视频编解码(HEVC))或其扩展(例如，多视图和/或可缩放视频编解码扩展)来操作。替代地，视频编码器200和视频解码器300可以根据其他专有或行业标准来操作，例如联合探测测试模型(JEM)或ITU-TH.266，也称为多功能视频编解码(VVC)。然而，本公开的技术不限于任何特定的编解码标准。
通常，视频编码器200和视频解码器300可以执行图片的基于块的编解码。术语“块”通常指包含待处理的数据(例如，编码的、解码的或以其他形式用于编码过程和/或解码过程中的数据)的结构。例如，块可以包含亮度和/或色度数据的样点的二维矩阵。通常，视频编码器200和视频解码器300可以对以YUV(例如，Y、Cb、Cr)格式表示的视频数据进行编解码。也就是说，视频编码器200和视频解码器300可以对亮度和色度分量进行编解码，而不是对图片的样点的红色、绿色和蓝色(RGB)数据进行编解码，其中色度分量可以包含红色调和蓝色调色度分量两种。在一些示例中，视频编码器200在编码之前将所接收的RGB格式化数据转换成YUV表示，并且视频解码器300将YUV表示转换成RGB格式。替代地，预处理和后处理单元(未示出)可以执行这些转换。
本公开通常可以涉及图片的编解码(例如，编码和解码)，以包含编码或解码图片数据的过程。类似地，本公开可以涉及图片的块的编解码，以包含对块的数据进行编码或解码的过程，例如预测和/或残差编解码。编码的视频比特流通常包含用于表示编解码决策(例如，编解码模式)和图片到块的分割的语法元素的一系列值。因此，对对图片或块进行编解码的引用通常应被理解为对用于形成图片或块的语法元素的值进行编解码。
HEVC定义了各种块，包含编解码单元(CU)、预测单元(PU)和变换单元(TU)。根据HEVC，视频编解码器(例如视频编码器200)根据四叉树结构来将编解码树单元(CTU)分割为CU。也就是说，视频编解码器将CTU和CU分割为四个相等的、不重叠的正方形，并且四叉树的每个节点有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且此叶节点的CU可以包含一个或多个PU和/或一个或多个TU。视频编解码器还可以分割PU和TU。例如，在HEVC中，残差四叉树(RQT)表示TU的分割。在HEVC中，PU表示帧间预测数据，而TU表示残差数据。帧内预测的CU包含帧内预测信息，例如帧内模式指示。
作为另一示例，视频编码器200和视频解码器300可以被配置为根据JEM或VVC来操作。根据JEM或VVC，视频编解码器(例如视频编码器200)将图片分割为多个编解码树单元(CTU)。视频编码器200可以根据树结构，例如四叉树-二叉树(QTBT)结构或多类型树(MTT)结构来分割CTU。QTBT结构移除了多个分割类型的概念，例如HEVC的CU、PU和TU之间的区分。QTBT结构包含两级：根据四叉树分割而分割的第一级，和根据二叉树分割而分割的第二级。QTBT结构的根节点对应于CTU。二叉树的叶节点对应于编解码单元(CU)。
在MTT分割结构中，可以使用四叉树(QT)分割、二叉树(BT)分割和一种或多种类型的三叉树(TT)分割来分割块。三叉树分割是将块划分成三个子块的分割。在一些示例中，三叉树分割将块划分为三个子块，而不通过中心对原始块进行划分。MTT(例如，QT、BT和TT)中的分割类型可以是对称的或者不对称的。
在一些示例中，视频编码器200和视频解码器300可以使用单个QTBT或MTT结构来表示亮度分量和色度分量中的每一个分量，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个QTBT或MTT结构，例如一个QTBT/MTT结构用于亮度分量，而另一QTBT/MTT结构用于两个色度分量(或者两个QTBT/MTT结构用于相应的色度分量)。
视频编码器200和视频解码器300可以被配置为使用按照HEVC的四叉树分割、QTBT分割、或MTT分割或其他分割结构。出于解释的目的，相对于QTBT分割来呈现本公开的技术的描述。然而，应当理解的是，本公开的技术也可以应用于被配置为使用四叉树分割或其他类型的分割的视频编解码器。
本公开可以互换地使用“N×N”和“N乘N”来表示块(例如CU或其他视频块)在垂直和水平维度方面的样点维度，例如16×16样点或16乘16样点。通常，16×16CU在垂直方向上有16个样点(y＝16)，并且在水平方向上有16个样点(x＝16)。同样地，N×N CU通常在垂直方向上具有N个样点，并且在水平方向上具有N个样点，其中N表示非负整数值。CU中的样点可以按行和列布置。此外，CU在水平方向上不必具有与垂直方向上相同数量的样点。例如，CU可以包括N×M个样点，其中M不一定等于N。
视频编码器200对表示预测和/或残差信息以及其他信息的CU的视频数据。预测信息指示如何预测CU，以便形成CU的预测块。残差信息通常表示编码之前的CU样点与预测块之间的逐样点差。
为了预测CU，视频编码器200通常可以通过帧间预测或帧内预测来形成CU的预测块。帧间预测通常指从先前编解码的图片的数据中预测CU，而帧内预测通常指从相同图片的先前编解码的数据中预测CU。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量来生成预测块。视频编码器200通常可以执行运动搜索以识别与CU紧密匹配的参考块，例如，就CU与参考块之间的差而言。视频编码器200可以使用绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)或其他这种差计算来计算差度量以确定参考块是否与当前CU紧密地匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前CU。
JEM和VVC的一些示例也提供仿射运动补偿模式，该模式可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示非平移运动的两个或更多个运动矢量，例如放大或缩小、旋转、透视运动或其他不规则运动类型。
在帧间预测模式中，视频编码器200和视频解码器300可进一步对用于对视频数据的块进行预测的运动矢量进行编解码。例如，在merge模式中，视频编码器200和视频解码器300可以识别当前块的相邻块的运动矢量以用于预测当前块。作为另一示例，在高级运动矢量预测(AMVP)中，视频编码器200和视频解码器300可识别相邻块的运动矢量预测值，且接着对表示相对于运动矢量预测子(predictor)的运动矢量差的数据以及其他运动信息(例如，参考图片列表和参考图片索引)进行编解码。
通常，merge模式和AMVP模式用于预测视频数据的矩形块的运动信息。通常，这种矩形块的运动信息对于整个块是相同的。然而，在一些情况下，可使用非矩形分割模式(例如，三角形分割模式(TPM))来分割块。在这种非矩形(也称为几何)分割模式中，块可被分割为两个不同的分割，每个分割可具有其自己的运动信息。用于对运动信息进行编解码的AMVP和merge模式通常以相邻块将仅具有一个匀速运动信息的假设为前提。然而，在非矩形分割模式中，相邻块可具有两个不同的运动信息集(每个分割一个)。为了使用此类块的运动信息作为用于对后续块的运动信息进行编解码的参考，视频编码器200和视频解码器300确定存储哪个运动信息集以供后续参考。
根据本公开的技术，视频编码器200和视频解码器300可使用例如TPM的非矩形分割模式将块分割为第一分割和第二分割。通常，可将第一分割视为沿着当前块的顶部边缘具有较大数目的样点的分割，且可将第二分割视为沿着当前块的底部边缘具有较大数目的样点的分割。因此，可认为第一分割在当前块中高于第二分割。视频编码器200和视频解码器300可在对第二分割的运动信息进行编解码之前对第一分割(即，上方分割)的运动信息进行编解码。同样地，包含视频数据的比特流可以在包含用于第二分割的编码的运动信息之前包含用于第一分割的编码的运动信息。
根据本公开的技术，当如上所述将块分割为第一分割和第二分割时，且当第一分割的运动信息和第二分割的运动信息参考同一参考图片列表时，视频编码器200和视频解码器300可仅存储第二分割的运动信息，以在将后续块的运动信息编解码为当前块时用作参考。例如，视频编码器200可将第二分割的运动信息存储在存储器106中，而视频解码器300可将第二分割的运动信息存储在存储器120中。替代地，视频编码器200和视频解码器300可将第二分割的运动信息存储在视频编码器200和视频解码器300自身的存储器(图1中未示出)中。
因此，当对后续块进行编解码时，视频编码器200和视频解码器300可构造用于后续块的运动矢量预测子候选列表，其可包含先前块(以上称为当前块)的第二分割(即，下方分割)的运动信息，而不是第一分割的运动信息。此外，视频编码器200和视频解码器300可使用针对先前块的第二分割的所存储的运动信息来编解码后续块的运动信息。后续块可以是单个块分割，或者可以使用例如TPM的非矩形分割模式来分割。
通过存储针对第二分割的运动信息，而不是针对第一分割的运动信息，当编解码后续运动信息时，视频编码器200和视频解码器300可继续另外地执行常规merge模式或AMVP模式。因此，用于构造和使用运动矢量预测候选列表的技术可保持相同，借此防止视频编码器200和视频解码器300的其它结构的返工。此外，不需要分配额外的存储器空域来考虑使用非矩形分割模式(例如，TPM)编解码的块，以存储针对块的分割的两个运动信息集。因此，这些技术可以允许有效地实现非矩形分割模式。
为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。JEM和VVC的一些示例提供了六十七种帧内预测模式，包含各种方向的模式，以及平面模式和DC模式。通常，视频编码器200选择帧内预测模式，其描述当前块(例如，CU的块)的相邻样点，以从其预测当前块的样点。假设视频编码器200以光栅扫描顺序(从左侧到右侧、从顶部到底部)来编解码CTU和CU，此类样点通常可以在与当前块相同的图片中的当前块的上方、当前块的上方到左侧、或到当前块的左侧。
视频编码器200对表示当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示使用了各种可用帧间预测模式中的哪一种的数据进行编码，以及对用于对应模式的运动信息进行编码。对于单向或双向帧间预测，例如，视频编码器200可以使用高级运动矢量预测(AMVP)或merge模式来对运动矢量进行编码。视频编码器200可以使用类似模式来编码用于仿射运动补偿模式的运动矢量。
在预测之后，例如块的帧内预测或帧间预测之后，视频编码器200可以计算用于块的残差数据。残差数据(例如残差块)表示块与针对该块的预测块之间的逐样点差，该预测块通过使用对应预测模式而形成。视频编码器200可以对残差块应用一个或多个变换，以在变换域而不是样点域中产生经变换的数据。例如，视频编码器200可以对残差视频数据应用离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换。此外，视频编码器200可以在第一变换之后应用二次变换，例如模式相关的不可分离二次变换(MDNSST)、信号相关的变换、Karhunen-Loeve变换(KLT)等。视频编码器200在应用一个或多个变换之后产生变换系数。
如上所述，在产生变换系数的任何变换之后，视频编码器200可以执行变换系数的量化。量化通常是指对变换系数进行量化来可能地减少用于表示系数的数据量，从而提供进一步的压缩的过程。通过执行量化过程，视频编码器200可以减小与系数中的一些或所有系数相关联的比特深度。例如，视频编码器200可在量化期间将n比特值下舍入到m比特值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可执行待量化的值的逐位右移。
量化之后，视频编码器200可以扫描变换系数，从包含经量化的变换系数的二维矩阵中产生一维矢量。可以将扫描设计为将较高能量(因此频率较低)的系数放在矢量的前面，并将较低能量(因此频率较高)的变换系数放在矢量的后面。在一些示例中，视频编码器200可以利用预定扫描顺序来扫描经量化的变换系数，以产生经串行化的矢量，并且然后对矢量的经量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在扫描经量化的变换系数以形成一维矢量之后，视频编码器200可以例如根据上下文自适应二进制算术编解码(CABAC)对一维矢量进行熵编码。视频编码器200也可以对用于描述了与编码的视频数据相关联的元数据的语法元素的值进行熵编码，以供视频解码器300在对视频数据进行解码时使用。
为了执行CABAC，视频编码器200可以将上下文模型内的上下文分配给待传输的符号。上下文可以涉及例如符号的相邻值是否为零值。概率确定可以基于被分配给符号的上下文。
视频编码器200还可以例如在图片标头、块标头、条带标头或其他语法数据中(例如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS))给视频解码器300生成语法数据，例如基于块的语法数据、基于图片的语法数据和基于序列的语法数据。视频解码器300可以同样地解码此语法数据，以确定如何解码对应视频数据。
以这种方式生，视频编码器200可以成比特流，该比特流包含编码的视频数据，例如描述了图片到块(例如，CU)的分割的语法元素以及用于块的预测和/或残差信息。最终，视频解码器300可以接收比特流并解码编码的视频数据。
通常，视频解码器300执行与由视频编码器200执行的过程相反的过程，以解码比特流的编码的视频数据。例如，视频解码器300可以使用CABAC、按与视频编码器200的CABAC编码过程基本类似但相反的方式，解码比特流的用于语法元素的值。语法元素可以定义图片到CTU的分割信息，以及根据对应分割结构(例如QTBT结构)的每个CTU的分割以定义CTU的CU。语法元素还可以定义用于视频数据的块(例如，CU)的预测和残差信息。
残差信息可以由例如经量化的变换系数来表示。视频解码器300可以对块的经量化的变换系数进行逆量化和逆变换，以重新产生用于块的残差块。视频解码器300使用信令通知的预测模式(帧内预测或帧间预测)和有关预测信息(例如，用于帧间预测的运动信息)，以形成用于块的预测块。然后视频解码器300可以(在逐样点的基础上)组合预测块和残差块，以重新产生原始块。视频解码器300可以执行附加处理，例如执行去方块过程以减少沿块的边界的视觉伪影。
本公开可以通常涉及“信令通知”特定信息，例如语法元素。术语“信令通知”通常可以指用于对编码的视频数据进行解码的语法元素和/或其他数据的值的传送。也就是说，视频编码器200可以在比特流中信令通知用于语法元素的值。通常，信令通知指在比特流中生成值。如上所述，源设备102可以基本上实时地(或非实时地，例如可能在将语法元素存储到存储设备112以供稍后由目标设备116检索时发生)将比特流传送到目标设备116。
图2A和2B是图示示例四叉树二叉树(QTBT)结构130和对应编解码树单元(CTU)132的概念图。实线表示四叉树划分，并且虚线指示二叉树划分。在二叉树的每个划分节点(即，非叶节点)中，一个标志被信令通知以指示使用哪种划分类型(即，水平或垂直)，其中在该示例中，0指示水平划分，1指示垂直划分。对于四叉树划分，由于四叉树节点将块水平地和垂直地划分为具有相等大小的4个子块，因此无需指示划分类型。相应地，视频编码器200可以对用于QTBT结构130的区域树级别(即实线)的语法元素(例如划分信息)和用于QTBT结构130的预测树级别(即虚线)的语法元素(例如划分信息)进行编码，并且视频解码器300可以对这些语法元素进行解码。视频编码器200可以对用于由QTBT结构130的终端叶节点表示的CU的视频数据(例如预测和变换数据)进行编码，并且视频解码器300可以对该视频数据进行解码。
通常，图2B的CTU 132可以与参数相关联，这些参数定义与第一和第二级处的QTBT结构130的节点相对应的块的大小。这些参数可以包含CTU大小(表示样点中CTU 132的大小)、最小四叉树大小(MinQTSize，表示最小允许的四叉树叶节点大小)、最大二叉树大小(MaxBTSize，表示最大允许的二叉树根节点大小)、最大二叉树深度(MaxBTDepth，表示最大允许的二叉树深度)和最小二叉树大小(MinBTSize，表示最小允许的二叉树叶节点大小)。
与CTU对应的QTBT结构的根节点可以在QTBT结构的第一级具有四个子节点，该子节点中的每一个可以根据四叉树分割来分割。也就是说，第一级的节点要么是叶节点(没有子节点)，要么具有四个子节点。QTBT结构130的示例将此类节点表示为包含父节点和具有用于分支的实线的子节点。如果第一级的节点不大于最大允许的二叉树根节点大小(MaxBTSize)，则它们能够被相应的二叉树进一步分割。可以迭代一个节点的二叉树划分，直到划分得到的节点达到最小允许的二叉树叶节点大小(MinBTSize)或最大允许的二叉树深度(MaxBTDepth)。QTBT结构130的示例将此类节点表示为具有用于分支的虚线。二叉树叶节点被称为编解码单元(CU)，其用于预测(例如，图片内预测或图片间预测)和变换，而无需任何进一步的分割。如上文所讨论的，CU也可以被称为“视频块”或“块”。
在QTBT分割结构的一个示例中，CTU大小被设置为128×128(亮度样点和两个对应的64×64色度样点)，MinQTSize被设置为16×16、MaxBTSize被设置为64×64、MinBTSize(对于宽度和高度两者)被设置为4、并且MaxBTDepth被设置为4。首先将四叉树分割应用于CTU，以生成四叉树叶节点。四叉树叶节点可以具有从16×16(即，MinQTSize)到128×128(即，CTU大小)的大小。如果叶四叉树节点为128×128，则由于其大小超过MaxBTSize(在此示例中为64×64)，因此该叶四叉树节点不会进一步被二叉树划分。否则，叶四叉树节点将被二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且二叉树深度为0。当二叉树深度达到MaxBTDepth(在本示例中为4)时，不准许进一步划分。当二叉树节点的宽度等于MinBTSize(在本示例中为4)时，意味着不准许进一步的水平划分。类似地，高度等于MinBTSize的二叉树节点意味着对于该二叉树节点不准许进一步的垂直划分。如上所述，二叉树的叶节点被称为CU并且根据预测和变换对其进行进一步处理而无需进一步分割。
图3是图示了使用三角形分割模式(TPM)分割的块的示例的框图。在图3的示例中，块134沿着从左到右的对角线被分割为分割136A、136B，并且块138沿着从右到左的对角线被分割为分割140A、140B。在这些示例中，分割136A可被认为在分割136B上方，而分割140A可被认为在分割140B上方。即，分割136A沿着块134的上边缘比分割136B具有更多的样点，而分割140A沿着块138的上边缘比分割140B具有更多的样点。因此，对于块134，视频编码器200和视频解码器300可在分割136B的运动信息之前对分割136A的运动信息进行编解码，而对于块138，视频编码器200和视频解码器300可在分割140B的运动信息之前对分割140A的运动信息进行编解码。
同样，根据本公开的技术，如果分割136A和分割136B两者的运动信息参考同一参考图片列表，则视频编码器200和视频解码器300可在对块134的后续块的运动信息编解码到时将分割136B的运动信息存储为块134的参考运动信息。同样，根据本公开的技术，如果分割140A和分割140B两者的运动信息参考同一参考图片列表，则视频编码器200和视频解码器300可在对块138的后续块的运动信息编解码时将分割140B的运动信息存储为块138的参考运动信息。
如在JVET-N1002中介绍的，三角形分割模式可应用于以跳过或merge模式编解码的CU，但不应用于具有运动矢量差(MMVD)或组合帧间和帧内预测(CIIP)模式的merge模式。对于满足那些条件的CU，视频编码器200可编码且视频解码器300可解码指示是否应用三角形分割模式的标志。
当使用三角形分割模式(TPM)时，视频编解码器可使用按照块134的左到右对角线划分(其可称为“对角线划分”)或按照块138的右到左对角线划分(其可称为“反对角线划分”)将CU均匀地划分为两个三角形分割。视频编码器200和视频解码器300可使用其自身的运动信息来帧间预测每一三角形分割(例如，分割136A、136B、140A、140B)。按照JVET-N1002，对于每个分割仅允许单向预测。即，在JVET-N1002中，每个分割具有一个运动矢量和一个参考索引。应用单向预测运动约束以确保如常规的双向预测一样，每个CU仅需要两个运动补偿预测。
视频编码器200和视频解码器300可从使用下文描述的单向预测候选列表构造过程构造的单向预测候选列表中导出每一分割的单向预测运动。
CU级别标志可指示当前CU是否是使用三角形分割模式编解码的。如果使用三角形分割模式，那么视频编码器200和视频解码器300可进一步对指示三角形分割的方向(对角线或反对角线)的标志和两个merge索引(每一分割一个)进行编解码。在预测三角形分割中的每一个之后，视频编码器200和视频解码器300可使用具有自适应权重的混合过程沿对角线或反对角线边缘调整样点值。所得混合预测样点表示整个CU的预测信号(即，预测块)，且视频编码器200和视频解码器300可如在其他预测模式中一样对整个CU应用变换和量化过程。最后，根据JVET-N1002，使用三角形分割模式预测的CU的运动场被存储在4×4单元中，如在下面讨论的沿着三角形分割边缘混合的技术中。
TPM是非矩形分割模式或几何分割模式的一个示例。其他非矩形/几何分割模式包含例如使用多段线分割块，该多段线可在块的编解码的数据中预定义或定义。作为几何分割模式的另一示例，可使用单条线来分割块，其中该线不必接触块的两个相对角点(opposite corner)两者，例如，如2015年4月28日公布的第9,020,030号美国专利中所描述。可以使用斜率和截距值来定义该线，或者使用表示该线相对于该块的起点和终点的两个点来定义该线。
图4是图示了用于构造运动预测候选列表的空域和时域相邻块的框图。图4示出了当前块150，其包含五个空域相邻块(NB)152A-152E和两个时域相邻块(TNB)154A、154B。
单向预测候选列表包含五个单向预测运动矢量候选。视频编码器200和视频解码器300可从包含五个空域相邻块(图4中标记为NB 152A-152E)和两个时域同位块(图4中标记为TNB 154A、154B)的七个相邻块导出单向预测候选列表。视频编码器200和视频解码器300可收集七个相邻块的运动矢量，且根据以下次序将运动矢量放入单向预测候选列表中：首先，单向预测相邻块的运动矢量；接着，对于双向预测的相邻块，列表零(L0)运动矢量(即，双向预测MV的L0运动矢量部分)、列表一(L1)运动矢量(即，双向预测MV的L1运动矢量部分)以及双向预测MV的L0和L1运动矢量的平均运动矢量。如果候选的数目小于5，则可将零运动矢量添加到列表的末尾。
视频编码器200和视频解码器300可进一步从merge候选列表(例如，如上文所论述的单向预测候选列表)推断TPM的运动。下表1表示用于如下所述的TPM的示例运动信息：
表1
merge索引 L0 MV L1 MV
0 X
1 X
2 X
3 X
4 X
给定merge候选索引，视频编码器200和视频解码器300可从merge候选列表导出三角形分割的单向预测运动矢量。对于merge列表中的候选，其LX MV(其中X等于merge候选索引值的奇偶性)可用作三角形分割模式的单向预测运动矢量。这些运动矢量在表1中用“x”标记。在不存在对应的LX运动矢量的情况下，扩展merge预测候选列表中的相同候选的L(1-X)运动矢量可用作三角形分割模式的单向预测运动矢量。例如，假设merge列表由5个双向预测运动集组成，TPM候选列表可以由从第一个到最后一个的第0个/第1个/第2个/第3个/第4个merge候选的L0/L1/L0/L1/L0 MV组成。然后，TPM模式需要用于两个不同merge索引的信号，一个用于三角形分割，以指示TPM候选列表中候选的使用。
图5是图示了可以在TPM的混合过程中使用的示例权重的框图。在使用其自身的运动预测每一三角形分割之后，视频编码器200和视频解码器300可对两个预测信号应用混合以导出围绕对角线或反对角线边缘的样点。图5示出了在混过程中使用的示例权重。
在JVET-N1002中，以4×4单位存储以三角形分割模式编解码的CU的运动矢量。根据每个4×4单元的位置，存储单向预测或双向预测运动矢量。将Mv1和Mv2分别表示为分割1和分割2的单向预测运动矢量。(注意，分割1及2是当CU被从左上到右下分割(即，45°划分，即，对角划分)时分别位于右上角及左下角上的三角形块，而当CU被从右上到左下分割(即，135°划分，即，反对角划分)时分别成为位于左上角及右下角上的三角形块)。如果4×4单元位于图5的示例中所示的非加权区域中，则为该4×4单元存储Mv1或Mv2。否则，如果4×4单元位于该加权区域中，则存储双向预测运动矢量。可根据JVET-N1002的以下过程从Mv1和Mv2导出双向预测运动矢量：
1)如果Mv1和Mv2来自不同的参考图片列表(一个来自L0，且另一个来自L1)，则Mv1和Mv2被简单地组合以形成双向预测运动矢量。
2)否则，如果Mv1和Mv2来自相同的列表，并且不失一般性，假设它们都来自L0。在这种情况下，
a.如果Mv2(或Mv1)的参考图片出现在L1中，则使用L1中的参考图片将Mv2(或Mv1)转换为L1运动矢量。然后将两个运动矢量组合以形成双向预测运动矢量；
b.否则，代替双向预测运动，仅存储单向预测运动Mv1。
本公开认识到，根据JVET-N1002中描述的过程，当前三角形运动补偿(MC)(即，三角形分割模式)不使用来自运动缓冲器的运动信息，这与所有其他预测模式相反并且不利于硬件实现。本公开描述了可以修改JVET-N1002中描述的TPM过程的技术，使得可以仅通过使用运动缓冲器中的运动信息来执行三角形MC。
此外，本公开认识到用于JVET-N1002的三角形MC的当前运动存储设计导致不具有用于分割0和分割1的运动补偿的角点情况(在4×N/N×4块中)。即，角点情况可被定义为具有满足阈值(例如，为4×N或N×4(N为正整数值))的大小的块。本公开进一步认识到，要在JVET-N1002中描述的三角形分割的混合区域中存储的双向预测运动矢量的生成是复杂的。以上讨论的步骤2尤其如此，其中两个运动矢量来自相同的参考图片列表，并且它们中的一个被映射到另一个列表。本公开描述用于简化此过程的技术。例如，在角点情况下，当当前块的下方分割及上方分割两者的运动信息参考同一参考图片列表时，视频编解码器可存储该当前块的下方分割的运动信息集。
本公开的技术可用于移除双向预测运动矢量以供存储。也就是说，视频编码器200和视频解码器300可被配置为仅存储三角形分割模式的单向预测运动矢量，而非存储双向预测运动矢量。视频编码器200和视频解码器300可单独或以任何组合根据下文论述的各种示例中的任一个来配置：
·在一些示例中，完全移除双向预测运动矢量的存储，以仅存储运动矢量Mv1，如在P1中。
·在一些示例中，完全移除双向预测运动矢量的存储，以仅存储运动矢量Mv2，如在P2中。
·在一些示例中，完全移除双向预测运动矢量的存储以存储Mv1或Mv2，这取决于块内的位置(例如，上半部中的块存储Mv1，下半部中的块存储Mv2)。
·在一些示例中，完全移除双向预测运动矢量的存储以存储Mv1或Mv2，这取决于三角形的划分方向(例如，针对45°划分存储MV1，针对135°划分存储MV2)。
·在一些示例中，根据块大小来移除双向预测运动矢量(例如，仅针对4×N和N×4块的角点情况)。
·在一些示例中，根据块大小和块内的位置来移除双向预测运动矢量(例如，仅针对4×N和N×4的角点情况，以及针对第一个和最后一个PU)。
视频编码器200和视频解码器300还可配置有用于生成双向预测运动矢量的经修改的算法，其可简化生成双向预测运动矢量的过程。视频编码器200和视频解码器300可单独或以任何组合根据下文论述的各种示例中的任一个来配置：
·在一些示例中，当Mv1和Mv2都来自同一列表时，仅存储Mv1。
·在一些示例中，当Mv1和Mv2都来自同一列表时，仅存储Mv2。
·在一些示例中，当Mv1和Mv2都来自同一列表时，取决于块内的位置来存储Mv1或Mv2(例如，上半部中的块存储Mv1，下半部中的块存储Mv2)。
·在一些示例中，当Mv1和Mv2两者来自同一列表时，取决于三角形的划分方向来存储Mv1或Mv2(例如，针对45°(对角)划分存储Mv1，并且针对135°(反对角)划分存储Mv2)。
在一些示例中，当merge列表中的双向预测merge候选具有非0.5BCW权重值时，视频编码器200和视频解码器300不使用对应于与较低权重值耦合的参考图片列表的运动信息作为有效TPM候选。具体地，当满足以下条件时，对应于双向预测merge候选的参考图片列表Lx(其中x是0或1)的运动信息可被包含在TPM候选列表中：
·如果双向预测merge候选具有0.5BCW权重值，则x由奇偶校验过程确定(即，与上述TPM候选列表构造过程相同)。
·否则，如果双向预测merge候选具有非-0.5BCW权重值，则x由被分配较大BCW权重值的列表来确定。
视频编码器200和视频解码器300可编解码比特流中的序列、图片、片组、条带和/或CTU级标志，其指示用于选择有效TPM候选的上述技术的使用。
此外，本公开认识到在P条带(即，单向帧间预测条带)中不允许三角形分割模式。这有两个原因。首先，上面讨论的混合过程(例如，关于图5)使用两个运动矢量。然而，在P条带中，仅一个运动矢量可用，因为对于P条带，双向预测不被启用也不被允许。第二，运动场存储可以存储双向运动矢量(例如，来自列表0和列表1的运动矢量)，这在P条带中是不允许的。
视频编码器200和视频解码器300可被配置为针对P条带的块(例如，编解码单元(CU))启用非矩形分割模式，例如三角形分割模式。具体地，使用上述(也在于2019年6月5日提交的美国临时专利申请第62/857,584号中进行描述)的简化三角形分割模式的运动矢量储存技术，以仅储存单向运动矢量，并且通过禁用双向运动矢量三角形分割模式的混合操作，可以针对P条带的块执行三角形分割模式。也就是说，视频编码器200和视频解码器300可被配置为通过执行上文所论述的用于简化运动矢量存储的技术且通过禁用混合操作来使用三角形分割模式预测P条带的块。
图6是图示了可以在针对具有等于两个样点的步幅宽度的TPM预测块的混合过程中使用的示例权重的框图。根据本公开的技术，视频编码器200和视频解码器300可禁用应用于沿着CU中的两个三角形块之间的边界的4×4单元的混合操作。当指示混合操作被禁用时，视频编码器200和视频解码器300可应用以下技术中的任一个或全部。无论应用哪种技术，分配给P2上的每个相应样点的加权值可以被设置为等于1减去分配给P1上的对应的样点的加权值。
·在一些示例中，当混合来自分割P1和P2的样点时，视频编码器200和视频解码器300可将分配给P1上的每一相应样点的加权值重置为等于：
о(#a)如果它们大于4/8，则8/8，
о(#b)如果它们等于4/8，则4/8，或
о(#c)如果它们小于4/8，则0/8。
·在一些示例中，#b(即，4/8)的配置被替换为8/8。
·在一些示例中，#b(即，4/8)的配置被替换为0/8。
·在一些示例中，#b的配置(即4/8)被0/8或8/8替换，这取决于三角形的划分方向(例如，如果45°划分，则为8/8；如果135°划分，则为0/8)。
·在一些示例中，当如#b中的具有4/8权重的步幅的宽度大于1个样点(例如，如果宽高比是N或1/N，则步幅宽度等于N个样点，其中N＝2、4、8、…)时，如果步幅的一半上的样点在空域上更靠近P1的角点，则为它们分配等于8/8的加权值，而为步幅的另一半上的样点分配0/8的加权值。例如，图6示出了如果这些样点位于更靠近P1的角点上，则分配给P1上的每个相应样点的加权值被重置为等于8/8，而其余的被分配为0/8。
视频编码器200和视频解码器300可编码比特流中的序列、图片、片组、条带和/或CTU级标志，其指示启用还是禁用这些简化的混合技术。
在一些示例中，视频编码器200和视频解码器300可禁用指向分数像素(pel)位置的运动矢量。视频编码器200和视频解码器300可对比特流中的序列、片组、条带和/或CTU级标志进行编解码，其指示使用上述技术来启用或禁用分数像素运动矢量。当启用此新标志时，所有运动矢量应具有整数精度，且因此可避免混合锐利预测信号的分数内插。下文详细阐述此新标志在启用时可如何改变具有各种帧间预测模式的视频编码器200和视频解码器300的操作：
·常规帧间模式：CABAC引擎跳过对表示来自AMVR(自适应运动矢量分辨率)语法的分数精度MVD的比特的编解码/解析。因此，AMVR仅支持非分数像素精度。
·规则仿射模式：CABAC引擎跳过对表示来自AMVR语法的分数精度MVD的比特的编解码/解析。因此，AMVR仅支持非分数像素精度。此外，在一些示例中，在将所导出的仿射运动用于运动补偿之前，可将其裁剪或取整(以预定义偏移值)到非分数精度。
·规则merge模式：在将其候选运动用于运动补偿之前，可以将其候选运动裁剪或取整(以预定的偏移值)到非分数精度。
·TPMmerge模式：在使用所参考的merge候选来构建TPM候选列表之前，可以将所参考的merge候选剪切或取整(以预定义的偏移值)到非分数精度。此外，在一些示例中，可以推断指示简化的混合方法的使用的标志被启用。
·MMVD模式：在用于形成MMVD模式的基矢量的所参考的merge候选被使用之前，可将其裁剪或取整(以预定的偏移值)到非分数精度。此外，在一些示例中，可以禁用MMVD距离表中的分数偏移值。
·CIIP模式：在将所参考的merge候选用于运动补偿之前，可以将其才将或取整(以预定的偏移值)到非分数精度。在一些示例中，当启用新标志时，可在比特流中完全禁用CIIP模式。
此外，在一些示例中，当标志指示禁用分数精度运动矢量时，可禁用自适应环路滤波器和去方块滤波器。
图7是图示可以执行本公开的技术的示例视频编码器200的框图。提供图7是为了解释的目的并且不应被认为是对本公开中广泛示例和描述的技术的约束。出于解释的目的，本公开在视频编解码标准(例如HEVC视频编解码标准和正在开发的H.266视频编解码标准)的上下文中描述了视频编码器200。然而，本公开的技术不限于这些视频编解码标准，并且通常适用于视频编码和解码。
在图7的示例中，视频编码器200包含视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、解码图片缓冲器(DPB)218以及熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、DPB 218和熵编码单元220中的任何一个或全部可以在一个或多个处理器或处理电路中实现。另外，视频编码器200可包含附加或替代处理器或处理电路以执行这些和其他功能。
视频数据存储器230可以存储要由视频编码器200的组件编码的视频数据。视频编码器200可以从例如，视频源104(图1)接收存储在视频数据存储器230中的视频数据。DPB218可以用作参考图片存储器，参考图片存储器存储参考视频数据，供视频编码器200在预测后续视频数据中使用。视频数据存储器230和DPB 218可以由多种存储器设备中的任何一种形成，例如动态随机访问存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻RAM(MRAM)、电阻RAM(RRAM)或其他类型的存储器设备。视频数据存储器230和DPB 218可以由同一存储器设备或单独的存储器设备提供。在各种示例中，如所图示视频数据存储器230可以与视频编码器200的其他组件在片上，或者相对于那些组件在片外。
在本公开中，对视频数据存储器230的引用不应被解释为限于视频编码器200内部的存储器，除非具体描述如此，或者限于视频编码器200外部的存储器，除非具体描述如此。相反，对视频数据存储器230的引用应该被理解为存储视频编码器200接收用于编码的视频数据(例如，用于要被编码的当前块的视频数据)的参考存储器。图1的存储器106还可以提供来自视频编码器200的各种单元的输出的临时存储。
图示了图7的各种单元以帮助理解由视频编码器200执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。固定功能电路是指提供特定功能并且在可以执行的操作上预设的电路。可编程电路是指可以被编程来执行各种任务并且在能够执行的操作中提供灵活功能的电路。举例来说，可编程电路可以执行软件或固件，使可编程电路按由软件或固件的指令定义的方式操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能的或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。
视频编码器200可以包含算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在其中使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可存储视频编码器200接收并执行的软件的目标代码，或视频编码器200内的另一存储器(未示出)可存储这种指令。
视频数据存储器230被配置为存储所接收的视频数据。视频编码器200可以从视频数据存储器230中检索视频数据的图片，并向残差生成单元204和模式选择单元202提供视频数据。视频数据存储器230中的视频数据可以是待编码的原始视频数据。
模式选择单元202包含运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包含附加的功能单元，以根据其他预测模式来执行视频预测。作为示例，模式选择单元202可以包含调色板单元、帧内块复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(LM)单元等。
模式选择单元202通常协调多个编码过程，以测试编码参数的组合以及得到的用于此类组合的率失真值。编码参数可以包含CTU到CU的分割、用于CU的预测模式、用于CU残差数据的变换类型、用于CU残差数据的量化参数等。模式选择单元202可以最终选择具有比其他测试组合更好的率失真值的编码参数的组合。
视频编码器200可以将从视频数据存储器230中检索的图片分割为一系列CTU，并将一个或多个CTU封装在条带内。模式选择单元202可以根据树结构(例如上述HEVC的QTBT结构或四叉树结构)来分割图片的CTU。如上所述，视频编码器200可以根据树结构通过分割CTU来形成一个或多个CU。此CU也可以通常被称为“视频块”或“块”。
通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成当前块(例如，当前CU或HEVC中PU和TU的重叠部分)的预测块。为了对当前块进行帧间预测，运动估计单元222可以执行运动搜索来识别在一个或多个参考图片(例如，存储在DPB218中的一个或多个先前编解码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以例如根据绝对差和(SAD)、平方差和(SSD)、平均绝对差(MAD)、均方差(MSD)等来计算表示潜在参考块与当前块有多相似的值。运动估计单元222一般可以使用当前块与考虑中的参考块之间的逐样点差来执行这些计算。运动估计单元222可以识别具有从这些计算得到的最低值的参考块，这指示最紧密匹配当前块的参考块。
运动估计单元222可以形成一个或多个运动矢量(MV)，运动矢量定义参考图片中参考块相对于当前图片中当前块的位置。运动估计单元222然后可以向运动补偿单元224提供运动矢量。例如，对于单向帧间预测，运动估计单元222可以提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。运动补偿单元224然后可以使用运动矢量来生成预测块。例如，运动补偿单元224可以使用运动矢量来检索参考块的数据。作为另一示例，如果运动矢量具有分数样点精度，则运动补偿单元224可以根据一个或多个插值滤波器来插值用于预测块的值。此外，对于双向帧间预测，运动补偿单元224可以检索由相应运动矢量识别的用于两个参考块的数据，并例如通过逐样点平均或加权平均来组合所检索的数据。
运动补偿单元224可单独或以任何组合根据上文所论述的本公开的各种技术中的任一个使用几何或非矩形分割模式(例如，三角形分割模式(TPM))来生成预测块。例如，运动补偿单元224可使用非矩形分割模式将当前块分割为两个分割，这两个分割中的每一个具有其自身的相应运动信息集(从运动估计单元222接收)。运动补偿单元224可使用第一运动信息集形成用于第一分割的第一预测块，且使用第二运动信息集形成用于第二分割的第二预测块。在一些示例中，运动补偿单元224可执行混合过程以混合沿着第一分割与第二分割之间的边界的样点值，例如，如上文关于图5和6所论述。替代地，如果当前块形成单向帧间预测条带(即，P条带)的一部分，那么运动补偿单元224可在生成当前块的预测块时禁用上文所论述的混合操作。
作为另一个示例，对于帧内预测或帧内预测编解码，帧内预测单元226可以根据与当前块相邻的样点来生成预测块。例如，对于方向模式，帧内预测单元226通常可以数学上地组合相邻样点的值，并在跨越当前块的定义方向上填充这些计算出的值，以产生预测块。作为另一个示例，对于DC模式，帧内预测单元226可以计算当前块的相邻样点的平均值，并且生成预测块以包含针对预测块的每个样点所得到的平均值。
模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始的未编解码的版本，并从模式选择单元202接收预测块。残差生成单元204计算当前块与预测块之间的逐样点差。得到的逐样点差定义当前块的残差块。在一些示例中，残差生成单元204也可以确定残差块中的样点值之间的差，以使用残差差分脉冲编解码调制(RDPCM)来生成残差块。在一些示例中，残差生成单元204可以使用执行二进制减法的一个或多个减法器电路来形成。
在模式选择单元202将CU分割为PU的示例中，每个PU可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的PU。如上所述，CU的大小可以指CU的亮度编解码块的大小，而PU的大小可以指PU的亮度预测单元的大小。假设特定CU的大小为2N×2N，则视频编码器200可以支持2N×2N或N×N的PU大小用于帧内预测，以及2N×2N、2N×N、N×2N、N×N或类似的对称PU大小用于帧间预测。视频编码器200和视频解码器300还可以支持2N×nU、2N×nD、nL×2N和nR×2N的PU大小的非对称分割用于帧间预测。
在模式选择单元没有进一步将CU分割为PU的示例中，每个CU可以与亮度编解码块和对应的色度编解码块相关联。同上，CU的大小可以指CU的亮度编解码块的大小。视频编码器200和视频解码器300可以支持2N×2N、2N×N或N×2N的CU大小。
对于其他视频编解码技术，例如帧内块复制模式编解码、仿射模式编解码和线性模型(LM)模式编解码，作为少数示例，模式选择单元202经由与编解码技术相关联的相应单元，生成用于正被编码的当前块的预测块。在一些示例中，例如调色板模式编解码，模式选择单元202可以不生成预测块，而是生成指示按基于所选择的调色板来重构块的方式的语法元素。在这样的模式中，模式选择单元202可以将这些语法元素提供给熵编码单元220，以对其进行编码。
如上所述，残差生成单元204接收用于当前块和对应的预测块的视频数据。然后，残差生成单元204生成用于当前块的残差块。为了生成残差块，残差生成单元204计算预测块与当前块之间的逐样点差。
变换处理单元206对残差块应用一个或多个变换，以生成变换系数的块(本文中被称为“变换系数块”)。变换处理单元206可以对残差块应用各种变换，以形成变换系数块。例如，变换处理单元206可以对残差块应用离散余弦变换(DCT)、方向变换、Karhunen-Loeve变换(KLT)或概念上类似的变换。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如初级变换和次级变换，例如旋转变换。在一些示例中，变换处理单元206不将变换应用于残差块。
量化单元208可以量化变换系数块中的变换系数，以产生经量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(QP)值来量化变换系数块的变换系数。视频编码器200(例如经由模式选择单元202)可以通过调整与CU相关联的QP值来调整应用于与当前块相关联的变换系数块的量化程度。量化可能引入信息损失，并且因此，经量化的变换系数可能具有比由变换处理单元206产生的原始变换系数更低的精度。
逆量化单元210和逆变换处理单元212可以对经量化的变换系数块分别应用逆量化和逆变换，以从变换系数块中重构残差块。重构单元214可以基于经重构的残差块和由模式选择单元202生成的预测块来产生与当前块对应的经重构的块(尽管可能具有一定程度的失真)。例如，重构单元214可以将经重构的残差块的样点加到来自由模式选择单元202生成的预测块的对应样点，以产生经重构的块。
滤波器单元216可以对经重构的块执行一个或多个滤波操作。例如，滤波器单元216可以执行去方块操作来减少沿CU边缘的块效应伪影。在一些示例中，可以跳过滤波器单元216的操作。
视频编码器200将重构块存储在DPB 218中。举例来说，在不需要滤波器单元216的操作的示例中，重构单元214可以将重构块存储到DPB 218。在需要滤波器单元216的操作的示例中，滤波器单元216可以将滤波后的重构块存储到DPB 218。运动估计单元222和运动补偿单元224可以从DPB 218中检索参考图片，该参考图片是由重构(并且可能被滤波的)块形成的，来对后续编码的图片的块进行帧间预测。此外，帧内预测单元226可以使用当前图片的DPB 218中的重构块来对当前图片中的其他块进行帧内预测。
通常，熵编码单元220可以对从视频编码器200的其他功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的量化的变换系数块进行熵编码。作为另一个示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一示例的语法元素执行一个或多个熵编码操作，以生成经熵编码的数据。例如，熵编码单元220可以对数据执行上下文自适应可变长度编解码(CAVLC)操作、CABAC操作、变量到变量(V2V)长度编解码操作、基于语法的上下文自适应二进制算术编解码(SBAC)操作、概率区间分割熵(PIPE)编解码操作、指数Golomb编码操作或另一种类型的熵编码操作。在一些示例中，熵编码单元220可以在旁路模式下操作，在旁路模式下，语法元素未被熵编码。
熵编码单元220可以对当前块的运动信息进行熵编码。例如，如果使用非矩形分割模式(例如，TPM)来预测当前块，则熵编码单元220可对每个所得分割的运动信息进行熵编码。通常，熵编码单元220可在对下方分割的运动信息进行熵编码之前对上方分割的运动信息进行熵编码。上方分割可以被认为是沿着当前块的上边缘具有更多样点的分割，而下方分割可以被认为是沿着块的下边缘具有更多样点的分割。
当熵编码运动信息时，运动信息通常可指示运动矢量(例如，X分量和Y分量)、包含运动矢量所参考的参考图片的参考图片列表、以及识别参考图片列表中的参考图片的参考图片索引。在merge模式中，熵编码单元220可对识别运动矢量预测子候选列表中的运动矢量预测子候选(即，merge候选)的merge索引进行熵编码，并且可以使用来自运动矢量预测子候选的运动矢量、参考图片列表和参考图片索引中的每一个。在AMVP模式中，熵编码单元220可以对运动矢量预测子候选、相对于运动矢量预测子候选的运动矢量差数据(例如，X偏移和Y偏移)、参考图片列表标识符和参考图片索引进行熵编码。
为了以这种方式对运动信息进行熵编码，熵编码单元220可以检索存储在例如DPB218中的先前经编解码的运动信息候选。根据本公开的技术，当使用非矩形分割模式分割当前块且两个分割的运动信息参考共同参考图片列表时，视频编码器200可将第二分割的运动信息存储在DPB 218中以用于当前块(而不存储第一分割的运动信息)。因此，当对当前块的后续块进行编解码时，熵编码单元220可选择第二分割的运动信息作为运动矢量预测子候选以预测后续块的运动信息。
视频编码器200可以输出比特流，该比特流包含重构条带或图片的块所需的经熵编码的语法元素。具体地，熵编码单元220可以输出比特流。
上述操作是相对于块来描述的。此描述应当被理解为用于亮度编解码块和/或色度编解码块的操作。如上所述，在一些示例中，亮度编解码块和色度编解码块是CU的亮度分量和色度分量。在一些示例中，亮度编解码块和色度编解码块是PU的亮度分量和色度分量。
在一些示例中，对于色度编解码块，不需要重复相对于亮度编解码块执行的操作。作为一个示例，识别用于亮度编解码块的运动矢量(MV)和参考图片的操作不需要重复用于识别用于色度块的MV和参考图片。相反，用于亮度编解码块的MV可以被缩放以确定用于色度块的MV，并且参考图片可以是相同的。作为另一示例，对于亮度编解码块和色度编解码块，帧内预测过程可以是相同的。
以此方式，视频编码器200表示用于对视频数据进行编解码的设备的示例，其包含配置为存储视频数据的存储器；以及一个或多个处理器，其在电路中实现并且被配置为：对该视频数据的当前块的第一运动信息集进行编解码，该当前块根据非矩形分割模式被分割为第一分割及第二分割，该第一运动信息集参考参考图片列表并且与该第一分割相关联；在对该第一运动信息集进行编解码之后，对该当前块的第二运动信息集进行编解码，该第二运动信息集参考该参考图片列表并且与该第二分区相关联；响应于该第一运动信息集及该第二运动信息集两者都参考该参考图片列表，将该当前块的第二运动信息集存储于该存储器中；以及使用所存储的第二运动信息集来预测与该当前块相邻的该视频数据的的后续块的后续运动信息。
图8是图示了可执行本公开的技术的示例视频解码器300的框图。提供图8是出于解释的目的，而非限制本公开中广泛示例和描述的技术。为了解释的目的，本公开描述了根据JEM、VCC和HEVC的技术的视频解码器300。然而，本公开的技术可以由配置为其他视频编解码标准的视频编解码设备来执行。
在图8的示例中，视频解码器300包含编解码图片缓冲器(CPB)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和解码图片缓冲器(DPB)314。CPB存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和DPB 314中的任何一个或全部可以在一个或多个处理器或处理电路中实现。另外，视频解码器300可包含附加或替代处理器或处理电路以执行这些和其他功能。
预测处理单元304包含运动补偿单元316和帧内预测单元318。预测处理单元304可以包含附加的单元，以根据其他预测模式来执行预测。作为示例，预测处理单元304可以包含调色板单元、帧内块复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(LM)单元等。在其他示例中，视频解码器300可以包含更多、更少或不同的功能组件。
CPB存储器320可以存储要由视频解码器300的组件解码的视频数据，例如编码的视频比特流。例如，可以从计算机可读介质110(图1)获得存储在CPB存储器320中的视频数据。CPB存储器320可以包含CPB，其存储来自编码的视频比特流的编码的视频数据(例如，语法元素)。此外，CPB存储器320可以存储除经编解码的图片的语法元素之外的视频数据，例如表示来自视频解码器300的各种单元的输出的临时数据。DPB 314通常存储解码的图片，视频解码器300可以在解码编码的视频比特流的后续数据或图片时，输出该解码的图片和/或将其用作参考视频数据。CPB存储器320和DPB 314可以由各种存储器设备中的任何一种形成，例如动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻RAM(MRAM)、电阻RAM(RRAM)或其他类型的存储器设备。CPB存储器320和DPB 314可以由同一存储器设备或不同的存储器设备提供。在各种示例中，CPB存储器320可以与视频解码器300的其他组件置于片上，或者相对于那些组件置于片外。
附加地或替代地，在一些示例中，视频解码器300可以从存储器120(图1)检索编解码的视频数据。也就是说，存储器120可以如上文关于CPB存储器320所讨论的来存储数据。同样，当视频解码器300的某些或全部功能在将由视频解码器300的处理电路执行的软件中实现时，存储器120可以存储将由视频解码器300执行的指令。
图示了图8所示的各种单元以帮助理解由视频解码器300执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。类似于图7，固定功能电路是指提供特定功能并且在可以执行的操作上预设的电路。可编程电路是指可以被编程来执行各种任务并且在能够执行的操作中提供灵活功能的电路。举例来说，可编程电路可以执行软件或固件，使可编程电路按由软件或固件的指令定义的方式操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能的或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。
视频解码器300可包含ALU、EFU、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在视频解码器300的操作由在可编程电路上执行的软件来执行的示例中，片上或片外存储器可以存储视频解码器300接收和执行的软件的指令(例如，目标代码)。
熵解码单元302可以从CPB接收编码的视频数据，并对视频数据进行熵解码以重新产生语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流中提取的语法元素来生成解码的视频数据。
通常，视频解码器300在逐块基础上重构图片。视频解码器300可以对每个块单独地执行重构操作(其中当前正被重构的块，即解码的块可以被称为“当前块”)。
熵解码单元302可以对定义经量化的变换系数块的经量化变换系数的语法元素以及变换信息(例如量化参数(QP)和/或(多个)变换模式指示)进行熵解码。逆量化单元306可以使用与经量化的变换系数块相关联的QP来确定量化程度，并且同样地，确定供逆量化单元306应用的逆量化程度。逆量化单元306可以例如执行逐位左移操作来对经量化的变换系数进行逆量化。逆量化单元306由此可以形成包含变换系数的变换系数块。
在逆量化单元306形成变换系数块之后，逆变换处理单元308可以对变换系数块应用一个或多个逆变换，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以对系数块应用逆DCT、逆整数变换、逆Karhunen-Loeve变换(KLT)、逆旋转变换、逆方向变换或另一逆变换。
熵解码单元302可对当前块的运动信息进行熵解码。例如，如果使用非矩形分割模式(例如，TPM)预测当前块，那么熵解码单元302可对每一所得分割的运动信息进行熵解码。通常，熵解码单元302可在对下方分割的运动信息进行熵解码之前对上方分割的运动信息进行熵解码。即，比特流可在包含下方分割的运动信息之前包含上方分割的运动信息。上方分割可以被认为是沿着当前块的上边缘具有更多样点的分割，而下方分割可以被认为是沿着块的下边缘具有更多样点的分割。
当熵解码运动信息时，运动信息通常可指示运动矢量(例如，X分量和Y分量)、包含运动矢量所参考的参考图片的参考图片列表、以及识别参考图片列表中的参考图片的参考图片索引。在merge模式中，熵解码单元302可对识别运动矢量预测子候选列表中的运动矢量预测子候选(即，merge候选)的merge索引进行熵解码，并使用来自运动矢量预测子候选的运动矢量、参考图片列表和参考图片索引中的每一个。在AMVP模式中，熵解码单元302可以对运动矢量预测子候选、相对于运动矢量预测子候选的运动矢量差数据(例如，X偏移和Y偏移)、参考图片列表标识符和参考图片索引进行熵解码。
为了以这种方式对运动信息进行熵解码，熵解码单元302可以检索存储在例如DPB314中的先前解码的运动信息候选。根据本公开的技术，当使用非矩形分割模式分割当前块且两个分割的运动信息参考共同参考图片列表时，视频解码器300可将第二分割的运动信息存储在DPB 314中以用于当前块(而不存储第一分割的运动信息)。因此，当对当前块的后续块进行编解码时，熵解码单元302可选择第二分割的运动信息作为运动矢量预测子候选以预测后续块的运动信息。
此外，预测处理单元304根据由熵解码单元302进行熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示从中检索参考块的DPB 314中的参考图片、以及识别参考图片中的参考块的位置相对于当前图片中的当前块的位置的运动矢量。
运动补偿单元316可以通常以大体上类似于关于运动补偿单元224(图7)所描述的方式来执行帧间预测过程。运动补偿单元316可单独地或以任何组合根据如上文所论述的本公开的各种技术中的任一个，使用非矩形(例如，几何)分割模式(例如，三角形分割模式(TPM))生成预测块。在一些示例中，运动补偿单元316可执行混合操作以平滑沿两个分割的分割边界的样点值，例如，如上文关于图5和6所解释的。替代地，如果当前块形成单向帧间预测条带(即，P条带)的一部分，那么运动补偿单元316可在生成当前块的预测块时禁用上文所论述的混合操作。
作为另一示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式来生成预测块。同样，帧内预测单元318通常可以以基本上类似于关于帧内预测单元226(图7)所描述的方式来执行帧内预测过程。帧内预测单元318可以从DPB 314中检索当前块的相邻样点的数据。
重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将残差块的样点加到预测块的对应样点，以重构当前块。
滤波器单元312可以对经重构的块执行一个或多个滤波操作。例如，滤波器单元312可以执行去方块操作来减少沿经重构块的边缘的块效应伪影。不一定在所有示例中都执行滤波器单元312的操作。
视频解码器300可以将经重构的块存储在DPB 314中。如上所述，DPB 314可以向预测处理单元304提供参考信息，例如用于帧内预测的当前图片的样点和用于后续运动补偿的先前解码的图片的样点。此外，视频解码器300可以从DPB 314输出解码图片，用于随后呈现在例如图1的显示设备118的显示设备上。
以此方式，视频解码器300表示用于对视频数据进行编解码的设备的示例，其包含被配置为存储视频数据的存储器；以及一个或多个处理器，其在电路中实现并且被配置为：对该视频数据的当前块的第一运动信息集进行编解码，该当前块根据非矩形分割模式被分割为第一分割及第二分割，该第一运动信息集参考参考图片列表并且与该第一分割相关联；在对该第一运动信息集进行编解码之后，对该当前块的第二运动信息集进行编解码，该第二运动信息集参考该参考图片列表并且与该第二分区相关联；响应于该第一运动信息集及该第二运动信息集两者都参考该参考图片列表，将该当前块的第二运动信息集存储于该存储器中；以及使用所存储的第二运动信息集来预测与该当前块相邻的该视频数据的的后续块的后续运动信息。
图9是图示了根据本公开的技术的用于对当前块进行编码的示例性方法的流程图。当前块可以包括当前CU。尽管关于视频编码器200(图1和7)进行了描述，但是应当理解，其他设备可以被配置为执行与图9的方法类似的方法。
在此示例中，视频编码器200最初预测当前块(350)。例如，视频编码器200可形成用于当前块的预测块。视频编码器200可根据本公开的各种技术中的任一个使用非矩形分割模式(例如，三角形分割模式(TPM))来形成预测块。此外，如果当前块形成单向帧间预测条带(即，P条带)的一部分，那么视频编码器200可在生成当前块的预测块时进一步禁用如上文所论述的混合操作。视频编码器200然后可以计算用于当前块的残差块(352)。为了计算残差块，视频编码器200可以计算原始的未经编解码的块与用于当前块的预测块之间的差。然后，视频编码器200可以变换和量化残差块的系数(354)。接下来，视频编码器200可以扫描残差块的经量化的变换系数(356)。在扫描期间或扫描之后，视频编码器200可以对系数进行熵编码(358)。例如，视频编码器200可以使用CAVLC或CABAC来编码系数。视频编码器200然后可以输出块的熵编解码的数据(360)。
以此方式，图9的方法表示对视频数据进行编解码的方法的示例，其包含：对视频数据的当前块的第一运动信息集进行编解码，该当前块根据非矩形分割模式被分割为第一分割和第二分割，该第一运动信息集参考参考图片列表并且与该第一分割相关联；在对该第一运动信息集进行编解码之后，对该当前块的第二运动信息集进行编解码，该第二运动信息集参考该参考图片列表并且与该第二分割相关联；响应于该第一运动信息集及该第二运动信息集两者都参考该参考图片列表，存储该当前块的第二运动信息集；以及使用所存储的第二运动信息集来预测与该当前块相邻的该视频数据的的后续块的后续运动信息。
图10是图示了根据本公开的技术的用于对当前块进行解码的示例方法的流程图。当前块可以包括当前CU。尽管关于视频解码器300(图1和8)进行了描述，但是应当理解，其他设备可以被配置为执行类似于图10的方法。
视频解码器300可接收当前块的熵编解码的数据，例如对应于当前块的残差块的系数的熵编解码的预测信息和熵编解码的数据(370)。视频解码器300可以对熵编解码的数据进行熵解码，以确定用于当前块的预测信息，并且以重新产生残差块的系数(372)。视频解码器300可例如使用如由当前块的预测信息指示的帧内或帧间预测模式来预测当前块(374)以计算当前块的预测块。视频解码器300可根据本公开的各种技术中的任一个使用(例如)非矩形分割模式(例如，三角形分割模式(TPM))来形成预测块。此外，如果当前块形成单向帧间预测条带(即，P条带)的一部分，那么视频解码器300可在生成当前块的预测块时进一步禁用如上文所论述的混合操作。视频解码器300然后可以逆扫描重新产生的系数(376)，以创建经量化的变换系数的块。视频解码器300然后可以逆量化和逆变换系数，以产生残差块(378)。视频解码器300可以通过组合预测块和残差块来最终对当前块进行解码(380)。
以此方式，图10的方法表示对视频数据进行编解码的方法的示例，其包含：对视频数据的当前块的第一运动信息集进行编解码，该当前块根据非矩形分割模式被分割为第一分割和第二分割，该第一运动信息集参考参考图片列表并且与该第一分割相关联；在对该第一运动信息集进行编解码之后，对该当前块的第二运动信息集进行编解码，该第二运动信息集参考该参考图片列表并且与该第二分割相关联；响应于该第一运动信息集及该第二运动信息集两者都参考该参考图片列表，存储该当前块的第二运动信息集；以及使用所存储的第二运动信息集来预测该视频数据的相邻于当前块的后续块的后续运动信息。
图11是图示了根据本公开的技术的对视频数据进行解码的示例方法的流程图。为了示例的目的，关于图1和8的视频解码器300来解释图11的方法。如下文所解释，视频编码器200可执行用于对视频数据进行编码的大体上类似的方法。
最初，视频解码器300使用非矩形分割模式(400)(例如，TPM)来分割当前块。视频解码器300还可对当前块的第一分割的第一运动矢量(MV)进行解码(402)。具体地，包含当前块的视频比特流可以包含第一运动信息集和第二运动信息集，其中第一运动信息集在第二运动信息集之前存在于比特流中。因此，视频解码器300可解析比特流并在第二运动信息集之前获得第一运动信息集。由于在第二运动信息集之前遇到第一运动信息集，视频解码器300可确定第一运动信息集对应于当前块的上方分割(即，沿着当前块的上边界具有更多样点的分割)。上方分割在下文中也称为“第一分割”。
为了解码第一运动信息集，视频解码器300可例如根据merge模式或AMVP模式来构造运动矢量预测子候选列表。第一运动信息集可以包含识别运动矢量预测子候选列表中的候选的候选索引。如果第一运动信息集是以merge模式进行编码的，则视频解码器300可从候选索引所识别的运动矢量预测子候选中确定第一运动信息集的运动矢量、参考图片列表和参考图片索引。如果第一运动信息集是以AMVP模式编码的，则视频解码器300可从比特流的数据解码运动矢量差值、参考图片列表标识符和参考图片索引，并通过将运动矢量差值加到由候选索引识别的运动矢量预测子候选的运动矢量的分量来重构运动矢量。视频解码器300接着可使用包含第一运动矢量的第一运动信息集来预测当前块的第一分割(404)。
视频解码器300还可对与第二分割相对应的当前块的第二运动矢量进行解码(406)。视频解码器300可通过解码如上文关于第一运动信息集所论述的第二运动信息集来解码第二运动矢量。视频解码器300接着可使用第二运动矢量来预测当前块的第二分割(408)，其中第二分割对应于下方分割(即，沿着当前块的下边界具有更多样点的分割)。
在此示例中，视频解码器300确定第一运动矢量和第二运动矢量参考共同参考图片列表(410)。也就是说，在此示例中，视频解码器300确定第一运动信息集的参考图片列表标识符和第二运动信息集的参考图片列表标识符对应于同一参考图片列表。参考图片列表可以是例如RefPicList0或RefPicList1。响应于确定当前块的两个分割(使用非矩形分区模式预测的)是使用相同参考图片列表预测的(即，第一运动信息集及第二运动信息集各自包含相同参考图片列表标识符)，视频解码器300将当前块的第二MV(412)存储，例如，在DPB314中。视频解码器300可存储针对当前块的所有子块的第二MV，且不存储当前块的第一MV，以用作后续运动矢量预测子候选。虽然未在图11中描述，但视频解码器300可继续使用第一预测分割和第二预测分割来对当前块进行解码，例如，如上文关于图10所论述的。
因此，当解码后续块(例如，空域相邻块)时，视频解码器300可将所存储的第二MV添加为后续块的候选运动矢量预测子(MVP)候选(414)。例如，上面提到的“当前块”可以对应于图4的NB 152A，而“后续块”可以对应于图4的当前块150，在这种情况下，NB 152A与当前块150相邻。因此，视频解码器300可使用NB 152A的运动信息作为待添加到当前块150的运动矢量预测候选列表的运动矢量预测子候选。
视频解码器300接着可使用第二运动矢量来解码后续块的运动信息(416)。例如，再次关于图4，视频解码器300可构造包含NB 152及TNB 154A或TNB 154B的运动信息的运动矢量预测子候选列表。视频解码器300可进一步解码运动矢量预测子候选索引，从而将NB152或TNB 154A或TNB 154B中的一个识别为当前块150的运动矢量预测子候选。再次假设上文所提及的“当前块”对应于NB 152A，上文所提及的“后续块”对应于当前块150，且候选索引识别NB 152A，则视频解码器300可使用NB 152A的运动信息(包含运动矢量)来对当前块150的运动信息进行解码。例如，在merge模式中，视频解码器300可使用NB 152A的运动矢量(即，上文所提及的“当前块”的所存储的第二运动矢量)作为当前块150的运动矢量，而在AMVP模式中，视频解码器300可使用NB 152A的运动矢量作为运动矢量预测子，且对表示待应用于运动矢量预测子的分量的偏移的运动矢量差值进行解码以形成当前块150的运动矢量。
以此方式，图11的方法表示对视频数据进行编解码的方法的示例，其包含：对视频数据的当前块的第一运动信息集进行编解码，该当前块根据非矩形分割模式被分割为第一分割和第二分割，该第一运动信息集参考参考图片列表并且与该第一分割相关联；在对该第一运动信息集进行编解码之后，对该当前块的第二运动信息集进行编解码，该第二运动信息集参考该参考图片列表并且与该第二分割相关联；响应于该第一运动信息集及该第二运动信息集两者都参考该参考图片列表，存储该当前块的第二运动信息集；以及使用所存储的第二运动信息集来预测与该当前块相邻的该视频数据的的后续块的后续运动信息。
如上所述，视频编码器200可被配置为执行与图11的方法大体上类似的方法。在类似方法中，视频编码器200可在使用运动矢量来预测第一分割和第二分割之后对第一运动矢量和第二运动矢量进行编码，且视频编码器200可例如在merge模式或AMVP模式下使用第二运动矢量来对后续块的运动信息进行编码。
应该认识到，根据示例，本文中描述的任何技术的某些动作或事件可以以不同的序列执行，可以被一起添加、合并或省去(例如，不是所有描述的动作或事件是技术实践所必须的)。此外，在某些示例中，动作或事件可以同时执行，例如通过多线程处理、中断处理或多个处理器，而非顺序执行。
在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任何组合中实现。如果在软件中实现，这些功能可以作为一个或多个指令或代码存储或发送到计算机可读介质上并由基于硬件的处理单元执行。计算机可读介质可以包含计算机可读存储介质，其对应于例如数据存储介质之类的有形介质，或者通信介质，包含例如根据通信协议来促进将计算机程序从一个地方转移到另一个地方的任何介质。以此方式，计算机可读媒介通常可对应于(1)非暂时性的有形计算机可读存储介质或(2)例如信号或载波的通信介质。数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问以检索指令、代码和/或数据结构以用于实现本公开中描述的技术的任何可用介质。计算机程序产品可以包含计算机可读介质。
作为示例而非限制，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储设备、闪存或可以用于以指令或数据结构形式存储所需程序代码并且可以由计算机访问的任何其他介质。并且，任何连接都被恰当地称作计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术(例如红外、无线电和微波)从网站、服务器或其他远程源发送指令，则介质的定义包含同轴电缆、光纤电缆、双绞线、DSL或例如红外、无线电和微波之类的无线技术。然而，应当理解，计算机可读存储介质和数据存储介质不包含连接、载波、信号或其他暂时性介质，而是针对非暂时性有形存储介质。如本文中使用的，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘一般以磁性方式重现数据，而光盘用激光光学地重现数据。上述的组合也应包含在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他等效的集成或分立逻辑电路。因此，如本文中所使用的，术语“处理器”和“处理电路”可指前述结构中的任一个或适于实现本文中所描述的技术的任何其他结构。此外，在一些方面，本文描述的功能性可以在被配置用于编码和解码的专用硬件和/或软件模块中提供，或者被结合在组合编码解码器中。而且，这些技术可以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可实现于多种设备或装置中，包含无线手持机、集成电路(IC)或一组IC(例如，芯片集)。在本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的各功能方面，但是不一定要求通过不同的硬件单元来实现。相反，如上所述，各种单元可以被组合在编码解码器硬件单元中，或者由包含如上所述的一个或多个处理器的互操作硬件单元的集合，结合合适的软件和/或固件来提供。
已经描述了各种示例。这些和其他示例在所附权利要求的范围内。

Claims (39)

1.一种对视频数据进行编解码的方法，所述方法包括：
对视频数据的当前块的第一运动信息集进行编解码，所述当前块根据非矩形分割模式被分割为第一分割和第二分割，所述第一运动信息集参考参考图片列表并且与所述第一分割相关联；
在对所述第一运动信息集进行编解码之后，对所述当前块的第二运动信息集进行编解码，所述第二运动信息集参考所述参考图片列表并且与所述第二分割相关联；
响应于所述第一运动信息集和所述第二运动信息集都参考所述参考图片列表，存储所述当前块的所述第二运动信息集；以及
使用所存储的第二运动信息集来预测与所述当前块相邻的所述视频数据的后续块的后续运动信息。
2.根据权利要求1所述的方法，其中，存储所述第二运动矢量包括存储针对所述当前块的所有子块的所述第二运动矢量。
3.根据权利要求1所述的方法，还包括确定所述当前块的大小满足阈值，其中，存储所述第二运动矢量包括响应于确定所述当前块的所述大小满足所述阈值而存储所述第二运动矢量。
4.根据权利要求3所述的方法，其中，所述阈值包括4×N或N×4，N是正整数值。
5.根据权利要求1所述的方法，其中，预测后续块的后续运动信息包括：
为所述后续块形成运动预测候选列表，包括将所述第二运动矢量添加到所述运动预测候选列表；
从所述运动预测候选列表中选择所述第二运动矢量；以及
使用所述第二运动矢量来预测所述后续块的所述后续运动信息。
6.根据权利要求1所述的方法，其中，所述当前块形成单向帧间预测条带(P条带)的一部分，所述方法还包括对所述当前块禁用混合操作。
7.根据权利要求1所述的方法，其中，所述第一分割包括第一三角形分割，所述第二分割包括第二三角形分割，并且所述非矩形分割模式包括三角形分割模式(TPM)。
8.根据权利要求1所述的方法，还包括使用所述第一运动信息集和所述第二运动信息集且在所述第一分割与所述第二分割之间不执行混合操作的情况下生成所述当前块的预测块。
9.根据权利要求1所述的方法，其中，生成预测块包括：
将大于4/8的混合权重重置为等于8×8；
将小于4/8的混合权重重置为等于0×8；以及
使用重置的混合权重来组合所述第一分割和所述第二分割。
10.根据权利要求9所述的方法，还包括将等于4/8的混合权重重置为等于8/8。
11.根据权利要求9所述的方法，还包括将等于4/8的混合权重重置为等于0/8。
12.根据权利要求9所述的方法，还包括：根据所述当前块的划分方向，将等于4/8的混合权重重置为等于0/8或8/8。
13.根据权利要求8所述的方法，其中，生成预测块包括使用常规帧间预测来生成所述预测块，所述方法还包括跳过表示用于自适应运动矢量分辨率(AMVR)语法元素的分数精度运动矢量差(MVD)值的比特的上下文自适应二进制算术编解码(CABAC)。
14.根据权利要求8所述的方法，其中，生成预测块包括使用仿射预测模式生成所述预测块，所述方法还包括跳过表示用于自适应运动矢量分辨率(AMVR)语法元素的分数精度运动矢量差(MVD)值的比特的上下文自适应二进制算术编解码(CABAC)。
15.根据权利要求1所述的方法，还包括：
使用所述第一运动信息集和所述第二运动信息集生成所述当前块的预测块；
对经量化的变换块进行逆量化和逆变换，以生成所述当前块的残差块；以及
组合所述残差块的样点与所述预测块的样点以对所述当前块进行解码。
16.根据权利要求1所述的方法，还包括：
使用所述第一运动信息集和所述第二运动信息集生成所述当前块的预测块；
从所述当前块的样点中减去所述预测块的样点以生成所述当前块的残差块；以及
对所述残差块进行变换和量化以对所述当前块进行编码。
17.一种用于对视频数据进行编解码的设备，所述设备包括：
存储器，被配置为存储视频数据；以及
一个或多个处理器，在电路中实现并且被配置为：
对所述视频数据的当前块的第一运动信息集进行编解码，所述当前块根据非矩形分割模式被分割为第一分割和第二分割，所述第一运动信息集参考参考图片列表并且与所述第一分割相关联；
在对所述第一运动信息集进行编解码之后，对所述当前块的第二运动信息集进行编解码，所述第二运动信息集参考所述参考图片列表并且与所述第二分割相关联；
响应于所述第一运动信息集和所述第二运动信息集都参考所述参考图片列表，将所述当前块的所述第二运动信息集存储在所述存储器中；以及
使用所存储的第二运动信息集来预测与所述当前块相邻的所述视频数据的后续块的后续运动信息。
18.根据权利要求17所述的设备，其中，所述一个或多个处理器被配置为存储针对所述当前块的所有子块的所述第二运动矢量。
19.根据权利要求17所述的设备，其中，所述一个或多个处理器被配置为确定所述当前块的大小满足阈值，并且响应于确定所述当前块的所述大小满足所述阈值而存储所述第二运动矢量。
20.根据权利要求17所述的设备，其中，为了预测所述后续块的所述后续运动信息，所述一个或多个处理器被配置为：
为所述后续块形成运动预测候选列表并将所述第二运动矢量添加到所述运动预测候选列表；
从所述运动预测候选列表选择所述第二运动矢量；以及
使用所述第二运动矢量来预测所述后续块的所述后续运动信息。
21.根据权利要求17所述的设备，其中，所述一个或多个处理器还被配置为使用所述第一运动信息集和所述第二运动信息集来生成所述当前块的预测块。
22.根据权利要求17所述的设备，其中，所述一个或多个处理器还被配置为使用所述第一运动信息集和所述第二运动信息集且在所述第一分割与所述第二分割之间不执行混合操作的情况下生成所述当前块的预测块。
23.根据权利要求17所述的设备，其中，所述一个或多个处理器还被配置为：
使用所述第一运动信息集和所述第二运动信息集生成所述当前块的预测块；
对经量化的变换块进行逆量化和逆变换，以生成所述当前块的残差块；以及
组合所述残差块的样点与所述预测块的样点以对所述当前块进行解码。
24.根据权利要求17所述的设备，其中，所述一个或多个处理器还被配置为：
使用所述第一运动信息集和所述第二运动信息集生成所述当前块的预测块；
从所述当前块的样点中减去所述预测块的样点以生成所述当前块的残差块；以及
对所述残差块进行变换和量化以对所述当前块进行编码。
25.根据权利要求17所述的设备，还包括显示器，所述显示器被配置为显示解码的视频数据。
26.根据权利要求17所述的设备，其中，所述设备包括摄像机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。
27.根据权利要求17所述的设备，其中，所述设备包括以下中的至少一个：
集成电路；
微处理器；或
无线通信设备。
28.一种其上存储有指令的计算机可读存储介质，所述指令在被执行时使处理器：
对视频数据的当前块的第一运动信息集进行编解码，所述当前块根据非矩形分割模式被分割为第一分割和第二分割，所述第一运动信息集参考参考图片列表并且与所述第一分割相关联；
在对所述第一运动信息集进行编解码之后，对所述当前块的第二运动信息集进行编解码，所述第二运动信息集参考所述参考图片列表并且与所述第二分割相关联；
响应于所述第一运动信息集和所述第二运动信息集都参考所述参考图片列表，存储所述当前块的所述第二运动信息集；以及
使用所存储的第二运动信息集来预测与所述当前块相邻的所述视频数据的后续块的后续运动信息。
29.根据权利要求28所述的计算机可读存储介质，其中，使所述处理器存储所述第二运动矢量的指令包括使所述处理器存储针对所述当前块的所有子块的所述第二运动矢量的指令。
30.根据权利要求28所述的计算机可读存储介质，还包括使所述处理器确定所述当前块的大小满足阈值的指令，其中，使所述处理器存储所述第二运动矢量的指令包括使所述处理器响应于确定所述当前块的所述大小满足所述阈值而存储所述第二运动矢量的指令。
31.根据权利要求28所述的计算机可读存储介质，其中，使所述处理器预测所述后续块的所述后续运动信息的指令包括使所述处理器执行以下操作的指令：
为所述后续块形成运动预测候选列表并将所述第二运动矢量添加到所述运动预测候选列表；
从所述运动预测候选列表选择所述第二运动矢量；以及
使用所述第二运动矢量来预测所述后续块的后续运动信息。
32.根据权利要求28所述的计算机可读存储介质，还包括使所述处理器使用所述第一运动信息集和所述第二运动信息集来生成所述当前块的预测块的指令。
33.根据权利要求28所述的计算机可读存储介质，还包括使所述处理器使用所述第一运动信息集和所述第二运动信息集且在所述第一分割与所述第二分割之间不执行混合操作的情况下生成所述当前块的预测块的指令。
34.根据权利要求28所述的计算机可读存储介质，还包括使所述处理器执行以下步骤的指令：
使用所述第一运动信息集和所述第二运动信息集生成所述当前块的预测块；
对经量化的变换块进行逆量化和逆变换，以生成所述当前块的残差块；以及
组合所述残差块的样点与所述预测块的样点以对所述当前块进行解码。
35.根据权利要求28所述的计算机可读存储介质，还包括使所述处理器执行以下步骤的指令：
使用所述第一运动信息集和所述第二运动信息集生成所述当前块的预测块；
从所述当前块的样点中减去所述预测块的样点以生成所述当前块的残差块；以及
对所述残差块进行变换并量化以对所述当前块进行编码。
36.一种用于对视频数据进行编解码的设备，所述设备包括：
用于对视频数据的当前块的第一运动信息集进行编解码的部件，所述当前块根据非矩形分割模式被分割为第一分割和第二分割，所述第一运动信息集参考参考图片列表并且与所述第一分割相关联；
用于在对所述第一运动信息集进行编解码之后对所述当前块的第二运动信息集进行编解码的部件，所述第二运动信息集参考所述参考图片列表并且与所述第二分割相关联；
用于响应于所述第一运动信息集和所述第二运动信息集都参考所述参考图片列表而存储所述当前块的所述第二运动信息集的部件；以及
用于使用所存储的第二运动信息集来预测与所述当前块相邻的所述视频数据的后续块的后续运动信息的部件。
37.根据权利要求36所述的设备，其中，用于预测后续块的后续运动信息的部件包括：
用于为所述后续块形成运动预测候选列表的部件，包括将所述第二运动矢量添加到所述运动预测候选列表；
用于从所述运动预测候选列表中选择所述第二运动矢量的部件；以及
用于使用所述第二运动矢量预测所述后续块的所述后续运动信息的部件。
38.根据权利要求36所述的设备，还包括：
用于使用所述第一运动信息集和所述第二运动信息集生成所述当前块的预测块的部件；
用于对经量化的变换块进行逆量化和逆变换以生成所述当前块的残差块的部件；以及
用于组合所述残差块的样点与所述预测块的样点以对所述当前块进行解码的部件。
39.根据权利要求36所述的设备，还包括：
用于使用所述第一运动信息集和所述第二运动信息集生成所述当前块的预测块的部件；
用于从所述当前块的样点中减去所述预测块的样点以生成所述当前块的残差块的部件；以及
用于对所述残差块进行变换和量化以对所述当前块进行编码的部件。
CN202080039988.6A 2019-06-05 2020-06-05 使用非矩形预测模式来减少用于视频数据预测的运动场存储 Pending CN113892264A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962857584P 2019-06-05 2019-06-05
US62/857,584 2019-06-05
US201962861811P 2019-06-14 2019-06-14
US62/861,811 2019-06-14
US16/893,052 US11570442B2 (en) 2019-06-05 2020-06-04 Reducing motion field storage for prediction of video data using non-rectangular prediction modes
US16/893,052 2020-06-04
PCT/US2020/036330 WO2020247754A1 (en) 2019-06-05 2020-06-05 Reducing motion field storage for prediction of video data using non-rectangular prediction modes

Publications (1)

Publication Number Publication Date
CN113892264A true CN113892264A (zh) 2022-01-04

Family

ID=73650849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080039988.6A Pending CN113892264A (zh) 2019-06-05 2020-06-05 使用非矩形预测模式来减少用于视频数据预测的运动场存储

Country Status (7)

Country Link
US (1) US11570442B2 (zh)
EP (1) EP3981152A1 (zh)
CN (1) CN113892264A (zh)
BR (1) BR112021023530A2 (zh)
SG (1) SG11202112037UA (zh)
TW (1) TW202106021A (zh)
WO (1) WO2020247754A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024099024A1 (en) * 2022-11-11 2024-05-16 Mediatek Inc. Methods and apparatus of arbitrary block partition in video coding

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050283A1 (en) * 2018-09-07 2020-03-12 Panasonic Intellectual Property Corporation Of America System and method for video coding
US20200402546A1 (en) 2019-06-24 2020-12-24 Seagate Technology Llc Reducing base deck porosity
US11218718B2 (en) 2019-08-26 2022-01-04 Tencent America LLC Adaptive motion vector resolution signaling
CN114747213A (zh) * 2019-09-27 2022-07-12 Sk电信有限公司 用于获取关于从画面拆分的子单元的信息的方法和装置
US12047593B2 (en) * 2020-10-02 2024-07-23 Tencent America LLC Method and apparatus for video coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879632B2 (en) 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
US9699456B2 (en) * 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
KR20180082330A (ko) * 2017-01-09 2018-07-18 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US10742972B1 (en) * 2019-03-08 2020-08-11 Tencent America LLC Merge list construction in triangular prediction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024099024A1 (en) * 2022-11-11 2024-05-16 Mediatek Inc. Methods and apparatus of arbitrary block partition in video coding

Also Published As

Publication number Publication date
US20200389651A1 (en) 2020-12-10
EP3981152A1 (en) 2022-04-13
BR112021023530A2 (pt) 2022-01-25
WO2020247754A1 (en) 2020-12-10
TW202106021A (zh) 2021-02-01
SG11202112037UA (en) 2021-12-30
US11570442B2 (en) 2023-01-31

Similar Documents

Publication Publication Date Title
CN113196749B (zh) 用于译码视频数据的方法和设备
CN113748679B (zh) 用于视频编解码的帧内块复制合并数据语法
CN113812153B (zh) 用于视频译码的方法和设备
WO2020061490A1 (en) History-based motion vector prediction for affine mode
CN113508594A (zh) 视频编解码中三角形合并模式索引的信令
CN113812148A (zh) 用于视频译码的参考图片重采样和帧间译码工具
CN114128259A (zh) 用于视频译码的合并模式译码
CN113424542A (zh) 用于视频编解码中带有运动矢量差的合并模式的信令
WO2020069329A1 (en) Ultimate motion vector expression with adaptive directional information set
CN114128261A (zh) 用于视频译码的组合的帧间和帧内预测模式
KR20210093926A (ko) 비디오 코딩을 위한 삼각형 모션 정보
CN112534820B (zh) 信令通知子预测单元运动矢量预测器
US20190313115A1 (en) Decoder-side motion vector derivation for video coding
US11570442B2 (en) Reducing motion field storage for prediction of video data using non-rectangular prediction modes
US11064192B2 (en) Simplification of spatial-temporal motion vector prediction
US20200389656A1 (en) Decoder-side refinement tool on/off control
EP3922026A1 (en) Constrained affine motion inheritance for video coding
CN113170162A (zh) 用于视频译码的共享候选列表和并行候选列表推导
CN112673636A (zh) 将运动向量四舍五入以自适应运动向量差分辨率及提高视频译码中的运动向量存储精度
CN115191117A (zh) 视频编码中的参考图片列表和共位图片信令通知
CN114009039A (zh) 视频译码中的时间运动矢量预测候选的推导
KR20230135587A (ko) 비디오 코딩을 위한 모델-기반 모션 벡터 차이 도출및 템플릿 매칭 예측
CN114073079A (zh) 带有运动信息采集缓冲器的运动矢量预测
CN114009045A (zh) 视频译码中的dc帧内模式预测
WO2020068674A1 (en) Restrictions for the worst-case bandwidth reduction in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination