CN113661713B - 根据基于矩阵的帧内预测的变换编码 - Google Patents

Abstract

描述了用于数字视频编解码的设备、系统和方法，其包括用于视频编解码的基于矩阵的帧内预测方法。在代表性方面，用于视频处理的方法包括：根据规则执行视频的当前视频块和所述当前视频块的比特流之间的转换，其中，所述规则指定在所述转换期间基于矩阵的帧内预测(MIP)模式或变换模式的适用性之间的关系，其中，所述MIP模式包括：通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块，并且其中，所述变换模式指定为所述当前视频块的所述预测块的所述确定使用变换操作。

Description

根据基于矩阵的帧内预测的变换编码

相关申请的交叉引用

本申请是2020年4月13日提交的国际专利申请NO.PCT/CN2020/084472的中国国家阶段申请，本申请及时要求于2019年4月12日提交的国际专利申请号PCT/CN2019/082424的优先权和利益。将上述申请的全部公开以参考方式并入本文，作为本申请公开的一部分。

技术领域

本专利文件涉及视频编解码技术、设备和系统。

背景技术

尽管在视频压缩方面取得了进步，但在互联网和其他数字通信网络中，数字视频仍然是使用带宽最多的。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。

发明内容

描述了与数字视频编解码相关的设备、系统和方法，特别是用于视频编解码的基于矩阵的帧内预测方法。所述方法可应用于现有视频编解码标准(例如，高效视频编解码(HEVC))和未来视频编解码标准(例如，多功能视频编解码(VVC))或编解码器。

第一示例视频处理的方法包括：基于规则，使用第一过程来为视频的当前视频块和所述当前视频块的比特流之间的转换生成第一最可能模式(MPM)列表；以及使用所述第一MPM列表执行所述当前视频块和所述当前视频块的所述比特流之间的转换，其中，所述当前视频块的所述转换使用基于矩阵的帧内预测(MIP)模式，在所述MIP模式中，通过在所述视频的先前编解码样点上执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块，其中，所述规则指定用于生成所述第一MPM列表的所述第一过程与用于生成第二MPM列表的第二过程相同，所述第二MPM列表用于使用不同于所述MIP模式的非MIP帧内模式编解码的所述视频的其它视频块的所述转换，并且其中，基于所述第二MPM列表的至少一部分生成所述第一MPM列表的至少一部分。

第二示例视频处理的方法包括：基于规则为视频的当前视频块和所述当前视频块的比特流之间的转换生成最可能模式(MPM)列表，其中，所述规则基于所述当前视频块的临近视频块是否使用基于矩阵的帧内预测(MIP)模式编解码，在所述MIP模式中，通过在所述视频的先前编解码样点上执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述临近视频块的预测块；以及使用所述MPM列表执行所述当前视频块和所述当前视频块的所述比特流之间的所述转换，其中，所述转换将非MIP模式应用于所述当前视频块，并且其中，所述非MIP模式不同于所述MIP模式。

第三示例视频处理的方法包括：使用基于矩阵的帧内预测(MIP)模式解码在当前视频块的比特流中编解码的视频的所述当前视频块，在所述MIP模式中，通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块；以及在不在行缓冲器中存储指示所述当前视频块是否使用所述MIP模式编解码的信息的情况下，更新与所述解码相关联的所述行缓冲器。

第四示例视频处理的方法包括：执行当前视频块和所述当前视频块的比特流之间的所述转换，其中所述当前视频块是使用基于矩阵的帧内预测(MIP)模式编解码的，在所述MIP中，通过在所述视频的先前编解码样点上执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块，其中在算术编码或解码处理中，在所述比特流中使用最多K个上下文来编码标志，其中，所述标志指示所述当前视频块是否使用所述MIP模式编解码，并且其中，K大于或等于零。

第五示例视频处理的方法包括：为视频的当前视频块和所述当前视频块的比特流之间的转换，生成用基于矩阵的帧内预测(MIP)模式编解码的所述当前视频块的帧内预测模式，在所述MIP中，通过在所述视频的先前编解码样点上执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性的进行上采样操作来确定所述当前视频块的预测块；基于所述当前视频块是否使用所述MIP模式编解码来确定用于存储指示所述帧内预测模式的信息的规则；以及根据所述规则执行所述转换，其中，所述规则定义将所述帧内预测模式的语法元素存储在所述当前视频块的所述比特流中，并且其中，所述规则定义所述当前视频块的所述MIP模式的模式索引不存储在所述比特流中。

第六示例视频处理的方法包括：执行视频的亮度视频块是使用基于矩阵的帧内预测(MIP)模式编解码的第一确定，其中通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述亮度视频块的预测块；基于所述第一确定，执行要用于色度视频块的色度帧内模式与所述亮度视频块相关联的第二确定；以及基于所述第二确定执行所述色度视频块和所述色度视频块的比特流之间的转换。

第七示例视频处理的方法包括：执行视频的当前视频块和所述当前视频块的比特流之间的转换，其中，所述转换基于是否使用基于矩阵的帧内预测(MIP)模式对所述当前视频块进行编解码的确定，在所述MIP中，通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块。

第八示例视频处理的方法包括：根据规则，为将视频的当前视频块编码成所述当前视频块的比特流，确定是否使用基于矩阵的帧内预测(MIP)模式和不同于所述MIP模式的编解码模式来编码所述当前视频块，其中，所述MIP模式包括：通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块；以及基于所述确定将所述当前视频块的比特流添加到所述比特流中。

第九示例视频处理的方法包括：确定使用基于矩阵的帧内预测(MIP)模式和不同于所述MIP模式的编解码模式来将视频的当前视频块编码在比特流中，其中所述MIP模式包括：通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块；以及通过解析和解码所述比特流来生成所述当前视频块的解码表示。

第十示例视频处理的方法包括：确定在视频和当前视频块的比特流之间的转换中环路滤波器对所述视频的所述当前视频块的重构块的适用性，其中，所述当前视频块使用基于矩阵的帧内预测(MIP)模式编解码，在所述MIP模式中，通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地进行上采样操作来确定所述当前视频块的预测块；以及根据所述确定处理所述当前视频块。

第十一示例视频处理的方法包括：根据规则，为将视频的当前视频块编码为所述当前视频块的比特流，确定要使用的所述当前视频块的临近样点的类型；以及基于所述确定将所述当前视频块的比特流添加到所述比特流中，其中所述当前视频块使用基于矩阵的帧内预测(MIP)模式编码，在所述MIP模式中，通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块。

第十二示例视频处理的方法包括：根据规则，确定使用基于矩阵的帧内预测(MIP)模式并使用当前视频块的一种类型的临近样点来将视频的所述当前视频块编码在比特流中，其中，所述MIP模式包括：通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块；以及通过解析和解码所述比特流来生成所述当前视频块的解码表示。

第十三示例视频处理的方法包括：执行视频的当前视频块和所述当前视频块的比特流之间的转换，其中所述转换包括：通过使用基于矩阵的帧内预测(MIP)模式，通过使用样点的矩阵选择和应用矩阵乘法、和/或通过使用所述当前视频块的偏移矢量选择和添加偏移来生成所述当前视频块的预测块，其中，从所述视频的先前编解码样点的行和列平均中获得所述样点，并且其中，所述选择基于与在所述当前视频块的参考图片上应用亮度映射和色度缩放(LMCS)技术相关联的整形信息。

第十四示例视频处理的方法包括：确定将使用基于矩阵的帧内预测(MIP)模式对当前视频块进行编解码，在所述MIP模式中，通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块；以及基于所述确定执行所述当前视频块和所述当前视频块的比特流之间的所述转换，其中执行所述转换基于共同应用所述MIP模式和另一编解码技术的规则。

第十五示例视频处理的方法包括：使用基于矩阵的帧内预测(MIP)模式执行视频的当前视频块和所述当前视频块的比特流之间的转换，其中，使用所述MIP模式执行所述转换包括：通过使用从所述视频的先前编解码样点的行和列平均中获得的样点的矩阵应用矩阵乘法来生成预测块，并且其中，所述矩阵取决于样点的比特深度。

第十六示例视频处理的方法包括：使用基于矩阵的帧内预测(MIP)模式为视频的当前视频块生成中间预测信号，在所述MIP中，通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块；基于所述中间预测信号生成最终预测信号；以及基于所述最终预测信号执行所述当前视频块和所述当前视频块的比特流之间的转换。

第十七示例视频处理的方法包括：使用基于矩阵的帧内预测(MIP)模式执行视频的当前视频块和所述当前视频块的比特流之间的转换，其中所述执行所述转换包括：在所述MIP模式的上采样处理中使用插值滤波器，其中，在所述MIP模式中，将矩阵乘法应用于从所述视频的先前编解码样点的行和列平均中获得的第一组样点，并且将所述插值滤波器应用于从所述矩阵乘法获得的第二组样点，并且其中，所述插值滤波器不包括双线性插值滤波器。

第十八示例视频处理的方法包括：根据规则执行视频的当前视频块和所述当前视频块的比特流之间的转换，其中，所述规则指定在所述转换期间基于矩阵的帧内预测(MIP)模式或变换模式的适用性之间的关系，其中，所述MIP模式包括：通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块，并且其中，所述变换模式指定为所述当前视频块的所述预测块的所述确定使用变换操作。

第十九示例视频处理的方法包括：使用基于矩阵的帧内预测(MIP)模式执行视频的当前视频块和所述当前视频块的比特流之间的所述转换，在所述MIP模式中，通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块，其中执行所述转换包括：根据规则通过对至少一个参考边界样点的和应用左移位操作或右移位操作来导出边界样点，并且其中，所述规则确定是应用所述左移位操作还是所述右移位操作。

第二十示例视频处理的方法包括：使用基于矩阵的帧内预测(MIP)模式执行视频的当前视频块和所述当前视频块的比特流之间的所述转换，在所述MIP模式中，通过对所述视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块；其中，根据以下公式在所述上采样操作中确定所述预测样点predSamples[xHor+dX][yHor]：predSamples[xHor+dX][yHor]＝((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+offsetHor)/upHor，并且predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]+offsetVer)/upVer，其中，offsetHor和offsetVer是整数，其中，upHor是所述当前视频块宽度和基于所述当前视频块尺寸的预定义值的函数，其中，upVer是所述当前视频块高度和基于所述当前视频块尺寸的预定义值的函数；其中，dX是1…upHor-1，其中，dY是1…upVer-1，并且其中，xHor是基于所述upHor的位置，并且yHor是基于所述upVer的位置。

第二十一示例视频处理的方法包括：为视频的当前视频块和所述当前视频块的比特流之间的转换，生成用基于矩阵的帧内预测(MIP)模式编解码的所述当前视频块的帧内预测模式，在所述MIP中，通过在所述视频的先前编解码样点上执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性的进行上采样操作来确定所述当前视频块的预测块；基于所述当前视频块是否使用所述MIP模式编解码来确定用于存储指示所述帧内预测模式的信息的规则；以及根据所述规则执行所述转换，其中，所述规则定义所述比特流不包括指示与所述当前视频块相关联的所述MIP模式的信息的存储。

在又一代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该示例性方法包括：确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的；基于所述确定，基于非ALWIP帧内模式的MPM列表的至少一部分来构造ALWIP模式的最可能模式(MPM)列表的至少一部分；以及基于ALWIP模式的MPM列表执行当前视频块和当前视频块的比特流之间的转换。

在另一代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该示例性方法包括：确定当前视频块的亮度分量是使用仿射线性加权帧内预测(ALWIP)模式编解码的；基于确定推断色度帧内模式；以及基于色度帧内模式执行当前视频块和当前视频块的比特流之间的转换。

在另一代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该示例性方法包括：确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的；以及基于确定执行当前视频块和当前视频块的比特流之间的转换。

在另一代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该示例性方法包括：确定当前视频块是使用不同于仿射线性加权帧内预测(ALWIP)模式的编解码模式编解码的；以及基于确定执行当前视频块和当前视频块的比特流之间的转换。

在又一代表性方面，上述方法以处理器可执行代码的形式实施，并且存储在计算机可读的程序介质中。

在又一代表性方面，公开了一种设备，其被配置为或可操作以执行上述方法。该设备可以包括被编程以实现该方法的处理器。

在又一代表性方面，一种视频解码器装置，其可以实现如本文所述的方法。

在附图、说明书和权利要求书中更详细地描述了所公开技术的上述方面、以及其他方面和特征。

附图说明

图1示出了33种帧内预测方向的示例。

图2示出了67种帧内预测模式的示例。

图3示出了用于推导线性模型的权重的样点的位置的示例。

图4示出了与预测块临近的四条参考行的示例。

图5A和图5B示出了取决于块尺寸的子分割的示例。

图6示出了4×4块的ALWIP的示例。

图7示出了8×8块的ALWIP的示例。

图8示出了8×4块的ALWIP的示例。

图9示出了16×16块的ALWIP的示例。

图10示出了在MPM列表构造中使用的临近块的示例。

图11示出了根据所公开的技术的基于矩阵的帧内预测的示例方法的流程图。

图12示出了根据所公开的技术的基于矩阵的帧内预测的另一示例方法的流程图。

图13示出了根据所公开的技术的基于矩阵的帧内预测的又一示例方法的流程图。

图14示出了根据所公开的技术的基于矩阵的帧内预测的又一示例方法的流程图。

图15是用于实现本文中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。

图16是示出了其中可以实现本文公开的各种技术的示例视频处理系统的框图。

图17是示出了可利用本公开的技术的示例性视频编解码系统的框图。

图18是示出了视频编码器的示例的框图。

图19是示出了视频解码器的示例的框图。

图20至38示出了根据所公开的技术的基于矩阵的帧内预测的附加示例方法的示例流程图。

具体实施方式

由于对高分辨率视频的需求持续增长，视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且正在不断改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂度、对数据丢失和错误的敏感度、易于编辑、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，高效视频编解码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待定的多功能视频编解码(VVC)标准，或其他当前和/或未来的视频编解码标准。

所公开技术的实施例可以应用于现有的视频编解码标准(例如，HEVC，H.265)和未来的标准，以改进运行时间性能。为了提高描述的可读性，在本文中使用了章节标题，并且不以任何方式将讨论或实施例(和/或实现)仅限于各个章节。

1.HEVC简介

1.1 HEVC/H.265中的帧内预测

帧内预测涉及使用先前在所考虑的颜色通道中重构的样点为给定TB(变换块)生成样点。为亮度和色度通道单独地信令通知帧内预测模式，其中色度通道帧内预测模式可替代地经由“DM_CHROMA”模式取决于亮度通道帧内预测模式。尽管在PB(预测块)级信令通知帧内预测模式，但是根据CU的残差四叉树层次结构在TB级应用帧内预测处理，从而允许一个TB的编解码对CU内的下一个TB的编解码产生影响，因此减少了与用作参考值的样点之间的距离。

HEVC包括35种帧内预测模式：DC模式、平面(Planar)模式和33方向、或“角度”帧内预测模式。图1示出了33种角度帧内预测模式。

对于与色度通道相关联的PB，将帧内预测模式指定为平面(Planar)、DC、水平、垂直、“DM_CHROMA”模式(或有时为对角模式“34”)。

注意，对于色度格式4:2:2和4:2:0，色度PB可以重叠两个或四个(分别)亮度PB；在这种情况下，DM_CHROMA的亮度方向取自这些亮度PB的左上角。

DM_CHROMA模式指示将亮度颜色通道PB的帧内预测模式应用于色度通道PB。由于这是相对常见的，所以intra_chroma_pred_mode的最可能模式编解码方案偏向于选择这种模式。

2.VVC中帧内预测的示例

2.1采用67种帧内预测模式的帧内模式编解码

为了捕获自然视频中呈现的任意边缘方向，将方向帧内模式的数量从HEVC中使用的33个扩展到65个。在图2中，附加的方向模式被描绘为红色虚线箭头，并且平面(Planar)模式和DC模式保持相同。这些更密集的方向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。

2.2交叉分量线性模型(CCLM)的示例

在一些实施例中，为了减少交叉分量冗余，在JEM中使用交叉分量线性模型(CCLM)预测模式(也称为LM)，对于该模式，通过使用如下所示的线性模型、基于相同CU的重构亮度样点来预测色度样点：

pred_C(i,j)＝α·rec_L′(i,j)+β (1)

这里，pred_C(i,j)表示CU中的预测色度样点，并且rec_L′(i,j)表示同一CU的下采样重构亮度样点。线性模型参数α和β是从两个样点的亮度值和色度值之间的关系导出的，这两个样点是下采样临近亮度样点的集合中具有最小样点值的亮度样点和具有最大样点值的亮度样点，以及它们对应的色度样点。图3示出了CCLM模式中所涉及的左侧和上方样点以及当前块的样点的位置的示例。

该参数计算是作为解码处理的一部分执行的，而不仅仅是作为编码器搜索操作。因此，不使用语法将α和β值传递给解码器。

对于色度帧内模式编解码，色度帧内模式编解码总共允许8个帧内模式。这些模式包括五种传统的帧内模式和三种交叉分量线性模型模式(CCLM、LM_A和LM_A)。色度模式编解码直接取决于对应亮度块的帧内预测模式。由于在I条带中启用了亮度和色度分量的单独块分割结构，因此一个色度块可以对应于多个亮度块。因此，对于色度DM模式，直接继承覆盖当前色度块中心位置的对应亮度块的帧内预测模式。

2.3多参考行(MRL)帧内预测

多参考行(MRL)帧内预测使用更多参考行进行帧内预测。在图4中，描绘了4个参考行的示例，其中段A和F的样点不是从重构的临近样点中取得的，而是分别用段B和段E的最近样点填充的。HEVC帧内预测使用最近的参考行(即，参考行0)。在MRL中，使用了附加的两个参考行(参考行1和参考行3)。所选参考行的索引(mrl_idx)被信令通知并用于生成帧内预测器。对于大于0的参考行idx，在MPM列表中只包括附加的参考行模式，并且只信令通知没有其余模式的MPM索引。

2.4帧内子分割(ISP)

帧内子分割(ISP)工具根据块尺寸将亮度帧内预测块垂直或水平地划分为2或4个子分割。例如，ISP的最小块尺寸为4x8(或8x4)。如果块尺寸大于4x8(或8x4)，则将相应的块划分4个子分割。图5示出了两种可能性的示例。所有子分割分满足具有至少16个样点的条件。

对于每个子分割，通过将残差信号加到预测信号中来获得重构样点。这里，通过诸如熵解码、逆量化和逆变换等处理产生残差信号。因此，每个子分割的重构样点值可用于生成下一个子分割的预测，并且每个子分割被重复处理。此外，要处理的第一个子分割是包含CU左上角样点的分割，然后继续向下(水平划分)或向右(垂直划分)。结果，用于生成子分割预测信号的参考样点仅位于线(line)的左侧和上方。所有子分割分共享相同的帧内模式。

2.5仿射线性加权帧内预测(ALWIP或基于矩阵的帧内预测)

在JVET-N0217提出了仿射线性加权帧内预测(ALWIP，又称基于矩阵的帧内预测(MIP))。

在JVET-N0217中，进行了两次测试。在测试1中，将ALWIP设计为8K字节的内存限制，并且每个样点最多4次乘法。测试2与测试1类似，但在内存需求和模型架构方面进一步缩减了设计。

ο所有块形状的单个矩阵集合和偏移矢量。

ο所有块形状的模式数量减少至19个。

ο将内存需求减少到5760个10比特值，即7.20个千字节。

ο在每个方向的单个步骤中执行预测样点的线性插值，替代第一测试中的迭代插值。

2.5.1 JVET-N0217的测试1

对于宽度W和高度H的矩形块的样点预测，仿射线性加权帧内预测(ALWIP)以块左侧的一行H个重构的临近边界样点和块上方的一行W个重构的临近边界样点作为输入。如果重构的样点不可用，则像在传统帧内预测中那样将其生成。

预测信号的生成基于以下三个步骤：

在W＝H＝4的情况下，通过平均从边界样点中提取四个样点，并且在其它情况下，通过平均从边界样点中提取八个样点。

以平均的样点为输入执行矩阵矢量乘法，然后加上偏移。结果是在原始块中的子采样集上的缩减的预测信号。

通过线性插值从子采样集合上的预测信号生成其余位置处的预测信号，所述线性插值是每个方向中的单步线性插值。

生成预测信号所需的矩阵和偏移矢量取自三个矩阵集合S₀,S₁，S₂。集合S₀由18个矩阵组成，其中每个矩阵有16行4列、以及18个每个尺寸为16的偏移矢量该集合的矩阵和偏移矢量用于尺寸为4×4的块。集合S₁由10个矩阵组成，其中每个矩阵有16行8列、以及10个每个尺寸为16的偏移矢量该集合的矩阵和偏移矢量用于尺寸为4×8、8×4和8×8的块。最后，集合S₂由6个矩阵/> 组成，其中每个矩阵有64行8列、以及尺寸为64的6个偏移矢量/>该集合的矩阵和偏移矢量或这些矩阵和偏移矢量的一部分用于所有其他块形状。

计算矩阵矢量积所需的乘法总数总是小于或等于4×W×H。换句话说，对于ALWIP模式，每个样点最多需要四个乘法。

2.5.2边界的平均

在第一步中，将输入边界bdry^top和bdry^left降为更小的边界和这里，在4×4块的情况下，/>和/>都由两个样点组成，并且在所有其他情况下，/>和/>都由4个样点组成。

在4×4块的情况下，对于0≤i<2，定义

并且类似地定义

否则，如果快宽度W为W＝4·2^k,0≤i<4，那么定义：

将两个缩减的边界和/>级联成缩减的边界矢量bdry_red，因此，对于形状为4×4的块，bdry_red的尺寸为4，并且对于所有其他形状的块，bdry_red的尺寸为8。如果模式指的是ALWIP模式，则级联定义如下：

最后，对于子采样预测信号的插值，在大的块上需要平均边界的第二版本。即，如果min(W,H)>8并且W≥H，则写为W＝8*2^l，并且对于0≤i<8，定义

如果min(W,H)>8并且H>W，则类似地定义

2.5.3通过矩阵矢量乘法生成缩减的预测信号

从缩减的输入矢量bdry_red生成缩减的预测信号pred_red。后一个信号是宽度为W_red和高度为H_red的下采样块上的信号。这里，W_red和H_red定义为：

通过计算矩阵矢量积并加上偏移来计算缩减的预测信号：

pred_red＝A·bdry_red+b

这里，如果W＝H＝4，则A是具有W_red·H_red行和4列的矩阵，并且在所有其他情况下，A是具有W_red·H_red行和8列的矩阵。b是尺寸为W_red·H_red的矢量。

矩阵A和矢量b取自集合S₀,S₁,S₂中的一个，如下所示。如下定义索引idx＝idx(W,H)：

此外，如下设置m：

然后，如果idx≤1或idx＝2且min(W,H)>4，则设置并且/>在idx＝2并且min(W,H)＝4的情况下，将A设置为：在W＝4的情况下去掉对应于下采样块中的奇数x坐标的/>的每个行而生成的矩阵，或者在H＝4的情况下去掉对应于下采样块中的奇数y坐标的/>的每个行而生成的矩阵。

最后，在以下情况下，用其转置来替换缩减的预测信号：

οW＝H＝4并且mode≥18

οmax(W,H)＝8并且mode≥10

οmax(W,H)>8并且mode≥6

在W＝H＝4的情况下，计算pred_red所需的乘法数为4，因为在这种情况下，A具有4列16行。在所有其他情况下，A具有8列和W_red·H_red行，并且立即确认在这些情况下需要8·W_red·H_red≤4·W·H个乘法，也就是说，在这些情况下，每个样点最多需要4个乘法来计算pred_red。

2.5.4整个ALWIP处理的说明

图6至9中示出了不同形状的平均、矩阵矢量乘法和线性插值的整个处理。注意，其余的形状被视为所描述的情况之一。

1.给定4×4的块，ALWIP沿边界的每个轴取两次平均。得到的四个输入样点进入矩阵矢量乘法。矩阵取自集合S₀。在加上偏移之后，生成16个最终预测样点。生成预测信号不需要线性插值。因此，对每个样点总共执行(4·16)/(4·4)＝4次乘法。

2.给定8×8的块，ALWIP沿着边界的每个轴取四次平均。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合S₁。这在预测块的奇数位置产生16个样点。因此，每个样点总共执行(8·16)/(8·8)＝2次乘法。添加偏移后，通过使用缩减的顶部边界对这些样点进行垂直插值。接着通过使用原始左侧边界进行水平插值。

3.给定8×4的块，ALWIP沿边界的水平轴取四次平均、并在左边界上取四个原始边界值。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合S₁。这在预测块的奇数水平位置和每个垂直位置产生16个样点。因此，每个样点总共执行(8·16)/(8·4)＝4次乘法。添加偏移后，通过使用原始左边界对这些样点进行水平插值。

4.给定16×16的块，ALWIP沿着边界的每个轴取四次平均。得到的八个输入样点进入矩阵矢量乘法。矩阵取自集合S₂。这在预测块的奇数位置产生64个样点。因此，每个样点总共执行(8·64)/(16·16)＝2次乘法。添加偏移后，通过使用顶部边界的八个平均值垂直插值这些样点。接着通过使用原始左边界进行水平插值。在这种情况下，插值处理不增加任何乘法。因此，每个样点总共需要两次乘法来计算ALWIP预测。

对于更大的形状，流程基本相同，并且很容易检查每个样点的乘法数小于4。

对于W>8的W×8块，由于在奇数水平和每个垂直位置处给出了样点，因此只需要水平插值。

最后，对于W>8的W×4块，设A_k为通过沿下采样块的水平轴去掉对应于奇数项的每一行而产生的矩阵。因此，输出尺寸是32并且再次，只剩下水平插值需要执行。

对转置的情况进行对应的处理。

2.5.5单步线性插值

对于max(W,H)≥8的W×H块，通过线性插值从W_red×H_red的缩减的预测信号pred_red生成预测信号。取决于块形状，在垂直、水平或两个方向上进行线性插值。如果要在两个方向上应用线性插值，如果W<H，则首先在水平方向应用线性插值，否则首先在垂直方向应用线性插值。

在不丧失通用性的情况下，考虑max(W,H)≥8且W≥H的W×H块。然后，按如下方式执行一维线性插值。在不丧失通用性的情况下，描述垂直方向上的线性插值就足够了。首先，通过边界信号将缩减的预测信号扩展到顶部。定义垂直上采样因子U_ver＝H/H_red并且写入然后，如下定义扩展的缩减预测信号：

然后，从这个扩展的缩减预测信号中，如下生成垂直线性插值预测信号：

其中0≤x<W_red，0≤y<H_red并且0≤k<U_ver。

2.5.6提议的帧内预测模式的信令

对于帧内模式中的每个编解码单元(CU)，在比特流中发送指示是否要在对应的预测单元(PU)上应用ALWIP模式的标志。后一索引的信令与与在JVET-M0043中一样的方式和MRL保持一致。如果要应用ALWIP模式，则将使用具有3个MPM的MPM列表信令通知ALWIP模式的索引predmode。

这里，如下使用上方和左侧PU的帧内模式执行MPM的推导。有三个固定的表map_angular_to_alwip_idx，idx∈{0,1,2}，其分配给每个传统的帧内预测模式predmode_Angular和ALWIP模式。

predmode_ALWIP＝map_angular_to_alwip_idx[predmode_Angular].

对于每个宽度为W且高度为H的PU，定义索引：

Idx(PU)＝idx(W,H)∈{0,1,2}

该索引指示将从三个集合中的哪个中取得ALWIP参数，如在2.5.3节中所述。

如果上方预测单元PU_above可用、与当前PU属于相同的CTU并且处于帧内模式，如果idx(PU)＝idx(PU_above)，并且如果将ALWIP应用于ALWIP模式的PU_above，则令

如果上方PU可用、与当前PU属于相同的CTU并且处于帧内模式，并且如果对上方PU应用传统帧内预测模式则令

在所有其他情况下，令

这意味着该模式不可用。以同样的方式，但不受左PU必须与当前PU属于相同的CTU的限制，导出了模式

最后，给出三个固定的默认列表list_idx,idx∈{0,1,2}，每个列表包含三个不同的ALWIP模式。从默认列表list_idx(PU)和模式中，通过用默认值替换-1并消除重复，构造出三个不同的MPM。

在ALWIP MPM列表构造中使用的左侧临近块和上方临近块A1和B1，如图10所示。

2.5.7传统亮度和色度帧内预测模式的自适应MPM列表推导

所提出的ALWIP模式与传统帧内预测模式的基于MPM的编解码一致，如下所述。传统帧内预测模式的亮度和色度MPM列表推导处理使用固定表map_alwip_to_angular_idx,idx∈{0,1,2}，将给定PU上的ALWIP模式predmode_ALWIP映射到传统帧内预测模式

predmode_Angular＝map_alwip_to_angular_idx(PU)[predmode_ALwIP]

对于亮度MPM列表推导，每当遇到使用ALWIP模式prdemode_ALWIP的临近亮度块时，该块被视为使用传统帧内预测模式predmode_Angular。对于色度MPM列表推导，每当当前亮度块使用LWIP模式时，使用相同的映射将ALWIP模式转换为传统的帧内预测模式。

2.5.8对应的修改工作草案

在一些实施例中，如本节所述，基于所公开技术的实施例，已将与intra_lwip_flag、intra_lwip_mpm_flag、intra_lwip_mpm_idx和intra_lwip_mpm_remainder相关的部分添加到了工作草案中。

在一些实施例中，如本节所述，<开始>和<结束>标记用于表示基于所公开技术的实施例对工作草案的添加和修改。

语法表

编解码单元语法

语义

<开始>intra_lwip_flag[x0][y0]等于1指定亮度样点的帧内预测类型是仿射线性加权帧内预测。intra_lwip_flag[x0][y0]等于0指定亮度样点的帧内预测类型不是仿射线性加权帧内预测。

当intra_lwip_flag[x0][y0]不存在时，推断它等于0。

语法元素intra_lwip_mpm_flag[x0][y0],intra_lwip_mpm_idx[x0][y0]和intra_lwip_mpm_remainder[x0][y0]指定亮度样点的仿射线性加权帧内预测模式。阵列索引x0，y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。当intra_lwip_mpm_flag[x0][y0]等于1时，根据第8.4.X条从临近的帧内预测编解码单元推断仿射线性加权帧内预测模式。

当intra_lwip_mpm_flag[x0][y0]不存在时，推断它等于1。<结束>

intra_subpartitions_split_flag[x0][y0]指定帧内子分割划分类型是水平还是垂直。当intra_subpartitions_split_flag[x0][y0]不存在时，将其推断如下：

–如果intra_lwip_flag[x0][y0]等于1，则推断intra_subpartitions_split_flag[x0][y0]等于0。

–否则，以下适用：

–如果cbHeight大于MaxTbSizeY，则推断intra_subpartitions_split_flag[x0][y0]等于0。

–否则(cbWidth大于MaxTbSizeY)，推断intra_subpartitions_split_flag[x0][y0]等于1。

解码处理

8.4.1用于以帧内预测模式编解码的编解码单元的通用解码处理

该处理的输入是：

–指定当前编解码块的左上样点相对于当前图片的左上亮度样点的亮度位置(xCb，yCb)，

–变量cbWidth，其指定亮度样点中当前编解码块的宽度，

–变量cbHeight，其指定亮度样点中当前编解码块的高度，

–变量treeType，其指定是使用单树还是双树，并且如果使用双树，则指定当前树是否对应于亮度或色度分量。

该处理的输出是在环内滤波之前的修改的重构图像。

以亮度位置(xCb，yCb)、亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight、以及变量treeType作为输入，调用第8.7.1条中指定的量化参数的推导处理。

当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_LUMA时，亮度样点的解码处理指定如下：

–如果pcm_flag[xCb][yCb]等于1，则对重构图片进行如下修改：

S_L[xCb+i][yCb+j]＝

pcm_sample_luma[(cbHeight*j)+i]<<(BitDepth_Y-PcmBitDepth_Y),(8-6)

其中i＝0..cbWidth-1,j＝0..cbHeight-1

–否则，以下适用：

1.亮度帧内预测模式推导如下：

–如果intra_lwip_flag[xCb][yCb]等于1，则以亮度位置(xCb，yCb)、亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight作为输入，调用第8.4.X条中指定的仿射线性加权帧内预测模式的推导处理。

–否则，以亮度位置(xCb，yCb)、亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight作为输入，调用第8.4.2条中指定的亮度帧内预测模式的推导处理。

2.以亮度位置(xCb，yCb)、树类型treeType、设置为等于cbWidth的变量nTbW、设置为等于cbHeight的变量nTbH、设置为等于IntraPredModeY[xCb][yCb]的变量predModeIntra、以及设置为等于0的变量cIdx作为输入，调用第8.4.4.1条中指定的帧内块的通用解码处理，并且输出是在环内滤波之前的修改的重构图像。

…

<开始>

8.4.X仿射线性加权帧内预测模式的推导处理

该处理的输入是：

–指定当前编解码块的左上样点相对于当前图片的左上亮度样点的亮度位置(xCb，yCb)，

–变量cbWidth，其指定亮度样点中当前编解码块的宽度，

–变量cbHeight，其指定亮度样点中当前编解码块的高度，

在该处理中，导出了仿射线性加权帧内预测模式IntraPredModeY[xCb][yCb]。

由以下顺序步骤导出IntraPredModeY[xCb][yCb]：

1.将临近位置(xNbA，yNbA)和(xNbB，yNbB)分别设置为等于(xCb-1，yCb)和(xCb，yCb-1)。

2.对于被A或B替换的X，变量candLwipModeX导出如下：

–将设置为等于(xCb，yCb)的位置(xCurr，yCurr)、以及设置为等于(xNbX，yNbX)的临近位置(xNbY，yNbY)作为输入，调用第6.4.X条[Ed.(BB)：临近块可用性检查处理(待定)]中指定的块的可用性推导处理，并将输出分配给availableX。

–候选仿射线性加权帧内预测模式candLwipModeX导出如下：

–如果以下一个或多个条件为真(TRUE)，则将candLwipModeX设置为等于-1。

–变量availableX等于假(FALSE)。

–CuPredMode[xNbX][yNbX]不等于MODE_INTRA，并且mh_intra_flag[xNbX][yNbX]不等于1。

–pcm_flag[xNbX][yNbX]等于1。

–X等于B，并且yCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)。

–否则，以下适用：

–以亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight作为输入，调用第8.4.X.1条中指定的块的尺寸类型推导处理，并将输出分配给变量sizeId。

–如果intra_lwip_flag[xNbX][yNbX]等于1，则以亮度样点中临近编解码块的宽度nbWidthX和亮度样点中临近编解码块的高度nbHeightX作为输入，调用第8.4.X.1条中指定的块的尺寸类型推导处理，并将输出分配给变量sizeIdX。

–如果sizeId等于sizeIdX，则将candLwipModeX设置为等于IntraPredModeY[xNbX][yNbX]。

–否则，将candLwipModeX设置为等于-1。

–否则，使用表8-X1中指定的IntraPredModeY[xNbX][yNbX]和sizeId来导出candLwipModeX。

3.通过使用如表8-X2中指定的lwipMpmCand[sizeId]，则candLwipModeList[x](x＝0..2)推导如下：

–如果candLwipModeA和candLwipModeB都等于-1,则以下适用：

candLwipModeList[0]＝lwipMpmCand[sizeId][0] (8-X1)

candLwipModeList[1]＝lwipMpmCand[sizeId][1] (8-X2)

candLwipModeList[2]＝lwipMpmCand[sizeId][2] (8-X3)

–否则，以下适用：

–如果candLwipModeA等于candLwipModeB，或如果candLwipModeA或candLwipModeB中任一个等于-1,则以下适用：

candLwipModeList[0]＝(candLwipModeA！＝-1)？candLwipModeA:candLwipModeB(8-X4)

–如果candLwipModeList[0]等于lwipMpmCand[sizeId][0],则以下适用：

candLwipModeList[1]＝lwipMpmCand[sizeId][1] (8-X5)

candLwipModeList[2]＝lwipMpmCand[sizeId][2] (8-X6)

–否则，则以下适用：

candLwipModeList[1]＝lwipMpmCand[sizeId][0] (8-X7)

candLwipModeList[2]＝(candLwipModeList[0]！＝lwipMpmCand[sizeId][1])？

lwipMpmCand[sizeId][1]:lwipMpmCand[sizeId][2] (8-X8)

–否则，以下适用：

candLwipModeList[0]＝candLwipModeA (8-X9)

candLwipModeList[1]＝candLwipModeB (8-X10)

–如果candLwipModeA和candLwipModeB都不等于lwipMpmCand[sizeId][0],则以下适用：

candLwipModeList[2]＝lwipMpmCand[sizeId][0] (8-X11)

–否则，以下适用：

–如果candLwipModeA和candLwipModeB都不等于lwipMpmCand[sizeId][1],则以下适用：

candLwipModeList[2]＝lwipMpmCand[sizeId][1] (8-X12)

–否则，以下适用：

candLwipModeList[2]＝lwipMpmCand[sizeId][2] (8-X13)

4.通过应用以下步骤来导出IntraPredModeY[xCb][yCb]：

–如果intra_lwip_mpm_flag[xCb][yCb]等于1,则将IntraPredModeY[xCb][yCb]设置为等于candLwipModeList[intra_lwip_mpm_idx[xCb][yCb]]。

–否则，通过应用以下顺序步骤来导出IntraPredModeY[xCb][yCb]：

1.如果candLwipModeList[i]大于candLwipModeList[j](i＝0..1并且对于每个i,j＝(i+1)..2)，则如下交换两个值：

(candLwipModeList[i],candLwipModeList[j])＝Swap(candLwipModeList[i],candLwipModeList[j]) (8-X14)

2.通过以下顺序步骤来导出IntraPredModeY[xCb][yCb：

i.将IntraPredModeY[xCb][yCb]设置为等于intra_lwip_mpm_remainder[xCb][yCb].

ii.对于i等于0至2(包括0和2)，如果IntraPredModeY[xCb][yCb]大于或等于candLwipModeList[i],则IntraPredModeY[xCb][yCb]的值增加1。

将变量IntraPredModeY[x][y](x＝xCb..xCb+cbWidth-1并且y＝yCb..yCb+cbHeight-1)设置为等于IntraPredModeY[xCb][yCb]。

8.4.X.1用于预测块尺寸类型的推导处理

该处理的输入是：

-变量cbHeight，其指定亮度样点中当前编解码块的高度。

-变量cbWidth，其指定亮度样点中当前编解码块的宽度，

该处理的输出是变量sizeId。

变量sizeId推导如下：

–如果cbWidth和cbHeight都等于4，则将sizeId设置为等于0。

–否则，如果cbWidth和cbHeight小于或等于8，则将sizeId设置为等于1。

–否则，将sizeId设置为等于2。

表8-X1帧内预测和仿射线性加权帧内预测模式之间的映射规范

表8-X2仿射线性加权帧内预测候选模式的规范

<结束>

8.4.2亮度帧内预测模式的推导处理

该处理的输入是：

–指定当前编解码块的左上样点相对于当前图片的左上亮度样点的亮度位置(xCb，yCb)，

–变量cbWidth，其指定亮度样点中当前编解码块的宽度，

–变量cbHeight，其指定亮度样点中当前编解码块的高度，

在该处理中，导出了亮度帧内预测模式IntraPredModeY[xCb][yCb]。

表8-1指定了帧内预测模式IntraPredModeY[xCb][yCb]的值和相关名称。

表8-1帧内预测模式和相关名称的规范

帧内预测模式	相关名称
		0	INTRA_PLANAR
1	INTRA_DC
		2..66	INTRA_ANGULAR2..INTRA_ANGULAR66
81..83	INTRA_LT_CCLM,INTRA_L_CCLM,INTRA_T_CCLM

注意：帧内预测模式INTRA_LT_CCLM,INTRA_L_CCLM和INTRA_T_CCLM仅适用于色度分量。

通过如下顺序步骤导出IntraPredModeY[xCb][yCb]：

1.将临近位置(xNbA，yNbA)和(xNbB，yNbB)分别设置为(xCb-1，yCb+cbHeight-1)和(xCb+cbWidth-1，yCb-1)。

2.对于被A或B替换的X，变量candIntraPredModeX导出如下：

–将设置为等于(xCb，yCb)的位置(xCurr，yCurr)、以及设置为等于(xNbX，yNbX)的临近位置(xNbY，yNbY)作为输入，调用<开始>第6.4.X条[Ed.(BB)：临近块可用性检查处理(待定)]<结束>中指定的块的可用性推导处理，并将输出分配给availableX。

–候选帧内预测模式candIntraPredModeX导出如下：

–如果以下一个或多个条件为真(TRUE)，则将candIntraPredModeX设置为等于INTRA_PLANAR。

–变量availableX等于假(FALSE)。

–CuPredMode[xNbX][yNbX]不等于MODE_INTRA，并且ciip_flag[xNbX][yNbX]不等于1。

–pcm_flag[xNbX][yNbX]等于1。

–X等于B，并且yCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)。

–否则，candIntraPredModeX推导如下：

–如果intra_lwip_flag[xCb][yCb]等于1，则通过以下顺序步骤推导candIntraPredModeX：

i.以亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight作为输入，调用第8.4.X.1条中指定的块的尺寸类型推导处理，并将输出分配给变量sizeId。

ii.使用表8-X3中指定的IntraPredModeY[xNbX][yNbX]和sizeId推导candIntraPredModeX。

–否则，将candIntraPredModeX设置为等于IntraPredModeY[xNbX][yNbX]。

3.变量ispDefaultMode1和ispDefaultMode2定义如下：

–如果IntraSubPartitionsSplitType等于ISP_HOR_SPLIT，则将ispDefaultMode1设置为等于INTRA_ANGULAR18，并将ispDefaultMode2设置为等于INTRA_ANGULAR5。

–否则，将ispDefaultMode1设置为等于INTRA_ANGULAR50，并将ispDefaultMode2设置为等于INTRA_ANGULAR63。

…

表8-X3仿射线性加权帧内预测和帧内预测模式之间的映射规范

8.4.3色度帧内预测模式的推导处理

该处理的输入是：

–指定当前色度编解码块的左上样点相对于当前图片的左上亮度样点的亮度位置(xCb，yCb)，

–变量cbWidth，其指定亮度样点中当前编解码块的宽度，

–变量cbHeight，其指定亮度样点中当前编解码块的高度，

在该处理中，导出了色度帧内预测模式IntraPredModeC[xCb][yCb]。

对应的亮度帧内预测模式lumaIntraPredMode导出如下：

–如果intra_lwip_flag[xCb][yCb]等于1，则通过以下顺序步骤导出lumaIntraPredMode：

i.以亮度样点中当前编解码块的宽度cbWidth和亮度样点中当前编解码块的高度cbHeight作为输入，调用第8.4.X.1条中指定的块的尺寸类型推导处理，并将输出分配给变量sizeId。

ii.使用表8-X3中指定的IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]和sizeId推导亮度帧内预测模式，并将candIntraPredModeX的值分配给lumaIntraPredMode。

–否则，将lumaIntraPredMode设置为等于IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]。

使用表8-2和表8-3中指定的intra_chroma_pred_mode[xCb][yCb]和lumaIntraPredMode导出色度帧内预测模式IntraPredModeC[xCb][yCb]。

…

xxx.帧内样点预测

该处理的输入是：

–指定当前变换块的左上样点相对于当前图片的左上样点的样点位置(xTbCmp，yTbCmp)，

–变量predModeIntra，其指定帧内预测模式，

–变量nTbW，其指定变换块宽度，

–变量nTbH，其指定变换块高度，

–变量nCbW，其指定编解码块宽度，

–变量nCbH，其指定编解码块高度，

–变量cIdx，其指定当前块的颜色分量。

该处理的输出是预测样点predSamples[x][y](x＝0..nTbW-1,y＝0..nTbH–1)。

预测样点predSamples[x][y]导出如下：

–如果intra_lwip_flag[xTbCmp][yTbCmp]等于1且cIdx等于0，则以位置(xTbCmp，yTbCmp)、帧内预测模式predModeIntra、变换块宽度nTbW和高度nTbH作为输入，调用第8.4.4.2.X1条中指定的仿射线性加权帧内样点预测处理，并且输出为predSamples。

–否则，以位置(xTbCmp，yTbCmp)、帧内预测模式predModeIntra、变换块宽度nTbW和高度nTbH、编解码块宽度nCbW和高度nCbH以及变量cIdx作为输入，调用第8.4.4.2.X1条中指定的通用帧内样点预测处理，并且输出为predSamples。

8.4.4.2.X1仿射线性加权帧内样点预测

该处理的输入是：

–指定当前变换块的左上样点相对于当前图片的左上样点的样点位置(xTbCmp，yTbCmp)，

–变量predModeIntra，其指定帧内预测模式，

–变量nTbW，其指定变换块宽度，

–变量nTbH，其指定变换块高度。

该处理的输出是预测样点predSamples[x][y](x＝0..nTbW-1,y＝0..nTbH–1)。

以变换块宽度nTbW和变换块高度nTbH作为输入，调用第8.4.X.1条中指定的块的尺寸类型推导处理，并将输出分配给变量sizeId。

如表8-X4中规定的，使用sizeId导出变量numModes、boundarySize、predW、predH和predC。

表8-X4取决于sizeId的模式数量、边界样点尺寸和预测尺寸的规范

标志isTransposed导出如下：

isTransposed＝(predModeIntra>(numModes/2))？1:0 (8-X15)

标志needUpsBdryHor和needUpsBdryVer导出如下：

needUpsBdryHor＝(nTbW>predW)？真(TRUE):假(FALSE) (8-X16)

needUpsBdryVer＝(nTbH>predH)？真(TRUE):假(FALSE) (8-X17)

变量upsBdryW和upsBdryH导出如下：

upsBdryW＝(nTbH>nTbW)？nTbW:predW (8-X18)

upsBdryH＝(nTbH>nTbW)？predH:nTbH (8-X19)

变量lwipW和lwipH导出如下：

lwipW＝(isTransposed＝＝1)？predH:predW (8-X20)

lwipH＝(isTransposed＝＝1)？predW:predH (8-X21)

对于参考样点refT[x](x＝0..nTbW–1)和refL[y](y＝0..nTbH–1)的生成，以样点位置(xTbCmp，yTbCmp)、变换块宽度nTbW、变换块高度nTbH作为输入，调用第8.4.4.2.X2条中规定的参考样点推导处理，并且分别以顶部和左侧参考样点refT[x](x＝0..nTbW-1)和refL[y](y＝0..nTbH–1)作为输出。

对于边界样点p[x](x＝0..2*boundarySize–1)的生成，以下适用：

–以块尺寸nTbW、参考样点refT、边界尺寸boundarySize、上采样边界标志needUpsBdryVer和上采样边界尺寸upsBdryW作为输入，为顶部参考样点调用第8.4.4.2.X3条中规定的边界缩减处理，并且以缩减的边界样点redT[x](x＝0..boundarySize–1)和上采样边界样点upsBdryT[x](x＝0..upsBdryW–1)作为输出。

–以块尺寸nTbH、参考样点refL、边界尺寸boundarySize、上采样边界标志needUpsBdryHor和上采样边界尺寸upsBdryH作为输入，为左侧参考样点调用第8.4.4.2.X3条中规定的边界缩减处理，并且以缩减的边界样点redL[x](x＝0..boundarySize-1)和上采样边界样点upsBdryL[x](x＝0..upsBdryH-1)作为输出。

–将缩减的顶部和左侧边界样点redT和redL分配给边界样点阵列p，如下所示：

–如果IsTransported等于1，则将p[x]设置为等于redL[x](x＝0..boundarySize–1)，并将p[x+boundarySize]设置为等于redT[x](x＝0..boundarySize–1)。

–否则，将p[x]设置为等于redT[x](x＝0..boundarySize–1)，并将p[x+boundarySize]设置为等于redL[x](x＝0..boundarySize–1)。

对于根据predModeIntra的帧内样点预测处理，以下顺序步骤适用：

1.仿射线性加权样点predLwip[x][y](x＝0..lwipW-1,y＝0..lwipH–1)导出如下：

–变量modeId推导如下：

modeId＝predModeIntra-(isTransposed＝＝1)？(numModes/2):0

(8-X22)

–使用如表8-XX[待定：添加权重矩阵]中指定的sizeId和modeId导出权重矩阵mWeight[x][y](x＝0..2*boundarySize-1,y＝0..predC*predC–1)。

–使用如表8-XX[待定：添加偏差矢量]中规定的sizeId和modeId导出偏差矢量vBias[y](y＝0..predC*predC–1)。

–使用如表8-X5中规定的sizeId和modeId导出变量sW。

–仿射线性加权样点predLwip[x][y](x＝0..lwipW-1,y＝0..lwipH–1)导出如下：

oW＝1<<(sW–1) (8-X23)

sB＝BitDepth_Y–1 (8-X24)

incW＝(predC>lwipW)？2:1 (8-X25)

incH＝(predC>lwipH)？2:1 (8-X26)

2.预测样点predSamples[x][y](x＝0..nTbW-1,y＝0..nTbH–1)导出如下：

–如果isTransposed等于1，则将predLwip[x][y](x＝0..predW-1，y＝0..predH-1)设置为等于predLwip[y][x]。

–如果needUpsBdryVer等于真(TRUE)、或needUpsBdryHor等于真(TRUE)，则以输入块宽度predW、输入块高度predH、仿射线性加权样点predLwip、变换块宽度nTbW、变换块高度nTbH、上采样边界宽度upsBdryW、上采样边界高度upsBdryH、顶部上采样边界样点upsBdryT、以及左侧上采样边界样点upsBdryL作为输入，调用第8.4.4.2.X4条中指定的预测上采样处理，并且输出是预测样点阵列predSamples。

–否则，将predSamples[x][y](x＝0..nTbW-1,y＝0..nTbH–1)设置为等于predLwip[x][y]。

表8-X5取决于sizeId和modeId的权重移位sW的规范

8.4.4.2.X2参考样点推导处理

该处理的输入是：

-指定当前变换块的左上亮度样点相对于当前图片的左上亮度样点的样点位置(xTbY，yTbY)，

-变量nTbW，其指定变换块宽度，

-变量nTbH，其指定变换块高度。

该处理的输出分别是顶部和左侧参考样点refT[x](x＝0..nTbW-1)和refL[y](y＝0..nTbH–1)。

临近样点refT[x](x＝0..nTbW-1)和refL[y](y＝0..nTbH–1)是在环内滤波处理之前的重构样点，并且导出如下：

–顶部和左侧临近亮度位置(xNbT，yNbT)和(xNbL，yNbL)指定为：

(xNbT,yNbT)＝(xTbY+x,yTbY-1) (8-X28)

(xNbL,yNbL)＝(xTbY-1,yTbY+y) (8-X29)

–以设置为等于(xTbY，yTbY)的当前亮度位置(xCurr，yCurr)和顶部临近亮度位置(xNbT，yNbT)作为输入，调用第6.4.X条[Ed.(BB)：临近块可用性检查处理(待定)]中指定的块的可用性推导处理，并且将输出分配给availTop[x](x＝0..nTbW-1)。

–以设置为等于(xTbY，yTbY)的当前亮度位置(xCurr，yCurr)和左侧临近亮度位置(xNbL，yNbL)作为输入，调用第6.4.X条[Ed.(BB)：临近块可用性检查处理(待定)]中指定的块的可用性推导处理，并且将输出分配给availLeft[y](y＝0..nTbH-1)。

–顶部参考样点refT[x](x＝0..nTbW–1)推导如下：

–如果所有availTop[x](x＝0..nTbW–1)都等于真(TRUE)，则将位置(xNbT，yNbT)处的样点分配给refT[x](x＝0..nTbW–1)。

–否则，如果availTop[0]等于假(FALSE)，则将所有refT[x](x＝0..nTbW–1)都设置为等于1<<(BitDepth_Y–1)。

–否则，通过以下顺序步骤导出参考样点refT[x](x＝0..nTbW–1)：

1.将变量lastT设置为等于序列availTop[x](x＝0..nTbW–1)中等于假(FALSE)的第一个元素的位置x。

2.对于每个x＝0..lastT–1，将位置(xNbT，yNbT)处的样点分配给refT[x]。

3.对于每个x＝lastT..nTbW–1，将refT[x]设置为等于refT[lastT–1]。–左侧参考样点refL[y](x＝0..nTbH–1)导出如下：

–如果所有availLeft[y](y＝0..nTbH–1)都等于真(TRUE)，则将位置(xNbL，yNbL)处的样点分配给refL[y](y＝0..nTbH–1)。

–否则，如果availLeft[0]等于假(FALSE)，则将所有refL[y](y＝0..nTbH–1)都设置为等于1<<(BitDepth_Y–1)。

–否则，通过以下顺序步骤导出参考样点refL[y](y＝0..nTbH–1)：

1.将变量lastL设置为等于序列availLeft[y](y＝1..nTbH–1)中等于假(FALSE)的第一个元素的位置y。

2.对于每个y＝0..lastL–1，将位置(xNbL，yNbL)处的样点分配给refL[y]。

3.对于每个y＝lastL..nTbH–1，将refL[y]设置为等于refL[lastL–1]。

边界缩减处理的规范

该处理的输入是：

–变量nTbX，其指定变换块尺寸，

–参考样点refX[x](x＝0..nTbX-1)，

–变量boundarySize，其指定下采样边界尺寸，

–标志needUpsBdryX，其指定上采样是否需要中间边界样点，

--变量upsBdrySize，其指定用于上采样的边界尺寸。

该处理的输出是缩减的边界样点redX[x](x＝0..boundarySize–1)和上采样边界样点upsBdryX[x](x＝0..upsBdrySize–1)。

上采样边界样点upsBdryX[x](x＝0..upsBdrySize–1)导出如下：

–如果needUpsBdryX等于真(TRUE)且upsBdrySize小于nTbX，则以下适用：

uDwn＝nTbX/upsBdrySize (8-X30)

–否则(upsBdrySize等于nTbX)，将upsBdryX[x]设置为等于refX[x]。

缩减的边界样点redX[x](x＝0..boundarySize–1)导出如下：

–如果boundarySize小于upsBdrySize，则以下适用：

bDwn＝upsBdrySize/boundarySize (8-X32)

–否则(boundarySize等于upsBdrySize)，将redX[x]设置为等于upsBdryX[x]。

8.4.4.2.X4预测上采样处理的规范

该处理的输入是：

–变量predW，其指定输入块宽度，

–变量predH，其指定输入块高度，

–仿射线性加权样点predLwip[x][y](x＝0..predW-1，y＝0..predH-1)，

–变量nTbW，其指定变换块宽度，

–变量nTbH，其指定变换块高度，

–变量upsBdryW，其指定上采样边界宽度，

–变量upsBdryH，其指定上采样边界高度，

–顶部上采样边界样点upsBdryT[x](x＝0..upsBdryW–1)，

–左侧上采样边界样点upsBdryL[x](x＝0..upsBdryH–1)。

该处理的输出是预测样点predSamples[x][y](x＝0..nTbW-1,y＝0..nTbH–1)。

如下从predLwip[x][y](x＝0..predW-1,y＝0..predH–1)导出稀疏预测样点predSamples[m][n]：

upHor＝nTbW/predW (8-X34)

upVer＝nTbH/predH (8-X35)

predSamples[(x+1)*upHor-1][(y+1)*upVer-1]＝predLwip[x][y]

(8-X36)

如下将顶部边界样点upsBdryT[x](x＝0..upsBdryW–1)分配给predSamples[m][-1]：

predSamples[(x+1)*(nTbW/upsBdryW)-1][-1]＝upsBdryT[x]

(8-X37)

如下将左侧边界样点upsBdryL[y](y＝0..upsBdryH–1)分配给predSamples[-1][n]：

predSamples[-1][(y+1)*(nTbH/upsBdryH)-1]＝upsBdryL[y]

(8-X38)

预测样点predSamples[x][y](x＝0..nTbW-1，y＝0..nTbH-1)导出如下：

–如果nTbH大于nTbW，则以下顺序步骤适用：

1.当upHor大于1时，以dX＝1..upHor-1应用所有稀疏位置(xHor，yHor)＝(m*upHor-1，n*upVer-1)(m＝0..predW-1，n＝1..predH)处的水平上采样，如下所示：

predSamples[xHor+dX][yHor]＝((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor])/upHor

(8-X39)

2.以dY＝1..upVer–1应用所有稀疏位置(xVer，yVer)＝(m，n*upVer–1)(m＝0..nTbW–1，n＝0..predH–1)处的垂直上采样，如下所示：

predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer])/upVer

(8-X40)

–否则，以下顺序步骤适用：

1.当upVer大于1时，以dY＝1..upVer-1应用所有稀疏位置(xVer,yVer)＝(m*upHor–1,n*upVer–1)(m＝1..predW,n＝0..predH–1)处的垂直上采样，如(8-X40)所规定。

2.以dX＝1..upHor-1应用所有稀疏位置(xHor，yHor)＝(m*upHor-1，n)(m＝1..predW,n＝0..predH-1)处的水平上采样，如(8-X39)中所规定。

<结束>

表9-9语法元素和相关联的二值化

表9-15将ctxInc分配给具有上下文编解码的二进制数的语法元素

表9-16使用左侧和上方语法元素的ctxInc的规范

<结束>

ALWIP的概述

对于宽度为W且高度为H的矩形块的样点预测，仿射线性加权帧内预测(ALWIP)以块左侧具有H个重构的临近边界样点的一行和块上方具有W个重构的临近边界样点的一行作为输入。如果重构的样点不可用，则像在传统帧内预测中那样将其生成。ALWIP仅适用于亮度帧内块。对于色度帧内块，应用传统的帧内编解码模式。

预测信号的生成基于以下三个步骤：

1.在W＝H＝4的情况下，通过平均从边界样点中提取四个样点，并且在其它情况下，通过平均从边界样点中提取八个样点。

2.以平均的样点为输入执行矩阵矢量乘法，然后加上偏移。结果是在原始块中的子采样集上的缩减的预测信号。

3.通过线性插值从子采样集合上的预测信号生成其余位置处的预测信号，所述线性插值是每个方向中的单步线性插值。

如果要应用ALWIP模式，则将使用具有3个MPM的MPM列表信令通知ALWIP模式的索引predmode。这里，如下使用上方和左侧PU的帧内模式执行MPM的推导。有三个固定的表map_angular_to_alwip_idx，idx∈{0,1,2}，其分配给每个传统的帧内预测模式predmode_Angular和ALWIP模式。

predmode_ALWIP＝map_angular_to_alwip_idx[predmode_Angular].

对于每个宽度为W且高度为H的PU，定义索引：

idx(PU)＝idx(W,H)∈{0,1,2}

该索引指示将从三个集合中的哪个中取得ALWIP参数。

如果上方预测单元PU_above可用、与当前PU属于相同的CTU并且处于帧内模式，如果idx(PU)＝idx(PU_above)，并且如果将ALWIP应用于ALWIP模式的PU_above，则令

如果上方PU可用、与当前PU属于相同的CTU并且处于帧内模式，并且如果对上方PU应用传统帧内预测模式则令

在所有其他情况下，令

这意味着该模式不可用。以同样的方式，但不受左侧PU必须与当前PU属于相同的CTU的限制，导出了模式

最后，给出三个固定的默认列表list_idx,idx∈{0,1,2}，每个列表包含三个不同的ALWIP模式。从默认列表list_idx(PU)和模式中，通过用默认值替换-1并消除重复，构造出三个不同的MPM。

对于亮度MPM列表推导，每当遇到使用ALWIP模式predmode_ALWIP的临近亮度块时，将该块视为犹如使用传统帧内预测模式predmode_Angular。

predmode_Angular＝map_alwip_to_angular_idx(PU)[predmode_ALWIP]

3.VVC中的变换

3.1多变换选择(MTS)

除了在HEVC中使用的DCT-II外，还使用了一种多变换选择(MTS)方案来对帧间和帧内编解码块进行残差编解码。它使用来自DCT8/DST7的多个选定变换。新引入的变换矩阵有DST-VII和DCT-VIII。

3.2 JVET-N0193中提出的缩减的二次变换(RST)

缩减的二次变换(RST)分别对4x4和8x8块应用16x16和16x64不可分离变换。初级正变换和逆变换的执行方式仍与两个一维水平/垂直变换处理相同。二次正变换和逆变换是与初级变换分离的处理步骤。对于编码器，首先执行初级正向变换，然后执行二次正向变换和量化，以及CABAC比特编码。对于解码器，首先进行CABAC比特解码和逆量化，然后进行二次逆变换，然后进行初级逆变换。RST仅适用于帧内条带和帧间条带中的帧内编解码TU。

3.3 JVET-N0185中用于帧内模式编解码的统一MPM列表

提出了将统一6-MPM列表用于帧内块，与是否应用多参考行(MRL)和帧内子分割(ISP)编解码工具无关。MPM列表是基于如VTM4.0中的左侧和上方临近块的帧内模式构造的。假设左侧的模式表示为“左(Left)”，并且上方块的模式表示为“上(Above)”，则统一MPM列表构造如下：

·当临近块不可用时，将其帧内模式默认设置为平面(Planar)。

·如果左(Left)模式和上(Above)模式都是非角度模式，则：

a.MPM列表→{Planar，DC，V，H，V-4，V+4}

·如果左模式和上模式中的一个为角度模式，并且另一个为非角度模式，则：

a.将模式Max设置为左模式和上模式中的较大模式，

b.MPM列表→{Planar,Max,DC,Max-1,Max+1,Max-2}

·如果左模式和上模式都是角度模式并且不同，则：

a.将模式Max设置为左模式和上模式中的较大模式，

b.如果左模式和上模式的差在2到62之间(包括2到62)，则：

i.MPM列表→{Planar，左，上，DC，Max-1，Max+1}

c.否则

i.MPM列表→{Planar，左，上，DC，Max-2，Max+2}

·如果左模式和上模式都是角度模式并且相同，则：

a.MPM列表→{Planar，左，左-1，左+1，DC，左-2}

此外，MPM索引码字的第一个二进制数(bin)是CABAC上下文编解码的。总共使用三个上下文，对应于当前帧内块是启用了MRL、启用了ISP还是常规的帧内块。

在统一MPM列表构造中使用的左侧临近块和上方临近块是如图10所示的A2和B2。

首先编解码一个MPM标志。如果用MPM列表中的模式中的一个对块进行编解码，则进一步对MPM索引进行编解码。否则，对其余模式(不包括MPM)的索引进行编解码。

4.现有实现中缺陷的示例

JVET-N0217中的ALWIP设计存在以下问题：

1)在2019年3月的JVET会议上，MRL模式、ISP模式和常规帧内模式采用了统一的6-MPM列表生成。但仿射线性加权预测模型采用了不同的3-MPM列表构造，这使得MPM列表构造复杂。复杂的MPM列表构造可能会影响解码器的吞吐量，特别是对于诸如4x4个样点的小块。

2)ALWIP仅适用于块的亮度分量。对于ALWP编解码块的色度分量，对色度模式索引进行编码并将其发送到解码器，这会导致不必要的信令。

3)应当考虑ALWIP与其他编解码工具的交互。

4)当在 中计算upsBdryX时，Log2(uDwn)-1可能等于-1，而左移位-1是未定义的。

5)当上采样预测样点时，未应用取整。

6)在去方块处理中，ALWIP编解码块被视为常规帧内块。

5.基于矩阵的帧内编码的示例方法

本公开技术的实施例克服了现有实现的缺陷，从而提供具有更高编解码效率但更低计算复杂度的视频编解码。在以下针对各种实现描述的示例中说明了如本文所述可以增强现有和未来的视频编解码标准的用于视频编解码的基于矩阵的帧内预测方法。下面提供的公开技术的示例解释了通用概念，并不意味着被解释为限制性的。在示例中，除非明确表示相反，否则可以组合这些示例中描述的各种特征。

在下面的讨论中，帧内预测模式是指角度帧内预测模式(包括DC、平面(Planar)、CCLM和其他可能的帧内预测模式)；而帧内模式是指常规帧内模式、或MRL、ISP或ALWIP。

在下面的讨论中，“其他帧内模式”可以指除ALWIP之外的一个或多个帧内模式，诸如常规帧内模式、MRL或ISP。

在下面的讨论中，将SatShift(x,n)定义为：

将Shift(x,n)定义为Shift(x,n)＝(x+offset0)>>n。

在一个示例中，将offset0和/或offset1设置为(1<<n)>>1或(1<<(n-1))。在另一个示例中，将offset0和/或offset1设置为0。

在另一个示例中，offset0＝offset1＝((1<<n)>>1)-1或((1<<n-1))-1。

将Clip3(min,max,x)定义为：

ALWIP的MPM列表构造

1.提出了可以根据构造非ALWIP帧内模式(诸如常规帧内模式、MRL或ISP)的MPM列表的全部或部分流程来构造ALWIP的MPM列表的全部或部分。

a.在一个示例中，ALWIP的MPM列表的尺寸可以与非ALWIP帧内模式的MPM列表的尺寸相同。

i.例如，对于ALWIP和非ALWIP帧内模式，MPM列表的尺寸都是6。

b.在一个示例中，可以从非ALWIP帧内模式的MPM列表导出ALWIP的MPM列表。

i.在一个示例中，可以首先构造非ALWIP帧内模式的MPM列表。之后，可以将它们的部分或全部转换为MPM，进而可以进一步将MPM添加到ALWIP编解码块的MPM列表中。

1)另外，可替代地，当将转换后的MPM添加到ALWIP编解码块的MPM列表时，可以应用修剪。

2)可以将默认模式添加到ALWIP编解码块的MPM列表中。

a.在一个示例中，可以在从非ALWIP帧内模式的MPM列表转换之前添加默认模式。

b.可替代地，可以在从非ALWIP帧内模式的MPM列表转换之后添加默认模式。

c.可替代地，可以将默认模式与在从非ALWIP帧内模式的MPM列表转换的模式交叉地添加。

d.在一个示例中，可以将所有类型的块的默认模式固定为相同。

e.可替代地，可以根据编解码信息(诸如临近块的可用性、临近块的模式信息、块维度)来确定默认模式。

ii.在一个示例中，当将非ALWIP帧内模式的MPM列表中的一个帧内预测模式放入ALWIP的MPM列表中时，可以将其转换为相应的ALWIP帧内预测模式。

1)可替代地，非ALWIP帧内模式的MPM列表中的所有帧内预测模式可在用于构造ALWIP的MPM列表之前转换为相应的ALWIP帧内预测模式。

2)可替代地，如果非ALWIP的MPM列表将进一步用于导出ALWIP的MPM列表，则可将所有候选帧内预测模式(可包括来自临近块的帧内预测模式、以及诸如平面(Planar)和DC的默认帧内预测模式)在用于构造非ALWIP帧内模式的MPM列表之前转换为相应的ALWIP帧内预测模式。

3)在一个示例中，可以比较两个转换的ALWIP帧内预测模式。

a.在一个示例中，如果它们相同，则只能将其中一个放入ALWIP的MPM列表中。

b.在一个示例中，如果它们相同，则只能将其中一个放入非ALWIP的MPM列表中。

iii.在一个示例中，可将非ALWIP帧内模式的MPM列表中的S个帧内预测模式中的K个选作ALWIP模式的MPM列表，例如，K等于3且S等于6。

1)在一个示例中，可将非ALWIP帧内模式的MPM列表中的前K个帧内预测模式选作ALWIP模式的MPM列表。

2.提出用于导出ALWIP的MPM列表的一个或多个临近块也可用于导出非ALWIP帧内模式(诸如常规帧内模式、MRL或ISP)的MPM列表。

a.在一个示例中，当前块左侧的、用于推导ALWIP的MPM列表的临近块应与用于推导非ALWIP帧内模式的MPM列表的临近块相同。

i.假设当前块的左上角是(xCb，yCb)，当前块的宽度和高度是W和H，那么在一个示例中，用于导出ALWIP和非ALWIP帧内模式两者的MPM列表的左侧临近块可以覆盖位置(xCb-1，yCb)。在另一个示例中，用于导出ALWIP和非ALWIP帧内模式两者的MPM列表的左侧临近块可以覆盖位置(xCb-1，yCb+H-1)。

ii.例如，在统一MPM列表构造中使用的左侧临近块和上方临近块是如图10所示的A2和B2。

b.在一个示例中，当前块上方的、用于导出ALWIP的MPM列表的临近块应与用于导出非ALWIP帧内模式的MPM列表的临近块相同。

i.假设当前块的左上角为(xCb，yCb)，当前块的宽度和高度为W和H，则在一个示例中，用于导出ALWIP和非ALWIP帧内模式两者的MPM列表的上方临近块可以覆盖位置(xCb，yCb-1)。在另一个示例中，用于导出ALWIP和非ALWIP帧内模式两者的MPM列表的上方临近块可以覆盖位置(xCb+W-1，yCb-1)。

ii.例如，在统一MPM列表构造中使用的左侧临近块和上方临近块是如图10所示的A1和B1。

3.提出可根据当前块的宽度和/或高度，以不同方式构造ALWIP的MPM列表。

a.在一个示例中，可以针对不同的块维度访问不同的临近块。

4.提出可以使用相同的流程但使用不同的参数构造ALWIP的MPM列表和非ALWIP帧内模式的MPM列表。

a.在一个示例中，可以为ALWIP模式中使用的MPM列表导出非ALWIP帧内模式的MPM列表构造流程中的S个帧内预测模式中的K个。例如，K等于3且S定于6。

i.在一个示例中，可以为在ALWIP模式中使用的MPM列表导出MPM列表构造流程中的前K个帧内预测模式。

b.在一个示例中，MPM列表中的第一个模式可以不同。

i.例如，非ALWIP帧内模式的MPM列表中的第一个模式可以是平面(Planar)，但是在ALWIP的MPM列表中它可以是模式X0。

1)在一个示例中，X0可以是从平面(Planar)转换的ALWIP帧内预测模式。

c.在一个示例中，MPM列表中的填充模式可以不同。

i.例如，非ALWIP帧内模式的MPM列表中的前三个填充模式可以是DC、垂直和水平，但在ALWIP的MPM列表中它们可以是的模式X1、X2、X3。

1)在一个示例中，对于不同的sizeId，X1、X2、X3可以不同。

ii.在一个示例中，填充模式的数量可以不同。

d.在一个示例中，MPM列表中的临近模式可以不同。

i.例如，使用临近块的常规帧内预测模式来构造非ALWIP帧内模式的MPM列表。并将它们转换为ALWIP帧内预测模式以构造ALWIP模式的MPM列表。

e.在一个示例中，MPM列表中的移位模式可以不同。

i.例如，可将X+K0(其中X是常规帧内预测模式，并且K0是整数)放入非ALWIP帧内模式的MPM列表中。并且可将Y+K1(其中Y是ALWIP帧内预测模式，并且K1是整数)放入ALWIP的MPM列表中，其中K0可以与K1不同。

1)在一个示例中，K1可以取决于宽度和高度。

5.提出在用非ALWIP帧内模式构造当前块的MPM列表时，如果临近块用ALWIP编解码，则将该临近块视为不可用。

a.可替代地，在用非ALWIP帧内模式构造当前块的MPM列表时，如果临近块用ALWIP编解码，则将该临近块视为用预定义的帧内预测模式(诸如平面(Planar))编解码。

6.提出在用ALWIP模式构造当前块的MPM列表时，如果临近块使用非ALWIP帧内模式编解码，则将该临近块视为不可用。

a.可替代地，在用ALWIP模式构造当前块的MPM列表时，如果临近块使用非ALWIP帧内模式编解码，则将该临近块视为用预定义的ALWIP帧内预测模式X编解码。

i.在一个示例中，X可以取决于块维度，诸如宽度和/或高度。

7.提出从行缓冲区中移除ALWIP标志的存储。

a.在一个示例中，当要访问的第二个块与当前块相比位于不同的LCU/CTU行/区域时，跳过对第二个块是否使用ALWIP编解码的条件检查。

b.在一个示例中，当要访问的第二块与当前块相比位于不同的LCU/CTU行/区域时，以与非ALWIP模式相同的方式处理第二块，诸如作为常规帧内编解码块处理。

8.当编码ALWIP标志时，最多可使用K(K>＝0)个上下文。

a.在一个示例中，K＝1。

9.提出存储ALWIP编解码块的转换后的帧内预测模式，而不是直接存储与ALWIP模式相关联的模式索引。

a.在一个示例中，将与一个ALWIP编解码块相关联的解码模式索引映射到常规帧内模式，例如根据第2.5.7节所述的map_alwip_to_angular。

b.此外，可替代地，完全移除ALWIP标志的存储。

c.此外，可替代地，完全移除ALWIP模式的存储。

d.此外，可替代地，可以跳过对一个临近/当前块是否使用ALWIP标志编码的条件检查。

e.此外，可替代地，可以跳过分配给ALWIP编解码块的模式的转换和与一个访问块相关联的常规帧内预测。

不同颜色分量上的ALWIP

10.提出如果对应的亮度块用ALWIP模式编解码，则可以始终应用推断的色度帧内模式(例如，DM模式)。

a.在一个示例中，如果对应的亮度块用ALWIP模式编解码，则色度帧内模式被推断为没有信令的DM模式。

b.在一个示例中，对应的亮度块可以是覆盖位于给定位置的色度样点的对应样点的块(例如，当前色度块的左上角、当前色度块的中心)。

c.在一个示例中，可以根据对应亮度块的帧内预测模式导出DM模式，诸如通过将(ALWIP)模式映射到常规帧内模式中的一个。

11.当色度块的对应亮度块用ALWIP模式编解码时，可以导出几个DM模式。

12.提出如果对应的亮度块用ALWIP模式编解码，则为色度块分配特殊模式。

a.在一个示例中，特殊模式被定义为给定的常规帧内预测模式，而不考虑与ALWIP编解码块相关联的帧内预测模式。

b.在一个示例中，可以将不同的帧内预测方式分配给该特殊模式。

13.提出ALWIP也可应用于色度分量。

a.在一个示例中，对于不同的颜色分量，矩阵和/或偏移矢量可以不同。

b.在一个示例中，可以为Cb和Cr联合预定义矩阵和/或偏移矢量。

i.在一个示例中，Cb和Cr分量可以是级联的。

ii.在一个示例中，Cb和Cr分量可以是交错的。

c.在一个示例中，色度分量可以与对应的亮度块共享相同的ALWIP预测内模式。

i.在一个示例中，如果对应的亮度块应用ALWIP模式并且色度块使用DM模式编解码，则将相同的ALWIP帧内预测模式应用于色度分量。

ii.在一个示例中，将相同的ALWIP帧内预测模式应用于色度分量，并且可以跳过此后的线性插值。

iii.在一个示例中，使用子采样矩阵和/或偏移矢量将相同的ALWIP帧内预测模式应用于色度分量。

d.在一个示例中，不同分量的ALWIP帧内预测模式的数量可以不同。

i.例如，对于相同的块宽度和高度，色度分量的ALWIP帧内预测模式的数量可以小于亮度分量的数量。

ALWIP的适用性

14.提出可以信令通知是否可以应用ALWIP。

a.例如，可以在序列级(例如，在SPS中)、在图片级(例如，在PPS或图片标头中)、在条带级(例如，在条带标头中)、在片组级(例如，在片组标头中)、在片级、在CTU行级或在CTU级中将其信令通知。

b.例如，如果不能应用ALWIP，则可不信令通知intra_lwip_flag并将其推断为0。

15.提出是否可以应用ALWIP可以取决于块宽度(W)和/或高度(H)。

c.例如，如果W>＝T1(或W>T1)且H>＝T2(或H>T2)，则可不应用ALWIP。例如，T1＝T2＝32；

i.例如，如果W<＝T1(或W<T1)且H<＝T2(或H<T2)。则可不应用ALWIP。例如，T1＝T2＝32；

d.例如，如果W>＝T1(或W>T1)或H>＝T2(或H>T2)，则可不应用ALWIP。例如，T1＝T2＝32；

i.例如，如果W<＝T1(或W<T1)或H<＝T2(或H<T2)，则可不应用ALWIP。例如，T1＝T2＝32，或T1＝T2＝8；

e.例如，如果W+H>＝T(或W*H>T)，则可不应用ALWIP。例如，T＝256；

i.例如，如果W+H<＝T(或W+H<T)，则可不应用ALWIP。例如，T＝256；

f.例如，如果W*H>＝T(或W*H>T)，则可不应用ALWIP。例如，T＝256

i.例如，如果W*H<＝T(或W*H<T)，则可不应用ALWIP。例如，T＝256

g.例如，如果不能应用ALWIP，则可以不信令通知intra_lwip_flag并将其推断为0。

ALWIP中的计算问题

16.提出ALWIP中涉及的任何移位操作都只能左移位或右移位S数量，其中S必须大于或等于0。

a.在一个示例中，当S等于0或大于0时，右移位操作可以不同。

i.在一个示例中，upsBdryX[x]应该计算为：

当uDwn>1时， 并且

当uDwn等于1时，

b.在一个示例中，upsBdryX[x]应该计算为：

17.提出在ALWIP的上采样处理中，应将结果取整到零或远离零。

a.在一个示例中，

predSamples[xHor+dX][yHor]＝((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+offsetHor)/upHor (8-X39)

并且

predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]+offsetVer)/upVer (8-X40)

其中offsetHor和offsetVer是整数。例如，offsetHor＝upHor/2并且offsetVer＝upVer/2。

与其他编解码工具的交互

18.提出ALWIP可用于CIIP编解码块。

a.在一个示例中，在CIIP编解码块中，可以显式地信令通知是使用ALWIP帧内预测模式还是诸如平面(Planar)的常规帧内预测模式来生成帧内预测信号。

b.在一个示例中，可以隐式地推断是使用ALWIP帧内预测模式还是诸如平面(Planar)的常规帧内预测模式来生成帧内预测信号。

i.在一个示例中，在CIIP编解码块中决不能使用ALWIP帧内预测模式。

1)可替代地，在CIIP编解码块中决不能使用常规帧内预测。

ii.在一个示例中，可以从临近块的信息推断是使用ALWIP帧内预测模式还是诸如平面(Planar)的常规帧内预测模式来生成帧内预测信号。

19.提出可将在CCLM模式下用于对临近亮度样点进行下采样的全部或部分流程用于在ALWIP模式下对临近样点进行下采样。

a.可替代地，可将在ALWIP模式下用于对临近亮度样点进行下采样的全部或部分流程用于在CCLM模式下对临近样点进行下采样。

b.当在CCLM处理和ALWIP处理中使用下采样流程时，可以用不同的参数/自变量调用它。

c.在一个示例中，CCLM处理中的下采样方法(诸如选择临近亮度位置、下采样滤波器)可用于ALWIP处理。

d.用于对临近亮度样点进行下采样的流程至少包括对下采样位置、下采样滤波器的选择、取整和剪切操作。

20.提出用ALWIP模式编解码的块不能应用RST或/和二次变换或/和旋转变换或/和不可分离二次变换(NSST)。

a.在一个示例中，是否可以应用这种约束可以取决于块的维度信息，例如，与(15)中描述的条件相同。

b.可替代地，当应用RST或/和二次变换或/和旋转变换或/和NSST时，可以不允许使用ALWIP模式。

c.可替代地，用ALWIP模式编解码的块可以应用RST或/和二次变换或/和旋转变换或/和不可分离二次变换(NSST)。

i.在一个示例中，变换矩阵的选择可以取决于ALWIP帧内预测模式。

ii.在一个示例中，变换矩阵的选择可以取决于从ALWIP帧内预测模式转换而来的常规帧内预测模式。

iii.在一个示例中，变换矩阵的选择可取决于从ALWIP帧内预测模式转换而来的常规帧内预测模式的分类。

21.提出了用ALWIP模式编解码的块不能应用基于块的DPCM(BDPCM)或残差RDPCM。

a.可替代地，当应用BDPCM或RDPCM时，可以不允许使用ALWIP模式。

22.提出了用ALWIP方式编码的块只能用DCT-II作为变换。

a.在一个示例中，变换矩阵索引的信令总是被跳过。

b.可替代地，提出用于ALWIP模式编解码的块的变换可以隐式地导出，而不是显式地信令通知。例如，可以按照JVET-M0303中提出的方式来选择变换。

c.可替代地，提出用ALWIP模式编解码的块只能使用变换跳过。

i.另外，可替代地，当使用ALWIP时，跳过对使用变换跳过的指示的信令通知。

d.在一个示例中，可以在变换矩阵的指示之后有条件地信令通知ALWIP模式信息(诸如启用/禁用、预测模式索引)。

i.在一个示例中，对于给定的变换矩阵(诸如变换跳过或DCT-II)，可以信令通知ALWIP模式信息的指示。

ii.另外，可替代地，对于一些预定义的变换矩阵，可以跳过ALWIP模式信息的指示。

23.当选择的变换是模式相关的时，将用ALWIP模式编解码的块视为是用从ALWIP帧内预测模式转换的常规帧内预测编解码的。

24.ALWIP模式不能使用变换跳过。

a.例如，在这种情况下，不需要进一步信令通知变换跳过的使用的指示。

b.可替代地，当应用变换跳过时，可以不允许ALWIP模式。

i.例如，在这种情况下，当应用变换跳过时，不需要信令通知ALWIP模式信息。

25.在滤波处理中(诸如去方块滤波器、采样自适应偏移(SAO)、自适应环路滤波器(ALF))，如何选择滤波器和/或是否对样点进行滤波可以由ALWIP的使用来决定。

26.未滤波的临近样点可用于ALWIP模式。

a.可替代地，滤波后的临近样点可以在ALWIP模式中使用。

b.在一个示例中，滤波后的临近样点可用于下采样，并且未滤波的临近样点可用于上采样。

c.在一个示例中，未滤波的临近样点可用于下采样，并且滤波后的临近样点可用于上采样。

d.在一个示例中，滤波后的左侧临近样点可用于上采样，并且未滤波的上方临近样点可用于上采样。

e.在一个示例中，未滤波的左侧临近样点可用于上采样，并且滤波后的上方临近样点可用于上采样。

f.在一个示例中，是使用滤波后的还是未滤波的临近样点可以取决于ALWIP模式。

i.在一个示例中，ALWIP模式可以转换为传统的帧内预测模式，并且是使用滤波后的还是未滤波的临近样点可以取决于转换后的传统帧内预测模式。例如，这种决定与传统的帧内预测模式相同。

ii.可替代地，可以信令通知ALWIP模式是使用滤波后的还是未滤波的临近样点。

g.在一个示例中，滤波后的样点可以与传统帧内预测模式相同地生成。

27.使用哪些矩阵或/和偏移矢量可以取决于整形(reshaping)(又称为LMCS，亮度映射和色度缩放)信息。

a.在一个示例中，当整形打开和关闭时，可以使用不同的矩阵或/和偏移矢量。

b.在一个示例中，可以针对不同的整形参数使用不同的矩阵或/和偏移矢量。

c.在一个示例中，可以始终在原始域中执行ALWIP。

i.例如，在用于ALWIP之前将临近样点映射到原始域(如果应用了整形)。

28.当应用整形时，可以禁用ALWIP。

a.可替代地，当启用ALWIP时可以禁用整形。

b.在一个示例中，当应用整形时，可以对HDR(高动态范围)内容禁用ALWIP。

29.ALWIP中使用的矩阵可以取决于样点比特深度。

30.提出将由ALWIP生成的预测视为中间信号，该中间信号将被处理以获得要进一步使用的预测信号。

a.在一个示例中，位置相关帧内预测组合(PDPC)可应用于由ALWIP生成的预测，以生成要进一步使用的预测信号。

b.在一个示例中，由ALWIP生成的边界样点预测可与临近样点一起滤波，以生成要进一步使用的预测信号。

31.提出在ALWIP的上采样处理中可以使用双线性插值滤波器以外的插值滤波器。

a.在一个示例中，可在ALWIP的上采样处理中使用4抽头插值滤波器。i.例如，可在ALWIP的上采样处理中使用用于对色度分量进行运动补偿的VVC中的4抽头插值滤波器。

ii.例如，可在ALWIP的上采样处理中使用用于进行角度帧内预测的VVC中的4抽头插值滤波器。

iii.例如，可在ALWIP的上采样处理中使用用于对亮度分量进行运动补偿的VVC中的8抽头插值滤波器。

可将上面描述的示例合并到下面描述的方法的上下文，例如方法1100到1400、以及2000到3800，这些方法可以在视频编码器和/或解码器处实现。

图11示出了用于视频处理的示例性方法的流程图。方法1100包括：在步骤1102处，确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的。

方法1100包括：在步骤1104处，基于所述确定，基于非ALWIP帧内模式的MPM列表的至少一部分来构造ALWIP模式的最可能模式(MPM)列表的至少一部分。

方法1100包括：在步骤1106处，基于ALWIP模式的MPM列表执行当前视频块和当前视频块的比特流之间的转换。

在一些实施例中，ALWIP模式的MPM列表的尺寸与非ALWIP帧内模式的MPM列表的尺寸相同。在一个示例中，ALWIP模式的MPM列表的尺寸是6。

在一些实施例中，方法1100还包括：将默认模式插入到ALWIP模式的MPM列表的步骤。在一个示例中，在基于非ALWIP帧内模式的MPM列表的ALWIP模式的MPM列表的部分之前插入默认模式。在另一个示例中，在基于非ALWIP帧内模式的MPM列表的ALWIP模式的MPM列表的部分之后插入默认模式。在又一个示例中，以与基于非ALWIP帧内模式的MPM列表的ALWIP模式的MPM列表的部分交叉的方式插入默认模式。

在一些实施例中，构造ALWIP模式的MPM列表和非ALWIP帧内模式的MPM列表是基于一个或多个临近块。

在一些实施例中，构造ALWIP模式的MPM列表和非ALWIP帧内模式的MPM列表基于当前视频块的高度或宽度。

在一些实施例中，构造ALWIP模式的MPM列表是基于第一组参数，该第一组参数不同于用于构造非ALWIP帧内模式的MPM列表的第二组参数。

在一些实施例中，方法1100还包括：确定当前视频块的临近块已用ALWIP模式编解码的步骤，并且在构造非ALWIP帧内模式的MPM列表时，指定临近块不可用。

在一些实施例中，方法1100还包括：确定当前视频块的临近块已用非ALWIP帧内模式编解码的步骤，并且在构造ALWIP模式的MPM列表时，指定临近块不可用。

在一些实施例中，非ALWIP帧内模式基于常规帧内模式、多参考行(MRL)帧内预测模式或帧内子分割(ISP)工具。

图12示出了用于视频处理的示例性方法的流程图。方法1200包括：在步骤1210处，确定当前视频块的亮度分量是使用仿射线性加权帧内预测(ALWIP)模式编解码的。

方法1200包括：在步骤1220处，基于所述确定来推断色度帧内模式。

方法1200包括：在步骤1230处，基于色度帧内模式执行当前视频块和当前视频块的比特流之间的转换。

在一些实施例中，亮度分量覆盖色度分量的预定色度样点。在一个示例中，预定色度样点是色度分量的左上样点或中心样点。

在一些实施例中，推断出的色度帧内模式是DM模式。

在一些实施例中，推断出的色度帧内模式是ALWIP模式。

在一些实施例中，将ALWIP模式应用于当前视频块的一个或多个色度分量。

在一些实施例中，将ALWIP模式的不同矩阵或偏移矢量应用于当前视频块的不同颜色分量。在一个示例中，不同的矩阵或偏移矢量是为Cb和Cr分量联合预定义的。在另一个示例中，Cb和Cr分量是级联的。在另一个示例中，Cb和Cr分量是交错的。

图13示出了用于视频处理的示例性方法的流程图。方法1300包括：在步骤1302处，确定当前视频块是使用仿射线性加权帧内预测(ALWIP)模式编解码的。

方法1300包括：在步骤1304处，基于所述确定执行当前视频块和当前视频块的比特流之间的转换。

在一些实施例中，所述确定基于在序列参数集(SPS)、图片参数集(PPS)、条带标头、片组标头、片标头、编解码树单元(CTU)行或CTU区域中的信令。

在一些实施例中，所述确定基于当前视频块的高度(H)或宽度(W)。在一个示例中，W>T1或H>T2。在另一个示例中，W≥T1或H≥T2。在另一个示例中，W<T1或H<T2。在另一个示例中，W≤T1或H≤T2。在另一个示例中，T1＝32并且T2＝32。

在一些实施例中，所述确定基于当前视频块的高度(H)或宽度(W)。在一个示例中，W+H≤T。在另一个示例中，W+H≥T。在另一个示例中，W×H≤T。在又一个示例中，W×H≥T。在另一个示例中，T＝256。

图14示出了用于视频处理的示例性方法的流程图。方法1400包括：在步骤1402处，确定当前视频块是使用不同于仿射线性加权帧内预测(ALWIP)模式的编码模式编解码的。

方法1400包括：在步骤1404处，基于所述确定执行当前视频块和当前视频块的比特流之间的转换。

在一些实施例中，编码模式是组合帧内帧间预测(CIIP)模式，并且方法1400还包括：在ALWIP模式和常规帧内预测模式之间进行选择的步骤。在一个示例中，执行选择是基于当前视频块的比特流中的显式信令。在另一示例中，执行选择是基于预定规则。在又一示例中，当当前视频块是使用CIIP模式编解码的时，预定规则总是选择ALWIP模式。在又一示例中，当当前视频块是使用CIIP模式编解码的时，预定规则总是选择常规帧内预测模式。

在一些实施例中，编码模式是交叉分量线性模型(CCLM)预测模式。在一个示例中，ALWIP模式的下采样流程基于CCLM预测模式的下采样流程。在另一示例中，ALWIP模式的下采样流程基于第一组参数，并且其中CCLM预测模式的下采样流程基于不同于第一组参数的第二组参数。在又一示例中，ALWIP模式或CCLM预测模式的下采样流程包括下采样位置的选择、下采样滤波器的选择、取整操作或剪切操作中的至少一个。

在一些实施例中，方法1400还包括：应用缩减的二次变换(RST)、二次变换、旋转变换或不可分离二次变换(NSST)中的一个或多个的步骤。

在一些实施例中，方法1400还包括：应用基于块的差分脉冲编码调制(DPCM)或残差DPCM的步骤。

6.所公开技术的实施例

图15是视频处理装置1500的框图。装置1500可用于实现本文所述的一种或多种方法。装置1500可以被实现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1500可以包括一个或多个处理器1502、一个或多个存储器1504和视频处理硬件1506。处理器1502可以被配置成实现本文档中描述的一个或多个方法(包括但不限于方法1100至1400、和2000至3800)。存储器1504可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件1506可用于在硬件电路中实现本文中描述的一些技术。

在一些实施例中，可以使用如关于图15所述的在硬件平台上实现的装置来实现视频编解码方法。

图16是示出了可在其中实现本文公开的各种技术的示例视频处理系统1600的框图。各种实现可以包括系统1600的部分或全部组件。系统1600可以包括用于接收视频内容的输入1602。视频内容可以原始或未压缩格式(例如，8或10比特多分量像素值)接收，或者可以压缩或编码格式接收。输入1602可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等有线接口和诸如Wi-Fi或蜂窝接口的无线接口。

系统1600可以包括编解码组件1604，其可以实现本文中描述的各种编码或解码方法。编解码组件1604可以降低从输入1602到编解码组件1604的输出的视频的平均比特率，以产生视频的比特流。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件1604的输出可以存储，或者通过由组件1606表示的连接的通信来发送。组件1608可以使用在输入1602处接收的视频的存储或通信比特流(或编码)表示来生成发送到显示接口1610的像素值或可显示视频。从比特流生成用户可视视频的处理有时称为视频解压缩。此外，虽然某些视频处理操作被称为“编码”操作或工具，但是应当理解，在编码器处使用编解码工具或操作，并且将由解码器执行相应的解码工具或反转编码结果的操作。

外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文中描述的技术可以实施在各种电子设备中，例如能够执行数字数据处理和/或视频显示的移动电话、膝上型计算机、智能手机或其他设备。

所公开技术的一些实施例包括：作出启用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被启用时，编码器将在视频块的处理中使用或实现该工具或模式，但不一定基于该工具或模式的使用来修改产生的比特流。也就是说，当基于决策或确定启用视频处理工具或模式时，从视频块到视频的比特流的转换将使用该视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知晓已经基于视频处理工具或模式修改了比特流的情况下处理比特流。也就是说，将使用基于决策或确定而启用的视频处理工具或模式来执行从视频的比特流到视频块的转换。

所公开技术的一些实施例包括：作出禁用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被禁用时，编码器将不在将视频块转换到视频的比特流的转换中使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在知晓未使用基于所述决策或确定而启用的视频处理工具或模式修改比特流的情况下来处理比特流。

图17是示出可利用本发明的技术的示例性视频编解码系统100的框图。如图17所示，视频编解码系统100可以包括源设备110和目的地设备120。源设备110生成可称为视频编解码设备的编码视频数据。目的地设备120可以对源设备110生成的编码视频数据进行解码，源设备110可以被称为视频解码设备。源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。

视频源112可以包括诸如视频捕获设备、从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统等源，或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的比特流的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的比特流。相关数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射机。编码后的视频数据可以通过网络130a经由I/O接口116直接发送到目的地设备120。编码后的视频数据还可以存储到存储介质/服务器130b上以供目的地设备120访问。

目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。

I/O接口126可以包括接收器和/或调制解调器。I/O接口126可从源设备110或存储介质/服务器130b获取经编码的视频数据。视频解码器124可对经编码的视频数据进行解码。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目的地设备120集成，或者可以是被配置成在与外部显示设备接口的目的地设备120的外部。

视频编码器114和视频解码器124可以根据视频压缩标准操作，诸如高效视频编解码(HEVC)标准、多功能视频编解码(VVM)标准和其他当前和/或进一步的标准。

图18是示出视频编码器200的示例的框图，视频编码器200可以是图17所示的系统100中的视频编码器114。

视频编码器200可以被配置成执行本公开的任何或所有技术。在图18的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

视频编码器200的功能组件可以包括分割单元201、可包括模式选择单元203的预测单元202、运动估计单元204、运动补偿单元205和帧内预测单元206、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编解码单元214。

在其他示例中，视频编码器200可以包括更多、更少或不同的功能组件。在示例中，预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测，其中至少一个参考图片是当前视频块所在的图片。

此外，一些组件(诸如运动估计单元204和运动补偿单元205)可以高度集成，但是为了解释的目的，在图18的示例中是分开表示的。

分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。

模式选择单元203可以例如基于错误结果选择编解码模式(帧内或帧间)中的一个，并将得到的帧内或帧间编解码块提供给残差生成单元207，以生成残差块数据，并且提供给重构单元212以重构编码块以用作参考图片。在一些示例中，模式选择单元203可以选择其中预测基于帧间预测信号和帧内预测信号的组合帧内帧间(CIIP)模式。在帧间预测的情况下，模式选择单元203还可以为块的运动矢量(例如，子像素或整数像素精度)选择分辨率。

为了对当前视频块执行帧间预测，运动估计单元204可以通过将缓冲器213中的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的图片(不同于与当前视频块相关联的图片)的运动信息和解码样点来确定当前视频块的预测视频块。

例如，取决于当前视频块是在I条带、P条带还是B条带中，运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作。

在一些示例中，运动估计单元204可以对当前视频块执行单向预测，并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。然后，运动估计单元204可以生成指示包含参考视频块和指示当前视频块和参考视频块之间的空间位移的运动矢量的列表0或列表1中的参考图片的参考索引。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。

在其他示例中，运动估计单元204可以对当前视频块执行双向预测，运动估计单元204可以在列表0的参考图片中搜索当前视频块的参考视频块，并且也可以在列表1的参考图片中搜索当前视频的另一参考视频块。然后，运动估计单元204可以生成指示包含参考视频块和指示参考视频块和当前视频块之间的空间位移的运动矢量的列表0或列表1中的参考图片的参考索引。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。

在一些示例中，运动估计单元204可以输出用于解码器的解码处理的全套运动信息。

在一些示例中，运动估计单元204可以不输出当前视频的全套运动信息。相反，运动估计单元204可以参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如，运动估计单元204可以确定当前视频块的运动信息与临近视频块的运动信息足够相似。

在一个示例中，运动估计单元204可以在与当前视频块相关联的语法结构中指示值，该值向视频解码器300指示当前视频块与另一视频块具有相同的运动信息。

在另一示例中，运动估计单元204可以在与当前视频块相关联的语法结构中标识另一个视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与指示视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。

如上所述，视频编码器200可以预测地信令通知运动矢量。可由视频编码器200实现的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令。

帧内预测单元206可以对当前视频块进行帧内预测。当帧内预测单元206对当前视频块进行帧内预测时，帧内预测单元206可以基于相同图片中的其他视频块的解码样点生成当前视频块的预测数据。当前视频块的预测数据可以包括预测的视频块和各种语法元素。

残差生成单元207可以通过从当前视频块减去(例如，由减号指示)当前视频块的预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中的样点的不同样点分量的残差视频块。

在其他示例中，例如在跳过模式下，当前视频块当前视频块可以没有残差数据，并且残差生成单元207可以不执行减法操作。

变换处理单元208可以通过对与当前视频块相关联的残差视频块应用一个或多个变换来为当前视频块生成一个或多个变换系数视频块。

在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。

逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可以将重构的残差视频块添加到由预测单元202生成的一个或多个预测视频块的对应样点中，以产生与当前块相关联的重构视频块以存储在缓冲器213中。

在重构单元212重构视频块之后，可以执行环路滤波操作以减少视频块中的视频块伪影。

熵编解码单元214可以从视频编码器200的其它功能组件接收数据。当熵编解码单元214接收数据时，熵编解码单元214可以执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。

图19是示出可以是图17所示的系统100中的视频解码器114的视频解码器300的示例的框图。

视频解码器300可以被配置成执行本公开的任何或所有技术。在图19的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。

在图19的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、以及重构单元306和缓冲器307。在一些示例中，视频解码器300可以执行通常与关于视频编码器200描述的编码处理(图18)相反的解码处理。

熵解码单元301可以检索编码的比特流。编码的比特流可以包括熵编码的视频数据(例如，视频数据的编码块)。熵解码单元301可以解码熵编码的视频数据，并且运动补偿单元302可以从熵解码的视频数据中确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。例如，运动补偿单元302可以通过执行AMVP和Merge模式来确定这些信息。

运动补偿单元302可以通过基于插值滤波器进行插值来产生运动补偿块。语法元素中可以包括以子像素精度使用的插值滤波器的标识符。

运动补偿单元302可以使用视频编码器20在视频块编码期间使用的插值滤波器来计算参考块的子整数像素的插值。运动补偿单元302可以根据接收到的语法信息来确定视频编码器200使用的插值滤波器，并且使用插值滤波器来产生预测块。

运动补偿单元302可以使用一些语法信息来确定用于对编码的视频序列的帧和/或条带进行编码的块的尺寸、描述如何对编码的视频序列的图片的每个宏块进行分割的分割信息、指示如何对每个分割进行编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)、以及用于解码编码的视频序列的其他信息。

帧内预测单元303可以使用例如在比特流中接收到的帧内预测模式来从空域临近块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化(即去量化)。逆变换单元303应用逆变换。

重构单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的相应预测块相加以形成解码块。如果需要，还可以应用去方块滤波器来滤波解码块以去除块性伪影。解码的视频块随后被存储在缓冲器307中，其提供用于后续运动补偿/帧内预测的参考块，并且还产生解码的视频以在显示设备上呈现。

在一些实施例中，通过对视频的先前编解码样点执行边界下采样操作(或平均操作)，然后执行矩阵矢量乘法运算，并且选择性地(或任选地)接着进行上采样操作(或线性插值操作)，使用ALWIP模式或MIP模式来计算当前视频块的预测块。在一些实施例中，通过对视频的先前编解码样点执行边界下采样操作(或平均操作)，然后执行矩阵矢量乘法运算，使用ALWIP模式或MIP模式来计算当前视频块的预测块。在一些实施例中，ALWIP模式或MIP模式也可以在执行矩阵矢量乘法操作之后执行上采样操作(或线性插值操作)。

图20示出了用于基于矩阵的帧内预测的示例方法2000的示例流程图。操作2002包括：基于规则，使用第一过程来为视频的当前视频块和当前视频块的比特流之间的转换生成第一最可能模式(MPM)列表。操作2004包括：使用第一MPM列表执行当前视频块和当前视频块的比特流之间的转换，其中当前视频块的转换使用基于矩阵的帧内预测(MIP)模式，在MIP模式中，通过在视频的先前编解码样点上执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块，其中，所述规则指定用于生成第一MPM列表的第一过程与用于生成第二MPM列表的第二过程相同，所述第二MPM列表用于使用不同于MIP模式的非MIP帧内模式编解码的视频的其它视频块的转换，并且其中，基于第二MPM列表的至少一部分生成第一MPM列表的至少一部分。

在方法2000的一些实施例中，MIP模式的第一MPM列表的尺寸与非MIP帧内模式的第二MPM列表的尺寸相同。在方法2000的一些实施例中，MIP模式的第一MPM列表和非MIP帧内模式的第二MPM列表的尺寸是6。在方法2000的一些实施例中，在构造MIP模式的第一MPM列表之前构造非MIP帧内模式的第二MPM列表。在方法2000的一些实施例中，非MIP帧内模式的第二MPM列表的部分或全部被转换为添加到MIP模式的第一MPM列表的部分中的MPM。

在方法2000的一些实施例中，通过修剪MPM，将MPM的子集添加到MIP模式的第一MPM列表的部分中。在一些实施例中，方法2000还包括：将默认帧内预测模式添加到MIP模式的第一MPM列表。在方法2000的一些实施例中，在基于非MIP帧内模式的第二MPM列表的部分的MIP模式的第一MPM列表的部分之前，将默认帧内预测模式添加到MIP模式的第一MPM列表。在方法2000的一些实施例中，在基于非MIP帧内模式的第二MPM列表的部分的MIP模式的第一MPM列表的部分之后，将默认帧内预测模式添加到MIP模式的第一MPM列表。在方法2000的一些实施例中，以与基于非MIP帧内模式的第二MPM列表的部分的MIP模式的第一MPM列表的部分交错的方式，将默认帧内预测模式添加到MIP模式的第一MPM列表中。在方法2000的一些实施例中，对于多个类型的视频块，默认帧内预测模式是相同的。在方法2000的一些实施例中，基于当前视频块的编解码信息来确定默认帧内预测模式。在方法2000的一些实施例中，编解码信息包括临近视频块的可用性、临近视频块的模式信息或当前视频块的块维度。

在方法2000的一些实施例中，将非MIP帧内模式的第二MPM列表中的一个帧内预测模式转换为其对应的MIP模式，以获得添加到MIP模式的第一MPM列表中的转换的MIP模式。在方法2000的一些实施例中，将非MIP帧内模式的第二MPM列表中的所有帧内预测模式转换为其对应的MIP模式，以获得添加到MIP模式的第一MPM列表中的多个转换的MIP模式。在方法2000的一些实施例中，将所有帧内预测模式转换为其对应的MIP模式，以获得用于为非MIP帧内模式构造第二MPM列表的多个转换的MIP模式。在方法2000的一些实施例中，所有帧内预测模式包括来自当前视频块的临近视频块的帧内预测模式和默认帧内预测模式。在方法2000的一些实施例中，默认帧内预测模式包括平面模式和直流(DC)模式。

在方法2000的一些实施例中，将非MIP帧内模式的第二MPM列表中的两个帧内预测模式转换为其对应的MIP模式，以获得两个转换的MIP模式，并且响应于两个转换的MIP模式相同，将两个转换的MIP模式中的一个添加到MIP模式的第一MPM列表中。在方法2000的一些实施例中，将非MIP帧内模式的第二MPM列表中的两个帧内预测模式转换为其对应的MIP模式，以获得两个转换的MIP模式，并且响应于两个转换的MIP模式相同，将两个转换的MIP模式中的一个添加到非MIP帧内模式的第二MPM列表中。在方法2000的一些实施例中，非MIP帧内模式的第二MPM列表包括S个帧内预测模式，并且其中，选择S个帧内预测模式中的K个以包括在MIP模式的第一MPM列表中。在方法2000的一些实施例中，K是3，并且S是6。在方法2000的一些实施例中，选择非MIP帧内模式的第二MPM列表中的前K个帧内预测模式，以包括在MIP模式的第一MPM列表中。在方法2000的一些实施例中，基于当前视频块的一个或多个临近视频块导出或构造MIP模式的第一MPM列表和非MIP帧内模式的第二MPM列表。在方法2000的一些实施例中，基于位于当前视频块左侧的相同临近视频块导出或构造MIP模式的第一MPM列表和非MIP帧内模式的第二MPM列表。

在方法2000的一些实施例中，位于左侧的相同临近视频块直接位于当前视频块的左侧，并且与当前视频块对齐。在方法2000的一些实施例中，相同临近视频块位于当前视频块的左侧和下方。在方法2000的一些实施例中，基于相同临近视频块导出或构造MIP模式的第一MPM列表和非MIP帧内模式的第二MPM列表，其中相同临近视频块位于当前视频块左侧的最下方位置、或相同临近视频块位于当前视频块上方的最右侧位置。在方法2000的一些实施例中，基于位于当前视频块上方的相同临近视频块导出或构造MIP模式的第一MPM列表和非MIP帧内模式的第二MPM列表。

在方法2000的一些实施例中，位于上方的相同临近视频块直接位于当前视频块的上方，并且与当前视频块对齐。在方法2000的一些实施例中，相同临近视频块位于当前视频块的左侧和上方。在方法2000的一些实施例中，基于相同临近视频块导出或构造MIP模式的第一MPM列表和非MIP帧内模式的第二MPM列表，其中相同临近视频块位于当前视频块上方的最左侧位置、或相同临近视频块位于当前视频块左侧的最上方的位置。在方法2000的一些实施例中，非MIP帧内模式基于帧内预测模式、多参考行(MRL)帧内预测模式或帧内子分割(ISP)工具。在方法2000的一些实施例中，MIP模式的第一MPM列表还基于当前视频块的高度或宽度。

在方法2000的一些实施例中，MIP模式的第一MPM列表还基于当前视频块的临近视频块的高度或宽度。在方法2000的一些实施例中，MIP模式的第一MPM列表是基于不同于用于构造非MIP帧内模式的第二MPM列表的第二组参数的第一组参数构造的。在方法2000的一些实施例中，非MIP帧内模式的第二MPM列表包括S个帧内预测模式，并且其中，导出S个帧内预测模式中的K个，以包括在MIP模式的第一MPM列表中。在方法2000的一些实施例中，K是3，并且S是6。

在方法2000的一些实施例中，导出非MIP帧内模式的第二MPM列表中的前K个帧内预测模式，以包括在MIP模式的第一MPM列表中。在方法2000的一些实施例中，MIP模式的第一MPM列表中列出的第一模式不同于非MIP帧内模式的第二MPM列表中列出的第一模式。在方法2000的一些实施例中，MIP模式的第一MPM列表中列出的第一模式是第一模式，并且其中，非MIP帧内模式的第二MPM列表中列出的第一模式是平面(Planar)模式。在方法2000的一些实施例中，MIP模式的第一MPM列表中的第一模式是从非MIP帧内模式的第二MPM列表中的平面(Planar)模式转换来的。

在方法2000的一些实施例中，MIP模式的第一MPM列表包括与非MIP帧内模式的第二MPM列表中包括的第二组填充模式不同的的第一组填充模式。在方法2000的一些实施例中，第一组填充模式包括第一模式、第二模式和第三模式，并且其中，第二组填充模式包括直流(DC)模式、垂直模式和水平模式。在方法2000的一些实施例中，基于当前视频块的尺寸，将第一模式、第二模式和第三模式包括在第一组填充模式中。在方法2000的一些实施例中，MIP模式的第一MPM列表包括当前视频块的临近视频块的第一组帧内预测模式，非MIP帧内模式的第二MPM列表包括当前视频块的临近视频块的第二组帧内预测模式，并且第一组帧内预测模式不同于第二组帧内预测模式。

在方法2000的一些实施例中，第二组帧内预测模式包括被转换为包括在第一组帧内预测模式中的MIP模式的帧内预测模式。在方法2000的一些实施例中，MIP模式的第一MPM列表包括第一组移位的帧内预测模式，非MIP帧内模式的第二MPM列表包括第二组移位的帧内预测模式，并且第一组移位的帧内预测模式不同于第二组移位的帧内预测模式。在方法2000的一些实施例中，第一组移位的帧内预测模式包括根据第一公式Y+K1移位K1的MIP模式(Y)，第二组移位的帧内预测模式包括根据第二公式X+K0移位K0的非MIP模式(X)，并且K1不同于K0。在方法2000的一些实施例中，K1取决于当前视频块的宽度和高度。

在一些实施例中，方法2000还包括：执行当前视频块的临近视频块是用非MIP帧内模式编解码的第一确定；以及响应于第一确定执行临近视频块不可用于构造MIP模式的第一MPM列表的第二确定。

在一些实施例中，方法2000还包括：执行当前视频块的临近视频块是用非MIP帧内模式编解码的第一确定；并且响应于第一确定执行临近视频块是用预定义的MIP帧内预测模式编解码的第二确定，其中，MIP模式的第一MPM列表是使用预定义的MIP帧内预测模式构造的。在方法2000的一些实施例中，预定义的MIP帧内预测模式取决于当前视频块的宽度和/或高度。

图21示出了用于基于矩阵的帧内预测的示例方法2100的示例流程图。操作2100包括：基于规则为视频的当前视频块和当前视频块的比特流之间的转换生成最可能模式(MPM)列表，其中，所述规则基于当前视频块的临近视频块是否是用基于矩阵的帧内预测(MIP)模式编解码的，在MIP中，通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定临近视频块的预测块。操作2104包括：使用MPM列表执行当前视频块和当前视频块的比特流之间的转换，其中转换将非MIP模式应用于当前视频块，并且其中，非MIP模式不同于MIP模式。

在方法2100的一些实施例中，所述规则指定用MIP模式编解码的临近视频块被视为不可用于生成非MIP编解码的当前视频块的MPM列表。在方法2100的一些实施例中，所述规则指定用MIP模式编解码的临近视频块被确定为用预定义的帧内预测模式编解码。在方法2100的一些实施例中，所述规则指定预定义的帧内预测模式包括平面模式。

图22示出了用于基于矩阵的帧内预测的示例方法2200的示例流程图。操作2202包括：使用基于矩阵的帧内预测(MIP)模式解码在当前视频块的比特流中编解码的视频的当前视频块，在MIP模式中，通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块。操作2204包括：在不在行缓冲器中存储指示当前视频块是否使用MIP模式编解码的信息的情况下，更新与解码相关联的行缓冲器。

在一些实施例中，方法2200还包括：访问视频的第二视频块，其中第二视频块是在解码当前视频块之前解码的，其中，第二视频块位于与当前视频块的最大编解码单元(LCU)或编解码树单元(CTU)行或CTU区域相比不同的最大编解码单元(LCU)或编解码树单元(CTU)行或CTU区域中，并且在不确定第二视频块是否使用MIP模式编解码的情况下，对当前视频块进行解码。在一些实施例中，方法2200还包括：通过确定第二视频块使用非MIP帧内模式编解码、而不确定第二视频块是否使用MIP模式编解码的情况下，访问第二视频块，其中第二视频块位于与当前视频块的最大编解码单元(LCU)或编解码树单元(CTU)行或CTU区域相比不同的最大编解码单元(LCU)或编解码树单元(CTU)行或CTU区域中；以及基于对第二视频块的访问，解码当前视频块。

图23示出了用于基于矩阵的帧内预测的示例方法2300的示例流程图。操作2302包括：执行当前视频块和当前视频块的比特流之间的转换，其中当前视频块是使用基于矩阵的帧内预测(MIP)模式编解码的，在MIP中，通过在视频的先前编解码样点上执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块，其中在算术编码或解码处理中，在比特流中使用最多K个上下文来编码标志，其中，所述标志指示当前视频块是否使用MIP模式编解码，并且其中，K大于或等于零。在方法2300的一些实施例中，K是1。在方法2300的一些实施例中，K是4。

图24示出了用于基于矩阵的帧内预测的示例方法2400的示例流程图。操作2402包括：为视频的当前视频块和当前视频块的比特流之间的转换，生成用基于矩阵的帧内预测(MIP)模式编解码的当前视频块的帧内预测模式，在MIP中，通过在视频的先前编解码样点上执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性的进行上采样操作来确定当前视频块的预测块。操作2404包括：基于当前视频块是否使用MIP模式编解码来确定用于存储指示帧内预测模式的信息的规则。操作2406包括：根据所述规则执行转换，其中所述规则定义帧内预测模式的语法元素存储在当前视频块的比特流中，并且其中，所述规则定义当前视频块的MIP模式的模式索引不存储在比特流中。

在方法2400的一些实施例中，MIP模式的模式索引与帧内预测模式相关联。在方法2400的一些实施例中，所述规则定义比特流不包括指示当前视频块使用MIP模式编解码的标志。在方法2400的一些实施例中，所述规则定义比特流不包括指示与当前视频块相关联的MIP模式的信息的存储。在一些实施例中，方法2400还包括：在所述转换之后，执行视频的第二视频块和第二视频块的比特流之间的第二转换，其中第二视频块是当前视频块的临近视频块，并且其中，在不确定第二视频块是否使用MIP模式编解码的情况下执行第二转换。

图25示出了用于基于矩阵的帧内预测的示例方法2500的示例流程图。操作2502包括：执行视频的亮度视频块是使用基于矩阵的帧内预测(MIP)模式编解码的第一确定，其中通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定亮度视频块的预测块。操作2504包括：基于所述第一确定，执行要用于色度视频块的色度帧内模式与所述亮度视频块相关联的第二确定。操作2506包括：基于第二确定执行色度视频块和色度视频块的比特流之间的转换。

在方法2500的一些实施例中，执行第二确定包括：在不取决于信令的情况下确定色度帧内模式是导出模式(DM)。在方法2500的一些实施例中，亮度视频块覆盖色度视频块的预定的对应色度样点。在方法2500的一些实施例中，预定的对应色度样点是色度视频块的左上样点或中心样点。在方法2500的一些实施例中，色度帧内模式包括导出模式(DM)。在方法2500的一些实施例中，DM用于从亮度视频块的第二帧内预测模式导出色度视频块的第一帧内预测模式。在方法2500的一些实施例中，将与亮度视频块相关联的MIP模式映射到预定义的帧内模式。

在方法2500的一些实施例中，响应于亮度视频块用MIP模式编解码的第一确定，导出多个导出模式(DM)。在方法2500的一些实施例中，色度帧内模式包括指定的帧内预测模式。在方法2500的一些实施例中，预定义的帧内模式或指定的帧内模式是平面模式。在方法2500的一些实施例中，色度视频块使用MIP模式编解码。在方法2500的一些实施例中，色度视频块使用与第二色度视频块的第二矩阵或第二偏移矢量不同的第一矩阵或第一偏移矢量编解码。在方法2500的一些实施例中，色度视频块是蓝色分量，其中第一矩阵或第一偏移矢量是为蓝色分量预定义的，其中第二色度视频块是红色分量，其中第二矩阵或第二偏移矢量是为红色分量预定义的。

在方法2500的一些实施例中，蓝色分量和红色分量级联的。在方法2500的一些实施例中，蓝色分量和红色分量是交错的。在方法2500的一些实施例中，使用与用于亮度视频块的MIP模式相同的MIP模式来编解码色度视频块。在方法2500的一些实施例中，使用导出模式(DM)来编码色度视频块。在方法2500的一些实施例中，在使用MIP模式对色度视频块进行编解码之后，跳过上采样操作(或线性插值技术)。在方法2500的一些实施例中，使用具有子采样矩阵和/或偏移矢量的MIP模式来编解码色度视频块。在方法2500的一些实施例中，亮度视频块和色度视频块的MIP模式的数量不同。在方法2500的一些实施例中，色度视频块与第一数量的MIP模式相关联，亮度视频块与第二数量的MIP模式相关联，并且第一数量的MIP模式小于第二数量的MIP模式。在方法2500的一些实施例中，色度视频块和亮度视频块具有相同的尺寸。

图26示出了用于基于矩阵的帧内预测的示例方法2600的示例流程图。操作2602包括：执行视频的当前视频块和当前视频块的比特流之间的转换，其中，转换基于是否使用基于矩阵的帧内预测(MIP)模式对当前视频块进行编解码的确定(或基于确定)，在MIP中，通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块。

在方法2600的一些实施例中，响应于要用MIP模式对当前视频块进行编码的确定，在比特流中包括语法元素，并且语法元素指示使用MIP模式对当前视频块进行编解码。在方法2600的一些实施例中，比特流包括指示为当前视频块启用或禁用MIP模式的语法元素，并且其中，所述语法元素指示允许或禁止用MIP模式对当前视频块进行编解码。在方法2600的一些实施例中，响应于不用MIP模式对当前视频块进行编解码的确定，在比特流中不包括语法元素，并且语法元素指示MIP模式是否用于当前视频块。

在方法2600的一些实施例中，将指示启用MIP模式的第二语法元素进一步包括在序列参数集(SPS)、图片参数集(PPS)、条带标头、片组标头、片标头、编解码树单元(CTU)行或CTU区域中。在方法2600的一些实施例中，是否将MIP模式用于转换的确定基于当前视频块的高度(H)和/或宽度(W)。在方法2600的一些实施例中，响应于W≥T1且H≥T2，确定当前视频块不使用MIP模式进行编码。在方法2600的一些实施例中，响应于W≤T1且H≤T2，确定当前视频块不使用MIP模式进行编解码。在方法2600的一些实施例中，响应于W≥T1或H≥T2，确定当前视频块不使用MIP模式进行编码。在方法2600的一些实施例中，响应于W≤T1或H≤T2，确定当前视频块不使用MIP模式进行编解码。在方法2600的一些实施例中，T1＝32并且T2＝32。在方法2600的一些实施例中，响应于W+H≥T，确定当前视频块不使用MIP模式进行编解码。在方法2600的一些实施例中，响应于W+H≤T，确定当前视频块不使用MIP模式进行编解码。在方法2600的一些实施例中，响应于W×H≥T，确定当前视频块不使用MIP模式进行编解码。在方法2600的一些实施例中，响应于W×H≤T，确定当前视频块不使用MIP模式进行编解码。在方法2600的一些实施例中，T＝256。

图27A示出了用于基于矩阵的帧内预测的示例视频编码方法2700A的示例流程图。操作2702A包括：根据规则，为将视频的当前视频块编码成当前视频块的比特流，确定是否使用基于矩阵的帧内预测(MIP)模式和不同于MIP模式的编码模式来编码当前视频块，其中，MIP模式包括：通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块。操作2704A包括：基于确定将当前视频块的比特流添加到比特流中。

图27B示出了用于基于矩阵的帧内预测的示例视频解码方法2700B的示例流程图。操作2702B包括：确定使用基于矩阵的帧内预测(MIP)模式和不同于MIP模式的编码模式来将视频的当前视频块编码在比特流中，其中MIP模式包括：通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块。操作2704B包括：通过解析和解码比特流来生成当前视频块的解码表示。

在方法2700A和/或2700B的一些实施例中，编解码模式是组合帧内帧间预测(CIIP)模式，并且其中，该方法还包括：通过在MIP模式和帧内预测模式之间进行选择来为当前视频块生成帧内预测信号。在方法2700A和/或2700B的一些实施例中，进行选择基于当前视频块的比特流中的信令。在方法2700A和/或2700B的一些实施例中，进行选择基于预定规则。在方法2700A和/或2700B的一些实施例中，预定规则响应于当前视频块使用CIIP模式编解码而选择MIP模式。在方法2700A和/或2700B的一些实施例中，预定规则响应于当前视频块使用CIIP模式编解码而选择帧内预测模式。在方法2700A和/或2700B的一些实施例中，预定规则响应于当前视频块使用CIIP模式编解码而选择平面(Planar)模式。在方法2700A和/或2700B的一些实施例中，进行选择基于与当前视频块的临近视频块相关联的信息。

在方法2700A和/或2700B的一些实施例中，编解码模式是交叉分量线性模型(CCLM)预测模式。在方法2700A和/或2700B的一些实施例中，用于在MIP模式下对当前视频块的临近样点进行下采样的第一下采样过程使用对当前视频块的临近亮度样点进行下采样的CCLM预测模式的第二下采样过程中的至少一些。在方法2700A和/或2700B的一些实施例中，用于在CCLM预测模式下对当前视频块的临近样点进行下采样的第一下采样过程使用对当前视频块的临近亮度样点进行下采样的MIP预测模式的第二下采样过程中的至少一些。在方法2700A和/或2700B的一些实施例中，MIP模式的第一下采样过程基于第一组参数，并且CCLM预测模式的第一下采样过程基于不同于第一组参数的第二组参数。

在方法2700A和/或2700B的一些实施例中，MIP模式的第一下采样过程和CCLM预测模式的第二下采样过程包括选择临近亮度位置或选择下采样滤波器。在方法2700A和/或2700B的一些实施例中，使用对下采样位置的选择、对下采样滤波器的选择、取整操作或剪切操作中的至少一个来对临近亮度样点进行下采样。在方法2700A和/或2700B的一些实施例中，所述规则定义不将基于块的差分脉冲编码调制(BDPCM)或残差DPCM应用于用MIP模式编解码的当前视频块。在方法2700A和/或2700B的一些实施例中，所述规则定义响应于应用基于块的差分脉冲编码调制(BDPCM)或残差DPCM，而不允许将MIP模式应用于当前视频块。

图28示出了用于基于矩阵的帧内预测的示例方法2800的示例流程图。操作2802包括：确定在视频和当前视频块的比特流之间的转换中环路滤波器对视频的当前视频块的重构块的适用性，其中，当前视频块使用基于矩阵的帧内预测(MIP)模式编解码，在MIP模式中，通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地进行上采样操作来确定当前视频块的预测块。操作2804包括：根据所述确定处理当前视频块。

在方法2800的一些实施例中，环路滤波器包括去方块滤波器。在方法2800的一些实施例中，环路滤波器包括采样自适应偏移(SAO)。在方法2800的一些实施例中，环路滤波器包括自适应环路滤波器(ALF)。

图29A示出了用于基于矩阵的帧内预测的示例视频编码方法2900A的示例流程图。操作2902A包括：根据规则，为将视频的当前视频块编码为当前视频块的比特流，确定要使用的当前视频块的所述类型的临近样点。操作2904A包括：基于所述确定将当前视频块的比特流添加到比特流中，其中当前视频块使用基于矩阵的帧内预测(MIP)模式编码，在MIP模式中，通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定所述当前视频块的预测块。

图29B示出了用于基于矩阵的帧内预测的示例视频解码方法2900B的示例流程图。操作2902B包括：根据规则，确定使用基于矩阵的帧内预测(MIP)模式并使用当前视频块的一种类型的临近样点来将视频的当前视频块编码在比特流中，其中，MIP模式包括：通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块。操作2904B包括：通过解析和解码比特流来生成当前视频块的解码表示。

在方法2900A和/或2900B的一些实施例中，所述规则定义所述类型的临近样点是未滤波的临近样点。在方法2900A和/或2900B的一些实施例中，所述规则定义将包括未滤波的临近样点的所述类型的临近样点用于上采样处理，并且所述规则定义将包括未滤波的临近样点的所述类型的临近样点用于下采样处理，并且所述规则定义将包括未滤波的临近样点的所述类型的临近样点用于矩阵矢量乘法运算。在方法2900A和/或2900B的一些实施例中，所述规则定义所述类型的临近样点是滤波后的临近样点。在方法2900A和/或2900B的一些实施例中，所述规则定义将包括未滤波的临近样点的所述类型的临近样点用于上采样技术，并且所述规则定义将包括滤波后的临近样点的所述类型的临近样点用于下采样技术。在方法2900A和/或2900B的一些实施例中，所述规则定义将包括未滤波的临近样点的所述类型的临近样点用于下采样技术，并且所述规则定义将包括滤波后的临近样点的所述类型的临近样点用于上采样技术。在方法2900A和/或2900B的一些实施例中，所述规则定义将包括未滤波的上方临近样点的所述类型的临近样点用于上采样技术，并且所述规则定义将包括滤波后的左侧临近样点的所述类型的临近样点用于上采样技术。在方法2900A和/或2900B的一些实施例中，所述规则定义将包括未滤波的左侧临近样点的所述类型的临近样点用于上采样技术，并且所述规则定义将包括滤波后的上方临近样点的所述类型的临近样点用于上采样技术。

在方法2900A和/或2900B的一些实施例中，所述类型的临近样点包括未滤波的临近样点或滤波后的临近样点，并且所述规则定义使用所述未滤波的临近样点还是所述滤波后的临近样点基于所述当前视频块的所述MIP模式。

在一些实施例中，方法2900A和/或2900B还包括：将MIP模式转换为帧内预测模式，其中所述类型的临近样点包括未滤波的临近样点或滤波后的临近样点，其中，所述规则定义使用未滤波的临近样点还是滤波后的临近样点基于帧内预测模式。在方法2900A和/或2900B的一些实施例中，所述类型的临近样点包括未滤波的临近样点或滤波后的临近样点，并且所述规则定义使用未滤波的临近样点还是滤波后的临近样点基于语法元素或信令。在方法2900A和/或2900B的一些实施例中，使用帧内预测模式生成滤波后的临近样点、或滤波后的左侧临近样点、或滤波后的上方临近样点。

图30示出了用于基于矩阵的帧内预测的示例方法3000的示例流程图。操作3002包括：执行视频的当前视频块和当前视频块的比特流之间的转换，其中转换包括：通过使用基于矩阵的帧内预测(MIP)模式，通过使用样点的矩阵选择和应用矩阵乘法、和/或通过使用当前视频块的偏移矢量选择和添加偏移来生成当前视频块的预测块，其中从视频的先前编解码样点的行和列平均中获得样点，并且其中，所述选择基于与在当前视频块的参考图片上应用亮度映射和色度缩放(LMCS)技术相关联的整形信息。在方法3000的一些实施例中，当对参考图片启用了整形技术时，整形信息与矩阵和/或偏移矢量相关联，所述矩阵和/或偏移矢量与当对参考图片禁用整形技术时与整形信息相关联的矩阵和/或偏移矢量不同。在方法3000的一些实施例中，将不同的矩阵和/或偏移矢量用于整形信息的不同整形参数。在方法3000的一些实施例中，执行转换包括：在原始域中使用MIP模式对当前视频块执行帧内预测。在用于方法3000的一些实施例中，响应于应用整形信息，将当前视频块的临近样点映射到原始域，并且其中，在用于MIP模式之前将临近样点映射到原始域。

图31示出了用于基于矩阵的帧内预测的示例方法3100的示例流程图。操作3102包括：确定将使用基于矩阵的帧内预测(MIP)模式对当前视频块进行编解码，在MIP模式中，通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块。操作3104包括：基于所述确定执行当前视频块和当前视频块的比特流之间的转换，其中执行转换基于共同应用MIP模式和另一编解码技术的规则。

在方法3100的一些实施例中，所述规则指定MIP模式和另一编解码技术被互斥地使用。在方法3100的一些实施例中，所述规则指定另一编解码技术是高动态范围(HDR)技术或整形技术。

图32示出了用于基于矩阵的帧内预测的示例方法3200的示例流程图。操作3202包括：使用基于矩阵的帧内预测(MIP)模式执行视频的当前视频块和当前视频块的比特流之间的转换，其中，使用MIP模式执行转换包括：通过使用从视频的先前编解码样点的行和列平均中获得的样点的矩阵应用矩阵乘法来生成预测块，并且其中，矩阵取决于样点的比特深度。

图33示出了用于基于矩阵的帧内预测的示例方法3300的示例流程图。操作3302包括：使用基于矩阵的帧内预测(MIP)模式为视频的当前视频块生成中间预测信号，在MIP中，通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块。操作3304包括：基于中间预测信号生成最终预测信号。操作3306包括：基于最终预测信号执行当前视频块和当前视频块的比特流之间的转换。

在方法3300的一些实施例中，通过对中间预测信号应用位置相关帧内预测组合(PDPC)来执行生成最终预测信号。在方法3300的一些实施例中，通过使用MIP模式生成视频的先前编解码样点并通过使用当前视频块的临近样点对先前编解码样点进行滤波来执行生成最终预测信号。

图34示出了用于基于矩阵的帧内预测的示例方法3400的示例流程图。操作3402包括：使用基于矩阵的帧内预测(MIP)模式执行视频的当前视频块和当前视频块的比特流之间的转换，其中执行转换包括：在MIP模式的上采样处理中使用插值滤波器，其中，在MIP模式中，将矩阵乘法应用于从视频的先前编解码样点的行和列平均中获得的第一组样点，并且将插值滤波器应用于从矩阵乘法获得的第二组样点，并且其中，插值滤波器不包括双线性插值滤波器。

在方法3400的一些实施例中，插值滤波器包括4抽头插值滤波器。在方法3400的一些实施例中，使用4抽头插值滤波器执行当前视频块的色度分量的运动补偿。在方法3400的一些实施例中，使用4抽头插值滤波器执行当前视频块的角度帧内预测。在方法3400的一些实施例中，插值滤波器包括8抽头插值滤波器，并且使用8抽头插值滤波器执行当前视频块的亮度分量的运动补偿。

图35示出了用于基于矩阵的帧内预测的示例方法3500的示例流程图。操作3502包括：根据规则执行视频的当前视频块和当前视频块的比特流之间的转换，其中所述规则指定在转换期间基于矩阵的帧内预测(MIP)模式或变换模式的适用性之间的关系，其中，MIP模式包括：通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块，并且其中，所述变换模式指定为当前视频块的预测块的所述确定使用变换操作。

在方法3500的一些实施例中，变换模式包括：缩减的二次变换(RST)、二次变换、旋转变换或不可分离二次变换(NSST)。在方法3500的一些实施例中，所述规则指示响应于将MIP模式应用于当前视频块，而不应用使用变换模式的变换操作。在方法3500的一些实施例中，所述规则指示是否应用使用变换模式的变换操作基于当前视频块的高度(H)或宽度(W)。在方法3500的一些实施例中，所述规则指示响应于W≥T1且H≥T2，而不将使用变换模式的变换操作应用于当前视频块。在方法3500的一些实施例中，所述规则指示响应于W≤T1且H≤T2，而不将使用变换模式的变换操作应用于当前视频块。在方法3500的一些实施例中，该所述规则指示响应于W≥T1或H≥T2，而不将使用变换模式的变换操作应用于当前视频块。在方法3500的一些实施例中，所述规则指示响应于W≤T1或H≤T2，而不将使用变换模式的变换操作应用于当前视频块。在方法3500的一些实施例中，其中T1＝32并且T2＝32。在方法3500的一些实施例中，所述规则指示响应于W+H≥T，而不将使用变换模式的变换操作应用于当前视频块。在方法3500的一些实施例中，所述规则指示响应于W+H≤T，而不将使用变换模式的变换操作应用于当前视频块。在方法3500的一些实施例中，所述规则指示响应于W×H≥T，而不将使用变换模式的变换操作应用于当前视频块。在方法3500的一些实施例中，所述规则指示响应于W×H≤T，而不将使用变换模式的变换操作应用于当前视频块。在方法3500的一些实施例中，T＝256。

在方法3500的一些实施例中，所述规则指示响应于当前视频块用MIP模式编解码，而应用使用变换模式的变换操作。在方法3500的一些实施例中，用于变换操作的变换矩阵或内核的选择基于当前视频块用MIP模式编解码。在一些实施例中，方法3500还包括：将MIP模式转换为帧内预测模式；以及基于转换的帧内预测模式选择变换矩阵或内核。在一些实施例中，方法3500还包括：将MIP模式转换为帧内预测模式；以及基于转换的帧内预测模式的分类选择变换矩阵或内核。在方法3500的一些实施例中，转换的帧内预测模式包括平面模式。

在方法3500的一些实施例中，所述规则指示当不允许将MIP模式应用于当前视频块时，将使用变换模式的变换操作应用于当前视频块。在方法3500的一些实施例中，所述规则指示将离散余弦变换类型II(DCT-II)变换编解码技术应用于使用MIP模式编解码的当前视频块。在方法3500的一些实施例中，当前视频块的比特流不包括DCT-II变换编解码技术的变换矩阵索引的信令。在方法3500的一些实施例中，执行转换包括导出将由DCT-II变换编解码技术使用的变换矩阵。在方法3500的一些实施例中，比特流包括与在变换矩阵的指示之后信令通知的MIP模式相关的信息。

在方法3500的一些实施例中，比特流包括变换矩阵的MIP模式的指示。在方法3500的一些实施例中，所述规则指示比特流不包括预定义变换矩阵的MIP模式的指示。在方法3500的一些实施例中，所述规则指示响应于当前视频块用MIP模式编解码，将使用变换跳过技术的变换操作应用于当前视频块。在方法3500的一些实施例中，当当前视频块用MIP模式编解码时，当前视频块的比特流不包括变换跳过技术的信令。在方法3500的一些实施例中，所述规则指示对于用MIP模式编解码的当前视频块，当通过选择模式相关的变换矩阵或内核来执行变换操作时，将MIP模式转换为预定义的帧内预测模式。在方法3500的一些实施例中，所述规则指示对于用MIP模式编解码的当前视频块，不允许使用变换跳过技术的变换操作。在方法3500的一些实施例中，比特流不包括指示使用变换跳过技术的信令。在方法3500的一些实施例中，所述规则指示对于未使用MIP模式编解码的当前视频块，允许使用变换跳过技术的变换操作。在方法3500的一些实施例中，比特流不包括指示使用MIP模式的信令。

图36示出了用于基于矩阵的帧内预测的示例方法3600的示例流程图。操作3602包括：使用基于矩阵的帧内预测(MIP)模式执行视频的当前视频块和当前视频块的比特流之间的转换，在MIP模式中，通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块，其中执行转换包括：根据规则通过对至少一个参考边界样点的和应用左移位操作或右移位操作来导出边界样点，其中所述规则确定是应用左移位操作还是右移位操作。

在方法3600的一些实施例中，所述规则定义响应于移位的数目大于或等于零，应用右移位操作。在方法3600的一些实施例中，该规则定义响应于移位的数目大于零，使用第一技术来应用右移位操作，并且其中，所述规则定义响应于移位的数目等于零，使用第二技术来应用右移位操作，其中第一技术不同于第二技术。

在方法3600的一些实施例中，使用以下等式中的一个将边界样点upsBdryX[x]计算为：

如果uDwn>1，则 或者

如果uDwn＝1，则upsBdryX[x]＝refX[x]。

其中uDwn等于当前视频块尺寸和边界尺寸的函数，其中refX[x]表示多个参考样点x，其中>>表示右移位操作，并且其中，<<表示左移位操作。

在方法3600的一些实施例中，使用以下等式来计算边界样点upsBdryX[x]：

其中uDwn等于当前视频块和边界尺寸的函数，其中refX[x]表示多个参考样点x，其中>>表示右移位操作，并且其中<<表示左移位操作。

在方法3600的一些实施例中，基于当前视频块尺寸预定义边界尺寸。在方法3600的一些实施例中，uDwn被计算为uDwn＝nTbs/boundarySize，其中nTbs和boundarySize分别表示当前视频块尺寸和边界尺寸。在方法3600的一些实施例中，使用以下等式中的一个将边界样点upsBdryX[x]计算为：

如果nTbs>boundarySize，则 或者

如果nTbs＝boundarySize，则upsBdryX[x]＝refX[x]。

图37示出了用于基于矩阵的帧内预测的示例方法3700的示例流程图。操作3702包括：使用基于矩阵的帧内预测(MIP)模式执行视频的当前视频块和当前视频块的比特流之间的转换，在MIP模式中，通过对视频的先前编解码样点执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块，其中，根据以下公式在上采样操作中确定预测样点predSamples[xHor+dX][yHor]：

predSamples[xHor+dX][yHor]＝((upHor-dX)*predSamples[xHor][yHor]+dX*predSamples[xHor+upHor][yHor]+offsetHor)/upHor，并且

predSamples[xVer][yVer+dY]＝((upVer-dY)*predSamples[xVer][yVer]+dY*predSamples[xVer][yVer+upVer]+offsetVer)/upVer

其中offsetHor和offsetVer是整数，其中upHor是当前视频块宽度和基于当前视频块尺寸的预定义值的函数，其中upVer是当前视频块高度和基于当前视频块尺寸的预定义值的函数；其中dX是1…upHor-1，其中dY是1…upVer-1，并且其中，xHor是基于upHor的位置，并且yHor是基于upVer的位置。在方法3700的一些实施例中，offsetHor＝upHor/2，并且offsetVer＝upVer/2。

图38示出了用于基于矩阵的帧内预测的示例方法3800的示例流程图。操作3802包括：为视频的当前视频块和当前视频块的比特流之间的转换，生成用基于矩阵的帧内预测(MIP)模式编解码的当前视频块的帧内预测模式，在MIP模式中，通过在视频的先前编解码的样点上执行边界下采样操作、然后执行矩阵矢量乘法运算、然后选择性地执行上采样操作来确定当前视频块的预测块。操作3804包括：基于当前视频块是否使用MIP模式编解码来确定用于存储指示帧内预测模式的信息的规则。操作3806包括：根据规则执行转换，其中所述规则定义比特流不包括指示与当前视频块相关联的MIP模式的信息的存储。

本专利文件可以将比特流参考为平均比特流，反之亦然。综上所述，应当理解的是，为了说明的目的，本文描述了本公开技术的具体实施例，但是可以在不偏离本公开的范围的情况下进行各种修改。因此，除了受所附权利要求限制外，本公开的技术不受限制。

本专利文件中描述的主题的实现和功能操作可以在各种系统、数字电子电路、或计算机软件、固件或硬件中实现，包括本说明书中所公开的结构及其结构等效体，或其中一个或多个的组合。本说明说中描述的主题的实现可以实现为一个或多个计算机程序产品，即一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。

本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。

本说明书和附图仅被视为示例性的，其中示例性是指示例。如本文所用，“或”的使用意欲包括“和/或”，除非上下文另有明确指示。

虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。

同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。

仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (17)

1.一种视频处理方法，包括：

对于视频的视频块和所述视频的比特流之间的转换，确定对所述视频的所述视频块应用第一帧内模式，

通过基于所述视频块的尺寸对所述视频块的参考样点执行边界下采样操作，然后执行矩阵矢量乘法操作，然后选择性地执行上采样操作，来生成所述视频块的预测样点；以及

基于所述视频块的所述预测样点和残差样点执行所述转换，

其中，对所述视频块应用二次变换工具，并二次变换矩阵被选择来生成所述视频块的所述残差样点，

其中，所述二次变换工具包括在编码期间在应用量化过程之前将前向二次变换应用于正向初级变换的输出，或者在解码期间在应用逆初级变换之前将逆二次变换应用于去量化过程的输出，

其中，基于应用于所述视频块的所述第一帧内模式，从所述第一帧内模式转换第二帧内模式，并且其中基于所述第二帧内模式导出二次变换分类，并且

其中，所选择的二次变换矩阵是基于所述二次变换分类确定的。

2.根据权利要求1所述的方法，其中，所述二次变换工具包括不可分离二次变换。

3.根据权利要求1所述的方法，其中，所述二次变换工具包括缩减的二次变换RST或旋转变换。

4.根据权利要求1所述的方法，其中，在所述边界下采样操作中导出的下采样因子大于或等于1，并且其中基于对从所述边界下采样操作导出的下采样参考样点进行级联来进一步导出一维向量阵列，且所述一维向量阵列被用作所述矩阵向量乘法操作的输入。

5.根据权利要求1所述的方法，其中，在所述第二帧内模式中，在垂直方向和水平方向对参考值应用基于距离的加权计算以导出预测值。

6.根据权利要求1所述的方法，其中，所述第二帧内模式包括平面模式。

7.根据权利要求1所述的方法，其中，是否应用所述第一帧内模式由包括在序列参数集中的第一语法元素和包括在编解码单元级别集中的第二语法元素指定。

8.根据权利要求7所述的方法，其中，响应于所述视频块的宽高比大于2，将索引为3的上下文用于所述第二语法元素的第一二进制数。

9.根据权利要求7所述的方法，其中，响应于所述视频块的宽高比小于或等于2，将从具有索引为0、1或2的上下文中选择的单个上下文用于所述第二语法元素。

10.根据权利要求1所述的方法，其中，所述第一帧内模式包括多种类型，并且在不参考先前视频块的类型索引的情况下导出所述视频块的类型索引。

11.根据权利要求10所述的方法，其中，所述视频块的类型索引明确地包括在所述比特流中。

12.根据权利要求1所述的方法，其中，是否应用所述二次变换工具是基于所述视频块的高度H或宽度W。

13.根据权利要求1所述的方法，其中，所述转换包括将所述视频块编码为所述比特流。

14.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述视频块。

15.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器：

对于视频的视频块和所述视频的比特流之间的转换，确定对所述视频的所述视频块应用第一帧内模式，

通过基于所述视频块的尺寸对所述视频块的参考样点执行边界下采样操作，然后执行矩阵矢量乘法操作，然后选择性地执行上采样操作，来生成所述视频块的预测样点；以及

基于所述视频块的所述预测样点和残差样点执行所述转换，

其中，对所述视频块应用二次变换工具，并二次变换矩阵被选择来生成所述视频块的所述残差样点，

其中，所述二次变换工具包括在编码期间在应用量化过程之前将前向二次变换应用于正向初级变换的输出，或者在解码期间在应用逆初级变换之前将逆二次变换应用于去量化过程的输出，

其中，基于应用于所述视频块的所述第一帧内模式，从所述第一帧内模式转换第二帧内模式，并且其中基于所述第二帧内模式导出二次变换分类，并且

其中，所选择的二次变换矩阵是基于所述二次变换分类确定的。

16.一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器：

对于视频的视频块和所述视频的比特流之间的转换，确定对所述视频的所述视频块应用第一帧内模式，

通过基于所述视频块的尺寸对所述视频块的参考样点执行边界下采样操作，然后执行矩阵矢量乘法操作，然后选择性地执行上采样操作，来生成所述视频块的预测样点；以及

基于所述视频块的所述预测样点和残差样点执行所述转换，

其中，对所述视频块应用二次变换工具，并二次变换矩阵被选择来生成所述视频块的所述残差样点，

其中，所述二次变换工具包括在编码期间在应用量化过程之前将前向二次变换应用于正向初级变换的输出，或者在解码期间在应用逆初级变换之前将逆二次变换应用于去量化过程的输出，

其中，基于应用于所述视频块的所述第一帧内模式，从所述第一帧内模式转换第二帧内模式，并且其中基于所述第二帧内模式导出二次变换分类，并且

其中，所选择的二次变换矩阵是基于所述二次变换分类确定的。

17.一种用于存储视频的比特流的方法，包括：

确定对所述视频的视频块应用第一帧内模式，

通过基于所述视频块的尺寸对所述视频块的参考样点执行边界下采样操作，然后执行矩阵矢量乘法操作，然后选择性地执行上采样操作，来生成所述视频块的预测样点；

基于所述视频块的所述预测样点和残差样点生成所述比特流；以及

将所述比特流存储在非暂时性计算机可读记录介质中，

其中，对所述视频块应用二次变换工具，并二次变换矩阵被选择来生成所述视频块的所述残差样点，

其中，所述二次变换工具包括在编码期间在应用量化过程之前将前向二次变换应用于正向初级变换的输出，或者在解码期间在应用逆初级变换之前将逆二次变换应用于去量化过程的输出，

其中，基于应用于所述视频块的所述第一帧内模式，从所述第一帧内模式转换第二帧内模式，并且其中基于所述第二帧内模式导出二次变换分类，并且

其中，所选择的二次变换矩阵是基于所述二次变换分类确定的。