CN112425162A - 宽角帧内预测和位置依赖性帧内预测组合 - Google Patents
宽角帧内预测和位置依赖性帧内预测组合 Download PDFInfo
- Publication number
- CN112425162A CN112425162A CN201980046981.4A CN201980046981A CN112425162A CN 112425162 A CN112425162 A CN 112425162A CN 201980046981 A CN201980046981 A CN 201980046981A CN 112425162 A CN112425162 A CN 112425162A
- Authority
- CN
- China
- Prior art keywords
- video block
- square
- block
- prediction
- reference samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001419 dependent effect Effects 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 25
- 230000015654 memory Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 18
- 238000003491 array Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000000638 solvent extraction Methods 0.000 description 9
- 239000013074 reference sample Substances 0.000 description 8
- 230000011664 signaling Effects 0.000 description 8
- 239000000523 sample Substances 0.000 description 7
- 239000000872 buffer Substances 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- -1 variables Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
用于在编码器或解码器中针对非正方形块执行帧内预测的方法和装置使得来自非正方形块上方的行和非正方形块左侧的行的参考样点的组合能够被用于预测。在一个实施例中，使用参考样点的加权组合。在另一个实施例中，预测的角度在非正方形块的较长方向上延伸，使得在较短方向上使用较少的预测角。
Description
技术领域
本实施例中的至少一个实施例通常涉及用于视频编码或解码的方法或装置。
背景技术
为了实现高压缩效率，图像和视频编解码方案通常采用包括运动向量预测的预测，并进行变换以充分利用视频内容中的空间和时间冗余性。一般而言，使用帧内或帧间预测来利用帧内或帧间相关性，然后对原始图像与预测的图像之间的差异(常常表示为预测误差或预测残差)进行变换、量化和熵编解码。为了重构视频，通过与熵编解码、量化、变换和预测对应的逆过程来解码压缩数据。
发明内容
可以通过本文描述的一般方面来解决现有技术的缺陷和缺点，这些方面针对编码和解码中的块形状自适应帧内预测方向。
根据第一方面，提供了一种方法。该方法包括以下步骤：使用来自非正方形视频块上方的行的N个参考样点中的至少一个、或来自非正方形视频块的左列的M个参考样点中的至少一个来预测非正方形视频块的样点；以及在帧内编解码模式下使用所述预测对非正方形视频块进行编码。
根据另一方面，提供了另一种方法。该方法包括以下步骤：使用来自非正方形视频块上方的行的N个参考样点中的至少一个、或来自非正方形视频块的左列的M个参考样点中的至少一个来预测非正方形视频块的样点；以及在帧内编解码模式下使用所述预测对非正方形视频块进行解码。
根据另一方面，提供了一种装置。该装置包括处理器。处理器可以被配置为通过执行任何上面提到的方法来对视频的块进行编码或对比特流进行解码。
根据至少一个实施例的另一个一般方面，提供了一种设备，该设备包括根据任何解码实施例的装置；以及以下至少之一：(i)天线，被配置为接收信号，该信号包括视频块；(ii)频带限制器，被配置为将接收到的信号限制到包括视频块的频带，或者(iii)显示器，被配置为显示代表视频块的输出。
根据至少一个实施例的另一个一般方面，提供了一种非暂时性计算机可读介质，该非暂时性计算机可读介质包含根据任何所描述的编码实施例或变体生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种信号，该信号包括根据任何所描述的编码实施例或变体生成的视频数据。
根据至少一个实施例的另一个一般方面，比特流被格式化为包括根据任何所描述的编码实施例或变体生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种计算机程序产品，该计算机程序产品包括指令，程序在由计算机执行时使计算机执行任何所描述的解码实施例或变体。
通过下面结合附图对示例性实施例的详细描述，一般方面的这些和其它方面、特征和优点将变得显而易见。
附图说明
图1示出了具有用于帧内预测的扩展参考阵列的正方形块。
图2示出了长度为W+H+1的顶部和左侧参考阵列。
图3示出了矩形目标块(左侧的扁平块、右侧的高块)及其顶部和左侧参考阵列。
图4示出了PDPC扩展到对角线和相邻角帧内模式所使用的样点的定义。
图5示出了矩形块以及各种帧内预测模式的定义。
图6示出了顶部参考阵列具有2W+1的长度，而左侧参考阵列具有为2H+1的长度。
图7示出了两个矩形的示例，它们具有相似的长宽比，但从中心到拐角的角度相等。
图8示出了适用于所描述的一般方面的帧内定向模式的示例。
图9示出了适用于所描述的一般方面的帧内定向模式的另一个示例。
图10示出了用于使用具有多个区域的环路滤波进行编码的方法的实施例。
图11示出了用于使用具有多个区域的环路滤波进行解码的另一种方法的实施例。
图12示出了用于使用具有多个区域的环路滤波进行编码或解码的装置的实施例。
图13示出了通用的标准编码方案。
图14示出了通用的标准解码方案。
图15示出了其中可以实现所描述的实施例的典型处理器布置。
具体实施方式
这里描述的实施例在视频压缩领域中，并且涉及视频压缩以及视频编码和解码。
在HEVC(高效视频编码、ISO/IEC 23008-2、ITU-T H.265)视频压缩标准中，采用运动补偿的时间预测来利用视频的后续图片之间存在的冗余性。
为此，将运动向量与每个预测单元(PU)相关联。每个编解码树单元(CTU，CodingTree Unit)在压缩域中由编解码树表示。这是CTU的四叉树划分，其中每个叶子被称为编解码单位(CU)。
然后，为每个CU提供一些帧内或帧间预测参数(预测信息)。为此，将其在空间上分割为一个或多个预测单元(PU)，每个PU都指派有一些预测信息。帧内或帧间编解码模式在CU级别上指派。
在针对新视频压缩标准(称为联合探索模型(JEM，Joint Exploration Model))的JVET(联合视频探索小组，Joint Video Exploration Team)建议中，由于高压缩性能，因此已提出接受四叉树-二叉树(QTBT，quadtree-binary tree)块分割结构。可以通过在中间水平或垂直地拆分二叉树(BT)中的块来将其拆分为两个大小相等的子块。因此，BT块可以具有宽度和高度不相等的矩形形状，而不像在QT中那样块始终具有高度和宽度相等的正方形形状。在HEVC中，将角度帧内预测方向在180度角上定义为从45度到-135度，并且已在JEM中进行维护，这使得角度方向的定义与目标块的形状无关。
为了对这些块进行编码，使用帧内预测来使用先前重构的邻居样点来提供块的估计的版本。然后，对源块与预测之间的差异进行编码。在上面的经典编解码器中，在当前块的左侧和顶部使用单行参考样点。
在最近的工作中，提出了宽角帧内预测，这使得帧内预测方向角能够比常规的45度更高。而且，在当前规范中，位置依赖性帧内预测组合(PDPC，position dependent intraprediction combination)被用于下一代视频编解码H.266/VVC。
在所描述的实施例中，提出了解决宽角模式与应用于对角线和相邻对角线模式的PDPC之间的相互作用。所描述的一般方面所解决的问题是如何高效地组合宽角帧内预测和位置依赖性帧内预测组合(PDPC)。
在针对新视频压缩标准(称为联合探索模型(JEM))的JVET(联合视频探索小组)建议中，由于高压缩性能，因此已提出接受四叉树-二叉树(QTBT)块分割结构。可以通过在中间水平或垂直地拆分二叉树(BT)中的块来将其拆分为两个大小相等的子块。因此，BT块可以具有宽度和高度不相等的矩形形状，而不像在四叉树(QT)中那样块始终具有高度和宽度相等的正方形形状。在HEVC中，将角度帧内预测方向在180度角上定义为从45度到-135度，并且已在JEM中进行维护，这使得角度方向的定义与目标块的形状无关。但是，由于将编解码树单元(CTU)分割为CU的构思是捕获对象或对象的部分，并且块的形状与对象的方向性相关联，因此对于更高的压缩效率，适配根据块的形状定义的预测方向是有意义的。在这种上下文中，所描述的一般方面提出重新定义用于矩形目标块的帧内预测方向。
本文所述的实施例旨在通过用QTBT结构改善帧内预测来改善常规视频的压缩性能。它提出根据CU的形状来适配帧内预测方向。如果CU的形状是正方形，那么JEM中已经定义的方向保持不变。否则，根据CU的形状修改搜索方向。但是，用于任何CU的角度方向的总数保持不变。使预测方向适应块形状的目的是在与块形状无关的当前定义的一组预测方向上提高预测准确度。
此外，由于用于目标CU的预测方向的总数保持不变，因此使用MPM(最可能模式)集的预测模式的编码和解码保持不变。但是，由于具有不同形状的CU具有不同的定义的方向集，因此邻居块的预测模式被映射到目标块的预测模式。映射仅仅是模式的重新加索引(re-indexing)，但实际的预测方向没有改变。
在HEVC(高效视频编解码，H.265)中，视频序列的帧的编码基于四叉树(QT)块分割结构。帧被划分为正方形编解码树单元(CTU)，它们全都基于速率失真(RD)标准经历基于四叉树的拆分为多个编解码单元(CU)。每个CU或者被帧内预测，即，从因果邻居CU在空间上预测，或者被帧间预测，即，从已经解码的参考帧在时间上预测。在I条带中，所有CU都是帧内预测的，而在P和B条带中，CU可以是帧内或帧间预测的。对于帧内预测，HEVC定义了35种预测模式，其包括一种平面模式(加索引为模式0)、一种DC模式(加索引为模式1)和33种角度模式(加索引为模式2-34)。角度模式与在顺时针方向上在45度至-135度范围内的预测方向相关联。由于HEVC支持四叉树(QT)块分割结构，因此所有预测单元(PU)都具有正方形形状。因此，从PU(预测单元)形状的角度来看，从45度到-135度的预测角度的定义是合理的。对于尺寸为NxN个像素的目标预测单元，顶部参考阵列和左侧参考阵列各自尺寸为2N+1个样点，这是覆盖用于所有目标像素的上面提到的角度范围所要求的。考虑到PU的高度和宽度具有相等的长度，两个参考阵列的长度相等也是有意义的。
对于下一个视频编码标准，JVET作为联合探索模型(JEM)的尝试提出除了平面和DC模式外还使用65种角度帧内预测模式。但是，预测方向是在相同的角度范围内定义的，即，在顺时针方向上从45度到-135度。对于尺寸为WXH像素的目标块，顶部参考阵列和左侧参考阵列各自尺寸为(W+H+1)个像素，这是覆盖用于所有目标像素的上面提到的角度范围所要求的。在JEM中对角度的这个定义比起其它任何特定原因都是为了简单而进行的。但是，这样做引起某种低效。
在JEM中，由于更高的压缩性能，已经提出使用四叉树-二叉树(QTBT)块分割结构而不是仅四叉树结构。与QT块始终为正方形形状不同，由于水平或垂直二进制拆分，BT块可以具有宽度和高度不相等的矩形形状。在当前的JEM代码中，矩形块的长宽比可以从2:1到8:1变化。因此，不同角度预测模式的构思是捕获不同的对象方向性，而将CTU分割为CU的构思是捕获具有此类方向性的对象或对象的部分。因此，目标块的形状在结构上与对象在块中的方向性相关。如果块的形状为矩形，那么某些预测方向可能比其它预测方向更可能发生。因此，预测方向的定义不应当与目标块形状无关，在JEM的情况下就是这样。
在正方形块的情况下，存在结构对称性。正方形块不仅沿着高度和宽度都是对称的，而且相对于两个参考阵列也是对称放置的，如图1中所看到的。
图1示出了正方形目标块及其顶部和左侧参考阵列。目标块相对于两个参考阵列对称放置。将预测方向定义为在顺时针方向上45度到-135度，其中模式2与45度角对应并且模式66与-135度角对应。
在矩形块的情况下，当前定义的方向并非如此。当块扁平时(即，W>H)，它被放置得更靠近顶部参考阵列，但不对称。类似地，当块高时(即，W<H)，它被放置得更靠近左侧参考阵列，但不对称。这种不对称性在图2中示出。
图2示出了矩形目标块(左侧的扁平块、右侧的高块)及其顶部和左侧参考阵列。目标块相对于两个参考阵列不对称放置。
这种不对称性的结果是，对于一些预测模式，将根据较远的参考阵列来预测目标像素，而由于定义的角度，将排除较近的参考阵列。这在图3中示出。
图3示出了矩形目标块(左侧的扁平块、右侧的高块)及其顶部和左侧参考阵列。在左侧，目标像素A在左侧参考阵列上具有带水平预测方向的预测器样点L。虽然顶部参考阵列上的样点T更近，但在JEM中不允许垂直预测方向(以使T可以成为A的预测器样点)。右图针对高块中的目标像素示出了类似的情况。
块越扁平或越高(即，长侧与短侧之比越高)，这种不对称性越明显。由于预测的不准确性，如从实际的测试结果可以看出的，这种预测模式变得不太可能。
针对当前定义的方向上的低效的另一个论点是水平和垂直预测方向的数量相等。在JEM中，除了对角线模式(模式34)之外，水平和垂直方向上都存在32种模式。对于高度和宽度都相等的正方形CU，沿着水平和垂直方向具有相同数量的预测模式是有意义的。当块是矩形且其一侧长于另一侧时，在长侧中的预测方向的数量应当更高，这仅仅是因为该侧中结构方向的数量可能更高。对于扁平块，垂直与水平模式数量的比率应当大约为宽度与高度的比率。类似地，对于高块，水平与垂直模式数量的比率应当大约为高度与宽度的比率。要考虑的相关点是参考阵列的长度。对于正方形CU，高度和宽度都相等，参考阵列的长度相同是有意义的。但是，对于矩形块，直觉上，如果宽度大于高度，那么顶部参考阵列应当具有比左侧参考阵列更多的样点。
类似地，对于高度大于宽度的块，左侧参考阵列应当具有比顶部参考阵列更多的样点。这种直觉是基于这样一个事实，即扁平(高)矩形块沿水平(垂直)方向上具有更多样点或信息。同样，高矩形块沿垂直方向具有更多样点或信息。因此，当前定义的、在水平和垂直方向上导致相等数量的预测模式的、从45度到-135度的方向，以及相等长度的参考阵列，对于矩形块而言效率较低。
在JEM中，BT(二叉树)目标块可以根据其宽度和高度的长度而具有不同的形状。矩形由其宽度W和高度H定义，如图7中所示。如图所示，如果A、B、C和D表示其四个顶点，那么AC是其主对角线，而BD是其次对角线。当W＝H时，正方形是特殊的矩形。图7示出了矩形块的属性。
对于宽度W和高度H的任何目标块，模式2将与沿着次对角线从顶点D朝着顶点B的方向相关联，模式66与从顶点B朝着顶点D的方向相关联，如图5中所示。对角线模式与沿着主对角线从顶点A朝着顶点C的方向相关联。从模式2到对角线模式的所有模式都将被称为左侧(Left)模式。类似地，从对角线模式到模式66的所有模式，包括对角线模式，都将被称为顶部(Top)模式。左侧模式与水平方向相关联。类似地，顶部模式与垂直方向相关联。水平模式或纯水平模式是与零度角对应的左侧模式。垂直模式或纯垂直模式是与-90度角对应的顶部模式。
图5示出了矩形块的预测方向的定义。模式2沿着次对角线从顶点D朝着顶点B。模式66沿着与模式2相反的方向。对角线(Diagonal)模式沿着主对角线从顶点A朝着顶点C。
图6示出了顶部参考阵列具有2W+1的长度，左侧参考阵列具有2H+1的长度。宽度W和高度H是图6中白色块的维度。
为了支持这些预测方向，定义了长度为2W+1的顶部参考以及长度为2H+1的左侧参考，如图6中所示。在正方形块的情况下，该图将与图1中的完全相同，其中W＝H＝N。
注意的是，对于扁平块，顶部参考的长度大于左侧参考阵列的长度。与左侧模式相比，顶部模式的数量也是如此。类似地，对于高块，反过来成立。在这种情况下，左侧参考的长度大于顶部参考阵列的长度。
而且，块的位置相对于参考阵列是对称的。当目标块是正方形时，存在完美的对称性，并且预测方向和参考阵列的长度与JEM定义完全匹配，如图1中那样。
上述定义的优点是预测方向与块形状的适应性。注意的是，在此，模式2和66未定义为与沿着45度角和-135度角的方向对应，而是与沿着次对角线的方向对应。在扁平块的情况下，移除一些接近45度(包括45度)的方向，但是在超过-135度角的相反方向上精确地添加相等数量的方向。类似地，在高块的情况下，移除一些接近-135度(包括-135度)的方向，但是在超过45度角的相反方向上精确地添加相等数量的方向。我们将模式2从45度角的偏移称为“modeShift”，其被定义为已删除的模式的数量(在模式2和45度角之间)，或等效地，添加的模式的数量(在角度-135度和模式66之间)。扁平块具有正modeShift，而高块将具有负modeShift。对于正方形块，modeShift等于0。
块的modeShift表示其起始模式(即，模式2)相对于正方形块的起始模式的偏移。显然，其是块的形状的函数。要进行的重要观察是，块的modeShift不取决于其宽度和高度的绝对值，而是取决于它们的比率。这在图7中示出。矩形ABCD(宽度W1和高度H1)和矩形EFGH(宽度W2和高度H2)具有相同的预测方向(因此，相同的modeShift)。使用三角形的相似性，可以示出W1/W2＝H1/H2。因此，W1/H1＝W2/H2。因此，具有相同的宽高比(反之亦然)的块将在水平和垂直方向上具有相同的预测模式。
图7示出了具有相同纵横比(宽高比)的块具有相同的预测方向，因此具有相同的modeShift。
当块是矩形时，宽角帧内预测旨在定义更好的帧内预测方向的集合。
在非正方形块的情况下，对于一些预测模式，将从较远的参考阵列中预测目标像素，而由于定义的角度，将排除较近的参考阵列。这在图3中示出。
图3描绘了矩形目标块(左侧的扁平块、右侧的高块)及其顶部和左侧参考阵列。在左侧，目标像素A在左侧参考阵列上具有带水平预测方向的预测器样点L。虽然顶部参考阵列上的样点T更近，但在VTM/BMS中不允许垂直预测方向(以使T可以成为A的预测器样点)。右图针对高块中的目标像素示出了类似的情况。
对于非正方形块，提出了用宽角定向模式代替几种常规的角度帧内预测模式。替换的模式使用原始方法发信令通知，并在解析之后重新映射到宽角模式的索引。帧内预测模式的总数不变，并且帧内模式编解码不变。
为了支持这些预测方向，提出了定义长度为2W+1的顶部参考，以及长度为2H+1的左侧参考。
图6描绘了顶部参考阵列具有2W+1的长度，左侧参考阵列具有2H+1的长度。在正方形块的情况下，参考阵列的方向和长度与VTM/BMS中的完全相同。
图8示出了当使用65种帧内定向模式时的帧内预测方向。对角线模式与模式#2(-135度)和模式#66(45度)对应。即使一些示例被示为具有35种帧内定向模式，本文描述的实施例也适用于这种情况。
图9示出了在35种帧内定向模式的情况下如何针对非正方形块将角度帧内模式替换为宽角模式的示例。在这个示例中，模式2和模式3替换为宽角模式35和模式36，其中模式35的方向指向模式3的相反方向，并且模式36的方向指向模式4的相反方向。
图9示出了在扁平矩形(宽度>高度)的情况下替换帧内方向。在这个示例中，2个模式(#2和#3)被宽角模式(35和36)代替。
对于图8的65种帧内定向模式的情况，宽角帧内预测最多可以传送10种模式。如果块的宽度大于高度，那么例如，在本文所述的一般实施例下，模式#2至模式#11被移除并且模式#67至#76被添加。
当前在草案中为将来的H.266/VVC标准采用的PDPC适用于几种帧内模式：平面、DC、水平、垂直、对角线模式以及所谓的相邻对角线模式(即，与对角线接近的方向)。在图3的示例中，对角线模式与模式2和34对应。如果在每个对角线方向上添加两种相邻模式，那么相邻模式可以包括例如模式3、4、32、33。在所采用的PDPC的当前设计中，每个对角线考虑8种模式，即，总共16种相邻对角线模式。下面详细介绍用于对角线和相邻对角线模式的PDPC。
图4(a)图示了用于将PDPC扩展到右上对角线模式的参考样点Rx,-1、R-1,y和R-1,-1的定义。预测样点pred(x’,y’)位于预测块内的(x’,y’)处。参考样点Rx,-1的坐标x由下式给出：x＝x’+y’+1，参考样点R-1,y的坐标y类似地由下式给出：y＝x’+y’+1。
用于右上对角线模式的PDPC权重为：
wT＝16>>((y’<<1)>>shift),wL＝16>>((x’<<1)>>shift),wTL＝0。
图4示出了PDPC扩展到对角线和相邻角度帧内模式所使用的样点的定义。
类似地，图4(b)图示了用于将PDPC扩展到左下对角线模式的参考样点Rx,-1、R-1,y和R-1,-1的定义。参考样点Rx,-1的坐标x由下式给出：x＝x’+y’+1，参考样点R-1,y的坐标y为：y＝x’+y’+1。用于右上对角线模式的PDPC权重为：wT＝16>>((y’<<1)>>shift),wL＝16>>((x’<<1)>>shift),wTL＝0。相邻的右上对角线模式的情况在图4(c)中示出。用于相邻的右上对角线模式的PDPC权重为：wT＝32>>((y’<<1)>>shift),wL＝0,wTL＝0。类似地，在图4(d)中图示了相邻的左下对角线模式的情况。用于相邻的左下对角线模式的PDPC权重为：wL＝32>>((x’<<1)>>shift),wT＝0,wTL＝0。使用已经用于角度模式帧内预测的表来计算最后两种情况的参考样点坐标。如果计算分数参考样点坐标，那么使用参考样点的线性插值。
在对角线模式和相邻对角线模式的情况下，存在与宽角帧内预测的交互(interaction)。
首先，在当前的JEM设计中，对于任何块，可用的参考样点位于尺寸为宽度+高度+1(width+heigh+1)的顶部线段和左侧线段中，如图1中所描绘的。在对角线角的情况下，PDPC可以应用于块中的任何像素，因为R(x,-1)和R(-1,y)始终都可用。对于通过块的右下像素的线可能不与可用样点段交叉的相邻的对角线角，情况不是这样。在那种情况下，PDPC部分地应用到块上，这要求对参考样点的可用性进行逐像素测试。这可以被认为是关于实施方式复杂性的问题。
所描述的一般方面的一些实施例也旨在解决这个问题。
在所描述的实施例中，提出了在非正方形块的情况下修改对其应用PDPC的模式的集合。
在当前的JEM设计中，相邻模式的集合不包括扩展的模式。例如，在图3中，模式#35和#36无法从PDPC中受益。
提出将相邻对角线模式扩展到增加的宽角模式。
变体1：
除了对角线和相邻对角线模式外，PDPC还应用于所有宽角模式。
变体2：
从对角线模式的每一侧将PDPC应用于尽可能多的相邻模式。
变体3：
由于相邻模式提出了在块上部分应用PDPC的问题，因为参考样点并不总是可用，因此提出不要将PDPC应用于现有的相邻模式(例如，图3中的模式33)，而是将其应用于扩展的方向，因为参考样点对于这些方向在两侧都可用。
变体4：
在非正方形块的情况下，不像当前情况那样将对角线模式视为45度或-135度，而是将最后扩展的宽角方向视为对角线，并将与这个新方向的相邻角度作为用于PDPC的相邻对角线模式。
如图4中所描述的，在相邻对角线模式的情况下，PDPC要求顶部和左侧参考样点两者的可用性。
如JVET-K0500中所给出的，宽角帧内预测将参考样点缓冲器的尺寸针对左侧行和顶部行、对于左侧、右侧参考缓冲器，分别从宽度+高度+1修改为2*高度+1和2*高度+1。这修改了用于PDPC的可用样点。
变体5：
提出不减小与最小侧相关的参考样点缓冲器的尺寸。例如，对于如图2(左侧)中的扁平块，使用宽度+高度+1个样点，而不是2*高度+1个样点。这解决了对角线PDPC的情况，其在当前设计中可以对整个块应用，但如果尺寸改变为2*高度+1，那么不能应用于当前块的右下样点。在那种情况下，所有宽角模式也可以完全受益于PDPC，即，可以处理块的所有样点。
变体6：
如果未扩展参考缓冲器的尺寸，那么在没有参考样点可用时，不限制PDPC的使用，并获取该行中最后一个参考样点的值。
图10中示出了用于使用这里描述的一般方面对视频数据的块进行编码的方法1000的一个实施例。该方法开始于“开始”方框1001，并且控制前进到功能方框1010，用于使用来自非正方形视频块上方的行的N个参考样点中的至少一个或来自非正方形视频块左侧的列的M个参考样点中的至少一个来预测非正方形视频块的样点。控制然后从方框1010前进到方框1020，以在帧内编解码模式下使用所述预测对非正方形视频块进行编码。
图11中示出了使用这里描述的一般方面对视频数据的块进行解码的方法1100的一个实施例。该方法开始于“开始”方框1101，并且控制前进到功能方框1110，用于使用来自非正方形视频块上方的行中的N个参考样点中的至少一个或来自非正方形视频块左侧的列的M个参考样点中的至少一个来预测非正方形视频块的样点。控制然后从方框1110前进到方框1120，以在帧内编解码模式下使用所述预测对非正方形视频块进行解码。
图12示出了用于对视频数据的块进行编码或解码的装置1200的一个实施例。该装置包括处理器1210，并且可以通过至少一个端口互连到存储器1220。处理器1210和存储器1220都可以具有与外部连接的一个或多个附加互连。
处理器1210被配置为通过使用来自非正方形视频块上方的行的N个参考样点中的至少一个或来自非正方形视频块左侧的列的M个参考样点中的至少一个来预测非正方形视频块的样点、并且使用帧内编码模式下的预测对非正方形视频块进行或者编码或者解码，来对视频数据进行或者编码或者解码。
本文档描述了包括工具、特征、实施例、模型、方法等在内的各种方面。这些方面中的许多是专门描述的，并且至少是为了示出各个特点，并且常常以听起来可能受到限制的方式来描述。但是，这是为了描述的清楚，并且不限制那些方面的应用或范围。实际上，所有不同方面都可以组合和互换以提供另外的方面。而且，这些方面也可以与先前申请中所述的方面进行组合和互换。
本实施例中描述和设想的实施例可以以许多不同的形式实现。下面的图13、14和15提供了一些实施例，但是可以设想其它实施例，并且对图13、14和15的讨论不限制实施方式的广度。这些方面中的至少一个方面一般而言涉及视频编码和解码，并且至少另一方面一般而言涉及传输所生成或编码的比特流。这些和其它方面可以被实现为方法、装置、其上存储有用于根据所描述的任何方法对视频数据进行编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
在本申请中，术语“重构的”和“解码的”可以互换使用，术语“像素”和“样点”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常但不是必需，术语“重构的”在编码器侧使用，而“解码的”在解码器侧使用。
本文描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作要求步骤或动作的特定顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。
本文档中描述的各种方法和其它方面可以被用于修改如图13和图14所示的视频编码器100和解码器200的模块，例如，帧内预测、熵编码和/或解码模块(160、360、145、330)。而且，本方面不限于VVC或HEVC，并且可以应用于例如其它标准和建议(无论是预先存在的还是将来开发的)，以及任何此类标准和建议的扩展(包括VVC和HEVC)。除非另有指示或技术上被禁止，否则本文档中描述的各个方面可以单独使用或组合使用。
本文档中使用了各种数值，例如{{1,0}，{3,1}，{1,1}}。特定值是出于示例目的，并且所描述的方面不限于这些特定值。
图13图示了编码器100。这种编码器100的变化是预期的，但是为了清楚起见，下面描述编码器100，而没有描述所有预期的变化。
在被编码之前，视频序列可以通过预编码(pre-encoding)处理(101)，例如，对输入的彩色图片应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入的图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用颜色分量之一的直方图均衡化)。元数据可以与预处理相关联，并附加到比特流。
在编码器100中，如下所述，由编码器元件对图片进行编码。以例如CU为单位对要编码的图片进行分割(102)和处理。使用例如或者帧内或者帧间模式对每个单元进行编码。当单元以帧内模式编码时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个对单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。例如通过从原始图像块减去(110)预测的块来计算预测残差。
然后对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动向量和其它语法元素进行熵编解码(145)以输出比特流。编码器可以跳过变换并将量化直接应用于未变换的残差信号。编码器可以绕过变换和量化两者，即，残差被直接编解码而无需应用变换或量化处理。
编码器对编码的块进行解码，以便为进一步的预测提供参考。对量化的变换系数进行去量化(140)和逆变换(150)以解码预测残差。通过组合(155)解码的预测残差和预测的块，重构图像块。环路滤波器(165)被应用于重构的图片以执行例如去方块/SAO(样本自适应偏移)滤波以减少编码伪像。经滤波的图像被存储在参考图片缓冲器(180)中。
图14图示了视频解码器200的框图。在解码器200中，如下所述，由解码器元件对比特流进行解码。视频解码器200一般执行与编码遍历(pass)对应的解码遍历，如图13中所述。编码器100一般还执行视频解码，作为对视频数据进行编码的一部分。
特别地，解码器的输入包括视频比特流，其可以由视频编码器100生成。首先对比特流进行熵解码(230)，以获得变换系数、运动向量和其它编解码的信息。图片分割信息指示图片如何被分割。因此，解码器可以根据解码后的图片分割信息来划分(235)图片。对变换系数进行去量化(240)和逆变换(250)以解码预测残差。组合(255)解码的预测残差和预测块，重构图像块。可以从帧内预测(260)或运动补偿的预测(即，帧间预测)(275)获得(270)预测块。环路滤波器(265)被应用于重构的图像。经滤波的图像被存储在参考图片缓冲器(280)中。
解码的图片还可以经历解码后处理(285)，例如，执行在预编码处理(101)中执行的重新映射处理的逆的逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)或逆重新映射。解码后处理可以使用在预编码处理中导出并在比特流中用信令通知的元数据。
图15图示了在其中实现各种实施例的系统的示例的框图。系统1000可以被实施为包括以下描述的各种组件的设备，并且被配置为执行本文档中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连网的家用电器，以及服务器。系统1000的元件可以单独或组合地实施在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信耦合到其它类似系统或其它电子设备。在各种实施例中，系统1000被配置为实现本文档中描述的一个或多个方面。
系统1000包括至少一个处理器1010，该至少一个处理器1010被配置为执行其中加载在其中的指令，以实现例如本文档中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路系统。系统1000包括至少一个存储器1020(例如，易失性存储器设备，和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030，该编码器/解码器模块1030被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可以被包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的，设备可以包括编码和解码模块之一或两者。此外，编码器/解码器模块1030可以被实现为系统1000的单独元件，或者可以作为硬件和软件的组合结合在处理器1010内，如本领域技术人员已知的。
可以将要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个实施例的程序代码存储在存储设备1040中，随后加载到存储器1020上以供处理器1010执行。根据各种实施例，在执行本文档中描述的处理期间，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以存储各种项目中的一项或多项。这样存储的项目可以包括但不限于输入视频、解码的视频或解码的视频的一部分、比特流、矩阵、变量以及对等式、公式、运算和运算逻辑的中间或最终结果。
在几个实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器被用于存储指令并为编码或解码期间所需的处理提供工作存储器。但是，在其它实施例中，处理设备外部的存储器(例如，处理设备可以是或者处理器1010或者编码器/解码器模块1030)被用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存被用于存储电视的操作系统。在至少一个实施例中，快速外部动态易失性存储器(诸如RAM)被用作用于视频编码和解码操作的工作存储器，诸如用于MPEG-2、HEVC或VVC(通用视频编解码)。
如方框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。此类输入设备包括但不限于(i)接收例如由广播公司通过空中传输的RF信号的RF部分、(ii)复合输入端子、(iii)USB输入端子，和/或(iv)HDMI输入端子。
在各种实施例中，方框1130的输入设备具有相关联的相应输入处理元件，如本领域中已知的。例如，RF部分可以与以下元素相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制在一个频带内)，(ii)下转换所选择的信号，(iii)再次频带限制到更窄的频带以选择(例如)在一些实施例中可以被称为信道的信号频带，(iv)解调下转换和限制频带的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括执行这些功能的一个或多个元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下转换器、解调器、纠错器和解复用器。RF部分可以包括执行这些功能中的各种功能的调谐器，包括例如将接收到的信号下转换为更低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收在有线(例如，电缆)介质上传输的RF信号，并通过滤波、下转换和再次滤波到期望的频带来执行频率选择。各种实施例重新布置上述(和其它)元件的顺序、移除这些元件中的一些，和/或添加执行相似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如，插入放大器和模数转换器。在各种实施例中，RF部分包括天线。
此外，USB和/或HDMI端子可以包括相应的接口处理器，用于跨USB和/或HDMI连接将系统1000连接到其它电子设备。应该理解的是，输入处理的各个方面(例如，里德-所罗门(Reed-Solomon)纠错)可以例如在单独的输入处理IC内或在处理器1010内实现。类似地，USB或HDMI接口处理的各方面可以在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010，以及与存储器和存储元件结合操作的编码器/解码器1030，以处理数据流以在输出设备上呈现。
可以在集成的壳体内提供系统1000的各种元件。在集成的壳体内，可以使用合适的连接布置1140(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)互连各种元件并在它们之间传输数据。
系统1000包括通信接口1050，其使得能够经由通信信道1060与其它设备通信。通信接口1050可以包括但不限于被配置为通过通信信道1060传输和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用诸如IEEE 802.11之类的无线网络将数据流传输到系统1000。这些实施例的无线信号在例如适于Wi-Fi通信的通信信道1060和通信接口1050上被接收。这些实施例的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式传输应用和其它空中通信。其它实施例使用机顶盒向系统1000提供流式传输的数据，该机顶盒通过输入块1130的HDMI连接来递送数据。还有其它实施例使用输入块1130的RF连接将流式传输的数据提供给系统1000。
系统1000可以向包括显示器1100、扬声器1110和其它外围设备1120的各种输出设备提供输出信号。在实施例的各种示例中，其它外围设备1120包括独立DVR、盘播放器、立体声系统、照明系统以及基于系统1000的输出提供功能的其它设备中的一个或多个。在各种实施例中，控制信号在有或没有用户干预的情况下使用诸如AV.Link、CEC或启用设备到设备控制的其它通信协议的信令在系统1000与显示器1100、扬声器1110或其它外围设备1120之间传送。输出设备可以经由通过相应接口1070、1080和1090的专用连接通信耦合到系统1000。可替代地，输出设备可以经由通信接口1050使用通信信道1060连接到系统1000。在电子设备(例如，电视)中，显示器1100和扬声器1110可以与系统1000的其它组件集成在单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如，定时控制器(T Con)芯片。
例如，如果输入1130的RF部分是单独的机顶盒的一部分，那么显示器1100和扬声器1110可以可替代地与其它组件中的一个或多个分开。在显示器1100和扬声器1110是外部组件的各种实施例中，可以经由包括例如HDMI端口、USB端口或COMP输出的专用输出连接来提供输出信号。
实施例可以通过由处理器1010实现的计算机软件或者通过硬件或者通过硬件和软件的组合来实现。作为非限制性示例，实施例可以由一个或多个集成电路实现。存储器1020可以是适于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器1010可以是适于技术环境的任何类型，并且作为非限制性示例，可以涵盖微处理器、通用计算机、专用计算机和基于多核体系架构的处理器中的一个或多个。
各种实施方式涉及解码。如本申请中所使用的，“解码”可以涵盖例如对接收到的编码的序列执行以便产生适于显示的最终输出的处理的全部或部分。在各种实施例中，此类处理包括通常由解码器执行的处理中的一个或多个，例如，熵解码、逆量化、逆变换和差分解码。在各种实施例中，此类处理还，或者可替代地，包括由本申请中描述的各种实施方式的解码器执行的处理，例如，提取要用于各种帧内预测参考阵列的权重的索引。
作为另外的示例，在一个实施例中，“解码”仅仅是指熵解码，在另一个实施例中，“解码”仅仅是指差分解码，在另一个实施例中，“解码”是指熵解码和差分解码的组合。基于特定描述的上下文，短语“解码处理”是旨在专门指操作的子集还是广义地指更广泛的解码处理将是显而易见的，并且相信本领域技术人员会很好地理解。
各种实施方式涉及编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的，“编码”可以涵盖例如对输入视频序列执行以便产生编码的比特流的处理的全部或部分。在各种实施例中，此类处理包括通常由编码器执行的处理中的一个或多个，例如，分割、差分编码、变换、量化和熵编码。在各种实施例中，此类处理还，或者可替代地，包括由本申请中描述的各种实施方式的编码器执行的处理，例如，帧内预测参考阵列的加权。
作为另外的示例，在一个实施例中，“编码”仅仅是指熵编码，在另一个实施例中，“编码”仅仅是指差分编码，在另一个实施例中，“编码”是指差分编码和熵编码的组合。基于特定描述的上下文，短语“编码处理”是旨在专门指操作的子集还是广义地指更广泛的编码处理将是显而易见的，并且相信本领域技术人员会很好地理解。
注意的是，本文所使用的语法元素是描述性术语。照此，它们不排除使用其它语法元素名称。
当将图作为流程图呈现时，应当理解的是，它还提供了对应装置的框图。类似地，当将图呈现为框图时，应当理解的是，它还提供了对应方法/处理的流程图。
各个实施例涉及速率失真计算或速率失真优化。特别地，在编码过程期间，常常给出计算复杂性的约束，通常考虑速率与失真之间的平衡或折衷。通常将率失真优化公式化为最小化率失真函数，该函数是速率和失真的加权和。有解决率失真优化问题的不同方法。例如，这些方法可以基于对包括所有考虑的模式或编解码参数值在内的所有编码选项的广泛测试，并对其编解码成本以及编解码和解码之后重构的信号的相关失真进行完整评估。也可以使用更快的方法以节省编码复杂性，特别是基于预测或预测残差信号而不是重构的信号来计算近似失真。也可以使用这两种方法的混合，诸如通过仅对一些可能的编码选项使用近似失真，而对其它编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用多种技术中的任何一种来执行优化，但是优化不一定是对编解码成本和相关失真两者的完整评估。
本文描述的实施方式和方面可以例如以方法或处理、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实施方式的上下文中进行讨论(例如，仅作为方法讨论)，所讨论的特征的实施方式也可以以其它形式(例如，装置或程序)来实现。装置可以例如以适当的硬件、软件和固件来实现。方法可以在例如处理器中实现，处理器一般是指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、移动电话、便携式/个人数字助理(“PDA”)和有助于最终用户之间信息通信的其它设备。
对“一个实施例”或“实施例”或“一个实施方式”或“实施方式”以及它们的其它变体的引用是指结合该实施例描述的特定特征、结构、特性等包括在至少一个实施例中。因此，短语“在一个实施例中”或“在实施例中”或“在一个实施方式中”或“在实施方式中”以及任何其它变体在本文档中各处的出现不一定全部指相同的实施例。
此外，本文档可以提到“确定”各种信息。确定信息可以包括例如以下一项或多项：估计信息、计算信息、预测信息或从存储器中检索信息。
另外，本文档可以提到“访问”各种信息。访问信息可以包括例如以下一项或多项：接收信息、(例如，从存储器中)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息。
此外，本文档可以提到“接收”各种信息。与“访问”一样，接收是广义的术语。接收信息可以包括以下一个或多个：例如，访问信息或检索信息(例如，从存储器)。另外，以一种或另一种方式，在诸如例如以下操作期间：存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息，通常涉及“接收”。
应该认识到的是，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下使用以下“/”、“和/或”和“…中的至少一个”中的任何一个旨在涵盖仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者选择两个选项(A和B)。作为另外的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这种措词旨在涵盖仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一个和第二个列出的选项(A和B)，或仅选择第一个和第三个列出选项(A和C)，或仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的那样，这可以针对所列的多个项目扩展。
而且，如本文所使用的，词“信号”尤其是指向对应的解码器指示某些东西。例如，在某些实施例中，编码器用信令通知多个权重中要用于帧内预测参考阵列的特定权重。以这种方式，在实施例中，在编码器侧和解码器侧都使用相同的参数。因此，例如，编码器可以向解码器传输(明确信令通知)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其它参数，那么可以使用信令而无需传输(隐式信令通知)以简单地允许解码器知道并选择特定参数。通过避免传输任何实际功能，在各种实施例中实现了位节省。应该认识到的是，可以以多种方式来完成信令通知。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信令通知给对应的解码器。虽然前面涉及词“信令通知”的动词形式，但词“信令通知”在本文中也可以用作名词信令通知。
如对于本领域普通技术人员将显而易见的，实施方式可以产生各种信号，这些信号被格式化为携带例如可以被存储或传输的信息。信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如，信号可以被格式化为携带所描述的实施例的比特流。可以将这种信号格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且用编码的数据流来调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
前面的描述已经描述了多个实施例。这些和其它实施例在各种不同的权利要求类别和类型中单独或以任何组合形式包括以下可选特征：
-在帧内预测期间使用预测方向进行超过-135度和45度的编码和解码
-扩展宽角模式与PDPC之间的交互
-在水平或垂直方向上扩展预测方向，同时在相反方向上移除一些方向以维持相同数量的总方向
-超过-135度和超过45度都扩展方向的数量
-将PDPC和宽角帧内预测结合到块中的样点
-从编码器到解码器发信令通知正在使用哪些预测方向
-使用预测方向的子集
-块是具有矩形形状的CU
-另一个块是临近块
-包括所描述的语法元素中的一个或多个或其变化的比特流或信号。
-插入信令语法元素，其使解码器能够以与编码器所执行的相反的方式处理比特流。
-创建和/或发送和/或接收和/或解码包括所描述的语法元素中的一个或多个或其变化的比特流或信号。
-执行所描述的任何实施例的TV、机顶盒、移动电话、平板电脑或其它电子设备。
-执行所描述的任何实施例并显示(例如，使用监视器、屏幕或其它类型的显示器)结果图像的TV、机顶盒、移动电话、平板电脑或其它电子设备。
-调谐(例如，使用调谐器)频道以接收包括编码的图像的信号并执行所描述的任何实施例的TV、机顶盒、移动电话、平板电脑或其它电子设备。
-接收(例如，使用天线)包括编码的图像的信号并执行所描述的任何实施例的TV、机顶盒、移动电话、平板电脑或其它电子设备。
-贯穿本公开，还支持并设想各种其它广义的、以及特征化的发明和特征。
Claims (15)
1.一种方法，包括：
使用来自非正方形视频块上方的行的N个参考样点中的至少一个、或来自所述非正方形视频块的左列的M个参考样点中的至少一个来预测所述非正方形视频块的样点；以及
在帧内编解码模式下使用所述预测对所述非正方形视频块进行编码。
2.一种装置，包括：
处理器，被配置为：
使用来自非正方形视频块上方的行的N个参考样点中的至少一个、或来自所述非正方形视频块的左列的M个参考样点中的至少一个来预测所述非正方形视频块的样点；以及
在帧内编解码模式下使用所述预测对所述非正方形视频块进行编码。
3.一种方法，包括：
使用来自非正方形视频块上方的行的N个参考样点中的至少一个、或来自所述非正方形视频块的左列的M个参考样点中的至少一个来预测所述非正方形视频块的样点；以及
在帧内编解码模式下使用所述预测对所述非正方形视频块进行解码。
4.一种装置，包括：
处理器，被配置为：
使用来自非正方形视频块上方的行的N个参考样点中的至少一个、或来自所述非正方形视频块的左列的M个参考样点中的至少一个来预测所述非正方形视频块的样点；以及
在帧内编解码模式下使用所述预测对所述非正方形视频块进行解码。
5.如权利要求1或3所述的方法，或者如权利要求2或4所述的装置，其中所述预测包括所述参考样点的加权组合。
6.如权利要求1或3所述的方法，或者如权利要求2或4所述的装置，其中N与M的比率基本上等于所述非正方形视频块的宽度与高度的比率。
7.如权利要求1或3所述的方法，或者如权利要求2或4所述的装置，其中所述帧内编解码模式使用来自所述非正方形视频块上方的所述N个参考样点和来自所述非正方形视频块左侧的所述M个参考样点的参考样点。
8.如权利要求1或3所述的方法，或者如权利要求2或4所述的装置，其中N是所述非正方形视频块的宽度的两倍，并且M是所述非正方形视频块的高度的两倍。
9.如权利要求1或3所述的方法，或者如权利要求2或4所述的装置，其中帧内预测模式延伸超过45度和-135度的角。
10.如权利要求1或3所述的方法，或者根据权利要求2或4所述的装置，其中所述N大于所述非正方形块的宽度，并且其中所述N个参考样点延伸超过所述非正方形块的右边缘。
11.如权利要求1或3所述的方法，或者如权利要求2或4所述的装置，其中所述M大于所述非正方形块的高度，并且其中所述M个参考样点延伸超过所述非正方形块的底边缘。
12.一种设备，包括：
根据权利要求4至11中的任一项所述的装置；以及
以下至少之一：(i)天线，被配置为接收信号，所述信号包括视频块；(ii)频带限制器，被配置为将接收到的所述信号限制到包括所述视频块的频带，以及(iii)显示器，被配置为显示代表视频块的输出。
13.一种非暂时性计算机可读介质，其包含根据权利要求1和5至11中的任一项所述的方法或由根据权利要求2和5至11中的任一项所述的装置生成的数据内容，以用于使用处理器进行回放。
14.一种信号，其包括根据权利要求1和5至11中的任一项所述的方法或由根据权利要求2和5至11中的任一项所述的装置生成的视频数据，以用于使用处理器进行回放。
15.一种计算机程序产品，其包括指令，所述指令在由计算机执行时使计算机执行权利要求1、3和5至11中的任一项所述的方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18290084 | 2018-07-16 | ||
| EP18290084.5 | 2018-07-16 | ||
| EP18306225.6 | 2018-09-21 | ||
| EP18306225.6A EP3627835A1 (en) | 2018-09-21 | 2018-09-21 | Wide angle intra prediction and position dependent intra prediction combination |
| PCT/US2019/037148 WO2020018207A1 (en) | 2018-07-16 | 2019-06-14 | Wide angle intra prediction and position dependent intra prediction combination |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112425162A true CN112425162A (zh) | 2021-02-26 |
Family
ID=67070916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980046981.4A Pending CN112425162A (zh) | 2018-07-16 | 2019-06-14 | 宽角帧内预测和位置依赖性帧内预测组合 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US12022079B2 (zh) |
| EP (1) | EP3824624A1 (zh) |
| JP (1) | JP2021531677A (zh) |
| KR (1) | KR20210028652A (zh) |
| CN (1) | CN112425162A (zh) |
| BR (1) | BR112020025939A2 (zh) |
| WO (1) | WO2020018207A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11039156B2 (en) * | 2019-06-11 | 2021-06-15 | Tencent America LLC | Unified position dependent prediction combination process |
| JP2022539937A (ja) * | 2019-07-10 | 2022-09-14 | オッポ広東移動通信有限公司 | 画像成分予測方法、符号化器、復号化器、並びに記憶媒体 |
| US11432006B2 (en) * | 2020-08-14 | 2022-08-30 | Tencent America LLC | Chroma mode video coding |
| US11838498B2 (en) | 2021-06-28 | 2023-12-05 | Tencent America LLC | Harmonized design for intra bi-prediction and multiple reference line selection |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013023518A1 (en) * | 2011-08-17 | 2013-02-21 | Mediatek Singapore Pte. Ltd. | Method and apparatus for intra prediction using non-square blocks |
| CN103563389A (zh) * | 2011-06-03 | 2014-02-05 | 高通股份有限公司 | 具有方向性分区的帧内预测模式译码 |
| US20140198855A1 (en) * | 2013-01-14 | 2014-07-17 | Qualcomm Incorporated | Square block prediction |
| CN105227951A (zh) * | 2010-05-30 | 2016-01-06 | Lg电子株式会社 | 增强的帧内预测模式信令 |
| US20170272745A1 (en) * | 2016-03-18 | 2017-09-21 | Mediatek Inc. | Method and Apparatus of Intra Prediction in Image and Video Processing |
| US20170272748A1 (en) * | 2016-03-21 | 2017-09-21 | Qualcomm Incorporated | Using luma information for chroma prediction with separate luma-chroma framework in video coding |
| US20170347103A1 (en) * | 2016-05-25 | 2017-11-30 | Arris Enterprises Llc | Weighted angular prediction coding for intra coding |
| WO2018127624A1 (en) * | 2017-01-03 | 2018-07-12 | Nokia Technologies Oy | Video and image coding with wide-angle intra prediction |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101768207B1 (ko) | 2010-01-19 | 2017-08-16 | 삼성전자주식회사 | 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치 |
| US9699456B2 (en) | 2011-07-20 | 2017-07-04 | Qualcomm Incorporated | Buffering prediction data in video coding |
| US9787982B2 (en) | 2011-09-12 | 2017-10-10 | Qualcomm Incorporated | Non-square transform units and prediction units in video coding |
| US20130163664A1 (en) | 2011-12-22 | 2013-06-27 | Qualcomm Incorporated | Unified partition mode table for intra-mode coding |
| US9912944B2 (en) | 2012-04-16 | 2018-03-06 | Qualcomm Incorporated | Simplified non-square quadtree transforms for video coding |
| US10091530B2 (en) | 2014-10-01 | 2018-10-02 | Qualcomm Incorporated | Pipelined intra-prediction hardware architecture for video coding |
| US10218975B2 (en) | 2015-09-29 | 2019-02-26 | Qualcomm Incorporated | Transform precision manipulation in video coding |
| US10425648B2 (en) | 2015-09-29 | 2019-09-24 | Qualcomm Incorporated | Video intra-prediction using position-dependent prediction combination for video coding |
| EP3301915A1 (en) | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method and apparatus for omnidirectional video coding with adaptive intra most probable modes |
| US10674165B2 (en) | 2016-12-21 | 2020-06-02 | Arris Enterprises Llc | Constrained position dependent intra prediction combination (PDPC) |
| WO2018117894A1 (en) | 2016-12-23 | 2018-06-28 | Huawei Technologies Co., Ltd | An encoding apparatus for signaling an extension directional intra-prediction mode within a set of directional intra-prediction modes |
| EP3806463A1 (en) | 2016-12-23 | 2021-04-14 | Huawei Technologies Co., Ltd. | An intra-prediction apparatus for extending a set of predetermined directional intra-prediction modes |
| US10728548B2 (en) | 2017-04-04 | 2020-07-28 | Futurewei Technologies, Inc. | Processing reference samples used for intra-prediction of a picture block |
| JP2019041165A (ja) | 2017-08-23 | 2019-03-14 | 富士通株式会社 | 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム |
| KR20190045885A (ko) | 2017-10-24 | 2019-05-03 | 주식회사 윌러스표준기술연구소 | 비디오 신호 처리 방법 및 장치 |
| CN116405673A (zh) | 2017-12-22 | 2023-07-07 | 数码士有限公司 | 视频信号处理方法和设备 |
| US11451791B2 (en) | 2018-01-25 | 2022-09-20 | Wilus Institute Of Standards And Technology Inc. | Video signal processing method and device |
| US10778971B2 (en) * | 2018-06-01 | 2020-09-15 | Tencent America LLC | Method and apparatus for video coding |
| US10404980B1 (en) * | 2018-07-10 | 2019-09-03 | Tencent America LLC | Intra prediction with wide angle mode in video coding |
| US11128872B2 (en) * | 2018-07-16 | 2021-09-21 | Qualcomm Incorporated | Position dependent intra prediction combination with wide angle intra prediction |
-
2019
- 2019-06-14 WO PCT/US2019/037148 patent/WO2020018207A1/en active Application Filing
- 2019-06-14 US US17/260,378 patent/US12022079B2/en active Active
- 2019-06-14 CN CN201980046981.4A patent/CN112425162A/zh active Pending
- 2019-06-14 KR KR1020217001134A patent/KR20210028652A/ko unknown
- 2019-06-14 JP JP2020570912A patent/JP2021531677A/ja active Pending
- 2019-06-14 EP EP19733917.9A patent/EP3824624A1/en active Pending
- 2019-06-14 BR BR112020025939-0A patent/BR112020025939A2/pt unknown
-
2024
- 2024-05-24 US US18/673,508 patent/US20240314324A1/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105227951A (zh) * | 2010-05-30 | 2016-01-06 | Lg电子株式会社 | 增强的帧内预测模式信令 |
| CN103563389A (zh) * | 2011-06-03 | 2014-02-05 | 高通股份有限公司 | 具有方向性分区的帧内预测模式译码 |
| WO2013023518A1 (en) * | 2011-08-17 | 2013-02-21 | Mediatek Singapore Pte. Ltd. | Method and apparatus for intra prediction using non-square blocks |
| US20140198855A1 (en) * | 2013-01-14 | 2014-07-17 | Qualcomm Incorporated | Square block prediction |
| US20170272745A1 (en) * | 2016-03-18 | 2017-09-21 | Mediatek Inc. | Method and Apparatus of Intra Prediction in Image and Video Processing |
| US20170272748A1 (en) * | 2016-03-21 | 2017-09-21 | Qualcomm Incorporated | Using luma information for chroma prediction with separate luma-chroma framework in video coding |
| US20170347103A1 (en) * | 2016-05-25 | 2017-11-30 | Arris Enterprises Llc | Weighted angular prediction coding for intra coding |
| WO2018127624A1 (en) * | 2017-01-03 | 2018-07-12 | Nokia Technologies Oy | Video and image coding with wide-angle intra prediction |
Non-Patent Citations (2)
| Title |
|---|
| FABIEN RACAPÉ等: "CE3-related: Wide-angle intra prediction for non-square blocks", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, 11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018，JVET-K0500-V2.ZIP JVET-K0500_R1.DOCX, pages 1 - 7 * |
| GEERT VAN DER AUWERA等: "CE3: Simplified PDPC (Test 2.4.1)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018，JVET-K0063-V3.ZIP JVET-K0063-V2.DOCX, 13 July 2018 (2018-07-13), pages 1 - 6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US12022079B2 (en) | 2024-06-25 |
| KR20210028652A (ko) | 2021-03-12 |
| US20240314324A1 (en) | 2024-09-19 |
| JP2021531677A (ja) | 2021-11-18 |
| BR112020025939A2 (pt) | 2021-03-23 |
| WO2020018207A1 (en) | 2020-01-23 |
| EP3824624A1 (en) | 2021-05-26 |
| US20210297668A1 (en) | 2021-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240155105A1 (en) | Block shape adaptive intra prediction directions for quadtree-binary tree | |
| US20220038684A1 (en) | Multi-reference line intra prediction and most probable mode | |
| US12063351B2 (en) | Wide angle intra prediction with sub-partitions | |
| US20240314324A1 (en) | Wide angle intra prediction and position dependent intra prediction combination | |
| EP3598757A1 (en) | Block shape adaptive intra prediction directions for quadtree-binary tree | |
| EP3627835A1 (en) | Wide angle intra prediction and position dependent intra prediction combination | |
| WO2020072249A1 (en) | Directions for wide angle intra prediction | |
| JP7578584B2 (ja) | イントラ変換コード化及び広角イントラ予測の調和 | |
| CN113424540A (zh) | 帧内预测模式扩展 | |
| CN112335240B (zh) | 使用可变权重的多参考帧内预测 | |
| CN113545047A (zh) | 帧内预测模式分区 | |
| EP3641311A1 (en) | Encoding and decoding methods and apparatus | |
| CN114930819A (zh) | 三角形合并模式中的子块合并候选 | |
| RU2797393C2 (ru) | Позиционно-зависимая комбинация intra-предсказания для широкоугольного intra-предсказания | |
| RU2815092C2 (ru) | Широкоугольное внутрикадровое предсказание с подразделами | |
| WO2024208639A1 (en) | Weighted planar and dc modes for intra prediction | |
| WO2024083500A1 (en) | Methods and apparatuses for padding reference samples | |
| CN113016181A (zh) | 依据块形状适配最可能模式候选的选择 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |