[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115988202B - 一种用于帧内预测的设备和方法 - Google Patents

一种用于帧内预测的设备和方法 Download PDF

Info

Publication number
CN115988202B
CN115988202B CN202211595363.5A CN202211595363A CN115988202B CN 115988202 B CN115988202 B CN 115988202B CN 202211595363 A CN202211595363 A CN 202211595363A CN 115988202 B CN115988202 B CN 115988202B
Authority
CN
China
Prior art keywords
prediction
intra
filter
prediction mode
directional intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211595363.5A
Other languages
English (en)
Other versions
CN115988202A (zh
Inventor
阿列克谢·康斯坦丁诺维奇·菲利波夫
瓦西里·亚历斯维奇·拉夫特斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202211595363.5A priority Critical patent/CN115988202B/zh
Publication of CN115988202A publication Critical patent/CN115988202A/zh
Application granted granted Critical
Publication of CN115988202B publication Critical patent/CN115988202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及图像处理领域，例如，静止图像(picture/image)和/或视频图像(picture/image)编码。具体而言，本发明涉及一种用于对视频图像的预测块进行帧内预测的设备和相应的方法。所述设备用于从方向性帧内预测模式集合中选择方向性帧内预测模式，其中，每个方向性帧内预测模式对应于不同的帧内预测角度。所述设备还用于根据所述选择的方向性帧内预测模式，从滤波器集合中选择滤波器。所述设备还用于根据所述选择的方向性帧内预测模式，从参考像素集合中为所述预测块的给定预测像素确定参考像素，并将所述选择的滤波器应用于所述确定的参考像素。

Description

一种用于帧内预测的设备和方法
相关申请交叉引用
本申请是分案申请，原申请的申请号是201880094557.2，原申请日是2018年06月29日，原申请的全部内容通过引用结合在本申请中。
技术领域
本发明实施例涉及图像处理领域，例如，静止图像(picture/image)和/或视频图像(picture/image)编码。具体而言，本发明涉及一种用于帧内预测的设备，即用于帧内预测视频图像的预测块的设备。该设备可以是视频图像编码器或视频图像解码器的一部分。该设备具体用于执行预测块的方向性帧内预测。本发明还涉及相应的帧内预测方法。
背景技术
视频编码(视频编码和解码)广泛用于数字视频应用，例如广播数字电视、经由互联网和移动网络的视频传输、如视频聊天、视频会议等实时会话应用、DVD和蓝光光盘、视频内容采集和编辑系统以及可携式摄像机的安全应用。
自从1990年研发的H.261标准中基于块的混合视频编码方法以来，研发了新的视频编码技术和工具，为新的视频编码标准奠定了基础。与前代标准相比，大多数视频编码标准的目标之一是在保证图像质量的情况下，降低比特率。其它视频编码标准包括MPEG-1视频、MPEG-2视频、ITU-T H.262/MPEG-2、ITU-T H.263、ITU-T H.264/MPEG-4，第10部分、高级视频编码(Advanced Video Coding，AVC)、ITU-T H.265、高效视频编码(High EfficiencyVideo Coding，HEVC)以及这些标准的扩展，例如可扩展性和/或三维(three-dimensional，3D)扩展。
视频压缩能够按照预期降低比特率，但是很复杂。具体而言，视频压缩受到两个相互矛盾的参数的限制：压缩效率和计算复杂度。视频编码标准(如ITU-T H.264/AVC或ITU-TH.265/HEVC)在这些参数之间进行了良好的权衡。因此，几乎所有视频压缩应用都要求必须支持视频编码标准。
最先进的视频编码标准基于将源图像划分成块。这些块的处理取决于其大小、空间位置和编码器指定的编码模式。
根据预测类型，编码模式可以分为两组：帧内预测模式和帧间预测模式。帧内预测模式使用同一图像的像素来生成参考像素，以计算正在重建的块的像素的预测值。帧内预测也称为空间预测。帧间预测模式用于时间预测，使用之前或后续图像的参考像素来预测当前图像的块的像素点。
在预测阶段之后，对预测误差(原始信号与其预测值之间的差值)进行变换编码。然后，使用熵编码器(例如，AVC/H.264和HEVC/H.265标准中的CABAC)对变换系数和边信息进行编码。最近采用的ITU-T H.265/HEVC标准(ISO/IEC 23008-2:2013,《信息技术-异构环境下的高效编码和媒体传输》(第2部分)：高效视频编码”(2013年11月)宣布了一组最先进的视频编码工具，这些工具在编码效率和计算复杂度之间进行了合理的权衡。盖里J.苏利文在《高效视频编码(HEVC)标准概述》(IEEE视频技术电路和系统学报第22卷第12期，2012年12月)中对ITU-T H.265/HEVC标准进行了概述，其全部内容通过引用结合在本申请中。
与ITU-T H.264/AVC视频编码标准类似，HEVC/H.265视频编码标准规定将源图像划分为块(例如，编码单元(coding unit，CU))。每个CU可以进一步分为更小的CU或预测单元(prediction unit，PU)。可以根据PU的像素应用的处理类型，对PU进行帧内或帧间预测。对于帧间预测，PU表示通过使用为PU指定的运动矢量进行运动补偿来处理的像素的区域。对于帧内预测，将相邻块的相邻像素作为参考像素来预测当前块。
PU指定了预测模式，所述预测模式是从该PU中包含的所有变换单元(transformunit，TU)的帧内预测模式集合中选择的。也就是说，对于PU的每个TU而言，帧内预测模式是相同的。TU可以具有不同的大小(例如，4×4、8×8、16×16和32×32像素)，处理方式可以不同。对TU进行变换编码，即通过离散余弦变换或离散正弦变换(在HEVC/H.265标准中，应用于帧内编码块)对预测误差进行变换和量化。因此，重建像素包含DBF、SAO、ALF等环内滤波器试图抑制的量化噪声(量化噪声可能变得如单元间的块状结构、沿锐边振铃伪影等一样明显)。使用HEVC/H.265标准中先进的预测编码(例如运动补偿和帧内预测)和划分技术(例如针对CU与PU的四叉树(Quad-Tree，QT)以及针对TU的残差四叉树(Residual Quad-Tree，RQT))，以及JEM-3.0版本开始的联合探索模型(Joint Exploration Model，JEM)参考软件的四叉树联合二叉树(Quad-Tree and Binary Tree，QTBT)，使得标准化委员会可以大幅降低PU的冗余。QT和QTBT划分机制的基本区别在于，后者基于四叉树和二叉树进行分区，使得不仅支持正方形块，而且还支持矩形块。本发明涉及方向性帧内预测，并引入对方向性帧内预测模式的新修改。
根据HEVC/H.265标准，有35种可用的帧内预测模式。如图9所示，该集合包含以下模式：
·平面模式(帧内预测模式索引为0)；
·DC模式(帧内预测模式索引为1)；
·图9中实线箭头所示的方向性模式(帧内预测模式索引值为2～34)。通过将方向性帧内预测模式之间的角度步长减小2倍来将方向性帧内预测模式集合扩展到65个模式(即，几乎两倍)。这些附加模式如图9中的虚线箭头所示。
针对JEM-3.0软件，提出了称为QTBT的新划分机制。如图10所示，通过QTBT划分不仅可以提供正方形块，还可以提供矩形块。当然，与例如在HEVC/H.265标准中使用的基于划分的传统QT相比，QTBT划分的代价是增加了编码器侧的一些信令开销和计算复杂度。然而，基于QTBT的划分具有更好的划分特性，因此，QTBT的编码效率比传统QT高得多。
然而，当引入QTBT时，可用的方向性帧内预测模式集合没有相应地改变。如图11所示，具体而言，没有考虑矩形块的不对称性。因此，在矩形块的较短边和较长边都使用相同数量的参考像素。在QTBT框架的当前实施方式中，方向性帧内预测模式的数量既不取决于块的长宽比，也不取决于参考像素的实际可用性。因此，矩形块的短边几乎不可能使用参考像素，矩形块的长边也有可能不使用参考像素。
值得注意的是，如图12所示，在本文中，术语“垂直方向块”(“块的垂直方向”)和“水平方向块”(“块的水平方向”)应用于通过QTBT框架生成的矩形块。图12特别示出了(a)水平方向块和(b)垂直方向块。
在文献JVET-D0113中，进一步提出了应用一种机制，其中，方向性帧内预测模式的数量是可调的。具体而言，提出了进一步针对较大的块尺寸将方向性帧内预测模式的数量增加到131，同时针对较小的块尺寸减少方向性帧内预测模式的数量。基于块尺寸的方向性帧内预测模式的数量切换由两个阈值控制，这两个阈值在SPS中分别用log2值减4和log2值减6表示。其中，第一阈值表示有35个帧内预测模式方向的最大的块尺寸，第二阈值表示有67个帧内预测模式方向的最大的块尺寸，其它块均使用131个帧内预测模式方向。在默认设置中，信号发送分别为4和6的阈值，对于高分辨率图像，阈值设置为5和8。
在该实现方式中，无论实际使用的方向性帧内预测模式的数量是多少，方向性帧内预测模式索引始终由模式范围131表示。对于实际正在使用的67种帧内预测模式，只允许每两个角度(方向性)模式使用一次帧内预测模式；而对于35种模式，只允许每四个角度(方向性)模式使用一次帧内预测模式。因此，在信号发送帧内预测模式时，如果当前块使用的帧内预测模式方向小于131个，则可能需要对相邻块的帧内预测模式向最近、第二或第四角度帧内预测模式取整，如图13所示。这种转换是通过将左移和右移1或2应用于帧内预测模式来完成的。如果模式不是MPM，则信号发送模式遵循与JEM-3.0中相同的过程，但具有不同数量的帧内预测模式。平面模式和DC模式保持不变，不需要进行模式转换。为了适应帧内预测模式数量的增加，4抽头帧内滤波器从1/32分数像素扩展到1/64分数像素。
此外，最近提出了一项技术，以解决在为矩形块设置的帧内预测模式中应包含多少个方向性帧内预测模式的问题。如图14所示，根据所提出的技术，方向性帧内预测模式集合可以根据预测块的长宽比进行扩展，并且可以通过将增加的方向性帧内预测模式映射到传统子集来信号发送所述方向性帧内预测模式集合。
鉴于此，图15示出了在对角方向上的帧内预测的情况，其角度等于与方向性帧内预测模式相关联的45°。这种情况下，对应的HEVC帧内模式索引是2(从左下方)和35(从右上方)。
然而，如果类似的帧内预测机制应用于小于45°的角度，即，对于扩展的方向性帧内预测模式，情况如图16所示。即，当帧内预测方向被指定为锐角方向(即，小于45°)时，在预测过程中可以观察到明显的不连续性。产生这些不连续性的原因尤其在于，两个相邻的预测像素行之间的参考像素位置之间的差可能会变得大于一个参考像素。该问题涉及参考像素的处理方法和进行帧内预测插值的方法。
发明内容
鉴于上述实施方式，本发明旨在进一步改进混合视频编码。具体而言，本发明的目的在于提供一种用于改进视频图像预测块的帧内预测的设备和方法。尤其，本发明旨在不增加硬件和计算复杂度的情况下获得额外的编码增益。具体地，本发明旨在克服上述在小于45°的锐角的情况下产生的问题，即，本发明要解决这些锐角导致的不连续性。本发明应易于在使用常规方向性帧内预测机制的编解码器中实现。
本发明的目的根据由独立权利要求的特征界定的本发明的实施例实现。实施例的其它有利实施方式由从属权利要求的特征界定。
具体而言，本发明提出通过扩展针对帧内预测锐角(即小于45°)的滤波器长度来降低不连续性。本方案主要适用于QTBT、MTT等划分框架生成的矩形块。
本发明第一方面提供一种用于对视频图像的预测块进行帧内预测的设备，所述设备用于从方向性帧内预测模式集合中选择方向性帧内预测模式，其中，每个方向性帧内预测模式对应于不同的帧内预测角度；根据所述选择的方向性帧内预测模式从滤波器集合中选择滤波器；根据所述选择的方向性帧内预测模式从参考像素集合中为所述预测块的给定预测像素确定参考像素；并将所述选择的滤波器应用于所述确定的参考像素。
根据所述第一方面所述的设备具有以下优点：
·可以获得额外的编码增益。
·可用于混合视频编码范例的许多潜在应用中，这些范例分别与最新及下一代视频编码框架的HM软件和VPX视频编解码器系列兼容，以及分别与最新及下一代视频编码框架的JEM和VTM软件和VPX/AV1视频编解码器系统兼容。
·硬件和计算复杂度低。
·所述设备易于在使用常规方向性帧内预测机制的编解码器中实现。
具体而言，通过根据所述角度选择滤波器长度，可以克服上述小于45°的帧内预测锐角的问题。如果用于帧内预测两个相邻预测像素的两个参考像素之间的距离变大，使得所述两个参考像素不再相邻，则选择较大的滤波器长度就可以避免不连续性。对于45°以上的角度，其中，参考像素间相互邻接，则可以选择较小的滤波器长度以保留细节。
值得注意的是，预测块可以是TU或PU。所述设备用于，如针对给定预测像素所述，处理所述预测块中的每个预测像素。因此，所述设备用于执行视频图像中的整个预测块的帧内预测。像素点是视频图像中通道和像素的交集。例如，视频图像的每个像素可以包括红色、绿色和蓝色的三个像素点。
在所述第一方面的一种实现方式中，所述设备用于：根据所述选择的方向性帧内预测模式确定滤波器长度；选择至少具有所述确定的滤波器长度的滤波器作为所述滤波器。
因此，所述设备确保所述滤波器长度在每种情况下都足够长以避免不连续性。
在所述第一方面的另一种实现方式中，所述滤波器集合包括具有不同滤波器长度的滤波器，具体而言，包括具有跨1、3或5个相邻参考像素的滤波器长度的滤波器。
在所述第一方面的另一种实现方式中，当应用于所述确定的参考像素时，所述滤波器集合中的每个滤波器对所述确定的参考像素和一个或多个相邻参考像素执行不同的平滑操作。
对于越小的锐角角度，则可以通过相应地选择滤波器来选择较高的平滑度，例如，对更多相邻的参考像素进行平滑操作，而对于角度不太小(或不是锐角)的角度，则选择较低的平滑度，例如，对更少的参考像素进行平滑操作。
在所述第一方面的另一种实现方式中，所述设备用于：确定与所述选择的方向性帧内预测模式对应的所述帧内预测角度；根据所述确定的帧内预测角度选择所述滤波器。
相应的，可以为帧内预测的每个角度都选择最佳滤波器。
在所述第一方面的另一种实现方式中，所述设备用于：确定与所述选择的方向性帧内预测模式对应的所述帧内预测角度；根据所述选择的方向性帧内预测模式，从所述参考像素集合中为所述预测块的另一预测像素指定另一参考像素；确定所述确定的参考像素与所述另一参考像素之间的距离；根据所述确定的距离选择所述滤波器。
所述设备可以用于执行滤波器选择算法，将所述选择的方向性帧内预测模式作为输入以获取帧内预测角度作为输出。所述设备可以根据所述选择的方向性帧内预测模式的索引确定所述帧内预测角度。进一步地，所述设备可以用于根据预测块的长宽比确定所述角度。
可以采用为给定预测像素确定所述确定的参考像素相同的方式来为所述另一预测像素指定所述另一参考像素，具体而言，根据所述选择的模式的帧内预测方向，即帧内预测角度为所述另一预测像素指定所述另一参考像素。可以根据所述给定预测像素与所述预测块中的所述另一预测像素之间的距离以及与所述选择的模式相关联的帧内预测角度来推导出所述确定的参考像素与所述另一参考像素之间的距离。所述距离可以基于参考像素的整数或分数来确定。
如果确定的距离较小，可以选择具有较长的滤波器长度的滤波器，而如果确定的距离较大，可以选择具有较短的滤波器长度的滤波器。具体而言，可以选择滤波器长度至少为所述确定距离的滤波器。若不存在滤波器长度至少为所述确定距离的可选滤波器，则可以从滤波器长度最大的滤波器集合中选择滤波器。
因此，可以选择滤波器，使得参考像素之间的距离在帧内预测之后不会导致不连续性。
在所述第一方面的另一种实现方式中，所述设备用于：为从所述方向性帧内预测模式的第一子集中选择的每个方向性帧内预测模式选择相同的滤波器；为从所述方向性帧内预测模式的第二子集中选择的每个方向性帧内预测模式选择不同的滤波器。
例如，所述第一子集可以包括与45°及大于45°的帧内预测角度相关联的方向性帧内预测模式，而所述第二子集可以包括与小于45°的帧内预测角度相关联的方向性帧内预测模式。
在所述第一方面的另一种实现方式中，所述设备用于：直接根据所述确定的参考像素对所述给定预测像素进行帧内预测，其中，所述设备用于在对所述给定预测像素进行所述帧内预测之前或期间将所述选择的滤波器应用于所述确定的参考像素。
在所述第一方面的另一种实现方式中，所述设备用于：通过根据所述选择的帧内预测模式对所述确定的参考像素进行插值来生成转置参考像素；根据所述转置参考像素对所述给定预测像素进行帧内预测，其中，所述设备用于在生成所述转置参考像素之前或期间将所述选择的滤波器应用于所述确定的参考像素。
在所述第一方面的另一种实现方式中，所述设备用于：对所述参考像素集合中的每个参考像素进行转置，其中，一行参考像素变为一列转置参考像素，一列参考像素变为一行转置参考像素。
在所述第一方面的另一种实现方式中，所述参考像素集合中的参考像素排列在所述视频图像中与所述预测块的上方和右上方位置相邻的行中，和/或排列在所述视频图像中与所述预测块的左侧和左上方位置相邻的列中。
在所述第一方面的另一种实现方式中，所述设备用于对所述视频图像进行编码和/或解码，或者所述设备为视频编码器和/或视频解码器。
例如，所述第一方面的所述设备可以包含在编码器或解码器的帧内预测单元中，或者可以是编码器或解码器的帧内预测单元。
本发明的第二方面提供了一种用于对视频图像的预测块进行帧内预测的方法，所述方法包括：从方向性帧内预测模式集合中选择方向性帧内预测模式，其中，每个方向性帧内预测模式对应于不同的帧内预测角度；其中，每个方向性帧内预测模式对应于不同的帧内预测角度；根据所述选择的方向性帧内预测模式从滤波器集合中选择滤波器；根据所述选择的方向性帧内预测模式，从参考像素集合中为所述预测块的给定预测像素确定参考像素；将所述选择的滤波器应用于所述确定的参考像素。
在所述第二方面的一种实现方式中，所述方法包括：根据所述选择的方向性帧内预测模式确定滤波器长度；选择至少具有所述确定的滤波器长度的滤波器作为所述滤波器。
在所述第二方面的另一种实现方式中，所述滤波器集合包括具有不同滤波器长度的滤波器，具体而言，包括具有跨1、3或5个相邻参考像素的滤波器长度的滤波器。
在所述第二方面的另一种实现方式中，当应用于所述确定的参考像素时，所述滤波器集中的每个滤波器对所述确定的参考像素和一个或多个相邻参考像素执行不同的平滑操作。
在所述第二方面的另一种实现方式中，所述方法包括：确定与所述选择的方向性帧内预测模式对应的所述帧内预测角度；根据所述确定的帧内预测角度选择所述滤波器。
在所述第二方面的另一种实现方式中，所述方法包括：确定与所述选择的方向性帧内预测模式对应的所述帧内预测角度；根据所述选择的方向性帧内预测模式，从所述参考像素集合中为所述预测块的另一预测像素指定另一参考像素；
在所述第二方面的另一种实现方式中，所述方法包括：为从所述方向性帧内预测模式的第一子集中选择的每个方向性帧内预测模式选择相同的滤波器；为从所述方向性帧内预测模式的第二子集中选择的每个方向性帧内预测模式选择不同的滤波器。
在所述第二方面的另一种实现方式中，所述方法包括：直接根据所述确定的参考像素对所述给定预测像素进行帧内预测，其中，所述方法包括：在对所述给定预测像素进行帧内预测之前或期间将所述选择的滤波器应用于所述确定的参考像素。
在所述第二方面的另一种实现方式中，所述方法包括：通过根据所述选择的帧内预测模式对所述确定的参考像素进行插值来生成转置参考像素；根据所述转置参考像素对所述给定预测像素进行帧内预测，其中，所述方法包括：在生成所述转置参考像素之前或期间将所述选择的滤波器应用于所述确定的参考像素。
在所述第二方面的另一种实现方式中，所述方法包括：对所述参考像素集合中的每个参考像素进行转置，其中，一行参考像素变为一列转置参考像素，一列参考像素变为一行转置参考像素。
在所述第二方面的另一种实现方式中，所述参考像素集合中的参考像素排列在所述视频图像中与所述预测块的上方和右上方位置相邻的行中，和/或排列在所述视频图像中与所述预测块的左侧和左上方位置相邻的列中。
在所述第二方面的另一种实现方式中，执行所述方法以对所述视频图像进行编码和/或解码，或者，在视频编码器和/或视频解码器中执行所述方法。
通过所述第二方面及其实现方式的方法，实现了所述第一方面及其相应实现方式的设备的上述优点和效果。
应注意，本申请中所描述的所有设备、元件、单元和构件都可以在软件或硬件元件或其任何种类的组合中实现。本申请中描述的各种实体执行的所有步骤和所描述的将由各种实体执行的功能旨在表明各个实体适于或用于执行各自的步骤和功能。虽然在以下具体实施例的描述中，待由外部实体执行的特定功能或步骤没有在执行特定步骤或功能的该实体的具体元件的描述中反映，但是技术人员应清楚的是这些方法和功能可以在各自的硬件或软件元件或其任意组合中实现。
附图和以下描述对一个或多个实施例进行了详细阐述。其它特征、目的和优点在说明书、附图以及权利要求中是显而易见的。
附图说明
下面结合附图对本发明实施例进行详细描述。在附图中：
图1为示出用于实现本发明实施例的视频编码器的示例性结构的框图；
图2为示出用于实现本发明实施例的视频解码器的示例性结构的框图；
图3为示出用于实现本发明实施例的视频编码系统的示例的框图；
图4示出了(a)当帧内预测角度小于45°时的不连续性的原因，以及(b)当帧内预测角度小于45°时的行间不连续性的原因。
图5为示出本发明实施例的一种设备的框图。
图6为示出本发明实施例的由设备执行的参考像素滤波器选择机制的流程图，其中，该参考像素滤波器选择机制取决于帧内预测角度。
图7示出了本发明实施例的由设备执行的参考像素预插值机制。
图8为本发明实施例的一种方法的流程图。
图9示出了HM和JEM软件中的帧内预测模式(仅针对JEM引入虚线标注的角度/方向性模式，HM不引入)。
图10示意性地示出了QTBT划分。
图11示出了QT和QTBT框架中方向性帧内预测机制的当前实施方式：
图12示出了矩形块的方向，尤其示出了具有(a)水平方向和(b)垂直方向的矩形块。
图13示出了JVET-D0113中提出的帧内模式选择。
图14示出了提出的方向性帧内预测模式的扩展。
图15示意性地示出了用于帧内预测的参考像素之间的距离，其中，该参考像素用于对帧内预测角度等于45°的相邻两行预测像素进行帧内预测。
图16示意性地示出了用于帧内预测的参考像素之间的距离，其中，该参考像素用于对帧内预测角度小于45°的相邻两行预测像素进行帧内预测。
具体实施方式
以下描述中，参考组成本发明一部分并以说明的方式示出本发明实施例的具体方面或可使用本发明实施例的具体方面的附图。应理解，本发明实施例可在其它方面中使用，并可包括附图中未描绘的结构变化或逻辑变化。因此，以下详细描述不应以限制性的意义来理解，本发明的范围由所附权利要求书界定。
例如，应理解，结合所描述方法的公开内容可以对用于执行所述方法的对应设备或系统也同样适用，且反之亦然。例如，如果描述一个或多个具体方法步骤，则对应的设备可以包括一个或多个单元(例如，功能单元)来执行所描述的一个或多个方法步骤(例如，一个单元执行一个或多个步骤，或多个单元中的每个单元都执行多个步骤中的一个或多个)，即使附图中未明确描述或说明该一个或多个单元。另一方面，例如，如果根据如功能单元等一个或多个单元描述具体装置，则对应的方法可以包括一个步骤来实现一个或多个单元的功能(例如，一个步骤实现一个或多个单元的功能，或多个步骤中的每个步骤都实现多个单元中一个或多个单元的功能)，即使附图中未明确描述或说明这种一个或多个步骤。此外，应理解，除非另有说明，否则本文描述的各种示例性实施例和/或方面的特征可相互组合。
视频编码通常指对构成视频或视频序列的图像序列进行处理。在视频编码领域，术语“帧(frame)”或“图像(picture/image)”可以用作同义词。视频编码(coding)包括视频编码和视频解码两部分。视频编码在源侧执行，通常包括处理(例如，压缩)原始视频图像以减少表示视频图像所需的数据量(从而更高效的存储和/或传输)。视频解码在目的地侧执行，通常包括相对于编码器作的逆处理，以重建视频图像。关于实施例涉及的视频图像(或通常称为图像，将在下文解释)的“编码”应理解为视频图像的“编码”或“解码”。编码部分和解码部分也合称为编解码(编码和解码，CODEC)。
在无损视频编码情况下，可以重建原始视频图像，即重建的视频图像与原始视频图像具有相同的质量(假设存储或传输期间没有传输损耗或其它数据丢失)。在有损视频编码情况下，通过量化等进行进一步压缩来减少表示视频图像所需的数据量，而解码器处无法完全重建视频图像，即重建的视频图像的质量比原始视频图像的质量更低或更差。
自H.261以来的几个视频编码标准属于“有损混合视频编解码器”组(即，将像素点域中的空间预测和时间预测与变换域中用于应用量化的2D变换编码结合)。视频序列中的每个图像通常划分成不重叠的块集合，通常基于块级进行编码。换句话说，编码器通常在块(视频块)级处对视频进行处理(即编码)，例如，通过空间(帧内)预测和时间(帧间)预测来生成预测块；从当前块(当前处理/待处理的块)中减去预测块，获得残差块；在变换域中变换并量化残差块，以减少待传输(压缩)的数据量，而解码器将相对于编码器作的逆处理应用于经编码或经压缩的块，以重建用于表示的当前块。此外，编码器重复解码器的处理步骤，使得编码器和解码器生成相同的预测(例如，帧内预测和帧间预测)和/或重建，用于对后续块进行处理(即编码)。
因为视频图像处理(也称为移动图像处理)和静止图像处理(术语“处理”包括编码)共享许多概念和技术或工具，所以在下文中，术语“图像”用于指代视频序列的视频图像(如上文所述)和/或静止图像，以避免在不需要时对视频图像与静止图像进行不必要的重复和区分。如果上述描述仅指静止图像(still picture或still image)，应使用术语“静止图像”。
以下在根据图4到11更详细地描述本发明实施例之前，根据图1至3描述用于实现本发明实施例的编码器100，解码器200和编码系统300。
图3为编码系统300(例如，图像编码系统300)的一个实施例的概念性或示意性框图。编码系统300包括源设备310，源设备310用于将编码数据330(例如，编码图像330)提供给目的地设备320等以对编码数据330进行解码。
源设备310包括编码器100或编码单元100，并且可另外(即，可选地)包括图像源312、预处理单元314(例如，图像预处理单元314)以及通信接口或通信单元318。
图像源312可以包括或可以是任何类型的图像采集设备，例如用于采集真实世界图像的设备，和/或任何类型的图像生成设备，例如用于生成计算机动画图像的计算机图形处理器，或用于获取和/或提供真实世界图像、计算机动画图像(例如，屏幕内容、虚拟现实(virtual reality，VR)图像)和/或其任何组合(例如，增强现实(augmented reality，AR)图像)的任何类型的设备。在下文中，除非另有其它具体说明，所有这些类型的图像和任何其它类型的图像都将称为“图像”，而之前关于术语“图像”(包括“视频图像”和“静止图像”)的解释仍然适用，除非有明确的不同规定。
(数字)图像为或可以看作具有强度值的像素点的二维阵列或矩阵。阵列中的像素点也可称为像素(pixel或pel)(图像元素的简称)。图像的大小和/或分辨率由阵列或图像在水平和垂直方向(或轴)上的像素点数量定义。通常使用三种颜色分量来表示颜色，即该图像可表示为三个像素点阵列或包括三个像素点阵列。在RBG格式或颜色空间中，图像包括对应的红色、绿色和蓝色像素点阵列。然而，在视频编码中，每个像素通常由亮度/色度格式或在颜色空间中表示，例如，YCbCr，包括通过Y指示的亮度分量(有时也用L指示)和通过Cb和Cr指示的两个色度分量。亮度(或简称luma)分量Y表示亮度或灰度级强度(例如，像在灰度图像中)，而两个色度(或简称chroma)分量Cb和Cr表示色度或颜色信息分量。因此，YCbCr格式的图像包括由亮度像素点值(Y)构成的亮度像素点阵列和两个由色度值(Cb和Cr)构成的色度像素点阵列。RGB格式的图像可转换或变换成YCbCr格式，反之亦然，该过程也称为颜色变换或颜色转换。如果图像是单色的，则图像可只包括亮度像素点阵列。
例如，图像源312可以是用于采集图像的摄像机、包括或存储先前采集或生成的图像的存储器(例如，图像存储器)，和/或用于获取或接收图像的任何类型的(内部或外部)接口等。例如，摄像机可以是集成在源设备中的本地或集成摄像机，存储器可以是(例如，集成在源设备中的)本地或集成存储器。例如，所述接口可以是从外部视频源接收图像的外部接口，其中，所述外部视频源为摄像机等外部图像采集设备、外部存储器、或外部计算机图形处理器、计算机或服务器等外部图像生成设备。所述接口可以是根据任何专有或标准化接口协议的任何类型的接口，例如有线或无线接口、光接口。用于获取图像数据312的接口可以是与通信接口318相同的接口，或作为通信接口318的一部分。
区别于预处理单元314和预处理单元314执行的处理，图像或图像数据313也可以称为原始图像或原始图像数据313。
预处理单元314用于接收(原始)图像数据313，并对图像数据313进行预处理，以获得预处理图像315或预处理图像数据315。预处理单元314执行的预处理可以包括修剪、颜色格式转换(例如，从RGB转换为YCbCr)、颜色校正，或去噪等。
编码器100用于接收预处理图像数据315并提供编码图像数据171(下文将根据图1等进行详细描述)。
源设备310的通信接口318可以用于接收编码图像数据171，并将其直接传输到其它设备(例如，目的地设备320或用于存储或直接重建的任何其它设备)；或分别在存储编码数据330和/或将编码数据330传输到其它设备(例如目的地设备320，或用于解码或存储的任何其它设备)之前处理编码图像数据171。
目的地设备320包括解码器200或解码单元200，并且可另外(即，可选地)包括通信接口或通信单元322、后处理单元326和显示设备328。
目的地设备320的通信接口322用于接收编码图像数据171或编码数据330，例如，直接从源设备310或任何其它源(例如，编码图像数据存储器等存储器)接收。
通信接口318和通信接口322可以用于经由源设备310与目的地设备320之间的直接通信链路(直接有线或无线连接等)，或经由任何类型的网络(例如，有线或无线网络或其任意组合，或任何类型的专用和公共网络)，或其任意组合分别发送或接收编码图像数据171或编码数据330。
例如，通信接口318可以用于将编码图像数据171封装为合适的格式(例如，数据包)，用于经由通信链路或通信网络传输，并且还可以用于执行数据丢失保护和数据丢失恢复。
例如，与通信接口318对应的通信接口322可以用于对编码数据330进行解封装，以获得编码图像数据171，并且还可以用于执行数据丢失保护和数据丢失恢复，例如，包括差错隐藏。
通信接口318和通信接口322均可配置为单向通信接口(如图3中从源设备310指向目的地设备320的编码图像数据330的箭头所指示)，或双向通信接口，并可用于发送和接收消息等，例如，建立连接，确认和/或重新发送丢失或延迟的数据(包括图像数据)，交互与通信链路和/或数据传输(例如，编码图像数据的传输)相关的任何其它信息。
解码器200用于接收编码图像数据171并提供解码图像数据231或解码图像231(下文将根据图2等进一步详细描述)。
目的地设备320的后处理器326用于对解码图像数据231(例如，解码图像231)进行后处理，以获得后处理的图像数据327(例如，后处理图像327)。例如，由后处理单元326执行的后处理可以包括颜色格式转换(例如，从YCbCr转换为RGB)、颜色校正、修剪或重采样，或任何其它处理，例如，用于准备解码图像数据231以供显示设备328等显示。
目的地设备320的显示设备328用于接收后处理图像数据327，以向用户或观看者等显示所述图像。显示设备328可以是或包括用于显示重建图像的任何类型的显示器，例如，集成或外部的显示器或监视器。例如，显示器可包括阴极射线管(cathode ray tube，CRT)、液晶显示器(liquid crystal display，LCD)、等离子显示器、有机发光二极管(organic light emitting diode，OLED)显示器或任何其它类型的显示器、射束器或全息图(3D)。
尽管图3将源设备310和目的地设备320作为单独的设备进行描述，但是设备实施例还可以包括两种设备或两种功能，即源设备310或对应功能以及目的地设备320或对应功能。在这类实施例中，源设备310或对应功能以及目的地设备320或对应功能可以使用相同的硬件和/或软件或通过单独的硬件和/或软件或其任意组合来实现。
根据描述，技术人员显而易见的是，图3所示的源设备310和/或目的地设备320内的不同单元或功能的存在和(精确)划分可以根据实际设备和应用而不同。
因此，图3所示的源设备310和目的地设备320仅仅是本发明的示例性实施例，且本发明实施例不限于图3所示的实施例。
源设备310和目的地设备320可包括多种设备中的任意一种，包括任何类型的手持或固定设备，例如，笔记本电脑或膝上型电脑、手机、智能手机、平板电脑(tablet/tabletcomputer)、摄像机、台式电脑、机顶盒、电视机、显示设备、数字媒体播放器、视频游戏机、视频流设备、广播接收器设备等，并且可不使用或使用任何类型的操作系统。
编码器和编码方法
图1为编码器100(例如，图像编码器100)的实施例的示意性/概念性框图，其中，所述编码器100包括输入端102、残差计算单元104、变换单元106、量化单元108、反量化单元110、逆变换单元112、重建单元114、缓冲器118、环路滤波器120、解码图像缓冲器(decodedpicture buffer，DPB)130、预测单元160(包括帧间估计单元142、帧间预测单元144、帧内估计单元152和帧内预测单元154)、模式选择单元162、熵编码单元170和输出端172。如图1所示的视频编码器100也可以称为混合视频编码器或基于混合视频编解码器的视频编码器。
例如，残差计算单元104、变换单元106、量化单元108和熵编码单元170形成编码器100的正向信号路径，而例如，反量化单元110、逆变换单元112、重建单元114、缓冲器118、环路滤波器120、解码图像缓冲器(DPB)130、帧间预测单元144和帧内预测单元154形成编码器的反向信号路径。编码器的反向信号路径与解码器(参见图2中的解码器200)的信号路径对应。
编码器100用于通过输入端102等接收图像101或图像101(例如，形成视频或视频序列的图像序列的图像)的图像块103。图像块103也可以称为当前图像块或待编码图像块，图像101也可以称为当前图像或待编码图像(特别是在视频编码中，用以将当前图像与同一视频序列(即，也包括当前图像的视频序列)中的其它图像(例如，先前编码和/或解码的图像)区分开。
残差计算
残差计算单元104用于根据图像块103和预测块165(下文将详细描述预测块165)来计算残差块105，例如，通过逐像素点(逐像素)将图像块103的像素点值减去预测块165的像素点值，以获得像素点域中的残差块105。
变换
变换单元106用于对残差块105的像素点值进行空间频率变换或线性空间(频率)变换等变换(例如，离散余弦变换(discrete cosine transform，DCT)或离散正弦变换(discrete sine transform，DST)，以获得变换域中的变换系数107。变换系数107也可以称为变换残差系数，表示变换域中的残差块105。
变换单元106可用于应用DCT/DST的整数近似法，如针对HEVC/H.265指定的核心变换。与正交DCT变换相比，该整数近似法通常通过某一因子进行缩放。为了维持经过正变换和逆变换处理的残差块的范数，使用其它缩放因子作为变换过程的一部分。缩放因子通常是根据某些约束条件选择的，例如，缩放因子是用于移位运算的2的幂、变换系数的位深度、准确性与实施成本之间的权衡等。例如，在解码器200侧，通过逆变换单元212等为逆变换(以及在编码器100侧，通过逆变换单元112等为对应逆变换)指定具体的缩放因子，以及相应地，可以在编码器100侧，通过变换单元106等为正变换指定对应的缩放因子。
量化
量化单元108用于通过应用标量量化或矢量量化等对变换系数107进行量化，以获得量化系数109。量化系数109也可以称为经量化的残差系数109。例如，对于标量量化，可以进行不同程度的缩放来实现较细或较粗的量化。较小量化步长对应较细量化，而较大量化步长对应较粗量化。可以通过量化参数(quantization parameter，QP)指示合适的量化步长。例如，量化参数可以是合适的量化步长的预定义集合的索引。例如，小的量化参数可对应精细量化(小的量化步长)，大的量化参数可对应粗糙量化(大的量化步长)，反之亦然。量化可以包括除以量化步长，而反量化单元110等执行的对应反量化可包括乘以量化步长。根据HEVC的实施例可用于使用量化参数来确定量化步长。通常，可以根据量化参数使用包括除法的方程的定点近似来计算量化步长。可以引入额外缩放因子来进行量化和解量化，以恢复残差块的范数，在量化步长和量化参数的方程的定点近似中使用了缩放，可能会修改残差块的范数。在一种示例性实现方式中，可以合并逆变换和解量化的缩放。或者，可以使用自定义量化表并在例如码流中将自定义量化表从编码器信号发送到解码器。量化是有损操作，其中量化步长越大，损耗越大。
编码器100的实施例(或具体是量化单元108的实施例)可用于通过对应的量化参数等输出量化方案和量化步长，使得解码器200可以接收和进行对应的反量化。编码器100(或量化单元108)的实施例可用于直接输出或经由熵编码单元170或任何其它熵编码单元熵编码后输出量化方案和量化步长。
反量化单元110用于通过以下方式等对量化系数执行量化单元108的反量化，以获得解量化系数111：根据或使用与量化单元108相同的量化步长执行量化单元108所执行的量化方案的逆过程。解量化系数111也可以称为解量化残差系数111，对应于变换系数108。但由于量化造成的损耗，解量化系数111通常与变换系数108不同。
逆变换单元112用于执行变换单元106所执行的变换的逆变换，例如逆离散余弦变换(DCT)或逆离散正弦变换(DST)，以获得像素点域中的逆变换块113。逆变换块113也可以称为经逆变换的解量化块113或经逆变换的残差块113。
重建单元114用于通过逐像素点添加经解码残差块113的像素点值和预测块165的像素点值等，合并逆变换块113和预测块165，以获得像素点域中的重建块115。
缓冲单元116(或简称“缓冲器”116)(例如，列缓冲器116)用于缓冲或存储重建块和相应的像素点值，以进行帧内估计和/或帧内预测等。在其它实施例中，编码器可用于使用存储在缓冲单元116中的未滤波的重建块和/或相应的像素点值进行任何类型的估计和/或预测。
环路滤波单元120(或简称“环路滤波器”120)用于通过应用去块像素点自适应偏移(sample-adaptive offset，SAO)滤波器或其它滤波器(例如，锐化或平滑滤波器或协同滤波器)等，对重建块115进行滤波以获得滤波块121。滤波块121也可以称为经滤波的重建块121。
环路滤波单元120的实施例可以包括(图1中未示出)滤波器分析单元和实际滤波单元，其中，滤波器分析单元用于为实际滤波器确定环路滤波器参数。滤波器分析单元可用于将固定的预定滤波器参数应用于实际环路滤波器，从预定滤波器参数集合中自适应地选择滤波器参数，或自适应地为实际环路滤波器计算滤波器参数。
环路滤波单元120的实施例可以包括(图1中未示出)一个或多个滤波器(环路滤波器组件/子滤波器)，例如，一个或多个不同种类或类型的滤波器，这些滤波器例如串联连接或并联连接或以任何组合方式连接，其中，每个滤波器都可以单独或与所述多个滤波器中的其它滤波器联合包括滤波器分析单元，以确定相应的环路滤波器参数，例如，如上一段所述。
编码器100(具体是环路滤波单元120)的实施例可用于直接输出或经由熵编码单元170或任何其它熵编码单元进行熵编码后输出环路滤波器参数，使得解码器200可以接收和应用相同环路滤波器参数进行解码等。
解码图像缓冲器(decoded picture buffer，DPB)130用于接收和存储滤波块121。解码图像缓冲器(decoded picture buffer，DPB)130还可用于存储同一当前图像或不同图像(例如，先前重建的图像)的其它先前滤波块(例如，先前重建的滤波块121)，并且可提供完整的先前重建(即解码)的图像(和对应的参考块和像素点)和/或部分重建的当前图像(和对应的参考块和像素点)，用于帧间估计和/或帧间预测等。
本发明的其它实施例还可以用于将解码图像缓冲器130的先前滤波块和对应的滤波像素点值用于任何类型的估计或预测，例如帧内估计和预测以及帧间估计和预测。
运动估计和预测
预测单元160，也称为块预测单元160，用于接收或获取图像块103(当前图像101的当前图像块103)和经解码或至少重建的图像数据，例如，来自缓冲器116的同一(当前)图像的参考像素和/或来自解码图像缓冲器130的一个或多个先前解码图像的解码图像数据231，以及用于处理这些数据以进行预测，即提供预测块165，其中，预测块165可以是帧间预测块145或帧内预测块155。
模式选择单元162可用于选择预测模式(例如，帧内或帧间预测模式)和/或对应的预测块145或155，用作预测块165来计算残差块105以及对重建块115进行重建。
模式选择单元162的实施例可用于(例如，从预测单元160支持的预测模式中)选择预测模式，所述预测模式提供最佳匹配或者说最小残差(最小残差意味着为了传输或存储进行更好的压缩)，或具有最小信令开销(最小信令开销意意味着为了传输或存储进行更好的压缩)，或者同时考虑或平衡以上两者。模式选择单元162可用于根据速率失真优化(ratedistortion optimization，RDO)确定预测模式，即选择提供最小速率失真优化的预测模式，或者选择至少满足预测模式选择标准的关联速率失真的预测模式。
下文将更详细地描述由示例性编码器100执行的预测处理(例如，由预测单元160执行)和模式选择(例如，由模式选择单元162执行)。
如上所述，编码器100用于从(预定的)预测模式集合中确定或选择最佳或最优的预测模式。预测模式集合可以包括例如帧内预测模式和/或帧间预测模式等。
帧内预测模式集合可以包括32种不同的帧内预测模式，例如，如DC(或均值)模式和平面模式等非方向性模式，或如H.264定义的方向性模式，或者可以包括65种不同的帧内预测模式，例如，如DC(或均值)模式和平面模式等非方向性模式，或如H.265中定义的方向性模式。
(可能的)帧间预测模式集合取决于可用参考图像(即，例如存储在DPB 230中的先前至少部分解码的图像)和其它帧间预测参数，例如，取决于是否使用整个参考图像或只使用参考图像的一部分(例如当前块的区域附近的搜索窗口区域)，来搜索最佳匹配参考块，和/或取决于是否应用像素插值(例如，二分之一/半像素插值和/或四分之一像素插值)。
除上述预测模式外，还可以使用跳过模式和/或直接模式。
预测单元160还可以用于通过以下方式等将块103划分成更小的块或子块：迭代使用四叉树(quad-tree，QT)划分、二叉树(binary-tree，BT)划分或三叉树(triple-tree，TT)划分或其任何组合，并且用于对块或子块中的每一个执行预测等，其中，模式选择包括选择划分块103的树结构以及选择块或子块中的每一个使用的预测模式。
帧间估计单元(inter-estimation unit/inter picture estimation unit)142，用于接收或获取图像块103(当前图像101的当前图像块103)和解码图像231，或至少一个或多个先前重建的块(例如，一个或多个其它/不同的先前解码的图像231的重建块)，以进行帧间估计(inter estimation/inter picture estimation)。例如，视频序列可以包括当前图像和先前解码的图像231，或换句话说，当前图像和先前解码的图像231可以是一系列构成视频序列的图像的一部分或形成一系列构成视频序列的图像。
例如，编码器100可用于从多个其它图像中的相同或不同图像的多个参考块中选择参考块，并将参考图像(或参考图像索引等)和/或参考块的位置(x坐标和y坐标)与当前块的位置之间的偏移(空间偏移)作为帧间估计参数143提供给帧间预测单元144。该偏移也称为运动矢量(motion vector，MV)。帧间估计也称为运动估计(motion estimation，ME)，帧间预测也称为运动预测(motion prediction，MP)。
帧间预测单元144用于获取(例如接收)帧间预测参数143，并根据或使用帧间预测参数143进行帧间预测，以获得帧间预测块145。
尽管图1示出了两个不同的单元(或步骤)用于帧间编码，即帧间估计单元142和帧间预测单元152，但是这两种功能可以通过以下方式等作为一个整体来执行(帧间估计通常包括计算帧间预测块，即上述或一“类”帧间预测154)：通过迭代测试可能的帧间预测模式中的所有可能帧间预测模式或预定子集，同时存储当前最佳的帧间预测模式和相应的帧间预测块，并将当前最佳的帧间预测模式和相应的帧间预测块作为(最终的)帧间预测参数143和帧间预测块145，而不用再执行一次帧间预测144。
帧内估计单元152用于获取(例如接收)图像块103(当前图像块)以及同一图像的一个或多个先前重建的块(例如，重建相邻块)，以进行帧内估计。例如，编码器100可以用于从多个帧内预测模式中选择帧内预测模式，并将帧内预测模式作为帧内估计参数153提供给帧内预测单元154。
编码器100的实施例可以用于根据最小残差(例如，帧内预测模式提供与当前图像块103最相似的预测块155)或最小率失真等优化标准选择帧内预测模式。
帧内预测单元154用于根据帧内预测参数153，例如选择的帧内预测模式153，确定帧内预测块155。
尽管图1示出了两个不同的单元(或步骤)用于帧内编码，即帧内估计单元152和帧内预测单元154，但是这两种功能可以通过以下方式等作为一个整体来执行(帧内估计通常包括计算帧内预测块，即上述或一“类”帧内预测154)：通过迭代测试可能的帧内预测模式中的所有可能帧内预测模式或预定子集，同时存储当前最佳的帧内预测模式和相应的帧内预测块，并将当前最佳的帧内预测模式和相应的帧内预测块作为(最终的)帧内预测参数153和帧内预测块155，而不用再次执行一次帧内预测154。
下文结合本发明实施例的设备500(图5)和方法800(图8)进一步说明，本发明可以应用于编码器100中。也就是说，设备500可以是编码器100的一部分，具体而言是帧内预测单元154。
熵编码单元170用于单独或联合(或不联合)对量化残差系数109、帧间预测参数143、帧内预测参数153和/或环路滤波器参数执行熵编码算法或方案(例如，可变长度编码(variable length coding，VLC)方案、上下文自适应VLC(context adaptive VLC，CALVC)方案、算术编码方案、上下文自适应二进制算术编码(context adaptive binaryarithmetic coding，CABAC))，以获得编码图像数据171。输出端172可以使用编码码流171的形式等输出编码图像数据171。
图2示出了示例性视频解码器200。视频解码器200用于接收例如由编码器100编码的编码图像数据(例如，编码码流)171，以获得解码图像231。
解码器200包括输入202、熵解码单元204、反量化单元210、逆变换单元212、重建单元214、缓冲器216、环路滤波器220、解码图像缓冲器230、预测单元260(包括帧间预测单元244和帧内预测单元254)、模式选择单元260和输出端232。
熵解码单元204用于对编码图像数据171执行熵解码，以获得量化系数209和/或经解码的编码参数(图2中未示出)等，例如(解码的)帧间预测参数143、帧内预测参数153和/或环路滤波器参数中的任一者或全部。
在解码器200、反量化单元210、逆变换单元212、重建单元214、缓冲器216、环路滤波器220、解码图像缓冲器230的实施例中，预测单元260和模式选择单元260用于执行编码器100(以及相应的功能单元)的逆处理，以对编码图像数据171进行解码。
具体而言，反量化单元210在功能上可以与反量化单元110相同，逆变换单元212在功能上可以与逆变换单元112相同，重建单元214在功能上可以与重建单元114相同，缓冲器216在功能上可以与缓冲器116相同，环路滤波器220在功能上可以与环路滤波器220相同(关于实际环路滤波器，由于在根据原始图像101或块103确定滤波器参数时，环路滤波器220通常不包括滤波分析单元，而是从熵解码单元204等(显式地或隐式地)接收或获取用于编码的滤波器参数)，解码图像缓冲器230在功能上可以与解码图像缓冲器130相同。
预测单元260可以包括帧间预测单元244和帧内预测单元254，其中，帧间预测单元144在功能上可以与帧间预测单元244相同，帧内预测单元154在功能上可以与帧内预测单元254相同。预测单元260和模式选择单元262通常用于执行块预测和/或仅从编码数据171获取预测块265(无需原始图像101的任何其它信息)并用于从熵解码单元204等(显式地或隐式地)接收或获取预测参数143或153和/或关于所选预测模式的信息。
下文结合本发明实施例的设备500(参见图5)和方法800(参见图8)进一步说明，本发明可以应用于解码器200中。也就是说，设备500可以是解码器200的一部分，具体而言是帧内预测单元154。
解码器200用于经由输出端232等输出解码图像230，以向用户呈现或供用户观看。
结合图15和图16，图4(a)更具体地示出了可以根据本发明实施例消除的不连续性的原因。具体而言，产生这些不连续性的原因是，预测块400(例如，PU或TU)中的两个垂直相邻预测像素401可以根据参考像素403进行预测。由于帧内预测角度是锐角，这些参考像素403彼此不相邻。这是插值法的缺陷。虽然通过应用参考像素平滑滤波器或长度为Nf的插值滤波器可以部分弥补该缺陷，但在帧内预测角度远小于45°的情况下，固定长度可能不够大。滤波过程中，可以通过在滤波过程中对图4中所示的参考像素403进行卷积来降低不连续效应。然而，如果为垂直相邻预测像素401选择的参考像素403相隔太远，则仍可能产生不连续性。这种不连续性的示例如(b)所示，针对合成参考(上排)等的情况，可以直观地观察到这种不连续性。
图5示意性地示出了本发明实施例的一种设备500。该设备用于以改进的方式对视频图像的预测块400进行帧内预测，能够消除图4中所示的上述不连续性的原因。设备500可以是图1所示的编码器100或图2所示解码器200，或是图1所示的编码器100或图2所示解码器200一部分，具体而言，是帧内预测单元154或254。
设备500用于执行若干功能，例如，通过处理器或其它类型的处理电路实现。具体地，设备500用于从方向性帧内预测模式501的集合中选择方向性帧内预测模式501a，其中，每个方向性帧内预测模式501对应于不同的帧内预测角度。这些方向性帧内预测模式501可以包括图9中所示的方向性帧内预测模式/帧内角度预测模式(以及标准中所定义的模式)，并且可以包括扩展的方向性帧内预测模式，对应于其它帧内预测角度，例如，如图14所示。具体而言，对于矩形预测块400，方向性帧内预测模式501可以包括与帧内预测的锐角(小于45°的角度)有关的模式。帧内预测角度是基于根据参考像素403对预测像素401进行帧内预测的方向。例如，在该帧内预测方向与预测块400的上边缘(水平边缘)之间定义角度。
此外，设备500用于根据选择的方向性帧内预测模式501a从滤波器集合402中选择滤波器402a。具体而言，设备500可以用于：根据选择的方向性帧内预测模式401a确定滤波器长度；从至少具有确定滤波器长度的集合中选择一个滤波器402作为滤波器402a。
设备500还用于：根据选择的方向性帧内预测模式501a，从参考像素集合403中为预测块400的给定预测像素401确定参考像素403a；将选择的滤波器402a应用于确定的参考像素403a。具体而言，设备500用于对预测块400的每个预测像素401继续进行上述步骤。也就是说，针对每个预测像素401，设备500可以从参考像素403中确定参考像素403a，并且可以将选择的滤波器402a应用于每个参考像素403。这样，设备500能够对整个预测块400进行帧内预测。
下表示出了设备500用于从中选择滤波器402的示例性滤波器集合。具体而言，滤波器集合包括不同的滤波器402。例如，滤波器集合402可以包括具有不同滤波器长度Nf的滤波器402，具体而言，包括具有跨1、3或5个相邻参考像素403的滤波器长度Nf的滤波器402。此外，当应用于确定的参考像素403a时，滤波器集合402中的每个滤波器402可对确定的参考像素403a和一个或多个相邻参考像素403执行不同的平滑操作。如表中所示，此平滑操作可由不同系数表示，其中，系数的数量指示确定的参考像素403a相对于其它相邻参考像素的相对权重(确定参考像素403a的中间数量分别相对于相邻参考像素403的0、2或4个其它数量)。
索引 0 1 2 3
系数 [1] [1,2,1] [2,3,6,3,2] [1,4,6,4,1]
滤波器长度Nf 1 3 5 5
图6示出了参考像素滤波器选择机制600的示意性流程图。设备500可以用于执行该机制。具体而言，设备500能够根据帧内预测角度选择参考像素滤波器402a。对于机制600，假设滤波器集合(这里表示为F)按滤波器长度Nf从小到大的顺序排序。
步骤601：设备500用于推导出帧内预测角度∝作为选择机制600的输入。设备500可以用于确定与选择的方向性帧内预测模式501对应的帧内预测角度。
步骤602：设备500用于推导出确定的参考像素403a与另一参考像素403b之间的距离Δp∝(例如，参见图4)，该距离Δp∝可以是根据选择的方向性帧内预测模式501a从参考像素集合403为预测块400的另一预测像素401指定的。
步骤603：将滤波器索引初始化为i＝0。步骤604：从滤波器集合中选取具有当前索引i的滤波器402。例如，上表显示滤波器402可以根据i＝0-3进行索引。
步骤605：设备500用于确定从集合中提取的滤波器402的长度Nf是否小于距离Δp∝。若否，则选择机制600结束，并且选择当前采用的滤波器402作为滤波器402a，以应用于确定的参考像素403a。
否则，在步骤606中，设备500用于检查当前滤波器索引i是否小于k，其中，k可以是最大可能的滤波器索引和/或指示滤波器集合中的滤波器402的数量。若否，则选择机制600结束，并且选择当前采用的滤波器402作为应用于确定的参考像素403a的滤波器402a，在这种情况下，假设按滤波器长度对集合进行排序，则滤波器402对应于具有最大滤波器长度Nf的滤波器402。否则，在步骤607中，滤波器索引增加1，并且该选择机制继续执行步骤604(即，取集合中的下一个滤波器402)。
如图7所示，设备500还可以用于对参考像素403进行预处理。具体而言，设备500可以用于根据确定的参考像素403a生成转置参考像素700a，即根据选择的帧内预测模式501a对确定的参考像素403a进行插值。然后，设备500可以用于根据转置参考像素700a，而不是直接根据确定的参考像素403a，预测给定预测像素401。
图7(a)示例性示出了预处理的第一个步骤，其可包括根据给定顶行的参考像素403(表示为R)计算转置参考像素集合700(表示为)。该步骤的输入可以是参考像素集合403，这些参考像素403位于待预测块400的顶部和右上侧。这些参考像素403可以如上所述根据帧内预测角度进行滤波。也就是说，设备500可以用于选择如上所述的滤波器402a，然后在生成转置参考像素700a之前或期间将选择的滤波器402a应用于确定的参考像素403a。
具体而言，第一个步骤是通过对R的两部分进行插值来执行。标记为RL的集合的一部分位于块PTR的右上方像素的左侧。在执行第一个步骤期间，位置PTR处的参考像素403不会改变，即标记为RR的另一部分位于PTR的右侧。对于这两部分，使用与用于预测待预测块400内的像素点(表示为B)相同的机制来执行插值。这两部分使用的预测角度∝相同，但预测方向相反。
预处理的第二个步骤如图7(b)所示，是对待预测块400的预测像素401进行帧内预测。即根据在(a)所示的第一个步骤中计算的转置参考像素集合700执行帧内预测插值。如果不在顶行执行帧内预测，即帧内预测方向∝的角度大于180度，则对块和对应的参考像素进行转置(行索引变为列索引，反之亦然)，以及进行如上所述的帧内预测。这种情况下，通过对计算出的预测块进行转置，得到最终结果。
图8示出了本发明实施例的一种方法800。方法800用于对视频图像的预测块400进行帧内预测，方法800可以由图5所示的设备500执行。具体而言，方法800包括步骤801：根据方向性帧内预测模式501的集合中选择方向性帧内预测模式501a，其中，每个方向性帧内预测模式501对应于不同的帧内预测角度。此外，方法800包括步骤802：根据选择的方向性帧内预测模式501a从滤波器集合402中选择滤波器402a。然后，方法800包括步骤803：根据选择的方向性帧内预测模式501a从参考像素集合403中为预测块400的给定预测像素401确定参考像素403a；以及步骤804：将选择的滤波器402a应用于确定的参考像素403a。
需要说明的是，本说明书提供了图像(帧)的解释，但在隔行扫描图像信号的情况下，使用字段替代图像。
尽管已主要根据视频编码描述了本发明实施例，但需要说明的是，编码器100和解码器200(相应地，系统300)的实施例还可以用于静止图像处理或编码，即在视频编码中独立于任何之前或连续的图像的单个图像的处理或编码。通常，如果图像处理编码限于单个图像101的情况下，则只有帧间估计142、帧间预测144和242不可用。视频编码器100和视频解码器200的大部分(如果不是全部的话)其它功能(也称为工具或技术)可以同样用于静止图像，这些功能包括划分、变换(缩放)106、量化108、反量化110、逆变换112、帧内估计142、帧内预测154、254和/或环路滤波120、220以及熵编码170和熵解码204等。
本领域技术人员将理解，各种图式(方法和装置)的“块”(“单元”)表示或描述本发明实施例的功能(而不必是在硬件或软件中的单独“单元”)，因此同等描述装置实施例以及方法实施例的功能或特征(单元等同步骤)。
术语“单元”仅仅是用于说明编码器/解码器的实施例的功能，并非旨在限制本发明。
在本申请中提供的若干实施例中，应理解，所公开的系统、装置和方法可通过其它方式实现。例如，所描述的装置实施例仅仅是示例性的。例如，单元划分仅仅是逻辑功能划分，实际实现时可以是另一种划分。例如，可以将多个单元或组件合并或集成到另一系统中，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口来实现。装置或单元之间的间接耦合或通信连接可通过电性、机械或其它形式实现。
所述作为分离部件描述的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，本发明实施例中的功能单元可集成到一个处理单元中，或每个单元可物理上单独存在，或两个或更多单元可集成到一个单元中。
本发明实施例还可以包括一种装置，例如，编码器和/或解码器，所述装置包括处理电路，用于执行本文描述的任何方法和/或过程。
编码器100和/或解码器200的实施例可以实现为硬件、固件、软件或其任何组合。例如，编码器/编码或解码器/解码的功能可以由处理电路执行，无论是否有固件或软件，例如，处理器、微控制器、数字信号处理器(digital signal processor，DSP)、现场可编程门阵列(field programmable gate array，FPGA)、专用集成电路(application-specificintegrated circuit，ASIC)等。
编码器100(和相应的编码方法100)和/或解码器200(和相应的解码方法200)的功能可以通过存储在计算机可读介质上的程序指令来实现。所述程序指令在执行时使得处理电路、计算机、处理器等执行编码和/或解码方法的步骤。所述计算机可读介质可以是存储所述程序的任何介质，包括非瞬时性存储介质，例如，蓝光磁盘、DVD、CD、USB(闪存)驱动器、硬盘、经由网络可用的服务器存储等。
本发明实施例包括或者是一种包含程序代码的计算机程序。所述程序代码在计算机上执行时用于执行本文描述的任一方法。
本发明实施例包括或者是一种包含程序代码的计算机可读介质。所述程序代码在由处理器执行时，使得计算机系统执行本文描述的任一方法。
附图标记列表
图1
100 编码器
103 图像块
102 输入端(例如，输入端口、输入接口)
104 残差计算[单元或步骤]
105 残差块
106 变换(例如，还包括缩放)[单元或步骤]
107 变换系数
108 量化[单元或步骤]
109 量化系数
110 反量化[单元或步骤]
111 解量化系数
112 逆变换(例如，还包括缩放)[单元或步骤]
113 逆变换块
114 重建[单元或步骤]
115 重建块
116 (列)缓冲器[单元或步骤]
117 参考像素
120 环路滤波器[单元或步骤]
121 滤波块
130 解码图像缓冲器(decoded picture buffer，DPB)[单元或步骤]
142 帧间估计(inter estimation/inter picture estimation)[单元或步骤]
143 帧间估计参数(例如，参考图像/参考图像索引，运动矢量/偏移)
144 帧间预测(inter prediction/inter picture prediction)[单元或步骤]
145 帧间预测块
152 帧内估计(intra estimation/intra picture estimation)[单元或步骤]
153 帧内预测参数(例如，帧内预测模式)
154 帧内预测(intra prediction/intra frame/picture prediction)[单元或步骤]
155 帧内预测块
162 模式选择[单元或步骤]
165 预测块(帧间预测块145或帧内预测块155)
170 熵编码[单元或步骤]
171 编码图像数据(例如，码流)
172 输出端(输出端口、输出接口)
231 解码图像
图2
200 解码器
171 编码图像数据(例如，码流)
202 输入端(端口/接口)
204 熵解码
209 量化系数
210 反量化
211 解量化系数
212 逆变换(缩放)
213 逆变换块
214 重建(单元)
215 重建块
216 (列)缓冲器
217 参考像素
220 环路滤波器(环内滤波器)
221 滤波块
230 解码图像缓冲器(decoded picture buffer，DPB)
231 解码图像
232 输出端(端口/接口)
244 帧间预测(inter prediction/inter frame/picture prediction)
245 帧间预测块
254 帧内预测(intra prediction/intra frame/picture prediction)
255 帧内预测块
260 模式选择
265 预测块(帧间预测块245或帧内预测块255)
图3
300 编码系统
310 源设备
312 图像源
313 (原始)图像数据
314 预处理器/预处理单元
315 预处理图像数据
318 通信单元/接口
320 目的地设备
322 通信单元/接口
326 后处理器/后处理单元
327 后处理图像数据
328 显示设备/单元
330 传输/接收/通信(编码)图像数据
图4
400 预测块
401 预测像素
402 滤波器
403 参考像素
图5
402 滤波器
402a 选择的滤波器
403 参考像素
403A 确定的参考像素
500 设备
501 方向性帧内预测模式
501a 选择的方向性帧内预测模式
图6
600 滤波器选择机制
601-607 机制的功能步骤
图7
400 预测块
401 预测像素
403 参考像素
403a 确定的参考像素
700 转置参考像素
700a 转置参考像素
图8
800 对预测块进行帧内预测的方法
801 帧内预测模式选择步骤
802 滤波器选择步骤
803 为给定预测像素确定参考像素的步骤
804 将选择的滤波器应用于参考像素的步骤

Claims (16)

1.一种用于帧内预测视频图像的预测块的方法，其特征在于，所述方法包括：
从方向性帧内预测模式集合中选择方向性帧内预测模式，其中，每个方向性帧内预测模式对应于不同的帧内预测角度，所述方向性帧内预测模式集合包括扩展的方向性帧内预测模式，所述扩展的方向性帧内预测模式仅适用于矩形块；
根据所述选择的方向性帧内预测模式从参考像素集合中为所述预测块的给定预测像素确定参考像素；
根据所述选择的方向性帧内预测模式从滤波器集合中选择滤波器；
将所述选择的滤波器应用于所述确定的参考像素。
2.根据权利要求1所述方法，其特征在于，所述方法包括：
确定与所述选择的方向性帧内预测模式对应的所述帧内预测角度；
根据所述确定的帧内预测角度确定是否应用滤波器于所述确定的参考像素。
3.根据权利要求1所述方法，其特征在于，所述扩展的方向性帧内预测模式包括与帧内预测的锐角有关的模式；或所述扩展的方向性帧内预测模式包括大于66的帧内预测模式。
4.根据权利要求1所述方法，其特征在于，所述滤波器集合包括具有跨1、3或5个相邻参考像素的滤波器长度的滤波器。
5.根据权利要求4所述方法，其特征在于，根据所述选择的方向性帧内预测模式确定滤波器长度；
当所述滤波器长度为1时，确定不应用滤波器于所述确定的参考像素；或当所述滤波器长度为3时，确定应用滤波器于所述确定的参考像素。
6.根据权利要求1所述方法，其特征在于，
当应用于所述确定的参考像素时，所述滤波器集合中的每个滤波器对所述确定的参考像素和一个或多个相邻参考像素执行不同的平滑操作。
7.根据权利要求1至3中任一项所述方法，其特征在于：
为从所述方向性帧内预测模式的第一子集中选择的每个方向性帧内预测模式选择相同的滤波器；
为从所述方向性帧内预测模式的第二子集中选择的每个方向性帧内预测模式选择不同的滤波器。
8.根据权利要求1至3中任一项所述方法，其特征在于，所述方法还包括：
直接根据所述确定的参考像素对所述给定预测像素进行帧内预测，其中
在对所述给定预测像素进行帧内预测之前或期间将所述选择的滤波器应用于所述确定的参考像素。
9.根据权利要求1至3中任一项所述方法，其特征在于，所述方法还包括：
通过根据所述选择的帧内预测模式对所述确定的参考像素进行插值来生成转置参考像素；
根据所述转置参考像素对所述给定预测像素进行帧内预测，其中，
在生成所述转置参考像素之前或期间将所述选择的滤波器应用于所述确定的参考像素。
10.一种用于对视频图像的预测块进行帧内预测的设备，其特征在于，所述设备用于：
从方向性帧内预测模式集合中选择方向性帧内预测模式，其中，每个方向性帧内预测模式对应于不同的帧内预测角度，所述方向性帧内预测模式集合包括扩展的方向性帧内预测模式，所述扩展的方向性帧内预测模式仅适用于矩形块；
根据所述选择的方向性帧内预测模式从参考像素集合中为所述预测块的给定预测像素确定参考像素；
根据所述选择的方向性帧内预测模式从滤波器集合中选择滤波器；
将所述选择的滤波器应用于所述确定的参考像素。
11.根据权利要求10所述设备，其特征在于，所述设备用于：
确定与所述选择的方向性帧内预测模式对应的所述帧内预测角度；
根据所述确定的帧内预测角度确定是否应用滤波器于所述确定的参考像素。
12.根据权利要求10所述设备，其特征在于，所述扩展的方向性帧内预测模式包括与帧内预测的锐角有关的模式；或所述扩展的方向性帧内预测模式包括大于66的帧内预测模式。
13.根据权利要求10所述设备，其特征在于，所述滤波器集合包括具有跨1、3或5个相邻参考像素的滤波器长度的滤波器。
14.根据权利要求13所述设备，其特征在于，所述设备用于：
根据所述选择的方向性帧内预测模式确定滤波器长度；
当所述滤波器长度为1时，确定不应用滤波器于所述确定的参考像素；或当所述滤波器长度为3时，确定应用滤波器于所述确定的参考像素。
15.根据权利要求10至12中任一项所述设备，其特征在于，所述设备用于：
为从所述方向性帧内预测模式的第一子集中选择的每个方向性帧内预测模式选择相同的滤波器；
为从所述方向性帧内预测模式的第二子集中选择的每个方向性帧内预测模式选择不同的滤波器。
16.一种计算机存储介质，所述计算机存储介质中存储有计算机程序代码，其特征在于，当所述计算机程序代码在处理器上运行时，使得所述处理器执行如权利要求1-9任一项所述方法。
CN202211595363.5A 2018-06-29 2018-06-29 一种用于帧内预测的设备和方法 Active CN115988202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211595363.5A CN115988202B (zh) 2018-06-29 2018-06-29 一种用于帧内预测的设备和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201880094557.2A CN112262574A (zh) 2018-06-29 2018-06-29 一种用于帧内预测的设备和方法
PCT/RU2018/000432 WO2020005093A1 (en) 2018-06-29 2018-06-29 Device and method for intra-prediction
CN202211595363.5A CN115988202B (zh) 2018-06-29 2018-06-29 一种用于帧内预测的设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880094557.2A Division CN112262574A (zh) 2018-06-29 2018-06-29 一种用于帧内预测的设备和方法

Publications (2)

Publication Number Publication Date
CN115988202A CN115988202A (zh) 2023-04-18
CN115988202B true CN115988202B (zh) 2023-11-03

Family

ID=63080454

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211595363.5A Active CN115988202B (zh) 2018-06-29 2018-06-29 一种用于帧内预测的设备和方法
CN201880094557.2A Pending CN112262574A (zh) 2018-06-29 2018-06-29 一种用于帧内预测的设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880094557.2A Pending CN112262574A (zh) 2018-06-29 2018-06-29 一种用于帧内预测的设备和方法

Country Status (12)

Country Link
US (2) US11563939B2 (zh)
EP (1) EP3804313A1 (zh)
JP (2) JP7293263B2 (zh)
KR (2) KR20230127354A (zh)
CN (2) CN115988202B (zh)
AU (2) AU2018429284B2 (zh)
BR (1) BR112020026879A2 (zh)
CA (1) CA3104611C (zh)
MX (1) MX2021000168A (zh)
NZ (1) NZ771864A (zh)
SG (1) SG11202012838SA (zh)
WO (1) WO2020005093A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107257465B (zh) * 2010-12-08 2020-08-04 Lg 电子株式会社 由编码装置和解码装置执行的内预测方法及可读存储介质
US20240275959A1 (en) * 2023-02-10 2024-08-15 Tencent America LLC Self-guided intra interpolation filter

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102550026A (zh) * 2009-10-05 2012-07-04 汤姆森特许公司 视频编码和解码中色度分量的预测像素的自适应滤波的方法和装置
WO2013125171A1 (ja) * 2012-02-20 2013-08-29 日本電気株式会社 イントラ予測モード判定装置、方法、プログラム記憶媒体
WO2018067714A1 (en) * 2016-10-04 2018-04-12 Qualcomm Incorporated Variable number of intra modes for video coding
CN108028923A (zh) * 2015-09-10 2018-05-11 Lg电子株式会社 视频编码系统中的帧内预测方法和设备
CN108028931A (zh) * 2015-09-06 2018-05-11 联发科技股份有限公司 用于视频编解码的自适应帧间预测的方法及装置
EP3334067A1 (en) * 2016-12-12 2018-06-13 Alcatel Lucent Synchronization device and system for communication networks

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10142630B2 (en) * 2010-12-10 2018-11-27 Texas Instruments Incorporated Mode adaptive intra prediction smoothing in video coding
CN102857764B (zh) 2011-07-01 2016-03-09 华为技术有限公司 帧内预测模式处理的方法和装置
JP2013110502A (ja) * 2011-11-18 2013-06-06 Sony Corp 画像処理装置及び画像処理方法
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
KR20150090057A (ko) * 2012-10-08 2015-08-05 엘지전자 주식회사 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
WO2015045272A1 (ja) * 2013-09-30 2015-04-02 日本電気株式会社 イントラ予測回路
KR20180105128A (ko) 2016-02-03 2018-09-27 삼성전자주식회사 이동 통신 시스템에서 기준 신호 설정 및 채널 정보 생성을 위한 방법 및 장치
RU2018132266A (ru) 2016-02-12 2020-03-12 Томсон, Лайсенсинг Способ и устройство для кодирования/декодирования с интра-предсказанием блока кодирования, содержащего данные изображения, упомянутое кодирование с интра-предсказанием зависит от дерева предсказания и дерева преобразования
KR102028015B1 (ko) 2016-05-02 2019-10-02 한양대학교 산학협력단 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 장치
CN116708774A (zh) * 2016-07-18 2023-09-05 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
EP3910954A1 (en) 2016-08-26 2021-11-17 SHARP Kabushiki Kaisha Image decoding apparatus, image coding apparatus
KR102634837B1 (ko) 2016-12-23 2024-02-06 후아웨이 테크놀러지 컴퍼니 리미티드 지향성 인트라 예측 모드의 세트 내에서 확장 지향성 인트라 예측 모드를 시그널링하는 인코딩 장치
US10992939B2 (en) * 2017-10-23 2021-04-27 Google Llc Directional intra-prediction coding
JP6886528B2 (ja) 2017-05-31 2021-06-16 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおけるイントラ予測による映像のデコーディング方法及び装置
US10757420B2 (en) * 2017-06-23 2020-08-25 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
EP3688992A1 (en) * 2017-09-28 2020-08-05 Vid Scale, Inc. Complexity reduction of overlapped block motion compensation
US11284108B2 (en) 2017-10-24 2022-03-22 Wilus Institute Of Standards And Technology Inc. Video signal processing method and apparatus
CN118200536A (zh) * 2018-01-15 2024-06-14 有限公司B1影像技术研究所 图像编码/解码方法、存储介质和传输比特流的方法
PE20211000A1 (es) 2018-03-25 2021-06-01 Institute Of Image Tech Inc Metodo y dispositivo de codificacion/decodificacion de imagen
CN111937395B (zh) 2018-04-01 2024-05-17 有限公司B1影像技术研究所 用于编码/解码图像的方法和装置
US11153563B2 (en) * 2019-03-12 2021-10-19 Qualcomm Incorporated Combined in-loop filters for video coding
US11153598B2 (en) * 2019-06-04 2021-10-19 Tencent America LLC Method and apparatus for video coding using a subblock-based affine motion model

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102550026A (zh) * 2009-10-05 2012-07-04 汤姆森特许公司 视频编码和解码中色度分量的预测像素的自适应滤波的方法和装置
WO2013125171A1 (ja) * 2012-02-20 2013-08-29 日本電気株式会社 イントラ予測モード判定装置、方法、プログラム記憶媒体
CN108028931A (zh) * 2015-09-06 2018-05-11 联发科技股份有限公司 用于视频编解码的自适应帧间预测的方法及装置
CN108028923A (zh) * 2015-09-10 2018-05-11 Lg电子株式会社 视频编码系统中的帧内预测方法和设备
WO2018067714A1 (en) * 2016-10-04 2018-04-12 Qualcomm Incorporated Variable number of intra modes for video coding
EP3334067A1 (en) * 2016-12-12 2018-06-13 Alcatel Lucent Synchronization device and system for communication networks

Also Published As

Publication number Publication date
CN112262574A (zh) 2021-01-22
MX2021000168A (es) 2021-03-25
AU2018429284B2 (en) 2023-01-19
AU2018429284A1 (en) 2021-01-21
JP2021528919A (ja) 2021-10-21
US20210120241A1 (en) 2021-04-22
CA3104611C (en) 2023-12-19
BR112020026879A2 (pt) 2021-04-06
NZ771864A (en) 2022-12-23
US20230124833A1 (en) 2023-04-20
AU2023201715A1 (en) 2023-04-20
KR20230127354A (ko) 2023-08-31
KR20210015963A (ko) 2021-02-10
JP2023073286A (ja) 2023-05-25
US11563939B2 (en) 2023-01-24
SG11202012838SA (en) 2021-01-28
EP3804313A1 (en) 2021-04-14
WO2020005093A1 (en) 2020-01-02
JP7293263B2 (ja) 2023-06-19
CN115988202A (zh) 2023-04-18
CA3104611A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
CN111819852B (zh) 用于变换域中残差符号预测的方法及装置
JP2022179505A (ja) ビデオ復号方法およびビデオデコーダ
EP3741127A1 (en) Loop filter apparatus and method for video coding
US11206398B2 (en) Device and method for intra-prediction of a prediction block of a video image
US20230124833A1 (en) Device and method for intra-prediction
JP7087101B2 (ja) 効率的なデブロッキングを実行するための画像処理デバイス及び方法
CN114125444B (zh) 面向图像滤波的编解码方法和装置
JP7293460B2 (ja) 効率的なデブロッキングを実行するための画像処理デバイス及び方法
US11259054B2 (en) In-loop deblocking filter apparatus and method for video coding
CN118646900A (zh) 编解码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant