CN103688533B - 可减少行存储器的色度帧内预测方法及装置 - Google Patents

Abstract

本发明揭露一种用于当前色度块的可减少行存储器需求的色度帧内预测方法及装置。色度帧内预测子可利用具有多个参数的模型从当前亮度块的重建亮度像素中推导出来。在依据本发明的多个实施例中，所述多个参数的推导依赖于来自当前亮度块的因果亮度相邻区域的对应于相邻重建亮度像素的重建亮度像素集合，所述因果亮度相邻区域包含对应于当前亮度块上方的水平亮度块边界之上的重建亮度像素的第一区域，而包含于所述重建亮度像素集合中的来自所述第一区域的重建亮度像素则来自于紧邻所述水平亮度块边界之上的亮度像素行。

Description

可减少行存储器的色度帧内预测方法及装置

相关申请的交叉引用

本申请要求如下申请的优先权：序列号为61/498,969、2011年6月20日提交的、名称为“ReducingLineBufferforIntraCodingofChromawithReconstructedLumaPixels”的美国临时专利申请。上述美国临时专利申请的全部内容在此一并作为参考。

技术领域

本发明有关于视频编码，且特别地，本发明有关于与可减少行存储器(linememory)需求的基于重建亮度像素的色度帧内预测相关的编码技术。

背景技术

运动补偿帧间(inter-frame)编码被各种编码标准广泛采用，例如MPEG-1/2/4以及H.261/H.263/H.264/AVC。虽然运动补偿帧间编码能够有效降低压缩视频的比特率，但仍需要帧内编码(intracoding)来压缩具有高速运动或高速场景变换(highmotionsorscenechanges)的区域。除此之外，帧内编码也被用于处理原始图像或周期性地插入I图像(I-picture)或I块(I-block)以用于随机存取或减缓误差传播。帧内预测是利用图像内或者区域内的空间相关来进行的。在实际应用中，图像或区域可被分为多个块(block)，而帧内预测可基于块来执行。当前块的帧内预测可依赖于已经处理过的相邻块的像素进行。举例来说，若图像或者图像区域中的块是按照从上到下、从左到右逐行处理的，当前块上方的相邻块和当前块左侧的相邻块可被用于形成当前块中像素的预测子(predictor)。虽然处理过的相邻块中的任何像素都可以用于当前块中像素的帧内预测，单通常只有相邻块中紧邻当前块的上方和左侧边界(thecurrentblockboundariesonthetopandontheleft)的像素被使用。

帧内预测子通常被设计成利用图像中的空间特性，例如平滑区(DC模式)、垂线或边界(verticallineoredge)、水平线或边界(horizontalline)、以及对角线或边界(diagonallineoredge)。进一步来说，在亮度(luminance(luma))及色度(chrominance(chroma))分量中通常都会存在空间相关(spatialcorrelation)。因此，帧内亮度预测模式可被用来作为帧内色度预测模式的候选项。在当前的高效视频编码(HighEfficiencyVideoCoding，以下简称HEVC)的开发中，考虑到亮度与色度分量之间的关联，2011年1月20-28日在韩国大邱召开的ITU-TSG16WP3及ISO/IECJTC1/SC29/WG11视频编码联合组第4次会议上，Chen等人在号码为JCTVC-D350的文件“CE6.a:Chromaintrapredictionbyreconstructedlumasamples”(“CE6.a:Chromaintrapredictionbyreconstructedlumasamples”,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,4thMeeting:Daegu,KR,20-28January,2011,Document:JCTVC-D350)中提出了一种色度帧内预测方法。依照Chen等人的方法，重建的亮度块可用来作为同位(co-located)色度块的预测子。所述色度帧内预测类型被称为LM预测(LMprediction)。

依据LM预测，色度值可依据下述模型从相同块的重建亮度值中预测得出：

Pred_C[x,y]＝α·Rec_L'[x,y]+β，其中x＝0,…(N-1)，y＝0,…(N-1)(1)

其中Pred_C[x,y]代表色度采样在色度块中[x,y]位置的预测子，Rec_L'[x,y]代表亮度采样在对应亮度块中[x,y]位置的预测子，以及N代表被预测的色度块的水平分辨率(即，垂直分辨率)。参数α和β是从当前块周围的因果重建采样(causalreconstructedsamples)推导出的。由于亮度分量通常具有比色度分量更高的分辨率，因此重建的亮度分量需要进行抽取(decimated)以匹配色度分量的分辨率。举例来说，对于4:2:0采样格式来说，U和V分量可在垂直及水平方向具有亮度分量一半数量的像素。因此，可在重建亮度采样Rec_L[x,y]上应用垂直和水平方向上的2:1分辨率降低以推导Rec_L'[x,y]。所述分辨率的降低可利用降采样处理(downsamplingprocess)或子采样(subsamplingprocess)处理来实施。

所述降采样处理涉及到在降采样(在本领域也称为子采样-subsampling)前通过应用适当的低通滤波来进行信号抽取以降低或避免可能的信号混叠(signalaliasing)。另一方面，所述子采样处理则直接进行降采样而无需前面的滤波。在本发明叙述中，无论降采样处理还是子采样处理都被称为抽取处理(decimationprocess)。虽然子采样处理可能会导致信号混叠(signalaliasing)，但由于简单的缘故，其仍被用于某些信号处理系统中。对于利用LM模式的色度帧内预测来说，Chen等人在水平方向应用了子采样处理，而在垂直方向上应用了降采样处理，其中垂直的降采样处理执行如下：

Rec_L'[x,y]＝(Rec_L[2x,2y]+Rec_L[2x,2y+1])＞＞1，

x＝-1,...,(N-1)，y＝-1,…,(N-1)(2)

其中N代表被预测的色度块以及分辨率降低的(即，被抽取的)亮度块的水平分辨率(即，垂直分辨率)。。

参数α和β是从当前色度块周围的因果重建色度像素(causalreconstructedchromapixels)推导出的，所述当前色度块周围的因果重建色度像素如图1所示。当前色度块110上方112和当前块左侧114的因果重建色度像素，以及当前亮度块120的上方130和左侧140的被抽取的重建亮度采样分别如图1A和图1B所示。图1A和图1B中黑点所代表的因果相邻像素可用于依照下述公式推导参数α和β：

$\mathrm{\α}=\frac{I\·\underset{i=0}{\overset{I-1}{\Σ}}{\mathrm{Rec}}_C\left(i\right)\·{{\mathrm{Rec}}_L}^{\′}\left(i\right)-\underset{i=0}{\overset{I-1}{\Σ}}{\mathrm{Rec}}_C\left(i\right)\·\underset{i=0}{\overset{I-1}{\Σ}}{{\mathrm{Rec}}_L}^{\′}\left(i\right)}{I\·\underset{i=0}{\overset{I-1}{\Σ}}{{\mathrm{Rec}}_L}^{\′}\left(i\right)\·{{\mathrm{Rec}}_L}^{\′}\left(i\right)-{\left(\underset{i=0}{\overset{I-1}{\Σ}}{{\mathrm{Rec}}_L}^{\′}\left(i\right)\right)}^2}=\frac{A_1}{A_2}---\left(3\right)$

$\mathrm{\β}=\frac{\underset{i=0}{\overset{I-1}{\Σ}}{\mathrm{Rec}}_C\left(i\right)-\mathrm{\α}\·\underset{i=0}{\overset{I-1}{\Σ}}{{\mathrm{Rec}}_L}^{\′}\left(i\right)}{I}---\left(4\right)$

其中Rec_C(i)和Rec_L'(i)分别代表色度块110周围的色度采样和亮度块120周围的被抽取的亮度采样，I则代表相邻数据(neighboringdata)的总数。举例来说，如图1A和图1B所示，其中色度块的尺寸为N×N，而亮度块的尺寸为2N×2N，则总共涉及的采样数I为2N。当左侧或上方的因果采样不可用时，可以填充采样(paddingsample)来替代。

如公式(2)所示，每一个Rec_L'[x,y]采样的计算都需要两个重建亮度采样。在硬件的实施中，当亮度块120恰好在最大编码单元(LargestCodingUnit，以下简称LCU)之下时，为了得到用于色度帧内预测的参数α和β，需要两个行缓冲器(linebuffer)来存储当前块120上方的重建亮度行132和134。上述用于存储重建亮度行132和134的行缓冲器的尺寸(size)正比于图像的宽度。对于大图像而言，用于推导参数α和β的行缓冲器的尺寸可能会很大(substantial)。而对大尺寸的行缓冲器的需求将会导致系统硬件开销增加，特别是片上(on-chip)行缓冲器的实施，例如静态随机存取存储器(StaticRandomAccessMemory，以下简称SRAM)。因此，需要开发能够减少行缓冲器的色度帧内预测方法及装置。而由于存储推导参数α和β的当前块左侧的重建亮度采样所需的存储器(即，对应于这些采样的片上列存储器(columnbuffer))的尺寸小，因此其将不成问题(notanissue)。在当前块被帧内编码之后，推导后续块的参数α和β将不再需要当前块左侧的重建亮度采样。

发明内容

本发明揭露一种用于当前色度块的色度帧内预测方法及装置。色度帧内预测子可利用具有多个参数的模型从当前亮度块的重建亮度像素中推导出来。在依据本发明的一个实施例中，所述用于色度帧内预测的方法包含接收对应于当前亮度块的因果亮度相邻区域中的相邻重建亮度像素的重建亮度像素集合，其中所述因果亮度相邻区域包含对应于当前亮度块上方的水平亮度块边界之上的重建亮度像素的第一区域，而包含于所述重建亮度像素集合中的来自所述第一区域的重建亮度像素则来自于紧邻所述水平亮度块边界之上的亮度像素行。所述水平亮度块边界可以是最大编码单元边界或预测单元边界。最大编码单元边界意味着所述第一区域位于包含当前块的最大编码单元之上的最大编码单元中。预测单元边界则意味着所述第一区域位于当前预测单元之上的预测单元，且这些预测单元可以位于相同最大编码单元或不同最大编码单元。所述方法进一步包含接收对应于当前色度块的因果色度相邻区域中的相邻重建色度像素的重建色度像素集合。依据所述重建亮度像素集合与重建色度像素集合，所述参数可被推导出来。利用具有推导的参数的模型，并基于当前亮度块的重建亮度像素，推导的参数随后被使用以生成用于当前色度块中被预测的色度像素的色度帧内预测子。

所述第一区域中的重建亮度像素在水平方向上进行分辨率降低，以匹配当前色度块中被预测的色度像素的水平分辨率，且所述第一区域中的重建亮度像素是利用降采样处理或子采样处理来进行M:1的水平分辨率降低，其中M为被预测的色度像素的水平分辨率与重建亮度像素的水平分辨率之比。所述因果亮度相邻区域还包含第二区域，而所述第二区域对应于与当前亮度块左侧的垂直亮度块边界相邻的重建亮度像素，其中包含于所述重建亮度像素集合中的来自第二区域的重建亮度像素位于与垂直亮度块边界左侧相邻的M亮度像素列，且M为重建亮度像素的水平分辨率与被预测的色度像素的水平分辨率之比。所述第二区域中的重建亮度像素是利用降采样处理或子采样处理来进行R:1的垂直分辨率降低，其中R为重建亮度像素的垂直分辨率与被预测的色度像素的垂直分辨率之比。

附图说明

图1A是用于基于重建亮度像素来推导用于色度帧内预测的参数的相邻色度像素配置范例的示意图。

图1B是依据现有技术的用于基于重建亮度像素来推导用于色度帧内预测的参数的相邻亮度像素配置范例的示意图。

图2是依据本发明实施例的用于基于重建亮度像素来推导用于色度帧内预测的参数的相邻亮度像素配置范例的示意图，其中当前块上方的水平边界对应于最大编码单元边界。

图3是依据本发明实施例的用于基于重建亮度像素来推导用于色度帧内预测的参数的相邻亮度像素配置范例的示意图，其中当前块上方的水平边界对应于预测单元边界。

具体实施方式

如前文所述，利用LM模式的色度帧内预测的传统方法需要两个行缓冲器(linebuffer)来存储重建亮度采样，以推导参数α和β。利用具有参数α和β的线性模型，并基于同位(co-located)亮度块的对应重建亮度采用，参数α和β随后被使用于生成色度帧内预测子。依据所述传统的色度帧内预测，所述参数α和β的推导依赖于两个行缓冲器来存储当前块上方的采样。然而，依据本发明的实施例则可以将用于推导参数α和β所需的缓冲器减少至一个行缓冲器。

所述参数α和β的推导依赖于当前块周围的因果相邻像素(causalneighboringpixel)。因果相邻区域(causalneighboringarea)可包含对应于所述块上方的水平边界之上的像素的区域，也可包含对应于与所述块左侧的垂直边界相邻的像素或者所述块上方的水平边界之下的像素的另一区域。如图2所示，在本发明的一个实施例中，若所述块上方的块边界242对应于最大编码单元(LargestCodingUnit，以下简称LCU)边界时，参数α和β的推导仅仅依赖于块边界242之上的一个重建亮度像素行。虽然上述参数α和β的推导是用于块，但是色度帧内预测子也可以在所述块的子块(sub-block)上进行。依据HEVC标准，LCU和预测单元(PredictionUnit，以下简称PU)是用于处理像素数据的不同块结构。如图2所示，依据本发明，重建的被抽取亮度值(reconstructeddecimatedlumavalue)Rec_L'[x,y]是从重建亮度像素行230中推导出来的。

由于水平LCU边界242之上的区域中只有一个重建亮度像素行230被使用，因此不需要及进行垂直的子采样处理(sub-samplingprocess)或降采样处理(down-samplingprocess)。在水平方向上，分辨率降低被执行以产生与被预测的色度采样的分辨率匹配的抽取的亮度采样，从而。在图2所示的范例中，像素行230被执行2:1的水平抽取(horizontaldecimation)。所述分辨率的降低可基于子采样处理或降采样处理来执行。图2所示的是一个水平子采样处理范例，其中：

Rec_L'[x,y]＝Rec_L[2x,2y+1]x＝0,…,(N-1)，且y＝-1(5)

其中N代表被预测的色度块与分辨率降低的(即，被抽取的)亮度块的水平分辨率(即，垂直分辨率)。

如图3所示，在本发明的一个实施例中，若块120上方的块边界342对应于PU边界时，参数α和β的推导仅仅依赖于块边界342之上的一个重建亮度像素行。紧邻取代了水平LCU边界的水平PU边界342的像素行330被用于推导参数α和β，以产生用于块的色度帧内预测子。类似于LCU边界的状况，本实施例也无需垂直的子采样处理或降采样处理。在水平方向上，分辨率降低被执行以产生与被预测的色度采样的分辨率匹配的抽取的亮度采样。在图3所示的范例中，像素行330被执行2:1的水平抽取。所述分辨率的降低可基于子采样处理或降采样处理来执行。图3所示的水平子采样处理可依据公式(5)进行。

虽然图2和图3中的实施例使用了水平子采样处理，然而，依据本发明的其他实施例也可以使用水平降采样处理，以推导出水平LCU或PU边界之上的像素行的抽取的重建亮度采样。举例来说，滤波抽头为[1/4,1/2,1/4]的低通滤波可被使用，如下所示：

Rec_L'[x,y]＝(Rec_L[2x-1,2y+1]+2*Rec_L[2x,2y+1]+Rec_L[2x+1,2y+1])＞＞2

x＝0,…,(N-1)，且y＝-1(6)在数字信号处理领域中，公式(6)所示的滤波类型也被称为有限冲激响应(FiniteImpulseResponse，以下简称FIR)滤波。虽然此处是以滤波抽头为[1/4,1/2,1/4]的低通滤波为例说明，但是其他低通滤波也可以用于水平降采样。

在图1中，紧邻与当前块120左侧的重建亮度像素列(column)140被用于推导参数α和β。图2和图3中依据本发明的实施例也可以采用与所述传统方法类似的抽取处理。在图2中，紧邻垂直LCU边界244的重建亮度像素列240被用于推导参数α和β。类似地，在图3中，紧邻垂直PU边界344的重建亮度像素列340被用于推导参数α和β。在图2和图3中，子采样处理被用于在水平方向上实现2:1的抽取，然而，降采样处理也可被用于像素列240和241或者340和341的水平抽取，所述像素列可被用于推导参数α和β。另一方面，虽然如图2和图3所示，降采样处理可被用于垂直抽取，然而，子采样处理也可被用于垂直抽取。

以上描述是为了使本领域的技术人员能够以上文中的特定实施方式及其需求来实现本发明。然而，本领域的技术人员应可对其进行各种变型与修饰，而本发明的基本精神也可以应用至其他实施例中。因此，本发明并非以所述特定实施例为限，而应以符合本发明宗旨及新特征的最广的范围为界。在上述详细描述中，阐述各种特定细节是为了便于对本发明有全面的了解，然而，本领域的技术人员应可理解，本发明也可在不限定这些具体细节中的一部分或者全部的情况下得以实施。

整合了上述根据本发明的帧内色度预测模式编码或解码的视频系统可以不同硬件、软件代码、或两者的结合来实施。举例来说，依据本发明的一实施例，其可以是用来实施所述方法的、整合至视频压缩芯片中的电路或整合至视频压缩软件中的程序代码。依据本发明的另一实施例，其也可以是数字信号处理器(DigitalSignalProcessor，DSP)上执行的、用来实施所述方法的程序代码。本发明亦可包含由计算机处理器、DSP、微处理器、或现场可编程门阵列(FieldProgrammableGateArray，FPGA)执行的一系列功能。依据本发明，通过执行定义了本发明实施例特定方法的机器可读软件代码或固件代码，这些处理器可被设置为执行特定的任务。所述软件代码或固件代码可通过不同的编程语言及不同格式或样式来开发。所述软件代码亦可符合不同的目标平台。然而，执行与本发明相应的任务的、具有不同代码格式、样式及语言的软件代码，以及其他方式形成的代码都应包含在本发明的范围内。

在不脱离本发明的精神及基本特征的前提下，本发明亦可以其他特定形式来实施。以上所述的实施例仅仅是为了例示本发明，并非本发明的限制。本发明的范围当所附的权利要求而非以上述描述为准，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (16)

1.一种用于当前色度块的色度帧内预测方法，其中色度帧内预测子是利用具有多个参数的模型从当前亮度块的重建亮度像素中推导出来，该方法包含：

接收对应于该当前亮度块的因果亮度相邻区域中的相邻重建亮度像素的重建亮度像素集合，其中该因果亮度相邻区域包含对应于该当前亮度块上方的水平亮度块边界之上的重建亮度像素的第一区域，且包含于该重建亮度像素集合中的该第一区域中的该重建亮度像素来自于紧邻该水平亮度块边界之上的亮度像素行；

接收对应于该当前色度块的因果色度相邻区域中的相邻重建色度像素的重建色度像素集合；

基于该重建亮度像素集合与该重建色度像素集合推导该多个参数；以及

利用具有推导出的该多个参数的该模型，并基于该当前亮度块的该重建亮度像素，生成该当前色度块中被预测的色度像素的该色度帧内预测子。

2.如权利要求1所述的用于当前色度块的色度帧内预测方法，其特征在于，当该当前色度块的水平分辨率与该当前亮度块的水平分辨率不同时，该第一区域中的该重建亮度像素被执行水平分辨率降低，以匹配该当前色度块中被预测的该色度像素的水平分辨率。

3.如权利要求2所述的用于当前色度块的色度帧内预测方法，其特征在于，该第一区域中的该重建亮度像素被利用降采样处理或子采样处理来执行M:1的水平分辨率降低，其中M是该重建亮度像素与被预测的该色度像素的水平分辨率之比。

4.如权利要求3所述的用于当前色度块的色度帧内预测方法，其特征在于，3抽头的有限冲激响应滤波被用于该降采样处理。

5.如权利要求4所述的用于当前色度块的色度帧内预测方法，其特征在于，该3抽头的有限冲激响应滤波使用的系数对应于1、2和1。

6.如权利要求1所述的用于当前色度块的色度帧内预测方法，其特征在于，该因果亮度相邻区域还包含第二区域，该第二区域对应于与该当前亮度块左侧的垂直亮度块边界相邻的重建亮度像素，其中包含于该重建亮度像素集合中的该第二区域中的该重建亮度像素位于与该垂直亮度块边界左侧相邻的M个亮度像素列，且M为该重建亮度像素与被预测的该色度像素的水平分辨率之比。

7.如权利要求6所述的用于当前色度块的色度帧内预测方法，其特征在于，该第二区域中的该重建亮度像素被利用降采样处理或子采样处理来执行M:1的水平分辨率降低。

8.如权利要求6所述的用于当前色度块的色度帧内预测方法，其特征在于，该第二区域中的该重建亮度像素被利用降采样处理或子采样处理来执行R:1的垂直分辨率降低，其中R是该重建亮度像素与被预测的该色度像素的垂直分辨率之比。

9.一种用于当前色度块的色度帧内预测装置，其中色度帧内预测子是利用具有多个参数的模型从当前亮度块的重建亮度像素中推导出来，该装置包含：

第一接收模块，用于接收对应于该当前亮度块的因果亮度相邻区域中的相邻重建亮度像素的重建亮度像素集合，其中该因果亮度相邻区域包含对应于该当前亮度块上方的水平亮度块边界之上的重建亮度像素的第一区域，且包含于该重建亮度像素集合中的该第一区域中的该重建亮度像素来自于紧邻该水平亮度块边界之上的亮度像素行；

第二接收模块，用于接收对应于该当前色度块的因果色度相邻区域中的相邻重建色度像素的重建色度像素集合；

推导模块，用于基于该重建亮度像素集合与该重建色度像素集合推导该多个参数；以及

预测子产生模块，用于利用具有推导出的该多个参数的该模型，并基于该当前亮度块的该重建亮度像素，生成该当前色度块中被预测的色度像素的该色度帧内预测子。

10.如权利要求9所述的用于当前色度块的色度帧内预测装置，其特征在于，当该当前色度块的水平分辨率与该当前亮度块的水平分辨率不同时，该第一区域中的该重建亮度像素被执行水平分辨率降低，以匹配该当前色度块中被预测的该色度像素的水平分辨率。

11.如权利要求10所述的用于当前色度块的色度帧内预测装置，其特征在于，该第一区域中的该重建亮度像素被利用降采样处理或子采样处理来执行M:1的水平分辨率降低，其中M是该重建亮度像素与被预测的该色度像素的水平分辨率之比。

12.如权利要求11所述的用于当前色度块的色度帧内预测装置，其特征在于，3抽头的有限冲激响应滤波被用于该降采样处理。

13.如权利要求12所述的用于当前色度块的色度帧内预测装置，其特征在于，该3抽头的有限冲激响应滤波使用的系数对应于1、2和1。

14.如权利要求9所述的用于当前色度块的色度帧内预测装置，其特征在于，该因果亮度相邻区域还包含第二区域，该第二区域对应于与该当前亮度块左侧的垂直亮度块边界相邻的重建亮度像素，其中包含于该重建亮度像素集合中的该第二区域中的该重建亮度像素位于与该垂直亮度块边界左侧相邻的M个亮度像素列，且M为该重建亮度像素与被预测的该色度像素的水平分辨率之比。

15.如权利要求14所述的用于当前色度块的色度帧内预测装置，其特征在于，该第二区域中的该重建亮度像素被利用降采样处理或子采样处理来执行M:1的水平分辨率降低。

16.如权利要求14所述的用于当前色度块的色度帧内预测装置，其特征在于，该第二区域中的该重建亮度像素被利用降采样处理或子采样处理来执行R:1的垂直分辨率降低，其中R是该重建亮度像素与被预测的该色度像素的垂直分辨率之比。