CN107071485B - 具有样本自适应偏移处理的视频编码方法及装置 - Google Patents

Abstract

本发明揭露了具有样本自适应偏移处理的视频编码方法及装置，其中，具有样本自适应偏移处理的视频编码方法，用于重建视频，所述方法包括：接收重建视频数据；以及将所述样本自适应偏移处理应用到所述重建视频数据的多个区域，其中，每个区域是根据样本自适应偏移类型以及偏移值来处理；以及根据所述样本自适应偏移处理的重建视频数据进行编码或解码；其中，所述样本自适应偏移类型包括带偏移类型以及边偏移类型，且每个区域中采用所述带偏移类型处理所用到的偏移植的数量与采用所述边偏移类型处理所用到的偏移值的数量是相同的。本发明揭露的具有样本自适应偏移处理的视频编码方法及装置可提高样本自适应偏移处理的性能。

Description

具有样本自适应偏移处理的视频编码方法及装置

交叉引用

本发明要求如下优先权：编号为61/477,689，申请日为2011年4月21日，名称为“Improved Sample Adaptive Offset”的美国临时专利申请；编号为61/547,281，申请日为2011年10月14日，名称为“Low Latency Loop Filtering”的美国临时专利申请；编号为61/595,900，申请日为2012年2月17日，名称为“Improved Sample Adaptive Offset”的美国临时专利申请；编号为61/595,914，申请日为2012年2月7日，名称为“Improved LCU-basedEncoding Algorithm of ALF”的美国临时专利申请；编号为61/597,995，申请日为2012年2月13日，名称为“Improved ALF and SAO”的美国临时专利申请；编号为61/600,028，申请日为2012年2月17日，名称为“LCU-based Syntax for SAO and ALF”的美国临时专利申请。美国临时专利申请通过引用在此结合为整体。

技术领域

本发明有关于视频编码系统。特别地，本发明有关于用于改进环内处理(in-loopprocessing)的方法与装置，上述改进环内处理可例如样本自适应偏移(Sample AdaptiveOffset,SAO)与自适应环路滤波(Adaptive Loop Filter,ALF)。

背景技术

运动估计(motion estimation)是利用视频序列中时间冗余(temporalredundancy)的一种有效帧间编码技术。运动补偿帧间编码(motion compensated inter-frame coding)已经广泛应用于各种国际视频编码标准。在各种编码标准中采用的运动估计是经常以区块为基础的技术，其中为每个宏块(macroblock)或相似区块配置确定例如编码模式与运动矢量的运动信息。此外，也可自适应地采用帧内编码(intra-coding)，其中在无需参考任何其他图像的情况下处理图像。通常可进一步由变换(transformation)、量化(quantization)以及熵编码(entropy coding)处理帧间预测与帧内预测残差(residue)以生成压缩视频比特流。在编码进程期间，尤其是在量化进程中可引入编码伪影(codingartifact)。为了减缓编码伪影，在较新的编码系统中已经对重建视频采用附加处理以提高图像品质。经常在内环操作中配置上述附加处理从而使得编码器与解码器可取得相同的参考图像以获取改进的系统性能。

图1A描述包含环内处理的示例自适应帧内/帧间视频编码系统。对于帧间预测，可使用运动估计(Motion Estimation,ME)与运动补偿(Motion Compensation,MC)模块112基于其他图像的视频数据提供预测数据。开关114选择帧内预测110或帧间预测数据并且将选择的预测数据提供至加法器116以产生预测误差(prediction error)，也称为残差。然后变换(T)模块118处理预测误差，接着量化(Q)模块120处理预测误差。接着，熵编码器122编码已变换及量化的残差从而形成对应压缩视频数据的视频比特流。然后，将边信息(sideinformation)加入与已变换系数相关联的比特流，其中上述边信息可为例如与图像区域相关联的运动、模式及其他信息。上述边信息也可进行熵编码以减少需求带宽。相应地如图1所示将与边信息相关联的数据提供给熵编码器122。当使用帧间预测模式时，在编码器端必须重建一个或多个参考图像。因此，逆量化(Inverse Quantization,IQ)模块124与逆变换(Inverse Transformation,IT)模块126处理已变换及已量化残差以恢复残差。接着在重建(REC)模块128将上述残差叠加至预测数据136以重建视频数据。可将上述重建视频数据储存至参考图像缓冲器134中并且将上述重建视频数据用于其他帧的预测。

如图1A所示，接收的视频数据在解码系统中经过一系列处理。由于上述一系列处理，来自REC 128的重建视频数据可经受各种损害。相应地，在将重建数据储存入参考图像缓冲器134之前对上述重建视频数据采用各种环内处理从而改善视频品质。在当前发展的高效率视频编码(High Efficiency Video Coding,HEVC)标准中，已经发展了去块滤波器(Deblocking Filter,DF)130、样本自适应偏移(SAO)131与自适应环路滤波器(ALF)132以提高图像品质。环内滤波器信息必须并入比特流从而使得解码器可正确地恢复所需信息。因此，将来自SAO与ALF的环内滤波器信息提供至熵编码器122以并入比特流。在图1A中，首先对重建视频应用DF 130；接着将SAO 131应用于DF已处理视频；然后将ALF 132应用于SAO已处理视频。然而，可重新调整DF、SAO、ALF的处理顺序。

图1B显示图1A中编码器的对应解码器。熵解码器142解码视频比特流以恢复已变换与已量化残差、SAO/ALF信息与其他系统信息。在解码器端，仅执行运动补偿(MC)113来代替ME/MC。解码进程与在编码器端的重建环路相似。使用已恢复变换与量化残差、SAO/ALF信息与其他系统信息来重建视频数据。DF 130、SAO 131、ALF 132可进一步处理重建视频以产生最终改进的解码视频。

HEVC已经采用ALF作为非去块环内滤波器(non-deblocking in-loop filter)以提高编码性能。在HEVC测试模型版本5.0中，描述了基于图像的ALF编码算法。然而由于为了更有效使用内存、更小内存带宽或更低的硬件成本，经常为视频解码器与编码器设置使用基于最大编码单元(Largest Coding Unit,LCU)的编码方案或者基于LCU的管线进程。因此，基于LCU的ALF是优选的方法。然而，进一步提高ALF处理性能是令人满意的。

SAO是HEVC采用的另一环内处理以提高图像品质。SAO包含两个方法。一个是带偏移(Band Offset,BO)，以及另一个是边偏移(Edge Offset,EO)。使用BO以根据像素强度(pixel intensity)将像素归类至多个频带并且对每个频带的像素应用偏移。使用EO以根据与相邻像素的相关性将像素归类至多个类别并且将对每个类别的像素应用偏移。在HM-5.0中，区域(region)可选择7个不同的SAO类型：2个BO组(外组与内组)、4个EO定向类型(0°、90°、135°与45°)与非处理(OFF)。而且，可使用四叉树划分方法进一步将图像分为多个区域或分为最大编码单元(LCU)区域，并且每个区域具有其自身的SAO类型与偏移值。通过改善SAO参数发讯以进一步提高SAO处理性能是令人满意的。

发明内容

有鉴于此，本发明揭露一种具有重建视频环内处理的视频解码方法与装置，根据本发明一个实施例，该方法包含：从视频比特流恢复重建视频数据；从该视频比特流接收旗标；根据该旗标从两个或多个编码区块共享的该视频比特流的数据负载中或者从该视频比特流的单独编码区块中接收环内滤波器参数相关信息；以及将该环内处理应用于该重建视频的编码区块。该环内处理可对应自适应环路滤波(ALF)或样本自适应偏移(SAO)。该编码区块可对应一个编码单元(CU)、多个CU、一个最大编码单元(LCU)或多个LCU。该视频比特流中的该数据负载处于图像层、自适应参数集合(APS)或条带头中。在本发明一实施例中，该旗标是交叉旗标，其中使用该交叉旗标选择与该环内滤波器参数相关联的该信息是否并入该视频比特流的该数据负载中或者是否与该视频比特流中的单独编码区块交叉。在本发明另一实施例中，该旗标处于序列层并且其中根据该旗标将与该环内滤波器参数相关联的该信息合并入自适应参数集合(APS)或条带头中。

本发明揭露一种具有重建视频环内处理的视频编码方法与装置。根据本发明实施例，该方法包含：接收重建视频数据；决定与环内处理相关联的环内滤波器参数，其中将该环内处理应用于该重建视频的编码区块；以及根据旗标将与该环内滤波器参数相关联的信息合并入两个或多个编码区块共享的视频比特流的数据负载中或者与该视频比特流的单独编码区块交叉。该环内处理对应自适应环路滤波(ALF)或样本自适应偏移(SAO)。该编码区块对应一个编码单元(CU)、多个CU、一个最大编码单元(LCU)或多个LCU。该视频比特流中的该数据负载处于图像层、自适应参数集合(APS)或条带头中。在本发明一实施例中，该旗标是交叉旗标，其中使用该交叉旗标选择与该环内滤波器参数相关联的该信息是否并入该视频比特流的该数据负载中或者是否与该视频比特流中的单独编码区块交叉。在本发明另一实施例中，该旗标处于序列层并且其中根据该旗标将与该环内滤波器参数相关联的该信息合并入自适应参数集合(APS)或条带头中。

附图说明

图1A描述具有DF、SAO、ALF环内处理的示例自适应帧内/帧间视频编码系统。

图1B描述具有DF、SAO、ALF环内处理的示例自适应帧内/帧间视频解码系统。

图2描述当前区块与相邻区块共享环内滤波器参数的示例。

图3描述基于当前像素周围3×3窗口中八个相邻像素的改进边偏移分类示例。

图4描述允许SAO处理穿过条带边界的自适应控制的示例语法设计seq_parameter_set_rbsp()。

图5描述启动自适应SAO参数发讯以将SAO参数合并入APS或与条带中区块数据交叉的示例语法设计aps_rbsp()。

图6描述允许具有涉及APS的aps_id的编码区块共享APS中SAO参数的示例语法设计aps_sao_param()。

图7描述为编码区块合并SAO信息的示例语法设计sao_unit_vlc()。

图8描述为编码区块合并SAO偏移值的示例语法设计sao_offset_vlc()。

图9描述允许自适应SAO参数与区块数据交叉的示例语法设计slice_header()。

图10描述允许自适应SAO参数与区块数据交叉的示例语法设计slice_data()。

图11描述允许自适应SAO参数与区块数据交叉的示例语法设计sao_unit_cabac()。

图12描述允许自适应SAO参数与区块数据交叉的示例语法设计sao_offset_cabac()。

图13描述允许自适应ALF参数发讯的示例语法设计seq_parameter_set_rbsp()。

图14描述允许自适应ALF参数发讯的示例语法设计slice_header()。

图15描述允许自适应ALF参数发讯的示例语法设计alf_param()。

图16描述允许自适应ALF参数发讯的示例语法设计alf_unit()。

图17描述允许自适应ALF参数发讯的示例语法设计alf_info()。

具体实施方式

在基于区块的环内滤波中，必须将每个区块的环内滤波器参数转发至解码器端用于解码器端的正确的环内滤波操作。环内滤波器示例可包含自适应环路滤波(ALF)或样本自适应偏移(SAO)。在本揭露书中环内滤波器也可称为环内滤波器处理(in-loop filterprocessing)或环内处理(in-loop processing)。在本揭露书中环内参数也可称为环内信息(in-loop information)。当区块尺寸较小时，例如编码单元(Coding Unit,CU)或最大编码单元(LCU)，对应环内滤波器参数的比特率变得相对较大。因此，降低与环内滤波器参数相关联的比特率是令人满意的。根据本发明的一个实施例使用合并旗标(merge flag)指示当前区块与一个或多个相邻区块共享环内滤波器参数的情况。此外，上述区块可包含多个LCU以降低与环内滤波器参数对应的比特率。也可隐含决定上述合并旗标。例如，如果左侧区块与上部区块具有相同的环内滤波器参数，则当前区块将在无需明确发送合并旗标情况下与左侧与上部的相邻区块共享环内滤波器参数。可将环内滤波器信息合并入压缩视频比特流。

用于当前区块的环内滤波器参数共享可选择一个相邻区块，例如左侧、上部、右侧、左上侧、底部、左下侧等区块。使用合并语法(merge syntax)指示两个区块合并并且共享相同的环内滤波器参数。图2描述与相邻区块共享环内滤波器参数的示例。接下来将描述决定当前区块C是否应该与相邻区块共享环内滤波器参数的示例进程。如果区块A的SAO信息不等于B的SAO信息，则将X1设定为1。否则，将X1设定为0。如果区块D的SAO信息不等于B的SAO信息，则将X2设定为1。否则，将X2设定为0。如果区块D的SAO信息不等于A的SAO信息，则将X3设定为1。否则，将X3设定为0。各种X可根据X＝X3*4+X2*2+X1*1进行计算。可使用各种X选择与当前区块合并的相邻区块。

在示例合并进程中，当X等于7时，合并旗标指示区块C是否使用新的环内滤波器参数。当合并旗标具有为1的值时，区块C使用新的环内滤波器参数以及否则区块C与区块A或B共享环内滤波器参数。当X等于5时，合并旗标指示区块C是否使用新的环内滤波器参数。当合并旗标具有为1的值时，区块C使用新的环内滤波器参数以及否则区块C与区块A共享环内滤波器参数。当X等于3时，合并旗标指示区块C是否使用新的环内滤波器参数。当合并旗标具有为1的值时，区块C使用新的环内滤波器参数以及否则区块C与区块B共享环内滤波器参数。每个区块可为一个CU、多个CU、一个LCU、多个LCU或其他区块结构。区块也可对应不同的尺寸。在本揭露书中区块也可称为编码区块。

在传统方法中，仅将SAO处理应用于亮度分量(luma component)。如果将SAO处理应用于亮度分量，则根据本发明的实施例也选择性地将SAO处理应用于色度分量(chromacomponent)。当将SAO处理应用于亮度分量时，可使用SAO色度旗标指示是否将SAO处理应用于色度分量。从用于亮度分量或其他色度分量的SAO信息中取得用于色度分量的SAO信息。当色度分量与亮度分量或其他色度分量共享SAO信息时，可使用SAO信息共享旗标指示上述情况。SAO信息可包含偏移值、SAO类型(在本揭露书中也称为分类或类)与ON/OFF决策。在一实施例中，预定义偏移值从而可使用指标(index)来选择一个偏移值。可将SAO信息并入比特流的数据负载中用于多个区块共享，例如图像参数集合(Picture Parameter Set,PPS)、自适应参数集合(Adaptation Parameter Set,APS)或条带头(slice header)中，当然也可以放在原本条带数据负载中。

基于先前已处理区块的SAO参数使用预测方法可编码与SAO参数相关联的信息。偏移值编码可取决于内部位元深度(bit-depth)增长、帧内/帧间模式信息、运动信息、变换尺寸、量化步长尺寸、残差、去区块信息、图像尺寸与区域尺寸。例如，如果内部位元深度增长大于1时，则偏移值编码可增加一个比特。在SAO信息的另一示例编码中，SAO参数可根据量化参数改变其编码精度(coding precision)。为了减小与SAO参数相关联的比特率，可以延时方式编码偏移值信息。此外，当前条带的SAO信息可与其他条带或区域共享。相应地，可将偏移信息并入图像参数集合(PPS)。当前条带或区域的编码区块可共享相同的SAO信息。

在传统方法中，在DF处理后经常应用SAO处理。根据本发明的实施例可选择性地将DF处理与SAO处理应用至区块。替换地，可将DF处理与SAO处理应用于相同的重建视频数据并且线性结合来自上述两个处理的输出。

根据本发明的一个实施例，SAO的像素分类方法可与其他像素分类方法结合，例如边缘方向(edge direction)、像素强度(pixel intensity)、像素变差(pixel variation)、像素方差(pixel variance)、像素拉普拉斯算子和(pixel sum-of-Laplacian)、高通滤波结果、低通滤波结果、高通滤波结果绝对值以及相邻像素平均值。例如，EO进一步划分带偏移(BO)或边偏移(EO)的一个分类。在另一示例中，BO或拉普拉斯算子和进一步划分EO的一个分类。

在传统EO分类中，使用3×3窗口中的两个相邻像素将当前像素分类至不同的类别或类。根据本发明的实施例可基于3×3窗口中的所有相邻像素使用改进的分类方法。图3描述基于当前像素周围3×3窗口中八个相邻像素的改进边偏移分类示例。图3显示当前像素C周围的相邻像素(P1-P8)。作为示例，类指标ClassIdx可定义为：

ClassIdx＝Index2ClassTable(f(C,P₁)+f(C,P₂)+…+f(C,P₈))，

其中f(C,P_n)是比较函数以及Index2ClassTable是将比较结果映射至类指标的映射函数。比较函数f(x,y)定义如下：

如果x-y>th,则f(x,y)＝1,

如果x＝y+th,则f(x,y)＝0,以及

如果x-y<th,则f(x,y)＝-1

其中th是一阈值。

替换的比较函数f(x,y)可定义如下：

如果(x/s)-(y/s)>th,则f(x,y)＝1,

如果(x/s)＝(y/s)+th,则f(x,y)＝0,以及

如果(x/s)-(y/s)<th,则f(x,y)＝-1。

其中th是一阈值(一般设为零)，并且s是用于除法的比例因子(在c语言中像素除法可能会自动舍去小数位数)。

可将改进的EO分类方法应用于SAO的已结合像素分类方法与其他像素分类方法。例如，EO或BO可进一步划分根据上述改进的EO分类。

在传统方法中，用于基于LCU ALF编码的单元总是一个LCU。由于ALF的失真改善与LCU的尺寸相关。较小的LCU经常允许ALF设计更适应位置特征。然而，与ALF参数相关联的信息数量是相对恒定的并且不依赖LCU尺寸。因此，较小的LCU尺寸将导致与ALF参数信息相关联的更高的比特率。相应地，实质上减少用于编码视频数据的网络比特率并且降低系统性能。为了克服上述问题，根据本发明的实施例将多个LCU聚合为一个单元，在本揭露书中称为滤波器单元或编码区块。相应地，将相同的ALF应用于滤波器单元的所有LCU并且在一个滤波器单元的所有LCU中共享ALF参数以降低必需并入ALF参数的比特率。ALF参数集合可包含从由滤波器系数、滤波器形状、滤波器尺寸、ON/OFF控制与区域信息组成的集合中选择一个或多个元素。可使用缓冲器储存ALF/SAO参数集合从而使得其他滤波器单元、条带或图像可共享信息。滤波器单元可与一个图像或多个LCU一样大。例如，滤波器单元可包含M×NLCU，其中M与N是大于零的整数。一个滤波器单元的边界可与LCU边界对齐或不对齐。当使用滤波器单元时，可基于与滤波器单元相关联的统计信息设计ALF参数。可将设计的ALF参数应用于滤波器单元的所有像素。编码器可决定M与N的数值并且将滤波器尺寸信息并入序列层原始字节序列负载(Raw Byte Sequence Payload,RBSP)或图像层RBSP。因此，通过在多个LCU中共享环内参数可减少对应于ALF的边信息。

基于基础滤波器单元(underlying filter unit)可取得滤波器单元的候选滤波器，或者候选滤波器可在当前条带中共享先前已处理滤波器单元使用的至少部分候选滤波器。然而，对于条带中的第一滤波器单元，条带中不存在用于当前滤波器单元共享的先前已处理滤波器单元。因此，必须使用默认候选滤波器或其他方式处理第一滤波器单元并且降低性能。在传统方法中，在无来自其他滤波器单元的任何信息情况下，从一个滤波器单元(LCU或图像)中取得ALF参数。根据本发明的实施例允许使用先前帧或先前已处理滤波器单元的信息来取得当前滤波器单元的某些候选滤波器。例如，可使用在先前帧中具有ALF-OFF模式的滤波器单元统计信息取得一个滤波器的参数并且可使用上述滤波器作为当前滤波器单元的一个候选滤波器。可使用先前帧中的由ALF-ON滤波器单元取得的滤波器作为另一候选滤波器。此外，可将图像分为多个部分并且可取得每个部分中用于ALF-ON与ALF-OFF滤波器的各个滤波器。可使用上述滤波器中的一个作为当前滤波器单元的候选滤波器。可累积当前条带中的先前已处理单元的统计信息从而基于已累积统计信息取得候选滤波器。

根据传统ALF处理，色度分量处理可不依赖于亮度分量处理或者总是遵照亮度分量处理。根据本发明的实施例自适应地结合上述两种方法。使用一种语法指示是否滤波色度分量，以及使用另一种语法指示色度分量是否与亮度分量共享滤波器或者使用比特流中其自身的滤波。因此，用于色度分量的滤波器系数可由亮度滤波器取得或从比特流中解码得到。此外，为了减少与ALF参数相关联的边信息，用于色度分量的滤波器足迹(filterfootprint)可为用于色度分量的滤波器的子集(sebset)。

当共享先前ALF参数时，后续的滤波器单元可重用当前条带的先前滤波器单元参数。对于SAO处理，接下来的区域或LCU可重用当前条带的先前区域或LCU中的参数。为了简便起见，滤波器单元也可指区域或LCU。用户可定义返回多少的重用先前ALF参数或者返回多少由图像尺寸决定。当共享ALF/SAO信息时，可从先前已编码区域、先前已编码图像或预定义ALF/SAO信息中取得或复制ALF/SAO信息。ALF信息可包含来自由滤波器系数、滤波器形状、滤波器尺寸、ON/OFF控制与区域信息组成的集合的一个或多个元素。

每个滤波器单元可使用指标(index)选择储存在缓冲器中的先前ALF/SAO参数。指标可为用于降低比特率的自适应编码的熵。例如，越频繁被选择的ALF/SAO参数集合可分配越短的代码字(codeword)。在另一示例中，可使用预测编码技术，其中确定一个或多个最可能模式(most-probable-mode)。如果当前指标等于一个最可能模式，则使用非常短的代码字编码指标。否则，将需要更多比特以指示剩余指标中的一个与当前指标相同。上述技术与在帧内模式编码中使用的最可能模式编码技术相似。指标的对应语法可并入自适应参数集合(APS)、图像参数集合(PPS)、条带头或条带数据。根据本发明实施例，与ALF相关联的信息可并入自适应参数集合(APS)、条带头、条带数据中或者基于并入序列参数集合(SequenceParameter Set,SPS)、图像参数集合(PPS)、自适应参数集合(APS)或条带头的旗标自适应进行改变。

在启动自适应ALF参数发讯(signaling)的另一示例中，可使用ALF参数交叉旗标(ALF parameter interleaving flag)或SAO参数交叉旗标指示每个滤波器单元(如前所述滤波器单元可为LCU的区域)的ALF参数是否与条带中的滤波器单元数据交叉。可将ALF参数交叉旗标或SAO参数交叉旗标并入图像参数集合(PPS)、自适应参数集合(APS)、条带头或条带。此外，用于指示交叉的旗标可同时并入多个RBSP中，例如APS与条带头。当指示交叉的旗标存在于多个RBSP时，多个RBSP中的旗标应该具有相同值。相应地，本发明实施例也提供冗余度以保证交叉旗标。

对于SAO，可使用旗标sao_max_region_size_minus_one指示一个SAO处理区域中LCU的最大数量。用于SAO处理区域的LCU的最大数量是sao_max_region_size_minus_one+1。可将旗标sao_max_region_size_minus_one并入图像参数集合(PPS)、序列参数集合(SPS)、自适应参数集合(APS)、条带头或上述多个中。相同SAO处理区域中的LCU可共享相同的SAO参数。例如，如果sao_max_region_size_minus_one为0，则将一个SAO处理区域中的LCU的最大数量设定为1。如果使用基于LCU语法设计与“行程”编码(“run”coding)，则“行程”值(“run”value)指示共享相同SAO参数的LCU数量。对于某些应用，可使用小LCU尺寸，例如16×16。本情况中，在区域中与共享SAO参数的连续LCU的行程编码(run length coding)相关联的比特率可是相对较高的。因此，使用“行程”值指示共享相同SAO参数的区域数量。

也可将行程编码应用于ALF参数。滤波器单元可包含一个LCU并且基于滤波器单元的处理在本情况中变为基于LCU的处理。连续滤波器单元可共享相同的ALF参数。为了降低指示ALF参数共享的比特率，使用行程编码指示与当前滤波器单元共享ALF参数的连续滤波器数量。

对于细粒度条带(fine-granularity slice)情况，细粒度区块比一个LCU要小。在本情况下，一个LCU可包含多于一个条带数据，即，一个LCU可包含多于一个的ALF/SAO参数集合。根据本发明的实施例将强制一个LCU中的所有环内滤波器参数相同。

基于图像的环内设计必须等到整个图像变为可用。这样将引起处理延迟。然而，对于非参考图像来说上述情况不会成为问题。根据本发明的实施例可在取得滤波器参数后简单跳过实际滤波步骤。替代地，在基于图像的方法中，可在不引起额外编码延迟或附加图像存储访问情况下将环内处理应用于非参考图像。

在编码器端的环内滤波器处理包含两个单独步骤。在第一步骤中，从基础LCU或图像处收集统计信息。然后，基于已收集的统计信息取得环内滤波器参数。在第二阶段中，基于已取得的环内滤波器参数将环内滤波器处理应用于LCU或图像的像素。既然在单独步骤中执行例如ALF处理的每个环内处理，因此可引起相当大的数据存取。根据本发明的实施例将一个环内滤波器处理步骤与其他环内滤波器处理结合以降低相关数据存取。例如，ALF/SAO处理的第一步骤是收集统计信息，其可随着其他基于LCU的编码方法一起执行，例如去区块处理或LCU的编码行为。相应地，可在去区块进程期间收集用于ALF/SAO处理的统计信息。因此，可在无附加图像内存访问情况下取得ALF/SAO参数。ALF/SAO处理的第二步骤包含对像素数据应用滤波，可在后续运动估计进程期间执行上述第二步骤。因此，可在无单独内存访问情况下在编码器端执行ALF/SAO进程，在本揭露书中称为零通编码(zero-passencoding)。在解码器端，无需收集ALF/SAO滤波器设计的统计信息。然而，解码器仍可通过在运动补偿期间执行ALF/SAO滤波器处理来利用零通解码。

对于某些低延迟应用，优先基于滤波器单元处理。对于基于滤波器单元的编码，一旦滤波器单元编码结果可用，则预计完成一个滤波器单元的ON/OFF控制决定。此外，滤波器单元相关联的已压缩数据优先与条带中的环内滤波器参数交叉。对于低延迟应用，条带层ON/OFF控制可引起较长编码延迟。相应地，当编码环路滤波器参数并与条带中的滤波器单元数据(本揭露书中也称为区块数据)交叉时，本发明实施例总明确设定条带层ON/OFF控制旗标以指示ON。可替换地，本发明实施例通常也禁用条带层ON/OFF控制旗标。如果在条带中编码并交叉环路滤波器参数，则不发送条带层ON/OFF控制旗标。否则发送条带层ON/OFF控制旗标。

在传统方法中，用于BO与EO的每个区域中偏移值的数量不同。根据本发明的实施例在每个区域中为BO与EO统一偏移值的数量。对于每个区域，相应地BO组数量变为8个，并且每个BO组具有4个偏移值。为每个组降低偏移值的数量可降低相关比特率。也可根据本发明实施例降低与偏移值相关的比特率。例如，偏移值范围可限制在较小范围。这将有利于预计偏移值较小的小区域。可根据本发明实施例减少基于相邻区块的偏移预测的所需缓冲器。例如，偏移预测可避免为当前LCU上部的LCU使用上述偏移值。环内滤波操作包含去块滤波器、SAO与ALF。根据本发明实施例通过有条件地启动色度SAO处理可改进色度SAO处理，其中上述条件取决于是否启动亮度SAO处理。在根据本发明的另一实施例中，当选择EO时可共享用于色度与亮度分量的偏移值。

根据本发明将描述各种语法设计作为示例实施例。图4描述允许SAO处理穿过条带边界的自适应控制的示例语法设计seq_parameter_set_rbsp()。，其中包含loop_filter_across_slice_flag。如果loop_filter_across_slice_flag等于1，则穿过条带边界执行环内滤波操作。如果loop_filter_across_slice_flag等于0，则上述环内滤波操作是条带独立的(slice-independent)并且上述操作不穿过条带边界。相应地，根据本发明实施例可减少基于相邻区块的环内滤波参数预测所需的缓冲器。

图5描述启动自适应SAO参数发讯以将SAO参数合并入APS或与条带中区块数据交叉的示例语法设计aps_rbsp()。在图5中，aps_id指示在条带的条带头中具有相应aps_id的编码区块涉及的自适应参数集合(APS)。当SAO参数交叉旗标，即aps_sao_interleaving_flag等于1时，SAO参数与aps_id指示的涉及APS的条带的滤波器单元数据相交叉。当aps_sao_interleaving_flag等于0时，将SAO参数合并入APS用于涉及APS的条带。将另一旗标，即aps_sample_adaptive_offset_flag并入APS以控制滤波器ON/OFF。如果aps_sample_adaptive_offset_flag等于1，则对于如aps_id所示的涉及APS的条带来说，SAO为ON。另一方面，如果aps_sample_adaptive_offset_flag等于0，则对于如aps_id所示的涉及APS的条带来说，SAO为OFF。

图6描述允许具有涉及APS的aps_id的编码区块共享APS中SAO参数的示例语法设计aps_sao_param()。上述语法结构包含SAO处理所需的SAO信息。例如，语法结构可包含一个或多个旗标，例如图6中的sao_cb_enable_flag与sao_cr_enable_flag确定SAO处理是否应用于当前图像的各个色度分量。语法结构也可包含依据LCU尺寸的相关图像尺寸信息，例如图6中的sao_num_lcu_in_width_minus1与sao_num_lcu_in_height_minus1。语法结构也可包含关于是否条带中所有编码单元使用相同SAO参数处理或者对于每个最大编码单元或滤波器单元采用各自的SAO参数的信息，如图6中的sao_one_luma_unit_flag、sao_one_cb_unit_flag、sao_one_cr_unit_flag各自所指示。如果上述旗标中的任何一个具有为1的值，则SAO偏移值将并入各自的sao_offset_vlc()用于条带中的编码区块共享。语法结构也可包含标识，例如sao_repeat_row_flag[cIdx]，上述指标是关于对于各自的彩色分量指标cIdx，当前编码区块行(例如LCU行)中的编码区块的SAO参数是否等于编码区块上部的SAO参数。

在上述示例语法结构aps_sao_param()中，SAO区块结构sao_unit_vlc()也随着各自重复行旗标(repeat-row flag)进行合并。图7描述示例语法结构sao_unit_vlc()，其包含编码区块中与SAO参数共享信息关联的信息，例如sao_run_diff与sao_merge_up_flag。saoRun[cIdx][rx][ry]表示对应编码区块的SAO参数为相同行中后续编码区块重复的次数。数组下标cIdx指定色彩分量；cIdx具有分别对应亮度、Cb、Cr的0、1、2数值。数组下标rx与ry指定与图像的左上编码区块相关的基础编码区块的位置。如果当前行为第一行，语法元素sao_run_diff指定当前编码区块的saoRun[][][]，否则指定当前编码区块与上部编码区块的行程之间的差异。当saoRun[][][]大于或等于0时，从左侧编码区块的相应语法元素中取得sao_offset_vlc()中的语法元素。sao_run_diff语法元素的长度为Ceil(Log2(sao_num_lcu_in_width_minus1-rx+2))比特。当旗标sao_merge_up_flag等于1时，从上部编码区块的相应语法元素中取得sao_offset_vlc()中的语法元素。当旗标sao_merge_up_flag等于0时，不从上部编码区块的相应语法元素中取得sao_offset_vlc()中的语法元素。当sao_merge_up_flag不存在时，可将其推定为0值。

图8根据本发明实施例描述sao_offset_vlc()的示例语法结构。语法元素sao_type_idx[cIdx][rx][ry]指示可为BO或EO的SAO类型。当sao_type_idx[cIdx][rx][ry]具有0值时，其指示SAO为OFF；当具有从1至4的数值时，其指示使用的四种与0°、90°、135°、45°相关的EO分类中的一种；以及为5的数值指示使用BO。在上述示例中，BO与EO类型皆具有四种SAO偏移值。

图9描述允许自适应SAO参数与区块数据交叉的示例语法设计slice_header()。当如旗标sample_adaptive_offset_enabled_flag指示的在其他条件下启动SAO时，将两个附加旗标，即slice_sao_interleaving_flag、slice_sample_adaptive_offset_flag合并入条带头。如果slice_sao_interleaving_flag等于1，则在条带数据中SAO参数与滤波器单元数据交叉。如果slice_sao_interleaving_flag等于0，则SAO参数使用包含在aps_id涉及的APS中的信息。指示交叉的旗标可同时并入多个RBSP中，例如APS与条带头。当指示交叉的旗标存在于多个RBSP中时，多个RBSP中的上述旗标应该具有相同值。相应地，当存在激活的APS时，条带头中的slice_sao_interleaving_flag值将与APS中的aps_sao_interleaving_flag相同。如果slice_sample_adaptive_offset_flag等于1，则对于当前条带，SAO为ON。如果slice_sample_adaptive_offset_flag等于0，则对于当前条带，SAO为OFF。相似地，当存在激活的APS时，slice_sample_adaptive_offset_flag值将与aps_sample_adaptive_offset_flag相同。相应地，本发明实施例也提供冗余度以保证交叉旗标。

图10描述允许自适应SAO参数与区块数据交叉的示例语法设计slice_data()。如图10所示，当slice_sao_interleaving_flag具有为1的值时，如果各自的SAO启动旗标为ON则合并入单独SAO单元数据(即sao_unit_cabac())。

图11描述允许自适应SAO参数与区块数据交叉的示例语法设计sao_unit_cabac()。使用合并旗标sao_merge_left_flag与sao_merge_up_flag分别指示当前编码区块是否与左侧或上部的编码单元共享SAO偏移值。当当前编码单元不与左侧或上部的相邻区块共享SAO参数时，为当前编码区块并入SAO偏移值sao_offset_cabac()。

图12根据本发明实施例描述sao_offset_cabac()的示例语法结构。语法元素sao_type_idx[cIdx][rx][ry]指示可为BO或EO的SAO类型。当sao_type_idx[cIdx][rx][ry]具有0值时，其指示SAO为OFF；当具有从1至4的数值时，其指示使用的四种与0°、90°、135°、45°相关的EO分类中的一种；以及为5的数值指示使用BO。在上述示例中，BO与EO类型皆具有四种SAO偏移值。当sao_type_idx[cIdx][rx][ry]不存在时，可推定sao_type_idx[cIdx][rx][ry]。例如，如果sao_merge_up_flag等于1时，设定sao_type_idx[cIdx][rx][ry]等于sao_type_idx[cIdx][rx][ry-1]。否则设定sao_type_idx[cIdx][rx][ry]等于sao_type_idx[cIdx][rx-1][ry]。

图13描述允许自适应ALF参数发讯的示例语法设计seq_paramete r_set_rbsp()。如图13所示，使用旗标adaptive_loop_filter_enabled_fl ag指示是否允许自适应ALF参数合并。当如adaptive_loop_filter_ena bled_flag所指示地，启动自适应ALF参数合并时，使用另一旗标alf_c oef_in_slice_flag指示ALF参数的合并位置。当alf_coef_in_slice_flag等于1时，将用于ALF参数的语法alf_param()合并入条带头。当alf_c oef_in_slice_flag等于0时，将用于ALF参数的语法alf_param()合并入APS。在条带层语法中，如果alf_coef_in_slice_flag等于1，则将A LF参数合并入条带头。此外，ALF CU ON/OFF控制参数将不并入条带层。

图14描述允许自适应ALF参数发讯的示例语法设计slice_header()。当如adaptive_loop_filter_enabled_flag所指示地，启动ALF时，使用另一旗标slice_adaptive_loop_filter_flag指示是否应用条带层ALF。如果应用条带层ALF并且alf_coef_in_slice_flag指示将ALF参数合并入条带头，则将语法alf_param()合并入条带头。另一方面，如果应用条带层ALF并且alf_coef_in_slice_flag指示不将ALF参数合并入条带头，则将语法alf_cu_control_param()合并入条带头。

图15描述允许自适应ALF参数发讯的示例语法设计alf_param()。语法结构包含ALF处理所需的ALF信息。例如，语法结构可包含一个或多个旗标，例如图15中的alf_cb_enable_flag与alf_cr_enable_flag以确定ALF处理是否应用于当前图像的各个色度分量。语法结构也可包含依据LCU尺寸的相关图像尺寸信息，例如图15中的alf_num_lcu_in_width_minus1与alf_num_lcu_in_height_minus1。语法结构也可包含关于是否条带中所有编码单元使用相同ALF参数处理或者对于每个最大编码单元或滤波器单元采用各自的ALF参数的信息，如图15中的alf_one_luma_unit_flag、alf_one_cb_unit_flag、alf_one_cr_unit_flag各自所指示。语法结构也可包含标识，例如alf_repeat_row_flag[cIdx]，上述标识是关于对于各自的彩色分量指标cIdx，当前编码区块行中的编码区块的ALF参数是否等于编码区块上方的ALF参数。

图16描述允许自适应ALF参数发讯的示例语法设计alf_unit()。语法alf_unit()包含编码区块中与ALF参数共享信息关联的信息，例如alf_run_diff与alf_merge_up_flag。alfRun[cIdx][rx][ry]表示对应编码区块的ALF参数为相同行中后续编码区块重复的次数。数组下标cIdx指定色彩分量；cIdx具有分别对应亮度、Cb、Cr的0、1、2数值。数组下标rx与ry指定与图像的左上编码区块相关的基础编码区块的位置。如果当前行为第一行，语法元素alf_run_diff指定当前编码区块的alfRun[][][]，否则指定当前编码区块与上部编码区块的行程之间的差异。当alfRun[][][]大于或等于0时，从左侧编码区块的相应语法元素中取得alf_info()中的语法元素。alf_run_diff语法元素的长度为Ceil(Log2(alf_num_lcu_in_width_minus1-rx+2))比特。当旗标alf_merge_up_flag等于1时，从上部编码区块的相应语法元素中取得alf_info()中的语法元素。当旗标alf_merge_up_flag等于0时，不从上部编码区块的相应语法元素中取得alf_info()中的语法元素。当alf_merge_up_flag不存在时，可将其推定为0值。

图17描述允许自适应ALF参数发讯的示例语法设计alf_info()。语法alf_info()包含与ALF滤波器相关联的信息。示例语法设计支持ALF缓冲器的使用从而使得可使用指标选择存储在ALF缓冲器中多个ALF滤波器的一个。例如，当alf_new_filter_set_flag等于1时，其指示当前编码区块使用新的滤波器集合。否则，当前编码区块使用缓冲器指标等于alf_stored_filter_set_idx[cIdx]的已存储滤波器集合。当alf_new_filter_set_flag不存在时，推定为1。当alf_new_filter_set_flag等于1时，NumALFFiltersInStoredBuffer[cIdx]增加1，其中NumALFFiltersInStoredBuffer[cIdx]为滤波器集合中滤波器数量。语法alf_stored_filter_set_idx[cIdx]指定用于色彩分量cIdx的已存储滤波器的缓冲器指标。alf_stored_filter_set_idx[cIdx]语法元素的长度为Floor(Log2(Min(1,NumALFFiltersInStoredBuffer[cIdx]–1)))+1比特。使用语法元素alf_no_filters_minus1为当前编码区块取得滤波器集合的数量，其中alf_no_filters_minus1具有从0至2的数值。语法元素alf_start_second_filter指定亮度样本的区块自适应(BlockAdaptive,BA)模式指标用于应用第二滤波器。当语法元素alf_filter_pattern_flag[cIdx][ry][rx][i]等于1时，第i个BA模式指标的滤波器指标增加1。当语法元素alf_filter_pattern_flag[cIdx][ry][rx][i]等于0时，第i个BA模式指标的滤波器指标等于第i-1个BA模式指标。当语法元素alf_pred_flag[][][][]等于1时，以预测方式编码当前编码区块的滤波器系数；否则直接编码滤波器系数。语法元素alf_min_kstart_minus1+1指定对于自适应环路滤波器的亮度滤波器系数来说，第k个顺序指数哥伦布码(orderexponential Golomb code)的最小顺序k。语法元素alf_golomb_index_flag[i]指定亮度滤波器系数第i组与第(i+1)组之间第k个顺序指数哥伦布码的差值。存在多组亮度滤波器系数，其中每组可具有不同的顺序k。当语法元素alf_nb_pred_luma_flag[cIdx][ry][rx][i]等于1时，基于空间相邻滤波器系数以预测方式编码当前编码区块的第i个滤波器的滤波器系数；否则不使用空间相邻滤波器系数编码滤波器系数。语法元素alf_filt_coeff[cIdx][ry][rx][i]指定对于当前编码区块在自适应环路滤波进程中使用的第i个滤波器的第j滤波器系数。

上述的根据本发明的包含改进SAO及/或ALF处理的视频编码系统实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明实施例可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数据信号处理器(Digital Signal Processor,DSP)中执行的执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field ProgrammableGate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为说明的所有方面并且无限制。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化皆属于本发明的涵盖范围。

Claims (4)

1.一种具有样本自适应偏移处理的视频编码方法，用于重建视频，其特征在于，所述方法包括：

接收重建视频数据；以及

将所述样本自适应偏移处理应用到所述重建视频数据的多个区域的至少一色度分量；以及

根据所述样本自适应偏移处理的重建视频数据进行编码或解码；

其中，所述色度分量所使用的样本自适应偏移信息是自其他色度分量或亮度分量所使用的样本自适应偏移信息取得。

2.如权利要求1所述的具有样本自适应偏移处理的视频编码方法，其特征在于，用于第一色度分量的样本自适应偏移信息与用于第二色度分量的样本自适应偏移信息共用。

3.如权利要求1所述的具有样本自适应偏移处理的视频编码方法，其特征在于，所述样本自适应偏移信息包括样本自适应偏移类型以及ON/OFF决策。

4.一种具有样本自适应偏移处理的视频编码装置，用于重建视频，其特征在于，所述装置包括：

接收重建视频数据的模块；以及

将所述样本自适应偏移处理应用到所述重建视频数据的多个区域的至少一色度分量的模块；以及

根据所述样本自适应偏移处理的重建视频数据进行编码或解码的模块；

其中，所述色度分量所使用的样本自适应偏移信息是自其他色度分量或亮度分量所使用的样本自适应偏移信息取得。

Images