CN103873861A - 一种用于hevc的编码模式选择方法 - Google Patents

Abstract

本发明公开了一种用于HEVC的编码模式选择方法，根据当前编码图像内容的空时域特征，对HEVC编码中CTU划分、CU编码模式和PU帧间编码模式进行预判，减小HEVC框架中模式选择的遍历数量。从而在不影响图像编码质量的前提下，提高HEVC的编码效率。本发明方法输出的码流符合HEVC标准，且可进一步结合人眼视觉感知特性，实现编码模式选择，提高编码图像的主观质量。

Description

一种用于HEVC的编码模式选择方法

技术领域

本发明属于视频编码和处理领域，具体涉及HEVC（High Efficiency Video Coding，高效视频编码）编码模式选择方法的研究。

背景技术

传统视频编码技术，如H.264等在高清（1080P）及超高清(2K、4K）视频编码需求下，其编码生成的数据率急剧增长，这给视频数据的存储、网络传输带来了巨大冲击，现有的编码技术已经难以适应。因此具有更好压缩率的编码技术的提出势在必行。为解决这一问题，JCT-VC（Joint Collaborative Team on Video Coding）工作组制定了具有更高的压缩效率的新一代视频压缩HEVC（High Efficiency Video Coding）。HEVC视频编码框架，在编码效率等方面已经取得了极大提高。与现有编码标准H.264/AVC相比，在重建图像客观质量相同的情况下，HEVC的编码码率可以节省50%左右。

虽然HEVC编码框架具备了优秀的压缩效率，但是其编码效率的提高是通过对现有编码框架中的全部编码模块进行技术改进或创新，累加每个编码模块的效率，从而最终实现了整体编码效率的大幅提升。编码器必须在众多灵活的编码参数中进行优化选择，才能充分发挥编码工具的压缩效率。而HEVC编码框架中采用了搜索式的率失真优化模式选择方法，其遍历搜索过程带来了巨大的计算复杂度。另一方面，传统视频压缩方法主要基于信息论，从预测结构的角度出发，减少视频中的时间、空间冗余，但没有充分考虑过人眼的视觉冗余，随着对人眼视觉感知特性认识的深入和相关计算模型准确性的提高，视频中的主观视觉冗余不断被发现。因此如何设计高效的HEVC模式选择方法，并进一步结合感知的视频编码方法，将其有效地与基于信息论的混合编码框架结合，实现在保证视频主观质量前提下降低编码复杂度、提高编码图像主观质量，是目前视频编码领域极有潜力的应用方向之一。

发明内容

鉴于上述情况，本发明的目的是提出一种用于HEVC的编码模式选择方法，使之改善现有技术的不足，在减少编码复杂度的同时提高视频编码主观质量。本发明的目的是通过以下手段实现的。

一种用于HEVC的编码模式选择方法，根据当前编码图像内容的空时域特征，对HEVC编码中CTU划分、CU编码模式和PU帧间编码模式进行预判，减小HEVC框架中模式选择的遍历数量。从而在不影响图像编码质量的前提下，提高HEVC的编码效率。所述实现方法具体包括包含：

A.根据当前编码图像内容的空时域特征，建立编码模式预判模型；

B.根据步骤A的编码模式预判模型，对当前CTU的四叉树CU划分进行筛选，确定其候选的划分方式；

C.根据步骤A的编码模式预判模型，对步骤B中CU候选划分方式中所有CU依次执行编码模式选择，包括：CU、PU预测编码模式筛选；基于率失真优化的编码模式遍历择优；基于率失真优化的TU划分、变换与量化；

D.根据步骤C中各CU的最佳编码结果，对当前CTU进行基于率失真优化的最佳CU划分选择。

E.根据步骤C和D中CU和CTU的最佳编码模式，更新步骤A的编码模式预判模型参数；

步骤A的具体方法为，根据输入图像纹理、亮度、时域运动信息，建立编码模式预判模型，然后将图像划分为多个等大小CTU。其中编码模式预判模型既可以采用传统图像纹理梯度等传统客观特征信息，又可采用结合人眼主观感知特性的特征信息，如：恰可知失真(Just Noticeable Distortion，JND)或结构相似度(Structural Similarity，SSIM)等。

步骤B的具体方法为，根据步骤A中所述编码模式预判模型，对CTU的四叉树划分方式进行筛选，得到当前一种或多种候选划分方式，并开始CTU四叉树划分遍历过程，其实现方法既可采用统计学方法实现，亦可采用机器学习方法实现。

步骤C的具体方法为，根据步骤B中得到的CTU候选CU划分，首先根据步骤A的编码模式预判模型，对当前CU划分的预测编码模式进行筛选，其筛选范围是该CU的候选预测模式范围，具体包括：帧间预测、帧内预测、PCM编码，在该筛选范围内确定其候选的编码模式；然后遍历当前CU的候选预测编码模式，通过率失真优化选择最佳的预测编码结果。当采用帧间非SKIP模式预测时，先根据步骤A中的编码模式预判模型对PU划分进行筛选，筛选范围为CU所有可能的PU划分方法与所有参考帧，确定候选的PU划分范围与参考帧遍历候选范围，然后在候选划分中进行基于率失真优化的遍历择优；当采用帧内、帧间SKIP、或PCM模式，直接采用基于率失真优化的遍历择优；最后根据当前CU率失真优化的预测结果得到其预测残差图像，并对残差进行基于率失真优化的TU划分、变换与量化。

步骤C与步骤D中涉及到了两次率失真优化过程，第一次为PU预测编码时，第二次为TU变换编码时，可进一步结合人眼感知特性，在PU预测编码时使基于感知的预测编码代价J_{pred，perceptual}替代原有基于SAD或SATD的预测编码代价J_pred，SAD、J_pred，SATD进行优化选择，并且在量化编码时采用基于感知的模式选择代价J_{RDO，perceptual}替代传统基于SSE的模式选择代价J_mode进行率失真优化。

以上未提及的编码过程均按照标准HEVC规定实现，包括：步骤2）中所述对CU进行帧内编码、PCM编码、帧间SKIP编码过程，步骤3）中残差块的四叉树TU划分遍历、变换，及量化编码过程。

与现有技术相比，采用本发明的HEVC编码模式选择方法，在保证编码码流符合HEVC标准的前提下，对CTU四叉树划分、CU的PU划分及编码模式选择、PU帧间编码模式选择等进行了优化，极大减小了HEVC框架中遍历选择的计算复杂度，并且在所有编码过程中均可进一步结合基于主观率失真代价的编码模式选择方法，从而提高编码主观质量。本发明模式选择方法能够比HEVC框架的模式选择方法提供更快的编码速度，更好的视频图像主观质量。

附图说明如下：

图1是现有HEVC的编码框架图

图2是本发明HEVC模式选择方法的编码框架图

图3是HEVC的CTU迭代编码流程

图4是本发明HEVC模式选择方法的CTU迭代编码流程

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步的详细说明。

图1所示是现有的HEVC编码框架，其采用了基于块的混合编码框架。待编码图像首先被划分为编码树单元（CTU），然后依次对每个CTU进行：CTU四叉树划分方式选择、CU编码模式遍历选择、TU划分方式选择以及变换/量化、率失真优化计算、熵编码等编码过程。最后输出编码后的二进制比特流。这种编码框架在上述编码过程中每一步都有大量的编码模式可以选择，每种划分方式下均需要进行运动预测并计算其失真代价。可见，标准HEVC编码框架的遍历式编码模式搜索给编码器带来了沉重的计算复杂度。

图2是本发明HEVC模式选择方法的编码框架，此编码框架下在每一帧或每个CTU开始编码前，首先需对其纹理、亮度、运动等信息进行分析，建立编码模式预判模型。针对CTU灵活划分、CU编码、TU编码等过程中不再遍历所有可能的编码参数组合，而是预先对所有参数组合进行筛选，在获得一个或多个参数组合形成的小集合中再进行遍历选择，并且采用结合基于人眼感知特性的失真度量方式，进一步进行基于感知的率失真性能优化，从而在相同码率下获得更佳的主观图像编码质量。

图3所示是标准HEVC的CTU迭代编码流程，因实际编码过程中，CTU四叉树划分、PU预测编码、TU量化编码等过程混合在一个迭代过程中实现，因此需要进一步详细说明本发明编码CTU的CU划分方式筛选的编码步骤。HEVC框架中，对于当前划分深度的CTU，需要依次对帧间SKIP编码、帧间非SKIP编码、帧内编码、PCM编码的率失真代价进行遍历，并在遍历结束后才能得到当前深度下CTU最小率失真代价的编码模式，然后才进行下一个深度的CTU四叉树划分，并重复上述遍历过程。其中Early_SKIP满足条件为：Inter_2Nx2N划分方式下，当前深度CTU的帧间预测得到的运动矢量预测差值为(0，0)，同时此模式下对应的TU变换系数不含有非零值。Early_CU满足条件为：结束CTU当前深度CU的预测模式遍历后，帧间SKIP模式为最佳临时编码模式。

图4所示是本发明HEVC模式选择方法的CTU迭代编码流程，在进行CTU当前深度CU划分方式的预测模式遍历前，判断当前深度是否属于由候选深度，其中候选深度为编码模式预判模型得到的该CTU候选CU划分方式。如果满足，则继续当前深度CU划分方式的预测模式遍历，否则直接判断是否需要进行下一深度CU划分方式的预测模式遍历。同时在预测模式遍历过程中对当前CU划分的预测编码模式进行筛选，其筛选范围是该CU的候选预测模式范围，具体包括：帧间预测、帧内预测、PCM编码。当采用帧间非SKIP模式预测时，先根据步骤A中的编码模式预判模型对PU划分进行筛选，筛选范围为CU所有可能的PU划分方法与所有参考帧，确定候选的PU划分范围与参考帧遍历候选范围，然后在候选划分中进行基于率失真优化的遍历择优；当采用帧内、帧间SKIP、或PCM模式，直接采用基于率失真优化的遍历择优。通过上述方法，极大降低在各编码层次中因依次遍历各种编码模式所带来的计算复杂度。

实施例

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本说明书（包括任何附加权利要求和摘要）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

采用图2所示的本发明HEVC模式选择方法的编码框架，其输出码流可适用于任何标准HEVC解码器。现以某个视频序列的某一帧图像编码过程为例，其编码步骤依次是：

1)根据当前编码图像内容的空时域特征，建立编码模式预判模型。本实施例中，采用基于JND模型的失真度估计模型为基础的编码模式预判模型，因此需要首先建立编码模式失真度估计模型，具体方法为：

a.首先根据人眼主观感知JND模型给出视觉敏感度计算模型估计当前待编码图像的视觉敏感度ω(i，j)模型。

$\mathrm{\ω}(i,j)=a+b*\frac{1+d*\exp (-c\frac{\mathrm{JND}(i,j)-\stackrel{\‾}{\mathrm{JND}}}{\stackrel{\‾}{\mathrm{JND}}})}{1+e*\exp (-c\frac{\mathrm{JND}(i,j)-\stackrel{\‾}{\mathrm{JND}}}{\stackrel{\‾}{\mathrm{JND}}})}$

其中(i，j)表示像素点的坐标，JND(i，j)表示(i，j)位置像素点JND值，

表示当前图像的平均JND值，a、b、c、d、e为经验参数。

b.然后根据视觉敏感度ω(i，j)模型建立编码图像像素点的失真度计算模型D(i，j)

D(i，j)=P(I(i，j)-I′(i，j)|ω(i，j))

其中，D(i,j)为基于像素的失真度估计概率，I(i，j)为当前图像像素点原始值，I′(i，j)为当前像素点的编码预测或解码重建值，ω(i，j)为视觉敏感度计算模型，P(.)为概率计算。

c.最后得到给定图像块的感知失真度

计算模型

$D_x^{\mathrm{perceptual}}=\underset{(i,j)\∈x}{\mathrm{\Σ}}D(i,j),x=\{\mathrm{PU},\mathrm{TU}\}$

$D_{\mathrm{CU}/\mathrm{CTU}}^{\mathrm{perceptual}}=\underset{\mathrm{PU}\∈\mathrm{CU}/\mathrm{CTU}}{\mathrm{\Σ}}{D}_{\mathrm{PU}}^{\mathrm{perceptual}}$

因失真度估计在开始编码之前，无法获得准确的编码预测或解码重建值I′(i，j)，所以像素误差值需通过估计方法获得，本实施例中采用基于块的像素误差估计获得当前图像块的失真度估计值

$\mathrm{\Δ}{I}_x^{\mathrm{estimate}}={\stackrel{\‾}{I}}_x-{\stackrel{\‾}{I}}_x^{\mathrm{pre},\mathrm{estimate}},x=\{\mathrm{PU},\mathrm{TU}\}$

其中

表示当前图像块的原始像素均值，

为预测图像的估计像素均值，因此当前图像块的失真度估计值

为

$D_x^{\mathrm{estimate}}=P\left(\mathrm{\Δ}{I}_x^{\mathrm{estimate}}\right|{\stackrel{\‾}{\mathrm{\ω}}}_x),x=\{\mathrm{PU},\mathrm{TU}\}$

其中

为当前图像块的视觉敏感度均值。因在预测编码与变换编码过程中，PU和TU的对应

与

的计算模型均有不同，因此应以不同的模型参数分别计算

d.然后根据上述编码模式失真度估计模型建立对应的编码模式预判模型，因本实施例采用的编码模式预判模型是在每一级编码工作开始前进行预判，因此具体的模型建立和说明在本实施例后续步骤中详细说明。

2)根据步骤1)的编码模式预判模型，对当前CTU的四叉树CU划分进行筛选，确定其候选的划分方式，其实现方法既可采用统计学方法实现，亦可采用机器学习方法实现。在本实施例中，基于编码模式失真度估计的CTU四叉树划分方式预筛选通过以下方法实现：

a.首先根据编码参数配置确定CTU的划分范围，本例中CTU的大小为64x64，最大深度划分为16x16，因此该CTU可能的CU划分大小为64x64、32x32、16x16。首先根据在步骤1)中得到的编码感知失真度估计模型结果估计所有CTU划分方式的预测感知失真度

并且建立两个贝叶斯分类器：第一个用于判断64x64大小的CTU是否需要继续划分，第二个用于判断32x32大小的CTU是否需要继续划分。

分类器分类条件为：

其中，w_s，w_n为事件集合W={w_s，w_n}，其中w_s表示“示“集需要继续划分”的事件类别，w_n表示“示“类不需要继续划分”的事件类别，

为该CTU的特征矢量，其中，f_var为当前深度下Inter_2Nx2N模式预测残差的方差；f_p为当前深度下Inter_2Nx2N模式率失真代价中，残差系数部分所占的百分比；f_vstd为当前深度下，将Inter_2Nx2N模式的预测值与原始值等分为4个子块，各子块之间SATD值的方差；

为当前深度的CU划分下，根据步骤1)所述编码感知失真度估计模型得到的预测感知失真度，p(F|W)为特征F的条件概率密度函数，δ为贝叶斯分类器的分类阈值。

b.然后先对当前深度下的CU划分执行一次Inter_2Nx2N预测，获得预测运动矢量、预测残差等信息，作为分类器需要的相关分类特征信息输入分类器。并得出分类结果。

c.根据上述分类器在当前深度CU编码遍历开始之前，预测当前深度的CU划分是否属于候选划分方式。若属于候选划分方式（既分类结果为不需要继续划分），则继续当前深度CU划分方式的预测模式遍历，否则直接判断是否需要进行下一深度CU划分方式的预测模式遍历。如图4所示，判断是否需要进行下一深度CU划分的“下一深度超出候选深度”条件等同于“达到最大深度”条件。本实施例中，当前深度CU划分的分类结果为不需要继续划分，接下来进入当前深度CU划分的编码模式遍历。

3)根据步骤1)的编码模式预判模型，对步骤2)中CU候选划分方式中所有CU依次执行编码模式选择，包括：CU、PU预测编码模式筛选；基于率失真优化的编码模式遍历择优；基于率失真优化的TU划分、变换与量化，本实施例中可通过以下方法实现：

a.首先根据步骤1)中给出的

计算公式估计CU每种编码方式的感知预测失真然后通过CU的编码方式与

的统计对应关系

得到该CU的候选编码模式。本实施例中，假设有PCM、帧间非SKIP模式的

小于统计感知失真阈值

此时将PCM、帧间非SKIP模式的列入候选编码模式。

b.对当前CU进行帧间非SKIP模式预测，在候选预测编码模式中遍历选择当前CU的所有PU划分模式，首先根据步骤1)中的编码模式预判模型对PU划分进行筛选，筛选范围为CU所有可能的PU划分方法与所有参考帧，确定候选的PU划分范围与参考帧遍历候选范围，然后在候选划分中进行基于率失真优化的遍历择优，本实施例中可通过以下方法实现：

i.根据步骤1)中给出的

计算公式估计每种PU划分下帧间预测模式的感知预测失真然后通过PU的编码方式与

的统计对应关系

得到该PU的候选编码模式。本实施例中，当inter_2NxN、inter_Nx2N以及inter_nLx2N划分下，帧间预测的

小于统计感知失真阈值

将inter_2NxN、inter_Nx2N以及inter_nLx2N模式的编码方式列入候选编码模式。

ii.同时帧间预测编码时，根据当前帧与参考帧之间的距离α、各参考帧被参考的次数比重

该参考帧下的预测编码失真估计

与参考帧采用数目的统计对应关系

最后得出优化后的参考帧范围[0,Num_ref]。

iii.在上述步骤获得的候选PU划分预测模式中遍历，获得帧间预测编码代价并进行模式率失真择优，择优时采用感知预测编码失真度

替代原有客观失真度D_SATD，获得基于感知的帧间预测编码代价J_{pred，perceptual}进行率失真优化，具体计算公式如下：

$J_{\mathrm{pred},\mathrm{perceptual}}=D_{\mathrm{PU}}^{\mathrm{perceptual}}+{\mathrm{\λ}}_{\mathrm{pred},\mathrm{perceptual}}*B_{\mathrm{pred}}$

${\mathrm{\λ}}_{\mathrm{pred},\mathrm{perceptual}}=-\frac{{\∂D}_{\mathrm{PU}}^{\mathrm{perceptual}}}{{\∂B}_{\mathrm{pred}}}$

其中

为基于编码预测值和原始图像差值的感知失真度，λ_{pred，perceptual}为预测编码代价优化中的拉格朗日参数，B_pred为当前编码模式下估计的预测编码比特大小。

iv.按照HEVC规定进行PCM预测编码；

c.根据上述预测结果得到预测残差，并按照HEVC规定进行TU的四叉树划分遍历、变换，及量化等编码过程。

4)根据步骤3)中各CU的最佳编码结果，对当前CTU进行基于率失真优化的最佳CU划分选择。本实施例中可通过以下方法实现：

a.根据步骤3)中获得的量化结果等信息获得编码代价B_mode，并进行当前CTU基于率失真优化的最佳CU划分选择。本实施例中，采用基于感知的重建失真度

替代原有客观失真度D_SATD，从而获得感知编码代价J_{RDO，perceptual}进行率失真择优过程，具体计算公式如下：

$J_{\mathrm{RDO},\mathrm{perceptual}}=D_{\mathrm{CU}}^{\mathrm{perceptual}}+{\mathrm{\λ}}_{\mathrm{RDO},\mathrm{perceptual}}*B_{\mathrm{mode}}$

${\mathrm{\λ}}_{\mathrm{ROD},\mathrm{perceptual}}=-\frac{{\∂D}_{\mathrm{CU}}^{\mathrm{perceptual}}}{{\∂B}_{\mathrm{mode}}}$

其中为基于解码重建图像和原始图像差值的感知失真度，λ_{RDO，perceptual}为率失真优化中的拉格朗日参数，B_mode为当前编码模式下实际的编码比特大小。

5)根据步骤3)和4)中CU和CTU的最佳编码模式，更新步骤1)的编码模式预判模型参数；

本实施例中，具体采用方法为：对根当前据计算原始图像与重建图像间的主观失真更新估计模型中ΔI和P(.)的计算参数。

6)对编码产生的各种数据统一进行熵编码，输出二进制编码码流。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (8)

1.一种用于HEVC的编码模式选择方法，其特征在于，包含：

A.根据当前编码图像内容的空时域特征，建立编码模式预判模型；

B.根据步骤A的编码模式预判模型，对当前CTU的四叉树CU划分进行筛选，确定其候选的划分方式；

C.根据步骤A的编码模式预判模型，对步骤B中CU候选划分方式中所有CU依次执行编码模式选择，包括：CU、PU预测编码模式筛选；基于率失真优化的编码模式遍历择优；基于率失真优化的TU划分、变换与量化；

D.根据步骤C中各CU的最佳编码结果，对当前CTU进行基于率失真优化的最佳CU划分选择；

E.根据步骤C和D中CU和CTU的最佳编码模式，更新步骤A的编码模式预判模型参数。

2.根据权利要求1所述的一种用于HEVC的编码模式选择方法，其特征在于，步骤A中所述编码模式预判模型，具体为通过统计图像纹理、亮度、时域运动等空时域特征信息，并结合编码配置参数信息，采用机器学习或统计学方法建模得到。

3.根据权利要求2所述的一种用于HEVC的编码模式选择方法，其特征在于，图像空时域特征信息既可以采用传统图像纹理梯度等传统客观特征信息，又可采用结合人眼主观感知特性的特征信息，如：恰可知失真Just Noticeable Distortion，JND或结构相似度Structural Similarity，SSIM。

4.根据权利要求3所述的一种用于HEVC的编码模式选择方法，其特征在于，可采用结合基于人眼感知特性的失真度量方式，进一步进行基于感知的率失真性能优化，从而在相同码率下获得更佳的主观图像编码质量。

5.根据权利要求1所述的一种用于HEVC的编码模式选择方法，其特征在于，步骤B中所述CTU的四叉树CU划分方式筛选方法，具体筛选内容为该CTU的候选划分方式。

6.根据权利要求1所述的一种用于HEVC的编码模式选择方法，其特征在于，步骤C的具体方法为：1）根据步骤A的编码模式预判模型，对当前CU划分的预测编码模式进行筛选，确定其候选的编码模式；2）遍历当前CU的候选预测编码模式，通过率失真优化选择最佳的预测编码结果；当采用帧间非SKIP模式预测时，先根据步骤A中的编码模式预判模型对PU划分进行筛选，确定一种或多种候选划分模式；然后在候选划分中进行基于率失真优化的遍历择优；当采用帧内、帧间SKIP、或PCM模式，直接采用基于率失真优化的遍历择优；3）根据当前CU率失真优化的预测结果得到其预测残差图像，并对残差进行基于率失真优化的TU划分、变换与量化。

7.根据权利要求6所述的一种用于HEVC的编码模式选择方法，其特征在于，步骤1）中所述CU的预测编码模式筛选方法，具体筛选内容为该CU的候选预测模式范围，具体包括：帧间预测、帧内预测、PCM编码；其步骤2）中所述的CU的PU划分方式筛选方法，具体筛选内容为候选PU划分方法与参考帧遍历候选范围。

8.根据权利要求1所述的一种用于HEVC的编码模式选择方法，其特征在于，所述编码过程均按照标准HEVC规定实现，包括：步骤2）中所述对CU进行帧内编码、PCM编码、帧间SKIP编码过程，步骤3）中残差块的四叉树TU划分遍历、变换，及量化编码过程。

Images