CN104837015A - 低延迟编码自适应QP Offset调节方法 - Google Patents

Abstract

本发明公开了一种低延迟编码自适应QP Offset调节方法，属于视频编码技术领域，涉及在低延迟(low-delay,LD)编码结构下的一种自适应QP Offset调节方法。本发明将视频源运动剧烈程度考虑到QP Offset的分配策略中来，首先构造信源失真时域传播链，然后通过源端失真统计来计算当前编码帧运动的剧烈程度和对后续编码帧的影响，最后给出自适应的当前编码帧的QP Offset值。

Description

低延迟编码自适应QP Offset调节方法

技术领域

本发明属于视频编码技术领域。具体地说，是涉及在低延迟(low-delay,LD)编码结构下的一种自适应QP Offset调节方法。在有最大QP Offset限制条件下，本发明的目标是通过自适应调节方法，进而给出帧编码量化参数(QP)值，以提升编码性能。

背景技术

目前主流的视频编码器中，大部分都采用分层的QP Offset设置来进行编码。这种分层的QP Offset在编码过程中是按经验值来设定且在编码过程中是不作改变的。在视频编码过程中，信源内容中运动剧烈的图像帧对后续图像帧的影响要远远小于运动缓慢时的情况，因此运动剧烈的图像帧应该分配较大的QP Offset，运动缓慢的图像帧应该分配较小的QP Offset。预设定并保持固定值不变的分层QP Offset技术没有考虑到视频信源内容的变化，将引起编码性能的降低。因此，视频源的运动剧烈程度不同，用于编码的量化参数QP也应不同。

针对上述情况，为了提升编码性能，解决分层QP Offset技术中存在的非自适应问题，本发明给出了一种针对低延迟编码的自适应QP Offset调节方法。本发明方法将视频源内容的变化程度考虑到分层的QP Offset调节中。

发明内容

本发明将视频源运动剧烈程度考虑到QP Offset的分配策略中来，首先构造信源失真时域传播链，然后通过源端失真统计来计算当前编码帧运动的剧烈程度和对后续编码帧的影响，最后给出自适应的当前编码帧的QP Offset值。本发明采用的技术方案如下：

1.帧级源失真的估算

在编码过程中，编码单元以原始帧为参考帧，运动估值后得到的残差的均方差，记做源运动补偿失真D^OMCP。根据整编码单元U_t,i的像素值F_t,i，计算出源失真

$D_{t,i}^{\mathrm{OMCP}}={\left|\right|F_{t,i}-F_{t-1,i}\left|\right|}^2---\left(1\right)$

其中，t表示当前编码时刻，i表示一帧图像分割成块的块番号。

公式(1)的计算可直接利用帧间运动估值算法。不失一般性，可以采用全搜索法，也可采用快速搜索算法如六边形法、钻石法等。

由于自适应QP Offset调节方法是针对帧级的，而源失真是针对编码单元的，因此需要将编码单元的源失真转化为帧的源失真。根据编码单元U_t,i的源失真计算得到编码时刻t的帧的源失真

$D_t^{\mathrm{OMCP}}=\frac{1}{M}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{D}_{t,i}^{\mathrm{OMCP}}---\left(2\right)$

其中，M是第t帧中所有编码单元个数。

2.QP Offset自适应调节

将视频源运动剧烈程度考虑到自适应的QP Offset调节方法中，根据帧级源端失真可以估计出当前帧运动的剧烈程度。利用公式(3)

$m_t=\log \left(D_t^{\mathrm{OMCP}}\right)=\log \left(\frac{1}{M}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{D}_{t,i}^{\mathrm{OMCP}}\right)---\left(3\right)$

计算出当前第t帧的运动剧烈程度，用m_t表示。

根据运动强度m_t，计算其微分项如公式(4)所示，

${\mathrm{\δm}}_t=\frac{{\mathrm{dm}}_t}{\mathrm{dt}}=m_t-m_{t-l}---\left(4\right)$

计算其积分项如公式(5)所示，

${\∫}_{m_t}={\∫}_{t-w}^t{m}_i=\underset{i=0}{\overset{w}{\mathrm{\Σ}}}{m}_{t-i}---\left(5\right)$

其中l为GOP的长度，通常在low-delay编码中取值为4；w为滑动窗口的长度，优选为其GOP的长度l加1。

对当前帧的运动剧烈程度m_t进行处理，利用公式

${\mathrm{\ΔQP}}_t^{\mathrm{offset}}=f\·\frac{{\mathrm{\δm}}_t}{\∫m_t}---\left(6\right)$

计算出QP Offset的增量，从而对每帧的QP Offset进行自适应调节。其中， 表示QP Offset增量。f为比例因子，关键帧(t整除GOP长度)的f值取值范围在区间[120,240]中，通常默认取值为180；非关键帧f的值取值范围在区间[70,140]中，通常默认取值为105。

根据QP Offset增量利用公式(7)

${\mathrm{QP}}_t^{\mathrm{offset}}={\mathrm{QP}}_{\mathrm{system}}^{\mathrm{offset}}+{\mathrm{\ΔQP}}_t^{\mathrm{offset}}---\left(7\right)$

计算出当前帧的QP Offset。

不同编码器预给出的QP Offset最大值不同，用max{QP^offset}表示编码器预设的极大QP Offset值。在HEVC中该值为3，在AVS-2中该值为5。为了保持一致性，需要将调节后的QP Offset限制max{QP^offset}以内并绑定在合理区间，如公式(8)所示。

${\mathrm{QP}}_t^{\mathrm{offset}}=\left\{\begin{array}{cc}\max \left\{{\mathrm{QP}}^{\mathrm{offset}}\right\}& t\mathrm{mod}2=1\\ \mathrm{clips}\{1,{\mathrm{QP}}_t^{\mathrm{offset}},{\mathrm{QP}}_{t-2}^{\mathrm{offset}}\}& t\mathrm{mod}l=0\\ \mathrm{clips}\{2,{\mathrm{QP}}_t^{\mathrm{offset}},\max \{{\mathrm{QP}}^{\mathrm{offset}}\left\}\right\}& \mathrm{other}\end{array}\right.---\left(8\right)$

在编码时刻t，使用公式(9)计算出当前帧的QP，用于当前帧的编码。

${\mathrm{QP}}_t={\mathrm{QP}}_{\mathrm{base}}+{\mathrm{QP}}_t^{\mathrm{offset}}---\left(9\right)$

其中，QP_base表示编码器预设的基准QP值，通常就是首I-帧QP值。QP_t表示t时刻用于编码的QP值。

附图说明

图1为本发明的主要步骤流程图；

图2为本发明在主流视频编码器框架中的位置；

图3为本发明在不同测试序列下的运行结果；

图4为AVS-2通测序列及帧数；

图5为AVS-2低延迟通测中本发明的BD-Rate性能。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

图1是自适应QP Offset调节方法的主要步骤流程图，具体而言包括：

步骤101：编码单元的源失真计算。提取当前帧所有编码单元U_t,i的像素值F_t,i，利用公式

$D_{t,i}^{\mathrm{OMCP}}={\left|\right|F_{t,i}-F_{t-1,i}\left|\right|}^2$

计算出当前帧所有编码单元的源失真

步骤102：帧级运动补偿失真估算。根据步骤101得到的当前帧所有编码单元的源失真利用公式

$D_t^{\mathrm{OMCP}}=\frac{1}{M}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{D}_{t,i}^{\mathrm{OMCP}}$

计算出帧级运动补偿失真

步骤103：运动剧烈强度估算。根据步骤102计算出的帧级运动补偿失真，利用公式

$m_t=\log \left(D_t^{\mathrm{OMCP}}\right)$

估算出当前帧的运动强度m_t，并把新的m_t写进滑动窗口中，用于更新滑动窗口中的数据。

步骤104：QP Offset增量计算。读取滑动窗口大小w＝5，取出窗口中的w个数据m_t,m_t-1,…,m_t-w，读取LD模式下的GOP长度l＝4，根据公式

${\mathrm{\δm}}_t=\frac{{\mathrm{dm}}_t}{\mathrm{dt}}=m_t-m_{t-l}$

$\∫m_t={\∫}_{t-w}^t{m}_i=\underset{i=0}{\overset{w}{\mathrm{\Σ}}}{m}_{t-i}$

分别得到运动强度m_t的微分项和积分项。联合读取的经验值f，利用公式 

${\mathrm{\ΔQP}}_t^{\mathrm{offset}}=f\·\frac{{\mathrm{\δm}}_t}{{\∫m}_t}$

计算出QP Offset增量

步骤105：QP Offset自适应调节。根据步骤104得到的和编码器预设的QP Offset，利用公式

${\mathrm{QP}}_t^{\mathrm{offset}}={\mathrm{QP}}_{\mathrm{system}}^{\mathrm{offset}}+{\mathrm{\ΔQP}}_t^{\mathrm{offset}}$

计算出调整后的QP Offset。读取编码器预设的最大QP Offset，利用公式

${\mathrm{QP}}_t^{\mathrm{offset}}=\left\{\begin{array}{cc}\max \left\{{\mathrm{QP}}^{\mathrm{offset}}\right\}& t\mathrm{mod}2=1\\ \mathrm{clips}\{1,{\mathrm{QP}}_t^{\mathrm{offset}},{\mathrm{QP}}_{t-2}^{\mathrm{offset}}\}& t\mathrm{mod}l=0\\ \mathrm{clips}\{2,{\mathrm{QP}}_t^{\mathrm{offset}},\max \{{\mathrm{QP}}^{\mathrm{offset}}\left\}\right\}& \mathrm{other}\end{array}\right.$

将QP Offset限制在max{QP^offset}以内并绑定在合理区间。

步骤106：计算QP值。根据步骤105得到的和编码器预设的QP_base，利用公式

${\mathrm{QP}}_t={\mathrm{QP}}_{\mathrm{base}}+{\mathrm{QP}}_t^{\mathrm{offset}}$

计算出QP_t，用于第t帧编码。

本发明已实现集成并以动态链接的方式提供接口，其在主流视频编码器框架中的位置如图2所示。为了说明本发明的整体性能，以AVS-2(10.1版本)编码器为例，可以直接调用本发明接口，实现QP Offset自适应调节。

按照AVS-2制定的通测条件，测试序列如表1所示，本发明的QP Offset自适应调节方法在LDP配置下实施，并且在27、32、38、45四个测点下标准配置测试。测试结果如表2所示，BD-Rate表示比特率与失真之间的关系，它是一个百分比数值，其值为负表示达到相同的视觉质量，比特率节省的比例，为正表示比特率过多消耗的比例。从表2中可以看出，本发明的QP Offset自适应调节功能开启后，BD-Rate在LDP编码结构下获得明显增益。

图3为本发明在不同测试序列下的运行结果。X-轴坐标表示视频图像播放的时间刻度，Y-轴表示QP Offset值。可以看到QP Offset值能随着视频源内容的变化而变化，表明本发明QP Offset调节方法具备很强的自适应能力。

Claims (5)

1.一种低延迟编码自适应QP Offset调节方法，其特征在于包括以下步骤：

步骤一、帧级源失真的估算

在编码过程中，编码单元以原始帧为参考帧，运动估值后得到的残差的均方差，记做源运动补偿失真D^OMCP；根据整编码单元U_t,i的像素值F_t,i，计算出源失真

$D_{t,i}^{\mathrm{OMCP}}={\left|\right|F_{t,i}-F_{t-1,i}\left|\right|}^2---\left(1\right)$

其中，t表示当前编码时刻，i表示一帧图像分割成块的块番号；

将编码单元的源失真转化为帧的源失真，根据编码单元U_t,i的源失真计算得到编码时刻t的帧的源失真

$D_t^{\mathrm{OMCP}}=\frac{1}{M}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{D}_{t,i}^{\mathrm{OMCP}}---\left(2\right)$

其中，M是第t帧中所有编码单元个数；

步骤二、QP Offset自适应调节

将视频源运动剧烈程度考虑到自适应的QP Offset调节方法中，根据帧级源端失真可以估计出当前帧运动的剧烈程度，利用公式(3)

$m_t=\log \left(D_t^{\mathrm{OMCP}}\right)=\log \left(\frac{1}{M}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{D}_{t,i}^{\mathrm{OMCP}}\right)---\left(3\right)$

计算出当前第t帧的运动剧烈程度，用m_t表示；

根据运动强度m_t，计算其微分项如公式(4)所示，

${\mathrm{\δm}}_t=\frac{{\mathrm{dm}}_t}{\mathrm{dt}}=m_t-m_{t-l}---\left(4\right)$

计算其积分项如公式(5)所示，

${\∫}_{m_t}={\∫}_{t-w}^t{m}_i=\underset{i=0}{\overset{w}{\mathrm{\Σ}}}{m}_{t-i}---\left(5\right)$

其中l为GOP的长度,w为滑动窗口的长度；

对当前帧的运动剧烈程度m_t进行处理，利用公式

${{\mathrm{\ΔQP}}_t}^{\mathrm{offset}}=f\·\frac{{\mathrm{\δm}}_t}{{\∫}_{m_t}}---\left(6\right)$

计算出QP Offset的增量，从而对每帧的QP Offset进行自适应调节；其中，ΔQP_t ^offset表示QP Offset增量，f为比例因子；

根据QP Offset增量ΔQP_t ^offset，利用公式(7)

${{\mathrm{QP}}_t}^{\mathrm{offset}}={\mathrm{QP}}_{\mathrm{system}}^{\mathrm{offset}}+{{\mathrm{\ΔQP}}_t}^{\mathrm{offset}}---\left(7\right)$

计算出当前帧的QP Offset

不同编码器预给出的QP Offset最大值不同，用max{QP^offset}表示编码器预设的极大QPOffset值；将调节后的QP Offset限制max{QP^offset}以内并绑定在合理区间，如公式(8)所示

${{\mathrm{QP}}_t}^{\mathrm{offset}}=\left\{\begin{array}{cc}\max \left\{{\mathrm{QP}}^{\mathrm{offset}}\right\}& t\mathrm{mod}2=1\\ \mathrm{clips}\{1,{{\mathrm{QP}}_t}^{\mathrm{offset}},{\mathrm{QP}}_{t-2}^{\mathrm{offset}}& t\mathrm{mod}l=0\\ \mathrm{clips}\{2,{{\mathrm{QP}}_t}^{\mathrm{offset}},\max \{{\mathrm{QP}}^{\mathrm{offset}}\left\}\right\}& \mathrm{other}\end{array}\right.---\left(8\right)$

在编码时刻t，使用公式(9)计算出当前帧的QP，用于当前帧的编码

${\mathrm{QP}}_t={\mathrm{QP}}_{\mathrm{base}}+{{\mathrm{QP}}_t}^{\mathrm{offset}}---\left(9\right)$

其中，QP_base表示编码器预设的基准QP值，通常就是首I-帧QP值；QP_t表示t时刻用于编码的QP值。

2.如权利要求1所述的一种低延迟编码自适应QP Offset调节方法，其特征在于：公式(1)的计算利用帧间运动估值算法、全搜索法或快速搜索算法。

3.如权利要求1所述的一种低延迟编码自适应QP Offset调节方法，其特征在于：GOP的长度在low-delay编码中取值为4。

4.如权利要求1所述的一种低延迟编码自适应QP Offset调节方法，其特征在于：关键帧f值的取值范围在区间[120,240]中，默认取值为180；非关键帧f值的取值范围在区间[70,140]中，默认取值为105。

5.如权利要求1所述的一种低延迟编码自适应QP Offset调节方法，其特征在于：滑动窗口w的值优选为其GOP的长度l加1。