CN106550237B - 一种监控视频压缩方法 - Google Patents

Abstract

本发明涉及视频处理技术领域，尤其涉及一种监控视频压缩方法,其包括以下步骤：针对I帧背景长期不变的特性，去除重复出现的I帧带来的冗余信息；P帧使用有选择地跳帧方法来降低数据量；针对于P帧跳帧后有可能给视频带来的跳跃感，使用插帧重建方法来降低其跳跃感。上述监控视频压缩处理方法在原有标准上，针对于监控视频所具有的特点进行了针对性的优化措施，在不影响视频重建质量的前提下，尽可能的降低了码流大小，有效地降低了室内监控无线传感器网络出现数据拥塞的可能性。

Description

一种监控视频压缩方法

【技术领域】

本发明涉及视频处理技术领域，尤其涉及一种监控视频压缩方法。

【背景技术】

无线多媒体传感器网络满足了人们对区域性信息协同采集分析处理的需求，不同于以往的低速传感器网络，高速传感器网络对传感器节点的采集处理信息的能力要求更加严格，对网络能够承载的负载能力要求也随之上升。从而衍生了许多关键技术亟待研究和解决，例如：1、高压缩比多媒体数据压缩问题；2、网络多媒体数据阻塞，实时性问题；3、数据存储问题。解决这些问题的一个根源性手段就是对采集到的数据进行有效的压缩。

随着视频编解码业务需求量的急剧增加，国际标准组织在统一化编解码标准制定方面进行了一系列的工作，其中国际电信联盟ITU-T下的视频编码专家组VCEG(VideoCoding Expert Group)与国际标准化组织ISO/IEC下的运动专家图像专家组MPEG(MotionPicture Expert Group)在这一领域影响最大。以下是两大组织制定的较为重要常用的标准：

(1)H.264标准

H.264又被称为是MPEG-4/AVC，他是两大视频图像组织联合研究的产物。它的制定之初的目标之一就是为了满足越来越多的网络视频业务的需求，所以它具有良好的网络适应性。比起以往的压缩标准，它具有更大的压缩比，使得他被广泛应用于多媒体压缩领域，例如视频点播服务，高清DVD压缩，无线环境下的视频压缩。相对于以前的压缩标准，它的优点有一下两个方面：

低码率：由于采用了更加灵活的宏块划分手段，以及更加成熟的熵编码机制CABAC的引入，H.264在预测准确性和残差编码效率方面都比以前标准有了极大提升。实验表明，在同样视频效果下，H.264压缩比能够达到MPEG-4的一倍以上。在实际的使用中，就可以极大的节约网络带宽资源。

容错能力强：H.264视频编解码标准分为视频编码层和网络提取层，所以增强了对各种信道的适应能力，能够较好地解决误码和丢包错误，H.264的容错能力比MPEG-4提高了一倍。

(2)AVS标准

AVS(Audio Video coding Standard)标准是具有我国自主产权的视频压缩标准，它是一个系列标准的简称，如今还在不断的制定完善过程中。AVS有以下特点：可应用于各种视频压缩技术应用领域，的压缩性能与H.264相当，比H.261,H.262,H.263,MPEG-1,MPEG-2等压缩算法有明显的优势。AVS除了具有H.26X和MPEG-X一样的通用压缩标准特性外，他还在监控视频编码这个特定方面制定了独立的标准。在针对监控视频压缩，AVS修订版AVS-S2，与H.265增加更灵活的宏块划分方法和宏块预测机制来提高压缩比不同，它是消除了监控视频的背景场景长期不变而带来的时间上的冗余，通过背景和前景的学习建模，将编码时间和压缩比提高了一倍以上。

(3)H.265

随着4K技术的兴起，原有的H.264技术已经不能满足1080P等高清视频压缩传输的需要。H.265是继H.264之后新的视频编码标准，华为公司参与了其标准的制定，具有当中绝大部分的专利。H.265标准保留了H.264原有的某些技术，保持了其编码流程，包括预测编码、残差转换、量化、熵编码等模块，同时对块匹配搜索算法，宏块划分，帧内预测方向等技术加以改进。新技术的使用，使得在压缩比和编码质量上取得了明显的提高，但是随之增加的是算法的复杂度和计算对资源的消耗。据实验表明，在同样编码条件下，H.265比H.264能够减少码流39-44％，但是功耗的消耗也随之提升到四倍。

(4)分布式编码

传统的视频压缩技术在编码端需要的编码方式选择和码流控制等耗时步骤，导致了解码简单而编码困难。这种编码方式适合于光盘存储等一次编码多次解码场合，但是此类编码标准不符合无线传感器网络中传感器节点功耗低的特点。针对于传感器网络数据的压缩，分布式视频编码应运而生。这种编码框架把编解码的复杂性放在了解码端而不是编码端，具有解码复杂而编码简单的特点，并且压缩比也较为满意，非常适合无线多媒体传感器网络。此类视频编码思想最早由lepian，Wolf，Wyner，Ziv提出，并且越来越多的学者进行研究。但是处于刚刚起步研究阶段，理论和算法还不成熟，但是具有很大的研究和商用价值。

【发明内容】

有鉴于此，有必要提供一种高能有效的监控视频压缩方法。

一种监控视频压缩方法，其特征在于，包括以下步骤：

A、对监控视频的背景进行判断，若监控视频的背景区域长时间处于不变的状态，则在传统I帧编码的基础上，进一步去除I帧冗余信息；

B、选择性启动对P帧的跳帧机制，对前后帧关联性进行判断，若前后帧的关联性大于预设值，则跳过该帧；

C、针对上述跳帧给视频质量带来的跳跃感影响，在解码端使用插帧重建技术来重建被跳过的帧。

2、根据权利要求1所述的室内监控视频压缩方法，其特征在于步骤1)中采取的进一步去除I帧冗余信息，包括如下步骤：

a、提取和更新所处场景的监控视频背景；

b、其中背景宏块采用合适的接口表示，并对该类型宏块放弃传统压缩编码方式，而只传一个背景宏块的标示，该标示用于告诉解码端：该宏块是背景宏块；

c、解码端收到背景宏块标示时，使用已经缓存的背景数据直接拷贝填充重建背景数据。

进一步的，所述步骤(2)中采取的P帧选择性进行跳帧编码的标准，即

j＝1,2,3....

其中，V(j)代表编码第j帧时编码器端缓冲区剩余的空间，f代表着编码的帧率，BD(j)代表此时和信道带宽；b(i)代表了第i帧的编码后实际的比特数，N(j)为当前估计运动物体通过摄像头区域的剩余帧数；R(j)反映了现在每帧的平均的编码比特数；B(j)是一个估算值，估算在当前的码率和网络传输条件下，在N(j)帧之内是否存在使得缓冲区溢出可能的值；

如果B(j)<＝0，则表示存在运动物体未离开监控区域时，缓冲区已经开始溢出，选择性的跳帧机制启动；

编码过每帧之后，需要按照显示来更新缓存区和N(j)，即

N(j)＝N(j)-1。

再进一步的，所述步骤(3)中在解码端使用插帧重建技术来重建被跳过的帧具体包括如下步骤：

I、矢量场可信度划分

首先，确定从H.264码流中得到的矢量场的可信度，其中P帧中的I宏块的运动矢量初始化零；根据H.264码流中对应宏块的残差能量来对矢量场进行划分，并且将P帧中出现的I类型编码宏块所对应的矢量强制性归为不可信矢量，即

其中R_Y(i,j)，

R_Cr(i,j)分别代表了重建宏块与真实图像在色度和亮度的能量差；然后按照设定的阈值在多整个图像的矢量场进行了划分，即

其中，L3是可信矢量场，L1是不可信矢量场；

II、矢量场选择

对通过上一步选择出来的不可信矢量进行矢量修正，利用不可信矢量周围的可信矢量，来对其进行校正，即

其中

B代表当前不可信矢量对应的宏块，在这里选择候选矢量的范围S为当前矢量所在16X16宏块的周围的八个16X16宏块内的所有矢量，

III、矢量场再判断

按照第一步的方法来对校正后的矢量场进行再次划分，即

其中L3为可信矢量场，L2为不可信矢量场，

IV、矢量场再选择

对步骤III、判断的L2矢量对应的宏块，进行一定限制范围S内的全搜索算法匹配来进行矢量赋值，即

其中

S＝(s_x,s_y)where-s_x<＝v_x<＝s_x,-s_y<＝v_y<＝s_y。

本发明一种基于H.264标准的室内监控视频压缩方法，通过针对I帧背景长期不变的特性，去除重复出现的I帧带来的冗余信息；P帧使用有选择地跳帧方法来降低数据量；针对于P帧跳帧后有可能给视频带来的跳跃感，使用插帧重建方法来降低其跳跃感，从而完成监控视频的压缩。本发明针对于基于H.264标准的室内监控视频压缩容易出现码率不稳定，周期性出现数据量陡增的问题，相应的提出了一种较为简单的处理方法。并且将编解码的复杂度尽量放在解码端，能适用于无线传感器网络等无线设备上压缩使用场景。

【附图说明】

图1为本发明一种监控视频压缩方法的编码流程示意图；

图2为本发明一种监控视频压缩方法的解码流程示意图；

图3为本发明一种监控视频压缩方法的I帧背景提取压缩编码示意图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一种监控视频压缩方法，在本实施例中，该监控视频压缩方法为基于H.264标准的室内监控视频压缩方法；包括以下步骤：1、针对I帧背景长期不变的特性，去除重复出现的I帧带来的冗余信息；2、P帧使用有选择地跳帧方法来降低数据量；3、针对于P帧跳帧后有可能给视频带来的跳跃感，使用插帧重建方法来降低其跳跃感。

如图1和图2所示，在优选的实施方式中，去除重复出现的I帧带来的冗余信息包括如下步骤：采用背景提取技术，背景宏块使用合适的接口表示并且进行特殊的处理，对该类型宏块放弃压缩编码，解码端遇到背景宏块时，使用已经缓存的背景数据直接拷贝填充宏块数据进行解码。

在优选的实施方式中，背景提取公式为：

Y(x,y,t)代表在t时刻，(x,y)位置的像素的亮度值，整个视频长度为H。视频被分为若干个周期，每个周期里面包含有L个数据。整个视频序列被分为I个小段，其中

求出每个小时间段内像素亮度的期望

其中i＝1,2,3......I

求出每个时间段像素的方差

其中i＝1,2,3......I

选择方差最短的时间段，认为此像素在此时间段里面处于背景状态，并且将此时间段内亮度期望作为真实背景亮度。

对背景图形像素的色度值依然按照以上方法进行提取。

在优选的实施方式中，背景更新机制如下：

H.264码流的结果在一定程度上反映了当前环境的变化。当环境出现剧烈的变化时，X264码流的大小会维持在一个较高的范围。当环境保持稳定，没有发生变化，或者变化已经完成，现阶段呈现稳定状态，X264码流的大小会维持在一个较低的程度。并且在监控范围内出现运动物体时，及时物体处于慢速运动状态，码流大小与无人状态下相比仍呈现较大的差别。

该方法只采用压缩后码流较小的帧，来对背景图像进行更新。更新算法基本上采用了多帧平均算法，只是加上了一些限制条件。这样就能有效避免传统多帧平均法的ghost现象，并且去除了阈值设定不当对更新结果造成的影响。

where CR(i)>K (4)

其中CR(i)代表第i帧的压缩比

if|∑B_m(x,y)-∑B_m-1(x,y)|>T,changed

if|∑B_m(x,y)-∑B_m-1(x,y)|<＝T,unchanged (5)

阈值T可以设置比较小的，因为有限制条件，所以可以大大降低阈值选取过小，噪声对真实背景的提取带来的影响。

当判断背景发生真实性的变化时，系统采用H.264规定的I帧编码方式与解码端同步变化后的背景图像，解码端将背景数据缓存，进行后续I帧重建。在优选的实施方式中，背景宏块的表示接口选择以及特殊处理如下：I_PCM(Pulse Code Modulation)是一种特殊的帧内编码模式。选择此种编码模式的宏块，不再采用传统的预测，量化，熵编码的编码流程，而是直接将宏块内的像素值直接写入码流。但在监控视频码流中，我们从未发现过此类型的宏块出现，所以我们选择了此宏块类型来代表背景宏块。在一个视频监控序列中，背景宏块经常以区域性聚集的形式出现。在上述提出的算法当中，每一个背景宏块都要占用一个I_PCM，在码流中每一个宏块数据，宏块头都要占据一定的数据空间。这样又造成了新的数据冗余。对于这些重复性出现的I_PCM宏块来说，我们使用游程编码来消除冗余。在编码中，对于连续出现的背景宏块，我们不直接编码，而是统计其连续出现的次数，直到遇到前景宏块为止。在背景宏块中，我们在PCM宏块中填入统计的次数。如附图3所示：

优选的实施方式中，P帧进行选择性跳帧的判断标准如下：

j＝1,2,3.... (6)

其中，V(j)代表则编码第j帧时编码端缓冲区剩余的空间，f代表着编码的帧率，BD(j)代表此时和信道带宽。b(i)代表了第i帧的编码后实际的比特数，N(j)为当前估计运动物体通过摄像头区域的剩余帧数。R(j)反映了现在每帧的平均的编码比特数。B(j)是一个估计，估计在当前的码率和网络传输条件下，在N(j)帧之内是否有可能使得缓冲区溢出。一般初始化N为75，原因是码率为15-20帧每秒，一般人通过监控区域的时间在五秒以内。

所以，如果B(j)<＝0，表示有可能在运动物体未离开监控区域时，缓冲区已经开始溢出，所以选择性的跳帧机制启动。

编码过每帧之后，需要按照显示来更新缓存区和N(j)：

N(j)＝N(j)-1 (8)

在优选的实施方式中，P帧跳过帧插帧重建的方法如下：

1)矢量场可信度划分

首先，确定从H.264码流中得到的矢量场的可信度，其中P帧中的I宏块的运动矢量初始化零。根据实验发现，运动矢量较为准确的宏块，重建后与真实的帧相比，残差能量很低。而在运动物体边缘等残差能量很高的地方，往往是运动矢量复杂，容易出现错误的地方。在这些地方，出现I类型宏块的可能性也很高。所以从残差能量来对矢量场进行划分：

其中R_Y(i,j)，

R_Cr(i,j)分别代表了重建宏块与真实图像在色度和亮度的能量差。然后按照设定的阈值在多整个图像的矢量场进行了划分：

其中，L3是可信矢量场，L1是不可信矢量场。并且对P帧中出现的I类型编码宏块，将其归为不可信矢量场。

MV(m,n)＝{L3,if Blocktype＝I} (11)

2)矢量场选择

对通过上一步选择出来的不可信矢量进行矢量修正。运动物体除了在时间上具有很大的相关性之外，在空间上也具有很强的相关性。一个宏块的运动矢量，往往与周围的运动矢量很相似。因此，选择不可信矢量周围的可信矢量，来对其进行校正：

其中

B代表当前不可信矢量对应的宏块。在这里选择候选矢量的范围S为当前矢量所在16X16宏块的周围的八个16X16宏块内的所有矢量。

3)矢量场再判断

上一步对不可信矢量场进行了校正，但是校正之后的结果并不代表了真实的运动矢量，仍旧按照第一步的方法来对校正后的矢量场进行再次划分和修正。

其中L3为可信矢量场，L2为不可信矢量场。

4)矢量场再选择

对上一步骤判断的L2矢量对应的宏块，进行一定限制范围S内的全搜索算法匹配来进行矢量赋值：

其中

S＝(v_x,v_y) where -S_x<＝v_x<＝S_x,S_y<＝v_y<＝S_y (14)

本发明原理主要在于对I帧进行了合理的H.264接口的重用，P帧针对于编码器缓冲区和物体运动强度合理的预估而实施的跳帧处理，以及基于区域残差能量而进行的矢量重建。对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种监控视频压缩方法，其特征在于，包括以下步骤：

1)、对监控视频的背景进行判断，若监控视频的背景区域长时间处于不变的状态，则在传统I帧编码的基础上，进一步去除I帧冗余信息；

2)、选择性启动对P帧的跳帧机制，对前后帧关联性进行判断，若前后帧的关联性大于预设值，则跳过该帧；

3)、针对所述跳帧给视频质量带来的跳跃感影响，在解码端使用插帧重建技术来重建被跳过的帧；

其中，步骤2)中采取的P帧选择性进行跳帧编码的标准，即

其中，V(j)代表编码第j帧时编码器端的缓冲区剩余的空间，f代表着编码的帧率，BD(j)代表此时的信道带宽；b(i)代表了第i帧的编码后实际的比特数，N(j)为当前估计运动物体通过摄像头区域的剩余帧数；R(j)反映了现在每帧的平均的编码比特数；B(j)是一个估算值，估算在当前的码率和网络传输条件下，在N(j)帧之内是否存在使得缓冲区溢出的值；

如果B(j)<＝0，则表示存在运动物体未离开监控区域时，缓冲区已经开始溢出，选择性的跳帧机制启动；

编码过每帧之后，需要按照显示来更新缓存区剩余的空间和N(j)，即

N(j)＝N(j)-1。

2.根据权利要求1所述的监控视频压缩方法，其特征在于步骤1)中采取的进一步去除I帧冗余信息，包括如下步骤：

a、提取和更新所处场景的监控视频背景；

b、背景宏块的表示接口采用I_PCM帧内编码模式，并对该类型宏块放弃传统压缩编码方式，而只传一个背景宏块的标示，该标示用于告诉解码端：该宏块是背景宏块；

c、解码端收到背景宏块标示时，使用已经缓存的背景数据直接拷贝填充重建背景数据。

3.根据权利要求1所述监控视频压缩方法，其特征在于，所述监控视频压缩方法具体为基于H.264标准的室内监控视频压缩方法；所述步骤3)中在解码端使用插帧重建技术来重建被跳过的帧，具体包括如下步骤：

I、矢量场可信度划分

首先，确定从H.264码流中得到的矢量场的可信度，其中P帧中的I宏块的运动矢量初始化零；根据H.264码流中对应宏块的残差能量来对矢量场进行划分，并且将P帧中出现的I类型编码宏块所对应的矢量强制性归为不可信矢量，即

其中R_Y(i,j)，

R_Cr(i,j)分别代表了重建宏块与真实图像在色度和亮度的能量差；然后按照设定的阈值在多个整图像的矢量场进行划分，即

其中，L3是可信矢量场，L1是不可信矢量场；

II、矢量场选择

对通过上一步选择出来的不可信矢量进行矢量修正，利用不可信矢量周围的可信矢量，来对其进行校正，即

其中

B代表当前不可信矢量对应的宏块，在这里选择候选矢量的范围S为当前矢量所在16X16宏块的周围的八个16X16宏块内的所有矢量，

III、矢量场再判断

按照第一步的方法来对校正后的矢量场进行再次划分，即

其中L3为可信矢量场，L2为不可信矢量场，

IV、矢量场再选择

对上一步骤判断的L2矢量对应的宏块，进行一定限制范围S内的全搜索算法匹配来进行矢量赋值，即

其中

Images