CN102595132A

CN102595132A - 一种应用于无线传感器网络的分布式视频编解码方法

Info

Publication number: CN102595132A
Application number: CN2012100369341A
Authority: CN
Inventors: 孙力娟; 林兆晓; 肖甫; 王汝传; 郭剑; 韩崇
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Nanjing Post and Telecommunication University; Nanjing University of Posts and Telecommunications
Priority date: 2012-02-17
Filing date: 2012-02-17
Publication date: 2012-07-18

Abstract

一种应用于无线传感器网络的分布式视频编解码方法，采用基于感兴趣区域提取的视频编解码框架，鉴于残差视频编解码的优点，结合二者融合应用的优点，突破了单独采用残差视频编解码的局限性。残差编码可以去除视频序列的时间冗余度，但是对于运动激烈的区域，进行残差编码反而会使系统性能变差。本发明利用基于感兴趣区域提取框架的分布式视频编解码体系的特点：区分出运动激烈区域和非激烈区域。对其中的非激烈区域块进行残差块编解码，可以使系统获得更优的率失真特性，最终达到降低传感器节点的能耗目的。

Description

一种应用于无线传感器网络的分布式视频编解码方法

技术领域

本发明涉及一种应用于无线传感器网络的分布式视频编解码方法，具体是一种基于感兴趣区域提取和预测残差编解码的视频编解码方法，属于无线多媒体传感器网络领域。

背景技术

近年来，伴随着无线多媒体通信技术的迅速发展，一些新的视频应用需求开始出现，如：无线PC摄像机、移动可视电话、无线视频监控、无线多媒体传感器网络等。在这些新的视频应用中，由于受限于电源电量、存储容量、计算能力、通信能力，无线视频终端不仅需要较低复杂度的编码，而且需要视频信号实时编码和传输。传统的视频编码标准(如MPEG、H.26X)都采用了混合编码框架，编码采用运动估计，充分挖掘视频序列的时间和空间相关性信息，一般情况下，编码复杂度是解码复杂度的5～10倍，不再适用于这些新的视频应用场合中，必须寻找新的编码压缩方法。一种全新的视频编解码框架-分布式视频编码(Distributed VideoCoding，DVC)已经受到了学者的广泛关注，这种视频编码突破了传统视频编码的束缚，采用帧内编码和帧间解码技术，通过在解码端发掘视频信号的相关性进行帧间预测解码，从而去掉了编码端复杂的帧间预测，具有低复杂编码的特性，并且具有很好的编码鲁棒性特点，能较好地满足这些新的视频应用需求。分布式视频编解码作为一项核心技术，在各个方面有着广泛的应用前景。

目前比较经典的分布式编解码方案主要包括斯坦福大学Girod和Aaron等提出的Wyner-Ziv视频编码，加州大学伯克利分校的Ramchandran等提出的PRISM视频编码，Zixiang Xiong提出的分层Wyner-Ziv视频编码，Sehgal等提出的state-free分布式视频编码，基于小波编码的分布式视频编码以及多视角分布式视频编码等。传统的基于turbo或LDPC对Wyner-Ziv帧的所有区域不加区别的编码，这种方式的编码处理，对于运动比较剧烈的区域和运动对象的边缘区域，运动估计技术不能够准确预测，解码时需要向编码端请求较多的反馈信息，这样不仅增加了码率，而且解码的部分图像仍不够精确。

在Wyner-Ziv视频编码中，解码端的运动估计技术是根据帧间的相关性进行运动矢量预测实现的。当解码端边信息和Wyner-Ziv帧之间的相关性较弱时，就不能准确的进行运动估计，进而影响解码的效果。基于感兴趣区域提取方法即将运动剧烈和运动对象边缘区域，作为ROI提取出来，采用熵编码方式，从而提高编码端的效率和解码图像的质量。

Aaron和Girod等在编码端对W帧进行残差预测，再对预测残差进行LDPC编码；在解码端，通过运动估计可以生成更好的边信息，以用于重构解码帧。利用视频序列的时域相关性进行编码，虽增加了编码端帧的存储和帧间相减的计算量，却提高了率失真性能。

发明内容

技术问题：依据上述所述基于感兴趣区域提取和预测残差编码的分布式视频编码的优点，本发明提供了一种将预测残差编码思想应用于感兴趣区域提取方案中的分布式编解码方法，即一种应用于无线传感器网络的分布式视频编解码方法，它采用通过结合感兴趣区域提取方法和预测残差编码方法二者的优点，进一步获得了更好的率失真性能。

技术方案：基于感兴趣区域提取的具体算法框架：将待编码的视频流分为关键帧(K)和Wyner-Ziv帧(WZ)，K帧采用传统的编码方案，WZ帧根据感兴趣区域提取区分算法，采用ROI判断准则将宏块区分为ROI宏块和非ROI宏块，对ROI宏块采取熵编解码，对非ROI宏块采取LDPC编解码的方式。

将预测残差编码的思想应用到非ROI宏块的编解码当中。当前ROI宏块X和前一关键帧相同位置的宏块X_er相减得残差块X-X_er，对所产生残差块进行LDPC编码。解码端通过运动估计插值生成X的边信息块Y，使X_er复制到解码端，得残差边信息块Y-X_er。利用此残差信息块解码残差块X-X_er，最后在重建非ROI宏块的时候加上参考块X_er。

一、体系结构

本发明所用到的分布式视频编码的体系结构的主体是基于变换域Wyner-Ziv视频编码体系，另外包括感兴趣区域提取部分和残差编解码部分。

二、方法流程

应用于无线传感器网络的分布式视频编解码方法的具体步骤为：

步骤1.划分出视频序列的K帧和W帧，

步骤2.对K帧进行帧内编解码，

步骤3.选择一种感兴趣区域提取算法区分出W帧中的ROI(Region Of Interest)宏块即图像的感兴趣区域，指图像中运动较剧烈的区域，同时将非ROI宏块，记为X；

步骤4.对ROI宏块采用熵编解码；(常见的熵编码有：LZW编码、香农(Shannon)编码、哈夫曼(Huffman)编码和算术编码(arithmetic coding)。熵编码是一种无损的编码方式。)

步骤5.对非ROI宏块采取残差编解码即对图像的残差进行编解码；

步骤6.根据解码出的K帧和W帧，恢复视频序列，完成分布式编解码。

在以上的步骤4中，对ROI宏块采用熵编解码，是将预测残差编码思想应用于感兴趣区域块的编解码中，具体步骤为：

步骤41.计算W帧中非ROI宏块和关键帧中相同位置宏块作差X-X_er，得到残差图像；

步骤42.对该残差图像进行LDPC编码；

步骤43.通过对K帧和重构出的W帧进行运动估计获得LDPC解码的边信息Y；边信息Y减去参考块X_er即关键帧中与非ROI宏块位于相同位置的宏块，从而获得差值边信息Y-X_er；

步骤44.根据此差值边信息，重构出残差块X′-X_er；

步骤45.将重构的残差块X′-X_er加上参考块X_er，即得到重构的非ROI宏块X′。

有益效果：本发明提出了一种结合感兴趣区域提取技术和残差编解码技术优点的无线传感器网络的分布式视频编解码方法，主要用于提升分布式编解码体系的率失真特性。

基于turbo或LDPC对Wyner-Ziv帧的所有区域不加区别的编码处理，对于运动比较剧烈的区域和运动对象的边缘区域，运动估计技术不能够准确预测，解码时需要向编码端请求较多的反馈信息，这样不仅增加了码率，而且解码的部分图像仍不够精确。而通过ROI判定准则提取运动剧烈区域并基于熵编码压缩，其余区域则基于LDPC分布式编解码，可以增强运动剧烈区域和运动对象的边缘区域编码的效率，从而在降低码率的同时提高解码图像质量，最终降低传感器节点能耗。

残差编码可以充分利用帧间宏块的相关性，去除时间冗余度。但是在视频流有较大的内容变化时，进行残差编码操作反而会是的编码图像更为复杂，压缩效果受到很大损失。

本发明利用基于感兴趣区域提取框架的分布式视频编解码体系的特点：这种框架体系将W帧划分成块，提取其中的感兴趣区域宏块即运动激烈区域宏块进行熵编码，其中非感兴趣区域宏块进行LDPC编解码。而非感兴趣区域正是图像视频序列中运动不激烈的区域，所以对这部分宏块采取残差编码可以充分利用残差编码的优点，避免其应用的缺点。

因此，本发明的有益效果主要包括增加编码效率，降低码率，提升图像质量，获得更好的率失真特性，最终降低传感器节点的能耗。

附图说明

图1是基于感兴趣区域提取的分布式视频编解码的体系框图。

图2是基于残差编解码的W-Z帧编解码体系框图。

图3是本发明的分布式编解码框图。

图4是基于感兴趣区域提取算法的流程图。

图5是残差编解码算法流程图。

图6是本发明的算法流程图。

具体实施方式

本发明的基本框架是基于感兴趣区域提取的分布式编码体系，改进的地方在于对非感兴趣区域采取残差编码，该体系的具体运行步骤如下：

步骤1.将待编码的视频流分为关键帧(K)和Wyner-Ziv帧(W)。K帧采用传统的编码方案，W帧采用LDPC编解码和熵编解码相结合的方案。

步骤2.在编码端K帧采用JPEG的编码方案，W帧根据ROI区分(感兴趣区域区分)算法，采用ROI判断准则将宏块区分为ROI宏块和非ROI宏块。

步骤3.对ROI宏块采取熵编解码。

步骤4.取参考块：当前ROI宏块X和前一关键帧相同位置的宏块X_er。

步骤5.当前ROI宏块X和前一关键帧相同位置的宏块X_er相减得残差块X-X_er。

步骤6.对所产生残差块进行LDPC编码。

步骤7.在解码端，ROI宏块采取LDPC编解码的方式，对由非ROI宏块与前一关键帧相同位置宏块作差所得残差块进行LDPC解码。

步骤8.残差帧的解码边信息是由重构的K和W帧运动估计插值产生的边信息Y再减去X_er所得。

步骤9.最后将重构的非ROI块加上残差帧X_er就可以得到重构的非ROI宏块。

为了方便描述，我们假定有如下应用实例，如图3所示：系统包括K帧帧内编码，K帧帧内解码，W帧图像宏块区分模块，ROI宏块熵编解码，对非ROI宏块作差取残差块进行LDPC编解码。

编码端，传感器节点传输一系列视频序列，系统运行后的具体步骤为：

步骤1.按一定的K帧和W帧的区分规则，划分出视频序列的K帧和W帧。

步骤2.对K帧进行帧内编码。

步骤3.对W帧图像宏块区分模块的操作包括：

(1)感兴趣宏块提取是基于量化DCT系数差别的比较的操作。

(2)首先，当前W-Z帧的当前宏块的DCT系数与前一关键帧相同位置的块的DCT系数相比较。得到量化DCT系数的差别d_i。

(3)将d_i定义为d_i＝|q_i-h_i|，其中q_i为当前W-Z帧的当前宏块的DCT系数，h_i为存储在编码端缓冲器中的与当前W-Z帧的当前宏块相同位置的前一关键帧的宏块的量化DCT量化系数。

(4)ROI判断规则如下：max(d_i)＞1或者

判定为ROI块，其他

的为非ROI块。其中R_i是根据Zig-Zag扫描方式而定的权重值，低频系数的权重值大于高频系数的权重值。另外，i∈N，代表当前编码帧的DCT系数个数。

步骤4.对ROI宏块采用熵编解码。

步骤5.计算W帧中非ROI宏块和关键帧中相同位置宏块的差值。

步骤6.对该差值进行LDPC编码。

步骤7.通过对K帧和重构出的W帧进行运动估计，插值等操作获得LDPC解码的边信息。但是此边信息要减去参考块即非ROI宏块和关键帧中相同位置的宏块。获得差值边信息。

步骤8.根据此差值边信息，重构出残差块。

步骤9.将重构的残差块加上参考块，即得到重构的非ROI宏块。

步骤10.最后进行DCT反变换，联合解码出Wyner-Ziv帧。

步骤11.根据解码出的K帧和W帧，恢复视频序列，完成分布式编解码。

Claims

1.一种应用于无线传感器网络的分布式视频编解码方法，其特征在于该方法的具体步骤为：

步骤1.划分出视频序列的K帧和W帧，

步骤2.对K帧进行帧内编解码，

步骤3.选择一种感兴趣区域提取算法区分出W帧中的ROI宏块即图像的感兴趣区域，指图像中运动较剧烈的区域，同时将非ROI宏块，记为X；

步骤4.对ROI宏块采用熵编解码；

2.根据权利要求1所述的应用于无线传感器网络的分布式视频编解码方法，其特征在于步骤4中，对ROI宏块采用熵编解码，是将预测残差编码思想应用于感兴趣区域块的编解码中，具体步骤为：

步骤42.对该残差图像进行LDPC编码；

步骤44.根据此差值边信息，重构出残差块X′-X_er；