CN101860748B - 基于分布式视频编码的边信息生成系统及方法 - Google Patents

Abstract

本发明公开了一种基于分布式视频编码的边信息生成系统及方法，它属于视频编码技术领域，主要解决分布式视频编码系统生成边信息时缺少原始图像信息的问题。该方法由编码器相关性计算、解码器运动估计、运动平滑和运动补偿四部分组成。编码器计算原始图像帧间相关性并传送到解码器；解码器在相关性的辅助下，利用前驱和后继已解码关键帧进行前向和后向运动估计，并对得到的运动矢量进行检测和修正；然后采用重叠块双向运动估计和运动平滑得到准确的运动矢量；最后利用重叠块双向运动补偿产生边信息。本发明较大改善了边信息的主客观质量，进一步提高解码恢复图像的质量，可应用于终端设备简单的视频通信系统。

Description

基于分布式视频编码的边信息生成系统及方法

技术领域

本发明属于视频编码技术领域，涉及分布式视频编码系统以及利用前驱和后继已解码关键帧进行运动估计、平滑和帧内插，可用于分布式视频编码系统及其它帧内插领域。 

背景技术

传统的视频编码标准如MPEG-X和H.26X系列，主要依靠编码器利用编码信号的统计特性来实现压缩编码，从而导致编码器的运算复杂度是解码器的5至10倍以上。近年来，一些新的视频应用如无线视频传感器网络、移动视频电话和无线视频监控等在快速地融入和改变着人们的生活。然而，这些新出现的多媒体应用对视频的编解码系统提出了与以往不同的需求，即编码器因资源有限需要尽可能地简单，而解码器拥有较多资源可进行复杂地解码运算，这对视频编、解码系统的结构设计提出了新的挑战。 

分布式视频编码具有与传统编码标准相反的系统结构，与上述应用需求完全吻合。20世纪70年代，Slepian和Wolf提出了分布式信源无损编码理论，随后Wyner和Ziv提出了有损分布式信源编码，这两个理论奠定了分布式视频编码的理论基础。与传统的视频编码系统结构有很大的不同，分布式视频编码系统将主要的高运算复杂度模块从编码端转移到了解码端，由解码器利用信源的相关性实现高效的压缩编码。分布式视频编码已成为国内外的研究热点。 

在分布式视频编码系统中，将输入视频序列分为关键帧和Wyner-Ziv帧，两者在编码侧进行独立编码，解码侧联合解码，如图1所示。首先把输入序列分为关键帧和Wyner-Ziv帧，其中关键帧采用H.264/AVC帧内编/解码，而对于Wyner-Ziv帧，首先对每个Wyner-Ziv帧进行离散余弦变换(DCT)并提取系数带，对系数带进行Zigzag扫描排序；然后对系数带均匀量化，对量化系数提取比特面，将比特面分别送入LDPC编码器进行编码；在LDPC编码前，先进行无反馈的比特面速率控制，从而使LDPC编码在输入信息位不变的情况下，输出符合速率控制长度的校验位。解码时，首先对关键帧进行H.264/AVC帧内解码，利用解码出的前后两帧关键帧，通过运动补偿内插产生边信息；然后对边信息帧进行与编码侧相同变换、扫描、量化和比特面提取，并送入LDPC解码器，相关模型计算拉普拉斯 参数；LDPC解码器利用收到的校验位、对应边信息系数带以及相关信息，对各个系数带从最高位平面开始依次解码；接下来，将LDPC解码器输出结果依次通过合并位平面、反量化和反变换得到Wyner-Ziv帧的解码重构图像。 

边信息在分布式视频编码中是一个非常重要的概念，边信息是解码器所能得到的关于编码帧的信息。分布式视频编码系统性能很大程度上依赖于边信息与原始Wyner-Ziv帧的相关性，生成的边信息与Wyner-Ziv帧越相似，Wyner-Ziv帧的恢复图像质量越高，系统的性能也越好。因此，准确生成边信息成为提高分布式视频编码系统编码效率的一个关键问题。 

生成边信息的过程就是利用相邻重构帧的空域和时域信息对编码图像的一个估值过程。一般而言，视频序列相邻图像之间的时域相关性强于图像内部的空域相关性，所以边信息的插值主要依赖于时域信息。边信息的生成方法很多，主要有以下几种类型：边信息的生成方法很多，主要方法如下：1)不考虑图像的运动情况，直接将相邻的前后已解码关键帧取均值作为边信息，该方法运算复杂度低，但对于运动剧烈、场景变化大的视频序列，边信息质量较差；2)帧插值算法，包括帧间内插法和帧间外推法。其中内插法生成的边信息帧图像质量优于外推算法。 

现有的边信息内插算法大多是基于运动补偿时域内插(Motion CompensatedTemporal Interpolation)。在传统的视频系统中，MCTI属于解码端的后处理模块，主要用于提高解码序列的帧率，使视频序列的视觉效果更加平滑。MCTI主要利用视频图像序列运动矢量场的空间相关性和时间相关性来估计插值帧的运动矢量场。较为经典的边信息生成方法是基于空间平滑的的运动补偿内插方法，如图3所示。该算法利用前后两帧相邻已解码图像，进行前向运动估计、双向运动估计和运动平滑得到准确的运动域信息，然后通过双向运动补偿来内插生成边信息。 

现有搜索方法插值生成的边信息，缺少编码侧原始Wyner-Ziv帧的信息，没有利用它与相邻关键帧原始图像的准确相关性来辅助解码侧运动估计和运动平滑，从而导致解码端的运动估计易陷入局部优化，搜索出的运动矢量不够准确；对运动矢量统一进行优化，而没有针对不可靠的运动矢量单独采取措施；运动补偿只是采用简单的均值内插，生成的边信息有明显的块效应。这些缺点都影响了边信息生成质量，进一步影响整个系统的率失真性能。 

发明内容

本发明的目的在于克服上述已有技术的缺点，提出一种基于分布式视频编码的边信息生成方法，通过编码侧原始图像的相关性辅助运动估计和平滑，并采用 重叠块加权插值补偿，以得到较为准确的边信息，提高整个系统的率失真性能。 

为实现上述目的，本发明提供的基于分布式视频编码的边信息生成系统及方法，包括： 

相关性计算模块：用于计算编码侧当前Wyner-Ziv帧与其前驱和后继关键帧之间块相关性，并对相关性进行粗量化，发送到解码器； 

运动估计模块：解码器利用前驱和后继已解码关键帧，在原始图像相关性的辅助下进行块匹配运动估计，得到精确的运动矢量； 

运动平滑模块：在原始图像相关性的辅助下，用于对运动估计得到的运动矢量进行空间权重滤波，得到平滑的运动矢量； 

运动补偿模块：用于根据运动估计和平滑最终得到的运动矢量进行重叠块双向运动补偿，内插生成边信息。 

所述的运动估计模块包括： 

前向/后向运动估计子模块：用于根据原始图像相关性对每个内插帧子块判决搜索方式，并根据判决结果进行前向或后向块匹配运动搜索，将得到的运动矢量赋给内插帧对应子块； 

运动检测子模块：用于根据内插帧子块的运动矢量计算匹配块的匹配误差MAD和边界绝对误差BAD，将每个子块的运动矢量分为可靠和不可靠两类； 

运动修正子模块：用于对运动矢量不可靠的子块进行双向运动估计，以上一步运动估计得到的匹配块为中心进行重叠块双向运动估计，将得到的新的运动矢量赋给对应子块； 

分像素双向运动估计子模块：用于对内插帧所有子块进行进一步精细运动搜索，以前面步骤得到的匹配块为中心进行分数像素重叠块双向运动估计，将得到的分数精度的运动矢量赋给每个子块。 

为实现上述目的，本发明提出基于分布式视频编码的边信息生成系统及方法，包括如下步骤： 

(1)统计当前Wyner-Ziv帧和前趋和后继关键帧对应搜索子块之间的相关性，用均方误差MSE^B表征相关性，设当前Wyner-Ziv帧为第i帧，则它与前一关键帧第i-1帧对应子块的相关性为MSE_i-1 ^B，与后一关键帧第i+1帧对应子块的相关性为MSE_i+1 ^B，并将计算得到的MSE^B值进行粗量化处理后发送到解码侧； 

(2)利用接收到的编码端原始图像相关性判定内插帧每个子块的搜索方式：如果 

则以关键帧第i+1帧作为参考帧进行前向搜索，如果 则以关键帧第i-1帧作为参考帧进行后向搜索； 

(3)将前趋关键帧和后继关键帧分别分成若干大小相同，且互不重叠的子块，根据步骤(2)判断出的内插帧每个子块的搜索方式，选定相对应的关键帧作为当前参考帧进行块匹配搜索，找到最优匹配块；根据当前参考帧子块到该最优匹配块的位移mv计算最优匹配块间的匹配误差MAD₀和边界绝对误差BAD₀，并将运动矢量MV＝mv/2作为内插帧对应子块的运动矢量； 

(4)根据内插帧当前子块的运动矢量MV，找到当前子块在前趋和后继已解码关键帧中的匹配块，并计算这两个匹配块之间的匹配误差MAD₁和边界绝对误差BAD₁，然后与步骤(3)得到的匹配误差MAD₀和BAD₀进行比较，如果MAD₀＜MAD₁且BAD₀＜BAD₁则认为当前子块的运动矢量可靠，否则，认为当前子块的运动矢量不可靠，需要修正； 

(5)将运动矢量不可靠的子块四周各扩大K排像素，形成一个扩大块，按照步骤(3)得到的运动矢量MV找到当前子块在前趋和后继已解码关键帧中的匹配块，以该匹配块为中心进行扩大块匹配的双向运动搜索，得到新的运动矢量MV₀，并将该新的运动矢量MV₀赋给内插帧当前子块； 

(6)内插帧的每个子块，在它相邻4个子块的运动矢量确定出的搜索范围里，进行1/2像素精度的重叠块自适应双向运动搜索，得到内插帧子块较准确的运动矢量MV₁； 

(7)利用接受到的编码侧原始图像相关性，采用空间权重中值滤波器对内插帧子块运动矢量MV₁进行运动平滑，得到内插帧子块平滑的运动矢量MV₂； 

(8)对内插帧每个子块四周各扩大K排像素，形成一个扩大块，根据内插帧子块运动矢量MV₂找到当前扩大子块在前趋和后继已解码关键帧中的匹配块，在匹配块中取当前子块位置像素的内插值权值k＞0.5，其余的扩大重叠块位置像素的内插值权值为1-k； 

(9)按照上述权值对所有的内插帧子块依次进行加权平均插值，得到Wyner-Ziv帧的边信息。 

本发明与现有技术相比具有如下优点： 

1)本发明中由于利用编码侧原始图像相关性来辅助运动估计和运动平滑，解决了现有技术由于缺少原始图像的信息而陷入运动估计的盲目性和局部优化，使得运动搜索有效而准确。 

2)本发明中由于将搜索得到的运动矢量分为可靠的运动矢量和不可靠的运动 矢量，并对不可靠的运动矢量单独处理后再利用，解决了现有技术对运动矢量的盲目统一处理。 

2)本发明中由于使用了重叠块加权补偿内插技术，有效解决了块效应和重影问题，生成的边信息主客观质量都有了明显的提高。 

附图说明

图1是无反馈的分布式视频编码系统框图； 

图2是现有的基于空间平滑的运动补偿内插算法框图； 

图3是本发明基于分布式视频编码的边信息生成系统框图； 

图4是本发明基于分布式视频编码的边信息生成方法流程图； 

图5是本发明前向运动估计示意图； 

图6是本发明重叠块双向运动估计示意图； 

图7是本发明自适应搜索范围示意图； 

图8是本发明运动补偿时的块重叠示意图； 

图9是用现有方法和本发明方法生成边信息的客观质量比较图； 

图10是在“Foreman”序列相同实验条件下，使用不同方法生成边信息图像的主观质量对比图； 

图11是在“Mother-daughter”序列相同实验条件下，使用不同方法生成边信息图像的主观质量对比图。 

具体实施方式

参照图2，本发明基于分布式视频编码的边信息生成系统由编码器和解码器两部分组成，其中： 

编码器，对编码侧当前Wyner-Ziv帧与其前驱和后继关键帧间相关性进行计算，并对相关性数据进行粗量化后发送到解码器，用以辅助运动估计和运动平滑。 

解码器，由前向/后向运动估计，运动检测，运动修正，分像素双向运动估计，运动平滑和运动补偿六个模块组成。其中：前向/后向运动估计模块，根据原始图像相关性对每个内插帧子块判决搜索方式，如果当前块与前驱关键帧对应子块相关性强，则进行后向搜索，反之，进行前向搜索，得到每个子块的运动矢量；运动检测模块，先根据内插帧子块的运动矢量计算对应匹配块间的匹配误差MAD和边界绝对误差BAD，然后将每个子块的运动矢量分为可靠和不可靠两类，将运动矢量不可靠的子块传送到运动修正模块；运动修正模块，对运动矢量不可靠的子块进行重叠块双向运动估计，得到可靠的运动矢量；分像素双向运动估计模块，先根据当前子块相邻4个块 的可靠的运动矢量对搜索范围进行自适应调整，然后对内插帧所有子块进行分像素精细运动搜索，得到优化后的运动矢量，并传送到运动平滑模块；运动平滑模块，根据原始图像相关性，对优化后的运动矢量进行空间权重滤波，得到平滑的运动矢量，并传送到运动补偿模块；运动补偿模块，根据平滑的运动矢量进行重叠块双向运动补偿，内插生成边信息。 

参照图4，本发明的基于分布式视频编码的边信息生成步骤如下： 

步骤1，计算编码器中当前Wyner-Ziv帧与其前驱和后继关键帧之间子块相关性，用均方误差MSE^B0表示，编码器和解码器的子块尺寸要保持相同，设当前Wyner-Ziv帧为第i帧，则它与前驱关键帧第i-1帧对应子块的相关性为 与后继关键帧第i+1帧对应子块的相关性为 

步骤2，分别对当前块与前一关键帧第i-1帧对应子块的相关性 

和与后一关键帧第i+1帧对应子块的相关性 

进行粗量化处理，分别用 和 

表示，并将粗量化处理后的数据发送到解码器。 

步骤3，解码器利用接收到的当前Wyner-Ziv帧与其前驱和后继关键帧之间子块相关性数据 

和 判定内插帧每个子块的搜索方式，如果 

说明第i帧当前子块与前趋关键帧第i-1帧对应块的相关性强，则以关键帧第i-1帧作为参考帧进行后向搜索，反之，以关键帧第i+1帧作为参考帧进行前向搜索。 

步骤4，根据确定出的内插帧每个子块的搜索方式，分别进行前向搜索或后向搜索，得到每个内插帧子块的运动矢量。 

参照图5，其中图5(a)是前趋已解码关键帧，图5(b)是后继已解码关键帧，本步骤进行前向搜索的步骤如下： 

4.1)将前趋关键帧和后继关键帧分别分成若干大小相同，且互不重叠的子块； 

4.2)选定后继已解码关键帧作为参考帧，根据匹配准则找到图5(b)中子块B1在图5(a)中的最优匹配块B2； 

4.3)将子块B1到最优匹配块B2的位移用MV表示，根据MV计算子块B1与子块B2的匹配误差MAD_B1和边界绝对误差BAD_B1； 

4.4)将MV/2作为当前块B3的运动矢量。 

步骤5，根据内插帧子块的运动矢量找到在前趋和后继已解码关键帧中的候选匹配块，如图5(c)前趋已解码关键帧中子块B4和图5(e)后继已解码关键帧中子块B5，是图5(d)内插帧子块B3在前趋和后继已解码帧中的候选匹配块，计算候选匹配块B4与B5之间的匹配误差MAD_B3和边界绝对误差BAD_B3，并与匹配误差MAD_B1和边界绝 对误差BAD_B1进行比较，如果MAD_B3＜MAD_B1且BAD_B3＜BAD_B1，则认为运动矢量可靠，否则，运动矢量不可靠，需要进一步修正。 

步骤6，对不可靠的运动矢量进行修正，将运动矢量不可靠的子块四周各扩大4排像素，形成一个扩大块，如图6(b)中的扩大子块B6，根据该不可靠的的运动矢量找到该扩大子块B6在前趋和后继已解码关键帧中的扩大匹配块，即图6(a)中的扩大匹配块B7和图6(c)中的扩大匹配块B8，以该匹配块B7和B8为中心进行扩大块匹配的双向运动搜索，选择匹配误差最小的一组扩大子块作为最优扩大匹配块，该最优扩大匹配块对应的运动矢量作为内插帧当前子块修正后的运动矢量。 

步骤7，对内插帧的每个子块，根据修正后的运动矢量找到在前趋和后继已解码关键帧中新的匹配块，以该匹配块为中心进行自适应搜索范围的1/2像素精度重叠块双向运动估计，得到优化的运动矢量。 

确定自适应搜索范围的过程如图7所示，先根据当前子块相邻4个块的运动矢量确定一个搜索范围；再在该搜索范围的基础上四周扩大固定值12，得到自适应搜索范围。 

步骤8，在接收到的当前Wyner-Ziv帧与其前驱和后继关键帧之间子块相关性数据 

和 

的辅助下，利用权重中值滤波器对内插帧优化的运动矢量进行平滑，得到平滑的运动矢量。 

本步骤的具体实现是以内插帧当前子块为中心的方形领域内共有9个子块，以这9个子块的运动矢量加权均值作为内插帧当前子块的运动矢量，其中每个子块的运动矢量权重值由该子块与匹配块之间的最小均方误差MSE及当前Wyner-Ziv帧与其前驱和后继关键帧之间子块相关性数据 

和 共同确定。 

8.1)计算方形领域内9个子块的相关性均值MSE⁰～MSE⁸： 

${\mathrm{MSE}}^b=\frac{{\mathrm{MSE}}_{i-1}^B+{\mathrm{MSE}}_{i+1}^B}{2}b=\mathrm{0,1},...8---1)$

8.2)设MV₀表示当前子块的运动矢量，MV₁～MV₈分别表示当前子块周围8个相邻子块的运动矢量，分别选择MV₀～MV₈作为当前子块的运动矢量，得到当前子块对应匹配块间的均方误差，分别记为MSE₀～MSE₈，计算运动矢量MV₀～MV₈的权值w_j，j＝0，1，...8： 

$w_j=\frac{\mathrm{\β}{\mathrm{MSE}}^0+(1-\mathrm{\β}){\mathrm{MSE}}_0}{{\mathrm{MSE}}_j}---2)$

式中β是权重因子； 

8.3)计算运动矢量MV₀～MV₈的加权中值d₀～d₈，d₀的计算公式如下： 

$d_0=\underset{j=0}{\overset{8}{\mathrm{\Σ}}}{w}_j\left|\right|{\mathrm{MV}}_j-{\mathrm{MV}}_0\left|\right|;---3)$

同理利用式3)可求出d₁～d₈； 

8.4)选择最小加权中值对应的运动矢量作为当前子块平滑的运动矢量。 

步骤9，对内插帧中每个子块四周各扩大4排像素，形成扩大块，根据平滑的运动矢量找到该扩大块在前趋和后继已解码关键帧中的匹配块，取匹配块对应位置像素加权平均值作为当前子块的像素值。 

内插帧扩大块之间存在着重叠的部分，如图8所示。对于重叠部分，当前子块B在前趋和后继关键帧匹配块中的像素值加和p0的权值为γ＞0.5，而子块B周围8个块与B重叠部分的像素值加和p1的权值为1-γ。 

步骤10，按照上述权值对所有的内插帧子块依次进行加权平均插值，即利用公式γp0+(1-γ)p1计算出每个内插帧子块的像素值，由此得到的内插帧即为当前Wyner-Ziv帧的边信息。 

本发明的效果可通过以下实验进一步说明： 

1)实验条件 

GOP结构：关键帧，Wyner-Ziv帧，关键帧，Wyner-Ziv帧，......； 

搜索范围：16像素； 

块尺寸：8×8像素； 

重叠块尺寸：12×12像素 

搜索精度：整像素精度、1/2像素精度； 

参考序列：Foreman，Mother-daughter； 

帧率：30fps； 

分辨率：176×144； 

参考序列条件见表1。 

表1测试序列条件 

视频序列名称	Foreman	Mother-daughter
			测试帧数	60	60
帧率(Hz)	30	30
			关键帧量化步长	23	25
图像格式	QCIF	QCIF

2)实验内容及结果 

实验1： 

统计各参考序列在上述实验条件下，采用现有双向运动补偿内插方法和本发明提出的基于原始图像相关性的重叠块加权运动补偿方法，生成边信息的客观质量比较，实验结果见图9。 

图9(a)是“Foreman”序列在相同实验条件下，使用不同方法生成边信息图像的PSNR值。 

图9(b)是“Mother-daughter”序列在相同实验条件下，使用不同方法生成边信息图像的PSNR值。 

由图9可以看出，在相同实验条件下，本发明提出的基于原始图像相关性的重叠块运动补偿算法明显提高了边信息的PSNR值，即提高了生成边信息的客观质量。 

实验2： 

统计各参考序列在上述实验条件下，采用现有双向运动补偿内插方法和本发明提出的基于原始图像相关性的重叠块加权运动补偿方法，生成边信息的主观质量比较，实验结果见图10和图11。 

图10给出了“Foreman”序列在相同实验条件下，使用不同方法生成边信息图像的主观质量对比。其中图10(a)是原始Wyner-Ziv帧第36帧，图10(b)是现有双向运动补偿内插方法生成的边信息图像第36帧，图10(c)是本发明基于原始图像相关性的重叠块加权运动补偿方法生成的边信息图像第36帧。 

图11给出了“Mother-daughter”序列在相同实验条件下，使用不同方法生成边信息图像的主观质量对比。其中图11(a)是原始Wyner-Ziv帧第77帧，图11(b)是现有双向运动补偿内插方法生成的边信息图像第77帧，图11(c)是本发明基于原始图像相关性的重叠块加权运动补偿方法生成的边信息图像第77帧。 

由图10和图11可以看出，在相同实验条件下，本发明提出的基于原始图像相关性的重叠块运动补偿算法，明显改善了边信息的块匹配错误、块效应以及重影现象等，提高了生成的边信息图像主观质量。 

Claims (3)

1.一种基于分布式视频编码的边信息生成系统，包括：

相关性计算模块：用于计算编码侧当前Wyner-Ziv帧与其前驱和后继关键帧之间块相关性，并对相关性进行粗量化，发送到解码器；

运动估计模块：用于在解码器利用前驱和后继已解码关键帧，在原始图像相关性的辅助下进行块匹配运动估计，得到精确的运动矢量；

运动平滑模块：在原始图像相关性的辅助下，用于对运动估计模块得到的运动矢量进行空间权重滤波，得到平滑的运动矢量；

运动补偿模块：用于根据运动平滑得到的运动矢量进行重叠块双向运动补偿，内插生成边信息。

2.根据权利要求1所述的边信息生成系统，其中运动估计模块包括：

前向/后向运动估计子模块：用于根据原始图像相关性对每个内插帧子块判决搜索方式，并根据判决结果进行前向或后向块匹配运动搜索，将得到的运动矢量赋给内插帧对应子块；

运动检测子模块：用于根据内插帧子块的运动矢量计算匹配块的匹配误差MAD和边界绝对误差BAD，将每个子块的运动矢量分为可靠和不可靠两类；

运动修正子模块：用于对运动矢量不可靠的子块进行双向运动估计，以上一步运动估计得到的匹配块为中心进行重叠块双向运动估计，将得到的新的运动矢量赋给对应子块；

分像素双向运动估计子模块：用于对内插帧所有子块进行进一步精细运动搜索，以前面步骤得到的匹配块为中心进行分数像素重叠块双向运动估计，将得到的分数精度的运动矢量赋给每个子块。

3.一种基于分布式视频编码的边信息生成方法，包括如下步骤：

(1)计算当前Wyner-Ziv帧与前趋和后继关键帧对应子块之间的相关性，用均方误差MSE^B0表征相关性，设当前Wyner-Ziv帧为第i帧，则它与前一关键帧第i-1帧对应子块的相关性为与后一关键帧第i+1帧对应子块的相关性为并将计算得到的

和

进行粗量化处理后用

和

表示，然后发送到解码器；

(2)利用接收到的当前Wyner-Ziv帧与前趋和后继关键帧对应子块之间的相关性判定内插帧每个子块的搜索方式：如果则以关键帧第i+1帧作为参考帧进行前向搜索，如果

则以关键帧第i-1帧作为参考帧进行后向搜索；

(3)将前趋关键帧和后继关键帧分别分成若干大小相同，且互不重叠的子块，根据步骤(2)判断出的内插帧每个子块的搜索方式，选定相对应的关键帧作为当前参考帧进行块匹配搜索，找到最优匹配块；根据当前参考帧子块到该最优匹配块的位移mv计算最优匹配块间的匹配误差MAD₀和边界绝对误差BAD₀，并将运动矢量MV＝mv/2作为内插帧对应子块的运动矢量；

(4)根据内插帧当前子块的运动矢量MV，找到当前子块在前趋和后继已解码关键帧中的匹配块，并计算这两个匹配块之间的匹配误差MAD₁和边界绝对误差BAD₁，然后与步骤(3)得到的匹配误差MAD₀和BAD₀进行比较，如果MAD₀＜MAD₁且BAD₀＜BAD₁则认为当前子块的运动矢量可靠，否则，认为当前子块的运动矢量不可靠，需要修正；

(5)将运动矢量不可靠的子块四周各扩大K排像素，形成一个扩大块，按照步骤(3)得到的运动矢量MV找到当前子块在前趋和后继已解码关键帧中的匹配块，以该匹配块为中心进行扩大块匹配的双向运动搜索，得到新的运动矢量MV₀，并将该新的运动矢量MV₀赋给内插帧当前子块；

(6)内插帧的每个子块，在它相邻4个子块的运动矢量确定出的搜索范围里，进行1/2像素精度的重叠块自适应双向运动搜索，得到内插帧子块较准确的运动矢量MV₁；

(7)利用接收到的编码侧原始图像相关性数据，采用空间权重中值滤波器对内插帧子块运动矢量MV₁进行运动平滑，得到内插帧子块平滑的运动矢量MV₂；

(8)对内插帧每个子块四周各扩大K排像素，形成一个扩大块，根据内插帧子块运动矢量MV₂找到当前扩大子块在前趋和后继已解码关键帧中的匹配块，在匹配块中取当前子块位置像素值的加和权值为γ＞0.5，其余的扩大重叠块位置像素值的加和权值为1-γ；

(9)按照上述权值对所有的内插帧子块依次进行加权平均插值，得到Wyner-Ziv帧的边信息。

Images