CN101710993B - 基于块的自适应超分辨率视频处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于块的自适应超分辨率视频处理方法及系统。所述方法包括：对视频图像，选择基于块的下采样模式；依据所述下采样模式，对当前视频图像进行下采样，获取下采样块；结合块编码预测模式和所述下采样模式，选择依据率失真的编码模式，对获取的所述下采样块进行编码；对编码的下采样块进行解码，获取解码后的下采样块，并对其进行类型划分，基于所述下采样块的类型，对所述下采样块进行上采样，获取上采样重建块；基于本发明，能够提高中、低码率下视频编码的压缩效率，同时能够保证高码率下，编码性能不低于传统的混合编码的性能。

Description

基于块的自适应超分辨率视频处理方法及系统

技术领域

本发明涉及数据压缩和图像处理领域，尤其涉及一种基于块的自适应超分辨率视频处理方法及系统。

背景技术

随着网络和通信技术的发展，视频信号越来越多的需要通过网络传输。但是，在带宽受限的情况下，网络只能够传输低码率的视频编码信号。一般的方法，仅仅通过调整量化参数降低码率，这必然会导致视频编码质量的降低。因此，提高低码率下视频编码信号的质量受到越来越多的关注。超分辨技术的发展为解决这一问题，提供了一种可行的方法。超分辨率技术是指利用多帧存在亚像素位移的低分辨率图像之间存在的非冗余信息，生成一帧或多帧高分辨率图像。随着一些低复杂度的超分辨率算法的提出，超分辨率在视频压缩中也逐渐得到了应用。

现有下采样编码技术通常将进行下采样编码的区域特征信息作为负载信息进行编码，以在编码端采用相应的上采样技术进行重建。这些负载信息不利于提高编码效率。

发明内容

本发明的目的在于提供一种基于块的自适应超分辨率视频处理方法及系统。基于本发明，能够提高中、低码率下视频编码的压缩效率，同时能够保证高码率下，编码性能不低于传统的混合编码框架的性能。

本发明基于块的自适应超分辨率视频处理方法包括如下步骤：下采样模式确定步骤，对视频图像，选择基于块的下采样模式；下采样步骤，依据所述下采样模式，对当前视频图像进行下采样，获取下采样块；编码步骤，结合块编码预测模式和所述下采样模式，选择依据率失真的编码模式，对获取的所述下采样块进行编码；解码步骤，对编码的下采样块进行解码，获取解码后的下采样块，并对其进行类型划分，基于所述下采样块的类型，对所述下采样块进行上采样，获取上采样重建块；其中，所述编码步骤中，所述选择依据率失真的编码模式具体为：确定第一率失真和第二率失真集合，所述第一率失真为不进行下采样，直接编码下采样块所得到的率失真；所述第二率失真集合包括多个第二率失真，所述第二率失真为采用不同的下采样模式对所述下采样块进行编码产生的率失真以及对所述下采样块进行上采样所产生的率失真之和；比较第一率失真和第二率失真集合，选择最小的率失真所对应的编码模式。

在上述自适应超分辨率视频处理方法中，优选所述下采样步骤中，所述下采样模式包括：模式0至模式3。其中，模式0为保持块原始像素；模式1为垂直方向下采样，得到16×8的块；模式2为水平方向下采样，得到8×16的块；模式3为水平方向和垂直方向同时下采样，得到8×8的块。

在上述自适应超分辨率视频处理方法中，优选所述解码步骤中，所述对下采样块进行类型的划分包括如下步骤：AC系数的1-范数计算步骤，计算所述解码重建的下采样块的第j个8×8块的DCT系数中，AC系数的1-范数S_j；平滑块判断步骤，判断第j个8×8块的DCT系数中，AC系数的1-范数S_j是否小于阈值T_f，，若是，则第j个8×8块为平滑块；否则，为运动块或非运动纹理块；其中，所述阈值T_f，为预先设置；运动块、非运动纹理块判断步骤，计算解码重建后的下采样块与预测块之间的运动差异，判断所述运动差异是否位于阈值区间[T_ml，T_mu]，若是，所述第j个8×8块为运动块，若否，所述第j个8×8块为非运动纹理块。

在上述自适应超分辨率视频处理方法中，优选所述解码步骤中，依据如下规则对所述下采样块进行上采样，获取上采样重建块：若第j个8×8块为平滑块，利用空域插值算法解码重建下采样块；若第j个8×8块为非运动纹理块，利用边缘保持插值算法重建解码的下采样块；若第j个8×8块为运动块，利用超分辨率重建算法重建解码的下采样块；其中，所述超分辨率重建算法为：

将所述下采样块组成的低分辨率图像块投影到高分辨率图像块的对应位置，缺失位置的像素利用参考块的对应像素重建，重建公式如下，

SR(x，y)＝R(x，y)+g(x′，y′)-R(x″，y″)＝R(x，y)+e(x′，y′)

其中，(x，y)是所述高分辨率图像块中待重建的缺失像素的坐标，SR(x，y)是重建的缺失像素的值.；R(x，y)是由下采样块的运动矢量导出的参考图像块中对应当前重建块中缺失的像素值.g(x’，y’)是当前下采样块在采样前的高分辨率图像块中和(x，y)对应的最近邻像素值，R(x”，y”)是和g(x’，y’)对应的参考块中的像素值。

在上述自适应超分辨率视频处理方法中，优选所述率失真计算步骤中，依据率失真优化模型计算所述第二率失真，所述率失真优化模型为：

JD_i＝D_i+λ×R_i+D_u

其中，D_i表示编码下采样块的失真，R_i表示编码下采样块所用的比特数，D_u表示上采样重建块中缺失像素与原始像素间的失真。i为下采样编码模式。

另一方面，本发明还提供了一种基于块的自适应超分辨率视频处理系统，包括：下采样模式确定模块、下采样模块、编码模块、解码模块、率失真计算模块。其中，用于对视频图像，选择基于块的下采样模式；用于依据所述下采样模式，对当前视频图像进行下采样，获取下采样块；编码模块用于结合块编码预测模式和所述下采样模式，选择依据率失真的编码模式，对获取的所述下采样块进行编码；解码模块用于对编码的下采样块进行解码，获取所述下采样块，并对所述下采样块进行类型划分，基于所述下采样块的类型，对所述下采样块进行解码重建；其中，所述编码模块中，所述选择依据率失真的编码模式具体为：确定第一率失真和第二率失真集合，所述第一率失真为不进行下采样，直接编码下采样块所得到的率失真；所述第二率失真集合包括多个第二率失真，所述第二率失真为采用不同的下采样模式对所述下采样块进行编码产生的率失真以及对所述下采样块进行上采样所产生的率失真之和；比较第一率失真和第二率失真集合，选择最小的率失真所对应的编码模式。在上述自适应超分辨率视频处理系统中，优选所述下采样模式包括模式0至模式3，其中，模式0为保持块原始像素；模式1为垂直方向下采样，得到16×8的块；模式2为水平方向下采样，得到8×16的块；模式3为水平方向和垂直方向同时下采样，得到8×8的块。

在上述自适应超分辨率视频处理系统中，优选所述解码模块中，包括类型划分子模块，所述类型划分子模块包括：AC系数的1-范数计算单元，用于计算所述解码重建的下采样块的第j个8×8块的DCT系数中，AC系数的1-范数S_j；平滑块判断单元，用于判断第j个8×8块的DCT系数中，AC系数的1-范数S_j是否小于阈值T_f，，若是，则第j个8×8块为平滑块；否则，为运动块或非运动纹理块；其中，所述阈值T_f，为预先设置；运动块、非运动纹理块判断单元，用于计算解码重建后的下采样块与预测块之间的运动差异，判断所述运动差异是否位于阈值区间[T_ml，T_mu]，若是，所述第j个8×8块为运动块，若否，所述第j个8×8块为非运动纹理块，其中，所述阈值区间[T_ml，T_mu]预先设置。

在上述自适应超分辨率视频处理系统中，优选所述解码模块包括上采样重建子模块，所述重建子模块依据如下规则重建所述下采样块：若第j个8×8块为平滑块，利用空域插值算法解码重建下采样块；若第j个8×8块为非运动纹理块，利用边缘保持插值算法重建解码的下采样块；若第j个8×8块为运动块，利用超分辨率重建算法重建解码的下采样块；并且，所述超分辨率重建算法为：将所述下采样块组成的低分辨率图像块投影到高分辨率图像块的对应位置，缺失位置的像素利用参考块的对应像素重建，重建公式如下，

SR(x，y)＝R(x，y)+g(x′，y′)-R(x″，y″)＝R(x，y)+e(x′，y′)

其中，(x，y)是所述高分辨率图像块中待重建的缺失像素的坐标，SR(x，y)是重建的缺失像素的值.；R(x，y)是由下采样块的运动矢量导出的参考图像块中对应当前重建块中缺失的像素值.g(x’，y’)是当前下采样块在采样前的高分辨率图像块中和(x，y)对应的最近邻像素值，R(x”，y”)是和g(x’，y’)对应的参考块中的像素值。

在上述自适应超分辨率视频处理系统中，优选所述编码模块中，依据率失真优化模型计算所述第二率失真，所述率失真优化模型为：

JD_i＝D_i+λ×R_i+D_u

其中，D_i表示编码下采样块的失真，R_i表示编码下采样块所用的比特数，D_u表示上采样重建块中缺失像素与原始像素间的失真。i为下采样编码模式。

本发明具有如下有益效果：

第一、利用基于率失真最优的模式决策算法来选择下采样模式，建立了新的率失真模型，失真(Distortion)部分包含了重建的缺失像素的失真，保证了编码性能不会降低。

第二、利用编码后的重构块信号特性，以8×8块为基本单位，将视频信号划分为平滑，运动和非运动的纹理区域三种信号。平滑区域利用8×8块对应的DCT系数特性进行判断，运动区域和非运动纹理区域利用重构块和预测块的运动差异判断。该方法避免了编码不同区域视频信号特性的边信息，提高了编码性能。

第三、在高分辨率重构时，本发明采用了基于块类型自适应超分辨率重建方法，对于平滑区域采用简单的插值算法；在运动区域采用超分辨率技术进行重建；在非运动的纹理区域，本发明采用了边缘保持的插值算法，较好的保持了图像高频信息，不仅改善了编码视频图像的主客观质量，同时也降低了算法的复杂度。

附图说明

图1为根据本发明基于块的自适应超分辨率视频处理方法的步骤流程图；

图2为根据本发明基于块的自适应超分辨率视频处理方法中，执行解码步骤时，块类型划分的步骤流程图；

图3为根据本发明基于块的自适应超分辨率视频处理方法中，执行解码步骤时，低复杂度超分辨率重建算法示意图；

图4a为分辨率为1080p，测试序列Bluesky的RD曲线示意图；

图4b为分辨率为1080p，测试序列Pedestrian_area的RD曲线示意图；

图5为根据本发明基于块的自适应超分辨率视频处理系统的简单结构框图；

图6为根据本发明基于块的自适应超分辨率视频处理系统中，解码模块的类型划分子模块的简单结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明实施例作进一步详细的说明。

本发明的基本思想：利用图像特性选择合适的下采样模式和对应的重建方法，编码下采样后的视频图像的块，解码时上采样重建原始分辨率的图像块，从而达到提高编码压缩性能的目的。

参照图1，图1为根据本发明基于块的自适应超分辨率视频处理方法的步骤流程图，包括如下步骤：

步骤110，对视频图像，选择基于块的下采样模式。

步骤120，依据所述下采样模式，对当前视频图像进行下采样，获取下采样块。

步骤130，结合块编码预测模式和所述下采样模式，选择依据率失真的编码模式，对获取的所述下采样块进行编码。

步骤140，对编码的下采样块进行解码，获取解码后的下采样块，并对其进行类型划分，基于所述下采样块的类型，对所述下采样块进行上采样，获取上采样重建块。

其中，步骤130中，所述选择依据率失真的编码模式具体为：

确定第一率失真和第二率失真集合，所述第一率失真为不进行下采样，直接编码下采样块所得到的率失真；所述第二率失真集合包括多个第二率失真，所述第二率失真为采用不同的下采样模式对所述下采样块进行编码产生的率失真以及对所述下采样块进行上采样所产生的率失真之和；比较第一率失真和第二率失真集合，选择最小的率失真所对应的编码模式。

举例对上述过程进行说明。

第一、计算第一率失真。

编码原始块，率失真分别为R₁，D₁，第一率失真为D₁+λ＊R₁。

第二、计算的二率失真集合

第二率失真集合包括多个第二率失真。对于某一下采样模式，对下采样块进行编码，下采样块的编码率失真R₂，D₂，但下采样块还有上采样重建块时缺失部分的失真D₃，即第二率失真为D₂+D₃+λ＊R₂。计算每一个下采样模式所对应的第二率失真，得到第二率失真集合。

第三、确定最小率失真对应的编码模式

确定第二失真集合中最小的率失真，并将该最小的率失真与所述第一率失真相比较，确定出最小的率失真，从而，可以确定该最小率失真对应的编码模式。

下面以在AVS参考软件上的实现为例，详细介绍本发明的实现方式。

关于步骤110、步骤120和步骤130，下采样和下采样块的编码

如表1所示，本发明定义了4中下采样模式，模式0表示没有进行下采样，模式1～3，分别表示采用水平下采样、垂直下采样以及两个方向同时的下采样。以在AVS参考软件P帧上的实现为例，将3种下采样模式，联合块编码预测模式，如表2所示，分别对这8种模式进行编码。对于新增的下采样模式，不再继续进行模式划分，例如P_L0_16x8_down，本发明只对该16x8的块划分进行编码，包含1个16x8的运动向量和2个8x8块的DCT系数。

表1基于块的下采样模式

下采样模式	模式描述
		0	保持块原始像素
1	垂直方向下采样，得到16×8块
		2	水平方向下采样，得到8×16块
3	水平和垂直方向同时下采样，得到8×8块

表2基于块的自适应超分辨率视频编码中的块模式

块模式	描述
		0	P_L0_16x16
1	P_L0_L016x8
		2	P_L0_L08x16
3	P_8x8
		4	P_8x8ref0
5	P_L0_16x8_down
		6	P_L0_8x16_down
7	P_L0_8x8_down

关于步骤140中，块类型的划分

鉴于块重建是在解码后的视频信号上进行，因此本发明直接分析解码重建块的特性，将视频图像下采样块中的8x8块分为3种类型：平滑块，运动块和非运动的纹理块(非运动块，但包含较多的高频成分的块)。块类型划分的算法流程图如图2所示，包括如下步骤：

步骤210：计算所述解码重建的下采样块的第j个8×8块的DCT系数中，AC系数的1-范数S_j

步骤220：判断第j个8×8块的DCT系数中，AC系数的1-范数S_j是否小于阈值T_f，，若是，则第j个8×8块为平滑块；若否，执行步骤230。

步骤230：计算解码重建后的下采样块与预测块之间的运动差异。

步骤240：判断所述运动差异是否位于阈值区间[T_ml，T_mu]，若是，所述第j个8×8块为运动块，若否，所述第j个8×8块为非运动纹理块。

下面对上述步骤进行详细说明。计算解码重建的下采样块中的每个8x8块的DCT系数中AC系数的1-范数S_j，

$S_j=\underset{i=2}{\overset{63}{\mathrm{\Σ}}}\left|{\mathrm{AC}}_{j,i}\right|---\left(1\right)$

其中，j是下采样块中8x8块的索引，i是8x8块中按照zig-zag扫描的系数索引。如果S_j小于设定的阈值T_f，判断此8x8块是平滑块；否则，为非平滑块。对于非平滑块，本发明进一步做了运动块和非运动块的细分，计算重建块和预测块的运动差异，

${\mathrm{SAD}}_j=\underset{k,l=0}{\overset{7}{\mathrm{\Σ}}}|Y_{j,k,l}-X_{j,k,l}|---\left(2\right)$

其中Y_j，k，l是重建块信号，X_j，k，l是运动矢量指向的预测块。如果SAD_j在设定的阈值[T_ml，T_mu]范围内，判断当前块是运动块，否则，为非运动纹理块。

由于本发明视频信号特性的划分是利用解码重构图像的信息，所以可以不必编码任何附加的边信息，解码端能够利用相同的判断准则做出块类型的判断。

关于步骤140中，下采样块的超分辨率重建

对于上述的三种不同视频图像信号，本发明分别采样不同的超分辨率算法重构高分辨率块。对于平滑块，由于主要包含低频成分，所以利用简单的空域插值算法就能很好的重建原始分辨率的块，如本发明利用了双线性插值；对于非运动的纹理区域，本发明利用了边缘保持的插值算法(S.Battiato，G.Gallom and F.Stanco，“Alocally-adaptive zooming algorithm for digital images，”Image andVision Computing，Vol.20，No.11，pp.805-812，September 20021，2)，很好的保持了重构块的细节纹理；对于运动块，由于能够从参考块中得到较准确的运动信息，有利于超分辨率算法的重建，所以对于这种类型的下采样块的重建，本发明采用了低复杂度的超分辨率重建算法；超分辨率算法如图3所示，首先将下采样得到的低分辨率图像块投影到高分辨率图像块的对应位置，缺失位置的像素利用参考块的对应像素重建，重建公式如下，

SR(x，y)＝R(x，y)+g(x′，y′)-R(x″，y″)＝R(x，y)+e(x′，y′)    (3)

其中，(x，y)是高分辨率块中待重建的缺失像素的坐标，SR(x，y)是重建的缺失像素的值.R(x，y)是由下采样块的运动矢量导出的参考图像块中对应当前重建块中缺失的像素值.g(x’，y’)是当前下采样块在采样前的高分辨率图像块中和(x，y)对应的最近邻像素值，R(x”，y”)是和g(x’，y’)对应的参考块中的像素值。

对不同特征的图像块采用不同的超分辨率算法，不仅能够提高图像整体的重建质量，同时也能够降低编解码的复杂度。

下采样块的率失真优化模型

由于引入了下采样块模式，本发明建立了下采样块的率失真优化模型，

JD_i＝D_i+λ×R_i+D_u                   (4)

其中，D_i表示编码下采样块的失真，R_i表示编码下采样块所用的比特数，D_u表示上采样重建块中缺失像素与原始像素间的失真。i为下采样编码模式。

联合AVS中原有的其他5种块模式，在编码端选择RD最优的块模式，实现自适应的超分辨率编码。

图4和表3列出了本发明在AVS参考软件P帧上实现的结果，其中分辨率分别为720p和1080p，参考帧数为2，第一帧为I帧编码，其余为P帧编码。

参照图4a、图4b。图4a为分辨率为1080p，测试序列Bluesky的RD曲线示意图；图4b为分辨率为1080p，测试序列Pedestrian_area的RD曲线示意图。图中横轴为编码码率(单位kbps)，纵轴为图像峰值信噪比(单位dB)，曲线a，c为原始AVS编码性能，曲线b，c为采用了自适应下采样编码技术的曲线。从图4中可以看出本发明提出的基于块的自适应超分辨率视频编码方法不仅能够显著提高低码率下编码性能，同时也能够改善高码率下的编码性能，这是因为本发明采用了率失真优化模型作为下采样模式决策准则，克服了D.Barreto，L.Alvarez，R.Molina，A.Katsaggelos，和G.Callicó的方法在高码率情况下性能降低的缺点，保证了编码性能稳定性。在表3中列出了在更多序列上测试的结果，实验表明，本发明能够有效的提高视频编码性能。

表3测试结果

本发明采用的了低复杂度的超分辨率算法，同时对于非运动区域，采用了复杂度更低的插值算法，降低了整个编解码框架的复杂度，符合视频编码的实时性要求。

虽然本发明是在AVS参考软件的P帧上，但它可以同样适用于其他的编解码平台，如H.264/AVC，VC-1等。本发明也同样适用于I帧和B帧的编码。

参照图5，图5为根据本发明基于块的自适应超分辨率视频处理系统的简单结构框图，包括：

下采样模式确定模块510，用于对当前视频图像，选择基于块的当前下采样模式。

下采样模块520，用于依据所述当前下采样模式，对当前视频图像进行下采样，获取下采样块。

编码模块530，用于结合块编码预测模式和所述下采样模式，对获取的所述下采样块进行编码。

解码模块540，用于对编码的下采样块进行解码，获取所述下采样块，并对所述下采样块进行类型划分，基于所述下采样块的类型，对所述下采样块进行解码重建。

在编码模块530中，选择依据率失真的编码模式具体为：计算第一率失真和第二率失真，第一率失真为不进行下采样，直接编码下采样块所得到的率失真，第二率失真为对下采样块进行编码以及对下采样块进行上采样获取的所述上采样重建块所产生的率失真；比较第一率失真和第二率失真，选择较小的率失真所对应的编码模式。

其中，所述下采样模式包括：

模式0：保持块原始像素；

模式1：垂直方向下采样，得到16×8的块；

模式2：水平方向下采样，得到8×16的块；

模式3：水平方向和垂直方向同时下采样，得到8×8的块。

参照图6，图6为根据本发明基于块的自适应超分辨率视频处理系统中，解码模块的类型划分子模块的简单结构框图。

解码模块的类型划分子模块包括AC系数的1-范数计算单元610、平滑块判断单元620和运动块、非运动纹理块判断单元630。AC系数的1-范数计算单元610用于计算所述解码重建的下采样块的第j个8×8块的DCT系数中，AC系数的1-范数S_i；平滑块判断单元620用于判断第j个8×8块的DCT系数中，AC系数的1-范数S_i是否小于阈值T_f，，若是，则第j个8×8块为平滑块；否则，为运动块或非运动纹理块；其中，所述阈值T_f，为预先设置；运动块、非运动纹理块判断单元630用于计算解码重建后的下采样块与预测块之间的运动差异，判断所述运动差异是否位于阈值区间[T_ml，T_mu]，若是，所述第j个8×8块为运动块，若否，所述第j个8×8块为非运动纹理块，其中，所述阈值区间[T_ml，T_mu]预先设置。

所述解码模块中，依据如下规则重建下采样块：若第j个8×8块为平滑块，利用空域插值算法解码重建下采样块；若第j个8×8块为非运动纹理块，利用边缘保持插值算法重建解码的下采样块；若第j个8×8块为运动块，利用超分辨率重建算法重建解码的下采样块；并且，所述超分辨率重建算法为：将所述下采样块组成的低分辨率图像块投影到高分辨率图像块的对应位置，缺失位置的像素利用参考块的对应像素重建，重建公式如下，

SR(x，y)＝R(x，y)+g(x′，y)-R(x″，y″)＝R(x，y)+e(x′，y′)

其中，(x，y)是所述高分辨率图像块中待重建的缺失像素的坐标，SR(x，y)是重建的缺失像素的值.；R(x，y)是由下采样块的运动矢量导出的参考图像块中对应当前重建块中缺失的像素值.g(x’，y’)是当前下采样块在采样前的高分辨率图像块中和(x，y)对应的最近邻像素值，R(x”，y”)是和g(x’，y’)对应的参考块中的像素值。

率失真计算模块中，依据率失真优化模型计算所述率失真，所述率失真优化模型为：

JD_i＝D_i+λ×R_i+D_u

其中，D_i表示编码下采样块的失真，R_i表示编码下采样块所用的比特数，D_u表示上采样重建块中缺失像素与原始像素间的失真。i为下采样编码模式。

以上对本发明基于块的自适应超分辨率视频处理系统做了简单的说明，其原理与基于块的自适应超分辨率视频处理方法相似，相关之处可以参考质量评价方法的说明，在此不再赘述。

以上对本发明所提供的一种基于块的自适应超分辨率视频处理方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于块的自适应超分辨率视频处理方法，其特征在于，包括如下步骤：

下采样模式确定步骤，对视频图像，选择基于块的下采样模式；

下采样步骤，依据所述下采样模式，对当前视频图像进行下采样，获取下采样块；

编码步骤，结合块编码预测模式和所述下采样模式，选择依据率失真的编码模式，对获取的所述下采样块进行编码；

解码步骤，对编码的下采样块进行解码，获取解码后的下采样块，并对所述解码后的下采样块进行类型划分，基于所述解码后的下采样块的类型，对所述解码后的下采样块进行上采样，获取上采样重建块；

其中，所述编码步骤中，所述选择依据率失真的编码模式具体为：

确定第一率失真和第二率失真集合，所述第一率失真为不进行下采样，直接编码所述当前视频图像的原始块所得到的率失真；所述第二率失真集合包括多个第二率失真，所述第二率失真为采用不同的下采样模式对所述下采样步骤中获取的下采样块进行编码产生的率失真以及对所述解码后的下采样块进行上采样所产生的率失真之和；

比较第一率失真和第二率失真集合，选择最小的率失真所对应的编码模式。

2.根据权利要求1所述的自适应超分辨率视频处理方法，其特征在于，所述下采样步骤中，所述下采样模式包括：

模式0：保持块原始像素；

模式1：垂直方向下采样，得到16×8的块；

模式2：水平方向下采样，得到8×16的块；

模式3：水平方向和垂直方向同时下采样，得到8×8的块。

3.根据权利要求2所述的自适应超分辨率视频处理方法，其特征在于，所述解码步骤中，所述对下采样块进行类型的划分包括如下步骤：

AC系数的1-范数计算步骤，计算所述解码后的下采样块的第j个8×8块的DCT系数中，AC系数的1-范数S_j；

平滑块判断步骤，判断第j个8×8块的DCT系数中，AC系数的1-范数S_j是否小于阈值T_f，若是，则第j个8×8块为平滑块；否则，为运动块或非运动纹理块；其中，所述阈值T_f，为预先设置；

运动块、非运动纹理块判断步骤，计算所述解码后的下采样块与预测块之间的运动差异，判断所述运动差异是否位于阈值区间[T_ml，T_mu]，若是，所述第j个8×8块为运动块，若否，

所述第j个8×8块为非运动纹理块。

4.根据权利要求3所述的自适应超分辨率视频处理方法，其特征在于，所述解码步骤中，依据如下规则对所述解码后的下采样块进行上采样，获取上采样重建块：

若第j个8×8块为平滑块，利用空域插值算法重建所述解码后的下采样块；

若第j个8×8块为非运动纹理块，利用边缘保持插值算法重建所述解码后的下采样块；

若第j个8×8块为运动块，利用超分辨率重建算法重建所述解码后的下采样块；

其中，所述超分辨率重建算法为：

将所述解码后的下采样块组成的低分辨率图像块投影到高分辨率图像块的对应位置，缺失位置的像素利用参考块的对应像素重建，重建公式如下，

SR(x，y)＝R(x，y)+g(x′，y′)-R(x″，y″)

其中，(x，y)是所述高分辨率图像块中待重建的缺失像素的坐标，SR(x，y)是重建的缺失像素的值；R(，y)是由所述解码后的下采样块的运动矢量导出的参考图像块中对应当前重建块中缺失的像素值；g(x′，y′)是当前下采样块在采样前的高分辨率图像块中和(x，y)对应的最近邻像素值，R(x″，y″)是和g(x′，y′)对应的参考块中的像素值。

5.一种基于块的自适应超分辨率视频处理系统，其特征在于，包括：

下采样模式确定模块，用于对视频图像，选择基于块的下采样模式；

下采样模块，用于依据所述下采样模式，对当前视频图像进行下采样，获取下采样块；

编码模块，用于结合块编码预测模式和所述下采样模式，选择依据率失真的编码模式，对获取的所述下采样块进行编码；

解码模块，用于对编码的下采样块进行解码，获取解码后的下采样块，并对所述解码后的下采样块进行类型划分，基于所述解码后的下采样块的类型，对所述解码后的下采样块进行上采样，获取上采样重建块；

其中，所述编码模块中，所述选择依据率失真的编码模式具体为：

确定第一率失真和第二率失真集合，所述第一率失真为不进行下采样，直接编码所述当前视频图像的原始块所得到的率失真；所述第二率失真集合包括多个第二率失真，所述第二率失真为采用不同的下采样模式对所述下采样步骤中获取的下采样块进行编码产生的率失真以及对所述解码后的下采样块进行上采样所产生的率失真之和；

比较第一率失真和第二率失真集合，选择最小的率失真所对应的编码模式。

6.根据权利要求5所述的自适应超分辨率视频处理系统，其特征在于，包括：所述下采样模式包括：

模式0：保持块原始像素；

模式1：垂直方向下采样，得到16×8的块；

模式2：水平方向下采样，得到8×16的块；

模式3：水平方向和垂直方向同时下采样，得到8×8的块。

7.根据权利要求6所述的自适应超分辨率视频处理系统，其特征在于，所述解码模块中，包括类型划分子模块，所述类型划分子模块包括：

AC系数的1-范数计算单元，用于计算所述解码后的下采样块的第j个8×8块的DCT系数中，AC系数的1-范数S_j；

平滑块判断单元，用于判断第j个8×8块的DCT系数中，AC系数的1-范数S_j是否小于阈值T_f，，若是，则第j个8×8块为平滑块；否则，为运动块或非运动纹理块；其中，所述阈值T_f，为预先设置；

运动块、非运动纹理块判断单元，用于计算所述解码后的下采样块与预测块之间的运动差异，判断所述运动差异是否位于阈值区间[T_ml，T_mu]，若是，所述第j个8×8块为运动块，若否，所述第j个8×8块为非运动纹理块，其中，所述阈值区间[T_ml，T_mu]预先设置。

8.根据权利要求7所述的自适应超分辨率视频处理系统，其特征在于，所述解码模块包括上采样重建子模块，所述重建子模块依据如下规则重建所述下采样块：

若第j个8×8块为平滑块，利用空域插值算法重建所述解码后的下采样块；

若第j个8×8块为非运动纹理块，利用边缘保持插值算法重建所述解码后的下采样块；

若第j个8×8块为运动块，利用超分辨率重建算法重建所述解码后的下采样块；并且，所述超分辨率重建算法为：

将所述解码后的下采样块组成的低分辨率图像块投影到高分辨率图像块的对应位置，缺失位置的像素利用参考块的对应像素重建，重建公式如下，

SR(x，y)＝R(x，y)+g(x′，y′)-R(x″，y″)

其中，(x，y)是所述高分辨率图像块中待重建的缺失像素的坐标，SR(x，y)是重建的缺失像素的值；R(x，y)是由所述解码后的下采样块的运动矢量导出的参考图像块中对应当前重建块中缺失的像素值；g(x′，y′)是当前下采样块在采样前的高分辨率图像块中和(x，y)对应的最近邻像素值，R(x″，y″)是和g(x′，y′)对应的参考块中的像素值。

Images