CN103475876B - 一种基于学习的低比特率压缩图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于学习的低比特率压缩图像超分辨率重建方法，算法分为离线部分和在线部分。离线部分，首先采用不同压缩质量参数值对低分辨率图像进行压缩；然后对压缩图像进行滤波处理，接着将滤波后压缩图像的量化失真程度作为特征，将滤波后的LR图像按照其失真程度分为多类并建立分类样本库，然后分别用各类样本进行超分辨率模型的训练。在线部分，首先对输入图像进行滤波处理，接着判定其压缩失真类别，然后根据判定结果，选择相应类别的样本库和超分辨率模型，实现基于学习的超分辨率复原。相比其他算法，本发明的方法能针对不同失真程度的输入LR图像自适应的调节与其相匹配的样本库，并能有效解决块效应失真对图像超分辨率的影响，与直接对低比特率失真图像进行超分辨率复原相比，本发明方法所重建的图像具有更高的主客观质量。

Description

一种基于学习的低比特率压缩图像超分辨率重建方法

技术领域

本发明涉及图像处理方法，特别涉及一种基于学习的低比特率压缩图像超分辨率重建方法。

背景技术

高质量的图像和视频因其具有更丰富的信息和更真实的视觉感受，越来越成为一种主流的需求。但是图像的质量越高也就意味着数据量越大，这给图像信息的存储、传输、处理等带来了很大的负担。受到传输带宽和存储空间等因素的影响，人们对视频和图像内容进行低比特压缩的需求日益增长。但是，当JPEG压缩率较高时，通常会导致解码后重建图像的质量下降，影响信息的主观质量和自动分析。因此，针对高度压缩后的低质图像，研究超分辨率复原技术，提高图像的质量，具有重要的理论意义和实际应用价值。

然而，由于图像压缩方法本身的局限性，采用针对非压缩图像的超分辨率方法直接对低比特压缩图像进行超分辨率重建时，会出现严重的块效应失真。因此，去除块效应成为低比特压缩图像超分辨率复原过程中的一个重要问题。人们往往采用后处理的方法来减少块效应。后处理方法在滤波时独立于解码器，直接对解码后的图像进行操作，具有灵活、简单、有效等优势。基于图像增强的后处理方法，因其不依赖任何解码信息，可独立地去除块效应，更易于实现而得到广泛研究。其中，空域滤波是一种最基本的方法，该方法直接对图像中像素的亮度值进行处理。由于图像中的块效应是由于量化误差引起的，图像内容的变化会引起压缩后图像的块效应的表现形式，因此对图像不同区域自适应地选择不同平滑强度的滤波器，有着很重要的意义。典型的空域滤波法通常采用纹理分类的方法，根据人眼视觉特性将图像分为平坦块与非平坦块，然后进行自适应滤波，该方法的两个显著特点是根据自身局部信息将图像划分为不同的区域，对不同的区域采用不同的滤波方法去除块效应。通常的方法是在平坦区域采用高强度平滑，因为平坦区域不存在高频信息，高强度的平滑不会使图像过度模糊。对于非平坦块，由于存在较多的高频信息，应用低强度平滑滤波能够较好地保存高频细节信息。然而在该算法中，含有明显边缘信息的区域统一归为纹理区域，并未进行单独处理。实验结果表明，受到量化失真的影响，这类区域会对图像的主观质量造成较大的影响。因此，采用与纹理区域相同的滤波器不能很好地处理边缘区域的量化失真问题。

发明内容

本发明的目的在于，面向低比特率压缩图像，采用一种改进的后处理滤波算法和一种样本预分类的方法，结合基于学习的图像超分辨率方法，解决具有块效应失真的低分辨率图像的超分辨率复原问题。

本发明是采用以下技术手段实现的：

一种基于学习的低比特率压缩图像超分辨率重建方法，整体流程图如附图1所示；算法分为离线部分和在线部分；其流程图分别如附图2和附图3所示；离线部分，根据压缩图像失真程度建立分类样本库；首先采用不同压缩质量参数（CQ，CompressedQuality）值对低分辨率（LR，LowResolution）图像进行压缩；然后对压缩图像进行滤波处理，去除失真图像中的部分块效应；接着将滤波后压缩图像的量化失真程度作为特征进行K均值聚类，将滤波后的LR图像按照其失真程度分为多类并建立分类样本库，分别用各类样本进行超分辨率模型的训练；在线部分，对输入图像进行压缩程度的类别判定，然后实现基于学习的超分辨率复原；首先对输入的低比特率压缩LR图像进行滤波处理，然后评估量化失真程度，选择相应类别的样本库和超分辨率模型，进行基于学习的超分辨率复原。

所述离线部分分为4个步骤：

（1）对m幅LR图像运用JPEG压缩方法，进行n个不同CQ值的压缩处理，生成不同压缩失真程度的样本图像共m×n幅。以上所述LR图像是指相对于高分辨率（HR，HighResolution）图像而言，如果一幅HR图像单位面积内所占的像素数为H，那么相对于这幅HR图像而言单位面积内所占像素数小于或等于1/2×H，一般就视其为低分辨率图像。这里，CQ值为采用JPEG对图像进行压缩时的压缩质量参数，调节CQ大小就可以得到不同压缩率的压缩图像；

（2）对（1）中得到的图像采用后处理滤波方法进行滤波处理，去除失真图像中的部分块效应。

（3）对滤波后的图像压缩失真程度进行评估。计算每幅滤波后的图像的块效应失真值，作为失真程度评估值。以上所述，后处理滤波方法，首先对图像进行纹理分类，将图像划分为边缘区域，纹理区域和平坦区域，然后根据图像块的类型，针对性的选择不同的滤波方法对图像进行滤波，去除图像中的块效应。以上所述，图像的块效应失真程度评估值方法采用图像的MSDS值作为图像块效应的失真程度评估值。MSDS（MSDS，MeanSquaredDifferenceofSlopes）是一种均方斜率误差的块效应评价准则，MSDS算法通过描述图像块边界像素跳变的剧烈程度来衡量块效应的程度。在正常的图像中，相邻块边界的像素亮度值通常为平稳过度或者连续过度，正常图像中边缘像素值跳变不可能总出现在分块的边界处，如果图像分块的边界处的像素值总是出现跳变就可以认为此处出现了块效应。MSDS通过计算相邻图像块边界处的像素差值和靠近边界的像素平均亮度差值，来反应块与块边界之间的像素跳变情况，因此，根据MSDS值的大小，就可以判别图像块效应失真的严重程度。

（4）用得到的评估值为特征，采用K均值聚类的方法按照滤波后的图像的失真程度将这些图像分为N类；针对每个类中的图像，建立用于超分辨率复原的样本库，结合与样本库中LR图像对应的HR图像进行基于学习的超分辨率复原模型的训练，为在线部分的输入图像超分辨率复原做准备；

所述在线部分分为3个步骤：

（1）输入一幅低比特率压缩图像，对其采用以上所述后滤波方法进行滤波处理；

（2）对滤波后的图像计算MSDS值，得到该图的块效应失真评估分数；根据得到的分数与N个类别中的样本图像的分数计算相似度，判断输入图像所属的压缩失真类别。判断输入图像所属的压缩失真类别具体方法为：首先对输入的失真LR图像进行滤波处理，获得其MSDS值，然后计算它与N个类别的聚类中心间的欧氏距离，以与输入图像的欧氏距离最近的聚类中心所在类别，为输入图像所属的类别；

（3）选择与输入图像最相近的一类中的样本作为输入图像的样本库，将滤波后的输入图像的数据输入到离线部分已经训练好的超分辨率复原模型中，实现图像的超分辨率复原；

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明首先提出了一种改进的空域图像滤波算法，利用了人眼视觉敏感特征，将图像纹理分为平坦块，边缘块和纹理块。然后分别对3种类型块区域采用不同强度的滤波算法，去除块效应。在建立样本库时，采用这种改进的滤波方法对失真的LR图像进行了滤波处理，较好的解决了重建图像的块效应失真问题；另外，针对不同压缩失真程度的LR输入图像，提取了滤波后图像的MSDS值作为每幅图像的特征，然后采用K均值聚类将具有相近失真程度的图像归为一类，并建立相应的样本库。在对不同失真程度的输入LR图像进行超分辨率复原时，首先评估其MSDS值，然后确立最相近的一类作为输入LR图像的样本库，最后应用基于学习的超分辨率算法进行超分辨率复原获得输出的HR图像。相比其他算法，本发明的方法能针对不同失真程度的输入LR图像自适应的调节与其相匹配的样本库，并能有效解决块效应失真对图像超分辨率的影响，与直接对低比特率失真图像进行超分辨率复原相比，本发明方法所重建的图像具有更高的主客观质量。

本发明的特点：

1.提出一种改进的空域滤波算法，将图像纹理分为平坦块，边缘块和纹理块，分别对3种类型块区域采用不同强度的滤波算法，滤波更具针对性，在滤波的同时更好地保持图形细节信息；

2.利用失真图像的MSDS特征值，采用K均值聚类对图像的失真程度进行分类，可自适应调节与输入图像相匹配的样本库，同时细化了样本库，减少了计算量；

3.用于超分辨率复原所用的样本库是通过滤波后建立的，有效解决了图像超分辨率重建的块效应失真问题；

下面结合实例参照附图进行详细说明，以求对本发明的目的、特征和优点得到更深入的理解。

附图说明：

图1、发明方法总体流程图；

图2、发明方法离线部分流程图；

图3、发明方法在线部分流程图；

图4、图像纹理分类结果；(a)原始图像；(b)边缘图像；(c)纹理图像；(d)平坦图像；

图5、块效应示意图；

图6、需要被滤波的水平与垂直边界示意图；

图7、基于示例学习的超分辨率重建模型；

图8、本发明方法与现有方法结果比较：

(a)原始高分辨率图像(b)JPEG压缩后的图像（CQ=15）

（c）经过压缩后直接重建图像（d）现有方法

（e）本发明结果。

具体实施方式：

以下结合说明书附图，对本发明的实施实例加以详细说明：

本发明算法分为离线和在线两部分。离线部分，根据压缩图像失真程度建立分类样本库；首先采用不同压缩质量参数（CQ）值对低分辨率（LR）图像进行压缩；然后对压缩图像进行滤波后处理，去除失真图像中较明显的块效应；接着将滤波后压缩图像的量化失真程度作为特征进行K均值聚类，将滤波后的LR图像按照其失真程度分为多类并建立分类样本库，分别用各类样本进行超分辨率模型的训练；在线部分，对输入图像进行类别判定完成基于学习的超分辨率复原；首先对输入的低比特率压缩LR图像进行滤波处理，然后评估量化失真程度，选择相应类别的样本库和超分辨率模型，进行基于学习的超分辨率复原。

（一）离线部分

（1）不同CQ值对LR图像进行压缩

选择一个HR图像样本库（非压缩图像），样本库中图像具体分辨率为140×160像素，选择其中的1000幅HR图像，然后对这些图像直接进行下采样，生成1000幅低分辨率的LR图像组成样本库。从这个LR样本库中选择m=300幅图像，具体分辨率为70×80像素的图像。采用JPEG压缩方式，将这m幅LR图像进行CQ=5～20的压缩，这样共产生4800幅压缩失真图像。CQ值选择这个区间的原因是当CQ小于5时，图像失真程度已经无法进行有效的超分辨率复原，且不是常用的CQ范围，CQ大于20时，图像的主观质量已经基本一致，人眼已经无法察觉图像失真，并且压缩码流的大小超出低比特率范围。

（2）对压缩图像进行滤波处理

对（1）中得到的图像采用后处理滤波方法进行滤波处理，以上所述，后处理滤波方法，首先对图像进行纹理分类，将图像划分为边缘区域，纹理区域和平坦区域；然后根据图像块的类型，针对性地选择不同的滤波方法对图像进行滤波。将3种区域按照8×8大小分块，再根据图像块类型分别采用不同方式进行去块效应滤波。

首先，对图像进行纹理分类，具体方法为：

选择Sobel算子提取图像像素点的梯度信息，采用的方向模板如公式(1)：

对于一幅图像，首先用这4个方向模板分别与该图像进行卷积，得到图像4个方向上的梯度值，对于图像中每一个点而言，由于该点拥有4个梯度值，因此我们选择4个梯度值中最大的一个作为该点的梯度值，记作g_max，i对应图像的行，j对应图像的列；然后采用3种成分模型将图像分为边缘、纹理和平坦区域；具体骤是：1、计算阈值，TH₁=0.12×g_max和TH₂=0.06×g_max，其中g_max是所得4个方向的整幅图像的梯度值中最大的梯度值；TH₁、TH₂为高低门限阈值，作为判别像素点纹理分类的依据，0.12和0.06是经验值；2、采用公式(2)将图像像素分为边缘、纹理或平坦区域；

$\left\{\begin{array}{cc}\mathrm{edge\; pixel},& \mathrm{if\; G}(i,j)>T{H}_1,\\ \mathrm{smooth\; pixel},& \mathrm{if\; G}(i,j)<T{H}_2.\end{array}\right.---\left(2\right)$

其中，G(i,j)是图像中每个像素点的梯度值，当像素点(i,j)位置的梯度值大于TH₁时，该像素点就被划分为边缘区（edgepixel）；当像素点(i,j)位置的梯度值小于TH₂时该像素点就被划分为平坦区（smoothpixel）；如果像素点(i,j)位置的梯度值在TH₁和TH₂之间时该像素点就被划分为纹理区。以Lena图像为例，划分结果如图4所示。图4中左起第一幅图像为原始图像，接着是边缘图像、纹理图像和平坦图像。这些图像经过了二值化处理，其中图4（b）中黑色像素点组成的明显连续线条代表了边缘区域。图4（c）中散乱分布的黑色像素点代表了纹理区域。平坦区域则由图4（d）中成片的黑色区域表示。

以上所述，针对性的选择不同的滤波方法对图像进行滤波的具体方法为：

对图像进行纹理划分后，根据图像块的类型，针对性地用不同的滤波方式对图像块进行滤波，具体方法如下：

由于平坦块内的块效应最易被人眼察觉，因此需要高强度的滤波器来滤除这部分的块效应；用滤波强度最大的滤波器去除平坦块的块效应，在滤波时只选择相邻块都是平坦块的边界；假设a，b分别为两个8×8像素大小的平坦块，且a，b的位置关系是左右相邻的，如图5所示，将a的右4列和b的左4列像素组成一个新的图像块c，则a、b中间的块效应将被完整地保留在c中，因此对a，b之间块效应的滤波实则是对c进行滤波操作；设c中任意一行从左到右的8个像素点依次表示为：p₃，p₂，p₁，p₀，q₀，q₁，q₂，q₃；如图6左图所示，那么对c中任意一行采用公式（3）、（4）、（5）进行滤波：

p'₀=(p₂+2p₁+2p₀+2q₀+q₁+4)/8(3)

p’₁=(p₂+p₁+p₀+q₀+2)/4(4)

p’₂=(2p₃+3p₂+p₁+p₀+q₀+4)/8(5)

其中p’₀、p’₁和p’₂是p₀，p₁，p₂经过滤波后的结果，p₃点不进行处理；对q点值进行滤波时，只需在滤波器中将公式（3）、（4）、（5）中相应位置的p点像素改为q点像素，q点像素改为p点像素就可以了；即为将q₀采用p₀的滤波方式，q₁采用p₁的滤波方式，q₂采用p₂的滤波方式，q₃采用p₃的滤波方式进行滤波；当a，b的位置是上下相邻的时候，只需要将a，b同时旋转90度然后按照左右相邻的情况进行滤波即可，如图6右图所示；

对于相邻块都是边缘块的情况，沿用前述中c块的组成方式得到c块，由于c中间位置的像素亮度有明显的跳变，将c的这种块效应用一个二维阶梯函数blk来模拟，如公式(6)所示：

$\mathrm{blk}=\left\{\begin{array}{c}1/2,i=1,...,8;j=1,...,4\\ -1/2,i=1,...,8;j=5,...,8\end{array}\right.---\left(6\right)$

其中，数值1/2和-1/2代表了图像块c中间的阶梯效应；首先对c块中的每一行中央处像素的块效应强度进行评估，如公式(7):

β=[c(i,6)-3×c(i,5)+3×c(i,4)-c(i,3)]/2(7)

其中β代表c块中间位置的块效应强度；然后选择一个适合的平滑函数取代产生块效应的阶梯函数，考虑到边缘块的细节信息较多，且存在块效应的位置纹理结构复杂，因此只对边界处像素进行轻微平滑，采用的平滑函数如公式(8):

$f\left(x\right)=\left(\frac{-1}{1+\exp (-\left(x\right)/{\mathrm{\&beta;}}_{\mathrm{level}})}\right)+1/2$

${\mathrm{\&beta;}}_{\mathrm{level}}=5\&times;\left(\frac{1}{1+\exp (-(10\&times;\mathrm{\&beta;}-50)/10)}\right)+5---\left(8\right)$

其中β_level根据块效应强度β得到，可自适应地控制平滑函数的形状，当β_level值越小时平滑函数越接近原来的阶梯函数；平滑函数可以最小限度地改变边界像素值，尽可能轻微地降低图像块边界的亮度跳变，不会造成图像的模糊；在具体处理时将该平滑函数进行离散化，构造出一维平滑函数：

de_blk(j)=[f(-49)f(-35)f(-21)f(-7)f(7)f(21)f(35)f(49)]

c'(i,j)=c(i,j)+β×[de_blk(j)-blk(j)](9)

这里，de_blk(j)是由f(x)产生的1×8大小的数组，c`(i,j)为c的第i行被滤波后的结果，这里c(i,j)是指c的第i行所有元素，blk（j）是指c中任意一行被模拟成blk后的值，这样图像中的每一行经过平滑后可以有效去除块效应；为了不使整幅图像由于滤波造成过分的模糊现象，将不对边缘块与其他类型块之间的边界做处理；对于纹理块之间的边界以及纹理块与平坦块之间的边界，采用与相邻块都为平坦块的情况相类似的滤波方法，区别在于滤波的时候对p₂位置和q₂位置的像素点不进行滤波处理；

（3）对滤波后的图像压缩失真程度进行评估

计算每幅滤波后图像的块效应失真（MSDS，MeanSquaredDifferenceofSlopes）值，作为每幅图像的块效应失真程度评估值；MSDS是一种均方斜率误差的块效应评价准则，MSDS算法通过描述图像块边界像素跳变的剧烈程度来衡量块效应的程度；在正常的图像中相邻块边界的像素亮度值通常为平稳过度和连续过度，图像中边缘像素值跳变不可能总出现在分块的边界处；因此，根据MSDS值的大小，就可以判别图像块效应失真的严重程度；在计算MSDS时，是计算相邻图像块边界处的像素差值和靠近边界的像素平均亮度差值，具体方法为：

同前所述组成c块的方法，设块c为相邻块a和b组成的新块，则计算a和b的MSDS值如公式如(10)所示：

$\mathrm{MSDS}=\underset{i=0}{\overset{7}{\mathrm{\&Sigma;}}}[c(i,4)-c(i,3)]-1/2\left\{\right[c(i,3)-c(i,2)]+[c(i,5)-c(i,4)\left]\right\}---\left(10\right)$

由于每一个图像块都不只有一个与其相邻的图像块，因此每一个块的MSDS值都是与其相邻块求得的每一个MSDS值的和；而一幅图像的MSDS值则是所有块的MSDS值的平均值；

（4）基于K均值聚类的样本库建立

低比特率图像由于压缩编码时受到量化误差的影响，重建图像会出现严重失真，产生新的图像结构“块效应”。因此，采用超分辨率复原算法对这类失真图像进行复原时，如果依然采用原图像库的训练结果，会严重影响重建图像的质量。在对失真的输入图像进行2倍放大时，采用原有的数据库和训练模型下得到的超分辨率复原重建结果会产生严重的失真。因此需要针对失真图像重新建立样本库。通过确定一个CQ值对所有的LR图像进行压缩之后，可建立一个失真图像样本库。然后利用此样本库重新训练超分辨率模型，以建立失真图像的LR组合系数和HR图像的组合系数之间关系，用于恢复出HR图像。然而在实验中，当LR的压缩率较高时，造成的重建图像失真情况很严重，从而无法获得较好的恢复结果。因此，采用本发明中的后处理滤波算法，对失真样本首先去除块效应，然后，建立滤波后LR样本库，就能够有效改善失真图像的超分辨率复原效果。另一方面，由于不同压缩比所生的压缩图像的失真程度有着明显的差别，由此所造成的重建图像中的块效应失真程度也有很大差异，因此，有必要针对不同压缩率的图像分辨进行样本库的建立和超分辨率模型的训练。然而，对于一副输入的压缩图像，是无法获知其压缩信息的，因此，就需要对输入图像的压缩程度进行预测

根据得到的MSDS值，将滤波后的样本通过K均值聚类分成N类。这里需要指出的是，由于在离线部分采用了CQ值为5到20的共16个质量参数对图像进行压缩，因此，原则上N的取值范围应为2到16，分类越多最终得到的结果会越好，但相应的运算速度会越慢，因此，综合考虑运算速度和准确性两个因素，通过实验验证得出聚类时选择N=3为最合适的分类。每个类中所包含的样本图像用来训练对应的基于学习的超分辨率复原模型。

K均值聚类是一种无监督学习算法，其核心思想是通过迭代把数据样本划分到不同的簇中，使得目标函数最小化，从而使生成的簇尽可能地紧凑和独立。给定样本集和整数K，K均值聚类算法首先随机选择K个初始聚类中心，接着将未选中的数据对象根据它们与各个聚类簇中心点的欧氏距离，分配到距离最小的簇中。然后将各个簇中的所有样本的平均值作为新的聚类簇中心点，即质心。重复以上步骤，通过不停迭代直到目标函数收敛为止。通常采用的目标函数为平方误差准则函数：

$E=\min \underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}\underset{x_j\&Element;C_j}{\mathrm{\&Sigma;}}{\left|\right|x_j-c_i\left|\right|}^2---\left(11\right)$

其中，x_j为样本数据，即LR图像的MSDS值，C_i表示簇C_j的质心，E则表示所有样本到质心的欧氏距离和。

使用CQ值从5到20对300幅图像进行压缩后并进行了滤波处理共产生4800幅图像，计算这些图像的MSDS值作为4800个特征值，将这些特征首先随意分成3类，然后进行K均值聚类，在反复迭代计算后得到3个聚类中心，将每个聚类中心包含的近似样本存为一个样本库。需要指出的是，由于训练过程是训练LR图像和与之对应的HR图像之间的关系，所以最终的样本库中，还应该包含每幅LR图像所对应的HR图像。在3个样本库中分别选择300幅图像进行训练，建立基于学习的超分辨率复原模型。

（二）在线部分

（1）对输入图像进行滤波处理。

输入图像为一幅待处理的低比特压缩图像，采用如上所述在线部分的步骤（2）中改进的后滤波方式对其进行滤波处理，去除图像中明显的块效应。

（2）输入图像的块效应失真类别判定

首先，按照如上所述离线部分步骤（3）中计算图像MSDS值的方法，计算滤波后的输入图像的MSDS值。接着，计算它与3个聚类中心间的欧氏距离，将计算所得欧式距离最小时所对应的聚类确定为输入图像所属的失真类别。

（3）实现基于学习的超分辨率重建

输入图像类别选定后，选择该类中所对应的样本，运用基于学习的超分辨率模型进行图像的超分辨率复原。

基于学习的超分辨率重建通过学习算法获得高分辨率与低分辨率图像之间的关系，来指导高分辨率图像的重建。从大量的训练样本集中获取先验知识作为超分辨率复原的依据，训练样本都是与输入图像包含同类信息的图像。这里，以具有代表性的基于示例学习的算法对超分辨率重建过程给予说明，如附图7所示：首先对输入图像进行插值放大到与目标高分辨率图像大小一致；对输入的图像提取LR图像块，运用离线部分得到的训练样本库的LR块与HR块，运用学习到的LR块与HR块之间的关系（即离线部分的训练得到的模型）进行每个块的高频信息预测；然后将高频信息加到插值放大的结果中，得到输出图像。实现过程中，为方便描述，设输入图像为LR-A。首先，LR-A被滤波处理后得到图像LR-AF，然后对LR-AF进行块效应失真判定，判断出其属于3个类别中的某一类；然后对LR-AF进行插值放大得到结果设为HR-A；接着对LR-AF进行块提取组成超分辨率模型的输入矩阵；由于离线部分已经利用每个聚类中的样本训练好了LR样本和HR样本之间的关系模型，所以将输入矩阵输入到训练好的模型中就可以得到高频预测信息；最后将得到的高频信息加到HR-A上就得到了最后的高分辨率结果图像。

图8为本发明方法与现有方法对CQ=15的压缩图像进行超分辨率重建，所得结果的比较。

Claims (1)

1.一种基于学习的低比特率压缩图像超分辨率复原方法；算法分为离线部分和在线部分；所述离线部分包括4个步骤；首先将用于训练的图像样本采用不同的压缩比生成具有不同压缩质量的图像，然后进行滤波处理去除压缩失真图像中的部分块效应，接着根据压缩图像失真程度建立分类样本库并训练基于学习超分辨率复原中的预测模型，为在线部分的输入图像超分辨率复原做准备；

所述在线部分包括3个步骤；实现输入低比特率压缩图像的去块效应，类别判定和最终的超分辨率复原；

所述的离线部分，具体步骤如下：

1.1不同CQ值对LR图像进行压缩：

对m幅LR图像运用JPEG压缩方法，进行n个不同CQ值的压缩处理，生成不同压缩失真程度的样本图像共m×n幅；这里LR图像是指未经压缩的低分辨率图像，CQ值为采用JPEG对图像进行压缩时的压缩质量参数；

1.2对压缩图像进行滤波处理：

对1.1中得到的图像采用后处理滤波方法进行滤波处理，去除失真图像中的部分块效应；以上所述后处理滤波方法，首先对图像进行纹理分类，将图像划分为边缘区域，纹理区域和平坦区域；然后根据图像块的类型，针对性地选择不同的滤波方法对图像进行滤波；以上所述对图形进行纹理分类的具体方法为：

选择Sobel算子提取图像像素点的梯度信息，采用的方向模板如公式(1)：

对于一幅图像，首先用这4个方向模板分别与该图像进行卷积，得到图像4个方向上的梯度值，对于图像中每一个点而言，由于该点拥有4个梯度值，选择4个梯度值中最大的一个作为该点的梯度值，记作g_max；然后采用3种成分模型将图像分为边缘、纹理和平坦区域；具体骤是：1、计算阈值，TH₁＝0.12×g_max和TH₂＝0.06×g_max，其中g_max是所得4个方向的整幅图像的梯度值中最大的梯度值；TH₁、TH₂为高低门限阈值，作为判别像素点纹理分类的依据，0.12和0.06是经验值；2、采用公式(2)将图像像素分为边缘、纹理或平坦区域；

$\left\{\begin{array}{cc}edgepixel,& \begin{array}{cc}if& G(i,j)>{\mathrm{TH}}_1,\end{array}\\ smoothpixel,& \begin{array}{cc}if& G(i,j)<{\mathrm{TH}}_2.\end{array}\end{array}\right.---\left(2\right)$

其中，G(i,j)是图像中每个像素点的梯度值，当像素点(i,j)位置的梯度值大于TH₁时，该像素点就被划分为边缘区edgepixel；当像素点(i,j)位置的梯度值小于TH₂时该像素点就被划分为平坦区smoothpixel；如果像素点(i,j)位置的梯度值在TH₁和TH₂之间时该像素点就被划分为纹理区；

以上所述，针对性的选择不同的滤波方法对图像进行滤波的具体方法为：

对图像进行纹理划分后，根据图像块的类型，针对性地用不同的滤波方式对图像块进行滤波，具体方法如下：

用滤波强度最大的滤波器去除平坦块的块效应，在滤波时只选择相邻块都是平坦块的边界；假设a，b分别为两个8×8像素大小的平坦块，且a，b的位置关系是左右相邻的，将a的右4列和b的左4列像素组成一个新的图像块c，则a、b中间的块效应将被完整地保留在c中，因此对a，b之间块效应的滤波实则是对c进行滤波操作；设c中任意一行从左到右的8个像素点依次表示为：p₃，p₂，p₁，p₀，q₀，q₁，q₂，q₃；那么对c中任意一行采用公式(3)、(4)、(5)进行滤波：

p'₀＝(p₂+2p₁+2p₀+2q₀+q₁+4)/8(3)

p′₁＝(p₂+p₁+p₀+q₀+2)/4(4)

p'₂＝(2p₃+3p₂+p₁+p₀+q₀+4)/8(5)

其中p′₀、p′₁和p′₂是p₀，p₁，p₂经过滤波后的结果，p₃点不进行处理；对q点值进行滤波时，只需在滤波器中将公式(3)、(4)、(5)中相应位置的p点像素改为q点像素，q点像素改为p点像素就可以了；即为将q₀采用p₀的滤波方式，q₁采用p₁的滤波方式，q₂采用p₂的滤波方式，q₃采用p₃的滤波方式进行滤波；当a，b的位置是上下相邻的时候，只需要将a，b同时旋转90度然后按照左右相邻的情况进行滤波即可；

对于相邻块都是边缘块的情况，沿用前述中c块的组成方式得到c块，由于c中间位置的像素亮度有明显的跳变，将c的这种块效应用一个二维阶梯函数blk来模拟，如公式(6)所示：

$blk=\left\{\begin{array}{c}1/2,i=1,...,8;j=1,...,4\\ -1/2,i=1,...,8;j=5,...,8\end{array}\right.---\left(6\right)$

其中，数值1/2和-1/2代表了图像块c中间的阶梯效应；首先对c块中的每一行中央处像素的块效应强度进行评估，如公式(7):

β＝[c(i,6)-3×c(i,5)+3×c(i,4)-c(i,3)]/2(7)

其中β代表c块中间位置的块效应强度；然后选择一个适合的平滑函数取代产生块效应的阶梯函数，考虑到边缘块的细节信息较多，且存在块效应的位置纹理结构复杂，因此只对边界处像素进行轻微平滑，采用的平滑函数如公式(8):

$\begin{array}{c}f\left(x\right)=\left(\frac{-1}{1+\exp (-(x)/{\mathrm{\&beta;}}_{level})}\right)+1/2\\ {\mathrm{\&beta;}}_{level}=5\&times;\left(\frac{1}{1+\exp (-(10\&times;\mathrm{\&beta;}-50)/10)}\right)+5\end{array}---\left(8\right)$

将该平滑函数进行离散化，构造出一维平滑函数：

de_blk(j)＝[f(-49)f(-35)f(-21)f(-7)f(7)f(21)f(35)f(49)]

c'(i,j)＝c(i,j)+β×[de_blk(j)-blk(j)](9)

这里，de_blk(j)是由f(x)产生的1×8大小的数组，c^、(i,j)为c的第i行被滤波后的结果，这里c(i,j)是指c的第i行所有元素，blk(j)是指c中任意一行被模拟成blk后的值，这样图像中的每一行经过平滑后有效去除块效应；为了不使整幅图像由于滤波造成过分的模糊现象，将不对边缘块与其他类型块之间的边界做处理；对于纹理块之间的边界以及纹理块与平坦块之间的边界，采用与相邻块都为平坦块的情况相类似的滤波方法，区别在于滤波时对p₂位置和q₂位置的像素点不进行滤波处理，具体滤波过程如下：

沿用前述中c块的组成方式得到c块；设c中任意一行从左到右的8个像素点依次表示为：p₃，p₂，p₁，p₀，q₀，q₁，q₂，q₃；那么对c中任意一行采用公式(3)、(4)进行滤波，其中p′₀、p′₁是p₀，p₁经过滤波后的结果，p₂、p₃点不进行处理；对q点值进行滤波时，只需在滤波器中将公式(3)、(4)中相应位置的p点像素改为q点像素，q点像素改为p点像素就可以了；即为将q₀采用p₀的滤波方式，q₁采用p₁的滤波方式，q₂采用p₂的滤波方式，q₃采用p₃的滤波方式进行滤波；当a，b的位置是上下相邻的时候，只需要将a，b同时旋转90度然后按照左右相邻的情况进行滤波即可；

1.3对滤波后的图像压缩失真程度进行评估：

计算每幅滤波后图像的块效应失真MSDS值，作为每幅图像的块效应失真程度评估值；MSDS值为均方斜率误差；在计算MSDS时，是计算相邻图像块边界处的像素差值和靠近边界的像素平均亮度差值，具体方法为：

同前所述组成c块的方法，设块c为相邻块a和b组成的新块，则计算a和b的MSDS值如公式如(10)所示：

$MSDS=\underset{i=0}{\overset{7}{\&Sigma;}}\&lsqb;c(i,4)-c(i,3)\&rsqb;-1/2\{\&lsqb;c(i,3)-c(i,2)\&rsqb;+\&lsqb;c(i,5)-c(i,4)\&rsqb;\}---\left(10\right)$

由于每一个图像块都不只有一个与其相邻的图像块，因此每一个块的MSDS值都是与其相邻块求得的每一个MSDS值的和；而一幅图像的MSDS值则是所有块的MSDS值的平均值；

1.4基于K均值聚类的样本库建立：

用得到的评估值为特征，采用K均值聚类的方法按照滤波后的图像的失真程度将这些图像分为N类；针对每个类中的图像，建立用于超分辨率复原的样本库，结合与样本库中LR图像对应的HR图像进行基于学习的超分辨率复原模型的训练，为在线部分的输入图像超分辨率复原做准备；HR图像为高分辨率图像，LR图像为低分辨率图像；

所述的在线部分，具体步骤如下：

2.1对输入图像进行滤波处理：

输入图像为一幅待处理的低比特压缩图像，采用如上所述在线部分的步骤2.2中的后处理滤波方式对其进行滤波处理，去除图像中的部分块效应；

2.2输入图像的块效应失真类别判定：

对滤波后的图像计算MSDS值，作为该图像的块效应失真评估分数；根据得到的分数与N个类别中的样本图像的分数计算相似度，判断输入图像所属的压缩失真类别；判断输入图像所属的压缩失真类别具体方法为：首先，对输入的图像进行滤波处理，并计算获得其MSDS值，然后计算它与N个类别的聚类中心间的欧氏距离，以与输入图像的欧氏距离最小的聚类中心所在类别，为输入图像所属的类别；

2.3实现基于学习的超分辨率重建

选择与输入图像最相近的一类中的样本作为输入图像的样本库，将滤波后的输入图像的数据输入到离线部分已经训练好的超分辨率复原模型中，实现图像的超分辨率复原。