CN109903223B - 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 - Google Patents

Abstract

本发明提供一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法，即将低分辨率图像转化为高分辨率。该方法包括三个模型：基于稠密连接网络的生成器，基于VGG19网络的特征提取器；基于超分辨率图像的卷积神经网络判别器。在这个方法中，生成器的输入为低分辨率图像，生成高分辨率图像。特征提取器用于提取出生成的高分辨率图像的内容特征，判别器用于判别生成高分辨率图像的分布信息是否表达准确。三种模型联合优化。优化过程中采用像素间的均方误差损失、基于VGG‑19的内容损失、以及在判别器上的对抗损失。本发明根据低分辨率图像产生高分辨率图像，适用于各种场景的图像数据。

Description

一种基于稠密连接网络与生成式对抗网络的图像超分辨率 方法

技术领域

本发明属于图像超分辨率技术领域，具体涉及一种基于稠密连接网络结构的设计，以及生成式对抗网络的图像超分辨率方法，适用于4倍图像的超分辨率。

背景技术

图像超分辨率是计算机视觉中的经典任务之一，其目标是通过低分辨率输入图像重建高分辨率图像。它通常使用在一些特定的重要领域，比如车牌图像和医学图像的图像超分辨率等。然而，图像超分辨率是一个不可逆的问题，因为对于任何低分辨率的像素都有多个可能的原始值。为了解决这个问题，模型从低分辨率图像到高分辨率图像需要的强大的映射函数并且要基于足够的先验知识来学习。

早期的图像超分辨方法采用双三次的插值法，虽然此方法快速、高效，但是会导致产生的图像模糊。近年来，超分辨率主要有两大方式，其一，是基于内部的实例的方法，它利用了自相似性属性，并从可以输入图像中生成了子图像块。另一方面，基于外部的实例的方法学习了从低分辨率到高分辨率的训练数据集的映射函数。近年来学术界提出了基于卷积神经网络(CNN)的方法，属于第二种方式，其中的输入是双三次插值的图像子块。该方法可以潜在地学习强大的映射功能。与其他机器学习方法相比，这种超分辨率卷积神经网络(SRCNN)可以产生非常清晰的生成图。随着网络的层数逐渐加深产生了更好地超分辨率效果。稠密连接网络的出现可以使得特征传输效果更好，并且可以大大增加网络深度，这就能使得网络获得更大的感受野，取得更好的函数映射效果。

生成式对抗网络(GANs)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成器和判别器，它们互相博弈学习可以产生相当好的输出。GAN提供了一个完善的模型，其中判别器是测量生成的输出和目标数据之间的分布。并且根据其判别与生成的数据地差异对生成器进行训练。WGAN(Wasserstein GAN)提供了一个更稳定的训练框架。在判别器判别的过程中，采用了推土机距离(EMD)，而不是之前的Jensen-Shannon散度能更好地度量不同数据之间的分布。近年来，深度学习在计算机视觉等相关领域取得很好的实验及应用效果。深度学习的目标就是从复杂的数据中学习到鲁棒的、有丰富表达能力的语义信息，然而，深度学习产生的图像是基于均方损失函数的，这往往会带来一些模糊效果，因此生成式对抗网络与图像超分辨率相关的结合成为了解决问题的关键。

Christian Ledig等人提出论文“Photo-Realistic Single Image Super-Resolution Usinga Generative Adversarial Network”,并且发现4倍以上的图像超分辨率会使图像平滑模糊，分析了超分辨率图像与高分辨率图像像素间的均方误差(MSE)损失函数并不能很好地更新生成器。于是使用了多重损失函数，引入了基于VGG-19网络的内容损失以及判别器的对抗损失，其思想是对原始图像和生成图像进行判别，使得超分辨率之后的图像与原始图像在风格上相似。该论文虽然也采用生成式对抗网络对生成器进行训练，并且引入多重损失增加图像的真实感，但其方法使用层数较少的网络以及并不健壮，而其判别器采用的是 Jensen-Shannon散度并不能很好的度量超分辨率图像与高分辨率图像之间的真是距离。本发明改进了这两点，即使用深度更深的稠密连接网络用作生成器以及EMD用于判别器。

发明内容

本发明要解决的技术问题为：克服现有超分辨率图像模糊的不足，提供一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法，通过稠密连接网络加深网络深度产生更好的超分辨率效果，同时通过EMD使得图像超分辨率效果更加符合真实效果，更清晰。

本发明技术解决方案：一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法，提出了一种新的稠密连接网络的图像超分辨率网络架构，并且将此网络架构应用到生成式对抗网络的机制中，并且改善了传统生成式对抗网络存在的模式崩坏问题，训练误差大的问题，使用EMD用于判别器判别生成图像与标签高分辨率图像的距离。

具体实现包括以下步骤：

第一步，构建训练数据；将图像数据集的图像随机裁剪一个120×120像素大小的正方形区域，使用双三次插值法对裁剪的图像缩小至原尺寸1/4(30×30像素大小)，产生低分辨率训练图像，而缩放前的120×120的高分辨率图像用作标签数据；

第二步，训练网络，构建一个稠密连接网络用于生成器，输入为第一步产生的低分辨率训练图像，其产生的图像称为超分辨率图像。训练一个卷积神经网络的用作判别器，用于判别生成的超分辨率图像并不属于第一步所述的高分辨率图像。再训练生成器使其产生可以骗过判别器的超分辨率图像，让判别器误以为生成器产生的图像为第一步所述的高分辨率图像。两者交替训练到一定次数得到最终的稠密连接网络；

第三步，高分辨率图像生成，将待测的低分辨率图像直接输入第二步最终的稠密连接网络，该网络生成的输出图像就为目标高分辨率图像。

所述步骤二中的构建稠密生成式网络模型，构建一个稠密连接网络用于生成器，采用深度结构保证网络的数据拟合能力，同时为了更容易训练网络减轻梯度消失的问题，采用跳转稠密连接保证不同层级的图像特征的传输，整个网络模型总共包含4个跳转稠密模块，每个稠密模块内分别包含了6、12、24、16个3×3的卷积和1×1的卷积层，每次卷积层过后都会产生不同种类的特征图，这些特征图输入到下一个卷积层产生更复杂的特征图，网络模型采用线性修正单元(Relu)作为激活函数；倒数第二、第三层是反卷积层，用于对特征图进行放大，最后一层为重构层可以将之前卷积运算产生的特征图恢复成图像。跳转稠密模块内部的卷积层对均采取下列公式的操作，第l层以从1到l-1卷积层产生的特征图x₀，x₁...，x_l-1作为输入，其输出x_l如下公式所示：

x_l＝H_l([x₀，x₁，...，x_l-1])

其中，[x₀，x₁，...，x_l-1]表示特征图拼接操作，每个稠密模块之后设置一个转换层，用于特征图数量压缩与更复杂特征映射。H_l为第l卷积层的运算。

网络结合了三种损失函数使得超分辨率图像效果更清晰，计算标签图像与生成图像 MSE损失，设I^LR为低分辨率图像，I^HR为原始高分辨率图像，G为稠密是成网络模型的映射操作，于是可计算MSE损失函数如下公式：

W，H是标签高分辨率图像的长和宽，C为图像通道数，本发明设定为3。除了MSE损失，需要计算生成图像与标签图像在VGG-19上的内容损失，用于比较超分辨率图像与高分辨率图像的语义信息：

其中为基于一个预训练VGG-19的第37层的映射函数，A和B为该层特征图的长宽，N为特征图的通道个数。除此之外，本发明还需计算生成图像与标签图像在判别器上的EMD距离损失。损失函数如下：

l_adv＝-D(G(I^LR))

G为生成器，D为判别器用于比较标签高分辨率图像与生成图像的直接距离。然后按照如下比重结合了三种损失函数，得到总损失函数l_total。更新采用反向传播算法调整稠密连接网络的参数：

l_total＝l_mse+0.07l_content+0.01l_adv

本发明与现有技术相比的优点在于：本发明使用一对低分辨率图像和高分辨率图像对进行网络的训练，使用均方损失函数(MSE)，使得超分辨率图像与高分辨率图像像素误差最小，使用VGG-19网络作为超分辨率图像与高分辨率图像特征比较损失函数，可以使得两者的语义特征尽可能接近，并且使用EMD作为判别器度量两者的距离使其在图像风格上尽可能接近。

附图说明

图1是本发明的生成式对抗网络结构图；

图2是本发明的稠密连接网络(生成器)训练示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。

本发明一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法，属于图像超分辨率领域，首先构建训练数据将图像数据集的图像随机裁剪一个固定大小的正方形区域，并使用双三次插值法对该裁剪的图像进行缩小固定倍数，产生小图像用作训练数据，原始的裁剪图像用作标签数据。然后构建一个网络模型，该模型的输入为原始的小图像，输出为超分辨率之后的图像。并且每个稠密模块内全部采取稠密连接，外部模块采取残差连接。并且使用先行修正单元作为激活函数。本发明的网络作为生成器在训练的过程中采用均方误差损失、基于深度卷积网络的特征损失、以及在判别器上基于EMD的对抗损失三种损失函数，此超分辨率方法可以产生清晰的图像，并且适用于各种类别的图像数据。

如图1、2所示，本发明包括以下步骤：

1、构建训练数据，将图像数据集的图像随机裁剪一个固定大小的正方形区域，并使用双三次插值法对该裁剪的图像进行缩小固定倍数，产生小图像用作训练数据，而原始的裁剪图像用作标签数据。

2、对抗训练稠密连接网络，将训练数据中图像对输入到网络模型中，产生超分辨率图像，然后将高分辨率图像与低分辨率图像输入判别器，训练判别器，令其可以准确判别这两种图像，训练好判别器后，固定判别器训练生成器，按照附图2的方式计算标签图像与生成图像MSE损失、计算生成图像与标签图像在VGG-19上的特征损失以及计算生成图像与标签图像在判别器上的EMD损失。然后，采用反向传播算法更新稠密连接网络的参数。

3、从测试集中选取任意图像，输入进稠密连接网络，产生的超分辨率图像即为超分辨率后的高分辨率图像。

本发明与现有技术相比，具有一项明显的优势和有益效果：本发明不仅仅使用了稠密连接网络加深了超分辨率的网络深度使得效果更好，而且采用了WGAN的训练思想使得超分辨率后的图像能去除模糊，更加真实。

具体的实现步骤：

(1)本发明实施过程中的数据库来源于公开标准数据集ImageNet，随机从中选择60000张图像用作训练数据。在训练过程中，随机裁剪其中120×120大小的图像，然后对这些图像进行4倍的缩小产生30×30大小的低分辨率训练图像。而缩放前的图像则作为对比的高分辨率标签数据。

(2)如图2所示，构建一个稠密连接网络用于生成器，本发明采用深度结构保证网络的数据拟合能力，同时为了更容易训练网络减轻梯度消失的问题，采用了跳转稠密连接保证不同层级的图像特征的传输，整个网络模型总共包含4个跳转稠密模块，每个稠密模块内分别包含了6、12、24、16个3×3的1×1大小的的卷积层，每次卷积层过后都会产生不同种类的特征图，这些特征图又会被输入到下一个卷积层产生更复杂的特征图，模型采用线性修正单元(Relu)作为激活函数；倒数第二、第三层是反卷积层，用于对特征图进行放大，最后一层为重构层可以将之前卷积层产生的特征图恢复成图像。跳转稠密模块内部的卷积层对均采取下列公式的操作，第l层以从1到l-1卷积层产生的特征图 x₀，x₁…，x_l-1作为输入，如下公式所示：

x_l＝H_l([x₀，x₁，...，x_l-1]) (1)

其中，[x₀，x₁，...，x_l-1]表示特征图拼接操作，每个稠密模块之后设置一个转换层，用于特征图数量压缩与更复杂特征映射。

(3)将训练数据中图像对输入到网络模型中，采用分组梯度下降法对网络训练，即每一次训练迭代输入32个图像对网络训练。首先需要调节判别器，使其可以准确区别超分辨率图像与高分辨率图像，判别器需要做到让其对高分辨率图像的判断与超分辨率图像判断的差异尽可能大，所以其损失如下：

max_{||D||≤1}(E[D(I^HR)]-E[D(I^SR)] (2)

其中E表示期望，I^SR，I^HR代表超分辨率图像和高分辨率图像，||D||≤1表示判别器D必须满足1-Lipschitz函数，即让判别器对高分辨率的图像和超分辨率的图像判别差异不能超过斜率为1的线性增长。

训练好判别器后，需要训练基于稠密连接网络的生成器，计算标签图像与生成图像 MSE损失，设I^LR为低分辨率图像，I^HR为原始高分辨率图像，G为稠密是成网络模型的映射操作，于是可计算MSE损失函数如下公式：

W，H是标签高分辨率图像的长和宽，C为图像通道数，本发明设定为3。m为一组样本的个数。除此之外还需要计算生成图像与标签图像在VGG-19上的内容损失：

其中为基于一个预训练VGG-19的第37层的映射函数，A和B为该层特征图的长宽，N为特征图的通道个数。m为一组训练样本的个数。φ(.)是基于VGG-19的特征提取网络对应的函数表示，除此之外，本发明还需计算生成图像与标签图像在判别器上的EMD距离损失。损失函数如下：

G为生成器，D为判别器用于比较标签高分辨率图像与生成图像的直接距离。

按照如下比重结合了三种上述的损失函数，得到总损失函数l_total。这种比例是在实验中发现效果最佳的组合。并更新采用反向传播算法调整稠密连接网络的参数。

l_total＝l_mse+0.07l_content+0.01l_adv (6)

(4)本发明最终用于应用的使稠密连接网络，从测试集合中选取一组图像，输入到网络，该网络所生成的图像就是最终的高分辨率图像。

Claims (5)

1.一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法，其特征在于：包括以下四个步骤：

第一步，将标签高分辨率图像下采样为低分辨率图像，输入低分辨率图像到生成器中，生成高分辨率图像；生成的高分辨率图像与标签高分辨率图像计算像素间的均方误差损失；

第二步，特征提取器提取生成的高分辨率图像与标签高分辨率图像的特征内容，并计算出对应特征图间的内容损失；

第三步，判别器对生成的高分辨率图像进行打分，分数越高表明生成的图像分布越接近标签高分辨率图像并产生基于判别器的对抗损失；

第四步，三种损失函数按照一定比例结合，优化生成器参数；

所述第一步中：生成器有以下特点：

(1)采用稠密连接网络结构，其深度超过了100层；

(2)共包含4个跳转稠密模块，每个稠密模块之后设置一个转换层；

(3)利用反卷积层上采样；

(4)利用一个输入通道为256输出通道为3的卷积层重构RGB颜色图像；

构建一个稠密连接网络用于生成器时，采用深度结构保证网络的数据拟合能力，同时为了更容易训练网络减轻梯度消失的问题，采用跳转稠密连接保证不同层级的图像特征的传输，所述稠密连接网络的网络模型共包含4个跳转稠密模块，每个稠密模块之后设置一个转换层，用于特征图数量压缩与更复杂特征映射；每个稠密模块内分别包含6、12、24、16个3×3的卷积层和1×1的卷积层，每次卷积层后均会产生不同种类的特征图，这些特征图又会被输入到下一个卷积层产生更复杂的特征图；所述稠密连接网络采用线性修正单元Relu作为激活函数；倒数第二、第三层是反卷积层，用于对特征图进行放大，最后一层为重构层，重构层将放大后的特征图恢复成RGB通道的图像。

2.根据权利要求1所述的一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法，其特征在于：所述第一步实现如下：

(1)将收集的一些高分辨率图像随机裁剪一个120×120大小的正方形区域；

(2)使用双三次插值法对裁剪的图像缩小至原来0.25倍到30×30，作为低分辨率训练图像，而缩放前的120×120的作为新的高分辨率图像用标签高分辨率图像。

3.根据权利要求1所述的一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法，其特征在于：所述跳转稠密模块内部的卷积层均采取下列公式的操作，第l层以从1到l-1卷积层产生的特征图x₀,x₁…,x_l-1作为输入，其输出x_l表示为如下公式所示：

x_l＝H_l([x₀,x₁,…,x_l-1])

其中，[x₀,x₁,…,x_l-1]表示矩阵拼接操作，H_l为第l卷积层的运算。

4.根据权利要求1所述的一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法，其特征在于：优化生成器的过程中，需要计算三种损失函数，

(1)首先是计算生成的高分辨率图像与标签高分辨率图像的均方误差(MSE)损失，通过比较两者每个像素之间的差异求平方和后求平均，均方误差(MSE)损失l_mse公式表示如下：

I^LR为输入用于训练的30×30低分辨率图像，I^HR为标签高分辨率图像，G为生成器，可通过30×30低分辨率图像生成120×120高分辨率图像，W,H是标签高分辨率图像的长和宽，C为生成高分辨率图像的颜色通道个数；

(2)第二种损失函数是内容损失，计算生成的高分辨率图像与标签图像在VGG19上的特征损失为：l_content

其中为基于一个预训练VGG19的第37层的映射函数，A和B为第37层特征图的长宽，N为特征图的通道个数，φ(.)是基于VGG-19的特征提取网络对应的函数表示；

(3)第三种损失函是对抗损失，用于计算生成图像与标签图像在判别器上的基于EMD距离的损失，表示为：

l_adv＝-D(G(I^LR))

G为生成器，D为判别器用于输出标签高分辨率图像与生成的高分辨率图像分布的距离。

5.根据权利要求4所述的一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法，其特征在于：所述的三种损失函数按照设定比重综合，得到总损失函数l_total，l_total＝l_mse+λ₁l_content+λ₂l_adv；更新l_total时采用反向传播算法调整稠密连接网络的参数，λ₁和λ₂为超参数由具体实验设定。