CN113673590A - 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 - Google Patents

Abstract

本发明提供的一种基于多尺度沙漏密集连接网络的去雨方法，首先利用多尺度沙漏并行结构对提取输入的特征图像进行多次采样，获取多尺度雨纹映射特征；其次，在多尺度沙漏结构中加入并行连接的空间和通道双注意模块并用残差跳连融合多层次特征，实现对雨纹层特征信息识别提取的自适应重校准；本发明在多尺度沙漏注意力残差模块间密集连接使不同深度网络层次间提取到的特征进行相互密集前向传递和特征融合；最终经多层次特征聚合得到全局丰富的雨纹层特征图，利用雨图线性叠加模型得到清晰的无雨背景层图像。本方明综合利用多尺度特征融合,双注意力机制和层次特征聚合，提高模型特征学习准确度，有效提取并去除雨纹层特征，获得清晰的去雨图像。

Description

基于多尺度沙漏密集连接网络的去雨方法、系统和介质

技术领域

本发明专利涉及计算机视觉图像处理技术领域，尤其涉及一种基于多尺度沙漏密集连接网络的去雨方法、系统和介质。

背景技术

雨天场景下拍摄的图像中的雨条纹往往会遮挡或模糊图像背景内容的关键信息，严重降低了图像质量，从而会进一步妨碍后续其他计算机视觉系统的工作性能，影响实际应用。因此，图像去雨任务是户外计算机视觉系统的重要前期预处理工作，引起了研究人员的广泛关注和重视。有效的去雨技术通常可以使得模糊带雨的图像恢复为清晰高质量的无雨图像，从而有效地提供更准确的检测或识别结果，对计算机视觉系统的性能有很大的促进和改善作用，其应用范围较广，应用前景十分开阔。

近年来，对于单幅图像去雨算法提出了各种研究，主要分为两类，第一类是基于模型的方法，又进一步可分为基于先验的方法和基于过滤器的方法。基于先验的方法包括稀疏判别，高斯混合模型和低秩表示等方法。基于滤波器的方法使用边缘和物理特性滤波器来得到无雨清晰干净背景图像。第二类是基于数据驱动的深度神经网络模型方法。与基于模型的方法不同，数据驱动方法将图像去雨问题表述为学习非线性函数并找到适当参数将雨纹部分映射到背景场景的过程。受深度学习的推动，研究人员用卷积神经网络(CNN)或生成对抗网络(GANs)构建映射函数。CNN方法直接获得从雨图像到清晰背景的确定性映射函数，GANs能根据输入的有雨图像产生无雨图像，合成具有视觉吸引力的清晰图像。Fu提出了一种名为DerainNet的去雨方法，将图像的高频部分输入到卷积神经网络中进行训练学习，但是该方法会造成图像色泽上的损失，在背景区域仍然存在雨条纹的残留痕迹。Zhang等人提出基于条件生成对抗网络(CGAN)的单幅图像去雨算法，但是复原的视觉效果不自然。RESCAN通过将网络上一阶段的输出作为下一阶段的输入迭代地多阶段多次重复去雨，但由于网络需要进行多次图像和特征之间的转换,降低了去雨效果。

通过上述分析，现有去雨算法存在雨纹残留或去雨过度、细节纹理恢复不自然等问题，这大大的影响了单幅图像去雨算法的实际应用。为了解决上述问题，本发明提出了基于多尺度沙漏密集连接网络的单图像去雨算法。通过多层不同尺度的注意力机制残差模块密集连接，建立一种称为MHAR-Net的多尺度沙漏密集连接网络，其中的多尺度沙漏结构提取多样尺度的雨纹特征信息，同时引入通道和空间双注意力模块并行连接，更好地利用多尺度信息和特征注意。多尺度沙漏双注意模块单元内残差跳转连接实现浅层特征融合，，提高雨特征表示能力；另外多个多尺度沙漏注意模块密集连接，充分利用图像的特征且，使深层网络可以利用浅层的特征,增大信息的流动,实现多层次特征的重用和聚合，保证快速提取更多图像的细节和关键信息，实现复杂雨环境下的去雨处理，并尽量复原图像的细节和空间信息，减小色彩失真、亮度损失，去雨过度等问题。

发明内容

本发明的目的是为了解决上述现有图像去雨技术的些许缺点和不足，提供一种基于多尺度沙漏密集连接网络的端到端映射的单图像去雨方法，经多层次特征提取和聚合得到全局丰富的雨纹层特征图，进而利用雨图线性叠加模型得到清晰的无雨背景层图像。

本发明第一方面提供了一种基于多尺度沙漏密集连接网络的去雨方法，包括：

获取合成的图像去雨样本数据集，得到数据集合，用于网络模型的训练；

构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，所述网络模型包括三个卷积核大小为3的卷积层和四个多尺度沙漏注意力残差模块单元；

将所述数据集合进行预处理，得到训练数据集合，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，得到训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；

将需要去雨图像输入训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，获得去雨图像。

本方案中，所述构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体为：

从图像空间到特征空间的转换由一个卷积核大小为3且带有LeakyReLU激活函数的卷积层构成输入层，用于提取浅层次的雨图像特征，其过程表示为：

F₀＝σ(Conv_3×3(O_rain))，

其中，O_rain表示输入网络的有雨图像；Conv_3×3(·)表示卷积核大小为3×3的卷积操作，用来将图像变换到特征空间，F0表示图像经过卷积和非线性操作后提取得到的浅层特征图像，σ(·)为非线性激活函数LeakyReLU；

使用多尺度沙漏结构从提取到的浅层特征F0中进一步采集不同尺度雨纹特征，多尺度沙漏结构由下采样，上采样，池化层，卷积层和反卷积层构成，其数学表达式为：

其中，X表示输入网络的数据信息，F_u(X；η_u)是对数据进行上采样过程。F_d(X；η_d)是对输入数据进行下采样过程。i，j表示上下采样的层数，η_d和η_u分别表示下采样和上采样的网络参数，H_i表示经过沙漏网络处理后得到的特征信息；

利用多尺度沙漏残差结构提取并传递不同尺度雨纹特征的同时引入并行连接的空间和通道双注意力模块对空间上下文特征依赖性进行重校准同时对通道重要特征信息进行加权，以抑制无用的通道信息；

通道注意力模块提取和处理特征图的通道特征信息，获得通道间的相互关联特征信息和重要性程度，通道注意力特征图表示为：

其中，AvgPool指的是平均池化操作，MaxPool指的是最大池化操作，MLP表示构成共享网络产生通道注意力图Mapc的多层感知器；F是输入网络的特征信息，

和

分别表示通道注意力模块中经平均池化和最大池化操作后的特征图，W₁和W₂表示网络权重参数，σ表示sigmoid非线性激活函数；

空间注意力模块提取关注图像的空间上下文信息分布情况，空间注意力特征图表示为：

其中，F∈R^1×H×W是空间特征分布，F(i)是对应点的特征，C表示所对应的通道数；f7×7表示一个滤波器大小为7×7的卷积运算；

和

表示进行空间注意力上的平均池化和最大池化操作得到的特征图，大小均为1×H×W；σ表示sigmoid函数；

将经过通道注意力模块和空间注意力模块得到的特征图像进行拼接融合，其过程可进一步表示为：

F_out＝Concat([Map_c(F)，Map_s(F)])，

其中，Concat是拼接操作，Map_c(F)和Map_s(F)分别表示经通道注意力模块和空间注意力模块处理后得到的特征信息，F_out表示经整个多尺度沙漏残差注意模块单元网络处理后得到的输出特征信息；

多尺度沙漏结构和双注意力模块加上残差跳转连接而构成多尺度沙漏注意力残差模块单元，残差网络将浅层提取到的特征跳跃跨层传递到更深的网络层，MHAR模块表示为：

F_i＝F_MHARi([L₀，......，L_d]，[W₀，......，W_d])，

其中，[L₀，......，L_d]是网络对应卷积层的输入，[W₀，......，W_d]是MHAR模块各层的参数，F_MHARi表示第i个MHAR模块的映射过程；

在多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中加入密集连接机制，其具体实现表示为：

F₁＝F_MHAR1(F₀)+F₀，

F₂＝F_MHAR2(F₁)+F₁+F₀，

F₃＝F_MHAR3(F₂)+F₂+F₁+F₀，

F₄＝F_MHAR4(F₃)+F₃+F₂+F₁+F₀。

利用一个带有LeakyReLU激活函数的卷积核大小为1×1和3×3的Conv_1×1和Conv_3×3卷积层将聚合的深度特征进行融合，表示为：

R＝σ(Conv_3×3(σ(Conv_1×1(MHAR₄(F₃)+F₃+F₂+F₁+F₀))))，

其中σ为非线性激活函数LeakyReLU，R为提取分离得到的雨纹层。

本方案中，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体为：

将训练数据集合批量化输入构建的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中进行训练，最终可得到预训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；

B＝O-R，

其中，O为输入网络的有雨图像，R为网络提取分离的雨纹层图像，B为去雨网络处理生成的无雨图像。

本方案中，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体由重建损失、SSIM损失，感知损失组成，具体为：

重建损失基于均方误差构造重建损失定义如下：

其中，L_MSE表示均方误差，H、W表示图像的尺寸，即高度和宽度，C为图像的通道数，G(R_i；P)表示去雨模型输出的第i张无雨图像，P为网络训练参数，P＝{w₁，w₂，......，w_n；b₁，b₂，......，b_n}，w₁，...w_n为权值参数；b₁，...，b_n为偏置矢量，B_i表示对应的第i幅真实的无雨图像；F为Frobenius范数；

SSIM损失通过图像的结构相似性进行计算，图像的结构相似性公式表示为：

其中，μ_x表示图像的均值，

代表图像的方差，σ_xy表示两幅图像的协方差，C₁和C₂是方程的经验常数，SSIM损失函数定义为：

L_SSIM＝-SSIM(G(R；P)，B)，

其中，L_SSIM是一个负函数；

感知损失定义为：

其中，V表示一个非线性神经网络变换，目标是最小化高级特征之间的距离；

最终的混合误差损失函数可表示为：

L_loss＝λ₁L_MSE+λ₂L_SSIM+λ₃L_P，

其中，λ₁、λ₂、λ₃是重建损失，SSIM损失和感知损失三部分分量上的相对权重的参数。

本方案中，λ₁、λ₂、λ₃被分别设置为1，0.2，0.04。

本发明第二方面提供了一种基于多尺度沙漏密集连接网络的去雨系统，该系统包括：存储器及处理器，所述存储器中包括基于多尺度沙漏密集连接网络的去雨方法的程序，所述基于多尺度沙漏密集连接网络的去雨方法的程序被所述处理器执行时实现以下步骤：

获取合成的图像去雨样本数据集，得到数据集合，用于网络模型的训练；

构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，所述网络模型包括三个卷积核大小为3的卷积层和四个多尺度沙漏注意力残差模块单元；

将所述数据集合进行预处理，得到训练数据集合，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，得到训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；

将需要去雨图像输入训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，获得去雨图像。

本方案中，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体为：

将训练数据集合批量化输入构建的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中进行训练，最终可得到预训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；

B＝O-R，

其中，O为输入网络的有雨图像，R为网络提取分离的雨纹层图像，B为去雨网络处理生成的无雨图像。

本方案中，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体由重建损失、SSIM损失，感知损失组成，具体为：

重建损失基于均方误差构造重建损失定义如下：

其中，L_MSE表示均方误差，H、W表示图像的尺寸，即高度和宽度，C为图像的通道数，G(R_i；P)表示去雨模型输出的第i张无雨图像，P为网络训练参数，P＝{w₁，w₂，......，w_n；b₁，b₂，......，b_n}，w₁，...w_n为权值参数；b₁，...，b_n为偏置矢量，B_i表示对应的第i幅真实的无雨图像；F为Frobenius范数；

SSIM损失通过图像的结构相似性进行计算，图像的结构相似性公式表示为：

其中，μ_x表示图像的均值，

代表图像的方差，σ_xy表示两幅图像的协方差，C₁和C₂是方程的经验常数，SSIM损失函数定义为：

L_SSIM＝-SSIM(G(R；P)，B)，

其中，L_SSIM是一个负函数；

感知损失定义为：

其中，V表示一个非线性神经网络变换，目标是最小化高级特征之间的距离；

最终的混合误差损失函数可表示为：

L_loss＝λ₁L_MSE+λ₂L_SSIM+λ₃L_P，

其中，λ₁、λ₂、λ₃是重建损失，SSIM损失和感知损失三部分分量上的相对权重的参数。

本方案中，λ₁、λ₂、λ₃被分别设置为1，0.2，0.04。

本发明第三方面提供了一种可读存储介质，所述可读存储介质中包括基于多尺度沙漏密集连接网络的去雨方法程序，所述基于多尺度沙漏密集连接网络的去雨方法程序被处理器执行时，实现如上述任一项所述的一种基于多尺度沙漏密集连接网络的去雨方法的步骤。

本发明提供的一种基于多尺度沙漏密集连接网络的单幅图像去雨方法，首先利用多尺度沙漏并行结构对提取输入的特征图像进行多次采样，提取不同尺度的特征图，获取多尺度雨纹映射特征；其次，在多尺度沙漏结构中加入并行连接的空间和通道双注意模块并用残差跳连融合多层次特征，构成整个多尺度沙漏注意力残差模块单元(MHAR模块)，实现对雨纹层特征信息识别提取的自适应重校准；另外本发明在多尺度沙漏注意力残差模块间密集连接使不同深度网络层次间提取到的特征进行相互密集前向传递和特征融合；最终经多层次特征聚合得到全局丰富的雨纹层特征图，进而利用雨图线性叠加模型得到清晰的无雨背景层图像。本方明综合利用多尺度特征融合，双注意力机制和层次特征聚合，提高模型特征学习准确度，有效提取并去除雨纹层特征，获得清晰的去雨图像。

附图说明

图1为本发明的基于多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型框架图；

图2为本发明的基于多尺度沙漏密集连接网络的去雨方法的多尺度沙漏注意残差模块单元MHAR的结构图；

图3为本发明的基于多尺度沙漏密集连接网络的去雨方法的多尺度沙漏结构图；

图4为本发明的基于多尺度沙漏密集连接网络的去雨方法的通道注意力结构CAM细节图；

图5为本发明的基于多尺度沙漏密集连接网络的去雨方法的空间注意力结构SAM细节图；

图6为本发明基于多尺度沙漏密集连接网络的去雨方法的流程图；

图7为本发明基于多尺度沙漏密集连接网络的去雨系统框架图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明方法提出了一种新的基于多尺度沙漏密集连接网络的单图像去雨方法。本发明方法为了更准确获取并利用网络训练过程中浅层提取的特征和特征间的相关性及其更有效的复用传递性，提出了一种多尺度沙漏残差注意力模块，模块之间通过相互密集连接构成整个单图像去雨网络模型架构。

如图6，本发明公开了一种基于多尺度沙漏密集连接网络的去雨方法，包括：

S102，获取合成的图像去雨样本数据集，得到数据集合，用于网络模型的训练；

S104，构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，该网络模型如图1所示，包括三个卷积核大小为3的卷积层和四个多尺度沙漏注意力残差模块单元，该多尺度沙漏注意力残差模块单元如图2所示；

S106，将所述数据集合进行预处理，得到训练数据集合，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，得到训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；

S108，将需要去雨图像输入训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，获得去雨图像。

需要说明的是，首先，由一个卷积核大小为3×3且带有LeakyReLU激活函数的卷积层Conv_3×3构成输入层，将带雨图像从图像空间转换到特征空间，用于提取浅层次的雨图像特征，其过程可表示为：

F₀＝σ(Conv_3×3(O_rain))，

其中，O_rain表示输入网络的有雨图像；Conv_3×3(·)表示卷积核大小为3×3的卷积层，用来将图像变换到特征空间，提取浅层特征信息F₀，σ为非线性激活函数LeakyReLU。

使用多尺度沙漏结构从输入的特征图像中提取不同尺度的特征图，该多尺度沙漏结构见图3，具体来说就是利用沙漏网络的多个并行结构分别对特征图进行多次采样，获取多尺度映射特征，在融合不同网络层的特征时不受雨纹形状大小的约束，能够快速高效抽象出网络提取的特征信息，使模型更容易学习到各种尺度之间的差异。多尺度沙漏网络模块结构的数学表达式可表示为：

其中，X表示输入数据，F_u(X；η_u)是对数据进行上采样过程。F_d(X；η_d)是对输入数据进行下采样过程。η_d和η_u分别表示下采样和上采样的网络参数，H_i表示经过沙漏网络处理后得到的特征信息。X表示输入网络MHAR模块的特征信息。对不同MHAR模块而言，其输入是其对应的前面网络提取到的特征信息。i和j表示上下采样的层数，也即是进行上下采样的次数。此处上下采样的次数对应相等，保证最终输入网络的雨图像和网络输出的无雨图像的尺寸不变。

下采样操作是对原始输入特征图像进行下采样，获得不同尺度大小的特征图，下采样结构由卷积核大小分别为3×3，3×3和1×1的卷积层Convolution和BatchNormalization和ReLU激活函数构成。下采样操作可表示为：

F_i＝Pooling_i(Conv_i×i(ReLU(Batchnorm(F₀)))，

其中，i为卷积核大小，F0表示输入沙漏结构的浅层特征数据，Fi为经卷积核大小为i×i卷积并下采样Poolingi得到的特征图像。

上采样操作(Upscale)将下采样缩小尺寸的深层特征图进行上采样操作，以恢复原尺寸的雨图像特征，其用公式可表示为：

其中，

表示多尺度沙漏结构中的上采样操作过程，

表示经卷积核大小为i×i卷积并上采样

得到的特征图像。

最后将

输入融合模块，即：

其中，F_out表示多尺度沙漏结构融合输出的特征图，

表示经卷积核大小为i×i和上采样

操作后得到的特征图，H(·)表示由两组3×3和一组1×1卷积组成的一系列操作。

在多尺度沙漏结构中引入双注意力机制，利用提取得到的多尺度雨纹特征经过双注意力机制，从空间和通道两个层面引入注意力模块，用于忽略掉大量不重要的特征信息，增强并提取更加重要有用的层次特征，并且减少了网络模型训练的计算成本。

多尺度雨纹特征经由通道注意力模块，为每一个特征通道学习一个权重，该权重代表特征图的重要度，这将使网络过滤掉无用的特征信息同时重点关注有用的信息，通道注意力模块如图4所示，其对提取的特征图，首先获取其每个通道上的最大和平均像素值来表示该通道，然后将它们作为两层多层感知机网络的输入，自适应调整不同通道的权重，然后通过加法进行特征融合，最后通过一个sigmoid函数将所有值归一化在0到1之间，得到通道注意力图为：

其中，MLP表示构成共享网络产生通道注意力图Map_c的多层感知器；F是输入网络的特征信息，

和

分别表示通道注意力模块中经平均池化和最大池化操作后的特征图。W₁和W₂表示网络权重参数。σ表示sigmoid非线性激活函数。池化是去除无用信息，保留关键信息。池化层即下采样层，主要用于特征降维，压缩数据和减少参数的数量，减小过拟合，同时提高模型的容错性。AvgPool指的是平均池化操作；平均池化即对特征图邻域内的特征点求平均。MaxPool指的是最大池化操作；最大池化即对特征图邻域内的特征点求最大者。

多尺度雨纹特征经空间注意力模块，该模块如图5所示，其根据每一个特征图的空间像素值的相关性程度不同使得网络聚焦于有降雨的位置，以利于网络对图像中雨条纹的识别和提取。在空间注意模块中，执行全局平均和最大池化过程来捕获不同特征的空间上下文信息之间的依赖性，利用特征上下文信息，挖掘层次特征之间的关系。空间注意力特征图为：

其中，F∈R^1×H×W是空间特征分布，F(i)是对应点的特征，C表示所对应的通道数；f^{7 ×7}表示一个滤波器大小为7×7的卷积运算；

和

表示进行空间注意力上的平均池化和最大池化操作得到的特征图，大小均为1×H×W；σ表示sigmoid函数。

进一步将经过通道注意力模块和空间注意力模块得到的特征图像进行拼接以融合得到更重要的信息，其过程可进一步表示为：

F_out＝Concat([Map_c(F)，Map_s(F)])，

其中，Concat是拼接操作，Map_c(F)和Map_s(F)分别表示经通道注意力模块和空间注意力模块处理后得到的特征信息，F_out表示经整个多尺度沙漏残差注意模块单元网络处理后得到的输出特征信息。

同时为了更好地获取局部浅层信息，本发明在多尺度沙漏结构中增加了残差密集连接支路，利用1x1的卷积核对原始输入图像进行特征扩充，之后融合反卷积后放大的特征图，结合全局信息和局部信息，进行多尺度多层次特征的融合。残差连接使得正向传播的特征得以保留，即每一层的结果都是在之前的结果的基础上得到的，这样的连接方式不仅可以防止网络梯度的消失，还有益于网络的收敛，有效地将不同来源的特征融合成一个全面的特征图。多尺度沙漏残差结构和双注意力模块构成整个多尺度沙漏注意残差模块单元，即MHAR模块，其具体实现可表示为：

F_i＝F_MHARi([L₀，......，L_d]，[W₀，......，W_d])，

其中，[L₀，......，L_d]是网络对应卷积层的输入，[W₀，......，W_d]是MHAR模块各层的参数，F_MHARi表示第i个MHAR模块的映射过程。

在多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中加入密集连接机制，即四个MHAR模块堆叠并密集连接构成更深层次的网络来提取更高层抽象的特征并聚合多层次的雨纹特征。其具体实现可表示为：

F₁＝MHAR₁(F₀)+F₀，

F₂＝MHAR₂(F₁)+F₁+F₀，

F₃＝MHAR₃(F₂)+F₂+F₁+F₀，

F₄＝MHAR₄(F₃)+F₃+F₂+F₁+F₀，由于卷积深度网络层数加深，雨纹特征经多层次反复上下采样和传递会有所损失，因而多尺度沙漏注意残差模块间密集连接，另外将初始卷积层提取到的浅层特征和各个MHRA模块处理的特征进行融合，使得深层特征能够利用浅层特征，充分使用了各个层级网络所提取的特征实现特征重用，增大信息的流动以防止关键信息的缺损。

最后利用一个带有LeakyReLU激活函数的卷积核大小为1×1和3×3的Conv_1×1和Conv_3×3卷积层将聚合的深度特征进行融合，进而经解码还原成无雨的清晰图像。

R＝σ(Conv_3×3(σ(Conv_1×1(MHAR₄(F₃)+F₃+F₂+F₁+F₀))))，本发明公开了一种基于多尺度沙漏密集连接网络的去雨系统，该系统包括：存储器71及处理器72，所述存储器中包括基于多尺度沙漏密集连接网络的去雨方法的程序，所述基于多尺度沙漏密集连接网络的去雨方法的程序被所述处理器执行时实现以下步骤：

获取合成的图像去雨样本数据集，得到数据集合，用于网络模型的训练；

构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，所述网络模型包括三个卷积核大小为3的卷积层和四个多尺度沙漏注意力残差模块单元；

将所述数据集合进行预处理，得到训练数据集合，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，得到训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；

将需要去雨图像输入训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，获得去雨图像。

需要说明的是，首先，由一个卷积核大小为3×3且带有LeakyReLU激活函数的卷积层Conv_3×3构成输入层，将带雨图像从图像空间转换到特征空间，用于提取浅层次的雨图像特征，其过程可表示为：

F₀＝σ(Conv_3×3(O_rain))，

其中，O_rain表示输入网络的有雨图像；Conv_3×3(·)表示卷积核大小为3×3的卷积层，用来将图像变换到特征空间，提取浅层特征信息F₀，σ为非线性激活函数LeakyReLU。

使用多尺度沙漏结构从输入的特征图像中提取不同尺度的特征图，具体来说就是利用沙漏网络的多个并行结构分别对特征图进行多次采样，获取多尺度映射特征，在融合不同网络层的特征时不受雨纹形状大小的约束，能够快速高效抽象出网络提取的特征信息，使模型更容易学习到各种尺度之间的差异。多尺度沙漏网络模块结构的数学表达式可表示为：

其中，X表示输入数据，F_u(X；η_u)是对数据进行上采样过程。F_d(X；η_d)是对输入数据进行下采样过程。η_d和η_u分别表示下采样和上采样的网络参数，H_i表示经过沙漏网络处理后得到的特征信息。X表示输入网络MHAR模块的特征信息。对不同MHAR模块而言，其输入是其对应的前面网络提取到的特征信息。i和j表示上下采样的层数，也即是进行上下采样的次数。此处上下采样的次数对应相等，保证最终输入网络的雨图像和网络输出的无雨图像的尺寸不变。

下采样操作是对原始输入特征图像进行下采样，获得不同尺度大小的特征图，下采样结构由卷积核大小分别为3×3，3×3和1×1的卷积层Convolution和BatchNormalization和ReLU激活函数构成。下采样操作可表示为：

F_i＝Pooling_i(Conv_i×i(ReLU(Batchnorm(F₀)))，

其中，i为卷积核大小，F₀表示输入沙漏结构的浅层特征数据，F_i为经卷积核大小为i×i卷积并下采样Pooling_i得到的特征图像。

上采样操作(Upscale)将下采样缩小尺寸的深层特征图进行上采样操作，以恢复原尺寸的雨图像特征，其用公式可表示为：

其中，

表示多尺度沙漏结构中的上采样操作过程，

表示经卷积核大小为i×i卷积并上采样

得到的特征图像。

最后将

输入融合模块，即：

其中，F_out表示多尺度沙漏结构融合输出的特征图，

表示经卷积核大小为i×i和上采样

操作后得到的特征图，H(·)表示由两组3×3和一组1×1卷积组成的一系列操作。

在多尺度沙漏结构中引入双注意力机制，利用提取得到的多尺度雨纹特征经过双注意力机制，从空间和通道两个层面引入注意力模块，用于忽略掉大量不重要的特征信息，增强并提取更加重要有用的层次特征，并且减少了网络模型训练的计算成本。

多尺度雨纹特征经由通道注意力模块，为每一个特征通道学习一个权重，该权重代表特征图的重要度，这将使网络过滤掉无用的特征信息同时重点关注有用的信息，通道注意力模块对提取的特征图，首先获取其每个通道上的最大和平均像素值来表示该通道，然后将它们作为两层多层感知机网络的输入，自适应调整不同通道的权重，然后通过加法进行特征融合，最后通过一个sigmoid函数将所有值归一化在0到1之间，得到通道注意力图为：

其中，MLP表示构成共享网络产生通道注意力图Map_c的多层感知器；F是输入网络的特征信息，

和

分别表示通道注意力模块中经平均池化和最大池化操作后的特征图。W₁和W₂表示网络权重参数。σ表示sigmoid非线性激活函数。池化是去除无用信息，保留关键信息。池化层即下采样层，主要用于特征降维，压缩数据和减少参数的数量，减小过拟合，同时提高模型的容错性。AvgPool指的是平均池化操作；平均池化即对特征图邻域内的特征点求平均。MaxPool指的是最大池化操作；最大池化即对特征图邻域内的特征点求最大者。

多尺度雨纹特征经空间注意力模块，根据每一个特征图的空间像素值的相关性程度不同使得网络聚焦于有降雨的位置，以利于网络对图像中雨条纹的识别和提取。在空间注意模块中，执行全局平均和最大池化过程来捕获不同特征的空间上下文信息之间的依赖性，利用特征上下文信息，挖掘层次特征之间的关系。空间注意力特征图为：

其中，F∈R^1×H×W是空间特征分布，F(i)是对应点的特征，C表示所对应的通道数；f^{7 ×7}表示一个滤波器大小为7×7的卷积运算；

和

表示进行空间注意力上的平均池化和最大池化操作得到的特征图，大小均为1×H×W；σ表示sigmoid函数。

进一步将经过通道注意力模块和空间注意力模块得到的特征图像进行拼接以融合得到更重要的信息，其过程可进一步表示为：

F_out＝Concat([Map_c(F)，Map_s(F)])，

其中，Concat是拼接操作，Map_c(F)和Map_s(F)分别表示经通道注意力模块和空间注意力模块处理后得到的特征信息，F_out表示经整个多尺度沙漏残差注意模块单元网络处理后得到的输出特征信息。

同时为了更好地获取局部浅层信息，本发明在多尺度沙漏结构中增加了残差密集连接支路，利用1x1的卷积核对原始输入图像进行特征扩充，之后融合反卷积后放大的特征图，结合全局信息和局部信息，进行多尺度多层次特征的融合。残差连接使得正向传播的特征得以保留，即每一层的结果都是在之前的结果的基础上得到的，这样的连接方式不仅可以防止网络梯度的消失，还有益于网络的收敛，有效地将不同来源的特征融合成一个全面的特征图。多尺度沙漏残差结构和双注意力模块构成整个多尺度沙漏注意残差模块单元，即MHAR模块，其具体实现可表示为：

F_i＝F_MHARi([L₀，......，L_d]，[W₀，......，W_d])，

其中，[L₀，......，L_d]是网络对应卷积层的输入，[W₀，......，W_d]是MHAR模块各层的参数，F_MHARi表示第i个MHAR模块的映射过程。

在多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中加入密集连接机制，即四个MHAR模块堆叠并密集连接构成更深层次的网络来提取更高层抽象的特征并聚合多层次的雨纹特征。其具体实现可表示为：

F₁＝MHAR₁(F₀)+F₀，

F₂＝MHAR₂(F₁)+F₁+F₀，

F₃＝MHAR₃(F₂)+F₂+F₁+F₀，

F₄＝MHAR₄(F₃)+F₃+F₂+F₁+F₀，

由于卷积深度网络层数加深，雨纹特征经多层次反复上下采样和传递会有所损失，因而多尺度沙漏注意残差模块间密集连接，另外将初始卷积层提取到的浅层特征和各个MHRA模块处理的特征进行融合，使得深层特征能够利用浅层特征，充分使用了各个层级网络所提取的特征实现特征重用，增大信息的流动以防止关键信息的缺损。

最后利用一个带有LeakyReLU激活函数的卷积核大小为1×1和3×3的Conv_1×1和Conv_3×3卷积层将聚合的深度特征进行融合，进而经解码还原成无雨的清晰图像。

R＝σ(Conv_3×3(σ(Conv_1×1(MHAR₄(F₃)+F₃+F₂+F₁+F₀))))，其中σ为非线性激活函数LeakyReLU，R为提取分离得到的雨纹层。

最终可得到预训练好的端到端去雨网络模型并利用雨图线性叠加模型得到模型输出的无雨清晰的背景层图像。雨图线性叠加模型可表示为：

B＝O-R，

其中，O为输入网络的有雨图像，R为网络提取分离的雨纹层图像，B为去雨网络处理生成的无雨图像。

以上就是本发明方法的主要过程步骤，下面将详细介绍本发明所采用的损失优化方法。

本发明方法提出一种混合的优化目标函数：将重建损失，SSIM损失和感知损失相结合，在确保图像重建损失最小的同时，并保持每个像素的相似性，另外尽最大程度的保留全局图像结构高度相似性，从而使去雨结果更加准确。具体可以定义为：L_loss＝L_MSE+L_SSIM+L_P，

其中，L_loss为本发明方法总的目标函数。保真项使用均方误差L_MSE作为重建损失以约束真实无雨图像与网络输出无雨图像之间的误差，衡量网络输出无雨图像的准确性；L_SSIM是用于测量两幅图像相似性的结构相似性损失函数，L_P是为了最小化模型输出的去雨图像与输入的真实带雨图像之间感知差异的感知损失函数。λ是一个比例参数，用于调整感知损失分量上的相对权重。在实验验证过程中，本发明方法通过损失函数消融研究证明这个混合的优化目标函数比其他形式的目标函数效果更好。重建损失、SSIM损失和感知损失具体定义为：

1)重建损失：

其中，P为网络训练参数，P＝{w₁，w₂，......，w_n；b₁，b₂，......，b_n}，w₁，...w_n为权值参数；b₁，...，b_n为偏置矢量。重建损失以约束真实无雨图像与网络输出无雨图像之间的误差，衡量网络输出无雨图像的准确性，

2)SSIM损失定义如下：

L_SSIM＝-SSIM(G(R；P)，B)，

其中SSIM(·)为计算两幅图像之间相似性的SSIM函数，G(R；P)为去雨图像，B为真实无雨图像。SSIM损失的目标是尽可能地最大化图像的SSIM值，所以L_SSIM是一个负函数。

3)感知损失：

感知损失来规范图像高维特征之间保持相似性。其中G(R)为使用本发明方法得到的去雨图像，B为对应的真实无雨图像。V(·)表示一个非线性的CNN变换操作。在本发明方法中，计算预先训练好的VGG16模型中的特征损失。

因此，为规范约束网络模型的拟合能力以实现网络模型的优化，最终的混合误差损失函数可表示为：

L_loss＝λ₁L_MSE+λ₂L_SSIM+λ₃L_P，

其中，λ₁、λ₂、λ₃是用于调整重建损失，SSIM损失和感知损失三部分分量上的相对权重的参数。通常λ₁，λ₂，λ₃被分别设置为1，0.2，0.04。

本发明第三方面提供了一种可读存储介质，所述可读存储介质中包括基于多尺度沙漏密集连接网络的去雨方法程序，所述基于多尺度沙漏密集连接网络的去雨方法程序被处理器执行时，实现如上述任一项所述的一种基于多尺度沙漏密集连接网络的去雨方法的步骤。

本发明提供的一种基于多尺度沙漏密集连接网络的单幅图像去雨方法，首先利用多尺度沙漏并行结构对提取输入的特征图像进行多次采样，提取不同尺度的特征图，获取多尺度雨纹映射特征；其次，在多尺度沙漏结构中加入并行连接的空间和通道双注意模块并用残差跳连融合多层次特征，构成整个多尺度沙漏注意力残差模块单元(MHAR模块)，实现对雨纹层特征信息识别提取的自适应重校准；另外本发明在多尺度沙漏注意力残差模块间密集连接使不同深度网络层次间提取到的特征进行相互密集前向传递和特征融合；最终经多层次特征聚合得到全局丰富的雨纹层特征图，进而利用雨图线性叠加模型得到清晰的无雨背景层图像。本方明综合利用多尺度特征融合，双注意力机制和层次特征聚合，提高模型特征学习准确度，有效提取并去除雨纹层特征，获得清晰的去雨图像。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于多尺度沙漏密集连接网络的去雨方法，其特征在于，包括：

获取合成的图像去雨样本数据集，得到数据集合，用于网络模型的训练；

构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，所述网络模型包括三个卷积核大小为3的卷积层和四个多尺度沙漏注意力残差模块单元；

将所述数据集合进行预处理，得到训练数据集合，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，得到训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；

将需要去雨图像输入训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，获得去雨图像。

2.根据权利要求1所述的一种基于多尺度沙漏密集连接网络的去雨方法，其特征在于，所述构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体为：

从图像空间到特征空间的转换由一个卷积核大小为3且带有LeakyReLU激活函数的卷积层构成输入层，用于提取浅层次的雨图像特征，其过程表示为：

F₀＝σ(Conv_3×3(O_rain))，

其中，O_rain表示输入网络的有雨图像；Conv_3×3(·)表示卷积核大小为3×3的卷积操作，用来将图像变换到特征空间，F₀表示图像经过卷积和非线性操作后提取得到的浅层特征图像,σ(·)为非线性激活函数LeakyReLU；

使用多尺度沙漏结构从提取到的浅层特征F₀中进一步采集不同尺度雨纹特征，多尺度沙漏结构由下采样，上采样，池化层，卷积层和反卷积层构成，其数学表达式为:

其中，X表示输入网络的数据信息，F_u(X；η_u)是对数据进行上采样过程。F_d(X；η_d)是对输入数据进行下采样过程。i,j表示上下采样的层数，η_d和η_u分别表示下采样和上采样的网络参数，H_i表示经过沙漏网络处理后得到的特征信息；

利用多尺度沙漏残差结构提取并传递不同尺度雨纹特征的同时引入并行连接的空间和通道双注意力模块对空间上下文特征依赖性进行重校准同时对通道重要特征信息进行加权，以抑制无用的通道信息；

通道注意力模块提取和处理特征图的通道特征信息，获得通道间的相互关联特征信息和重要性程度，通道注意力特征图表示为：

其中，AvgPool指的是平均池化操作,MaxPool指的是最大池化操作,MLP表示构成共享网络产生通道注意力图Map_c的多层感知器；F是输入网络的特征信息，

和

分别表示通道注意力模块中经平均池化和最大池化操作后的特征图，W₁和W₂表示网络权重参数，σ表示sigmoid非线性激活函数；

空间注意力模块提取关注图像的空间上下文信息分布情况，空间注意力特征图表示为：

其中，F∈R^1×H×W是空间特征分布，F(i)是对应点的特征，C表示所对应的通道数；f^7×7表示一个滤波器大小为7×7的卷积运算；

和

表示进行空间注意力上的平均池化和最大池化操作得到的特征图，大小均为1×H×W；σ表示sigmoid函数；

将经过通道注意力模块和空间注意力模块得到的特征图像进行拼接融合，其过程可进一步表示为：

F_out＝Concat([Map_c(F),Map_s(F)])，

其中，Concat是拼接操作,Map_c(F)和Map_s(F)分别表示经通道注意力模块和空间注意力模块处理后得到的特征信息，F_out表示经整个多尺度沙漏残差注意模块单元网络处理后得到的输出特征信息；

多尺度沙漏结构和双注意力模块加上残差跳转连接而构成多尺度沙漏注意力残差模块单元，残差网络将浅层提取到的特征跳跃跨层传递到更深的网络层，MHAR模块表示为：

F_i＝F_MHARi([L₀,……,L_d],[W₀,……,W_d])，

其中，[L₀,……,L_d]是网络对应卷积层的输入，[W₀,……,W_d]是MHAR模块各层的参数，F_MHARi表示第i个MHAR模块的映射过程；

在多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中加入密集连接机制，其具体实现表示为：

F₁＝F_MHAR1(F₀)+F₀，

F₂＝F_MHAR2(F₁)+F₁+F₀，

F₃＝F_MHAR3(F₂)+F₂+F₁+F₀，

F₄＝F_MHAR4(F₃)+F₃+F₂+F₁+F₀。

利用一个带有LeakyReLU激活函数的卷积核大小为1×1和3×3的Conv_1×1和Conv_3×3卷积层将聚合的深度特征进行融合，表示为：

R＝σ(Conv_3×3(σ(Conv_1×1(MHAR₄(F₃)+F₃+F₂+F₁+F₀))))，

其中σ为非线性激活函数LeakyReLU，R为提取分离得到的雨纹层。

3.根据权利要求1所述的一种基于多尺度沙漏密集连接网络的去雨方法，其特征在于，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体为：

将训练数据集合批量化输入构建的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中进行训练，最终可得到预训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；

B＝O-R，

其中，O为输入网络的有雨图像，R为网络提取分离的雨纹层图像，B为去雨网络处理生成的无雨图像。

4.根据权利要求1所述的一种基于多尺度沙漏密集连接网络的去雨方法，其特征在于，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体由重建损失、SSIM损失，感知损失组成，具体为：

重建损失基于均方误差构造重建损失定义如下：

其中，L_MSE表示均方误差，H、W表示图像的尺寸，即高度和宽度,C为图像的通道数，G(R_i；P)表示去雨模型输出的第i张无雨图像，P为网络训练参数，P＝{w₁,w₂,……，w_n；b₁,b₂,……，b_n},w₁,…w_n为权值参数；b₁,…，b_n为偏置矢量，B_i表示对应的第i幅真实的无雨图像；F为Frobenius范数；

SSIM损失通过图像的结构相似性进行计算，图像的结构相似性公式表示为：

其中，μ_x表示图像的均值，

代表图像的方差，σ_xy表示两幅图像的协方差，C₁和C₂是方程的经验常数，SSIM损失函数定义为：

L_SSIM＝-SSIM(G(R；P),B)，

其中，L_SSIM是一个负函数；

感知损失定义为：

其中，V表示一个非线性神经网络变换，目标是最小化高级特征之间的距离；

最终的混合误差损失函数可表示为：

L_loss＝λ₁L_MSE+λ₂L_SSIM+λ₃L_P，

其中，λ₁、λ₂、λ₃是重建损失，SSIM损失和感知损失三部分分量上的相对权重的参数。

5.根据权利要求4所述的一种基于多尺度沙漏密集连接网络的去雨方法，其特征在于，λ₁、λ₂、λ₃被分别设置为1，0.2，0.04。

6.一种基于多尺度沙漏密集连接网络的去雨系统，其特征在于，该系统包括：存储器及处理器，所述存储器中包括基于多尺度沙漏密集连接网络的去雨方法的程序，所述基于多尺度沙漏密集连接网络的去雨方法的程序被所述处理器执行时实现以下步骤：

获取合成的图像去雨样本数据集，得到数据集合，用于网络模型的训练；

构建多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，所述网络模型包括三个卷积核大小为3的卷积层和四个多尺度沙漏注意力残差模块单元；

将所述数据集合进行预处理，得到训练数据集合，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，得到训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；

将需要去雨图像输入训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，获得去雨图像。

7.根据权利要求6所述的一种基于多尺度沙漏密集连接网络的去雨系统，其特征在于，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体为：

将训练数据集合批量化输入构建的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型中进行训练，最终可得到预训练好的多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型；

B＝O-R，

其中，O为输入网络的有雨图像，R为网络提取分离的雨纹层图像，B为去雨网络处理生成的无雨图像。

8.根据权利要求6所述的一种基于多尺度沙漏密集连接网络的去雨系统，其特征在于，基于Pytorch深度学习框架用所述训练数据集合训练多尺度沙漏密集连接网络端到端映射的单图像去雨网络模型，具体由重建损失、SSIM损失，感知损失组成，具体为：

重建损失基于均方误差构造重建损失定义如下：

其中，L_MSE表示均方误差，H、W表示图像的尺寸，即高度和宽度,C为图像的通道数，G(R_i；P)表示去雨模型输出的第i张无雨图像，P为网络训练参数，P＝{w₁,w₂,……，w_n；b₁,b₂,……，b_n},w₁,…w_n为权值参数；b₁,…，b_n为偏置矢量，B_i表示对应的第i幅真实的无雨图像；F为Frobenius范数；

SSIM损失通过图像的结构相似性进行计算，图像的结构相似性公式表示为：

其中，μ_x表示图像的均值，

代表图像的方差，σ_xy表示两幅图像的协方差，C₁和C₂是方程的经验常数，SSIM损失函数定义为：

L_SSIM＝-SSIM(G(R；P),B)，

其中，L_SSIM是一个负函数；

感知损失定义为：

其中，V表示一个非线性神经网络变换，目标是最小化高级特征之间的距离；

最终的混合误差损失函数可表示为：

L_loss＝λ₁L_MSE+λ₂L_SSIM+λ₃L_P，

其中，λ₁、λ₂、λ₃是重建损失，SSIM损失和感知损失三部分分量上的相对权重的参数。

9.根据权利要求8所述的一种基于多尺度沙漏密集连接网络的去雨系统，其特征在于，λ₁、λ₂、λ₃被分别设置为1，0.2，0.04。

10.一种可读存储介质，其特征在于，所述可读存储介质中包括基于多尺度沙漏密集连接网络的去雨方法程序，所述基于多尺度沙漏密集连接网络的去雨方法程序被处理器执行时，实现如权利要求1至5中任一项所述的一种基于多尺度沙漏密集连接网络的去雨方法的步骤。

Images