CN114241308B - 一种基于压缩模块的轻量化遥感图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于压缩模块的轻量化遥感图像显著性检测方法。首先对输入压缩模块的信息进行预处理，然后获取显著性信息和多感受野信息；再融合显著性信息与多感受野信息，作为压缩模块输出；最后依据压缩模块，构建轻量化模型。本发明方法通过对输入压缩模块的信息进行压缩，从而减少了后续操作所需参数量，进而降低了模型整体的大小并提升了检测速度。本发明方法通过利用互补信息来丰富模块的提取能力，加强了轻量化模型的整体性能，从而较好地实现对遥感图像进行显著性检测。

Description

一种基于压缩模块的轻量化遥感图像显著性检测方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于压缩模块的轻量化遥感图像显著性检测方法。

背景技术

近年来，显著性检测作为计算机视觉领域的一项基本技术，已被成功应用于目标检测、行人识别、视频压缩和图像分割等领域，具有巨大的学术价值及商业价值，因此受到广泛的关注。同时，遥感图像由于具有背景复杂，目标尺度多变的特点，检测难度大于常规图像，从而导致相关方面的研究较少。

遥感图像的显著性目标分布于图像的中央或边缘部分，且目标数量及尺度多变，与传统的常规图像具有较大区别，从而使得应用于常规图像的显著性检测方法很难直接应用于遥感图像当中。

在显著性检测长期的发展过程中，大量的模型被提出并应用于实际生活中。近年来深度学习快速发展，基于深度学习的方法已被广泛使用。近期，研究人员将目光转至遥感图像等检测难度大、应用价值高的领域，并取得了一定的研究成果。

随着深度学习的广泛应用，基于深度学习的遥感图像显著性检测方法已被提出并取得了较好的效果。现有模型在追求检测性能的同时带来了参数量的增长，此外还降低了处理速度，从而导致已有方法难以有效地应用到实际生产生活当中。

发明内容

针对现有技术存在的不足，本发明提供了一种基于压缩模块的轻量化遥感图像显著性检测方法。

本发明方法包括以下步骤：

步骤(1).对输入压缩模块的信息进行预处理；

分别通过两个参数不共享的卷积层对输入压缩模块的信息进行通道压缩，获得两种不同的压缩信息。

步骤(2).对预处理后的用于显著性信息提取的压缩信息进行处理，获取显著性信息；

步骤(3).对预处理后的用于多感受野信息提取的压缩信息进行处理，获取多感受野信息；

步骤(4).融合显著性信息与多感受野信息，作为压缩模块输出；

步骤(5).依据压缩模块，构建轻量化模型；

所述的轻量化模型包括编码器部分和解码器部分。

步骤(6).对构建的轻量化模型进行训练，并保存所得的模型参数。

步骤(1)具体方法如下：

首先将输入压缩模块的信息分别通过两个参数不共享的卷积层进行通道压缩，获得两种不同的压缩信息。其过程可表示为：

其中：SquFeature₁为用于显著性信息提取的压缩信息，SquM-Feature₁为用于多感受野信息提取的压缩信息，Feature表示输入压缩模块的信息，Conv_1×1与分别表示两个卷积核尺寸为1×1的参数不共享的卷积层。

步骤(2)具体方法如下：

首先，将步骤(1)获得的用于显著性信息提取的压缩信息输入3个连续的卷积层中，对压缩信息进行显著性信息的提取，提取所得信息通道数均为输入通道数的1/4，后一层卷积层的输入为前一层卷积层的输出；之后，将各层提取获得的显著性信息及未经过提取的压缩信息相加，经过一个卷积层进行融合，获得融合后的显著性信息，融合后的显著性信息通道数为压缩模块输出通道数的1/2。其过程可表示为：

其中：SeqFeature_i(i＝2,3,4,5)表示获得的多个显著性信息，Conv_3×3表示卷积核尺寸为3×3的卷积层。

步骤(3)具体方法如下：

首先，将步骤(1)获得的用于多感受野信息提取的压缩信息输入3个连续的膨胀卷积层中，膨胀率依次为6,4,2，对压缩信息进行信息提取，后一层膨胀卷积层的输入为前一层膨胀卷积层的输出；之后，将各层在不同感受野下获得的信息及未经过提取的压缩信息相加，经过一个卷积层进行融合，获得融合后的多感受野信息。其过程可表示为：

其中：SeqM-Feature_i(i＝2,3,4,5)表示该过程在多个感受野下提取获得的信息，DiConv_3×3表示卷积核尺寸为3×3，膨胀率分别为6,4,2的膨胀卷积层，Conv_3×3表示卷积核尺寸为3×3的卷积层。

步骤(4)具体方法如下：

将步骤(2)获得的融合后的显著性信息与步骤(3)获得的融合后的多感受野信息经过concatenation操作结合，获得融合过后的压缩模块的输出信息。

步骤(5)具体方法如下：

所述的轻量化模型包括编码器部分和解码器部分。编码器部分由5层构成，第一层为7×7的卷积层(卷积核尺寸为7×7，步幅为1)，其余各层为压缩模块。编码器各层处理来自上一层的信息，并将处理获得的信息传入下一层当中。解码器各层均为压缩模块构成，其处理来自解码器上一层的信息以及来自编码器对应层的信息，将处理得到的信息送入下一层中并获得最终输出。编码器各层之间由最大池化层连接，而解码器各层之间由双线性插值的上采样连接。其过程可表示为：

其中F_i(i＝1,2,3,4,5)表示编码器各层获得的信息，F_i ^D(i＝1,2,3,4,5)表示解码器各层获得的信息，Conv_7×7表示卷积核尺寸为7×7，步幅为1的卷积层，SquM表示压缩模块操作，Down表示最大池化的下采样操作，UP表示双线性插值的上采样操作，Input表示输入模型的图像。

步骤(6)具体方法如下：

首先，将图像尺寸统一调整为384×384，批处理大小设置为8；然后，利用Pytorch框架进行训练部署；最后，采用交叉熵损失函数计算预测图与真值图之间的差异，并利用Adam优化器对模型参数进行更新操作，初始学习率设置为1e-4。

本发明有益效果如下：

本发明方法的主要优势有以下两个方面：编解码器通过对信息压缩从而降低模型大小以及通过互补的信息丰富模块的提取能力。本发明方法通过对输入压缩模块的信息进行压缩，从而减少了后续操作所需参数量，进而降低了模型整体的大小并提升了检测速度。本发明方法通过利用互补信息来丰富模块的提取能力，加强了轻量化模型的整体性能，从而较好地实现对遥感图像进行显著性检测。

附图说明

图1为本发明方法实施例的框架图；

图2为本发明方法实施例压缩模块的结构图；

图3为本发明方法实施例结果对比图，第一列为原图像，第二列为真值图，第三列为本发明方法实施例的结果图。

具体实施方式

下面结合附图对本发明作进一步说明。

图2为本发明方法实施例压缩模块的结构图，本发明方法具体如下：

步骤(1).对输入压缩模块的信息进行预处理，具体方法如下：

首先将输入压缩模块的信息分别通过两个参数不共享的卷积层(卷积核尺寸为1×1，步幅为1)，两个卷积层后各接有一个Relu函数进行通道压缩。得到2个通道数为输入通道数1/4的压缩信息，如图2所示。其过程可表示为：

其中：SquFeature₁为用于显著性信息提取的压缩信息，SquM-Feature₁为用于多感受野信息提取的压缩信息，Feature表示输入压缩模块的信息，Conv_1×1与分别表示两个卷积核尺寸为1×1的参数不共享的卷积层。

步骤(2).对预处理后的用于显著性信息提取的压缩信息进行处理，获取显著性信息，具体方法如下：

如图2所示，首先，将步骤(1)获得的用于显著性信息提取的压缩信息输入3个连续的卷积层(卷积核尺寸为3×3，步幅为1，卷积层后各接有一个BN层和一个Relu函数)中，对压缩信息进行显著性信息的提取，提取所得信息通道数均为输入通道数的1/4，后一层卷积层的输入为前一层卷积层的输出；之后，将各层提取获得的显著性信息及未经过提取的压缩信息相加，经过一个卷积层(卷积核尺寸为3×3，步幅为1，卷积层后接有一个BN层和一个Relu函数)进行融合；得到融合后的显著性信息，融合后的显著性信息通道数为压缩模块输出通道数的1/2。其过程可表示为：

其中：SeqFeature_i(i＝2,3,4,5)表示获得的多个显著性信息，Conv_3×3表示卷积核尺寸为3×3的卷积层。

步骤(3).对预处理后的用于多感受野信息提取的压缩信息进行处理，获取多感受野信息，具体方法如下：

首先，将步骤(1)获得的用于多感受野信息提取的压缩信息输入3个连续的膨胀卷积层(卷积核尺寸为3×3，步幅为1，膨胀卷积层后各接有一个BN层和一个Relu函数)中，膨胀率依次为6,4,2，对压缩信息进行信息提取，提取所得多感受野信息通道数均为输入通道数的1/4，后一层膨胀卷积层的输入为前一层膨胀卷积层的输出；之后，将各层在不同感受野下获得的信息及未经过提取的压缩信息相加，经过一个卷积层(卷积核尺寸为3×3，步幅为1)接有一个BN层和一个Relu函数进行融合，融合所得多感受野信息通道数为压缩模块输出通道数的1/2；最后将融合获得的多感受野信息送入后续操作。其过程可表示为：

其中：SeqM-Feature_i(i＝2,3,4,5)表示该过程在多个感受野下提取获得的信息，DiConv_3×3表示卷积核尺寸为3×3，膨胀率分别为6,4,2的膨胀卷积层，Conv_3×3表示卷积核尺寸为3×3的卷积层。

步骤(4).融合显著性信息与多感受野信息，作为压缩模块输出，具体方法如下：

如图2所示，将步骤(2)获得的融合后的显著性信息(通道数为输出通道数1/2)与步骤(3)获得的融合后的多感受野信息(通道数为输出通道数1/2)经过concatenation操作结合，获得融合过后的信息(通道数即为输出通道数)送入后续操作。

步骤(5).依据压缩模块，构建轻量化模型，具体方法如下：

图1为本发明方法实施网络的结构图；

所述的轻量化模型包括编码器部分和解码器部分。编码器部分由5层构成，第一层为7×7的卷积层(卷积核尺寸为7×7，步幅为1)后接有一个BN层和一个Relu激活函数，其余各层为压缩模块。编码器各层处理来自上一层的信息，并将处理获得的信息传入下一层当中。解码器各层均为压缩模块构成，其处理来自解码器上一层的信息以及来自编码器对应层的信息，将处理得到的信息送入下一层中并获得最终输出。编码器各层输出通道数分别为(64,128,256,512,1024)，解码器各层输出分别为(512,256,128,64,64)，编解码器之间通过相加操作融合信息。编码器各层之间由最大池化层连接，而解码器各层之间由双线性插值的上采样连接。其过程可表示为：

其中F_i(i＝1,2,3,4,5)表示编码器各层获得的信息，F_i ^D(i＝1,2,3,4,5)表示解码器各层获得的信息，Conv_7×7表示卷积核尺寸为7×7，步幅为1的卷积层，SquM表示压缩模块操作，Down表示最大池化的下采样操作，UP表示双线性插值的上采样操作，Input表示输入模型的图像。

步骤(6).对构建的轻量化模型进行训练，并保存所得的模型参数，具体方法如下：

首先，将图像尺寸统一调整为384×384，批处理大小设置为8；然后，利用Pytorch框架进行训练部署；最后，采用交叉熵损失函数计算预测图与真值图之间的差异，并利用Adam优化器对模型参数进行更新操作，初始学习率设置为1e-4。

图3为本发明方法结果对比图，第一列为原图像，第二列为真值图，第三列为本发明方法的结果图。

Claims (2)

1.一种基于压缩模块的轻量化遥感图像显著性检测方法，其特征在于，包括以下步骤：

步骤(1).对输入压缩模块的信息进行预处理；

分别通过两个参数不共享的卷积层对输入压缩模块的信息进行通道压缩，获得两种不同的压缩信息；

步骤(2).对预处理后的用于显著性信息提取的压缩信息进行处理，获取显著性信息；

步骤(3).对预处理后的用于多感受野信息提取的压缩信息进行处理，获取多感受野信息；

步骤(4).融合显著性信息与多感受野信息，作为压缩模块输出；

步骤(5).依据压缩模块，构建轻量化模型；

所述的轻量化模型包括编码器部分和解码器部分；

步骤(6).对构建的轻量化模型进行训练，并保存所得的模型参数；

步骤(1)具体方法如下：

首先将输入压缩模块的信息分别通过两个参数不共享的卷积层进行通道压缩，获得两种不同的压缩信息；其过程可表示为：

其中：SquFeature₁为用于显著性信息提取的压缩信息，SquM-Feature₁为用于多感受野信息提取的压缩信息，Feature表示输入压缩模块的信息，Conv_1×1与分别表示两个卷积核尺寸为1×1的参数不共享的卷积层；

步骤(2)具体方法如下：

首先，将步骤(1)获得的用于显著性信息提取的压缩信息输入3个连续的卷积层中，对压缩信息进行显著性信息的提取，提取所得信息通道数均为输入通道数的1/4，后一层卷积层的输入为前一层卷积层的输出；之后，将各层提取获得的显著性信息及未经过提取的压缩信息相加，经过一个卷积层进行融合，获得融合后的显著性信息，融合后的显著性信息通道数为压缩模块输出通道数的1/2；其过程可表示为：

其中：SeqFeature_i(i＝2,3,4,5)表示获得的多个显著性信息，Conv_3×3表示卷积核尺寸为3×3的卷积层；

步骤(3).多感受野信息的获得，具体方法如下：

首先，将步骤(1)获得的用于多感受野信息提取的压缩信息输入3个连续的膨胀卷积层中，膨胀率依次为6,4,2，对压缩信息进行信息提取，后一层膨胀卷积层的输入为前一层膨胀卷积层的输出；之后，将各层在不同感受野下获得的信息及未经过提取的压缩信息相加，经过一个卷积层进行融合，获得融合后的多感受野信息；其过程可表示为：

其中：SeqM-Feature_i(i＝2,3,4,5)表示该过程在多个感受野下提取获得的信息，DiConv_3×3表示卷积核尺寸为3×3，膨胀率分别为6,4,2的膨胀卷积层，Conv_3×3表示卷积核尺寸为3×3的卷积层；

步骤(4)具体方法如下：

将步骤(2)获得的融合后的显著性信息与步骤(3)获得的融合后的多感受野信息经过concatenation操作结合，获得融合过后的压缩模块的输出信息；

步骤(5)具体方法如下：

所述的轻量化模型包括编码器部分和解码器部分；编码器部分由5层构成，第一层为7×7的卷积层，其余各层为压缩模块；编码器各层处理来自上一层的信息，并将处理获得的信息传入下一层当中；解码器各层均为压缩模块构成，其处理来自解码器上一层的信息以及来自编码器对应层的信息，将处理得到的信息送入下一层中并获得最终输出；编码器各层之间由最大池化层连接，而解码器各层之间由双线性插值的上采样连接；其过程可表示为：

其中F_i(i＝1,2,3,4,5)表示编码器各层获得的信息，F_i ^D(i＝1,2,3,4,5)表示解码器各层获得的信息，Conv_7×7表示卷积核尺寸为7×7，步幅为1的卷积层，SquM表示压缩模块操作，Down表示最大池化的下采样操作，UP表示双线性插值的上采样操作，Input表示输入模型的图像。

2.根据权利要求1所述的一种基于压缩模块的轻量化遥感图像显著性检测方法，其特征在于，步骤(6)具体方法如下：

首先，将图像尺寸统一调整为384×384，批处理大小设置为8；然后，利用Pytorch框架进行训练部署；最后，采用交叉熵损失函数计算预测图与真值图之间的差异，并利用Adam优化器对模型参数进行更新操作，初始学习率设置为1e-4。