CN117994506B - 一种动态知识集成的遥感图像显著性目标检测方法 - Google Patents

Abstract

本发明提供了遥感图像检测技术领域的一种动态知识集成的遥感图像显著性目标检测方法，包括：步骤S1、创建特征提取器；步骤S2、通过特征提取器从遥感图像中提取多尺度特征并进行通道归一化；步骤S3、对多尺度特征进行通道注意力计算得到通道注意力值，基于通道注意力值筛选高贡献的特征通道并进行通道增强操作；步骤S4、从高到低逐层将相邻的各多尺度特征输入动态知识集成模块，输出增强特征；步骤S5、将各增强特征输入特征校准模块，输出校准特征，直至完成所有尺度的特征校准；步骤S6、将各校准特征的特征维度压缩为1后映射至RGB空间，以输出遥感图像的显著性目标。本发明的优点在于：极大的提升了遥感图像显著性目标检测精度。

Description

一种动态知识集成的遥感图像显著性目标检测方法

技术领域

本发明涉及遥感图像检测技术领域，特别指一种动态知识集成的遥感图像显著性目标检测方法。

背景技术

显著性目标检测（Salient Object Detection，简称SOD）通过模拟人类视觉系统的方式，在图像中识别和突出显示最关键的区域，广泛应用于地理空间实体检测、云检测、地理空间变化检测等多个领域。在显著性目标检测的众多应用中，与遥感图像的结合尤为重要，它的实用性可以扩展到环境监测和城市发展等关键领域。

随着深度学习的兴起改变了传统的显著性目标检测方法，并引入许多基于卷积神经网络（Convolutional Neural Network，CNN）的模型，这些CNN模型显著推动了显著性目标检测领域的发展。然而，CNN模型被应用于遥感图像的显著性目标检测（ORSI-SOD）时，由于遥感图像存在范围广泛、背景复杂和多样的噪声干扰，导致检测精度不尽如人意。尽管CNN模型试图适应遥感图像的复杂性，但由于有限的感受野而存在明显的局限性，特别是在理解远距离依赖关系方面；一些CNN模型尝试通过使用更大的卷积核、堆叠层或更深的架构来规避这些限制，但会增加计算需求。

相反，Transformer通过自注意机制建模长距离依赖关系（长程依赖信息）的能力，在计算机视觉领域展现出了潜力；然而，纯粹基于Transformer的架构仍然在遥感图像显著性目标检测中，也面临着复杂背景和多样噪声干扰的困扰。具体而言，传统Transformer通常在单一尺度上操作特征，难以解决遥感图像显著性目标检测中普遍存在的多尺度问题；此外，Transformer的自注意机制中对所有图像区域的等同处理并不能充分减轻复杂背景的干扰，使得检测精度还是不尽如人意。

因此，如何提供一种动态知识集成的遥感图像显著性目标检测方法，实现提升遥感图像显著性目标检测精度，成为一个亟待解决的技术问题。

发明内容

本发明要解决的技术问题，在于提供一种动态知识集成的遥感图像显著性目标检测方法，实现提升遥感图像显著性目标检测精度。

本发明是这样实现的：一种动态知识集成的遥感图像显著性目标检测方法，包括如下步骤：

步骤S1、通过四个Transformer层创建一用于提取多尺度特征的特征提取器，对所述特征提取器进行预训练；

步骤S2、获取待检测的遥感图像，通过所述特征提取器从遥感图像中提取多尺度特征，对所述多尺度特征进行通道归一化，将特征维度转换为32；

步骤S3、对通道归一化后的所述多尺度特征进行通道注意力计算，得到各特征通道的通道注意力值，基于所述通道注意力值筛选高贡献的特征通道并进行通道增强操作；

步骤S4、基于神经网络创建一用于逐层递增自适应组合语义和细节特征的动态知识集成模块，从高到低逐层将相邻的各所述多尺度特征输入动态知识集成模块，输出增强特征；

步骤S5、基于神经网络创建一用于改进特征通道和空间维度的特征相关性的特征校准模块，将各所述增强特征输入特征校准模块，输出校准特征，直至完成所有尺度的特征校准；

步骤S6、将各所述校准特征的特征维度压缩为1后，将各所述校准特征映射至RGB空间，以输出所述遥感图像的显著性目标。

进一步的，所述步骤S1中，各所述Transformer层的特征通道的特征维度分别为64、128、320、512；

各所述Transformer层分别用于提取不同尺度的长距离依赖特征，基于各所述长距离依赖特征构建多尺度特征。

进一步的，所述步骤S2中，所述多尺度特征携带不同粒度的长程依赖信息。

进一步的，所述步骤S4中，所述动态知识集成模块以多尺度特征中的高层特征作为知识引导，计算所述高层特征与多尺度特征中相邻的低层特征的相似度矩阵，将所述相似度矩阵与多尺度特征分别进行相乘和相加操作后，输出增强特征。

进一步的，所述步骤S6具体为：

将各所述校准特征的特征维度压缩为1后，通过sigmoid激活函数将各所述校准特征的像素值映射至RGB空间的[0,255]，以输出所述遥感图像的显著性目标。

本发明的优点在于：

通过四个Transformer层创建用于提取多尺度特征的特征提取器并进行预训练；接着获取待检测的遥感图像，通过特征提取器从遥感图像中提取多尺度特征，对多尺度特征进行通道归一化后再进行通道注意力计算，得到各特征通道的通道注意力值，基于通道注意力值筛选高贡献的特征通道并进行通道增强操作；接着基于神经网络创建用于逐层递增自适应组合语义和细节特征的动态知识集成模块，从高到低逐层将相邻的各多尺度特征输入动态知识集成模块，输出增强特征，基于神经网络创建用于改进特征通道和空间维度的特征相关性的特征校准模块，将各增强特征输入特征校准模块，输出校准特征，直至完成所有尺度的特征校准，最后将各校准特征的特征维度压缩为1后，将各校准特征映射至RGB空间，以输出遥感图像的显著性目标；即利用Transformer层产生多尺度特征（多层级特征嵌入），有效地克服了传统CNN模型中忽视长程依赖信息的问题；通过动态知识集成模块逐层递增自适应组合语义和细节特征，以多尺度特征中的高层特征作为知识引导，在捕捉复杂细节方面表现出色，有效应对建模不同尺度的挑战；通过特征校准模块改进特征通道和空间维度的特征相关性，从而提高整体特征表示，有效减少背景的干扰，最终极大的提升了遥感图像显著性目标检测精度。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明一种动态知识集成的遥感图像显著性目标检测方法的流程图。

图2是本发明的架构图。

图3是本发明动态知识集成模块的结构示意图。

具体实施方式

本申请实施例中的技术方案，总体思路如下：利用Transformer层产生多尺度特征（多层级特征嵌入），有效地克服了传统CNN模型中忽视长程依赖信息的问题；通过动态知识集成模块逐层递增自适应组合语义和细节特征，以多尺度特征中的高层特征作为知识引导，在捕捉复杂细节方面表现出色，有效应对建模不同尺度的挑战；通过特征校准模块改进特征通道和空间维度的特征相关性，从而提高整体特征表示，有效减少背景的干扰，进而提升遥感图像显著性目标检测精度。

请参照图1至图3所示，本发明一种动态知识集成的遥感图像显著性目标检测方法的较佳实施例，包括如下步骤：

步骤S1、通过四个Transformer层创建一用于提取多尺度特征的特征提取器（PVT），对所述特征提取器进行预训练；

步骤S2、获取待检测的遥感图像，通过所述特征提取器从遥感图像中提取多尺度特征，对所述多尺度特征进行通道归一化，将特征维度转换为32，以提升计算效率；

所示多尺度特征表示为；其中，表示特征空间；表示第i阶段编码器输出特征空间维度上的长度；表示特征空间维度上的宽度；表示输出特征的通道数量，，，i表示编码器特征提取阶段的编号；

步骤S3、对通道归一化后的所述多尺度特征进行通道注意力计算，得到各特征通道的通道注意力值，基于所述通道注意力值筛选高贡献的特征通道并进行通道增强操作；具体实施时，通过Squeeze and Excitation进行通道增强操作；

步骤S4、基于神经网络创建一用于逐层递增自适应组合语义和细节特征的动态知识集成模块（DKIM），从高到低逐层将相邻的各所述多尺度特征输入动态知识集成模块，输出增强特征；即逐层计算交叉注意力来进行动态融合；

步骤S5、基于神经网络创建一用于改进特征通道和空间维度的特征相关性的特征校准模块（RFRB），将各所述增强特征输入特征校准模块，输出校准特征，直至完成所有尺度的特征校准，即进行通道级别和空间级别的注意力计算，旨在强化通道交互同时增强有效的空间信息；所述增强特征以及校准特征均为特征图；

步骤S6、将各所述校准特征的特征维度压缩为1后，将各所述校准特征映射至RGB空间，以输出所述遥感图像的显著性目标。

所述步骤S1中，各所述Transformer层的特征通道的特征维度分别为64、128、320、512；

各所述Transformer层分别用于提取不同尺度的长距离依赖特征，基于各所述长距离依赖特征构建多尺度特征。

所述步骤S2中，所述多尺度特征携带不同粒度的长程依赖信息。

所述步骤S4中，所述动态知识集成模块以多尺度特征中的高层特征作为知识引导，计算所述高层特征与多尺度特征中相邻的低层特征的相似度矩阵，将所述相似度矩阵与多尺度特征分别进行相乘和相加操作后，输出增强特征。

所述动态知识集成模块对高层特征和低层特征进行动态融合，利用高层特征（高层语义信息）作为引导，建立语义和相关细节特征的联系，可获得更为精确的目标定位结果。

所述高层特征表示为，所述低层特征表示为，H表示输入图像空间维度上的长度，W表示输入图像空间维度上的宽度，C表示输入图像的通道数；所述高层特征以及低层特征均由Overlapping Patch Embedding编码，使得相邻窗口的重叠面积为一半，从而有助于捕捉局部连续信息；

通过双线性插值将所述高层特征上采样到与低层特征具有相同的空间分辨率得到特征，对所述特征进行归一化得到特征和特征，基于所述特征和特征计算相似度矩阵A：

；

其中，表示归一化指数函数；和均表示投影权重矩阵，且,；T表示转置；

基于所述相似度矩阵A计算初始增强特征：

；

基于所述初始增强特征计算增强特征：

；

其中，表示范数函数；表示前馈神经网络。

类似于自注意力机制，本发明将具有残差连接的前馈神经网络与特征相结合，随后增强特征与特征进行连接，将结果输入特征校准模块以产生一个集成的特征图FR（校准特征）。通过这种方式迭代，三个动态知识集成模块逐渐自适应整合所有特征；本发明从特征到执行DKIM计算，构建多级特征的相关性，逐步捕捉细粒度的细节信息，同时保留位置信息。

所述步骤S6具体为：

将各所述校准特征的特征维度压缩为1后，通过sigmoid激活函数将各所述校准特征的像素值映射至RGB空间的[0,255]，恢复原有尺寸后，以输出所述遥感图像的显著性目标。

综上所述，本发明的优点在于：

通过四个Transformer层创建用于提取多尺度特征的特征提取器并进行预训练；接着获取待检测的遥感图像，通过特征提取器从遥感图像中提取多尺度特征，对多尺度特征进行通道归一化后再进行通道注意力计算，得到各特征通道的通道注意力值，基于通道注意力值筛选高贡献的特征通道并进行通道增强操作；接着基于神经网络创建用于逐层递增自适应组合语义和细节特征的动态知识集成模块，从高到低逐层将相邻的各多尺度特征输入动态知识集成模块，输出增强特征，基于神经网络创建用于改进特征通道和空间维度的特征相关性的特征校准模块，将各增强特征输入特征校准模块，输出校准特征，直至完成所有尺度的特征校准，最后将各校准特征的特征维度压缩为1后，将各校准特征映射至RGB空间，以输出遥感图像的显著性目标；即利用Transformer层产生多尺度特征（多层级特征嵌入），有效地克服了传统CNN模型中忽视长程依赖信息的问题；通过动态知识集成模块逐层递增自适应组合语义和细节特征，以多尺度特征中的高层特征作为知识引导，在捕捉复杂细节方面表现出色，有效应对建模不同尺度的挑战；通过特征校准模块改进特征通道和空间维度的特征相关性，从而提高整体特征表示，有效减少背景的干扰，最终极大的提升了遥感图像显著性目标检测精度。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (4)

1.一种动态知识集成的遥感图像显著性目标检测方法，其特征在于：包括如下步骤：

步骤S1、通过四个Transformer层创建一用于提取多尺度特征的特征提取器，对所述特征提取器进行预训练；

步骤S2、获取待检测的遥感图像，通过所述特征提取器从遥感图像中提取多尺度特征，对所述多尺度特征进行通道归一化，将特征维度转换为32；

步骤S3、对通道归一化后的所述多尺度特征进行通道注意力计算，得到各特征通道的通道注意力值，基于所述通道注意力值筛选高贡献的特征通道并进行通道增强操作；

步骤S4、基于神经网络创建一用于逐层递增自适应组合语义和细节特征的动态知识集成模块，从高到低逐层将相邻的各所述多尺度特征输入动态知识集成模块，输出增强特征；

步骤S5、基于神经网络创建一用于改进特征通道和空间维度的特征相关性的特征校准模块，将各所述增强特征输入特征校准模块，输出校准特征，直至完成所有尺度的特征校准；

步骤S6、将各所述校准特征的特征维度压缩为1后，将各所述校准特征映射至RGB空间，以输出所述遥感图像的显著性目标；

所述步骤S4中，所述动态知识集成模块以多尺度特征中的高层特征作为知识引导，计算所述高层特征与多尺度特征中相邻的低层特征的相似度矩阵，将所述相似度矩阵与多尺度特征分别进行相乘和相加操作后，输出增强特征；

所述高层特征表示为，所述低层特征表示为，H表示输入图像空间维度上的长度，W表示输入图像空间维度上的宽度，C表示输入图像的通道数，表示特征空间；

所述动态知识集成模块对高层特征和低层特征进行动态融合，利用高层特征作为引导，建立语义和相关细节特征的联系；

通过双线性插值将所述高层特征上采样到与低层特征具有相同的空间分辨率得到特征，对所述特征进行归一化得到特征和特征，基于所述特征和特征计算相似度矩阵A：

；

其中，表示归一化指数函数；和均表示投影权重矩阵，且,；T表示转置；

基于所述相似度矩阵A计算初始增强特征：

；

基于所述初始增强特征计算增强特征：

；

其中，表示范数函数；表示前馈神经网络。

2.如权利要求1所述的一种动态知识集成的遥感图像显著性目标检测方法，其特征在于：所述步骤S1中，各所述Transformer层的特征通道的特征维度分别为64、128、320、512；

各所述Transformer层分别用于提取不同尺度的长距离依赖特征，基于各所述长距离依赖特征构建多尺度特征。

3.如权利要求1所述的一种动态知识集成的遥感图像显著性目标检测方法，其特征在于：所述步骤S2中，所述多尺度特征携带不同粒度的长程依赖信息。

4.如权利要求1所述的一种动态知识集成的遥感图像显著性目标检测方法，其特征在于：所述步骤S6具体为：

将各所述校准特征的特征维度压缩为1后，通过sigmoid激活函数将各所述校准特征的像素值映射至RGB空间的[0,255]，以输出所述遥感图像的显著性目标。