CN116524368B - 遥感图像目标检测方法 - Google Patents

Abstract

本发明涉及遥感图像目标检测方法，包括获取至少一幅包含待测目标的卫星遥感图像，利用卷积神经网络提取卫星遥感图像的多尺度特征，根据嵌入掩膜引导特征金字塔网络学习前景目标区域的特征，并生成用于提取原始图像中疑似目标区域的旋转候选框，利用旋转RoIAlign对齐操作对疑似目标区域进行特征提取，将提取到的特征送入由Smooth‑L1回归损失和角边距分类损失组成的有向检测头进行分类识别与回归定位。本发明提升了目标检测方法对港口等复杂背景的抗干扰能力，减少了云雾、形似干扰物造成的虚警，提高了目标检测的识别精度，可应用于高分辨率遥感图像中的船只、飞机等目标识别。

Description

遥感图像目标检测方法

技术领域

本发明涉及卫星技术领域，具体涉及一种遥感图像目标检测方法。

背景技术

复杂场景光学遥感图像目标检测是利用可见光遥感图像从港口、机场等复杂场景中自动提取一个或者多个典型人造目标(如飞机、车辆、桥梁等)的位置及类别信息，在民用和军用都有着广泛的应用。在民用方面，遥感目标检测被广泛应用于环境污染监测、灾害监测等领域。在军用方面，遥感图像目标自动检测技术已成为侦察与预警的重要手段。利用光学遥感图像对军事设施(如机场、港口等)和时敏目标(如飞机、舰船等)进行精准检测和监控，可对国防安全等军事应用起到关键作用。然而，受光照、云雾等环境因素干扰，目标形状模糊易漏检以及复杂地面背景中存在大量与目标外观相似的形似干扰物易虚警。

针对背景强干扰问题，当前大多数工作主要围绕旋转框定位、视觉显著注意力机制、图像分割与上下文特征信息提取等方面来增强目标特征信息，避免背景像素过多地干扰目标检测。然而，上述方法所采用的分类损失函数没有显式地对分类特征进行优化来增强类内样本的紧凑性和类间样本的多样性，导致检测模型无法学习强区分性特征用于区分形似干扰物和目标。

发明内容

有鉴于此，本发明提出一种遥感图像目标检测方法，用于解决复杂场景中背景强干扰对检测网络定位与识别精度的影响，提升遥感目标检测网络的抗背景干扰能力。

本发明实施例的遥感图像目标检测方法，包括：

S100，获取至少一幅包含待测目标的卫星遥感图像；

S200，以Resnet101为主干网络，提取所述卫星遥感图像的降采样4、8、16、32倍的特征C₂、C₃、C₄、C₅；

S300，根据特征金字塔网络的生成规则，对特征C₂、C₃、C₄、C₅进行融合处理，得到多尺度特征P₂、P₃、P₄、P₅、P₆；

S400，根据嵌入掩膜引导所述特征金字塔网络学习前景目标区域的特征生成新的多尺度特征(A_i|i＝2，…，6}，并抑制背景噪声；

S500，根据多尺度特征{A_i|i＝2，…，6}生成用于提取原始图像中疑似目标区域的旋转候选框；

S600，根据RoIAlign对所述疑似目标区域进行特征提取，将提取到的特征送入有向检测头；

S700，在所述有向检测头中加入角度回归参数，并采用Smooth-L1回归损失函数进行回归定位；

S800，所述有向检测头通过特征和权重归一化将原始Softmax分类损失转换为余弦损失，并在余弦角度空间加入边距惩罚；

根据本发明的优选实施例，所述S100中，所述卫星遥感图像大小为608×608；

且在所述S100之后，和所述S200之前，还包括对所述卫星遥感图像进行标准差归一化处理。

根据本发明的优选实施例，所述S400包括：

S410，以特征P₃为标准，使用最大值池化对特征P₃进行降采样，并使用插值上采样操作对特征(P₄，P₅，P₆)分别进行上采样运算，使得调整后的多尺度特征的图像尺寸均与特征P₃保持一致；

S420，采用求平均运算进行特征融合，得到融合后的归一化特征：

S430，采用ECA机制对特征F^Scale的所有通道特征进行加权，得到中间特征F^IF；

S440，将中间特征F^IF分成两条分支，分别为语义分割预测分支和语义注意力特征生成分支；

S450，在所述语义注意力特征生成分支中，附加一层1×1卷积层对中间特征F^IF进行卷积特征提取，得到语义注意力特征F^SEA；

S460，将语义注意力特征F^SEA与归一化特征F^Scale进行逐像素相乘运算，得到语义增强特征F^SE；

S470，使用最大值池化和上采样操作对特征F^SE进行反向尺度调整，生成多尺度特征

S480，根据ResNet网络的跳跃连接对多尺度特征和多尺度特征{P_i|i＝2，…，6}对应相加，生成多尺度特征图{A_i|i＝2，…，6}。

根据本发明的优选实施例，所述S430-S460的过程根据下式进行：

其中，ECA(·)表示ECA机制，Conv_1×1(·)表示一个卷积核为1×1和通道数为256的卷积层，⊙表示哈达玛积运算。

根据本发明的优选实施例，所述S480根据下式进行：

根据本发明的优选实施例，所述S800包括：

S810，计算Softmax回归预测的属于类别c的条件概率：

计算公式为：

其中，x_i是给定的输入候选区域，z_i是候选区域x_i经过旋转RoI对齐操作和全连接层输出的特征向量，y_i∈{1，2，…，K}是特征z_i对应的类别标签，和/>分别表示权重矩阵/>的第y_i列和第j列的权重向量，/>和/>表示偏置；

根据Softmax交叉熵损失衡量网络模型输出和真实标签之间的差异，公式为：

其中，N为训练样本的数量；

S820，对权重矩阵W和特征z_i的模长进行l₂归一化处理，并将和/>设置为0，得到/>和||z_i||＝1，使权重矩阵W和z_i的内积等于余弦相似度，公式为：

其中，θ_j＝∠(W_j，z_i)表示权重矩阵W与特征z_i之间的夹角；

则L₁转换为：

其中，s表示缩放因子；

S830，在权重矩阵W和输入特征z_i之间的余弦角度空间加入边距m，则ArcFace损失函数表示为：

其中，边距m等同于归一化超球面中的测地距离间隔。

本发明实施例在特征金字塔中嵌入掩膜引导功能，利用真实标注框生成的伪掩膜标签引导网络特征更多地关注前景区域，从而达到强目标特征的判别性和抑制背景噪声干扰的目的；然后，可利用Oriented RPN网络根据多尺度特征生成高质量的旋转候选框用于提取原始图像的疑似目标区域；之后，利用旋转RoIAlign对齐操作对候选区域进行特征提取；最后，送入由Smooth-L1回归损失和角边距分类损失组成的检测头进行分类识别与回归定位。其中，为了解决交叉熵Softmax损失无法引导检测模型学习强区分特征的缺陷，将分类分支中Softmax函数替换为加性角边距分类损失。加性角边距分类损失通过特征和权重归一化将原始分类损失转换为余弦损失，并在余弦角度空间加入边距惩罚，实现缩小类内距离和扩大类间距离的目的。因此，本发明实施例利用有监督图像分割思路和边距分类损失的思想，构建了一个抗背景干扰的目标检测方法，优点是：利用基于有监督图像分割思想的掩膜引导模块，通过伪掩膜标签引导网络特征专注于前景区域，达到增强目标特征的判别性和抑制背景噪声干扰的目的。之后，为了增强目标与背景特征的区分度，利用加性角边距分类损失来引导检测模型学习强鉴别特征。综上所述，本发明实施例通过强特征提取和鉴别性分类损失两种手段提升了目标检测在复杂场景的抗干扰能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的遥感图像目标检测方法的流程示意图；

图2为本发明实施例的遥感图像目标检测方法的一个子流程示意图；

图3为本发明实施例的遥感图像目标检测方法的另一个子流程示意图；

图4为本发明实施例中的目标检测网格结构示意图；

图5为本发明实施例中的有监督语义分割模块的网络示意图；

图6为本发明实施例中的加性角边距分类损失函数的原理示意图。

具体实施方式

此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。

此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。

如图1所示，本发明实施例的遥感图像目标检测方法包括：

S100，获取至少一幅包含待测目标的卫星遥感图像。

在本实施例中，获取的卫星遥感图像大小为608×608，并且获取图像后还可包括对图像进行标准差归一化处理后再进入S200。

S200，如图4所示，以Resnet101为主干网络，提取所述卫星遥感图像的降采样4、8、16、32倍的特征C₂、C₃、C₄、C₅。

S300，如图4所示，根据特征金字塔(FPN)网络的生成规则，对特征C₂、C₃、C₄、C₅进行融合处理，得到多尺度特征P₂、P₃、P₄、P₅、P₆。

S400，如图4所示，根据嵌入掩膜引导所述特征金字塔网络学习前景目标区域的特征，并抑制背景噪声。

如图2所示，在本实施例中，所述S400包括：

S410，以特征P₃为标准，使用最大值池化对特征P₃进行降采样，并使用插值上采样操作对特征(P₄，P₅，P₆)分别进行上采样运算，使得调整后的多尺度特征的图像尺寸均与特征P₃保持一致；

S420，为了能融合不同层级特征层上的有效信息，采用求平均运算进行特征融合，得到融合后的归一化特征：

S430，如图5所示，为了抑制归一化特征F^Scale上无用的通道信息，增强特征表达能力，采用ECA(Efficient Channel Attention，通道注意力)机制对归一化特征F^Scale的所有通道特征进行加权，得到中间特征F^IF；

S440，将中间特征F^IF分成两条分支，分别为语义分割预测分支和语义注意力特征生成分支；

S450，在所述语义注意力特征生成分支中，附加一层1×1卷积层对中间特征F^IF进行卷积特征提取，得到语义注意力特征F^SEA；

S460，将语义注意力特征F^SEA与归一化特征F^Scale进行逐像素相乘运算，得到语义增强特征F^SE；

上述S430-S460的过程可以表示为：

其中，ECA(·)表示ECA机制，Conv_1×1(·)表示一个卷积核为1×1和通道数为256的卷积层，⊙表示哈达玛积运算；

S470，使用最大值池化和上采样操作对特征F^SE进行反向尺度调整，生成多尺度特征

其中，中的通道数以及空间分辨率与对应的多尺度特征{P_i|i＝2，…，6}保持一致；

S480，根据ResNet网络的跳跃连接原理对多尺度特征和多尺度特征{P_i|i＝2，…，6}对应相加，生成多尺度特征图{A_i|i＝2，…，6}，即：

S500，根据多尺度特征{A_i|i＝2，…，6}生成用于提取原始图像中疑似目标区域的旋转候选框。

S600，根据RoIAlign对所述疑似目标区域进行特征提取，将提取到的特征送入有向检测头。

S700，在所述有向检测头中加入角度回归参数，并采用Smooth-L1回归损失函数进行回归定位。

S800，所述有向检测头通过特征和权重归一化将原始Softmax分类损失转换为余弦损失，并在余弦角度空间加入边距惩罚。

如图3所示，在本实施例中，所述S800包括：

S810，如图6所示，给定输入候选区域x_i，则特征z_i是候选区域x_i经过旋转RoI对齐操作和全连接层输出的特征向量，用于后续分类识别，y_i∈{1，2，…，K}是其对应的类别标签。则给定一个候选区域x_i，Softmax回归预测的属于类别c的条件概率为

其中，类别c指的是目标的种类，如飞机或舰船等，和/>分别表示权重矩阵/>的第y_i列和第j列的权重向量，/>和/>表示偏置；

给定N个训练样本，根据Softmax交叉熵损失衡量网络模型输出和真实标签之间的差异，公式为：

S820，对权重矩阵W和特征z_i的模长进行l₂归一化处理，并可由ArcFace将和/>设置为0，得到/>和||z_i||＝1，使权重矩阵W和z_i的内积等于余弦相似度，公式为：

其中，θ_j＝∠(W_j，z_i)表示权重矩阵W与特征z_i之间的夹角；

则L₁转换为：

其中，s表示缩放因子；

S830，为了使得类内样本空间更加紧凑和类间样本空间更加分离，可由ArcFace在权重矩阵W和输入特征z_i之间的余弦角度空间加入边距m，使得ArcFace损失函数具有几何角度解释性，则ArcFace损失函数表示为：

其中，边距m等同于归一化超球面中的测地距离间隔。

通过以上步骤，可实现港口等复杂场景遥感图像目标的高精度检测。

本发明实施例在特征金字塔中嵌入掩膜引导功能，利用真实标注框生成的伪掩膜标签引导网络特征更多地关注前景区域，从而达到强目标特征的判别性和抑制背景噪声干扰的目的；然后，可利用Oriented RPN网络根据多尺度特征生成高质量的旋转候选框用于提取原始图像的疑似目标区域；之后，利用旋转RoIAlign对齐操作对候选区域进行特征提取；最后，送入由Smooth-L1回归损失和角边距分类损失组成的检测头进行分类识别与回归定位。其中，为了解决交叉熵Softmax损失无法引导检测模型学习强区分特征的缺陷，将分类分支中Softmax函数替换为加性角边距分类损失。加性角边距分类损失通过特征和权重归一化将原始分类损失转换为余弦损失，并在余弦角度空间加入边距惩罚，实现缩小类内距离和扩大类间距离的目的。因此，本发明实施例利用有监督图像分割思路和边距分类损失的思想，构建了一个抗背景干扰的目标检测方法，优点是：利用基于有监督图像分割思想的掩膜引导模块，通过伪掩膜标签引导网络特征专注于前景区域，达到增强目标特征的判别性和抑制背景噪声干扰的目的。之后，为了增强目标与背景特征的区分度，利用加性角边距分类损失来引导检测模型学习强鉴别特征。综上所述，本发明实施例通过强特征提取和鉴别性分类损失两种手段提升了目标检测在复杂场景的抗干扰能力。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种遥感图像目标检测方法，其特征在于，所述遥感图像目标检测方法包括：

S100，获取至少一幅包含待测目标的卫星遥感图像；

S200，以Resnet101为主干网络，提取所述卫星遥感图像的降采样4、8、16、32倍的特征C₂、C₃、C₄、C₅；

S300，根据特征金字塔网络的生成规则，对特征C₂、C₃、C₄、C₅进行融合处理，得到多尺度特征P₂、P₃、P₄、P₅、P₆；

S400，根据嵌入掩膜引导所述特征金字塔网络学习前景目标区域的特征生成新的多尺度特征{A_i|i＝2，…，6}，并抑制背景噪声；

S500，根据多尺度特征{A_i|i＝2，…，6}生成用于提取原始图像中疑似目标区域的旋转候选框；

S600，根据RoIAlign对所述疑似目标区域进行特征提取，将提取到的特征送入有向检测头；

S700，在所述有向检测头中加入角度回归参数，并采用Smooth-L1回归损失函数进行回归定位；

S800，所述有向检测头通过特征和权重归一化将原始Softmax分类损失转换为余弦损失，并在余弦角度空间加入边距惩罚；

S900，根据分类分支和回归分支的判别结果输出目标的类别和空间位置信息；

其中，所述S400包括：

S410，以特征P₃为标准，使用最大值池化对特征P₃进行降采样，并使用插值上采样操作对特征(P₄，P₅，P₆)分别进行上采样运算，使得调整后的多尺度特征的图像尺寸均与特征P₃保持一致；

S420，采用求平均运算进行特征融合，得到融合后的归一化特征：

S430，采用ECA机制对特征F^Scale的所有通道特征进行加权，得到中间特征F^IF；

S440，将中间特征F^IF分成两条分支，分别为语义分割预测分支和语义注意力特征生成分支；

S450，在所述语义注意力特征生成分支中，附加一层1×1卷积层对中间特征F^IF进行卷积特征提取，得到语义注意力特征F^SEA；

S460，将语义注意力特征F^SEA与归一化特征F^Scale进行逐像素相乘运算，得到语义增强特征F^SE；

S470，使用最大值池化和上采样操作对特征F^SE进行反向尺度调整，生成多尺度特征

S480，根据ResNet网络的跳跃连接原理对多尺度特征和多尺度特征{P_i|i＝2，…，6}对应相加，生成多尺度特征图{A_i|i＝2，…，6}；

其中，所述S800包括：

S810，计算Softmax回归预测的属于类别c的条件概率：

计算公式为：

其中，c是目标的类别，x_i是给定的输入候选区域，z_i是候选区域x_i经过旋转RoI对齐操作和全连接层输出的特征向量，y_i∈{1，2，…，K}是特征z_i对应的类别标签，和分别表示权重矩阵/>的第y_i列和第j列的权重向量，/>和表示偏置；

根据Softmax交叉熵损失衡量网络模型输出和真实标签之间的差异，公式为：

其中，N为训练样本的数量；

S820，对权重矩阵W和特征z_i的模长进行l₂归一化处理，并将和/>设置为0，得到/>和||z_i||＝1，使权重矩阵W和z_i的内积等于余弦相似度，公式为：

其中，θ_j＝∠(W_j，z_i)表示权重矩阵W与特征z_i之间的夹角；

则L₁转换为：

其中，s表示缩放因子；

S830，在权重矩阵W和输入特征z_i之间的余弦角度空间加入边距m，则ArcFace损失函数表示为：

其中，边距m等同于归一化超球面中的测地距离间隔。

2.根据权利要求1所述的遥感图像目标检测方法，其特征在于，所述S100中，所述卫星遥感图像大小为608×608；

且在所述S100之后，和所述S200之前，还包括对所述卫星遥感图像进行标准差归一化处理。

3.根据权利要求1所述的遥感图像目标检测方法，其特征在于，所述S430-S460的过程根据下式进行：

其中，ECA(·)表示ECA机制，Conv_1×1(·)表示一个卷积核为1×1和通道数为256的卷积层，⊙表示哈达玛积运算。

4.根据权利要求1所述的遥感图像目标检测方法，其特征在于，所述S480根据下式进行：