CN112818903B - 一种基于元学习和协同注意力的小样本遥感图像目标检测方法 - Google Patents

Abstract

本发明公开了一种基于元学习和协同注意力的小样本遥感图像目标检测方法，属于图像处理技术领域；首先，从元学习的思想出发对遥感图像进行one‑way one‑shot的任务划分；然后，将划分的支持集与查询集通入改进的特征提取网络，通过在特征提取网络中间的若干层添加协同注意力模块，实现通过支持集特征强化查询集上特征分布的目的。基于查询图像最终得到的特征图构建多分支检测头部，计算改进的特征提取网络的损失函数。最后，对于包含新类别目标的遥感图像，利用训练好的改进的特征提取网络进行目标预测。本发明引入元学习的思想构建多个小样本学习任务，增强检测模型的快速适应性需求。

Description

一种基于元学习和协同注意力的小样本遥感图像目标检测 方法

技术领域

本发明属于图像处理领域，具体涉及一种基于元学习和协同注意力的小样本遥感图像目标检测方法。

背景技术

近年来，航空遥感技术和无人机技术发展迅速。航空遥感图像作为一种有效的信息载体，可以扩展人眼的视野范围，被广泛应用于情报侦察等军事行动以及环境监测、矿产侦查、自然灾害预防、土地利用调查以及水资源保护等科学活动中。但是，通过航拍产生的大量高清图像数据已经超出人工实时判读和理解的能力范畴，难以通过人力及时准确的获取信息。针对遥感图像进行的目标检测任务，作为计算机视觉领域中的一个重点研究方向，是图像场景及语义理解的重要一环，对于后续民用项目及军事行动的开展具有重要的指导意义。

相较于通用领域的目标检测，遥感图像目标检测任务中面临着更为复杂的场景、更为艰难的数据采集和耗费更多人力物力的数据集标定。特别的，在一些应用中，无人机在执行任务时通常面临着新的地面场景和未知目标。不能够采集足够的任务区域遥感图像，同时又要求算法模型无需另行训练，快速对新场景新目标做出检测识别。因此，从以上需求出发，建立一个具备新任务快速适应性的小样本深度学习模型是遥感图像目标检测任务中所必需的。

现有的小样本学习研究多集中在图像分类任务中，小样本目标检测任务往往面临着更多的挑战。首先，目标检测不仅需要训练分类网络，还需要训练回归网络得到目标的位置和尺寸；其次，检测任务不仅需要关注高层语义信息，还需要底层网络中的像素级信息来实现目标定位；同时，目标检测任务中通常对背景类也有定义，当训练样本不足时，容易发生背景类和目标类别的混淆。因此相较于图像分类，小样本目标检测更加难以利用先验信息完成任务。

从以上问题出发，目前的小样本目标检测思路通常在两阶段目标检测框架的基础上，通过数据增广或者特征增强的方式加强先验知识。然而两阶段的检测算法通常面临着更多的计算复杂度和更慢的检测速度；数据增广的方法包括利用生成对抗网络来学习有限样本的特征分布，从而生成新数据用于训练，但数据增广的方法严重依赖生成网络的可靠性。特征增强的方法通过互注意力机制增强待测图像中的特征表达，然而空间和通道的互注意力处理通常是分开进行的，难以充分利用空间和通道之间的依赖性。

同时，现有的小样本目标检测算法通常是针对自然场景，城市场景及室内场景的图像。航空遥感图像成像距离远、视角特殊，与普通图像差异较大，已有的小样本目标检测算法难以获得好的检测效果。而且空间和通道信息丰富、目标具有多方向性是遥感图像的显著特点，同时在遥感图像目标检测实际应用中，通常面临着新场景下新目标的检测任务，要求检测模型对训练过程中未出现过的新类别也具有快速的适应性。

发明内容

一种基于元学习和协同注意力的小样本遥感图像目标检测方法。元学习通过构建训练和测试样本类别不同的小样本学习任务使模型具备新任务适应能力，而协同注意力模块弥补了小样本任务中先验信息不足的问题。因此，本方法既能一定程度上解决遥感图像目标检测中的小样本问题，也能满足遥感图像应用中对于新任务的快速适应性需求。

所述的小样本遥感图像目标检测算法，具体步骤如下：

步骤一、取若干类目标的遥感图像分别划分训练集和测试集；

具体为：对于包含若干个类别目标的遥感图像，取其中X个类别的样本作为训练集，其余类别样本作为测试集。

步骤二、从元学习的思想出发，对训练集进行one-way one-shot的任务划分，得到查询集和支持集；

即：每轮训练时从训练集中选取一个类别，并从该类别中任取一个图像作为支持图像，其余任意图像作为查询图像；所有的支持图像组成支持集S；所有的查询图像组成查询集Q。

假设支持图像的标注信息已知，而查询图像的标注信息未知，标注信息包括目标中心点、宽度、长度和角度。

步骤三、根据标注信息对支持集中的每个图像进行裁剪，得到各图像对应的仅保留目标的图像；

步骤四、将目标图像集和查询集，类似孪生网络双输入的形式输入改进的特征提取网络，输出修正后的查询集的特征分布；

改进的特征提取网络是指：在特征提取网络中的4倍、8倍、16倍和32倍下采样层中分别添加协同注意力模块；协同注意力模块分为空间域注意力和通道域注意力；

空间域注意力non-local模块的具体运算过程为：

首先，对于目标图像集和查询集图像Q，经过主干网络提取到的特征分别为α(S)和α(Q)。

然后，对支持特征集α(S)和查询特征集α(Q)各自进行1*1卷积后，支持特征集得到g特征和θ特征，查询特征集得到g特征和

特征。

接着，将支持特征集的θ特征和查询特征集的

特征进行矩阵点乘操作，得到两个特征之间的互相关关系。

最后，对互相关的两个特征θ和

进行softmax操作归一化注意力权重，并将注意力权重与查询集的g特征和支持集的g特征分别做点乘；点乘后的查询集特征与原查询集图像Q做残差运算，同时，点乘后的支持集特征与原输入目标图像集做残差运算，两个残差结果作为non-local模块的输出。

通道域注意力squeeze模块的具体运算过程为：

首先，将non-local模块中输出的残差支持集特征分出两支：分别做全局平均池化和全局最大池化；

然后，将每个分支都进行1*1卷积与全连接操作，并将两个分支的结果求和，得到1*1*channels的权重特征；

最后，将1*1*channels的权重特征作为模板，与non-local模块输出的残差查询集特征进行卷积，从通道上修正查询集的特征分布；

步骤五、分别构建分类分支、边界框宽高分支、中心点补偿分支和方向分支，对修正后的查询集特征进行处理，构建基于各分支的多任务损失函数；

每个分支皆由一层3*3卷积和一层1*1卷积构成。

分类分支完成类别判断任务，输出通道数等于类别数的热力图，与真实框生成的热力图做focal loss(交叉熵损失函数的变形，分类损失函数)；边框宽高分支和中心点补偿分支通过与真实框的对应信息做smooth L1 loss(回归损失函数)。

而方向分支对应的损失由Pixels-IoU计算得到，具体为：

首先，通过对各分支的预测信息进行提取，得到有向预测框；

有向预测框的获取方式为：从分类分支中提取各通道的目标中心点局部区域尖峰，如果某点是8邻域内的最大值，则保留这个点作为预测得到的未经修正的中心点位置。取其余各分支对应该位置的值，分别作为预测得到的中心点补偿值、宽高和方向值；将以上各预测信息结合得到有向预测框。

然后，通过像素计数的方式计算有向预测框与标注的真实框之间的Pixels-IoU：

具体为：

首先，对于像素点p_ij，利用像素点p_ij与有向预测框b的垂直距离和水平距离计算δ(p_ij|b)；

计算公式为：

其中，

表示像素点p_ij到框b垂直中线的距离；h表示预测框b的高度；

表示像素点p_ij到框b水平中线的距离；w表示预测框b的宽度；

然后，判断δ(p_ij|b)是否为1，如果是，表示像素点p_ij在框b内，否则，像素点p_ij不在此框内。

最后，取真实框和预测框的最小外接矩形作为参考区域，选取共同位于真实框和预测框内的像素点数S’，以及两个框内的所有像素点数之和T’；S’与T’的比值即为Pixels-IoU损失，由Pixels-IoU损失计算方向预测损失。

最终，利用各分支对应的损失函数计算有向预测框的损失函数；

公式为：

L_det＝L_cls+λ_sizeL_size+λ_offL_off+λ_angL_ang

其中，L_cls为分类损失，L_size为边界框宽高尺度损失，L_off为中心点补偿损失。而L_ang为方向预测损失。λ_size为边界框尺度对应的损失权重；λ_off为中心点补偿损失对应的损失权重；λ_ang为方向预测损失对应的损失权重。

步骤六、对于测试集中包含新类别目标的遥感图像，利用训练好的改进的特征提取网络进行目标预测。

具体预测过程为：

步骤601、将包含新类别目标的遥感图像按照one-way one-shot的任务划分，得到查询图像和支持图像。

步骤602、将支持图像和查询图像通入训练好的改进的特征提取网络；

步骤603、对提取的特征进行处理，分类分支输出预测的中心点位置和类别，其余各分支对应该位置的值，分别预测中心点补偿值、宽高和方向值，并综合得到有向预测框。

步骤604、利用当前图像的真实标注信息和目标预测框做旋转IOU。

旋转IOU的计算方式如下：

其中B_pr为目标预测框，B_gt为标注中的真值边界框。

步骤605、利用旋转IOU计算精确率Precision和召回率Recall，并进一步计算评价指标F1。

具体计算公式为：

其中，true positive为某图像A目标预测框和真值边界框之间旋转IOU值大于设定的阈值后，此时图像A中目标预测框的标记，TP表示标记为true positive检测框的数量；

false positive为图像A目标预测框和真值边界框之间旋转IOU值小于等于设定的阈值后，此时图像A预测框的标记，FP表示标记为false positive检测框的数量；

false negative为图像A的真实框不存在与其旋转IOU大于设定阈值的检测框，此时图像A中此真实框的标记，FN表示标记为false negative真实框的数量；

步骤606、评价指标F1对包含新类别目标的遥感图像的预测结果进行评价。

本发明的优点在于：

1)、一种基于元学习和协同注意力的小样本遥感图像目标检测方法，针对遥感图像目标检测中面临的小样本问题，引入元学习的思想构建多个小样本学习任务，增强检测模型的快速适应性需求。

2)、一种基于元学习和协同注意力的小样本遥感图像目标检测方法，引入协同注意力模块增强查询集的特征表达，使检测模型更有针对性地利用先验信息，增强检测准确性。

3)、一种基于元学习和协同注意力的小样本遥感图像目标检测方法，针对遥感图像多方向性的特点，引入方向性预测分支，弥补无向框中检测框和真实目标间的背景空白。

附图说明

图1是本发明一种基于元学习和协同注意力的小样本遥感图像目标检测方法的流程图；

图2是本发明采用的改进的特征提取网络的结构图；

图3是本发明采用协同注意力中空间注意力的融合结构图；

图4是本发明采用协同注意力中通道注意力的融合结构图；

图5是本发明构建的带有方向分支的多分支检测头部结构示意图；

图6是本发明实施例中小样本遥感图像目标检测结果示例图。

具体实施方式

下面结合附图，对本发明的具体实施方法作进一步的详细说明。

针对遥感图像小样本的任务背景、快速适应的需求，结合遥感图像目标的多方向性和丰富的空间通道信息特点，本发明提出一种基于元学习和协同注意力的单阶段小样本遥感图像目标检测算法；具体包含训练阶段和测试阶段，两个阶段处理的目标种类互不相同。训练阶段包括小样本任务划分和协同检测网络训练。测试阶段同样对任务进行划分，利用训练好的协同检测网络对测试集中的查询样本进行检测。

整体流程如图1所示，包括以下步骤：

步骤一、从元学习的思想出发，取若干类目标的遥感图像分别划分训练集和测试集；

具体为：对于包含若干个类别目标的遥感图像，取其中X个类别的样本作为训练集，其余类别样本作为测试集。

步骤二、对训练集进行one-way one-shot的任务划分，得到查询集和支持集；

任务划分机制引入了元学习的思想，元学习期望机器对一个新的任务进行自主学习的时候，利用好先前学习到的元知识，来辅助和促进新任务的学习，而不是每次都从零开始，元知识可以一定程度上弥补小样本问题中匮乏的先验信息，因此元学习通常用来解决小样本问题。

本发明中使用的是one-way one-shot的任务划分方式，即：每轮训练时，从训练集中选取一个类别，并从该类别中任取一个图像作为支持图像，其余任意图像作为查询图像；查询集图像假设标注信息未知，而支持图像假设标注信息已知，标注信息包括目标中心点、宽度、长度和角度；所有的支持图像组成支持集S；所有的查询图像组成查询集Q。

任务要求为给定支持图像，查找查询图像中所有对应的对象。每个元任务中支持集样本数量较少，可设定为1、5或10等，由此每个元任务皆可视为一个小样本目标检测问题。

步骤三、根据标注信息对支持集中的每个图像进行裁剪，得到各图像对应的仅保留目标的图像；

步骤四、将目标图像集和查询集，类似孪生网络双输入的形式输入改进的特征提取网络，输出查询图像中该类目标的位置预测和分类结果。

常用的特征提取网络通常需要经过多倍下采样，若直接将大感受野的特征图通入检测头部会导致采样过于稀疏，不利于目标的检出。然而若直接将最终层小尺寸大感受野的特征图上采样，得到大尺寸小感受野的特征图用于检测，首先会不可避免地丢失一些高层语义信息，同时单独一层并不能提供足够的信息。因此选用DLA-34(Deep LayerAggregation)网络作为骨干网络将不同深度、不同block之间的信息进行融合，同时完成上采样操作，网络结构如图2所示。

由于骨干网络DLA-34的4倍、8倍、16倍和32倍下采样层都参与了上采样融合操作，所以在以上各层皆加入协同注意力模块，通过这种不同层级的协同注意特征增强，达到突出查询集中对应目标特征表达的目的。本发明对自注意力机制进行了改造，并从空间和通道两个方面将支持集和查询集的特征进行融合，符合小样本学习任务的需求。

注意力机制旨在让模型学会忽略无关信息，关注有关信息。协同注意力模块的目的是使查询图像中包含支持图像目标的部分得到强调，实现通过支持集特征强化查询集上特征分布的目的；协同注意力模块分为空间域注意力和通道域注意力；

空间域注意力non-local模块，如图3所示，具体运算过程为：

首先，对于目标图像集和查询集图像Q，经过主干网络提取到的特征分别为α(S)和α(Q)。

然后，对支持特征集α(S)和查询特征集α(Q)各自进行两个分支的线性映射(即1*1卷积)后，支持特征集得到g特征和θ特征，查询特征集得到g特征和

特征。

接着，将支持特征集的θ特征和查询特征集的

特征进行矩阵点乘操作，得到两个特征之间的互相关关系。

最后，对互相关的两个特征θ和

进行softmax操作归一化注意力权重，并将注意力权重与查询集的g特征和支持集的g特征分别做点乘；点乘后的查询集特征与原查询集图像Q做残差运算，同时，点乘后的支持集特征与原输入目标图像集做残差运算，两个残差结果作为non-local模块的输出。

non-local模块对支持集和查询集的特征做了空间域上的融合，可以解决支持集特征和查询集特征具有一定差异性的问题。

然后，是通道域注意力squeeze模块，如图4所示，具体运算过程为：

首先，将non-local模块中输出的残差支持集特征分出两支：分别做全局平均池化和全局最大池化；

然后，全局池化可以对各通道上的特征信息进行整合，分别通过若干层卷积与全连接层后融合在一起，得到1*1*channels的权重特征；

最后，将1*1*channels的权重特征作为模板，与non-local模块输出的残差查询集特征进行卷积，从通道上修正查询集的特征分布；

在本过程中，用于修正查询集特征分布的支持集特征图是经过non-local空间注意融合后的特征，所以在进行通道域注意力计算时也融合了上步获得的空间域特征。

步骤五、分别构建分类分支、边界框宽高分支、中心点补偿分支和方向分支，对修正后的查询集特征进行后处理，构建基于各分支的多任务损失函数；

由于遥感图像的多方向性，为了补偿无向目标与真实目标间的背景空白，加入一个方向分支；其中分类分支完成类别判断任务，监督信息是由ground truth生成的热力图，目标中心点周围的热力图值遵守以目标中心点为中心的二维高斯分布，分布的方差和半径与目标的尺度相关。边界框宽高分支和中心点补偿分支完成位置回归任务，方向分支完成角度预测任务，三个分支的监督由ground truth中标记的目标边界框坐标计算得到；几个分支共享查询集最终得到的融合特征图；检测分支示意图如图5所示，每个分支皆由一层3*3卷积和一层1*1卷积构成。

分类分支完成类别判断任务，输出通道数等于类别数的热力图，与真实框生成的热力图做focal loss(交叉熵损失函数的变形，分类损失函数)；边框宽高分支和中心点补偿分支输出通道数为2，通过与真实框的对应信息做smooth L1 loss(回归损失函数)。

而方向分支输出通道数为1，对应的回归损失由Pixels-IoU计算得到，Pixels-IoU函数通过像素计数的方式计算，可优化全局IOU，提高旋转角度和IOU的准确率。具体为：

首先，通过对各分支的预测信息进行提取，得到有向预测框；

有向预测框的获取方式为：从分类分支中提取各通道的目标中心点局部区域尖峰，如果某点是8邻域内的最大值，则保留这个点作为预测得到的未经修正的中心点位置。取其余各分支对应该位置的值，分别作为预测得到的中心点补偿值、宽高和方向值；将以上各预测信息结合得到有向预测框。

然后，通过像素计数的方式计算有向预测框与标注的真实框之间的Pixels-IoU：

具体为：

首先，对于像素点p_ij，利用像素点p_ij与框b的垂直距离和水平距离计算δ(p_ij|b)；

计算公式为：

其中，

表示像素点p_ij到框b垂直中线的距离；h表示预测框b的高度；

表示像素点p_ij到框b水平中线的距离；w表示预测框b的宽度；

然后，判断δ(p_ij|b)是否为1，如果是，表示像素点p_ij在框b内，否则，像素点p_ij不在此框内。

最后，取真实框和预测框的最小外接矩形作为参考区域，选取同时在真实框和预测框内的像素点数S’，以及两个框内的所有像素点数之和T’；S’与T’的比值即为Pixels-IoU损失，由Pixels-IoU损失计算方向预测损失。

最终，利用各分支对应的损失函数计算有向预测框的损失函数；

公式为：

L_det＝L_cls+λ_sizeL_size+λ_offL_off+λ_angL_ang

其中，L_cls为分类损失，L_size为边界框宽高尺度损失，L_off为中心点补偿损失。而L_ang为方向预测损失。λ_size为边界框尺度对应的损失权重；λ_off为中心点补偿损失对应的损失权重；λ_ang为方向预测损失对应的损失权重。

步骤六、对于测试集中包含新类别目标的遥感图像，利用训练好的改进的特征提取网络进行目标预测。

具体预测过程为：

步骤601、将包含新类别目标的遥感图像按照one-way one-shot的任务划分，得到查询图像和支持图像。

步骤602、将支持图像和查询图像通入训练好的改进的特征提取网络；

步骤603、对提取的特征进行处理，分类分支输出预测的中心点位置和类别，其余各分支对应该位置的值，分别预测中心点补偿值、宽高和方向值，并综合得到有向预测框。

步骤604、利用当前图像的真实标注信息和目标预测框做旋转IOU。

旋转IOU的计算方式如下：

其中B_pr为目标预测框，B_gt为标注中的真值边界框。

步骤605、利用旋转IOU计算精确率Precision和召回率Recall，并进一步计算评价指标F1。

若得到的IOU值大于用户设定的阈值，则判断该检测框为true positive，TP表示标记为true positive检测框的数量；否则为false positive，FP表示标记为falsepositive检测框的数量；若真值边界框不存在一个同类的检测框与它的IOU大于这个阈值，则该真值框为false negative，FN表示标记为false negative真实框的数量；

由以上计算精确率Precision、召回率Recall和评价指标F1-Score。

其中精确率和召回率是相互矛盾的，所以在本实施例中考虑两者的加权平均F1-Score作为评价指标。

具体计算公式为：

步骤606、评价指标F1对包含新类别目标的遥感图像的预测结果进行评价。

实施例：

本实例对包含了4个类别186幅遥感图像数据集进行了测试，测试过程如下所述：

第一步，对待处理的遥感图像进行任务划分。

1)构建小规模的遥感图像目标检测数据集

从遥感图像目标检测数据集NWPU VHR-10中筛选了4类共186张带有方向性目标的图像，并进行了人工标注。角度是以12点钟方向为0度，顺时针旋转的角度。

本小规模数据集中包括含飞机的遥感图像56张、含桥梁的图像40张、含舰船的图像49张、含体育场的图像41张。

2)任务划分

取其中三类图像作为训练集，剩余一类作为测试集。对训练集进行one-way one-shot的任务划分。各任务中假设支持图像标注已知，查询图像标注未知。

第二步，将任务图像即支持集与查询集通入特征提取网络。

将支持图像中的目标按标注信息裁剪下来经过仿射变换将其调整成128*128大小。查询图像同样经过仿射变换调整成512*512。成对地通入特征提取网络后经过下采样和上采样特征融合过程分别得到32*32*channels和128*128*channels尺寸的特征图。

第三步，在特征提取网络中间的若干层添加协同注意力模块。

在4、8、16和32倍下采样层皆添加协同注意力模块用于查询图像中对应目标的特征增强。

第四步，基于查询集特征图构建多分支检测头部。

至此整体网络结构构建完成，训练时初始学习率为1.25e-4，并分别在第90轮和第120轮时削减至上一阶段的0.1倍，共训练150轮。其中各分支损失函数的权重分别为1、0.1、0.1、0.1。

第五步，对于包含新类别目标的遥感图像，利用训练得到的目标检测网络进行目标预测。

分别轮流取某类图像作为不参与训练过程的测试集，用另外三类作为训练集，由此测试时面临的是训练过程中未知的新类别目标图像。训练过程中存在参数更新，测试时仍按照支持图像和查询图像的任务划分成对地输入，但只进行推理，没有参数更新过程。IOU阈值设置为0.5，得到测试指标如下所示。

表1测试结果

各类别图像作为测试集时的目标检测结果如图6所示。

本实施例中的训练集和测试集类别和样本数目都较为稀少，并且训练集和测试集中的类别具有的高度的差异性，然而即使在测试时面对完全不同的目标类别，本算法仍体现出了一定的检测性能的优越性。

本发明针对遥感图像任务中的小样本问题，引入了元学习的思想构建任务学习机制；同时引入多层协同注意力模块从空间和通道两个方面增强查询图像中对应目标的特征表达，达到增强先验信息的目的。考虑到遥感图像中目标的多方向性，在检测分支中加入了方向分支，并利用Pixels-IoU优化全局损失，最终通过自主构建的小规模实施案例进行了实验。证明了即使在训练集种类和数量都严重不足的情况下，测试时面对新的目标种类、新的检测任务，此算法仍有较好的泛化能力，并且表现出一定的有效性。

Claims (6)

1.一种基于元学习和协同注意力的小样本遥感图像目标检测方法，其特征在于，具体步骤如下：

步骤一、取若干类目标的遥感图像分别划分训练集和测试集；

步骤二、从元学习的思想出发，对训练集进行one-way one-shot的任务划分，得到支持集和查询集；

步骤三、根据标注信息对支持集中的每个图像进行裁剪，得到各图像对应的仅保留目标的图像；

步骤四、将目标图像集和查询集，以孪生网络双输入的形式输入改进的特征提取网络，输出修正后的查询集的特征分布；

改进的特征提取网络是指：在特征提取网络中的4倍、8倍、16倍和32倍下采样层中分别添加协同注意力模块；协同注意力模块分为空间域注意力和通道域注意力；

空间域注意力non-local模块的具体运算过程为：

首先，对于目标图像集S和查询集图像Q，经过主干网络提取到的特征分别为α(S)和α(Q)；

然后，对支持特征集α(S)和查询特征集α(Q)各自进行1*1卷积后，支持特征集得到g特征和θ特征，查询特征集得到g特征和

特征；

接着，将支持特征集的θ特征和查询特征集的

特征进行矩阵点乘操作，得到两个特征之间的互相关关系；

最后，对互相关的两个特征θ和

进行softmax操作归一化注意力权重，并将注意力权重与查询集的g特征和支持集的g特征分别做点乘；点乘后的查询集特征与原查询集图像Q做残差运算，同时，点乘后的支持集特征与原输入目标图像集做残差运算，两个残差结果作为non-local模块的输出；

通道域注意力squeeze模块的具体运算过程为：

首先，将non-local模块中输出的残差支持集特征分出两支：分别做全局平均池化和全局最大池化；

然后，将每个分支都进行1*1卷积与全连接操作，并将两个分支的结果求和，得到1*1*channels的权重特征；

最后，将1*1*channels的权重特征作为模板，与non-local模块输出的残差查询集特征进行卷积，从通道上修正查询集的特征分布；

步骤五、分别构建分类分支、边界框宽高分支、中心点补偿分支和方向分支，对修正后的查询集特征进行后处理，构建基于各分支的多任务损失函数；

分类分支完成类别判断任务，输出通道数等于类别数的热力图，与真实框生成的热力图做分类损失；边框宽高分支和中心点补偿分支通过与真实框的对应信息做回归损失；而方向分支对应的损失由Pixels-IoU计算得到，具体为：

首先，通过对各分支的预测信息进行提取，得到有向预测框；

然后，通过像素计数的方式计算有向预测框与标注的真实框之间的Pixels-IoU：

具体为：

首先，对于像素点p_ij，利用像素点p_ij与有向预测框b的垂直距离和水平距离计算δ(p_ij|b)；

计算公式为：

其中，

表示像素点p_ij到框b垂直中线的距离；h表示预测框b的高度；

表示像素点p_ij到框b水平中线的距离；w表示预测框b的宽度；

然后，判断δ(p_ij|b)是否为1，如果是，表示像素点p_ij在框b内，否则，像素点p_ij不在此框内；

最后，取真实框和预测框的最小外接矩形作为参考区域，选取同时在真实框和预测框内的像素点数S’，以及两个框内的所有像素点数之和T’；S’与T’的比值即为Pixels-IoU损失，由Pixels-IoU损失计算方向预测损失；

最终，利用各分支对应的损失函数计算有向预测框的损失函数；

公式为：

L_det＝L_cls+λ_sizeL_size+λ_offL_off+λ_angL_ang

其中，L_cls为分类损失，L_size为边界框宽高尺度损失，L_off为中心点补偿损失；而L_ang为方向预测损失；λ_size为边界框尺度对应的损失权重；λ_off为中心点补偿损失对应的损失权重；λ_ang为方向预测损失对应的损失权重；

步骤六、对于测试集中包含新类别目标的遥感图像，利用训练好的改进的特征提取网络进行目标预测。

2.如权利要求1所述的一种基于元学习和协同注意力的小样本遥感图像目标检测方法，其特征在于，所述步骤一具体为：对于包含若干个类别目标的遥感图像，取其中X个类别的样本作为训练集，其余类别样本作为测试集。

3.如权利要求1所述的一种基于元学习和协同注意力的小样本遥感图像目标检测方法，其特征在于，所述步骤二具体为：每轮训练时，从训练集中选取一个类别，并从该类别中任取一个图像作为支持图像，其余任意图像作为查询图像；所有的支持图像组成支持集S；所有的查询图像组成查询集Q；支持图像样本量少，假设支持图像的标注信息已知；查询图像的标注信息未知；标注信息包括目标中心点、宽度、长度和角度；每轮训练都将完成一个小样本检测任务，从而在训练中完成元知识的积累，达到测试时完成新任务学习的需求。

4.如权利要求1所述的一种基于元学习和协同注意力的小样本遥感图像目标检测方法，其特征在于，步骤五中所述分类分支、边界框宽高分支、中心点补偿分支和方向分支，每个分支皆由一层3*3卷积和一层1*1卷积构成。

5.如权利要求1所述的一种基于元学习和协同注意力的小样本遥感图像目标检测方法，其特征在于，步骤五中所述有向预测框的获取方式为：从分类分支中提取各通道的目标中心点局部区域尖峰，如果某点是8邻域内的最大值，则保留这个点作为预测得到的未经修正的中心点位置；取其余各分支对应该位置的值，分别作为预测得到的中心点补偿值、宽高和方向值；将以上各预测信息结合得到有向预测框。

6.如权利要求1所述的一种基于元学习和协同注意力的小样本遥感图像目标检测方法，其特征在于，步骤六具体预测过程为：

步骤601、将包含新类别目标的遥感图像按照one-way one-shot的任务划分，得到查询图像和支持图像；

步骤602、将支持图像和查询图像通入训练好的改进的特征提取网络；

步骤603、对提取的特征进行处理，分类分支输出预测的中心点位置，其余各分支对应该位置的值，分别预测中心点补偿值、宽高和方向值，并综合得到有向预测框；

步骤604、利用当前图像的真实标注信息和目标预测框做旋转IOU；

旋转IOU的计算方式如下：

其中B_pr为目标预测框，B_gt为标注中的真值边界框；

步骤605、利用旋转IOU计算精确率Precision和召回率Recall，并进一步计算评价指标F1；

具体计算公式为：

true positive为某图像A目标预测框和真值边界框之间旋转IOU值大于设定的阈值后，此时图像A中目标预测框的标记，TP表示标记为true positive检测框的数量；

false positive为图像A目标预测框和真值边界框之间旋转IOU值小于等于设定的阈值后，此时图像A预测框的标记，FP表示标记为false positive检测框的数量；

false negative为图像A的真实框不存在与其旋转IOU大于设定阈值的检测框，此时图像A中此真实框的标记，FN表示标记为false negative真实框的数量；

步骤606、评价指标F1对包含新类别目标的遥感图像的预测结果进行评价。

Images