CN114220019B - 一种轻量级沙漏式遥感图像目标检测方法及系统 - Google Patents

Abstract

本发明公开了一种轻量级沙漏式遥感图像目标检测方法及系统，包括对获取的遥感图像数据集进行预处理，划分为训练数据集、验证数据集和测试数据集；构建目标检测网络模型，所述目标检测网络模型包括轻量级沙漏式网络及特征金字塔网络；输入训练数据集遥感图像，使用轻量级沙漏式网络进行特征提取，将提取的特征输入特征金字塔网络，完成特征编码；针对编码结果得到多个候选框，并选择最优候选框作为输出得到预测值；对预测值和真实值的误差进行反向传播，完成目标检测网络模型的训练；用训练好的目标检测网络模型对测试数据集完成预测和分类。本发明对小目标检测精度高，训练的收敛速度更快。

Description

一种轻量级沙漏式遥感图像目标检测方法及系统

技术领域

本发明涉及遥感图像处理领域，具体涉及一种轻量级沙漏式遥感图像目标检测方法及系统。

背景技术

遥感图像的目标检测是在高分辨率的卫星拍摄的地物图像上检测出感兴趣区域或物体的一种技术手段，其能够以矩形框的形式框选出感兴趣的物体，并给出物体所属的类别置信度。常被检测的物体有飞机、轮船、球场、车辆等小目标，也有桥梁、火车站、港口等较大的目标。随着遥感图像分辨率的提高，图像所蕴含的信息越来越丰富，遥感图像的目标检测技术则成为遥感图像分析领域中十分重要的一环，在自然灾害评估、资源勘测、军事研究等都极具重大意义。

目前，基于深度学习的目标检测算法主要可以分为两大类别，分别为两阶段的目标检测算法和单阶段的目标检测算法。其中，两阶段的目标检测算法主要包括RCNN、Fast-RCNN、Faster-RCNN及R-FCN等，其核心原理在于先由算法生成一系列样本的候选框，再通过卷积神经网络对这些候选框中的物体进行分类。单阶段的目标检测算法主要包括YOLO、YOLO9000、YOLOv3、SSD、RetinaNet等，其核心原理在于直接将目标框的定位和分类问题转化为回归问题，通过求解回归问题获得物体的定位和类别。通常而言，两阶段的目标检测算法能够实现更高的精度，但计算效率较为低下；相比之下，单阶段的目标检测算法能维持较高的计算效率，但是在检测精度上则略微下降。

在基于深度学习的目标检测算法中，为了获取具有更高级语义特征的特征图，常常使用大量伴随着下采样的卷积操作，在获取丰富语义特征的同时必然导致特征图分辨率的下降，进而容易导致小型目标的检测性能下降。针对该问题，常用的方法是将不同层级的特征图进行级联或融合，保证特征图同时具有较好的语义和细粒度信息。如YOLOv3在特征提取主干网络之后构建特征金字塔，将高层特征通过上采样与低层特征级联，同时在多个层级输出网络预测以使得网络具有多尺度目标检测的特性。

在遥感图像的目标检测任务中，需要处理的图像往往分辨率较大，且存在大量的小目标，每个像素点均有可能包含重要信息，常用的不同层级特征图的级联或融合方法的提升极其有限。如何在保持计算效率的同时，提高目标检测中尤其是小目标的检测精度，充分利用上下文信息辅助目标检测任务，成为值得思考的问题。

发明内容

针对遥感图像中的小目标在现有目标检测算法未能实现较好检测性能的缺陷，本发明提出一种轻量级沙漏式遥感图像目标检测方法及系统，该方法能够维持算法计算效率的同时提升对小目标的检测性能。

本发明采用的技术方案如下：

一种轻量级沙漏式遥感图像目标检测方法，包括

对获取的遥感图像数据集进行预处理，划分为训练数据集、验证数据集和测试数据集；

构建目标检测网络模型，所述目标检测网络模型包括轻量级沙漏式网络及特征金字塔网络；

输入训练数据集遥感图像，使用轻量级沙漏式网络进行特征提取，将提取的特征输入特征金字塔网络，完成特征编码；

针对编码结果得到多个候选框，并选择最优候选框作为输出得到预测值；

对预测值和真实值的误差进行反向传播，完成目标检测网络模型的训练；

用训练好的目标检测网络模型对测试数据集完成预测和分类。

进一步，所述预处理包括将遥感图像数据集中的检测框从“中心点+宽高”的形式转换为“左上角点+右下角点”的形式。

进一步，所述轻量级沙漏式网络由多个堆叠设置的沙漏型基本模块构成各个层级。

进一步，所述沙漏型基本模块构造方法如下：

对于输入分别使用3*3、步长为1和3*3，步长为2的卷积核进行卷积和相应的批归一化及激活函数处理以形成两个分支，对应的输出结果分别为/>其中h₁＝2h₂，w₁＝2w₂，c₁＝2c₂；

对H₁进行二倍最近邻插值得到上采样结果H₂的宽高与H₁保持一致，由于从I到H₂的过程中，特征的宽高先后经历了压缩和扩张，其变化过程仿照沙漏的形状，故称为沙漏式结构；

在通道维对S₁和H₂进行级联，级联结果为其中c₃＝c₁+c₂，S₂同时包含了卷积前后的细粒度信息和语义信息；

对于级联结果S₂，使用1*1、步长为1的卷积核将其通道数压缩为c₁以降低参数计算量，输出结果为S₃的尺寸与I保持一致，进行后续的残差连接；

使用通道注意力机制对S₃的通道权重进行调整，使模型更集中于高价值的特征信息，重新赋权的结果为

以像素相加的形式对S₄和I进行残差连接，防止随着网络的深入导致的梯度消失问题，模块的输出结果为

根据轻量级沙漏式网络各个层级设定的基本模块数，对沙漏式模块结构进行堆叠，形成主干网络的层级，同一层级模块的输入和输出尺寸保持一致。

进一步，所述轻量级沙漏式网络的构造方法如下：

堆叠沙漏型基本模块形成网络的一个层级；

在不同的层级之间附加一个3*3、步长为2的卷积核进行卷积核和相应的批归一化及激活函数处理以调整通道数并获取更高级的语义信息，串联这些层级以形成轻量级沙漏式目标检测主干网络。

进一步，所述轻量级沙漏式网络包括五个层级，分别包括1、2、4、4、2个堆叠的基本模块，且后一层级的特征宽高均为前一级的1/2，通道数为前一层级的2倍。

进一步，所述轻量级沙漏式网络的最后三个层级输出特征输入特征金字塔网络，通过将下行特征上采样后与上行特征级联。

进一步，采用欧氏距离损失函数计算预测框宽高的损失，采用交叉熵损失函数计算预测框中心点、置信度和类别的损失。

进一步，采用非极大值抑制算法选择最优候选框输出。

一种轻量级沙漏式遥感图像目标检测方法的系统，包括：

获取数据单元，用于获取的遥感图像数据集进行预处理，划分为训练数据集、验证数据集和测试数据集；

构建目标检测网络模型单元，用于构建目标检测网络模型，所述目标检测网络模型包括轻量级沙漏式网络及特征金字塔网络；

训练目标检测网络模型单元，用于利用均值为零的高斯分布初始化网络各层的卷积核权重和偏置，采用Adam优化器反向传播对于网络模型进行优化迭代；

目标检测单元，用于对测试集中的遥感图像完成目标检测任务。

本发明的有益效果：

(1)本发明采用轻量级沙漏式模块替代传统的残差模块，通过结合不同卷积的特征图，使基本模块的输出同时兼具语义信息和细粒度信息；

(2)以现有技术中YOLOv3目标检测算法为例，其拥有五个层级，每个层级分别包含1、2、8、8、4个基本模块；而本发明提出的目标检测算法每个层级则分别包含1、2、4、4、2个基本模块，能够有效地维持较高的计算效率；

(3)本发明每一个基本模块的输出同时兼具较好的语义信息和细粒度信息，与YOLOv3相比，对小目标的检测精度更高，训练的收敛速度更快。

附图说明

图1为一种轻量级沙漏式遥感图像目标检测方法的实施流程图。

图2为轻量级沙漏式目标检测模型的第一层级，包含1个基本模块。

图3为所述目标检测模型的主干网络结构，每一层级包含不同数量的基本模块。

图4(a)～图4(b)为YOLOv3方法和本发明提出方法对DIOR数据集完成目标检测任务时在平均精度上的对比，其中图4(a)为YOLOv3的检测平均精度，图4(b)为本发明提出方法的检测平均精度。

图5(a)～图5(b)为YOLOv3方法和本发明提出方法在同一张遥感图像上的效果对比，其中图5(a)为YOLOv3的检测结果，图5(b)为本发明提出方法的检测结果。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1所示，一种轻量级沙漏式遥感图像目标检测方法，本实施例以一个包含23463张分辨率为800*800*3的遥感图像数据集为例，包括如下步骤：

S1对获取的遥感图像数据集进行预处理，划分为训练数据集、验证数据集和测试数据集；

本实施例中的预处理是指将数据标注方式由“中心点+宽高”的形式转换为“左上角点+右下角点”的形式，将数据集按4:1:5的比例划分训练数据集、验证数据集和测试数据集，调整输入图像的尺寸为固定值。

输入图像的尺寸调整为416*416*3。

S2构建目标检测网络模型，所述目标检测网络模型包括轻量级沙漏式网络及特征金字塔网络，利用均值为零的高斯分布随机初始化卷积核的权重和偏置，将划分的训练数据集输入到轻量级沙漏式网络进行学习；

轻量级沙漏式网络作为主干网络，特征金字塔网络作为颈部网络。

将所提出的以轻量级沙漏式模块作为基本模块的主干网络应用到常规的YOLOv3目标检测模型中，在每一次卷积之后进行批归一化和线性整流函数激活。

所述轻量级沙漏式网络由多个堆叠设置的沙漏型基本模块构成各个层级。

所述沙漏型基本模块的具体构成过程为：

进一步地，所述步骤2的具体过程为：

步骤2.1、对输入的I∈R^416×416×3的图片，首先与32个3*3的卷积核进行卷积运算以拓展通道维数，经过批归一化和线性阵整流激活函数后，得到输出特征I₁∈R^416×416×32；

步骤2.2、将I₁输入至轻量级沙漏式目标检测模型的第一层级，该层级的结构图如图2所示：

第一层：卷积层Conv1，输入I₁，与64个3*3、步长为2的卷积核进行卷积，并经过批归一化和线性整流激活处理，得到输出特征I₂∈R^208×208×64；

第二层：两条卷积分路Conv2和Conv3，输入上一层的输出，分别与64个3*3、步长为1的卷积核和32个3*3、步长为2的卷积核进行卷积运算，并经过批归一化和线性整流激活处理，分别得到输出特征S₁∈R^208×208×64和H₁∈R^104×104×32；

第三层：上采样层UpSample1，输入上一层的输出H₁，使用二倍最近邻插值得到上采样结果H₂∈R^208×208×32，H₂的宽高与H₁保持一致，以方便后续的级联操作；

第四层：级联Cat1，输入为第二层的输出S₁和第三层的输出H₂，从通道维上对二者进行级联，得到输出特征S₂∈R^208×208×96；

第五层：卷积层Conv4，输入上一层的输出，与64个3*3、步长为1的卷积核进行卷积运算，经过批归一化和线性整流激活处理，得到输出特征S₃∈R^208×208×64，S₃的尺寸与I保持一致，以保证后续的残差连接顺利进行；

第六层：注意力层Atten1，输入上一层的输出，通过二维自适应均值池化和一维卷积，得到S₃在通道维度上的权重矩阵W₁，将其与S₃相乘得到调整通道权重后的输出S₄∈R^{208 ×208×64}；

第七层：残差连接层Res1，输入上一层的输出，将其与I₂以对应像素点相加的形式进行残差连接，得到当前模块的输出O∈R^208×208×64；

步骤2.3、轻量级沙漏式目标检测模型共包含5个层级，每个层级各包含1、2、4、4、2个基本模块，按照对应层级的模块数重复堆叠所构建的基本模块。以第1层级为例，则该层级共1个基本模块，即如图2所示；

步骤2.4、对步骤2.3所述模型，同一层级的基本模块之间直接相连，不同层级之间采用3*3、步长为2的卷积核进行卷积，后一层级的特征宽高均为前一层级的1/2，通道数为前一层级的2倍。则在本实例中，第一层级输出为L₁∈R^208×208×64，第二层级输出为L₂∈R^{104 ×104×128}，第三层级输出为L₃∈R^52×52×256，第四层级输出为L₄∈R^26×26×512,第五层级输出为L₅∈R^13×13×1024，具体结构如图3所示；

步骤2.5、将主干网络的输出作为特征金字塔网络的输入，传入颈部网络，完成特征的编码，再通过后续的解码获得网络的预测输出。

S3、选用欧氏距离损失函数计算预测框宽高的损失，选用交叉熵损失函数计算预测框中心点、置信度和类别的损失，四种损失的求和作为整个网络模型的预测损失；

S4、使用Adam优化器对误差进行反向传播，对卷积核的权重和偏置进行迭代更新，当损失函数达到最小值或到达设定的最大迭代步数时，视为得到当前的最优深度网络模型；

S5、将测试数据集调整为416*416*3，输入到步骤4得到的网络模型中，即可得到对测试集的目标检测预测结果。

本实施例使用DIOR数据集对YOLOv3和本发明提出的轻量级沙漏式遥感图像目标检测方法进行对比，在训练50轮后，以平均精度作为评价指标，对比结果如表1所示。

对比结果可视化见图4(a)及图4(b)，其中图4(a)为YOLOv3对各类别的检测效果，检测平均精度为63.91％，图4(b)为本发明提出方法对各类别的检测效果，检测平均精度为66.60％。通过对比得出，对于所使用数据集的绝大部分目标，本发明提出方法与YOLOv3相比，能取得更好的检测效果，对小目标的检测性能得到进一步的提升。

表1 DIOR数据集上目标检测的实验结果

图5(a)～图5(b)展示了YOLOv3和本发明提出方法对于同一张遥感图像的目标检测对比效果，其中图5(a)为YOLOv3的检测结果，图5(b)为本发明提出方法的检测结果。通过观察得知，相比于YOLOv3，本发明提出方法预测的检测框置信度更高，检测框的边界更贴合实际目标。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种轻量级沙漏式遥感图像目标检测方法，其特征在于，包括

对获取的遥感图像数据集进行预处理，划分为训练数据集、验证数据集和测试数据集；

构建目标检测网络模型，所述目标检测网络模型包括轻量级沙漏式网络及特征金字塔网络；

输入训练数据集遥感图像，使用轻量级沙漏式网络进行特征提取，将提取的特征输入特征金字塔网络，完成特征编码；

针对编码结果得到多个候选框，并选择最优候选框作为输出得到预测值；

对预测值和真实值的误差进行反向传播，完成目标检测网络模型的训练；

用训练好的目标检测网络模型对测试数据集完成预测和分类；

所述轻量级沙漏式网络由多个堆叠设置的沙漏型基本模块构成各个层级；

所述沙漏型基本模块构造方法如下：

对于输入分别使用3*3、步长为1和3*3，步长为2的卷积核进行卷积和相应的批归一化及激活函数处理以形成两个分支，对应的输出结果分别为/>其中h₁＝2h₂，w₁＝2w₂，c₁＝2c₂；

对H₁进行二倍最近邻插值得到上采样结果H₂的宽高与H₁保持一致，由于从I到H₂的过程中，特征的宽高先后经历了压缩和扩张，其变化过程仿照沙漏的形状，故称为沙漏式结构；

在通道维对S₁和H₂进行级联，级联结果为其中c₃＝c₁+c₂，S₂同时包含了卷积前后的细粒度信息和语义信息；

对于级联结果S₂，使用1*1、步长为1的卷积核将其通道数压缩为c₁以降低参数计算量，输出结果为S₃的尺寸与I保持一致，进行后续的残差连接；

使用通道注意力机制对S₃的通道权重进行调整，使模型更集中于高价值的特征信息，重新赋权的结果为

以像素相加的形式对S₄和I进行残差连接，防止随着网络的深入导致的梯度消失问题，模块的输出结果为

根据轻量级沙漏式网络各个层级设定的基本模块数，对沙漏式模块结构进行堆叠，形成主干网络的层级，同一层级模块的输入和输出尺寸保持一致；

所述轻量级沙漏式网络的构造方法如下：

堆叠沙漏型基本模块形成网络的一个层级；

在不同的层级之间附加一个3*3、步长为2的卷积核进行卷积核和相应的批归一化及激活函数处理以调整通道数并获取更高级的语义信息，串联这些层级以形成轻量级沙漏式目标检测主干网络；

所述轻量级沙漏式网络包括五个层级，分别包括1、2、4、4、2个堆叠的基本模块，且后一层级的特征宽高均为前一级的1/2，通道数为前一层级的2倍。

2.根据权利要求1所述的轻量级沙漏式遥感图像目标检测方法，其特征在于，所述预处理包括将遥感图像数据集中的检测框从“中心点+宽高”的形式转换为“左上角点+右下角点”的形式。

3.根据权利要求1所述的轻量级沙漏式遥感图像目标检测方法，其特征在于，所述轻量级沙漏式网络的最后三个层级输出特征输入特征金字塔网络，通过将下行特征上采样后与上行特征级联。

4.根据权利要求1所述的轻量级沙漏式遥感图像目标检测方法，其特征在于，采用欧式距离损失函数计算预测框宽高的损失，采用交叉熵函数计算预测框中心点、置信度和类别的损失。

5.根据权利要求1所述的轻量级沙漏式遥感图像目标检测方法，其特征在于，采用非极大值抑制算法选择最优候选框输出。

6.一种实现权利要求1-5任一项所述轻量级沙漏式遥感图像目标检测方法的系统，其特征在于，包括：

获取数据单元，用于获取的遥感图像数据集进行预处理，划分为训练数据集、验证数据集和测试数据集；

构建目标检测网络模型单元，用于构建目标检测网络模型，所述目标检测网络模型包括轻量级沙漏式网络及特征金字塔网络；

训练目标检测网络模型单元，用于利用均值为零的高斯分布初始化网络各层的卷积核权重和偏置，采用Adam优化器反向传播对于网络模型进行优化迭代；

目标检测单元，用于对测试集中的遥感图像完成目标检测任务。