CN110490155B - 一种禁飞空域无人机检测方法 - Google Patents

Abstract

本发明属于禁飞空域无人机技术领域，具体涉及一种禁飞空域无人机检测方法。本发明对禁飞空域的无人机实施实时和准确的无人机检测，目的通过对无人机飞行检测，使“黑飞”无人机被有效的减少。同时，也可以实现更快更准的发现空域飞行的无人机，更快的实施无人机反制措施，尽量减少无人机“黑飞”带来的损失和降低无人机带来安全事故概率。本发明检测出来的结果既能检测到小无人机目标，并且准确识别目标是什么和目标的大致位置，并且使得算法能够达到实时的能力。为及时处理无人机的“黑飞”带来可观的反应时间。

Description

一种禁飞空域无人机检测方法

技术领域

本发明属于禁飞空域无人机技术领域，具体涉及一种禁飞空域无人机检测方法。

背景技术

近几年，无人机被大量应用于各个行业领域，给许多行业带来了便利。同时带来了不好的现象，无人机“黑飞”引来的安全事故在全国乃至世界各国都多次发生，比如无人机扰航、走私和扰乱敏感地带，严重的威胁了国防和公共安全。直接表明了无人机监管技术的缺陷和漏洞。为了使无人机被有效的飞行监管，减少无人机“黑飞”导致的安全事故，所以本文旨在提出一种新的禁飞空域无人机检测方法。现在对于远处的无人机小目标难以检测到，以及容易和鸟类或者其他类似物检测混淆，还有能够实时地检测目标。因此本发明对于远处的小目标和干扰物都能够准确的识别出来，并且满足实时的能力。

发明内容

本发明提出了一种崭新的禁飞空域无人机检测方法，整个方法是通过使用深度学习的方法来实现无人机检测的。该方法是建立在目标检测模型YOLOv3算法之上，通过有效的改进和提高框架模型检测，实现准确的实时无人机检测。本文所提出的方法主要由样本的获取及预处理，整体网络结构，预测结果处理，损失函数计算四个部分组成。

1.样本获取及预处理

样本的获取既可以是网络上下载的图片，也可以自己收集图片，但是要保证采集的图片在无人机的背景、大小和样式上都具有差异性。之后对采集的图片进行标注，使用目标检测中通用的矩形框来标注目标，并将标签数据保存。在进行图像输入到网络之前，需要对图像进行预处理，处理的过程主要有图像裁剪、缩放、翻转、移位、亮度调整和加噪声，通过这些预处理，使得输入图像可以固定大小，如416*416，同时也需要对标签数据做相应的处理。这种方法可以大大增加训练的数量和多样性，提高模型的健壮性，使得网络能够对更加复杂的图像有着更好的泛化能力。

2.整体网络结构

在得到预处理的输入图像后，会输入到网络中进行处理。整体网络主要包括三个部分，骨干网络、特征融合网络和预测网络三个部分。

2.1骨干网络

骨干网络是将输入的图像进行特征提取，得到对目标的更加复杂的特征。结构图如附图1的骨干网络模块所示，该网络以darknet53作为模板，主要包括52个卷积层。该网络的输入为预处理得到的图像，一次经过52个卷积网络，在这52个卷积层中选取第26层、第43层和第52层的特征图作为下一步特征融合的三个特征图。该三层特征图的大小分别是52×52,26×26,13×13。

2.2特征融合网络

特征融合部分是将骨干网络得到的三个特征图做融合操作，使得网络能够适应不同大小的目标。结构图如附图1的特征融合模块所示。该网络先处理大小为13×13的特征图，依次经过5个卷积，输出大小为13×13的特征图；之后将刚才得到的13×13的特征图进行上采样，得到大小为26×26的特征图，并和骨干网络得到的大小为26×26的特征图做矩阵连接操作后经过5个卷积层得到大小26×26的特征图；对该特征图做上采样得到大小为52×52的特征图，并和骨干网络得到的大小为52×52的特征图做矩阵连接操作后经过5个卷积层得到大小52×52的特征图。通过上述操作会得到三个经过特征融合的特征图，大小分别为52×52,26×26,13×13。

2.3预测网络

预测网络的结构如附图1的预测模块所示。该网络主要只有三组两个卷积组成。每一组卷积的输入是融合后输出的特征图，预测的结果包括三个部分，分别是目标的位置回归值、目标的置信度和目标的类别。三组网络的预测值大小分别为13×13×3×(4+1+1),26×26×3×(4+1+1),52×52×3×(4+1+1)，其中13、26、52表示特征图的大小，3表示先验框的数量，4表示位置回归值，中间的1表示目标的置信度，后面的1表示类别，由于只有无人机一类，故为1。

3.预测结果处理

网络预测得到的结果不能够直接得到目标的位置和类别，需要经过间接处理才能得到想要的结果。转化过程主要包括位置回归和择优选择。在该部分，主要输入为预测网络得到的三组预测值，依次对这三组预测值做同样的处理。

3.1位置回归

由于网络对于直接训练标签数据效果很差，因此采用间接的方法对标签数据进行训练。首先预先定义矩形框(先验框)，该矩形框在一个特征图的每一个网格中存在3个大小一致的矩形框，在不同的特征图上矩形框的大小不一致。

如附图2所示，在4个位置回归值中(t_x,t_y)表示平移预测值和(t_w,t_h)表示缩放预测值，负责将先验框的坐标位置和宽高大小执行微调，最终达到微调后的矩形框和标注框的重叠度最好。图2中虚线框P_w,P_h为先验框，使用实线框b_w,b_h的为标注框，未标注的虚线矩形框为预测得到的矩形框。

为了进一步提高预测精准度，本发明在YOLOv3的基础上对预测方法进行了优化，预测参考点增加到了四倍，微调方向变为了四个，有助于得到和标注框更加好的重叠度。如图3所示，虚线框P_w,P_h为先验框，使用实线框b_w,b_h的为标注框，左图为原算法的示意图，右图为改进算法的示意图。网格增加了四个角点(α,β,λ,δ)。本发明选择双曲正切函数tanhx将平移预测值(t_x,t_y)变换到(-1,1)范围内。增加的四个角点会预测得到四组预测得到的矩形框(b_x,b_y,b_w,b_h)，公式如下所示，其中(t_x,t_y,t_w,t_h)为预测得到的值，(c_x,c_y)为网格左上角和特征图左上角之间的偏移值，(p_w,p_h)为先验框的宽高，

是预测框的宽高，i∈(α,β,λ,δ)：

α角点：

β角点：

γ角点：

δ角点：

以大小为13×13的特征图为例，通过上面的回归公式，可以得到13×13×3个矩形框，这些矩形框的大小是以特征图的大小为参考系的，因此需要将其映射到输入网络的图像大小416×416，最后再回归到原始图像的大小。

3.2择优选择

上面是对位置回归做处理，这里是对置信度和类别做相应的处理。以预测值13×13×3×6为例，会得到13×13×3×1的置信度预测值，对于这么多预测值，会优先选择大于给定阈值(0.5)的预测值。这样会大大减少预测值的数量，得到的结果更加准确。对于类别不需要做处理，因为只有一类。通过这种择优选择，还是会存在很多的干扰矩形框，这些矩形框都能预测目标，但是在重合度上会有差别，因此需要预测框过滤操作来滤除那些重复的预测框。

3.3预测框过滤

预测得到的无人机边界框可能存在同一个目标对应多个预测框，此时需要对多余的预测框进行过滤，最终得到最好的预测框。常见的是会用NMS(非极大值抑制)算法实现。但是，在检测过程中可能会发生多个无人机重叠现象，使用NMS则无法同时检测重叠的无人机目标，则选用Soft-NMS作为无人机预测过程中的预测框过滤算法。

传统的NMS在运算过程中，当两个预测框发生重叠时，会直接将其中某个不好的预测框过滤掉。Soft-NMS不会将差的那个预测框过滤，而是采用稍低分数替换原有分数。公式如下所示：

相邻的预测框b_i和预测框M的重叠交并集比值IOU大于设定阈值N_t，将预测边界框b_i的分数呈现线性缩减。也就说，越接近M预测框分数值缩减越大，越不靠近的M则越不相关。

4.损失函数计算

由于卷积网络是一个训练的过程，因此需要损失函数来更好的得到预测值。损失计算主要分为三个方面，位置回归值的损失，目标置信度的损失和目标类别的损失。如果真值的中心点落到了特征图的某个网格中，那么这个网格所对应的三个先验框就负责预测图像矩形框。同时分别计算三个先验框和真值的重叠度，取最大重叠度的那个先验框作为预测的回归框。在计算位置回归值损失和目标类别损失时只使用重叠度最大的那个先验框及其类别来计算，即下式中的限制条件

对于目标置信度损失既考虑重叠度最大的先验框的置信度损失，也要考虑重叠度较小的先验框的损失，即认为该先验框不能用来预测目标，即下式中的限制条件

总的目标置信度损失为两个部分之和。在计算损失部分，输入为预测网络得到的三组预测值，以及对应图像的标签数据(真值)。总损失公式如下：

在上式中，

作为第i个格子第j个先验框第a个偏移角点用来预测无人机，

表示第i个格子第j个先验框第a个偏移角点没有用来预测无人机，s²表示特征图的大小，B表示先验框的数量，B＝3，4表示分别回归到4个角点，(t_x,t_y,t_w,t_h,t₀,s)是预测得到的值，

是真实值，

为坐标真实值，

为类别真实值，c∈{0,1}为总类别数目，σ(t₀)表示预测得到的边界框的置信度分数，BCE为二元交叉熵函数。λ_coord＝1表示坐标损失的权值，λ_obj＝5,λ_noobj＝0.5分别表示有目标和没有目标的损失权值。

本发明的有益效果为，本发明对禁飞空域的无人机实施实时和准确的无人机检测，目的通过对无人机飞行检测，使“黑飞”无人机被有效的减少。同时，也可以实现更快更准的发现空域飞行的无人机，更快的实施无人机反制措施，尽量减少无人机“黑飞”带来的损失和降低无人机带来安全事故概率。本发明检测出来的结果既能检测到小无人机目标，并且准确识别目标是什么和目标的大致位置，并且使得算法能够达到实时的能力。为及时处理无人机的“黑飞”带来可观的反应时间。

附图说明

图1：整体的网络结构

图2：位置和形状回归示意图

图3：优化的位置回归示意图

图4：整体系统流程图

图5：特征融合网络的示意图

图6:无人机检测效果图

具体实施方式

下面结合附图，对本发明作进一步的详细描述：

附图4为整体流程图，通过该流程图来具体说明本发明的技术方案。

1)对原始数据分流，一部分为训练集，另一部分为测试集，训练集和测试集的比例为7:3。训练集用于网络的训练，测试集用于训练好的模型的测试。

2)对训练集做预处理，预处理的操作包括图像裁剪、缩放、翻转、移位、亮度调整，加噪声和标准化，通过这些预处理得到固定大小的输入图像416*416。同时图像的标签数据也需要做相应的处理。之后将图像组合为一个batch，输入到网络中。

3)图中的特征提取网络包括骨干网络和特征融合网络，该部分主要将输入的数据进行特征提取，用于之后的预测网络进行预测。特征提取网络会得到三个大小不同的特征图，大小分别为13*13,26*26和52*52。

4)预测网络对特征提取网络得到的三个特征图分别做预测，得到的预测结果在不同的阶段会有不同的计算方式。在训练阶段，主要是计算损失，在预测值和处理过的标签数据之间计算损失，该损失包括三个部分，矩形框计算损失、置信度损失和类别损失。在推理阶段(预测阶段)，主要是将预测网络得到的预测值映射到图像上的矩形框并作相应的处理，得到最终在原图上预测的矩形框。由于是分为三个部分分别预测，因此需要将这三个分结果进行融合，得到最终的结果。

最后是模型测试，输入不再是训练集，而是测试集，对测试集的预处理只需要做标准化和固定大小为416*416。之后依次通过特征提取网络、预测网络、预测结果处理得到最终结果。将得到的最终结果和实际的标签数据进行指标计算，得到该模型的性能指标，需要计算的性能指标主要有平均准确率，检测速度。由于本发明是针对小目标的检测，还需要单独检测小目标的准确率。

本发明提出一种新的禁飞空域无人机检测方法，其中包含网络的整体架构、无人机样本增强设计、边界框预测方法、整体损失函数、多尺度检测设计、预测框过滤设计和无人机分类预测，最终通过样本训练得到无人机检测模型。其中，样本增强设计对丰富无人机样本集，增强无人机训练模型鲁棒性。边界框预测方法，增加四倍参考角点，提升无人机预测边界框数量，最终预测得到更精准的无人机边界框位置和宽高比例。多尺度检测设计包含了训练阶段的多尺度设计和预测阶段的多尺度设计，提升了无人机的多尺度检测性能和小目标检测效果。最终，无人机边界框过滤设计选用了Soft-NMS算法过滤边界框，避免了无人机重叠无法预测现象。最后训练得到的无人机检测模型通过实验检测得出，指标AP₅₀、AP₇₅和APS的值分别为1.00、0.85、0.83，推理时间(Inference Time)为0.030s。可以看出，本发明所提出的无人机检测方法，在满足高精度检测效果的同时能满足检测实时性。因此，本文所提出的一种新的禁飞空域无人机检测方法在无人机监管领域中具有广泛的应用前景。

Claims (1)

1.一种禁飞空域无人机检测方法，其特征在于，包括以下步骤：

S1、样本获取及预处理：获取无人机飞行图像并进行标注，使用目标检测中水平的矩形框来标注无人机目标，并将标签数据保存；对图像进行预处理，包括图像裁剪、缩放、翻转、移位、亮度调整和加噪声，获得固定大小的样本图像；

S2、通过深度学习的方法训练无人机识别网络，无人机识别网络包括骨干网络、特征融合网络和预测网络，具体方法为：

S21、通过骨干网络对输入的样本图像进行特征提取，骨干网络以darknet53作为模板，包括52个卷积层，输入为预处理得到的样本图像，一次经过52个卷积网络，在这52个卷积层中选取第26层、第43层和第52层的特征图作为特征融合的特征图，该三层特征图的大小分别是52×52,26×26,13×13；

S22、特征融合网络用于将骨干网络得到的三个特征图做融合操作，先处理大小为13×13的特征图，依次经过5个卷积，输出大小为13×13的融合特征图；之后将大小为13×13的融合特征图进行上采样，得到大小为26×26的采样特征图，并和骨干网络得到的大小为26×26的特征图做矩阵连接操作后经过5个卷积层得到大小26×26的融合特征图，对大小26×26的融合特征图做上采样得到大小为52×52的采样特征图，并和骨干网络得到的大小为52×52的特征图做矩阵连接操作后经过5个卷积层得到大小52×52的融合特征图，通过上述操作得到三个经过特征融合的融合特征图，大小分别为52×52,26×26,13×13；

S23、预测网络包括三组两个卷积，每一组卷积的输入是融合后输出的融合特征图，预测的结果包括三个部分，分别是目标的坐标回归值(t_x,t_y,t_w,t_h)、目标的置信度t₀和目标的类别；三组网络的预测值大小分别为13×13×3×(4+1+1),26×26×3×(4+1+1),52×52×3×(4+1+1)，其中13、26、52表示特征图的大小，3表示矩形框的数量，4表示位置回归值，中间的1表示目标的置信度，后面的1表示类别，即只有无人机一类；

损失函数：损失函数计算主要分为三个方面，位置回归值的损失，目标置信度的损失和目标类别的损失，定义真值的中心点落到了特征图的某个网格中，则这个网格所对应的三个先验框就负责预测图像矩形框，同时分别计算三个先验框和真值的重叠度，取最大重叠度的那个先验框作为预测的回归框，在计算位置回归值损失和目标类别损失时只使用重叠度最大的那个先验框及其类别来计算，对于目标置信度损失既考虑重叠度最大的先验框的置信度损失，也要考虑重叠度较小的先验框的损失，即认为该先验框不能用来预测目标，即限制条件，总的目标置信度损失为两个部分之和；输入为预测网络得到的三组预测值，以及对应图像的标签数据，损失公式如下：

其中，

作为第i个格子第j个先验框第a个偏移角点用来预测无人机边界框，

表示第i个格子第j个先验框第a个偏移角点没有用来预测无人机边界框，s²表示特征图的大小，B表示矩形框的数量，(t_x,t_y,t_w,t_h,t₀,s)是预测得到的值，s表示预测的类别概率值，

是真实值，

为坐标真实值，

为类别真实值，c∈{0,1}为总类别数目，σ(t₀)表示预测得到的边界框的置信度分数，BCE为二元交叉熵函数，λ_coord＝1表示坐标损失的权值，λ_obj＝5,λ_noobj＝0.5分别表示有目标和没有目标的损失权值；

S3、利用训练好的无人机识别网络对无人机图像进行预测，获得三组预测值；

S4、对预测值进行处理，获得无人机检测结果，具体为：

S41、位置回归：在4个位置回归值中(t_x,t_y)表示平移预测值和(t_w,t_h)表示缩放预测值，负责将先验框的坐标位置和宽高大小执行微调，具体微调方法为：在网格中定义四个角点(α,β,λ,δ)，通过增加的四个角点会预测得到四组预测得到的矩形框(b_x,b_y,b_w,b_h)：

α角点：

β角点：

γ角点：

δ角点：

其中，(c_x,c_y)为网格左上角和特征图左上角之间的偏移值，双曲正切函数tanh x将平移预测值(t_x，t_y)变换到(-1,1)范围内，(p_w,p_h)为先验框的宽高，

是预测框的宽高，i∈(α,β,λ,δ)；

S42、择优选择：选择大于给定阈值的预测值；

S43、预测框过滤：对于通过择优选择的预测矩形框仍然有很多，预测得到的无人机预测框可能存在同一个目标对应多个预测框，此时需要对多余的预测框进行过滤，得到最终的预测框：采用Soft-NMS的方法将多余的预测框去除掉，最终得到图像上的每一个目标只得到一个预测框。

Images