CN111967313B - 一种深度学习目标检测算法辅助的无人机图像标注方法 - Google Patents

Abstract

本发明提供了一种基于深度学习目标检测算法辅助的无人机图像标注方法，属于无人机图像处理领域。本发明针对无人图像标注的两种场景，提出不同方案：全图标注场景，利用其他少量公开无人机图像数据集对检测网络进行初始训练，将未标注图像按照目标数由少到多分组的顺序输入网络进行前向推断、自动处理和人工修正后都将该组图像加入原数据集对网络重新进行训练，以便对下一组图像有更好的检测性能；图像部分区域标注场景，利用在数据集有标注区域随机裁切的未标注区域相似大小的子图像对检测网络进行训练，进而对未标注区域进行标注处理。本发明方法极大地减轻了无人机图像标注所需的人力物力，提升了标注的速度和精度。

Description

一种深度学习目标检测算法辅助的无人机图像标注方法

技术领域

本发明属于无人机图像处理领域，具体涉及一种基于深度学习目标检测算法辅助的无人机图像标注方法。

背景技术

无人机图像是指由无人机机上成像平台采集得到的对地遥感图像，随着近年来航空成像设备成像质量的不断提高和民用无人机的普及，无人机图像在各领域都得到了广泛的应用，其中包括基于深度学习的车流人流监测以及移动目标追踪等等。这也对带标注的无人机图像数据集提出了更广泛的需求。

与常规场景图像不同，无人机图像的尺寸往往较大，覆盖地表范围广，典型目标分布密集数量众多，人工标注一张无人机图像往往需要耗费数分钟，这在需要大量带标注训练数据的任务中所需要的时间成本是难以忍受的。

近年来，基于深度学习的目标检测方法逐渐成熟，相比基于传统图像处理的旧式检测方法在检测精度上得到极大的提高。目前基于深度学习的目标检测方法主要分为两种：即单阶段检测和双阶段检测。单阶段检测法直接根据预设的边界框对落在该边界框范围内的物体进行分类和位置坐标回归；而双阶段检测法首先通过候选区域生成网络得到可能属于目标的区域，再将其输入到网络检测头，进行进一步分类和回归。双阶段检测法精度高，但训练和推断速度较慢，单阶段检测法更注重精度与速度间的权衡，在取得一定精度的前提下，极大的减少了检测所需时间。

由于基于深度学习的目标检测方法依赖大型卷积神经网络对待测目标特征进行提取和抽象，因此可以认为这种方法拥有良好的泛化性。目前针对无人机图像数据集的标注，大多数都是基于相关标注软件进行手工标注，现有标注方法缺少利用少量公开的无人机图像数据训练具有良好泛化性的检测网络进而辅助未标注无人机图像进行标注的技术。

发明内容

针对无人机图像深度学习相关任务需求的增长与无人机图像标注困难的矛盾，为减轻标注所需的人力物力成本，加快标注速度，本发明提出一种深度学习目标检测算法辅助的无人机图像标注方法。

本发明的一种深度学习目标检测算法辅助的无人机图像标注方法，按照应用场景是全图像标注还是图像部分区域标注两种情况，分别执行下面相应的步骤。

(一)全图像标注的具体步骤如下：

步骤1.1、选取待标注目标对应种类的公开无人机图像数据集，对目标检测网络进行训练，根据待标注无人机图像的检测难度和期望精度选取二阶段算法或单阶段算法。

步骤1.2、对未标注的无人机图像按照待标注目标数量分组，将待标目标数<20的图像划分为少量目标组，将20≤待标目标数<40的图像划分为中等量目标组，将待标目标数≥40的图像划分为大量目标组。按照代表目标数从少到多的顺序取一组图像进入下面步骤。

步骤1.3、将当前一组图片输入训练好的目标检测网络做前向推断，对每张图像获得待识别目标的检测框和分数，保存分数>α₁的检测结果，α₁为预先设置的阈值，因选用的检测网络对当前未标注图片的检测效果而异。保存的检测结果包含检测框所属类别和检测框坐标。对检测结果中，超过不合理尺寸的检测框去除。

步骤1.4、对步骤1.3最后保存的检测结果导入标注软件中，对漏检和错检的检测结果进行人工修正。

步骤1.5、将经步骤1.4人工修正后得到的标注图像组按照设置的比例随机划分成训练集和验证集，汇入已有的无人机图像数据集形成新的无人机图像数据集，对目标检测网络重新进行训练。

步骤1.6、判断是否遍历完所有图像组，如果遍历完则输出所有图像的标注结果，若未遍历完，继续取下一组图像进入步骤1.3执行。

(二)图像部分区域标注时，无人机图像数据集图片含有标注区域和忽略区域两种不同区域，其中忽略区域含有目标但未进行标注，对忽略区域的标注进行补充的具体步骤如下：

步骤2.1、将数据集图片中的忽略区域从原图中裁切出来保存，并对忽略区域的尺度进行k均值聚类，得到k个不同的尺度聚类结果。k为正整数。

步骤2.2、利用无人机图像数据集图片的有标注区域生成深度学习目标检测网络的训练集和验证集。使用生成的训练集和证集训练目标检测网络。

步骤2.3、将忽略区域输入训练好的目标检测网络做前向推断，对每张图像获得待识别目标的检测框和分数，保存分数>α₂的检测结果，α₂为预先设置的阈值，因选用的检测网络对当前忽略区域的检测效果而异。保存的检测结果包含检测框所属类别和检测框坐标。对检测结果中，超过不合理尺寸的检测框去除。

步骤2.4、将最终保存的每个检测结果根据忽略区域在原图位置转化为原图上的坐标值；最后将检测结果导入标注软件中对漏检和错检的现象进行人工修正。

相比现有技术，本发明的无人机图像标注方法具有如下的优点和积极效果：(1)本发明方法在待标注目标分布密集、尺寸较小的无人机图像标注任务中，一定程度上降低了人力成本需求；(2)本发明方法在需要标注大量无人机图像数据的任务中，拥有极大的速度优势；(3)本发明方法使用深度学习目标检测网络的检测框作为先验，按目标数从少到多的顺序送入目标检测网络，每组图像送入目标检测网络进行前向推断前都将标注好的上一组图像汇入原数据集对网络重新进行训练，以便下一组图像能得到更优质的前向推断结果，一定程度上加强了标注精度。

附图说明

图1是本发明的一种深度学习目标检测算法辅助的无人机图像标注方法流程图；

图2是深度学习目标检测网络的训练流程图；

图3是无人机图像数据集训练样本在尺度空间进行数据增广的灰度示意图；

图4是无人机图像数据集训练样本在色彩空间进行数据增广的灰度示意图；

图5是部分区域标注下生成的训练样本和验证样本的灰度示意图。

具体实施方式

下面结合附图和实施例，对本发明的技术方案作进一步的详细说明。

本发明提供了一种深度学习目标检测算法辅助的无人机图像标注方法，根据待标目标数将数据集进行分组，然后依次利用待标目标数从少到多的训练集来更新目标检测深度网络，一方面尽可能的节约了人力成本，另一方面可以获得更加准确的无人机图像标注。本发明具体包括无人机图像全图标注和无人机图像部分区域标注两种情况，如图1所示，为实现的一个整体流程，下面分别对两种情况下的实现步骤进行说明。

无人机图像全图标注情况下，需要其他含有相同目标类别的无人机图像数据集事先对目标检测网络进行训练，然后将待标注的无人机图像按照目标数目分组，使用训练好的目标检测网络先对少量目标组图像进行检测，将低分数和尺寸过大的检测框筛选清除后，检测结果导入标注软件进行人工修正。修正后的标注与标注对应的图像将汇入原训练数据集，对目标检测网络重新进行训练，新训练好的目标检测网络再对中等量目标组图像进行检测，按照此方式迭代，最终得到所有图像的准确标注。针对全图像标注情况，本实施例包括如下步骤1.1～步骤1.6。

步骤1.1，选取待标注目标对应种类的公开无人机图像数据集，对目标检测网络进行训练。根据待标注无人机图像的检测难度和期望精度选取二阶段检测算法或单阶段检测算法。

典型的二阶段检测算法有Faster-RCNN(Faster Region-based ConvilutionNeural Network)，RFCN(Region-based fully convolutional network)，FPN(FeaturePyramid Network)等，典型的单阶段检测算法有SSD(Single Shot Multibox Detector)，YOLO(You Only Look Once)系列，RetinaNet等。

具体深度学习目标检测网络的训练流程如图2所示，主要包含两个过程：

(1)无人机图像数据集分为训练集和验证集，对训练集进行数据增广。增广方式有随机缩放、随机裁剪、随机水平/竖直翻转、随机90°翻转，随机饱和度/亮度/色调调整等。

无人机对地拍摄场景使得目标角度多样化，与常规图像由于万有引力作用大部分目标处于竖直状态不同，同时由于无人机飞行高度的不同，目标尺度也会有一定范围内的变化，因此需要对训练集中对原始数据进行尺度空间增广，尺度空间的增广示意如图3所示。

由于自然环境下的无人机图像中的待测目标经常受到光照、阴影、雾霾、遮蔽和噪声等的影响和污染，为了提高以上情况下的地面目标的检测性能，需要在训练集中对原始数据进行色彩空间的增广，色彩空间的增广示意如图4所示。

(2)使用增广后的训练集对目标检测网络进行训练，使用验证集评估目标检测网络，获得当前训练好的目标检测网络。

步骤1.2，对未标注的无人机图像按照待标注目标数量进行分组，本发明实施例中，将待标目标数<20的图像划分为少量目标组，20≤待标目标数<40的图像划分为中等量目标组，待标目标数≥40的图像划分为大量目标组。

当前无人机图像数据集基本是由多个图像序列构成的结构，根据该结构特点很容易对图像按待标注目标数进行分类，具体采取的方式：计数每个序列第一帧图像的目标数，根据第一帧图像的计数结果对整个序列的图像进行分组。

按照少量目标组——中等量目标组——大量目标组的顺序，依次取每组图像进行处理。首先取少量目标组作为当前要处理的图像组，执行步骤1.3。

步骤1.3，将当前组图片输入训练好的目标检测网络做前向推断，对图像获得待检测目标的一组检测框和分数，保存分数>α₁的检测结果。保存的检测结果包含检测框所属类别和检测框坐标。

考虑低分检测框的定位精度和分类准确度都较差，因此去除一定分数阈值α₁下的检测结果。α₁因选用的检测网络对当前未标注图片的检测效果而异，可根据实验结果或经验来设置调整。同时，考虑无人机视角某个高度下进行拍摄的某类目标的尺度限制在较小的某个范围内，因此对超出这个尺度范围的检测框不予考虑，对检测结果做处理，将宽度w′≥β_1,aW或高度h′≥β_2,aH的检测框从保存结果中去除，其中，w′、h′分别是检测框的宽和高，W、H为输入目标检测网络的无人机图像的宽和高，β_1,a，β_2,a的值与无人机对地高度和目标种类a相关，实际通过对待标注图像进行抽样观察估计得到。目标种类是指无人机图像中要识别的目标种类，如小汽车、行人、公交车等。

检测框坐标的保存形式可以是角点形式，如(x_min,y_min,x_max,y_max)，也可以是中心点形式，如(x_center,y_center,w′,h′)；其中，(x_min,y_min)、(x_max,y_max)分别表示检测框的左下角和右上角的点坐标，(x_center,y_center)表示检测框的中心点坐标。以中心点形式保存检测框坐标时，w′和h′可直接得到，以角点形式保存检测框坐标时，w′＝x_max-x_min，h′＝y_max-y_min。

步骤1.4，将保存结果导入标注软件对漏检和错检的现象进行人工修正。

步骤1.5、判断是否遍历完所有图像组，如果遍历完则输出所有原未标注图像的准确标注，如果没遍历完则继续执行步骤1.6。

步骤1.6，将标注好的图像组和对应标注按照一定比例随机划分成训练集和验证集，并汇入原无人机图像数据集形成新的无人机图像数据集，对目标检测网络重新进行训练，训练后取下一组图像回到步骤1.3处理。

步骤1.7，第二次执行步骤1.3时，将中等量目标组图片输入上次步骤1.6中重新训练的目标检测网络做前向推断，保存检测结果，继续执行步骤1.4～1.6，对中等量目标组图像和对应标注进行训练集和验证集划分，并更新无人机图像数据集，用来对目标检测网络重新进行训练。

步骤1.8，第三次执行步骤1.3时，将大量目标组图片输入再次重新训练的目标检测网络做前向推断，继续执行步骤1.4～1.5，最终得到所有未标注无人机图像的标注数据。

含有大量目标的无人机图像，目标分布更为密集，目标间互有遮挡的可能性更大，因此目标检测面临的难度也更大，即使目标检测算法对大量/少量目标图像的检测性能相同，含大量目标的图像在相同检出率下也会有更多有问题的标注需要人工处理，为了尽可能的减少人力支出，所以本发明把含大量目标的数据放在最后处理，使用最少数据训练的网络首先标注目标数本就偏少的少量目标组图像，即使检出率不佳，需要人工修正的标注也控制在一个偏小的水平范围内。随着有标注数据的不断增加，对目标检测网络进行更新，得到性能更强大的检测器最终再去标注含有大量目标的图像，从而能够尽可能的减少人工修正的工作量。

无人机图像部分区域标注针对当前部分公开无人机图像数据集图片含有标注区域和忽略区域两种不同区域，其中忽略区域含有目标但未进行标注的问题，对忽略区域的标注进行补充。本发明方法进行部分区域标注无需其他数据集，数据集来源为在图像的有标注区域随机裁切的忽略区域尺度聚类结果大小的子图像。使用裁切出的子图像与其对应标注训练目标检测网络，使用训练好的目标检测网络对忽略区域进行检测，将低分数和尺寸过大的检测框筛选清除后，检测结果导入标注软件进行人工修正，最后将修正后的结果转化到原图坐标系下汇入原图标注文件，得到所有图像的完整标注。如图1所示，针对图像部分区域标注情况，本实施例包括如下步骤2.1～步骤2.5。

步骤2.1，将数据集图片中的忽略区域从原图中裁切出来保存，并对忽略区域的尺度进行k均值聚类，得到k个不同的尺度聚类结果。忽略区域的坐标由数据提供方提供的数据集信息获得。k为正整数。

忽略区域(ignore area)的坐标可以是角点形式(x_ige,min,y_ige,min,x_ige,max,y_ige,max)，也可以是中心点形式(x_ige,center,y_ige,center,w_ige,h_ige)；其中(x_ige,min,y_ige,min)、(x_ige,max,y_ige,max)分别表示忽略区域的左下角和右上角的点坐标，(x_ige,center,y_ige,center)表示忽略区域的中心点坐标，w_ige,h_ige分别表示忽略区域的宽和高。

步骤2.2，利用数据集图片的有标注区域生成深度学习目标检测网络的训练集和验证集。

具体生成方法为：在数据集每张图片的有标注区域随机选取n个点，n为正整数，以每个点为中心，随机选取k个尺度其中之一生成子图像，判断子图像是否含有目标以及是否跟忽略区域有所重叠，将含有目标且未与忽略区域重叠的子图像保存，子图像标注利用中心点坐标由原图标注转化，最终生成训练集。验证集的生成同理，部分区域标注下的训练样本和验证样本的生成如图5所示。

子图像是否含有目标以及跟忽略区域是否有所重叠根据忽略区域和目标真值框区域与子图像区域的交并比来判断，交并比的定义为：

其中，IOU表示图像区域A和B的交并比，当取值为0时，表示不存在重叠，否则存在重叠。

步骤2.3，使用生成的训练集和验证集训练评估目标检测网络，训练流程同步骤1.1。

步骤2.4，将忽略区域输入训练好的目标检测网络做前向推断，对每张图像获得待识别目标的检测框和分数，保存分数>α₂检测结果，α₂因选用的检测网络对当前忽略区域的检测效果而异。同时，对检测结果做处理，将宽度w′≥β_1,aW或高度h′≥β_2,aH的检测框从保存结果中去除。保存的检测结果包含检测框所属类别和检测框坐标，具体同步骤1.3。

步骤2.5，将每个保存结果根据忽略区域在原图位置转化为原图上的坐标值；最后将保存结果导入标注软件对漏检和错检的现象进行人工修正。

若忽略区域坐标以中心点形式保存则转为角点形式：

其中，(x_ige,center,y_ige,center)表示忽略区域的中心点坐标，w_ige、h_ige分别表示忽略区域的宽和高，(x_ige,min,y_ige,min)为忽略区域的左下角坐标，(x_ige,max,y_ige,max)为忽略区域的右上角坐标；

部分区域标注保存结果以角点形式保存时，转化为原图坐标：

其中，

分别表示检测框的左下角和右上角在原图的坐标；(x_min,y_min)、(x_max,y_max)分别表示检测框的左下角和右上角在忽略区域的坐标；

部分区域标注保存结果以中心点形式保存时，转化为原图坐标：

其中，(x_center,y_center)表示检测框在忽略区域的中心点坐标，

表示检测框在原图的中心点坐标。

实际上，当前绝大多数无人机图像数据集都是通过全人工进行标注的，本发明提出的一种深度学习目标检测算法辅助的无人机图像标注方法，针对当前无人机图像深度学习相关业务需求的增长以及无人机图像数据集较少且标注困难的矛盾，分为两种情况处理。全图标注情况下，首先将未标注图像按照目标数量分组，利用其他少量带标注的无人机图像数据集对目标检测网络进行训练后将未标注图像按照目标数由少到多，检测难度由易到难的顺序输入检测网络进行前向推断，每对一组图像进行目标检测、自动处理和人工修正后都将该组图像加入原数据集对网络重新进行训练，以便对下一组图像有更好的检测性能。图像部分区域标注情况下，利用在有标注区域随机裁切的与未标注区域尺度类似的图像块对网络进行训练，使用训练好的网络对未标注区域进行前向推断，推断后的结果进行自动处理和人工修正后转化为原图坐标系下的值添加进原图标注文件中。本发明通过对用来训练目标检测网络的数据集采用上述特别处理，极大地减轻了无人机图像标注所需的时间和人力物力，一定程度上利用检测结果这一先验信息提高了标注精度。

目前人工标注无人机图像极其费时，标注一张图像往往要耗费数分钟，在需要标注大量图像时，所耗费时间更多，本发明的深度学习目标检测算法辅助的无人机图像标注方法，使用深度学习目标检测网络识别目标，再按照上面方式进行训练和标注修正，在同等标注量的情况下，例如人工标注1万张图像需要约500小时，而采用本发明方法使用目标检测算法进行粗略标注可以在1小时内完成，耗时可以忽略不计，同时所需要的人工修正时间也很少，大大提高标注速度。同时，本发明方法先利用目标检测网络标注再进行人工修正，目标检测网络的标注结果实际上给后期人工一个先验的目标区域分布，这样在目标数量众多，背景复杂的无人机标注任务中降低了漏标的可能。

Claims (4)

1.一种深度学习目标检测算法辅助的无人机图像标注方法，采用深度学习算法搭建目标检测网络，其特征在于，所述的标注方法包括：

(一)针对全图像标注情况，执行如下步骤：

步骤1.1，对深度学习目标检测网络，首先利用已公开的与待标注目标相同类别的无人机图像数据集进行训练；

步骤1.2，将未标注的无人机图像按照待标注目标的数量分为三组，分别标记为少量目标组、中等量目标组和大量目标组，按顺序取一组图像进入步骤1.3执行；

步骤1.3，将当前一组图像输入当前训练好的目标检测网络做前向推断，对每张图像获得待识别目标的检测框和分数，保存分数>α₁的检测结果，α₁为预先设置的阈值；再根据无人机高度与所拍摄的目标类别的尺寸限制，设置对应类别目标的检测框的尺度范围，将保存的检测结果中超过设置的尺度范围的检测框去除；

步骤1.4，将保存的检测结果导入标注软件，对漏检和错检的检测结果进行人工修正；

步骤1.5，将标注好的图像组按照设定比例随机划分成训练集和验证集，汇入已有的训练目标检测网络的数据集，再重新对目标检测网络进行训练；

步骤1.6，判断是否遍历完所有图像组，如果遍历完则输出所有图像的标注结果，若未遍历完，继续取下一组图像进入步骤1.3执行；

(二)针对图像部分区域标注情况，需要对图片中含有目标但未进行标注的忽略区域进行标注，执行如下步骤：

步骤2.1，将数据集图片中的忽略区域从原图中裁切出来保存，并对忽略区域的尺度进行k均值聚类，得到k个不同尺度的聚类结果，k为正整数；

步骤2.2，利用无人机图像数据集图片的有标注区域生成训练集和验证集，对深度学习目标检测网络进行训练；

步骤2.3，将忽略区域图片输入训练好的目标检测网络做前向推断，对每张图像获得待识别目标的检测框和分数，保存分数>α₂的检测结果，α₂为预先设置的阈值；再根据无人机高度与所拍摄的目标类别的尺寸限制，设置对应类别目标的检测框的尺度范围，将保存的检测结果中超过设置的尺度范围的检测框去除；

步骤2.4，将保存的每个检测结果根据忽略区域在原图位置转化为原图上的坐标值，检测结果导入标注软件进行人工修正，得到无人机图像的完整标注数据。

2.如权利要求1所述的一种深度学习目标检测算法辅助的无人机图像标注方法，其特征在于，所述的步骤1.2中，对未标注的无人机图像，若待标目标数<20划分为少量目标组，若20≤待标目标数<40划分为中等量目标组，若待标目标数≥40划分为大量目标组。

3.如权利要求1或2所述的一种深度学习目标检测算法辅助的无人机图像标注方法，其特征在于，所述的步骤1.2中，无人机图像数据集中包含多个图像序列，对每个序列的第一帧图像的目标数量计数，根据所计数量对整个序列的图像分组。

4.如权利要求1所述的一种深度学习目标检测算法辅助的无人机图像标注方法，其特征在于，所述的步骤2.2中，在数据集中每张图片的有标注区域随机选取n个点，以每个点为中心随机选取k均值聚类的某个尺度生成子图像，判断子图像是否含有目标以及是否跟忽略区域有所重叠，将含有目标且未与忽略区域重叠的子图像保存，生成的训练集和验证集。

Images