CN108520218A - 一种基于目标跟踪算法的舰船样本收集方法 - Google Patents

Abstract

本发明涉及一种基于目标跟踪算法的舰船样本收集方法，包括以下步骤:手动勾勒出某视频载体上第一帧中的舰船区域信息；将归一化大小后的图像帧输入到Fast‑RCNN网络中；通过Fast‑RCNN目标追踪框架对第一帧之后的帧进行舰船区域的追踪监测，获得每一帧中的舰船的位置信息；每相隔400‑800帧，通过人眼观测当前帧的位置信息，并判断标注结果是否合格；若不合格，通过人工修正舰船的标注结果，继续执行Fast‑RCNN目标追踪算法，直到完成整个视频载体的舰船标定；获取所有该视频载体中的舰船的标注结果，组成标定数据集。在本发明中，其采用基于深度学习的视觉追踪的方法，实现在一个视频序列中，自动标定出舰船的区域信息，从而减少了的人工的工作量，提高了标定数据的效率。

Description

一种基于目标跟踪算法的舰船样本收集方法

技术领域

本发明涉及舰船样本收集方法，尤其涉及一种基于目标跟踪算法的舰船样本收集方法。

背景技术

在如今的大数据时代，数据的重要性不言而喻，但同时其也出现了许多问题，比如，如何在海量的数据中，提取出有用的部分信息。数据的标注便是其中的一个典型案例。对于目前来说，数据的标注大多数采用人工的方式，其不仅工作量巨大，而且工作效率比较低，例如：在成千上万张图片中，对其进行分类或者是对其标注出特定的部分信息等等。

随着深度学习的快速发展，其也越来越被广泛应用于视觉追踪领域。但是对于深度学习来说数据集是一个非常重要的部分，同样对于数据集的标定也是非常重要的，数据集标定的好坏在很大程度上决定着深度学习的准确率，但是数据集的标定是非常枯燥的。

对于舰船跟踪方面来说，该方面的数据集较少，大部分可以获取到的数据集是在一个含有舰船移动的视频中，对于每一帧，从中勾勒出舰船区域信息，从而该帧可以当成一个标定的数据，如果对于视频中的每一个帧图像都进行人工标定舰船区域部分，不仅工作量大，十分枯燥，而且效率比较低。

发明内容

本发明的主要目的在于提供一种基于目标跟踪算法的舰船样本收集方法，旨在解决目前现有的人工进行数据标定的工作量大，效率低的问题。

为了实现上述目的，本发明采取的技术方案为提供一种基于目标跟踪算法的舰船样本收集方法,包括以下步骤:

手动勾勒出某视频载体上第一帧中的舰船区域信息；

将归一化大小后的图像帧输入到Fast-RCNN网络中；

通过Fast-RCNN目标追踪框架对当前帧之后的帧进行舰船区域的追踪监测，获得每一帧中的舰船的位置信息；

每相隔400-800帧，通过人眼观测当前帧的位置信息，并判断标定结果是否合格；

若不合格，通过人工修正舰船的标注结果，继续执行Fast-RCNN目标追踪算法，直到完成整个视频载体的舰船标定；

获取所有该视频载体中的舰船的标注结果，组成标定数据集。

可选地，每相隔500帧，通过人眼观测当前帧的位置信息。

可选地，所述的人眼观测是指：对于当前帧来说，若Fast-RCNN所输出的标注结果中：若采用的一个特定尺寸的方框没有将舰船的95％以上的区域包围起来，则认为该标志结果位置信息不合格。

可选地，所述人工修正舰船的标注结果包括步骤:

将当前不合格帧的编号记为，人工重新在当前帧中，用鼠标在舰船区域部分的中心位置电机一下，完成人工干预操作，然后继续通过Fast-RCNN在当前帧之后的帧中，预测舰船的位置信息；

丢弃该帧之前的5-15帧。

可选地，丢弃该P_i帧之前的10帧。

可选地，在通过Fast-RCNN追踪监测之前,还需要对Fast-RCNN网络进行训练，其训练步骤为：归一化含有舰船目标的图片、标记出舰船区域在所属图片中的位置坐标信息；

Past-RCNN预测出一幅图片中舰船区域的位置坐标信息；

通过BP算法更新神经元的权重和偏值，使得神经网络达到收敛状态；

训练结束后，再基于训练好的Fast-RCNN获取标定的数据集。

本发明的有益效果是：本发明对于舰船数据集的标定来说，采用基于深度学习的视觉追踪的方式，在数据集中的每一张图片中，自动获取舰船区域，从而完成数据的标定，避免了人工进行数据标定的工作量大，效率低的问题；采用人工监督的方式，每隔一段时间，人工干预重新设定跟踪区域(舰船区域)，基本确保了后续数据集中检测出舰船区域的准确性，从而保证了数据集标定的合格率，同样工作量也相对较小；由于采用Fast-rcnn的框架实现舰船区域的跟踪，在人工干预过程中，不需要精准的重新标定出舰船位置区域，只需要在舰船区域用鼠标点击一下，Fast-rcnn的框架同样会输出相对精准的舰船区域，节省了人工的操作量。

附图说明

图1是本发明提供的流程图；

图2是本发明提供的单个神经元结构；

图3是本发明提供的总体流程图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面结合附图说明及具体实施方式对本发明进一步说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

Fast-RCNN是一个基于深度卷积神经网络，目前被广泛应用于运动的目标检测，其准确度也相对较高，基于此，本发明提出一种基于人工干预情况下的数据智能标注方法，通过采用Fast-RCNN的网络框架，实现数据集的智能标注，从而可以提高标注的效率以及减少人工工作量。

如图1所示，本发明首先要初始化跟踪区域：在本发明中，其实施对象为视频载体，在该视频载体中，物体的信息表达具有连续性，即相邻两帧具有一定的关联性，基于此，我们只需要在第一帧中，手动勾勒出舰船的区域信息，即初始化跟踪区域，然后采用基于深度学习的Fast-RCNN的目标跟踪框架，对所述第一帧之后的帧进行追踪监测，从而可以在后面的帧中，通过Fast-RCNN预测出来的结果，获取到的舰船的区域信息，即每一帧中的标定信息(在每一帧中，标定信息就是舰船的区域部分信息)，最后所有符合要求的舰船区域信息组成舰船数据集。

具体的，在采用Fast-RCNN进行舰船区域预测时，我们首先需要对Fast-RCNN进行网络训练，之后才能够使用该网络，进行获取标定的数据结果，其具体方法如下：

(1)网络的输入包括两部分：归一化的含有舰船目标的图片、舰船区域在所属图片中的位置坐标信息。

在该部分中，我们的训练集是2000张含有舰船目标的归一化图片，归一化的大小是1024×1024。同时，在每张图片中，我们标记出了舰船区域的位置信息，即用一个方框恰好在归一化的图片中，将舰船区域包括起来，则这个方框的左上角顶点坐标以及方框长度、宽度便一起构成了网络输入的位置坐标信息。

(2)输出：网络自己预测出在一幅图像中，舰船区域的位置坐标信息(一对坐标点、一个长度值和一个宽度值。以这对坐标点为一个方框的左上角顶点，并分别以该长度值和宽度值为方框的长和宽，则该方框所包含的区域，就是网络自己预测出的舰船区域位置)。

(3)训练策略：常规的BP训练方法。通过使用BP算法来更新神经元的权重和偏置，最终使得神经网络达到收敛状态，具体解析如下。

简单小神经网络的结构可如图2所示，其中每一个圆圈代表着一个神经元，w₁和w₂代表神经元之间的权重，b表示偏置，g(z)为激活函数，从而使得输出变得非线性，a表示输出，x₁和x₂表示输入，则针对当前结构，输出的可表示为公式(1)。由公式(1)可得，在输入数据和激活函数不变的情况下，神经网络的输出的值a是与权重和偏置有关的。通过调节不同的权重和偏置，神经网络的输出也会有不同的结果。

a＝g(x₁*w₁+x₂*w₂+1*b) (1)

已知神经网络输出的值(预测值)为a，假设其对应的真实值为a'。

对于图2，其BP算法执行如下：

A、在BP算法中，其会先随机初始化每条连接线权重(w₁和w₂)和偏置b；

B、对于输入数据x₁，x₂，BP算法都会先执行前向传输得到预测值a；

C、然后根据真实值a'与预测值a之间的误差逆向反馈更新神经网络中每条连接线的权重和每层的偏置。

权重和偏置的更新方法如公式(2)-(4)所示，即对E分别求w₁，w₂，b的偏导。其中η表示的是学习率，在此公式中，其是一个设置好的参数。

D、不断重复步骤A-C，直到网络收敛，即E的值最小或者基本保持不变。此刻，表示网络已经训练完毕。

2.2、基于训练好的Fast-RCNN进行获取标定的数据集。

(1)对于每一帧图像，首先对其进行尺寸大小的归一化操作，由于不同视频帧的尺寸大小不同，因此，具体的归一化大小一样。

(2)将步骤(1)中归一化大小之后的图像帧，输入到Fast-RCNN网络中，进行预测，则网络输出的结果便预测了在该帧中，舰船的区域位置信息，这也就实现了在该帧中，对于跟踪区域(舰船区域)的更新操作，同时这输出结果也就是我们所需要的标定的数据集。

但是，对于完全采用计算机的方法来实现在视频载体中，确定标注信息的区域，其是存在一定的精度的问题。对于深度学习的方法来说，其准确率不可能都达到100％，故通过Fast-RCNN的框架，实现获取舰船目标的区域是会存在一定的误差，如果误差过大，则标注的数据为不合格，如果这些不合格的标注数据被拿来以后使用，则会对以后的用到的实验结果造成一定的影响，因此，我们需要更好的保证数据的合格性。所以我们引入人工干预。

在此环节中，我们采用人工监督的方式，从而来审核标注的数据集以及并对标注信息进行修正，该环节流程图可如图3所示，具体操作如下：

1、假设已有的视频帧数是M，且我们在第一帧中，手动勾勒出舰船区域信息(标注的信息)，从第二帧开始，执行Fast-RCNN目标追踪方法。

2、每隔400-800帧，本发明以每隔500帧为例，人眼观测一下当前帧的网络输出结果(标注结果)。

3、对于当前帧来说，如果Fast-RCNN所输出的结果(在当前帧中，Fast-RCNN所认为的舰船区域位置，且该位置是采用一个方框将其包围起来)没有将实际舰船的95％以上的区域包围起来，则认为其标注结果不合格，继续执行以下的步骤对标注结果进行修正，否则，认为其标注结果是合格的。

4、此时，Fast-RCNN所输出的结果已经存在着一定的误差，所以我们需要对此进行修正，具体方法如下：

(1)记当前帧的编号为P_i，人工重新在当前帧中，用鼠标在舰船区域部分的中心位置点击一下，则完成了人工干预操作，然后，继续采用Fast-RCNN在今后的帧中，预测舰船的位置信息(标注结果)。

(2)将该帧之前的若干帧丢弃，该帧的范围为5-15，本发明以将该帧之前的10帧丢弃为例，即将编号为P_i-10到P_i-1的帧丢弃。这些帧中，其标注的信息也会存在误差，从而影响整体数据标定的准确率，此外，每次只丢弃10帧，对于整体的视频数据来说，影响较小。

(3)同样，每隔500帧，执行一次跟踪区域的修正。

每隔500帧执行一次跟踪区域的修正，其一，修正的频率较高，此时进行跟踪区域的修正，能够及时减少误差所带来的影响范围，否则如果每隔2000帧执行一次修正操作，则误差的影响范围将会很大；其二，相对于每一帧都进行人工标注，其是每隔500帧执行一次，该工作已经相对减少许多。

最后，获取标定数据集

最终，在经过人工干预的步骤之后，我们所获取到的Fast-RCNN网络输出的结果，便是相对合格，可以正常使用的标定数据集，从而在很大程度上，降低了人工负担，提高了工作效率。

在本发明中，其采用基于深度学习的视觉追踪的方法，实现在一个视频序列中，自动标定出舰船的区域信息，从而减少了的人工的工作量，提高了标定数据的效率。此外，我们只需要在一个视频序列中的某几帧或者是十几帧中，进行人工监督地勾勒出舰船区域部分，从而便可以保证标定数据集的合格性。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于目标跟踪算法的舰船样本收集方法，其特征在于，包括以下步骤:

手动勾勒出某视频载体上第一帧中的舰船区域信息；

将归一化大小后的图像帧输入到Fast-RCNN网络中；

通过Fast-RCNN目标追踪框架对第一帧之后的帧进行舰船区域的追踪监测，获得每一帧中的舰船的位置信息；

每相隔400-800帧，通过人眼观测当前帧的位置信息，并判断标注结果是否合格；

若不合格，通过人工修正舰船的标注结果，继续执行Fast-RCNN目标追踪算法，直到完成整个视频载体的舰船标定；

获取所有该视频载体中的舰船的标注结果，组成标定数据集。

2.根据权利要求1所述的方法，其特征在于，每相隔500帧，通过人眼观测当前帧的位置信息。

3.根据权利要求1所述的方法，其特征在于，所述的人眼观测是指：对于当前帧来说，若Fast-RCNN所输出的标注结果中：采用的一个特定尺寸的方框没有将舰船的95％以上的区域包围起来，则认为该标志结果位置信息不合格。

4.根据权利要求3所述的方法，其特征在于，所述人工修正舰船的标注结果包括步骤:

将当前不合格帧的编号记为P_i，人工重新在当前帧中，用鼠标在舰船区域部分的中心位置电机一下，完成人工干预操作，然后继续通过Fast-RCNN在当前帧之后的帧中，预测舰船的位置信息；

丢弃该P_i帧之前的5-15帧。根据权利要求4所述的方法，其特征在于，丢弃该P_i帧之前的10帧。

5.根据权利要求1所述的方法，其特征在于，在通过Fast-RCNN追踪监测之前,还需要对Fast-RCNN网络进行训练，其训练步骤为：归一化含有舰船目标的图片、标记出舰船区域在所属图片中的位置坐标信息；

Past-RCNN预测出一幅图片中舰船区域的位置坐标信息；

通过BP算法更新神经元的权重和偏值，使得神经网络达到收敛状态；

训练结束后，再基于训练好的Fast-RCNN获取标定的数据集。