CN106875425A

CN106875425A - 一种基于深度学习的多目标追踪系统及实现方法

Info

Publication number: CN106875425A
Application number: CN201710053918.6A
Authority: CN
Inventors: 何志群; 白洪亮; 董远
Original assignee: Beijing Faceall Co
Current assignee: Beijing Faceall Co
Priority date: 2017-01-22
Filing date: 2017-01-22
Publication date: 2017-06-20

Abstract

本发明涉及一种基于深度学习的多目标追踪系统及实现方法，方法包括：通过目标检测获得第一帧的目标位置，将多个待追踪目标加入到追踪队列中，输入下一帧图片并遍历所述追踪队列，得到该目标在下一帧中的位置，在得到上述目标在下一帧的位置之后，通过阈值判断该目标是否离开屏幕，若否，则每隔一固定帧调用一次目标检测，将目标检测的结果与追踪的结果计算IOU交并比，如果IOU<0.1，则认为新的目标加入了屏幕，将该目标加入追踪队列中；如果IOU>0.5，则利用目标检测的框替代追踪的框，进行位置校正；继续对目标进行追踪。本发明通过精心设计网络结构，改进训练方法，在高追踪精度的同时，显著提高了追踪的速度，减少了网络的冗余，减小了模型的大小。

Description

一种基于深度学习的多目标追踪系统及实现方法

技术领域

本发明涉及图像处理领域，特别涉及一种基于深度学习的多目标追踪系统及实现方法，实现对于多目标准确且快速追踪的问题。

背景技术

运动目标跟踪就是在一个连续视频序列中，在每一帧监控画面中找到感兴趣的运动目标(例如，车辆，行人，动物等)。跟踪可以大致分为以下几个步骤：

1)目标的有效描述；目标的跟踪过程跟目标检测一样，需要对其进行有效的描述，即，需要提取目标的特征，从而能够表达该目标；一般来说，我们可以通过图像的边缘、轮廓、形状、纹理、区域、直方图、矩特征、变换系数等来进行目标的特征描述；

2)相似性度量计算；常用的方法有：欧式距离、马氏距离、棋盘距离、加权距离、相似系数、相关系数等；

3)目标区域搜索匹配；如果对场景中出现的所有目标都进行特征提取、相似性计算，则系统运行所耗费的计算量是很大的。所以，目前通常采用一定的方式对运动目标可能出现的区域进行估计，从而减少冗余，加快目标跟踪的速度；常见的预测算法有：Kalman滤波、粒子滤波、均值漂移等等。

基于上述，运动目标跟踪的目标追踪算法一般包括基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪以及基于模型的跟踪。跟踪算法的精度和鲁棒性很大程度上取决于对运动目标的表达和相似性度量的定义，跟踪算法的实时性取决于匹配搜索策略和滤波预测算法。

基于主动轮廓的跟踪，是在图像域内定义的可变形曲线即Snake曲线，通过对其能量函数的最小化，动态轮廓逐步调整自身形状与目标轮廓相一致。Snake技术可以处理任意形状物体的任意形变，首先将分割得到的物体边界作为跟踪的初始模板然后确定表征物体真实边界的目标函数，并通过降低目标函数值，使初始轮廓逐渐向物体的真实边界移动。基于主动轮廓跟踪的优点是不但考虑来自图像的灰度信息，而且考虑整体轮廓的几何信息，增强了跟踪的可靠性。由于跟踪过程实际上是解的寻优过程，带来的计算量比较大，而且由于Snake模型的盲目性，对于快速运动的物体或者形变较大的情况，跟踪效果不够理想。

基于特征的跟踪，其不考虑运动目标的整体特征，只通过目标图像的一些显著特征来进行跟踪。假定运动目标可以由惟一的特征集合表达，搜索到该相应的特征集合就认为跟踪上了运动目标。主要包括特征提取和特征匹配两个方面：特征提取的目的是进行帧间目标特征的匹配，并以最优匹配来跟踪目标。常见的基于特征匹配的跟踪算法有基于二值化目标图像匹配的跟踪、基于边缘特征匹配或角点特征匹配的跟踪、基于目标灰度特征匹配的跟踪、基于目标颜色特征匹配的跟踪等。基于特征的跟踪算法对于图像模糊、噪声等比较敏感，图像特征的提取效果也依赖于各种提取算子及其参数的设置，此外，连续帧间的特征对应关系也较难确定，尤其是当每一帧图像的特征数目不一致、存在漏检、特征增加或减少等情况。

基于区域的跟踪，通过得到包含目标的模板，该模板可通过图像分割获得或预先人为确定，模板通常为略大于目标的矩形，也可为不规则形状；在序列图像中，运用相关算法跟踪目标。其缺点首先是费时，当搜索区域较大时情况尤其严重；其次，算法要求目标变形不大，且不能有太大遮挡，否则相关精度下降会造成目标的丢失。近年来，对基于区域的跟踪方法关注较多的是如何处理模板变化时的情况，这种变化是由运动目标姿态变化引起的，如果能正确预测目标的姿态变化，则可实现稳定跟踪。

基于模型的跟踪，是通过一定的先验知识对所跟踪目标建立模型，然后通过匹配跟踪目标进行模型的实时更新。对于刚体目标来说，其运动状态变换主要是平移、旋转等，可以利用该方法实现目标跟踪。但是实际应用中跟踪的不仅仅是刚体，还有一大部分是非刚体，目标确切的几何模型不容易得到。这种方法不易受观测视角的影响，具有较强的鲁棒性，模型匹配跟踪精度高，适合于机动目标的各种运动变化，抗干扰能力强，但由于计算分析复杂、运算速度慢，模型的更新较为复杂，实时性较差。准确建立运动模型是模型匹配能否成功的关键。

现如今的目标追踪算法网络存在冗余多，速度慢，模型大，难以实用,无法实时追踪等问题。而深度学习的概念源于人工神经网络的研究，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

发明内容

本发明要解决的技术问题是，提供通过物体检测获得一个基准帧的各目标物体的准确位置，并在目标初始位置的基础上能够对各个目标物体进行长时间的追踪的系他。

解决上述技术问题，本发明提供了一种基于深度学习的多目标追踪方法，包括如下步骤：

通过目标检测获得第一帧的目标位置，将多个待追踪目标加入到追踪队列中，

输入下一帧图片并遍历所述追踪队列，得到该目标在下一帧中的位置，

具体地，在预测下一帧的目标位置的时候，系统以及保存了上一帧的图片和图片中目标的位置，卷及神经网络通过对比上一帧和下一帧的差异，能预测出目标在下一帧的位置；

在得到上述目标在下一帧的位置之后，通过阈值判断该目标是否离开屏幕，

若否，则每隔一固定帧调用一次目标检测，将目标检测的结果与追踪的结果计算IOU交并比，

如果目标检测的一结果和追踪的所有目标的IOU<0.1，则认为新的目标加入了屏幕，将该目标加入追踪队列中；

如果IOU>0.5，则利用目标检测的框替代追踪的框，进行位置校正；

继续对目标进行追踪。

更进一步，方法还包括以下预训练过程：

将这两张图片通过尺度变换到同一个尺度，得到类似相邻视频帧的两种图片作为训练图片，对网络进行预训练。

更进一步，采用ILSVRC竞赛目标检测DET的图片作为上述训练图片，基于ImageNet目标检测DET这个任务的图像数据库，ImageNet有5个任务，每个任务对应不同的图像数据库。

更进一步，方法还包括以下训练过程：

首先将两张图片预处理之后通过参数相同的孪生网络提取图片特征；

其次，所述孪生网络通过稠密->稀疏->稠密的卷积神经网络提取图片特征；

然后，将两个特征相减作为融合的特征，然后再将该特征通过全连接层进行回归得到目标框的位置。

更进一步，在卷积神经网络的特征提取过程中采用CRELU联合修正线性单元。

更进一步，利用基于faster-rcnn框架的目标检测技术检测所述第一帧的目标位置。

更进一步，所述固定帧为10。

更进一步，判断目标是否离开屏幕阈值条件为：

h/w>threshold1、w/h>threshold2、|x1|/W<threshold3、|W-x2|/W<threshold3、|y1|/H<threshold4、|H-y1|/H<threshold4的阈值条件中的任一一种，

其中，threshold表示阈值，h和w分别为物体的高和宽，H和W分别为帧的高和宽，(x1,y1)为目标左上角的点坐标，(x2,y2)为目标右下角的点坐标。

更进一步，若多目标追踪为人脸追踪，则设threshold1＝threshold2＝2，threshold3＝threshold4＝0.02。

基于上述本发明还提供了一种基于深度学习的多目标追踪系统，包括：

训练单元，用以进行目标检测获得第一帧的目标位置，将多个待追踪目标加入到追踪队列中；

检测单元，用以对输入的下一帧图片并遍历所述追踪队列，得到该目标在下一帧中的位置；以及在目标未离开屏幕时，每隔一固定帧调用一次目标检测；

追踪单元，用以在得到上述目标在下一帧的位置之后，通过阈值判断该目标是否离开屏幕即离开屏幕指目标物体已经不在图片中了离开屏幕指目标物体已经不在图片中了；

阈值单元，用以将目标检测的结果与追踪的结果计算IOU交并比，如果目标检测的一结果和追踪的所有目标的IOU<0.1，则认为新的目标加入了屏幕，将该目标加入追踪队列中；如果IOU>0.5，则利用目标检测的框替代追踪的框，进行位置校正

本发明的有益效果：

在本发明中，通过精心设计网络结构，改进训练方法，在高追踪精度的同时，显著提高了追踪算法的速度，减少了网络的冗余，减小了模型的大小，并且将物体追踪算法加以实用。

此外，本发明还具备如下优点：1)速度快，在i5cpu上达到对单目标120fps的追踪速度，然而当前主流的视频帧率的25fps，故本发明的方法能够对视频中的目标物体进行实时追踪。2)模型小，通过模拟实验，模型大小为5.5M，相比现有主流的的深度学习追踪算法的模型小了50倍以上。3)准确率更高，本发明在物体数据集ALOV和人脸数据集300VW进行验证。4)实现多目标追踪，目前主流的追踪模型难以对多目标进行追踪，本发明中的追踪系统能够对多个目标实时进行追踪。

附图说明

图1是本发明中的方法流程示意图；

图2是本发明中的系统结构示意图；

图3是训练过程示意图；

图4是本发明一优选实施例中具体实现流程示意图；

图5(a)-图5(c)是本发明中的模拟追踪结果示意图。

具体实施方式

现在将参考一些示例实施例描述本公开的原理。可以理解，这些实施例仅出于说明并且帮助本领域的技术人员理解和实施例本公开的目的而描述，而非建议对本公开的范围的任何限制。在此描述的本公开的内容可以以下文描述的方式之外的各种方式实施。

如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。

可以理解，在本申请中定义如下的概念：

所述CRELU是指联合修正线性单元。

所述参数共享是指一种特征相似度学习的算法。

所述特征融合包括但不限于，将特征矩阵进行合并，从而将多个特征变成一个更有效的融合特征。

所述IOU是指交并比，即两个集合的交集除以两个集合的并集

所述线下训练包括但不限于利用大量数据离线进行训练，训练好之后对模型进行测试的时候不进行模型参数的更新。线下训练的概念和线上训练的概念是相对的。

所述孪生网络是指，两个结构完全相同的网络结构。

如图1所示是本发明中的方法流程示意图，一种基于深度学习的多目标追踪方法，包括如下步骤：

步骤S100通过目标检测获得第一帧的目标位置，将多个待追踪目标加入到追踪队列中，

步骤S101输入下一帧图片并遍历所述追踪队列，得到该目标在下一帧中的位置，

步骤S102在得到上述目标在下一帧的位置之后，通过阈值判断该目标是否离开屏幕，

步骤S103若否，则每隔一固定帧调用一次目标检测，将目标检测的结果与追踪的结果计算IOU交并比，

步骤S104如果目标检测的一结果和追踪的所有目标的IOU<0.1，则认为新的目标加入了屏幕，将该目标加入追踪队列中；

步骤S105如果IOU>0.5，则利用目标检测的框替代追踪的框，进行位置校正；

结束上述步骤后继续对目标进行追踪。

作为本实施例中的优选，本实施例的方法还包括以下预训练过程：将这两张图片通过尺度变换到同一个尺度，得到类似相邻视频帧的两种图片作为训练图片，对网络进行预训练。并采用ILSVRC竞赛目标检测DET的图片作为上述训练图片。

作为本实施例中的优选，方法还包括以下训练过程：

首先将两张图片预处理之后通过参数相同的孪生网络提取图片特征；首先将两张图片预处理之后通过参数相同的孪生网络提取图片特征，图中框的长度代表卷积的输出通道数。

其次，所述孪生网络通过稠密->稀疏->稠密的卷积神经网络提取图片特征；卷积提特征部分的网络是一个sparse-dense-sparse的结构，即先用通道数少的卷积提取特征，再接一个通道数多的卷积对特征进行稠密化，再接一个通道数少的卷积对稠密化的特征稀疏化，通过上述的特征，能够减少冗余。

作为本实施例中的优选，在卷积神经网络的特征提取过程中采用CRELU联合修正线性单元。

作为本实施例中的优选，利用基于faster-rcnn框架的目标检测技术检测所述第一帧的目标位置。

作为本实施例中的优选，所述固定帧为10。

作为本实施例中的优选，判断目标是否离开屏幕阈值条件为：

作为本实施例中的优选，若多目标追踪为人脸追踪，则设threshold1＝threshold2＝2，threshold3＝threshold4＝0.02。

本实施例中的方法，通过精心设计网络结构，改进训练方法，在高追踪精度的同时，显著提高了追踪算法的速度，减少了网络的冗余，减小了模型的大小，并且将物体追踪算法加以实用。

图2是本发明中的系统结构示意图，在本实施例中的一种基于深度学习的多目标追踪系统100，包括：

训练单元1，用以进行目标检测获得第一帧的目标位置，将多个待追踪目标加入到追踪队列中；

检测单元2，用以对输入的下一帧图片并遍历所述追踪队列，得到该目标在下一帧中的位置；以及在目标未离开屏幕时，每隔一固定帧调用一次目标检测；

追踪单元3，用以在得到上述目标在下一帧的位置之后，通过阈值判断该目标是否离开屏幕即离开屏幕指目标物体已经不在图片中了离开屏幕指目标物体已经不在图片中了；

阈值单元4，用以将目标检测的结果与追踪的结果计算IOU交并比，如果目标检测的一结果和追踪的所有目标的IOU<0.1，则认为新的目标加入了屏幕，将该目标加入追踪队列中；如果IOU>0.5，则利用目标检测的框替代追踪的框，进行位置校正。

根据上述可知，本实施例中在获得相邻两帧的基础上，通过卷积神经网络(CNN)提取图片特征，将相邻两帧的特征进行融合。同时通过特征稠密->稀疏->稠密的网络结构设计方式，以及CRELU在卷积神经网络的特征提取过程中采用CRELU联合修正线性单元。在保持高准确率的同时，减小了模型大小和容量，使得模型能够在嵌入式设备中使用。

具体地，在实用场景中，通过物体检测获得一个基准帧的各目标物体的准确位置，本实施例中的追踪系统在目标初始位置的基础上能够对各个目标物体进行长时间的追踪。

本发明的原理描述：

一、预训练

训练过程中，视频数据收集比较困难，一个随机初始化的网络收敛比较慢，所以找到一个好的预训练方法对于物体追踪的算法很重要。

可以推测，一个物体在相邻两帧之间的位置坐标满足一定的分布规律。

设(c'_x,c'_y)当前帧中目标中心点的坐标，(c_x,c_y)为上一帧中目标中心点的坐标，w和h分别为目标上一帧的矩形框的宽和高。w'和h'为当前帧的矩形框的宽和高。△x和△y为中心点在x方向和y方向的变化因子。

c'_x＝c_x+wΔx (1)

c'_y＝c_y+hΔy (2)

w′＝wγ_w (3)

h'＝hγ_h (4)

研究表明，△x、△y、w'和h'满足拉普拉斯分布：

利用这一规律，可以对一个静态图片，截取目标所在位置外围的一个区域，进行变形处理，包括放大缩小，仿射变换等得到一个变形之后的图片，将这两张图片通过尺度变换到同一个尺度。得到类似相邻视频帧的两种图片，作为训练图片。

用ILSVRC竞赛目标检测DET的图片作为训练图片，对网络进行预训练。

二、训练过程

如图3所示是训练过程示意图训练的过程具体如下流程图所示：

首先将两张图片预处理之后通过参数相同的孪生网络提取图片特征，图中框的长度代表卷积的输出通道数。可以看到，卷积提特征部分的网络是一个sparse-dense-sparse的结构，即先用通道数少的卷积提取特征，再接一个通道数多的卷积对特征进行稠密化，再接一个通道数少的卷积对稠密化的特征稀疏化，提出最重要的特征，减少冗余。卷积部分将特征提取出来之后将两个特征相减作为融合的特征，在将该特征通过全连接层进行回归得到目标的框的位置。

三、系统流程：如图4所示，

步骤S1目标检测获得第一帧的目标位置

步骤S2将追踪目标放入队列

步骤S3多目标追踪

步骤S4目标是否离开屏幕，若是则进入步骤S5，若是则进入步骤S6

步骤S5移出追踪队列

步骤S6每10帧调用一次目标检测

步骤S7 IOU<0.1，若是则进入步骤S10

步骤S8 IOU>0.5，若是则进入步骤S12

步骤S9用目标检测结果校正追踪的结果

步骤S10检测到新目标

步骤S11加入目标队列

步骤S12出现追踪或者检测异常

步骤S13继续追踪

首先，利用基于faster-rcnn框架的目标检测技术检测第一帧的目标位置，将多个待追踪目标加入到追踪队列中。输入下一帧图片，然后遍历追踪队列，对于每一个追踪目标调用追踪算法得到该目标在下一帧中的位置。得到该目标在下一帧的位置之后，通过阈值判断该目标是否离开屏幕。如果该目标离开了屏幕，则将该目标移出追踪目标队列。

每隔10帧，调用一次目标检测，将目标检测的结果跟追踪的结果计算IOU，如果目标检测的某个结果和追踪的所有目标的IOU<0.1，则认为新的目标加入了屏幕，将该目标加入追踪队列中。如果IOU>0.5，利用目标检测的框替代追踪的框，进行位置校正。

判断目标是否离开屏幕的条件是(满足任一条件即可)：

h/w>threshold1 (6)

w/h>threshold2 (7)

|x1|/W<threshold3 (8)

|W-x2|/W<threshold3 (9)

|y1|/H<threshold4 (10)

|H-y1|/H<threshold4 (11)

h和w分别为物体的高和宽，H和W分别为帧的高和宽，(x1,y1)为目标左上角的点坐标，(x2,y2)为目标右下角的点坐标，在不同物体的追踪系统汇总，threshold会取不同的值，在人脸追踪系统中，设为threshold1＝threshold2＝2，threshold3＝threshold4＝0.02。

图5(a)-图5(c)是本发明中的模拟追踪结果示意图，输入一段行人视频，首先按照25fps将视频截出帧序列。按照帧数对视频进行命名。先对第一帧的图片进行检测，如图5(a)-图5(c)逐一所示，可以看到第一帧检测到了四个人脸。以这四个人脸作为追踪目标，将这四个追踪目标加入到追踪队列中。输入下一帧，追踪算法对着四个目标进行实时追踪。每隔10帧调用一次人脸检测，检测是否有新目标，如果有新目标，将新目标加入到追踪队列中；如果没有新目标，根据人脸检测的框对追踪的框进行校正。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

总体而言，本公开的各种实施例可以以硬件或专用电路、软件、逻辑或其任意组合实施。一些方面可以以硬件实施，而其它一些方面可以以固件或软件实施，该固件或软件可以由控制器、微处理器或其它计算设备执行。虽然本公开的各种方面被示出和描述为框图、流程图或使用其它一些绘图表示，但是可以理解本文描述的框、设备、系统、技术或方法可以以非限制性的方式以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备或其一些组合实施。

此外，虽然操作以特定顺序描述，但是这不应被理解为要求这类操作以所示的顺序执行或是以顺序序列执行，或是要求所有所示的操作被执行以实现期望结果。在一些情形下，多任务或并行处理可以是有利的。类似地，虽然若干具体实现方式的细节在上面的讨论中被包含，但是这些不应被解释为对本公开的范围的任何限制，而是特征的描述仅是针对具体实施例。在分离的一些实施例中描述的某些特征也可以在单个实施例中组合地执行。相反对，在单个实施例中描述的各种特征也可以在多个实施例中分离地实施或是以任何合适的子组合的方式实施。

Claims

1.一种基于深度学习的多目标追踪方法，其特征在于包括如下步骤：

继续对目标进行追踪。

2.根据权利要求1所述的多目标追踪方法，其特征在于，还包括以下预训练过程：

3.根据权利要求2所述的多目标追踪方法，其特征在于，采用ILSVRC竞赛目标检测DET的图片作为上述训练图片。

4.根据权利要求2所述的多目标追踪方法，其特征在于，还包括以下训练过程：

5.根据权利要求1所述的多目标追踪方法，其特征在于，在卷积神经网络的特征提取过程中采用CRELU联合修正线性单元。

6.根据权利要求1所述的多目标追踪方法，其特征在于，利用基于faster-rcnn框架的目标检测技术检测所述第一帧的目标位置。

7.根据权利要求1所述的多目标追踪方法，其特征在于，所述固定帧为10。

8.根据权利要求1所述的多目标追踪方法，其特征在于，判断目标是否离开屏幕阈值条件为：

9.根据权利要求7所述的多目标追踪方法，其特征在于，若多目标追踪为人脸追踪，则设threshold1＝threshold2＝2，threshold3＝threshold4＝0.02。

10.一种基于深度学习的多目标追踪系统，其特征在于，包括：

阈值单元，用以将目标检测的结果与追踪的结果计算IOU交并比，如果目标检测的一结果和追踪的所有目标的IOU<0.1，则认为新的目标加入了屏幕，将该目标加入追踪队列中；如果IOU>0.5，则利用目标检测的框替代追踪的框，进行位置校正。