CN113034548B - 一种适用于嵌入式终端的多目标跟踪方法及其系统 - Google Patents

Abstract

本发明涉及计算机视觉领域，特别是一种适用于嵌入式终端的多目标跟踪方法及其系统。该方法包括如下步骤：S1：对视频进行分帧得到目标图像；S2：构建包括检测器和跟踪器多目标跟踪神经网络模型；检测器将骨干网络的特征提取网络替换为ShuffleNetV1；跟踪器采用Deep‑SORT网络作为基础网络，并使用ShuffleNetV1网络提取的特征作为部分输入；S3：对目标图像进行目标检测，获得目标检测框的集合；S4：对跟踪对象进行状态预测，获得目标跟踪框；S5：根据跟踪器和检测器的结果计算运动匹配度和特征匹配度，构建关联成本代价矩阵；S6：对关联代价进行级联匹配，确定跟踪结果，实现多目标跟踪过程。该方法解决了现有的多目标跟踪方法受到硬件设备限制，无法达到实时跟踪效果的问题。

Description

一种适用于嵌入式终端的多目标跟踪方法及其系统

技术领域

本发明涉及计算机视觉领域，特别是一种适用于嵌入式终端的多目标跟踪方法及其系统。

背景技术

在计算机视觉中，目标检测与目标跟踪属于交叉领域，目标检测是在图像和视频中扫描和搜寻目标，在一个场景中对目标进行定位和识别；而目标跟踪则是在给定了目标的初始状态后，对目标之后的位置和大小进行准确的预测，从而得到物体的运动状态。近些年，随着深度学习的不断发展，卷积神经网络被广泛用于目标检测和目标跟踪领域，并取得了很好的效果。

目标检测主要采用深度学习神经网络来完成，其中，YOLO系列算法和SSD算法是其中的代表；YOLOv4是YOLO系列算法的第四版本，经过了前三代的迭代，目前采用了最新的CSP和PANet的网络结构，拥有了更高的准确率，能达到接进于Two-Stage的精确度，且保证了一定的速度优势。多目标跟踪(Multiple Object Tracking,MOT)主要任务是在给定视频中同时对多个感兴趣的目标进行定位，并且维持他们的ID、记录他们的轨迹。随着深度学习的兴起，目标检测的准确性越来越高，基于深度学习的目标检测算法(Tracking ByDetecting)在实际工程落地也越来越广泛。多假设跟踪和联合概率数据关联过滤器引入单摄像机多目标跟踪，这些方法进行逐帧的数据关联，但是其复杂度较大，不易实现。随后，简单的在线和实时跟踪SORT算法被提出，它使用匈牙利算法衡量预测轨迹与跟踪目标之间的联系，并用关联度作为衡量边界框重叠的标准。SORT算法相对之前的算法在性能方面获得了较大提升，但是SORT算法的依然存在身份转换数量较多的缺点。

目前使用的各类基于目标检测的目标跟踪算法实现过程的计算量极大，模型的运行成本高昂。在基于检测的多目标跟踪方法中，需要对每帧画面进行检测，才能得到目标的运动轨迹。目标的位置是通过检测器得到的，对目标检测器的精确度要求极高，不能出现误检、漏检等情况，同时要求检测速度要快，能够在实时的视频流中得到精准的结果，并用于之后的追踪。

其中，以目前的YOLOv4为例，其采用CSPDarkNet53作为骨干网络，该网络包含53层卷积层，27.6M参数量，模型文件大小已经达到246M，复杂度很高。而基于检测的多目标跟踪方法Deep-SORT中，目标的位置是通过检测器得到的，而用于跟踪器的特征则是需要另外的卷积神经网络来提取，这也增加了计算的成本，降低了检测效率。基于上述原因，现有的各类多目标跟踪方法的模型通常非常庞大，虽然在具有高性能GPU的系统上可以达到较好的工程效果，但是模型的实时性依然存在不足，无法较好地完成对象的实时跟踪。此外，这些追踪方法通常也很难在基于ARM等架构的低性能的嵌入式终端设备上运行和实现，这极大地限制了多目标跟踪算法的应用。

发明内容

为克服现有技术中的问题，本发明提供一种改进的多目标跟踪方法，解决了现有的多目标跟踪方法受到硬件设备限制，无法达到实时跟踪效果的问题。

本发明的提供的技术方案如下：

一种适用于嵌入式终端的多目标跟踪方法，该多目标跟踪方法包括如下步骤：

S1：对监控跟踪对象的视频进行分帧得到若干连续帧图像，将获取的连续帧图像作为用于进行处理的目标图像；

S2：构建改进的多目标跟踪神经网络模型，多目标跟踪神经网络模型包括检测器和跟踪器；检测器采用YOLOv4网络作为基础网络，并将YOLOv4网络结构中的CSPDarkNet53特征提取网络替换为轻量化的骨干网络ShuffleNetV1；跟踪器采用Deep-SORT网络作为基础网络，并将跟踪器中由卷积神经网络完成的特征提取过程替换为ShuffleNetV1网络提取的特征；

S3：使用改进后的检测器对目标图像进行目标检测，获得目标检测框的集合；

S4：在跟踪器中使用卡尔曼滤波器基于获取到的目标检测框对跟踪对象进行状态预测，获得目标跟踪框；

S5：根据跟踪器预测的轨迹状态和检测器中ShuffleNetV1网络提取到的特征，计算所有目标检测框和目标跟踪框之间的运动匹配度和特征匹配度，构建目标检测框和目标跟踪框之间的关联成本代价矩阵；

S6：对关联成本代价矩阵中的关联代价进行级联匹配，确定跟踪结果，实现多目标跟踪过程。

进一步地，ShuffleNetV1网络的结构包括依次连接的Stage1-Stage6阶段，其中，Stage1阶段包括依次连接的3×3卷积层和最大池化层；Stage2阶段包括依次连接的一层ShuffleNet unit1和三层ShuffleNet unit2；Stage3阶段包括依次连接的一层ShuffleNetunit1和七层ShuffleNet unit2；Stage4阶段包括依次连接的一层ShuffleNet unit1和三层ShuffleNet unit2；Stage5阶段包括全局池化层；Stage6阶段包括全连接层。

改进后的检测器中，使用ShuffleNetV1中的Stage2-3阶段的输出，替代原始骨干网络中CSPDarkNet53中的tage3-5阶段的输出；同时，将该输出结果做为YOLOv4中多尺度颈部网络SPP+PAN网络结构的输入，并保留做为预测结果部分的YOLO检测头部分。

进一步地，ShuffleNetV1网络中，ShuffleNet unit1是上一层的输入经由1×1逐点群卷积层、通道洗牌层、深度可分离卷积层、1×1逐点群卷积层处理的输出，与上一层输入经过一次平均池化层后的输出进行Concat操作完成的；ShuffleNet unit2是上一层的输入经由1×1逐点群卷积层、通道洗牌层、深度可分离卷积层、1×1逐点群卷积层处理的输出，与上一层的输入进行Add操作完成的。

进一步地，步骤S3中，目标检测框的获取过程包括如下步骤：

S31：将提取到的目标图像经过ShuffleNet网络处理，获得检测目标的三种不同分辨率的特征图；

S32：将获取的三种不同分辨率的特征图输入端YOLOv4网络中多尺度网络结构的特征金字塔模块中；Stage3阶段的特征图经过空间金字塔池化SPP网络输出，再将输出的结果与Stage1-2一起进入到路径汇聚PANet网络中，输出三个阶段中各层输出经过多尺度融合后的输出结果；

S33：针对多尺度融合后输出的不同尺度的特征，将低层次特征图的候选框设置为小尺寸候选框；将高层次特征图的候选框设置为大尺寸候选框；

S34：在YOLOv4网络的检测头部分，基于上步骤根据分辨率差异设置的候选框的尺寸；在不同尺度的特征图上进行目标位置回归和分类，从而得到目标检测框的集合。

进一步地，步骤S4中，获取目标跟踪框的过程包括如下步骤：

S41：使用改进后的YOLOv4网络获取到第一帧目标图像对应的目标检测框集合；

S42：为获取的目标检测框集合中的每个目标检测框分配一个卡尔曼滤波器；

S43：根据目标检测框中的目标状态信息，通过对应的卡尔曼滤波器依次对后一时刻帧的目标状态进行先验估计，进而获得当前时刻帧下目标跟踪框；当前时刻帧下目标跟踪框的获取过程包括状态估计和轨迹处理两个部分，其处理步骤如下：

S431：定义一个8维空间(u,v,r,h,x',y',r',h')，以所述8维空间表示对应目标所处的轨迹状态；

其中，u,v,r,h分别表示目标矩形框的中心点位置，且u,v表示目标中心点坐标，r是长宽比，h是高；x',y',r',h'四个参数分别代表目标对应的速度，即表示运动目标分别在u,v,r,h四个参数下的运动速度；

S432：使用卡尔曼滤波器对相应目标预测更新轨迹，完成所述状态估计过程；

其中，所述卡尔曼滤波器采用匀速模型和线性观测模型对目标进行轨迹更新，卡尔曼滤波器的观测变量为参数u、v、r和h；

S433：定义一个阈值a；使用阈值a记录轨迹从上一次成功匹配到当前时刻的时长；

S434：判断阈值a的时长与最大运行阈值Amax的关系：

(1)当a≤Amax，则认为该轨迹能够进行匹配，继续这段轨迹；

(2)当a＞Amax，则认为长时间匹配不上的轨迹已经结束，终止这段轨迹；

S435：将检测到的目标与轨迹进行首次试探性的匹配，标记在匹配过程中产生的冗余的新轨迹；

S436：观察对应目标在接下来连续的几帧内是否能够连续匹配成功，并作出判断：

(1)当能够匹配成功，则认为新轨迹产生，将其标注为confirmed；

(2)当不能连续匹配成功，则认为未产生新轨迹，将其标注为deleted；

完成所述轨迹处理部分。

进一步地，步骤S5中目标检测框和目标跟踪框之间的关联成本代价矩阵的构建过程包括如下步骤：

S51：设计运动匹配度和特征匹配度两种度量方式，对当前有效轨迹和当前检测到的目标之间的轨迹进行匹配；

S52：考虑到跟踪的目标ID的频繁交换现象，将运动匹配度定义为目标检测框和目标跟踪框之间的马氏距离，运动匹配度d⁽¹⁾(i,j)计算公式如下：

上式中，d⁽¹⁾(i,j)表示第j个检测框和第i条轨迹之间的运动匹配度；y_i表示在当前时刻的预测观测量；d_j表示检测到的目标当前轨迹状态；_i表示轨迹；上标T为转置操作符；

S53：使用改进后YOLOv4网络中的骨干网络ShuffleNetV1提取的特征作为目标的特征向量，将特征匹配度定义为特征向量间的最小余弦距离，特征匹配度d⁽²⁾(i,j)的计算公式如下：

上式中，d⁽²⁾(i,j)表示第j个检测框和第i条轨迹之间的特征匹配度；D_j为对当前视频帧进行目标检测时，检测出的每一个目标检测框d_j对应的特征向量；Y_j为第i个卡尔曼滤波器上一次跟踪成功的目标跟踪框y_j的特征向量；

S54：将两种度量方式结合，采用运动匹配度和表观相似度的线性叠加的总的关联代价作为最终关联度量相似度；关联代价d_i,j的计算公式如下：

d_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

上式中，λ表示用于调整两种相似度的权重的超参数；d⁽¹⁾(i,j)表示运动匹配度；d⁽²⁾(i,j)表示特征匹配度。

进一步地，步骤S6中，关联代价的级联匹配过程包括如下步骤：

S61：根据跟踪器的设计，设置相似度阈值的确定值；

S62：比较相似度阈值与关联成本代价矩阵中的关联代价的值，做出如下判断：

(1)当相似度阈值大于关联代价时，则将当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标作为一组跟踪结果；

(2)当相似度阈值小于等于关联代价时，则将当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标作为不同组跟踪结果。

进一步地，多目标跟踪的全过程中，针对每一帧目标图像进行跟踪时，均会重新计算卡尔曼滤波器的增益，并将其更新至跟踪到的状态信息和协方差矩阵中。

本发明还包括一种适用于嵌入式终端的多目标跟踪系统，该系统采用如前述的适用于嵌入式终端的多目标跟踪方法，基于视频分帧后得到的连续的目标图像，对目标对象进行识别检测和连续跟踪；并对检测和跟踪的目标对象进行匹配和关联；该多目标跟踪系统包括：视频预处理模块、多目标跟踪神经网络模块、关联成本代价矩阵构建模块，以及级联匹配模块。

视频预处理模块用于对用于监控跟踪对象的视频进行分帧处理，将分帧处理后得到的连续帧图像作为进行多目标跟踪的目标图像，构成样本数据集。

多目标跟踪神经网络模块包括检测器子模块和跟踪器子模块；所述检测器子模块采用采用YOLOv4网络作为基础网络，并将YOLOv4网络结构中的CSPDarkNet53特征提取网络替换为轻量化的骨干网络ShuffleNetV1；所述跟踪器采用Deep-SORT网络作为基础网络，并将跟踪器中由卷积神经网络完成的特征提取过程替换为ShuffleNetV1网络提取的特征；所述检测器子模块用于对样本数据中连续的目标图像进行目标检测，获得目标检测框的集合；所述跟踪器用于采用卡尔曼滤波器基于获取到的目标检测框对跟踪对象进行状态预测，获得目标跟踪框。

关联成本代价矩阵构建模块用于构建目标检测框和目标跟踪框之间的关联成本代价矩阵；关联成本代价矩阵的构建过程中，首先根据跟踪器子模块预测的轨迹状态和检测器子模块中ShuffleNetV1网络提取到的特征进行计算获得目标检测框和目标跟踪框之间的运动匹配度和特征匹配度；然后根据运动匹配度和特征匹配度构建目标检测框和目标跟踪框之间的关联成本代价矩阵。

级联匹配模块用于根据匈牙利算法对关联成本代价矩阵中的关联代价进行级联匹配，得到当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标的关系，进而确定跟踪结果，实现多目标跟踪。

其中，本发明在提供的多目标跟踪系统既可以在采用GPU图形处理技术的通用计算机系统及其终端上完成开发、部署和运行；也可以在基于ARM架构的专用计算机系统及其嵌入式终端上完成开发、部署和运行。

本发明提供的一种适用于嵌入式终端的多目标跟踪方法及其系统，具有如下有益效果：

1、本发明改进了YOLOv4目标检测算法的骨干网络，将YOLO网络结构特征提取部分替换为轻量化网络ShuffleNetV1；有效地的降低了模型的参数计算的成本，提高算法的检测速度。由于改进后的方法的模型参数和处理过程中的计算规模明显降低，因此该方法可以在性能更低的终端设备上实现，系统该方法对系统的硬件性能更低，从而降低了设备的部署成本和运行成本，提高了工程实现的价值。

2、本发明还通过使用改进的YOLOv4目标检测网络骨干网络ShuffleNetV1提取到的特征，替代Deep-SORT中卷积神经网络进行特征提取；这进一步降低了系统的复杂度和处理计算量，减少本发明方法的计算成本，提升了整体算法的速度。

3、本发明提供的方法对于ARM架构的嵌入式系统也具有很好的适应性，能够这类非通用计算终端中运行，同时还能保持较高的实时性，这使得多目标跟踪算法在大量现有设备或系统的中应用带来了可能，能够在现有系统中完成升级和部署。具有更高的实用性和市场推广价值。

附图说明

图1是本实施例1中提供的一种适用于嵌入式终端的多目标跟踪方法的流程图；

图2是本实施例1中用于改进YOLOv4骨干网络的ShuffleNetV1网络模型的结构图表；

图3是本实施例1的ShuffleNetV1网络中ShuffleNet unit模块的结构示意图(图中左半部分为ShuffleNet unit2单元的结构示意图，图中左半部分为ShuffleNet unit1单元的结构示意图)；

图4是本实施例1中跟踪目标的运动轨迹预测图；

图5是本实施例2中提供的一种适用于嵌入式终端的多目标跟踪系统的模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本实施例提供一种适用于嵌入式终端的多目标跟踪方法，该多目标跟踪方法包括如下步骤：

S1：对监控跟踪对象的视频进行分帧得到若干连续帧图像，将获取的连续帧图像作为用于进行处理的目标图像；

S2：构建改进的多目标跟踪神经网络模型，多目标跟踪神经网络模型包括检测器和跟踪器；检测器采用YOLOv4网络作为基础网络，并将YOLOv4网络结构中的CSPDarkNet53特征提取网络替换为轻量化的骨干网络ShuffleNetV1；跟踪器采用Deep-SORT网络作为基础网络，并将跟踪器中由卷积神经网络完成的特征提取过程替换为ShuffleNetV1网络提取的特征。

传统的YOLOv4算法中的CSPDarkNet53骨干网络主要是作为一个图像分类网络而存在的，用于提取目标物体的特征，例如边缘信息、轮廓信息等。但是该骨干网络的规模太大，针对本实施例的技术问题性能和模块显得过于冗余，对检测器的性能提升作用不大；因此为降低模型的参数计算的成本，提高算法的检测速度，本实施例对YOLOv4的骨干网络进行改进。

其中如图2所示，替换后的ShuffleNetV1网络的结构具体包括依次连接的Stage1-Stage6阶段，其中，Stage1阶段包括依次连接的3×3卷积层和最大池化层；Stage2阶段包括依次连接的一层ShuffleNet unit1和三层ShuffleNet unit2；Stage3阶段包括依次连接的一层ShuffleNet unit1和七层ShuffleNet unit2；Stage4阶段包括依次连接的一层ShuffleNet unit1和三层ShuffleNet unit2；Stage5阶段包括全局池化层；Stage6阶段包括全连接层。

ShuffleNet网络是在ResNet的基础上，采用通道洗牌、逐点群卷积和深度可分离卷积方法来修改原来的ResNet单元。其中，作为算法核心的ShuffleNet unit和逐点群卷积解决特征局限问题；深度可分离卷积方法则用来降低参数量，解决了YOLOv4模型在很难在ARM等嵌入式终端设备上运行，导致算法也无法在嵌入式终端设备上实现的问题。

改进后的检测器中，使用ShuffleNetV1中的Stage2-3阶段的输出，替代原始骨干网络中CSPDarkNet53中的tage3-5阶段的输出；同时，将该输出结果做为YOLOv4中多尺度颈部网络SPP+PAN网络结构的输入，并保留做为预测结果部分的YOLO检测头部分。

如图3所示，ShuffleNetV1网络中，ShuffleNet unit1是上一层的输入经由1×1逐点群卷积层、通道洗牌层、深度可分离卷积层、1×1逐点群卷积层处理的输出，与上一层输入经过一次平均池化层后的输出进行Concat操作完成的；ShuffleNet unit2是上一层的输入经由1×1逐点群卷积层、通道洗牌层、深度可分离卷积层、1×1逐点群卷积层处理的输出，与上一层的输入进行Add操作完成的。

S3：使用改进后的检测器对目标图像进行目标检测，获得目标检测框的集合；

其中，目标检测框的获取过程包括如下步骤：

S31：将提取到的目标图像经过ShuffleNet网络处理，获得检测目标的三种不同分辨率的特征图；

S32：将获取的三种不同分辨率的特征图输入端YOLOv4网络中多尺度网络结构的特征金字塔模块中；Stage3阶段的特征图经过空间金字塔池化SPP网络输出，再将输出的结果与Stage1-2一起进入到路径汇聚PANet网络中，输出三个阶段中各层输出经过多尺度融合后的输出结果；

S33：针对多尺度融合后输出的不同尺度的特征，将低层次特征图的候选框设置为小尺寸候选框；将高层次特征图的候选框设置为大尺寸候选框；

S34：在YOLOv4网络的检测头部分，基于上步骤根据分辨率差异设置的候选框的尺寸；在不同尺度的特征图上进行目标位置回归和分类，从而得到目标检测框的集合。

S4：在跟踪器中使用卡尔曼滤波器基于获取到的目标检测框对跟踪对象进行状态预测，获得目标跟踪框；

其中，获取目标跟踪框的过程包括如下步骤：

S41：使用改进后的YOLOv4网络获取到第一帧目标图像对应的目标检测框集合；

S42：为获取的目标检测框集合中的每个目标检测框分配一个卡尔曼滤波器；

S43：根据目标检测框中的目标状态信息，通过对应的卡尔曼滤波器依次对后一时刻帧的目标状态进行先验估计，进而获得当前时刻帧下目标跟踪框；当前时刻帧下目标跟踪框的获取过程包括状态估计和轨迹处理两个部分，其处理步骤如下：

S431：定义一个8维空间(u,v,r,h,x',y',r',h')，以所述8维空间表示对应目标所处的轨迹状态；

其中，u,v,r,h分别表示目标矩形框的中心点位置，且u,v表示目标中心点坐标，r是长宽比，h是高；x',y',r',h'四个参数分别代表目标对应的速度，即表示运动目标分别在u,v,r,h四个参数下的运动速度；

S432：使用卡尔曼滤波器对相应目标预测更新轨迹，完成所述状态估计过程；

其中，所述卡尔曼滤波器采用匀速模型和线性观测模型对目标进行轨迹更新，卡尔曼滤波器的观测变量为参数u、v、r和h；

S433：定义一个阈值a；使用阈值a记录轨迹从上一次成功匹配到当前时刻的时长；

S434：判断阈值a的时长与最大运行阈值Amax的关系：

(1)当a≤Amax，则认为该轨迹能够进行匹配，继续这段轨迹；

(2)当a＞Amax，则认为长时间匹配不上的轨迹已经结束，终止这段轨迹；

S435：将检测到的目标与轨迹进行首次试探性的匹配，标记在匹配过程中产生的冗余的新轨迹，将其标注为tentative；

S436：观察对应目标在接下来连续的几帧内是否能够连续匹配成功，并作出判断：

(1)当能够匹配成功，则认为新轨迹产生，将其标注为confirmed；

(2)当不能连续匹配成功，则认为未产生新轨迹，将其标注为deleted；

完成所述轨迹处理部分。

S5：根据跟踪器预测的轨迹状态和检测器中ShuffleNetV1网络提取到的特征，计算所有目标检测框和目标跟踪框之间的运动匹配度和特征匹配度，构建目标检测框和目标跟踪框之间的关联成本代价矩阵；

其中，目标检测框和目标跟踪框之间的关联成本代价矩阵的构建过程包括如下步骤：

S51：设计运动匹配度和特征匹配度两种度量方式，对当前有效轨迹和当前检测到的目标之间的轨迹进行匹配；

S52：考虑到跟踪的目标ID的频繁交换现象，将运动匹配度定义为目标检测框和目标跟踪框之间的马氏距离，运动匹配度d⁽¹⁾(i，j)计算公式如下：

上式中，d⁽¹⁾(i，j)表示第j个检测框和第i条轨迹之间的运动匹配度；y_i表示在当前时刻的预测观测量；d_j表示检测到的目标当前轨迹状态；_i表示轨迹；上标T为转置操作符；

S53：使用改进后YOLOv4网络中的骨干网络ShuffleNetV1提取的特征作为目标的特征向量，在本实施例中，追踪器无需单独使用另外的卷积神经网络来提取取目标特征。将特征匹配度定义为特征向量间的最小余弦距离，特征匹配度d⁽²⁾(i，j)的计算公式如下：

上式中，d⁽²⁾(i，j)表示第j个检测框和第i条轨迹之间的特征匹配度；D_j为对当前视频帧进行目标检测时，检测出的每一个目标检测框d_j对应的特征向量；Y_j为第i个卡尔曼滤波器上一次跟踪成功的目标跟踪框y_j的特征向量；

S54：将两种度量方式结合，采用运动匹配度和表观相似度的线性叠加的总的关联代价作为最终关联度量相似度；关联代价d_i，j的计算公式如下：

d_i，j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i，j)

上式中，λ表示用于调整两种相似度的权重的超参数；d⁽¹⁾(i,j)表示运动匹配度；d⁽²⁾(i,j)表示特征匹配度。

S6：对关联成本代价矩阵中的关联代价进行级联匹配，确定跟踪结果，实现多目标跟踪过程。其中，关联代价的级联匹配过程包括如下步骤：

S61：根据跟踪器的设计，设置相似度阈值的确定值；

S62：比较相似度阈值与关联成本代价矩阵中的关联代价的值，做出如下判断：

(1)当相似度阈值大于关联代价时，则将当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标作为一组跟踪结果；

(2)当相似度阈值小于等于关联代价时，则将当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标作为不同组跟踪结果。

本实施例中，多目标跟踪的全过程中，针对每一帧目标图像进行跟踪时，均会重新计算卡尔曼滤波器的增益，并将其更新至跟踪到的状态信息和协方差矩阵中。

图4为本实施例中跟踪目标的运动轨迹预测图。

实施例2

如图5所示，本实施还提供一种适用于嵌入式终端的多目标跟踪系统，该系统采用如前述的适用于嵌入式终端的多目标跟踪方法，基于视频分帧后得到的连续的目标图像，对目标对象进行识别检测和连续跟踪；并对检测和跟踪的目标对象进行匹配和关联；该多目标跟踪系统包括：视频预处理模块、多目标跟踪神经网络模块、关联成本代价矩阵构建模块，以及级联匹配模块。

视频预处理模块用于对用于监控跟踪对象的视频进行分帧处理，将分帧处理后得到的连续帧图像作为进行多目标跟踪的目标图像，构成样本数据集。

多目标跟踪神经网络模块包括检测器子模块和跟踪器子模块；所述检测器子模块采用采用YOLOv4网络作为基础网络，并将YOLOv4网络结构中的CSPDarkNet53特征提取网络替换为轻量化的骨干网络ShuffleNetV1；所述跟踪器采用Deep-SORT网络作为基础网络，并将跟踪器中由卷积神经网络完成的特征提取过程替换为ShuffleNetV1网络提取的特征；所述检测器子模块用于对样本数据中连续的目标图像进行目标检测，获得目标检测框的集合；所述跟踪器用于采用卡尔曼滤波器基于获取到的目标检测框对跟踪对象进行状态预测，获得目标跟踪框。

关联成本代价矩阵构建模块用于构建目标检测框和目标跟踪框之间的关联成本代价矩阵；关联成本代价矩阵的构建过程中，首先根据跟踪器子模块预测的轨迹状态和检测器子模块中ShuffleNetV1网络提取到的特征进行计算获得目标检测框和目标跟踪框之间的运动匹配度和特征匹配度；然后根据运动匹配度和特征匹配度构建目标检测框和目标跟踪框之间的关联成本代价矩阵。

级联匹配模块用于根据匈牙利算法对关联成本代价矩阵中的关联代价进行级联匹配，得到当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标的关系，进而确定跟踪结果，实现多目标跟踪。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种适用于嵌入式终端的多目标跟踪方法，其特征在于，所述多目标跟踪方法包括如下步骤：

S1：对监控跟踪对象的视频进行分帧得到若干连续帧图像，将获取的连续帧图像作为用于进行处理的目标图像；

S2：构建改进的多目标跟踪神经网络模型，所述多目标跟踪神经网络模型包括检测器和跟踪器；所述检测器采用YOLOv4网络作为基础网络，并将YOLOv4网络结构中的CSPDarkNet53特征提取网络替换为轻量化的骨干网络ShuffleNetV1；所述跟踪器采用Deep-SORT网络作为基础网络，并将跟踪器中由卷积神经网络完成的特征提取过程替换为ShuffleNetV1网络提取的特征；

所述ShuffleNetV1网络的结构包括依次连接的Stage1-Stage6阶段，所述Stage1阶段包括依次连接的3×3卷积层和最大池化层；所述Stage2阶段包括依次连接的一层ShuffleNetunit1和三层ShuffleNet unit2；所述Stage3阶段包括依次连接的一层ShuffleNet unit1和七层ShuffleNet unit2；所述Stage4阶段包括依次连接的一层ShuffleNet unit1和三层ShuffleNetunit2；所述Stage5阶段包括全局池化层；所述Stage6阶段包括全连接层；

所述改进后的检测器中，使用ShuffleNetV1中的Stage2-3阶段的输出，替代原始骨干网络中CSPDarkNet53中的tage3-5阶段的输出；同时，将该输出结果做为YOLOv4中多尺度颈部网络SPP+PAN网络结构的输入，并保留做为预测结果部分的YOLO检测头部分；

所述ShuffleNetV1网络中，ShuffleNet unit1是上一层的输入经由1×1逐点群卷积层、通道洗牌层、深度可分离卷积层、1×1逐点群卷积层处理的输出，与上一层输入经过一次平均池化层后的输出进行Concat操作完成的；ShuffleNet unit2是上一层的输入经由1×1逐点群卷积层、通道洗牌层、深度可分离卷积层、1×1逐点群卷积层处理的输出，与上一层的输入进行Add操作完成的；

S3：使用改进后的检测器对目标图像进行目标检测，获得目标检测框的集合；目标检测框的获取过程包括如下步骤：

S31：将提取到的目标图像经过ShuffleNet网络处理，获得检测目标的三种不同分辨率的特征图；

S32：将获取的三种不同分辨率的特征图输入端YOLOv4网络中多尺度网络结构的特征金字塔模块中；所述Stage3阶段的特征图经过空间金字塔池化SPP网络输出，再将输出的结果与Stage1-2一起进入到路径汇聚PANet网络中，输出三个阶段中各层输出经过多尺度融合后的输出结果；

S33：针对多尺度融合后输出的不同尺度的特征，将低层次特征图的候选框设置为小尺寸候选框；将高层次特征图的候选框设置为大尺寸候选框；

S34：在YOLOv4网络的检测头部分，基于上步骤根据分辨率差异设置的候选框的尺寸；在不同尺度的特征图上进行目标位置回归和分类，从而得到目标检测框的集合；

S4：在跟踪器中使用卡尔曼滤波器基于获取到的目标检测框对跟踪对象进行状态预测，获得目标跟踪框；过程如下：

S41：使用改进后的YOLOv4网络获取到第一帧目标图像对应的目标检测框集合；

S42：为获取的目标检测框集合中的每个目标检测框分配一个卡尔曼滤波器；

S43：根据目标检测框中的目标状态信息，通过对应的卡尔曼滤波器依次对后一时刻帧的目标状态进行先验估计，进而获得当前时刻帧下目标跟踪框；所述当前时刻帧下目标跟踪框的获取过程包括状态估计和轨迹处理两个部分，其处理步骤如下：

S431：定义一个8维空间(u,v,r,h,x',y',r',h')，以所述8维空间表示对应目标所处的轨迹状态；

其中，u,v,r,h分别表示目标矩形框的中心点位置，且u,v表示目标中心点坐标，r是长宽比，h是高；x',y',r',h'四个参数分别代表目标对应的速度，即表示运动目标分别在

u,v,r,h四个参数下的运动速度；

S432：使用卡尔曼滤波器对相应目标预测更新轨迹，完成所述状态估计过程；

其中，所述卡尔曼滤波器采用匀速模型和线性观测模型对目标进行轨迹更新，卡尔曼滤波器的观测变量为参数u、v、r和h；

S433：定义一个阈值a；使用阈值a记录轨迹从上一次成功匹配到当前时刻的时长；

S434：判断阈值a的时长与最大运行阈值Amax的关系：

(1)当a≤Amax，则认为该轨迹能够进行匹配，继续这段轨迹；

(2)当a＞Amax，则认为长时间匹配不上的轨迹已经结束，终止这段轨迹；

S435：将检测到的目标与轨迹进行首次试探性的匹配，标记在匹配过程中产生的冗余的新轨迹；

S436：观察对应目标在接下来连续的几帧内是否能够连续匹配成功，并作出判断：

(1)当能够匹配成功，则认为新轨迹产生，将其标注为confirmed；

(2)当不能连续匹配成功，则认为未产生新轨迹，将其标注为deleted；

完成所述轨迹处理部分；

S5：根据跟踪器预测的轨迹状态和检测器中ShuffleNetV1网络提取到的特征，计算所有目标检测框和目标跟踪框之间的运动匹配度和特征匹配度，构建目标检测框和目标跟踪框之间的关联成本代价矩阵；

S6：对关联成本代价矩阵中的关联代价进行级联匹配，确定跟踪结果，实现多目标跟踪过程。

2.如权利要求1所述的适用于嵌入式终端的多目标跟踪方法，其特征在于：步骤S5中目标检测框和目标跟踪框之间的关联成本代价矩阵的构建过程包括如下步骤：

S51：设计运动匹配度和特征匹配度两种度量方式，对当前有效轨迹和当前检测到的目标之间的轨迹进行匹配；

S52：考虑到跟踪的目标ID的频繁交换现象，将运动匹配度定义为目标检测框和目标跟踪框之间的马氏距离，所述运动匹配度d⁽¹⁾(i,j)计算公式如下：

上式中，d⁽¹⁾(i,j)表示第j个检测框和第i条轨迹之间的运动匹配度；y_i表示在当前时刻的预测观测量；d_j表示检测到的目标当前轨迹状态；S_i表示轨迹；上标T为转置操作符；

S53：使用改进后YOLOv4网络中的骨干网络ShuffleNetV1提取的特征作为目标的特征向量，将特征匹配度定义为特征向量间的最小余弦距离，所述特征匹配度d⁽²⁾(i,j)的计算公式如下：

上式中，d⁽²⁾(i,j)表示第j个检测框和第i条轨迹之间的特征匹配度；D_j为对当前视频帧进行目标检测时，检测出的每一个目标检测框d_j对应的特征向量；Y_j为第i个卡尔曼滤波器上一次跟踪成功的目标跟踪框y_j的特征向量；

S54：将两种度量方式结合，采用运动匹配度和表观相似度的线性叠加的总的关联代价作为最终关联度量相似度；所述关联代价d_i,j的计算公式如下：

d_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

上式中，λ表示用于调整两种相似度的权重的超参数；d⁽¹⁾(i,j)表示运动匹配度；d⁽²⁾(i,j)表示特征匹配度。

3.如权利要求2所述的适用于嵌入式终端的多目标跟踪方法，其特征在于：步骤S6中，关联代价的级联匹配过程包括如下步骤：

S61：根据跟踪器的设计，设置相似度阈值的确定值；

S62：比较相似度阈值与关联成本代价矩阵中的关联代价的值，做出如下判断：

(1)当相似度阈值大于关联代价时，则将当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标作为一组跟踪结果；

(2)当相似度阈值小于等于关联代价时，则将当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标作为不同组跟踪结果。

4.如权利要求1所述的适用于嵌入式终端的多目标跟踪方法，其特征在于：所述多目标跟踪的全过程中，针对每一帧目标图像进行跟踪时，均会重新计算卡尔曼滤波器的增益，并将其更新至跟踪到的状态信息和协方差矩阵中。

5.一种适用于嵌入式终端的多目标跟踪系统，其特征在于，其采用如权利要求1-4任意一项所述的适用于嵌入式终端的多目标跟踪方法，基于视频分帧后得到的连续的目标图像，对目标对象进行识别检测和连续跟踪；并对检测和跟踪的目标对象进行匹配和关联；所述多目标跟踪系统包括：

视频预处理模块，其用于对用于监控跟踪对象的视频进行分帧处理，将分帧处理后得到的连续帧图像作为进行多目标跟踪的目标图像，构成样本数据集；

多目标跟踪神经网络模块，其包括检测器子模块和跟踪器子模块；所述检测器子模块采用采用YOLOv4网络作为基础网络，并将YOLOv4网络结构中的CSPDarkNet53特征提取网络替换为轻量化的骨干网络ShuffleNetV1；所述跟踪器采用Deep-SORT网络作为基础网络，并将跟踪器中由卷积神经网络完成的特征提取过程替换为ShuffleNetV1网络提取的特征；所述检测器子模块用于对样本数据中连续的目标图像进行目标检测，获得目标检测框的集合；所述跟踪器用于采用卡尔曼滤波器基于获取到的目标检测框对跟踪对象进行状态预测，获得目标跟踪框；

关联成本代价矩阵构建模块，其用于构建目标检测框和目标跟踪框之间的关联成本代价矩阵；所述关联成本代价矩阵的构建过程中，首先根据跟踪器子模块预测的轨迹状态和检测器子模块中ShuffleNetV1网络提取到的特征进行计算获得目标检测框和目标跟踪框之间的运动匹配度和特征匹配度；然后根据运动匹配度和特征匹配度构建目标检测框和目标跟踪框之间的关联成本代价矩阵；以及

级联匹配模块，其用于根据匈牙利算法对关联成本代价矩阵中的关联代价进行级联匹配，得到当前关联代价对应的目标检测框和目标跟踪框中的跟踪目标的关系，进而确定跟踪结果，实现多目标跟踪。

6.如权利要求5所述的适用于嵌入式终端的多目标跟踪系统，其特征在于：所述系统既可以在采用GPU图形处理技术的通用计算机系统及其终端上完成开发、部署和运行；也可以在基于ARM架构的专用计算机系统及其嵌入式终端上完成开发、部署和运行。

Images