CN111353448A

CN111353448A - 基于相关性聚类和时空约束的行人多目标跟踪方法

Info

Publication number: CN111353448A
Application number: CN202010148317.5A
Authority: CN
Inventors: 李旻先; 桑毅
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2020-03-05
Filing date: 2020-03-05
Publication date: 2020-06-30

Abstract

本发明公开了一种基于相关性聚类和时空约束的行人多目标跟踪方法，该方法包括：行人视觉特征提取，基于视觉特征的相关性聚类，单摄像头下的行人轨迹关联，利用时空约束方法完成跨摄像头下的行人轨迹匹配。针对单摄像头下的行人跟踪容易发生中断的问题，本发明引入了时空滑动窗口来解决这一问题；同时，在跨摄像头场景下引入了时空约束方法来关联同一个行人，从而实现了跨摄像头下的行人多目标跟踪；利用本发明提出的方法，可以一致性地提高行人跟踪中的MOTA，MOTP和召回率等跟踪指标。

Description

基于相关性聚类和时空约束的行人多目标跟踪方法

技术领域

本发明涉及计算机视觉和模式识别领域，具体涉及一种基于相关性聚类和时空约束的行人多目标跟踪方法。

背景技术

计算机视觉(Computer Vision)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等的一种计算机技术。计算机视觉旨在创建能够从图像或者多维数据中获取“信息“的人工智能系统，因此近年来其一直是计算机科学领域研究的热点和难点。

多目标跟踪问题作为高层视觉任务的基础，已成为计算机视觉领域中至关重要的研究问题。多目标跟踪，即Multiple Object Tracking(MOT)。其主要任务是给定一个图像序列，找到图像序列中运动的物体，并将不同帧中的运动物体一一对应。然后给出不同物体的运动轨迹。这些物体可以是任意的，如行人、车辆、运动员、各种动物等等，而研究最多的是“行人跟踪”。这是因为首先“行人”是典型的非刚体目标，相对于刚体目标难度更大，其次在实际应用中行人的检测跟踪更具有商业价值。据不完全统计，至少75％的多目标跟踪研究是在研究行人跟踪。

另外，当前社会上视频监控的布设十分广泛，如何从多个视频监控的数据中有效获取行人的轨迹信息，对于社会安防体系具有非常重要的价值。因此，跨摄像头行人跟踪已成为计算机视觉领域的一个重要研究内容。但是跨摄像头行人跟踪在实际应用中却有着一些难以处理的问题，主要体现在两个方面：一方面是目前很多的跟踪算法都是通过计算相邻行人检测框之间的重合面积来判断两者是否属于同一行人目标，但是由于监控视频下的物体众多，行人跟踪的计算过程会因为物体的遮挡而发生跟踪中断。另一方面是针对跨摄像头下的行人跟踪，目前多数采用的方法是类似于行人再识别中的行人检索方法，该方法多是基于行人目标的特征来实现，而对于数据集中的时空信息没有使用。

发明内容

本发明目的在于提供一种基于相关性聚类和时空约束的行人多目标跟踪方法，完成不同场景下行人的跟踪。

实现本发明目的的技术解决方案为：一种基于相关性聚类和时空约束的行人多目标跟踪方法，包括以下步骤：

1)输入视频流将视频解压成帧并按照选定区间制定视频数据集；

2)利用视频数据集，使用行人检测算法对视频数据集的每一张图像进行检测并得到行人的检测数据；检测数据为包含行人的最小矩阵框信息；

3)根据行人检测数据的矩阵框信息对视频数据集进行裁切生成行人图片集并按照选定区间制定训练集和测试集；

4)利用训练集，训练用于行人再识别的深度卷积神经网络，并输出训练好的用于提取行人视觉特征的深度卷积神经网络，所述深度卷积神经网络的损失由三元组损失构成；将测试集图片输入训练好的深度卷积神经网络进行视觉特征提取，得到行人视觉特征矩阵；

5)根据行人视觉特征矩阵和行人检测信息计算行人外观特征相关性和运动相关性并完成相关性聚类，利用相关性聚类结果实现单摄像头下的行人轨迹关联，从而完成单摄像头下的行人多目标跟踪；

6)根据单摄像头下的行人多目标跟踪结果，使用时空约束的方法关联跨摄像头下的行人轨迹从而完成跨摄像头下的行人多目标跟踪。

与现有技术相比，本发明的显著优点为：(1)使用相关性聚类的方法可以解决因为物体或者行人遮挡而发生的跟踪中断问题，它及准确又稳定，并且在测试数据集的表现明显优于其他算法；(2)使用时空约束的方法完成跨摄像头下的行人跟踪，除了使用行人检测数据中的特征信息，还充分使用了数据集的时空信息，使得跨摄像头下的行人跟踪结果更加准确，评价指标也高于其他算法。同样，该方法也适用于行人再识别中，提高行人检索的准确度。

附图说明

图1是相关性聚类和时空约束的行人多目标跟踪方法的流程图。

图2是跨摄像头行人跟踪示例图。

具体实施方式

本发明提供一种基于相关性聚类和时空约束的行人多目标跟踪方法，主要是使用深度卷积神经网络提取特征，相关性聚类完成单摄像头下的行人多目标跟踪，时空约束的方法完成跨摄像头的行人多目标跟踪三个主要部分。结合图1，该方法包括以下步骤：

进一步地，在步骤1)中，将输入视频流按照60fps的帧率解压成帧，解压的图片按照指定命名规则命名后构成视频数据集。

进一步地，步骤2)具体方法为：基于行人检测算法openpose对视频数据集进行行人检测，得到行人关键点数据。得到关键点信息后，再转化成行人检测中的矩阵框信息，从而得到所需要的行人检测信息，检测信息结果为矩形框的左上角和右下角坐标信息。

进一步地，所述步骤4)中，深度卷积神经网络框架是ResNet50，使用自适应学习率梯度下降优化算法中的Adam，迭代更新网络中的每个参数，直到参数收敛，得到训练好的特征学习网络。

其中深度卷积神经网络使用三元组损失函数，三元损失函数L的表达式为：

式中，

是锚点与正样本之间的距离，

是锚点与负样本样本的距离。α表示两种距离之间有一个最小间隔，下标+表示[]内的值大于零的时候，取改值为损失，小于零的时候，损失为零。

根据深度卷积神经网络模型，使用测试集提取行人的特征，得到行人的外观特征矩阵并计算特征相关性，公式为：

式中，d(x_i,x_j)为第i个行人和第j个行人之间的特征距离，这里使用欧式距离来计算。t_a为训练集中正样本和负样本之间距离的均值。

进一步地，所述步骤5)中，根据行人检测数据，使用线性运动模型来计算行人运动相关性。

首先计算行人矩阵框在一帧的偏移量，我们称之为速率，用

表示，公式为：

式中，t_w为设置窗口的大小，

为第j帧里的第b个矩阵框中心点的坐标，

为第i帧的第a个矩阵框中心点的坐标。

其次计算运动相关性误差e_m，其含义表示一个矩阵框根据其速率预测出来的最近矩阵框的值与实际值之间的误差，公式表示为：

e_m＝e_f+e_b

式中，e_f为前向误差，e_b为后向误差。

前向误差e_f表示为：

e_f(i,j)＝c_i+v_if_ij-c_j(j>i)

式中，c_i为某一帧中第i个矩阵框的中心点坐标。v_i是第i个矩阵框的速率。f_ij是第i个矩阵框所在帧号和第j个矩阵框所在帧号之间的距离。c_j是第j个矩阵框的中心点坐标。

后向误差表示为：

e_b(i,j)＝c_i-v_if_ij-c_j(j<i)

运动相关性误差表示为：

e_m＝e_f+e_b

最后，计算运动相关性W_m，其含义表示相邻两个矩阵框之间的相似程度，公式表示为：

w_m＝α(t_m-e_m)

式中，α、t_m为算法设置的参数，e_m为运动相关性误差。

进一步地，相关性聚类由特征相关性和运动相关性结合确定，公式为：

W＝(W_a+W_m)⊙D

式中，W为相关性矩阵，W_a为特征相关性矩阵。W_m为运动性矩阵。D是Discount矩阵。⊙为点乘运算。Discount矩阵为：

D＝e^-Δt∈[0,1]

式中，Δt指衰减程度，随着Δt的增大，相关性会趋于0。

根据相关性矩阵，构造图G＝(V,E,W)，其中V为节点，本专利将每个矩阵框视为一个节点，E是边集，如果两个矩阵框是正相关那么就能构成边，W是权重，即相关性的值。构造成图后，通过计算图的连通分量，将图中一个连通分量的所有结点赋予同一个ID，即为同一个行人。

进一步地，单摄像头下行人短轨迹和长轨迹的生成可以通过设置窗口的大小来生成，具体表现为，短轨迹是在m₁帧图像范围内的窗口中使用相关聚类算法来实现。而长轨迹是在短轨迹的基础上，将窗口的大小设置为m₂帧，并且前后窗口重叠的范围是m₃帧，最后在窗口内使用相关性聚类来实现。

如表1所示的相关性聚类算法在8个单独摄像头场景下的指标结果，其中MOTA为多目标跟踪准确度，IDF1、IDP、IDR分别代表行人ID预测的F值、精确度和召回率。IDS表示行人ID因为交互或者中断发生ID瞬间转换的次数，FM表示跟踪轨迹发生中断的次数。

表1相关性聚类算法在8个单独摄像头场景下的指标结果

根据表1所示，8个摄像头下的MOTA值大部分超过80，甚至在行人数量比较少的4号摄像头下超过90，ID预测的三个值也超过80，IDS和FM在轨迹数量超过10000条的基础上只有100左右。综合起来，相关性聚类算法在单摄像头场景下的精确度和跟踪效率非常高。

进一步地，跨摄像头下行人跟踪算法实现具体包括以下步骤：

1)以单摄像头下的行人轨迹为基础，将每段行人轨迹中选择n张图像作为代表放入深度卷积神经网络中提取特征，再求均值作为行人的外观特征。然后将每一个行人依次选作成查询目标，其余行人轨迹作为行人池。

2)对于每个查询目标，分别计算其与行人池中其他目标的距离并排序，计算方法是余弦距离。

3)根据排序筛选结果，使用时空约束的方法对筛选结果进行修正。

进一步地，对于时空约束中的时间关系，对于时空约束中的时间关系，根据实验发现训练集中行人在不同区域的移动是集中在一个时间段内的，对于这种情况我们提出了时空相似度的概念并使用一个时空模型用来表示行人的时空相似度。

进一步地，对于时空模型，设立一个

用来表示两张新的图片之间时间差，然后使用极大似然估计，在

前后的m₄帧内计算目标出现的概率，记为P。通过对训练集中P的计算，得到当P值最大时

的值。

进一步地，对于查询目标的筛选结果，根据时空模型和查询目标的时空信息，可以得出与查询目标相连场景的同一目标行人。并将结果作为新的查询目标继续依据时空约束得出与其相连的目标行人，直到获得行人在不同摄像头下的完整轨迹，跟踪效果如图2所示跨摄像头场景下行人跟踪示例图。

如表2所示时空约束算法在跨摄像头场景下的指标结果，因为在跨摄像头场景下的行人多目标跟踪算法中，ID相关的指标是非常重要的。

表2时空约束算法在跨摄像头场景下的指标结果

IDF1	IDP	IDR
			75.4	76.0	74.8

根据表2所示，IDF1、IDP、IDR分数在75分左右，表示使用时空约束算法在跨摄像头场景下可以获得很好的行人跟踪表现。

综上所述，本发明公开了一种基于相关性聚类和时空约束的行人多目标跟踪方法，从单摄像头下的行人多目标跟踪入手，通过相关性聚类的方法，完成单摄像头下行人轨迹的匹配，并以此为基础，再使用时空约束的方法完成跨摄像头下行人多目标跟踪。通过结合行人外观特征和运动特性在单摄像头下提高了跟踪效果，并且在跨摄像头场景下提高了行人匹配准确率。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims

1.一种基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，在步骤1)中将输入视频流按照60fps的帧率解压成图片，解压的图片按照指定命名规则命名后构成视频数据集。

3.根据权利要求1所述的基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，步骤2)具体包括以下步骤：

21)基于行人检测算法openpose对视频数据集进行行人检测，得到行人关键点数据；

22)得到关键点数据后，再转化成包含行人的矩阵框信息，从而得到所需要的行人检测数据；检测信息具体为矩形框的左上角和右下角坐标信息。

4.根据权利要求1所述的基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，步骤4)中，深度卷积神经网络框架是ResNet50，使用自适应学习率梯度下降优化算法中的Adam，迭代更新网络中的每个参数，直到参数收敛，得到训练好的特征学习网络；具体包括以下步骤：

41)深度卷积神经网络使用三元组损失函数，三元损失函数L的表达式为：

式中，

是锚点与正样本之间的距离，

是锚点与负样本样本的距离；α表示两种距离之间有一个最小间隔，下标+表示[]内的值大于零的时候，取该值为损失函数的最终值，小于零的时候，损失为零；

42)根据深度卷积神经网络模型，使用测试集提取行人外观特征，得到行人的外观特征矩阵并计算特征相关性，公式为：

式中d(x_i,x_j)为第i个行人和第j个行人之间的特征距离，使用欧式距离来计算；t_a为训练集中正样本和负样本之间距离的均值。

5.根据权利要求4所述的基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，步骤5)中，根据行人检测数据，使用线性运动模型来计算行人运动相关性，具体包括：

51)计算行人矩阵框在一帧的偏移量，称之为速率，用

表示，公式为：

式中，0<i<j<t_w，t_w为设置窗口的大小，

为第j帧里的第b个矩阵框中心点的坐标，

为第i帧的第a个矩阵框中心点的坐标；

52)计算运动相关性误差e_m，其含义表示一个矩阵框根据其速率预测出来的最近矩阵框的值与实际值之间的误差，公式表示为：

e_m＝e_f+e_b

式中，e_f为前向误差，e_b为后向误差；

前向误差e_f表示为：

e_f(i,j)＝c_i+v_if_ij-c_j(j>i)

式中，c_i为某一帧中第i个矩阵框的中心点坐标；v_i是第i个矩阵框的速率；

f_ij是第i个矩阵框所在帧号和第j个矩阵框所在帧号之间的距离；c_j是第j个矩阵框的中心点坐标；

后向误差表示为：

e_b(i,j)＝c_i-v_if_ij-c_j(j<i)

运动相关性误差表示为：

e_m＝e_f+e_b

53)计算运动相关性W_m，其含义表示相邻两个矩阵框之间的相似程度，公式表示为：

w_m＝α(t_m-e_m)

式中，α、t_m为算法设置的参数，e_m为运动相关性误差。

6.根据权利要求1或5所述的基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，相关性聚类由特征相关性和运动相关性确定，公式为：

W＝(W_a+W_m)⊙D

式中，W为相关性矩阵，W_a为特征相关性矩阵，W_m为运动性矩阵，D为Discount矩阵，⊙为点乘运算，Discount矩阵为：

D＝e^-Δt∈[0,1]

式中，Δt指衰减程度；

根据相关性矩阵，构造图G＝(V,E,W)，其中V为节点，将每个矩阵框视为一个节点，E是边集，如果两个矩阵框是正相关那么就能构成边，W是权重，即相关性的值；构造成图后，通过计算图的连通分量，将图中一个连通分量的所有结点赋予同一个ID，即为同一个行人。

7.根据权利要求1所述的基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，单摄像头下行人短轨迹和长轨迹的生成可通过设置窗口的大小来生成，具体为：短轨迹是在m₁帧图像范围内的窗口中使用相关聚类算法来实现；而长轨迹是在短轨迹的基础上，将窗口的大小设置为m₂帧，并且前后窗口重叠的范围是m₃帧，最后在窗口内使用相关性聚类来实现。

8.根据权利要求1所述的基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，步骤6)具体包括如下步骤：

61)以单摄像头下的行人轨迹为基础，将每段行人轨迹中选择n张图像作为代表放入深度卷积神经网络中提取特征，再求均值作为该行人的外观特征；然后将每一个行人依次选作成查询目标，其余行人轨迹作为行人池；

62)对于每个查询目标，分别计算其与行人池中其他目标的距离并排序，计算方法是余弦距离；

63)根据排序筛选结果，使用时空约束的方法对筛选结果进行修正。

9.根据权利要求8所述的基于相关性聚类和时空约束的行人多目标跟踪方法，其特征在于，时空约束的方法具体包括：

对于时空约束中的时间关系，根据实验发现训练集中行人在不同区域的移动是集中在一个时间段内的，使用一个时空模型用来表示行人的时空相似度；

对于时空模型，设立一个

前后的帧内计算目标出现的概率，记为P；通过对训练集中P的计算，得到当P值最大时

的值；

对于查询目标的筛选结果，根据时空模型和查询目标的时空信息，得出与查询目标相连场景的同一目标行人；并将结果作为新的查询目标继续依据时空约束得出与其相连的目标行人，直到获得行人在不同摄像头下的完整轨迹；

输出跨摄像头小行人跟踪结果。