CN111192297A - 一种基于度量学习的多摄像头目标关联跟踪方法 - Google Patents

Abstract

本发明属于计算机视频图像处理技术领域，尤其涉及一种基于度量学习的多摄像头目标关联跟踪方法。该种基于度量学习的多摄像头目标关联跟踪方法其目的在于克服多摄像头之间信息不能共享、信息混淆，以及解决单一一个摄像头遮挡造成跟踪丢失等技术缺陷，同时可进一步将跟踪算法嵌入到硬件设备中，以提高算法的稳定性与实用性。该多摄像头目标关联跟踪方法包括有如下步骤：通过n个摄像头同时采集目标场所内目标物体的视频集；对目标物体进行检测跟踪，得到跟踪结果；从跟踪结果中提取出检测框；将提取出的检测框送入深度卷积网络，提取出特征向量；进行余弦距离的计算；通过阈值比较判断同一帧的物体是否相似；关联成功实现跟踪。

Description

一种基于度量学习的多摄像头目标关联跟踪方法

技术领域

该发明属于计算机视频图像处理技术领域，尤其涉及一种基于度量学习的多摄像头目标关联跟踪方法。

背景技术

随着计算机视频图像处理技术的发展，多目标跟踪在智能监控、动作与行为分析、自动驾驶等领域都有了重要应用。多目标跟踪通过给定一个图像序列，找到图像序列中运动的物体，并将不同帧的运动物体进行识别，确定一个准确的目标标识，这些运动物体可以是任意的，如行人、车辆、动物等。随着近年来目标检测领域的发展，用检测来跟踪(Tracking-by-detection)的算法在多目标跟踪中成为主流，之前出现了用于检测的流网络公式和概率图形模型，但它们处理的是整个过程的全局优化问题，不适用于在线场景。检测后使用的跟踪算法常见的有SORT算法和Deep Sort算法。SORT算法使用简单的卡尔曼滤波处理逐帧数据的关联性以及使用匈牙利算法进行关联度量，这种简单的算法在高帧速率下获得了良好的性能，但由于忽略了被检测物体的表面特征，导致只有在物体状态估计不确定性较低时SORT算法才会准确。而Deep Sort算法使用更加可靠的度量来代替关联度量，并使用卷积神经网络在大规模行人数据集上进行训练，提取特征，增加了网络对遗失和障碍的鲁棒性。虽然Yolo算法和Deep Sort算法结合进行多目标跟踪已成为主流算法之一，但是在复杂环境造成人员遮挡、交叉等情况下，常出现上一帧物体标识与下一帧相同物体标识对应出错的情况；且如果将该算法用于多摄像头跟踪中，虽然多个摄像头能观测到的范围存在共同区域，但是无法将多个摄像头的跟踪信息关联起来，最终会导致多目标跟踪效果精度不高，目标物体的信息错误。

发明内容

本发明提供了一种基于度量学习的多摄像头目标关联跟踪方法，该种基于度量学习的多摄像头目标关联跟踪方法其目的在于克服多摄像头之间信息不能共享、信息混淆，以及解决单一一个摄像头遮挡造成跟踪丢失等技术缺陷，同时可进一步将跟踪算法嵌入到硬件设备中，以提高算法的稳定性与实用性。

为解决上述技术问题，本发明采用了如下技术方案：

一种基于度量学习的多摄像头目标关联跟踪方法，包括有如下步骤：

步骤1，通过n个摄像头同时采集目标场所内目标物体的视频集V＝{V₁,V₂,…,V_n}；其中，V_i代表标号为i的摄像头所采集的视频，且V_i＝{img₁,img₂,…,img_n}，img_i代表V_i视频中的第i帧图片；

步骤2，使用Yolo算法对V_i中的目标物体进行检测，并使用Deep Sort算法进行跟踪，得到V_i中物体的检测框DF＝{df₁,df₂,…,df_n}以及具体标识集ID＝{id₁,id₂,…,id_n}；其中，id_i表示V_i中被命名为i的物体；而后将每一帧的跟踪结果E＝{(df₁,id₁),(df₂,id₂),…,(df_n,id_n)}保存到本地；

步骤3，从跟踪结果E中抽取p个摄像头的跟踪结果；假设p＝2，且摄像头的编号分别为j和k；抽取出摄像头j以及k采集视频的同一帧，即V_j以及V_k中相同的帧img_i；分别提取出img_i中的q个对象的检测框DF₁＝{d₁,d₂,…,d_q}以及DF₂＝{f₁,f₂,…,f_q}；其中，d_i代表V_j的img_i中ID为id_i的检测框，f_i代表V_k的img_i中ID为id_i的检测框；

步骤4，将提取出的检测框DF₁以及DF₂送入深度卷积网络，提取出d_i以及f_i的特征向量，分别记为r_Vj＝{r₁ ^idi,r₂ ^idi,…,r_n ^idi},r_Vk＝{r₁ ^idi,r₂ ^idi,…,r_n ^idi}；其中，r_Vj及r_Vk代表摄像头j和k在img_i帧采集到的id_i的外观特征；

步骤5，对r_Vj＝{r₁ ^idi,r₂ ^idi,…,r_n ^idi}和r_Vk＝{r₁ ^idi,r₂ ^idi,…,r_n ^idi}进行余弦距离的计算，计算公式如公式(1)所示：

Cos(dis(r_Vj,r_Vk))＝1-r_vj ^Tr_vk (1)

其中，r_vj ^T是r_vj的转置矩阵；

步骤6，通过阈值α比较判断V_j和V_k中同一帧的物体是否相似，所述阈值α由训练得到；当Cos(dis(r_Vj,r_Vk))≤α时，d_i和f_i关联成功，判断为两个检测框中的id_i相似；否则回到步骤5继续进行余弦计算，直到全部对比结束；

步骤7，当d_i和f_i关联成功，将f_i对应的id_i改为d_i对应的id_i。

本发明提供了一种基于度量学习的多摄像头目标关联跟踪方法，该多摄像头目标关联跟踪方法包括有如下步骤：通过n个摄像头同时采集目标场所内目标物体的视频集；对目标物体进行检测跟踪，得到跟踪结果；从跟踪结果中提取出检测框；将提取出的检测框送入深度卷积网络，提取出特征向量；进行余弦距离的计算；通过阈值比较判断同一帧的物体是否相似；关联成功实现跟踪。具有上述步骤特征的基于度量学习的多摄像头目标关联跟踪方法，通过多摄像头同时记录的方式，提高了记录效果；通过采用深度神经网络提取检测框内物体的外观特征，简单且鲁棒性高；通过采用余弦距离作为度量学习方法，与绝对的数值没有直接联系，能更好地度量出特征向量之间的相似度；通过采用嵌入式的方法，提升算法的稳定性与实用性。并且解决了多目标跟踪问题中复杂环境造成的人员遮挡、交叉等情况，能有效提高跟踪精度。

附图说明

图1为本发明提供的一种基于度量学习的多摄像头目标关联跟踪方法的应用场景示意图；

图2为本发明提供的一种基于度量学习的多摄像头目标关联跟踪方法的嵌入设备结构示意图。

具体实施方式

本发明提供了一种基于度量学习的多摄像头目标关联跟踪方法，该种基于度量学习的多摄像头目标关联跟踪方法其目的在于克服多摄像头之间信息不能共享、信息混淆，以及解决单一一个摄像头遮挡造成跟踪丢失等技术缺陷，同时可进一步将跟踪算法嵌入到硬件设备中，以提高算法的稳定性与实用性。

一种基于度量学习的多摄像头目标关联跟踪方法，包括有如下步骤：

步骤1，通过n个摄像头同时采集目标场所内目标物体的视频集V＝{V₁,V₂,…,V_n}；其中，V_i代表标号为i的摄像头所采集的视频，且V_i＝{img₁,img₂,…,img_n}，img_i代表V_i视频中的第i帧图片。值得注意的是，如图1所示，在图1中技术人员设置了2个不同方向的摄像头以采集当下场景。

步骤2，使用Yolo算法对V_i中的目标物体进行检测，并使用DeepSort算法进行跟踪，得到V_i中物体的检测框DF＝{df₁,df₂,…,df_n}以及具体标识集ID＝{id₁,id₂,…,id_n}；其中，id_i表示V_i中被命名为i的物体；而后将每一帧的跟踪结果E＝{(df₁,id₁),(df₂,id₂),…,(df_n,id_n)}保存到本地。

步骤3，从跟踪结果E中抽取p个摄像头的跟踪结果；假设p＝2，且摄像头的编号分别为j和k；抽取出摄像头j以及k采集视频的同一帧，即V_j以及V_k中相同的帧img_i；分别提取出img_i中的q个对象的检测框DF₁＝{d₁,d₂,…,d_q}以及DF₂＝{f₁,f₂,…,f_q}；其中，d_i代表V_j的img_i中ID为id_i的检测框，f_i代表V_k的img_i中ID为id_i的检测框。

步骤4，将提取出的检测框DF₁以及DF₂送入深度卷积网络，提取出d_i以及f_i的特征向量，分别记为r_Vj＝{r₁ ^idi,r₂ ^idi,…,r_n ^idi},r_Vk＝{r₁ ^idi,r₂ ^idi,…,r_n ^idi}；其中，r_Vj及r_Vk代表摄像头j和k在img_i帧采集到的id_i的外观特征。

步骤5，对r_Vj＝{r₁ ^idi,r₂ ^idi,…,r_n ^idi}和r_Vk＝{r₁ ^idi,r₂ ^idi,…,r_n ^idi}进行余弦距离的计算，计算公式如公式(1)所示：

Cos(dis(r_Vj,r_Vk))＝1-r_vj ^Tr_vk (1)

其中，r_vj ^T是r_vj的转置矩阵。

步骤6，通过阈值α比较判断V_j和V_k中同一帧的物体是否相似，所述阈值α由训练得到；当Cos(dis(r_Vj,r_Vk))≤α时，d_i和f_i关联成功，判断为两个检测框中的id_i相似；否则回到步骤5继续进行余弦计算，直到全部对比结束。

步骤7，当d_i和f_i关联成功，将f_i对应的id_i改为d_i对应的id_i。

至此，本基于度量学习的多摄像头目标关联跟踪方法实现了多摄像头目标的关联。

需要补充说明的一点是，为进一步提高本多摄像头目标关联跟踪方法的应用场景，可将步骤1-步骤7相关内容嵌入至硬件设备中，例如：如图2所示嵌入式终端设备。具体的，该嵌入式终端设备优选使用PCIe(x8)插槽，专为边缘人工智能和机器视觉应用而设计，采用智能电源，成本低，废热产生少，系统更稳定。

本发明提供了一种基于度量学习的多摄像头目标关联跟踪方法，该多摄像头目标关联跟踪方法包括有如下步骤：通过n个摄像头同时采集目标场所内目标物体的视频集；对目标物体进行检测跟踪，得到跟踪结果；从跟踪结果中提取出检测框；将提取出的检测框送入深度卷积网络，提取出特征向量；进行余弦距离的计算；通过阈值比较判断同一帧的物体是否相似；关联成功实现跟踪。具有上述步骤特征的基于度量学习的多摄像头目标关联跟踪方法，通过多摄像头同时记录的方式，提高了记录效果；通过采用深度神经网络提取检测框内物体的外观特征，简单且鲁棒性高；通过采用余弦距离作为度量学习方法，与绝对的数值没有直接联系，能更好地度量出特征向量之间的相似度；通过采用嵌入式的方法，提升算法的稳定性与实用性。并且解决了多目标跟踪问题中复杂环境造成的人员遮挡、交叉等情况，能有效提高跟踪精度。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (1)

1.一种基于度量学习的多摄像头目标关联跟踪方法，其特征在于，包括有如下步骤：

步骤1，通过n个摄像头同时采集目标场所内目标物体的视频集V＝{V₁,V₂,…,V_n}；其中，V_i代表标号为i的摄像头所采集的视频，且V_i＝{img₁,img₂,…,img_n}，img_i代表V_i视频中的第i帧图片；

步骤2，使用Yolo算法对V_i中的目标物体进行检测，并使用Deep Sort算法进行跟踪，得到V_i中物体的检测框DF＝{df₁,df₂,…,df_n}以及具体标识集ID＝{id₁,id₂,…,id_n}；其中，id_i表示V_i中被命名为i的物体；而后将每一帧的跟踪结果E＝{(df₁,id₁),(df₂,id₂),…,(df_n,id_n)}保存到本地；

步骤3，从跟踪结果E中抽取p个摄像头的跟踪结果；假设p＝2，且摄像头的编号分别为j和k；抽取出摄像头j以及k采集视频的同一帧，即V_j以及V_k中相同的帧img_i；分别提取出img_i中的q个对象的检测框DF₁＝{d₁,d₂,…,d_q}以及DF₂＝{f₁,f₂,…,f_q}；其中，d_i代表V_j的img_i中ID为id_i的检测框，f_i代表V_k的img_i中ID为id_i的检测框；

步骤4，将提取出的检测框DF₁以及DF₂送入深度卷积网络，提取出d_i以及f_i的特征向量，分别记为r_Vj＝{r₁ ^idi,r₂ ^idi,…,r_n ^idi},r_Vk＝{r₁ ^idi,r₂ ^idi,…,r_n ^idi}；其中，r_Vj及r_Vk代表摄像头j和k在img_i帧采集到的id_i的外观特征；

步骤5，对r_Vj＝{r₁ ^idi,r₂ ^idi,…,r_n ^idi}和r_Vk＝{r₁ ^idi,r₂ ^idi,…,r_n ^idi}进行余弦距离的计算，计算公式如公式(1)所示：

Cos(dis(r_Vj,r_Vk))＝1-r_vj ^Tr_vk (1)

其中，r_vj ^T是r_vj的转置矩阵；

步骤6，通过阈值α比较判断V_j和V_k中同一帧的物体是否相似，所述阈值α由训练得到；当Cos(dis(r_Vj,r_Vk))≤α时，d_i和f_i关联成功，判断为两个检测框中的id_i相似；否则回到步骤5继续进行余弦计算，直到全部对比结束；

步骤7，当d_i和f_i关联成功，将f_i对应的id_i改为d_i对应的id_i。

Images