[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114648557A - 一种基于高空视角与地面视角的多目标协同跟踪方法 - Google Patents

一种基于高空视角与地面视角的多目标协同跟踪方法 Download PDF

Info

Publication number
CN114648557A
CN114648557A CN202210311724.2A CN202210311724A CN114648557A CN 114648557 A CN114648557 A CN 114648557A CN 202210311724 A CN202210311724 A CN 202210311724A CN 114648557 A CN114648557 A CN 114648557A
Authority
CN
China
Prior art keywords
track
view
similarity
visual angle
ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210311724.2A
Other languages
English (en)
Inventor
冯伟
韩瑞泽
万亮
王松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202210311724.2A priority Critical patent/CN114648557A/zh
Publication of CN114648557A publication Critical patent/CN114648557A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于高空视角与地面视角的多目标协同跟踪方法，包括如下步骤：步骤s1，将空地协同视角的两段同步视频分别分割成长度相等的V个小段视频；步骤s2，根据目标检测结果对每个小段视频分别生成不同视角下目标的小段轨迹；步骤s3，计算不同小段轨迹之间的相似性得分；步骤s4，依据相似得分采用联合优化函数进行轨迹关联生成短交叉视图轨迹；步骤s5，重复步骤s2至s4，将短交叉视图轨迹进行连接，从而获得交叉视图长轨迹作为最终的跟踪结果；本发明该方法具有高于现有方法的匹配精度，且获得了很好的跨域性能。

Description

一种基于高空视角与地面视角的多目标协同跟踪方法
技术领域
本发明属于目标跟踪领域，涉及穿戴相机、无人机同时拍摄的两个视角下的视频的标跟踪，尤其涉及一种基于高空视角与地面视角的多目标协同跟踪方法。
背景技术
本发明中涉及到的背景技术有：
(1)行人目标检测器(参见文献[1])：行人目标检测器作为数据预处理的一个重要组成部分，已经广泛的应用到目标跟踪、行人重定位以及动作识别等各个领域中。目前常用的行人检测器可以分为基于背景建模和基于统计学习的方法两大类。前者必须适应环境的变化，同时受限于相机抖动引起的画面抖动等情况。后者是目前常用的行人检测的方法，通过构建大量的样本来构建行人检测分类器。目前，深度学习在行人检测中的作用不容忽视。其中YOLO检测器被用于本发明来提供对应的目标检测框。
(2)空地协同视角移动相机网络：运动相机技术的进步为视频监控提供了新的视角。无人机可以提供地面上一组对象的俯视图。可穿戴式摄像机可以提供同一组对象的地面视图。本发明中提出了一种新的空地协同视角移动相机网络的问题，其中俯视图可以提供目标全局信息，地面视图可以提供目标局部细节，因此二者可以很好地进行信息的互补，从而为户外监视提供更好的覆盖范围和灵活性。通过该互补网络可以有效应用于协作跟踪、个人/团体活动识别等任务中。
(3)基于空间分布的跨视角多目标关联：由于外观和动作信息无法被利用，俯视视图和地面视图的关联变得十分困难，而基于空间分布的跨视角关联可以借助高空视角和地面视角之间空间位置分布信息，实现目标之间的关联。通过该方法可以更好的对不同视角的数据进行协作分析，从而应用于目标跟踪、行人重识别、动作识别等任务中。
发明内容
本发明的目的是针对同一场景中空地协同视角下的同步视频提出一种联合全局和局部信息的多目标跟踪技术，借助穿戴相机、无人机设备，利用相对简单而有效的策略，从而实现空地协同视角下目标的协同跟踪；本发明可用于在同一场景中利用空地协同视角下相机拍摄的视频，无需限制视角内目标数目的情况下，对地面、高空视角中的目标同时进行跟踪，并将两个视角的目标一一对应。
本发明采用如下技术方案实施：
一种基于高空视角与地面视角的多目标协同跟踪方法，包括如下步骤：
步骤s1，将空地协同视角的两段同步视频分别分割成长度相等的V个小段视频；
步骤s2，根据目标检测结果对每个小段视频分别生成不同视角下目标的小段轨迹；
步骤s3，计算不同小段轨迹之间的相似性得分；
步骤s4，依据相似得分C采用联合优化函数进行轨迹关联生成短交叉视图轨迹；
步骤s5，重复步骤s2至s4，将短交叉视图轨迹进行连接，从而获得交叉视图长轨迹作为最终的跟踪结果；其中：所述短交叉视图轨迹生成过程：
通过相似性得分C获得任意跨时空轨迹片段之间的相似度度量；
根据相似度度量采用如下公式求解：
Figure BDA0003568651300000021
其中：cij表示轨迹片段i和j之间的相似度，可以由步骤三计算得到；aij为0-1的二值变量，表示是否两个轨迹片段属于同一目标。
进一步，采用跨视角轨迹相似性获得所述步骤S3中不同视角相同时刻的两段小段轨迹之间的相似性得分生成的步骤：
201、采用空间分布一致性
利用基于空间分布的方法得到高空与地面视图的匹配结果：
如果检测框Bm与检测框Bq匹配结果是同一人，则S(Bm,Bq)＝1；否则，S(Bm,Bq)＝0；高空视图轨迹Bm与地面视图轨迹Bq之间的相似性表示如下：
Figure BDA0003568651300000022
其中，F是重叠的帧数，Bm是顶视视图下的检测结果，Bq是地面视图下的检测结果，|Bm|是轨迹Bm的数量，|Bq|是轨迹Bq的数量；
202、采用外观相似性
利用孪生网络来度量轨迹间相似性；
分别计算空地协同视角下两段轨迹的平均图像并输入网络；
提取特征
计算特征间的欧氏距离得到相似性得分
Figure BDA0003568651300000023
结合以上相似性得分，利用线性组合计算边的权重为：
Figure BDA0003568651300000024
进一步，采用跨时间轨迹一致性获得所述步骤S3中不同时间同一视角两段小段轨迹之间的相似性得分生成的步骤：
302、利用颜色直方图来度量单视图目标的外观相似性获得外观轨迹一致性：
计算单个视图轨迹的目标颜色直方图；
将颜色直方图的中值Ψ(B)作为轨迹B的外观描述符；
利用直方图相交计算轨迹间外观相似性
Figure BDA0003568651300000031
302、利用恒定速度运动模型来预测运动一致性获得动作连续性：
利用运动模型计算正向偏差误差δp和反向偏差误差δn；
通过δ＝α(δp+δn)测量轨迹间差异性；
将误差转化为相似性
Figure BDA0003568651300000032
结合以上相似性得分，利用线性组合计算边的权重为：
Figure BDA0003568651300000033
有益效果
本发明通过使用穿戴相机、无人机设备，选取简单而有效的策略，自主设计了一种联合空地协同视角多目标跟踪方法，有效解决了多行人运动场景下得遮挡问题，结果精确，算法高效，具体来说，有如下优点：
a.跟踪精度高
利用空地协同视角下拍摄的视频，可以获取目标的全局运动轨迹和局部外观细节，极大程度缓解了由遮挡造成的目标丢失，因此达到了较高的跟踪精度。协同跟踪结果的可视化结果见图2。
b.算法复杂度低、速度快
本方法用于目标跟踪，经大量实验统计，运行速度为4.24fps，优于现有的绝大数跟踪方法。在精确度保证的前提下，时间消耗很大程度上减少。
c.迁移能力强
本发明无需大量数据进行训练，不依赖具体数据特征，具有极强的通用性。
附图说明
图1：空地协同视角多目标跟踪问题流程图
图2：空地协同视角多目标跟踪结果示意图
具体实施方式
下面结合附图对本发明做出详细说明：
本发明提供一种基于高空视角与地面视角的多目标协同跟踪方法，首先将每个视图中的视频分割成长度相等的视频段，并在每个视频段中提取轨迹。然后，多个视图中相邻视频段的轨迹被用于建立时空数据关联，进而得到交叉视图轨迹。最终将短轨迹进行连接，从而获得交叉视图长轨迹作为最终的跟踪结果。如图1所示具体过程：
(一)步骤s1，将空地协同视角的两段同步视频分别分割成长度相等的V个小段视频；其中：同步视频分割
给定一个来自高空视角和多个来自地面视角的视频，我们同步地将这两个视频分割成长度相同的视频小段。
步骤s2，根据目标检测结果对每个小段视频分别生成不同视角下目标的小段轨迹；步骤s3，计算不同小段轨迹之间的相似性得分；
采用跨视角轨迹相似性获得所述步骤S3中不同视角相同时刻的两段小段轨迹之间的相似性得分生成的步骤：
201、采用空间分布一致性
利用基于空间分布的方法得到高空与地面视图的匹配结果：
如果检测框Bm与检测框Bq匹配结果是同一人，则S(Bm,Bq)＝1；否则，S(Bm,Bq)＝0；高空视图轨迹Bm与地面视图轨迹Bq之间的相似性表示如下：
Figure BDA0003568651300000041
其中，F是重叠的帧数，Bm是顶视视图下的检测结果，Bq是地面视图下的检测结果，|Bm|是轨迹Bm的数量，|Bq|是轨迹Bq的数量；
202、采用外观相似性
利用孪生网络来度量轨迹间相似性；
分别计算空地协同视角下两段轨迹的平均图像并输入网络；
提取特征；
计算特征间的欧氏距离得到相似性得分
Figure BDA0003568651300000042
结合以上相似性得分，利用线性组合计算边的权重为：
Figure BDA0003568651300000043
采用跨时间轨迹一致性获得所述步骤S3中不同时间同一视角两段小段轨迹之间的相似性得分生成的步骤：
301、利用颜色直方图来度量单视图目标的外观相似性获得外观轨迹一致性：
计算单个视图轨迹的目标颜色直方图；
将颜色直方图的中值Ψ(B)作为轨迹B的外观描述符；
利用直方图相交计算轨迹间外观相似性
Figure BDA0003568651300000051
302、利用恒定速度运动模型来预测运动一致性获得动作连续性：
利用运动模型计算正向偏差误差δp和反向偏差误差δn；
通过δ＝α(δp+δn)测量轨迹间差异性；
将误差转化为相似性
Figure BDA0003568651300000052
结合以上相似性得分，利用线性组合计算边的权重为：
Figure BDA0003568651300000053
步骤s4，依据相似得分C采用联合优化函数进行轨迹关联生成短交叉视图轨迹；
步骤s5，重复步骤s2至s4，将短交叉视图轨迹进行连接，从而获得交叉视图长轨迹作为最终的跟踪结果；其中：所述短交叉视图轨迹生成过程：
通过相似性得分C获得任意跨时空轨迹片段之间的相似度度量；
根据相似度度量采用如下公式求解
Figure BDA0003568651300000054
其中：cij表示轨迹片段i和j之间的相似度；aij为0-1的二值变量，表示是否两个轨迹片段属于同一目标。

Claims (3)

1.一种基于高空视角与地面视角的多目标协同跟踪方法，其特征在于：
步骤s1，将空地协同视角的两段同步视频分别分割成长度相等的V个小段视频；
步骤s2，根据目标检测结果对每个小段视频分别生成不同视角下目标的小段轨迹；
步骤s3，计算不同小段轨迹之间的相似性得分；
步骤s4，依据相似得分C采用联合优化函数进行轨迹关联生成短交叉视图轨迹；
步骤s5，重复步骤s2至s4，将短交叉视图轨迹进行连接，从而获得交叉视图长轨迹作为最终的跟踪结果；其中：所述短交叉视图轨迹生成过程：
通过相似性得分C获得任意跨时空轨迹片段之间的相似度度量；
根据相似度度量采用如下公式求解
函数
Figure FDA0003568651290000011
其中：cij表示轨迹片段i和j之间的相似度，可以由步骤三计算得到；aij为0-1的二值变量，表示是否两个轨迹片段属于同一目标。
2.根据权利要求1所述的一种基于高空视角与地面视角的多目标协同跟踪方法，其特征在于：采用跨视角轨迹相似性获得所述步骤S3中不同视角相同时刻的两段小段轨迹之间的相似性得分生成的步骤：
201、采用空间分布一致性
利用基于空间分布的方法得到高空与地面视图的匹配结果：
如果检测框Bm与检测框Bq匹配结果是同一人，则S(Bm,Bq)＝1；否则，S(Bm,Bq)＝0；
高空视图轨迹Bm与地面视图轨迹Bq之间的相似性表示如下：
Figure FDA0003568651290000012
其中，F是重叠的帧数，Bm是顶视视图下的检测结果，Bq是地面视图下的检测结果，|Bm|是轨迹Bm的数量，|Bq|是轨迹Bq的数量；
202、采用外观相似性
利用孪生网络来度量轨迹间相似性；
分别计算空地协同视角下两段轨迹的平均图像并输入网络；
提取特征
计算特征间的欧氏距离得到相似性得分
Figure FDA0003568651290000013
结合以上相似性得分，利用线性组合计算边的权重为：
Figure FDA0003568651290000021
3.根据权利要求1所述的一种基于高空视角与地面视角的多目标协同跟踪方法，其特征在于：采用跨时间轨迹一致性获得所述步骤S3中不同时间同一视角两段小段轨迹之间的相似性得分生成的步骤：
301、利用颜色直方图来度量单视图目标的外观相似性获得外观轨迹一致性：
计算单个视图轨迹的目标颜色直方图；
将颜色直方图的中值Ψ(B)作为轨迹B的外观描述符；
利用直方图相交计算轨迹间外观相似性
Figure FDA0003568651290000022
302、利用恒定速度运动模型来预测运动一致性获得动作连续性：
利用运动模型计算正向偏差误差δp和反向偏差误差δn；
通过δ＝α(δp+δn)测量轨迹间差异性；
将误差转化为相似性
Figure FDA0003568651290000023
结合以上相似性得分，利用线性组合计算边的权重为：
Figure FDA0003568651290000024
CN202210311724.2A 2022-03-28 2022-03-28 一种基于高空视角与地面视角的多目标协同跟踪方法 Pending CN114648557A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210311724.2A CN114648557A (zh) 2022-03-28 2022-03-28 一种基于高空视角与地面视角的多目标协同跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210311724.2A CN114648557A (zh) 2022-03-28 2022-03-28 一种基于高空视角与地面视角的多目标协同跟踪方法

Publications (1)

Publication Number Publication Date
CN114648557A true CN114648557A (zh) 2022-06-21

Family

ID=81994694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210311724.2A Pending CN114648557A (zh) 2022-03-28 2022-03-28 一种基于高空视角与地面视角的多目标协同跟踪方法

Country Status (1)

Country Link
CN (1) CN114648557A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619832A (zh) * 2022-12-20 2023-01-17 浙江莲荷科技有限公司 多摄像头协同进行多目标轨迹确认方法、系统及相关装置
CN116843721A (zh) * 2023-08-28 2023-10-03 天津大学 视频多目标检测关联与轨迹生成方法、装置及电子设备
CN117218157A (zh) * 2023-09-14 2023-12-12 北京航空航天大学 一种基于空地协同的目标跟踪方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619832A (zh) * 2022-12-20 2023-01-17 浙江莲荷科技有限公司 多摄像头协同进行多目标轨迹确认方法、系统及相关装置
CN116843721A (zh) * 2023-08-28 2023-10-03 天津大学 视频多目标检测关联与轨迹生成方法、装置及电子设备
CN116843721B (zh) * 2023-08-28 2024-01-19 天津大学 视频多目标检测关联与轨迹生成方法、装置及电子设备
CN117218157A (zh) * 2023-09-14 2023-12-12 北京航空航天大学 一种基于空地协同的目标跟踪方法及系统

Similar Documents

Publication Publication Date Title
CN113034548B (zh) 一种适用于嵌入式终端的多目标跟踪方法及其系统
Minaeian et al. Effective and efficient detection of moving targets from a UAV’s camera
CN109064484B (zh) 基于子群组划分与动量特征融合的人群运动行为识别方法
CN114648557A (zh) 一种基于高空视角与地面视角的多目标协同跟踪方法
Sidla et al. Pedestrian detection and tracking for counting applications in crowded situations
Rout A survey on object detection and tracking algorithms
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
Moutakki et al. Real-time system based on feature extraction for vehicle detection and classification
CN112581503B (zh) 一种多视角下的多目标检测与跟踪方法
Najiya et al. UAV video processing for traffic surveillence with enhanced vehicle detection
Ke et al. Motion-vector clustering for traffic speed detection from UAV video
CN107315994B (zh) 基于Spectral Clustering空间轨迹的聚类方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN102034267A (zh) 基于关注度的目标物三维重建方法
Saif et al. Crowd density estimation from autonomous drones using deep learning: challenges and applications
CN113190711A (zh) 地理场景中视频动态对象轨迹时空检索方法及系统
Li et al. Vehicle object detection based on rgb-camera and radar sensor fusion
CN102123234B (zh) 无人机侦察视频分级运动补偿方法
Cao et al. Tracking vehicles as groups in airborne videos
CN111950524A (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
Brown et al. Feature-aided multiple target tracking in the image plane
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
Karaki et al. A comprehensive survey of the vehicle motion detection and tracking methods for aerial surveillance videos
Saif et al. Adaptive long term motion pattern analysis for moving object detection using UAV aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination