CN114926859B - 一种结合头部跟踪的密集场景下行人多目标跟踪方法 - Google Patents
一种结合头部跟踪的密集场景下行人多目标跟踪方法 Download PDFInfo
- Publication number
- CN114926859B CN114926859B CN202210513751.8A CN202210513751A CN114926859B CN 114926859 B CN114926859 B CN 114926859B CN 202210513751 A CN202210513751 A CN 202210513751A CN 114926859 B CN114926859 B CN 114926859B
- Authority
- CN
- China
- Prior art keywords
- head
- whole body
- pedestrian
- tracking
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 7
- 238000013461 design Methods 0.000 claims abstract description 4
- 230000004886 head movement Effects 0.000 claims abstract description 4
- 239000002245 particle Substances 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012952 Resampling Methods 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000000691 measurement method Methods 0.000 claims description 2
- 238000012809 post-inoculation Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 241001239379 Calophysus macropterus Species 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002045 lasting effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- SFRALHFBKRAJPW-UHFFFAOYSA-N IDFP Chemical compound CCCCCCCCCCCCP(F)(=O)OC(C)C SFRALHFBKRAJPW-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种结合头部跟踪的密集场景下行人多目标跟踪方法。为减小密集场景中严重的遮挡现象给跟踪器带来性能下降的负面影响，考虑到头部是行人整个身体最高最不易被遮挡的部位，本发明设计了一种新型的结合头部跟踪的行人多目标跟踪方法。首先，使用头部跟踪器生成行人头部运动轨迹，同时检测出行人的全身边界框；其次计算头部边界框和全身边界框之间的关联程度，使用匈牙利算法对上述计算结果进行匹配；最后根据匹配结果将头部轨迹中头部边界框替换为全身边界框，并输出密集场景下行人全身的运动轨迹。实验证明，本发明有效降低了密集场景下严重遮挡为跟踪器带来的漏报和误报等负面影响。
Description
【技术领域】
本发明涉及人工智能的多目标跟踪领域，具体而言是一种基于深度学习的，结合头部跟踪的密集场景下行人多目标跟踪方法。
【背景技术】
多目标跟踪(MultipleObjectTracking，MOT)算法是一种通用的算法，可以应用在视觉领域的各个方面，常见的有安防领域、自动驾驶领域以及医疗领域。先检测后跟踪(TrackingByDetection，TDB)是MOT领域的一种范式，TDB具有精度高、速度快、具备实时性的特点，是当前行人多目标跟踪领域的主流方法。DeepSort是一种遵从TDB范式的多目标跟踪算法：在运行DeepSort之前，首先要用检测器在视频的每一帧图片中检测出感兴趣的目标，然后使用卡尔曼滤波器、匈牙利算法、特征提取器等组件，综合考虑目标边界框的运动轨迹、外观相似度、运动相似度等信息，按照预测、匹配、更新的流程来计算目标的运动轨迹。DeepSort运行速度快、可以满足实时性、拥有较高的准确度，因此是目前工业界使用率最高的MOT算法之一。粒子滤波(ParticleFilter)是另外一种多目标跟踪方法，它建立起一组在状态空间中传播的随机样本，使用样本的均值将来寻找目标，进而获得系统状态的最小方差估计，这些样本被形象地称为“粒子”。可以将粒子滤波分为四部分：①目标初始化②目标搜索③加权决策④目标重采样，粒子滤波在运行时按照①->②->③->④->②->③->④……的操作顺序来获得每一帧中目标的运动轨迹。
在多目标跟踪算法的实现过程中，目标被遮挡一直是令研究者头疼的问题。遮挡表现为目标信息的丢失，而跟踪算法的关键就是搜索到足够多的目标信息并判定目标所在，所以遮挡给目标跟踪的可靠性带来很大挑战，可能导致跟踪的不稳定甚至丢失目标。相较于一般的多目标跟踪场景，密集场景中庞大的目标数量导致目标间存在着更严重的互遮挡现象，因此密集场景中目标被遮挡的频率和遮挡程度也更加严重。如何有效的处理遮挡，特别是密集场景中严重和频繁的遮挡，一直是多目标跟踪中的一个难点。目前多数MOT系统都不能处理较严重的遮挡问题，也不能提供标准来判断何时终止及何时重新开启目标的轨迹轨迹，且在目标丢失情况下没有相应的重新获取目标的引导方法。
【发明内容】
本发明的目的是解决密集场景中的目标严重和频繁的遮挡问题,降低密集场景下目标被遮挡给多目标跟踪工作带来的负面影响。综合考虑到行人的头部是行人全身上最不易被遮挡，而且是一个可以被有效跟踪的身体部位，本发明提出了一种行之有效的结合头部跟踪的多目标跟踪方法，该方法在执行密集场景下的多目标跟踪任务时十分有效。
本发明的技术方案
一种结合头部跟踪的密集场景下行人多目标跟踪方法，该方法处理的对象是在行人密集地点拍摄的一段视频，视频中有多个行人在视频画面中走动；该方法对视频中的每一帧图片，按照如下步骤进行操作：
第1步、头部轨迹和全身边界框的生成；
以原始视频帧作为跟踪器的输入，使用头部跟踪器生成行人运动时的带有头部边界框的头部轨迹，同时使用全身检测器生成全身边界框。
第1.1步、头部跟踪的流程符合先检测后跟踪(TrackingByDetection)范式，即先使用头部检测器检测图片中行人头部边界框，然后根据检测结果完成头部跟踪任务。头部检测器的流程如下：
1)使用带有特征金字塔模型和上下文预测模块(ContextSensitivePredictionModule)的Resnet50对图片提取特征；
2)随后使用转置卷积(TransposeConvolution)来提高特征映射的空间分辨率；
3)受到FasterRCNN设计结构的启发，最后将之前步骤1)中提取到图片中头部特征信息输入区域提取网络，后接种类预测模块和边界框预测模块，最终输出行人头部边界框；
第1.2步、接下来根据头部检测器的检测结果对行人头部进行跟踪，头部跟踪器由粒子滤波器(ParticleFilter)改进而来，头部跟踪的流程如下：
1)在视频的开头完成对轨迹的初始化工作，根据边界框在前一帧中的位置，使用头部检测器中的回归头来调整当前帧中每个粒子的位置；
2)接下来使用重采样(Resample)来替换重要性不高的粒子，以降低退化带来的影响；
3)最后使用恒定速度假设(ConstantVelocityAssumption)模型来恢复一些已经被设为非激活状态的轨迹。
第1.3步、使用全身检测器生成全身边界框的流程如下：
1)在Faster-RCNN的基础之上，后接两个1024维的全连接层，由EMD(EarthMover’sDistanceLoss)损失函数获得两组边界框的实例数据。
2)使用一个精炼模块(RefinementModule)对输出结果进行微调，增强全身检测器在密集场景中的泛化能力。
第2步、判断头部边界框和全身边界框是否属于同一目标即行人；
1)使用新型的边界框相似度度量方法包含比(IntersectionOverContainment，IOC)计算当前帧中头部边界框和全身边界框之间的关联程度，IOC通过计算头部边界框被身体边界框包含的程度，反映了头部边界框和身体边界框的对应程度，其具体的计算方式为：头部边界框与全身边界框相交部分的面积除以整个全身边界框的面积，根据IOC的属性,其值域为[0,1]。
2)将IOC的计算结果输入匈牙利算法，匈牙利算法可以将属于同一目标的头部边界框和全身边界框关联起来，得到头部边界框和全身边界框的匹配结果。
第3步、全身运动轨迹的最终确认；
根据第2步的匹配结果，将第1步得到的头部轨迹里的头部边界框替换为全身边界框，本发明的最终输出为包含行人全身边界框的行人全身运动轨迹。
本发明的优点和积极效果
头部是行人全身最高且最不易被遮挡的部位，这一点体现在：密集场景下头部检测器能检测出大量身体检测器不能检测到的目标：在输入同一张图片的前提下，头部检测器检测出64个行人头部边界框，而全身检测器仅能检测出71个目标中的46个，具体效果如图1所示。再一点，相较于行人的整个身体，头部拥有更小的尺寸，这意味着即便在一些特殊情况中头部被遮挡，由于其体态较小的特点，头部信息很快又会重新出现在画面中，而跟踪器往往能在一定程度上恢复短期被遮挡目标的轨迹。因此，在密集场景中使用头部跟踪取代身体跟踪，可以在相当程度上降低由严重遮挡带来的负面影响。
为了解决多目标跟踪器在密集场所表现不佳的问题，综合考虑到行人的头部在密集场景中更适合作为MOT任务的跟踪对象，本发明提出了一种新颖的结合头部跟踪的密集场景下行人多目标跟踪方法。本发明在取得头部运动轨迹的基础上，将头部边界框与全身边界框进行匹配，最后根据匹配结果将头部轨迹中的头部边界框替换为全身边界框。本发明在保证了跟踪精度的基础之上，有效降低了遮挡带来的漏报和误报问题，提高了多目标跟踪器在密集场景中的实际表现。本发明可以在人流量密集的地点和场所，如机场、车站、体育馆、购物中心、十字路口等，执行多目标跟踪任务，具有一定的实用价值。
【附图说明】
图1是头部检测器和身体检测器在密集场景下的效果比较，头部检测器检测出64个行人头部边界框，而全身检测器仅能检测出71个目标中的46个；
图2是本发明整体网络的结构图，对跟踪视频中的每一帧图片执行图中所示的操作。
图3是本发明中头部检测器结构图；
图4是全身检测器结构图，其中(a)为全身检测器的结构图，(b)为全身检测器中精炼模型部分的结构图；
图5是二分图的经典结构：X和Y是两个点集，每个点集中都有若干个端点，端点之间的连线表示两个端点之间的权重；
图6是包含比IOC和交并比IOU(IntersectionOverUnion)的定义，并将两者进行对比；
图7是本发明与多种多目标跟踪算法的对比图，其中“↑”表示该指标越高越好，“↓”表示该指标越低越好。
【具体实施方式】
实施例
一种结合头部跟踪的密集场景下行人多目标跟踪方法，本发明的输入为一段由固定相机录制的关于行人走动的视频录像，本发明由3部分组成，整体结构图如图2所示，下面的“第1步”、“第2步”、“第3步”详细描述了对视频中的每一帧图片做出的操作步骤：
第1步、头部轨迹和全身边界框的生成；
使用头部跟踪器和全身检测器分别生成行人运动时的头部轨迹(包含头部边界框)和全身边界框。其中头部跟踪器的设计遵从TDB范式并由头部检测器和头部跟踪器组成，全身检测器在FasterRCNN的基础上改进而来，接下来对本发明中的头部跟踪器和全身检测器分别展开介绍。
第1.1、头部检测器的整体结构如图3所示。本发明的头部检测器是一个端到端的二级检测器，它由三个功能模块组成。首先，使用Resnet50作为骨干网络，使用FPN提取多尺度模型。考虑到头部在密集场景中往往容易受到无关信息的干扰，故在原有基础上添加了一个上下文预测模块(ContextSensitivePredictionModule)。其次，为了提高特征映射的空间分辨率，我们对所有金字塔层次的特征做了一次转置卷积(TransposeConvolution)操作。最后，我们使用了区域提议网络(RegionProposalNetwork)生成目标提议，并使用回归和分类头分别提供位置偏移和置信度评分。
第1.2、将第1.1中头部检测的输出结果输入头部跟踪器，头部跟踪器由粒子滤波器改进而来，其具体的执行流程如下：
在视频的开头处将对轨迹进行初始化，在无法与现有轨迹匹配的边界框处初始化新的轨迹，初始化后的轨迹粒子的表达形式为：
其中(xc,yc,w,h)中的每一项分别表示粒子在x轴方向上的中心坐标、y轴方向上的中心坐标、宽度、高度；而带“·”的项表示对粒子的下一步预测。
对于随后的视频帧，在该帧的特征图上执行感兴趣区域池化操作，对头部边界框进行边界框回归来获得前一帧它出现的位置，并根据其回归头的权重为各自的前景框打分。轨迹的预测位置根据粒子的加权平均值决定：
其中表示第t帧中第k条轨迹的预测；M是粒子的数量；表示第t帧中与第k条轨迹向关联的第i个粒子；进一步，表示的权重。
粒子滤波本身存在退化的问题，因此我们使用了重采样来替换重要性不高的粒子。当有重要影响的粒子数量对回归头的位置产生的影响到达阈值时，对该粒子进行重采样。
其中，M、表达的含义在上文中已给出，此处不再赘述。
当轨道的估计状态s的分数低于阈值μ时，轨道设置为非激活状态。根据恒定速度假设模型(ConstantVelocityAssumption)对这些轨迹下一步的位置进行估计，如果新轨迹的位置与检测结果有较高的相似度，则恢复对这些轨迹的跟踪，相似度C的计算方式为：
其中α和β是代表权重的超参数，IOU(·)表示计算两个边界框之间的IOU值，d1(·)表示色调饱和度明度(HueSaturationValue)空间中相应颜色直方图之间的巴氏距离(BhattacharyyaDistance)，分别表示第t帧中第i条非激活状态的轨迹和第j条新初始化后的轨迹。一旦轨迹被重新识别，我们就重新初始化它新位置周围的粒子。
第1.3、全身检测器的整体构造如图4(a)所示。在本发明中，全身检测器需要胜任在密集场景下执行目标检测的任务，然而实际情况是密集场景下互相重叠较严重的目标难以单独处理，因此将数个彼此间IOU较高的边界框融合在一起，融合后的样本G(bi)描述为：
其中bi表示提议框；gi表示真实边界框；表示所有真实边界框的集合；θ表示IOU计算时的阈值。
在本发明中，第i个提议框的表示方式为(ci,li)，其中ci表示提议框的目标类别，li表示提议框的相对坐标。对于每一帧图片，提议框的数量往往有多个，因此每帧图片的实例预测由一个提议框集合P(bi)表示：
其中K是一个预设的常数，表示一帧图像中最多有K个目标。
损失函数的意义是缩小预测集P(bi)与真实边界框集G(bi)的位置和置信度差异，本发明中使用的损失函数表示方法如下：
其中π表示一个确切的序列，该序列共有K项，序列中第k项的值为数值k；和在上文已给出，此处不再赘述；表示第πk个真实边界框；和分别表示分类损失函数和回归损失函数。
每一个融合后的样本都包含了数个边界框，这使得预测后的结果包含更多的边界框，这提高了误报的风险，因此加入了一个补充的精炼模块，该模块视输出结果的好坏情况决定是否添加。精炼模块的结构如图4(b)所示，它将预测作为输入，与提议框相结合，来纠正由于融合带来的错误预测。
第2步、判断头部边界框和全身边界框是否属于同一目标即行人；
第1步中得到的头部边界框和全身边界框可以视为一张二分图，二分图(Bipartite Graph)是一类特殊的图，它可以被划分为两个部分，每个部分内的点互不相连，图5是一张典型的二分图。头部边界框和全身边界框分别构成了二分图的两个点集，两点之间的权重由代表这两个点的头部边界框和全身边界框之间的IOC计算结果得来。
IOC反应了行人头部边界框被全身边界框包含的情况，其计算方式为：头部边界框与全身边界框相交部分的面积除以整个全身边界框的面积，根据IOC的属性,其值域为[0,1]。IOC与IOU计算方式略有不同，不同点展现在IOC除的是较大边界框(全身边界框)的面积，而IOU除的是两个边界框相交部分的面积，图6从视觉角度上展示了两者的特点。
将上述构建出来的二分图输入匈牙利算法，作为一种分配算法，匈牙利算法完成目标(行人)头部边界框和全身边界框的匹配工作。
第3步、全身运动轨迹的最终确认；
根据第2步中头部边界框与全身边界框的匹配情况，将第1步中头部运动轨迹中的头部边界框替换为第1步中得到的身体边界框。对于没有头部边界框与之匹配的身体边界框，和没有身体边界框与之匹配的头部边界框，将直接被舍弃。
我们为本发明做了相应的实验来验证本发明的实际效果，实验的具体内容如下。
MOT Challenge(https://motchallenge.net/)是多目标跟踪领域一个很有影响力的比赛，自从MOT Challenge于2015年发布其第一个多目标跟踪数据集以来，每年都有多篇参赛项目论文被计算机视觉顶会收录，目前大多数行人多目标跟踪的论文也都会使用其中的若干项目来完成自己的实验。MOT Challenge主要专注于多目标行人跟踪，视频分辨率大多为1920*1080，且持续一分钟左右，视频中的绝大多数目标经常会出现遮挡现象。其最新发布的项目，如MOT20、HT21等，属于密集场景的下的多目标跟踪，目标数量庞大，里面的遮挡频率和遮挡程度也都更加频繁。
本发明的实验部分使用了MOT Challenge中的MOT20数据集作为训练集和测试集。MOT20是一个关于密集场景下多目标行人跟踪的数据集，分为训练集和测试集：其中训练集有4个视频序列，共有持续357秒的8931帧图片，目标总的数目为1336920，平均每帧有149.7个目标；测试集有4个视频序列，共有持续178秒的4479帧图片，目标总的数目为765465，平均每帧有170.9个目标。视频拍摄了涵盖广场、车站、街道等行人密集的场所，有在白天拍的，也有晚上拍的，丰富的场景元素可以更加充分地证明跟踪器的性能。
MOTA(MultipleObjectTrackingAccuracy，多目标跟踪准确度，有时也被称为Clear)是MOT领域最常见的评估指标，该指标将跟踪过程中的漏检、误检、目标ID交换等因素综合在一起计算，比较全面地反应了跟踪器的跟踪质量，该数值越高表示跟踪的效果越好，MOTA的计算方式如下：
其中FP(FalsePositive，被模型预测为正的负样本)表示输出结果中的漏检现象；FN(FalseNegative，被模型预测为负的正样本)表示输出结果的误检现象；IDs(ID Switch)表示输出结果中轨迹ID互换的现象，它体现了跟踪器跟踪结果结果的稳定性；gt(GroundTruth，真实结果)是人工手动标注的真实目标；∑t(·)表示在总帧数为t的视频序列中出现相应现象出现的总次数。
IDF1(Identification F-Score，识别F值)是指每个行人框中行人ID识别的F值，体现了正确识别的检测与平均真实数和计算检测数之比。MOTA的侧重点是跟踪的轨迹是否存在，忽视了多个目标相互之间的ID特性，IDF1的存在弥补了MOTA在这方面的不足，IDF1的计算方式如下：
其中IDTP表示输出结果中目标ID被模型预测为正的正样本出现次数，IDFP表示输出结果中目标ID被模型预测为正的负样本出现次数，IDFN表示输出结果中目标ID被模型预测为负的正样本出现。
MOTA和IDF1的配合使用，可以互相弥补彼此之间的不足，全面地展示了多目标跟踪器输出结果的质量。
我们在MOT20数据集上将本发明的实际表现与其它数个多目标跟踪器进行对比，实验结果如图7所示。由图7可以看出本发明在MOTA和IDF1这两个最为重要的两个指标上均取得了较好的结果，本发明在处理密集场景的行人多目标跟踪任务时较现有方法有明显的提升。在行人密集地点如车站、十字路口、体育馆、医院等执行多目标跟踪任务时，应用改技术能够提供较大的帮助。
Claims (2)
1.一种结合头部跟踪的密集场景下行人多目标跟踪方法，该方法处理的对象是在行人密集地点拍摄的一段视频，视频中有多个行人在视频画面中走动；该方法对视频中的每一帧图片，按照如下步骤进行操作：
第1步、头部轨迹和全身边界框的生成；
以原始视频帧作为跟踪器的输入，使用头部跟踪器和全身检测器分别生成行人运动时带有头部边界框的头部运动轨迹和全身边界框；
第2步、判断头部边界框和全身边界框是否属于同一目标即行人；
使用新型的边界框相似度度量方法包含比IOC计算当前帧中头部边界框和全身边界框之间的关联程度，将IOC的计算结果输入匈牙利算法，匈牙利算法进一步计算后得到头部边界框和全身边界框的匹配结果；
所述使用IOC计算当前帧中头部边界框和全身边界框之间的关联程度的方法是，IOC通过计算头部边界框被身体边界框包含的程度，反映头部边界框和身体边界框的对应程度，具体的计算方式为：头部边界框与全身边界框相交部分的面积除以整个全身边界框的面积，根据IOC的属性,其值域为[0,1]；将IOC的计算结果输入匈牙利算法，能够将属于同一目标的头部边界框和全身边界框关联起来；
第3步、全身运动轨迹的最终确认；
根据第2步的匹配结果，将第1步得到的头部轨迹中头部边界框替换为全身边界框，得到的结果是包含行人全身边界框的行人全身运动轨迹，将该结果作为最终输出。
2.根据权利要求1所述的结合头部跟踪的密集场景下行人多目标跟踪方法，其特征在于，第1步中所述使用头部跟踪器和全身检测器分别生成带有头部边界框的头部轨迹和全身边界框的方法如下：
第1.1步、头部跟踪的流程符合先检测后跟踪范式，即先使用头部检测器检测图片中行人头部边界框，然后根据检测结果完成头部跟踪任务；
头部检测器的流程如下：
1)使用带有特征金字塔模型和上下文预测模块的Resnet50对图片提取特征；
2)随后使用转置卷积来提高特征映射的空间分辨率；
3)受到FasterRCNN设计结构的启发，最后将之前步骤1)中提取到图片中头部特征信息输入区域提取网络，后接种类预测模块和边界框预测模块，最终输出行人头部边界框；
第1.2步、接下来根据头部检测器的检测结果对行人头部进行跟踪，头部跟踪器由粒子滤波器改进而来，头部跟踪的流程如下：
1)在视频的开头完成对轨迹的初始化工作，根据边界框在前一帧中的位置，使用头部检测器中的回归头来调整当前帧中每个粒子的位置；
2)接下来使用重采样来替换重要性不高的粒子，以降低退化带来的影响；
3)最后使用恒定速度假设模型来恢复一些已经被设为非激活状态的轨迹；
第1.3步、使用全身检测器生成全身边界框的流程如下：
1)在Faster-RCNN的基础之上，后接两个1024维的全连接层，由EMD损失函数获得两组边界框的实例数据；
2)使用一个精炼模块对输出结果进行微调，增强全身检测器在密集场景中的泛化能力。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210003590 | 2022-01-04 | ||
| CN2022100035908 | 2022-01-04 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114926859A CN114926859A (zh) | 2022-08-19 |
| CN114926859B true CN114926859B (zh) | 2024-09-03 |
Family
ID=82809309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210513751.8A Active CN114926859B (zh) | 2022-01-04 | 2022-05-12 | 一种结合头部跟踪的密集场景下行人多目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114926859B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116434150B (zh) * | 2023-06-14 | 2023-12-05 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 面向拥挤场景的多目标检测跟踪方法、系统及存储介质 |
| CN116912882B (zh) * | 2023-07-13 | 2024-06-28 | 广西民族大学 | 一种基于头部和躯干检测的增强DeepSort单镜行人跟踪算法 |
| CN117036407B (zh) * | 2023-08-11 | 2024-04-02 | 浙江深象智能科技有限公司 | 多目标跟踪方法、装置及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919974A (zh) * | 2019-02-21 | 2019-06-21 | 上海理工大学 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
| CN111027370A (zh) * | 2019-10-16 | 2020-04-17 | 合肥湛达智能科技有限公司 | 一种多目标跟踪及行为分析检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10685244B2 (en) * | 2018-02-27 | 2020-06-16 | Tusimple, Inc. | System and method for online real-time multi-object tracking |
| CN111709974B (zh) * | 2020-06-22 | 2022-08-02 | 苏宁云计算有限公司 | 基于rgb-d图像的人体跟踪方法及装置 |
| CN112488057A (zh) * | 2020-12-17 | 2021-03-12 | 北京航空航天大学 | 一种利用人头点定位和关节点信息的单相机多目标跟踪方法 |
-
2022
- 2022-05-12 CN CN202210513751.8A patent/CN114926859B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919974A (zh) * | 2019-02-21 | 2019-06-21 | 上海理工大学 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
| CN111027370A (zh) * | 2019-10-16 | 2020-04-17 | 合肥湛达智能科技有限公司 | 一种多目标跟踪及行为分析检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114926859A (zh) | 2022-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114926859B (zh) | 一种结合头部跟踪的密集场景下行人多目标跟踪方法 | |
| CN111488795A (zh) | 应用于无人驾驶车辆的实时行人跟踪方法 | |
| CN111862145B (zh) | 一种基于多尺度行人检测的目标跟踪方法 | |
| CN107798691B (zh) | 一种基于视觉的无人机自主着陆地标实时检测跟踪方法 | |
| CN113763427B (zh) | 一种基于从粗到精遮挡处理的多目标跟踪方法 | |
| CN111784744A (zh) | 一种基于视频监控的目标自动检测与跟踪方法 | |
| He et al. | Fast online multi-pedestrian tracking via integrating motion model and deep appearance model | |
| CN112507859B (zh) | 一种用于移动机器人的视觉跟踪方法 | |
| CN115457082A (zh) | 一种基于多特征融合增强的行人多目标跟踪算法 | |
| CN103761747A (zh) | 一种基于加权分布场的目标跟踪方法 | |
| Khan et al. | Event detection from video using answer set programming | |
| Spinello et al. | Multimodal People Detection and Tracking in Crowded Scenes. | |
| CN114627339B (zh) | 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质 | |
| CN111797785A (zh) | 一种基于机场场面先验与深度学习的多航空器跟踪方法 | |
| Jiang et al. | Surveillance from above: A detection-and-prediction based multiple target tracking method on aerial videos | |
| Xie et al. | A multi-object tracking system for surveillance video analysis | |
| Lu et al. | Hybrid deep learning based moving object detection via motion prediction | |
| Sri Jamiya | An efficient algorithm for real-time vehicle detection using deep neural networks | |
| CN111815682A (zh) | 一种基于多轨迹融合的多目标跟踪方法 | |
| CN116935325A (zh) | 一种基于检测和跟踪的公交站台遗留物检测方法 | |
| CN105809719A (zh) | 一种基于像素多编码表匹配的对象跟踪方法 | |
| CN112613472B (zh) | 一种基于深度搜索匹配的行人检测方法及系统 | |
| Altaf et al. | Presenting an effective algorithm for tracking of moving object based on support vector machine | |
| Cheng et al. | Abnormal behavior detection for harbour operator safety under complex video surveillance scenes | |
| Revathi et al. | A survey of activity recognition and understanding the behavior in video survelliance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |