CN111639551B - 基于孪生网络和长短期线索的在线多目标跟踪方法和系统 - Google Patents
基于孪生网络和长短期线索的在线多目标跟踪方法和系统 Download PDFInfo
- Publication number
- CN111639551B CN111639551B CN202010404941.7A CN202010404941A CN111639551B CN 111639551 B CN111639551 B CN 111639551B CN 202010404941 A CN202010404941 A CN 202010404941A CN 111639551 B CN111639551 B CN 111639551B
- Authority
- CN
- China
- Prior art keywords
- frame
- target
- tracking
- pedestrian
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000004044 response Effects 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 230000001502 supplementing effect Effects 0.000 claims abstract description 7
- 230000007774 longterm Effects 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000013441 quality evaluation Methods 0.000 claims description 5
- 238000001303 quality assessment method Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 5
- 238000012937 correction Methods 0.000 abstract description 5
- 238000012805 post-processing Methods 0.000 abstract description 4
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 101000642315 Homo sapiens Spermatogenesis-associated protein 17 Proteins 0.000 description 2
- 102100036408 Spermatogenesis-associated protein 17 Human genes 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001239379 Calophysus macropterus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于孪生网络和长短期线索的在线多目标跟踪方法和系统，属于多目标跟踪领域。包括：孪生网络模块，用于将跟踪目标模板与搜索区域进行互相关得到响应图，获取初步预测的每个目标的跟踪轨迹；校正模块，用于将初步轨迹和观测框组合在一起，通过行人回归网络修正行人框；数据关联模块，用于计算跟踪轨迹和观测行人的相似度，通过分别提取跟踪轨迹和观测行人的长短期线索并将其进行融合，进而计算其相似度，为每个跟踪轨迹分配对应的观测行人框；轨迹后处理模块，用于对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪。本发明完善了多目标跟踪任务中表观特征融合及行人交互遮挡，大尺度变化问题，提升准确度，缓解特征不对齐的问题。
Description
技术领域
本发明属于多目标跟踪技术领域，更具体地，涉及基于孪生网络和长短期线索的在线多目标跟踪方法和系统。
背景技术
面对越来越复杂的视频场景，要实现对海量的视频数据的有效处理，就需要做到对视频内所有有意义的目标进行检测、定位、跟踪以及分析，其中，多目标跟踪(MultiObject Tracking/Multi Target Tracking)作为一个中层的视觉任务，在其中起着十分关键的作用，通过安防摄像头实时地监控城市社区，公路交通，精准跟踪居家隔离，人群聚集处的行人，外来人员以及进出车辆，对于疫情监测有着巨大的现实意义。多目标跟踪面向的是大面积，多行人的复杂场景，且每一帧的行人数量不定，非常适用于视频监控场景。
近年来，随着深度学习在计算机视觉领域的广泛应用，目标跟踪领域(尤其是单目标跟踪)得到了快速的发展。其中多目标跟踪领域已经形成了基于检测跟踪的主体架构。常见的预测模型目前多采用基于运动信息的运动模型，但是运动模型多假设跟踪物体处于匀速运动的状态，对于一些突变的运动状态(转向、加速跑、急停等)无法较好的处理，同时对于行人交互遮挡的情况也极易跟丢，而且一旦跟丢，轨迹就很难再次重连。
由于多目标跟踪场景下存在着大量的高密度人群，且行人数量不定，行人之间存在交互遮挡的现象，现有的基于检测的多目标跟踪算法仍存在很大不足。
发明内容
针对现有多目标跟踪任务中跟踪目标之间的交互遮挡问题及大尺度形态变化的缺陷和改进需求，本发明提供了一种基于孪生网络和长短期线索的在线多目标跟踪方法和系统，其目的在于能够最大限度完善多目标跟踪任务中表观特征融合及行人交互遮挡，大尺度变化问题的解决，大大提升数据关联精度及准确度，还能缓解特征不对齐的问题。
为实现上述目的，按照本发明的第一方面，提供了一种基于孪生网络和长短期线索的在线多目标跟踪方法，该方法包括以下步骤：
S0.将监控视频第一帧的目标检测结果作为观测框进行裁剪，得到第1帧各目标的观测框，将其作为孪生网络的第一输入，进行目标模板初始化，将第1帧各目标的观测框作为该目标跟踪轨迹的起始状态，T＝2；
S1.对第T帧进行目标检测，将第T帧的目标检测结果作为观测框进行裁剪，得到第T帧各目标的观测框；以第T-1帧各目标模板的所在位置的N倍区域作为搜索区域在第T帧中进行裁剪，得到第T帧的搜索区域图片，N≥1；
S2.将第T帧的搜索区域图片作为孪生网络的第二输入，得到最有可能的跟踪框，作为每个目标第T帧的跟踪框；
S3.使用训练好的Re-ID模型对每个目标第T帧的观测框和跟踪框分别进行特征提取，将提取到的特征进行相似度计算，得到每个目标第T帧的长期特征线索；计算每个目标第T帧的跟踪框和观测框之间的IOU，作为每个目标第T帧的短期特征线索；
S4.对提取到的长期线索和短期线索进行融合，得到每个目标第T帧的融合特征线索；
S5.将每个第T帧的融合特征线索作为数据关联的代价矩阵，进行跟踪轨迹与观测框的匹配；
S6.根据数据关联结果，对跟踪轨迹进行更新、补充和删减，完成第T帧的跟踪；
S7.判断视频是否结束，若是，则结束，否则，将当前跟踪轨迹的当前行人框作为目标模板输入到孪生网络中进行更新，T＝T+1，返回步骤S1。
优选地，所述孪生网络包括以下处理：
(1)提取每个目标的模板特征图，再提取该目标对应搜索区域图片的特征图；
(2)将模板特征图与搜索区域特征图进行互相关，得到多通道响应图；
(3)对多通道响应图中的跟踪目标进行分类，根据多通道响应图中的响应信息预测行人回归框；
(4)通过质量评估对行人回归框进行打分；
(5)将质量评估得分和分类置信度分数的乘积作为最终得分，将最终得分最高的回归框作为跟踪框。
优选地，质量评估得分计算公式如下：
其中，l*,r*,t*,b*分别表示目标中心点到目标四条边的距离。
优选地，所述Re-ID模型包括：全局分支和局部分支，分别基于多注意力联合机制，提取全局特征和局部特征。
优选地，通过以下任一种方式在Re-ID模型的底层CNN引入IBN-Net：
1)在图片输入之后的第一个卷积的输出通道分为两半，其中，一半进行IN标准化，另一半进行BN标准化，同时在第一个Inception后也进行相同操作；
2)在HACNN的soft attention中的spatial attention与channel attention的输出之后加入IN，并在图片输入后的第一层卷积之后加入IN操作。
优选地，步骤S4包括以下步骤：
S41.通过Re-ID模型获取到的长期线索为reid distance，通过IOU计算获得的短期线索为sot distance，根据目标i轨迹已丢失的次数pausei计算比例系数
S42.判断pausei是否超过2，若是，则增加比例系数，新的比例系数
长期线索更新为reid distance＝reid distance*(rate÷reid thresh)，否则，长期线索更新为reid distance＝reid distance÷reid thresh，TL表示轨迹丢失的限制时间，reidthresh表示Re-ID增强系数；
S43.计算目标i的代价矩阵costi＝rate×sot distance+(1-rate)×reiddistance。
优选地，在进行所述数据关联之前，将所述校正前的观测行人框输送到孪生网络中进行预测，获取行人框可能在的位置，以获取未筛选前的粗糙行人框，从而确定观测行人框序列。
优选地，步骤S6包括：
对关联成功的跟踪轨迹，直接更新其相关参数；
对没有关联成功的观测框，将此作为初始状态并重新增入跟踪序列；
对没有关联成功的跟踪轨迹，则视为丢失状态；
如果丢失状态持续超过限制时间，则取消轨迹的激活状态。
优选地，轨迹丢失的限制时间计算公式如下：
其中，pd表示行人密度，TL0表示基础时间限制，
表示向下取整操作，numdet表示检测到的行人数量，num0表示行人数量阈值。
为实现上述目的，按照本发明的第二方面，提供了一种基于孪生网络和长短期线索的在线多目标跟踪系统，包括：
孪生网络模块，用于将跟踪目标模板与搜索区域进行互相关获取响应图，获取初步预测的每个目标的跟踪轨迹；
校正模块，用于将获取的初步轨迹和观测框组合在一起，通过行人回归网络修正行人框；
数据关联模块，用于计算跟踪轨迹和观测行人的相似度，通过分别提取跟踪轨迹和观测行人的长短期特征线索并将其进行融合，进而计算其相似度，为每个跟踪轨迹分配对应的观测行人框；
轨迹后处理模块，用于对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明基于孪生网络构建多目标跟踪框架中的预测模型，由于孪生网络的核心思想是基于响应图的，即通过比较目标模板与候选区域的特征相似度来判断其为跟踪目标的可能性，这样就减少了突变运动状态对跟踪的影响。并在分类分支中引入一个质量分支，负责对回归分支的回归框进行打分，综合考量了空间和幅度限制，对回归框进行一个更加精准的得分，最终将得分最高的回归框视为行人预测框。
(2)本发明通过行人重识别技术来对每一帧的跟踪目标进行长期特征线索提取，该网络采用了多注意力联合机制，多注意力联合机制下，模型会更加关注前景，及目标未被遮挡的部分，这样更有利于后续提取精确的长期线索。并构建了一种增强Re-ID模型泛化能力的实例标准化与批量标准化结合的模型结构，从而更好地提取特征线索。
(3)本发明通过Re-ID模块提取行人的长期特征信息，这部分特征信息对于遮挡及大尺度变化等有较强的适应性；通过行人框的重叠度作为短期特征线索，将提取到的长期线索和短期线索进行加权融合，实现对长短期线索的有效利用，从而解决出现一些特殊遮挡或者大尺度变化之后的特征不对齐的问题。
附图说明
图1为本发明提供的一种基于孪生网络和长短期线索的在线多目标跟踪方法流程图；
图2为本发明提供的基于孪生网络的多目标跟踪基础框架结构图；
图3(a)为本发明提供的Re-ID模型结构图；
图3(b)为本发明提供的引入的结合标准化与批量标准化的结构图；
图4为本发明提供的轨迹后处理流程图；
图5为本发明提供的行人区域回归网络结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在线跟踪是指利用历史帧及当前帧的相关信息对下一帧进行预测。
如图1所示，本发明提供了一种基于孪生网络和长短期线索的在线多目标跟踪方法，该方法包括以下步骤：
步骤S0.将监控视频第一帧的目标检测结果作为观测框进行裁剪，得到第1帧各目标的观测框，将其作为孪生网络的第一输入，进行目标模板初始化，将第1帧各目标的观测框作为该目标跟踪轨迹的起始状态，T＝2。
对初始帧的每个目标进行轨迹初始化，记录目标的行人ID、行人框的坐标等信息。
步骤S1.对第T帧进行目标检测，将第T帧的目标检测结果作为观测框进行裁剪，得到第T帧各目标的观测框；以第T-1帧各目标模板的所在位置的N倍区域作为搜索区域在第T帧中进行裁剪，得到第T帧的搜索区域图片，N≥1。
本实施例中，N＝2。
步骤S2.将第T帧的搜索区域图片作为孪生网络的第二输入，得到最有可能的跟踪框，作为每个目标第T帧的跟踪框。
如图2所示，本发明将多目标跟踪任务分解成多个目标的跟踪(SOT)分支并结合表观模型进行数据关联，首先对于行人序列中的每一个目标，都会为其初始化一个跟踪器，单独跟踪该目标，跟踪器以孪生网络为基础结构，对响应图之后的RPN(Region ProposalNetwork，候选区域回归)结构加入了质量检测分支，以对回归框进行打分。
优选地，所述孪生网络包括以下处理：
(1)提取每个目标的模板特征图，再提取该目标对应搜索区域图片的特征图。
(2)将模板特征图与搜索区域特征图进行互相关，得到多通道响应图。
其中，f(z,x)为响应图，
为共享参数的卷积函数，用于提取特征，*为互相关操作，bl为响应图上每个点对应的偏差值。
响应图中包含着目标的位置及语义信息。
(3)对多通道响应图中的跟踪目标进行分类，根据多通道响应图中的响应信息预测行人回归框。
为了减少回归与分类之间的冲突，通常要将其分开进行，即将同一响应图复制成两份，分别用于回归与分类操作。
(4)通过质量评估对行人回归框进行打分。
(5)将质量评估得分和分类置信度分数的乘积作为最终得分，将最终得分最高的回归框作为跟踪框。
孪生网络包括多分支，其中，分类分支负责对响应图中的跟踪目标进行分类，回归分支负责根据响应图中的响应信息预测行人回归框。在分类分支中引入一个质量分支，负责对回归分支的回归框进行打分，最终将得分最高的回归框视为行人预测框。
本发明采用结合位置空间和幅度限制的方式进行打分，优选地，质量评估得分计算公式如下：
其中，l*,r*,t*,b*分别表示目标中心点到目标四条边的距离。
步骤S3.使用训练好的Re-ID模型对每个目标第T帧的观测框和跟踪框分别进行特征提取，将提取到的特征进行相似度计算，得到每个目标第T帧的长期特征线索；计算每个目标第T帧的跟踪框和观测框之间的IOU，作为每个目标第T帧的短期特征线索。
为了保证相同身份行人序列的多样性，采用交并比(Intersection over Union，IOU)和可视度比较的方式筛选样本，初始化每个行人序列的第一张图片后，选择下一张与之IOU小于0.7或者可视度相差超过0.2的同身份行人框作为下一个样本，以此类推。最后可得295个行人ID，共计样本33573个。训练过程采用Adam优化网络权重，初始学习率设置为0.003，batchsize为64，输入分辨率为160×64，一共训练150epochs。多任务卷积神经网络损失函数设计为交叉熵损失函数：
其中，N表示当前训练批次(batch)样本数量，yi和
分别表示行人分类类别联合概率分布的网络预测值和真实标签。
如图3(a)所示，优选地，所述Re-ID模型包括：全局分支和局部分支，分别基于多注意力联合机制，提取全局特征和局部特征。
该网络采用了多注意力联合机制，多注意力联合机制下，模型会更加关注前景，及目标未被遮挡的部分，这样更有利于后续提取精确的长期线索。通过对hard attention与soft attention进行联合，实现对剧烈尺度变化目标，以及被遮挡目标的特征提取。
本发明对Re-ID模型的底层CNN引入IBN-Net。两种IBN-Net的构造方法如图3(b)所示：一种是在图片输入之后的第一个卷积的输出通道分为两半，其中一半进行IN(InstanceNormalization，简称IN)标准化，另一半进行BN(Batch Normalization，简称BN)标准化，同时在第一个Inception后也进行相同操作，称之为HACNN_IBN。另一种是在HACNN的softattention中的spatial attention与channel attention的输出之后加入IN，并在图片输入后的第一层卷积之后加入IN操作，称之为HACNN_IBN_B。Re-ID模型引入了所述的结合标准化与批量标准化的结构进行训练，解决其跨域的泛化性问题。
对跟踪序列与观测中每个对象通过Re-ID提取其的表观特征，最后计算特征余弦距离作为长期线索。结合每个观测对象与跟踪轨迹的重叠的尺度，并计算其重叠程度，作为短期特征线索。
步骤S4.对提取到的长期线索和短期线索进行融合，得到每个目标第T帧的融合特征线索。
具体地，步骤S4包括以下步骤：
S41.通过Re-ID模型获取到的长期线索为reid distance，通过IOU计算获得的短期线索为sot distance，根据目标i轨迹已丢失的次数pausei计算比例系数
S42.判断pausei是否超过2，若是，则增加比例系数，新的比例系数
长期线索更新为reid distance＝reid distance*(rate÷reid thresh)，否则，长期线索更新为reid distance＝reid distance÷reid thresh，TL表示轨迹丢失的限制时间，reidthresh表示Re-ID增强系数。本实施例中，TL＝3帧，reid thresh＝0.7。
S43.计算目标i的cost矩阵costi＝rate×sot distance+(1-rate)×reiddistance。
步骤S5.将每个第T帧的融合特征线索作为数据关联的cost矩阵，进行跟踪轨迹与观测框的匹配。
在多目标跟踪场景下，每一帧的目标个数是动态变化的，包括旧目标的消失，新目标的出现，需要对帧与帧之间的多个目标进行匹配，即数据关联。
利用匈牙利算法完成数据关联，代价矩阵阈值优选为0.7。该步骤可以为每个观测行人框分配对应跟踪轨迹，即目标身份。
步骤S6.根据数据关联结果，对跟踪轨迹进行更新、补充和删减，完成第T帧的跟踪。
具体地，如图4所示，步骤S6包括：
对关联成功的跟踪轨迹，直接更新其相关参数；
对没有关联成功的观测框，将此作为初始状态并重新增入跟踪序列；
对没有关联成功的跟踪轨迹，则视为丢失状态；
如果丢失状态持续超过一定时间，则取消轨迹的激活状态。
优选地，轨迹丢失的限制时间计算公式如下：
其中，pd表示行人密度，TL0表示基础时间限制，
表示向下取整操作，numdet表示检测到的行人数量，num0表示行人数量阈值。num0根据不同场景的复杂度进行设置。
优选地，在进行所述数据关联之前，将所述校正前的观测行人框输送到孪生网络中进行预测，获取行人框可能在的位置，以获取未筛选前的粗糙行人框，从而确定观测行人框序列。
步骤S7.判断视频是否结束，若是，则结束，否则，将当前跟踪轨迹的当前行人框作为目标模板输入到孪生网络中进行更新，T＝T+1，返回步骤S1。
如图5所示，为了得到更加精细的观测框，优选地，在步骤S2和步骤S3之间，该方法还包括：
利用第T帧每个目标的跟踪框，对第T帧的观测框进行补充；
使用区域回归网络对补充后的观测框进行校正，得到每个目标第T帧校正后的观测框。
本发明将以上过程整合为统一的多目标跟踪框架，以MOT17测试集为例进行效果展示。其中，MOTA表示整体跟踪正确的轨迹占比，IDF1表示跟踪轨迹的身份置信度得分，MT表示跟踪轨迹中有效长度超过80％的轨迹占比，ML表示跟踪轨迹中有效长度少于20％的轨迹占比，FP表示背景被判作跟踪对象的数量，FN表示跟踪对象被判作背景的数量，ID Sw表示轨迹中发生身份转换的次数。
最终在MOT17测试集上的整体跟踪效果如表1所示，其中，各视频具体结果见表2。
表1
表2
与方法相对应地，本发明还提供了一种基于孪生网络与长短期线索的在线多目标跟踪系统，包括：
孪生网络模块，通过将跟踪目标模板与搜索区域进行互相关获取响应图，获取初步预测的每个目标的跟踪轨迹；
校正模块，用于将获取的初步轨迹和观测框组合在一起，通过行人回归网络进行修正过的行人框；
数据关联模块，用于计算跟踪轨迹和观测行人的相似度，通过分别提取跟踪轨迹和观测行人的长短期特征线索并将其进行融合，进而计算其相似度，为每个跟踪轨迹分配对应的观测行人框；
轨迹后处理模块，用于对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪。
优选地，所述数据关联模块包括运基于Re-ID表观模型的长期表观特征差异计算模块以及基于行人框重叠度的短期特征差异计算模块，分别用于计算跟踪轨迹和观测行人框长短期表观特征上的差异，接着基于跟踪轨迹相关信息对其进行加权融合，得到最终的特征差异。
其中，所述长期特征差异计算模块的Re-ID模型引入了所述的结合标准化与批量标准化的结构进行训练，已解决其跨域的泛化性问题。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于孪生网络和长短期线索的在线多目标跟踪方法，其特征在于，该方法包括以下步骤：
S0.将监控视频第一帧的目标检测结果作为观测框进行裁剪，得到第1帧各目标的观测框，将其作为孪生网络的第一输入，进行目标模板初始化，将第1帧各目标的观测框作为该目标跟踪轨迹的起始状态，T＝2；
S1.对第T帧进行目标检测，将第T帧的目标检测结果作为观测框进行裁剪，得到第T帧各目标的观测框；以第T-1帧各目标模板的所在位置的N倍区域作为搜索区域在第T帧中进行裁剪，得到第T帧的搜索区域图片，N≥1；
S2.将第T帧的搜索区域图片作为孪生网络的第二输入，得到最有可能的跟踪框，作为每个目标第T帧的跟踪框；
S3.使用训练好的Re-ID模型对每个目标第T帧的观测框和跟踪框分别进行特征提取，将提取到的特征进行相似度计算，得到每个目标第T帧的长期特征线索；计算每个目标第T帧的跟踪框和观测框之间的IOU，作为每个目标第T帧的短期特征线索；
S4.对提取到的长期线索和短期线索进行融合，得到每个目标第T帧的融合特征线索；
S5.将每个第T帧的融合特征线索作为数据关联的代价矩阵，进行跟踪轨迹与观测框的匹配；
S6.根据数据关联结果，对跟踪轨迹进行更新、补充和删减，完成第T帧的跟踪；
S7.判断视频是否结束，若是，则结束，否则，将当前跟踪轨迹的当前行人框作为目标模板输入到孪生网络中进行更新，T＝T+1，返回步骤S1；
步骤S4包括以下步骤：
S41.通过Re-ID模型获取到的长期线索为reid distance，通过IOU计算获得的短期线索为sot distance，根据目标i轨迹已丢失的次数pausei计算比例系数
S42.判断pausei是否超过2，若是，则增加比例系数，新的比例系数
长期线索更新为reid distance＝reid distance*(rate÷reid thresh)，否则，长期线索更新为reid distance＝reid distance÷reid thresh，TL表示轨迹丢失的限制时间，reidthresh表示Re-ID增强系数；
S43.计算目标i的代价矩阵costi＝rate×sot distance+(1-rate)×reid distance。
2.如权利要求1所述的方法，其特征在于，所述孪生网络包括以下处理：
(1)提取每个目标的模板特征图，再提取该目标对应搜索区域图片的特征图；
(2)将模板特征图与搜索区域特征图进行互相关，得到多通道响应图；
(3)对多通道响应图中的跟踪目标进行分类，根据多通道响应图中的响应信息预测行人回归框；
(4)通过质量评估对行人回归框进行打分；
(5)将质量评估得分和分类置信度分数的乘积作为最终得分，将最终得分最高的回归框作为跟踪框。
3.如权利要求2所述的方法，其特征在于，质量评估得分计算公式如下：
其中，l*，r*，t*，b*分别表示目标中心点到目标四条边的距离。
4.如权利要求1至3任一项所述的方法，其特征在于，所述Re-ID模型包括：全局分支和局部分支，分别基于多注意力联合机制，提取全局特征和局部特征。
5.如权利要求4所述的方法，其特征在于，通过以下任一种方式在Re-ID模型的底层CNN引入IBN-Net：
1)在图片输入之后的第一个卷积的输出通道分为两半，其中，一半进行实例标准化，另一半进行批量标准化，同时在第一个Inception后也进行相同操作；
2)在HACNN的soft attention中的spatial attention与channel attention的输出之后加入实例，并在图片输入后的第一层卷积之后加入实例操作。
6.如权利要求1至3任一项所述的方法，其特征在于，在进行所述数据关联之前，将校正前的观测行人框输送到孪生网络中进行预测，获取行人框可能在的位置，以获取未筛选前的粗糙行人框，从而确定观测行人框序列。
7.如权利要求1至3任一项所述的方法，其特征在于，步骤S6包括：
对关联成功的跟踪轨迹，直接更新其相关参数；
对没有关联成功的观测框，将此作为初始状态并重新增入跟踪序列；
对没有关联成功的跟踪轨迹，则视为丢失状态；
如果丢失状态持续超过限制时间，则取消轨迹的激活状态。
8.如权利要求1所述的方法，其特征在于，轨迹丢失的限制时间计算公式如下：
其中，pd表示行人密度，TL0表示基础时间限制，
表示向下取整操作，numdet表示检测到的行人数量，num0表示行人数量阈值。
9.一种基于孪生网络和长短期线索的在线多目标跟踪系统，其特征在于，包括：
计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至8任一项所述的基于孪生网络和长短期线索的在线多目标跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010404941.7A CN111639551B (zh) | 2020-05-12 | 2020-05-12 | 基于孪生网络和长短期线索的在线多目标跟踪方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010404941.7A CN111639551B (zh) | 2020-05-12 | 2020-05-12 | 基于孪生网络和长短期线索的在线多目标跟踪方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111639551A CN111639551A (zh) | 2020-09-08 |
| CN111639551B true CN111639551B (zh) | 2022-04-01 |
Family
ID=72330228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010404941.7A Expired - Fee Related CN111639551B (zh) | 2020-05-12 | 2020-05-12 | 基于孪生网络和长短期线索的在线多目标跟踪方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111639551B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163473A (zh) * | 2020-09-15 | 2021-01-01 | 郑州金惠计算机系统工程有限公司 | 一种多目标跟踪方法、装置、电子设备和计算机存储介质 |
| CN112132152B (zh) * | 2020-09-21 | 2022-05-27 | 厦门大学 | 一种利用短程关联和长程修剪的多目标跟踪与分割方法 |
| CN112132856B (zh) * | 2020-09-30 | 2024-05-24 | 北京工业大学 | 一种基于自适应模板更新的孪生网络跟踪方法 |
| CN112288775B (zh) * | 2020-10-23 | 2022-04-15 | 武汉大学 | 一种基于长短期预测模型的多目标遮挡跟踪方法 |
| CN112487934B (zh) * | 2020-11-26 | 2022-02-01 | 电子科技大学 | 基于ReID特征的强数据关联一体化实时多目标跟踪方法 |
| CN112633078B (zh) * | 2020-12-02 | 2024-02-02 | 西安电子科技大学 | 目标跟踪自校正方法、系统、介质、设备、终端及应用 |
| CN112489076B (zh) * | 2020-12-06 | 2024-05-28 | 北京工业大学 | 一种多目标跟踪方法与系统 |
| CN112560651B (zh) * | 2020-12-09 | 2023-02-03 | 燕山大学 | 基于深度网络和目标分割结合的目标跟踪方法及装置 |
| CN112560656B (zh) * | 2020-12-11 | 2024-04-02 | 成都东方天呈智能科技有限公司 | 一种联合注意力机制端到端训练的行人多目标跟踪方法 |
| CN112464900B (zh) * | 2020-12-16 | 2022-04-29 | 湖南大学 | 基于孪生网络的多模板视觉目标跟踪方法 |
| CN112734800A (zh) * | 2020-12-18 | 2021-04-30 | 上海交通大学 | 一种基于联合检测与表征提取的多目标跟踪系统和方法 |
| CN112802067B (zh) * | 2021-01-26 | 2024-01-26 | 深圳市普汇智联科技有限公司 | 一种基于图网络的多目标跟踪方法及系统 |
| CN112991385B (zh) * | 2021-02-08 | 2023-04-28 | 西安理工大学 | 一种基于不同度量准则的孪生网络目标跟踪方法 |
| CN113239800B (zh) * | 2021-05-12 | 2023-07-25 | 上海善索智能科技有限公司 | 目标检测方法及目标检测装置 |
| CN113379793B (zh) * | 2021-05-19 | 2022-08-12 | 成都理工大学 | 基于孪生网络结构和注意力机制的在线多目标跟踪方法 |
| CN113392721B (zh) * | 2021-05-24 | 2023-02-10 | 中国科学院西安光学精密机械研究所 | 一种遥感卫星视频目标跟踪方法 |
| CN113344976B (zh) * | 2021-06-29 | 2024-01-23 | 常州工学院 | 一种基于目标物表征点估计的视觉跟踪方法 |
| CN113724291B (zh) * | 2021-07-29 | 2024-04-02 | 西安交通大学 | 多熊猫跟踪方法、系统、终端设备及可读存储介质 |
| CN113673166B (zh) * | 2021-08-26 | 2023-10-31 | 东华大学 | 面向加工质量预测的数字孪生模型工况自适应方法及系统 |
| CN113744313B (zh) * | 2021-09-06 | 2024-02-02 | 山东工商学院 | 基于目标移动轨迹预测的深度学习集成的跟踪算法 |
| CN115131694A (zh) * | 2021-12-02 | 2022-09-30 | 北京工商大学 | 基于孪生网络和yolo目标检测模型的目标跟踪方法及系统 |
| CN114372997B (zh) * | 2021-12-06 | 2024-09-10 | 燕山大学 | 一种基于质量及相似评估在线模板更新的目标跟踪方法 |
| CN114241003B (zh) * | 2021-12-14 | 2022-08-19 | 成都阿普奇科技股份有限公司 | 一种全天候轻量化高实时性海面船只检测与跟踪方法 |
| CN114332157B (zh) * | 2021-12-14 | 2024-05-24 | 北京理工大学 | 一种双阈值控制的长时跟踪方法 |
| CN114581954B (zh) * | 2022-03-15 | 2024-09-27 | 沈阳航空航天大学 | 基于行人特征的跨域检索和跟踪目标的方法 |
| CN114677633B (zh) * | 2022-05-26 | 2022-12-02 | 之江实验室 | 基于多部件特征融合的行人检测多目标跟踪系统及方法 |
| CN116647644B (zh) * | 2023-06-06 | 2024-02-20 | 上海优景智能科技股份有限公司 | 基于数字孪生技术的校园交互式监控方法以及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191491A (zh) * | 2018-08-03 | 2019-01-11 | 华中科技大学 | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 |
| CN109636829A (zh) * | 2018-11-24 | 2019-04-16 | 华中科技大学 | 一种基于语义信息和场景信息的多目标跟踪方法 |
| CN110443827A (zh) * | 2019-07-22 | 2019-11-12 | 浙江大学 | 一种基于改进孪生网络的无人机视频单目标长期跟踪方法 |
| CN110473231A (zh) * | 2019-08-20 | 2019-11-19 | 南京航空航天大学 | 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11308350B2 (en) * | 2016-11-07 | 2022-04-19 | Qualcomm Incorporated | Deep cross-correlation learning for object tracking |
| US10902615B2 (en) * | 2017-11-13 | 2021-01-26 | Qualcomm Incorporated | Hybrid and self-aware long-term object tracking |
| US10957053B2 (en) * | 2018-10-18 | 2021-03-23 | Deepnorth Inc. | Multi-object tracking using online metric learning with long short-term memory |
-
2020
- 2020-05-12 CN CN202010404941.7A patent/CN111639551B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191491A (zh) * | 2018-08-03 | 2019-01-11 | 华中科技大学 | 基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统 |
| CN109636829A (zh) * | 2018-11-24 | 2019-04-16 | 华中科技大学 | 一种基于语义信息和场景信息的多目标跟踪方法 |
| CN110443827A (zh) * | 2019-07-22 | 2019-11-12 | 浙江大学 | 一种基于改进孪生网络的无人机视频单目标长期跟踪方法 |
| CN110473231A (zh) * | 2019-08-20 | 2019-11-19 | 南京航空航天大学 | 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法 |
Non-Patent Citations (4)
| Title |
|---|
| Harmonious Attention Network for Person Re-identification;Wei Li et al;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181217;全文 * |
| Multi-Object Tracking Hierarchically in Visual Data Taken From Drones;Siyang Pan et al;《2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW)》;20200305;全文 * |
| Multi-Object Tracking with Multiple Cues and Switcher-Aware Classification;Weitao Feng et al;《arXiv:1901.06129v1》;20190118;全文 * |
| 基于深度学习的视频多目标跟踪算法研究;储琪;《中国博士学位论文全文数据库》;20190815;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111639551A (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111639551B (zh) | 基于孪生网络和长短期线索的在线多目标跟踪方法和系统 | |
| Wang et al. | Deep learning model for house price prediction using heterogeneous data analysis along with joint self-attention mechanism | |
| CN110717414B (zh) | 一种目标检测追踪方法、装置及设备 | |
| Qian et al. | Electricity: An efficient multi-camera vehicle tracking system for intelligent city | |
| Fan et al. | Point spatio-temporal transformer networks for point cloud video modeling | |
| Feng et al. | Cross-frame keypoint-based and spatial motion information-guided networks for moving vehicle detection and tracking in satellite videos | |
| Cepni et al. | Vehicle detection using different deep learning algorithms from image sequence | |
| CN117292338B (zh) | 基于视频流解析的车辆事故识别和分析方法 | |
| CN114283355A (zh) | 一种基于小样本学习的多目标濒危动物跟踪方法 | |
| CN112634329A (zh) | 一种基于时空与或图的场景目标活动预测方法及装置 | |
| CN114677633A (zh) | 基于多部件特征融合的行人检测多目标跟踪系统及方法 | |
| Yang et al. | A fast and effective video vehicle detection method leveraging feature fusion and proposal temporal link | |
| Liang et al. | Cross-scene foreground segmentation with supervised and unsupervised model communication | |
| CN114926859A (zh) | 一种结合头部跟踪的密集场景下行人多目标跟踪方法 | |
| CN113744316A (zh) | 一种基于深度神经网络的多目标跟踪方法 | |
| Nguyen et al. | Multi-camera multi-object tracking on the move via single-stage global association approach | |
| Yuan et al. | Multiple object detection and tracking from drone videos based on GM-YOLO and multi-tracker | |
| Zaman et al. | A robust deep networks based multi-object multi-camera tracking system for city scale traffic | |
| Mao et al. | Aic2018 report: Traffic surveillance research | |
| Li et al. | MULS-Net: A Multilevel Supervised Network for Ship Tracking From Low-Resolution Remote-Sensing Image Sequences | |
| Ma et al. | Multi-object tracking algorithm based on interactive attention network and adaptive trajectory reconnection | |
| CN111950507B (zh) | 数据处理和模型训练方法、装置、设备及介质 | |
| Liu et al. | Shooting condition insensitive unmanned aerial vehicle object detection | |
| Badal et al. | Online multi-object tracking: multiple instance based target appearance model | |
| Cao et al. | A long-memory pedestrian target tracking algorithm incorporating spatiotemporal trajectory feature enhancement model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220401 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |