CN114170271A - 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质 - Google Patents
一种具有自跟踪意识的多目标跟踪方法、设备及存储介质 Download PDFInfo
- Publication number
- CN114170271A CN114170271A CN202111384314.2A CN202111384314A CN114170271A CN 114170271 A CN114170271 A CN 114170271A CN 202111384314 A CN202111384314 A CN 202111384314A CN 114170271 A CN114170271 A CN 114170271A
- Authority
- CN
- China
- Prior art keywords
- target
- pedestrian
- image
- tracking
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 11
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 3
- 125000004122 cyclic group Chemical group 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明的一种具有自跟踪意识的多目标跟踪方法、设备及存储介质，对于任意给出的一帧行人图像，组成运动图像对送入训练好的深度神经网络跟踪模型，直接输出行人目标在当前帧图像中的新位置，以此循环执行，实现多行人目标的连续跟踪；深度神经网络跟踪模型包含三个模块：特征提取模块backbone module、检测跟踪模块detect‑track module，更新模块update module，其中，更新模块update module不参与训练，只在测试时起作用；本发明在基于深度学习的目标检测框架中，融入目标匹配策略，在几乎不增加任何计算代价下，能够实现端到端的目标检测跟踪；借助一个具有自跟踪意识的深度神经网络模型，直接端对端的完成多目标跟踪过程，通用性强，实时性高，误差来源更少，可长时间跟踪，跟踪效果鲁棒性强。
Description
技术领域
本发明涉及目标跟踪技术领域，具体涉及一种具有自跟踪意识的多目标跟踪方法、设备及存储介质。
背景技术
目标跟踪是指根据感兴趣目标在前一帧图像中的边界位置，依据时空关联性确定该目标在当前帧图像中边界位置，它是计算机视觉领域的核心技术，应用领域非常广泛，是许多下游应用的必备技术，例如，动作分析、行为识别、监控和人机交互等。
目前，目标跟踪技术主要分为2大类，具体如下：
1、基于传统技术的目标跟踪技术，代表技术主要有卡尔曼滤波跟踪、光流法跟踪、模板匹配跟踪，TLD跟踪、CT跟踪、KCF跟踪等，该类技术的优点是原理简单，运行速度较快，在较简单场景下可以取得不错的效果，适合短时跟踪，其不足的地方是鲁棒性较差，在稍微复杂些的场景下易跟丢目标和跟错目标，无法适应长时间跟踪
2、基于深度学习技术的目标跟踪技术，该类技术主要采用目标检测加目标匹配的策略完成目标跟踪过程，其过程是借助强大的基于深度学习目标检测框架(如：faster-rcnn、ssd、yolo)先定位出每帧图像中的目标位置，然后借助最近邻匹配算法或特征向量匹配算法进行前后帧图像的相同目标的关联，进而完成目标跟踪过程。该类技术的优点是鲁棒性较强，能够进行较长时间的跟踪，其缺点是过度依赖目标检测框架、目标运行速度不能太快、两步算法叠加较耗时。
发明内容
本发明提出的一种具有自跟踪意识的多目标跟踪方法、设备及存储介质，可至少解决背景技术中的技术问题之一。
为实现上述目的，本发明采用了以下技术方案：
一种具有自跟踪意识的多目标跟踪方法，通过计算机设备执行以下步骤，
对于任意给出的一帧行人图像，组成运动图像对送入训练好的深度神经网络跟踪模型，直接输出行人目标在当前帧图像中的新位置，以此循环执行，实现多行人目标的连续跟踪；
其中，所述深度神经网络跟踪模型包含三个模块：特征提取模块backbonemodule、检测跟踪模块detect-track module，更新模块update module，其中，更新模块update module不参与训练，只在测试时起作用；
特征提取模块backbone module用于获取输入运动图像对的满足设定要的高层特征，采用和yolov4-tiny相同的特征提取模块，该特征提取网络的输入是运动图像对，该运动图像对是由3幅图像分辨率为320×320的图像组成，其中，一幅图像是当前帧图像，一幅图像是前一帧图像，一幅图像是前一帧图像中的目标ID掩码图像，其中，当前帧图像和前一帧图像是3通道的RGB图像，前一帧图像的目标ID掩码图像是单通道的灰度图；concat是拼接层，作用是把输入的3幅图像按照通道维度拼接成一幅相同分辨率的7通道图像；backbone是yolov4-tiny的主干网络，FPN是特征金字塔网络，用来融合不同尺度的特征，具体网络结构和yolov4-tiny相同；out_feature1、out_feature2是特征提取模块的输出特征层，用于后续的行人目标的检测和跟踪，其中，out_feature1的特征图尺寸是20x20x384，out_feature2的特征图尺寸是10x10x256；
检测跟踪模块detect-track module是在特征提取模块输出的特征图的基础上，预测出当前帧图像中是否存在行人目标以及行人目标的位置和行人目标在前一帧图像中的位置；
更新模块update module，根据检测跟踪模块的输出信息，更新跟踪记录，生成新的前一帧图像及其相应的目标ID掩码图像。
进一步的，所述检测跟踪模块detect-track module结构包括dtconv1_0,dtconv2_0均是核尺寸为3x3,跨度为1x1的卷积层，dtconv1_1,dtconv2_1均是核尺寸为1x1,跨度为1x1的卷积层。dtyolo层是行人目标信息解析层，用于提取有效的行人目标信息，只在测试时起作用，dtyolo层的特征图尺寸是N x(5+NID+1)，其中，N表示检测到行人目标数目,5+NID+1表示每个行人目标用5+NID+1维特征向量表示，其中前5维的特征值和yolov4-tiny中的目标位置定义相同，第6维特征值以及之后的所有特征值表示该行人目标在前一帧图像中对应位置的目标ID分布概率，其中NID表示前一帧图像中允许出现的行人目标的最大数目，该值需要大于应用场景中每一帧图像中出现的行人目标数目。
进一步的，所述更新模块update module具体的步骤如下：
S131、获取当前帧图像中行人目标的跟踪状态，根据检测跟踪模块输出的每个当前帧行人目标的预测信息，判断每个行人目标是新出现的目标，还是前一帧图像中已有目标；具体的方法是：根据每个行人目标预测信息的目标ID分布概率，选择最大概率对应的序列位置作为当前行人目标的ID序号，如果该ID序号值等于前一帧图像中某个目标的目标ID编号时，则表示当前行人目标和前一帧图像对应ID序号的行人目标是同一个目标，即当前行人目标被成功跟踪；如果该ID序号的值等于NID+1，则表示当前行人目标是新出现的行人目标；
S132、更新跟踪记录，根据步骤S131中获取的当前帧图像中的每个行人目标的跟踪状态，更新前一帧图像中的已知行人目标位置信息；当步骤S131中出现前一帧图像中的某个行人目标未被当前帧图像中的行人目标关联上时，则认为该行人目标消失在视频画面中，应删除相应的跟踪记录；
S133、生成新的前一帧图像的目标ID掩码图像，根据步骤S132中获取的新前一帧图像中的所有行人目标的位置，对每个行人目标进行ID序号编码，生成相应的目标ID掩码图像，目标ID掩码图像的具体生成方法和步骤S222相同。
进一步的，所述深度神经网络跟踪模型的训练步骤如下：
S21、收集行人视频，即收集各种场景，各种光线、各种角度下的行人视频；
S22、标注行人运动位置信息，是标注视频中每一帧图像中的行人位置信息以及不同帧运动图像对之间的运动信息；
S23、训练深度神经网络模型，把整理好的运动图像对集合送入定义好的深度神经网络模型，学习相关的模型参数；网络模型训练时的损失函数L如公式(1)所示，Lloc表示行人目标位置的损失函数，该损失函数的意义和yolov4-tiny保持相同，Lid表示行人目标跟踪的损失函数，该损失函数采用的是经典的交叉熵损失函数，α、β表示加权系数；
L＝αLloc+βLid (1)。
进一步的，所述S22、标注行人运动位置信息，具体步骤如下：
S221、标注行人目标位置信息，方法是使用现有的基于深度学习的行人检测框架获取视频中每一帧图像中的行人位置作为行人位置信息；
S222、生成掩码图像，根据每一帧图像中的行人目标位置生成相应的目标ID掩码图像，以下简称掩码图像，具体的掩码图像生成方法是：首先生成一幅和该帧图像分辨率相同且所有像素值均为0的掩码图像，然后获取该帧图像中的所有行人目标的数目，接着在该数目值范围内，随机的对每个行人目标赋予唯一的ID序号，最后在掩码图像中，把该行人目标位置范围内的所有像素赋值为该目标的ID序号值；
S223、组建运动图像对，把视频变成图像序列，任意选择包含行人目标的一帧图像作为前一帧图像，然后在之后的120帧内，任意选择一幅图像作为当前帧图像，然后和前一帧图像以及前一帧图像对应的掩码图像一起组成运动图像对；
S224、获取行人目标的ID关联信息，方法是对于每一个运动图像对进行人工审核，判断每一个运动图像对的前后帧图像中的行人目标是同一个行人目标还是新出现的行人目标，然后对当前帧中的行人目标进行ID关联，具体的ID关联方法如下：对于前后帧图像中的相同行人目标，则把该目标在前一帧掩码图像中的ID序号值作为该目标在当前帧图像中的类别序号，对于当前帧新出现的目标，则把该目标的类别序号设置为NID+1，最后基于每个目标的类别序号，生成一个长度为NID+1的one-hot类型的特征向量；
S225、获取行人运动位置信息，合并每一个行人目标在当前帧图像中的位置信息和ID关联信息，最终每一个行人目标的位置运动信息由一个4+NID+1维的特征向量表示，其中，前4维特征值表示行人目标在当前帧图像中的位置矩形信息，和yolov4-tiny的每个特征值意义相同，第5维特征值以及之后的所有特征值表示该行人目标是前一帧图像中某个已有目标的分布概率，其中NID的意义和步骤S131中相同。
进一步的，所述深度神经网络跟踪模型的使用步骤如下：
S31、选择初始跟踪图像，任意选择一帧行人图像，作为前一帧图像，同时生成对应的前一帧图像的掩码图像；
S32、预测当前帧图像的行人位置运动信息，方法是把前一帧图像以及相应的掩码图像和当前帧图像组成运动图像对，送入深度神经网络模型，直接预测出当前帧图像中的所有行人目标位置以及该行人目标在前一帧图像中的对应目标位置；
S33、更新待跟踪行人目标位置，根据步骤S32中预测的行人目标位置和相应的目标ID分布概率，借助更新模块update module，获取新的前一帧图像和新前一帧图像的掩码图像；
S34、持续跟踪，重复步骤S32到S34，实现行人目标的持续跟踪。
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
由上述技术方案可知，本发明针对当前的目标跟踪技术的不足，本发明另辟蹊径，在基于深度学习的目标检测框架中，融入目标匹配策略，在几乎不增加任何计算代价下，能够实现端到端的目标检测跟踪。
本发明借助一个具有自跟踪意识的深度神经网络模型，直接端对端的完成多目标跟踪过程，无需外部人工干预，模型自适应的发掘输入图像的运动相关性，自动完成跟踪过程，通用性强，实时性高，误差来源更少，可长时间跟踪，跟踪效果鲁棒性强。
附图说明
图1是本发明深度神经网络模型总体结构图；
图2是特征提取模块的网络结构图；
图3是检测跟踪模块的网络结构图，其中NID的意义和实施方式中步骤S131中的NID的意义相同；
其中，每一个神经网络结构层图形左侧的标识，表示该网络结构的输出特征图尺寸：特征图宽度×特征图高度×特征图通道数。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
如图1所示，本实施例所述的具有自跟踪意识的多目标跟踪方法，通过计算机设备执行以下步骤，
S1、设计深度神经网络模型，本发明设计的深度神经网络模型，其主要作用是借助一个具有自跟踪意识的深度神经网络模型，直接完成每帧图像中行人目标的检测跟踪，由于不再刻意区分行人检测定位和行人关联匹配等步骤，使得整个行人跟踪系统运算速度更快，误差来源更少，跟踪效果更加鲁棒。本发明采用的是卷积神经网络(CNN)，为了方便叙述本发明，定义一些术语：特征图分辨率指的是特征图高度×特征图宽度，特征图尺寸指的是特征图宽度×特征图高度×特征图通道数，核尺寸指的是核宽度×核高度，跨度指的是宽度方向跨度×高度方向跨度，另外，每一个卷积层后面均带有批量归一化层和非线性激活层。如图1所示，本发明以所设计的深度神经网络模型包含三个模块：特征提取模块backbone module、检测跟踪模块detect-track module，更新模块update module，其中，更新模块update module不参与训练，只在测试时起作用。具体设计步骤如下：
S11、特征提取模块backbone module，特征提取模块主要用于获取输入运动图像对的具有高度抽象和丰富表达能力的高层特征，高层特征提取的质量直接影响后续行人目标跟踪的性能。特征提取模块可以采用任何一个常用的经典网络结构，为方便叙述，本发明采用和yolov4-tiny相同的特征提取模块，如图2所示，该特征提取网络的输入是运动图像对，该运动图像对是由3幅图像分辨率为320×320的图像组成，其中，一幅图像是当前帧图像，一幅图像是前一帧图像，一幅图像是前一帧图像中的目标ID掩码图像，其中，当前帧图像和前一帧图像是3通道的RGB图像，前一帧图像的目标ID掩码图像是单通道的灰度图。concat是拼接层，主要作用是把输入的3幅图像按照通道维度拼接成一幅相同分辨率的7通道图像。backbone是yolov4-tiny的主干网络，FPN是特征金字塔网络，主要用来融合不同尺度的特征，具体网络结构和yolov4-tiny相同。out_feature1、out_feature2是特征提取模块的输出特征层，用于后续的行人目标的检测和跟踪，其中，out_feature1的特征图尺寸是20x20x384，out_feature2的特征图尺寸是10x10x256。
S12、检测跟踪模块detect-track module,检测跟踪模块主要是在特征提取模块输出的特征图的基础上，预测出当前帧图像中是否存在行人目标以及行人目标的位置和行人目标在前一帧图像中的位置。本发明在yolov4-tiny的检测模块的基础上进行改进，具体网络结构如图3所示，dtconv1_0,dtconv2_0均是核尺寸为3x3,跨度为1x1的卷积层，dtconv1_1,dtconv2_1均是核尺寸为1x1,跨度为1x1的卷积层。dtyolo层是行人目标信息解析层，用于提取有效的行人目标信息，只在测试时起作用，dtyolo层的特征图尺寸是N x(5+NID+1)，其中，N表示检测到行人目标数目,5+NID+1表示每个行人目标用5+NID+1维特征向量表示，其中前5维的特征值和yolov4-tiny中的目标位置定义相同，第6维特征值以及之后的所有特征值表示该行人目标在前一帧图像中对应位置的目标ID分布概率，其中NID表示前一帧图像中允许出现的行人目标的最大数目，该值需要大于应用场景中每一帧图像中出现的行人目标数目。
S13、更新模块update module，更新模块主要是根据检测跟踪模块的输出信息，更新跟踪记录，生成新的前一帧图像及其相应的目标ID掩码图像，具体的步骤如下：
S131、获取当前帧图像中行人目标的跟踪状态，主要是根据检测跟踪模块输出的每个当前帧行人目标的预测信息，判断每个行人目标是新出现的目标，还是前一帧图像中已有目标。具体的方法是：根据每个行人目标预测信息的目标ID分布概率，选择最大概率对应的序列位置作为当前行人目标的ID序号，如果该ID序号值等于前一帧图像中某个目标的目标ID编号时，则表示当前行人目标和前一帧图像对应ID序号的行人目标是同一个目标，即当前行人目标被成功跟踪；如果该ID序号的值等于NID+1，则表示当前行人目标是新出现的行人目标。
S132、更新跟踪记录，主要是根据步骤S131中获取的当前帧图像中的每个行人目标的跟踪状态，更新前一帧图像中的已知行人目标位置信息；当步骤S131中出现前一帧图像中的某个行人目标未被当前帧图像中的行人目标关联上时，则认为该行人目标消失在视频画面中，应删除相应的跟踪记录。
S133、生成新的前一帧图像的目标ID掩码图像，主要是根据步骤S132中获取的新前一帧图像中的所有行人目标的位置，对每个行人目标进行ID序号编码，生成相应的目标ID掩码图像，目标ID掩码图像的具体生成方法和步骤S222相同。
S2、训练深度神经网络模型，设计完成深度神经网络模型后，接下来就是收集各种情景下的行人视频图像，送入深度神经网络模型，学习相关的模型参数，具体步骤如下：
S21、收集行人视频，主要是收集各种场景，各种光线、各种角度下的行人视频。
S22、标注行人运动位置信息，主要是标注视频中每一帧图像中的行人位置信息以及不同帧运动图像对之间的运动信息，具体步骤如下：
S221、标注行人目标位置信息，主要方法是使用现有的基于深度学习的行人检测框架获取视频中每一帧图像中的行人位置作为行人位置信息。
S222、生成掩码图像，主要根据每一帧图像中的行人目标位置生成相应的目标ID掩码图像，以下简称掩码图像，具体的掩码图像生成方法是：首先生成一幅和该帧图像分辨率相同且所有像素值均为0的掩码图像，然后获取该帧图像中的所有行人目标的数目，接着在该数目值范围内，随机的对每个行人目标赋予唯一的ID序号，最后在掩码图像中，把该行人目标位置范围内的所有像素赋值为该目标的ID序号值。
S223、组建运动图像对，主要是把视频变成图像序列，任意选择包含行人目标的一帧图像作为前一帧图像，然后在之后的120帧内，任意选择一幅图像作为当前帧图像，然后和前一帧图像以及前一帧图像对应的掩码图像一起组成运动图像对。
S224、获取行人目标的ID关联信息，主要方法是对于每一个运动图像对进行人工审核，判断每一个运动图像对的前后帧图像中的行人目标是同一个行人目标还是新出现的行人目标，然后对当前帧中的行人目标进行ID关联，具体的ID关联方法如下：对于前后帧图像中的相同行人目标，则把该目标在前一帧掩码图像中的ID序号值作为该目标在当前帧图像中的类别序号，对于当前帧新出现的目标，则把该目标的类别序号设置为NID+1，最后基于每个目标的类别序号，生成一个长度为NID+1的one-hot类型的特征向量。
S225、获取行人运动位置信息，合并每一个行人目标在当前帧图像中的位置信息和ID关联信息，最终每一个行人目标的位置运动信息由一个4+NID+1维的特征向量表示，其中，前4维特征值表示行人目标在当前帧图像中的位置矩形信息，和yolov4-tiny的每个特征值意义相同，第5维特征值以及之后的所有特征值表示该行人目标是前一帧图像中某个已有目标的分布概率，其中NID的意义和步骤S131中相同。
S24、训练深度神经网络模型，把整理好的运动图像对集合送入定义好的深度神经网络模型，学习相关的模型参数。网络模型训练时的损失函数L如公式(1)所示，Lloc表示行人目标位置的损失函数，该损失函数的意义和yolov4-tiny保持相同，Lid表示行人目标跟踪的损失函数，该损失函数采用的是经典的交叉熵损失函数，α、β表示加权系数。
L＝αLloc+βLid (1)；
S3、使用深度神经网络模型，训练完深度神经网络模型后，接下来就是在实际环境中进行模型使用进行行人跟踪，对于任意给出的一帧行人图像，组成运动图像对送入训练好的深度神经网络模型，直接输出行人目标在当前帧图像中的新位置，以此循环执行，实现多行人目标的连续跟踪，具体步骤如下：
S31、选择初始跟踪图像，主要是任意选择一帧行人图像，作为前一帧图像，同时生成对应的前一帧图像的掩码图像。
S32、预测当前帧图像的行人位置运动信息，主要方法是把前一帧图像以及相应的掩码图像和当前帧图像组成运动图像对，送入深度神经网络模型，直接预测出当前帧图像中的所有行人目标位置以及该行人目标在前一帧图像中的对应目标位置。
S33、更新待跟踪行人目标位置，主要是根据步骤S32中预测的行人目标位置和相应的目标ID分布概率，借助更新模块update module，获取新的前一帧图像和新前一帧图像的掩码图像。
S34、持续跟踪，重复步骤S32到S34，实现行人目标的持续跟踪。
可见，本发明在基于深度学习的目标检测框架中，融入目标匹配策略，在几乎不增加任何计算代价下，能够实现端到端的目标检测跟踪。本发明借助一个具有自跟踪意识的深度神经网络模型，直接端对端的完成多目标跟踪过程，通用性强，实时性高，误差来源更少，可长时间跟踪，跟踪效果鲁棒性强。
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述具有自跟踪意识的多目标跟踪方法；
上述电子设备提到的通信总线可以是外设部件互连标准(英文：PeripheralComponent Interconnect，简称：PCI)总线或扩展工业标准结构(英文：Extended IndustryStandard Architecture，简称：EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(英文：Random Access Memory，简称：RAM)，也可以包括非易失性存储器(英文：Non-Volatile Memory，简称：NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(英文：Central ProcessingUnit，简称：CPU)、网络处理器(英文：Network Processor，简称：NP)等；还可以是数字信号处理器(英文：Digital Signal Processing，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field-Programmable Gate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一具有自跟踪意识的多目标跟踪方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一具有自跟踪意识的多目标跟踪方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种具有自跟踪意识的多目标跟踪方法，其特征在于，通过计算机设备执行以下步骤，
对于任意给出的一帧行人图像，组成运动图像对送入训练好的深度神经网络跟踪模型，直接输出行人目标在当前帧图像中的新位置，以此循环执行，实现多行人目标的连续跟踪；
其中，所述深度神经网络跟踪模型包含三个模块：特征提取模块backbone module、检测跟踪模块detect-track module，更新模块update module，其中，更新模块updatemodule不参与训练，只在测试时起作用；
特征提取模块backbone module用于获取输入运动图像对的满足设定要的高层特征，采用和yolov4-tiny相同的特征提取模块，该特征提取网络的输入是运动图像对，该运动图像对是由3幅图像分辨率为320×320的图像组成，其中，一幅图像是当前帧图像，一幅图像是前一帧图像，一幅图像是前一帧图像中的目标ID掩码图像，其中，当前帧图像和前一帧图像是3通道的RGB图像，前一帧图像的目标ID掩码图像是单通道的灰度图；concat是拼接层，作用是把输入的3幅图像按照通道维度拼接成一幅相同分辨率的7通道图像；backbone是yolov4-tiny的主干网络，FPN是特征金字塔网络，用来融合不同尺度的特征，具体网络结构和yolov4-tiny相同；out_feature1、out_feature2是特征提取模块的输出特征层，用于后续的行人目标的检测和跟踪，其中，out_feature1的特征图尺寸是20x20x384，out_feature2的特征图尺寸是10x10x256；
检测跟踪模块detect-track module是在特征提取模块输出的特征图的基础上，预测出当前帧图像中是否存在行人目标以及行人目标的位置和行人目标在前一帧图像中的位置；
更新模块update module，根据检测跟踪模块的输出信息，更新跟踪记录，生成新的前一帧图像及其相应的目标ID掩码图像。
2.根据权利要求1所述的具有自跟踪意识的多目标跟踪方法，其特征在于：
所述检测跟踪模块detect-track module结构包括dtconv1_0,dtconv2_0均是核尺寸为3x3,跨度为1x1的卷积层，dtconv1_1,dtconv2_1均是核尺寸为1x1,跨度为1x1的卷积层。dtyolo层是行人目标信息解析层，用于提取有效的行人目标信息，只在测试时起作用，dtyolo层的特征图尺寸是N x(5+NID+1)，其中，N表示检测到行人目标数目,5+NID+1表示每个行人目标用5+NID+1维特征向量表示，其中前5维的特征值和yolov4-tiny中的目标位置定义相同，第6维特征值以及之后的所有特征值表示该行人目标在前一帧图像中对应位置的目标ID分布概率，其中NID表示前一帧图像中允许出现的行人目标的最大数目，该值需要大于应用场景中每一帧图像中出现的行人目标数目。
3.根据权利要求2所述的具有自跟踪意识的多目标跟踪方法，其特征在于：所述更新模块update module具体的步骤如下：
S131、获取当前帧图像中行人目标的跟踪状态，根据检测跟踪模块输出的每个当前帧行人目标的预测信息，判断每个行人目标是新出现的目标，还是前一帧图像中已有目标；具体的方法是：根据每个行人目标预测信息的目标ID分布概率，选择最大概率对应的序列位置作为当前行人目标的ID序号，如果该ID序号值等于前一帧图像中某个目标的目标ID编号时，则表示当前行人目标和前一帧图像对应ID序号的行人目标是同一个目标，即当前行人目标被成功跟踪；如果该ID序号的值等于NID+1，则表示当前行人目标是新出现的行人目标；
S132、更新跟踪记录，根据步骤S131中获取的当前帧图像中的每个行人目标的跟踪状态，更新前一帧图像中的已知行人目标位置信息；当步骤S131中出现前一帧图像中的某个行人目标未被当前帧图像中的行人目标关联上时，则认为该行人目标消失在视频画面中，应删除相应的跟踪记录；
S133、生成新的前一帧图像的目标ID掩码图像，根据步骤S132中获取的新前一帧图像中的所有行人目标的位置，对每个行人目标进行ID序号编码，生成相应的目标ID掩码图像，目标ID掩码图像的具体生成方法和步骤S222相同。
4.根据权利要求3所述的具有自跟踪意识的多目标跟踪方法，其特征在于：所述深度神经网络跟踪模型的训练步骤如下：
S21、收集行人视频，即收集各种场景，各种光线、各种角度下的行人视频；
S22、标注行人运动位置信息，是标注视频中每一帧图像中的行人位置信息以及不同帧运动图像对之间的运动信息；
S23、训练深度神经网络模型，把整理好的运动图像对集合送入定义好的深度神经网络模型，学习相关的模型参数；网络模型训练时的损失函数L如公式(1)所示，Lloc表示行人目标位置的损失函数，该损失函数的意义和yolov4-tiny保持相同，Lid表示行人目标跟踪的损失函数，该损失函数采用的是经典的交叉熵损失函数，α、β表示加权系数；
L＝αLloc+βLid (1)。
5.根据权利要求4所述的具有自跟踪意识的多目标跟踪方法，其特征在于：所述S22、标注行人运动位置信息，具体步骤如下：
S221、标注行人目标位置信息，方法是使用现有的基于深度学习的行人检测框架获取视频中每一帧图像中的行人位置作为行人位置信息；
S222、生成掩码图像，根据每一帧图像中的行人目标位置生成相应的目标ID掩码图像，以下简称掩码图像，具体的掩码图像生成方法是：首先生成一幅和该帧图像分辨率相同且所有像素值均为0的掩码图像，然后获取该帧图像中的所有行人目标的数目，接着在该数目值范围内，随机的对每个行人目标赋予唯一的ID序号，最后在掩码图像中，把该行人目标位置范围内的所有像素赋值为该目标的ID序号值；
S223、组建运动图像对，把视频变成图像序列，任意选择包含行人目标的一帧图像作为前一帧图像，然后在之后的120帧内，任意选择一幅图像作为当前帧图像，然后和前一帧图像以及前一帧图像对应的掩码图像一起组成运动图像对；
S224、获取行人目标的ID关联信息，方法是对于每一个运动图像对进行人工审核，判断每一个运动图像对的前后帧图像中的行人目标是同一个行人目标还是新出现的行人目标，然后对当前帧中的行人目标进行ID关联，具体的ID关联方法如下：对于前后帧图像中的相同行人目标，则把该目标在前一帧掩码图像中的ID序号值作为该目标在当前帧图像中的类别序号，对于当前帧新出现的目标，则把该目标的类别序号设置为NID+1，最后基于每个目标的类别序号，生成一个长度为NID+1的one-hot类型的特征向量；
S225、获取行人运动位置信息，合并每一个行人目标在当前帧图像中的位置信息和ID关联信息，最终每一个行人目标的位置运动信息由一个4+NID+1维的特征向量表示，其中，前4维特征值表示行人目标在当前帧图像中的位置矩形信息，和yolov4-tiny的每个特征值意义相同，第5维特征值以及之后的所有特征值表示该行人目标是前一帧图像中某个已有目标的分布概率，其中NID的意义和步骤S131中相同。
6.根据权利要求5所述的具有自跟踪意识的多目标跟踪方法，其特征在于：所述深度神经网络跟踪模型的使用步骤如下：
S31、选择初始跟踪图像，任意选择一帧行人图像，作为前一帧图像，同时生成对应的前一帧图像的掩码图像；
S32、预测当前帧图像的行人位置运动信息，方法是把前一帧图像以及相应的掩码图像和当前帧图像组成运动图像对，送入深度神经网络模型，直接预测出当前帧图像中的所有行人目标位置以及该行人目标在前一帧图像中的对应目标位置；
S33、更新待跟踪行人目标位置，根据步骤S32中预测的行人目标位置和相应的目标ID分布概率，借助更新模块update module，获取新的前一帧图像和新前一帧图像的掩码图像；
S34、持续跟踪，重复步骤S32到S34，实现行人目标的持续跟踪。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111384314.2A CN114170271B (zh) | 2021-11-18 | 2021-11-18 | 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111384314.2A CN114170271B (zh) | 2021-11-18 | 2021-11-18 | 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114170271A true CN114170271A (zh) | 2022-03-11 |
| CN114170271B CN114170271B (zh) | 2024-04-12 |
Family
ID=80479857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111384314.2A Active CN114170271B (zh) | 2021-11-18 | 2021-11-18 | 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170271B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115375736A (zh) * | 2022-10-25 | 2022-11-22 | 威海市博华医疗设备有限公司 | 一种基于图像的行人轨迹跟踪方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170132472A1 (en) * | 2015-11-05 | 2017-05-11 | Qualcomm Incorporated | Generic mapping for tracking target object in video sequence |
| CN111161311A (zh) * | 2019-12-09 | 2020-05-15 | 中车工业研究院有限公司 | 一种基于深度学习的视觉多目标跟踪方法及装置 |
| CN113034548A (zh) * | 2021-04-25 | 2021-06-25 | 安徽科大擎天科技有限公司 | 一种适用于嵌入式终端的多目标跟踪方法及其系统 |
| CN113409361A (zh) * | 2021-08-12 | 2021-09-17 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种多目标跟踪方法、装置、计算机及存储介质 |
-
2021
- 2021-11-18 CN CN202111384314.2A patent/CN114170271B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170132472A1 (en) * | 2015-11-05 | 2017-05-11 | Qualcomm Incorporated | Generic mapping for tracking target object in video sequence |
| CN111161311A (zh) * | 2019-12-09 | 2020-05-15 | 中车工业研究院有限公司 | 一种基于深度学习的视觉多目标跟踪方法及装置 |
| CN113034548A (zh) * | 2021-04-25 | 2021-06-25 | 安徽科大擎天科技有限公司 | 一种适用于嵌入式终端的多目标跟踪方法及其系统 |
| CN113409361A (zh) * | 2021-08-12 | 2021-09-17 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种多目标跟踪方法、装置、计算机及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 史璐璐;张索非;吴晓富;: "基于Tiny Darknet全卷积孪生网络的目标跟踪", 南京邮电大学学报(自然科学版), no. 04, 6 September 2018 (2018-09-06) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115375736A (zh) * | 2022-10-25 | 2022-11-22 | 威海市博华医疗设备有限公司 | 一种基于图像的行人轨迹跟踪方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114170271B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11062123B2 (en) | Method, terminal, and storage medium for tracking facial critical area | |
| CN112052787B (zh) | 基于人工智能的目标检测方法、装置及电子设备 | |
| Kalsotra et al. | Background subtraction for moving object detection: explorations of recent developments and challenges | |
| WO2021087985A1 (zh) | 模型训练方法、装置、存储介质及电子设备 | |
| CN110929785A (zh) | 数据分类方法、装置、终端设备及可读存储介质 | |
| CN110866473B (zh) | 目标对象的跟踪检测方法及装置、存储介质、电子装置 | |
| CN110610123A (zh) | 一种多目标车辆检测方法、装置、电子设备及存储介质 | |
| KR20240127952A (ko) | 이미지 처리 방법 및 장치 | |
| CN112766218A (zh) | 基于非对称联合教学网络的跨域行人重识别方法和装置 | |
| CN111414910A (zh) | 基于双重卷积神经网络的小目标增强检测方法和装置 | |
| CN114170269B (zh) | 一种基于时空相关性的多目标跟踪方法、设备及存储介质 | |
| Lecca et al. | Comprehensive evaluation of image enhancement for unsupervised image description and matching | |
| CN114170271B (zh) | 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质 | |
| CN109977738B (zh) | 一种视频场景分割判断方法、智能终端及存储介质 | |
| CN113052019A (zh) | 目标跟踪方法及装置、智能设备和计算机存储介质 | |
| CN112084371A (zh) | 一种电影多标签分类方法、装置、电子设备以及存储介质 | |
| Cao et al. | A novel image multitasking enhancement model for underwater crack detection | |
| CN118279723A (zh) | 图像目标检测模型的处理方法、图像目标检测方法及设备 | |
| CN112784691B (zh) | 一种目标检测模型训练方法、目标检测方法和装置 | |
| CN117036392A (zh) | 图像检测方法及相关装置 | |
| Tomar et al. | PeopleNet: A novel people counting framework for head-mounted moving camera videos | |
| Ahmad et al. | Crack segmentation in the wild using convolutional neural networks and bootstrapping | |
| Zhang et al. | Towards automatic image exposure level assessment | |
| Cui et al. | A cutting-edge video anomaly detection method using image quality assessment and attention mechanism-based deep learning | |
| CN115049960B (zh) | 目标检测方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |