CN111860168A - 行人重识别方法、装置、电子设备及存储介质 - Google Patents
行人重识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111860168A CN111860168A CN202010561236.8A CN202010561236A CN111860168A CN 111860168 A CN111860168 A CN 111860168A CN 202010561236 A CN202010561236 A CN 202010561236A CN 111860168 A CN111860168 A CN 111860168A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- information
- image
- tracking
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 claims abstract description 247
- 239000013598 vector Substances 0.000 claims description 42
- 238000012423 maintenance Methods 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 13
- 238000005286 illumination Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 6
- 230000003139 buffering effect Effects 0.000 claims 1
- 230000009471 action Effects 0.000 abstract description 2
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种行人重识别方法,属于计算机视觉和模式识别技术领域,可以提升行人重识别的效率。所述方法包括:根据当前采集的视频图像帧的作用,将图像帧缓存至行人检测网络对应的第一图像信息队列,或将图像帧缓存至行人追踪网络对应的第二图像信息队列;通过至少一个行人检测网络对第一图像信息队列中缓存的图像帧进行行人检测,并将检测得到的行人信息缓存至预设行人信息队列;以及,通过至少一个行人追踪网络基于第二图像信息队列中缓存的图像帧进行行人追踪,并根据行人追踪结果更新预设行人信息队列中的行人信息;根据预设行人信息队列中的行人信息,获取指定行人的行人特征和/或行人轨迹,可以提升进行行人重识别的效率。
Description
技术领域
本申请涉及计算机视觉和模式识别技术领域,特别是涉及一种行人重识别方法、装置、电子设备及计算机可读存储介质。
背景技术
行人重识别广泛应用于跨场景行人追踪、行人检索等安防领域。目前已有的行人重识别方法中,常规流程是先进行行人检测,检测出一帧图像内的行人位置,再裁剪出每个行人图像送入行人重识别网络提取其特征,而行人重识别网络通常是对输入的整图提取特征。在一个视频即图像序列中,帧与帧之间行人的关系通常是使用简单的追踪或行人重识别来建立的,而现有技术中,使用行人重识别来建立帧与帧之间行人的关系时,需要依序对每一帧的图像进行行人检测和重识别,处理效率低,且不适用于跨场景行人追踪。
可见,现有技术中的行人重识别的方法仍需要改进。
发明内容
本申请提供一种行人重识别方法,有助于提升进行行人重识别的效率。
为了解决上述问题,第一方面,本申请实施例提供了一种行人重识别方法,包括:
确定当前采集的视频图像帧为用于行人检测的图像帧或用于行人追踪的图像帧;
响应于所述视频图像帧为用于行人检测的图像帧,将所述图像帧缓存至行人检测网络对应的第一图像信息队列;以及,响应于所述视频图像帧为用于行人追踪的图像帧,将所述图像帧缓存至行人追踪网络对应的第二图像信息队列;
通过至少一个行人检测网络对所述第一图像信息队列中缓存的所述图像帧进行行人检测,并将进行行人检测得到的行人信息缓存至预设行人信息队列;以及,通过至少一个行人追踪网络基于所述第二图像信息队列中缓存的所述图像帧进行行人追踪,并根据行人追踪结果更新所述预设行人信息队列中的行人信息;
根据所述预设行人信息队列中的行人信息,获取指定行人的行人特征和/或行人轨迹。
第二方面,本申请实施例提供了一种行人重识别装置,包括:
图像帧判断模块,用于确定当前采集的视频图像帧为用于行人检测的图像帧或用于行人追踪的图像帧;
所述图像帧判断模块,还用于响应于所述视频图像帧为用于行人检测的图像帧,将所述图像帧缓存至行人检测网络对应的第一图像信息队列;以及,响应于所述视频图像帧为用于行人追踪的图像帧,将所述图像帧缓存至行人追踪网络对应的第二图像信息队列;
行人检测模块,用于通过至少一个行人检测网络对所述第一图像信息队列中缓存的所述图像帧进行行人检测,得到行人信息;
行人信息维护模块,用于将所述行人检测模块得到的行人信息缓存至预设行人信息队列;以及,
行人追踪模块,用于通过至少一个行人追踪网络基于所述第二图像信息队列中缓存的所述图像帧进行行人追踪,得到追踪结果;
所述行人信息维护模块,还用于根据所述行人追踪模块得到的行人追踪结果更新所述预设行人信息队列中的行人信息;
行人重识别数据获取模块,用于根据所述预设行人信息队列中的行人信息,获取指定行人的行人特征和/或行人轨迹。
第三方面,本申请实施例还公开了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本申请实施例所述的行人重识别方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时本申请实施例公开的行人重识别方法的步骤。
本申请实施例公开的行人重识别方法,通过确定当前采集的视频图像帧为用于行人检测的图像帧或用于行人追踪的图像帧;响应于所述视频图像帧为用于行人检测的图像帧,将所述图像帧缓存至行人检测网络对应的第一图像信息队列;以及,响应于所述视频图像帧为用于行人追踪的图像帧,将所述图像帧缓存至行人追踪网络对应的第二图像信息队列;通过至少一个行人检测网络对所述第一图像信息队列中缓存的所述图像帧进行行人检测,并将进行行人检测得到的行人信息缓存至预设行人信息队列;以及,通过至少一个行人追踪网络基于所述第二图像信息队列中缓存的所述图像帧进行行人追踪,并根据行人追踪结果更新所述预设行人信息队列中的行人信息;根据所述预设行人信息队列中的行人信息,获取指定行人的行人特征和/或行人轨迹,有助于提升进行行人重识别的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例一的行人重识别方法流程图;
图2是本申请实施例一中的行人重识别方法的系统结构示意图;
图3是本申请实施例一中的回归网络输入、输出示意图;
图4是本申请实施例一的行人重识别网络结构示意图;
图5是本申请实施例二的行人重识别装置结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
本申请实施例公开的一种行人重识别方法,如图1所示,所述方法包括步骤110至步骤140。
步骤110,确定当前采集的视频图像帧为用于行人检测的图像帧或用于行人追踪的图像帧。
本申请实施例中所述的行人重识别方法适用于单采集设备进行行人追踪或监控的场景,也适用于跨场景的行人追踪或监控场景。本申请实施例中,以跨场景的行人追踪为例,具体说明本申请实施例中公开的行人重识别方法的具体实施方式。
本申请的一些实施例中,所述行人重识别方法可以划分为多个程序任务协作执行。例如,在本申请的一些实施例中,如图2所示,所述行人重识别方法可以划分为:检测追踪判定任务210、检测任务220、追踪任务230、与所述检测任务220对应的第一图像信息队列2201、与所述追踪任务230对应的第二图像信息队列2301、行人信息队列维护任务240和行人特征提取任务250。本申请的一些实施例中,所述行人信息队列维护任务240还包括至少一个预设行人信息队列,例如,所述预设行人信息队列包括:追踪行人信息队列2401和丢失行人信息队列2402。所述预设行人信息队列用于存储已经检测到的每个行人的关联信息。其中,所述关联信息以预先定义的行人结构体形式存储,所述行人结构体中包括:行人图像(即行人图像的像素信息)、来源采集设备标识、行人检测框结构体、行人检测框预测次数计数、行人标识、运动矢量、行人特征等信息。其中,行人检测框结构体进一步包括:行人检测框的位置和尺寸、置信度、行人检测框的来源标识(如检测结果、追踪结果、预测结果)。
所述第一图像信息队列2201用于存储检测帧图像,所述第二图像信息队列2301用于存储追踪帧图像。所述第一图像信息队列2201和所述第二图像信息队列2301按照先进先出的方式管理图像帧。所述第一图像信息队列2201和所述第二图像信息队列2301以图像结构体的形式存储每个图像帧,所述图像结构体包括以下数据:图像帧内容(即图像帧的图像像素信息)、图像帧尺寸、来源采集设备标识、时间戳,以及图像编号等信息。
本申请的一些实施例中,对于一个图像采集设备,通常以N个(N为大于2的自然数)连续图像帧为一组,其中,每组中的第一个图像帧为用于进行行人检测的图像帧,通常称为“检测帧”),将检测帧后续的N-1个图像帧称为“追踪帧”,用于进行行人追踪。
本申请的一些实施例中,所述检测追踪判定任务210可以设置一个变量,来标识下一个采集的图像帧是用于进行行人检测的图像帧或用于行人追踪的图像帧。例如,在进行图像采集之前,将变量设置为用于指示下一个采集的图像帧为用于进行行人检测的图像帧。则检测追踪判定任务210可以根据所述变量的取值进一步判断当前采集到的图像帧的作用,并将当前采集到的图像帧存储到第一图像信息队列2201或第二图像信息队列2301。
本申请的一些实施例中,当在行人追踪的过程中,出现某一图像采集设备中的行人跟丢了的情况时,可以通过设置该变量的值指示重新采集检测帧,从而重新启动该图像采集设备对监控场景中的行人检测和跟踪。
步骤120,响应于所述视频图像帧为用于行人检测的图像帧,将所述图像帧缓存至行人检测网络对应的第一图像信息队列;以及,响应于所述视频图像帧为用于行人追踪的图像帧,将所述图像帧缓存至行人追踪网络对应的第二图像信息队列。
如前所述,检测追踪判定任务210可以根据所述变量的取值进一步判断当前采集到的图像帧的作用,当确定当前采集的所述视频图像帧为用于行人检测的图像帧时,则将所述图像帧缓存至第一图像信息队列2201;当确定当前采集的所述视频图像帧为用于行人追踪的图像帧时,则将所述图像帧缓存至第二图像信息队列2301。
步骤130,通过至少一个行人检测网络对所述第一图像信息队列中缓存的所述图像帧进行行人检测,并将进行行人检测得到的行人信息缓存至预设行人信息队列;以及,通过至少一个行人追踪网络基于所述第二图像信息队列中缓存的所述图像帧进行行人追踪,并根据行人追踪结果更新所述预设行人信息队列中的行人信息。
行人检测、追踪和行人信息维护是通过检测任务220、追踪任务230和行人队列维护模块相互作用实现的,下面结合行人监控场景的行人监控过程,分别描述以上几个程序模块的具体实施方案。
一、检测任务
本申请具体实施时,所述检测任务220中可以包括多个行人检测网络,这多个行人检测网络可以并行分别基于不同图像采集设备采集的检测帧进行行人检测,以提升行人检测的效率。
本申请的一些实施例中,所述行人检测网络由数十个卷积神经网络构成主干网络,主干网络用于提取输入层输入的图像的高维特征。主干网络可由常见的Resnet、Inception、VGG、Mobilenet等网络结构组成,在主干网络之后,连接3个分支网络,每个分支网络分别以不同尺度对主干网络输出的特征图进行下采样,每个分支网络配有3个先验框,共有 个预测向量,其中fb1代表第一个分支网络输出的特征图边长,依此类推。不同尺寸的先验框针对不同分支网络来检测行人,此方法可以提高召回率,以检测出图像中不同尺寸或形状的行人。每个预测向量由行人坐标+坐标置信度+分类概率组成。最后,再利用非极大值抑制(NMS)的方法,去掉冗余部分的行人检测框,得到最终的检测结果。
本申请的一些实施例中,所述分支网络还可以为其他数量或结构。所述行人检测网络可以为现有技术中的行人检测网络,只要可以准确地输出输入图像帧中的行人检测框、位置、尺寸和置信度即可满足本申请的基本需求。
本申请的一些实施例中,通过至少一个行人检测网络对所述第一图像信息队列中缓存的所述图像帧进行行人检测,并将进行行人检测得到的行人信息缓存至预设行人信息队列的步骤,包括:按照图像帧的采集时间由先到后的顺序,从所述第一图像信息队列中提取一图像帧,作为当前检测帧;通过一预设行人检测网络对所述当前检测帧进行行人检测,获取所述当前检测帧中包括的至少一个行人检测框信息,以及与每个行人检测框对应的行人图像;确定每个所述行人图像对应的行人信息,并将所述当前检测帧中的行人信息存储至预设行人信息队列;其中,所述行人信息包括:行人图像、行人图像对应的行人检测框信息、采集所述行人图像的采集设备标识和时间戳。其中,行人检测框信息进一步包括:行人检测框的位置和尺寸、置信度、行人检测框的来源标识(如检测结果、追踪结果、预测结果)。以监控场景中设置有两个图像采集设备为例,所述检测任务220中可以设置两个同样的行人检测网络,每个行人检测网络处理一个图像采集设备采集的检测帧。在行人检测网络基于检测帧进行行人检测时,按照先采集先处理的顺序从所述第一图像信息队列中提取一图像帧,作为当前检测帧。然后,行人检测网络对取出的当前检测帧进行行人检测,获取该当前检测帧中包括的一个或多个行人检测框中每个行人检测框的置信度、在输入的检测帧中的像素位置、长和宽。之后,检测任务220根据每个行人检测框信息分别生成一个行人检测框信息,所述行人检测框信息包括:行人检测框的位置和尺寸、置信度、行人检测框的来源标识,其中,所述行人检测框的来源标识被设置为检测结果。进一步的,根据每个行人检测框可以确定与该行人检测框对应的行人图像区域,检测任务220将根据确定的行人图像区域对检测帧进行裁剪,得到与该行人检测框对应的行人图像。然后,根据行人检测框信息、该行人检测框对应的行人图像、采集该检测帧的采集设备标识和时间戳,确定每个所述行人图像对应的行人信息,并将所述当前检测帧中的各行人信息发送至行人信息队列维护任务240,以存储至预设行人信息队列。
本申请的一些实施例中,所述行人信息还包括:运动矢量。所述将所述当前检测帧中的行人信息存储至预设行人信息队列的步骤之后,还包括:根据至少两个相邻图像帧中同一行人的行人检测框的运动轨迹,设置所述同一行人的行人信息中的运动矢量。在将所述当前检测帧中的行人信息发送至行人信息队列维护任务240之后,所述行人信息队列维护任务240结合所述行人信息对应的行人的多帧运动信息计算出所述行人信息中的运动矢量。例如,所述行人信息队列维护任务240根据至少相邻两个图像帧中行人检测框中心在图像帧中的位置偏移,确定所述行人检测框对应的运动矢量。
本申请的另一些实施例中,行人信息中的运动矢量还可以根据统一图像采集设备采集的图像帧序列中的运动特征确定,具体实施方式可以参见现有技术,本申请实施例中不再一一例举。
二、行人信息队列维护任务针对检测任务输入的处理
本申请的一些实施例中,所述预设行人信息队列包括:追踪行人信息队列和丢失行人信息队列,其中,追踪行人信息队列中存储的是被正常追踪的行人信息,丢失行人信息队列中存储的是在行人追踪过程中跟丢了的行人信息。追踪行人信息队列中存储的行人信息和丢失行人信息队列中的行人信息在特定情况下可以相互转移。
将所述当前检测帧中的行人信息存储至预设行人信息队列,包括:确定所述当前检测帧的一行人信息中包括的行人图像的行人特征,作为当前行人特征;将所述当前行人特征与所述预设行人信息队列中已有的各行人信息中包括的行人特征进行匹配;响应于所述当前行人特征与所述丢失行人信息队列中已有行人信息中包括的行人特征匹配成功,则确定重新检测到跟丢行人,根据当前行人特征所属行人信息、所述丢失行人信息队列中匹配成功的行人特征所属行人信息,更新所述追踪行人信息队列,并从所述丢失行人信息队列中移除匹配成功的行人特征所属行人信息;响应于所述当前行人特征与所述追踪行人信息队列中已有行人信息中包括的行人特征匹配成功,则确定检测到正常跟踪行人,通过所述当前行人特征所属行人信息更新所述追踪行人信息队列中匹配成功的行人特征所属行人信息;响应于所述当前行人特征分别与所述丢失行人信息队列中和所述追踪行人信息队列中已有行人信息包括的行人特征匹配失败,确定所述当前行人特征所属行人信息匹配的行人标识,并将所述当前行人特征所属行人信息存储至所述追踪行人信息队列。
当行人信息队列维护任务240接收到检测任务220输出的当前检测帧中的各行人信息之后,对于每个行人信息,行人信息队列维护任务240首先根据行人信息中行人图像提取的行人特征,判断该行人信息是跟丢的行人,或是初次进入监控场景的行人,还是正在被追踪的行人,并根据不同的情况,对当前检测到的行人信息进行相应处理。
本申请的一些实施例中,行人信息队列维护任务240可以通过行人特征提取任务250获取当前检测到的行人信息的行人特征,作为当前行人特征。
本申请的一些实施例中,可以通过计算当前行人特征的欧氏距离与所述丢失行人信息队列中已有行人信息中包括的每个行人特征的欧氏距离,以确定两组行人特征的相似度,当相似度满足预设条件时,确定匹配成功,即当前检测到的行人信息属于跟丢的行人。之后,读取丢失行人信息队列中匹配成功的跟丢行人的行人信息,通过所述当前行人特征所属行人信息更新读取的行人信息,并将更新后的行人信息存储至所述追踪行人信息队列。之后,将所述丢失行人信息队列中匹配成功的行人特征所属行人信息从所述丢失行人信息队列中移除。
本申请的一些实施例中,可以通过计算当前行人特征的欧氏距离与所述跟踪行人信息队列中已有行人信息中包括的每个行人特征的欧氏距离,以确定两组行人特征的相似度,当相似度满足预设条件时,确定匹配成功,即当前检测到的行人信息属于正在跟踪的行人。之后,通过当前检测到的行人信息更新匹配成功的行人特征所属行人信息。
本申请的一些实施例中,如果当前行人特征与所述跟踪行人信息队列中已有行人信息中包括的每个行人特征和丢失行人信息列表中包括的每个行人特征均不匹配,说明当前检测到的行人为初次进入监控场景的行人,则为该行人分配一个行人标识,之后,将该行人信息存储至追踪行人信息队列中,用于后续进行行人跟踪。
本申请的一些实施例中,检测任务220输入至行人信息队列维护任务240的当前行人信息以行人结构体的形式传输,其中,行人标识是空值,行人信息队列维护任务240通过对当前行人信息中行人图像与正在追踪的和追踪丢失的行人信息进行行人特征匹配,根据匹配结果对当前行人信息中的行人标识赋值。
三、追踪任务
所述追踪任务230可以和所述检测任务220并行执行。本申请的一些实施例中,所述追踪任务230中可以包括多个行人追踪网络,这多个行人追踪网络可以并行分别基于不同图像采集设备采集的追踪帧进行行人追踪,以提升行人追踪的效率。
本申请的一些实施例中,行人追踪网络为回归网络,如图3所示,行人追踪网络包括两个分支网络,每个分支网络包括一系列的卷积层,两个分支网络的输出共同连接至全连接层。行人追踪网络对输入的当前追踪帧剪裁出的追踪区域图像310和前一帧剪裁出的追踪目标图像320,经过网络前向计算,在最后一个全连接层会输出在追踪区域图像内的行人中心点位置及中心点向行人左上角的偏移量w和h,以及置信度,再使用此输出结果换算出行人框在追踪区域图像中的位置和宽、高,确定行人检测框330。
本申请的一些实施例中,行人追踪网络采用了离线学习的策略,预先训练得到。以行人追踪网络为回归网络为例,在训练回归网络的过程中,所述回归网络的训练样本包括:真实应用场景光照条件下采集到的行人图像、对所述真实应用场景光照条件下采集到的行人图像进行光照数据增强处理后得到的行人图像。例如,通过工具人工的随机生成遮挡、光照变化连续帧行人图像,并根据行人图像训练回归网络,使训练后的回归网络对光照变化的鲁棒性更强,性能更优。通过离线训练回归网络,在实际在线运行时冻结网络的权重不进行训练,因此网络的时间成本极低,计算资源消耗也相对较少,适合在复杂场景下使用。
本申请的一些实施例中,所述通过至少一个行人追踪网络基于所述第二图像信息队列中缓存的所述图像帧进行行人追踪,并根据行人追踪结果更新所述预设行人信息队列中的行人信息,包括:按照图像帧的采集时间由先到后的顺序,从所述第二图像信息队列中提取一图像帧,作为当前追踪帧;从所述预设行人信息队列中读取采集所述当前追踪帧的采集设备所采集的,所述当前追踪帧的前一图像帧的行人信息,作为追踪行人信息;根据所述当前追踪帧、所述追踪行人信息中的行人检测框信息,以及所述追踪行人信息对应的运动矢量,预估所述当前追踪帧中各行人的追踪区域;根据所述追踪区域从所述当前追踪帧中裁剪得到当前追踪帧中的各追踪区域图像;根据所述各追踪区域图像和相应的所述追踪行人信息中的行人图像,通过所述行人追踪网络回归所述各追踪区域图像中行人检测框及其置信度;根据所述各追踪区域图像中行人检测框的置信度,更新所述预设行人信息队列。
首先,追踪任务230从第二图像信息队列中按照先采集先处理的顺序提取出一图像帧,作为当前追踪帧。以当前追踪帧的图像采集设备标识为C1为例,然后,从追踪行人信息队列中读取关联采集设备标识C1的行人信息中,时间戳早于该当前追踪帧的时间戳且与当前追踪帧的时间戳最接近(即当前追踪帧的前一帧)的行人信息,作为追踪行人信息。其中,所述追踪行人信息包括追踪行人的行人图像、运动矢量、行人检测框信息(如行人检测框的位置、长和宽)。之后,根据所述当前追踪帧、所述追踪行人信息中的行人检测框信息,以及所述追踪行人信息对应的运动矢量,预估所述当前追踪帧中各行人的位置,并以该位置为中心,向四周扩展,得到一个大于追踪行人信息中的行人检测框大小的追踪区域。然后,从所述当前追踪帧中裁剪出确定的追踪区域对应的图像,得到当前追踪帧中的各追踪区域图像。
本申请的一些实施例中,所述根据所述各追踪区域图像和相应的所述追踪行人信息中的行人图像,通过所述行人追踪网络回归所述各追踪区域图像中行人检测框及其置信度,包括:将所述追踪区域图像和相应所述追踪行人信息中的行人图像,输入至预先训练的回归网络,通过所述回归网络根据所述追踪行人信息中的行人图像的图像特征与所述追踪区域图像的图像特征的匹配度,回归所述追踪区域图像中行人检测框和置信度。例如,对于每个追踪区域图像,将该追踪区域图像和对应的追踪行人信息中的行人图像输入至预先训练的行人追踪网络,进行位置回归,即可输出该追踪区域图像中的行人检测框的位置、大小和置信度。
然后,追踪任务230将当前追踪帧追踪区域图像中的行人检测框及其置信度,以及当前追踪帧对应的图像采集设备标识、时间戳等信息,生成行人信息,并将该行人信息发送到行人信息队列维护任务240,用于更新所述追踪行人信息队列中相应行人标识的行人信息。
四、行人信息队列维护任务针对追踪任务输入的处理
本申请的一些实施例中,所述预设行人信息队列包括:追踪行人信息队列和丢失行人信息队列,所述根据所述各追踪区域图像中行人检测框的置信度,更新所述预设行人信息队列,包括:响应于追踪区域图像中行人检测框的置信度大于或等于预设置信度阈值,根据当前追踪帧和所述行人检测框生成一行人信息,并将所述行人信息标识为追踪结果,之后,通过标识为追踪结果的行人信息更新所述追踪行人信息队列中所述追踪行人信息对应的行人信息;响应于追踪区域图像中行人检测框的置信度小于预设置信度阈值,且所述追踪行人信息对应的行人信息的预测次数小于预设次数阈值,则根据当前追踪帧和所述行人检测框生成一行人信息,并将生成的所述行人信息标识为预测结果,之后,通过标识为预测结果的所述行人信息更新所述追踪行人信息队列中所述追踪行人信息对应的行人信息,并累加所述预测次数;响应于追踪区域图像中行人检测框的置信度小于预设置信度阈值,且所述追踪行人信息对应的行人信息的预测次数大于或等于预设次数阈值,则将所述追踪行人信息对应的行人信息从所述追踪行人信息队列中移至所述丢失行人信息队列中,且设置采集所述追踪行人信息的采集设备采集的下一图像帧为用于行人检测的图像帧。
例如,当追踪区域图像中行人检测框的置信度大于或等于预设置信度阈值时,确定当前追踪帧中的追踪结果有效,则根据当前追踪帧、采集所述当前追踪帧的图像采集设备的标识、时间戳、所述行人检测框等信息生成一行人信息,并将所述行人信息标识为追踪结果。之后,通过标识为追踪结果的行人信息更新所述追踪行人信息队列中所述追踪行人信息匹配的行人标识所匹配的行人信息。
例如,当追踪区域图像中行人检测框的置信度小于预设置信度阈值时,通常此时的行人检测结果是不被采用的,但是考虑到行人可能暂时被遮挡,因此,本申请实施例中需要结合多次追踪结果,综合判断当前追踪帧中的追踪结果是否采用。此时,如果对所述追踪行人信息对应的行人信息的预测次数小于预设次数阈值,则根据当前追踪帧的图像采集设备的标识、时间戳和所述行人检测框等信息生成一行人信息,并将所述行人信息标识为预测结果。之后,通过标识为预测结果的所述行人信息更新所述追踪行人信息队列中所述追踪行人信息匹配的行人标识所匹配的行人信息,并累加所述预测次数。
再例如,当追踪区域图像中行人检测框的置信度小于预设置信度阈值时,确定当前追踪帧中的追踪结果需要结合多次预测结果综合判断。此时,如果所述追踪行人信息匹配的行人标识所匹配的行人信息的多次预测结果的置信度都小于预设置信度阈值,说明出现了人员追踪丢失的情况,则将所述追踪行人信息所匹配的行人标识所匹配的行人信息,从所述追踪行人信息队列中移至所述丢失行人信息队列中,且设置采集所述追踪行人信息的采集设备采集的下一图像帧为用于行人检测的图像帧。
本申请的一些实施例中,所述第一图像信息队列、第二图像信息队列中的图像结构体设置有访问锁,所述追踪行人信息队列和丢失行人信息队列中的行人结构体设置有访问锁,当某一网络读取上述任一信息队列中的数据结构时,需要对该信息数据结构加锁保护,避免数据访问冲突。
本申请的一些实施例中,检测帧、追踪帧等图像帧中的所述指定行人的行人特征通过预设行人重识别网络提取,其中,所述行人重识别网络包括:骨干网络和与所述骨干网络的输出并行连接的第一分支网络和至少两个第二分支网络;所述第一分支网络通过对所述骨干网络输出的高维特征进行特征映射,提取所述图像帧的全局特征并对所述全局特征进行下采样,得到一组全局特征向量;每个所述第二分支网络分别通过对所述骨干网络输出的高维特征进行特征映射,提取所述图像帧的全局特征并对所述全局特征进行下采样,各自得到一组全局特征向量,之后,每个所述第二分支网络分别按照不同的特征图切分方式对各自提取的所述全局特征进行切分,并分别对切分后得到的局部特征进行特征映射和下采样,得到多组局部特征向量;将所述第一分支网络得到的全局特征向量、各所述第二分支网络得到的全局特征向量和局部特征向量进行拼接,得到所述图像帧中的行人特征。
以所述行人重识别网络的结构图以图4所示为例,输入图像经过骨干网络400提取输入图像的高维特征图后,得到的高维特征图传入3个分支网络中。其中,第一个分支网络410提取高维特征图的全局特征并进行下采样,最终输出一组256维的向量;第二个分支网络420先提取高维特征图的全局特征并输出一组256维的向量,然后,对高维特征图沿横轴二等分,再分别提取局部特征(等分后得到的特征图的特征)并下采样,最终生成2组256维的向量;第三个分支网络430同样是先提取高维特征图的全局特征并输出一组256维的向量,并对高维特征图沿横轴三等分,再分别提取三等分后得到的特征图的局部特征并下采样,最终生成3组256维的向量;最后,将得到的8组256维的特征向量首尾拼接,组成最终输出的行人特征向量。通过多种切分方式提取局部特征,并拼接全局特征,可以解决由于行人遮挡等情况造成前后帧的行人无法匹配的问题,使整个行人重识别方法在跨场景、真实复杂环境下能够起到更准确进行行人追踪的效果。
步骤140,根据所述预设行人信息队列中的行人信息,获取指定行人的行人特征和/或行人轨迹。
如前所述,预设行人信息队列包括:追踪行人信息队列和丢失行人信息队列,其中,追踪行人信息队列中以行人结构体的形式存储了不同采集设备标识的图像采集设备监控场景中的行人信息,每组行人信息中包括匹配的行人标识、行人图像、行人检测框信息、对应图像帧的时间戳,其中,所述行人检测框信息包括:行人检测框的位置、宽和高,以及置信度。
进一步的,通过遍历追踪行人信息队列中匹配某一行人标识的行人信息,并根据时间戳由先到后的顺序,对匹配该行人标识的行人信息中的行人检测框的位置进行排序,就可以得到该行人标识所标识的行人在监控场景中的移动轨迹。其中,匹配该行人标识的行人信息中还包括图像采集设备的标识,即所述移动轨迹不仅可以根据一个图像采集设备采集的图像帧中行人检测框的位置确定,也根据多个图像采集设备采集的图像帧中行人检测框的位置确定,可以实现跨场景行人追踪。
另一方面,追踪行人信息队列中存储的行人信息还包括行人特征,通过追踪行人信息队列即可得到指定图像采集设备中匹配指定用户标识的行人的行人特征。
本申请实施例公开的行人重识别方法,通过确定当前采集的视频图像帧为用于行人检测的图像帧或用于行人追踪的图像帧,之后,响应于所述视频图像帧为用于行人检测的图像帧,将所述图像帧缓存至行人检测网络对应的第一图像信息队列;以及,响应于所述视频图像帧为用于行人追踪的图像帧,将所述图像帧缓存至行人追踪网络对应的第二图像信息队列;然后,通过至少一个行人检测网络对所述第一图像信息队列中缓存的所述图像帧进行行人检测,并将进行行人检测得到的行人信息缓存至预设行人信息队列;以及,通过至少一个行人追踪网络基于所述第二图像信息队列中缓存的所述图像帧进行行人追踪,并根据行人追踪结果更新所述预设行人信息队列中的行人信息;根据所述预设行人信息队列中的行人信息,获取指定行人的行人特征和/或行人轨迹,可以提升进行行人重识别的效率。本申请实施例公开的行人重识别方法,通过并行设置多个行人检测网络和行人追踪网络,使得每个行人检测网络和行人追踪网络可以针对不同用户或不同图像采集设备采集的图像帧进行并行处理,充分提升了行人重识别的效率。
在大型应用场景下,一般会有数百个摄像头同时采集监控场景的图像,因此需要服务器集群来处理这些图像,在这种应用场景下,设置若干行人检测网络和行人追踪网络,分布式处理这些图像将极大提升行重识别效率。另一方面,行人检测网络、行人追踪网络和行人重识别网络的输入层可以设置为NHWC的一个张量,其中HWC为图像数组,N为图像数量,在图形处理器(GPU)性能过剩的前提下,N可以设置一个较大的自然数,来利用剩余的GPU性能,其一次处理N张图像所消耗的时间一般小于逐帧处理N遍所消耗的时间,所以更节省时间。
实施例二
对应于方法实施例,本申请另一实施例中公开了一种行人重识别装置,如图5所示,所述装置包括:
图像帧判断模块510,用于确定当前采集的视频图像帧为用于行人检测的图像帧或用于行人追踪的图像帧;
所述图像帧判断模块510,还用于响应于所述视频图像帧为用于行人检测的图像帧,将所述图像帧缓存至行人检测网络对应的第一图像信息队列;以及,响应于所述视频图像帧为用于行人追踪的图像帧,将所述图像帧缓存至行人追踪网络对应的第二图像信息队列;
行人检测模块520,用于通过至少一个行人检测网络对所述第一图像信息队列中缓存的所述图像帧进行行人检测,得到行人信息;
行人信息维护模块530,用于将所述行人检测模块520得到的行人信息缓存至预设行人信息队列;以及,
行人追踪模块540,用于通过至少一个行人追踪网络基于所述第二图像信息队列中缓存的所述图像帧进行行人追踪,得到追踪结果;
所述行人信息维护模块530,还用于根据所述行人追踪模块540得到的行人追踪结果更新所述预设行人信息队列中的行人信息;
行人重识别数据获取模块550,用于根据所述预设行人信息队列中的行人信息,获取指定行人的行人特征和/或行人轨迹。
本申请的一些实施例中,所述行人检测模块520进一步用于:
按照图像帧的采集时间由先到后的顺序,从所述第一图像信息队列中提取一图像帧,作为当前检测帧;
通过一预设行人检测网络对所述当前检测帧进行行人检测,获取所述当前检测帧中包括的至少一个行人检测框信息,以及与每个行人检测框对应的行人图像;并确定每个所述行人图像对应的行人信息。
所述行人信息维护模块530,进一步用于将所述当前检测帧中的行人信息存储至预设行人信息队列;其中,所述行人信息包括:行人图像、行人图像对应的行人检测框信息、采集所述行人图像的采集设备标识和时间戳。
本申请的一些实施例中,所述预设行人信息队列包括:追踪行人信息队列和丢失行人信息队列,所述行人信息维护模块530进一步用于,
确定所述当前检测帧的一行人信息中包括的行人图像的行人特征,作为当前行人特征;
将所述当前行人特征与所述预设行人信息队列中已有的各行人信息中包括的行人特征进行匹配;
响应于所述当前行人特征与所述丢失行人信息队列中已有行人信息中包括的行人特征匹配成功,则确定重新检测到跟丢行人,根据当前行人特征所属行人信息、所述丢失行人信息队列中匹配成功的行人特征所属行人信息,更新所述追踪行人信息队列,并从所述丢失行人信息队列中移除匹配成功的行人特征所属行人信息;
响应于所述当前行人特征与所述追踪行人信息队列中已有行人信息中包括的行人特征匹配成功,则确定检测到正常跟踪行人,通过所述当前行人特征所属行人信息更新所述追踪行人信息队列中匹配成功的行人特征所属行人信息;
响应于所述当前行人特征分别与所述丢失行人信息队列中和所述追踪行人信息队列中已有行人信息包括的行人特征匹配失败,确定所述当前行人特征所属行人信息匹配的行人标识,并将所述当前行人特征所属行人信息存储至所述追踪行人信息队列。
本申请的一些实施例中,所述行人信息还包括:运动矢量,所述将所述当前检测帧中的行人信息存储至预设行人信息队列之后,所述行人信息维护模块530进一步还用于:
根据至少两个相邻图像帧中同一行人的行人检测框的运动轨迹,设置所述同一行人的行人信息中的运动矢量;
所述行人追踪模块540进一步用于:
按照图像帧的采集时间由先到后的顺序,从所述第二图像信息队列中提取一图像帧,作为当前追踪帧;
从所述预设行人信息队列中读取采集所述当前追踪帧的采集设备所采集的,所述当前追踪帧的前一图像帧的行人信息,作为追踪行人信息;
根据所述当前追踪帧、所述追踪行人信息中的行人检测框信息,以及所述追踪行人信息对应的运动矢量,预估所述当前追踪帧中各行人的追踪区域;
根据所述追踪区域从所述当前追踪帧中裁剪得到当前追踪帧中的各追踪区域图像;
根据所述各追踪区域图像和相应的所述追踪行人信息中的行人图像,通过所述行人追踪网络回归所述各追踪区域图像中行人检测框及其置信度;
所述行人信息维护模块530,还用于根据所述各追踪区域图像中行人检测框的置信度,更新所述预设行人信息队列。
本申请的一些实施例中,所述预设行人信息队列包括:追踪行人信息队列和丢失行人信息队列,所述根据所述各追踪区域图像中行人检测框的置信度,更新所述预设行人信息队列,包括:
响应于追踪区域图像中行人检测框的置信度大于或等于预设置信度阈值,根据当前追踪帧和所述行人检测框生成一行人信息,并将所述行人信息标识为追踪结果,之后,通过标识为追踪结果的行人信息更新所述追踪行人信息队列中所述追踪行人信息对应的行人信息;
响应于追踪区域图像中行人检测框的置信度小于预设置信度阈值,且对所述追踪行人信息对应的行人信息的预测次数小于预设次数阈值,则根据当前追踪帧和所述行人检测框生成一行人信息,并将生成的所述行人信息标识为预测结果,之后,通过标识为预测结果的所述行人信息更新所述追踪行人信息队列中所述追踪行人信息对应的行人信息,并累加所述预测次数;
响应于追踪区域图像中行人检测框的置信度小于预设置信度阈值,且对所述追踪行人信息对应的行人信息的预测次数大于或等于预设次数阈值,则将所述追踪行人信息对应的行人信息从所述追踪行人信息队列中移至所述丢失行人信息队列中,且设置采集所述追踪行人信息的采集设备采集的下一图像帧为用于行人检测的图像帧。
本申请的一些实施例中,所述根据所述各追踪区域图像和相应的所述追踪行人信息中的行人图像,通过所述行人追踪网络回归所述各追踪区域图像中行人检测框及其置信度,包括:
将所述追踪区域图像和相应所述追踪行人信息中的行人图像,输入至预先训练的回归网络,通过所述回归网络根据所述追踪行人信息中的行人图像的图像特征与所述追踪区域图像的图像特征的匹配度,回归所述追踪区域图像中行人检测框和置信度;
其中,所述回归网络的训练样本包括:真实应用场景光照条件下采集到的行人图像、对所述真实应用场景光照条件下采集到的行人图像进行光照数据增强处理后得到的行人图像。
本申请的一些实施例中,图像帧中的所述指定行人的行人特征通过预设行人重识别网络提取,其中,所述行人重识别网络包括:骨干网络和与所述骨干网络的输出并行连接的第一分支网络和至少两个第二分支网络;所述第一分支网络通过对所述骨干网络输出的高维特征进行特征映射,提取所述图像帧的全局特征并对所述全局特征进行下采样,得到一组全局特征向量;每个所述第二分支网络分别通过对所述骨干网络输出的高维特征进行特征映射,提取所述图像帧的全局特征并对所述全局特征进行下采样,各自得到一组全局特征向量,之后,每个所述第二分支网络分别按照不同的特征图切分方式对各自提取的所述全局特征进行切分,并分别对切分后得到的局部特征进行特征映射和下采样,得到多组局部特征向量;
将所述第一分支网络得到的全局特征向量、各所述第二分支网络得到的全局特征向量和局部特征向量进行拼接,得到所述图像帧中的行人特征。
本申请实施例公开的行人重识别装置,通过确定当前采集的视频图像帧为用于行人检测的图像帧或用于行人追踪的图像帧,之后,响应于所述视频图像帧为用于行人检测的图像帧,将所述图像帧缓存至行人检测网络对应的第一图像信息队列;以及,响应于所述视频图像帧为用于行人追踪的图像帧,将所述图像帧缓存至行人追踪网络对应的第二图像信息队列;然后,通过至少一个行人检测网络对所述第一图像信息队列中缓存的所述图像帧进行行人检测,并将进行行人检测得到的行人信息缓存至预设行人信息队列;以及,通过至少一个行人追踪网络基于所述第二图像信息队列中缓存的所述图像帧进行行人追踪,并根据行人追踪结果更新所述预设行人信息队列中的行人信息;根据所述预设行人信息队列中的行人信息,获取指定行人的行人特征和/或行人轨迹,可以提升进行行人重识别的效率。
本申请实施例公开的行人重识别装置,通过并行设置多个行人检测网络和行人追踪网络,使得每个行人检测网络和行人追踪网络可以针对不同用户或不同图像采集设备采集的图像帧进行并行处理,充分提升了行人重识别的效率。
相应的,本申请还公开了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例一所述的行人重识别方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例一所述的行人重识别方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种行人重识别方法及装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
Claims (10)
1.一种行人重识别方法,其特征在于,包括:
确定当前采集的视频图像帧为用于行人检测的图像帧或用于行人追踪的图像帧;
响应于所述视频图像帧为用于行人检测的图像帧,将所述图像帧缓存至行人检测网络对应的第一图像信息队列;以及,响应于所述视频图像帧为用于行人追踪的图像帧,将所述图像帧缓存至行人追踪网络对应的第二图像信息队列;
通过至少一个行人检测网络对所述第一图像信息队列中缓存的所述图像帧进行行人检测,并将进行行人检测得到的行人信息缓存至预设行人信息队列;以及,通过至少一个行人追踪网络基于所述第二图像信息队列中缓存的所述图像帧进行行人追踪,并根据行人追踪结果更新所述预设行人信息队列中的行人信息;
根据所述预设行人信息队列中的行人信息,获取指定行人的行人特征和/或行人轨迹。
2.根据权利要求1所述的方法,其特征在于,所述通过至少一个行人检测网络对所述第一图像信息队列中缓存的所述图像帧进行行人检测,并将进行行人检测得到的行人信息缓存至预设行人信息队列的步骤,包括:
按照图像帧的采集时间由先到后的顺序,从所述第一图像信息队列中提取一图像帧,作为当前检测帧;
通过一预设行人检测网络对所述当前检测帧进行行人检测,获取所述当前检测帧中包括的至少一个行人检测框信息,以及与每个行人检测框对应的行人图像;
确定每个所述行人图像对应的行人信息,并将所述当前检测帧中的行人信息存储至预设行人信息队列;其中,所述行人信息包括:行人图像、行人图像对应的行人检测框信息、采集所述行人图像的采集设备标识和时间戳。
3.根据权利要求2所述的方法,其特征在于,所述预设行人信息队列包括:追踪行人信息队列和丢失行人信息队列,所述将所述当前检测帧中的行人信息存储至预设行人信息队列的步骤,包括:
确定所述当前检测帧的一行人信息中包括的行人图像的行人特征,作为当前行人特征;
将所述当前行人特征与所述预设行人信息队列中已有的各行人信息中包括的行人特征进行匹配;
响应于所述当前行人特征与所述丢失行人信息队列中已有行人信息中包括的行人特征匹配成功,则确定重新检测到跟丢行人,根据当前行人特征所属行人信息、所述丢失行人信息队列中匹配成功的行人特征所属行人信息,更新所述追踪行人信息队列,并从所述丢失行人信息队列中移除匹配成功的行人特征所属行人信息;
响应于所述当前行人特征与所述追踪行人信息队列中已有行人信息中包括的行人特征匹配成功,则确定检测到正常跟踪行人,通过所述当前行人特征所属行人信息更新所述追踪行人信息队列中匹配成功的行人特征所属行人信息;
响应于所述当前行人特征分别与所述丢失行人信息队列中和所述追踪行人信息队列中已有行人信息包括的行人特征匹配失败,确定所述当前行人特征所属行人信息匹配的行人标识,并将所述当前行人特征所属行人信息存储至所述追踪行人信息队列。
4.根据权利要求2所述的方法,其特征在于,所述行人信息还包括:运动矢量,所述将所述当前检测帧中的行人信息存储至预设行人信息队列的步骤之后,还包括:
根据至少两个相邻图像帧中同一行人的行人检测框的运动轨迹,设置所述同一行人的行人信息中的运动矢量;
所述通过至少一个行人追踪网络基于所述第二图像信息队列中缓存的所述图像帧进行行人追踪,并根据行人追踪结果更新所述预设行人信息队列中的行人信息的步骤,包括:
按照图像帧的采集时间由先到后的顺序,从所述第二图像信息队列中提取一图像帧,作为当前追踪帧;
从所述预设行人信息队列中读取采集所述当前追踪帧的采集设备所采集的,所述当前追踪帧的前一图像帧的行人信息,作为追踪行人信息;
根据所述当前追踪帧、所述追踪行人信息中的行人检测框信息,以及所述追踪行人信息对应的运动矢量,预估所述当前追踪帧中各行人的追踪区域;
根据所述追踪区域从所述当前追踪帧中裁剪得到当前追踪帧中的各追踪区域图像;
根据所述各追踪区域图像和相应的所述追踪行人信息中的行人图像,通过所述行人追踪网络回归所述各追踪区域图像中行人检测框及其置信度;
根据所述各追踪区域图像中行人检测框的置信度,更新所述预设行人信息队列。
5.根据权利要求4所述的方法,其特征在于,所述预设行人信息队列包括:追踪行人信息队列和丢失行人信息队列,所述根据所述各追踪区域图像中行人检测框的置信度,更新所述预设行人信息队列的步骤,包括:
响应于追踪区域图像中行人检测框的置信度大于或等于预设置信度阈值,根据当前追踪帧和所述行人检测框生成一行人信息,并将所述行人信息标识为追踪结果,之后,通过标识为追踪结果的行人信息更新所述追踪行人信息队列中所述追踪行人信息对应的行人信息;
响应于追踪区域图像中行人检测框的置信度小于预设置信度阈值,且对所述追踪行人信息对应的行人信息的预测次数小于预设次数阈值,则根据当前追踪帧和所述行人检测框生成一行人信息,并将生成的所述行人信息标识为预测结果,之后,通过标识为预测结果的所述行人信息更新所述追踪行人信息队列中所述追踪行人信息对应的行人信息,并累加所述预测次数;
响应于追踪区域图像中行人检测框的置信度小于预设置信度阈值,且对所述追踪行人信息对应的行人信息的预测次数大于或等于预设次数阈值,则将所述追踪行人信息对应的行人信息从所述追踪行人信息队列中移至所述丢失行人信息队列中,且设置采集所述追踪行人信息的采集设备采集的下一图像帧为用于行人检测的图像帧。
6.根据权利要求4所述的方法,其特征在于,所述根据所述各追踪区域图像和相应的所述追踪行人信息中的行人图像,通过所述行人追踪网络回归所述各追踪区域图像中行人检测框及其置信度的步骤,包括:
将所述追踪区域图像和相应所述追踪行人信息中的行人图像,输入至预先训练的回归网络,通过所述回归网络根据所述追踪行人信息中的行人图像的图像特征与所述追踪区域图像的图像特征的匹配度,回归所述追踪区域图像中行人检测框和置信度;
其中,所述回归网络的训练样本包括:真实应用场景光照条件下采集到的行人图像、对所述真实应用场景光照条件下采集到的行人图像进行光照数据增强处理后得到的行人图像。
7.根据权利要求1至6任一项所述的方法,其特征在于,图像帧中的所述指定行人的行人特征通过预设行人重识别网络提取,其中,所述行人重识别网络包括:骨干网络和与所述骨干网络的输出并行连接的第一分支网络和至少两个第二分支网络;所述第一分支网络通过对所述骨干网络输出的高维特征进行特征映射,提取所述图像帧的全局特征并对所述全局特征进行下采样,得到一组全局特征向量;每个所述第二分支网络分别通过对所述骨干网络输出的高维特征进行特征映射,提取所述图像帧的全局特征并对所述全局特征进行下采样,各自得到一组全局特征向量,之后,每个所述第二分支网络分别按照不同的特征图切分方式对各自提取的所述全局特征进行切分,并分别对切分后得到的局部特征进行特征映射和下采样,得到多组局部特征向量;
将所述第一分支网络得到的全局特征向量、各所述第二分支网络得到的全局特征向量和局部特征向量进行拼接,得到所述图像帧中的行人特征。
8.一种行人重识别装置,其特征在于,包括:
图像帧判断模块,用于确定当前采集的视频图像帧为用于行人检测的图像帧或用于行人追踪的图像帧;
所述图像帧判断模块,还用于响应于所述视频图像帧为用于行人检测的图像帧,将所述图像帧缓存至行人检测网络对应的第一图像信息队列;以及,响应于所述视频图像帧为用于行人追踪的图像帧,将所述图像帧缓存至行人追踪网络对应的第二图像信息队列;
行人检测模块,用于通过至少一个行人检测网络对所述第一图像信息队列中缓存的所述图像帧进行行人检测,得到行人信息;
行人信息维护模块,用于将所述行人检测模块得到的行人信息缓存至预设行人信息队列;以及,
行人追踪模块,用于通过至少一个行人追踪网络基于所述第二图像信息队列中缓存的所述图像帧进行行人追踪,得到追踪结果;
所述行人信息维护模块,还用于根据所述行人追踪模块得到的行人追踪结果更新所述预设行人信息队列中的行人信息;
行人重识别数据获取模块,用于根据所述预设行人信息队列中的行人信息,获取指定行人的行人特征和/或行人轨迹。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述的行人重识别方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至7任意一项所述的行人重识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010561236.8A CN111860168B (zh) | 2020-06-18 | 2020-06-18 | 行人重识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010561236.8A CN111860168B (zh) | 2020-06-18 | 2020-06-18 | 行人重识别方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111860168A true CN111860168A (zh) | 2020-10-30 |
CN111860168B CN111860168B (zh) | 2023-04-18 |
Family
ID=72987625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010561236.8A Active CN111860168B (zh) | 2020-06-18 | 2020-06-18 | 行人重识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111860168B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112418146A (zh) * | 2020-12-02 | 2021-02-26 | 深圳市优必选科技股份有限公司 | 表情识别方法、装置、服务机器人和可读存储介质 |
CN113095199A (zh) * | 2021-04-06 | 2021-07-09 | 复旦大学 | 一种高速行人识别方法及装置 |
CN114740855A (zh) * | 2022-04-11 | 2022-07-12 | 沛远智能科技(厦门)有限公司 | 一种人物跟随识别确定方法及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105261035A (zh) * | 2015-09-15 | 2016-01-20 | 杭州中威电子股份有限公司 | 一种高速公路运动目标跟踪方法及装置 |
WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 视频目标跟踪方法和装置 |
CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
CN110443828A (zh) * | 2019-07-31 | 2019-11-12 | 腾讯科技(深圳)有限公司 | 对象跟踪方法和装置、存储介质及电子装置 |
CN110807377A (zh) * | 2019-10-17 | 2020-02-18 | 浙江大华技术股份有限公司 | 目标跟踪和入侵检测方法、装置、及存储介质 |
-
2020
- 2020-06-18 CN CN202010561236.8A patent/CN111860168B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105261035A (zh) * | 2015-09-15 | 2016-01-20 | 杭州中威电子股份有限公司 | 一种高速公路运动目标跟踪方法及装置 |
WO2018133666A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 视频目标跟踪方法和装置 |
CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
CN110443828A (zh) * | 2019-07-31 | 2019-11-12 | 腾讯科技(深圳)有限公司 | 对象跟踪方法和装置、存储介质及电子装置 |
CN110807377A (zh) * | 2019-10-17 | 2020-02-18 | 浙江大华技术股份有限公司 | 目标跟踪和入侵检测方法、装置、及存储介质 |
Non-Patent Citations (2)
Title |
---|
YUANYUAN CHEN等: "A Pedestrian Detection and Tracking System Based on Video Processing Technology" * |
高韬等: "基于交通视频序列的多运动目标跟踪算法", 《中南大学学报(自然科学版)》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112418146A (zh) * | 2020-12-02 | 2021-02-26 | 深圳市优必选科技股份有限公司 | 表情识别方法、装置、服务机器人和可读存储介质 |
CN112418146B (zh) * | 2020-12-02 | 2024-04-30 | 深圳市优必选科技股份有限公司 | 表情识别方法、装置、服务机器人和可读存储介质 |
CN113095199A (zh) * | 2021-04-06 | 2021-07-09 | 复旦大学 | 一种高速行人识别方法及装置 |
CN113095199B (zh) * | 2021-04-06 | 2022-06-14 | 复旦大学 | 一种高速行人识别方法及装置 |
CN114740855A (zh) * | 2022-04-11 | 2022-07-12 | 沛远智能科技(厦门)有限公司 | 一种人物跟随识别确定方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111860168B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110796051B (zh) | 基于货柜场景下的实时存取行为检测方法和系统 | |
CN111860168B (zh) | 行人重识别方法、装置、电子设备及存储介质 | |
CN110930434B (zh) | 目标对象跟随方法、装置、存储介质和计算机设备 | |
CN110765860A (zh) | 摔倒判定方法、装置、计算机设备及存储介质 | |
CN111723773B (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
CN114898416B (zh) | 一种人脸识别方法、装置、电子设备及可读存储介质 | |
CN113591674B (zh) | 一种面向实时视频流的边缘环境行为识别系统 | |
CN111275040A (zh) | 定位方法及装置、电子设备、计算机可读存储介质 | |
CN111814690A (zh) | 一种目标重识别方法、装置和计算机可读存储介质 | |
CN115049954A (zh) | 目标识别方法、装置、电子设备和介质 | |
CN113191183A (zh) | 人员重新识别中的无监督域纠正伪标签方法及装置 | |
CN114973057B (zh) | 基于人工智能的视频图像检测方法及相关设备 | |
CN112749605A (zh) | 身份识别方法、系统和设备 | |
CN111881775B (zh) | 一种人脸实时识别方法和装置 | |
CN113688804A (zh) | 基于多角度视频的动作识别方法及相关设备 | |
CN113255549A (zh) | 一种狼群围猎行为状态智能识别方法及系统 | |
CN114764895A (zh) | 异常行为检测装置和方法 | |
CN115512263A (zh) | 一种面向高空坠物的动态视觉监测方法及装置 | |
CN115909497A (zh) | 一种人体姿态识别方法及装置 | |
CN115311680A (zh) | 人体图像质量检测方法、装置、电子设备及存储介质 | |
JP2024516642A (ja) | 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体 | |
CN115393755A (zh) | 视觉目标跟踪方法、装置、设备以及存储介质 | |
CN115115976A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN114494355A (zh) | 基于人工智能的轨迹分析方法、装置、终端设备及介质 | |
CN114445787A (zh) | 非机动车重识别方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Pedestrian re identification method, device, electronic equipment, and storage medium Granted publication date: 20230418 Pledgee: Agricultural Bank of China Limited Beijing Haidian East Branch Pledgor: HANWANG TECHNOLOGY Co.,Ltd. Registration number: Y2024110000307 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |