CN110634153A - 目标跟踪模板更新方法、装置、计算机设备和存储介质 - Google Patents
目标跟踪模板更新方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110634153A CN110634153A CN201910887197.8A CN201910887197A CN110634153A CN 110634153 A CN110634153 A CN 110634153A CN 201910887197 A CN201910887197 A CN 201910887197A CN 110634153 A CN110634153 A CN 110634153A
- Authority
- CN
- China
- Prior art keywords
- frame image
- vehicle
- tracking
- target vehicle
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种目标跟踪模板更新方法、装置、计算机设备和存储介质。所述方法包括:在目标车辆跟踪过程中,获取视频源中的当前帧图像;所述当前帧图像包括目标车辆;当确定所述当前帧图像为更新帧图像时,获取所述更新帧图像中的车辆检测区域和目标车辆的跟踪区域;计算所述车辆检测区域和所述目标车辆的跟踪区域之间的交并比;若所述交并比大于预设的交并比阈值,则计算所述更新帧图像和当前模板帧图像之间的余弦相似度;当所述余弦相似度大于预设的相似度阈值时,将所述车辆检测区域更新到所述当前模板帧图像中对应的所述目标车辆的区域上。采用本方法能够避免车辆形态发生变化时导致跟踪中断或出错的问题。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种目标跟踪模板更新方法、装置、计算机设备和存储介质。
背景技术
随着社会经济的快速发展,人们的生活水平不断提高,车辆作为人类出行最便捷的交通工具之一,普及度也越来越高,然而随之而来的车辆交通违法行为也越来越多,有的违法行为甚至严重影响了道路交通的正常运转,因此,就需要通过对车辆进行跟踪,来判断车辆是否存在违法行为。
在对车辆跟踪过程中,相关技术大多是以初始检测到的目标车辆的图像作为模板图像,后续过程中都利用该模板图像对目标车辆进行跟踪。
然而由于车辆在行驶过程中的行为和状态是时刻变化的,若一直以初始检测到的目标车辆的图像作为模板图像进行跟踪,那么后续跟踪将会发生偏差,这样很可能会出现跟踪中断或者跟踪错误的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够避免跟踪过程出现错误的目标跟踪模板更新方法、装置、计算机设备和存储介质。
一种目标跟踪模板更新方法,该方法包括:
在目标车辆跟踪过程中,获取视频源中的当前帧图像;该当前帧图像包括目标车辆;
当确定当前帧图像为更新帧图像时,获取更新帧图像中的车辆检测区域和目标车辆的跟踪区域;
计算车辆检测区域和目标车辆的跟踪区域之间的交并比;
若交并比大于预设的交并比阈值,则计算更新帧图像和当前模板帧图像之间的余弦相似度;
当余弦相似度大于预设的相似度阈值时,将车辆检测区域更新到当前模板帧图像中对应的目标车辆的区域上。
在其中一个实施例中,上述确定当前帧图像为更新帧图像的确定方式,包括:
获取当前帧图像的帧号和预设的间隔帧数,并对当前帧图像的帧号和预设的间隔帧数进行取余处理,得到取余结果;
当取余结果满足预设的余数阈值时,将当前帧图像确定为更新帧图像。
在其中一个实施例中,上述计算更新帧图像和当前模板帧图像之间的余弦相似度,包括:
利用预设的跟踪模型对更新帧图像中的检测车辆进行特征提取,确定更新帧图像中检测车辆的特征;
利用预设的跟踪模型对当前模板帧图像中的目标车辆进行特征提取,确定当前模板帧图像中目标车辆的特征;
计算更新帧图像中检测车辆的特征和当前模板帧图像中目标车辆的特征之间的余弦相似度。
在其中一个实施例中,上述计算更新帧图像中检测车辆的特征和当前模板帧图像中目标车辆的特征之间的余弦相似度,包括:
将更新帧图像中检测车辆的特征转化成一维第一向量;
将当前模板帧图像中目标车辆的特征转化成一维第二向量;以及,
计算一维第一向量和一维第二向量之间的余弦相似度。
在其中一个实施例中,上述利用预设的跟踪模型对更新帧图像中的检测车辆进行特征提取,确定更新帧图像中检测车辆的特征,包括:
利用预设的目标检测算法对更新帧图像进行检测,确定更新帧图像中的车辆检测区域,该车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息;
将更新帧图像中的车辆检测区域输入预设的跟踪模型中进行特征提取,确定更新帧图像中检测车辆的特征。
在其中一个实施例中,上述计算车辆检测区域和目标车辆的跟踪区域之间的交并比,包括:
利用预设的目标检测算法对更新帧图像进行检测,确定更新帧图像中的车辆检测区域,该车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息;
利用预设的跟踪模型对更新帧图像进行跟踪,确定更新帧图像中目标车辆的跟踪区域,该跟踪区域包括目标车辆的跟踪框位置信息;
计算检测车辆的框位置信息和目标车辆的跟踪框位置信息之间的交并比。
在其中一个实施例中,上述预设的跟踪模型包括模板分支和检测分支,模板分支用于对模板帧图像中目标车辆的特征进行提取,检测分支用于根据模板分支输出的目标车辆的特征,对视频源的后续帧图像中的目标车辆进行跟踪。
在其中一个实施例中,上述方法还包括:
当确定当前帧图像不为更新帧图像时,则采用预设的跟踪模型对当前帧图像中的目标车辆进行跟踪,确定目标车辆的行驶信息。
一种目标跟踪模板更新装置,该装置包括:
第一获取模块,用于在目标车辆跟踪过程中,获取视频源中的当前帧图像;所述当前帧图像包括目标车辆;
第二获取模块,用于当确定所述当前帧图像为更新帧图像时,获取所述更新帧图像中的车辆检测区域和目标车辆的跟踪区域;
第一计算模块,用于计算所述车辆检测区域和所述目标车辆的跟踪区域之间的交并比;
第二计算模块,用于若所述交并比大于预设的交并比阈值,则计算所述更新帧图像和当前模板帧图像之间的余弦相似度;
更新模块,用于当所述余弦相似度大于预设的相似度阈值时,将所述车辆检测区域更新到所述当前模板帧图像中对应的所述目标车辆的区域上。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
在目标车辆跟踪过程中,获取视频源中的当前帧图像;该当前帧图像包括目标车辆;
当确定当前帧图像为更新帧图像时,获取更新帧图像中的车辆检测区域和目标车辆的跟踪区域;
计算车辆检测区域和目标车辆的跟踪区域之间的交并比;
若交并比大于预设的交并比阈值,则计算更新帧图像和当前模板帧图像之间的余弦相似度;
当余弦相似度大于预设的相似度阈值时,将车辆检测区域更新到当前模板帧图像中对应的目标车辆的区域上。
一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
在目标车辆跟踪过程中,获取视频源中的当前帧图像;该当前帧图像包括目标车辆;
当确定当前帧图像为更新帧图像时,获取更新帧图像中的车辆检测区域和目标车辆的跟踪区域;
计算车辆检测区域和目标车辆的跟踪区域之间的交并比;
若交并比大于预设的交并比阈值,则计算更新帧图像和当前模板帧图像之间的余弦相似度;
当余弦相似度大于预设的相似度阈值时,将车辆检测区域更新到当前模板帧图像中对应的目标车辆的区域上。
上述目标跟踪模板更新方法、装置、计算机设备和存储介质,通过在目标跟踪过程中获取包括目标车辆的当前帧图像,并在确定当前帧图像为更新帧图像时,获取更新帧图像中的车辆检测区域和目标车辆的跟踪区域,并计算车辆检测区域和目标车辆的跟踪区域之间的交并比,并在交并比大于预设交并比阈值时,计算更新帧图像和当前模板帧图像之间的余弦相似度,并在余弦相似度大于预设相似度阈值时,将车辆检测区域更新到当前模板帧图像中对应的目标车辆的区域上。在该方法中,由于可以更新模板帧图像,而不是一直使用初始帧图像作为模板帧图像,因此该方法可以避免车辆形态发生变化时导致跟踪中断或出错的问题;另外,由于在检测到车辆检测区域和跟踪区域的交并比大于交并比阈值时,还可以匹配检测当前模板帧和更新帧之间的余弦相似度,因此,该方法可以避免车辆重叠时因更新模板帧而导致跟踪目标漂移的问题,从而可以提高目标跟踪的准确性。
附图说明
图1为一个实施例中计算机设备的内部结构图;
图2为一个实施例中目标跟踪模板更新方法的流程示意图;
图3为另一个实施例中目标跟踪模板更新方法的流程示意图;
图4a为另一个实施例中目标跟踪模板更新方法的流程示意图;
图4b为另一个实施例的目标跟踪模板更新方法中提取特征的过程示意图;
图4c为另一个实施例的目标跟踪模板更新方法中向量转化的过程示意图;
图5a为另一个实施例中目标跟踪模板更新方法的流程示意图;
图5b为另一个实施例的目标跟踪模板更新方法中计算交并比的示意图;
图6为一个实施例中目标跟踪模板更新装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的目标跟踪模板更新方法,可以应用于如图1所示的计算机设备。如图1所示,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标跟踪模板更新方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
需要说明的是,本申请实施例的执行主体可以是目标跟踪模板更新装置,也可以是计算机设备,下面实施例将以执行主体为计算机设备为例进行说明。
在一个实施例中,提供了一种目标跟踪模板更新方法,本实施例涉及的是如何确定更新帧图像,并比较更新帧图像中检测区域和跟踪区域的交并比以及匹配检测更新帧图像和当前模板帧图像之间的余弦相似度,并根据匹配结果更新模板帧图像的具体过程。如图2所示,该方法可以包括以下步骤:
S202,在目标车辆跟踪过程中,获取视频源中的当前帧图像;该当前帧图像包括目标车辆。
本实施例中,在对车辆进行跟踪时,一般可以是针对车辆经过某一个监控卡口的视频进行采集和判断,当然也可以是针对车辆动态地进行跟踪和检测,即对车辆在行驶过程中经过的所有监控卡口的视频进行采集和判断,本申请以下的实施例将针对车辆经过一个监控卡口的情况进行说明,一般在监控卡口会设置有摄像头或者采集相机,其可以用来实时采集经过的车辆、行人等的视频图像,并将采集的视频图像实时传输给后台计算机设备进行处理。另外,采集视频源中可以包括一帧图像,也可以包括多帧图像,本实施例主要使用的是多帧图像,对于具体的帧数,可以根据实际情况而定,本实施例对此不作具体限定。另外,前帧图像非初始帧图像,当前帧图像中可以包括一个目标车辆,也可以包括多个目标车辆。
具体的,在车辆经过监控卡口的摄像头或者相机时,摄像头或相机会实时采集车辆的视频图像,该多帧视频图像可以称为视频源,并将采集的视频图像实时传输给与摄像头或相机连接的计算机设备,这样计算机设备就可以实时获取到采集的视频源,也就可以对视频源进行处理。在进行处理时,首先计算机设备可以利用目标检测算法对视频源中的初始帧图像进行目标检测,并将检测到的目标车辆区域(包括目标车辆框位置信息和目标车辆的属性信息等)输入预设的跟踪模型中,可选的,预设的跟踪模型可以包括模板分支和检测分支,模板分支用于对模板帧图像中目标车辆的特征进行提取,检测分支用于根据模板分支输出的目标车辆的特征,对视频源的后续帧图像中的目标车辆进行跟踪,也就是说,该跟踪模型可以包括模板分支和检测分支,模板分支用于对初始帧图像中的目标车辆区域进行特征提取(可以在模板分支的中间层进行特征提取),检测分支用于依据模板分支提取的特征,对后续帧图像中的车辆区域特征进行提取,并和模板分支提取的特征进行匹配,以及根据匹配结果对目标车辆进行跟踪。
S204,当确定当前帧图像为更新帧图像时,获取更新帧图像中的车辆检测区域和目标车辆的跟踪区域。
在本步骤中,在对目标车辆进行跟踪时,当跟踪时长到达预设时长时,可以对跟踪的模板帧图像进行更新,此时的当前帧图像就为更新帧图像,其中,预设时长可以是以时间为单位的时长,也可以是以图像的帧数量来定义的时长,当然也可以是其他定义的时长,本实施例对此不作具体限定。其次,车辆检测区域可以是利用目标检测算法对更新帧图像(当前帧图像)进行检测得到的关于车辆的图像,包括检测车辆的属性信息和检测车辆的框位置信息等,目标车辆的跟踪区域也可以利用预设跟踪模型等对更新帧图像(当前帧图像)进行检测得到的关于目标车辆的图像,可以包括目标车辆的属性信息和目标车辆的跟踪框位置信息等。
具体的,计算机设备在对目标进行跟踪的跟踪时长达到预设时长时,可以将当前帧图像作为更新帧图像,并利用目标检测算法或者预设跟踪模型等对更新帧图像进行检测,得到车辆检测区域和目标车辆的跟踪区域。
S206,计算车辆检测区域和目标车辆的跟踪区域之间的交并比。
其中,交并比,英文为IOU(Intersection over Union),指的是两个区域的边界框的交集和并集之比。
具体的,计算机设备在得到更新帧图像中的车辆检测区域和目标车辆的跟踪区域之后,可以对车辆检测区域和目标车辆的跟踪区域进行边界框提取,并对提取出的对应的边界框进行交并比计算处理,得到车辆检测区域边界框和目标车辆的跟踪区域边界框之间的交并比,也即是车辆检测区域和目标跟踪区域之间的交并比。
需要说明的是,本实施例可以对多个目标车辆进行跟踪,在跟踪开始时,可以给各个目标车辆分别赋予一个不同的ID值,这样在后续跟踪过程中,当目标状态发生突变时,可以保持状态改变前后目标的ID不变;同样的,针对多个目标车辆进行跟踪时,也可以是根据目标车辆的ID,分别计算多个车辆检测区域和多个不同目标车辆的跟踪区域之间的交并比,并针对各个交并比去对各个目标车辆进行判断。
S208,若交并比大于预设的交并比阈值,则计算更新帧图像和当前模板帧图像之间的余弦相似度。
其中,预设的交并比阈值可以根据实际情况而定,场景不同时,可以设置不同的交并比阈值,例如,在某一特定场景下,交并比阈值可以设置为0.6。余弦相似度,也称为余弦相似性,可以用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小,余弦值越接近1,就表明夹角越接近0度,也就是两个向量越相似。
具体的,计算机设备在得到车辆检测区域和目标车辆的跟踪区域之间的交并比之后,可以将该计算的交并比和预设的交并比阈值进行对比,当计算的交并比大于预设的交并比阈值时,则计算机设备可以初步确定检测车辆区域和目标车辆跟踪区域所得到的检测车辆和跟踪车辆是同一目标,那么为了使检测结果更加准确,那么计算机设备可以接着获取到当前跟踪所使用的模板帧图像(计算机设备可以保存当前跟踪网络的模板帧图像),记为当前模板帧图像,并通过将更新帧图像和当前模板帧图像转化成向量,计算转化的两个向量之间的余弦相似度,也即是更新帧图像和当前模板帧图像之间的余弦相似度。在另一种可能的实施方式中,当计算的交并比不大于预设的交并比阈值时,那么就可以确定检测车辆区域和目标车辆跟踪区域所得到的检测车辆和跟踪车辆不是同一目标,那么跟踪模型不更新模板帧图像,继续使用当前模板帧模板作为模板帧图像,对目标车辆继续进行跟踪。
S210,当余弦相似度大于预设的相似度阈值时,将车辆检测区域更新到当前模板帧图像中对应的目标车辆的区域上。
其中,预设的相似度阈值可以根据实际情况而定,一般为大于0且小于等于1的数值。模板帧图像指的是对目标跟踪过程中,跟踪模型所使用的模板帧图像。
具体的,计算机设备在得到更新帧图像和当前模板帧图像之间的余弦相似度之后,可以将该计算的余弦相似度和预设的余弦相似度阈值进行对比,当计算的余弦相似度阈值大于预设的相似度阈值时,就可以进一步确定S208中检测车辆区域和目标车辆跟踪区域所得到的检测车辆和跟踪车辆是同一目标,那么就可以将检测车辆区域更新到当前更新帧图像中的对应区域,即利用车辆检测区域替换掉当前更新帧图像中目标车辆的区域,得到更新后的模板帧图像,并将其作为跟踪模型新的模板帧图像。在另一种可能的实施方式中,当计算的余弦相似度不大于预设的相似度阈值时,那么就可以确定S208中交并比检测的结果出现错误,实质上检测车辆区域和目标车辆跟踪区域所得到的检测车辆和跟踪车辆不是同一目标,那么跟踪模型不更新模板帧图像,继续使用当前模板帧模板作为模板帧图像,对目标车辆继续进行跟踪。
需要说明的是,本实施例可以对同一帧图像中的多个目标车辆进行跟踪,在跟踪过程中,示例地,假设跟踪目标分别为车辆1、车辆2、车辆3,假设在更新帧图像中得到的车辆检测区域1对应的检测车辆是车辆1,那么就可以将该车辆检测区域1更新到模板帧图像中车辆1所在的区域上,模板帧图像中车辆2和车辆3对应的区域不改变。
上述目标跟踪模板更新方法中,通过在目标跟踪过程中获取包括目标车辆的当前帧图像,并在确定当前帧图像为更新帧图像时,获取更新帧图像中的车辆检测区域和目标车辆的跟踪区域,并计算车辆检测区域和目标车辆的跟踪区域之间的交并比,并在交并比大于预设交并比阈值时,计算更新帧图像和当前模板帧图像之间的余弦相似度,并在余弦相似度大于预设相似度阈值时,将车辆检测区域更新到当前模板帧图像中对应的目标车辆的区域上。在该方法中,由于可以更新模板帧图像,而不是一直使用初始帧图像作为模板帧图像,因此该方法可以避免车辆形态发生变化时导致跟踪中断或出错的问题;另外,由于在检测到车辆检测区域和跟踪区域的交并比大于交并比阈值时,还可以匹配检测当前模板帧和更新帧之间的余弦相似度,因此,该方法可以避免车辆重叠时因更新模板帧而导致跟踪目标漂移的问题,从而可以提高目标跟踪的准确性。
在另一个实施例中,提供了另一种目标跟踪模板更新方法,本实施例涉及的是如何根据视频源中各帧图像的帧号和预设的间隔帧数,确定更新帧图像的具体过程。在上述实施例的基础上,如图3所示,上述S204中确定当前帧图像为更新帧图像的确定方式可以包括以下步骤:
S302,获取当前帧图像的帧号和预设的间隔帧数,并对当前帧图像的帧号和预设的间隔帧数进行取余处理,得到取余结果。
在本实施例中,在获取各帧图像的帧号之前,可以预先对各帧图像进行帧号配置,在配置时,可以是按照预设的规则对视频源中的各帧图像进行编号,得到各帧图像的帧号,也就是说,逐帧对视频源中的图像进行编号,初始帧为0,每读取一帧,帧号就加1,这样就可以得到各帧图像的帧号。另外,预设的间隔帧数指的是设置每隔一定帧数就对帧图像中的车辆进行目标检测,间隔帧数的大小可以根据实际情况而定,可以是10帧、15帧等等。
具体的,计算机设备可以通过预先对各帧图像的帧号以及间隔帧数进行配置,从而就可以得到当前帧图像的帧号和间隔帧数,这样在确定更新帧图像时,就可以将当前帧图像的帧号和预设的间隔帧数进行取余计算,从而得到一个取余结果。
示例地,假设当前帧图像的帧号为frameNo,设置每n帧对帧图像进行目标检测,即间隔帧数为n,那么取余计算就可以表示为如下公式:frameNo%n=b,其中,b表示取余结果,即取余之后的余数。
S304,当取余结果满足预设的余数阈值时,将当前帧图像确定为更新帧图像。
其中,预设的余数阈值可以根据实际情况而定,可以是0、1、2等等,一般均为整数值。这里的满足预设的余数阈值,可以是等于余数阈值,也可以是大于余数阈值,还可以是小于余数阈值等。
具体的,计算机设备在得到当前帧图像的帧号和预设的间隔帧数的取余结果之后,可以将该取余结果和预设的余数阈值进行对比,当取余结果满足预设的余数阈值时,就可以确定当前帧图像为更新帧图像;当取余结果不满足预设的余数阈值时,那么就可以确定当前帧图像不是更新帧图像。需要说明的是,这里的当前帧图像不是初始帧图像。
示例地,继续以上述取余结果为b为例,假设余数阈值为0,那么当b=0时,就可以认为当前帧图像为更新帧图像。
本实施例提供的目标跟踪模板更新方法,通过获取当前帧图像的帧号和预设的间隔帧数,并对当前帧图像的帧号和预设的间隔帧数进行取余处理,得到取余结果,并将该取余结果和预设的余数阈值进行对比,当该取余结果满足预设的余数阈值时,则将当前帧图像确定为更新帧图像。在本实施例中,由于可以通过当前帧图像的帧号和预设的间隔帧数确定当前帧图像是否为更新帧图像,该方法较为简单,因此在判断更新帧图像时所需耗费的时间就会较少,这样在对目标进行跟踪的过程中,可以提高跟踪检测效率。
在另一个实施例中,提供了另一种目标跟踪模板更新方法,本实施例涉及的是如何计算更新帧图像和当前模板帧图像之间的余弦相似度的具体过程。在上述实施例的基础上,如图4a所示,上述S208可以包括以下步骤:
S402,利用预设的跟踪模型对更新帧图像中的检测车辆进行特征提取,确定更新帧图像中检测车辆的特征。
其中,预设的跟踪模型可以是CNN模型(Convolutional Neural Networks,卷积神经网络),例如可以是CNN模型中的SiameseRPN模型(Siamese Region Proposal Network,孪生区域生成网络),当然也可以是其他模型。
在对更新帧图像中的检测车辆进行特征提取时,可选的,可以采用如下步骤A和步骤B进行提取,如下:
步骤A,利用预设的目标检测算法对更新帧图像进行检测,确定更新帧图像中的车辆检测区域,该车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息。
其中,预设的目标检测算法可以是yolo算法、Faster-RCNN算法、SSD算法等,yolo算法的全称为you only look once,在本实施例中主要使用该算法来对目标车辆进行检测,当然其实也可以使用其他目标检测算法来实现对目标车辆进行检测。另外,车辆检测区域指的是利用目标检测算法对更新帧图像进行目标检测时,得到的关于检测车辆的一些信息,可以包括检测车辆的框位置信息,检测车辆的属性信息,可以记为检测车辆区域,该属性信息可以是检测车辆的外观信息、标识信息等等,可以便于后续模板分支网络对检测车辆的特征进行提取。这里检测到的检测车辆一般至少是一个。
步骤B,将更新帧图像中的车辆检测区域输入预设的跟踪模型中进行特征提取,确定更新帧图像中检测车辆的特征。
其中,这里在利用跟踪模型对车辆检测区域进行特征提取时,一般是将该车辆检测区域输入跟踪模型的模板分支的中间层进行特征提取,同样在对视频源的后续帧图像进行目标跟踪时,利用的是跟踪模型中的检测分支对后续帧图像中的目标特征进行提取,其中,模板分支和检测分支进行特征提取的过程示意图可以参见图4b所示。
具体的,利用目标检测算法和跟踪模型,就可以对更新帧图像进行特征提取,得到更新帧图像中检测车辆的特征。
S404,利用预设的跟踪模型对当前模板帧图像中的目标车辆进行特征提取,确定当前模板帧图像中目标车辆的特征。
具体的,在对当前模板帧图像进行特征提取时,也可以是先利用目标检测算法对当前模板帧图像进行目标检测,并将检测到的该当前模板帧图像中的目标车辆检测区域输入至跟踪模型,利用跟踪模型的模板分支对该当前模板帧图像中的目标车辆检测区域进行特征提取处理,得到该当前模板帧图像中目标车辆的特征。
S406,计算更新帧图像中检测车辆的特征和当前模板帧图像中目标车辆的特征之间的余弦相似度。
在本步骤中,计算机设备在得到更新帧图像中检测车辆的特征、当前模板帧图像中目标车辆的特征之后,在计算余弦相似度时,可选的,可以采用如下步骤a-步骤c进行计算:
步骤a,将更新帧图像中检测车辆的特征转化成一维第一向量。
步骤b,将当前模板帧图像中目标车辆的特征转化成一维第二向量。
步骤c,计算一维第一向量和一维第二向量之间的余弦相似度。
在步骤a-c中,可以针对一个目标车辆进行计算,也可以针对多个目标车辆进行计算,如果是多个目标,可以是把多个目标的更新帧中的特征和模板帧中的特征都转化成一维向量进行计算,即可以是有多个一维第一向量和多个一维第二向量。
示例地,参见图4c所示,以特征维度为(256,6,6)为例,在计算时,需要将其转划为(9216,1)的一维向量,假设一维第一向量和一维第二向量分别为(x1,x2,x3...,xi...,xn)和(y1,y2,y3...,yi...,yn),那么这两个向量之间的余弦相似度可以用如下公式进行计算,公式如下:
当余弦相似度cos(θ)大于预设相似度阈值时,就可以认为计算的两个特征比较相似,即可利用更新帧图像作为新的模板帧图像,该方法可以避免当车辆发生转向后特征发生较大变化而无法与初始模板匹配的情况;当余弦相似度cos(θ)不大于预设相似度阈值时,就可以认为计算的两个特征不相似,则就说明原跟踪模板被检测目标遮挡,此时可以不更新模板帧图像,继续使用原模板帧图像进行跟踪,这样在遮挡结束时,检测到该目标还能与原模板上的目标匹配,且保持目标的ID不变。
本实施例提供的目标跟踪模板更新方法,通过利用预设的跟踪模型对更新帧图像进行特征提取,确定更新帧图像中检测车辆的特征,并利用预设的跟踪模型对当前模板帧图像进行特征提取,确定当前模板帧图像中目标车辆的特征,最后计算更新帧图像中检测车辆的特征和当前模板帧图像中目标车辆的特征之间的余弦相似度。在本实施例中,由于是计算的两个特征之间的余弦相似度,而不是计算两个图像全部数据之间的余弦相似度,这样可以减少计算量,因此可以提高目标检测的效率;同时,利用余弦相似度去确定是否更新模板帧,得到的结果也是更准确的。
在另一个实施例中,提供了另一种目标跟踪模板更新方法,本实施例涉及的是如何得到框位置信息,并利用框位置信息去计算车辆检测区域和目标车辆的跟踪区域之间的交并比的具体过程。在上述实施例的基础上,如图5a所示,上述S206可以包括以下步骤:
S502,利用预设的目标检测算法对更新帧图像进行检测,确定更新帧图像中的车辆检测区域,该车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息。
具体的,计算机设备在确定更新帧图像中检测车辆的特征时,可以利用预设的目标检测算法对更新帧图像进行检测,得到更新帧图像中的车辆检测区域,该车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息,这样就可以得到检测车辆的框位置信息。
S504,利用预设的跟踪模型对更新帧图像进行跟踪,确定更新帧图像中目标车辆的跟踪区域,该跟踪区域包括目标车辆的跟踪框位置信息。
具体的,计算机设备可以将更新帧图像输入至跟踪模型的检测分支进行检测,就可以得到更新帧图像中的目标车辆的跟踪区域,该目标车辆的跟踪区域包括目标车辆的框位置信息、目标车辆的属性信息。
S506,计算检测车辆的框位置信息和目标车辆的跟踪框位置信息之间的交并比。
在本步骤计算交并比时,可以参见图5b所示,如图5b所示,记任意两个矩形框位置信息分别为左上角坐标(x11,y11),右下角坐标(x12,y12),及左上角坐标(x21,y21),右下角坐标(x22,y22),下面给出计算交并比IOU的计算过程,如下1-4:
1、取x11,x21的最大值为xA,y11,y21的最大值为yA,x12,x22的最小值为xB,y12,y22的最小值为xB;
2、计算两个框的面积Area1和Area2分别为:
Area1=(x12-x11)*(y12-y11),
Area2=(x22-x21)*(y22-y21);
3、计算两个框重叠面积interArea为:
interArea=max(xB-xA,0)*max(yB-yA,0);
4、计算IOU=interArea/(Area1+Area2-interArea)。
具体的,计算机设备可以将图5b中任意一个框作为检测车辆的框位置信息,将另外一个框作为目标车辆的跟踪框位置信息,然后采用如上方法计算两者之间交并比,得到交并比值。
本实施例提供的目标跟踪模板更新方法,通过获取检测车辆的框位置信息,并利用跟踪模型对更新帧图像进行跟踪,得到目标车辆的跟踪框位置信息,最后计算检测车辆的框位置信息和目标车辆的跟踪框位置信息之间的交并比。在本实施例中,由于可以计算检测框和跟踪框的交并比,这样就可以对检测目标和跟踪目标是否为同一目标做一个初步判定,为后续进一步判断提供一个初步基础。
在另一个实施例中,提供了另一种目标跟踪模板更新方法,本实施例涉及的是若当前帧图像不是更新帧图像时,如何对当前帧图像进行跟踪,得到目标车辆的行驶信息的具体过程。在上述实施例的基础上,上述方法还可以包括以下步骤:
当确定当前帧图像不为更新帧图像时,则采用预设的跟踪模型对当前帧图像中的目标车辆进行跟踪,确定目标车辆的行驶信息。
在本实施例中,目标车辆的行驶信息可以包括:目标车辆的标识信息、交通标识信息、目标车辆和停止线的位置关系、目标车辆所在车道的导向线信息、目标车辆的行驶方向。其中,目标车辆的标识信息可以是目标车辆的车牌、驾驶员的证件信息等。
具体的,当上述取余结果不满足余数阈值时,则就可以确定当前帧图像不是更新帧图像,那么就不更新模板帧图像,继续将当前帧图像输入至跟踪模型的检测分支中进行目标跟踪,在跟踪过程中,可以通过视频源中图像上的信息,利用识别算法、判断算法等得到目标车辆的行驶信息。在得到目标车辆的行驶信息之后,可以结合车辆的位置等和视频资源中车辆在行驶过程中与道路、交通等方面相关的一些信息,来判断车辆是否存在违法行为,当车辆的位置等和车辆在行驶过程中与道路、交通等方面相关的一些信息相符时,那么就认为车辆不存在违法行为,反之如果不符合,那么就认为车辆存在违法行为,此时,就可以输出该车辆的违法信息,以便对该违法车辆进行处理等。示例性地,若当前帧图像中目标车辆越过停止线,而该帧图像上交通信息是红灯,显然,目标车辆闯红灯了,那么就认为该目标车辆存在违法行为。
本实施例提供的目标跟踪模板更新方法,当确定当前帧图像不为更新帧图像时,则采用预设的跟踪模型对当前帧图像中的目标车辆进行跟踪,确定目标车辆的行驶信息。在本实施例中,由于在当前帧图像不是更新帧图像时,还可以对当前帧图像继续跟踪,并利用跟踪模型自动得到目标车辆的行驶信息,进而再根据目标车辆的行驶信息确定车辆是否违法,相比于人工检测车辆是否违法的过程,该方法的检测效率更高,因此,该方法可以提高对车辆的违法检测效率。
应该理解的是,虽然图2、3、4a、5a的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、3、4a、5a中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种目标跟踪模板更新装置,包括:第一获取模块10、第二获取模块11、第一计算模块12、第二计算模块13和更新模块14,其中:
第一获取模块10,用于在目标车辆跟踪过程中,获取视频源中的当前帧图像;所述当前帧图像包括目标车辆;
第二获取模块11,用于当确定所述当前帧图像为更新帧图像时,获取所述更新帧图像中的车辆检测区域和目标车辆的跟踪区域;
第一计算模块12,用于计算所述车辆检测区域和所述目标车辆的跟踪区域之间的交并比;
第二计算模块13,用于若所述交并比大于预设的交并比阈值,则计算所述更新帧图像和当前模板帧图像之间的余弦相似度;
更新模块14,用于当所述余弦相似度大于预设的相似度阈值时,将所述车辆检测区域更新到所述当前模板帧图像中对应的所述目标车辆的区域上。
关于目标跟踪模板更新装置的具体限定可以参见上文中对于目标跟踪模板更新方法的限定,在此不再赘述。
在另一个实施例中,上述第二获取模块11可以包括帧号获取单元,更新帧确定单元,其中:
帧号获取单元,用于获取所述当前帧图像的帧号和预设的间隔帧数,并对所述当前帧图像的帧号和所述预设的间隔帧数进行取余处理,得到取余结果;
更新帧确定单元,用于当所述取余结果满足预设的余数阈值时,将所述当前帧图像确定为更新帧图像。
在另一个实施例中,上述第二计算模块13可以包括:第一特征提取单元、第二特征提取单元、余弦计算单元,其中:
第一特征提取单元,用于利用预设的跟踪模型对所述更新帧图像中的检测车辆进行特征提取,确定所述更新帧图像中检测车辆的特征;
第二特征提取单元,用于利用预设的跟踪模型对所述当前模板帧图像中的目标车辆进行特征提取,确定所述当前模板帧图像中目标车辆的特征;
余弦计算单元,用于计算所述更新帧图像中检测车辆的特征和所述当前模板帧图像中目标车辆的特征之间的余弦相似度。
在另一个实施例中,上述余弦计算单元,还用于将所述更新帧图像中检测车辆的特征转化成一维第一向量;将所述当前模板帧图像中目标车辆的特征转化成一维第二向量;以及,计算所述一维第一向量和所述一维第二向量之间的余弦相似度。
在另一个实施例中,上述第一特征提取单元,还用于利用预设的目标检测算法对所述更新帧图像进行检测,确定所述更新帧图像中的车辆检测区域,所述车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息;将所述更新帧图像中的车辆检测区域输入预设的跟踪模型中进行特征提取,确定所述更新帧图像中检测车辆的特征。
在另一个实施例中,上述第一计算模块12可以包括:位置确定单元、位置确定单元和交并比计算单元,其中:
位置确定单元,用于利用预设的目标检测算法对所述更新帧图像进行检测,确定所述更新帧图像中的车辆检测区域,所述车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息;
位置确定单元,用于利用所述预设的跟踪模型对所述更新帧图像进行跟踪,确定所述更新帧图像中目标车辆的跟踪区域,所述跟踪区域包括目标车辆的跟踪框位置信息;
交并比计算单元,用于计算所述检测车辆的框位置信息和所述目标车辆的跟踪框位置信息之间的交并比。
在一个实施例中,所述预设的跟踪模型包括模板分支和检测分支,所述模板分支用于对模板帧图像中目标车辆的特征进行提取,所述检测分支用于根据所述模板分支输出的所述目标车辆的特征,对所述视频源的后续帧图像中的所述目标车辆进行跟踪。
在另一个实施例中,上述装置还可以包括跟踪模块,其中:
跟踪模块,用于当确定所述当前帧图像不为更新帧图像时,则采用预设的跟踪模型对所述当前帧图像中的目标车辆进行跟踪,确定所述目标车辆的行驶信息。
关于目标跟踪模板更新装置的具体限定可以参见上文中对于目标跟踪模板更新方法的限定,在此不再赘述。
上述目标跟踪模板更新装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
在目标车辆跟踪过程中,获取视频源中的当前帧图像;所述当前帧图像包括目标车辆;
当确定所述当前帧图像为更新帧图像时,获取所述更新帧图像中的车辆检测区域和目标车辆的跟踪区域;
计算所述车辆检测区域和所述目标车辆的跟踪区域之间的交并比;
若所述交并比大于预设的交并比阈值,则计算所述更新帧图像和当前模板帧图像之间的余弦相似度;
当所述余弦相似度大于预设的相似度阈值时,将所述车辆检测区域更新到所述当前模板帧图像中对应的所述目标车辆的区域上。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取所述当前帧图像的帧号和预设的间隔帧数,并对所述当前帧图像的帧号和所述预设的间隔帧数进行取余处理,得到取余结果;
当所述取余结果满足预设的余数阈值时,将所述当前帧图像确定为更新帧图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
利用预设的跟踪模型对所述更新帧图像中的检测车辆进行特征提取,确定所述更新帧图像中检测车辆的特征;
利用预设的跟踪模型对所述当前模板帧图像中的目标车辆进行特征提取,确定所述当前模板帧图像中目标车辆的特征;
计算所述更新帧图像中检测车辆的特征和所述当前模板帧图像中目标车辆的特征之间的余弦相似度。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将所述更新帧图像中检测车辆的特征转化成一维第一向量;
将所述当前模板帧图像中目标车辆的特征转化成一维第二向量;以及,
计算所述一维第一向量和所述一维第二向量之间的余弦相似度。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
利用预设的目标检测算法对所述更新帧图像进行检测,确定所述更新帧图像中的车辆检测区域,所述车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息;
将所述更新帧图像中的车辆检测区域输入预设的跟踪模型中进行特征提取,确定所述更新帧图像中检测车辆的特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
利用预设的目标检测算法对所述更新帧图像进行检测,确定所述更新帧图像中的车辆检测区域,所述车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息;
利用所述预设的跟踪模型对所述更新帧图像进行跟踪,确定所述更新帧图像中目标车辆的跟踪区域,所述跟踪区域包括目标车辆的跟踪框位置信息;
计算所述检测车辆的框位置信息和所述目标车辆的跟踪框位置信息之间的交并比。
在一个实施例中,所述预设的跟踪模型包括模板分支和检测分支,所述模板分支用于对模板帧图像中目标车辆的特征进行提取,所述检测分支用于根据所述模板分支输出的所述目标车辆的特征,对所述视频源的后续帧图像中的所述目标车辆进行跟踪。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
当确定所述当前帧图像不为更新帧图像时,则采用预设的跟踪模型对所述当前帧图像中的目标车辆进行跟踪,确定所述目标车辆的行驶信息。
在一个实施例中,提供了一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
在目标车辆跟踪过程中,获取视频源中的当前帧图像;所述当前帧图像包括目标车辆;
当确定所述当前帧图像为更新帧图像时,获取所述更新帧图像中的车辆检测区域和目标车辆的跟踪区域;
计算所述车辆检测区域和所述目标车辆的跟踪区域之间的交并比;
若所述交并比大于预设的交并比阈值,则计算所述更新帧图像和当前模板帧图像之间的余弦相似度;
当所述余弦相似度大于预设的相似度阈值时,将所述车辆检测区域更新到所述当前模板帧图像中对应的所述目标车辆的区域上。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取所述当前帧图像的帧号和预设的间隔帧数,并对所述当前帧图像的帧号和所述预设的间隔帧数进行取余处理,得到取余结果;
当所述取余结果满足预设的余数阈值时,将所述当前帧图像确定为更新帧图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
利用预设的跟踪模型对所述更新帧图像中的检测车辆进行特征提取,确定所述更新帧图像中检测车辆的特征;
利用预设的跟踪模型对所述当前模板帧图像中的目标车辆进行特征提取,确定所述当前模板帧图像中目标车辆的特征;
计算所述更新帧图像中检测车辆的特征和所述当前模板帧图像中目标车辆的特征之间的余弦相似度。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将所述更新帧图像中检测车辆的特征转化成一维第一向量;
将所述当前模板帧图像中目标车辆的特征转化成一维第二向量;以及,
计算所述一维第一向量和所述一维第二向量之间的余弦相似度。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
利用预设的目标检测算法对所述更新帧图像进行检测,确定所述更新帧图像中的车辆检测区域,所述车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息;
将所述更新帧图像中的车辆检测区域输入预设的跟踪模型中进行特征提取,确定所述更新帧图像中检测车辆的特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
利用预设的目标检测算法对所述更新帧图像进行检测,确定所述更新帧图像中的车辆检测区域,所述车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息;
利用所述预设的跟踪模型对所述更新帧图像进行跟踪,确定所述更新帧图像中目标车辆的跟踪区域,所述跟踪区域包括目标车辆的跟踪框位置信息;
计算所述检测车辆的框位置信息和所述目标车辆的跟踪框位置信息之间的交并比。
在一个实施例中,所述预设的跟踪模型包括模板分支和检测分支,所述模板分支用于对模板帧图像中目标车辆的特征进行提取,所述检测分支用于根据所述模板分支输出的所述目标车辆的特征,对所述视频源的后续帧图像中的所述目标车辆进行跟踪。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
当确定所述当前帧图像不为更新帧图像时,则采用预设的跟踪模型对所述当前帧图像中的目标车辆进行跟踪,确定所述目标车辆的行驶信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种目标跟踪模板更新方法,其特征在于,所述方法包括:
在目标车辆跟踪过程中,获取视频源中的当前帧图像;所述当前帧图像包括目标车辆;
当确定所述当前帧图像为更新帧图像时,获取所述更新帧图像中的车辆检测区域和目标车辆的跟踪区域;
计算所述车辆检测区域和所述目标车辆的跟踪区域之间的交并比;
若所述交并比大于预设的交并比阈值,则计算所述更新帧图像和当前模板帧图像之间的余弦相似度;
当所述余弦相似度大于预设的相似度阈值时,将所述车辆检测区域更新到所述当前模板帧图像中对应的所述目标车辆的区域上。
2.根据权利要求1所述的方法,其特征在于,所述确定所述当前帧图像为更新帧图像的确定方式,包括:
获取所述当前帧图像的帧号和预设的间隔帧数,并对所述当前帧图像的帧号和所述预设的间隔帧数进行取余处理,得到取余结果;
当所述取余结果满足预设的余数阈值时,将所述当前帧图像确定为更新帧图像。
3.根据权利要求1所述的方法,其特征在于,所述计算所述更新帧图像和当前模板帧图像之间的余弦相似度,包括:
利用预设的跟踪模型对所述更新帧图像中的检测车辆进行特征提取,确定所述更新帧图像中检测车辆的特征;
利用预设的跟踪模型对所述当前模板帧图像中的目标车辆进行特征提取,确定所述当前模板帧图像中目标车辆的特征;
计算所述更新帧图像中检测车辆的特征和所述当前模板帧图像中目标车辆的特征之间的余弦相似度。
4.根据权利要求3所述的方法,其特征在于,所述计算所述更新帧图像中检测车辆的特征和所述当前模板帧图像中目标车辆的特征之间的余弦相似度,包括:
将所述更新帧图像中检测车辆的特征转化成一维第一向量;
将所述当前模板帧图像中目标车辆的特征转化成一维第二向量;以及,
计算所述一维第一向量和所述一维第二向量之间的余弦相似度。
5.根据权利要求3所述的方法,其特征在于,所述利用预设的跟踪模型对所述更新帧图像中的检测车辆进行特征提取,确定所述更新帧图像中检测车辆的特征,包括:
利用预设的目标检测算法对所述更新帧图像进行检测,确定所述更新帧图像中的车辆检测区域,所述车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息;
将所述更新帧图像中的车辆检测区域输入预设的跟踪模型中进行特征提取,确定所述更新帧图像中检测车辆的特征。
6.根据权利要求1所述的方法,其特征在于,所述计算所述车辆检测区域和所述目标车辆的跟踪区域之间的交并比,包括:
利用预设的目标检测算法对所述更新帧图像进行检测,确定所述更新帧图像中的车辆检测区域,所述车辆检测区域包括检测车辆的框位置信息、检测车辆的属性信息;
利用预设的跟踪模型对所述更新帧图像进行跟踪,确定所述更新帧图像中目标车辆的跟踪区域,所述跟踪区域包括目标车辆的跟踪框位置信息;
计算所述检测车辆的框位置信息和所述目标车辆的跟踪框位置信息之间的交并比。
7.根据权利要求3-6任意一项所述的方法,其特征在于,所述预设的跟踪模型包括模板分支和检测分支,所述模板分支用于对模板帧图像中目标车辆的特征进行提取,所述检测分支用于根据所述模板分支输出的所述目标车辆的特征,对所述视频源的后续帧图像中的所述目标车辆进行跟踪。
8.一种目标跟踪模板更新装置,其特征在于,所述装置包括:
第一获取模块,用于在目标车辆跟踪过程中,获取视频源中的当前帧图像;所述当前帧图像包括目标车辆;
第二获取模块,用于当确定所述当前帧图像为更新帧图像时,获取所述更新帧图像中的车辆检测区域和目标车辆的跟踪区域;
第一计算模块,用于计算所述车辆检测区域和所述目标车辆的跟踪区域之间的交并比;
第二计算模块,用于若所述交并比大于预设的交并比阈值,则计算所述更新帧图像和当前模板帧图像之间的余弦相似度;
更新模块,用于当所述余弦相似度大于预设的相似度阈值时,将所述车辆检测区域更新到所述当前模板帧图像中对应的所述目标车辆的区域上。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910887197.8A CN110634153A (zh) | 2019-09-19 | 2019-09-19 | 目标跟踪模板更新方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910887197.8A CN110634153A (zh) | 2019-09-19 | 2019-09-19 | 目标跟踪模板更新方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110634153A true CN110634153A (zh) | 2019-12-31 |
Family
ID=68971696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910887197.8A Pending CN110634153A (zh) | 2019-09-19 | 2019-09-19 | 目标跟踪模板更新方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110634153A (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242042A (zh) * | 2020-01-15 | 2020-06-05 | 上海眼控科技股份有限公司 | 基于车辆检测的检验时长判断方法、装置、设备和介质 |
CN111444766A (zh) * | 2020-02-24 | 2020-07-24 | 浙江科技学院 | 基于图像处理的车辆追踪方法、装置、计算机设备和存储介质 |
CN111523447A (zh) * | 2020-04-22 | 2020-08-11 | 北京邮电大学 | 车辆跟踪方法、装置、电子设备及存储介质 |
CN111696217A (zh) * | 2020-05-25 | 2020-09-22 | 上海金亥通信设备有限公司 | 一种园区停车管理系统 |
CN111767839A (zh) * | 2020-06-28 | 2020-10-13 | 平安科技(深圳)有限公司 | 一种车辆行驶轨迹确定方法、装置、设备及介质 |
CN111784741A (zh) * | 2020-06-29 | 2020-10-16 | 杭州海康威视数字技术股份有限公司 | 一种目标跨镜布控追踪的方法和系统 |
CN111983376A (zh) * | 2020-07-03 | 2020-11-24 | 昆明理工大学 | 一种基于余弦相似度的区内外故障保护方法 |
CN112132071A (zh) * | 2020-09-27 | 2020-12-25 | 上海眼控科技股份有限公司 | 识别交通拥堵的处理方法、装置、设备及存储介质 |
CN112651996A (zh) * | 2020-12-22 | 2021-04-13 | 南京市城市与交通规划设计研究院股份有限公司 | 目标检测跟踪方法、装置、电子设备和存储介质 |
CN112950687A (zh) * | 2021-05-17 | 2021-06-11 | 创新奇智(成都)科技有限公司 | 一种确定跟踪状态的方法、装置、存储介质和电子设备 |
CN113053104A (zh) * | 2021-02-24 | 2021-06-29 | 上海眼控科技股份有限公司 | 目标状态确定方法、装置、计算机设备和存储介质 |
CN113065523A (zh) * | 2021-04-26 | 2021-07-02 | 上海哔哩哔哩科技有限公司 | 目标追踪方法及装置、电子设备和存储介质 |
CN113077511A (zh) * | 2020-01-06 | 2021-07-06 | 初速度(苏州)科技有限公司 | 一种用于汽车的多相机目标匹配与跟踪方法及装置 |
CN113379787A (zh) * | 2021-06-11 | 2021-09-10 | 西安理工大学 | 基于3d卷积孪生神经网络和模板更新的目标跟踪方法 |
CN113610819A (zh) * | 2021-08-11 | 2021-11-05 | 杭州申昊科技股份有限公司 | 缺陷检测方法及装置、电子设备、存储介质 |
CN113743262A (zh) * | 2021-08-23 | 2021-12-03 | 浙江大华技术股份有限公司 | 目标区域车辆跟踪方法、装置、计算机设备和存储介质 |
CN113887523A (zh) * | 2021-11-03 | 2022-01-04 | 南京市城市与交通规划设计研究院股份有限公司 | 数据集更新方法、装置、电子设备和存储介质 |
CN114063098A (zh) * | 2020-08-05 | 2022-02-18 | 北京万集科技股份有限公司 | 多目标跟踪方法、装置、计算机设备和存储介质 |
CN114638963A (zh) * | 2022-05-18 | 2022-06-17 | 青岛美迪康数字工程有限公司 | 内窥镜检查中对可疑组织进行识别跟踪的方法及装置 |
CN115018882A (zh) * | 2022-06-20 | 2022-09-06 | 浙江大华技术股份有限公司 | 一种跟踪方法、装置、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102902955A (zh) * | 2012-08-30 | 2013-01-30 | 中国科学技术大学 | 一种车辆行为的智能分析方法及系统 |
CN107066990A (zh) * | 2017-05-04 | 2017-08-18 | 厦门美图之家科技有限公司 | 一种目标跟踪方法及移动设备 |
CN108198201A (zh) * | 2017-12-19 | 2018-06-22 | 深圳市深网视界科技有限公司 | 一种多目标跟踪方法、终端设备及存储介质 |
CN108985162A (zh) * | 2018-06-11 | 2018-12-11 | 平安科技(深圳)有限公司 | 目标实时跟踪方法、装置、计算机设备及存储介质 |
CN109035299A (zh) * | 2018-06-11 | 2018-12-18 | 平安科技(深圳)有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
CN109087510A (zh) * | 2018-09-29 | 2018-12-25 | 讯飞智元信息科技有限公司 | 交通监测方法及装置 |
CN109635657A (zh) * | 2018-11-12 | 2019-04-16 | 平安科技(深圳)有限公司 | 目标跟踪方法、装置、设备及存储介质 |
-
2019
- 2019-09-19 CN CN201910887197.8A patent/CN110634153A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102902955A (zh) * | 2012-08-30 | 2013-01-30 | 中国科学技术大学 | 一种车辆行为的智能分析方法及系统 |
CN107066990A (zh) * | 2017-05-04 | 2017-08-18 | 厦门美图之家科技有限公司 | 一种目标跟踪方法及移动设备 |
CN108198201A (zh) * | 2017-12-19 | 2018-06-22 | 深圳市深网视界科技有限公司 | 一种多目标跟踪方法、终端设备及存储介质 |
CN108985162A (zh) * | 2018-06-11 | 2018-12-11 | 平安科技(深圳)有限公司 | 目标实时跟踪方法、装置、计算机设备及存储介质 |
CN109035299A (zh) * | 2018-06-11 | 2018-12-18 | 平安科技(深圳)有限公司 | 目标跟踪方法、装置、计算机设备及存储介质 |
CN109087510A (zh) * | 2018-09-29 | 2018-12-25 | 讯飞智元信息科技有限公司 | 交通监测方法及装置 |
CN109635657A (zh) * | 2018-11-12 | 2019-04-16 | 平安科技(深圳)有限公司 | 目标跟踪方法、装置、设备及存储介质 |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113077511A (zh) * | 2020-01-06 | 2021-07-06 | 初速度(苏州)科技有限公司 | 一种用于汽车的多相机目标匹配与跟踪方法及装置 |
CN111242042A (zh) * | 2020-01-15 | 2020-06-05 | 上海眼控科技股份有限公司 | 基于车辆检测的检验时长判断方法、装置、设备和介质 |
CN111444766A (zh) * | 2020-02-24 | 2020-07-24 | 浙江科技学院 | 基于图像处理的车辆追踪方法、装置、计算机设备和存储介质 |
CN111523447A (zh) * | 2020-04-22 | 2020-08-11 | 北京邮电大学 | 车辆跟踪方法、装置、电子设备及存储介质 |
CN111523447B (zh) * | 2020-04-22 | 2023-01-31 | 北京邮电大学 | 车辆跟踪方法、装置、电子设备及存储介质 |
CN111696217A (zh) * | 2020-05-25 | 2020-09-22 | 上海金亥通信设备有限公司 | 一种园区停车管理系统 |
CN111767839A (zh) * | 2020-06-28 | 2020-10-13 | 平安科技(深圳)有限公司 | 一种车辆行驶轨迹确定方法、装置、设备及介质 |
CN111767839B (zh) * | 2020-06-28 | 2024-05-31 | 平安科技(深圳)有限公司 | 一种车辆行驶轨迹确定方法、装置、设备及介质 |
CN111784741A (zh) * | 2020-06-29 | 2020-10-16 | 杭州海康威视数字技术股份有限公司 | 一种目标跨镜布控追踪的方法和系统 |
CN111784741B (zh) * | 2020-06-29 | 2024-03-29 | 杭州海康威视数字技术股份有限公司 | 一种目标跨镜布控追踪的方法和系统 |
CN111983376A (zh) * | 2020-07-03 | 2020-11-24 | 昆明理工大学 | 一种基于余弦相似度的区内外故障保护方法 |
CN111983376B (zh) * | 2020-07-03 | 2023-02-28 | 昆明理工大学 | 一种基于余弦相似度的区内外故障保护方法 |
CN114063098A (zh) * | 2020-08-05 | 2022-02-18 | 北京万集科技股份有限公司 | 多目标跟踪方法、装置、计算机设备和存储介质 |
CN112132071A (zh) * | 2020-09-27 | 2020-12-25 | 上海眼控科技股份有限公司 | 识别交通拥堵的处理方法、装置、设备及存储介质 |
CN112651996B (zh) * | 2020-12-22 | 2024-06-14 | 南京市城市与交通规划设计研究院股份有限公司 | 目标检测跟踪方法、装置、电子设备和存储介质 |
CN112651996A (zh) * | 2020-12-22 | 2021-04-13 | 南京市城市与交通规划设计研究院股份有限公司 | 目标检测跟踪方法、装置、电子设备和存储介质 |
CN113053104A (zh) * | 2021-02-24 | 2021-06-29 | 上海眼控科技股份有限公司 | 目标状态确定方法、装置、计算机设备和存储介质 |
CN113065523B (zh) * | 2021-04-26 | 2023-06-16 | 上海哔哩哔哩科技有限公司 | 目标追踪方法及装置、电子设备和存储介质 |
CN113065523A (zh) * | 2021-04-26 | 2021-07-02 | 上海哔哩哔哩科技有限公司 | 目标追踪方法及装置、电子设备和存储介质 |
CN112950687A (zh) * | 2021-05-17 | 2021-06-11 | 创新奇智(成都)科技有限公司 | 一种确定跟踪状态的方法、装置、存储介质和电子设备 |
CN113379787A (zh) * | 2021-06-11 | 2021-09-10 | 西安理工大学 | 基于3d卷积孪生神经网络和模板更新的目标跟踪方法 |
CN113610819A (zh) * | 2021-08-11 | 2021-11-05 | 杭州申昊科技股份有限公司 | 缺陷检测方法及装置、电子设备、存储介质 |
CN113743262A (zh) * | 2021-08-23 | 2021-12-03 | 浙江大华技术股份有限公司 | 目标区域车辆跟踪方法、装置、计算机设备和存储介质 |
CN113887523A (zh) * | 2021-11-03 | 2022-01-04 | 南京市城市与交通规划设计研究院股份有限公司 | 数据集更新方法、装置、电子设备和存储介质 |
CN114638963A (zh) * | 2022-05-18 | 2022-06-17 | 青岛美迪康数字工程有限公司 | 内窥镜检查中对可疑组织进行识别跟踪的方法及装置 |
CN115018882A (zh) * | 2022-06-20 | 2022-09-06 | 浙江大华技术股份有限公司 | 一种跟踪方法、装置、设备及介质 |
CN115018882B (zh) * | 2022-06-20 | 2024-12-20 | 浙江大华技术股份有限公司 | 一种跟踪方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110634153A (zh) | 目标跟踪模板更新方法、装置、计算机设备和存储介质 | |
CN110459064B (zh) | 车辆违法行为检测方法、装置、计算机设备 | |
CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
CN109886077B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
CN111368639B (zh) | 车辆越线判定方法、装置、计算机设备和存储介质 | |
CN110211076B (zh) | 图像拼接方法、图像拼接设备和可读存储介质 | |
CN110490902B (zh) | 应用于智慧城市的目标跟踪方法、装置、计算机设备 | |
CN112633152B (zh) | 停车位检测方法、装置、计算机设备和存储介质 | |
CN111178245A (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
CN111275743B (zh) | 目标追踪方法、装置、计算机可读存储介质和计算机设备 | |
CN110706261A (zh) | 车辆违章检测方法、装置、计算机设备和存储介质 | |
CN112101195B (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
CN111753882B (zh) | 图像识别网络的训练方法和装置、电子设备 | |
WO2021217940A1 (zh) | 车辆部件识别方法、装置、计算机设备和存储介质 | |
CN110580710A (zh) | 物体追踪方法、装置、计算机可读存储介质和计算机设备 | |
WO2018058530A1 (zh) | 目标检测方法、装置以及图像处理设备 | |
CN113449586B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN109255802B (zh) | 行人跟踪方法、装置、计算机设备及存储介质 | |
CN112712703A (zh) | 车辆视频的处理方法、装置、计算机设备和存储介质 | |
CN110516559B (zh) | 适用于精准监控的目标跟踪方法及装置、计算机设备 | |
CN114063098A (zh) | 多目标跟踪方法、装置、计算机设备和存储介质 | |
CN108875611B (zh) | 视频动作识别方法和装置 | |
CN111383455A (zh) | 交通路口对象流量统计方法、装置、计算机设备和介质 | |
CN111079523B (zh) | 物体检测方法、装置、计算机设备和存储介质 | |
CN111340837A (zh) | 图像处理方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20230324 |