CN113902775B - 一种基于asms算法的目标跟踪方法及装置 - Google Patents
一种基于asms算法的目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN113902775B CN113902775B CN202111190559.1A CN202111190559A CN113902775B CN 113902775 B CN113902775 B CN 113902775B CN 202111190559 A CN202111190559 A CN 202111190559A CN 113902775 B CN113902775 B CN 113902775B
- Authority
- CN
- China
- Prior art keywords
- target
- template
- frame
- current frame
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008859 change Effects 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 11
- 230000007246 mechanism Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000011231 Crohn disease Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于ASMS算法的目标跟踪方法及装置,所述方法利用ASMS算法跟踪视频中的目标位置,并利用候选目标区域与模板区域之间的特征点匹配对的数目判断模板是否需要更新以及目标是否丢失,若目标丢失,开启目标再检测机制,扩大原有的搜索区域,进行匹配检测。本方法使用模板更新策略,采用提取目标区域特征点的方式,根据特征点匹配对的数目变化,决定是否更新模板,其次,添加再检测机制,在目标丢失时重新匹配检测,进一步提高跟踪精度。
Description
技术领域
本发明属于计算机视觉领域,尤其涉及一种基于ASMS算法的目标跟踪方法及装置。
背景技术
目标跟踪技术是计算机视觉重要的组成部分,已经广泛的应用于人机交互、智能交通、无人驾驶等领域。目标跟踪技术的主要任务就是在图像序列中估计目标轨迹,并能够准确地在各种外界或内部的干扰中稳定地锁定目标的位置。
传统视觉目标跟一般由四个环节组成:目标初始化、外观建模、运动估计和目标定位。在此过程中面临诸多挑战,例如:1)需要较高成像质量的图片,但现实中存在低帧率、低分辨率、低位深度、颜色失真的情况;2)跟踪任务复杂,例如需要进行非刚体目标跟踪、小尺寸目标识别,数量变化的目标的识别,复杂姿态估计;3)实时跟踪需求;4)目标外观存在变化,例如外观变形、环境光照变化、快速运动及运动模糊、相似背景干扰、完全遮挡,噪声干扰,平面外旋转和姿态变化、尺度变化等。
近几年,目标跟踪技术涌现出了很多性能和速度都很优秀的算法。目标跟踪发展到现在,从时间上可划分为两个阶段,第一阶段生成式模型通过在线学习方式建立目标模型,然后使用模型搜索重建误差最小的图像区域,完成目标定位,典型模型有粒子滤波、相关匹配、Meanshift和Camshift等。第二阶段:判别式模型,经典解决方案是图像特征结合机器学习,例如,当前帧以目标区域为正样本,背景区域为负样本,使用机器学习方法训练分类器,下一帧图像使用训练好的分类器寻找最优区域。典型模型有MIL、TLD、SVM、随机森林等。判别类方法最新发展就是相关滤波(Correlation Filter)和深度学习(Deep ConvNetbased),相关滤波也可以叫做模板类方法,所用的特征叫做模板类特征。2014年,KCF的出现轰动一时。从VOT2014到VOT2018,相关滤波跟踪效果一直处于领先地位。深度学习的应用起于2013年DLT的提出,在2019年,SiamMask和SiamRPN++的产生真正意义超过了相关滤波,性能达到了state of the art。
根据近年来目标跟踪最新算法也不难发现,深度学习已经成为目标跟踪的趋势。但深度学习仍很多缺点亟待解决,1)训练数据问题;2)实时跟踪问题;3)长程目标跟踪中目标严重遮挡和消失视野问题。若在硬件平台上实时性要求较高,对算法简便性要求较高,原有生成式算法仍具有一定的优势。故本文选用简便的生成式算法实现跟踪。
生成式算法中,ASMS算法是VOT2015官方推荐的实时算法,平均帧率125FPS,是基于Mean-shift算法原理实现,复杂度低,易于实现,便于应用在实际工程中;ASMS算法提出尺度自适应机制,使得跟踪窗口能随着目标尺寸大小的改变而改变,有效的应对目标尺度变化,提高了跟踪鲁棒性;目标模型采用颜色直方图特征,对目标形变不敏感,使得算法能够更好的区分背景和目标,有效的应对背景变化,增加了跟踪算法的鲁棒性;但是实际应用中,ASMS算法由于模板始终采用第一帧模板,在目标遮挡、光线变化、成像形变等实际场景中,跟踪准确性较差,会造成跟踪失败,无法实现长期目标跟踪。
ASMS算法是基于Mean-shift实现的,采用自适应尺度估计策略以应对目标尺寸的变化,同时利用背景比例加权(BRW)和前向-后向尺度一致性检查方法,提高跟踪鲁棒性能。ASMS算法当环境变化较大,例如光照变化较大、背景变化明显时、自身成像形变时,容易丢失目标。
发明内容
为解决上述技术问题,本发明提出了一种基于ASMS算法的目标跟踪方法及装置,所述方法及装置,用于解决现有技术的跟踪准确性较差,会造成跟踪失败,无法实现长期目标跟踪,以及当环境变化较大时容易丢失目标的技术问题。
根据本发明的第一方面,提供一种基于ASMS算法的目标跟踪方法,所述方法包括以下步骤:
步骤S101:获取视频的第一帧和第二帧,进行跟踪初始化;分别获得第一帧和第二帧图像的目标初始模板,将第二帧所述目标初始模板作为目标模板;获得两个目标初始模板的SURF特征;基于所述两个目标初始模板,确定SURF特征点匹配对数目,记作n(1,2),n为正整数,下标表示帧数;将视频的第三帧作为当前帧;
步骤S102:基于ASMS算法对当前帧中的目标初定位,获得候选区域,将候选区域作为候选模板,在所述候选区域内提取SURF特征点,计算提取的所述SURF特征点与所述目标模板的特征点匹配数目,记作n(i-1,i),代表当前帧的目标模板与当前帧的前一帧的目标模板之间的SURF特征点匹配数目;其中,i为当前帧的序号;
步骤S103:确定SURF特征点匹配对数目n(i-1,i)相对于n(i-2,i-1)的变化比例β,
若0≤β<10%,进入步骤S104;
若10%≤β<30%,进入步骤S105;
若30%≤β<80%,进入步骤S106;
若β≥80%,进入步骤S107;
步骤S104:利用ASMS算法输出的所述候选区域更新目标模板,并输出所述候选模板的中心像素作为目标定位信息;进入步骤S109;
步骤S105:判断当前帧的候选模板和当前帧的前一帧的目标模板相比,SURF特征的方向信息和尺度信息变化是否均小于预设阈值,若是,则确定目标发生了遮挡,进入步骤S108;若否,则确定目标自身发生了变化,进入步骤S104;
步骤S106:确定目标发生了遮挡,通过匹配当前帧候选模板与当前帧的前一帧目标模板的对应的SURF特征点之间的映射关系,利用所述映射关系中SURF特征的位置信息、方向信息和尺度信息推导定位目标,从而确定目标定位像素,进入步骤S108;
步骤S107:确定目标发生了丢失;在全图区域利用SURF特征对当前帧全图与目标模板进行特征匹配,若匹配成功,则对目标位置及目标模板进行更新,进入步骤S109;若匹配不成功,则跳过此帧,直接进入步骤S109;
步骤S108:不对目标模板做更新,进入步骤S109;
步骤109:若当前帧为视频的最后一帧,进入步骤S110;否则,将当前帧的下一帧作为当前帧,进入步骤S102;
步骤S110:视频输入完毕,输出目标在图像序列中的像素位置,方法结束。
根据本发明第二方面,提供一种基于ASMS算法的目标跟踪装置,所述装置包括:
初始化模块:配置为获取视频的第一帧和第二帧,进行跟踪初始化;分别获得第一帧和第二帧图像的目标初始模板,将第二帧所述目标初始模板作为目标模板;获得两个目标初始模板的SURF特征;基于所述两个目标初始模板,确定SURF特征点匹配对数目,记作n(1,2),n为正整数,下标表示帧数;将视频的第三帧作为当前帧;
特征点提取模块:配置为基于ASMS算法对当前帧中的目标初定位,获得候选区域,将候选区域作为候选模板,在所述候选区域内提取SURF特征点,计算提取的所述SURF特征点与所述目标模板的特征点匹配数目,记作n(i-1,i),代表当前帧的目标模板与当前帧的前一帧的目标模板之间的SURF特征点匹配数目;其中,i为当前帧的序号;
变化比例确定模块:配置为确定SURF特征点匹配对数目n(i-1,i)相对于n(i-2,i-1)的变化比例β,
若0≤β<10%,触发第一更新模块;
若10%≤β<30%,触发第二更新模块;
若30%≤β<80%,触发第三更新模块;
若β≥80%,触发第四更新模块;
第一更新模块:配置为利用ASMS算法输出的所述候选区域更新目标模板,并输出所述候选模板的中心像素作为目标定位信息;触发判断模块;
第二更新模块:配置为判断当前帧的候选模板和当前帧的前一帧的目标模板相比,SURF特征的方向信息和尺度信息变化是否均小于预设阈值,若是,则确定目标发生了遮挡,触发保持模块;若否,则确定目标自身发生了变化,触发第一更新模块;
第三更新模块:配置为确定目标发生了遮挡,通过匹配当前帧候选模板与当前帧的前一帧目标模板的对应的SURF特征点之间的映射关系,利用所述映射关系中SURF特征的位置信息、方向信息和尺度信息推导定位目标,从而确定目标定位像素,触发保持模块;
第四更新模块:配置为确定目标发生了丢失;在全图区域利用SURF特征对当前帧全图与目标模板进行特征匹配,若匹配成功,则对目标位置及目标模板进行更新,触发判断模块;若匹配不成功,则跳过此帧,触发判断模块;
保持模块:配置为不对目标模板做更新,触发判断模块;
判断模块:配置为判断当前帧是否为视频的最后一帧;
输出模块:配置为视频输入完毕,输出目标在图像序列中的像素位置。
根据本发明第三方面,提供一种基于ASMS算法的目标跟踪系统,包括:
处理器,用于执行多条指令;
存储器,用于存储多条指令;
其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行如前所述的基于ASMS算法的目标跟踪方法。
根据本发明第四方面,提供一种计算机可读存储介质,所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行如前所述的基于ASMS算法的目标跟踪方法。
根据本发明的上述方案,使用实时更新模板的机制及其再检测机制改进asms跟踪算法。本发明利用ASMS算法跟踪目标位置,并利用候选目标区域与模板区域之间的特征点对的数目判断模板是否需要更新以及目标是否丢失,若目标丢失,开启目标再检测机制,扩大原有的搜索区域,进行匹配检测。本发明提出模板更新策略,采用提取目标区域特征点的方式,根据特征点对的数目变化,决定是否更新模板,其次,添加再检测机制,在目标丢失时重新匹配检测,进一步提高跟踪效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明提供如下附图进行说明。在附图中:
图1为本发明一个实施方式的基于ASMS算法的目标跟踪方法流程图;
图2为本发明一个实施方式的基于ASMS算法的目标跟踪方法细节实现流程图;
图3为本发明一个实施方式的模板更新策略机制的一部分细节示意图
具体实施方式
首先结合图1-2说明本发明一个实施方式的基于ASMS算法的目标跟踪方法流程,所述方法包括以下步骤:
步骤S101:获取视频的第一帧和第二帧,进行跟踪初始化;分别获得第一帧和第二帧图像的目标初始模板,将第二帧所述目标初始模板作为目标模板;获得两个目标初始模板的SURF特征;基于所述两个目标初始模板,确定SURF特征点匹配对数目,记作n(1,2),n为正整数,下标表示帧数;将视频的第三帧作为当前帧;
步骤S102:基于ASMS算法对当前帧中的目标初定位,获得候选区域,将候选区域作为候选模板,在所述候选区域内提取SURF特征点,计算提取的所述SURF特征点与所述目标模板的特征点匹配数目,记作n(i-1,i),代表当前帧的目标模板与当前帧的前一帧的目标模板之间的SURF特征点匹配数目;其中,i为当前帧的序号;
步骤S103:确定SURF特征点匹配对数目n(i-1,i)相对于n(i-2,i-1)的变化比例β,
若0≤β<10%,进入步骤S104;
若10%≤β<30%,进入步骤S105;
若30%≤β<80%,进入步骤S106;
若β≥80%,进入步骤S107;
步骤S104:利用ASMS算法输出的所述候选区域更新目标模板,并输出所述候选模板的中心像素作为目标定位信息;进入步骤S109;
步骤S105:判断当前帧的候选模板和当前帧的前一帧的目标模板相比,SURF特征的方向信息和尺度信息变化是否均小于预设阈值,若是,则确定目标发生了遮挡,进入步骤S108;若否,则确定目标自身发生了变化,进入步骤S104;
步骤S106:确定目标发生了遮挡,通过匹配当前帧候选模板与当前帧的前一帧目标模板的对应的SURF特征点之间的映射关系,利用所述映射关系中SURF特征的位置信息、方向信息和尺度信息推导定位目标,从而确定目标定位像素,进入步骤S108;
步骤S107:确定目标发生了丢失;在全图区域利用SURF特征对当前帧全图与目标模板进行特征匹配,若匹配成功,则对目标位置及目标模板进行更新,进入步骤S109;若匹配不成功,则跳过此帧,直接进入步骤S109;
步骤S108:不对目标模板做更新,进入步骤S109;
步骤109:若当前帧为视频的最后一帧,进入步骤S110;否则,将当前帧的下一帧作为当前帧,进入步骤S102;
步骤S110:视频输入完毕,输出目标在图像序列中的像素位置,方法结束。
本发明利用获取的视频对待跟踪目标进行跟踪。本发明利用ASMS算法初步跟踪,再结合模板更新策略优化目标模板,两种方式互相配合以准确获取目标位置,具有精度高、实时性佳、鲁棒性好的效果。
所述步骤S101,获取视频的第一帧和第二帧,进行跟踪初始化,其中:
跟踪初始化,包括三方面内容——基于人工点选来确定目标的位置和大小、确定目标初始模板以及确定目标初始模板的SURF特征。其中,目标的位置为目标中心在图像中的像素坐标,目标的大小为包含目标在内的最小外接矩形区域;得到目标的位置和大小后,此处的目标初始模板可以看作包含目标的具有大小和形状两个基本属性的矩形像素区域,前文所述目标模板及候选模板也是此类概念。
SURF特征的意思为加速鲁棒特征(Speed Up Robust Feature,SURF),和SIFT特征类似,同样是一个用于检测、描述、匹配图像局部特征点的特征描述子。SURF特征借鉴了SIFT中近似简化的思想,借助于积分图,使得模板对图像的滤波只需要进行几次简单的加减法运算,相当于SIFT的加速改进版本,在特征点检测取得相似性能的条件下,提高了运算速度。整体来说,SUFR比SIFT在运算速度上要快数倍,综合性能更优。
所述步骤S102,例如,若当前帧为第三帧,则n(i-1,i)代表第二帧的目标模板和第三帧的目标模板之间的SURF特征点匹配数目n(2,3)。
所述步骤S102:基于ASMS算法对当前帧中的目标初定位,获得候选区域,其中:
ASMS算法为:
假设尺度逐帧改变,表示像素位置,N表示图像中像素的数量。目标表示为图像中的一个椭圆区域k(x)为核函数,限制条件为:当x≥0时,k(x)=0。用表示目标直方图估计的特征概率函数:
用表示目标直方图估计的特征概率函数:
其中:
候选目标模型中的特征概率函数为:
其中:
δ是克罗内科函数,参数h定义了候选目标的尺度。然后使用Hellinger距离函数对目标直方图和候选目标直方图估计的特征概率分布进行测量计算,表示两个概率分布的相似性,值越小,相似性越高。使用梯度方法,最小化Hellinger距离,迭代计算目标位置及其尺度变化,候选目标位置从y0移动到y1,目标尺度由h0变为h1。
其中:
其中:
g(x)=-k(x)' (10)
ASMS算法使用颜色直方图加权方法,利用跟踪目标的邻近区域来帮助分辨目标,称为背景比例加权(background ratio weighting,BRW),可以使得在背景复杂的情况下尺度估计具有更好的鲁棒性。
ASMS算法虽然加入了尺度估计策略,但对于尺度错误估计不具备自我更正的能力,而且对于自相似目标通常尺度估计过小。
在原有的基础上增加了正则化尺度估计策略,使得跟踪更加具有鲁棒性。
本实施例使用了一种新的模板更新策略,以更精确的获得目标模板。本实施例中,模板更新策略是一种基于SURF特征点数量、尺度和方向信息的变化选择相应的模板更新策略,使模板反映目标的特征,从而在下一帧中更准确地跟踪目标。所述模板更新策略,包括以下四种情况:
①在特征点匹配对数目的增减在10%以内的情况下,利用ASMS算法的输出对模板进行更新;所述特征点匹配对数目是所述目标模板和候选模板之间的特征点匹配数。
②在特征点匹配对数目的增减在[10%,30%)的情况下,若SURF特征的方向信息和尺度信息变化小于预设阈值,则判定发生了遮挡,不对目标模板做更新;若SURF特征的方向信息和尺度信息变化大于或等于预设阈值,则认为是目标自身变化,利用ASMS算法的输出对目标模板进行更新。
③在特征点匹配对数目的增减在[30%-80%)的情况下,则认为目标发生了遮挡,通过匹配当前帧与当前帧的前一帧的对应的特征点之间的映射关系,利用SURF特征的位置信息、方向信息和尺度信息推导定位目标,不对目标模板进行更新。
④在特征点匹配对数目的增减大于或等于80%的情况下,则认为目标发生了丢失,在搜索区域利用surf特征进行特征匹配,若匹配成功,定位目标后,对目标位置及模板进行更新,若匹配不成功,则在下一帧中继续匹配检测。
本实施例中,在特征点匹配对数目的增减在10%以内的情况下,根据SURF特征的方向信息和尺度信息变换即可判断目标的状态,利用ASMS搜索窗的输出对目标模板进行更新。
本发明实施例进一步给出一种基于ASMS算法的目标跟踪装置,所述装置包括:
初始化模块:配置为获取视频的第一帧和第二帧,进行跟踪初始化;分别获得第一帧和第二帧图像的目标初始模板,将第二帧所述目标初始模板作为目标模板;获得两个目标初始模板的SURF特征;基于所述两个目标初始模板,确定SURF特征点匹配对数目,记作n(1,2),n为正整数,下标表示帧数;将视频的第三帧作为当前帧;
特征点提取模块:配置为基于ASMS算法对当前帧中的目标初定位,获得候选区域,将候选区域作为候选模板,在所述候选区域内提取SURF特征点,计算提取的所述SURF特征点与所述目标模板的特征点匹配数目,记作n(i-1,i),代表当前帧的目标模板与当前帧的前一帧的目标模板之间的SURF特征点匹配数目;其中,i为当前帧的序号;
变化比例确定模块:配置为确定SURF特征点匹配对数目n(i-1,i)相对于n(i-2,i-1)的变化比例β,
若0≤β<10%,触发第一更新模块;
若10%≤β<30%,触发第二更新模块;
若30%≤β<80%,触发第三更新模块;
若β≥80%,触发第四更新模块;
第一更新模块:配置为利用ASMS算法输出的所述候选区域更新目标模板,并输出所述候选模板的中心像素作为目标定位信息;触发判断模块;
第二更新模块:配置为判断当前帧的候选模板和当前帧的前一帧的目标模板相比,SURF特征的方向信息和尺度信息变化是否均小于预设阈值,若是,则确定目标发生了遮挡,触发保持模块;若否,则确定目标自身发生了变化,触发第一更新模块;
第三更新模块:配置为确定目标发生了遮挡,通过匹配当前帧候选模板与当前帧的前一帧目标模板的对应的SURF特征点之间的映射关系,利用所述映射关系中SURF特征的位置信息、方向信息和尺度信息推导定位目标,从而确定目标定位像素,触发保持模块;
第四更新模块:配置为确定目标发生了丢失;在全图区域利用SURF特征对当前帧全图与目标模板进行特征匹配,若匹配成功,则对目标位置及目标模板进行更新,触发判断模块;若匹配不成功,则跳过此帧,触发判断模块;
保持模块:配置为不对目标模板做更新,触发判断模块;
判断模块:配置为判断当前帧是否为视频的最后一帧;
输出模块:配置为视频输入完毕,输出目标在图像序列中的像素位置。
本发明实施例进一步给出一种基于ASMS算法的目标跟踪系统,包括:
处理器,用于执行多条指令;
存储器,用于存储多条指令;
其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行如前所述的基于ASMS算法的目标跟踪方法。
本发明实施例进一步给出一种计算机可读存储介质,所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行如前所述的基于ASMS算法的目标跟踪方法。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,实体机服务器,或者网络云服务器等,需安装Windows或者Windows Server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (6)
1.一种基于ASMS算法的目标跟踪方法,其特征在于,所述方法包括以下步骤:
步骤S101:获取视频的第一帧和第二帧,进行跟踪初始化;分别获得第一帧和第二帧图像的目标初始模板,将第二帧所述目标初始模板作为目标模板;获得两个目标初始模板的SURF特征;基于所述两个目标初始模板,确定SURF特征点匹配对数目,记作n(1,2),n为正整数,下标表示帧数;将视频的第三帧作为当前帧;
步骤S102:基于ASMS算法对当前帧中的目标初定位,获得候选区域,将候选区域作为候选模板,在所述候选区域内提取SURF特征点,计算提取的所述SURF特征点与所述目标模板的特征点匹配数目,记作n(i-1,i),代表当前帧的目标模板与当前帧的前一帧的目标模板之间的SURF特征点匹配数目;其中,i为当前帧的序号;
步骤S103:确定SURF特征点匹配对数目n(i-1,i)相对于n(i-2,i-1)的变化比例β,
若0≤β<10%,进入步骤S104;
若10%≤β<30%,进入步骤S105;
若30%≤β<80%,进入步骤S106;
若β≥80%,进入步骤S107;
步骤S104:利用ASMS算法输出的所述候选区域更新目标模板,并输出所述候选模板的中心像素作为目标定位信息;进入步骤S109;
步骤S105:判断当前帧的候选模板和当前帧的前一帧的目标模板相比,SURF特征的方向信息和尺度信息变化是否均小于预设阈值,若是,则确定目标发生了遮挡,进入步骤S108;若否,则确定目标自身发生了变化,进入步骤S104;
步骤S106:确定目标发生了遮挡,通过匹配当前帧候选模板与当前帧的前一帧目标模板的对应的SURF特征点之间的映射关系,利用所述映射关系中SURF特征的位置信息、方向信息和尺度信息推导定位目标,从而确定目标定位像素,并进入步骤S108;
步骤S107:确定目标发生了丢失;在全图区域利用SURF特征对当前帧全图与目标模板进行特征匹配,若匹配成功,则对目标位置及目标模板进行更新,进入步骤S109;若匹配不成功,则跳过此帧,直接进入步骤S109;
步骤S108:不对目标模板做更新,进入步骤S109;
步骤109:若当前帧为视频的最后一帧,进入步骤S110;否则,将当前帧的下一帧作为当前帧,进入步骤S102;
步骤S110:视频输入完毕,输出目标在图像序列中的像素位置,方法结束。
2.如权利要求1所述的基于ASMS算法的目标跟踪方法,其特征在于,所述步骤S101:跟踪初始化,包括基于人工点选来确定目标的位置和大小、确定目标初始模板以及确定目标初始模板的SURF特征。
3.如权利要求2所述的基于ASMS算法的目标跟踪方法,其特征在于,所述步骤S102:所述ASMS算法使用颜色直方图加权方法,利用跟踪目标的邻近区域来确定目标。
4.一种基于ASMS算法的目标跟踪装置,其特征在于,所述装置包括:
初始化模块:配置为获取视频的第一帧和第二帧,进行跟踪初始化;分别获得第一帧和第二帧图像的目标初始模板,将第二帧所述目标初始模板作为目标模板;获得两个目标初始模板的SURF特征;基于所述两个目标初始模板,确定SURF特征点匹配对数目,记作n(1,2),n为正整数,下标表示帧数;将视频的第三帧作为当前帧;
特征点提取模块:配置为基于ASMS算法对当前帧中的目标初定位,获得候选区域,将候选区域作为候选模板,在所述候选区域内提取SURF特征点,计算提取的所述SURF特征点与所述目标模板的特征点匹配数目,记作n(i-1,i),代表当前帧的目标模板与当前帧的前一帧的目标模板之间的SURF特征点匹配数目;其中,i为当前帧的序号;
变化比例确定模块:配置为确定SURF特征点匹配对数目n(i-1,i)相对于n(i-2,i-1)的变化比例β,
若0≤β<10%,触发第一更新模块;
若10%≤β<30%,触发第二更新模块;
若30%≤β<80%,触发第三更新模块;
若β≥80%,触发第四更新模块;
第一更新模块:配置为利用ASMS算法输出的所述候选区域更新目标模板,并输出所述候选模板的中心像素作为目标定位信息;触发判断模块;
第二更新模块:配置为判断当前帧的候选模板和当前帧的前一帧的目标模板相比,SURF特征的方向信息和尺度信息变化是否均小于预设阈值,若是,则确定目标发生了遮挡,触发保持模块;若否,则确定目标自身发生了变化,触发第一更新模块;
第三更新模块:配置为确定目标发生了遮挡,通过匹配当前帧候选模板与当前帧的前一帧目标模板的对应的SURF特征点之间的映射关系,利用所述映射关系中SURF特征的位置信息、方向信息和尺度信息推导定位目标,从而确定目标定位像素,触发保持模块;
第四更新模块:配置为确定目标发生了丢失;在全图区域利用SURF特征对当前帧全图与目标模板进行特征匹配,若匹配成功,则对目标位置及目标模板进行更新,触发判断模块;若匹配不成功,则跳过此帧,触发判断模块;
保持模块:配置为不对目标模板做更新,触发判断模块;
判断模块:配置为判断当前帧是否为视频的最后一帧;
输出模块:配置为视频输入完毕,输出目标在图像序列中的像素位置。
5.一种基于ASMS算法的目标跟踪的系统,包括:
处理器,用于执行多条指令;
存储器,用于存储多条指令;
其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行如权利要求1-3中任一项所述的基于ASMS算法的目标跟踪方法。
6.一种计算机可读存储介质,所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行如权利要求1-3中任一项所述的基于ASMS算法的目标跟踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111190559.1A CN113902775B (zh) | 2021-10-13 | 2021-10-13 | 一种基于asms算法的目标跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111190559.1A CN113902775B (zh) | 2021-10-13 | 2021-10-13 | 一种基于asms算法的目标跟踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113902775A CN113902775A (zh) | 2022-01-07 |
CN113902775B true CN113902775B (zh) | 2024-10-15 |
Family
ID=79191793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111190559.1A Active CN113902775B (zh) | 2021-10-13 | 2021-10-13 | 一种基于asms算法的目标跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113902775B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446634A (zh) * | 2018-03-20 | 2018-08-24 | 北京天睿空间科技股份有限公司 | 基于视频分析和定位信息结合的航空器持续跟踪方法 |
CN109949340A (zh) * | 2019-03-04 | 2019-06-28 | 湖北三江航天万峰科技发展有限公司 | 基于OpenCV的目标尺度自适应跟踪方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008073962A2 (en) * | 2006-12-12 | 2008-06-19 | Rutgers, The State University Of New Jersey | System and method for detecting and tracking features in images |
KR100818289B1 (ko) * | 2007-02-02 | 2008-03-31 | 삼성전자주식회사 | 비디오 영상 트레킹 방법 및 장치 |
-
2021
- 2021-10-13 CN CN202111190559.1A patent/CN113902775B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446634A (zh) * | 2018-03-20 | 2018-08-24 | 北京天睿空间科技股份有限公司 | 基于视频分析和定位信息结合的航空器持续跟踪方法 |
CN109949340A (zh) * | 2019-03-04 | 2019-06-28 | 湖北三江航天万峰科技发展有限公司 | 基于OpenCV的目标尺度自适应跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113902775A (zh) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107563313B (zh) | 基于深度学习的多目标行人检测与跟踪方法 | |
CN108470332B (zh) | 一种多目标跟踪方法及装置 | |
CN112184759A (zh) | 一种基于视频的运动目标检测与跟踪方法及系统 | |
US20230334235A1 (en) | Detecting occlusion of digital ink | |
US10657625B2 (en) | Image processing device, an image processing method, and computer-readable recording medium | |
WO2018100668A1 (en) | Image processing device, image processing method, and image processing program | |
CN111209920A (zh) | 一种复杂动态背景下飞机检测方法 | |
CN116310128A (zh) | 基于实例分割与三维重建的动态环境单目多物体slam方法 | |
CN113379789B (zh) | 一种复杂环境下运动目标跟踪方法 | |
CN111951297A (zh) | 一种基于结构化逐像素目标注意机制的目标跟踪方法 | |
Liu et al. | Spatial neighborhood-constrained linear coding for visual object tracking | |
CN117237608A (zh) | 一种基于深度学习的多尺度雾天场景目标检测方法及系统 | |
CN117011381A (zh) | 基于深度学习和立体视觉的实时手术器械位姿估计方法与系统 | |
CN113436251B (zh) | 一种基于改进的yolo6d算法的位姿估计系统及方法 | |
CN106023256B (zh) | 面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观测方法 | |
CN113129332A (zh) | 执行目标对象跟踪的方法和装置 | |
CN113902775B (zh) | 一种基于asms算法的目标跟踪方法及装置 | |
CN113888603A (zh) | 基于光流跟踪和特征匹配的回环检测及视觉slam方法 | |
Gutev et al. | Exploiting depth information to increase object tracking robustness | |
CN113837243B (zh) | 基于边缘信息的rgb-d相机动态视觉里程计方法 | |
CN116188535A (zh) | 基于光流估计的视频跟踪方法、装置、设备及存储介质 | |
CN110781803B (zh) | 一种基于扩展卡尔曼滤波器的人体姿态识别方法 | |
Wuest et al. | Feature management for efficient camera tracking | |
CN115049705B (zh) | 多模板网络框架的目标跟踪方法及装置 | |
CN113326716B (zh) | 面向装配现场环境装配指导ar应用定位的回环检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |