CN110175649A - 一种关于重新检测的快速多尺度估计目标跟踪方法 - Google Patents
一种关于重新检测的快速多尺度估计目标跟踪方法 Download PDFInfo
- Publication number
- CN110175649A CN110175649A CN201910451171.9A CN201910451171A CN110175649A CN 110175649 A CN110175649 A CN 110175649A CN 201910451171 A CN201910451171 A CN 201910451171A CN 110175649 A CN110175649 A CN 110175649A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- candidate
- tracking
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 54
- 230000004044 response Effects 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000005352 clarification Methods 0.000 abstract 2
- 230000000694 effects Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 5
- 241000153282 Theope Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种关于深度特征与重新检测的快速多尺度估计目标跟踪算法。通过深度学习的方法来表示目标的特征,提高了目标的特征表达能力。在跟踪阶段,提取不同的尺度图像块的特征时,通过PCA降维,可以减少计算量,提高整体的计算速度。在峰值旁瓣比(PSR)和置信度平滑约束(SCCM)两个判别指标的基础上,提出一种新的检测指标,从而可以更加准确地度量当前帧的跟踪可靠度。若当前帧的可靠度较低,则通过Edgeboxes的方法产生一系列目标候选框从而进行重新检测。
Description
技术领域
本发明属于图像处理和计算机视觉领域,通过深度学习的方法学习目标特征,在目标出现漂移时通过重新检测的方法实现目标的精确跟踪。可应用于无人驾驶和视频监控等领域。
背景技术
目标跟踪是计算机视觉中的一个关键问题,在视频监控、行为识别、无人驾驶和医疗图像等各个领域都有着广泛的应用。目标跟踪的目的是在给定第一帧的目标初始位置,对后续的每一帧进行目标位置的估计。目前主要的计算机视觉跟踪的方法主要有基于相关滤波的跟踪方法和基于深度学习的跟踪方法。
基于相关滤波的目标跟踪算法自2010年开始迅速发展,其中Henriques等人(Henriques J F,Caseiro R,Martins P,et al.High-speed tracking with kernelizedcorrelation filters[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2015,37(3):583-596.)提出的核相关滤波(KCF)跟踪算法在实时性和准确度方面都有很好地表现。KCF算法首先通过循环移位在目标的周围区域对样本进行采集,然后通过脊回归的方法训练目标分类器。KCF算法通过核技巧,将原来线性空间的脊回归映射到非线性空间,在非线性空间求解一个对偶问题。同时,KCF算法使用方向梯度直方图(HOG)特征替代传统的灰度特征,可以更加准确地描述目标的特征。但是KCF算法对目标的尺度变化的适应性较差,若目标的尺度发生变化,则会很容易的发生目标丢失的情况。而且KCF算法对目标的快速形变不鲁棒,导致跟踪效果较差。
随着对相关滤波跟踪方法的研究,出现了越来越多的优秀算法。Ma C等人(Ma C,Yang X K,Zhang C Y,et al.Long-term correlation tracking[C]//Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition.Boston,MA,USA:IEEE,2015:5388-5396.)为了解决目标跟踪中的遮挡问题,提出了结合目标检测的长时跟踪算法(LCT)。LCT算法提出在同一帧图片上同时训练两个滤波器,即平移滤波器和尺度滤波器。在跟踪过程中,根据前一帧的位置在当前帧上选取检索范围并提取特征,使用平移滤波器计算当前帧的响应值,使用尺度滤波器计算不同尺度块的响应值并选取最佳尺度因子,从而得到当前帧的状态。若当前帧的平移滤波器所得到的最大响应值大于某一设定的阈值N1,则更新尺度滤波器,否则不会更改尺度滤波器。若平移滤波器所得到的最大响应值小于另一阈值N2,则通过KNN分类器进行重新检测。LCT算法虽然在一定程度上提高了目标遮挡情况下的鲁棒性,但是也存在一点问题,只通过最大响应值是否低于阈值来判断是否需要重新检测,这种判别方式会存在较大的误差。另外,因为需要对目标构建金字塔模型来估计目标的最佳尺度,这会使得整体的跟踪速率较慢。
发明内容
本发明提出一种关于重新检测的快速多尺度估计目标跟踪方法,重新恢复目标,提高整体的跟踪性能和准确率。
本发明关于重新检测的快速多尺度估计目标跟踪方法,具体步骤如下:
一种关于重新检测的快速多尺度估计目标跟踪方法,具体步骤如下:
步骤一,训练滤波模板:
对目标跟踪器进行初始化,标记目标的初始区域,采用VGG-19网络提取目标的深度特征,建立最初的目标模板和尺度模板;
其中,目标模板的建立主要包括以下过程:
1)分类器在大小为M×N的图像块上,以目标位置为中心进行循环移位采样,产生的样本集记为xi,其中i∈{0,…M-1}×{0,…N-1}。每个样本xi都有一个与其相对应的回归标签yi,yi由高斯函数得到;采用分类器f(x)找到最小权重系数w,使得样本xi及其回归标签yi有最小的平方误差,训练分类器的最小代价函数为
minw∑i[f(xi)-yi]2+λ||w||2 (1)
其中λ是正则化参数;
得到w的闭式解为
w=(XHX+λI)-1XHY (2)
其中X是循环矩阵的样本,Y是样本标签,XH表示复共轭转置矩阵,I是单位矩阵;
2)利用所有的循环矩阵都能够在傅氏空间使用离散傅里叶矩阵进行对角化的性质进行优化,循环矩阵对角化为:F为离散傅里叶矩阵,表示对x进行离散傅里叶变换,diag表示向量对角化,因此可以优化得到:
其中分别代表w、x、y的傅里叶变换,⊙表示元素点乘,*表示复共轭。
3)通过一个非线性映射函数将样本映射到高维空间,并引入高斯核kxx=k(x,x′)作为核函数,高斯核的计算公式为
F-1表示离散傅里叶反变换,σ表示高斯核函数的带宽,*表示复共轭;x表示外观模型;
利用核函数的循环性质和卷积理论,得到目标滤波模板α的计算公式为
其中,尺度滤波模板的计算方法如下:
首先初始化第一帧,提取目标区域图像特征xs,在定义的搜索区域内计算尺度样本标签ysi,ysi由高斯函数得到。
尺度滤波模板为:
其中,分别是ysi和xs的傅里叶变换,⊙表示元素点乘,*表示复共轭,λ1=0.0001是正则化参数;
步骤二,定位:
从第二帧开始,以前一帧的位置为中心,截取大小为M×N的图像块z,通过VGG-19网络提取目标的深度特征并与目标模板相卷积,得到目标的响应值以及估计的位置;使用公式(4)计算k(x,z),计算相关响应f(z)
其中,x为外观模型,F-1是傅里叶反变换,⊙表示元素点乘,是目标模板;
步骤三,检测:
1)基于峰值旁瓣比(PSR)和置信度平滑约束(SCCM)两个指标,重新构建一个新的检测指标Detection Criterion记为DC,即公式(8):
其中PSR是峰值旁瓣比,其定义为:
其中Fmax表示目标的最大响应值,μ和σ表示响应的均值和标准差;
SCCM是置信度平滑约束,其定义为:
其中Ft表示当前帧的目标响应值,Ft-1表示前一帧的目标响应值,表示移位操作,Δ表示相邻两帧最大响应值位置的相对位移;
2)判断当前检测的结果的可靠性,当前检测指标DC大于设定的阈值时,则检测的结果的可靠,通过公式(6)和公式(7)对目标进行尺度估计;
当新的检测指标DC小于设定的阈值7时,则检测的结果的不可靠,进入步骤四重新检测阶段;
其中,尺度估计的滤波器与目标位置估计的平移相关滤波器是相互独立的,定位阶段利用平移相关滤波器计算得到目标的预测位置,以预测的目标位置为中心,在目标周围截取多个不同尺度的候选区域,提取这些不同尺度图像块的特征并且通过PCA降维,利用尺度滤波器计算尺度响应,最大响应对应的尺度因子即为最佳尺度。
步骤四,重新检测:
当目标进入重新检测阶段时,通过EdgeBoxes算法在目标周围产生一系列的候选样本框集合;从中选出最优的目标候选框,将重新检测的结果反馈至跟踪框架,通过公式(6)和公式(7)进行目标尺度的估计;
步骤五,模型更新:
当检测出当前帧的结果不可靠时,模型拒绝更新,仍采用上一帧的目标模板。所以,为了更好地适应目标的外观变化,当t>1时,通过以下的更新策略对目标的外观模型x和滤波模板α进行更新,如公式(11a)和(11b)所示。
其中,η=0.02表示模型的学习率,t是帧数。
其中,步骤一中,正则化参数λ=0.0001,用来防止过拟合。
其中,步骤一中,高斯核函数的带宽σ=0.5。
其中,步骤四中,当目标进入重新检测阶段时,通过EdgeBoxes算法在目标周围产生一系列的候选样本框集合,首先,提取这些候选样本框的特征,并根据公式(7)计算当前帧生成的候选样本框集合的得分,当确定了得分后,对这些候选框的得分进行排序,选取得分较高的n=200个候选框,即设置一个最低得分阈值,将低于阈值的候选框删除;其次,利用非极大值抑制(NMS)的方法过滤这些候选框,将候选框放入列表M,将与M中相对应的候选框得分放入列表N,选择具有最大得分的候选框X,将候选框X从M集合中移除并加入到最终检测结果Y列表中,计算M中剩余的候选框与X的重叠区域面积比例(IoU),将IoU值大于阈值Nt的框从M中移除,重复这个过程,直到M为空;至此所有的候选框都过滤结束,并计算所筛选出的每个候选框与目标框之间的距离,选出距离最小的候选框即为最优的目标候选框。
本发明相比现有技术具有如下有益效果:
根据现有研究的不足,本发明提出了一种关于深度特征与重新检测的快速多尺度估计目标跟踪算法。通过深度学习的方法来表示目标的特征,提高了目标的特征表达能力。在跟踪阶段,提取不同的尺度图像块的特征时,通过PCA降维,可以减少计算量,提高整体的计算速度。在峰值旁瓣比(PSR)和置信度平滑约束(SCCM)两个判别指标的基础上,提出一种新的检测指标,从而可以更加准确地度量当前帧的跟踪可靠度。若当前帧的可靠度较低,则通过Edgeboxes的方法产生一系列目标候选框从而进行重新检测。
本发明在相关滤波的基础上使用VGG-19提取目标特征,使得目标的特征表达能力更强。本发明在平移相关滤波器的基础上添加了尺度相关滤波器,并通过主成分分析法(PCA)对特征进行降维,减少了整体的计算量,提高了算法的运算速率。
同时本发明引入了新的检测指标以及重新检测的方法,新的检测指标DC可以更加准确的度量当前帧的跟踪性能;若检测出当前帧的跟踪效果较差,则通过重新检测的方法重新寻回目标,继续跟踪,提高了算法的准确率以及成功率。最后本发明引入的自适应更新策略,则有效地避免了更新错误的情况。
本发明可解决快速运动、遮挡、运动模糊、平面内旋转等导致的目标丢失的情况。
附图说明
图1为本发明提供的关于重新检测的目标跟踪的系统流程框图;
图2为本发明的VGG-19网络框架图;
图3为本发明引入尺度估计后的效果图;
图4为本发明对6个不同视频序列的跟踪结果的抽样帧;
图5为本发明在OPE评估方式下8种不同算法的跟踪性能比较图;
图6为本发明在OPE评估方式下8种不同算法分别面对三种挑战因子时的跟踪性能比较图。
具体实施方式
为了使本发明的目的、内容和有点更加清楚,下面结合附图进一步阐述本发明。
实施例一:
关于重新检测的目标跟踪的系统流程框架图如图1所示,具体包括以下几个部分:训练滤波模板、定位、检测、重新检测以及模型更新。
(1)步骤一:训练滤波模板。首先对目标跟踪器进行初始化,标记目标的初始区域,采用VGG-19网络提取目标的深度特征,建立最初的目标模板和尺度模板,用于第二帧目标响应值的计算。
目标模板的建立主要分以下几个部分:
首先,分类器在大小为M×N的图像块上,以目标位置为中心进行循环移位采样,产生的样本集记为xi,其中i∈{0,…M-1}×{0,…N-1}。每个样本xi都有一个与其相对应的回归标签yi,yi由高斯函数得到。而分类器f(x)的目的就是找到最小权重系数w,使得样本xi及其回归标签yi有最小的平方误差,训练分类器的最小代价函数为
minw∑i[f(xi)-yi]2+λ||w||2 (1)
其中λ=0.0001是正则化参数,用来防止过拟合。
得到w的闭式解为
w=(XHX+λI)-1XHY (2)
其中X是循环矩阵的样本,Y是样本标签,XH表示复共轭转置矩阵,I是单位矩阵。
利用所有的循环矩阵都能够在傅氏空间使用离散傅里叶矩阵进行对角化的性质进行优化,循环矩阵对角化为:F为离散傅里叶矩阵,表示对x进行离散傅里叶变换,diag表示向量对角化,因此可以优化得到:
其中分别代表w、x、y的傅里叶变换,⊙表示元素点乘。
同时,我们通过一个非线性映射函数将样本映射到高维空间,并引入高斯核kxx=k(x,x′)作为核函数,高斯核的计算公式为
F-1表示离散傅里叶反变换,σ=0.5表示高斯核函数的带宽,*表示复共轭。
利用核函数的循环性质和卷积理论,得到目标模板α的计算公式为
尺度滤波模板的计算如下:
首先初始化第一帧,提取目标区域图像特征xs,在定义的搜索区域内计算尺度样本标签ysi,ysi由高斯函数得到。
尺度滤波模板为
其中,分别是ysi和xs的傅里叶变换,⊙表示元素点乘,*表示复共轭,λ1=0.0001是正则化参数。
(2)步骤二:定位。定位阶段主要是将提取的目标特征与目标模板相卷积,得到目标的响应值以及估计的位置。
本发明采用卷积神经网络来提取目标的特征,其中,VGG-19包含19层,包括五段卷积,每段卷积内都有2个至4个卷积层,同时每段卷积尾部都连接着一个最大池化层(maxpooling),用来缩小图片。本发明使用的是VGG-19的第五段卷积的输出来表示目标特征。VGG-19网络框架图如图2所示,利用卷积神经网络训练网络模型,得到的卷积特征输出表达能力更强。
以前一帧的位置为中心,截取大小为M×N的图像块z,提取该图像块的深度特征,使用公式(4)计算k(x,z),计算相关响应f(z)
其中,x是外观模型,F-1是傅里叶反变换,⊙表示元素点乘,是目标模板。
(3)步骤三:检测。检测阶段是本发明的核心之一,根据新的检测指标检测当前帧的跟踪准确度,判断目标是否丢失,是否需要进入重新检测阶段。本发明提出一种新的检测指标,基于峰值旁瓣比(PSR)和置信度平滑约束(SCCM)两个指标,重新构建一个新的检测指标(Detection Criterion)为DC,即公式(8),从而可以更好地度量当前帧的跟踪准确度。
其中PSR是峰值旁瓣比,其定义为:
其中Fmax表示目标的最大响应值,μ和σ表示响应的均值和标准差。
SCCM是置信度平滑约束,其定义为:
其中Ft表示当前帧的目标响应值,Ft-1表示前一帧的目标响应值,表示移位操作,Δ表示相邻两帧最大响应值位置的相对位移。
一般在正常跟踪的情况下,当PSR值的范围在8至15之间时,表示目标有较强的峰值,而当PSR值在5左右时,当前帧的目标检测不太稳定。当SCCM值大于0.5时,说明该区域出现遮挡,所以当PSR值大于5,并且SCCM值小于0.5时,即可视为跟踪正确。所以本发明设定阈值为7,当检测指标DC小于7时,说明当前帧的跟踪效果较差,否则视为跟踪正确。
若当前检测的结果较为可靠,则对目标进行尺度估计。本发明采用了快速尺度自适应估计的方法,引入了尺度相关滤波器,。尺度估计算法的具体步骤如下:
首先,利用平移相关滤波器估计得到目标的位置(x,y)和目标的大小M×N,以估计的目标为中心,在目标的周围提取s个p×r的图像块,p和r满足以下条件,p=anM,r=anN,a表示尺度因子;其次,提取的不同尺度图像块的特征并且通过PCA降维,降低计算量,提高整体的计算速度;最后,通过公式(6)和公式(7)计算目标的尺度响应,找出最大响应值对应的尺度因子,即为目标的最佳尺度。
本发明将尺度滤波器的个数设置为33个,尺度模型更新的学习速率为0.025,尺度因子为1.02。引入尺度相关滤波器的效果如图3所示,从图中可以看出,该算法可以根据目标大小的变化,自适应的调整跟踪窗口的大小。
(4)步骤四:重新检测。在检测阶段,本发明可以检测出当前帧的跟踪结果是否可靠,若检测出当前帧的跟踪效果较差,即满足DC<7这个条件时,目标则进入重新检测阶段,重新恢复当前帧的目标。
当目标进入重新检测阶段时,通过EdgeBoxes算法在目标周围产生一系列的候选样本框集合。然后通过一系列的优化操作,选出最优目标候选框。本发明将候选样本框的最大值设置为200,具体的步骤如下:
首先,提取这些框的HOG特征,并根据公式(7)计算当前帧生成的候选样本框集合的得分,当确定了得分后,对这些候选框的得分进行排序,选取得分较高的n个候选框,即设置一个最低得分阈值,将低于阈值的候选框删除。
其次,利用非极大值抑制(NMS)的方法过滤这些候选框,将候选框放入列表M,将与M中相对应的候选框得分放入列表N,选择具有最大得分的候选框X,将候选框X从M集合中移除并加入到最终检测结果Y列表中,计算M中剩余的候选框与X的重叠区域面积比例(IoU),将IoU值大于阈值Nt的框从M中移除,重复这个过程,直到M为空。至此所有的候选框都过滤结束。
最后,计算所筛选出的每个候选框与目标框之间的距离,选出距离最小的候选框即为最优的目标候选框。
至此,重新检测部分全部结束,将重新检测的结果反馈至相关滤波继续跟踪。
(5)步骤五:模型更新。在目标跟踪的过程中,模型的更新方式和速率对跟踪的性能影响显著。在一般的跟踪算法中,都是对每一帧都进行更新;若是按照这种更新方式,一旦出现跟踪失败的情况,后面将会无法继续跟踪。所以为了避免错误,本发明提出自适应更新的方法,当检测出当前帧的跟踪效果较差时,模型拒绝更新,仍采用上一帧的模板。所以,为了更好地适应目标的外观变化,当t>1时,通过以下的更新策略对目标的外观模型x和滤波模板α进行更新,如公式(11a)和(11b)所示。
其中,η=0.02表示模型的学习率,t是帧数。
评估实例:
本发明通过OPE(one pass evaluation)评估标准来衡量跟踪算法的性能,同时从OTB100数据集中选取60个具有挑战性的视频序列进行分析,并与其它跟踪器(DeepKCF、SAMF、KCF、CSK、DFT、CT、CACF等7种跟踪器)在不同挑战因子(光照变化、目标形变、运动模糊、快速运动、平面内旋转、平面外旋转、目标出视野、背景杂乱、低分辨率等)下进行对比。
图4为本发明的跟踪方法(DRKCF)与其他七种跟踪器的跟踪结果的抽样帧,从图4中可以看出本发明提出的跟踪器与其他跟踪器相比可以更好地跟踪目标,即使发生目标丢失的情况,也可以寻回目标继续跟踪。
图5是本发明的跟踪方法(DRKCF)与其他方法在精确度和成功率方面的比较,从图5中可以看出,本发明提供的跟踪方法在精确度和成功率方面都优于其他几个算法。
图6是本发明的跟踪方法(DRKCF)和其他7种不同跟踪方法在OPE评估方式下,面对快速运动、运动模糊和平面内旋转三种挑战因子时的跟踪性能比较,从图6可以看出本发明在面对一些不同挑战因子时也有很好的表现。
由此可见,本发明提出的跟踪方法与一些已有跟踪方法相比,算法的精确度有明显的提高,跟踪结果也更加鲁棒。
Claims (4)
1.一种关于重新检测的快速多尺度估计目标跟踪方法,具体步骤如下:
步骤一,训练滤波模板:
对目标跟踪器进行初始化,标记目标的初始区域,采用VGG-19网络提取目标的深度特征,建立最初的目标模板和尺度模板;
其中,目标模板的建立主要包括以下过程:
1)分类器在大小为M×N的图像块上,以目标位置为中心进行循环移位采样,产生的样本集记为xi,其中i∈{0,…M-1}×{0,…N-1}。每个样本xi都有一个与其相对应的回归标签yi,yi由高斯函数得到;采用分类器f(x)找到最小权重系数w,使得样本xi及其回归标签yi有最小的平方误差,训练分类器的最小代价函数为
minw∑i[f(xi)-yi]2+λ||w||2 (1)
其中λ是正则化参数;
得到w的闭式解为
w=(XHX+λI)-1XHY (2)
其中X是循环矩阵的样本,Y是样本标签,XH表示复共轭转置矩阵,I是单位矩阵;
2)利用所有的循环矩阵都能够在傅氏空间使用离散傅里叶矩阵进行对角化的性质进行优化,循环矩阵对角化为:F为离散傅里叶矩阵,表示对x进行离散傅里叶变换,diag表示向量对角化,因此可以优化得到:
其中分别代表w、x、y的傅里叶变换,⊙表示元素点乘,*表示复共轭。
3)通过一个非线性映射函数将样本映射到高维空间,并引入高斯核kxx=k(x,x′)作为核函数,高斯核的计算公式为
F-1表示离散傅里叶反变换,σ表示高斯核函数的带宽,*表示复共轭;x表示外观模型;
利用核函数的循环性质和卷积理论,得到目标滤波模板α的计算公式为
其中,尺度滤波模板的计算方法如下:
首先初始化第一帧,提取目标区域图像特征xs,在定义的搜索区域内计算尺度样本标签ysi,ysi由高斯函数得到。
尺度滤波模板为:
其中,分别是ysi和xs的傅里叶变换,⊙表示元素点乘,*表示复共轭,λ1=0.0001是正则化参数;
步骤二,定位:
从第二帧开始,以前一帧的位置为中心,截取大小为M×N的图像块z,通过VGG-19网络提取目标的深度特征并与目标模板相卷积,得到目标的响应值以及估计的位置;使用公式(4)计算k(x,z),计算相关响应f(z)
其中,x为外观模型,F-1是傅里叶反变换,⊙表示元素点乘,是目标模板;
步骤三,检测:
1)基于峰值旁瓣比(PSR)和置信度平滑约束(SCCM)两个指标,重新构建一个新的检测指标Detection Criterion记为DC,即公式(8):
其中PSR是峰值旁瓣比,其定义为:
其中Fmax表示目标的最大响应值,μ和σ表示响应的均值和标准差;
SCCM是置信度平滑约束,其定义为:
其中Ft表示当前帧的目标响应值,Ft-1表示前一帧的目标响应值,表示移位操作,Δ表示相邻两帧最大响应值位置的相对位移;
2)判断当前检测的结果的可靠性,当前检测指标DC大于设定的阈值时,则检测的结果的可靠,通过公式(6)和公式(7)对目标进行尺度估计;
当新的检测指标DC小于设定的阈值7时,则检测的结果的不可靠,进入步骤四重新检测阶段;
步骤四,重新检测:
当目标进入重新检测阶段时,通过EdgeBoxes算法在目标周围产生一系列的候选样本框集合;从中选出最优的目标候选框,将重新检测的结果反馈至跟踪框架,通过公式(6)和公式(7)进行目标尺度的估计;
步骤五,模型更新:
当t>1时,通过以下的更新策略对目标的外观模型x和滤波模板α进行更新,如公式(11a)和(11b)所示。
其中,η=0.02表示模型的学习率,t是帧数。
2.根据权利要求1所述关于重新检测的快速多尺度估计目标跟踪方法,其中,步骤一中,正则化参数λ=0.0001,用来防止过拟合。
3.根据权利要求1所述关于重新检测的快速多尺度估计目标跟踪方法,其中,步骤一中,高斯核函数的带宽σ=0.5。
4.根据权利要求1所述关于重新检测的快速多尺度估计目标跟踪方法,其中,步骤四中,当目标进入重新检测阶段时,通过EdgeBoxes算法在目标周围产生一系列的候选样本框集合,首先,提取这些候选样本框的特征,并根据公式(7)计算当前帧生成的候选样本框集合的得分,当确定了得分后,对这些候选框的得分进行排序,选取得分较高的n=200个候选框,即设置一个最低得分阈值,将低于阈值的候选框删除;
其次,利用非极大值抑制(NMS)的方法过滤这些候选框,将候选框放入列表M,将与M中相对应的候选框得分放入列表N,选择具有最大得分的候选框X,将候选框X从M集合中移除并加入到最终检测结果Y列表中,计算M中剩余的候选框与X的重叠区域面积比例(IoU),将IoU值大于阈值Nt的框从M中移除,重复这个过程,直到M为空;至此所有的候选框都过滤结束,并计算所筛选出的每个候选框与目标框之间的距离,选出距离最小的候选框即为最优的目标候选框。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910451171.9A CN110175649B (zh) | 2019-05-28 | 2019-05-28 | 一种关于重新检测的快速多尺度估计目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910451171.9A CN110175649B (zh) | 2019-05-28 | 2019-05-28 | 一种关于重新检测的快速多尺度估计目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110175649A true CN110175649A (zh) | 2019-08-27 |
CN110175649B CN110175649B (zh) | 2022-06-07 |
Family
ID=67696428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910451171.9A Active CN110175649B (zh) | 2019-05-28 | 2019-05-28 | 一种关于重新检测的快速多尺度估计目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110175649B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110852321A (zh) * | 2019-11-11 | 2020-02-28 | 北京百度网讯科技有限公司 | 候选框过滤方法、装置以及电子设备 |
CN110910415A (zh) * | 2019-11-28 | 2020-03-24 | 重庆中星微人工智能芯片技术有限公司 | 抛物检测方法、装置、服务器和计算机可读介质 |
CN111192294A (zh) * | 2019-12-30 | 2020-05-22 | 华中科技大学 | 一种基于目标检测的目标跟踪方法及系统 |
CN111582062A (zh) * | 2020-04-21 | 2020-08-25 | 电子科技大学 | 一种基于YOLOv3的目标跟踪中的重检测方法 |
CN112150509A (zh) * | 2020-09-29 | 2020-12-29 | 中国人民解放军63875部队 | 基于多层深度特征的分块跟踪算法 |
CN112734809A (zh) * | 2021-01-21 | 2021-04-30 | 高新兴科技集团股份有限公司 | 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置 |
CN113344973A (zh) * | 2021-06-09 | 2021-09-03 | 南京信息工程大学 | 一种基于时空正则化和特征可靠性评估的目标跟踪方法 |
CN113808171A (zh) * | 2021-09-27 | 2021-12-17 | 山东工商学院 | 基于特征权重池的动态特征选择的无人机视觉跟踪方法 |
CN115018885A (zh) * | 2022-08-05 | 2022-09-06 | 四川迪晟新达类脑智能技术有限公司 | 一种适用于边缘设备的多尺度目标跟踪算法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016026370A1 (en) * | 2014-08-22 | 2016-02-25 | Zhejiang Shenghui Lighting Co., Ltd. | High-speed automatic multi-object tracking method and system with kernelized correlation filters |
CN108346159A (zh) * | 2018-01-28 | 2018-07-31 | 北京工业大学 | 一种基于跟踪-学习-检测的视觉目标跟踪方法 |
CN108550161A (zh) * | 2018-03-20 | 2018-09-18 | 南京邮电大学 | 一种尺度自适应核相关滤波快速目标跟踪方法 |
CN108961308A (zh) * | 2018-06-01 | 2018-12-07 | 南京信息工程大学 | 一种漂移检测的残差深度特征目标跟踪方法 |
CN109685073A (zh) * | 2018-12-28 | 2019-04-26 | 南京工程学院 | 一种基于核相关滤波的尺度自适应目标跟踪算法 |
-
2019
- 2019-05-28 CN CN201910451171.9A patent/CN110175649B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016026370A1 (en) * | 2014-08-22 | 2016-02-25 | Zhejiang Shenghui Lighting Co., Ltd. | High-speed automatic multi-object tracking method and system with kernelized correlation filters |
CN108346159A (zh) * | 2018-01-28 | 2018-07-31 | 北京工业大学 | 一种基于跟踪-学习-检测的视觉目标跟踪方法 |
CN108550161A (zh) * | 2018-03-20 | 2018-09-18 | 南京邮电大学 | 一种尺度自适应核相关滤波快速目标跟踪方法 |
CN108961308A (zh) * | 2018-06-01 | 2018-12-07 | 南京信息工程大学 | 一种漂移检测的残差深度特征目标跟踪方法 |
CN109685073A (zh) * | 2018-12-28 | 2019-04-26 | 南京工程学院 | 一种基于核相关滤波的尺度自适应目标跟踪算法 |
Non-Patent Citations (2)
Title |
---|
曾照 等: "改进的核相关滤波跟踪算法", 《电子科技》 * |
胡昭华 等: "多层深度特征的目标跟踪算法研究", 《现代电子技术》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110852321B (zh) * | 2019-11-11 | 2022-11-22 | 北京百度网讯科技有限公司 | 候选框过滤方法、装置以及电子设备 |
CN110852321A (zh) * | 2019-11-11 | 2020-02-28 | 北京百度网讯科技有限公司 | 候选框过滤方法、装置以及电子设备 |
CN110910415A (zh) * | 2019-11-28 | 2020-03-24 | 重庆中星微人工智能芯片技术有限公司 | 抛物检测方法、装置、服务器和计算机可读介质 |
CN111192294A (zh) * | 2019-12-30 | 2020-05-22 | 华中科技大学 | 一种基于目标检测的目标跟踪方法及系统 |
CN111192294B (zh) * | 2019-12-30 | 2022-04-22 | 华中科技大学 | 一种基于目标检测的目标跟踪方法及系统 |
CN111582062A (zh) * | 2020-04-21 | 2020-08-25 | 电子科技大学 | 一种基于YOLOv3的目标跟踪中的重检测方法 |
CN112150509A (zh) * | 2020-09-29 | 2020-12-29 | 中国人民解放军63875部队 | 基于多层深度特征的分块跟踪算法 |
CN112150509B (zh) * | 2020-09-29 | 2024-05-03 | 中国人民解放军63875部队 | 基于多层深度特征的分块跟踪方法 |
CN112734809A (zh) * | 2021-01-21 | 2021-04-30 | 高新兴科技集团股份有限公司 | 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置 |
CN112734809B (zh) * | 2021-01-21 | 2024-07-05 | 高新兴科技集团股份有限公司 | 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置 |
CN113344973A (zh) * | 2021-06-09 | 2021-09-03 | 南京信息工程大学 | 一种基于时空正则化和特征可靠性评估的目标跟踪方法 |
CN113344973B (zh) * | 2021-06-09 | 2023-11-24 | 南京信息工程大学 | 一种基于时空正则化和特征可靠性评估的目标跟踪方法 |
CN113808171A (zh) * | 2021-09-27 | 2021-12-17 | 山东工商学院 | 基于特征权重池的动态特征选择的无人机视觉跟踪方法 |
CN113808171B (zh) * | 2021-09-27 | 2024-07-09 | 山东工商学院 | 基于特征权重池的动态特征选择的无人机视觉跟踪方法 |
CN115018885A (zh) * | 2022-08-05 | 2022-09-06 | 四川迪晟新达类脑智能技术有限公司 | 一种适用于边缘设备的多尺度目标跟踪算法 |
Also Published As
Publication number | Publication date |
---|---|
CN110175649B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110175649B (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
CN108154118B (zh) | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 | |
CN110135500B (zh) | 一种基于自适应深度特征滤波器的多场景下目标跟踪方法 | |
CN109285179B (zh) | 一种基于多特征融合的运动目标跟踪方法 | |
CN105657402B (zh) | 一种深度图恢复方法 | |
CN110120064B (zh) | 一种基于互强化与多注意机制学习的深度相关目标跟踪算法 | |
CN107154024A (zh) | 基于深度特征核相关滤波器的尺度自适应目标跟踪方法 | |
CN111260689A (zh) | 一种有效的置信度增强相关滤波视觉跟踪算法 | |
CN110097575B (zh) | 一种基于局部特征及尺度池的目标跟踪方法 | |
CN111260738A (zh) | 基于相关滤波和自适应特征融合的多尺度目标跟踪方法 | |
CN113327272B (zh) | 一种基于相关滤波的鲁棒性长时跟踪方法 | |
CN110276784B (zh) | 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法 | |
CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
CN114972735A (zh) | 基于roi预测和多模块学习的抗遮挡移动目标跟踪装置及方法 | |
CN110660080A (zh) | 一种基于学习率调整融合多层卷积特征的多尺度目标跟踪方法 | |
CN110147768B (zh) | 一种目标跟踪方法及装置 | |
CN112598708B (zh) | 一种基于四特征融合和权重系数的高光谱目标跟踪方法 | |
CN111091583A (zh) | 长期目标跟踪方法 | |
CN110827327B (zh) | 一种基于融合的长期目标跟踪方法 | |
CN111539985A (zh) | 一种融合多特征的自适应运动目标跟踪方法 | |
CN110751670B (zh) | 一种基于融合的目标跟踪方法 | |
CN110751671B (zh) | 一种基于核相关滤波与运动估计的目标跟踪方法 | |
CN110827319B (zh) | 一种基于局部敏感直方图改进的Staple目标跟踪方法 | |
CN110660077A (zh) | 一种融合多个特征的多尺度目标跟踪方法 | |
CN113033356A (zh) | 一种尺度自适应的长期相关性目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |