CN115984325A - 一种靶向寻量时空正则化的目标跟踪方法 - Google Patents
一种靶向寻量时空正则化的目标跟踪方法 Download PDFInfo
- Publication number
- CN115984325A CN115984325A CN202211722017.9A CN202211722017A CN115984325A CN 115984325 A CN115984325 A CN 115984325A CN 202211722017 A CN202211722017 A CN 202211722017A CN 115984325 A CN115984325 A CN 115984325A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- tracking
- time
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000004044 response Effects 0.000 claims abstract description 12
- 238000009826 distribution Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000000694 effects Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 9
- 238000009827 uniform distribution Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 241000153282 Theope Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000004718 Panda Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出一种靶向寻量时空正则化的目标跟踪方法；首先利用靶向寻量得到目标权重响应模型，提取目标运动信息，预测目标运动状态和运动轨迹，增强滤波器对目标的识别能力以及对目标和其他干扰信息的分辨能力；构建时空正则化目标函数，采用交叉方向乘子法化简目标函数求得解滤波器和辅助因子的最优解，降低算法复杂度，实现时间适应性和空间适应性，减小过拟合的产生；借助加权最小二乘法思想，获得权重最大响应值，确定目标位置；本发明的靶向寻量时空正则化的目标跟踪方法通过实时预测目标运动位置，能够有效提高算法的定位精确率和跟踪成功率，且通过降低算法复杂度保证了对目标的实时跟踪。
Description
技术领域
本发明属于图像处理领域，尤其涉及一种靶向寻量时空正则化的目标跟踪方法。
背景技术
目标跟踪是计算机视觉研究领域中的重要问题，在自动驾驶、智慧医疗、安防监控、航空航天及数字化军事科技等领域广泛应用。在实际应用中，由于运动的物体会产生形变、速度变化等不利于跟踪的条件，导致跟踪精度变小或者目标丢失，所以复杂条件下的目标跟踪仍是计算机视觉研究领域的主要问题之一。
自2010年以来，相关滤波算法(correlation filter,CF)对于跟踪运动目标来说，跟踪精度和跟踪速度均有提高。Bolme等首次在数字图像处理中引入相关滤波思想，提出MOSSE(minimum output sum of squared error filter)算法，利用目标的多个样本作为训练样本，生成更优的滤波器。Henriques等在MOSSE算法基础上扩展了岭回归、基于循环位移的近似密集采样方法以及核方法，提出了CSK(exploiting the circulant structureof tracking-by-detection with kernels)算法，减小计算量，提升跟踪效果。Henriques等在CSK的基础上扩展了多通道特征，利用岭回归训练目标检测器并通过核函数映射到非线性空间，提出KCF(kernelized correlation filters)算法，大大降低了运算量，提高算法运算速度。Danelljan等在CSK的基础上扩展了多通道颜色特征，提出CN(color name)，可以与HOG特征互补，得到更好的跟踪效果，并于同年在MOSSE中引入多特征融合机制，利用HOG和CN特征进行特征训练，通过对尺度的改进，提出了DSST(Discriminative ScaleSpace Tracker)算法，性能优良，可移植性高。Bertinetto等结合梯度特征、HOG及颜色特征，提出Staple算法，该算法对颜色特征比较敏感，跟踪性能提高，但是出现了边界效应问题。Danelljan等为了解决边界效应，扩大搜索区域，令边界附近滤波模版系数趋近于0，加大滤波器在目标区域的系数，提出SRDCF(Spatially Regularized Correlation Filters)算法，该算法中采用高斯塞德尔迭代优化，但是由于大规模训练集形式，导致运行速度较慢。Galoogahi等提出的BACF(Background-aware Correlation Filters)算法，同样是扩大搜索区域，同时该算法通过增加样本数量，提升了对样本识别的速度和质量。Li等在SRDCF算法的基础上加入时间正则化，并用交叉方向乘子法(Alternating Direction Method ofMultipliers，ADMM)迭代求解，降低计算复杂度，命名为STRCF(Spatial-TemporalRegularized Correlation Filters)，但该方法在目标跟踪中的一些特殊场景仍有改进空间。Li等提出自动时空正则化算法(AutomaticSpatio-temporalRegularizationTracking，AutoTrack)，通过全局响应变量的设定，实现对时间空间正则项的自动控制，但是由于算法复杂度较高，导致运算速度较慢。
目前，一些相关滤波算法为了提高跟踪精度，增加了算法的复杂性，导致算法运行速度较慢，STRCF可以实现5倍速的实时视觉跟踪。在训练样本环节，STRCF可以实现与SRDCF的合理近似，并通过减少对图像数量的记录，有效避免滤波器退化，具有较强的鲁棒性；利用交叉方向乘子法可以有效求解STRCF加入的时间正则化项。但是该算法在光照变化、运动模糊、目标旋转等方面仍有改进的空间。
发明内容
针对现有技术的不足，本发明提出一种靶向寻量时空正则化的目标跟踪方法。
一种靶向寻量时空正则化的目标跟踪方法，具体包括以下步骤：
步骤1：获取目标视频序列，并裁剪第一帧目标区域，确定目标初始位置和目标几何中心，以目标几何中心为坐标原点设置符合高斯均匀分布的靶点；定义靶向寻量对目标外观进行特征提取，为靶向寻量寻获的靶点赋予权值，依次获得视频序列中目标每一帧靶点所在坐标的RGB值和权重分布；提出一个与靶向寻量结合的跟踪框架Csp(k)，验证其目标跟踪的效果；
步骤1.1：获取目标视频序列，裁剪第一帧目标区域，并以目标几何中心为原点建立直角坐标系，设置γ个靶点，这些靶点围绕原点进行高斯均匀分布，其中γ∈[1，10000]，具体为：
其中R是环数，u∈[1,R]，S是每环的采样点数，μ∈[0,S]，设靶点分布中任意一个点A的坐标为(M，N)，取(M±1,N±1)四个点的RGB值的平均值作为点A的RGB值；依次获得视频序列中每一帧目标区域的靶点以及RGB值；
步骤1.2：依次赋予步骤1.1获取的每一帧靶点的权重，权重分布符合正态分布函数，为：
其中k为当前帧数，n为靶点数量，
为当前帧靶点权重；即时寻获后续帧靶点运动更新变量
在寻获过程中，若第k+1帧某一靶点的RGB值在第k帧中未检索到，则重新根据高斯均匀分布画出靶点及分配权重，使分配过程具有向心性，把这一寻获靶点权重过程称为靶向寻量；
步骤1.3：在目标的运动过程中，为提高预测目标运动轨迹的精确度，靶点预测跟踪过程遵循连续性原则；利用靶向寻量得到目标初始状态P(X0)，目标运动状态包含在后验概率密度分布P(X0:k|Y1:k)，其中X为运动信息，Y为观测信息；观测信息Y1:k，表示从第1帧到第k帧的观测值；通过最大后验概率估计，对目标状态进行预估，即选择P(X0:k|Y1:k)最大值所对应的运动信息X0:k：
MAP(X0:k)＝argmax[P(X0:k|Y1:k)] (3)
其中，MAP(X0:k)为X0:k的估计值，P(X0:k|Y1:k)为观察第1帧到第k帧的观测值后的状态候选后验概率，即目标当前状态先验概率密度，表现为目标跟踪贝叶斯估计的递归关系表达式：
P(X0:k|Y1:k-1)＝∫P(Xk|Xk-1)P(Xk-1|Y1:k-1)dXk-1 (4)
利用贝叶斯公式计算目标全部时间序列状态的后验概率密度，得：
其中，P(X0:k|Y1:k)为k时刻的后验概率密度分布，由k-1时刻的后验概率密度分布P(X0:k-1|Y1:k-1)确定；给定第k-1时刻的状态矢量信息Xk-1，所以当前第k时刻存在：
P(Xk|Xk-1,Y1:k-1)＝P(Xk|Xk-1) (6)
其中，P(Xk|Xk-1)为目标的观测方程，与当前跟踪的视频序列有关，即：
P(Xk|Xk-1)＝Csp(k),k＝1,2,3...Nxc (7)
其中Csp(k)为跟踪框架，与步骤2中最终构建的跟踪算法框架对应，Nxc为视频序列的帧数数量；归一化常数P(Yk|Y1:k-1)＝∫P(Yk|Xk)P(Xk|Y1:k-1)dXk，将式4代入式5得到：
根据大数定律可知，若对变量X做随机实验n次，设实验结果为X＝{x1,x2,x3...xn}，则存在：
其中：E(X)为变量X的期望
当n→∞时，存在
设-∞＜x1＜a1＜x2＜a2＜......＜an-1＜xn＜+∞，则变量X的后验概率密度表示为：
其中，δ为狄拉克函数，由式9可知，对于任何关于X的期望E(X)，存在：
E(X)＝∫XP(X0:k|Y1:k)dX0:k (11)
期望E(X)可由
求出，并且由于应用大数定律，能够确保上述过程收敛，预测目标运动轨迹；
步骤2：基于步骤1提出的靶向寻量定义与改进的STRCF，并利用步骤1验证的对于把靶向寻量和跟踪框架结合的效果，构建一个跟踪算法框架，并利用跟踪算法框架得到目标跟踪结果；
步骤2.1：首先定义一个改进的STRCF跟踪算法框架
具体为：
式中，⊙表示Hadamard乘积，*为卷积运算；
为空间正则项，wt空间权值函数，ft s为第t帧训练的第s个特征的滤波器矩阵，第一项为相关滤波损失函数，
为时间正则项，δ为时间正则化系数；λ1、λ2为约束空间异常系数，W为空间权重正则项，由于在靶向寻量阶段，加入了对目标所在区域进行颜色特征提取即RGB值，靶点过多会导致空间过拟合的产生，在
中加入空间权重正则项
其中：
式中，wt为空间正则化权重，wt-1为空间正则化参考权重，当空间出现异常时，wt和wt-1相似性减小，即|wt-wt-1|增大，则约束空间异常系数较大，反之较小；
为了计算方便，且式(12)为凸函数，利用交叉方向乘子法求解式(12)，引入辅助变量
并将目标函数转换到频域，可得：
其中，F∈CT×T表示标准正交矩阵，构造增广拉格朗日表达式为：
其中，μ为惩罚因子
φ为拉格朗日乘子的傅里叶变换对式(15)进行交叉方向乘子变换，可迭代求解为三个子问题：
子问题1:求解
子问题2:求解
子问题3:求解
经过上述过程，目标函数中
求解完毕；
步骤2.2：将
的跟踪结果作为候选样本，通过靶向寻量对目标运动轨迹的预测，从靶向寻量和STRCF目标函数中选择最优结果，计算出的结果作为最终跟踪算法框架，改进目标的后验概率估计，描述从k到k+1状态转移的改进系统表示为：
X0:K+1＝ΩX0:k+ΓU0:k (19)
其中：Ω是n*n维的目标状态转移矩阵，Γ是n*n维离散时间输入耦合矩阵，均为时间不变矩阵；X0:k是n*1维的目标运动状态，U0:k是n*1维确定性输入向量；利用目标位置(lx,ly)作为离散时间的输入矩阵，利用目标的速度v构造状态转移矩阵Ω，n*n的单位矩阵描述离散时间输入的耦合矩阵Γ，具体为：
通过运行时间t的测量值来定义观测变量Z，跟踪结果xt经过时间t更新目标，观测变量Z与xt的线性关系为：
Z＝xt+v (21)
其中v是一个常数参数，表示噪声，v＝[1 0]T；基于式(12)，相关滤波器为某ft s特征层在采样时间t的M×N卷积滤波器；定义滤波器ft对样本xt的卷积响应为:
所以，响应后函数ft s的离散傅立叶变换
为：
其中μ是一个连续变量；因为STRCF是滑动窗口的方式对帧的所有循环移位进行分类评分，使用离散傅立叶的卷积特性来获得第t帧中所有像素的分类分数RSft(xt)为：
其中
表示离散傅立叶逆变换；时间复杂度为O(S M Nlog(MN))；因为∫1 S|ft s|dt＜∞，且在区间内ft s极大极小值点和间断点数目有限，所以F(u)和
收敛；上述与步骤1.3对应，为靶向寻量与
结合过程
得到最终跟踪算法框架的过程；
步骤2.3：利用步骤2.2构建的跟踪算法框架，进行目标跟踪；使用(lx,ly)离散变量作为输入，所以更新后的分类分数
在时刻t的离散傅立叶变换为：
式(25)中
即为取样特性在二维冲激所在的位置产生的函数的值；对于离散变量lx和ly，二维离散冲激定义为：
然后利用傅立叶逆变换得到离散变量lx和ly的样本集的检测得分：
最后计算视频序列当前帧靶点的检测得分的最大值：
其中(lx,ly)遍历样本中所有的像素位置，(lx,ly)∈[0,M)×[0,N)；同样，因为
且在区间内
极大极小值点和间断点数目有限，所以F(lx,ly)收敛；将STRCF算法应用于跟踪结果
并将STRCF算法集成到离散时间靶向寻量中；
根据靶向寻量过程中得到B个带权的靶点集合
其中
选取先验概率为重要性概率密度函数，并令
根据目标方程(12)则有：
q(X0:k|Z1:k)＝q(X0:k-1|Z1:k-1)q(Xk|X0:k-1,Z1:k) (29)
重复上述操作，迭代数次后，一些靶点的权重会变小，不能起到识别样本的作用，根据有效靶点数来判断靶点权值退化程度：
其中：
如果
则删除该靶点，然后重新根据高斯均匀分布画出新的靶点，同时为靶点分配权重；
步骤3:跟踪的目标自由改变速度和方向；为了解决这一问题有效预测目标轨迹，本文提出一种纠正预测目标运动轨迹的预测方法，利用加权最小二乘法思想，解决当突然加速和转向发生变化步骤2提出的跟踪算法框架无法进行正确的调整，导致跟踪目标丢失的问题；
将每一帧输入的离散靶点坐标(lx,ly)和权重
拟合成如下数学模型：
Yw＝Fw(X,β)+ηw (33)
其中，
且η1,η2...ηi,ηi+1...互不相关；Yi＝Fi(X,β)+ηi是包含第i帧靶点坐标的非线性模型；其中输出k时刻的状态估计值：
对于非线性模型，以最小均方误差为标准，证明了最优加权的存在性，得到目标运动中心。
针对单目标跟踪漂移问题，提出了一种靶向寻量时空正则化的目标跟踪方法，具有以下技术效果：
(1)本发明利用靶向寻量对目标运动轨迹和状态进行预测，即时更新靶点和靶点权重，通过考虑候选样本的权重大小，选择跟踪目标，降低了跟踪器噪声的干扰风险，解决STRCF运行中因为目标运动产生的半遮挡和全遮挡问题，提高鲁棒性和跟踪性能；
(2)对目标函数进行ADMM迭代，求出两个方便计算最优解的子问题，获得实时性，降低计算复杂度；
(3)通过目标搜索权值得到目标权值分布，提取目标运动信息，预测目标运动状态和运动方向，利用加权最小二乘法思想，求出响应的最大值，使滤波器实时获得运动目标方向。
附图说明
图1本发明实施例靶点相关概念图，其中图a为靶点分布示意，图b为靶点数值示意图；
图2本发明实施例第1帧靶点分布示意图；
图3本发明实施例第1帧靶点权重分布图；
图4本发明实施例靶向寻量时空正则化目标跟踪算法流程图；
图5本发明实施例不同时刻靶点权重响应变化过程示意图；
图6本发明实施例9种算法在数据集OTB2015上的精确率和成功率；其中，图a为OPE精确率，图b为TRE精确率，图c为SRE精确率，图d为OPE成功率，图e为TRE成功率，图f为SRE成功率；
图7本发明实施例9种算法在UAV20L上的成功率；
图8本发明实施例中心位置误差可视结果；图a为Matrix，图b为Shaking，图c为Lemming，图d为Panda；
具体实施方式
下面结合附图和实施例对本发明做进一步说明；
一种靶向寻量时空正则化的目标跟踪方法，如附图4所示，具体包括以下步骤：
步骤1：获取目标视频序列，并裁剪第一帧目标区域，确定目标初始位置和目标几何中心，以目标几何中心为坐标原点设置符合高斯均匀分布的靶点；定义靶向寻量对目标外观进行特征提取，为靶向寻量寻获的靶点赋予权值，依次获得视频序列中目标每一帧靶点所在坐标的RGB值和权重分布；提出一个与靶向寻量结合的跟踪框架Csp(k)，验证其目标跟踪的效果；
步骤1.1：获取目标视频序列，裁剪第一帧目标区域，并以目标几何中心为原点建立直角坐标系，设置γ个靶点，这些靶点围绕原点进行高斯均匀分布，其中γ∈[1，10000]，具体为：
其中R是环数，u∈[1,R]，S是每环的采样点数，μ∈[0,S]，图1(a)所示为一个R＝4,S＝5的靶点分布示意图。设靶点分布中任意一个点A的坐标为(M，N)，取(M±1,N±1)四个点的RGB值的平均值作为点A的RGB值；如图1(b)所示。依次获得视频序列中每一帧目标区域的靶点以及RGB值；
本文方法在运行时令R＝11,S＝16，以目标中心为原点，按高斯分布画出。随后，得出(M±1,N±1)四个点所在位置的RGB值，进而得出靶点的RGB值。靶点分布运行结果如图2所示；
步骤1.2：依次赋予步骤1.1获取的每一帧靶点的权重，权重分布符合正态分布函数，为：
其中k为当前帧数，n为靶点数量，
为当前帧靶点权重；即时寻获后续帧靶点运动更新变量
在寻获过程中，若第k+1帧某一靶点的RGB值在第k帧中未检索到，则重新根据高斯均匀分布画出靶点及分配权重，使分配过程具有向心性，把这一寻获靶点权重过程称为靶向寻量；
图3为理想状态下第1帧靶点权重分布图，即越靠近目标质心的靶点权重越大。
步骤1.3：在目标的运动过程中，为提高预测目标运动轨迹的精确度，靶点预测跟踪过程遵循连续性原则；利用靶向寻量得到目标初始状态P(X0)，目标运动状态包含在后验概率密度分布P(X0:k|Y1:k)，其中X为运动信息，Y为观测信息；观测信息Y1:k，表示从第1帧到第k帧的观测值；通过最大后验概率估计(Maxaposterior，MAP)，对目标状态进行预估，即选择P(X0:k|Y1:k)最大值所对应的运动信息X0:k：
MAP(X0:k)＝argmax[P(X0:k|Y1:k)] (3)
其中，MAP(X0:k)为X0:k的估计值，P(X0:k|Y1:k)为观察第1帧到第k帧的观测值后的状态候选后验概率，即目标当前状态先验概率密度，表现为目标跟踪贝叶斯估计的递归关系表达式：
P(X0:k|Y1:k-1)＝∫P(Xk|Xk-1)P(Xk-1|Y1:k-1)dXk-1 (4)
利用贝叶斯公式计算目标全部时间序列状态的后验概率密度，得：
其中，P(X0:k|Y1:k)为k时刻的后验概率密度分布，由k-1时刻的后验概率密度分布P(X0:k-1|Y1:k-1)确定；给定第k-1时刻的状态矢量信息Xk-1，所以当前第k时刻存在：
P(Xk|Xk-1,Y1:k-1)＝P(Xk|Xk-1) (6)
其中，P(Xk|Xk-1)为目标的观测方程，与当前跟踪的视频序列有关，即：
P(Xk|Xk-1)＝Csp(k),k＝1,2,3...Nxc (7)
其中Csp(k)为跟踪框架，与步骤2中最终构建的跟踪算法框架对应，Nxc为视频序列的帧数数量；归一化常数P(Yk|Y1:k-1)＝∫P(Yk|Xk)P(Xk|Y1:k-1)dXk，将式4代入式5得到：
根据大数定律可知，若对变量X做随机实验n次，设实验结果为X＝{x1,x2,x3...xn}，则存在：
其中：E(X)为变量X的期望
当n→∞时，存在
设-∞＜x1＜a1＜x2＜a2＜......＜an-1＜xn＜+∞，则变量X的后验概率密度表示为：
其中，δ为狄拉克函数，由式9可知，对于任何关于X的期望E(X)，存在：
E(X)＝∫XP(X0:k|Y1:k)dX0:k (11)
期望E(X)可由
求出，并且由于应用大数定律，能够确保上述过程收敛，预测目标运动轨迹；不同时刻靶点权重响应变化过程示意图如附图5所示；
步骤2：基于步骤1提出的靶向寻量定义与改进的STRCF，并利用步骤1验证的对于把靶向寻量和跟踪框架结合的效果，构建一个跟踪算法框架，并利用跟踪算法框架得到目标跟踪结果；
步骤2.1：首先定义一个改进的STRCF跟踪算法框架
具体为：
式中，⊙表示Hadamard乘积，*为卷积运算；
为空间正则项，wt空间权值函数，ft s为第t帧训练的第s个特征的滤波器矩阵，第一项为相关滤波损失函数，
为时间正则项，δ为时间正则化系数；λ1、λ2为约束空间异常系数，W为空间权重正则项，由于在靶向寻量阶段，加入了对目标所在区域进行颜色特征提取即RGB值，靶点过多会导致空间过拟合的产生，在
中加入空间权重正则项
其中：
式中，wt为空间正则化权重，wt-1为空间正则化参考权重，当空间出现异常时，wt和wt-1相似性减小，即|wt-wt-1|增大，则约束空间异常系数较大，反之较小；
为了计算方便，且式(12)为凸函数，利用交叉方向乘子法求解式(12)，引入辅助变量
并将目标函数转换到频域，可得：
其中，F∈CT×T表示标准正交矩阵，构造增广拉格朗日表达式为：
其中，μ为惩罚因子
φ为拉格朗日乘子的傅里叶变换对式(15)进行交叉方向乘子变换，可迭代求解为三个子问题：
子问题1:求解
子问题2:求解
子问题3:求解
以上，目标函数中
求解完毕；
步骤2.2：将
的跟踪结果作为候选样本，通过靶向寻量对目标运动轨迹的预测，从靶向寻量和STRCF目标函数中选择最优结果，计算出的结果作为最终跟踪算法框架，改进目标的后验概率估计，描述从k到k+1状态转移的改进系统表示为：
X0:K+1＝ΩX0:k+ΓU0:k (19)
其中：Ω是n*n维的目标状态转移矩阵，Γ是n*n维离散时间输入耦合矩阵，均为时间不变矩阵；X0:k是n*1维的目标运动状态，U0:k是n*1维确定性输入向量；利用目标位置(lx,ly)作为离散时间的输入矩阵，利用目标的速度v构造状态转移矩阵Ω，n*n的单位矩阵描述离散时间输入的耦合矩阵Γ，具体为：
通过运行时间t的测量值来定义观测变量Z，跟踪结果xt经过时间t更新目标，观测变量Z与xt的线性关系为：
Z＝xt+v (21)
其中v是一个常数参数，表示噪声，v＝[1 0]T；基于式(12)，相关滤波器为某ft s特征层在采样时间t的M×N卷积滤波器；定义滤波器ft对样本xt的卷积响应为:
所以，响应后函数ft s的离散傅立叶变换
为：
其中μ是一个连续变量；因为STRCF是滑动窗口的方式对帧的所有循环移位进行分类评分，使用离散傅立叶的卷积特性来获得第t帧中所有像素的分类分数
为：
其中
表示离散傅立叶逆变换；时间复杂度为O(S M Nlog(MN))；因为∫1 S|ft s|dt＜∞，且在区间内ft s极大极小值点和间断点数目有限，所以F(u)和
收敛；上述与步骤1.3对应，为靶向寻量与
结合过程
得到最终跟踪算法框架的过程；
步骤2.3：利用步骤2.2构建的跟踪算法框架，进行目标跟踪；使用(lx,ly)离散变量作为输入，所以更新后的分类分数
在时刻t的离散傅立叶变换为：
式(25)中
即为取样特性在二维冲激所在的位置产生的函数的值；对于离散变量lx和ly，二维离散冲激定义为：
然后利用傅立叶逆变换得到离散变量lx和ly的样本集的检测得分：
最后计算视频序列当前帧靶点的检测得分的最大值：
其中(lx,ly)遍历样本中所有的像素位置，(lx,ly)∈[0,M)×[0,N)；同样，因为
且在区间内RSft(xt)极大极小值点和间断点数目有限，所以F(lx,ly)收敛；将STRCF算法应用于跟踪结果
并将STRCF算法集成到离散时间靶向寻量中；
根据靶向寻量过程中得到B个带权的靶点集合
其中
选取先验概率为重要性概率密度函数，并令
根据目标方程(12)则有：
q(X0:k|Z1:k)＝q(X0:k-1|Z1:k-1)q(Xk|X0:k-1,Z1:k) (29)
重复上述操作，迭代数次后，一些靶点的权重会变小，不能起到识别样本的作用，根据有效靶点数来判断靶点权值退化程度：
其中：
如果
则删除该靶点，然后重新根据高斯均匀分布画出新的靶点，同时为靶点分配权重；
步骤3:跟踪的目标自由改变速度和方向；为了解决这一问题有效预测目标轨迹，本文提出一种纠正预测目标运动轨迹的预测方法，利用加权最小二乘法思想，解决当突然加速和转向发生变化步骤2提出的跟踪算法框架无法进行正确的调整，导致跟踪目标丢失的问题；
将每一帧输入的离散靶点坐标(lx,ly)和权重
拟合成如下数学模型：
Yw＝Fw(X,β)+ηw (33)
其中，
且η1,η2...ηi,ηi+1...互不相关；Yi＝Fi(X,β)+ηi是包含第i帧靶点坐标的非线性模型；其中输出k时刻的状态估计值：
对于非线性模型，以最小均方误差为标准，证明了最优加权的存在性，得到目标运动中心。
对上述本发明提出方法进行的实验验证及结果；
实验环境及参数配置；
实验使用编程软件GNU Octave，操作系统为macOS Big Sur 11.4，处理器为2.9GHz双核Intel Core i5，8G内存。
实验中设时间正则系数δ＝16，空间正则系数目标区域中wt＝1，其他部分wt＝0，步长ρ＝10。尺度将ADMM最大迭代次数设为2。靶点数量设为200。
实验结果分析；
实验选取包括本发明在内的9种算法，在数据集OTB2015和UAV20L上进行对比，分别为相关滤波算法KCF、DSST、BACF、ECO(Efficient Convolution Operators)、SRDCF、STRCF，和加入深度特征的相关滤波算法ACSDCF、EMCF。OTB2015除了包含组100组视频序列，不同的视频序列具有11种不同属性；UAV20L为无人机长期跟踪所准备的一个数据集，其包含20个长序列，并且在这20个序列中会多次出现目标出视野，经过一定时间后返回的情况，采用一次性评估(One-Pass Evaluation，OPE)、时间鲁棒性评估(Temporal RobustnessEvaluation、TRE)和空间鲁棒性评估(Spatial Robustness Evaluation、SRE)作为评价标准。
对比算法实时性分析；
本文在数据集OTB2015中随机选取20组视频序列进行平均跟踪速度比较，上述9种跟踪算法平均速度，如表1所示。计算方法为数据集中的总帧数除以算法运行的总时间。由表1可知，本发明运行速度为20.7帧/秒，在既保证跟踪精度和成功率的同时，又能保证运行速度，显示本发明跟踪性能良好。
表1 9种算法在部分视频序列上的平均跟踪速度对比(t/s)
对比算法定量分析；
OPE可以评估初始化对框架的影响，第一帧使用ground-truth中的状态，并报告跟踪算法在所有视频序列中的的成功率和准确率；TRE将序列划分为20个片段，每次是从不同的时间初始化，然后去跟踪目标，可以验证时间鲁棒性；SRE从12个方向对第一帧的目标位置设置10％的偏移量，然后跟踪目标，验证空间鲁棒性。9种算法在数据集OTB2015运行时，本发明精确率和准确率均排名位于第一优于其他相关滤波目标跟踪算法。如图6(a)(b)(c)所示，本发明OPE、TRE、SRE的精确率分别为0.8661、0.8362、0.8163，均高于STRCF的0.8225、0.8075、0.7888；如图6(d)(e)(f)所示，本发明OPE、TRE、SRE成功率分别为0.8184、0.7934、0.7733，均高于STRCF的0.7694、0.7663、0.7519。
为了更好的比较9种算在OTB2015中11属性的OPE的精确率和成功率，如表2和表3所示。由表2可知，本发明在11种属性中，精确率有6种属性处于最优位置，5种属性处于次优位置，结合图6(c)可知本发明在OTB2015数据集上，OPE精确率上较STRCF算法提高4.36％，且由于其他对比算法。由表3可知本发明在11种属性中，成功率有8种属性处于最优位置，结合图6(d)可知本发明在成功率得分较STRCF算法提高4.9％，且均优于其他对比算法。
表2 9种跟踪算法在OTB2015上11种属性的精确率得分
表3 9种跟踪算法在OTB2015上11种属性的成功率得分
由于OTB2015中视频序列集中超过1,500帧的视频序列较少，为了进一步体现本发明的跟踪精确率，引入最新的数据集UAV20L进行OPE对比实验，实验结果如图7所示。4.2.2对比算法实验结果定性分析
中心位置误差(Center Location Error，CLE)是指目标真实中心和算法结果中心的欧式距离，结果越小证明欧式距离越小，跟踪定位精度越高，如图8所示。
实验结果表明，在数据集OTB2015和数据集UAV20L中，本发明较STRCF及其他主流算法，可以在目标快速运动、光照变化、遮挡、低分辨率等情况下，保持了STRCF优异的实时跟踪性能，且提高了跟踪精度和跟踪成功率。
Claims (4)
1.一种靶向寻量时空正则化的目标跟踪方法，其特征在于，具体包括以下步骤；
步骤1：获取目标视频序列，并裁剪第一帧目标区域，确定目标初始位置和目标几何中心，以目标几何中心为坐标原点设置符合高斯均匀分布的靶点；定义靶向寻量对目标外观进行特征提取，为靶向寻量寻获的靶点赋予权值，依次获得视频序列中目标每一帧靶点所在坐标的RGB值和权重分布；提出一个与靶向寻量结合的跟踪框架Csp(k)，验证其目标跟踪的效果；
步骤2：基于步骤1提出的靶向寻量定义与改进的STRCF，并利用步骤1验证的对于把靶向寻量和跟踪框架结合的效果，构建一个跟踪算法框架，并利用跟踪算法框架得到目标跟踪结果；
步骤3:跟踪的目标自由改变速度和方向；为了解决这一问题有效预测目标轨迹，本文提出一种纠正预测目标运动轨迹的预测方法，利用加权最小二乘法思想，解决当突然加速和转向发生变化步骤2提出的跟踪算法框架无法进行正确的调整，导致跟踪目标丢失的问题。
2.根据权利要求1所述的一种靶向寻量时空正则化的目标跟踪方法，其特征在于，步骤1具体为：
步骤1.1：获取目标视频序列，裁剪第一帧目标区域，并以目标几何中心为原点建立直角坐标系，设置γ个靶点，这些靶点围绕原点进行高斯均匀分布，其中γ∈[1，10000]，具体为：
其中R是环数，u∈[1,R]，S是每环的采样点数，μ∈[0,S]，设靶点分布中任意一个点A的坐标为(M，N)，取(M±1,N±1)四个点的RGB值的平均值作为点A的RGB值；依次获得视频序列中每一帧目标区域的靶点以及RGB值；
步骤1.2：依次赋予步骤1.1获取的每一帧靶点的权重，权重分布符合正态分布函数，为：
其中k为当前帧数，n为靶点数量，
为当前帧靶点权重；即时寻获后续帧靶点运动更新变量
在寻获过程中，若第k+1帧某一靶点的RGB值在第k帧中未检索到，则重新根据高斯均匀分布画出靶点及分配权重，使分配过程具有向心性，把这一寻获靶点权重过程称为靶向寻量；
步骤1.3：在目标的运动过程中，为提高预测目标运动轨迹的精确度，靶点预测跟踪过程遵循连续性原则；利用靶向寻量得到目标初始状态P(X0)，目标运动状态包含在后验概率密度分布P(X0:k|Y1:k)，其中X为运动信息，Y为观测信息；观测信息Y1:k，表示从第1帧到第k帧的观测值；通过最大后验概率估计，对目标状态进行预估，即选择P(X0:k|Y1:k)最大值所对应的运动信息X0:k：
MAP(X0:k)＝argmax[P(X0:k|Y1:k)] (3)
其中，MAP(X0:k)为X0:k的估计值，P(X0:k|Y1:k)为观察第1帧到第k帧的观测值后的状态候选后验概率，即目标当前状态先验概率密度，表现为目标跟踪贝叶斯估计的递归关系表达式：
P(X0:k|Y1:k-1)＝∫P(Xk|Xk-1)P(Xk-1|Y1:k-1)dXk-1 (4)
利用贝叶斯公式计算目标全部时间序列状态的后验概率密度，得：
其中，P(X0:k|Y1:k)为k时刻的后验概率密度分布，由k-1时刻的后验概率密度分布P(X0:k-1|Y1:k-1)确定；给定第k-1时刻的状态矢量信息Xk-1，所以当前第k时刻存在：
P(Xk|Xk-1,Y1:k-1)＝P(Xk|Xk-1) (6)
其中，P(Xk|Xk-1)为目标的观测方程，与当前跟踪的视频序列有关，即：
P(Xk|Xk-1)＝Csp(k),k＝1,2,3...Nxc (7)
其中Csp(k)为跟踪框架，与步骤2中最终构建的跟踪算法框架对应，Nxc为视频序列的帧数数量；归一化常数P(Yk|Y1:k-1)＝∫P(Yk|Xk)P(Xk|Y1:k-1)dXk，将式4代入式5得到：
根据大数定律可知，若对变量X做随机实验n次，设实验结果为X＝{x1,x2,x3...xn}，则存在：
其中：E(X)为变量X的期望
当n→∞时，存在
设-∞＜x1＜a1＜x2＜a2＜......＜an-1＜xn＜+∞，则变量X的后验概率密度表示为：
其中，δ为狄拉克函数，由式9可知，对于任何关于X的期望E(X)，存在：
E(X)＝∫XP(X0:k|Y1:k)dX0:k (11)
期望E(X)可由
求出，并且由于应用大数定律，能够确保上述过程收敛，预测目标运动轨迹。
3.根据权利要求1所述的一种靶向寻量时空正则化的目标跟踪方法，其特征在于，步骤2具体为：
步骤2.1：首先定义一个改进的STRCF跟踪算法框架
具体为：
式中，⊙表示Hadamard乘积，*为卷积运算；
为空间正则项，wt空间权值函数，ft s为第t帧训练的第s个特征的滤波器矩阵，第一项为相关滤波损失函数，
为时间正则项，δ为时间正则化系数；λ1、λ2为约束空间异常系数，W为空间权重正则项，由于在靶向寻量阶段，加入了对目标所在区域进行颜色特征提取即RGB值，靶点过多会导致空间过拟合的产生，在
中加入空间权重正则项
其中：
式中，wt为空间正则化权重，wt-1为空间正则化参考权重，当空间出现异常时，wt和wt-1相似性减小，即|wt-wt-1|增大，则约束空间异常系数较大，反之较小；
为了计算方便，且式(12)为凸函数，利用交叉方向乘子法求解式(12)，引入辅助变量
并将目标函数转换到频域，可得：
其中，F∈CT×T表示标准正交矩阵，构造增广拉格朗日表达式为：
其中，μ为惩罚因子
φ为拉格朗日乘子的傅里叶变换对式(15)进行交叉方向乘子变换，可迭代求解为三个子问题：
子问题1:求解
子问题2:求解
子问题3:求解
经过上述过程，目标函数中
求解完毕；
步骤2.2：将
的跟踪结果作为候选样本，通过靶向寻量对目标运动轨迹的预测，从靶向寻量和STRCF目标函数中选择最优结果，计算出的结果作为最终跟踪算法框架，改进目标的后验概率估计，描述从k到k+1状态转移的改进系统表示为：
X0:K+1＝ΩX0:k+ΓU0:k (19)
其中：Ω是n*n维的目标状态转移矩阵，Γ是n*n维离散时间输入耦合矩阵，均为时间不变矩阵；X0:k是n*1维的目标运动状态，U0:k是n*1维确定性输入向量；利用目标位置(lx,ly)作为离散时间的输入矩阵，利用目标的速度v构造状态转移矩阵Ω，n*n的单位矩阵描述离散时间输入的耦合矩阵Γ，具体为：
通过运行时间t的测量值来定义观测变量Z，跟踪结果xt经过时间t更新目标，观测变量Z与xt的线性关系为：
Z＝xt+v (21)
其中v是一个常数参数，表示噪声，v＝[10]T；基于式(12)，相关滤波器为某ft s特征层在采样时间t的M×N卷积滤波器；定义滤波器ft对样本xt的卷积响应为:
所以，响应后函数ft s的离散傅立叶变换
为：
其中μ是一个连续变量；因为STRCF是滑动窗口的方式对帧的所有循环移位进行分类评分，使用离散傅立叶的卷积特性来获得第t帧中所有像素的分类分数
为：
其中
表示离散傅立叶逆变换；时间复杂度为O(S M Nlog(MN))；因为
且在区间内ft s极大极小值点和间断点数目有限，所以F(u)和
收敛；上述与步骤1.3对应，为靶向寻量与
结合过程
得到最终跟踪算法框架的过程；
步骤2.3：利用步骤2.2构建的跟踪算法框架，进行目标跟踪；使用(lx,ly)离散变量作为输入，所以更新后的分类分数
在时刻t的离散傅立叶变换为：
式(25)中
即为取样特性在二维冲激所在的位置产生的函数的值；对于离散变量lx和ly，二维离散冲激定义为：
然后利用傅立叶逆变换得到离散变量lx和ly的样本集的检测得分：
最后计算视频序列当前帧靶点的检测得分的最大值：
其中(lx,ly)遍历样本中所有的像素位置，(lx,ly)∈[0,M)×[0,N)；同样，因为
且在区间内
极大极小值点和间断点数目有限，所以F(lx,ly)收敛；将STRCF算法应用于跟踪结果
并将STRCF算法集成到离散时间靶向寻量中；
根据靶向寻量过程中得到B个带权的靶点集合
其中
选取先验概率为重要性概率密度函数，并令
根据目标方程(12)则有：
q(X0:k|Z1:k)＝q(X0:k-1|Z1:k-1)q(Xk|X0:k-1,Z1:k) (29)
重复上述操作，迭代数次后，一些靶点的权重会变小，不能起到识别样本的作用，根据有效靶点数来判断靶点权值退化程度：
其中：
如果
则删除该靶点，然后重新根据高斯均匀分布画出新的靶点，同时为靶点分配权重。
4.根据权利要求1所述的一种靶向寻量时空正则化的目标跟踪方法，其特征在于，步骤3具体为：
将每一帧输入的离散靶点坐标(lx,ly)和权重
拟合成如下数学模型：
Yw＝Fw(X,β)+ηw (33)
其中，
且η1,η2...ηi,ηi+1...互不相关；Yi＝Fi(X,β)+ηi是包含第i帧靶点坐标的非线性模型；其中输出k时刻的状态估计值：
对于非线性模型，以最小均方误差为标准，证明了最优加权的存在性，得到目标运动中心。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211722017.9A CN115984325A (zh) | 2022-12-30 | 2022-12-30 | 一种靶向寻量时空正则化的目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211722017.9A CN115984325A (zh) | 2022-12-30 | 2022-12-30 | 一种靶向寻量时空正则化的目标跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115984325A true CN115984325A (zh) | 2023-04-18 |
Family
ID=85973796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211722017.9A Pending CN115984325A (zh) | 2022-12-30 | 2022-12-30 | 一种靶向寻量时空正则化的目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984325A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117765026A (zh) * | 2023-12-21 | 2024-03-26 | 北京斯年智驾科技有限公司 | 一种目标跟踪方法、系统、装置及存储介质 |
-
2022
- 2022-12-30 CN CN202211722017.9A patent/CN115984325A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117765026A (zh) * | 2023-12-21 | 2024-03-26 | 北京斯年智驾科技有限公司 | 一种目标跟踪方法、系统、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Learning regression and verification networks for robust long-term tracking | |
| CN108470332B (zh) | 一种多目标跟踪方法及装置 | |
| CN107424171B (zh) | 一种基于分块的抗遮挡目标跟踪方法 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN104484890B (zh) | 基于复合稀疏模型的视频目标跟踪方法 | |
| CN112085765B (zh) | 结合粒子滤波及度量学习的视频目标跟踪方法 | |
| CN111582349B (zh) | 一种基于YOLOv3和核相关滤波改进的目标跟踪算法 | |
| CN112348849A (zh) | 一种孪生网络视频目标跟踪方法及装置 | |
| CN110992401A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| Zhang et al. | A background-aware correlation filter with adaptive saliency-aware regularization for visual tracking | |
| CN109166139B (zh) | 一种结合快速背景抑制的尺度自适应目标跟踪方法 | |
| CN109859241A (zh) | 自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法 | |
| CN112184767A (zh) | 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质 | |
| CN113538509B (zh) | 基于自适应相关滤波特征融合学习的视觉跟踪方法及装置 | |
| Fan et al. | MP-LN: motion state prediction and localization network for visual object tracking | |
| Zhang et al. | Spatio-temporal matching for siamese visual tracking | |
| CN112164093A (zh) | 一种基于边缘特征和相关滤波的人物自动跟踪方法 | |
| CN108257148B (zh) | 特定对象的目标建议窗口生成方法及其在目标跟踪的应用 | |
| CN115984325A (zh) | 一种靶向寻量时空正则化的目标跟踪方法 | |
| CN112991394B (zh) | 基于三次样条插值和马尔科夫链的kcf目标跟踪方法 | |
| Firouznia et al. | Adaptive chaotic sampling particle filter to handle occlusion and fast motion in visual object tracking | |
| Kothandaraman et al. | Differentiable frequency-based disentanglement for aerial video action recognition | |
| CN110751671A (zh) | 一种基于核相关滤波与运动估计的目标跟踪方法 | |
| Bai et al. | Deep deblurring correlation filter for object tracking | |
| Kothandaraman et al. | Diffar: Differentiable frequency-based disentanglement for aerial video action recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |