CN113128605A - 基于粒子滤波及深度距离度量学习的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于粒子滤波及深度距离度量学习的目标跟踪方法，涉及自动驾驶目标视觉跟踪领域。包括如下步骤：构建非线性深度度量学习模型；基于给定自动驾驶目标正负样本集合，训练所述非线性深度度量学习模型并基于梯度下降法优化其非线性深度学习模型参数；基于粒子滤波构建目标观测模型以获取自动驾驶目标状态最优估计；通过短时与长期稳定更新相结合的在线跟踪策略以更新目标模板从而实现自动驾驶目标有效跟踪。所提方法在部分遮挡、光照变化、等场景下表现较好；相较于对比算法，多数测试场景下，所提方法平均中心误差较低，平均重叠率较高，表明所提方法整体跟踪性能较优。

Description

基于粒子滤波及深度距离度量学习的目标跟踪方法

技术领域

本发明涉及自动驾驶目标视觉跟踪领域，具体涉及一种基于粒子滤波及深度距离度量学习的自动驾驶目标视觉跟踪方法。

背景技术

自动驾驶涉及信息感知、信息处理、执行决策等众多领域，其中信息感知作为驾驶环境信息收集的基础模块，涉及诸如激光雷达、毫米波雷达、超声波雷达、GPS、摄像头等众多信息收集传感器。作为可收集场景丰富信息且价格低廉的传感器，摄像头已被工业界视为自动驾驶标配场景信息感知设备。由此，基于摄像头的自动驾驶目标跟踪业已成为计算机视觉领域的研究热点之一。近年来，众多高效且鲁棒的自动驾驶视觉跟踪算法相继被提出，大大促进了目标视觉跟踪的实用化进程。然而，由于实际自动驾驶场景的复杂性，跟踪过程中存在诸如光照变化、尺寸变化、目标遮挡等大量干扰及不确定因素，从而导致跟踪性能显著下降。因此，如何提高复杂场景下自动驾驶目标视觉跟踪算法精度及鲁棒性仍是视觉跟踪领域的研究难点之一。

针对复杂场景下目标视觉跟踪性能下降问题，Nam H等提出一种深度学习跟踪方法，该方法首先离线训练网络然后对网络参数微调最终得到相对较好的网络模型，但由于存在耗时长、特征训练针对性不强等问题，Zhang K H等提出一种采用卷积网络的视觉跟踪算法(convolutional network tracker,CNT)，该方法先使用k-means算法构建特征图集，而后基于自适应的阈值收缩算法对训练结果图像降噪，最后基于稀疏表示构建目标模型，但由于该算法的卷积操作会降低特征提取图的分辨率。为解决上述问题，Lu X K等提出将样本映射为一种带标签的响应图的回归网络，然而由于目标与背景间可能出现维度不匹配问题，因此，该作者提出一种考虑收缩损失的损失函数并进行回归的方法。Hu J提出通过使用堆叠的独立子空间分析网络来学习非线性距离度量改善目标与背景区分度问题，基于判别深度度量学习(Discriminative deep metric learning,DDML)方法通过在所训练好的深度网络最顶层使用大的余量准则来明确获得非线性距离度量，但由于需要非常庞大的辅助数据集，而且辅助数据集可能与在线捕获的对象不一致，使得学习到的特征无法适应这些对象。

发明内容

针对复杂环境下传统目标跟踪方法性能下降问题，本发明提出一种基于粒子滤波及深度距离度量学习的目标跟踪方法，包括如下步骤：

构建非线性深度度量学习模型；

基于给定自动驾驶目标正负样本集合，训练所述非线性深度度量学习模型并基于梯度下降法优化其非线性深度学习模型参数；

基于粒子滤波构建目标观测模型以获取自动驾驶目标状态最优估计；

通过短时与长期稳定更新相结合的在线跟踪策略以更新目标模板从而实现自动驾驶目标有效跟踪。

本发明由于采用以上技术方案，能够取得如下的技术效果：本发明所提融合深度距离度量学习与粒子滤波的自动驾驶目标视觉跟踪方法在复杂环境下进行目标跟踪具有较高的目标跟踪精度和鲁棒性。所提方法基于深度网络构建非线性深度度量学习模型；而后基于梯度下降算法优化所得深度度量学习模型参数；然后基于所得最优候选目标预测值构建观测模型以获取自动驾驶目标状态最优估计；最后基于短时及长期稳定更新相结合更新策略更新目标模板从而实现自动驾驶目标有效跟踪。由定性分析可知，所提方法在部分遮挡、光照变化、等场景下表现较好；基于定量分析可知，相较于对比算法，多数测试场景下，所提方法平均中心误差较低，平均重叠率较高，表明所提方法整体跟踪性能较优。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实现流程图；

图2为五种不同跟踪算法跟踪结果图；

图3为不同跟踪方法跟踪成功率曲线图；

图4为不同跟踪方法跟踪整体精度曲线图。

具体实施方式

下面结合附图和具体实施例对本发明的实现步骤做进一步详细描述：本发明针对复杂环境下由于光照变化、目标形变、部分遮挡等因素导致目标跟踪性能显著下降的问题，提出一种基于粒子滤波及深度距离度量学习的自动驾驶目标视觉跟踪方法。所提方法首先基于深度度量学习方法学习前馈神经网络中的分层非线性变换；而后将模板及粒子映射至同一特征空间，并最大化该特征空间中正训练对类内差异最小且负训练对类间变异；然后，基于粒子滤波框架将与深度度量网络所得模板最相似候选者识别为真实目标；最后，基于短时与长期稳定更新结合的更新策略在线更新模板以降低不利因素影响从而实现自动驾驶目标有效跟踪。实验结果表明，与现有主流跟踪算法相比，复杂环境下所提方法具有较高目标跟踪精度及较好鲁棒性。具体步骤包含如下：

步骤1.构建非线性深度度量学习模型，具体为：

构建深度网络模型，通过将样本

传递到多层非线性变换中来学习它的非线性表示。网络层数k＝1,2,...,K，r^(k)表示在第k层网络中的样本维数，则第一层样本输出如下表示：

其中，W⁽¹⁾表示第一层网络的投影矩阵，b⁽¹⁾为第一层网络的偏差量。φ为S型非线性激活函数。

第一层网络的输出结果可作为第二层网络的输入并依次递归，则第k层网络输出可表示为：

其中，

样本

网络最顶层的输出可以表示为：

其中，映射f为参数非线性函数，由参数

与

共同决定。

基于上述方法，通过所构建深度网络模型表示样本x_i与x_j之间欧氏距离以度量二者相似性：

为在所述深度网络模型中学习参数

与

基于边缘费舍尔分析准则，构建如下非线性深度度量学习函数：

其中，

表示样本x_i与x_j属于正对，

表示样本x_i与x_j属于负对。α为正参数，可权衡正样本对内部紧密度及负样本对内样本可分离性，β(β＞0)为正则化参数。

表示矩阵的Frobenius范数，M与N分别表示训练数据中正对和负对的总数。

步骤2.基于给定自动驾驶目标正负样本集合，训练所述非线性深度度量学习模型并基于梯度下降法优化其非线性深度学习模型参数，具体Wie

给定训练样本集x＝(x₁,x₂,...,x_n)∈R并基于目标样本图像块周围遵循零均值高斯分布进行正负样本对采样，其中自动驾驶正样本的六个参数对角协方差矩阵为diag([1,1,0,0,0,0])表示在目标周围两个像素的半径范围内采样；自动驾驶负样本的六个参数对角协方差矩阵为diag([w,h,0,0,0,0])，w与h分别表示目标样本的宽度和高度，从远离目标对象的远处负样本进行采样。因此，一些负样本可能同时包含目标对象的背景和部分本体。基于获得的训练集，随机组成M个正对与N个负对后训练深度网络的参数；

由于所构建非线性深度度量模型非凸，很难直接获得闭式解，为求解上述优化问题，使用基于梯度下降的方法来求解参数W^(k)与b^(k)，具体地：

其中，

表示原始输入样本，则样本x_i x_j之间步长

与

的最顶层可表示如下：

其中，

表示函数

关于W^(K)的导数。其它层变量

与

表示如下：

其中，⊙表示逐元素相乘，

可作如下表示：

基于梯度下降算法更新参数W^(k)与b^(k)，k＝1,2,...,K直到收敛：

其中，η为学习率，用来控制目标函数L的收敛速度。

步骤3.基于粒子滤波构建目标观测模型以获取自动驾驶目标状态最优估计，具体为：

假设时刻r自动驾驶目标状态向量为h_r＝{h_rx,h_ry,sc_r,θ_r,φ_r,σ_r}，其中h_rx,h_ry,sc_r,θ_r,φ_r,σ_r为六自由度仿射变换参数，相邻帧间目标运动模型可表示如下：

其中，

表示

服从均值为h_r-1、方差为Σ的高斯分布，Σ为对角协方差矩阵。

由于候选目标仅在最邻近帧中更新估计，运动模型

固定时，最优候选目标可直接基于观测模型

选择，即：

其中，Γ为归一化因子，γ为控制高斯核形状的常数，仿真取0.01。

步骤4.通过短时与长期稳定更新相结合的在线跟踪策略以更新目标模板从而实现自动驾驶目标有效跟踪，具体为：

实际跟踪过程中，保持目标模板不变无法有效跟踪复杂场景下多变的目标，因而模板更新一直是在线目标跟踪的热点问题。若从首帧开始基于固定模板实施跟踪，则光照变化、背景杂波或部分遮挡等因素导致跟踪器无法较好地捕捉目标；反之，若快速更新模板，每次更新都会引入误差，则随着时间流逝误差逐渐累积从而导致跟踪器偏离目标。针对上述问题，本发明引入短时与长期稳定更新相结合的在线跟踪策略以更新目标模板。

模板初始化：首先确定目标首帧所处位置，而后基于所提跟踪方法获得前n帧跟踪结果并归一化，最后将其组合为模板集T＝[t₁,t₂,···,t_n]∈R^b×n；

模板动态更新：模板与跟踪结果相似性可表示为ψ＝[ψ₁,ψ₂,···,ψ_n]，设阈值为ρ，则跟踪结果与第i个模板相似性ψ_i表示为：

式中，

为第r帧跟踪结果，相似度值ψ_i越大表明跟踪结果与模板越相似。

设最大相似度为Λ，其表示为：

Λ＝maxψ_i

将最大相似度为Λ与阈值ρ比较，若最大相似度Λ＞ρ，表明本次跟踪结果与某目标模板相似度最大，则更新对应模板；反之，不做更新。仿真实验中阈值取值为ρ＝0.7。

本发明的效果可通过以下仿真进一步说明：

仿真条件：硬件环境如下：Intel Core(TM)i5-4258 CPU，主频2.4GHz，内存8GB，实验软件测试环境为：Python3.7、MATLAB 2017a以及开源深度学习框架Caffe。仿真条件设置如下：所提跟踪算法于首帧所提取正负样本数分别为100和400，后续各帧正负样本数分别为30和120，生成300个正对和900个负对。权衡跟踪性能及计算复杂度，若粒子过多将增加算法计算量，粒子过少则无法获取最优目标状态，基于此，每帧粒子数设为600，粒子权重初始化为1/600。视频跟踪数据集OTB-100，选择包含多种跟踪挑战因素的MotorRolling，Boy，Skating1，Bird2，Tiger2，Basketball共6种视频序列作为测试集。本发明所使用CNN网络采用深度学习框架Caffe，网络权值更新采用梯度下降法，设置局部区域归一化参数α＝0.0001,τ＝0.75，以起到“侧抑制”作用，增强网络提取复杂环境信息的泛化能力；学习率设置为0.001，训练周期为300，以最大程度减少“过拟合”现象发生。其中，本发明采用平均跟踪重叠率和平均中心位置误差定量分析所提方法的跟踪性能。

仿真内容：

仿真1：定性分析：图2为6种测试序列的5种跟踪算法的结果对比。MotorRolling序列包含快速运动、背景杂波和光照变化等挑战因素，第112帧中目标由空中下降明显变化，MIL和BACF出现跟踪漂移或跟踪框与真实目标不符现象，而所提算法始终可较好跟踪目标，其可归因于所提算法考虑背景杂波及快速运动影响从而精确估计运动目标。Basketball中目标存在明显尺寸变化，所提算法与BCAF可定位目标并有效跟踪，表明尺寸变化条件下所提方法亦具有较好跟踪效果。Boy中目标快速运动，同时出现比例变化和旋转等因素干扰，418帧之后MIL出现跟踪漂移现象。Skating1属于较复杂场景，目标背景对比度较低，且存在较强光照变化。此场景下目标分辨率较低，所提算法通过长短时结合在线更新策略及时更新模板，从而实现稳定跟踪。Bird2视频序列与Tiger2视频序列中所提算法可很好锁定目标。

仿真2：定量分析：由表1、2可知，基于OTB-100所选6种测试序列，所提算法相较于对比算法均有较好跟踪效果，其可归因于所提算法采用深度距离度量学习并引入误差项构建似然模型以降低相似目标背景之间敏感度。相较于对比算法，所提算法在遮挡及噪声等条件下性能出色，主要原因可表述如下：

(1)所提模型考虑候选目标模板之间相关性，提高了复杂场景下算法跟踪稳健性；

(2)深度距离度量衡量粒子相似性，从而提升跟踪有效性；

(3)长短时更新策略改善了噪声及遮挡场景下所提算法的鲁棒性及跟踪精度。

表1不同跟踪方法平均重叠率

表2不同跟踪方法平均中心位置误差

本发明采用成功率曲线图和整体精度图评估跟踪器整体性能。整体精度图表示中心位置误差在距离阈值内成功帧数与总帧数的百分比。所提及对比算法所得成功率及整体精度曲线分别如图3、4所示。由图3、4可知，多数序列中所提算法跟踪成功率高于对比算法；Tiger2序列中跟踪精度图所提算法略次于BCAF但跟踪成功率曲线仍优于BCAF，且其他序列中所提算法整体跟踪精度亦优于对比算法。由此可知，复杂场景下所提算法整体性能优于对比方法，且具有较好的鲁棒性。

仿真3：不同跟踪方法在各个测试序列下的平均运行速度：为验证所提算法跟踪时效性，本发明采用每秒运行帧数(frameper second,FPS)衡量算法速度(算法运行50次，平均所得FPS作为评估指标)，不同测试序列中各算法所得FPS如表3所示。表3可知，所提算法速度高于Struck、BCAF及DFT，逊于MIT。然而，正如前文所述，各测试序列中所提算法跟踪性能整体优于对比算法。

表3各测试序列下不同跟踪方法平均运行速度(FPS)

综上所述，本发明提出一种基于粒子滤波及深度距离度量学习的自动驾驶目标视觉跟踪方法。所提方法基于深度网络构建非线性深度距离度量学习模型；而后基于所得最优候选目标预测值构建观测模型；最后基于短时及长期稳定更新相结合更新策略更新目标模板。基于OTB-100数据集所选包含遮挡及光照变化等因素的6种测试序列，通过与BACF、MIL、Struck以及DFT等四种主流跟踪器对比验证了所提方法的有效性。由定性分析可知，所提方法在部分遮挡、光照变化、等场景下表示较好；基于定量分析可知，相较于对比算法，多数测试场景下，所提算法平均中心误差较低，平均重叠率较高，表明所提方法整体跟踪性能较优。由此，本发明所提算法可以为复杂驾驶场景下自动驾驶目标视觉跟踪提供坚实的理论与工程实现依据。

本发明的实施例有较佳的实施性，并非是对本发明任何形式的限定。本发明实施例中描述的技术特征或技术特征的组合不应当被认为是孤立的，它们可以被互相组合从而达到更好的技术效果。本发明优选实施方式的范围也可以包括另外的实现，且这应被发明实施例所属技术领域的技术人员所理解。

Claims (5)

1.基于粒子滤波及深度距离度量学习的目标跟踪方法，其特征在于，包括：

构建非线性深度度量学习模型；

基于给定自动驾驶目标正负样本集合，训练所述非线性深度度量学习模型并基于梯度下降法优化其非线性深度学习模型参数；

基于粒子滤波构建目标观测模型以获取自动驾驶目标状态最优估计；

通过短时与长期稳定更新相结合的在线跟踪策略以更新目标模板从而实现自动驾驶目标有效跟踪。

2.根据权利要求1所述基于粒子滤波及深度距离度量学习的目标跟踪方法，其特征在于，利用深度网络非线性变化所得自动驾驶目标正负样本，进而构建非线性深度度量学习模型，具体为：

构建深度网络模型，通过将样本

传递到多层非线性变换中来学习它的非线性表示；网络层数k＝1,2,...,K，r^(k)表示在第k层网络中的样本维数，则第一层样本输出如下表示：

其中，W⁽¹⁾表示第一层网络的投影矩阵，b⁽¹⁾为第一层网络的偏差量；φ为S型非线性激活函数；

第一层网络的输出结果作为第二层网络的输入并依次递归，则第k层网络输出表示为：

其中，

样本

网络最顶层的输出表示为：

其中，映射f为参数非线性函数，由参数

与

共同决定；

基于上述方法，通过所构建深度网络模型表示样本x_i与x_j之间欧氏距离以度量二者相似性：

为在所述深度网络模型中学习参数

与

基于边缘费舍尔分析准则，构建如下非线性深度度量学习函数：

其中，

表示样本x_i与x_j属于正对，

表示样本x_i与x_j属于负对；α为正参数，权衡自动驾驶目标正样本对内部紧密度及自动驾驶目标负样本对内样本可分离性，β(β＞0)为正则化参数；

表示矩阵的Frobenius范数，M与N分别表示训练数据中正对和负对的总数。

3.根据权利要求1所述基于粒子滤波及深度距离度量学习的目标跟踪方法，其特征在于，基于给定自动驾驶目标正负样本集合，训练所述非线性深度度量学习模型并基于梯度下降法优化其非线性深度学习模型参数，具体为：

给定训练样本集x＝(x₁,x₂,...,x_n)∈R并基于目标样本图像块周围遵循零均值高斯分布进行正负样本对采样，其中自动驾驶目标正样本的六个参数对角协方差矩阵为diag([1,1,0,0,0,0])，表示在目标周围两个像素的半径范围内采样；自动驾驶目标负样本的六个参数对角协方差矩阵为diag([w,h,0,0,0,0])，w与h分别表示目标样本的宽度和高度，从远离目标对象的负样本进行采样；基于获得的训练集，随机组成M个正对与N个负对后训练深度网络的参数；

使用梯度下降算法来求解参数W^(k)与b^(k)，具体地：

其中，

表示原始输入样本，

为关于矢量

的转置，则样本x_ix_j之间步长

与

的最顶层表示如下：

其中，

表示函数

关于W^(K)的导数；其它层变量

与

表示如下：

其中，⊙表示逐元素相乘，

为：

基于梯度下降算法更新参数W^(k)与b^(k)，k＝1,2,...,K直到收敛：

其中，η为学习率，用来控制目标函数L的收敛速度。

4.根据权利要求1所述基于粒子滤波及深度距离度量学习的目标跟踪方法，其特征在于，基于粒子滤波构建目标观测模型以获取自动驾驶目标状态最优估计，具体为：假设时刻r自动驾驶目标状态向量为h_r＝{h_rx,h_ry,sc_r,θ_r,φ_r,σ_r}，其中h_rx,h_ry,sc_r,θ_r,φ_r,σ_r为六自由度仿射变换参数，相邻帧间驾驶目标运动模型表示如下：

其中，

表示

服从均值为h_r-1、方差为Σ的高斯分布，Σ为对角协方差矩阵；运动模型

固定时，最优候选目标直接基于观测模型

选择，即：

其中，Γ为归一化因子，γ为控制高斯核形状的常数。

5.根据权利要求1所述基于粒子滤波及深度距离度量学习的目标跟踪方法，其特征在于，通过短时与长期稳定更新相结合的在线跟踪策略以更新目标模板从而实现自动驾驶目标有效跟踪，具体为：

首先确定驾驶目标首帧所处位置，而后基于所提跟踪方法获得前n帧跟踪结果并归一化处理，最后将其组合为模板集T＝[t₁,t₂,…,t_n]∈R^b×n；

模板与跟踪结果相似性表示为ψ＝[ψ₁,ψ₂,…,ψ_n]，设阈值为ρ，则跟踪结果与第i个模板相似性ψ_i表示为：

式中，

为第r帧跟踪结果，相似度值ψ_i越大表明跟踪结果与模板越相似；

设最大相似度为Λ，其表示为：

Λ＝maxψ_i

将最大相似度为Λ与阈值ρ比较，若最大相似度Λ＞ρ，表明本次跟踪结果与某目标模板相似度最大，则更新对应模板；反之，不更新。

Images