CN110097579A - 基于路面纹理上下文信息的多尺度车辆跟踪方法及装置 - Google Patents

Abstract

本发明涉及一种基于路面纹理上下文信息的多尺度车辆跟踪方法，包括：S1、对于线性空间道路纹理的情况，获取目标车辆的中心位置，S2、对于非线性空间道路纹理的情况，在对偶空间中获取目标车辆的中心位置；S3、获取目标车辆中心位置后，并与当前帧的图像最优尺度结合，得到更加精确的目标车辆位置；本发明还公开了一种基于路面纹理上下文信息的多尺度车辆跟踪装置。本发明结合目标车辆底部的路面纹理区域，在目标车辆运动过程中，目标车辆与路面的相对位置不会发生较大变化，路面纹理比较稳定，可结合路面纹理信息，即根据目标车辆与路面区域的相对关系，精确定位目标车辆，防止目标框发生漂移。

Description

基于路面纹理上下文信息的多尺度车辆跟踪方法及装置

技术领域

本发明涉及计算机视觉领域，更具体涉及基于路面纹理上下文信息的多尺度车辆跟踪方法及装置。

背景技术

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，而目标跟踪属于机器学习领域中的重要运用。

公开号为“CN108776974B”的发明专利(申请日为2018.05.24)公开了“一种适用于公共交通场景的实时目标跟踪方法，该方法包含以下步骤：步骤1，由检测器获取被跟踪目标在当前第i帧上的初始位置P(i)；步骤2，用P(i)训练相关滤波跟踪器；步骤3，获取目标在第i+1帧的图像；步骤4，用相关滤波器和第i+1帧进行相关性计算，得出目标预测位置P′(i+1)；步骤5，评估尺度变化率，根据阈值判断是否需要目标预测值修正。步骤6，用卡尔曼滤波进行预测值修正，得到目标在第i+1帧的位置P(i+1)。该方法进行了尺寸变化率评估，提高了跟踪的准确率和实时性，同时通过卡尔曼滤波来对目标预测值进行修正，最小化尺度变化的影响。”

但是该专利仅利用目标区域实现跟踪，在交通场景下，当目标车辆发生遮挡时，跟踪准确率低，输出结果矩形框与真实目标矩形框的平均重叠率低，导致无法有效跟踪目标。

已有的跟踪方法仅仅单独利用目标车辆本身特征，在目标车辆被遮挡或运动模糊时，所要定位的目标车辆四周形成的框选区域可能出现偏移，导致预测目标车辆位置的准确率较低。

发明内容

本发明所要解决的技术问题，在于提供基于路面纹理上下文信息的多尺度车辆跟踪方法及装置，以解决上述背景技术中目标车辆位置的准确率较低的问题。

为解决上述问题，本发明提供如下技术方案：

一种基于路面纹理上下文信息的多尺度车辆跟踪方法，包括：

S1、对于线性空间道路纹理的情况，获取目标车辆的中心位置；

S2、对于非线性空间道路纹理的情况，在对偶空间中获取目标车辆的中心位置；

S3、获取目标车辆中心位置后，并与当前帧的图像最优尺度结合，得到更加精确的目标车辆位置。

作为本发明进一步的方案：所述步骤S1包括：

利用最小二乘法对目标车辆的若干个背景区域进行处理得到脊回归公式，对若干个背景区域对应的脊回归公式部分进行循环移位合并简化；对简化后的脊回归公式计算得到频域中的第一权重参数矩阵利用第一权重参数矩阵获取第一响应矩阵R，并对第一响应矩阵R进行傅里叶变换得到频域中的第一响应矩阵计算得到频域中的第一响应矩阵最大的响应值对应的索引，即对应目标车辆的中心位置；

其中，若干个背景区域中包括路面纹理区域。

作为本发明进一步的方案：所述步骤S1还包括：

得到的所述脊回归公式如式(1)：

其中，称代表二范数，A₀表示目标车辆循环移位后的样本的特征矩阵；A₁表示目标车辆下方的路面区域循环移位后的样本的特征矩阵；A_i表示目标车辆左侧区域或者上端区域或者右侧区域的背景区域循环移位后的样本的特征矩阵；

λ₁表示在训练过程中，路面纹理区域信息所占的比重；λ₂表示训练过程中A_i对应的噪声区域所占的比重，λ₃表示正则化参数，控制第一权重参数矩阵的复杂度；y₀表示目标车辆的二维高斯矩阵标签；w表示需要回归的第一权重参数矩阵；k₁表示目标车辆周围的背景区域数量；

式(1)分为以下若干个部分：第一部分为表示将目标区域作为正样本训练；第二部分为表示将目标下方道路区域作为正样本训练，由参数λ₁控制对损失的贡献程度；第三部分为表示将目标车辆左侧区域、上端区域以及右侧区域作为噪声训练之和，由参数λ₂控制对损失的贡献程度；第四部分为表示通过正则化进行训练，实现控制权重参数的复杂度，由参数λ₃控制对损失的贡献程度；

然后，将公式(1)对应的区域进行合并，得到简化后的公式(2)：

其中，B和的形式如式(3)所示：

B为循环矩阵，为标签矩阵，表示各个部分的样本空间中的样本所对应的标签值；

通过令得第一权重参数矩阵w，如式(4)：

其中，B^T为B的转置，I表示单位矩阵，表示公式(2)对w求导等于零；

再将公式(4)两边分别进行傅里叶变化后，得到频域中的第一权重参数矩阵如下:

其中，a_i表示第个i区域对应的样本空间中的样本特征矩阵的第一行构成的向量；⊙表示点乘运算；为向量a_i的经过傅里叶变化处理后在频域中的表示形式；表示的共轭转置，所述频域中的第一响应矩阵的获取方法为：

以上一帧的目标车辆的位置为中心，分别以目标车辆的宽的N倍、高的N倍向外侧扩展，将扩展后得到的区域作为搜索区域；

根据循环矩阵的性质，在搜索区域中，以像素为单位，进行横向和纵向上循环移位，每循环移位一次得到一个待检测的样本，待检测的样本组成待检测的样本空间，待检测的样本空间的特征值组成的样本特征矩阵用Z₁表示，样本特征矩阵Z₁与第一权重参数矩阵w进行矩阵运算，得到第一响应矩阵R，如式(6)

R＝Z₁w (6)

并对第一响应矩阵R进行傅里叶变换得到式(7)，式(7)如下：

其中，表示经过傅里叶变换后在频域中的形式；表示经过傅里叶变换后的频域中的形式，表示响应矩阵R经过傅里叶变换处理后在频域中的形式，得到即得到第一响应矩阵R，确定目标车辆的中心位置。

作为本发明进一步的方案：所述步骤S2包括：通过核函数将非线性样本空间中的样本映射到线性可分的对偶空间，结合对偶空间中的所有样本的特征向量，获取对偶空间权重参数矩阵w_对偶，训练对偶空间权重参数矩阵w_对偶，获取在频域中第二权重参数矩阵求解频域中第二响应矩阵最大的响应值，最大的响应值对应的索引即目标车辆的中心位置。

作为本发明进一步的方案：

1.所述步骤S2还包括：

对偶空间中，目标车辆的若干个区域经过核函数映射后，对应的样本空间如式(8)所示：

其中，i表示大于等于零且小于目标车辆区域数量的整数，a_im表示第i个区域的第m个样本的特征向量，A_i表示第i个区域的样本所构成的特征矩阵；为特征矩阵A_i映射到线性可分的对偶空间中的表示形式，为循环矩阵B映射到线性可分的对偶空间中的表示形式；为第i个区域的第m个样本的特征向量映射到线性可分的对偶空间中的表示形式；

利用公式(9)计算对偶空间权重参数矩阵w_对偶，式(9)如下：

其中，表示的转置，α表示第二权重参数矩阵，α_i表示第二权重参数矩阵中第i个列向量，b_i表示第i个样本的特征向量，表示第i个样本的特征向量映射到高维线性空间中的特征向量，5m表示第二权重参数矩阵的维度；

获取在频域中第二权重参数矩阵包括：

结合损失函数J(α)求解频域中的第二权重参数矩阵α损失函数J(α)如式(10)所示：

令求解得到频域中的第二权重参数矩阵α，如式(11)所示

其中，K₂为矩阵；通过选择核函数使得矩阵K₂中元素按照顺序变化，保证矩阵K₂仍然为循环矩阵；

然后将代入式获取在对偶空间中第二权重参数矩阵α在频域中的第二权重参数矩阵公式如式(12)所示：

其中，Δ_ij＝diag(m_ij+λ₃),{(i,j)∈{(0,0)}}

Δ_ij＝λ₁diag(m_ij+λ₃),{(i,j)∈{(1,1)}}

Δ_ij＝λ₂diag(m_ij+λ₃),{(i,j)∈{(2,2),(3,3),(4,4)}}

diag(m_ij)表示分块对角矩阵的第i行第j列对应的对角矩阵，如式(13)所示

其中，a_i0表示第i个区域的第0个样本特征向量；a_j0表示第j个区域的第0个样本特征向量；a_jm表示第j个区域的第m个样本特征向量；κ(a_i0,a_j0)表示第i个区域的第0个样本特征向量与第j个区域的第0个样本特征向量之间的核函数；k(a_i0m，a_jm)表示第i个区域的第m个样本特征向量与第j个区域的第m个样本特征向量之间的核函数，

最后求解频域中第二响应矩阵得到频域中第二响应矩阵最大的响应值，即为目标车辆的中心位置。

2.作为本发明进一步的方案：所述求解频域中的第二响应矩阵计算公式如(14)：

Z₂表示：以上一帧的目标车辆位置为中心，分别以目标车辆宽和高的N倍向外扩展，向外扩展后的区域作为搜索区域，在搜索区域中，以像素为单位，横向和纵向循环移位，得到待检测的样本空间，样本空间的样本特征矩阵用Z₂；为Z₂傅里叶变换变换后在频域中的表示形式；为第i个区域对应的参数权重向量的傅里叶变换变换后在频域中的表示形式。

作为本发明进一步的方案：所述步骤S3包括：抽取若干个目标车辆的不同尺度图像作为训练样本，通过最小二乘法对训练样本的尺度序列进行训练得到损失函数J(H)，利用傅里叶变换对损失函数J(H)进行处理，得到J(H^*)，对J(H^*)进行计算得到频域中的第三权重参数矩阵H；再获取尺度响应矩阵R_s，计算尺度响应矩阵R_s中最大值对应的索引对应的尺度，即为当前帧最优图像尺度，得到更加精确的目标车辆位置，对J(H^*)进行计算得到频域中的第三权重参数矩阵H；再获取尺度响应矩阵R_s，计算尺度响应矩阵R_s中最大值对应的索引对应的尺度，即为当前帧最优图像尺度，得到更加精确的目标车辆位置。

作为本发明进一步的方案：

所述步骤S3还包括：

设当前帧中目标车辆的图像尺寸大小为W×H，抽取若干个不同尺度的图像作为训练样本并记为S，所述训练样本的尺度序列如式(15)所示：

其中，b表示尺度因子；W表示目标车辆矩形框区域的宽度；H表示目标车辆矩形框区域的高度；S表示样本空间的样本数；为向下取整符号；

通过最小二乘法对式(15)进行计算，得到的损失函数如式(16)所示：

其中，y'表示一维高斯函数产生的标签向量，h表示尺度估计权重参数矩阵，f表示不同尺度提取的样本集特征矩阵；

对J(h)进行傅里叶变换，得到J(H^*)如式(17)所示：

其中，Y'_i为标签向量y'经过傅里叶变换在频域中所对应的向量的第i个元素的值；H^*为尺度估计权重参数矩阵h经过傅里叶变换在频域中表示形式的共轭转置；F_i为样本特征矩阵f中的第i个样本特征向量的傅里叶变换在频域中的表示形式；∑为求和符号，n的取值与S的取值相同；

求解J(H^*)函数得到第三权重参数矩阵H，利用公式(19)计算尺度响应矩阵R_s中最大值对应的索引对应的尺度，就是当前帧最优尺度，式(19)如下：

R_s＝F·H (19)

其中，F为样本特征矩阵f的傅里叶变换后在频域中的表示形式；为的共轭转置；R_s代表计算目标车辆的尺度响应矩阵R_s，尺度响应矩阵R_s中最大值对应的索引对应的尺度，为当前帧最优尺度，得到更加准确的目标车辆位置。

作为本发明进一步的方案：所述求解J(H^*)函数的方法为：

令求解得到频域中的第三权重参数矩阵H，如式(18)所示：

作为本发明进一步的方案：一种基于路面纹理上下文信息的多尺度车辆跟踪装置，其特征在于，包括：

第一获取模块，用于在线性空间道路纹理的情况，获取目标车辆的中心位置；

第二获取模块，用于在非线性空间道路纹理的情况，于对偶空间中获取目标车辆的中心位置对偶空间模块；

尺度模块，用于获取目标车辆中心位置后，并与当前帧的图像最优尺度结合，得到更加精确的目标车辆位置。

与现有技术相比，本发明的有益效果是：

1、本发明结合目标车辆底部的路面纹理区域，在目标车辆运动过程中，目标车辆与路面的相对位置不会发生较大变化，且在运动过程中，路面纹理比较稳定，因此结合路面纹理信息，根据目标车辆与路面区域的相对关系，精确定位目标车辆，防止目标框发生漂移，输出结果矩形框与真实目标矩形框的平均重叠率最大，平均跟踪失败次数相对较小，平均期望重叠率最大，准确率高。

2、目前已有的目标跟踪方法，无法有效、快速将目标周围上下文信息和目标的尺度预测相结合，这就导致当目标的尺度变化时，已有的跟踪方法无法精确定位目标边界，后续帧中的权重参数无法有效学习到目标的完整特征，导致跟踪失败，而本发明结合路面纹理信息跟踪目标的同时，增加多尺度跟踪方法，精确定位目标边界，为后续帧的尺度估计权重参数矩阵h训练提供优质的样本，保证跟踪方法能持续有效地跟踪目标车辆。

3、本发明通过提取目标车辆上方、左方和右方环境信息，作为噪声样本，在训练过程中进行抑制；目标车辆下方区域的路面纹理信息，作为辅助定位的正样本，通过脊回归算法进行训练，得到第一权重参数矩阵w，第二权重参数矩阵α，尺度估计权重参数矩阵h，并利用第一权重参数矩阵w，第二权重参数矩阵α，对后续帧中目标车辆的中心位置；该方法增加了多尺度跟踪功能，可精确预测目标车辆的尺寸。

4、通过多次实验表明，当路面纹理上下文信息的比重λ₁＝0.6时，相比于传统的基于目标本身的跟踪算法，本算法的输出结果矩形框与真实目标矩形框的平均重叠率最大，平均跟踪失败次数相对较小，平均期望重叠率最大，在目标发生遮挡的情况下，本发明的性能更好；路面纹理区域上下文信息与多尺度方法结合，跟踪方法能更精确的适应目标的尺度变化，从而有效降低了跟踪方法的失败次数。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为本发明实施例1提供的基于路面纹理上下文信息的多尺度车辆跟踪方法的流程方框图。

图2为本发明实施例1提供的为基于路面纹理上下文信息的多尺度车辆跟踪方法中目标车辆的区域对比示意图。

图3为本发明实施例2提供的基于路面纹理上下文信息的多尺度车辆跟踪装置的结构示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

一种基于路面纹理上下文信息的多尺度车辆跟踪方法，包括：空间道路纹理上下文相关滤波跟踪方法，其中空间道路纹理分为线性空间道路纹理及非线性空间道路纹理，具体方法如下：

S1、对于线性空间道路纹理的情况，获取目标车辆的中心位置；

利用最小二乘法对目标车辆的若干个背景区域进行处理得到脊回归公式，最小二乘法为机器学习中常见的算法，此处不再介绍；其中，若干个背景区域中包括路面纹理区域；

将目标车辆下方的路面区域以及周围其他方向的信息考虑在内，如图1所示，图1为目标车辆区域与周围区域相对关系示意图，其中A₀对应的区域代表目标车辆的中心区域，A₁对应的区域代表路面纹理区域，A₂对应的区域代表目标车辆左侧的噪声区域、A₃对应的区域代表目标车辆上端的噪声区域、A₄对应的区域代表目标车辆右侧的噪声区域；

脊回归公式如式(1)所示：

式(1)分为四个部分：

第一部分为表示将目标区域作为正样本训练；第二部分为表示将目标下方道路区域作为正样本训练，由参数λ₁控制对损失的贡献程度；第三部分为表示将目标车辆左侧区域、上端区域以及右侧区域作为噪声训练之和，由参数λ₂控制对损失的贡献程度；第四部分为表示通过正则化进行训练，实现控制权重参数的复杂度，由参数λ₃控制对损失的贡献程度；

其中，代表二范数，A₀表示目标车辆循环移位后的样本的特征矩阵；A₁表示目标车辆下方的路面区域循环移位后的样本的特征矩阵；A_i表示目标车辆左侧、上端和右侧的背景区域循环移位后的样本的特征矩阵；λ₁表示在训练过程中，路面纹理区域信息所占的比重，λ₂表示在训练过程中，目标车辆周围的A₂对应的噪声区域所占的比重(A₃、A₄分别对应的噪声区域所占的比重与A₂对应的噪声区域所占的比重相同)；λ₃表示正则化参数，控制第一权重参数矩阵的复杂度；

y₀表示目标车辆的二维高斯矩阵标签；w表示需要回归的第一权重参数矩阵；k₁表示目标车辆周围的背景区域数量，本实施例中k₁取值为四；A₀、A₁、A₂、A₃、A₄对应的五个区域可以独立计算，五个区域对应的部分进行合并，得到简化后的公式(2)：

其中，B为循环矩阵，在A₀、A₁、A₂、A₃、A₄对应的五个区域中，以单位像素向横向和纵向循环移动一个位置，得到训练样本空间，再计算样本的HOG特征，组成样本矩阵，即为循环矩阵B；HOG(Histogram of Oriented Gradient，方向梯度直方图)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述，HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征；y为标签矩阵，表示各个部分的样本空间中的样本所对应的标签值；B和的形式如式(3)所示：

式(2)是凸函数，在实数域存在最优解，通过令从而得第一权重参数矩阵w，如式(4)所示：

B^T为B的转置，I表示单位矩阵，表示w与B组成的函数对w求导等于零；同时，A₀、A₁、A₂、A₃、A₄对应的五个区域相互独立，可根据循环矩阵的性质，将各个区域的特征矩阵并行计算，这样能够提高算法的实时性能，加快计算效率；

将公式(4)两边分别进行傅里叶变化后，得式(5):

其中，a_i表示第个i区域对应的样本空间中的样本特征矩阵的第一行构成的向量；为向量a_i的经过傅里叶变化处理后在频域中的表示形式；表示的共轭转置。

获取第一响应矩阵R，第一响应矩阵R中最大的响应值对应的索引，为当前帧图像的目标车辆的中心所在的位置；以上一帧的目标车辆的位置为中心，分别以目标车辆的宽的N倍、高的N倍沿着四周向外侧扩展，作为搜索区域；

本实施例中N取值为2.5倍，在搜索区域中，以像素为单位，进行横向和纵向上循环移动一个位置，得到待检测的样本空间，待检测的样本特征矩阵用Z₁表示，样本特征矩阵Z₁与第一权重参数矩阵w进行矩阵运算，得到响应矩阵R；

R＝Z₁w (6)

如式(6)，第一响应矩阵R中最大的响应值对应的索引，为当前帧图像的目标车辆的中心所在的位置，即可实现对目标车辆的跟踪；并对第一响应矩阵R进行傅里叶变换且公式(6)与公式(7)横相等；傅里叶变换将原来难以处理的时域信号(波形)转换成易于分析的频域信号(信号的频谱)，方便分析计算；式(7)如下：

表示经过傅里叶变换后在频域中的形式；表示经过傅里叶变换后的频域中的形式，表示第一响应矩阵R经过傅里叶变换处理后在频域中的形式；⊙表示点乘运算。

S2、对于非线性空间道路纹理的情况，在对偶空间中获取目标车辆的中心位置；

分类回归问题通常分为线性问题和非线性问题，对于线性问题，通过线性函数直接求解，而对于非线性问题，需要将样本空间进行转换到新的线性空间，即对偶空间中进行求解，这样使得样本在对偶空间中线性可分，将问题转换成线性可分问题。

通过核函数将非线性样本空间中的样本映射到线性可分的对偶空间，在对偶空间中，五个区域对应的样本空间如式(8)所示：

其中，i取值为0、1、2、3、4，a_im表示第i个区域的第m个样本的特征向量，A_i表示第i个区域的样本所构成的特征矩阵，为特征矩阵A_i映射到线性可分的对偶空间中的表示形式，为循环矩阵B映射到线性可分的对偶空间中的表示形式；为第i个区域的第m个样本的特征向量映射到线性可分的对偶空间中的表示形式；

在对偶空间中,对偶空间权重参数矩阵w_对偶，对偶空间权重参数矩阵w_对偶由所有样本的特征向量的线性组合来表示，如式(9)所示：

其中，表示的转置，α表示第二权重参数矩阵，α_i表示第二权重参数矩阵中第i个列向量，b_i表示第i个样本的特征向量，表示第i个样本的特征向量映射到高维线性空间中的特征向量，ɑ表示矩阵与第二权重参数矩阵α线性组合的矩阵形式；5m表示第二权重参数矩阵的维度；

在对偶空间中，利用损失函数J(α)求解第二权重参数矩阵α，损失函数J(α)如式(10)所示：

通过令即将第二权重参数矩阵α与B组成函数的对第二权重参数矩阵α求导等于零，从而求解第二权重参数矩阵α，如式(11)所示

其中，矩阵K₂为矩阵；

通过选择合适的核函数使得矩阵K₂中元素按照顺序变化，不影响核函数的计算结果的同时，保证矩阵K₂仍然为循环矩阵，以下几类核函数满足该性质：

多项式核函数：κ(x,y)＝f(x^Ty)；

RBF核函数：κ(x,y)＝f(||x-y||²)；

将代入式同时根据分块循环矩阵的性质以及循环矩阵的傅里叶对角化性质，最终得出在对偶空间中第二权重参数矩阵α在频域中的第二权重参数矩阵公式如式(12)所示：

其中，Δ_ij＝diag(m_ij+λ₃),{(i,j)∈{(0,0)}}

Δ_ij＝λ₁diag(m_ij+λ₃),{(i,j)∈{(1,1)}}

Δ_ij＝λ₂diag(m_ij+λ₃),{(i,j)∈{(2,2),(3,3),(4,4)}}

diag(m_ij)表示分块对角矩阵的第i行第j列对应的对角矩阵，如式(13)所示

其中，a_i0表示第i个区域的第0个样本特征向量；a_j0表示第j个区域的第0个样本特征向量；a_jm表示第j个区域的第m个样本特征向量；κ(a_i0,a_j0)表示第i个区域的第0个样本特征向量与第j个区域的第0个样本特征向量之间的核函数；表示第i个区域的第m个样本特征向量与第j个区域的第m个样本特征向量之间的核函数；

利用第二权重参数矩阵α与频域形其中的求解出频域中的第二响应矩阵如式(14)；

以上一帧的目标位置为中心，分别以目标车辆宽和高的N倍向外扩展，作为搜索区域，本实施例中N取值为2.5，在搜索区域中，以像素为单位，横向和纵向上循环移动一个位置，得到待检测的样本空间，待检测的样本特征矩阵用Z₂表示，将样本特征矩阵Z₂与第二权重参数矩阵α带入式(14)，在频域中求解出频域中的第二响应矩阵第二矩阵中最大的响应值对应的索引，为当前帧图像的目标车辆中心所在的位置；

其中，Z₂为搜索区域的样本空间的特征矩阵；为Z₂傅里叶变换变换后在频域中的表示形式；为第i个区域对应的参数权重向量的傅里叶变换变换后在频域中的表示形式；

S3、引入自适应尺度模型；

在道路环境的车辆跟踪过程中，由于前车和当前车辆的相对速度变化，导致车载相机所采集到的前车的尺度容易发生变化，传统的核相关滤波器无法适应目标车辆尺度变化较大的情况。因此，在传统的核相关滤波的基础上，引入自适应尺度模型。

通常采用图像金字塔或滤波器金字塔模型解决与尺度相关的问题，通过一定间隔，采样不同尺度的图像，进行尺度估计，但这样将导致计算量急剧增加的问题，影响跟踪算法的实时性。因此，本文根据道路环境下目标跟踪的特点，增加一个维度处理尺度问题，步骤如下：

抽取若干个不同尺度的图像作为训练样本；通过最小二乘法对训练样本的尺度序列进行计算；

当前帧中目标车辆图像的尺寸大小为W×H，抽取样本空间的若干样本数记为S；

优选地，本实施例中样本数选取为33个，即抽取33个不同尺度的图像作为训练样本，训练样本的尺度序列大小如式(15)所示：

其中：b表示尺度因子，本实施例中经验值1.05，W表示目标车辆矩形框区域的宽度，H表示目标车辆矩形框区域的高度，S表示样本空间的样本数；为向下取整符号；

根据式(15)在目标车辆中心位置的周围区域，通过最小二乘法计算，得到尺度训练的损失函数如式(16)所示：

其中：y'表示一维高斯函数产生的标签向量，h表示尺度估计权重参数矩阵，f为不同尺度提取的样本集特征矩阵；

利用傅里叶变换，对式(16)进行处理，转换到频域中进行优化，如式(17)所示；

其中：Y'_i为标签向量y′经过傅里叶变换在频域中所对应的向量的第i个元素的值；H^*为尺度估计权重参数矩阵h经过傅里叶变换在频域中表示形式的共轭转置；F_i为样本特征矩阵f中的第i个样本特征向量的傅里叶变换在频域中的表示形式；∑为求和符号，n的取值与S的取值相同，此处n取值为33。

令即式(17)对求导H^*等于零，然后求解，得到频域中的第三权重参数矩阵H，如式(18)所示：

利用公式(19)计算尺度响应矩阵R_s中最大值对应的索引对应的尺度，就是当前帧最优尺度，式(19)如下：

R_s＝F·H (19)

其中，以当前帧图像中目标车辆中心位置为基准坐标，以前一帧图像中的目标尺度为起始尺度，根据式(15)采样不同尺度下的样本，计算出样本特征矩阵，用f表示，F为样本特征矩阵f的傅里叶变换后在频域中的表示形式；为的共轭转置；R_s代表计算目标车辆的尺度响应矩阵R_s，尺度响应矩阵R_s中最大值对应的索引对应的尺度，就是当前帧最优尺度，得到的最优尺度与目标车辆中心位置相结合，更加精确定位目标车辆边界，实现车辆跟踪的目的。

本实施例采用所述的基于道路纹理信息的跟踪算法，定位图像中最可能的目标车辆的中心位置；然后，采样若干个不同尺度的图像区域，并通过一维高斯函数生成标签向量，仍然采用核相关滤波算法再次进行尺度学习，得到一维滤波向量h，在跟踪阶段，将定位后的图像经过的不同尺度采样，得到的特征向量与h运算，在最终的响应向量中，响应值最大的位置所对应的的尺度，即为理想的目标尺度。

通过多次实验表明，当路面纹理上下文信息的比重λ₁＝0.6时，相比于传统的基于目标本身的跟踪算法，本算法的输出结果矩形框与真实目标矩形框的平均重叠率最大，平均跟踪失败次数相对较小，平均期望重叠率最大，在目标发生遮挡的情况下，本发明的目标跟踪效果好，准确率高，路面纹理区域上下文信息与多尺度方法结合，跟踪方法能更精确的适应目标的尺度变化，从而有效降低了跟踪方法的失败次数。

一种基于路面纹理上下文信息的多尺度车辆跟踪装置，其特征在于，包括：

第一获取模块301，用于在线性空间道路纹理的情况，获取目标车辆的中心位置；

所述第一获取模块301还包括:利用最小二乘法对目标车辆的若干个背景区域进行处理得到脊回归公式，对若干个背景区域对应的脊回归公式部分进行循环移位合并简化；对简化后的脊回归公式计算得到频域中的第一权重参数矩阵利用第一权重参数矩阵获取第一响应矩阵R，并对第一响应矩阵R进行傅里叶变换得到频域中的第一响应矩阵计算得到频域中的第一响应矩阵最大的响应值对应的索引，即对应目标车辆的中心位置；

得到的所述脊回归公式如式(1)：

其中，称代表二范数，A₀表示目标车辆循环移位后的样本的特征矩阵；A₁表示目标车辆下方的路面区域循环移位后的样本的特征矩阵；A_i表示目标车辆左侧区域或者上端区域或者右侧区域的背景区域循环移位后的样本的特征矩阵；

λ₁表示在训练过程中，路面纹理区域信息所占的比重；λ₂表示训练过程中A_i对应的噪声区域所占的比重，λ₃表示正则化参数，控制第一权重参数矩阵的复杂度；y₀表示目标车辆的二维高斯矩阵标签；w表示需要回归的第一权重参数矩阵；k₁表示目标车辆周围的背景区域数量；

式(1)分为以下若干个部分：第一部分为表示将目标区域作为正样本训练；第二部分为表示将目标下方道路区域作为正样本训练，由参数λ₁控制对损失的贡献程度；第三部分为表示将目标车辆左侧区域、上端区域以及右侧区域作为噪声训练之和，由参数λ₂控制对损失的贡献程度；第四部分为表示通过正则化进行训练，实现控制权重参数的复杂度，由参数λ₃控制对损失的贡献程度；

然后，将公式(1)对应的区域进行合并，得到简化后的公式(2)：

其中，B和的形式如式(3)所示：

B为循环矩阵，为标签矩阵，表示各个部分的样本空间中的样本所对应的标签值；

通过令得第一权重参数矩阵w，如式(4)：

其中，B^T为B的转置，I表示单位矩阵，表示公式(2)对w求导等于零；

再将公式(4)两边分别进行傅里叶变化后，得到频域中的第一权重参数矩阵如下:

其中，a_i表示第个i区域对应的样本空间中的样本特征矩阵的第一行构成的向量；⊙表示点乘运算；为向量a_i的经过傅里叶变化处理后在频域中的表示形式；表示的共轭转置，所述频域中的第一响应矩阵的获取方法为：

以上一帧的目标车辆的位置为中心，分别以目标车辆的宽的N倍、高的N倍向外侧扩展，将扩展后得到的区域作为搜索区域；

根据循环矩阵的性质，在搜索区域中，以像素为单位，进行横向和纵向上循环移位，每循环移位一次得到一个待检测的样本，待检测的样本组成待检测的样本空间，待检测的样本空间的特征值组成的样本特征矩阵用Z₁表示，样本特征矩阵Z₁与第一权重参数矩阵w进行矩阵运算，得到第一响应矩阵R，如式(6)

R＝Z₁w (6)

并对第一响应矩阵R进行傅里叶变换得到式(7)，式(7)如下：

其中，表示经过傅里叶变换后在频域中的形式；表示经过傅里叶变换后的频域中的形式，表示响应矩阵R经过傅里叶变换处理后在频域中的形式，得到即得到第一响应矩阵R，确定目标车辆的中心位置。

第二获取模块302，用于在非线性空间道路纹理的情况，于对偶空间中获取目标车辆的中心位置对偶空间模块；

所述第二获取模块302还包括：通过核函数将非线性样本空间中的样本映射到线性可分的对偶空间，结合对偶空间中的所有样本的特征向量，获取对偶空间权重参数矩阵w_对偶，训练对偶空间权重参数矩阵w_对偶，获取在频域中第二权重参数矩阵求解频域中第二响应矩阵最大的响应值，最大的响应值对应的索引即目标车辆的中心位置；

对偶空间中，目标车辆的若干个区域经过核函数映射后，对应的样本空间如式(8)所示：

其中，i表示大于等于零且小于目标车辆区域数量的整数，a_im表示第i个区域的第m个样本的特征向量，A_i表示第i个区域的样本所构成的特征矩阵；为特征矩阵A_i映射到线性可分的对偶空间中的表示形式，为循环矩阵B映射到线性可分的对偶空间中的表示形式；为第i个区域的第m个样本的特征向量映射到线性可分的对偶空间中的表示形式；

利用公式(9)计算对偶空间权重参数矩阵w_对偶，式(9)如下：

其中，表示的转置，α表示第二权重参数矩阵，α_i表示第二权重参数矩阵中第i个列向量，b_i表示第i个样本的特征向量，表示第i个样本的特征向量映射到高维线性空间中的特征向量，5m表示第二权重参数矩阵的维度；

获取在频域中第二权重参数矩阵包括：

结合损失函数J(α)求解频域中的第二权重参数矩阵α损失函数J(α)如式(10)所示：

令求解得到频域中的第二权重参数矩阵α，如式(11)所示

其中，K₂为矩阵；通过选择核函数使得矩阵K₂中元素按照顺序变化，保证矩阵K₂仍然为循环矩阵；

然后将代入式获取在对偶空间中第二权重参数矩阵α在频域中的第二权重参数矩阵公式如式(12)所示：

其中，Δ_ij＝diag(m_ij+λ₃),{(i,j)∈{(0,0)}}

Δ_ij＝λ₁diag(m_ij+λ₃),{(i,j)∈{(1,1)}}

Δ_ij＝λ₂diag(m_ij+λ₃),{(i,j)∈{(2,2),(3,3),(4,4)}}

diag(m_ij)表示分块对角矩阵的第i行第j列对应的对角矩阵，如式(13)所示

其中，a_i0表示第i个区域的第0个样本特征向量；a_j0表示第j个区域的第0个样本特征向量；a_jm表示第j个区域的第m个样本特征向量；κ(a_i0,a_j0)表示第i个区域的第0个样本特征向量与第j个区域的第0个样本特征向量之间的核函数；表示第i个区域的第m个样本特征向量与第j个区域的第m个样本特征向量之间的核函数，

求解频域中的第二响应矩阵计算公式如(14)：

Z₂表示：以上一帧的目标车辆位置为中心，分别以目标车辆宽和高的N倍向外扩展，向外扩展后的区域作为搜索区域，在搜索区域中，以像素为单位，横向和纵向循环移位，得到待检测的样本空间，样本空间的样本特征矩阵用Z₂；为Z₂傅里叶变换变换后在频域中的表示形式；为第i个区域对应的参数权重向量的傅里叶变换变换后在频域中的表示形式，得到频域中第二响应矩阵最大的响应值，即为目标车辆的中心位置；

尺度模块303，用于获取目标车辆中心位置后，并与当前帧的图像最优尺度结合，得到更加精确的目标车辆位置；

所述尺度模块还包括303：抽取若干个目标车辆的不同尺度图像作为训练样本，通过最小二乘法对训练样本的尺度序列进行训练得到损失函数J(H)，利用傅里叶变换对损失函数J(H)进行处理，得到J(H^*)，对J(H^*)进行计算得到频域中的第三权重参数矩阵H；再获取尺度响应矩阵R_s，计算尺度响应矩阵R_s中最大值对应的索引对应的尺度，即为当前帧最优图像尺度，得到更加精确的目标车辆位置，对J(H^*)进行计算得到频域中的第三权重参数矩阵H；再获取尺度响应矩阵R_s，计算尺度响应矩阵R_s中最大值对应的索引对应的尺度，即为当前帧最优图像尺度，得到更加精确的目标车辆位置；

设当前帧中目标车辆的图像尺寸大小为W×H，抽取若干个不同尺度的图像作为训练样本并记为S，所述训练样本的尺度序列如式(15)所示：

其中，b表示尺度因子；W表示目标车辆矩形框区域的宽度；H表示目标车辆矩形框区域的高度；S表示样本空间的样本数；为向下取整符号；

通过最小二乘法对式(15)进行计算，得到的损失函数如式(16)所示：

其中，y'表示一维高斯函数产生的标签向量，h表示尺度估计权重参数矩阵，f表示不同尺度提取的样本集特征矩阵；

对J(h)进行傅里叶变换，得到J(H^*)如式(17)所示：

其中，Y'_i为标签向量y'经过傅里叶变换在频域中所对应的向量的第i个元素的值；H^*为尺度估计权重参数矩阵h经过傅里叶变换在频域中表示形式的共轭转置；F_i为样本特征矩阵f中的第i个样本特征向量的傅里叶变换在频域中的表示形式；∑为求和符号，n的取值与S的取值相同；

令求解得到频域中的第三权重参数矩阵H，如式(18)所示：

利用公式(19)计算尺度响应矩阵R_s中最大值对应的索引对应的尺度，就是当前帧最优尺度，式(19)如下：

R_s＝F·H (19)

其中，F为样本特征矩阵f的傅里叶变换后在频域中的表示形式；为的共轭转置；R_s代表计算目标车辆的尺度响应矩阵R_s，尺度响应矩阵R_s中最大值对应的索引对应的尺度，为当前帧最优尺度，得到更加准确的目标车辆位置。

在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于路面纹理上下文信息的多尺度车辆跟踪方法，其特征在于，包括：

S1、对于线性空间道路纹理的情况，获取目标车辆的中心位置；

S2、对于非线性空间道路纹理的情况，在对偶空间中获取目标车辆的中心位置；

S3、获取目标车辆中心位置后，并与当前帧的图像最优尺度结合，得到更加精确的目标车辆位置。

2.根据权利要求1所述的基于路面纹理上下文信息的多尺度车辆跟踪方法，其特征在于，所述步骤S1包括：利用最小二乘法对目标车辆的若干个背景区域进行处理得到脊回归公式，对若干个背景区域对应的脊回归公式部分进行循环移位合并简化；对简化后的脊回归公式计算得到频域中的第一权重参数矩阵利用第一权重参数矩阵获取第一响应矩阵R，并对第一响应矩阵R进行傅里叶变换得到频域中的第一响应矩阵计算得到频域中的第一响应矩阵最大的响应值对应的索引，即对应目标车辆的中心位置；

其中，若干个背景区域中包括路面纹理区域。

3.根据权利要求2所述的基于路面纹理上下文信息的多尺度车辆跟踪方法，其特征在于，所述步骤S1还包括：

得到的所述脊回归公式如式(1)：

其中，称代表二范数，A₀表示目标车辆循环移位后的样本的特征矩阵；A₁表示目标车辆下方的路面区域循环移位后的样本的特征矩阵；A_i表示目标车辆左侧区域或者上端区域或者右侧区域的背景区域循环移位后的样本的特征矩阵；

λ₁表示在训练过程中，路面纹理区域信息所占的比重；λ₂表示训练过程中A_i对应的噪声区域所占的比重，λ₃表示正则化参数，控制第一权重参数矩阵的复杂度；y₀表示目标车辆的二维高斯矩阵标签；w表示需要回归的第一权重参数矩阵；k₁表示目标车辆周围的背景区域数量；

式(1)分为以下若干个部分：第一部分为表示将目标区域作为正样本训练；第二部分为表示将目标下方道路区域作为正样本训练，由参数λ₁控制对损失的贡献程度；第三部分为表示将目标车辆左侧区域、上端区域以及右侧区域作为噪声训练之和，由参数λ₂控制对损失的贡献程度；第四部分为表示通过正则化进行训练，实现控制权重参数的复杂度，由参数λ₃控制对损失的贡献程度；

然后，将公式(1)对应的区域进行合并，得到简化后的公式(2)：

其中，B和的形式如式(3)所示：

B为循环矩阵，为标签矩阵，表示各个部分的样本空间中的样本所对应的标签值；

通过令得第一权重参数矩阵w，如式(4)：

其中，B^T为B的转置，I表示单位矩阵，表示公式(2)对w求导等于零；

再将公式(4)两边分别进行傅里叶变化后，得到频域中的第一权重参数矩阵如下:

其中，a_i表示第个i区域对应的样本空间中的样本特征矩阵的第一行构成的向量；⊙表示点乘运算；为向量a_i的经过傅里叶变化处理后在频域中的表示形式；表示的共轭转置，所述频域中的第一响应矩阵的获取方法为：

以上一帧的目标车辆的位置为中心，分别以目标车辆的宽的N倍、高的N倍向外侧扩展，将扩展后得到的区域作为搜索区域；

根据循环矩阵的性质，在搜索区域中，以像素为单位，进行横向和纵向上循环移位，每循环移位一次得到一个待检测的样本，待检测的样本组成待检测的样本空间，待检测的样本空间的特征值组成的样本特征矩阵用Z₁表示，样本特征矩阵Z₁与第一权重参数矩阵w进行矩阵运算，得到第一响应矩阵R，如式(6)

R＝Z₁w (6)

并对第一响应矩阵R进行傅里叶变换得到式(7)，式(7)如下：

其中，表示经过傅里叶变换后在频域中的形式；表示经过傅里叶变换后的频域中的形式，表示响应矩阵R经过傅里叶变换处理后在频域中的形式，得到即得到第一响应矩阵R，确定目标车辆的中心位置。

4.根据权利要求1所述的基于路面纹理上下文信息的多尺度车辆跟踪方法，其特征在于，所述步骤S2包括：通过核函数将非线性样本空间中的样本映射到线性可分的对偶空间，结合对偶空间中的所有样本的特征向量，获取对偶空间权重参数矩阵w_对偶，训练对偶空间权重参数矩阵w_对偶，获取在频域中第二权重参数矩阵求解频域中第二响应矩阵最大的响应值，最大的响应值对应的索引即目标车辆的中心位置。

5.根据权利要求4所述的基于路面纹理上下文信息的多尺度车辆跟踪方法，其特征在于，所述步骤S2还包括：

对偶空间中，目标车辆的若干个区域经过核函数映射后，对应的样本空间如式(8)所示：

其中，i表示大于等于零且小于目标车辆区域数量的整数，a_im表示第i个区域的第m个样本的特征向量，A_i表示第i个区域的样本所构成的特征矩阵；为特征矩阵A_i映射到线性可分的对偶空间中的表示形式，为循环矩阵B映射到线性可分的对偶空间中的表示形式；为第i个区域的第m个样本的特征向量映射到线性可分的对偶空间中的表示形式；

利用公式(9)计算对偶空间权重参数矩阵w_对偶，式(9)如下：

其中，表示的转置，α表示第二权重参数矩阵，α_i表示第二权重参数矩阵中第i个列向量，b_i表示第i个样本的特征向量，表示第i个样本的特征向量映射到高维线性空间中的特征向量，5m表示第二权重参数矩阵的维度；

获取在频域中第二权重参数矩阵包括：

结合损失函数J(α)求解频域中的第二权重参数矩阵α损失函数J(α)如式(10)所示：

令求解得到频域中的第二权重参数矩阵α，如式(11)所示

其中，K₂为矩阵；通过选择核函数使得矩阵K₂中元素按照顺序变化，保证矩阵K₂仍然为循环矩阵；

然后将代入式获取在对偶空间中第二权重参数矩阵α在频域中的第二权重参数矩阵公式如式(12)所示：

其中，Δ_ij＝diag(m_ij+λ₃),{(i,j)∈{(0,0)}}

Δ_ij＝λ₁diag(m_ij+λ₃),{(i,j)∈{(1,1)}}

Δ_ij＝λ₂diag(m_ij+λ₃),{(i,j)∈{(2,2),(3,3),(4,4)}}

diag(m_ij)表示分块对角矩阵的第i行第j列对应的对角矩阵，如式(13)所示

其中，a_i0表示第i个区域的第0个样本特征向量；a_j0表示第j个区域的第0个样本特征向量；a_jm表示第j个区域的第m个样本特征向量；κ(a_i0,a_j0)表示第i个区域的第0个样本特征向量与第j个区域的第0个样本特征向量之间的核函数；k(a_i0m，a_jm)表示第i个区域的第m个样本特征向量与第j个区域的第m个样本特征向量之间的核函数，

最后求解频域中第二响应矩阵得到频域中第二响应矩阵最大的响应值，即为目标车辆的中心位置。

6.根据权利要求5所述的基于路面纹理上下文信息的多尺度车辆跟踪方法，其特征在于，所述求解频域中的第二响应矩阵计算公式如(14)：

Z₂表示：以上一帧的目标车辆位置为中心，分别以目标车辆宽和高的N倍向外扩展，向外扩展后的区域作为搜索区域，在搜索区域中，以像素为单位，横向和纵向循环移位，得到待检测的样本空间，样本空间的样本特征矩阵用Z₂；为Z₂傅里叶变换变换后在频域中的表示形式；为第i个区域对应的参数权重向量的傅里叶变换变换后在频域中的表示形式。

7.根据权利要求1所述的基于路面纹理上下文信息的多尺度车辆跟踪方法，其特征在于，所述步骤S3包括：抽取若干个目标车辆的不同尺度图像作为训练样本，通过最小二乘法对训练样本的尺度序列进行训练得到损失函数J(H)，利用傅里叶变换对损失函数J(H)进行处理，得到J(H^*)，对J(H^*)进行计算得到频域中的第三权重参数矩阵H；再获取尺度响应矩阵R_s，计算尺度响应矩阵R_s中最大值对应的索引对应的尺度，即为当前帧最优图像尺度，得到更加精确的目标车辆位置，对J(H^*)进行计算得到频域中的第三权重参数矩阵H；再获取尺度响应矩阵R_s，计算尺度响应矩阵R_s中最大值对应的索引对应的尺度，即为当前帧最优图像尺度，得到更加精确的目标车辆位置。

8.根据权利要求7所述的基于路面纹理上下文信息的多尺度车辆跟踪方法，其特征在于，所述步骤S3还包括：

设当前帧中目标车辆的图像尺寸大小为W×H，抽取若干个不同尺度的图像作为训练样本并记为S，所述训练样本的尺度序列如式(15)所示：

其中，b表示尺度因子；W表示目标车辆矩形框区域的宽度；H表示目标车辆矩形框区域的高度；S表示样本空间的样本数；为向下取整符号；

通过最小二乘法对式(15)进行计算，得到的损失函数如式(16)所示：

其中，y'表示一维高斯函数产生的标签向量，h表示尺度估计权重参数矩阵，f表示不同尺度提取的样本集特征矩阵；

对J(h)进行傅里叶变换，得到J(H^*)如式(17)所示：

其中，Y'_i为标签向量y'经过傅里叶变换在频域中所对应的向量的第i个元素的值；H^*为尺度估计权重参数矩阵h经过傅里叶变换在频域中表示形式的共轭转置；F_i为样本特征矩阵f中的第i个样本特征向量的傅里叶变换在频域中的表示形式；∑为求和符号，n的取值与S的取值相同；

求解J(H^*)函数得到第三权重参数矩阵H，利用公式(19)计算尺度响应矩阵R_s中最大值对应的索引对应的尺度，就是当前帧最优尺度，式(19)如下：

R_s＝F·H (19)

其中，F为样本特征矩阵f的傅里叶变换后在频域中的表示形式；为的共轭转置；R_s代表计算目标车辆的尺度响应矩阵R_s，尺度响应矩阵R_s中最大值对应的索引对应的尺度，为当前帧最优尺度，即可得到更加准确的目标车辆位置。

9.根据权利要求8所述的基于路面纹理上下文信息的多尺度车辆跟踪方法，其特征在于，所述求解J(H^*)函数的方法为：

令求解得到频域中的第三权重参数矩阵H，如式(18)所示：

10.一种基于路面纹理上下文信息的多尺度车辆跟踪装置，其特征在于，包括：

第一获取模块(301)，用于在线性空间道路纹理的情况，获取目标车辆的中心位置；

第二获取模块(302)，用于在非线性空间道路纹理的情况，于对偶空间中获取目标车辆的中心位置对偶空间模块；

尺度模块(303)，用于获取目标车辆中心位置后，并与当前帧的图像最优尺度结合，得到更加精确的目标车辆位置。