CN103345762A - 基于流形学习的贝叶斯视觉跟踪方法 - Google Patents

Abstract

本发明提供了一种基于流形学习的贝叶斯视觉跟踪方法，包括以下步骤：S1，提出一种新的流行学习算法得到本质流形，将图像观测数据集X＝[x₁,x₂,…,x_n]与低维流形上面的点集Y＝[y₁,y₂,…,y_n]分别对应，且低维流形表面的每个点可以通过y_i＝[x,y,z]^T＝f(μ,ν)来表示，其中i＝1,2,…,n；S2，进行反向映射学习，得到从低维流形空间到高维图像观测空间的映射函数g及其相关的系数矩阵B；S3，结合步骤S1与S2的处理结果进行贝叶斯跟踪处理，最终给出跟踪结果。本发明主要用于解决动态环境下对人体的跟踪问题，它是一种基于本质变量保持的流形构建的新型贝叶斯跟踪算法，可以实现对目标的准确跟踪，具有较强的鲁棒性。

Description

基于流形学习的贝叶斯视觉跟踪方法

技术领域

本发明涉及一种行人跟踪算法，特别涉及一种基于流形学习的贝叶斯视觉跟踪方法。

背景技术

在计算机视觉领域，对图像或者视频中的行人身体进行跟踪和姿态判别是一个负有挑战性的难点。被跟踪的目标往往是图像中的一块由高维数据表示的区域，通常是该区域像素的灰度值。

传统的跟踪方法试图提取显著性特征来将目标区域和非目标区域进行区分。典型的该类算法需要一个由物理特征表示的目标模型，这些特征可以是颜色、形状、或者是纹理等。这样跟踪问题可以通过寻找视觉观测中与目标模型具有最小误差的候选者作为新目标而解决。但是这些算法的性能往往受环境光照的剧烈变化或者目标运动的影响，因为所使用的特征在这些极端情况下不是足够的稳定。

近年来提出了另外一种类型的算法，能够对高维数据进行学习，将其嵌入到低维流形中去。尽管跟踪的目标，例如人的身体或者头部，由高维图像数据表示，但是目标的行为和姿态往往处在一个本质低维流形上。基于这种设想，很多研究工作试图在低维子空间而不是原始的高维空间中解决目标跟踪与姿态判别问题。

文献“Tracking People on a Torus”(A.Elgammal and C.S.Lee,IEEE Trans.PatternAnal.Mach.Intell.,vol31,no.3,pp.520-538,2009.)认为人的身体姿态流形是一个具有两个本质维度：身体姿态和水平视角，但处于三维欧式空间中的圆环体，并且基于这个流形实现了人体跟踪。文献“Learning an intrinsic variable preserving manifoldfor dynamic visual tracking”(H.Qiao,P.Zhang,B.Zhang,and S.W.Zheng,IEEE.Trans.Syst.Man.Cybern.Part B,vol.40,no.3,pp.868-880,2010)中，提出了一种本质变量保持的流形学习算法（IVPML），能够在降维学习的同时很好的保留训练样本的本质变量，并且成功的应用于动态视觉跟踪中，但是该视觉跟踪算法是通过邻域搜索的方式实现的，这种方法在实际应用中可能不是很稳定。

发明内容

本发明针对上述现有技术存在的问题作出改进，即本发明在上述两文献的基础上结合贝叶斯跟踪框架，构建一种更加有效的跟踪算法，并且应用于实际跟踪中。在本发明跟踪算法中，不仅通过新的流形学习方法训练了从观测空间到流形空间的映射函数，也学习了能够从流形空间恢复出图像观测数据的反向映射。目标的位置和姿态在流形空间中进行预测而在观测空间得到验证。

为了解决上述技术问题，本发明提供了如下的技术方案：

基于流形学习的贝叶斯视觉跟踪方法，包括以下步骤：

S1，提出一种新的流行学习算法得到本质流形，将图像观测数据集X＝[x₁,x₂,…,x_n]与低维流形上面的点集Y＝[y₁,y₂,…,y_n]分别对应，且低维流形表面的每个点可以通过y_i＝[x,y,z]^T＝f(μ,ν)来表示，其中i＝1,2,…,n；

S2，进行反向映射学习，得到从低维流形空间到高维图像观测空间的映射函数g及其相关的系数矩阵B；

S3，结合步骤S1与S2的处理结果进行贝叶斯跟踪处理，最终给出跟踪结果。

在步骤S1中，所述一种新的流形学习算法，不仅可以将人体训练数据嵌入到本质维度空间，而且能够同时保持训练数据集的邻域关系和全局拓扑。在步骤S1和S2中，为了将嵌入流形的点与其对应的高维观测数据准确的联系起来，基于降维学习和核回归方法学习了一种灵活的双向映射。在步骤S3中，基于贝叶斯理论，通过对流形空间上的粒子与图像中的观测数据之间的相互验证，目标可以准确的被跟踪。同时，在流形上粒子的不断更新的过程中，目标的状态也可以估计出来。

进一步地，步骤S1包括以下步骤：

S11，构建邻接图和邻接图的几何结构，并用G来描述，用x₁,x₂,…,x_n来表示其中的训练点集；

S12，选择权重，用矩阵W来表示图G的权重矩阵，对于权重矩阵中的数据，根据不同情况选择不同的权重值；

S13，特征映射，让X＝[x₁,x₂,…,x_n]表示训练数据矩阵，低维表达可以通过Y^T＝E^TX得到，E是一个映射矩阵。

进一步地，在步骤S2中，所述的系数矩阵B是指反向映射函数的系数矩阵，令Z＝[z₁,z₂,…,z_n]表示恢复出的观测空间，Y＝[y₁,y₂,…,y_n]表示其在本质流形空间中对应的低维点集，这里z_i∈R^h而y_i∈R^l，并且l＜＜h；设这个非线性反向映射函数g:R^l→R^h有下面的形式：

z_i＝g(y_i):＝Bk(y_i)   （1）

其中B＝[b₁,b₂,…,b_n]是一个h×n的系数矩阵，并且

k(y_i)＝[k₁(y_i,y₁),k₂(y_i,y₂),…k_n(y_i,y_n)]^T   （2）

是一个关于y_i的特征函数，

是一个核函数。

进一步地，步骤S3包括以下步骤：

S31，初始化，在视频中选择初始目标x₁，通过比较x₁和训练集X中每一个训练数据，选择本质流形上的对应点y₁＝f(μ₁,ν₁)，通过在y₁点周围采样初始化粒子集合

$\{y_{{1,k}_p},{\mathrm{\π}}_{{1,k}_p}|k_p\∈[1,n^{\left(p\right)}]\},$ 其中 ${\mathrm{\π}}_{1,k_p}={1/n}^{\left(p\right)};$

S32，获取候选者，在第t帧，在图像中根据上一帧的目标位置x_t-1进行采样得到候选者数据集合

所述采样过程是在图像的不同尺度下按照确定的x和y坐标步长进行的；

S33，更新粒子，在第t帧中，按照粒子权重越大则有越大的概率被选择的规则对t-1帧中的粒子集合 $\left\{y_{t-1,k_p,}{\mathrm{\π}}_{t-1,k_p}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\}$ 重新采样，用 $\left\{y_{t,k_p}^{\′}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\}$ 来表示新粒子集合，对所述新粒子集合添加高斯白噪声，得到第t帧的粒子集合

$\left\{y_{t,k_p}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\}.;$

S34，确定新的目标，通过双向映射分别在观测空间和流形空间中计算候选者 $\left\{x_{t,k_c}\right|k_c\∈\left[{1.n}^{\left(c\right)}\right]\}$ 与粒子 $\left\{y_{t,k_p}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\}$ 之间的相似度，候选者通过降维函数y＝E^Tx映射到流形空间中，而粒子通过（1）式恢复出观测图像，即可寻找最优的候选者x_t作为第t帧的目标。

S35，更新粒子权重，计算每个粒子与新目标x_t的相似度作为粒子集合

的在第t帧的权重，所述第t帧的权重需要按照 $\underset{k_p=1}{\overset{n^{\left(p\right)}}{\mathrm{\Σ}}}{\mathrm{\π}}_{t,k_p}=1$ 进行标准化；

S36，返回所述S32步对新一帧进行处理从而继续跟踪处理过程。

进一步地，步骤S34所述的双向映射为S13所述的特征映射和S2所述的反向映射，S13将高维观测图像降至流形空间中与粒子计算相似度，S2将低维粒子还原成图像，计算与观测图像之间的相似度。

本发明提出的一种基于流形学习的贝叶斯视觉跟踪方法，与传统的跟踪方法相比较，算法性能不会受环境光照的剧烈变化或目标运动的影响，具有足够的稳定性；与较新的基于邻域搜索的视觉跟踪算法相比较，本发明算法中，不仅通过新的流形学习方法训练了从观测空间到流形空间的映射函数，也学习了能够从流形空间恢复出图像观测数据的反向映射，目标的位置和姿态在流形空间中进行预测而在观测空间得到验证。此外，在实际的应用中，对人体跟踪的结果也较稳定。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明一个优选的实施例的方法流程图；

图2是本发明实施例提出的算法应用于动态坏境下的人体跟踪效果示意图。

具体实施方式

如图1所示，本发明公开一种基于流形学习的贝叶斯视觉跟踪方法，包括以下步骤：

第一步，提出一种新的流行学习算法得到本质流形，将图像观测数据集X＝[x₁,x₂,…,x_n]与低维流形上面的点集Y＝[y₁,y₂,…,y_n]分别对应，且低维流形表面的每个点可以通过y_i＝[x,y,z]^T＝f(μ,ν)来表示，其中i＝1,2,…,n；

第二步，进行反向映射学习，得到从低维流形空间到高维图像观测空间的映射函数g及其相关的系数矩阵B；

第三步，结合步骤S1与S2的处理结果进行贝叶斯跟踪处理，最终给出跟踪结果。

第一步提出一种新的流形学习算法，具体方法如下：

1）构建邻接图和它的几何结构，并用G来描述，用x₁,x₂,…,x_n来表示其中的训练点集；

2）选择权重，用矩阵W来表示图G的权重矩阵，对于权重矩阵中的数据，我们有如下的定义：

i）如果x_i和x_j在坐标μ或者υ上相邻，那么令权重值W_ij＝c_μ或者c_υ。c_μ和c_υ是人为设定的常量；

ii）如果图中两个点不是邻居但是通过一条路径相连，那么计算这两个点之间的最短路作为权重；

iii）如果图中两个点不连通，那么给它们之间设置一个很大的值作为权重。

3）特征映射，让X＝[x₁,x₂,…,x_n]表示训练数据矩阵，那么低维表达可以通过Y^T＝E^TX得到，E是一个映射矩阵。流形学习算法就是为了解决某个优化问题而得到该映射矩阵。

第二步进行的反向映射学习，得到从低维流形空间到高维图像观测空间的映射函数g及其相关的系数矩阵B，具体的方法如下：

令Z＝[z₁,z₂,…,z_n]表示恢复出的观测空间，Y＝[y₁,y₂,…,y_n]表示其在本质流形空间中对应的低维点集这里

而

并且l＜＜h。假定这个非线性反向映射函数g:R^l→R^h有下面的形式：

z_i＝g(y_i):＝Bk(y_i)   （1）

其中B＝[b₁,b₂,…,b_n]是一个h×n的系数矩阵，并且

k(y_i)＝[k₁(y_i,y₁),k₂(y_i,y₂),…k_n(y_i,y_n)]^T   （2）

是一个关于y_i的特征函数。

是一个核函数，通常我们选择高斯核作为核函数。系数矩阵B可以通过解决最小化问题得到，在训练阶段，B是通过对图像观测数据和对应的流形上面的训练数据点计算得到。

结合第一步与第二步的结果，第三步的贝叶斯跟踪算法具体方法如下：

1）初始化，在视频中选择初始目标x₁。通过比较x₁和训练集X中每一个训练数据，选择本质流形上的对应点y₁＝f(μ₁,ν₁)。通过在y₁点周围采样初始化粒子集合 $\{y_{{1,k}_p},{\mathrm{\π}}_{{1,k}_p}|k_p\∈[1,n^{\left(p\right)}]\},$ 其中 ${\mathrm{\π}}_{1,k_p}={1/n}^{\left(p\right)}.$

2）获取候选者，在第t帧，在图像中根据上一帧的目标位置x_t-1进行采样得到候选者数据集合

这个采样过程是在图像的不同尺度下按照确定的x和y坐标步长进行的。

3）更新粒子，在第t帧中，按照粒子权重越大则有越大的概率被选择的规则对t-1帧中的粒子集合

重新采样。这种重要性随机采样可以通过对[0,1]上的均匀分布按照粒子的累积权重进行采样得到。值得注意的是先前的粒子集合中的某些点可能被重新选择了好几次，而另外一些点则被抛弃掉。我们用 $\left\{y_{t,k_p}^{\′}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\}$ 来表示新的粒子集合。

对这个新粒子集合添加高斯白噪声，然后我们就得到了第t帧的粒子集合

$\left\{y_{t,k_p}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\}.$

4）确定新的目标，通过双向映射分别在观测空间和流形空间中计算候选者 $\left\{x_{t,k_c}\right|k_c\∈\left[{1.n}^{\left(c\right)}\right]\}$ 与粒子 $\left\{y_{t,k_p}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\}$ 之间的相似度。候选者可以通过降维函数y＝E^Tx映射到流形空间中，而粒子可以通过式（1）恢复出观测图像。用此方法寻找最优的候选者x_t作为第t帧的目标。

5）更新粒子权重，计算每个粒子与新目标x_t的相似度作为粒子集合 $\left\{y_{t,k_p}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\}$ 的在第t帧的权重，这些权重需要按照 $\underset{k_p=1}{\overset{n^{\left(p\right)}}{\mathrm{\Σ}}}{\mathrm{\π}}_{t,k_p}=1$ 进行标准化。

6）返回第2）步对新一帧进行处理从而继续跟踪的处理过程。

本方法的训练样本是针对同一个人采集的视频中截取而来的，将人体按照36个水平角度和42个步行姿态来进行拍摄和采样。测试的视频是在户外环境中的智能车辆上采集的，视频分辨率是640×480，视频的帧率是30帧每秒，视频数据流是在移动电脑系统中进行处理的。

如图2，根据上述具体的实施方式，对街道转弯处的行人人体跟踪处理，在照相机的视野中，目标快速的从左边运动到右边，算法可以准确的跟踪上目标，可以证明本发明所提供的方法能够有效的进行行人跟踪，虽然某些帧里面目标窗口比人体稍大一些，但是在接下来几帧中又会缩放至与人体区域相适应，足以体现本发明的跟踪算法在动态环境下的鲁棒性。

综上，本发明提出的一种基于流形学习的贝叶斯视觉跟踪方法，与传统的跟踪方法相比较，算法性能不会受环境光照的剧烈变化或目标运动的影响，具有足够的稳定性；与较新的基于邻域搜索的视觉跟踪算法相比较，本发明算法中，不仅通过新的流形学习方法训练了从观测空间到流形空间的映射函数，也学习了能够从流形空间恢复出图像观测数据的反向映射，目标的位置和姿态在流形空间中进行预测而在观测空间得到验证。此外，在实际的应用中，对人体跟踪的结果也较稳定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于流形学习的贝叶斯视觉跟踪方法，其特征在于：

包括以下步骤：

S1，提出一种新的流行学习算法得到本质流形，将图像观测数据集X＝[x₁,x₂,…,x_n]与低维流形上面的点集Y＝[y₁,y₂,…,y_n]分别对应，且低维流形表面的每个点可以通过y_i＝[x,y,z]^T＝f(μ,ν)来表示，其中i＝1,2,…,n；

S2，进行反向映射学习，得到从低维流形空间到高维图像观测空间的映射函数g及其相关的系数矩阵B；

S3，结合步骤S1与S2的处理结果进行贝叶斯跟踪处理，最终给出跟踪结果。

2.如权利要求1所述的基于流形学习的贝叶斯视觉跟踪方法，其特征在于：步骤S1进一步的包括以下步骤：

S11，构建邻接图和邻接图的几何结构，并用G来描述，用x₁,x₂,…,x_n来表示其中的训练点集；

S12，选择权重，用矩阵W来表示图G的权重矩阵，对于权重矩阵中的数据，根据不同情况选择不同的权重值；

S13，特征映射，让X＝[x₁,x₂,…,x_n]表示训练数据矩阵，低维表达可以通过Y^T＝E^TX得到，E是一个映射矩阵。

3.如权利要求1所述的基于流形学习的贝叶斯视觉跟踪方法，其特征在于：在步骤S2中，所述的系数矩阵B是指反向映射函数的系数矩阵，令Z＝[z₁,z₂,…,z_n]表示恢复出的观测空间，Y＝[y₁,y₂,…,y_n]表示其在本质流形空间中对应的低维点集，这里z_i∈R^h而y_i∈R^l，并且l＜＜h；设这个非线性反向映射函数g:R^l→R^h有下面的形式：

z_i＝g(y_i):＝Bk(y_i)   （1）

其中B＝[b₁,b₂,…,b_n]是一个h×n的系数矩阵，并且

k(y_i)＝[k₁(y_i,y₁),k₂(y_i,y₂),…k_n(y_i,y_n)]^T   （2）

是一个关于y_i的特征函数，

是一个核函数。

4.如权利要求1所述的基于流形学习的贝叶斯视觉跟踪方法，其特征在于：步骤S3进一步的包括以下步骤：

S31，初始化，在视频中选择初始目标x₁，通过比较x₁和训练集X中每一个训练数据，选择本质流形上的对应点y₁＝f(μ₁,ν₁)，通过在y₁点周围采样初始化粒子集合 $\left\{y_{1,k_p,}{\mathrm{\π}}_{1,k_p}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\},$ 其中 ${\mathrm{\π}}_{1,k_p}={1/n}^{\left(p\right)};$

S32，获取候选者，在第t帧，在图像中根据上一帧的目标位置x_t-1进行采样得到候选者数据集合所述采样过程是在图像的不同尺度下按照确定的x和y坐标步长进行的；

S33，更新粒子，在第t帧中，按照粒子权重越大则有越大的概率被选择的规则对t-1帧中的粒子集合 $\left\{y_{t-1,k_p,}{\mathrm{\π}}_{t-1,k_p}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\}$ 重新采样，用 $\left\{y_{t,k_p}^{\′}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\}$ 来表示新粒子集合，对所述新粒子集合添加高斯白噪声，得到第t帧的粒子集合

$\left\{y_{t,k_p}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\}.;$

S34，确定新的目标，通过双向映射分别在观测空间和流形空间中计算候选者 $\left\{x_{t,k_c}\right|k_c\∈\left[{1.n}^{\left(c\right)}\right]\}$ 与粒子 $\left\{y_{t,k_p}\right|k_p\∈\left[{1,n}^{\left(p\right)}\right]\}$ 之间的相似度，候选者通过降维函数y＝E^Tx映射到流形空间中，而粒子通过（1）式恢复出观测图像，即可寻找最优的候选者x_t作为第t帧的目标。

S35，更新粒子权重，计算每个粒子与新目标x_t的相似度作为粒子集合

的在第t帧的权重，所述第t帧的权重需要按照进行标准化；

S36，返回所述S32步对新一帧进行处理从而继续跟踪处理过程。

5.如权利要求4所述的基于流形学习的贝叶斯视觉跟踪方法，其特征在于：步骤S34所述的双向映射为S13所述的特征映射和S2所述的反向映射，S13将高维观测图像降至流形空间中与粒子计算相似度，S2将低维粒子还原成图像，计算与观测图像之间的相似度。

Images