CN105513092A - 一种用于目标跟踪的模板特征选择方法 - Google Patents

Abstract

本发明公开一种用于目标跟踪的模板特征选择方法，属于视觉跟踪技术领域。该方法用于解决现有的长程目标跟踪过程中，由于模板内非目标匹配点导致的模板跟踪漂移的问题。具体为：首先计算模板内原始匹配特征点对的光流矢量，然后对所计算的光流矢量进行极坐标化，并在极坐标空间内对其进行概率密度统计生成角度分布直方图；最后对角度分布直方图进行中值滤波，获得目标匹配特征点，有效剔除目标模板内的非目标特征点。

Description

一种用于目标跟踪的模板特征选择方法

技术领域

本发明涉及一种视觉跟踪技术，尤其涉及目标跟踪中模板特征点的光流场分析、运动场分析及概率密度分布分析，属于图像处理与模式识别领域。

背景技术

模板跟踪是图像处理与模式识别领域重要的组成部分，被广泛应用于智能监控，人机交互以及无人平台导航等各种系统的视觉跟踪模块中。其基本过程可以描述为：在没有任何先验知识的情况下，用矩形窗口在第一帧图像中选定某个物体(即模板)，然后在后续视频序列中对该物体进行跟踪。

目前，研究者已经对模板跟踪算法进行了大量的研究，其中基于模板特征匹配的LK光流法是最重要的技术手段之一。其技术流程是：首先对目标模板进行特征提取，获得模板内的特征点；然后利用LK光流法在下一帧图像中对各特征点进行跟踪，获得各特征点的匹配特征点，由此形成匹配特征点对；最后通过两帧图像之间匹配特征点(匹配特征点对)的运动场求得两帧图像之间的几何变换关系，并最终获得该帧图像中目标的位置和大小，完成一个跟踪周期。不断重复上述跟踪周期即可在整个视频序列中的实现目标跟踪。该技术手段的假设是：虽然模板内各特征点通过LK光流法被独立跟踪匹配，但是作为被追踪目标的一部分，模板内所有特征点遵循运动一致性。

然而，现有的基于特征匹配的模板跟踪方法的缺点是：随着跟踪周期的不断进行，模板容易发生漂移，并最终导致目标丢失。其主要原因在于，虽然模板内大部分区域被跟踪目标所覆盖，但背景像素不可避免的被引入，进而背景图像中的像素点及背景与目标轮廓的交点也往往被提取为特征点，并被LK光流法跟踪。因此，所获得的两帧图像之间匹配的特征点对中存在非目标特征点对。但是这些非目标特征点并不属于目标的一部分，不符合运动一致性假设，因此对几何变换的求解造成干扰，对下一帧中模板尺寸和位置的估计造成偏差。随着跟踪周期的不断重复，模板内的非目标特征点不断被引入，模板偏差不断积累，并最终造成模板的漂移。

发明内容

为解决目标跟踪过程中由于非目标特征点被引入而造成的模板漂移问题，本发明提出一种用于目标跟踪的模板特征选择方法，通过对两帧图像之间的匹配特征点对形成的光流场进行基于方向分布的概率密度分析，剔除模板中的非目标特征点，从而遏制目标跟踪过程中的模板漂移。

该方法的具体步骤为：

步骤一、计算模板内原始匹配特征点对的光流矢量

设模板内有N个原始匹配特征点对，根据LK光流法跟踪原始匹配特征点，对于第n+1帧图像内的特征点 $P^{n+1}=\left\{p_i^{n+1}\right|p_i^{n+1}=\left(\begin{array}{cc}{x}_i^{n+1}& y_i^{n+1}\end{array}\right),i=1,2,\mathrm{...},N\}$ 和第n帧图像中对应的特征点按照下述公式(1)计算模板内每个原始匹配特征点对的光流矢量d_i(n|n+1),1≤i≤N:

$d_i\left(n\right|n+1)=\left(\begin{array}{cc}{x}_i^{n+1}-x_i^n,& y_i^{n+1}-y_i^n,\end{array}\right),1\≤i\≤N---\left(1\right)$

其中，n为图像帧号；和分别为在第n帧图像I_n和第n+1帧图像I_n+1中对应的第i个特征点，和分别为特征点和特征点在图像坐标系中的坐标；

步骤二、采用极坐标表示模板内原始匹配点对的光流矢量

依据下述公式(2)

得到各原始匹配特征点对的光流矢量的极坐标表示(ρ_i(n|n+1),θ_i(n|n+1))；其中ρ_i(n|n+1)为光流矢量d_i(n|n+1)的长度，θ_i(n|n+1)为光流矢量d_i(n|n+1)的方向角；

步骤三、在极坐标空间内对光流矢量进行概率密度统计，获得光流矢量在每个区间的概率密度，并由此生成角度分布直方图；所述角度分布直方图的单位宽度为Δθ，高度为F_b(j)，其中：Δθ为将光流矢量的极坐标空间等分为J个区间后，每个区间的宽度；F_b(j)光流矢量在第j个区间的概率密度，j＝1,2,…,J；

步骤四、对角度分布直方图进行中值滤波，满足中值滤波条件的区间内的光流矢量的特征点为所跟踪的目标特征点，予以保留；不满足值滤波条件的区间内的光流矢量的特征点为非目标特征点，从模板中删除。

有益效果：

根据目标特征点运动一致性假设，通过对模板内原始匹配特征点对的光流场进行方向分布密度分析，剔除模板内原始匹配特征点对中非目标点(即背景特征点和背景与目标交界特征点)，从而有效抑制目标跟踪过程中模板漂移的问题，大大提高目标跟踪算法的准确性。

附图说明

图1为所述的用于目标跟踪的模板特征选择方法的流程图；

图2为原始匹配特征点光流矢量图；

图3为特征点光流矢量的极坐标图；

图4为特征点光流矢量的角度分布直方图；

图5为目标匹配特征点及其光流矢量图。

具体实施方式

下面结合附图和实施例，对本发明作进一步的详细说明。

本实施例提供一种用于目标跟踪的模板特征选择方法，用于解决目标跟踪过程中由于非目标特征点被引入而造成的模板漂移的问题。

该方法的整体流程如图1所示：

步骤一、计算模板内原始匹配特征点对的光流矢量，获得光流场D(n|n+1)；

设模板内原始匹配特征点对的个数为N，根据LK光流法跟踪到的原始匹配特征点，对第n+1帧图像I_n+1内的特征点 $P^{n+1}=\left\{p_i^{n+1}\right|p_i^{n+1}=\left(\begin{array}{cc}{x}_i^{n+1}& y_i^{n+1}\end{array}\right),i=1,2,\mathrm{...},N\}$ 和第n帧图像I_n中对应的特征点按照下述公式(1)计算模板内每个原始匹配特征点对的光流矢量d_i(n|n+1),1≤i≤N:

$\begin{array}{cc}{d}_i\left(n\right|n+1)=\left(\begin{array}{cc}{x}_i^{n+1}-x_i^n,& y_i^{n+1}-y_i^n,\end{array}\right),& 1\≤i\≤N\end{array}---\left(1\right)$

其中，n为图像帧号；和分别为在第n帧图像I_n和第n+1帧图像I_n+1中对应的第i个特征点，和分别为特征点和特征点在图像坐标系中的坐标；N为模板内原始匹配特征点的总对数。

最终得到模板内原始匹配点的光流场D(n|n+1)＝{d_i(n|n+1)|1≤i≤N}，如图2所示。

步骤二、将模板内原始匹配点的光流场D(n|n+1)极坐标化

根据模板内各原始匹配特征点对的光流矢量d_i(n|n+1)求解以下方程：

得到各原始匹配特征点对的光流矢量的极坐标表示(ρ_i(n|n+1),θ_i(n|n+1))，如图3所示。其中ρ_i(n|n+1)为光流矢量d_i(n|n+1)长度，θ_i(n|n+1)为光流矢量d_i(n|n+1)的方向角。

步骤三、在光流矢量的极坐标空间内对其进行概率密度统计并生成角度分布直方图，具体步骤为：

(301)将极坐标0～360°的角度范围等分为J个区间，其中每个区间宽度为Δθ；

(302)统计落入第j个区间内的光流矢量的个数S_j，j＝1,2,…,J；然后按下述公式(2)求出光流矢量在第j个区间的概率密度F_b(j)：

$\begin{array}{cc}{F}_b\left(j\right)=\frac{S_j}{N},& j=1,2,\mathrm{...},J\end{array}$

(303)根据步骤(302)所计算的第j个区间的概率密度F_b(j)，在0～360°的角度范围内对光流矢量的分布建立角度分布直方图，如图4所示；其中直方图各单位宽度为Δθ，高度为F_b(j)。

步骤四、对角度分布直方图进行中值滤波，获得目标匹配特征点，具体步骤为：

(401)对角度分布直方图进行去重处理，得到单一的角度直方图幅值unique(F_b(j))；

(402)对单一的角度直方图幅值按大小进行排序，找到其中间值median(unique(F_b(j)))；

(403)以中间值median(unique(F_b(j)))为门限，如果第j个区间的直方图幅值unique(F_b(j))满足：

unique(F_b(j))≥median(unique(F_b(j)))，j＝1,2,…,J

则认为处于第j个区间内的光流矢量的特征点为所跟踪的目标特征点，予以保留；相反，认为不满足该条件的区间内的光流矢量的特征点为非目标特征点，予以删除；最后保留的特征点即为模板内的目标特征点，如图5所示。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种用于目标跟踪的模板特征选择方法，其特征在于，具体步骤为：

步骤一、计算模板内原始匹配特征点对的光流矢量

设模板内有N个原始匹配特征点对，根据LK光流法跟踪原始匹配特征点，对于第n+1帧图像内的特征点 $P^{n+1}=\left\{p_i^{n+1}\right|p_i^{n+1}=\left(\begin{array}{cc}{x}_i^{n+1}& y_i^{n+1}\end{array}\right),i=1,2,\mathrm{...},N\}$ 和第n帧图像中对应的特征点 $P^n=\left\{p_i^n\right|p_i^n=\left(\begin{array}{cc}{x}_i^n& y_i^n\end{array}\right),i=1,2,\mathrm{...},N\},$ 按照下述公式(1)计算模板内每个原始匹配特征点对的光流矢量d_i(n|n+1)，1≤i≤N:

$d_i\left(n\right|n+1)=\left(\begin{array}{cc}{x}_i^{n+1}-x_i^n,& y_i^{n+1}-y_i^n\end{array}\right),1\≤i\≤N---\left(1\right)$

其中，n为图像帧号；和分别为在第n帧图像I_n和第n+1帧图像I_n+1中对应的第i个特征点， $\left(\begin{array}{cc}{x}_i^n& y_i^n\end{array}\right)$ 和 $\left(\begin{array}{cc}{x}_i^{n+1}& y_i^{n+1}\end{array}\right)$ 分别为特征点和特征点在图像坐标系中的坐标；

步骤二、采用极坐标表示模板内原始匹配点对的光流矢量

依据下述公式(2)

得到各原始匹配特征点对的光流矢量的极坐标表示(ρ_i(n|n+1)，θ_i(n|n+1))；其中ρ_i(n|n+1)为光流矢量d_i(n|n+1)的长度，θ_i(n|n+1)为光流矢量d_i(n|n+1)的方向角；

步骤三、在极坐标空间内对光流矢量进行概率密度统计，获得光流矢量在每个区间的概率密度，并由此生成角度分布直方图；所述角度分布直方图的单位宽度为Δθ，高度为F_b(j)，其中：Δθ为将光流矢量的极坐标空间等分为J个区间后，每个区间的宽度；F_b(j)光流矢量在第j个区间的概率密度，j＝1，2，…，J；

步骤四、对角度分布直方图进行中值滤波，满足中值滤波条件的区间内的光流矢量的特征点为所跟踪的目标特征点，予以保留；不满足值滤波条件的区间内的光流矢量的特征点为非目标特征点，从模板中删除。

2.如权利要求1所述的用于目标跟踪的模板特征选择方法，其特征在于，所述步骤三生成角度分布直方图的具体步骤为：

(301)将极坐标0～360°的角度范围等分为J个区间，其中每个区间宽度为Δθ；

(302)统计落入第j个区间内的光流矢量的个数S_j，j＝1，2，…，J，求出光流矢量在第j个区间的概率密度F_b(j)：

$F_b\left(j\right)=\frac{S_j}{N},j=1,2,\mathrm{...},J$

(303)根据步骤(302)所计算的光流矢量在第j个区间的概率密度F_b(j)，在0～360°的角度范围内对光流矢量的分布建立角度分布直方图。

3.如权利要求1或2所述的用于目标跟踪的模板特征选择方法，其特征在于，所述步骤四中对角度分布直方图进行中值滤波的具体步骤为：

(401)对角度分布直方图进行去重处理，得到单一的角度直方图幅值unique(F_b(j))；

(402)对单一的角度直方图幅值按大小进行排序，获得其中间值median(unique(F_b(j)))；

(403)以中间值median(unique(F_b(j)))为门限，如果第j个区间的直方图幅值unique(F_b(j))满足：

unique(F_b(j))≥median(unique(F_b(j)))，j＝1，2，…，J

则认为其满足中值滤波条件，否则，认为其不满足中值滤波条件。