CN111008991A - 一种背景感知的相关滤波目标跟踪方法 - Google Patents

Abstract

本发明提供了一种背景感知的相关滤波目标跟踪方法，其特征在于：首先通过发掘大范围搜索范围内具有较高置信度的目标候选区，提取多组循环样本组后，由干扰物感知滤波器来进行滤波检测；滤波器执行双任务，从所有候选区中选择出最高置信度的候选区，并通过相关性回归在候选区上估计出一个初步目标位置。基于初步位置，使用基于标准相关滤波器的位置回归器来实现精细回归，获得精确目标位置。本发明方法的背景感知学习拓展了模型感知范围，并有针对性地抑制干扰区的响应；多锚点检测有效地拓展了目标搜索范围，提高了在快速运动、严重遮挡等情况下的跟踪成功率；渐进式目标搜索策略起到数据对齐效应，从而减轻了边缘效应影响。

Description

一种背景感知的相关滤波目标跟踪方法

技术领域

本发明涉及图像处理与分析技术领域，具体地说，涉及一种基于背景感知的相关滤波目标跟踪方法。

背景技术

目标跟踪长久以来都是图像分析领域一个重要的研究课题，在视频监控、人机交互、导航与无人设备等领域都有非常丰富的应用。近年来，伴随着视觉特征表达和统计机器学习的发展，目标跟踪算法的思路也发生了较大的变化。大体上可分为两类：一类是生成式，此类算法以最小化目标重构误差为准则建立模型，注重对目标外观进行有效建模，搜索目标时，根据已建立的目标外观模型寻找最高置信的样本。跟踪过程中，目标外观变化不定，难以得到全局统一的有效表达，同时该算法对背景判别能力弱，易受背景类似物严重干扰。一类是判别式，该算法主要是基于回归模型或“目标-背景”的二分类模型实现跟踪。其优化目标是学习目标与背景的差异。从搜索区以一定的采样策略获取候选样本，然后用训练好的判别器逐一检测并以检测分数最大的候选样本作为估计的当前帧目标。

基于相关滤波器的跟踪算法是今年来一类非常重要的判别式跟踪算法。其基于循环采样的岭回归模型，训练出来的相关滤波器相比之前的跟踪算法能够兼具高速度和优秀的跟踪能力。相关滤波跟踪虽然有多方面的优点，但也存在不少重要的缺陷。其中，最重要的一个缺点是边缘效应，极大的限制了相关滤波算法的性能。

除此之外，目标跟踪算法还面临目标外观突变，运动状态突变、复杂的视频场景、遮挡、暂时性离开视野等诸多难点与问题。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种基于背景感知的相关滤波目标跟踪方法；该方法解决了在边缘效应的约束下，实现大范围、高效的目标搜索，并让滤波器学习更多背景样本，抑制干扰物的滤波响应，提出的渐进式目标搜索框架逐步对齐搜索区和训练区的分布，缓解了边缘效应，提升目标跟踪的精度和抗干扰能力。

为了达到上述目的，本发明通过下述技术方案予以实现：一种背景感知的相关滤波目标跟踪方法,其特征在于：包括如下步骤：

S1步，给定第一帧图像I₁和第一帧图像中目标位置p₁；提取训练区基础样本，计算出标准相关滤波器F_R；提取较高置信度目标候选区的多组循环样本，并利用多组循环样本训练干扰物感知滤波器F_D；

S2步，输入下一帧图像作为当前帧，在大范围的搜索区内寻找目标相似物，得到具有较高置信度的目标候选区W；

S3步，在目标候选区W中以多个目标相似物中心为锚点，提取多组循环样本组，使用干扰物感知滤波器F_D进行滤波检测，得到初步目标位置P_C；

S4步，基于初步位置P_C，使用基于标准相关滤波器F_R的位置回归器F_R来实现精细回归，获得精确的目标位置P_R；

S5步，判断当前帧是否为最后一帧图像：若是，则结束；否则跳至S2步。

优选地，在所述S1步中，标准相关滤波器F_R的数学解为：

其中，

表示对应量的傅里叶变换，“⊙”表示逐元素点乘，“*”表示共轭变换，x表示基础循环样本，y表示循环样本的类高斯分布标签集，λ表示正则化因子。

优选地，所述S2步中，较高置信度的目标候选区W发掘方法是首先获取大范围的搜索区内目标置信度的空间分布，然后基于该空间分布，用非极大值抑制策略确定少量高置信的位置。

优选地，所述较高置信度的目标候选区W发掘方法是首先获取大范围的搜索区内目标置信度的空间分布，然后基于该空间分布，用非极大值抑制策略确定少量高置信的位置，是指采用如下方式之一：

方式一、基于像素级特征的贝叶斯决策模型发掘：

首先分别对目标候选区及目标候选区周围邻域进行像素直方图统计，得到目标候选区及目标候选区周围邻域的颜色统计信息；

然后根据贝叶斯原理，建立用于描述目标候选区及目标候选区周围邻域颜色关系的颜色概率模型；

像素属于目标候选区的概率为：

T表示目标候选区，S表示目标邻域，H_T(b_x)是指在目标候选区中只属于颜色直方图区间bin的像素个数，H_S(b_x)是指在目标候选区周围邻域中只属于颜色直方图区间bin的像素个数；

H_T(b_x)＝∑_T,r[k(r；σ)·H_r(b_x)]

H_S(b_x)＝∑_S,r[k(r；σ)·H_r(b_x)]

其中，径向权重k(r；σ)＝1-(r/σ)²，r表示该像素与目标候选区中心的距离，σ是归一化因子；

之后基于颜色概率模型，对下一帧图像每个像素进行前景概率估计，分别累乘各个目标候选区内所有像素的前景概率，得到各个目标候选区的置信度，以概率的形式输出搜索区的目标位置置信分布，从而得到具有较高置信度的目标候选区W；

目标候选区的置信度概率计算公式：

其中，x_i表示第i个像素点，T表示目标候选区，

表示像素点x_i颜色属于直方图中的第b区间；H表示搜索区域；

方式二、基于孪生网络的目标候选区发掘：同时输入目标图像和搜索区图像，然后通过权值共享神经网络进行度量特征表达，分别获得目标图像和搜索区图像的特征图；之后经过互相关层的卷积层，一次性获得搜索区各位置的图像块与目标的相似度分数，将相似度分数高的图像块作为具有较高置信度的目标候选区W。这里的目标图像是指第一帧以给定的目标位置p₁为中心的图像区域。

优选地，所述S3步包括如下步骤：

S3.1步，设发掘的目标相似物的外包框集合为{R_i}，计算{R_i}中个元素与前一帧目标相似物的外包框重叠率{O_i}；若{O_i}的最小值min{O_i}>ε，其中ε为阈值参数，则将前一帧目标相似物中心也作为一个锚点加入到锚点集合，得到多锚点检测的锚点集{A_i}；

S3.2步，以各锚点为中心提取多组循环样本组{C(z_i)}，其中{C(z_i)}表示以z_i为基础样本的循环偏移样本组，使用干扰物感知滤波器F_D对循环样本组{C(z_i)}进行滤波检测，得到以各锚点为中心的目标候选区W的滤波响应图{R}；计算各滤波响应图峰值{s_i}及获取滤波响应峰值位置；

S3.3步，计算各锚点的位置先验分数

其中r_i表示各锚点与前一帧目标位置的距离，σ为归一化因子；

S3.4步，根据融合的目标置信分数

确定最高置信分数的目标候选区，并以该目标候选区的滤波响应峰值位置作为当前帧的初步目标位置P_C。

优选地，所述S1步的干扰物感知滤波器F_D训练方法如下：

其中，t表示目标图像区域，d_i表示第i个干扰物图像区域，λ₁为模型正则化项系数，

干扰物权重；y是当t＝1时目标初始位置以及t>1时输出的最终跟踪结果；

在所述S3.2步中，干扰物感知滤波器F_D的滤波检测方法为：

其中，z表示循环样本组{C(z_i)}中的若干个样本；

在使用多锚点检测得到的多个锚点区域使用干扰物滤波器，可得到各个锚点位置的傅里叶逆变换得到的置信度分数，选取其中置信分数最大的锚点作为初步目标位置P_C，

优选地，在所述S5步中，在判定当前帧不是最后一帧图像时，则更新干扰物感知滤波器F_D；设定当前帧为视频的第F帧，干扰物感知滤波器F_D更新函数为：

其中，

θ_T和θ_D分别是目标样本和干扰物样本的初始权重，γ_D和γ_T为控制权重衰减速度的固定超参；在初始化模型时(即第一帧)，设置θ_T,f＝1＝1，第二帧之后θ_T,f＞1＜＜1，θ_D＜θ_T。

优选地，在所述S5步中，在判定当前帧不是最后一帧图像时，则更新标准滤波器F_R，设定当前帧为视频的第F帧，以精确位置P_R,f＝F为中心提取基础样本用于更新模型：

计算出滤波器参数h，使用学习率lr对h和h_F-1进行线性加权，获得更新后的标准滤波器：h_F＝Linear(h,h_F-1,lr)。

与现有技术相比，本发明具有如下优点与有益效果：

本发明提出的背景感知学习拓展了模型感知范围，并有针对性地抑制干扰区的响应；采用的多锚点检测策略有效地拓展了目标搜索范围，提高了在快速运动、严重遮挡等情况下的跟踪成功率；“候选区集-初步定位-精确回归”的渐进式目标搜索策略起到数据对齐的效应，从而减轻了边缘效应的影响，增大了模型预测的可靠性和准确性，位置精调器还能减少误差累积和防止模型漂移。

附图说明

图1是本发明方法的流程示意图；

图2是本发明方法中目标候选区发掘的方法一示意图；

图3是本发明方法中目标候选区发掘的方法二示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细的描述。

实施例

本实施例一种背景感知的相关滤波目标跟踪方法,其流程如图1所示，包括如下步骤：

S1步，给定第一帧图像I₁和第一帧图像中目标位置p₁；提取训练区基础样本，计算出标准相关滤波器F_R；提取较高置信度目标候选区的多组循环样本，并利用多组循环样本训练干扰物感知滤波器F_D；

S2步，输入下一帧图像作为当前帧，在大范围的搜索区内寻找目标相似物，得到具有较高置信度的目标候选区W；

S3步，在目标候选区W中以多个目标相似物中心为锚点，提取多组循环样本组，使用干扰物感知滤波器F_D进行滤波检测，得到初步目标位置P_C；

S4步，基于初步位置P_C，使用基于标准相关滤波器F_R的位置回归器F_R来实现精细回归，获得精确的目标位置P_R；

S5步，判断当前帧是否为最后一帧图像：若是，则结束；否则跳至S2步。

在所述S1步中，标准相关滤波器F_R的数学解为：

其中，

表示对应量的傅里叶变换，“⊙”表示逐元素点乘，“*”表示共轭变换，x表示基础循环样本，y表示循环样本的类高斯分布标签集，λ表示正则化因子。

所述S1步的干扰物感知滤波器F_D训练方法如下：

其中，t表示目标图像区域，d_i表示第i个干扰物图像区域，λ₁为模型正则化项系数，

干扰物权重；y是当t＝1时目标初始位置以及t>1时输出的最终跟踪结果。

所述S2步中，较高置信度的目标候选区W发掘方法是首先获取大范围的搜索区内目标置信度的空间分布，然后基于该空间分布，用非极大值抑制策略确定少量高置信的位置。

具体地说，是指采用如下方式之一：

方式一、如图2所示，基于像素级特征的贝叶斯决策模型发掘：

首先分别对目标候选区及目标候选区周围邻域进行像素直方图统计，得到目标候选区及目标候选区周围邻域的颜色统计信息；

然后根据贝叶斯原理，建立用于描述目标候选区及目标候选区周围邻域颜色关系的颜色概率模型；

像素属于目标候选区的概率为：

T表示目标候选区，S表示目标邻域，H_T(b_x)是指在目标候选区中只属于颜色直方图区间bin(即第b个区间)的像素个数，H_S(b_x)是指在目标候选区周围邻域中只属于颜色直方图区间bin的像素个数；

H_T(b_x)＝∑_T,r[k(r；σ)·H_r(b_x)]

H_S(b_x)＝Σ_s,r[k(r；σ)·H_r(b_x)]

为了是模型更关心中心区域像素，采用径向权重k(r；σ)＝1-(r/σ)²，r表示该像素与目标候选区中心的距离，σ是归一化因子；

之后基于颜色概率模型，对下一帧图像每个像素进行前景概率估计，分别累乘各个目标候选区内所有像素的前景概率，得到各个目标候选区的置信度，以概率的形式输出搜索区的目标位置置信分布，从而得到具有较高置信度的目标候选区W；

目标候选区的置信度概率计算公式：

其中，x_i表示第i个像素点，T表示目标候选区，

表示像素点x_i颜色属于直方图中的第b区间；H表示搜索区域。

方式二、如图3所示，基于孪生网络的目标候选区发掘：同时输入目标图像和搜索区图像，然后通过权值共享神经网络进行度量特征表达，分别获得目标图像和搜索区图像的特征图；之后经过互相关层的卷积层，一次性获得搜索区各位置的图像块与目标的相似度分数，将相似度分数高的图像块作为具有较高置信度的目标候选区W。这里的目标图像是指第一帧以给定的目标位置p₁为中心的图像区域。

所述S3步包括如下步骤：

S3.1步，设发掘的目标相似物的外包框集合为{R_i}，计算{R_i}中个元素与前一帧目标相似物的外包框重叠率{O_i}；若{O_i}的最小值min{O_i}>ε，其中ε为阈值参数，则将前一帧目标相似物中心也作为一个锚点加入到锚点集合，得到多锚点检测的锚点集{A_i}；

S3.2步，以各锚点为中心提取多组循环样本组{C(z_i)}，其中{C(z_i)}表示以z_i为基础样本的循环偏移样本组，使用干扰物感知滤波器F_D对循环样本组{C(z_i)}进行滤波检测，得到以各锚点为中心的目标候选区W的滤波响应图{R}；计算各滤波响应图峰值{s_i}及获取滤波响应峰值位置；

S3.3步，计算各锚点的位置先验分数

其中r_i表示各锚点与前一帧目标位置的距离，σ为归一化因子；

S3.4步，根据融合的目标置信分数

确定最高置信分数的目标候选区，并以该目标候选区的滤波响应峰值位置作为当前帧的初步目标位置P_C。

在所述S3.2步中，干扰物感知滤波器F_D的滤波检测方法为：

其中，z表示循环样本组{C(z_i)}中的若干个样本；

在使用多锚点检测得到的多个(一般是1～3个)锚点区域使用干扰物滤波器，可得到各个锚点位置的傅里叶逆变换得到的置信度分数，选取其中置信分数最大的锚点作为初步目标位置P_C，

在所述S5步中，在判定当前帧不是最后一帧图像时，则更新干扰物感知滤波器F_D；设定当前帧为视频的第F帧，干扰物感知滤波器F_D更新函数为：

其中，

θ_T和θ_D分别是目标样本和干扰物样本的初始权重，γ_D和γ_T为控制权重衰减速度的固定超参；在初始化模型时(即第一帧)，设置θ_T,f＝1＝1，第二帧之后θ_T,f＞1＜＜1，θ_D＜θ_T；

将干扰物感知滤波器F_D更新函数简写成：

A_T,B_T,B_D可按照如下更新：

则干扰物感知滤波器F_D可表示为：

即滤波器更新时，可以对A_T,B_T,B_D三项分别进行线性插值的滑动平均更新，学习率为lr＝1-γ_T。

在所述S5步中，在判定当前帧不是最后一帧图像时，则更新标准滤波器F_R，设定当前帧为视频的第F帧，以精确位置P_R,f＝F为中心提取基础样本用于更新模型：

计算出滤波器参数h，使用学习率lr对h和h_F-1进行线性加权，获得更新后的标准滤波器：h_F＝Linear(h,h_F-1,lr)。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种背景感知的相关滤波目标跟踪方法,其特征在于：包括如下步骤：

S1步，给定第一帧图像I₁和第一帧图像中目标位置p₁；提取训练区基础样本，计算出标准相关滤波器F_R；提取较高置信度目标候选区的多组循环样本，并利用多组循环样本训练干扰物感知滤波器F_D；

S2步，输入下一帧图像作为当前帧，在大范围的搜索区内寻找目标相似物，得到具有较高置信度的目标候选区W；

S3步，在目标候选区W中以多个目标相似物中心为锚点，提取多组循环样本组，使用干扰物感知滤波器F_D进行滤波检测，得到初步目标位置P_C；

S4步，基于初步位置P_C，使用基于标准相关滤波器F_R的位置回归器F_R来实现精细回归，获得精确的目标位置P_R；

S5步，判断当前帧是否为最后一帧图像：若是，则结束；否则跳至S2步。

2.根据权利要求1所述的背景感知的相关滤波目标跟踪方法,其特征在于：在所述S1步中，标准相关滤波器F_R的数学解为：

其中，

表示对应量的傅里叶变换，“⊙”表示逐元素点乘，“*”表示共轭变换，x表示基础循环样本，y表示循环样本的类高斯分布标签集，λ表示正则化因子。

3.根据权利要求1所述的背景感知的相关滤波目标跟踪方法,其特征在于：所述S2步中，较高置信度的目标候选区W发掘方法是首先获取大范围的搜索区内目标置信度的空间分布，然后基于该空间分布，用非极大值抑制策略确定少量高置信的位置。

4.根据权利要求3所述的背景感知的相关滤波目标跟踪方法,其特征在于：所述较高置信度的目标候选区W发掘方法是首先获取大范围的搜索区内目标置信度的空间分布，然后基于该空间分布，用非极大值抑制策略确定少量高置信的位置，是指采用如下方式之一：

方式一、基于像素级特征的贝叶斯决策模型发掘：

首先分别对目标候选区及目标候选区周围邻域进行像素直方图统计，得到目标候选区及目标候选区周围邻域的颜色统计信息；

然后根据贝叶斯原理，建立用于描述目标候选区及目标候选区周围邻域颜色关系的颜色概率模型；

像素属于目标候选区的概率为：

T表示目标候选区，S表示目标邻域，H_T(b_x)是指在目标候选区中只属于颜色直方图区间bin的像素个数，H_S(b_x)是指在目标候选区周围邻域中只属于颜色直方图区间bin的像素个数；

H_T(b_x)＝∑_T,r[k(r；σ)·H_r(b_x)]

H_S(b_x)＝∑_S,r[k(r；σ)·H_r(b_x)]

其中，径向权重k(r；σ)＝1-(r/σ)²，r表示该像素与目标候选区中心的距离，σ是归一化因子；

之后基于颜色概率模型，对下一帧图像每个像素进行前景概率估计，分别累乘各个目标候选区内所有像素的前景概率，得到各个目标候选区的置信度，以概率的形式输出搜索区的目标位置置信分布，从而得到具有较高置信度的目标候选区W；

目标候选区的置信度概率计算公式：

其中，x_i表示第i个像素点，T表示目标候选区，

表示像素点x_i颜色属于直方图中的第b区间；H表示搜索区域；

方式二、基于孪生网络的目标候选区发掘：同时输入目标图像和搜索区图像，然后通过权值共享神经网络进行度量特征表达，分别获得目标图像和搜索区图像的特征图；之后经过互相关层的卷积层，一次性获得搜索区各位置的图像块与目标的相似度分数，将相似度分数高的图像块作为具有较高置信度的目标候选区W。这里的目标图像是指第一帧以给定的目标位置p₁为中心的图像区域。

5.根据权利要求4所述的背景感知的相关滤波目标跟踪方法,其特征在于：所述S3步包括如下步骤：

S3.1步，设发掘的目标相似物的外包框集合为{R_i}，计算{R_i}中个元素与前一帧目标相似物的外包框重叠率{O_i}；若{O_i}的最小值min{O_i}>ε，其中ε为阈值参数，则将前一帧目标相似物中心也作为一个锚点加入到锚点集合，得到多锚点检测的锚点集{A_i}；

S3.2步，以各锚点为中心提取多组循环样本组{C(z_i)}，其中{C(z_i)}表示以z_i为基础样本的循环偏移样本组，使用干扰物感知滤波器F_D对循环样本组{C(z_i)}进行滤波检测，得到以各锚点为中心的目标候选区W的滤波响应图{R}；计算各滤波响应图峰值{s_i}及获取滤波响应峰值位置；

S3.3步，计算各锚点的位置先验分数

其中r_i表示各锚点与前一帧目标位置的距离，σ为归一化因子；

S3.4步，根据融合的目标置信分数

确定最高置信分数的目标候选区，并以该目标候选区的滤波响应峰值位置作为当前帧的初步目标位置P_C。

6.根据权利要求5所述的背景感知的相关滤波目标跟踪方法,其特征在于：所述S1步的干扰物感知滤波器F_D训练方法如下：

其中，t表示目标图像区域，d_i表示第i个干扰物图像区域，λ₁为模型正则化项系数，

干扰物权重；y是当t＝1时目标初始位置以及t>1时输出的最终跟踪结果；

在所述S3.2步中，干扰物感知滤波器F_D的滤波检测方法为：

其中，z表示循环样本组{C(z_i)}中的若干个样本；

在使用多锚点检测得到的多个锚点区域使用干扰物滤波器，可得到各个锚点位置的傅里叶逆变换得到的置信度分数，选取其中置信分数最大的锚点作为初步目标位置P_C，

7.根据权利要求6所述的背景感知的相关滤波目标跟踪方法,其特征在于：在所述S5步中，在判定当前帧不是最后一帧图像时，则更新干扰物感知滤波器F_D；设定当前帧为视频的第F帧，干扰物感知滤波器F_D更新函数为：

其中，

θ_T和θ_D分别是目标样本和干扰物样本的初始权重，γ_D和γ_T为控制权重衰减速度的固定超参；在初始化模型时(即第一帧)，设置θ_T,f＝1＝1，第二帧之后θ_T,f＞1＜＜1，θ_D＜θ_T。

8.根据权利要求6所述的背景感知的相关滤波目标跟踪方法,其特征在于：在所述S5步中，在判定当前帧不是最后一帧图像时，则更新标准滤波器F_R，设定当前帧为视频的第F帧，以精确位置P_R,f＝F为中心提取基础样本用于更新模型：

计算出滤波器参数h，使用学习率lr对h和h_F-1进行线性加权，获得更新后的标准滤波器：h_F＝Linear(h,h_F-1,lr)。

Images