CN108280845B - 一种针对复杂背景的尺度自适应目标跟踪方法 - Google Patents

Abstract

一种针对复杂背景的尺度自适应目标跟踪方法，包括以下步骤：1)给定初始帧待跟踪的目标前景区域R_t，在目标周围选择一定大小区域作为目标的背景区域；2)在目标背景区域采用随机扰动的方法选择一定量的目标背景候选区域R_b；3)计算目标背景候选区域的距离矩阵S，该矩阵的任一元素S(i,k)表示第i个背景候选区域和第k个背景候选区域的距离，然后通过AP聚类算法选择n背景候选区域的中心作为目标的背景区域；4)将步骤3)选的目标背景候选区域和目标前景特征提取；5)构建训练样本；6)构建相关滤波器；7)目标跟踪，利用6)中求解的w实现目标跟踪。本发明精确度较高且鲁棒性较好。

Description

一种针对复杂背景的尺度自适应目标跟踪方法

技术领域

本发明属于视觉目标跟踪技术领域，尤其是一种针对复杂背景的尺度自适应目标跟踪方法。

背景技术

基于视觉的目标跟踪是计算机领域的一个基础问题，近年来随着硬件计算性能的提高和图像特征提取技术的进步，越来越多的优秀目标跟踪算法被提出。但是由于目标跟踪场景的不确定性和被跟踪目标的随机性，当前的目标跟踪算法仍然面临巨大挑战。如目标遮挡、光照变化、复杂背景、目标快速移动以及噪声干扰等。

视频目标跟踪方法自20世纪70年代起一直受到人们的高度重视，虽然研究人员针对各种问题提出了许多方法，但迄今为止仍然不存在一个普遍适用的理论和方法，最近几年又出现了许多新思路、新方法或改进算法。视频目标跟踪方法由四个基本模块组成：目标表观特征建模，目标状态搜索，多目标状态关联以及跟踪模型更新。其中目标表观特征建模是根据初始帧的目标区域和后续帧中目标候选区域提取有用的目标特征，然后通过统计学习的方法构造目标观测模型。从一般意义上来说，目标表观特征建模包括两个子模块，即目标特征提取和模型学习。其中特征提取方法的优劣会直接影响到跟踪模型的可靠性和稳定性，而特征模型是整个跟踪算法的核心。目标状态搜索首先根据目标的运动状态进行模型构建，然后通过此运动模型对下一帧的目标状态进行预测。目标状态关联主要是针对多目标跟踪算法，当被跟踪目标存在两个或者两个以上的时候，跟踪算法需要对被跟踪目标进行时空匹配，即保证前后两帧图像中的目标为同一个体。目标模型的更新主要是由于目标在跟踪过程中表观模型(姿态，光照变化等)会发生变化，为了保证跟踪模型能够应这些，因此需要对跟踪模型进行更新。

当前目标表观特征建模主要是根据初始帧中的目标区域提取有用目标表观特征，如HOG，SIFT，Color Names，以及卷积神经网络(CNN)特征等，然后利用统计学习算法(逻辑回归，相关滤波器，支持向量机，决策树等)对目标特征建模。但是这些方法主要是根据目标本身的特征进行目标跟踪的，而忽略了目标背景信息对跟踪算法的影响。因为缺乏目标背景信息的监督，而导致训练的目标表观模型判别性不够，在复杂背景和信噪比较低的情况下会出现目标漂移和跟踪失败的情况。

发明内容

为了克服现有的目标跟踪算法存在的精确度较低、鲁棒性较差的不足，被发明在相关滤波器和卷积神经网络特征的基础上，本发明提出了一种针对复杂背景的目标跟踪方法，该方法充分利用了目标前景和目标背景信息构建一种更加的鲁邦的目标跟踪方法，且该方法能够自适应估计目标的尺度变化，从而实现一种精确度较高且鲁棒性较好的视觉跟踪方法。

本发明解决其技术问题所采用的技术方案是：

一种针对复杂背景的尺度自适应目标跟踪方法，所述的跟踪方法包括以下步骤：

1)给定初始帧待跟踪的目标前景区域R_t，在目标周围选择一定大小区域作为目标的背景区域；

2)在目标背景区域采用随机扰动的方法选择一定量的目标背景候选区域R_b，目标背景候选区域的尺度与被跟踪目标尺度保持一致；选定的背景候选的框的中心应该位于R_b中，且目标前景区域的后目标背景候选框的重叠率overlap要小于等于预设阈值，overlap定义为

3)计算目标背景候选区域的距离矩阵S，该矩阵的任一元素S(i,k)表示第i个背景候选区域和第k个背景候选区域的距离，该距离定义为负欧式距离如式(1)所示：

然后通过AP聚类算法选择n背景候选区域的中心作为目标的背景区域；

4)将步骤3)选的目标背景候选区域和目标前景特征提取，过程如下：

4.1)将目标前景区域和被选择的目标背景区域通过高速模糊的方法降低噪声影响；

4.2)将目标前景区域和被选择的目标背景通过差值的方法调整为(224*224)的分辨率；

4.3)将差值后的目标的前景和背景区域输入VGG-16模型，将VGG第一个Relu层输出的卷积特征作为目标背景特征表达，然后生成对应样本的循环矩阵(B¹,B²,...,Bⁿ)；

5)构建训练样本，过程如下：

5.1)以初始帧标定的目标前景R_t为基样本，构建R_t的循环矩阵A⁰和对应的样本标签矩阵y⁰，y⁰服从Gaussian分布，y⁰的峰值为1,该峰值位于y⁰的中心位置；

5.2)以目标前景R_t的中心为中心，目标的初始化尺度为基准，根据预设的比例从原始图像中选取新的目标前景，表示为

其对应的循环矩阵表示为(A¹,A²,A³,A⁴)，并以此作为退化的正样本，并生成退化正样本的服从Gaussian分布的标签矩阵(y¹,y²,y³,y⁴)，且(y¹,y²,y³,y⁴)的中心峰值均为设定值；

5.3)以选择的背景区域作为负样本，并生成这些目标背景区域的循环矩阵，记为(B¹,B²,...,Bⁿ)；

6)构建相关滤波器，利用5.1)和5.2)步骤中生成的样本和标签矩阵构建相关滤波器，如式(2)：

其中，T表示表示目标前景R_t的循环矩阵，T＝[A⁰,A¹,A²,A³,A⁴]^T，Bⁱ表示第i被选择的目标背景区域的循环矩阵，w表示待求解的相关滤波器参数，y表示服从Gaussian分部的样本标签矩阵，y＝[y⁰,y¹,y²,y³,y⁴]^T，n表示被选择的目标背景区域数量，λ₁和λ₂分辨表示对应的项的正则化系数；

7)目标跟踪，利用6)中求解的w实现目标跟踪，过程如下：

收到新一帧图像时，首先选取的该图像的一个矩形兴趣区域I_roi，I_roi的中心与上一帧跟踪到的目标中心位置相同，I_roi的长和宽均为上一帧目标的长和宽的2倍，利用式(3)计算目标响应图：

其中，I_roi是I_roi的循环矩阵形式，

表示逆傅里叶变换运算，R表示得到的图像响应图，然后把R相应最大的位置p作为目标中心位置，为了进一步确定目标的尺度大小，以p为中心，前一帧目标的尺度大小为基准，根据1:1.2，1:0.8，0.8:1，1.2:1的比例生成新的目标候选区域T＝{T¹，T²，T³，T⁴}，然后计算每个候选区域的响应图的最大值{r¹，r²，r³，r⁴}，把值最大的rⁱ,i∈{1,2,3,4}，对应的目标候选区域Tⁱ作为跟踪结果。

本发明的有益效果主要表现在：提出一种同时利用目标前景和背景信息共同构建目标表观模型的方法。该方法在传统基于相关滤波器跟踪器的基础上，通过选择具有代表性的目标背景信息并以此作为训练样本求解相关滤波器，将目标前景和背景之间的距离拉大。同时本发明将与目标真实尺度不同的正样本作为退化样本，使本方法的相关滤波器对目标尺度更加敏感，从而实现在复杂背景下精确目标跟踪。

附图说明

图1是目标前景和目标背景选择区域示意图。

图2是利用目标前景和目标背景信息训练相关滤波器。

图3是利用退化正的正样本训练尺度自适应相关滤波器。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种针对复杂背景的尺度自适应目标跟踪算法，包括以下步骤：

1)给定初始帧待跟踪的目标前景区域R_t，在目标周围选择一定大小区域作为目标的背景区域；

2)在目标背景区域采用随机扰动的方法选择一定量的目标背景候选区域R_b，目标背景候选区域的尺度与被跟踪目标尺度保持一致；选定的背景候选的框的中心应该位于R_b中，且目标前景区域的后目标背景候选框的重叠率overlap要小于等于预设阈值0.3，overlap定义为

3)目标背景信息挖掘，过程如下：

3.1)在R_b区域通过随机扰动的方式生成与目标R_t尺度相同的目标背景候选区域；

3.2)对所选择的背景候选区域进行Gaussion滤波处理，目标是降低背景中噪声的干扰；

3.3)计算背景候选区域的相似度的矩阵S，该矩阵的任一元素S(i,k)表示第i个背景候选区域和第k个背景候选区域的距离，该距离定义为负欧式距离如式(1)所示：

3.4)进行AP聚类，选择背景候选区域的中心作为目标背景，

首先初始化每一个目标背景的参考度p(i)，然后计算任意两个目标背景之间的吸引度r(i,k)和归属度a(i,k)。

p(i)指的是第i个目标背景作为聚类中心的参考度，其值一般初始化为相似度的矩阵S的中值。吸引度r(i,k)用来描述点k适合作为数据点i的聚类中心的程度，归属度a(i,k)用来描述点i选择点k作为其聚类中心的适合程度。

聚类过程中，共有两种消息在各节点间传递，分别是吸引度r(i,k)和归属度a(i,k)，AP算法通过迭代过程不断更新每一个点的吸引度和归属度值，其更新策略如下

公式(4)(5)(6)中，r(i,k)表示样本i和k之前的吸引度，a(i,k)表示样本i和k之前的归属度。

4)生成训练样本，过程如下：

4.1)将步骤3)选的目标背景候选区域和目标前景特征提取，将目标前景区域和被选择的目标背景区域通过高速模糊的方法降低噪声影响；

4.2)将选择的n个目标背景通过差值的方法调整为(224*224)的分辨率；

4.3)将差值后的目标背景区域输入VGG-16模型，将VGG第一个Relu层输出的卷积特征作为目标背景特征表达，然后生成对应样本的循环矩阵(B¹,B²,...,Bⁿ)；

5)构建训练样本，过程如下：

5.1)以初始帧标定的目标前景R_t为基样本，构建R_t的循环矩阵A⁰和对应的样本标签矩阵y⁰，y⁰服从Gaussian分布，y⁰的峰值为1,该峰值位于y⁰的中心位置；

5.2)以目标前景R_t的中心为中心，目标的初始化尺度为基准，根据预设的比例从原始图像中选取新的目标前景，表示为

其对应的循环矩阵表示为(A¹,A²,A³,A⁴)，并以此作为退化的正样本，并生成退化正样本的服从Gaussian分布的标签矩阵(y¹,y²,y³,y⁴)，且(y¹,y²,y³,y⁴)的中心峰值均为设定值；

5.3)以选择的背景区域作为负样本，并生成这些目标背景区域的循环矩阵，记为(B¹,B²,...,Bⁿ)；

6)构建相关滤波器，利用5.1)和5.2)步骤中生成的样本和标签矩阵构建相关滤波器，如式(2)：

其中，T表示表示目标前景R_t的循环矩阵，T＝[A⁰,A¹,A²,A³,A⁴]^T，Bⁱ表示第i被选择的目标背景区域的循环矩阵，w表示待求解的相关滤波器参数，y表示服从Gaussian分部的样本标签矩阵，y＝[y⁰,y¹,y²,y³,y⁴]^T，n表示被选择的目标背景区域数量，λ₁和λ₂分辨表示对应的项的正则化系数；

7)目标跟踪，利用6)中求解的w实现目标跟踪，过程如下：

收到新一帧图像时，首先选取的该图像的一个矩形兴趣区域I_roi，I_roi的中心与上一帧跟踪到的目标中心位置相同，I_roi的长和宽均为上一帧目标的长和宽的2倍，利用式(3)计算目标响应图：

其中，I_roi是I_roi的循环矩阵形式，

表示逆傅里叶变换运算，R表示得到的图像响应图，然后把R相应最大的位置p作为目标中心位置，为了进一步确定目标的尺度大小，以p为中心，前一帧目标的尺度大小为基准，根据1:1.2，1:0.8，0.8:1，1.2:1的比例生成新的目标候选区域T＝{T¹，T²，T³，T⁴}，然后计算每个候选区域的响应图的最大值{r¹，r²，r³，r⁴}，把值最大的rⁱ,i∈{1,2,3,4}，对应的目标候选区域Tⁱ作为跟踪结果。

Claims (1)

1.一种针对复杂背景的尺度自适应目标跟踪方法，其特征在于：所述的跟踪方法包括以下步骤：

1)给定初始帧待跟踪的目标前景区域R_t，在目标周围选择一定大小区域作为目标的背景区域；

2)在目标背景区域采用随机扰动的方法选择一定量的目标背景候选区域R_b，目标背景候选区域的尺度与被跟踪目标尺度保持一致；选定的背景候选的框的中心应该位于R_b中，且目标前景区域与目标背景候选框的重叠率overlap要小于等于预设阈值，overlap定义为

3)计算目标背景候选区域的距离矩阵S，该矩阵的任一元素S(i,k)表示第i个背景候选区域和第k个背景候选区域的距离，该距离定义为负欧式距离如式(1)所示：

然后通过AP聚类算法选择n背景候选区域的中心作为目标的背景区域；

4)将步骤3)选的目标背景候选区域和目标前景特征提取，过程如下：

4.1)将目标前景区域和被选择的目标背景区域通过高速模糊的方法降低噪声影响；

4.2)将目标前景区域和被选择的目标背景通过差值的方法调整为224*224的分辨率；

4.3)将差值后的目标的前景和背景区域输入VGG-16模型，将VGG第一个Relu层输出的卷积特征作为目标背景特征表达，然后生成对应样本的循环矩阵(B¹,B²,...,Bⁿ)；

5)构建训练样本，过程如下：

5.1)以初始帧标定的目标前景R_t为基样本，构建R_t的循环矩阵A⁰和对应的样本标签矩阵y⁰，y⁰服从Gaussian分布，y⁰的峰值为1,该峰值位于y⁰的中心位置；

5.2)以目标前景R_t的中心为中心，目标的初始化尺度为基准，根据预设的比例从原始图像中选取新的目标前景，表示为

其对应的循环矩阵表示为(A¹,A²,A³,A⁴)，并以此作为退化的正样本，并生成退化正样本的服从Gaussian分布的标签矩阵(y¹,y²,y³,y⁴)，且(y¹,y²,y³,y⁴)的中心峰值均为设定值；

5.3)以选择的背景区域作为负样本，并生成这些目标背景区域的循环矩阵，记为(B¹,B²,...,Bⁿ)；

6)构建相关滤波器，利用5.1)和5.2)步骤中生成的样本和标签矩阵构建相关滤波器，如式(2)：

其中，T表示表示目标前景R_t的循环矩阵，T＝[A⁰,A¹,A²,A³,A⁴]^T，Bⁱ表示第i被选择的目标背景区域的循环矩阵，v表示待求解的相关滤波器参数，y表示服从Gaussian分部的样本标签矩阵，y＝[y⁰,y¹,y²,y³,y⁴]^T，n表示被选择的目标背景区域数量，λ₁和λ₂分辨表示对应的项的正则化系数；

7)目标跟踪，利用6)中求解的v实现目标跟踪，过程如下：

收到新一帧图像时，首先选取的该图像的一个矩形兴趣区域

的中心与上一帧跟踪到的目标中心位置相同，

的长和宽均为上一帧目标的长和宽的2倍，利用式(3)计算目标响应图：

其中，I_roi是

的循环矩阵，

表示逆傅里叶变换运算，R表示得到的图像响应图，然后把R相应最大的位置p作为目标中心位置，为了进一步确定目标的尺度大小，以p为中心，前一帧目标的尺度大小为基准，根据1:1.2，1:0.8，0.8:1，1.2:1的比例生成新的目标候选区域T＝{T¹，T²，T³，T⁴}，然后计算每个候选区域的响应图的最大值{r¹，r²，r³，r⁴}，把值最大的rⁱ,i∈{1,2,3,4}，对应的目标候选区域Tⁱ作为跟踪结果。

Images