CN113327272B - 一种基于相关滤波的鲁棒性长时跟踪方法 - Google Patents

Abstract

本发明公开了一种基于相关滤波的鲁棒性长时跟踪方法，包括利用初始帧图像初始化滤波器；对于后续帧图像，提取当前帧图像搜索区域的特征图，与上一帧图像训练得到的滤波器进行互相关匹配，得到响应图；判断响应图对应跟踪结果的可靠等级，若跟踪结果不可靠，则重新检测目标，否则以响应图中峰值位置作为目标中心位置，并更新滤波器：当跟踪结果为一般可靠，以当前帧搜索区域的显著性图作为目标函数中自适应空间正则项的权重对滤波器进行训练；当跟踪结果为可靠，采用传统的负高斯型空间正则项权重对滤波器进行训练。本发明在目标跟踪失败时进行重检，在跟踪过程中，自适应调整目标函数中空间正则项的权重，增强了复杂场景下目标跟踪的鲁棒性。

Description

一种基于相关滤波的鲁棒性长时跟踪方法

技术领域

本发明涉及基于计算机视觉的目标跟踪领域，尤其是一种基于相关滤波的鲁棒性长时跟踪方法。

背景技术

目标跟踪作为计算机视觉领域内的一个基础问题，逐渐成为目前的研究热点。目标跟踪在实时计算机视觉中扮演着重要角色，例如智能监视系统，智能交通控制，无人机监控，自动驾驶和人机交互等。由于目标跟踪的智能性和重要性而受到了广泛关注。传统意义上目标跟踪定义为，在视频序列第一帧给定目标框的位置，包括目标的中心位置以及大小，在接下来的视频序列中自动给出该目标的位置框。

目标跟踪方法由于观测模型的不同一般分为两种类型，它们分别是生成式方法和判别式方法。生成式方法采用生成式观测模型，其通常寻找与目标模板最相似的候选框作为跟踪结果，这一过程可视为模板匹配的过程，其代表性方法有字典学习和稀疏编码等。判别式方法则采用判别式观测模型，训练分类器来区分目标与背景，代表性方法有相关滤波。在本发明中，选用了近年来成为目标跟踪主流方法的相关滤波方法。相关滤波目标跟踪过程，即通过每一帧的视频序列图像学习得到滤波器，在本帧图像中对搜索区域进行滤波处理得到响应图，在响应图中最大值的位置就是本帧图像中目标中心的位置。目标跟踪的过程可以理解为对待搜索区域图像进行相关滤波的过程，定位目标就可以理解为定位响应图中的最大值位置。以最早将相关操作引入跟踪过程的MOSSE跟踪器为例，其利用输出结果的最小均方误差训练滤波器。定义相关滤波器为H，第i帧的训练图像为F_i，期望输出为G_i，则第i帧的目标函数为：

将训练得到的滤波器与搜索区域进行相关操作得到响应图。响应分数的大小反映了该处图像与初始目标的相关性，选定响应值最大值处作为目标的中心的位置。相关滤波在训练滤波器的过程中容易受到样本数量不足的影响，所以通常采用循环采样方法，将中心图像块循环移位来增加样本。而由于循环矩阵时域和频域的特殊性质，在训练过程中，矩阵求逆转变为简单的矩阵点除，在跟踪过程中，相关操作变为频域内的点乘。由于运算量的降低，跟踪速度得到了显著提升。

相关滤波具有实时性的优势，但是当视频序列过长，出现目标严重形变，遮挡等情况时，跟踪会出现漂移，得到错误的跟踪结果。因为这些干扰项的出现会影响滤波器的判别性，导致跟踪失败。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于相关滤波的鲁棒性长时跟踪方法，以增强复杂场景下目标跟踪的鲁棒性。

本发明采用的技术方案如下：

一种基于相关滤波的鲁棒性长时跟踪方法，包括：

根据初始帧图像中目标中心位置及目标框尺寸初始化滤波器；

对于后续帧图像，均执行以下操作：

读取当前帧图像，提取当前帧图像搜索区域的多尺度的特征图，将提取的特征图与上一帧图像训练得到的滤波器进行互相关匹配，得到响应图；

根据设计的可靠性评价方法判断所述响应图对应跟踪结果的可靠等级，若判断跟踪结果不可靠，则重新检测目标；若判断跟踪结果可靠，则以响应图中的峰值位置作为目标中心位置，并选取其对应的尺度作为目标框尺寸；

根据跟踪结果的可靠等级在目标函数中选取不同的空间正则项权重更新滤波器。

进一步的，所述可靠性评价方法基于响应图的峰值旁瓣比PSR对跟踪结果的可靠等级进行判定。

进一步的，所述可靠性评价方法，包括：计算响应图的峰值旁瓣比PSR，以历史各帧图像的响应图的峰值旁瓣比PSR的平均值为基准，若当前帧图像的PSR与历史平均值的比值低于第一阈值，则判定跟踪结果不可靠，若当前帧图像的PSR与历史平均值的比值高于第二阈值，则判定跟踪结果可靠，若当前帧图像的PSR与历史平均值的比值位于第一阈值和第二阈值之间，则判定跟踪结果一般可靠。

进一步的，所述重新检测目标，方法包括：利用当前帧图像之前的若干帧图像的跟踪结果对目标的运动状态进行预测，确定目标最可能出现的区域，根据该最可能出现的区域的显著性图确定新的目标中心位置。

进一步的，所述根据该最可能出现的区域的显著性图确定新的目标中心位置，包括：在此最可能出现的区域提取显著性图，以显著性图中显著值最高的位置作为重检测得到的目标中心位置，结合上一帧的目标框尺寸得到重检测的跟踪结果；若重检测得到的目标中心位置与上一帧目标中心位置的距离低于一定阈值，则以重检测的跟踪结果作为当前帧的跟踪结果，否则，不采用重检测的跟踪结果。

进一步的，所述利用当前帧图像之前的若干帧图像的跟踪结果对目标的运动状态进行预测，包括：选取当前帧图像之前若干帧图像，计算每相邻两帧之间目标中心位置的差值，根据所有差值得到运动矢量，对运动矢量基于选择的历史帧数进行平均，得到当前帧图像中目标最可能的运动方向。

进一步的，所述根据跟踪结果的可靠等级更新滤波器，包括：当跟踪结果为一般可靠，计算当前帧搜索区域的显著性图，作为训练时目标函数中自适应空间正则项的权重，对滤波器进行训练；当跟踪结果为可靠，采用负高斯型空间正则项权重对滤波器进行训练。

进一步的，所述自适应空间正则项的权重的计算方法包括：提取待搜索区域的显著性图，只保留待搜索区域中当前帧目标框位置内的显著性图，进行归一化操作并和负高斯型权重点乘。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明基于相关滤波的目标跟踪方法进行设计，保证了跟踪的效率，为实时跟踪提供了便利条件。此外，本发明在复杂场景-如目标变形、遮挡等-情况下出现跟踪失败时，对目标进行运动方向估计并进行重检测，检测效率高，提高了长时间跟踪的准确性和鲁棒性。

2、本发明在跟踪过程中，自适应调整目标函数的空间正则项的权重，结合目标区域的显著性图，使训练得到的滤波器更适应目标的形变，增加目标形变时跟踪的精度和鲁棒性。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是基于相关滤波的鲁棒性长时跟踪方法的流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所以，本发明实施例公开了一种基于相关滤波的鲁棒性长时跟踪方法，包括：

A.根据初始帧图像中目标中心位置及目标框尺寸初始化滤波器。该步骤通常输入视频序列的第一帧图像以及目标的初始状态信息，包括目标中心位置以及目标框尺寸，通过传统的相关滤波训练方法得到初始化的滤波器。此时的滤波器是最为准确的，因为初始帧目标框的位置是已知的且最准确的，在初始帧采用的训练样本就是我们需要跟踪的目标，是最为准确的样本。

对于后续帧图像，均执行以下操作：

B.读取当前帧图像，提取当前帧图像搜索区域多尺度的特征图，将提取的特征图与上一帧图像训练得到的滤波器进行互相关匹配，得到响应图。

所谓的多尺度，即设计多个尺寸的选框来进行评估。

对于搜索区域特征图的提取，可以提取手工特征，如HOG(方向梯度直方图)，颜色特征等，也可以提取深度特征，如用CNN(卷积神经网络)提取深度特征，也可以结合手工特征和深度特征作为特征表达。

C.根据设计的可靠性评价方法判断所述响应图对应跟踪结果的可靠等级，若判断跟踪结果不可靠，则重新检测目标；若判断跟踪结果可靠，则以响应图中的峰值位置作为目标中心位置，并选取其对应的尺度作为目标框尺寸。

对于搜索区域尺度的估计，在一些实施方式中，采用SAMF算法中的尺度估计方法。选取若干个(通常为5个)不同的尺度，使滤波器作用于多尺度缩放的特征图像上，寻找所有响应图中最大值对应得到相应的目标框尺度和中心位置。

上述的可靠性评价方法，为根据响应图的峰值旁瓣比PSR对对应跟踪结果进行的判断。PSR定义为：

其中PSR_i为第i帧的PSR值，f_i为第i帧的响应分数，μ_i和σ_i分别为第i帧响应分数的均值和标准差。由定义可知，PSR反映了响应图的峰值，波动情况和复杂度等信息，能够反映跟踪结果的可靠性。当出现遮挡，严重形变等干扰项时，响应图会随机波动，并且在真实的目标对应的位置可能出现干扰的次峰值，或者直接导致峰值不是目标出现位置，造成跟踪失败。而理想的响应图应该在目标的真实位置存在一个明显的峰值，而在其他位置波动较小。因此，当响应图明显波动时，即响应图中峰值模糊或出现多个局部峰值，会导致跟踪结果不可靠。为消除偶然的一帧图像的误差，本实施例结合既往多帧图像的响应图进行分析，即结合历史多帧图像对当前帧的可靠性进行分析。

可靠性评价方法包括：计算响应图的峰值旁瓣比PSR，以历史各帧图像的响应图的PSR的平均值为基准，若PSR与其历史平均值的比值低于第一阈值，则判定跟踪结果不可靠(或定义为第一可靠等级)，若PSR与其历史平均值的比值高于第二阈值，则判定跟踪结果可靠(或定义为第三可靠等级)，若PSR与其历史平均值的比值位于第一阈值和第二阈值之间，则判定跟踪结果一般可靠(或定义为第二可靠等级)。

上述重新检测目标的方法，为利用当前帧图像之前的若干帧图像的跟踪结果对目标的运动状态进行预测，在目标最可能出现的区域进行目标的重新捕获以得到更可靠的跟踪结果，重新检测方法中利用显著性图得到新的目标位置。具体的，利用当前帧图像之前的若干帧图像的跟踪结果对目标的运动状态进行预测，确定目标最可能出现的区域，在此最可能出现的区域提取显著性图，以显著性图中显著值最高的位置作为重检测得到的目标中心位置，结合上一帧的目标框尺寸即得到重检测的跟踪结果。若重检测得到的目标中心位置与上一帧目标中心位置的距离低于一定阈值(该阈值为给定阈值)，则以重检测的跟踪结果作为当前帧图像的跟踪结果，替换掉通过滤波器跟踪的结果，否则，不采用重检测的跟踪结果。

上述利用当前帧图像之前的若干帧图像的跟踪结果对目标的运动状态进行预测，包括：选取当前帧图像之前若干帧图像，计算每相邻两帧之间目标中心位置的差值，根据所有差值得到运动矢量，对运动矢量基于选择的历史帧数进行平均，得到当前帧图像中目标最可能的运动方向vector，如下式所示：

其中，num为所选择的预测时需要的历史帧的数量。计算的最可能的运动方向为一个矢量，则在上一帧目标中心位置基础上，该矢量指示的区域即为目标最可能出现的区域。优选的，历史帧选择3帧图像；vx_i,vy_i为第i帧沿水平方向和垂直方向的运动矢量，也就是相邻两帧目标中心位置差值，n为当前帧帧数。

以当前目标为中心，在目标上，下，左，右，左上，右上，左下，右下八个方位选取新的搜索区域。由于图像序列的连续性，所以目标的运动在一定时间的图像帧数中可以进行预测，通过运动预测提取新的目标可能存在的搜索区域，可以显著提高目标的再次捕获的概率，增强了目标跟踪算法的鲁棒性。

D.根据跟踪结果的可靠等级在目标函数中选取不同的空间正则项权重更新滤波器。

根据跟踪结果的可靠等级更新滤波器为：当跟踪结果为一般可靠，计算当前帧搜索区域的显著性图，作为训练时目标函数中自适应空间正则项的权重，进行结合自适应空间正则项的滤波器的训练，自适应空间正则项表现为目标函数中空间正则项的权重为自适应的；如果跟踪结果评判为可靠，则采用普通的负高斯型空间正则项权重进行滤波器的训练。

传统相关滤波器引用空间正则项，空间正则项的权重与位置有关，是一个负高斯型权重，在目标中心位置有最低的权值，而在搜索区域的边缘区域有高的权值，结合空间约束项的目标函数是一个计算L²范数的岭回归问题，如下式：

其中，M为训练样本总数量，α_j为第j帧样本权重，S_f{x_j}为特征图x_j与滤波器相关操作后得到的响应分数，y_j为理想的响应分数，f^d为特征通道d所对应的滤波器，D为特征图的总通道数，上式中第二项即为空间约束项，ω为负高斯型的权重。

空间正则项的引入使得训练得到的滤波器在目标中心位置有较高的响应，而在边缘位置有低的响应，缓解了相关滤波的边界效应。然而传统的空间正则项权重是固定的负高斯型权重，在每一帧图像都是相同的，不能很好地反应目标的形状变化。所以在本发明实施例中，结合显著性图，引入自适应空间正则项权重，将传统的负高斯型空间正则项权重和显著性图的结果结合，得到反映目标形状的空间正则项权重，使得滤波器能够适应形变，增强跟踪器的判别性。自适应空间正则项权重计算方法具体包括：首先提取待搜索区域的显著性图，目标中心位置的显著性分数高，而背景区域的显著性分数低，接着只保留待搜索区域中当前帧目标框位置内的显著性图，然后进行归一化操作并和传统的负高斯型权重点乘得到自适应的权重，本实施例中采用的自适应空间正则项权重如下式所示：

其中S(i,j)为显著性分数图，M_S和m_S分别为显著性分数图中的最大值和最小值。

显著性图的计算有很多种方法，本实施例中，采用一种聚类的显著性计算方法，首先进行超像素分割将待搜索区域分为多个部分，然后通过纹理，颜色等特征进行超像素的聚类，得到显著性图，用于自适应空间正则项权重的计算。

重复执行上述步骤B-D，知道读取完视频序列的所有帧图像，则结束对目标的跟踪过程。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (6)

1.一种基于相关滤波的鲁棒性长时跟踪方法，其特征在于，包括：

根据初始帧图像中目标中心位置及目标框尺寸初始化滤波器；

对于后续帧图像，均执行以下操作：

读取当前帧图像，提取当前帧图像搜索区域多尺度的特征图，将提取的特征图与上一帧图像训练得到的滤波器进行互相关匹配，得到响应图；

根据设计的可靠性评价方法判断所述响应图对应跟踪结果的可靠等级，若判断跟踪结果不可靠，则重新检测目标，重新检测目标的方法包括：利用当前帧图像之前的若干帧图像的跟踪结果对目标的运动状态进行预测，确定目标最可能出现的区域，在此最可能出现的区域提取显著性图，以显著性图中显著值最高的位置作为重检测得到的目标中心位置，结合上一帧中目标框尺寸得到重检测的跟踪结果；若重检测得到的目标中心位置与上一帧目标中心位置的距离低于一定阈值，则以重检测的跟踪结果作为当前帧图像的跟踪结果，否则不采用重检测的跟踪结果；若判断跟踪结果可靠，则以响应图中的峰值位置作为目标中心位置，并选取其对应的尺度作为目标框尺寸；

根据跟踪结果的可靠等级在目标函数中选取不同的空间正则项权重更新滤波器。

2.如权利要求1所述的基于相关滤波的鲁棒性长时跟踪方法，其特征在于，所述可靠性评价方法基于响应图的峰值旁瓣比PSR对跟踪结果的可靠等级进行判定。

3.如权利要求2所述的基于相关滤波的鲁棒性长时跟踪方法，其特征在于，所述可靠性评价方法，包括：计算响应图的峰值旁瓣比PSR，以历史各帧图像的响应图的峰值旁瓣比PSR的平均值为基准，若当前帧图像的PSR与历史平均值的比值低于第一阈值，则判定跟踪结果不可靠，若当前帧图像的PSR与历史平均值的比值高于第二阈值，则判定跟踪结果可靠，若当前帧图像的PSR与历史平均值的比值位于第一阈值和第二阈值之间，则判定跟踪结果一般可靠。

4.如权利要求1所述的基于相关滤波的鲁棒性长时跟踪方法，其特征在于，所述利用当前帧图像之前的若干帧图像的跟踪结果对目标的运动状态进行预测，包括：选取当前帧图像之前若干帧图像，计算每相邻两帧之间目标中心位置的差值，根据所有差值得到运动矢量，对运动矢量基于选择的历史帧数进行平均，得到当前帧图像中目标最可能的运动方向。

5.如权利要求3所述的基于相关滤波的鲁棒性长时跟踪方法，其特征在于，所述根据跟踪结果的可靠等级更新滤波器，包括：

当跟踪结果为一般可靠，计算当前帧搜索区域的显著性图，作为训练时目标函数中自适应空间正则项的权重，对滤波器进行训练；当跟踪结果为可靠，采用负高斯型空间正则项权重对滤波器进行训练。

6.如权利要求5所述的基于相关滤波的鲁棒性长时跟踪方法，其特征在于，所述自适应空间正则项的权重的计算方法包括：提取待搜索区域的显著性图，只保留待搜索区域中当前帧目标框位置内的显著性图，进行归一化操作并和负高斯型权重点乘。

Images