CN106373146B - 一种基于模糊学习的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于模糊学习的目标跟踪方法，该方法主要分为三部分，首先在跟踪器方面，使用稀疏表示算法对目标进行跟踪；然后在检测器方面，使用级联分类检测器(其中包含方差分类器、集合分类器、最近邻分类器)对目标位置进行检测；最后在学习更新方面，使用模糊学习器对跟踪器和检测器输出结果进行综合，根据时间连续性、空间唯一性、相似性、目标大小一致性四种约束的隶属度得到目标最终位置。本发明基于模糊学习的目标跟踪方法在保证实时性的同时对目标光照变化有很好的适应性，提高了学习器的判别能力，从而改善了算法的跟踪准确性和鲁棒性；对于目标跟踪的研究与实际应用的开发都具有重要的理论与实际意义。

Description

一种基于模糊学习的目标跟踪方法

技术领域

本发明涉及一种目标跟踪方法，特别是涉及一种基于模糊学习的目标跟踪方法，属于计算机图形学、数字图像处理以及模式识别技术领域。

背景技术

近年来随着计算机硬件水平的提高、成像技术和存储成本的降低，图像和视频信息在社会生活中得到了越来越广泛地应用，从而推动了计算机视觉技术(computervision)取得了飞速发展，其中基于视觉技术的目标跟踪因其适用环境广、自动化程度高、信息获取简单、包含信息丰富等优势在智能视频监控、人机交互、机器人等领域得到了广泛的应用。

视觉目标跟踪方法可以分为两大类，即基于视觉表征的方法和基于统计模型的方法。前者通常利用目标的一种或多种特征生成目标模型，并将目标跟踪看作寻找与目标模型最相似的区域的过程；而后者将目标跟踪转换成二分类问题，利用大量的目标图像和背景图像来训练分类器，分类器训练完成后，即可用来区分目标或是背景区域。其中后者充分利用了图像中的信息，包括目标信息和背景信息，因而具有更强的普适能力，对目标形变、光照影响、目标周围环境的变化等因素具有更强的鲁棒性，成为了目前跟踪领域发展的主流。文献(Kalal Z,Mikolajczyk K,Matas J.Tracking-learning-detection[J].IEEEtransactions on pattern analysis and machine intelligence,2012,34(7):1409-1422)提出了基于半监督学习的跟踪－学习－检测(Tracking-Learning-Detection，TLD)算法，该算法利用跟踪模块与检测模块同时对目标进行定位，综合两者的结果得到目标的最终定位，利用P-N学习器对检测模块的分类器进行更新。不过该方法中，跟踪模块对于光照变化较为敏感且跟踪精度不高；P-N学习器规则简单，且采用简单的0-1硬分类方式，容易将错误样本引入分类器。

故此，需要提出一种新的目标跟踪方法，一方面能够克服TLD算法的缺点，另一方面能够对光照变化有很好的适应性。

发明内容

本发明所要解决的技术问题是：提供一种基于模糊学习的目标跟踪方法，在保证实时性的同时对目标光照变化有很好的适应性，提高了学习器的判别能力，从而改善了算法的跟踪准确性和鲁棒性。

本发明为解决上述技术问题采用以下技术方案：

一种基于模糊学习的目标跟踪方法，包括如下步骤：

步骤1，利用稀疏表示跟踪器对图像序列每一帧图像进行目标跟踪，得到各帧图像的目标；

步骤2，利用级联分类检测器对图像序列每一帧图像进行检测，得到各帧图像的目标；

步骤3，对步骤1和步骤2的检测结果进行综合，得到每一帧图像综合后的目标，根据时间连续性约束、空间唯一性约束、相似性约束、目标大小一致性约束，分别计算每一帧图像步骤2检测结果与综合后的目标位置之间的四个约束的隶属度，将四个约束的隶属度输入模糊学习器，进行模糊化，根据模糊规则进行模糊推理，求解模糊化，得到综合隶属度，将综合隶属度大于0.45的检测结果作为最终目标。

作为本发明的一种优选方案，所述步骤1的具体过程包括以下步骤：

步骤1-1，在图像序列的第一帧图像上，标定目标位置，提取目标特征，并对目标特征进行降维，利用降维后的目标特征初始化贝叶斯分类器的参数；

步骤1-2，从图像序列的第二帧图像开始，以前一帧图像的目标位置为参照，在下一帧图像上提取邻近区域，且邻近区域的中心与前一帧图像的目标位置中心重合，在邻近区域中按从上到下、从左到右均位移5％的方式遍历，得到与目标大小相同的样本，提取各样本的目标特征，对目标特征进行降维，利用贝叶斯分类器对降维后的目标特征进行检测，根据各样本与前一帧目标的相似性程度判断样本是不是目标，同时，更新贝叶斯分类器的参数。

作为本发明的一种优选方案，步骤1-2所述根据各样本与前一帧目标的相似性程度判断样本是不是目标的方法是：计算各样本与前一帧目标的相似性程度，相似性程度最大的样本即为目标；其中，相似性程度的计算公式为：

其中，H(v)为相似性程度，K为样本的行数，v_k为样本降维后的第k行，p(v_k|y＝1)、p(v_k|y＝0)分别为v_k属于目标、背景的条件概率，p(y＝1)、p(y＝0)分别为样本属于目标、背景的概率。

作为本发明的一种优选方案，所述步骤2的具体过程包括以下步骤：

步骤2-1，在图像序列的第一帧图像上，标定目标位置，从第二帧图像开始，以前一帧图像的目标大小为参照，按从上到下、从左到右均位移10％的方式遍历，得到长宽均与目标长宽相同、均比目标长宽大20％、均比目标长宽小20％的样本，当样本大小小于20像素时，忽略不计；

步骤2-2，对第二帧图像，计算各样本的方差，将方差小于当前帧整体图像方差的50％的样本去除；

步骤2-3，将步骤2-2剩余样本送入组合分类器，预设基分类器的个数，对剩余样本进行平滑滤波降噪处理，然后在样本上选择13个像素点，在前一帧图像的目标的相应位置同样选择13个像素点，将样本上13个像素点的灰度值与前一帧图像的目标上13个像素点的灰度值一一比较，相同为1，不同为0，得到13位的二进制编码，将二进制编码映射为后验概率，计算所有基分类器输出的后验概率的均值，将均值大于0.5的样本保留；

步骤2-4，将步骤2-3保留样本送入最近邻分类器，将当前帧前面所有帧图像的目标作为正样本放入样本库，并按照各帧顺序进行排序，按照预设个数在目标周围提取负样本，同样放入样本库，对保留样本和样本库中所有样本进行归一化，计算归一化保留样本在归一化样本库中的保守相似度，当保守相似度大于预设阈值时，保留样本为目标；

步骤2-5，对剩下的所有帧图像，重复步骤2-2至步骤2-4对第二帧图像的操作，得到所有帧图像的目标。

作为本发明的一种优选方案，步骤2-4所述保守相似度的计算公式：

其中，S^r(p,M)为归一化保留样本p在归一化样本库M中的保守相似度，S⁺(p,M)、S^-(p,M)分别为归一化保留样本与M中正样本、负样本的相似度，且S(p₁,p₂)＝0.5[NCC(p₁,p₂)+1]，其中，p₁＝p，p₂＝p_a ⁺或p_b ^-，p_a ⁺、p_b ^-分别为归一化正样本、负样本，n为归一化保留样本的像素个数，μ₁、μ₂分别为p₁、p₂的均值，σ₁、σ₂分别为p₁、p₂的标准差，p₁(x)、p₂(x)分别为归一化保留样本、归一化正样本或负样本第x个像素的灰度值。

作为本发明的一种优选方案，步骤3所述时间连续性约束的隶属度计算公式为：

其中，x_i-1,y_i-1分别为前一帧图像目标中心的横、纵坐标，i-1表示前一帧，x_j,y_j分别为当前帧图像中经级联分类检测器判断为目标的样本中心的横、纵坐标，j＝1,…,J，J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数。

作为本发明的一种优选方案，步骤3所述空间唯一性约束的隶属度计算公式为：

其中，B_j为当前帧图像中经级联分类检测器判断为目标的样本矩形框，j＝1,…,J，J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数，B_i为当前帧图像综合后目标矩形框，i表示当前帧，∩表示求两个矩形框的交集面积，∪表示求两个矩形框的并集面积。

作为本发明的一种优选方案，步骤3所述相似性约束的隶属度计算公式为：

u_j,3＝S_j ^r

其中，S_j ^r为当前帧图像中经级联分类检测器判断为目标的样本在样本库中的保守相似性，j＝1,…,J，J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数。

作为本发明的一种优选方案，步骤3所述目标大小一致性约束的隶属度计算公式为：

其中，x_j,1,y_j,1分别为当前帧图像中经级联分类检测器判断为目标的样本左上角像素点的横、纵坐标，x_j,2,y_j,2分别为当前帧图像中经级联分类检测器判断为目标的样本右下角像素点的横、纵坐标，j＝1,…,J，J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数，x_i-1,1,y_i-1,1分别为前一帧图像目标左上角像素点的横、纵坐标，x_i-1,2,y_i-1,2分别为前一帧图像目标右下角像素点的横、纵坐标，i-1表示前一帧。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明采用基于稀疏表示算法的跟踪器，使用目标纹理的稀疏特征建立模型，从而在保证算法实时性以及抗遮挡能力的同时克服了算法对于光照变化的敏感性。

2、本发明利用级联分类器对目标位置进行全局搜索，在目标由于尺度变化或者位置突变导致跟踪错误的情况下，能够重新获取目标位置。

3、本发明采用基于多规则的模糊学习器，克服了由于简单的0-1分类导致的分类错误，提高了学习器的纠错能力，进而改善了算法的性能。

附图说明

图1是本发明基于模糊学习的目标跟踪方法的流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，为本发明基于模糊学习的目标跟踪方法的流程图。涉及稀疏表示跟踪器、级联分类检测器和模糊学习器三个部分，下面对三个部分分别进行详细说明。

1、稀疏表示跟踪器

跟踪器包括：利用稀疏表示技术提取目标特征、利用贝叶斯分类器确定目标位置。

在当前帧将上一帧目标区域(以跟踪窗为准)对应位置的邻近区域作为候选区域，邻近区域与目标区域的中心重合，且比目标区域大一圈，从上到下、从左到右对邻近区域进行遍历，上下、左右位移均为5％，得到与目标区域大小相同的样本。

使用稀疏矩阵提取出样本压缩后的特征：

其中，为提取的目标特征，是目标特征转换成的一维信号，为随机测量矩阵，为压缩后的最终降维特征。其中，的构建方式如下：

其中，s通过平均概率在2～4中随机选取。

使用原始特征以p_k,nr为权值的加权和得到压缩特征，如公式(3)，其中，Rects为邻近区域中提取的与目标大小相同的图像(或样本)中随机选取的图像块，NR为Rects的总个数，其值在2～4之间随机选取。

迭代计算出每一个样本与前一帧目标区域的相似性程度，相似程度最高的样本作为当前帧的目标区域。以贝叶斯准则作为相似性判据，并假设所有特征相互独立，见公式(4)。

采样过程中，将趋于目标的样本视为正样本(Positive sample)并保留，远离目标的样本视为负样本(Negative sample)并舍去。y为随机变量，1和0分别为采样过程中得到的正样本和负样本的标签，且第一帧满足p(y＝1)＝p(y＝0)，则条件分布p(v_k|y＝1)和p(v_k|y＝0)符合高斯分布，见公式(5)，其中μ¹、σ¹和μ⁰、σ⁰分别为目标(正样本)和背景(负样本)的均值、标准差。

计算出当前帧中H(v)相似性程度最大的样本作为当前帧的目标区域，并对相关系数进行更新，见公式(6)和(7)。

式中，λ表示更新程度，选取λ＝0.85。

2、级联分类检测器

检测器采用滑动窗的方法在图像中寻找目标，利用级联分类器输出结果，包含三部分：方差比较，组合分类器及最近邻分类器。每一部分都将筛选出更加可能的结果输入下一部分继续甄别，从而加快运行速度。

利用滑动窗从上到下、从左到右对每帧图像进行扫描，滑动窗的扫描策略为每次尺度变化1.2倍，比如前一帧图像的目标大小为100*100，那么当前帧滑动窗的大小为80*80、100*100、120*120，水平和垂直位移分别为宽度和高度的10％，最小框图大小为20pixels，小于20pixels的样本不考虑。

方差比较：对滑框窗扫描得到的样本计算灰度值方差：E(p²)-(E(p))²，使用积分图计算期望。将样本方差低于该帧整体图像方差50％的样本抛弃，本阶段可以去除大部分干扰的背景。

组合分类器：基于随机森林方式实现，由设定个数的基分类器组成。首先对经方差比较剩下的样本进行平滑滤波降噪处理，然后在样本上选择13个像素点，在前一帧目标图像的相应位置选择13个像素点，将样本上13个像素点的灰度值与前一帧目标图像上13个像素点的灰度值一一比较，相同为1，不同为0，得到13位的二进制编码，将该二进制编码映射为后验概率。对各基分类器输出的后验概率结果求均值，如果其大于0.5，将样本送入下一步，否则将被舍弃。

最近邻分类器：分别计算正样本最近邻域相似度S⁺、负样本最近邻域相似度S^-、最近邻域50％的正样本相似度相对相似度S^c、保守相似度S^r，建立样本库，将当前帧前面所有帧得到的目标放入样本库M，预设背景个数为100，将100个背景也放入样本库，p⁺(a＝1,…,A)和p^-(b＝1,…,B＝100)分别代表目标样本和背景样本，μ₁、μ₂为p₁、p₂的均值，σ₁、σ₂为p₁、p₂的标准差。最后，如果S^r>θ_NN，则样本p是目标，反之为背景。

S(p₁,p₂)＝0.5[NCC(p₁,p₂)+1] (12)

3、模糊学习器

使用多重规则对候选样本进行判断，所建立的约束规则有：

(1)时间连续性约束：当前帧中目标位置，必然与其前一帧中的位置相近。利用逐帧跟踪的结果产生当前物体的位置，候选样本与前一帧目标位置距离越近，则该样本属于正样本的隶属度u_j,1越高。

其中，x_i-1,y_i-1分别为前一帧图像目标中心的横、纵坐标，i-1表示前一帧，x_j,y_j分别为当前帧图像中经级联分类检测器判断为目标的样本中心的横、纵坐标，j＝1,…,J，J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数。

(2)空间唯一性约束：因为本算法采用的是单目标跟踪策略，所以在同一帧中目标只有一个可能的位置。综合检测器和跟踪器的结果，输出最可能的位置，候选样本与最可能的位置重合度越高，则该样本属于正样本的隶属度u_j,2越高。

其中，B_j为当前帧图像中经级联分类检测器判断为目标的样本矩形框，j＝1,…,J，J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数，B_i为当前帧图像综合后目标矩形框，i表示当前帧，∩表示求两个矩形框的交集面积，∪表示求两个矩形框的并集面积。

(3)相似性约束：利用目标外观的一致性，与样本集相似度越高，候选样本属于正样本的隶属度u_j，3越高，使用最近邻分类器结果作为隶属度。

u_j,3＝S_j ^r (17)

其中，S_j ^r为当前帧图像中经级联分类检测器判断为目标的样本在样本库中的保守相似性，j＝1,…,J，J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数。

(4)目标大小一致性约束：利用目标大小的一致性，与目标之前大小越一致的候选样本属于正样本的隶属度u_j,4越高。

其中，x_j,1,y_j,1分别为当前帧图像中经级联分类检测器判断为目标的样本左上角像素点的横、纵坐标，x_j,2,y_j,2分别为当前帧图像中经级联分类检测器判断为目标的样本右下角像素点的横、纵坐标，j＝1,…,J，J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数，x_i-1,1,y_i-1,1分别为前一帧图像目标左上角像素点的横、纵坐标，x_i-1,2,y_i-1,2分别为前一帧图像目标右下角像素点的横、纵坐标，i-1表示前一帧。

利用约束规则构建模糊学习器，对每一个送到学习器的样本根据约束规则确定其属于正样本的隶属度(取值为0～1)，并对多个约束分配权值，最后综合多个隶属度，得到样本最终属于正样本的隶属度，之后进行阈值判断，大于阈值则放入正样本库，否则放入负样本库。

具体实现过程如下：

a.计算样本四个约束的隶属度，u_j,1、u_j,2、u_j,3、u_j,4；

b.将四个隶属度作为模糊学习器的输入，进行模糊化；

c.利用建立的模糊规则进行模糊推理；

d.解模糊化，得到样本综合的隶属度；

e.进行阈值判断样本是否属于正样本，阈值设为0.45，大于阈值则为正样本。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (4)

1.一种基于模糊学习的目标跟踪方法，其特征在于，包括如下步骤：

步骤1，利用稀疏表示跟踪器对图像序列每一帧图像进行目标跟踪，得到各帧图像的目标；

步骤2，利用级联分类检测器对图像序列每一帧图像进行检测，得到各帧图像的目标；

步骤3，对步骤1和步骤2的检测结果进行综合，得到每一帧图像综合后的目标，根据时间连续性约束、空间唯一性约束、相似性约束、目标大小一致性约束，分别计算每一帧图像步骤2检测结果与综合后的目标位置之间的四个约束的隶属度，将四个约束的隶属度输入模糊学习器，进行模糊化，根据模糊规则进行模糊推理，求解模糊化，得到综合隶属度，将综合隶属度大于0.45的检测结果作为最终目标；

所述时间连续性约束的隶属度计算公式为：

其中，x_i-1,y_i-1分别为前一帧图像目标中心的横、纵坐标，i-1表示前一帧，x_j,y_j分别为当前帧图像中经级联分类检测器判断为目标的样本中心的横、纵坐标，j＝1,…,J，J表示当前帧图像中经级联分类检测器判断为目标的样本的总个数；

所述空间唯一性约束的隶属度计算公式为：

其中，B_j为当前帧图像中经级联分类检测器判断为目标的样本矩形框，B_i为当前帧图像综合后目标矩形框，i表示当前帧，∩表示求两个矩形框的交集面积，∪表示求两个矩形框的并集面积；

所述相似性约束的隶属度计算公式为：

u_j,3＝S_j ^r

其中，S_j ^r为当前帧图像中经级联分类检测器判断为目标的样本在样本库中的保守相似性；

所述目标大小一致性约束的隶属度计算公式为：

其中，x_j,1,y_j,1分别为当前帧图像中经级联分类检测器判断为目标的样本左上角像素点的横、纵坐标，x_j,2,y_j,2分别为当前帧图像中经级联分类检测器判断为目标的样本右下角像素点的横、纵坐标，x_i-1,1,y_i-1,1分别为前一帧图像目标左上角像素点的横、纵坐标，x_i-1,2,y_i-1,2分别为前一帧图像目标右下角像素点的横、纵坐标。

2.根据权利要求1所述基于模糊学习的目标跟踪方法，其特征在于，所述步骤1的具体过程包括以下步骤：

步骤1-1，在图像序列的第一帧图像上，标定目标位置，提取目标特征，并对目标特征进行降维，利用降维后的目标特征初始化贝叶斯分类器的参数；

步骤1-2，从图像序列的第二帧图像开始，以前一帧图像的目标位置为参照，在下一帧图像上提取邻近区域，且邻近区域的中心与前一帧图像的目标位置中心重合，在邻近区域中按从上到下、从左到右均位移5％的方式遍历，得到与目标大小相同的样本，提取各样本的目标特征，对目标特征进行降维，利用贝叶斯分类器对降维后的目标特征进行检测，根据各样本与前一帧目标的相似性程度判断样本是不是目标，同时，更新贝叶斯分类器的参数。

3.根据权利要求2所述基于模糊学习的目标跟踪方法，其特征在于，步骤1-2所述根据各样本与前一帧目标的相似性程度判断样本是不是目标的方法是：计算各样本与前一帧目标的相似性程度，相似性程度最大的样本即为目标；其中，相似性程度的计算公式为：

其中，H(v)为相似性程度，K为样本的行数，v_k为样本降维后的第k行，p(v_k|y＝1)、p(v_k|y＝0)分别为v_k属于目标、背景的条件概率，p(y＝1)、p(y＝0)分别为样本属于目标、背景的概率。

4.根据权利要求1所述基于模糊学习的目标跟踪方法，其特征在于，所述步骤2的具体过程包括以下步骤：

步骤2-1，在图像序列的第一帧图像上，标定目标位置，从第二帧图像开始，以前一帧图像的目标大小为参照，按从上到下、从左到右均位移10％的方式遍历，得到长宽均与目标长宽相同、均比目标长宽大20％、均比目标长宽小20％的样本，当样本大小小于20像素时，忽略不计；

步骤2-2，对第二帧图像，计算各样本的方差，将方差小于当前帧整体图像方差的50％的样本去除；

步骤2-3，将步骤2-2剩余样本送入组合分类器，预设基分类器的个数，对剩余样本进行平滑滤波降噪处理，然后在样本上选择13个像素点，在前一帧图像的目标的相应位置同样选择13个像素点，将样本上13个像素点的灰度值与前一帧图像的目标上13个像素点的灰度值一一比较，相同为1，不同为0，得到13位的二进制编码，将二进制编码映射为后验概率，计算所有基分类器输出的后验概率的均值，将均值大于0.5的样本保留；

步骤2-4，将步骤2-3保留样本送入最近邻分类器，将当前帧前面所有帧图像的目标作为正样本放入样本库，并按照各帧顺序进行排序，按照预设个数在目标周围提取负样本，同样放入样本库，对保留样本和样本库中所有样本进行归一化，计算归一化保留样本在归一化样本库中的保守相似度，当保守相似度大于预设阈值时，保留样本为目标；其中，保守相似度的计算公式为：

其中，S^r(p,M)为归一化保留样本p在归一化样本库M中的保守相似度，S⁺(p,M)、S^-(p,M)分别为归一化保留样本与M中正样本、负样本的相似度，且S(p₁,p₂)＝0.5[NCC(p₁,p₂)+1]，其中，p₁＝p，p₂＝p_a ⁺或p_b ^-，p_a ⁺、p_b ^-分别为归一化正样本、负样本，n为归一化保留样本的像素个数，μ₁、μ₂分别为p₁、p₂的均值，σ₁、σ₂分别为p₁、p₂的标准差，p₁(x)、p₂(x)分别为归一化保留样本、归一化正样本或负样本第x个像素的灰度值；

步骤2-5，对剩下的所有帧图像，重复步骤2-2至步骤2-4对第二帧图像的操作，得到所有帧图像的目标。