CN110147768B - 一种目标跟踪方法及装置 - Google Patents

Abstract

本申请实施例提供一种目标跟踪方法及装置，方法包括：在图像帧序列的当前图像帧中确定多个候选区域；从每个候选区域中提取多个特征，利用滤波器模型计算出每个特征的响应矩阵；根据每个特征的响应矩阵相对于所述图像帧序列的之前图像帧中同一特征的响应矩阵的变化程度确定每个特征的权重，并根据确定的权重将多个特征的响应矩阵进行加权融合，获得所述当前图像帧的融合响应矩阵；将所述融合响应矩阵中的最大响应值对应的候选区域，确定为所述待跟踪目标在所述当前图像帧中的位置。本申请通过对特征响应的变化情况进行分析可自适应调整多个特征融合的权重，提高了跟踪的鲁棒性，具有较强的抗干扰能力。

Description

一种目标跟踪方法及装置

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种目标跟踪方法及装置。

背景技术

目标跟踪是指在给定的图像帧序列中，通过提取目标的特征，找到被跟踪目标的位置。传统的跟踪算法一般采用单一的特征对目标进行描述，或以固定的融合权重结合多个特征，当仅使用单个特征来跟踪目标时，往往会由于表达能力不足而导致跟踪的准确率较低，或者由于选取的特征只能在特定场景下取得较好的跟踪效果，而使得算法对于环境的适应性较差，而以固定的权重将多个特征进行融合来跟踪目标时，由于不同特征对同一目标描述的能力不相同，这导致性能好的特征没有被充分利用，而差的特征作用反而被放大，从而导致特征融合后的目标跟踪鲁棒性提升不明显，甚至鲁棒性可能会下降。

发明内容

本申请实施例的目的在于提供一种目标跟踪方法及装置，通过对特征响应的变化情况进行分析可自适应调整多个特征融合的权重，提高跟踪的鲁棒性，具有较强的抗干扰能力。

第一方面，本申请实施例提供了一种目标跟踪方法，包括：在图像帧序列的当前图像帧中确定多个候选区域；从每个候选区域中提取多个特征，利用滤波器模型计算出每个特征的响应矩阵，所述响应矩阵中的每个响应值对应一个候选区域，所述响应值表征在基于所述特征进行目标跟踪时，对应的候选区域中存在待跟踪目标的可能性；根据每个特征的响应矩阵相对于所述图像帧序列的之前图像帧中同一特征的响应矩阵的变化程度确定每个特征的权重，并根据确定的权重将多个特征的响应矩阵进行加权融合，获得所述当前图像帧的融合响应矩阵；将所述融合响应矩阵中的最大响应值对应的候选区域，确定为所述待跟踪目标在所述当前图像帧中的位置。

上述方案采用了多个特征对目标进行描述，当场景变化导致一种特征不能准确描述目标的时候，多种特征能够起到相互补充的作用，同时，多种特征的响应矩阵并非采用固定权重进行融合，而是结合了之前图像帧的响应结果，避免了当环境(指图像帧中的环境)发生较大变化时响应矩阵发生突变，从而产生错误的判断，提高了跟踪的鲁棒性，具有较强的抗干扰能力。

在第一方面的一种可能的实施方式中，所述根据每个特征的响应矩阵相对于所述图像帧序列的之前图像帧中同一特征的响应矩阵的变化程度确定每个特征的权重，包括：

通过如下公式计算每个特征的响应矩阵对应的模板矩阵response_t'：

其中，response_t为所述图像帧序列的第t个图像帧中所述特征的响应矩阵，response_t-1'为第t-1个图像帧中同一特征的模板矩阵，α为滤波器模型的学习率，N为自然数集；

计算每一特征的变化矩阵C_t＝response_t-response_t-1'，并对所述变化矩阵进行标准化处理，获得标准变化矩阵C_t'；

计算特征变化系数

其中，λ₁为第一阈值，λ₂为第二阈值，且λ₁>λ₂；

根据所述特征变化系数确定每个特征的权重。

上述方案基于特征变化系数能准确判断跟踪过程中每个特征响应的可信度，如果特征变化系数较大，则表明响应矩阵的变化程度较大，那么该特征的响应可能在当前环境下的可信程度较低，进而将可信程度更高的特征赋予更高的融合权重，从而以更加合理的权重准确融合多种特征。

在第一方面的一种可能的实施方式中，所述根据所述特征变化系数确定每个特征的权重，包括：

通过如下公式确定每个特征的权重：

其中，γ_k为第k个特征的权重，c_k(t)为第k个特征对应的特征变化系数，k为1至n中的任一整数。

在第一方面的一种可能的实施方式中，在利用滤波器模型计算出每个特征的响应矩阵之后，所述方法还包括：获取由所述响应矩阵中最大响应值与所述最大响应值周围区域的响应值所形成的第一响应矩阵，并对所述第一响应矩阵进行标准化处理，获得第一标准矩阵；判断所述第一标准矩阵中是否存在大于第三阈值的响应值；在所述第一标准矩阵中存在大于第三阈值的响应值时，根据所述第一标准矩阵计算置信度以及根据所述置信度计算所述滤波器模型更新的学习率，并利用所述学习率更新所述滤波器模型，其中，所述置信度表征由所述最大响应值确定的待跟踪目标的位置的可信程度；在所述第一标准矩阵中不存在大于所述第三阈值的响应值时，保持原有的滤波器模型。

由于置信度能够表示预测结果是否可靠，因此，上述方案在对模型进行更新前首先判断当前图像帧中基于某一特征预测的跟踪结果的置信度，如果置信度较高，说明当前图像帧获得的跟踪结果较为可靠，此时依据置信度合理调整模型更新的学习率，从而对于目标遮挡、背景混乱等复杂情况有较强的适应能力，而在第一标准矩阵中的响应值均较小时，说明特征的响应图(可由绘图软件对响应矩阵进行绘制获得)中峰值与旁瓣的对比度较低，此时如果对模型进行更新，则有可能引入误差，因此可以停止模型的更新操作。

在第一方面的一种可能的实施方式中，所述置信度δ＝max(responseZ_t)-mean(responseZ_t(Z_t>σ₁))，其中，responseZ_t为所述第一标准矩阵，mean(responseZ_t(Z_t>σ₁))为所述第一标准矩阵中所有大于第三阈值σ₁的响应值的平均值，max(responseZ_t)表示取所述第一标准矩阵中的最大值。

在第一方面的一种可能的实施方式中，所述根据所述置信度计算所述滤波器模型更新的学习率，包括：通过如下公式计算所述学习率：

其中，η为滤波器模型更新的学习率，β₁和β₂为预设参数，且β₁>>β₂，σ₂为第四阈值。

在第一方面的一种可能的实施方式中，所述多个特征包括方向梯度直方图特征及颜色直方图特征。

方向梯度直方图(Histogram of Oriented Gradient，HOG)特征作为局部特征，能够获得目标对象的细节信息，而颜色直方图特征作为全局特征，能够获得目标对象足够多的有效颜色信息，因此将这两个特征融合后，可以利用特征间的互补性，能够更好的描述目标对象，避免跟踪漂移等问题。

第二方面，本申请实施例提供了一种目标跟踪装置，包括：响应计算模块，用于在图像帧序列的当前图像帧中确定多个候选区域；以及从每个候选区域中提取多个特征，利用滤波器模型计算出每个特征的响应矩阵，所述响应矩阵中的每个响应值对应一个候选区域，所述响应值表征在基于所述特征进行目标跟踪时，对应的候选区域中存在待跟踪目标的可能性；特征融合模块，用于根据每个特征的响应矩阵相对于所述图像帧序列的之前图像帧中同一特征的响应矩阵的变化程度确定每个特征的权重，并根据确定的权重将多个特征的响应矩阵进行加权融合，获得所述当前图像帧的融合响应矩阵；目标定位模块，用于将所述融合响应矩阵中的最大响应值对应的候选区域，确定为所述待跟踪目标在所述当前图像帧中的位置。

上述装置融合了多个特征的响应矩阵，使得多个特征能够互相补充，使跟踪结果更加准确，同时，多个特征的融合权重是根据与之前图像帧中同一特征的响应矩阵的变化程度确定的，结合了之前图像帧的响应结果，因此当环境发生较大变化时能自适应调整每个特征的权重，避免响应矩阵发生突变，导致产生错误的判断。

在第二方面的一种可能的实施方式中，所述特征融合模块具体用于：

通过如下公式计算每个特征的响应矩阵对应的模板矩阵response_t'：

其中，response_t为所述图像帧序列的第t个图像帧中所述特征的响应矩阵，response_t-1'为第t-1个图像帧中同一特征的模板矩阵，α为滤波器模型的学习率，N为自然数集；

计算每一特征的变化矩阵C_t＝response_t-response_t-1'，并对所述变化矩阵进行标准化处理，获得标准变化矩阵C_t'；

计算特征变化系数

其中，λ₁为第一阈值，λ₂为第二阈值，且λ₁>λ₂；

根据所述特征变化系数确定每个特征的权重。

在第二方面的一种可能的实施方式中，所述装置还包括：

矩阵获取模块，用于获取由所述响应矩阵中最大响应值与所述最大响应值周围区域的响应值所形成的第一响应矩阵，并对所述第一响应矩阵进行标准化处理，获得第一标准矩阵；

更新模块，用于判断所述第一标准矩阵中是否存在大于第三阈值的响应值，并在所述第一标准矩阵中存在大于第三阈值的响应值时，根据所述第一标准矩阵计算置信度以及根据所述置信度计算所述滤波器模型更新的学习率，并利用所述学习率更新所述滤波器模型，其中，所述置信度表征由所述最大响应值确定的待跟踪目标的位置的可信程度；以及在所述第一标准矩阵中不存在大于所述第三阈值的响应值时，保持原有的滤波器模型。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的目标跟踪方法的流程图；

图2为本申请实施例提供的目标跟踪方法中模型更新的流程图；

图3为本申请实施例提供的目标跟踪装置的示意图；

图4为本申请实施例提供的目标跟踪装置的另一示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

通常情况下，一个完整的目标跟踪方法主要包括以下步骤：初始化阶段，获得视频首帧的目标信息，提取目标的特征，初始化滤波器模型；跟踪阶段，在下一帧图像中估计目标可能出现的范围(即根据运动模型估计目标状态变化)，产生一系列候选区域，计算不同位置的候选区域与滤波器模型的似然度，选取一个似然分值最高的候选区域作为当前图像帧的预测目标，此外还可以对多个特征的似然分值进行融合，从而得到一个更为可信的预测目标。

本申请实施例提供一种目标跟踪方法，参阅图1，包括如下步骤：

步骤101：在图像帧序列的当前图像帧中确定多个候选区域。

上述图像帧序列可以是一段视频、一段视频的某一部分，或者是由一系列有序的图像(未形成视频文件或视频流)构成的序列。当前图像帧表示正在进行目标跟踪的图像帧，基于对图像帧序列中的当前图像帧的估计，运动模型会产生一系列在当前图像帧可能包含待跟踪目标的候选区域，用于预测待跟踪目标可能存在的位置，建立合理的运动模型有助于准确地预测被跟踪目标的未来状态或运动轨迹，运动模型的选择可以参照已有的运动模型，在此不进行叙述。

步骤102：从每个候选区域中提取多个特征，利用滤波器模型计算出每个特征的响应矩阵。

滤波器模型是依据图像帧序列中的某个参考帧(参考帧表示开始执行目标跟踪方法时的第一帧，例如可以是图像帧序列的第一帧)中给定的目标的颜色、纹理或HOG等特征建立，本实施例是基于判别式模型，通过寻找响应矩阵中的响应峰值来定位目标位置。假设在第t帧(t以给定的参考帧作为初始帧开始计算)，图像I_t中目标位置的矩形框

是由搜索空间集合Ω_t中分数最大的候选区域确定，即：

O_t,i表示第t帧的第i个候选区域，函数T(I_t,O_t,i)表示对图像I_t中某矩形窗O_t,i进行变换，这里的变换可以为颜色直方图特征的提取，也可以为HOG特征的提取，或者还可以是其他特征的提取，y(T(I_t,O_t,i)；θ)为依据模型参数θ对矩形窗O_t,i赋予的得分，该得分即为响应矩阵中的响应值，表示该矩形窗O_t,i为真实目标的可能性。

也就是说，滤波器模型在获得每个候选区域的多个特征之后，依据每一特征对应的模型参数θ计算每一特征对应的响应矩阵，其中，每个特征的响应矩阵中的一个响应值对应一个候选区域，该响应值表征在基于这一特征进行目标跟踪时，对应的候选区域中存在待跟踪目标的可能性，所有候选区域的响应值形成这一特征的响应矩阵。比如，运动模型在当前图像帧中生成N个候选区域，在每个候选区域内提取HOG特征和颜色直方图特征，针对其中的HOG特征，每个候选区域的HOG特征在与相关滤波器参数进行计算后获得一个响应值，也即共获得N个响应值，这N个响应值可以通过拼接方式进行组合，形成HOG特征对应的响应矩阵。

为简单起见，本实施例中主要以HOG特征和颜色直方图特征为例进行阐述，但应理解，该目标跟踪方法还可适用于更多的特征，或者其他任意的特征，例如，亮度直方图特征、灰度特征、LBP特征或Haar特征等，因此，具体选择哪种特征进行提取和跟踪并不影响本实施例中方法的实际技术效果，也即，并不构成对本申请保护范围的限制。

步骤103：根据每个特征的响应矩阵相对于图像帧序列的之前图像帧中同一特征的响应矩阵的变化程度确定每个特征的权重。

在实际复杂环境下，待跟踪目标可能会受到光照变化、外观变化、快速运动、局部遮挡等各种因素的影响，如果采用固定权重比例对HOG特征的响应矩阵和颜色直方图特征的响应矩阵进行融合，则难以适应各种实际复杂环境。另一方面，当目标出现遮挡等情况干扰时，如果仅单纯考虑当前图像帧的响应矩阵可能无法对跟踪结果的可信度做出合理判定，因此上述方案考虑前后图像帧的响应信息，通过判断响应矩阵的帧间变化程度来确定基于这一特征获得的响应是否可信，从而为可信程度更高的特征赋予更高的权重，进而使响应结果更加准确。

步骤104：根据确定的权重将多个特征的响应矩阵进行加权融合，获得当前图像帧的融合响应矩阵。

多个特征的响应矩阵通过线性组合方式进行融合，例如，HOG特征与颜色直方图特征融合的公式如下：

y(I)＝γ_tmply_tmpl(I)+γ_histy_hist(I)

其中，y_tmpl(I)表示HOG特征的响应矩阵，y_hist(I)表示颜色直方图特征的响应矩阵，γ_tmpl和γ_hist分别表示两种特征响应矩阵的融合权重，并且γ_tmpl+γ_hist＝1。

步骤105：将融合响应矩阵中的最大响应值对应的候选区域，确定为待跟踪目标在当前图像帧中的位置。

上述方案采用多特征融合的方式，可以利用不同特征之间的互补性，用从不同的视角提取的多种特征来描述目标，例如，颜色直方图特征作为全局特征，能够获得目标对象足够多的有效信息，但是在特征细节方面不具备较好的判别能力，HOG特征作为局部特征，可以获得目标对象的细节信息，但是容易受到复杂的动态环境的干扰，因此将多个特征进行融合，能够更好的描述目标对象，避免跟踪漂移等问题。

同时，上述方案基于不同特征的响应矩阵，根据与之前图像帧的变化情况准确判断跟踪过程中每个特征响应的可信度，如果响应矩阵的变化程度较大(即发生响应矩阵突变现象)，那么该特征的响应可能在当前环境下的可信程度较低，因此，变化程度越小的特征被赋予越高的融合权重，从而以更加合理的权重准确融合多种特征。

针对步骤103，本实施例基于对响应矩阵的分析，给出一种具体的实施方式用以确定每个特征的融合权重，包括如下步骤：

第一步，计算第t个图像帧的响应矩阵的模板矩阵response_t'：

其中，response_t为图像帧序列的第t个图像帧中特征的响应矩阵，response_t-1'为第t-1个图像帧中同一特征的模板矩阵，α为滤波器模型的学习率，N为自然数集。从上述公式可知，模板矩阵response_t'不仅与当前图像帧获得的响应矩阵有关，而且融合了之前t-1帧特征响应的结果，从而避免了当环境发生较大变化时响应矩阵发生突变，产生错误的判断。

应当理解，目标跟踪的步骤中，是在图像帧序列的参考帧中给出目标初始状态(如位置、尺度)，以估计目标对象在后续图像帧中的状态，因此在参考帧(即t＝1)时，并未进入跟踪状态，也即不需要计算其响应矩阵和模板矩阵，因此t应当大于1。

第二步，计算第t个图像帧的响应矩阵的变化矩阵：

C_t＝response_t-response_t-1'

当被跟踪目标没有受到较大干扰时，所得到的响应矩阵的帧间变化理应较小。因此，在理想情况下，该变化矩阵的值应当较小，也就是说，当该变化矩阵的值较大时，被跟踪的目标可能受到了较强的干扰，那么此时该特征的响应结果可信度相对较低。

第三步，对变化矩阵进行标准化处理，获得标准变化矩阵。

在实际情况中，HOG特征和颜色直方图特征得到的响应矩阵中的响应值在量级上是相同的，但是在经过模板矩阵、变化矩阵的计算后获得的变化矩阵的量级则是不同的，此时如果直接对两种特征对应的变化矩阵进行简单的比较，则会产生明显的偏向情况。在这种情况下，可以对不同特征的变化矩阵进行统一标准，即利用标准分数的计算，来对两个变化矩阵进行标准化处理。

标准分数是指变量值与其平均数的离差除以标准差后的值，具体形式为：

其中，C_t'为标准化处理后的标准变化矩阵，

为变化矩阵的平均值，σ_r为变化矩阵中所有元素值的标准差。

上述标准分数的计算只是将变化矩阵的原始数据进行了线性变换，并没有改变元素值在变化矩阵中的位置，也没有改变整个变化矩阵分布的形状，而只是将该变化矩阵变为平均值为0、标准差为1的矩阵。在对变化矩阵进行标准化处理后，两种特征所得到的变化矩阵则变为相同量纲。

第四步，计算第t个图像帧的特征变化系数c(t)：

其中，λ₁为第一阈值，λ₂为第二阈值，且λ₁>λ₂，sum(C_t'>λ)表示标准变化矩阵C_t'中所有大于阈值λ的元素值的和。

可以看出，当c(t)值较大时，则说明该特征的响应矩阵的变化也较大，根据这一特征变化系数可以自适应调整每个特征的权重，比如，HOG特征对应的特征变化系数较大，那么说明这一特征的响应结果可信程度相对较低，应当减小这一特征对应的权重，例如，可以是通过下面第五步给出的公式对每个特征的权重进行计算，总之，最终确定的所有特征的权重的和应当等于1。

第五步，计算每个特征的权重：

其中，γ_k为第k个特征的权重，c_k(t)为第k个特征对应的特征变化系数，k为1至n中的任一整数。

以HOG特征和颜色直方图为例，两个特征的权重分别为：

γ_hist＝1-γ_tmpl

c(t)_hist为颜色直方图特征对应的特征变化系数，c(t)_tmpl为HOG特征对应的特征变化系数。当颜色直方图特征对应的特征变化系数c(t)_hist越大，颜色特征的响应结果越不可信，则γ_tmpl越大，也即HOG特征的权重就越高。将确定的权重γ_tmpl、γ_hist作为最终组合比例对两个特征的响应矩阵进行融合，融合响应矩阵中的最大响应值所对应的候选区域即为待跟踪目标所在的位置。

在基于多个特征进行目标跟踪时，若这多个特征中包含有颜色直方图特征，那么上述的利用滤波器模型获得颜色直方图特征的响应矩阵可以采用如下的方法。

首先滤波器模型可以获得当前图像帧中每个像素点对应的颜色区间，即获得候选区域的颜色直方图。设I为输入图像，b_x表示第b个颜色分量出现在图像中的概率，给定矩形对象区域O及其周围区域S，位置x处的像素点属于目标区域的概率，即可获得目标的邻域背景似然函数：

假设

表示区域Ω∈I上的颜色直方图，那么可从颜色直方图估计似然项，即：

则上述邻域背景似然函数被简化为：

上述公式反映了像素点x仅相对于邻域背景的目标似然值，然而，在目标跟踪过程中常常还存在与目标相近似的干扰区域，如运动场上穿着类似服装的运动员，类似地，定义目标相对其邻近干扰区域D的似然值计算公式：

将目标的邻域背景似然函数与邻域干扰似然函数进行结合获得最终的目标似然函数，如下式，计算出的似然值对应于上述响应矩阵中的响应值：

P(x∈Ο|b_x)＝λ_pP(x∈Ο|O,D,b_x)+(1-λ_p)P(x∈Ο|O,S,b_x)

其中，λ_p为预定义的加权参数。

上述实施例提供了一种多特征融合的方案，除此以外，目标跟踪过程中，在初始化建立滤波器模型后，为准确描述场景及目标随时间的变化，保证稳定和持续的跟踪，需要滤波器模型能及时反映目标和场景的变化，通常对模型进行增量式训练和在线更新，模型在线更新主要是利用简单的线性插值方法，给定一个学习率去更新不断变化的滤波器模型，但是，以固定学习率更新模型，难于准确反映光照、目标姿态、遮挡等复杂情况，且容易在目标模型中引入背景噪声，从而可能会导致目标漂移的问题，尤其是当被跟踪的目标发生严重遮挡时，过快地进行模型更新会导致目标漂移甚至丢失目标的情况，因此，本申请实施例还提供一种模型更新的方式，基于对图像帧中响应矩阵的分析选择合理的学习率进行模型更新，或者不更新模型。

基于对特征的响应图(由MATLAB之类的绘图软件对响应矩阵进行绘制获得)的分析可以知道，当目标被外物遮挡时，其特征响应的峰值会下降，旁瓣会上升，当有相似目标干扰或环境发生突变时，特征的响应图中会出现多个伪峰值，也即这几种干扰情况都会使响应图中峰值和旁瓣的对比度下降，则此时预测的目标位置已经不可信。

本实施例中的模型更新的方式请参阅图2，具体步骤如下：

步骤201：获取由响应矩阵中最大响应值与最大响应值周围区域的响应值所形成的第一响应矩阵，对第一响应矩阵进行标准化处理，获得第一标准矩阵。

首先选择响应矩阵中最大响应值及其周围一定范围内的响应值所形成的矩阵，对其进行标准化处理后获得第一标准矩阵responseZ。

步骤202：判断第一标准矩阵中是否存在大于第三阈值的响应值，如果存在，转至步骤203，否则，转至步骤205。

步骤203：根据第一标准矩阵计算置信度。

为了达到自适应控制模型更新的目的，首先应当确定判断跟踪结果置信度的标准，置信度表征由最大响应值预测的待跟踪目标的位置的可信程度。在一些实施例中，可以是最大响应值(即峰值)，峰值越大置信度越高；或者可以用峰值强度来表示峰值周围振荡程度，振荡幅度越高置信度越低。

本实施例中置信度计算公式为：δ＝max(responseZ_t)-mean(responseZ_t(Z_t>σ₁))，其中，responseZ_t表示第t帧时的第一标准矩阵，mean(responseZ_t(Z_t>σ₁))为responseZ_t中所有大于第三阈值σ₁的响应值的平均值，max(responseZ_t)表示取responseZ_t中的最大值。

理想情况下，特征的响应图应为尖锐的单峰，此时最高峰的位置为目标真实位置的可能性最大，结果的置信度较高，此时应当对模型进行更新的操作；而当特征的响应图中出现多峰或高峰的峰值不高时，说明当前图像帧的目标被遮挡或出现其他干扰，此时如果对模型进行更新，则有可能引入误差，因此应该及时减小模型更新的学习率或者可以直接停止模型的更新操作。

学习率的大小体现了对滤波器模型变化的学习能力，学习率越大，对于模型变化较大的场景跟踪效果越好；学习率越小，对于模型变化较小且存在背景变化的场景跟踪效果越好。

步骤204：根据置信度更新滤波器模型。

滤波器模型通过线性差值方式进行更新，更新公式如下：

H_t＝(1-η)×H_t-1+η×h_t

其中H_t-1表示第t-1帧时的滤波器模型，表示第t帧训练得到的滤波器模型，η表示模型更新的学习率，H_t表示第t帧更新学习到的新的滤波器模型。

显然，若计算获得的置信度较大，说明此时响应图中峰值和旁瓣的对比度较高，峰值对应的候选区域为目标的可能性较大，结果的可信度较高，此时应适当增大学习率；而当计算获得的置信度较小时，说明此时响应图中峰值和旁瓣的对比度较小，结果的可信度较低，此时应适当减小学习率。因此，在置信度大于第四阈值时，增大滤波器模型更新的学习率η，否则，减小滤波器模型更新的学习率η。

在一个实施例中，学习率η可根据置信度计算得到，如下式：

其中，η为滤波器模型更新的学习率，β₁和β₂为预设参数，且β₁>>β₂，σ₂为第四阈值，由于β₁远大于β₂，使得在置信度较高时，学习率η取值较大，而置信度较低时，学习率η取值较小。

步骤205：保持原有的滤波器模型。

当第一标准矩阵中的所有响应值均小于第三阈值σ₁时，说明结果的置信度较低，此时不对模型进行更新操作。

目标跟踪过程中难免发生跟踪漂移、遮挡等现象，导致跟踪丢失，其中较为主要的原因则是模型的错误训练和更新操作，使得在后续跟踪中引入环境误差，最终导致跟踪失败。因此，上述方案在对模型进行更新前首先判断第一标准矩阵中的响应值是否大于第三阈值，以确定是否更新滤波器模型，并且，进一步判断当前图像帧中基于某一特征预测的跟踪结果的置信度，当置信度大于设置的第四阈值时，说明当前图像帧获得的跟踪结果较为可靠，进而合理设置学习率进行模型的更新，由于模型的更新依赖于跟踪结果的置信度分析，因此能够对于目标遮挡、背景混乱等情况有较强的适应能力。

本申请实施例还提供一种目标跟踪装置，参阅图3，该装置包括：

响应计算模块301，用于在图像帧序列的当前图像帧中确定多个候选区域；以及从每个候选区域中提取多个特征，利用滤波器模型计算出每个特征的响应矩阵，响应矩阵中的每个响应值对应一个候选区域，响应值表征在基于特征进行目标跟踪时，对应的候选区域中存在待跟踪目标的可能性；

特征融合模块302，用于根据每个特征的响应矩阵相对于图像帧序列的之前图像帧中同一特征的响应矩阵的变化程度确定每个特征的权重，并根据确定的权重将多个特征的响应矩阵进行加权融合，获得当前图像帧的融合响应矩阵；

目标定位模块303，用于将融合响应矩阵中的最大响应值对应的候选区域，确定为待跟踪目标在当前图像帧中的位置。

上述装置融合了多个特征的响应矩阵，使得多个特征能够互相补充，使跟踪结果更加准确，同时，多个特征的融合权重是根据与之前图像帧中同一特征的响应矩阵的变化程度确定，结合了之前图像帧的响应结果，因此当环境发生较大变化时能自适应调整每个特征的权重，避免响应矩阵发生突变，导致产生错误的判断。

可选地，上述特征融合模块302具体用于：通过如下公式计算每个特征的响应矩阵对应的模板矩阵response_t'：

其中，response_t为图像帧序列的第t个图像帧中特征的响应矩阵，response_t-1'为第t-1个图像帧中同一特征的模板矩阵，α为滤波器模型的学习率，N为自然数集；

计算每一特征的变化矩阵C_t＝response_t-response_t-1'，并对变化矩阵进行标准化处理，获得标准变化矩阵C_t'；

计算特征变化系数

其中，λ₁为第一阈值，λ₂为第二阈值，且λ₁>λ₂；

根据特征变化系数确定每个特征的权重。

可选地，特征融合模块302具体还用于：通过如下公式确定每个特征的权重：

其中，γ_k为第k个特征的权重，c_k(t)为第k个特征对应的特征变化系数，k为1至n中的任一整数。

可选地，如图4所示，该目标跟踪装置还包括：

矩阵获取模块304，用于获取由响应矩阵中最大响应值与最大响应值周围区域的响应值所形成的第一响应矩阵，并对第一响应矩阵进行标准化处理，获得第一标准矩阵；

更新模块305，用于判断所述第一标准矩阵中是否存在大于第三阈值的响应值，并在所述第一标准矩阵中存在大于第三阈值的响应值时，根据所述第一标准矩阵计算置信度以及根据所述置信度计算所述滤波器模型更新的学习率，并利用所述学习率更新所述滤波器模型，其中，所述置信度表征由所述最大响应值确定的待跟踪目标的位置的可信程度；以及在所述第一标准矩阵中不存在大于所述第三阈值的响应值时，保持原有的滤波器模型。

可选地，更新模块305具体用于：通过如下公式计算学习率：

其中，η为滤波器模型更新的学习率，β₁和β₂为预设参数，且β₁>>β₂，σ₂为第四阈值。

应当理解，本实施例提供的目标跟踪装置，与上述实施例提供的目标跟踪方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果，两者间相同的部分互相参见即可，在此不对具体实施方式和原理进行赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种目标跟踪方法，其特征在于，包括：

在图像帧序列的当前图像帧中确定多个候选区域；

从每个候选区域中提取多个特征，利用滤波器模型计算出每个特征的响应矩阵，所述响应矩阵中的每个响应值对应一个候选区域，所述响应值表征在基于所述特征进行目标跟踪时，对应的候选区域中存在待跟踪目标的可能性；

根据每个特征的响应矩阵相对于所述图像帧序列的之前图像帧中同一特征的响应矩阵的变化程度确定每个特征的权重，并根据确定的权重将多个特征的响应矩阵进行加权融合，获得所述当前图像帧的融合响应矩阵；

将所述融合响应矩阵中的最大响应值对应的候选区域，确定为所述待跟踪目标在所述当前图像帧中的位置；

通过如下公式计算每个特征的响应矩阵对应的模板矩阵response_t'：

其中，response_t为所述图像帧序列的第t个图像帧中所述特征的响应矩阵，response_t-1'为第t-1个图像帧中同一特征的模板矩阵，α为滤波器模型的学习率，N为自然数集；

计算每一特征的变化矩阵C_t＝response_t-response_t-1'，并对所述变化矩阵进行标准化处理，获得标准变化矩阵C_t'；

计算特征变化系数

其中，λ₁为第一阈值，λ₂为第二阈值，且λ₁>λ₂；

根据所述特征变化系数确定每个特征的权重；

通过如下公式确定每个特征的权重：

其中，γ_k为第k个特征的权重，c_k(t)为第k个特征对应的特征变化系数，k为1至n中的任一整数。

2.根据权利要求1所述的方法，其特征在于，在利用滤波器模型计算出每个特征的响应矩阵之后，所述方法还包括：

获取由所述响应矩阵中最大响应值与所述最大响应值周围区域的响应值所形成的第一响应矩阵，并对所述第一响应矩阵进行标准化处理，获得第一标准矩阵；

判断所述第一标准矩阵中是否存在大于第三阈值的响应值；

在所述第一标准矩阵中存在大于第三阈值的响应值时，根据所述第一标准矩阵计算置信度以及根据所述置信度计算所述滤波器模型更新的学习率，并利用所述学习率更新所述滤波器模型，其中，所述置信度表征由所述最大响应值确定的待跟踪目标的位置的可信程度；

在所述第一标准矩阵中不存在大于所述第三阈值的响应值时，保持原有的滤波器模型。

3.根据权利要求2所述的方法，其特征在于，所述置信度δ＝max(responseZ_t)-Mean(responseZ_t)，Z_t>σ₁，其中，responseZ_t为所述第一标准矩阵，mean(responseZ_t)，Z_t>σ₁为所述第一标准矩阵中所有大于第三阈值σ₁的响应值的平均值，max(responseZ_t)表示取所述第一标准矩阵中的最大值。

4.根据权利要求2所述的方法，其特征在于，所述根据所述置信度计算所述滤波器模型更新的学习率，包括：

通过如下公式计算所述学习率：

其中，η为滤波器模型更新的学习率，β₁和β₂为预设参数，且β₁>>β₂，σ₂为第四阈值。

5.根据权利要求1所述的方法，其特征在于，所述多个特征包括方向梯度直方图特征及颜色直方图特征。

6.一种目标跟踪装置，其特征在于，包括：

响应计算模块，用于在图像帧序列的当前图像帧中确定多个候选区域；以及从每个候选区域中提取多个特征，利用滤波器模型计算出每个特征的响应矩阵，所述响应矩阵中的每个响应值对应一个候选区域，所述响应值表征在基于所述特征进行目标跟踪时，对应的候选区域中存在待跟踪目标的可能性；

特征融合模块，用于根据每个特征的响应矩阵相对于所述图像帧序列的之前图像帧中同一特征的响应矩阵的变化程度确定每个特征的权重，并根据确定的权重将多个特征的响应矩阵进行加权融合，获得所述当前图像帧的融合响应矩阵；

目标定位模块，用于将所述融合响应矩阵中的最大响应值对应的候选区域，确定为所述待跟踪目标在所述当前图像帧中的位置；

特征融合模块具体用于：通过如下公式计算每个特征的响应矩阵对应的模板矩阵response_t'：

其中，response_t为所述图像帧序列的第t个图像帧中所述特征的响应矩阵，response_t-1'为第t-1个图像帧中同一特征的模板矩阵，α为滤波器模型的学习率，N为自然数集；

计算每一特征的变化矩阵C_t＝response_t-response_t-1'，并对所述变化矩阵进行标准化处理，获得标准变化矩阵C_t'；

计算特征变化系数

其中，λ₁为第一阈值，λ₂为第二阈值，且λ₁>λ₂；

根据所述特征变化系数确定每个特征的权重；

通过如下公式根据所述特征变化系数确定每个特征的权重：

其中，γ_k为第k个特征的权重，c_k(t)为第k个特征对应的特征变化系数，k为1至n中的任一整数。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

矩阵获取模块，用于获取由所述响应矩阵中最大响应值与所述最大响应值周围区域的响应值所形成的第一响应矩阵，并对所述第一响应矩阵进行标准化处理，获得第一标准矩阵；

更新模块，用于判断所述第一标准矩阵中是否存在大于第三阈值的响应值，并在所述第一标准矩阵中存在大于第三阈值的响应值时，根据所述第一标准矩阵计算置信度以及根据所述置信度计算所述滤波器模型更新的学习率，并利用所述学习率更新所述滤波器模型，其中，所述置信度表征由所述最大响应值确定的待跟踪目标的位置的可信程度；以及在所述第一标准矩阵中不存在大于所述第三阈值的响应值时，保持原有的滤波器模型。

Images