CN105654139A - 一种采用时间动态表观模型的实时在线多目标跟踪方法 - Google Patents

Abstract

本发明涉及一种采用时间动态表观模型的实时在线多目标跟踪方法。本发明将多目标跟踪过程中每个目标的表观信息看作是一个时间有序的表观序列，通过考虑目标表观信息在跟踪过程中随时间变化的规律，建立有强判别力的表观模型来表达表观序列的时间动态变化特性；同时通过多个隐状态的观测模型建模目标表观在特征空间中的结构多样性，为目标与检测结果之间的数据关联提供精确的表观匹配信息；通过将检测结果逐帧地与目标进行关联完成实时在线多目标跟踪的任务，可实时准确的跟踪视频中的多个感兴趣目标。在保证跟踪性能的同时具有很高的计算效率，能够实际应用于各种实时系统。

Description

一种采用时间动态表观模型的实时在线多目标跟踪方法

技术领域

本发明涉及一种采用时间动态表观模型的实时在线多目标跟踪方法，用于实时在线定位视频中感兴趣的目标并实时恢复其运动轨迹，属于计算机视觉和视频监控技术领域。

背景技术

视觉多目标跟踪旨在从视频中定位、识别场景中的多个目标，并估计每个目标的运动轨迹。多目标跟踪是计算机视觉的许多高层任务的基础，如场景理解、事件检测、行为识别等。多目标跟踪也广泛应用于视频监控、人机交互、视觉导航等系统。

基于检测的多目标跟踪方法是视觉多目标跟踪的主流方法之一，其主要思路是针对特定类别的目标(如行人、车辆等)训练检测器，在视频的每一帧图像中获取目标检测结果，然后采用数据关联的方式将检测结果关联成完整的目标轨迹。其中的关键问题是，如何衡量目标与给定检测结果之间的匹配程度，以保证数据关联的正确性。由于存在目标近距离交互的可能，通过运动、形状等简单的线索很难准确地识别不同目标，因此如何利用丰富的表观信息构建具有判别力的表观模型是数据关联的核心问题。

已有的技术使用底层视觉特征(如颜色、边缘、纹理等)描述目标的表观信息，并根据表观特征在特征空间中的空间分布构建有判别力的表观模型。然而多目标跟踪的任务使得表观模型需要能够区分属于同一类别的多个目标，仅仅依靠表观特征的空间分布很容易造成混淆，限制了表观模型在实际中起的作用。本发明构建一种强判别能力的多目标跟踪表观模型，能有效处理复杂场景中多个表观相似的目标近距离交互造成的轨迹混淆问题。

发明内容

本发明设计了一种采用时间动态表观模型的实时在线多目标跟踪方法，用于实时在线跟踪视频中的多个感兴趣目标。本发明包括如下步骤：

步骤一：对每一帧视频图像使用离线训练好的目标检测器进行目标检测，获得包含目标位置和尺度信息的检测结果；

步骤二：对步骤一中获取的检测结果提取边缘特征，并使用离线训练好的属性检测器进行打分，将打分作为表示每个检测结果的中层语义特征；

中层特征通过离线训练好的一系列属性检测器对该特征进行评估，使用属性检测器的输出(打分)作为检测结果进行表示。属性检测器的输出表示了该检测结果具有某项属性的可能性，因此这种中层特征表示包含了丰富的弱语义信息，有助于后续时间动态表观模型的建立。

属性检测器的离线训练使用线性判别分析方法，通过聚类和选择两个过程进行；

步骤三：对每个已跟踪目标，使用在线建立的时间动态表观模型计算该目标与检测结果之间的匹配程度，进行数据关联；

步骤四：对已跟踪目标进行状态更新；若获得关联数据则使用卡尔曼滤波器(KalmanFilter)对目标状态进行更新，并将与之关联的检测结果加入该目标的轨迹中，同时通过增量学习更新对应的时间动态表观模型；若没有获得关联数据则使用卡尔曼滤波器对当前时刻的目标状态进行预测，将预测结果加入目标轨迹，此时不更新对应的时间动态表观模型；

若一个目标在长时间内持续没有获得关联数据，则认为该目标为从场景中消失，将其从已跟踪目标列表中删除。

步骤五：对未发生关联的检测结果进行处理，如有新的目标出现，则为其新出现的目标初始化一个离线训练好的通用时间动态表观模型，加入已跟踪目标列表；如没有新的目标出现，则判断跟踪是否结束，若未结束则转步骤一进行下一视频帧的跟踪，直到视频结束则跟踪结束。

有益效果：

本发明与已有多目标跟踪方法相比，具有以下几个方面的优势：

1、本发明采用了时间动态表观模型，不仅考虑了目标表观在特征空间中的空间分布特性，还考虑了目标表观在跟踪过程中随时间变化的规律，针对同一时刻表观相似的目标有很好的区分能力；

2、本发明通过离线训练属性检测器提取中层语义特征，在保证跟踪性能的同时具有很高的计算效率，无需人工设计复杂的特征提取过程；

3、本发明采用增量学习的方式在线更新时间动态表观模型，使得跟踪系统能够实时在线的运行，能够实际应用于各种实时系统。

附图说明

图1是本发明的多目标跟踪方法的流程图；

图2是本发明使用的属性检测器的示意图；

具体实施方式

本发明是一种时间动态表观模型的实时在线多目标跟踪方法。通过考虑目标表观信息在跟踪过程中随时间的变化规律，建立有强判别力的表观模型，为目标与检测结果之间的数据关联提供精确的表观匹配信息，通过将检测结果逐帧地与目标进行关联完成在线多目标跟踪的任务。

以下通过具体实施例详细描述本发明的实施方式，一种采用时间动态表观模型的实时在线多目标跟踪方法流程图如图1所示，实现过程如下：

根据步骤一：对每一帧视频图像使用离线训练好的目标检测器进行目标检测，获得包含目标位置和尺度信息的检测结果，用一系列矩形区域表示。

根据步骤二，对步骤一中获取的检测结果，提取边缘特征，即图像中的每一个矩形区域，使用底层边缘特征描述该区域。

然后通过离线训练好的一系列属性检测器对该特征进行评估，使用属性检测器的输出(打分)作为检测结果的中层特征表示。属性检测器的输出表示了该检测结果具有某项属性的可能性，因此这种中层特征表示包含了丰富的弱语义信息，有助于后续时间动态表观模型的建立。

属性检测器的具体训练方式描述如下。从训练目标检测器的训练数据中收集大量包含目标表观的训练样本，从中提取梯度方向直方图(HOG)特征作为底层特征表示，然后通过NormalizedCuts聚类方法将训练样本分为若干个表观类别。对每个表观类别，采用线性判别分析(LDA)方法训练一个线性分类器(检测器)。线性分类器的具体计算方式为其中是这个表观类别中所有HOG特征的均值，μ₀和Σ分别是所有训练样本的HOG特征的均值和协方差，ω是训练得到的检测器的系数。这种训练方法将所有训练样本的均值作为“负”样本，突出了每个表观类别的本质特征，而且节省了大量的训练时间。

通过聚类可得到数目庞大的检测器，本发明设计了一种评价检测器是否有利于时间动态表观建模的准则，从数目庞大的检测器中选择一定数量的最优的检测器来提取中层语义特征。给定一个训练好的检测器，将该检测器应用于一个目标表观序列中，计算检测器的响应，分析检测器是否能检测出特定类别的目标表观。好的检测器只对这个表观序列中少数符合检测器所表示的表观类别的表观产生响应，而不受其他表观的影响。因此，计算检测器在一个表观序列中每个时刻产生响应的概率的信息熵，来衡量该检测器识别特定类别的表观信息的确定性。熵的值越低，确定性越强，说明检测器对时间动态表观建模越有意义。选择大量目标表观序列用做评估，计算每个检测器在这些表观序列上的信息熵的平均值作为打分，选取打分最高的48个检测器用于中层语义特征提取。图2是本发明使用的属性检测器的示意图(以行人为目标，但不限于行人)。如图2所示，上述训练方式得到的属性检测器一定程度上凸显了特定的目标(人体)轮廓，使得检测器的输出表达了丰富的语义信息。其中，(a)、(b)、(c)、(d)分别是在检测器评估时打分最高的四个检测器，每个子图中的左侧是检测器的“正”系数而右侧是检测器的“负”系数；

根据步骤三，对每个已跟踪目标，使用在线建立的时间动态表观模型计算该目标与检测结果之间的匹配程度，进行数据关联；

给定一个感兴趣目标，本发明将其表观信息随着时间的变化看成是一个时间有序的表观序列，并通过隐马尔科夫模型(HMM)建立该目标的时间动态表观模型，表示这个表观序列在特征空间中的空间结构和时间变化特性。使用HMM的潜在假设是，这个表观序列由一个不可见的隐状态序列所决定，每一时刻的表观仅与该时刻的隐状态决定的观测模型有关。由此，目标表观的时间变化特性即由隐状态形成的马尔科夫过程决定，目标表观在特征空间中的多样性则由多个观测模型来表示。

一个目标在t时刻的表观为对应的隐状态为s_t∈{1，...，N}，其中o_t即是步骤二中所述中层语义特征，d是中层语义特征的维度，N为隐状态的个数。一个时间动态表观模型则可参数化表示为θ＝(π，A，F)，具体描述如下：

π＝{π_i}是初始状态分布，即

π_i＝P(s₁＝i)，i＝1，...，N.

A＝{a_ij}是状态转移概率，即

a_ijP(s_t+1＝j|s_t＝i)，i，j＝1，...，N，

且满足约束条件

F＝{f_i(·)}是由隐状态决定的观测概率密度函数，由高斯混合模型表示，

其中每个观测概率密度函数由M个高斯分布表示，ω_ik、μ_ik和Σ_ik分别表示每个高斯分布的权重、均值和协方差。

给定一个目标在时刻t的时间动态表观模型θ_t＝(π^(t)，A^(t)，F^(t))，以及时刻(t+1)新获得的一个检测结果，其表观特征为通过计算表观特征o_t+1由模型θ_t产生的可能性P(o_t+1|θ_t)来进行目标与检测结果之间的表观匹配。由于时间动态表观模型考虑了目标表观的时间变化特性，还利用该目标在t时刻以前的最近的L个表观特征组成的子序列来计算概率P(o_t+1|θ_t)，具体计算方式为P(o_t+1|θ_t)＝P(o_t+1|W_t，θ_t).模型产生表观o_t+1的概率只由(t+1)时刻的隐状态s_t+1决定，因此有

$\begin{array}{c}P\left(o_{t+1}\right|W_t,{\mathrm{\θ}}_t)=\underset{j=1}{\overset{N}{\Σ}}P(o_{t+1}{s}_{t+1}=j|W_t,{\mathrm{\θ}}_t)\\ =\underset{j=1}{\overset{N}{\Σ}}{\mathrm{\φ}}^{\left(t\right)}\left(j\right)\·f_j^{\left(t\right)}\left(o_{t+1}\right)\end{array},---\left(2\right)$

其中φ^(t)(j)＝P(s_t+1＝j|W_t，θ_t)是状态预测概率，可由模型θ_t在子序列W_t上运行一次前向算法得到，是观测概率，由式(1)给出。

根据上述表观匹配方法，进行已跟踪目标与检测结果之间的数据关联。假设t时刻有n个已跟踪目标而(t+1)时刻有m个检测结果由式(3)计算一个n×m的关联代价矩阵Ψ，

${\mathrm{\Ψ}}_{pq}=-log\left(\mathrm{\ρ}\right(X_t^p,z_{t+1}^q\left)\right),---\left(3\right)$

其中是第p个目标与第q个检测结果之间的匹配程度。该匹配程度由三部分组成，第一部分是根据式(2)计算的表观匹配程度，第二部分是目标与检测结果在图像上的距离接近程度，第三部分是目标与检测结果在尺度上的接近程度。其中，由上述时间动态表观模型给出的表观匹配程度起了至关重要的作用，特别是场景中存在多个目标近距离交互的情况，光靠运动和尺度信息很难获得准确的匹配。给定关联代价矩阵Ψ，采用匈牙利算法(HungarianAlgorithm)寻找所有目标和检测结果之间整体代价最小的最优关联。

根据步骤四，目标状态与时间动态表观模型的更新：

对每一个已跟踪的目标，在数据关联之后有两种可能的状态：

(1)该目标并没有获得与之关联的检测结果，这种情况可能是该目标在当前时刻发生了遮挡，或者目标检测器出现了漏检。在这种情况下，使用卡尔曼滤波器(KalmanFilter)对当前时刻的目标状态进行预测，将预测状态加入该目标的轨迹中，同时该目标的时间动态表观模型不发生更新。若一个目标在长时间内持续没有获得关联数据，则认为该目标为从场景中消失，将其从已跟踪目标列表中删除。

(2)该目标由数据关联获得了新的观测数据，亦即当前时刻有一个检测结果与之关联。这种情况下，使用卡尔曼滤波器对目标状态进行更新，并将与之关联的检测结果加入该目标的轨迹中，同时更新该目标的时间动态表观模型。

时间动态表观模型的在线更新方法具体描述如下。假设时间动态表观模型θ_t在(t+1)时刻获得了新的表观数据o_t+1，在线更新的任务是将时间轴上的滑动窗口向(t+1)时刻移动，获得新的表观子序列并以此为新的训练样本将当前时刻的模型θ_t更新为θ_t+1。新的表观子序列W_t+1是通过把新的表观o_t+1加入子序列W_t中，并舍弃子序列W_t中最早的表观特征而得到。采用了一个高效的在线期望最大化算法增量更新模型θ_t的参数，详细描述如下：

(1)计算期望(E-step)

利用当前模型参数θ_t通过在子序列W_t+1上运行前向-后向算法，计算

${\mathrm{\ξ}}_l^{\left(t\right)}(i,j)=P(s_{t_l}=i,s_{t_{l+1}}=j|o_{t_1:t_L},{\mathrm{\θ}}_t),$

${\mathrm{\γ}}_l^{\left(t\right)}(i,k)=P(s_{t_l}=i,{\mathrm{\δ}}_l(s_{t_l})=k|o_{t_1:t_L},{\mathrm{\θ}}_t),$

其中，表示子序列中的t_l时刻目标隐状态为i而t_l+1时刻目标隐状态为j的概率，表示子序列中的t_l时刻目标隐状态为i且目标表观由高斯混合模型中的第k个高斯分布产生的概率。然后可以计算如下统计量：

${\mathrm{\ξ}}_{ij}^{\left(t\right)}={\Σ}_{l=1}^{L-1}{\mathrm{\ξ}}_l^{\left(t\right)}(i,j),$

${\mathrm{\γ}}_{ik}^{\left(t\right)}={\Σ}_{l=1}^L{\mathrm{\γ}}_l^{\left(t\right)}(i,k),$

$m_{ik}^{\left(t\right)}={\Σ}_{l=1}^L{\mathrm{\γ}}_l^{\left(t\right)}(i,k)\·o_{t_l},$

为了考虑历史信息，采用如下方式(从零开始)累计上述四个统计量：

${\widehat{\mathrm{\ξ}}}_{ij}^{(t+1)}=(1-\mathrm{\η})\·{\widehat{\mathrm{\ξ}}}_{ij}^{\left(t\right)}+\mathrm{\η}\·{\mathrm{\ξ}}_{ij}^{\left(t\right)},$

${\widehat{\mathrm{\γ}}}_{ik}^{(t+1)}=(1-\mathrm{\η})\·{\widehat{\mathrm{\γ}}}_{ik}^{\left(t\right)}+\mathrm{\η}\·{\mathrm{\γ}}_{ik}^{\left(t\right)},$

${\hat{m}}_{ik}^{(t+1)}=(1-\mathrm{\η})\·{\hat{m}}_{ik}^{\left(t\right)}+\mathrm{\η}\·m_{ik}^{\left(t\right)},$

${\hat{C}}_{ik}^{(t+1)}=(1-\mathrm{\η})\·{\hat{C}}_{ik}^{\left(t\right)}+\mathrm{\η}\·C_{ik}^{\left(t\right)},---\left(4\right)$

其中η为学习率。

(2)参数估计(M-step)

新的模型参数θ_t+1＝(π^(t+1)，A^(t+1)，F^(t+1))可根据式(4)计算的(t+1)时刻累计的统计量由下式估计，

$a_{ij}^{(t+1)}=\frac{{\widehat{\mathrm{\ξ}}}_{ij}^{(t+1)}}{{\Σ}_{j=1}^N{\widehat{\mathrm{\ξ}}}_{ij}^{(t+1)}},$

$w_k^{(t+1)}=\frac{{\widehat{\mathrm{\γ}}}_{ik}^{(t+1)}}{{\mathrm{\Σ}}_{k=1}^M{\widehat{\mathrm{\γ}}}_{ik}^{(t+1)}},$

${\mathrm{\μ}}_{ik}^{(t+1)}=\frac{1}{{\widehat{\mathrm{\γ}}}_{ik}^{(t+1)}}\·{\hat{m}}_{ik}^{(t+1)},$

由于增量学习使用的子序列可能从任意一个隐状态开始，初始概率分布π^(t)在跟踪过程中并不发生更新，始终采用均匀分布。

根据步骤五，对未发生关联的检测结果进行处理：

监控场景中感兴趣目标的个数可能会随时发生变化，因此我们根据数据关联的结果在每一时刻判断是否有新目标出现。针对距离当前时刻最近的5帧图像数据，收集其中未与任何目标发生关联的检测结果，使用步骤四中描述的运动和形状信息进行检测结果之间的匹配，并使用匈牙利算法进行数据关联，形成若干条轨迹片段。若其中存在一条轨迹片段长度等于5，即在5帧内连续有检测结果与之关联，则认为有新目标出现，使用轨迹片段中包含的信息初始化新目标的状态。

如步骤四中所述，每个目标的时间动态表观模型都通过增量更新的方式在跟踪过程中在线学习得到，模型参数的估计精度与模型的初始化息息相关。本发明采用离线训练的方式，学习一个能够粗略表示目标表观的空间分布和时间变化特性的通用模型，记为θ₀＝(π⁽⁰⁾，A⁽⁰⁾，F⁽⁰⁾)。其中初始状态分布和状态转移概率都设定为均匀分布，观测模型则通过如下方式计算得到：在训练数据上运行K-means聚类方法获得N个类别，为每个类别中的中层语义特征用M个加权高斯分布进行拟合，以此作为模型θ₀的观测概率密度函数。跟踪过程中，所有新目标的时间动态表观模型都初始化为通用模型θ₀，然后逐步通过增量更新的方式在线学习不同目标独有的表观变化特征。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明。应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、局部改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种采用时间动态表观模型的实时在线多目标跟踪方法，其特征在于具体实施步骤如下：

步骤一、对每一帧视频图像使用离线训练好的目标检测器进行目标检测，获得包含目标位置和尺度信息的检测结果；

步骤二、对步骤一中获取的检测结果提取边缘特征，并使用离线训练好的属性检测器进行打分，将打分作为表示每个检测结果的中层语义特征；

步骤三、对每个已跟踪目标，使用在线建立的时间动态表观模型计算该目标与检测结果之间的匹配程度，进行数据关联；

步骤四、对已跟踪目标进行状态更新；若获得关联数据则使用卡尔曼滤波器对目标状态进行更新，并将与之关联的检测结果加入该目标的轨迹中，同时通过增量学习更新对应的时间动态表观模型；若没有获得关联数据则使用卡尔曼滤波器对当前时刻的目标状态进行预测，将预测结果加入目标轨迹，此时不更新对应的时间动态表观模型；若一个目标在长时间内持续没有获得关联数据，则认为该目标为从场景中消失，将其从已跟踪目标列表中删除；

步骤五、对未发生关联的检测结果进行处理，如有新的目标出现，则为其新出现的目标初始化一个离线训练好的通用时间动态表观模型，加入已跟踪目标列表；如没有新的目标出现，则判断跟踪是否结束，若未结束则转步骤一进行下一视频帧的跟踪，直到视频结束则跟踪结束。

2.如权利要求1所述的一种基于时间动态表观模型的实时在线多目标跟踪方法，其特征还在于，中层特征通过离线训练好的一系列属性检测器对该特征进行评估，使用属性检测器的输出作为检测结果进行表示；属性检测器的离线训练使用线性判别分析方法，通过聚类和选择两个过程进行。