CN112132856A - 一种基于自适应模板更新的孪生网络跟踪方法 - Google Patents

Abstract

本发明涉及一种基于自适应模板更新的孪生网络跟踪方法，用于解决目标跟踪过程中面对遮挡和快速变形等问题时的跟踪精度和鲁棒性低的问题。首先将待跟踪的视频帧和目标模板输入到孪生跟踪模块中，输出预测的目标跟踪边界框；然后将历史跟踪信息输入到轨迹预测模块中，判断是否启动模板更新模块；若启动了模板更新模块，模板更新模块对当前帧使用的目标模板进行更新，更新后的目标模板代替更新前的目标模板作为孪生跟踪模块的输入；重复这一过程完成视频跟踪。本发明使目标模板特征能够适应目标的外观变化，实现了实时跟踪，有效解决了目标在发生被遮挡或快速变形等问题时目标跟踪精度和鲁棒性低的问题。

Description

一种基于自适应模板更新的孪生网络跟踪方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及的是一种基于自适应模板更新的孪生网络的目标跟踪方法。

背景技术

单目标视觉跟踪是计算机视觉应用中重要的研究方向之一，如图像理解、视频监控、人机交互、自动驾驶等。其目的在于只给出在初始帧中的任意目标，然后估计视频序列中该目标的位置。因为频繁变化的目标、不同的色调、干扰物的存在和环境等方面的因素,目标跟踪的主要挑战之一是如何健壮地表示外观模型。在单目标跟踪中，几乎所有最先进的跟踪器都从两个方面提高跟踪算法的性能。一种是设计有效的算法，称为判别或生成算法模型。前者训练分类器区分目标与背景，后者计算目标与搜索候选目标的联合概率密度，找到最合适的目标。另一种是通过提取人工特征或多层深度卷积特征来优化目标表示能力。但是，使用了复杂的模型或深度特征提高了性能的同时，却也大大降低了跟踪速度。目前，孪生网络框架作为一种生成式跟踪器受到了越来越多的关注，因为它在各种测试基准中的速度和准确性都处于领先地位。基于孪生网络的跟踪算法通过广泛的离线训练来学习不同帧中物体之间的相似性。在线跟踪时，将第一帧中目标所在图像块提取的特征作为模板，在后续帧中将之与获得的搜索区域特征进行相似匹配计算，相似度得分最高的位置作为预测的目标位置。这类方法的目标模板和搜索区域特征是通过离线训练的深度卷积网络在大数据集上获得的，因此具有较高的跟踪精度的同时可以达到实时要求。

现有的技术缺陷：基于孪生网络的目标跟踪算法的跟踪性能依赖于目标模板特征对于目标外形的表示能力，而如Siamfc、SiamRPN、SiamDW等算法的目标模板仅在第一帧中获得,在面对目标被遮挡、快速变形等问题上的鲁棒性很低。目标模板的特征是由深度网络提取的深度特征表示的，这要求目标特征提取方式具有很强的目标表示能力；随着目标发生运动变化或者外形变化时，如相机运动、尺寸变化、被遮挡、变形等，单一不变的模板特征不足以用来表示此时的目标，这要求目标模板特征可以适应目标的外观变化；而设计模板更新策略对模板进行更新的时候，复杂的背景、被遮挡的部分、快速变形导致的模糊等都会造成模板不同程度污染,这要求模板更新策略能够有效的避免污染情况；同时也会增加计算复杂度,大大降低跟踪速度，这要求模板更新策略具有简单、不过分降低速度的特点。因此设计一种简单有效的特征提取方法和模板更新方法是很必要的。

发明内容

鉴于上述现有技术中的不足之处，本发明的目的在于提供一种基于自适应模板更新的目标跟踪方法，利用深度特征不同层间关注特征不同，设计一种有效的特征提取方式；利用长短时记忆网络对时序序列的逻辑回归能力对视频序列中的目标位置进行关联预测，设计一种简单有效的模板更新策略。进而解决目标跟踪过程中面对遮挡和快速变形等问题时的跟踪精度和鲁棒性低的问题。

为了达到上述目的,本发明所采用的技术方案是提供了一种基于自适应模板更新的孪生网络跟踪算法，通过改进提取特征的方法和增加模板更新的模块，来使得模板更好地对目标外观进行表示，其特征主要包括：

1、基于目标跟踪模型，所述目标跟踪模型包括孪生跟踪模块、轨迹预测模块和模板更新模块，其中，

所述孪生跟踪模块用于输出目标模板在当前原始视频帧的搜索区域中预测的目标跟踪边界框，输入为当前原始视频帧中的搜索区域，以及目标模板，目标模板的初始值从第一帧中获取；

所述轨迹预测模块用于判断当前目标模板是否需要更新，输入为历史目标跟踪信息，输出为一个二值变量，用来控制模板更新模块的启动；所述历史目标跟踪信息包括孪生跟踪模块在历史时刻处理视频帧输出的历史目标跟踪边界框，和孪生跟踪模块在当前时刻处理视频帧中间过程生成的响应图；

所述模板更新模块用于生成新的目标模板，输入包括当前时刻孪生跟踪模块的输入目标模板和输出的目标跟踪边界框，以及原始视频帧，输出为更新后的目标模板，用于下一时刻视频帧的跟踪；

具体步骤包括：

(1)将待跟踪的视频帧和目标模板输入到孪生跟踪模块中，输出预测的目标跟踪边界框；

(2)将历史跟踪信息输入到轨迹预测模块中，输出二值变量，判断是否启动模板更新模块；

(3)若启动了模板更新模块，模板更新模块对当前帧使用的目标模板进行更新，更新后的目标模板代替更新前的目标模板作为孪生跟踪模块的输入；

(4)每到来一个新的视频帧，就重复(1)-(3)的步骤。

2、所述的孪生跟踪模块包括两个分支及三个区域提议网络单元，每个分支即为一个特征提取单元，第一分支用于提取目标模板的特征，输入为目标模板，第二分支用于提取搜索区域的特征，输入为搜索区域；每个分支提取三种特征，分别是局部特征、全局特征和融合特征；所述的三个区域提议网络单元是级联结构，通过多级回归操作输出最终的目标跟踪边界框；第一个单元的输入是目标模板和搜索区域的局部特征，输出初步的分类预测信息和回归信息，第二个单元的输入是搜索区域和目标模板的全局特征以及上一单元的分类预测信息和回归信息，输出进一步的分类预测信息和回归信息，第三个单元的输入是搜索区域和目标模板的融合特征以及上一单元的分类预测信息和回归信息，输出最终的目标跟踪边界框回归信息。

3、所述特征提取单元采用Resnet-16模型，该模型包括多个卷积层和一个融合子单元；经过conv3得到局部特征，经过conv6得到全局特征，经过融合子单元得到融合特征；所述融合子单元获取融合单元的过程为：

(1)先通过互相关操作计算全局特征与局部特征之间的相似概率图；

(2)然后通过相似概率图对局部特征进行选择；所述选择的过程是将概率图中的概率作为权重，对局部特征图进行加权赋值；

(3)最后将选择后的局部特征与对应的全局特征进行拼接。

4、所述轨迹预测模块的工作过程如下：

(1)将孪生跟踪模块中间过程得到的响应图中响应值最大的k个位置映射到原始视频帧中，分别以这k个位置为中心通过预设的Q种不同比例边界框，获得K*Q个位置向量；

(2)将所述k*Q个位置向量与相邻T帧的历史跟踪边界框数据进行归一化和数据解析处理；

(3)将经过处理的数据输入到长短时记忆网络中，输出一个k*Q维的概率向量；

(4)比较概率向量中大于阈值Y的比例，如果大于比例阈值，就将二值变量设置为1，表示启动模板更新模块；否则，不启动模板更新模块。

5、所述模板更新模块的工作过程如下：

(1)将当前时刻孪生跟踪模块的输入目标模板称为当前目标模板，将更新后的模板称为下一时刻目标模板，将当前时刻视频帧跟踪到的目标边界框映射到原始视频帧中，截取出和更新前目标模板大小一致的图像块，称为候选目标模板；

(2)经过特征提取单元分别提取出与候选目标模板对应的局部特征、全局特征和融合特征，所述特征提取单元与孪生跟踪模块中的特征提取单元共享参数；

(3)将候选目标模板的局部特征、全局特征和融合特征分别与当前目标模板进行加权相加，输出得到下一时刻模板。

有益结果

本发明设计的特征提取单元利用了全局语义特征对局部细节特征进行反向选择并融合，获得更能表示目标的深度特征；设计的轨迹预测模块和模板更新模块，利用了历史视频帧之间的目标运动时序逻辑信息辅助预测孪生跟踪结果，并以此为依据对孪生网络跟踪模块中使用的目标模板进行更新，使得更新后的模板对变化的目标具有更强的特征表示能力，使得目标模板特征能够适应目标的外观变化；同时跟踪速度达到了实时，从而有效解决了目标在发生被遮挡或快速变形等问题时目标跟踪精度和鲁棒性低的问题。

附图说明

图1是本发明提供的一种基于自适应模板更新的孪生网络跟踪方法的结构示意图；

图2是本发明提供的孪生跟踪模块结构示意图；

图3是本发明提供的特征融合单元的结构示意图；

图4是本发明提供的长短时记忆网络的原理示意图

具体实施方式

由于现有技术中的孪生跟踪算法在多种类型的属性上的跟踪精度低鲁棒性差，因此为了提高孪生跟踪算法的鲁棒性，本文发明一种基于自适应模板更新的孪生网络跟踪算法，以下具体描述本发明的实施过程。

参照图1，一种基于自适应模板更新的孪生网络跟踪方法，基于目标跟踪模型，所述跟踪模型包括三个模块，孪生跟踪模块、轨迹预测模块和模板更新模块。

跟踪过程主要包括以下步骤：

1、从视频第一帧中裁剪出127*127大小的目标模板；

2、从第二帧开始，以上一帧目标的边界框为依据，从当前原始视频帧中裁剪出大小为255*255的搜索区域；

3、将当前帧的搜索区域和目标模板输入至孪生跟踪模块中，输出目标模板在当前原始视频帧上的跟踪边界框，具体步骤包括：

3.1)将搜索区域和目标模板分别经过孪生跟踪模块的两个分支的特征提取单元，包括局部特征提取单元、全局特征提取单元和融合特征单元，分别获得与目标模板和搜索区域对应的大小为32*32*256和64*64*256的局部特征，与目标模板和搜索区域对应的大小为11*11*256和32*32*256的全局特征，与目标模板和搜索区域对应的大小为6*6*256和22*22*256的融合特征。

以图3中上分支为例说明融合单元提取的融合特征的具体过程：

(1)将所述目标模板全局特征与所述搜索区域的全局特征进行互相关操作得到响应图，对响应图进行数据归一化处理和数据解析处理后，得到目标模板在搜索区域上的存在概率图；

(2)利用概率图对所述目标模板的局部特征进行加权过滤，用于加强局部细节特征中符合概率条件的部分，削弱不符合概率条件的部分；其中，加权过滤前，先对局部特征进行1*1卷积用于通道对齐；

(3)将目标模板加权过滤后的局部特征与目标模板的全局特征各通道相加得到融合特征，其中F_all是融合后的特征，F_L是加强后的局部细节特征，F_H为全局特征，λ表示权值，取值为0.2，l代表不同特征通道，加权特征公式如下：

3.2)将与目标模板和搜索区域对应的三种特征分别输入到级联的三个区域提议网络中，经过分类回归输出目标模板在搜索区域上的边界框；结合图2，具体步骤包括：

(1)将与目标模板对应的局部特征和与搜索区域对应的局部特征输入到第一个区域提议网络单元中的卷积中；

(2)将与目标模板对应的全局特征和与搜索区域对应的全局特征输入到第二个区域提议网络单元中的卷积中；

(3)将与目标模板对应的融合特征和与目标搜索区域对应的融合特征输入到第三个区域提议网络单元的卷积中；

(4)每个区域提议网络单元分别将输入的特征图经过转换卷积得到通道数相同的特征图，再经过交叉相关操作进行特征分类和边界框回归，获得特征分类信息和边界框回归信息；

(5)将三个区域提议网络单元的特征分类信息和边界框分类信息进行加权，输出最终的特征分类信息S_all和边界框分类信息B_all，其中，S_j是第j个区域提议网络单元得到的特征分类信息，B_j是第j个区域提议网络单元得到的边界框回归信息，α和β是权重，大小均为0.33，加权信息的公式如下：

3.3)将得到的目标模板在搜索区域上的边界框信息映射到当前原始视频帧中，输出预测得到的当前原始视频帧中的目标跟踪边界框。

4、将历史跟踪信息输入到轨迹预测模块中，所述历史目标跟踪信息包括第3步所述孪生跟踪模块在当前时刻处理视频中间过程生成的响应图和孪生跟踪模块在历史时刻处理视频帧输出的历史目标跟踪边界框信息，输出一个二值变量，判断是否更新模板更新模块；结合图4，具体步骤如下：

4.1)将第3步所述的响应图中响应值最大的5个位置映射到当前原始视频帧中，分别以这5个位置为中心通过预设的3中不同比例边界框，即0.75、1、1.25，得到15个坐标向量，称为当前预测位置向量；向量的表示方法为(x,y,w,h)，其中x和y表示目标边界框的中心位置坐标，w表示边界框的宽，h表示边界框的高；

4.2)将历史的10帧原始视频跟踪到的目标边界框坐标组成形如(x,y,w,h)的历史位置向量；将历史位置向量和预测位置向量拼接成为长度为25的向量，经过归一化和数据解析过程，得到处理后的输入向量；

4.3)将输入向量输入到轨迹预测模块中的长短时记忆网络，输出一个长度为15的概率向量；

4.4)比较概率向量中值的大小，若其中有75％以上的值大于设定好的阈值，就将二值变量设为1，即表示可以激活模板更新模块对目标初始模板进行更新，否则不启动模板更新模块。

5、若启动模板更新模块，则将当前时刻孪生跟踪模块的输入目标模板和输出的目标跟踪边界框，以及原始视频帧输入到模板更新模块中，输出更新后的目标模板，用于下一时刻视频帧的跟踪；具体步骤包括：

5.1)将当前时刻孪生跟踪模块的输入目标模板称为当前目标模板，将更新后的模板称为下一时刻目标模板；将当前时刻视频帧跟踪到的目标边界框映射到原始视频帧中，截取出和更新前目标模板大小一致的127*127图像块，称为候选目标模板；其中，为了获取与初始目标相似的比例，所述模板更新区域的大小随着目标边界框的大小改变，公式如下：

其中A₀目标初始模板区域大小，A_t表示当前帧要裁剪的模板更新区域大小，S₀表示当前目标在第一帧中的给定的边界框真值大小，S_t表示当前帧跟踪到的边界框大小。

5.2)所述候选目标模板经过特征提取单元分别提取出与候选目标模板对应的局部特征、全局特征和融合特征，所述特征提取单元与孪生跟踪模块中的特征提取单元共享参数；

5.3)将候选目标模板的局部特征、全局特征和融合特征分别与当前目标模板进行加权相加，输出得到下一时刻模板

公式如下：

其中T_i为候选目标模板对应的特征，

表示当前目标模板；在本实施例中，经过试验表明，γ设置为0.03的时候，更新得到的模板效果最好。

6、每到来新的一帧视频帧，就重复步骤2-5。

本发明提出的基于自适应模板更新的孪生网络跟踪方法，从特征提取方面和模板更新方面增强了模板对于变化的目标的特征表示能力，提高了在遮挡和快速变形等情况下的平均期望重叠率和准确率，进而提高了鲁棒性，提高了在OTB100和OTB2013上的平均期望重叠率和准确率，进而提高了跟踪精度。

本发明提出的LSiam和其他算法在遮挡和变形严重序列上的平均期望重叠率和准确率如表1所示，各个跟踪算法在OTB100和OTB2013数据集上的期望重叠率如表2所述，S代表平均期望重叠率，P代表准确率，平均期望重叠率的值越大性能越好，准确率的值越大性能越好。

表1，各跟踪算法在遮挡和变形序列上的比较。

表2，各跟踪算法在OTB100数据集上的比较

本发明提供了一种基于自适应模板更新的孪生网络跟踪方法，设计了一种特征融合方式和模板更新策略，提高了目标在面对目标被遮挡、快速变形等问题时的跟踪的期望平均重叠率和准确率，进而提高了跟踪鲁棒性；同时也提高了目标公共数据集上跟踪的平均期望重叠率和准确率，进而提高了跟踪精度；本实施例的硬件实验环境是NVIDIAGeForce GTX 980Ti，速度达到了69fps，可以实现实时跟踪。

利用本实施例中提供的目标跟踪方法进行目标跟踪，可以获得较准确的目标跟踪结果。

Claims (5)

1.一种基于自适应模板更新的孪生网络跟踪方法，其特征在于，基于目标跟踪模型，所述目标跟踪模型包括孪生跟踪模块、轨迹预测模块和模板更新模块，其中，

所述孪生跟踪模块用于输出目标模板在当前原始视频帧的搜索区域中预测的目标跟踪边界框，输入为当前原始视频帧中的搜索区域，以及目标模板，目标模板的初始值从第一帧中获取；

所述轨迹预测模块用于判断当前目标模板是否需要更新，输入为历史目标跟踪信息，输出为一个二值变量，用来控制模板更新模块的启动；所述历史目标跟踪信息包括孪生跟踪模块在历史时刻处理视频帧输出的历史目标跟踪边界框，和孪生跟踪模块在当前时刻处理视频帧中间过程生成的响应图；

所述模板更新模块用于生成新的目标模板，输入包括当前时刻孪生跟踪模块的输入目标模板和输出的目标跟踪边界框，以及原始视频帧，输出为更新后的目标模板，用于下一时刻视频帧的跟踪；

具体步骤包括：

(1)将待跟踪的视频帧和目标模板输入到孪生跟踪模块中，输出预测的目标跟踪边界框；

(2)将历史跟踪信息输入到轨迹预测模块中，输出二值变量，判断是否启动模板更新模块；

(3)若启动了模板更新模块，模板更新模块对当前帧使用的目标模板进行更新，更新后的目标模板代替更新前的目标模板作为孪生跟踪模块的输入；

(4)每到来一个新的视频帧，就重复(1)-(3)的步骤。

2.根据权利要求1所述的基于自适应模板更新的孪生网络跟踪方法，其特征在于，所述的孪生跟踪模块包括两个分支及三个区域提议网络单元，每个分支即为一个特征提取单元，第一分支用于提取目标模板的特征，输入为目标模板，第二分支用于提取搜索区域的特征，输入为搜索区域；每个分支提取三种特征，分别是局部特征、全局特征和融合特征；所述的三个区域提议网络单元是级联结构，通过多级回归操作输出最终的目标跟踪边界框；第一个单元的输入是目标模板和搜索区域的局部特征，输出初步的分类预测信息和回归信息，第二个单元的输入是搜索区域和目标模板的全局特征，输出进一步的分类预测信息和回归信息，第三个单元的输入是搜索区域和目标模板的融合特征，三个单元的分类预测信息加权相加，三个单元的回归信息加权相加，即为最终的目标跟踪边界框回归信息。

3.根据权利要求2所述的基于自适应模板更新的孪生网络跟踪方法，其特征在于，所述特征提取单元采用Resnet-16模型，该模型包括多个卷积层和一个融合子单元；经过conv3得到局部特征，经过conv6得到全局特征，经过融合子单元得到融合特征；所述融合子单元获取融合特征的过程为：

(1)先通过互相关操作计算搜索区域和目标模板对应的全局特征之间的相似概率图；

(2)然后通过相似概率图对局部特征进行选择；所述选择的过程是将概率图中的概率作为权重，对局部特征图进行加权赋值；

(3)最后将选择后的局部特征与对应的全局特征进行加权相加。

4.根据权利要求1所述的基于自适应模板更新的孪生网络跟踪方法，其特征在于，所述轨迹预测模块的工作过程如下：

(1)将孪生跟踪模块中间过程得到的响应图中响应值最大的k个位置映射到原始视频帧中，分别以这k个位置为中心通过预设的Q种不同比例边界框，获得K*Q个位置向量；

(2)将所述k*Q个位置向量与相邻T帧的历史跟踪边界框数据进行归一化和数据解析处理；

(3)将经过处理的数据输入到长短时记忆网络中，输出一个k*Q维的概率向量；

(4)比较概率向量中大于阈值Y的比例，如果大于比例阈值，就将二值变量设置为1，表示启动模板更新模块；否则，不启动模板更新模块。

5.根据权利要求1所述的基于自适应模板更新的孪生网络跟踪方法，其特征在于，所述模板更新模块的工作过程如下：

(1)将当前时刻孪生跟踪模块的输入目标模板称为当前目标模板，将更新后的模板称为下一时刻目标模板，将当前时刻视频帧跟踪到的目标边界框映射到原始视频帧中，截取出和更新前目标模板大小一致的图像块，称为候选目标模板；

(2)经过特征提取单元分别提取出与候选目标模板对应的局部特征、全局特征和融合特征，所述特征提取单元与孪生跟踪模块中的特征提取单元共享参数；

(3)将候选目标模板的局部特征、全局特征和融合特征分别与当前目标模板进行加权相加，输出得到下一时刻模板。

Images