CN111311647B - 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 - Google Patents
一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN111311647B CN111311647B CN202010055391.2A CN202010055391A CN111311647B CN 111311647 B CN111311647 B CN 111311647B CN 202010055391 A CN202010055391 A CN 202010055391A CN 111311647 B CN111311647 B CN 111311647B
- Authority
- CN
- China
- Prior art keywords
- target
- local
- position result
- global
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 230000004044 response Effects 0.000 claims description 56
- 230000000694 effects Effects 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000003379 elimination reaction Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 15
- 230000008030 elimination Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 16
- 238000005286 illumination Methods 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 41
- 230000008569 process Effects 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000195940 Bryophyta Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于全局‑局部及卡尔曼滤波的目标跟踪方法及装置，提高了目标跟踪的鲁棒性和准确率，解决了遮挡、快速运动、光照变化、尺度变化和相似物体与复杂背景等因素的干扰问题。方法包括：获取视频序列；根据视频序列构建得到基于卷积特征的全局滤波器，通过全局滤波器计算得到第一位置结果；根据视频序列构建得到基于手工特征的局部滤波器，通过局部滤波器计算得到第二位置结果；根据第一位置结果及第二位置结果判断是否满足目标跟踪可靠性；若满足，根据第一位置结果和第二位置结果得到最终跟踪位置结果；若不满足，根据视频序列构建得到卡尔曼滤波器，通过卡尔曼滤波器、第一位置结果及第二位置结果，计算得到最终跟踪位置结果。
Description
技术领域
本发明涉及视觉目标跟踪技术领域，特别是涉及一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置。
背景技术
视觉目标跟踪是计算机视觉研究中的基础和关键问题，也是很多应用必不可少的基础条件，例如自动驾驶、精确制导、视屏监控和人机交互。目标跟踪技术的基本思想是序列图像中根据目标在视频信息的时空上相关性，确定感兴趣的目标在每一帧的位置和姿态。但是由于部分或者完全遮挡、快速运动、光照变化、尺度变化和相似物体与复杂背景等因素的干扰，高精度和鲁棒性的视觉目标跟踪仍是一项艰巨的任务。
基于相关滤波的跟踪算法通过快速傅里叶变换将滤波器求解的过程转换到频域中，以实现计算的加速。Bolme等人在2010年提出了最小输出平方和误差(Minimum OutputSum ofSquare Error，MOSSE)算法，首次将相关滤波器引入视觉跟踪中。核化相关过滤器跟踪器(Kernel Correlation Filter，KCF)使用颜色特征(Color Names，CN)和方向梯度直方图(Histogram ofOriented Gridients，HOG)特征组成多通道特征，并使用核技巧将低维特征空间的计算映射到线性可分的高维特征空间。Henriques等提出核化最小二乘法(KernelRegularized Least Squares)，提高了在高纬特征空间中分类样本的速度。Bertinetto等利用HOG特征表示目标来训练滤波器，并加入颜色直方图的统计以得到最后的响应，两种特征的融合进一步提升了跟踪的精度。随着卷积神经网络的广泛应用，层次卷积特征跟踪器(HCF)和具有加权卷积响应的相关滤波器(CFWCR)选择使用从VGGNet提取出的深度特征训练滤波器，跟踪性能得到进一步改善。Danelljan等在中对训练样本建立插值模型，将不同分辨率的特征组合获得连续空间分辨率的特征图，并且在利用高斯混合模型将训练集中相似的样本归为一组，避免了对相近帧数的样本过拟合。Li引入多尺度估计模型，这两种方法成为目前常用的尺度估计方案。为了解决边界效应，Danelljan中引入空间正则化项，Alan使用空间可靠性图和通道可靠性图。Yang Li采用分块跟踪的方式，提出了一种概率模型来估计顺序蒙特卡洛框架下可靠补丁的分布。尽管深度卷积神经网络需要大规模的数据进行训练，但由于深度特征的强大的特征表征能力使其在基于相关滤波器的跟踪中广泛使用。方法之一是将深度特征直接应用到DCF框架中，例如Hedged deep tracking(HDT)和分层卷积跟踪特征(HCF)在多个卷积层上构建相关滤波器，学习连续卷积算子(CCOT)和有效卷积算子(ECO)将不同分辨率的深度特征图进行插值后集成。另外，全卷积孪生网络(SiamFC)使用端到端的学习方式，利用深度特征求目标与模板之间的相似性来进行跟踪。动态孪生网络(DSiam)可以在线学习目标的外观变化，使用连续的视频序列进行训练，提高跟踪的性能。孪生提案网络的高性能视觉跟踪(SiamRPN)将跟踪问题抽象为检测问题，使用了目标检测中常用的区域提案网络(RPN)，可以对目标作更精准的预测。快速的在线对象跟踪和分割：统一方法(SiamMask)在添加了二值掩膜(mask)分支，提出了一个对视频目标跟踪和视频目标分割的统一框架。
但是，基于相关滤波的跟踪器通过建立并实时更新一个高效的目标表示模型来进行跟踪，这样会增加大量的计算成本，造成跟踪系统难以满足实时性，其循环采样生成的虚拟样本容易造成边界效应，当目标发生剧烈变化或者被遮挡时容易造成跟踪的漂移和丢失。单模型的一个滤波器难以应对目标的遮挡或者旋转变化，造成跟踪系统的鲁棒性低；而基于孪生网络的目标跟踪以第一帧为模板进行跟踪，且在后续帧中不再更新模板，造成跟踪鲁棒性较差，并且基于孪生网络的跟踪系统具有较高的硬件要求，且网络的训练需要大量的数据，因此，基于孪生网络的跟踪的应用受到了一定程度的限制。
发明内容
本发明的目的是提供一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置，提高了目标跟踪的鲁棒性和准确率，解决了遮挡、快速运动、光照变化、尺度变化和相似物体与复杂背景等因素的干扰问题。
本发明第一方面提供一种基于全局-局部及卡尔曼滤波的目标跟踪方法，包括：
获取视频序列，视频序列为连续帧的视频图像；
根据视频序列构建得到基于卷积特征的全局滤波器，通过全局滤波器计算得到目标的第一位置结果；
根据视频序列构建得到基于手工特征的局部滤波器，通过局部滤波器计算得到目标的第二位置结果，局部滤波器至少为两个；
根据第一位置结果及第二位置结果判断是否满足目标跟踪可靠性；
若满足，则根据第一位置结果和第二位置结果得到目标的最终跟踪位置结果；
若不满足，则根据视频序列构建得到卡尔曼滤波器，通过卡尔曼滤波器、第一位置结果及第二位置结果，计算得到目标的最终跟踪位置结果。
进一步的，根据视频序列构建得到基于卷积特征的全局滤波器，通过全局滤波器计算得到目标的第一位置结果，包括：
获取视频序列的第一帧视频图像中的目标的目标信息；
根据目标的感兴趣区域计算得到图像块，建立每一个图像块的高斯标签函数；
对高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据频域高斯标签函数构建得到消除边界效应余弦窗；
对第t帧视频图像中的目标的候选区域进行划分，得到候选区域图像块，候选区域图像块的大小为第t-1帧中目标大小的两倍，t为大于或等于2的正整数；
对候选区域图像块进行去均值处理，得到去均值候选区域图像块；
在去均值候选区域图像块采集目标的不同大小的尺度样本，构建得到尺度金字塔模型；
利用预先训练的深度卷积神经网络模型对尺度金字塔模型进行卷积特征提取，得到目标的深度卷积特征图；
通过消除边界效应余弦窗对深度卷积特征图进行消除边界效应处理；
根据相关滤波算法，构建得到每一个卷积特征的相关滤波器；
根据相关滤波器计算得到每一个卷积特征的相关滤波响应图；
对相关滤波响应图进行加权融合，得到融合响应图；
根据融合响应图构建得到基于卷积特征的全局滤波器；
根据当前帧视频图像中的目标的目标信息及基于卷积特征的全局滤波器，计算得到目标的第一位置结果。
进一步的，根据视频序列构建得到基于手工特征的局部滤波器，通过局部滤波器计算得到目标的第二位置结果，包括：
获取视频序列的第一帧视频图像中的目标的目标信息，将目标划分为至少两个局部；
根据每一个局部的感兴趣区域计算得到图像块，建立每一个局部对应的每一个图像块的高斯标签函数；
对高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据频域高斯标签函数构建得到消除边界效应余弦窗；
对第t帧视频图像中的目标的每一个局部的候选区域进行划分，得到每一个局部的候选区域图像块，候选区域图像块的大小为第t-1帧中对应的局部大小的两倍，t为大于或等于2的正整数；
对候选区域图像块进行去均值处理，得到去均值候选区域图像块；
提取每一个局部的所有候选区域图像块的颜色特征和方向梯度直方图特征，根据颜色特征和方向梯度直方图特征得到每一个局部的手工特征图；
通过消除边界效应余弦窗对手工特征图进行消除边界效应处理；
根据手工特征图进行自我核相关处理，得到核相关矩阵；
根据预构建的核相关滤波器和核相关矩阵，构建得到每一个局部的基于手工特征的局部滤波器；
根据当前帧视频图像中的目标的至少两个局部及基于手工特征的局部滤波器，计算得到每一个局部的局部位置结果；
根据所有局部位置结果计算得到目标的第二位置结果。
进一步的，根据第一位置结果及第二位置结果判断是否满足目标跟踪可靠性，包括：
根据第一位置结果，计算得到可靠圆半径，并设置可靠圆阈值系数；
根据第一位置结果和第二位置结果，计算得到欧式距离；
判断欧式距离是否大于可靠圆阈值系数和可靠圆半径的乘积；
当欧式距离小于或等于可靠圆阈值系数和可靠圆半径的乘积时，确定满足目标跟踪可靠性；
当欧式距离大于可靠圆阈值系数和可靠圆半径的乘积时，确定不满足目标跟踪可靠性。
进一步的，根据第一位置结果和第二位置结果得到目标的最终跟踪位置结果，包括：
根据每一个局部位置结果，计算得到每一个局部的基于手工特征的局部滤波器的响应最大值；
当所有的响应最大值都大于可靠圆半径时，将第一位置结果作为最终跟踪位置结果；
当存在任意一个响应最大值小于或等于可靠圆半径时，对第一位置结果和第二位置结果进行预置权重计算，得到最终跟踪位置结果。
本发明第二方面提供一种基于全局-局部及卡尔曼滤波的目标跟踪装置，包括：
视频获取模块，用于获取视频序列，视频序列为连续帧的视频图像；
全局滤波模块，用于根据视频序列构建得到基于卷积特征的全局滤波器，通过全局滤波器计算得到目标的第一位置结果；
局部滤波模块，用于根据视频序列构建得到基于手工特征的局部滤波器，通过局部滤波器计算得到目标的第二位置结果，局部滤波器至少为两个；
可靠性判断模块，用于根据第一位置结果及第二位置结果判断是否满足目标跟踪可靠性；
处理模块，用于当第一位置结果及第二位置结果满足目标跟踪可靠性时，根据第一位置结果和第二位置结果得到目标的最终跟踪位置结果；
卡尔曼滤波模块，用于当第一位置结果及第二位置结果不满足目标跟踪可靠性时，根据视频序列构建得到卡尔曼滤波器，通过卡尔曼滤波器、第一位置结果及第二位置结果，计算得到目标的最终跟踪位置结果。
进一步的，
全局滤波模块，具体用于获取视频序列的第一帧视频图像中的目标的目标信息；
全局滤波模块，还用于根据目标的感兴趣区域计算得到图像块，建立每一个图像块的高斯标签函数；
全局滤波模块，还用于对高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据频域高斯标签函数构建得到消除边界效应余弦窗；
全局滤波模块，还用于对第t帧视频图像中的目标的候选区域进行划分，得到候选区域图像块，候选区域图像块的大小为第t-1帧中目标大小的两倍，t为大于或等于2的正整数；
全局滤波模块，还用于对候选区域图像块进行去均值处理，得到去均值候选区域图像块；
全局滤波模块，还用于在去均值候选区域图像块采集目标的不同大小的尺度样本，构建得到尺度金字塔模型；
全局滤波模块，还用于利用预先训练的深度卷积神经网络模型对尺度金字塔模型进行卷积特征提取，得到目标的深度卷积特征图；
全局滤波模块，还用于通过消除边界效应余弦窗对深度卷积特征图进行消除边界效应处理；
全局滤波模块，还用于根据相关滤波算法，构建得到每一个卷积特征的相关滤波器；
全局滤波模块，还用于根据相关滤波器计算得到每一个卷积特征的相关滤波响应图；
全局滤波模块，还用于对相关滤波响应图进行加权融合，得到融合响应图；
全局滤波模块，还用于根据融合响应图构建得到基于卷积特征的全局滤波器；
全局滤波模块，还用于根据当前帧视频图像中的目标的目标信息及基于卷积特征的全局滤波器，计算得到目标的第一位置结果。
进一步的，
局部滤波模块，具体用于获取视频序列的第一帧视频图像中的目标的目标信息，将目标划分为至少两个局部；
局部滤波模块，还用于根据每一个局部的感兴趣区域计算得到图像块，建立每一个局部对应的每一个图像块的高斯标签函数；
局部滤波模块，还用于对高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据频域高斯标签函数构建得到消除边界效应余弦窗；
局部滤波模块，还用于对第t帧视频图像中的目标的每一个局部的候选区域进行划分，得到每一个局部的候选区域图像块，候选区域图像块的大小为第t-1帧中对应的局部大小的两倍，t为大于或等于2的正整数；
局部滤波模块，还用于对候选区域图像块进行去均值处理，得到去均值候选区域图像块；
局部滤波模块，还用于提取每一个局部的所有候选区域图像块的颜色特征和方向梯度直方图特征，根据颜色特征和方向梯度直方图特征得到每一个局部的手工特征图；
局部滤波模块，还用于通过消除边界效应余弦窗对手工特征图进行消除边界效应处理；
局部滤波模块，还用于根据手工特征图进行自我核相关处理，得到核相关矩阵；
局部滤波模块，还用于根据预构建的核相关滤波器和核相关矩阵，构建得到每一个局部的基于手工特征的局部滤波器；
局部滤波模块，还用于根据当前帧视频图像中的目标的至少两个局部及基于手工特征的局部滤波器，计算得到每一个局部的局部位置结果；
局部滤波模块，还用于根据所有局部位置结果计算得到目标的第二位置结果。
进一步的，
可靠性判断模块，具体用于根据第一位置结果，计算得到可靠圆半径，并设置可靠圆阈值系数；
可靠性判断模块，还用于根据第一位置结果和第二位置结果，计算得到欧式距离；
可靠性判断模块，还用于判断欧式距离是否大于可靠圆阈值系数和可靠圆半径的乘积；
可靠性判断模块，还用于当欧式距离小于或等于可靠圆阈值系数和可靠圆半径的乘积时，确定满足目标跟踪可靠性；
可靠性判断模块，还用于当欧式距离大于可靠圆阈值系数和可靠圆半径的乘积时，确定不满足目标跟踪可靠性。
进一步的，
处理模块，具体用于根据每一个局部位置结果，计算得到每一个局部的基于手工特征的局部滤波器的响应最大值；
处理模块，还用于当所有的响应最大值都大于可靠圆半径时，将第一位置结果作为最终跟踪位置结果；
处理模块，还用于当存在任意一个响应最大值小于或等于可靠圆半径时，对第一位置结果和第二位置结果进行预置权重计算，得到最终跟踪位置结果。
由上可见，本发明中通过构建的基于卷积特征的全局滤波器和基于手工特征的局部滤波器计算得到第一位置结果和第二位置结果，并判断第一位置结果和第二位置结果的目标跟踪可靠性，如果满足，根据第一位置结果和第二位置结果得到目标的最终跟踪位置结果；如果不满足，根据视频序列构建得到卡尔曼滤波器，通过卡尔曼滤波器、第一位置结果及第二位置结果，计算得到目标的最终跟踪位置结果。由于全局滤波器和局部滤波器分别是基于卷积特征和基于手工特征的，在分别得到位置结果后，进行目标跟踪可靠性判断，在满足目标跟踪可靠性时，利用全局滤波器和局部滤波器的位置结果得到最终跟踪位置结果，提高了目标跟踪的准确性和鲁棒性；而且在不满足目标跟踪可靠性时，结合全局滤波器和局部滤波器的位置结果通过卡尔曼滤波器计算得到最终跟踪位置结果，解决了遮挡、快速运动、光照变化、尺度变化和相似物体与复杂背景等因素造成的干扰问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于全局-局部及卡尔曼滤波的目标跟踪方法的一个实施例的流程示意图；
图2为本发明提供的全局滤波器的构建及目标跟踪的流程示意图；
图3为本发明提供的尺度金字塔模型示意图；
图4为本发明提供的局部滤波器的构建及目标跟踪的流程示意图；
图5为本发明提供的目标跟踪可靠性判断及最终跟踪位置结果计算的流程示意图；
图6为本发明提供的基于全局-局部及卡尔曼滤波的目标跟踪装置的一个实施例的结构示意图。
具体实施方式
本发明的核心是提供一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置，提高了目标跟踪的鲁棒性和准确率，解决了遮挡、快速运动、光照变化、尺度变化和相似物体与复杂背景等因素的干扰问题。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于全局-局部及卡尔曼滤波的目标跟踪方法，包括：
101、获取视频序列，视频序列为连续帧的视频图像；
本实施例中，视频序列为连续前后多帧的视频图像的集合。
102、根据视频序列构建得到基于卷积特征的全局滤波器，通过全局滤波器计算得到目标的第一位置结果；
本实施例中，先利用获取的视频序列构建得到全局滤波器，全局滤波器实际应用中具体可以为基于卷积特征的判别相关滤波器(Discrimitive Correlation Filters，DCF)，通过全局滤波器就能得到当前帧的目标的第一位置结果。
103、根据视频序列构建得到基于手工特征的局部滤波器，通过局部滤波器计算得到目标的第二位置结果；
本实施例中，需要先对视频图像中的目标进行局部划分，一般是划分为至少两个局部，再构建得到局部滤波器，局部滤波器实际应用中具体可以为基于卷积特征的核相关滤波器(Kernel Correlation Filter，KCF)，通过局部滤波器就能得到当前帧的目标的第二位置结果。
104、根据第一位置结果及第二位置结果判断是否满足目标跟踪可靠性，若满足，执行步骤105；若不满足，执行步骤106；
本实施例中，根据第一位置结果和第二位置结果综合判断局部滤波器和全局滤波器的目标跟踪是否满足目标跟踪可靠性，如果满足，执行步骤105；如果满足执行步骤106。
105、根据第一位置结果和第二位置结果得到目标的最终跟踪位置结果；
本实施例中，在满足目标跟踪可靠性的时候，根据第一位置结果和第二位置结果得到目标的最终跟踪位置结果。
106、根据视频序列构建得到卡尔曼滤波器，通过卡尔曼滤波器、第一位置结果及第二位置结果，计算得到目标的最终跟踪位置结果。
本实施例中，在不满足目标跟踪可靠性的时候，还需要构建得到卡尔曼滤波器，根据第一位置结果和第二位置结果得到目标的最终跟踪位置结果。
本发明实施例中，通过构建的基于卷积特征的全局滤波器和基于手工特征的局部滤波器计算得到第一位置结果和第二位置结果，并判断第一位置结果和第二位置结果的目标跟踪可靠性，如果满足，根据第一位置结果和第二位置结果得到目标的最终跟踪位置结果；如果不满足，根据视频序列构建得到卡尔曼滤波器，通过卡尔曼滤波器、第一位置结果及第二位置结果，计算得到目标的最终跟踪位置结果。由于全局滤波器和局部滤波器分别是基于卷积特征和基于手工特征的，在分别得到位置结果后，进行目标跟踪可靠性判断，在满足目标跟踪可靠性时，利用全局滤波器和局部滤波器的位置结果得到最终跟踪位置结果，由于卷积特征的低层包含空间分辨率信息，高层包含丰富的语义信息，而手工特征对于遮挡和光照变化有较强的鲁邦性，提高了目标跟踪的准确性和鲁棒性；而且在不满足目标跟踪可靠性时，结合全局滤波器和局部滤波器的位置结果通过卡尔曼滤波器计算得到最终跟踪位置结果，解决了遮挡、快速运动、光照变化、尺度变化和相似物体与复杂背景等因素造成的干扰问题。
下面通过实施例对具体如何构建全局滤波器及如何进行目标跟踪进行说明，请参阅图2，进一步的，根据视频序列构建得到基于卷积特征的全局滤波器，通过全局滤波器计算得到目标的第一位置结果，包括：
201、获取视频序列的第一帧视频图像中的目标的目标信息；
读取视频序列，获取第一帧跟踪目标的目标信息，目标信息由四维向量表示，包括目标框左上角横、纵坐标(xt,yt)和目标框的宽W和高H。
202、根据目标的感兴趣区域计算得到图像块，建立每一个图像块的高斯标签函数；
计算感兴趣区域长和高中能包含的cell_size的个数M和N，计算高斯标签函数的参数σ，其中
W和H分别为前一帧目标尺寸的宽和高，μ表示输出尺度因子，cell_size表示分块的边长，假设值为4。对每一个cell块建立一个高斯标签函数
其中y(m,n)表示在(m,n)处的标签，由中心逐渐向外围衰减到0，符合高斯分布，m∈{0,1,...,M-1}，n∈{0,1,...,N-1}。
203、对高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据频域高斯标签函数构建得到消除边界效应余弦窗；
对高斯标签函数进行离散傅里叶变换求得高斯标签函数在频域中的表示yf(m,n)，构造用于消除边界效应的余弦窗，其大小和yf(m,n)相同。
204、对第t帧视频图像中的目标的候选区域进行划分，得到候选区域图像块；
针对第t帧，以第t帧目标为中心裁剪出目标的候选区域图像块，图像块的大小为t-1帧中目标大小的两倍区域，t为大于或等于2的正整数。
205、对候选区域图像块进行去均值处理，得到去均值候选区域图像块；
将候选区域图像块进行单精度处理，再利用深度网络进行重采样，将图像块归一化后计算出均值，然后将图像去均值。
206、在去均值候选区域图像块采集目标的不同大小的尺度样本，构建得到尺度金字塔模型；
在图像的候选区域采集目标的不同的尺度样本，将不同的样本缩放构建尺度金字塔，各个样本的宽和高的缩放公式为anw×anh，比例因子a取1.02，
样本数量S取值为11，这样可以生成11个不同尺度的样本，并使用双线性插值模型重新调整尺度样本，使它们大小都相同，尺度金字塔模型如图3所示。
207、利用预先训练的深度卷积神经网络模型对尺度金字塔模型进行卷积特征提取，得到目标的深度卷积特征图；
预先训练深度卷积神经网络模型，具体是：初始化深度卷积神经网络模型，本实施例中具体采用VGGNet-19模型来提取目标的深度卷积特征，卷积神经网络包括卷积层、池化层和全连接层三种结构；
利用预训练好的VGGNet-19从图像块中提取目标的深度卷积特征图
具体可以使用使用conv5-4，conv4-4和conv3-4三个卷积层的特征。
208、通过消除边界效应余弦窗对深度卷积特征图进行消除边界效应处理；
将深度卷积特征图f乘上之前构建的消除边界效应余弦窗，就能实现消除边界效应处理。
209、根据相关滤波算法，构建得到每一个卷积特征的相关滤波器；
根据相关滤波算法，构建每个卷积的d(d∈{1,2,....,D})的相关滤波器，公式为
其中，F是f的DFT变换，/>
为F的共轭，g是二维高斯核函数，是f进行循环移位采样的样本，λp为正则化参数，用于处理特征图f零频分量的影响。
210、根据相关滤波器计算得到每一个卷积特征的相关滤波响应图；
利用公式
计算每个卷积特征的相关滤波响应图E，其中
为感兴趣区域的卷积特征图，/>
为z的离散傅里叶变换后的共轭复数，FFT-1表示离散傅里叶逆变换，Ei表示第i层特征图的相关滤波响应图。
211、对相关滤波响应图进行加权融合，得到融合响应图；
对三个特征图的响应图进行加权融合E＝α1E1+α2E2+α3E3，其中权重参数α1、α2和α3取值分别为1、0.5和0.25，得到的融合相应图表示为E。
212、根据融合响应图构建得到基于卷积特征的全局滤波器；
根据融合响应图E的最大值来确定目标的中心位置坐标，从而构建得到了基于卷积特征的全局滤波器。
213、根据当前帧视频图像中的目标的目标信息及基于卷积特征的全局滤波器，计算得到目标的第一位置结果。
根据当前帧视频图像中的目标的目标信息及基于卷积特征的全局滤波器，计算得到目标的第一位置结果，全局滤波器计算得到的第一位置结果表示为pos(g)，pos(g)＝(xg,yg)＝argm,nmaxE(m,n)。
下面通过实施例对具体如何构建局部滤波器及如何进行目标跟踪进行说明，请参阅图4，根据视频序列构建得到基于手工特征的局部滤波器，通过局部滤波器计算得到目标的第二位置结果，包括：
401、获取视频序列的第一帧视频图像中的目标的目标信息，将目标划分为至少两个局部；
读取第一帧视频图像中的目标的目标信息，目标信息包括目标框左上角横、纵坐标(xt,yt)和目标框的宽W和高H，沿目标框较长的那条边将目标划分为大小为
的上下或左右两个局部。需要说明的是，本实施例中以划分了两个局部为例进行说明，在实际应用中，也可能划分为4个局部，具体数量不做限定。
402、根据每一个局部的感兴趣区域计算得到图像块，建立每一个局部对应的每一个图像块的高斯标签函数；
计算两个局部的感兴趣区域长和高中能包含的cell_size的个数Mi和Ni，针对每个局部，计算高斯标签函数的参数σi，其中
W和H分别为前一帧目标尺寸的宽和高，μ表示输出尺度因子，cell_size表示分块的边长，值为4；对每个局部的每一个cell块建立一个高斯标签函数/>
其中yi(m,n)表示在(m,n)处的标签，由中心逐渐向外围衰减到0，符合高斯分布，m∈{0,1,...,Mi-1}，n∈{0,1,...,Ni-1}。
403、对高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据频域高斯标签函数构建得到消除边界效应余弦窗；
高斯标签函数进行离散傅里叶变换求得高斯标签函数在频域中的表示频域高斯标签函数yif(m,n)，构造用于消除边界效应的余弦窗，大小和yif(m,n)相同。
404、对第t帧视频图像中的目标的每一个局部的候选区域进行划分，得到每一个局部的候选区域图像块；
针对第t帧，以第t帧两个局部的中心裁剪出目标的候选区域图像块，图像块的大小为t-1帧中局部大小的两倍区域，t为大于或等于2的正整数。
405、对候选区域图像块进行去均值处理，得到去均值候选区域图像块；
将两个局部的候选区域图像块进行单精度处理，再利用深度网络进行重采样，将图像块归一化后计算出均值，然后将图像块去均值。
406、提取每一个局部的所有候选区域图像块的颜色特征和方向梯度直方图特征，根据颜色特征和方向梯度直方图特征得到每一个局部的手工特征图；
提取每一个局部的所有候选区域图像块的31维的HOG特征和11维的CN特征，组成每一个局部的42维的手工特征
407、通过消除边界效应余弦窗对手工特征图进行消除边界效应处理；
将两个局部提取出的手工特征图xi乘上消除边界效应余弦窗进行消除边界效应处理。
408、根据手工特征图进行自我核相关处理，得到核相关矩阵；
取手工特征xi进行自我核相关
处理，得到核相关矩阵的表达式为：
其中/>
F(·)和F-1(·)分别表示傅里叶变换和傅里叶反变换，⊙表示矩阵元素的积，/>
为/>
的复共轭。
409、根据预构建的核相关滤波器和核相关矩阵，构建得到每一个局部的基于手工特征的局部滤波器；
预先构建核相关滤波器公式为
λl为局部滤波器正则化参数，将核相关矩阵/>
代入到公式得到每一个局部的基于手工特征的局部滤波器。
410、根据当前帧视频图像中的目标的至少两个局部及基于手工特征的局部滤波器，计算得到每一个局部的局部位置结果；
411、根据所有局部位置结果计算得到目标的第二位置结果。
计算两个局部滤波器的核相关的响应图，其公式为：
其中/>
为当前帧两个局部的感兴趣区域提取出的31维HOG和11维CN的组合特征图，通过找到两个局部响应图yi的最大值来确定每个局部的中心位置(xi,yi)＝argm,nmaxyi(m,n)，再取两个局部滤波器中心位置的中点为局部跟踪的最终位置
以上图2和图4所示的实施例中，分别说明了全局滤波器和局部滤波器是如何构建及如何进行目标跟踪的，下面通过实施例具体说明是如何进行目标跟踪可靠性的判定，请参阅图5，根据第一位置结果及第二位置结果判断是否满足目标跟踪可靠性，包括：
501、根据第一位置结果，计算得到可靠圆半径，并设置可靠圆阈值系数；
以全局滤波器的第一位置结果为中心设置可靠圆半径为
并设置可靠圆阈值系数θ。
502、根据第一位置结果和第二位置结果，计算得到欧式距离；
计算全局滤波器的第一位置结果和局部滤波器的第二位置结果的欧式距离
503、判断欧式距离是否大于可靠圆阈值系数和可靠圆半径的乘积，当小于或等于时，执行步骤504；当大于时，执行步骤505；
判断欧式距离是否大于可靠圆阈值系数和可靠圆半径的乘积，如果d≤θ·r，则表示满足目标跟踪可靠性，执行步骤504；如果d＞θ·r，则表示目标被完全遮挡或者全局-局部滤波器目标跟踪丢失等不可靠情况出现了，执行步骤505。
504、确定满足目标跟踪可靠性；
当欧式距离小于或等于可靠圆阈值系数和可靠圆半径的乘积时，确定满足目标跟踪可靠性。
505、确定不满足目标跟踪可靠性；
当欧式距离大于可靠圆阈值系数和可靠圆半径的乘积时，确定不满足目标跟踪可靠性。
506、根据每一个局部位置结果，计算得到每一个局部的基于手工特征的局部滤波器的响应最大值；
当确定满足目标跟踪可靠性时，求当前两个局部滤波器的响应的最大值
507、当所有的响应最大值都大于可靠圆半径时，将第一位置结果作为最终跟踪位置结果；
当所有的响应最大值都大于可靠圆半径，即
时，将第一位置结果作为最终跟踪位置结果。
508、当存在任意一个响应最大值小于或等于可靠圆半径时，对第一位置结果和第二位置结果进行预置权重计算，得到最终跟踪位置结果。
当存在任意一个响应最大值小于或等于可靠圆半径，即
时，进行预置权重计算，得到最终跟踪位置结果为(1-β)pos(g)+βpos(l)，β是第一位置结果和第二位置结果的权重系数。
需要说明的是，还包括对于全局滤波器的更新，新全局滤波器Hd，
新模板滤波器即更新/>
和/>
更新的公式如下：/>
即
其中η为全局滤波器更新参数，η取值方法如下：
更新完成后，用于t+1帧目标位置的确定；
更新局部滤波器，根据两个局部滤波器的不同状态，选择更新方式如下：
其中γ为局部滤波器更新系数。
以上实施例中，并未对卡尔曼滤波器的构建进行详细说明，下面进行具体的说明：
在第一帧中初始化卡尔曼滤波器预测方程
和/>
中的各个参数，其中/>
表示k时刻预测的四维目标状态向量[x y dx dy]，x和y表示目标中心位置的坐标，dx和dy表示目标的运动速度，/>
初始化为[x y 0 0]，x,y分别为第一帧目标中心位置的坐标，dx和dy设为0，Pk|k-1是k时刻后验估计误差协方差矩阵，初始化为4*4的零矩阵。Fk为状态转移矩阵，初始化为/>
uk是控制量，初始化为0。Bk是控制矩阵，初始化为0，Qk预测模型带来的误差协方差矩阵，初始化为Qk＝0.001*I，I为4*4的单位矩阵；
初始化卡尔曼滤波的卡尔曼系数更新方程各参数：卡尔曼系数
其中/>
初始化为/>
Rk初始化为/>
从第2帧到最后一帧，将步骤508中局部和全局滤波的最终目标跟踪位置结果pos＝[xt yt 0 0]作为t时刻目标状态
输入到卡尔曼滤波中，并执行以下卡尔曼滤波预测方程和更新方程：
预测方程
更新方程/>
如果出现d＞θ·r，则用卡尔曼滤波器给出的目标位置来替代全局和局部滤波器给出的最终跟踪位置结果
综合以上的说明，对于目标的最终跟踪位置结果的选择方式可以表达为以下公式：
Kfredetect表示的就是卡尔曼滤波器给出的最终跟踪位置结果。
在以上实施例中，具体说明了基于全局-局部及卡尔曼滤波的目标跟踪方法，下面通过实施例对应用该目标跟踪方法的基于全局-局部及卡尔曼滤波的目标跟踪装置进行详细说明。
请参阅图6，本发明实施例提供一种基于全局-局部及卡尔曼滤波的目标跟踪装置，包括：
视频获取模块601，用于获取视频序列，视频序列为连续帧的视频图像；
全局滤波模块602，用于根据视频序列构建得到基于卷积特征的全局滤波器，通过全局滤波器计算得到目标的第一位置结果；
局部滤波模块603，用于根据视频序列构建得到基于手工特征的局部滤波器，通过局部滤波器计算得到目标的第二位置结果，局部滤波器至少为两个；
可靠性判断模块604，用于根据第一位置结果及第二位置结果判断是否满足目标跟踪可靠性；
处理模块605，用于当第一位置结果及第二位置结果满足目标跟踪可靠性时，根据第一位置结果和第二位置结果得到目标的最终跟踪位置结果；
卡尔曼滤波模块606，用于当第一位置结果及第二位置结果不满足目标跟踪可靠性时，根据视频序列构建得到卡尔曼滤波器，通过卡尔曼滤波器、第一位置结果及第二位置结果，计算得到目标的最终跟踪位置结果。
本发明实施例中，视频获取模块601获取视频序列，全局滤波模块602和局部滤波模块603通过构建的基于卷积特征的全局滤波器和基于手工特征的局部滤波器计算得到第一位置结果和第二位置结果，并可靠性判断模块604判断第一位置结果和第二位置结果的目标跟踪可靠性，如果满足，处理模块605根据第一位置结果和第二位置结果得到目标的最终跟踪位置结果；如果不满足，卡尔曼滤波模块606根据视频序列构建得到卡尔曼滤波器，通过卡尔曼滤波器、第一位置结果及第二位置结果，计算得到目标的最终跟踪位置结果。由于全局滤波器和局部滤波器分别是基于卷积特征和基于手工特征的，在分别得到位置结果后，进行目标跟踪可靠性判断，在满足目标跟踪可靠性时，利用全局滤波器和局部滤波器的位置结果得到最终跟踪位置结果，由于卷积特征的低层包含空间分辨率信息，高层包含丰富的语义信息，而手工特征对于遮挡和光照变化有较强的鲁邦性，提高了目标跟踪的准确性和鲁棒性；而且在不满足目标跟踪可靠性时，结合全局滤波器和局部滤波器的位置结果通过卡尔曼滤波器计算得到最终跟踪位置结果，解决了遮挡、快速运动、光照变化、尺度变化和相似物体与复杂背景等因素造成的干扰问题。
可选的，结合图6所示的实施例，本发明的一些实施例中，
全局滤波模块602，具体用于获取视频序列的第一帧视频图像中的目标的目标信息；
全局滤波模块602，还用于根据目标的感兴趣区域计算得到图像块，建立每一个图像块的高斯标签函数；
全局滤波模块602，还用于对高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据频域高斯标签函数构建得到消除边界效应余弦窗；
全局滤波模块602，还用于对第t帧视频图像中的目标的候选区域进行划分，得到候选区域图像块，候选区域图像块的大小为第t-1帧中目标大小的两倍，t为大于或等于2的正整数；
全局滤波模块602，还用于对候选区域图像块进行去均值处理，得到去均值候选区域图像块；
全局滤波模块602，还用于在去均值候选区域图像块采集目标的不同大小的尺度样本，构建得到尺度金字塔模型；
全局滤波模块602，还用于利用预先训练的深度卷积神经网络模型对尺度金字塔模型进行卷积特征提取，得到目标的深度卷积特征图；
全局滤波模块602，还用于通过消除边界效应余弦窗对深度卷积特征图进行消除边界效应处理；
全局滤波模块602，还用于根据相关滤波算法，构建得到每一个卷积特征的相关滤波器；
全局滤波模块602，还用于根据相关滤波器计算得到每一个卷积特征的相关滤波响应图；
全局滤波模块602，还用于对相关滤波响应图进行加权融合，得到融合响应图；
全局滤波模块602，还用于根据融合响应图构建得到基于卷积特征的全局滤波器；
全局滤波模块602，还用于根据当前帧视频图像中的目标的目标信息及基于卷积特征的全局滤波器，计算得到目标的第一位置结果。
本发明实施例中，具体的实施过程参考图2所示的实施例中的步骤201-步骤213的内容，详细的描述了如何构建全局滤波器及如何进行目标跟踪。
可选的，结合图6所示的实施例，本发明的一些实施例中，
全局滤波模块603，具体用于获取视频序列的第一帧视频图像中的目标的目标信息，将目标划分为至少两个局部；
全局滤波模块603，还用于根据每一个局部的感兴趣区域计算得到图像块，建立每一个局部对应的每一个图像块的高斯标签函数；
全局滤波模块603，还用于对高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据频域高斯标签函数构建得到消除边界效应余弦窗；
全局滤波模块603，还用于对第t帧视频图像中的目标的每一个局部的候选区域进行划分，得到每一个局部的候选区域图像块，候选区域图像块的大小为第t-1帧中对应的局部大小的两倍，t为大于或等于2的正整数；
全局滤波模块603，还用于对候选区域图像块进行去均值处理，得到去均值候选区域图像块；
全局滤波模块603，还用于提取每一个局部的所有候选区域图像块的颜色特征和方向梯度直方图特征，根据颜色特征和方向梯度直方图特征得到每一个局部的手工特征图；
全局滤波模块603，还用于通过消除边界效应余弦窗对手工特征图进行消除边界效应处理；
全局滤波模块603，还用于根据手工特征图进行自我核相关处理，得到核相关矩阵；
全局滤波模块603，还用于根据预构建的核相关滤波器和核相关矩阵，构建得到每一个局部的基于手工特征的局部滤波器；
全局滤波模块603，还用于根据当前帧视频图像中的目标的至少两个局部及基于手工特征的局部滤波器，计算得到每一个局部的局部位置结果；
全局滤波模块603，还用于根据所有局部位置结果计算得到目标的第二位置结果。
本发明实施例中，具体的实施过程参考图4所示的实施例中的步骤401-步骤411的内容，详细的描述了如何构建局部滤波器及如何进行目标跟踪。
可选的，结合图6所示的实施例，本发明的一些实施例中，
可靠性判断模块604，具体用于根据第一位置结果，计算得到可靠圆半径，并设置可靠圆阈值系数；
可靠性判断模块604，还用于根据第一位置结果和第二位置结果，计算得到欧式距离；
可靠性判断模块604，还用于判断欧式距离是否大于可靠圆阈值系数和可靠圆半径的乘积；
可靠性判断模块604，还用于当欧式距离小于或等于可靠圆阈值系数和可靠圆半径的乘积时，确定满足目标跟踪可靠性；
可靠性判断模块604，还用于当欧式距离大于可靠圆阈值系数和可靠圆半径的乘积时，确定不满足目标跟踪可靠性。
本发明实施例中，具体的实施过程参考图5所示的实施例中的步骤501-步骤505的内容，详细的描述了如何进行目标跟踪可靠性的判定。
可选的，结合图6所示的实施例，本发明的一些实施例中，
处理模块605，具体用于根据每一个局部位置结果，计算得到每一个局部的基于手工特征的局部滤波器的响应最大值；
处理模块605，还用于当所有的响应最大值都大于可靠圆半径时，将第一位置结果作为最终跟踪位置结果；
处理模块605，还用于当存在任意一个响应最大值小于或等于可靠圆半径时，对第一位置结果和第二位置结果进行预置权重计算，得到最终跟踪位置结果。
本发明实施例中，详细的描述了在可靠性判断模块604确定第一位置结果及第二位置结果满足目标跟踪可靠性时，处理模块605根据每一个局部位置结果，计算得到每一个局部的基于手工特征的局部滤波器的响应最大值，当所有的响应最大值都大于可靠圆半径时，将第一位置结果作为最终跟踪位置结果；当存在任意一个响应最大值小于或等于可靠圆半径时，对第一位置结果和第二位置结果进行预置权重计算，得到最终跟踪位置结果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于全局-局部及卡尔曼滤波的目标跟踪方法，其特征在于，包括：
获取视频序列，所述视频序列为连续帧的视频图像；
根据所述视频序列构建得到基于卷积特征的全局滤波器，通过所述全局滤波器计算得
到目标的第一位置结果；
根据所述视频序列构建得到基于手工特征的局部滤波器，通过所述局部滤波器计算得到所述目标的第二位置结果，所述局部滤波器至少为两个；
根据所述第一位置结果及所述第二位置结果判断是否满足目标跟踪可靠性；
若满足，则根据所述第一位置结果和所述第二位置结果得到所述目标的最终跟踪位置结果；
若不满足，则根据所述视频序列构建得到卡尔曼滤波器，通过所述卡尔曼滤波器、所述第一位置结果及所述第二位置结果，计算得到所述目标的最终跟踪位置结果；
所述根据所述视频序列构建得到基于卷积特征的全局滤波器，通过所述全局滤波器计算得到目标的第一位置结果，包括：
获取所述视频序列的第一帧视频图像中的目标的目标信息；
根据所述目标的感兴趣区域计算得到图像块，建立每一个图像块的高斯标签函数；
对所述高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据所述频域高斯标签函数构建得到消除边界效应余弦窗；
对第t帧视频图像中的所述目标的候选区域进行划分，得到候选区域图像块，所述候选区域图像块的大小为第t-1帧中所述目标大小的两倍，所述t为大于或等于2的正整数；
对所述候选区域图像块进行去均值处理，得到去均值候选区域图像块；
在所述去均值候选区域图像块采集所述目标的不同大小的尺度样本，构建得到尺度金字塔模型；
利用预先训练的深度卷积神经网络模型对所述尺度金字塔模型进行卷积特征提取，得到所述目标的深度卷积特征图；
通过所述消除边界效应余弦窗对所述深度卷积特征图进行消除边界效应处理；
根据相关滤波算法，构建得到每一个卷积特征的相关滤波器；
根据所述相关滤波器计算得到每一个卷积特征的相关滤波响应图；
对所述相关滤波响应图进行加权融合，得到融合响应图；
根据所述融合响应图构建得到基于卷积特征的全局滤波器；
根据当前帧视频图像中的所述目标的目标信息及所述基于卷积特征的全局滤波器，计算得到所述目标的第一位置结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述视频序列构建得到基于手工特征的局部滤波器，通过所述局部滤波器计算得到所述目标的第二位置结果，包括：
获取所述视频序列的第一帧视频图像中的目标的目标信息，将所述目标划分为至少两个局部；
根据每一个局部的感兴趣区域计算得到图像块，建立每一个局部对应的每一个图像块的高斯标签函数；
对所述高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据所述频域高斯标签函数构建得到消除边界效应余弦窗；
对第t帧视频图像中的所述目标的每一个局部的候选区域进行划分，得到每一个局部的候选区域图像块，所述候选区域图像块的大小为第t-1帧中对应的局部大小的两倍，所述t为大于或等于2的正整数；
对所述候选区域图像块进行去均值处理，得到去均值候选区域图像块；
提取每一个局部的所有候选区域图像块的颜色特征和方向梯度直方图特征，根据所述颜色特征和所述方向梯度直方图特征得到每一个局部的手工特征图；
通过所述消除边界效应余弦窗对所述手工特征图进行消除边界效应处理；
根据所述手工特征图进行自我核相关处理，得到核相关矩阵；
根据预构建的核相关滤波器和所述核相关矩阵，构建得到每一个局部的基于手工特征的局部滤波器；
根据当前帧视频图像中的所述目标的至少两个局部及所述基于手工特征的局部滤波器，计算得到每一个局部的局部位置结果；
根据所有局部位置结果计算得到所述目标的第二位置结果。
3.根据权利要求1-2中任一项所述的方法，其特征在于，所述根据所述第一位置结果及所述第二位置结果判断是否满足目标跟踪可靠性，包括：
根据所述第一位置结果，计算得到可靠圆半径，并设置可靠圆阈值系数；
根据所述第一位置结果和所述第二位置结果，计算得到欧式距离；
判断所述欧式距离是否大于所述可靠圆阈值系数和所述可靠圆半径的乘积；
当所述欧式距离小于或等于所述可靠圆阈值系数和所述可靠圆半径的乘积时，确定满足所述目标跟踪可靠性；
当所述欧式距离大于所述可靠圆阈值系数和所述可靠圆半径的乘积时，确定不满足所述目标跟踪可靠性。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一位置结果和所述第二位置结果得到所述目标的最终跟踪位置结果，包括：
根据每一个局部位置结果，计算得到每一个局部的基于手工特征的局部滤波器的响应最大值；
当所有的响应最大值都大于所述可靠圆半径时，将所述第一位置结果作为最终跟踪位置结果；
当存在任意一个响应最大值小于或等于所述可靠圆半径时，对所述第一位置结果和所述第二位置结果进行预置权重计算，得到最终跟踪位置结果。
5.一种基于全局-局部及卡尔曼滤波的目标跟踪装置，其特征在于，包括：
视频获取模块，用于获取视频序列，所述视频序列为连续帧的视频图像；
全局滤波模块，用于根据所述视频序列构建得到基于卷积特征的全局滤波器，通过所述全局滤波器计算得到目标的第一位置结果；
局部滤波模块，用于根据所述视频序列构建得到基于手工特征的局部滤波器，通过所述局部滤波器计算得到所述目标的第二位置结果，所述局部滤波器至少为两个；
可靠性判断模块，用于根据所述第一位置结果及所述第二位置结果判断是否满足目标跟踪可靠性；
处理模块，用于当所述第一位置结果及所述第二位置结果满足目标跟踪可靠性时，根据所述第一位置结果和所述第二位置结果得到所述目标的最终跟踪位置结果；
卡尔曼滤波模块，用于当所述第一位置结果及所述第二位置结果不满足目标跟踪可靠性时，根据所述视频序列构建得到卡尔曼滤波器，通过所述卡尔曼滤波器、所述第一位置结果及所述第二位置结果，计算得到所述目标的最终跟踪位置结果；
所述全局滤波模块，具体用于获取所述视频序列的第一帧视频图像中的目标的目标信息；
所述全局滤波模块，还用于根据所述目标的感兴趣区域计算得到图像块，建立每一个图像块的高斯标签函数；
所述全局滤波模块，还用于对所述高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据所述频域高斯标签函数构建得到消除边界效应余弦窗；
所述全局滤波模块，还用于对第t帧视频图像中的所述目标的候选区域进行划分，得到候选区域图像块，所述候选区域图像块的大小为第t-1帧中所述目标大小的两倍，所述t为大于或等于2的正整数；
所述全局滤波模块，还用于对所述候选区域图像块进行去均值处理，得到去均值候选区域图像块；
所述全局滤波模块，还用于在所述去均值候选区域图像块采集所述目标的不同大小的尺度样本，构建得到尺度金字塔模型；
所述全局滤波模块，还用于利用预先训练的深度卷积神经网络模型对所述尺度金字塔模型进行卷积特征提取，得到所述目标的深度卷积特征图；
所述全局滤波模块，还用于通过所述消除边界效应余弦窗对所述深度卷积特征图进行消除边界效应处理；
所述全局滤波模块，还用于根据相关滤波算法，构建得到每一个卷积特征的相关滤波器；
所述全局滤波模块，还用于根据所述相关滤波器计算得到每一个卷积特征的相关滤波响应图；
所述全局滤波模块，还用于对所述相关滤波响应图进行加权融合，得到融合响应图；
所述全局滤波模块，还用于根据所述融合响应图构建得到基于卷积特征的全局滤波器；
所述全局滤波模块，还用于根据当前帧视频图像中的所述目标的目标信息及所述基于卷积特征的全局滤波器，计算得到所述目标的第一位置结果。
6.根据权利要求5所述的装置，其特征在于，
所述局部滤波模块，具体用于获取所述视频序列的第一帧视频图像中的目标的目标信息，将所述目标划分为至少两个局部；
所述局部滤波模块，还用于根据每一个局部的感兴趣区域计算得到图像块，建立每一个局部对应的每一个图像块的高斯标签函数；
所述局部滤波模块，还用于对所述高斯标签函数进行离散傅里叶变换，得到频域高斯标签函数，根据所述频域高斯标签函数构建得到消除边界效应余弦窗；
所述局部滤波模块，还用于对第t帧视频图像中的所述目标的每一个局部的候选区域进行划分，得到每一个局部的候选区域图像块，所述候选区域图像块的大小为第t-1帧中对应的局部大小的两倍，所述t为大于或等于2的正整数；
所述局部滤波模块，还用于对所述候选区域图像块进行去均值处理，得到去均值候选区域图像块；
所述局部滤波模块，还用于提取每一个局部的所有候选区域图像块的颜色特征和方向梯度直方图特征，根据所述颜色特征和所述方向梯度直方图特征得到每一个局部的手工特征图；
所述局部滤波模块，还用于通过所述消除边界效应余弦窗对所述手工特征图进行消除边界效应处理；
所述局部滤波模块，还用于根据所述手工特征图进行自我核相关处理，得到核相关矩阵；
所述局部滤波模块，还用于根据预构建的核相关滤波器和所述核相关矩阵，构建得到每一个局部的基于手工特征的局部滤波器；
所述局部滤波模块，还用于根据当前帧视频图像中的所述目标的至少两个局部及所述基于手工特征的局部滤波器，计算得到每一个局部的局部位置结果；
所述局部滤波模块，还用于根据所有局部位置结果计算得到所述目标的第二位置结果。
7.根据权利要求5-6中任一项所述的装置，其特征在于，
所述可靠性判断模块，具体用于根据所述第一位置结果，计算得到可靠圆半径，并设置可靠圆阈值系数；
所述可靠性判断模块，还用于根据所述第一位置结果和所述第二位置结果，计算得到欧式距离；
所述可靠性判断模块，还用于判断所述欧式距离是否大于所述可靠圆阈值系数和所述可靠圆半径的乘积；
所述可靠性判断模块，还用于当所述欧式距离小于或等于所述可靠圆阈值系数和所述可靠圆半径的乘积时，确定满足所述目标跟踪可靠性；
所述可靠性判断模块，还用于当所述欧式距离大于所述可靠圆阈值系数和所述可靠圆半径的乘积时，确定不满足所述目标跟踪可靠性。
8.根据权利要求7所述的装置，其特征在于，
所述处理模块，具体用于根据每一个局部位置结果，计算得到每一个局部的基于手工特征的局部滤波器的响应最大值；
所述处理模块，还用于当所有的响应最大值都大于所述可靠圆半径时，将所述第一位置结果作为最终跟踪位置结果；
所述处理模块，还用于当存在任意一个响应最大值小于或等于所述可靠圆半径时，对所述第一位置结果和所述第二位置结果进行预置权重计算，得到最终跟踪位置结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010055391.2A CN111311647B (zh) | 2020-01-17 | 2020-01-17 | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010055391.2A CN111311647B (zh) | 2020-01-17 | 2020-01-17 | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111311647A CN111311647A (zh) | 2020-06-19 |
| CN111311647B true CN111311647B (zh) | 2023-07-14 |
Family
ID=71146823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010055391.2A Active CN111311647B (zh) | 2020-01-17 | 2020-01-17 | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111311647B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915647B (zh) * | 2020-07-16 | 2021-08-13 | 郑州轻工业大学 | 一种对象标签引导的自适应视频目标跟踪方法 |
| CN111950388B (zh) * | 2020-07-22 | 2024-04-05 | 上海市同仁医院 | 一种易损性斑块跟踪识别系统及方法 |
| CN112258558B (zh) * | 2020-10-23 | 2022-11-04 | 复旦大学 | 基于多尺度孪生网络的超声颈动脉斑块视频追踪方法 |
| CN112330718B (zh) * | 2020-11-12 | 2022-08-23 | 重庆邮电大学 | 一种基于cnn的三级信息融合视觉目标跟踪方法 |
| CN112560695B (zh) * | 2020-12-17 | 2023-03-24 | 中国海洋大学 | 水下目标跟踪方法、系统、存储介质、设备、终端及应用 |
| CN112762841A (zh) * | 2020-12-30 | 2021-05-07 | 天津大学 | 一种基于多分辨率深度特征的桥梁动位移监测系统及方法 |
| CN113077490A (zh) * | 2021-03-29 | 2021-07-06 | 江苏理工学院 | 一种基于可靠性的多层深度特征目标跟踪方法 |
| CN114463378B (zh) * | 2021-12-27 | 2023-02-24 | 浙江大华技术股份有限公司 | 目标跟踪方法、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310305A (zh) * | 2019-05-28 | 2019-10-08 | 东南大学 | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 |
| CN110569723A (zh) * | 2019-08-02 | 2019-12-13 | 西安工业大学 | 一种结合特征融合与模型更新的目标跟踪方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016689A (zh) * | 2017-02-04 | 2017-08-04 | 中国人民解放军理工大学 | 一种尺度自适应的相关滤波对冲目标跟踪方法 |
| CN107818571B (zh) * | 2017-12-11 | 2018-07-20 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 |
| CN109191497A (zh) * | 2018-08-15 | 2019-01-11 | 南京理工大学 | 一种基于多种信息融合的实时在线多目标跟踪方法 |
| CN109461172A (zh) * | 2018-10-25 | 2019-03-12 | 南京理工大学 | 人工与深度特征联合的相关滤波视频自适应跟踪方法 |
| CN110084836B (zh) * | 2019-04-26 | 2022-03-04 | 西安电子科技大学 | 基于深度卷积特征分层响应融合的目标跟踪方法 |
-
2020
- 2020-01-17 CN CN202010055391.2A patent/CN111311647B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310305A (zh) * | 2019-05-28 | 2019-10-08 | 东南大学 | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 |
| CN110569723A (zh) * | 2019-08-02 | 2019-12-13 | 西安工业大学 | 一种结合特征融合与模型更新的目标跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| Moving Object Tracking using Kalman Filter;Gunjal, Pramod R.,et al.;2018 International Conference On Advances in Communication and Computing Technology (ICACCT);544-547 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111311647A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311647B (zh) | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 | |
| CN108090919B (zh) | 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 | |
| CN108734723B (zh) | 一种基于自适应权重联合学习的相关滤波目标跟踪方法 | |
| CN108665481B (zh) | 多层深度特征融合的自适应抗遮挡红外目标跟踪方法 | |
| CN108776975B (zh) | 一种基于半监督特征和滤波器联合学习的视觉跟踪方法 | |
| CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
| CN107016689A (zh) | 一种尺度自适应的相关滤波对冲目标跟踪方法 | |
| CN112184752A (zh) | 一种基于金字塔卷积的视频目标跟踪方法 | |
| CN109816689A (zh) | 一种多层卷积特征自适应融合的运动目标跟踪方法 | |
| CN109146911B (zh) | 一种目标跟踪的方法及装置 | |
| CN108109162B (zh) | 一种利用自适应特征融合的多尺度目标跟踪方法 | |
| CN110276785B (zh) | 一种抗遮挡红外目标跟踪方法 | |
| CN111028292B (zh) | 一种亚像素级图像匹配导航定位方法 | |
| CN107169994B (zh) | 基于多特征融合的相关滤波跟踪方法 | |
| CN111523447B (zh) | 车辆跟踪方法、装置、电子设备及存储介质 | |
| CN107369166A (zh) | 一种基于多分辨率神经网络的目标跟踪方法及系统 | |
| CN110837768A (zh) | 一种面向珍稀动物保护的在线检测与识别方法 | |
| CN109859241A (zh) | 自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法 | |
| CN103985143A (zh) | 基于字典学习的视频中判别性在线目标跟踪方法 | |
| Yang et al. | Visual tracking with long-short term based correlation filter | |
| Xu et al. | Hierarchical convolution fusion-based adaptive Siamese network for infrared target tracking | |
| CN106887012A (zh) | 一种基于循环矩阵的快速自适应多尺度目标跟踪方法 | |
| CN111027586A (zh) | 一种基于新型响应图融合的目标跟踪方法 | |
| CN112489088A (zh) | 一种基于记忆单元的孪生网络视觉跟踪方法 | |
| CN109410246A (zh) | 基于相关滤波的视觉跟踪的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |