[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109064497B - 一种基于颜色聚类补充学习的视频跟踪方法 - Google Patents

一种基于颜色聚类补充学习的视频跟踪方法 Download PDF

Info

Publication number
CN109064497B
CN109064497B CN201810778141.4A CN201810778141A CN109064497B CN 109064497 B CN109064497 B CN 109064497B CN 201810778141 A CN201810778141 A CN 201810778141A CN 109064497 B CN109064497 B CN 109064497B
Authority
CN
China
Prior art keywords
color
response
clustering
classifier
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810778141.4A
Other languages
English (en)
Other versions
CN109064497A (zh
Inventor
宋慧慧
樊佳庆
张开华
刘青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201810778141.4A priority Critical patent/CN109064497B/zh
Publication of CN109064497A publication Critical patent/CN109064497A/zh
Application granted granted Critical
Publication of CN109064497B publication Critical patent/CN109064497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于颜色聚类补充学习的视频跟踪方法,属于图像处理技术领域。包括输入上一帧状态及分类参数、对目标区域颜色聚类、根据聚类中心统计出直方图、计算颜色响应、计算相关滤波响应、颜色响应和相关滤波响应融合、更新分类器参数、输出当前帧状态及分类器参数八个步骤。通过对传统的颜色直方图补充学习跟踪方法进行分析和改进,有效地利用颜色分布的信息,采用聚类和统计颜色直方图手段,学到更有效的颜色聚类补充学习器并与传统的相关滤波学习器相融合,能够有效区分目标和背景,在目标发生遮挡、旋转、尺度变化、快速运动、光照变化等复杂情况下依然可以准确地跟踪目标。具有处理问题时更加稳健准确、适应性强、跟踪效果好等优点。

Description

一种基于颜色聚类补充学习的视频跟踪方法
技术领域
本发明涉及一种基于颜色聚类补充学习的视频跟踪方法,属于图像处理技术领域。
背景技术
视觉目标跟踪是指从摄像机记录的视频序列中连续地推断特定目标运动状态轨迹的技术,是计算机视觉研究中非常重要的一个研究课题,可用于自动监控、机器人导航、人机接口等很多应用领域。目标跟踪不仅推动了图像处理、模式识别、机器学习和人工智能等领域的理论研究,也成为很多实用的计算机视觉系统必不可少的一个环节。尽管目标跟踪对于人类视觉系统而言是一个非常简单的任务,但对于计算机视觉而言,现有的目标跟踪算法性能还远没有达到人类视觉系统的智能。主要困难在于自然场景中的目标跟踪不仅要解决如何将目标与周围相似的背景区分开来,还要解决跟踪过程中目标由于姿态、光照和遮挡等因素导致的外观变化,需要有效地处理快速运动、遮挡,光照影响,背景杂波等多方面的问题。
目前,已有一些基于相关滤波的视频目标跟踪算法被用于进行快速的视频单目标跟踪,其中具有代表性的是基于补充学习的实时目标跟踪算法。但是,这些基于补充学习的实时目标跟踪算法仅仅利用了固定的颜色量化方法来统计直方图,而并没有有效利用颜色本身的分布情况,使得目标遇到光照剧烈变化或者背景混乱等干扰时,把背景或前景中少量出现的噪声颜色统计成普通特征,造成学到的颜色分类器效果不佳,容易导致跟踪失败。
发明内容
本发明要解决的技术问题是针对现有目标跟踪算法中颜色量化方法单一、容易导致跟踪失败的缺点,提出一种基于颜色聚类补充学习的视频跟踪方法,通过聚类和统计颜色直方图,学到更有效的颜色聚类补充学习器并与传统的相关滤波学习器相融合,使得跟踪算法在处理问题时更加稳健准确。
为解决上述技术问题,本发明提供一种基于颜色聚类补充学习的视频跟踪方法,包括输入上一帧状态及分类参数、对目标区域颜色聚类、根据聚类中心统计出直方图、计算颜色响应、计算相关滤波响应、颜色响应和相关滤波响应融合、更新分类器参数、输出当前帧状态及分类器参数,具体包括以下步骤:
(1)输入上一帧的跟踪结果以及上一帧训练好的分类器参数,这两个参数是前一帧的输出结果,可直接获得;
(2)对目标区域进行颜色聚类,根据上一帧跟踪结果,以其为中心在目标周围获取样本图片,然后对图片的原始(RGB)颜色特征u进行k均值聚类,得到若干个聚类中心ci,聚类中心通过下式获得:
Figure GDA0003221026730000021
其中,u是每个像素的RGB颜色值,ci是求得的第i个聚类中心;
(3)根据像素点u(每个像素的RGB颜色值)和聚类中心ci之间的欧式距离计算出距离向量,然后把该像素点归结到该聚类中心,根据聚类中心统计出聚类过的直方图,最后得到聚过类的颜色直方图编号特征ψ[u];
(4)计算颜色响应rcc(u),计算公式为rcc(u)=βtTψ[u];其中,βt是学到的颜色分类器系数,ψ[u]是得到的聚过类的颜色直方图编号特征,T是转置;
(5)通过训练出的岭回归分类器计算相关滤波响应rcf,训练出的岭回归分类器计算相关滤波响应为
Figure GDA0003221026730000022
其中,F-1是傅立叶逆变换,
Figure GDA0003221026730000023
是核化相关滤波器系数,
Figure GDA0003221026730000024
是核化自相关向量;
(6)进行颜色响应和相关滤波响应融合,对颜色响应和相关滤波响应进行线性相加,计算公式为r=ηrcc+(1-η)rcf,其中,rcf是相关滤波响应,rcc是颜色响应,η是融合系数;
(7)更新颜色分类器和相关滤波分类器参数,即用当前帧的结果对相关滤波器进行更新;
(8)输出当前帧状态,即当前帧的跟踪结果,输出颜色分类器和相关滤波分类器参数,用于下一帧的跟踪。
所述步骤(1)中的上一帧状态和分类器参数是之前t-1帧时输出的结果。
所述步骤(2)中的目标区域,是根据上一帧状态得到的固定尺寸的区域。
所述步骤(3)中的直方图,是根据步骤(2)的聚类中心统计出的直方图。
所述步骤(4)中的颜色响应是根据统计出的颜色直方图计算得到。
所述步骤(6)中的融合颜色响应和相关滤波响应是从融合后的最终响应中找到响应最大的值。
所述步骤(6)中融合系数η的取值是0.3。
所述步骤(8)中的当前帧状态和分类器参数是通过步骤(5)和步骤(6)得到的。
所述分类器参数包含颜色分类器参数和相关滤波分类器参数。
本发明提出的基于颜色聚类补充学习的视频跟踪方法有效地利用了颜色分布的信息,通过聚类和统计颜色直方图,学到更有效的颜色聚类补充学习器并与传统的相关滤波学习器相融合,在目标发生遮挡、旋转、尺度变化、快速运动、光照变化等各种复杂情况下,依然可以准确地跟踪目标,显著地提高了跟踪算法的精度和稳健性。具有处理问题时更加稳健准确、适应性强、跟踪效果好等优点。
附图说明
图1为本发明方法的流程图。
图2为本发明实施例与其它主流跟踪算法的成功率对比图。
图3为本发明实施例与其它主流跟踪算法的精度对比图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详尽描述,实施例中未注明的技术或产品,均为现有技术或可以通过购买获得的常规产品。
实施例1:如图1所示,本基于颜色聚类补充学习的视频跟踪方法包括输入上一帧状态及分类器参数、对目标区域颜色聚类、根据聚类中心统计出直方图、计算颜色响应、计算相关滤波响应、颜色响应和相关滤波响应融合、更新分类器参数、输出当前帧状态及分类器参数等过程,具体包括以下步骤:
(1)输入上一帧的跟踪结果以及上一帧训练好的分类器参数,这两个参数是前一帧的输出结果,可直接获得;
(2)对目标区域进行颜色聚类,根据上一帧跟踪结果,以其为中心在目标周围获取样本图片,然后对图片的原始(RGB)颜色特征u进行k均值聚类,得到若干个聚类中心ci,聚类中心通过下式获得:
Figure GDA0003221026730000031
其中,u是每个像素的RGB颜色值,ci是求得的第i个聚类中心;
(3)根据像素点u(每个像素的RGB颜色值)和聚类中心ci之间的欧式距离计算出距离向量,然后把该像素点归结到该聚类中心,根据聚类中心统计出聚类过的直方图,最后得到聚过类的颜色直方图编号特征ψ[u];
(4)计算颜色响应rcc(u),计算公式为rcc(u)=βtTψ[u],即通过学到的颜色直方图分类器系数βt和聚过类的颜色直方图编号特征ψ[u]线性回归得到rcc(u);其中,βt是学到的颜色分类器系数,ψ[u]是得到的聚过类的颜色直方图编号特征,T是转置;
(5)通过训练出的岭回归分类器计算相关滤波响应为
Figure GDA0003221026730000041
计算相关滤波响应rcf;其中,F-1是傅立叶逆变换,
Figure GDA0003221026730000042
是核化相关滤波器系数,
Figure GDA0003221026730000043
是核化自相关向量;
(6)通过计算公式r=ηrcc+(1-η)rcf,对颜色响应和相关滤波响应进行线性相加,进行颜色响应和相关滤波响应融合;其中,rcf是相关滤波响应,rcc是颜色响应,融合系数η=0.3。
(7)更新颜色分类器和相关滤波分类器参数,即用当前帧的结果对相关滤波器进行更新;
(8)输出当前帧状态,即当前帧的跟踪结果,输出颜色分类器和相关滤波分类器参数,用于下一帧的跟踪。
本方法中,步骤(1)中的上一帧状态和分类器参数是之前t-1帧时输出的结果;步骤(2)中的目标区域是根据上一帧状态得到的固定尺寸的区域;步骤(3)中的直方图是根据步骤(2)的聚类中心统计出的直方图;步骤(4)中的颜色响应是根据统计出的颜色直方图计算得到;步骤(6)中的融合颜色响应和相关滤波响应是从融合后的最终响应中找到响应最大的值;步骤(8)中的当前帧状态和分类器参数是通过步骤(5)和步骤(6)得到的;分类器参数包含颜色分类器参数和相关滤波分类器参数。
本实施例采用成功率图(Success plots)和精度图(Precision plots)两种评价准则对跟踪器的性能进行了评估。在成功率图中,横坐标表示重叠阈值(Overlapthreshold),纵坐标表示成功率(Success rate),重叠率是通过计算跟踪结果目标框与真实结果目标框的重叠率获得的。当重叠率大于阈值时,跟踪结果视为准确。在本发明中,曲线下面积AUC(Area under curve)用于评估不同的跟踪器,AUC越大的跟踪器性能越好。类似地,在精度图中,横坐标表示位置误差阈值(Location error threshold),单位是像素,纵坐标表示精度(Precision)。位置误差是通过计算算法跟踪结果与目标真实值之间的目标中心位置的欧式距离。当测得的位置误差小于阈值时,则认为跟踪结果是准确的。本发明用误差阈值为像素灰度值20时对应的精度来估测不同的跟踪器,精确度越高说明跟踪器性能越好。
通过上述两种评价方式,选取100个视频序列验证本实施例提供的目标跟踪方法,这些视频序列含有不同的挑战因素包括光照变化(IV)、尺寸变化(SV)、遮挡(OCC)、变形(DEF)、快速运动(FM)、运动模糊(MB)、面内旋转(IPR)、超出范围(OV)、面外旋转(OPR)、背景混乱(BC)和低分辨率(LR)。同时,将本发明的跟踪方法与现有的9种主流跟踪方法进行了比较,包括CSR-DCF、ACFN、CFNet、SiamFC、Staple、DLSSVM、KCF、LCT以及MEEM。图2和图3分别反映了本发明和其他几种主流跟踪方法的成功率和精度的对比情况。从对比结果可以发现,与已有的算法相比,本发明提供的目标跟踪方法的算法精度有了明显的提高,跟踪结果更为稳定。
本基于颜色聚类补充学习的视频跟踪方法在跟踪过程中有效地利用了颜色分布的信息,在目标发生遮挡、旋转、尺度变化、快速运动、光照变化等各种复杂情况下,依然可以准确地跟踪目标,跟踪的精度和稳健性均匀有良好表现。
上面结合附图对本发明的技术内容作了说明,但本发明的保护范围并不限于所述内容,在本领域的普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下对本发明的技术内容做出各种变化,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于颜色聚类补充学习的视频跟踪方法,其特征在于:包括以下步骤:
(1)输入上一帧状态及分类器参数:输入上一帧的跟踪结果以及上一帧训练好的分类器参数;
(2)对目标区域颜色聚类:根据上一帧跟踪结果,以其为中心在目标周围获取样本图片,然后对图片的原始(RGB)颜色特征u进行k均值聚类,得到若干个聚类中心ci,聚类中心通过下式获得:
Figure FDA0003221026720000011
其中,u是每个像素的RGB颜色值,ci是求得的第i个聚类中心;
(3)根据聚类中心统计出直方图:根据像素点u(每个像素的RGB颜色值)和聚类中心ci之间的欧式距离计算出距离向量,然后把该像素点归结到该聚类中心,根据聚类中心统计出聚类过的直方图,最后得到聚过类的颜色直方图编号特征ψ[u];
(4)计算颜色响应:通过公式rcc(u)=βtTψ[u]计算颜色响应rcc(u),
其中,βt是学到的颜色分类器系数,ψ[u]是得到聚过类的颜色直方图编号特征,T表示转置;
(5)计算相关滤波响应:通过训练出的岭回归分类器计算相关滤波响应rcf,训练出的岭回归分类器计算相关滤波响应为
Figure FDA0003221026720000012
其中,F-1是傅立叶逆变换,
Figure FDA0003221026720000013
是核化相关滤波器系数,
Figure FDA0003221026720000014
是核化自相关向量;
(6)颜色响应和相关滤波响应融合:进行颜色响应和相关滤波响应融合,对颜色响应和相关滤波响应进行线性相加,计算公式为r=ηrcc+(1-η)rcf,其中,rcf是相关滤波响应,rcc是颜色响应,η是融合系数;
(7)更新分类器参数:更新颜色分类器和相关滤波分类器参数;
(8)输出当前帧状态及分类器参数:输出当前帧状态,即当前帧的跟踪结果,输出颜色分类器和相关滤波分类器参数,用于下一帧的跟踪。
2.根据权利要求1所述的基于颜色聚类补充学习的视频跟踪方法,其特征在于:所述步骤(1)中的上一帧状态和分类器参数是之前t-1帧时输出的结果。
3.根据权利要求1所述的基于颜色聚类补充学习的视频跟踪方法,其特征在于:所述步骤(2)中的目标区域,是根据上一帧状态得到的固定尺寸的区域。
4.根据权利要求1所述的基于颜色聚类补充学习的视频跟踪方法,其特征在于:所述步骤(3)中的直方图,是根据步骤(2)的聚类中心统计出的直方图。
5.根据权利要求1所述的基于颜色聚类补充学习的视频跟踪方法,其特征在于:所述步骤(4)中的颜色响应是根据统计出的颜色直方图计算得到。
6.根据权利要求1所述的基于颜色聚类补充学习的视频跟踪方法,其特征在于:所述步骤(6)中的融合颜色响应和相关滤波响应是从融合后的最终响应中找到响应最大的值。
7.根据权利要求1所述的基于颜色聚类补充学习的视频跟踪方法,其特征在于:所述步骤(6)中融合系数η的取值是0.3。
8.根据权利要求1所述的基于颜色聚类补充学习的视频跟踪方法,其特征在于:所述步骤(8)中的当前帧状态和分类器参数是通过步骤(5)和步骤(6)得到的。
9.根据权利要求1所述的基于颜色聚类补充学习的视频跟踪方法,其特征在于:所述分类器参数包含颜色分类器参数和相关滤波分类器参数。
CN201810778141.4A 2018-07-16 2018-07-16 一种基于颜色聚类补充学习的视频跟踪方法 Active CN109064497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810778141.4A CN109064497B (zh) 2018-07-16 2018-07-16 一种基于颜色聚类补充学习的视频跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810778141.4A CN109064497B (zh) 2018-07-16 2018-07-16 一种基于颜色聚类补充学习的视频跟踪方法

Publications (2)

Publication Number Publication Date
CN109064497A CN109064497A (zh) 2018-12-21
CN109064497B true CN109064497B (zh) 2021-11-23

Family

ID=64816760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810778141.4A Active CN109064497B (zh) 2018-07-16 2018-07-16 一种基于颜色聚类补充学习的视频跟踪方法

Country Status (1)

Country Link
CN (1) CN109064497B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161323B (zh) * 2019-12-31 2023-11-28 北京理工大学重庆创新中心 一种基于相关滤波的复杂场景目标跟踪方法及系统
CN112287913B (zh) * 2020-12-25 2021-04-06 浙江渔生泰科技有限公司 一种鱼类视频识别的智能监管系统
CN113888586B (zh) * 2021-09-01 2024-10-29 河北汉光重工有限责任公司 一种基于相关滤波的目标跟踪方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077605A (zh) * 2014-07-18 2014-10-01 北京航空航天大学 一种基于颜色拓扑结构的行人搜索识别方法
CN106023248A (zh) * 2016-05-13 2016-10-12 上海宝宏软件有限公司 一种实时的视频跟踪方法
CN106651913A (zh) * 2016-11-29 2017-05-10 开易(北京)科技有限公司 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统
CN107316316A (zh) * 2017-05-19 2017-11-03 南京理工大学 基于多特征自适应融合和核相关滤波技术的目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077605A (zh) * 2014-07-18 2014-10-01 北京航空航天大学 一种基于颜色拓扑结构的行人搜索识别方法
CN106023248A (zh) * 2016-05-13 2016-10-12 上海宝宏软件有限公司 一种实时的视频跟踪方法
CN106651913A (zh) * 2016-11-29 2017-05-10 开易(北京)科技有限公司 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统
CN107316316A (zh) * 2017-05-19 2017-11-03 南京理工大学 基于多特征自适应融合和核相关滤波技术的目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
通道稳定性加权补充学习的实时视觉跟踪算法;樊佳庆 等;《计算机应用》;20160610;第1751-1754页 *

Also Published As

Publication number Publication date
CN109064497A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
CN112836640B (zh) 一种单摄像头多目标行人跟踪方法
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN109544592B (zh) 针对相机移动的运动目标检测算法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN109064497B (zh) 一种基于颜色聚类补充学习的视频跟踪方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN111582349A (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN111199245A (zh) 油菜害虫识别方法
CN112541424A (zh) 复杂环境下行人跌倒的实时检测方法
CN117994987B (zh) 基于目标检测技术的交通参数提取方法及相关装置
CN107368802B (zh) 基于kcf和人脑记忆机制的运动目标跟踪方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
CN108921872B (zh) 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法
CN114140373A (zh) 一种基于LabVIEW深度学习的开关缺陷检测方法
CN116402852A (zh) 基于事件相机的动态高速目标追踪方法及装置
CN109241932B (zh) 一种基于运动方差图相位特征的热红外人体动作识别方法
CN113971684B (zh) 一种基于kcf和surf特征的实时鲁棒目标跟踪方法
CN113255608B (zh) 一种基于cnn分类的多摄像头人脸识别定位方法
CN108053425B (zh) 一种基于多通道特征的高速相关滤波目标跟踪方法
CN112131991A (zh) 一种基于事件相机的数据关联方法
CN111145216A (zh) 一种视频图像目标的跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant