[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN102855637A - 一种用于视频图像的融合双边滤波的协方差跟踪方法 - Google Patents

一种用于视频图像的融合双边滤波的协方差跟踪方法 Download PDF

Info

Publication number
CN102855637A
CN102855637A CN2012102468394A CN201210246839A CN102855637A CN 102855637 A CN102855637 A CN 102855637A CN 2012102468394 A CN2012102468394 A CN 2012102468394A CN 201210246839 A CN201210246839 A CN 201210246839A CN 102855637 A CN102855637 A CN 102855637A
Authority
CN
China
Prior art keywords
template
tracking
covariance matrix
formula
bilateral filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012102468394A
Other languages
English (en)
Inventor
谢英红
韩晓微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University
Original Assignee
Shenyang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University filed Critical Shenyang University
Priority to CN2012102468394A priority Critical patent/CN102855637A/zh
Publication of CN102855637A publication Critical patent/CN102855637A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种用于视频图像的融合双边滤波的协方差跟踪方法，涉及一种视频图像的跟踪方法，本发明双边滤波方法计算权值时，通过对图像中的灰度信息与空间信息的非线性组合，能较好的保留图像的边缘细节部分。构建的协方差矩阵，对光照变化有一定的鲁棒性。满足光照变化下的目标跟踪。构建的协方差矩阵符合对称正定流形，在李群结构下计算均值和距离，使得跟踪区域的计算更精确。采用模板更新策略，适应非刚性，形变目标随时发生的形状，尺度，表观变化，保证模板的有效性，实现稳定的目标跟踪。该跟踪方法不仅能够对刚体，和非刚体在弱小光线变化下的稳定跟踪，而且能够在目标形变或是光照变化较大的情况下，实现稳定的跟踪。

Description

一种用于视频图像的融合双边滤波的协方差跟踪方法
技术领域
本发明涉及一种视频图像的跟踪方法，特别是涉及一种用于视频图像的融合双边滤波的协方差跟踪方法。 
背景技术
目前很多算法利用协方差矩阵对跟踪目标建模，实现序列图像的跟踪。然而，协方差矩阵不服从欧式空间，所以其元素间的相似性度量多采用黎曼度量或是对数-欧几里德黎曼度量来计算。协方差矩阵对跟踪目标的表观形变和光照变化具有一定的不敏感性。目前跟踪算法在目标形变较小或是光照变化柔和的情况下，可以实现稳定的跟踪。但是，在目标形变或是光照变化较大的情况下，跟踪效果不稳定。 
发明内容
本发明的目的在于提供一种用于视频图像的融合双边滤波的协方差跟踪方法，该跟踪方法不仅能够对刚体，和非刚体在弱小光线变化下的稳定跟踪，而且能够在目标形变或是光照变化较大的情况下，实现稳定的跟踪。该跟踪方法具有良好的有效性和鲁棒性。 
本发明的目的是通过以下技术方案实现的： 
一种用于视频图像的融合双边滤波的协方差跟踪方法，所述方法按如下步骤进行：
步骤1：以第一帧图像的待跟踪区域为模板，首先对于区域内任意像素点(x0,y0)， (x,y)为其邻域w内的任意一点，计算像素点(x0,y0)的权重 ：
Figure 2012102468394100002DEST_PATH_IMAGE002
         (1)
其中和
Figure 2012102468394100002DEST_PATH_IMAGE004
分别为控制空间和梯度距离衰变速度的参数；
Figure 488285DEST_PATH_IMAGE005
    (2)
然后对整个目标区域进行双边滤波公式如下：
                                        (3)
步骤2：利用如下公式构建协方差矩阵：
                                    (4)
其中
Figure 2012102468394100002DEST_PATH_IMAGE006
，是均值向量。 
                                        （5） 
利用公式(4)，求出模板的协方差矩阵C0。令i=0，为跟踪图像帧数计数器；
步骤3：读入下一帧视频图像，在搜索范围内对每一个搜索窗口，根据公式（4）和公式（5），求出其协方差矩阵集合{Ci}i=1,2,…,m，m为窗口的个数；
步骤4: 利用如下所述对数-欧几里德距离公式（6），求得集合{Ci}中每个元素与模板协方差矩阵C0的距离；
   在对数-欧几里德黎曼度量下，对称正定流形上的两点X和Y间的距离公式为：
Figure 2012102468394100002DEST_PATH_IMAGE008
                             （6）                    
步骤5: 计算最小距离的协方差矩阵Cmin对应的图像区域即为所求的跟踪目标，i=i+1;
步骤6：根据模板更新策略，，判断是否需要更新模板，如果需要，按照模板更新策略进行模板更新；
步骤7：判断是否还有待跟踪视频序列，如有，则转到步骤(3)，否则结束跟踪过程。
所述的一种用于视频图像的融合双边滤波的协方差跟踪方法，其所述模板更新策略，其中模板均值的计算采用李群结构下的对数-欧几里德均值，每隔m次更新一次模板。 
本发明的优点与效果是： 
1.双边滤波方法计算权值时，通过对图像中的灰度信息与空间信息的非线性组合，能较好的保留图像的边缘细节部分。
2.构建的协方差矩阵，对光照变化有一定的鲁棒性。满足光照变化下的目标跟踪。 
3.构建的协方差矩阵符合对称正定流形，在李群结构下计算均值和距离，使得跟踪区域的计算更精确。 
4.采用模板更新策略，适应非刚性，形变目标随时发生的形状，尺度，表观变化，保证模板的有效性，实现稳定的目标跟踪。 
附图说明
图1示出了李群结构下的融合双边滤波的协方差目标跟踪算法的具体步骤； 
图2示出了所述算法的更新策略；
图3示出了所述算法跟踪刚体运动的结果；
图4示出了所述算法跟踪非刚体运动的结果；
图5示出了所述算法跟踪非刚体光照变化运动的结果。
注：本发明的图3-图5为功能效果示意照片，图中的图像或文字不清晰并不影响对本发明技术方案的理解。 
具体实施方式
下面结合附图和实施例对本发明进一步说明。 
实施例1： 
使用上述算法跟踪刚体运动。
步骤1：以汽车视频序列的第一帧图像的待跟踪区域为模板，取待跟踪矩形区域的左上角像素点的坐标为（294,159），右下角坐标为（460,300）。对该区域内的所有像素点进行双边滤波。取邻域w=1*1，滤波平滑尺度为0.4。得到滤波后的图像。 
步骤 2：令i=0。同时计算得到协方差矩阵C0= 
2473721.25 1251.25       1382987.99  922515.00  1465783.99   2033504.49 
1251.25       1763011.25 -727948.99 -47204.00   283760.00    194615.073832605
1382987.99 -727948.99 4488736.61 2453186.92 3859962.57 5229741.64 922515.00 -47204.00    2453186.92 13598554.80   2141570.58  13384172.86
1465783.99  283760.00    3859962.57  2141570.58   24685298.11   23995074.98 
2033504.49    194615.07 5229741.64    13384172.86  23995074.98    33463453.51 
步骤3：读入下一帧视频图像，在搜索半径为26*20的搜索范围内对每一个搜索窗口，求出其协方差矩阵集合{Ci}i=1,2,…,m，m为窗口的个数；
步骤4: 利用对数-欧几里德距离公式
Figure 873316DEST_PATH_IMAGE009
，求得集合{Ci}中每个元素与模板协方差矩阵C0的距离；
步骤5: 计算最小距离的协方差矩阵Cmin对应的图像区域即为所求的跟踪目标，i=i+1;
步骤6：根据模板更新策略，（每隔10帧更新一次模板）。判断是否需要更新模板，如果需要，按照模板更新策略进行模板更新。其中模板更新策略如图2所示。其中模板均值的计算采用李群结构下的对数-欧几里德均值。
步骤7：判断是否还有待跟踪视频序列。如有，则转到步骤(3)，否则结束跟踪过程。 
附图3 为所述算法的跟踪效果。 
实施例2: 
步骤1：以一组行人的红外图像序列（非刚体）的第一帧图像的待跟踪区域为模板，取待跟踪矩形区域的左上角像素点的坐标为（309,283），右下角坐标为（373,398）。对该区域内的所有像素点进行双边滤波。取邻域w=2*2，滤波平滑尺度为0.8。得到滤波后的图像。
步骤 2：令i=0。同时计算得到协方差矩阵C0= 
101997.75  317.75    -1404.00      -17938.00    -11081.00   -25264.69
317.75     178257.75  21726.00   26202.00   -7002.00    16595.20
-1404.00   21726.00   156622.33  29879.48   -13951.88  17409.56
-17938.00  26202.00   29879.48   785949.35  -19763.41  13384172.86
-11081.00  -7002.00   -13951.88  -19763.41  569571.62  422825.94
-25264.69  16595.20   17409.56   622493.40  422825.94  863771.47 
步骤3：读入下一帧视频图像，在搜索半径为15*20的搜索范围内对每一个搜索窗口，求出其协方差矩阵集合{Ci}i=1,2,…,m，m为窗口的个数；
步骤4: 利用对数-欧几里德距离公式，求得集合{Ci}中每个元素与模板协方差矩阵C0的距离；
步骤5: 计算最小距离的协方差矩阵Cmin对应的图像区域即为所求的跟踪目标，i=i+1;
步骤6：根据模板更新策略，（每隔9帧更新一次模板）。判断是否需要更新模板，如果需要，按照模板更新策略进行模板更新。其中模板更新策略如图2所示。其中模板均值的计算采用李群结构下的对数-欧几里德均值。
步骤7：判断是否还有待跟踪视频序列。如有，则转到步骤(3)，否则结束跟踪过程。 
附图4 为所述算法的跟踪效果。 
实施例3： 
使用所述算法跟踪非刚体在光照变化情况下的运动。利用所述算法，以像素为单位，取邻域w=2*2，滤波平滑尺度为 0.8时的跟踪效果。模板更新频率都为8帧/次。实验结果表明，无论是光线变化还是人脸的各种表观变化，始终能实现稳定的跟踪。
步骤1：以一组非刚体在光照变化情况下的运动序列的第一帧图像的待跟踪区域为模板，取待跟踪矩形区域的左上角像素点的坐标为（341,110），右下角坐标为（600,384）。对该区域内的所有像素点进行双边滤波。取邻域w=2*2，滤波平滑尺度为0.8。得到滤波后的图像。 
步骤 2：令i=0。同时计算得到协方差矩阵C0= 
484194.7500   516.75    -21700.00  -17828.00  -5157.00   -18731.93
516.75   262336.75   14989.00   13974.00   14260.00   25923.50
-21700.00  14989.00   74115.84   -6426.13   16298.98   10501.59
-17828.00  13974.00   -6426.13   84862.70   -8684.51   57710.84
-5157.00   14260.00   16298.98   -8684.51   245202.71  215704.47
-18731.93  25923.50   10501.59   57710.84   215704.47 246521.94 
步骤3：读入下一帧视频图像，在搜索半径为15*20的搜索范围内对每一个搜索窗口，求出其协方差矩阵集合{Ci}i=1,2,…,m，m为窗口的个数；
步骤4: 利用对数-欧几里德距离公式，求得集合{Ci}中每个元素与模板协方差矩阵C0的距离；
步骤5: 计算最小距离的协方差矩阵Cmin对应的图像区域即为所求的跟踪目标，i=i+1;
步骤6：根据模板更新策略，（每隔8帧更新一次模板）。判断是否需要更新模板，如果需要，按照模板更新策略进行模板更新。其中模板更新策略如图2所示。其中模板均值的计算采用李群结构下的对数-欧几里德均值。
步骤7：判断是否还有待跟踪视频序列。如有，则转到步骤(3)，否则结束跟踪过程。附图5 为所述算法的跟踪效果。 

Claims (2)

1.一种用于视频图像的融合双边滤波的协方差跟踪方法，其特征在于，所述方法按如下步骤进行：
步骤1：以第一帧图像的待跟踪区域为模板，首先对于区域内任意像素点(x0,y0)， (x,y)为其邻域w内的任意一点，计算像素点(x0,y0)的权重                                               
Figure 2012102468394100001DEST_PATH_IMAGE002
：
Figure DEST_PATH_IMAGE004
         (1)
其中
Figure DEST_PATH_IMAGE006
和分别为控制空间和梯度距离衰变速度的参数；
    (2)
然后对整个目标区域进行双边滤波公式如下：
Figure DEST_PATH_IMAGE010
                                        (3)
步骤2：利用如下公式构建协方差矩阵：
Figure DEST_PATH_IMAGE012
                                    (4)
其中
Figure DEST_PATH_IMAGE014
，是均值向量；
Figure DEST_PATH_IMAGE016
                                        （5）
利用公式(4)，求出模板的协方差矩阵C0；
令i=0，为跟踪图像帧数计数器；
步骤3：读入下一帧视频图像，在搜索范围内对每一个搜索窗口，根据公式（4）和公式（5），求出其协方差矩阵集合{Ci}i=1,2,…,m，m为窗口的个数；
步骤4: 利用如下所述对数-欧几里德距离公式（6），求得集合{Ci}中每个元素与模板协方差矩阵C0的距离；
   在对数-欧几里德黎曼度量下，对称正定流形上的两点X和Y间的距离公式为：
Figure DEST_PATH_IMAGE018
                             （6）                    
步骤5: 计算最小距离的协方差矩阵Cmin对应的图像区域即为所求的跟踪目标，i=i+1;
步骤6：根据模板更新策略，，判断是否需要更新模板，如果需要，按照模板更新策略进行模板更新；
步骤7：判断是否还有待跟踪视频序列，如有，则转到步骤(3)，否则结束跟踪过程。
2.根据权利要求1所述的一种用于视频图像的融合双边滤波的协方差跟踪方法，其特征在于，所述模板更新策略，其中模板均值的计算采用李群结构下的对数-欧几里德均值，每隔m次更新一次模板。
CN2012102468394A 2012-07-17 2012-07-17 一种用于视频图像的融合双边滤波的协方差跟踪方法 Pending CN102855637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012102468394A CN102855637A (zh) 2012-07-17 2012-07-17 一种用于视频图像的融合双边滤波的协方差跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012102468394A CN102855637A (zh) 2012-07-17 2012-07-17 一种用于视频图像的融合双边滤波的协方差跟踪方法

Publications (1)

Publication Number Publication Date
CN102855637A true CN102855637A (zh) 2013-01-02

Family

ID=47402199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012102468394A Pending CN102855637A (zh) 2012-07-17 2012-07-17 一种用于视频图像的融合双边滤波的协方差跟踪方法

Country Status (1)

Country Link
CN (1) CN102855637A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424634A (zh) * 2013-08-23 2015-03-18 株式会社理光 对象跟踪方法和装置
CN104616317A (zh) * 2014-12-12 2015-05-13 宁波中国科学院信息技术应用研究院 一种视频车辆跟踪有效性验证方法
CN105913396A (zh) * 2016-04-11 2016-08-31 湖南源信光电科技有限公司 一种噪声估计的图像边缘保持混合去噪方法
CN106997477A (zh) * 2017-03-30 2017-08-01 联想(北京)有限公司 一种图像处理方法及装置
CN109087297A (zh) * 2018-08-10 2018-12-25 成都工业职业技术学院 一种基于自适应邻域选择的mr图像配准方法
CN110232705A (zh) * 2019-05-17 2019-09-13 沈阳大学 一种融合分数阶变分调整的反向低秩稀疏学习目标跟踪方法
CN112396632A (zh) * 2019-10-14 2021-02-23 湖南科技大学 基于矩阵差异度的机器视觉目标跟踪方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017572A (zh) * 2006-02-09 2007-08-15 三菱电机株式会社 用于在帧序列中跟踪物体的计算机化的方法
CN101739687A (zh) * 2009-11-23 2010-06-16 燕山大学 基于协方差矩阵的快速机动目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017572A (zh) * 2006-02-09 2007-08-15 三菱电机株式会社 用于在帧序列中跟踪物体的计算机化的方法
CN101739687A (zh) * 2009-11-23 2010-06-16 燕山大学 基于协方差矩阵的快速机动目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI WU ET AL: "Real-Time Visual Tracking via Incremental Covariance Model Update on Log-Euclidean Riemannian Manifold", 《CHINESE CONFERENCE ON PATTERN RECOGNITION》 *
YINGHONG XIE ET AL: "Object Tracking Based on Bilateral Structure Tensor", 《JOURNAL OF COMPUTATIONAL INFORMATION SYSTEM》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424634A (zh) * 2013-08-23 2015-03-18 株式会社理光 对象跟踪方法和装置
CN104424634B (zh) * 2013-08-23 2017-05-03 株式会社理光 对象跟踪方法和装置
CN104616317B (zh) * 2014-12-12 2017-05-24 宁波中国科学院信息技术应用研究院 一种视频车辆跟踪有效性验证方法
CN104616317A (zh) * 2014-12-12 2015-05-13 宁波中国科学院信息技术应用研究院 一种视频车辆跟踪有效性验证方法
CN105913396B (zh) * 2016-04-11 2018-10-19 湖南源信光电科技有限公司 一种噪声估计的图像边缘保持混合去噪方法
CN105913396A (zh) * 2016-04-11 2016-08-31 湖南源信光电科技有限公司 一种噪声估计的图像边缘保持混合去噪方法
CN106997477A (zh) * 2017-03-30 2017-08-01 联想(北京)有限公司 一种图像处理方法及装置
CN106997477B (zh) * 2017-03-30 2021-01-15 联想(北京)有限公司 一种图像处理方法及装置
CN109087297A (zh) * 2018-08-10 2018-12-25 成都工业职业技术学院 一种基于自适应邻域选择的mr图像配准方法
CN110232705A (zh) * 2019-05-17 2019-09-13 沈阳大学 一种融合分数阶变分调整的反向低秩稀疏学习目标跟踪方法
CN110232705B (zh) * 2019-05-17 2023-05-12 沈阳大学 一种融合分数阶变分调整的反向低秩稀疏学习目标跟踪方法
CN112396632A (zh) * 2019-10-14 2021-02-23 湖南科技大学 基于矩阵差异度的机器视觉目标跟踪方法及系统
CN112396632B (zh) * 2019-10-14 2024-03-08 湖南科技大学 基于矩阵差异度的机器视觉目标跟踪方法及系统

Similar Documents

Publication Publication Date Title
CN102855637A (zh) 一种用于视频图像的融合双边滤波的协方差跟踪方法
CN101840507B (zh) 基于角点特征不变量和图论聚类的目标跟踪方法
JP6421510B2 (ja) 目標検出方法及び目標検出システム
CN103871079A (zh) 基于机器学习和光流的车辆跟踪方法
CN104144282B (zh) 一种适用于空间机器人视觉系统的快速数字稳像方法
CN103139447A (zh) 使用ptz相机检测对象的设备和方法
CN104200485A (zh) 一种面向视频监控的人体跟踪方法
CN102999920A (zh) 基于最近邻分类器和均值漂移的目标跟踪方法
CN103607554A (zh) 一种基于全自动人脸无缝合成的视频合成方法
JP2020533667A (ja) 車載カメラの姿勢推定方法、装置およびシステムならびに電子機器
CN102982598A (zh) 基于单个摄像头场景配置的视频人数统计方法和系统
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
JP2019149142A (ja) 対象物標識のためのシステムおよび方法
CN103077520A (zh) 一种针对移动摄像机的背景减除方法
CN103458261A (zh) 一种基于立体视觉的视频场景变化检测方法
CN105825520A (zh) 一种可创建大规模地图的单眼slam方法
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN105488777A (zh) 一种基于移动前景下全景图实时生成系统及其方法
CN103942542A (zh) 人眼跟踪方法及装置
CN103794050A (zh) 一种实时的交通车辆检测与跟踪方法
CN103093480B (zh) 基于双重模型的粒子滤波视频图像跟踪方法
CN103198491A (zh) 室内的视觉定位方法
CN114757977A (zh) 融合改进光流和目标检测网络的移动物体轨迹提取方法
Li et al. Multi-sensor fusion for robust localization with moving object segmentation in complex dynamic 3D scenes
CN110533692B (zh) 一种面向无人机航拍视频中移动目标的自动跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130102