[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107038714A - 多型视觉传感协同目标跟踪方法 - Google Patents

多型视觉传感协同目标跟踪方法 Download PDF

Info

Publication number
CN107038714A
CN107038714A CN201710247379.XA CN201710247379A CN107038714A CN 107038714 A CN107038714 A CN 107038714A CN 201710247379 A CN201710247379 A CN 201710247379A CN 107038714 A CN107038714 A CN 107038714A
Authority
CN
China
Prior art keywords
target
image
cooperative
state
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710247379.XA
Other languages
English (en)
Other versions
CN107038714B (zh
Inventor
刘龙
李鲜莉
杨乐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201710247379.XA priority Critical patent/CN107038714B/zh
Publication of CN107038714A publication Critical patent/CN107038714A/zh
Application granted granted Critical
Publication of CN107038714B publication Critical patent/CN107038714B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Image Analysis (AREA)

Abstract

多型视觉传感协同目标跟踪方法,具体包括以下步骤:步骤1,利用传统摄像机C1和全景摄像机C2跟踪相同的目标,在C1和C2中分别采用粒子滤波方法预估计下一时刻的目标状态。步骤2,建立C1和C2之间的对极几何关系;步骤3,建立协同开关模型,根据目标在C1和C2的视野中的位置,判断是否启动协同跟踪模式;步骤4,在协同跟踪模式中,启动协同机制,根据对极几何关系对被遮挡目标的状态进行校正与更新;步骤5,将步骤4处理后的目标状态作为目标当前时刻状态,返回步骤2,实现C1和C2之间运动目标的持续协同跟踪。本发明解决了多个摄像机之间协同跟踪有效区域狭小的问题,实现了对运动目标的持续协同跟踪。

Description

多型视觉传感协同目标跟踪方法
技术领域
本发明属于视频图像跟踪技术领域,涉及一种多型视觉传感协同目标跟踪方法。
背景技术
随着科技的发展和社会的进步,人们对安全的要求也不断提高,在国防军事,交通管理,行为分析等方面各式各样的视觉传感监控系统有着巨大的应用前景,在这些应用中需要观测的场景的范围非常大,单个视觉传感器已经无法覆盖,这时就需要多个视觉传感来实现大范围的观测工作。
对于多摄像机的目标跟踪来说,目标匹配是其中的关键技术,目标匹配的依据分为以下两种:(1)自身特征的一致性,主要是根据目标的颜色、形状等信息进行目标匹配,但由于不同的摄像机的视角不同、场景光照的不同,观测到的这类特征存在着较大的差异,虽然学者们提出亮度转移函数能够在一定程度上减小亮度带来的影响,但是可靠性较低;(2)摄像机几何约束,通过对单个摄像机的标定或多个摄像机间关系的确定,来定位目标的空间位置,它的匹配度比其他目标匹配方法在有重叠区域的情况下要高。
几何约束中常用的方法有单应性和对极几何,单应性描述的是同一个平面上的点,在两幅视图上的像点之间存在一一对应的映射关系,单应性可以准确的定位到目标在图像中的坐标位置,但必须满足目标运动在同一个平面的这一假设条件,此外常会遇到计算量大,无法有效解决遮挡等问题。对极几何描述的是两幅视图之间的几何映射关系,本质上就是对极平面与两图像平面相交的几何对应关系,对极几何能够表示不同视角下的相机图像的对应关系,由于这种关系是普遍存在的,通过对极几何我们将一幅图像上的点在另一张图像上投影出来一条直线,能够将搜索范围降低至一维搜索。
上述协同跟踪方法都是建立在传统摄像机基础上的,由于单个传统摄像机视野范围的限制,多个传统摄像机间的重叠区域有限,有效协同区域狭小;目前还存在多个全景摄像机协同跟踪,但同样难解决协同跟踪有效区域狭小,而且成本过高。
发明内容
本发明的目的是提供一种多型视觉传感协同目标跟踪方法,解决了多摄像机之间协同跟踪有效区域狭小的问题,实现了对运动目标的持续协同跟踪。
本发明所采用的技术方案是,多型视觉传感协同目标跟踪方法,具体包括以下步骤:
步骤1,利用传统摄像机C1和全景摄像机C2跟踪相同的目标,在C1和C2中分别采用粒子滤波方法预估计下一时刻的目标状态。
步骤2,建立C1和C2之间的对极几何关系;
步骤3,建立协同开关模型,根据目标在C1和C2的视野中的位置,判断是否启动协同跟踪模式;
步骤4,在协同跟踪模式中,启动协同机制,根据对极几何关系对被遮挡目标的状态进行校正与更新;
步骤5,将步骤4处理后的目标状态作为目标当前时刻状态,返回步骤2,实现C1和C2之间运动目标的持续协同跟踪。
步骤1的具体步骤为:
选取同一时刻C1和C2对目标拍摄出的两个画面,记为图像A和图像B;
在C1中,假设粒子在t时刻的状态满足:其中,为重要性密度函数;
粒子局部观测似然权重初始化为:其中,为局部观测似然概率;
预估计图像A中下一时刻的目标状态为:
同理,中C2,预估计图像B中下一时刻的目标状态为:
其中,i为目标编号,i>1;n为目标i中采样粒子编号;Np是图像A中所有粒子数;x表示目标的状态;z表示目标的观测信息;表示图像A中目标i在t时刻的状态;表示图像A中目标i到t-1时刻所有的状态;表示图像A中目标i在t时刻的观测信息;表示图像A中目标i到t时刻所有的观测信息;表示图像B中目标i在t时刻的状态;表示图像B中目标i到t时刻所有的观测信息;表示图像B中目标i到t-1时刻所有的状态。
步骤2的具体过程为:
在C2中存在双曲面镜坐标系Cm和全景摄像机坐标系CO,C1和C2构成多型视觉对极几何系统,其中增加了传统摄像机坐标系Cp
双曲面镜的方程为:
式中,a、b和c为双曲面的参数,满足a2+b2=c2
设全景摄像机坐标系CO内一点Xo的坐标为[xo,yo,zo]T,若在双曲面镜坐标系Cm中表示,则需要一个平移变化:
式中,[xm,ym,zm]T为Xo在双曲面镜坐标系Cm中的坐标;
设[qu,qv]T为Xo在图像B中的坐标,则:
式中,q=[qu,qv,1]T表示[qu,qv]T的齐次坐标,Ko为C2的内部参数,通过标定得到;
连接C1的投影中心Op和C2的投影中心Om得到基线,基线与图像A交于极点ep,基线与双曲面镜交于em,em在图像B中投影为极点eo,mp为目标X在图像A中的投影,mo为目标X在图像B中的投影,由X、Op和Om确定外极平面,mp、mm、Op、Om位于外极平面上;
设R和T分别为Cp和Cm之间的旋转矩阵和平移矩阵,在多型视觉对极几何系统中存在本质矩阵E=SR,其中:
S为T中平移向量的斜对称矩阵,平移向量为[tx,ty,tz]T
目标X在传统摄像机坐标系Cp和双曲面镜坐标系Cm下的坐标分别为Xp和Xm,则:
设[up,vp]T为目标X在图像A上投影点的坐标,那么:
Kp为C1的内部参数矩阵,[up,vp,1]T为[up,vp]T的齐次坐标;
定义外极平面的法向量n=[p,q,s]T,在多型视觉对极几何系统中有:
.n=E×XP (9)
设Pm=[xm,ym,zm]T为外极平面和双曲面镜的交线L上一点XL的坐标,可得:
pxm+qym+szm=0 (10)
联立式(3)和式(10),得到交线L的方程:
交线L用矩阵乘法表示为:
将Pm从双曲面镜坐标系Cm变换至全景摄像机坐标系Co上:
将点XL投影到图像B上:
联立(12)~(14)式,得到目标在图像B上的极线方程lo
其中,
由X,mp,mm三点共面,点mp落在直线lp上,联立式(7)和式(8),得到目标在图像A上的极线为lp
步骤3中,建立协同开关模型的具体过程为:
C1和C2的跟踪区域能够分为三个部分:区域1、区域2和区域3;
目标位于区域2时,只有C1的观测信息有效,C1单独跟踪目标,目标的后验概率为:
t时刻,采样粒子的一致性权重表示为:
将采样粒子的一致性权重带入式(1),对图像A中目标下一时刻的状态进行更新;
同理,目标位于区域3时,只有C2的观测信息有效,使C2单独跟踪目标,t时刻,采样粒子的一致性权重表示为:
将采样粒子的一致性权重带入式(2),对图像B中目标下一时刻的状态进行更新;
目标位于区域1时,C1和C2的观测信息同时有效,目标的后验概率为:
其中,表示局部观测似然概率,表示状态转移概率,表示协同似然概率;Kt表示常数,表示图像A中目标i到t时刻所有的状态;表示图像A中目标i到t-1时刻所有的观测信息;表示图像B中目标i到t-1时刻所有的观测信息。
步骤3中,判断是否启动协同跟踪模式的具体过程为:
直接启动协同跟踪模式;若按下式判断:
其中,Υ是局部似然阈值,T是协同似然阈值;
对应C1,选择采样的粒子满足重要性密度函数则采样粒子的一致性权重表示为:
将采样粒子的一致性权重带入式(1),对图像A中目标下一时刻的状态进行更新;
同理,对于C2,采样粒子的一致性权重表示为:
将采样粒子的一致性权重带入式(2),对图像B中目标下一时刻的状态进行更新。
步骤4的具体步骤为:
步骤4.1,设跟踪的目标中包含目标i和目标j,目标i和目标j在C1中的观测信息分别为目标i和目标j在C2中的观测信息分别为
在C1的视野中,当目标j遮挡目标i时,根据目标i在图像B中的对极曲线校正图像A中目标i下一时刻的位置:
计算图像A中目标i下一时刻的协同权重:
式中,Np是图像A中的粒子数;为图像A中目标i的每个粒子与其对应的图像B中的对极曲线的最短距离,δ(·)是狄拉克函数:
为目标i在C2中的观测信息;为图像A中的目标i在C2中的对极曲线;是宽带的方差;∑φB是宽带的标准差;
将图像A中目标i下一时刻的协同权重带入式(23),对图像A中目标下一时刻的状态进行更新;
在图像B中,当目标j遮挡目标i时,根据目标i在图像A中的对极曲线校正图像B中目标i下一时刻的位置:
计算图像B中目标i下一时刻的协同权重:
式中,Np'是图像B中的粒子数;为图像B中目标i的每个粒子与其对应的图像A中的对极曲线的最短距离,δ(·)是狄拉克函数:
为在目标i在C1中的观测信息;为图像B中目标i在C1中的对极曲线;是宽带的方差;∑φA是宽带的标准方差;
将图像B中目标i下一时刻的协同权重带入式(24),对图像B中目标下一时刻的状态进行更新。
本发明的有益效果是:
1)采用传统摄像机和中心折反射全景摄像机构成多型视觉系统,一方面能够扩大摄像机视野范围,克服了普通摄像机视野狭小的缺点,另一方面可以减少均采用全景摄像机所需要的成本;
2)采用粒子滤波方法预估目标的状态,用粒子分布状态表示目标可能的分布,提高目标在面对非线性问题情况下的鲁棒性;定义了一种新颖的后验概率计算,增加了粒子后验概率包含的信息内容,使后验概率更加可信;
3)在贝叶斯理论框架下,构建协同跟踪机制,在每个摄像机视野中,如果目标相互分离,不需要启动协同即可有效的跟踪目标;当目标相挨很近或存在遮挡时,判断是否启动协同跟踪,减少了计算量;
4)建立多型视觉对极几何系统,采用对极几何的方法建立目标一致性判断方法进行目标匹配,克服了目标在不同摄像机下颜色、亮度、形状变化而无法匹配的缺点,减少目标匹配时的搜索范围。
附图说明
图1是本发明的系统框图;
图2是全景摄像机的成像示意图;
图3是多型视觉对极几何系统的示意图;
图4是多型视觉系统对极线验证图;
图5是协同跟踪区域示意图;
图6是协同权重计算示意图,(a)是C1视野中粒子权重计算示意图,(b)是C2视野中粒子权重计算示意图;
图7,图8是协同跟踪结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明:
如图1所示,多型视觉传感协同目标跟踪方法,具体包括以下步骤:
步骤1,利用传统摄像机C1和全景摄像机C2跟踪相同的目标,在C1和C2中分别采用粒子滤波方法预估计下一时刻的目标状态。
步骤2,建立C1和C2之间的对极几何关系;
步骤3,建立协同开关模型,根据目标在C1和C2的视野中的位置,判断是否启动协同跟踪模式;
步骤4,在协同跟踪模式中,启动协同机制,根据对极几何关系对被遮挡目标的状态进行校正与更新;
步骤5,将步骤4处理后的目标状态作为目标当前时刻状态,返回步骤2,实现C1和C2之间运动目标的持续协同跟踪。
步骤1的具体步骤为:
选取同一时刻C1和C2对目标拍摄出的两个画面,记为图像A和图像B;
在C1中,假设粒子在t时刻的状态满足:其中,为重要性密度函数;
粒子局部观测似然权重初始化为:其中,为局部观测似然概率;
预估计图像A中下一时刻的目标状态为:
同理,中C2,预估计图像B中下一时刻的目标状态为:
其中,i为目标编号,i>1;n为目标i中采样粒子编号;Np是图像A中所有粒子数;x表示目标的状态;z表示目标的观测信息;表示图像A中目标i在t时刻的状态;表示图像A中目标i到t-1时刻所有的状态;表示图像A中目标i在t时刻的观测信息;表示图像A中目标i到t时刻所有的观测信息;表示图像B中目标i在t时刻的状态;表示图像B中目标i到t时刻所有的观测信息;表示图像B中目标i到t-1时刻所有的状态。
步骤3的具体过程为:
如图2所示,在C2中存在双曲面镜坐标系Cm和全景摄像机坐标系CO,Om是双曲面镜的上焦点,Oo是双曲面镜的下焦点,根据双曲面的光学特性,空间中射向Om的光线讲过双曲面镜反射后必将汇聚到Oo,并在摄像机图像平面上成像,摄像机可以采360°×θ的场景图像,其中360°为水平方向视场角,θ为垂直方向视场角,它有反射镜和摄像机的几何尺寸和参数决定。C1为普通CCD摄像机,C2为双曲面反射镜和普通CCD摄像机组合而成,如图3所示,C1和C2构成多型视觉对极几何系统,多型视觉对极几何系统中增加了传统摄像机坐标系Cp
双曲面镜的方程为:
式中,a、b和c为双曲面的参数,满足a2+b2=c2
设全景摄像机坐标系CO内一点Xo的坐标为[xo,yo,zo]T,若在双曲面镜坐标系Cm中表示,则需要一个平移变化:
式中,[xm,ym,zm]T为Xo在双曲面镜坐标系Cm中的坐标;
设[qu,qv]T为Xo在图像B中的坐标,则:
式中,q=[qu,qv,1]T表示[qu,qv]T的齐次坐标,Ko为C2的内部参数,通过标定得到;
连接C1的投影中心Op和C2的投影中心Om得到基线,基线与图像A交于极点ep,基线与双曲面镜交于em,em在图像B中投影为极点eo,mp为目标X在图像A中的投影,mo为目标X在图像B中的投影,由X、Op和Om确定外极平面,mp、mm、Op、Om位于外极平面上;
设R和T分别为Cp和Cm之间的旋转矩阵和平移矩阵,在多型视觉对极几何系统中存在本质矩阵E=SR,其中:
S为T中平移向量的斜对称矩阵,平移向量为[tx,ty,tz]T
目标X在传统摄像机坐标系Cp和双曲面镜坐标系Cm下的坐标分别为Xp和Xm,则:
设[up,vp]T为目标X在图像A上投影点的坐标,那么:
Kp为C1的内部参数矩阵,[up,vp,1]T为[up,vp]T的齐次坐标;
定义外极平面的法向量n=[p,q,s]T,在多型视觉对极几何系统中有:
.n=E×XP (9)
设Pm=[xm,ym,zm]T为外极平面和双曲面镜的交线L上一点XL的坐标,可得:
pxm+qym+szm=0 (10)
联立式(3)和式(10),得到交线L的方程:
交线L用矩阵乘法表示为:
将Pm从双曲面镜坐标系Cm变换至全景摄像机坐标系Co上:
将点XL投影到图像B上:
联立(12)~(14)式,得到目标在图像B上的极线方程lo
其中,
由X,mp,mm三点共面,点mp落在直线lp上,联立式(7)和式(8),得到目标在图像A上的极线为lp
如图4所示,使用多型视觉系统采集视频进行测试,在传统图像上选择不同的点A、C、E,能够找到在全景图像中对应的极线,在全景图像上选择不同的点B、D、F,找到在传统图像中的对应极线,证明了本发明的有效性。
步骤4的具体过程为:
如图5所示,C1和C2的跟踪区域能够分为区域1、区域2和区域3;
目标位于区域2时,只有C1的观测信息有效,C1单独跟踪目标,目标的后验概率为:
t时刻,采样粒子的一致性权重表示为:
将采样粒子的一致性权重代替粒子局部观测似然权重,带入式(1),对图像A中目标下一时刻的状态进行更新;
同理,目标位于区域3时,只有C2的观测信息有效,使C2单独跟踪目标,t时刻,采样粒子的一致性权重表示为:
将采样粒子的一致性权重代理粒子局部观测似然权重,带入式(2),对图像B中目标下一时刻的状态进行更新;
目标位于区域1时,C1和C2的观测信息同时有效,目标的后验概率为:
其中,表示局部观测似然概率,表示状态转移概率,表示协同似然概率;Kt表示常数,表示图像A中目标i到t时刻所有的状态;表示图像A中目标i到t-1时刻所有的观测信息;表示图像B中目标i到t-1时刻所有的观测信息。
步骤3中,判断是否启动协同跟踪模式的具体过程为:
直接启动协同跟踪模式;若按下式判断:
其中,Υ是局部似然阈值,T是协同似然阈值;
对应C1,选择采样的粒子满足重要性密度函数则采样粒子的一致性权重表示为:
将采样粒子的一致性权重带入式(1),对图像A中目标下一时刻的状态进行更新;
同理,对于C2,采样粒子的一致性权重表示为:
将采样粒子的一致性权重带入式(2),对图像B中目标下一时刻的状态进行更新;
步骤4的具体步骤为:
如图6所示,步骤4.1,设跟踪的目标中包含目标i和目标j,目标i和目标j在C1中的观测信息分别为目标i和目标j在C2中的观测信息分别为
在C1的视野中,当目标j遮挡目标i时,根据目标i在图像B中的对极曲线校正图像A中目标i下一时刻的位置:
计算图像A中目标i下一时刻的协同权重:
式中,Np是图像A中的粒子数;为图像A中目标i的每个粒子与其对应的图像B中的对极曲线的最短距离,δ(·)是狄拉克函数:
为目标i在C2中的观测信息;为图像A中的目标i在C2中的对极曲线;是宽带的方差;∑φB是宽带的标准差;
将图像A中目标i下一时刻的协同权重带入式(23),对图像A中目标下一时刻的状态进行更新;
在图像B中,当目标j遮挡目标i时,根据目标i在图像A中的对极曲线校正图像B中目标i下一时刻的位置:
计算图像B中目标i下一时刻的协同权重:
式中,Np'是图像B中的粒子数;为图像B中目标i的每个粒子与其对应的图像A中的对极曲线的最短距离,δ(·)是狄拉克函数:
为在目标i在C1中的观测信息;为图像B中目标i在C1中的对极曲线;是宽带的方差;∑φA是宽带的标准方差;
将图像B中目标i下一时刻的协同权重带入式(24),对图像B中目标下一时刻的状态进行更新。
为了验证本发明的正确性和有效性,采用不同的视频场景进行测试,测试视频选用自行拍摄的、分辨率为1920*1080的视频图像。
如图7所示,实验一的场景简单,在第591、604、615帧中,矩形框为目标跟踪框,图7中的直线为全景图像中的目标在传统图像中的对极线,圆弧为传统图像中的目标在全景视图中的对极线,我们看到目标都经过对极线,C1和C2均能够准确跟踪目标。
如图8所示,实验二中存在目标遮挡,在610帧之前,C1和C2都能够准确跟踪,在625帧时,C1中因为遮挡丢失目标,在631帧时,目标出现,经过校正和更新,能够重新定位到目标并进行准确跟踪。
通过上述方式,本发明在贝叶斯理论框架下,构建协同跟踪机制,建立多型视觉对极几何系统,采用对极几何的方法建立目标一致性判断方法;定义了一种新颖的后验概率计算,增加了粒子后验概率包含的信息内容,使后验概率更加可信,本发明解决了协同跟踪有效区域狭小,成本过高等问题,能够很好地实现对运动目标的持续协同跟踪。

Claims (6)

1.多型视觉传感协同目标跟踪方法,其特征在于,具体包括以下步骤:
步骤1,利用传统摄像机C1和全景摄像机C2跟踪相同的目标,在C1和C2中分别采用粒子滤波方法预估计下一时刻的目标状态;
步骤2,建立C1和C2之间的对极几何关系;
步骤3,建立协同开关模型,根据目标在C1和C2的视野中的位置,判断是否启动协同跟踪模式;
步骤4,在协同跟踪模式中,启动协同机制,根据对极几何关系对被遮挡目标的状态进行校正与更新;
步骤5,将步骤4处理后的目标状态作为目标当前时刻状态,返回步骤2,实现C1和C2之间运动目标的持续协同跟踪。
2.根据权利要求1所述的多型视觉传感协同目标跟踪方法,其特征在于,所述步骤1的具体步骤为:
选取同一时刻C1和C2对目标拍摄出的两个画面,记为图像A和图像B;
在C1中,假设粒子在t时刻的状态满足:其中,为重要性密度函数;
粒子局部观测似然权重初始化为:其中,为局部观测似然概率;
预估计图像A中下一时刻的目标状态为:
同理,中C2,预估计图像B中下一时刻的目标状态为:
其中,i为目标编号,i>1;n为目标i中采样粒子编号;Np是图像A中所有粒子数;x表示目标的状态;z表示目标的观测信息;表示图像A中目标i在t时刻的状态;表示图像A中目标i到t-1时刻所有的状态;表示图像A中目标i在t时刻的观测信息;表示图像A中目标i到t时刻所有的观测信息;表示图像B中目标i在t时刻的状态;表示图像B中目标i到t时刻所有的观测信息;表示图像B中目标i到t-1时刻所有的状态。
3.根据权利要求2所述的多型视觉传感协同目标跟踪方法,其特征在于,所述步骤2的具体过程为:
在C2中存在双曲面镜坐标系Cm和全景摄像机坐标系CO,C1和C2构成多型视觉对极几何系统,其中增加了传统摄像机坐标系Cp
双曲面镜的方程为:
式中,a、b和c为双曲面的参数,满足a2+b2=c2
设全景摄像机坐标系CO内一点Xo的坐标为[xo,yo,zo]T,若在双曲面镜坐标系Cm中表示,则需要一个平移变化:
式中,[xm,ym,zm]T为Xo在双曲面镜坐标系Cm中的坐标;
设[qu,qv]T为Xo在图像B中的坐标,则:
式中,q=[qu,qv,1]T表示[qu,qv]T的齐次坐标,Ko为C2的内部参数,通过标定得到;
连接C1的投影中心Op和C2的投影中心Om得到基线,基线与图像A交于极点ep,基线与双曲面镜交于em,em在图像B中投影为极点eo,mp为目标X在图像A中的投影,mo为目标X在图像B中的投影,由X、Op和Om确定外极平面,mp、mm、Op、Om位于外极平面上;
设R和T分别为Cp和Cm之间的旋转矩阵和平移矩阵,在多型视觉对极几何系统中存在本质矩阵E=SR,其中:
S为T中平移向量的斜对称矩阵,平移向量为[tx,ty,tz]T
目标X在传统摄像机坐标系Cp和双曲面镜坐标系Cm下的坐标分别为Xp和Xm,则:
设[up,vp]T为目标X在图像A上投影点的坐标,那么:
Kp为C1的内部参数矩阵,[up,vp,1]T为[up,vp]T的齐次坐标;
定义外极平面的法向量n=[p,q,s]T,在多型视觉对极几何系统中有:
.n=E×XP (9)
设Pm=[xm,ym,zm]T为外极平面和双曲面镜的交线L上一点XL的坐标,可得:
pxm+qym+szm=0 (10)
联立式(3)和式(10),得到交线L的方程:
交线L用矩阵乘法表示为:
将Pm从双曲面镜坐标系Cm变换至全景摄像机坐标系Co上:
将点XL投影到图像B上:
联立(12)~(14)式,得到目标在图像B上的极线方程lo
其中,
由X,mp,mm三点共面,点mp落在直线lp上,联立式(7)和式(8),得到目标在图像A上的极线为lp
4.根据权利要求3所述的多型视觉传感协同目标跟踪方法,所述步骤3中,建立协同开关模型的具体过程为:
C1和C2的跟踪区域能够分为三个部分:区域1、区域2和区域3;
目标位于区域2时,只有C1的观测信息有效,C1单独跟踪目标,目标的后验概率为:
t时刻,采样粒子的一致性权重表示为:
将采样粒子的一致性权重带入式(1),对图像A中目标下一时刻的状态进行更新;
同理,目标位于区域3时,只有C2的观测信息有效,使C2单独跟踪目标,t时刻,采样粒子的一致性权重表示为:
将采样粒子的一致性权重带入式(2),对图像B中目标下一时刻的状态进行更新;
目标位于区域1时,C1和C2的观测信息同时有效,目标的后验概率为:
其中,表示局部观测似然概率,表示状态转移概率,表示协同似然概率;Kt表示常数,表示图像A中目标i到t时刻所有的状态;表示图像A中目标i到t-1时刻所有的观测信息;表示图像B中目标i到t-1时刻所有的观测信息。
5.根据权利要求4所述的多型视觉传感协同目标跟踪方法,所述步骤3中,判断是否启动协同跟踪模式的具体过程为:
直接启动协同跟踪模式;若按下式判断:
其中,Υ是局部似然阈值,T是协同似然阈值;
对应C1,选择采样的粒子满足重要性密度函数则采样粒子的一致性权重表示为:
将采样粒子的一致性权重带入所述式(1),对图像A中目标下一时刻的状态进行更新;
同理,对于C2,采样粒子的一致性权重表示为:
将采样粒子的一致性权重带入所述式(2),对图像B中目标下一时刻的状态进行更新。
6.根据权利要求5所述的多型视觉传感协同目标跟踪方法,步骤4的具体步骤为:
步骤4.1,设跟踪的目标中包含目标i和目标j,目标i和目标j在C1中的观测信息分别为目标i和目标j在C2中的观测信息分别为在C1的视野中,当目标j遮挡目标i时,根据目标i在图像B中的对极曲线校正图像A中目标i下一时刻的位置:
计算图像A中目标i下一时刻的协同权重:
式中,Np是图像A中的粒子数;为图像A中目标i的每个粒子与其对应的图像B中的对极曲线的最短距离,δ(·)是狄拉克函数:
为目标i在C2中的观测信息;为图像A中的目标i在C2中的对极曲线;是宽带的方差;∑φB是宽带的标准差;
将图像A中目标i下一时刻的协同权重带入所述式(23),对图像A中目标下一时刻的状态进行更新;
在图像B中,当目标j遮挡目标i时,根据目标i在图像A中的对极曲线校正图像B中目标i下一时刻的位置:
计算图像B中目标i下一时刻的协同权重:
式中,Np'是图像B中的粒子数;为图像B中目标i的每个粒子与其对应的图像A中的对极曲线的最短距离,δ(·)是狄拉克函数:
为在目标i在C1中的观测信息;为图像B中目标i在C1中的对极曲线;是宽带的方差;∑φA是宽带的标准方差;
将图像B中目标i下一时刻的协同权重带入所述式(24),对图像B中目标下一时刻的状态进行更新。
CN201710247379.XA 2017-04-17 2017-04-17 多型视觉传感协同目标跟踪方法 Expired - Fee Related CN107038714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710247379.XA CN107038714B (zh) 2017-04-17 2017-04-17 多型视觉传感协同目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710247379.XA CN107038714B (zh) 2017-04-17 2017-04-17 多型视觉传感协同目标跟踪方法

Publications (2)

Publication Number Publication Date
CN107038714A true CN107038714A (zh) 2017-08-11
CN107038714B CN107038714B (zh) 2020-01-14

Family

ID=59535401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710247379.XA Expired - Fee Related CN107038714B (zh) 2017-04-17 2017-04-17 多型视觉传感协同目标跟踪方法

Country Status (1)

Country Link
CN (1) CN107038714B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680136A (zh) * 2017-09-25 2018-02-09 西北工业大学 一种辅助遥操作执行空间任务的三维目标跟踪方法
CN108830884A (zh) * 2018-04-04 2018-11-16 西安理工大学 一种多视觉传感器协同目标跟踪方法
CN109212480A (zh) * 2018-09-05 2019-01-15 浙江理工大学 一种基于分布式辅助粒子滤波的声源跟踪方法
CN111377065A (zh) * 2020-03-09 2020-07-07 西北工业大学 一种多航天器协同识别目标姿态参数的方法
WO2021232222A1 (zh) * 2020-05-19 2021-11-25 华为技术有限公司 用于测距的方法和装置
CN113838101A (zh) * 2021-11-25 2021-12-24 之江实验室 一种适用于具有重叠视野的摄像机网络下的目标追踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521612A (zh) * 2011-12-16 2012-06-27 东华大学 一种基于协同关联粒子滤波的多视频目标主动跟踪方法
CN104574443A (zh) * 2015-01-15 2015-04-29 西安理工大学 一种全景摄像机间运动目标的协同跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521612A (zh) * 2011-12-16 2012-06-27 东华大学 一种基于协同关联粒子滤波的多视频目标主动跟踪方法
CN104574443A (zh) * 2015-01-15 2015-04-29 西安理工大学 一种全景摄像机间运动目标的协同跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHANGJIANG YANG ET AL.: "Fast Multiple Object Tracking via a Hierarchical Particle Filter", 《PROCEEDINGS OF THE TENTH IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV’05)》 *
何炳蔚 等: "混合视觉系统中共同视场的确定与3维重建方法", 《机器人》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680136A (zh) * 2017-09-25 2018-02-09 西北工业大学 一种辅助遥操作执行空间任务的三维目标跟踪方法
CN108830884A (zh) * 2018-04-04 2018-11-16 西安理工大学 一种多视觉传感器协同目标跟踪方法
CN108830884B (zh) * 2018-04-04 2021-12-17 西安理工大学 一种多视觉传感器协同目标跟踪方法
CN109212480A (zh) * 2018-09-05 2019-01-15 浙江理工大学 一种基于分布式辅助粒子滤波的声源跟踪方法
CN109212480B (zh) * 2018-09-05 2020-07-28 浙江理工大学 一种基于分布式辅助粒子滤波的声源跟踪方法
CN111377065A (zh) * 2020-03-09 2020-07-07 西北工业大学 一种多航天器协同识别目标姿态参数的方法
CN111377065B (zh) * 2020-03-09 2021-11-16 西北工业大学 一种多航天器协同识别目标姿态参数的方法
WO2021232222A1 (zh) * 2020-05-19 2021-11-25 华为技术有限公司 用于测距的方法和装置
CN113838101A (zh) * 2021-11-25 2021-12-24 之江实验室 一种适用于具有重叠视野的摄像机网络下的目标追踪方法
CN113838101B (zh) * 2021-11-25 2022-03-18 之江实验室 一种适用于具有重叠视野的摄像机网络下的目标追踪方法

Also Published As

Publication number Publication date
CN107038714B (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN107038714B (zh) 多型视觉传感协同目标跟踪方法
CN109003311B (zh) 一种鱼眼镜头的标定方法
WO2021227359A1 (zh) 一种无人机投影方法、装置、设备及存储介质
CN103337094B (zh) 一种应用双目摄像机实现运动三维重建的方法
CN102148965B (zh) 多目标跟踪特写拍摄视频监控系统
CN110782394A (zh) 全景视频快速拼接方法及系统
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
CN112085659B (zh) 一种基于球幕相机的全景拼接融合方法、系统及存储介质
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN103971375B (zh) 一种基于图像拼接的全景凝视相机空间标定方法
Tang et al. ESTHER: Joint camera self-calibration and automatic radial distortion correction from tracking of walking humans
WO2021098081A1 (zh) 基于轨迹特征配准的多光谱立体相机自标定算法
CN110969667A (zh) 基于边缘特征的多光谱相机外参自校正算法
CN106469444B (zh) 消除拼接缝隙的快速图像融合方法
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN103198488A (zh) Ptz监控摄像机实时姿态快速估算方法
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN106845410B (zh) 一种基于深度学习模型的火焰识别方法
CN104574443B (zh) 一种全景摄像机间运动目标的协同跟踪方法
CN112053391A (zh) 一种基于动态三维模型的监控预警方法、系统及存储介质
CN112348775A (zh) 基于车载环视的路面坑塘检测系统及方法
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
CN110675484A (zh) 一种基于复眼相机的具有时空一致性的动态三维数字场景构建方法
CN117152243A (zh) 一种基于ptz相机单目变焦的告警定位方法
CN115294207A (zh) 智慧校园监控视频与三维gis模型的融合调度系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200114

CF01 Termination of patent right due to non-payment of annual fee