CN112489091B - 一种基于直瞄模板的全捷联图像导引头目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于直瞄模板的全捷联图像导引头目标跟踪方法，利用直瞄模板和惯导信息校正目标图像，使其与全捷联图像导引头获取目标图之间的视角和尺度一致，具有跟踪精度高的特点；通过融合惯导信息和图像信息目标记忆跟踪方法可缩小目标跟踪范围，解决平移不变性、尺度不变性和旋转不变性的问题；滤除类似目标的干扰，处理目标非线性机动短时出视场和遮挡等条件下的目标跟踪；采用爬山搜索策略和利用改进互信息熵作相似性度量函数，具有计算量小和抗干扰能力强的优点，可提高目标跟踪鲁棒性。

Description

一种基于直瞄模板的全捷联图像导引头目标跟踪方法

技术领域

本发明属于图像处理与机器视觉领域，涉及一种空地全捷联图像导引头的目标跟踪方法，特别涉及一种直瞄模板攻击地面静止目标的实时跟踪方法，适用于全捷联图像导引头并装有惯性测量装置和吊舱的空地制导武器，其原理也适用于所有成像制导武器。

背景技术

全捷联图像导引头的瞬时光学视场较大，使得图像信号噪声和图像处理的计算量也较大；同时，其光电探测器固联于基准座，受载体扰动大，跟踪过程中容易出现目标非线性机动出视场、几何形变和遮挡等现象；其直瞄模板由吊舱分布式孔径光电系统等侦察设备直接指向目标生成，与全捷联图像导引头获取的实时图之间存在视角、尺度、波段和背景的差异也较大。以上客观因素造成传统基于直瞄模板的目标跟踪方法难以适应全捷联图像导引头；且传统模板匹配跟踪方法仅具有平移不变性，不具有旋转不变性和尺度不变性；同时，其相似性度量(绝对差和积相关等)存在抗几何失真能力差和在搜索策略上存在计算量大的缺点，影响其应用范围。

发明内容

针对上述问题，本发明的目的是提供一种基于直瞄模板的全捷联图像导引头目标跟踪方法，可解决直瞄模板与全捷联图像导引头获取目标图之间存在的视角差异、尺度差异、大机动、出视场和遮挡等条件下地面静止目标实时跟踪问题，能实现全捷联图像导引头快速准确给出目标位置信息，为实现目标精确打击提供支撑。

为实现上述目的，本发明采用的技术方案如下：

一种基于直瞄模板的全捷联图像导引头目标跟踪方法，采用如下步骤实现：

(1)在全捷联图像导引头中装载直瞄模板1和相应的经纬高、姿态数据，全捷联图像导引头利用装载的直瞄模板1和相应的经纬高、姿态数据，进行图像校正后得到跟踪用目标模板2；

(2)目标模板2与全捷联图像导引头所获取的临近目标及区域的目标实时图进行匹配，匹配时采用爬山搜索策略和归一化灰度互信息熵相似性度量，匹配成功，即可得到目标在图像中由全捷联图像导引头获取的初始位置，匹配不成功继续下发目标实时图进行匹配；

以上述全捷联图像导引头在图像中获取的初始位置为中心，在目标实时图中选择一定区域作为跟踪用目标模板2，再结合惯导信息将跟踪用目标模板2与目标实时图进行匹配，匹配时采用爬山搜索策略和归一化灰度互信息熵相似性度量；如果匹配相关值大于阈值1，则认为匹配成功，如果不成功，继续匹配；

(3)相关值大于阈值2，满足换模板条件，得到目标模板3。

进一步地，步骤(1)中所述的利用直瞄模板1进行图像校正后得到跟踪用目标模板2，是通过吊舱设备获取直瞄模板1及相应时刻的位置和惯导数据，变换到全捷联图像导引头使用时与目标实时图视角和尺度一致的目标模板2；变换过程需要已知直瞄模板1时刻的位置(λ₀,L₀,h₀)和姿态

吊舱焦距f₀、全捷联图像导引头的焦距f₁和目标位置数据(λ_t,L_t,h_t)，校正时刻全捷联导引头的位置(λ₁,L₁,h₁)和姿态

由高低角-θ′，校正到高低角-θ″，变换过程如下：

同理：

式中，θ′,R为获取直瞄模板1时刻的高低角和与目标的距离，θ″,R′为校正目标模板2时刻的高低角和与目标的距离，u,v,u′,v′为获取直瞄模板1时刻的目标图像坐标和校正时刻目标模板2图像坐标；y为目标PP"的长度，△θ′为直瞄模板1时刻目标PP"在导引头图像坐标系中成像张角，△θ″为校正时刻目标PP"在导引头图像坐标系中成像张角。

通过式(5)(6)，利用直瞄模板1即可校正得到与目标实时图视角和尺度一致的目标模板2。

进一步地，步骤(2)中所述的目标模板2与全捷联图像导引头所获取的临近目标及区域的目标实时图进行匹配，是利用惯导信息预测目标得到目标实时图，当前时刻全捷联图像导引头位置信息(λ,L,h)，首先计算当前时刻位置和目标位置地心系下的坐标：

式中，a_e,b_e为地球椭球半径；R_wt为当时时刻位置卯酉圈曲率半径，R_N为当时时刻位置子午圈曲率半径；R_wt1为目标位置卯酉圈曲率半径；R_N1为目标位置子午圈曲率半径；(λ_t,L_t,h_t)为目标位置的经纬高数据。

两者相减得到相对位置矢量△E：

△E＝E_t-E (13)

再将位置矢量按照，地心系→地理系→弹体系→摄像机系→图像系进行坐标转换，根据摄像机针孔成像模型以及地心系到图像坐标系之间的坐标变换关系，就可以得到目标在当前全捷联图像导引头状态下的成像坐标(uu,vv)：

式中，

地心系到地理系的余弦矩阵，

地理系到弹体系的余弦矩阵，(u₀,v₀)为全捷联图像导引头图像中心；f₁为导引头焦距；△E(1)、△E(2)和△E(3)是公式(13)在地心系坐标下三个坐标轴方向投影分量。

通过上述方法选取目标实时图，既可实现快速匹配目标又可效避开虚假目标及能处理目标非线性机动短时出视场问题。

进一步地，步骤(2)中所述的再结合惯导信息将跟踪用目标模板2与目标实时图进行匹配，是对跟踪过程中的尺度和旋转参数进行确定；以全捷联图像导引头获取的在图像中的初始位置为中心，在目标实时图中选择一定区域作为跟踪用目标模板2，通过惯导信息校正该跟踪用目标模板2；由于全捷联图像导引头与目标距离远大于目标景深，模板校正尺度因子k为：

式中，dis₁为匹配当前帧全捷联图像导引头与目标的距离，dis₀为匹配时上一帧全捷联图像导引头与目标的距离，θ₁和θ₂为目标在全捷联图像导引头中前一帧和后一帧的张角，相邻帧可认为相等；

跟踪过程中，对模板校正旋转角度garmar：

garmar＝garmar1-garmar0 (16)

式中，garmar1为匹配当前帧全捷联图像导引头滚动角，garmar0为匹配时前一帧全捷联图像导引头滚动角。

进一步地，步骤(2)中所述的爬山搜索策略的归一化灰度互信息熵匹配方法，是按优先级调整爬山顺序和利用样本减小相关度的计算；在保证精度条件下通过等间隔设置初始爬山点实现由粗到精的搜索过程，具体流程如下：

设实时图S的大小为N×N(像素)，模板图T的大小为M×M(像素)，则改进的归一化灰度互信息熵匹配方法的度量函数表示为：

式中，

为实时子图S的边缘熵，ps(i,j)为实时子图灰度出现的概率；

为模板图的边缘熵，pt(i,j)为模板图灰度出现的概率；

为实时子图和模板图的联合熵，pst(i,j)为实时子图和模板图灰度出现的联合概率，PM为实时图与模板图梯度幅值与主方向的加权值；NMI(u,v)为实时子图S_u,v处的匹配度量值，1≤NMI(u,v)≤2，并且有0≤u,v≤N-M，它的大小反映了模板图与实时子图之间的相似程度，值越大，相似程度越高；

如果实时图与模板图相关值大于阈值1，则认为匹配成功，否则匹配失败。

进一步地，步骤(3)中当相关值大于阈值2时，则需要更新模板进行下一帧匹配，更新时采取完全更新的方式，即将当前帧最佳匹配位置为中心一定区域的图像作为模板3和下一帧图像进行匹配；

T_new＝T(NMI_max) (18)

式中，T(NMI_max)为当前帧匹配互信息熵最大位置为中心一定区域的模板图，然后重复进入“模板匹配—计算灰度互信息熵—获得当前最佳匹配位置—目标模板更新—模板匹配”的循环中实现目标稳定跟踪。

与现有技术相比，本发明的优点在于：

1、提出利用惯导信息校正直瞄模板，使其与全捷联图像导引头获取实时图间在视角和尺度上一致，具有跟踪精度高的优点。

2、通过融合惯导信息和图像信息目标记忆跟踪方法，可缩小目标跟踪搜索范围，具有平移不变性、尺度不变性和旋转不变性的优点，滤除类似目标的干扰，能处理目标非线性机动短时出视场和遮挡等条件下的目标跟踪。

3、采用爬山搜索策略和利用改进互信息熵作相似度量函数，具有计算量小和抗干扰能力强的优点，可提高目标跟踪鲁棒性。

附图说明

图1为本发明方法流程图；

图2为本发明的模板校正原理示意图；

图3为本发明的透视投影原理示意图；

图4为本发明的改进爬山搜索策略示意图；

图5为本发明的改进归一化灰度互信息熵匹配原理示意图；

图6为本发明的尺度校正因子原理示意图。

具体实施方式

下面结合附图对本发明的具体实施方法进行详细描述。

如图1所示，一种基于直瞄模板的全捷联图像导引头目标跟踪方法，其具体实施步骤如下：

(1)在全捷联图像导引头中装载直瞄模板1和相应的经纬高、姿态数据，全捷联图像导引头利用装载的直瞄模板1和相应的经纬高、姿态数据，进行图像校正后得到跟踪用目标模板2。

(2)目标模板2与全捷联图像导引头所获取的临近目标及区域的目标实时图进行匹配，匹配时采用爬山搜索策略和归一化灰度互信息熵相似性度量，匹配成功，即可得到目标在图像中由全捷联图像导引头获取的初始位置，匹配不成功继续下发目标实时图进行匹配；

以上述全捷联图像导引头在图像中获取的初始位置为中心，在目标实时图中选择一定区域作为跟踪用目标模板2，再结合惯导信息将跟踪用目标模板2与目标实时图进行匹配，匹配时采用爬山搜索策略和归一化灰度互信息熵相似性度量；如果匹配相关值大于阈值1，则认为匹配成功，如果不成功，继续匹配。

(3)相关值大于阈值2，满足换模板条件，得到目标模板3。

步骤(1)中：直瞄模板1结合惯导信息通过图像校正得到目标模板2，是通过吊舱设备获取目标模板1及相应时刻的位置和惯导数据，变换到全捷联图像导引头使用时与实时图视角和尺度一致的目标模板2。

变换过程需要已知直瞄模板1时刻的位置(λ₀,L₀,h₀)和姿态

吊舱焦距f₀、全捷联图像导引头的焦距f₁和目标位置数据(λ_t,L_t,h_t)，校正时刻全捷联导引头的位置(λ₁,L₁,h₁)和姿态

由高低角-θ′，校正到高低角-θ″，变换过程的示意图如图2所示；

并由图2可知：

同理：

式中，θ′,R为获取直瞄模板1时刻的高低角和与目标的距离，θ″,R′为校正目标模板2时刻的高低角和与目标的距离，u,v,u′,v′为获取直瞄模板1时刻的目标图像坐标和校正时刻目标模板2图像坐标；y为目标PP”的长度，△θ′为直瞄模板1时刻目标PP”在导引头图像坐标系中成像张角，△θ″为校正时刻目标PP”在导引头图像坐标系中成像张角。

通过式(5)(6)，利用直瞄模板图1即可校正得到与实时图视角和尺度一致的目标模板2。

步骤(2)中，将目标模板2与全捷联图像导引头所获取临近目标及区域的实时图像(以下简称实时图)进行匹配，利用惯导信息预测目标得到实时图。

当前时刻全捷联图像导引头位置信息(λ,L,h)，首先计算当前时刻位置和目标位置地心系下的坐标：

式中，a_e,b_e为地球椭球半径；R_wt为当时时刻位置卯酉圈曲率半径，R_N为当时时刻位置子午圈曲率半径；R_wt1为目标位置卯酉圈曲率半径；R_N1为目标位置子午圈曲率半径；(λ_t,L_t,h_t)为目标位置的经纬高数据。

两者相减得到相对位置矢量△E：

△E＝E_t-E (13)

再将位置矢量按照，地心系→地理系→弹体系→摄像机系→图像系进行坐标转换，根据摄像机针孔成像模型以及地心系到图像坐标系之间的坐标变换关系，如图3所示，就可以得到目标在当前弹体状态下成像坐标(uu,vv)：

式中，

地心系到地理系的余弦矩阵，

地理系到弹体系的余弦矩阵，(u₀,v₀)为全捷联图像导引头图像中心；f₁为导引头焦距；△E(1)、△E(2)和△E(3)是公式(13)在地心系坐标下三个坐标轴方向投影分量。

(13)式通过惯导信息预测目标位置，选取实时图，这样既可实现快速匹配目标，又可效避开虚假目标，以及能处理目标非线性机动短时出视场的问题。

步骤(1)中得到的与全捷联图像导引头视角和尺度一致的目标模板2，步骤(2)中得到实时图，再将目标模板2与实时图采用基于爬山搜索策略的归一化灰度互信息熵匹配方法，即可得到目标的位置。

本发明跟踪过程中尺度和旋转参数的确定，是利用步骤(2)中得到实时图与目标模板2进行匹配，利用惯导信息校正目标模板2与实时图，采用爬山搜索策略和归一化互信息熵匹配得到目标位置。

通过惯导信息校正目标模板2，使用归一化互信息熵匹配方法具有尺度不变性和旋转不变性的优点。跟踪过程中，由于全捷联图像导引头与目标距离远大于目标景深，模板校正尺度因子k为：

式中，dis₁为匹配当前帧全捷联图像导引头与目标的距离，dis₀为匹配时上一帧全捷联图像导引头与目标的距离，θ₁和θ₂为目标在全捷联图像导引头中前一帧和后一帧的张角，相邻帧可认为相等，尺度不变校正原理的示意图如图6所示。

跟踪过程中，对模板校正旋转角度garmar：

garmar＝garmar1-garmar0 (16)

式中，garmar1为匹配当前帧全捷联图像导引头滚动角，garmar0为匹配时前一帧全捷联图像导引头滚动角。

为了同时满足实时性和精度的要求，采用改进爬山搜索策略和简化相关度度量方式。改进爬山搜索策略，如图4所示，主要通过按优先级调整爬山顺序和利用样本减小相关度的计算。按优先级调整爬山顺序在保证匹配精度的前提下还解决了很多不必要的计算搜索过程，例如：多个爬山者都搜索相关值(灰度互信息熵)最大的点和很多爬山者搜索到的是局部极大值，当然在搜索过程中还可通过设置相关度矩阵表和搜索位置矩阵表进一步提高计算效率，避免冗余计算。受分层匹配算法启发，在保证精度条件下通过等间隔设置初始爬山点，搜索匹配示意如图5所示，可实现由粗到精的搜索过程。

设实时图S的大小为N×N(像素)，模板图T的大小为M×M(像素)，则改进的归一化灰度互信息熵匹配方法的度量函数表示为：

式中，

为实时子图S的边缘熵，ps(i,j)为实时子图灰度出现的概率。

为模板图的边缘熵，pt(i,j)为模板图灰度出现的概率。

为实时子图和模板图的联合熵，pst(i,j)为实时子图和模板图灰度出现的联合概率，PM为实时图与模板图梯度幅值与主方向的加权值。NMI(u,v)为实时子图S_u,v处的匹配度量值，1≤NMI(u,v)≤2，并且有0≤u,v≤N-M，它的大小反映了模板图与实时子图之间的相似程度，值越大，相似程度越高。

如果实时图与模板图相关值大于阈值1，则认为匹配成功，否则匹配失败。

步骤(3)中，如果相关值大于阈值2，则需要更新模板进行下一帧匹配，一般更新时采取完全更新的方式，即将当前帧最佳匹配位置为中心一定区域的图像作为模板3和下一帧图像进行匹配。

T_new＝T(NMI_max) (18)

式中，T(NMI_max)为当前帧匹配互信息熵最大位置为中心一定区域的模板图。然后重复进入“模板匹配—计算灰度互信息熵—获得当前最佳匹配位置—目标模板更新—模板匹配”的循环中实现目标稳定跟踪。

Claims (5)

1.一种基于直瞄模板的全捷联图像导引头目标跟踪方法，其特征在于，具体的实现步骤如下：

(1)在全捷联图像导引头中装载直瞄模板1和相应的经纬高、姿态数据，全捷联图像导引头利用装载的直瞄模板1和相应的经纬高、姿态数据，进行图像校正后得到跟踪用目标模板2；

(2)目标模板2与全捷联图像导引头所获取的临近目标及区域的目标实时图进行匹配，匹配时采用爬山搜索策略和归一化灰度互信息熵相似性度量，匹配成功，即可得到目标在图像中由全捷联图像导引头获取的初始位置，匹配不成功继续下发目标实时图进行匹配；

以上述全捷联图像导引头在图像中获取的初始位置为中心，在目标实时图中选择一定区域作为跟踪用目标模板2，再结合惯导信息将跟踪用目标模板2与目标实时图进行匹配，匹配时采用爬山搜索策略和归一化灰度互信息熵相似性度量；如果匹配相关值大于阈值1，则认为匹配成功，如果不成功，继续匹配；

所述的爬山搜索策略的归一化灰度互信息熵匹配方法，是按优先级调整爬山顺序和利用样本减小相关度的计算；在保证精度条件下通过等间隔设置初始爬山点实现由粗到精的搜索过程，具体流程如下：

设实时图S的大小为N×N像素，模板图T的大小为M×M像素，则改进的归一化灰度互信息熵匹配方法的度量函数表示为：

式中，

为实时子图S的边缘熵，ps(i,j)为实时子图灰度出现的概率；

为模板图的边缘熵，pt(i,j)为模板图灰度出现的概率；

为实时子图和模板图的联合熵，pst(i,j)为实时子图和模板图灰度出现的联合概率，PM为实时图与模板图梯度幅值与主方向的加权值；NMI(u,v)为实时子图S_u,v处的匹配度量值，1≤NMI(u,v)≤2，并且有0≤u,v≤N-M，它的大小反映了模板图与实时子图之间的相似程度，值越大，相似程度越高；

如果实时图与模板图相关值大于阈值1，则认为匹配成功，否则匹配失败；

(3)相关值大于阈值2，满足换模板条件，得到目标模板3。

2.如权利要求1所述的一种基于直瞄模板的全捷联图像导引头目标跟踪方法，其特征在于，步骤(1)中所述的利用直瞄模板1进行图像校正后得到跟踪用目标模板2，是通过吊舱设备获取直瞄模板1及相应时刻的位置和惯导数据，变换到全捷联图像导引头使用时与目标实时图视角和尺度一致的目标模板2；变换过程需要已知直瞄模板1时刻的位置(λ₀,L₀,h₀)和姿态

吊舱焦距f₀、全捷联图像导引头的焦距f₁和目标位置数据(λ_t,L_t,h_t)，校正时刻全捷联导引头的位置(λ₁,L₁,h₁)和姿态

由高低角-θ′，校正到高低角-θ″，变换过程如下：

同理：

式中，θ′,R为获取直瞄模板1时刻的高低角和与目标的距离，θ″,R′为校正目标模板2时刻的高低角和与目标的距离，u,v,u′,v′为获取直瞄模板1时刻的目标图像坐标和校正时刻目标模板2图像坐标，y为目标PP"的长度，△θ′为直瞄模板1时刻目标PP"在导引头图像坐标系中成像张角，△θ″为校正时刻目标PP"在导引头图像坐标系中成像张角；

通过式(5)(6)，利用直瞄模板1即可校正得到与目标实时图视角和尺度一致的目标模板2。

3.如权利要求1所述的一种基于直瞄模板的全捷联图像导引头目标跟踪方法，其特征在于，步骤(2)中所述的目标模板2与全捷联图像导引头所获取的临近目标及区域的目标实时图进行匹配，是利用惯导信息预测目标得到目标实时图，当前时刻全捷联图像导引头位置信息(λ,L,h)，首先计算当前时刻位置和目标位置地心系下的坐标：

式中，a_e,b_e为地球椭球半径；R_wt为当时时刻位置卯酉圈曲率半径，R_N为当时时刻位置子午圈曲率半径；R_wt1为目标位置卯酉圈曲率半径；R_N1为目标位置子午圈曲率半径；(λ_t,L_t,h_t)为目标位置的经纬高数据；

两者相减得到相对位置矢量△E：

△E＝E_t-E (13)

再将位置矢量按照，地心系→地理系→弹体系→摄像机系→图像系进行坐标转换，根据摄像机针孔成像模型以及地心系到图像坐标系之间的坐标变换关系，就可以得到目标在当前全捷联图像导引头状态下的成像坐标(uu,vv)：

式中，

地心系到地理系的余弦矩阵，

地理系到弹体系的余弦矩阵，(u₀,v₀)为全捷联图像导引头图像中心；f₁为导引头焦距；△E(1)、△E(2)和△E(3)是公式(13)在地心系坐标下三个坐标轴方向投影分量。

4.如权利要求1所述的一种基于直瞄模板的全捷联图像导引头目标跟踪方法，其特征在于，步骤(2)中所述的再结合惯导信息将跟踪用目标模板2与目标实时图进行匹配，是对跟踪过程中的尺度和旋转参数进行确定；以全捷联图像导引头获取的在图像中的初始位置为中心，在目标实时图中选择一定区域作为跟踪用目标模板2，通过惯导信息校正该跟踪用目标模板2；跟踪过程中，由于全捷联图像导引头与目标距离远大于目标景深，模板校正尺度因子k为：

式中，dis₁为匹配当前帧全捷联图像导引头与目标的距离，dis₀为匹配时上一帧全捷联图像导引头与目标的距离，θ₁和θ₂为目标在全捷联图像导引头中前一帧和后一帧的张角，相邻帧可认为相等；

跟踪过程中，对模板校正旋转角度garmar：

garmar＝garmar1-garmar0 (16)

式中，garmar1为匹配当前帧全捷联图像导引头滚动角，garmar0为匹配时前一帧全捷联图像导引头滚动角。

5.如权利要求1所述的一种基于直瞄模板的全捷联图像导引头目标跟踪方法，其特征在于，步骤(3)中当相关值大于阈值2时，则需要更新模板进行下一帧匹配，更新时采取完全更新的方式，即将当前帧最佳匹配位置为中心一定区域的图像作为模板3和下一帧图像进行匹配；

T_new＝T(NMI_max) (18)

式中，T(NMI_max)为当前帧匹配互信息熵最大位置为中心一定区域的模板图，然后重复进入“模板匹配—计算灰度互信息熵—获得当前最佳匹配位置—目标模板更新—模板匹配”的循环中实现目标稳定跟踪。

Images