CN101567087B - 复杂天空背景下红外序列图像弱小目标检测与跟踪方法 - Google Patents

Abstract

本发明涉及一种复杂天空背景下红外序列图像弱小目标检测与跟踪方法，包括以下步骤：(1)采用结合图像弱小目标特征和Top-hat变换的自适应背景剔除算法进行自适应背景剔除，抑制复杂背景和部分噪声对弱小目标检测的影响；(2)利用适合暗背景图像的迭代阈值算法分割背景剔除后的暗背景图像中的可能目标区域；(3)根据目标在连续多帧中的运动规律构造膨胀累加算法，区分可能的虚警目标区域；(4)用基于轮廓结构元素的C_B运算和逻辑与操作抑制虚警目标；(5)将虚警目标抑制后的区域作为可能的目标区域与步骤(7)轨迹预测的结果进行比较，实现轨迹更新；(6)进行轨迹判决；(7)进行轨迹预测。

Description

复杂天空背景下红外序列图像弱小目标检测与跟踪方法

技术领域

本发明涉及一种复杂天空背景下红外序列图像弱小目标检测与跟踪方法，属于数字图像处理领域，主要涉及数学形态学、红外图像和目标检测与跟踪技术。在各类基于红外图像的目标识别或导航系统中有广泛的应用。

背景技术

复杂天空背景下弱小目标检测与跟踪技术的研究在民用、航天和军事中有重要应用(参见文献：张天序等.基于三维确定宽度搜索方向滤波的运动弱点目标检测.模式识别快报，2007，28(2)：246-253.(Tianxu Zhang，Meng Li，Zhengrong Zuo，Weidong Yang，Xiechang Sun.Movingdim point target detection with three-dimensional wide-to-exact search directional filtering.PatternRecognition Letters，2007，28(2)：246-253.))，是图像处理、目标识别、导航与制导等关键技术的重要研究领域。由于成像距离远及复杂天空背景的影响，红外图像中的小目标信噪比很低、处于复杂背景中、运动速度未知且没有确切的形状信息，这大大增加了红外弱小目标检测和跟踪的难度。此时，为了有效提高复杂背景下红外弱小目标检测与跟踪的有效性，必需有效利用目标的特性增强目标的可检测性，简化目标跟踪时目标轨迹确认的难度，提高目标检测与跟踪的有效性。

为了有效提高复杂红外背景下弱小目标检测和跟踪的有效性，各种有效利用目标特性的方法被提出。这些方法包括：

(1)基于滤波的方法(参见文献：[1]戴斯潘德等.基于最大均值和最大中值的小目标检测.国际光学工程学会小目标信号与数据处理论文集，1999，74-83.([1]Deshpande S.D.，RondaM.H.Chan Er，V.，Ph..Max-Mean and Max-Median filters for detection of small-targets.SPIE，Signal and Data Processing of Small Targets，1999，74-83.)[2]赛夫等.点目标跟踪滤波器的优化.美国电气电子工程师学会航空电子系统汇刊，2000，36(1)：15-25.([2]Cafer C.E.，Silverman J.，Mooney J.M..Optimization of point target tracking filters.IEEE Transactions onAerospace and Electronic Systems，2000，36(1)：15-25.)[3]富兰奇等.基于改进二维自适应栅格算法的相关背景下小目标可检测能力的增强.美国电气电子工程师学会图像处理汇刊，1997，6(3)：383-397.([3]Ffrench P.A.，Zeidler J.R.，Ku W.H..Enhanced detectability of smallobjects in correlated clutter using an improved 2-D adaptive lattice algorithm.IEEETransactions on Image Processing，1997，6(3)：383-397.))

这类方法的基本思想是根据目标特性构造相应的滤波器，通过该滤波器对图像进行滤波从而滤除复杂背景，达到提高图像信噪比的目的，简化目标检测的难度。这类方法在图像信噪比较低时效果较差，或所涉及的参数极难选取，或算法极其复杂而难于实时应用。

(2)基于小波的方法(参见文献：[1]陈晓钟，孙华燕.基于能量特征的图像目标检测.红外与激光工程，2001，30(1)：30-32.[2]马莱特.多分辨率信号分解理论：小波表示.美国电气电子工程师学会模式分析和机器智能汇刊，1989，11(7)：674-693.([2]Mallat，S.G..Theory formultiresolution signal decomposition：the wavelet representation.IEEE Trans.PAMI，1989，11(7)：674-693.)[3]格雷斯等.基于多尺度变换的前视红外图像中弱目标的检测.国际光学工程学会论文集，1994，2262：62-71.([3]Gregoris，D.J.，et al.Detection of dim targets inFLIR imagery using multiscale transforms.Proceedings of SPIE，1994，2262：62-71.))

该类方法主要利用小波的多尺度分析方法区分图像的纹理背景及感兴趣目标区。小波在不同尺度上生成的图像信息提供了可以将目标和复杂背景区分开来的特征信息，即当用小波对目标图像进行分析时目标和背景在小波不同尺度上的特征有明显不同。据此，各种基于小波的方法被较好地应用于复杂背景小目标的检测与跟踪。但基于小波的检测算法不能被很好地被应用于图像信噪比较低的情况。

(3)基于形态学的方法(参见文献：[1]董言治，沈同圣，周晓东等.小波变换和数学形态学在红外图像检测中的应用.激光与红外，2003，33(2)：94-97.[2]白相志等.基于新型高帽变换的红外小目标增强，电子成像杂志，2008，17(3)：030501.([2]Bai Xiangzhi，Zhou Fugen，XieYongchun.New class of top-hat transformation to enhance infrared small targets.Journal ofElectronic Imaging，2008，17(3)：030501.))

该类方法所涉及的主要运算是形态学Top-hat变换。使用Top-hat变换检测小目标的主要思想是用Top-hat变换估计背景，并从原始图像中减去背景后得到目标。但该类方法在起伏背景和信噪比较低时效果较差。

(4)基于光流的方法(参见文献：[1]彼博等.基于扩展约束的光流计算.美国电气电子工程师学会图像处理汇刊，1996，5(5)：720-739.([1]Bimbo A.D.，Nesi P.，Jorge L.C.S..Optical flowcomputation using extended constrains.IEEE Trans.IP，1996，5(5)：720-739.)[2]李晓春，孙陪懋，全国藩，等.复杂场景中东目标分割的一种快速算法.清华大学学报(自然科学版)，1997，37(8)：59-64.)

该类方法通过光流分析可以确定运动目标的数目、运动速度、目标距离和目标的表面结构。但由于孔径问题、光流算法的复杂性和计算量，在将光流应用于实际目标实时检测与跟踪时，其算法效率、算法评价、光流鲁棒估计和光流快速估计方面仍需深入研究。

(5)基于多级假设(MHT)的方法(参见文献：瑞德等.一种多目标跟踪算法.美国电气电子工程师学会航空电子系统汇刊，1979，24：843-854.(Reid D.B..An Algorithm for tracking multipletargets.IEEE Trans AES，1979，24：843-854.))

该类方法将众多可能的目标轨迹以树的结构组织起来，通过对序列中达到每帧图像的树同时进行假设检验，以随时去掉没有通过检验的树，减少运算量和存储量。但在复杂背景目标检测与跟踪中，实现基于多级假设的跟踪算法所需的内存和计算量太大且某一时刻态势描述(包括目标数目和运动状态)是确定的，限制了基于多级假设的跟踪方法的应用。

(6)基于数据互联的方法(参见文献：[1]巴沙龙等.基于分类辅助的多帧数据互联跟踪.美国电气电子工程师学会航空电子系统汇刊，2005，41(3)：868-877.([1]Bar-Shalom Y.，Kirubarajan T.，Gokberk C..Tracking with classification-aided multiframe data association.IEEE Transactions on Aerospace and Electronic System，2005，41(3)：868-877.)[2]潘泉，叶西宁，张洪才.广义概率数据关联算法.电子学报，2005，33(3)：467-472.[3]巴沙龙.多目标多传感器跟踪原理和方法.诺伍德，马萨诸塞州：阿泰克出版社，1990.([3]Bar-shalomYaakov.Multitarget-multisensor tracking principle and techniques.Norwood，MA：ArtechHouse，1990.))

该类方法在多目标跟踪中得到了较好的应用。但是，当目标数目和有效量测数增大时，可行性联合事件数目呈指数增长，导致数据互联算法的计算量呈指数增长甚至出现组合爆炸现象，同时还增加了构造可行性联合事件的复杂性，使该类方法常需根据具体应用对象进行相应设计才能取得较好的效果。

(7)基于运动对应的方法(参见文献：[1]维们等.基于扩展暂态范围的运动对应建立.人工智能，2003，145：227-242.([1]Veenman C.J.，Reinders M.J.T.，Backer E..Establishing motioncorrespondence using extended temporal scope.Artif.Intell.，2003，145：227-242.)[2]维们等.运动跟踪的约束优化问题.模式识别，2003，36：2049-2067.([2]Veenman C.J.，ReindersM.J.T.，Backer E..Motion Tracking as a constrained optimization problem.Pattern Recognition，2003，36：2049-2067.))

该类方法直接根据各种目标的实际运动规律对目标进行检测与跟踪。但该类方法在虚警目标较多的情况下，运算时间较长，难于满足实时系统的应用，使该类方法在实用化中还需进一步研究。

此外，还有其他方法被提出，如基于曲线进化的方法、基于神经元网络的方法、基于随机场的方法等，但这些方法多是针对具体目标的具体算法，普适性较差。

发明内容

复杂天空背景下的红外弱小目标检测与跟踪必须结合利用单帧图像的目标检测技术和多帧图像的目标跟踪技术，通过目标在单帧图像中的灰度分布特点和多帧图像中的运动特点来检测和跟踪复杂背景下的真实目标。同时，在目标运动过程中可能存在被遮挡的情形，在简单遮挡情况下可以通过预测弥补遮挡产生的目标丢失情况。而在长期遮挡的情况下，目标的预测和遮挡后的再检测就成为比较困难的问题。

为了解决上述问题并弥补传统方法的不足，本发明提出了一种复杂天空背景下红外序列图像弱小目标检测与跟踪方法，通过有效利用目标在单帧图像中的特点和多帧图像中的运动特点提高复杂背景下目标检测和跟踪的有效性，并解决长期遮挡情况下目标的预测和遮挡后的再检测，为实际系统中的实际应用问题提供有效的解决方案。

为了实现这个目的，本发明的技术方案如下，首先用自适应背景剔除和迭代阈值分割检测图像中的可能目标。自适应背景剔除可以有效地检测复杂背景下的目标，也可以再次检测被长期遮挡后的目标。然后利用膨胀累加和虚警目标抑制抑制复杂背景和噪声产生的虚警目标，降低后续目标跟踪的难度。最后利用目标跟踪技术确认最后的真实目标。在目标跟踪中，本发明构造了新的多帧预测算法用于解决长期遮挡情况下的目标预测，为目标被长期遮挡时的目标跟踪提供参考量。

本发明的特征在于包含以下具体步骤：

(1)自适应背景剔除：采用结合图像弱小目标特征和Top-hat变换的自适应背景剔除算法进行自适应背景剔除，抑制复杂背景和部分噪声对弱小目标检测的影响。长期遮挡后的目标再检测是目标的又一次检测，同样可以利用自适应背景剔除算法来实现。

(2)迭代阈值分割：给定一个初始值，将图像分为目标和背景两类，利用初始值和图像中的两类灰度值进行迭代，使之收敛至最终阈值；

(3)膨胀累加：根据目标在连续多帧中的运动规律构造膨胀累加算法，对某连续几幅图像首先进行形态学膨胀，然后进行累加。由于真实红外目标运动的连续性，膨胀累加后的图像中的真实目标区域必然是较大的区域，而其它的虚警目标区域则较小，从而可以区分可能的虚警目标区域；

(4)虚警目标抑制：用基于轮廓结构元素的CB形态学运算和逻辑与操作滤除膨胀累加产生的可能虚警目标区域，抑制虚警目标。

(5)轨迹更新：将虚警目标抑制后的区域作为可能的目标区域与步骤(7)轨迹预测的结果进行距离比较，用可能的目标区域位置替代预测的目标区域位置，实现轨迹更新；

(6)轨迹判决：利用目标的连续运动信息判决真实目标的轨迹。若在某帧图像中，某轨迹未得到更新，则说明该轨迹在该帧中丢失目标一次。统计某轨迹中目标丢失的次数，若丢失的次数多于预先设定的次数，则该轨迹为虚警目标形成的轨迹，应去掉该轨迹；否则保留该轨迹，且该轨迹对应的目标为真实目标；

(7)轨迹预测：为了进行轨迹预测并解决长期遮挡的情况下目标的预测，用前面多帧的运动位移的均值来计算下一帧目标的位置，有效利用前期多帧的运动信息，预测下一帧图像中各轨迹的可能位置，减少由于少数几帧位移的波动引起的预测偏差对预测结果的影响。

其中，所述的步骤(7)中的轨迹预测，是用前面多帧的运动位移的均值来计算下一帧目标的位置，减少由于少数几帧位移的波动引起的预测偏差对预测结果的影响，具体方法是：

设用于预测的图像帧数为nP，其中第i帧(1≤i≤nP-1)某轨迹对应的目标的位移为：

md_i＝||P_i-P_i-1||，

则第nP帧该轨迹对应的目标的可能位置为：

$P_{\mathrm{nP}}=\underset{0\≤i\≤\mathrm{nP}-1}{\mathrm{mean}}\left(P_i\right)+\mathrm{round}(\mathrm{nP}/2)*\underset{1\≤i\≤\mathrm{nP}-1}{\mathrm{mean}}\left({\mathrm{md}}_i\right).$

其中，round为四舍五入取整运算，nP一般取奇数。

本发明的优点及功效在于：利用自适应背景剔除抑制复杂背景和噪声对弱小目标检测的影响，实现目标的检测和长期遮挡后目标的再检测；通过有效利用目标运动特点的膨胀累加和虚警目标抑制抑制了部分虚警目标的产生，降低后续目标跟踪确认目标的难度；利用真实目标的连续运动规律构造有效的轨迹预测、更新和判决算法，实现目标的有效检测及长期遮挡情况下目标位置的预测。同时，轨迹预测用前面多帧的运动位移的均值来计算下一帧目标的位置，减少了由于少数几帧位移的波动引起的预测偏差对预测结果的影响，有效解决长期遮挡情况下目标的预测，简化目标的跟踪。本发明可有效抑制复杂天空背景和噪声对红外弱小目标检测与跟踪的影响，可广泛应用于基于红外图像的各类目标识别和导航系统，具有广阔的市场前景与应用价值。

附图说明

图1为本发明复杂天空背景下红外序列图像弱小目标检测与跟踪方法的原理框图。

图2为本发明对包含有174帧图像的飞机小目标图像序列的实验结果，图中小矩形方框标出的是利用本发明检测跟踪到的结果。图(a)，(b)，(c)，(d)，(e)和(f)分别是序列中的第13，21，25，38，128和第138帧的实验结果。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。本发明的流程如图1所示，各部分具体实施细节如下：

1.自适应背景剔除

自适应形态学背景剔除(AMCE)算法流程如下。

设图像f的长、宽分别为Wide和Height：

第一步：计算R＝CBC_B(f)，

和

分别为形态学膨胀和腐蚀运算；

第二步：设i＝0；

第三步：计算JV(i)＝maxw_i-minw_i，其中maxw_i和minw_i是大小为L_w×L_h且中心在像素i上的矩形窗w_i中像素灰度的最大和最小值；

第四步：按下式估计像素i对应的图像背景：

$\mathrm{BG}\left(i\right)=\left\{\begin{array}{c}f\left(i\right),f\left(i\right)-R\left(i\right)<\mathrm{JV}\left(i\right)\\ R\left(i\right),\mathrm{else}\end{array};\right.$

第五步：如果i＜Wide×Height，i＝i+1，转入第三步；

否则，转入第六步；

第六步：用下式剔除估计的图像背景：

I＝f-BG。

上述AMCE算法流程将估计的图像背景BG从f中剔除，在抑制图像背景的同时保留目标，从而实现目标的增强。AMCE中w_i的尺寸应小于可能目标区域的尺寸，可通过目标的先验知识或实验获取。

2.迭代阈值分割

在理想情况下，自适应背景剔除用原始图像减去估计的图像背景后将剩下只包含目标点和图像噪声的目标图像，但在实际情况中由于背景估计算法对背景估计的不准确性，使得目标图像中还包含有剩余图像背景。剩余图像背景是大量低灰度值像素，使目标图像成为一幅暗背景图像。该类图像的直方图没有明显的峰值，但低像素值像素数目最多。

针对低灰度值目标图像的特点，可将图像分为目标和背景两类，并给定一个初始值，利用该初始值和图像中的两类灰度值进行迭代，使之收敛至最终阈值。该过程对各种情况下的暗背景图像是自适应的。

自适应迭代阈值步骤如下：

(1)取自适应背景剔除后的整幅图像的均值作为Threshold的初始值

$\mathrm{Threshold}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}I\left(r_i\right),$

其中，N为像素个数，r_i＝(x_i，y_i)为图像的像素坐标，I(r_i)为r_i对应像素点的像素值。

(2)用Threshold将图像分为两类，像素值大于Threshold的一类为目标，其均值记为mean_up，像素值小于Threshold的一类为背景，其均值记为mean_down，新的阈值Threshold的计算公式如下：

Threshold＝(1-1/f(x))×mean_down+(1/f(x))×mean_up，

其中，

x＝mean_up-mean_down， ${\mathrm{mean}}_{\mathrm{up}}=\frac{1}{N_{\mathrm{up}}}\underset{i=1}{\overset{N_{\mathrm{up}}}{\mathrm{\&Sigma;}}}I\left(r_i\right),$ N_up为目标的像素个数， ${\mathrm{mean}}_{\mathrm{down}}=\frac{1}{N_{\mathrm{down}}}\underset{i=1}{\overset{N_{\mathrm{down}}}{\mathrm{\&Sigma;}}}I\left(r_i\right),$ N_down为背景的像素个数。

(3)如果Threshold的值不再发生变化则中止迭代，否则返回(2)。

在以上迭代过程中，阈值Threshold的计算公式中，f(x)的选择方法如下：

①f(x)的取值范围应在(1，∞)

这使得Threshold的值不会超过灰度范围。

②f(x)是x的不减函数

这将使f(x)对Threshold有自动调节作用，理由如下：

当Threshold处在高灰度值区时，x＝mean_up-mean_down较大，此时(1-1/f(x))较大，(1/f(x))较小，则第(2)步中Threshold值的计算会增大mean_down的比重使Threshold减小；相反，当Threshold处在低灰度值区时，x＝mean_up-mean_down较小，此时(1-1/f(x))较小，(1/f(x))较大，第(2)步中Threshold值的计算会减小mean_down的比重使Threshold增大；而当Threshold达到合理阈值时，mean_up和mean_down的值不会发生变化，f(x)也不会发生变化，Threshold将稳定在合理阈值。这样，随着迭代过程的进行算法会自动调节Threshold值到最后的阈值。

显而易见，当 $f\left(x\right)=\frac{1}{2}$ 时，该算法就蜕变为常用的迭代阈值算法。

从以上分析可以看出，在不同的迭代过程中f(x)的值不同，因此调节过程中mean_up和mean_down的调节系数会根据Threshold自动调节，而且这些调节系数对应于不同的Threshold而不同，可以看做是多尺度调节，这就根本有别于常用的迭代阈值算法，这个多尺度调节过程将会使Threshold收敛于更加合理的阈值。

③f(x)的曲率应较小

这使得f(x)的调节作用不致过大，以减少迭代次数。

④迭代过程的收敛性

假设Threshold为欲分割图像的合理阈值，此时对应的目标和背景的图像灰度均值分别为mean_up和mean_down，它们的差为x＝mean_up-mean_down，由于此时Threshold为合理阈值，mean_up、mean_down及x将不再发生变化。

如果迭代过程中某一步对应的初始阈值为Threshold1，且Threshold1＜Threshold，此时对应的目标和背景的图像灰度均值及其差值为mean_up1、mean_down1及x1，则由暗背景图像的特点知此时x1＜x，即Δx1＝x-x1＞0，由第(2)步知进行一次迭代后将加大mean_up1的比重使Threshold1增大为Threshold2，此时对应的目标和背景的图像灰度均值及其差值为mean_up2、mean_down2及x2，由暗背景图像的特点，mean_up2＞mean_up1、meand_own2＞mean_down1，且mean_up2-mean_up1＞mean_down2-mean_down1，即x2＞x1，所以Δx2＝x-x2＜Δx1，这就意味着随着迭代过程的进行mean_up-mean_down与合理阈值对应的x之间的差值Δx将逐渐变小，当Δx为零时，对应的阈值为合理阈值，此时迭代过程中止。

同样，如果迭代过程中某一步对应的初始阈值为Threshold1，且Threshold1＞Threshold，随着迭代过程的进行，Threshold1也将收敛到合理阈值。

实验证明，迭代过程一般进行10次以下就可中止于合理阈值。

根据以上条件，可构造f(x)如下：

f(x)＝log₁₀(10+αx)，

α值为一常量，针对不同的图像α值不同。图像的均值越小，α值越小，一般在(0，10)之间。利用Threshold二值化自适应背景剔除后的结果图像就可得到可能的目标图像IPTar。

3.膨胀累加

真实红外目标在连续多帧中的运动规律是连续的，而虚警目标在连续多帧中出现的位置却有随机性。因此，膨胀累加算法可用于标记可能的虚警目标。算法详细步骤如下：

设当前帧为第i帧二值目标图像IPTar_i，待累加的图像帧数为nS。

第一步：取第j＝i-nS帧二值图像，初始化累加结果图像AddImage中所有像素为0；

第二步：将第j帧图像用结构元素B₁进行膨胀，B₁的形状常用圆形，B₁的大小常取1-3；

第三步：将第二步的结果图像直接与AddImage相加；

第四步：若j＜i，j＝i+1，转入第二步，

否则，算法终止；

由于真实红外目标运动的连续性，膨胀累加后的图像中的真实目标区域必然是较大的区域，而其他的虚警目标区域则较小。因此，该属性可以用于抑制虚警目标。

4.虚警目标抑制

由膨胀累加的结果可知，真实目标区域的尺寸大于其他区域。因此，可用形态学运算去掉尺寸较小的区域并用逻辑与运算重建当前帧图像，则当前帧图像中的虚警目标就能得到较好的抑制。算法的详细流程如下：

第一步：用C_B运算处理AddImage，去掉尺寸较小的区域；C_B(f)＝min{f，CBC_B(f)}；

第二步：用当前帧原始二值图像IPTar_i与C_B运算后的AddImage图像进行逻辑与操作，重建当前帧二值目标图像。

算法第一步中采用C_B运算主要是因为C_B运算有保护图像细节的特点，因此C_B运算在去除虚警目标的同时不会损坏真实目标区域。C_B运算中用到的结构元素的尺寸通常应小于真实目标区域，具体大小可由先验知识获取。由于虚警目标没有固定的形状，因此结构元素的形状可用常用的菱形或矩形。本发明建议采用半径为3的菱形。

由于AddImage中虚警目标的抑制，算法第二步中的与操作可以重建出当前帧中的真实目标区域而去掉部分虚警目标，达到虚警目标抑制的目的。该步骤后的结果图像记为RT。

5.轨迹更新

由于自适应背景剔除对图像复杂背景的抑制和膨胀累加及虚警目标抑制对虚警目标的抑制，结果图像RT中的虚警目标数量大大减少，但仍有少量虚警目标得到保留。此时，能够有效利用目标运动信息的目标跟踪技术被用于确认真实目标。此处，轨迹更新的目的是将现有预测的当前帧中的可能目标的位置与检测到的当前帧的可能目标的位置进行对比，以更新各轨迹在当前帧中的目标位置。

某轨迹Trace在当前帧RT中存在NR个区域时的详细更新步骤如下：

第一步：取Trace中当前帧的预测位置P_Cur，令i＝0，0≤i≤NR-1；

第二步：取RT中第i个区域P_i；

第三步：计算P_i与P_Cu之间的距离d_i；

第四步：若i≤NR-1，i＝i+1，转入第二步；

否则，转入第五步；

第五步：求所有d_i中的最小值d_j；

第六步：若d_j≤mindT，则用P_i更新Trace中的P_Cu；

否则，Trace不更新；

上述算法流程中的mindT通常可根据先验知识获取。上述算法保证了轨迹根据当前帧的目标检测情况进行不断更新，确保目标连续运动的信息能够被有效利用。

6.轨迹判决

轨迹判决的目的是利用目标的连续运动信息判决某轨迹是否为真实目标的运动轨迹从而达到识别目标的目的。由于前面的步骤有效抑制了虚警目标，因此简单的运动信息的利用就可以有效判决真实目标轨迹。

若在某帧图像中，轨迹Trace未得到更新，则说明该轨迹在该帧中丢失目标一次。若Trace丢失目标的次数超过某预先设定的阈值nTL，则Trace不是真实目标的轨迹；否则，Trace是真实目标的轨迹。nTL为预定阈值，图像噪声越严重，nTL越大。

该判决方法基于以下基本事实：若目标为真实目标，则由于目标运动的连续性，该目标对应的轨迹必然是连续的且不会有较多帧中存在目标丢失的情况；而虚警目标由于其在连续多帧图像中出现的随机性而使其对应的轨迹在较多帧中出现目标丢失的情况。

同时，由于虚警目标的有效抑制，能够形成较长轨迹的虚警目标极少。因此，通过轨迹判决后即可找到真实目标的轨迹。该轨迹对应的当前帧的点的位置即为真实目标在当前帧的位置，从而达到识别真实目标的目的。

7.轨迹预测

本发明的目的之一是为了解决多帧遮挡问题。在目标被物体遮挡时目标已不可能被检测到，为了仍能识别目标的可能位置必须依据目标的运动规律对目标的位置进行预测。同时，即使目标不被遮挡，对目标下一帧位置的预测也有利于目标更新中为轨迹中当前帧目标位置的更新提供参考量。

在对目标轨迹进行预测时可以用线性预测来处理，但简单的线性预测只是根据短期内目标运动规律可近似为直线这一基本假设。因此，在目标被长期遮挡的情况下，简单的线性预测就不太适合轨迹预测了。产生这种结果的原因是：简单的线性预测通常用前几帧(一般为2-3帧)的运动来预测下一帧的运动。而前几帧的运动可能存在较大波动，在预测较少帧的情况下产生的偏差也较小。但在预测多帧的情况下这种波动可能引入较大误差。因此，必须有效利用前期多帧的运动信息来预测未来多帧的结果。为此，本发明提出了基于多帧目标位移的预测算法。

设用于预测的图像帧数为nP，其中第i帧(1≤i≤nP-1)某轨迹对应的目标的位移为：

md_i＝||P_i-P_i-1||，

则第nP帧该轨迹对应的目标的可能位置为：

$P_{\mathrm{nP}}=\underset{0\&le;i\&le;\mathrm{nP}-1}{\mathrm{mean}}\left(P_i\right)+\mathrm{round}(\mathrm{np}/2)*\underset{1\&le;i\&le;\mathrm{nP}-1}{\mathrm{mean}}\left({\mathrm{md}}_i\right).$

其中，round为四舍五入取整运算，nP一般取奇数。

从上式可以看出，该预测算法用前面多帧的运动位移的均值来计算下一帧目标的位置，减少了由于少数几帧位移的波动引起的预测偏差对预测结果的影响。

轨迹预测后，其结果被送入轨迹更新用于更新真实目标的轨迹。

为了展示本发明的效果，采用包含有174帧图像的飞机小目标图像序列验证本发明的有效性。该图像序列中的图像背景复杂、图像噪声较严重、目标被楼体背景长时间遮挡。实验结果如图2所示，图中所示图像是图像序列中的第13，21，25，38，128和第138帧。从结果中可以看出，尽管图像背景复杂，但自适应背景估计较好地抑制了复杂背景对本发明效果的影响。同时，图像的严重噪声可能会产生大量虚警点，这些虚警点也被抑制，使得本发明可以取得较好的效果。更为重要的是，图像序列中的目标曾有一段时间被长时间遮挡，但本发明仍较好地预测了目标的可能位置，体现了本发明的有效性。

Claims (1)

1.一种复杂天空背景下红外序列图像弱小目标检测与跟踪方法，其特征在于：该方法包括以下具体步骤：

(1)采用结合图像弱小目标特征和Top-hat变换的自适应背景剔除算法进行自适应背景剔除，抑制复杂背景和部分噪声对弱小目标检测的影响；

(2)利用适合暗背景图像的迭代阈值算法分割背景剔除后的暗背景图像中的可能目标区域；

(3)根据目标在连续多帧中的运动规律构造膨胀累加算法，区分可能的虚警目标区域；

(4)用基于轮廓结构元素的C_B运算和逻辑与操作抑制虚警目标；

(5)进行轨迹预测；

(6)将虚警目标抑制后的区域作为可能的目标区域与轨迹预测的结果进行比较，实现轨迹更新；

(7)进行轨迹判决；若在某帧图像中，某轨迹未得到更新，则说明该轨迹在该帧中丢失目标一次；统计某轨迹中目标丢失的次数，若目标丢失的次数多于预先设定的次数，则该轨迹为虚警目标形成的轨迹，应去掉该轨迹；否则保留该轨迹，且该轨迹对应的目标为真实目标；本步骤结束后，再循环执行步骤(5)-步骤(7)；

其中，步骤(5)进行轨迹预测为：有效利用前期多帧的运动信息，采用基于多帧目标位移的预测算法预测下一帧图像中各轨迹中目标的可能位置；用前面多帧的运动位移的均值来计算下一帧目标的位置，减少由于少数几帧位移的波动引起的预测偏差对预测结果的影响，其具体方法是：

设用于预测的图像帧数为nP，其中第i帧某轨迹对应的目标的位移为：

md_i＝||P_i-P_i-1||，

其中，1≤i≤nP-1；

则第nP帧该轨迹对应的目标的位置为：

$P_{\mathrm{nP}}=\underset{0\&le;i\&le;\mathrm{nP}-1}{\mathrm{mean}}\left(P_i\right)+\mathrm{round}(\mathrm{nP}/2)*\underset{1\&le;i\&le;\mathrm{nP}-1}{\mathrm{mean}}\left({\mathrm{md}}_i\right)$

其中，round为四舍五入取整运算，nP一般取奇数。

Images