CN110766676A - 基于多源传感器融合的目标检测方法 - Google Patents

Abstract

基于多源传感器融合的目标检测方法，涉及图像处理自动检测技术领域，解决现有目标检测方法存在无法应对快速场景变化或者复杂背景下检测低小慢目标的问题，本发明通过对红外图像及可见光图像的感兴趣区域提取；基于滚动引导滤波和加权最小二乘优化函数进行图像融合，获得融合后的图像F；输入感兴趣区域的融合图像，通过背景建模方法完成像小慢目标的检测。本发明采用了多传感器图像融合的方式对目标进行检测，与VIBE、PBAS等传统算法不同，利用可见光相机与红外相机间的信息互补来提高检测的精确性及可靠性，融合后的图像具有明显的纹理特征和较高的分辨率，输入静态背景建模框架中可以抵抗光照、特殊天气、物体遮挡的影响实现全天候工作。

Description

基于多源传感器融合的目标检测方法

技术领域

本发明涉及图像处理自动检测技术领域，具体涉及一种基于多源传感器融合的“低小慢”目标检测方法。

背景技术

目前，“低小慢”目标检测技术是精确制导、红外搜索跟踪和侦察告警系统的一项关键技术，如何在复杂场景中排除云层、光照、噪声以及遮挡等干扰，准确地检测出低空慢速小目标一直是目标检测领域极具挑战的研究课题，其检测性能直接决定系统的作用距离与探测灵敏度。传统的“低小慢”目标检测VIBE算法、和PBAS算法，无法应对快速场景变化或者复杂背景等特殊场合，因此不能稳定工作。

发明内容

本发明为解决现有目标检测方法存在无法应对快速场景变化或者复杂背景下检测低小慢目标的问题，提供一种基于多源传感器融合的目标检测方法。

基于多源传感器融合的目标检测方法，该方法由以下步骤实现：

步骤一、对红外图像及可见光图像的感兴趣区域提取；

步骤二、基于滚动引导滤波和加权最小二乘优化函数进行图像融合，获得融合后的图像F；具体过程为：

采用滚动引导滤波器对原始红外图像和原始可见光图像进行了多尺度分解，并采用视觉显著性算法对分解后的红外图像基础层与可见光图像基础层进行融合处理，采用加权最小二乘函数对红外图像细节层与可见光图像细节层进行融合处理；

采用高斯滤波器获得原始可见光图像和原始红外图像包含粗尺度结构信息的基础层；

当j＝1,2…N-1时，第j层滤波后的细节图像，用下式表示为：

d^j＝u^j-1-u^j

当j＝N时，第j层滤波后的基础层图像，用下式表示为：

d^j＝u^j-1-u^j

式中，RGF(·)滚动引导滤波器，u^j为第j层滤波后的图像，d^j为第j层分解图像，N为图像分解的层数，T为迭代次数；σ_s为尺度参数，σ_r为权重范围参数，设置

获得红外基础层图像B₁和可见光基础层图像B₂；对于红外基础层图像B₁和可见光基础层图像B₂，采用视觉显著性算法FT求取其归一化显著性像素值FT₁和FT₂,并通过融合规则获得输出图像B_F的基础融合层，具体表示为：

式中，W_b为融合权重，对于细节层图像

和

采用MS规则获得初始融合细节层M^j，用公式表示为：

其中，MS加权系数W^j采用下式获得：

第j层融合细节层

通过加权最小二乘优化函数获得，具体表示为：

式中，

将融合细节层

和基于MS规则的初始融合细节层

之间的欧几里得距离最小化，

中，λ为等式中前后两项的平衡控制参数；

权重参数

ω_i为以像素n为中心的正方形7×7滑窗，重写其矩阵形式为：

式中，A^j为包含所有权重参数Λ的对角矩阵，则获得融合后的图像F：

F＝B_F+D¹+D²+…+D^N

步骤三、对低小慢目标的检测；在步骤二中获得的融合图像F内寻找步骤一中确定的感兴趣区域，输入感兴趣区域内的融合图像，通过SuBSENSE背景建模算法完成低小慢目标的检测；

步骤三一、基于时空二进制相似性和Color-LBSP描述子，在一个无参模型中使用V帧输入的感兴趣区域融合图像值初始化背景模型，用下式表示为：

B(x)＝{B₁(x),B₂(x),...B_V(x)}

步骤三二、计算像素点的当前像素与该像素点的样本集之间的递归滑动平均距离D_min(x)，计算方式为：

D_min(x)＝D_min(x)·(1-α)+d_t(x)·α

式中，α为变化更新学习率，d_t(x)所有样本之间的最小标准化Color-LBSP距离；

步骤三三、根据SuBSENSE中的局部距离对阈值进行控制，并对SuBSENSE背景模型进行实时更新，获得分割输出检测结果；用公式表示为：

式中，F_t(x)为t时刻的融合后图像，B(x)为历史样本，S_t(x)为分割结果，R_max为最大距离阈值，#min为背景分类所需的最小匹配数，dist(F_t(x),B(x))返回当前观测值与给定背景样本之间的距离，获得检测结果。

本发明的有益效果：本发明提供的检测技术基于多传感器融合与SuBSENSE背景模型，使融合图像既具备可见光图像的纹理信息，又具备红外图像的显著信息。融合后的图像输入静态背景建模框架中可以抵抗光照、特殊天气、物体遮挡的影响，解决检测技术全天候工作的技术难点。相比于以往的检测技术，本发明更具有广泛的实用性，且具有更高的准确率。

本发明采用了多传感器图像融合的方式对目标进行检测，与VIBE、PBAS等传统算法不同，利用可见光相机与红外相机间的信息互补来提高检测的精确性及可靠性，融合后的图像具有明显的纹理特征和较高的分辨率，输入静态背景建模框架中可以抵抗光照、特殊天气、物体遮挡的影响实现全天候工作。

附图说明

图1为本发明所述的基于多源传感器融合的目标检测方法的流程图；

图2为本发明所述的基于多源传感器融合的目标检测方法中原始红外图像效果图；

图3为本发明所述的基于多源传感器融合的目标检测方法中的红外图像中感兴趣区域效果图；

图4为本发明所述的基于多源传感器融合的目标检测方法中原始可见光图像效果图；

图5为本发明所述的基于多源传感器融合的目标检测方法中的原始可见光图像中感兴趣区域效果图；

图6本发明所述的基于多源传感器融合的目标检测方法中原始红外图像与原始可见光图像融合后的效果图；

图7为本发明所述的基于多源传感器融合的目标检测方法中局部SuBSENSE分割后图像效果图；

图8为采用本发明所述的基于多源传感器融合的目标检测方法检测的效果图。

具体实施方式

具体实施方式一、结合图1至图8说明本实施方式，基于多源传感器融合的目标检测方法；

步骤一、红外图像及可见光图像的感兴趣区域提取；

获取红外图像，采用加权移动平均背景建模(Weighted Moving Mean)对所述红外图像进行前景提取，完成对红外图像感兴趣区域的定位；

具体过程为：采用下式表示图像像素的加权平均值：

式中，weighted_mean为图像像素的加权平均值，weight为权重，image_f为输入图像；

红外图像成像符合热力学定律，通过计算红外图像的一维信息熵作为阈值区分前后背景，其中，计算背景红外图像一维信息熵时，m＝[0,L]，计算前景红外图像一维信息熵时，

红外图像的背景及前景的信息熵分别用下式表示为：

式中，p_m为红外图像的自信息量，为区分前后背景的灰度值，W₁和W₂分别为背景和目标中的灰度值概率，L为红外图像的灰度级数，红外图像的分割阈值用下式表示为：

式中，

为红外图像总的信息熵，

为图像一维信息熵最大时的分割阈值，检测当前帧时，将当前帧图像的像素值与步骤一背景模型中相同位置像素的加权平均值进行作差，并将作差后获得的差值与阈值进行比较，大于阈值的则判定为前景，反之则为背景；

根据背景图像和当前帧图像的加权动态更新背景模型，使更新后的背景模型适应场景变化，更新公式为：

f_t+1(x,y)＝(1-α)B_t(x,y)+αf_t(x,y) (6)

式中，α为变化更新学习率，B_t(x,y)为t时刻背景模型，f_t(x,y)为t时刻图像；通过更新后的背景模型获得红外图像的感兴趣区域；

通过计算可见光图像标准差替代平均值提取所述红外图像的感兴趣区域，用下式表示为：

variance(image_f_i,weight_i)＝weight_i*(image_f_i-weighted_mean)² (7)

式中，variance(·)为图像像素加权方差的计算结果，std_dev为计算得到的加权标准差，并采用大津算法对可见光图像进行前后自适应分割，应用基于加权移动均方差算法的背景减除模型获取可见光图像的感兴趣区域。

步骤二、基于滚动引导滤波和加权最小二乘优化函数进行图像融合，获得融合后的图像F；

采用滚动引导滤波器对原始红外图像和原始可见光图像进行了多尺度分解，并采用视觉显著性算法对分解后的红外图像基础层与可见光图像基础层进行融合处理，采用加权最小二乘函数对红外图像细节层与可见光图像细节层进行融合处理；

采用高斯滤波器获得原始可见光图像和原始红外图像包含粗尺度结构信息的基础层；

当j＝1,2…N-1时，第j层滤波后的细节图像，用下式表示为：

d^j＝u^j-1-u^j (10)

当j＝N时，第j层滤波后的基础层图像，用下式表示为：

d^j＝u^j-1-u^j (12)

式中，RGF(·)滚动引导滤波器，u^j为第j层滤波后的图像，d^j为第j层分解图像，N为图像分解的层数，T为迭代次数；σ_s为尺度参数，σ_r为权重范围参数，设置

获得红外基础层图像B₁和可见光基础层图像B₂；对于红外基础层图像B₁和可见光基础层图像B₂，采用视觉显著性算法FT求取其归一化显著性像素值FT₁和FT₂,并通过融合规则获得输出图像B_F的基础融合层，具体表示为：

式中，W_b为融合权重，对于细节层图像

和

采用MS规则获得初始融合细节层M^j，用公式表示为：

其中，MS加权系数W^j采用下式获得：

第j层融合细节层

通过加权最小二乘优化函数获得，具体表示为：

式中，

将融合细节层

和基于MS规则的初始融合细节层

之间的欧几里得距离最小化，

中，λ为等式中前后两项的平衡控制参数；

权重参数ω_i为以像素n为中心的正方形7×7滑窗，重写其矩阵形式为：

式中，A^j为包含所有权重参数Λ的对角矩阵，则获得融合后的图像F：

F＝B_F+D¹+D²+…+D^N (18)

步骤三、对低小慢目标的检测；输入感兴趣区域内的融合图像，通过SuBSENSE背景建模算法完成低小慢目标的检测；

具体过程为：

整个检测过程由背景模型初始化、递归滑动平均距离计算、噪声抑制、局部距离阈值控制、背景模型的更新以及判别输出结果六部分构成，具体过程为：

步骤三一、基于时空二进制相似性和Color-LBSP描述子，在一个无参模型中使用V帧输入的感兴趣区域融合图像值初始化背景模型，用下式表示为：

B(x)＝{B₁(x),B₂(x),...B_V(x)} (19)

(2)在得到背景模型后，计算像素点的当前像素与该像素点的样本集之间的递归滑动平均距离，计算方式为：

D_min(x)＝D_min(x)·(1-α)+d_t(x)·α (20)

式中，α为变化更新学习率，d_t(x)所有样本之间的最小标准化Color-LBSP距离。

(3)在进行局部距离阈值控制前，为了提高检测精度，需要消除模型中的闪烁噪声，进行噪声抑制的二维映射像素级累加器具体为：

其中v(x)为闪烁像素的二进制映射。

(4)为了动态选取合适阈值，这里采用SuBSENSE背景模型中的局部距离对阈值进行控制，具体为：

(5)为了克服光照、阴影、移动目标对检测结果的影响，需要对SuBSENSE背景模型进行实时更新，具体更新方式为：

(6)分割输出检测结果，具体方式为：

式中，F_t(x)为t时刻的融合后图像，B(x)为历史样本，S_t(x)为分割结果，R_max为最大距离阈值，#min为背景分类所需的最小匹配数，dist(F_t(x),B(x))返回当前观测值与给定背景样本之间的距离，由此即可得到检测结果。

Claims (4)

1.基于多源传感器融合的目标检测方法，其特征是：该检测方法由以下步骤实现：

步骤一、对红外图像及可见光图像的感兴趣区域提取；

步骤二、基于滚动引导滤波和加权最小二乘优化函数进行图像融合，获得融合后的图像F；具体过程为：

采用滚动引导滤波器对原始红外图像和原始可见光图像进行了多尺度分解，并采用视觉显著性算法对分解后的红外图像基础层与可见光图像基础层进行融合处理，采用加权最小二乘函数对红外图像细节层与可见光图像细节层进行融合处理；

采用高斯滤波器获得原始可见光图像和原始红外图像包含粗尺度结构信息的基础层；

当j＝1,2…N-1时，第j层滤波后的细节图像，用下式表示为：

d^j＝u^j-1-u^j

当j＝N时，第j层滤波后的基础层图像，用下式表示为：

d^j＝u^j-1-u^j

式中，RGF(·)滚动引导滤波器，u^j为第j层滤波后的图像，d^j为第j层分解图像，N为图像分解的层数，T为迭代次数；σ_s为尺度参数，σ_r为权重范围参数，设置获得红外基础层图像B₁和可见光基础层图像B₂；对于红外基础层图像B₁和可见光基础层图像B₂，采用视觉显著性算法FT求取其归一化显著性像素值FT₁和FT₂,并通过融合规则获得输出图像B_F的基础融合层，具体表示为：

式中，W_b为融合权重，对于细节层图像

和

采用MS规则获得初始融合细节层M^j，用公式表示为：

其中，MS加权系数W^j采用下式获得：

第j层融合细节层

通过加权最小二乘优化函数获得，具体表示为：

式中，

将融合细节层

和基于MS规则的初始融合细节层

之间的欧几里得距离最小化，

中，λ为等式中前后两项的平衡控制参数；

权重参数

ω_i为以像素n为中心的正方形7×7滑窗，重写其矩阵形式为：

式中，A^j为包含所有权重参数Λ的对角矩阵，则获得融合后的图像F：

F＝B_F+D¹+D²+…+D^N

步骤三、对低小慢目标的检测；

在步骤二中获得的融合图像F内寻找步骤一中确定的感兴趣区域，并输入感兴趣区域内的融合图像，通过SuBSENSE背景建模算法完成低小慢目标的检测；

步骤三一、基于时空二进制相似性和Color-LBSP描述子，在一个无参模型中使用V帧输入的感兴趣区域融合图像值初始化背景模型，用下式表示为：

B(x)＝{B₁(x),B₂(x),...B_V(x)}

步骤三二、计算像素点的当前像素与该像素点的样本集之间的递归滑动平均距离D_min(x)，计算方式为：

D_min(x)＝D_min(x)·(1-α)+d_t(x)·α

式中，α为变化更新学习率，d_t(x)所有样本之间的最小标准化Color-LBSP距离；

步骤三三、根据SuBSENSE背景建模中的局部距离对阈值进行控制，并对SuBSENSE背景模型进行实时更新，获得分割输出检测结果；用公式表示为：

式中，F_t(x)为t时刻的融合后图像，B(x)为历史样本，S_t(x)为分割结果，R_max为最大距离阈值，#min为背景分类所需的最小匹配数，dist(F_t(x),B(x))返回当前观测值与给定背景样本之间的距离，获得检测结果。

2.根据权利要求1所述的基于多源传感器融合的目标检测方法，其特征在于：步骤一中，采用加权移动平均背景模型对所述红外图像进行前景提取，完成对红外图像感兴趣区域的提取；

具体过程为：采用下式表示图像像素的加权平均值：

式中，weighted_mean为图像像素的加权平均值，weight为权重，image_f为输入图像；

红外图像成像符合热力学定律，通过计算红外图像的一维信息熵作为阈值区分前后背景，其中，

计算背景红外图像一维信息熵时，m＝[0,L]，计算前景红外图像一维信息熵时，

红外图像的背景及前景的信息熵分别用下式表示为：

式中，p_m为红外图像的自信息量，

为区分前后背景的灰度值，W₁和W₂分别为背景和目标中的灰度值概率，L为红外图像的灰度级数，红外图像的分割阈值用下式表示为：

式中，

为红外图像总的信息熵，为图像一维信息熵最大时的分割阈值，检测当前帧时，将当前帧图像的像素值与步骤一背景模型中相同位置像素的加权平均值进行作差，并将作差后获得的差值与阈值进行比较，大于阈值的则判定为前景，反之则为背景；

根据背景图像和当前帧图像的加权动态更新背景模型，使更新后的背景模型适应场景变化，更新公式为：

f_t+1(x,y)＝(1-α)B_t(x,y)+αf_t(x,y)

式中，α为变化更新学习率，B_t(x,y)为t时刻背景模型，f_t(x,y)为t时刻图像；通过更新后的背景模型获得红外图像的感兴趣区域；

通过计算可见光图像标准差替代平均值提取所述红外图像的感兴趣区域，用下式表示为：

variance(image_f_i,weight_i)＝weight_i*(image_f_i-weighted_mean)²

式中，variance(·)为图像像素加权方差的计算结果，std_dev为计算得到的加权标准差，并采用大津算法对可见光图像进行前后自适应分割，应用基于加权移动均方差算法的背景减除模型获取可见光图像的感兴趣区域。

3.根据权利要求1所述的基于多源传感器融合的目标检测方法，其特征在于：在步骤三三中，进行局部距离阈值控制前，采用二维映射像素级累加器抑制噪声；

所述二维映射像素级累加器，用下式表示为：

式中，v(x)为闪烁像素的二进制映射；

根据SuBSENSE中的局部距离对阈值R(x)进行控制，用下式表示为：

4.根据权利要求1所述的基于多源传感器融合的目标检测方法，其特征在于：在步骤三三中，对SuBSENSE背景建模进行实时更新，更新公式为：

式中，T(x)为模型中对应点像素更新概率。

Images