CN109166089A - 一种对多光谱图像和全色图像进行融合的方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体来说是一种对多光谱图像和全色图像进行融合的方法，包括以下步骤：首先对同一目标的多光谱图像和全色图像进行分辨率统一，接着对多光谱图像进行IHS变换，分解出亮度分量，再采用引导滤波对全色图像进行滤波处理，并获取滤波后新图像的亮度分量,然后将两者的亮度分量进行直方图匹配；最后，通过IHS反变换得到融合后的图像；本发明方法将引导滤波和直方图匹配结合起来对图像进行融合，经对比分析，融合图像不仅空间细节信息得到增强，同时，也较好地保持了光谱信息。

Description

一种对多光谱图像和全色图像进行融合的方法

技术领域

本发明涉及图像处理技术领域，具体的说是一种对多光谱图像和全色图像进行融合的方法。

背景技术

图像融合是对取自不同传感器的两幅或多幅图像进行信息结合的图像处理方法。通过将来自不同传感器的数据进行融合，得到既包含丰富的光谱信息，又包含高空间信息的新图像，从而弥补单一图像信息量不足的缺陷。因此，图像融合被广泛地应用于城市规划、灾害监测及植被覆盖等领域。

近年来，国内外学者在图像融合方面展开了大量的探索与研究，但传统的IHS变换法、比值变换法(Brovey法)、主成分分析法(PCA法)及小波变换法在融合效果上有较大差异。为减少空间纹理信息和光谱信息在融合过程中的损失，近几年出现大量对传统方法进行改进的方法，虽取得一定的改善效果，但缺乏对图像局部信息相关性的考虑。

由于全色图像的空间分辨率比多光谱图像高，因此需要对多光谱图像进行上采样处理，从而与全色图像的空间分辨率保持一致。在进行上采样处理时，直接采用插值法会导致多光谱图像的光谱信息和空间纹理信息部分丢失，进而影响融合图像的质量。因此，融合图像的结构特征与光谱特征还有待进一步改善。

发明内容

本发明要解决的技术问题是提供一种对上述问题进行解决的多光谱图像和全色图像进行融合的方法。

本发明为实现上述目的所采用的技术方案是：一种对多光谱图像和全色图像进行融合的方法，包括以下步骤：

步骤一：获取同一目标的多光谱图像和全色图像，对多光谱图像进行插值处理得到与全色图像分辨率相同的上采样图像；

步骤二：对步骤一得到的上采样图像进行IHS的色彩空间变换，得到H分量、S分量、I分量；

步骤三：采用引导滤波对全色图像进行局部滤波处理，获取滤波后新的全色图像；

步骤四：采用IHS变换获取步骤三中新的全色图像的I'分量；

步骤五：将步骤四得到的I'分量与步骤二得到的I分量进行直方图匹配得到I′_new分量；

步骤六：对步骤五得到的I′_new分量和步骤二得到的H分量、S分量进行IHS反变换，得到融合图像。

本发明具有以下优点及有益效果：

1.本发明利用引导滤波的局部线性相关性，对图像细节信息的相关性加以有效利用，从而增强全色图像的空间纹理信息及局部细节信息，并辅助提高融合图像的质量。

2.本发明采用直方图匹配对多光谱图像和经引导滤波处理后图像的亮度分量进行规定化处理，有效补偿了因插值法导致的部分信息丢失问题，使得光谱信息保持良好，此外本申请引入的引导滤波模型具有线性不变特性，能够明显提高图像的对比度，拥有良好的边缘平滑性能和边缘梯度保持能力，可使得最终的图像具有较好的拟合效果。

附图说明

图1为本发明图像融合的基本流程图。

图2为本发明实验中使用的测试图像，以及不同方法在测试图像上的融合效果对比图。其中，图2(a)为全色图像，图2(b)为多光谱图像，图2(c)为IHS变换法得到的融合图像，图2(d)为Brovey法得到的融合图像，图2(e)为PCA法得到的融合图像，图2(f)为小波变换法得到的融合图像，图2(g)为基于直方图匹配的IHS变换法得到的融合图像，图2(h)为本发明方法得到的融合图像。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示，一种对多光谱图像和全色图像进行融合的方法，包括以下步骤：

步骤一：获取同一目标的多光谱图像和全色图像，对多光谱图像进行插值处理得到采样后的图像，具体为：运用双三次插值法对多光谱图像进行上采样，并得到上采样图像。

步骤二：对步骤一得到的上采样图像进行IHS的色彩空间变换，得到I分量、H分量、S分量分别为：

H＝tan^-1[s₁/s₂] (2)

其中，I分量为上采样图像的亮度分量，H分量为上采样图像的色度分量，S分量为上采样图像的饱和度分量。

步骤三：采用引导滤波对全色图像进行局部滤波处理，获取滤波后新的全色图像，具体为：

设置全色图像为引导图像G,输入图像为P，引导滤波的输出图像为Q。假设在以像素点(i,j)为中心，r为半径的方形局部窗ω中，引导图像和输出图像呈现的线性关系为：

其中，a,b是方形局部窗ω中的线性系数，通过线性回归分析得a,b的最优解分别为：

其中，|ω|是窗口内像素总数，大小为(2r+1)*(2r+1)，μ,σ²分别为引导图像的局部窗所含像素的平均值和方差，ε为平滑因子，用以防止σ²过大的正则化参数。由于一个像素点(i,j)会被多个局部窗包含，而每个局部窗的窗口中心不同会导致线性系数a,b的取值不同，进而像素Q(i,j)将由多个线性函数描述。因此，需对Q(i,j)取平均值，即：

步骤四：采用与步骤二相同的IHS变换获取步骤三中新的全色图像的I'分量；

步骤五：将步骤四得到的I'分量与步骤二得到的I分量进行直方图匹配得到I′_new分量，具体为：

首先，计算步骤四所得新图像的对应I'分量的灰度分布概率密度函数p(r_k)：

其中，n是I'分量的像素总和，n_k表示I'分量中某一灰度级出现的次数，L为图像中灰度级的总数，同理可得经上采样处理后的多光谱图像对应I分量的灰度分布概率密度函数p(z_k)：

其中，N是I分量的像素总和，N_k表示I分量中某一灰度级出现的次数。然后，将多光谱图像的亮度分量I和步骤四所得亮度分量I'分别进行均衡化处理，即：

最后，为得到直方图匹配过程中的最佳灰度变换关系，需对灰度级r_k和z_k进行如下调整：

z_k＝G^-1(v_k)＝G^-1[P_rox(s_k)]＝G^-1{P_rox[T(r_k)]} (12)

其中，P_rox(s_k)表示数值大小与s_k最为接近的v_k。依据r_k和z_k的映射关系，修改图像的灰度级，从而获得调整后的I'_new分量。

步骤六：对步骤五得到的I′_new分量和步骤二得到的H分量、S分量进行IHS反变换，得到融合后的图像。

本发明选择已配准好的多光谱图像和全色图像作为测试图像，并与IHS变换法、Brovey法、PCA法、小波变换法及基于直方图匹配的IHS法五种方法进行对比研究。其中，选取引导滤波的局部窗半径r＝3，平滑因子ε＝0.001。

实验结果：

实验1，将融合后的图像进行对比后发现，经本发明处理后的融合图像效果更优良，清晰度更高，同时，融合图像存在的色彩畸变现象得到明显改善，图像边缘信息保持效果更好，地物的纹理信息更明显。本发明与IHS变换法、Brovey法、PCA法、小波变换法及基于直方图匹配的IHS法五种方法进行了比较，融合结果如图2所示。

实验2，为提高实验结果评价的准确性，本发明选取四种指标对融合图像进行质量评估，分别为：平均值、标准差、信息熵、平均梯度。其中，图像的平均值是指像素值的平均，数值越大，则表明图像视觉效果越好。标准差反映了图像各灰度值相对于平均值的离散程度，标准差越大，则意味着图像的对比度越强，即目视效果越理想。图像的信息熵可衡量图像所包含信息的丰富程度，信息熵越大，则说明图像融合质量越好。平均梯度反映了图像的清晰度，对图像中存在的纹理特征和细节特征较为敏感，平均梯度数值越大，则表明图像的细节信息越多，图像层次感越强。测试图像的实验结果如表1所示。

表1在测试图像上的评价指标对比

根据表1的数据可以看出，相比于其他方法，经本发明方法得到的融合图像的评价指标得到不同程度的提升，且融合图像细节特征和层次感保持良好。

综上，本发明公开的对多光谱图像和全色图像进行融合的方法，能较完整地保持图像的空间细节信息和光谱信息，具有较高的可行性和有效性。

上面对本专利的较佳实施方式作了详细说明，但是本专利保护范围并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下做出其他变化，这样应当列入本发明的保护范围。

Claims (5)

1.一种对多光谱图像和全色图像进行融合的方法，其特征在于，包括以下步骤：

步骤一：获取同一目标的多光谱图像和全色图像，对多光谱图像进行插值处理得到与全色图像分辨率相同的上采样图像；

步骤二：对步骤一得到的上采样图像进行IHS的色彩空间变换，得到H分量、S分量、I分量；

步骤三：采用引导滤波对全色图像进行局部滤波处理，获取滤波后新的全色图像；

步骤四：采用IHS变换获取步骤三中新的全色图像的I'分量；

步骤五：将步骤四得到的I'分量与步骤二得到的I分量进行直方图匹配得到I'_new分量；

步骤六：对步骤五得到的I'_new分量和步骤二得到的H分量、S分量进行IHS反变换，得到融合图像。

2.根据权利要求1所述的对多光谱图像和全色图像进行融合的方法，其特征在于，所述步骤一中运用双三次插值法对多光谱图像进行上采样，得到上采样图像。

3.根据权利要求1所述的对多光谱图像和全色图像进行融合的方法，其特征在于，所述步骤二中得到的I分量、H分量、S分量分别为：

H＝tan^-1[s₁/s₂]

其中，I分量为上采样图像的亮度分量，H分量为上采样图像的色度分量，S分量为上采样图像的饱和度分量。

4.根据权利要求1所述的对多光谱图像和全色图像进行融合的方法，其特征在于，步骤三中采用引导滤波对全色图像进行滤波处理的具体方式为：

设置全色图像为引导图像G,输入图像为P，引导滤波的输出图像为Q，在以像素点(i,j)为中心，r为半径的方形局部窗ω中，引导图像和输出图像呈现的线性关系为：

其中，a,b是方形局部窗ω中的线性系数，通过线性回归分析得a,b的最优解分别为：

其中，|ω|是窗口内像素总数，大小为(2r+1)*(2r+1)，μ,σ²分别为引导图像的局部窗所含像素的平均值和方差，ε为平滑因子，以防止σ²过大的正则化参数，对Q(i,j)取平均值：

5.根据权利要求1所述的对多光谱图像和全色图像进行融合的方法，其特征在于，所述将步骤四得到的I'分量与步骤二得到的I分量进行直方图匹配得到I'_new分量，具体为：

首先，计算步骤四所得新图像的对应I'分量的灰度分布概率密度函数p(r_k)：

其中，n是I'分量的像素总和，n_k表示I'分量中某一灰度级出现的次数，L为图像中灰度级的总数，同理可得经上采样处理后的多光谱图像对应I分量的灰度分布概率密度函数p(z_k)：

其中，N是I分量的像素总和，N_k表示I分量中某一灰度级出现的次数，然后，将多光谱图像的亮度分量I和步骤四所得亮度分量I'分别进行均衡化处理：

最后，为得到直方图匹配过程中的最佳灰度变换关系，对灰度级r_k和z_k进行如下调整：

z_k＝G^-1(v_k)＝G^-1[P_rox(s_k)]＝G^-1{P_rox[T(r_k)]}

其中，P_rox(s_k)表示数值大小与s_k最为接近的v_k，依据r_k和z_k的映射关系，修改图像的灰度级，获得调整后的I'_new分量。