CN110706156A - 基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法 - Google Patents

Abstract

本发明涉及基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法，属于图像处理技术领域。本发明首先设计一种新的多成分分析字典学习模型，在该模型中引入了高、低分辨率稀疏编码系数之间的相关关系。其次，为了补偿超分辨率重建过程中的信息损失，本发明设计一种重建残差补偿机制，将重建残差补偿到重建‑融合的初始结果中，以改善最终处理结果的质量。另外，对于结构和纹理成分，本发明提出采用不同的融合方案。对于结构成分，采用L1范数最大的融合规则；对于纹理成分，本发明提出一种新的显著性度量方案来构建融合结果。本发明提出的方法能同时较好地保留原图中的亮度和细节信息，并在主观和客观评价上获得更优的评价结果。

Description

基于多成分分析和残差补偿的图像融合与超分辨率重建联合 实现方法

技术领域

本发明涉及基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法，属于图像处理技术领域。

背景技术

图像融合技术能够将不同传感器或不同参数设置的同一传感器捕获的同一场景的多个图像中的互补信息进行综合，合成一幅能更准确描述场景信息的图像。图像融合技术已经广泛应用于医学诊断、遥感监测、视频监控、军事等领域。

图像融合技术需要解决的两个关键问题是：(1)图像表示。如何能更有效地表示图像信息，这将直接影响到图像融合图像的质量；(2)融合规则的设计。性能优异的融合规则能有效地提取源图像中的互补信息，得到高质量的融合结果。近年来，大批学者主要围绕这两个问题在图像融合技术方面开展了大量的研究工作，出现了许多图像融合算法。这些图像融合算法大致可分为三类：基于多尺度变换的图像融合算法、基于稀疏表示的图像融合算法和基于深度学习的图像融合算法。这些融合算法在图像融合领域已得到了广泛应用。

但是，上述方法在图像融合过程中不能提升原始图像的空间分辨率。如果源图像的分辨率较低，则融合后的图像也是低分辨率的，这限制了融合结果的进一步应用。为了提高融合图像的空间分辨率，可对融合后的图像进行超分辨率重建或对源图像进行超分辨率重建然后再融合。这种分步式的操作，第一步产生的人工信息将不可避免传播到后一个环节中，使最终的融合结果受到干扰。因此，图像融合与超分辨率的联合实现十分必要。

发明内容

本发明提供了基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法，以用于获得高分辨率的高质量融合图像。

本发明的技术方案是：基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法，所述方法的具体步骤如下：

Step1、收集多组多源高分辨率图像，将其下采样得到对应的低分辨率图像，构建成一一对应的高、低分辨率训练样本集；按照

的滑窗大小将训练集划分成高、低分辨率对应的N个图像块，记为训练样本集Y_i，i＝{l,h}表示高、低分辨率， l表示低分辨率，h表示高分辨率；

Step2、利用训练样本集Y_i对多成分分析字典学习模型进行训练，得到结构字典D_i,c，i＝{l,h}，c表示结构成分和纹理字典D_i,t，i＝{l,h}，t表示纹理成分，以及高、低分辨率稀疏编码相关关系H；

Step3、利用图像分解模型对多源图像

s＝1,2,...,S，共S幅进行分解，得到低分辨率图像结构和纹理分量的编码系数

s＝1,2,...,S；并且，根据高、低分辨率稀疏编码相关关系H得到高分辨率图像结构和纹理分量的编码系数s＝1,2,...,S；

Step4、根据Step2学习得到的字典D_h,c、D_h,t和Step3分解得到的s＝1,2,...,S得到初始超分辨率重建的结果

s＝1,2,...,S；同时根据融合规则得到初始超分辨率重建-融合结果其中F表示融合的意思，零0表示初始的结果；

Step5、根据残差补偿机制，利用Step4中得到的初步超分辨率重建的结果

s＝1,2,...,S得到总的残差补偿值

τ＝1,2,...,T为残差补偿迭代次数；结合初始超分辨率重建-融合结果

得到最终超分辨率重建-融合结果

进一步地，所述步骤Step2中多成分分析字典学习模型为：

其中，i＝{l，h}表示高、低分辨率，j＝{c，t}表示结构成分和纹理成分； Y_i＝[y_i,1,y_i,2,…,y_i,N]∈R^M×N表示训练集，y_n∈R^M是滑窗所取图像块向量化后的数据， Y_i,c∈R^{M ×N}表示图像的结构成分，Y_i,t∈R^M×N表示图像的纹理成分；D_i,c∈R^M×K、 D_i,t∈R^M×K分别表示为结构字典、纹理字典；A_i,c∈R^K×N、A_i,t∈R^K×N分别表示不同分辨率下结构和纹理成分的编码系数矩阵；H∈R^K×K是稀疏编码相关关系；λ₁,λ₂,λ₃,λ₄,λ₅为平衡参数；表示F范数平方运算，||·||₁表示L₁范数，||·||_TV表示TV 范数，A_l,j表示低分辨率下的编码系数矩阵，j＝{c,t}表示结构成分和纹理成分，A_h,j表示高分辨率下的编码系数矩阵。

进一步地，所述步骤Step3中图像分解模型为：

其中，j＝{c,t}表示结构成分和纹理成分，X_l＝[x₁,x₂,x₃,...,x_P]∈R^M×P表示待分解的低分辨率源图像，x_p∈R^M是滑窗所取图像块向量化后的数据，X_l,c∈R^M×P是图像的结构部分；D_l,c∈R^M×K、D_l,t∈R^M×K分别是Step2中训练得到的结构字典、纹理字典；Z_l,c∈R^K×P、Z_l,t∈R^K×P分别表示结构和纹理成分的稀疏编码系数，β₁,β₂,β₃,β₄为平衡参数，

表示F范数平方运算，||·||₁表示L₁范数，||·||_TV表示TV范数。

进一步地，所述步骤Step4中融合规则如下：

(1)基于初始超分辨率重建图像的空间频率Spatial Frequency，SF融合纹理成分的稀疏编码系数：

初始超分辨率重建的结果为

s＝1,2,...,S，将每幅图像被划分成P个块，块的大小为

图像的第p个块的结构和纹理分量表示为

和

其编码系数分别表示为和

p＝1,2,...,P；图像

第p个块的空间频率表示为

对第s幅初始超分辨率重建图像的第p个块，定义它的纹理清晰度为：

其中，

表示图像

第p个块的纹理分量编码系数所有元素绝对值之和，

表示图像的第p个块

的空间频率，定义为：

这里W表示滑窗的尺寸，a＝(W-1)/2，

为：

对于S幅图像第p个块的纹理成分的稀疏编码系数的融合规则为：

其中，

Th表示阈值；

(2)基于L₁范数最大值融合结构成分的稀疏编码系数：

对于S幅图像第p个块的结构成分的稀疏编码系数的融合规则为：

其中，

表示图像第p个块的结构分量编码系数所有元素绝对值之和；

得到

和

之后，基于高分辨率的结构和纹理字典，能得到第p个块的重建-融合的结果：

类似的，根据上述过程，能得到整个图像超分辨率重建-融合的初始结果

进一步地，所述步骤Step5中残差补偿机制如下：

每幅源图像超分辨率重建的初始结果表示为

将

下采样，然后将其与对应的源图像

作差，得到初始低分辨率的重建残差信息：

为了用重建残差优化高分辨率图像，需将低分辨率残差信息插值到与高分辨率图像大小一致的尺寸，高分辨率的重建残差表示为

s＝1,2,...,S， S幅图像总的初始残差信息：

重建残差表示超分辨率过程中丢失的信息，为了提升重建-融合图像的质量，将重建残差分别补偿到初始的超分辨率重建-融合结果中，然后重新计算补偿后的超分辨重建图像与原图之间新的残差，再将其补偿到上一轮重建-融合结果中，如此循环。

本发明首先设计一种新的多成分分析字典学习模型。其中，为刻画低分辨率图像与其对应的高分辨率图像之间的关系，在该模型中引入了高、低分辨率稀疏编码系数之间的相关关系。其次，为了补偿超分辨率重建过程中的信息损失，本发明设计一种重建残差补偿机制，将重建残差补偿到重建-融合的初始结果中，以改善最终处理结果的质量。另外，对于结构和纹理成分，本发明提出采用不同的融合方案。对于结构成分，采用L1范数最大的融合规则；对于纹理成分，本发明提出一种新的显著性度量方案来构建融合结果。

本发明的有益效果是：

(1)提出了高、低分辨率结构和纹理字典对的联合学习模型，并在字典学习模型中建立了高低分辨率编码系数之间的关系，利用关系转换矩阵实现图像的融合与超分辨率重建的联合实现；

(2)提出残差补偿机制，将重建残差补偿到超分辨率重建-融合的结果中，从而提升最终结果的质量；

(3)对不同的成分的编码系数，提出了不同的融合方案。对于结构成分，采用最大L1范数最大的融合方法；对于纹理成分，设计了基于显著性度量的系数选择方案。

(4)实验结果表明，本发明提出的方法能同时较好地保留原图中的亮度和细节信息，并在主观和客观评价上获得更优的评价结果。

附图说明

图1为本发明实施例流程图；

图2为训练样本图像；

图3为待超分辨率重建-融合的低分辨率多源图像；其中(a)为红外与可见光图像，(b)为多聚焦图像，(c)为医学图像；

图4为三组图像的各种算法与本发明方法的实验结果对比。其中，第一组为红外与可见光图像，第二组为多聚焦图像，第三组为医学图像。

具体实施方式

实施例1：如图1-4所示，基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法，所述方法的具体步骤如下：

Step1、收集多张细节丰富的多源图像，如图2所示，其中包括医学图像、人物图象和建筑物图像等，将其下采样得到对应的低分辨率图像，构建成一一对应的高、低分辨率训练样本集；按照

的滑窗大小将训练集划分成高、低分辨率对应的N个图像块，将其向量化形成高、低分辨率训练矩阵，记为训练样本集Y_i，i＝{l,h} 表示高、低分辨率，l表示低分辨率，h表示高分辨率；

Step2、利用训练样本集Y_i对多成分分析字典学习模型进行训练，得到结构字典D_i,c，i＝{l,h}，c表示结构成分和纹理字典D_i,t，i＝{l,h}，t表示纹理成分，以及高、低分辨率稀疏编码相关关系H；

所述多成分分析字典学习模型为：

其中，i＝{l，h}表示高、低分辨率，j＝{c，t}表示结构成分和纹理成分； Y_i＝[y_i,1,y_i,2,…,y_i,N]∈R^M×N表示训练集，y_n∈R^M是滑窗所取图像块向量化后的数据， Y_i,c∈R^{M ×N}表示图像的结构成分，Y_i,t∈R^M×N表示图像的纹理成分；D_i,c∈R^M×K、 D_i,t∈R^M×K分别表示为结构字典、纹理字典；A_i,c∈R^K×N、A_i,t∈R^K×N分别表示不同分辨率下结构和纹理成分的编码系数矩阵；H∈R^K×K是稀疏编码相关关系；λ₁,λ₂,λ₃,λ₄,λ₅为平衡参数，其中λ₁＝0.1，λ₂＝1，λ₃＝0.001，λ₄＝1，λ₅＝1；

表示F范数平方运算，||·||₁表示L₁范数，||·||_TV表示TV范数，A_l,j表示低分辨率下的编码系数矩阵，j＝{c,t}表示结构成分和纹理成分，A_h,j表示高分辨率下的编码系数矩阵。

Step3、输入低分辨率多源图像(如图3所示)，利用图像分解模型对多源图像

s＝1,2,...,S，共S幅进行分解，得到低分辨率图像结构和纹理分量的编码系数s＝1,2,...,S；并且，根据高、低分辨率稀疏编码相关关系H得到高分辨率图像结构和纹理分量的编码系数

s＝1,2,...,S；

所述图像分解模型为：

其中，j＝{c,t}表示结构成分和纹理成分，X_l＝[x₁,x₂,x₃,...,x_P]∈R^M×P表示待分解的低分辨率源图像，x_p∈R^M是滑窗所取图像块向量化后的数据，X_l,c∈R^M×P是图像的结构部分；D_l,c∈R^M×K、D_l,t∈R^M×K分别是Step2中训练得到的结构字典、纹理字典；Z_l,c∈R^K×P、Z_l,t∈R^K×P分别表示结构和纹理成分的稀疏编码系数，β₁,β₂,β₃,β₄为平衡参数，其中β₁＝0.01，β₂＝0.01，β₃＝1，β₄＝1，

表示F范数平方运算， ||·||₁表示L₁范数，||·||_TV表示TV范数。

Step4、根据Step2学习得到的字典D_h,c、D_h,t和Step3分解得到的

s＝1,2,...,S得到初始超分辨率重建的结果

s＝1,2,...,S；同时根据融合规则得到初始超分辨率重建-融合结果

其中F表示融合的意思，零0表示初始的结果；

所述融合规则如下：

(1)基于初始超分辨率重建图像的空间频率(Spatial Frequency，SF)融合纹理成分的稀疏编码系数：

初始超分辨率重建的结果为s＝1,2,...,S，将每幅图像被划分成P个块，块的大小为

图像

的第p个块的结构和纹理分量表示为

和

其编码系数分别表示为和p＝1,2,...,P；图像

第p个块的空间频率表示为

对第s幅初始超分辨率重建图像的第p个块，定义它的纹理清晰度为：

其中，

表示图像

第p个块的纹理分量编码系数所有元素绝对值之和，

表示图像

的第p个块

的空间频率，定义为：

这里W表示滑窗的尺寸，a＝(W-1)/2，

为：

对于S幅图像第p个块的纹理成分的稀疏编码系数的融合规则为：

其中，

Th表示阈值；

(2)基于L₁范数最大值融合结构成分的稀疏编码系数：

对于S幅图像第p个块的结构成分的稀疏编码系数的融合规则为：

其中，

表示图像

第p个块的结构分量编码系数所有元素绝对值之和；

得到

和

之后，基于高分辨率的结构和纹理字典，能得到第p个块的重建-融合的结果：

类似的，根据上述过程，能得到整个图像超分辨率重建-融合的初始结果

Step5、根据残差补偿机制，利用Step4中得到的初步超分辨率重建的结果

s＝1,2,...,S得到总的残差补偿值

τ＝1,2,...,T为残差补偿迭代次数；结合初始超分辨率重建-融合结果

得到最终超分辨率重建-融合结果

所述残差补偿机制如下：

每幅源图像超分辨率重建的初始结果表示为

将

下采样，然后将其与对应的源图像

作差，得到初始低分辨率的重建残差信息：

为了用重建残差优化高分辨率图像，需将低分辨率残差信息

插值到与高分辨率图像大小一致的尺寸，高分辨率的重建残差表示为

S幅图像总的初始残差信息：

重建残差表示超分辨率过程中丢失的信息，为了提升重建-融合图像的质量，将重建残差分别补偿到初始的超分辨率重建-融合结果中，然后重新计算补偿后的超分辨重建图像与原图之间新的残差，再将其补偿到上一轮重建-融合结果中，如此循环。

除主观上对超分辨率图像重建-融合结果进行评价之外，客观评价也必不可少。本发明采用Q_AB/F、Q_W、Q_G、Q_M、Q_AC5个客观评价指标来衡量图像融合的结果。 Q_AB/F通过计算源图像转移到融合图像的边缘信息量来评价融合性能。Q_W可测量融合结果和源图像之间的结构相似性。Q_G计算从源图像转移到融合结果的边缘信息量。 Q_M可以测量融合结果中源图像边缘信息的保存程度。Q_AC是一个盲图像质量评估指标。在计算Q_AC指标时，将图像划分为重叠的块，根据图像块的质量不同进行加权，最后得到整个图像的质量。以上这些指标的值越大表明相应算法的图像处理结果越好。

表1给出了三类不同的低分辨率多源图像超分辨率重建-融合的客观评价数据，从数据中可以发现本发明方法具有最好的客观评价值，因此本发明提出的方法相对于其它方法具有更优的超分辨率重建-融合性能。

表1客观质量评估不同方法的融合效果

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (5)

1.基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法，

所述方法的具体步骤如下：

Step1、收集多组多源高分辨率图像，将其下采样得到对应的低分辨率图像，构建成一一对应的高、低分辨率训练样本集；按照

的滑窗大小将训练集划分成高、低分辨率对应的N个图像块，记为训练样本集Y_i，i＝{l,h}表示高、低分辨率，l表示低分辨率，h表示高分辨率；

Step2、利用训练样本集Y_i对多成分分析字典学习模型进行训练，得到结构字典D_i,c，i＝{l,h}，c表示结构成分和纹理字典D_i,t，i＝{l,h}，t表示纹理成分，以及高、低分辨率稀疏编码相关关系H；

Step3、利用图像分解模型对多源图像

共S幅进行分解，得到低分辨率图像结构和纹理分量的编码系数

并且，根据高、低分辨率稀疏编码相关关系H得到高分辨率图像结构和纹理分量的编码系数

Step4、根据Step2学习得到的字典D_h,c、D_h,t和Step3分解得到的

得到初始超分辨率重建的结果

同时根据融合规则得到初始超分辨率重建-融合结果

其中F表示融合的意思，零0表示初始的结果；

Step5、根据残差补偿机制，利用Step4中得到的初步超分辨率重建的结果

得到总的残差补偿值

为残差补偿迭代次数；结合初始超分辨率重建-融合结果

得到最终超分辨率重建-融合结果

2.根据权利要求1所述的基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法，其特征在于：所述步骤Step2中多成分分析字典学习模型为：

其中，i＝{l，h}表示高、低分辨率，j＝{c，t}表示结构成分和纹理成分；Y_i＝[y_i,1,y_i,2,…,y_i,N]∈R^M×N表示训练集，y_n∈R^M是滑窗所取图像块向量化后的数据，Y_i,c∈R^M×N表示图像的结构成分，Y_i,t∈R^M×N表示图像的纹理成分；D_i,c∈R^M×K、D_i,t∈R^M×K分别表示为结构字典、纹理字典；A_i,c∈R^K×N、A_i,t∈R^K×N分别表示不同分辨率下结构和纹理成分的编码系数矩阵；H∈R^K×K是稀疏编码相关关系；λ₁,λ₂,λ₃,λ₄,λ₅为平衡参数；

表示F范数平方运算，||·||₁表示L₁范数，||·||_TV表示TV范数，A_l,j表示低分辨率下的编码系数矩阵，j＝{c,t}表示结构成分和纹理成分，A_h,j表示高分辨率下的编码系数矩阵。

3.根据权利要求1所述的基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法，其特征在于：所述步骤Step3中图像分解模型为：

其中，j＝{c,t}表示结构成分和纹理成分，X_l＝[x₁,x₂,x₃,...,x_P]∈R^M×P表示待分解的低分辨率源图像，x_p∈R^M是滑窗所取图像块向量化后的数据，X_l,c∈R^M×P是图像的结构部分；D_l,c∈R^M×K、D_l,t∈R^M×K分别是Step2中训练得到的结构字典、纹理字典；Z_l,c∈R^K×P、Z_l,t∈R^K×P分别表示结构和纹理成分的稀疏编码系数，β₁,β₂,β₃,β₄为平衡参数，

表示F范数平方运算，||·||₁表示L₁范数，||·||_TV表示TV范数。

4.根据权利要求1所述的基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法，其特征在于：所述步骤Step4中融合规则如下：

(1)基于初始超分辨率重建图像的空间频率Spatial Frequency，SF融合纹理成分的稀疏编码系数：

初始超分辨率重建的结果为将每幅图像被划分成P个块，块的大小为图像的第p个块的结构和纹理分量表示为

和

其编码系数分别表示为和

图像

第p个块的空间频率表示为

对第s幅初始超分辨率重建图像的第p个块，定义它的纹理清晰度为：

其中，

表示图像第p个块的纹理分量编码系数所有元素绝对值之和，

表示图像

的第p个块的空间频率，定义为：

这里W表示滑窗的尺寸，a＝(W-1)/2，为：

对于S幅图像第p个块的纹理成分的稀疏编码系数的融合规则为：

其中，

Th表示阈值；

(2)基于L₁范数最大值融合结构成分的稀疏编码系数：

对于S幅图像第p个块的结构成分的稀疏编码系数的融合规则为：

其中，

表示图像

第p个块的结构分量编码系数所有元素绝对值之和；

得到和之后，基于高分辨率的结构和纹理字典，能得到第p个块的重建-融合的结果：

根据上述过程，能得到整个图像超分辨率重建-融合的初始结果

5.根据权利要求1所述的基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法，其特征在于：所述步骤Step5中残差补偿机制如下：

每幅源图像超分辨率重建的初始结果表示为

将

下采样，然后将其与对应的源图像

作差，得到初始低分辨率的重建残差信息：

为了用重建残差优化高分辨率图像，需将低分辨率残差信息

插值到与高分辨率图像大小一致的尺寸，高分辨率的重建残差表示为

S幅图像总的初始残差信息：

重建残差表示超分辨率过程中丢失的信息，为了提升重建-融合图像的质量，将重建残差分别补偿到初始的超分辨率重建-融合结果中，然后重新计算补偿后的超分辨重建图像与原图之间新的残差，再将其补偿到上一轮重建-融合结果中，如此循环。

Images