CN101527039B - 基于边缘特征的图像自动配准及快速超分辨率融合方法 - Google Patents

Abstract

一种基于边缘特征的图像自动配准及快速超分辨率融合方法，涉及图像处理领域，本发明的特征在于具有以下处理步骤：(1)计算机从USB等接口读入待处理的两类目标图像至缓冲区，其中一类是低分辨率多光谱图像，另一类是高分辨率灰度图像；(2)采用小波变换和最小二乘拟合模型求取两类图像的配准参数；(3)将配准的多光谱图像用线性IHS变换获取强度分量图像，然后将高分辨率灰度图像直方图匹配到强度分量；(4)用直方图匹配后的高分辨率灰度图像替换强度分量，线性IHS逆变换实现图像超分辨率融合；(5)输出超分辨多光谱率彩色图像。本发明提供的方法复杂度和执行速度低于传统方法，占用计算机系统资源少，便于在嵌入式设备上执行。

Description

基于边缘特征的图像自动配准及快速超分辨率融合方法

一、技术领域

本发明涉及图像处理理论，实现了一种基于边缘特征的图像自动配准及快速超分辨率融合方法。

二、背景技术

在视频监控、资源勘查、工件表面品质在线检测和军事侦察等应用中，高分辨率图像往往可以提供所需要的重要细节信息。为了获得高分辨率的图像，人们首先想到是提高硬件设备的性能，但是为此会加大制造成本，且现有的制造业技术基本已经可以做到发挥现有材料的最大物理特性，分辨率提高的尺度也非常有限。综上所述采用提高硬件性能来获得高分辨率图像的方法不能满足未来发展的需要。

目前，一种采用信号处理技术来获得高分辨率的图像的方法已经成为这个领域研究的热点。这类方法主要思想是利用原有成像设备采用信号处理技术对采集到的低分辨率图像进行软件处理得到分辨率更高的图像。

现有采用软件算法获得高分辨率图像的方法都是依靠高性能通用PC机通过添加一定的处理程序来完成图像的配准和重建操作。由于在图像重建中，参与运算的不只是一幅图像，而且重建算法的计算量非常大，因此，快速、实时性成为一个亟待解决的问题。

与目前常用的分辨率提高方法不同，本发明采用快速线性IHS变换节和模糊积分相结合来实现图像的快速、实时超分辨率重建，而且本发明的融合方法不同与其他融合方法，可以很方便地调节模糊密度来调控融合图像的光谱特性和空间细节特性。另外本发明采用了快速线性IHS融合方法可以加快图像融合的速度。在重建预处理阶段，发明了一种高性能的小波结合最小二乘相结合的自动配准，使得图像配准的精度大为提高。重构算法可以较好的满足实时性要求较高的场合(如工件表面品质检测)，便于在成本低的嵌入式平台上实现本方法。

申请人2001年主持和承担的“综合监视监控技术与系统集成理论研究及其应用”获江苏省科技进步二等奖；2005年主持和承担的“计算智能与图像信息处理研究及其应用系统”获中国电子学会电子信息科学技术三等奖；出版专著2部，2001年《数字图像的智能信息处理》由国防工业出版社出版，独著；2004《多媒体监视监控技术与系统》由国防工业出版社出版；2006年《信息与系统集成技术与应用》由科学出版社出版，通过多年的研究和实践，申请人熟悉和掌握数字图像智能处理和监视监控领域的研究难点和重点。

申请人结合博士研究生的培养，特别注重理论与方法的研究工作。近年来进行了基于3S(GPS、GIS、RS)技术的多源、多尺度信息融合理论、方法，拓展信息处理的应用领域。取得的主要成果有″综合监视监控技术与系统集成研究及其应用″，2001获江苏省科技进步二等奖，国家发明专利：多源监测数据信息融合处理方法。开展了″“工业噪声背景下的监控图像预处理技术”、″极低码率下工业视频图像压缩编码技术″、″多媒体监视监控及数字视频系统集成技术″等研究，提出了十多种图象处理的智能新方法，有些已在实际中得到应用。2001年″计算智能与图像信息处理研究及其应用系统″项目通过江苏省科技厅鉴定。申请人提出了基于模糊积分的多源、多尺度遥感图像的超分辨率融合处理算法、基于PCA结合小波变换的多源、多尺度遥感图像的超分辨率融合处理、自适应模糊密度赋值的小波变换遥感图像融合算法和改进的基于小波变换的遥感图像融合方法。上述研究分别是国家自然科学基金、江苏省自然科学基金、国家863项目的资助下进行的，出版专著“数字图像的智能信息处理”，有的成果发表在国内外学术刊物上，部分成果应用于一些横向课题中。

三、发明内容

本发明通过提出了一种基于边缘特征的图像自动配准及快速超分辨率融合方法。该方法克服了以往图像融合中执行速度慢、算法的复杂度高等缺点。根据图像信息特点以及应用特点，本发明提出了实现一路低分辨率多光谱彩色图像和一路高分辨率灰度图像通过自动配准及快速超分辨率融合方法，得到高分辨率彩色图像。

本发明的技术思路特征为：

记低分辨率彩色图像为M，其有3个波段，分别为M₁，M₂，M₃，记高分辨率灰度图像为P。采用超分辨率融合算法，组合M的光谱信息和P的空间细节信息，可以获取超分辨率的彩色图像F。具体的算法可以分为三个部分：

1.图像的配准

采用小波变换结合最小二乘拟合的模型来求取M和P的配准参数。其中小波变换用来提取图像的边缘特征点，再使用仿射变换建立M图像的边缘特征点与P图像的边缘特征点的对应关系，最后依据最小二乘拟合求取仿射变换参数，从而将M图像配准到P图像，图像配准流程见图3。

1)小波变换提取图像的边缘

利用小波变换提取图像边缘的算法概括如下：首先利用二进小波变换将图像分解为J层。针对于j层的高频分量，求解小波模极大W_j，并设定一个阈值T，如果W_j＞T则认为是边缘点。

利用上述算法，则对图像M₁(本专利中以M₁为例，M₂，M₃类似)和P可以分别得到边缘特征点集

(_j1(x′，y′)，_j2(x′，y′)，Λ，_jn(x′，y′))、(_j1(x，y)，_j2(x，y)，Λ，_jn(x，y))①

式中_jk(x′，y′)表示图像M₁在小波分解j层第k个边缘点的坐标

_jk(x，y)表示图像P在小波分解j层第k个边缘点的坐标

k＝1，2，Λ，n

特征点集中共有n个边缘特征点。

2)仿射变换

因为本专利考虑的图像配准可以认为是刚体变换，故此可以采用仿射变换来表征特征点之间的关系，仿射变换如下式：

$\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)\left(\begin{array}{c}x\′\\ y\′\end{array}\right)+\left(\begin{array}{c}{b}_1\\ b_2\end{array}\right)$ ②

式中(x，y)表示参考图像的坐标，本专利中的参考图像指P图像。

(x′，y′)表示待配准图像的坐标，本专利中的待配准图像指M₁图像。

表示图像的旋转和缩放

(b₁，b₂)表示图像在x、y方向的平移量。

3)最小二乘拟合

记A＝(a₁₁ a₁₂ b₁)

B＝(b₂₁ b₂₂ b₂)

$Q=\left(\begin{array}{cccc}(x\′)_{j1}& (x\′)_{j2}& \mathrm{\Λ}& (x\′)_{\mathrm{jn}}\\ (y\′)_{j1}& (y\′)_{j2}& \mathrm{\Λ}& (y\′)_{\mathrm{jn}}\\ 1& 1& \mathrm{\Λ}& 1\end{array}\right)$ ③

M_x＝(_j1(x)，_j2(x)，Λ，_jn(x))

M_y＝(_j1(y)，_j2(y)，Λ，_jn(y))

由此可建立最小二乘方程如下：

AQ＝Mx                ④

BQ＝My

由上述最小二乘方程可以求解出A、B

同理可求出1，2，Λ，J层的各层仿射变换参数，最终的仿射变换参数为各层仿射变换参数的平均。

2.图像的直方图匹配

记经过配准的多光谱图像为M_R，其共有三个波段分别为M_R1，M_R2，M_R3。

假设IHS变换是线性变换，则对图像M_R可以进行如下的IHS变换：

$\left[\begin{array}{c}I\\ H\\ S\end{array}\right]=\left[\begin{array}{ccc}1/3& 1/3& 1/3\\ -\sqrt{2}/6& -\sqrt{2}/6& 2\sqrt{2}/6\\ 1/\sqrt{2}& -1/\sqrt{2}& 0\end{array}\right]\·\left[\begin{array}{c}{M}_{R1}\\ M_{R2}\\ M_{R3}\end{array}\right]$ ⑤

将图像P的直方图匹配到强度分量图像I，并记经过直方图匹配后的图像分别为P₁，IHS变换流程如图4。

3.图像的超分辨率融合

图像的超分辨率融合采用线性IHS逆变换，这主要考虑线性IHS变换较常规的IHS变换运算量小、速度快。

具体超分辨率融合过程为：将P₁与I进行基于模糊积分的融合，图5为模糊积分图像融合流程图，具体融合过程如下：

设I图像、P图像最大值分别为M₁和M₂，记M＝max(M₁，M₂)。将I图像、P图像的像素值看作特征s，则在像素位置(m，n)处的信任函数分别记为h(s_I，m，n)、h(s_P，m，n)。令h(s_I，m，n)＝I(m，n)/M，h(s_P，m，n)＝P(m，n)/M

依据模糊积分的单调性的约束条件，像素位置为(m，n)处，记s＝{s₁(m，n)，s₂(m，n)}，其中{s₁(m，n)，s₂(m，n)}定义如下：

$\left\{\begin{array}{cc}{s}_1(m,n)=I(m,n),s_2(m,n)=P(m,n)& \mathrm{if\; h}(s_I;m,n)\≤h(s_P;m,n)\\ s_1(m,n)=P(m,n),s_2(m,n)=I(m,n)& \mathrm{if\; h}(s_I;m,n)>h(s_P;m,n)\end{array}\right.$ ⑥

因此，模糊测度

g(A₁)＝g({s₁(m，n)，s₂(m，n)})＝1   ⑦

g(A₂)＝g({s₂(m，n)})                ⑧

由上述分析可见，只要确定g({s₂(m，n)})就可以求出融合后的像素值，而g({s₂(m，n)})就是图像I或图像P在(m，n)处像素值的模糊测度。为了表述方便，此处记g({s₂(m，n)})为g(m，n)。

记模糊积分的结果为FI(m，n)，融合后的像素值为P′(2j；m，n)

$P\′(m,n)=\left\{\begin{array}{cc}\mathrm{FI}(m,n)\×M& \mathrm{if\; h}(s_I;m,n)\≤h(s_P;m,n)\\ \mathrm{FI}(m,n)\×M& \mathrm{if\; h}(s_I;m,n)>h(s_P;m,n)\end{array}\right.$

$=\left\{\begin{array}{cc}I(m,n)+(P(m,n)-I(m,n))\×g(m,n)& \mathrm{if\; h}(s_I;m,n)\≤h(s_P;m,n)\\ P(m,n)+(I(m,n)-P(m,n))\×g(m,n)& \mathrm{if\; h}(s_I;m,n)>h(s_P;m,n)\end{array}\right.$ ⑨

其中g(m，n)的大小可以根据对融合图像的属性要求而定，若关于图像P的g(m，n)越来越小，则对I图像的g(m，n)越来越大，则融合图像的光谱信息越来越好，由此可见，g(m，n)在中间取值范围内可以使得融合图像的光谱和空间细节信息最好。

将P′图像替换强度分量图像I，保持图像M_R IHS变换后的H分量图像、S分量图像不变，利用线性IHS变换的逆变换公式(见⑩式)，可得最终的超分辨率彩色图像F为：

$\left[\begin{array}{c}F\left(R\right)\\ F\left(G\right)\\ F\left(B\right)\end{array}\right]=\left[\begin{array}{ccc}1& -1/\sqrt{2}& 1/\sqrt{2}\\ 1& -1/\sqrt{2}& -1/\sqrt{2}\\ 1& \sqrt{2}& 0\end{array}\right]\·\left[\begin{array}{c}{P}_1\\ H\\ S\end{array}\right]$ ⑩

IHS逆变换流程如图6所示。

四、附图说明

下面结合附图，详细说明本发明的实施例，其中：

附图1是本发明的工作流程图；

附图2是本发明的方法流程图；

附图3是本发明的基于最大互信息的图像配准流程图；

附图4是本发明的多光谱图像的线性IHS正变换流程图；

附图5是本发明的模糊积分图像融合流程图；

附图6是本发明的多光谱图像的线性HIS逆变换流程图。

五、具体实施方式

如图1所示，计算机从USB、红外等接口同时读入低分辨率多光谱彩色图像和高分辨率灰度图像，记低分辨率的彩色图像为M，其有3个波段，分别为M₁，M₂，M₃，记高分辨率灰度图像为P，所得到的图像M和P暂存缓冲区，先获取图像M和P的配准参数，然后依次经过HIS变换和IHS逆变换获得超分辨率的彩色图像F，存储于缓冲区，或直接输出于监视器，或通过网络接口远程传输。

如图2所示，是本发明的方法流程图，算法执行，首先将灰度图像P配准到I分量，之后将直方图配准后的灰度图像与I分量做基于模糊积分的融合得到新的强度分量度图像P′作为IHS逆变换的输入量之一；提取H分量和S分量作为IHS逆变换的输入量，通过对P′分量、H分量和S分量进行IHS逆变换后直接得到彩色超分辨率图像F。所述的配准，先采用小波变换结合最小二乘拟合的模型来求取M和P的配准参数。其中小波变换用来提取图像的边缘特征点，再使用仿射变换建立M图像的边缘特征点与P图像的边缘特征点的对应关系，最后依据最小二乘拟合求取仿射变换参数，从而将M图像配准到P图像。

Claims (2)

1.一种基于边缘特征的图像自动配准及快速超分辨率融合方法，是由各类摄像设备完成待处理的两类图像，一类为低分辨率多光谱彩色图像，另一类为高分辨率的灰度图像，将目标图像数字化为便于通过USB、红外接口输入计算机处理，处理后的结果图像输出至缓冲器，可以直接在本地进行存储，或直接输出显示，或通过网络存储设备进行远程传输，其特征在于图像自动配准及快速超分辨率融合方法包括下述步骤：

1)采用小波变换结合最小二乘拟合的模型来求取M图像和P图像的配准参数实现图像的配准，其中小波变换用来提取图像的边缘特征点，再使用仿射变换建立M图像的边缘特征点与P图像的边缘特征点的对应关系，最后依据最小二乘拟合求取仿射变换参数，从而将M图像配准到P图像，其特征为：

a)小波变换提取图像的边缘

利用小波变换提取图像边缘的算法概括如下：首先利用二进小波变换将图像分解为J层，针对于j层的高频分量，求解小波模极大W_j，并设定一个阈值T，如果W_j＞T则认为是边缘点；

b)仿射变换

考虑的图像配准可以认为是刚体变换，故此可以采用仿射变换来表征特征点之间的关系，仿射变换如下式：

$\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)\left(\begin{array}{c}x\′\\ y\′\end{array}\right)+\left(\begin{array}{c}{b}_1\\ b_2\end{array}\right)$ ①

式中(x，y)表示参考图像的坐标，

(x′，y′)表示待配准图像的坐标，

表示图像的旋转和缩放

(b₁，b₂)表示图像在x、y方向的平移量；

c)最小二乘拟合

记A＝(a₁₁ a₁₂ b₁)

B＝(b₂₁ b₂₂ b₂)

$Q=\left(\begin{array}{cccc}(x\′)_{j1}& (x\′)_{j2}& \mathrm{\Λ}& (x\′)_{\mathrm{jn}}\\ (y\′)_{j1}& (y\′)_{j2}& \mathrm{\Λ}& (y\′)_{\mathrm{jn}}\\ 1& 1& \mathrm{\Λ}& 1\end{array}\right)$ ②

M_x＝(_j1(x)，_j2(x)，Λ，_jn(x))

M_y＝(_j1(y)，_j2(y)，Λ，_jn(y))

由此建立最小二乘方程如下：

AQ＝Mx         ③

BQ＝My         ④

由上述最小二乘方程可以求解出A、B；

2)图像的直方图匹配

记经过配准的多光谱图像为M_R，其共有三个波段分别为M_R1，M_R2，M_R3，

将图像P的直方图匹配到强度分量图像I，并记经过直方图匹配后的图像分别为P₁；

3)图像的超分辨率融合

图像的超分辨率融合采用线性IHS逆变换，这主要考虑线性IHS变换较常规的IHS变换运算量小、速度快；

具体超分辨率融合过程为：

设I图像、P图像最大值分别为M₁和M₂，记M＝max(M₁，M₂)

，将I图像、P图像的像素值看作特征s，则在像素位置(m，n)处的信任函数分别记为h(s_I，m，n)、h(s_P，m，n)

，令h(s_I，m，n)＝I(m，n)/M，h(s_P，m，n)＝P(m，n)/M

依据模糊积分的单调性的约束条件，像素位置为(m，n)处，记s＝{s₁(m，n)，s₂(m，n)}，其中{s₁(m，n)，s₂(m，n)}定义如下：

$\left\{\begin{array}{cc}{s}_1(m,n)=I(m,n),s_2(m,n)=P(m,n)& \mathrm{if\; h}(s_I;m,n)\≤h(s_P;m,n)\\ s_1(m,n)=P(m,n),s_2(m,n)=I(m,n)& \mathrm{if\; h}(s_I;m,n)>h(s_P;m,n)\end{array}\right.$ ⑤

因此，模糊测度

g(A₁)＝g({s₁(m，n)，s₂(m，n)})＝1       ⑥

g(A₂)＝g({s₂(m，n)})                    ⑦

只要确定g({s₂(m，n)})就可以求出融合后的像素值，而g({s₂(m，n)})就是图像I或图像P在(m，n)处像素值的模糊测度，为了表述方便，此处记g({s₂(m，n)})为g(m，n)；

记模糊积分的结果为FI(m，n)，融合后的像素值为P′(2^j；m，n)

$P\′(m,n)=\left\{\begin{array}{cc}\mathrm{FI}(m,n)\×M& \mathrm{if\; h}(s_I;m,n)\≤h(s_P;m,n)\\ \mathrm{FI}(m,n)\×M& \mathrm{if\; h}(s_I;m,n)>h(s_P;m,n)\end{array}\right.$

$=\left\{\begin{array}{cc}I(m,n)+(P(m,n)-I(m,n))\×g(m,n)& \mathrm{if\; h}(s_I;m,n)\≤h(s_P;m,n)\\ P(m,n)+(I(m,n)-P(m,n))\×g(m,n)& \mathrm{if\; h}(s_I;m,n)>h(s_P;m,n)\end{array}\right.$ ⑧

其中g(m，n)的大小可以根据对融合图像的属性要求而定，若关于图像P的g(m，n)越来越小，则对I图像的g(m，n)越来越大，则融合图像的光谱信息越来越好，由此可见，g(m，n)在中间取值范围内可以使得融合图像的光谱和空间细节信息最好。

2.根据权利要求1所述的基于边缘特征的图像自动配准及快速超分辨率融合方法，其特征在于采用IHS逆变换实现最终的超分辨率彩色图像的公式为：

$\left[\begin{array}{c}F\left(R\right)\\ F\left(G\right)\\ F\left(B\right)\end{array}\right]=\left[\begin{array}{ccc}1& -1/\sqrt{2}& 1/\sqrt{2}\\ 1& -1/\sqrt{2}& -1/\sqrt{2}\\ 1& \sqrt{2}& 0\end{array}\right]\·\left[\begin{array}{c}{P}_1\\ H\\ S\end{array}\right]$ ⑨

Images