CN104966085A - 一种基于多显著特征融合的遥感图像感兴趣区域检测方法 - Google Patents

Abstract

本发明公开一种基于多显著特征融合的遥感图像感兴趣区域检测方法，属于遥感图像处理及图像识别技术领域。实施过程包括：1)获取一组输入遥感图像的颜色通道并计算各通道颜色直方图；2)由这些直方图计算各颜色通道标准化显著权重；3)计算信息量显著特征图；4)将一组输入遥感图像从RGB颜色空间转换至CIE Lab颜色空间；5)利用聚类算法获得簇；6)计算各簇显著值，得到共有显著特征图；7)融合信息量显著特征图与共有显著特征图获得最终显著图；8)通过最大类间方差法进行阈值分割提取感兴趣区域。与传统方法相比，本发明在无需先验知识库的前提下，实现了对遥感图像感兴趣区域的准确检测，可广泛用于环境监测、土地利用与农业调查等领域。

Description

一种基于多显著特征融合的遥感图像感兴趣区域检测方法

技术领域

本发明属于遥感图像处理及图像识别技术领域，具体涉及一种基于多显著特征融合的遥感图像感兴趣区域检测方法。

背景技术

随着遥感技术的快速发展，遥感影像的数据规模迅速扩大，而遥感图像的感兴趣区域提取能够降低遥感图像分析处理的复杂度，因此遥感图像的感兴趣区域提取也是最近一段时间的关注热点，怎样准确、快速地实现遥感影像感兴趣区域检测已成为当下亟待解决的问题之一。该问题的有效解决将对缓解遥感影像高速获取与低速解译之间的矛盾具有重要意义，对土地利用、灾害评估、城镇规划以及环境监测等相关领域也具有重要的实际应用价值。

传统遥感图像感兴趣区域检测大多是基于全局的，需要先验知识的。但是先验知识库的建立本身是一个很复杂的问题，需综合考虑专家知识库、目标区域特征、背景区域特点等信息。有的方法需要引入对颜色呈现和眼动的心理物理学数据的训练，有的方法对遥感影像感兴趣区域检测与分类则要借助同区域的数字地图。这些算法都需要先验知识库，且计算复杂度较高。

视觉注意模型为遥感图像感兴趣区检测提供了一个全新的视角，不同于传统的检测方法，视觉注意模型完全由数据驱动，不涉及知识库等外部因素的影响，并且具有识别快速结果准确等优势，视觉注意模型受到越来越多的关注，将视觉注意模型引入遥感图像感兴趣区域的检测具有重大的意义。

在基于低层视觉特征的视觉注意模型方面，Itti等人在文章“A Model of Saliency-BasedVisual Attention for Rapid Scene Analysis”中提出了Itti视觉注意方法，该模型接近于人类视觉系统，利用各种视觉特性产生显著图。在基于数学方法的视觉注意模型方面，Harel等人在文章“Graph-Based Visual Saliency”中提出了基于图论的算法(Graph-based visual saliency，GBVS)，该算法通过使用传统的Itti模型模拟视觉注意机制来完成特征提取步骤，继而使用图结构表示图像之间的像素关联，最后引入马尔可夫链(Markow chains)计算显著图。在基于频域分析注意模型方面，Achanta等人在文章“Frequency-tuned Salient RegionDetection”中提出用于显著区域检测的频率调谐法(Frequency-tuned，FT)，将输入的RGB图像转换到CIELab颜色空间并进行高斯平滑，再减去图像特征向量的算术平均后，按点求幅度即得到均匀且边界清晰的显著图。

基于低层视觉特征的视觉注意模型较好地模拟了人眼视觉的关注方式，但是没有充分考虑图像的频域特征，同时计算速度慢、效率低，难以达到实时应用的要求。基于频域分析方法的视觉注意模型形式简洁，易于解释和实现，但是当显著区域占整个图像的比例过大时，或者图像背景过于复杂时，该方法得到的显著图会误将部分背景标为显著区域，且其生物合理性不是非常清楚。近年来国内外学者也提出了将视觉显著性应用于遥感影像感兴趣区域检测的新算法。例如Zhang等人在文章“Fast Detection of Visual Saliency Regions inRemote Sensing Image based on Region Growing”中提出基于小波变换，降低图像分辨率，在视觉特征中引入二维离散矩变换，生成显著图。但是，这些算法都有共同的缺点，它们都只能将显著区域提取出来，却无法区分这些显著区域之间的差别。而一组具有相似感兴趣区域的遥感影像，如果能够利用它们的相似性，就可以排除对感兴趣区域检测有干扰的其他区域。

在计算感兴趣区域掩模方面，传统方法常用一个固定半径圆来描述感兴趣区域，它在识别随机区域时会带来大量冗余信息，而使用单一阈值的速度非常快，但是感兴趣区域会有很多小碎片，区域描述不准确。最大类间方差法(Ostu方法)是一种自动的非参数、无监督的阈值选择法，该方法是自适应计算单阈值的简单高效方法，该方法具有计算简单、自适应强等优点。

发明内容

本发明的目的在于提供了一种基于多显著特征融合的遥感图像感兴趣区域检测方法，该方法用于对遥感图像的感兴趣区域进行精确检测。现有的感兴趣区域检测方法主要是基于全局的，需要先验知识的。但是先验知识库的建立本身是一个很复杂的问题，需综合考虑专家知识库、目标区域特征、背景区域特点等信息。所以本发明方法主要关注两个方面：

1)无需基于全局搜索和建立先验知识库；

2)提升遥感图像感兴趣区域检测精度，获得更为准确的感兴趣区域信息。

本发明所使用的技术方案包括遥感图像的信息量显著特征图生成，共有显著特征图生成，最终显著图生成，感兴趣区域模板生成以及感兴趣区域生成五个主要过程，具体包括以下步骤：

步骤一：计算颜色直方图，即输入一组尺寸为M×N的遥感图像，分别提取每幅图像的每一个颜色通道，用f_c(x，y)表示在颜色通道c中(x，y)位置的颜色强度，构建每幅遥感图像在不同颜色通道的强度直方图H_c(i)，其中M表示图像的长，N表示图像的宽，x、y分别表示图像的横、纵坐标，x＝1、2……M，y＝1、2……N，c表示颜色通道，c＝1、2、3，i表示像素强度值，i＝0、1……255；

步骤二：计算颜色通道c的标准化显著权重，即根据颜色通道c的颜色直方图H_c(i)，计算该颜色通道中每一个像素强度值i的信息量In_c(i)，并将该信息量赋给与该像素强度值相等的像素点，完成全部计算与赋值后，得到颜色通道c的信息量图LOG_c(x，y)，利用该信息量图，得到颜色通道c的显著度h_c，再利用各颜色通道的显著度，计算得到每幅图像的各颜色通道标准化显著权重w_c；

步骤三：计算信息量显著特征图，即利用各颜色通道的标准化显著权重w_c，加权计算得到每幅图像初步的信息量显著特征图，对初步获得的信息量显著特征图进行高斯平滑滤波，滤除噪声后得到每幅图像的最终的信息量显著特征图；

步骤四：将一组遥感图像从RGB颜色空间转换至CIE Lab颜色空间，即分别提取每幅图像每个像素的R、G、B三个颜色通道值，将它们转换至CIE Lab颜色空间，获取L、a、b三个分量，RGB颜色空间中，R表示red红色，G表示green绿色，B表示blue蓝色，CIELab颜色空间中，L表示亮度，L＝0代表黑色，L＝100代表白色，a表示颜色在红/绿之间的位置，a为负值代表绿色，a为正值代表红色，b表示颜色在蓝/黄之间的位置，b为负值代表蓝色，b为正值代表黄色；

步骤五：利用k-means聚类算法完成CIE Lab颜色空间的像素聚类，即通过k-means聚类算法，将这组原始遥感图像映射到CIE Lab颜色空间上的所有像素点的值进行聚类，得到k个簇；

步骤六：计算共有显著特征图，即将第j个簇中含有的像素数与图像总像素数相除，相除的结果定义为第j个簇的权重，其中j＝1、2……k，得到所有k个簇的权重后，利用簇的权重与簇之间的距离计算簇的显著值，把簇的显著值赋给每一个属于该簇的像素点，由此获得一组共有显著特征图；

步骤七：计算最终显著图，即利用各颜色通道直方图信息所获得的信息量显著特征图，与在CIE Lab颜色空间中通过k-means聚类获得的共有显著特征图相乘，从而获得多显著特征融合后的最终显著图；

步骤八：感兴趣区域提取，即通过最大类间方差法得到最终显著图的分割阈值，利用该阈值将最终显著图分割为一幅二值图像模板，用“1”代表感兴趣区域，用“0”代表非感兴趣区，最后将二值图像模板与原始图像相乘得到最终的感兴趣区提取结果。

附图说明

图1为本发明的流程图。

图2为本发明所使用的一组四幅遥感图像示例图片。

图3为本发明的特征图与最终显著图。(a)为示例图片的信息量显著特征图，(b)为示例图片的共有显著特征图，(c)为示例图片的最终显著图。

图4为示例图片采用本发明方法和其他方法生成的显著图的比较。(a)为Itti方法生成的显著图，(b)为GBVS方法生成的显著图，(c)为FT方法生成的显著图，(d)为本发明方法生成的显著图。

图5为示例图片采用本发明方法和其他方法所检测到的感兴趣区域比较。(a)为Itti方法检测到的感兴趣区域图，(b)为GBVS方法检测到的感兴趣区域，(c)为FT方法检测到的感兴趣区域，(d)为本发明方法检测到的感兴趣区域。

具体实施方式

下面结合附图对本发明做进一步详细说明。本发明的总体框架如图1所示，现介绍每一步实现细节。

步骤一：计算颜色直方图；

输入一组尺寸为M×N的遥感图像如图2所示，分别得到每幅图像I_p的每一个颜色通道，用f_c(x，y)表示图像I_p在颜色通道c中(x，y)位置的颜色强度，构建该遥感图像在不同颜色通道的强度直方图H_c(i)，其中M表示图像的长，N表示图像的宽，该组遥感图像的总数为Q，用表示数量为Q的遥感图像组，I_p表示一组遥感图像的第p幅，p＝1、2……Q，x、y分别表示图像的横、纵坐标，x＝1、2……M，y＝1、2……N，c表示颜色通道，c＝1、2、3，i表示像素强度值，i＝0、1……255；

该组图像中的每幅图像的每一个颜色通道的直方图可以用如下公式得到：

$H_c\left(i\right)=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\δ}}_c(x,y)/(M\×N)$

其中，δ_c(x，y)表示颜色通道c的二值化图像，计算公式为：

${\mathrm{\δ}}_c(x,y)=\left\{\begin{array}{cc}1,& f_c(x,y)=i\\ 0,& \mathrm{otherwie}\end{array}\right.$

步骤二：计算颜色通道c的标准化显著权重；

根据图像I_p的颜色通道c的颜色直方图H_c(i)，计算该颜色通道中每一个像素强度值i的信息量In_c(i)，利用该信息量进行计算和赋值，最终得到图像I_p的各颜色通道标准化显著权重w_c，具体由以下四个步骤实现；

(1)根据图像I_p的颜色通道c中的颜色直方图H_c(i)，利用如下公式计算该颜色通道中每一个像素强度值的信息量In_c(i)：

In(i)_c＝-ln(H_c(i))

(2)将该信息量赋给颜色通道c中与该像素强度值相等的像素点，得到颜色通道c的信息量图LOG_c(x，y)，即：

i＝f_c(x，y)

(3)利用颜色通道c的信息量图LOG_c(x，y)，计算得到显著度h_c，计算公式如下：

$h_c=\frac{\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{LOG}}_c(x,y)}{\underset{c=1}{\overset{3}{\mathrm{\Σ}}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{LOG}}_c(x,y)}$

其中有三个颜色通道，则h₁表示颜色通道1的显著度，h₂表示颜色通道2的显著度，h₃表示颜色通道3的显著度；

(4)将颜色通道c的显著度除以三个颜色通道的显著度的，得数取负对数，得到颜色通道标准化显著权重w_c：

$\left\{\begin{array}{c}{w}_1=-\log \left(\frac{h_1}{h_1+h_2+h_3}\right)\\ w_2=-\log \left(\frac{h_2}{h_1+h_2+h_3}\right)\\ w_3=-\log \left(\frac{h_3}{h_1+h_2+h_3}\right)\end{array}\right.$

其中有三个颜色通道，则w₁表示颜色通道1的标准化显著权重，w₂表示颜色通道2的标准化显著权重，w₃表示颜色通道3的标准化显著权重；

步骤三：计算信息量显著特征图；

利用图像I_p的各颜色通道的标准化显著权重w_c，加权计算得到该图像初步的信息量显著特征图Smap(x，y)，对初步的信息量显著特征图进行高斯平滑滤波，滤除噪声后得到最终的信息量显著特征图SS(x，y)：

$\mathrm{Smap}(x,y)=\underset{c=1}{\overset{3}{\mathrm{\Σ}}}{w}_c{f}_c(x,y)$

其中，表示高斯平滑滤波器；

经过以上步骤，获得了遥感图像组中每一幅遥感图像的信息量显著特征图。

步骤四：将遥感图像从RGB颜色空间转换至CIE Lab颜色空间；

由于CIELab的颜色通道在一定程度上去除了亮度信息，反映的内容更接近于色彩感知的本质，因此可以更好地体现出颜色光滑性，基于CIE Lab空间在颜色均匀性上的明显优势，选择在CIE Lab颜色空间上进行聚类，下面先进性颜色空间转换：

分别提取遥感图像组中每幅图像每个像素的R、G、B三个颜色通道值，将它们转换至CIE Lab颜色空间，获取每个像素的L、a、b三个分量，在CIE Lab颜色空间的遥感图像组记为RGB颜色空间中R表示red红色，G表示green绿色，B表示blue蓝色，CIE Lab颜色空间的三个通道分别代表亮度L，L＝0代表黑色，L＝100代表白色，颜色在红/绿之间的位置a，a为负值代表绿色，a为正值代表红色，颜色在蓝/黄之间的位置b，b为负值代表蓝色，b为正值代表黄色；

步骤五：颜色特征聚类；

利用k-means聚类算法，完成CIE Lab颜色空间的像素聚类，即在CIE Lab颜色空间上，将这一组图像所有像素点的值进行聚类，得到k个簇，具体实现步骤如下：

(1)提取遥感图像组中每幅图像在CIE Lab颜色空间的L、a、b三个通道，调整三个通道中的像素点值的范围，使调整后的三个通道的像素点值的范围相同；

(2)同时对图像组中所有图像的三个通道的像素值进行计算，使每个像素点值与最近聚类中心的距离平方和最小，此时，所有最近聚类中心相同的像素点为一个簇，可利用如下公式计算距离平方和W：

$W=\min \left(\underset{r=1}{\overset{n}{\mathrm{\Σ}}}{|{\mathrm{pi}}_r-a_j|}^2\right)$

式中pi_r表示像素值，其中r＝1、2……n，n为图像像素点数，a_j表示聚类中心，其中j＝1、2……k；

步骤六：计算共有显著特征图；

计算得到所有k个簇的权重后，则可利用簇的权重与簇之间的距离计算簇的显著值，把簇的显著值赋给每一个属于该簇的像素点，由此获得一组共有显著特征图，具体实现需要以下三个步骤：

(1)将第j个簇l_j中含有的像素数与图像组总像素数相除，相除的结果定义为第j个簇的权重ω(l_j)，其中j＝1、2……k；

(2)定义D(l_t，l_j)为两个簇l_t、l_j的颜色距离，每一个簇的显著值CL(l_j)可用如下公式计算：

$\mathrm{CL}\left(l_j\right)=\frac{\underset{i\≠j}{\mathrm{\Σ}}\mathrm{\ω}\left(l_j\right)D_l(l_t,l_j)}{\mathrm{\ω}\left(l_j\right)}$

其中，

$D(l_t,l_j)=-\ln (1-\frac{1}{2}\underset{s=1}{\overset{m}{\mathrm{\Σ}}}\frac{{(q_{\mathrm{ts}}-q_{\mathrm{js}})}^2}{q_{\mathrm{ts}}+q_{\mathrm{js}}})$

式中j，t取值均为1、2……k，q_ts为第s个颜色在第t个簇的m种颜色中出现的概率，即第t个簇中有m种像素值，s＝1、2……m；

(3)经过聚类，使每一个像素点的显著值等于该像素点所在簇的显著值，由此获得共有特征显著图SM(x，y)：

当ILab_p(x，y)∈l_j，其中j＝1、2……k，p＝1、2……Q，

SM(x，y)＝CL(l_j)

经过以上步骤，获得了遥感图像组中每一幅遥感图像的共有显著特征图。

步骤七：计算最终显著图；

将通过各颜色通道获得的信息量显著特征图，与在CIE Lab颜色空间通过k-means聚类获得的共有显著特征图对应相乘，从而获得这组遥感图像中每幅图像多显著特征融合后的最终显著图S(x，y)：

S(x，y)＝SS(x，y)×SM(x，y)

步骤八：感兴趣区域提取；

通过最大类间方差法得到最终显著图的分割阈值，利用该阈值将最终显著图分割为一幅二值图像模板，用“1”代表感兴趣区域，用“0”代表非感兴趣区，最后将二值图像模板与原始图像相乘得到最终的感兴趣区提取结果。

本发明的效果可通过以下实验结果与分析进一步说明：

1.实验数据

本发明从SPOT5卫星源图中选取了一组北京某郊区的可见光遥感图像，并分别从中截取生成了大小为1024×1024的一组图作为本文实验源图，如图2所示。

2.对比实验

为了评价本发明方法的性能，我们设计了如下的对比实验，选取了现有的具有代表性的视觉注意方法选取了ITTI方法，GBVS方法，FT方法与本发明方法进行性能对比。从主观上分别对比了不同方法生成的显著图和感兴趣区域图，如图4和图5所示。图4中，(a)为Itti方法生成的显著图，(b)为GBVS方法生成的显著图，(c)为FT方法生成的显著图，(d)为本发明方法生成的显著图。图5中，(a)为Itti方法生成的感兴趣区域图，(b)为GBVS方法生成的感兴趣区域图，(c)为FT方法生成的感兴趣区域图，(d)为本发明方法生成的感兴趣区域图。

经过对比可以看出，利用Itti模型得到的显著图分辨率很低，仅有原图大小的1/256，当最终提取感兴趣区域时，要将显著图放大。而GBVS模型是基于Itti模型的，只是在得到显著图时，利用马尔科夫链。由这两个模型得到的感兴趣区域都会比原本需要提取的区域范围大，即会提取出不需要的部分。利用FT模型，在背景频率变化不大时能够得到较好的提取结果，然而当背景频率变化大时，就会对提取结果造成干扰，而本文的算法则能得到较好的检测结果。

Claims (2)

1.一种基于多显著特征融合的遥感图像感兴趣区域检测方法，本方法针对一组遥感图像进行处理，首先利用遥感图像的颜色信息，通过构建不同颜色通道的颜色直方图并进行加权计算，得到信息量显著特征图，其次利用k-means聚类算法将一组遥感图像在CIE Lab颜色空间上进行聚类并计算显著值，从而获得CIE Lab颜色空间的一组共有显著特征图，然后融合上述两组图得到最终显著图，最后通过最大类间方差法进行阈值分割提取感兴趣区域，其特征在于，包括以下步骤：

步骤一：计算颜色直方图，即输入一组尺寸为M×N的遥感图像，分别提取每幅图像的每一个颜色通道，用f_c(x，y)表示在颜色通道c中(x，y)位置的颜色强度，构建每幅遥感图像在不同颜色通道的强度直方图H_c(i)，其中M表示图像的长，N表示图像的宽，x、y分别表示图像的横、纵坐标，x＝1、2……M，y＝1、2……N，c表示颜色通道，c＝1、2、3，i表示像素强度值，i＝0、1……255；

步骤二：计算颜色通道c的标准化显著权重，即根据颜色通道c的颜色直方图H_c(i)，计算该颜色通道中每一个像素强度值i的信息量In_c(i)，并将该信息量赋给与该像素强度值相等的像素点，完成全部计算与赋值后，得到颜色通道c的信息量图LOG_c(x，y)，利用该信息量图，得到颜色通道c的显著度h_c，再利用各颜色通道的显著度，计算得到每幅图像的各颜色通道标准化显著权重w_c；

步骤三：计算信息量显著特征图，即利用各颜色通道的标准化显著权重w_c，加权计算得到每幅图像初步的信息量显著特征图，对初步获得的信息量显著特征图进行高斯平滑滤波，滤除噪声后得到每幅图像的最终的信息量显著特征图；

步骤四：将一组遥感图像从RGB颜色空间转换至CIE Lab颜色空间，即分别提取每幅图像每个像素的R、G、B三个颜色通道值，将它们转换至CIE Lab颜色空间，获取L、a、b三个分量，RGB颜色空间中，R表示red红色，G表示green绿色，B表示blue蓝色，CIE Lab颜色空间中，L表示亮度，L＝0代表黑色，L＝100代表白色，a表示颜色在红/绿之间的位置，a为负值代表绿色，a为正值代表红色，b表示颜色在蓝/黄之间的位置，b为负值代表蓝色，b为正值代表黄色；

步骤五：利用k-means聚类算法完成CIE Lab颜色空间的像素聚类，即通过k-means聚类算法，将这组原始遥感图像映射到CIE Lab颜色空间上的所有像素点的值进行聚类，得到k个簇；

步骤六：计算共有显著特征图，即将第j个簇中含有的像素数与图像总像素数相除，相除的结果定义为第j个簇的权重，其中j＝1、2……k，得到所有k个簇的权重后，利用簇的权重与簇之间的距离计算簇的显著值，把簇的显著值赋给每一个属于该簇的像素点，由此获得一组共有显著特征图；

步骤七：计算最终显著图，即利用各颜色通道直方图信息所获得的信息量显著特征图，与在CIE Lab颜色空间中通过k-means聚类获得的共有显著特征图相乘，从而获得多显著特征融合后的最终显著图；

步骤八：感兴趣区域提取，即通过最大类间方差法得到最终显著图的分割阈值，利用该阈值将最终显著图分割为一幅二值图像模板，用“1”代表感兴趣区域，用“0”代表非感兴趣区，最后将二值图像模板与原始图像相乘得到最终的感兴趣区提取结果。

2.根据权利要求1所述的一种基于显著特征聚类的遥感图像感兴趣区域提取方法，其特征在于，所述步骤二的具体过程为：

1)根据颜色通道c中的颜色直方图H_c(i)，计算每一个像素强度值的信息量In_c(i)：

In(i)_c＝-ln(H_c(i))

2)将该信息量赋给与该像素强度值相等的像素点，得到颜色通道c的信息量图LOG_c(x，y)，即：

i＝f_c(x，y)，

3)利用颜色通道c的信息量图LOG_c(x，y)，计算得到显著度h_c，由于图像包含了三个颜色通道，因此用h₁表示颜色通道1的显著度，h₂表示颜色通道2的显著度，h₃表示颜色通道3的显著度：

$h_c=\frac{\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{LOG}}_c(x,y)}{\underset{c=1}{\overset{3}{\mathrm{\Σ}}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{LOG}}_c(x,y)}$

4)将颜色通道c的显著度除以三个颜色通道的显著度的和，得数取负对数，得到颜色通道标准化显著权重w_c，

$\left\{\begin{array}{c}{w}_1=-\log \left(\frac{h_1}{h_1+h_2+h_3}\right)\\ w_2=-\log \left(\frac{h_2}{h_1+h_2+h_3}\right)\\ w_3=-\log \left(\frac{h_3}{h_1+h_2+h_3}\right)\end{array}\right.$

由于图像包含了三个颜色通道，因此用w₁表示颜色通道1的标准化显著权重，w₂表示颜色通道2的标准化显著权重，w₃表示颜色通道3的标准化显著权重。