CN102722891B - 一种图像显著度检测的方法 - Google Patents

Abstract

本发明属于图像显著度检测技术领域。其特征是能够对任意一幅图像的显著目标进行检测，涉及到图像处理的相关知识。首先，将图像过分割形成超像素，并进行Harris兴趣点检测形成凸包；其次，对图像进行边缘检测并计算图像的边缘权重图；然后，使用边缘权重图度量颜色空间信息得到先验图；以先验图作为基准使用软分割得到观测似然概率；最后，使用贝叶斯框架结合先验图和观测似然概率得到显著度检测结果。本发明的益处在于能够很好的消除背景噪声，平滑的高亮图像目标，能够处理在显著性检测中一直难以处理的目标颜色与背景相似、大目标和复杂背景的情况，并能够很好的应用于一般图像中。

Description

一种图像显著度检测的方法

技术领域

本发明属于图像显著度检测技术领域，能够对任意一幅图像的显著目标进行检测，涉及到图像处理的相关知识。

背景技术

随着图像处理技术的不断发展，图像显著度检测，并作为图像的预处理方法被广泛应用于图像压缩、图像分类及图像分割等多个领域。

显著度检测主要分为两大类：自顶向下和自底向上的。自顶向下的方法需要一定的先验知识，给定一定的样本集进行训练得到图像大致的模型，然后对测试图像通过模型进行拟合判断。自顶向下的方法虽然能够对比较复杂的图像进行处理，但是由于训练集的限制，导致该类方法的扩展性较差。自底向下的方法对图像的颜色、亮度、纹理等信息进行处理，从而找到图像的显著性区域。如Itti等人于1998年在PAMI期刊中发表了‘A model of saliency-based visual attention for rapid scene analysis’,该文提出了一种中心边缘对比度的方法，结合了亮度、颜色和方向信息，使用滑动窗在多尺度下得到显著图； 2009年，Achanta 等人在CVPR会议的‘Frequency-tuned salient region detection’ 提出了一种基于中心-周围对比原则的显著性检测方法，该方法通过比较每个像素与整幅图像的颜色特征的平均值来计算每个像素的显著值。 Rahtu等人于2010年ECCV会议上发表的‘Segmenting salient objects from images andvideos’，该论文分析了多种图像显著性检测方法之后，提出了一种基于滑动窗机制的中心与周围对比方法，并使用贝叶斯框架得到最终的显著目标检测结果。

不仅如此，近年来提出了多种关于图像显著度检测的发明。在专利ZL200910046276.2中公开了《基于区域显著性的显著对象提取方法》，该方法对多分辨率下提取图像的对比度得到图像的显著目标，通过得到的图像显著度图分割得到最终的显著目标；2010年，由卿来云等人公开了专利ZL201010034301.8《一种图像显著区域检测方法》,利用中频滤波的方法得到图像的显著度；2011年，李永杰等人在专利ZL201110163787.X中提出了一种基于Itti98的改进方法《一种复杂场景的显著区域检测方法》，通过离散小波变换使用多尺度多特征融合金字塔特征得到最终显著度图。

尽管目前的自底向上的显著性检测算法取得了不错的效果，但仍存在几个问题需要解决。首先，现有的大部分的图像显著度方法一般容易检测到目标，但是集中在图像的边缘上，难以均匀的高亮整个显著目标，这是由于中心-周围方法自身的机制造成的，边缘上中心和周围的各种特征差异最大，容易高亮，而目标中心部分由于周围窗口仍是目标，因而差异较小，较难高亮。其次，由于未知目标的大小、位置，因而需要使用滑动窗机制对整幅图像进行搜索，从而加大了计算量和冗余问题。最后，当背景比较复杂，含有较多的边缘和颜色差异时，现存的自底向上的方法由于只依赖于低层次的视觉信息，背景会对目标检测产生较大影响，会对许多无关的低级视觉信号做出回应而且易丢失感兴趣的目标的信息。

发明内容

本发明要解决的技术问题是：对于给定的任意一幅图像，没有任何的先验信息的情况下得到图像的显著性目标。不仅如此，该发明还要能够处理复杂图像的显著性目标，如图像的目标较大，目标具有与背景相似的颜色和多个目标的情况。另外，我们还将得到的显著度图用于图像分割中，很好的实现图像分割。

本发明的技术方案是依据一个观测到的结论：图像中最显著的边缘一般是属于图像中的目标和背景之间的边缘，而图像目标或者背景内部的边缘稍弱，因而可以通过图像的边缘找到图像的显著性目标。不仅如此，滑动窗具有很高的计算复杂度，我们使用兴趣点检测得到大致的图像区域来代替滑动窗从而降低计算复杂度，提高目标的准确度和背景的抑制。具体步骤如下：

（1）图像目标粗定位

角点检测是一种常用的兴趣点检测方法，这种方法作为一种特征提取方法被广泛的应用于图像处理的多个领域，如图像分类、图像匹配等。显著点提供了场景中人们感兴趣的目标的有用的空间信息。本发明使用颜色显著性增强的Harris兴趣点来检测一幅颜色图中显著目标的角点或是边缘上的点。和根据图像亮度信息的兴趣点相比，这种方法得到的基于颜色显著性加强的Harris兴趣点更加鲁棒，而且大部分能够包围在图像显著目标的边界上。我们将检测出靠近图像边缘的Harris角点去除，并连接得到的最大凸边形作为图像的凸包，凸包的内部认为是目标，外部认为是背景。

(2) 目标先验图

目标的粗定位——凸包虽然能够比较好的定位到目标，但是由于背景一般也会存在一定的兴趣点，因而凸包内可能含有一部分的背景，而且由于兴趣点个数的限制，导致凸包内的目标可能不够完整。在粗定位中凸包内的明显边界属于目标与背景的可能性较大，属于目标或背景内部边缘的可能性较小，因而使用边界信息来定位目标。

本发明是基于超像素层次的。超像素是中层次尺度，能够很好地保留图像中的边缘信息，不仅如此，还能够保留图像局部的结构信息。首先，我们对给定的任意一幅图像进行过分割，得到N个超像素，并使用边缘概率（Probabilityof Boundary）得到图像的边界图。我们将超像素的边缘像素的PB均值作为该超像素的边缘特征：

$r_i^{\mathrm{PB}}=\frac{1}{\left|E_i\right|}{\mathrm{\Σ}}_{p_k\∈E_i}{p}_k^{\mathrm{PB}}---\left(1\right)$

其中，表示超像素r_i的PB值，E_i表示超像素r_i的边缘像素集，|E_i|表示超像素边缘像素集的基，表示像素p_k的PB值，值越大，表示该超像素边缘像素属于图像整体边缘的可能性越大，表示该超像素为图像边缘超像素的可能性越高；从另一方面来说，根据上面的假设，就是属于目标与背景之间边缘的可能性越高，通过该边缘找到目标的可能性越高。

为了去掉在边缘上面的背景，本专利使用与凸包外部的差异来剔除背景噪声，形成边缘权重图：

${\mathrm{\ω}}_i=r_i^{\mathrm{PB}}\×d(r_i,c_{\mathrm{out}})---\left(2\right)$

其中，ω_i是第i个超像素的权重，d表示欧几里德距离，c_out表示凸包外部的超像素的颜色均值，d(r_i,c_out)表示超像素r_i与凸包外部超像素均值之间的欧式距离。使用该加权的凸包来计算图像的先验图可以有效的去除背景，这是由于凸包内比较显著地边缘超像素既含有前景又含有背景，但是对于背景边缘超像素，虽然它们有比较大的值，但是它们与凸包外部的超像素颜色距离较小，从而降低了该类超像素的权重；而前景边缘超像素既有较大的值，与外部的颜色差异也较大，使得权重较大；因而通过这种加权机制可以有效的抑制凸包内的背景超像素。

我们计算加权的空间和颜色距离来粗略的定位目标，得到目标的显著图：

$f\left({\mathrm{Sa}}_i\right)=\underset{n=1,n\≠i}{\overset{N}{\mathrm{\Σ}}}\frac{{\mathrm{\ω}}_n}{d(r_n^c,r_i^c)+d(r_n^l,r_i^l)}---\left(3\right)$

$f\left(S_i\right)=\frac{1}{N}(f\left({\mathrm{Sa}}_i\right)+\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\δ}(n,i)f\left({\mathrm{Sa}}_i\right))---\left(4\right)$

$\mathrm{\δ}(n,i)=\left\{\begin{array}{cc}1& n=i\\ 0& n\≠i\end{array}\right.---\left(5\right)$

其中，N表示在凸包中的超像素，表示第n个超像素r_n的空间位置信息。通过边界权重图的颜色空间距离得到图像目标的先验图。

(3)基于软分割的观测似然概率

带有参考信号的独立成分分析(ICA_R)是能够根据参考信号的大小从多重混合信号当中分离出特定信号的技术。核密度估计(KDE)是一种无参的估计信号分布的方法。上述两种方法都可称为软分割方法。

由于基于Harris点的凸包不可避免的含有部分的背景，而先验图又可以粗略的定位目标，因而本专利使用基于先验图的软分割来改进凸包。将先验图使用动态阈值得到二分结果，将其作为参考信号。由于先验图虽然不能完整的高亮整个物体，也可能存在部分的背景噪声，但是先验图基本可以定位到物体，因而选取亮度较高的二分结果作为参考信号，输入到ICA_R和KDE中，分别得到目标的概率分布I_map和K_map。由于I_map得到的目标比较准确，但是对背景噪声的抑制能力较弱，而K_map虽然能够较好的抑制噪声，但是对于使用指数结合得到最终的改进的凸包：

M_map＝I_map*e^-K_map/θ                （6）

其中θ是平衡系数，用于调整I_map和K_map之间的权重。对得到的凸包内外对每个颜色通道分别统计颜色直方图，计算图像的观测似然概率：

$f\left(I\right|\mathrm{Sa})=\underset{i\∈(l,a,b)}{\mathrm{\Σ}}\frac{F_i\left(I_i\right)}{N_F}---\left(7\right)$

$f\left(I\right|\mathrm{Bk})=\underset{i\∈(l,a,b)}{\mathrm{\Σ}}\frac{B_i\left(I_i\right)}{N_B}---\left(8\right)$

其中，F_i(I_i)和B_i(I_i)代表像素I在颜色空间i的前、背景直方图，颜色空间使用CIELAB颜色空间。N_F和N_B表示前背景的分量的个数。我们认为三个颜色通道是相互独立的。

（4）贝叶斯框架结合

在得到了图像目标的粗略先验图和目标背景的颜色直方图之后，我们使用贝叶斯框架将先验图和观测概率结合：

$f\left(S\right|I)=\frac{f\left(S\right)f\left(I\right|S)}{f\left(S\right)f\left(I\right|S)+f\left(\mathrm{Bk}\right)f\left(I\right|\mathrm{BK})}---\left(9\right)$

F(Bk)＝1-f(S)            (10)

其中，f(S)和f(Bk)分别表示图像中为目标和背景的先验概率，由公式(4),(5),(10)求得，f(I|S)和f(I|Bk)表示图像的观测似然概率，由公式(7)和(8)求得。

本专利的益处在于能够很好的消除背景噪声，平滑的高亮图像目标，能够处理在显著性检测中一直难以处理的目标颜色与背景相似、大目标和复杂背景的情况，能够很好的扩展应用于图像处理的其他领域中，如图像分割、图像分类等。

附图说明

附图1是系统框图。

附图2（a）是原始图像，（b）是Harris兴趣点，（c）原始凸包，（d）是超像素结果图，（e）是边缘检测PB结果图，（f）是边缘特征图，（g）是边缘权重图和（h）是图像的先验图。

附图3（a）是原始图像，（b）是原始的凸包，（c）是得到的I_map，（e）是得到的K_map，（f）是得到的混合图M_map。

具体实施方式

步骤1：对给定的图像检测Harris点，由于一般图像复杂度的观察结果，我们对每一幅图像检测30个兴趣点。

步骤2：由于检测出的兴趣点有一部分会是背景的兴趣点，我们对在图像边界上的兴趣点进行剔除，也就是，对离图像边界26像素以内的兴趣点剔除掉，得到较为稳定的兴趣点,如附图2（b）所示。

步骤3：将得到的兴趣点连接成为最大的凸多边形，定义为凸包，如附图2（c）所示，凸包外部认为是前景，内部的认为是背景。

步骤4：将图像使用SLIC工具箱过分割得到图像的超像素，每一幅图像过分割得到200个超像素，如附图2（d）所示。

步骤5：确定内部超像素，如果超像素内的像素点有超过40%在凸包内部，则认为是凸包内部超像素，否则认为是外部超像素，并得到内部和外部超像素的序号。

步骤6：计算图像的边缘信息PB值，得到PB图像，如附图2（e）所示。并使用公式（1）得到内部超像素的边缘特征，如附图2（f）所示，其中亮度越高表示PB特征值越高。计算内部超像素与外部超像素之间的颜色差异，根据公式（2）得到边缘权重图，如附图2（g）所示，颜色越亮，表示超像素是前景的可能性越高。

步骤7：根据公式（3）-（5）计算加权的空间颜色差异得到图像的先验图，如附图2（h）所示。

步骤8：对得到的先验图进行阈值分割，得到图像目标的参考信号，如附图3（d）。对得到的参考信号使用ICA_R和KDE估计目标的分布，得到I_map和K_map，分别如附图3（e）和（f）所示。使用公式（6）结合I_map和K_map得到较为准确和完整的凸包M_map，如附图3（g）所示。

步骤9：将改进的凸包M_map的内部作为目标区域，外部作为背景区域，以像素为单位统计LAB颜色直方图，并如公式（7）和（8）计算目标和背景的观测似然概率。

步骤10：将由步骤7得到的先验图和由步骤9得到的观测似然概率使用贝叶斯公式（9）和（10）结合，得到最终的显著度检测结果。

Claims (3)

1.一种图像显著度检测的方法，其特征在于包括如下步骤： 

步骤1：对给定的图像检测Harris角点得到兴趣点； 

步骤2：将得到的兴趣点连接成为最大的凸多边形，定义为凸包，凸包外部认为是前景，内部认为是背景； 

步骤3：将图像使用SLIC工具箱过分割得到图像的超像素，每一幅图像过分割得到200个超像素； 

步骤4：确定内部超像素，如果超像素内的像素点有超过40％在凸包内部，则认为是凸包内部超像素，否则认为是外部超像素，并得到内部和外部超像素的序号； 

步骤5：计算图像的边缘信息PB值，得到PB图像，使用下列公式(1)得到内部超像素的边缘特征； 

其中，r_i ^PB表示超像素r_i的PB值，E_i表示超像素r_i的边缘像素集，|E_i|表示超像素边缘像素集的基，表示像素p_k的PB值，r_i ^PB值越大，表示该超像素边缘像素属于图像整体边缘的可能性越大，表示该超像素为图像边缘超像素的可能性越高； 

使用下列公式(2)计算内部超像素与外部超像素之间的颜色差异，得到边缘权重图； 

ω_i＝r_i ^PB×d(r_i,c_out)         (2)其中，ω_i是第i个超像素的权重，d表示欧几里德距离，c_out表示凸包外部的超像素的颜色均值，d(r_i,c_out)表示超像素r_i与凸包外部超像素颜色均值之间的欧式距离； 

步骤6：根据公式(3)、(4)计算加权的空间颜色差异得到图像的先验图； 

其中，N表示在凸包中的超像素，表示第n个超像素r_n的空间位置信息，表示第n个超像素r_n的颜色信息； 

步骤7：对得到的先验图进行阈值分割，得到图像目标的参考信号；对得到的参考信号使用ICA_R和KDE估计目标的分布，得到目标的概率分布I_map和K_map；使用指数形式结合I_map和K_map得到较为准确和完整的凸包M_map： 

M_map＝I_map*e^-K_map/θ      (6) 

其中，θ是平衡系数，用于调整I_map和K_map之间的权重； 

步骤8：将改进的凸包M_map的内部作为目标区域，外部作为背景区域，以像素为单位统计LAB颜色直方图，计算目标和背景的观测似然概率： 

其中，F_i(I_i)和B_i(I_i)代表像素I在颜色空间i的前、背景直方图，颜色空间使用CIELAB颜色空间；N_F和N_B表示前、背景的分量的个数； 

步骤9：将由步骤6、7得到的先验图和由步骤8得到的观测似然概率使用贝叶 斯公式结合，得到最终的显著度检测结果： 

f(Bk)＝1-f(S)        (10) 

其中，f(S)和f(Bk)分别表示图像中为目标和背景的先验概率，由公式(4),(5),(10)求得，f(I|S)和f(I|Bk)表示图像的观测似然概率。 

2.根据权利要求1所述的一种图像显著度检测的方法，其特征在于，对每一幅图像检测30个兴趣点。 

3.根据权利要求1或2所述的一种图像显著度检测的方法，其特征在于，对给定的图像检测Harris角点得到兴趣点，剔除离图像边界26像素以内的兴趣点。