CN106530271B - 一种红外图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种红外图像显著性检测方法，步骤为：首先，对红外图像进行多尺度局部稀疏表示，得到基于多尺度局部稀疏表示的图像显著图；其次，对红外图像进行改进的局部对比度测量处理，得到基于改进的局部对比度测量的图像显著图；最后，按照一定的权重将上述两种显著图进行融合，得到原始红外图像的最终显著图。本发明的优点在于：能保证红外图像的显著性区域被完整地突显出来，同时背景被充分地抑制，与其他方法相比，显著性的检测率更高，虚警率更低。

Description

一种红外图像显著性检测方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于多尺度局部稀疏表示和改进的局部对比度测量的红外图像显著性检测方法。

背景技术

红外图像的显著性检测旨在让计算机快速地辨别出红外图像中含有有用信息、且人类视觉中最为关注的显著性区域。显著性检测的结果是使得显著区域被完整地突显出来，同时背景被很好地抑制，以便于图像的后续进一步处理。

在现在的图像处理研究中，显著性检测的一系列方法成功应用于可见光图像。例如，公开号CN102609911A一种基于边缘的图像显著性检测方法，通过显著点和边缘点的检测来确定图像中的显著区域，但是该方法没有充分利用图像各尺度特征，因此，检测到的显著性区域存在不完整等情况。

公开号CN103927758A一种基于对比度与角点最小凸包的显著性检测方法，首先根据超像素的全局对比计算全局显著图，然后使用中心—周围算子计算局部显著图，最后根据Harris角点的最小凸包估计主要目标的位置与大小过滤到背景中部分区域的干扰，使得主要目标得以突出。此方法可均匀地突出目标，但是它过于依赖凸包的准确性，在突出目标的同时，凸包内很大一部分错误区域也被显示出来，因此降低了显著性检测的准确性。

总之，现在的目标显著性检测方法虽多，但都存在一些不足，具体表现为，受到图像中背景的干扰，算法对噪声较为敏感，很难兼顾目标的局部特征和目标的尺度特征，显著性检测准确率低，虚警率高。另外，针对红外图像，如果直接采用已有的针对可见光的图像显著性检测算法进行显著性区域的检测，由于没有考虑到红外图像特殊的成像机理及图像中显著性区域的特殊性质，导致算法性能大大降低。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种面向红外图像，能保证红外图像的显著性区域被完整地突显出来，同时背景被充分地抑制，抗干扰能力强，且检测准确率高的红外图像显著性检测方法。

技术方案：为解决上述技术问题，本发明提供一种红外图像显著性检测方法，包括如下步骤：

步骤一：对原始红外图像进行局部稀疏表示，局部搜索框设定为a×a，其中a为正整数，然后得到一类显著图；

步骤二：将原始红外图像进行一定比例的缩小，得到缩小后的图像，再将局部搜索框大小设定为b×b，其中b为正整数，然后进行局部稀疏表示，得到二类显著图，并将二类显著图的尺寸还原成与原始红外图像大小相一致；

步骤三：将步骤一得到的一类显著图和步骤二得到的二类显著图按照一定的权重比值进行加权融合，得到基于多尺度局部稀疏表示的显著图；

步骤四：将原始红外图像进行改进的局部对比度测量处理，得到基于改进的局部对比度测量的显著图；

步骤五：将步骤三得到的基于多尺度局部稀疏表示显著图与步骤四得到的基于改进的局部对比度测量显著图按照一定的权重比值进行加权融合，得到最终的显著图。

其中，步骤三中，步骤一得到的一类显著图和步骤二得到的二类显著图按照1:1的权重比值进行加权融合。

其中，步骤五中，步骤三得到的基于多尺度局部稀疏表示显著图与步骤四得到的基于改进的局部对比度测量显著图按照1:4的权重比值进行加权融合。

进一步的，步骤一和步骤二中利用局部稀疏表示方法得到图像显著图的具体操作过程如下：

步骤a：给定一个以元素x∈R²为中心的输入图像，其中表示以x为中心并且包含n个元素的块，设定一个大小为的局部搜索框，局部搜索框以x为中心，k为局部搜索框中非中心元素的个数，为以搜索框中每个非中心元素作为中心元素的块，其中i＝1,2...k，因此，用非中心块来线性表示中心块的表达式如下：

其中，是非中心元素块的矩阵，是线性组合的系数向量；

步骤b：将步骤a中中心块的表达式表示为下述等式：

其中为包含少量非零元素的系数向量，通过正交匹配追踪来解包含少量非零元素的系数向量中心块经过稀疏表示后得到的线性组合如下：

步骤c：图像显著性可通过重构图像与原来图像的残差来获得，用下式来简单的表示图像显著性：

其中||·||₂表示L₂范数；

步骤d：对整个图像进行局部稀疏表示，即将搜索框从上到下，从左到右搜索整个图像，并且在局部搜索框内对每个元素都进行稀疏表示，最后求步骤c中等式的残差得到整个图像的显著图。

进一步的，步骤四中改进的局部对比度测量的求解过程，具体操作如下：

步骤4.1：对目标进行二维高斯差分滤波处理，滤除背景中的强噪声，使得背景高亮度区域灰度值变大；

步骤4.2：设定一个大小为W×W的局部搜索框对红外图像从上到下，从左到右进行搜索，将整个图像进行分块，得到一系列的子块，在进行分块时设定好搜索框的移动步长，然后对这些块进行相应的处理，给定的每个块的值是块内所有像素的灰度值，定义如下：

其中，block(s,t)是一个子块，u是它的值，m×n是块的大小，pix(i,j)是属于块block(s,t)里的像素，并且，f(pix(i,j))是pix(i,j)相对应的像素值。

步骤4.3：根据步骤4.2定义了块的值，然后将整个图像用块进行操作，将整个图像形成的块作为一个新的矩阵，将这个矩阵定义为U，而由块组成的新的矩阵定义如下：

U(i,j)＝u(block(i,j))，i＝1,2...M,j＝1,2...N

其中，M、N分别表示整个图像竖直和水平方向块的个数，即这个新的矩阵的行数和列数的大小，经过分块处理后，整个图像将进行块之间的处理，较传统的局部对比度测量算法进行的像素间处理，效率将更高。

步骤4.4：在子块组成的新的矩阵中，定义一个子块block(s,t)的灰度平均值为u₀，I_n为block(s,t)灰度值的最大值，然后组成下面的关系式：

I_n＝max(f(pix(i,j)))，pix(i,j)∈block(s,t)

再用一个大小为子块block(s,t)三倍的图像块，把block(s,t)作为中心块，并找到在这个图像块里block(s,t)的8个相邻块，以及它们在U矩阵里相对应的平均值u₁～u₈，由此，改进的局部对比度测量被定义如下：

当要检测的中心块是目标块，此时max(u_i)＜I_n，此时的ILCM＞u₀，此时目标将被加强；当要检测的中心块是背景块，此时max(u_i)≥I_n，此时的ILCM≤u₀，此时背景部分被抑制；经过这种改进的局部对比度测量操作，显著性区域被加强，背景被抑制，最终更好的得到显著图。

其中，步骤4.1中所述高斯差分滤波相当于一个能够去除在原始图像中被保留下来的频率之外的所有其他频率信息的带通滤波器，可以滤除背景中的强噪声，使得背景高亮度区域灰度值变大。

与现有技术相比，本发明的优点在于：

即使红外图像中显著性区域的亮度不均匀或背景干扰很强的情形下，该方法依然能够完整、准确地突显出显著性区域，抑制背景杂波，保证显著性检测率高，虚警率低，与现有方法相比，是针对复杂背景下的红外图像显著性检测的一个很好的方法。

附图说明

图1是本发明的结构框图；

图2是具体实施例中的结构示意图；

图3是具体实施例中改进的局部对比度测量实现显著图的结构框图；

图4是具体实施例中显著图融合示意图；

图5是具体实施例中得出的最终显著图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

本发明提出的基于多尺度局部稀疏表示和改进的局部对比度测量的红外图像显著性检测新方法，首先，对红外图像进行多尺度局部稀疏表示，得到基于多尺度局部稀疏表示的图像显著图；其次，对红外图像进行改进的局部对比度测量处理，得到基于改进的局部对比度测量的图像显著图；最后，按照一定的权重将上述两种显著图进行融合，得到最终显著图。

其中，所述的对红外图像进行多尺度局部稀疏表示，即不仅对原始大小图像进行局部稀疏表示，还对按照一定的比例缩小的原始图像进行局部稀疏表示，与此同时，局部稀疏表示搜索框也按照一定的比例进行尺寸变换，再将不同大小比例的原始图像，对应不同大小比例的局部搜索框进行的局部稀疏表示结果进行加权融合(权重之比为1:1)，得到基于多尺度局部稀疏表示的图像显著图。

所述的红外图像进行改进的局部对比度测量处理，是对整个图像进行分块，利用图像块相关信息计算局部对比度。与现有的基于局部对比度测量的方法相比，在进行显著性计算时，改进的局部对比度测量方法不仅利用了图像块的最大亮度信息，而且同时利用了图像中心块的尺寸信息，从而更加有效的得到基于改进的局部对比度测量的图像显著图。

最后，将多尺度局部稀疏表示和改进的局部对比度测量得到的两种显著图像进行融合。本发明中选择采用加权融合，且上述两类显著图的权重之比为1:4，这样在保证得到完整的显著性区域的同时，背景也能够被很好地抑制。

基于多尺度局部稀疏表示和改进的局部对比度测量的红外图像显著性检测方法，整体操作过程如图2所示，具体实施步骤如下：

1)对原始红外图像进行局部稀疏表示，局部搜索框设定为12×12，得到显著图1；

2)将原始红外图像进行一定比例的缩小(缩小比例为0.7)，得到缩小后的图像，再将局部搜索框大小设定为8×8，进行局部稀疏表示，得到显著图2(此时的显著图尺寸还原与原始红外图像大小相一致)；

3)将显著图1和显著图2进行加权融合，且它们的权重之比为1:1，得到基于多尺度局部稀疏表示的显著图；

4)将原始红外图像进行改进的局部对比度测量处理，得到基于改进的局部对比度测量的显著图；

5)基于多尺度局部稀疏表示显著图与基于改进的局部对比度测量显著图进行加权融合，权重之比为1:4，得到最终的显著图。

利用多尺度局部稀疏表示方法得到图像显著图的具体操作过程如下：

1)局部稀疏表示原理：给定一个以元素x∈R²为中心的输入图像，现用来表示以x为中心并且包含n个元素的块，设定一个大小为的局部搜索框，同样这个搜索框是以x为中心的，k即为这个局部搜索框中非中心元素的个数，为以搜索框中每个非中心元素作为中心元素的块，其中i＝1,2...k，因此，可以用非中心块来线性表示我们的中心块，表达式如下：

其中，是非中心元素块的矩阵，是线性组合的系数向量。

为了使得系数能够更好更高效的线性表示输入图像，需要系数向量中只有少数的非零元素，因此，将表达式(1)表示成下面的等式：

要想精确地解出等式(2)的包含少量非零元素的系数向量通过正交匹配追踪来解得。中心块经过稀疏表示后得到的线性组合如下：

图像显著性可通过重构图像与原来图像的残差来获得。因此，用下式来简单的表示图像显著性：

其中||·||₂表示L₂范数。

对整个图像进行局部稀疏表示，即将搜索框从上到下，从左到右搜索整个图像，并且在局部搜索框内对每个元素都进行稀疏表示，最后求等式(4)的残差得到整个图像的显著图。

2)多尺度局部稀疏表示：由于局部稀疏表示一般突显显著性区域的轮廓性较强，而内部显示较弱，为了得到更好的效果，本发明采用多尺度局部稀疏表示：不仅对原始大小图像进行局部稀疏表示，还对按照一定的比例缩小的原始图像进行局部稀疏表示，与此同时，局部稀疏表示搜索框也按照一定的比例进行尺寸变换，再将不同大小比例的原始图像，对应不同大小比例的局部搜索框进行的局部稀疏表示结果进行融合，得到基于多尺度局部稀疏表示的图像显著图。该显著图不仅轮廓性很好，内部也能很好的被突显出来。经过多次实验得到：①原图像大小不变，局部搜索框为12×12，②图像缩小为原图像比例的0.7，局部搜索框为8×8，这两者融合能得到最好效果的显著图，使得显著性区域的轮廓以及内部都能很好的被突显出来。

基于改进的局部对比度测量的图像显著图，其求解过程如图3所示，它采用块与块之间的操作，利用图像块相关信息计算局部对比度，能够快速且有效的得到基于改进的局部对比度测量的图像显著图。具体操作如下：

1)对目标进行二维高斯差分滤波处理，高斯差分滤波相当于一个能够去除除了那些在原始图像中被保留下来的频率之外的所有其他频率信息的带通滤波器。因此，可以滤除背景中的强噪声，使得背景高亮度区域灰度值变大。

2)设定一个大小为W×W的局部搜索框对红外图像从上到下，从左到右进行搜索，将整个图像进行分块，得到一系列的子块，在进行分块时要设定好搜索框的移动步长。对这些块进行相应的处理，给定的每个块的值是块内所有像素的灰度值，定义如下：

其中，block(s,t)是一个子块，u是它的值，m×n是块的大小，pix(i,j)是属于块block(s,t)里的像素，并且，f(pix(i,j))是pix(i,j)相对应的像素值。

3)定义了块的值，就可以将整个图像用块进行操作，将整个图像形成的块作为一个新的矩阵，将这个矩阵定义为U，而由块组成的新的矩阵定义如下：

U(i,j)＝u(block(i,j))，i＝1,2...M,j＝1,2...N (6)

其中，M、N分别表示整个图像竖直和水平方向块的个数，即这个新的矩阵的行数和列数的大小。经过分块处理后，整个图像将进行块之间的处理，较传统的局部对比度测量算法进行的像素间处理，效率将更高。

4)在分块的时候，一个块中可能包含的全部是目标，全部是背景或都有。原始红外图像中显著性区域一般是比背景亮，可以通过设定阈值突显出来；但是当遇到比显著性区域更亮的背景，将造成巨大的误差。因此，本发明采用了如下改进的局部对比度测量方法：

在子块组成的新的矩阵中，定义一个子块block(s,t)的灰度平均值为u₀，I_n为block(s,t)灰度值的最大值。可以组成下面的关系式：

I_n＝max(f(pix(i,j)))，pix(i,j)∈block(s,t) (7)

再用一个大小为子块block(s,t)三倍的图像块，把block(s,t)作为中心块，并找到在这个图像块里block(s,t)的8个相邻块，以及它们在U矩阵里相对应的平均值u₁～u₈，由此，改进的局部对比度测量被定义如下：

一般，根据局部对比度测量可知，当要检测的中心块是目标块，此时max(u_i)＜I_n，所以能够判定此时的ILCM＞u₀，此时目标将被加强。当要检测的中心块是背景块，此时max(u_i)≥I_n，所以能够判定此时的ILCM≤u₀，此时背景部分被抑制。经过这种改进的局部对比度测量操作，显著性区域被加强，背景被抑制，最终更好的得到显著图。

经上述两种方法对图像分别进行处理后，分别得到了基于多尺度局部稀疏表示的显著图和基于改进的局部对比度测量的显著图，将这两种显著图进行融合(如图4所示)，得到最终的红外图像显著图。具体操作如下：

1)将基于多尺度局部稀疏表示的显著图和基于改进的局部对比度测量的显著图分别记为S_N和S_ILCM。

2)对上述两类显著图进行加权融合。融合时，上述两类显著图的权重之比为1:4，得到红外图像的最终显著图S。

S＝w₁S_N+w₂S_ILCM (9)

其中，w₁和w₂分别表示经过多尺度局部稀疏表示和改进的局部对比度测量得到的显著图的权重。且w₁：w₂为1:4的时候，得到的显著图效果最好。

结合仿真条件与结果对本发明做进一步的描述

1)仿真条件

本次实验是在PC机(Intel Core,主频2.6GH_Z，内存4GB)中，Matlab2013b编程环境中对俄勒冈州立大学(OSU)热行人数据库以及自己收集制作的红外图像数据库中选取的图片进行实验。进行多尺度局部稀疏表示处理时采取：①原图像大小不变，局部搜索框为12×12，②图像缩小为原图像比例的0.7，局部搜索框为8×8的尺度进行实验。将基于多尺度局部稀疏表示和改进的局部对比度测量分别得到的显著图进行加权融合时，权重之比设定为1:4。

2)仿真内容与结果分析

如图5所示，通过一个实例给出采用本发明提出的基于多尺度局部稀疏表示和改进的局部对比度测量的红外图像显著性检测结果，以中间过程中利用多尺度局部稀疏表示和改进的局部对比度测量处理分别得到的显著图。

在本实验中，挑选了三种不同类型的图片，分别是单人体，多人体，非人体图片，从实验结果来看，基于多尺度局部稀疏表示得到的显著图，显著性区域可以被完整的检测出来，但是当背景亮度不均匀或者太亮时，显著图中存在较强的背景干扰；相反，利用改进的局部对比度测量方法进行显著图求解时，背景杂波能够被很好地抑制，但是显著性区域在背景亮度较强的情况下，突显的不完整；最终，本发明将多尺度局部稀疏表示和改进的局部对比度测量相结合进行显著性检测，无论原始红外图像具有较为简单的背景还是复杂的背景、背景亮度均匀的还是不均匀的，都能够完整的突出显著性区域，同时能够很好的抑制背景，保证显著性检测准确率高、虚警率低。

综上所述，通过将原始红外图像进行多尺度局部稀疏表示，结合了局部稀疏表示能很好地突显红外图像显著性区域的轮廓性，以及多尺度能够更好的突显红外图像显著性区域的内部特征，保证能够完整地突显出显著性区域；同时，融合上述改进的局部对比度测量，能够很好的抑制红外图像中的背景干扰，使得显著性检测时抗干扰能力强。本发明能够得到独立的、完整的、抗背景干扰的红外图像显著性检测结果，且跟人眼所观察到的显著性区域更加接近。

以上所述仅为本发明的实施例子而已，并不用于限制本发明，本发明对于数值计算中研究对象的精确显示尤其适用。凡在本发明的原则之内，所作的等同替换，均应包含在本发明的保护范围之内。本发明未作详细阐述的内容属于本专业领域技术人员公知的已有技术。

Claims (6)

1.一种红外图像显著性检测方法，其特征在于，包括如下步骤：

步骤一：对原始红外图像进行局部稀疏表示，局部搜索框设定为a×a，其中a为正整数，然后得到一类显著图；

步骤二：将原始红外图像进行一定比例的缩小，得到缩小后的图像，再将局部搜索框大小设定为b×b，其中b为正整数，然后进行局部稀疏表示，得到二类显著图，并将二类显著图的尺寸还原成与原始红外图像大小相一致；

步骤三：将步骤一得到的一类显著图和步骤二得到的二类显著图按照一定的权重比值进行加权融合，得到基于多尺度局部稀疏表示的显著图；

步骤四：将原始红外图像进行改进的局部对比度测量处理，得到基于改进的局部对比度测量的显著图；

步骤五：将步骤三得到的基于多尺度局部稀疏表示显著图与步骤四得到的基于改进的局部对比度测量显著图按照一定的权重比值进行加权融合，得到最终的显著图。

2.根据权利要求1所述的一种红外图像显著性检测方法，其特征在于：所述步骤三中，步骤一得到的一类显著图和步骤二得到的二类显著图按照1:1的权重比值进行加权融合。

3.根据权利要求1所述的一种红外图像显著性检测方法，其特征在于：所述步骤五中，步骤三得到的基于多尺度局部稀疏表示显著图与步骤四得到的基于改进的局部对比度测量显著图按照1:4的权重比值进行加权融合。

4.根据权利要求1至3之一所述的一种红外图像显著性检测方法，其特征在于：所述步骤一和步骤二中利用局部稀疏表示方法得到图像显著图的具体操作过程如下：

步骤a：给定一个输入图像，用表示以x为中心并且包含n个元素的图像块，设定一个大小为的局部搜索框，局部搜索框以x为中心，k为局部搜索框中非中心像素的个数，为以搜索框中每个非中心像素y_i作为中心元素的块，其中i＝1,2,...,k，因此，用非中心块来线性表示中心块的表达式如下：

其中，是非中心元素块的矩阵，是线性组合的系数向量；

步骤b：将步骤a中中心块的表达式表示为下述等式：

其中为包含少量非零元素的系数向量，通过正交匹配追踪来解包含少量非零元素的系数向量中心块经过稀疏表示后得到的线性组合如下：

步骤c：图像显著性通过重构图像与原来图像的残差来获得，用下式来简单的表示图像显著性：

其中||·||₂表示L₂范数；

步骤d：对整个图像进行局部稀疏表示，即将搜索框从上到下，从左到右搜索整个图像，并且在局部搜索框内对每个元素都进行稀疏表示，最后求步骤c中等式的残差得到整个图像的显著图。

5.根据权利要求4所述的一种红外图像显著性检测方法，其特征在于：步骤四中改进的局部对比度测量的求解过程，具体操作如下：

步骤4.1：对目标进行二维高斯差分滤波处理，滤除背景中的强噪声，使得背景高亮度区域灰度值变大；

步骤4.2：设定一个大小为W×W的局部搜索框对红外图像从上到下，从左到右进行搜索，将整个图像进行分块，得到一系列的子块，在进行分块时设定好搜索框的移动步长，然后对这些块进行相应的处理，给定的每个块的值是块内所有像素的灰度值，定义如下：

其中，block(s,t)是一个子块，s＝1,2...M,t＝1,2...N，M、N分别表示整个图像竖直和水平方向块的个数，u是它的值，v×w是块的大小，pix(i,j)是属于块block(s,t)里的像素，(i,j)表示像素的坐标，f(pix(i,j))是pix(i,j)相对应的像素值；

步骤4.3：根据步骤4.2定义了块的值，然后将整个图像用块进行操作，将整个图像形成的块作为一个新的矩阵，将这个矩阵定义为U，而由块组成的新的矩阵定义如下：

U(s,t)＝u(block(s,t))，s＝1,2...M,t＝1,2...N

其中，M、N分别表示整个图像竖直和水平方向块的个数，即这个新的矩阵的行数和列数的大小；

步骤4.4：在子块组成的新的矩阵中，定义一个子块block(s,t)的灰度平均值为u₀，I_n为block(s,t)灰度值的最大值，然后组成下面的关系式：

I_n＝max(f(pix(i,j)))，pix(i,j)∈block(s,t)

再用一个大小为子块block(s,t)三倍的图像块，把block(s,t)作为中心块，并找到在这个图像块里block(s,t)的8个相邻块，以及它们在U矩阵里相对应的平均值u₁～u₈，由此，改进的局部对比度测量被定义如下：

当要检测的中心块是目标块，此时max(u_z)＜I_n，此时的ILCM＞u₀，此时目标将被加强；当要检测的中心块是背景块，此时max(u_z)≥I_n，此时的ILCM≤u₀，此时背景部分被抑制。

6.根据权利要求5所述的一种红外图像显著性检测方法，其特征在于：所述步骤4.1中所述高斯差分滤波相当于一个能够去除在原始图像中被保留下来的频率之外的所有其他频率信息的带通滤波器，可以滤除背景中的强噪声，使得背景高亮度区域灰度值变大。