CN110706174B - 一种图像增强方法、终端设备及存储介质 - Google Patents

Abstract

本发明涉及一种图像增强方法、终端设备及存储介质。该方法中，从入射分量估计入手，采用改进双边滤波函数与输入图像进行卷积运算，估计出入射光分量，既保留图像的边缘信号又达到滤波效果。然后利用高斯‑拉普拉斯金字塔下采样，获取滤波后图像的不同尺度图像，并对不同尺度图像分别进行图像增强运算，最后通过高斯‑拉普拉斯金字塔进行重构，得到最终的增强图像。本发明能够有效的增强图像对比度，处理后的图像色彩符合人眼观测效果。

Description

一种图像增强方法、终端设备及存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种图像增强方法、终端设备及存储介质。

背景技术

现有的图像增强常用方法主要有直方图均衡化、基于去雾霾的方法和对数图像处理(LIP)模型。另外，基于Retinex方法及其改进方法也逐渐被提出，例如单尺度Retinex算法(SSR)，多尺度Retinex(MSR)和带颜色恢复的MSR(MSRCR)算法。在传统的Retinex方法中，图像增强的效果，取决于高斯函数的尺度因子，存在一定的局限性。

发明内容

为了解决上述问题，本发明提出了一种图像增强方法、终端设备及存储介质。

具体方案如下：

一种图像增强方法，包括以下步骤：

S1：构建双边滤波Retinex模型；

所述双边滤波Retinex模型为将Retinex模型中的高斯滤波函数替换为双边滤波函数；

所述双边滤波函数的数学模型为：

其中，f(m,n)表示输入图像，m、n分别表示输入图像的像素点的横坐标和纵坐标，f'(i,j)表示滤波后图像，i、j分别表示滤波后图像的像素点的横坐标和纵坐标，w_d表示空间域核函数，w_r表示值域核函数，σ_d表示空间距离差尺度参数，σ_r表示像素差尺度参数，exp表示以自然数e为底的指数函数，std函数表示计算标准差，Ω_p,i,j表示输入图像中以像素点(i,j)为中心，2p+1为半径的像素点集合，p为滤波半径；

S2：将待增强图像从RGB色彩空间转换到HIS色彩空间后，将图像输入双边滤波Retinex模型，将双边滤波Retinex模型输出的图像再转换回RGB色彩空间；

S3：对步骤S2得到的图像进行高斯-拉普拉斯金字塔下采样后，得到不同尺度的金字塔图像，将不同尺度的金字塔图像分别输入双边滤波Retinex模型后，得到双边滤波Retinex模型输出的不同尺度的图像；

S4：通过高斯-拉普拉斯金字塔将步骤S3中得到的不同尺度的图像进行重构，得到增强后的图像。

进一步的，空间距离差尺度参数σ_d的确定方法为：

选取一矩形窗口作为滤波窗口，以滤波窗口的中心像素点为中心，使滤波窗口绕中心像素点旋转一周，在旋转过程中采集多个旋转位置处对应的滤波窗口内的像素标准差，取最小的像素标准差作为空间距离差尺度参数σ_d。

进一步的，所述矩形窗口的长和宽分别为2p+1和p+1。

进一步的，滤波窗口以2π/K为偏转角进行旋转，K表示旋转次数，共旋转K次。

一种图像增强终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，利用改进双边滤波函数进行亮度图像的增强计算，消除了亮度图像的过度增强和纹理的丢失问题。此外，对处理后的图像进行高斯金字塔下采样计算，对不同尺度的图像进行双边滤波Retinex模型计算，能有效的增加图像对比度，消除图像模糊问题。

附图说明

图1所示为本发明实施例一的流程图。

图2所示为该实施例中方法与其他方法的效果对比图。

图3所示为该实施例中方法与其他方法的灰度直方图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

单尺度Retinex的增强效果，取决于尺度因子σ。σ取值大时，颜色保真效果好，但细节凸显不明显，取值小时，增强后细节凸显，但颜色保真效果差。特别是局部颜色变化明显的区域，在图像颜色增强后存在“Halo现象”。为弥补该算法的缺陷，本发明实施例提供了一种图像增强方法，如图1所示，其为本发明实施例所述的图像增强方法的流程图，所述方法包括以下步骤：

S1：构建双边滤波Retinex模型。

单尺度Retinex模型(SSR)，是基于人类的视觉感知特性而提出来的一种颜色恒常视觉图像增强计算理论方法。在模型的定义中，认为物体颜色是固定不变的，摄像机获取到的物体图像S(x,y)，是由低频信号-入射光分量L(x,y)和体现物体细节信息的高频信号-反射光分量R(x,y)组成。对于确定的图像，三者间的关系可以表示为：

S(x,y)＝L(x,y)·R(x,y) (1)

传统的Retinex图像增强的原理是移除或减轻入射光分量对图像的影响，实质就是从图像中分离出来获得物体表面的反射信号R(x,y)。最终结果使反射图像的对比度增强，图像的纹理信息在一定范围内被压缩，同时又能够保持住图像的基本色调。

为了方便计算，对式(1)两边取对数变化，即：

ln(S(x,y))＝ln(L(x,y))+ln(R(x,y)) (2)

由式(2)可得图像各颜色分量通道的反射分量R(x,y)的数学形式表示如下：

ln(R_i(x,y))＝ln(S_i(x,y))-ln(L_i(x,y)) (3)

其中S_i(x,y)为图像第i个颜色通道的分量信息，R_i(x,y)为第i个颜色通道的反射光分量，L_i(x,y)为第i个颜色通道的入射光分量。

由(3)式可知，只需要估计出入射光分量L就能求得图像反射分量。因此，L的估计结果直接影响去雾效果。

由于入射光分量L为低频信息，因此，采用高斯卷积函数，可以从图像中较好的估计出入射光分量，即：

L(x,y)＝G(x,y)*S(x,y) (4)

其中：*表示卷积运算，G(x,y)表示卷积核，

σ是高斯函数的标准差，又称为尺度因子。

所述双边滤波Retinex模型为将Retinex模型中的高斯滤波函数替换为双边滤波函数。

在Retinex算法中，高斯函数通常用作中心环绕滤波函数，处理后图像边缘模糊，导致细节信息消失。而双边滤波器(Bilateral filter)是一种“边缘保持去噪”滤波器，它由两个函数组成。具体的双边滤波公式见(5)-(7)：

其中：f(m,n)和f'(i,j)为输入图像和滤波后图像；w_d和w_r为空间域核函数和值域核函数；σ_d和σ_r为空间距离差尺度参数和像素差尺度参数；Ω_p,i,j为输入图像中以(i,j)为中心，2p+1为半径的像素点集合；p为滤波半径，半径越大，滤波区间越大，计算越复杂；exp表示以自然数e为底的指数函数。

由上式可知，双边滤波器由σ_d和σ_r共同决定了滤波的效果。经实验后发现，σ_d越大，双边滤波后图像越模糊，而σ_r越大，则2p+1为半径的像素区间内的像素点间差值越大，像素间关联性越小。在实际应用中，这两个参数的取值，一般根据实际需求而手动调节，因此该实施例中根据实际需要，提出一种σ_d和σ_r参数自适应的调整方法。

(1)改进的空间域核函数

针对空间域内核函数w_d滤波的影响，改进滤波区间内的不同像素点对噪声平滑的影响。在空间域中，以滤波点为中心，设置滤波窗口参数为2p+1，窗口内像素点距离中心点越近，则该像素点对空间域的影响越大，反之则越小。改进后的空间域核函数如下：

其中：由于高斯函数的95％的分量都集中在[-2σ_d,2σ_d]中，因此取像素差尺度参数

(2)改进的空间距离差尺度参数σ_d

在Ω_p,i,j的点集合中，每个像素点的灰度值为a_(2p-1,2p-1),a_(2p-1,2p)...a_(2p+1,2p+1)，以此集合为样本，求取像素标准差σ_n。如果选择该像素标准差σ_n作为尺度参数的选择，遇到图像边缘时，会导致σ_d过大，使滤波器的边缘保持失去作用。因此，该实施例中滤波窗口的空间距离差尺度参数σ_d的确定方法为：

选取一矩形窗口作为滤波窗口，以滤波窗口的中心像素点为中心，使滤波窗口绕中心像素点旋转一周，在旋转过程中采集多个旋转位置处对应的滤波窗口内的像素标准差，取最小的像素标准差作为空间距离差尺度参数σ_d。

该实施例中，优选设定矩形窗口的长和宽分别为2p+12p+1和p+1，以2π/K为偏转角进行旋转，K表示旋转次数，共旋转K次，则σ_d的计算公式为：

其中：f(x,y)_2πk/K为滤波窗口内像素点的像素值，std函数表示计算标准差。

通过改进后的双边滤波函数代替原来高斯滤波函数，可以提升图像的滤波边缘保持效果，同时能提升去噪效果。

S2：将待增强图像从RGB色彩空间转换到HIS色彩空间后，将图像输入双边滤波Retinex模型，将双边滤波Retinex模型输出的图像再转换回RGB色彩空间。

HSI色彩空间是从人眼感知层面分析，用色调(Hue)、饱和度(Saturation)和亮度(Intensity)三个属性来模拟色彩。与RGB三色光表示相比，HSI能较好反应人类视觉系统对色彩的观察方式，使用非常接近于人对彩色感知的方式来定义彩色。其中，色度和饱和度与人眼感知颜色的方式相关，而亮度与图像的色彩信息无关。常用的计算亮度公式如式(10)：

其中：R(x,y)，G(x,y)、B(x,y)分别是图像的RGB三颜色通道分量。

将图像转换到HIS色彩空间可以改善图像的亮度，通过步骤S2的处理可以获得边缘保持且不受亮度影响的反射图像。

S3：对步骤S2得到的图像进行高斯-拉普拉斯金字塔下采样后，得到不同尺度的金字塔图像，将不同尺度的金字塔图像分别输入双边滤波Retinex模型后，得到双边滤波Retinex模型输出的不同尺度的图像。

高斯-拉普拉斯金字塔(Gaussian-Laplacian pyramid)是一种采样率为2的多尺度图像分解方法，每次分解获得的图像分辨率是前一层图像的1/2，然后将所有分解后的图像以一定规则融合而成金字塔，经处理后，按照金字塔自顶向下逐层重构，直到得到与原图像一样大小的输出图像。具体过程如下：

(1)金字塔图像的建立。

和一般的下采样类似，高斯-拉普拉斯算法首先将原图像作为底层输入图像F₀，与高斯核函数进行滤波运算，然后对图像进行行、列的下采样计算，采样步长为2，得到采样图像F₁，并将其作为下一级的输入图像，重复采样过程，直到迭代结束。采样方程如下所示：

其中，G(x,y)为低通滤波器；0≤l≤N,i≤R_l,j≤C_l，R_l,C_l分别表示F_l图像的行、列数。

(2)图像增强。

经过步骤(1)的分解后，获得不同尺度的图像F_l，通过改进Retinex算法模型处理后，获得增强图像F_l'。此过程，改变图像细节信息，以使重构后的图像细节更为丰富。

S4：通过高斯-拉普拉斯金字塔将步骤S3中得到的不同尺度的图像进行重构，得到增强后的图像。

图像的重构是金字塔图像的建立的逆过程，自顶向下进行重构。首先，对顶层金字塔图像F_l'₊₁做内插计算，得到内插图像D_l，其次，与上级金字塔图像F_l'图像相减，得到图像的残差值存入拉普拉斯残差集F_N，然后将F_N与上级金字塔F_l'相加，得到图像F'_N，并将其作为下一次重构的图像，最后，逐级重构，直到重构图像与输入图像大小一致，重构结束。具体公式如式(12)。

实验结果：

为验证本实施例中方法的有效性，进行与经典单尺度Retinex算法(SSR)、带颜色恢复的MSR(MSRCR)算法的对比实验，并从客观和主观两个方面进行评价。在装有MATLAB2014b的WIN7(64位)操作系统上进行模拟仿真。

(1)主观评价

从图2可以看出，原图像场景被雾遮住，图像都存在一定的退化和暗区域。经过三种算法计算后，恢复图像都保留了大部分前景细节，图像彩色度也得到了增强，但是前两算法都存在较为明显的“halo”现象，如图2中a图像的第二列、e图像的第3列所示。对比前两算法处理后图像，原模糊区域的细节能得到增强，但是输出图像的颜色偏差较大，不能恢复出物体的本体颜色，整体视觉效果变差。且MSRCR算法处理后的图像，其远景处的雾并没有被较好的除去，如图2中MSRCR算法的图像所示。而相比于其他两种算法，本实施例中方法处理后的图像在纹理和色彩对比度方面都相对良好。对不同浓度的含雾图像，除雾效果都很好。处理后的图像饱和度适宜，色彩偏差小，整体既视感良好，图像的细节体现也更丰富。从图2中也可以看出，本实施例中方法处理后的图像更清晰，颜色保真度更好，更适合我们人眼视觉的观察，对不同的含雾都可以获得不错的处理效果。

以a图像为例，图3所示为其通过不同算法处理后的灰度直方图。可以看出，本实施例中方法处理后的图像灰度分布更为均匀，平均灰度值降低。由于雾气一般是高亮区域，其灰度较大，平均灰度降低，说明图像的去雾效果较为明显。

(2)客观评价

为进一步体现本实施例中方法的优越性，利用图像客观评价函数分别计算图像的信息熵(Information entropy,I/E)、标准差(Standard Deviation，S/D)、峰值信噪比(Peak signal-to-noise ratio，S/N)。图像信息熵表示图像中每个灰度级像素的可能信息量，一般来说，熵值越大，图像色彩越艳丽，图像轮廓越清晰。标准差是用来衡量图像整体对比强度，通常值越大，图像对比度越高。图像峰值信噪比经常应用于测量图片的重建质量，图片越模糊其信噪比越小，反之亦然。表1为图2所示图像的三种方法的客观评价比较。

表1

对比表1发现，本实施例方法处理后的图像，除图(c)、(d)处理后的信息熵值略小于MSRCR算法处理后结果，其余图像的信息熵值都大于其他算法，说明算法处理后的图像的高频信息比较大，细节得到增强。图像的标准差和峰值信噪比相对其他两种算法的值都较大，说明经本算法除雾后，图像的信息量和细节都比原图好，图像的对比度高，重建质量较其余算法好。

针对图像因为光照引起的图像模糊问题，本发明实施例一提出了一种有效的基于双边滤波的高斯金字塔变换的Retinex图像增强方法。利用改进双边滤波函数进行亮度图像的增强计算，消除了亮度图像的过度增强和纹理的丢失问题。此外，对处理后的图像进行高斯金字塔下采样计算，对不同尺度的图像进行双边滤波Retinex模型计算，能有效的增加图像对比度，消除图像模糊问题。实验对比了其他两种算法，结果表明本实施例中方法在图像增强上具有一定的优势，能够有效的增强图像对比度，处理后的图像色彩符合人眼观测效果。

实施例二：

本发明还提供一种图像增强终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述图像增强终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像增强终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述图像增强终端设备的组成结构仅仅是图像增强终端设备的示例，并不构成对图像增强终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像增强终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述图像增强终端设备的控制中心，利用各种接口和线路连接整个图像增强终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述图像增强终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述图像增强终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (6)

1.一种图像增强方法，其特征在于，包括以下步骤：

S1：构建双边滤波Retinex模型；

所述双边滤波Retinex模型为将Retinex模型中的高斯滤波函数替换为双边滤波函数；

所述双边滤波函数的数学模型为：

其中，f(m,n)表示输入图像，m、n分别表示输入图像的像素点的横坐标和纵坐标，f'(i,j)表示滤波后图像，i、j分别表示滤波后图像的像素点的横坐标和纵坐标，w_d表示空间域核函数，w_r表示值域核函数，σ_d表示空间距离差尺度参数，σ_r表示像素差尺度参数，exp表示以自然数e为底的指数函数，std函数表示计算标准差，Ω_p,i,j表示输入图像中以像素点(i,j)为中心，2p+1为半径的像素点集合，p为滤波半径；

S2：将待增强图像从RGB色彩空间转换到HIS色彩空间后，将图像输入双边滤波Retinex模型，将双边滤波Retinex模型输出的图像再转换回RGB色彩空间；

S3：对步骤S2得到的图像进行高斯-拉普拉斯金字塔下采样后，得到不同尺度的金字塔图像，将不同尺度的金字塔图像分别输入双边滤波Retinex模型后，得到双边滤波Retinex模型输出的不同尺度的图像；

S4：通过高斯-拉普拉斯金字塔将步骤S3中得到的不同尺度的图像进行重构，得到增强后的图像。

2.根据权利要求1所述的图像增强方法，其特征在于：空间距离差尺度参数σ_d的确定方法为：

选取一矩形窗口作为滤波窗口，以滤波窗口的中心像素点为中心，使滤波窗口绕中心像素点旋转一周，在旋转过程中采集多个旋转位置处对应的滤波窗口内的像素标准差，取最小的像素标准差作为空间距离差尺度参数σ_d。

3.根据权利要求2所述的图像增强方法，其特征在于：所述矩形窗口的长和宽分别为2p+1和p+1。

4.根据权利要求2所述的图像增强方法，其特征在于：滤波窗口以2π/K为偏转角进行旋转，K表示旋转次数，共旋转K次。

5.一种图像增强终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～4中任一所述方法的步骤。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～4中任一所述方法的步骤。

Images