CN110246097A - 一种基于l0梯度最小化的彩色图像增强方法 - Google Patents

Abstract

本发明公开了一种基于L0梯度最小化的彩色图像增强方法，属于彩色图像处理领域，解决现有增强方法，会造成图像的光照不自然且当尺度选取不合适导致照度图像保边平滑不足从而出现光晕现象或无法很好的区分图像中的纹理信息和结构信息，导致估算的照度图像不准确从而造成最终增强图像的细节丢失的问题。本发明将彩色图像由RGB空间转换到HSV空间，再提取强度分量V作为灰度图像；构造L0范数约束稀疏项的最优函数，将灰度图像输入到最优化函数中；运用半二次项分离法求解出最优化函数的最优解，将最优解作为估计出的照度图像；基于灰度图像和照度图像得到反射图像；利用照度图像和反射图像进行重构，重构后转换回RGB空间得到最终的增强结果。本发明用于彩色图像增强。

Description

一种基于L0梯度最小化的彩色图像增强方法

技术领域

一种基于L0梯度最小化的彩色图像增强方法，用于彩色图像增强，属于彩色图像处理领域。

背景技术

在图像采集的过程中，由于图像采集设备的限制以及采集环境周围光照的影响，采集到的图像往往会出现一些低像质的情况，例如欠曝光和过曝光、噪音污染、物体失焦以及色光混乱的问题。这些问题对于人眼观察以及后续的图像处理是非常不利的。为了解决图像低像质的问题，需要对图像进行增强处理。

传统的图像处理方法，如伽马变换、滤波掩模以及直方图均衡化，实现起来非常的简单，对多数灰度图像有较好的增强效果。但是对于彩色图像来说，这些方法经常会使增强的图像出现颜色的扭转以及彩色噪点的问题，并且这些算法的自适应能力较差，对于不同的图像需要采用不同的变换和不同的滤波模板进行处理，因而存在很大的缺陷。

为了解决传统增强算法的缺陷，研究者们提出了许多应用于彩色图像并且具有较好鲁棒性的算法模型。Retinex就是其中具有代表性的一个，该模型是把原始图像分为了照度图像和反射图像，通过对两个分量图像的调整和重构来达到图像增强的目的。现有的基于Retinex模型一般分为两类，一种是基于中心-周围机制的Retinex，例如，单尺度Retinex方法(Single-scale Retinex，SSR)和多尺度Retinex方法(Multi--scale Retinex，MSR)以及带有颜色校正的多尺度Retinex技术(Multi-scale Retinex with color Restoration，MSRCR)在不丢失图像细节的同时也能保持图像的良好过度。但是这几种方法在处理彩色图像时往往会造成图像的光照不自然，并且当尺度选取不合适导致照度图像的保边平滑不足从而出现光晕现象。另一种是通过构造最优化函数的Retinex模型，该类模型利用各种先验假设对照度图像、反射图像以及它们的梯度图像进行约束，并运用能量最小化原则构建目标函数，这些目标函数多是用L2或L1范数对各个变量进行约束，因而其稀疏项的约束受图像本身梯度值的影响较大，因而无法很好的区分图像中的纹理信息和结构信息，导致估算的照度图像不准确从而造成最终增强图像的细节丢失。

发明内容

针对上述研究的问题，本发明的目的在于提供一种基于L0梯度最小化的彩色图像增强方法，解决现有技术中的增强方法，会造成图像的光照不自然，并且当尺度选取不合适导致照度图像保边平滑不足从而出现光晕现象或无法很好的区分图像中的纹理信息和结构信息，导致估算的照度图像不准确从而造成最终增强图像的细节丢失的问题。

为了达到上述目的，本发明采用如下技术方案：

一种基于L0梯度最小化的彩色图像的增强方法，包括如下步骤：

步骤1：将彩色图像由RGB空间转换到HSV空间，再提取强度分量V作为灰度图像；

步骤2：构造L0范数约束稀疏项的最优函数，将灰度图像输入到最优化函数中；

步骤3：运用半二次项分离法求解出最优化函数的最优解，将最优解作为估计出的照度图像；

步骤4：基于灰度图像和照度图像得到反射图像；

步骤5：利用照度图像和反射图像进行重构，重构后转换回RGB空间得到最终的增强结果。

进一步，所述步骤1包括如下步骤：

步骤1.1：获取彩色图像S，即获取原始图像；

步骤1.2：将彩色图像由RGB空间转换到HSV空间，转换后提取强度通道V作为灰度图像I。

进一步，所述步骤2包括如下步骤：

步骤2.1：根据能量最小化原则构建以L0范数约束的最优化函数，最优化函数为：

其中，λ为平滑控制因子，表示矩阵Frobenius范数，表示矩阵L₀范数，L表示照度图像， 分别表示图像在水平方向和垂直方向上的梯度，表示括弧中矩阵非0元素的个数；

步骤2.2：将灰度图像输入到最优化函数中。

进一步，所述步骤3包括如下步骤：

步骤3.1：运用半二次项分离法，引入控制辅助变量(h_p，v_p)来分离输入了灰度图像的最优化函数中的L0稀疏项，得到分离后的最优化函数，具体为：

其中，C(h，v)＝#{|h_p|+|v_p|≠0}，β是控制辅助变量(h_p，v_p)和与控制辅助变量(h_p，v_p)相关联的梯度值相似性的自适应参数，p为矩阵中的某个点；

步骤3.2：令迭代次数k＝1，初始化分离后的最优化函数中的参数，令λ＝0.02，β＝0.04，L＝I，令迭代最大迭代次数为k_max，自适应参数β_max＝10⁵；

步骤3.3：固定步骤3.2中的L和β，更新(h_p，v_p)，更新(h_p，v_p)的更新规则如下：

其中，分别是照度图像L在p点的x方向和y方向的梯度值；

步骤3.4：基于分离后的最优化函数，步骤3.3中给定的L和β计算得到控制辅助变量(h_p，v_p)，固定控制辅助变量(h_p，v_p)，更新L，更新L的更新规则如下：

其中，h和v是分别由元素h_p，v_p构成的矩阵，是快速傅里叶变换变换，是傅里叶逆变换，是快速傅里叶变换的复共轭，是狄拉克函数的傅里叶变换，式中的加减乘除操作均为矩阵对应元素的计算；

步骤3.5：判断k是否大于k_max或是否满足β≥β_max，若是，则停止迭代，将步骤3.4中得到结果作为最优解，即照度图像L；否则，步骤3.2中的k＝k+1.L的取值为步骤3.4更新的结果，β的取值为β＝θβ，θ为增长系数，转到步骤3.3。

进一步，所述步骤4中利用灰度图像I除以照度图像L，求解出反射图像R，其中，反射图像R中某点的值的计算公式如下：

其中，eps为一个防止出现除以0而得到无效结果的极小值。

进一步，所述步骤5的具体步骤为：

步骤5.1：对照度图像L进行对数重映射，并将其与反射图像R进行重构，得到重构图像I′，重构公式为：

步骤5.2：将得到的I′代替原来HSV三通道中的I，并将其转换回RGB空间，得到最终的增强图像。

本发明同现有技术相比，其有益效果表现在：

1.本发明运用L0范数对变分函数中的照度梯度稀疏项进行约束，消除了图像的梯度大小对于图像稀疏约束的影响，从而有效地去除了图像中的纹理信息，全局地保留和提升图像中突出的边缘信息，即使是对于容易被其它方法混为纹理的狭长物体的边缘，也能够很好的保留，因此对于运用该变分框架求解出的照度图像，具有非常好的保边平滑性，使得最终的增强结果中的光晕现象几乎都被消除；

2.本发明在估算照度分量和反射分量的过程中，先将图像由RGB空间转换到了HSV空间，并运用强度分量V进行后续的计算，并在处理完的最后将图像转换回到RGB空间，这样便能够避免在RGB三通道分别处理时易出现的颜色不平衡的状况；

3.本发明在求解最优化函数的过程中，运用半二次项分离算法，引入了辅助变量，分离二次项和L0稀疏项，并运用字典法对L0的非凸问题进行求解，从而成功解决了包含L0范数非凸最优化函数的求解问题；

4.本发明在进行照度图像的重映射时采用了对数函数，该函数与人眼对于光照刺激的响应极为相似，故用该函数调整的照度图像得到的增强结果更符合人眼的观察习惯。

附图说明

图1为本发明的流程图；

图2为本发明中一幅低质彩色图像转换后的灰度图；

图3为本发明中由图1计算出的图2的V通道的灰度图像；

图4为本发明中由图3计算出的照度图像；

图5为本发明中由图3和图4计算出的反射图像；

图6为本发明中由图4和图5得到的增强后的图像的灰度图。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

一种基于L0梯度最小化的彩色图像的增强方法，包括如下步骤：

步骤1：将彩色图像由RGB空间转换到HSV空间，再提取强度分量V作为灰度图像；包括如下步骤：

步骤1.1：获取彩色图像S，即获取原始图像；

步骤1.2：将彩色图像由RGB空间转换到HSV空间，转换后提取强度通道V作为灰度图像I。

步骤2：构造L0范数约束稀疏项的最优函数，将灰度图像输入到最优化函数中；包括如下步骤：

步骤2.1：根据能量最小化原则构建以L0范数约束的最优化函数，最优化函数为：

其中，λ为平滑控制因子，表示矩阵Frobenius范数，表示矩阵L₀范数，L表示照度图像， 分别表示图像在水平方向和垂直方向上的梯度，表示括弧中矩阵非0元素的个数；

步骤2.2：将灰度图像输入到最优化函数中。

步骤3：运用半二次项分离法求解出最优化函数的最优解，将最优解作为估计出的照度图像；包括如下步骤：

步骤3.1：运用半二次项分离法，引入控制辅助变量(h_p，v_p)来分离输入了灰度图像的最优化函数中的L0稀疏项，得到分离后的最优化函数，具体为：

其中，C(h，v)＝#{|h_p|+|v_p|≠0}，β是控制辅助变量(h_p，v_p)和与控制辅助变量(h_p，v_p)相关联的梯度值相似性的自适应参数，p为矩阵中的某个点；

步骤3.2：令迭代次数k＝1，初始化分离后的最优化函数中的参数，令λ＝0.02，β＝0.04，L＝I，令迭代最大迭代次数为k_max，自适应参数β_max＝10⁵；

步骤3.3：固定步骤3.2中的L和β，更新(h_p，v_p)，更新(h_p，v_p)的更新规则如下：

其中，分别是照度图像L在p点的x方向和y方向的梯度值；

步骤3.4：基于分离后的最优化函数，步骤3.3中给定的L和β计算得到控制辅助变量(h_p，v_p)，固定控制辅助变量(h_p，v_p)，更新L，更新L的更新规则如下：

其中，h和v是分别由元素h_p，v_p构成的矩阵，是快速傅里叶变换变换，是傅里叶逆变换，是快速傅里叶变换的复共轭，是狄拉克函数的傅里叶变换，式中的加减乘除操作均为矩阵对应元素的计算；

步骤3.5：判断k是否大于k_max或是否满足β≥β_max，若是，则停止迭代，将步骤3.4中得到结果作为最优解，即照度图像L；否则，步骤3.2中的k＝k+1，L的取值为步骤3.4更新的结果，β的取值为β＝θβ，θ为增长系数，一般取值为2，转到步骤3.3。

具体示例为：最大迭代次数k_max为2，k为1时，L＝I，β＝0.04；通过L＝I和β＝0.04，根据步骤3.3中的式子算出每个点p对应的h_p和v_p，这些点就可以构成两个矩阵h(假设他等于H1)，v(假设为V1)，现在的这个h＝H1和v＝V1用步骤3.4中的式子计算出L(假设算出来为L1)；此时，判断k不大于k_max或不满足β≥β_max；计算k为2时，用L＝L1，β＝2×0.04，根据步骤3.3中的式子算出每个点p对应的h_p和v_p，这些点就可以构成两个矩阵h(假设他等于H2)，v(假设为V2)，现在的这个h＝H2和v＝V2用步骤3.4中的式子计算出L(假设算出来为L2)，再判断，迭代次数大于2了，所以最后的结果就是L＝L2，即为照度图像。

步骤4：基于灰度图像和照度图像得到反射图像；即利用灰度图像I除以照度图像L，求解出反射图像R，其中，反射图像R中某点的值的计算公式如下：

其中，eps为一个防止出现除以0而得到无效结果的极小值，一般取值为0.001。

步骤5：利用照度图像和反射图像进行重构，重构后转换回RGB空间得到最终的增强结果。具体步骤为：

步骤5.1：对照度图像L进行对数重映射，并将其与反射图像R进行重构，得到重构图像I′，重构公式为：

步骤5.2：将得到的I′代替原来HSV三通道中的I，并将其转换回RGB空间，得到最终的增强图像。

实施例

将如图2所示的彩色图像S由RGB空间转换到HSV空间，再提取强度分量V作为灰度图像，如图3所示；

构造L0范数约束稀疏项的最优函数，将灰度图像输入到最优化函数中；

运用半二次项分离法求解出最优化函数的最优解，将最优解作为估计出的照度图像，如图4所示；

利用灰度图像I除以照度图像L，求解出反射图像R；

利用照度图像和反射图像进行重构，重构后转换回RGB空间得到最终的增强结果，如图6所示。

以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (6)

1.一种基于L0梯度最小化的彩色图像的增强方法，其特征在于：包括如下步骤：

步骤1：将彩色图像由RGB空间转换到HSV空间，再提取强度分量V作为灰度图像；

步骤2：构造L0范数约束稀疏项的最优函数，将灰度图像输入到最优化函数中；

步骤3：运用半二次项分离法求解出最优化函数的最优解，将最优解作为估计出的照度图像；

步骤4：基于灰度图像和照度图像得到反射图像；

步骤5：利用照度图像和反射图像进行重构，重构后转换回RGB空间得到最终的增强结果。

2.根据权利要求1所述的一种基于L0梯度最小化的彩色图像的增强方法，其特征在于，所述步骤1包括如下步骤：

步骤1.1：获取彩色图像S，即获取原始图像；

步骤1.2：将彩色图像由RGB空间转换到HSV空间，转换后提取强度通道V作为灰度图像I。

3.根据权利要求1所述的一种基于L0梯度最小化的彩色图像的增强方法，其特征在于，所述步骤2包括如下步骤：

步骤2.1：根据能量最小化原则构建以L0范数约束的最优化函数，最优化函数为：

其中，λ为平滑控制因子，表示矩阵Frobenius范数，表示矩阵L₀范数，L表示照度图像， 分别表示图像在水平方向和垂直方向上的梯度，表示括弧中矩阵非0元素的个数；

步骤2.2：将灰度图像输入到最优化函数中。

4.根据权利要求2或3所述的一种基于L0梯度最小化的彩色图像的增强方法，其特征在于，所述步骤3包括如下步骤：

步骤3.1：运用半二次项分离法，引入控制辅助变量(h_p，v_p)来分离输入了灰度图像的最优化函数中的L0稀疏项，得到分离后的最优化函数，具体为：

其中，C(h，v)＝#{|h_p|+|v_p|≠0}，β是控制辅助变量(h_p，v_p)和与控制辅助变量(h_p，v_p)相关联的梯度值相似性的自适应参数，p为矩阵中的某个点；

步骤3.2：令迭代次数k＝1，初始化分离后的最优化函数中的参数，令λ＝0.02，β＝0.04，L＝I，令迭代最大迭代次数为k_max，自适应参数β_max＝10⁵；

步骤3.3：固定步骤3.2中的L和β，更新(h_p，v_p)，更新(h_p，v_p)的更新规则如下：

其中，分别是照度图像L在p点的x方向和y方向的梯度值；

步骤3.4：基于分离后的最优化函数，步骤3.3中给定的L和β计算得到控制辅助变量(h_p，v_p)，固定控制辅助变量(h_p，v_p)，更新L，更新L的更新规则如下：

其中，h和v是分别由元素h_p，v_p构成的矩阵，是快速傅里叶变换变换，是傅里叶逆变换，是快速傅里叶变换的复共轭，是狄拉克函数的傅里叶变换，式中的加减乘除操作均为矩阵对应元素的计算；

步骤3.5：判断k是否大于k_max或是否满足β≥β_max，若是，则停止迭代，将步骤3.4中得到结果作为最优解，即照度图像L；否则，步骤3.2中的k＝k+1.L的取值为步骤3.4更新的结果，β的取值为β＝θβ，θ为增长系数，转到步骤3.3。

5.根据权利要求4所述的一种基于L0梯度最小化的彩色图像的增强方法，其特征在于，所述步骤4中利用灰度图像/除以照度图像L，求解出反射图像R，其中，反射图像R中某点的值的计算公式如下：

其中，eps为一个防止出现除以0而得到无效结果的极小值。

6.根据权利要求5所述的一种基于L0梯度最小化的彩色图像的增强方法，其特征在于，所述步骤5的具体步骤为：

步骤5.1：对照度图像L进行对数重映射，并将其与反射图像R进行重构，得到重构图像I′，重构公式为：

步骤5.2：将得到的I′代替原来HSV三通道中的I，并将其转换回RGB空间，得到最终的增强图像。