CN104091310A - 一种图像去雾方法和装置 - Google Patents

Abstract

本发明提出一种图像去雾处理方法和装置，其中方法包括：根据有雾图像的尺寸对有雾图像进行下采样，得到下采样图像；使用雾模型去雾方法估计所述下采样图像的透射率图和大气光；对所述下采样图像的透射率图进行上采样，得到有雾图像的透射率图；使用雾模型去雾方法，并采用所述大气光和有雾图像的透射率图对所述有雾图像进行去雾处理。本发明能够对图像进行去雾处理，并且处理的计算量较小。

Description

一种图像去雾方法和装置

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种图像去雾方法和装置。

背景技术

在雾霾天情况下，由于场景的能见度低，目标对比度和颜色等特征被衰减，致使在室外拍照时，图像质量无法满足用户的需要，于是需要对图像进行处理以消除天气带来的影响，因此图像去雾处理成为人们研究的重点。

当前对于雾图像处理的方法大致可以分为两类：一类是基于图像增强的方法，此类方法不考虑雾图像具体的形成过程，只选取图像中感兴趣的部分进行增强。常用的图像增强方法有直方图均衡、同态滤波和Retinex算法等，这类方法没有考虑雾天图像对比度与景物深度的对应关系，对景物深度变化比较大的图像的增强效果不理想，而且对图像的色调有改变，使得图像不自然。

基于雾模型的去雾方法是对雾图像进行一次与成像相反的逆过程来恢复无雾图像。雾模型的两个主要未知量是大气参数和图像的透射率，其中透射率和图像的深度成指数关系的。常见的去雾方法是先对大气参数和透射率进行估计，然后根据成像模型来恢复无雾图像。相比图像增强的方法，这类方法针对性强，得到的图像比较自然，且一般不会有信息损失，能够取得不错的去雾效果，但是目前此类算法计算量大，限制了该算法在工程领域的广泛应用。

发明内容

本发明提供了一种图像去雾处理方法，能够对图像进行去雾处理，并且处理的计算量较小。

本发明还提供了一种图像去雾处理装置，能够对图像进行去雾处理，并且处理的计算量较小。

本发明的技术方案是这样实现的：

一种图像去雾处理方法，包括：

根据有雾图像的尺寸对有雾图像进行下采样，得到下采样图像；

使用雾模型去雾方法估计所述下采样图像的透射率图和大气光；

对所述下采样图像的透射率图进行上采样，得到有雾图像的透射率图；

使用雾模型去雾方法，并采用所述大气光和有雾图像的透射率图对所述有雾图像进行去雾处理。

上述方法中，下采样图像对应的色彩空间数据格式为矩阵Is；其中，Is的行数等于下采样图像中像素的行数，Is的列数等于下采样图像中像素的列数，Is中的各个元素等于下采样图像中对应像素的值；

使用雾模型去雾方法估计所述下采样图像的透射率图和大气光的步骤可以包括：

A、计算灰度图像对应的矩阵Ig；计算方式为：

当有雾图像为灰度图像时，Ig＝Is；

当有雾图像为RGB图像时，Ig的行数等于Is的行数，Ig的列数等于Is的列数，Ig中各个元素等于Is中对应像素点的R分量、G分量和B分量的最小值；

B、对Ig进行均值滤波，得到Ia，其中，对应均值滤波器的半径＝(min(w,h)/400*7)，其中，w为Ig的列数，h为Ig的行数；

C、求Ia中所有元素的均值m；

D、计算下采样图像的透射率图对应的矩阵L(x)及大气光A，计算方式为：

L(X)＝min(min(ρm,0.9)Ia,Ig)，其中，

$0\≤\mathrm{\ρ}\≤\frac{1}{m};$

min()的括号中为2个矩阵时，min()表示求一个新的矩阵，该矩阵的各个元素为括号中2个矩阵对应元素的最小值；

$A=\frac{1}{2}(\max \left(\mathrm{Im}\right)+\max \left(\mathrm{Ia}\right));$ 其中，

max()的括号中为1个矩阵时，max()表示求该矩阵中所有元素的最大值；

Im的计算方式为：

当有雾图像为灰度图像时，Im＝Is；

当有雾图像为RGB图像时，Im的行数等于Is的行数，Im的列数等于Is的列数，Im中各个元素等于Is中对应像素点的R分量、G分量和B分量的最大值。

使用雾模型去雾方法，并采用所述大气光和有雾图像的透射率图对所述有雾图像进行去雾处理的方式可以为：

当有雾图像为灰度图像时，计算去雾处理后的图像对应的矩阵得到相应的去雾处理后的图像；其中，

I为有雾图像对应的矩阵；

L'为有雾图像的透射率图对应的矩阵；

X为行数等于I的行数、列数等于I的列数并且所有元素均为1的矩阵；

当有雾图像为RGB图像时，分别计算去雾处理后图像的R分量、G分量和B分量对应的矩阵得到相应的去雾处理后的图像；其中，

Ic为有雾图像的R分量、G分量或B分量对应的矩阵；

L'为有雾图像的透射率图对应的矩阵；

X为行数等于I的行数、列数等于I的列数并且所有元素均为1的矩阵。

上述方法中，当有雾图像为灰度图像时，直接对有雾图像进行下采样；

当有雾图像为彩色图像时，将有雾图像转换为RGB色彩空间数据，再进行下采样；

下采样级数根据图像尺寸选择或运行效率选择；

下采样方式为最近邻插值法、双线性插值法或双三次插值法。

上采样级数与下采样级数一致；上采样方式可以为双线性插值法或双三次插值法。

上述方法可以进一步包括：

当有雾图像为灰度图像时，对去雾处理后的图像进行亮度增强和对比度增强；

当待处理图像为RGB图像时，将去雾处理后的图像转换为YUV数据格式，对Y分量进行亮度增强和对比度增强。

针对增强后的图像，通过统计图像平坦区域方差的方式估计图像噪声的强度；通过估计的图像噪声的强度判定是否进行去噪处理；如需进行去噪处理，则采用导向滤波的方式进行去噪处理，其中导向滤波的参数根据所述图像噪声的强度设定。

将去噪处理后的图像转化为RGB格式或JPEG格式并保存。

一种图像去雾处理装置，包括：

下采样模块，用于根据有雾图像的尺寸对有雾图像进行下采样，得到下采样图像；

参数估计模块，用于使用雾模型去雾方法估计所述下采样图像的透射率图和大气光；

上采样模块，用于对所述下采样图像的透射率图进行上采样，得到有雾图像的透射率图；

去雾模块，用于使用雾模型去雾方法，并采用所述大气光和有雾图像的透射率图对所述有雾图像进行去雾处理。

上述装置中，下采样模块可以用于：

当有雾图像为灰度图像时，直接对有雾图像进行下采样；

当有雾图像为彩色图像时，将有雾图像转换为RGB色彩空间数据，再进行下采样；

下采样级数根据图像尺寸选择或运行效率选择；

下采样方式为最近邻插值法、双线性插值法或双三次插值法。

上采样模块采用的采样级数与下采样级数一致；上采样方式可以为双线性插值法或双三次插值法。

上述装置可以进一步包括：

增强模块，用于当有雾图像为灰度图像时，对去雾处理后的图像进行亮度增强和对比度增强；当待处理图像为RGB图像时，将去雾处理后的图像转换为YUV数据格式，对Y分量进行亮度增强和对比度增强。

去噪模块，用于针对增强后的图像，通过统计图像平坦区域方差的方式估计图像噪声的强度；通过估计的图像噪声的强度判定是否进行去噪处理；如需进行去噪处理，则采用导向滤波的方式进行去噪处理，其中导向滤波的参数根据所述图像噪声的强度设定。

格式转换模块，用于将去噪处理后的图像转化为RGB格式或JPEG格式并保存。

可见，本发明提出的图像去雾处理方法和装置，通过对有雾图像进行下采样，并估计下采样图像的透射率图和大气光，之后再对下采样图像的透射率图进行上采样，得到有雾图像的透射率图；并采用有雾图像的透射率图和大气光对有雾图像进行处理，能够在计算量较小的前提下实现图像去雾处理。

附图说明

图1为本发明提出的图像去雾处理方法实现流程图；

图2为本发明实施例一的流程图；

图3为本发明提出的图像去雾处理装置结构示意图。

具体实施方式

本发明提出一种图像去雾处理方法，如图1为该方法的实现流程图，包括：

步骤101：根据有雾图像的尺寸对有雾图像进行下采样，得到下采样图像；

步骤102：使用雾模型去雾方法估计所述下采样图像的透射率图和大气光；

步骤103：对所述下采样图像的透射率图进行上采样，得到有雾图像的透射率图；

步骤104：使用雾模型去雾方法，并采用所述大气光和有雾图像的透射率图对所述有雾图像进行去雾处理。

之后，可以进一步对去雾后的图像进行亮度增强、对比度增强及去噪处理；最终将处理完成后的图像转化为合适的格式并保存。

原始的有雾图像可以是灰度图像或RGB图像，针对不同的有雾图像，上述处理方式也不同。以下举具体的实施例详细介绍。

实施例一：

如图2为本实施例的实现流程图，本实施例包括以下步骤：

第一步，读取原始的有雾图像，将其变换为RGB色彩空间数据格式得到I；

第二步，根据原始有雾图像尺寸的大小，将图像I进行一级或者二级下采样，得到下采样图像对应的Is。本实施例中对于图像宽度*图像高度小于500万的有雾图像采用一级下采样，即采样之后的图像宽高为原来的一半大小；对图像宽度*图像高度大于500万的有雾图像采用二级下采样，即采样之后的图像宽高为原来的四分之一大小，下采样级数可根据性能和质量要求来进行选定，本实施例中使用最邻近插值技术进行下采样；还可以采样双线性插值法或双三次插值法进行下采样。

步骤三，求下采样图像对应矩阵Is中每个像素点的R、G、B三个分量的最小值，得到灰度图像对应的矩阵，记为Ig；如果Is为灰度图像(即有雾图像也是灰度图像)，则使Ig＝Is。

步骤四，对Ig进行均值滤波得到Ia，滤波器窗口大小与Ig的尺寸相关，滤波器半径可设定为(min(w,h)/400*7)，其中，w为Ig的列数，h为Ig的行数。

步骤五，求取Ia中所有元素的均值m。

步骤六，根据公式(1)求出下采样图像的透射图对应的矩阵L(x)，其中ρ为可调节参数且本实施例中ρ取1.3；

L(X)＝min(min(ρm,0.9)Ia,Ig)  (1)

其中，min()的括号中为2个矩阵时，min()表示求一个新的矩阵，该矩阵的各个元素为括号中2个矩阵对应元素的最小值；

步骤七，求下采样图像对应矩阵Is中每个像素点的R、G、B三个分量的最大值，得到灰度图像记为Im，若Is为灰度图像，则Im＝Is，根据公式(2)求出大气光A：

$A=\frac{1}{2}(\max \left(\mathrm{Im}\right)+\max \left(\mathrm{Ia}\right))---\left(2\right)$

其中，max()的括号中为1个矩阵时，max()表示求该矩阵中所有元素的最大值。

步骤八，将下采样图像的透射率图进行上采样，得到最终的有雾图像的透射率图对应的矩阵L'，本实施例中使用双线性插值放大技术进行上采样，上采样的倍数和第二步中的下采样倍数一致；还可以采用双三次插值法进行上采样。

步骤九，采样上述大气光和有雾图像的透射率图对有雾图像进行去雾处理的。具体方式为：

如果有雾图像为灰度图像，采用公式(3)计算去雾处理后的图像对应的矩阵，得到相应的去雾处理后的图像；

$J=\frac{I-L^{\′}}{X-\frac{L^{\′}}{A}}---\left(3\right)$

其中，I为有雾图像对应的矩阵；

L'为有雾图像的透射率图对应的矩阵；

X为行数等于I的行数、列数等于I的列数并且所有元素均为1的矩阵。

如图有雾图像为RGB图像，则分别采用公式(4)计算去雾处理后图像的R分量、G分量和B分量对应的矩阵，得到相应的去雾处理后的图像；

$\mathrm{Jc}=\frac{\mathrm{Ic}-L^{\′}}{X-\frac{L^{\′}}{A}}---\left(4\right)$

其中，Ic为有雾图像的R分量、G分量或B分量对应的矩阵；

L'为有雾图像的透射率图对应的矩阵；

X为行数等于I的行数、列数等于I的列数并且所有元素均为1的矩阵。

步骤十，对去雾处理后的图像进行亮度增强和对比度增强。具体方式为：

当原始的有雾图像为灰度图像时，对去雾处理后的图像直接进行亮度增强和对比度增强；

当原始的有雾图像为RGB图像时，将去雾处理后的图像从RGB空间转换到YUV的色彩空间，再使用公式(5)进行亮度增强和对比度增强；

$Y^{\′}=\frac{L_{d\max }*0.01}{{\log }_{10}(L_{w\max }+1)}*\frac{\log (Y+1)}{\log (2+\left({\left(\frac{Y}{L_{w\max }}\right)}^{\frac{\log \left(b\right)}{\mathrm{lob}\left(0.5\right)}}\right)*8)}---\left(5\right)$

其中，L_dmax、L_wmax和b根据ρm的值进行设定；

具体地，当ρm的值大于0.8时，L_dmax取110、L_wmax取230、b取0.3；

当ρm的值大于0.6并且小于0.8时，L_dmax取100、L_wmax取230、b取0.4；

当ρm取其他值时，L_dmax取100、L_wmax取230、b取0.5；

Y为单个像素的Y分量值，Y'为进行亮度增强和对比度增强后单个像素的Y分量值。

步骤十一，对增强后的图像进行去噪处理。具体方式为：

首先将增强图像分成16*16的图像块，统计每个块的方差，计算前5个最小方差平均值作为图像的噪声方差估计，通过噪声方差对去噪滤波参数进行设定；如果方差小于0.3，则不进行滤波；如果方差大于0.3，则使用导向滤波技术对Y′分量进行去噪处理，导向图像为Y′分量本身，导向滤波半径为10，正则系数根据图像噪声的方差进行设定，当方差小于1时正则系数为50，方差大于等于1小于2时正则系数为80，方差大于等于2时正则系数为100；

步骤十二，将YUV数据转换为输出格式并保存。如果输出为RGB格式数据，则进行YUV到RGB的格式转换，然后保存数据；如果输出为JPEG格式数据，则进行YUV到JPEG格式转换，然后保存数据。

对应上述方法，本发明还提出一种图像去雾处理装置，如图3为该装置的结构示意图，包括：

下采样模块301，用于根据有雾图像的尺寸对有雾图像进行下采样，得到下采样图像；

参数估计模块302，用于使用雾模型去雾方法估计所述下采样图像的透射率图和大气光；

上采样模块303，用于对所述下采样图像的透射率图进行上采样，得到有雾图像的透射率图；

去雾模块304，用于使用雾模型去雾方法，并采用所述大气光和有雾图像的透射率图对所述有雾图像进行去雾处理。

上述装置中，下采样模块301具体可以用于：

当有雾图像为灰度图像时，直接对有雾图像进行下采样；

当有雾图像为彩色图像时，将有雾图像转换为RGB色彩空间数据，再进行下采样；

下采样级数根据图像尺寸选择或运行效率选择；

下采样方式为最近邻插值法、双线性插值法或双三次插值法。

上采样模块303采用的采样级数与下采样级数一致；上采样方式为双线性插值法或双三次插值法。

上述装置可以进一步包括：

增强模块305，用于当有雾图像为灰度图像时，对去雾处理后的图像进行亮度增强和对比度增强；当待处理图像为RGB图像时，将去雾处理后的图像转换为YUV数据格式，对Y分量进行亮度增强和对比度增强。

去噪模块306，用于针对增强后的图像，通过统计图像平坦区域方差的方式估计图像噪声的强度；通过估计的图像噪声的强度判定是否进行去噪处理；如需进行去噪处理，则采用导向滤波的方式进行去噪处理，其中导向滤波的参数根据所述图像噪声的强度设定。

格式转换模块307，用于将去噪处理后的图像转化为RGB格式或JPEG格式并保存。

综上可见，本发明提出的图像去雾处理方法和装置，根据图像尺寸的大小，对图像进行下采样，这能够大大提升去雾处理的效率，满足千万像素级别图像的去雾处理；通过对去雾图像进行亮度增强解决了由于估计偏差导致图像偏暗问题；通过对去雾图像进行对比度增强解决了图像边缘纹理不够清晰的问题；对去雾图像进行去噪改善了图像的主观质量。本发明有效避免了去雾性能低下和去雾图像偏暗、图像不够清晰和噪声过大的问题，提升了去雾图像的主观视觉感受，使得实际工程项目应用成为可能。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种图像去雾处理方法，其特征在于，所述方法包括：

根据有雾图像的尺寸对有雾图像进行下采样，得到下采样图像；

使用雾模型去雾方法估计所述下采样图像的透射率图和大气光；

对所述下采样图像的透射率图进行上采样，得到有雾图像的透射率图；

使用雾模型去雾方法，并采用所述大气光和有雾图像的透射率图对所述有雾图像进行去雾处理。

2.根据权利要求1所述的方法，其特征在于，所述下采样图像对应的色彩空间数据格式为矩阵Is；其中，Is的行数等于下采样图像中像素的行数，Is的列数等于下采样图像中像素的列数，Is中的各个元素等于下采样图像中对应像素的值；

使用雾模型去雾方法估计所述下采样图像的透射率图和大气光的步骤包括：

A、计算灰度图像对应的矩阵Ig；计算方式为：

当有雾图像为灰度图像时，Ig＝Is；

当有雾图像为RGB图像时，Ig的行数等于Is的行数，Ig的列数等于Is的列数，Ig中各个元素等于Is中对应像素点的R分量、G分量和B分量的最小值；

B、对Ig进行均值滤波，得到Ia，其中，对应均值滤波器的半径＝(min(w,h)/400*7)，其中，w为Ig的列数，h为Ig的行数；

C、求Ia中所有元素的均值m；

D、计算下采样图像的透射率图对应的矩阵L(x)及大气光A，计算方式为：

L(X)＝min(min(ρm,0.9)Ia,Ig)，其中，

$0\≤\mathrm{\ρ}\≤\frac{1}{m};$

min()的括号中为2个矩阵时，min()表示求一个新的矩阵，该矩阵的各个元素为括号中2个矩阵对应元素的最小值；

$A=\frac{1}{2}(\max \left(\mathrm{Im}\right)+\max \left(\mathrm{Ia}\right));$ 其中，

max()的括号中为1个矩阵时，max()表示求该矩阵中所有元素的最大值；

Im的计算方式为：

当有雾图像为灰度图像时，Im＝Is；

当有雾图像为RGB图像时，Im的行数等于Is的行数，Im的列数等于Is的列数，Im中各个元素等于Is中对应像素点的R分量、G分量和B分量的最大值。

3.根据权利要求2所述的方法，其特征在于，所述使用雾模型去雾方法，并采用所述大气光和有雾图像的透射率图对所述有雾图像进行去雾处理的方式为：

当有雾图像为灰度图像时，计算去雾处理后的图像对应的矩阵得到相应的去雾处理后的图像；其中，

I为有雾图像对应的矩阵；

L'为有雾图像的透射率图对应的矩阵；

X为行数等于I的行数、列数等于I的列数并且所有元素均为1的矩阵；

当有雾图像为RGB图像时，分别计算去雾处理后图像的R分量、G分量和B分量对应的矩阵得到相应的去雾处理后的图像；其中，

Ic为有雾图像的R分量、G分量或B分量对应的矩阵；

L'为有雾图像的透射率图对应的矩阵；

X为行数等于I的行数、列数等于I的列数并且所有元素均为1的矩阵。

4.根据权利要求1、2或3所述的方法，其特征在于，

当有雾图像为灰度图像时，直接对有雾图像进行下采样；

当有雾图像为彩色图像时，将有雾图像转换为RGB色彩空间数据，再进行下采样；

下采样级数根据图像尺寸选择或运行效率选择；

下采样方式为最近邻插值法、双线性插值法或双三次插值法。

5.根据权利要求4所述的方法，其特征在于，所述上采样级数与下采样级数一致；上采样方式为双线性插值法或双三次插值法。

6.根据权利要求1、2或3所述的方法，其特征在于，所述方法进一步包括：

当有雾图像为灰度图像时，对去雾处理后的图像进行亮度增强和对比度增强；

当待处理图像为RGB图像时，将去雾处理后的图像转换为YUV数据格式，对Y分量进行亮度增强和对比度增强。

7.根据权利要求6所述的方法，其特征在于，所述方法进一步包括：

针对增强后的图像，通过统计图像平坦区域方差的方式估计图像噪声的强度；通过估计的图像噪声的强度判定是否进行去噪处理；如需进行去噪处理，则采用导向滤波的方式进行去噪处理，其中导向滤波的参数根据所述图像噪声的强度设定。

8.根据权利要求7所述的方法，其特征在于，所述方法进一步包括：将去噪处理后的图像转化为RGB格式或JPEG格式并保存。

9.一种图像去雾处理装置，其特征在于，所述装置包括：

下采样模块，用于根据有雾图像的尺寸对有雾图像进行下采样，得到下采样图像；

参数估计模块，用于使用雾模型去雾方法估计所述下采样图像的透射率图和大气光；

上采样模块，用于对所述下采样图像的透射率图进行上采样，得到有雾图像的透射率图；

去雾模块，用于使用雾模型去雾方法，并采用所述大气光和有雾图像的透射率图对所述有雾图像进行去雾处理。

10.根据权利要求9所述的装置，其特征在于，所述下采样模块用于：

当有雾图像为灰度图像时，直接对有雾图像进行下采样；

当有雾图像为彩色图像时，将有雾图像转换为RGB色彩空间数据，再进行下采样；

下采样级数根据图像尺寸选择或运行效率选择；

下采样方式为最近邻插值法、双线性插值法或双三次插值法。

11.根据权利要求10所述的装置，其特征在于，所述上采样模块采用的采样级数与下采样级数一致；上采样方式为双线性插值法或双三次插值法。

12.根据权利要求9、10或11所述的装置，其特征在于，所述装置进一步包括：

增强模块，用于当有雾图像为灰度图像时，对去雾处理后的图像进行亮度增强和对比度增强；当待处理图像为RGB图像时，将去雾处理后的图像转换为YUV数据格式，对Y分量进行亮度增强和对比度增强。

13.根据权利要求12所述的装置，其特征在于，所述装置进一步包括：

去噪模块，用于针对增强后的图像，通过统计图像平坦区域方差的方式估计图像噪声的强度；通过估计的图像噪声的强度判定是否进行去噪处理；如需进行去噪处理，则采用导向滤波的方式进行去噪处理，其中导向滤波的参数根据所述图像噪声的强度设定。

14.根据权利要求13所述的装置，其特征在于，所述装置进一步包括：

格式转换模块，用于将去噪处理后的图像转化为RGB格式或JPEG格式并保存。