CN105654436B - 一种基于前景背景分离的背光图像增强去噪方法 - Google Patents
一种基于前景背景分离的背光图像增强去噪方法 Download PDFInfo
- Publication number
- CN105654436B CN105654436B CN201510996113.6A CN201510996113A CN105654436B CN 105654436 B CN105654436 B CN 105654436B CN 201510996113 A CN201510996113 A CN 201510996113A CN 105654436 B CN105654436 B CN 105654436B
- Authority
- CN
- China
- Prior art keywords
- area
- foreground
- pixel
- pixel point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 25
- 238000000926 separation method Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 230000002452 interceptive effect Effects 0.000 claims abstract description 6
- 238000005286 illumination Methods 0.000 claims description 34
- 238000001914 filtration Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 19
- 238000013441 quality evaluation Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 125000004432 carbon atom Chemical group C* 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- IXKSXJFAGXLQOQ-XISFHERQSA-N WHWLQLKPGQPMY Chemical compound C([C@@H](C(=O)N[C@@H](CC=1C2=CC=CC=C2NC=1)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC(C)C)C(=O)N1CCC[C@H]1C(=O)NCC(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC(O)=O)C(=O)N1CCC[C@H]1C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CC=1C=CC(O)=CC=1)C(O)=O)NC(=O)[C@@H](N)CC=1C2=CC=CC=C2NC=1)C1=CNC=N1 IXKSXJFAGXLQOQ-XISFHERQSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于前景背景分离的背光图像增强去噪方法，包括：采用交互式抠图算法将背光图像划分成前景区域和背景区域；采用改进型Retinex算法对前景区域中的像素点进行增强；采用CLAHE算法对背景区域的像素点进行均衡处理；采用多尺度的NLM算法对增强后的前景区域和均衡处理后的背景区域进行降噪；将降噪后的前景区域和背景区域进行加权融合后获得增强降噪后的背光图像。本发明针对背光图像的前景区域和背景区域分别采用不同的增强和去噪方法，能够对背光图像的前景区域实现细节增强，同时保护背景区域不被过度增强，去噪效果好、准确度高，可广泛应用于背光图像的处理领域中。
Description
技术领域
本发明涉及图像处理领域，特别是涉及一种基于前景背景分离的背光图像增强去噪方法。
背景技术
名词解释：
Retinex算法：Retinex是“Retina”(视网膜)和“Cortex”(大脑皮层)的缩写。Retine算法是一种建立在科学实验和科学分析基础上的基于人类视觉系统的图像增强算法，可以在动态范围压缩、边缘增强和颜色恒常三方面达到平衡，对各种不同类型的图像进行自适应性的增强；
CLAHE算法：Contrast-limited Adaptive Histogram Equalization algorithm，限制对比度自适应直方图均衡化算法；
NLM算法：Non-Local Means algorithm，非局部平均图像去噪算法，通过对自相似结构块做加权平均来估计参考块的中心点，从而降低噪声。
随着科技的发展，数字产品的应用越来越广泛，图像传感器作为一典型例子在各个领域都得到了广泛应用。但是，图像传感器在采集图像时，有时候会拍摄到主体很暗但是背景很亮的图像，本申请中将这种图像称为背光图像。当采集的图像为背光图像时，需要对背光图像进行图像增强、去噪从而提取获得图像内容。但是，目前背光图像的处理仍然没有成熟解决方案的难题。复杂的光线条件极大地增加了背光图像处理的难度。传统的图像增强方法往往会造成背光图像的前景区域细节增强不明显，而背景区域过度被增强的现象，同时，背光图像在前景区域和背景区域中，噪声大小不同，传统的单尺度图像降噪也无法很好地对背光图像进行去噪。传统方法处理后的背光图像无法准确地对背光图像进行增强去噪，不仅影响视觉感官，而且对以后一系列后续的图像处理工作例如图像分割、特征提取、超分辨率重建都会造成一定的障碍。
发明内容
为了解决上述的技术问题，本发明的目的是提供一种基于前景背景分离的背光图像增强去噪方法。
本发明解决其技术问题所采用的技术方案是：
一种基于前景背景分离的背光图像增强去噪方法，包括：
S1、采用交互式抠图算法将背光图像划分成前景区域和背景区域；
S2、采用改进型Retinex算法对前景区域中的像素点进行增强；
S3、采用CLAHE算法对背景区域的像素点进行均衡处理；
S4、采用多尺度的NLM算法对增强后的前景区域和均衡处理后的背景区域进行降噪；
S5、将降噪后的前景区域和背景区域进行加权融合后获得增强降噪后的背光图像。
进一步，所述步骤S1，包括：
S11、将背光图像转换为灰度图像；
S12、提取灰度图像的粗略的前景轮廓和背景轮廓后，将灰度图像划分为前景区域、背景区域和未知区域；
S13、针对未知区域的每个像素点，通过求解像素点梯度场的泊松方程，依次将该像素点划分到前景区域或背景区域；
S14、根据灰度图像的前景区域和背景区域的划分结果，划分背光图像的前景区域和背景区域。
进一步，所述步骤S13，包括：
S131、针对未知区域的每个像素点，采用G-S迭代法对下式进行求解，获得该像素点的合成比例值：
上式中，F表示该像素点的前景色，B表示该像素点的背景色，I表示该像素点的灰度值，α表示该像素点的合成比例值，div表示散度算子，表示拉普拉斯算子，表示偏导符号；
S132、判断合成比例值是否大于第一预设阈值，若是，则将该像素点划分到前景区域，否则，判断合成比例值是否小于第二预设阈值，若是，则将该像素点划分到背景区域，反之将该像素点划分到未知区域；
S133、更新灰度图像的前景区域、背景区域和未知区域，并判断未知区域中是否存在像素点，若是，则返回执行步骤S131，否则结束。
进一步，所述步骤S2，包括：
S21、分别采用不同的权重因子，将前景区域分解成反射光部分和环境照度部分；
S22、采用Retinex算法对反射光部分进行细节提取处理；
S23、对环境照度部分进行拉伸处理后，采用CLAHE算法进行均衡处理；
S24、针对不同的权重因子，将其对应的处理后的反射光部分和环境照度部分进行合成，从而获得多个增强图像；
S25、对获得的多个增强图像进行盲图像质量评估，进而获得最优的权重因子后，将该最优的权重因子对应的增强图像作为前景区域的增强图像。
进一步，所述步骤S21，包括：
S211、分别采用不同的权重因子，根据下式计算前景区域的每个像素点的每个色彩通道的反射光值和环境照度值；
上式中，(x,y)表示像素点的位置，Li(x,y)表示第i个色彩通道的像素值，RLi(x,y)表示第i个色彩通道的反射光值，AIi(x,y)表示第i个色彩通道的环境照度值，β表示权重因子；
S212、根据前景区域的每个像素点的每个色彩通道的反射光值和环境照度值，将前景区域分解成反射光部分和环境照度部分。
进一步，所述步骤S22，包括：
S221、根据下式获得反射光部分的每个像素点的每个色彩通道的入射分量：
上式中，(x,y)表示像素点的位置，Fi(x,y)表示第i个色彩通道的入射分量，Li(x,y)表示该像素点的R、G、B三个色彩通道的反射光值的最大值，GF(x,y)表示高斯函数，RLi(x,y)表示第i个色彩通道的反射光值；
S222、根据下式计算获得该像素点的每个色彩通道的反射分量：
上式中，Ri(x,y)表示第i个色彩通道的反射分量。
进一步，所述步骤S23，包括：
S231、根据下式对环境照度部分的每个像素点进行拉伸处理：
AIadjusted(x,y)＝2arctan(γAI(x,y))/π
上式中，(x,y)表示像素点的位置，AI(x,y)表示环境照度值，AIadjusted(x,y)表示拉伸处理后的环境照度值，γ表示控制拉伸函数形状的缩放因子；
S232、根据下式，采用CLAHE算法对拉伸处理后的环境照度部分进行均衡处理：
AIfinal(x,y)＝CLAHE(AIadjusted(x,y))
上式中，AIfinal(x,y)表示经过CLAHE均衡处理后的结果。
进一步，所述步骤S25，包括：
S251、根据下式对获得的多个增强图像进行盲图像质量评估，进而获得最优的权重因子：
argmaxβ(F(β)+CEF(β)),s.t.|PQM(β)-10|<0.1，0≤β≤1
上式中，β表示权重因子，F(β)表示该权重因子对应的增强图像的相对增强因子，CEF(β)表示该权重因子对应的增强图像的相对色彩增强因子，PQM(β)表示该权重因子对应的增强图像的感知质量评价值；
S252、将该最优的权重因子对应的增强图像作为前景区域的增强图像。
进一步，所述步骤S4，包括：
S41、针对背光图像的每个像素点，分别统计以该像素点为中心的第一预设窗口中，属于前景区域的第一像素数量和属于背景区域的第二像素数量；
S42、根据第一像素数量和第二像素数量的大小关系，在第一滤波参数值和第二滤波参数值中，选择该像素点的滤波参数值；
S43、基于每个像素点对应的滤波参数值，根据下式，采用NLM算法分别对增强后的前景区域和均衡处理后的背景区域的每个像素点进行降噪：
上式中，表示该像素点降噪后的像素值，Ie(j)表示第一预设窗口，h表示该像素点对应的滤波参数，Ni、Nj表示相似窗口，a表示相似窗口的大小。
进一步，所述步骤S5，包括：
S51、针对背光图像的每个像素点，分别统计以该像素点为中心的第二预设窗口中，属于前景区域的像素所占的第一比例和属于背景区域的像素所占的第二比例；
S52、根据下式将降噪后的前景区域和背景区域进行加权融合后获得增强降噪后的背光图像：
上式中，Ir(x,y)表示增强降噪后的背光图像，p1表示第一比例，p2表示第二比例，表示降噪后的前景区域，表示降噪后的背景区域。
本发明的有益效果是：本发明的一种基于前景背景分离的背光图像增强去噪方法，包括：采用交互式抠图算法将背光图像划分成前景区域和背景区域；采用改进型Retinex算法对前景区域中的像素点进行增强；采用CLAHE算法对背景区域的像素点进行均衡处理；采用多尺度的NLM算法对增强后的前景区域和均衡处理后的背景区域进行降噪；将降噪后的前景区域和背景区域进行加权融合后获得增强降噪后的背光图像。本方法针对背光图像的前景区域和背景区域分别采用不同的增强和去噪方法，能够对背光图像的前景区域实现细节增强，同时保护背景区域不被过度增强，避免了传统方法处理背光图像的缺陷。此外，本发明针对增强后的背光图像中前景背景区域噪声水平不同，采用多尺度的NLM算法处理，可以实现对图像良好的去噪，去噪准确度高。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是本发明的一种基于前景背景分离的背光图像增强去噪方法的流程图；
图2是本发明的一具体实施例中所进行处理的背光图像；
图3是本发明的一具体实施例中对背光图像转换获得的灰度图像；
图4是本发明的一具体实施例中对灰度图像进行粗略划分的结果示意图；
图5是本发明的一具体实施例中对图2所示的背光图像进行划分后所获得的前景区域；
图6是本发明的一具体实施例中对图2所示的背光图像进行划分后所获得的背景区域；
图7是本发明的一具体实施例中对图2的背光图像进行增强去噪后获得的结果。
具体实施方式
参照图1，本发明提供了一种基于前景背景分离的背光图像增强去噪方法，包括：
S1、采用交互式抠图算法将背光图像划分成前景区域和背景区域；
S2、采用改进型Retinex算法对前景区域中的像素点进行增强；
S3、采用CLAHE算法对背景区域的像素点进行均衡处理；
S4、采用多尺度的NLM算法对增强后的前景区域和均衡处理后的背景区域进行降噪；
S5、将降噪后的前景区域和背景区域进行加权融合后获得增强降噪后的背光图像。
进一步作为优选的实施方式，所述步骤S1，包括：
S11、将背光图像转换为灰度图像；
S12、提取灰度图像的粗略的前景轮廓和背景轮廓后，将灰度图像划分为前景区域、背景区域和未知区域；
S13、针对未知区域的每个像素点，通过求解像素点梯度场的泊松方程，依次将该像素点划分到前景区域或背景区域；
S14、根据灰度图像的前景区域和背景区域的划分结果，划分背光图像的前景区域和背景区域。
进一步作为优选的实施方式，所述步骤S11，其具体为：
按照以下公式，将背光图像转换为灰度图像：
I＝0.299R+0.587G+0.114B
上式中，I表示转换后的灰度图像的像素点的灰度值，R、G、B分别表示背光图像的对应像素点的R、G、B三个通道的像素值。
进一步作为优选的实施方式，所述步骤S13，包括：
S131、针对未知区域的每个像素点，采用G-S迭代法对下式进行求解，获得该像素点的合成比例值：
上式中，F表示该像素点的前景色，B表示该像素点的背景色，I表示该像素点的灰度值，α表示该像素点的合成比例值，div表示散度算子，表示拉普拉斯算子，表示偏导符号；
S132、判断合成比例值是否大于第一预设阈值，若是，则将该像素点划分到前景区域，否则，判断合成比例值是否小于第二预设阈值，若是，则将该像素点划分到背景区域，反之将该像素点划分到未知区域；
S133、更新灰度图像的前景区域、背景区域和未知区域，并判断未知区域中是否存在像素点，若是，则返回执行步骤S131，否则结束。
进一步作为优选的实施方式，所述步骤S2，包括：
S21、分别采用不同的权重因子，将前景区域分解成反射光部分和环境照度部分；
S22、采用Retinex算法对反射光部分进行细节提取处理；
S23、对环境照度部分进行拉伸处理后，采用CLAHE算法进行均衡处理；
S24、针对不同的权重因子，将其对应的处理后的反射光部分和环境照度部分进行合成，从而获得多个增强图像；
S25、对获得的多个增强图像进行盲图像质量评估，进而获得最优的权重因子后，将该最优的权重因子对应的增强图像作为前景区域的增强图像。
进一步作为优选的实施方式，所述步骤S21，包括：
S211、分别采用不同的权重因子，根据下式计算前景区域的每个像素点的每个色彩通道的反射光值和环境照度值；
上式中，(x,y)表示像素点的位置，Li(x,y)表示第i个色彩通道的像素值，RLi(x,y)表示第i个色彩通道的反射光值，AIi(x,y)表示第i个色彩通道的环境照度值，β表示权重因子；
S212、根据前景区域的每个像素点的每个色彩通道的反射光值和环境照度值，将前景区域分解成反射光部分和环境照度部分。
进一步作为优选的实施方式，所述步骤S22，包括：
S221、根据下式获得反射光部分的每个像素点的每个色彩通道的入射分量：
上式中，(x,y)表示像素点的位置，Fi(x,y)表示第i个色彩通道的入射分量，Li(x,y)表示该像素点的R、G、B三个色彩通道的反射光值的最大值，GF(x,y)表示高斯函数，RLi(x,y)表示第i个色彩通道的反射光值；
S222、根据下式计算获得该像素点的每个色彩通道的反射分量：
上式中，Ri(x,y)表示第i个色彩通道的反射分量。
进一步作为优选的实施方式，所述步骤S23，包括：
S231、根据下式对环境照度部分的每个像素点进行拉伸处理：
AIadjusted(x,y)＝2arctan(γAI(x,y))/π
上式中，(x,y)表示像素点的位置，AI(x,y)表示环境照度值，AIadjusted(x,y)表示拉伸处理后的环境照度值，γ表示控制拉伸函数形状的缩放因子；
S232、根据下式，采用CLAHE算法对拉伸处理后的环境照度部分进行均衡处理：
AIfinal(x,y)＝CLAHE(AIadjusted(x,y))
上式中，AIfinal(x,y)表示经过CLAHE均衡处理后的结果。
进一步作为优选的实施方式，所述步骤S24，其具体为：
针对不同的权重因子，按照下式，将其对应的处理后的反射光部分和环境照度部分进行合成，从而获得多个增强图像：
EIi(x,y)＝Ri(x,y)×AIfinal(x,y)
上式中，(x,y)表示像素点的位置，EIi(x,y)表示增强图像的第i个色彩通道的像素值，Ri(x,y)表示第i个色彩通道的反射分量，AIfinal(x,y)表示经过CLAHE均衡处理后的结果。
进一步作为优选的实施方式，所述步骤S25，包括：
S251、根据下式对获得的多个增强图像进行盲图像质量评估，进而获得最优的权重因子：
argmaxβ(F(β)+CEF(β)),s.t.|PQM(β)-10|<0.1，0≤β≤1
上式中，β表示权重因子，F(β)表示该权重因子对应的增强图像的相对增强因子，CEF(β)表示该权重因子对应的增强图像的相对色彩增强因子，PQM(β)表示该权重因子对应的增强图像的感知质量评价值；
S252、将该最优的权重因子对应的增强图像作为前景区域的增强图像。
进一步作为优选的实施方式，所述步骤S4，包括：
S41、针对背光图像的每个像素点，分别统计以该像素点为中心的第一预设窗口中，属于前景区域的第一像素数量和属于背景区域的第二像素数量；
S42、根据第一像素数量和第二像素数量的大小关系，在第一滤波参数值和第二滤波参数值中，选择该像素点的滤波参数值；
S43、基于每个像素点对应的滤波参数值，根据下式，采用NLM算法分别对增强后的前景区域和均衡处理后的背景区域的每个像素点进行降噪：
上式中，表示该像素点降噪后的像素值，Ie(j)表示第一预设窗口，h表示该像素点对应的滤波参数，Ni、Nj表示相似窗口，a表示相似窗口的大小。
进一步作为优选的实施方式，所述步骤S5，包括：
S51、针对背光图像的每个像素点，分别统计以该像素点为中心的第二预设窗口中，属于前景区域的像素所占的第一比例和属于背景区域的像素所占的第二比例；
S52、根据下式将降噪后的前景区域和背景区域进行加权融合后获得增强降噪后的背光图像：
上式中，Ir(x,y)表示增强降噪后的背光图像，p1表示第一比例，p2表示第二比例，表示降噪后的前景区域，表示降噪后的背景区域。、
以下结合具体实施例对本发明做详细说明。
参照图1，一种基于前景背景分离的背光图像增强去噪方法，包括：
S1、采用交互式抠图算法将背光图像划分成前景区域和背景区域；
S2、采用改进型Retinex算法对前景区域中的像素点进行增强；
S3、采用CLAHE算法对背景区域的像素点进行均衡处理；
S4、采用多尺度的NLM算法对增强后的前景区域和均衡处理后的背景区域进行降噪；
S5、将降噪后的前景区域和背景区域进行加权融合后获得增强降噪后的背光图像。
具体的，步骤S1包括S11～S14：
S11、按照以下公式，将背光图像转换为灰度图像：
I＝0.299R+0.587G+0.114B
上式中，I表示转换后的灰度图像的像素点的灰度值，R、G、B分别表示背光图像的对应像素点的R、G、B三个通道的像素值；
本步骤对图2所示的背光图像进行灰度转换后获得的灰度图像如图3所示；
S12、参照图4，提取灰度图像的粗略的前景轮廓和背景轮廓后，将灰度图像划分为前景区域、背景区域和未知区域，图4中，1表示前景区域，2表示背景区域，3表示未知区域；提取灰度图像的粗略的前景轮廓和背景轮廓的方法可以有多样，可以是基于现有技术的提取方法进行粗略提取，或者响应于用户输入的粗略的前景轮廓和背景轮廓来提取获得粗略的轮廓；
S13、针对未知区域的每个像素点，通过求解像素点梯度场的泊松方程，依次将该像素点划分到前景区域或背景区域；
S14、根据灰度图像的前景区域和背景区域的划分结果，划分背光图像的前景区域和背景区域，最后划分得到的前景区域如图5所示，背景区域如图6所示。
本实施例中，步骤S13包括S131和S132：
S131、针对未知区域的每个像素点，采用G-S迭代法对下式进行求解，获得该像素点的合成比例值：
上式中，F表示该像素点的前景色，B表示该像素点的背景色，I表示该像素点的灰度值，α表示该像素点的合成比例值，div表示散度算子，表示拉普拉斯算子，表示偏导符号；
S132、判断合成比例值是否大于第一预设阈值，若是，则将该像素点划分到前景区域，否则，判断合成比例值是否小于第二预设阈值，若是，则将该像素点划分到背景区域，反之将该像素点划分到未知区域；本实施例中，第一预设阈值为0.95，第二预设阈值为0.05；
S133、更新灰度图像的前景区域、背景区域和未知区域，并判断未知区域中是否存在像素点，若是，则返回执行步骤S131，否则结束。
步骤S131中公式的来源如下：
在数字抠图模型中，图像中的每个像素点可由下式表示：
I＝αF+(1-α)B
其中，F表示该像素点的前景色，B表示该像素点的背景色，I表示该像素点的灰度值，α表示该像素点的合成比例值，也称该像素点的alpha因子，取值范围为α∈[0,1]；
对该表达式两边求偏导，可获得下式：
其中，表示偏导符号；
假定图像中的前景色与背景色均是平滑的，则上式中的和约等于0，上式变形得到：
进而可以得到：
其中，div表示散度算子，表示拉普拉斯算子。采用G-S迭代法对该式进行求解，可以获得合成比例值α。
最后，进行判断，如果α大于0.95，则将该像素点判定为前景区域像素点，如果α小于0.05，则将该像素点判定为背景区域像素点。若α处于第一预设阈值和第二预设阈值之间，即这里的0.05～0.95之间，则将该像素点判定为未知区域的像素点，将该像素点划分到未知区域；
S133、更新灰度图像的前景区域、背景区域和未知区域，并判断未知区域中是否存在像素点，若是，则返回执行步骤S131，否则结束。
本步骤中，通过求解泊松方程，将未知区域的部分像素点划分到前景区域中，另外一部分划分到背景区域中，然后对剩余的未知区域的像素点，重复执行本步骤，直到所有未知区域的像素点都被划分到前景区域或背景区域中。
本实施例中，步骤S2包括S21～S25：
S21、分别采用不同的权重因子，将前景区域分解成反射光部分和环境照度部分；
S22、采用Retinex算法对反射光部分进行细节提取处理；
S23、对环境照度部分进行拉伸处理后，采用CLAHE算法进行均衡处理；
S24、针对不同的权重因子，将其对应的处理后的反射光部分和环境照度部分进行合成，从而获得多个增强图像；
S25、对获得的多个增强图像进行盲图像质量评估，进而获得最优的权重因子后，将该最优的权重因子对应的增强图像作为前景区域的增强图像。
本实施例中，步骤S21，包括S211和S212：
S211、分别采用不同的权重因子，根据下式计算前景区域的每个像素点的每个色彩通道的反射光值和环境照度值；
上式中，(x,y)表示像素点的位置，Li(x,y)表示第i个色彩通道的像素值，RLi(x,y)表示第i个色彩通道的反射光值，AIi(x,y)表示第i个色彩通道的环境照度值，β表示权重因子；
S212、根据前景区域的每个像素点的每个色彩通道的反射光值和环境照度值，将前景区域分解成反射光部分和环境照度部分。
具体的，步骤S22，包括S221和S222：
S221、根据下式获得反射光部分的每个像素点的每个色彩通道的入射分量：
上式中，(x,y)表示像素点的位置，Fi(x,y)表示第i个色彩通道的入射分量，Li(x,y)表示该像素点的R、G、B三个色彩通道的反射光值的最大值，GF(x,y)表示高斯函数，RLi(x,y)表示第i个色彩通道的反射光值；
S222、根据下式计算获得该像素点的每个色彩通道的反射分量：
上式中，Ri(x,y)表示第i个色彩通道的反射分量。
具体的，步骤S23，包括S231和S232：
S231、根据下式对环境照度部分的每个像素点进行拉伸处理：
AIadjusted(x,y)＝2arctan(γAI(x,y))/π
上式中，(x,y)表示像素点的位置，AI(x,y)表示环境照度值，AIadjusted(x,y)表示拉伸处理后的环境照度值，γ表示控制拉伸函数形状的缩放因子；
S232、根据下式，采用CLAHE算法对拉伸处理后的环境照度部分进行均衡处理：
AIfinal(x,y)＝CLAHE(AIadjusted(x,y))
上式中，AIfinal(x,y)表示经过CLAHE均衡处理后的结果。
具体的，步骤S24，其具体为：
针对不同的权重因子，按照下式，将其对应的处理后的反射光部分和环境照度部分进行合成，从而获得多个增强图像：
EIi(x,y)＝Ri(x,y)×AIfinal(x,y)
上式中，(x,y)表示像素点的位置，EIi(x,y)表示增强图像的第i个色彩通道的像素值，Ri(x,y)表示第i个色彩通道的反射分量，AIfinal(x,y)表示经过CLAHE均衡处理后的结果。
具体的，步骤S25包括S251和S252：
S251、根据下式对获得的多个增强图像进行盲图像质量评估，进而获得最优的权重因子：
argmaxβ(F(β)+CEF(β)),s.t.|PQM(β)-10|<0.1，0≤β≤1
上式中，β表示权重因子，F(β)表示该权重因子对应的增强图像的相对增强因子，CEF(β)表示该权重因子对应的增强图像的相对色彩增强因子，PQM(β)表示该权重因子对应的增强图像的感知质量评价值；F(β)、CEF(β)和PQM(β)满足以下公式：
且Q和CM的公式为：
其中，σ和μ分别表示增强图像的标准值和均值，Q表示图像的对比度质量指标，QB(β)表示该权重因子对应的增强后图像的对比度质量指标，QA(β)表示该权重因子对应的增强前图像的对比度质量指标，σφ和分别表示φ和的标准差，μφ和分别表示φ和的均值，φ＝R-G，其中，R、G、B分别表示背光图像的对应像素点的R、G、B三个通道的像素值，CM(I)表示图像的色彩因子，CMB(β)表示该权重因子对应的增强后图像的色彩因子，CMA(β)表示该权重因子对应的增强前图像的色彩因子，分别表示模型相关参数，B(β)表示平均块，A(β)表示块之间绝对差值的均值，Z(β)表示过零率。当PQM(β)的值越接近于10，表示图像质量越好，因此，取PQM(β)的最接近于10的值所对应的权重因子β作为最优的权重因子；
S252、将该最优的权重因子对应的增强图像作为前景区域的增强图像。
具体的，步骤S4，包括S41～S43：
S41、针对背光图像的每个像素点，分别统计以该像素点为中心的第一预设窗口中，属于前景区域的第一像素数量和属于背景区域的第二像素数量；优选的，本实施例中第一预设窗口的大小设为5×5，设第一像素数量为n1，第二像素数量为n2；
S42、根据第一像素数量和第二像素数量的大小关系，在第一滤波参数值和第二滤波参数值中，选择该像素点的滤波参数值，若n1最大，则选择第一滤波参数值作为该像素点的滤波参数值，反之，若n2最大，则选择第二滤波参数值作为该像素点的滤波参数值；优选的，本实施例中，第一滤波参数值为10，第二滤波参数值为4；
S43、基于每个像素点对应的滤波参数值，根据下式，采用NLM算法分别对增强后的前景区域和均衡处理后的背景区域的每个像素点进行降噪：
上式中，表示该像素点降噪后的像素值，Ie(j)表示第一预设窗口，h表示该像素点对应的滤波参数，为步骤S42中选择的值，Ni、Nj表示相似窗口，a表示相似窗口的大小。
步骤S41～S43的算法的核心思想是在大小为第一预设窗口的像素范围内搜寻尽可能多的与被滤波像素相似的其它像素参与到滤波过程中，以实现更好的滤波效果。搜索窗内两个像素点i和j的相似性，则通过中心分别位于这两个像素点的相似窗Ni和Nj中所有像素点的加权欧几里德距离来度量。考虑到滤波参数h决定了该算法的降噪程度，而同一幅图像前景和背景区域经过增强后含噪水平不同，因而通过判断图像属于前景区域或背景区域选择不同的滤波参数h，对增强后的含噪图像实现多尺度非局部均值滤波去噪(NLM)，可以根据噪声水平的不同，对图像进行良好的去噪。
具体的S51和S52，步骤S5，包括：
S51、针对背光图像的每个像素点，分别统计以该像素点为中心的第二预设窗口中，属于前景区域的像素所占的第一比例和属于背景区域的像素所占的第二比例；
S52、根据下式将降噪后的前景区域和背景区域进行加权融合后获得增强降噪后的背光图像，如图7所示：
上式中，Ir(x,y)表示增强降噪后的背光图像，p1表示第一比例，p2表示第二比例，表示降噪后的前景区域，表示降噪后的背景区域。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
1.一种基于前景背景分离的背光图像增强去噪方法，其特征在于，包括：
S1、采用交互式抠图算法将背光图像划分成前景区域和背景区域；
S2、采用改进型Retinex算法对前景区域中的像素点进行增强；
S3、采用CLAHE算法对背景区域的像素点进行均衡处理；
S4、采用多尺度的NLM算法对增强后的前景区域和均衡处理后的背景区域进行降噪；
S5、将降噪后的前景区域和背景区域进行加权融合后获得增强降噪后的背光图像；
所述步骤S2，包括S21～S25：
S21、分别采用不同的权重因子，将前景区域分解成反射光部分和环境照度部分；
S22、采用Retinex算法对反射光部分进行细节提取处理；
S23、对环境照度部分进行拉伸处理后，采用CLAHE算法进行均衡处理；
S24、针对不同的权重因子，将其对应的处理后的反射光部分和环境照度部分进行合成，从而获得多个增强图像；
S25、对获得的多个增强图像进行盲图像质量评估，进而获得最优的权重因子后，将该最优的权重因子对应的增强图像作为前景区域的增强图像；
所述步骤S4，包括S41～S43：
S41、针对背光图像的每个像素点，分别统计以该像素点为中心的第一预设窗口中，属于前景区域的第一像素数量和属于背景区域的第二像素数量；
S42、根据第一像素数量和第二像素数量的大小关系，在第一滤波参数值和第二滤波参数值中，选择该像素点的滤波参数值；
S43、基于每个像素点对应的滤波参数值，根据下式，采用NLM算法分别对增强后的前景区域和均衡处理后的背景区域的每个像素点进行降噪：
上式中，表示该像素点降噪后的像素值，Ie(j)表示第一预设窗口，h表示该像素点对应的滤波参数值，Ni、Nj表示相似窗口，a表示相似窗口的大小。
2.根据权利要求1所述的一种基于前景背景分离的背光图像增强去噪方法，其特征在于，所述步骤S1，包括：
S11、将背光图像转换为灰度图像；
S12、提取灰度图像的粗略的前景轮廓和背景轮廓后，将灰度图像划分为前景区域、背景区域和未知区域；
S13、针对未知区域的每个像素点，通过求解像素点梯度场的泊松方程，依次将该像素点划分到前景区域或背景区域；
S14、根据灰度图像的前景区域和背景区域的划分结果，划分背光图像的前景区域和背景区域。
3.根据权利要求2所述的一种基于前景背景分离的背光图像增强去噪方法，其特征在于，所述步骤S13，包括：
S131、针对未知区域的每个像素点，采用G-S迭代法对下式进行求解，获得该像素点的合成比例值：
上式中，F表示该像素点的前景色，B表示该像素点的背景色，I表示该像素点的灰度值，α表示该像素点的合成比例值，div表示散度算子，表示拉普拉斯算子，表示偏导符号；
S132、判断合成比例值是否大于第一预设阈值，若是，则将该像素点划分到前景区域，否则，判断合成比例值是否小于第二预设阈值，若是，则将该像素点划分到背景区域，反之将该像素点划分到未知区域；
S133、更新灰度图像的前景区域、背景区域和未知区域，并判断未知区域中是否存在像素点，若是，则返回执行步骤S131，否则结束。
4.根据权利要求1所述的一种基于前景背景分离的背光图像增强去噪方法，其特征在于，所述步骤S21，包括：
S211、分别采用不同的权重因子，根据下式计算前景区域的每个像素点的每个色彩通道的反射光值和环境照度值；
上式中，(x,y)表示像素点的位置，Li(x,y)表示第i个色彩通道的像素值，RLi(x,y)表示第i个色彩通道的反射光值，AIi(x,y)表示第i个色彩通道的环境照度值，β表示权重因子；
S212、根据前景区域的每个像素点的每个色彩通道的反射光值和环境照度值，将前景区域分解成反射光部分和环境照度部分。
5.根据权利要求1所述的一种基于前景背景分离的背光图像增强去噪方法，其特征在于，所述步骤S22，包括：
S221、根据下式获得反射光部分的每个像素点的每个色彩通道的入射分量：
上式中，(x,y)表示像素点的位置，Fi(x,y)表示第i个色彩通道的入射分量，Li(x,y)表示该像素点的R、G、B三个色彩通道的反射光值的最大值，GF(x,y)表示高斯函数，RLi(x,y)表示第i个色彩通道的反射光值，σ表示增强图像的标准值；
S222、根据下式计算获得该像素点的每个色彩通道的反射分量：
上式中，Ri(x,y)表示第i个色彩通道的反射分量。
6.根据权利要求1所述的一种基于前景背景分离的背光图像增强去噪方法，其特征在于，所述步骤S23，包括：
S231、根据下式对环境照度部分的每个像素点进行拉伸处理：
AIadjusted(x,y)＝2arctan(γAI(x,y))/π
上式中，(x,y)表示像素点的位置，AI(x,y)表示环境照度值，AIadjusted(x,y)表示拉伸处理后的环境照度值，γ表示控制拉伸函数形状的缩放因子；
S232、根据下式，采用CLAHE算法对拉伸处理后的环境照度部分进行均衡处理：
AIfinal(x,y)＝CLAHE(AIadjusted(x,y))
上式中，AIfinal(x,y)表示经过CLAHE均衡处理后的结果。
7.根据权利要求1所述的一种基于前景背景分离的背光图像增强去噪方法，其特征在于，所述步骤S25，包括：
S251、根据下式对获得的多个增强图像进行盲图像质量评估，进而获得最优的权重因子：
argmaxβ(F(β)+CEF(β)),s.t.|PQM(β)-10|<0.1，0≤β≤1
上式中，β表示权重因子，F(β)表示该权重因子对应的增强图像的相对增强因子，CEF(β)表示该权重因子对应的增强图像的相对色彩增强因子，PQM(β)表示该权重因子对应的增强图像的感知质量评价值；
S252、将该最优的权重因子对应的增强图像作为前景区域的增强图像。
8.根据权利要求1所述的一种基于前景背景分离的背光图像增强去噪方法，其特征在于，所述步骤S5，包括：
S51、针对背光图像的每个像素点，分别统计以该像素点为中心的第二预设窗口中，属于前景区域的像素所占的第一比例和属于背景区域的像素所占的第二比例；
S52、根据下式将降噪后的前景区域和背景区域进行加权融合后获得增强降噪后的背光图像：
上式中，Ir(x,y)表示增强降噪后的背光图像，p1表示第一比例，p2表示第二比例，表示降噪后的前景区域，表示降噪后的背景区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510996113.6A CN105654436B (zh) | 2015-12-24 | 2015-12-24 | 一种基于前景背景分离的背光图像增强去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510996113.6A CN105654436B (zh) | 2015-12-24 | 2015-12-24 | 一种基于前景背景分离的背光图像增强去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105654436A CN105654436A (zh) | 2016-06-08 |
| CN105654436B true CN105654436B (zh) | 2018-10-23 |
Family
ID=56477786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510996113.6A Active CN105654436B (zh) | 2015-12-24 | 2015-12-24 | 一种基于前景背景分离的背光图像增强去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105654436B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106340027B (zh) * | 2016-08-26 | 2019-02-01 | 西北大学 | 一种基于图像超分辨率的书法背景重建方法 |
| CN108122206A (zh) * | 2016-11-29 | 2018-06-05 | 深圳市中兴微电子技术有限公司 | 一种低照度图像降噪方法及装置 |
| CN107016651A (zh) * | 2017-03-09 | 2017-08-04 | 广东欧珀移动通信有限公司 | 图像锐化方法、图像锐化装置及电子装置 |
| CN106851119B (zh) * | 2017-04-05 | 2020-01-03 | 奇酷互联网络科技（深圳）有限公司 | 一种图片生成的方法和设备以及移动终端 |
| CN107481210B (zh) * | 2017-08-03 | 2020-12-25 | 北京长峰科威光电技术有限公司 | 基于细节的局部选择性映射的红外图像增强方法 |
| CN107230182B (zh) * | 2017-08-03 | 2021-11-09 | 腾讯科技（深圳）有限公司 | 一种图像的处理方法、装置以及存储介质 |
| CN108198146B (zh) * | 2017-12-29 | 2020-11-24 | 深圳市烨弘数码科技有限公司 | 一种降噪方法、设备和计算机可读存储介质 |
| CN108564923B (zh) * | 2018-01-30 | 2020-04-10 | 武汉华星光电技术有限公司 | 基于分区背光的高动态对比度图像显示方法及装置 |
| CN108447040A (zh) * | 2018-02-09 | 2018-08-24 | 深圳市朗驰欣创科技股份有限公司 | 直方图均衡化方法、装置及终端设备 |
| CN108847085B (zh) * | 2018-07-04 | 2021-02-02 | 武汉木仓科技股份有限公司 | 一种驾驶培训智能教练机器人 |
| CN109191414A (zh) * | 2018-08-21 | 2019-01-11 | 北京旷视科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111063319B (zh) * | 2018-10-16 | 2021-05-18 | 深圳Tcl新技术有限公司 | 基于背光调整的图像动态增强方法、装置和计算机设备 |
| CN111178118B (zh) * | 2018-11-13 | 2023-07-21 | 浙江宇视科技有限公司 | 图像采集处理方法、装置及计算机可读存储介质 |
| CN111292335B (zh) * | 2018-12-10 | 2023-06-13 | 北京地平线机器人技术研发有限公司 | 一种前景掩模特征图的确定方法、装置及电子设备 |
| CN109829860B (zh) * | 2018-12-26 | 2021-02-02 | 武汉高德智感科技有限公司 | 全图与局部相结合的图像线性动态范围压缩方法及系统 |
| CN109858418B (zh) * | 2019-01-23 | 2021-10-15 | 上海思立微电子科技有限公司 | 指纹图像的处理方法和装置 |
| US11100611B2 (en) * | 2019-03-29 | 2021-08-24 | GE Precision Healthcare LLC | Systems and methods for background noise reduction in magnetic resonance images |
| CN110163825B (zh) * | 2019-05-23 | 2022-11-25 | 大连理工大学 | 一种人类胚胎心脏超声图像去噪和增强方法 |
| CN110443783B (zh) * | 2019-07-08 | 2021-10-15 | 新华三信息安全技术有限公司 | 一种图像质量评估方法及装置 |
| CN110378852A (zh) * | 2019-07-11 | 2019-10-25 | 北京奇艺世纪科技有限公司 | 图像增强方法、装置、计算机设备和存储介质 |
| CN110889824A (zh) * | 2019-10-12 | 2020-03-17 | 北京海益同展信息科技有限公司 | 一种样本生成方法、装置、电子设备及计算机可读存储介质 |
| CN111080560B (zh) * | 2019-12-31 | 2020-09-29 | 哈尔滨学院 | 一种图像的处理与识别方法 |
| CN111738944B (zh) * | 2020-06-12 | 2024-04-05 | 深圳康佳电子科技有限公司 | 一种图像对比度增强方法、装置、存储介质及智能电视 |
| CN112615979B (zh) * | 2020-12-07 | 2022-03-15 | 江西欧迈斯微电子有限公司 | 图像获取方法、图像获取装置、电子装置和存储介质 |
| CN112907460B (zh) * | 2021-01-25 | 2022-07-29 | 宁波市鄞州区测绘院 | 一种遥感图像增强方法 |
| CN115578294B (zh) * | 2022-11-11 | 2023-03-10 | 北京九辰智能医疗设备有限公司 | 图像增强方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102446352A (zh) * | 2011-09-13 | 2012-05-09 | 深圳市万兴软件有限公司 | 视频图像处理方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009154596A1 (en) * | 2008-06-20 | 2009-12-23 | Hewlett-Packard Development Company, L.P. | Method and system for efficient video processing |
-
2015
- 2015-12-24 CN CN201510996113.6A patent/CN105654436B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102446352A (zh) * | 2011-09-13 | 2012-05-09 | 深圳市万兴软件有限公司 | 视频图像处理方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 前景提取算法的研究与改进;王培;《中国优秀硕士学位论文全文数据库》;20110715(第07期);第7-19页 * |
| 基于Retinex理论的图像增强算法研究;陈雾;《中国优秀博硕士学位论文全文数据库》;20070115(第01期);摘要，第28-44页 * |
| 基于暗原色及入射光假设的单幅图像去雾;於敏杰等;《中国图象图形学报》;20141216;第1812-1819页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105654436A (zh) | 2016-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105654436B (zh) | 一种基于前景背景分离的背光图像增强去噪方法 | |
| Wang et al. | Low-light image enhancement via the absorption light scattering model | |
| CN109872285B (zh) | 一种基于变分约束的Retinex低照度彩色图像增强方法 | |
| US8411979B2 (en) | Digital image processing and enhancing system and method with function of removing noise | |
| CN110706174B (zh) | 一种图像增强方法、终端设备及存储介质 | |
| CN110807742B (zh) | 一种基于一体式网络的微光图像增强方法 | |
| CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| CN111368661B (zh) | 一种基于图像处理的手指静脉图像增强方法 | |
| CN104574293A (zh) | 基于有界运算的多尺度Retinex图像清晰化算法 | |
| CN107203980B (zh) | 自适应多尺度暗通道先验的水下目标探测图像增强方法 | |
| CN111223110A (zh) | 一种显微图像增强方法、装置及计算机设备 | |
| Gui et al. | Adaptive single image dehazing method based on support vector machine | |
| CN113129300A (zh) | 一种降低误检率的排水管道缺陷检测方法、装置、设备及介质 | |
| CN115760630A (zh) | 一种低照度图像增强方法 | |
| CN115797205A (zh) | 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统 | |
| CN114418906A (zh) | 一种图像对比度增强方法及系统 | |
| Amil et al. | Bilateral histogram equalization with pre-processing for contrast enhancement | |
| CN113450340A (zh) | 一种皮肤纹理检测系统 | |
| Chen et al. | A novel low-light enhancement via fractional-order and low-rank regularized retinex model | |
| CN110246097A (zh) | 一种基于l0梯度最小化的彩色图像增强方法 | |
| Shankar et al. | Object oriented fuzzy filter for noise reduction of Pgm images | |
| Tao et al. | MTIE-Net: Multi-technology fusion of low-light image enhancement network | |
| CN116071259A (zh) | 一种基于二次引导滤波的红外图像增强方法 | |
| Subramani et al. | Pixel intensity optimization and detail-preserving contextual contrast enhancement for underwater images | |
| Ma et al. | Solid waste surface feature enhancement method based on gamma correction and wavelet transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20201110 Granted publication date: 20181023 |
|
| PP01 | Preservation of patent right | ||
| PD01 | Discharge of preservation of patent |
Date of cancellation: 20231110 Granted publication date: 20181023 |
|
| PD01 | Discharge of preservation of patent | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20231110 Granted publication date: 20181023 |
|
| PP01 | Preservation of patent right |