CN115035011B - 一种融合策略下自适应RetinexNet的低照度图像增强方法 - Google Patents
一种融合策略下自适应RetinexNet的低照度图像增强方法 Download PDFInfo
- Publication number
- CN115035011B CN115035011B CN202210644966.3A CN202210644966A CN115035011B CN 115035011 B CN115035011 B CN 115035011B CN 202210644966 A CN202210644966 A CN 202210644966A CN 115035011 B CN115035011 B CN 115035011B
- Authority
- CN
- China
- Prior art keywords
- image
- illumination
- low
- reflectivity
- enhanced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 149
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 238000002310 reflectometry Methods 0.000 claims abstract description 47
- 230000002708 enhancing effect Effects 0.000 claims abstract description 14
- 230000009467 reduction Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005316 response function Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 11
- 238000011176 pooling Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，具体涉及一种融合策略下自适应RetinexNet的低照度图像增强方法，包括将低照度图像的V通道图像以及正常光图像对输入DecomNet中，得到图像的光照和反射率；将低照度图像的反射率以及光照输入到RestorationNet中，用光照引导反射率降噪，得到降噪以后的反射率；将低照度图像的反射率以及光照输入到EnhanceNet中，对低照度图像的光照进行增强，得到增强后的光照；图像重建，得到粗增强图像；获取低照度图像的虚拟过曝光图像，将其与低照度图像、粗增强图像进行融合；本发明改善了图像增强后的色彩失真现象，并满足了保留边缘结构和细节信息的同时可以有效抑制噪声的需求。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种融合策略下自适应RetinexNet的低照度图像增强方法。
背景技术
互联网的普及，让人类快速进入了信息时代，人们对各类信息的需求越来越大，而通过人眼视觉系统获取的信息约达到了人类获取信息总量的75％，其中图像又是人眼获取信息的重要载体之一。作为一种重要的信息载体，为了使图像能够满足各个应用领域的需要，图像处理技术也成为了人们研究的热门领域。在现实生活中，由于获取图像的设备和以及环境等因素，往往会得到一些低质量的图片。其中一部分原因是非正常天气因素导致的，也有一部分原因是设备等原因(比如曝光不足)造成的。这类图像一般会有整体偏暗、对比度差、以及细节不明显等问题，从而影响人们对图像内容的观察和图像的后续使用。
为了尽可能地提取低质量图像中的重要信息，有必要对此类图像进行图像处理，图像增强等图像处理技术也就因此而诞生。利用图像增强技术再现图像的内容，一方面可以提升视觉体验，满足人们的视觉欣赏需求；另一方面，图像增强作为计算机视觉的预处理手段之一，再现图像中细节信息，可以大大提升诸如计算机视觉领域的检测识别，生物医学领域的病理特征信息提取等生产应用的正确率。
当前在低照度环境下的图像增强包括直方图均衡化增强、小波变换图像增强以及Retinex理论增强等。相比较而言，基于Retinex理论的图像增强对大多数图像具有很好的增强效果，使用范围比较广。对于夜晚图像、大雾图像以及低照度图像等，Retinex图像增强方法也有不错的效果。但也存在较明显的颜色失真现象以及丢失了一定的边缘细节信息。
发明内容
为了提升图像的细节以及对比度，且令图像含有丰富的纹理细节和良好的视觉效果，本发明提出一种融合策略下自适应RetinexNet的低照度图像增强方法，具体包括以下步骤：
从历史数据中获取原始图像，以及原始图像对应的合成的低照度图像，将原始图像作为正常光图像，将合成的低照度图像作为低照度图像；
将低照度图像的V通道图像以及正常光图像对输入DecomNet中，得到正常光图像的光照和反射率，以及低照度图像的光照、反射率；
得到的低照度图像的反射率以及光照输入到RestorationNet中，用光照引导反射率降噪，得到降噪以后的反射率；
将低照度图像的反射率以及光照输入到EnhanceNet中，对低照度图像的光照进行增强，得到增强后的光照；
图像重建，即将优化后图像的H通道、V通道以及S通道使用颜色通道合成RGB图像，即粗增强图像；
获取低照度图像的虚拟过曝光图像，将低照度图像、粗增强图像以及虚拟过曝光图像进行融合，获得最终的优化后增强图像。
进一步的，图像输入DecomNet之前将训练集或者实时的待增强低照度图像进行颜色通道转换，将图像由RGB图像转化为HSV图像。
进一步的，对输入DecomNet的图像使用卷积核为卷积核为3×3的卷积层提取特征，即依次通过5个带有ReLU、卷积核为3×3的卷积层进行特征提取，其中每个卷积层用于提取特征、ReLU用于将得到的特征映射到反射率和光照；映射后依次通过一层卷积核为3×3的卷积层和sigmoid函数得到通道为4的图像，将图像前3个通道作为该图像的反射率R，最后一个通道的作为该图像的光照I，即通过一层卷积核为3×3的卷积层从图像的特征空间投影反射率R和光照I，并使用Sigmoid函数将投影的值约束在[0，1]范围内。
进一步的，对低照度图像的光照进行增强，得到增强后的光照的过程包括：
将低照度图像的光照以及降噪后的反射率进行拼接后作为EnhanceNet网络的输入；
通过EnhanceNet网络的编码器-解码器架构获取输入图像大区域中的上下文信息；
在EnhanceNet网络中，采用连续三个下采样模块将输入的图像下采样到不同的尺寸；例如，若原图的尺寸为600x400，经过3次下采样需要将图像缩小到75x50；
将每次下采样后的图像与上下文信息分别进行拼接，拼接后的图像通过上采样进行重建得到增强后的光照，每次拼接通过元素求和，从上采样块到其对应的镜像上采样中引入跳跃连接，再接着引入多尺度拼接，然后通过最近邻插值调整最终尺度，并将其连接到一个通道特征图中，最后再来一个3*3卷积得到最终的光照图。
进一步的，通过DecomNet的损失函数进行反向传播训练DecomNet，DecomNet的损失函数L1由重建损失函数Lrecon、反射分量一致性损失函数Lir和结构平滑损失函数Lis构成，表示为：
L1＝Lrecon+λirLir+λisLis；
Lir＝||Rlow-Rnormal||1；
其中，λir表示反射率一致性系数，λis表示照明平滑度系数；low表示低照度图像数据集，normal表示正常光图像数据集；λij为重建损失的平衡系数；Ri为当i等于low或者normal时的反射率；当j＝low时，Ij为低光照图像的光照，当j＝normal时，Ij为正常光图像的光照；当j＝low时，Sj表示低光照图像，当j＝normal时，Sj表示正常光图像；Rlow表示低照度图像的反射率；Rnormal表示正常光图像的反射率；▽表示求梯度；λg为平衡结构感知强度系数；||||2表示2范数；||||1表示1-范式，其中Lrecon中的1范数用来求全部训练图像的重建损失，Lir中的1-范数用来求出全部训练图像的反射图之差；▽表示求梯度；||||2表示2-范数，用于求模长；
通过RestorationNet的损失函数进行反向传播训练RestorationNet，RestorationNet的损失函数表示为：
其中，为RestorationNet的损失函数；为降噪后的反射图；Rh为正常光图像的反射率；为与Rh之间的结构相似性度量；
通过EnhanceNet的损失函数进行反向传播训练EnhanceNet，EnhanceNet的损失函数由重建损失函数Lrecon和结构平滑损失函数Lis构成，表示为：
L2＝Lrecon+λisLis；
其中，L2为EnhanceNet的损失函数。
进一步的，在得到增强后的V通道图像后，对S通道图像进行自适应调整，调整过程表示为：
s′(x,y)＝s(x,y)+t[v′(x,y)-v(x,y)]×λ(x,y)；
其中，s′(x,y)为粗增强图像第x行、y列处像素点的饱和度；s(p,q)为低照度图像第x行、y列处像素点的饱和度；v′(x,y)为粗增强图像第x行、y列处像素点的亮度；v(p,q)为低照度图像第x行、y列处像素点的亮度；t为比例常数；λ(x,y)为v(p,q)和s(p,q)的相关系数。
进一步的，v(p,q)和s(p,q)的相关系数λ(x,y)表示为：
其中，v(p,q)为像素点(x,y)的邻域窗口中位置(p,q)处对应像素点的亮度，s(p,q)为像素点(x,y)的邻域窗口中位置(p,q)处对应像素点的饱和度；为像素点(x,y)在邻域窗口w中的亮度均值，为像素点(x,y)在邻域窗口w中的饱和度均值；δv(x,y)为像素点(x,y)在邻域窗口w中的亮度方差，δs(x,y)为像素点(x,y)在邻域窗口w中的饱和度方差；w为以像素点(x,y)为中心、n×n的窗口。
进一步的，利用相机响应模型获得虚拟过曝光图像，表示为：
P＝f(E)；
其中，P为相机成像得到的图像，即虚拟过曝光图像；E为低照度图像的辐照度；f为相机非线性响应函数
进一步的，将原始低照度图像、粗增强图像以及虚拟过曝光图像进行融合获得最终的优化后增强图像的过程包括：
将原始低照度图像、粗增强图像以及虚拟过曝光图像使用图像块分解的方法进行列向量化；
获取列向量化后图像的块信号强度最大的值，记为
获取列向量化后图像的块结构的期望，记为表示为：
其中，为加权函数，表示为 为去除平均值的图像块，表示为xk表示一个图像块，为图像块xk的平均值；p为权值参数；Sk为为单位长度向量；K为曝光率；sk为曝光率为k的图像的块结构；
采用加权线性融合机制获得块的平均强度，记为表示为：
其中，L(μk,lk)为将图像Xk的全局平均值μk和当前图像块xk的局部平均值作为输入的加权函数；lk表示不同曝光率的像素块的平均强度；
将堆叠的还原到RGB通道，即优化后增强图像表示为：
本发明具有在处理纹理图像噪声的过程中，能够很好的刻画图像的边缘、纹理区域，既能够对图像的低频信息尽量保留，同时又能对图像的高频信息进行区分，适用于对富含复杂纹理细节特征的图像降噪场合。本发明方案相比于传统的RetinexNet方法，还具有以下优点：
1.利用HSV颜色空间模型中各通道相互独立的特性，增强亮度分量。
2.利用相关系数使饱和度分量随亮度分量的变化进行自适应调整，避免图像色感发生变化。
3.在UNet的基础上，结合光照增强图像的不同区域承载不同级别的噪声，构建反射率降噪模型。
4.引入相机响应模型，生成与原始图像互补的虚拟过曝光图像。在原始图像的基础上，提高了图像增强效果，亮度更加均匀，图像细节信息保留的更好。
附图说明
图1为现有技术中一种融合策略下自适应RetinexNet的低照度图像增强方法流程示意图；
图2为本发明采用的EnhanceNet网络结构示意图；
图3为本发明采用的RestorationNet网络结构的示意图；
图4为本发明一种融合策略下自适应RetinexNet的低照度图像增强方法示意图；
图5为根据本发明方法得到的增强图像对比示意图，其中图(a)为低照度数据，(b)为(a)根据本发明得到的粗增强图像，(c)为(a)根据本发明得到的最终的优化后增强图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种融合策略下自适应RetinexNet的低照度图像增强方法，如图1，具体包括以下步骤：
从历史数据中获取原始图像，以及原始图像对应的合成的低照度图像，将原始图像作为正常光图像，将合成的低照度图像作为低照度图像；
将低照度图像的V通道图像以及正常光图像对输入DecomNet中，得到正常光图像的光照和反射率，以及低照度图像的光照、反射率；
得到的低照度图像的反射率以及光照输入到RestorationNet中，用光照引导反射率降噪，得到降噪以后的反射率；
将低照度图像的反射率以及光照输入到EnhanceNet中，对低照度图像的光照进行增强，得到增强后的光照；
图像重建，即将优化后图像的H通道、V通道以及S通道使用颜色通道合成RGB图像，即粗增强图像；本实施例中进行重建，主要包括三个步骤：将增强后的光照以及降噪后的反射率由retinex理论得到增强后的V通道图像；根据增强后的V通道图像，对S通道图像经过自适应调整，以保持图像的对比度；不对H通道图像进行变换，并通过V通道、S通道以及H通道三个通道的图像合成RGB图像；
获取低照度图像的虚拟过曝光图像，将低照度图像、粗增强图像以及虚拟过曝光图像进行融合，获得最终的优化后增强图像。
在本实施例中，提出了一种HSV色彩空间的RetinexNet光照分量增强方法，该方法将V通道图像从RGB图像中分离出来，更好的解决了彩色图像的失真问题；再次基础上又提出了基于UNet网络的反射率恢复模型的设计，利用光照来辅助恢复反射率；最后，引入了相机响应模型，结合图像块分解设计融合策略。
在本实施例中通过分析HSV模型，利用各通道之间的相互独立的关系，完整保留了低照度图像的色彩信息，改善增强后图像的色彩失真问题；同时对饱和度进行自适应调整，避免出现颜色偏差；再将图像重构并转化为RGB空间，获得最终的增强效果。图像亮度的改变会引起图像对比度发生变化，导致增强后的图像出现色彩偏差，利用相对系数对图像的饱和度进行自适应调整，保持图像的对比度：
s′(x,y)＝s(x,y)+t[v′(x,y)-v(x,y)]×λ(x,y)；
其中，v(x,y)为原图像对应像素点的亮度，v′(x,y)为增强后像素点的亮度，s(x,y)为原图像对应像素点的饱和度，s′(x,y)为修正后像素点的饱和度，t为比例常数,实验取t＝0.4，λ(x,y)为v(x,y)和s(x,y)的相关系数，n×n为邻域窗口w的尺寸，和分别为像素点(x,y)在邻域窗口w中的亮度和饱和度的均值，δv(x,y)和δs(x,y)分别为像素点(x,y)在邻域窗口w中的亮度和饱和度的方差，v(p,q)为邻域窗口对应像素点的亮度，s(p,q)为邻域窗口对应像素点的饱和度，(p,q)∈w表示领域窗口内的一点像素点。
将得到的V通道图像以及原始的正常光图像作为DecomNet网络的输入，首先采用3*3的卷积核从输入图像中提取特征，再采用5个带有ReLU的3*3的卷积层将RGB图像映射为R和I，最后进行一次3*3卷积并经过sigmoid函数得到通道为4的图像，其中取前3个通道的图像作为反射分量，最后一个通道的图像作为光照分量，得到正常光的反射率和光照以及低照度图像的反射率和光照；分解网络模型的损失函数主要由重建损失函数、反射分量一致性损失函数和结构平滑损失函数三部分组成，具体包括：
L＝Lrecon+λirLir+λisLis；
其中，λir和λis分别表示反射率一致性系数和照明平滑度系数。
将模型分解出反射分量和光照分量，重新组合构建出原图，重建损失函数可表达为下式：
引入共享反射率损失函数，目的是为了保持反射率的一致性，其表达式见下式：
Lir＝||Rlow-Rnormal||1；
采用反射率图的梯度对原始TV函数进行加权处理，结构平滑损失函数Lis表达公式为：
其中，▽包括水平方向梯度(▽h)和垂直方向梯度(▽v)，λg表示平衡结构感知强度系数；在权重为exp(-λg▽Ri)的情况下，Lis减小了对反射率梯度较大区域平滑度的约束，即在图像结构所在的位置，减小了照明对应不连续位置平滑度的约束，保持图像结构的平滑性，从而获得了较为清晰的照度图像。
网络调整阶段主要由降噪操作(RestorationNet)和增强网络(EnhanceNet)两部分组成，分别实现低照度反射图像的降噪和光照图像的增强功能。
对于RestorationNet，采用典型的5层UNet结构之后是卷积层和Sigmoid层，其损失函数为其中代表着恢复后的反射图，SSIM()为结构相似性度量，恢复结果与目标结果Rh的L2距离，最后一项使得纹理细节信息等保持一致。
RestorationNet结构如图3所示，输入数据经过四个级联的卷积+池化的结构，卷积+池化的结构包括一个卷积模块和一个池化模块，卷积模块中包括一个3*3的卷积操作(Cov)和一个Rule激活函数(Rule)，池化模块包括一个3*3的卷积操作、一个Rule激活函数以及一个2*2的最大池化操作(MaxPooling)；四个级联的卷积+池化的结构后面级联有四个卷积+上采样的结构，卷积+上采样的结构包括一个卷积模块和一个上采样模块，卷积模块中包括一个3*3的卷积操作(Cov)和一个Rule激活函数(Rule)，池化模块包括一个3*3的卷积操作(Cov)、一个Rule激活函数(Rule)和一个上采样操作(UpSampling)，上采样模块按照图3所示与池化模块进行跳跃连接，卷积+上采样的结构的最后一级输出经过一个3*3的卷积操作后通过Sigmoid后输出。
采用光照增强网络(EnhanceNet)对光照强度进行调整处理，在增强网络中，输入反射分量图和光照分量图，将其连接后输入网络层，其中卷积层卷积核大小为3×3，池化层卷积核大小为2×2。此时结合U-Net思想，利用最近邻插值法增大图像，并进行上采样。保证了与其相结合特征图大小一致，将其对应加和，然后进行特征融合，使得得到细节保存更完整的特征图，最后运用梯度下降对网络进行端到端微调，其整体采用编码解码结构来获取图像信息，输入的图像可以被连续的向下采样，获得大量照明反射图像。
本实施例采用的EnhanceNet如图2所示，EnhanceNet网络整体是一个encoder-decoder架构，输入的数据通过一个卷积核为3、步长为1的卷积层进行特征提取，提取后的数据依次输入第一下采样、第二下采样和第三下采样，每个下采样由一个步长为2的卷积层和激活函数组成，即下采样的结构为Conv+ReLU；第三下采样后通过一个卷积核为3的卷积层进行处理后，进行上采样，每个上采样之后通过一个卷积核为3的卷积层进行处理，第一上采样后通过一个卷积核为3的卷积层进行处理后与第二上采样的输出进行跳跃连接后作为第二上采样的输入，并将拼接后的数据作为第一下采样的输出结果，以此类推，第二上采样后跟的卷积层的输出与第一下采样的输出跳跃连接后作为第二上采样的输出，第三上采样后跟的卷积层的输出与第一下采样的输入跳跃连接后作为第三上采样的输出，其中每个上采样层使用了resize-convolutional，即上采样层由一个最近邻插值操作和一个步长为1的卷积层加激活函数的结构结构组成，即Conv+ReLU结构；将第一上采样、第二上采样和第三上采样的输出进行拼接，拼接后的数据通过一个1×1卷积层，将级联特征还原为C个通道；最后采用3×3的卷积层来重建光照图。
这样利用大量的光照信息，通过上采样重建局部光照分布图像，获得改进后的光照图像，同时引入多尺度连接来提高网络模型的自适应性。
与分解模型损失函数相似，增强网络模型的损失函数也主要由重建损失函数和结构平滑损失函数构成，其表达式见下式：
L＝Lrecon+λisLis；
将最终得到的增强后的亮度分量图像，以及H通道图像，S通道图像映射到RGB空间中，得到粗增强图像。
在同样的条件下，曝光更好的图像可以提供更详细的信息。因此，通过构建摄像机响应模型作为对原始图像的补充，可以获得虚拟过曝光图像。相机响应模型的模型为：
P＝f(E)；
其中，E为图像辐照度，P为相机成像得到的图像，f为相机非线性响应函数。
对于低照度图像增强问题，可以通过模拟亮度传递函数(BTF)间接得到f的函数形式。BTF是同一个场景中不同曝光的两个图像P0和P1之间的映射函数。
其中，g为亮度转换函数，k为曝光率，β和γ是由相机参数和曝光率k决定的参数。通过求解式上式，可以得到相机响应模型，即：
当a＝-0.3293，b＝-1.1258时可以适应大多数相机。为了使用输入图像和生成的图像来表达尽可能多的信息，需要找到最佳的曝光率k，使合成图像在原始图像曝光不足的地方得到良好的曝光。
根据“图像熵最大化”的原则确定最佳曝光，图像熵表示为：
图像熵最大化过程表示为：
其中，表示图像熵，N为图像灰度值的最大值，pi表示灰度值i出现的概率；表示亮度转换函数g(B,k)的图像熵。
在获得最佳曝光后，可以得到虚拟过曝光Δk，然后利用亮度转换函数(BTF)生成虚拟过曝光图像。参数Δk设置为0.5。
有三幅图像需要进行融合。对于每个图像p，使用图像块分解的方法进行列向量化，表示为：
P＝c·s+l；
其中c为块信号强度，s为块结构，l为块的平均强度。
考虑到所有输入像素块都是场景的真实成像，对比度最高的像素块对应的可见性最好。因此，所需要的融合图像分块的信号强度由所有源图像分块中信号强度的最大值决定，获取列向量化后图像的块信号强度最大的值，记为(通常，对比度越高，可见度越好。考虑到所有输入源图像小块都是场景的真实捕捉，它们中具有最高对比度的小块将对应于最佳可见度。因此，融合图像块的期望信号强度由所有源图像块的最高信号强度来确定。)表示为：
其中，表示xk的信号强度，其中{xk}＝{xk∣1≤k≤K}是在包含K个多次曝光图像的源序列的相同空间位置提取的一组图像块。这里，所有K的xk是CN2维数的列向量，其中C是输入图像的颜色通道的数量，N是正方形小块的空间大小。
与信号强度不同，单位长度结构向量sk指向CN2维空间中的特定方向。期望融合图像块的期望结构最好地代表所有原图像块的结构，通过列向量化后图像的块结构的期望计算列向量化后图像的块结构值。这种关系的简单实现如下所示：
其中，是加权函数，其确定每个原图像块在融合图像块结构中的贡献；K为曝光率；Sk为单位长度向量。贡献随着图像碎片的强度而增加，采用下式给出的功率加权函数：
其中，P为加权参数，p≥0是指数参数，随着p值的不同选择，产生具有不同物理意义的加权函数。p越大，越具有相对较大强度的图像块。
关于局部图像的平均强度，采用加权线性融合机制获得块的平均强度，记为表示为：
其中，L(μk,lk)是将图像Xk的全局平均值μk和当前补片xk的局部平均值作为输入的加权函数；lk表示曝光率为k的像素块的平均强度。L(μk,lk)量化了Xk中xk的良好曝光度，以便在Xk或xk曝光不足/过度时给出大的惩罚，作为一种优选实施方式，本实施例采用一个二维高斯分布来指定这一措施，表示为：
其中，σg和σl分别控制曲线沿μk和lk维度的分布，μc和lc是中等强度值的常数，此处的中等强度是指一个参数取值的最大值和最小值之间的中位值，例如若参数的取值范围为[0，1]，则该参数中等强度值为0.5，μc和lc的取值分别根据μk和lk的最大值和最小值进行确定。
将堆叠的还原到RGB通道，即优化后增强图像表示为：
本实施例还给出一种具体实施实例，本实例所用的深度学习框架为Tensorflow1.13GPU,并且安装NumPy计算库和PIL图像处理库，实验的软件开发环境为Pycharm2019和python3.7，实施结果如图5所示，其中(a)为低照度图像，(b)为粗增强图像，(c)最终的增强图像，可以看出本发明处理后的图像拥有更高的细节信息，以及更小的图像失真现象，图像质量得到了有效的提升。
本发明提出的具体实例的实施过程如图4，在训练连过程中根据Snormal生成对应的低照度图像的V通道图像Slow，在训练过程中根据Decomposition生成反射率和光照，根据正常图像Snormal的光照Inormal与低照度图像的V通道图像Slow的光照Iow以及正常图像Snormal的反射率Rnormal与低照度图像的V通道图像Slow的反射率Row之间的差异计算损失函数对网络参数进行更新，同理更新RestorationNet和EnhanceNet，根据得到的V通道的粗增强图像对低照度图像的S通道图像进行自适应调整，将V通道的粗增强图像、自适应调整后的S通道图像以及H通道图像合成RGB图像，即粗增强图像，并根据低照度图像生成虚拟过曝光图像，将虚拟过曝光图像、低照度图像以及粗增强图像合成得到最终的增强图像，该图像与正常图像的损失用于更新网络参数；在实时数据阶段，将低照度图像作为输入，通过完成训练的Decomposition得到低照度图像V通道的图像对应的反射率和光照，通过RestorationNet对反射率进行去噪，通过EnhanceNet对光照进行增强，再通过去噪后的反射率和增强后的光照合成得到S通道的增强图像，根据粗增强后的图像对低照度图像S通道的图像进行自适应增强，将得到处理后S、V通道的图像与H通道合成得到RGB图像，即粗增强的图像；生成低照度图像的虚拟过曝光图像，将其与低照度图像以及粗增强图像进行合成，得到最终的虚拟图像。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种融合策略下自适应RetinexNet的低照度图像增强方法，其特征在于，具体包括以下步骤：
从历史数据中获取原始图像，以及原始图像对应的合成的低照度图像，将原始图像作为正常光图像，将合成的低照度图像作为低照度图像；
将低照度图像的V通道图像以及正常光图像对输入DecomNet中，得到正常光图像的光照和反射率，以及低照度图像的光照、反射率；
得到的低照度图像的反射率以及光照输入到RestorationNet中，用光照引导反射率降噪，得到降噪以后的反射率；
将低照度图像的反射率以及光照输入到EnhanceNet中，对低照度图像的光照进行增强，得到增强后的光照；在得到增强后的V通道图像后，对S通道图像进行自适应调整，调整过程表示为：
s′(x,y)＝s(x,y)+t[v′(x,y)-v(x,y)]×λ(x,y)；
其中，s′(x,y)为粗增强图像第x行、y列处像素点的饱和度；s(x,y)为低照度图像第x行、y列处像素点的饱和度；v′(x,y)为粗增强图像第x行、y列处像素点的亮度；v(x,y)为低照度图像第x行、y列处像素点的亮度；t为比例常数；λ(x,y)为v(x,y)和s(x,y)的相关系数，表示为：
其中，v(p,q)为像素点(x,y)的邻域窗口中位置(p,q)处对应像素点的亮度，s(p,q)为像素点(x,y)的邻域窗口中位置(p,q)处对应像素点的饱和度；为像素点(x,y)在邻域窗口w中的亮度的均值，为像素点(x,y)在邻域窗口w中的饱和度的均值；δv(x,y)为像素点(x,y)在邻域窗口w中的亮度的方差，δs(x,y)为像素点(x,y)在邻域窗口w中的饱和度的方差；w为以像素点(x,y)为中心、n×n的窗口；
图像重建，即将优化后图像的H通道、V通道以及S通道使用颜色通道合成RGB图像，即粗增强图像；
获取低照度图像的虚拟过曝光图像，将低照度图像、粗增强图像以及虚拟过曝光图像进行融合，获得最终的优化后增强图像。
2.根据权利要求1所述的一种融合策略下自适应RetinexNet的低照度图像增强方法，其特征在于，图像输入DecomNet之前将训练集或者实时的待增强低照度图像进行颜色通道转换，将图像由RGB图像转化为HSV图像。
3.根据权利要求1所述的一种融合策略下自适应RetinexNet的低照度图像增强方法，其特征在于，对输入DecomNet的图像使用卷积核为卷积核为3×3的卷积层提取特征，并将提取的特征依次通过5个带有ReLU、卷积核为3×3的卷积层进行映射，映射后依次通过一层卷积核为3×3的卷积层和sigmoid函数得到通道为4的图像，将图像前3个通道作为该图像的反射率R，最后一个通道的作为该图像的光照I。
4.根据权利要求1所述的一种融合策略下自适应RetinexNet的低照度图像增强方法，其特征在于，对低照度图像的光照进行增强，得到增强后的光照的过程包括：
将低照度图像的光照以及降噪后的反射率进行拼接后作为EnhanceNet网络的输入；
通过EnhanceNet网络的编码器-解码器架构获取输入图像大区域中的上下文信息；
在EnhanceNet网络中，采用连续三个下采样模块将输入的图像下采样到不同的尺寸；
将每次下采样后的图像与上下文信息分别进行拼接，拼接后的图像通过上采样进行重建得到增强后的光照。
5.根据权利要求1所述的一种融合策略下自适应RetinexNet的低照度图像增强方法，其特征在于，通过DecomNet的损失函数进行反向传播训练DecomNet，DecomNet的损失函数L1由重建损失函数Lrecon、反射分量一致性损失函数Lir和结构平滑损失函数Lis构成，表示为：
L1＝Lrecon+λirLir+λisLis；
Lir＝||Rlow-Rnormal||1；
其中，λir表示反射率一致性系数，λis表示照明平滑度系数；low表示低照度图像数据集，normal表示正常光图像数据集；λij为重建损失的平衡系数；Ri为当i等于low或者normal时的反射率；当j＝low时，Ij为低光照图像的光照，当j＝normal时，Ij为正常光图像的光照；当j＝low时，Sj表示低光照图像，当j＝normal时，Sj表示正常光图像；Rlow表示低照度图像的反射率；Rnormal表示正常光图像的反射率；|| ||1表示1-范式；▽表示求梯度；λg为平衡结构感知强度系数；|| ||1表示1-范式；▽表示求梯度；|| ||2表示2-范数；
通过RestorationNet的损失函数进行反向传播训练RestorationNet，RestorationNet的损失函数表示为：
其中，为RestorationNet的损失函数；为降噪后的反射图；Rh为正常光图像的反射率；为与Rh之间的结构相似性度量；
通过EnhanceNet的损失函数进行反向传播训练EnhanceNet，EnhanceNet的损失函数由重建损失函数Lrecon和结构平滑损失函数Lis构成，表示为：
L2＝Lrecon+λisLis；
其中，L2为EnhanceNet的损失函数。
6.根据权利要求1所述的一种融合策略下自适应RetinexNet的低照度图像增强方法，其特征在于，利用相机响应模型获得虚拟过曝光图像，表示为：
P＝f(E)；
其中，P为相机成像得到的图像，即虚拟过曝光图像；E为低照度图像的辐照度；f为相机非线性响应函数。
7.根据权利要求1所述的一种融合策略下自适应RetinexNet的低照度图像增强方法，其特征在于，将原始低照度图像、粗增强图像以及虚拟过曝光图像进行融合获得最终的优化后增强图像的过程包括：
将原始低照度图像、粗增强图像以及虚拟过曝光图像使用图像块分解的方法进行列向量化；
获取列向量化后图像的块信号强度最大的值，记为
获取列向量化后图像的块结构的期望，记为表示为：
其中，为加权函数，表示为 为去除平均值的图像块，表示为xk表示一个图像块，为图像块xk的平均值；p为权值参数；Sk为为单位长度向量；K为曝光率；sk为曝光率为k的图像的块结构；
采用加权线性融合机制获得块的平均强度，记为表示为：
其中，L(μk,lk)为将图像Xk的全局平均值μk和当前图像块xk的局部平均值作为输入的加权函数；lk表示不同曝光率的像素块的平均强度；
将堆叠的还原到RGB通道，即优化后增强图像表示为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210644966.3A CN115035011B (zh) | 2022-06-09 | 2022-06-09 | 一种融合策略下自适应RetinexNet的低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210644966.3A CN115035011B (zh) | 2022-06-09 | 2022-06-09 | 一种融合策略下自适应RetinexNet的低照度图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115035011A CN115035011A (zh) | 2022-09-09 |
| CN115035011B true CN115035011B (zh) | 2024-09-06 |
Family
ID=83123144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210644966.3A Active CN115035011B (zh) | 2022-06-09 | 2022-06-09 | 一种融合策略下自适应RetinexNet的低照度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115035011B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294126B (zh) * | 2022-10-08 | 2022-12-16 | 南京诺源医疗器械有限公司 | 一种病理图像的癌细胞智能识别方法 |
| CN116363009B (zh) * | 2023-03-31 | 2024-03-12 | 哈尔滨工业大学 | 基于有监督学习的快速轻量化低照度图像增强方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022000397A1 (zh) * | 2020-07-02 | 2022-01-06 | 潍坊学院 | 低照度图像增强方法、装置及计算机设备 |
| CN112001863B (zh) * | 2020-08-28 | 2023-06-16 | 太原科技大学 | 一种基于深度学习的欠曝光图像恢复方法 |
| CN112465727A (zh) * | 2020-12-07 | 2021-03-09 | 北京邮电大学 | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 |
| CN113256510A (zh) * | 2021-04-21 | 2021-08-13 | 浙江工业大学 | 基于cnn的带有颜色恢复和边缘锐化效果的低照度图像增强方法 |
-
2022
- 2022-06-09 CN CN202210644966.3A patent/CN115035011B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| Adaptive RetinexNet and fusion strategy for low-intensity image enhancement;Xuehui Yin, Qiaoyu Chen, Ge Tu;《International Conference on Computer Vision》;20230414;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115035011A (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111968044B (zh) | 基于Retinex和深度学习的低照度图像增强方法 | |
| EP4198875A1 (en) | Image fusion method, and training method and apparatus for image fusion model | |
| Rao et al. | A Survey of Video Enhancement Techniques. | |
| CN112734650B (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
| Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
| Lepcha et al. | A deep journey into image enhancement: A survey of current and emerging trends | |
| Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
| EP2449524A1 (en) | Contrast enhancement | |
| Zhou et al. | IACC: cross-illumination awareness and color correction for underwater images under mixed natural and artificial lighting | |
| Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
| CN115035011B (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 | |
| CN112348747A (zh) | 图像增强方法、装置及存储介质 | |
| CN113344773B (zh) | 基于多级对偶反馈的单张图片重构hdr方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
| Li et al. | Adaptive weighted multiscale retinex for underwater image enhancement | |
| CN114240767A (zh) | 一种基于曝光融合的图像宽动态范围处理方法及装置 | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models | |
| Wang et al. | Single low-light image brightening using learning-based intensity mapping | |
| CN114565539A (zh) | 一种基于线上知识蒸馏的图像去雾方法 | |
| CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 | |
| Xu et al. | Swin transformer and ResNet based deep networks for low-light image enhancement | |
| She et al. | Single-image HDR reconstruction by dual learning the camera imaging process | |
| Xu et al. | Attention‐based multi‐channel feature fusion enhancement network to process low‐light images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |