CN109345477A - 一种基于深度卷积神经网络的快速图像去雾霾系统 - Google Patents
一种基于深度卷积神经网络的快速图像去雾霾系统 Download PDFInfo
- Publication number
- CN109345477A CN109345477A CN201811127362.1A CN201811127362A CN109345477A CN 109345477 A CN109345477 A CN 109345477A CN 201811127362 A CN201811127362 A CN 201811127362A CN 109345477 A CN109345477 A CN 109345477A
- Authority
- CN
- China
- Prior art keywords
- haze
- image
- neural networks
- convolutional neural
- convolutional layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度卷积神经网络的快速图像去雾霾系统，构建高效的单幅图像去雾霾深度卷积神经网络模型，以及雾霾图像训练集，并训练本发明提出的网络，最终重建出清晰的无雾霾图像；通过构建深度卷积神经网络模型和大气散射模型，并对其进行深度训练，达到能够快速获得很好的去雾霾效果，并实现实时应用；本发明的系统，能够很容易地扩展到别的图像或视频处理领域，例如图像或视频去模糊、图像或视频修复等。
Description
技术领域
本发明涉及图像处理领域中的去雾霾技术问题，具体涉及一种基于深度卷积神经网络的快速图像去雾霾系统。
背景技术
近年来，大气污染严重，空气质量逐步下降。雾霾是特定气候与人类活动相互作用的结果。高密度人口的经济生产及社会活动会排放大量细颗粒物，一旦排放量超过大气循环和承载能力，悬浮颗粒会持续积聚，极易出现大范围的雾霾。雾霾已经成为了常态，无论生活在哪个城市，雾霾只有轻重之分而已，那么雾霾天在室外拍摄的图片往往会因为天气的原因严重影响图片质量，拍摄出的照片呈现出一种灰蒙蒙的效果，与预期不符。为此，本文提出一种基于卷积神经网络的快速去雾霾系统，能够很好的解决上述问题。
发明内容
本发明的目的就在于为了解决上述问题而提供一种基于深度卷积神经网络的快速图像去雾霾系统，本发明通过以下技术方案来实现上述目的：
一种基于深度卷积神经网络的快速图像去雾霾系统，构建高效的单幅图像去雾霾深度卷积神经网络模型，以及雾霾图像训练集，并训练本发明提出的网络，最终重建出清晰的无雾霾图像，具体包括如下步骤：
步骤一，构建高性能、快速的单幅图像去雾霾深度卷积神经网络模型；
步骤二，根据大气散射模型，合成雾霾图像数据集；
步骤三，利用步骤一中模型以及步骤二中的训练集，对网络模型进行优化训练；
步骤四，将步骤三得到的神经网络模型网络导入智能拍照系统中，作为事先已知的模型数据；
步骤五，用户拍照前以及拍照后，均可以选择是否开启图像去雾霾功能，开启后，会将拍摄得到的照片作为输入，利用上述的去雾霾模型进行自动恢复，得到最终的去雾霾图像。
更进一步的方案是：
所述步骤一：所构建模型由K个卷积层构成，其中，第一个卷积层为特征提取层，用于实现输入雾霾图像的低分辨率特征提取；第二个卷积层到第K1-1个卷积层，后面均连接激励层，并作为第K1个卷积层的输入。
更进一步的方案是：
为了避免训练时梯度消失，进一步提升网络的性能，将第一个卷积层的输出与第K1个卷积层的输出通过级联层进行级联；第K1+1个卷积层到第K1+5个卷积层结构与第二到第K1卷积层结构相同，且将第K1个卷积层的输出与第K1+5个卷积层的输出通过级联层进行级联；最后一层为去雾霾重建层，通过单个卷积层实现。
更进一步的方案是：
在基于深度卷积神经网络的去雾霾模型中，网络的前K-1个卷积层使用的滤波器个数为64，卷积核大小为3×3；其最后一个卷积层的滤波器个数为1，卷积核大小为3×3。
更进一步的方案是：
其特征在于步骤二：根据雾霾降质模型，对高分辨率与深度图像对进行模拟降质，得到合成的雾霾图像数据集。
更进一步的方案是：
步骤三：利用合成的数据集，采用端到端的训练方式训练本发明的网络。
本发明的再一个目的是提供一种基于深度卷积神经网络的快速图像去雾霾系统在图像或视频处理领域的用途。
本发明的有益效果在于：
本发明的一种基于深度卷积神经网络的快速图像去雾霾系统，通过构建深度卷积神经网络模型和大气散射模型，并对其进行深度训练，达到能够快速获得很好的去雾霾效果，并实现实时应用；本发明的系统，能够很容易地扩展到别的图像或视频处理领域，例如图像或视频去模糊、图像或视频修复等。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明系统的工作流程示意图；
图2为本发明的网络结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
如图1-2所示，一种基于深度卷积神经网络的快速图像去雾霾系统，构建高效的单幅图像去雾霾深度卷积神经网络模型，以及雾霾图像训练集，并训练本发明提出的网络，最终重建出清晰的无雾霾图像，具体包括如下步骤：
步骤一，构建高性能、快速的单幅图像去雾霾深度卷积神经网络模型；
步骤二，根据大气散射模型，合成雾霾图像数据集；
步骤三，利用步骤一中模型以及步骤二中的训练集，对网络模型进行优化训练；
步骤四，将步骤三得到的神经网络模型网络导入智能拍照系统中，作为事先已知的模型数据；
步骤五，用户拍照前以及拍照后，均可以选择是否开启图像去雾霾功能，开启后，会将拍摄得到的照片作为输入，利用上述的去雾霾模型进行自动恢复，得到最终的去雾霾图像。
如图2所示，所述步骤一中，构建如图2所示的基于深度卷积神经网络的快速图像去雾霾网络模型。所构建模型由K(本发明中，K＝13)个卷积层构成。其中，第一个卷积层为特征提取层，用于实现输入雾霾图像的低分辨率特征提取；第二个卷积层到第K1-1(本发明中，K1＝6)个卷积层，后面均连接激励层(ReLU)，并作为第K1个卷积层的输入。为了避免训练时梯度消失，进一步提升网络的性能，本发明将第一个卷积层的输出与第K1个卷积层的输出通过级联层(Concat层)进行级联；第K1+1个卷积层到第K1+5个卷积层结构与第二到第K1卷积层结构相同，且将第K1个卷积层的输出与第K1+5个卷积层的输出通过级联层(Concat层)进行级联；最后一层(第K个卷积层)为去雾霾重建层，通过单个卷积层实现。在本发明构建的基于深度卷积神经网络的去雾霾模型中，网络的前K-1个卷积层使用的滤波器个数为64，卷积核大小为3×3；其最后一个卷积层的滤波器个数为1，卷积核大小为3×3。
所述步骤二中，根据雾霾降质模型，对高分辨率与深度图像对进行模拟降质，得到合成的雾霾图像数据集。从NUY-V2数据库随机采样1200张清晰的图像以及其对应的深度图，以构建训练集，而将其中120张清晰图以及对应的深度图作为训练中的测试集。具体而言，给定一个清晰图像以及对应的深度图，根据雾霾图像的降质模型(公式(1)与公式(2))进行降质。设置随机的全局大气光范围为[0.9，1.0]，大气衰变系数范围为[0.9，1.0，1.1，1.2，1.3]。于是，合成了6000张雾霾图像。根据这些合成图像，可以获得训练图像块对。利用合成的数据集，采用端到端的训练方式训练本发明的网络。
I(x)＝J(x)t(x)+A(x)(1-t(x))， (1)
t(x)＝exp(-βd(x)). (2)
其中，x表示像素坐标，I(x)为观测图像，J(x)为原始未受到雾霾干扰的图像，A(x)为全局大气光，t(x)∈[0，1]表示场景辐射传递到相机的百分比，β为大气衰变系数，d(x)为场景到相机的距离。
根据本发明的另一方面，本发明提供一种基于深度卷积神经网络的快速图像去雾霾系统在图像或视频处理领域的用途。
本发明方法能够快速获得很好的去雾霾效果，能够实现实时应用。而且本方法的实质是提出了一个有效的网络结构，能够很容易地扩展到别的图像视频处理领域，例如图像去模糊、图像修复等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。
Claims (7)
1.一种基于深度卷积神经网络的快速图像去雾霾系统，其特征在于：构建高效的单幅图像去雾霾深度卷积神经网络模型，以及雾霾图像训练集，并训练本发明提出的网络，最终重建出清晰的无雾霾图像，具体包括如下步骤：
步骤一，构建高性能、快速的单幅图像去雾霾深度卷积神经网络模型；
步骤二，根据大气散射模型，合成雾霾图像数据集；
步骤三，利用步骤一中模型以及步骤二中的训练集，对网络模型进行优化训练；
步骤四，将步骤三得到的神经网络模型网络导入智能拍照系统中，作为事先已知的模型数据；
步骤五，用户拍照前以及拍照后，均可以选择是否开启图像去雾霾功能，开启后，会将拍摄得到的照片作为输入，利用上述的去雾霾模型进行自动恢复，得到最终的去雾霾图像。
2.根据权利要求1所述的一种基于深度卷积神经网络的快速图像去雾霾系统，其特征在于所述步骤一：所构建模型由K个卷积层构成，其中，第一个卷积层为特征提取层，用于实现输入雾霾图像的低分辨率特征提取；第二个卷积层到第K1-1个卷积层，后面均连接激励层，并作为第K1个卷积层的输入。
3.根据权利要求2所述的一种基于深度卷积神经网络的快速图像去雾霾系统，其特征在于：为了避免训练时梯度消失，进一步提升网络的性能，将第一个卷积层的输出与第K1个卷积层的输出通过级联层进行级联；第K1+1个卷积层到第K1+5个卷积层结构与第二到第K1卷积层结构相同，且将第K1个卷积层的输出与第K1+5个卷积层的输出通过级联层进行级联；最后一层为去雾霾重建层，通过单个卷积层实现。
4.根据权利要求2-3任一项所述的一种基于深度卷积神经网络的快速图像去雾霾系统，其特征在于：在基于深度卷积神经网络的去雾霾模型中，网络的前K-1个卷积层使用的滤波器个数为64，卷积核大小为3×3；其最后一个卷积层的滤波器个数为1，卷积核大小为3×3。
5.根据权利要求1所述的一种基于深度卷积神经网络的快速图像去雾霾系统，其特征在于：其特征在于步骤二：根据雾霾降质模型，对高分辨率与深度图像对进行模拟降质，得到合成的雾霾图像数据集。
6.根据权利要求1所述的一种基于深度卷积神经网络的快速图像去雾霾系统，其特征在于：步骤三：利用合成的数据集，采用端到端的训练方式训练本发明的网络。
7.根据权利要求1-6任一项所述的一种基于深度卷积神经网络的快速图像去雾霾系统在图像或视频处理领域的用途。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811127362.1A CN109345477A (zh) | 2018-09-26 | 2018-09-26 | 一种基于深度卷积神经网络的快速图像去雾霾系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811127362.1A CN109345477A (zh) | 2018-09-26 | 2018-09-26 | 一种基于深度卷积神经网络的快速图像去雾霾系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109345477A true CN109345477A (zh) | 2019-02-15 |
Family
ID=65306699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811127362.1A Pending CN109345477A (zh) | 2018-09-26 | 2018-09-26 | 一种基于深度卷积神经网络的快速图像去雾霾系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109345477A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310238A (zh) * | 2019-06-18 | 2019-10-08 | 华南农业大学 | 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法 |
| CN111932365A (zh) * | 2020-08-11 | 2020-11-13 | 武汉谦屹达管理咨询有限公司 | 一种基于区块链的金融征信系统及方法 |
| WO2022067668A1 (zh) * | 2020-09-30 | 2022-04-07 | 中国科学院深圳先进技术研究院 | 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1717299A1 (en) * | 2005-04-28 | 2006-11-02 | Chevron Oronite Company LLC | Method and system for screening lubricating oil compositions |
| CN105574819A (zh) * | 2015-06-25 | 2016-05-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种实时图像去雾处理的方法及装置 |
| CN107103591A (zh) * | 2017-03-27 | 2017-08-29 | 湖南大学 | 一种基于图像雾霾浓度估计的单幅图像去雾方法 |
| CN108269244A (zh) * | 2018-01-24 | 2018-07-10 | 东北大学 | 一种基于深度学习和先验约束的图像去雾系统 |
-
2018
- 2018-09-26 CN CN201811127362.1A patent/CN109345477A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1717299A1 (en) * | 2005-04-28 | 2006-11-02 | Chevron Oronite Company LLC | Method and system for screening lubricating oil compositions |
| CN105574819A (zh) * | 2015-06-25 | 2016-05-11 | 宇龙计算机通信科技(深圳)有限公司 | 一种实时图像去雾处理的方法及装置 |
| CN107103591A (zh) * | 2017-03-27 | 2017-08-29 | 湖南大学 | 一种基于图像雾霾浓度估计的单幅图像去雾方法 |
| CN108269244A (zh) * | 2018-01-24 | 2018-07-10 | 东北大学 | 一种基于深度学习和先验约束的图像去雾系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310238A (zh) * | 2019-06-18 | 2019-10-08 | 华南农业大学 | 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法 |
| CN111932365A (zh) * | 2020-08-11 | 2020-11-13 | 武汉谦屹达管理咨询有限公司 | 一种基于区块链的金融征信系统及方法 |
| WO2022067668A1 (zh) * | 2020-09-30 | 2022-04-07 | 中国科学院深圳先进技术研究院 | 基于视频图像目标检测的火灾检测方法、系统、终端以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929602B (zh) | 一种基于卷积神经网络的地基云图云状识别方法 | |
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN110009580B (zh) | 基于图片块雨滴密集度的单张图片双向去雨方法 | |
| CN111462013B (zh) | 一种基于结构化残差学习的单图去雨方法 | |
| CN110544213B (zh) | 一种基于全局和局部特征融合的图像去雾方法 | |
| CN110517203B (zh) | 一种基于参考图像重建的去雾方法 | |
| CN112907479A (zh) | 基于注意力机制的残差单幅图像去雨方法 | |
| CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾系统 | |
| CN110930320B (zh) | 一种基于轻量化卷积神经网络的图像去雾方法 | |
| CN109345477A (zh) | 一种基于深度卷积神经网络的快速图像去雾霾系统 | |
| CN109493300B (zh) | 基于fpga卷积神经网络的航拍图像实时去雾方法及无人机 | |
| CN109993804A (zh) | 一种基于条件生成对抗网络的道路场景去雾方法 | |
| CN112241939B (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN110097106A (zh) | 基于深度学习的U-net网络的低照度成像算法及装置 | |
| CN109509156A (zh) | 一种基于生成对抗模型的图像去雾处理方法 | |
| CN109410144A (zh) | 一种基于深度学习的端到端图像去雾处理方法 | |
| CN116777764A (zh) | 一种基于扩散模型的光学遥感图像去云雾方法及系统 | |
| Qian et al. | CIASM-Net: a novel convolutional neural network for dehazing image | |
| CN115100076B (zh) | 基于上下文感知注意力的低光图像去雾方法 | |
| CN116468625A (zh) | 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统 | |
| CN116152107A (zh) | 一种基于细节恢复的单幅图像去雾方法 | |
| Lee et al. | Image dehazing with contextualized attentive U-NET | |
| Chen et al. | Multi‐scale single image dehazing based on the fusion of global and local features | |
| CN114764752A (zh) | 一种基于深度学习的夜晚影像去雾算法 | |
| CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190215 |
|
| RJ01 | Rejection of invention patent application after publication |