[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113947555A - 基于深度神经网络的红外与可见光融合的视觉系统及方法 - Google Patents

基于深度神经网络的红外与可见光融合的视觉系统及方法 Download PDF

Info

Publication number
CN113947555A
CN113947555A CN202111126389.0A CN202111126389A CN113947555A CN 113947555 A CN113947555 A CN 113947555A CN 202111126389 A CN202111126389 A CN 202111126389A CN 113947555 A CN113947555 A CN 113947555A
Authority
CN
China
Prior art keywords
image
fusion
visible light
layer
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111126389.0A
Other languages
English (en)
Inventor
申强
杨晓望
黎斌
张洁
王晨宇
李波
杨新晖
程鹏
杨阳
孙元超
赵凡墨
陈稷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xixian New District Power Supply Company State Grid Shaanxi Electric Power Co
Original Assignee
Xixian New District Power Supply Company State Grid Shaanxi Electric Power Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xixian New District Power Supply Company State Grid Shaanxi Electric Power Co filed Critical Xixian New District Power Supply Company State Grid Shaanxi Electric Power Co
Priority to CN202111126389.0A priority Critical patent/CN113947555A/zh
Publication of CN113947555A publication Critical patent/CN113947555A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)

Abstract

本发明提供基于深度神经网络红外与可见光融合的视觉方法，涉及电力系统监测技术领域，包括以下步骤：通过巡检平台获取红外相机图像和可见光相机图像；对红外相机图像和可见光相机图像进行图像融合得到融合图像；对融合图像进行显著性区域测温；通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警。本发明提供基于深度神经网络红外与可见光融合的视觉系统。本发明将红外和可见光图像不同的融合权重，根据不同的权重进行图像融合，采用两点+神经网络+时域高通滤波联合非均匀校正算法，提高测温精度，通过基于深度神经网络的目标检测技术，提高目标识别精度。

Description

基于深度神经网络的红外与可见光融合的视觉系统及方法
技术领域
本发明涉及电力系统监测技术领域，具体涉及基于深度神经网络的红外与可见光融合的视觉系统及方法。
背景技术
随着电力系统规模的发展，对电力线路的安全运行和供电可靠性的要求越来越高。为了保障电力系统的正常运转，电力巡检已经成为电力从业人员重要的日常工作之一。按照常规传统的人工巡检方式，运维人员都需要按照规划的巡视路线图按照顺序完成各项设备的巡视工作，此项工作耗费大量的人力与时间。
智能化无人值守巡检图像AI处理系统的工作流程通常包括三部分，即实现前端精细化图像采集、数据回传、后台数据处理。而如何保证图像采集数据的有效性和后台数据处理的效率则是衡量智能化无人值守电力巡检系统性能的重要指标。日常巡视过程中，重点是要能迅速发现线路、杆塔等设备的细节问题，对电力系统的状态进行监测和识别预警，尤其在恶劣环境下的灾害预警，但现场作业时，常常发生外力对无人机巡检精度产生消极影响的情况，这些外力包括:大风、强光、信号干扰。
以往的户外电力巡检，在恶劣的环境中，电力巡检人员需要翻山越岭，人力占用量非常大，且整体效率不高；巡检作业流程中的重要一环，是如何有效管理现场采集的所有数据，并将数据提炼成有效的信息。数据不等同于信息，数据可能是海量或者大尺寸的，但信息一定是凝练、可概括的。在当前的技术条件下，大尺寸的数据样本通过无线链路实时传输，尚不成熟。
发明内容
为了克服上述现有技术存在的问题，本发明提供基于深度神经网络的红外与可见光融合的视觉系统及方法。基于无人机平台，具有红外，可见光以及多光谱等多个有效载荷能够实时的对电力系统的状态进行监测和识别预警，极大提升了恶劣环境下灾害预警的成功率。
本发明的技术方案是：
基于深度神经网络的红外与可见光融合的视觉方法，包括以下步骤：
通过巡检平台获取红外相机图像和可见光相机图像；
对红外相机图像和可见光相机图像进行图像融合得到融合图像；
对融合图像进行显著性区域测温；
通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警。
作为本发明的进一步技术方案为，所述对红外相机图像和可见光相机图像进行图像融合得到融合图像；具体包括：
对采集的可见光相机和红外相机进行图像预处理；
计算可见光图像熵值，当熵值高于阈值时，已可见光图像作为融合图像，当熵值低于阈值，采用VGG-19深度神经网络完成可见光与红外图像融合得到融合图像。
作为本发明的进一步技术方案为，所述采用VGG-19深度神经网络完成可见光与红外图像融合得到融合图像，具体包括：采用VGG-19深度神经网络计算出不同波段图像的显著特征图，使得最后融合的图像能够保持各自图像的显著性特征，包括以下步骤：
图像尺度分割：对可见光图像进行尺度分解形成可见光基层和可见光细节层，对红外图像进行尺度分解形成红外基层和红外细节层；具体包括：
将原始图像分为两层，其中一层为基层，另外一层为细节层，假设源图像为Ik，基层图像为
Figure RE-RE-GDA0003403830110000031
细节层为
Figure RE-RE-GDA0003403830110000032
基层图像通过解算如下方程得到：
Figure RE-RE-GDA0003403830110000033
其中gx＝[-1，1]，gy＝[-1，1]T，它们是水平、垂直梯度算子，细节层图像等于源图像减去基层图像；
Figure RE-RE-GDA0003403830110000034
基层图像融合：对可见光细节层和红外基层进行基层融合；具体包括：
基层图像包含有源图像的普遍特征和冗余信息，采用平均权重策略进行基层图像融合：
Figure RE-RE-GDA0003403830110000035
其中，(x，y)代表图像中对应像素点的位置，α1和α2代表不同的融合权重值；
细节层图像融合：对可见光细节层和红外细节层通过深度神经网络进行细节层融合；具体包括：
对于细节层图像
Figure RE-RE-GDA0003403830110000036
和
Figure RE-RE-GDA0003403830110000037
采用深度学习网络VGG-19计算融合权重值，通过VGG-19网络进行深度特征提取，权重图通过多层融合策略获得，最终细节层融合结果由训练得到的权重值和细节层图像获得；其中，多层融合策略如下:
考虑到细节层图像为
Figure RE-RE-GDA0003403830110000038
表明第K层细节层图像特征权重图，m是第i层的通道号；
Figure RE-RE-GDA0003403830110000039
Φi()代表VGG网络中的一层i属于{1，2，3，4}，代表了relu_1_1，relu_2_1， relu_3_1和relu_4_1；
Figure RE-RE-GDA00034038301100000310
是M维向量；
Figure RE-RE-GDA00034038301100000311
的L1范数可作为源图像细节层的活跃等级评价函数，因此最初的活跃层权重图可以通过下式获得：
Figure RE-RE-GDA0003403830110000041
利用基于块的平均算子计算最终的活跃权重图像
Figure RE-RE-GDA0003403830110000042
可由下面公式获得：
Figure RE-RE-GDA0003403830110000043
其中，γ代表块的大小；
当获得活跃层图像
Figure RE-RE-GDA0003403830110000044
初始的权重图通过soft-max函数得到：
Figure RE-RE-GDA0003403830110000045
K代表活跃层图像的个数，设置K＝2，
Figure RE-RE-GDA0003403830110000046
表明初始权重图在(0～1) 范围；已知VGG网络的池化层算子是一个下采样算法，每次这个算子都会将图像缩小为原来1/s倍，令s＝2，因此在VGG网络中将池化层的跨度设置为2，所以在不同的层权重图的大小是细节层图像的1/2i-1倍，i属于{1， 2，3，4}，表示relu_1_1，relu_2_1，relu_3_1和relu_4_1四层；在得到初始的权重图后，对权重图进行上采样，将尺寸小的权重图放大到与细节层尺寸相同大小的图像，得到了四对权重图像，
Figure RE-RE-GDA0003403830110000047
对于每一对权重图，细节层融合的结果如下式所示：
Figure RE-RE-GDA0003403830110000048
最终，细节层图像融合由下面公式获得：
Fd(x,y)＝max[Fd(x,y)|i∈{1,2,3,4}]；
Fd函数的含义是取每一层最大值作为细节层最终的融合图像；
图像最终融合：将基层融合和细节层融合进行融合形成融合图像；具体包括：
当基层图像和细节层图像都已融合完毕，我们采用下式将他们相加就得到了最终的融合图像：
F(x,y)＝Fb(x，y)+Fd(x,y)；
其中Fb代表基层的融合图像，Fd代表细节层的融合图像。
进一步地，所述γ取值为1。
进一步地，所述α1和α2分别都等于0.5。
作为本发明的进一步技术方案为，所述对融合图像进行显著性区域测温；具体包括：将融合后的图像通过超像素分割提取显著性区域，对显著性区域进行温度测量并筛选，对温度大于设定值的显著性区域进行预警并发送预警信息；同时对大于设定值的显著性区域采用基于深度学习模型进行烟雾检测，判断大于设定值的显著性区域是否发生火灾。
作为本发明的进一步技术方案为，所述对图像范围的区域采用基于深度学习模型进行烟雾检测，判断该区域是否发生火灾，具体包括：
采用基于深度学习的模型，对火灾时产生的烟雾进行特征训练；
采用生成对抗网络，进行烟雾检测的前期训练，将训练后的权重值作为判断参数输入预警系统；
当检测到由火灾发生产生的烟雾时，通过无线网络上传至预警终端进行报警，表明该区域产生火灾。
作为本发明的进一步技术方案为，所述将融合后的图像通过超像素分割提取显著性区域，对显著性区域进行温度测量并筛选，对温度大于设定值的显著性区域进行预警并发送预警信息；具体包括：对显著性区域进行温度测量采用两点+神经网络+时域高通滤波联合非均匀校正算法，以及比色测温温度与比值反演高次拟合算法进行温度测量；
其中，基于神经网络时域高通滤波联合非均匀校正算法，首先采集高低温黑体图像，根据两点法求出校正增益和偏移系数，并将其作为改进的神经网络法校正系数初始值，两点法计算公式如下：
Figure RE-RE-GDA0003403830110000061
Figure RE-RE-GDA0003403830110000062
其中，高温黑体和低温黑体图像其响应输出分别用x(TH)和x(TL)表示，其输出响应平均值分别为
Figure RE-RE-GDA0003403830110000063
和
Figure RE-RE-GDA0003403830110000064
G和O分别表示增益系数和偏移系数；
在两点法基础上，利用神经网络法将输出响应的邻域加权平均值作为迭代算法的期望输出值，通过反复迭代，直到校正增益和偏移系数达到收敛，神经网络法计算公式如下：
Figure RE-RE-GDA0003403830110000065
Figure RE-RE-GDA0003403830110000066
Figure RE-RE-GDA0003403830110000067
其中fn(i,j)为输出期望值表达式，Gn+1(i,j)和On+1(i,j)分别为迭代增益系数和偏移系数；
在神经网络法基础上，采用时域高通滤波算法在不改变增益系数条件下，完成偏移系数的更新，时域高通滤波算法计算公式如下：
Figure RE-RE-GDA0003403830110000071
y(n)＝x(n)-f(n)；
其中x(n)表示焦平面输出的第n帧图像，f(n)表示输入图像中的低频部分，y(n)表示校正输出图像；
其中，比色测温技术通过建立被测目标在两个波长下的光谱辐射亮度之比与温度之间的函数关系来确定被测目标的真实温度；根据黑体辐射普朗克定律，实际物体的光谱辐出度可表示为如下公式：
Figure RE-RE-GDA0003403830110000072
其中，M为光谱辐出度，T为物体的温度；
当温度为T的物体，中心波长λ1和λ2分别对应的辐出度之比为：
Figure RE-RE-GDA0003403830110000073
其中R为辐出度之比；
从上式可以看出，针对比色测温系统，T和R成单值关系，只要获得R 就可以得到T；
为了提高比色测温精度，采用高次拟合算法求出T和R的拟合系数，设T和R的计算关系式如下：
Figure RE-RE-GDA0003403830110000074
通过计算使得：
Figure RE-RE-GDA0003403830110000081
可得到如下线性方程组，
Figure RE-RE-GDA0003403830110000082
对关于a0，a1，…，an的线性方程组求解，便可得到T和R的多项式拟合系数。
作为本发明的进一步技术方案为，通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警，具体包括：
生成对抗网络由两个模型构成，生成模型G和判别模型D，随机噪声 z通过G生成尽量服从真实数据分布Pdata的样本G(z)，判别模型D可以判断出输入样本是真实数据x还是生成数据G(z)；G和D是非线性的映射函数；
生成对抗网络具体算法为：首先，在生成器给定的情况下，优化判别器；判别器为一个二分类模型，训练判别器是实现最小化交叉熵的过程； E(·)为期望值的计算，x采样于真实数据分布Pdata(x)，z采样于先验分布 Pz(z)；生成器为了学习数据x的分布，由先验噪声分布Pz(z)构建了一个映射空间G(z；θz)，对应的判别器映射函数为D(x；θd)，输出一个标量表示 x为真实数据的概率；
Figure RE-RE-GDA0003403830110000083
生成器的损失函数定义为生成器的输出与“1”做交叉熵(Cross entropy)；判别器的损失函数由两部分组成:1)真实样本通过判别器的输出与“1”做交叉熵；生成器生成的样本通过判别器的输出与“0”做交叉熵；判别器的损失函数是两个部分之和；获得判别器和生成器的损失函数后，选择Adam 优化器优化损失函数。
基于深度神经网络红外与可见光融合的视觉系统，包括：
可见光和红外图像获取单元，通过巡检平台获取红外相机图像和可见光相机图像；
图像融合单元，对红外相机图像和可见光相机图像进行图像融合得到融合图像；
测温单元，对融合图像进行显著性区域测温；
识别预警单元，通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警。
进一步地，所述可见光和红外图像单元为无人机巡检平台。
本发明的有益效果为：
1、本发明提出一种基于深度学习算法，算出红外和可见光图像不同的融合权重，然后根据不同的权重进行图像融合，将两者图像中的重要信息结合在一张图像上；
2、本发明采用两点+神经网络+时域高通滤波联合非均匀校正算法，以及比色测温温度与比值反演高次拟合算法，提高测温精度，保证测温精度达到1％；
3、本发明通过基于深度神经网络的目标检测技术，利用对抗网络模型，生成器拟合数据的产生过程生成模型样本，优化目标是达到纳什均衡，使生成器估测到数据样本的分布。GAN网络目前在图像和视觉领域得到了广泛的研究和应用，由于具有生成器和判别器两部分，可以使得目标在训练时不断提升识别能力，目标识别精度更高。
附图说明
图1为本发明提出的基于深度神经网络红外与可见光融合的视觉方法流程图；
图2为本发明提出的图像融合框架图；
图3为本发明提出的细节层图像融合结构图；
图4为本发明提出的对抗生成网络流程图；
图5为本发明提出的基于深度神经网络红外与可见光融合的视觉系统结构图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。
本项目利用激光照明技术、红外与可见光融合技术、以及人工智能等技术可以克服大雾、雨雪、雾霾等极端天气下的干扰，第一时间了解电力现场损害程度。
参见图1，为本发明提出的基于深度神经网络红外与可见光融合的视觉方法流程图；
如图1所示，基于深度神经网络的红外与可见光融合的视觉方法，包括以下步骤：
步骤101，通过巡检平台获取红外相机图像和可见光相机图像；
步骤102，对红外相机图像和可见光相机图像进行图像融合得到融合图像；
步骤103，对融合图像进行显著性区域测温；
步骤104，通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警。
本发明实施例中，对红外相机图像和可见光相机图像进行图像融合得到融合图像；具体包括：
对采集的可见光相机和红外相机进行图像预处理；
计算可见光图像熵值，当熵值高于阈值时，已可见光图像作为融合图像，当熵值低于阈值，采用VGG-19深度神经网络完成可见光与红外图像融合得到融合图像。
首先对可见光相机和红外相机进行图像预处理，包含了图像增强、去噪等处理，之后计算可见光图像熵值，当熵值高于阈值，我们可认为当前处于白天阶段，可见光相机不与红外图像进行融合，当熵值低于阈值，我们可认为当前处于晚上阶段，由于红外图像不能很好反应探测到物体的纹理和细节信息，因此可见光相机开启与红外图像融合工作，这样能够保证融合后图像始终具有比较好的细节和纹理信息。之后采用VGG-19深度神经网络完成可见光与红外图像融合工作；
参见图2，本发明实施例中，采用VGG-19深度神经网络完成可见光与红外图像融合得到融合图像，具体包括：采用VGG-19深度神经网络计算出不同波段图像的显著特征图，使得最后融合的图像能够保持各自图像的显著性特征，包括以下步骤：
图像尺度分割：对可见光图像进行尺度分解形成可见光基层和可见光细节层，对红外图像进行尺度分解形成红外基层和红外细节层；具体包括：
将原始图像分为两层，其中一层为基层，另外一层为细节层，假设源图像为Ik，基层图像为
Figure RE-RE-GDA0003403830110000121
细节层为
Figure RE-RE-GDA0003403830110000122
基层图像通过解算如下方程得到：
Figure RE-RE-GDA0003403830110000123
其中gx＝[-1，1]，gy＝[-1，1]T，它们是水平、垂直梯度算子，细节层图像等于源图像减去基层图像；
Figure RE-RE-GDA0003403830110000124
基层图像融合：对可见光细节层和红外基层进行基层融合；具体包括：
基层图像包含有源图像的普遍特征和冗余信息，采用平均权重策略进行基层图像融合：
Figure RE-RE-GDA0003403830110000125
其中，(x，y)代表图像中对应像素点的位置，α1和α2代表不同的融合权重值；
参见图3，细节层图像融合：对可见光细节层和红外细节层通过深度神经网络进行细节层融合；具体包括：
对于细节层图像
Figure RE-RE-GDA0003403830110000126
和
Figure RE-RE-GDA0003403830110000127
采用深度学习网络VGG-19计算融合权重值，通过VGG-19网络进行深度特征提取，权重图通过多层融合策略获得，最终细节层融合结果由训练得到的权重值和细节层图像获得；其中，多层融合策略如下:
考虑到细节层图像为
Figure RE-RE-GDA0003403830110000128
表明第K层细节层图像特征权重图，m是第i层的通道号；
Figure RE-RE-GDA0003403830110000129
Φi()代表VGG网络中的一层i属于{1，2，3，4}，代表了relu_1_1，relu_2_1， relu_3_1和relu_4_1；
Figure RE-RE-GDA00034038301100001210
是M维向量；
Figure RE-RE-GDA00034038301100001211
的L1范数可作为源图像细节层的活跃等级评价函数，因此最初的活跃层权重图可以通过下式获得：
Figure RE-RE-GDA0003403830110000131
利用基于块的平均算子计算最终的活跃权重图像
Figure RE-RE-GDA0003403830110000132
可由下面公式获得：
Figure RE-RE-GDA0003403830110000133
其中，γ代表块的大小；
当获得活跃层图像
Figure RE-RE-GDA0003403830110000134
初始的权重图通过soft-max函数得到：
Figure RE-RE-GDA0003403830110000135
K代表活跃层图像的个数，设置K＝2，
Figure RE-RE-GDA0003403830110000136
表明初始权重图在(0～1) 范围；已知VGG网络的池化层算子是一个下采样算法，每次这个算子都会将图像缩小为原来1/s倍，令s＝2，因此在VGG网络中将池化层的跨度设置为2，所以在不同的层权重图的大小是细节层图像的1/2i-1倍，i属于{1， 2，3，4}，表示relu_1_1，relu_2_1，relu_3_1和relu_4_1四层；在得到初始的权重图后，对权重图进行上采样，将尺寸小的权重图放大到与细节层尺寸相同大小的图像，得到了四对权重图像，
Figure RE-RE-GDA0003403830110000137
对于每一对权重图，细节层融合的结果如下式所示：
Figure RE-RE-GDA0003403830110000138
最终，细节层图像融合由下面公式获得：
Fd(x,y)＝max[Fd(x,y)|i∈{1,2,3,4}]；
Fd函数的含义是取每一层最大值作为细节层最终的融合图像；
图像最终融合：将基层融合和细节层融合进行融合形成融合图像；具体包括：
当基层图像和细节层图像都已融合完毕，我们采用下式将他们相加就得到了最终的融合图像：
F(x,y)＝Fb(x,y)+Fd(x,y)；
其中Fb代表基层的融合图像，Fd代表细节层的融合图像。
进一步地，所述γ取值为1。如果γ变大，融合图像将会变得更加动态，但是图像细节容易会丢失，因此选择γ＝1。
进一步地，所述α1和α2分别都等于0.5。想要保持更多的普遍信息而削弱冗余信息，我们选择α1和α2分别都等于0.5。
本发明实施例中，基于深度神经网络的红外与可见光多源信息融合的技术，具体包括：首先将图像分解为基层图像和细节层图像，基层图像采用平均权重算法进行融合；其次，对于细节层，我们使用VGG-19多层神经网络提取多层特征，之后使用L1范数和平均权重产生细节融合图像的候选图像，采用最大候选图像作为最终细节层融合的图像；最后将基层图像和细节层图像相加，构成了最终的融合图像。
本发明提出的基于深度学习算法，算出红外和可见光图像不同的融合权重，然后根据不同的权重进行图像融合。
进一步地，所述对融合图像进行显著性区域测温；具体包括：将融合后的图像通过超像素分割提取显著性区域，对显著性区域进行温度测量并筛选，对温度大于设定值的显著性区域进行预警并发送预警信息；同时对大于设定值的显著性区域采用基于深度学习模型进行烟雾检测，判断大于设定值的显著性区域是否发生火灾。
将融合后的图像采用超像素图像分割提取显著性区域，对显著性区域进行温度测量，通常显著性区域包含电力设备、电线等易发生火灾隐患的区域，当发现某一块区域的温度远远高于其他区域时，系统会通过无线网络向预警系统终端发送信息，表明该区域具有火灾隐患。
在检测显著性区域温度同时，对图像视场范围内的区域进行烟雾检测，由于烟雾的种类比较广，低浓度的烟雾并不能代表发生了火灾，因此为了降低火灾误判率，我们采用基于深度学习的模型，对火灾时产生的烟雾进行特征训练，我们采用生成对抗网络，进行烟雾检测的前期训练，将训练后的权重值作为判断参数输入预警系统，当系统检测到由火灾发生产生的烟雾时，通过无线网络上传至预警终端进行报警，表明该区域产生了火灾。
进一步地，所述对图像范围的区域采用基于深度学习模型进行烟雾检测，判断该区域是否发生火灾，具体包括：
采用基于深度学习的模型，对火灾时产生的烟雾进行特征训练；
采用生成对抗网络，进行烟雾检测的前期训练，将训练后的权重值作为判断参数输入预警系统；
当检测到由火灾发生产生的烟雾时，通过无线网络上传至预警终端进行报警，表明该区域产生火灾。
进一步地，所述将融合后的图像通过超像素分割提取显著性区域，对显著性区域进行温度测量并筛选，对温度大于设定值的显著性区域进行预警并发送预警信息；具体包括：对显著性区域进行温度测量采用两点+神经网络+时域高通滤波联合非均匀校正算法，以及比色测温温度与比值反演高次拟合算法进行温度测量；
其中，基于神经网络时域高通滤波联合非均匀校正算法，首先采集高低温黑体图像，根据两点法求出校正增益和偏移系数，并将其作为改进的神经网络法校正系数初始值，两点法计算公式如下：
Figure RE-RE-GDA0003403830110000151
Figure RE-RE-GDA0003403830110000161
其中，高温黑体和低温黑体图像其响应输出分别用x(TH)和x(TL)表示，其输出响应平均值分别为
Figure RE-RE-GDA0003403830110000162
和
Figure RE-RE-GDA0003403830110000163
G和O分别表示增益系数和偏移系数；
在两点法基础上，利用神经网络法将输出响应的邻域加权平均值作为迭代算法的期望输出值，通过反复迭代，直到校正增益和偏移系数达到收敛，神经网络法计算公式如下：
Figure RE-RE-GDA0003403830110000164
Figure RE-RE-GDA0003403830110000165
Figure RE-RE-GDA0003403830110000166
其中fn(i,j)为输出期望值表达式，Gn+1(i,j)和On+1(i,j)分别为迭代增益系数和偏移系数；
在神经网络法基础上，采用时域高通滤波算法在不改变增益系数条件下，完成偏移系数的更新，时域高通滤波算法计算公式如下：
Figure RE-RE-GDA0003403830110000167
y(n)＝x(n)-f(n)；
其中x(n)表示焦平面输出的第n帧图像，f(n)表示输入图像中的低频部分，y(n)表示校正输出图像；
本发明实施例中采用两点+神经网络+时域高通滤波联合非均匀校正算法，输出图像具有较高对比度，且图像边缘清晰，算法收敛所需时间较短，且能够去除过暗区域，抑制固定图案噪声。
其中，比色测温技术通过建立被测目标在两个波长下的光谱辐射亮度之比与温度之间的函数关系来确定被测目标的真实温度；根据黑体辐射普朗克定律，实际物体的光谱辐出度可表示为如下公式：
Figure RE-RE-GDA0003403830110000171
其中，M为光谱辐出度，T为物体的温度；
当温度为T的物体，中心波长λ1和λ2分别对应的辐出度之比为：
Figure RE-RE-GDA0003403830110000172
其中R为辐出度之比；
从上式可以看出，针对比色测温系统，T和R成单值关系，只要获得R 就可以得到T；
为了提高比色测温精度，采用高次拟合算法求出T和R的拟合系数，设T和R的计算关系式如下：
Figure RE-RE-GDA0003403830110000173
通过计算使得：
Figure RE-RE-GDA0003403830110000181
可得到如下线性方程组，
Figure RE-RE-GDA0003403830110000182
对关于a0，a1，…，an的线性方程组求解，便可得到T和R的多项式拟合系数。
本发明实施例中，采用两点+神经网络+时域高通滤波联合非均匀校正算法，以及比色测温温度与比值反演高次拟合算法，提高测温精度，保证测温精度达到1％。
参见图4，本发明实施中，通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警，具体包括：
生成对抗网络由两个模型构成，生成模型G和判别模型D，随机噪声 z通过G生成尽量服从真实数据分布Pdata的样本G(z)，判别模型D可以判断出输入样本是真实数据x还是生成数据G(z)；G和D是非线性的映射函数，比如多层感知器；
生成对抗网络具体算法为：首先，在生成器给定的情况下，优化判别器；判别器为一个二分类模型，训练判别器是实现最小化交叉熵的过程； E(·)为期望值的计算，x采样于真实数据分布Pdata(x)，z采样于先验分布Pz(z)；生成器为了学习数据x的分布，由先验噪声分布Pz(z)构建了一个映射空间G(z；θz)，对应的判别器映射函数为D(x；θd)，输出一个标量表示x为真实数据的概率；
Figure RE-RE-GDA0003403830110000191
生成器的目标是要生成器的输出通过判别器后结果接近1(生成样本接近真实样本)；而判别器的目的，一方面要让真实样本通过判别器后结果接近1，另一方面让生成器生成的样本通过判别器的结果接近0。
生成器的损失函数定义为生成器的输出与“1”做交叉熵(Cross entropy)；判别器的损失函数由两部分组成：真实样本通过判别器的输出与“1”做交叉熵；生成器生成的样本通过判别器的输出与“0”做交叉熵；判别器的损失函数是两个部分之和；获得判别器和生成器的损失函数后，选择Adam 优化器优化损失函数。实际训练过程中，判别器会很容易在与生成器的对抗训练中取得胜利，导致生成器出现梯度消失(Vanishing gradient)。因此在训练中，更新一次判别器需要更新k(k>1)次生成器来使判别器在训练过程中不能快速达到(近似)最优，以此保持生成器与判别器的对抗平衡；k值的选择也要根据不同规模的数据集选定，如果k值偏小，会使判别器达到(近似)最优，生成器就会出现梯度消失，损失函数降不下去的情况；如果k值偏大，会导致生成器的梯度不准，来回震荡。将训练好的GAN应用到目标检测识别中；训练好的GAN判别器部分(去除最后一层)提取出来，并在新的结构中进行参数微调，与判别器结构不同，最后一个全连接层输出维数为n；输出结果通过Softmax分类器；与标签y做交叉熵得到的损失函数，同样使用Adam来优化；另外，在训练此结构时，将Dropout的值设为0.5，防止全连接层出现过拟合。
生成对抗网络(GAN)是一种生成模型。不同于传统生成模型，其在网络结构上除了生成网络外，还包含一个判别网络。生成网络与判别网络之间是一种对抗的关系。对抗的思想源自博弈论(Game theory)，博弈双方在平等的对局中各自利用对方的策略变换自己的对抗策略，以此达到获胜目的。引申到生成对抗网络中，即生成器和判别器为博弈双方，生成器拟合数据的产生过程生成模型样本，优化目标是达到纳什均衡，使生成器估测到数据样本的分布。GAN网络目前在图像和视觉领域得到了广泛的研究和应用，由于具有生成器和判别器两部分，可以使得目标在训练时不断提升识别能力，因此在训练完成后，目标识别精度更高。
与一般的有监督学习用于图像分类的方式相比，本方法所用分类模型中的所有特征提取层会作为GAN的判别器在数据集中进行预训练，其优势在于除数据集中的真实样本外，GAN生成器生成的样本同样会作为数据输入到判别器中，起到数据增强的作用，使得判别器能够通过训练能够对地面目标更好的识别。
参见图5，为本发明提出的基于深度神经网络红外与可见光融合的视觉系统结构图；
如图5所示，基于深度神经网络红外与可见光融合的视觉系统，包括：
可见光和红外图像获取单元201，通过巡检平台获取红外相机图像和可见光相机图像；
图像融合单元202，对红外相机图像和可见光相机图像进行图像融合得到融合图像；
测温单元203，对融合图像进行显著性区域测温；
识别预警单元204，通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警。
基于深度神经网络的红外与可见光多源信息融合的远距离视觉系统可为手持式的、或搭载于无人机的检测系统。
本发明能够广泛应用于各种恶劣天气下实现对特定目标的可视。系统可以在任何极端条件下了解特定场景下的实时状况，为电力设施巡检、灾区情况及其他特定目标提供24小时不间断画面，能够解决各种极端天气下，特别是夜间特定目标实时监控，及时排查处理安全隐患、第一时间全面了解灾害的难题，同时节约大量人力物力，应用于电力行业将显著提升社会经济效益，也可以避免由于夜间发生危害产生的其他次生灾害发生，引发大面积停电和经济损失。
在电力行业可以推广应用在各种极端条件，例如：暴雨、大雾、浓烟、雾霾等天气条件下实现对电力设备的远距离观察，特别是可以在夜间无任何自然光条件下对灾害隐患点、灾区、电力设施等特定目标进行远距离、高清晰度的观察。
本发明实施例节省人力物力成本。能够做到任何时候，任何天气下，远距离对特定电力设备进行监控，无需运维人员人工巡检，系统发现异常后，能够及时通知运维人员处理。预防灾害。可以对隐患点进行24小时实时监控，在灾害发生时即可采取有效措施，避免次生灾害发生。灾区监控，对已经发生的灾害地区，可以确定受灾情况，根据勘查情况准备精确的救灾物资。
以上对本发明进行了详细介绍，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

Claims (10)

1.基于深度神经网络的红外与可见光融合的视觉方法，其特征在于，包括以下步骤：
通过巡检平台获取红外相机图像和可见光相机图像；
对红外相机图像和可见光相机图像进行图像融合得到融合图像；
对融合图像进行显著性区域测温；
通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警。
2.根据权利要求1所述的方法，其特征在于，所述对红外相机图像和可见光相机图像进行图像融合得到融合图像；具体包括：
对采集的可见光相机和红外相机进行图像预处理；
计算可见光图像熵值，当熵值高于阈值时，已可见光图像作为融合图像，当熵值低于阈值，采用VGG-19深度神经网络完成可见光与红外图像融合得到融合图像。
3.根据权利要求2所述的方法，其特征在于，所述采用VGG-19深度神经网络完成可见光与红外图像融合得到融合图像，具体包括：采用VGG-19深度神经网络计算出不同波段图像的显著特征图，使得最后融合的图像能够保持各自图像的显著性特征，包括以下步骤：
图像尺度分割：对可见光图像进行尺度分解形成可见光基层和可见光细节层，对红外图像进行尺度分解形成红外基层和红外细节层；具体包括：
将原始图像分为两层，其中一层为基层，另外一层为细节层，假设源图像为Ik，基层图像为
Figure RE-FDA0003403830100000011
细节层为
Figure RE-FDA0003403830100000012
基层图像通过解算如下方程得到：
Figure RE-FDA0003403830100000013
其中gx＝[-1，1]，gy＝[-1，1]T，它们是水平、垂直梯度算子，细节层图像等于源图像减去基层图像；
Figure RE-FDA0003403830100000021
基层图像融合：对可见光细节层和红外基层进行基层融合；具体包括：
基层图像包含有源图像的普遍特征和冗余信息，采用平均权重策略进行基层图像融合：
Figure RE-FDA0003403830100000022
其中，(x，y)代表图像中对应像素点的位置，α1和α2代表不同的融合权重值；
细节层图像融合：对可见光细节层和红外细节层通过深度神经网络进行细节层融合；具体包括：
对于细节层图像
Figure RE-FDA0003403830100000023
和
Figure RE-FDA0003403830100000024
采用深度学习网络VGG-19计算融合权重值，通过VGG-19网络进行深度特征提取，权重图通过多层融合策略获得，最终细节层融合结果由训练得到的权重值和细节层图像获得；其中，多层融合策略如下:
考虑到细节层图像为
Figure RE-FDA0003403830100000025
Wi m表明第K层细节层图像特征权重图，m是第i层的通道号；
Figure RE-FDA0003403830100000026
Φi()代表VGG网络中的一层i属于{1，2，3，4}，代表了relu_1_1，relu_2_1，relu_3_1和relu_4_1；
Figure RE-FDA0003403830100000027
是M维向量；
Figure RE-FDA0003403830100000028
的L1范数可作为源图像细节层的活跃等级评价函数，因此最初的活跃层权重图可以通过下式获得：
Figure RE-FDA0003403830100000029
利用基于块的平均算子计算最终的活跃权重图像
Figure RE-FDA00034038301000000210
Figure RE-FDA00034038301000000211
可由下面公式获得：
Figure RE-FDA0003403830100000031
其中，γ代表块的大小；
当获得活跃层图像
Figure RE-FDA0003403830100000032
初始的权重图通过soft-max函数得到：
Figure RE-FDA0003403830100000033
K代表活跃层图像的个数，设置K＝2，
Figure RE-FDA0003403830100000034
表明初始权重图在(0～1)范围；已知VGG网络的池化层算子是一个下采样算法，每次这个算子都会将图像缩小为原来1/s倍，令s＝2，因此在VGG网络中将池化层的跨度设置为2，所以在不同的层权重图的大小是细节层图像的1/2i-1倍，i属于{1，2，3，4}，表示relu_1_1，relu_2_1，relu_3_1和relu_4_1四层；在得到初始的权重图后，对权重图进行上采样，将尺寸小的权重图放大到与细节层尺寸相同大小的图像，得到了四对权重图像，
Figure RE-FDA0003403830100000035
对于每一对权重图，细节层融合的结果如下式所示：
Figure RE-FDA0003403830100000036
最终，细节层图像融合由下面公式获得：
Fd(x,y)＝max[Fd(x,y)|i∈{1,2,3,4}]；
Fd函数的含义是取每一层最大值作为细节层最终的融合图像；
图像最终融合：将基层融合和细节层融合进行融合形成融合图像；具体包括：
当基层图像和细节层图像都已融合完毕，我们采用下式将他们相加就得到了最终的融合图像：
F(x,y)＝Fb(x,y)+Fd(x,y)；
其中Fb代表基层的融合图像，Fd代表细节层的融合图像。
4.根据权利要求3所述的方法，其特征在于，所述γ取值为1。
5.根据权利要求3所述的方法，其特征在于，所述α1和α2分别都等于0.5。
6.根据权利要求1所述的方法，其特征在于，所述对融合图像进行显著性区域测温；具体包括：将融合后的图像通过超像素分割提取显著性区域，对显著性区域进行温度测量并筛选，对温度大于设定值的显著性区域进行预警并发送预警信息；同时对大于设定值的显著性区域采用基于深度学习模型进行烟雾检测，判断大于设定值的显著性区域是否发生火灾。
7.根据权利要求6所述的方法，其特征在于，所述对图像范围的区域采用基于深度学习模型进行烟雾检测，判断该区域是否发生火灾，具体包括：
采用基于深度学习的模型，对火灾时产生的烟雾进行特征训练；
采用生成对抗网络，进行烟雾检测的前期训练，将训练后的权重值作为判断参数输入预警系统；
当检测到由火灾发生产生的烟雾时，通过无线网络上传至预警终端进行报警，表明该区域产生火灾。
8.根据权利要求6所述的方法，其特征在于，所述将融合后的图像通过超像素分割提取显著性区域，对显著性区域进行温度测量并筛选，对温度大于设定值的显著性区域进行预警并发送预警信息；具体包括：对显著性区域进行温度测量采用两点+神经网络+时域高通滤波联合非均匀校正算法，以及比色测温温度与比值反演高次拟合算法进行温度测量；
其中，基于神经网络时域高通滤波联合非均匀校正算法，首先采集高低温黑体图像，根据两点法求出校正增益和偏移系数，并将其作为改进的神经网络法校正系数初始值，两点法计算公式如下：
Figure RE-FDA0003403830100000051
Figure RE-FDA0003403830100000052
其中，高温黑体和低温黑体图像其响应输出分别用x(TH)和x(TL)表示，其输出响应平均值分别为
Figure RE-FDA0003403830100000053
和
Figure RE-FDA0003403830100000054
G和O分别表示增益系数和偏移系数；
在两点法基础上，利用神经网络法将输出响应的邻域加权平均值作为迭代算法的期望输出值，通过反复迭代，直到校正增益和偏移系数达到收敛，神经网络法计算公式如下：
Figure RE-FDA0003403830100000055
Figure RE-FDA0003403830100000056
Figure RE-FDA0003403830100000057
其中fn(i,j)为输出期望值表达式，Gn+1(i,j)和On+1(i,j)分别为迭代增益系数和偏移系数；
在神经网络法基础上，采用时域高通滤波算法在不改变增益系数条件下，完成偏移系数的更新，时域高通滤波算法计算公式如下：
Figure RE-FDA0003403830100000058
y(n)＝x(n)-f(n)；
其中x(n)表示焦平面输出的第n帧图像，f(n)表示输入图像中的低频部分，y(n)表示校正输出图像；
其中，比色测温技术通过建立被测目标在两个波长下的光谱辐射亮度之比与温度之间的函数关系来确定被测目标的真实温度；根据黑体辐射普朗克定律，实际物体的光谱辐出度可表示为如下公式：
Figure RE-FDA0003403830100000061
其中，M为光谱辐出度，T为物体的温度；
当温度为T的物体，中心波长λ1和λ2分别对应的辐出度之比为：
Figure RE-FDA0003403830100000062
其中R为辐出度之比；
从上式可以看出，针对比色测温系统，T和R成单值关系，只要获得R就可以得到T；
为了提高比色测温精度，采用高次拟合算法求出T和R的拟合系数，设T和R的计算关系式如下：
Figure RE-FDA0003403830100000063
通过计算使得：
Figure RE-FDA0003403830100000064
可得到如下线性方程组，
Figure RE-FDA0003403830100000071
对关于a0，a1，…，an的线性方程组求解，便可得到T和R的多项式拟合系数。
9.根据权利要求1所述的方法，其特征在于，通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警，具体包括：
生成对抗网络由两个模型构成，生成模型G和判别模型D，随机噪声z通过G生成尽量服从真实数据分布Pdata的样本G(z)，判别模型D可以判断出输入样本是真实数据x还是生成数据G(z)；G和D是非线性的映射函数；
生成对抗网络具体算法为：首先，在生成器给定的情况下，优化判别器；判别器为一个二分类模型，训练判别器是实现最小化交叉熵的过程；E(·)为期望值的计算，x采样于真实数据分布Pdata(x)，z采样于先验分布Pz(z)；生成器为了学习数据x的分布，由先验噪声分布Pz(z)构建了一个映射空间G(z；θz)，对应的判别器映射函数为D(x；θd)，输出一个标量表示x为真实数据的概率；
Figure RE-FDA0003403830100000072
生成器的损失函数定义为生成器的输出与“1”做交叉熵；判别器的损失函数由两部分组成：真实样本通过判别器的输出与“1”做交叉熵；生成器生成的样本通过判别器的输出与“0”做交叉熵；判别器的损失函数是两个部分之和；获得判别器和生成器的损失函数后，选择Adam优化器优化损失函数。
10.基于深度神经网络红外与可见光融合的视觉系统，利用权利要求1-9中任一所述的基于深度神经网络的红外与可见光融合的远距离视觉方法，其特征在于，包括：
可见光和红外图像获取单元，通过巡检平台获取红外相机图像和可见光相机图像；
图像融合单元，对红外相机图像和可见光相机图像进行图像融合得到融合图像；
测温单元，对融合图像进行显著性区域测温；
识别预警单元，通过基于生成对抗网络的目标检测技术对目标进行识别并进行灾害报警。
CN202111126389.0A 2021-09-26 2021-09-26 基于深度神经网络的红外与可见光融合的视觉系统及方法 Pending CN113947555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111126389.0A CN113947555A (zh) 2021-09-26 2021-09-26 基于深度神经网络的红外与可见光融合的视觉系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111126389.0A CN113947555A (zh) 2021-09-26 2021-09-26 基于深度神经网络的红外与可见光融合的视觉系统及方法

Publications (1)

Publication Number Publication Date
CN113947555A true CN113947555A (zh) 2022-01-18

Family

ID=79328618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111126389.0A Pending CN113947555A (zh) 2021-09-26 2021-09-26 基于深度神经网络的红外与可见光融合的视觉系统及方法

Country Status (1)

Country Link
CN (1) CN113947555A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457255A (zh) * 2022-09-06 2022-12-09 中国科学院长春光学精密机械与物理研究所 基于深度学习的地基望远镜图像非均匀校正方法
CN116087221A (zh) * 2023-03-02 2023-05-09 东北电力大学 一种基于计算机视觉的空冷器积灰状态检测装置及方法
CN116092018A (zh) * 2023-04-10 2023-05-09 同方德诚(山东)科技股份公司 一种基于智慧建筑的消防隐患监测方法及系统
CN117612093A (zh) * 2023-11-27 2024-02-27 北京东青互联科技有限公司 一种数据中心的动力环境监控方法、系统、设备和介质
CN117726979A (zh) * 2024-02-18 2024-03-19 合肥中盛水务发展有限公司 一种基于神经网络的管廊管线管理方法
CN118762153A (zh) * 2024-09-06 2024-10-11 浙江大华技术股份有限公司 道路灾害检测方法、电子设备和存储装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784642A (zh) * 2016-08-26 2018-03-09 北京航空航天大学 一种红外视频和可见光视频自适应融合方法
CN109377459A (zh) * 2018-09-30 2019-02-22 国网山东省电力公司电力科学研究院 一种生成式对抗网络的超分辨率去模糊方法
CN110322423A (zh) * 2019-04-29 2019-10-11 天津大学 一种基于图像融合的多模态图像目标检测方法
AU2020100178A4 (en) * 2020-02-04 2020-03-19 Huang, Shuying DR Multiple decision maps based infrared and visible image fusion
CN111626985A (zh) * 2020-04-20 2020-09-04 北京农业信息技术研究中心 基于图像融合的家禽体温检测方法及禽舍巡检系统
US20210192175A1 (en) * 2019-12-20 2021-06-24 Volant Aerial, Inc. System and method for the early visual detection of forest fires using a deep convolutional neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784642A (zh) * 2016-08-26 2018-03-09 北京航空航天大学 一种红外视频和可见光视频自适应融合方法
CN109377459A (zh) * 2018-09-30 2019-02-22 国网山东省电力公司电力科学研究院 一种生成式对抗网络的超分辨率去模糊方法
CN110322423A (zh) * 2019-04-29 2019-10-11 天津大学 一种基于图像融合的多模态图像目标检测方法
US20210192175A1 (en) * 2019-12-20 2021-06-24 Volant Aerial, Inc. System and method for the early visual detection of forest fires using a deep convolutional neural network
AU2020100178A4 (en) * 2020-02-04 2020-03-19 Huang, Shuying DR Multiple decision maps based infrared and visible image fusion
CN111626985A (zh) * 2020-04-20 2020-09-04 北京农业信息技术研究中心 基于图像融合的家禽体温检测方法及禽舍巡检系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
沈瑜等: "基于DLatLRR与VGG Net 的红外与可见光图像融合", 北京航空航天大学学报, vol. 47, no. 6, 30 June 2021 (2021-06-30), pages 1105 - 1114 *
王季峥等: "基于改进SLIC算法的电力设备故障区域分割方法", 计算机应用与软件, vol. 38, no. 1, 31 January 2021 (2021-01-31), pages 222 - 226 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457255A (zh) * 2022-09-06 2022-12-09 中国科学院长春光学精密机械与物理研究所 基于深度学习的地基望远镜图像非均匀校正方法
CN115457255B (zh) * 2022-09-06 2024-04-02 中国科学院长春光学精密机械与物理研究所 基于深度学习的地基望远镜图像非均匀校正方法
CN116087221A (zh) * 2023-03-02 2023-05-09 东北电力大学 一种基于计算机视觉的空冷器积灰状态检测装置及方法
CN116087221B (zh) * 2023-03-02 2023-09-08 东北电力大学 一种基于计算机视觉的空冷器积灰状态检测装置及方法
CN116092018A (zh) * 2023-04-10 2023-05-09 同方德诚(山东)科技股份公司 一种基于智慧建筑的消防隐患监测方法及系统
CN116092018B (zh) * 2023-04-10 2023-08-25 同方德诚(山东)科技股份公司 一种基于智慧建筑的消防隐患监测方法及系统
CN117612093A (zh) * 2023-11-27 2024-02-27 北京东青互联科技有限公司 一种数据中心的动力环境监控方法、系统、设备和介质
CN117726979A (zh) * 2024-02-18 2024-03-19 合肥中盛水务发展有限公司 一种基于神经网络的管廊管线管理方法
CN118762153A (zh) * 2024-09-06 2024-10-11 浙江大华技术股份有限公司 道路灾害检测方法、电子设备和存储装置

Similar Documents

Publication Publication Date Title
CN113947555A (zh) 基于深度神经网络的红外与可见光融合的视觉系统及方法
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN112379231B (zh) 一种基于多光谱图像的设备检测方法及装置
CN106595551B (zh) 基于深度学习的输电线路覆冰图像中覆冰厚度检测方法
CN112381784A (zh) 一种基于多光谱图像的设备检测系统
CN115909093A (zh) 一种基于无人机巡检和红外图像语义分割的电力设备故障检测方法
CN108109385A (zh) 一种输电线防外破的车辆识别与危险行为判别系统与方法
Rong et al. Intelligent detection of vegetation encroachment of power lines with advanced stereovision
CN111667655A (zh) 基于红外图像的高速铁路安全区入侵警报装置及方法
CN112862150A (zh) 一种基于图像与视频多模型的森林火情预警方法
CN116824517B (zh) 基于可视化的变电站运维安全管控系统
Zhang et al. Aerial image analysis based on improved adaptive clustering for photovoltaic module inspection
CN117406789A (zh) 基于图像分析的多无人机桥梁支座巡检航线自动规划方法
CN109684914A (zh) 基于无人机影像智能识别方法
CN111354028B (zh) 基于双目视觉的输电通道隐患物识别追踪方法
CN106920231A (zh) 一种基于全色图像统计特征的遥感图像云评估方法
CN116188975A (zh) 一种空地视角融合的电力设备故障识别方法及系统
CN109697410B (zh) 一种架空输电线路覆盖地区的遥感地物识别方法
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN118587439A (zh) 基于降噪扩散概率模型的多源遥感图像语义分割方法及装置
CN104615987B (zh) 一种基于误差反传神经网络的飞机残骸智能识别方法及系统
CN117423077A (zh) Bev感知模型、构建方法、装置、设备、车辆及存储介质
CN113989209B (zh) 基于Faster R-CNN的电力线异物检测方法
CN117079026A (zh) 一种基于改进YOLOv3网络的无人机电力巡检隐患识别方法
CN116824462A (zh) 一种基于视频卫星的森林智能防火方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination