CN109979468B - 一种雷击光学路径监测系统及方法 - Google Patents

Abstract

本发明公开了一种雷击光学路径监测系统及方法，属于雷电监测与分析技术领域；该监测系统包括光电传感单元、核心单元、图像采集设备和声音传感器；所述光电传感单元用于在雷电发生时产生触发信号；在触发信号的控制下，图像采集设备拍摄雷电图片，核心单元控制所述声音传感器备采集雷声音频信息；所述核心单元用于通过基于深度学习的目标检测算法判断所述雷电图片是否符合雷电特征，当雷电图片符合雷电特征时，通过基于深度学习的环境声音识别算法判断所述雷声音频信息是否符合雷声特征；当雷声音频信息符合雷声特征时，发出告警信号；本发明通过雷电识别和雷声识别双重条件判定提高了雷电预警的准确率，降低了误报率，提高监测系统的可信度。

Description

一种雷击光学路径监测系统及方法

技术领域

本发明属于雷电监测与分析技术领域，更具体地，涉及一种利用多目相机和传感器全方位监测雷击形状、规模、方位的雷击光学路径监测系统及方法。

背景技术

雷电灾害是一种不可抗拒的自然灾害，经常导致人员伤亡，还可能导致供配电系统、通信设备、民用电器的损坏，引起森林火灾，仓储、炼油厂、油田等燃烧甚至爆炸，造成重大的经济损失和不良社会影响。全国历年雷电灾害数据表明，相较于其他行业，电力业更容易遭受雷灾，且后果也更为严重。因此，必须要做到对雷电灾害的提前预知、预警、预防，对有可能发生或已经发生雷电的区域进行识别、跟踪和预报预警，有效防范和降低雷电威胁。

为了预防雷电对电力行业的危害，建立了雷电检测预警系统；目前雷电监测预警系统大多以大气电场仪为基础设备，通过分析电场强度变化趋势来预判雷暴天气，优点是监测范围广，能在雷击发生前发出雷电预警信号；但是存在以下缺点：一是这种仅通过判断电场强度是否超过设置阈值来进行预警的方法常出现虚报警率高的情况，预警准确率有待提高；二是无法提供雷击点的精确光学图像数据，不利于支撑事故后的原因分析，或调查和修复防雷设计薄弱点。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种雷击光学路径监测系统及方法，其目的在于解决现有的检测预警系统存在的预警准确率低、无法精确获取雷击点的光学图像数据以供雷击事故后续分析的问题。

为实现上述目的，按照本发明的一个方面，提供了一种雷击光学路径监测系统，包括光电传感单元、核心单元、图像采集设备和声音传感器；

所述光电传感单元用于在雷电发生时产生触发信号；在所述触发信号的控制下，所述图像采集设备拍摄雷电图片，所述核心单元控制所述声音传感器采集雷声音频信息；

所述核心单元用于通过基于深度学习的目标检测算法判断所述雷电图片是否符合雷电特征，当雷电图片符合雷电特征时，通过基于深度学习的环境声音识别算法判断所述雷声音频信息是否符合雷声特征；当雷声音频信息符合雷声特征时，发出告警信号。

优选的，上述雷击光学路径监测系统，其核心单元还用于在雷声音频信息符合雷声特征时计算雷电距离和方位，将雷电发生时间、雷电距离和方位信息标记在雷电图片上并将标记后的雷电图片发送至外部服务器。

优选的，上述雷击光学路径监测系统，其核心单元包括载板，以及设置在所述载板上的核心板、授时模块和外存储器；

所述核心板用于实现雷电图片的检测与识别、雷声信息识别，当雷电图片符合雷电特征且雷声音频信息符合雷声特征时，发出告警信号，并将雷电发生时间、雷电距离和方位信息标记在雷电图片上；

所述载板上设有电源模块和多个扩展接口；所述电源模块用于将外部输入的交流电分别转换为系统内部各硬件所需的工作电压，实现面向系统的电源输出；所述扩展接口主要用于实现核心板与图像采集设备、外部服务器之间的数据接口扩展；

所述外存储器用于本地存储雷声音频信息、图像采集设备采集的雷电图片以及核心板标记后的雷电图片；

所述授时模块用于实时获取雷电初始发生时间和雷声初始发生时间，核心板通过雷声与雷电发生时间差来计算雷电距离。

优选的，上述雷击光学路径监测系统，其光电传感单元包括依次相连的光电传感器、放大器、滤波器和电压比较器；

当雷电发生时，所述光电传感器受闪光影响产生阶跃信号；所述阶跃信号依次经放大器、滤波器和电压比较器调理后生成触发信号。

优选的，上述雷击光学路径监测系统，还包括温度传感器，所述温度传感器与核心板通信连接，用于采集雷电发生时的温度信息；核心板根据所述温度信息以及雷声与雷电时间差来计算雷电距离；具体计算公式为：

其中，S表示雷电距离，单位为米；a表示声速，单位为米/秒，

T表示温度传感器采集的热力学温度，单位为开尔文；t表示雷声与雷电时间差，单位为秒。

优选的，上述雷击光学路径监测系统，其图像采集设备包括多个不同朝向的工业相机，所有工业相机的视场角之和大于等于360°，以实现360°全景摄像；核心板根据工业相机采集的雷电图片及对应的相机朝向计算雷电方位，计算公式为：

其中，A表示雷电方位，用方位角标识，单位为度；O表示工业相机的实际朝向，用方位角表示，单位为度；F表示工业相机镜头的视场角，单位为度；X表示该工业相机采集的雷电图片的宽度，单位为像素；x表示雷电在图片上的所占区域中心点位置的横坐标值，单位为像素。

优选的，上述雷击光学路径监测系统，还包括光纤收发器，核心板通过所述光纤收发器将标记后的雷电图片发至外部服务器。

优选的，上述雷击光学路径监测系统，还包括相机支架和机箱；

所述相机支架包括支撑杆以及安装在所述支撑杆顶端的相机固定部；工业相机均匀安装在所述相机固定部的斜侧面上，以确保四台工业相机能够360°监视四周区域；所述机箱挂设于支撑杆上，核心单元安装在机箱内部，光电传感器和传声器安装在机箱部。

按照本发明的另一个方面，还提供了一种雷击光学路径监测方法，包括以下步骤：

S1：获取雷电发生时受闪光触发生成的触发信号；在所述触发信号的控制下采集雷电图片以及雷声音频信息；

S2：通过基于深度学习的目标检测算法判断所述雷电图片是否符合雷电特征；当雷电图片符合雷电特征时，通过基于深度学习的环境声音识别算法判断所述雷声音频信息是否符合雷声特征；

S3：当雷声音频信息符合雷声特征时，发出告警信号，计算雷电距离和雷电方位，并将雷电发生时间、雷电距离和方位标记在雷电图片上；并将标记后的雷电图片发送至外部服务器。

优选的，上述雷击光学路径监测方法，其步骤S2中，当雷电图片不符合雷电特征时，则判定误触发并删除雷电图片；

步骤S3中，当雷声音频信息不符合雷声特征时，则判定雷电距离过远，并将雷电图片和雷声音频信息存储起来。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提供的雷击光学路径监测系统及方法，分别采集雷电发生时的雷电图片和雷声音频信息，首先判断雷电图片是否符合雷电特征；当符合时再进一步判断雷声音频信息符合雷声特征时；只有同时符合雷电特征和雷声特征才发出告警信号；通过双重条件判定提高了雷电预警的准确率，降低了误报率，提高监测系统的可信度；另外，计算雷电距离和方位并将这些信息标记在雷电图片上，标记后的雷电图片可供雷击事故后续分析使用；

(2)本发明提供的雷击光学路径监测系统及方法，可针对数公里范围内的重点设施进行全方位监测，在雷击事故发生时发出报警，且捕获到的图像数据还能支撑事故后的原因分析，并调查和修复防雷设计薄弱点。

附图说明

图1是本发明实施例提供的雷击光学路径监测系统的逻辑框图；

图2是本发明实施例提供的雷击光学路径监测系统的组成结构示意图；

图3是本发明实施例提供的雷击光学路径监测系统的外观结构示意图；其中，1-相机支架；2-支撑杆；3-相机固定部；4-铸铝防水机箱；

图4是本发明实施例提供的雷击光学路径监测方法的流程图；

图5是本发明实施例提供的基于雷击光学路径监测系统的监测方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1是本发明实施例提供的雷击光学路径监测系统的逻辑框图；图2是本发明实施例提供的雷击光学路径监测系统的组成结构示意图；图3是本发明实施例提供的雷击光学路径监测系统的外观结构示意图；如图1～3所示，本实施例所提供的一种雷击光学路径监测系统，包括核心单元、光电传感单元、若干工业相机、拾音器和铸铝防水机箱；

工业相机的数量由相机的视场角决定，仅需满足所有工业相机的视场角之和大于等于360°即可，以实现360°全景摄像；本实施例中采用4台工业相机，该工业相机的镜头为2.8mm焦距，视场角100°，其通讯接口是USB2.0，工业相机通过USB集线器与核心单元相连；工业相机安装在相机支架上，该相机支架的结构如图3所示，包括支撑杆以及安装在支撑杆顶端的相机固定部；四台工业相机均匀安装在相机固定部的斜侧面上，以确保四台工业相机能够360°监视四周区域；相机固定部包括四个支撑座，每个支撑座的斜侧面上开设有安装孔，用于对接一台工业相机；该相机固定部上的支撑座的数量随工业相机的数量变化而变化；核心单元放置在铸铝防水机箱内部，光电传感单元、拾音器和温度传感器安装在机箱外部，铸铝防水机箱挂设与支撑杆上，确保稳定性的同时还便于拆卸维护。

光电传感单元用于在雷电发生时产生触发信号；在触发信号的控制下，四台工业相机对不同角度的天空同时拍摄雷电图片，核心单元启动传声器采集雷声音频信息；该传声器为声音传感器模块，用于将雷声转化为电信号以供核心单元识别，从而实现雷声监听功能；

核心单元首先从四台工业相机拍摄的图片中筛选出捕捉到雷电图像的图片，然后通过基于深度学习的目标检测算法判断雷电图片是否符合雷电特征，当雷电图片符合雷电特征时，通过基于深度学习的环境声音识别算法判断雷声音频信息是否符合雷声特征；当雷声音频信息符合雷声特征时，发出告警信号，并计算雷电距离和方位，将雷电发生时间、雷电距离和方位信息标记在雷电图片上。其中，关于基于深度学习的目标检测算法，本实施例首先采集大量真实的雷电图片并对每一张雷电图片上的雷电位置进行标定，生成训练集，然后通过该训练集对神经网络模型进行训练，得到用于雷电检测的目标检测模型；关于基于深度学习的环境声音识别算法，本实施例采集大量的真实雷声音频数据，将该雷声音频数据输入深度信念网络中进行训练，即得到用于雷电识别的雷声检测模型。

本实施提供的雷击光学路径监测系统，分别通过工业相机和拾音器采集雷电发生时的雷电图片和雷声音频信息；核心单元首先判断雷电图片是否符合雷电特征；当符合时再进一步判断雷声音频信息符合雷声特征时；只有同时符合雷电特征和雷声特征后，核心单元才发出告警信号；通过双重条件判定提高了雷电预警的准确率，降低了误报率，提高监测系统的可信度；另外，计算雷电距离和方位并将这些信息标记在雷电图片上，标记后的雷电图片可供雷击事故后续分析使用。

如图2所示，光电传感单元包括光电传感器、放大器、滤波器和电压比较器，用于在雷电发生时产生触发信号；当雷电发生时，光电传感器受闪光影响产生阶跃信号，该阶跃信号通过放大器、滤波器和电压比较器调理后得到触发信号；电压比较器分别与四台工业相机的外触发接口、核心单元的数字I/O口相连，将产生的触发信号同时发送至工业相机和核心单元；当接收到触发信号后，四台朝向不同的工业相机对不同角度的天空同时拍摄雷电图片并将雷电图片发送至核心单元。

核心单元包括核心板、授时模块、外存储器和载板；

核心板用于实现雷电图片的检测与识别、雷声信息识别，本实施例中的核心板采用英伟达Jetson TX2；

载板上设有电源模块和多个扩展接口；电源模块用于将外部输入的交流电分别转换为系统内部各硬件所需的工作电压，实现面向系统的电源输出；扩展接口主要用于实现核心板与工业相机、外部服务器之间的数据接口扩展，接口类型包括但不限于网口、USB接口等；

授时模块用于实时获取时间，核心板通过授时模块确定雷电初始发生时间和雷声初始发生时间，从而根据雷声与雷电时间差来计算雷电距离。

外存储器用于本地存储雷声音频信息、工业相机采集的雷电图片以及核心板标记后的雷电图片；该外存储器采用SSD固态硬盘。

核心板接收到触发信号后，启动拾音器，同时启动核心板内部定时器，拾音器录音15秒后停止；将拍摄得到的雷电图片通过基于深度学习的目标检测算法来判断图片是否符合雷电特征，如果符合特征，则启动授时模块获取雷电初始发生时间，并将刚才的15秒录音通过基于深度学习的环境声音识别算法来判断录音是否符合雷声特征，如果符合特征，则通过授时模块获取雷声初始发生时间，然后计算雷电距离和雷电方位；若雷电图片不符合雷电特征，则认为误触发并删除图片；若图片符合雷电特征，但录音不符合雷声特征，则认为雷电距离过远，将图片和录音只保存在外存储器；只有同时符合雷电和雷声特征，才会在雷电图片上标定时间、方位、距离等信息后发送至外部服务器，并将数据在外存储器备份。

其中，核心板以所拍摄图片中包含雷电图像的工业相机的实际朝向为基准，以雷电在图片中所占的相对位置为判断依据计算雷电方位A，计算公式为：

其中，A表示雷电方位，用方位角标识，单位为度；O表示工业相机的实际朝向，用方位角表示，单位为度；F表示工业相机镜头的视场角，单位为度；X表示该工业相机采集的雷电图片的宽度，单位为像素；x表示雷电在图片上的所占区域中心点位置的横坐标值，单位为像素。

作为本实施例的一个优选，该监测系统中还包括温度传感器，该温度传感器与核心板通信连接，用于采集雷电发生时的温度信息；核心板根据温度信息以及雷声与雷电时间差来计算雷电距离S；在空气中，声速公式可以简化为：

其中，a表示声速，单位为米/秒；T表示温度传感器采集的热力学温度，单位为开尔文；

因此，雷电距离S的计算公式为：

式中，t表示雷电初始发生时间和雷声初始发生时间之差；在精度要求不高的场合，亦可直接使用声速经验值a＝340米/秒来计算雷电距离，即雷电距离S＝t×340，此时则无需设置温度传感器。

作为本实施例的一个优选，该监测系统中还包括设置在铸铝防水机箱内的光纤收发器，核心单元通过光纤收发器与外部服务器通信连接，以将标记有雷电发生时间、雷电方位和距离信息的雷电图片发送给外部服务器；光纤收发器将核心单元上的以太网接口转换成光纤接口，使监测系统与外部服务器之间通过光纤通讯。

本实施例还提供了一种雷击光学路径监测方法，如图4所示，包括以下步骤：

S101：获取雷电发生时受闪光触发生成的触发信号；在触发信号的控制下采集雷电图片以及雷声音频信息；

S102：通过基于深度学习的目标检测算法判断所述雷电图片是否符合雷电特征；当雷电图片符合雷电特征时，通过基于深度学习的环境声音识别算法判断所述雷声音频信息是否符合雷声特征；

当雷电图片不符合雷电特征时，则判定误触发并删除雷电图片；

S103：当雷声音频信息符合雷声特征时，发出告警信号，计算雷电距离和雷电方位，并将雷电发生时间、雷电距离和方位标记在雷电图片上；并将标记后的雷电图片发送至外部服务器；

当雷声音频信息不符合雷声特征时，则判定雷电距离过远，并将雷电图片和雷声音频信息存储起来。

图5是本实施例提供的基于上述雷击光学路径监测系统的监测方法流程图，如图5所示，该流程包括：

S201：光电传感单元实时监测雷电发生事件，当雷电发生时，光电传感器受闪光影响产生触发信号并将该触发信号发送至核心单元和工业相机；工业相机在触发信号的控制下拍摄雷电图片；

S202：核心单元循环等待触发信号，当收到触发信号后，启动拾音器，同时启动核心板内部定时器以对拾音器的录音时间进行设定；同时接收工业相机拍摄得到的雷电图片，进入目标检测算法队列；

S203：通过基于深度学习的目标检测算法来判断图片是否符合雷电特征，若不符合，则判定为误触发，停止录音并删除录音文件和雷电图片；若雷电图片符合雷电特征，则判断是否需要提前停止录音；若是，则停止录音并删除录音文件；当雷电密集发生时，两次或者多次雷电发生的时间间隔过小，末次雷电发生时刻早于雷声发生时刻，则删除初次雷电对应的雷声录音文件，而以末次雷电触发的录音文件作为两次雷电共同的雷声信息；若否，则判断录音时间是否达到设定的时间；当达到设定的录音时间时，进入环境声音识别队列；否则继续录音；

S204：通过基于深度学习的环境声音识别算法判断雷声音频信息是否符合雷声特征；若否，则判定雷电距离过远，将雷电图片和录音保存在外存储器；若是，则进入下一步；

S205：计算雷电方位和距离，并将雷电发生时间、雷电方位和距离等信息标定在雷电图片上；

S206：将标定后的雷电图片发送至外部服务器，并在外存储器中备份。

相比于现有的雷电检测预警系统，本发明提供的雷击光学路径监测系统及方法，通过雷电识别和雷声识别双重条件判定提高了雷电预警的准确率，降低了误报率，提高监测系统的可信度；可针对数公里范围内的重点设施进行全方位监测，在雷击事故发生时发出报警，且捕获到的图像数据还能支撑事故后的原因分析，调查和修复防雷设计薄弱点。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种雷击光学路径监测系统，其特征在于，包括光电传感单元、核心单元、图像采集设备和声音传感器；

所述光电传感单元用于在雷电发生时产生触发信号；在所述触发信号的控制下，所述图像采集设备拍摄雷电图片，所述核心单元启动所述声音传感器采集雷声音频信息；

所述核心单元用于通过基于深度学习的目标检测算法判断所述雷电图片是否符合雷电特征，当雷电图片符合雷电特征时，通过基于深度学习的环境声音识别算法判断所述雷声音频信息是否符合雷声特征；当雷声音频信息符合雷声特征时，发出告警信号；

所述图像采集设备包括多个不同朝向的工业相机，所有工业相机的视场角之和大于等于360°，以实现360°全景摄像；核心单元还根据工业相机采集的雷电图片及对应的相机朝向计算雷电方位，计算公式为：

其中，A表示雷电方位，用方位角表示；O表示拍摄到雷电图片的工业相机的实际朝向，用方位角表示；F表示该工业相机镜头的视场角；X表示该工业相机采集的雷电图片的宽度；x表示雷电在图片上的所占区域中心点位置的横坐标值；

该系统还包括相机支架和机箱；

所述相机支架包括支撑杆以及安装在所述支撑杆顶端的相机固定部；工业相机均匀安装在所述相机固定部的斜侧面上以具有不同的朝向；所述机箱挂设于支撑杆上，核心单元安装在机箱内部，光电传感单元、声音传感器安装在机箱外部。

2.如权利要求1所述的雷击光学路径监测系统，其特征在于，所述核心单元还用于在雷声音频信息符合雷声特征时计算雷电距离和方位，将雷电发生时间、雷电距离和方位信息标记在雷电图片上并将标记后的雷电图片发送至外部服务器。

3.如权利要求2所述的雷击光学路径监测系统，其特征在于，所述核心单元包括载板，以及设置在所述载板上的核心板、授时模块和外存储器；

所述核心板用于实现雷电图片的检测与识别、雷声信息识别，当雷电图片符合雷电特征且雷声音频信息符合雷声特征时，发出告警信号，并将雷电发生时间、雷电距离和方位信息标记在雷电图片上；

所述载板上设有电源模块和多个扩展接口；所述电源模块用于将外部输入的交流电分别转换为系统内部各硬件所需的工作电压，实现面向系统的电源输出；所述扩展接口主要用于实现核心板与图像采集设备、外部服务器之间的数据接口扩展；

所述外存储器用于本地存储雷声音频信息、图像采集设备采集的雷电图片以及核心板标记后的雷电图片；

所述授时模块用于实时获取雷电初始发生时间和雷声初始发生时间，核心板通过雷声与雷电发生时间差来计算雷电距离。

4.如权利要求1或3所述的雷击光学路径监测系统，其特征在于，所述光电传感单元包括依次相连的光电传感器、放大器、滤波器和电压比较器；

当雷电发生时，所述光电传感器受闪光影响产生阶跃信号；所述阶跃信号依次经放大器、滤波器和电压比较器调理后生成触发信号。

5.如权利要求3所述的雷击光学路径监测系统，其特征在于，还包括温度传感器，所述温度传感器与核心板通信连接，用于采集雷电发生时的空气温度信息；核心板根据所述温度信息以及雷声与雷电时间差来计算雷电距离；具体计算公式为：

其中，S表示雷电距离；a表示声速，

T表示温度传感器采集的热力学温度；t表示雷声与雷电时间差。

6.如权利要求5所述的雷击光学路径监测系统，其特征在于，还包括光纤收发器，核心板通过所述光纤收发器将标记后的雷电图片发至外部服务器。

7.一种雷击光学路径监测方法，其特征在于，包括以下步骤：

S1：获取雷电发生时受闪光触发生成的触发信号；在所述触发信号的控制下采集雷电图片以及雷声音频信息；所述雷电图片的采集基于多个不同朝向的工业相机实现，所述不同朝向的工业相机均匀安装在相机支架的相机固定部的斜侧面上，所有工业相机的视场角之和大于等于360°，以实现360°全景摄像；所述相机固定部安装在一支撑杆的顶端，与所述支撑杆共同构成相机支架；

S2：通过基于深度学习的目标检测算法判断所述雷电图片是否符合雷电特征；当雷电图片符合雷电特征时，通过基于深度学习的环境声音识别算法判断所述雷声音频信息是否符合雷声特征；

S3：当雷声音频信息符合雷声特征时，发出告警信号，计算雷电距离和雷电方位，并将雷电发生时间、雷电距离和方位标记在雷电图片上；所述雷电方位的计算公式为：

其中，A表示雷电方位，用方位角表示；O表示拍摄到雷电图片的工业相机的实际朝向，用方位角表示；F表示该工业相机镜头的视场角；X表示该工业相机采集的雷电图片的宽度；x表示雷电在图片上的所占区域中心点位置的横坐标值。

8.如权利要求7所述的雷击光学路径监测方法，其特征在于，步骤S2中，当雷电图片不符合雷电特征时，则判定误触发并删除雷电图片；

步骤S3中，当雷声音频信息不符合雷声特征时，则判定雷电距离过远，并将雷电图片和雷声音频信息存储起来。

Images