CN115171006B - 基于深度学习的自动识别人员进入电力危险区的检测方法 - Google Patents

Abstract

本发明涉及基于深度学习的自动识别人员进入电力危险区的检测方法，包括：拍摄采集电力现场图像；以图像左上角为坐标原点，建立像素坐标系；划定电力现场图像中的危险区，确定危险区的坐标；将电力现场实时的视频流输入到作业人员现场位置检测网络，根据所述检测网络的输出确定作业人员的坐标；将得到的作业人员的坐标与危险区的坐标实时对比，判断作业人员是否位于危险区，若人员进入危险区，则发出警报。本发明实现了人员进入电力危险区的自动识别检测，代替人工监督，提高了人员危险检测的可靠性和精度。

Description

基于深度学习的自动识别人员进入电力危险区的检测方法

技术领域

本发明属于电力作业安全控制领域，具体涉及一种基于深度学习的自动识别人员进入电力危险区的检测方法。

背景技术

近年来，随着人工智能技术的快速发展和人工智能技术的不断升级，为目标检测、动作识别等技术的发展提供了重要的动力和支撑，随着人工智能的到来，它已经出现在了我们的生活中并且发挥着巨大的作用，例如各种门禁系统刷脸进入，以及口罩佩戴识别，同样人工智能技术也可以运用在电力行业中。

在电力生产过程中，现场作业中存在很多的安全隐患，例如高压变电站附近存在很多的危险区域，工作人员可能会发生触电的风险，传统的电力现场安全控制都是由人工监督方式进行的，人工的监督方式存在无法记录以及没有办法做到实时监督的缺点，现场电力作业人员容易在维修过程中误入危险区域，从而引发灾难，不仅是对人生安全的威胁，更是会造成电力设施的损坏，严重的可能会造成作业人员伤亡以及社会经济财产的直接损失。

公开号为CN113781741A的中国专利“基于网关的电力越界行为告警方法、装置、设备和介质”利用红外感知技术确定作业人员的轨迹，实现作业人员进入危险区域的识别判断，但该方法容易出现误判的情况，如树叶都有可能引发红外警报，从而引起误警报的发生。

发明内容

本发明的技术问题是人工监督识别电力作业人员是否进入危险区的方法不可靠，现有的利用红外感知技术自动识别判断作业人员是否进入危险区的方法抗干扰能力差，容易出现误判、假警报。

本发明的目的是针对上述问题，提供一种基于深度学习的自动识别人员进入电力危险区的检测方法，利用深度残差网络、特融合网络、多尺度识别网络构建作业人员现场位置检测网络，实现对电力现场图像中作业人员位置坐标的实时检测，再将得到的作业人员位置坐标与图像中危险区的坐标数据进行比对，实时检测判断作业人员是否进入危险区，提高检测的实时性和准确率，保障现场作业人员的人身安全。

本发明的技术方案是基于深度学习的自动识别人员进入电力危险区的检测方法，利用作业人员现场位置检测网络对电力现场的视频图像进行实时检测，识别人员的位置坐标，判断人员是否进入电力危险区。所述作业人员现场位置检测网络包括深度残差网络、浅层特征融合网络、深层特征融合网络和多尺度识别网络；所述深度残差网络包括多个残差瓶颈结构，用于从视频图像中提取多个层次的浅层、深层图像特征；所述浅层特征融合网络用于对深度残差网络提取的不同层次的浅层图像特征进行融合；所述深层特征融合网络用于对深度残差网络提取的不同层次的深层图像特征进行融合；所述多尺度识别网络包含多尺度感知模块，用于大、小目标的检测。

基于深度学习的自动识别人员进入电力危险区的检测方法包括以下步骤：

步骤1：拍摄采集电力现场图像；

步骤2：以图像左上角为坐标原点，建立像素坐标系；

步骤3：划定电力现场图像中的危险区，确定危险区的坐标；

步骤4：将电力现场实时的视频流输入到作业人员现场位置检测网络，根据所述检测网络的输出确定作业人员的坐标；

步骤5：将步骤4得到的作业人员的坐标与危险区的坐标实时对比，判断作业人员是否位于危险区，若人员进入危险区，则发出警报。

优选地，作业人员现场位置检测网络对电力现场的视频图像的实时检测过程包括如下3 个阶段：

第一阶段，深度残差网络从视频图像中提取多个层次的浅层、深层图像特征，所述深度残差网络包括依次相连的5个残差瓶颈结构，每个残差瓶颈结构都包括一个卷积核大小为3 ×3的卷积层和ReLu激活函数，用于调整下一层残差瓶颈结构输入的特征图大小；

优选地，所述残差瓶颈结构，对输入先进行批归一化、ReLu激活函数的处理后，再进行卷积核大小为1×1的卷积升维、批归一化、ReLu激活函数的处理，然后进行卷积核大小为 3×3的卷积、ReLu激活函数的处理，最后进行卷积核大小为1×1的卷积使通道数与原始输入图像的通道数一致，并与输入图像进行特征融合。

第二阶段，分别利用浅层特征融合网络、深层特征融合网络对不同层次的浅层、深层图像特征进行特征融合；

浅层特征融合网络将深度残差网络的第一残差瓶颈结构、第二残差瓶颈结构、第三残差瓶颈结构提取的图像特征进行特征融合，再将融合的图像特征进行2个分支的卷积处理，其中第一个分支依次进行卷积核大小为1×3的卷积和卷积核大小为3×1的卷积，第二个分支依次进行卷积核大小为3×1的卷积和卷积核大小为1×3的卷积，然后将第一个分支和第二个分支输出的图像特征进行特征融合后，输入激活函数中激活处理；

深层特征融合网络将深度残差网络的第四残差瓶颈结构、第五残差瓶颈结构提取的深层图像特征进行特征融合后分为2个分支，其中一个分支依次进行全局池化、全连接、全连接、激活函数的处理，另一个分支进行加权处理，然后将2个分支输出的特征图像进行特征融合。

第三阶段，利用多尺度识别网络根据浅层特征融合网络、深层特征融合网络输出的特征图像分别进行大、小目标检测；

所述多尺度识别网络包括依次连接的4层卷积核大小为3×3的卷积、激活函数层，其中第2层卷积、激活函数层的输出送入多尺度感知模块进行大目标检测，第4层卷积、激活函数层的输出送入另一个多尺度感知模块进行小目标检测；

优选地，所述多尺度感知模块包括4个分支，其中第一分支进行卷积核大小为1×1的卷积；第二分支依次进行卷积核大小为1×1的卷积、卷积核大小为1×3的卷积、卷积核大小为3×1的卷积和卷积核大小为3×3的空洞率为2的空洞卷积；第三分支依次进行卷积核大小为1×1的卷积、卷积核大小为1×3的卷积、卷积核大小为3×1的卷积和卷积核大小为3×3的空洞率为3的空洞卷积；第四分支依次进行卷积核大小为1×1的卷积、卷积核大小为3×3的空洞率为4的空洞卷积，最后将4个分支的输出进行自适应特征融合。

所述自适应特征融合，是将多尺度感知模块中4个分支输出的不同感受野大小的特征图进行融合，对4个分支分别设置不同的权重进行加权求和，得到最终的特征图Y，具体表达式如下：

Y＝α×X₁+β×X₂+χ×X₃+ε×X₄

α+β+χ+ε＝1

式中X_i,i＝1,2,3,4表示第i分支输出的特征图；α,β,χ,ε分别表示第一分支、第二分支、第三分支、第四分支的权重；λ_α,λ_b,λ_χ,λ_ε分别表示对输入特征图X_i,i＝1,2,3,4进行1×1卷积降维后的单通道特征图。

步骤3中，所述划定电力现场图像中的危险区，基于像素坐标系，采用人工方式确定危险区对应的图像块的坐标数据L_D，

L_D＝(u_D,v_D,w_D,h_D)

式中u_D是危险区范围在u轴上的值，v_D是危险区范围在v轴上的值，w_D是危险区范围的长度，h_D是危险区范围的高度。

步骤4中，所述确定作业人员的坐标，得到图像中作业人员的坐标数据L_p， L_P＝(u_P,v_P,w_P,h_P)

式中u_p是作业人员的坐标在u轴上的值，v_p是作业人员的坐标在v轴上的值，w_p是作业人员的坐标的长度，h_p是作业人员的坐标的高度。

步骤5采用危险区域判定法判断作业人员是否位于危险区。所述危险区域判定法将人工划定的危险区域L_D＝(u_D,v_D,w_D,h_D)和人员现场位置检测网络中得到作业人员的位置L_P＝(u_P,v_P,w_P,h_P)进行实时对比，具体计算式如下：

当式(1)(2)(3)(4)全部成立时，判定作业人员正在危险区内，则发出实时警报，提醒作业人员。

相比现有技术，本发明的有益效果包括：

1)本发明利用深度残差网络、特融合网络、多尺度识别网络构建作业人员现场位置检测网络，对电力现场图像中作业人员位置坐标的实时检测，通过对比作业人员位置坐标和图像中危险区，实现了人员进入电力危险区的自动识别检测，代替人工监督，提高了人员危险检测的可靠性。

2)本发明的人员现场位置检测网络能得到图像中作业人员的准确坐标，对于作业人员的识别准确率达到94.3％以上。

3)本发明通过将图像中作业人员的位置信息与划定的电力现场危险区的坐标数据进行实时对比，判断作业人员是否进入危险区域，及时对作业人员进入危险区的情形发出警报，实时性好，可有效保障电力现场作业人员的人身安全，且避免影响电力设施的正常运行。

4)本发明采用计算作业人员的图像块和电力现场危险区重合程度的方式，检测作业人员是否进入危险区，检测结果准确率高，抗干扰能力强，有效防止出现假警报。

5)本发明分别利用浅层特征融合网络、深层特征融合网络对深度残差网络的不同层次的残差瓶颈结构提取的浅层、深层图像特征进行特征融合后，送入多尺度识别网络进行目标检测，提高了目标检测的精度。

6)本发明的人员现场位置检测网络的多尺度感知模块将多个分支输出的不同感受野大小的特征图融合后进行大、小目标的检测，进一步提高了目标检测识别的精度。

7)本发明的残差瓶颈结构利用批归一化让每一特征层都满足一定的分布规律，得到不同大小分辨率的特征图进行特征融合，并使用残差边使得输入的特征值与输出的特征值融合保留了初始的特征信息。防止深度残差网络出现退化、梯度消失等问题。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明实施例的自动识别人员进入电力危险区的检测方法的流程示意图。

图2为本发明实施例的人员现场位置检测网络的示意图。

图3为本发明实施例的深度残差网络的残差瓶颈结构的示意图。

图4为本发明实施例的多尺度感知模块的示意图。

图5为本发明实施例的实时对比作业人员的坐标与危险区的坐标的示意图。

图6为本发明实施例的作业人员是否位于危险区的检测结果的示意图。

具体实施方式

实施例的作业人员现场位置检测网络包括深度残差网络、浅层特征融合网络、深层特征融合网络和多尺度识别网络，如图2所示。

如图1所示，基于深度学习的自动识别人员进入电力危险区的检测方法，包括以下步骤：

步骤1：固定相机位置，拍摄一张电力现场图像。

步骤2：以图像左上角为坐标原点，建立以u为横坐标，v为纵坐标的直角坐标系。该坐标系就是将步骤1中得到的现场电力图像进行像素的划分，确定平面参考系。

步骤3：根据危险区域划定法确定危险区域的坐标信息。

其中危险区域划定法是根据步骤1中拍摄的电力现场图像和步骤2中的坐标系，基于人工方式确定危险区域的四个坐标值，可表示为L_D＝(u_D,v_D,w_D,h_D)，其中L_D是指危险区域在坐标系中的坐标。u_D是危险区域范围在u轴上的值，v_D是危险区域范围在v轴上的值，w_D是危险区域范围的长度，h_D是危险区域范围的高度。

步骤4：将电力现场作业实时场景的视频流输入作业人员现场位置检测网络中进行检测，确定工作人员的在像素坐标中的位置信息L_P＝(u_P,v_P,w_P,h_P)。

作业人员现场位置检测网络对作业人员的检测过程分为3个阶段：

第一阶段，对于深度残差网络而言，是由五个残差瓶颈结构串行构成的，具体的网络结构图如图3所示，每个残差瓶颈结构中都会有一个3×3的卷积层与ReLu激活函数用于调整下一层残差瓶颈结构输入的特征图大小。其中每个残差瓶颈结构的输入先经过批归一化进行处理，在进行ReLu激活函数后对其进行卷积为1×1通道数的升维，在进行批归一化处理后，再进行3×3的卷积、ReLu激活函数的激活处理，最后进行卷积为1×1的处理，使得通道数与原始输入的图像的通道数一致与输入的特征图进行特征融合。

第二阶段，分为浅层特征融合网络和深层特征融合网络，浅层特征融合网络是将深度残差网络的前两个残差瓶颈结构低层模块进行了特征融合后得到一个特征图，再将特征图分别送入两个并行的卷积中，其中这里两边的卷积分别进行对称卷积操作，分别使用卷积核为1×3 和3×1的卷积核进行对称卷积，再将并行的两边进行特征拼接后进行卷积核为1×1的升维操作，再送入激活函数中激活处理，最后输出浅层特征融合网络的特征图。深层特征融合网络是将深度残差网络中最后三个高层的残差瓶颈结构进行了特征融合后得到一个特征图，进行全局池化，再进入两个全连接层，最后经过激活函数处理，并于网络最开始的输入特征进行加权操作，最后输出特征图。

第三阶段，多尺度识别网络包括4层的卷积层，分别取这4层中的两种不同尺寸的特征图经过多尺度感知模块后通过融合不同的感受野特征图融合得到输出的特征图进行分类以及定位。

在上述的网络结构中分别有浅层特征融合网络和深层特征融合网络。对于浅层特征融合网络是两个低层特征图进行特征融合，将融合生成的特征图通过两个并行的非对称卷积层，可以有效的提升网络空间中的感受野大小，降低参数的运算量。然后将两个非对称卷积层的输出沿着通道方向进行相加操作进行特征融合，最后通过Sigmoid函数映射到[0,1]的范围之间，具体的表达式为：

S＝σ₁((conv₂(conv₁(Y,W₁),W₁))+conv₁(conv₂(Y,W₂),W₂))

式中W₁,W₂均为卷积核的参数，conv₁,conv₂分别是指非对称卷积层，Y为深度残差网络两个低层特征融合输出的特征图，σ₁是激活函数操作，S是指对非对称卷积层特征融合后得到的特征图。

对于深层特征融合网络是三个高层特征图进行特征融合，将融合特征图表示为送入深层特征融合网络中，然后使用全局池化对其进行压缩生成D维特征向量，再使用两个全连接 f_C∈δ^C×H×W层对其处理，最后通过一个Sigmoid函数将特征向量中的值映射到[0,1]范围，最后将此特征向量与输入特征图沿通道维度相乘进行加权。具体表达式如下。

C＝F(V,W₂)＝σ₂(fc(δ(fc(V,W₂)),W₂))

式中W₂表示网络中需要更新的权重参数，V是深度残差网络三个高层特征融合输出的特征图的维度，σ₂表示Sigmoid激活操作，fc表示全连接层，其中C是特征图的通道数，H表示特征图的高度，W表示特征图的宽度，δ表示Relu激活函数，Q表示加权后输出的特征图。

如图4所示，多尺度识别网络的自适应特征融合，是将多尺度感知模块中四个分支的不同感受野大小的输出特征图X_i(i＝1,2,3,4)进行融合，可以将不同分支上对应的权重α,β,χ,ε进行相乘，并输出最终的特征图Y，具体表达式如下。

Y＝α×X₁+β×X₂+χ×X₃+ε×X₄

通过上式，使得α保持在[0,1]范围之间。分别对β,χ,ε进行同等计算，可以得到α+β+χ+ε＝1，其中λ_a,λ_β,λ_χ,λ_e是对输入特征图X_i进行1×1卷积降维后的单通道特征图。

根据上述危险区域识别网络可以得到最终作业人员在图像中的位置坐标 L_P＝(u_P,v_P,w_P,h_P)。

步骤5：根据危险区域判定法将危险区域与作业人员的坐标信息实时对比，判断作业人员是否进入危险区域，若进入则发出警报。

危险区域判定法，是将人工划定的危险区域L_D＝(u_D,v_D,w_D,h_D)和危险区域识别网络中得到作业人员的位置L_P＝(u_P,v_P,w_P,h_P)进行实时对比。对比的计算如下式。

当式(1)(2)(3)(4)全部成立时，即判定作业人员正在危险区域内，则发出实时警报，提醒作业人员，如图5所示。

图6所示是实施例的电力现场图像，利用本发明的作业人员现场位置检测网络对图像中作业人员进入识别、定位，矩形框是电力作业人员的位置坐标的检测结果，根据后台工作人员标记的图像中的危险区域，实现了判断作业人员当前是否进入危险区的有效识别判断。实施结果表明，本发明的人员现场位置检测网络能得到图像中作业人员的准确坐标，对于作业人员的识别准确率达到94.3％以上。

本发明实现了对现场电力作业的实时监督，可看到电力作业人员的工作状态是否有进入危险区域的情况，极大地保障了电力作业的安全进行。

显然，本领域技术人员可对本发明申请进行各种改动和变型而不脱离本发明申请的精神和范围。倘若本发明申请的这些修改和变型属于本发明申请的权利要求及其等同技术的范围，则本发明申请也意图包含这些改动、变型。

Claims (7)

1.基于深度学习的自动识别人员进入电力危险区的检测方法，其特征在于，确定电力危险区在电力现场图像中的坐标后，利用作业人员现场位置检测网络对电力现场的视频图像进行实时检测，识别人员的位置坐标，判断人员是否进入电力危险区；

所述作业人员现场位置检测网络包括深度残差网络、浅层特征融合网络、深层特征融合网络和多尺度识别网络；所述深度残差网络包括多个残差瓶颈结构，用于从视频图像中提取多个层次的浅层、深层图像特征；所述浅层特征融合网络用于对深度残差网络提取的不同层次的浅层图像特征进行融合；所述深层特征融合网络用于对深度残差网络提取的不同层次的深层图像特征进行融合；所述多尺度识别网络包含多尺度感知模块，用于大、小目标的检测；

所述检测方法包括以下步骤：

步骤1：拍摄采集电力现场图像；

步骤2：以图像左上角为坐标原点，建立像素坐标系；

步骤3：划定电力现场图像中的危险区，确定危险区的坐标；

步骤4：将电力现场实时的视频流输入到作业人员现场位置检测网络，根据所述检测网络的输出确定作业人员的坐标；

步骤5：将步骤4得到的作业人员的坐标与危险区的坐标实时对比，判断作业人员是否位于危险区，若人员进入危险区，则发出警报；

作业人员现场位置检测网络对电力现场的视频图像的实时检测过程包括如下3个阶段：

第一阶段，深度残差网络从视频图像中提取多个层次的浅层、深层图像特征，所述深度残差网络包括依次相连的5个残差瓶颈结构，每个残差瓶颈结构都包括一个卷积核大小为3×3的卷积层和ReLu激活函数，用于调整下一层残差瓶颈结构输入的特征图大小；

第二阶段，分别利用浅层特征融合网络、深层特征融合网络对不同层次的浅层、深层图像特征进行特征融合；

浅层特征融合网络将深度残差网络的第一残差瓶颈结构、第二残差瓶颈结构、第三残差瓶颈结构提取的图像特征进行特征融合，再将融合的图像特征进行2个分支的卷积处理，其中第一个分支依次进行卷积核大小为1×3的卷积和卷积核大小为3×1的卷积，第二个分支依次进行卷积核大小为3×1的卷积和卷积核大小为1×3的卷积，然后将第一个分支和第二个分支输出的图像特征进行特征融合后，输入激活函数中激活处理；

深层特征融合网络将深度残差网络的第四残差瓶颈结构、第五残差瓶颈结构提取的深层图像特征进行特征融合后分为2个分支，其中一个分支依次进行全局池化、全连接、全连接、激活函数的处理，另一个分支进行加权处理，然后将2个分支输出的特征图像进行特征融合；

第三阶段，利用多尺度识别网络根据浅层特征融合网络、深层特征融合网络输出的特征图像分别进行大、小目标检测；

所述多尺度识别网络包括依次连接的4层卷积核大小为3×3的卷积、激活函数层，其中第2层卷积、激活函数层的输出送入多尺度感知模块进行大目标检测，第4层卷积、激活函数层的输出送入另一个多尺度感知模块进行小目标检测。

2.根据权利要求1所述的自动识别人员进入电力危险区的检测方法，其特征在于，所述残差瓶颈结构，对输入先进行批归一化、ReLu激活函数的处理后，再进行卷积核大小为1×1的卷积升维、批归一化、ReLu激活函数的处理，然后进行卷积核大小为3×3的卷积、ReLu激活函数的处理，最后进行卷积核大小为1×1的卷积使通道数与原始输入图像的通道数一致，并与输入图像进行特征融合。

3.根据权利要求1所述的自动识别人员进入电力危险区的检测方法，其特征在于，所述多尺度感知模块包括4个分支，其中第一分支进行卷积核大小为1×1的卷积；第二分支依次进行卷积核大小为1×1的卷积、卷积核大小为1×3的卷积、卷积核大小为3×1的卷积和卷积核大小为3×3的空洞卷积；第三分支依次进行卷积核大小为1×1的卷积、卷积核大小为1×3的卷积、卷积核大小为3×1的卷积和卷积核大小为3×3的空洞卷积；第四分支依次进行卷积核大小为1×1的卷积、卷积核大小为3×3的卷积，最后将4个分支的输出进行自适应特征融合。

4.根据权利要求3所述的自动识别人员进入电力危险区的检测方法，其特征在于，所述自适应特征融合，是将多尺度感知模块中4个分支输出的不同感受野大小的特征图进行融合，对4个分支分别设置不同的权重进行加权求和，得到最终的特征图Y，具体表达式如下：

Y＝α×X₁+β×X₂+χ×X₃+ε×X₄

α+β+χ+ε＝1

式中X_i,i＝1,2,3,4表示第i分支输出的特征图；α,β,χ,ε分别表示第一分支、第二分支、第三分支、第四分支的权重；λ_α,λ_β,λ_χ,λ_ε分别表示对输入特征图X_i,i＝1,2,3,4进行1×1卷积降维后的单通道特征图。

5.根据权利要求4所述的自动识别人员进入电力危险区的检测方法，其特征在于，步骤3中，所述划定电力现场图像中的危险区，基于像素坐标系，采用人工方式确定危险区对应的图像块的坐标数据L_D，

L_D＝(u_D,v_D,w_D,h_D)

式中u_D是危险区范围在u轴上的值，v_D是危险区范围在v轴上的值，w_D是危险区范围的长度，h_D是危险区范围的高度。

6.根据权利要求5所述的自动识别人员进入电力危险区的检测方法，其特征在于，步骤4中，所述确定作业人员的坐标，得到图像中作业人员的坐标数据L_p，

L_P＝(u_P,v_P,w_P,h_P)

式中u_p是作业人员的坐标在u轴上的值，v_p是作业人员的坐标在v轴上的值，w_p是作业人员的坐标的长度，h_p是作业人员的坐标的高度。

7.根据权利要求6所述的自动识别人员进入电力危险区的检测方法，其特征在于，步骤5采用危险区域判定法判断作业人员是否位于危险区；

所述危险区域判定法将人工划定的危险区域L_D＝(u_D,v_D,w_D,h_D)和人员现场位置检测网络中得到作业人员的位置L_P＝(u_P,v_P,w_P,h_P)进行实时对比，具体计算式如下：

当式(1)(2)(3)(4)全部成立时，判定作业人员正在危险区内，则发出实时警报，提醒作业人员。

Images