[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN118298513B - 一种基于机器视觉的电力作业违规行为检测方法及系统 - Google Patents

一种基于机器视觉的电力作业违规行为检测方法及系统 Download PDF

Info

Publication number
CN118298513B
CN118298513B CN202410718828.4A CN202410718828A CN118298513B CN 118298513 B CN118298513 B CN 118298513B CN 202410718828 A CN202410718828 A CN 202410718828A CN 118298513 B CN118298513 B CN 118298513B
Authority
CN
China
Prior art keywords
feature
frame
order
layer
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410718828.4A
Other languages
English (en)
Other versions
CN118298513A (zh
Inventor
姚道金
杨子辰
袁世英
廖安
王晓明
陈汉歆
董文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202410718828.4A priority Critical patent/CN118298513B/zh
Publication of CN118298513A publication Critical patent/CN118298513A/zh
Application granted granted Critical
Publication of CN118298513B publication Critical patent/CN118298513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的电力作业违规行为检测方法及系统，方法包括：获取包含施工现场环境的待检测图像，并根据预设的特征提取网络对所述待检测图像进行特征提取，得到至少一个目标特征框；根据预设的SoraPose网络对所述至少一个目标特征框中的人体姿态特征进行人体关键点识别，得到与所述至少一个目标特征框相对应的施工现场工人的关键点信息；采用改进的YOLO算法对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为。能够安全生产检测效率，减少了施工现场中障碍物对检测的影响，控制了电力施工成本，有效降低了生产施工中事故的发生。

Description

一种基于机器视觉的电力作业违规行为检测方法及系统
技术领域
本发明属于目标检测技术领域，尤其涉及一种基于机器视觉的电力作业违规行为检测方法及系统。
背景技术
电力生产与消费系统包括发电、输电、变电、配电、用电五大环节，共同确保人们的基本生活需求，然而，每个环节都需要大量电力工作人员来保障电力系统的安全稳定运行，这些电力作业往往发生在偏远地区，施工现场环境复杂，自然条件艰苦，存在由环境导致的安全隐患，同时，电力作业涉及频繁的高空、高压、带电科目，高危险性的作业内容给电力作业人员的人身安全带来巨大的潜在威胁，导致电力作业事故频繁发生。
采用计算机视觉技术不仅在总成本上更经济，而且能够实现全天候不间断工作，因此可以在很大程度上替代生产线上的检测人员、操作人员和监督人员，从而减少劳动力浪费，对于单帧电力作业图像的安全监督，可以运用目标检测技术来定位和分类安全防护装备，实现对违规穿戴的检测；同时，采用姿态估计算法对电力作业人员的作业姿态进行分类，实现对违规行为的检测，这些技术的应用有助于提高电力作业的安全性和效率，利用图像识别技术对电力作业现场图像进行处理，能辅助安全监督员进行潜在的风险检测，实现电力安全监督的自动化和智能化。
发明内容
本发明提供一种基于机器视觉的电力作业违规行为检测方法及系统，用于解决监管人员无法实时监控和预防电力施工现场违规行为的技术问题。
第一方面，本发明提供一种基于机器视觉的电力作业违规行为检测方法，包括：
获取包含施工现场环境的待检测图像，并根据预设的特征提取网络对所述待检测图像进行特征提取，得到至少一个目标特征框，其中，根据所述预设的特征提取网络对所述待检测图像进行特征提取，具体为：
根据ResNet-Fast网络对所述待检测图像进行特征提取，得到卷积特征图；
通过预设的金字塔特征融合网络对所述卷积特征图进行融合，得到多尺度特征图，并根据预设的区域生成网络在所述多尺度特征图中提取至少一个候选框区域；
将所述至少一个候选框区域进行池化操作，并将池化后的至少一个候选框区域分别映射至固定大小的目标区域中，得到至少一个目标特征框；
根据预设的SoraPose网络对所述至少一个目标特征框中的人体姿态特征进行人体关键点识别，得到与所述至少一个目标特征框相对应的施工现场工人的关键点信息；
采用改进的YOLO算法对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为。
第二方面，本发明提供一种基于机器视觉的电力作业违规行为检测系统，包括：
获取模块，配置为获取包含施工现场环境的待检测图像，并根据预设的特征提取网络对所述待检测图像进行特征提取，得到至少一个目标特征框，其中，根据所述预设的特征提取网络对所述待检测图像进行特征提取，具体为：
根据ResNet-Fast网络对所述待检测图像进行特征提取，得到卷积特征图；
通过预设的金字塔特征融合网络对所述卷积特征图进行融合，得到多尺度特征图，并根据预设的区域生成网络在所述多尺度特征图中提取至少一个候选框区域；
将所述至少一个候选框区域进行池化操作，并将池化后的至少一个候选框区域分别映射至固定大小的目标区域中，得到至少一个目标特征框；
识别模块，配置为根据预设的SoraPose网络对所述至少一个目标特征框中的人体姿态特征进行人体关键点识别，得到与所述至少一个目标特征框相对应的施工现场工人的关键点信息；
输出模块，配置为采用改进的YOLO算法对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为。
第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于机器视觉的电力作业违规行为检测方法的步骤。
第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行本发明任一实施例的基于机器视觉的电力作业违规行为检测方法的步骤。
本申请的基于机器视觉的电力作业违规行为检测方法及系统，使用全新的检测网络Mobile R-CNN检测作业场景中的特征物体判断电力作业场景类型，判断该作业场景下是否存在作业风险；利用SoraPose网络对人体关键点进行识别，提取施工现场工人的关键点信息；利用YOLO-D算法对SoraPose识别的工人关键点进行特征提取和分类，进一步检测工人违规行为，能够安全生产检测效率，减少了施工现场中障碍物对检测的影响，控制了电力施工成本，有效降低了生产施工中事故的发生。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于机器视觉的电力作业违规行为检测方法的流程图；
图2为本发明一实施例提供一个具体实施例的检测网络Mobile R-CNN的结构框图；
图3为本发明一实施例提供一个具体实施例的采用SoraPose网络对人体关键点识别的流程图；
图4为本发明一实施例提供一个具体实施例的人体骨架关键点示意图；
图5为本发明一实施例提供的一具体实施例的改进的YOLO算法进行特征提取和分类的流程图；
图6为本发明一实施例提供的一种基于机器视觉的电力作业违规行为检测系统的结构框图；
图7是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本申请的一种基于机器视觉的电力作业违规行为检测方法的流程图。
如图1所示，基于机器视觉的电力作业违规行为检测方法具体包括以下步骤：
步骤S101，获取包含施工现场环境的待检测图像，并根据预设的特征提取网络对所述待检测图像进行特征提取，得到至少一个目标特征框。
在本步骤中，根据预设的特征提取网络对待检测图像进行特征提取具体为：根据ResNet-Fast网络对待检测图像进行特征提取，得到卷积特征图；通过预设的金字塔特征融合网络对卷积特征图进行融合，得到多尺度特征图，并根据预设的区域生成网络在多尺度特征图中提取至少一个候选框区域；将至少一个候选框区域进行池化操作，并将池化后的至少一个候选框区域分别映射至固定大小的目标区域中，得到至少一个目标特征框。
需要说明的是，根据ResNet-Fast网络对待检测图像进行特征提取，得到卷积特征图包括：对待检测图像进行预处理；将预处理后的待检测图像输入至特征响应层中进行初步特征提取，其中，初步特征提取具体为：将特征响应层的初始层设置为进行特征信息提取的卷积层，卷积层的卷积核在预处理后的待检测图像上进行滑动，通过每个像素之间的信息，对各个关键特征进行响应，卷积核滑动当边界时，对响应过的特征进行对称曲率张量计算，提取得到初步特征，对称曲率张量计算公式为：
，
式中，为指定的两个不同方向的张量，为曲率参数， 为特征所在的场配置的积分，为不同方向的导向函数，为指定b方向的增量，为指定a方向的增量，为导向函数在a方向的数值，为导向函数在b方向的数值；
对于每个像素点的位置，将预处理后的待检测图像的像素特征与卷积核中响应过的特征各个元素进行对比形成阶梯型信息，再将阶梯信息逐层特征融合，融合后通过改进的激活函数Exu输出特征矩阵，其中，改进的激活函数Exu的表达式为：
，
式中，f和m均为可调参数，控制激活函数的影响程度；
所述特征矩阵的尺寸为：
，
，
式中，为特征矩阵的高，为输入矩阵的高，为输出特征矩阵的高，为融合作用常数，为第n个卷积层，为卷积核滑过的特征矩阵的高，为原图像上的列的像素位置，为输入的像素位置与输出对应的宽，为输出矩阵行上的第v个像素值，为输出矩阵的宽，为输入矩阵的宽，为原图像上的行的像素位置，为输出矩阵列上的第v个像素值，为输入的像素位置与输出对应的高，为激活函数超参数，为输出矩阵的权重项，为卷积核滑过的特征矩阵的宽，为输出特征矩阵的宽；
对特征矩阵进行解融合优化处理，并将解融合后的特征信息通过n-1个特征嵌入层嵌入至特征矩阵中，得到卷积特征图，其中，解融合优化处理的表达式为：
，
式中，为偏导，为解融合之后的输出函数，为第L个特征层进行解融合，为权重参数，为第l个输出，为相邻层的偏导，为第L个特征层的偏导，为反向传播误差参数。
进一步地，对待检测图像进行预处理包括：根据预设的残差跳跃抑制层对待检测图像进行抑制，其中，残差跳跃抑制层中的残差跳跃抑制函数的表达式为：
，
式中，为输入特征值，为归一化常数，为输入导数，为输出特征值， 为真实输出标签值，为残差函数，为阶跃值，为抑制补偿系数， 为抑制层函数，为残差归一化；
根据设置在残差跳跃抑制层之间的缩放层对残差跳跃抑制层的输出进行缩放，并根据激活函数Ripple进行输出，得到预处理后的待检测图像，其中，根据激活函数Ripple进行输出的表达式为：
，
式中，为输出函数在x轴上的对应值，为输入函数在x轴上的增量，为输入在缩放层的增量，为激活函数学习参数，为缩放因子，T为输入进入缩放层的缩放函数的偏导，为缩放函数在x轴上的导数，为缩放函数在g轴上的导数。
具体地，金字塔特征融合网络包括浅层特征层、深层特征层和个池化层，所述浅层特征层包括n个卷积层，所述深层特征层包括个卷积层；通过预设的金字塔特征融合网络对所述卷积特征图进行融合，得到多尺度特征图包括：
通过所述浅层特征层中的卷积核对所述卷积特征图进行初步卷积运算，得到第一结果，其中，所述浅层特征层中不同尺度的卷积层的通道维数为固定维数；
通过所述深层特征层对所述第一结果进行上采样处理，得到第二结果，其中，上采样处理的表达式为：
，
式中，为上采样输出，为上采样输入，为采样连接值，为采样传递常数，为转置后的特征层矩阵；
将所述第二结果进行零值填充优化，并将优化后的第二结果与所述第一结果进行特征融合，得到第三结果，其中，特征融合的表达式为：
，
式中，为融合后的输出特征层，为第i层的权重参数，为共输出N个特征层，为第i层特征层的填充值，为第n个不同特征层的输入；
通过所述池化层对所述第三结果进行固定步长的下采样，得到第四结果，并对所述第四结果进行归一化处理，得到多尺度特征图。
根据预设的区域生成网络在所述多尺度特征图中提取至少一个候选框区域包括：
采用大小为K×K的卷积核在所述多尺度特征图上进行扫描，并对每次扫描的边界框进行类别和回归参数的预测，得到各个边界框的类别预测值和回归参数预测值；
根据边界框的约化参数与预设的固定框的中心点坐标进行场源约化处理，得到边界框的中心点坐标，其中，计算边界框的中心点坐标的表达式为：
，
，
式中，为边界框中心x坐标，为固定框x值，为场源x轴的值，表示约化递减，为在不同轴上的场源递减值，为边界框中心y坐标，为固定框y值，为场源y轴的值；
根据各个边界框的回归参数预测值以及预设的固定框的宽和高计算各个边界框的宽和高，其中，计算各个边界框的宽和高的表达式为：
，
，
式中，为边界框的宽，为固定框的宽度，为边界框中心坐标x轴的值与真实框宽度的联系值，为距离补充系数，为积分，为距离调节因子，为边界框中心坐标x轴的值与真实框高度的联系值，为固定框的高度；
选用 Chaosfuse 激活函数作为分类器，得到各个边界框属于各个类别的概率分布，其中，Chaosfuse 激活函数的表达式为：
，
式中，为进入激活函数输出的各个类别的概率，为第i个输出分数，为初始输出分数，为n个类别；
采用 EvoMorph损失函数确定 ROI 的边界框的调整值和相当于边界框的误差值，得到各个边界框的最终位置，并通过各个边界框的最终位置及各个边界框的宽和高，确定候选框区域，其中，EvoMorph损失函数的表达式为：
，
式中，为损失函数的输入值，为损失常数；
所述候选框区域的回归损失表达式为：
，
式中，为权重参数，为正样本量，为预测损失，为类别损失量，为正则化补偿项，为正则化系数。
步骤S102，根据预设的SoraPose网络对所述至少一个目标特征框中的人体姿态特征进行人体关键点识别，得到与所述至少一个目标特征框相对应的施工现场工人的关键点信息。
在本步骤中，将目标特征框的位置信息通过本地化网络经过变化输出为本地化参数，并将所述本地化参数传入网格生成器，得到包含二维网格的目标特征框，其中，泛度量计算的表达式为：
，
，
，
，
式中，为输出右下角x轴坐标，为缩放y轴参数，为平移x轴尺度因子，为输入右下角x轴坐标，为输入左上角x轴坐标，为输出右下角y轴坐标，为平移y轴因子，为输入右下角y轴坐标，为输入左上角y轴坐标，为输出左上角x轴坐标，为缩放x轴参数，为平移x轴参数，为平移y轴参数，为变化因子；
将所述包含二维网格的目标特征框输入至单人姿态估计网络EFPE，所述单人姿态估计网络EFPE输出人体姿态骨架关键点信息；
根据F-DTN网络对所述人体姿态骨架关键点信息中的人体关键点坐标与原始图像关键点进行对抗筛选，输出人体姿态坐标；
利用姿态交并比阈值抑制（U-NMS）对所述人体姿态坐标按置信度和距离进行排序，并根据预设的多余姿态筛选标准对多余的人体姿态坐标进行去除，得到目标人体姿态坐标，其中，多余姿态筛选标准的表达式为：
，
式中，为类别概率，为输出坐标距离，为姿态交并比值抑制阈值；
，
式中，为预设两种姿态的类别值，为姿态置信相似性系数，为姿态置信值，为姿态距离值，为姿态距离相似性系数；
，
式中，为第i个标准姿态对数值，为预设正姿态，为预设负姿态，为正姿态距离，为负姿态距离；
根据预设的约束关系对缺失关键点的目标人体姿态坐标进行补齐，得到施工现场工人的关键点信息。
步骤S103，采用改进的YOLO算法对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为。
在本步骤中，根据PolarizeSync激活函数计算每个预测边界框的置信度，并根据每个预测边界框的置信度对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为，其中，计算每个预测边界框的置信度的表达式为：
，
式中，为第k个预测框的二元置信度，为PolarizeSync激活函数，为置信系数，为预测单元格中的第k个边界框是否存在特征图像预测框的二元标注，为预测框与实际目标框的交并比，为预测特征图像目标类别的概率；
PolarizeSync激活函数的表达式为：
，
式中，为输入指数，为激活函数拐点值，为激活函数拐点补偿指数，为输入负指数，为预测框数值的输入。
在一个具体实施中，基于机器视觉的电力作业违规行为检测方法具体包括以下实现步骤：
步骤1、相机采集施工现场环境，获取电力作业工人姿态与作业现场环境条件，生成数据集。
在本步骤中，相机采集施工现场环境，获取电力作业工人姿态与作业现场环境条件，生成数据集，通过布置在施工现场上方的固定监控摄像头对施工现场的环境和工人进行数据采集，筛选得到符合要求的图片，电力行业属于特殊作业，环境复杂，障碍物多，需要对障碍物进行特征提取和区分。
步骤2、使用全新的检测网络Mobile R-CNN检测作业场景中的特征物体判断电力作业场景类型，判断该作业场景下是否存在作业风险。
在本步骤中，步骤2.1、使用全新的检测网络Mobile R-CNN检测作业场景中的特征物体判断电力作业场景类型，判断该作业场景下是否存在作业风险，具体为：使用ResNet-Fast网络作为特征提取网络，如图2所示，提取图像特征，具体内容指：ResNet-Fast网络比VGG16具有更深的网络结构 ，使用残差层跳跃连接抑制层，所需参数量减少，降低了网络的复杂性，减小过拟合的风险，同时提高网络的计算效率。
ResNet-Fast网络在残差抑制层之间添加一层缩放层，将残差层输出缩放到特定的范围之内，再通过全新激活函数Ripple进行输出；
经过缩放因子 进行矫正后，可以使输出与输入相等，通过激活函数后，再越阶进入抑制层和串联输入卷积层，完成输入图像特征的预处理；
输入图像预处理后送入特征响应层进行初步特征提取：特征响应层初始层为进行特征信息提取的卷积层，卷积核在图像上进行滑动，通过每个像素之间的信息，对各个关键特征进行响应，卷积核滑动到边界时，对响应过的特征进行对称曲率张量计算，提取图像初步特征；
对于每个位置，将输入特征和卷积核矩阵进行逐元素线性段落式运算，将输入特征与卷积核中响应的特征各个元素进行对比形成阶梯型信息，再将阶梯信息逐层特征融合，利用二维空间特征注意力机制融合，融合完成后，通过改进新型激活函数Exu，输出为特征矩阵；
通过激活函数后送入后续卷积层中进行解融合优化处理，一共引入个卷积层 组，每个卷积层组包含个卷积层，总计个卷积层，当在某个深度卷积层，输入层为，对残差网络中进行反向传播的梯度进行解融合特征分析；
最后，将解融合后的特征信息通过个特征嵌入层，实现对输入特征信息的嵌入；获得初步卷积特征图；
步骤2.2、由ResNet-Fast特征提取网络提取到的特征图送入金字塔特征融合网络 中，首先进入初始卷积层时，通过卷积核对输入特征图进行初步卷积运算，将不同尺度 的特征层中的维数进行规范化处理，将通道数变化为固定维数；
将浅层特征层进行处理后，再将具有较大感受野的深层特征层送入卷积层中，通过优化转置卷积上采样处理；
将经过上采样处理后的深层特征层进行零值填充优化，再与相邻的浅层特征层通过通道拼接完成特征融合；
将相邻的特征层融合完成后，再对输出的特征层进行固定步长的下采样，通过池化层对特征层进行的池化下采样处理后，减少特征层的尺寸，将池化后得到的尺寸从变为相同尺寸，并将最终融合后的特征层替换输入的最后一层特征图，得到既包含深层特征层的大感受野，也包含了浅层特征的细节信息的多尺度特征图，送入区域生成网络SPN；
步骤2.3、通过区域生产网络SPN网络提取候选框，具体内容指：SPN 网络采用大小为 K×K 的卷积核在特征图上进行扫描，以进行类别和边界框回归参数的预测，每个网格产生的每个固定框得到类别预测值和边界框回归参数预测值，计算边界框回归参数与生成的固定框之间的关系，先通过边界框约化参数与固定框的中心点坐标进行场源约化处理，计算出预测框的中心点坐标；
计算出之后再通过边界框回归参数与固定框的宽高计算出预测框的宽高；
在得到参数之后，为了使SPN网络中损失更少，计算和优化SPN的损失函数，先计算分类层的损失，通常采用二元线性交叉损失熵损失来度量生成的候选框是正样本还是负样本的准确性：
，
式中，为二元交叉熵损失，为负样本量，为类别损失，为负样本损失量；
再计算修正回归层的损失：
，
式中，为回归损失，为正样本量，为修正损失，为修正后负样本损失，为修正后类别损失；
再得出两个损失值之后，得出SPN的总损失：
，
式中，为平衡两个损失的超参数；
在对损失值进行计算后，需要对每个锚窗进行标记，以此来训练SPN，首先，选取与标定目标框具有最高交并比IoU的锚窗，将其标记为正样本，计算标定目标框与剩余锚窗的IoU值，对于IoU高于设定阈值的锚窗也标记为正样本；再对于剩余的锚窗计算其与标定目标框的IoU值，锚窗的IoU值低于阈值的被标记为负样本，最后再把剩余的样本去除，IoU通过计算目标框与锚窗交集面积与并集面积的比值来度量它们的重叠程度，计算公式为：
，
经过计算后，得到每个锚窗与目标框的IoU值，利用Chaosfuse分类器对锚窗进行筛选，确定是否为正样本或负样本，对于被标记为正样本的锚窗，通过回归网络进行边界框调整，生成候选框的位置调整参数；
步骤2.4、利用生成的候选框区域，进行ROI池化，将每个候选框映射到固定大小的特征图上，具体内容指：首先对于给定的候选框，进行划分成固定大小的子区域，将ROI的宽度和高度分别除以子区域的数量，ROI的宽度为，高度为，则子区域数量为，计算出每个子区域的宽度和高度为：
，
，
再对于每个子区域进行最大池化，从每个子区域中提取最大值作为输出特征，计算输出值为：
，
式中，为输出坐标，为ROI左上角的坐标，为子区域的坐标，为子区域的相对坐标；
通过池化后将不同大小和形状的候选框输出成同样大小；
步骤2.5、分类和边界框回归，通过池化后的相同大小特征图，用分类器进行计算完成分类，并实现边界框回归，完成预测，具体方法为：输入ROI池化后得到的相同大小的特征图，提取内部的特征，选用Chaosfuse激活函数作为分类器，得到每个候选框属于各个类别的概率分布；
通过Chaosfuse激活函数将输出分数映射为0到1的实数范围，实现对各个输出的分类；再对提取的特征进行边界框回归操作，采用EvoMorph 损失函数得到ROI的边界框的调整值和相当于候选框的误差值；
通过Chaosfuse分类器完成分类和利用损失函数进行边界框回归后，获得目标最终位置，得到候选框区域。
步骤3、利用SoraPose对人体关键点进行识别，提取施工现场工人的关键点信息。
在本步骤中，结合图3，具体识别过程为：
步骤3.1、将使用全新的检测网络Mobile R-CNN得到的工人人体的目标框送入到空间变化网络F-STN中，进行二维空间泛度量变换，具体内容指：将提取到的目标框的位置信息通过本地化网络经过变化输出为一组本地化参数，传入网格生成器，目标框左上角坐标和右下角坐标经过泛度量计算得到一个二维网格；
得到坐标后通过采样器接受变化后的信息和原始目标框的图像，通过对规范化后的坐标进行采样，得到最终像素值，输出优化后的人体图像框；
步骤3.2、对优化后的人体图像送入单人姿态估计网络EFPE，通过EFPE网络提取和学习人体姿态信息并输出人体关键点坐标，具体内容指：将通过F-STN网络仿射变换得到的人体边框送入姿态估计网络EFPE，通过EFPE中的卷积神经网络层进行上采样提取图像特征，提取计算公式为：
，
，
式中，表示2D仿射变化过程，为原始输入，为通过仿射变换和优化后得到的人体边框，表示EFPE网络最终输出的施工人员姿态关键点的坐标；
得到关键点信息后，通过EFPE网络中的深层卷积神经网络阶跃层，利用上层卷积神经网络层解析得到的信息进行下通道解析嵌入，并通过残差结构对深层和浅层特征信息进行融合，最后将关键点信息进行检测和输出；
步骤3.3、将EFPE网络中获得的人体骨架信息坐标，如图4所示，进行空间对抗逆变换，使人体姿态准确的显示在图像中，具体内容指：将在F-DTN网络中获得的人体骨架坐标进行时空逆变化，变化公式为：
，
，
式中，为逆空间二维标准系数，为正空间二维标准系数，为输入骨架坐标；
通过对坐标进行时空逆变换后对齐人体边框，将得到的人体关键点坐标信息映射回原始图像，输出人体图像坐标；
步骤3.4、对F-DTN输出的人体姿态坐标进行筛选，具体内容指：利用姿态交并比抑制U-NMS，对DTN的输出按置信度和距离进行排序，对多余的信息进行排除；
步骤3.5、对输出的图像通过人体结构模型中的关键点相对位置、关节角度、肢体长度等信息进行计算进行关键点补齐，补充因为环境条件或物体遮挡而出现的缺失的人体骨架信息，具体内容指：将SoraPose算法得到的人体骨骼关键点进行几何关系约束，检测和定位已知的关键点，对于没有被检测到的关键点， 根据几何关系，将头部关键点，颈部关键点和髋部关键点设置为一条直线，且颈部到髋部的距离是头部到颈部的倍，则可以得出：
，
且通过髋部的两个关键点计算出臀部关键点：
，
式中，为设置的臀部关键点与髋部左右关键点的平衡常数；
若出现关键点缺失，这可以通过头部，颈部，髋部，臀部关键点直接的坐标约束关系进行补齐，约束关系为：
，
式中，为头部坐标，为颈部坐标，为臀部坐标，为姿态置信相似性系数，为姿态距离相似性系数，为冗余头部坐标，为冗余头部与臀部差值；
通过约束关系进行补齐后，更新获得完整的工人姿态骨架关键点信息，将骨架关键点信息整合到SoraPose的姿态估计结果中，并将关键点之间通过卷积网络处理，连线配对成人体动作姿态评估图，得到更完整的姿态估计。
步骤4、利用YOLO-D算法对SoraPose识别的工人关键点进行特征提取和分类，进一步检测工人违规行为。
在本步骤中，步骤4.1、根据Sora提取到的工人姿态关键点识别出的可能违规行为 送入YOLO-D的输入层，将输入的图像调整为的固定大小，并将色彩通道调整为相同的 红、绿、蓝三个通道，保证目标识别过程中的照片具有统一的属性其使其仍为彩色图片，随 后将图像等比划分为相同大小的单元，划分大小设置根据预测输出特征图像的尺度进行评 定，分为、、三种不同大小，并将三种通道的不同图像信息并行送入PolarizeSync激 活函数通道层中，让PolarizeSync激活函数对三种不同信息进行边缘锐化和特征归一化处 理；
步骤4.2、以网格单元为单位，对每个目标边界框已经每个边界框的置信度进行预测，具体内容指：对每个参与预测的单元格的边界框预测出个待测目标类别的概率，将边界框数目A设置为，总共预测个边界框，输出三种尺度的特征图像，对每种尺度的特征图像预测个区域框，设置每个预测边界框的置信度；
通过计算预测框与实际目标框的交并比得出预测框与实际目标边框的相关联性，最后将三种不同尺度的图像进行融合，得出目标类别数量为B个，使网络最终输出的三个张量大小分别为：
，
，
，
式中，为13尺度张量，为26尺度张量，为52尺度张量，为13尺度网络，为26尺度网络，为52尺度网络，为张量损失值；
并最后得出候选框的数量为：
，
步骤4.3、采用soft抑制选择最终目标检测结果，具体内容指：将每个候选框都被赋予一个置信度分数Confidence Score，按照置信度从大到小的顺序进行排序，设定一个阈值，在检测过程中识别出了i个候选框，按照置信度从大到小的顺序为再将置信度最大的候选框从候选列表中移至输出列表，接着，分别计算候选框到与的交并比，将某些候选框与的交并比超过设定的阈值的候选框从候选列表中删除；
步骤4.4、随后将视为输出的第一个边界，并对于候选列表中的剩余框，重复上述步骤，将置信度最大的候选框移出至输出列表，并计算候选列表中的 、与的交并比，将某些候选框的交并比超过阈值候的选框从候选列表中删除，反复执行至候选列表为空，最终，输出列表中的边界框即为检测结果，保留具有最高置信度且互不重叠的边界框；
YOLO-D直接使用逻辑回归进行分类，利用融合而成的多尺度特征图进行多尺度的预测，将每一个目标框被锚框包围的部分，进行目标性评分，找到评分最高的锚框尺寸，从各个锚框尺寸中找出最佳的尺寸进行预测，检测工人违规行为。
综上，本申请的方法使用全新的检测网络Mobile R-CNN检测作业场景中的特征物体判断电力作业场景类型，判断该作业场景下是否存在作业风险；利用SoraPose网络对人体关键点进行识别，提取施工现场工人的关键点信息；利用YOLO-D算法对SoraPose识别的工人关键点进行特征提取和分类，进一步检测工人违规行为，能够安全生产检测效率，减少了施工现场中障碍物对检测的影响，控制了电力施工成本，有效降低了生产施工中事故的发生。
请参阅图6，其示出了本申请的一种基于机器视觉的电力作业违规行为检测系统的结构框图。
如图6所示，电力作业违规行为检测系统200，包括获取模块210、识别模块220以及输出模块230。
其中，获取模块210，配置为获取包含施工现场环境的待检测图像，并根据预设的特征提取网络对所述待检测图像进行特征提取，得到至少一个目标特征框，其中，根据所述预设的特征提取网络对所述待检测图像进行特征提取，具体为：根据ResNet-Fast网络对所述待检测图像进行特征提取，得到卷积特征图；通过预设的金字塔特征融合网络对所述卷积特征图进行融合，得到多尺度特征图，并根据预设的区域生成网络在所述多尺度特征图中提取至少一个候选框区域；将所述至少一个候选框区域进行池化操作，并将池化后的至少一个候选框区域分别映射至固定大小的目标区域中，得到至少一个目标特征框；识别模块220，配置为根据预设的SoraPose网络对所述至少一个目标特征框中的人体姿态特征进行人体关键点识别，得到与所述至少一个目标特征框相对应的施工现场工人的关键点信息；输出模块230，配置为采用改进的YOLO算法对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为。
应当理解，图6中记载的诸模块与参考图1中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图6中的诸模块，在此不再赘述。
在另一些实施例中，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行上述任意方法实施例中的基于机器视觉的电力作业违规行为检测方法；
作为一种实施方式，本发明的计算机可读存储介质存储有计算机可执行指令，计算机可执行指令设置为：
获取包含施工现场环境的待检测图像，并根据预设的特征提取网络对所述待检测图像进行特征提取，得到至少一个目标特征框，其中，根据所述预设的特征提取网络对所述待检测图像进行特征提取，具体为：
根据ResNet-Fast网络对所述待检测图像进行特征提取，得到卷积特征图；
通过预设的金字塔特征融合网络对所述卷积特征图进行融合，得到多尺度特征图，并根据预设的区域生成网络在所述多尺度特征图中提取至少一个候选框区域；
将所述至少一个候选框区域进行池化操作，并将池化后的至少一个候选框区域分别映射至固定大小的目标区域中，得到至少一个目标特征框；
根据预设的SoraPose网络对所述至少一个目标特征框中的人体姿态特征进行人体关键点识别，得到与所述至少一个目标特征框相对应的施工现场工人的关键点信息；
采用改进的YOLO算法对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为。
计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于机器视觉的电力作业违规行为检测系统的使用所创建的数据等。此外，计算机可读存储介质可以包括高速随机存取存储器，还可以包括存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至基于机器视觉的电力作业违规行为检测系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图7是本发明实施例提供的电子设备的结构示意图，如图7所示，该设备包括：一个处理器310以及存储器320。电子设备还可以包括：输入装置330和输出装置340。处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图7中以通过总线连接为例。存储器320为上述的计算机可读存储介质。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例基于机器视觉的电力作业违规行为检测方法。输入装置330可接收输入的数字或字符信息，以及产生与基于机器视觉的电力作业违规行为检测系统的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
上述电子设备可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
作为一种实施方式，上述电子设备应用于基于机器视觉的电力作业违规行为检测系统中，用于客户端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
获取包含施工现场环境的待检测图像，并根据预设的特征提取网络对所述待检测图像进行特征提取，得到至少一个目标特征框，其中，根据所述预设的特征提取网络对所述待检测图像进行特征提取，具体为：
根据ResNet-Fast网络对所述待检测图像进行特征提取，得到卷积特征图；
通过预设的金字塔特征融合网络对所述卷积特征图进行融合，得到多尺度特征图，并根据预设的区域生成网络在所述多尺度特征图中提取至少一个候选框区域；
将所述至少一个候选框区域进行池化操作，并将池化后的至少一个候选框区域分别映射至固定大小的目标区域中，得到至少一个目标特征框；
根据预设的SoraPose网络对所述至少一个目标特征框中的人体姿态特征进行人体关键点识别，得到与所述至少一个目标特征框相对应的施工现场工人的关键点信息；
采用改进的YOLO算法对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于机器视觉的电力作业违规行为检测方法，其特征在于，包括：
获取包含施工现场环境的待检测图像，并根据预设的特征提取网络对所述待检测图像进行特征提取，得到至少一个目标特征框，其中，根据所述预设的特征提取网络对所述待检测图像进行特征提取，具体为：
根据ResNet-Fast网络对所述待检测图像进行特征提取，得到卷积特征图；
通过预设的金字塔特征融合网络对所述卷积特征图进行融合，得到多尺度特征图，并根据预设的区域生成网络在所述多尺度特征图中提取至少一个候选框区域；
将所述至少一个候选框区域进行池化操作，并将池化后的至少一个候选框区域分别映射至固定大小的目标区域中，得到至少一个目标特征框；
根据预设的SoraPose网络对所述至少一个目标特征框中的人体姿态特征进行人体关键点识别，得到与所述至少一个目标特征框相对应的施工现场工人的关键点信息；
采用改进的YOLO算法对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为，其中，所述采用改进的YOLO算法对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为包括：
根据PolarizeSync激活函数计算每个预测边界框的置信度，并根据每个预测边界框的置信度对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为，其中，计算每个预测边界框的置信度的表达式为：
，
式中，为第k个预测框的二元置信度，为PolarizeSync激活函数，为置信系数，为预测单元格中的第k个边界框是否存在特征图像预测框的二元标注，为预测框与实际目标框的交并比，为预测特征图像目标类别的概率；
PolarizeSync激活函数的表达式为：
，
式中，为输入指数，为激活函数拐点值，为激活函数拐点补偿指数，为输入负指数，为预测框数值的输入。
2.根据权利要求1所述的一种基于机器视觉的电力作业违规行为检测方法，其特征在于，所述根据ResNet-Fast网络对所述待检测图像进行特征提取，得到卷积特征图包括：
对所述待检测图像进行预处理；
将预处理后的待检测图像输入至特征响应层中进行初步特征提取，其中，初步特征提取具体为：
将所述特征响应层的初始层设置为进行特征信息提取的卷积层，所述卷积层的卷积核在预处理后的待检测图像上进行滑动，通过每个像素之间的信息，对各个关键特征进行响应，卷积核滑动到边界时，对响应过的特征进行对称曲率张量计算，提取得到初步特征，对称曲率张量计算公式为：
，
式中，为指定的两个不同方向的张量，为曲率参数， 为特征所在的场配置的积分，为不同方向的导向函数，为指定b方向的增量，为指定a方向的增量，为导向函数在a方向的数值，为导向函数在b方向的数值；
对于每个像素点的位置，将预处理后的待检测图像的像素特征与卷积核中响应过的特征各个元素进行对比形成阶梯型信息，再将阶梯信息逐层特征融合，融合后通过改进的激活函数Exu输出特征矩阵，其中，改进的激活函数Exu的表达式为：
，
式中，f和m均为可调参数，控制激活函数的影响程度；
所述特征矩阵的尺寸为：
，
，
式中，为特征矩阵的高，为输入矩阵的高，为输出特征矩阵的高，为融合作用常数，为第n个卷积层，为卷积核滑过的特征矩阵的高，为原图像上的列的像素位置，为输入的像素位置与输出对应的宽，为输出矩阵行上的第v个像素值，为输出矩阵的宽，为输入矩阵的宽，为原图像上的行的像素位置，为输出矩阵列上的第v个像素值，为输入的像素位置与输出对应的高，为激活函数超参数，为输出矩阵的权重项，为卷积核滑过的特征矩阵的宽，为输出特征矩阵的宽；
对所述特征矩阵进行解融合优化处理，并将解融合后的特征信息通过n-1个特征嵌入层嵌入至特征矩阵中，得到卷积特征图，其中，解融合优化处理的表达式为：
，
式中，为偏导，为解融合之后的输出函数，为第L个特征层进行解融合，为权重参数，为第l个输出，为相邻层的偏导，为第L个特征层的偏导，为反向传播误差参数。
3.根据权利要求2所述的一种基于机器视觉的电力作业违规行为检测方法，其特征在于，所述对所述待检测图像进行预处理包括：
根据预设的残差跳跃抑制层对所述待检测图像进行抑制，其中，所述残差跳跃抑制层中的残差跳跃抑制函数的表达式为：
，
式中，为输入特征值，为归一化常数，为输入导数，为输出特征值，为真实输出标签值，为残差函数，为阶跃值，为抑制补偿系数，为抑制层函数，为残差归一化；
根据设置在所述残差跳跃抑制层之间的缩放层对所述残差跳跃抑制层的输出进行缩放，并根据激活函数Ripple进行输出，得到预处理后的待检测图像，其中，根据激活函数Ripple进行输出的表达式为：
，
式中，为输出函数在x轴上的对应值，为输入函数在x轴上的增量，为输入在缩放层的增量，为激活函数学习参数，为缩放因子，T为输入进入缩放层的缩放函数的偏导，为缩放函数在x轴上的导数，为缩放函数在g轴上的导数。
4.根据权利要求1所述的一种基于机器视觉的电力作业违规行为检测方法，其特征在于，所述金字塔特征融合网络包括浅层特征层、深层特征层和个池化层，所述浅层特征层包括n个卷积层，所述深层特征层包括个卷积层；
所述通过预设的金字塔特征融合网络对所述卷积特征图进行融合，得到多尺度特征图包括：
通过所述浅层特征层中的卷积核对所述卷积特征图进行初步卷积运算，得到第一结果，其中，所述浅层特征层中不同尺度的卷积层的通道维数为固定维数；
通过所述深层特征层对所述第一结果进行上采样处理，得到第二结果，其中，上采样处理的表达式为：
，
式中，为上采样输出，为上采样输入，为采样连接值，为采样传递常数，为转置后的特征层矩阵；
将所述第二结果进行零值填充优化，并将优化后的第二结果与所述第一结果进行特征融合，得到第三结果，其中，特征融合的表达式为：
，
式中，为融合后的输出特征层，为第i层的权重参数，为共输出N个特征层，为第i层特征层的填充值，为第n个不同特征层的输入；
通过所述池化层对所述第三结果进行固定步长的下采样，得到第四结果，并对所述第四结果进行归一化处理，得到多尺度特征图。
5.根据权利要求1所述的一种基于机器视觉的电力作业违规行为检测方法，其特征在于，所述根据预设的区域生成网络在所述多尺度特征图中提取至少一个候选框区域包括：
采用大小为K×K的卷积核在所述多尺度特征图上进行扫描，并对每次扫描的边界框进行类别和回归参数的预测，得到各个边界框的类别预测值和回归参数预测值；
根据边界框的约化参数与预设的固定框的中心点坐标进行场源约化处理，得到边界框的中心点坐标，其中，计算边界框的中心点坐标的表达式为：
，
，
式中，为边界框中心x坐标，为固定框x值，为场源x轴的值，表示约化递减，为在不同轴上的场源递减值，为边界框中心y坐标，为固定框y值，为场源y轴的值；
根据各个边界框的回归参数预测值以及预设的固定框的宽和高计算各个边界框的宽和高，其中，计算各个边界框的宽和高的表达式为：
，
，
式中，为边界框的宽，为固定框的宽度，为边界框中心坐标x轴的值与真实框宽度的联系值，为距离补充系数，为积分，为距离调节因子，为边界框中心坐标x轴的值与真实框高度的联系值，为固定框的高度；
选用 Chaosfuse 激活函数作为分类器，得到各个边界框属于各个类别的概率分布，其中，Chaosfuse 激活函数的表达式为：
，
式中，为进入激活函数输出的各个类别的概率，为第i个输出分数，为初始输出分数，为n个类别；
采用 EvoMorph损失函数确定 ROI 的边界框的调整值和相当于边界框的误差值，得到各个边界框的最终位置，并通过各个边界框的最终位置及各个边界框的宽和高，确定候选框区域，其中，EvoMorph损失函数的表达式为：
，
式中，为损失函数的输入值，为损失常数；
所述候选框区域的回归损失表达式为：
，
式中，为权重参数，为正样本量，为预测损失，为类别损失量，为正则化补偿项，为正则化系数。
6.根据权利要求1所述的一种基于机器视觉的电力作业违规行为检测方法，其特征在于，所述根据预设的SoraPose网络对所述至少一个目标特征框中的人体姿态特征进行人体关键点识别，得到与所述至少一个目标特征框相对应的施工现场工人的关键点信息包括：
将目标特征框的位置信息通过本地化网络经过变化输出为本地化参数，并将所述本地化参数传入网格生成器，得到包含二维网格的目标特征框，其中，泛度量计算的表达式为：
，
，
，
，
式中，为输出右下角x轴坐标，为缩放y轴参数，为平移x轴尺度因子，为输入右下角x轴坐标，为输入左上角x轴坐标，为输出右下角y轴坐标，为平移y轴因子，为输入右下角y轴坐标，为输入左上角y轴坐标，为输出左上角x轴坐标，为缩放x轴参数，为平移x轴参数，为平移y轴参数，为变化因子；
将所述包含二维网格的目标特征框输入至单人姿态估计网络EFPE，所述单人姿态估计网络EFPE输出人体姿态骨架关键点信息；
根据F-DTN网络对所述人体姿态骨架关键点信息中的人体关键点坐标与原始图像关键点进行对抗筛选，输出人体姿态坐标；
利用姿态交并比阈值抑制对所述人体姿态坐标按置信度和距离进行排序，并根据预设的多余姿态筛选标准对多余的人体姿态坐标进行去除，得到目标人体姿态坐标，其中，多余姿态筛选标准的表达式为：
，
式中，为类别概率，为输出坐标距离，为姿态交并比值抑制阈值；
，
式中，为预设两种姿态的类别值，为姿态置信相似性系数，为姿态置信值，为姿态距离值，为姿态距离相似性系数；
，
式中，为第i个标准姿态对数值，为预设正姿态，为预设负姿态，为正姿态距离，为负姿态距离；
根据预设的约束关系对缺失关键点的目标人体姿态坐标进行补齐，得到施工现场工人的关键点信息。
7.一种基于机器视觉的电力作业违规行为检测系统，其特征在于，包括：
获取模块，配置为获取包含施工现场环境的待检测图像，并根据预设的特征提取网络对所述待检测图像进行特征提取，得到至少一个目标特征框，其中，根据所述预设的特征提取网络对所述待检测图像进行特征提取，具体为：
根据ResNet-Fast网络对所述待检测图像进行特征提取，得到卷积特征图；
通过预设的金字塔特征融合网络对所述卷积特征图进行融合，得到多尺度特征图，并根据预设的区域生成网络在所述多尺度特征图中提取至少一个候选框区域；
将所述至少一个候选框区域进行池化操作，并将池化后的至少一个候选框区域分别映射至固定大小的目标区域中，得到至少一个目标特征框；
识别模块，配置为根据预设的SoraPose网络对所述至少一个目标特征框中的人体姿态特征进行人体关键点识别，得到与所述至少一个目标特征框相对应的施工现场工人的关键点信息；
输出模块，配置为采用改进的YOLO算法对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为，其中，所述采用改进的YOLO算法对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为包括：
根据PolarizeSync激活函数计算每个预测边界框的置信度，并根据每个预测边界框的置信度对所述施工现场工人的关键点信息进行特征提取和分类，得到工人违规行为，其中，计算每个预测边界框的置信度的表达式为：
，
式中，为第k个预测框的二元置信度，为PolarizeSync激活函数，为置信系数，为预测单元格中的第k个边界框是否存在特征图像预测框的二元标注，为预测框与实际目标框的交并比，为预测特征图像目标类别的概率；
PolarizeSync激活函数的表达式为：
，
式中，为输入指数，为激活函数拐点值，为激活函数拐点补偿指数，为输入负指数，为预测框数值的输入。
8.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至6任一项所述的方法。
CN202410718828.4A 2024-06-05 2024-06-05 一种基于机器视觉的电力作业违规行为检测方法及系统 Active CN118298513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410718828.4A CN118298513B (zh) 2024-06-05 2024-06-05 一种基于机器视觉的电力作业违规行为检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410718828.4A CN118298513B (zh) 2024-06-05 2024-06-05 一种基于机器视觉的电力作业违规行为检测方法及系统

Publications (2)

Publication Number Publication Date
CN118298513A CN118298513A (zh) 2024-07-05
CN118298513B true CN118298513B (zh) 2024-08-13

Family

ID=91687691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410718828.4A Active CN118298513B (zh) 2024-06-05 2024-06-05 一种基于机器视觉的电力作业违规行为检测方法及系统

Country Status (1)

Country Link
CN (1) CN118298513B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118552986B (zh) * 2024-07-30 2024-10-25 杭州电子科技大学 一种基于云边端协同的人体关键点检测方法、系统及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705521A (zh) * 2021-09-05 2021-11-26 吉林大学第一医院 一种结合YOLO-MobilenetV3人脸检测的头部姿态估计方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021062025A2 (en) * 2019-09-24 2021-04-01 Baylor College Of Medicine Learning from biological systems how to regularize machine-learning
CN111259930B (zh) * 2020-01-09 2023-04-25 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN111476219B (zh) * 2020-06-02 2024-09-17 苏州科技大学 智能家居环境中图像目标检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705521A (zh) * 2021-09-05 2021-11-26 吉林大学第一医院 一种结合YOLO-MobilenetV3人脸检测的头部姿态估计方法

Also Published As

Publication number Publication date
CN118298513A (zh) 2024-07-05

Similar Documents

Publication Publication Date Title
TWI742382B (zh) 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備
CN110569837B (zh) 优化损伤检测结果的方法及装置
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN112070079B (zh) 基于特征图重赋权的x光违禁品包裹检测方法及装置
CN113159120A (zh) 一种基于多尺度跨图像弱监督学习的违禁物检测方法
CN112149514B (zh) 一种施工作业人员的安全着装检测方法及系统
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
US20200380692A1 (en) Segmentation-based damage detection
CN118298513B (zh) 一种基于机器视觉的电力作业违规行为检测方法及系统
CN112861631A (zh) 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法
CN113313703A (zh) 基于深度学习图像识别的无人机输电线巡检方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN114973116A (zh) 一种自注意力特征嵌入夜间机场跑道异物检测方法与系统
CN116152863A (zh) 一种人员信息识别方法、装置、电子设备及存储介质
CN113496148A (zh) 一种多源数据融合方法及系统
CN115359248A (zh) 基于元学习的机器人导航避障方法与系统
CN116258931B (zh) 基于ViT和滑窗注意力融合的视觉指代表达理解方法和系统
CN114758294A (zh) 分拨中心危险行为的监控方法、装置、设备和存储介质
CN101799925B (zh) 一种图像自动分割结果的性能分析方法
CN114255339A (zh) 一种输电导线断点识别方法、设备及存储介质
Liu et al. Computer vision technologies and machine learning algorithms for construction safety management: A critical review
CN118470332B (zh) 一种基于语义分割的劳动防护用品穿戴智能精细识别检测方法及装置
CN116503406B (zh) 基于大数据的水利工程信息管理系统
CN118279313B (zh) 基于改进FasterX的管道异常识别方法及系统
CN117036650B (zh) 一种基于ar眼镜的电网维护导航方法、介质及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant