CN116052082A - 一种基于深度学习算法的配电站房异常检测方法及装置 - Google Patents
一种基于深度学习算法的配电站房异常检测方法及装置 Download PDFInfo
- Publication number
- CN116052082A CN116052082A CN202310049195.8A CN202310049195A CN116052082A CN 116052082 A CN116052082 A CN 116052082A CN 202310049195 A CN202310049195 A CN 202310049195A CN 116052082 A CN116052082 A CN 116052082A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- deep learning
- abnormal
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 134
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 38
- 238000009826 distribution Methods 0.000 title claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000002776 aggregation Effects 0.000 claims abstract description 7
- 238000004220 aggregation Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 238000013138 pruning Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000009545 invasion Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012876 topography Methods 0.000 description 3
- 240000006365 Vitis vinifera Species 0.000 description 2
- 235000014787 Vitis vinifera Nutrition 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 244000141353 Prunus domestica Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- LLLILZLFKGJCCV-UHFFFAOYSA-M n-methyl-n-[(1-methylpyridin-1-ium-4-yl)methylideneamino]aniline;methyl sulfate Chemical compound COS([O-])(=O)=O.C=1C=CC=CC=1N(C)\N=C\C1=CC=[N+](C)C=C1 LLLILZLFKGJCCV-UHFFFAOYSA-M 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习算法的配电站房异常检测方法及装置，方法包括：获取配电站房内的图像，对图像进行预处理，其中所述预处理包括图像缩放，图像修补；将预处理后的图像输入训练好的基于深度学习算法的异常目标检测模型；根据所述异常目标检测模型的输出，确定配电站房异常检测结果。所述异常目标检测模型包括输入层、带CA注意力机制的主干网络、颈部网络和输出层；主干网络由一系列的卷积层组合而成，CA注意力机制用于融合位置信息；颈部网络采用特征图金字塔网络FPN+像素聚合网络PAN的结构，FPN与PAN相结合，得到最终进行预测的特征图。
Description
技术领域
本发明属于配电站房异常检测技术领域，涉及一种基于深度学习算法的配电站房异常检测方法及装置。
背景技术
随着互联网行业的飞速发展，人工智能技术趋于成熟，电力行业的配电站房逐渐趋向于无人化和智能化应用，这使得在提高电力作业效率的同时，也有效缓解了人力资源的浪费，创造了极大的经济收益和社会效益。然而，在无人值守的配电站房内部，出现违规或异常情况的频率激增，员工未佩戴安全帽违规出入站房，人员摔倒危及生命安全，配电站房内出现小动物入侵室内破坏电力设施、损坏线路导致出现安全事故等问题，极大的影响了站房内的安全环境，造成大量的人员伤亡和巨额的经济损失，使得智能化电网工作推进受到限制。
目前针对生物入侵问题所采用的防范手段是利用铁丝网、挡板、粘鼠板等传统方式阻止小动物进入室内，而这些方式的确能起到一定的防御效果，但同时存在着一定的问题。首先，利用这些方法的防御能力有限，动物可以通过别的途径进入站房内；其次，挡板等装置容易被动物破坏或老化腐蚀，需要定期检修更换，使得传统的方法并不能很好的满足需求。而对于人员摔倒和未佩戴安全帽的情况，通常只能由人工通过监控发觉，效率低下且造成人力资源的浪费。
发明内容
目的：为了克服现有技术中存在的不足，本发明提供一种基于深度学习算法的配电站房异常检测方法及装置，以实现对无人配电站房内生物入侵情况的自动化检测，并且实现对人员跌倒和违规行为的检测。
深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割。它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。
目前，基于深度学习的目标检测方法的检测精度不断上升，使得该技术不断应用到各个领域当中。在经济领域，利用灰色关系分析(GRA)和人工神经网络模型用于预测消费者交易所交易基金或者利用深度神经网络预测股票趋势。在工业领域，最为知名和热门的则是车联网的自动驾驶，利用深度学习技术对车道线、交通灯等目标进行检测，反馈车辆周围的异常信息。此外，在工业流水线上，缺陷检测也是目前目标检测的主要研究方向之一，利用缺陷产品和合格产品之间的差异甄别出不合格的物品，极大提高了质量检测效率。目标检测技术在农业领域同样大放异彩，提出了一种新的深度学习体系结构VddNet(葡萄藤病检测网络)，用于检测葡萄藤病害，利用knn算法进行柑橘的黄龙病检测。Zeze等人利用CNN实现了对苹果的识别。
综上，利用深度学习技术对图像进行目标检测，可以实现对图像内目标进行定位、识别和反馈，为本发明提出的异常检测方法提供强大的检测能力，达到对站房内异常情况和违规行为的检查和阻止。本方案中，提供了一种基于深度学习的站房入侵检测方法，本方案针对配电站房内的情况，改进了深度学习模型，实现站房内的实时异常检测。具体的讲，提出了一种利用剪枝技术和注意力机制技术，构建了一个轻量级异常检测模型。本方案基于一下几点：(1)加入注意力机制构建泛化能力更强的模型，提升光线较弱或模糊的物体检测能力；(2)对模型进行剪枝处理，获得模型体积更小和识别速度更快的模型，可部署在嵌入式终端中进行检测。该模型可以在摄像头拍摄到图像后进行实时检测，用来检测配电站房内的违规、异常和入侵问题。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
第一方面，提供一种基于深度学习算法的配电站房异常检测方法，包括：
获取配电站房内的图像，对图像进行预处理，其中所述预处理包括图像缩放，图像修补；
将预处理后的图像输入训练好的基于深度学习算法的异常目标检测模型；
根据所述异常目标检测模型的输出，确定配电站房异常检测结果；
其中所述异常目标检测模型包括输入层、带CA注意力机制的主干网络、颈部网络和输出层；所述主干网络由一系列的卷积层组合而成，CA注意力机制用于融合位置信息；所述颈部网络采用特征图金字塔网络FPN+像素聚合网络PAN的结构，其中特征图金字塔网络FPN是自顶向下的网络结构，通过上采样操作对高层特征图进行传递融合，传达高层的强语义特征，像素聚合网络PAN自底向上进行卷积操作，传递强定位特征，提高了不同尺度目标的检测能力；FPN与PAN相结合，得到最终进行预测的特征图。
在一些实施例中，所述异常目标检测模型的处理过程包括：
图像经过输入层送入主干网络，通过主干网络对输入的图像进行特征提取，生成高层特征图；
颈部网络对高层特征图进行分化检测，通过上采样网络和卷积神经网络并进行跨层拼接，分成不同大小的特征图进行不同大小目标检测；
将颈部网络输出的特征图通过输出层的卷积层进行分类，得到异常目标检测结果。
进一步地，在一些实施例中，分成不同大小的特征图进行不同大小目标检测，包括：分别得到用于检测小目标76*76大小的特征图、用于检测中等目标38*38大小的特征图和用于检测大目标的19*19大小的特征图。
在一些实施例中，所述异常目标检测模型的训练方法，包括：
获取训练数据集；
将训练数据集输入待训练的异常目标检测模型进行训练，对模型的输出进行加权非极大值抑制处理和置信度评估，结合损失函数对模型参数进行优化更新直至达到预设条件，得到训练好的异常目标检测模型。
进一步地，获取训练数据集还包括：对训练数据集进行数据增强处理，其中所述数据增强处理包括马赛克Mosaic数据增强、图像重叠、添加dropout噪声处理。
进一步地，Mosaic数据增强采用4张图片，随机缩放、随机裁剪、随机排布的方式进行拼接；
图像重叠是将两张相同大小的图片按照随机的比例进行融合，合成一张新的图片，比例数值服从参数都为的Beta分布；新的图片将拥有两张图片的目标，同时将两张图片的标签拼接到一起，形成新的标签；
添加dropout噪声为随机在图像上生成多个相同大小的矩形块，遮挡住原有图片，丢失矩形块位置的信息。
进一步地，将训练数据集输入待训练的异常目标检测模型进行训练，对模型的输出进行加权非极大值抑制处理和置信度评估，包括：
异常目标检测模型的输出包括检测出来的候选目标框的每个类别的分数、置信度分数和位置信息；
将每个候选目标框进行非极大值抑制处理，去除多余目标框，得到优质目标框；
将优质目标框的置信度与预设的置信度阈值进行比较，响应于置信度大于预设的置信度阈值，则判定合格，保存相关目标框和图片，返回结果。
进一步地，所述异常目标检测模型的训练方法还包括对异常目标检测模型进行剪枝处理：
通过对神经网络中卷积层后的BN层加入L1惩罚项来进行约束，使得模型参数稀疏化；BN层的输出OUT公式如下：
OUT＝γ*xi ′+β
其中，γ为缩放因子，β为平移因子；xi ′为BN层的输入；
γ的大小成正态分布，通过加入L1惩罚项，使得大量γ值趋于0，去除更多的不影响结果的层；
其中，L为模型训练的损失函数，式中第一项∑(x,l(f(x,W,y)是模型训练的损失，x为输入数据，与模型权重W计算出实际预测结果，其结果f(x,W和标签结果y计算loss损失，第二项λ∑γ∈rgγ)是约束条件其中γ为极坐标半径，gγ)为权值向量中各个元素的绝对值之和，λ是可调整的正则化系数，通过设置合适的λ值，使得权重达到稀疏化效果。
第二方面，本发明提供了一种基于深度学习算法的配电站房异常检测装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。
第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。
第四方面，本发明提供了一种计算设备，包括：
一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据第一方面所述的方法中的任一项方法的指令。
本发明提出的方法采用一阶段目标检测的机制进行入侵检测，该种方法依赖于YOLOv5目标检测模型来识别在配电站房中的生物入侵、人员跌倒和违规行为。选择运用该方法来构建异常检测机制基于下列几点原因:(1)YOLOv5算法模型在检测速度方面都有较好的效果，对其进行改进形成的异常检测系统可以对于配电站房内的物体检测进行快速扫描检测，由此提高检测的速度，达到实时检测的效果。(2)检测结果可以得到更加直观的展示和储存，方便用户观察和取用。(3)便于部署落地，对系统进行简单转化修改即可直接部署在不同的设备当中。
有益效果：本发明提供的基于深度学习算法的配电站房异常检测方法及装置，具有以下优点：利用卷积神经网络和计算机视觉技术对配电站房内的异常情况完成系统中的检测与定位，并构建一个轻量级，强干扰的异常检测模型，在不降低检测精度的前提下，有效地降低模型的体积和泛化能力，完成对站房内的实时监测和对异常与违规情况的识别。下面进行具体的说明。
高效率：目前很多对于配电站房内的检测研究着眼于利用物理措施和利用红外感应等装置进行加强和改进，甚至进行人工检测。而现有的目标检测算法直接应用于复杂的站房环境，误报率较高，效率低下。本发明提出的异常检测方法则是在不降低检测精度的情况下，提供了一个基于深度学习和模型剪枝技术的异常检测模型，该系统通过一阶段的目标检测算法加以剪枝，检测速度快，部署条件低，可移植性强，可以实现流畅的高效发现站房内的异常情况。
普适性强：在传统的解决方式中，由于地形因素和运维测试需要克服各种不利因素。例如，利用铁丝网，挡板等设施防范能力不强，在特殊地形很难防止动物入侵，且损坏后不易及时发现，需要定期检修。而使用红外方式进行检测，可能由于撞击，地形，天气原因失去工作能力。本方案提出的入侵检测方法则可以完全解决设备被破坏的问题，摄像头部署在高处，不易损坏，损坏时也可以通过监控及时发现。
可移植性高：现有的目标检测模型大多不能很好的应用于各种环境硬件条件下，由于模型的体积和系统版本问题，模型环境的搭建可能并不兼容，只能应用于特定的环境下。本发明提出的模型可以适用于多种设备条件，并取得不错的检测精度和运行延迟。对于软件环境，本发明的模型可以在各种稳定版本的Linux系统和Windows系统运行；对于硬件要求，本模型具有轻量级特点，对硬件要求较低，通过移植，可以部署在嵌入式开发板，手机，电脑等各种设备中。
附图说明
图1为根据本发明一实施例的基于深度学习算法的异常目标检测方法流程图。
图2为根据本发明一实施例的基于深度学习算法的异常目标检测模型示意图；
图3为根据本发明一实施例的模型剪枝效果对比图；
图4为根据本发明一实施例中基于深度学习算法的异常目标检测模型训练流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
实施例1
一种基于深度学习算法的配电站房异常检测方法，包括：
获取配电站房内的图像，对图像进行预处理，其中所述预处理包括图像缩放，图像修补；
将预处理后的图像输入训练好的基于深度学习算法的异常目标检测模型；
根据所述异常目标检测模型的输出，确定配电站房异常检测结果；
其中所述异常目标检测模型包括输入层、带CA注意力机制的主干网络、颈部网络和输出层；所述主干网络由一系列的卷积层组合而成，CA注意力机制用于融合位置信息；所述颈部网络采用特征图金字塔网络FPN+像素聚合网络PAN的结构，其中特征图金字塔网络FPN是自顶向下的网络结构，通过上采样操作对高层特征图进行传递融合，传达高层的强语义特征，像素聚合网络PAN自底向上进行卷积操作，传递强定位特征，提高了不同尺度目标的检测能力；FPN与PAN相结合，得到最终进行预测的特征图。
在一些实施例中，所述异常目标检测模型的处理过程包括：
图像经过输入层送入主干网络，通过主干网络对输入的图像进行特征提取，生成高层特征图；
颈部网络对高层特征图进行分化检测，通过上采样网络和卷积神经网络并进行跨层拼接，分成不同大小的特征图进行不同大小目标检测；
将颈部网络输出的特征图通过输出层的卷积层进行分类，得到异常目标检测结果。
进一步地，在一些实施例中，分成不同大小的特征图进行不同大小目标检测，包括：分别得到用于检测小目标76*76大小的特征图、用于检测中等目标38*38大小的特征图和用于检测大目标的19*19大小的特征图。
在一些实施例中，所述异常目标检测模型的训练方法，包括：
获取训练数据集；
将训练数据集输入待训练的异常目标检测模型进行训练，对模型的输出进行加权非极大值抑制处理和置信度评估，结合损失函数对模型参数进行优化更新直至达到预设条件，得到训练好的异常目标检测模型。
进一步地，获取训练数据集还包括：对训练数据集进行数据增强处理，其中所述数据增强处理包括马赛克Mosaic数据增强、图像重叠、添加dropout噪声处理。
进一步地，Mosaic数据增强采用4张图片，随机缩放、随机裁剪、随机排布的方式进行拼接；
图像重叠是将两张相同大小的图片按照随机的比例进行融合，合成一张新的图片，比例数值服从参数都为的Beta分布；新的图片将拥有两张图片的目标，同时将两张图片的标签拼接到一起，形成新的标签；
添加dropout噪声为随机在图像上生成多个相同大小的矩形块，遮挡住原有图片，丢失矩形块位置的信息。
进一步地，将训练数据集输入待训练的异常目标检测模型进行训练，对模型的输出进行加权非极大值抑制处理和置信度评估，包括：
异常目标检测模型的输出包括检测出来的候选目标框的每个类别的分数、置信度分数和位置信息；
将每个候选目标框进行非极大值抑制处理，去除多余目标框，得到优质目标框；
将优质目标框的置信度与预设的置信度阈值进行比较，响应于置信度大于预设的置信度阈值，则判定合格，保存相关目标框和图片，返回结果。
进一步地，所述异常目标检测模型的训练方法还包括对异常目标检测模型进行剪枝处理：
通过对神经网络中卷积层后的BN层加入L1惩罚项来进行约束，使得模型参数稀疏化；BN层的输出OUT公式如下：
OUT＝γ*xi ′+β
其中，γ为缩放因子，β为平移因子；xi ′为BN层的输入；
γ的大小成正态分布，通过加入L1惩罚项，使得大量γ值趋于0，去除更多的不影响结果的层；
其中，L为模型训练的损失函数，式中第一项∑(x,l(f(x,W,y)是模型训练的损失，x为输入数据，与模型权重W计算出实际预测结果，其结果f(x,W和标签结果y计算loss损失，第二项λ∑γ∈rgγ)是约束条件其中γ为极坐标半径，gγ)为权值向量中各个元素的绝对值之和，λ是可调整的正则化系数，通过设置合适的λ值，使得权重达到稀疏化效果。
在一些具体实施例中，包括：
1.建立深度学习异常检测模型
本发明的设计方案强调检测的效率及精确度。前者主要通过在保证算法正确的前提下，对原算法参数进行有效约减、模型通道数量进行必要简化来实现；后者是在原深度学习算法的基础上引入了注意力机制、数据增强等算法，有效解决基于深度学习的配电站房异常行为检测定位于分类问题。
针对于配电站房场景，构建一个轻量级异常目标检测模型，根据如今主流的目标检测模型规范，可以将模型分为输入，主干网络，颈部网络和输出四个部分。
(1)输入端：在模型的输入端，本发明对训练数据集进行了数据增强处理。
首先，对数据集进行了Mosaic数据增强，Mosaic采用了4张图片，随机缩放、随机裁剪、随机排布的方式进行拼接。
其次，加入了图像重叠技术。图像重叠的原理是将两张相同大小的图片按照随机的比例进行融合，合成一张新的图片，比例数值服从参数都为的Beta分布。新的图片将拥有两张图片的目标，同时将两张图片的标签拼接到一起，形成新的标签，该做法可以有效增强模型的检测能力，抵抗含有噪声数据的标签，提升鲁棒性。
添加dropout噪声也是数据增强的一种方法。随机在图像上生成多个相同大小的矩形块，遮挡住原有图片，丢失其位置的信息，增加模型训练复杂度，本文对15％训练样本进行了噪声加强。
因为检测的目标为很肯运动的状态，摄像头拍摄效果较差，实时图像可能较为模糊，本发明对训练图像进行了运动模糊处理。对目标周围的多个像素进行模糊化，使得更接近真实场景中的动物拍摄情况。
(2)主干网络：主干网络由一系列的卷积层组合而成，主要作用就是提取输入图像的特征，形成不同颗粒度的高维特征图。
在目前的卷积神经网络中，很难从全局特征中获取关键特征。效仿人类从图像中快速获取关键信息的能力，研究人员设计实现了注意力机制。本发明将CA注意力机制嵌入YOLOv5s模型的主干网络中，以获取更好的精度。CA(Coordinate attention)注意力机制可以很好的融合位置信息，同时考虑通道信息和特征空间的位置信息，同时具有更好的迁移能力。
(3)颈部网络：neck部分采用FPN+PAN的结构。其中FPN是自顶向下的网络结构，通过上采样操作对高层特征图进行传递融合，传达高层的强语义特征，PAN层自底向上进行卷积操作，传递强定位特征，提高了不同尺度目标的检测能力。两者相结合，得到最终进行预测的特征图。
(4)输出：在模型输出端进行Bounding box损失函数计算和加权nms非极大值抑制处理，计算出距离真实目标框最相似的目标进行输出，最后通过反向传播和优化器操作对模型参数进行迭代更新。
通过上述模型步骤，可以得到精度高，泛化能力强的异常检测模型，但检测速度和模型体积还能继续优化，以提高模型效率。
若通过减少输入图像大小的方式确实可以有效减少计算量，但也会影响模型的精度，严重影响模型检测结果。因此，本文采用模型剪枝的方法对网络结构进行裁剪，在不降低精度的同时，减少模型体积，加快推理速度。首先，通过对神经网络中卷积层后的BN(Batch Normalization)层加入L1惩罚项来进行约束，使得模型参数稀疏化。BN层的输出公式如下：
OUT＝γ*xi ′+β
其中，γ为缩放因子，β为平移因子。可以看到γ与输出成正比，若某一层对应的γ的值过于小，则输出结果可以忽略不计，则证明这一层对检测检测结果影响很小，去除该层并不影响结果精度。正常情况下，γ的大小成正态分布，通过加入L1惩罚项，可以使得大量γ值趋于0，因此可以去除更多的不影响结果的层。
公式中第一项是模型训练的损失，第二项是约束条件其中gγ)＝|s|，λ是可调整的正则化系数，通过设置合适的λ值，使得权重达到稀疏化效果。进行稀疏化后，剪去稀疏参数很小的相关层，这种层对模型精度影响很小，裁剪后依旧可以保证模型的性能。本文中结果剪枝迭代训练后，降低了模型的检测时延和内存占用。
至此，模型训练完毕，搭建完成，将模型在部署后，可直接进行异常检测。
2.利用训练模型部署检测
将训练好的模型部署在电脑，服务器或终端设备上，连接摄像头，即可进行实时异常目标检测。
该方法具体如下：
分布于各个站房内的摄像头实时监控站房内的实时情况，当打开检测开关时，激活模型的并实时进行检测：
首先，对站房内摄像头拍摄的图像送入模型中进行预处理，改变图像的参数使得利于模型检测，包括：图像缩放，图像修补等；将处理后图像送入模型入口，经过主干网络(Backbone Network)结构生成大量特征图，本发明在主干网络中加入了CA注意力机制，可以更好的关注到由于光线、角度等因素造成的难以识别的目标，将生成的特征图通过颈部网络(Neck Network)分化检测，把特征图通过上采样，残差结构和concat拼接的形式分成不同大小的特征图进行不同大小目标检测，目的是提高检测精度。最后分别通过一个卷积层(Convolutional layer)进行图像的分类(包括猫，狗，跌倒人员，和未配到安全帽人员)，并把识别结果返回。由于返回结果是tensor形式，需要进行一定的后处理才能转化为我们想要的识别图像，同时还会打印置信度以及分类结果。最终，将初始设定的置信度阈值和最后检测出的阈值进行数值大小比较：如果检测出的异常置信度小于阈值，则不合格，不将结果标注和保存；如果置信度大于阈值，则判定合格，保存相关目标框和图片，返回结果。
综上所述异常目标检测的具体步骤如下：
步骤1：初始化——设定的置信度阈值conf-thres，模型文件weights，检测图像路径source、图像预处理大小img-size等参数；
步骤2：图像通过包含两层CA注意力机制的模型主干网络(Backbone Network)，得到1024个相同大小的特征图；
步骤3：特征图在颈部网络(Neck Network)通过大量的上采样网络和卷积神经网络，并进行跨层拼接，分别得到用于检测小目标76*76大小、用于检测中等目标38*38大小和用于检测大目标的19*19大小的特征图；
步骤4：将特征图送入最后一层卷积层进行分类并输出，对于每一个检测出来的目标框分别得到每个类别的分数、置信度分数和位置信息；
步骤5：将每个目标框进行NMS(Non Maximum Suppression)非极大值抑制处理，去除多余目标框；
步骤6：将剩余优质目标框输出并显示在图上，同时打出置信度分数和类别信息，并对结果进行保存。
实施例2
第二方面，本实施例提供了一种基于深度学习算法的配电站房异常检测装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例1所述方法的步骤。
实施例3
第三方面，本实施例提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。
实施例4
第四方面，本发明提供了一种计算设备，包括：
一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行实现实施例1所述的方法中的任一项方法的指令。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于深度学习算法的配电站房异常检测方法，其特征在于，包括：
获取配电站房内的图像，对图像进行预处理，其中所述预处理包括图像缩放，图像修补；
将预处理后的图像输入训练好的基于深度学习算法的异常目标检测模型；
根据所述异常目标检测模型的输出，确定配电站房异常检测结果；
其中所述异常目标检测模型包括输入层、带CA注意力机制的主干网络、颈部网络和输出层；所述主干网络由一系列的卷积层组合而成，CA注意力机制用于融合位置信息；所述颈部网络采用特征图金字塔网络FPN+像素聚合网络PAN的结构，其中特征图金字塔网络FPN是自顶向下的网络结构，通过上采样操作对高层特征图进行传递融合，传达高层的强语义特征，像素聚合网络PAN自底向上进行卷积操作，传递强定位特征，提高了不同尺度目标的检测能力；FPN与PAN相结合，得到最终进行预测的特征图。
2.根据权利要求1所述的基于深度学习算法的配电站房异常检测方法，其特征在于，所述异常目标检测模型的处理过程包括：
图像经过输入层送入主干网络，通过主干网络对输入的图像进行特征提取，生成高层特征图；
颈部网络对高层特征图进行分化检测，通过上采样网络和卷积神经网络并进行跨层拼接，分成不同大小的特征图进行不同大小目标检测；
将颈部网络输出的特征图通过输出层的卷积层进行分类，得到异常目标检测结果。
3.根据权利要求2所述的基于深度学习算法的配电站房异常检测方法，其特征在于，分成不同大小的特征图进行不同大小目标检测，包括：分别得到用于检测小目标76*76大小的特征图、用于检测中等目标38*38大小的特征图和用于检测大目标的19*19大小的特征图。
4.根据权利要求1所述的基于深度学习算法的配电站房异常检测方法，其特征在于，所述异常目标检测模型的训练方法，包括：
获取训练数据集；
将训练数据集输入待训练的异常目标检测模型进行训练，对模型的输出进行加权非极大值抑制处理和置信度评估，结合损失函数对模型参数进行优化更新直至达到预设条件，得到训练好的异常目标检测模型。
5.根据权利要求4所述的基于深度学习算法的配电站房异常检测方法，其特征在于，获取训练数据集还包括：对训练数据集进行数据增强处理，其中所述数据增强处理包括马赛克Mosaic数据增强、图像重叠、添加dropout噪声处理。
6.根据权利要求5所述的基于深度学习算法的配电站房异常检测方法，其特征在于，Mosaic数据增强采用4张图片，随机缩放、随机裁剪、随机排布的方式进行拼接；
图像重叠是将两张相同大小的图片按照随机的比例进行融合，合成一张新的图片，比例数值服从参数都为的Beta分布；新的图片将拥有两张图片的目标，同时将两张图片的标签拼接到一起，形成新的标签；
添加dropout噪声为随机在图像上生成多个相同大小的矩形块，遮挡住原有图片，丢失矩形块位置的信息。
7.根据权利要求4所述的基于深度学习算法的配电站房异常检测方法，其特征在于，将训练数据集输入待训练的异常目标检测模型进行训练，对模型的输出进行加权非极大值抑制处理和置信度评估，包括：
异常目标检测模型的输出包括检测出来的候选目标框的每个类别的分数、置信度分数和位置信息；
将每个候选目标框进行非极大值抑制处理，去除多余目标框，得到优质目标框；
将优质目标框的置信度与预设的置信度阈值进行比较，响应于置信度大于预设的置信度阈值，则判定合格，保存相关目标框和图片，返回结果。
8.根据权利要求4所述的基于深度学习算法的配电站房异常检测方法，其特征在于，所述异常目标检测模型的训练方法还包括对异常目标检测模型进行剪枝处理：
通过对神经网络中卷积层后的BN层加入L1惩罚项来进行约束，使得模型参数稀疏化；BN层的输出OUT公式如下：
OUT＝γ*xi ′+β
其中，γ为缩放因子，β为平移因子；xi ′为BN层的输入；
γ的大小成正态分布，通过加入L1惩罚项，使得大量γ值趋于0，去除更多的不影响结果的层；
其中，L为模型训练的损失函数，式中第一项∑(x,l(f(x,W,y)是模型训练的损失，x为输入数据，与模型权重W计算出实际预测结果，其结果f(x,W和标签结果y计算loss损失，第二项λ∑γ∈rgγ)是约束条件其中γ为极坐标半径，gγ)为权值向量中各个元素的绝对值之和，λ是可调整的正则化系数，通过设置合适的λ值，使得权重达到稀疏化效果。
9.一种基于深度学习算法的配电站房异常检测装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1至8任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310049195.8A CN116052082A (zh) | 2023-02-01 | 2023-02-01 | 一种基于深度学习算法的配电站房异常检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310049195.8A CN116052082A (zh) | 2023-02-01 | 2023-02-01 | 一种基于深度学习算法的配电站房异常检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116052082A true CN116052082A (zh) | 2023-05-02 |
Family
ID=86116459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310049195.8A Pending CN116052082A (zh) | 2023-02-01 | 2023-02-01 | 一种基于深度学习算法的配电站房异常检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116052082A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681980A (zh) * | 2023-07-31 | 2023-09-01 | 北京建筑大学 | 基于深度学习的大缺失率图像修复方法、装置和存储介质 |
| CN117468084A (zh) * | 2023-12-27 | 2024-01-30 | 浙江晶盛机电股份有限公司 | 晶棒生长控制方法、装置、长晶炉系统和计算机设备 |
| CN118155106A (zh) * | 2024-05-13 | 2024-06-07 | 齐鲁空天信息研究院 | 面向山区救援的无人机行人检测方法、系统、设备及介质 |
-
2023
- 2023-02-01 CN CN202310049195.8A patent/CN116052082A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681980A (zh) * | 2023-07-31 | 2023-09-01 | 北京建筑大学 | 基于深度学习的大缺失率图像修复方法、装置和存储介质 |
| CN116681980B (zh) * | 2023-07-31 | 2023-10-20 | 北京建筑大学 | 基于深度学习的大缺失率图像修复方法、装置和存储介质 |
| CN117468084A (zh) * | 2023-12-27 | 2024-01-30 | 浙江晶盛机电股份有限公司 | 晶棒生长控制方法、装置、长晶炉系统和计算机设备 |
| CN117468084B (zh) * | 2023-12-27 | 2024-05-28 | 浙江晶盛机电股份有限公司 | 晶棒生长控制方法、装置、长晶炉系统和计算机设备 |
| CN118155106A (zh) * | 2024-05-13 | 2024-06-07 | 齐鲁空天信息研究院 | 面向山区救援的无人机行人检测方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111353413B (zh) | 一种输电设备低漏报率缺陷识别方法 | |
| CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| CN110688925B (zh) | 基于深度学习的级联目标识别方法及系统 | |
| CN116052082A (zh) | 一种基于深度学习算法的配电站房异常检测方法及装置 | |
| KR20180135898A (ko) | 기계 학습에 의해 객체 분류기를 훈련시키는 시스템 및 방법 | |
| CN111553403B (zh) | 基于伪3d卷积神经网络的烟雾检测方法及系统 | |
| Maksymiv et al. | Real-time fire detection method combining AdaBoost, LBP and convolutional neural network in video sequence | |
| CN113989702B (zh) | 一种目标识别方法和装置 | |
| CN115457428A (zh) | 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置 | |
| Jiang et al. | A self-attention network for smoke detection | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| Yandouzi et al. | Investigation of combining deep learning object recognition with drones for forest fire detection and monitoring | |
| CN111539325A (zh) | 基于深度学习的森林火灾探测方法 | |
| CN112270671B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN116884192A (zh) | 一种电力生产作业风险预警方法、系统和设备 | |
| CN113191273A (zh) | 基于神经网络的油田井场视频目标检测与识别方法及系统 | |
| CN115546742A (zh) | 一种基于单目热红外摄像头的铁轨异物识别方法及系统 | |
| CN114155551A (zh) | 基于YOLOv3改进的复杂环境下的行人检测方法及装置 | |
| CN111339952B (zh) | 基于人工智能的图像分类方法、装置及电子设备 | |
| Madhumathi et al. | Advanced Wild Animal Detection and Alert System using YOLO V5 Model | |
| Yang et al. | Abnormal Object Detection with an Improved YOLOv8 in the Transmission Lines | |
| CN112329550A (zh) | 基于弱监督学习的受灾建筑快速定位评估方法及装置 | |
| CN118038021A (zh) | 基于改进yolov4的变电站作业现场异物入侵检测方法 | |
| Shetty et al. | Animal Detection and Classification in Image & Video Frames Using YOLOv5 and YOLOv8 | |
| CN115083229B (zh) | 基于ai视觉识别的飞行训练设备智能识别与警示系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Hao Inventor after: Zhu Tianze Inventor after: Jiang Chao Inventor after: Zhao Cheng Inventor after: Chen Zhiming Inventor after: Li Chunpeng Inventor after: Wang Baoping Inventor after: Luan Qiqi Inventor after: Yang Xiaoping Inventor after: Li Jun Inventor after: Guan Guofei Inventor after: Song Qingwu Inventor after: Jiang Feng Inventor before: Zhang Hao Inventor before: Zhu Tianze Inventor before: Jiang Chao Inventor before: Zhao Cheng Inventor before: Chen Zhiming Inventor before: Su Yubiao Inventor before: Jiang Lincen Inventor before: Xu He Inventor before: Ji Yimu Inventor before: Liu Shangdong Inventor before: Li Chunpeng Inventor before: Wang Baoping Inventor before: Luan Qiqi Inventor before: Yang Xiaoping Inventor before: Li Jun Inventor before: Guan Guofei Inventor before: Song Qingwu Inventor before: Jiang Feng |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240122 Address after: 211100 No. 19 Tianyuan Middle Road, Jiangning Science Park, Nanjing City, Jiangsu Province Applicant after: JIANGSU FANGTIAN POWER TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 211100 No. 19 Tianyuan Middle Road, Jiangning Science Park, Nanjing City, Jiangsu Province Applicant before: JIANGSU FANGTIAN POWER TECHNOLOGY Co.,Ltd. Country or region before: China Applicant before: NANJING University OF POSTS AND TELECOMMUNICATIONS |