[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116612124B - 一种基于双分支串行混合注意力的输电线路缺陷检测方法 - Google Patents

一种基于双分支串行混合注意力的输电线路缺陷检测方法 Download PDF

Info

Publication number
CN116612124B
CN116612124B CN202310897591.6A CN202310897591A CN116612124B CN 116612124 B CN116612124 B CN 116612124B CN 202310897591 A CN202310897591 A CN 202310897591A CN 116612124 B CN116612124 B CN 116612124B
Authority
CN
China
Prior art keywords
transmission line
representing
defect detection
attention
serial mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310897591.6A
Other languages
English (en)
Other versions
CN116612124A (zh
Inventor
张凌浩
向思屿
邝俊威
常政威
滕予非
王红军
刘春�
王胜
刘雪原
唐超
魏阳
陈玉敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority to CN202310897591.6A priority Critical patent/CN116612124B/zh
Publication of CN116612124A publication Critical patent/CN116612124A/zh
Application granted granted Critical
Publication of CN116612124B publication Critical patent/CN116612124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于双分支串行混合注意力的输电线路缺陷检测方法，属于输电线路缺陷检测技术领域，该方法包括构建基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型，其中，所述基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型包括双分支串行混合注意力DBSA和特征金字塔WCFPN；利用基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型对输电线路进行缺陷检测。本发明解决了现有的输电线路缺陷检测方法不能很好地克服小目标和复杂背景两个难点的问题。

Description

一种基于双分支串行混合注意力的输电线路缺陷检测方法
技术领域
本发明属于输电线路缺陷检测技术领域，尤其涉及一种基于双分支串行混合注意力的输电线路缺陷检测方法。
背景技术
随着我国电力需求的不断增长，我国输电线路的总长度也在迅速增加。作为电力系统重要的组成部分，输电线路的状况关系到电力系统的安全与稳定，因此，定期检查输电线路、及时发现输电线路的缺陷以防止大面积停电具有重大的研究意义。
在电力系统缺陷检测中，无人机巡检因其便捷的优点被广泛使用，但目前无人机采集的图片仍依赖人工肉眼检查，这种方式效率较低且容易造成漏检、误检的问题。近年来，深度学习与计算机视觉的快速发展，使得基于深度学习的目标检测、语义分割等算法在医疗、交通领域得到了广泛的应用，将这些目标检测算法用于输电线路缺陷检测可以让电网巡检变得更高效和智能。
基于深度学习的目标检测算法主要分为两类，一类是基于回归的单阶段算法，另一类是基于区域建议网络(RPN)的二阶段算法。但这类算法检测速度慢，不能满足电网巡检中的实时性要求。因此本发明主要研究单阶段目标检测算法，将其应用于输电线领域，准确高效地检测输电线路中的缺陷。
相较于一般的目标检测场景，输电线缺陷检测有以下难点：(1)缺陷尺寸小，无人机航拍的图片清晰度高，分辨率大，而异物、绝缘子自爆、销钉等尺寸较小，在整张图片中只占很小的比例，有些缺陷肉眼也难以分辨。(2)背景复杂，输电线路遍布全国各地，航拍的巡检图像背景各异，有山川、河流、树林和雪地等，大量的无关噪音给检测带来了很大干扰。
因此，现有的目标检测算法不能很好地克服小目标和复杂背景两个难点，其存在在输电线异物、绝缘子自爆、销钉缺失、水泥杆破损和防振锤损坏等场景检测精度低的问题。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于双分支串行混合注意力的输电线路缺陷检测方法，解决了现有的输电线路缺陷检测方法不能很好地克服小目标和复杂背景两个难点的问题，以提高高分辨率巡检图片中复杂背景下缺陷的检测精度。
为了达到以上目的，本发明采用的技术方案为：
本方案提供一种基于双分支串行混合注意力的输电线路缺陷检测方法，包括以下步骤：
S1、构建基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型，其中，所述基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型包括双分支串行混合注意力DBSA和特征金字塔WCFPN；
S2、利用基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型对输电线路进行缺陷检测。
本发明的有益效果是：本发明提出了基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型，提出了DBSA注意力机制和WCFPN特征金字塔，设计了DBSA串行双分支混合注意力，让模型将更多的权重放到缺陷上，减少无关背景信息对检测的干扰。同时利用特征金字塔WCFPN，采用跨尺度融合和跳层连接让金字塔内部的输电线路特征发生更充分的交互，提高模型检测小目标的能力，解决了现有的输电线路缺陷检测方法不能很好地克服小目标和复杂背景两个难点的问题。
进一步地，所述步骤S1中构建基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型，其具体为：
将双分支串行混合注意力DBSA嵌入至YOLOv7的主干网络Backbone中，并用特征金字塔WCFPN作为基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型的颈部结构Neck，完成对基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型的构建。
上述进一步方案的有益效果是：本发明在主干网络中加入双分支串行混合注意力DBSA，并利用特征金字塔WCFPN，提供了从早期节点到后期节点更有效的信息传输，在五个数据集上进行实验，取得了更高的缺陷检测精度。
再进一步地，所述步骤S2包括以下步骤：
S201、获取输电线路数据，并对其进行数据增强处理；
S202、将经增强处理后的输电线路数据输入至主干网络Backbone中；
S203、利用主干网络Backbone和双分支串行混合注意力DBSA，提取三种不同大小的输电线路特征图；
S204、将三种不同大小的输出电线特征图，利用特征金字塔WCFPN的跨尺度融合和跳跃连接对不同空间尺度和不同层次的潜在语义进行信息交换；
S205、根据信息交换结果，利用基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型的检测头Head进行检测，得到输出线路缺陷的位置和种类，完成对输电线路的缺陷检测。
上述进一步方案的有益效果是：本发明利用双分支串行混合注意力DBSA来增强模型的特征提取能力，让深度神经网络模型充分关注缺陷的信息，抑制背景等无关信息，同时让特征金字塔WCFPN的高层语义信息和底层空间信息发生更充分的交互，提升模型检测小目标的能力，从而更好地检测到输电线路中的缺陷。
再进一步地，所述步骤S203包括以下步骤：
S2031、对输入的经增强处理后的输电线路数据，经卷积网络提取得到三个不同大小的原始特征图，将不同大小的特征图沿高度和宽度两个分支分别进行全局平均池化压缩处理，生成输电线路宽度特征f 1和输电线路高度特征f 2；
S2032、将输电线路宽度特征f 1和输电线路高度特征f 2分别沿通道维度取平均值，生成一维输电线路宽度信息g 1和一维输电线路高度信息g 2；
S2033、根据一维输电线路宽度信息g 1和一维输电线路高度信息g 2，利用一维卷积运算得到一维输电线路宽度注意力因子和一维高度输电线路高度注意力因子；
S2034、根据一维输电线路宽度注意力因子和一维高度输电线路高度注意力因子，计算得到三个不同大小特征图的输电线路空间注意力；
S2035、利用三个不同大小特征图的输电线路空间注意力对三个不同大小的原始特征图进行重新校准计算，得到经双分支串行混合注意力DBSA提取的三种不同大小的输电线路特征图。
上述进一步方案的有益效果是：本发明利用双分支串行混合注意力DBSA来增强模型的特征提取能力，让模型充分关注缺陷的信息，抑制背景等无关信息。
再进一步地，所述输电线路宽度特征f 1和输电线路高度特征f 2的表达式如下：
其中，表示输电线路的宽度特征，表示输电线路特征图的第j列，表示输电线路特征图的第z个通道，表示输电线路特征图上的第i行、第j列以及第z个通道的特征值，表示输电线路特征图的第i行，表示输电线路的高度特征，、和分别表示高度h、宽度w以及通道c的下标，、和分别表示、和的最大值。
上述进一步方案的有益效果是：本发明将特征信息分别沿高度和宽度进行压缩，让模型提取到输入信息的宽度特征和高度特征。
再进一步地，所述一维输电线路宽度信息g 1和一维输电线路高度信息g 2的表达式如下：
其中，表示输电线路特征图沿第j列压缩后的宽度信息，表示输电线路特征图沿第i行压缩后的高度信息。
上述进一步方案的有益效果是：本发明将宽度特征和高度特征沿通道维度进行压缩，生成宽度信息和高度信息。
附图说明
图1为本发明的方法流程图。
图2为本实施例中双分支串行混合注意力DBSA的结构示意图。
图3为本实施例中特征金字塔WCFPN的结构图。
图4为本实施例中特征金字塔WCFPN的跨尺度融合和层级聚合结构L-ELAN示意图。
图5为本实施例中基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型模型结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例
本发明利用注意力机制来增强深度神经网络模型的特征提取能力，让模型充分关注缺陷的信息，抑制背景等无关信息，同时让特征金字塔的高层语义信息和底层空间信息发生更充分的交互，提升模型检测小目标的能力，从而更好地检测到输电线路中的缺陷，所述模型为基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型。如图1所示，本发明提供了一种基于双分支串行混合注意力的输电线路缺陷检测方法，其实现方法如下：
S1、构建基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型，其中，所述基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型包括双分支串行混合注意力DBSA和特征金字塔WCFPN，其具体为：
如图5所示，将双分支串行混合注意力DBSA嵌入至YOLOv7的主干网络Backbone中，并用特征金字塔WCFPN作为基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型的颈部结构Neck，完成对基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型的构建，图5中，CBS表示卷积层操作，包括Conv（卷积）+ BN（批归一化处理）+ SiLU（激活函数）；DBSA表示本发明提出的双分支串行混合注意力DBSA；ELAN表示多个卷积操作，由多个CBS构成；L-ELAN表示本发明提出的层级聚合结构，具体结构见图4；C表示特征图在通道维度进行拼接；MP表示Maxpool（最大池化）+CBS；Repconv表示结构重参数化卷积操作。
本实施例中，输电线路缺陷检测深度神经网络模型的损失函数为：
其中，、和均表示损失权重，表示分类损失，表示位置损失，表示置信度损失，S表示特征图大小，B表示每个格子预测的边界框数量，1表示指示函数，表示第个格子中第个边界框的预测的类别概率，表示第个格子中第个边界框的真实类别，表示第个格子中第个边界框是否包含对象，表示底为2的log函数，表示位置损失的权重，表示第个格子中第个边界框的真实位置信息，表示预测的位置信息，n表示、y、w、h四者中的一个，表示预测框的高度坐标，y表示预测框的宽度坐标，w表示预测框的宽度大小，h表示预测框的高度大小，表示置信度损失的权重，表示第个格子中第个边界框是否不包含对象。
S2、利用基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型对输电线路进行缺陷检测，其实现方法如下：
S201、获取输电线路数据，并对其进行数据增强处理；
S202、将经增强处理后的输电线路数据输入至主干网络Backbone中；
S203、利用主干网络Backbone和双分支串行混合注意力DBSA，提取三种不同大小的输电线路特征图，其实现方法如下：
S2031、对输入的经增强处理后的输电线路数据，经卷积网络提取得到三个不同大小的原始特征图，将不同大小的特征图沿高度和宽度两个分支分别进行全局平均池化压缩处理，生成输电线路宽度特征f 1和输电线路高度特征f 2；
S2032、将输电线路宽度特征f 1和输电线路高度特征f 2分别沿通道维度取平均值，生成一维输电线路宽度信息g 1和一维输电线路高度信息g 2；
S2033、根据一维输电线路宽度信息g 1和一维输电线路高度信息g 2，利用一维卷积运算得到一维输电线路宽度注意力因子和一维高度输电线路高度注意力因子；
S2034、根据一维输电线路宽度注意力因子和一维高度输电线路高度注意力因子，计算得到三个不同大小特征图的输电线路空间注意力；
S2035、利用三个不同大小特征图的输电线路空间注意力对三个不同大小的原始特征图进行重新校准计算，得到经双分支串行混合注意力DBSA提取的三种不同大小的输电线路特征图。
本实施例中，双分支串行混合注意力DBSA让模型将更多的权重放在输入图片的缺陷而不是背景上，进而抑制了无关背景的干扰，克服了输电线路背景复杂的难题。
S204、将三种不同大小的输出电线特征图，利用特征金字塔WCFPN的跨尺度融合和跳跃连接对不同空间尺度和不同层次的潜在语义进行信息交换；
本实施例中，高层语义信息和底层空间信息的充分融合让模型更好地认识到整体与局部间的关联，从而准确定位到小目标缺陷的位置，进而克服输电线路缺陷检测中小目标的难题。
S205、根据信息交换结果，利用基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型的检测头Head进行检测，得到输出线路缺陷的位置和种类，完成对输电线路的缺陷检测。
本实施例中，本发明设计了基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型，模型设计了双分支串行混合注意力DBSA和特征金字塔WCFPN，构建了更适用于输电线路缺陷检测的模型。通过构建的深度神经网络模型对输电线路缺陷进行检测，输入经数据增强后进入模型的主干网络，经过双分支串行混合注意力等一系列卷积和池化操作提取到三种不同大小的输电线路特征图，三种输电线路特征图经特征金字塔WCFPN的跨尺度融合和跳层连接对不同空间尺度和不同层次的潜在语义进行信息交换，进入检测头检测,输出缺陷的位置和种类。
本实施例中，本发明提出的双分支串行混合注意力结构如下图2所示，图2中，GAP表示全局平均池化，Channel Average表示沿通道方向取平均值，Conv1d表示一维卷积，表示输入的特征图，H表示输入的高度，W表示输入的宽度，C表示输入的通道数，表示经DBSA注意力校正计算得到的特征图。输入经过双分支路径分别提取输电线路特征图的高度和宽度注意力因子，两者相乘得到空间注意力，经过空间注意力计算得到的特征图再进行全局平均池化和一维卷积得到通道注意力。最终，经空间注意力计算得到的特征图再经过通道注意力的计算得到输出，其中，R表示输入的维度。
输电线路空间特征图包含了输电线路特征的空间分布信息，提取空间信息可以更准确地定位到缺陷的位置，对输入沿高度和宽度两个分支分别进行全局平均池化压缩，生成的宽度特征和的高度特征。
其中，表示输电线路的宽度特征，表示输电线路特征图的第j列，表示输电线路特征图的第z个通道，表示输电线路特征图上的第i行、第j列以及第z个通道的特征值，表示输电线路特征图的第i行，表示输电线路的高度特征，、和分别表示高度h、宽度w以及通道c的下标，、和分别表示、和的最大值。
宽度特征和高度特征分别再沿通道维度取平均值，如下式所示，生成和的一维宽度信息g 1和一维高度信息g 2，再用一维卷积运算得到一维宽度注意力因子和一维高度注意力因子，两者相乘得到的空间注意力。
其中，表示输电线路特征图沿第j列压缩后的宽度信息，表示输电线路特征图沿第i行压缩后的高度信息。
经空间注意力完善的特征图有个通道，但每个通道的重要程度不同，通过通道注意力为每个通道分配不同的权重，以便模型能更好地识别输入特征的内容，从而更好地识别巡检图像中缺陷的种类。首先对输入进行全局平均池化，将每个通道上的个特征信息加和求平均值，得到每个通道对应的特征，再采用一维卷积核代替压缩和激励网络SENet的全连接层进行跨通道交互，显著降低模型复杂度的同时获得更准确的通道注意力：
其中，表示第z个通道上的输电线特征信息，表示输入特征的高度，表示输入特征的宽度，表示输入特征的通道值，表示特征图上某个坐标下的特征值，表示第i行，表示第j列，表示第z个通道。
本实施例中，本发明提出的特征金字塔结构WCFPN如下图3所示，图3，输入至主干网络，C3、C4、C5表示三个不同大小的特征图，M、N、L、P表示不同的金字塔特征层，金字塔内部共有M、N、L、P四个特征层（特征层M包括M3、M4和M5三个特征层，特征层N包括N3、N4和N5三个特征层，特征层L包括L 3、L 4和L 5三个特征层，特征层P包括P3、P4和P5三个特征层，），主干网络提取的特征C3、C4和C5经金字塔内部的跨尺度特征融合和跳层连接将生成P3、P4、P5三个特征信息更丰富的特征。
本实施例中，特征金字塔WCFPN的跨尺度特征融合加强了金字塔内部特征间的连接，以N4节点为例介绍具体的融合细节。如图4所示，图4中，1X1表示卷积核大小为1X1的卷积操作；3X3表示卷积核大小为3X3的卷积操作。当前层N4融合的特征来源有先前层M3、先前层M4和当前层N5三个不同大小的特征图，在融合的过程中，对N5和M3分别进行上采样和下采样操作得到和M4大小相同的特征图，然后在通道维度上将三个特征图拼接成C，再经过层级聚合结构L-ELAN完成融合。本发明的层级聚合结构L-ELAN通过控制梯度路径让深层网络更加有效地学习和收敛，上文拼接后的特征图首先在通道维度上分组，下分支经过卷积核不断提取特征，最后将四个相同大小的特征图在通道维度上拼接，生成下一层特征N4。特征金字塔WCFPN的跨尺度融合连接了前一层和当前层的层次特征，更加注重特征间的内部连接，层级聚合结构L-ELAN让高层语义特征和低层空间特征发生了更充分的交互。为了让金字塔不同层的特征之间发生信息交互，特征金字WCFPN还引入了跳层连接，如图3所示，在具有相同分辨率的同一特征图维度上，第一层M的特征信息参与到了第三层L的特征融合，第二层的特征信息N参与到了第四层P的特征融合，跳层连接让特征融合操作考虑了相同分辨率上的隔层特征，提供了从早期节点到后期节点的更有效的信息传输，使得特征融合得到更深层次的广义信息。

Claims (4)

1.一种基于双分支串行混合注意力的输电线路缺陷检测方法，其特征在于，包括以下步骤：
S1、构建基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型，其中，所述基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型包括双分支串行混合注意力DBSA和特征金字塔WCFPN；
所述步骤S1中构建基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型，其具体为：
将双分支串行混合注意力DBSA嵌入至YOLOv7的主干网络Backbone中，并用特征金字塔WCFPN作为基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型的颈部结构Neck，完成对基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型的构建；
输电线路缺陷检测深度神经网络模型的损失函数为：
其中，、和均表示损失权重，表示分类损失，表示位置损失，表示置信度损失，S表示特征图大小，B表示每个格子预测的边界框数量，1表示指示函数，表示第个格子中第个边界框的预测的类别概率，表示第个格子中第个边界框的真实类别，表示第个格子中第个边界框是否包含对象，表示底为2的log函数，表示位置损失的权重，表示第个格子中第个边界框的真实位置信息，表示预测的位置信息，n表示、y、w、h四者中的一个，表示预测框的高度坐标，y表示预测框的宽度坐标，w表示预测框的宽度大小，h表示预测框的高度大小，表示置信度损失的权重，表示第个格子中第个边界框是否不包含对象；
S2、利用基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型对输电线路进行缺陷检测；
所述步骤S2包括以下步骤：
S201、获取输电线路数据，并对其进行数据增强处理；
S202、将经增强处理后的输电线路数据输入至主干网络Backbone中；
S203、利用主干网络Backbone和双分支串行混合注意力DBSA，提取三种不同大小的输电线路特征图；
S204、将三种不同大小的输出电线特征图，利用特征金字塔WCFPN的跨尺度融合和跳跃连接对不同空间尺度和不同层次的潜在语义进行信息交换；
S205、根据信息交换结果，利用基于双分支串行混合注意力的输电线路缺陷检测深度神经网络模型的检测头Head进行检测，得到输出线路缺陷的位置和种类，完成对输电线路的缺陷检测。
2.根据权利要求1所述的基于双分支串行混合注意力的输电线路缺陷检测方法，其特征在于，所述步骤S203包括以下步骤：
S2031、对输入的经增强处理后的输电线路数据，经卷积网络提取得到三个不同大小的原始特征图，将不同大小的特征图沿高度和宽度两个分支分别进行全局平均池化压缩处理，生成输电线路宽度特征f 1和输电线路高度特征f 2；
S2032、将输电线路宽度特征f 1和输电线路高度特征f 2分别沿通道维度取平均值，生成一维输电线路宽度信息g 1和一维输电线路高度信息g 2；
S2033、根据一维输电线路宽度信息g 1和一维输电线路高度信息g 2，利用一维卷积运算得到一维输电线路宽度注意力因子和一维高度输电线路高度注意力因子；
S2034、根据一维输电线路宽度注意力因子和一维高度输电线路高度注意力因子，计算得到三个不同大小特征图的输电线路空间注意力；
S2035、利用三个不同大小特征图的输电线路空间注意力对三个不同大小的原始特征图进行重新校准计算，得到经双分支串行混合注意力DBSA提取的三种不同大小的输电线路特征图。
3.根据权利要求2所述的基于双分支串行混合注意力的输电线路缺陷检测方法，其特征在于，所述输电线路宽度特征f 1和输电线路高度特征f 2的表达式如下：
其中，表示输电线路的宽度特征，表示输电线路特征图的第j列，表示输电线路特征图的第z个通道，表示输电线路特征图上的第i行、第j列以及第z个通道的特征值，表示输电线路特征图的第i行，表示输电线路的高度特征，、和分别表示高度h、宽度w以及通道c的下标，、和分别表示、和的最大值。
4.根据权利要求3所述的基于双分支串行混合注意力的输电线路缺陷检测方法，其特征在于，所述一维输电线路宽度信息g 1和一维输电线路高度信息g 2的表达式如下：
其中，表示输电线路特征图沿第j列压缩后的宽度信息，表示输电线路特征图沿第i行压缩后的高度信息。
CN202310897591.6A 2023-07-21 2023-07-21 一种基于双分支串行混合注意力的输电线路缺陷检测方法 Active CN116612124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310897591.6A CN116612124B (zh) 2023-07-21 2023-07-21 一种基于双分支串行混合注意力的输电线路缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310897591.6A CN116612124B (zh) 2023-07-21 2023-07-21 一种基于双分支串行混合注意力的输电线路缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116612124A CN116612124A (zh) 2023-08-18
CN116612124B true CN116612124B (zh) 2023-10-20

Family

ID=87682289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310897591.6A Active CN116612124B (zh) 2023-07-21 2023-07-21 一种基于双分支串行混合注意力的输电线路缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116612124B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663346A (zh) * 2022-01-30 2022-06-24 河北工业大学 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN115187583A (zh) * 2022-08-19 2022-10-14 南京信息工程大学 一种基于改进YOLOv5的轻量化道路缺陷检测方法
CN115239710A (zh) * 2022-09-21 2022-10-25 南京信息工程大学 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法
WO2022227913A1 (zh) * 2021-04-25 2022-11-03 浙江师范大学 一种基于物联网感知的双特征融合的语义分割系统及方法
CN115600666A (zh) * 2022-09-15 2023-01-13 云南电网有限责任公司电力科学研究院（Cn） 面向输配电线路缺陷检测模型的自学习方法及装置
CN115731164A (zh) * 2022-09-14 2023-03-03 常州大学 基于改进YOLOv7的绝缘子缺陷检测方法
CN116071294A (zh) * 2022-11-08 2023-05-05 中国计量大学 一种光纤表面缺陷检测方法和装置
CN116309270A (zh) * 2022-12-06 2023-06-23 西安交通大学 一种基于双目图像的输电线路典型缺陷识别方法
CN116343064A (zh) * 2022-09-06 2023-06-27 国网浙江省电力有限公司湖州供电公司 一种轻量化改进的绝缘子缺陷自动检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4184387B1 (en) * 2021-11-19 2024-04-17 Tata Consultancy Services Limited Method and system for personalized substitute product recommendation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022227913A1 (zh) * 2021-04-25 2022-11-03 浙江师范大学 一种基于物联网感知的双特征融合的语义分割系统及方法
CN114663346A (zh) * 2022-01-30 2022-06-24 河北工业大学 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN115187583A (zh) * 2022-08-19 2022-10-14 南京信息工程大学 一种基于改进YOLOv5的轻量化道路缺陷检测方法
CN116343064A (zh) * 2022-09-06 2023-06-27 国网浙江省电力有限公司湖州供电公司 一种轻量化改进的绝缘子缺陷自动检测方法
CN115731164A (zh) * 2022-09-14 2023-03-03 常州大学 基于改进YOLOv7的绝缘子缺陷检测方法
CN115600666A (zh) * 2022-09-15 2023-01-13 云南电网有限责任公司电力科学研究院（Cn） 面向输配电线路缺陷检测模型的自学习方法及装置
CN115239710A (zh) * 2022-09-21 2022-10-25 南京信息工程大学 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法
CN116071294A (zh) * 2022-11-08 2023-05-05 中国计量大学 一种光纤表面缺陷检测方法和装置
CN116309270A (zh) * 2022-12-06 2023-06-23 西安交通大学 一种基于双目图像的输电线路典型缺陷识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Chien-Yao Wang等.Yolov7: Trainable bag-of-freebies sets new state-of-art for real-time object detectors.《arXiv:2207.02696》.2022,1-15. *
DAMO-YOLO : A Report on Real-Time Object Detection Design;Xianzhe Xu;《arXiv:2211.15444v4》;1-10 *
EfficientDet: Scalable and Efficient Object Detection;Mingxing Tan等;《CVPR 2020》;10781-10790, 图3 *
许德刚等.改进YOLOv6 的遥感图像目标检测算法.《计算机工程与应用》.2023,1-12. *
轻量化高精度双通道注意力机制模块;陈晓雷等;《计算机科学与探索》;第17卷(第04期);857-867 *
逯长虹等.基于改进Yolov5算法的农村公路路面裂缝检测研究.《中原工学院学报》.2023,第34卷(第03期),53-61. *

Also Published As

Publication number Publication date
CN116612124A (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
Saberironaghi et al. Defect detection methods for industrial products using deep learning techniques: A review
Chen et al. Surface defect detection methods for industrial products: A review
Zheng et al. Insulator-defect detection algorithm based on improved YOLOv7
Luo et al. Deep learning-based building extraction from remote sensing images: A comprehensive review
Cao et al. Front vehicle detection algorithm for smart car based on improved SSD model
Fang et al. Improved mask R-CNN multi-target detection and segmentation for autonomous driving in complex scenes
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
Zhou et al. Object detection in autonomous driving scenarios based on an improved faster-RCNN
Wu et al. YOLO-LWNet: A lightweight road damage object detection network for mobile terminal devices
CN116168246A (zh) 一种用于铁路工程的弃渣场识别方法、装置、设备及介质
Zhang et al. A lightweight vehicle-pedestrian detection algorithm based on attention mechanism in traffic scenarios
Li et al. YOLO-RFF: An industrial defect detection method based on expanded field of feeling and feature fusion
Zhao et al. Exploration of Vehicle Target Detection Method Based on Lightweight YOLOv5 Fusion Background Modeling
Siriborvornratanakul Downstream Semantic Segmentation Model for Low‐Level Surface Crack Detection
Jia et al. Multi‐stream densely connected network for semantic segmentation
Chen et al. Anomaly detection algorithm for photovoltaic cells based on lightweight Multi-Channel spatial attention mechanism
Yang et al. An Improved Mask R-CNN Micro-Crack Detection Model for the Surface of Metal Structural Parts
Zhang et al. A fitting recognition approach combining depth-attention YOLOv5 and prior synthetic dataset
Jiang et al. Rdd-yolov5: road defect detection algorithm with self-attention based on unmanned aerial vehicle inspection
Wang et al. An edge-guided deep learning solar panel hotspot thermal image segmentation algorithm
Zhang et al. ESDINet: Efficient Shallow-Deep Interaction Network for Semantic Segmentation of High-Resolution Aerial Images
CN116612124B (zh) 一种基于双分支串行混合注意力的输电线路缺陷检测方法
CN117975218A (zh) 一种基于混合注意力和特征中心化多尺度融合的小目标检测方法
Shu et al. Research on PointPillars Algorithm Based on Feature-Enhanced Backbone Network
Tian et al. An improved new YOLOv7 algorithm for detecting building air conditioner external units from street view images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant