CN117541535A - 一种基于深度卷积神经网络的输电线路巡检图像检测方法 - Google Patents
一种基于深度卷积神经网络的输电线路巡检图像检测方法 Download PDFInfo
- Publication number
- CN117541535A CN117541535A CN202311319251.1A CN202311319251A CN117541535A CN 117541535 A CN117541535 A CN 117541535A CN 202311319251 A CN202311319251 A CN 202311319251A CN 117541535 A CN117541535 A CN 117541535A
- Authority
- CN
- China
- Prior art keywords
- model
- attention
- transmission line
- scale
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 142
- 230000005540 biological transmission Effects 0.000 title claims abstract description 55
- 238000007689 inspection Methods 0.000 title claims abstract description 47
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 38
- 230000007547 defect Effects 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000001629 suppression Effects 0.000 claims abstract description 6
- 238000012805 post-processing Methods 0.000 claims abstract description 5
- 238000013461 design Methods 0.000 claims abstract description 4
- 238000011156 evaluation Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 22
- 238000005457 optimization Methods 0.000 claims description 19
- 230000002776 aggregation Effects 0.000 claims description 14
- 238000004220 aggregation Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 230000001965 increasing effect Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000005728 strengthening Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 16
- 238000011176 pooling Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Remote Sensing (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度卷积神经网络的输电线路巡检图像检测方法，结合多尺度目标检测与注意力机制。该方法旨在解决传统目标检测算法在处理不同尺度输电设备缺陷时的漏检和误检问题，提高巡检准确性和鲁棒性，实现自动化的输电线路缺陷检测。方法包括多尺度目标检测模型设计、注意力机制引入、多尺度融合与后处理等。特征金字塔和PANet网络结构实现不同尺度目标检测；CBAM注意力模块增强对重要特征的关注；批量梯度下降、正则化等方法优化模型参数；加权融合和非极大值抑制算法得到最终的缺陷检测框，并通过注意力机制调整增强对重要区域的关注。本发明综合应用多尺度目标检测与注意力机制，可广泛应用于输电线路巡检图像处理，实现自动化缺陷检测。
Description
技术领域
本发明属于电力系统的输电技术领域，具体涉及一种基于深度卷积神经网络的输电线路巡检的图像检测方法。
背景技术
随着输电线路的不断增多以及对电力系统可靠性的要求日益提高，无人机巡检作为一种高效、安全的检测手段逐渐被广泛采用。无人机巡检可通过航拍图像对输电线路和杆塔进行监视，并获取大量的图片数据。为了提高巡检效率，许多先进的目标检测算法如YOLO系列和Faster-RCNN系列已经被引入，它们能够有效地检测输电线路巡检图片中的缺陷。然而，由于输电线路和杆塔上的零部件大小和形状存在很大的差异，传统的单一尺度目标检测算法可能会因缺乏多尺度信息的处理而导致漏检或误检的问题。因此，在这个背景下，引入多尺度目标检测与注意力机制成为一种有潜力的技术选择，它可以显著提升算法性能，使其在不同尺度下都能准确地检测出输电设备的缺陷。
结合多尺度目标检测与注意力机制，可以将多尺度目标检测和注意力机制相互融合，充分发挥它们在输电线路巡检图像处理中的优势。多尺度目标检测允许模型同时处理不同尺度的目标，通过在输入图像上应用不同大小的滑动窗口或不同尺度的特征图，从而检测出不同大小的目标。而注意力机制则赋予模型对图像中不同区域的不同关注程度，使得模型能够有选择地集中注意力于与目标相关的区域，忽略与目标无关的背景信息。将这两者相结合，可以使模型在不同层级上关注与目标相关的部分，从而在整个图像中更全面地检测出不同大小的缺陷。无论是远距离还是近距离拍摄的航拍图像，算法都能够适应性地检测出输电设备的缺陷。此外，结合多尺度目标检测与注意力机制还能提高算法的鲁棒性，使其能够应对一些特殊场景，如遮挡严重或部分缺陷难以直接观察到的情况，从而进一步提高缺陷检测的准确性和可靠性。
目前，输电线路巡检图像的处理和缺陷检测依赖主要依赖人工进行，耗费大量的时间和人力资源。而通过结合多尺度目标检测与注意力机制的方法，可以显著提升算法的性能和效率。这项技术的创新之处在于将多尺度目标检测与注意力机制相结合，使得算法能够同时适应不同尺度的输电设备，准确地检测出不同大小的缺陷，并更关注重要区域，从而大幅降低漏检和误检的风险。该技术的应用将有助于提高输电线路巡检的自动化程度，节约大量人力和时间成本，同时有效地改善电力系统的可靠性和安全性。因此，结合多尺度目标检测与注意力机制的技术在输电线路巡检领域具有广阔的应用前景，为电力行业带来显著的经济和社会效益。
发明内容
本发明的目的在于提供一种基于深度卷积神经网络的输电线路巡检图像检测方法，结合多尺度目标检测与注意力机制，旨在解决传统目标检测算法在处理不同尺度输电设备缺陷时可能导致漏检或误检的问题，以提高巡检效率、准确性和鲁棒性，实现自动化的输电线路缺陷检测。
本发明采用的技术方案为：一种基于深度卷积神经网络的输电线路巡检图像检测方法，包括如下步骤：
步骤S1：数据预处理；收集含标注信息的输电线路巡检图像数据，进行图像增强和大小归一化；
步骤S2：多尺度目标检测模型设计；构建基于深度学习的多尺度目标检测模型，引入特征金字塔实现不同尺度目标检测；
步骤S3：注意力机制引入；将注意力机制嵌入多尺度目标检测模型中，加强对重要区域的关注；
步骤S4：模型训练与优化；使用预处理后的数据集训练多尺度目标检测模型，采用优化算法和学习率调整策略防止过拟合；
步骤S5：多尺度融合与后处理；在预测阶段，融合多尺度目标检测结果，采用NMS算法抑制重叠检测结果，并通过注意力机制调整检测框；
步骤S6：模型评估与优化；使用标准评估指标对模型进行评估，针对结果优化模型的超参数和网络结构；
具体的，所述步骤S1：数据预处理详细步骤如下：
S1.1收集含标注信息的输电线路巡检图像数据：从实际输电线路巡检任务中获取大量带有缺陷标注的航拍图像数据。这些图像数据将成为训练和评估多尺度目标检测模型的基础。
S1.2图像增强：采用图像处理技术对图像进行增强，以增加图像的对比度、亮度，提高图像质量和清晰度，进一步凸显目标区域的特征，例如可以采用以下公式来实现对比度增强，对于图像I有：
I'＝α*I+β
其中，I’是增强后的图像，I是原始图像，α和β是调节参数，可以通过试验或自适应算法确定。
S1.3大小归一化：由于不同的输电线路巡检图像可能具有不同的分辨率和尺寸，为了保证多尺度目标检测模型的稳定性和效率，需要将图像统一缩放到固定的大小。
据预处理步骤将按照上述要素，对采集的输电线路巡检图像数据进行预处理。首先，收集大量含有缺陷标注的图像数据。然后，针对每个图像，应用图像增强技术提高图像质量。接着，将图像大小归一化到指定的高度和宽度，以便后续的多尺度目标检测模型训练。通过这样的数据预处理步骤，输入到后续多尺度目标检测模型的图像数据将具有更好的质量和一致的大小，有助于提高模型训练和检测的效果。同时，图像增强和大小归一化的过程可以通过现有的图像处理库和算法实现。
具体的，所述步骤S2：多尺度目标检测模型设计中，使用了特征金字塔、FPN结构、多尺度特征图、路径聚合模块和PANet网络结构。
其中，特征金字塔是一种用于处理不同尺度目标的技术，其主要目的是通过在网络中引入多尺度的特征图层，使模型能够检测不同大小的目标。在本方案中，采用了PANet(Path Aggregation Network)结构来实现特征金字塔。
多尺度特征图：在PANet中，通过多个分支来生成不同尺度的特征图。具体指，在每个分支中应用不同大小的卷积核或池化操作，使得网络能够同时获取来自输入图像的不同尺度信息。
路径聚合模块：路径聚合模块是PANet的核心组成部分。它通过聚合不同分支的特征图来获得全局感知能力，将来自不同分支的特征图进行逐元素求和或拼接，从而实现不同尺度特征的融合。
PANet网络结构：整个PANet网络结构由多个特征提取分支和路径聚合模块组成。
具体的，步骤S2.1通过骨干网络(如ResNet或VGG)提取得到初始特征图；
步骤S2.2对初始特征图进行多尺度卷积和池化操作得到多尺度特征图；
步骤S2.3通过路径聚合模块将多尺度特征图进行融合，形成最终的多尺度特征图，以供后续目标检测任务使用。PANet的路径聚合模块数学表达式如下所示：
其中，Fij表示第i个特征图分支中的第j个像素特征，K表示特征图的通道数，sij是由一个1×1卷积层计算得到的路径聚合权重。路径聚合模块可以自适应地学习每个分支在不同位置的权重，从而实现路径的动态聚合，使得PANet能够更好地处理不同尺度目标。
具体的，所述步骤S3：引入注意力机制，该步骤详细内容如下：
其中，CBAM(Convolutional Block Attention Module)注意力模块是一种用于增强深度卷积神经网络对重要特征的关注的模块。它由两个部分组成：通道注意力和空间注意力。通道注意力用于增强模型对不同通道间特征的关注，而空间注意力用于增强模型对不同空间位置特征的关注。这样可以帮助模型更加精确地捕捉重要的特征，提高目标检测的准确性。
将CBAM注意力模块融合到多尺度目标检测模型的不同层级中，以实现对不同尺度的特征图都应用注意力机制。模型在检测不同大小的目标时都能有针对性地增强对重要区域的关注，从而提高缺陷检测的准确性。
具体的，在多尺度目标检测模型中的不同层级引入CBAM注意力模块。首先在特征金字塔的不同尺度上分别应用通道注意力和空间注意力，得到增强后的特征图。然后将增强后的特征图与原始特征图进行相乘或相加的操作，得到最终融合后的特征图。这样一来，模型在不同层级上都能对不同尺度的特征图进行注意力加权，从而使得模型能够有选择地关注重要区域。在检测缺陷时，由于CBAM注意力模块的引入，模型能够更加精确地捕捉重要的特征信息，提高缺陷检测的准确性和鲁棒性。
步骤S3.1，引入通道注意力模块，通道注意力公式化表示如下：
Fc＝σ(MLPc(AVGPool(F)))
其中，Fc是经过通道注意力增强后的特征图，F是原始特征图，AVGPool是全局平均池化操作，MLPc是一个多层感知机用于学习通道注意力的权重，σ是激活函数。
步骤S3.2，引入空间注意力模块：
Fs＝σ(MLPs(MAXPool(F)))
其中，Fs是经过空间注意力增强后的特征图，MAXPool是全局最大池化操作，MLPs是一个多层感知机用于学习空间注意力的权重，σ是激活函数。
步骤S3.3，注意力融合：
Ffinal＝F+Fattention
其中，Fattention是通道注意力和空间注意力相乘得到的注意力图，表示元素级别的乘法操作，Ffinal是融合后的最终特征图，F是原始特征图。
通过以上步骤，可将CBAM注意力模块融合到多尺度目标检测模型中，实现了对不同尺度特征图的注意力加权，进一步提高了缺陷检测的性能。
具体的，所述步骤S4：模型训练与优化详细如下：
其中，步骤S4.1，迭代训练并计算损失函数。批量梯度下降用于在训练过程中更新模型的参数以最小化损失函数。其公式如下：
其中，θ是模型的参数，α是学习率，m是批量大小，是损失函数关于第i个样本的梯度。在训练过程中，逐渐降低学习率可以帮助模型更稳定地收敛。本发明采用定期衰减策略：在训练的每个固定轮次或步骤后，将学习率乘以一个衰减因子。
步骤S4.2，正则化防止过拟合，本发明采用L2正则化防止过拟合，在损失函数中添加参数平方的惩罚项，公式如下：
其中，λ是正则化强度参数。
在多尺度目标检测中，由于不同尺度的目标可能具有不同的重要性，为了平衡不同尺度缺陷的检测，可以对损失函数进行权重调整。例如，可以引入一个尺度相关的权重系数，使得不同尺度上的损失函数得到平衡。调整后的损失函数如下：
Jweighted(θ)＝w1·J1(θ)+w2•J2(θ)+…+wn•Jn(θ)
其中，wn是第n个尺度上的权重系数，Jn(θ)是第n个尺度上的损失函数。
模型训练与优化中，通过采用批量梯度下降等优化算法，结合学习率调整策略和正则化方法，可以有效地优化模型参数，防止过拟合。同时，通过损失函数的权重调整，实现对不同尺度缺陷的平衡处理，以确保多尺度目标检测模型具备全局感知能力，并能在不同尺度下准确地检测输电设备的缺陷。
具体的，所述步骤S5：多尺度融合与后处理中用到的内容和要素具体指：
多尺度目标检测结果融合：在预测阶段，多尺度目标检测模型会得到不同尺度下的目标检测结果。为了综合这些结果并得到最终的缺陷检测框，需要将不同尺度的检测结果进行融合。常见的融合方法有加权融合和置信度融合等。具体可通过以下公式进行加权融合：
ScoreFused＝∑iwi×Scorei
其中，ScoreFused是融合后的综合得分，Scorei是第i个尺度的目标得分，wi是相应尺度的权重。
其中，多尺度融合后可能会出现重叠较多的检测结果，为了去除冗余的框并得到最终的缺陷检测框，采用非极大值抑制算法。该算法通过计算候选框的重叠面积，并保留得分最高的框，去除重叠区域内其他低得分的框。其具体步骤如下：
步骤S5.1，对融合后的所有检测框按得分从高到低进行排序。
步骤S5.2，选择得分最高的框，将其加入最终结果集合，并从列表中删除该框。
步骤S5.3，对剩余的框进行IoU(交并比)计算，若IoU大于设定阈值，则将该框从列表中删除。
步骤S5.4，重复步骤步骤S5.2，和步骤步骤S5.3c，直到所有框都被处理完。
在多尺度融合和非极大值抑制后，得到的缺陷检测框可能仍存在一定程度的不准确性或对重要区域的关注不足。为了进一步提高对重要区域的关注程度，可以结合注意力机制的结果对最终的检测框进行调整。具体来说，可以采用以下公式来融合注意力机制的结果：
ScoreFinal＝ScoreFused×AttentionMap
其中，ScoreFinal是最终的检测得分，ScoreFused是融合后的综合得分，AttentionMap是注意力机制得到的关注程度图，通过这个关注程度图来增强对重要区域的关注程度。
通过以上步骤，可以对多尺度目标检测的结果进行融合和后处理，得到最终的缺陷检测框，并通过注意力机制调整提高对重要区域的关注程度，从而进一步增强算法的检测准确性和鲁棒性。
具体的，步骤S6：模型评估与优化，包括以下详细步骤：
步骤S6.1选择标准的评估指标，通常包括精确率、召回率、F1-score。这些指标能够全面评估模型在不同场景下的性能表现，包括准确率、查全率和查准率等关键指标。对训练好的多尺度目标检测模型，使用测试集或交叉验证集中的数据进行评估。根据模型输出的检测结果和真实标签进行比对，计算各个评估指标的数值。
步骤S6.2评估结果分析：分析模型在不同评估指标上的表现，特别关注F1-score。F1-score较高时，意味着模型在查准率和查全率上均有较好的表现。
步骤S6.3模型优化：根据评估结果，对模型进行优化。
a.调整模型的超参数：例如调整学习率、网络深度、宽度等参数，以找到更好的模型配置。
b.网络结构改进：可以尝试引入更复杂的网络结构，或使用预训练模型来提取更高质量的特征。
c.数据增强方式调整：优化数据增强策略，增加样本的多样性和数量，增强模型的泛化能力。
步骤S6.3迭代优化：对模型进行改进后，再次进行训练和评估。如此迭代，直到达到满意的性能指标。
以上的内容和要素是在步骤S6中进行模型评估与优化时需要考虑和实施的。通过持续的评估、改进和优化，可以不断提升多尺度目标检测与注意力机制的性能，使其更适用于输电线路巡检图像处理，实现高效、准确的缺陷检测。
本发明的有益效果：本发明结合多尺度目标检测与注意力机制，针对传统目标检测算法在处理输电线路巡检图像时可能出现的尺度差异导致漏检或误检的问题，提出了一种创新性的基于深度卷积神经网络的输电线路巡检图像检测方法。通过引入多尺度目标检测，使得模型能够同时适应不同尺度的输电设备缺陷，从而有效地提高了检测的准确性和鲁棒性。同时，结合注意力机制，增强了模型对重要区域的关注，进一步提高了缺陷检测的精度。该发明在实际应用中可以大幅降低漏检和误检的风险，显著提高了输电线路巡检的自动化程度，节约大量人力和时间成本，有助于改善电力系统的可靠性和安全性，对电力行业带来显著的经济和社会效益。
附图说明
图1为本发明的主体方法的步骤流程图；
图2为本发明的步骤S1数据预处理流程图；
图3为本发明多尺度目标检测模型(PANet)架构图；
图4为本发明步骤S2的多尺度特征融合流程图；
图5为本发明步骤S3注意力机制流程图；
图6为本发明步骤S4模型训练与优化流程图。
图7为本发明步骤S5多尺度融合与后处理流程图。
图8为本发明步骤S6模型评估与优化流程图。
图9为本发明实施例中不同技术方案检测效果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围，以下结合实施例具体说明。
一种基于深度卷积神经网络的输电线路巡检图像检测方法，包括如下步骤：
步骤S1：数据预处理
S1.1收集含标注信息的输电线路巡检图像数据：从实际输电线路巡检任务中获取大量带有缺陷标注的航拍图像数据，形成训练集和验证集。标注信息包括缺陷的位置和类别。
S1.2图像增强：采用图像处理技术对图像进行增强，增加图像的对比度、亮度，提高图像质量和清晰度，例如进行对比度增强。常用的图像增强方法包括直方图均衡化、自适应直方图均衡化等。
S1.3大小归一化：由于不同的输电线路巡检图像可能具有不同的分辨率和尺寸，为了保证多尺度目标检测模型的稳定性和效率，需要将图像统一缩放到固定的大小。一种常见的方法是将图像按比例缩放或填充到指定的高度和宽度。
步骤S2：多尺度目标检测模型设计
S2.1提取初始特征图：使用预训练的骨干网络(如ResNet或VGG)对输电线路巡检图像进行特征提取，得到初始特征图。骨干网络是深度卷积神经网络的前几层，用于提取图像的低级特征。
S2.2多尺度卷积和池化操作：在初始特征图的基础上，通过不同大小的卷积核或池化操作，生成多尺度特征图。这样可以使得模型能够同时获取来自输入图像的不同尺度信息，增强对不同大小目标的检测能力。
S2.3路径聚合：引入路径聚合模块，将多尺度特征图进行融合，得到最终的多尺度特征图。路径聚合模块通过聚合不同分支的特征图来获得全局感知能力，将来自不同分支的特征图进行逐元素求和或拼接，从而实现不同尺度特征的融合。
步骤S3：注意力机制引入
S3.1通道注意力模块：引入通道注意力模块，增强模型对不同通道间特征的关注。通道注意力模块主要包括两个部分：全局平均池化和多层感知机(MLP)。通过对特征图进行全局平均池化操作，得到全局特征向量，然后通过MLP学习通道注意力的权重，对特征图的每个通道进行加权，强化对重要通道的关注。
S3.2空间注意力模块：引入空间注意力模块，增强模型对不同空间位置特征的关注。空间注意力模块也包括全局池化和MLP，但是全局池化的操作是采用全局最大池化。通过学习空间注意力的权重，对特征图的每个空间位置进行加权，增强对重要区域的关注。
S3.3注意力融合：将通道注意力和空间注意力融合，得到最终的注意力图。可以采用元素级别的乘法或加法来融合通道注意力和空间注意力，增强对重要区域的关注程度。
步骤S4：模型训练与优化
S4.1损失函数：定义损失函数，采用多尺度融合后的特征图进行目标检测，并与真实标签进行比对，计算损失值。常见的损失函数包括交叉熵损失和均方误差损失。
S4.2批量梯度下降：使用批量梯度下降法更新模型的参数，最小化损失函数。在每个批次中，模型根据训练数据计算梯度并更新参数，从而使得损失值逐渐降低，提高模型的准确性。
S4.3学习率调整：采用定期衰减策略，降低学习率，有助于模型稳定收敛。学习率可以根据训练过程中的损失变化进行自适应调整。
S4.4正则化：添加L2正则化，防止模型过拟合。L2正则化是在损失函数中添加参数平方的惩罚项，限制模型参数的大小，减少过拟合风险。
步骤S5：多尺度融合与后处理
S5.1多尺度融合：在预测阶段，多尺度目标检测模型会得到不同尺度下的目标检测结果。采用加权融合方法，将不同尺度检测结果进行加权融合，得到融合后的综合得分。
S5.2非极大值抑制：应用非极大值抑制算法，抑制重叠检测结果，保留得分最高的检测框。通过计算候选框的重叠面积，去除重叠区域内其他低得分的框，得到最终的缺陷检测框。
步骤S6：模型评估与优化
S6.1评估指标选择：选择标准的评估指标，例如精确率、召回率和F1-score，用于全面评估模型的性能。根据模型输出的检测结果和真实标签进行比对，计算各个评估指标的数值。
S6.2评估结果分析：分析模型在不同评估指标上的表现，特别关注F1-score。F1-score较高时，意味着模型在查准率和查全率上均有较好的表现。
S6.3模型优化：根据评估结果，对模型进行优化。可以调整模型的超参数、网络结构或数据增强方式。也可以考虑采用更复杂的网络结构，或使用预训练模型来提取更高质量的特征。另外，可以优化数据增强策略，增加样本的多样性和数量，增强模型的泛化能力。
S6.4迭代优化：对模型进行改进后，再次进行训练和评估。如此迭代，直到模型达到预期的性能。
以下对本发明的有效性进行验证：
本部分验证基于深度卷积神经网络和注意力机制的多尺度目标检测技术在输电无人机巡检图片数据集上的有效性。使用一个无人机输电线路巡检的数据集，并将该数据集应用于本技术方案和其他两种常见的目标检测方法，以比较它们的性能表现。
构建了一个包含1000张输电线路巡检无人机航拍图片的数据集，图像分辨率为6000×4000像素。每张图片中包含了不同尺度的输电设备缺陷，包括杆塔、绝缘子、导线等。数据集的标签信息包括每个缺陷的位置(边界框)和类别(如杆塔、绝缘子等)。
将使用以下几种方法进行比较：
1.本专利技术方案：基于深度卷积神经网络和注意力机制的多尺度目标检测方法。
2.YOLOv3(You Only Look Once)：一种流行的单阶段目标检测算法。使用普通的深度卷积神经网络进行目标检测，不引入多尺度和注意力机制。
3.Faster R-CNN：一种常用的两阶段目标检测算法。使用普通的深度卷积神经网络进行目标检测，不引入多尺度和注意力机制。
数据预处理：对数据集进行图像增强，包括调整亮度、对比度、随机裁剪和翻转等，以扩充数据集，并保证数据的多样性。
模型训练：使用不同的方法对数据集进行训练，分别训练本专利技术方案、YOLOv3(单尺度目标检测)和FasterR-CNN(单尺度目标检测)。
模型评估：使用测试集对训练好的模型进行评估，计算精确率、召回率、F1等评估指标，以评估各个方法的性能。
结合图9所示，本实施例对比了YOLOv3(单尺度目标检测)和FasterR-CNN(单尺度目标检测)对于小尺度目标(带销插销丢失插销)的检测结果。本发明提出的算法检出丢失插销2个，正常10个(完全正确)。Faster R-CNN(单尺度目标检测)检出丢失插销4个，正常8个(2个误检)。YOLOv3(单尺度目标检测)检出丢失插销2个，正常8个(2个漏检)。
将整个测试集的结果进行比较，结果如下：
| 算法 | 准确率 | 召回率 | F1 |
| 本专利技术方案 | 0.92 | 0.85 | 0.88 |
| Faster-RCNN | 0.85 | 0.78 | 0.81 |
| YOLOv3 | 0.78 | 0.82 | 0.80 |
与传统的单尺度目标检测方法相比，本专利技术方案在检测不同尺度的输电设备缺陷时表现更为优异。通过引入多尺度目标检测模型，能够更好地捕捉不同尺度目标的特征，从而提高了检测的准确性和鲁棒性。相比于YOLO和Faster R-CNN这两种流行的目标检测方法，本专利技术方案引入了注意力机制，进一步提升了对重要区域的关注程度。同时，在多尺度融合方面也有优势，使得模型能够同时获取来自输入图像的不同尺度信息，增强了对不同大小目标的检测能力。
综上所述，本专利技术方案在输电无人机巡检图片数据集上表现出更好的检测性能，相较于传统方法和其他流行目标检测算法，在准确性、鲁棒性和检测效率上均具有优势，因此更为有效。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的得同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (7)
1.一种基于深度卷积神经网络的输电线路巡检图像检测方法，其特征在于：包括以下步骤：
步骤S1：数据预处理；收集含标注信息的输电线路巡检图像数据，进行图像增强和大小归一化；
步骤S2：多尺度目标检测模型设计；构建基于深度学习的多尺度目标检测模型，引入特征金字塔实现不同尺度目标检测；
步骤S3：注意力机制引入；将注意力机制嵌入多尺度目标检测模型中，加强对重要区域的关注；
步骤S4：模型训练与优化；使用预处理后的数据集训练多尺度目标检测模型，采用优化算法和学习率调整策略防止过拟合；
步骤S5：多尺度融合与后处理；在预测阶段，融合多尺度目标检测结果，采用NMS算法抑制重叠检测结果，并通过注意力机制调整检测框；
步骤S6：模型评估与优化；使用标准评估指标对模型进行评估，针对结果优化模型的超参数和网络结构。
2.根据权利要求1所述的基于深度卷积神经网络的输电线路巡检图像检测方法，其特征在于，所述步骤S1的数据预处理详细步骤如下：
S1.1收集含标注信息的输电线路巡检图像数据：从实际输电线路巡检任务中获取大量带有缺陷标注的航拍图像数据；
S1.2图像增强：采用图像处理技术对图像进行增强，以增加图像的对比度、亮度，提高图像质量和清晰度，进一步凸显目标区域的特征；
S1.3大小归一化：将图像统一缩放到固定的大小。
3.根据权利要求1所述的基于深度卷积神经网络的输电线路巡检图像检测方法，其特征在于，所述步骤S2的多尺度目标检测模型设计中，使用了特征金字塔、FPN结构、多尺度特征图、路径聚合模块和PANet网络结构。
4.根据权利要求1所述的基于深度卷积神经网络的输电线路巡检图像检测方法，其特征在于，所述步骤S3的注意力机制引入中，引入了CBAM(ConvolutionalBlockAttentionModule)注意力模块，并将其融合到多尺度目标检测模型的不同层级中，以实现对不同尺度特征图的注意力加权。
5.根据权利要求1所述的基于深度卷积神经网络的输电线路巡检图像检测方法，其特征在于，所述步骤S4的模型训练与优化中，采用批量梯度下降等优化算法，结合学习率调整策略和L2正则化防止过拟合。
6.根据权利要求1所述的基于深度卷积神经网络的输电线路巡检图像检测方法，其特征在于，所述步骤S5的多尺度融合与后处理中，采用加权融合和非极大值抑制算法对多尺度目标检测结果进行融合和去重处理，并通过注意力机制调整增强对重要区域的关注程度。
7.根据权利要求1所述的基于深度卷积神经网络的输电线路巡检图像检测方法，其特征在于，所述步骤S6的模型评估与优化中，选择精确率、召回率、F1-score等评估指标对模型进行评估和优化，并通过调整模型超参数、网络结构、数据增强方式等来改进模型性能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311319251.1A CN117541535A (zh) | 2023-10-12 | 2023-10-12 | 一种基于深度卷积神经网络的输电线路巡检图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311319251.1A CN117541535A (zh) | 2023-10-12 | 2023-10-12 | 一种基于深度卷积神经网络的输电线路巡检图像检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117541535A true CN117541535A (zh) | 2024-02-09 |
Family
ID=89792651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311319251.1A Withdrawn CN117541535A (zh) | 2023-10-12 | 2023-10-12 | 一种基于深度卷积神经网络的输电线路巡检图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117541535A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118470577A (zh) * | 2024-07-09 | 2024-08-09 | 陕西陕煤黄陵矿业有限公司 | 一种基于大数据的巡检场景识别方法及系统 |
| CN118781128A (zh) * | 2024-09-13 | 2024-10-15 | 绍兴布吉针织有限公司 | 一种基于图像处理的针织品缺陷检测方法及系统 |
-
2023
- 2023-10-12 CN CN202311319251.1A patent/CN117541535A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118470577A (zh) * | 2024-07-09 | 2024-08-09 | 陕西陕煤黄陵矿业有限公司 | 一种基于大数据的巡检场景识别方法及系统 |
| CN118781128A (zh) * | 2024-09-13 | 2024-10-15 | 绍兴布吉针织有限公司 | 一种基于图像处理的针织品缺陷检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN110427839B (zh) | 基于多层特征融合的视频目标检测方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| Xu et al. | Inter/intra-category discriminative features for aerial image classification: A quality-aware selection model | |
| CN107944396B (zh) | 一种基于改进深度学习的刀闸状态识别方法 | |
| CN113159120A (zh) | 一种基于多尺度跨图像弱监督学习的违禁物检测方法 | |
| CN110598600A (zh) | 一种基于unet神经网络的遥感图像云检测方法 | |
| CN117541535A (zh) | 一种基于深度卷积神经网络的输电线路巡检图像检测方法 | |
| CN112288008A (zh) | 一种基于深度学习的马赛克多光谱图像伪装目标检测方法 | |
| CN108520203B (zh) | 基于融合自适应多外围框与十字池化特征的多目标特征提取方法 | |
| CN111680705B (zh) | 适于目标检测的mb-ssd方法和mb-ssd特征提取网络 | |
| CN116895030A (zh) | 基于目标检测算法和注意力机制的绝缘子检测方法 | |
| CN116958782A (zh) | 一种红外与可见光特征融合的弱小目标检测方法及装置 | |
| CN113239865B (zh) | 基于深度学习的车道线检测方法 | |
| CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN113378672A (zh) | 基于改进YOLOv3的输电线缺陷多目标检测方法 | |
| CN113033371B (zh) | 基于csp模型的多级特征融合行人检测方法 | |
| CN113962900A (zh) | 复杂背景下红外弱小目标检测方法、装置、设备及介质 | |
| CN113128362A (zh) | 一种基于yolov3的无人机视角下小目标快速检测方法 | |
| CN116129280B (zh) | 一种遥感影像雪检测的方法 | |
| CN113947723B (zh) | 基于尺寸平衡fcos的高分辨率遥感场景目标检测方法 | |
| CN113689399B (zh) | 一种用于电网识别遥感图像处理方法及系统 | |
| CN115953577A (zh) | 一种基于有监督长程相关的遥感图像语义分割方法 | |
| CN113496159B (zh) | 一种多尺度卷积与动态权重代价函数的烟尘目标分割方法 | |
| CN114694042A (zh) | 一种基于改进Scaled-YOLOv4的伪装人员目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20240209 |