[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN118279308B - 基于多源数据融合的管道缺陷检测方法及系统 - Google Patents

基于多源数据融合的管道缺陷检测方法及系统 Download PDF

Info

Publication number
CN118279308B
CN118279308B CN202410703786.7A CN202410703786A CN118279308B CN 118279308 B CN118279308 B CN 118279308B CN 202410703786 A CN202410703786 A CN 202410703786A CN 118279308 B CN118279308 B CN 118279308B
Authority
CN
China
Prior art keywords
pipeline defect
pipeline
defect detection
fusion
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410703786.7A
Other languages
English (en)
Other versions
CN118279308A (zh
Inventor
韦杰
梁慧婷
郝有为
张晓琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zhongfa New Material Technology Co ltd
Original Assignee
Shandong Zhongfa New Material Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zhongfa New Material Technology Co ltd filed Critical Shandong Zhongfa New Material Technology Co ltd
Priority to CN202410703786.7A priority Critical patent/CN118279308B/zh
Publication of CN118279308A publication Critical patent/CN118279308A/zh
Application granted granted Critical
Publication of CN118279308B publication Critical patent/CN118279308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于多源数据融合的管道缺陷检测方法及系统，属于图像处理技术领域。包括：获取待检测管道的可见光图像和红外图像，通过自适应通道相加融合策略对可见光图像和红外图像进行处理，生成管道缺陷检测图像；通过多个级联的CBM模块和CBMC3模块对管道缺陷检测图像进行依次处理，获取不同尺度的管道缺陷特征图；将不同尺度的管道缺陷特征图输入特征融合网络，对管道缺陷特征图进行自下而上的多层特征融合，获取不同尺度的管道缺陷特征融合图；根据不同尺度的管道缺陷特征融合图，获取管道缺陷检测结果。能够对不同尺度的缺陷特征进行充分提取，实现管道缺陷的全面准确检测；解决了现有管道缺陷检测准确度有待提高的问题。

Description

基于多源数据融合的管道缺陷检测方法及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于多源数据融合的管道缺陷检测方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
管道缺陷检测是指对各种管道系统进行定期或不定期的检查，以发现并评估管道内部或外部的损伤、腐蚀、泄漏、变形等问题。
随着科技的发展，为了提高管道缺陷检测的效率，深度学习、机器学习等算法在管道缺陷检测中得到了广泛的应用，支持向量机（SVM）、随机森林（Random Forest）、卷积神经网络（CNN）等算法可以通过管道缺陷数据集进行监督学习或无监督学习来检测缺陷，图像处理算法通过边缘检测、颜色分割、纹理分析等方法对管道进行处理和分析。
上述算法多通过对可见光图像进行处理得到管道的缺陷检测结果，现有可见光图像多通过相机采集，仅能体现管道表面信息，实现对管道表面缺陷的定位，然而管道缺陷的产生位置具有一定的不确定性，一般随机出现于管道内部或外部，仅使用单一的可见光图像进行管道缺陷检测，无法实现对管道缺陷的全面检测。
此外，可见光图像中特征信息的清晰程度和有效性极易受到外界环境的干扰，如在阴天等天气下，采集到的可见光图像相对较暗，清晰度较低，无法有效显示线状裂缝、半圆形错位等缺陷的缺陷细节；现有管道缺陷检测算法往往为单一架构的目标检测，无法对清晰度较低的图像进行有效的特征提取和检测，影响管道缺陷检测的精度。
管道上常见的缺陷类型还有腐蚀、渗漏点等，腐蚀可能呈现为坑洞、蚀斑等，渗漏点可能呈现为小孔、裂缝，也就是说，在同一张图像中，可能出现尺寸差异极大的两种或多种缺陷，但现有的缺陷检测网络的特征变换能力差，难以适应尺寸差异大的缺陷特征。
发明内容
为了解决现有技术的不足，本发明提供了一种基于多源数据融合的管道缺陷检测方法、系统、电子设备及计算机可读存储介质，实现对管道缺陷的全面监测，并提高管道缺陷检测的精确度。
第一方面，本发明提供了一种基于多源数据融合的管道缺陷检测方法；
一种基于多源数据融合的管道缺陷检测方法，包括：
获取待检测管道的可见光图像和红外图像，通过自适应通道相加融合策略对可见光图像和红外图像进行处理，生成管道缺陷检测图像；
将管道缺陷检测图像输入训练好的管道缺陷检测模型进行处理，获取管道缺陷检测结果；
其中，将管道缺陷检测图像输入训练好的管道缺陷检测模型进行处理具体包括：
通过多个级联的CBM模块和CBMC3模块对管道缺陷检测图像进行依次处理，获取不同尺度的管道缺陷特征图；
将不同尺度的管道缺陷特征图输入特征融合网络，对管道缺陷特征图进行自下而上的多层特征融合，获取不同尺度的管道缺陷特征融合图；
根据不同尺度的管道缺陷特征融合图，获取管道缺陷检测结果。
在一些实施方式中，所述通过自适应通道相加融合策略对可见光图像和红外图像进行处理具体包括：
分别获取可见光图像和红外图像每个像素坐标下所有通道的像素值之和，以任一像素坐标为中心，计算预设窗口下的所有通道的像素值之和，并确定在该像素坐标下的自适应融合权重；
根据自适应融合权重对可见光图像和红外图像进行加权融合。
在一些实施方式中，所述通过多个级联的CBM模块和CBMC3模块对管道缺陷检测图像进行依次处理，获取不同尺度的管道缺陷特征图具体包括：
将管道缺陷检测图像输入多组级联的CBM模块和CBMC3模块进行依次处理，进行空间信息和语义信息的提取，获取不同尺度的第一输出特征图；
通过SimAM注意力模块对CBMC3模块最终输出的第一输出特征图进行处理，结合空间信息和通道信息进行特征提取，获取SimAM注意力模块的最终输出特征，以和其余的第一输出特征图作为不同尺度的管道缺陷特征图。
在一些实施方式中，所述CBMC3模块包括依次连接的CBM模块和C3模块，所述CBM模块包括依次连接的Conv层、BN层和Mish激活函数，所述C3模块包括堆叠的Bottleneck模块和卷积层。
在一些实施方式中，所述对管道缺陷特征图进行自下而上的多层特征融合，获取不同尺度的管道缺陷特征融合图具体包括：
对管道缺陷特征图进行子像素卷积上采样处理，并将处理后的管道缺陷特征图与同尺度的管道缺陷特征图进行特征融合；
特征融合后的管道缺陷特征图输入对应的级联的CBM模块、CBMC3模块和分离卷积层进行处理，获取不同尺度的管道缺陷特征融合图。
在一些实施方式中，所述对管道缺陷特征图进行子像素卷积上采样处理具体包括：
根据管道缺陷特征图的尺寸和上采样倍数对管道缺陷特征图进行超分辨率重构，获取多个同等大小的特征图；
根据卷积层的插值函数对多个同等大小的特征图进行重新排列。
在一些实施方式中，所述管道缺陷检测模型的损失函数包括分类损失函数、置信度损失函数和预测框损失函数。
第二方面，本发明提供了一种基于多源数据融合的管道缺陷检测系统；
一种基于多源数据融合的管道缺陷检测系统，包括：
数据融合模块，被配置为：获取待检测管道的可见光图像和红外图像，通过自适应通道相加融合策略对可见光图像和红外图像进行处理，生成管道缺陷检测图像；
缺陷检测模块，被配置为：将管道缺陷检测图像输入训练好的管道缺陷检测模型进行处理，获取管道缺陷检测结果；
其中，将管道缺陷检测图像输入训练好的管道缺陷检测模型进行处理具体包括：
通过多个级联的CBM模块和CBMC3模块对管道缺陷检测图像进行依次处理，获取不同尺度的管道缺陷特征图；
将不同尺度的管道缺陷特征图输入特征融合网络，对管道缺陷特征图进行自下而上的多层特征融合，获取不同尺度的管道缺陷特征融合图；
根据不同尺度的管道缺陷特征融合图，获取管道缺陷检测结果。
第三方面，本发明提供了一种电子设备；
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述的基于多源数据融合的管道缺陷检测方法。
第四方面，本发明提供了一种计算机可读存储介质；
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述的基于多源数据融合的管道缺陷检测方法。
与现有技术相比，本发明的有益效果是：
1、本发明提供的技术方案，为了实现对管道缺陷检测，将包含管道表面信息的可见光图像和隐含管道内部缺陷信息的红外图像进行自适应融合，最大限度的保留有效特征，为目标检测提供足够的特征信息，实现尽可能全面的缺陷检测。
2、本发明提供的技术方案，提出一种包含深度特征提取网络、特征融合网络和检测模块的管道缺陷检测模型，利用深度特征提取网络对管道缺陷检测图像进行处理，得到不同尺度的管道缺陷特征图，对图像中尺度差异较大的缺陷特征进行充分提取；通过特征融合网络对不同尺度的管道缺陷特征图进行超分辨率重构和特征提取并与对应的原图融合，得到不同尺度的管道缺陷特征融合图进行管道缺陷检测，在不遗失图像原有信息的基础上，对图像中的模糊缺陷特征进行还原，实现对缺陷特征的有效利用。
3、本发明提供的技术方案，为了对图像中的管道特征进行提取，利用CBM模块、CBMC3模块等构造管道缺陷检测模型，增加网络深度，有效的提取具有不同空间信息和语义信息的特征图，提高管道缺陷检测的准确率。
4、本发明提供的技术方案，为了实现对管道缺陷检测用有效特征的充分处理，引入SimAM注意力模块对图像中的有效信息进行增强，保障对特征图像全面且有侧重点的处理；SimAM注意力为轻量化注意力机制，不会对数据处理速度造成负担。
5、本发明提供的技术方案，为了对图像中的所有管道特征进行有效利用，选用子像素卷积进行上采样，能够对图像中的模糊特征进行尽可能的还原，提高管道缺陷检测的精度。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例提供的流程示意图；
图2为本发明实施例提供的管道缺陷检测模型的网络架构示意图；
图3为本发明实施例提供的系统框架示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
现有技术中的管道缺陷检测大多侧重于管道表面缺陷检测，且算法的特征提取能力有限，导致管道缺陷检测精度低；因此，本发明提供了一种基于多源数据融合的管道缺陷检测方法，基于yolo框架进行改进，通过CBM模块、CBMC3模块、SimAM注意力机制等模块进行管道缺陷检测模型的构建，在提高网络特征提取能力的同时，提高数据处理速度，实现对管道缺陷的准确、全面、高效的检测。
接下来，结合图1-图2，对本实施例公开的一种基于多源数据融合的管道缺陷检测方法进行详细说明。该基于多源数据融合的管道缺陷检测方法，包括如下步骤：
S1、获取待检测管道的可见光图像和红外图像。
可见光图像中的细节丰富，但易受天气、光照等因素的影响；红外图像能够较好的显示隐藏目标，但细节信息不够丰富，因此，在本实施例中，利用可见光图像和红外图像进行后续的管道缺陷检测。利用红外相机采集待检测管道的红外图像，利用相机进行可见光图像的采集。
S2、通过自适应通道相加融合策略对可见光图像和红外图像进行处理，生成管道缺陷检测图像。
考虑到不同的应用场景下，采集到图像的尺寸以及图像中蕴含的像素信息不同，使用固定的权值进行多源图像的融合，无法充分显示图像中蕴含的特征，影响后续缺陷检测中特征提取的有效性。
同时，在进行图像采集时，不可避免的拍摄到管道所在的环境信息，其对后续的管道缺陷检测来说为干扰信息，因此，在本实施例中，在进行管道缺陷检测前，预先对其背景区域进行分割，以减少其对管道缺陷检测的不良影响。
作为一种实施方式，步骤S2具体包括：
S201、将可见光图像和红外图像输入并行的U-Net网络进行分割处理，分别获取对应的可见光目标特征图和红外目标特征图，此处，可见光目标特征图和红外目标特征图仅包含管道。
本实施例中，并行的U-Net网络的网络参数相同，此处，并未对U-Net网络的网络结构做改进，在应用前，使用标注背景区域的可见光图像和红外图像和对应的可见光目标特征图和红外目标特征图对U-Net网络进行训练，直至得到训练好的网络。
S202、将可见光目标特征图和红外目标特征图输入自适应图像融合模块，获取管道缺陷检测图像，具体计算流程如下：
S2021、将可见光目标特征图每个像素坐标下所有通道的像素值相加，分别获得对应的第一像素值；将红外图像每个像素坐标下所有通道的像素值相加，分别获得第二像素值，具体如下所示：
；
；
其中，表示特征图像素坐标，表示特征图的第个通道，表示特征图的最大通道数，通道数指的是特征图在深度方向的维度，表示可见光目标特征图在坐标（x，y）处、第d个通道的像素值，表示红外目标特征图在坐标（x，y）处、第d个通道的像素值。
S2022、以可见光目标特征图中任一像素坐标（x，y）为中心，将3*3窗口内的第一像素值求和，以红外目标特征图中任一像素坐标（x，y）为中心，将3*3窗口内的第二像素值求和，并分别计算可见光目标特征图和红外目标特征图在该像素坐标处的权重。具体计算流程如下：
；
；
；
；
式中，表示以为中心的3*3窗口内的第一像素值之和，表示以为中心的3*3窗口内的第二像素值之和，、表示窗口尺寸，表示可见光目标特征图的自适应融合权重，表示红外目标特征图的自适应融合权重。
S2023、将红外图像特征图和可见光图像特征图对应通道的像素值进行自适应融合，得到管道缺陷检测图像，其中，管道缺陷检测图像中的任一像素坐标（x，y）在第d个通道的像素值表示如下：
。
S3、将管道缺陷检测图像输入训练好的管道缺陷检测模型进行处理，获取管道缺陷检测结果。其中，管道缺陷检测模型包括依次连接的深度特征提取网络、特征融合网络和检测模块。
具体的，如图2所示，特征提取网络包括依次连接的两个CBM模块、一个CBMC3模块、一个CBM模块、一个CBMC3模块、一个CBM模块、一个CBMC3模块和一个SimAM注意力模块和一个池化层，特征融合网络包括依次连接的子像素卷积层、CBM模块、CBMC3模块、子像素卷积层、分离卷积层、CBM模块、CBMC3模块和分离卷积层，第一个子像素卷积层的输出与第二个CBMC3模块的输出拼接后作为对应CBM模块的输入，第二个子像素卷积层的输出与第一个CBMC3模块的输出拼接后作为对应分离卷积层和第一个检测头的输入，第四个CBMC3模块的输出与分离卷积层的输出拼接后作为对应CBM模块的输入；检测模块包括三个检测头。
其中，CBMC3模块由依次连接的CBM模块和C3模块组成，C3模块包括堆叠的Bottleneck 模块和卷积层，CBM模块包括由Conv层、BN层和Mish激活函数组成，Mish激活函数表示为：
；
式中，表示双曲正切函数，表示软阈值函数，表示输入值。
Mish激活函数同时结合了线性变换、指数函数的平滑特性以及双曲正切函数的非线性特征，对激活函数的非线性表达能力和梯度传播效率进行平衡，进一步提高管道缺陷检测模型的学习效率。
作为一种实施方式，将管道缺陷检测图像输入训练好的管道缺陷检测模型进行处理，获取管道缺陷检测结果的具体流程如下：
S301、通过多个级联的CBM模块和CBMC3模块对管道缺陷检测图像进行依次处理，获取不同尺度的管道缺陷特征图。
考虑到管道缺陷尺寸大小并不受人为控制，会不可避免的存在部分尺寸偏小且不规则的缺陷目标，因此，本实施例中，利用CBM模块和CBMC模块对特征提取网络进行改进，增加网络深度，提高网络对尺寸较小特征的提取能力。
接下来，以大小为640×640的管道缺陷检测图像为例，对S201进行详细说明：
S3011、大小为640×640的管道缺陷检测图像首先依次经过第一个CBM模块、第二个CBM模块和第一个CBMC3模块进行处理，得到大小为160×160的第一输出特征图；将尺寸大小为160×160的第一输出特征图输入第三个CBM模块和第二个CBMC3模块依次进行处理，输出尺寸大小为80×80的第一输出特征图；将尺寸大小为80×80的第一输出特征图输入第三个CBM模块和第三个CBMC模块进行处理，得到尺寸为40×40的第一输出特征图，再输入SimAM注意力模块和池化层进行处理，得到赋予权重信息的尺寸大小为40×40的第一输出特征图，并将其与尺寸大小为160×160的第一输出特征图和尺寸大小为80×80的第一输出特征图作为不同尺度的管道缺陷特征图。
SimAM注意力机制是一种轻量化注意力机制，能够结合输入特征图的空间信息和通道信息对其重要性进行评估，对有效信息进行增强，同时减弱冗余或无用的信息，本实施例中，为了对有效特征进行充分利用，同时减轻网络的运行负担，保证计算效率，引入了SimAM注意力模块。
接下来，以对尺寸大小为80×80的第一输出特征图的处理为例，对SimAM注意力模块进行具体说明。
首先，尺寸大小为80×80的第一输出特征图经卷积层、BN层、Mish激活函数、卷积层、BN层、Mish激活函数进行卷积和批量归一化处理，然后输入C3模块，经标准卷积层处理后进入Bottleneck层处理，其输出和CBM模块的输出拼接后输入Conv层，得到尺寸大小为40×40的第一输出特征图。其中，Bottleneck层包含一个1*1卷积层和一个3*3卷积层，3*3卷积层的输出与Bottleneck层的输入跳跃连接。
然后，将尺寸大小为40×40的第一输出特征图输入SimAM注意力模块进行处理，通过能量函数对第i个像素进行评估，判断其重要程度，将尺寸大小为40×40的第一输出特征图表示为X，具体计算流程表示如下：
；
式中，表示第i个像素的能量函数评估值，为正则项，为X在单个通道上的第i个像素，表示所有像素在单通道上的平均值，表示所有像素在单通道上的方差；其中，表示为：
；
式中，为像素的个数。
表示为：
；
；
式中，为输出特征图，表示激活函数，E表示X中所有像素值的集合，值越小，表示该像素与周围像素的区别越大，越具有线性可分性，重要程度越高，因此，利用其倒数作为权重系数，使提取的有效、关键特征得到更充分的利用。
最后，将输入池化层进行处理后输出。
S302、将不同尺度的管道缺陷特征图输入特征融合网络，对管道缺陷特征图进行自下而上的多层特征融合，获取不同尺度的管道缺陷特征融合图。
示例性的，如图2所示，池化层输出的40×40的管道缺陷特征图首先输入至子像素卷积层进行上采样处理，得到大小为80×80的第二输出特征图，然后将其与深度提取网络中第二个CBMC3模块输出的管道缺陷特征图拼接，并输入CBM模块和CBMC3模块中进行依次处理， 对输出特征进行子像素上采样处理后，再与深度提取网络中的第一个CBMC3模块的输出拼接，得到大小为160×160的管道缺陷特征融合图。
然后，将大小为160×160的管道缺陷特征图输入分离卷积层，得到大小为80×80的特征图，并与特征融合网络中第一个CBMC3模块的输出拼接，然后输入CBM模块和CBMC3模块中进行依次处理，得到大小为80×80的管道缺陷特征融合图。
此处，利用CBM模块和CBMC3模块中的卷积层对拼接后的图像进行卷积处理，能够消除图像融合产生的混叠效应。
再将大小为80×80的管道缺陷特征融合图输入分离卷积层，得到大小为40×40的特征图并与池化层输出的管道缺陷特征图拼接后作为尺寸为40×40的管道缺陷特征融合图。
为了减少对重复信息的利用，避免数据冗余，本实施例中，引入分离卷积代替普通卷积，进而提高模型的数据处理速度，作为一种实施方式，分离卷积的具体处理过程为：首先对输入特征图进行卷积操作，然后再进行深度卷积操作，将卷积操作的输出和深度卷积操作之后的输出进行拼接，最终对拼接结果进行平均池化操作，实现降维。
考虑到实际应用中，图像的清晰度无法保证，因此，利用子像素卷积进行上采样，可以提高模糊特征图的分辨率，进而提高管道缺陷检测的准确性；作为一种实施方式，通过子像素卷积层进行上采样处理具体表示如下：
；
式中，为子像素卷积后的输出结果，Y为输入特征图，即相邻CBMC3模块或池化层的输出，(x,y,c)为输入特征图的空间坐标，为取余运算，C为输入特征图的通道数，r为特征图要放大的倍数。
S4、根据不同尺度的管道缺陷特征融合图，获取管道缺陷检测结果。
具体的，将大小为160×160的管道缺陷特征融合图、大小为80×80的管道缺陷特征融合图和大小为40×40的管道缺陷特征融合图均输入第一个检测头，输出预测类别；将大小为160×160的管道缺陷特征融合图、大小为80×80的管道缺陷特征融合图和大小为40×40的管道缺陷特征融合图均输入第二个检测头，输出预测位置；将大小为160×160的管道缺陷特征融合图、大小为80×80的管道缺陷特征融合图和大小为40×40的管道缺陷特征融合图均输入第三个检测头，输出置信度。
作为一种实施方式，在将管道缺陷检测模型应用至管道的缺陷检测之前，需要对管道缺陷检测模型进行训练。具体流程如下：
（a）制作数据集。
收集管道的可见光图像和红外图像并融合，标记裂纹、划痕、泄漏、焊缝等缺陷类型，最终得到带有类别标签的缺陷图像，按照8：2的比例划分训练集与测试集。
（b）将训练集输入构建好的缺陷检测模型进行训练。
（c）使用测试集验证缺陷检测模型的性能。
本实施例中，对应于检测头输出的预测类别、预测位置和置信度，采用分类损失函数、预测框损失函数和置信度损失函数作为管道缺陷检测模型的损失函数。
其中，分类损失函数表示如下：
；
式中，表示预测框的类别向量，表示预测框对应的目标框类别的one-hot编码，表示分类的正样本权重，设置为1，表示交叉熵损失函数。
预测框损失函数表示如下：
；
式中，表示交并比损失函数，表示预测框，表示真实框。
置信度损失函数表示如下：
；
式中，表示预测框中的目标置信度分数，表示预测框与对应真实框的IOU值，表示有无目标的正样本权重，设置为1。
实施例二
结合图3，本实施例公开了一种基于多源数据融合的管道缺陷检测系统，包括：
数据融合模块，被配置为：获取待检测管道的可见光图像和红外图像，通过自适应通道相加融合策略对可见光图像和红外图像进行处理，生成管道缺陷检测图像；
缺陷检测模块，被配置为：将管道缺陷检测图像输入训练好的管道缺陷检测模型进行处理，获取管道缺陷检测结果；
其中，将管道缺陷检测图像输入训练好的管道缺陷检测模型进行处理具体包括：
通过多个级联的CBM模块和CBMC3模块对管道缺陷检测图像进行依次处理，获取不同尺度的管道缺陷特征图；
将不同尺度的管道缺陷特征图输入特征融合网络，对管道缺陷特征图进行自下而上的多层特征融合，获取不同尺度的管道缺陷特征融合图；
根据不同尺度的管道缺陷特征融合图，获取管道缺陷检测结果。
此处需要说明的是，上述数据融合模块和缺陷检测模块对应于实施例一中的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例三
本发明实施例三提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，计算机指令被处理器运行时，完成上述基于多源数据融合的管道缺陷检测方法的步骤。
实施例四
本发明实施例四提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于多源数据融合的管道缺陷检测方法的步骤。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于多源数据融合的管道缺陷检测方法，其特征在于，包括：
获取待检测管道的可见光图像和红外图像，通过自适应通道相加融合策略对可见光图像和红外图像进行处理，生成管道缺陷检测图像；
将管道缺陷检测图像输入训练好的管道缺陷检测模型进行处理，获取管道缺陷检测结果；
其中，将管道缺陷检测图像输入训练好的管道缺陷检测模型进行处理具体包括：
通过多个级联的CBM模块和CBMC3模块对管道缺陷检测图像进行依次处理，获取不同尺度的管道缺陷特征图；
将不同尺度的管道缺陷特征图输入特征融合网络，对管道缺陷特征图进行自下而上的多层特征融合，获取不同尺度的管道缺陷特征融合图；
根据不同尺度的管道缺陷特征融合图，获取管道缺陷检测结果；
所述对管道缺陷特征图进行自下而上的多层特征融合，获取不同尺度的管道缺陷特征融合图具体包括：
对管道缺陷特征图进行子像素卷积上采样处理，并将处理后的管道缺陷特征图与同尺度的管道缺陷特征图进行特征融合；
特征融合后的管道缺陷特征图输入对应的级联的CBM模块、CBMC3模块和分离卷积层进行处理，获取不同尺度的管道缺陷特征融合图；
所述对管道缺陷特征图进行子像素卷积上采样处理具体包括：
根据管道缺陷特征图的尺寸和上采样倍数对管道缺陷特征图进行超分辨率重构，获取多个同等大小的特征图；
根据卷积层的插值函数对多个同等大小的特征图进行重新排列。
2.如权利要求1所述的基于多源数据融合的管道缺陷检测方法，其特征在于，所述通过自适应通道相加融合策略对可见光图像和红外图像进行处理具体包括：
分别获取可见光图像和红外图像每个像素坐标下所有通道的像素值之和，以任一像素坐标为中心，计算预设窗口下的所有通道的像素值之和，并确定在该像素坐标下的自适应融合权重；
根据自适应融合权重对可见光图像和红外图像进行加权融合。
3.如权利要求1所述的基于多源数据融合的管道缺陷检测方法，其特征在于，所述通过多个级联的CBM模块和CBMC3模块对管道缺陷检测图像进行依次处理，获取不同尺度的管道缺陷特征图具体包括：
将管道缺陷检测图像输入多组级联的CBM模块和CBMC3模块进行依次处理，进行空间信息和语义信息的提取，获取不同尺度的第一输出特征图；
通过SimAM注意力模块对CBMC3模块最终输出的第一输出特征图进行处理，结合空间信息和通道信息进行特征提取，获取SimAM注意力模块的最终输出特征，以和其余的第一输出特征图作为不同尺度的管道缺陷特征图。
4. 如权利要求3所述的基于多源数据融合的管道缺陷检测方法，所述CBMC3模块包括依次连接的CBM模块和C3模块，所述CBM模块包括依次连接的Conv层、BN层和Mish激活函数，所述C3模块包括堆叠的Bottleneck 模块和卷积层。
5.如权利要求1所述的基于多源数据融合的管道缺陷检测方法，其特征在于，所述管道缺陷检测模型的损失函数包括分类损失函数、置信度损失函数和预测框损失函数。
6.基于多源数据融合的管道缺陷检测系统，其特征在于，包括：
数据融合模块，被配置为：获取待检测管道的可见光图像和红外图像，通过自适应通道相加融合策略对可见光图像和红外图像进行处理，生成管道缺陷检测图像；
缺陷检测模块，被配置为：将管道缺陷检测图像输入训练好的管道缺陷检测模型进行处理，获取管道缺陷检测结果；
其中，将管道缺陷检测图像输入训练好的管道缺陷检测模型进行处理具体包括：
通过多个级联的CBM模块和CBMC3模块对管道缺陷检测图像进行依次处理，获取不同尺度的管道缺陷特征图；
将不同尺度的管道缺陷特征图输入特征融合网络，对管道缺陷特征图进行自下而上的多层特征融合，获取不同尺度的管道缺陷特征融合图；
根据不同尺度的管道缺陷特征融合图，获取管道缺陷检测结果；
所述对管道缺陷特征图进行自下而上的多层特征融合，获取不同尺度的管道缺陷特征融合图具体包括：
对管道缺陷特征图进行子像素卷积上采样处理，并将处理后的管道缺陷特征图与同尺度的管道缺陷特征图进行特征融合；
特征融合后的管道缺陷特征图输入对应的级联的CBM模块、CBMC3模块和分离卷积层进行处理，获取不同尺度的管道缺陷特征融合图；
所述对管道缺陷特征图进行子像素卷积上采样处理具体包括：
根据管道缺陷特征图的尺寸和上采样倍数对管道缺陷特征图进行超分辨率重构，获取多个同等大小的特征图；
根据卷积层的插值函数对多个同等大小的特征图进行重新排列。
7.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-5任一项所述的基于多源数据融合的管道缺陷检测方法。
8.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-5任一项所述的基于多源数据融合的管道缺陷检测方法。
CN202410703786.7A 2024-06-03 2024-06-03 基于多源数据融合的管道缺陷检测方法及系统 Active CN118279308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410703786.7A CN118279308B (zh) 2024-06-03 2024-06-03 基于多源数据融合的管道缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410703786.7A CN118279308B (zh) 2024-06-03 2024-06-03 基于多源数据融合的管道缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN118279308A CN118279308A (zh) 2024-07-02
CN118279308B true CN118279308B (zh) 2024-09-03

Family

ID=91648904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410703786.7A Active CN118279308B (zh) 2024-06-03 2024-06-03 基于多源数据融合的管道缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN118279308B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549391A (zh) * 2020-11-26 2022-05-27 西北工业大学深圳研究院 一种基于偏振先验的电路板表面缺陷检测方法
CN117079162A (zh) * 2023-08-21 2023-11-17 深圳市华赛睿飞智能科技有限公司 一种基于无人机的管道泄露识别方法及无人机
CN117541587A (zh) * 2024-01-10 2024-02-09 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429457A (zh) * 2022-01-19 2022-05-03 中国电建集团中南勘测设计研究院有限公司 一种基于双模态融合的风机叶片缺陷智能检测方法
CN114266771B (zh) * 2022-03-02 2022-06-03 深圳市智源空间创新科技有限公司 基于改进扩展特征金字塔模型的管道缺陷检测方法及装置
CN114663436A (zh) * 2022-05-25 2022-06-24 南京航空航天大学 一种基于深度学习的跨尺度缺陷检测方法
CN117274192A (zh) * 2023-09-20 2023-12-22 重庆市荣冠科技有限公司 一种基于改进YOLOv5的管道漏磁缺陷检测方法
CN117456321A (zh) * 2023-09-25 2024-01-26 山西省能源互联网研究院 一种基于多模态融合的输电线路热缺陷检测方法
CN117935088A (zh) * 2024-01-24 2024-04-26 石家庄铁道大学 基于全尺度特征感知和特征重构的无人机图像目标检测方法、系统及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549391A (zh) * 2020-11-26 2022-05-27 西北工业大学深圳研究院 一种基于偏振先验的电路板表面缺陷检测方法
CN117079162A (zh) * 2023-08-21 2023-11-17 深圳市华赛睿飞智能科技有限公司 一种基于无人机的管道泄露识别方法及无人机
CN117541587A (zh) * 2024-01-10 2024-02-09 山东建筑大学 太阳能电池板缺陷检测方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN118279308A (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
CN113807355B (zh) 一种基于编解码结构的图像语义分割方法
CN113052834B (zh) 一种基于卷积神经网络多尺度特征的管道缺陷检测方法
Xu et al. Scale-aware feature pyramid architecture for marine object detection
CN114897779B (zh) 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
CN113569667A (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
US20220381699A1 (en) Methods and systems for detecting a defect of a film
CN111626295B (zh) 车牌检测模型的训练方法和装置
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN115908772A (zh) 一种基于Transformer和融合注意力机制的目标检测方法及系统
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN114926722A (zh) 基于YOLOv5的尺度自适应目标检测的方法及存储介质
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
CN115187530A (zh) 超声自动乳腺全容积图像的识别方法、装置、终端及介质
CN117237751A (zh) 一种抓取检测模型的训练方法、识别方法、系统、设备
CN116977872A (zh) 一种CNN+Transformer遥感图像检测方法
CN116433911A (zh) 基于多尺度池化建模的伪装物体实例分割方法、装置及系统
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN116434230A (zh) 一种复杂环境下的船舶水尺读数方法
CN118279308B (zh) 基于多源数据融合的管道缺陷检测方法及系统
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN117392111A (zh) 带钢伪装表面缺陷检测网络及方法
CN118037692A (zh) 基于计算机视觉的钢材表面缺陷检测方法及系统
CN117037052A (zh) 一种多尺度特征融合和注意力机制的水面死鱼检测方法
CN114882252B (zh) 半监督遥感影像变化检测方法、装置和计算机设备
CN112489001A (zh) 基于改进的深度学习的隧道渗水检测方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant