[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN118505690A - 基于深度学习的隧道衬砌裂缝检测方法、系统及电子设备 - Google Patents

基于深度学习的隧道衬砌裂缝检测方法、系统及电子设备 Download PDF

Info

Publication number
CN118505690A
CN118505690A CN202410957529.6A CN202410957529A CN118505690A CN 118505690 A CN118505690 A CN 118505690A CN 202410957529 A CN202410957529 A CN 202410957529A CN 118505690 A CN118505690 A CN 118505690A
Authority
CN
China
Prior art keywords
crack
image
model
image data
tunnel lining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410957529.6A
Other languages
English (en)
Other versions
CN118505690B (zh
Inventor
刘洪河
张渴望
万琪伟
张建
白雅秀
徐长节
徐松
丁海滨
周鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202410957529.6A priority Critical patent/CN118505690B/zh
Publication of CN118505690A publication Critical patent/CN118505690A/zh
Application granted granted Critical
Publication of CN118505690B publication Critical patent/CN118505690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理识别技术领域，具体公开了一种基于深度学习的隧道衬砌裂缝检测方法、系统及电子设备，包括获取隧道衬砌表面的图像数据，对图像数据进行标注、尺寸调整、归一化及图像亮度均衡化处理，以及本框选干扰因子制作标签，以得到标记图像数据集，基于标记图像数据集以及裂缝位置识别模型得到对角边界框数据，基于对角边界框数据对图像数据样本进行阈值分割得到裂缝样本，基于裂缝样本裂缝尺寸识别模型得到二值化图像，向轮廓处理算法模型输入二值化图像，以得到裂缝宽度及长度的统计数据，基于统计数据得到裂缝检测参数，实现了隧道大小裂缝的自动识别定位以及裂缝尺寸自动计算一体化，提高了隧道衬砌裂缝检测的效率和精度。

Description

基于深度学习的隧道衬砌裂缝检测方法、系统及电子设备
技术领域
本申请涉及图像处理识别技术领域，尤其是涉及基于深度学习的隧道衬砌裂缝检测方法、系统及电子设备。
背景技术
地铁因其具有环保、节能、减排等特点，能够减少城市交通压力的同时对环境的污染和破坏较少，因此在全球范围内得到了广泛应用。然而，由于隧道结构的施工时间不同、地质条件不同，技术标准也不同，经过多年的运行，出现了包括衬砌裂缝、渗水、渗漏等表观病害，给隧道结构本身及列车安全运行带来严重的安全隐患，这其中，衬砌裂缝是最常见和最严重的破坏之一。因此，定期对隧道衬砌裂缝进行检测、统计、评价将为下一步隧道衬砌安全性、稳定性提供指导意义，为评估隧道衬砌的结构安全和控制裂缝提供了基础。
然而，地铁隧道由于其地理空间的隐蔽性、交通运输的连续性、隧道衬砌受力复杂性等多种因素影响导致当前衬砌裂缝检测面临时间压力、成本压力。
相关技术中，传统隧道衬砌裂缝检测主要依靠人工目测，其效率低、危险大、主观性强、过程耗时大，无法满足当前快速、高效隧道衬砌裂缝检测要求，基于图像识别方法中，对图像前处理未充分考虑一些影响因素，其只提取裂缝位置而忽视裂缝特征信息，同时，提取得到的隧道衬砌裂缝更多关注于大裂缝，而忽略隧道衬砌小裂缝定位识别，无法满足当前高要求的自动裂缝定位和自动裂缝提取要求，从而影响隧道衬砌安全性评估准确性。
发明内容
本申请旨在解决现有技术中对于隧道衬砌裂缝人工提取裂缝位置或模型只提取裂缝位置而忽视裂缝特征信息，提取得到的隧道衬砌裂缝更多关注于大裂缝，对图像前处理忽略一些影响因素，无法满足当前自动裂缝定位和裂缝提取要求，检测精度与准确率有待提高，基于此，提出一种基于深度学习的隧道衬砌裂缝检测方法、系统及电子设备。
第一方面，本申请实施例提供一种基于深度学习的隧道衬砌裂缝检测方法，包括：
获取隧道衬砌表面的图像数据，对所述图像数据进行标注、尺寸调整、归一化及图像亮度均衡化处理得到图像数据样本；
根据所述图像数据样本框选干扰因子制作标签，以得到标记图像数据集，所述标记图像数据集包括第一训练集及第一测试集；
向目标位置识别模型输入所述第一训练集，以获得裂缝位置识别模型，向所述裂缝位置识别模型输入所述第一测试集，得到对角边界框数据；
基于所述对角边界框数据对所述图像数据样本进行阈值分割得到裂缝样本，所述裂缝样本包括第二训练集及第二测试集；
向目标尺寸识别模型输入所述第二训练集，以获得裂缝尺寸识别模型，向所述裂缝尺寸识别模型输入所述第二测试集，得到二值化图像；
向轮廓处理算法模型输入所述二值化图像，以得到裂缝宽度及长度的统计数据，基于所述统计数据得到包括裂缝平均宽度、最大宽度、最小宽度及总长度的裂缝检测参数。
根据本申请的一些实施例，所述获取隧道衬砌表面的图像数据，对所述图像数据进行标注、尺寸调整、归一化及图像亮度均衡化处理得到图像数据样本，包括：
对所述图像数据进行包括裂缝位置和尺寸的标注，对标注后的图像数据进行裁剪尺寸调整；
基于调整后的图像数据依次计算每一图像的直方图、归一化直方图及累计分布函数，以及
基于计算结果将原灰度图像映射及结合线性变换计算调整图像的明度得到图像数据样本。
根据本申请的一些实施例，所述基于调整后的图像数据依次计算每一图像的直方图、归一化直方图及累计分布函数，以及基于计算结果将原灰度图像映射及结合线性变换计算调整图像的明度得到图像数据样本，包括：
基于公式计算每一图像的直方图、
基于公式计算归一化直方图、
基于公式计算累计分布函数、
基于公式将原灰度图像映射、以及
基于公式进行线性变化调整图像的明度得到图像数据样本；
式中，表示灰度级为图像中第k个像素的亮度值，M表示图像每行有限元素总数量，N表示图像每列有限元素总数量，表示图像在位置处的灰度值，表示当前像素的灰度是否满足所选的灰度级，表示灰度级为的像素个数，n表示图像的总像素个数，表示灰度级为的像素出现的频率，表示灰度级为的像素出现的频率，表示灰度级小于或等于像素的累计概率，表示旧灰度级映射到的新的灰度级，表示灰度级的总数，表示图像的对比度缩放因子，表示图像的亮度偏移量，表示新的图像灰度矩阵。
根据本申请的一些实施例，所述向目标位置识别模型输入所述第一训练集，以获得裂缝位置识别模型；向所述裂缝位置识别模型输入所述第一测试集，得到对角边界框数据，包括：
将注意力机制嵌入至YOLOv8算法模型的主干网络、颈部网络以及检测头部得到目标位置识别模型；
基于所述目标位置识别模型嵌入用于衡量预测的裂缝区域与真实裂缝区域的重叠情况损失函数；
输入所述第一训练集对模型进行训练得到识别精度与损失函数对应的训练精度及误差收敛曲线，基于所述训练精度及误差收敛曲线获得裂缝位置识别模型；
基于所述获得裂缝位置识别模型输入所述第一测试集，得到对角边界框数据，所述对角边界框数据包括定位的裂缝图像位置及其与全图位置关系坐标数据。
根据本申请的一些实施例，所述基于所述目标位置识别模型嵌入用于衡量预测的裂缝区域与真实裂缝区域的重叠情况损失函数，包括：
根据采集图像的像素真实标签以及像素预测概率构建损失函数，
其中，损失函数计算公式为：
式中，表示损失函数，表示第i个像素的真实标签，表示第i个像素的预测概率，为图像中的像素总数。
根据本申请的一些实施例，所述向目标尺寸识别模型输入所述第二训练集，以获得裂缝尺寸识别模型，向所述裂缝尺寸识别模型输入所述第二测试集，得到二值化图像，包括：
基于所述第二训练集对深度学习网络模型进行预训练得到输出图像特征；
基于所述图像特征修改对应网络结构的尺寸、并冻结网络结构的其他卷积或池化层，得到目标尺寸识别模型；
将所述第二训练集输入至所述目标尺寸识别模型进行迁移学习训练、以及联合激活函数与交叉熵损失函数作为迁移学习训练后模型的损失函数，得到裂缝尺寸识别模型。
根据本申请的一些实施例，将所述第二训练集输入至所述目标尺寸识别模型进行迁移学习训练、以及联合激活函数与交叉熵损失函数作为迁移学习训练后模型的损失函数，得到裂缝尺寸识别模型，包括：
联合激活函数与交叉熵损失函数作为迁移学习训练后模型的损失函数计算公式为：
式中，表示损失函数，表示神经网络原始输出的第i个元素，表示神经网络原始输出的第j个元素，表示第i热编码的向量，表示输出所有元素的个数。
本申请实施例中上述的技术方案，与现有技术相比较，至少具有如下技术效果或优点：
1）本申请提供方法自动化隧道裂缝检测方法主要包括两个模块：隧道灰度图上衬砌裂缝位置识别模型和裂缝尺寸识别模型，其中，用于隧道衬砌裂缝位置识别模型基于Yolov8深度神经网络模型并引入自注意力机制，实现图像检测算法能够对照片上的裂缝进行定位，并通过注意力机制实现对小微裂缝特征的增强识别，对大裂缝或者小裂缝都可以实现精准识别，通过模型得到对角边界框数据；为了进一步统计自动识别的裂缝具体尺寸参数，基于对角边界框数据对图像数据样本进行阈值分割得到裂缝样本数据，基于裂缝样本数据训搭建裂缝尺寸识别模型，并测试得到二值化图像；向轮廓处理算法模型输入二值化图像，以得到包括裂缝平均宽度、最大宽度、最小宽度及总长度的裂缝检测参数，满足当前高要求的自动裂缝定位和自动裂缝提取要求，提高了检测结果以及隧道衬砌安全性评估的可靠性和准确性。
2）为了提高预训练模型在不同光照条件下的鲁棒性，以及去除隧道衬砌表面的图像数据的干扰因素，引入通过均衡化等变换手段对图像的亮度进行统一，采用先直方图均衡化，后进行线性变化的方式实现，同时，由于隧道的灰度图像除了存在裂缝外还存在很多干扰结构如螺栓、接缝等，因此单独框选干扰因子制作标签，以提高隧道衬砌裂缝位置识别模型提取定位衬砌表面裂缝识别精度，降低模型识别过程误判率。
3）通过基于对角边界框数据对图像数据样本进行阈值分割得到用于输入裂缝尺寸识别模型的裂缝样本数据，裂缝尺寸识别模型基于迁移学习网络模型搭建，迁移学习模型表现出了较好精度和稳定性，随着巡检工作的开展，数据集将会越来越充实，模型的精度也将会随之提高，模型实现对裂缝图像二值化处理并输出，并通过轮廓处理算法模型得到包括裂缝平均宽度、最大宽度、最小宽度及总长度的裂缝检测参数数据。
第二方面，本申请实施例提供一种基于深度学习的隧道衬砌裂缝检测系统，包括：
图像采集模块，被配置为取隧道衬砌表面的图像数据，对所述图像数据进行标注、尺寸调整、归一化及图像亮度均衡化处理得到图像数据样本；
干扰因子去除模块，被配置为根据所述图像数据样本框选包括螺栓、焊缝的干扰因子制作标签，以得到标记图像数据集，将所述标记图像数据集按比例划分得到第一训练集及第一测试集；
第一模型搭建模块，被配置为搭建目标位置识别模型，输入所述第一训练集对模型进行训练以得到裂缝位置识别模型，以及对所述裂缝位置识别模型输入第一测试集得到对角边界框数据；
阈值分割模块，被配置为基于所述对角边界框数据对图像进行阈值分割得到裂缝样本，基于裂缝识别样本划分得到第二训练集及第二测试集；
第二模型搭建模块，被配置为搭建基于迁移学习的裂缝尺寸识别模型，输入所述第二训练集对模型进行训练，以及对训练后的模型输入第二测试集得到二值化图像；
裂缝特征计算模块，被配置为基于搭建轮廓处理算法模型对所述二值化图像处理计算得到裂缝宽度及长度的统计数据，基于统计数据得到包括裂缝的平均宽度、最大宽度、最小宽度及裂缝总长度的裂缝检测参数。
第三方面，本申请实施例提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述第一方面任一项实施例所述的基于深度学习的隧道衬砌裂缝检测方法的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上述第一方面任一项实施例所述的基于深度学习的隧道衬砌裂缝检测方法的步骤。
可以理解的是，上述第二方面、第三方面和第四方面提供技术方案的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的基于深度学习的隧道衬砌裂缝检测方法的流程图；
图2是根据本申请实施例的对采集的图像进行制作标签的示意图；
图3是根据本申请实施例框选出干扰因子后图像的示意图；
图4是根据本申请实施例对隧道裂缝图像进行二值化过程的示意图；
图5是根据本申请实施例的基于深度学习的隧道衬砌裂缝检测系统的框图；
图6是根据本申请实施例的一种电子设备的功能框图。
具体实施方式
下面详细描述本申请的实施例，参考附图描述的实施例是示例性的，应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1至图4，本实施例提供一种基于深度学习的隧道衬砌裂缝检测方法，包括：
步骤S100：获取隧道衬砌表面的图像数据，对所述图像数据进行标注、尺寸调整、归一化及图像亮度均衡化处理得到图像数据样本；
在本步骤中，图像数据可以为基于对隧道历史例行巡检中收集隧道内部的照片，为了确保这些照片涵盖不同的光照条件和环境，可以采用同时包括地质条件复杂的地段、穿越市中心区域以及多个河流和湖泊区段，并使得这些照片的数量较为均衡。
可以理解的是，除了照片本身，还需要记录简易列车平台搭载CCD相机对隧道衬砌表面进行拍摄的拍摄位置关系，生成拍摄位置数据，当前相机仰角a，距离隧道入口距离L，相机与隧道衬砌表面距离d，图像数据I，并根据公式得到拍摄位置数据A,具体表达为：A={[{'elevation_i_j':{a}},{'Length_i_j':{d}},{'Distance_i':{L}},{'Image_i_j':{I}}],}，其中elevation_i_j代表第i个隧道段第j个仰角段下的仰角值，Length_i_j代表第i个隧道段第j个仰角段下摄像机距离隧道衬砌距离，Distance_i代表第i个隧道段距离隧道入口距离，Image_i_j代表第i个隧道段第j个仰角段下的图像信息。
需要说明的是，隧道段计算公式根据相机拍摄最大范围进行计算得到，具体公式为：，其中，All_Length代表隧道总长度，CCD_Length代表相机拍摄范围长度，仰角段同样根据拍摄最大范围进行计算得到，具体公式为：，其中All_Angle代表相机拍摄最大仰角，CCD_Angle代表相机一次拍摄仰角，当后续步骤中检测到某一图像出现裂缝，在对裂缝进行定位过程中，通过拍摄位置数据实现溯源确定裂缝出现的具体隧道位置。
还需要说明的是，由于图像内容还包含管道、电线等其他附属物，裂缝相较于附属物来说是微小的，更难于检测，拍摄图像数据为高清灰度图像，对后续模型处理图像识别裂缝过程会更有效地发挥效果。
为了便于模型的训练对比，通过人工定位和识别的方式，对收集到的隧道照片进行裂缝位置和尺寸的标注，标注内容包括裂缝的位置、长度、宽度等信息，再通过使用标注工具LabelMe对照片进行精确标注。
请参阅图2，需要说明的是，LabelMe标注工具为市场广泛使用的开源工具，具体功能实现原理在此不做赘述，LabelMe标注工具对于不同的图像特征通过不同颜色边界框进行标注，对于边界框标注的不同图像特征进行注释，同时，考虑到后续模型对尺寸要求以及为了进一步对图像进行去噪，以提高预训练模型在不同光照条件下的鲁棒性，对图像数据进行包括尺寸调整、归一化及图像亮度均衡化处理得到图像数据样本。
在一些实施例中，对图像数据进行包括裂缝位置和尺寸的标注，对标注后的图像数据进行裁剪尺寸调整，即将CCD拍摄的大型扫描照片进行裁剪，基于调整后的图像数据依次计算每一图像的直方图、归一化直方图及累计分布函数，以及基于计算结果将原灰度图像映射及结合线性变换计算调整图像的明度得到图像数据样本。
具体的，选择采用先直方图均衡化，后进行线性变化的方式实现图像的亮度统一，基于公式计算每一图像的直方图、
基于公式计算归一化直方图、
基于公式计算累计分布函数、
基于公式将原灰度图像映射、以及
基于公式进行线性变化调整图像的明度得到图像数据样本；
式中，表示灰度级为图像中第k个像素的亮度值，M表示图像每行有限元素总数量，N表示图像每列有限元素总数量，表示图像在位置处的灰度值，表示当前像素的灰度是否满足所选的灰度级，表示灰度级为的像素个数，n表示图像的总像素个数，表示灰度级为的像素出现的频率，表示灰度级为的像素出现的频率，表示灰度级小于或等于像素的累计概率，表示旧灰度级映射到的新的灰度级，表示灰度级的总数，表示图像的对比度缩放因子，表示图像的亮度偏移量，表示新的图像灰度矩阵。
步骤S200：根据所述图像数据样本框选干扰因子制作标签，以得到标记图像数据集，所述标记图像数据集包括第一训练集及第一测试集；
在本步骤中，如图3所示，当图像数据完成亮度归一化以及其他预处理后得到图像数据样本，由于隧道的灰度图像除了存在裂缝外还存在很多干扰结构，如螺栓、接缝及间隙等，这些因素都将会导致后续模型产生误判，因此，需要单独框选出来干扰因子制作标签，从而提高后续模型识别的准确率。
可选的，对图像数据样本框选干扰因子制作标签后以得到标记图像数据集，将标记好的隧道扫描图像按照4:1的数据分成训练集和测试集，训练集用于对创建的目标位置识别模型进行训练，测试集用于对训练好的模型进行预测，需要说明的是，训练集和测试集的图像数据比例也可以为其他值，如5:1或者6:1，具体根据实际需求进行选择。
步骤S300：向目标位置识别模型输入所述第一训练集，以获得裂缝位置识别模型，向所述裂缝位置识别模型输入所述第一测试集，得到对角边界框数据；
在本步骤中，目标位置识别模型用于对输入的隧道衬砌图像进行处理识别裂缝所在位置，为了提高识别的精度及准确率，搭建目标位置识别模型基于改进YOLOv8算法模型，需要说明的是，目标位置识别模型也可以基于YOLO系列的其他版本，在此不作限制，搭建好目标位置识别模型后进行训练调试得到预测更准确的裂缝位置识别模型，最后将测试集输入裂缝位置识别模型得到对角边界框数据，需要说明的是，对角边界框数据为每一张图像中裂缝的边界框数据，对角边界框数据包括定位的裂缝图像位置及其与全图位置关系坐标数据。
其中，对角边界框数据包括数据集C，数据集C用公式可以表示为：{[{'elevation_i_j':{a}},{'Length_i_j':{d}},{'Distance_i':{L}},{'Image_i_j':{f_B(A_i('Image_i_j'))}},{'Image_i_j_crack_j':{(x,y,w,h)}}],}，数据集C与数据A不同点在对图像I处理上，具体的，根据f_B (A_i ('Image_i_j'))进行处理，其中f_B (*)代表裂缝位置识别模型处理结果，具体为定位的裂缝图像及其与全图位置关系（x,y,w,h），其中，x，y代表裂缝图像中心坐标，w，h代表定位的裂缝范围长和宽，并保留在{'Image_i_j_crack_j':{(x,y,w,h)}}，A_i ('Image_i_j')代表数据A中第i段隧道段下对应‘Image_i_j’的图片数据，Image_i_j_crack_j代表Image_i_j图片下第j个裂缝。
下面，进一步对目标位置识别模型的创建进一步描述，包括以下步骤：
步骤S301：将注意力机制嵌入至YOLOv8算法模型的主干网络、颈部网络以及检测头部得到目标位置识别模型；
在本步骤中，需要解释的，注意力机制（Attention Mechanism）是一种在深度学习，尤其是在自然语言处理（NLP）和计算机视觉（CV）领域中广泛使用的技术。其核心思想是通过调整权重分配、引入新的计算方式和分析计算上下文向量，以优化计算过程提高部分特征的检测效率，从而提高模型的性能。在计算机视觉中注意力机制主要分为通道注意力和空间注意力，其中通道注意力通过全局平均池化和全局最大池化生成通道权重；空间注意力通过对特征图进行平均池化和最大池化生成空间权重。Convolutional BlockAttention Module（CBAM）模块同时结合了通道注意力和空间注意力可以显著提高模型性能，模块的运算过程如公式（1）、公式（2）、公式（3）、公式（4）及公式（5）所示，针对使用到的隧道灰度图像，空间注意力机制将会更有效地发挥效果。Non-Local Attention 通过计算输入特征图中任意两个位置之间的相似性来生成全局上下文信息，如公式（6）所示，能够捕捉全局依赖关系。
（1）；
（2）;
（3）;
（4）；
（5）；
其中，为输入的特征图，为sigmoid函数，为将每个通道的所有空间位置的值进行平均的全局平均池化函数，为将每个通道的所有空间位置取最大值的全局最大池化函数，为包含两个全连接层的多层感知器，为通道注意力映射，为加权输入特征图，为卷积操作，表示尺寸为7×7的卷积核，为输出的特征图。
（6）;
其中：是位置i的输出特征，分别是位置i和位置j的输入特征，是相似性函数衡量位置i和位置j之间的相似性，是位置j的特征变换，是归一化因子。常见的函数包括：点积：，高斯函数：，嵌入函数：等。
将注意力机制嵌入到 YOLOv8 的 Backbone、Neck 和 Head 中，以增强特征提取、融合和检测能力。分别可以在Backbone、Neck和Head中引入注意力机制，首先定义NonLocalBlock类，通过计算全局特征的相似性来为每个位置分配权重，该类包含g、theta、phi，卷积层：用于生成不同的特征映射，全局相似性计算：通过特征映射的内积计算位置之间的相似性。重新校准特征图：根据计算得到的权重重新校准原始特征图。在Backbone模块中的CSPDarknetWithAttention类的 layer3 和 layer4 之间插入NonLocalBlock。这样，经过前几层卷积后，特征图会经过自注意力机制模块，增强重要区域的特征表示，网络逻辑框架图如图所示。YOLOv8 的 Neck 层使用 PANet（Path Aggregation Network）模块，首先定义CBAM 类，其中包含ChannelAttention类和SpatialAttention类。再定义PANetWithAttention，在forward函数的layer2和layer3层之间插入CBAM模块，实现PANet模块中引入自注意力机制，并替换原有网络层的PANet模块，集成到Yolov8的Neck结构中，
步骤S302：基于所述目标位置识别模型嵌入用于衡量预测的裂缝区域与真实裂缝区域的重叠情况损失函数；
在本步骤中，为了衡量目标位置识别模型的预测结果与实际标签之间的差异或误差，创建用于衡量预测的裂缝区域与真实裂缝区域的重叠情况损失函数，其根据采集图像的像素真实标签以及像素预测概率构建损失函数，
其中，损失函数计算公式为
式中，表示损失函数，表示第i个像素的真实标签，表示第i个像素的预测概率，为图像中的像素总数。
步骤S303：输入所述第一训练集对模型进行训练得到识别精度与损失函数对应的训练精度及误差收敛曲线，基于所述训练精度及误差收敛曲线获得裂缝位置识别模型；
在本步骤中，需要说明的是，通过将第一训练集输入目标位置识别模型进行训练，每次迭代训练结束后均用测试集计算模型训练的精度，当模型的精度稳定后退出训练过程保留模型，以得到识别精度与损失函数对应的训练精度及误差收敛曲线，通过目标位置识别模型的训练精度和误差收敛曲线，选择最合适的目标位置识别模型作为裂缝位置识别模型，最合适的可以是裂缝定位识别模型精度最高。
步骤S304：基于所述获得裂缝位置识别模型输入所述第一测试集，得到对角边界框数据，所述对角边界框数据包括定位的裂缝图像位置及其与全图位置关系坐标数据。
在本步骤，当经过多次训练获取最终的裂缝位置识别模型，再将第一测试集输入裂缝位置识别模型，得到包括定位的裂缝图像位置及其与全图位置关系坐标数据的对角边界框数据
步骤S400：基于所述对角边界框数据对所述图像数据样本进行阈值分割得到裂缝样本，所述裂缝样本包括第二训练集及第二测试集；
在本步骤中，需要说明的是，为了对裂缝位置识别模型对图像识别定位得到的裂缝进行尺寸自动测量，裂缝位置识别模型可以基于DeepCrack模型搭建，需要根据角边界框数据对图像数据样本中图像进行阈值分割得到裂缝样本，当然也可以是对标记图像数据集中的图像进行阈值分割得到裂缝样本。
请参阅图4，以DeepCrack为例，要实现图像的裂缝尺寸识别，需要针对模型的训练规则制作数据集。输出为二值化的裂缝图像，因此制作数据集要先对图片进行阈值分割，隧道扫描图像的光照条件难以直接区分，通过输出的对角边界框数据，手动或者自动框选裂缝区域的ROI（Region of Interest），去除非ROI区域后得到裂缝样本，裂缝样本即为从图像框选的裂缝进行裁剪提取，再选择合适的二值化阈值进行二值化，在获取裂缝样本可以按比例划分为第二训练集及第二测试集，划分比例可以为4:1、5:1或者其他比例系数，具体可以根据实际需求进行选择。
步骤S500：向目标尺寸识别模型输入所述第二训练集，以获得裂缝尺寸识别模型，向所述裂缝尺寸识别模型输入所述第二测试集，得到二值化图像；
在本步骤中，基于第二训练集对深度学习网络模型进行预训练得到输出图像特征，基于图像特征修改对应网络结构的尺寸、并冻结网络结构的其他卷积或池化层，得到目标尺寸识别模型，将第二训练集输入至目标尺寸识别模型进行迁移学习训练、以及联合激活函数与交叉熵损失函数作为迁移学习训练后模型的损失函数，得到裂缝尺寸识别模型。
需要说明的是，深度学习网络模型选用DeepCrack模型，DeepCrack是一个开源的专为裂缝检测设计的深度学习模型，主要过程是通过层次化的特征学习实现端到端的裂缝分割，DeepCrack主要包括以下几个模块：卷积层、路输出层、融合层、采样和预测层及化模块，由于DeepCrack模型为现有的工具模型，其具体功能实现在此不做赘述。
具体的，要针对DeepCrack进行预训练，首先加载DeepCrack的预训练模型，根据本次图像识别的输出图像尺寸要求和特征，修改最后三层网络结构的尺寸512*512*2，512*512，512，并冻结网络结构的其他卷积或池化层，避免破坏模型预训练的成果。向调整后的卷积神经网络模型中加载数据集开始迁移学习训练，训练过程中使用小批量数据进行迭代更新，对每一次输出的数据进行统计得到预测精度值，基于预测精度值确定最终的裂缝尺寸识别模型，
可以理解的是，为了衡量目标尺寸识别模型的预测结果与实际裂缝尺寸之间的差异或误差，创建用于衡量预测的裂缝尺寸与真实裂缝尺寸的损失函数，采用Softmax联合CrossEntropyLoss函数作为网络模型的损失函数。
Softmax 公式为；
CrossEntropyLoss函数公式为；
具体联合激活函数与交叉熵损失函数作为迁移学习训练后模型的损失函数计算公式为：
式中，表示损失函数，表示神经网络原始输出的第i个元素，表示神经网络原始输出的第j个元素，表示第i热编码的向量，对于二值化图像来说输出的预测像素值与实际值对比正确则，否则，是模型预测样本属于类别i的概率，即，表示输出所有元素的个数，在输出512*512的图像中。
继续参阅图4，在得到裂缝尺寸识别模型前，需要对模型选择不同的二值化阈值进行二值化，得到最合适的二值化阈值设定值，将第二测试集输入至裂缝尺寸识别模型中进行处理，裂缝尺寸识别模型对裂缝样本图像进行处理得到二值化的裂缝图像。
步骤S600：向轮廓处理算法模型输入所述二值化图像，以得到裂缝宽度及长度的统计数据，基于所述统计数据得到包括裂缝平均宽度、最大宽度、最小宽度及总长度的裂缝检测参数。
在本步骤中，通过步骤S500输出的二值化的裂缝图像，先将模型输出的分割图进行二值化处理，提取裂缝区域。通过计算机视觉的轮廓处理算法得到裂缝宽度及长度尺寸数据，以python的cv模块的findContours函数为例，计算每个连通区域的宽度分布，并计算连通区域的平均裂缝宽度；计算裂缝的连通区域的长度估计裂缝，最后将计算得到的裂缝宽度和长度进行统计分析，可以得到裂缝的平均宽度、最大宽度、最小宽度，以及裂缝的总长度等信息。
具体的根据进行处理，其中代表模型D处理结果，具体为定位的裂缝图像进行图像分割，得到二值化图像，其中裂缝像素为1，非裂缝像素为0。根据分割得到的裂缝图像利用轮廓处理算法模型进行实际物理信息计算得到裂缝的平均宽度、最大宽度、最小宽度，以及裂缝的总长度，具体计算方式根据一个像素点对应实际长度进行求得进行存储。
上述方法步骤中，提供隧道灰度图上衬砌裂缝位置识别模型和裂缝尺寸识别模型，其中，用于隧道衬砌裂缝位置识别模型基于Yolov8深度神经网络模型并引入自注意力机制，实现图像检测算法能够对照片上的裂缝进行定位，并通过注意力机制实现对小微裂缝特征的增强识别，对大裂缝或者小裂缝都可以实现精准识别，通过模型得到对角边界框数据；为了进一步统计自动识别的裂缝具体尺寸参数，基于对角边界框数据对图像数据样本进行阈值分割得到裂缝样本数据，基于裂缝样本数据训搭建裂缝尺寸识别模型，并测试得到二值化图像；向轮廓处理算法模型输入二值化图像，以得到包括裂缝平均宽度、最大宽度、最小宽度及总长度的裂缝检测参数，满足当前高要求的自动裂缝定位和自动裂缝提取要求，提高了检测结果以及隧道衬砌安全性评估的可靠性和准确性。
并且，为了提高预训练模型在不同光照条件下的鲁棒性，以及去除隧道衬砌表面的图像数据的干扰因素，引入通过均衡化等变换手段对图像的亮度进行统一，采用先直方图均衡化，后进行线性变化的方式实现，同时，由于隧道的灰度图像除了存在裂缝外还存在很多干扰结构如螺栓、接缝等，因此单独框选干扰因子制作标签，以提高隧道衬砌裂缝位置识别模型提取定位衬砌表面裂缝识别精度，降低模型识别过程误判率。
以及，通过基于对角边界框数据对图像数据样本进行阈值分割得到用于输入裂缝尺寸识别模型的裂缝样本数据，裂缝尺寸识别模型基于迁移学习网络模型搭建，迁移学习模型表现出了较好精度和稳定性，随着巡检工作的开展，数据集将会越来越充实，模型的精度也将会随之提高，模型实现对裂缝图像二值化处理并输出，并通过轮廓处理算法模型得到包括裂缝平均宽度、最大宽度、最小宽度及总长度的裂缝检测参数数据。
请参阅图5，图5示出了本实施例提供基于深度学习的隧道衬砌裂缝检测系统200，基于深度学习的隧道衬砌裂缝检测系统200包括：
图像采集模块210，被配置为取隧道衬砌表面的图像数据，对所述图像数据进行标注、尺寸调整、归一化及图像亮度均衡化处理得到图像数据样本；
干扰因子去除模块220，被配置为根据所述图像数据样本框选包括螺栓、焊缝的干扰因子制作标签，以得到标记图像数据集，将所述标记图像数据集按比例划分得到第一训练集及第一测试集；
第一模型搭建模块230，被配置为搭建目标位置识别模型，输入所述第一训练集对模型进行训练以得到裂缝位置识别模型，以及对所述裂缝位置识别模型输入第一测试集得到对角边界框数据；
阈值分割模块240，被配置为基于所述对角边界框数据对图像进行阈值分割得到裂缝样本，基于裂缝识别样本划分得到第二训练集及第二测试集；
第二模型搭建模块250，被配置为搭建基于迁移学习的裂缝尺寸识别模型，输入所述第二训练集对模型进行训练，以及对训练后的模型输入第二测试集得到二值化图像；
裂缝特征计算模块260，被配置为基于搭建轮廓处理算法模型对所述二值化图像处理计算得到裂缝宽度及长度的统计数据，基于统计数据得到包括裂缝的平均宽度、最大宽度、最小宽度及裂缝总长度的裂缝检测参数。
在一些实施例中，还提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一项实施例所述的基于深度学习的隧道衬砌裂缝检测方法的步骤。
请参阅图6，图6示出了适于用来实现本申请实施方式的示例性电子设备的框图。图6显示的电子设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，电子设备12以通用计算设备的形式表现，电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件（包括系统存储器28和处理单元16）的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说 ，这些体 系结构包括但不限 于工业标准体 系结构（I n d u s t r y S t a n da r dArchitecture；以下简称：ISA）总线，微通道体系结构（Micro ChannelArchitecture；以下简称：MAC）总线，增强型ISA总线、视频电子标准协会（VideoElectronics StandardsAssociation；以下简称：VESA）局域总线以及外围组件互连（Peripheral ComponentInterconnection；以下简称：PCI）总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器30（Random Access Memory；以下简称：RAM）和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图6未显示，通常称为“硬盘驱动器”）。
尽管图6中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如：光盘只读存储器（Compact Disc ReadOnlyMemory；以下简称：CD-ROM）、数字多功能只读光盘（Digital Video Disc ReadOnlyMemory；以下简称：DVD-ROM）或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14（例如键盘、指向设备、显示器24等）通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络（例如局域网（Local Area Network；以下简称：LAN），广域网（Wide Area Network；以下简称：WAN）和/或公共网络，例如因特网）通信。
如图6所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的基于深度学习的隧道衬砌裂缝检测方法的步骤。
在一些实施例中，基于同一发明构思，还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现上述实施例提供的一种基于深度学习的隧道衬砌裂缝检测方法的步骤。
本申请的说明书和权利要求书及所述附图中术语“第一”、“第二”、“第三”等是区别于不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元，或者可选地，还包括没有列出的步骤或单元，或者可选地还包括这些过程、方法、产品或设备固有的其它步骤或单元。
附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作（或步骤）描述成顺序的处理，但是其中的许多操作可以并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在本说明书中使用的术语“部件”、“模块”、“系统”、“单元”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件或执行中的软件。例如，单元可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或分布在两个或多个计算机之间。此外，这些单元可从在上面存储有各种数据结构的各种计算机可读介质执行。单元可例如根据具有一个或多个数据分组（例如来自与本地系统、分布式系统和/或网络间的另一单元交互的第二单元数据。例如，通过信号与其它系统交互的互联网）的信号通过本地和/或远程进程来通信。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或者特性可以包含在本实施例申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是相同的实施例，也不是与其它实施例互斥的独立的或是备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

Claims (10)

1.一种基于深度学习的隧道衬砌裂缝检测方法，其特征在于，包括：
获取隧道衬砌表面的图像数据，对所述图像数据进行标注、尺寸调整、归一化及图像亮度均衡化处理得到图像数据样本；
根据所述图像数据样本框选干扰因子制作标签，以得到标记图像数据集，所述标记图像数据集包括第一训练集及第一测试集；
向目标位置识别模型输入所述第一训练集，以获得裂缝位置识别模型；向所述裂缝位置识别模型输入所述第一测试集，得到对角边界框数据；
基于所述对角边界框数据对所述图像数据样本进行阈值分割得到裂缝样本，所述裂缝样本包括第二训练集及第二测试集；
向目标尺寸识别模型输入所述第二训练集，以获得裂缝尺寸识别模型，向所述裂缝尺寸识别模型输入所述第二测试集，得到二值化图像；
向轮廓处理算法模型输入所述二值化图像，以得到裂缝宽度及长度的统计数据，基于所述统计数据得到包括裂缝平均宽度、最大宽度、最小宽度及总长度的裂缝检测参数。
2.根据权利要求1所述的一种基于深度学习的隧道衬砌裂缝检测方法，其特征在于，所述获取隧道衬砌表面的图像数据，对所述图像数据进行标注、尺寸调整、归一化及图像亮度均衡化处理得到图像数据样本，包括：
对所述图像数据进行包括裂缝位置和尺寸的标注，对标注后的图像数据进行裁剪尺寸调整；
基于调整后的图像数据依次计算每一图像的直方图、归一化直方图及累计分布函数，以及
基于计算结果将原灰度图像映射及结合线性变换计算调整图像的明度得到图像数据样本。
3.根据权利要求2所述的一种基于深度学习的隧道衬砌裂缝检测方法，其特征在于，所述基于调整后的图像数据依次计算每一图像的直方图、归一化直方图及累计分布函数，以及基于计算结果将原灰度图像映射及结合线性变换计算调整图像的明度得到图像数据样本，包括：
基于公式计算每一图像的直方图、
基于公式计算归一化直方图、
基于公式计算累计分布函数、
基于公式将原灰度图像映射、以及
基于公式进行线性变化调整图像的明度得到图像数据样本；
式中，表示灰度级为图像中第k个像素的亮度值，M表示图像每行有限元素总数量，N表示图像每列有限元素总数量，表示图像在位置处的灰度值， 表示当前像素的灰度是否满足所选的灰度级，表示灰度级为的像素个数，n表示图像的总像素个数，表示灰度级为的像素出现的频率，表示灰度级为的像素出现的频率，表示灰度级小于或等于像素的累计概率，表示旧灰度级映射到的新的灰度级，表示灰度级的总数，表示图像的对比度缩放因子，表示图像的亮度偏移量，表示新的图像灰度矩阵。
4.根据权利要求1所述的一种基于深度学习的隧道衬砌裂缝检测方法，其特征在于，所述向目标位置识别模型输入所述第一训练集，以获得裂缝位置识别模型；向所述裂缝位置识别模型输入所述第一测试集，得到对角边界框数据，包括：
将注意力机制嵌入至YOLOv8算法模型的主干网络、颈部网络以及检测头部得到目标位置识别模型；
基于所述目标位置识别模型嵌入用于衡量预测的裂缝区域与真实裂缝区域的重叠情况损失函数；
输入所述第一训练集对模型进行训练得到识别精度与损失函数对应的训练精度及误差收敛曲线，基于所述训练精度及误差收敛曲线获得裂缝位置识别模型；
基于所述获得裂缝位置识别模型输入所述第一测试集，得到对角边界框数据，所述对角边界框数据包括定位的裂缝图像位置及其与全图位置关系坐标数据。
5.根据权利要求4所述的一种基于深度学习的隧道衬砌裂缝检测方法，其特征在于，所述基于所述目标位置识别模型嵌入用于衡量预测的裂缝区域与真实裂缝区域的重叠情况损失函数，包括：
根据采集图像的像素真实标签以及像素预测概率构建损失函数，
其中，损失函数计算公式为：
式中，表示损失函数，表示第i个像素的真实标签，表示第i个像素的预测概率，为图像中的像素总数。
6.根据权利要求1所述的一种基于深度学习的隧道衬砌裂缝检测方法，其特征在于，所述向目标尺寸识别模型输入所述第二训练集，以获得裂缝尺寸识别模型，向所述裂缝尺寸识别模型输入所述第二测试集，得到二值化图像，包括：
基于所述第二训练集对深度学习网络模型进行预训练得到输出图像特征；
基于所述图像特征修改对应网络结构的尺寸、并冻结网络结构的其他卷积或池化层，得到目标尺寸识别模型；
将所述第二训练集输入至所述目标尺寸识别模型进行迁移学习训练、以及联合激活函数与交叉熵损失函数作为迁移学习训练后模型的损失函数，得到裂缝尺寸识别模型。
7.根据权利要求6所述的一种基于深度学习的隧道衬砌裂缝检测方法，其特征在于，将所述第二训练集输入至所述目标尺寸识别模型进行迁移学习训练、以及联合激活函数与交叉熵损失函数作为迁移学习训练后模型的损失函数，得到裂缝尺寸识别模型，包括：
联合激活函数与交叉熵损失函数作为迁移学习训练后模型的损失函数计算公式为：
式中，表示损失函数，表示神经网络原始输出的第i个元素，表示神经网络原始输出的第j个元素，表示第i热编码的向量，表示输出所有元素的个数。
8.一种基于深度学习的隧道衬砌裂缝检测系统，其特征在于，包括：
图像采集模块，被配置为取隧道衬砌表面的图像数据，对所述图像数据进行标注、尺寸调整、归一化及图像亮度均衡化处理得到图像数据样本；
干扰因子去除模块，被配置为根据所述图像数据样本框选包括螺栓、焊缝的干扰因子制作标签，以得到标记图像数据集，将所述标记图像数据集按比例划分得到第一训练集及第一测试集；
第一模型搭建模块，被配置为搭建目标位置识别模型，输入所述第一训练集对模型进行训练以得到裂缝位置识别模型，以及对所述裂缝位置识别模型输入第一测试集得到对角边界框数据；
阈值分割模块，被配置为基于所述对角边界框数据对图像进行阈值分割得到裂缝样本，基于裂缝识别样本划分得到第二训练集及第二测试集；
第二模型搭建模块，被配置为搭建基于迁移学习的裂缝尺寸识别模型，输入所述第二训练集对模型进行训练，以及对训练后的模型输入第二测试集得到二值化图像；
裂缝特征计算模块，被配置为基于搭建轮廓处理算法模型对所述二值化图像处理计算得到裂缝宽度及长度的统计数据，基于统计数据得到包括裂缝的平均宽度、最大宽度、最小宽度及裂缝总长度的裂缝检测参数。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的基于深度学习的隧道衬砌裂缝检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-7中任一项所述的基于深度学习的隧道衬砌裂缝检测方法的步骤。
CN202410957529.6A 2024-07-17 2024-07-17 基于深度学习的隧道衬砌裂缝检测方法、系统及电子设备 Active CN118505690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410957529.6A CN118505690B (zh) 2024-07-17 2024-07-17 基于深度学习的隧道衬砌裂缝检测方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410957529.6A CN118505690B (zh) 2024-07-17 2024-07-17 基于深度学习的隧道衬砌裂缝检测方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN118505690A true CN118505690A (zh) 2024-08-16
CN118505690B CN118505690B (zh) 2024-10-11

Family

ID=92239994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410957529.6A Active CN118505690B (zh) 2024-07-17 2024-07-17 基于深度学习的隧道衬砌裂缝检测方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN118505690B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020652A (zh) * 2019-01-07 2019-07-16 新而锐电子科技(上海)有限公司 隧道衬砌裂缝图像的分割方法
AU2020101011A4 (en) * 2019-06-26 2020-07-23 Zhejiang University Method for identifying concrete cracks based on yolov3 deep learning model
US20210319547A1 (en) * 2020-04-08 2021-10-14 Zhejiang University Method and apparatus for identifying concrete crack based on video semantic segmentation technology
CN114049356A (zh) * 2022-01-17 2022-02-15 湖南大学 一种结构表观裂缝检测方法、装置及系统
CN115830432A (zh) * 2023-02-15 2023-03-21 山东科技大学 一种基于YOLOv5的隧道衬砌裂缝检测方法及设备
CN116863134A (zh) * 2023-06-15 2023-10-10 河南省城乡规划设计研究总院股份有限公司 一种隧道衬砌裂缝长度与宽度的检测分割方法及系统
CN116883831A (zh) * 2023-02-01 2023-10-13 上海勘测设计研究院有限公司 一种被遮挡的隧道表面裂缝识别方法
WO2023207104A1 (zh) * 2022-04-26 2023-11-02 云南航天工程物探检测股份有限公司 基于自监督学习的探地雷达隧道衬砌质量检测方法
US20240029402A1 (en) * 2022-07-20 2024-01-25 Hohai University Quick and intelligent ir7-ec network based classification method for concrete image crack type
CN117911677A (zh) * 2024-01-26 2024-04-19 山西省智慧交通研究院有限公司 一种基于小目标识别算法的隧道衬砌裂缝智能识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020652A (zh) * 2019-01-07 2019-07-16 新而锐电子科技(上海)有限公司 隧道衬砌裂缝图像的分割方法
AU2020101011A4 (en) * 2019-06-26 2020-07-23 Zhejiang University Method for identifying concrete cracks based on yolov3 deep learning model
US20210319547A1 (en) * 2020-04-08 2021-10-14 Zhejiang University Method and apparatus for identifying concrete crack based on video semantic segmentation technology
CN114049356A (zh) * 2022-01-17 2022-02-15 湖南大学 一种结构表观裂缝检测方法、装置及系统
WO2023207104A1 (zh) * 2022-04-26 2023-11-02 云南航天工程物探检测股份有限公司 基于自监督学习的探地雷达隧道衬砌质量检测方法
US20240029402A1 (en) * 2022-07-20 2024-01-25 Hohai University Quick and intelligent ir7-ec network based classification method for concrete image crack type
CN116883831A (zh) * 2023-02-01 2023-10-13 上海勘测设计研究院有限公司 一种被遮挡的隧道表面裂缝识别方法
CN115830432A (zh) * 2023-02-15 2023-03-21 山东科技大学 一种基于YOLOv5的隧道衬砌裂缝检测方法及设备
CN116863134A (zh) * 2023-06-15 2023-10-10 河南省城乡规划设计研究总院股份有限公司 一种隧道衬砌裂缝长度与宽度的检测分割方法及系统
CN117911677A (zh) * 2024-01-26 2024-04-19 山西省智慧交通研究院有限公司 一种基于小目标识别算法的隧道衬砌裂缝智能识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐钱龙;谭园;彭立敏;曹豪荣;: "基于数字图像技术的隧道衬砌裂缝识别方法研究", 铁道科学与工程学报, no. 12, 15 December 2019 (2019-12-15) *

Also Published As

Publication number Publication date
CN118505690B (zh) 2024-10-11

Similar Documents

Publication Publication Date Title
Xu et al. Automatic defect detection and segmentation of tunnel surface using modified Mask R-CNN
Wei et al. Instance-level recognition and quantification for concrete surface bughole based on deep learning
CN113469177B (zh) 基于深度学习的排水管道缺陷检测方法及系统
CN113436169B (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统
CN109255317B (zh) 一种基于双网络的航拍图像差异检测方法
CN111899288A (zh) 基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN113780111B (zh) 一种基于优化YOLOv3算法的管道连接器的缺陷精确识别方法
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
WO2023082418A1 (zh) 基于人工智能技术的电力综合管廊沉降裂缝识别方法
CN115546113B (zh) 掌子面裂隙图像与前方三维结构参数预测方法及系统
CN115205855B (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN113066047A (zh) 轮胎x射线图像杂质缺陷检测方法
CN115082444B (zh) 一种基于图像处理的铜管焊缝缺陷检测方法及系统
CN116152674A (zh) 一种基于改进U-Net模型的大坝无人机影像裂缝智能识别方法
CN113884011A (zh) 一种非接触式混凝土表观裂缝测量设备和方法
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
Chen et al. Enhancement of underwater dam crack images using multi-feature fusion
CN115564710A (zh) 基于lk光流法的火灾烟雾检测方法、装置及存储介质
CN118505690B (zh) 基于深度学习的隧道衬砌裂缝检测方法、系统及电子设备
Teng et al. Automated detection of underwater cracks based on fusion of optical and texture information
CN117522833A (zh) 一种摄像头解像力评估方法、装置、电子设备及存储介质
Gao et al. A new method for repeated localization and matching of tunnel lining defects
CN113343932B (zh) 一种静态摄像头下的河道漂浮物检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant