CN115719475A - 一种基于深度学习的三阶段轨旁设备故障自动检测方法 - Google Patents
一种基于深度学习的三阶段轨旁设备故障自动检测方法 Download PDFInfo
- Publication number
- CN115719475A CN115719475A CN202211301662.3A CN202211301662A CN115719475A CN 115719475 A CN115719475 A CN 115719475A CN 202211301662 A CN202211301662 A CN 202211301662A CN 115719475 A CN115719475 A CN 115719475A
- Authority
- CN
- China
- Prior art keywords
- trackside equipment
- equipment
- trackside
- image
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012850 discrimination method Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 16
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000010200 validation analysis Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的三阶段铁路轨旁设备故障自动检测方法。该方法包括以下步骤：构建轨旁设备目标检测数据集；将待检测的轨旁图像送入轨旁设备目标检测网络中，定位与识别不同类型的轨旁设备，提取轨旁设备感兴趣区域；构建轨旁设备ROI语义分割数据集；设计并训练基于改进DeepLabv3+的轻量化语义分割网络，对轨旁设备ROI图像进行像素级别的分割；将轨旁设备ROI分割图作为研究对象，根据不同轨旁设备故障所呈现的不同视觉特征，分别设计长宽比例阈值、极点坐标比较和轮廓定量检测的三种快速故障判别算法。本发明充分融合了基于深度学习的目标检测与语义分割技术，对铁路轨旁设备实现了由粗到细的故障自动检测，实际应用意义较强。
Description
技术领域
本发明涉及铁路轨旁设备故障检测技术领域，尤其涉及一种基于深度学习的三阶段铁路轨旁设备故障自动检测方法。
背景技术
中国铁路建设规模持续增长，铁路安全问题越来越受到人们的关注。铁路轨旁设备作为铁路交通线路中的关键角色之一，其健康状况直接影响着铁路运输的安全。传统对轨旁设备的故障检测方式是通过人工视觉巡检完成的，易受环境、心理等因素的影响，导致检测效率不高，准确性低。
现有的铁路轨旁设备故障自动检测方法，通过使用传统机器学习方法例如图像模板匹配(TM)、决策树(DT)和支持向量机(SVM)，或深度学习方式例如卷积神经网络(CNN)等完成对特定类型的轨旁设备故障检测，虽然准确率有所提高，但仅仅适用于场景稳定、目标单一的轨旁设备图像，对于实际环境下的种类复杂多样、故障区域大小不一的轨旁设备而言，这些方法都具有较大的局限性。
发明内容
针对现有的铁路轨旁设备故障自动检测方法存在的缺陷，本发明提出了一种基于深度学习的三阶段铁路轨旁设备故障自动检测方法，以实现高效准确地检测轨旁设备故障。
为实现上述目的，本发明采用了如下技术方案：
一种基于深度学习的三阶段铁路轨旁设备故障自动检测方法，包括：
S1：构建铁路轨旁设备目标检测数据集：标记每个轨旁设备的类别信息与位置坐标信息，将标注好的轨旁设备图像划分为训练集、验证集和测试集；
S2：基于所述轨旁设备目标检测数据集设计并训练基于YOLOv5的轨旁设备目标检测网络；
S3：将待检测图像送入所述目标检测网络中进行轨旁设备的定位与识别，提取出图像中的潜在轨旁设备感兴趣区域(ROI)；
S4：构建轨旁设备ROI语义分割数据集：将轨旁设备ROI图像中的像素点分为目标区域与背景区域两大类别，标注ROI图像中每个像素点的所属类别信息，将标注好的轨旁设备ROI图像划分为训练集、验证集和测试集；
S5：在轨旁设备ROI语义分割数据集上设计并训练基于改进DeepLabv3+的轻量化语义分割网络；
S6：将待检测的轨旁设备ROI图像送入所述语义分割网络中，得到轨旁设备ROI分割图；
S7：根据不同轨旁设备故障所呈现的不同视觉特征，分别设计基于长宽比例阈值、基于极点坐标比较和基于轮廓定量检测的三种故障判别方法，利用故障判别方法对相应的轨旁设备ROI分割图进行故障判别。
优选地，步骤S1所述构建轨旁设备目标检测数据集包括，获取到轨旁设备图像集合后，使用矩形框对每张图像中的轨旁设备进行类别标注与位置坐标标注。
优选地，所述S2中的基于所述轨旁设备目标检测数据集设计并训练基于YOLOv5的轨旁设备目标检测网络，包括：
所述轨旁设备目标检测网络，以YOLOv5架构为基础，使用GhostConv层和C3Ghost层替换原始的Conv层和C3层，包括Backbone、Neck和Head模块，轨旁设备图像通过Backbone模块进行特征提取，得到三个由浅入深的有效特征层，然后被送入到Neck模块，Neck模块由FPN结构与PAN结构构建而成的，其中FPN自顶向下传递轨旁设备的语义特征，而PAN则自底向上地传递轨旁设备的位置特征，语义特征与位置特征融合后输出三个加强特征层，每个特征层不但包含通道信息和尺寸信息，还包含每个特征点的位置参数、是否包含轨旁设备以及轨旁设备种类信息，这三个加强特征层送入Head模块，通过解码计算得到预测框，然后进行非极大值抑制处理，筛选得到最终的预测框，所述轨旁设备目标检测网络在COCO数据集上进行预训练，然后将模型权重迁移至轨旁设备目标检测数据集上训练。
优选地，所述S3中的将待检测图像送入所述目标检测网络中进行轨旁设备的定位与识别，提取出图像中的潜在轨旁设备感兴趣区域(ROI)，包括：
将待检测的图像送入所述目标检测网络中进行轨旁设备的识别与定位，并根据预测得到轨旁设备的类别信息与位置信息，对图像中的轨旁设备ROI进行裁剪，提取出相应的轨旁设备ROI局部图像。
优选地，所述步骤S5中的所述在轨旁设备ROI语义分割数据集上设计并训练基于改进DeepLabv3+的轻量化语义分割网络，包括：
所述基于改进DeepLabv3+的轻量化语义分割网络，以DeepLabv3+为基础，采用融合了CA注意力机制的GhostNet作为主干特征提取网络，使用密集空洞空间金字塔池化DenseASPP结构提取高级语义特征；增加一个特征图切分与提取模块并行提取高级语义特征，然后进行高级语义特征融合，通过特征图切分与提取模块对中间特征图进行特征复用与增强，并从主干特征提取网络额外提取一个占原始输入分辨率1/2的底层特征图参与最终的特征融合；
所述轨旁设备ROI语义分割网络在PASCAL-VOC2012数据集上进行预训练，然后将模型权重迁移至轨旁设备ROI语义分割数据集上进行训练。
优选地，所述步骤S7中的根据不同轨旁设备故障所呈现的不同视觉特征，分别设计基于长宽比例阈值、基于极点坐标比较和基于轮廓定量检测的三种故障判别方法，利用故障判别方法对相应的轨旁设备ROI分割图进行故障判别，包括：
设计的三种快速故障判别算法，包括长宽比例阈值、极点坐标比较和轮廓定量检测：
长宽比例阈值算法，具体包括检测ROI分割图上的所有轮廓区域，绘制每个轮廓区域的最小外接矩形，计算每个最小外接矩形的长度与宽度的数值比例，将数值比例与先验阈值进行比较，根据比较结果筛选并判别每个轮廓区域是否发生故障；
极点坐标比较算法，具体包括依次检测ROI分割图上两大主轮廓的各自左右极点的水平坐标，设置两次比较，第一次是比较轮廓A的左极点水平坐标与轮廓B的右极点水平坐标的大小关系，第二次是比较轮廓A的右极点水平坐标与轮廓B的左极点水平坐标的大小关系，根据两次大小关系的比较结果判定轨旁设备是否发生部件分离故障；
轮廓定量检测算法，具体包括检测ROI分割图的所有几何轮廓，将待检测部件的几何轮廓数量与先验阈值进行比较，根据比较结果判别轨旁设备是否发生部件断裂故障。
本发明实例提供的基于深度学习的三阶段铁路轨旁设备故障自动检测方法，将故障检测任务分为由粗到细的三个阶段，通过目标检测、语义分割和故障判别三个技术实现了对铁路轨旁设备的故障自动检测；本发明克服了传统故障检测方法的局限性，能够实现对多种类型轨旁设备的故障检测，具有良好的检测性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种的故障自动检测方法示意图；
图2为本发明实施例提供的一种三类代表性轨旁设备的语义分割可视化效果
图3为本发明实施例提供的一种三类代表性轨旁设备的故障判别可视化效果图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明是一种基于深度学习的三阶段铁路轨旁设备故障自动检测方法，如图1所示，包括轨旁设备定位与识别阶段、轨旁设备ROI语义分割阶段和最终的故障判别阶段。具体包括如下步骤：
步骤S1：构建铁路轨旁设备目标检测数据集。
获取到轨旁设备图像集合后，手工标注获取到的铁路轨旁大尺寸图像，使用矩形框对每张图像中的轨旁设备进行类别标注与位置坐标标注，将标注好的轨旁设备图像划分为训练集、验证集和测试集，构建铁路轨旁设备目标检测数据集。
步骤S2：在轨旁设备目标检测数据集上搭建并训练轨旁设备目标检测网络。
步骤S3：将待检测的图像送入所述目标检测网络中进行轨旁设备的识别与定位，提取出图像中的轨旁设备感兴趣区域(ROI)。
步骤S4：构建轨旁设备ROI语义分割数据集：将轨旁设备ROI图像中的像素点分为目标区域与背景区域两大类别，手工标注每个像素点的所属类别，将标注好的轨旁设备ROI图像划分为训练集、验证集和测试集。
步骤S5：在轨旁设备ROI语义分割数据集上设计并训练基于改进DeepLabv3+的轻量化语义分割网络。
步骤S6：将待检测的轨旁设备ROI图像送入所述语义分割网络中，得到轨旁设备ROI分割图。
步骤S7：根据不同轨旁设备故障所呈现的不同视觉特征，分别设计基于长宽比例阈值、基于极点坐标比较和基于轮廓定量检测的三种故障判别方法，利用故障判别方法对相应的轨旁设备ROI分割图进行故障判别。
具体地，所述步骤S1包括：获取到轨旁设备图像集合后，使用矩形框对每张图像中的轨旁设备进行类别标注与位置坐标标注，构建轨旁设备目标检测数据集，并划分为训练集、验证集和测试集。
具体地，所述步骤S2包括：
所述轨旁设备目标检测网络的具体构建如下：
以YOLOv5架构为基础，由Backbone、Neck和Head三大模块组成，同时使用GhostConv层和C3Ghost层替换原始的Conv层和C3层。轨旁设备图像通过Backbone模块进行特征提取，得到三个由浅入深的有效特征层，然后被送入到Neck模块。Neck模块是由FPN结构与PAN结构构建而成的，其中FPN自顶向下传递轨旁设备的语义特征，而PAN则自底向上地传递轨旁设备的位置特征，语义特征与位置特征融合后输出三个加强特征层，每个特征层不但包含通道信息和尺寸信息，还包含每个特征点的位置参数、是否包含轨旁设备以及轨旁设备种类信息等。这三个加强特征层送入Head模块，通过解码计算得到预测框，然后进行非极大值抑制处理，筛选得到最终的预测框。
所述轨旁设备目标检测网络的训练过程具体如下：
首先在COCO数据集上预训练300个epoch后，保存模型权重参数，并将其迁移至步骤S1所述的轨旁设备目标检测数据集上继续训练200个epoch，使用Adam优化器进行优化，初始学习率设置为0.001。网络训练过程中使用GIOU损失函数计算预测框与真实框之间的回归损失，使用Focal损失函数计算预测框与目标框之间的类别损失与置信度损失。GIOU损失函数如公式(1)所示。
其中Ap是ground truth的面积，Ag是bounding box的面积，I表示Ap与Ag之间的重叠面积。此外，Ac代表包含Ap和Ag的最小凸集的面积。
Focal损失函数如公式(2)所示。
其中y为类别标签，取值为0和1。p∈[0,1]，代表模型输出类别概率。γ代表调节参数。αt∈[0,1]，表示权重系数，用来调节正负样本损失之间的比例。
具体地，所述步骤S3包括：
将待检测的图像送入所述目标检测网络中进行轨旁设备的识别与定位，并根据预测得到轨旁设备的类别信息与位置信息，对图像中的轨旁设备ROI进行裁剪，提取出相应的轨旁设备ROI局部图像。
具体地，所述步骤S4包括：
将轨旁设备ROI图像中的所有像素点分为目标区域与背景区域两大类别，手工标注出目标区域的几何轮廓，其余像素点则定义为背景区域；将标注好的轨旁设备ROI图像划分为训练集、验证集和测试集。
具体地，所述步骤S5包括：
所述基于改进DeepLabv3+的轻量化语义分割网络的具体构建如下：
以DeepLabv3+为基础，采用融合了CA注意力机制的GhostNet作为主干特征提取网络，使用密集空洞空间金字塔池化(DenseASPP)结构加强对高级语义信息的特征提取；增加一个特征图切分与提取模块并行提取高级语义特征，然后进行特征信息融合。此外，设计并实现特征图切分与提取模块对中间特征图进行特征复用与增强，并从主干特征提取网络额外提取一个占原始输入分辨率1/2的底层特征图参与最终的特征融合。
所述基于改进DeepLabv3+的轻量化语义分割网络的训练过程具体如下：
首先在PASCAL-VOC2012数据集上进行预训练300个Epoch后，保存模型权重参数，并将其迁移至步骤S4所述的轨旁设备目标检测数据集上继续训练200个epoch，使用Adam优化器进行优化，初始学习率设置为0.0001。网络训练过程中使用Dice损失函数计算语义分割损失，使用Cross Entropy损失函数计算像素点多类别分类损失。Dice损失函数如公式(3)所示。
其中X表示预测结果，Y表示Ground Truth，|X∩Y|表示二者之间的交集，|X|表示预测结果的数量，|Y|表示Ground Truth的数量。
Cross Entropy损失函数如公式(4)所示。
其中n表示批量样本的数量，k表示类别数量。yij为sign函数，表示第i个样本的真实类别为j时的取值为1，否则为0。pij表示预测第i个样本属于类别j的概率。
具体地，所述步骤S7包括：
根据不同轨旁设备故障在轨旁设备ROI分割图上所呈现的不同视觉特征，分别设计实并现基于长宽比例阈值、基于极点坐标比较和基于轮廓定量检测的三种故障判别方法，对轨旁设备ROI分割图进行故障检测，从而完成轨旁设备的故障判别任务。基于长宽比例阈值的方法，包括检测ROI分割图上的所有轮廓区域，绘制每个轮廓区域的最小外接矩形，计算每个最小外接矩形的长度与宽度的数值比例，根据先验阈值筛选并判别每个轮廓区域是否发生故障；基于极点坐标比较的方法，包括依次检测ROI分割图上两大主轮廓的各自左右极点的水平坐标，设置两次比较，第一次是比较轮廓A的左极点水平坐标与轮廓B的右极点水平坐标的大小关系，第二次是比较轮廓A的右极点水平坐标与轮廓B的左极点水平坐标的大小关系，根据两次大小关系的比较结果判定轨旁设备是否发生部件分离故障。基于轮廓定量检测的方法，包括检测ROI分割图的所有几何轮廓，将待检测部件的几何轮廓数量与先验阈值进行比较，判别轨旁设备是否发生部件断裂故障。
使用平均交并比(mIoU)和平均像素准确率(mPA)实验指标评估基于基于改进DeepLabv3+的轻量化语义分割网络对轨旁设备ROI的语义分割性能。mIoU表示模型的预测区域与每类图像的真实区域的交集和并集的比例。mPA表示模型为每个类别正确预测的像素数与图像中所有像素数之比的平均值。所述实验指标分别如公式(5)和(6)所示。
其中k表示类的数量。i代表真实类别，j代表预测类别。pii表示将类别i预测为类别的像素数i。pij表示将类别i预测为类别的像素数j。pji表示将类别j预测为类别的像素数i。模型对三类代表性轨旁设备的语义分割性能测试结果如表1所示。
表1三类代表性轨旁设备的语义分割性能测试结果
模型对三类代表性轨旁设备的语义分割可视化效果如图2所示。其中图2(A)是真实轨旁设备ROI图像，图2(B)是轨旁设备ROI的语义分割标注图像，图2(C)是模型对轨旁设备ROI进行语义分割之后的结果。
使用准确率(Accuracy)实验指标衡量三种故障判别算法对轨旁设备的最终故障判别结果。Accuracy表示样本被正确预测的数量占所有预测样本总数量的比例。所述实验指标如公式(7)所示。
其中TP表示真实类别为正类，算法预测也为正类的样本数量。TN表示真实类别为负类，算法预测为正类的样本数量。FP表示真实类别是负类，算法预测为正类的样本数量。FN表示真实类别为正类，算法预测为负类的样本数量。
对三类代表性轨旁设备的故障判别结果如表2所示。所述三种故障判别算法在对应的三类轨旁设备ROI分割图上的故障检测效果显著，对轨旁设备具有较好的故障判别能力。
表2三类代表性轨旁设备的故障判别测试结果
三类代表性轨旁设备的故障判别可视化效果如图3所示。其中图3(A)是电缆槽盖板的分割图和真实图的故障检测效果，图3(B)是轨腰塞钉的分割图和真实图的故障检测效果，图3(C)是信号箱盒的分割图和真实图的故障检测效果。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (6)
1.一种基于深度学习的三阶段铁路轨旁设备故障自动检测方法，其特征在于，包括：
S1：构建铁路轨旁设备目标检测数据集：标记每个轨旁设备的类别信息与位置坐标信息，将标注好的轨旁设备图像划分为训练集、验证集和测试集；
S2：基于所述轨旁设备目标检测数据集设计并训练基于YOLOv5的轨旁设备目标检测网络；
S3：将待检测图像送入所述目标检测网络中进行轨旁设备的定位与识别，提取出图像中的潜在轨旁设备感兴趣区域；
S4：构建轨旁设备ROI语义分割数据集：将轨旁设备感兴趣区域图像中的像素点分为目标区域与背景区域两大类别，标注感兴趣区域图像中每个像素点的所属类别信息，将标注好的轨旁设备感兴趣区域图像划分为训练集、验证集和测试集；
S5：在轨旁设备感兴趣区域语义分割数据集上设计并训练基于改进DeepLabv3+的轻量化语义分割网络；
S6：将待检测的轨旁设备感兴趣区域图像送入所述语义分割网络中，得到轨旁设备感兴趣区域分割图；
S7：根据不同轨旁设备故障所呈现的不同视觉特征，分别设计基于长宽比例阈值、基于极点坐标比较和基于轮廓定量检测的三种故障判别方法，利用故障判别方法对相应的轨旁设备感兴趣区域分割图进行故障判别。
2.如权利要求1所述的一种基于深度学习的三阶段铁路轨旁设备故障自动检测方法，其特征在于，步骤S1所述构建轨旁设备目标检测数据集包括，获取到轨旁设备图像集合后，使用矩形框对每张图像中的轨旁设备进行类别标注与位置坐标标注。
3.如权利要求2所述的一种基于深度学习的三阶段铁路轨旁设备故障自动检测方法，其特征在于，所述S2中的基于所述轨旁设备目标检测数据集设计并训练基于YOLOv5的轨旁设备目标检测网络，包括：
所述轨旁设备目标检测网络，以YOLOv5架构为基础，使用GhostConv层和C3Ghost层替换原始的Conv层和C3层，包括Backbone、Neck和Head模块，轨旁设备图像通过Backbone模块进行特征提取，得到三个由浅入深的有效特征层，然后被送入到Neck模块，Neck模块由FPN结构与PAN结构构建而成的，其中FPN自顶向下传递轨旁设备的语义特征，而PAN则自底向上地传递轨旁设备的位置特征，语义特征与位置特征融合后输出三个加强特征层，每个特征层不但包含通道信息和尺寸信息，还包含每个特征点的位置参数、是否包含轨旁设备以及轨旁设备种类信息，这三个加强特征层送入Head模块，通过解码计算得到预测框，然后进行非极大值抑制处理，筛选得到最终的预测框，所述轨旁设备目标检测网络在COCO数据集上进行预训练，然后将模型权重迁移至轨旁设备目标检测数据集上训练。
4.如权利要求1所述的一种基于深度学习的三阶段铁路轨旁设备故障自动检测方法，其特征在于，所述S3中的将待检测图像送入所述目标检测网络中进行轨旁设备的定位与识别，提取出图像中的潜在轨旁设备感兴趣区域，包括：
将待检测的图像送入所述目标检测网络中进行轨旁设备的识别与定位，并根据预测得到轨旁设备的类别信息与位置信息，对图像中的轨旁设备感兴趣区域进行裁剪，提取出相应的轨旁设备感兴趣区域的局部图像。
5.如权利要求1所述的一种基于深度学习的三阶段铁路轨旁设备故障自动检测方法，其特征在于，所述步骤S5中的所述在轨旁设备感兴趣区域语义分割数据集上设计并训练基于改进DeepLabv3+的轻量化语义分割网络，包括：
所述基于改进DeepLabv3+的轻量化语义分割网络，以DeepLabv3+为基础，采用融合了CA注意力机制的GhostNet作为主干特征提取网络，使用密集空洞空间金字塔池化DenseASPP结构提取高级语义特征；增加一个特征图切分与提取模块并行提取高级语义特征，进行高级语义特征融合，通过特征图切分与提取模块对中间特征图进行特征复用与增强，并从主干特征提取网络额外提取一个占原始输入图像分辨率1/2的底层特征图参与最终的特征融合；
所述轨旁设备感兴趣区域语义分割网络在PASCAL-VOC2012数据集上进行预训练，然后将模型权重迁移至轨旁设备感兴趣区域语义分割数据集上进行训练。
6.如权利要求5所述的一种基于深度学习的三阶段铁路轨旁设备故障自动检测方法，其特征在于，所述步骤S7中的根据不同轨旁设备故障所呈现的不同视觉特征，分别设计基于长宽比例阈值、基于极点坐标比较和基于轮廓定量检测的三种故障判别方法，利用故障判别方法对相应的轨旁设备感兴趣区域分割图进行故障判别，包括：
设计的三种快速故障判别算法，包括长宽比例阈值、极点坐标比较和轮廓定量检测：
长宽比例阈值算法，具体包括检测感兴趣区域分割图上的所有轮廓区域，绘制每个轮廓区域的最小外接矩形，计算每个最小外接矩形的长度与宽度的数值比例，将数值比例与先验阈值进行比较，根据比较结果筛选并判别每个轮廓区域是否发生故障；
极点坐标比较算法，具体包括依次检测感兴趣区域分割图上两大主轮廓的各自左右极点的水平坐标，设置两次比较，第一次是比较轮廓A的左极点水平坐标与轮廓B的右极点水平坐标的大小关系，第二次是比较轮廓A的右极点水平坐标与轮廓B的左极点水平坐标的大小关系，根据两次大小关系的比较结果判定轨旁设备是否发生部件分离故障；
轮廓定量检测算法，具体包括检测感兴趣区域分割图的所有几何轮廓，将待检测部件的几何轮廓数量与先验阈值进行比较，根据比较结果判别轨旁设备是否发生部件断裂故障。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211301662.3A CN115719475B (zh) | 2022-10-24 | 2022-10-24 | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211301662.3A CN115719475B (zh) | 2022-10-24 | 2022-10-24 | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115719475A true CN115719475A (zh) | 2023-02-28 |
| CN115719475B CN115719475B (zh) | 2023-09-19 |
Family
ID=85254298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211301662.3A Active CN115719475B (zh) | 2022-10-24 | 2022-10-24 | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115719475B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914948A (zh) * | 2020-08-20 | 2020-11-10 | 上海海事大学 | 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法 |
| CN116596920A (zh) * | 2023-07-12 | 2023-08-15 | 国网江西省电力有限公司电力科学研究院 | 一种长串瓷绝缘子无人机实时测零方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652227A (zh) * | 2020-05-21 | 2020-09-11 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车底部地板破损故障检测方法 |
| CN111784656A (zh) * | 2020-06-28 | 2020-10-16 | 京东数字科技控股有限公司 | 一种铁路接触网故障检测方法、装置、电子设备及存储介质 |
| CN112434695A (zh) * | 2020-11-20 | 2021-03-02 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的上拉杆故障检测方法 |
| CN112508911A (zh) * | 2020-12-03 | 2021-03-16 | 合肥科大智能机器人技术有限公司 | 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法 |
| CN113393442A (zh) * | 2021-06-17 | 2021-09-14 | 东云睿连(武汉)计算技术有限公司 | 列车零部件异常检测方法、系统、电子设备及存储介质 |
| CN114399672A (zh) * | 2022-01-14 | 2022-04-26 | 东南大学 | 一种基于深度学习的铁路货车闸瓦故障检测方法 |
| CN114743119A (zh) * | 2022-04-28 | 2022-07-12 | 石家庄铁道大学 | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 |
-
2022
- 2022-10-24 CN CN202211301662.3A patent/CN115719475B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652227A (zh) * | 2020-05-21 | 2020-09-11 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车底部地板破损故障检测方法 |
| CN111784656A (zh) * | 2020-06-28 | 2020-10-16 | 京东数字科技控股有限公司 | 一种铁路接触网故障检测方法、装置、电子设备及存储介质 |
| CN112434695A (zh) * | 2020-11-20 | 2021-03-02 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的上拉杆故障检测方法 |
| CN112508911A (zh) * | 2020-12-03 | 2021-03-16 | 合肥科大智能机器人技术有限公司 | 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测系统及其检测方法 |
| CN113393442A (zh) * | 2021-06-17 | 2021-09-14 | 东云睿连(武汉)计算技术有限公司 | 列车零部件异常检测方法、系统、电子设备及存储介质 |
| CN114399672A (zh) * | 2022-01-14 | 2022-04-26 | 东南大学 | 一种基于深度学习的铁路货车闸瓦故障检测方法 |
| CN114743119A (zh) * | 2022-04-28 | 2022-07-12 | 石家庄铁道大学 | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 康高强: "高速铁路接触网零部件缺陷的深度学习检测方法研究", 《中国博士学位论文全文数据库 (工程科技Ⅱ辑)》, pages 033 - 25 * |
| 王健;罗隆福;邹津海;朱胜蓝;叶威;: "基于图像识别的高铁接触网紧固件开口销故障分类方法", 电气化铁道, no. 02 * |
| 金侠挺;王耀南;张辉;刘理;钟杭;贺振东;: "基于贝叶斯CNN和注意力网络的钢轨表面缺陷检测系统", 自动化学报, no. 12 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914948A (zh) * | 2020-08-20 | 2020-11-10 | 上海海事大学 | 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法 |
| CN111914948B (zh) * | 2020-08-20 | 2024-07-26 | 上海海事大学 | 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法 |
| CN116596920A (zh) * | 2023-07-12 | 2023-08-15 | 国网江西省电力有限公司电力科学研究院 | 一种长串瓷绝缘子无人机实时测零方法及系统 |
| CN116596920B (zh) * | 2023-07-12 | 2023-11-07 | 国网江西省电力有限公司电力科学研究院 | 一种长串瓷绝缘子无人机实时测零方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115719475B (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598736B (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
| CN110826538B (zh) | 一种用于电力营业厅的异常离岗识别系统 | |
| CN110969130B (zh) | 一种基于yolov3司机危险动作识别方法及系统 | |
| CN111563557B (zh) | 一种电力电缆隧道内目标检测的方法 | |
| CN103903005B (zh) | 车牌影像辨识系统及方法 | |
| CN112200225B (zh) | 基于深度卷积神经网络的钢轨伤损b显图像识别方法 | |
| CN111813997B (zh) | 入侵分析方法、装置、设备及存储介质 | |
| CN114283469A (zh) | 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统 | |
| CN108875624A (zh) | 基于多尺度的级联稠密连接神经网络的人脸检测方法 | |
| CN108960124B (zh) | 用于行人再识别的图像处理方法及装置 | |
| CN107194396A (zh) | 国土资源视频监控系统中基于特定违章建筑识别预警方法 | |
| CN115719475B (zh) | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 | |
| CN111242015A (zh) | 一种基于运动轮廓语义图预测行车危险场景的方法 | |
| CN111242899B (zh) | 基于图像的瑕疵检测方法及计算机可读存储介质 | |
| CN106203498A (zh) | 一种城市场景垃圾检测方法及系统 | |
| CN108416314A (zh) | 图片重要人脸检测方法 | |
| CN111046728A (zh) | 一种基于特征金字塔网络的秸秆燃烧检测方法 | |
| CN107341508B (zh) | 一种快速美食图片识别方法及系统 | |
| CN109948690A (zh) | 一种基于深度学习和结构信息的高铁场景感知方法 | |
| CN114694178A (zh) | 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统 | |
| CN115147380A (zh) | 一种基于YOLOv5的小型透明塑料制品缺陷检测方法 | |
| CN116959099B (zh) | 一种基于时空图卷积神经网络的异常行为识别方法 | |
| CN111985552A (zh) | 复杂背景下机场道面细带状结构病害检测方法 | |
| CN104537392B (zh) | 一种基于判别性语义部件学习的对象检测方法 | |
| CN111259736B (zh) | 一种基于深度学习的复杂环境下行人实时检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared |