CN118506299B - 一种轨道列车的车体异常检测方法、设备及存储介质 - Google Patents
一种轨道列车的车体异常检测方法、设备及存储介质 Download PDFInfo
- Publication number
- CN118506299B CN118506299B CN202410956150.3A CN202410956150A CN118506299B CN 118506299 B CN118506299 B CN 118506299B CN 202410956150 A CN202410956150 A CN 202410956150A CN 118506299 B CN118506299 B CN 118506299B
- Authority
- CN
- China
- Prior art keywords
- image
- anomaly
- detection
- comparison
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 126
- 230000005856 abnormality Effects 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 229910000831 Steel Inorganic materials 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 239000010959 steel Substances 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000006835 compression Effects 0.000 abstract description 3
- 238000007906 compression Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 6
- 230000006378 damage Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Machines For Laying And Maintaining Railways (AREA)
Abstract
本发明提供用于轨道列车的车体异常检测方法、设备及存储介质，包括图像处理切分步骤，将采集的实际图像进行拉伸、压缩、风格转换以及切分处理得到若干张待配图；车体异常分类步骤，在若干张待配图中挑选与历史异常数据匹配同位置的待配图作为比较图，将比较图与数据库中同位置的标准图进行比较，得到形状偏差结果或色值偏差结果；异常检测匹配步骤，根据比较结果选择宏观级异常检测策略或项点级异常检测策略进行异常分析；异常故障输出步骤，将异常分析结果与对应的车厢号以及任务编号作为故障信息输出；本发明优点是能够根据不同情况选择不同的异常检测方式，以减少检测计算量，还能提高检测的精准度。
Description
技术领域
本发明涉及轨道车辆检测的技术领域，更具体的说是涉及一种轨道列车的车体异常检测方法、设备及存储介质。
背景技术
轨道列车是一种高速、高效、安全且环保的公共交通工具，其检修工作对保障其正常运行至关重要。轨道列车的巡检工作涵盖多个部件、多个工序和多个巡检点，其中列车车体的刮伤、撞击伤、异物附着和关键零部件的缺失等异常检测是一个至关重要的环节。
目前，针对轨道列车的车体异常检测通常依赖人工逐一检查。然而，这种方式存在重复性高的工作和复杂的工作环境，容易导致操作人员出现视觉疲劳，进而可能导致误检或漏检情况的发生。
随着人工智能技术的不断革新，基于计算机视觉的工业检测技术在轨道交通领域备受瞩目。目前，在轨道交通领域，对于车体异常检测，目前主要采用目标检测算法检测已知的异常类型或者通过判断模版图像和待检图像对的像素级别差异进而通过设定异常阈值的方式来实现车体所有图像可视类型的异常检测。上述第一种方法只能实现已知类型的异常检测，但是由于轨道列车在运行过程中产生异常的种类不可预知，因此此种方法存在无法检测所有图像可视范围内的异常的缺点，第二种方法虽然在一定程度上解决了上述问题，但是仅仅通过像素级别的对比检测无法检测出微小比如车体裂纹等异常情况，且对图像不可避免以及不可预见的过曝、光线变化等情况的容忍度过低，造成误报。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种轨道列车的车体异常检测方法、设备及存储介质，该种车体异常检测方法能够根据不同情况选择不同的异常检测方式，以减少检测计算量，还能提高检测的精准度。
为实现上述目的，本发明提供了如下技术方案：
一种轨道列车的车体异常检测方法，包括如下步骤：
图像处理切分步骤，将采集的实际图像进行拉伸、压缩及风格转换处理得到预处理图像，再将所述预处理图像进行切分得到若干张待配图；
车辆信息匹配步骤，将所述待配图在数据库中索引对应的车厢号，且依据车厢号建立对应的任务编号；
车体异常分类步骤，在数据库中获取历史异常数据，且在若干张所述待配图中挑选与历史异常数据匹配同位置的待配图作为比较图，将所述比较图与数据库中同位置的标准图进行比较，根据比较得到形状偏差结果或色值偏差结果；
异常检测匹配步骤，当比较结果为形状偏差结果时，将所述比较图通过宏观级异常检测策略进行异常分析，当比较结果为色值偏差结果时，将所述比较图通过项点级异常检测策略进行异常分析；
异常故障输出步骤，将异常分析结果与对应的车厢号以及任务编号作为故障信息输出。
进一步的，所述车体异常分类步骤，将所述比较图与标准图均通过深度学习进行边界线绘制得到比较线条图和标准线条图，将所述比较线条图与标准线条图进行重合叠加，得到线条拟合程度，根据线条拟合程度预估形状偏差值，将所述比较图与标准图均进行黑白处理，以亮度值差异预估色值偏差值，若所述色值偏差值大于形状偏差值时，则定义比较结果为色值偏差结果，反之，则定义为形状偏差结果。
进一步的，所述宏观级异常检测策略包括无监督异常检测步骤和有监督异常检测步骤，所述无监督异常检测步骤包括宏观级检测模型构建子步骤和异常比对子步骤，
所述宏观级检测模型构建子步骤，将正常图像通过泊松图像融合算法叠加纹理特征得到叠加图，将所述叠加图进行灰度处理转化为灰度图，将所述灰度图通过离散变换和局部纹理特征的增强处理得到增强图，再将所述增强图通过逆离散变换得到叠加图的高通滤波图像，将所述高通滤波图像通过损失函数在图像恢复网络中训练得到宏观级检测模型；
所述异常比对子模块，将所述实际图像代入宏观级检测模型中，判断是否完全拟合，若未完全拟合，则输出异常指令。
进一步的，所述损失函数配置为：
，
，
，
，
，
其中，Y是原始图像，是恢复后图像，和是权重参数，M是尺度的数量，l是亮度，c是对比度，s是结构相似性函数，、和是权重参数且相加等于1，和是图像Y和的均值，和是图像Y和的标准差，是图像Y和的协方差，c 1、c 2和c 3均是常数。
进一步的，所述有监督异常检测步骤，根据历史异常数据制作各类型异常的检测数据集，通过特征提取网络对检测数据集进行搭建有监督异常检测网络，将实际图像代入有监督异常检测网络中得到具体异常类型。
进一步的，所述项点级异常检测策略包括项点比对步骤，
所述项点比对步骤，将实际图像代入项点目标检测模型中输出项点数据，且根据项点数据计算每一个待检项点的最小外接矩形，再通过特征提取网络提取每一个项点对最小外接矩形内的特征，再通过计算该项点对的欧氏距离，根据欧式距离判断此项点为异常或正常。
进一步的，还包括异常分类筛选步骤，在历史异常数据中筛选各类异常种类，将属于同一异常种类的数据作为一个异常类型数据集，再将筛选后的各个异常类型数据集通过分类网络训练验证得到准确的异常类型网络，所述异常类型网络中包含项点级异常区和宏观级异常区。
进一步的，所述数据库包括四级信息，第一级为每辆列车对应的车辆编号，第二级为车辆每次被采集图像时的任务编号，第三级为采集车辆图像的相机编号，第四级为对应编号相机在对应编号任务中拍摄的对应编号列车的对应位置的图像。
一种轨道列车的车体异常检测设备，包括龙门架，所述龙门架上设有相机模组、车磁钢模组以及光栅模组，所述车磁钢模组分别位于龙门架两侧的轨道处，所述光栅模组位于龙门架的两侧，且高于列车行走部，所述相机模组包括线扫相机和激光光源。
一种轨道列车的车体异常检测存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现车体异常检测方法的步骤。
本发明的有益效果：通过对历史异常的情况以小图进行针对性的分析，判断实际的小图与标准图的比较，能够初步得到异常的类型，包括形状偏差结果或色值偏差结果，其中形状偏差结果则需要对应采用宏观级异常检测，而色值偏差结果则需要采用项点级异常检测，其目的是能够保证检测手段具有针对性，且能够减小检测的计算量，提高检测的效率和准确性。
附图说明
图1是本发明整体流程图；
图2是本发明中无监督异常检测步骤的流程图；
图3是本发明中车体异常检测设备的结构图。
附图标记：1、龙门架；2、相机模组；3、车磁钢模组；4、光栅模组。
具体实施方式
下面结合附图和实施例，对本发明进一步详细说明。其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
目前，在轨道交通领域，对于车体异常检测，目前主要采用目标检测算法检测已知的异常类型或者通过判断模版图像和待检图像对的像素级别差异进而通过设定异常阈值的方式来实现车体所有图像可视类型的异常检测，但是仅仅通过像素级别的对比检测无法检测出微小比如车体裂纹等异常情况，且对图像不可避免以及不可预见的过曝、光线变化等情况的容忍度过低，造成误报，因此本发明设计这种轨道列车的车体异常检测方法，如图1所示，包括如下步骤：
建立轨道车辆的历史图像数据库，具体为：以地铁为例，每个车辆检修段负责检修的车辆是固定的，数量也是固定的，且大于2，利用检测设备中的线扫相机采集车辆的全车外观图像，通常采用的设备是360°列车图像采集系统，建立的数据库包含四级信息，第一级为每辆列车对应的车辆编号，例如：T19001，第二级为车辆每次被采集图像时的轨道交通车辆车体异常检测系统下发的任务编号，例如，例如202406071439T19001，其由任务下发时的时间即2024年6月7日14时39分和车辆编号T19001组成，每一次任务的任务编号是唯一的，第三级为采集车辆图像的相机编号，比如01，即01号相机采集的列车图像，每一个相机拍摄的角度和对应列车的位置也是固定不变的，如此相机发生故障需要更换，更换后的相机继承更换前相机的编号，且二者拍摄的角度和对应列车的位置不变，第四级为对应编号相机在对应编号任务中拍摄的对应编号列车的对应位置的图像。
训练项点目标检测模型，具体为：项点具体为轨道列车车体上需要进行检测的零部件，比如空气弹簧或螺栓等；
制作项点目标检测数据集。采集2000张列车车体图像，2000图像包含所有项点类型，且每种类型的项点图像不少于50张，用标注软件以YOLO格式对图像中所有项点按照类别进行标注并对应形成标签，标注类名即为项点名称，将标注好的图像和标签按照COCO目标检测数据集格式进行整理，并按照8:1:1的比例将数据集划分为训练集、验证集和测试集；
搭建项点目标检测神经网络。具体为：特征提取网络采用深度学习网络，检测头网络采用YOLOv10网络，利用数据集对神经网络进行训练，并进行部署形成项点目标检测模型，具体为：利用两张RTX3090 GPU在数据集中对网络进行训练，epochs设为100，初始学习率设为0.001，在完成训练之后将得到的pt格式的模型转为onnx格式形成最终项点目标检测模型；
制作车辆项点模版，具体为：采集最理想情况下的全车车体图像，利用项点目标检测模型进行项点检测并生成包含各个项点的最小外接矩形左上角坐标、宽和高的txt文件，格式和用标注软件（LabelMe）标注形成的标签一致；在上述生成的txt文件的基础上，再次进行人工复核，增加漏检项点信息，删除漏检项点形成最终的车辆项点模版。
图像处理切分步骤，采集待检车辆图像，利用安装在检修段厂咽喉口处的图像采集系统，如图3所示，具体为检测设备，包括龙门架1，龙门架1上设有相机模组2、车磁钢模组3以及光栅模组4，车磁钢模组3分别位于龙门架1两侧的轨道处，光栅模组4位于龙门架1的两侧，且高于列车行走部，相机模组2包括线扫相机和激光光源；将采集的实际图像进行拉伸、压缩及风格转换处理得到预处理图像，再将预处理图像进行切分得到若干张待配图；具体为：本发明中的13个线扫相机采集的13张图像，由于列车通过图像采集系统时的速度不是恒定的，会使图像产生拉伸或压缩变形，因此需要对其进行拉伸和压缩的调整；
首先在每一张图像上选取若干个具有唯一性特征的零部件作为图像调整的特征点，特征点均匀分布在图像中，本实施例中每张图像选取的特征点数为60个，然后使待检车辆以图像采集系统要求的额定速度均匀通过龙门架1，将该采集的图像调整为模版图像，额定速度定义为20km/h，将模版图像的所有特征点手动用标注软件进行标注，生成YOLO格式的标签文档，文档为txt格式，其次制作特征点目标检测数据集，特征点目标检测数据集用标注软件进行标注，采用YOLOv9目标检测网络训练数据集生成特征点目标检测模型，并对待检图像进行特征点的目标检测；
接着，将模版图和待检图的特征点利用柔性匹配算法进行特征对的匹配，本实施例中所用算法为图卷积神经网的特征匹配算法；最后，计算每一组特征点对在其各自图像坐标系中的横坐标的差值（由车辆变速行驶造成的图像拉伸压缩只在横坐标上产生影响），利用三次样条曲线按照横坐标依次拟合差值，进而利用三次样条曲线调整待检图像；
图像风格迁移，具体为：由于图像采集的时间涵盖不同的季节，不同的天气，不同的时间，所以不同的光照、温度、湿度对采集相机造成不同程度的影响，使图像产生不同程度的色差变化和曝光周期性变化，为了消除变化对后续检测带来的影响，采用初始模版图像的风格，利用循环生成对抗网络（CycleGAN网络）进行后续所有待检图像的风格进行变换，变换内容包括图像色差的差异变化和曝光消除；
图像切分，具体为：将经过处理后的图像按照固定的长度进行切分，方便后续的检测，减小算力开销，本实施例中，图像切分尺寸为横向4096像素，纵向不做切分，将每一路由一张长图切分为若干张小图（待配图）。
车辆信息匹配步骤，将待配图在数据库中索引对应的车厢号，且依据车厢号建立对应的任务编号；具体的，先对车辆编号进行识别，由于列车在固定位置均标记由车号，所以对应被拍摄到的相机编号是固定的，进而在被切分后图像的索引也是固定的，因此可以快速自动定位至列车编号所在图像，利用OCR算法进行车辆编号进行识别；
其次，对数据库信息匹配和数据进行存储，通过识别到的车辆编号对应数据库的一级信息，然后利用车辆编号即系统接车开始时间建立的任务编号，在对应数据库内建立以任务编号命名的数据，存储拍摄的原始图像和经图像预处理切分操作后的图像。
车体异常分类步骤，在数据库中获取历史异常数据，且在若干张待配图中挑选与历史异常数据匹配同位置的待配图作为比较图，将比较图与数据库中同位置的标准图进行比较，根据比较得到形状偏差结果或色值偏差结果；具体的，将比较图与标准图均通过深度学习进行边界线绘制得到比较线条图和标准线条图，将比较线条图与标准线条图进行重合叠加，得到线条拟合程度，根据线条拟合程度预估形状偏差值，将比较图与标准图均进行黑白处理，以亮度值差异预估色值偏差值，若色值偏差值大于形状偏差值时，则定义比较结果为色值偏差结果，反之，则定义为形状偏差结果；
例如：数据库中针对车体侧面的历史异常数据，包括车体侧面的刮痕或破损，此时在切分后的n张待配图中挑选历史异常位置对应的小图（待配图），将该小图与该位置的标准图像进行比较，当为破损时，图像中会出现若干破损的边界线，通过现有的点线绘制能够得到比较线条图，而实际的标准图像中只有图像的边界线（标准线条图），两者一叠加，拟合程度较低，说明此处为形状偏差较大，与此同时，对待配图和标准图进行色值计算，根据色值计算得到色值偏差结果。
异常检测匹配步骤，当比较结果为形状偏差结果时，将比较图通过宏观级异常检测策略进行异常分析，当比较结果为色值偏差结果时，将比较图通过项点级异常检测策略进行异常分析；由于项点异常检测更适用零部件的缺失或偏移等异常，而车体宏观级异常检测主要针对车体刮伤、异物挂带、车体破损和裂纹以及部件级丢失进行检测，因此破损更适用宏观级异常检测策略，而色值偏差较大，则可以通过项点级异常检测策略进行进一步判断，通过对历史异常的情况以小图进行针对性的分析，判断实际的小图与标准图的比较，能够初步得到异常的类型，包括形状偏差结果或色值偏差结果，其中形状偏差结果则需要对应采用宏观级异常检测，而色值偏差结果则需要采用项点级异常检测，其目的是能够保证检测手段具有针对性，且能够减小检测的计算量，提高检测的效率和准确性。
具体的，宏观级异常检测策略包括无监督异常检测步骤和有监督异常检测步骤，无监督异常检测步骤包括宏观级检测模型构建子步骤和异常比对子步骤，
宏观级检测模型构建子步骤，如图2所示，采用泊松图像融合算法在正常图像的基础上随机叠加纹理特征得到叠加图，纹理特征来源于DTD（Describable TexturesDataset）纹理识别数据集，叠加具体为，在DTD随机取一张图像进行随机角度的旋转和随机形状的裁剪，裁剪后的面积大于0，将裁剪后的图像随机选取待叠加图像上相同面积、形状大小的区域进行泊松融合，再将叠加图进行灰度处理转化为灰度图，将灰度图通过二维的离散傅里叶变换和局部纹理特征的增强处理得到增强图，其中本实施例采用BHF算法以增强图像中的局部纹理特征，随后将增强图通过逆离散傅里叶变换得到叠加图的高通滤波图像，该图像更能突出细节纹理特征，高通滤波图像输入图像恢复网络中，去除叠加的纹理区域的特征，恢复出待检图的原本的特征，本实施例中，图像恢复网络采用U-Net网络，损失函数采用融合MS-SSIM和L1损失函数，
损失函数配置为：
，
，
，
，
，
其中，Y是原始图像，是恢复后图像，和是权重参数，用于调整MS-SSIM和L1损失之间的平衡，实施例中，，M是尺度的数量，实施例中取值为3，l是亮度，c是对比度，s是结构相似性函数，、和是权重参数且相加等于1，实施例中分别取值为0.3、0.4和0.3，和是图像Y和的均值，和是图像Y和的标准差，是图像Y和的协方差，c 1、c 2和c 3均是常数，用于防止分母为0。
通过全车的所有图像执行此恢复过程，训练恢复网络形成宏观级图像无监督异常检测模型，用于检测车体刮伤、异物挂带或车体破损，异常检测的准确度高，但是异常检测后无法识别具体的异常种类，而异常比对子模块的功能是将实际图像代入宏观级检测模型中，判断是否完全拟合，若未完全拟合，则输出异常指令。
其中，有监督异常检测步骤，根据历史异常数据制作各类型异常的检测数据集，通过特征提取网络对检测数据集进行搭建有监督异常检测网络，将实际图像代入有监督异常检测网络中得到具体异常类型。
项点级异常检测策略包括项点比对步骤，
项点比对步骤，将实际图像代入项点目标检测模型中输出项点数据，包括w，h，x，y信息，且根据项点数据计算每一个待检项点的最小外接矩形，再通过特征提取网络提取每一个项点对最小外接矩形内的特征，网络的最后一层形状为1*1024的全连接层，再通过计算该项点对全连接层的欧氏距离，当距离超过异常阈值R时，则认为此项点为异常，实施例中R取0.7，依次对所有项点对进行上述检测步骤完成所有项点的检测。
还包括异常分类筛选步骤，在历史异常数据中筛选各类异常种类，将属于同一异常种类的数据作为一个异常类型数据集，再将筛选后的各个异常类型数据集通过分类网络训练验证得到准确的异常类型网络，异常类型网络中包含项点级异常区和宏观级异常区，可以根据对应的异常检测手段在对应的异常类型网络区域内进行异常类型判断。
异常故障输出步骤，将异常分析结果与对应的车厢号以及任务编号作为故障信息输出。
一种轨道列车的车体异常检测存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现车体异常检测方法的步骤。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种轨道列车的车体异常检测方法，其特征在于：包括如下步骤：
图像处理切分步骤，将采集的实际图像进行拉伸、压缩及风格转换处理得到预处理图像，再将所述预处理图像进行切分得到若干张待配图；
车辆信息匹配步骤，将所述待配图在数据库中索引对应的车厢号，且依据车厢号建立对应的任务编号；
车体异常分类步骤，在数据库中获取历史异常数据，且在若干张所述待配图中挑选与历史异常数据匹配同位置的待配图作为比较图，将所述比较图与数据库中同位置的标准图进行比较，根据比较得到形状偏差结果或色值偏差结果；
异常检测匹配步骤，当比较结果为形状偏差结果时，将所述比较图通过宏观级异常检测策略进行异常分析，当比较结果为色值偏差结果时，将所述比较图通过项点级异常检测策略进行异常分析；
所述宏观级异常检测策略包括无监督异常检测步骤和有监督异常检测步骤，所述无监督异常检测步骤包括宏观级检测模型构建子步骤和异常比对子步骤，
所述宏观级检测模型构建子步骤，将正常图像通过泊松图像融合算法叠加纹理特征得到叠加图，将所述叠加图进行灰度处理转化为灰度图，将所述灰度图通过离散变换和局部纹理特征的增强处理得到增加图，再将所述增强图通过逆离散变换得到叠加图的高通滤波图像，将所述高通滤波图像通过损失函数在图像恢复网络中训练得到宏观级检测模型；
所述异常比对子模块，将所述实际图像代入宏观级检测模型中，判断是否完全拟合，若未完全拟合，则输出异常指令；
所述项点级异常检测策略包括项点比对步骤，
所述项点比对步骤，将实际图像代入项点目标检测模型中输出项点数据，且根据项点数据计算每一个待检项点的最小外接矩形，再通过特征提取网络提取每一个项点对最小外接矩形内的特征，再通过计算该项点对的欧氏距离，根据欧式距离判断此项点为异常或正常；
异常故障输出步骤，将异常分析结果与对应的车厢号以及任务编号作为故障信息输出。
2.根据权利要求1所述一种轨道列车的车体异常检测方法，其特征在于：所述车体异常分类步骤，将所述比较图与标准图均通过深度学习进行边界线绘制得到比较线条图和标准线条图，将所述比较线条图与标准线条图进行重合叠加，得到线条拟合程度，根据线条拟合程度预估形状偏差值，将所述比较图与标准图均进行黑白处理，以亮度值差异预估色值偏差值，若所述色值偏差值大于形状偏差值时，则定义比较结果为色值偏差结果，反之，则定义为形状偏差结果。
3.根据权利要求1所述一种轨道列车的车体异常检测方法，其特征在于：所述损失函数配置为：
，
，
，
，
，
其中，Y是原始图像，是恢复后图像，和是权重参数，M是尺度的数量，l是亮度，c是对比度，s是结构相似性函数，、和是权重参数且相加等于1，和是图像Y和的均值，和是图像Y和的标准差，是图像Y和的协方差，c 1、c 2和c 3均是常数。
4.根据权利要求1所述一种轨道列车的车体异常检测方法，其特征在于：所述有监督异常检测步骤，根据历史异常数据制作各类型异常的检测数据集，通过特征提取网络对检测数据集进行搭建有监督异常检测网络，将实际图像代入有监督异常检测网络中得到具体异常类型。
5.根据权利要求1所述一种轨道列车的车体异常检测方法，其特征在于：还包括异常分类筛选步骤，在历史异常数据中筛选各类异常种类，将属于同一异常种类的数据作为一个异常类型数据集，再将筛选后的各个异常类型数据集通过分类网络训练验证得到准确的异常类型网络，所述异常类型网络中包含项点级异常区和宏观级异常区。
6.根据权利要求1所述一种轨道列车的车体异常检测方法，其特征在于：所述数据库包括四级信息，第一级为每辆列车对应的车辆编号，第二级为车辆每次被采集图像时的任务编号，第三级为采集车辆图像的相机编号，第四级为对应编号相机在对应编号任务中拍摄的对应编号列车的对应位置的图像。
7.一种轨道列车的车体异常检测设备，提供如权利要求1-6所述车体异常检测方法的采集设备，其特征在于：包括龙门架（1），所述龙门架（1）上设有相机模组（2）、车磁钢模组（3）以及光栅模组（4），所述车磁钢模组（3）分别位于龙门架（1）两侧的轨道处，所述光栅模组（4）位于龙门架（1）的两侧，且高于列车行走部，所述相机模组（2）包括线扫相机和激光光源。
8.一种轨道列车的车体异常检测存储介质，其上存储有计算机程序/指令，其特征在于：该计算机程序/指令被处理器执行时实现权利要求1-6所述车体异常检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410956150.3A CN118506299B (zh) | 2024-07-17 | 2024-07-17 | 一种轨道列车的车体异常检测方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410956150.3A CN118506299B (zh) | 2024-07-17 | 2024-07-17 | 一种轨道列车的车体异常检测方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118506299A CN118506299A (zh) | 2024-08-16 |
| CN118506299B true CN118506299B (zh) | 2024-09-20 |
Family
ID=92247292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410956150.3A Active CN118506299B (zh) | 2024-07-17 | 2024-07-17 | 一种轨道列车的车体异常检测方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118506299B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118657768A (zh) * | 2024-08-19 | 2024-09-17 | 山东麦港数据系统有限公司 | 一种基于人工智能机器视觉的钢轨表面异常检测方法 |
| CN118658016B (zh) * | 2024-08-21 | 2024-11-01 | 中数智科(杭州)科技有限公司 | 一种轨道列车箱体格栅异物检测方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128555A (zh) * | 2021-03-09 | 2021-07-16 | 西南交通大学 | 一种用于列车闸片部件异常检测的方法 |
| CN117557570A (zh) * | 2024-01-12 | 2024-02-13 | 中数智科(杭州)科技有限公司 | 一种轨道车辆异常检测方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4047550B1 (en) * | 2021-02-23 | 2024-11-13 | Hitachi, Ltd. | Train inspection system |
| CN113393442B (zh) * | 2021-06-17 | 2023-05-16 | 东云睿连(武汉)计算技术有限公司 | 列车零部件异常检测方法、系统、电子设备及存储介质 |
| CN113688889A (zh) * | 2021-08-13 | 2021-11-23 | 上海商汤智能科技有限公司 | 异常检测方法、装置、电子设备及计算机可读存储介质 |
| WO2023234930A1 (en) * | 2022-05-31 | 2023-12-07 | Siemens Aktiengesellschaft | Self-supervised anomaly detection framework for visual quality inspection in manufactruing |
| CN116012579A (zh) * | 2023-02-17 | 2023-04-25 | 厦门破云溯星科技有限公司 | 一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法 |
-
2024
- 2024-07-17 CN CN202410956150.3A patent/CN118506299B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128555A (zh) * | 2021-03-09 | 2021-07-16 | 西南交通大学 | 一种用于列车闸片部件异常检测的方法 |
| CN117557570A (zh) * | 2024-01-12 | 2024-02-13 | 中数智科(杭州)科技有限公司 | 一种轨道车辆异常检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118506299A (zh) | 2024-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN118506299B (zh) | 一种轨道列车的车体异常检测方法、设备及存储介质 | |
| CN108961217B (zh) | 一种基于正例训练的表面缺陷检测方法 | |
| US10803573B2 (en) | Method for automated detection of defects in cast wheel products | |
| CN107316064B (zh) | 一种基于卷积神经网络的沥青路面裂缝分类识别方法 | |
| CN111815605B (zh) | 基于分步深度学习的轨枕缺陷检测方法及存储介质 | |
| CN111080611A (zh) | 一种铁路货车摇枕弹簧折断故障图像识别方法 | |
| CN110009618A (zh) | 一种轴类零件表面质量检测方法及装置 | |
| CN111080600A (zh) | 一种铁路货车弹簧托板上开口销的故障识别方法 | |
| CN113962929B (zh) | 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线 | |
| CN113516629A (zh) | Tfds通过作业智能检测系统 | |
| CN112419289B (zh) | 一种城市地铁轨道扣件缺陷智能检测方法 | |
| CN110009601A (zh) | 基于hog的大型装备不规则外形表面缺陷检测方法 | |
| CN116309407A (zh) | 一种铁路接触网螺栓异常状态的检测方法 | |
| CN112712552A (zh) | 一种车辆踏面擦伤的故障检测方法 | |
| CN114119505A (zh) | 一种检测芯片粘连区域缺陷的方法及装置 | |
| CN116188449B (zh) | 铁路货车缓解阀拉杆开口销丢失故障识别方法及设备 | |
| CN116797602A (zh) | 一种用于工业产品检测的表面缺陷鉴定方法和装置 | |
| CN112507327B (zh) | 一种基于机器学习的晴雨检测与处理方法 | |
| CN111833323B (zh) | 基于稀疏表示与svm的分任务铁路货车图像质量判断方法 | |
| CN112287898B (zh) | 一种图像的文本检测质量评价方法及系统 | |
| CN115359306A (zh) | 一种铁路货检高清图像智能识别方法和系统 | |
| CN116363655A (zh) | 一种财务票据识别方法及系统 | |
| CN116310358A (zh) | 铁路货车螺栓丢失检测方法、存储介质及设备 | |
| CN113592853A (zh) | 一种基于深度学习的原丝纤维表面缺陷检测方法 | |
| CN111950550A (zh) | 基于深度卷积神经网络的车架号识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |