CN112749741B

CN112749741B - 一种基于深度学习的手闸紧固故障识别方法

Info

Publication number: CN112749741B
Application number: CN202011630513.2A
Authority: CN
Inventors: 蒋弘瑞
Original assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Current assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date: 2020-12-30
Filing date: 2020-12-30
Publication date: 2021-10-01
Anticipated expiration: 2040-12-30
Also published as: CN112749741A

Abstract

一种基于深度学习的手闸紧固故障识别方法,涉及图像识别技术领域，针对现有技术中人工检查效率低，准确率低的问题，步骤一：获取原始图像，并构建数据集；步骤二：针对数据集中的图像，截取手闸部件范围子图；步骤三：将截取到的手闸部件范围子图中制动缸圆筒头部和推杆进行标记，并将标记后的图像作为训练集；步骤四：利用训练集对faster‑rcnn网络模型进行训练；步骤五：将待检测图像输入到训练好的faster‑rcnn网络模型中，得到检测结果。本申请利用图像自动识别的方式代替人工检测，可以解决人工检测长时间重复看图的疲劳问题，对于同种故障统一标准，提高了检测效率、准确率。

Description

一种基于深度学习的手闸紧固故障识别方法

技术领域

本发明涉及图像识别技术领域，具体为一种基于深度学习的手闸紧固故障识别方法。

背景技术

铁路货车是我国主要的货物运输方式，每日有大量的货车在线上运行。在各种外界环境的影响下，各部件产生故障无法避免。

手闸紧固故障是一种危及行车安全的故障，如果未及时发现故障可能产生严重后果。目前主要是用人眼对整车进行故障查找，查找范围大部件多、车辆多、故障形态多，所以这项工作是一个重复性强且强度高易疲劳的机械性作业。当工人疲劳时很容易，造成漏检、错检的出现，影响行车安全，而且检测效率低。

发明内容

本发明的目的是：针对现有技术中人工检查效率低，准确率低的问题，提出一种基于深度学习的手闸紧固故障识别方法。

本发明为了解决上述技术问题采取的技术方案是：

一种基于深度学习的手闸紧固故障识别方法，包括以下步骤：

步骤一：获取原始图像，并构建数据集；

步骤二：针对数据集中的图像，截取手闸部件范围子图；

步骤三：将截取到的手闸部件范围子图中制动缸圆筒头部和推杆进行标记，并将标记后的图像作为训练集；

步骤四：利用训练集对faster-rcnn网络模型进行训练；

步骤五：将待检测图像输入到训练好的faster-rcnn网络模型中，得到制动缸圆筒头部和推杆图像，若推杆水平长度大于圆筒头部垂直长度的4倍，或圆筒头部水平长度大于圆筒头部垂直长度的0.4倍，则认定为存在故障。若存在故障，则生成报文，上传至报警平台，否则认定为不存在故障。

进一步的，faster-rcnn网络模型包括主干网络、FPN、RPN和rcnn。

进一步的，faster-rcnn网络模型中FPN执行如下步骤：首先针对主干网络输出的不同尺寸的特征图逐层进行1*1卷积和下采样操作，得到尺寸依次减小的特征图P2、P3、P4，然后将P2特征图进行上采样后与P3特征图融合，得到P3`特征图，之后将融合后的P3`特征图进行上采样后与P4特征图融合，得到P4`特征图，将融合后的P3`、P4`特征图通过3*3的卷积进行特征整合，然后再进行1*1的卷积，之后进行全局池化得到全局描述特征，然后将全局描述特征通过两个全连接层加一个Sigmoid激活函数得到不同尺寸的特征图所对应通道的激活值，最后将得到的通道的激活值与主干网络输出的不同尺寸的特征图中的特征进行相乘，得到新的特征图。

进一步的，faster-rcnn网络模型中RPN执行如下步骤：首先利用k-means聚类算法初始锚框的尺寸，得到六个不同宽高的锚框，然后按照锚框尺寸的大小，将三个小尺寸的锚框设置在P3`特征图上，将三个大尺寸的锚框设置在P4`特征图上，然后将设置锚框后的P3`和P4`两组特征图分别进行3*3卷积和1*1卷积。

进一步的，k-means聚类算法的距离函数表示为：

其中，w_i为样本框的宽，w_j为聚类中心的宽，IOU表示两个矩形框的交并比。

进一步的，步骤一中截取包含待检测部件的子图根据先验知识进行。

进一步的，步骤一中还包括针对数据集中的数据进行增强的步骤，数据增强的步骤具体为：首先获取制动缸圆筒头部和推杆的背景图像，根据制动缸圆筒头部和推杆背景图像使用WGAN生成新的背景图像，然后在含有制动缸圆筒头部和推杆的图像上将制动缸圆筒头部和推杆进行提取，并将提取结果与WGAN生成的背景图像进行融合得到扩增后的图像。

进一步的，步骤五中还包括对制动缸圆筒头部和推杆图像进行修正的步骤，修正的步骤具体为：

根据faster-rcnn网络的输出得到推杆的位置信息(x1,x2,y1,y2)及圆筒头部的位置信息(x3,x4,y3,y4)，其中，(x1,y1)为推杆左上角坐标，(x2,y2)为推杆右下角坐标，(x3,y3)为圆筒头部左上角坐标，(x4,y4)为圆筒头部右下角坐标；

设水平坐标的初始水平分界线为m，m的区间为[min(x2,x3)+1,max(x2,x3)-1]，将min(x2,x3)到m的区间划分给推杆，m到max(x2,x3)的区间划分给圆筒头部；

根据m的取值范围在手闸部件范围子图上截取四个子图像，分别为疑似推杆子图像J1、真实推杆子图像J2、疑似圆筒头部子图像Z1和真实圆筒头部子图像Z2，四个子图像的竖直区间均为[max(y1,y3),min(y2,y4)]，J1水平区间为[min(x2,x3),m],J2水平区间为[min(x2,x3)-m,min(x2,x3)]，Z1水平区间为[m,max(x2,x3)]，Z2水平区间为[max(x2,x3),2*max(x2,x3)-m]，然后根据得到的图像数据进行相似度dis计算，并在结果中选择相似度dis最小时对应的m为更新水平分界线，根据更新水平分界线将推杆的位置修正为(x1,min(x2,x3)+m,y1,y2)，将圆筒头部的位置修正为

(max(x2,x3)-m,x4,y3,y4)。

进一步的，相似度dis表示为：dis＝PSNR(J1,J2)+PSNR(Z1,Z2)

其中

其中，I,K为J1和J2或Z1和Z2，a，b分别为图像的高和宽，i1,j2和i3,j4表示同一素点在J1和J2或Z1和Z2中的坐标。

进一步的，步骤一中原始图像通过探测站点搭建的高速成像设备获取。

本发明的有益效果是：

1、利用图像自动识别的方式代替人工检测，可以解决人工检测长时间重复看图的疲劳问题，对于同种故障统一标准，提高了检测效率、准确率。

2、根据待检测目标在整张图像中的占比，调整FPN层的结构，并在多尺度特征融合后，引入通道注意力机制，增加网络提取特征的质量，提高网络检测精度。

3、在RPN网络中初始锚框的生成上，改由聚类算法生成，并根据数据特点重新定义距离函数，聚类算法得到的锚框更加贴近待检测目标的实际尺寸，减少网络对于边框回归的难度，提高网络检测精度。

附图说明

图1为本申请的整体流程图；

图2为现有FPN结构图；

图3为本发明改进的FPN结构图；

图4为锚框示意图；

图5为手闸部件范围子图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一：参照图1具体说明本实施方式，本实施方式的一种基于深度学习的手闸紧固故障识别方法，包括以下步骤：

步骤一：获取原始图像，并构建数据集；

步骤二：针对数据集中的图像，截取手闸部件范围子图；

步骤四：利用训练集对faster-rcnn网络模型进行训练；

原始图像采集

在固定的探测站点搭建高速成像设备，获取货车各部位的高清线阵灰度图像。收集不同时间段不同环境下的图像，获取较多的样本数据量，并保证数据图像中存在各种自然干扰如光照、雨水、泥渍等的图像，保证数据的多样性，这样设计出的算法会有更好的鲁棒性。

根据部件位置信息截取故障小子图

同种型号的货车，其结构也是相同的，在故障所在大图像中，可以根据制动缸的位置，截取包含待检测部件的子图像。

故障识别

根据修正的位置信息，得到推杆水平长度，圆筒头部水平长度，圆筒头部垂直长度。通过逻辑判断有无故障，若存在故障，则生成报文，上传至报警平台。

具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是faster-rcnn网络模型包括主干网络、FPN、RPN和rcnn。

建立模型

本方法选用带有FPN层的faster-rcnn算法作为基础模型，并根据待检测目标的特点，进行有针对性的改进。faster-rcnn算法共包含四个部分：主干网络，FPN，RPN，rcnn。本方法对其中的FPN，RPN进行有针对性的改进。

具体实施方式三：本实施方式是对具体实施方式二的进一步说明，本实施方式与具体实施方式二的区别是faster-rcnn网络模型中FPN执行如下步骤：首先针对主干网络输出的不同尺寸的特征图逐层进行1*1卷积和下采样操作，得到尺寸依次减小的特征图P2、P3、P4，然后将P2特征图进行上采样后与P3特征图融合，得到P3`特征图，之后将融合后的P3`特征图进行上采样后与P4特征图融合，得到P4`特征图，将融合后的P3`、P4`特征图通过3*3的卷积进行特征整合，然后再进行1*1的卷积，之后进行全局池化得到全局描述特征，然后将全局描述特征通过两个全连接层加一个Sigmoid激活函数得到不同尺寸的特征图所对应通道的激活值，最后将得到的通道的激活值与主干网络输出的不同尺寸的特征图中的特征进行相乘，得到新的特征图。

改进的FPN网络

原始的FPN结构如图2所示，C1,C2,C3,C4,C5为主干网络输出的5种不同尺寸的特征图，将高层特征逐层下采样，与低层特征进行融合，并通过3*3的卷积进行特征整合，最终得到了P2,P3,P4,P5,P6这五种特征图，尺寸依次减小，感受野依次变大。拥有较大感受野的特征图更适合检测大尺寸目标，拥有较小感受野的特征图更适合检测小尺寸目标。

通过观察，待检测目标以小目标为主，在P3,P4这种尺寸的特征图上检测最佳，P2,P5,P6属于质量差的冗余特征图，因此为了提高检测精度和检测速度，本方法对fpn层进行了改进，改进后的结构如图3所示，本方法舍弃了P2,P5,P6层，为了保证高层特征和低层特征的完整性，保留了高层特征下采样与低层特征融合的机制，同时，增加了低层特征上采样与高层特征融合的机制，丰富细节特征，更有利于检测小目标，即将P2特征图上采样与P3特征图融合，融合后的P3特征图上采样与P4特征图融合，将融合后的P2,P3特征图通过3*3的卷积进行特征整合。

考虑到融合后的特征图的通道数过多，因此本方法在3*3卷积后，添加了1*1的卷积，对通道数进行降维。此时的P3,P4特征图既包含低层特征，又包含高层特征，对于小目标检测，高层特征中往往会有很多无用特征，因此引入通道注意力机制，可以自动的学习每一个通道的激活值，即对包含无用特征的通道进行抑制。首先进行一个global pooling，获得全局描述特征，然后通过两个全连接层加一个Sigmoid激活函数，去确定各个通道的激活值，最后将各通道的激活值与原始特征进行相乘，便得到了一组新的，更有分辨能力的特征图。

具体实施方式四：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是faster-rcnn网络模型中RPN执行如下步骤：首先利用k-means聚类算法初始锚框的尺寸，得到六个不同宽高的锚框，然后按照锚框尺寸的大小，将三个小尺寸的锚框设置在P3`特征图上，将三个大尺寸的锚框设置在P4`特征图上，然后将设置锚框后的P3`和P4`两组特征图分别进行3*3卷积和1*1卷积。

改进的RPN网络

RPN的主要作用是根据一组设定好的初始锚框，进行边框回归与前景背景分类，进而获得候选区域，初始锚框的尺寸是否合适，直接影响检测模型的精度。原始的锚框由一个基础尺寸，搭配不同放缩比例，不同宽高比生成，初始超参数设置主观因素过强，且模型复杂度与初始超参数个数成正比，因此，本方法选用k-means聚类算法自动计算初始锚框的尺寸，同时针对目标检测及数据集的特点，重新定义聚类算法的距离函数，聚类生成的锚框数量可控(由聚类中心个数决定)且更贴近数据集中的待检测目标的尺寸。原始距离函数为:

d＝(w_i-w_j)²-(h_i-h_j)²

其中w_i，h_i为样本框的宽和高，w_j，h_j为聚类中心的宽和高，将目标检测中的IOU概念引入到距离函数中，IOU表示的是两个框的交并比，可以很好的反映两个框的重合程度。

具体实施方式五：本实施方式是对具体实施方式四的进一步说明，本实施方式与具体实施方式四的区别是k-means聚类算法的距离函数表示为：

同时，在实际检测故障中，我们更加关注x方向的坐标的精确度，因此在定义距离函数时还需考虑w的距离偏差，距离函数应保证对低偏差的容忍性，即w距离偏差较小时，IOU起决定作用，因此将最终的距离函数设计为：

聚类中心设为6，聚类算法得到六组锚框，将面积较小的三个作为P3特征图上的初始锚框，面积较大的三个作为P4特征图上的初始锚框。

具体实施方式六：本实施方式是对具体实施方式五的进一步说明，本实施方式与具体实施方式五的区别是步骤一中截取包含待检测部件的子图根据先验知识进行。

具体实施方式七：本实施方式是对具体实施方式六的进一步说明，本实施方式与具体实施方式六的区别是步骤一中还包括针对数据集中的数据进行增强的步骤，数据增强的步骤具体为：首先获取制动缸圆筒头部和推杆的背景图像，根据制动缸圆筒头部和推杆背景图像使用WGAN生成新的背景图像，然后在含有制动缸圆筒头部和推杆的图像上将制动缸圆筒头部和推杆进行提取，并将提取结果与WGAN生成的背景图像进行融合得到扩增后的图像。

数据增强

针对待检测部件制动缸图像背景复杂，多变的问题，本发明提出了一种生成式的数据增强方式。在制动缸附近，截取大量背景图像，根据收集的背景图像，使用WGAN生成新的背景图像。然后在含有制动缸的图像上，使用ps软件将制动缸提取，融合到WGAN生成的新背景图像上。这样我们就可以得到大量包含制动缸且背景不同的图像，进而达到数据增强的目的，扩充数据集。扩充后的数据体，背景更加丰富，可以提高算法的鲁棒性。

具体实施方式八：本实施方式是对具体实施方式七的进一步说明，本实施方式与具体实施方式七的区别是步骤五中还包括对制动缸圆筒头部和推杆图像进行修正的步骤，修正的步骤具体为：

根据m的取值范围在手闸部件范围子图上截取四个子图像，分别为疑似推杆子图像J1、真实推杆子图像J2、疑似圆筒头部子图像Z1和真实圆筒头部子图像Z2，四个子图像的竖直区间均为[max(y1,y3),min(y2,y4)]，J1水平区间为[min(x2,x3),m],J2水平区间为[min(x2,x3)-m,min(x2,x3)]，Z1水平区间为[m,max(x2,x3)]，Z2水平区间为[max(x2,x3),2*max(x2,x3)-m]，然后根据得到的图像数据进行相似度dis计算，并在结果中选择相似度dis最小时对应的m为更新水平分界线，根据更新水平分界线将推杆的位置修正为(x1,min(x2,x3)+m,y1,y2)，将圆筒头部的位置修正为(max(x2,x3)-m,x4,y3,y4)。

位置修正

将图像送入训练好的faster-rcnn网络，可以得到推杆的位置信息(x1,x2,y1,y2)，圆筒头部的位置信息(x3,x4,y3,y4)，其中，(x1,y1)为推杆左上角坐标，(x2,y2)为推杆右下角坐标，(x3,y3)为圆筒头部左上角坐标，(x4,y4)为圆筒头部右下角坐标。理论上，推杆和圆筒头部应该是紧密相连的，即x2等于x3。但是faster-rcnn输出的x2与x3往往并不相等，即min(x2,x3)到max(x2,x3)这个区间是一个模糊区间，我们需要找到一个水平的分界线m，将min(x2,x3)到m这个区间划分给推杆，m到max(x2,x3)这个区间划分给圆筒头部。

具体步骤为：

1)水平分界线m可存在的区间为[min(x2,x3)+1,max(x2,x3)-1]，m在可存在区间中遍历

2)在图像上截取四个子图像。疑似推杆子图像J1，真实推杆子图像J2，疑似圆筒头部子图像K1,真实圆筒头部子图像K2。这四个子图像的竖直区间均为[max(y1,y3),min(y2,y4)]，J1水平区间为[min(x2,x3),m],J2水平区间为[min(x2,x3)-m,min(x2,x3)]，K1水平区间为[m,max(x2,x3)]，K2水平区间为[max(x2,x3),2*max(x2,x3)-m]。根据各个子图像的水平区间，垂直区间，在原图像上进行截取。

3)计算子图像之间的相似度。使用PSNR作为相似度的评判标准。

其中，I,K为两张宽高相同的图像，a，b分别为图像的高和宽。

整体的相似度dis为：

dis＝PSNR(J1,J2)+PSNR(K1,K2)

水平分界线m在可存在区间遍历时，会得到一组dis的值，选择dis最小时对应的m，作为水平分界线。

进而将推杆的位置修正为(x1,min(x2,x3)+m,y1,y2),将圆筒头部的位置修正为(max(x2,x3)-m,x4,y3,y4)。

具体实施方式九：本实施方式是对具体实施方式八的进一步说明，本实施方式与具体实施方式八的区别是相似度dis表示为：dis＝PSNR(J1,J2)+PSNR(Z1,Z2)

其中

具体实施方式十：本实施方式是对具体实施方式九的进一步说明，本实施方式与具体实施方式九的区别是步骤一中原始图像通过探测站点搭建的高速成像设备获取。

需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims

1.一种基于深度学习的手闸紧固故障识别方法，其特征在于包括以下步骤：

步骤一：获取原始图像，并构建数据集；

步骤二：针对数据集中的图像，截取手闸部件范围子图；

步骤四：利用训练集对faster-rcnn网络模型进行训练；

步骤五：将待检测图像输入到训练好的faster-rcnn网络模型中，得到制动缸圆筒头部和推杆图像，若推杆水平长度大于圆筒头部垂直长度的4倍，或圆筒头部水平长度大于圆筒头部垂直长度的0.4倍，则认定为存在故障，若存在故障，则生成报文，上传至报警平台，否则认定为不存在故障；

所述步骤五中还包括对制动缸圆筒头部和推杆图像进行修正的步骤，所述修正的步骤具体为：

2.根据权利要求1所述的一种基于深度学习的手闸紧固故障识别方法，其特征在于所述faster-rcnn网络模型包括主干网络、FPN、RPN和rcnn。

3.根据权利要求2所述的一种基于深度学习的手闸紧固故障识别方法，其特征在于所述faster-rcnn网络模型中FPN执行如下步骤：首先针对主干网络输出的不同尺寸的特征图逐层进行1*1卷积和下采样操作，得到尺寸依次减小的特征图P2、P3、P4，然后将P2特征图进行上采样后与P3特征图融合，得到P3`特征图，之后将融合后的P3`特征图进行上采样后与P4特征图融合，得到P4`特征图，分别将P3`、P4`特征图通过3*3的卷积进行特征整合，然后再进行1*1的卷积，之后进行全局池化得到全局描述特征，然后将全局描述特征通过两个全连接层加一个Sigmoid激活函数得到不同尺寸的特征图所对应通道的激活值，最后将得到的通道的激活值与主干网络输出的不同尺寸的特征图中的特征进行相乘，得到新的特征图。

4.根据权利要求3所述的一种基于深度学习的手闸紧固故障识别方法，其特征在于所述faster-rcnn网络模型中RPN执行如下步骤：首先利用k-means聚类算法初始锚框的尺寸，得到六个不同宽高的锚框，然后按照锚框尺寸的大小，将三个小尺寸的锚框设置在P3`特征图上，将三个大尺寸的锚框设置在P4`特征图上，然后将设置锚框后的P3`和P4`两组特征图分别进行3*3卷积和1*1卷积。

5.根据权利要求4所述的一种基于深度学习的手闸紧固故障识别方法，其特征在于所述k-means聚类算法的距离函数表示为：

6.根据权利要求5所述的一种基于深度学习的手闸紧固故障识别方法，其特征在于所述步骤二中截取包含待检测部件的子图根据先验知识进行。

7.根据权利要求6所述的一种基于深度学习的手闸紧固故障识别方法，其特征在于所述步骤一中还包括针对数据集中的数据进行增强的步骤，所述数据进行增强的步骤具体为：首先获取制动缸圆筒头部和推杆的背景图像，根据制动缸圆筒头部和推杆背景图像使用WGAN生成新的背景图像，然后在含有制动缸圆筒头部和推杆的图像上将制动缸圆筒头部和推杆进行提取，并将提取结果与WGAN生成的背景图像进行融合得到扩增后的图像。

8.根据权利要求1所述的一种基于深度学习的手闸紧固故障识别方法，其特征在于所述相似度dis表示为：dis＝PSNR(J1,J2)+PSNR(Z1,Z2)

其中

其中，I,K为J1和J2或Z1和Z2，a，b分别为图像的高和宽，c1,v2和c3,v4表示同一素点在J1和J2或Z1和Z2中的坐标。

9.根据权利要求8所述的一种基于深度学习的手闸紧固故障识别方法，其特征在于所述步骤一中原始图像通过探测站点搭建的高速成像设备获取。