CN111753653B - 基于注意力机制的高铁接触网紧固件识别与定位方法 - Google Patents

Abstract

本发明涉及一种基于注意力机制的高铁接触网紧固件识别与定位方法，在ResNet50残差卷积网络中引入注意力机制，在每一个残差模块块中添加注意力模型，形成残差注意力网络，作为用于特征提取的卷积神经网络，具体过程为：从4C系统采集一定量的接触网图像，标准化及人工标注后分为训练集、验证集和测试集，训练基于注意力机制的高铁接触网紧固件识别与定位深度网络模型，将高铁接触网图像输入训练好的深度网络模型，得到各种紧固件在接触网图像中的位置信息；获取接触网图像进行标准化后，输入深度网络模型，计算每类紧固件在接触网图像中的位置信息。本发明可准确地提取接触网紧固件的位置，为解决复杂背景下的高铁接触网紧固件异常检测做好前期准备。

Description

基于注意力机制的高铁接触网紧固件识别与定位方法

技术领域

本发明涉及工程图像智能识别领域，具体涉及一种基于注意力机制的高铁接触网紧固件识别与定位方法。

背景技术

高速铁路接触网是对电力机车提供动力的关键设备。接触网工作于露天环境，风吹日晒容易发生故障。为了保障行车安全，4C检测装置定期采集接触网高清图像，通过人工浏览的方式对接触网部件进行检查，发现其安全隐患.接触网绝缘子固定件、双套管连接件、套管座、定位环连接件和定位器支座等支持装置的紧固件，容易发生松动、脱落和变形等故障，是检测人员关注的重点对象。人工检测工作量大，检测周期长，且受个人情绪和责任心等因素影响。如何利用人工智能技术，实现对高铁4C检测系统获取的接触网图像进行高效检测，是一项迫切需要攻克的技术难题。

通过4C装置的高分辨率照相机对高铁接触网采集完整的图像，运用深度学习技术进行接触网零部件异常检测势在必行，对提高高铁基础设备检修工作效率，降低维护成本有着重要意义。

接触网绝缘子固定件、双套管连接件、套管座、定位环连接件和定位器支座等支持装置的紧固件尺寸很小，利用常规深度网络技术进行故障识别时，由于特征表达不明显，导致在区域推荐网络中分类困难，最终检测精确度不高.对于这类问题，可采用两阶段解决方案：首先进行紧固件的识别与定位，将紧固件图像分割为小图片，然后对这些尺寸小的紧固件图像，建立异常检测深度网络模型。对紧固件的识别与定位是接触网紧固件异常检测的关键步骤。

发明内容

本发明的目的是提供一种基于注意力机制的高铁接触网紧固件识别与定位方法，为接触网紧固件异常检测模型的建立以及异常检测提供从4C高分辨率图像分割出紧固件图像的神经网络模型。

本发明所采用的技术方案为：

基于注意力机制的高铁接触网紧固件识别与定位方法，其特征在于：

在ResNet50残差卷积网络中引入注意力机制，通过在每一个残差模块中添加注意力模型，形成残差注意力网络，作为用于特征提取的卷积神经网络。

包括以下步骤：

步骤1：基于注意力模型机制的接触网紧固件识别与定位深度网络模型训练；

步骤1.1：准备数据集：通过4C系统采集大量高铁接触网图像，对所有图像的尺寸进行标准化及人工标注紧固件所在位置，将其按比例化分为训练集、验证集和测试集；

步骤1.2：将训练集用于基于注意力机制的接触网紧固件识别与定位深度网络的训练，得到深度网络模型，深度网络模型包括注意力模块和区域推荐模块；

步骤2：接触网紧固件识别与定位：将高铁接触网图像输入训练好的深度网络模型，得到各种紧固件的类别和在接触网图像中的位置信息；

步骤2.1：从4C系统获取接触网图像，对其图像的尺寸进行标准化；

步骤2.2：将标准化后的图像输入步骤1得到的深度网络模型，计算每类紧固件在接触网图像中的位置信息。

在步骤1.1中，对所有图像的尺寸进行标准化及人工标注后，形成VOC格式数据集，标注信息存放在XML格式文件中，将其按比例 0.70:0.15:0.15化分为训练集、验证集和测试集；

在步骤1.2中，深度网络模型采用ResNet50。

步骤1.2具体为：

(1)将制作完成的训练集输入残差注意力网络，先经过卷积运算，输出特征图F；将F输入注意力模块，再次进行卷积操作生成特征图F₁，在通道维度分别对F₁进行最大池化和平均池化操作，生成通道与F₁一致的注意力图F_avg和F_max，再经过共享的多层感知机得到与F_avg和F_max尺寸大小相同的两个注意力特征图，将两图对应元素按比例相加，经过sigmoid函数激活到[0,1]区间表示为概率，得到与F_avg和F_max尺寸相同的通道注意力特征图M，将M的每个通道的概率与特征图F₁对应通道的元素相乘得到注意力模块的输出特征图F₂，之后F₂进入下面的卷积层或下一个注意力模块，继续进行操作，最终输出具有目标部件特征表示的深度网络特征图F_L；

(2)特征图F_L进入区域推荐模块，首先进行3*3卷积运算，不改变尺寸，得到F_T，在训练阶段，首先通过区域中心点预测分支对每个像素点分类，对特征图F_T进行1*1卷积操作，并用sigmoid函数激活为概率，训练分类网络，计算每个像素点作为中心点的概率，筛选出相应的区域中心点(x_i,y_i)，舍去大部分无效的特征点；

(3)边界框回归分支对特征图F_T所有像素点进行1*1卷积操作，通过优化与人工标注目标框的交并比，进行边框回归，计算出最佳的宽w_i和高h_i，得到通道为2的结果图来训练回归网络，最终将得到的预测框位置信息(x_i,y_i,w_i,h_i)，结合有用区域中心点，筛选与人工标注框的交并比大于0.7的检测框作为候选区域，输出有用区域中心点的检测框的位置信息；

(4)接着将位置信息输入特征图F_L，进行RoI池化操作，该操作的目的是使得不同尺寸的候选区域输出尺寸相同，之后进入全连接层，对RoI池化后的候选区域再次与经过相同处理的人工标注目标框进行边框回归操作并分类，输出最终区域推荐信息和得分，完成深度网络模型训练操作。

通过区域中心点预测分支对每个像素点分类的过程为：若某像素点落入人工标注的标注框的中心区域，分类为正样本；若落入标注框外，分类为负样本；落入标注框内的无效区域，舍弃。

本发明具有以下优点：

本发明涉及的方法，通过在ResNet中引入注意力机制，增强了接触网紧固件特征的表达效果，减轻了背景对特征提取的影响，通过区域推荐模块，增强了紧固件定位的准确性，对接触网紧固件识别准确率达90％以上。

附图说明

图1为本发明的一种基于注意力机制的高铁接触网紧固件识别与定位方法的残差网络结构图；

图2为本发明的一种基于注意力机制的高铁接触网紧固件识别与定位方法的注意力模块示意图；

图3为本发明的一种基于注意力机制的高铁接触网紧固件识别与定位方法的区域推荐模块结构图；

图4为本发明的一种基于注意力机制的高铁接触网紧固件识别与定位方法的模型架构示意图；

图5为本发明的一种基于注意力机制的高铁接触网紧固件识别与定位方法的残差注意力模块示意图；

图6为本发明的一种基于注意力机制的高铁接触网紧固件识别与定位方法的检测示意图。

图7为本发明的一种基于注意力机制的高铁接触网紧固件识别与定位方法的接触网紧固件检测效果图。

具体实施方式

下面结合具体实施方式对本发明进行详细的说明。

在本实例中，如图1所示，基于注意力机制的高铁接触网紧固件识别与定位方法，包括以下步骤：

步骤1：基于注意力模型机制的接触网紧固件识别与定位深度网络模型训练。

步骤1.1：准备数据集：通过4C系统采集大量高铁接触网图像，对所有图像的尺寸进行标准化及人工标注紧固件位置，将样本集按比例化分为训练集、验证集和测试集；

步骤1.2：将训练集用于基于注意力机制的接触网紧固件识别与定位深度网络的训练，得到深度网络模型；深度网络模型采用 ResNet50，包括注意力模块(如图2)和区域推荐模块(如图3)；

步骤2：接触网紧固件识别与定位：将高铁接触网图像输入训练好的深度网络模型，得到各种紧固件在接触网图像中的位置信息。

步骤2.1：从4C系统获取接触网图像，对其图像的尺寸进行标准化；

步骤2.2：将标准化后的图像输入步骤1得到的深度网络模型，计算每类紧固件在接触网图像中的位置信息。

进一步地，对以上步骤说明如下：

步骤1.1中，对所有图像的尺寸进行标准化及人工标注后，形成 VOC格式数据集，标注信息存放在XML格式文件中，将其按比例化分为训练集、验证集和测试集。

在步骤1.2中，深度网络模型采用ResNet50。

步骤1.2的实施的具体方法为：

(1)将制作完成的训练集输入残差注意力网络，如图2所示，先经过卷积运算，输出特征图F；将F输入注意力模块，再次进行卷积操作生成特征图F₁，在通道维度分别对F₁进行最大池化和平均池化操作，生成通道与F₁一致的注意力图F_avg和F_max，再经过共享的多层感知机得到与F_avg和F_max尺寸大小相同的两个注意力特征图，将两图对应元素按比例相加，经过sigmoid函数激活到[0,1]区间表示为概率，得到与F_avg和F_max尺寸相同的通道注意力特征图M，其细节见图5，将 M的每个通道的概率与特征图F₁对应通道的元素相乘得到注意力模块的输出特征图F₂，之后F₂进入下面的卷积层或下一个注意力模块，继续进行操作，最终输出具有目标紧固件特征表示的深度网络特征图 F_L。

(2)特征图F_L进入区域推荐模块，如图3所示，首先进行3*3 卷积运算，不改变尺寸，得到F_T，在训练阶段，首先通过区域中心点预测分支对每个像素点分类，对特征图F_T进行1*1卷积操作，并用 sigmoid函数激活为概率，训练分类网络，计算每个像素点作为中心点的概率，筛选出相应的区域中心点(x_i,y_i)，舍去大部分无效的特征点。具体地，通过区域中心点预测分支对每个像素点分类的过程为：若某像素点落入人工标注框的中心区域，分类为正样本；若落入标注框外，分类为负样本；落入标注框内的无效区域，舍弃。

(3)边界框回归分支对特征图F_T所有像素点进行1*1卷积操作，通过优化与人工标注目标框的交并比，进行边框回归，计算出最佳的宽w_i和高h_i，得到通道为2的结果图来训练回归网络，最终将得到的预测框位置信息(x_i,y_i,w_i,h_i)，结合有用区域中心点，筛选与人工标注框的交并比大于0.7的检测框作为候选区域，输出有用区域中心点的检测框的位置信息。

(4)接着将位置信息输入特征图F_L，进行RoI(感兴趣区域)池化操作，该操作的目的是使得不同尺寸的候选区域输出尺寸相同，之后进入全连接层，对其进行分类，计算预测框的分类得分，之后对 RoI池化后的候选区域再次与经过相同处理的人工标注目标框进行边框回归操作并分类，输出最终区域推荐信息和得分，完成深度网络模型训练操作。

本发明的深度网络架构如图4所示，下面结合具体实施例详细说明一种基于注意力机制的高铁接触网紧固件识别与定位方法。

实施例：

本例通过一种基于注意力机制的高铁接触网紧固件识别与定位方法对高铁接触网5类紧固件包括绝缘子固定件、双套管连接件、套管座、定位环连接件和定位器支座进行识别与定位，在ResNet残差卷积网络中引入注意力机制，通过在每一个残差块中添加注意力模型组成新的残差注意力模块，形成残差注意力网络，作为用于特征提取的卷积神经网络。具体操作步骤如下：

步骤1：基于注意力模型机制的接触网紧固件识别与定位深度网络模型训练。

步骤1.1：准备数据集。具体地，通过4C系统采集1900幅高铁接触网图像，对所有图像按照(1280,1000)的尺寸进行标准化处理，并进行人工标注，形成VOC格式数据集，标注信息存放在XML格式文件中，将其按比例7：0.15:0.15化分为训练集、验证集和测试集。

步骤1.2：将制作完成的训练集输入残差(采用ResNet50)注意力网络，如图2所示，先经过卷积运算，输出特征图F。将F输入注意力模块，再次进行卷积操作生成特征图F₁，在通道维度分别对F₁进行最大池化和平均池化操作，生成通道与F₁一致的注意力图F_avg和F_max，再经过共享的多层感知机得到与F_avg和F_max尺寸大小相同的两个注意力特征图，将两图所有元素按5：5(可以根据需求制定相应比例，若加大最大池化比例，则提高了区域主要特征表示，相反，减小最大池化比例会使得区域所有特征反馈增强)比例相加，经过sigmoid函数激活到[0,1]区间表示为概率，得到与F_avg和F_max尺寸相同的通道注意力特征图M，其细节见图5，将M的每个通道的概率与特征图F₁进行元素相乘得到注意力模块的输出特征图F₂，之后F₂进入下面的卷积层或下一个注意力模块，继续进行操作，最终输出具有接触网紧固件特征表示的深度网络特征图F_L。

步骤1.3：特征图F_L进入区域推荐模块，如图3所示，首先进行 3*3卷积运算，不改变尺寸，得到F_T，在训练阶段，首先通过区域中心点预测分支对每个像素点分类(若某像素点落入人工标注的目标框的中心区域，分类为正样本；若落入目标框外，分类为负样本；落入标注框内的无效区域，舍弃)，对特征图F_T进行1*1卷积操作，并用 sigmoid函数激活为概率，训练分类网络，计算每个像素点作为中心点的概率，筛选出相应的区域中心点(x_i,y_i)，舍去大部分无效的特征点。

步骤1.4：边界框回归分支对特征图F_T所有像素点进行1*1卷积操作，通过优化与人工标注目标框的交并比，进行边框回归，计算出最佳的宽w_i和高h_i，得到通道为2的结果图来训练回归网络，最终将得到的预测框位置信息(x_i,y_i,w_i,h_i)，结合有用区域中心点，筛选与人工标注框的交并比大于0.7的检测框作为候选区域，输出有用区域中心点的检测框的位置信息。

步骤1.5：接着将位置信息输入特征图F_L，进行RoI池化操作，该操作的目的是使得不同尺寸的候选区域输出尺寸相同，之后进入全连接层，对其进行分类，计算预测框的分类得分，之后对RoI池化后的候选区域再次与经过相同处理的人工标注目标框进行边框回归操作并分类，输出最终区域推荐信息和得分。

步骤2：接触网紧固件识别与定位。将高铁接触网图像输入训练好的深度网络模型，得到各种紧固件在接触网图像中的位置信息。

步骤2.1：对训练集进行步骤2-5训练后，深度网络模型训练操作完成，从4C系统获取接触网图像，对其图像按照(1280*1000)的尺寸进行标准化。

步骤2.2：将标准化后的图像输入步骤1所得到的深度网络模型，计算每类紧固件在接触网图像中的位置信息,并在图中给出相应的目标框。接触网紧固件识别与定位效果如图6所示。

本发明的内容不限于实施例所列举的情况，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims (2)

1.基于注意力机制的高铁接触网紧固件识别与定位方法，其特征在于：

在ResNet50残差卷积网络中引入注意力机制，通过在每一个残差模块中添加注意力模型，形成残差注意力网络，作为用于特征提取的卷积神经网络；

包括以下步骤：

步骤1：基于注意力模型机制的接触网紧固件识别与定位深度网络模型训练；

步骤1.1：准备数据集：通过4C系统采集大量高铁接触网图像，对所有图像的尺寸进行标准化及人工标注紧固件所在位置，将其按比例化分为训练集、验证集和测试集；

在步骤1.1中，对所有图像的尺寸进行标准化及人工标注后，形成VOC格式数据集，标注信息存放在XML格式文件中，将其按比例0.70:0.15:0.15化分为训练集、验证集和测试集；

步骤1.2：将训练集用于基于注意力机制的接触网紧固件识别与定位深度网络的训练，得到深度网络模型，深度网络模型包括注意力模块和区域推荐模块；

在步骤1.2中，深度网络模型采用ResNet50，具体为：

(1)将制作完成的训练集输入残差注意力网络，先经过卷积运算，输出特征图F；将F输入注意力模块，再次进行卷积操作生成特征图F₁，在通道维度分别对F₁进行最大池化和平均池化操作，生成通道与F₁一致的注意力图Favg和Fmax，再经过共享的多层感知机得到与Favg和Fmax尺寸大小相同的两个注意力特征图，将两图对应元素按比例相加，经过sigmoid函数激活到[0,1]区间表示为概率，得到与Favg和Fmax尺寸相同的通道注意力特征图M，将M的每个通道的概率与特征图F₁对应通道的元素相乘得到注意力模块的输出特征图F₂，之后F₂进入下面的卷积层或下一个注意力模块，继续进行操作，最终输出具有目标部件特征表示的深度网络特征图F_L；

(2)特征图F_L进入区域推荐模块，首先进行3*3卷积运算，不改变尺寸，得到F_T，在训练阶段，首先通过区域中心点预测分支对每个像素点分类，对特征图F_T进行1*1卷积操作，并用sigmoid函数激活为概率，训练分类网络，计算每个像素点作为中心点的概率，筛选出相应的区域中心点(x_i,y_i)，舍去大部分无效的特征点；

(3)边界框回归分支对特征图F_T所有像素点进行1*1卷积操作，通过优化与人工标注目标框的交并比，进行边框回归，计算出最佳的宽w_i和高h_i，得到通道为2的结果图来训练回归网络，最终将得到的预测框位置信息(x_i,y_i,w_i,h_i)，结合有用区域中心点，筛选与人工标注框的交并比大于0.7的检测框作为候选区域，输出有用区域中心点的检测框的位置信息；

(4)接着将位置信息输入特征图F_L，进行RoI池化操作，该操作的目的是使得不同尺寸的候选区域输出尺寸相同，之后进入全连接层，对RoI池化后的候选区域再次与经过相同处理的人工标注目标框进行边框回归操作并分类，输出最终区域推荐信息和得分，完成深度网络模型训练操作；

步骤2：接触网紧固件识别与定位：将高铁接触网图像输入训练好的深度网络模型，得到各种紧固件的类别和在接触网图像中的位置信息；

步骤2.1：从4C系统获取接触网图像，对其图像的尺寸进行标准化；

步骤2.2：将标准化后的图像输入步骤1得到的深度网络模型，计算每类紧固件在接触网图像中的位置信息。

2.根据权利要求1所述的基于注意力机制的高铁接触网紧固件识别与定位方法，其特征在于：

通过区域中心点预测分支对每个像素点分类的过程为：若某像素点落入人工标注的标注框的中心区域，分类为正样本；若落入标注框外，分类为负样本；落入标注框内的无效区域，舍弃。