CN109767422A - 基于深度学习的管道检测识别方法、存储介质及机器人 - Google Patents

Abstract

本发明公开了一种基于深度学习的管道检测识别方法、存储介质及机器人，解决了检测效率低且精确率低的问题，其技术方案要点是，根据图像处理执行信息以获取对应于被检测位置的当前位置图像信息；根据当前位置图像信息中的文字进行文字识别处理以形成当前位置文字信息以及根据当前位置图像信息中的管道缺陷进行判断以形成当前位置管道缺陷信息；根据相互关联的所述当前位置文字信息与当前位置管道缺陷信息以形成当前位置管道缺陷表格信息，本发明通过大数据的深度学习分析以获取相应的管道缺陷的判断模型，实现对视频中的每一帧图片进行评估，提高整体的工作效率，同时也能够保证判断的正确率。

Description

基于深度学习的管道检测识别方法、存储介质及机器人

技术领域

本发明涉及管道检测技术领域，特别涉及基于深度学习的管道检测识别方法、存储介质及机器人。

背景技术

管道内检测是指利用管输介质驱动检测器在管道内运行，实时检测和记录管道的变形、腐蚀等损伤情况，并准确定位的作业。油气管道大多埋地敷设，通过管道内检测可事先发现各种缺陷和损伤，了解各管段的危险程度，可预防和有效减少事故并节约管道维修资金，是保证管道安全的重要措施。初次进行时，要进行—系列准备工作：线路测量；定标、清管器、收发球筒、弯头、斜口检査改造；管道通径、变形检测；清管、模拟器等准备，以确认管道满足通过检测器的要求。实施后要处理数据，做出检测报告。必要时还要选择适当管段开挖验证，确定管道内检测的精度、合格率等是否达到要求。

目前管道检测主要依靠CCTV技术进行管道检测，该技术通过向管道内放置CCTV管道机器人，操控机器人进行管道内窥检测且录制视频，该技术较好的解决了管道内外业人员无法直接观看的问题，但是在数据采集过程中，需要人为记录管道内拍摄到的缺陷，需集中精神进行繁多的管道视频采集，同时在采集过程中外业人员需要进行首次判断缺陷并用纸质文件记录，导致外业采集效率较低。除此之外，外业人员完成视频采集后，需交由内业人员进行重新观看管道内窥视频，内业人员根据外业人员所记录的纸质文件上所记录的提醒节点进行回顾，对整个过程进行重新判断，以求获得最为准确的判断。最后，根据人工判断结果以报表形式导出。

上述传统方法的缺点与不足：

1、传统方法是基于专业经验进行缺陷判断的，外业人员的初次判断，需要安排经验丰富的人员进行采集，对专业性具有较高要求。

2、传统方法需要在数据采集过程中需进行记录；采集过程中，外业人员需要根据实时内窥影像进行判断，视频采集效率较低。

3、传统方法难以解放人力；内业人员对大量采集视频需要进行二次判断，通过逐个观看视频并重新判断之后再制作报表，费时费力。

4、传统方法局限于个人主观意识；内业人员具有个人主观意识，不同内业人员对同一图像容易产生不同的判断结果，产生歧义，准确率因人员专业性不同而不同。

5、传统方法难以提供准确的标准进行验证；质量检查人员同样需在项目提交时进行质量检查，重新根据报表情况进行视频复核，该工作受前期人员内的判断影响，且依然局限于人的主观思考。

基于上述问题，故现有的管道检测方法具有一定的改进空间。

发明内容

本发明的第一目的是提供一种基于深度学习的管道检测识别方法，能够提高检测的效率，同时确保判断的准确度。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种基于深度学习的管道检测识别方法，包括：

获得当前用户的当前触发信息；

从预先设置的触发信息与指令信息之间的对应关系中，查找与所述当前触发信息对应的当前指令信息；所述触发信息包括图像处理触发信息，所述指令信息包括与图像处理触发信息相互关联的图像处理执行信息；

根据图像处理执行信息以获取对应于被检测位置的当前位置图像信息；根据当前位置图像信息中的文字进行文字识别处理以形成当前位置文字信息以及根据当前位置图像信息中的管道缺陷进行判断以形成当前位置管道缺陷信息；

根据相互关联的所述当前位置文字信息与当前位置管道缺陷信息以形成当前位置管道缺陷表格信息。

采用上述方案，根据图像处理触发信息以触发对相应的出现进行处理，根据之前已经存储的多个当前位置图像信息进行分析判断，分析的过程包括文字分析以及图像分析，基于两者的分析来判断管道的缺陷是什么类型的，同时对该管道的缺陷进行标记所对应的位置，该分析过程通过大数据的深度学习分析以获取相应的管道缺陷的判断模型，实现对视频中的每一帧图片进行评估，提高整体的工作效率，同时也能够保证判断的正确率。

作为优选，包括获取对应于被检测位置的当前位置图像信息的方法如下：

依次载入当前工作日下视频目录的视频数据信息；

根据视频数据信息进行分帧提取处理以形成相应被检测位置所对应的当前位置图像信息；

根据视频数据信息所对应的名称以及当前位置图像信息所对应的帧数以建立对应目录文件进行存储。

采用上述方案，先通过机器人在管道中拍摄相应的视频从而形成了对应的视频数据信息，并对视频数据信息进行分帧提出处理，使得对每一帧的图像都进行处理，能够避免数据遗漏而没有查全管道的缺陷。

作为优选，在进行文字识别处理之前需要对当前位置图像信息进行预处理，具体方法如下：

依次载入当前位置图像信息；

根据当前位置图像信息进行灰度化处理以形成一级预处理图像信息；

根据一级预处理图像信息进行降噪处理以形成而二级预处理图像信息；

根据二级预处理图像信息进行归一化处理以形成而三级预处理图像信息；

根据三级预处理图像信息进行字符切分处理以形成文字待识别图像信息。

采用上述方案，进行灰度化处理能够减小图像原始数据量，便于后续处理时计算量更少，因为该图像处理不需要对彩色图像的RGB三个分量都进行处理，即灰度化突出图像文字信息且减少了通道数，提高效率；降噪处理让图片在视觉上显得更为清晰、美观，对于数字图像处理这一块儿，降噪是各种特征识别、提取的前提，降噪提高特征提取的稳定性；归一化可以放大和缩小原始图像的长度和宽度，保留图像的线性性质。有时候表情特征块图像可能不是所要求的形式，这时就要求进行对切割后的图像中心的位置做适当的更正，使之统一到相同的位置上，即归一化是将图像转换到同一规格下，运用统一算法；经过多重预处理之后在进行字符切分处理，便于单独识别对应的文字。

作为优选，文字识别处理的方法如下：

依次读取文字待识别图像信息；

根据OCR文字识别模型对读取到的文字待识别图像信息进行文字识别以形成独立文字识别信息，

根据每个目录文件中存储的当前位置图像信息所对应的若干文字待识别图像信息以对独立文字识别信息进行成段排序并形成当前位置文字信息；

将当前位置文字信息存储于对应于当前位置图像信息的目录文件中。

采用上述方案，OCR技术能够将图片、照片上的文字内容，直接转换为可编辑文本；调用OCR文字识别模型进行逐帧的文字识别，从而能够快速的获取到图片中的文字信息，将识别文字结果按图像位置进行成段排序，需要识别文字的位置是固定的，故生成文字信息是具有规律性，将各图片与识别文字匹配储存，有效的提高工作效率。

作为优选，管道缺陷判断的方法如下：

依次载入当前位置图像信息；

将当前位置图像信息输入至预先训练好的faster-RCNN网络模型中，得到faster-RCNN网络模型的输出，faster-RCNN网络模型的输出中提取出当前位置管道缺陷信息。

采用上述方案，通过预置的faster-RCNN网络模型，能够对管道缺陷的图像信息进行实现深度学习，确保在分析当前位置图像信息管道缺陷信息的的过程中，能够智能判断当前位置图像信息的管道缺陷，大大提高判断的正确率，并且能够不断学习完善，让判断的准确度越来越高。

作为优选，所述当前位置管道缺陷信息包括有无缺陷分类信息以及详细缺陷信息；

根据预先训练好的faster-RCNN网络模型以获取有无缺陷分类信息；

基于有无缺陷分类信息并根据预先训练好的faster-RCNN网络模型以获取详细缺陷信息。

采用上述方案，先对有无缺陷进行判断，即先对所有的当前位置图像信息进行筛选，筛选出来有缺陷的当前位置图像信息后在进行判断是什么缺陷，能够尽可能减少计算量，提高运算速度。

作为优选，预先训练faster-RCNN网络模型的具体方法如下：

步骤510：构建RPN卷积神经网络和faster-RCNN卷积神经网络，所述RPN卷积神经网络由八个卷积层和一个Softmax层构成，所述faster-RCNN卷积神经网络由五个卷积层、一个ROIpooling层、四个全连接层和一个Softmax层构成；

步骤520：对RPN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤530：将不同缺陷所对应的管道缺陷图像信息作为输入的训练样本图像，对输入的训练样本图像赋予多个尺度和多个比例的基准框，通过向初始化后的RPN卷积神经网络中输入训练样本图像的基准框来训练RPN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小；

步骤540：在训练样本图像上运用训练好的RPN卷积神经网络模型，得到训练样本集的管道缺陷粗选框

步骤550：对faster-RCNN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤560：输入训练样本图像和步骤540获得的训练样本集的管道缺陷粗选框，对输入的训练样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的faster-RCNN卷积神经网络中输入训练样本图像的基准框，并结合样本集的标注和标签来训练faster-RCNN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小，得到训练好的faster-RCNN卷积神经网络模型；

步骤570：重新训练RPN卷积神经网络，将RPN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤560的faster-RCNN卷积神经网络模型，训练得到新的RPN卷积神经网络模型；

步骤580：在训练样本图像上运用新训练好的RPN卷积神经网络模型，重新得到训练样本集的管道缺陷粗选框；

步骤590：重新训练faster-RCNN卷积神经网络，将faster-RCNN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤580中的RPN卷积神经网络模型，使用训练样本集和步骤580中的训练样本集的管道缺陷粗选框标注，重新训练得到新的faster-RCNN卷积神经网络模型。

采用上述方案，该模型是在多分类模型的基础上进行调节的，首先对有指定位置缺陷图片进行图像标注，利用方框标出缺陷位置，生成相应格式标签数据。对已训练完成的多分类模型参数作为模型预参数，构建RPN网络用于回归寻找框图坐标点，RPN模型用于提取特征图信息寻找最合适的位置的框图，结合ROI Pooling层将特征图与生成框图结合，得到合适大小的proposal feature map，用于全连接操作，利用softmax函数进行多类别分类，由于该模型参数初值由训练完成模型提供，故仅需要少量的训练次数即可得到较优的模型。

作为优选，根据人工判定当前位置管道缺陷信息正确与否以更新步骤530中的训练样本图像；

若当前位置管道缺陷信息为错误，将该错误的当前位置管道缺陷信息作为输入更新至步骤530中的训练样本图像。

采用上述方案，人工判定是否正确，如果faster-RCNN网络模型判断是错误的，就直接将该错误的情况反馈至训练faster-RCNN网络模型中，进行进一步的学习完善，让判断的准确度越来越高。

本发明的第二目的是提供一种存储介质，能够存储相应的指令集，能够提高检测的效率，同时确保判断的准确度。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种存储介质，其存储有指令集，所述指令集适于一处理器加载并执行如下处理，包括：

获得当前用户的当前触发信息；

从预先设置的触发信息与指令信息之间的对应关系中，查找与所述当前触发信息对应的当前指令信息；所述触发信息包括图像处理触发信息，所述指令信息包括与图像处理触发信息相互关联的图像处理执行信息；

根据图像处理执行信息以获取对应于被检测位置的当前位置图像信息；根据当前位置图像信息中的文字进行文字识别处理以形成当前位置文字信息以及根据当前位置图像信息中的管道缺陷进行判断以形成当前位置管道缺陷信息；

根据相互关联的所述当前位置文字信息与当前位置管道缺陷信息以形成当前位置管道缺陷表格信息。

采用上述方案，根据图像处理触发信息以触发对相应的出现进行处理，根据之前已经存储的多个当前位置图像信息进行分析判断，分析的过程包括文字分析以及图像分析，基于两者的分析来判断管道的缺陷是什么类型的，同时对该管道的缺陷进行标记所对应的位置，该分析过程通过大数据的深度学习分析以获取相应的管道缺陷的判断模型，实现对视频中的每一帧图片进行评估，提高整体的工作效率，同时也能够保证判断的正确率。

本发明的第三目的是提供一种机器人，能够提高检测的效率，同时确保判断的准确度。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种机器人，包括，

处理器，用于加载并执行指令集；以及

如上述的存储介质。

采用上述方案，根据图像处理触发信息以触发对相应的出现进行处理，根据之前已经存储的多个当前位置图像信息进行分析判断，分析的过程包括文字分析以及图像分析，基于两者的分析来判断管道的缺陷是什么类型的，同时对该管道的缺陷进行标记所对应的位置，该分析过程通过大数据的深度学习分析以获取相应的管道缺陷的判断模型，实现对视频中的每一帧图片进行评估，提高整体的工作效率，同时也能够保证判断的正确率。

综上所述，本发明具有以下有益效果：通过大数据的深度学习分析以获取相应的管道缺陷的判断模型，实现对视频中的每一帧图片进行评估，提高整体的工作效率，同时也能够保证判断的正确率。

附图说明

图1为基于深度学习的管道检测识别方法的流程框图；

图2为当前位置图像信息获取方法的流程框图；

图3为文字识别预处理方法的流程框图；

图4为基于OCR文字识别方法的流程框图；

图5为管道缺陷判断的方法的流程框图；

图6为预先训练faster-RCNN网络模型的方法的流程框图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

本发明实施例提供一种基于深度学习的管道检测识别方法，包括：获得当前用户的当前触发信息；从预先设置的触发信息与指令信息之间的对应关系中，查找与当前触发信息对应的当前指令信息；触发信息包括图像处理触发信息，指令信息包括与图像处理触发信息相互关联的图像处理执行信息；根据图像处理执行信息以获取对应于被检测位置的当前位置图像信息；根据当前位置图像信息中的文字进行文字识别处理以形成当前位置文字信息以及根据当前位置图像信息中的管道缺陷进行判断 以形成当前位置管道缺陷信息；根据相互关联的当前位置文字信息与当前位置管道缺陷信息以形成当前位置管道缺陷表格信息。

本发明实施例中，根据图像处理触发信息以触发对相应的出现进行处理，根据之前已经存储的多个当前位置图像信息进行分析判断，分析的过程包括文字分析以及图像分析，基于两者的分析来判断管道的缺陷是什么类型的，同时对该管道的缺陷进行标记所对应的位置，该分析过程通过大数据的深度学习分析以获取相应的管道缺陷的判断模型，实现对视频中的每一帧图片进行评估，提高整体的工作效率，同时也能够保证判断的正确率。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

下面结合说明书附图对本发明实施例作进一步详细描述。

请参见图1，本发明实施例提供一种基于深度学习的管道检测识别方法，方法的主要流程描述如下。

如图1所示：

步骤100：获得当前用户的当前触发信息。

步骤200：从预先设置的触发信息与指令信息之间的对应关系中，查找与当前触发信息对应的当前指令信息。

其中，触发信息包括图像处理触发信息，图像处理触发信息的获取可以通过外部硬件开关触发的方式，也可以通过软件虚拟按键触发的方式，指令信息包括与图像处理触发信息相互关联的图像处理执行信息；根据触发产生的图像处理触发信息以查找到指令信息中的图像处理执行信息，从而开始对图像进行处理。

步骤300：根据图像处理执行信息以获取对应于被检测位置的当前位置图像信息；根据当前位置图像信息中的文字进行文字识别处理以形成当前位置文字信息以及根据当前位置图像信息中的管道缺陷进行判断以形成当前位置管道缺陷信息。

1）、其中，获取对应于被检测位置的当前位置图像信息的方法如下：

步骤311：依次载入当前工作日下视频目录的视频数据信息。

在存储器或者其他存储设备中已经存储了相应拍摄的视频，依次载入对应的视频目录下的视频数据信息，从而对每个视频进行处理。

步骤312：根据视频数据信息进行分帧提取处理以形成相应被检测位置所对应的当前位置图像信息。

其中，分帧提取的方式可以通过第三方的软件完成，即opencv、PS、会声会影等软件实现，例如，通过opencv可以自动获取该视频中的每一帧图像；通过会声会影，可以一帧一帧地显示，然后再视频快照，就可以把每一帧都提取出来，通过Photoshop的动画功能，导入——从视频帧到图层；从而获取到对应每一帧的当前位置图像信息。

步骤313：根据视频数据信息所对应的名称以及当前位置图像信息所对应的帧数以建立对应目录文件进行存储。

其中，命名方式以视频名称以及所处帧数位置命名，便于保留视频与图像之间的关联性；以供后续调用。

2）、对当前位置图像信息中的文字进行文字识别处理过程中，需要先进行预处理，然后在进行读取。

在进行文字识别处理之前需要对当前位置图像信息进行预处理，具体方法如下：

步骤321：依次载入当前位置图像信息；

步骤322：根据当前位置图像信息进行灰度化处理以形成一级预处理图像信息。

其中，由于大多数图片均为彩色图像，彩色图像所含信息量巨大，对于图片的内容，为了让计算机更快的、更好的识别文字，先对彩色图进行处理，使图片只留前景信息与背景信息，可以简单的定义前景信息为黑色，背景信息为白色，即进行二值化处理；图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。

步骤323：根据一级预处理图像信息进行降噪处理以形成而二级预处理图像信息。

其中，图像去噪是指减少数字图像中噪声的过程称为图像去噪。现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像。噪声是图像干扰的重要原因。一幅图像在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可能在量化等处理中产生。

去除图像噪声的方法包括以下几种：

1、均值滤波器；采用邻域平均法的均值滤波器非常适用于去除通过扫描得到的图像中的颗粒噪声。领域平均法有力地抑制了噪声,同时也由于平均而引起了模糊现象,模糊程度与领域半径成正比。几何均值滤波器所达到的平滑度可以与算术均值滤波器相比,但在滤波过程中会丢失更少的图像细节。谐波均值滤波器对“盐”噪声效果更好,但是不适用于“胡椒”噪声。它善于处理像高斯噪声那样的其他噪声。逆谐波均值滤波器更适合于处理脉冲噪声,但它有个缺点,就是必须要知道噪声是暗噪声还是亮噪声,以便于选择合适的滤波器阶数符号,如果阶数的符号选择错了可能会引起灾难性的后果。

2、自适应维纳滤波器；它能根据图像的局部方差来调整滤波器的输出,局部方差越大,滤波器的平滑作用越强。它的最终目标是使恢复图像f^(x,y)与原始图像f(x,y)的均方误差e2=E[(f(x,y)-f^(x,y)2]最小。该方法的滤波效果比均值滤波器效果要好,对保留图像的边缘和其他高频部分很有用,不过计算量较大。维纳滤波器对具有白噪声的图像滤波效果最佳。

3、中值滤波器；它是一种常用的非线性平滑滤波器,其基本原理是把数字图像或数字序列中一点的值用该点的一个领域中各点值的中值代换其主要功能是让周围象素灰度值的差比较大的像素改取与周围的像素值接近的值,从而可以消除孤立的噪声点,所以中值滤波对于滤除图像的椒盐噪声非常有效。中值滤波器可以做到既去除噪声又能保护图像的边缘,从而获得较满意的复原效果,而且,在实际运算过程中不需要图像的统计特性,这也带来不少方便,但对一些细节多,特别是点、线、尖顶细节较多的图像不宜采用中值滤波的方法。

4、形态学噪声滤除器；将开启和闭合结合起来可用来滤除噪声,首先对有噪声图像进行开启操作,可选择结构要素矩阵比噪声的尺寸大,因而开启的结果是将背景上的噪声去除。最后是对前一步得到的图像进行闭合操作,将图像上的噪声去掉。根据此方法的特点可以知道,此方法适用的图像类型是图像中的对象尺寸都比较大,且没有细小的细节,对这种类型的图像除噪的效果会比较好。

5、小波去噪；这种方法保留了大部分包含信号的小波系数,因此可以较好地保持图像细节。小波分析进行图像去噪主要有3个步骤：(1)、对图像信号进行小波分解；(2)、对经过层次分解后的高频系数进行阈值量化；(3)、利用二维小波重构图像信号。

步骤324：根据二级预处理图像信息进行归一化处理以形成而三级预处理图像信息。

其中，表情图像经过特征块切割后，切割生成的特征块大小不一。这时，就需要采取归一化的操作来统一特征块图像的尺寸。为了方便后续特征提取的计算和减少特征的维数，在实验仿真中将特征块图像归一化为20*28像素的图像，即经切割后的特征块图像若尺寸不为20*28像素，就把它们统一归一化为20*28像素。之所以把特征块图像归一化为20*28像素，是因为特征块的形状都为长方形，更符合特征块的自然形式。图像归一化的技术可以分为线性归一化和非线性归一化两种。

步骤325：根据三级预处理图像信息进行字符切分处理以形成文字待识别图像信息。

其中，字符切分将图像中文字分割为单个文字，即逐字识别。

完成预处理之后，对文字进行识别的方法如下：

步骤331：依次读取文字待识别图像信息。

步骤332：根据OCR文字识别模型对读取到的文字待识别图像信息进行文字识别以形成独立文字识别信息。

其中，先进行文字特征抽取，单以识别率而言，特征抽取可说是 OCR的核心，用什么特征、怎么抽取，直接影响识别的好坏，也所以在OCR研究初期，特征抽取的研究报告特别的多。而特征可说是识别的筹码，简易的区分可分为两类：一为统计的特征，如文字区域内的黑/白点数比，当文字区分成好几个区域时，这一个个区域黑/白点数比之联合，就成了空间的一个数值向量，在比对时，基本的数学理论就足以应付了。而另一类特征为结构的特征，如文字影像细线化后，取得字的笔划端点、交叉点之数量及位置，或以笔划段为特征，配合特殊的比对方法，进行比对，市面上的线上手写输入软件的识别方法多以此种结构的方法为主。

再进行对比数据库，当输入文字算完特征后，不管是用统计或结构的特征，都须有一比对数据库或特征数据库来进行比对，数据库的内容应包含所有欲识别的字集文字，根据与输入文字一样的特征抽取方法所得的特征群组。

步骤333：根据每个目录文件中存储的当前位置图像信息所对应的若干文字待识别图像信息以对独立文字识别信息进行成段排序并形成当前位置文字信息。

步骤334：将当前位置文字信息存储于对应于当前位置图像信息的目录文件中。

其中，调用OCR文字识别模型进行逐帧的文字识别后，将识别文字结果按图像位置进行成段排序，由于需要识别文字的位置是固定的，故生成文字信息是具有规律性，将各图片与识别文字匹配储存。

3）、管道缺陷判断的方法如下：

步骤341：依次载入当前位置图像信息；

步骤342：将当前位置图像信息输入至预先训练好的faster-RCNN网络模型中，得到faster-RCNN网络模型的输出，faster-RCNN网络模型的输出中提取出当前位置管道缺陷信息，当前位置管道缺陷信息包括有无缺陷分类信息以及详细缺陷信息。

步骤343：根据预先训练好的faster-RCNN网络模型以获取有无缺陷分类信息。

步骤344：基于有无缺陷分类信息并根据预先训练好的faster-RCNN网络模型以获取详细缺陷信息。

步骤400：根据相互关联的当前位置文字信息与当前位置管道缺陷信息以形成当前位置管道缺陷表格信息。

其中，预先训练faster-RCNN网络模型的具体方法如下：

步骤510：构建RPN卷积神经网络和faster-RCNN卷积神经网络，RPN卷积神经网络由八个卷积层和一个Softmax层构成，faster-RCNN卷积神经网络由五个卷积层、一个ROIpooling层、四个全连接层和一个Softmax层构成；

步骤520：对RPN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤530：将不同缺陷所对应的管道缺陷图像信息作为输入的训练样本图像，对输入的训练样本图像赋予多个尺度和多个比例的基准框，通过向初始化后的RPN卷积神经网络中输入训练样本图像的基准框来训练RPN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小；

步骤540：在训练样本图像上运用训练好的RPN卷积神经网络模型，得到训练样本集的管道缺陷粗选框；

步骤550：对faster-RCNN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤560：输入训练样本图像和步骤540获得的训练样本集的管道缺陷粗选框，对输入的训练样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的faster-RCNN卷积神经网络中输入训练样本图像的基准框，并结合样本集的标注和标签来训练faster-RCNN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小，得到训练好的faster-RCNN卷积神经网络模型；

步骤570：重新训练RPN卷积神经网络，将RPN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤560的faster-RCNN卷积神经网络模型，训练得到新的RPN卷积神经网络模型；

步骤580：在训练样本图像上运用新训练好的RPN卷积神经网络模型，重新得到训练样本集的管道缺陷粗选框；

步骤590：重新训练faster-RCNN卷积神经网络，将faster-RCNN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤580中的RPN卷积神经网络模型，使用训练样本集和步骤580中的训练样本集的管道缺陷粗选框标注，重新训练得到新的faster-RCNN卷积神经网络模型。

根据人工判定当前位置管道缺陷信息正确与否以更新步骤530中的训练样本图像；若当前位置管道缺陷信息为错误，将该错误的当前位置管道缺陷信息作为输入更新至步骤530中的训练样本图像。

本发明实施例提供一种存储介质，存储介质存储有指令集，该指令集适于一处理器加载并执行包括图1-图6。流程中的各个步骤。

计算机存储介质例如包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

基于同一发明构思，本发明实施例提供一种机器人， 包括：处理器，用于加载并执行指令集；以及上述的存储介质。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，不应理解为对本发明的限制。本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的管道检测识别方法，其特征是，包括：

获得当前用户的当前触发信息；

从预先设置的触发信息与指令信息之间的对应关系中，查找与所述当前触发信息对应的当前指令信息；所述触发信息包括图像处理触发信息，所述指令信息包括与图像处理触发信息相互关联的图像处理执行信息；

根据图像处理执行信息以获取对应于被检测位置的当前位置图像信息；根据当前位置图像信息中的文字进行文字识别处理以形成当前位置文字信息以及根据当前位置图像信息中的管道缺陷进行判断以形成当前位置管道缺陷信息；

根据相互关联的所述当前位置文字信息与当前位置管道缺陷信息以形成当前位置管道缺陷表格信息。

2.根据权利要求1所述的基于深度学习的管道检测识别方法，其特征是，包括获取对应于被检测位置的当前位置图像信息的方法如下：

依次载入当前工作日下视频目录的视频数据信息；

根据视频数据信息进行分帧提取处理以形成相应被检测位置所对应的当前位置图像信息；

根据视频数据信息所对应的名称以及当前位置图像信息所对应的帧数以建立对应目录文件进行存储。

3.根据权利要求2所述的基于深度学习的管道检测识别方法，其特征是，在进行文字识别处理之前需要对当前位置图像信息进行预处理，具体方法如下：

依次载入当前位置图像信息；

根据当前位置图像信息进行灰度化处理以形成一级预处理图像信息；

根据一级预处理图像信息进行降噪处理以形成而二级预处理图像信息；

根据二级预处理图像信息进行归一化处理以形成而三级预处理图像信息；

根据三级预处理图像信息进行字符切分处理以形成文字待识别图像信息。

4.根据权利要求3所述的基于深度学习的管道检测识别方法，其特征是，文字识别处理的方法如下：

依次读取文字待识别图像信息；

根据OCR文字识别模型对读取到的文字待识别图像信息进行文字识别以形成独立文字识别信息，

根据每个目录文件中存储的当前位置图像信息所对应的若干文字待识别图像信息以对独立文字识别信息进行成段排序并形成当前位置文字信息；

将当前位置文字信息存储于对应于当前位置图像信息的目录文件中。

5.根据权利要求2所述的基于深度学习的管道检测识别方法，其特征是：管道缺陷判断的方法如下：

依次载入当前位置图像信息；

将当前位置图像信息输入至预先训练好的faster-RCNN网络模型中，得到faster-RCNN网络模型的输出，faster-RCNN网络模型的输出中提取出当前位置管道缺陷信息。

6.根据权利要求5所述的基于深度学习的管道检测识别方法，其特征是：所述当前位置管道缺陷信息包括有无缺陷分类信息以及详细缺陷信息；

根据预先训练好的faster-RCNN网络模型以获取有无缺陷分类信息；

基于有无缺陷分类信息并根据预先训练好的faster-RCNN网络模型以获取详细缺陷信息。

7.根据权利要求5或6所述的基于深度学习的管道检测识别方法，其特征是：预先训练faster-RCNN网络模型的具体方法如下：

步骤510：构建RPN卷积神经网络和faster-RCNN卷积神经网络，所述RPN卷积神经网络由八个卷积层和一个Softmax层构成，所述faster-RCNN卷积神经网络由五个卷积层、一个ROIpooling层、四个全连接层和一个Softmax层构成；

步骤520：对RPN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤530：将不同缺陷所对应的管道缺陷图像信息作为输入的训练样本图像，对输入的训练样本图像赋予多个尺度和多个比例的基准框，通过向初始化后的RPN卷积神经网络中输入训练样本图像的基准框来训练RPN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小；

步骤540：在训练样本图像上运用训练好的RPN卷积神经网络模型，得到训练样本集的管道缺陷粗选框

步骤550：对faster-RCNN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤560：输入训练样本图像和步骤540获得的训练样本集的管道缺陷粗选框，对输入的训练样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的faster-RCNN卷积神经网络中输入训练样本图像的基准框，并结合样本集的标注和标签来训练faster-RCNN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小，得到训练好的faster-RCNN卷积神经网络模型；

步骤570：重新训练RPN卷积神经网络，将RPN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤560的faster-RCNN卷积神经网络模型，训练得到新的RPN卷积神经网络模型；

步骤580：在训练样本图像上运用新训练好的RPN卷积神经网络模型，重新得到训练样本集的管道缺陷粗选框；

步骤590：重新训练faster-RCNN卷积神经网络，将faster-RCNN卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤580中的RPN卷积神经网络模型，使用训练样本集和步骤580中的训练样本集的管道缺陷粗选框标注，重新训练得到新的faster-RCNN卷积神经网络模型。

8.根据权利要求7所述的基于深度学习的管道检测识别方法，其特征是：根据人工判定当前位置管道缺陷信息正确与否以更新步骤530中的训练样本图像；

若当前位置管道缺陷信息为错误，将该错误的当前位置管道缺陷信息作为输入更新至步骤530中的训练样本图像。

9.一种存储介质，其特征是，其存储有指令集，所述指令集适于一处理器加载并执行如下处理，包括：

获得当前用户的当前触发信息；

从预先设置的触发信息与指令信息之间的对应关系中，查找与所述当前触发信息对应的当前指令信息；所述触发信息包括图像处理触发信息，所述指令信息包括与图像处理触发信息相互关联的图像处理执行信息；

根据图像处理执行信息以获取对应于被检测位置的当前位置图像信息；根据当前位置图像信息中的文字进行文字识别处理以形成当前位置文字信息以及根据当前位置图像信息中的管道缺陷进行判断以形成当前位置管道缺陷信息；

根据相互关联的所述当前位置文字信息与当前位置管道缺陷信息以形成当前位置管道缺陷表格信息。

10.一种机器人，其特征是，包括：

处理器，用于加载并执行指令集；以及

如权利要求9所述的存储介质。