CN113627427B - 一种基于图像检测技术的仪器仪表读数方法及系统 - Google Patents

Abstract

本发明公开了一种基于图像检测技术的仪器仪表读数方法及系统，其中方法包括：从摄像头获取待检测图像，对图像中表盘和指针进行目标检测；对表盘区域进行文字区域检测和文本识别；对非刻度文字区域进行删除，得到仪表刻度值以及其对应的刻度框；通过表盘的偏转角度信息对表盘位置进行校正，利用指针的偏转角度信息确定指针的方向，利用LSD算法确定指针所在的线段并进行延长处理，利用刻度框的信息和指针直线得到两者交点，根据交点信息进行线性计算得到仪器仪表的读数信息。

Description

一种基于图像检测技术的仪器仪表读数方法及系统

技术领域

本发明涉及图像处理和机器视觉技术领域，具体涉及一种基于图像检测技术的仪器仪表读数方法及系统。

背景技术

仪器仪表的准确读数，是作为判断工厂设备的健康状态，以及设备的工作效能的基础，同时通过读数值的有效记录对于后期故障排查等方面也是具有深刻意义的，但是传统的方式是采用人工读数等方式进行的，利用人工读数会受到仪器仪表位置或是空间等限制，且人工读数费时费力，在特殊的工厂还可能会存在一定的危险。因此根据视频图像信息，利用深度学习方法来对仪器的表盘指针位置进行检测，利用OCR(光学字符识别)对仪表的刻度框进行检查对刻度进行识别，然后利用LSD直线检测算法对指针进行检测，与刻度框重心所在连线相交后，根据交点位置，进行读数的方案，可以克服人工进行仪器仪表读数带来的效率准确性方面的问题，同时采取此种方案进行仪器仪表读数可以实现实时、多机位同时读数，大大节约了人力物力成本，为后续的故障排查，设备健康程度检测都打下了有力的基础。

然而，由于摄像机拍摄角度的问题，会对读数产生一定的影响，例如摄像机偏转或移动表盘会导致摄像机并未平视表盘，使读数不够精确。

发明内容

本发明所要解决的技术问题是由于现有技术摄像机拍摄角度的问题，会对仪器仪表读数产生一定的影响，例如摄像机偏转或移动表盘会导致摄像机并未平视表盘，读数不够精确，目的在于提供一种基于图像检测技术的仪器仪表读数方法及系统，解决了现有技术摄像机拍摄角度的问题，会对仪器仪表读数产生一定的影响，例如摄像机偏转或移动表盘会导致摄像机并未平视表盘，读数不够精确的技术问题。

本发明通过下述技术方案实现：

一种基于图像检测技术的仪器仪表读数方法，包括：

获取仪器仪表图片集；

对所述图片集中图片的表盘和指针进行标记，得到目标检测数据集，标记信息包括表盘的偏转角度信息和指针的偏转角度信息；

建立目标检测网络，将所述目标检测数据集输入目标检测网络进行训练，得到具有表盘偏转角度信息和指针偏转角度信息的表盘指针检测模型；

通过所述表盘指针检测模型对待测仪器仪表图片中的表盘和指针进行检测，得到具有表盘偏转角度信息的表盘检测框和具有指针偏转角度信息的指针检测框；

检测所述表盘检测框中的文本框，识别所述文本框中的文字信息，去除非刻度信息的文本框；

将具有刻度信息的文本框的重心依次连接得到刻度框；

根据所述表盘偏转角度信息对所述刻度框的角度进行校正；

根据所述指针偏转角度信息确定待测仪器仪表指针的方向；

检测指针检测框中的指针所在线段；

获取所述刻度框与指针所在线段往指针方向的延长线的交点，根据所述交点位置计算得到仪器仪表的读数。

进一步，所述得到目标检测数据集之后，还包括：

对所述目标检测数据集进行数据扩增，得到扩增后的目标检测数据集；

对所述目标检测数据集进行数据扩增，具体包括：

针对仪器仪表图片集中的图片，生成不同光照条件下的图片；

将仪器仪表图片集中的图片中的指针进行任意角度旋转，得到若干指针旋转后的图片；

将所述目标检测数据集输入目标检测网络进行训练，具体包括：

将所述扩增后的目标检测数据集输入目标检测网络进行训练。

进一步，所述建立目标检测网络，具体包括：

通过CSPDarknet53对目标检测数据集中的图像进行特征提取；

通过SPP模块配合FPN和PAN结构对提取的图像特征进行融合；

采用CIOU Loss作为损失函数对融合结果进行反向传播调整训练的超参数。

进一步，通过所述表盘指针检测模型对待测仪器仪表图片中的表盘和指针进行检测之前，还包括：

采集待测仪器仪表的视频数据流；

将所述视频数据流解码成图片；

评估所述图片的PSNR(峰值信噪比)值，若PSNR值大于设定阈值，则判断为可以进行检测的图片；若PSNR值不大于设定阈值，则判断为不可以进行检测的图片，再评估其下一帧图片的PSNR值，直至PSNR值大于预设阈值，方可进行检测。

一种基于图像检测技术的仪器仪表读数系统，包括：

获取模块，用于获取仪器仪表图片集；

标记模块，用于对所述图片集中图片的表盘和指针进行标记，得到目标检测数据集，标记信息包括表盘的偏转角度信息和指针的偏转角度信息；

训练模块，用于建立目标检测网络，将所述目标检测数据集输入目标检测网络进行训练，得到具有表盘偏转角度信息和指针偏转角度信息的表盘指针检测模型；

第一检测模块，用于通过所述表盘指针检测模型对待测仪器仪表图片中的表盘和指针进行检测，得到具有表盘偏转角度信息的表盘检测框和具有指针偏转角度信息的指针检测框；

第二检测模块，用于检测所述表盘检测框中的文本框；

识别模块，用于识别所述文本框中的文字信息；

去除模块，用于去除非刻度信息的文本框；

连接模块，用于将具有刻度信息的文本框的重心依次连接得到刻度框；

校正模块，用于根据所述表盘偏转角度信息对所述刻度框的角度进行校正；

确定模块，用于根据所述指针偏转角度信息确定待测仪器仪表指针的方向；

第三检测模块，用于检测指针检测框中的指针所在线段；

计算模块，用于获取所述刻度框与指针所在线段往指针方向的延长线的交点，根据所述交点位置计算得到仪器仪表的读数。

进一步，还包括：扩增模块，用于对所述目标检测数据集进行数据扩增，得到扩增后的目标检测数据集；

对所述目标检测数据集进行数据扩增，具体包括：

针对仪器仪表图片集中的图片，生成不同光照条件下的图片；

将仪器仪表图片集中的图片中的指针进行任意角度旋转，得到若干指针旋转后的图片；

所述训练模块具体用于将所述扩增后的目标检测数据集输入目标检测网络进行训练。

进一步，所述建立目标检测网络，具体包括：

通过CSPDarknet53对目标检测数据集中的图像进行特征提取；

通过SPP模块配合FPN和PAN结构对提取的图像特征进行融合；

采用CIOU Loss作为损失函数对融合结果进行反向传播调整训练的超参数。

进一步，还包括：

采集模块，用于采集待测仪器仪表的视频数据流；

解码模块，用于将所述视频数据流解码成图片；

评估模块，用于评估所述图片的PSNR值，若PSNR值大于设定阈值，则判断为可以进行检测的图片；若PSNR值不大于设定阈值，则判断为不可以进行检测的图片，再评估其下一帧图片的PSNR值，直至PSNR值大于预设阈值，方可进行检测。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明提供的一种基于图像检测技术的仪器仪表读数方法及系统，可以在检测表盘和指针的时候，在回归坐标点坐标的同时回归一个偏转角度，利用此偏转角度对表盘和指针进行校正，使仪器仪表的读数更精确，解决了由于现有技术摄像机拍摄角度的问题，会对仪器仪表读数产生一定的影响，例如摄像机偏转或移动表盘会导致摄像机并未平视表盘，读数不够精确的技术问题。

本发明提供的一种基于图像检测技术的仪器仪表读数方法及系统，支持对不同角度的仪器仪表读数，对视频拍摄角度没有强制要求，因此不会对摄像头的安装角度和安装位置有过多要求，为在工厂中实施提供了便利条件，另外采取自动识别读取仪器仪表读数的方式，可以做到多摄像头联动，对于设备的健康程度，设备的运行状态等可以做到实时监控，对于智能化工厂的建设起到了至关重要的作用。

附图说明

为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：

图1为本发明一种基于图像检测技术的仪器仪表读数方法的流程图；

图2为本发明一种基于图像检测技术的仪器仪表读数方法中标记的标签信息的示意图；

图3为本发明一种基于图像检测技术的仪器仪表读数方法中GAN扩增样本生成结果示意图；

图4为本发明一种基于图像检测技术的仪器仪表读数方法中旋转扩增样本生成结果示意图；

图5为本发明一种基于图像检测技术的仪器仪表读数方法中CSPDarknet53网络结构示意图；

图6为本发明一种基于图像检测技术的仪器仪表读数方法中仪器仪表表盘及指针检测结果示意图；

图7为本发明一种基于图像检测技术的仪器仪表读数方法中表盘文本框检测结果示意图；

图8为本发明一种基于图像检测技术的仪器仪表读数方法中表盘读数及连线结果示意图；

图9为本发明一种基于图像检测技术的仪器仪表读数方法中仪器仪表读数结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例一

请参考图1至图9，本发明实施例提供一种基于图像检测技术的仪器仪表读数方法，包括：

S1，获取仪器仪表图片集；

S2，对所述图片集中图片的表盘和指针进行标记，得到目标检测数据集，标记信息包括表盘的偏转角度信息和指针的偏转角度信息；

S3，建立目标检测网络，将所述目标检测数据集输入目标检测网络进行训练，得到具有表盘偏转角度信息和指针偏转角度信息的表盘指针检测模型；

S4，通过所述表盘指针检测模型对待测仪器仪表图片中的表盘和指针进行检测，得到具有表盘偏转角度信息的表盘检测框和具有指针偏转角度信息的指针检测框；

S5，检测所述表盘检测框中的文本框，识别所述文本框中的文字信息，去除非刻度信息的文本框；

S6，将具有刻度信息的文本框的重心依次连接得到刻度框；

S7，根据所述表盘偏转角度信息对所述刻度框的角度进行校正；

S8，根据所述指针偏转角度信息确定待测仪器仪表指针的方向；

S9，检测指针检测框中的指针所在线段；

S10，获取所述刻度框与指针所在线段往指针方向的延长线的交点，根据所述交点位置计算得到仪器仪表的读数。

本发明提供的一种基于图像检测技术的仪器仪表读数方法及系统，可以在检测表盘和指针的时候，在回归坐标点坐标的同时回归一个偏转角度，利用此偏转角度对表盘和指针进行校正，使仪器仪表的读数更精确，解决了由于现有技术摄像机拍摄角度的问题，会对仪器仪表读数产生一定的影响，例如摄像机偏转或移动表盘会导致摄像机并未平视表盘，读数不够精确的技术问题。

本发明提供的一种基于图像检测技术的仪器仪表读数方法及系统，支持对不同角度的仪器仪表读数，对视频拍摄角度没有强制要求，因此不会对摄像头的安装角度和安装位置有过多要求，为在工厂中实施提供了便利条件，另外采取自动识别读取仪器仪表读数的方式，可以做到多摄像头联动，对于设备的健康程度，设备的运行状态等可以做到实时监控，对于智能化工厂的建设起到了至关重要的作用。

本发明利用图像目标检测的方法配合OCR和传统LSD算法来实现的仪器仪表读数读取工作，对于不同种类指针型仪表，不同角度的识别方向都有较好的识别能力，同时本发明可以适用于室内室外，不同光照条件下的仪器仪表读取工作，克服了采用传统的模板匹配的检测方法对于光照，环境等情况敏感的不足，另外本发明的实现，也是对于仪器仪表对应的设备的运行情况，健康状态等方面检测的基础，对于智慧化工厂的发展有着较为深远的意义。

作为具体实施方式，所述得到目标检测数据集之后，还包括：

对所述目标检测数据集进行数据扩增，得到扩增后的目标检测数据集；

对所述目标检测数据集进行数据扩增，具体包括：

针对仪器仪表图片集中的图片，生成不同光照条件下的图片；

将仪器仪表图片集中的图片中的指针进行任意角度旋转，得到若干指针旋转后的图片；

将所述目标检测数据集输入目标检测网络进行训练，具体包括：

将所述扩增后的目标检测数据集输入目标检测网络进行训练。

作为具体实施方式，所述建立目标检测网络，具体包括：

通过CSPDarknet53对目标检测数据集中的图像进行特征提取；

通过SPP模块配合FPN和PAN结构对提取的图像特征进行融合；

采用CIOU Loss作为损失函数对融合结果进行反向传播调整训练的超参数。

作为具体实施方式，通过所述表盘指针检测模型对待测仪器仪表图片中的表盘和指针进行检测之前，还包括：

采集待测仪器仪表的视频数据流；

将所述视频数据流解码成图片；

评估所述图片的PSNR值，若PSNR值大于设定阈值，则判断为可以进行检测的图片；若PSNR值不大于设定阈值，则判断为不可以进行检测的图片，再评估其下一帧图片的PSNR值，直至PSNR值大于预设阈值，方可进行检测。

实施例二

本发明实施例提供一种基于图像检测技术的仪器仪表读数系统，包括：

获取模块，用于获取仪器仪表图片集；

标记模块，用于对所述图片集中图片的表盘和指针进行标记，得到目标检测数据集，标记信息包括表盘的偏转角度信息和指针的偏转角度信息；

训练模块，用于建立目标检测网络，将所述目标检测数据集输入目标检测网络进行训练，得到具有表盘偏转角度信息和指针偏转角度信息的表盘指针检测模型；

第一检测模块，用于通过所述表盘指针检测模型对待测仪器仪表图片中的表盘和指针进行检测，得到具有表盘偏转角度信息的表盘检测框和具有指针偏转角度信息的指针检测框；

第二检测模块，用于检测所述表盘检测框中的文本框；

识别模块，用于识别所述文本框中的文字信息；

去除模块，用于去除非刻度信息的文本框；

连接模块，用于将具有刻度信息的文本框的重心依次连接得到刻度框；

校正模块，用于根据所述表盘偏转角度信息对所述刻度框的角度进行校正；

确定模块，用于根据所述指针偏转角度信息确定待测仪器仪表指针的方向；

第三检测模块，用于检测指针检测框中的指针所在线段；

计算模块，用于获取所述刻度框与指针所在线段往指针方向的延长线的交点，根据所述交点位置计算得到仪器仪表的读数。

作为具体实施方式，还包括：扩增模块，用于对所述目标检测数据集进行数据扩增，得到扩增后的目标检测数据集；

对所述目标检测数据集进行数据扩增，具体包括：

针对仪器仪表图片集中的图片，生成不同光照条件下的图片；

将仪器仪表图片集中的图片中的指针进行任意角度旋转，得到若干指针旋转后的图片；

所述训练模块具体用于将所述扩增后的目标检测数据集输入目标检测网络进行训练。

作为具体实施方式，所述建立目标检测网络，具体包括：

通过CSPDarknet53对目标检测数据集中的图像进行特征提取；

通过SPP模块配合FPN和PAN结构对提取的图像特征进行融合；

采用CIOU Loss作为损失函数对融合结果进行反向传播调整训练的超参数。

作为具体实施方式，还包括：

采集模块，用于采集待测仪器仪表的视频数据流；

解码模块，用于将所述视频数据流解码成图片；

评估模块，用于评估所述图片的PSNR值，若PSNR值大于设定阈值，则判断为可以进行检测的图片；若PSNR值不大于设定阈值，则判断为不可以进行检测的图片，再评估其下一帧图片的PSNR值，直至PSNR值大于预设阈值，方可进行检测。

对于实施例二的具体实现过程，在实施例一的方法中已有详细说明，故此处不再赘述。

实施例三

请参考图1至图9，本发明实施例提供了一种基于图像检测技术的仪器仪表读数方法，利用深度学习图像处理方式对室内室外场景的指针型仪器仪表进行智能读数，首先获取仪器仪表的录像视频的图像信息，对图像进行表盘和指针检测工作，然后利用OCR对表盘中的文本数字进行检测并识别，接着利用先验知识对表盘中的非刻度信息进行删除工作完成刻度检测框的提取以及刻度识别工作，最后完成表盘角度的校正以及指针指向的读数读取工作，至此完成整个仪器仪表读数的全流程操作，该方法包括以下步骤：

步骤一：从摄像头获取待检测图像，对图像中表盘和指针进行目标检测工作；

步骤二：利用OCR文本识别对表盘区域进行文字区域检测和文本识别工作；

步骤三：利用先验知识对于步骤二中非刻度标签进行删除，得到仪表刻度值以及其对应的位置框；

步骤四：利用步骤一得到的检测框的偏转角度信息对表盘位置进行校正工作，利用指针的偏转角度信息确定指针的方向，利用LSD算法确定指针所在的线段并进行延长处理，然后利用步骤三刻度框的信息和指针直线得到两者交点，根据交点信息进行线性计算得到仪器仪表的读数信息。

步骤一中，首先从工厂中获取检测镜头中获取待测视频流，然后利用FFmpeg工具将视频流转换成待测图像，利用目标检测算法对带测图像进行表盘和指针的检测工作，具体实现步骤如下：

步骤101，首先建立指针和表盘的目标检测数据集，通过工厂监控视频以及互联网中获取仪器仪表图片，利用标记工具对这些图片中的表盘部分和指针部分进行标记，标记格式采用改进的VOC格式，在标准VOC格式的基础上，在bndbox中加入偏转角度信息，标签信息请参考图2，其中表盘的偏转角度信息主要是用于校正表盘角度，视平视表盘时偏移角度为0，指针角度主要用于判断指针的方向，因此对其准确性要求不严格。完成标记后将上述图片构建表盘和指针的目标检测自建VOC数据集；

步骤102，对步骤101生成的自建数据集进行数据扩增，首先对于摄像机采集的图像来说，由于检测环境的光照条件不同，需要对不同光照条件的图像均得到充分的训练，因此采用cycleGAN的生成的方式，生成不同光照条件下的图片，请参考图3，对于指针图片来说，对于指针图片来说，由于指针的旋转角度需要考虑多种类型，但是对于某些工业仪表中指针位置较为固定，无法准确的获取全部的角度的数据，可能造成训练模型泛化能力较差，因此对指针角度进行任意角度旋转，然后再利用自适应添加黑边来处理从而使得指针指向更多角度，请参考图4，至此得到扩增后的检测数据集；

步骤103，用步骤102生成的数据集开始训练工作，首选选取特征提取的网络作为训练的backbone，该网络选取的是Darknet53的基础上加入CSP模块构造完成的CSPDarknet53网络，请参考图5(a)，由5个CSP模块组成，训练的输入图像大小为608*608*3(长*宽*通道)，特征图经过5个CSP模块后，输出长宽大小为608*608到304*304到152*152到76*76到38*38到19*19，因此经过5个CSP模块后，输出大小为19*19的特征图，可以看出backbone采用Mish函数进行激活，通过实验得出Mish激活函数在图像分类的准确率上优于其他的激活函数，由于表盘和指针的训练集相似性较多，因此通过采用Dropout模块，随机减少神经元的数量，使网络变得更加简单，从而缓解训练过拟合的可能性；

步骤104，由步骤103生成了19*19的特征图，利用SPP模块，使用k＝{1*1，5*5，9*9，13*13}的最大池化向量，采用concat操作对这些不同尺度的特征图进行操作连接，然后采用FPN自顶向下的方式，将高层信息通过上采样的方式对特征信息进行传递然后进行融合，而PAN则是通过PANet在图像分割领域的理论，在FPN层后加入一些列自底向上的特征金字塔，通过下采样的方式传递特征信息并完成特征融合，采用FPN+PAN的方式来完成特征融合工作，既可以保证网络可以提取强语义特征，又可以通过金字塔模型从底向上传达强定位特征。通过SPP模块分离融合不同尺度特征，再利用FPN+PAN网络对特征进行融合，可以实现多维度，多层次融合的对特征信息进行处理；

步骤105，得到特征后，需要确定采用分类损失函数和回归损失函数两种，本方案中分类损失函数采用的是交叉熵损失函数，回归损失函数采用了CIOU_loss函数作为回归损失函数回归检测框，CIOU_loss函数是在Smooth L1 Loss，IoU Loss，GIoU Loss，DIoULoss的基础上发展而来的，主要克服了传统回归损失函数没有针对重叠区域面积，重叠区域中心点距离，长宽比失调等问题进行处理的问题，CIOU_loss通过加入超参数对上述问题进行处理，从而克服了上述问题的影响，实现形式的数学表达式如式1所示。至此，整个目标检测的训练数据搜集完毕，训练网络搭建完成，采用64张图片作为一个batch来进行训练，通过120个epoch循环训练，最终得到仪器仪表的表盘指针检测模型；

其中v是长宽比惩罚超参数，其定义为式2：

步骤106，利用步骤105训练生成的模型，通过工厂摄像头采集待测仪表的视频，利用FFmpeg工具，对待测仪表的视频流解码成图片，然后对这些图片先进行图像质量评估，选取标准的模板图片作为质量良好的参考图片，通过计算PSNR值与预设阈值，例如30，进行比较，该预设阈值为所述参考图片的PSNR值，当PSNR超过30时判断为可以进行预测的图片，若没能达到此值则为采用下一帧的结果，直至PSNR值超过30，方可进行检测，图片采集完毕后，利用步骤105得到的模型进行目标检测预测，得到仪器仪表的表盘和指针的检测结果，结果请参考图6。

上述方案的步骤二中，在得到表盘检测检测结果后，本步骤利用此结果作为OCR的输入，利用Craft检测算法对仪表表盘进行文本检测，利用CRNN算法对检测的文本框进行识别工作，得到表盘的文本信息。步骤二的具体实现步骤如下：

步骤201，步骤101中仪表的表盘检测框取出作为Craft文本检测的输入，Craft是利用分割的手段来对文本进行检测的，其网络结构为UNet的形式，其中采用VGG-16作为基础的特征提取网络，输入为H*W*3的输入，利用特征提取网络提取特征，然后利用Unet的形式进行特征融合，采用的是自顶向下的特征融合方式，通过两个3*3*32，一个3*3*16，一个1*1*16的卷积层将上采样后的结果输出，得到两个结果，分别是字符中心位置的概率值和字符之间的间隙的概率，通过这两个信息，可以通过使用CCL(Connected ComponentLabeling，连接区域标记)进行区域连接，然后再利用最小外接矩形的方式得到文本检测框的结果，检测结果请参考图7，矩形框为文本检测区域，其中对过小文本框采用面积阈值做了过滤处理；

步骤202，步骤201可以得到文本框的检测结果，采用此结果作为CRNN文本识别的输入，对其进行文本识别的工作，其中CRNN由CNN和双向LSTM，以及CTC组成，其中Cnn部分为一个7层卷积网络，其中包括4个max-pooling层，2个BatchNormalization层，其输入为一个单通道的高度为32，长度不限的图像，即w*32*1的图像，经过CNN网络后，其特征输出为(w/4)*1*512，将此特征作为输入，利用双向LSTM网络继续对其进行操作，提取文字的序列特征，双向LSTM主要可以解决RNN出现的梯度爆炸等问题同时可以融合前后单元进行特征提取，完成序列预测后将其结果输入到CTC翻译层中，利用常用的中文汉字，英文字母，数字作为翻译字典，翻译成最终的文本识别结果。

上述方案的步骤三中，利用先验知识对文本内容中非刻度值的内容进行过滤筛除，步骤三的具体实现步骤如下：

步骤301，由步骤二中可以得到带有文本识别的表盘中的文本框信息和文本识别的内容信息，由于其中只有坐标值信息对于识别是有用的，因此对每种仪器进行先验知识提取，为每种仪表配置其相应的坐标信息，例如仪表A的标签信息为油位表，其仪表的刻度信息为0到10，请参考图8，根据不同的仪表配置不同的信息，作为非仪表刻度冗余信息过滤的标准，利用202中的识别结果进行比对，采用的gensim相似度对比方法，根据相似度对比结果，选取相应刻度信息值，完成是过滤操作。然后将刻度信息中刻度框的重心进行连接形成一个识别框，请参考图8。

上述方案的步骤四中，利用步骤一得到的检测框的偏转角度信息对表盘位置进行校正工作，利用指针的偏转角度信息确定指针的方向，利用LSD算法确定指针所在的直线，根据与刻度连接直线交点位置信息进行读数，步骤四的具体实现步骤如下：

步骤401，在步骤106中得到了带有偏转角度信息的表盘和指针，利用预测得到的偏转角度信息对表盘位置进行校正，主要是针对俯视仰视的情况将其校正为平视情况，由于后期读数时会根据刻度值进行读数，因此校正不需要太过精确，作为辅助作用，同时由于指针检测的时候，有偏转角度信息的输出，根据此偏转角度信息，用于确定指针的方向；

步骤402，在步骤106中得到指针的检测框，利用LSD算法在指针检测框中进行直线检测，LSD首先计算指针检测框中每个像素与level-line的夹角，用以构建一个level-line场，然后合并这个level-line场里方向相近的像素值，作为一个直线段的候选，然后根据候选直线段中最小外接矩形内的所有像素数和alinedg points数来判断该直线段是否为指针所在直线段；

步骤403，在步骤402中得到指针所在直线段以及步骤401中得到指针方向，根据指针方向对指针直线段进行延长处理，指针延长线和步骤301中得到的刻度值中心框连接线会有一个交点，根据交点位置与相邻两个刻度值中心点位置，通过线性计算得到指针所指向的仪表读数值，结果请参考图9。

综上四个步骤，便可以通过摄像头拍摄的视频图像信息来自动获取指针型仪表的读数值，此种方案解决了工厂条件下仪器仪表实时监控，实时读数的问题，并且通过增加不同种类的表盘和指针样本可以有效地提升检测模型的泛化能力，同时本方案，不受拍摄角度，拍摄光线等方面的影响，做到了检测精度高的同时可以单个摄像头拍摄多个仪器仪表的功能，另外，本算法解决了人为进行仪器仪表读数的不可控性，以及某些危险场景下行人无法进入的区域进行仪表读数的困难。同时本方案采用的深度学习方案配合传统算法进行检测，算法的模型具有可更新的特性，相较于传统的模板匹配算法具有更好的适应能力，同时仪器仪表的智能读数对于工厂中仪器的工作效能，是否有安全隐患也可以做到实时的监控统计，对于后期智慧工厂的建设也具有深远的价值。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于图像检测技术的仪器仪表读数方法，其特征在于，包括：

获取仪器仪表图片集；

对所述图片集中图片的表盘和指针进行标记，得到目标检测数据集，标记信息包括表盘的偏转角度信息和指针的偏转角度信息；

建立目标检测网络，将所述目标检测数据集输入目标检测网络进行训练，得到具有表盘偏转角度信息和指针偏转角度信息的表盘指针检测模型；其中，所述建立目标检测网络，具体包括：通过CSPDarknet53对目标检测数据集中的图像进行特征提取；通过SPP模块配合FPN和PAN结构对提取的图像特征进行融合；采用CIOU Loss作为损失函数对融合结果进行反向传播调整训练的超参数；

通过所述表盘指针检测模型对待测仪器仪表图片中的表盘和指针进行检测，得到具有表盘偏转角度信息的表盘检测框和具有指针偏转角度信息的指针检测框；

检测所述表盘检测框中的文本框，识别所述文本框中的文字信息，去除非刻度信息的文本框；

将具有刻度信息的文本框的重心依次连接得到刻度框；

根据所述表盘偏转角度信息对所述刻度框的角度进行校正；

根据所述指针偏转角度信息确定待测仪器仪表指针的方向；

检测指针检测框中的指针所在线段；

获取所述刻度框与指针所在线段往指针方向的延长线的交点，根据所述交点位置计算得到仪器仪表的读数。

2.根据权利要求1所述的基于图像检测技术的仪器仪表读数方法，其特征在于，所述得到目标检测数据集之后，还包括：

对所述目标检测数据集进行数据扩增，得到扩增后的目标检测数据集；

对所述目标检测数据集进行数据扩增，具体包括：

针对仪器仪表图片集中的图片，生成不同光照条件下的图片；

将仪器仪表图片集中的图片中的指针进行任意角度旋转，得到若干指针旋转后的图片；

将所述目标检测数据集输入目标检测网络进行训练，具体包括：

将所述扩增后的目标检测数据集输入目标检测网络进行训练。

3.根据权利要求1所述的基于图像检测技术的仪器仪表读数方法，其特征在于，通过所述表盘指针检测模型对待测仪器仪表图片中的表盘和指针进行检测之前，还包括：

采集待测仪器仪表的视频数据流；

将所述视频数据流解码成图片；

评估所述图片的PSNR值，若PSNR值大于设定阈值，则判断为可以进行检测的图片；若PSNR值不大于设定阈值，则判断为不可以进行检测的图片，再评估其下一帧图片的PSNR值，直至PSNR值大于预设阈值，方可进行检测。

4.一种基于图像检测技术的仪器仪表读数系统，其特征在于，包括：

获取模块，用于获取仪器仪表图片集；

标记模块，用于对所述图片集中图片的表盘和指针进行标记，得到目标检测数据集，标记信息包括表盘的偏转角度信息和指针的偏转角度信息；

训练模块，用于建立目标检测网络，将所述目标检测数据集输入目标检测网络进行训练，得到具有表盘偏转角度信息和指针偏转角度信息的表盘指针检测模型，其中，所述建立目标检测网络，具体包括：通过CSPDarknet53对目标检测数据集中的图像进行特征提取；通过SPP模块配合FPN和PAN结构对提取的图像特征进行融合；采用CIOU Loss作为损失函数对融合结果进行反向传播调整训练的超参数；

第一检测模块，用于通过所述表盘指针检测模型对待测仪器仪表图片中的表盘和指针进行检测，得到具有表盘偏转角度信息的表盘检测框和具有指针偏转角度信息的指针检测框；

第二检测模块，用于检测所述表盘检测框中的文本框；

识别模块，用于识别所述文本框中的文字信息；

去除模块，用于去除非刻度信息的文本框；

连接模块，用于将具有刻度信息的文本框的重心依次连接得到刻度框；

校正模块，用于根据所述表盘偏转角度信息对所述刻度框的角度进行校正；

确定模块，用于根据所述指针偏转角度信息确定待测仪器仪表指针的方向；

第三检测模块，用于检测指针检测框中的指针所在线段；

计算模块，用于获取所述刻度框与指针所在线段往指针方向的延长线的交点，根据所述交点位置计算得到仪器仪表的读数。

5.根据权利要求4所述的基于图像检测技术的仪器仪表读数系统，其特征在于，还包括：扩增模块，用于对所述目标检测数据集进行数据扩增，得到扩增后的目标检测数据集；

对所述目标检测数据集进行数据扩增，具体包括：

针对仪器仪表图片集中的图片，生成不同光照条件下的图片；

将仪器仪表图片集中的图片中的指针进行任意角度旋转，得到若干指针旋转后的图片；

所述训练模块具体用于将所述扩增后的目标检测数据集输入目标检测网络进行训练。

6.根据权利要求4所述的基于图像检测技术的仪器仪表读数系统，其特征在于，还包括：

采集模块，用于采集待测仪器仪表的视频数据流；

解码模块，用于将所述视频数据流解码成图片；

评估模块，用于评估所述图片的PSNR值，若PSNR值大于设定阈值，则判断为可以进行检测的图片；若PSNR值不大于设定阈值，则判断为不可以进行检测的图片，再评估其下一帧图片的PSNR值，直至PSNR值大于预设阈值，方可进行检测。