[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112115895B - 指针型仪表读数识别方法、装置、计算机设备及存储介质 - Google Patents

指针型仪表读数识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112115895B
CN112115895B CN202011016567.XA CN202011016567A CN112115895B CN 112115895 B CN112115895 B CN 112115895B CN 202011016567 A CN202011016567 A CN 202011016567A CN 112115895 B CN112115895 B CN 112115895B
Authority
CN
China
Prior art keywords
pointer
scale
image
full
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011016567.XA
Other languages
English (en)
Other versions
CN112115895A (zh
Inventor
胡懋成
王秋阳
何金龙
彭超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sunwin Intelligent Co Ltd
Original Assignee
Shenzhen Sunwin Intelligent Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sunwin Intelligent Co Ltd filed Critical Shenzhen Sunwin Intelligent Co Ltd
Priority to CN202011016567.XA priority Critical patent/CN112115895B/zh
Publication of CN112115895A publication Critical patent/CN112115895A/zh
Application granted granted Critical
Publication of CN112115895B publication Critical patent/CN112115895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及指针型仪表读数识别方法、装置、计算机设备及存储介质，该方法包括获取仪表盘的图像；输入至目标检测模型内进行目标检测；裁剪初始图像；输入实例分割模型内进行实例分割；确定满量程刻度图像以及指针区域图像；分别至消除模型内进行阴影及反光的消除，以得到满量程刻度修复图像以及指针区域修复图像；分别输入至目标角度识别网络模型内进行识别；将满量程刻度修复图像输入至刻度识别模型内进行刻度位置识别，以得到刻度数字信息；计算指针刻度读数；反馈至终端。本发明实现无需任何模板即可对不同大小形状的指针进行指针角度识别，能精准稳定地识别出不同倾角的仪表指针角度，适用于不同大小的表盘、单多指针以及不同指针的读数识别。

Description

指针型仪表读数识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及仪表读数识别方法，更具体地说是指针型仪表读数识别方法、装置、计算机设备及存储介质。
背景技术
指针仪表是一种在电力行业中普遍被使用的仪器，然而，鉴于电力行业通常会有电磁辐射，高温等环节的影响，人工巡检面临着不少的挑战，同时，为了提高工作流程的自动化和智能化的水平，提高整体电网的工作效率，一种先进的自动化指针仪表识别方案是非常有意义的。
指针仪表读数的识别依赖于仪表盘指针角度识别，并由识别的结果确定读数。传统仪表盘指针角度识别需要基于正面仪表模版进行模式识别，这严重依赖于模板采集与构建，对于不同大小，不同形状的表盘都需要构建模板，难度大，不易实现。同时在部署操作的过程中，对于仪表的更换，仍然需要重新采集新的仪表模板，导致操作复杂，提高了人工参与度；另外，识别效果容易受到不同角度不同程度光照造成的反光影响，同时指针及表盘阴影造成的噪音也会使得识别结果的精度大打折扣；虽然传统指针角度识别方法针对小角度倾斜表盘的仪表有较好的识别效果，但是对于一些仪表表盘倾角较大的仪表识别结果误差较大，无法给出准确的结果，且仅仅能够对一张图片的单一表盘或单指针角度进行识别；对于细指针的仪表识别效果较差；仅仅能识别出指针角度，无法预测出指针具体刻度。
因此，有必要设计一种新的方法，实现无需任何模板即可对不同大小形状的指针进行指针角度识别，并且可同时对图片上的阴影、反光进行消除操作，能精准稳定地识别出在不同表盘倾角下的仪表指针角度，适用于不同大小的表盘、单多指针以及不同指针的读数识别。
发明内容
本发明的目的在于克服现有技术的缺陷，提供指针型仪表读数识别方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：指针型仪表读数识别方法，包括：
获取仪表盘的图像，以得到初始图像；
将所述初始图像输入至目标检测模型内进行目标检测，以得到目标检测结果；
根据所述目标检测结果裁剪所述初始图像，以得到仪表图像；
将所述仪表图像输入实例分割模型内进行实例分割，以得到满量程刻度分割结果以及指针区域分割结果；
根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像；
将满量程刻度图像以及指针区域图像分别输入至消除模型内进行阴影以及反光的消除，以得到满量程刻度修复图像以及指针区域修复图像；
将指针区域修复图像以及满量程刻度修复图像分别输入至目标角度识别网络模型内进行识别，以得到指针指向对应的弧度以及满量程刻度对应的角度；
将所述满量程刻度修复图像输入至刻度识别模型内进行刻度位置识别，以得到刻度数字信息；
根据指针指向对应的弧度、满量程刻度对应的角度以及刻度数字信息计算指针刻度读数，以得到读数结果；
反馈所述读数结果至终端，以在终端显示所述读数结果。
其进一步技术方案为：所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练Efficient-Det3网络所得的；
所述实例分割模型是通过若干个带有刻度区域的掩膜、指针区域掩膜、指针掩膜类别标签的图片作为样本集训练Center-Net模型所得的；
所述消除模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的；
所述目标角度识别网络模型是通过若干个带有弧度标签以及指针区域掩膜的图片、若干个带有满量程刻度对应的角度标签以及满量程刻度掩膜的图片作为样本集训练OARN模型所得的；
所述刻度识别模型是通过若干个带有刻度数值坐标信息标签的图像作为样本集训练FOTS模型所得的。
其进一步技术方案为：所述将初始图像输入至目标检测模型内进行识别，以得到目标检测结果，包括：
对初始图像进行等比例缩放，以得到待识别图像；
将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
其进一步技术方案为：所述根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像，包括：
将指针区域分割结果内的每个指针掩膜与满量程刻度分割结果内的刻度掩膜进行相加，以得到指针前景图片，并将白底图作为背景图片，整合指针前景图片以及背景图片，以得到指针区域图像；
将所述满量程刻度分割结果作为刻度前景图片，白底图作为背景图片，合并刻度前景图片以及背景图片，以得到满量程刻度图像。
其进一步技术方案为：所述根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像之后，还包括：
根据指针区域分割结果确定每个指针信息；
所述根据指针区域分割结果确定每个指针信息，包括：
将指针区域分割结果每个指针掩膜进行DBscan颜色聚类，并选取聚类形成的最大簇的簇内像素平均值，以得到每个指针代表色；
计算指针区域分割结果内每个指针掩膜像素点个数，以得到每个指针大小；
整合每个指针代表色以及每个指针大小，以得到每个指针信息。
其进一步技术方案为：所述PAIRWISE-GAN网络包括生成网络以及判别网络，所述生成网络包括两条U-Net网络。
其进一步技术方案为：所述根据指针指向对应的弧度、满量程刻度对应的角度以及刻度数字信息计算指针刻度读数，以得到读数结果，包括：
获取刻度数字信息中最大数字以及最小数字，以得到最大刻度以及最小刻度；
采用 计算指针刻度读数，以得到读数结果，其中，graduationpointer为读数结果，anglepointer为指针指向对应的弧度，scaleangle为满量程刻度对应的角度，graduationmax为最大刻度，graduationmin为最小刻度。
本发明还提供了指针型仪表读数识别装置，包括：
初始图像获取单元，用于获取仪表盘的图像，以得到初始图像；
目标检测单元，用于将所述初始图像输入至目标检测模型内进行目标检测，以得到目标检测结果；
裁剪单元，用于根据所述目标检测结果裁剪所述初始图像，以得到仪表图像；
分割单元，用于将所述仪表图像输入实例分割模型内进行实例分割，以得到满量程刻度分割结果以及指针区域分割结果；
图像确定单元，用于根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像；
消除单元，用于将满量程刻度图像以及指针区域图像分别输入至消除模型内进行阴影以及反光的消除，以得到满量程刻度修复图像以及指针区域修复图像；
角度识别单元，用于将指针区域修复图像以及满量程刻度修复图像分别输入至目标角度识别网络模型内进行识别，以得到指针指向对应的弧度以及满量程刻度对应的角度；
刻度位置识别单元，用于将所述满量程刻度修复图像输入至刻度识别模型内进行刻度位置识别，以得到刻度数字信息；
读数计算单元，用于根据指针指向对应的弧度、满量程刻度对应的角度以及刻度数字信息计算指针刻度读数，以得到读数结果；
反馈单元，用于反馈所述读数结果至终端，以在终端显示所述读数结果。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过对初始图像进行目标检测，获取仅具备仪表的图像，对多种不同仪表的指针角度进行实时监控，对得到的图像进行实例分割后经过消除模型进行反光和阴影的同时消除，提升整个识别的进度，消除后采用模型进行角度识别，无需任何模板即可对不同大小形状的指针进行指针角度识别，再识别出每个刻度的数字信息后，计算得到仪表指针的读数，实现无需任何模板即可对不同大小形状的指针进行指针角度识别，并且可同时对图片上的阴影、反光进行消除操作，能精准稳定地识别出在不同表盘倾角下的仪表指针角度，适用于不同大小的表盘、单多指针以及不同指针的读数识别。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的指针型仪表读数识别方法的应用场景示意图；
图2为本发明实施例提供的指针型仪表读数识别方法的流程示意图；
图3为本发明另一实施例提供的指针型仪表读数识别方法的流程示意图；
图4为本发明实施例提供的指针型仪表读数识别装置的示意性框图；
图5为本发明另一实施例提供的指针型仪表读数识别装置的示意性框图；
图6为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的指针型仪表读数识别方法的应用场景示意图。图2为本发明实施例提供的指针型仪表读数识别方法的示意性流程图。该指针型仪表读数识别方法应用于服务器中。该服务器与终端以及巡检机器人进行数据交互，其中，巡检机器人上带有云台摄像头，通过巡检机器人根据已设定的位置利用其云台摄像头对目标进行图片采样，再由服务器进行目标检测、角度识别以及位置识别等过程，识别出仪表读数，并反馈至终端。
图2是本发明实施例提供的指针型仪表读数识别方法的流程示意图。如图2所示，该方法包括以下步骤S110至S200。
S110、获取仪表盘的图像，以得到初始图像。
在本实施例中，初始图像是指带有指针仪表的图像。
巡检机器人会根据已设定的位置利于其云台对仪表盘进行图片采样。
S120、将所述初始图像输入至目标检测模型内进行目标检测，以得到目标检测结果。
在本实施例中，目标检测结果是指仪表所在的坐标信息以及对应的置信度、指针仪表的种类；仪表所在的坐标信息可构成预测框。
具体地，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练Efficient-Det3网络所得的。基于Efficient-Det可对多种不同仪表的指针角度进行实时监控。
在一实施例中，上述的步骤S120可包括步骤S121～S122。
S121、对初始图像进行等比例缩放，以得到待识别图像；
在本实施例中，待识别图像是指初始图像的大小缩放至1024与512像素内的图像。
S122、将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
基于RGV机器人云台摄像头对配电房机柜进行图片采集。将收集的图片进行等比例缩放，缩放的过程中设定缩放因子即长短边分别为1024与512像素，先将长边缩放在1024像素以内，短边等比例缩放，如果缩放后短边超过512像素则将短边缩放至512像素，长边自适应等比例调整。此图片缩放策略可加快模型损失函数的收敛，加快模型训练效率。将缩放后的图片通过Efficient-Det3网络检测网络进行指针仪表位置的识别。
将缩放后的图片通过Efficient-Det3网络检测网络进行指针仪表位置的识别。Efficient-D3由三个子网络结构构成，分别是EfficientNet-B3，双向特征金字塔，以及卷机预测端构成。Efficient-Net能够兼顾精选的网络宽度，深度，以及输入图片大小组合进行图片不同维度特征提取。而双向特征金字塔则能更好的将不同纬度上的图片特征进行各种组合得到丰富的特征信息。最后卷机预测端利用这些丰富的特征信息进行多任务预测，分别预测出目标的种类以及目标的坐标位置。
采样后的图片通过目标检测模型可以预测出各种仪器仪表的种类、目标框坐标位置以及其对应的置信度σconfidence_score。需要强调的是这里采用选择置信度σconfidence_score＞0.8的目标框作为最终的预测框。
将若干个带有仪表坐标及类别标签的图像按比例8:1:1，切分成训练集、验证集、测试集。训练的时候为了平衡数据，每个目标种类选取相同的目标数，同时对图片也做对应的增广，归一化操作。对不同仪表盘目标检测得出预测结果，通过mAP(平均精度均值，MeanAverage Precision)指标进行评估。
获取到目标检测结果后，会进入到预测结果自检流程。此过程专门是针对预测结果进行校验以及纠正过程，判断目标检测结果的预测指针仪表数量是否等于机柜指针仪表个数；若目标检测结果的预测指针仪表数量不等于符合机柜指针仪表个数，则微调采样位置，重新获取初始图像；若目标检测结果的预测指针仪表数量等于机柜指针仪表个数，则判断所述目标检测结果所形成的检测框占据初始图像比例是否在设定的面积占比阈值范围内；若所形成的检测框占据初始图像比例不在设定的面积占比阈值范围内，则微调采样位置，重新获取初始图像；若所述目标检测结果所形成的检测框占据初始图像比例在设定的面积占比阈值范围内，则判断所述目标检测结果所形成的检测框的宽高比例是否在所设定的宽高比例阈值范围内；若所述目标检测结果所形成的检测框的宽高比例不在所设定的宽高比例阈值范围内，则微调采样位置，重新获取初始图像；若所述目标检测结果所形成的检测框的宽高比例在所设定的宽高比例阈值范围内，则判断所述目标检测结果所形成的检测框是否无重叠；若所述目标检测结果所形成的检测框无重叠，则所述目标检测结果为已校验信息；若所述目标检测结果所形成的检测框有重叠，则微调采样位置，重新获取初始图像。
在本实施例中，已校验信息是指已经通过校验的仪表所在位置的坐标信息。
通过目标检测模型可以筛选出指针仪表的预测框，之后结果会进入到自检流程。此过程专门是针对预测结果进行校验以及纠正过程，自检阶段从以下三个方面进行评估：预测指针仪表数量是否符合机柜指针仪表个数；预测指针仪表检测框大小占原图大小比例是否符合高于5％的阈值；预测指针仪表检测框宽高比例ratio是否符合ratiomin＜ratio＜ratiomax这里设定ratiomin＝0.5，ratiomax＝2；预测指针仪表检测框是符合无重叠情况发生。此处所提及的预测指针仪表检测框是指上述的预测框；如果上述条件有一项不符合条件，此时会向巡检机器人发出警告，对其目标进行重采样流程。之后将此指针仪表预测框坐标位置在原图上进行指针仪表裁减，可得出高清指针仪表图片，方便对后期指针识别减少信息损失。
如果上述条件有一项不符合条件，此时会向巡检机器人发出警告，对其目标进行再次采样。之后将此坐标位置在原图上进行指针仪表裁剪，可得出高清的仪表图片。
S130、根据所述目标检测结果裁剪所述初始图像，以得到仪表图像。
在本实施例中，仪表图像是指仅包括仪表区域的图片。
S140、将所述仪表图像输入实例分割模型内进行实例分割，以得到满量程刻度分割结果以及指针区域分割结果。
在本实施例中，满量程刻度分割结果是指不同刻度区域对应的掩膜，指针区域分割结果是指不同指针对应的掩膜。
具体地，所述实例分割模型是通过若干个带有刻度区域的掩膜、指针区域掩膜、指针掩膜类别标签的图片作为样本集训练Center-Net模型所得的；基于Center-Net对指针表盘进行精准的语义分割并结合刻度区域能准确识别出指针角度。
将若干个带有刻度区域的掩膜、指针区域掩膜、指针区域类别标签的图片按比例8:1:1，切分成训练集、验证集、测试集。对图片也做对应的增广，归一化操作。
基于实例分割网络的实例分割模型进行指针区域和刻度区域的分割获取，可对于指针进行精准识别。
这里分割的类别有两种分别是每个指针区域掩膜以及刻度区域掩膜。识别出结果将进入质检环节，检测环节将通过以下几个步骤去判别检测是否合格：
判断表盘对应的指针数量与识别的指针数量是否一致；
判断表盘刻度区域掩膜是否有检测出；
判断表盘刻度区域掩膜的面积与表盘面的占比是否大于阈值δmin，
如果上述条件有不满足的话，会向巡检机器人发出警告，调整采样位置，对其目标进行再次采样。
S150、根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像。
在本实施例中，满量程刻度图像是指将所述满量程刻度分割结果作为刻度前景图片且白底图作为背景图片的图像；指针区域图像是指将指针区域分割结果内的每个指针掩膜与满量程刻度分割结果内的每个刻度掩膜进行相加以形成前景图且白底图作为背景图片的图像。
在一实施例中，上述的步骤S150可包括步骤S151～S152。
S151、将指针区域分割结果内的每个指针掩膜与满量程刻度分割结果内的刻度掩膜进行相加，以得到指针前景图片，并将白底图作为背景图片，整合指针前景图片以及背景图片，以得到指针区域图像；
S152、将所述满量程刻度分割结果作为刻度前景图片，白底图作为背景图片，合并刻度前景图片以及背景图片，以得到满量程刻度图像。
在识别指针角度以及满量程角度减少额外表盘形状，表盘附加信息等额外噪音的干扰，需要对输入图片做预处理操作。处理步骤如下：
在构造指针角度识别的输入中将每一个指针掩膜分别与每一个满量程刻度掩膜进行相加作为前景图，将空白图作为背景信息，得到不同指针对应的掩膜信息图，此输入称为maskpointer；
在构造满量程角度识别的输入中将满量程刻度掩膜作为前景图，空白图作为背景信息，此输入称为maskscale。
S160、将满量程刻度图像以及指针区域图像分别输入至消除模型内进行阴影以及反光的消除，以得到满量程刻度修复图像以及指针区域修复图像。
在本实施例中，满量程刻度修复图像是指消除阴影及反光的满量程刻度图像；指针区域修复图像是指消除阴影及反光的指针区域图像。
所述消除模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的；PAIRWISE-GAN网络，可同时对图片产生的阴影、反光进行消除操作，对后续识别减少了额外噪音干扰。
在训练该消除模型时，先获取含有阴影图片、反光图片以及原图，也就是首先采集不同指针仪表的图片，对于每一个指针仪表通过不同程度角度的光照得到含有强阴影弱反光的指针仪表图片imageshadow，在通过强光对指针不同位置进行照射，对其指针仪表进行采集得到强反光弱阴影图片imagereflection；再对采集到的的图片进行增广操作，这里增广操作包含随机裁减、随机旋转、高斯模糊、颜色抖动。为了在训练的时候减少模型对颜色这一特征过拟合，在输入阶段增广操作增加了单通道图片输入，这样可以让模型也能更好拟合出本体与阴影的形状联系，最后这些增广图片通过图片归一化作为模型输入，在训练模型的时候输入样本中通过融入了单通道图片的信息，更好的拟合出本体与其阴影形状关系；接着构建PAIRWISE-GAN网络，具体地，所述PAIRWISE-GAN网络包括生成网络以及判别网络，所述生成网络包括两条U-Net网络，在生成网络中含有两条U-Net网络，第一条U-Net网络是由增广后的含有阴影的图片imageshadow和原图进行合并作为第一条支路；第二条U-Net网络是增广后的反光图片imagereflection和原图合并作为另一条支路，最后将双支路特征合并在通过U-Net++网络框架生成消除阴影和光照的图片。在判别网络中将增广后的含有阴影的图片与增广后的反光图片进行合并得到图片imagedemaged，再分别将生成网络生成的消除阴影和光照的图片以及原图分别与图片imagedemaged进行合并操作，得到图片inputfake和inputreal，并将两者合并结果经过判别网络得到patchGAN的1(real)或0(fake)结果；最后再对构建的PAIRWISE-GAN网络进行训练，对样本集进行切分，并将训练过程中的学习率初始值设置为0.0001，一阶衰减率设置为0.5，采用梯度下降方式对PAIRWISE-GAN网络进行训练，以得到消除模型。具体地，将每一个指针仪表图片采集的含有阴影图片imageshadow，反光图片imagereflection以及原图作为输入图片的三元匹配对。将匹配对按照训练集，验证集以及测试集按照8:1:1的比例进行切分。学习率初始值设置为0.0001，一阶衰减率为0.5，训练的过程中使用Adam优化器进行梯度下降从而来进行模型训练。将原图作为生成模型的三个输入，在生成器中一个分支专门提取阴影特征，另一个分支专门提取反光特征，最终通过UNet++网络框架生成消除阴影和光照的指针与刻度掩膜图片。
UNet++模型主要是基于encoder-decoder结合skip-connetion的思想即通过下采样和上采样与skip-connection相结合的方式实现语义分割，Unet++模型则是增加长连接及短连接的方式可以整合不同层次的特征获得更多特征信息实现更好的语义分割任务。
在判别网络使用了两种子判别网络作为判别器。第一种判别器的输入分别由生成器生成的掩膜图片与仪表图作为生成输入，第二种是由真实的掩膜图片与仪表图作为真实输入分别输入到判别网络，来训练判别网络。
在训练过程中，对于损失函数的设定，这里损失函数生成的损失值loss计算分为生成损失值lossgenerator以及判别损失值lossdiscriminator。
对于生成损失值lossgenerator分成对抗损失值和像素损失值。对于对抗损失值则将判别网络对消除阴影和光照的图片的判别结果与真实标签求patchGAN的均方误差得到lossAdversarial；对于像素损失值通过原图与消除阴影和光照的图片通过L1loss得到lossgenerator_pixel，最终得到模型损失函数通过将上述两种损失函数相加，即lossgenerator＝lossAdversarial+λlossgenerator_pixel。这里λ为了调整lossAdversarial和lossgenerator_pixel权重。
对于判别损失值lossdiscriminator，分别将消除阴影和光照的图片和原图通过patchGAN的方式求均方误差。分别得到图像判别损失discrimiantor_lossfake，discrimiantor_lossreal；
采用消除模型将消除阴影以及消除反光融合为一个步骤进行图片修复，且训练消除模型的过程中，收集不同光照及角度数据基于深度学习的框架进行图片修复操作，能够很好的解决阴影和反光问题，采用训练好的消除模型可以对整个图像都进行消除，不会出现漏处理的问题。
对输入图片进行阴影反光条件判别，直接将满量程刻度图像以及指针区域图像输入到生成网络。最终得出去阴影和反光的指针区域修复图像masknew_pointer以及满量程刻度修复图像masknew_scale。
S170、将指针区域修复图像以及满量程刻度修复图像分别输入至目标角度识别网络模型内进行识别，以得到指针指向对应的弧度以及满量程刻度对应的角度。
在本实施例中，指针指向对应的弧度是指指针指向在仪表盘内的弧形角度。满量程刻度对应的角度是指每个刻度对应的角度。
具体地，所述目标角度识别网络模型是通过若干个带有弧度标签以及指针区域掩膜的图片、若干个带有满量程刻度对应的角度标签以及满量程刻度掩膜的图片作为样本集训练OARN(目标角度识别网络，object angle recognition network)模型所得的。针对不同程度倾角的仪表的标注数据集并结合OARN模型能很精准稳定的识别出不同倾角的仪表指针角度。
具体地，将指针区域修复图像masknew_pointer以及满量程刻度修复图像masknew_scale调整为224×224大小的图片，输入至目标角度识别网络模型内进行识别，以得到指针指向对应的弧度以及满量程刻度对应的角度。模型经过resNeXt得到N纬特征图，将特征图与[N1]权重相乘并通过sigmoid对输出结果进行归一化，得到0-1的值。
通过设置任意2D目标角度识别网络模型称为OARN(目标角度识别网络，objectangle recognition network)。可以应用到指针角度识别中。首先将已校验的指针区域分割结果调整到224×224大小作为模型的输入。通过此模型的预测可以得到指针指向对应的弧度，并且通过弧度来计算出对应的角度。
具体地，目标角度识别网络模型将调整到224×224的图片进行数据增广，增广的方式有随机裁剪、色彩抖动、高斯噪音干扰；再将增广后的图片通过归一化操作，同时输入的图片进行shuffle作为模型输入。模型选用ResNeXt-101作为模型的backbone得到N纬特征图，将此特征图与[N 1]的权重相乘，得到单一数值μ，为了归一化函数sigmoid，得到输出的归一化后的结果ω(0＜ω＜1)；将ω乘上2得到预测的角度值。
针对此目标角度识别网络模型，利用object angle loss进行损失值loss计算，公式为：参数σ设置为0.01，为了防止梯度消失现象发生，同时α的作用是用来调节指针角度数据分布不均衡的超参。preangle与labelangle分别表示的是预测角度与标注角度，需要强调的是这里的angle使用的是弧度机制。在训练过程中因为大多指针仪表的刻度成扇形非圆形表盘，导致角度数据分布不平衡，在验证集的过程不断调整α，最终设置α为0.7在验证集效果最好。
该目标角度识别网络模型的训练过程：在构建数据集的过程中，数据对不同角度不同光照的图片作为样本。将输入数据进行切分按照8:1:1的比例进行切分，分别作为训练集，验证集以及测试集。在训练的过程中初始化学习率为0.01，分别在100、150、200epoch的时候进行学习率衰减，这里衰减的系数γ为0.1。训练的过程中使用Adam方法进行梯度下降从而进行训练模型。
使用测试集通过目标角度识别网络模型进行测试，通过得到的预测角度anglepre与真实标签角度anglelabel进行比较，这里采用多维度对模型效果进行评估，分别是dis1，dis2，dis3，这里dis＝|anglepre-anglelabel|。dis1，dis2，dis3分别表示dis1＜1度的误差，dis1＜2度的误差，dis1＜3度的误差。误差结果内设置为正确，反正则为错误。
采用目标角度识别网络模型进行指针角度识别，无需任何模板即可对不同大小形状的指针进行指针角度识别。
分别将指针区域修复图像masknew_pointer以及满量程刻度修复图像masknew_scale作为模型的输入最终预测出指针相对于起始刻度角度anglepointer以及满刻度量程对应的角度anglemask。
S180、将所述满量程刻度修复图像输入至刻度识别模型内进行刻度位置识别，以得到刻度数字信息。
在本实施例中，上述的刻度数字信息是指表盘刻度上数字的坐标信息和数值信息。
在本实施例中，所述刻度识别模型是通过若干个带有刻度数值坐标信息标签的图像作为样本集训练FOTS(基于统一网络的快速文本定位，Fast Oriented Text Spottingwith a Unified Network)模型所得的。
基于FOTS网络模型对表盘刻度数字进行OCR(光学字符识别，Optical CharacterRecognition)识别，并对识别出来的数字按照从小到大的方式进行排序，得出最小刻度graduationmin及最大刻度graduationmax。再按照从小到大的顺序计算出相邻刻度之间的刻度差，如果有任意刻度差不相等则告知工作人员通过角度对应刻度配置文件得出最终仪表读数。
OCR是指电子设备例如扫描仪或数码相机检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程，使用FOTS模型获取刻度数字的识别结果和坐标信息，使用该技术即可获取表盘刻度上数字的坐标信息和数值信息。引入了OCR技术，能精准自动识别表盘刻度数字和位置信息，结合关键点检测，实现端到端的指针角度识别。引入了OCR识别技术，使得读取指针读数不再依赖于配置文件。模型服务更具普适性。基于FOTS的识别模型结合OARN模型可准确预测出指针刻度读数。
S190、根据指针指向对应的弧度、满量程刻度对应的角度以及刻度数字信息计算指针刻度读数，以得到读数结果。
在本实施例中，读数结果是指仪表内指针的读数。结合传统机器学习算法可实现单表多指针识别。
在一实施例中，上述的步骤S190可包括步骤S191～S192。
S191、获取刻度数字信息中最大数字以及最小数字，以得到最大刻度以及最小刻度。
在本实施例中，最大刻度是指仪表盘内的最大刻度数值，最小刻度是指仪表盘内的最小刻度数值。
S192、采用 计算指针刻度读数，以得到读数结果，其中，graduationpointer为读数结果，anglepointer为指针指向对应的弧度，scaleangle为满量程刻度对应的角度，graduationmax为最大刻度，graduationmin为最小刻度。
S200、反馈所述读数结果至终端，以在终端显示所述读数结果。
在本实施例中，对于每个模型在工作中得出的结果均会进行质检，如果识别出的结果质检不合格将会通知巡检机器人的云台重新调整位置，进行二次采样过程。
上述的指针型仪表读数识别方法，通过对初始图像进行目标检测，仅获取具备仪表的图像，对多种不同仪表的指针角度进行实时监控，对得到的图像进行实例分割后经过消除模型进行反光和阴影的同时消除，提升整个识别的进度，消除后采用模型进行角度识别，无需任何模板即可对不同大小形状的指针进行指针角度识别，再识别出每个刻度的数字信息后，计算得到仪表指针的读数，实现无需任何模板即可对不同大小形状的指针进行指针角度识别，并且可同时对图片上的阴影、反光进行消除操作，能精准稳定地识别出在不同表盘倾角下的仪表指针角度，适用于不同大小的表盘、单多指针以及不同指针的读数识别。
图3是本发明另一实施例提供的一种指针型仪表读数识别方法的流程示意图。如图3所示，本实施例的指针型仪表读数识别方法包括步骤S210-S310。其中步骤S210-S250与上述实施例中的步骤S110-S150类似，步骤S270-S310与上述实施例中的步骤S160-S200类似，在此不再赘述。下面详细说明本实施例中所增加的步骤S260。
S260、根据指针区域分割结果确定每个指针信息。
在本实施例中，指针信息是指指针颜色以及指针大小。
在一实施例中，上述的步骤S260可包括步骤S261～S263。
S261、将指针区域分割结果每个指针掩膜进行DBscan颜色聚类，并选取聚类形成的最大簇的簇内像素平均值，以得到每个指针代表色。
在本实施例中，每个指针代表色是指每个指针颜色聚类后的最大簇的中心对应的颜色特征值。
S262、计算指针区域分割结果内每个指针掩膜像素点个数，以得到每个指针大小。
每个指针大小是指每个指针掩膜像素点个数。
S263、整合每个指针代表色以及每个指针大小，以得到每个指针信息。
结合传统机器学习算法可实现单表多指针识别，并依据指针大小，颜色给出不同指针的读数。
图4是本发明实施例提供的一种指针型仪表读数识别装置300的示意性框图。如图4所示，对应于以上指针型仪表读数识别方法，本发明还提供一种指针型仪表读数识别装置300。该指针型仪表读数识别装置300包括用于执行上述指针型仪表读数识别方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地，请参阅图4，该指针型仪表读数识别装置300包括初始图像获取单元301、目标检测单元302、裁剪单元303、分割单元304、图像确定单元305、消除单元307、角度识别单元308、刻度位置识别单元309、读数计算单元310以及反馈单元311。
初始图像获取单元301，用于获取仪表盘的图像，以得到初始图像；目标检测单元302，用于将所述初始图像输入至目标检测模型内进行目标检测，以得到目标检测结果；裁剪单元303，用于根据所述目标检测结果裁剪所述初始图像，以得到仪表图像；分割单元304，用于将所述仪表图像输入实例分割模型内进行实例分割，以得到满量程刻度分割结果以及指针区域分割结果；图像确定单元305，用于根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像；消除单元307，用于将满量程刻度图像以及指针区域图像分别输入至消除模型内进行阴影以及反光的消除，以得到满量程刻度修复图像以及指针区域修复图像；角度识别单元308，用于将指针区域修复图像以及满量程刻度修复图像分别输入至目标角度识别网络模型内进行识别，以得到指针指向对应的弧度以及满量程刻度对应的角度；刻度位置识别单元309，用于将所述满量程刻度修复图像输入至刻度识别模型内进行刻度位置识别，以得到刻度数字信息；读数计算单元310，用于根据指针指向对应的弧度、满量程刻度对应的角度以及刻度数字信息计算指针刻度读数，以得到读数结果；反馈单元311，用于反馈所述读数结果至终端，以在终端显示所述读数结果。
在一实施例中，所述目标检测单元302包括缩放子单元以及目标识别子单元。
缩放子单元，用于对初始图像进行等比例缩放，以得到待识别图像；目标识别子单元，用于将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
在一实施例中，所述图像确定单元305包括指针图像确定子单元以及刻度图像确定子单元。
指针图像确定子单元，用于将指针区域分割结果内的每个指针掩膜与满量程刻度分割结果内的刻度掩膜进行相加，以得到指针前景图片，并将白底图作为背景图片，整合指针前景图片以及背景图片，以得到指针区域图像；刻度图像确定子单元，用于将所述满量程刻度分割结果作为刻度前景图片，白底图作为背景图片，合并刻度前景图片以及背景图片，以得到满量程刻度图像。
在一实施例中，所述读数计算单元310包括刻度筛选子单元以及读数获取子单元。
刻度筛选子单元，用于获取刻度数字信息中最大数字以及最小数字，以得到最大刻度以及最小刻度；读数获取子单元，用于采用 计算指针刻度读数，以得到读数结果，其中，graduationpointer为读数结果，anglepointer为指针指向对应的弧度，scaleangle为满量程刻度对应的角度，greduationmax为最大刻度，graduationmin为最小刻度。
图5是本发明另一实施例提供的一种指针型仪表读数识别装置300的示意性框图。如图5所示，本实施例的指针型仪表读数识别装置300是上述实施例的基础上增加了信息确定单元306。
信息确定单元306，用于根据指针区域分割结果确定每个指针信息。
在一实施例中，所述信息确定单元306包括颜色获取子单元、大小确定子单元以及整合子单元。
颜色获取子单元，用于将指针区域分割结果每个指针掩膜进行DBscan颜色聚类，并选取聚类形成的最大簇的簇内像素平均值，以得到每个指针代表色；大小确定子单元，用于计算指针区域分割结果内每个指针掩膜像素点个数，以得到每个指针大小；整合子单元，用于整合每个指针代表色以及每个指针大小，以得到每个指针信息。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述指针型仪表读数识别装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述指针型仪表读数识别装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种指针型仪表读数识别方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种指针型仪表读数识别方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取仪表盘的图像，以得到初始图像；将所述初始图像输入至目标检测模型内进行目标检测，以得到目标检测结果；根据所述目标检测结果裁剪所述初始图像，以得到仪表图像；将所述仪表图像输入实例分割模型内进行实例分割，以得到满量程刻度分割结果以及指针区域分割结果；根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像；将满量程刻度图像以及指针区域图像分别输入至消除模型内进行阴影以及反光的消除，以得到满量程刻度修复图像以及指针区域修复图像；将指针区域修复图像以及满量程刻度修复图像分别输入至目标角度识别网络模型内进行识别，以得到指针指向对应的弧度以及满量程刻度对应的角度；将所述满量程刻度修复图像输入至刻度识别模型内进行刻度位置识别，以得到刻度数字信息；根据指针指向对应的弧度、满量程刻度对应的角度以及刻度数字信息计算指针刻度读数，以得到读数结果；反馈所述读数结果至终端，以在终端显示所述读数结果。
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练Efficient-Det3网络所得的；所述实例分割模型是通过若干个带有刻度区域的掩膜、指针区域掩膜、指针掩膜类别标签的图片作为样本集训练Center-Net模型所得的；所述消除模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的；所述目标角度识别网络模型是通过若干个带有弧度标签以及指针区域掩膜的图片、若干个带有满量程刻度对应的角度标签以及满量程刻度掩膜的图片作为样本集训练OARN模型所得的；所述刻度识别模型是通过若干个带有刻度数值坐标信息标签的图像作为样本集训练FOTS模型所得的。所述PAIRWISE-GAN网络包括生成网络以及判别网络，所述生成网络包括两条U-Net网络。
在一实施例中，处理器502在实现所述将初始图像输入至目标检测模型内进行识别，以得到目标检测结果步骤时，具体实现如下步骤：
对初始图像进行等比例缩放，以得到待识别图像；将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
在一实施例中，处理器502在实现所述根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像步骤时，具体实现如下步骤：
将指针区域分割结果内的每个指针掩膜与满量程刻度分割结果内的刻度掩膜进行相加，以得到指针前景图片，并将白底图作为背景图片，整合指针前景图片以及背景图片，以得到指针区域图像；将所述满量程刻度分割结果作为刻度前景图片，白底图作为背景图片，合并刻度前景图片以及背景图片，以得到满量程刻度图像。
在一实施例中，处理器502在实现所述根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像步骤之后，还实现如下步骤：
根据指针区域分割结果确定每个指针信息；
在一实施例中，处理器502在实现所述根据指针区域分割结果确定每个指针信息步骤时，具体实现如下步骤：
将指针区域分割结果每个指针掩膜进行DBscan颜色聚类，并选取聚类形成的最大簇的簇内像素平均值，以得到每个指针代表色；计算指针区域分割结果内每个指针掩膜像素点个数，以得到每个指针大小；整合每个指针代表色以及每个指针大小，以得到每个指针信息。
在一实施例中，处理器502在实现所述根据指针指向对应的弧度、满量程刻度对应的角度以及刻度数字信息计算指针刻度读数，以得到读数结果步骤时，具体实现如下步骤：
获取刻度数字信息中最大数字以及最小数字，以得到最大刻度以及最小刻度；采用 计算指针刻度读数，以得到读数结果，其中，graduationpointer为读数结果，anglepointer为指针指向对应的弧度，scaleangle为满量程刻度对应的角度，graduationmax为最大刻度，graduationmin为最小刻度。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取仪表盘的图像，以得到初始图像；将所述初始图像输入至目标检测模型内进行目标检测，以得到目标检测结果；根据所述目标检测结果裁剪所述初始图像，以得到仪表图像；将所述仪表图像输入实例分割模型内进行实例分割，以得到满量程刻度分割结果以及指针区域分割结果；根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像；将满量程刻度图像以及指针区域图像分别输入至消除模型内进行阴影以及反光的消除，以得到满量程刻度修复图像以及指针区域修复图像；将指针区域修复图像以及满量程刻度修复图像分别输入至目标角度识别网络模型内进行识别，以得到指针指向对应的弧度以及满量程刻度对应的角度；将所述满量程刻度修复图像输入至刻度识别模型内进行刻度位置识别，以得到刻度数字信息；根据指针指向对应的弧度、满量程刻度对应的角度以及刻度数字信息计算指针刻度读数，以得到读数结果；反馈所述读数结果至终端，以在终端显示所述读数结果。
其中，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练Efficient-Det3网络所得的；所述实例分割模型是通过若干个带有刻度区域的掩膜、指针区域掩膜、指针掩膜类别标签的图片作为样本集训练Center-Net模型所得的；所述消除模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的；所述目标角度识别网络模型是通过若干个带有弧度标签以及指针区域掩膜的图片、若干个带有满量程刻度对应的角度标签以及满量程刻度掩膜的图片作为样本集训练OARN模型所得的；所述刻度识别模型是通过若干个带有刻度数值坐标信息标签的图像作为样本集训练FOTS模型所得的。所述PAIRWISE-GAN网络包括生成网络以及判别网络，所述生成网络包括两条U-Net网络。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将初始图像输入至目标检测模型内进行识别，以得到目标检测结果步骤时，具体实现如下步骤：
对初始图像进行等比例缩放，以得到待识别图像；将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像步骤时，具体实现如下步骤：
将指针区域分割结果内的每个指针掩膜与满量程刻度分割结果内的刻度掩膜进行相加，以得到指针前景图片，并将白底图作为背景图片，整合指针前景图片以及背景图片，以得到指针区域图像；将所述满量程刻度分割结果作为刻度前景图片，白底图作为背景图片，合并刻度前景图片以及背景图片，以得到满量程刻度图像。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像步骤之后，还实现如下步骤：
根据指针区域分割结果确定每个指针信息。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据指针区域分割结果确定每个指针信息步骤时，具体实现如下步骤：
将指针区域分割结果每个指针掩膜进行DBscan颜色聚类，并选取聚类形成的最大簇的簇内像素平均值，以得到每个指针代表色；计算指针区域分割结果内每个指针掩膜像素点个数，以得到每个指针大小；整合每个指针代表色以及每个指针大小，以得到每个指针信息。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据指针指向对应的弧度、满量程刻度对应的角度以及刻度数字信息计算指针刻度读数，以得到读数结果步骤时，具体实现如下步骤：
获取刻度数字信息中最大数字以及最小数字，以得到最大刻度以及最小刻度；采用 计算指针刻度读数，以得到读数结果，其中，graduationpointer为读数结果，anglepointer为指针指向对应的弧度，scaleangle为满量程刻度对应的角度，graduationmax为最大刻度，graduationmin为最小刻度。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.指针型仪表读数识别方法，其特征在于，包括：
获取仪表盘的图像，以得到初始图像；
将所述初始图像输入至目标检测模型内进行目标检测，以得到目标检测结果；
根据所述目标检测结果裁剪所述初始图像，以得到仪表图像；
将所述仪表图像输入实例分割模型内进行实例分割，以得到满量程刻度分割结果以及指针区域分割结果；
根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像；
将满量程刻度图像以及指针区域图像分别输入至消除模型内进行阴影以及反光的消除，以得到满量程刻度修复图像以及指针区域修复图像；
将指针区域修复图像以及满量程刻度修复图像分别输入至目标角度识别网络模型内进行识别，以得到指针指向对应的弧度以及满量程刻度对应的角度；
将所述满量程刻度修复图像输入至刻度识别模型内进行刻度位置识别，以得到刻度数字信息；
根据指针指向对应的弧度、满量程刻度对应的角度以及刻度数字信息计算指针刻度读数，以得到读数结果；
反馈所述读数结果至终端，以在终端显示所述读数结果。
2.根据权利要求1所述的指针型仪表读数识别方法，其特征在于，所述目标检测模型是通过若干个带有仪表坐标及类别标签的图像作为样本集训练Efficient-Det3网络所得的；
所述实例分割模型是通过若干个带有刻度区域的掩膜、指针区域掩膜、指针掩膜类别标签的图片作为样本集训练Center-Net模型所得的；
所述消除模型是通过若干个含有阴影图片、反光图片以及原图作为样本集训练PAIRWISE-GAN网络所得的；
所述目标角度识别网络模型是通过若干个带有弧度标签以及指针区域掩膜的图片、若干个带有满量程刻度对应的角度标签以及满量程刻度掩膜的图片作为样本集训练OARN模型所得的；
所述刻度识别模型是通过若干个带有刻度数值坐标信息标签的图像作为样本集训练FOTS模型所得的。
3.根据权利要求1所述的指针型仪表读数识别方法，其特征在于，所述将初始图像输入至目标检测模型内进行识别，以得到目标检测结果，包括：
对初始图像进行等比例缩放，以得到待识别图像；
将所述待识别图像输入至目标检测模型内进行识别，以得到目标检测结果。
4.根据权利要求1所述的指针型仪表读数识别方法，其特征在于，所述根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像，包括：
将指针区域分割结果内的每个指针掩膜与满量程刻度分割结果内的刻度掩膜进行相加，以得到指针前景图片，并将白底图作为背景图片，整合指针前景图片以及背景图片，以得到指针区域图像；
将所述满量程刻度分割结果作为刻度前景图片，白底图作为背景图片，合并刻度前景图片以及背景图片，以得到满量程刻度图像。
5.根据权利要求1所述的指针型仪表读数识别方法，其特征在于，所述根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像之后，还包括：
根据指针区域分割结果确定每个指针信息；
所述根据指针区域分割结果确定每个指针信息，包括：
将指针区域分割结果每个指针掩膜进行DBscan颜色聚类，并选取聚类形成的最大簇的簇内像素平均值，以得到每个指针代表色；
计算指针区域分割结果内每个指针掩膜像素点个数，以得到每个指针大小；
整合每个指针代表色以及每个指针大小，以得到每个指针信息。
6.根据权利要求2所述的指针型仪表读数识别方法，其特征在于，所述PAIRWISE-GAN网络包括生成网络以及判别网络，所述生成网络包括两条U-Net网络。
7.根据权利要求1所述的指针型仪表读数识别方法，其特征在于，所述根据指针指向对应的弧度、满量程刻度对应的角度以及刻度数字信息计算指针刻度读数，以得到读数结果，包括：
获取刻度数字信息中最大数字以及最小数字，以得到最大刻度以及最小刻度；
采用 计算指针刻度读数，以得到读数结果，其中，graduationpointer为读数结果，anglepointer为指针指向对应的弧度，scaleangle为满量程刻度对应的角度，graduationmax为最大刻度，graduationmin为最小刻度。
8.指针型仪表读数识别装置，其特征在于，包括：
初始图像获取单元，用于获取仪表盘的图像，以得到初始图像；
目标检测单元，用于将所述初始图像输入至目标检测模型内进行目标检测，以得到目标检测结果；
裁剪单元，用于根据所述目标检测结果裁剪所述初始图像，以得到仪表图像；
分割单元，用于将所述仪表图像输入实例分割模型内进行实例分割，以得到满量程刻度分割结果以及指针区域分割结果；
图像确定单元，用于根据满量程刻度分割结果以及指针区域分割结果确定满量程刻度图像以及指针区域图像；
消除单元，用于将满量程刻度图像以及指针区域图像分别输入至消除模型内进行阴影以及反光的消除，以得到满量程刻度修复图像以及指针区域修复图像；
角度识别单元，用于将指针区域修复图像以及满量程刻度修复图像分别输入至目标角度识别网络模型内进行识别，以得到指针指向对应的弧度以及满量程刻度对应的角度；
刻度位置识别单元，用于将所述满量程刻度修复图像输入至刻度识别模型内进行刻度位置识别，以得到刻度数字信息；
读数计算单元，用于根据指针指向对应的弧度、满量程刻度对应的角度以及刻度数字信息计算指针刻度读数，以得到读数结果；
反馈单元，用于反馈所述读数结果至终端，以在终端显示所述读数结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至7中任一项所述的方法。
CN202011016567.XA 2020-09-24 2020-09-24 指针型仪表读数识别方法、装置、计算机设备及存储介质 Active CN112115895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011016567.XA CN112115895B (zh) 2020-09-24 2020-09-24 指针型仪表读数识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011016567.XA CN112115895B (zh) 2020-09-24 2020-09-24 指针型仪表读数识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112115895A CN112115895A (zh) 2020-12-22
CN112115895B true CN112115895B (zh) 2023-12-22

Family

ID=73800655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011016567.XA Active CN112115895B (zh) 2020-09-24 2020-09-24 指针型仪表读数识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112115895B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191352A (zh) * 2021-03-23 2021-07-30 浙江理工大学 一种基于目标检测和二值图像检测的水表指针读数识别方法
CN113111931B (zh) * 2021-04-02 2023-04-07 同济大学 一种基于光强变换和聚类的量筒读数方法
CN113566863B (zh) * 2021-06-11 2023-12-26 北京眸视科技有限公司 一种指针表的读取方法和装置
CN113469178B (zh) * 2021-07-05 2024-03-01 安徽南瑞继远电网技术有限公司 一种基于深度学习的电力表计识别方法
CN113780273A (zh) * 2021-07-19 2021-12-10 浙江理工大学 一种基于目标检测和关键点检测的水表指针读数读取方法
CN113627427B (zh) * 2021-08-04 2023-09-22 中国兵器装备集团自动化研究所有限公司 一种基于图像检测技术的仪器仪表读数方法及系统
CN113538293B (zh) * 2021-08-20 2022-09-13 爱保科技有限公司 一种车损伤图像的增强方法和装置
CN113537153A (zh) * 2021-08-20 2021-10-22 杭州灵伴科技有限公司 仪表图像识别方法、装置、电子设备和计算机可读介质
CN113570631B (zh) * 2021-08-28 2024-04-26 西安安森智能仪器股份有限公司 一种基于图像的指针式仪表智能识别方法及设备
CN113743395A (zh) * 2021-08-31 2021-12-03 中科海微(北京)科技有限公司 一种仪表的识读方法、设备及装置
CN113837178A (zh) * 2021-09-15 2021-12-24 国网河北省电力有限公司 一种基于深度学习的变电站表计自动定位与统一分割方法
CN113837159A (zh) * 2021-11-26 2021-12-24 中化学交通建设集团有限公司 一种基于机器视觉的仪表示数识别方法和装置
CN115294330A (zh) * 2022-08-22 2022-11-04 山东新一代信息产业技术研究院有限公司 一种设备表盘表面薄膜反光去除方法
CN116543376B (zh) * 2023-07-03 2023-12-29 广东电网有限责任公司肇庆供电局 一种指针式仪表读数方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101660932A (zh) * 2009-06-15 2010-03-03 浙江大学 一种指针式汽车仪表自动校验方法
CN104392206A (zh) * 2014-10-24 2015-03-04 南京航空航天大学 一种指针式仪表读数自动识别的图像处理方法
WO2016101643A1 (zh) * 2014-12-26 2016-06-30 国网重庆市电力公司电力科学研究院 一种仪表数据读取方法及系统
CN107729896A (zh) * 2017-10-24 2018-02-23 武汉科技大学 一种适用于变电站宽刻度指针式仪表的自动识别方法
CN110287887A (zh) * 2019-06-26 2019-09-27 北京史河科技有限公司 一种刻度识别方法、装置及计算机存储介质
CN110659636A (zh) * 2019-09-20 2020-01-07 随锐科技集团股份有限公司 基于深度学习的指针式仪表读数识别方法
CN110852333A (zh) * 2019-11-13 2020-02-28 广东电科院能源技术有限责任公司 一种指针式仪表自动读数方法及装置
CN111160256A (zh) * 2019-12-30 2020-05-15 武汉科技大学 变电站指针式仪表自动识别方法及系统
CN111414934A (zh) * 2020-01-21 2020-07-14 国网浙江省电力有限公司湖州供电公司 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101660932A (zh) * 2009-06-15 2010-03-03 浙江大学 一种指针式汽车仪表自动校验方法
CN104392206A (zh) * 2014-10-24 2015-03-04 南京航空航天大学 一种指针式仪表读数自动识别的图像处理方法
WO2016101643A1 (zh) * 2014-12-26 2016-06-30 国网重庆市电力公司电力科学研究院 一种仪表数据读取方法及系统
CN107729896A (zh) * 2017-10-24 2018-02-23 武汉科技大学 一种适用于变电站宽刻度指针式仪表的自动识别方法
CN110287887A (zh) * 2019-06-26 2019-09-27 北京史河科技有限公司 一种刻度识别方法、装置及计算机存储介质
CN110659636A (zh) * 2019-09-20 2020-01-07 随锐科技集团股份有限公司 基于深度学习的指针式仪表读数识别方法
CN110852333A (zh) * 2019-11-13 2020-02-28 广东电科院能源技术有限责任公司 一种指针式仪表自动读数方法及装置
CN111160256A (zh) * 2019-12-30 2020-05-15 武汉科技大学 变电站指针式仪表自动识别方法及系统
CN111414934A (zh) * 2020-01-21 2020-07-14 国网浙江省电力有限公司湖州供电公司 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
水电站指针式仪表读数自动识别系统研究;邹振西;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;全文 *

Also Published As

Publication number Publication date
CN112115895A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112115895B (zh) 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN107145908B (zh) 一种基于r-fcn的小目标检测方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN111898406A (zh) 基于焦点损失和多任务级联的人脸检测方法
CN111339902B (zh) 一种数显仪表的液晶屏示数识别方法及装置
CN116228780B (zh) 基于计算机视觉的硅片缺陷检测方法及系统
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN112102201B (zh) 图像阴影反光消除方法、装置、计算机设备及存储介质
CN110956613B (zh) 基于图像质量的目标检测算法性能归一化评价方法及系统
CN108960404A (zh) 一种基于图像的人群计数方法及设备
CN113205511A (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN115861307B (zh) 基于人工智能的筋膜枪供电驱动板焊接故障检测方法
CN118279304A (zh) 基于图像处理的异型金属件异常识别方法、装置及介质
CN112381177A (zh) 一种基于深度学习的表盘数字字符识别方法及系统
CN112115896B (zh) 仪表盘指针读数预测方法、装置、计算机设备及存储介质
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN118134814A (zh) 一种凹版涂布的线性图像巡边方法
CN117173154A (zh) 玻璃瓶的在线图像检测系统及其方法
CN109448012A (zh) 一种图像边缘检测方法及装置
CN110751174A (zh) 一种基于多任务级联卷积网络的表盘检测方法和系统
CN112396648A (zh) 一种可定位目标物质心的目标识别方法和系统
CN111753887A (zh) 一种点源靶标像控点检测模型训练方法及装置
CN111476129A (zh) 一种基于深度学习的土壤杂质检测方法
CN117333762B (zh) 一种基于多特征融合的图像翻拍识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant