[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116543376B - 一种指针式仪表读数方法和系统 - Google Patents

一种指针式仪表读数方法和系统 Download PDF

Info

Publication number
CN116543376B
CN116543376B CN202310799369.2A CN202310799369A CN116543376B CN 116543376 B CN116543376 B CN 116543376B CN 202310799369 A CN202310799369 A CN 202310799369A CN 116543376 B CN116543376 B CN 116543376B
Authority
CN
China
Prior art keywords
image
pointer
instrument
initial
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310799369.2A
Other languages
English (en)
Other versions
CN116543376A (zh
Inventor
邹浩立
周熺
吴建光
黄汉生
黄德华
黄磊
董朕
李凯
谢浩南
梁炳
王征迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202310799369.2A priority Critical patent/CN116543376B/zh
Publication of CN116543376A publication Critical patent/CN116543376A/zh
Application granted granted Critical
Publication of CN116543376B publication Critical patent/CN116543376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种指针式仪表读数方法和系统，通过采用指针式仪表图像数据集进行仪表区域识别，生成初始仪表表盘图像。将初始仪表表盘图像进行刻度线分割，生成初始刻度线分割图像。分别将初始仪表表盘图像和对应的初始刻度线分割图像进行透视变换校准，生成目标仪表表盘图像和目标刻度线分割图像。采用目标刻度线分割图像进行辅助圆构建，确定刻度线倾角。采用最大连通域标记法和轮廓细化算法对目标仪表表盘图像进行指针倾角计算，生成指针倾角。采用全部刻度线倾角和全部指针倾角，确定指针式仪表图像数据集对应的仪表读数数据集。通过辅助圆可以高效地获得表盘最小值和最大值刻度线的倾角，鲁棒性强。

Description

一种指针式仪表读数方法和系统
技术领域
本发明涉及仪表技术领域，尤其涉及指针式仪表读数方法和系统。
背景技术
指针式仪表具有抗震动、抗高温、抗磁干扰、使用寿命长、可靠性高等优点，故国内变电站依然大量装设。国内变电站中仪表设备的巡检方式以人工巡检为主，仪表的观测阅读采取肉眼观察和简单仪器拍摄方法，仪表数据信息采取手写记录方式，工作内容单调重复且劳动强度较大。此外，变电站多位于郊区旷野，在极端天气和设备辐射等恶劣条件下，巡检作业对巡检人员自身也存在一定的安全隐患。
随着信息技术的发展，采用巡检机器人代替人工进行巡检，极大地提高了变电站的自动化水平。对于巡检机器人获取的大量仪表图像，采用指针式仪表自动读数识别方法进行读数识别。该方法的识别流程大致分为仪表目标检测、表盘刻度分割和指针位置识别三个步骤。
传统的仪表目标检测方法主要为利用图像的梯度找到图像角点，然后根据角点检测结果与模版库的仪表图像进行特征匹配。但角点检测方法容易受图像噪声、环境遮挡因素影响。在刻度线分割和指针识别方面，采用霍夫变换方法进行刻度线分割和指针识别，然而霍夫变换对参数的依赖性强、灵活性差，并且处理背景复杂的仪表图像时，霍夫变换检测结果中会出现非常多的干扰项。
发明内容
本发明提供了一种指针式仪表读数方法和系统，解决了现有的指针式仪表读数方法对参数的依赖性强，灵活性差，容易受到外界环境干扰，导致读数结果准确性低的技术问题。
本发明提供的一种指针式仪表读数方法，包括：
获取指针式仪表图像数据集，采用所述指针式仪表图像数据集进行仪表区域识别，生成初始仪表表盘图像；
将所述初始仪表表盘图像进行刻度线分割，生成初始刻度线分割图像；
分别将所述初始仪表表盘图像和对应的初始刻度线分割图像进行透视变换校准，生成目标仪表表盘图像和目标刻度线分割图像；
采用所述目标刻度线分割图像进行辅助圆构建，确定刻度线倾角；
采用最大连通域标记法和轮廓细化算法对所述目标仪表表盘图像进行指针倾角计算，生成指针倾角；
采用全部所述刻度线倾角和全部所述指针倾角，确定所述指针式仪表图像数据集对应的仪表读数数据集。
可选地，所述采用所述指针式仪表图像数据集进行仪表区域识别，生成初始仪表表盘图像的步骤，包括：
采用所述指针式仪表图像数据集，构建模型训练集和模型测试集；
分别采用所述模型训练集中各图像对应的表盘区域位置和表盘类型标签，构建所述图像对应的数据交换文件；
采用所述模型训练集和全部所述数据交换文件对预设仪表区域识别模型进行模型训练，生成初始仪表区域识别模型；
采用所述模型测试集对所述初始仪表区域识别模型进行模型测试，生成目标仪表区域识别模型；
通过所述目标仪表区域识别模型对所述指针式仪表图像数据集进行目标识别，生成初始仪表表盘图像。
可选地，所述将所述初始仪表表盘图像进行刻度线分割，生成初始刻度线分割图像的步骤，包括：
按照预设划分比例，将所述指针式仪表图像数据集划分为语义分割训练集和语义分割测试集；
将所述语义分割训练集进行掩码处理，生成标签图像集；
采用多个变压器编码器模块作为编码器，多个卷积模块作为解码器，构建初始语义分割模型；
采用所述语义分割训练集和所述标签图像集对所述初始语义分割模型进行模型训练，生成中间语义分割模型；
采用所述语义分割测试集对所述中间语义分割模型进行模型测试，生成目标语义分割模型；
分别将所述初始仪表表盘图像进行高斯滤波和中值滤波处理，生成仪表表盘滤波图像；
通过所述目标语义分割模型对所述仪表表盘滤波图像进行刻度线分割，生成初始刻度线分割图像。
可选地，所述分别将所述初始仪表表盘图像和对应的初始刻度线分割图像进行透视变换校准，生成目标仪表表盘图像和目标刻度线分割图像的步骤，包括：
将所述初始刻度线分割图像的全部像素点坐标代入预设椭圆方程进行求解，生成拟合椭圆中心；
采用所述拟合椭圆中心和所述初始仪表表盘图像进行透视变换计算，生成透视变换矩阵；
采用所述透视变换矩阵对所述初始仪表表盘图像和对应的初始刻度线分割图像进行校准，生成目标仪表表盘图像和目标刻度线分割图像。
可选地，所述采用所述目标刻度线分割图像进行辅助圆构建，确定刻度线倾角的步骤，包括：
将所述拟合椭圆中心作为圆中心，按照第一预设半径构建辅助圆；
将所述辅助圆按照预设旋转起始点和旋转标准进行旋转，构建辅助圆列表；
分别将所述辅助圆列表中各旋转点与所述圆中心，构建所述旋转点对应的线段；
采用全部与所述目标刻度线分割图像有交集的所述线段，构建辅助圆交集列表；
计算所述辅助圆交集列表中的表盘最小值和最大值刻度线之间的倾角，生成刻度线倾角。
可选地，所述采用最大连通域标记法和轮廓细化算法对所述目标仪表表盘图像进行指针倾角计算，生成指针倾角的步骤，包括：
将所述目标仪表表盘图像进行灰度转换并采用最大类间方差法进行二值化，生成二值图；
将所述拟合椭圆中心作为圆中心，按照第二预设半径构建圆形掩码图像；
将所述二值图和所述圆形掩码图像进行同位相乘，生成内表盘二值图；
将所述内表盘二值图进行形态学开运算，生成连通域坐标列表，并将所述连通域坐标列表中的最大连通域作为指针轮廓图像；
采用轮廓细化算法对所述指针轮廓图像进行轮廓细化，确定指针骨架；
分别计算所述指针骨架中各像素点与所述拟合椭圆中心的欧式距离，并将欧式距离最大值对应的点作为指针指尖像素点；
采用所述指针指尖像素点进行指针倾角计算，生成指针倾角。
可选地，所述采用全部所述刻度线倾角和全部所述指针倾角，确定所述指针式仪表图像数据集对应的仪表读数数据集的步骤，包括：
分别计算所述拟合椭圆中心与所述指针倾角对应的指针指尖向量之间的差值，生成第一差值；
分别计算所述拟合椭圆中心与所述刻度线倾斜角对应的刻度线最小值坐标向量之间的差值，生成第二差值；
分别计算所述拟合椭圆中心与所述刻度线倾斜角对应的刻度线最大值坐标向量之间的差值，生成第三差值；
计算所述第一差值与所述第二差值之间的角度，生成第一角度；
计算所述第二差值与所述第三差值之间的角度，生成第二角度；
计算所述第一角度和所述第二角度之间的比值并乘以对应的仪表量程，生成指针读数；
采用全部所述指针读数，构建所述指针式仪表图像数据集对应的仪表读数数据集。
本发明还提供了一种指针式仪表读数系统，包括：
初始仪表表盘图像生成模块，用于获取指针式仪表图像数据集，采用所述指针式仪表图像数据集进行仪表区域识别，生成初始仪表表盘图像；
初始刻度线分割图像生成模块，用于将所述初始仪表表盘图像进行刻度线分割，生成初始刻度线分割图像；
目标仪表表盘图像和目标刻度线分割图像生成模块，用于分别将所述初始仪表表盘图像和对应的初始刻度线分割图像进行透视变换校准，生成目标仪表表盘图像和目标刻度线分割图像；
刻度线倾角生成模块，用于采用所述目标刻度线分割图像进行刻度线倾角计算，生成刻度线倾角；
指针倾角生成模块，用于采用最大连通域标记法和轮廓细化算法对所述目标仪表表盘图像进行指针倾角计算，生成指针倾角；
仪表读数数据集确定模块，用于采用全部所述刻度线倾角和全部所述指针倾角，确定所述指针式仪表图像数据集对应的仪表读数数据集。
可选地，所述初始仪表表盘图像生成模块包括：
模型训练集和模型测试集构建模块，用于采用所述指针式仪表图像数据集，构建模型训练集和模型测试集；
数据交换文件构建模块，用于分别采用所述模型训练集中各图像对应的表盘区域位置和表盘类型标签，构建所述图像对应的数据交换文件；
初始仪表区域识别模型生成模块，用于采用所述模型训练集和全部所述数据交换文件对预设仪表区域识别模型进行模型训练，生成初始仪表区域识别模型；
目标仪表区域识别模型生成模块，用于采用所述模型测试集对所述初始仪表区域识别模型进行模型测试，生成目标仪表区域识别模型；
初始仪表表盘图像生成子模块，用于通过所述目标仪表区域识别模型对所述指针式仪表图像数据集进行目标识别，生成初始仪表表盘图像。
可选地，所述初始刻度线分割图像生成模块包括：
语义分割训练集和语义分割测试集生成模块，用于按照预设划分比例，将所述指针式仪表图像数据集划分为语义分割训练集和语义分割测试集；
标签图像集生成模块，用于将所述语义分割训练集进行掩码处理，生成标签图像集；
初始语义分割模型构建模块，用于采用多个变压器编码器模块作为编码器，多个卷积模块作为解码器，构建初始语义分割模型；
中间语义分割模型生成模块，用于采用所述语义分割训练集和所述标签图像集对所述初始语义分割模型进行模型训练，生成中间语义分割模型；
目标语义分割模型生成模块，用于采用所述语义分割测试集对所述中间语义分割模型进行模型测试，生成目标语义分割模型；
仪表表盘滤波图像生成模块，用于分别将所述初始仪表表盘图像进行高斯滤波和中值滤波处理，生成仪表表盘滤波图像；
初始刻度线分割图像生成子模块，用于通过所述目标语义分割模型对所述仪表表盘滤波图像进行刻度线分割，生成初始刻度线分割图像。
从以上技术方案可以看出，本发明具有以下优点：
本发明通过获取指针式仪表图像数据集，采用指针式仪表图像数据集进行仪表区域识别，生成初始仪表表盘图像。将初始仪表表盘图像进行刻度线分割，生成初始刻度线分割图像。分别将初始仪表表盘图像和对应的初始刻度线分割图像进行透视变换校准，生成目标仪表表盘图像和目标刻度线分割图像。采用目标刻度线分割图像进行辅助圆构建，确定刻度线倾角。采用最大连通域标记法和轮廓细化算法对目标仪表表盘图像进行指针倾角计算，生成指针倾角。采用全部刻度线倾角和全部指针倾角，确定指针式仪表图像数据集对应的仪表读数数据集。解决了现有的指针式仪表读数方法对参数的依赖性强，灵活性差，容易受到外界环境干扰，导致读数结果准确性低的技术问题。通过辅助圆可以高效地获得表盘最小值和最大值刻度线的倾角，并且该方法在刻度线分割准确率较低情况下仍能获得准确结果，鲁棒性强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种指针式仪表读数方法的步骤流程图；
图2为本发明实施例二提供的一种指针式仪表读数方法的步骤流程图；
图3为本发明实施例三提供的一种指针式仪表读数系统的结构框图。
具体实施方式
本发明实施例提供了一种指针式仪表读数方法和系统，用于解决现有的指针式仪表读数方法对参数的依赖性强，灵活性差，容易受到外界环境干扰，导致读数结果准确性低的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例一提供的一种指针式仪表读数方法的步骤流程图。
本发明实例一提供的一种指针式仪表读数方法，包括：
步骤101、获取指针式仪表图像数据集，采用指针式仪表图像数据集进行仪表区域识别，生成初始仪表表盘图像。
在本发明实施例中，获取指针式仪表图像数据集后，采用指针式仪表图像数据集，构建模型训练集和模型测试集。分别采用模型训练集中各图像对应的表盘区域位置和表盘类型标签，构建图像对应的数据交换文件。采用模型训练集和全部数据交换文件对预设仪表区域识别模型进行模型训练，生成初始仪表区域识别模型。采用模型测试集对初始仪表区域识别模型进行模型测试，生成目标仪表区域识别模型。通过目标仪表区域识别模型对指针式仪表图像数据集进行目标识别，生成初始仪表表盘图像。
步骤102、将初始仪表表盘图像进行刻度线分割，生成初始刻度线分割图像。
在本发明实施例中，首先按照预设划分比例，将指针式仪表图像数据集划分为语义分割训练集和语义分割测试集。然后将语义分割训练集进行掩码处理，生成标签图像集。通过采用多个变压器编码器模块作为编码器，多个卷积模块作为解码器，构建初始语义分割模型。采用语义分割训练集和标签图像集对初始语义分割模型进行模型训练，生成中间语义分割模型。采用语义分割测试集对中间语义分割模型进行模型测试，生成目标语义分割模型。分别将初始仪表表盘图像进行高斯滤波和中值滤波处理，生成仪表表盘滤波图像。通过目标语义分割模型述仪表表盘滤波图像进行刻度线分割，生成初始刻度线分割图像。
步骤103、分别将初始仪表表盘图像和对应的初始刻度线分割图像进行透视变换校准，生成目标仪表表盘图像和目标刻度线分割图像。
在本发明实施例中，通过将初始刻度线分割图像的全部像素点坐标代入预设椭圆方程进行求解，生成拟合椭圆中心。采用拟合椭圆中心和初始仪表表盘图像进行透视变换计算，生成透视变换矩阵。采用透视变换矩阵对初始仪表表盘图像和对应的初始刻度线分割图像进行校准，生成目标仪表表盘图像和目标刻度线分割图像。
步骤104、采用目标刻度线分割图像进行辅助圆构建，确定刻度线倾角。
在本发明实施例中，将拟合椭圆中心作为圆中心，按照第一预设半径构建辅助圆。将辅助圆按照预设旋转起始点和旋转标准进行旋转，构建辅助圆列表。分别将辅助圆列表中各旋转点与圆中心，构建旋转点对应的线段。采用全部与目标刻度线分割图像有交集的线段，构建辅助圆交集列表。计算辅助圆交集列表中的表盘最小值和最大值刻度线之间的倾角，生成刻度线倾角。
步骤105、采用最大连通域标记法和轮廓细化算法对目标仪表表盘图像进行指针倾角计算，生成指针倾角。
在本发明实施例中，通过将目标仪表表盘图像进行灰度转换并采用最大类间方差法进行二值化，生成二值图。将拟合椭圆中心作为圆中心，按照第二预设半径构建圆形掩码图像。将二值图和圆形掩码图像进行同位相乘，生成内表盘二值图。将内表盘二值图进行形态学开运算，生成连通域坐标列表，并将连通域坐标列表中的最大连通域作为指针轮廓图像。采用轮廓细化算法对指针轮廓图像进行轮廓细化，确定指针骨架。分别计算指针骨架中各像素点与拟合椭圆中心的欧式距离，并将欧式距离最大值对应的点作为指针指尖像素点。采用指针指尖像素点进行指针倾角计算，生成指针倾角。
步骤106、采用全部刻度线倾角和全部指针倾角，确定指针式仪表图像数据集对应的仪表读数数据集。
在本发明实施例中，分别计算拟合椭圆中心与指针倾角对应的指针指尖向量之间的差值，生成第一差值。分别计算拟合椭圆中心与刻度线倾斜角对应的刻度线最小值坐标向量之间的差值，生成第二差值。分别计算拟合椭圆中心与刻度线倾斜角对应的刻度线最大值坐标向量之间的差值，生成第三差值。计算第一差值与第二差值之间的角度，生成第一角度。计算第二差值与第三差值之间的角度，生成第二角度。计算第一角度和第二角度之间的比值并乘以对应的仪表量程，生成指针读数。采用全部指针读数，构建指针式仪表图像数据集对应的仪表读数数据集。
在本发明实施例中，通过获取指针式仪表图像数据集，采用指针式仪表图像数据集进行仪表区域识别，生成初始仪表表盘图像。将初始仪表表盘图像进行刻度线分割，生成初始刻度线分割图像。分别将初始仪表表盘图像和对应的初始刻度线分割图像进行透视变换校准，生成目标仪表表盘图像和目标刻度线分割图像。采用目标刻度线分割图像进行辅助圆构建，确定刻度线倾角。采用最大连通域标记法和轮廓细化算法对目标仪表表盘图像进行指针倾角计算，生成指针倾角。采用全部刻度线倾角和全部指针倾角，确定指针式仪表图像数据集对应的仪表读数数据集。解决了现有的指针式仪表读数方法对参数的依赖性强，灵活性差，容易受到外界环境干扰，导致读数结果准确性低的技术问题。通过辅助圆可以高效地获得表盘最小值和最大值刻度线的倾角，并且该方法在刻度线分割准确率较低情况下仍能获得准确结果，鲁棒性强。
请参阅图2，图2为本发明实施例二提供的一种指针式仪表读数方法的步骤流程图。
本发明实例二提供的另一种指针式仪表读数方法的，包括：
步骤201、获取指针式仪表图像数据集，采用指针式仪表图像数据集进行仪表区域识别，生成初始仪表表盘图像。
进一步地，步骤201可以包括以下子步骤S11-S15：
S11、采用指针式仪表图像数据集，构建模型训练集和模型测试集。
S12、分别采用模型训练集中各图像对应的表盘区域位置和表盘类型标签，构建图像对应的数据交换文件。
S13、采用模型训练集和全部数据交换文件对预设仪表区域识别模型进行模型训练，生成初始仪表区域识别模型。
S14、采用模型测试集对初始仪表区域识别模型进行模型测试，生成目标仪表区域识别模型。
S15、通过目标仪表区域识别模型对指针式仪表图像数据集进行目标识别，生成初始仪表表盘图像。
在本发明实施例中，预设仪表区域识别模型是指YOLOV5模型。将YOLOV5数据集按比例分为YOLOV5训练集和YOLOV5测试集即将指针式仪表图像数据集按照实际需要设置的划分比例进行划分，从而构建得到模型训练集和模型测试集。对YOLOV5训练集的每张图片制作一份JSON文件即构建数据交换文件，JSON文件记录训练集每张图像中表盘区域的位置和表盘类型标签，即分别采用模型训练集中各图像对应的表盘区域位置和表盘类型标签，构建图像对应的数据交换文件。
将采用模型训练集和全部数据交换文件对预设仪表区域识别模型进行模型训练，调整预设仪表区域识别模型的参数，生成初始仪表区域识别模型，其中该参数包括学习率和训练轮数。采用模型测试集对初始仪表区域识别模型进行模型测试，将满足测试标准的初始仪表区域识别模型作为目标仪表区域识别模型。通过目标仪表区域识别模型对指针式仪表图像数据集中各图像进行目标识别，即对原始输入仪表图像进行裁剪，获得对应的仪表表盘图像。
步骤202、将初始仪表表盘图像进行刻度线分割，生成初始刻度线分割图像。
进一步地，步骤202可以包括以下子步骤S21-S27：
S21、按照预设划分比例，将指针式仪表图像数据集划分为语义分割训练集和语义分割测试集。
S22、将语义分割训练集进行掩码处理，生成标签图像集。
S23、采用多个变压器编码器模块作为编码器，多个卷积模块作为解码器，构建初始语义分割模型。
S24、采用语义分割训练集和标签图像集对初始语义分割模型进行模型训练，生成中间语义分割模型。
S25、采用语义分割测试集对中间语义分割模型进行模型测试，生成目标语义分割模型。
S26、分别将初始仪表表盘图像进行高斯滤波和中值滤波处理，生成仪表表盘滤波图像。
S27、通过目标语义分割模型对仪表表盘滤波图像进行刻度线分割，生成初始刻度线分割图像。
预设划分比例是指基于实际需要设置的划分仪表表盘图像数据集，生成语义分割训练集和语义分割测试集的比例，通常将语义分割训练集和语义分割测试集的划分比例设置为8:2。
在本发明实施例中，采用仪表表盘图像数据集，制作基于ViT的语义分割模型数据集，对于仪表表盘图像数据集，按8:2比例分成ViT训练集和ViT测试集即语义分割训练集和语义分割测试集。对语义分割训练集中的每张图片制作掩码图像，掩码图像保留表盘区域中的刻度线像素，模型训练前还需要对标签图像进行预处理：将背景像素类别标签设为0，目标（刻度线）像素类别标签统一设为1。采用全部经过掩码处理和预处理得到的标签图像，构建标签图像集。
搭建基于ViT的语义分割模型即构建初始语义分割模型，其包含编码器和解码器。编码器为由12个Transformer encoder block(变压器编码器模块)构成的VisionTransformer模型，解码器包括多个卷积模块。
设输入初始语义分割模型的标签图像为，首先，将标签图像分为固定大小的patch(图像小块)，patch大小为，则每张标签图像会生成个patch，然后将图像小块按行展开排列为序列，即输入初始语义分割模型的序列长度为，接着每个patch会被映射为一维向量(token)，最终输入初始语义分割模型的张量为。
基于ViT的分割模型即初始语义分割模型需要加入位置编码()，位置偏码与输入进行相加操作。位置编码为一张表，表一共有N行，N的大小和输入模型的序列长度相同，每一行代表一个向量，向量的维度和输入序列的维度相同，其公式如下：
；
其中，pos是图像小块在序列中的位置号码，是指向量维度中偶数维，是维度中奇数维，是模型的维度。
编码器中每个变压器编码器模块具有相同结构，因此，每个变压器编码器模块的输入与输出具有相同的维度，它包含了正则化层(LN)、多头注意力层(MSA)和多层感知机层(MLP)，他们分别起到对输入数据进行归一化作用、所有patch全局信息交互作用和每个patch通道维度丰富作用，变压器编码器模块的计算公式如下：
；
其中为第个变压器编码器模块的输入，为第的中间变量，为第的输出，特别地。
ViT解码器由一层卷积层和4个结构相同的block组成；卷积层对输入特征进行降维处理，减少计算量；每个block中包含两层卷积层，卷积核大小为，和一层Upsampling(上采样)层；
基于ViT的语义分割模型即初始语义分割模型的损失函数由交叉熵损失和集合相似度度量函数组合而成，公式如下：
；
其中，，表示样本ij预测为正类的概率，表示样本ij的标签值，正类为1，负类为0，N为样本总数；，表示像素点i的标签值，正类为1，负类为0，表示像素点i预测为正类的概率，N为像素点样本总数。
将ViT训练集和标签图像输入到基于ViT的语义分割模型进行训练，当经若干迭代次数后损失函数不再减少时结束训练即采用语义分割训练集和标签图像集对初始语义分割模型进行模型训练，生成中间语义分割模型。训练结束后利用ViT测试集数据对基于ViT的语义分割模型进行测试，即采用语义分割测试集对中间语义分割模型进行模型测试，从而确定目标语义分割模型。
由于大部分指针式仪表安装在室外，仪表表面会有各种污浊物附着，因此巡检机器人拍摄的仪表图像质量参差不齐。为了降低仪表图像质量不高的影响，可以先对初始仪表表盘图像进行高斯滤波和中值滤波处理，生成仪表表盘滤波图像。进一步地，通过目标语义分割模型对对仪表表盘滤波图像进行刻度线分割，获得初始刻度线分割图像。
步骤203、将初始刻度线分割图像的全部像素点坐标代入预设椭圆方程进行求解，生成拟合椭圆中心。
在本发明实施例中，在初始刻度线分割图像中，将刻度线轮廓的个像素点坐标记为，其中，表示第个像素的横坐标值，表示第个点的纵坐标值。建立预设椭圆方程：。将刻度线轮廓中的个像素点的坐标代入预设椭圆方程中，求解下列等式：
；
最后通过上述等式的解，得到椭圆方程5个参数A、B、C、D和E，进而得拟合椭圆中心。
步骤204、采用拟合椭圆中心和初始仪表表盘图像进行透视变换计算，生成透视变换矩阵。
在本发明实施例中，利用透视变换校准初始仪表表盘图像，考虑一个实际表盘所在的假想平面，以拟合椭圆中心（仪表表盘中心）为原点在假想平面中建立直角坐标系，以为中心、预先设置的半径R画圆，圆与x、y轴的四个交点分别为：、、、；将拟合椭圆的长、短轴的四个顶点分别记为、、、，利用透视变换公式将拟合椭圆的长、短轴的四个顶点投影到假想平面，四个顶点与四个交点一一对应，获得透视变换矩阵。
透视变换实现了将初始仪表表盘图像投影到三维空间再映射到新的视平面。设原图像平面某点齐次坐标为，在三维投影空间中的坐标为，在新的视平面齐次坐标为，透视变换公式为：
；
其中，变换矩阵，，。
步骤205、采用透视变换矩阵对初始仪表表盘图像和对应的初始刻度线分割图像进行校准，生成目标仪表表盘图像和目标刻度线分割图像。
在本发明实施例中，将透视变换矩阵应用于初始仪表表盘图像和初始刻度线分割图像，获得目标仪表表盘图像和目标刻度线分割图像。
步骤206、采用目标刻度线分割图像进行辅助圆构建，确定刻度线倾角。
进一步地，刻度线倾角包括刻度线最小值倾角和刻度线最大值倾角，步骤206可以包括以下子步骤S31-S35：
S31、将拟合椭圆中心作为圆中心，按照第一预设半径构建辅助圆。
S32、将辅助圆按照预设旋转起始点和旋转标准进行旋转，构建辅助圆列表。
S33、分别将辅助圆列表中各旋转点与圆中心，构建旋转点对应的线段。
S34、采用全部与目标刻度线分割图像有交集的线段，构建辅助圆交集列表。
S35、计算辅助圆交集列表中的表盘最小值和最大值刻度线之间的倾角，生成刻度线倾角。
第一预设半径为上述圆A的半径R加上预设常数，即第一预设半径为。
旋转标准为将预设旋转起始点逆时针旋转，每旋转记录旋转点的坐标值。
在本发明实施例中，以步骤204中拟合椭圆中心为圆中心，构建辅助圆，其半径为，，则辅助圆的方程，以为预设旋转起始点，对该预设旋转起始点逆时针旋转，每旋转记录旋转点的坐标值，最后，获得辅助圆列表；
取辅助圆列表上与拟合椭圆中心点构造线段，用表示线段与经透视变换校正的刻度线分割图像是否交集；若线段与有交集，则，否则，根据上述规则，遍历构造线段，获得辅助圆交集列表。
基于仪表表盘刻度线外观特征，即最小值刻度线与最大值刻度线间存在一段较大空隙的。因此，将辅助圆交集列表变为首尾相连圆环，从左向右遍历，寻找每个元素从其下一位开始右边存在多少个连续0。根据最大值的索引下标，找到最小值刻度线上的点即表盘最小值，将辅助圆交集列表逆序，同理可得，最大值刻度线上的点即最大值刻度线。最后，通过计算辅助圆交集列表中的表盘最小值和最大值刻度线之间的倾角，生成刻度线倾角。
步骤207、采用最大连通域标记法和轮廓细化算法对目标仪表表盘图像进行指针倾角计算，生成指针倾角。
进一步地，步骤207可以包括以下子步骤S41-S47：
S41、将目标仪表表盘图像进行灰度转换并采用最大类间方差法进行二值化，生成二值图。
S42、将拟合椭圆中心作为圆中心，按照第二预设半径构建圆形掩码图像。
S43、将二值图和圆形掩码图像进行同位相乘，生成内表盘二值图。
S44、将内表盘二值图进行形态学开运算，生成连通域坐标列表，并将连通域坐标列表中的最大连通域作为指针轮廓图像。
S45、采用轮廓细化算法对指针轮廓图像进行轮廓细化，确定指针骨架。
S46、分别计算指针骨架中各像素点与拟合椭圆中心的欧式距离，并将欧式距离最大值对应的点作为指针指尖像素点。
S47、采用指针指尖像素点进行指针倾角计算，生成指针倾角。
第二预设半径上述圆A的半径R减去预设常数，即第二预设半径为。
在本发明实施例中，将目标仪表表盘图像并转化成灰度图，接着采用OTSU方法即最大类间方差法进行二值化，获得二值图。以步骤204中拟合椭圆中心为圆中心，设圆，其半径为，生成圆形掩码图像，即在圆内的像素值1，圆外像素值为0。将二值图与圆形掩码图像同位相乘，得到只包含内表盘的内表盘二值图。
在理想情况下，内表盘二值图仅包含指针轮廓像素，但实际上可能残留着一些小的干扰点，如指针轮廓与表盘内数字或者刻度线粘连。为了降低内表盘背景的干扰，可以先对内表盘二值图进行形态学处理，除去残留的离散小点块、并且使得指针轮廓与不相干像素点分离。形态学开运算处理操作后，剩余点基本都在指针轮廓内。将得到的内表盘二值图进行形态学开运算，对上述进行形态学开运算过的内表盘二值图标记连通域，获得连通域坐标列表，找出连通域坐标列表中最长的一项，即为最大连通域，将最大连通域作为指针轮廓图像。
采用欧式距离公式分别计算指针骨架上所有像素点与步骤204中拟合椭圆中心的欧氏距离，取得最大值对应的点记为指针指尖像素点，并采用指针指尖像素点和对应的仪表原点进行指针倾角计算，生成指针倾角。
步骤208、采用全部刻度线倾角和全部指针倾角，确定指针式仪表图像数据集对应的仪表读数数据集。
进一步地，步骤208可以包括以下子步骤S51-S57：
S51、分别计算拟合椭圆中心与指针倾角对应的指针指尖向量之间的差值，生成第一差值。
S52、分别计算拟合椭圆中心与刻度线倾斜角对应的刻度线最小值坐标向量之间的差值，生成第二差值。
S53、分别计算拟合椭圆中心与刻度线倾斜角对应的刻度线最大值坐标向量之间的差值，生成第三差值。
S54、计算第一差值与第二差值之间的角度，生成第一角度。
S55、计算第二差值与第三差值之间的角度，生成第二角度。
S56、计算第一角度和第二角度之间的比值并乘以对应的仪表量程，生成指针读数。
S57、采用全部指针读数，构建指针式仪表图像数据集对应的仪表读数数据集。
在本发明实施例中，基于指针倾角和表盘的刻度线倾角，采用角度法获得指针式仪表读数识别的最终结果。即基于刻度线最小值坐标、刻度线最大值坐标、指针指尖坐标和合椭圆中心坐标，即可求得：拟合椭圆中心-指针指尖向量与拟合椭圆中心-刻度线最小值坐标向量的角度α即计算第一差值与第二差值之间的角度，生成第一角度。拟合椭圆中心-刻度线最小值坐标向量与拟合椭圆中心-刻度线最大值坐标向量的角度β即计算第二差值与第三差值之间的角度，生成第二角度。将第一角度和第二角度代入角度法的指针读数公式可得指针读数，指针读数公式为指针读数θ=(α/β)*仪表量程，即计算第一角度和第二角度之间的比值并乘以对应的仪表量程，生成指针读数。最后采用全部指针读数，构建指针式仪表图像数据集对应的仪表读数数据集。
在本发明实施例中，首先利用YOLOV5模型检测仪表图像的仪表目标区域，同时得到仪表的类型，然后使用基于Vision Transformer的语义分割模型分割表盘区域的刻度线部分，随后根据刻度线像素点进行椭圆拟合，紧接着使用透视变换方法对表盘图像进行校准；利用经透视变换的刻度线分割图像和辅助圆，获得表盘最小值和最大值刻度线的倾角；在校准表盘图像中，获得内表盘区域，并利用最大连通域标记法获得指针轮廓像素点集合，通过判断集合元素到圆心的距离，获得指针指尖像素点，最后计算指针的倾角并结合表盘最小值和最大值刻度线之间的倾角、仪表的类型信息从而得到指针式仪表的最终识别结果。YOLOV5是单阶段目标检测模型，计算机资源开销少并且实时性能高，对于小目标（仪表区域）检测，其漏检率低。所采用的基于Vision Transformer的语义分割模型，降低了训练模型数据标注的复杂度和成本；提高了不同类型指针式仪表在复杂场景下表盘刻度线分割准确率；模型泛化能力强，进而扩大了本发明方案的适用范围。通过辅助圆可以高效地获得表盘最小值和最大值刻度线的倾角，并且该方法在刻度线分割准确率较低情况下仍能获得准确结果，鲁棒性强。
请参阅图3，图3为本发明实施例三提供的一种指针式仪表读数系统的结构框图。
本发明实例三提供的一种指针式仪表读数系统，包括：
初始仪表表盘图像生成模块301，用于获取指针式仪表图像数据集，采用指针式仪表图像数据集进行仪表区域识别，生成初始仪表表盘图像。
初始刻度线分割图像生成模块302，用于将初始仪表表盘图像进行刻度线分割，生成初始刻度线分割图像。
目标仪表表盘图像和目标刻度线分割图像生成模块303，用于分别将初始仪表表盘图像和对应的初始刻度线分割图像进行透视变换校准，生成目标仪表表盘图像和目标刻度线分割图像。
刻度线倾角生成模块304，用于采用目标刻度线分割图像进行刻度线倾角计算，生成刻度线倾角。
指针倾角生成模块305，用于采用最大连通域标记法和轮廓细化算法对目标仪表表盘图像进行指针倾角计算，生成指针倾角。
仪表读数数据集确定模块306，用于采用全部刻度线倾角和全部指针倾角，确定指针式仪表图像数据集对应的仪表读数数据集。
可选地，初始仪表表盘图像生成模块301包括：
模型训练集和模型测试集构建模块，用于采用指针式仪表图像数据集，构建模型训练集和模型测试集。
数据交换文件构建模块，用于分别采用模型训练集中各图像对应的表盘区域位置和表盘类型标签，构建图像对应的数据交换文件。
初始仪表区域识别模型生成模块，用于采用模型训练集和全部数据交换文件对预设仪表区域识别模型进行模型训练，生成初始仪表区域识别模型。
目标仪表区域识别模型生成模块，用于采用模型测试集对初始仪表区域识别模型进行模型测试，生成目标仪表区域识别模型。
初始仪表表盘图像生成子模块，用于通过目标仪表区域识别模型对指针式仪表图像数据集进行目标识别，生成初始仪表表盘图像。
可选地，初始刻度线分割图像生成模块302包括：
语义分割训练集和语义分割测试集生成模块，用于按照预设划分比例，将指针式仪表图像数据集划分为语义分割训练集和语义分割测试集。
标签图像集生成模块，用于将语义分割训练集进行掩码处理，生成标签图像集。
初始语义分割模型构建模块，用于采用多个变压器编码器模块作为编码器，多个卷积模块作为解码器，构建初始语义分割模型。
中间语义分割模型生成模块，用于采用语义分割训练集和标签图像集对初始语义分割模型进行模型训练，生成中间语义分割模型。
目标语义分割模型生成模块，用于采用语义分割测试集对中间语义分割模型进行模型测试，生成目标语义分割模型。
仪表表盘滤波图像生成模块，用于分别将初始仪表表盘图像进行高斯滤波和中值滤波处理，生成仪表表盘滤波图像。
初始刻度线分割图像生成子模块，用于通过目标语义分割模型对仪表表盘滤波图像进行刻度线分割，生成初始刻度线分割图像。
可选地，目标仪表表盘图像和目标刻度线分割图像生成模块303包括：
拟合椭圆中心生成模块，用于将初始刻度线分割图像的全部像素点坐标代入预设椭圆方程进行求解，生成拟合椭圆中心。
透视变换矩阵生成模块，用于采用拟合椭圆中心和初始仪表表盘图像进行透视变换计算，生成透视变换矩阵。
目标仪表表盘图像和目标刻度线分割图像生成子模块，用于采用透视变换矩阵对初始仪表表盘图像和对应的初始刻度线分割图像进行校准，生成目标仪表表盘图像和目标刻度线分割图像。
可选地，刻度线倾角生成模块304包括：
辅助圆构建模块，用于将拟合椭圆中心作为圆中心，按照第一预设半径构建辅助圆。
辅助圆列表构建模块，用于将辅助圆按照预设旋转起始点和旋转标准进行旋转，构建辅助圆列表。
线段构建模块，用于分别将辅助圆列表中各旋转点与圆中心，构建旋转点对应的线段。
辅助圆交集列表构建模块，用于采用全部与目标刻度线分割图像有交集的线段，构建辅助圆交集列表。
刻度线倾角生成子模块，用于计算辅助圆交集列表中的表盘最小值和最大值刻度线之间的倾角，生成刻度线倾角。
可选地，指针倾角生成模块305包括：
二值图生成模块，用于将目标仪表表盘图像进行灰度转换并采用最大类间方差法进行二值化，生成二值图。
圆形掩码图像构建模块，用于将拟合椭圆中心作为圆中心，按照第二预设半径构建圆形掩码图像。
内表盘二值图生成模块，用于将二值图和圆形掩码图像进行同位相乘，生成内表盘二值图。
指针轮廓图像确定模块，用于将内表盘二值图进行形态学开运算，生成连通域坐标列表，并将连通域坐标列表中的最大连通域作为指针轮廓图像。
指针骨架确定模块，用于采用轮廓细化算法对指针轮廓图像进行轮廓细化，确定指针骨架。
指针指尖像素点确定模块，用于分别计算指针骨架中各像素点与拟合椭圆中心的欧式距离，并将欧式距离最大值对应的点作为指针指尖像素点。
指针倾角生成子模块，用于采用指针指尖像素点进行指针倾角计算，生成指针倾角。
可选地，仪表读数数据集确定模块306包括：
第一差值生成模块，用于分别计算拟合椭圆中心与指针倾角对应的指针指尖向量之间的差值，生成第一差值。
第二差值生成模块，用于分别计算拟合椭圆中心与刻度线倾斜角对应的刻度线最小值坐标向量之间的差值，生成第二差值。
第三差值生成模块，用于分别计算拟合椭圆中心与刻度线倾斜角对应的刻度线最大值坐标向量之间的差值，生成第三差值。
第一角度生成模块，用于计算第一差值与第二差值之间的角度，生成第一角度。
第二角度生成模块，用于计算第二差值与第三差值之间的角度，生成第二角度。
指针读数生成模块，用于计算第一角度和第二角度之间的比值并乘以对应的仪表量程，生成指针读数。
仪表读数数据集确定子模块，用于采用全部指针读数，构建指针式仪表图像数据集对应的仪表读数数据集。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种指针式仪表读数方法，其特征在于，包括：
获取指针式仪表图像数据集，采用所述指针式仪表图像数据集进行仪表区域识别，生成初始仪表表盘图像；
将所述初始仪表表盘图像进行刻度线分割，生成初始刻度线分割图像；
分别将所述初始仪表表盘图像和对应的初始刻度线分割图像进行透视变换校准，生成目标仪表表盘图像和目标刻度线分割图像；
采用所述目标刻度线分割图像进行辅助圆构建，确定刻度线倾角；
采用最大连通域标记法和轮廓细化算法对所述目标仪表表盘图像进行指针倾角计算，生成指针倾角；
采用全部所述刻度线倾角和全部所述指针倾角，确定所述指针式仪表图像数据集对应的仪表读数数据集；
所述将所述初始仪表表盘图像进行刻度线分割，生成初始刻度线分割图像的步骤，包括：
按照预设划分比例，将所述指针式仪表图像数据集划分为语义分割训练集和语义分割测试集；
将所述语义分割训练集进行掩码处理，生成标签图像集；
采用多个变压器编码器模块作为编码器，多个卷积模块作为解码器，构建初始语义分割模型；
所述初始语义分割模型对应的损失函数为：
；
其中，交叉熵损失，表示样本ij预测为正类的概率，表示样本ij的标签值，正类为1，负类为0，N为样本总数；集合相似度度量函数，表示像素点i的标签值，正类为1，负类为0，表示像素点i预测为正类的概率，N为像素点样本总数；
采用所述语义分割训练集和所述标签图像集对所述初始语义分割模型进行模型训练，当所述损失函数不再减少时，生成中间语义分割模型；
采用所述语义分割测试集对所述中间语义分割模型进行模型测试，生成目标语义分割模型；
分别将所述初始仪表表盘图像进行高斯滤波和中值滤波处理，生成仪表表盘滤波图像；
通过所述目标语义分割模型对所述仪表表盘滤波图像进行刻度线分割，生成初始刻度线分割图像。
2.根据权利要求1所述的指针式仪表读数方法，其特征在于，所述采用所述指针式仪表图像数据集进行仪表区域识别，生成初始仪表表盘图像的步骤，包括：
采用所述指针式仪表图像数据集，构建模型训练集和模型测试集；
分别采用所述模型训练集中各图像对应的表盘区域位置和表盘类型标签，构建所述图像对应的数据交换文件；
采用所述模型训练集和全部所述数据交换文件对预设仪表区域识别模型进行模型训练，生成初始仪表区域识别模型；
采用所述模型测试集对所述初始仪表区域识别模型进行模型测试，生成目标仪表区域识别模型；
通过所述目标仪表区域识别模型对所述指针式仪表图像数据集进行目标识别，生成初始仪表表盘图像。
3.根据权利要求1所述的指针式仪表读数方法，其特征在于，所述分别将所述初始仪表表盘图像和对应的初始刻度线分割图像进行透视变换校准，生成目标仪表表盘图像和目标刻度线分割图像的步骤，包括：
将所述初始刻度线分割图像的全部像素点坐标代入预设椭圆方程进行求解，生成拟合椭圆中心；
采用所述拟合椭圆中心和所述初始仪表表盘图像进行透视变换计算，生成透视变换矩阵；
采用所述透视变换矩阵对所述初始仪表表盘图像和对应的初始刻度线分割图像进行校准，生成目标仪表表盘图像和目标刻度线分割图像。
4.根据权利要求3所述的指针式仪表读数方法，其特征在于，所述采用所述目标刻度线分割图像进行辅助圆构建，确定刻度线倾角的步骤，包括：
将所述拟合椭圆中心作为圆中心，按照第一预设半径构建辅助圆；
将所述辅助圆按照预设旋转起始点和旋转标准进行旋转，构建辅助圆列表；
分别将所述辅助圆列表中各旋转点与所述圆中心，构建所述旋转点对应的线段；
采用全部与所述目标刻度线分割图像有交集的所述线段，构建辅助圆交集列表；
计算所述辅助圆交集列表中的表盘最小值和最大值刻度线之间的倾角，生成刻度线倾角。
5.根据权利要求3所述的指针式仪表读数方法，其特征在于，所述采用最大连通域标记法和轮廓细化算法对所述目标仪表表盘图像进行指针倾角计算，生成指针倾角的步骤，包括：
将所述目标仪表表盘图像进行灰度转换并采用最大类间方差法进行二值化，生成二值图；
将所述拟合椭圆中心作为圆中心，按照第二预设半径构建圆形掩码图像；
将所述二值图和所述圆形掩码图像进行同位相乘，生成内表盘二值图；
将所述内表盘二值图进行形态学开运算，生成连通域坐标列表，并将所述连通域坐标列表中的最大连通域作为指针轮廓图像；
采用轮廓细化算法对所述指针轮廓图像进行轮廓细化，确定指针骨架；
分别计算所述指针骨架中各像素点与所述拟合椭圆中心的欧式距离，并将欧式距离最大值对应的点作为指针指尖像素点；
采用所述指针指尖像素点进行指针倾角计算，生成指针倾角。
6.根据权利要求3所述的指针式仪表读数方法，其特征在于，所述采用全部所述刻度线倾角和全部所述指针倾角，确定所述指针式仪表图像数据集对应的仪表读数数据集的步骤，包括：
分别计算所述拟合椭圆中心与所述指针倾角对应的指针指尖向量之间的差值，生成第一差值；
分别计算所述拟合椭圆中心与所述刻度线倾斜角对应的刻度线最小值坐标向量之间的差值，生成第二差值；
分别计算所述拟合椭圆中心与所述刻度线倾斜角对应的刻度线最大值坐标向量之间的差值，生成第三差值；
计算所述第一差值与所述第二差值之间的角度，生成第一角度；
计算所述第二差值与所述第三差值之间的角度，生成第二角度；
计算所述第一角度和所述第二角度之间的比值并乘以对应的仪表量程，生成指针读数；
采用全部所述指针读数，构建所述指针式仪表图像数据集对应的仪表读数数据集。
7.一种指针式仪表读数系统，其特征在于，包括：
初始仪表表盘图像生成模块，用于获取指针式仪表图像数据集，采用所述指针式仪表图像数据集进行仪表区域识别，生成初始仪表表盘图像；
初始刻度线分割图像生成模块，用于将所述初始仪表表盘图像进行刻度线分割，生成初始刻度线分割图像；
目标仪表表盘图像和目标刻度线分割图像生成模块，用于分别将所述初始仪表表盘图像和对应的初始刻度线分割图像进行透视变换校准，生成目标仪表表盘图像和目标刻度线分割图像；
刻度线倾角生成模块，用于采用所述目标刻度线分割图像进行刻度线倾角计算，生成刻度线倾角；
指针倾角生成模块，用于采用最大连通域标记法和轮廓细化算法对所述目标仪表表盘图像进行指针倾角计算，生成指针倾角；
仪表读数数据集确定模块，用于采用全部所述刻度线倾角和全部所述指针倾角，确定所述指针式仪表图像数据集对应的仪表读数数据集；
所述初始刻度线分割图像生成模块包括：
语义分割训练集和语义分割测试集生成模块，用于按照预设划分比例，将所述指针式仪表图像数据集划分为语义分割训练集和语义分割测试集；
标签图像集生成模块，用于将所述语义分割训练集进行掩码处理，生成标签图像集；
初始语义分割模型构建模块，用于采用多个变压器编码器模块作为编码器，多个卷积模块作为解码器，构建初始语义分割模型；
所述初始语义分割模型对应的损失函数为：
；
其中，交叉熵损失，表示样本ij预测为正类的概率，表示样本ij的标签值，正类为1，负类为0，N为样本总数；集合相似度度量函数，表示像素点i的标签值，正类为1，负类为0，表示像素点i预测为正类的概率，N为像素点样本总数；
中间语义分割模型生成模块，用于采用所述语义分割训练集和所述标签图像集对所述初始语义分割模型进行模型训练，当所述损失函数不再减少时，生成中间语义分割模型；
目标语义分割模型生成模块，用于采用所述语义分割测试集对所述中间语义分割模型进行模型测试，生成目标语义分割模型；
仪表表盘滤波图像生成模块，用于分别将所述初始仪表表盘图像进行高斯滤波和中值滤波处理，生成仪表表盘滤波图像；
初始刻度线分割图像生成子模块，用于通过所述目标语义分割模型对所述仪表表盘滤波图像进行刻度线分割，生成初始刻度线分割图像。
8.根据权利要求7所述的指针式仪表读数系统，其特征在于，所述初始仪表表盘图像生成模块包括：
模型训练集和模型测试集构建模块，用于采用所述指针式仪表图像数据集，构建模型训练集和模型测试集；
数据交换文件构建模块，用于分别采用所述模型训练集中各图像对应的表盘区域位置和表盘类型标签，构建所述图像对应的数据交换文件；
初始仪表区域识别模型生成模块，用于采用所述模型训练集和全部所述数据交换文件对预设仪表区域识别模型进行模型训练，生成初始仪表区域识别模型；
目标仪表区域识别模型生成模块，用于采用所述模型测试集对所述初始仪表区域识别模型进行模型测试，生成目标仪表区域识别模型；
初始仪表表盘图像生成子模块，用于通过所述目标仪表区域识别模型对所述指针式仪表图像数据集进行目标识别，生成初始仪表表盘图像。
CN202310799369.2A 2023-07-03 2023-07-03 一种指针式仪表读数方法和系统 Active CN116543376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310799369.2A CN116543376B (zh) 2023-07-03 2023-07-03 一种指针式仪表读数方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310799369.2A CN116543376B (zh) 2023-07-03 2023-07-03 一种指针式仪表读数方法和系统

Publications (2)

Publication Number Publication Date
CN116543376A CN116543376A (zh) 2023-08-04
CN116543376B true CN116543376B (zh) 2023-12-29

Family

ID=87458130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310799369.2A Active CN116543376B (zh) 2023-07-03 2023-07-03 一种指针式仪表读数方法和系统

Country Status (1)

Country Link
CN (1) CN116543376B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372937B (zh) * 2023-12-07 2024-03-29 江西理工大学南昌校区 一种基于指针仪表的数据读取方法
CN118736543A (zh) * 2024-06-24 2024-10-01 中国长江三峡集团有限公司 一种六氟化硫细指针型仪表智能读数方法、装置和设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714329A (zh) * 2013-12-31 2014-04-09 长安大学 一种仪表指针识别的检测算法
CN110287887A (zh) * 2019-06-26 2019-09-27 北京史河科技有限公司 一种刻度识别方法、装置及计算机存储介质
CN111209890A (zh) * 2020-01-15 2020-05-29 随锐科技集团股份有限公司 指针角度的智能读取方法及存储介质
CN111414934A (zh) * 2020-01-21 2020-07-14 国网浙江省电力有限公司湖州供电公司 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法
CN112115895A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN112560839A (zh) * 2020-12-02 2021-03-26 随锐科技集团股份有限公司 指针式仪表读数的自动识别方法及系统
CN113570631A (zh) * 2021-08-28 2021-10-29 西安安森智能仪器股份有限公司 一种基于图像的指针式仪表智能识别方法及设备
CN114663681A (zh) * 2022-01-10 2022-06-24 随锐科技集团股份有限公司 用于对指针式仪表进行读数的方法及其相关产品

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714329A (zh) * 2013-12-31 2014-04-09 长安大学 一种仪表指针识别的检测算法
CN110287887A (zh) * 2019-06-26 2019-09-27 北京史河科技有限公司 一种刻度识别方法、装置及计算机存储介质
CN111209890A (zh) * 2020-01-15 2020-05-29 随锐科技集团股份有限公司 指针角度的智能读取方法及存储介质
CN111414934A (zh) * 2020-01-21 2020-07-14 国网浙江省电力有限公司湖州供电公司 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法
CN112115895A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN112560839A (zh) * 2020-12-02 2021-03-26 随锐科技集团股份有限公司 指针式仪表读数的自动识别方法及系统
CN113570631A (zh) * 2021-08-28 2021-10-29 西安安森智能仪器股份有限公司 一种基于图像的指针式仪表智能识别方法及设备
CN114663681A (zh) * 2022-01-10 2022-06-24 随锐科技集团股份有限公司 用于对指针式仪表进行读数的方法及其相关产品

Also Published As

Publication number Publication date
CN116543376A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN116543376B (zh) 一种指针式仪表读数方法和系统
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
CN111368906B (zh) 一种基于深度学习的指针式油位计读数识别方法
CN112257676B (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN111488874A (zh) 一种指针式仪表倾斜校正方法及系统
CN109974743A (zh) 一种基于gms特征匹配及滑动窗口位姿图优化的rgb-d视觉里程计
CN114266881B (zh) 一种基于改进型语义分割网络的指针式仪表自动读数方法
Salomon et al. Image-based automatic dial meter reading in unconstrained scenarios
Fang et al. A mask RCNN based automatic reading method for pointer meter
CN115690500A (zh) 一种基于改进u2型网络的仪表识别方法
CN114743189A (zh) 指针式仪表读数识别方法、装置、电子设备及存储介质
JP4003465B2 (ja) 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
CN108764253A (zh) 指针式仪表数字化方法
CN105654042B (zh) 玻璃温度计的检定温度字符识别方法
Wang et al. Scale value guided Lite-FCOS for pointer meter reading recognition
Li et al. Instrument reading recognition by deep learning of capsules network model for digitalization in industrial internet of things
CN117372937B (zh) 一种基于指针仪表的数据读取方法
Singh et al. ViDAQ: A computer vision based remote data acquisition system for reading multi-dial gauges
US20240151556A1 (en) Analog meter reading system and method
Zhou et al. Deep learning-based intelligent reading recognition method of the digital multimeter
CN116310285B (zh) 一种基于深度学习的指针式仪表自动读数方法及系统
Shi et al. Design of Chinese character coded targets for feature point recognition under motion-blur effect
CN115588196A (zh) 基于机器视觉的指针型仪表读数方法和装置
CN114255458A (zh) 一种巡检场景下指针仪表读数的识别方法与系统
CN114155380A (zh) 一种仪表盘图像识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant