CN112906694A - 变电站倾斜式指针式仪表图像的读数矫正系统及方法 - Google Patents
变电站倾斜式指针式仪表图像的读数矫正系统及方法 Download PDFInfo
- Publication number
- CN112906694A CN112906694A CN202110322153.8A CN202110322153A CN112906694A CN 112906694 A CN112906694 A CN 112906694A CN 202110322153 A CN202110322153 A CN 202110322153A CN 112906694 A CN112906694 A CN 112906694A
- Authority
- CN
- China
- Prior art keywords
- pointer
- scale
- image
- module
- instrument
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012937 correction Methods 0.000 title claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 19
- 238000010276 construction Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 7
- 241000669069 Chrysomphalus aonidum Species 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 241000668842 Lepidosaphes gloverii Species 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
变电站倾斜式指针式仪表图像的读数矫正系统及方法，Step1、表盘刻度数字坐标和指针提取模型训练；Step2、表盘区域椭圆拟合，获得拟合圆心；Step3、提取指针直线，得到指针直线斜率值；Step4、矫正指针位置；Step5、仪表示数判读得到仪表读数。使用卷积神经网络提取仪表刻度数字坐标和指针区域，根据坐标点进行椭圆拟合确定椭圆中心，对指针进行直线检测确定直线斜率，由椭圆中心和指针直线斜率重新确定矫正指针位置，最后根据距离法读数实现倾斜仪表图像的精确读数。
Description
技术领域
本发明涉及仪表图像识别领域，具体涉及一种变电站倾斜式指针式仪表图像的读数矫正系统及方法。
背景技术
仪器仪表作为电力、能源和航空等工业领域中的监测设备，仪表的指示值反应着设备的运行情况。其中，指针式仪表具有耐温、耐压和抗磁等特点，因此被广泛应用在电力、能源等行业。近年来，随着智慧电网、智慧能源的发展需求，基于计算机视觉的指针式仪表智能读数成为研究热点，在变电站智能化管理中，机器人对变电站设备自动化巡检成为当前研究热点，指针式仪表作为主要的监测设备，机器人通过巡检拍照自动识别读数来判断设备的运行情况。针对倾斜指针式仪表图像直接读数误差较大，难以满足工业识别需求的问题。
现有技术也有对仪表读数进行矫正的技术，例如中国专利文献CN107766836A记载了一种圆形偏转指针式仪表读数矫正方法，根据标定结果进行椭圆拟合获得表盘区域，从目标图像中提取表盘区域图像，根据表盘区域图像计算拟合圆心；根据表盘圆心的位置、指针线段的顶点位置和指针实际顶点位置构成的三角形计算矫正角度，将指针线段的角度和矫正角度之和作为矫正后的指针角度；根据预设的指针角度与仪表读数的对应关系确定矫正后的指针角度对应的仪表读数。
在仪表读数矫正领域，使用现有技术进行仪表读数矫正具有以下现实问题：
(1)变电站场景中仪表数量众多，手动标定表盘区域和表盘圆心过程繁琐，传统图像检测方法在复杂环境下检测表盘区域和表盘圆心鲁棒性差；
(2)指针式仪表为三维立体结构，指针与表盘存在高度差，当相机倾斜拍摄采集到倾斜的仪表图像时，导致指针与表盘产生视觉差，此时的指针位置并非在表盘上的投影位置，如果以原指针的位置计算仪表读数存在较大的误差，针对这种情况急需一种倾斜仪表图像的指针位置矫正方法。
发明内容
本发明所要解决的技术问题是提供一种变电站倾斜式指针式仪表图像的读数矫正系统及方法，针对传统方法难以快速准确提取仪表盘刻度数字坐标和指针位置，提出了一种基于卷积神经网络的仪表刻度数字坐标和指针自动提取方法，避免了手动标注表盘坐标点的过程；同时针对采集倾斜的仪表图像，因为空间立体结构导致倾斜仪表图像的指针发生视觉偏差，直接以提取的指针位置计算仪表读数误差较大的问题，发明了一种指针位置矫正方法；最后根据矫正的指针位置准确得到仪表读数。
为解决上述技术问题，本发明所采用的技术方案是：
变电站倾斜式指针式仪表图像的读数矫正系统，包括依次连接的图像采集模块、卷积神经网络构建模块、仪表图像刻度坐标和指针区域提取模块、椭圆拟合模块、指针直线提取模块、指针矫正模块和仪表示数识别模块，图像采集模块通过可见光相机采集仪表图像，采集的图像发送至卷积神经网络构建模块进行模型训练，实时的目标图像通过训练好的模型送入仪表图像刻度坐标和指针区域提取模块，提取图像表盘上刻度数字的几何中心坐标和指针区域坐标，通过椭圆拟合模块进行表盘拟合，同时获得拟合圆心坐标，指针直线提取模块对提取的指针区域进行图像预处理和指针细化，获得指针直线斜率，指针矫正模块根据得到的椭圆圆心和指针斜率对指针直线位置进行矫正，得出指针线性方程，仪表示数识别模块计算出指针指示值。
上述的卷积神经网络构建模块包括以下子模块：
表盘数据集采集模块：采集指针式仪表图像数据集，数据集采集环境包括不同天气、不同光照、不同倾斜角度和不同类型的指针式仪表图像；
数据集增强模块：用于对仪表数据集样本扩充，在样本内添加噪声、旋转、亮度调整的样本，增加数据集数量；
数据集标注模块：集成图像标注工具LabelImg对数据集图像进行手动标注，标注表盘刻度数字和指针区域，标注图像目标对象用于模型有监督训练；
模型训练模块：使用目标检测网络对表盘刻度数字的几何中心及指针进行模型训练。
上述的椭圆拟合模块包括以下子模块：
目标函数构建模块：构建表盘椭圆方程的目标函数；
椭圆方程系数求解模块：对椭圆方程目标函数进行系数求解；
拟合圆心计算模块：根据椭圆方程得到拟合椭圆的圆心。
上述的仪表示数识别模块包括以下子模块：
刻度线区域提取模块；
刻度线区域空间变换模块：对表盘圆环型刻度线区域进行空间变换，将刻度延展为矩形区域；
刻度线补全模块：延展之后，对缺失的刻度线进行判断并补全；
刻度线个数统计模块：计算刻度线连通域的个数；
近邻刻度数字识别模块：识别指针左右两边的刻度数字；
仪表读数计算模块：计算仪表最终读数。
使用上述变电站倾斜式指针式仪表图像的读数矫正系统的矫正方法，包括以下步骤：
STEP1、表盘刻度坐标和指针提取模型训练；
STEP2、表盘区域椭圆拟合，根据提取的刻度数字坐标信息，使用最小二乘法拟合表盘椭圆，获得拟合圆心(Cx,Cy)；
STEP3、提取指针直线，对提取的指针区域进行图像预处理，指针细化等操作，然后使用Hough变换检测指针直线，获得直线斜率k，使用最小二乘法直线拟合法也可以得到指针直线斜率值；
STEP4、矫正指针位置，倾斜仪表图像的实际指针位置是过拟合圆心(Cx,Cy)并且与原始指针线平行的一条直线，矫正后的指针线方程为y＝kx-kCx+Cy；STEP5、仪表示数判读，本发明使用距离法根据指针线和左右刻度线之间的距离关系计算指针指示值，指针的近邻刻度数值使用卷积神经网络模型进行识别，最后得到仪表读数：
其中，
r为分度值，R为仪表读数值，a为指针左侧近邻刻度值，b为指针右侧近邻刻度值，N是两个刻度值对应的刻度线之间的格数，m是指针与前一个刻度值的格数，d为指针与左侧刻度线之间的距离，D为指针左右两条刻度线之间的距离。
上述的STEP1具体过程为：
STEP1.1、表盘数据集采集，使用变电站巡检机器人在变电站环境中采集指针式仪表数据集，数据集采集环境主要包括不同天气、不同光照、不同倾斜角度的指针式仪表图像；
STEP1.2、表盘数据集样本扩充，通过添加噪声、旋转和亮度调整操作进行样本扩充，增加数据集数量；
STEP1.3、数据集标注，使用图像标注工具LabelImg对数据集图像进行手动标注，标注表盘刻度数字区域和指针区域；
STEP1.4、模型训练，使用目标检测网络进行表盘刻度数字坐标及指针提取的模型训练。
上述的STEP2具体过程为：
STEP2.1、利用检测到的刻度数字中心坐标构建目标函数，设椭圆方程为：
Ax2+Bxy+Cy2+Dx+Ey+1＝0 (2)
STEP1中提取的表盘刻度数字中心坐标为(xi,yi),i＝1,2,…,N，N代表刻度数字个数，根据最小二乘法对公式(2)构建目标函数：
对(A,B,C,D,E)求F(A,B,C,D,E)的最小值；
STEP2.2、求解椭圆方程系数，根据最小二乘法原理，当F最小时，有：
结合求解线性方程组的方法求解方程得到(A,B,C,D,E)的值；
STEP2.3、计算拟合圆心坐标，根据椭圆方程得到拟合的椭圆圆心坐标为(Cx,Cy)，其中
上述的STEP3具体过程为：
STEP3.1、提取指针区域，通过STEP1中训练好的目标检测模型输出指针区域，在该区域内使用Hough变换检测指针直线；
STEP3.2、指针细化，包括图像二值化、形态学处理和图像细化操作；
STEP3.3、使用Hough变换检测图像中的指针直线，获得直线斜率k。
上述的STEP5具体过程为：
STEP5.1、刻度线区域提取；
STEP5.2、刻度线区域空间变换，使用图像处理方法，将圆环形刻度线区域进行空间变换，将刻度延展为矩形区域；
STEP5.3、刻度线补全，延展之后，检查刻度线的情况，通过计算刻度线的差值，对缺失的刻度线进行判断并补全；
STEP5.4、计算刻度线个数，通过计算刻度线连通域的个数求得刻度个数，在计算刻度线个数的时候，去掉指针所在的连通域；
STEP5.5、通过卷积神经网络识别距离指针左右最近的长刻度线对应的数值，表盘的刻度数值由0-9共10个字符组成，可以用图像分类的方法，也可以用目标检测的方法；
STEP5.6、计算仪表读数：计算指针与左右近邻刻度线之间的距离，结合近邻刻度数字的值，使用公式(1)计算仪表的真实读数。
本发明提供的一种变电站倾斜式指针式仪表图像的读数矫正系统及方法，使用卷积神经网络提取仪表刻度数字坐标和指针区域，根据刻度数字坐标进行椭圆拟合确定椭圆中心，对指针区域进行直线检测确定直线斜率，由椭圆中心和指针直线斜率重新确定指针位置，最后根据距离法读数实现倾斜仪表图像的读数矫正。
该方案具有以下优点：
(1)提出了一种基于卷积神经网络的表盘刻度数字坐标和指针区域检测的方法，提高了图像特征提取的准确率；
(2)针对工业环境中倾斜仪表图像中的指针与表盘存在高度差，导致指针在表盘上的投影位置存在偏差，提出了一种倾斜指针仪表图像的指针矫正方法；
(3)本发明中的指针式仪表读数方法流程可明显提高复杂变电站环境中的指针式仪表智能读数的准确度。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明的系统结构示意图；
图2为本发明指针示数识别模块的结构示意图；
图3为本发明的流程图；
图4为表盘关键点和指针提取模型构建流程图；
图5为仪表图像的指针修正后的结果图。
具体实施方式
以下结合附图和实施例详细说明本发明技术方案。
如图1-图2中所示，变电站倾斜式指针式仪表图像的读数矫正系统，包括依次连接的图像采集模块、卷积神经网络构建模块、仪表图像刻度坐标和指针区域提取模块、椭圆拟合模块、指针直线提取模块、指针矫正模块和仪表示数识别模块，图像采集模块通过可见光相机采集仪表图像，采集的图像发送至卷积神经网络构建模块进行模型训练，实时的目标图像通过训练好的模型送入仪表图像刻度坐标和指针区域提取模块，提取图像表盘上刻度数字的几何中心坐标和指针区域坐标，通过椭圆拟合模块进行表盘拟合，同时获得拟合圆心坐标，指针直线提取模块对提取的指针区域进行图像预处理和指针细化等操作，获得指针直线斜率，指针矫正模块对指针直线位置进行矫正，得出指针线性方程，仪表示数识别模块计算出指针指示值。
卷积神经网络中可以选择不同的网络结构，拥有目前常用的卷积神经网络结构，例如，R-CNN系列网络、YOLO系列网络、SSD等均可集成在该模块内，供使用者自己选择，在该模块中还包括数据增强、数据集标注、训练参数优化等操作，最后通过连接后端的服务器进行在线深度神经网络模型的训练；
仪表图像刻度坐标和指针区域提取模块，该模块集成训练好的卷积神经网络模型，通过光学设备采集仪表图像输入到该模块中，通过该模块提取仪表盘上的刻度关键点和指针区域坐标信息；
椭圆拟合模块，该模块中集成常用椭圆拟合算法，例如最小二乘法、直接计算方法、标准方程拟合方法等，根据提取的刻度数字几何中心坐标信息，使用椭圆拟合方法拟合表盘椭圆，同时获得拟合圆心(Cx,Cy)；
指针直线提取模块，该模块集成常用的直线检测算法，包括Hough变换法、LSD算法、FLD算法、EDlines算法等，在该模块中通过对模型3提取的指针区域进行图像预处理，指针细化等操作，然后使用直线检测算法检测指针直线，获得直线斜率k；
指针矫正模块，倾斜仪表图像的实际指针位置是过拟合圆心(Cx,Cy)并且与指针线平行的一条直线，该模块用于矫正指针直线位置，矫正后的指针线方程为y＝kx-kCx+Cy；
仪表示数识别模块，本模块中使用距离法根据指针线和左右刻度线之间的距离关系计算指针指示值，指针的近邻刻度数值使用CNN进行识别，最后得到仪表读数
上述的卷积神经网络构建模块包括以下子模块：
表盘数据集采集模块：使用变电站巡检机器人在变电站真实环境中采集指针式仪表数据集，数据集采集环境主要包括不同天气、不同光照、不同倾斜角度和多种类型的指针式仪表图像；
数据集增强模块：表盘数据集样本扩充，通过添加噪声、旋转和亮度调整操作进行样本扩充，增加数据集数量；
数据集标注模块：该模块集成图像标注工具Label Img对数据集图像进行手动标注，主要标注表盘刻度数字区域和指针区域；
模型训练模块：使用常用的目标检测网络R-CNN系列、YOLO系列、FCN、SSD等均可，本发明选择YOLOv3网络进行表盘刻度数字及指针提取的模型训练。
上述的椭圆拟合模块包括以下子模块：
目标函数构建模块：构建表盘椭圆方程的目标函数；
椭圆方程系数求解模块：对椭圆方程目标函数进行系数求解；
拟合圆心计算模块：根据椭圆方程得到拟合的椭圆圆心。
上述的仪表示数识别模块包括以下子模块：
刻度线区域提取模块；
刻度线区域空间变换模块：对表盘圆环型刻度线区域进行空间变换，将刻度延展为矩形区域；
刻度线补全模块：延展之后，检查刻度线的情况，通过计算刻度线的差值，对缺失的刻度线进行判断并补全，同时再次检查噪声对刻度线的干扰，通过同样的方法进行去重复；
刻度线个数统计模块：通过计算刻度线连通域的个数来求得刻度个数，在计算刻度线个数的时候，要注意去掉指针所在的连通域；
近邻刻度数字识别模块：刻度数字识别方法有多种，常用的有模板匹配法，CNN分类识别法等，本方法中将刻度字符0-9分为10个目标，使用端到端的YOLOv3直接进行识别，减去了数字串校正和数字串分割的过程，提高了仪表刻的数字识别的准确度；
仪表读数计算模块：首先计算指针与左右近邻刻度线之间的距离，结合近邻刻度数字的值，然后计算仪表最终读数。
如图3-5中所示，使用上述变电站倾斜式指针式仪表图像的读数矫正系统的矫正方法，包括以下步骤：
STEP1、表盘刻度坐标和指针提取模型训练；
STEP1.1、表盘数据集采集，使用变电站巡检机器人在变电站环境中采集指针式仪表数据集，数据集采集环境主要包括不同天气、不同光照、不同倾斜角度的指针式仪表图像；
STEP1.2、表盘数据集样本扩充，通过添加噪声、旋转和亮度调整操作进行样本扩充，增加数据集数量；
STEP1.3、数据集标注，使用图像标注工具LabelImg对数据集图像进行手动标注，标注表盘刻度数字和指针区域；
STEP1.4、模型训练，使用目标检测网络进行表盘刻度数字坐标及指针提取的模型训练；
STEP2、表盘区域椭圆拟合，根据提取的刻度数字关键点坐标信息，使用最小二乘法拟合表盘椭圆，获得拟合圆心(Cx,Cy)，如图3中所示，拟合的椭圆中心坐标为(315,281)；
STEP2.1、利用检测到的刻度数字坐标构建目标函数，设椭圆方程为：
Ax2+Bxy+Cy2+Dx+Ey+1＝0 (2)
STEP1中提取的表盘关键点坐标为(xi,yi),i＝1,2,…,N，N代表刻度数字个数，根据最小二乘法对公式(2)构建目标函数：
对(A,B,C,D,E)求F(A,B,C,D,E)的最小值；
STEP2.2、求解椭圆方程系数，根据最小二乘法原理，当F最小时，有：
结合求解线性方程组的方法求解方程得到(A,B,C,D,E)的值；
STEP2.3、计算拟合圆心坐标，根据椭圆方程得到拟合的椭圆圆心坐标为(Cx,Cy)，
其中
STEP3、提取指针直线，对提取的指针区域进行图像预处理，指针细化等操作，然后使用Hough变换检测指针直线，获得直线斜率k，使用最小二乘法直线拟合法也可以得到指针直线斜率值，本实施例中，指针斜率k＝6.02；
STEP3.1、提取指针区域，通过STEP1中训练好的目标检测模型输出指针区域，在该区域内使用Hough变换检测指针直线；
STEP3.2、指针细化，包括图像二值化、形态学处理和图像细化操作；
STEP3.3、使用Hough变换检测图像中的指针直线，获得直线斜率k；
STEP4、矫正指针位置，倾斜仪表图像的实际指针位置是过拟合圆心(Cx,Cy)并且与指针线平行的一条直线，矫正后的指针线方程为y＝kx-kCx+kCy，在本实施例中，矫正后得到的指针直线方程为y＝6.02x-1615.3；
STEP5、仪表示数判读，本发明使用距离法根据指针线和左右刻度线之间的距离关系计算指针指示值，指针的近邻刻度数值使用卷积神经网络进行识别，最后得到仪表读数：
其中，
r为分度值，R为仪表读数值，a为指针左侧近邻刻度值，b为指针右侧近邻刻度值，N是两个刻度值对应的刻度线之间的格数，m是指针与前一个刻度值的格数，d为指针与左侧刻度线之间的距离，D为指针左右两条刻度线之间的距离，在本实施例中，校正后的仪表读数为1.23，校正前的仪表读数为1.17，真实的仪表读数为1.22，可见，矫正后读数的相对误差更小，读数准确度更高。；
STEP5.1、刻度线区域提取；
STEP5.2、刻度线区域空间变换，使用图像处理方法，将圆环形刻度线区域进行空间变换，将刻度延展为矩形区域；
STEP5.3、刻度线补全，延展之后，检查刻度线的情况，通过计算刻度线的差值，对缺失的刻度线进行判断并补全；
STEP5.4、计算刻度线个数，通过计算刻度线连通域的个数求得刻度个数，
在计算刻度线个数的时候，去掉指针所在的连通域；
STEP5.5、通过卷积神经网络识别指针近邻刻度数字；
STEP5.6、计算仪表读数：计算指针与左右近邻刻度线之间的距离，结合近邻刻度数字的值，使用公式(1)计算仪表的真实读数。
Claims (9)
1.变电站倾斜式指针式仪表图像的读数矫正系统，其特征在于，包括依次连接的图像采集模块、卷积神经网络构建模块、仪表图像刻度坐标和指针区域提取模块、椭圆拟合模块、指针直线提取模块、指针矫正模块和仪表示数识别模块，图像采集模块通过可见光相机采集仪表图像，采集的图像发送至卷积神经网络构建模块进行模型训练，实时的目标图像通过训练好的模型送入仪表图像刻度坐标和指针区域提取模块，提取图像表盘上刻度数字的几何中心坐标和指针区域坐标，通过椭圆拟合模块进行表盘拟合，同时获得拟合圆心坐标，指针直线提取模块对提取的指针区域进行图像预处理和指针细化，获得指针直线斜率，指针矫正模块根据得到的椭圆圆心和指针斜率对指针直线位置进行矫正，得出指针线性方程，仪表示数识别模块计算出指针指示值。
2.根据权利要求1所述的变电站倾斜式指针式仪表图像的读数矫正系统，其特征在于，所述的卷积神经网络构建模块包括以下子模块：
表盘数据集采集模块：采集指针式仪表图像数据集，数据集采集环境包括不同天气、不同光照、不同倾斜角度和不同类型的指针式仪表图像；
数据集增强模块：用于对仪表数据集样本扩充，在样本内添加噪声、旋转、亮度调整的样本，增加数据集数量；
数据集标注模块：集成图像标注工具LabelImg对数据集图像进行手动标注，标注表盘刻度数字和指针区域，标注图像目标对象用于模型有监督训练；
模型训练模块：使用目标检测网络对表盘刻度数字的几何中心及指针进行模型训练。
3.根据权利要求2所述的变电站倾斜式指针式仪表图像的读数矫正系统，其特征在于，所述的椭圆拟合模块包括以下子模块：
目标函数构建模块：构建表盘椭圆方程的目标函数；
椭圆方程系数求解模块：对椭圆方程目标函数进行系数求解；
拟合圆心计算模块：根据椭圆方程得到拟合椭圆的圆心。
4.根据权利要求3所述的变电站倾斜式指针式仪表图像的读数矫正系统，其特征在于，所述的仪表示数识别模块包括以下子模块：
刻度线区域提取模块；
刻度线区域空间变换模块：对表盘圆环型刻度线区域进行空间变换，将刻度延展为矩形区域；
刻度线补全模块：延展之后，对缺失的刻度线进行判断并补全；
刻度线个数统计模块：计算刻度线连通域的个数；
近邻刻度数字识别模块：识别指针左右两边的刻度数字；
仪表读数计算模块：计算仪表最终读数。
5.使用上述权利要求4所述的变电站倾斜式指针式仪表图像矫正系统的矫正方法，其特征在于，包括以下步骤：
STEP1、表盘刻度坐标和指针提取模型训练；
STEP2、表盘区域椭圆拟合，根据提取的刻度数字坐标信息，使用最小二乘法拟合表盘椭圆，获得拟合圆心(Cx,Cy)；
STEP3、提取指针直线，对提取的指针区域进行图像预处理，指针细化等操作，然后使用Hough变换检测指针直线，获得直线斜率k，使用最小二乘法直线拟合法也可以得到指针直线斜率值；
STEP4、矫正指针位置，倾斜仪表图像的实际指针位置是过拟合圆心(Cx,Cy)并且与原始指针线平行的一条直线，矫正后的指针线方程为y＝kx-kCx+Cy；
STEP5、仪表示数判读，本发明使用距离法根据指针线和左右刻度线之间的距离关系计算指针指示值，指针的近邻刻度数值使用卷积神经网络模型进行识别，最后得到仪表读数：
其中，
r为分度值，R为仪表读数值，a为指针左侧近邻刻度值，b为指针右侧近邻刻度值，N是两个刻度值对应的刻度线之间的格数，m是指针与前一个刻度值的格数，d为指针与左侧刻度线之间的距离，D为指针左右两条刻度线之间的距离。
6.根据权利要求5所述的变电站倾斜式指针式仪表图像的读数矫正方法，其特征在于，所述的STEP1具体过程为：
STEP1.1、表盘数据集采集，使用变电站巡检机器人在变电站环境中采集指针式仪表数据集，数据集采集环境主要包括不同天气、不同光照、不同倾斜角度的指针式仪表图像；
STEP1.2、表盘数据集样本扩充，通过添加噪声、旋转和亮度调整操作进行样本扩充，增加数据集数量；
STEP1.3、数据集标注，使用图像标注工具LabelImg对数据集图像进行手动标注，标注表盘刻度数字区域和指针区域；
STEP1.4、模型训练，使用目标检测网络进行表盘刻度数字坐标及指针提取的模型训练。
7.根据权利要求5所述的变电站倾斜式指针式仪表图像的读数矫正方法，其特征在于，所述的STEP2具体过程为：
STEP2.1、利用检测到的刻度数字中心坐标构建目标函数，设椭圆方程为：
Ax2+Bxy+Cy2+Dx+Ey+1＝0 (2)
STEP1中提取的表盘刻度数字中心坐标为(xi,yi),i＝1,2,…,N，N代表刻度数字个数，根据最小二乘法对公式(2)构建目标函数：
对(A,B,C,D,E)求F(A,B,C,D,E)的最小值；
STEP2.2、求解椭圆方程系数，根据最小二乘法原理，当F最小时，有：
结合求解线性方程组的方法求解方程得到(A,B,C,D,E)的值；
STEP2.3、计算拟合圆心坐标，根据椭圆方程得到拟合的椭圆圆心坐标为(Cx,Cy)，其中
8.根据权利要求5所述的变电站倾斜式指针式仪表图像的读数矫正方法，其特征在于，所述的STEP3具体过程为：
STEP3.1、提取指针区域，通过STEP1中训练好的目标检测模型输出指针区域，在该区域内使用Hough变换检测指针直线；
STEP3.2、指针细化，包括图像二值化、形态学处理和图像细化操作；
STEP3.3、使用Hough变换检测图像中的指针直线，获得直线斜率k。
9.根据权利要求5所述的变电站倾斜式指针式仪表图像的读数矫正方法，其特征在于，所述的STEP5具体过程为：
STEP5.1、刻度线区域提取；
STEP5.2、刻度线区域空间变换，使用图像处理方法，将圆环形刻度线区域进行空间变换，将刻度延展为矩形区域；
STEP5.3、刻度线补全，延展之后，检查刻度线的情况，通过计算刻度线的差值，对缺失的刻度线进行判断并补全；
STEP5.4、计算刻度线个数，通过计算刻度线连通域的个数求得刻度个数，在计算刻度线个数的时候，去掉指针所在的连通域；
STEP5.5、通过卷积神经网络识别距离指针左右最近的长刻度线对应的数值，表盘的刻度数值由0-9共10个字符组成，可以用图像分类的方法，也可以用目标检测的方法；
STEP5.6、计算仪表读数：计算指针与左右近邻刻度线之间的距离，结合近邻刻度数字的值，使用公式(1)计算仪表的真实读数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110322153.8A CN112906694B (zh) | 2021-03-25 | 2021-03-25 | 变电站倾斜式指针式仪表图像的读数矫正系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110322153.8A CN112906694B (zh) | 2021-03-25 | 2021-03-25 | 变电站倾斜式指针式仪表图像的读数矫正系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112906694A true CN112906694A (zh) | 2021-06-04 |
| CN112906694B CN112906694B (zh) | 2022-10-04 |
Family
ID=76106518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110322153.8A Active CN112906694B (zh) | 2021-03-25 | 2021-03-25 | 变电站倾斜式指针式仪表图像的读数矫正系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112906694B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269193A (zh) * | 2021-06-08 | 2021-08-17 | 上海高德威智能交通系统有限公司 | 指针式表计的示数读取方法、装置及存储介质 |
| CN113343969A (zh) * | 2021-06-21 | 2021-09-03 | 重庆科技学院 | 一种基于GBS-YOLOv5s的指针式仪表智能数显方法 |
| CN113487515A (zh) * | 2021-07-26 | 2021-10-08 | 北京佳讯飞鸿电气股份有限公司 | 指针式仪表图像的倾斜校正方法及倾斜校正装置 |
| CN113537153A (zh) * | 2021-08-20 | 2021-10-22 | 杭州灵伴科技有限公司 | 仪表图像识别方法、装置、电子设备和计算机可读介质 |
| CN113627427A (zh) * | 2021-08-04 | 2021-11-09 | 中国兵器装备集团自动化研究所有限公司 | 一种基于图像检测技术的仪器仪表读数方法及系统 |
| CN113688831A (zh) * | 2021-08-23 | 2021-11-23 | 长安大学 | 一种基于yolov4的电力表计的故障识别方法和系统 |
| CN113705350A (zh) * | 2021-07-28 | 2021-11-26 | 广州中科云图智能科技有限公司 | 变电站的指针仪表读数识别方法、装置、介质和电子设备 |
| CN113837159A (zh) * | 2021-11-26 | 2021-12-24 | 中化学交通建设集团有限公司 | 一种基于机器视觉的仪表示数识别方法和装置 |
| CN114005108A (zh) * | 2021-11-08 | 2022-02-01 | 国网上海市电力公司 | 一种基于坐标变换的指针式仪表度数识别方法 |
| CN114037992A (zh) * | 2021-10-28 | 2022-02-11 | 软通动力信息技术(集团)股份有限公司 | 仪表示数识别方法、装置、电子设备及存储介质 |
| CN114037993A (zh) * | 2021-09-26 | 2022-02-11 | 佛山中科云图智能科技有限公司 | 变电站指针仪表读数方法、装置、存储介质以及电子设备 |
| CN114187460A (zh) * | 2021-11-19 | 2022-03-15 | 佳源科技股份有限公司 | 融合标注信息的指针式仪表读数方法、装置、设备及介质 |
| CN115330799A (zh) * | 2022-10-13 | 2022-11-11 | 江苏昱恒电气有限公司 | 一种仪表自动化故障诊断方法 |
| CN116012828A (zh) * | 2022-12-02 | 2023-04-25 | 长扬科技(北京)股份有限公司 | 指针式仪表识别方法、装置、电子设备及存储介质 |
| CN116092091A (zh) * | 2023-02-23 | 2023-05-09 | 河北工程大学 | 一种基于Labview视觉系统的仪表读数识别方法 |
| CN116189192A (zh) * | 2023-04-24 | 2023-05-30 | 东方电子股份有限公司 | 一种指针式仪表的智能读数识别方法及系统 |
| CN117372937A (zh) * | 2023-12-07 | 2024-01-09 | 江西理工大学南昌校区 | 一种基于指针仪表的数据读取方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010055425A1 (en) * | 2000-02-01 | 2001-12-27 | Ming-Yee Chiu | Method and apparatus for monitoring an analog meter |
| CN107609557A (zh) * | 2017-08-24 | 2018-01-19 | 华中科技大学 | 一种指针式仪表读数识别方法 |
| CN107766836A (zh) * | 2017-11-07 | 2018-03-06 | 国网黑龙江省电力有限公司检修公司 | 一种圆形偏转指针式仪表读数矫正方法 |
| CN110852954A (zh) * | 2019-11-19 | 2020-02-28 | 随锐科技集团股份有限公司 | 指针式仪表的图像倾斜校正方法及系统 |
| CN111199191A (zh) * | 2019-12-20 | 2020-05-26 | 南京理工大学 | 基于刻度搜索的指针式仪表自动读取方法 |
| AU2020103716A4 (en) * | 2020-11-27 | 2021-02-11 | Beijing University Of Posts And Telecommunications | Training method and device of automatic identification device of pointer instrument with numbers in natural scene |
-
2021
- 2021-03-25 CN CN202110322153.8A patent/CN112906694B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010055425A1 (en) * | 2000-02-01 | 2001-12-27 | Ming-Yee Chiu | Method and apparatus for monitoring an analog meter |
| CN107609557A (zh) * | 2017-08-24 | 2018-01-19 | 华中科技大学 | 一种指针式仪表读数识别方法 |
| CN107766836A (zh) * | 2017-11-07 | 2018-03-06 | 国网黑龙江省电力有限公司检修公司 | 一种圆形偏转指针式仪表读数矫正方法 |
| CN110852954A (zh) * | 2019-11-19 | 2020-02-28 | 随锐科技集团股份有限公司 | 指针式仪表的图像倾斜校正方法及系统 |
| CN111199191A (zh) * | 2019-12-20 | 2020-05-26 | 南京理工大学 | 基于刻度搜索的指针式仪表自动读取方法 |
| AU2020103716A4 (en) * | 2020-11-27 | 2021-02-11 | Beijing University Of Posts And Telecommunications | Training method and device of automatic identification device of pointer instrument with numbers in natural scene |
Non-Patent Citations (2)
| Title |
|---|
| 周登科等: "基于深度学习的指针式仪表倾斜校正方法", 《计算机辅助设计与图形学学报》 * |
| 汤亮等: "基于空间变换的指针式仪表读数识别算法研究", 《电测与仪表》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113269193A (zh) * | 2021-06-08 | 2021-08-17 | 上海高德威智能交通系统有限公司 | 指针式表计的示数读取方法、装置及存储介质 |
| CN113343969A (zh) * | 2021-06-21 | 2021-09-03 | 重庆科技学院 | 一种基于GBS-YOLOv5s的指针式仪表智能数显方法 |
| CN113487515A (zh) * | 2021-07-26 | 2021-10-08 | 北京佳讯飞鸿电气股份有限公司 | 指针式仪表图像的倾斜校正方法及倾斜校正装置 |
| CN113705350A (zh) * | 2021-07-28 | 2021-11-26 | 广州中科云图智能科技有限公司 | 变电站的指针仪表读数识别方法、装置、介质和电子设备 |
| CN113627427A (zh) * | 2021-08-04 | 2021-11-09 | 中国兵器装备集团自动化研究所有限公司 | 一种基于图像检测技术的仪器仪表读数方法及系统 |
| CN113627427B (zh) * | 2021-08-04 | 2023-09-22 | 中国兵器装备集团自动化研究所有限公司 | 一种基于图像检测技术的仪器仪表读数方法及系统 |
| CN113537153A (zh) * | 2021-08-20 | 2021-10-22 | 杭州灵伴科技有限公司 | 仪表图像识别方法、装置、电子设备和计算机可读介质 |
| CN113688831A (zh) * | 2021-08-23 | 2021-11-23 | 长安大学 | 一种基于yolov4的电力表计的故障识别方法和系统 |
| CN113688831B (zh) * | 2021-08-23 | 2023-11-21 | 浙江朗坤电力工程检测有限公司 | 一种基于yolov4的电力表计的故障识别方法和系统 |
| CN114037993A (zh) * | 2021-09-26 | 2022-02-11 | 佛山中科云图智能科技有限公司 | 变电站指针仪表读数方法、装置、存储介质以及电子设备 |
| CN114037992A (zh) * | 2021-10-28 | 2022-02-11 | 软通动力信息技术(集团)股份有限公司 | 仪表示数识别方法、装置、电子设备及存储介质 |
| CN114005108A (zh) * | 2021-11-08 | 2022-02-01 | 国网上海市电力公司 | 一种基于坐标变换的指针式仪表度数识别方法 |
| CN114187460A (zh) * | 2021-11-19 | 2022-03-15 | 佳源科技股份有限公司 | 融合标注信息的指针式仪表读数方法、装置、设备及介质 |
| CN113837159A (zh) * | 2021-11-26 | 2021-12-24 | 中化学交通建设集团有限公司 | 一种基于机器视觉的仪表示数识别方法和装置 |
| CN115330799A (zh) * | 2022-10-13 | 2022-11-11 | 江苏昱恒电气有限公司 | 一种仪表自动化故障诊断方法 |
| CN116012828A (zh) * | 2022-12-02 | 2023-04-25 | 长扬科技(北京)股份有限公司 | 指针式仪表识别方法、装置、电子设备及存储介质 |
| CN116012828B (zh) * | 2022-12-02 | 2023-07-25 | 长扬科技(北京)股份有限公司 | 指针式仪表识别方法、装置、电子设备及存储介质 |
| CN116092091A (zh) * | 2023-02-23 | 2023-05-09 | 河北工程大学 | 一种基于Labview视觉系统的仪表读数识别方法 |
| CN116189192A (zh) * | 2023-04-24 | 2023-05-30 | 东方电子股份有限公司 | 一种指针式仪表的智能读数识别方法及系统 |
| CN116189192B (zh) * | 2023-04-24 | 2023-07-25 | 东方电子股份有限公司 | 一种指针式仪表的智能读数识别方法及系统 |
| CN117372937A (zh) * | 2023-12-07 | 2024-01-09 | 江西理工大学南昌校区 | 一种基于指针仪表的数据读取方法 |
| CN117372937B (zh) * | 2023-12-07 | 2024-03-29 | 江西理工大学南昌校区 | 一种基于指针仪表的数据读取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112906694B (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112906694B (zh) | 变电站倾斜式指针式仪表图像的读数矫正系统及方法 | |
| CN112818988B (zh) | 一种指针式仪表自动识别读数方法及系统 | |
| CN110659636B (zh) | 基于深度学习的指针式仪表读数识别方法 | |
| CN106778823B (zh) | 一种指针式仪表读数自动识别方法 | |
| CN111950330A (zh) | 一种基于目标检测的指针式仪表示数检测方法 | |
| CN104899609B (zh) | 一种基于图像配准的机械式表计识别方法 | |
| CN109508709B (zh) | 一种基于机器视觉的单指针仪表读数方法 | |
| CN112801094B (zh) | 一种指针式仪表图像倾斜校正方法 | |
| CN111507186B (zh) | 一种变电站指针式仪表读数识别方法 | |
| CN111598942A (zh) | 一种用于对电力设施仪表进行自动定位的方法及系统 | |
| CN102609712A (zh) | 用于移动机器人的类圆形指针式仪表读数方法 | |
| CN111368906A (zh) | 一种基于深度学习的指针式油位计读数识别方法 | |
| CN110909738A (zh) | 一种基于关键点检测的指针仪表自动读数方法 | |
| CN113469178B (zh) | 一种基于深度学习的电力表计识别方法 | |
| CN107092905B (zh) | 一种电力巡检机器人的待识别仪器定位方法 | |
| CN107239743B (zh) | 一种基于投影法的刻度线读数自动检测方法 | |
| CN113536895A (zh) | 一种圆盘指针表计识别方法 | |
| CN117152727A (zh) | 一种用于巡检机器人的指针式仪表自动读数方法 | |
| CN108205645A (zh) | 一种异源图像匹配系统的基准图质量评价方法 | |
| CN110211178A (zh) | 一种利用投影计算的指针式仪表识别方法 | |
| CN114898347A (zh) | 一种指针式仪表机器视觉识别方法 | |
| CN109359637B (zh) | 基于机器视觉的指针式仪表读值方法 | |
| CN112232209A (zh) | 用于变电站巡检机器人的指针式仪表盘读数的识别方法 | |
| CN115661446A (zh) | 基于深度学习的指针式仪表示数自动读取系统及方法 | |
| CN111539329B (zh) | 一种自适应的变电站指针仪表识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |