CN102609712A

CN102609712A - 用于移动机器人的类圆形指针式仪表读数方法

Info

Publication number: CN102609712A
Application number: CN2012100434158A
Authority: CN
Inventors: 王万国; 王滨海; 王振利; 李健; 李丽
Original assignee: Shandong Luneng Intelligence Technology Co Ltd
Current assignee: Shandong Luneng Intelligence Technology Co Ltd
Priority date: 2012-02-24
Filing date: 2012-02-24
Publication date: 2012-07-25
Anticipated expiration: 2032-02-24
Also published as: CN102609712B

Abstract

本发明公开了一种用于移动机器人的类圆形指针式仪表读数方法，手动提取目标仪表模板，进而该读数方法包括以下步骤：A.把移动机器人采集的目标图像灰度化，二值化；B.先提取步骤A所生成图像的表盘区域：利用Canny算法提取设备边界图像；取边界点，进而拟合椭圆；对获得的椭圆进行过滤，剔除掉被拟合成椭圆的非椭圆图像，得到表盘图像；C.在获得表盘图像区域内提取指针，进而得到指针的角度；D.提取数据库中对应目标仪表的指针角度与示数之间的关系计算步骤C所得角度对应的示数。本发明对机器人的定位精度具有鲁棒性，能够实现对仪表的准确读数，且计算量小，前期数据库建立简单。

Description

用于移动机器人的类圆形指针式仪表读数方法

技术领域

本发明涉及一种计算机图像处理方法，具体是，涉及一种基于移动机器人图像采集的指针式仪表自动读数的方法；类圆形是由圆形和椭圆形组成的集合。

背景技术

在变电站中，仪表占据着重要的作用，对各类仪表的读数尤为重要，如何实现对各类仪表的读数关乎数据采集的准确性、采集难度小且成本低的重要因素。在现阶段，各类仪表图像的采集与识别，大多依靠固定摄像头来采集，在这种采集方式中表盘区域在所采集图像中的位置固定，容易识别，但需要安装大量的用于固定摄像头的设备，这不仅受资金消耗较大的影响，而且受变电站设备安全距离的制约。

而变电站巡检机器人，可以有效地解决上述问题，但是与固定摄像头相比，由于机器人运动的停靠精度和云台转动误差的影响，使得仪表在采集得到的图像中的位置不固定，需要进一步的加以改进，通过对表盘的提取以有效地解决这个问题，从而延伸出了图像识别技术在工业生产上的应用。

图像识别技术在工业生产尤其是电力运行、生产中有着非常广泛的应用，基于图像处理的仪表读数是其在电力系统中重要的应用方向。电力系统的通信机房和变电站设有很多设备仪表，如：油枕表、油温表、SF6开关压力表、电压表、电流表等。目前，对这些仪表的监测大多是利用远程固定视频监控系统实现的，仪表数值是通过对仪表指针进行实时监控并截取现场图像通过人工读取来实现的，这样做虽然能够准确的进行识读，但如前所述的位置安装和变电站安全距离问题，尤其是需要附加的人力支持，使得这种方案不再为当前所提倡。

利用移动机器人和图像处理技术，对仪表进行自主拍摄，并确定指针位置，自动计算指针读数，实时记录设备的状态，这对确保电力企业的生产安全有着重要的现实意义，也是将来无人值守变电站的趋势

椭圆作为一个重要的形状特征，在现实生活中大量存在，在很多领域中要求能够快速地检测出图像中的椭圆轮廓。现实生活中大量物体的透视投影均为椭圆, 椭圆拟合是后续物件辨识与测量的先决条件，椭圆的鲁棒精确提取在图像识别与计算机视觉中有着特别重要的意义。

中国第CN1581209A号发明专利申请公开提出了一种基于物体轮廓的变电站中圆/椭圆/方形仪表监测方法，其基本方案是总控制端计算机基于存有基于物体轮廓的圆/椭圆/矩形搜索、检测算法的远程表检测/读取模块，通过无线局域网控制变电站中的巡检机器人，按照预先设定的巡检路线，在设定的搜索空间范围内通过搜索子程序锁定仪表的空间位置，然后用可见光摄像头获取仪表几何图像，通过无线局域网发回总控制端进行数据处理以达到远程监控的目的。该方法仍然需要精确地控制巡检机器人的准确定位，也就是依赖于理想状态下巡检机器人的定位，以保证图像采集的准确性，对表盘的寻找不具有鲁棒性，且对系统地控制代价太高。

作为进一步的改进，中国CN101620682A申请公开提出了一种指针式仪表读数方法，该方法建立不同仪表的刻度查询表，形成数据库；采集仪表图像，输入仪表图像并对其进行预处理，以提取仪表表盘的有效识别区域；从仪表表盘的有效识别区域中，利用指针和刻度线笔画特征，提取仪表的指针和刻度线；根据提取的指针和刻度线，将提取的刻度线与刻度查询表数据库中对应的刻度查询表进行匹配，进行读数自动识别。该方案相对于前述的CN1581209A有较大的改进，但这种方法只能适应于固定监控点，对表盘的寻找不具有鲁棒性，对于复杂室外环境下，无法实现对仪表的精确定位。尤其是要建立繁琐的数据库，前期工作量非常大。

发明内容

因此，本发明的目的在于提供一种用于移动机器人的类圆形指针式仪表读数方法，对机器人的定位精度具有鲁棒性，能够实现对仪表的准确读数，且计算量小，前期数据库建立简单。

为了实现本发明的发明目的，所采用的技术方案为：

该发明一种用于移动机器人的类圆形指针式仪表读数方法，手动提取目标仪表模板，标记目标仪表刻度与角度的对应关系，存入数据库，进而该读数方法包括以下步骤：

A.把移动机器人采集的目标图像灰度化，二值化；

B.先提取步骤A所生成图像的表盘区域：利用Canny算法提取设备边界图像；取边界点，进而拟合椭圆；对获得的椭圆进行过滤，剔除掉被拟合成椭圆的非椭圆图像，得到表盘图像；

C.在获得表盘图像区域内提取指针，进而得到指针的角度；

D.提取数据库中对应目标仪表的指针角度与示数之间的关系计算步骤C所得角度对应的示数。

本发明的有益效果是前期工作只是通过机器人采集单张设备图像加入模板库，对应的仪表图像被手动提取，并根据获得的仪表图像进行手动的识别和标识，且可通过以其为基准设定相关读数参数，前期工作量非常小。机器人作业条件下的停靠精度对模板椭圆上仪表指针读数影响不大，除非是机器人挺高远远不到位，以至于椭圆率太小，理论上机器人的停靠精度可以满足本方法的应用，仪表在机器人获取图像中的形态差异并不十分明显，前期工作所获得模板能够满足示数的自动读取，对机器人停靠的精度具有鲁棒性。

较之已有的移动机器人仪表读数方法，本方案的读数精度在计算量减小的情况下，保持了较高的读数精度。

上述用于移动机器人的类圆形指针式仪表读数方法，取边界点时，若能够被提取的边界点个数大于阈值T _c，则利用最小二乘法拟合椭圆；否则，重新选择边界，这样可以滤出某些本不应该被拟合的图形，减小计算量。

上述用于移动机器人的类圆形指针式仪表读数方法，对获得的椭圆进行过滤的方法是，首先计算提取的边界点与所拟合椭圆的距离，并设定一阈值T _d ，小于该阈值的边界点为匹配点，所有匹配点与所提取边界点的比值定义为拟合率，并计算所得椭圆的椭圆率，从而在被过滤椭圆的椭圆率大于设定的椭圆率阈值且拟合率大于设定的拟合率阈值时，记录所得椭圆，据此可以滤除大多数的噪声。

上述用于移动机器人的类圆形指针式仪表读数方法，为了获得更精确的表盘图像，执行多次的步骤B得到多个表盘图像，然后对所得的多个表盘图像进行最优椭圆选择的步骤，把获得的最优椭圆作为最终的表盘图像。

上述用于移动机器人的类圆形指针式仪表读数方法，最优椭圆选择的步骤为，首先计算出所有所得表盘图像对应拟合椭圆的面积，以对应的目标仪表模板对应的手动提取的椭圆面积为理想椭圆面积，遍历所有所得表盘图像与理想椭圆面积的差值的绝对值，定义为面积差，取面积差最小的拟合椭圆作为最优椭圆。

上述用于移动机器人的类圆形指针式仪表读数方法，所述椭圆率阈值为0.85，拟合率阈值为0.8。

上述用于移动机器人的类圆形指针式仪表读数方法，还包括针对某一目标仪表模板及读数方法的参数在移动机器人作业前的测试步骤，通过在测试椭圆中混入其他图形，验证能否分检出测试椭圆，这可以用于对某些阈值进行调试。

附图说明

图1为二维平面中的椭圆。

图2 为依据本发明一种用于移动机器人的类圆形指针式仪表读数方法流程图。

具体实施方式

一种用于移动机器人上的指针式仪表自动读数的方法，首先应当建立模板库，根据移动机器人的巡检对象，设定巡检路线，并把巡检对象上的目标指针式仪表采集单张设备图像加入模板库。手动提取目标仪表模板，标记目标仪表刻度与角度的对应关系，存入数据库，进一步地，可以表示均匀与非均匀刻度类型的仪表，以匹配不同的指针角度与读数的关系。

生成模板后就可以针对对应的指针是仪表进行读数操作了，读数操作步骤如下：

Step1：输入待识别图像，即通过移动机器人采集相关图像并送入对应的识别器件，通过椭圆拟合算法获取待识别图像的表盘区域；

Step2：然后对表盘区域图像经过图像预处理算法实现指针检测；

Step3：对指针角度进行查询，获得仪表的示数。

所述step1中椭圆拟合算法的步骤如下：

A1.椭圆的表示方法：

参见说明书附图1，在二维平面坐标系中, 椭圆一般可以用两种形式来表示, 一种椭圆曲线方程的一般代数形式表示，如式（1）

Figure 2012100434158100002DEST_PATH_IMAGE001

(1)；

另外一种更直观的方式是用平面坐标系的几何参数表示, 即椭圆中心位置

, 长半轴和短半轴

Figure 2012100434158100002DEST_PATH_IMAGE003

，长轴的转角

, α, β 二维平面里的任意椭圆都可以用这5个参数唯一确定, 参数的几何意义如图1所示。两种表示形式的参数可用式(2) - 式(5)转换.

Figure 2012100434158100002DEST_PATH_IMAGE005

(2)；

(3)；

(4)；

(5)；

Figure 2012100434158100002DEST_PATH_IMAGE009

(6)；

A2.最小二乘法拟合椭圆

假设一般形式的椭圆方程如式(1)所列，将椭圆表示为两个向量相乘的隐式方程

（7）；

其中

为（A,B,C,D,E,F），即系数向量，

，因为误差，

Figure 2012100434158100002DEST_PATH_IMAGE013

在点

不为零，将

认为点

到隐式方程

的代数距离，根据最小二乘原理，曲线拟合问题可以通过将代数距离平方和

（8）；

最小化来实现。由极值原理, 欲使f (A,B, C, D, E )值为最小,必有

（9）；

由此可得一个线性方程组，然后应用求解线性方程组的算法(如全主元高斯消去法)，结合约束条件，就可以求得方程系数A, B, C, D, E, F 的值，最终得到椭圆方程。

A3.基于边界的椭圆拟合及筛选：

通过最小二乘法进行椭圆拟合时，仅能得到具有最小误差的椭圆，并未考虑所得椭圆与原始的边界拟合程度，导致得到的椭圆与实际有较大偏差，算法结果往往并不令人满意。在此情况下, 通过对拟合得到的椭圆进行评价筛选是非常有必要的。本方案提出了一种基于边界的最小二乘椭圆拟合算法。

拟合时所采用的边界与得到椭圆的匹配程度，我们称为拟合率，是衡量所得拟合椭圆的重要指标。首先遍历需拟合的边界上的所有样本点，求取各个点到已拟合得到的椭圆之间的距离，如果小于某阈值T _d ，称该样本点为匹配点（match_points），并用num_matchPt进行计数，遍历完毕，求取对于该拟合椭圆的匹配点的总个数( num_edgePt)，则拟合率为

（10）；

描述一个椭圆非常重要的是参数是它的长半轴(a)和短半轴(b)，通过定义椭圆率（ellipseRatio）和椭圆面积差来筛选拟合所得椭圆。

椭圆率定义：

（11）；

椭圆率的条件描述了拟合所得椭圆趋向于圆的程度，通过对长短轴的限制可以确定椭圆的大小。

面积差的定义：

（12）；

其中，

为理想椭圆面积，

为拟合所得椭圆面积。最终选择面积差最小的椭圆，如果不指定椭圆大小，则选择面积较大椭圆作为最优椭圆。

阈值T _d 可以根据测试进行选定，在区分非所需拟合椭圆与所需拟合椭圆的情形下，本领域的技术人员据此容易获取。

理想椭圆面积，表现在模板中，对模板中的指针式仪表进行手动提取，这种准确性不容置疑，以此获得的椭圆面积为基准椭圆，即理想椭圆，对应的面积即为理想椭圆面积。

更具体地，具体操作如下:

对移动机器人采集的目标图像进行灰度化，二值化，利用Canny算法提取边界图像；

然后针对获取的边界图像取边界，所获得样本，即边界点的个数若大于阈值T _C ，则利用最小二乘法拟合椭圆；否则，重新选择边界，直至获得所需拟合椭圆；

然后就可以跟据获得的拟合椭圆计算拟合率和椭圆率。根据公式（10）（11）计算得拟合率和椭圆率。

若满足椭圆率大于椭圆率阈值，拟合率大于拟合率阈值，记录所得椭圆E；

再计算椭圆E和理想椭圆面积差。根据公式(12)计算面积差；

根据原始获得的拟合椭圆循环执行步骤2) ~ 步骤5)，选择面积差最小的椭圆为最优椭圆。

上述具体操作见于说明书附图2。

参见说明书附图2，上述方法更准确的表征是图2所示的一种方案，图2中条件判断表明，可能一次椭圆拟合就可以获得所需要的最优椭圆，也可能会有很多次才能命中。当然，一次命中的可能性比较小，所以，因此，会有多次的边界点提取，也会有多次的拟合率验证，理论上再图2所示的流程中，边界集合后的步骤从前到后表现为前面的步骤的执行次数，通常会多于后面步骤的执行次数。

所述步骤Step2中图像的预处理取决于仪表指针，仪表指针区别于如挂钟指针，不强调装饰性，具有直线型的显著特点，因此，借助于目前比较流行的直线图形元素的提取本领域的技术人员在获得表盘的情况下容易获得指针，主要的的步骤如下：

B. 对经过灰度化合二值化的目标图像的表盘区域进行直线形态学算法，细化后实现指针的角度提取，直线要素的提取比较简单，在此不再赘述。

椭圆拟合实验是在以 VS2005为平台,在 Pentium(R) 2.66GHz, 1G 内存的 PC机上实现的。通过合成一些图像，主要是椭圆及其他被混入的图像，然后通过椭圆拟合实验，能够拟合出效果比较好的椭圆，并不被其他的图像所干扰，能够得到所有椭圆图形。

另外实验证明，如果不进行过滤，机器人采集变电站内油枕表图像中可能含有其他具有园或者类圆形边界的图像，比如油枕边缘，也会拟合出相应的椭圆。通过对椭圆率，拟合率，椭圆大小等条件进行控制过滤，得到筛选后的拟合椭圆区域，正好为提取到的油枕表区域的图像。

在合成图像中，椭圆率选择较小，可以检测出较扁椭圆，拟合率较大，则能够检测图像中的所有椭圆形状。对机器人拍摄得仪表图像，椭圆率阈值一般选择0.85，拟合率阈值选择0.8，具有比较好的识别能力。方法消耗时间在10-25ms之间，满足实时性的要求。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种用于移动机器人的类圆形指针式仪表读数方法，其特征在于，手动提取目标仪表模板，标记目标仪表刻度与角度的对应关系，存入数据库，进而该读数方法包括以下步骤：

A.把移动机器人采集的目标图像灰度化，二值化；

C.在获得表盘图像区域内提取指针，进而得到指针的角度；

2.根据权利要求1所述的用于移动机器人的类圆形指针式仪表读数方法，其特征在于，取边界点时，若能够被提取的边界点个数大于阈值T _C，则利用最小二乘法拟合椭圆；否则，重新选择边界。

3.根据权利要求2所述的用于移动机器人的类圆形指针式仪表读数方法，其特征在于，对获得的椭圆进行过滤的方法是，首先计算提取的边界点与所拟合椭圆的距离，并设定一阈值T _d，小于该阈值的边界点为匹配点，所有匹配点与所提取边界点的比值定义为拟合率，并计算所得椭圆的椭圆率，从而在被过滤椭圆的椭圆率大于设定的椭圆率阈值且拟合率大于设定的拟合率阈值时，记录所得椭圆。

4.根据权利要求3所述的用于移动机器人的类圆形指针式仪表读数方法，其特征在于，执行多次的步骤B得到多个表盘图像，然后对所得的多个表盘图像进行最优椭圆选择的步骤，把获得的最优椭圆作为最终的表盘图像。

5.根据权利要求4所述的用于移动机器人的类圆形指针式仪表读数方法，其特征在于，最优椭圆选择的步骤为，首先计算出所有所得表盘图像对应拟合椭圆的面积，以对应的目标仪表模板对应的手动提取的椭圆面积为理想椭圆面积，遍历所有所得表盘图像与理想椭圆面积的差值的绝对值，定义为面积差，取面积差最小的拟合椭圆作为最优椭圆。

6.根据权利要求3至5任一所述的用于移动机器人的类圆形指针式仪表读数方法，其特征在于，所述椭圆率阈值为0.85，拟合率阈值为0.8。

7.根据权利要求1至6任一所述的用于移动机器人的类圆形指针式仪表读数方法，其特征在于，还包括针对某一目标仪表模板及读数方法的参数在移动机器人作业前的测试步骤，通过在测试椭圆中混入其他图形，验证能否分检出测试椭圆。