CN106607907A - 一种移动视觉机器人及其测控方法 - Google Patents

Abstract

本发明一种移动视觉机器人及其测控方法，利用机器视觉检测方法来获取移动机器人以及机器人操作目标的定位和状态信息，同时根据视觉图像所提供的信息控制机器人的移动和其他操作；机器人视觉图像由两个相机提供，其中一个相机固定于移动平台，采集机器人移动路径上的图像，另一个固定于机械手末端，采集机械手操作目标的图像细节；本发明根据获取的图像信息，采用图像畸变矫正和模式识别方法计算移动机器人以及特定目标的定位和状态信息，进而控制机器人对目标物体完成指令动作，同时提出了一种依靠视觉图像消除机器人运行过程中产生的累积误差的方法；本发明具有精度高，抗干扰强的特点，不需要复杂的环境支持，适用于各种实验室和工厂环境。

Description

一种移动视觉机器人及其测控方法

技术领域

本发明属于机器视觉图像测量与自动控制技术领域，特别涉及一种移动视觉机器人及其测控方法。

背景技术

随着机器人性能不断地完善，移动机器人的应用范围随之扩展，不仅在工业、农业、医疗、服务等行业中得到广泛的应用，而且在城市安全、国防和空间探测领域等有害与危险场合得到很好的应用。因此，移动机器人技术已经得到世界各国的普遍关注。移动机器人在代替人工劳动以及在危险环境中工作都起到了很好的效果，因此一款高效，安全，可靠的移动机器人对于自动化工业生产十分重要。而现有移动机器人的引导方式又有很大的局限性，GPS引导误差很大，无法进行精确的移动和操作，而常见的电磁感应式或类似的引导又对工作环境要求很高，并且移动路径几乎完全固定。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种移动视觉机器人及其测控方法，移动机器人通过视觉图像方法进行引导，使移动机器人实现灵活准确的移动方式，并且为了进一步提高机器人精度，采取全局图像和局部细节图像两套图像互补的方法，同时利用视觉信息消除累积误差。

为了实现上述目的，本发明采用的技术方案是：

一种移动视觉机器人，包括一个四轮全方位的移动平台1，移动平台1上固定一个可旋转并执行多种动作的机械手2，在移动平台1上用支架3固定有一台相机一4，可拍摄机器人正前方移动路径以及周围环境的全局图像，此外，在机械手2末端固定有一台相机二5，可根据实际情况调整机械手2位置及角度从而拍摄特定对象的细节图像，机器人移动平台1内部安装一台工控机6，用于接收动作指令，处理视觉图像，路径规划及发送操作指令等等。

所述四轮全方位移动平台1由四个安装有编码器7的直流电机8分别驱动四个全方位轮9所控制，可以实现狭小空间内各个方向的直行以及原地旋转等动作，所述相机一4可根据需求调整俯仰角和焦距等参数以满足对不同环境中的视距和视野范围等需求，所述相机二5位置跟随机械手2动作，视角总与机械手2操作平面相垂直。

工控机6通过串口向控制器10发送操作指令，控制器10生成对应的控制信号发送至移动平台1及机械手2的各个电机，并接收实时反馈信号实现负反馈控制，所述相机一4和相机二5同时将实时图像发送至工控机6以进行视觉分析，并根据视觉图像所提供的反馈信息实时控制移动机器人的各个动作。

本发明还提供了一种移动视觉机器人测控方法，包括以下步骤：

给定机器人具体动作指令，指令包含内容为对何种物体进行何种动作，以及目标物体的坐标方位；

计算并规划机器人移动平台1实际移动路径，工控机6根据路径产生操作指令控制机器人移动平台1转向目标位置；

机器人向目标位置移动，相机一4和相机二5实时采集移动路径上的图像，修正方向偏差并避免碰撞；

经过一次或多次移动接近目标位置后，根据相机一4采集的图像判断目标物体的具体方位坐标，修正移动路径；

令机器人机械手2移动至目标物体正上方后，根据相机二5采集的图像获取目标物体的精确位置与姿态信息，进而机械手2对目标物体完成指令中给定的动作；

根据相机一4采集的图像中的标定信息修正机器人移动平台1和机械手2的坐标误差，等待下一轮动作指令。

对于图像中目标物体的判断，是根据目标物体的多个特征构成的模型进行的，这些特征包括但不仅限于颜色特征，形状特征，大小特征，以及对应某些物体独有的突出特征，对于需要操作的物体需要分别对应相机一4采集的图像和相机二5采集的图像建立两套模型。主要思想是根据实际情况，首先根据颜色等特征对图像中的所有对象进行一次筛选，之后对筛选剩下的对象的提取轮廓进行模板匹配，从而得到目标物体在图像中的坐标位置。由于相机获取的图像会存在不同程度的畸变，因此需要对识别得到的目标物体在图像中的坐标进行坐标转换计算得到其世界坐标。

给定机器人移动指令时，仅需指出移动目的地的坐标，机器人便可自动计算最佳移动路径以并开始移动操作，同时记录并更新自身的坐标和方位角，同时机器人可根据周围环境特征修正移动误差造成的坐标偏移，防止累积误差产生而导致错误发生；误差修正过程主要利用相机一4采集的图像中可利用的正交于世界坐标系的直线特征或是标记，采用视觉方法计算这些直线的角度以及与机器人的距离，依次计算机器人的实际坐标和方位角，从而达到修正误差的目的。

与采用其他方式进行引导的移动机器人相比，本发明采用视觉检测方法，两台相机分别获取全局图像和局部图像，通过模式识别方法并利用全局图像与局部图像互补对目标物体进行定位，根据定位信息现场规划机器人移动路径，并根据图像信息实现对机器人的控制、方位修正和对目标的操作。实现了不同场景情况下的目标识别与定位、现场路径规划、机器人移动误差修正和计算机对移动机器人的自动控制。从而在具有较高移动和操作精度的前提下，可以灵活的给定移动机器人不同的操作指令使机器人对目标物体自动完成一些复杂的操作。并且对环境要求较小，抗干扰能力强，仅需简单的直线标志甚至不需要专用的标志便可完成运行。

附图说明

图1为本发明实验平台系统结构框图。

图2为本发明中移动机器人3D示意图。

图3为本发明中机器人移动平台底盘的内部俯视图。

图4为本发明的机器人视觉测控方法总体流程图。

图5为本发明的目标识别与定位图像算法流程图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明移动视觉机器人测控方法主要是给定机器人具体动作指令，指令包含内容为对何种物体进行何种动作，以及目标物体的坐标方位；计算并规划移动平台1实际移动路径，工控机6根据路径产生操作指令控制移动平台1转向目标位置；机器人向目标位置移动，相机一4和相机二5实时采集移动路径上的图像，修正方向偏差并避免碰撞；经过一次或多次移动接近目标位置后，根据相机一4采集的图像判断目标物体的具体方位坐标，修正移动路径；令机械手2移动至目标物体正上方后，根据相机二5采集的图像获取目标物体的精确位置与姿态信息，进而机械手2对目标物体完成指令中给定的动作；根据相机一4采集的图像中的标定信息修正移动平台1和机械手2的坐标误差，等待下一轮动作指令。

本发明搭建如下实验平台对该方法的可行性进行验证。

本发明使用移动移动平台1为四轮全方位移动平台，其上搭载一台五自由度机械手2，移动平台1内部搭载有一台工控机6可通过Wi-Fi接收远程指令并处理视觉图像，计算移动路径，发送操作指令。在移动平台1上机械手2后面使用支架3固定有一视角倾斜向下的相机一4，在机械手2夹具末端固定有另一相机二5视角朝向机械手操作方向。

对于移动机器人，其相机一4用于采集机器人正前方以及移动路径上的全局图像，可根据需求调整俯仰角和焦距等参数以满足对不同环境中的视距和视野范围等需求，相机二5用于采集不同操作情况下各种对象的细节图像，相机二5位置跟随机械手2动作，视角总与机械手2操作平面相垂直。相机一4和相机二5均通过USB接口与工控机6相连，以便将两部相机采集的图像都发送至工控机进行处理。

移动移动平台1内部安装工控机6、无线收发模块、控制器10和驱动器11，移动平台1的底盘上安装四个带有光电编码器7测速模块的12V直流电机8，直流电机8驱动四个全方位轮9带动移动平台1，通过一块12V锂离子电池12为机器人的所有电机和控制器10以及工控机6提供电源。控制器10和驱动器11通过串口与工控机6相连，控制器10接收到工控机6指令后，其处理器将指令解析并调制PWM信号输出值驱动器11，从而令驱动器11通过改变输入电压达到控制移动平台1各个电机以及机械手2的各个关节的运动。同时移动平台1电机编码器7和机械手2将反馈信号实时返回至控制器10，计算得到移动平台1各个电机的实际速度和机械手2的实际姿态，根据实际数据使用PID控制计算控制器10输出信号，令移动平台1各个电机速度趋近于给定速度，机械手2姿态趋近于给定姿态，从而实现负反馈控制。

基于该系统装置，基于相机一4和相机二5获取到的图像，首先采用canny算子获取图像中的所有轮廓，设定合适的面积阈值，超过阈值的轮廓为图像中的有效目标，其余为噪声，之后对每一个轮廓进行判断，判定轮廓为已知目标物体或是地面标示和移动路径上的障碍。判定轮廓的方法为，首先计算轮廓中的相减混色，即提取轮廓内部图像中的RGB分量分别对应计算混合颜色空间模型参数并取平均，包括R-B，R-G，B-G分量，通过比较混合颜色空间模型与模板的相似度对轮廓进行第一轮分类，混合颜色空间模型可以有效提取出目标轮廓的显著颜色特征而受光照强弱影响较小，避免了现场光照变化对装置效果产生的影响。之后对这些轮廓采用归一化相关系数匹配法与可能存在的目标模板进行模板匹配，目标模板在加入新目标时采集得到，分为对应相机一4图像和相机二5图像的两套模板。在提取出可能存在的所有目标后，便可得知目标物体在图像中的坐标，对于图像中的其他轮廓，首先滤除噪声干扰，之后根据轮廓大小判断是否为移动路径上的障碍或是其他标示。

通过分析相机一4拍摄到的图片并获取到目标物体在图像中的坐标后，由于图像存在畸变，对于矩形图片对应的实际地面为一倒立的梯形，因此需要通过畸变校正将图像坐标系转换为世界坐标系，转换方法如下：假设目标在图像中的坐标为(u,v)，相机一4俯仰角为θ，焦距为f，视角为α，相机一4距地面高度为h，对比图像与实际地面可以发现，产生的畸变分为横向畸变和纵向畸变两类，对于横向畸变，即X轴方向上的畸变，可近似认为是线性的；而对于纵向畸变，即Y轴上的畸变，相机一4远处的目标会被压缩，并且目标距离相机一4越远时，压缩越严重，这种压缩是非线性的。因此计算目标在世界坐标系中的坐标(x,y)中坐标x的近似值为：

x＝kuv

其中k为图像坐标系中像素距离与世界坐标系中实际距离在X轴方向上的比例系数。

坐标y的近似值为：

由于上述的坐标变换及机器人的移动均会存在一定的误差，若要对目标物体做到更精确的操作，必须达到更高的定位精度，因此在机器人接近目标物体后，使用相机二5拍摄得到的图像进行精确定位。当机械手2末端大致位于目标物体上方且相机二5视角与物体放置表面垂直时，通过上述目标定位方法可识别出目标物体在相机二5拍摄得到图像中的坐标，由于拍摄距离较近，图像畸变可忽略不计，从而通过线性变换便可求得目标物体相对于机械手2末端的坐标，由于机械手2末端的位置是可知的，因此可以得到目标物体的世界坐标，据此便可进一步对目标物体进行各种精确操作。

在机器人移动时，给定移动目的地世界坐标(x_d,y_d)后，根据机器人所记录的自身坐标(x_c,y_c)和方位角θ_c，计算得到相应的机器人转向角度θ_t为：

机器人移动距离d为：

得到机器人的转向角度θ_t和移动距离d之后，据此进行移动，并更新机器人自身坐标(x_c,y_c)和方位角θ_c。在移动过程中，由于地面环境等多种因素，每次移动之后会累积一定的误差，若不进行修正，则多次移动后误差累积过大，同时机器人自身坐标(x_c,y_c)和方位角θ_c偏差过大导致坐标系混乱无法使用。因此在每3到5次移动之后应进行误差修正，使方位角θ_c和机器人自身坐标(x_c,y_c)保持准确。方位角的修正过程主要根据周围环境特征进行，一般机器人的运行环境地面会有正交于世界坐标系的直线特征可供利用，例如墙壁于地面接壤处，地表纹路，以及桌面边沿等等，如果运行环境中不存在类似的特征，则需增加简单的直线标示。机器人在静止状态下时，使用Hough变换检测得到相机一4得到的图像中的所有直线，根据当前机器人方位角θ_c提取出倾斜角度接近于和-θ_c并且长度大于所设定阈值的直线，通过该直线倾斜角度便可得到机器人准确的方位角。机器人自身坐标的修正则需要依靠某个已知坐标的标定点，根据识别出相机一4得到的图像中标定点的坐标，转换得到标定点相对于移动平台1的坐标，进一步便可得到移动平台1的准确坐标。

通过以上方法，便可以实现移动机器人的目标定位，自动控制和误差修正等功能。本发明根据获取的图像信息，采用图像畸变矫正和模式识别方法计算移动机器人以及特定目标的定位和状态信息，进而控制机器人对目标物体完成指令动作，具有精度高，抗干扰强的特点，不需要复杂的环境支持，适用于各种实验室和工厂环境。

Claims (10)

1.一种移动视觉机器人，包括一个四轮全方位的移动平台(1)，移动平台上(1)固定一个可旋转并执行多种动作的机械手(2)，其特征在于，在移动平台(1)上用支架(3)固定有一台用于拍摄机器人正前方移动路径以及周围环境全局图像的相机一(4)，在机械手(2)末端固定有朝向操作方向的相机二(5)，用于根据实际情况调整机械手(2)位置及角度从而拍摄特定对象的细节图像，在移动平台(1)内部安装一台工控机(6)，用于接收动作指令，处理视觉图像，路径规划及发送操作指令。

2.根据权利要求1所述移动视觉机器人，其特征在于，所述移动平台(1)由四个安装有编码器(7)的直流电机(8)分别驱动四个全方位轮(9)所控制，从而实现狭小空间内包括各个方向的直行以及原地旋转在内的各种动作；所述相机一(4)的俯仰角和焦距可调，以满足对不同环境中的视距和视野范围需求；所述相机二(5)跟随机械手(2)动作，视角始终与机械手(2)操作平面相垂直。

3.根据权利要求1所述移动视觉机器人，其特征在于，所述工控机(6)通过串口向机器人控制器(10)发送操作指令，控制器(10)生成对应的控制信号发送至移动平台(1)及机械手(2)的各个电机，并接收实时反馈信号实现负反馈控制，所述相机一(4)和相机二(5)同时将实时图像发送至工控机(6)以进行视觉分析，并根据视觉图像所提供的反馈信息实时控制移动机器人的各个动作。

4.权利要求1所述移动视觉机器人的测控方法，其特征在于，包括以下步骤：

给定机器人具体动作指令，指令包含内容为对何种物体进行何种动作，以及目标物体的坐标方位；

计算并规划移动平台(1)实际移动路径，工控机(6)根据路径产生操作指令控制移动平台(1)转向目标位置；

移动平台(1)向目标位置移动，相机一(4)和相机二(5)实时采集移动路径上的图像，修正方向偏差并避免碰撞；

在经过一次或多次移动接近目标位置后，根据相机一(4)采集的图像判断目标物体的具体方位坐标，修正移动路径；

令机器人机械手(2)移动至目标物体正上方后，根据相机二(5)采集的图像获取目标物体的精确位置与姿态信息，进而机械手(2)对目标物体完成指令中给定的动作；

根据相机一(4)采集的图像中的标定信息修正机器人移动平台(1)和机械手(2)的坐标误差，等待下一轮动作指令。

5.根据权利要求4所述的测控方法，其特征在于，对于图像中目标物体位置和方位的判断，是利用对目标物体的多个特征构造的模型进行模板匹配进行的，对于需要操作的目标物体，对应相机一(4)采集的图像和相机二(5)采集的图像建立两套模型，分别用于两种图像的目标物体定位；首先根据特征对图像中的所有对象进行一次筛选，之后对筛选剩下的对象的提取轮廓进行模板匹配，从而得到目标物体在图像中的坐标位置。

6.根据权利要求5所述的测控方法，其特征在于，所述目标物体在图像中的坐标位置通过如下方法获取：

首先采用canny算子获取图像中的所有轮廓，设定合适的面积阈值，超过阈值的轮廓为图像中的有效目标，其余为噪声，之后对每一个轮廓进行判断，判定轮廓为已知目标物体或是地面标示和移动路径上的障碍；

之后对这些轮廓采用归一化相关系数匹配法与可能存在的目标模板进行模板匹配，目标模板在加入新目标时采集得到，分为对应相机一(4)图像和相机二(5)图像的两套模板，在提取出可能存在的所有目标后，即获取目标物体在图像中的坐标，对于图像中的其他轮廓，首先滤除噪声干扰，之后根据轮廓大小判断是否为移动路径上的障碍或是其他标示。

7.根据权利要求5所述的测控方法，其特征在于，所述特征包含颜色特征，形状特征，大小特征，以及对应某些目标物体独有的突出特征；对得到的目标物体在图像中坐标进行坐标转换获取其世界坐标，以消除相机拍摄的图像存在的不同程度的畸变。

8.根据权利要求7所述的测控方法，其特征在于，所述对得到的目标物体在图像中坐标进行坐标转换获取其世界坐标的转换方法如下：

假设目标在图像中的坐标为(u,v)，相机一(4)俯仰角为θ，焦距为f，视角为α，相机一(4)距地面高度为h，目标在世界坐标系中的坐标(x,y)中坐标x的近似值为：

x＝kuv

其中k为图像坐标系中像素距离与世界坐标系中实际距离在X轴方向上的比例系数；

坐标y的近似值为：

$y=h\frac{\tan \mathrm{\θ}+v/f-\tan \mathrm{\α}}{1+\tan \mathrm{\θ}(\tan \mathrm{\θ}-v/f)}$

在机器人接近目标物体后，使用相机二(5)拍摄得到的图像进行精确定位；当机械手(2)末端大致位于目标物体上方且相机二(5)视角与物体放置表面垂直时，识别出目标物体在相机二(5)拍摄得到图像中的坐标，通过线性变换求得目标物体相对于机械手(2)末端的坐标，进而得到目标物体的世界坐标。

9.根据权利要求4所述的测控方法，其特征在于，给定机器人移动指令时，仅指出移动目的地的坐标，机器人自动计算最佳移动路径以并开始移动操作，同时记录并更新自身的坐标和方位角，并根据周围环境特征修正移动误差造成的坐标偏移，防止累积误差产生而导致错误发生；误差修正过程主要利用相机一(4)采集的图像中可利用的正交于世界坐标系的直线特征或是标记，采用视觉方法计算这些直线的角度以及与机器人的距离，依次计算机器人的实际坐标和方位角，从而达到修正误差的目的。

10.根据权利要求4所述的测控方法，其特征在于，在机器人移动时，给定移动目的地世界坐标(x_d,y_d)后，根据机器人所记录的自身坐标(x_c,y_c)和方位角θ_c，计算得到相应的机器人转向角度θ_t为：

${\mathrm{\&theta;}}_t=\left\{\begin{array}{cc}\arctan \left(\frac{x_d-x_c}{y_d-y_c}\right)-{\mathrm{\&theta;}}_c,& y_d>y_c\\ \frac{\mathrm{\&pi;}}{2}-{\mathrm{\&theta;}}_c,& y_d=y_c,x_d>x_c\\ -\frac{\mathrm{\&pi;}}{2}-{\mathrm{\&theta;}}_c,& y_d=y_c,x_d>x_c\\ \arctan \left(\frac{x_d-x_c}{y_d-y_c}\right)-{\mathrm{\&theta;}}_c+\mathrm{\&pi;},& y_d<y_c\end{array}\right.$

机器人移动距离d为：

$d=\sqrt{{(x_d-x_c)}^2+{(y_d-y_c)}^2}$

得到机器人的转向角度θ_t和移动距离d之后，据此进行移动，并更新机器人自身坐标(x_c,y_c)和方位角θ_c；

在机器人每3到5次移动之后进行误差修正，使方位角θ_c和机器人自身坐标(x_c,y_c)保持准确，方位角的修正过程主要根据周围环境特征进行，首先选择利用正交于世界坐标系的已有直线特征，如果运行环境中不存在该特征，则增加直线标示，机器人在静止状态下时，使用Hough变换检测得到相机一(4)得到的图像中的所有直线，根据当前机器人方位角θ_c提取出倾斜角度接近于和-θ_c并且长度大于所设定阈值的直线，通过该直线倾斜角度得到机器人准确的方位角；同时依靠某个已知坐标的标定点修正机器人自身坐标，根据识别出相机一(4)得到的图像中标定点的坐标，转换得到标定点相对于移动平台(1)的坐标，并进一步得到移动平台(1)的准确坐标。