CN102902271A - 基于双目视觉的机器人目标识别与抓取系统及方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的服务机器人目标识别与抓取系统及方法。本系统包括双目图像采集模块、RFID收发模块、底盘运动模块、避障模块、机械臂控制模块。基于双目视觉的服务机器人目标识别与抓取方法，包括以下步骤：（1）双目摄像机标定；（2）坐标系搭建及转换；（3）目标识别与定位；（4）自主导航和避障；（5）控制机械臂抓取目标物体。本发明能够让机器人与环境进行智能交互，增强了机器人智能抓取的能力。除了对目标物体的识别和定位，还建立了导航数据库，机器人在定位目标物体后能够自动到达物体所在的区域；本发明对仿人机械臂控制，采用特定拟人化路径抓取方式，使机器人的服务方式更加智能化、人性化。

Description

基于双目视觉的机器人目标识别与抓取系统及方法

技术领域

   本发明属于机器人技术领域，具体涉及的是一种基于双目视觉的机器人目标识别与抓取系统及方法。

背景技术

    在上世纪60年代开始，机器人应用的相关技术已经成为各大高校及企事业单位的研究重点。在发展初期，机器人主要在结构化的环境中，按照特定的模式帮助人们完成一些危险或者重复性较高的简单工作。但是，随着技术的发展以及人们日常生活需要的提高，机器人面临着非结构化、复杂化等一些问题的挑战。随着计算机技术以及控制技术的发展，机器人的智能化水平越来越高，能够在非结构化的环境中自主地完成一些工作，能够识别出目标物体，经过定位后能够到达目标物体所在的区域，抓取目标物体。

    原有的服务机器人的功能较为单一，不能满足人们家庭非结构化环境的应用需求，且存在一定的技术缺陷。第一，原有的服务机器人的功能较为单一，往往只能完成一部分的工作。第二，原有的服务机器人不能自主导航到目标区域，往往需要人们设定路径。第三，原有服务机器人没有引入自由度较高的机械臂，且控制算法较为简单，不能完成相对复杂的动作。

发明内容

    针对现有技术存在的缺陷，本发明的目的是提供一种基于双目视觉的服务机器人目标识别与抓取系统及方法，使机器人在一种非结构化的环境中为人们提供更加智能化的服务。本发明中机器人可以通过视觉、射频、超声等传感器与外部环境进行智能交互，可以识别并定位目标物体，能够通过导航系统自主到达目标物体所在的位置，并控制机械臂完成对目标物体的抓取任务。

    为了达到上述目的，本发明的技术方案是：

    一种基于双目视觉的服务机器人目标识别与抓取系统，其特征在于，所述服务机器人控制平台联接双目图像采集模块，RFID(Radio Frequency Identification)收发模块，底盘运动模块，壁障模块和机械臂控制模块。

所述的双目图像采集模块，是指本系统中的双目立体视觉系统；所述的RFID收发装置为无源型射频标签，含有物品的位置、特征等信息；所述的底盘运动模块采用双轮差动方式，并在底部安装有两个色标传感器；所述的避障模块采用多路超声波与多路光电传感器，分别安装于机器人腹部与底部裙摆处，实现不同高度的障碍物检测；所述机械臂控制模块的仿人机械臂为6+1自由度，通过正解与逆解算法到达运动位置，机械臂可以实现抓取、跳舞、双臂协调等动作。

    一种基于双目视觉的服务机器人目标识别与抓取方法，采用上述系统进行操作，其特征在于，包括以下操作步骤：

1）双目摄像机标定。利用平面模板法对双目摄像机进行标定，得到该摄像机的内部参数，将目标物体在图像坐标系中的坐标值转换到目标物体在以双目摄像机右眼为原点的空间坐标系中的坐标值。

2）机器人坐标系的搭建和目标物体坐标系的转换。以机器人右肩为坐标原点建立空间坐标系，将目标物体在以右眼为原点的坐标系中的坐标值转换到该坐标系中的坐标值。

3）目标识别与定位。采用基于彩色图像分割的方法识别出目标物体，经过以上两级坐标系转换，得到目标物体在机器人坐标系中的坐标值。

4）控制机器人到达目标物体所在区域。通过RFID建立空间导航系统，并将目标物体的位置与特征信息添加到导航系统数据库中，机器人通过查找数据库定位目标物体，通过驱动底盘运动模块自主到达目标物体所在区域，在行走过程中机器人根据壁障模块躲避障碍物。

5）控制机械臂抓取目标物体。到达目标物体所在区域后，机器人调整其与目标物体的距离，使得到的目标物体在机器人坐标系中的坐标值更加精确。要实现机械臂末端的夹持器抓取目标物体，则夹持器需到达目标物体的坐标值，通过机械臂逆解，得到机械臂各个关节需要转动的角度。

    所述步骤1)双目摄像机的标定，采用平面模板法对双目摄像机进行标定，其具体步骤如下：

    ①、根据平行光轴理论，建立双目立体视觉模型，利用数学公式对视觉模型求解，得到目标物体在世界坐标系中坐标值的计算公式。

    ②、借助8                                               

8平面棋盘模板，利用开源图像处理库OpenCV完成双目摄像机的标定，得到摄像机的内部参数。

    ③、根据步骤①所得到的目标物体在世界坐标系中坐标值的计算公式，结合标定后得到的双目摄像机的内部参数，将目标物体在图像中的坐标值转换到目标物体在以双目摄像机右眼为原点的世界坐标系中的坐标值。

    双目摄像机的标定结果受光线、温度等环境因素的影响比较严重，因此在标定时需要多次标定取均值。在每次试验之前，需要重新对双目摄像机进行标定。

所述步骤2)机器人坐标系的搭建与目标物体坐标值的转换，得到目标物体在机器人坐标系中的坐标值，为下一步目标物体的抓取做准备，其具体步骤如下：

    ①、根据任务特点，本发明以机器人右肩为坐标原点建立标准空间坐标系，结合机器人的物理尺寸，得到机器人各个组件在该空间坐标系中的坐标值。

    ②、精确测量机器人头部中轴到右肩的距离、双目连线到双肩连线的距离以及右眼到头部中轴的距离。

    ③、根据步骤②得到的三个物理尺寸，结合以双目摄像机右眼为原点的世界坐标系与机器人坐标系的位置关系，将目标物体在以右眼为原点的坐标系中的坐标值转换到在机器人坐标系中的坐标值。

    在目标识别和抓取过程中，根据需要，机器人的头部会转动或者上下摆动，这就需要根据头部的转动和摆动角度，重新计算两个空间坐标系的关系，根据两个坐标系的转换关系计算得到目标物体在机器人坐标系中的坐标值。本步骤中头部转动角度和摆动角度通过安装在头部的两个角度传感器得到。

所述步骤3)目标物体的识别和定位：通过基于彩色颜色分割的方法在双目摄像机的视野内识别出目标物体，并计算出目标物体在机器人空间坐标系中的坐标值，完成目标物的定位，其具体步骤如下：

    ①、由于像素在RGB(Red-Green-Blue)颜色空间受光源种类、光照强度等因素的影响较严重，因此本发明在HSV(Hue-Saturation-Value)颜色空间内完成对目标物体的识别。在实验前要离线学习并记录目标物体颜色的HSV阈值信息。

    ②、颜色空间的转换：由于本发明采用的双目摄像机输出RGB颜色空间内的颜色，因此需要完成像素从RGB颜色空间到HSV颜色空间的转换。从RGB到HSV的转换相当于做了一个解耦的工作，具体的转换公式如公式(1)所示：

    上式（1）中h代表HSV像素空间中的H部分，s代表HSV像素空间中的S部分, v代表HSV像素空间中的V部分, R代表RGB像素空间中的R部分, G代表RGB像素空间中的G部分, B代表RGB像素空间中的B部分。

③、目标物体的识别：机器人在得到寻找目标物体的指令后，就会不断通过双目摄像机采集图像，实时地将每一帧图像像素的RGB值转换成HSV值，对比通过离线学习记录的目标物体的HSV阈值，如果目标物体在该帧图像中，就提取出目标物体的轮廓，如果目标物体不在该帧图像中就转动机器人头部继续寻找目标物体。

    ④、目标物体的定位：机器人识别出目标物体后，首先通过图像处理得到目标物体在图像中的轮廓，计算出目标物体轮廓的中心在图像坐标系中的坐标值。根据摄像机标定后得到的转换公式计算出目标物体在以双目右眼为原点的空间坐标系中的坐标值。然后，驱动底盘运动模块使机器人旋转，使机器人正对目标物体方向，经过坐标系转换得到目标物体在机器人坐标系中的坐标值。

    由于在HSV颜色空间内完成对目标物体的识别，能够减小目标物体颜色种类、环境光照强度等因素的影响，提高了目标物体识别的成功率。在对目标物体的定位完成后，可根据目标物体在机器人空间坐标系中的位置，决定下一步的动作，如果距离较远需要借助RFID导航系统自主到达目标物体所在区域；如果距离较近，机器人可直接走到目标物体旁边，完成对目标物体的抓取任务。

所述步骤4)机器人通过导航系统自主到达目标物体所在区域，并在行进过程中借助壁障模块躲避障碍物，其具体步骤如下：

    ①、在机器人底部安装RFID接收器，根据房间布局特点在地板上铺设无源RFID标签，为每个标签划分管辖区域，建立导航系统。将每个标签所管辖区域内物体的特征信息添加到导航系统数据库中，并建立从其中一个标签位置到达下一个标签位置的路径信息。

    ②、在机器人完成目标物体的定位后，根据目标物体的颜色特征信息在导航系统数据库中查找目标物体所在的区域，结合机器人当前所在的区域，记录机器人到达目标区域所要经过的标签ID，即机器人所要经过的路径。

    ③、机器人根据所在区域所属标签的指示信息，驱动底盘运动模块自主到达下一个标签所在的位置，以此类推，到达目标物体所在区域的标签位置。在行走过程中，要实时处理机器人腹部和裙摆部传感器的信息，避开路径中的障碍物。

    本发明采用彩色图像分割的方法，即颜色识别法识别目标物体，因此在导航系统的数据库内仅记录了物体的颜色特征信息。由于房间内仅有独立的柱状障碍物，路况信息比较简单，机器人仅需要根据下一个标签的方向进行三次直角变向就可以顺利躲避障碍物，回到原来的路径。

所述步骤5)控制机械臂实现对目标物体的抓取，机器人定位到目标物体后，根据导航系统自主到达目标物体所在的区域，然后控制机械臂完成对目标物体的抓取任务，其具体步骤如下：

    ①、利用D-H(Denavit-Hartenberg)方法对机器人的6+1自由度机械臂进行建模，得到机械臂模型的逆解公式，即得到使机械臂末端到达空间中指定位置机械臂各个关节需要转动的角度。

    ②、机器人根据导航系统自主到达目标物体所在的区域后，还需要经过所述步骤3)的过程，重新识别出目标物体，并计算出目标物体在机器人坐标系中的坐标值。

    ③、根据计算得到的坐标值，通过驱动底盘运动模块机器人行走到目标物体所在的位置。根据实验过程中积累的经验，机器人与目标物体的距离在一定范围之内时，得到的目标物体的坐标值最精确，离线学习并记录达到这个距离时得到的图像中目标物体轮廓大小的阈值。在机器人靠近目标物体时，不断调整机器人与目标物体的距离，使得到的图像内目标物体的轮廓大小在阈值范围之内。在这种情况下，计算得到目标物体在机器人坐标系中的坐标值。

    ④、机器人如果完成抓取目标物体的任务，需要使机械臂末端夹持器的坐标值等于目标物体的坐标值。将该坐标值代入机械臂模型逆解公式，得到使夹持器完成对目标物体的抓取时机械臂各个关节需要转动的角度。夹持器到达目标物体位置后，驱动夹持器闭合，完成对目标物体的抓取任务。

    由于机器人夹持器上没有安装压力传感器，因此机器人只能在开环控制模式下抓取指定宽度的物体。在机器人顺利抓取到目标物体后，可根据需要指示机器人进行下一步动作，比如回到起始点、或者把目标物体放到指定位置等。

    本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：

    本发明中的机器人可以通过视觉、射频、超声波等传感器与外部环境进行交互，可以识别并定位目标物体，能够通过导航系统自主到达目标物体所在的位置，并控制机械臂完成对目标物体的抓取任务。本发明针对特定机器人，用实验中积累的参数对操作做了修正，使机器人更加精确的完成抓取任务。本发明对仿人机械臂控制，采用特定拟人化路径抓取方式，使机器人的服务方式更加智能化、人性化。

附图说明

    图1为本发明的系统结构框图。

    图2为本发明的机器人外观视图。

图3为本发明的程序流程图。

    图4为本发明的双目摄像机成像结构图。

    图5为本发明的机械臂D-H建模结构图。

    图6、7为本发明的实验效果图。

具体实施方式

   下面结合附图对本发明的优选实施例作详细说明：

       实施例一：

如图1所示，本基于双目视觉的服务机器人目标识别与抓取系统，所述服务机器人控制平台（1）联接双目图像采集模块（2）、RFID收发模块（3）、底盘运动模块（6）、壁障模块（4）和机械臂控制模块（5）。

所述的双目图像采集模块（2），是指本系统中的双目立体视觉系统；所述的RFID收发模块（3）为无源型射频标签，含有物品的位置、特征等信息；所述的底盘运动模块（6）采用双轮差动方式，并在底部安装有两个色标传感器；所述的避障模块（4）采用多路超声波与多路光电传感器，分别安装于机器人腹部与底部裙摆处，实现不同高度的障碍物检测；所述机械臂控制模块（5）的仿人机械臂为6+1自由度，通过正解与逆解算法到达运动位置，机械臂可以实现抓取、跳舞、双臂协调等动作。

如图2所示，本实例的实验平台机器人拥有双目视觉摄像头，3个前部超声波传感器，2个侧部超声波传感器，7个底盘避障传感器，2个扬声器，2个机械臂，1块触摸屏，用户可通过人机界面的按钮完成机器人的控制。用户可以外接麦克风，直接和机器人进行对话，对话内容用户可以自己设计。此外，还可以通过遥控器，完成对机器人的运动、信息和娱乐等功能选取。

实施例二：

    如图3所示，本基于双目视觉的服务机器人目标识别与抓取方法，采用上述系统进行操作，其特征在于，包括以下操作步骤：

1）双目摄像机标定。利用平面模板法对双目图像采集模块（2）的双目摄像机进行标定，得到该摄像机的内部参数，将目标物体在图像坐标系中的坐标值转换到目标物体在以双目摄像机右眼为原点的空间坐标系中的坐标值。

2）坐标系搭建和转换。以机器人右肩为坐标原点建立空间坐标系，将目标物体在以右眼为原点的坐标系中的坐标值转换到该坐标系中的坐标值。

3）目标识别与定位。采用基于彩色图像分割的方法识别出目标物体，经过以上两级坐标系转换，得到目标物体在机器人坐标系中的坐标值。

4）自主导航和避障。控制机器人到达目标物体所在区域。通过RFID建立空间导航系统，并将目标物体的位置与特征信息添加到导航系统数据库中，机器人通过查找数据库定位目标物体，通过驱动底盘运动模块（6）自主到达目标物体所在区域，在行走过程中机器人根据壁障模块（4）躲避障碍物。

（5）控制机械臂抓取目标物体。到达目标物体所在区域后，机器人调整其与目标物体的距离，使得到的目标物体在机器人坐标系中的坐标值更加精确。要实现机械臂末端的夹持器抓取目标物体，则夹持器需到达目标物体的坐标值，通过机械臂逆解，得到机械臂各个关节需要转动的角度。

    所述步骤1)为双目摄像机的标定，采用平面模板法对双目摄像机进行标定，其具体步骤如下：

    ①、如图4所示，根据平行光轴理论，建立双目立体视觉模型，利用数学公式对视觉模型求解，得到目标物体在世界坐标系中坐标值的计算公式。

    ②、借助8

8平面棋盘模板，利用开源图像处理库OpenCV完成双目摄像机的标定，得到摄像机的内部参数。

    ③、根据步骤①所得到的目标物体在世界坐标系中坐标值的计算公式，结合标定后得到的双目摄像机的内部参数，将目标物体在图像中的坐标值转换到目标物体在以双目摄像机右眼为原点的世界坐标系中的坐标值。

    双目摄像机的标定结果受光线、温度等环境因素的影响比较严重，因此在标定时需要多次标定取均值。在每次试验之前，需要重新对双目摄像机进行标定。

所述步骤2)为机器人坐标系的搭建与目标物体坐标值的转换，得到目标物体在机器人坐标系中的坐标值，为下一步目标物体的抓取做准备，其具体步骤如下：

    ①、根据任务特点，本发明以机器人右肩为坐标原点建立标准空间坐标系，结合机器人的物理尺寸，得到机器人各个组件在该空间坐标系中的坐标值。

    ②、精确测量机器人头部中轴到右肩的距离、双目连线到双肩连线的距离以及右眼到头部中轴的距离。

    ③、根据步骤②得到的三个物理尺寸，结合以双目摄像机右眼为原点的世界坐标系与机器人坐标系的位置关系，将目标物体在以右眼为原点的坐标系中的坐标值转换到在机器人坐标系中的坐标值。

    在目标识别和抓取过程中，根据需要，机器人的头部会转动或者上下摆动，这就需要根据头部的转动和摆动角度，重新计算两个空间坐标系的关系，根据两个坐标系的转换关系计算得到目标物体在机器人坐标系中的坐标值。本步骤中头部转动角度和摆动角度通过安装在头部的两个角度传感器得到。

所述步骤3)为目标物体的识别和定位，本发明通过基于彩色颜色分割的方法在双目摄像机的视野内识别出目标物体，并计算出目标物体在机器人空间坐标系中的坐标值，完成目标物的定位，其具体步骤如下：

    ①、由于像素在RGB颜色空间受光源种类、光照强度等因素的影响较严重，因此本发明在HSV颜色空间内完成对目标物体的识别。在实验前要离线学习并记录目标物体颜色的HSV阈值信息。

    ②、颜色空间的转换。由于本发明采用的双目摄像机输出RGB颜色空间内的颜色，因此需要完成像素从RGB颜色空间到HSV颜色空间的转换。从RGB到HSV的转换相当于做了一个解耦的工作，具体的转换公式如下式(2)所示：

    ③、目标物体的识别。机器人在得到寻找目标物体的指令后，就会不断通过双目摄像机采集图像，实时地将每一帧图像像素的RGB值转换成HSV值，对比通过离线学习记录的目标物体的HSV阈值，如果目标物体在该帧图像中，就提取出目标物体的轮廓，如果目标物体不在该帧图像中就转动机器人头部继续寻找目标物体。

    ④、目标物体的定位。机器人识别出目标物体后，首先通过图像处理得到目标物体在图像中的轮廓，计算出目标物体轮廓的中心在图像坐标系中的坐标值。根据摄像机标定后得到的转换公式计算出目标物体在以双目右眼为原点的空间坐标系中的坐标值。然后，驱动底盘运动模块使机器人旋转，使机器人正对目标物体方向，经过坐标系转换得到目标物体在机器人坐标系中的坐标值。

    由于在HSV颜色空间内完成对目标物体的识别，能够减小目标物体颜色种类、环境光照强度等因素的影响，提高了目标物体识别的成功率。在对目标物体的定位完成后，可根据目标物体在机器人空间坐标系中的位置，决定下一步的动作，如果距离较远需要借助RFID导航系统自主到达目标物体所在区域；如果距离较近，机器人可直接走到目标物体旁边，完成对目标物体的抓取任务。

所述步骤4)为机器人通过导航系统自主到达目标物体所在区域，并在行进过程中借助壁障模块躲避障碍物，其具体步骤如下：

    ①、在机器人底部安装RFID接收器，根据房间布局特点在地板上铺设无源RFID标签，为每个标签划分管辖区域，建立导航系统。将每个标签所管辖区域内物体的特征信息添加到导航系统数据库中，并建立从其中一个标签位置到达下一个标签位置的路径信息。

    ②、在机器人完成目标物体的定位后，根据目标物体的颜色特征信息在导航系统数据库中查找目标物体所在的区域，结合机器人当前所在的区域，记录机器人到达目标区域所要经过的标签ID，即机器人所要经过的路径。

    ③、机器人根据所在区域所属标签的指示信息，驱动底盘运动模块自主到达下一个标签所在的位置，以此类推，到达目标物体所在区域的标签位置。在行走过程中，要实时处理机器人腹部和裙摆部传感器的信息，避开路径中的障碍物。

    本发明采用彩色图像分割的方法，即颜色识别法识别目标物体，因此在导航系统的数据库内仅记录了物体的颜色特征信息。由于房间内仅有独立的柱状障碍物，路况信息比较简单，机器人仅需要根据下一个标签的方向进行三次直角变向就可以顺利躲避障碍物，回到原来的路径。

所述步骤5)为控制机械臂实现对目标物体的抓取，机器人定位到目标物体后，根据导航系统自主到达目标物体所在的区域，然后控制机械臂完成对目标物体的抓取任务，其具体步骤如下：

    ①、如图5所示，利用D-H方法对机器人的6+1自由度机械臂进行建模，得到机械臂模型的逆解公式，即得到使机械臂末端到达空间中指定位置机械臂各个关节需要转动的角度。

    ②、机器人根据导航系统自主到达目标物体所在的区域后，还需要经过权利要求2所述步骤3)的过程，重新识别出目标物体，并计算出目标物体在机器人坐标系中的坐标值。

    ③、根据计算得到的坐标值，通过驱动底盘运动模块机器人行走到目标物体所在的位置。根据实验过程中积累的经验，机器人与目标物体的距离在一定范围之内时，得到的目标物体的坐标值最精确，离线学习并记录达到这个距离时得到的图像中目标物体轮廓大小的阈值。在机器人靠近目标物体时，不断调整机器人与目标物体的距离，使得到的图像内目标物体的轮廓大小在阈值范围之内。在这种情况下，计算得到目标物体在机器人坐标系中的坐标值。

    ④、机器人如果完成抓取目标物体的任务，需要使机械臂末端夹持器的坐标值等于目标物体的坐标值。将该坐标值代入机械臂模型逆解公式，得到使夹持器完成对目标物体的抓取时机械臂各个关节需要转动的角度。夹持器到达目标物体位置后，驱动夹持器闭合，完成对目标物体的抓取任务。

    由于机器人夹持器上没有安装压力传感器，因此机器人只能在开环控制模式下抓取指定宽度的物体。在机器人顺利抓取到目标物体后，可根据需要指示机器人进行下一步动作，比如回到起始点、或者把目标物体放到指定位置等。

    实施例三：

    本实施例以模拟家庭环境，实现机器人能够智能地为人类服务。本实施例包括以下步骤：

    第一步，在本实施例的实验环境下，利用平面模板法对机器人的双目摄像机进行标定，得到摄像机的内部参数。离线学习目标物体颜色在HSV颜色空间的阈值；并离线学习得到目标物体最精确的坐标值时，图像中目标物体轮廓大小的阈值。系统初始化完成后，启动对目标物体的寻找。

    第二步，机器人在实验室中的任意位置开始寻找目标物体，通过双目摄像头不断采集图像，对图像中的像素做颜色空间转换，当找到目标物体时开始导航到目标物体所在的区域，当在当前图像中找不到时转动头部继续寻找。

    第三步，如图6所示，机器人找到目标物体后，在导航系统数据库中寻找目标物体所在的区域。在机器人附近所在的RFID标签开始，一步一步走到目标区域，在行走过程中，利用避障模块躲避路径中的障碍物。

    第四步，如图7所示，到达目标区域后，重新找到目标物体，走到目标物体旁边时，通过调整机器人与目标物体的距离得到目标物体的精确坐标值，然后控制机械臂完成对目标物体的抓取任务。抓取后，等待下一步命令。

    本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于上述的实施例。

Claims (7)

1.一种基于双目视觉的服务机器人目标识别与抓取系统，其特征在于：所述服务机器人控制平台（1）联接双目图像采集模块（2）、RFID收发模块（3）、底盘运动模块（6），壁障模块（4）和机械臂控制模块（5）；

 所述的双目图像采集模块，是指本系统中的双目立体视觉系统；所述的RFID收发模块（3）为无源型射频标签，含有物品的位置和特征信息；所述的底盘运动模块（6）采用双轮差动方式，并在底部安装有两个色标传感器；所述的避障模块（4）采用多路超声波与多路光电传感器，分别安装于机器人腹部与底部裙摆处，实现不同高度的障碍物检测；所述机械臂控制模块（5）的仿人机械臂为6+1自由度，通过正解与逆解算法到达运动位置，机械臂可以实现抓取、跳舞、双臂协调动作。

2.一种基于双目视觉的服务机器人目标识别与抓取方法，采用根据权利要求1所述的基于双目视觉的服务机器人目标识别与抓取系统进行操作，其特征在于，包括以下操作步骤：

1）双目摄像机标定：利用平面模板法对双目图像采集模块（2）的双目摄像机进行标定，得到该摄像机的内部参数，将目标物体在图像坐标系中的坐标值转换到目标物体在以双目摄像机右眼为原点的空间坐标系中的坐标值；

2）坐标系搭建和转换：以机器人右肩为坐标原点建立空间坐标系，将目标物体在以右眼为原点的坐标系中的坐标值转换到该坐标系中的坐标值；

3）目标识别与定位：采用基于彩色图像分割的方法识别出目标物体，经过以上两级坐标系转换，得到目标物体在机器人坐标系中的坐标值；

4）自主导航和避障：控制机器人到达目标物体所在区域，通过RFID建立空间导航系统，并将目标物体的位置与特征信息添加到导航系统数据库中，机器人通过查找数据库定位目标物体，通过驱动底盘运动模块（6）自主到达目标物体所在区域，在行走过程中机器人根据壁障模块（4）躲避障碍物；

5）控制机械臂抓取目标物体：到达目标物体所在区域后，机器人调整其与目标物体的距离，使得到的目标物体在机器人坐标系中的坐标值更加精确；要实现机械臂末端的夹持器抓取目标物体，则夹持器需到达目标物体的坐标值，通过机械臂逆解，得到机械臂各个关节需要转动的角度。

3.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤1)双目摄像机标定：采用平面模板法对双目摄像机进行标定的具体步骤如下：

    ①、根据平行光轴理论，建立双目立体视觉模型，利用数学公式对视觉模型求解，得到目标物体在世界坐标系中坐标值的计算公式；

    ②、借助8                                                

8平面棋盘模板，利用开源图像处理库OpenCV完成双目摄像机的标定，得到摄像机的内部参数；

    ③、根据步骤①所得到的目标物体在世界坐标系中坐标值的计算公式，结合标定后得到的双目摄像机的内部参数，将目标物体在图像中的坐标值转换到目标物体在以双目摄像机右眼为原点的世界坐标系中的坐标值；

    双目摄像机的标定结果受光线和温度环境因素的影响比较严重，在标定时需要多次标定取均值；在每次试验之前，需要重新对双目摄像机进行标定。

4.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤2)机器人坐标系的搭建与目标物体坐标值的转换，得到目标物体在机器人坐标系中的坐标值，为下一步目标物体的抓取做准备，其具体步骤如下：

    ①、根据任务特点，以机器人右肩为坐标原点建立标准空间坐标系，结合机器人的物理尺寸，得到机器人各个组件在该空间坐标系中的坐标值；

    ②、精确测量机器人头部中轴到右肩的距离、双目连线到双肩连线的距离以及右眼到头部中轴的距离；

    ③、根据步骤②得到的三个物理尺寸，结合以双目摄像机右眼为原点的世界坐标系与机器人坐标系的位置关系，将目标物体在以右眼为原点的坐标系中的坐标值转换到在机器人坐标系中的坐标值；

    在目标识别和抓取过程中，根据需要，机器人的头部会转动或者上下摆动，需要根据头部的转动和摆动角度，重新计算两个空间坐标系的关系，根据两个坐标系的转换关系计算得到目标物体在机器人坐标系中的坐标值；头部转动角度和摆动角度通过安装在头部的两个角度传感器得到。

5.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤3)目标物体的识别和定位：通过基于彩色颜色分割的方法在双目摄像机的视野内识别出目标物体，并计算出目标物体在机器人空间坐标系中的坐标值，完成目标物的定位，具体步骤如下：

    ①、由于像素在RGB颜色空间受光源种类、光照强度等因素的影响较严重，因此在HSV颜色空间内完成对目标物体的识别；在实验前要离线学习并记录目标物体颜色的HSV阈值信息；

    ②、颜色空间的转换：由于采用的双目摄像机输出RGB颜色空间内的颜色，因此需要完成像素从RGB颜色空间到HSV颜色空间的转换；从RGB到HSV的转换相当于做了一个解耦的工作，具体的转换公式如下式(1)所示：

    

    上式（1）中h代表HSV像素空间中的H部分，s代表HSV像素空间中的S部分, v代表HSV像素空间中的V部分, R代表RGB像素空间中的R部分, G代表RGB像素空间中的G部分, B代表RGB像素空间中的B部分；

③、目标物体的识别：机器人在得到寻找目标物体的指令后，就会不断通过双目摄像机采集图像，实时地将每一帧图像像素的RGB值转换成HSV值，对比通过离线学习记录的目标物体的HSV阈值，如果目标物体在该帧图像中，就提取出目标物体的轮廓，如果目标物体不在该帧图像中就转动机器人头部继续寻找目标物体；

④、目标物体的定位：机器人识别出目标物体后，首先通过图像处理得到目标物体在图像中的轮廓，计算出目标物体轮廓的中心在图像坐标系中的坐标值；根据摄像机标定后得到的转换公式计算出目标物体在以双目右眼为原点的空间坐标系中的坐标值；然后，驱动底盘运动模块（6）使机器人旋转，使机器人正对目标物体方向，经过坐标系转换得到目标物体在机器人坐标系中的坐标值；

由于在HSV颜色空间内完成对目标物体的识别，能够减小目标物体颜色种类、环境光照强度因素的影响，提高了目标物体识别的成功率；在对目标物体的定位完成后，根据目标物体在机器人空间坐标系中的位置，决定下一步的动作；如果距离较远需要借助RFID导航系统自主到达目标物体所在区域；如果距离较近，机器人可直接走到目标物体旁边，完成对目标物体的抓取任务。

6.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤4）控制机器人通过导航系统自主到达目标物体所在区域，并在行进过程中借助壁障模块（4）躲避障碍物，其具体步骤如下：

    ①、在机器人底部安装RFID接收器，根据房间布局特点在地板上铺设无源RFID标签，为每个标签划分管辖区域，建立导航系统；将每个标签所管辖区域内物体的特征信息添加到导航系统数据库中，并建立从其中一个标签位置到达下一个标签位置的路径信息；

    ②、在机器人完成目标物体的定位后，根据目标物体的颜色特征信息在导航系统数据库中查找目标物体所在的区域，结合机器人当前所在的区域，记录机器人到达目标区域所要经过的标签ID，即机器人所要经过的路径；

    ③、机器人根据所在区域所属标签的指示信息，驱动底盘运动模块（6）自主到达下一个标签所在的位置，以此类推，到达目标物体所在区域的标签位置；在行走过程中，要实时处理机器人腹部和裙摆部传感器的信息，避开路径中的障碍物；

    所述采用彩色图像分割的方法，即颜色识别法识别目标物体，因此在导航系统的数据库内仅记录了物体的颜色特征信息；由于房间内仅有独立的柱状障碍物，路况信息比较简单，机器人仅需要根据下一个标签的方向进行三次直角变向就可以顺利躲避障碍物，回到原来的路径。

7.根据权利要求2所述的基于双目视觉的服务机器人目标识别与抓取方法，其特征在于，所述步骤5)为控制机械臂实现对目标物体的抓取：机器人定位到目标物体后，根据导航系统自主到达目标物体所在的区域，然后控制机械臂完成对目标物体的抓取任务，其具体步骤如下：

    ①、利用D-H方法对机器人的6+1自由度机械臂进行建模，得到机械臂模型的逆解公式，即得到使机械臂末端到达空间中指定位置机械臂各个关节需要转动的角度；

②、机器人根据导航系统自主到达目标物体所在的区域后，还需要经过所述步骤3)的过程，重新识别出目标物体，并计算出目标物体在机器人坐标系中的坐标值；

③、根据计算得到的坐标值，通过驱动底盘运动模块（6）使机器人行走到目标物体所在的位置；根据实验过程中积累的经验，机器人与目标物体的距离在一定范围之内时，得到的目标物体的坐标值最精确，离线学习并记录达到这个距离时得到的图像中目标物体轮廓大小的阈值；在机器人靠近目标物体时，不断调整机器人与目标物体的距离，使得到的图像内目标物体的轮廓大小在阈值范围之内；在这种情况下，计算得到目标物体在机器人坐标系中的坐标值；

    ④、机器人如果完成抓取目标物体的任务，需要使机械臂末端夹持器的坐标值等于目标物体的坐标值；将该坐标值代入机械臂模型逆解公式，得到使夹持器完成对目标物体的抓取时机械臂各个关节需要转动的角度；夹持器到达目标物体位置后，驱动夹持器闭合，完成对目标物体的抓取任务；

    由于机器人夹持器上没有安装压力传感器，因此机器人只能在开环控制模式下抓取指定宽度的物体；在机器人顺利抓取到目标物体后，根据需要指示机器人进行下一步动作，比如回到起始点、或者把目标物体放到指定位置。

Images