CN107053173A - 机器人抓取系统及抓取工件的方法 - Google Patents

Abstract

本发明公开了一种机器人抓取系统，包括视觉检测装置和用于抓取工件且与视觉检测装置连接的抓取执行装置，视觉检测装置包括用于采集图像的视觉传感器。本发明的机器人抓取系统，通过采用视觉传感器进行数据采集，降低环境光的成像质量的影响，而且提高了工件的定位精度，抓取工件时的实时性更高。本发明还提供了一种抓取工件的方法。

Description

机器人抓取系统及抓取工件的方法

技术领域

本发明属于机器人技术领域，具体地说，本发明涉及一种机器人抓取系统及抓取工件的方法。

背景技术

机器人视觉一般是指与机器人配合操作的工业视觉系统，把工业视觉系统引入机器人后，可以大大的扩大机器人的使用性能，帮助机器人在完成指定任务的过程中，具有更大的适应性。近年来对机器人视觉的研究成为国内外机器人领域研究的热点之一。

现有用于工件三维定位抓取的视觉系统主要由双目相机组成，相机采集二维图像，然后对提取每个工件的SIFT特征(全称为Scale invariant feature transform，尺度不变特征变换)，采用模板匹配的技术进行工件的识别，该方法算法复杂，计算量大，实时性不能满足工业现场的需求。同时环境光的变化严重影响相机采集图像的质量，这对图像处理算法的鲁棒性提出了更高的要求。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提供一种机器人抓取系统及抓取工件的方法，目的是在抓取工件时降低环境光对成像质量的影响。

为了实现上述目的，本发明采取的技术方案为：机器人抓取系统，包括视觉检测装置和用于抓取工件且与视觉检测装置连接的抓取执行装置，视觉检测装置包括用于采集图像的视觉传感器。

所述抓取执行装置包括工业机器人、与工业机器人连接的执行器支架和设置于执行器支架上且用于抓取工件的夹具。

所述工业机器人为六自由度机器人，所述执行器支架与工业机器人的末端法兰连接。

所述视觉传感器设置于所述执行器支架上。

所述视觉传感器为线结构光传感器，所述夹具位于视觉传感器的一侧以避开视觉传感器的光路传播路线。

所述视觉传感器和所述抓取执行装置与控制装置连接，视觉传感器实现工件的点云数据采集并将采集的点云数据输出至控制装置，再由控制装置控制抓取执行装置完成对工件的抓取。

通过所述视觉传感器对工件进行扫描和采集图像，对采集的图像进行图像处理和点云处理后，完成工件的准确定位，然后由所述控制装置将工件的三维坐标发送至抓取执行装置，抓取执行装置完成对工件的抓取。

本发明提供了一种抓取工件的方法，采用上述机器人抓取系统，且包括步骤：

S1、由视觉检测装置进行图像采集；

S2、对采集的图像进行图像处理和点云处理，获取工件的三维坐标，完成工件的定位；

S3、由抓取执行装置完成对工件的抓取。

所述步骤S2中，对采集的图像进行图像处理和点云处理时，控制装置先将图像转换为深度图，然后进行灰度拉伸以增强对比度；然后对灰度拉伸后的图像进行二值化，提取工件需要检测的特征区域，初步定位工件，得到工件在图像坐标系中的位置；然后将检测到的特征区域映射到三维空间，提取出点云感兴趣区域(ROI)，然后对点云进行处理，得到工件在三维空间下的位姿；最后进行坐标转换，将工件的坐标转换到工业机器人的坐标系下。

所述步骤S3中，通过TCP/IP协议，控制装置将工件的三维坐标发送至抓取执行装置，工业机器人规划轨迹，完成对工件的抓取。

本发明的机器人抓取系统，通过采用视觉传感器进行数据采集，降低环境光的成像质量的影响，而且提高了工件的定位精度，抓取工件时的实时性更高。

附图说明

本说明书包括以下附图，所示内容分别是：

图1是本发明机器人抓取系统的结构示意图；

图2是抓取执行装置的局部结构示意图；

图3是本发明抓取工件的方法的流程图；

图4是对采集的图像进行图像处理和点云处理的流程图；

图中标记为：1、工业机器人；2、执行器支架；3、工件；4、工作台；5、视觉传感器；6、夹具。

具体实施方式

下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，目的是帮助本领域的技术人员对本发明的构思、技术方案有更完整、准确和深入的理解，并有助于其实施。

如图1和图2所示，本发明提供了一种机器人抓取系统，包括控制装置、视觉检测装置和用于抓取工件且与视觉检测装置连接的抓取执行装置，视觉检测装置包括用于采集图像的视觉传感器5。

具体地说，如图1和图2所示，抓取执行装置包括工业机器人1、与工业机器人1连接的执行器支架2和设置于执行器支架2上且用于抓取工件的夹具6。工业机器人1主要对视觉传感器5扫描轨迹和工件抓取轨迹进行规划，视觉检测装置采用视觉传感器5完成对工件的扫描和数据采集。工业机器人1优选为六自由度机器人，其结构如同本领域技术人员所公知的那样，在此不再赘述。用于抓取放置于工作台上的工件的夹具6有多种形式，可以为气动夹具或电动夹具，优选为气动夹具。执行器支架2与工业机器人1的末端法兰固定连接，夹具6和视觉传感器5固定安装于执行器支架2上。

如图1和图2所示，执行器支架2为矩形框架式结构，具有一定的长度，工业机器人1的末端法兰在执行器支架2长度方向上的中间位置处与执行器支架2固定连接。视觉传感器5为线结构光传感器，夹具6在执行器支架2上为偏心设置，即夹具6位于末端法兰回转中心线的一侧。如图2所示，夹具6的位置位于执行器支架2的一端，视觉传感器5设置于执行器支架2的内腔中且为从夹具6处开始延伸至执行器支架2的另一端，使得夹具6处于视觉传感器5的端部一侧，以避开线结构光传感器的光路传播路线。

控制装置主要是工控机和机器人控制器，工控机与视觉传感器5和机器人1进行通信，视觉传感器5实现工件的点云数据采集并将采集的点云数据输出至控制装置，再由控制装置控制抓取执行装置完成对工件的抓取。在抓取放置于工作台上的工件时，首先通过视觉传感器5对工件进行扫描和采集图像，控制装置对采集的图像进行图像处理和点云处理后，完成工件的准确定位，然后由控制装置将工件的三维坐标发送至抓取执行装置，抓取执行装置完成对工件的抓取。

本发明提供了一种抓取工件的方法，采用上述结构的机器人抓取系统，且包括如下的步骤：

S1、由视觉检测装置进行图像采集；

S2、对采集的图像进行图像处理和点云处理，获取工件的三维坐标，完成工件的定位；

S3、由抓取执行装置完成对工件的抓取。

如图3所示，在上述步骤S1中，在视觉检测装置进行图像采集前，还需进行标定工作，标定工作主要是建立机器人坐标系、工件坐标、视觉传感器坐标和图像坐标系，并完成图像坐标系到机器人坐标系的标定。标定工作完成后，通过图像采集程序和千兆网传输协议，实现视觉传感器对图像的采集。

在上述步骤S2中，对采集的图像进行图像处理和点云处理时，具体过程为：如图3和图4所示，控制装置先将采集的图像转换为深度图(depth map)，然后进行灰度拉伸以增强对比度；然后对灰度拉伸后的图像进行二值化，提取工件需要检测的特征区域，初步定位工件，得到工件在图像坐标系中的位置；然后将检测到的特征区域映射到三维空间，提取出点云感兴趣区域(即ROI)，然后对点云进行处理，得到工件在三维空间下的位姿；最后进行坐标转换，将工件的坐标转换到工业机器人的坐标系下。

在上述步骤S3中，通过TCP/IP协议，控制装置将工件的三维坐标发送至工业机器人的控制器，工业机器人规划轨迹，带动夹具进行运动，最后由夹具完成对工件的抓取。

本发明机器人抓取系统及抓取工件的方法，具有如下的优点：

1、提高了工件的定位精度，算法的重复定位精度达2mm(不包括机器人的精度)；

2、采用线结构光传感器作为图像采集系统，降低了环境光对成像质量的影响，同时传感器直接输出物体的三维点云信息，相比于现有技术节省了从二维图像提取三维坐标的计算时间；

3、采用深度图(depth map)进行部分特征提取，已实现工件的初定位，与直接点云数据匹配算法相比，极大的减少了运算时间；

4、实时性更高。

以上结合附图对本发明进行了示例性描述。显然，本发明具体实现并不受上述方式的限制。只要是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或未经改进，将本发明的上述构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (10)

1.机器人抓取系统，其特征在于，包括视觉检测装置和用于抓取工件且与视觉检测装置连接的抓取执行装置，视觉检测装置包括用于采集图像的视觉传感器。

2.根据权利要求1所述的机器人抓取系统，其特征在于，所述抓取执行装置包括工业机器人、与工业机器人连接的执行器支架和设置于执行器支架上且用于抓取工件的夹具。

3.根据权利要求2所述的机器人抓取系统，其特征在于，所述工业机器人为六自由度机器人，所述执行器支架与工业机器人的末端法兰连接。

4.根据权利要求2所述的机器人抓取系统，其特征在于，所述视觉传感器设置于所述执行器支架上。

5.根据权利要求2至4任一所述的机器人抓取系统，其特征在于，所述视觉传感器为线结构光传感器，所述夹具位于视觉传感器的一侧以避开视觉传感器的光路传播路线。

6.根据权利要求1至5任一所述的机器人抓取系统，其特征在于，所述视觉传感器和所述抓取执行装置与控制装置连接，视觉传感器实现工件的点云数据采集并将采集的点云数据输出至控制装置，再由控制装置控制抓取执行装置完成对工件的抓取。

7.根据权利要求1至5任一所述的机器人抓取系统，其特征在于，通过所述视觉传感器对工件进行扫描和采集图像，对采集的图像进行图像处理和点云处理后，完成工件的准确定位，然后由所述控制装置将工件的三维坐标发送至抓取执行装置，抓取执行装置完成对工件的抓取。

8.抓取工件的方法，其特征在于，采用权利要求1至7任一所述的机器人抓取系统，且包括步骤：

S1、由视觉检测装置进行图像采集；

S2、对采集的图像进行图像处理和点云处理，获取工件的三维坐标，完成工件的定位；

S3、由抓取执行装置完成对工件的抓取。

9.根据权利要求8所述的抓取工件的方法，其特征在于，所述步骤S2中，对采集的图像进行图像处理和点云处理时，控制装置先将图像转换为深度图，然后进行灰度拉伸以增强对比度；然后对灰度拉伸后的图像进行二值化，提取工件需要检测的特征区域，初步定位工件，得到工件在图像坐标系中的位置；然后将检测到的特征区域映射到三维空间，提取出点云感兴趣区域(ROI)，然后对点云进行处理，得到工件在三维空间下的位姿；最后进行坐标转换，将工件的坐标转换到工业机器人的坐标系下。

10.根据权利要求8或9所述的抓取工件的方法，其特征在于，所述步骤S3中，通过TCP/IP协议，控制装置将工件的三维坐标发送至抓取执行装置，工业机器人规划轨迹，完成对工件的抓取。