CN109318234A - 一种适用于视觉伺服插拔作业的标定方法 - Google Patents

Abstract

一种适用于视觉伺服插拔作业的标定方法，属于图像识别领域。基于视觉伺服的伺服对准控制精度低，插拔阶段时开环控制的插拔作业的效果差的问题。一种适用于视觉伺服插拔作业的标定方法，利用相机采集包含插针、插口和插头夹持装置的图像；利用深度学习算法获得插口中每个插针的中心点以及插头夹持装置上每个标定板的中心点；之后计算插口中点坐标、插口偏角、插头夹持装置中点以及插头夹持装置偏角；将点坐标转移到机器人机械臂末端关节坐标系中；获得插口中点在机器人末端坐标系的坐标；在末端坐标系中计算视觉伺服图像特征误差；将视觉伺服特征发送给机器人视觉伺服算法，控制机器人运动。本发明使视觉伺服插拔作业当中作业精度得到提高。

Description

一种适用于视觉伺服插拔作业的标定方法

技术领域

本发明涉及一种适用于视觉伺服插拔作业的标定方法。

背景技术

目前，各种类型的机器人、机械臂在工业自动化当中运用渐趋广泛，而利用机器人进行装配作业更是运用广泛。然而，让机器人精确对准装配作业时的插槽是该作业当中的一大难点。而其中一种较为困难的装配作业就是插头插口组装作业。大部分视觉伺服技术都是使目标对准图像中某一个固定位置，由人为根据具体经验或者机械结构测量决定。为了保护插口以及插头的耐久度，我们常常使用视觉伺服方法来使插头精确对准插槽。然而由于视觉伺服在伺服对准后的插拔过程当中是开环控制，如果无法精确对准，往往插拔作业的效果较差，无法完成任务。

发明内容

本发明的目的是为了解决基于视觉伺服的伺服对准控制精度低，插拔阶段时开环控制的插拔作业的效果差的问题，而提出一种适用于视觉伺服插拔作业的标定方法。

一种适用于视觉伺服插拔作业的标定方法，所述方法包括以下步骤：

步骤一、标定准备工作：

为机器人机械臂末端关节设置插头夹持装置，插头夹持装置的两个对称的夹子上分别设置一标定板，机器人机械臂上还安装有相机，相机对准目标，且相机视野范围内包含插口与插头夹持装置；其中，目标是指插入了插针的插口；

步骤二、利用相机采集包含插针、插口和插头夹持装置的图像；其中，采集图像过程中利用激光光源提供光照，且将激光光源对准插头夹持装置及插口；且是采用pyTorch搭建的神经网络进行插口位置以及插头夹持装置的位置的识别的；

步骤三、利用深度学习算法进行特征识别，分别获得插口中每个插针的中心点(x_p1,y_p1)和(x_p2,y_p2)，以及插头夹持装置上每个标定板的中心点(x_b1,y_b1)和(x_b2,y_b2)；

步骤四、由插针的中心点计算插口中点(x_dm,y_dm)坐标以及插口偏角θ_d，计算公式如下：

同理，计算插头夹持装置中点以及插头夹持装置偏角θ_b；

步骤五、将步骤四获得的插口中的点坐标由图像坐标系转移到机器人机械臂末端关节坐标系当中；

首先，将点转移到像平面坐标系；

然后，将点转移到相机末端关节坐标系当中用于视觉伺服过程，其中，

将插口中点坐标(x_dm,y_dm)进行转换的公式为：

获得插口中点在机器人末端坐标系的坐标插口偏角θ_d不做转换；

步骤六、在末端坐标系中计算视觉伺服图像特征误差：

利用获得的插针特征点和插口偏角θ_d，以及标定板特征点和插头夹持装置偏角θ_b，计算视觉伺服中的图像误差：

θ_err＝θ_b-θ_d

并将该误差点以及误差角度θ_err作为视觉伺服特征；

步骤七、将视觉伺服特征发送给机器人视觉伺服算法，进而在机器人的主控制程序中控制机器人运动，具体为：

步骤七一、先控制机器人到插头与插口组装作业位置附近，保证相机视野中包含标定板与插口，且标定板在标定过程中不会再遮挡插口；

步骤七二、控制机器人使操作端末端距离插口位置的高度固定，且机器人操作端末端插头夹持装置上的两个标定板所在平面平行于插口上口所在平面；

步骤七三、机器人进行视觉伺服，通过深度学习方法来识别标定板与插口，并通过TCP/IP协议发送给机器人控制器，机器人控制器的TCP/IP接收程序首先接收识别点，然后在所述程序当中将接受到的识别点转化为视觉伺服过程当中所需要的图像特征信息，并传给机器人控制主程序以供视觉伺服指令使用。

步骤七四、待伺服完成，在程序的配置文件中记录此时图像中插头夹持装置与插口对准重合时的中心的位置以及偏角，即为插头夹持装置中点以及插头夹持装置偏角θ_b。

本发明的有益效果为：

本发明提出一种视觉伺服插拔作业当中适用的标定方法。依靠pyTorch搭建的神经网络进行插口位置识别以及插头夹持装置的位置识别，再利用视觉伺服算法使插口与插头夹持装置的位置对准。然后记下该位置在图像坐标系当中的位置，并以此作为标定位置，既认为装配作业当中当插口中心移动到这个点时插头与插口才对准。在其后的视觉伺服插拔作业当中，视觉伺服使插口中心移动到标定点，然后开环控制插拔作业。实现良好的视觉伺服效果，视觉伺服插拔作业当中作业精度提高80％，保护插头与插口的耐久度，使用寿命延长一倍。

本发明提供了一种视觉伺服过程当中的标定方法，该方法的目的是为了确定当插头可以准确的插进电源口时，电源口在图像中的位置和姿态。进行此过程是为了减少由于环境变化，机械结构变形等外部因素造成的插拔误差。该发明提供了一种在视觉伺服过程当中提高伺服精度的方法，以及在装配作业当中减少装配误差的一种途径。由于提高了视觉伺服插头插口组装作业当中作业精度，可以更好的保护插头与插口的耐久度，防止由于错误组装导致的插口或插头损坏，从而显著提高生产效率，节约加工成本，在未来视觉伺服相关的各种组装作业中有重要应用。

附图说明

图1为本发明的流程图；

图2为本发明涉及的插头夹持装置上安装标定板的结构示意图；1为夹子，2为标定板，3为机械臂；

图3为本发明涉及的深度学习算法识别出的插口中心点与插头夹持装置中心点的示意图；

图4为本发明涉及的图像视野示意图；

图5为本发明涉及的机器人与目标插口位置示意图，1为夹子，3为机械臂，4为机器人，5为插头插拔装置，6为相机，7为目标物体，8为插拔作业气缸；

具体实施方式

具体实施方式一：

本实施方式的一种适用于视觉伺服插拔作业的标定方法，所述方法包括以下步骤，如图1所示：

步骤一、标定准备工作：

为机器人机械臂末端关节设置插头夹持装置，插头夹持装置的两个对称的夹子上分别设置一标定板，如图2所示，机器人机械臂上还安装有相机，相机对准目标，且相机视野范围内包含插口与插头夹持装置；其中，目标是指插入了插针的插口；

步骤二、利用相机采集包含插针、插口和插头夹持装置的图像；其中，采集图像过程中利用激光光源提供光照，且将激光光源对准插头夹持装置及插口；

步骤三、利用深度学习算法进行特征识别，分别获得插口中每个插针的中心点(x_p1,y_p1)和(x_p2,y_p2)，以及插头夹持装置上每个标定板的中心点(x_b1,y_b1)和(x_b2,y_b2)；如图3所示；

步骤四、由插针的中心点计算插口中点(x_dm,y_dm)坐标以及插口偏角θ_d；并由插头夹持装置上每个标定板的中心点计算插头夹持装置中点以及插头夹持装置偏角θ_b；

步骤五、将步骤四获得的插口中的点坐标由图像坐标系转移到机器人机械臂末端关节坐标系当中；

首先，将点转移到像平面坐标系；

然后，将插口中点坐标(x_dm,y_dm)转移到相机末端关节坐标系当中，获得插口中点在机器人末端坐标系的坐标

步骤六、在末端坐标系中计算视觉伺服图像特征误差：

利用获得的插针特征点和插口偏角θ_d，以及标定板特征点和插头夹持装置偏角θ_b，计算视觉伺服中的图像误差，并将该误差点以及误差角度θ_err作为视觉伺服特征；

步骤七、将视觉伺服特征发送给机器人视觉伺服算法，进而在机器人的主控制程序中控制机器人运动；执行精准的操作。

具体实施方式二：

与具体实施方式一不同的是，本实施方式的一种适用于视觉伺服插拔作业的标定方法，所述的步骤一中机器人机械臂上还安装有相机具体为，机器人机械臂末端关节上还安装有相机。

具体实施方式三：

与具体实施方式一或二不同的是，本实施方式的一种适用于视觉伺服插拔作业的标定方法，所述步骤三中利用深度学习算法进行特征识别时，是采用pyTorch搭建的神经网络进行插口位置以及插头夹持装置的位置的识别的。PyTorch属于一种神经网络架构，类似于积木，用它搭建神经网络。PyTorch是使用GPU和CPU优化的深度学习张量库。是一个主要拥有如下两种功能的基于python的科学计算包：

在使用GPU时作为numpy库的替代品提供最大程度的灵活度和速度的深度学习研究平台。

具体实施方式四：

与具体实施方式三不同的是，本实施方式的一种适用于视觉伺服插拔作业的标定方法，所述的步骤四中由插针的中心点计算插口中点(x_dm,y_dm)坐标以及插口偏角θ_d的计算公式如下：

同理，计算插头夹持装置中点以及插头夹持装置偏角θ_b。

具体实施方式五：

与具体实施方式一、二或四不同的是，本实施方式的一种适用于视觉伺服插拔作业的标定方法，所述的步骤五中将插口中点坐标(x_dm,y_dm)转移到相机末端关节坐标系当中，获得插口中点在机器人末端坐标系的坐标具体为：

将插口中点坐标(x_dm,y_dm)进行转换的公式为：

获得插口中点在机器人末端坐标系的坐标用于视觉伺服过程，插口偏角θ_d不做转换。

具体实施方式六：

与具体实施方式五不同的是，本实施方式的一种适用于视觉伺服插拔作业的标定方法，所述的步骤六中计算视觉伺服中的图像误差的过程为，通过如下公式进行计算：

θ_err＝θ_b-θ_d

将该误差点以及误差角度θ_err作为视觉伺服特征。

具体实施方式七：

与具体实施方式六不同的是，本实施方式的一种适用于视觉伺服插拔作业的标定方法，所述的步骤七中，将视觉伺服特征发送给机器人视觉伺服算法，进而在机器人的主控制程序中控制机器人运动的过程为：

步骤七一、先控制机器人到插头与插口组装作业位置附近，保证相机视野中包含标定板与插口，且标定板在标定过程中不会再遮挡插口；其图像相机视野如图4所示。

步骤七二、控制机器人使操作端末端距离插口位置的高度固定，且机器人操作端末端插头夹持装置上的两个标定板所在平面平行于插口上口所在平面；机器人与目标插口位置如图5所示。

步骤七三、让机器人进行视觉伺服，通过深度学习方法来识别标定板与插口，并通过TCP/IP协议发送给机器人控制器，机器人控制器的TCP/IP接收程序首先接收识别点，然后在所述程序当中将接受到的识别点转化为视觉伺服过程当中所需要的图像特征信息，并传给机器人控制主程序以供视觉伺服指令使用。

步骤七四、待伺服完成，在程序的配置文件中记录此时图像中插头夹持装置与插口对准重合时的中心的位置以及偏角，即为插头夹持装置中点以及插头夹持装置偏角θ_b。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种适用于视觉伺服插拔作业的标定方法，其特征在于：所述方法通过以下步骤实现：

步骤一、标定准备工作：

为机器人机械臂末端关节设置插头夹持装置，插头夹持装置的两个对称的夹子上分别设置一标定板，机器人机械臂上还安装有相机，相机对准目标，且相机视野范围内包含插口与插头夹持装置；其中，目标是指插入了插针的插口；

步骤二、利用相机采集包含插针、插口和插头夹持装置的图像；其中，采集图像过程中利用激光光源提供光照，且将激光光源对准插头夹持装置及插口；

步骤三、利用深度学习算法进行特征识别，分别获得插口中每个插针的中心点(x_p1,y_p1)和(x_p2,y_p2)，以及插头夹持装置上每个标定板的中心点(x_b1,y_b1)和(x_b2,y_b2)；

步骤四、由插针的中心点计算插口中点(x_dm,y_dm)坐标以及插口偏角θ_d；并由插头夹持装置上每个标定板的中心点计算插头夹持装置中点以及插头夹持装置偏角θ_b；

步骤五、将步骤四获得的插口中的点坐标由图像坐标系转移到机器人机械臂末端关节坐标系当中；

首先，将点转移到像平面坐标系；

然后，将插口中点坐标(x_dm,y_dm)转移到相机末端关节坐标系当中，获得插口中点在机器人末端坐标系的坐标

步骤六、在末端坐标系中计算视觉伺服图像特征误差：

利用获得的插针特征点和插口偏角θ_d，以及标定板特征点和插头夹持装置偏角θ_b，计算视觉伺服中的图像误差，并将该误差点以及误差角度θ_err作为视觉伺服特征；

步骤七、将视觉伺服特征发送给机器人视觉伺服算法，进而在机器人的主控制程序中控制机器人运动。

2.根据权利要求1所述的一种适用于视觉伺服插拔作业的标定方法，其特征在于：所述的步骤一中机器人机械臂上还安装有相机具体为，机器人机械臂末端关节上还安装有相机。

3.根据权利要求1或2所述的一种适用于视觉伺服插拔作业的标定方法，其特征在于：所述的步骤三中利用深度学习算法进行特征识别时，是采用pyTorch搭建的神经网络进行插口位置以及插头夹持装置的位置的识别的。

4.根据权利要求3所述的一种适用于视觉伺服插拔作业的标定方法，其特征在于：所述的步骤四中由插针的中心点计算插口中点(x_dm,y_dm)坐标以及插口偏角θ_d的计算公式如下：

同理，计算插头夹持装置中点以及插头夹持装置偏角θ_b。

5.根据权利要求1、2或4所述的一种适用于视觉伺服插拔作业的标定方法，其特征在于：所述的步骤五中将插口中点坐标(x_dm,y_dm)转移到相机末端关节坐标系当中，获得插口中点在机器人末端坐标系的坐标具体为：

将插口中点坐标(x_dm,y_dm)进行转换的公式为：

获得插口中点在机器人末端坐标系的坐标用于视觉伺服过程，插口偏角θ_d不做转换。

6.根据权利要求5所述的一种适用于视觉伺服插拔作业的标定方法，其特征在于：所述的步骤六中计算视觉伺服中的图像误差的过程为，通过如下公式进行计算：

θ_err＝θ_b-θ_d

将该误差点以及误差角度θ_err作为视觉伺服特征。

7.根据权利要求6所述的一种适用于视觉伺服插拔作业的标定方法，其特征在于：所述的步骤七中，将视觉伺服特征发送给机器人视觉伺服算法，进而在机器人的主控制程序中控制机器人运动的过程为：

步骤七一、先控制机器人到插头与插口组装作业位置附近，保证相机视野中包含标定板与插口，且标定板在标定过程中不会再遮挡插口；

步骤七二、控制机器人使操作端末端距离插口位置的高度固定，且机器人操作端末端插头夹持装置上的两个标定板所在平面平行于插口上口所在平面；

步骤七三、机器人进行视觉伺服，通过深度学习方法来识别标定板与插口，并通过TCP/IP协议发送给机器人控制器，机器人控制器的TCP/IP接收程序首先接收识别点，然后在所述程序当中将接受到的识别点转化为视觉伺服过程当中所需要的图像特征信息，并传给机器人控制主程序以供视觉伺服指令使用；

步骤七四、待伺服完成，在程序的配置文件中记录此时图像中插头夹持装置与插口对准重合时的中心的位置以及偏角，即为插头夹持装置中点以及插头夹持装置偏角θ_b。