CN114643577B - 一种通用型机器人视觉自动标定装置和方法 - Google Patents

Abstract

本发明公开了一种通用型机器人视觉自动标定装置和方法，装置包括：机器人组件(115)、相机(130)、测距器(135)、标定板(140)、机器人控制器(150)、相机控制器(160)和标定及位置计算控制器(170)，方法包括通过将机器人运动控制、参数设置、相机的标定转换以及抓取新坐标计算等功能都集成到一个外部独立的不依赖第三方软硬件的，仅通过标准通信接口和机器人以及相机传递必要的结果数据的方式，使机器人手眼标定过程实现了不依赖第三方软硬件的完全自动化，极大的提高了手眼标定装置和方法的通用性，提升了标定的速度和效率，并同时降低了对现场操作人员的技术要求。

Description

一种通用型机器人视觉自动标定装置和方法

技术领域

本发明属于机器人视觉标定技术领域，具体地，涉及一种通用型机器人视觉自动标定装置和方法。

背景技术

工业机器人通常包括控制器和机械臂。控制器相当于机器人的“大脑”，机械臂相当于机器人的“手”。为了增强机器人对周围环境的感知能力，实际应用中通常会为机器人装上一双“眼睛”，也就是工业相机。这带了一个新问题，需要一种将相机的像素坐标转换到机器人空间坐标的装置和方法。建立机器人和相机间坐标变换的过程就是通常说的“手眼标定”。

国内外在这方面做了很多研究。例如，康耐视公司(COGNEX)在2020年申请的名为《机器人运动视觉系统的自动手眼标定系统与方法》(专利号：CN111482959A)的专利中，提出了一种最小人为干预下的自动手眼标定方法。四川长虹电器股份有限公司在2018年申请的名为《手眼相机标定方法及装置》(专利号：CN109671122A)的专利中，提出了用低精度的标定板对相机进行快捷方便的手眼标定的方法。浙江科澜信息技术有限公司在2020年申请的名为《一种相机标定方法、装置及设备》(专利号：CN111445535A)的专利中，提出了一种无需人工调整相机直接利用预先选取的特征点对误差函数的实数参数进行优化的高效率的标定方法。

上述校准方法的显著缺点是，一是自动标定设备和方法不具备通用性，标定涉及的机器人或相机发生品牌型号变更时，自动标定设备和方法将无法正常使用或需要进行较大变更后才能使用。二是没有实现完全的自动标定，在标定过程中仍需人工进行很多有一定专业难度的干预和协助工作。

发明内容

针对上述技术问题，本发明的目的是提供一种不依赖于被标定的机器人和相机的品牌和型号的，且在标定过程中不需要人工干预的，通用型的自动手眼标定装置和方法。

本发明采用的技术方案是：一种通用型机器人视觉自动标定装置，包括：

机器人组件、相机、测距器、标定板、机器人控制器、相机控制器和标定及位置计算控制器；

所述机器人组件固定在空间中，所述相机和所述测距器固定在所述机器人组件的末端，所述标定板置于相机视觉范围内；

所述机器人组件和所述机器人控制器电性连接，所述相机和所述相机控制器电性连接，所述测距器和所述相机控制器电性连接，所述机器人控制器和所述标定及位置计算控制器电性连接，所述相机控制器和所述标定及位置计算控制器电性连接；

所述机器人组件包括机器人安装座、机械臂和机械爪，所述机械臂固定在所述机器人安装座上，所述机械爪固定在所述机械臂的末端。

所述机器人控制器包括处理器、输入输出端口和存储器，所述存储器内安装有机器人侧通信接口。

所述相机控制器包括处理器、输入输出端口和存储器，所述存储器内安装有相机侧通信接口。

所述标定及位置计算控制器包括处理器、输入输出端口和存储器，所述存储器内安装有机器人控制模块、标定转换模块和工件位置计算模块。

所述标定板表面设有有特征点。

一种通用型机器人视觉自动标定方法，包括如下步骤：

步骤1：标定及位置计算控制器建立机器人用户坐标系；

步骤2：机器人搜索确定标定板的位置；

步骤3：机器人移动相机到标定板中心；

步骤4：机器人平移和旋转若干次并拍照测量标定板上特征点像素坐标；

步骤5：标定及位置计算控制器计算相机坐到机器人的单应性矩阵；

步骤6：控制机械臂移动使得激光测距器到工作面上一点；

步骤7：根据激光测距值调整拍照高度；

步骤8：标定及位置计算控制器计算机械爪抓取位置；

步骤9：移动机械爪抓取工件。

所述步骤1具体包括：

步骤11：机器人控制器输出指令，控制移动机械臂使得测距器到标定平面上三个平面点Puo，Pux和Puy，其中Puo用于确定用户坐标系的原点，Pux用于确定用户坐标系的X轴，Puy用于确定用户坐标系的Y轴；

步骤12：测距器测量这三个点的Z坐标；

步骤13：机器人控制器将上述三点的X、Y和Z坐标值发送给标定及位置计算控制器；

步骤14：标定及位置计算控制器根据这三点坐标值，计算出机器人用户坐标系相对于基坐标系的平移值和旋转值[Tx,Ty,Tz,Rx,Ry,Rz]，计算公式如下：

Pw＝R·Pu+t

其中Pu是步骤11和步骤12机器人控制器记录的机器人坐标系下的点坐标值，Pw是该点对应的基坐标值，R是由旋转值Rx,Ry和Rz构成的旋转矩阵：

其中，基坐标系沿着x、y、z轴进行α、β、γ旋转后得到用户坐标系，sα＝sinα，cα＝cosα，余此类推；

t是由平移值Tx,Ty,Tz构成的列向量：

步骤15：标定及位置计算控制器将计算出的平移值和旋转值[Tx,Ty,Tz,Rx,Ry,Rz]传输给机器人控制器，建立机器人的用户坐标系。

步骤5具体包括：

步骤51：根据步骤4获得N个点的像素坐标；

步骤52：根据下述相机像素坐标系到机器人坐标系的转换公式计算单应性矩阵H：

式中：Z_c为相机坐标系下的坐标，

为x方向单位毫米内有多少个像素，/>

为：y方向单位毫米内有多少个像素，f为焦距，(X、Y、Z)为机器人坐标系中的三维坐标，(u，v)为图像上对应三维点的二维像素坐标，(u₀，v₀)原点的实际位置，H为相机像素坐标系到机器人坐标系的单应性矩阵；

另

则上式可化简为如下两个方程式：

通常另机器人坐标系附着在标定平面上，即Z＝0，因此h₃＝h₇＝h₁₁＝0,且h₁₂＝1，至少需要4对点可以求解出单应性矩阵H。

所述步骤8具体包括：

步骤81：相机拍照测量工件的两个特征点的像素坐标值Pc1和Pc2；

步骤82：标定及位置计算控制器根据单应性矩阵H，将像素坐标值转换为机器人的用户坐标值Pw1和Pw2；

步骤83：标定及位置计算控制器计算工件偏移量和旋转角度[Tx,Ty,Rz]，公式如下：

步骤84：标定及位置计算控制器计算工件的抓取位姿Pick_act，公式如下：

其中，Pick_cad为已知的抓取点的原始位置。

与现有技术相比，本发明具有如下的有益效果：

通过将机器人运动控制、参数设置、相机的标定转换以及抓取新坐标计算等功能都集成到一个外部独立的不依赖第三方软硬件的，仅通过标准通信接口和机器人以及相机传递必要的结果数据的方式，使机器人手眼标定过程实现了不依赖第三方软硬件的完全自动化，极大的提高了手眼标定装置和方法的通用性，提升了标定的速度和效率，并同时降低了对现场操作人员的技术要求。

附图说明

图1是本发明的一种通用型机器人视觉自动标定装置的结构示意图；

图2是本发明的一种通用型机器人视觉自动标定方法的标定过程流程图；

图3是本发明的一种通用型机器人视觉自动标定方法的运行过程流程图；

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方法做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

参考图1，展示了本发明的一个实施例。其中图1是本发明的一种通用型机器人视觉自动标定装置的结构示意图。包括机器人组件115、相机130、测距器135、标定板140、机器人控制器150、相机控制器160和标定及位置计算控制器170。

其中，图1中的机器人组件115包括机器人安装座110、机械臂120和机械爪125。机械臂120固定在机器人安装座110上，机器人安装座110固定在空间100中。机械臂120和机器人控制器150通过输入输出端口152电性连接。机械爪125固定在机械臂120的末端。在本实施例中，使用机器人作为相机和机械爪的定位元件，完成进行相机标定所需要的平移和旋转动作以及抓取工件。除了使用图1中的机器人外，还可以使用其他包括伺服电缸平台、单轴机器人平台等多种方式。

其中，图1中的相机130包括图像传感器、镜头和光源。相机130被固定在机械臂120的末端，并和相机控制器160通过输入输出端口162电性连接。在本实例中，使用面阵扫描相机测量标定板140中的特征点141的像素坐标，和工件上的特征点的像素坐标。在其它的实施例中，相机可以包括二维CCD相机传感器、二维CMOS相机传感器或用于生成图像的任何其他类型的区域扫描传感器。

其中，图1中的测距器135可以是激光测距器，也可以是包括机械式测距器、超声波测距器等在内的能够测量距离的其它类型测量传感器。

其中，图1中的标定板140可以是有特征点141的标定板。也可以是其他类型校准图案的标定板，一些示例性图案包括但不限于点网格、线网格、十字或蜂窝、三角形棋盘等。

其中，图1中的机器人控制器150包括处理器151、输入输出端口152和存储器153。存储器中安装有机器人控制系统和机器人侧通信接口154。机器人侧通信接口154用来处理标定及位置计算控制器170和机器人控制器150之间的数据交换。标定及位置计算控制器向机器人控制器发送修改机器人用户坐标系及移动机械臂的指令，机器人控制器向标定及位置计算控制器发送机器人的当前坐标位置。机器人侧通信接口154可以是可编程只读存储器(PROM)、非易失性随机存取存储器(NRAM)等格式植入机器人控制器150。在其它实施例中，机器人侧通信接口154也可以接硬线而无需软件。

其中，图1中的相机控制器160包括处理器161、输入输出端口162和存储器163。存储器中安装有相机控制系统和相机侧通信接口164。相机侧通信接口164用来处理标定及位置计算控制器170和相机控制器160之间的数据交换。相机控制器160向标定及位置计算控制器170发送特征点141的像素坐标值，标定及位置计算控制器170将像素坐标值转换为机器人目标坐标后通过机器人侧通信接口154传送给机器人，并控制机器人移动到该位置。相机侧通信接口164可以可编程只读存储器(PROM)、非易失性随机存取存储器(NRAM)等格式植入相机控制器160。在其它实施例中，相机侧通信接口164也可以接硬线而无需软件。

其中，图1中的标定及位置计算控制器170包括处理器171、输入输出端口172和存储器173。存储器中安装有机器人控制模块174、标定转换模块175和工件位置计算模块176。机器人控制模块174用来通过输入输出端口172向机器人发送运动指令，驱动机械臂120执行相机手眼标定或抓取作业需要的平移和旋转动作。标定转换模块175用来根据相机控制器160发送来的像素坐标系计算单应性矩阵，或者将发送来的像素坐标系经过单应性变换变成机器人的用户坐标系的坐标值。工件位置计算模块176用来根据标定转换模块175计算出的工件的当前特征点的坐标值计算工件的平移量和旋转量，并进一步根据该平移量和旋转量计算机械爪125的抓取位置。

在执行相机标定作业时，首先标定及位置计算控制器170通过机器人控制器150的机器人侧通信接口154移动测距器135在标定平面上测量任意三个点的高度值，计算出平行于标定平面的机器人用户坐标系。然后标定及位置计算控制器170在用户坐标系上移动相机150搜索标定板的位置，并将标定平面处于相机视野中心。最后标定及位置计算控制器170控制机器绕着该点平移和旋转若干次并拍照测量特征点像素坐标，根据拍照测量到的若干组像素坐标和对应的机器人坐标点对计算出相机坐标系到机器人坐标系的单应性矩阵，完成标定作业。

在执行运行作业时，首先标定及位置计算控制器170中的机器人控制模块174发送指令给机器人控制器150控制机械臂120移动测距器135到工作面上的任一点测量高度，然后根据测量到的高度值调整机器人拍照位置，并拍照测量工件上的特征点的像素坐标系。然后标定及位置计算控制器170中的标定转换模块175将像素坐标值转换为用户目标坐标值。最后标定及位置计算控制器170中的工件位置计算模块176计算出工件的抓取坐标值并传送给机器人控制器150，机器人移动机械爪125对工件执行相应作业。

参考图2，展示了本发明的另一个实施例。图2是本发明的一种通用型机器人视觉自动标定方法的标定过程流程图，包括以下步骤：

步骤205：开始标定；

步骤210：机器人移动激光测距器135到标定平面上任意三点。在机器人基坐标下，移动激光测距器135到标定平面上的不共线三点Puo，Pux和Puy，其中Puo确定用户坐标系的原点，Pux确定用户坐标系的X轴，Puy确定用户坐标系的X-Y平面。机器人控制器160记录这三个点的基坐标下的X和Y坐标值。测光测距器135测量这三个点的Z坐标值。最后机器人控制器160将这三点的X-Y-Z空间坐标值发送给标定及位置计算控制器170；

步骤215：标定及位置计算控制器170计算机器人的用户坐标系。根据三个不共线点可以确定一个平面的原理，可计算出机器人用户坐标系相对于基坐标系的平移值和旋转值[Tx,Ty,Tz,Rx,Ry,Rz]，计算公式如下：

Pw＝R·Pu+T

其中Pu是步骤214测得的点的像素坐标值，Pw是该点对应的基坐标值，R是由旋转值Rx,Ry和Rz构成的旋转矩阵：

其中，基坐标系沿着x、y、z轴进行α、β、γ旋转后得到用户坐标系，sα＝sinα，cα＝cosα，余此类推；

t是由平移值Tx,Ty,Tz构成的列向量：

步骤220：机器人搜索确定标定板140在机器人用户坐标系中的位置。机器人的机械臂120带动相机130在工作范围内移动若干个位置拍照，检查其中有无标定板。如有，则停止搜索；

步骤225：机器人移动机械臂120带动相机到标定板中心。移动机器人使标定板处于相机视野的中心，为下一步将要执行的若干次的平移和旋转运动做准备。若标定板在视野中的位置太靠近边缘，则执行平移和旋转运动时特征点有可能会出视野；

步骤230：机器人平移和旋转若干次并拍照测量特征点像素坐标。机器人执行围绕中心点偏移下述值的平移和旋转运动，[-dx,-dy,0]、[0,-dy,0]、[dx,-dy,0]、[-dx,0,0]、[0,0,0]、[dx,0,0]、[-dx,dy,0]、[0,dy,0]、[dx,dy,0]、[0,0,-2*rz]、[0,0,-rz]、[0,0,0]、[0,0,rz]、[0,0,2*rz]。本实例中实施了9次平移加上5次旋转，但在其它实例中，可以实施更少或者更多次数的平移和旋转。每次平移或旋转运动完成后相机拍照测量某个特征点的像素坐标值；

步骤235：标定及位置计算控制器170计算相机坐到机器人的单应性矩阵。步骤230得到了14组像素坐标。按照期望得到的相机坐标系的原点位置和坐标轴朝向为每组像素坐标人为指定其对应的理论坐标值。根据下述相机像素坐标系到机器人坐标系的转换公式计算单应性矩阵H：

式中：Z_c为相机坐标系下的坐标，

为x方向单位毫米内有多少个像素，/>

为：y方向单位毫米内有多少个像素，f为焦距，(X、Y、Z)为机器人坐标系中的三维坐标，(u，v)为图像上对应三维点的二维像素坐标，(u₀，v₀)原点的实际位置，H为相机像素坐标系到机器人坐标系的单应性矩阵。

另

则上式可化简为如下两个方程式：

通常另机器人坐标系附着在标定平面上，即Z＝0。因此h₃＝h₇＝h₁₁＝0,且h₁₂＝1。则上述方程组有8个未知量，而每对点(像素与对应的三维点)可列出2个方程，所示至少需要4对点就可以求解出单应性矩阵H。

为了消除数据采集过程中的随机正态误差分布的影响，提高求解的精度和稳定性，本实施例采集了14个点对，构造了一个包含28个方程的非线性方程组，用基于最小二乘原理的Levenberg-Marquardt非线性优化迭代算法求解单应性矩阵H。

步骤240：完成标定。

参考图3，展示了本发明的另一个实施例。图3是本发明的一种通用型机器人视觉自动标定方法的运行过程流程图，包括以下步骤：

步骤305：开始运行；

步骤310：机器人移动激光测距器135到工作面上任意一点。首先机器人需要测量当前需要测量的特征点距离相机130的距离是否和标定时标定板140和相机130的距离相同，如不同则需要调整拍照高度，以便保持同样的测量精度；

步骤315：机器人根据激光测距值调整拍照高度。激光测距器135测量高度值后反馈给标定及位置计算控制器170，标定及位置计算控制器170计算出和标定时的距离的偏差值后控制机器人升高或降低相应距离；

步骤320：相机130拍照测量工件的特征点的像素坐标值，记录拍照测量得到特征点的像素坐标为[u；v]；

步骤325：标定及位置计算控制器170将像素坐标值转换为机器人坐标值。根据标定过程计算出中的单应性矩阵H计算该点的机器人坐标值[X；Y；Z]，计算公式如下：

步骤330：标定及位置计算控制器170计算工件偏移量和旋转角度。根据步骤325计算出的两个特征点的机器人坐标值Pw1和Pw2，计算出工件偏移量和旋转角度[Tx,Ty,Rz]，计算公式如下：

步骤335：标定及位置计算控制器170计算机械爪抓取位姿。根据步骤330计算出的工件偏移量和旋转角度[Tx,Ty,Rz]和从CAD模型中测量的机械爪125的理论抓取坐标Pick_cad计算机械爪125的抓取坐标值Pi ckact。计算公式如下：

步骤340：作业完成。

以上说明所描述的实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变换和改进。这些都属于本发明的保护范围。

Claims (3)

1.一种通用型机器人视觉自动标定方法，所述该方法是基于一种通用型机器人视觉自动标定装置实现的，该装置包括：

机器人组件(115)、相机(130)、测距器(135)、标定板(140)、机器人控制器(150)、相机控制器(160)和标定及位置计算控制器(170)；

所述机器人组件(115)固定在空间(100)中，所述相机(130)和所述测距器(135)固定在所述机器人组件(115)的末端，所述标定板(140)置于相机(130)视觉范围内；

所述机器人组件(115)和所述机器人控制器(150)电性连接，所述相机(130)和所述相机控制器(160)电性连接，所述测距器(135)和所述相机控制器(160)电性连接，所述机器人控制器(150)和所述标定及位置计算控制器(170)电性连接，所述相机控制器(160)和所述标定及位置计算控制器(170)电性连接；

其特征在于，所述该方法包括如下步骤：

步骤1：标定及位置计算控制器(170)建立机器人用户坐标系；

步骤2：机器人搜索确定标定板的位置；

步骤3：机器人移动相机到标定板中心；

步骤4：机器人平移和旋转若干次并拍照测量标定板(140)上特征点像素坐标；

步骤5：标定及位置计算控制器(170)计算相机坐到机器人的单应性矩阵；具体包括：

步骤51：根据步骤4获得N个点的像素坐标；

步骤52：根据下述相机像素坐标系到机器人坐标系的转换公式计算单应性矩阵H：

式中：Z_c为相机坐标系下的坐标，

为x方向单位毫米内有多少个像素，/>

为：y方向单位毫米内有多少个像素，f为焦距，(X、Y、Z)为机器人坐标系中的三维坐标，(u，v)为图像上对应三维点的二维像素坐标，(u₀，v₀)原点的实际位置，H为相机像素坐标系到机器人坐标系的单应性矩阵；

另

则上式可化简为如下两个方程式：

通常另机器人坐标系附着在标定平面上，即Z＝0，因此h₃＝h₇＝h₁₁＝0,且h₁₂＝1，至少需要4对点可以求解出单应性矩阵H；

步骤6：控制机械臂(120)移动使得激光测距器(135)到工作面上一点；

步骤7：根据激光测距值调整拍照高度；

步骤8：标定及位置计算控制器(170)计算机械爪(125)抓取位置；

步骤9：移动机械爪(125)抓取工件。

2.根据权利要求1所述的一种通用型机器人视觉自动标定方法，其特征在于，所述步骤1具体包括：

步骤11：机器人控制器(150)输出指令，控制移动机械臂(120)使得测距器(135)到标定平面上三个平面点Puo，Pux和Puy，其中Puo用于确定用户坐标系的原点，Pux用于确定用户坐标系的X轴，Puy用于确定用户坐标系的Y轴；

步骤12：测距器(135)测量这三个点的Z坐标；

步骤13：机器人控制器(150)将上述三点的X、Y和Z坐标值发送给标定及位置计算控制器(170)；

步骤14：标定及位置计算控制器(170)根据这三点坐标值，计算出机器人用户坐标系相对于基坐标系的平移值和旋转值[Tx,Ty,Tz,Rx,Ry,Rz]，计算公式如下：

Pw＝R·Pu+t

其中Pu是步骤11和步骤12机器人控制器(150)记录的机器人坐标系下的点坐标值，Pw是该点对应的基坐标值，R是由旋转值Rx,Ry和Rz构成的旋转矩阵：

其中，基坐标系沿着x、y、z轴进行α、β、γ旋转后得到用户坐标系，sα＝sinα，cα＝cosα，余此类推；

t是由平移值Tx,Ty,Tz构成的列向量：

步骤15：标定及位置计算控制器(170)将计算出的平移值和旋转值[Tx,Ty,Tz,Rx,Ry,Rz]传输给机器人控制器(150)，建立机器人的用户坐标系。

3.根据权利要求1所述的一种通用型机器人视觉自动标定方法，其特征在于，所述步骤8具体包括：

步骤81：相机拍照测量工件的两个特征点的像素坐标值Pc1和Pc2；

步骤82：标定及位置计算控制器(170)根据单应性矩阵H，将像素坐标值转换为机器人的用户坐标值Pw1和Pw2；

步骤83：标定及位置计算控制器(170)计算工件偏移量和旋转角度[Tx,Ty,Rz]，公式如下：

步骤84：标定及位置计算控制器计算工件的抓取位姿Pick_act，公式如下：

其中，Pick_cad为已知的抓取点的原始位置。

Images