CN110919658A - 一种基于视觉和多坐标系闭环转换的机器人标定方法 - Google Patents

Abstract

本发明公开了一种基于视觉和多坐标系闭环转换的机器人标定方法。本发明提供的一种基于视觉和多坐标系闭环转换的机器人标定方法，该方法能解决传统机器人标定方法需要构建计算量非常巨大的AX＝XB方程的问题减轻计算负担；a、b、c三个坐标系转换闭环相结合提高了各坐标系之间转换关系的准确性；对得到的机器人末端位置误差应用非线性最小二乘法优化提高机器人的定位精确度。

Description

一种基于视觉和多坐标系闭环转换的机器人标定方法

技术领域

本发明涉及机器人和图像识别技术领域，特别涉及一种基于视觉和多坐标系闭环转换的机器人标定方法。

背景技术

随着信息时代大数据、人工智能、图像识别等技术的快速发展，机器人技术也得到了飞跃的进步。工业机器人具有结构简单、灵活度高、工作空间大等特点，被广泛应用在汽车、物流、电子、医疗、航空航天等领域。机器人定位精度分为重复定位精度和绝对定位精度，现如今机器人的重复定位精度高，然而绝对定位精度低。所以提高机器人的绝对定位精度也是机器人技术研究的重要领域之一。

发明内容

本发明要解决的技术问题是：未经标定的机器人绝对定位精度低。

为了解决上述技术问题，本发明的技术方案是提供了一种基于视觉和多坐标系闭环转换的机器人标定方法，其特征在于，包括以下步骤：

步骤1：建立相机固定在机器人本体外的Eye-to-hand手眼基础模型，国际象棋棋盘作为靶标固定在机器人末端位置；机器人带动国际象棋棋盘在相机能拍摄到合适图像的范围内移动，用相机拍摄到的处于不同位姿的棋盘图像进行相机标定；

步骤2：进行手靶标定，包括以下步骤：

步骤201：将标定笔作为靶标固定在机器人末端，以机器人末端关节的坐标系为基础在空间中设定9个标记点，机器人带动标定笔在每个标记点处以不同的姿态进行定点直到完成9个标记点的定点，机器人末端关节坐标系上的点D₁～D₉投影到图像坐标系上的对应的点分别为d₁～d₉，通过欧式变换表示D₁～D₉到d₁～d₉的转换，由此得到图像坐标系与机器人末端关节坐标系之间的转换关系；

步骤202：基于步骤201获得的图像坐标系与机器人末端关节坐标系之间的转换关系，推导出相机坐标系与机器人末端关节坐标系之间的转换关系T_cm，即完成手眼标定；

步骤203：基于转换关系T_cm，结合步骤1相机标定后得到的相机参数，推导出靶标坐标系与相机坐标系之间的转换关系T_bc；

步骤204：由T_mb＝T_cmT_bc，推导出机器人末端关节坐标系与靶标坐标系之间的转换关系T_mb，即完成手靶标定；

步骤3：结合预标定数据，推出机器人末端在机器人基坐标系下的位置；

步骤4：将上述得到的机器人末端位置与机器人预期的末端位置进行对比，得到之间的误差；

步骤5：根据步骤4得到的机器人末端位置的误差建立误差约束方程，然后应用非线性最小二乘法优化，通过不停的迭代计算寻找到误差函数的局部最小值，并认为该局部最小值能够使得目标函数取得最优解，完成参数标定。

优选地，所述步骤1具体包括以下步骤：

步骤101：使标定板坐标系的Z轴方向与法兰盘坐标系的Z轴方向保持一致，在相机能拍摄到合适图像的范围内变动机器人末端上国际象棋棋盘的位姿，使得固定的相机采集到多张不同位姿的棋盘图像；

步骤102：提取棋盘图像中的角点并利用OpenCV中的cornerSubPix()函数将角点位置精确到亚像素级精度，进行相机标定；得到相机的内、外参数矩阵，其中，相机的内参数矩阵为

f_x、f_y表示焦距，u₀和u₀表示的是相机光轴与图像平面的交点；相机的外参数矩阵为

R表示从世界坐标系到相机坐标系的旋转矩阵，R＝R_xR_yR_z，R_x、R_y、R_z表示相机坐标系绕世界坐标系的x,y,z轴旋转，T表示从世界坐标系到相机坐标系的平移矩阵，T＝[t_x t_y t_z]，T_x、T_y、T_z表示相机坐标系沿着世界坐标系的x,y,z轴平移，则

其中相机坐标系到世界坐标系的变换公式为：

式(1)中，(X_w，Y_w，Z_w)表示世界坐标系中的点；(X_c，Y_c，Z_c)表示相机坐标系中相应的点；

图像坐标系与世界坐标系的变换关系为：

通过式(2)算出图像坐标系中的点(x，y)所对应的世界坐标系中的点(X，Y，Z)。

优选地，所述步骤3包括以下步骤：

步骤301：采用空间位置定点进行预标定，在机器人末端关节坐标系下将标定笔依次移动到设定的9个标记点，此时每个标记点处机器人不需要变动姿态，固定在机器人外的相机对其进行拍照，在拍照的同时记录各个标记点处机器人末端的坐标P′_(X，Y，Z)；

步骤302：将相机采集到不同标记点的标定笔图像进行预处理；然后进一步处理得到预标定的T_cm′_(1～9)，T_cm′_(1～9)表示9组预标定的相机坐标系与机器人末端关节坐标系之间的转换矩阵，T_cm′_(1～9)结合记录的机器人末端坐标得到9组相机坐标系与机器人的世界坐标系之间的转换关系T_cw(1～9)，取9组数据的平均值作为最终的相机坐标系与机器人的世界坐标系之间的转换关系T_cw；

步骤303：将预标定得到的转换关系T_cw、靶标坐标系与相机坐标系之间的转换关系T_bc和手靶标定得到的T_mb相结合可推导出机器人末端位置，将其与预期的机械手末端位置进行对比得到误差。

与现有技术相比本发明具有以下优势：

本发明提供的一种基于视觉和多坐标系闭环转换的机器人标定方法，该方法能解决传统机器人标定方法需要构建计算量非常巨大的AX＝XB方程的问题减轻计算负担；a、b、c三个坐标系转换闭环相结合提高了各坐标系之间转换关系的准确性；对得到的机器人末端位置误差应用非线性最小二乘法优化提高机器人的定位精确度。

附图说明

图1是一种基于视觉和多坐标系闭环转换的机器人标定方法的结构示意图1；

图2是一种基于视觉和多坐标系闭环转换的机器人标定方法的结构示意图2；

图3是一种基于视觉和多坐标系闭环转换的机器人标定方法的各坐标系转换关系图；

图4是一种基于视觉和多坐标系闭环转换的机器人标定方法流程图。

图标：

1-机器人本体；2-标定板；3-相机；4-标定笔；{W}-机器人的世界坐标系；{M}-机器人末端关节坐标系；{B}-标定板或标定笔坐标系；{C}-相机坐标系。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明将相机与机器人相结合，发明一种基于视觉和多坐标系闭环转换的机器人标定方法。该方法能解决传统机器人标定方法需要构建计算量非常巨大的AX＝XB方程的问题减轻计算负担；a、b、c三个坐标系转换闭环相结合提高了各坐标系之间转换关系的准确性；对得到的机器人末端位置误差应用非线性最小二乘法优化提高机器人的定位精确度。

本发明提供的一种基于视觉和多坐标系闭环转换的机器人标定方法，具体包括以下步骤：

步骤1：建立相机固定在机器人本体外的Eye-to-hand手眼基础模型，国际象棋棋盘作为靶标固定在机器人末端，如图1所示，标定板坐标系的Z轴与法兰盘坐标系的Z轴保持一致。机器人带动棋盘在相机能拍摄到合适图像的范围内移动，用相机拍摄到的不同位姿的标定板图像进行相机标定。

本步骤中，相机外参和内参标定具体包括如下步骤：

(1)通过不断变动机器人末端位置上标定板的位姿，使得固定的相机采集到多张棋盘图像。

(2)提取棋盘图像中的角点并利用OpenCV中的cornerSubPix()函数将角点位置精确到亚像素级精度，进行相机标定，得到相机的内外参数矩阵。

相机坐标系到世界坐标系的变换公式为：

式(1)中，、、(X_w，Y_w，Z_w)表示世界坐标系中的点；(X_c，Y_c，Z_c)表示相机坐标系中相应的点；

为相机的外参矩阵；R表示从世界坐标系到相机坐标系的旋转矩阵，R＝R_xR_yR_z，R_x、R_y、R_z表示相机坐标系绕世界坐标系的x,y,z轴旋转；T表示从世界坐标系到相机坐标系的平移矩阵，T＝[t_x t_y t_z]，T_x、T_y、T_z表示相机坐标系在世界坐标系的x,y,z轴上的平移。

图像坐标系与世界坐标系的变换关系：

式(2)中，S表示比例系数；

为相机的内参矩阵；f_x、f_y表示焦距，一般情况下，二者相等；u₀，v₀表示的是相机光轴与图像平面的交点，通常位于图像中心处，故其值常取分辨率的一半；

通过式(2)可算出图像坐标系中的点(x，y)所对应的世界坐标系中的点(X，Y，Z)。

进一步可以得到从世界坐标系与像素坐标系的变换关系：

式(4)、(5)中，f表示相机的焦距；(u,v)表示像素坐标系中的点。

步骤2：将标定板换成标定笔，标定笔作为靶标固定在机器人末端，如图2所示，以机器人末端关节的坐标系为基础在空间中设定9个标记点。机器人带动标定笔在标记点处以不同的姿态进行定点直到完成9个标记点的定点，得到图像坐标系与机器人末端关节坐标系之间的转换关系。进而可推导出相机坐标系与机器人末端关节坐标系之间的转换关系T_cm即完成手眼标定。如图3中坐标系转换闭环c所示，结合相机标定可推导出靶标坐标系与相机坐标系之间的转换关系T_bc；进而推导出机器人末端关节坐标系与靶标坐标系之间的转换关系T_mb即完成手靶标定。

本步骤中，手靶标定具体包括如下步骤：

将标定板换成标定笔，以标定笔作为靶标，使标定笔的坐标系和之前的标定板坐标系保持一致如图2所示。在机器人末端关节的坐标系上在空间中设定一个正方体，且该正方体处于相机合适的拍摄范围内，以正方体的8个顶点和1个中心点作为标记点D₁～D₉；机器人带动标定笔在每个标记点处以4种不同的姿态进行定点，直到完成9个标记点的定点；可知机器人末端关节坐标系上的点D₁～D₉投影到图像坐标系上的对应的点分别为d₁～d₉，可通过欧式变换即旋转向量和平移向量：

D_i＝R·d_i-t(i∈(1，9)) (6)

式(6)表示D₁～D₉到d₁～d₉的转换，式(6)中，t表示平移向量。由此可得到图像坐标系与机器人末端关节坐标系之间的转换关系。结合前面相机标定得到的相机参数和公式(7)：

得到相机坐标系和机器人末端关节坐标系之间的转换关系T_cm完成手眼标定；如图3中坐标系转换闭环c所示，可得机器人末端关节坐标系与靶标之间的转换关系T_mb＝相机坐标系与机器人末端关节坐标系之间转换关系T_cm×靶标坐标系与相机坐标系之间的转换关系T_bc(T_mb＝T_cmT_bc)，推算出机器人末端关节坐标系与靶标坐标系之间的转换关系T_mb即手靶标定。。

步骤3：再结合预标定数据，推出机器人末端在机器人基坐标系下的位置。

本步骤中，预标定具体包括如下步骤：

采用空间位置定点法进行预标定。通过离线编程的方式，控制机器人将标定笔依次移动到设定的9个标记点此时每个标记点处机器人不需要变动姿态，固定在机器人外的相机对其进行拍照，在拍照的同时记录各个标记点处机器人末端的坐标P′_(X，Y，Z)和六个关节的转角Δ′_(1～6)。

将相机采集到的标定笔图像进行预处理，然后进一步处理可得到预标定的T_cm′；根据图3中坐标系转换闭环b所示可得T₆＝T_cmT_cw，结合记录的机器人末端坐标可得到相机坐标系与机器人的世界坐标系之间的转换关系T_cw。

如图3中坐标系转换闭环a可知T₆＝T_mbT_bcT_cw，将预标定得到的T_cw、前面得到的靶标坐标系与相机坐标系之间的转换关系T_bc和手靶标定得到的T_mb相结合可推导出机器人末端位置P_1(X，Y，Z)，将其与预期的机器人末端位置P_0(X，Y，Z)进行对比得到误差。

步骤4：将上述得到的机器人末端位置与机器人预期的末端位置进行对比，得到之间的误差。

步骤5：根据机器人末端位置误差建立误差约束方程，然后应用非线性最小二乘法优化，通过不停的迭代计算寻找到误差函数的局部最小值，并认为该局部最小值能够使得我们的目标函数取得最优解(最小值)，完成参数标定。

本步骤中，得到误差后应用非线性最小二乘法优化具体包括如下步骤：

利用最小二乘法参数优化目的是找到一组合适的几何参数值，在该组参数值下机器人的末端定位误差达到最小。

可以构建非线性最小二乘法优化的目标函数为：

式(8)中，P_0(X,Y,Z)i表示第i个期望的机器人末端位置；P_0(X,Y,Z)j表示第j个期望的机器人末端位置；P_1(X,Y,Z)i表示推导出的机器人第i个末端位置；P_1(X,Y,Z)j表示推导出的机器人第j个末端位置。

这是一个典型的以误差平方和最小为准则来估计非线性静态模型参数的问题。通过迭代优化算法求解目标函数的极小值。算法采用Levenberg-Marquardt算法，其计算形式为：

H_LM＝-(J^TJ+μI)^-1J^Te (9)

式(9)中，H_LM为算法步长，J为误差函数的雅可比矩阵，e为误差函数，μ为正数。

将机器人末端位置坐标P_0(X，Y，Z)和P_1(X，Y，Z)带入计算目标函数，然后计算迭代步长H_LM，修正参数值并重复上述步骤直到到达最大迭代次数或目标函数减小到要求的标准。

通过采用上述技术方案，将视觉应用于机器人标定，得到各坐标之间的转换关系，更好的提高机器人定位精度。

Claims (3)

1.一种基于视觉和多坐标系闭环转换的机器人标定方法，其特征在于，包括以下步骤：

步骤1：建立相机固定在机器人本体外的Eye-to-hand手眼基础模型，国际象棋棋盘作为靶标固定在机器人末端位置；机器人带动国际象棋棋盘在相机能拍摄到合适图像的范围内移动，用相机拍摄到的棋盘图像进行相机标定；

步骤2：进行手靶标定，包括以下步骤：

步骤201：将标定笔作为靶标固定在机器人末端，以机器人末端关节的坐标系为基础在空间中设定9个标记点，机器人带动标定笔在每个标记点处以不同的姿态进行定点直到完成9个标记点的定点，机器人末端关节坐标系上的点D₁～D₉投影到图像坐标系上的对应的点分别为d₁～d₉，通过欧式变换表示D₁～D₉到d₁～d₉的转换，由此得到图像坐标系与机器人末端关节坐标系之间的转换关系；

步骤202：基于步骤201获得的图像坐标系与机器人末端关节坐标系之间的转换关系，推导出相机坐标系与机器人末端关节坐标系之间的转换关系T_cm，即完成手眼标定；

步骤203：基于转换关系T_cm，结合步骤1相机标定后得到的相机参数，推导出靶标坐标系与相机坐标系之间的转换关系T_bc；

步骤204：由T_mb＝T_cmT_bc，推导出机器人末端关节坐标系与靶标坐标系之间的转换关系T_mb，即完成手靶标定；

步骤3：结合预标定数据，推出机器人末端在机器人基坐标系下的位置；

步骤4：将上述得到的机器人末端位置与机器人预期的末端位置进行对比，得到之间的误差；

步骤5：根据步骤4得到的机器人末端位置的误差建立误差约束方程，然后应用非线性最小二乘法优化，通过不停的迭代计算寻找到误差函数的局部最小值，并认为该局部最小值能够使得目标函数取得最优解，完成参数标定。

2.如权利要求1所述的一种基于视觉和多坐标系闭环转换的机器人标定方法，其特征在于，所述步骤1具体包括以下步骤：

步骤101：使标定板坐标系的Z轴方向与法兰盘坐标系的Z轴方向保持一致，在相机能拍摄到合适图像的范围内变动机器人末端上国际象棋棋盘的位姿，使得固定的相机采集到多张不同位姿的棋盘图像；

步骤102：提取棋盘图像中的角点并利用OpenCV中的cornerSubPix()函数将角点位置精确到亚像素级精度，进行相机标定；得到相机的内、外参数矩阵，其中，相机的内参数矩阵为

f_x、f_y表示焦距，u₀v₀表示相机光轴与图像平面的交点；相机的外参数矩阵为

R表示从世界坐标系到相机坐标系的旋转矩阵，R＝R_xR_yR_z，R_x、R_y、R_z表示相机坐标系绕世界坐标系的x,y,z轴的旋转，T表示从世界坐标系到相机坐标系的平移矩阵，T＝[t_xt_y t_z]，T_x、T_y、T_z表示相机坐标系沿着世界坐标系的x,y,z轴平移，则

其中相机坐标系到世界坐标系的变换公式为：

式(1)中，、、(X_w，Y_w，Z_w)表示世界坐标系中的点；(X_c，Y_c，Z_c)表示相机坐标系中相应的点；

图像坐标系与世界坐标系的变换关系为：

通过式(2)算出图像坐标系中的点(x，y)所对应的世界坐标系中的点(X，Y，Z)。

3.如权利要求1所述的一种基于视觉和多坐标系闭环转换的机器人标定方法，其特征在于，所述步骤3包括以下步骤：

步骤301：采用空间位置定点进行预标定，在机器人末端关节坐标系下将标定笔依次移动到设定的9个标记点，此时每个标记点处机器人不需要变动姿态，固定在机器人外的相机对其进行拍照，在拍照的同时记录各个标记点处机器人末端的坐标P′_(X，Y，Z)；

步骤302：将相机采集到不同标记点处的标定笔图像进行预处理；然后进一步处理得到预标定的T′_cm(1～9)，T′_cm(1～9)表示9组预标定的相机坐标系与机器人末端关节坐标系之间的转换矩阵，T′_cm(1～9)结合记录的机器人末端坐标得到9组相机坐标系与机器人的世界坐标系之间的转换关系T_cw(1～9)，取9组数据的平均值作为最终的相机坐标系与机器人的世界坐标系之间的转换关系T_cw；

步骤303：将预标定得到的转换关系T_cw、靶标坐标系与相机坐标系之间的转换关系T_bc和手靶标定得到的T_mb相结合可推导出机器人末端位置，将其与预期的机械手末端位置进行对比得到误差。

Images