CN111989194B - 用于控制机器人臂的方法 - Google Patents

Abstract

一种用于在视觉上控制可在多个自由度上移位的机器人臂(1)的方法，机器人臂(1)承载至少一个可移位参考点(14)，该方法包括以下步骤：a)放置至少一个相机(2)，使得在由相机(2)输出的图像中包含目标点(13)，参考点(14)将放置于目标点(13)处；b)使机器人臂(1)移位，使得参考点(14)位于图像内；c)确定在图像中使参考点(14)连接到目标点(13)的向量(A')；d)选取(S1,S4)自由度中的一个，使机器人臂(1)在所述自由度上移动(S2,S5)预确定的标准距离(φ_az,φ_bxy)，并且记录(S3,S6)由机器人臂(1)的移动造成的参考点(14)在图像内的标准位移(D_az,D_bxy)；e)至少重复进行步骤d)，直到向量(A')可分解(S9)成标准位移(D_az,D_bxy)与相关联的加权因子(C_az,C_bxy)的乘积的和；f)使机器人臂(1)移动(S9)与该和的标准位移相关联的标准距离(C_az*D_az+C_bxy*D_bxy)与加权因子的乘积。

Description

用于控制机器人臂的方法

技术领域

本发明涉及一种用于在视觉上控制可在多个自由度上移位的机器人臂的方法。在视觉上控制机器人的位移极具吸引力，因为这允许即使机器人对给定的转向命令的反应的再现性低也精确地使机器人转向。

背景技术

每当新设置机器人系统(其包括机器人臂、至少一个相机以及联接到所述机器人臂和相机的控制器，控制器用于基于来自相机的输入而控制机器人臂)并且未提前精确地限定相机相对于机器人臂的位置时，都存在问题，因为尽管控制器可能够标识由机器人臂承载的参考点的实际位置与目标点(参考点应当放置于此处)之间的偏差，但控制器不可获知为了到达目标点而如何移动机器人臂。

常规地，该认知通过被称为校准相机的过程而引入到控制器中，如果人工地执行该过程，则该过程需要大量的高技术劳动力。由于人工校准是时间密集的，因而人工校准必须在机器人系统开始正常操作之前执行，并且必须然后实现针对可变得有必要使机器人臂移动到的空间中的任何目标点而恰当地操作机器人臂。

发明内容

因此，本发明的目标是，提供一种用于在视觉上控制不需要人工校准的机器人臂的机器人系统和方法。

在一个方面，该目标通过一种用于在视觉上控制可在多个自由度上移位的机器人臂的方法而实现，机器人臂承载至少一个可移位参考点，该方法包括以下步骤：

a)放置至少一个相机，使得在由相机输出的图像中包含目标点，参考点将放置于该目标点处；

b)使机器人移位，使得参考点位于图像内；

c)确定在图像中使参考点连接到目标点的向量；

d)选取自由度中的一个，使机器人在所述自由度上移动预确定的标准距离，并且记录由机器人的移动造成的参考点在图像内的标准位移；

e)至少重复进行步骤d)，直到向量可分解成标准位移与相关联的加权因子的乘积的和；

f)使机器人移动与该和的标准位移相关联的标准距离与加权因子的乘积。

在步骤d)中记录的标准位移可被视为跨越向量空间的基本向量。该向量空间是图像的平面，即，该向量空间是二维的。因此，为了寻找可组合以形成步骤c)的向量的标准位移，在大部分情况下，无论机器人的自由度的数量如何，步骤d)的仅少量的迭代都将是足够的。因此，可首先在步骤d)中选取最有希望的自由度，并且，如果可通过使因而获得的标准位移组合而形成步骤c)的向量，则可通过未研究剩余的自由度而节省时间。

本发明的方法实现仅在极其靠近目标点的位置对机器人的移动进行精确控制，其中，由于使机器人在给定的自由度上移动预确定的标准距离而造成的参考点的位移可近似为与标准距离成正比，并且因此，每当存在参考点或目标点的显著改变时，都必须重新测量参考点的位移。实际上，这不是缺点，因为重新进行测量并且处理这些测量是不会明显地使机器人的操作延迟的几秒钟的问题。

可相当自由地限定在上述方法中考虑的自由度。可变化的参考点的任何坐标都可被视为自由度。这可为不考虑机器人的结构而限定的坐标系(例如，笛卡尔坐标系，其中，取决于坐标系是具有两个维度还是三个维度，存在两个维度或三个维度中的平移自由度，并且存在一个或三个旋转自由度)中的坐标。在这样的坐标系中，使参考点仅在一个自由度上移位可能需要机器人臂的若干行动部的协调操作，行动部的相应的位移的比例取决于参考点的当前位置。

备选地，如果机器人具有多个行动部(多个行动部中的各个驱动一个关节的位移)，则各个这样的位移可被视为自由度。在此情况下，由单个行动部的这样的位移引起的参考点在二维或三维空间中的移动将取决于其它行动部的位置。

可针对机器人的所有自由度而执行步骤d)。尽管这耗费比仅仅尝试对于通过标准位移的线性组合形成步骤c)的向量来说必要的多个自由度的在上文中提到的备选方案更多的时间，但这具有优点，因为在最后，步骤f)的移动可被选取成以便使沿着相机的光学轴线的不需要的位移最小化。

为此目的，可提供第二相机，第二相机的光学轴线与第一相机的光学轴线不平行，并且，第二相机可“看到”沿着第一相机的光学轴线的位移；在此情况下，可在步骤d)中记录的内容不仅是参考点在第一相机的图像内的标准位移，而且还是参考点沿着光学轴线的位移，并且，可在步骤e)中选取标准位移及其相关联的加权因子，使得它们产生参考点在与第一相机的光学轴线垂直的平面中的移动。

备选地，可假定的是，如果机器人在给定的自由度上移动预确定的标准距离，并且，所得到的参考点在图像内的标准位移远小于在其它自由度的情况下的标准位移，则在所述给定的自由度上的移动可被假定为基本上沿着相机的光学轴线。为了避免步骤f)中的沿着光学轴线的显著的移动，步骤d)的加权和应当不包括与基本上沿着光学轴线定向的自由度相关联的加数。

在大部分实际情况下，参考点不仅必须精确地放置到目标点上，而且还应当具有期望取向，即，不仅必须控制参考点的平移，而且还必须控制参考点的旋转。为此目的，机器人臂可承载第二可移位参考点，并且，向量可包括指定如下的旋转的旋转分量：通过该旋转而使得在第一参考点与第二参考点之间延伸的线与在第一目标点与第二目标点之间延伸的线平行。

参考点可位于机器人臂的构件(典型地，机器人臂的末端执行器)上，或位于由机器人臂操纵并且例如由末端执行器保持的物体上。

根据优选应用，物体是电路构件，并且，目标点位于将安装有电路构件的电路板上。

在此，相机的视场应当覆盖电路板的表面，并且，在步骤d)中选取的自由度应当优选地平行于所述表面，以便避免电路构件与电路板或与已经放置于电路板上的构件的过早接触。

该目标进一步通过一种机器人系统实现，该机器人系统包括机器人臂、至少一个相机以及联接到所述机器人臂和相机的控制器，其中，控制器被编程为执行如上文中所限定的方法。

本发明可进一步在一种计算机程序产品中体现，该计算机程序产品包括使计算机能够执行如上文中所限定的方法的程序代码装置，或本发明可进一步在一种计算机可读数据载体中体现，该计算机可读数据载体具有存储于其上的程序指令，该程序指令使计算机能够执行该方法。

附图说明

参考附图，根据本发明的实施例的以下描述，本发明的另外的特征和优点将变得显而易见。

图1是本发明的机器人系统的示意图。

图2图示了由图1的机器人系统的相机获得的图像；

图3图示了机器人系统的参考点的标准位移；以及

图4是控制机器人臂的方法的流程图。

具体实施方式

图1是机器人系统的示意图，机器人系统包括机器人臂1、相机2以及控制器3。机器人系统用于将构件4放置于支承件(优选地，平面支承件)上，例如，将电路构件4放置于电路板5上。

机器人臂1包括固定基座6、末端执行器7以及多个伸长连杆8，多个伸长连杆8通过关节9a-c而可枢转地彼此连接、连接到基座6和末端执行器7。各个关节可具有一个或多个旋转自由度。出于说明目的，将假定的是，与基座相邻的关节9a可通过竖直轴线10az而旋转，并且可通过水平轴线10axy而旋转，水平轴线10axy与连杆8一起围绕轴线10az旋转，关节9b围绕与10axy平行的轴线10bxy旋转，并且，关节9c围绕轴线10cz和与10axy平行的轴线10cxy旋转，在图1的构造中，轴线10cz恰好可为竖直的，但实际上，轴线10cz可围绕轴线10cxy枢转。

相机2已安装于电路板5上方，使得电路板5位于相机2的视场内部。电路板5限定三维笛卡尔坐标系，其中，两条轴线x、y在电路板5的平面中例如沿着电路板5的边缘延伸，并且，第三轴线z垂直于电路板。相机2限定第二笛卡尔坐标系，其中，两条轴线x'、y'在相机2的图像平面中延伸，并且，第三轴线z'是相机3的光学轴线11。尽管可能已注意在安装相机时使两个坐标系的轴线彼此大致平行地对准，但不可避免地存在一定的对准不准确度，使得使一个坐标系变换成另一个坐标系的矩阵可被视为未知的。

控制器3从所有关节9接收角数据，存储涉及连杆8和末端执行器7的几何结构数据，并且因而可计算末端执行器7的具体参考点的位置。

因此，有可能在不使用来自相机2的数据的情况下对末端执行器7进行粗略定位。这样的开环定位准确度可足以将机器人臂1转向到适当的位置中，以用于在没有来自相机2的反馈的情况下从供应源12抓取电路构件4，并且用于使电路构件4进入接近电路板5上的目标位置13的初始位置，使得电路构件4及其目标位置13两者都位于相机2的视场内。

然而，初始位置的准确度可能不会好于行动部的定位准确度，行动部基于来自控制器3的目标数据或机器人臂1的传感器的目标数据而驱动关节9的旋转，该传感器测量关节9由于行动部的操作而实际上呈现的角。显然，关节9越接近基座6，该关节的任何角不准确度对末端执行器7的实际位置的影响就越高。此外，构件4上的参考点14的位置可相对于末端执行器7变化，因为电路构件4可由末端执行器7在不同位置处并且以多种取向抓取。

为了考虑这些变化，并且为了将构件4精确地并且以正确取向放置于目标位置13处，必须基于来自相机2的图像以闭环控制机器人臂1。

图2是由相机2提供的图像的示例。图像示出了末端执行器7的部分、附接到末端执行器的电路构件4以及目标位置13。该示例的电路构件4是芯片，该芯片具有矩形塑料外壳15和接触部16，接触部16从外壳15的较长的边延伸。参考点14可为形成于外壳15的较短的边处的凹口。在图2的图像中，凹口是可见的；如果电路构件4已在另一取向下被抓取，则凹口可能相对于相机2隐藏在末端执行器7下面，但在此情况下，控制器将仍然能够基于外壳15的可见边缘而计算凹口在图像中的位置。

在电路板5上，存在匹配外壳15的形状的矩形轮廓17。轮廓17的较短的边缘上的标记限定目标位置13。当电路构件4的参考点14放置于目标位置13上并且外壳15的轮廓匹配轮廓17时，电路构件4正确地放置于电路板上。因此，为了正确地放置电路构件4，机器人臂1必须使电路构件4移位向量A'并且使电路构件4旋转角α'。

当机器人臂1的坐标系x、y、z与相机2的坐标系x'、y'、z'之间的关系仍然是未知的时，控制器3无法告知电路构件4响应于机器人臂1的给定移动而将在来自相机2的图像中移位多远并且沿什么方向移位。

控制器3可基于机器人臂1的已知的几何结构而告知的内容是，围绕轴线10az的旋转将使电路构件在与电路板5平行的xy平面中沿第一方向移位，而围绕轴线10axy、10bxy中的一条的旋转将引起部分在xy平面中沿第二方向并且部分沿z方向的位移，并且，围绕轴线10cxy的旋转将使电路构件基本上仅沿z方向移位。

根据本发明的方法的第一实施例，控制器在步骤S1中选择轴线10中的一条(例如，轴线10az)，并且驱动围绕该轴线以小角φ_az进行的旋转(S2)。该角可为固定的，并且对于所有轴线10来说都是相同的，优选地，该角与末端执行器7距所选择的轴线的距离成反比，使得末端执行器7所行进的距离基本上对于所有轴线来说都是相等的。

控制器3在来自相机2的图像中检测由步骤S2的旋转引起的参考点14的位移D_az(S3)。如A'那样，位移D_az是图像平面中的二维向量(参见图3)。

在接下来的步骤S4中，控制器3选择另一轴线(例如，轴线10bxy)，并且在步骤S5中驱动围绕该轴线以小角φ_bxy进行的旋转。如上文中所指出的，φ_bxy可等于φ_az，或φ_bxy可选取为与末端执行器7距轴线10bxy的距离成反比，使得末端执行器7所行进的距离将类似于在围绕轴线10az的旋转的情况下的距离，但行进方向将不同，并且，相机2在步骤S6中观察沿与D_az不同的方向的位移D_bxy。

如果这些位移中的一个的量显著地小于另一个的量，则可推断出，位移基本上沿z'方向，并且因此不可被相机2看到。由于相机2从上方查看电路板5，因而沿z'方向的位移可碰撞电路板，并且应当避免该位移。因此，如果给定的旋转中的所观察到的位移小，则放弃旋转(S7)，并且，通过返回到步骤S4而选择另一轴线。如果旋转的所观察到的位移D的方向与由于另一旋转而导致的所观察到的位移的方向的差异小于预确定的角，则也可放弃该旋转。

当在步骤S7中发现位移D_az、D_bxy的量大致类似和/或在位移D_az的方向与D_bxy的方向之间的角足够接近直角时，基于来自相机2的图像而检测向量A'(S8)，并且，在步骤S9中，使向量A'分解成这些位移的加权和：

A'＝c_az*D_az+c_bxy*D_bxy。

通过使得机器人臂1围绕轴线10az旋转角c_az*φ_az并且围绕轴线10bxy旋转角c_bxy*φ_bxy(S10)，参考点14放置于目标点13的正上方。

在备选实施例中，控制器3重复进行步骤S4-S6，直到机器人臂1已执行围绕机器人臂1的所有轴线10的旋转φ并且由这些旋转φ造成的在图像平面中的位移D已被记录。选取其向量积最大的那两个位移D₁、D₂，以用于使向量A'分解成加权和：

A'＝c₁*D₁+c₂*D₂，

并且然后使机器人臂1围绕与这些位移相关联的轴线旋转角c₁*φ₁、c₂*φ₂。

控制器3能够协调围绕轴线10ax、10bxy、10cxy的旋转，使得末端执行器7相对于轴线10az沿纯径向方向沿着直线移位。因此，在本发明的优选实施例中，控制器3执行如上文中所描述的步骤S1-S3，由此，机器人臂围绕轴线10az旋转φ_az，并且，参考点14经历位移D_az。在步骤S4-S6中，控制器3将相对于轴线10az沿径向方向的平移选择为自由度，并且驱动末端执行器7沿径向方向的平移，通过该平移，参考点移位D_r。

通过相机2从上方看到，两个位移向量D_az和D_r近似地正交。可执行向量A'的分解(S9)：

A'＝c_az*D_az+c_r*D_r，

并且，通过使机器人臂1围绕轴线10az旋转c_az*φ_az，并且使机器人臂1径向地伸展或收缩与c_r成比例的量(S9)，参考点14放置于目标点11的顶部上。

在电路构件4的情况下，参考点14和目标点11重合是不够的，外壳15和轮廓17的取向也必须匹配。在本示例中，控制器3在不依赖于来自相机2的图像的情况下“获知”这样的对准需要通过轴线10cz而旋转，控制器3可能不会获知末端执行器和电路构件4必须旋转的角。因此，在准备步骤S0中，基于来自相机2的图像，控制器3确定角α'，并且使末端执行器7和电路构件4围绕轴线10cz旋转α'，使得外壳15的边缘变得与轮廓17的边缘平行。随后进行如上文中所描述的步骤S1-S9。

当电路构件4已正确地放置于轮廓17上方时，控制器使电路构件4下降，直到电路构件4与电路板的接触防止机器人臂1的进一步的位移(S10)。可再次在不依赖于来自相机2的图像的情况下控制下降移动。

参考标号

1 机器人臂

2 相机

3 控制器

4 电路构件

5 电路板

6 基座

7 末端执行器

8 连杆

9 关节

10 (旋转)轴线

11 光学轴线

12 供应源

13 目标位置

14 参考点

15 外壳

16 接触部

17 轮廓。

Claims (12)

1.一种用于在视觉上控制可在多个自由度上移位的机器人臂(1)的方法，所述机器人臂(1)承载至少一个可移位参考点(14)，所述方法包括以下步骤：

a)放置至少一个相机(2)，使得在由所述相机(2)输出的图像中包含目标点(13)，所述参考点(14)将放置于所述目标点(13)处；

b)使所述机器人臂(1)移位，使得所述参考点(14)位于所述图像内；

c)确定在所述图像中使所述参考点(14)连接到所述目标点(13)的向量(A')；

d)选取所述自由度中的一个，使所述机器人臂(1)在所述自由度上移动预确定的标准距离，并且记录由所述机器人臂(1)的所述移动造成的所述参考点(14)在所述图像内的标准位移(D_az,D_bxy)；

e)至少重复进行步骤d)，直到所述向量(A')可分解成标准位移(D_az,D_bxy)与相关联的加权因子(c_az,c_bxy)的乘积的和(c_az*D_az+c_bxy*D_bxy)；

f)使所述机器人臂(1)移动一距离，所述距离等于与所述和的所述标准位移相关联的所述标准距离与所述加权因子的乘积。

2.根据权利要求1所述的方法，其特征在于，所述自由度包括沿互相正交的方向的位移。

3.根据权利要求1所述的方法，其特征在于，所述机器人包括可旋转关节(9)，并且，所述自由度包括所述关节(9)的旋转。

4.根据权利要求1至3中的任一项所述的方法，其特征在于，针对所述机器人臂(1)的所有自由度而执行步骤d)。

5.根据权利要求1至3中的任一项所述的方法，其特征在于，所述相机(2)的视场覆盖表面(5)，并且，在步骤d)中选取的自由度平行于所述表面(5)。

6.根据权利要求1至3中的任一项所述的方法，其特征在于，如果所述参考点(14)的标准位移低于预确定的阈值，则自由度被视为沿着所述相机(2)的光学轴线(11)定向，并且，步骤e)的所述和(c_az*D_az+c_bxy*D_bxy)不包括与沿着所述光学轴线(11)定向的自由度相关联的加数。

7.根据权利要求1至3中的任一项所述的方法，其特征在于，所述机器人臂(1)承载第二可移位参考点，并且其中，所述向量包括指定如下的旋转的旋转分量：通过所述旋转而使得在第一参考点与第二参考点之间延伸的线与在第一目标点与第二目标点之间延伸的线平行。

8.根据权利要求1至3中的任一项所述的方法，其特征在于，所述参考点(14)位于由所述机器人臂(1)操纵的物体(4)上。

9.根据权利要求8所述的方法，其特征在于，所述物体(4)是电路构件，并且，所述目标点(13)位于电路板上。

10.一种机器人系统，包括机器人臂(1)、至少一个相机(2)以及联接到所述机器人臂(1)和相机(2)的控制器(3)，其特征在于，所述控制器(3)被编程为执行根据前述权利要求中的任一项所述的方法。

11.一种计算机程序产品，包括程序代码装置，所述程序代码装置使计算机能够执行根据权利要求1至9中的任一项所述的方法或作为根据权利要求10所述的机器人系统的所述控制器而操作。

12.一种计算机可读数据载体，具有存储于其上的程序指令，所述程序指令使计算机能够执行根据权利要求1至9中的任一项所述的方法。