CN110385694B - 机器人的动作示教装置、机器人系统以及机器人控制装置 - Google Patents

Abstract

即使在操作人员进行实际作业的工件和机器人进行作业的工件不同的情况下，也能基于操作人员的实际作业而简便地对机器人进行动作示教，提高制造效率。机器人的动作示教装置(10)具备：动作轨迹提取部(14)，其通过对在操作人员对第一工件进行作业时的第一工件和操作人员的手指或者臂的时变图像进行处理，提取操作人员的手指或者臂的动作轨迹；映射生成部(17)，其基于第一工件的特征点和机器人进行作业的第二工件的特征点，生成从第一工件向第二工件转换的转换函数；以及动作轨迹生成部(18)，其基于由动作轨迹提取部(14)提取到的操作人员的手指或者臂的动作轨迹和由映射生成部(17)生成的转换函数，生成机器人的动作轨迹。

Description

机器人的动作示教装置、机器人系统以及机器人控制装置

技术领域

本发明涉及一种机器人的动作示教装置、机器人系统以及机器人控制装置。

背景技术

在现有技术中，已知有使机器人模仿操作人员的实际作业的动作示教装置(例如，专利文献1)。

专利文献1中的动作示教装置，利用多台摄像机来获取操作人员正进行作业时的臂、手腕前端、手指的移动或者作业对象物的移动而作为多个有关三维位置的时序数据，并且利用安装于操作人员的手腕前端、手指的传感器来检测施加于作业对象物的力，从而获取有关力的时序数据，将这些相同时刻获取到的两个时序数据转换为与多台机器人臂的各个关节轴的移动相对应的各个轴轨道数据。

现有技术文献

专利文献

专利文献1：日本特开昭60-205721号公报

发明内容

发明要解决的问题

但是，在专利文献1的动作示教装置中，由于将操作人员进行实际作业的工件和机器人进行作业的工件相同的情况作为前提，因此，存在有在工件的形状稍微不同的情况下对机器人进行动作示教会变得困难的问题。

本发明是鉴于上述情况而做出的，其目的在于提供一种机器人的动作示教装置、机器人系统以及机器人控制装置，其即使在操作人员进行实际作业的工件和机器人进行作业的工件不同的情况下，也能基于操作人员的实际作业而简便地对机器人进行动作示教，由此能够提高制造效率。

用于解决问题的方案

根据本发明的一实施方式的机器人的动作示教装置，其具备：动作轨迹提取部，其通过对在操作人员对第一工件进行作业时的所述第一工件、和所述操作人员的手指或者臂的时变图像进行处理，提取所述操作人员的所述手指或者所述臂的动作轨迹；映射生成部，其基于所述第一工件的特征点和机器人进行作业的第二工件的特征点，生成从所述第一工件向所述第二工件转换的转换函数；以及动作轨迹生成部，其基于由所述动作轨迹提取部提取到的所述操作人员的所述手指或者所述臂的动作轨迹和由所述映射生成部生成的所述转换函数，生成所述机器人的动作轨迹。

根据本实施方式，由动作轨迹提取部通过处理在操作人员对第一工件进行作业时的第一工件、和操作人员的手指或者臂的时变图像，来提取操作人员的手指或者臂的动作轨迹，并且，由映射生成部基于第一工件的特征点和机器人进行作业的第二工件的特征点，生成从第一工件向第二工件转换的转换函数。并且，由动作轨迹生成部基于提取到的操作人员的手指或者臂的动作轨迹和所生成的转换函数，生成机器人的动作轨迹。由此，即使在操作人员进行实际作业的第一工件和机器人进行作业的第二工件不同的情况下，也能基于操作人员的实际作业简便地对机器人进行动作示教，从而能够提高制造效率。

在上述实施方式中，也可以具备轨道最优化部，所述轨道最优化部基于所述机器人沿着所述机器人的动作轨迹进行动作所需的动作时间和所述机器人的各个轴的加速度，对由所述动作轨迹生成部生成的所述机器人的动作轨迹进行最优化。

根据该结构，由轨道最优化部以减少动作时间且抑制过度的加速的方式，对机器人的动作轨迹进行最优化。

另外，在上述实施方式中，还可以具备：第一视觉传感器，其获取在所述操作人员对所述第一工件进行作业时的所述第一工件、和所述操作人员的所述手指或者所述臂的时变图像；以及第一特征点提取部，其从由所述第一视觉传感器获取到的图像提取所述第一工件的所述特征点，所述动作轨迹提取部从由所述第一视觉传感器获取到的图像提取所述操作人员的所述手指或者所述臂的动作轨迹。

根据该结构，由第一视觉传感器获取第一工件和操作人员的手指或者臂的时变图像，并且由动作轨迹提取部从获取到的图像提取操作人员的手指或者臂的动作轨迹，而且由第一特征点提取部提取第一工件的特征点。

另外，在上述实施方式中，还可以具备：第二视觉传感器，其对所述第二工件进行拍摄并获取图像；以及第二特征点提取部，其从由所述第二视觉传感器获取到的图像提取所述第二工件的所述特征点。

根据该结构，由第二视觉传感器获取第二工件的图像，由第二特征点提取部从获取到的图像提取第二工件的特征点。

另外，在上述实施方式中，也可以在虚拟现实空间中进行所述操作人员对所述第一工件的作业。

根据该结构，现实中无需准备第一工件和操作人员的作业环境，通过在虚拟现实空间内进行由软件实现的使第一工件进行移动的作业，能够提取操作人员的手指的动作轨迹。

另外，在上述实施方式中，也可以具备存储部，所述存储部将所述第二工件的所述特征点和所述机器人的动作轨迹相关联起来进行存储。

根据该结构，在再次对第二工件进行作业时，通过读取在存储部存储的机器人的动作轨迹，能够提高作业效率。

另外，本发明的另一实施方式的机器人系统，具备：多个机器人；多个控制装置，其分别对各个所述机器人进行控制；网络，其连接所述控制装置；以及连接于所述网络的上述机器人的动作示教装置。

根据本实施方式，基于第二工件的特征点，能够经由网络由多个机器人的控制装置读取在动作示教装置的存储部中存储的机器人的动作轨迹，并且能够使多个机器人之间共享信息。

另外，根据本发明的又一实施方式的机器人控制装置，其具备上述机器人的动作示教装置，所述第二特征点提取部以规定的周期提取所述第二工件的多个所述特征点的位置，所述机器人控制装置具备位置姿态计算部，所述位置姿态计算部基于提取到的多个所述特征点的位置，以每个所述规定的周期对各个所述特征点的运动方程式进行更新，并且基于由更新后的各个所述运动方程式计算出的各个所述特征点的位置，计算出所述第二工件的位置或姿态，基于由所述位置姿态计算部计算出的所述第二工件的位置或姿态，对所述机器人进行控制而使所述机器人随动于所述第二工件。

根据本实施方式，由第二特征点提取部以规定的周期从由视觉传感器获取到的图像中提取第二工件的多个特征点的位置。接着，由位置姿态计算部基于由第二特征点提取部提取到的多个特征点的位置，以每个规定的周期对这些多个特征点的运动方程式分别进行更新。另外，由位置姿态计算部从更新后的各个运动方程式计算出新的多个特征点的各自的位置，并且基于所计算出的多个特征点的位置计算出第二工件的位置或姿态。并且，由机器人控制装置基于由位置姿态计算部计算出的第二工件的位置或姿态，对机器人进行控制而使机器人随动于第二工件。

如此，由于以规定的周期对各个特征点的运动方程式进行更新，因此，能够在线构建第二工件的运动方程式。其结果，能够使机器人高精度地随动于随机进行移动的第二工件。

发明效果

根据本发明，即使在操作人员进行实际作业的工件和机器人进行作业的工件不同的情况下，也能基于操作人员的实际作业而简便地对机器人进行动作示教，由此实现能够提高制造效率的效果。

附图说明

图1是示出本发明的一实施方式的机器人系统的整体结构图。

图2是示出图1中的机器人系统所具备的动作示教装置的框图。

图3是用于说明由图2中的动作示教装置所具备的映射生成部所进行的转换函数的生成处理的图。

附图标记说明:

1 机器人系统

2 机器人

3 机器人控制装置

10 动作示教装置

11 第一摄像机(第一视觉传感器)

12 第二摄像机(第二视觉传感器)

14 动作轨迹提取部

15 第一特征点提取部

16 第二特征点提取部

17 映射生成部

18 动作轨迹生成部

W1 第一工件

W2 第二工件

A、A′ 动作轨迹

F 手指

H 操作人员

具体实施方式

以下，参照附图对本发明的一实施方式的机器人的动作示教装置10和机器人系统1进行说明。

如图1所示，本实施方式的机器人系统1具备：机器人2；机器人控制装置3，其连接于机器人2；以及本实施方式的动作示教装置10，其连接于机器人控制装置3。

动作示教装置10具备：第一摄像机(第一视觉传感器)11，其用于对操作人员H对第一工件W1进行作业时的第一工件W1和操作人员H的手指F进行拍摄并获取时变图像；第二摄像机(第二视觉传感器)12，其用于对机器人2进行作业的第二工件W2进行拍摄并获取图像；以及图像处理部13，其与第一摄像机11和第二摄像机12连接。

如图2所示，图像处理部13具备：动作轨迹提取部14，其连接于第一摄像机11；第一特征点提取部15，其连接于第一摄像机11；第二特征点提取部16，其连接于第二摄像机12；映射生成部17，其与第一特征点提取部15和第二特征点提取部16连接；以及动作轨迹生成部18，其与动作轨迹提取部14和映射生成部17连接。

动作轨迹提取部14从由第一摄像机11获取到的图像提取操作人员H的手指F的动作轨迹。具体而言，以如下方式执行：利用公知的动作捕捉技术，在将标记安装于操作人员H的手指F的状态下，从由第一摄像机11获取到的时变图像提取标记的位置的移动轨迹。

第一特征点提取部15通过图像处理提取由第一摄像机11获取到的任意图像内的第一工件W1，例如提取顶角、边缘等多个特征点的坐标。

第二特征点提取部16通过图像处理提取由第二摄像机12获取到的任意图像内的第二工件W2，例如提取顶角、边缘等多个特征点的坐标。

映射生成部17基于由第一特征点提取部15提取到的特征点的坐标以及由第二特征点提取部16提取到的特征点的坐标，并且利用如下的式(1)的映射理论公式，计算出转换函数f。

此处，符号f表示转换函数，k表示第一工件W1的特征点的数量，x^(k)表示第k个特征点的坐标，在二维图形的情况下，x₁、x₂表示二维坐标系的坐标(x₁，x₂)，x^(k)′表示第二工件W2的第k个特征点的坐标，f(x^(k))表示用映射函数f计算出的第一工件W1的第k个坐标x^(k)与第二工件W2相关联起来的坐标。

参照图3，说明该计算方法。在图3中，作为一例示出了长方形的第一工件W1的形状B、以及与第一工件W1的形状不同的第二工件W2的形状B′。

在图3中，在第一工件W1中的任意位置设定有点C。第一工件W1的形状B、第二工件W2的形状B′以及点C利用图中的坐标系C₂设定坐标。

此处，在图3中，点C′表示与相对于第一工件W1的形状的点C的位置相对应的、相对于第二工件W2的形状的位置。假如坐标系C₂中的第一工件W1的形状B和第二工件W2的形状B′的坐标是已知的，则通过将这些坐标的信息导入式(1)的转换函数f来能够计算出所述点C′的位置(即，坐标系C₂的坐标)。

动作轨迹生成部18利用这种计算方法，算出与对第一工件W1的形状B获取到的操作人员H的手指F的动作轨迹相对应的、针对第二工件W2的形状B′的动作轨迹。具体而言，动作轨迹生成部18在图1的坐标系中，通过将由动作轨迹提取部14提取到的针对第一工件W1的操作人员H的手指F的动作轨迹A导入到转换函数f，能够计算出针对第二工件W2的机器人2的动作轨迹A′。

若机器人控制装置3从动作轨迹生成部18接收动作轨迹A，则将构成动作轨迹A的各个点的坐标乘以坐标转换矩阵(例如，雅可比矩阵)，由此转换为三维机器人坐标系中的坐标。由此，通过将转换后的坐标用作示教点，能够使机器人2按照动作轨迹A′进行动作。

根据本实施方式的动作示教装置10和机器人系统1，将利用动作捕捉技术来获取到的操作人员H的手指F的动作轨迹A转换为机器人2的动作轨迹A′，因此，与采用了示教操作盘的情况相比，能够缩短进行复杂的动作轨迹A的示教所需的时间。具有通过进行示教的操作人员H的直观动作来能够对动作轨迹A进行示教的优点。另外，与采用了示教操作盘的情况相比，还具有不需要进行示教的操作人员H的熟练程度的优点。

另外，根据本实施方式的动作示教装置10和机器人系统1，即使操作人员H进行作业的第一工件W1和机器人2进行作业的第二工件W2之间不具有严格相同的形状，通过由映射生成部17生成转换函数，在将操作人员H的手指F的动作轨迹A转换为机器人2的动作轨迹A′时，能够转换为考虑到工件W1、W2的不同形状的动作轨迹A′。

例如，即使第一工件W1和第二工件W2具有相似形状，或者具有比例尺在一个方向上不同的形状，也能够高精度地生成机器人2的动作轨迹A′。由此，基于操作人员H的直观的实际作业而简便地对机器人2的动作进行示教，从而具有能够提高制造效率的优点。

另外，与采用计算机模拟进行示教的情况相比，具有无需制作精度高的CAD数据的优点。

此外，在本实施方式中，还可以具备轨道最优化部(省略图示)，所述轨道最优化部用于对由动作轨迹生成部18生成的机器人2的动作轨迹A′进行最优化。由该轨道最优化部进行的动作轨迹A′的最优化处理，例如利用“Changliu Liu，Masayoshi Tomizuka，Realtime trajectory optimization for nonlinear robotics systems：Relaxation andconvexification，Systems&Control Letters 108(2017)，p56－63”中公开的技术即可。

在该最优化处理中，进行用于回避障碍物的轨道规划，之后进行针对轨道的最优化。在轨道规划中，使用下述的式(2)至式(5)的评价函数和限制条件，求出：将与障碍物之间的距离保持在固定值以上、同时将从所生成的动作轨迹A′的变化量抑制得较低、而且马达转矩抑制得较低的轨迹。

x_t∈x，u_t∈u (3)

x_t＝f(x_t-1，u_t-1) (4)

式(2)示出用于进行轨道规划的评价函数J(x，u)，并求出：将规定的权重ω1、ω2附加于机器人2的从预设的动作轨迹x^r的变化量(x-x^r)的范数的平方和马达转矩u的范数的平方并进行加法的值成为最小的轨迹x和转矩u。

式(3)、式(4)、式(5)是针对式(2)的限制条件。

式(4)是动力学模型。

式(5)将与障碍物之间的距离大于最小距离作为条件。

另外，在针对轨道的最优化中，使用下述的式(6)至式(8)的评价函数和限制条件，轨迹以将沿着动作轨迹A′进行动作所需的动作时间抑制得较低、同时也将加速度抑制得较低的方式被最优化。

τ＞0，α∈A (7)

g_T(τ，α)＝0 (8)

式(6)示出用于进行针对轨道的最优化的评价函数J_T(τ，a)，并求出：将规定的权重ω3、ω4附加于动作时间τ的范数的平方和加速度a的范数的平方并进行加法的值成为最小的动作时间τ和加速度a。

式(7)、式(8)是针对式(6)的限制条件，式(8)表示时间和加速度之间的关系。

通过进行针对该动作轨迹A′的最优化处理，能够对与周围的障碍物不发生冲突而能够进行高速动作的动作轨迹A′进行示教。

另外，在第二工件W2随机移动的情况下，例如也可以采用日本特开2018-27580号公报中公开的机器人控制装置。即，由第二特征点提取部16以规定的周期提取第二工件W2的多个特征点的位置，并且基于提取到的多个特征点的位置，由位置姿态计算部以每个上述周期对各个特征点的运动方程式进行更新，而且基于由更新后的各个运动方程式计算出的各特征点的位置而计算出第二工件W2的位置或姿态，然后基于所计算出的第二工件W2的位置或姿态而对机器人2进行控制也可。通过以上方式，具有如下优点：对于随机进行移动的第二工件W2，通过视觉伺服能够使机器人2高精度地随动。

另外，在第二工件W2为如电缆那样的不规则的构件的情况下，也可以利用由第一摄像机11获取到的图像来进行模拟，由此识别形状，并且基于识别到的形状而由映射生成部17求出转换函数。

另外，在本实施方式中例示了，通过公知的动作捕捉技术，在将标记安装于操作人员H的手指F的状态下，从由第一摄像机11获取到的时变图像提取标记位置的移动轨迹的情况。取而代之，也可以在VR(虚拟现实)空间内，由操作人员H对第一工件W1进行作业。通过所述结构，实际上无需准备第一工件W1和操作人员H的作业环境，能够提取操作人员H的手指F的动作轨迹A。

另外，也可以具备存储部，所述存储部用于将第二工件W2的特征点和所生成的机器人2的动作轨迹A′相关联起来进行存储。通过所述结构，在再次对第二工件W2进行作业时，通过读取存储于存储部的机器人2的动作轨迹A′，能够提高作业效率。

也可以采用机器人系统，所述机器人系统包括：多个机器人2；用于控制各个机器人2的控制装置；用于连接控制装置的网络；以及动作示教装置10，其具备连接于网络的存储部。

通过所述结构，具有如下优点：基于第二工件W2的特征点，经由网络能够由多个机器人2的控制装置读取存储于动作示教装置10的存储部中的机器人2的动作轨迹A′，多个机器人2之间能够共享信息。

Claims (7)

1.一种机器人的动作示教装置，其特征在于，具备：

动作轨迹提取部，其通过对在操作人员对第一工件进行作业时的所述第一工件、和所述操作人员的手指或者臂的时变图像进行处理，提取所述操作人员的所述手指或者所述臂的动作轨迹；

映射生成部，其基于所述第一工件的特征点和机器人进行作业的第二工件的特征点，生成从所述第一工件向所述第二工件转换的转换函数；

动作轨迹生成部，其基于由所述动作轨迹提取部提取到的所述操作人员的所述手指或者所述臂的动作轨迹和由所述映射生成部生成的所述转换函数，生成所述机器人的动作轨迹；以及

轨道最优化部，其通过求出所述机器人沿着所述动作轨迹进行动作所需的动作时间和所述机器人的各个轴的加速度的规定的函数的值成为最小的所述动作时间和所述加速度，对由所述动作轨迹生成部生成的动作轨迹进行最优化。

2.根据权利要求1所述的机器人的动作示教装置，其特征在于，

所述机器人的动作示教装置具备：

第一视觉传感器，其获取在所述操作人员对所述第一工件进行作业时的所述第一工件、和所述操作人员的所述手指或者所述臂的时变图像；以及

第一特征点提取部，其从由所述第一视觉传感器获取到的图像提取所述第一工件的所述特征点，

所述动作轨迹提取部从由所述第一视觉传感器获取到的图像提取所述操作人员的所述手指或者所述臂的动作轨迹。

3.根据权利要求1或2所述的机器人的动作示教装置，其特征在于，

所述机器人的动作示教装置具备：

第二视觉传感器，其对所述第二工件进行拍摄并获取图像；以及

第二特征点提取部，其从由所述第二视觉传感器获取到的图像提取所述第二工件的所述特征点。

4.根据权利要求1所述的机器人的动作示教装置，其特征在于，

在虚拟现实空间中进行所述操作人员对所述第一工件的作业。

5.根据权利要求1或2所述的机器人的动作示教装置，其特征在于，

所述机器人的动作示教装置具备存储部，所述存储部将所述第二工件的所述特征点和所述机器人的动作轨迹相关联起来进行存储。

6.一种机器人系统，其特征在于，具备：

多个机器人；

多个控制装置，其分别对各个所述机器人进行控制；

网络，其连接所述控制装置；以及

权利要求5所述的机器人的动作示教装置，其连接于所述网络。

7.一种机器人控制装置，其特征在于，

具备权利要求3所述的机器人的动作示教装置，

所述第二特征点提取部以规定的周期提取所述第二工件的多个所述特征点的位置，

所述机器人控制装置具备位置姿态计算部，所述位置姿态计算部基于提取到的多个所述特征点的位置，以每个所述规定的周期对各个所述特征点的运动方程式进行更新，并且基于由更新后的各个所述运动方程式计算出的各个所述特征点的位置，计算出所述第二工件的位置或姿态，

所述机器人控制装置基于由所述位置姿态计算部计算出的所述第二工件的位置或姿态，对所述机器人进行控制而使所述机器人随动于所述第二工件。