CN115213894A - 机器人图像的显示方法、显示系统以及记录介质 - Google Patents

Abstract

本公开涉及机器人图像的显示方法、显示系统以及记录介质，提供一种可以在未实际设置机器人并使其动作的情况下，进行机器人的示教的技术。机器人图像的显示方法包括：(a)根据示教用基台部的基台部图像识别机器人的基台的位置和姿态的工序；(b)根据示教用指尖部的指尖部图像识别机器人的指尖部的位置和姿态的工序；(c)根据基台的位置和姿态、以及指尖部的位置和姿态计算机器人所具有的一个以上的关节的角度的工序；以及(d)在虚拟空间中显示所述关节处于通过所述工序(c)计算出的所述角度的状态的所述机器人的三维图像。

Description

机器人图像的显示方法、显示系统以及记录介质

技术领域

本公开涉及机器人图像的显示方法、记录介质、以及机器人图像的显示系统。

背景技术

在专利文献1公开了如下所述的机器人系统：即便是没有末端执行器、机器人周边装置，也可以视为存在这些装置来实施机器人示教作业。在该系统中，使机器人的末端执行器或机器人周边装置的虚拟图像与照相机拍摄到的机器人的实际图像重叠来进行显示。

专利文献1：日本特开2017-104944号公报

但是，在现有技术中，存在为了进行机器人的示教，需要实际设置机器人并实际使机械臂进行动作的问题。

发明内容

根据本公开的第一方式，提供一种机器人图像的显示方法。该显示方法包括以下工序：(a)获取通过拍摄用于示教机器人的基台的位置和姿态的示教用基台部所创建的基台部图像，并根据所述基台部图像识别所述基台的位置和姿态；(b)获取通过拍摄用于示教所述机器人的指尖部的位置和姿态的示教用指尖部所创建的指尖部图像，并根据所述指尖部图像识别所述指尖部的位置和姿态；(c)根据通过所述工序(a)识别到的所述基台的位置和姿态、以及通过所述工序(b)识别到的所述指尖部的位置和姿态，计算所述机器人所具有的关节的角度；以及(d)在虚拟空间中显示通过所述工序(c)计算出的所述关节所述角度所表示的所述机器人的三维图像。

根据本公开的第二方式，提供用于进行机器人图像的显示处理的计算机程序。该计算机程序使处理器执行以下处理：(a)获取通过拍摄用于示教机器人的基台的位置和姿态的示教用基台部所创建的基台部图像，并根据所述基台部图像识别所述基台的位置和姿态；(b)获取通过拍摄用于示教所述机器人的指尖部的位置和姿态的示教用指尖部所创建的指尖部图像，并根据所述指尖部图像识别所述指尖部的位置和姿态；(c)根据通过所述处理(a)识别到的所述基台的位置和姿态、以及通过所述处理(b)识别到的所述指尖部的位置和姿态，计算所述机器人所具有的关节的角度；以及(d)在虚拟空间中显示通过所述处理(c)计算出的所述关节的角度所表示的所述机器人的三维图像。

根据本公开的第三方式，提供一种机器人图像的显示系统。该示教系统包括：示教用基台部，用于示教机器人的基台的位置和姿态；示教用指尖部，用于示教所述机器人的指尖部的位置和姿态；摄影部，用于拍摄所述示教用基台部和所述示教用指尖部；以及控制部，与所述摄影部连接。所述控制部执行以下处理：(a)获取使用所述摄影部对所述示教用基台部进行拍摄所创建的基台部图像，并根据所述基台部图像识别所述基台的位置和姿态；(b)获取使用所述摄影部对所述示教用指尖部进行拍摄所创建的指尖部图像，并根据所述指尖部图像识别所述指尖部的位置和姿态；(c)根据通过所述处理(a)识别到的所述基台的位置和姿态、以及通过所述处理(b)识别到的所述指尖部的位置和姿态，计算所述机器人所具有的关节的角度；以及(d)在虚拟空间中显示通过所述处理(c)计算出的所述关节的角度所表示的所述机器人的三维图像。

附图说明

图1是示出实施方式中的机器人的示教系统的说明图。

图2是对示教用基台部及示教用指尖部与机器人进行比较而示出的说明图。

图3是控制装置的功能框图。

图4是示出在图1的状态下以增强现实的方式显示机器人的情况的说明图。

图5是示出使用示教系统进行示教的其它例子的说明图。

图6是示出在图5的状态下以增强现实的方式显示机器人的情况的说明图。

图7是示出实施方式中的示教处理的顺序的流程图。

图8是示出机器人的型号的选择画面的说明图。

图9是示出变更机器人的型号的情况的说明图。

图10是示出用于机器人的关节角度变更的画面的说明图。

附图标记说明

110…示教用基台部，112…第一标记，130…示教用指尖部，132…第二标记，134…按钮，134a…A按钮，134b…B按钮，136…力检测部，200…摄像部，300…控制装置，310…处理器，312…机器人选择部，314…位置姿态识别部，316…关节角度计算部，318…控制程序创建部，320…存储器，330…接口电路，350…显示部，400…AR眼镜，500…工作台，600…机器人，610…基台，620…机械臂，630…指尖部。

具体实施方式

图1是示出实施方式中的机器人的示教系统的说明图。该示教系统具备示教用基台部110、示教用指尖部130、摄像部200、控制装置300、以及AR(Augmented Reality：增强现实)眼镜400。在该例子中，示教用基台部110设置在工作台500上。此外，示教用指尖部130被作业者PS的手PH所保持，AR眼镜400装配于作业者PS的头部。需要指出，为了便于图示，通过虚线绘制了作业者PS。示教用指尖部130、摄像部200、以及AR眼镜400通过有线或无线的方式与控制装置300连接。控制装置300相当于本公开中的“控制部”。

示教用基台部110是用于示教机器人的基台的位置和姿态的部件。在示教用基台部110中设定有以示教用基台部110的预先确定的基准点为原点的基台部坐标系Σr1。示教用指尖部130是用于示教机器人的指尖部的位置和姿态的部件。在示教用指尖部130中设定有控制点TCP(Tool Center Point：工具中心点)。在示教用指尖部130中设定有以预先确定的基准点为原点的指尖部坐标系Σt1。在该例子中，指尖部坐标系Σt1的原点为控制点TCP。该示教系统的一个特征在于未使用机器人的真机，而是使用示教用基台部110和示教用指尖部130来示教机器人的动作。更具体而言，首先，在设定了示教用基台部110和示教用指尖部130的位置之后，通过摄像部200对它们的图像进行拍摄，并使用它们的图像对机器人的基台和指尖部的位置和姿态进行识别，运算机器人的各关节的角度。关于该处理的详细内容将在后面描述。

摄像部200拍摄示教用基台部110和示教用指尖部130的图像。作为摄像部200，能够使用立体照相机、Lidar(Laser Imaging Detection and Ranging：光检测和测距(激光雷达))等光学测距装置、以及单眼照相机等。在使用光学测距装置的情况下，优选和光学测距装置一起使用单眼照相机。由此，具有可以根据通过光学测距装置获得的距离图像、以及通过单眼照相机拍摄的二维图像正确地求出二维图像内的各位置的距离的优点。在摄像部200中设定有以摄像部200的预先确定的基准点为原点的照相机坐标系Σc。需要指出，如图1所示，摄像部200配置在工作台500之上，但是，除此之外，也可以安装于AR眼镜400的上部。

图2是对示教用基台部110及示教用指尖部130与真机的机器人600进行比较而示出的说明图。机器人600具备基台610和机械臂620，在机械臂620的前端具有指尖部630。指尖部630也可以包括末端执行器，或者也可以作为未包括手等末端执行器而设置有用于安装末端执行器的工具凸缘的部分。末端执行器有时被称为“工具”。在本实施方式中，在机械臂620中多个关节J1～J6依次连接。作为机器人600，能够使用具有任意的臂结构的机器人，该任意的臂结构具有两个以上的关节。此外，本实施方式的机器人600为垂直多关节机器人，但是，也可以使用水平多关节机器人。

在机器人600的基台610中设定有以基台610的预先确定的基准点为原点的机器人坐标系Σr0。该机器人坐标系Σr0与设定于示教用基台部110的基台部坐标系Σr1相对应。在指尖部630中设定有控制点TCP(Tool Center Point)。在机器人600的指尖部630中设定有以预先确定的基准点为原点的指尖部坐标系Σt0。在图2的例子中，指尖部坐标系Σt0的原点为控制点TCP。指尖部坐标系Σt0与设定于示教用指尖部130的指尖部坐标系Σt1相对应。需要指出，指尖部坐标系Σt0也可以将控制点TCP之外的位置设定为原点。例如，也可以将位于机械臂620的前端的工具凸缘的基准点作为原点来设定指尖部坐标系Σt0。设定于示教用指尖部130的指尖部坐标系Σt1也是同样的情况。

示教用基台部110是用于识别机器人600的基台610的位置和姿态的部件。在该例子中，示教用基台部110具有与机器人600的基台610大致相同的形状，但是，也可以使用具有任意的形状的基台。此外，示教用基台部110可以采用金属制或塑料制的板材、纸张等任意的材料而形成。

在示教用基台部110的表面设置有二维码所构成的第一标记112。该第一标记112用于根据示教用基台部110的图像来识别示教用基台部110的位置和姿态。示教用基台部110的位置和姿态意指照相机坐标系Σc中的基台部坐标系Σr1的位置和姿态。例如，第一标记112可以构成为包括表示照相机坐标系Σc中的基台部坐标系Σr1的位置和姿态的数据的黑白图案。如上所述，设定于示教用基台部110的基台部坐标系Σr1与设定于机器人600的基台610的机器人坐标系Σr0对应。因此，可以视为根据示教用基台部110的图像所识别到的示教用基台部110的位置和姿态与机器人600的基台610的位置和姿态相同。需要指出，一般情况下，位置由三个坐标值来表现，姿态由3×3的旋转矩阵、四元数等来表现。此外，位置和姿态也可以由4×4的齐次变换矩阵来表现。

作为第一标记112，并不限定于二维码，例如，可以使用凸部、凹部、发光部、或印刷图案。由此，可以根据第一标记112的图像容易地识别示教用基台部110的位置和姿态。此外，优选第一标记112设置于示教用基台部110的多个面。但是，在可以根据示教用基台部110的形状自身来识别其位置和姿态的情况下，则可以省略第一标记112。在这种情况下，作为示教用基台部110的形状，优选采用没有对称性的形状。需要指出，作为示教用基台部110，也可以采用真机的机器人600的基台610。

示教用指尖部130是用于识别机器人600的指尖部630的位置和姿态的部件。在该例子中，示教用指尖部130具有与机器人600的指尖部630类似的形状，但是，也可以使用任意的形状的指尖部。此外，示教用指尖部130可以采用金属制或塑料制的板材、纸张等的任意的材料而形成。

在示教用指尖部130的表面设置有二维标记所构成的第二标记132。该第二标记132用于根据示教用指尖部130的图像来识别示教用指尖部130的位置和姿态。示教用指尖部130的位置和姿态意指照相机坐标系Σc中的指尖部坐标系Σt1的位置和姿态。例如，第二标记132可以构成为包括表示照相机坐标系Σc中的指尖部坐标系Σt1的位置和姿态的数据的黑白图案。如上所述，设定于示教用指尖部130的指尖部坐标系Σt1与设定于机器人600的指尖部630的指尖部坐标系Σt0对应。因此，可以视为根据示教用指尖部130的图像所识别到的示教用指尖部130的位置和姿态与机器人600的指尖部630的位置和姿态相同。

作为第二标记132，并不限定于二维码，例如，可以使用凸部、凹部、发光部、或印刷图案。由此，可以根据第二标记132的图像容易地识别示教用指尖部130的位置和姿态。此外，优选第二标记132设置于示教用指尖部130的多个面。但是，在可以根据示教用指尖部130的形状自身识别其位置和姿态的情况下，则可以省略第二标记132。在这种情况下，作为示教用指尖部130的形状，优选采用没有对称性的形状。需要指出，作为示教用指尖部130，也可以使用真机的机器人600的指尖部630。

示教用指尖部130还具有按钮134和力检测部136。在本实施方式中，按钮134包括A按钮134a和B按钮134b的两个按钮。这些按钮134可以在设定示教点、路径、或变更机器人的型号、或变更机器人的关节角度时使用。例如，在设定示教点的情况下，当按压按钮134中的一个按钮时，该时间点的示教用指尖部130的位置和姿态被登记为示教点。此外，在设定路径的情况下，当按压按钮134中的一个按钮并使示教用指尖部130移动时，登记其路径。关于关节角度的变更将在后面描述。在示教用指尖部130中，优选设置一个以上的按钮，但是，也可以省略按钮134。在这种情况下，也可以利用作业者的手指的动作等的手势将作业者的指示提供给控制装置300。在这种情况下，通过AR眼镜400、摄像部200拍摄作业者的手势，可以根据其动作通过控制装置300来识别作业者的指示。

力检测部136是计测施加于示教用指尖部130的外力的传感器。作为力检测部136，例如可以使用六轴的力传感器。也可以省略力检测部136。

需要指出，也可以在示教用指尖部130中设置显示示教状态的显示部、用于产生使能信号的开关，用于提高示教用指尖部130的位置和姿态的识别精度的陀螺仪等传感器等的其它部件。此外，作为示教用指尖部130，也可以使用与真机的机器人相同的手。或者，作为示教用指尖部130，也可以使用从机器人拆除了真机的机器人的手腕部的指尖部。在后者的情况下，示教用指尖部130不具有相当于末端执行器的部分。

图3是示出控制装置300的功能的框图。控制装置300例如可以作为个人计算机等信息处理装置来实现。控制装置300具有处理器310、存储器320、接口电路(IF)330、接口电路330所连接的输入设备340及显示部350。接口电路330还通过有线或无线的方式连接有示教用指尖部130和摄像部200和AR眼镜400。但是，在示教用指尖部130中未设置有按钮134、力检测部136等电气部件的情况下，也可以不使示教用指尖部130与控制装置300连接。

处理器310具有机器人选择部312、位置姿态识别部314、关节角度计算部316、以及控制程序创建部318的功能。机器人选择部312在从机器人600的多个型号中选择作为示教处理的对象的一个型号时使用。位置姿态识别部314根据通过摄像部200拍摄示教用基台部110和示教用指尖部130所获得的图像，来识别机器人600的基台610的位置和姿态以及指尖部630的位置和姿态。关节角度计算部316根据通过位置姿态识别部314识别到的基台610的位置和姿态以及指尖部630的位置和姿态计算机器人600具有的各关节的角度。控制程序创建部318使用通过关节角度计算部316计算出的关节角度创建机器人600的控制程序。这些各部312、314、316、318的功能通过处理器310执行保存于存储器320的计算机程序来实现。但是，也可以通过硬件电路来实现这些各部的功能的一部分或全部。

机器人属性数据RD、周边物体属性数据PD、以及机器人控制程序RP保存于存储器320。在机器人属性数据RD中，关于机器人600的多个型号，包括机械臂620的构成、可动范围等各种机器人特性。此外，在机器人属性数据RD中，为了使用AR眼镜400以增强现实的方式来显示机器人600的三维图像，优选包括表示机器人600的三维形状的三维数据。在周边物体属性数据PD中，包括表示存在于机器人600的周边的周边物体的三维形状的三维数据。作为周边物体，例如可以使用架台、货架、墙壁、零件给料器等。此外，周边物体属性数据PD也可以包括表示机器人600所处理的工件的形状、重量的数据。机器人控制程序RP由使机器人600动作的多个命令构成。该机器人控制程序RP通过后述的示教处理来创建。

图4是示出在图1的状态下将机器人600显示为增强现实的情况的说明图。机器人600的三维图像通过AR眼镜400而与示教用基台部110及示教用指尖部130重叠显示。更具体而言，机器人600的三维图像被显示为根据使用示教用基台部110所识别到的基台610的位置和姿态而配置基台610的图像，此外，根据使用示教用指尖部130所识别到的指尖部630的位置和姿态而配置指尖部630的图像。需要指出，在图4的例子中，为了便于图示，将机器人600的基台610和指尖部630的显示位置绘制为稍微偏离示教用基台部110和示教用指尖部130的位置的位置。需要指出，作为示教用指尖部130的形状，在使用没有末端执行器的手腕部的形状的情况下，优选末端执行器也显示为虚拟现实。此外，优选构成为可以使用按钮134的一个按钮，使末端执行器的可动部在虚拟空间中移动，从而来切换其形态。需要指出，“虚拟空间”意指计算机制作出的人工的环境。

图5是示出使用示教系统进行示教的其它例子的说明图，图6是示出在图5的状态下以增强现实的方式显示机器人600的情况的说明图。在这些例子中，示教用指尖部130的前端按压于工件WK。在该状态下，当作业者按压按钮134的一个按钮时，示教用基台部110和示教用指尖部130被摄像部200拍摄，并且，力检测部136所检测到的力被供给至控制装置300。由此，在设定示教点时，可以同时设定优选的力。此时，示教用指尖部130由作业者的手所保持，因此，与以牛顿单位的数值输入力的情况相比，可以更加容易地设定优选的力的大小。这样的优选的力的设定例如在工件WK具有按钮并使用机器人600执行按压工件WK的按钮的检查时进行。或者，在将研磨部件设置于指尖部630并对工件WK进行研磨时，也进行力的设定。

图7是示出一实施方式中的示教处理的顺序的流程图。在步骤S10中，利用机器人选择部312的功能选择机器人600型号。

图8是示出机器人的型号的选择画面WS1的说明图。在本实施方式中，该选择画面WS1根据从机器人选择部312供给至AR眼镜400的图像数据而显示为增强现实。在选择画面WS1中排列有机器人的多个型号作为选项。在各型号中，除了型号名之外，作为机器人的属性，还示出了轴数、最大范围(maximum reach)、以及可搬重量。但是，也可以省略机器人的属性的一部分或全部。此外，也可以显示各型号的图像。作业者可以利用设置于示教用指尖部130的按钮134来选择型号。即、可以通过按压A按钮134a来选择多个型号中的一个型号，并按压B按钮134b来确定。在图8的状态下，选择了型号名为“C1”的机器人。作业者的选择结果被机器人选择部312接收。需要指出，也可以通过作业者直接指定型号名来选择型号，以取代利用选择画面WS1。

在图7的步骤S20中，位置姿态识别部314使用摄像部200对示教用基台部110和示教用指尖部130进行拍摄，并生成基台部图像和指尖部图像。通过作业者按压示教用指尖部130的按钮134的一个按钮、例如A按钮134a而开始该步骤S20。优选摄像部200具有足够宽的视角，从而可以同时拍摄示教用基台部110和示教用指尖部130。需要指出，基台部图像和指尖部图像也可以是相同的图像。或者，也可以从摄像部200所拍摄的图像中提取包括示教用基台部110的图像部分作为基台部图像，提取包括示教用指尖部130的其它的图像部分作为指尖部图像。此外，也可以分别拍摄基台部图像和指尖部图像。基台部图像和指尖部图像暂时地保存于存储器320。此外，摄像部200的拍摄也可以是动态图像。当希望设定路径而非登记示教点时，在步骤S20中，以动态图像的方式来拍摄移动的示教用指尖部130。

在步骤S30中，位置姿态识别部314从存储器320获取通过步骤S20所获得的基台部图像，根据基台部图像来识别机器人600的基台610的位置。在本实施方式中，如图2所示，根据设置于示教用基台部110的第一标记112的图像，识别照相机坐标系Σc中的基台部坐标系Σr1的位置和姿态。该基台部坐标系Σr1的位置和姿态可以视为机器人600的基台610的位置和姿态、即机器人坐标系Σr0的位置和姿态。

在步骤S40中，位置姿态识别部314从存储器320获取通过步骤S20所获得的指尖部图像，根据指尖部图像来识别机器人600的指尖部630的位置。在本实施方式中，如图2所示，根据设置于示教用指尖部130的第二标记132的图像，识别照相机坐标系Σc中的指尖部坐标系Σt1的位置和姿态。该指尖部坐标系Σt1的位置和姿态可以视为机器人600的指尖部630的位置和姿态、即指尖部坐标系Σt0的位置和姿态。

在步骤S50中，位置姿态识别部314根据机器人600的基台610的位置和姿态、以及指尖部630的位置和姿态，计算指尖部630的控制点TCP的机器人坐标。通过机器人坐标系Σr0中的指尖部坐标系Σt0的位置和姿态来表示控制点TCP的机器人坐标。

在步骤S60中，机器人选择部312判定是否需要变更机器人的型号。具体而言，当通过步骤S50计算出的控制点TCP的机器人坐标处于当前选择的机器人的型号的可动范围内时，判定为不需要变更型号。另一方面，当控制点TCP的机器人坐标处于可动范围外时，判定为需要变更型号。当不需要变更型号时，进入后述的步骤S80，当需要变更型号时，进入步骤S70。在步骤S70中，利用机器人选择部312的功能变更机器人600的型号。

图9是示出利用机器人的型号的选择画面WS1变更机器人的型号的情况的说明图。这里，在多个型号中，“C1”和“D1”是控制点TCP的机器人坐标位于可动范围外的型号。以作业者可以视觉确认这些型号“C1”、“D1”是无法选择的无效的选项的方式来显示这些型号“C1”、“D1”。在图9的例子中，在型号“C1”、“D1”上标注了阴影，此外，也成为了无法选择用于选择的选择框的状态。其它的型号则被提示为能够选择的有效的选项的列表。作业者可以通过从有效的选项中选择一项来变更机器人的型号。在图9的例子中，选择了型号“C2”作为变更后的型号。由此，当指尖部630的控制点TCP处于机器人的可动范围外时，可以通过变更机器人的型号，使控制点TCP处于机器人的可动范围内。需要指出，虽然无需显示多个有效的选项，但是，优选显示一项以上的有效的选项。此外，被判断是否处于可动范围外的控制点TCP也可以不仅是通过步骤S50计算出的控制点TCP。例如，也可以添加在步骤S50之前存储的控制点TCP、即在过去的示教处理中存储的控制点TCP。在这种情况下，也可以是在多个型号中，将上述多个控制点TCP中的任意一个控制点TCP处于可动范围外的型号作为无法选择的无效的选项而标注阴影。

由此，在步骤S70中，作为机器人的型号，向作业者提示机器人坐标系Σr0中的控制点TCP的位置处于机器人的可动范围内的一个以上的型号，并采用作业者从该一个以上的型号中选择的型号。由此，可以容易地变更机器人的型号。需要指出，也可以通过由作业者直接指定型号名来变更型号，以取代使用选择画面WS1。

在步骤S80中，关节角度计算部316根据机器人坐标系Σr0中的控制点TCP的位置和姿态计算机器人600的各关节的角度。该计算根据逆运动学而执行。一般情况下，可以采用多个组合作为根据逆运动学所计算的各关节的角度的组合的情况很多。在这种情况下，在步骤S80中，根据预先确定的规则，从多个组合中选择一个组合。

在步骤S90中，关节角度计算部316判定是否需要变更关节角度。在本实施方式中，在虚拟空间中，当由各关节的角度所表示的机械臂620的形状处于存在与周边物体干扰的可能性的干扰状态时，判定为需要变更关节角度。周边物体的外形由存储于存储器320的周边物体属性数据PD所包含的三维数据来表示。关节角度计算部316计算由周边物体的三维数据所表示的周边物体的外形、以及与通过步骤S80计算出的关节角度所表示的机械臂620的形状之间的距离，当该距离为预先确定的阈值以下时，可以判定为处于干扰状态，并判定为需要变更关节角度。作为阈值，例如，设定为0以上且10cm以下的值。在虚拟空间中，当周边物体与机械臂620的形状未处于干扰状态时，判定为不需要变更关节角度。需要指出，当机械臂620的形状处于存在与周边物体干扰的可能性的干扰状态时，关节角度计算部316也可以向作业者通知表示处于干扰状态的警报。当不需要变更关节角度时，进入后述的步骤S110，当需要变更关节角度时，进入步骤S100。在步骤S100中，利用关节角度计算部316的功能变更机器人600的关节角度。

图10是示出机器人的关节角度变更用的画面WS2的说明图。在本实施方式中，根据由关节角度计算部316供给至AR眼镜400的图像数据，以增强现实的方式显示该画面WS2。在该例子中，作为关节角度的组合显示有两个选项。在角度A1和角度A2的情况下，三个关节J2、J3、J5的角度的组合彼此不同，但是，指尖部630的位置和姿态相同。在角度A1的情况下，存在机械臂620与周边物体PB干扰的可能性，在角度A2的情况下，不存在机械臂620与周边物体PB干扰的可能性。于是，在该例子中，选择角度A2作为变更后的关节角度的组合。由此，可以通过从关节角度的组合相关的多个选项中选择一个选项，来变更关节角度。进行这样的关节角度的变更，以维持指尖部630的位置和姿态。此外，根据作业者的指示来进行关节角度的变更。其结果是，在虚拟空间中，当机械臂620处于存在与周边物体PB干扰的可能性的干扰状态时，可以通过变更关节角度来消除干扰状态。需要指出，也可以取代作业者选择选项中的一项，而由关节角度计算部316自动地确定消除干扰状态的关节角度的组合。

需要指出，步骤S90中的判定无需关节角度计算部316自动地进行，取而代之，也可以在作业者指定了需要变更关节角度时，判定为需要变更关节角度。即、也可以是作业者对机械臂620和周边物体PB的图像进行观察，判定机械臂620与周边物体PB是否处于干扰状态。在这种情况下，关节角度的组合的选择也优选由作业者来进行。由此，可以通过作业者自由地选择机械臂620的优选状态。

在步骤S110中，关节角度计算部316在虚拟空间中显示机器人600的图像。在本实施方式中，根据从关节角度计算部316供给至AR眼镜400的图像数据，以增强现实的方式来显示机器人600。例如，如前述的图4、图6所示，在机器人600的三维图像中，机器人600的基台610的图像与示教用基台部110重叠显示，此外，机器人600的指尖部630的图像与示教用指尖部130重叠显示。

在步骤S120中，由作业者判定通过步骤S110所显示的机器人600的状态作为示教点是否合适。当不合适作为示教点时，返回步骤S20，在作业者变更了示教用指尖部130的位置的基础上，再次执行图像的拍摄。另一方面，当合适作为示教点时，进入步骤S130。

在步骤S130中，控制程序创建部318将通过步骤S20拍摄了图像的状态登记为示教点。通过作业者按压示教用指尖部130的按钮134的一个按钮、例如B按钮134b开始该步骤S130。示教点登记于存储器320内的机器人控制程序RP。此外，在想要设定路径而非登记示教点的情况下，即、通过动态图像进行拍摄的情况下，控制程序创建部318根据动态图像按照时序顺序生成多个静止图像，并将该静止图像的状态记录为示教点。控制程序创建部318根据这样记录的多个示教点生成路径。

在步骤S140中，由作业者判定示教处理是否结束。如果示教处理未结束，则返回步骤S20，在作业者变更了示教用指尖部130的位置的基础上，再次执行图像的拍摄。另一方面，当示教处理已结束时，结束图7的处理。

需要指出，也可以在图7的处理之后，作为示教处理的一部分执行设定用于机器人控制程序RP的其它的设定项目的处理。此外，也可以在示教处理结束之后，使用通过示教处理所创建的机器人控制程序RP，在虚拟空间中再现机器人600的动作。例如，在进行使用机器人600输送工件的作业的情况下，也可以将该工件的形状及重量预先保存于存储器320，在虚拟空间中再现机器人600输送工件的情形。由此，可以在无需实际使机器人600进行动作的情况下，由作业者判断工件的输送作业是否合适。此外，在步骤S100中变更了机器人600的关节角度之后，在步骤S110中在虚拟空间中显示机器人600的图像，但是，也可以在步骤S80之后在虚拟空间中显示机器人600的图像，之后再进行变更机器人600的关节角度的判断。在这种情况下，也可以构成为关于多个关节角度反复进行显示及变更。特别是，在垂直多关节机器人那样的冗余自由度较高的机器人中，可以从多个关节角度中选择最合适的关节角度。

如上所述，在上述实施方式中，根据示教用基台部110的图像识别机器人600的基台610的位置和姿态，根据示教用指尖部130的图像识别机器人600的指尖部630的位置和姿态，并使用这些位置和姿态计算机器人600具有的关节的角度，在虚拟空间中显示通过计算出的关节的角度表示的机器人600的三维图像。因此，在并未实际地设置机器人且使其进行动作的情况下，作业者可以容易地理解机械臂处于何种状态，可以进行机器人的示教。

需要指出，在上述的实施方式中，使用AR眼镜400将机器人600、周边物体PB的三维图像显示为虚拟现实，但是，取而代之，也可以使用显示二维图像的显示部350，在虚拟空间中显示机器人600、周边物体PB的图像。在这种情况下，在虚拟空间中显示机器人600的图像这一点与使用AR眼镜400时相同。但是，如果使用AR眼镜400以增强现实的方式显示机器人600的三维图像，则具有作业者可以容易地理解机器人600的姿态的优点。

·其它的实施方式：

本公开并不限定于上述的实施方式，在不脱离其宗旨的范围内可以通过各种方式来实现。例如，本公开也可以通过以下的方式(aspect)来实现。为了解决本公开的技术问题的一部分或全部、或者为了实现本公开的效果的一部分或全部，以下记载的各方式中的技术特征所对应的上述实施方式中的技术特征可以适当地进行替换、组合。此外，如果该技术特征在本说明书中未作为必要技术特征进行说明，则可以适当地删除。

(1)根据本公开的第一方式，提供一种机器人图像的显示方法。该显示方法包括以下工序：(a)获取通过拍摄用于示教机器人的基台的位置和姿态的示教用基台部所创建的基台部图像，根据所述基台部图像识别所述基台的位置和姿态；(b)获取通过拍摄用于示教所述机器人的指尖部的位置和姿态的示教用指尖部所创建的指尖部图像，根据所述指尖部图像识别所述指尖部的位置和姿态；(c)根据通过所述工序(a)识别到的所述基台的位置和姿态、以及通过所述工序(b)识别到的所述指尖部的位置和姿态，计算所述机器人所具有的关节的角度；以及(d)在虚拟空间中显示通过所述工序(c)计算出的所述关节的所述角度所表示的所述机器人的三维图像。

根据该显示方法，在并未实际设置机器人且使其进行动作的情况下，作业者可以容易地理解机械臂处于何种状态，可以进行机器人的示教。

(2)在上述显示方法中，所述工序(c)也可以包括以下工序：(i)根据通过所述工序(a)识别到的所述基台的位置和姿态、以及通过所述工序(b)识别到的所述指尖部的位置和姿态，在机器人坐标系中计算设定于所述指尖部的控制点的位置；以及(ii)当所述机器人坐标系中的所述控制点的位置处于所述机器人的可动范围外时，变更所述机器人的型号。

根据该显示方法，当指尖部的控制点处于机器人的可动范围外时，可以通过变更机器人的型号，使指尖部的控制点处于机器人的可动范围内。

(3)在上述显示方法中，所述工序(ii)也可以包括以下工序：作为所述机器人的型号，向作业者提示所述机器人坐标系中的所述控制点的位置处于所述机器人的可动范围内的一个以上的型号；以及采用所述作业者从所述一个以上的型号中选择的型号。

根据该显示方法，可以容易地变更机器人的型号。

(4)在上述显示方法中，所述工序(c)也可以包括：角度变更工序，当作为所述关节的角度的组合可以是多个组合时，从所述多个组合中选择一个组合并进行变更。

根据该显示方法，作为机械臂的状态可以选择优选的状态。

(5)在上述显示方法中，所述关节的角度的组合的选择也可以由作业者进行。

根据该显示方法，可以由作业者自由地选择机械臂的优选状态。

(6)在上述显示方法中，所述角度变更工序也可以包括：干扰消除工序，当通过所述工序(c)计算出的所述关节的角度所表示的机械臂的形状处于存在与周边物体干扰的可能性的干扰状态时，通过一边维持所述指尖部的位置和姿态一边变更所述关节的角度的组合来消除所述干扰状态。

根据该显示方法，可以降低机械臂与周边物体干扰的可能性。

(7)在上述显示方法中，所述干扰消除工序也可以包括以下工序：计算所述周边物体的三维数据所表示的所述周边物体与通过所述工序(c)计算出的所述关节的角度所表示的所述机械臂的形状之间的距离；以及当所述距离为预先确定的阈值以下时，判定为处于所述干扰状态，一边维持所述指尖部的位置和姿态一边自动地确定消除所述干扰状态的所述关节的角度的组合。

根据该显示方法，可以自动地消除机械臂与周边物体的干扰。

(8)上述显示方法还可以在所述工序(d)中将所述三维图像以增强现实的方式与所述示教用基台部及所述示教用指尖部重叠显示。

根据该显示方法，以增强现实的方式显示机械臂，因此，作业者可以容易地理解机械臂处于何种状态。

(9)在上述显示方法中，也可以在所述示教用基台部设置用于识别所述机器人的所述基台的位置和姿态的第一标记，在所述示教用指尖部设置用于识别所述机器人的所述指尖部的位置和姿态的第二标记。

根据该显示方法，可以利用第一标记和第二标记，容易地识别基台的位置和姿态以及指尖部的位置和姿态。

(10)在上述显示方法中，也可以是所述第一标记和所述第二标记分别包括二维码、凸部、凹部、发光部或印刷图案。

根据该显示方法，可以根据第一标记和第二标记，容易地识别基台的位置和姿态以及指尖部的位置和姿态。

(11)根据本公开的第二方式，提供一种用于进行机器人图像的显示处理的计算机程序。该计算机程序使处理器执行以下处理：(a)获取通过拍摄用于示教机器人的基台的位置和姿态的示教用基台部所创建的基台部图像，根据所述基台部图像识别所述基台的位置和姿态；(b)获取通过拍摄用于示教所述机器人的指尖部的位置和姿态的示教用指尖部所创建的指尖部图像，根据所述指尖部图像识别所述指尖部的位置和姿态；(c)根据通过所述处理(a)识别到的所述基台的位置和姿态、以及通过所述处理(b)识别到的所述指尖部的位置和姿态，计算所述机器人所具有的关节的角度；以及(d)在虚拟空间中显示通过所述处理(c)计算出的所述关节的角度所表示的所述机器人的三维图像。

根据该计算机程序，在并未实际设置机器人且使其进行动作的情况下，作业者可以容易地理解机械臂处于何种状态，可以进行机器人的示教。

(12)根据本公开的第三方式，提供一种机器人图像的显示系统。该示教系统包括：示教用基台部，用于示教机器人的基台的位置和姿态；示教用指尖部，用于示教所述机器人的指尖部的位置和姿态；摄影部，用于拍摄所述示教用基台部和所述示教用指尖部；控制部，与所述摄影部连接。所述控制部执行以下处理：(a)获取使用所述摄影部对所述示教用基台部进行拍摄所创建的基台部图像，根据所述基台部图像识别所述基台的位置和姿态；(b)获取使用所述摄影部对所述示教用指尖部进行拍摄所创建的指尖部图像，根据所述指尖部图像识别所述指尖部的位置和姿态；(c)根据通过所述处理(a)识别到的所述基台的位置和姿态、以及通过所述处理(b)识别到的所述指尖部的位置和姿态，计算所述机器人所具有的关节的角度；以及(d)在虚拟空间中显示通过所述处理(c)计算出的所述关节的角度所表示的所述机器人的三维图像。

根据该示教系统，在并未实际设置机器人且使其进行动作的情况下，作业者可以容易地理解机械臂处于何种状态，可以进行机器人的示教。

本公开也可以通过上述方式之外的各种方式来实现。例如，可以通过具备机器人和控制装置的机器人系统、用于实现机器人的控制装置的功能的计算机程序、以及记录有该计算机程序的非暂时性的记录介质(non-transitory storage medium)等方式来实现。

Claims (12)

1.一种显示方法，其特征在于，包括以下工序：

(a)获取通过拍摄用于示教机器人的基台的位置和姿态的示教用基台部所创建的基台部图像，并根据所述基台部图像识别所述基台的位置和姿态；

(b)获取通过拍摄用于示教所述机器人的指尖部的位置和姿态的示教用指尖部所创建的指尖部图像，并根据所述指尖部图像识别所述指尖部的位置和姿态；

(c)根据通过所述工序(a)识别到的所述基台的位置和姿态以及通过所述工序(b)识别到的所述指尖部的位置和姿态，计算所述机器人所具有的一个以上的关节的角度；以及

(d)在虚拟空间中显示所述关节处于通过所述工序(c)计算出的所述角度的状态的所述机器人的三维图像。

2.根据权利要求1所述的显示方法，其特征在于，

所述工序(c)包括以下工序：

(i)根据通过所述工序(a)识别到的所述基台的位置和姿态以及通过所述工序(b)识别到的所述指尖部的位置和姿态，在机器人坐标系中计算设定于所述指尖部的控制点的位置；以及

(ii)当所述机器人坐标系中的所述控制点的位置处于所述机器人的可动范围外时，变更所述机器人的型号。

3.根据权利要求2所述的显示方法，其特征在于，

所述工序(ii)包括以下工序：

作为所述机器人的型号，向作业者提示所述机器人坐标系中的所述控制点的位置处于所述机器人的可动范围内的一个以上的型号；以及

采用所述作业者从所述一个以上的型号中选择的型号。

4.根据权利要求1至3中任一项所述的显示方法，其特征在于，

进一步地所述工序(c)包括：

角度变更工序，当作为所述关节的角度的组合能够是多个组合时，从所述多个组合中选择一个组合并进行变更。

5.根据权利要求4所述的显示方法，其特征在于，

所述关节的角度的组合的选择由作业者进行。

6.根据权利要求4所述的显示方法，其特征在于，

所述角度变更工序包括：

干扰消除工序，当通过所述工序(c)计算出的所述关节的角度所表示的机械臂的形状处于存在与周边物体干扰的可能性的干扰状态时，通过一边维持所述指尖部的位置和姿态一边变更所述关节的角度的组合来消除所述干扰状态。

7.根据权利要求6所述的显示方法，其特征在于，

所述干扰消除工序包括以下工序：

计算所述周边物体的三维数据所表示的所述周边物体与所述关节为通过所述工序(c)计算出的所述角度的所述机械臂的形状之间的距离；以及

当所述距离为预先确定的阈值以下时判定为处于所述干扰状态，一边维持所述指尖部的位置和姿态一边自动地确定消除所述干扰状态的所述关节的角度的组合。

8.根据权利要求1所述的显示方法，其特征在于，

进一步地在所述工序(d)中将所述三维图像以增强现实的方式与所述示教用基台部及所述示教用指尖部重叠显示。

9.根据权利要求1所述的显示方法，其特征在于，

在所述示教用基台部设置用于识别所述机器人的所述基台的位置和姿态的第一标记，

在所述示教用指尖部设置用于识别所述机器人的所述指尖部的位置和姿态的第二标记。

10.根据权利要求9所述的显示方法，其特征在于，

所述第一标记和所述第二标记分别包括二维码、凸部、凹部、发光部或印刷图案。

11.一种记录有计算机程序的非暂时性的记录介质，其特征在于，所述计算机程序使处理器执行以下处理：

(a)获取通过拍摄用于示教机器人的基台的位置和姿态的示教用基台部所创建的基台部图像，并根据所述基台部图像识别所述基台的位置和姿态；

(b)获取通过拍摄用于示教所述机器人的指尖部的位置和姿态的示教用指尖部所创建的指尖部图像，并根据所述指尖部图像识别所述指尖部的位置和姿态；

(c)根据通过所述处理(a)识别到的所述基台的位置和姿态以及通过所述处理(b)识别到的所述指尖部的位置和姿态，计算所述机器人所具有的一个以上的关节的角度；以及

(d)在虚拟空间中显示所述关节处于通过所述处理(c)计算出的所述角度的状态的所述机器人的三维图像。

12.一种显示系统，其特征在于，具备：

示教用基台部，用于示教机器人的基台的位置和姿态；

示教用指尖部，用于示教所述机器人的指尖部的位置和姿态；

摄影部，用于拍摄所述示教用基台部和所述示教用指尖部；以及

控制部，与所述摄影部连接，

所述控制部执行以下处理：

(a)获取使用所述摄影部对所述示教用基台部进行拍摄所创建的基台部图像，并根据所述基台部图像识别所述基台的位置和姿态；

(b)获取使用所述摄影部对所述示教用指尖部进行拍摄所创建的指尖部图像，并根据所述指尖部图像识别所述指尖部的位置和姿态；

(c)根据通过所述处理(a)识别到的所述基台的位置和姿态以及通过所述处理(b)识别到的所述指尖部的位置和姿态，计算所述机器人所具有的一个以上的关节的角度；以及

(d)在虚拟空间中显示所述关节处于通过所述处理(c)计算出的所述角度的状态的所述机器人的三维图像。

Images