CN103213125B - 具有3d显示的机器人教学装置 - Google Patents

Abstract

本发明涉及具有3D显示的机器人教学装置。一种用于显示三维工作单元数据的方法和装置，包括提供有3D工作单元数据的手持示教盒，所述3D工作单元数据表示工作单元中的机器和相关组件的模型。该手持示教盒具有显示器，其用于产生工作单元数据的3D视觉表示。用户可以操作示教盒来操控视觉表示以便改变用户观察点，并利用相关的过程信息来示出机器的运动。

Description

具有3D显示的机器人教学装置

相关申请的交叉引用

本申请要求于2011年11月4日提交的美国临时专利申请序列号61/555,675的权益。

技术领域

本发明涉及在具有三维图像的机器人教学装置上显示机器人和程序特定数据。

背景技术

现有技术中用于显示机器人和程序特定数据的方法和装置包括运行在个人计算机(PC)上的离线模拟软件，以及对PC上的离线编程/模拟系统或其他非附接的编程装置的使用。

目前，需要高性能的个人计算机将三维工作单元数据渲染为高质量的三维图像。另外，每个显示装置都需要定制的编程代码(例如，C编程语言)。因此，为使特定的装置(例如，计算机)能够显示工作单元的三维图像，该特定的装置必须包含定制的软件程序。

专利号为5,937,143的美国专利是使用机器人示教盒(pendant)来显示机器人工具的图像、工具坐标系统中的工具坐标和用户或世界坐标系统中的教学点的示例。然而，这种示教盒旨在用2D格式在示教盒屏幕上显示来自机器人程序的3D数据。美国公开申请2005/0285854和美国公开申请2007/0167702是需要工作站来产生实时3D图像的系统的示例。专利号为6,167,328的美国专利和美国公开申请2009/0204257示出了用于为机器人产生教学路径的简单3D图形显示的示教盒。因而，现有技术的示教盒无法产生可以被操控的机器人工作单元的高质量3D图像。

一般地，需要机器人的操作者访问专门的计算机才能看得见用于约束机器人的操作或行进的不可见参数的位置，例如安全区和干扰区域。因此，工作单元的三维图像不容易被机器人的操作者的手得到。

现有技术还需要程序员/操作者了解深奥的数学概念，例如，特定角度如何与机器人加工角度的角度和三维空间中的其它元件有关。对于一个物理位置，操作者可以看到物理机，并根据该物理位置对点进行编程。然而，还有更多操作者无法利用现有技术的装置看到的虚拟的特定关系。在没有三维模型的情况下，例如安全墙、机器人外壳、机器人在其中重叠针对特定操作的操作区的区域那样的元件就难以进行可视化。为了使描述这些元件的文本与物理世界相关联，操作者就必须非常熟练。

现有技术中操作机器人需要了解操作按钮如何映射到物理世界的熟练的操作者。操作者通常需要从心理上看到作为对使用特定按键的响应而产生的结果。然而，即使熟练的操作者偶尔也会使用不合希望的按键，这会对机器人和周边设备产生损害。对于具体应用(例如弧焊)而言，操作者必须熟悉具体术语，例如导线和滞后角，而这些从传统上提供的文本信息中并不是显而易见的。

现有技术具有以下缺陷：

1、机器人的模拟并不直接与机器人的执行相连。

2、由于特征是基于来自CAD-CAM环境的建立的模拟和观念，所以特征受到了限制。

3、可以被操纵的高质量三维(3D)图像无法在与机器人相关的手持示教盒上获得；这种图像通常需要较大的显示器和PC或其他高级的计算装置来操作。

发明内容

根据本发明并且与其相一致地，用于在机器人环境中显示三维图形数据的三维表示的系统和方法克服了现有技术的缺陷，如下所述。

根据本发明，机器人和程序特定数据的显示直接与机器人的执行相连；并非模拟地，而是向机器人的执行反映真实的机器人数据、更新或渲染后的实际时间。在手持装置上提供以图形方式显示特定于机器人和机器人程序的执行的信息的新特征。可以获得将图形特征系于机器人程序的执行的新的导航特征。提供用于将过程信息系于机器人和机器人路径执行的图形表示的新图形特征。将来自离线模拟系统的工作单元信息准备成用于在机器人示教盒上显示的图形信息的新方法是可得到的。

根据本发明的用于显示三维工作单元数据的方法包括以下步骤：从数据源提供表示工作单元中的机器和相关组件的模型的3D工作单元数据；提供手持显示装置，并将该显示装置置为与数据源进行数据通信；将所述工作单元数据从数据源传送到显示装置；在显示装置上产生工作单元数据的3D视觉表示；以及操作所述显示装置以便操控该视觉表示。

根据本发明的用于与机器人控制器进行通信的手持示教盒包括：显示器，具有高到足以示出3D图形图像的分辨率；输入/输出端口，用于从数据源接收表示工作单元中的机器和相关组件的模型的3D工作单元数据；数据存储装置，用于存储3D工作单元数据和示教盒操作程序；以及连接到显示器、输入/输出端口和数据存储装置的处理器，用于运行操作程序以便在显示器上产生工作单元数据的3D视觉表示，并响应于用户输入来操控该视觉表示。

附图说明

根据依据附图考虑时的优选实施例的以下详细描述，本发明的以上和其他优势对于本领域技术人员来说将变得容易显而易见，在附图中：

图1是根据本发明的机器人示教盒与机器人控制器进行通信的两个实施例的透视图；

图2是由图1所示的示教盒产生的3D图像的示意表示；

图3是根据本发明所述的方法的流程图；以及

图4是根据本发明的实施例的用于显示3D工作单元数据的系统的示意性框图。

具体实施方式

在此通过参考结合2011年11月4日提交的序列号为61/555,675的美国临时专利申请，并且在下文中将其标记为“临时申请’675”。

以下详细描述和附图描述并举例说明了本发明的各种示例性实施例。该说明和附图使得本领域技术人员能够制造并使用本发明，并且不打算以任何方式来限制发明的范围。对于公开的方法而言，所给出的步骤实质上是示例性的，并且因而，步骤次序不是必要或关键的。

图1示出根据本发明的机器人示教盒10，其经由提供以太局域网连接的电缆14与机器人控制器12通信。以太网连接可以是例如支持100Mbps的数据传输速率的100Base-X(或快速以太网)。另一种可代替版本的机器人示教盒10a经由WIFI无线传输与控制器12通信。然而，任何适当的高速接口都可以用来在示教盒与控制器之间交换数据。互联网-准备好的示教盒单元允许用户浏览在互联网/内联网上可获得的信息。用户还可以定制显示在示教盒单元上的机器人信息。

示教盒10和10a中的每一个都具有显示器16。该显示器16能够至少向用户示出简单的阴影3D图形，并包括触摸屏功能。例如，显示器16的分辨率可以是600×800。如图所示，可以从显示器16产生根据示教盒10或10a要被控制的机器人的全屏3D图像20。可以产生的另一图像22具有第一区22a，其示出从摄像机接收的四个实况视频图像，该摄像机用于查看附在机器人上的工具和/或正由机器人处理的部件。图像22包括第二区22b，其沿着显示器16的右侧垂直延伸，用于示出视觉工具和视觉处理信息。图像22还包括第三区22c，其在第一区22a的下方水平延伸，用于示出表示摄像机查看结果的数据。图像20代表示教盒10和10a产生简单的阴影3D图形图像的能力。图像22代表示教盒10和10a产生复杂页面的能力，该页面包括视觉图像，尤其是实况视频，以及大量关于相关机器人的操作的信息。因而，示教盒10和10a消除了使用PC进行机器人设置的需要。

示教盒10和10a提供3D界面供运行在控制器12上的应用使用。控制器上的功能调用示教盒上更高级的功能来显示“原始物(primitive)”。这些是更高级的几何图形，比如球体和盒体。

示教盒10和10a支持的另一种非常重要的功能是加载图形文件的能力。示教盒操作系统提供用于加载这些文件的机制。这允许应用改变例如每个命名元件的位置、颜色或可视性。该系统将应用所定义的形状存储在3D世界数据库内。该数据库用来提供对绘制和定位所有定义的元件的访问。

该系统提供一种从不同观察点查看3D数据库的装置。它还提供了一种使对象可见或不依赖于视图的装置。例如，在双模式中，用户可以从左窗口查看PROGA(程序A)，并且从右窗口查看PROGB(程序B)。这两种程序都位于单个数据库内，但是在每个窗口中只能看到一个程序。

图2示出由示教盒10和10a在显示器16上产生的图像24。图像24具有全宽中央区24a，用于示出机器人26的3D表示，该机器人26通过图1的控制器12连接到示教盒。图像24具有多个软按键24c，其沿着底部边缘定位并且通过示教盒的触摸屏功能而被启动。例如，示出了软按键[场景]、选择、缩放、全景拍摄和旋转软按键。机器人26包括可以围绕六个轴J1到J6旋转的臂28。作为对这种任务的帮助，例如训练、诊断、设置和编辑，示教盒10和10a分别产生该臂28围绕轴J1到J6运动的表示30a到30f。表示30a到30f中的每一个都描绘了机器人26的相关部件在对于相关轴旋转来说横向的平面中的移动，而且可以包含用于指示移动方向的箭头。

3D场景包括观察点和一组可见项。在三个不同层级建立场景：

1、预先设置的场景具有项的逻辑组合；

2、由应用来创建应用场景。例如，采集应用可能会显示附近的机器人或依赖于场景的整个单元；

3、用户可以在建立可见性和观察点之后记录场景，并且然后为此场景附名。

一般地，用户将根据他/她在场景中的工作调整视图。这种视图与场景相关，并将被用在每当该场景被显示的情况下。所以，即使用户没有从不同的视图“记录”场景，经过调整的视图也总是被使用，而且此视图利用场景被存储。场景菜单可以是提示框，它包含用来记录、默认和删除场景的选项。可以通过启动图2所示的软按键[场景]24b来显示场景菜单。作为提示框的替换方案，用户能够基于显示的3D图形的缩略图来选择场景。

本发明的系统和方法提供了一种在手持机器人示教盒上显示三维工作单元数据的表示的装置。因此，示教盒的任何用户都可以使用三维工作单元数据。因此，用户可以访问可靠的三维显示器，作为对教导和维护机器人的帮助。

根据本发明的方法和装置提供了如下所述的各种特征和优点。正如在第14段和临时申请’675的相关显示图像中所阐述的，示教盒10和10a示出TCP(工具中心点)跟踪作为机器人通过3D中的程序的路径。

正如在第15段和临时申请’675的相关显示图像中所阐述的，示教盒10和10a示出了位置登记可视化，用于基于软件内机器人位置的程序或非程序表示值来示出机器人位置。

正如在第16段和临时申请’675的相关显示图像中所阐述的，示教盒10和10a以图形方式示出了在利用示教盒或其他用户接口装置的操作键移动机器人时，该机器人将采取的方向的操作可视化显示。这种图像对应于上述图像24。

正如在第17段和临时申请’675的相关显示图像中所阐述的，示教盒10和10a示出了报警可视化显示，用来以图形方式示出机器人相对于空间内该机器人的位置的操作中的事件的发生。

正如在第18段和临时申请’675的相关显示图像中所阐述的，示教盒10和10a示出了机器人在驻留在控制器12上的程序的至少一部分的整个执行过程中总共占用的空间的干扰可视化图像。总共的空间由在驻留在控制器上的所有程序的整个执行过程中所占用的空间来确定。显示的方法包括多个机器人的可视化。对总共占用的空间的交集(intersection)提供可视化。颜色和透明度被用来区分各种可视化元件。空间的可视化包括表示允许机器人运动的边界的面。该边界允许多个机器人中的仅一个机器人进入。颜色和透明度被用来识别允许进入的机器人。

正如在第19段和临时申请’675的相关显示图像中所阐述的，示教盒10和10a示出了焊接工艺可视化图像，其以图形的方式示出过程数据，并使该过程数据与机器人的图形表示相关联。根据本发明的方法和装置选择有关机器人的图形表示的数据，并使其与数据的图形表示相关联。该方法和装置还选择有关数据的图形表示的数据，并使其与机器人的图形表示相关联。

正如在第20段和临时申请’675的相关显示图像中所阐述的，示教盒10和10a在TCP跟踪上示出过程条件的图形显示。根据本发明的方法绘制过程信息连同机器人程序的TCP跟踪。

正如在第21段和临时申请’675的相关显示图像中所阐述的，示教盒10和10a示出了过程边界可视化图像。根据本发明的方法以图形方式显示了不可见的区域，该不可见的区域与机器人操作过程中用于制约或限制机器人行进的区域和/或视觉系统队列处理边界的参数相关联。

根据本发明的方法和装置使用视觉摄像机视图和实况摄像机数据连同3D世界。该方法示出了3D工作单元模型中摄像机的观察点，以及对来自实况或之前获取的摄像机信息的图像的显示。见图1的第一区22a。

根据本发明的方法和装置将图形表示中的特征系于整个系统内的菜单。例如，在焊接应用中，当用户选择了焊枪(torch)时，示教盒就将用户带到电弧设置页面。该方法使用机器人/机器人单元的图形表示内的特征将该显示改变到机器人示教盒10和10a上的菜单或选择页面。

根据本发明的方法和装置将3D位置数据调整成过程数据和机器人程序信息的图表，以便进行离线重放，或在另一个机器人上重放。该方法包括将机器人位置的3D表示系于第二(secondary)信息图。该方法收集一系列机器人位置和第二信息，并在示教盒10和10a的显示器16上或在第二显示装置上重新播放该信息的进展(progression)。

示教盒10和10a提供“接触并保持”或“双击”来替换功能操作。用户接触所显示的指令以产生处理设备的图片或模型，从而示出在哪里设置该值以及它在该过程内与什么相关。该方法还提供选择替换的功能，这是通过在示教盒的显示器上按压并保持在感兴趣的3D项上或双击感兴趣的项来完成的。

根据本发明的方法和装置使用图形方法来以可视化方式选择存储在机器人控制器12或连接的存储装置内的程序，并预览机器人的节点图，从而允许容易地从图形环境中进行选择。该方法示出了机器人程序内所包含的位置的图形表示，以便帮助对机器人执行的程序进行选择。

示教盒10和10a提供了用于在3D图形环境中构建和使用离线机器人模拟单元信息的离线图形开发。该方法构建图形单元信息，以便显示在示教盒10和10a上，并用于向机器人传送此数据。

根据本发明的方法和装置提供了用于在示教盒10和10a上对3D世界内的项进行建模的能力。该方法构建单元组件以便在图形表示结构内进行显示。

根据本发明的方法和装置提供模拟单元的图形模型和将可视化系于物理项(例如，i/o点)的能力。该方法示出系于实际事件的在示教盒10和10a或其他显示装置上所显示的图形表示内进行变化的事件。

根据本发明的方法和装置提供离线构建系于机器人程序的操作的机器的能力(I/O点改变建模的组件的视图)。该方法可以在不同于机器人的装置上开发图形表示。

根据本发明的方法和装置提供通过示教盒上的建模环境示出系于单元的实际操作和离线或在线设置的部件的进展以便与物理单元进行匹配的能力。该方法在示教盒10和10a上示出系于机器人内移动或变化的图形表示的元件的移动。

根据本发明的方法和装置提供了示出系于机器人上的物理过程的过程操作的能力(例如，当机器人在焊接时，示出电弧火花)。该方法选择3D元件，并指示或显示对应的2D项，例如文本项。

正如在第33段和临时申请’675的相关显示图像中所阐述的，示教盒10和10a示出了节点图。该方法产生机器人的编程或实际路径或机器人的示教盒上的机器人程序的图形表示。

根据本发明的方法和装置提供选择例如文本项那样的2D项以及在示教盒10和10a上指示或显示对应的3D元件的能力。

根据本发明的方法和装置提供了选择和操控用户观察点或3D渲染的能力。

根据本发明的方法和装置提供了在半透明窗口中显示菜单或例如程序的其他机器人文本数据的能力，该半透明窗口具有在下面可见的3D元件。根据本发明的方法和装置提供了当3D渲染提供文本的背景时提供经由任何一种输入装置操控文本的透明度从不可见到不透明的能力。根据本发明的方法和装置提供从3D渲染上重叠的半透明子图形中选择菜单动作以在3D图像上提供2D菜单重叠的能力。

根据本发明的方法和装置提供了选择一组3D元件并指示或显示对应的2D项(诸如程序点)的能力。根据本发明的方法和装置提供了选择一组2D项(例如程序点)并指示或显示对应的3D元件的能力。

根据本发明的方法和装置提供了同时在教学装置上显示3D世界的多个视图的能力。这可以是分屏或画中画。

正如在第42段和临时申请’675的相关显示图像中所阐述的，示教盒10和10a提供了在TCP跟踪上示出与机器人有关的数据的图形显示的能力。根据本发明的方法绘制了与机器人有关的数据，例如速度和加速度信息，连同机器人程序的TCP跟踪。

根据本发明的方法和装置提供了向用户的每一只眼睛呈现不同的图像或向每一只眼睛呈现相同的图像的能力。针对“真正的”3D视图(就像3D电影)该方法向每一只眼睛呈现不同的图像。当该方法向两只眼睛呈现相同的图像时，它是3D渲染，就像在传统CAD/CAM图像中那样。

根据本发明的用于显示三维工作单元数据的方法(例如，对工作单元数据的3D渲染)包括提供工作单元数据的步骤。如图3的流程图所示，在第一步骤40中，使得能够利用通信协议将机器(例如机器人)和相关组件的模型从机器人控制器下载到手持显示装置(示教盒10和10a)。在第二步骤42中，提供显示装置，并将该显示装置置为与工作单元数据源进行数据通信。在第三步骤44中，向显示装置传送工作单元数据。在第四步骤46中，显示装置呈现工作单元数据的视觉表示(即，视觉输出)。作为一个非限制性示例，显示装置允许用户通过使用操控装置(例如，按压移动键)来以图形方式预览机器的移动，其中，显示装置在实际移动该机构之前，以图形方式显示该移动。作为另一个非限制性示例，可以配置呈现在显示装置上呈现的视觉输出，以便在执行移动之前，指示碰撞对象(例如，安全墙)，并保护物理机器人不与碰撞对象进行碰撞。

在第五步骤48中，操控由显示装置呈现的视觉输出。在特定实施例中，用户可以单独地选择视觉点，或作为一组地进行选择，其中，该视觉点可以与经过编程的序列相关联。作为非限制性实例，用户可以在三维空间中移动和配置视觉点。作为另一个非限制性实例，用户可以旋转、缩放、倾斜和全景拍摄特定的视图。应理解，用户可以通过基础软件，以任何可用的方式来操控视觉输出。

可以通过显示装置的硬按键来提供对图形功能的快速访问。例如，可以通过“移位(shift)”功能提供对许多图形功能的访问。当此绘图键与为相关文本功能提供的硬按键一起按下时，立即可以看到适当的图形显示。而且还可以在该显示器上产生软按键。

图4是根据本发明的实施例用于显示3D工作单元数据的系统的示意性框图。示教盒10(以及示教盒10a)包括至少一个I/O端口50，其与控制器12或三维工作单元数据的任何其他源进行通信。输入/输出端口50连接到处理器52，该处理器52运行软件操作程序以便提供示教盒的上述功能。处理器52连接到数据存储装置54，并存储操作程序和接收到的工作单元数据。处理器52连接到显示器16，以便产生3D图像和相关信息的可视化，并接收来自图2中示出的软按键24b的信号。

根据专利状态的提供，已经以被认为是呈现其优选实施例的方式描述了本发明。然而，应注意本发明可以在不脱离其精神或范围的情况下进行实践，除了特别说明和描述之外。

Claims (15)

1.一种用于显示三维工作单元数据的方法，包括以下步骤：

从数据源提供3D工作单元数据，所述3D工作单元数据表示工作单元中的机器人和相关组件的模型；

提供手持显示装置，并将所述显示装置置于与所述数据源进行数据通信；

将来自所述数据源的工作单元数据传送到所述显示装置；

在所述显示装置上产生工作单元数据的3D视觉表示，包括基于软件程序内用于控制机器人的机器人位置的程序或非程序表示的值来显示所述机器人位置的视觉表示，其中所述视觉表示包括机器人在软件程序的至少一部分的整个执行过程中总共占用的空间，并且所述显示装置视觉地呈现在软件程序的至少一部分的整个执行过程中通过所述机器人的相关部分围绕所述机器人的至少一个旋转轴的运动由机器人总共占用的空间的干扰可视化图像，其中所述干扰可视化图像包括针对旋转轴的横向平面的图像；以及

操作所述显示装置来以操控所述视觉表示。

2.根据权利要求1所述的方法，其中所述显示装置包括操作键，并包括显示在机器人响应于操作键的启动而移动的情况下机器人将采用的方向。

3.根据权利要求1所述的方法，包括绘制过程信息连同软件程序的TCP跟踪。

4.根据权利要求1所述的方法，包括存储来自一系列机器人位置和相关的第二信息的数据，并重新播放作为视觉表示的相关的第二信息和机器人位置的进展。

5.根据权利要求1所述的方法，包括使用颜色和透明度来区分视觉表示中的各种元件。

6.根据权利要求1所述的方法，包括在视觉表示中结合不被所述手持显示装置的用户可见的用于约束或限制所述机器人在所述机器人的操作期间的行进的区域。

7.根据权利要求1所述的方法，包括在视觉表示中结合来自工作单元中的摄像机的观察点的视频数据。

8.根据权利要求1所述的方法，包括在视觉表示中示出机器人的元件的移动。

9.根据权利要求1所述的方法，包括选择3D元件的视觉显示，并自动地在显示装置上指示或显示对应的2D项。

10.根据权利要求1所述的方法，包括改变视觉表示以提供不同的用户观察点。

11.根据权利要求1所述的方法，包括操作所述显示装置以在半透明窗口中显示菜单和机器人文本数据中的至少一个，所述半透明窗口具有在下面可见的3D元件，并将所述透明度操控为从不可见到不透明。

12.根据权利要求1所述的方法，包括在视觉表示中显示多个3D视图作为分屏或画中画。

13.根据权利要求1所述的方法，包括为用户的每一只眼睛呈现视觉表示作为分离的图像，其中分离的图像在3D电影效果中是不同的或是相同的。

14.一种与机器人控制器进行通信的手持示教盒，包括：

显示器，具有高到足以示出3D图形图像的分辨率；

输入/输出端口，用于从数据源接收3D工作单元数据，其表示工作单元中的机器和相关组件的模型；

数据存储装置，用于存储3D工作单元数据和示教盒操作程序；以及

连接到所述显示器.输入/输出端口和数据存储装置的处理器，用于运行操作程序以便在显示器上产生3D工作单元数据的3D视觉表示，并响应于用户输入来操控所述视觉表示，所述视觉表示包括基于软件程序内用于控制机器人的机器人位置的程序或非程序表示的值的所述机器人位置，其中所述视觉表示还包括机器人在软件程序的至少一部分的整个执行过程中总共占用的空间，并且所述显示装置视觉地呈现在软件程序的至少一部分的整个执行过程中通过所述机器人的相关部分围绕所述机器人的至少一个旋转轴的运动由机器人总共占用的空间的干扰可视化图像，其中所述干扰可视化图像包括针对旋转轴的横向平面的图像。

15.根据权利要求14所述的示教盒，其中所述数据源是机器人控制器，所述3D工作单元数据与所述控制器正运行的机器人操作程序相关，并且所述视觉表示包括机器人响应于机器人操作程序中的指令而进行移动的图形图像。