CN114929436B - 用于控制机器人的系统和方法、电子设备和计算机可读介质 - Google Patents

Abstract

本公开的各实施例提供一种用于控制机器人的系统和方法、电子设备和计算机可读介质。该方法包括：响应于确定机器人要操作的对象进入机器人的可到达区域，触发第一传感器感测对象在可到达区域内的移动；基于从第一传感器接收的第一感测数据来确定对象的第一位置信息，该第一传感器通过感测对象的移动而获取第一感测数据；基于从第二传感器接收的第二感测数据来确定对象的第二位置信息，该第二传感器通过感测机器人与对象之间的相对运动而获取第二感测数据；以及基于第一位置信息和第二位置信息来生成目标位置的第一预测，对象由机器人在目标位置处进行操作。这样，机器人就可以在AGV通过机器人可达区域的限定操作时间内完成对AGV上的对象的操作。同时，通过收集不同传感器组的感测数据，可以更准确地预测机器人处置对象的目标位置。

Description

用于控制机器人的系统和方法、电子设备和计算机可读介质

技术领域

本公开的各实施例总体涉及一种用于控制机器人的系统和方法、电子设备和计算机可读介质。

背景技术

由于自动导引车(AGV)的高灵活性、效率和容量，这些年来在工厂中使用的AGV的数量正在增长。在当今应用中，大多数AGV用于运输材料，并且显着提高工厂的效率。

在这种情况下，需要一些外部设备来捕获或操作对象，该对象包括由AGV承载的部件、元件和材料。使用工业机器人来处置AGV上的对象是工厂的一种备选解决方案。

传统上讲，机器人有两种方法来处置AGV上的材料。例如，当AGV移动到单元中时，它可能会受到约束，并且AGV所承载的对象可以被装配以供机器人处置。更进一步地，AGV可以停在与机器人相邻的操作位置，并且由传感器引导的机器人可以处置AGV所承载的对象。在这两种解决方案中，可能需要在机器人正在操作时停止AGV。

发明内容

本公开的实施例提供了一种用于控制机器人的系统和方法以及计算机可读介质。

在第一方面中，提供了一种方法。该方法包括：响应于确定机器人将要操作的对象进入机器人的可到达区域，触发第一传感器以感测对象在可到达区域内的移动；基于从第一传感器接收的第一感测数据来确定对象的第一位置信息，该第一传感器通过感测对象的移动而获取第一感测数据；基于从第二传感器接收的第二感测数据来确定对象的第二位置信息，该第二传感器通过感测机器人与对象之间的相对运动获取第二感测数据；以及基于第一位置信息和第二位置信息来生成目标位置的第一预测，对象由机器人在目标位置处进行操作。

以这种方式，机器人就可以在AGV通过机器人的可到达区域的限定操作时间内完成对AGV上的对象的操作。也就是说，机器人在操作对象时不必停止AGV，这可以避免浪费时间和额外消耗能量。同时，通过收集来自不同传感器组的感测数据，可以更准确地预测机器人处置对象的目标位置。

在一些实施例中，确定第一位置信息包括：在第一时间段内从第一传感器接收第一感测数据；从第一感测数据中获取对象在第一传感器的第一坐标系中的坐标参数集合；以及基于坐标参数集合来确定第一位置信息。

在一些实施例中，确定第二位置信息包括：在第二时间段内从第二传感器接收第二感测数据，该第二时间段与用于接收第一感测数据集合的第一时间段重叠；从第二感测数据中获取机器人末端关节与对象之间在第二传感器的第二坐标系中的第一位置关系集合；以及基于第一位置关系集合来确定第二位置信息。

考虑到移动AGV的测量范围较宽，在第一方面中提出的解决方案中，不同的传感器组可以布置在不同的观测位置中，并且可以收集来自不同传感器组的感测数据，并且将其变换为相应位置信息，这有利于预测目标位置，因为预测的结果会更准确，同时预测过程也会加快。

在一些实施例中，生成第一预测包括：从第一位置信息获取第一采样参数集合，该第一采样参数集合表征在预定时间点处的对象的参考位置；从第二位置信息中获取第二采样参数集合，该第二采样参数集合表征在预定时间点处的机器人的末端关节与对象之间的参考位置关系；以及通过基于预定融合模式来融合第一采样参数集合和第二采样参数集合，生成目标位置的第一预测，该预定融合模式与要由机器人执行的预期操作相关联。

在一些实施例中，预定融合模式包括以下各项中的至少一项：预测器模式、滤波器模式、求和模式和减法模式。

在数据融合过程中，在同一采集时间点通过来自不同传感器组的感测数据确定的不同位置参数可以视作为用于预测目标位置的位置信息。由于感测数据在多个视点中提供不同的位置参数，所以可以更有效地获取高质量的预测结果。同时，可以基于机器人的期望操作过程来预先确定与某个操作者相对应的多个融合模式。这样，可以更容易地实现和开发任何例外的机器人操作过程。

在一些实施例中，该方法还包括：基于第一预测来生成用于控制机器人的命令。

在一些实施例中，该方法还包括：基于从第三传感器接收的第三感测数据来确定机器人的末端关节的第三位置信息，该第三感测数据通过感测机器人的末端关节的运动而获取；以及基于第一位置信息和第三位置信息来生成目标位置的第二预测。

在一些实施例中，该方法还包括：通过融合目标位置的第一预测和目标位置的第二预测来生成目标位置的第三预测。

在一些实施例中，该方法还包括：基于第三预测来生成用于控制机器人的命令。这样，可以通过融合多个初步预测来生成目标位置的最终预测，并且可以基于两阶段预测来更精确地操作机器人。更进一步地，可以提高机器人的伺服性能。

在一些实施例中，对象由自动引导车辆承载。

在一些实施例中，第一传感器布置在机器人的末端关节上，并且第二传感器布置在对象和机器人能够被第二传感器观察到的环境中。

在一些实施例中，第三传感器布置在机器人的基座处或在承载对象的自动引导车辆上。

在第二方面中，提供了一种系统。该系统包括传感器选择器，该传感器选择器耦合到第一传感器并且被配置为响应于确定机器人要操作的对象进入机器人的可到达区域，触发第一传感器以感测对象在可到达区域中的移动；数据收集器，该数据收集器耦合到第一传感器和第二传感器，并且被配置为基于从第一传感器接收的第一感测数据来确定对象的第一位置信息，该第一传感器通过感测对象的移动获取第一感测数据，并且该数据收集器被配置为基于从第二传感器接收的第二感测数据来确定对象的第二位置信息，该第二传感器通过感测机器人与对象之间的相对运动而获取第二感测数据；以及第一估计器，该第一估计器耦合到数据收集器，并且被配置为基于第一位置信息和第二位置信息来生成目标位置的第一预测，对象由机器人在目标位置处进行操作。

在一些实施例中，数据收集器还被配置为：在第一时间段内从第一传感器接收第一感测数据；从第一感测数据中获取对象在第一传感器的第一坐标系中的坐标参数集合；并且基于该坐标参数集合来确定第一位置信息。

在一些实施例中，数据收集器还被配置为在第二时间段内从第二传感器接收第二感测数据，该第二时间段与用于接收第一感测数据集合的第一时间段重叠；从第二感测数据中获取机器人的末端关节与对象之间在第二传感器的第二坐标系中的第一位置关系集合；并且基于第一位置关系集合来确定第二位置信息。

在一些实施例中，第一估计器还被配置为从第一位置信息中获取第一采样参数集合，该第一采样参数集合表征在预定时间点处的对象的参考位置；从第二位置信息中获取第二采样参数集合，该第二采样参数集合表征在预定时间点处的机器人的末端关节与对象之间的参考位置关系；并且通过基于预定融合模式来融合第一采样参数集合和第二采样参数集合，生成目标位置的第一预测，该预定融合模式与要由机器人执行的预期操作相关联。

在一些实施例中，预定融合模式包括以下各项中的至少一项：预测器模式、滤波器模式、求和模式和减法模式。

在一些实施例中，该系统还包括命令生成器，该命令生成器耦合到第一估计器并且被配置为基于第一预测来生成用于控制机器人的命令。

在一些实施例中，数据收集器还耦合到第三传感器，并且被配置为基于从第三传感器接收的第三感测数据来确定机器人的末端关节的第三位置信息，该第三感测数据通过感测机器人的末端关节的运动而获取，并且基于第一位置信息和第三位置信息来生成目标位置的第二预测。

在一些实施例中，该系统还包括第二估计器，该第二估计器耦合到第一估计器并且被配置为通过融合目标位置的第一预测和目标位置的第二预测来生成目标位置的第三预测。

在一些实施例中，该系统还包括命令生成器，该命令生成器耦合到第二估计器并且被配置为基于第三预测来生成用于控制机器人的命令。

在一些实施例中，对象由自动引导车辆承载。

在一些实施例中，第一传感器布置在机器人的末端关节上，并且第二传感器布置在对象和机器人能够被第二传感器观察到的环境中。

在一些实施例中，第三传感器布置在机器人的基座处或在承载对象的自动引导车辆上。

在第三方面中，提供了一种电子设备。该电子设备包括：处理器；存储器，耦合到处理器并且存储指令以供执行，这些指令在由处理器执行时，使得设备执行第一方面的方法。

在第四方面中，提供了一种计算机可读介质。计算机可读介质包括用于使得电子设备至少执行根据第一方面的方法的程序指令。

应当理解，发明内容不旨在标识本公开的实施例的关键特征或基本特征，也不旨在用于限制本公开的范围。通过下文的描述，本公开的其他特征将变得容易理解。

附图说明

本公开的上述和其他目的、特征和优点将通过结合附图对本公开的示例性实施例的更详细的描述而变得更加显而易见，其中在本公开的示例性实施例中，相同的附图标记数字通常表示相同的部件。

图1示出了可以实现本公开的实施例的示例操作环境；

图2示出了根据本公开的实施例的用于控制机器人的系统的示意图。

图3A至图3C示出了根据本公开的实施例的数据融合的示例过程；

图4A至图4B示出了根据本公开的实施例的图3A至图3C所示的数据融合的示例结果；

图5示出了根据本公开的实施例的用于控制机器人的方法的流程图；以及

图6示出了根据本公开的一些示例实施例的示例计算机可读介质的框图。

在整个附图中，相同或相似的附图标记用于指示相同或相似的元件。

具体实施方式

现在，参考几个示例实施例对本公开进行讨论。应当理解，讨论这些实施例只是为了使得本领域技术人员能够更好地理解并因此实施本公开，而非暗示对主题范围的任何限制。

如本文中所使用的，术语“包括”及其变体应被理解为意指“包括但不限于”的开放术语。术语“基于”应被理解为“至少部分基于”。术语“一个实施例”和“一实施例”应被理解为“至少一个实施例”。术语“另一实施例”应被理解为“至少一个其他实施例”。术语“第一”、“第二”等可以是指不同或相同的对象。下文可以包括其他定义(明确定义和隐含定义)。除非上下文另有明确说明，否则术语的定义在整个描述中是一致的。

除非另有说明或限制，否则术语“安装”、“连接”、“支撑”和“耦合”及其变体被广泛使用，并且涵盖直接和间接的安装、连接、支撑和耦合。更进一步地，“连接”和“耦合”不限于物理或机械连接或耦合。在以下描述中，相同的附图标记和标记用于描述图中相同、相似或对应的部分。下文可以包括其他定义(明确定义和隐含定义)。

如上文所描述的，由于其高度的灵活性、效率和容量，这些年来在工厂中使用的自动导引车(AGV)的数量正在增长。由于AGV承载的对象可能由诸如工业机器人之类的其他外部设备处置，所以当机器人正在以传统方式操作时，可能需要AGV停止。

然而，停止AGV可能会导致额外的能量消耗和不期望的时间成本。因此，期望机器人能够被引导以在正在移动的AGV上操作对象，而无需在操作期间停止AGV。

为了引导机器人处置正在移动的AGV上的对象，可能会面临两个挑战。首先，在AGV正在在机器人下方运行通过的同时，操作时间受到限制。因为当机器人安装在坚固基座上时，其可到达区域受限。当AGV在其可到达区域内时，机器人应当完成操作。其次，要求操作的准确性。在大多数情况下，机器人可能必须准确跟踪对象才能处置它。然而，正在移动的AGV的测量范围很广，因此很难同时保证测量准确性和范围。

图1示出了可以在其中实现本公开的实施例的示例操作环境100。如图1所示，操作环境100可以包括机器人110。机器人110可以通过基座112固定在地面上或控制台上。机器人110可以包括具有末端关节111的操作臂。机器人110的操作臂可以操作机器人110的可到达区域114中的对象。

在操作环境100中，输送机140(诸如AGV)沿着方向X移动，并且可以通过机器人110的可到达区域114。对象130可以在输送机140上承载，并且由处于操作位置的机器人110操作。例如，机器人110可以被操作为捕获对象或对对象执行特定动作。

如图1所示的操作环境100还可以包括多个传感器120-1、120-2、120-3、120-4和120-5以及耦合到这些传感器以从这些传感器收集感测数据的控制器150。控制器150可以通过有线或无线通信模块(未示出)与传感器120-1、120-2、120-3、120-4和120-5通信。

例如，传感器120-1(以下也可以称为第一传感器120-1)可以布置在机器人110的末端关节111上。传感器120-1可以称为手持传感器(in-hand sensor)，该手持传感器可以在非常有限的范围内(例如，在可到达区域中)提供准确测量。因此，传感器120-1需要与机器人一起移动以跟踪输送机140的运动，从而将对象保持在它们的测量范围内。

还有一些传感器布置在机器人和对象都可以被观察到的环境中，诸如操作环境100中的传感器120-2和120-3(以下也可以称为第二传感器120-2和120-3)，该传感器120-2和120-3可以被称为地面传感器或屋顶传感器。与手持传感器相比，地面传感器或屋顶传感器的测量准确性较低，但范围较大。传感器120-2和120-3可以在AGV不在手持传感器的测量范围内时定位AGV，这使得机器人能够知道AGV在哪里以及在AGV到达之前它移动的速度或手持传感器何时丢失目标。

进一步地，传感器120-5(以下也可以称为第三传感器120-5)可以安装在输送机140上，该输送机140可以称为车载传感器。该传感器120-5可以全局测量输送机140的运动，诸如输送机140上的编码器/IMU、或输送机140的SLAM系统。然而，从AGV向控制器150发送该反馈可能会遭受高时间延迟并且需要额外网络设备来建立通信。因此，可以使用车载传感器来测量对时效性要求较低的数据，诸如输送机140的平均移动速度、输送机140的取向等。

而且，操作环境100可以包括其他传感器，诸如布置在机器人110的基座112上的传感器120-4(以下也可以称为第三传感器120-4)，该传感器120-4监测机器人的末端关节111的运动和输送机140的移动。应当理解，为了说明的目的而给出图1所示的传感器的数目，并不暗示任何限制。操作环境100可以包括任何合适数目的传感器。

如上文所提及的，为了在不停止输送机140的情况下实现对机器人110的准确控制，本公开的各实施例提出了一种用于控制机器人的解决方案。可以收集并融合来自不同感测组的感测数据，以用于预测机器人的目标位置。

下文结合图2至图5对本公开的原理和实现方式进行详细说明。图2示出了根据本公开的实施例的用于控制机器人的系统的示意图。为了讨论的目的，参考图1对系统200进行描述。应当领会，尽管系统200已经在图1的操作环境100中进行了描述，但是该系统200同样可以应用于其他操作环境。

如图2所示，系统200可以包括数据收集器210。数据收集器210可以耦合到感测组120，该感测组120包括第一传感器120-1、第二传感器120-2和120-3、以及第三传感器120-4和120-5，并且数据收集器210从这些传感器中的至少一个传感器接收感测数据。可替代地，数据收集器210也可以耦合到机器人控制器113，并且获取与机器人的末端关节的运动和机器人110的表征参数相关联的反馈数据，诸如机器人的可到达范围的参数。

如上文所描述的，第二传感器120-2和120-3可以具有宽测量范围。因此，第二传感器可以首先监测输送机140。第二传感器将感测数据传输到数据收集器210。此时，机器人110可能处于等待状态，即，可能静止。

一旦数据收集器210确定输送机140进入可到达范围，数据收集器210就可以通知耦合到传感器组的传感器选择器220触发第一传感器感测输送机140的移动。

传感器选择器220可以根据数据收集器210的反馈或系统200的命令触发传感器组中的任何传感器执行感测过程，例如，跟踪对象130的移动或机器人110的末端关节111的运动。例如，一旦第一传感器丢失输送机140，传感器选择器220就可以选取其他传感器来监测输送机140。因此，跟踪过程可以取决于在跟踪期间融合的传感器的组合，从而可以提高跟踪的稳定性和可靠性。

在一些实施例中，第一传感器120-1可以通过感测对象130的移动来获取第一感测数据，并且将第一感测数据传输到数据收集器210。数据收集器210可以基于坐标参数集合来确定对象的第一位置信息。例如，数据收集器210可以获取对象在第一传感器的第一坐标系中的坐标参数集合，并且基于该坐标参数集合来确定第一位置信息。

更进一步地，第二传感器可以继续将第二感测数据传输到数据收集器210。例如，数据收集器210可以获取机器人的末端关节与对象之间在第二传感器的第二坐标系中的位置关系集合，并且基于该位置关系集合来确定第二位置信息。

例如，第一感测数据可以被称为第一传感器在第一时间段内捕获的图像集合，并且第二感测数据可以被称为第二传感器在第二时间段内捕获的图像集合。第二时间段可以与第一时间段重叠。

更进一步地，数据收集器还可以记录每个感测数据的感测时间点，并且校准感测数据的时间延迟。这方面将不在这里进行讨论。

考虑到正在移动的AGV的测量范围较宽，在该方案中，不同传感器组可以布置在不同的观测位置，并且来自不同传感器组的感测数据被采集并变换为相应位置信息，这有利于预测目标位置，因为预测的结果会更准确，同时预测过程也会加快。

如图2所示，系统200还可以包括第一估计器230。第一估计器230可以耦合到数据收集器，并且被配置为基于第一位置信息和第二位置信息来生成目标位置的第一预测。对象130可以由机器人230在目标位置处操作。

在一些实施例中，第一位置信息和第二位置信息可以在第一估计器230中融合。例如，第一估计器230可以从第一位置信息获取第一采样参数集合，并且从第二位置信息获取第二采样参数集合。第一采样参数集合可以表征预定时间点的对象130的参考位置，并且第二采样参数集合可以表征同一时间点的机器人110与对象130之间的参考位置关系。

在一些实施例中，第一估计器230还可以通过基于融合模式来融合第一采样参数集合和第二采样参数集合生成目标位置的第一预测，该第一预测可以与要由机器人执行的预期操作相关联。

参考图3A和图3B，可以对来自第一位置信息的第一采样参数集合和来自第二位置信息的第二采样参数集合的数据融合进行更详细的描述。

图3A示出了与第二位置信息相关联的采样信号的曲线301的示例，并且图3B示出了与第一位置信息相关联的采样信号的曲线302的示例。如图3A所示，第二采样参数集合可以是指时间点T3和T8处的参数。也就是说，例如，在曲线301的时间点T3采样的参数集合可以反映由第二传感器120-2捕捉的在时间点T3处的机器人110与对象130之间的位置关系。为了融合第一参数集合和第二参数集合，可能需要在曲线302的T3处采样的参数。然而，在曲线302的T3处采样的参数可能不能直接从曲线302中读取。也就是说，第一采样参数集合可能并非直接从第一位置信息中获取。相反，曲线302的时间点T3处的采样参数可以基于在其他采样时间点采样的参数(例如，基于在曲线302的T2和T4采样的参数)来计算。曲线302的时间点T3的采样参数可以反映时间点T3处的对象的位置。然后，曲线301的时间点T3的采样参数与曲线302的时间点T3的采样参数融合，以生成机器人的目标位置的预测。对于在曲线301和302的时间点T8采样的参数的数据融合，可以执行类似过程。

在一些实施例中，第一估计器230还包括算子池以提供与诸如卡尔曼模式、预测器模式、滤波器模式、观察器模式、求和模式或减法模式之类的融合模式相对应的算子。这些融合模式可以针对传感器模型所指派的特定任务进行预配置。

返回参考图2，系统200还可以包括耦合到第一估计器230的命令生成器250。命令生成器250可以被配置为基于目标位置的第一预测来生成用于控制机器人110的命令。命令生成器250可以耦合到机器人控制器113以将命令传输到机器人控制器113。

在数据融合过程中，通过同一采集时间点的来自不同传感器组的感测数据确定的不同位置参数可以被视为用于预测目标位置的位置信息。由于感测数据在多个视点提供不同的位置参数，所以可以更有效地获取高质量的预测结果。同时，可以基于机器人的期望操作过程预确定与特定算子相对应的多个融合模式。这样，可以更容易地实现和开发任何例外的机器人操作过程。

在一些实施例中，多于一个的传感器可以将感测数据传输到数据收集器210，因此可以在第一估计器230处生成目标位置的多个第一预测。在这种情况下，多个第一预测可以被认为是初步预测，并且还可以融合以生成最终预测。

可替代地，系统200还可以包括第二估计器240。如图3所示，第三传感器120-4、120-5可以将感测数据传输到数据收集器210。数据收集器210可以基于从第三传感器接收的第三感测数据来确定机器人110的末端关节111的第三位置信息。第三感测数据可以通过感测机器人110的末端关节111的运动来获取。作为选项，机器人110的末端关节111的信息也可以从机器人控制器130获取。

如上文所描述的，从数据收集器210获取的第一位置信息和第二位置信息可以被融合以生成对机器人110的目标位置的预测。同样，第一估计器230还可以基于第一位置信息和第三位置信息(例如，通过融合第一位置信息和第三位置信息)来生成目标位置的第二预测。

还参考图3B和图3C，第一位置信息和第三位置信息的数据融合过程可以与第一位置信息和第二位置信息的数据融合过程相似。

图3C示出了与第三位置信息相关联的采样信号的曲线303的示例，并且图3B示出了与第一位置信息相关联的采样信号的曲线302的示例。如图3C所示，第三采样参数集合可以是指时间点T4和T10处的参数。也就是说，例如，在曲线303的时间点T4处采样的参数集合可以反映第三传感器在时间点T4捕捉的末端关节111的位置。为了融合第一参数集合和第三参数集合，可能需要在曲线302的T4处采样的参数。然而，在曲线302的T4处采样的参数可以不直接从曲线302中读取。也就是说，第一采样参数集合可以不直接从第一位置信息中获取。相反，曲线302的时间点T4处的采样参数可以基于在其他采样时间点处采样的参数(例如，基于在曲线302的T2和T5处采样的参数)来计算。曲线302的时间点T4的采样参数可以反映时间点T4处的对象的位置。然后，曲线303的时间点T4处的采样参数可以与曲线302的时间点T4处的采样参数进行融合，以生成对机器人110的目标位置的其他预测。对于在曲线303和302两者的时间点T10处采样的参数的数据融合，可以执行类似过程。

图4A至图4B示出了根据本公开的实施例的图3A至图3C所示的数据融合的示例结果。图4A示出了第一位置信息和第二位置信息的数据融合的结果，并且图4B示出了第一位置信息和第三位置信息的数据融合结果。例如，图4A所示的曲线401的值表示时间点T3的第一位置信息和第二位置信息的参数的数据融合的结果。基于通过融合第一位置信息和第二位置信息而获取的曲线401和通过融合第一位置信息和第三位置信息而获取的曲线402，可以生成目标位置的两个初步预测，即，曲线401中的值P1和曲线402中的值P2。

返回图3，系统200还可以包括第二估计器240。第二估计器240可以耦合到第一估计器230并且通过融合目标位置的第一预测和目标位置的第二预测来生成目标位置的第三预测。例如，如图4A和图4B所示，目标位置P1的初步预测和目标位置P2的初步预测可以被融合，经融合的值可以被认为是目标位置的最终预测。在这种情况下，命令生成器250可以基于目标位置的最终预测来生成用于控制机器人110的命令。

用于生成最终预测的数据融合可以被认为是第二融合过程。目标位置/取向的初步预测与第二估计器中的第二融合模块中的时间戳可以一起发送到缓冲器。在大多数应用中，与机器人的运动相比，对象的运动速度相对较低。因此，目标位置和取向的回归可以提供比传感器数据的回归更为可靠的预测。

应当理解，如图2所示的系统200可以使用任何硬件和软件来实现。例如，系统200可以实现为如图1所示的控制器150。系统200也可以实现为集成芯片。系统200的部件可以被认为是能够执行某些功能的实体，诸如数据收集器、估计器、指令生成器等。系统200中的部件还可以被认为是能够实现某些功能的虚拟模块。

这样，机器人可以在AGV通过机器人的可到达区域的限定操作时间内完成对AGV上的对象的操作。也就是说，机器人在操作对象时不必停止AGV，这样可以避免浪费时间和额外消耗能量。同时，通过收集来自不同传感器组的感测数据，可以更准确地预测机器人处置对象的目标位置。

图5示出了图示了根据本公开的实施例的用于控制机器人的方法的流程图。为了讨论的目的，参考图2从系统200的角度对方法500进行描述。

在510处，如果系统200确定机器人要操作的对象进入机器人的可到达区域，则系统200触发第一传感器以感测对象在可到达区域中的移动。

在520处，系统200基于从第一传感器接收的第一感测数据来确定对象的第一位置信息。第一传感器可以通过感测对象的移动来获取第一感测数据。在530处，系统200基于从第二传感器接收的第二感测数据来确定对象的第二位置信息。第二传感器通过感测机器人与对象之间的相对运动获取第二感测数据。

在一些实施例中，确定第一位置信息包括：在第一时间段内从第一传感器接收第一感测数据；从第一感测数据中获取对象在第一传感器的第一坐标系中的坐标参数集合；以及基于坐标参数集合来确定第一位置信息。

在一些实施例中，确定第二位置信息包括：在第二时间段内从第二传感器接收第二感测数据，第二时间段与用于接收第一感测数据集合的第一时间段重叠；从第二感测数据中获取机器人的末端关节与对象之间在第二传感器的第二坐标系中的第一位置关系集合；以及基于第一位置关系集合来确定第二位置信息。

在640处，系统200基于第一位置信息和第二位置信息来生成机器人操作对象的目标位置的第一预测。

在一些实施例中，生成第一预测包括：从第一位置信息获取第一采样参数集合，该第一采样参数集合表征在预定时间点处的对象的参考位置；从第二位置信息获取第二采样参数集合，该第二采样参数集合表征预定时间点处的机器人的末端关节与对象之间的参考位置关系；以及通过基于预定融合模式来融合第一采样参数集合和第二采样参数集合，生成目标位置的第一预测，预定融合模式与要由机器人执行的预期操作相关联。

在一些实施例中，融合模式包括以下各项中的至少一项：预测器模式、滤波器模式、求和模式和减法模式。

在一些实施例中，系统200可以基于第一预测来生成用于控制机器人的命令。

在一些实施例中，系统200还可以基于从第三传感器接收的第三感测数据来确定机器人的末端关节的第三位置信息，并且基于第一位置信息和第三位置信息来生成目标位置的第二预测。第三感测数据通过感测机器人的末端关节的运动而获取。

在一些实施例中，系统200还可以通过融合目标位置的第一预测和目标位置的第二预测来生成目标位置的第三预测。

在一些实施例中，系统200还可以基于第三预测来生成用于控制机器人的命令。

在一些实施例中，对象由自动引导车辆承载。

在一些实施例中，第一传感器布置在机器人的末端关节上，并且第二传感器布置在第二传感器可以观察到对象和机器人的环境中。

在一些实施例中，第三传感器布置在机器人的基座处或在承载对象的自动引导车辆上。

图6是适用于实现本公开的实施例的设备600的简化框图。可以提供设备600来实现如图6所示的系统200。如图6所示，设备600可以包括耦合到计算机可读存储器单元620的计算机处理器610，并且存储器单元620包括指令622。当由计算机处理器610执行时，指令622可以实现如前述段落中所描述的用于控制机器人的方法，在此不再赘述。

在本公开的一些实施例中，提供了一种用于模拟生产线中的至少一个对象的计算机可读介质。计算机可读介质上存储有指令，指令当在至少一个处理器上执行时，可以使得至少一个处理器执行前述段落中所描述的用于控制机器人的方法，在此不再赘述。

通常，本公开的各种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。一些方面可以在硬件中实现，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实现。尽管本公开的实施例的各个方面被图示和描述为框图、流程图或使用一些其他图形表示，但是应当领会，本文中所描述的块、装置、系统、技术或方法可以在作为非限制性示例的硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或它们的某种组合中实现。

本公开还提供有形地存储在非暂态计算机可读存储介质上的至少一种计算机程序产品。计算机程序产品包括计算机可执行指令，诸如包括在程序模块中的指令，这些计算机可执行指令在目标真实或虚拟处理器上的设备中执行，以进行上文参考图5所描述的过程或方法。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、部件、数据结构等。在各种实施例中，程序模块的功能可以根据需要在程序模块之间组合或拆分。程序模块的机器可执行指令可以在本地或分布式设备内执行。在分布式设备中，程序模块可以位于本地存储介质和远程存储介质两者中。

用于执行本公开的方法的程序代码可以以一种或多种编程语言的任何组合来编写。这些程序代码可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码在由处理器或控制器执行时，使得实现流程图和/或框图中指定的功能/操作。程序代码可以完全在机器上、部分在机器上、作为独立软件分组、部分在机器上和部分在远程机器上或完全在远程机器或服务器上执行。

上述程序代码可以体现在机器可读介质上，该机器可读介质可以是任何有形介质，该有形介质可以包含或存储用于由指令执行系统、装置或设备使用或与其结合使用的程序。机器可读介质可以是机器可读信号介质或机器可读存储介质。机器可读介质可以包括但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何合适组合。机器可读存储介质的更具体示例可能包括具有一个或多个电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备、或前述的任何合适组合。

进一步地，虽然按特定次序对操作进行了描绘，但这不应被理解为要求按所示的特定次序或按顺序次序执行此类操作，或执行所有所图示的操作，以获取期望结果。在某些情况下，多任务和并行处理可能是有利的。同样，虽然在上述讨论中包含了几个具体实现细节，但这些不应被解释为对本公开的范围的限制，而是对可能特定于特定实施例的特征的描述。在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。另一方面，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适子组合来实现。

尽管已经以特定于结构特征和/或方法动作的语言对主题进行了描述，但是应当理解，在所附权利要求中定义的主题不一定限于上文所描述的特定特征或动作。相反，上文所描述的具体特征和动作被公开为实现权利要求的示例形式。

Claims (22)

1.一种用于控制机器人的方法，包括：

响应于确定所述机器人要操作的对象进入所述机器人的可到达区域，触发第一传感器感测所述对象在所述可到达区域中的移动，其中所述第一传感器被安装至所述机器人的末端关节；

基于从所述第一传感器接收的第一感测数据来确定所述对象的第一位置信息，所述第一传感器通过感测所述对象的移动而获取所述第一感测数据；

基于从第二传感器接收的第二感测数据来确定所述对象的第二位置信息，所述第二传感器通过感测所述机器人与所述对象之间的相对运动而获取所述第二感测数据，所述第二传感器被布置在所述机器人和所述对象都被观察到的环境中；

基于所述第一位置信息和所述第二位置信息来生成目标位置的第一预测，所述对象由所述机器人在所述目标位置处进行操作；

基于从第三传感器接收的第三感测数据来确定所述机器人的末端关节的第三位置信息，所述第三感测数据通过感测所述机器人的所述末端关节的运动而获取，所述第三传感器被布置在能够感测所述末端关节的运动的位置处；

基于所述第一位置信息和所述第三位置信息来生成所述目标位置的第二预测；以及

通过融合所述目标位置的所述第一预测和所述目标位置的所述第二预测来生成所述目标位置的第三预测。

2.根据权利要求1所述的方法，其中确定所述第一位置信息包括：

在第一时间段内从所述第一传感器接收所述第一感测数据；

从所述第一感测数据中获取所述对象在所述第一传感器的第一坐标系中的坐标参数集合；以及

基于所述坐标参数集合来确定所述第一位置信息。

3.根据权利要求1所述的方法，其中确定所述第二位置信息包括：

在第二时间段内从所述第二传感器接收所述第二感测数据，所述第二时间段与用于接收所述第一感测数据集合的第一时间段重叠；

从所述第二感测数据中获取所述机器人的末端关节与所述对象之间在所述第二传感器的第二坐标系中的第一位置关系集合；以及

基于所述第一位置关系集合来确定所述第二位置信息。

4.根据权利要求1所述的方法，其中生成所述第一预测包括：

从所述第一位置信息获取第一采样参数集合，所述第一采样参数集合表征在预定时间点处的所述对象的参考位置；

从所述第二位置信息中获取第二采样参数集合，所述第二采样参数集合表征在所述预定时间点处的所述机器人的末端关节与所述对象之间的参考位置关系；以及

通过基于预定融合模式来融合所述第一采样参数集合和所述第二采样参数集合，生成所述目标位置的所述第一预测，所述预定融合模式与要由所述机器人执行的预期操作相关联。

5.根据权利要求4所述的方法，其中所述预定融合模式包括以下各项中的至少一项：

预测器模式；

滤波器模式；

求和模式；以及

减法模式。

6.根据权利要求1所述的方法，还包括：

基于所述第一预测来生成用于控制所述机器人的命令。

7.根据权利要求1所述的方法，还包括：

基于所述第三预测来生成用于控制所述机器人的命令。

8.根据权利要求1所述的方法，其中所述对象由自动引导车辆承载。

9.根据权利要求1所述的方法，其中所述第一传感器布置在所述机器人的末端关节上，并且所述第二传感器布置在所述对象和所述机器人能够被所述第二传感器观察到的环境中。

10.根据权利要求1所述的方法，其中所述第三传感器布置在所述机器人的基座处或在承载所述对象的自动引导车辆上。

11.一种用于控制机器人(110)的控制系统(200)，包括：

传感器选择器(220)，耦合到第一传感器(120-1)并且被配置为响应于确定所述机器人(110)要操作的对象(130)进入所述机器人(110)的可到达区域，触发所述第一传感器(120-1)以感测所述对象(130)在所述可到达区域中的移动；

数据收集器(210)；

耦合到所述第一传感器(120-1)，并且被配置为基于从所述第一传感器(120-1)接收的第一感测数据来确定所述对象(130)的第一位置信息，所述第一传感器(120-1)通过感测所述对象(130)的移动而获取所述第一感测数据，其中所述第一传感器被安装至所述机器人的末端关节；以及

耦合到第二传感器(120-2、120-3)并且被配置为基于从所述第二传感器(120-2、120-3)接收的第二感测数据来确定所述对象(130)的第二位置信息，所述第二传感器(120-2、120-3)通过感测所述机器人(110)与所述对象(130)之间的相对运动而获取所述第二感测数据，所述第二传感器被布置在所述机器人和所述对象都被观察到的环境中；

第一估计器(230)，耦合到所述数据收集器(210)，并且被配置为基于所述第一位置信息和所述第二位置信息来生成目标位置的第一预测，所述对象(130)由所述机器人(110)在所述目标位置处进行操作；

所述数据收集器(210)还耦合到第三传感器(120-4、120-5)，所述第三传感器被布置在能够感测所述末端关节的运动的位置处，并且所述数据收集器(210)被配置为：

基于从所述第三传感器(120-4、120-5)接收的第三感测数据来确定所述机器人(110)的末端关节(111)的第三位置信息，所述第三感测数据通过感测所述机器人(110)的所述末端关节(111)的运动而获取；以及

基于所述第一位置信息和所述第三位置信息来生成所述目标位置的第二预测；

所述控制系统还包括：

第二估计器(240)，耦合到所述第一估计器(230)并且被配置为通过融合所述目标位置的所述第一预测和所述目标位置的所述第二预测来生成所述目标位置的第三预测。

12.根据权利要求11所述的系统，其中所述数据收集器(210)还被配置为：

在第一时间段内从所述第一传感器(120-1)接收所述第一感测数据；

从所述第一感测数据中获取所述对象(130)在所述第一传感器(120-1)的第一坐标系中的坐标参数集合；以及

基于所述坐标参数集合来确定所述第一位置信息。

13.根据权利要求11所述的系统，其中所述数据收集器(210)还被配置为：

在第二时间段内从所述第二传感器(120-2、120-3)接收所述第二感测数据，所述第二时间段与用于接收所述第一感测数据集合的第一时间段重叠；

从所述第二感测数据中获取所述机器人(110)的末端关节(111)与所述对象(130)之间在所述第二传感器(120-2、120-3)的第二坐标系中的第一位置关系集合；以及

基于所述第一位置关系集合来确定所述第二位置信息。

14.根据权利要求11所述的系统，其中所述第一估计器(230)还被配置为：

从所述第一位置信息中获取第一采样参数集合，所述第一采样参数集合表征在预定时间点处的所述对象(130)的参考位置；

从所述第二位置信息中获取第二采样参数集合，所述第二采样参数集合表征在预定时间点处的所述机器人(110)的末端关节(111)与所述对象(130)之间的参考位置关系；以及

通过基于预定融合模式来融合所述第一采样参数集合和所述第二采样参数集合，生成所述目标位置的所述第一预测，所述预定融合模式与要由所述机器人(110)执行的预期操作相关联。

15.根据权利要求14所述的系统，其中所述预定融合模式包括以下各项中的至少一项：

预测器模式；

滤波器模式；

求和模式；以及

减法模式。

16.根据权利要求11所述的系统，还包括：

命令生成器(250)，耦合到所述第一估计器(230)并且被配置为基于所述第一预测来生成用于控制所述机器人(110)的命令。

17.根据权利要求11所述的系统，还包括：

命令生成器(250)，耦合到所述第二估计器(240)并且被配置为基于所述第三预测来生成用于控制所述机器人的所述命令。

18.根据权利要求11所述的系统，其中所述对象(130)由自动引导车辆(140)承载。

19.根据权利要求11所述的系统，其中所述第一传感器(120-1)布置在所述机器人(110)的末端关节(111)上，并且所述第二传感器(120-2、120-3)布置在所述对象(130)和所述机器人(110)能够被所述第二传感器(120-2、120-3)观察到的环境中。

20.根据权利要求11所述的系统，其中所述第三传感器(120-4、120-5)布置在所述机器人(110)的基座(112)处或在承载所述对象(130)的自动引导车辆(140)上。

21.一种电子设备，包括：

处理器；以及

存储器，耦合到所述处理器并且存储指令以供执行，所述指令在由所述处理器执行时，使得所述设备执行根据权利要求1至10中任一项所述的方法。

22.一种计算机可读介质，包括用于使得电子设备至少执行根据权利要求1至10中任一项所述的方法的程序指令。