CN111491878A - 具有自动化包裹登记机构和最小可行区域检测的机器人系统 - Google Patents

Abstract

本公开涉及用于生成物体的已验证最小可行区域(MVR)的方法和系统。可通过处理一个或多个图像数据来标识物体的暴露外拐角和暴露边缘。可通过标识与所述暴露边缘相对的相对平行边缘来生成初始MVR。可调整所述初始MVR，并且可测试所述已调整结果以生成已验证MVR。

Description

具有自动化包裹登记机构和最小可行区域检测的机器人系统

相关申请的交叉引用

本申请要求2018年10月30日提交的美国临时专利申请序列号62/752,756的权益，所述临时专利申请以引用的方式整体并入本文。本申请进一步要求2019年5月24日提交的美国临时申请序列号62/852,963的权益，所述临时申请以引用的方式整体并入本文。本申请还与2019年3月1日提交的美国专利申请序列号16/290,741，现在为美国专利号10,369,701有关，并且以引用的方式整体并入。

本申请包含与由Jinze Yu、Jose Jeronimo Moreira Rodrigues和Rose NikolaevDiankov同时提交的标题为“A ROBOTIC SYSTEM WITH AUTOMATED PACKAGE REGISTRATIONMECHANISM AND AUTO-DETECTION PIPELINE”的美国专利有关的主题。相关申请被转让给Mujin，Inc.，并且由档案号131837-8003.US50标识。相关申请的主题以引用的方式并入本文。

技术领域

本技术总体涉及机器人系统，并且更具体地，涉及用于登记物体的系统、过程和技术。

背景技术

在许多情况下，包裹被布置在货盘中(或“码垛”)以便装运到目的地，随后将所述包裹卸垛。可由人工将包裹卸垛，这可能会占用大量资源并增加对人工造成伤害的风险。在工业环境中，卸垛操作可由工业用机器人执行，诸如抓持、提升、运输包裹并将包裹递送到释放点的机器人臂。另外，可利用成像装置来捕获装载到货盘上的包裹堆叠的图像。系统可诸如通过将所捕获图像与存储在登记数据源中的所登记图像进行比较来处理图像以确保机器人臂有效地处理了包裹。

有时，包裹的所捕获图像可能与所登记图像匹配。因此，被成像物体的物理特性(例如，包裹的尺寸、重量和/或质心的测量值)可能是未知的。无法正确地标识物理特性可能导致多种有害的后果。例如，这种失败可能导致停止，这可能需要手动登记包裹。另外，这种失败可能导致误处理包裹，特别在包裹相对较重和/或不平衡的情况下。

附图说明

通过结合附图对具体实施方式的研究，所述技术的各种特征和特性对于本领域技术人员将更加显而易见。以举例的方式而非限制的方式在附图中示出本技术的实施方案，在附图中相同的附图标记可指示相同的元件。

图1示出机器人系统可在其中操作的示例性环境。

图2示出根据本技术的一个或多个实施方案的机器人系统。

图3A示出根据本技术的一个或多个实施方案的由机器人系统处理的物体的示例性堆叠。

图3B示出根据本技术的一个或多个实施方案的示例性堆叠的顶表面。

图3C示出根据本技术的一个或多个实施方案的对应于顶表面的传感器数据。

图4A示出根据本技术的一个或多个实施方案的对应于在一组初始操作之后的顶表面的传感器数据。

图4B示出根据本技术的一个或多个实施方案的在图4A中示出的传感器数据的部分。

图5示出根据本技术的一些实施方案的一组所码垛包裹的顶视图。

图6示出根据本技术的一些实施方案的暴露外拐角的图形表示。

图7示出根据本技术的一些实施方案的一组所码垛包裹的顶视图。

图8示出根据本技术的一些实施方案的合并的MVR区域的示例。

图9是根据本技术的一些实施方案的操作图1的机器人系统的方法的框图。

图10是示出其中可实施本文所述的至少一些操作的处理系统的示例的框图。

附图仅出于说明的目的描绘了各种实施方案。本领域技术人员将认识到，在不脱离本技术原理的情况下，可采用替代的实施方案。因此，尽管在附图中示出具体实施方案，但是所述技术可进行各种修改。

具体实施方式

本文描述用于具有自动化包裹登记机构的机器人系统的系统和方法。根据一些实施方案配置的机器人系统(例如，装置的执行一个或多个指定任务的集成系统)通过操纵和/或自主地/自动地(例如，利用很少的人类操作员输入或不利用人类操作员输入)登记先前未知的或未识别物体(例如，包裹、盒、箱等)提供了增强的可用性与柔韧性。

为了确定是否识别出物体，机器人系统可获得关于在起始位置处的物体的数据(例如，物体的暴露表面的一个或多个图像)并将所述数据与已知或预期物体的登记数据进行比较。在所比较数据(例如，所比较图像的一部分)与物体中的一个的登记数据(例如，所登记表面图像中的一个)匹配时，机器人系统可将物体确定为已识别的。在所比较数据无法与已知或预期物体的登记数据匹配时，机器人系统可将物体确定为未识别的。

机器人系统可根据一个或多个估计来操纵未识别物体，并且确定关于未识别物体的另外信息(例如，表面图像和/或物理尺寸)。例如，机器人系统可标识未识别物体的暴露边缘和/或暴露外拐角，所述未识别物体是单独的或不与其他物体相邻。

所述估计可包括生成表示接触并提升对应的未识别物体所需的最小和/或最佳区域的最小可行区域(MVR)。在生成MVR时，可通过检查点云数据来标识暴露外拐角和暴露边缘。基于所标识暴露外拐角和暴露边缘，可通过标识与暴露边缘相对的相对边缘来生成初始MVR。作为说明性示例，一对暴露边缘可与彼此正交并且形成暴露外拐角。这种物体的初始MVR可从暴露外拐角沿着暴露边缘延伸到所标识的相对边缘。

在一些实施方案中，可诸如通过从初始MVR扩大到由点云限定的区域的端部测试潜在的MVR区域来进一步处理初始MVR。物体的合并的MVR可包括初始MVR和潜在MVR。当合并的MVR满足一个或多个预定条件时，可生成已验证MVR。已验证MVR可表示涵盖未识别物体的准确区域。基于已验证MVR，如本文所述的系统可登记物体并诸如通过抓持和/或移动所述物体来执行针对所述物体的任务。

在以下描述中，阐述许多具体细节来提供对当前所公开技术的透彻理解。在其他实施方案中，此处所引入的技术可在没有这些具体细节的情况下实践。在其他情况下，不详细描述诸如具体函数或例程的公知特征，以便避免不必要地使本公开晦涩难懂。此说明中对“实施方案”或“一个实施方案”或类似用语的引用意指所描述的特定特征、结构、材料或特性包括在本公开的至少一个实施方案中。因此，本说明书中此类短语的出现不一定都指代同一实施方案。另一方面，此类引用也不一定相互排斥。此外，特定特征、结构、材料或特性可以任何合适的方式在一个或多个实施方案中加以组合。应理解，图中所示的各种实施方案仅是说明性表示并且不一定按比例绘制。

出于简洁的目的，在以下描述中年未阐述描述公知且往往与机器人系统和子系统相关联并且可能不必要地使所公开技术的一些重要方面晦涩难懂的结构或过程的若干细节。此外，虽然以下公开内容阐述本技术的不同方面的若干实施方案，但若干其他实施方案可具有不同于此章节中所述的那些的配置或部件。因此，所公开的技术可具有带有附加元件或没有下文所述元件中的若干的其他实施方案。

下文所述的本公开的许多实施方案或方面可呈计算机或处理器可执行指令(包括由可编程计算机或处理器执行的例程)的形式。相关领域技术人员应理解，所公开的技术可在下文所示和所述的那些之外的计算机或处理器系统上实践。本文所述的技术可在专门编程、配置或构造为执行下文所述的计算机可执行指令中的一者或多者的专用计算机或数据处理器中体现。因此，如本文一般所用的术语“计算机”和“处理器”指代任何数据处理器并且可包括互联网用具和手持式装置(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程消费者电子器件、网络计算机、迷你计算机等)。由这些计算机和处理器处理的信息可在任何合适的显示介质(包括液晶显示器(LCD))处呈现。用于执行计算机或处理器可执行任务的指令可存储在任何合适的计算机可读介质(包括硬件、固件，或硬件和固件的组合)中或上。指令可包含在任何合适的存储器装置(包括例如闪存驱动器和/或其他合适的介质)中。

术语“联接”和“连接”以及它们的派生词可在本文中用来描述部件之间的结构关系。应理解，这些术语并不意图作为彼此的同义词。而是，在特定实施方案中，“连接”可用于指示两个或更多个元件彼此直接接触。除非在上下文中另外阐明，否则术语“联接”可用于指示两个或更多个元件彼此直接或间接(在其间具有其他干预元件)接触，或者两个或更多个元件彼此配合或交互(例如，如呈因果关系，诸如用于信号传输/接收或用于函数调用)，或两者。

合适的环境

图1是机器人系统100可在其中操作的示例性环境的图示。机器人系统100可包括被配置来执行一个或多个任务的一个或多个单元(例如，机器人)和/或与所述一个或多个单元通信。打包机构的各方面可由各种单元来实践或实现。

对于图1所示的示例，机器人系统100可包括位于仓库或分配/装运枢纽中的卸载单元102、搬运单元104(例如，码垛机器人和/或拾件机器人)、运输单元106、装载单元108、或它们的组合。机器人系统100中的单元中的每一个可被配置来执行一个或多个任务。任务可按顺序组合以执行实现目标(诸如从卡车或货车卸载物体并将它们存储在仓库中，或者从存储位置卸载物体并将它们准备用于装运)的操作。再如，任务可包括将物体放置在目标位置上(例如，放置在货盘顶部上和/或仓/笼/盒/箱内部)。如下文所述，机器人系统可导出用于放置和/或堆叠物体的计划(例如，放置位置/取向、用于搬运物体的顺序和/或对应运动计划)。单元中的每一个可被配置来根据执行任务的所导出计划中的一个或多个来执行一系列动作(通过例如在其中操作一个或多个部件)以执行任务。

在一些实施方案中，任务可包括将目标物体112(例如，对应于正在执行的任务的包裹、盒、箱、笼、货盘等中的一者)从起始位置114操纵(例如，移动和/或重新定向)到任务位置116。例如，卸载单元102(例如，拆箱机器人)可被配置来将目标物体112从载具(例如，卡车)中的位置搬运到输送带上的位置。另外，搬运单元104可被配置来将目标物体112从一个位置(例如，输送带、货盘或仓)搬运到另一位置(例如，货盘、仓等)。再如，搬运单元104(例如，码垛机器人)可被配置来将目标物体112从源位置(例如，货盘、拾取区域和/或输送机)搬运到目的地货盘。在完成操作时，运输单元106可将目标物体112从与搬运单元104相关联的区域搬运到与装载单元108相关联的区域，并且装载单元108可将目标物体112(通过例如移动承载目标物体112的货盘)从搬运单元104搬运到存储位置(例如，架子上的位置)。下文描述关于任务和相关联动作的细节。

出于说明性目的，机器人系统100是在装运中心的上下文中描述的；然而，应理解，机器人系统100可被配置来在其他环境中/出于其他目的(诸如用于制造、组装、包装、健康护理和/或其他类型的自动化)执行任务。还应理解，机器人系统100可包括图1未示出的其他单元，诸如操纵器、服务机器人、模块化机器人等。例如，在一些实施方案中，机器人系统100可包括用于将物体从笼车或货盘搬运到输送机或其他货盘上的去码垛单元、用于将物体从一个容器搬运到另一个的容器交换单元、用于包裹物体的包装单元、用于根据物体的一个或多个特性对它们进行分组的分类单元、用于根据物体的一个或多个特性以不同方式对物体进行操纵(例如，分类、分组和/或搬运)的拾件单元、或它们的组合。

机器人系统100可包括在关节处连接以用于运动(例如，旋转和/或平移位移)的物理或结构构件(例如，机器人操纵器臂)。结构构件和关节可形成被配置来操纵端部执行器(例如，夹持器)的动力链，所述端部执行器被配置来根据机器人系统100的用途/操作来执行一个或多个任务(例如，夹持、自旋、焊接等)。机器人系统100可包括被配置来关于对应关节或在对应关节处对结构构件进行驱动或操纵(例如，移位和/或重新定向)的致动装置(例如，马达、致动器、线材、人工肌肉、电活性聚合物等)。在一些实施方案中，机器人系统100可包括被配置来到处运输对应单元/底架的运输马达。

机器人系统100可包括被配置来获得用于实施任务(诸如操纵结构构件和/或运输机器人单元)的信息的传感器。传感器可包括被配置来检测或测量机器人系统100的一个或多个物理特性(例如，其一个或多个结构构件/关节的状态、状况和/或位置)和/或周围环境的一个或多个物理特性的装置。传感器的一些实例可包括加速度计、陀螺仪、力传感器、应变计、触觉传感器、扭矩传感器、位置编码器等。

在一些实施方案中，例如，传感器可包括被配置来检测周围环境的一个或多个成像装置(例如，视觉和/或红外摄像机、二维(2D)和/或三维(3D)成像摄像机、诸如激光雷达或雷达的距离测量装置等)。成像装置可生成所检测环境的可通过机器/计算机视觉来处理(例如，用于自动化检查、机器人引导或其他机器人应用)的表示，诸如数字图像和/或点云。如下文更详细描述，机器人系统100可处理数字图像和/或点云，以标识目标物体112、起始位置114、任务位置116、目标物体112的姿势、关于起始位置114和/或姿势的置信度量度、或它们的组合。

对于操纵目标物体112，机器人系统100可捕获并分析指定区域(例如，拾取位置，诸如卡车内部或输送带上)的图像，以标识目标物体112及其起始位置114。类似地，机器人系统100可捕获并分析另一指定区域(例如，用于将物体放置在输送机上的投放位置、用于将物体放置在容器内部的位置，或货盘上用于堆叠目的的位置)的图像，以标识任务位置116。例如，成像装置可包括被配置来生成拾取区域的图像的一个或多个摄像机和/或被配置来生成任务区域(例如，投放区域)的图像的一个或多个摄像机。如下文所述，基于所捕获图像，机器人系统100可确定起始位置114、任务位置116、相关联姿势、打包/放置计划、搬运/打包顺序和/或其他处理结果。

在一些实施方案中，例如，传感器可包括被配置来检测机器人系统100的结构构件(例如，机器人臂和/或端部执行器)和/或对应关节的位置的位置传感器。机器人系统100可使用位置传感器来在任务的执行期间跟踪结构构件和/或关节的位置和/或取向。

物体搬运以及向基于目的地的传感器登记

图2是根据本技术的一个或多个实施方案的图1的机器人系统100的图示。机器人系统100可包括机器人臂202(例如，图1的搬运单元104的实例)，所述机器人臂202包括端部执行器204(例如，抓持器)。机器人臂202可被配置来在图1的起始位置114与图1的任务位置116之间搬运目标物体112。如图2所示，起始位置114可具有在其上带有目标堆叠210(例如，一组物体)的货盘208。机器人臂202的任务位置116可以是输送机206(例如，图1的运输单元106的实例)上的放置位置(例如，起始/出口点)。例如，机器人臂202可被配置来从目标堆叠210拾取物体并将它们放置在输送机206上以便运输到另一目的地/任务。

机器人系统100可在利用机器人臂202执行搬运操作时使用一个或多个传感器。在一些实施方案中，机器人系统100可包括第一成像传感器212和/或第二成像传感器214。第一成像传感器212可包括被配置来对起始位置114进行成像和/或分析的一个或多个2D和/或3D传感器，诸如摄像机和/或深度传感器。第二成像传感器214可包括被配置来对任务位置116进行成像和/或分析的一个或多个2D和/或3D传感器，诸如摄像机和/或深度传感器。例如，第一成像传感器212可包括定位在起始位置114上方的已知位置处且面向起始位置114的一个或多个摄像机和/或深度传感器。第一成像传感器212可生成与起始位置114的一个或多个顶视图(诸如目标堆叠210的顶视图)相对应的成像数据(例如，3D点云和/或视觉或2D图像)。如下文更详细描述，机器人系统100可使用来自第一成像传感器212的成像数据来导出目标堆叠210中未识别(例如，未登记)物体的最小可行区域(MVR)。机器人系统100诸如在将未识别物体从起始位置114移动到任务位置116时，可使用MVR来(通过例如端部执行器204)抓持并(通过例如机械臂202)操纵未识别物体。另外，第二成像传感器214可包括定位在一个或多个已知位置处且面向任务位置116或相关联空间的一个或多个摄像机和/或深度传感器，所述已知位置在任务位置116上方或横向于任务位置116。因此，第二成像传感器214可生成与在任务位置116处或在距任务位置116阈值距离内的目标物体112的一个或多个顶视图和/或侧视图相对应的成像数据。

物体识别

图3A是由图1的机器人系统100处理的物体的示例性堆叠(例如，图2的目标堆叠210)的图示；图3B是示例性堆叠的顶表面(例如，目标堆叠210的实际顶视图310)的图示；并且图3C是对应于顶表面的传感器数据(例如，顶视图数据320)的图示，所述实例均是根据本技术的一个或多个实施方案的。一起参考图3A、图3B和图3C，机器人系统100可被配置来将目标堆叠210内的物体搬运到另一个位置，诸如如上所述的图1的任务位置116(例如，图2的输送机206)。为了搬运物体，机器人系统100可使用来自定位在目标堆叠210上方的图2的第一成像传感器212的图像数据(例如，顶视图数据320)。例如，顶视图数据320可包括描绘或表示实际顶视图310的一个或多个视觉图像和/或一个或多个深度图。另外，机器人系统100可分析顶视图数据320以标识可对应于物体边界的边缘。例如，机器人系统100可基于深度测量值和/或图像性状(例如，不同的颜色、线性图案、阴影、清晰度差异等)的差异来标识在图像数据中表示的边缘和/或连续表面。机器人系统100可诸如基于深度测量值的差异来标识暴露边缘322(例如，不水平邻接在基本上相同高度处的另一物体/表面的物体顶表面的边缘)。

目标堆叠210可包括登记在主数据中的物体和/或未登记在主数据中的非预期物体，所述主数据包括针对预期或先前处理的物体的登记记录。同样地，机器人系统100可使用物体表面316的图像数据来识别或标识目标堆叠210内的物体。在一些实施方案中，机器人系统100可将图像数据或其中的一个或多个部分与主数据进行比较，以识别目标堆叠210内的物体。例如，机器人系统100可在顶视图数据320的部分与登记数据中的物体表面316的一个或多个图像匹配时标识目标堆叠210内的已知物体(例如，所识别物体312)。实际顶视图310的剩余部分(例如，与登记数据不匹配的部分)可对应于未识别物体314。在图3C中使用虚线示出了未识别物体314的边缘。

基于与图像数据匹配，机器人系统100可定位对应图像数据内的所识别物体312，所述所识别物体312可进一步(通过例如预校准表和/或将像素位置映射到坐标系的方程)平移到目标堆叠210的真实世界位置。此外，机器人系统100可基于所述匹配估计所识别物体312的非暴露边缘的位置。例如，机器人系统100可从主数据中获得所识别物体312的尺寸。机器人系统100可测量与所识别物体312的暴露边缘322间隔开已知尺寸的图像数据的部分。根据映射，机器人系统100可确定所识别物体312的一个或多个基于登记的边缘324和/或如上所述类似地将基于登记的边缘324映射到真实世界位置。

在一些实施方案中，机器人系统100可标识如图像数据(例如，点云数据)中所表示的目标堆叠210的暴露外拐角326。例如，机器人系统100可基于检测具有不同取向(例如，以不同角度延伸)的暴露边缘322(例如，3D图像数据中所标识的边缘，也称为3D边缘)中的两个或更多个之间的交点/相交点来标识暴露外拐角326。在一个或多个实施方案中，机器人系统100可在暴露边缘322形成在预定范围(也称为角度范围)内的角(诸如，大于和/或小于90°的阈值角度范围)时标识暴露外拐角326。如下文详细描述，机器人系统100可使用暴露外拐角326和对应暴露边缘322来处理和/或操纵未识别物体314。

未识别物体的处理

在一些实施方案中，图1的机器人系统100可根据识别状态和/或物体在图2的目标堆叠210内的相对位置来处理(例如，标识和/或搬运)物体。例如，机器人系统100可首先拾取并搬运所识别物体，然后从传感器(例如，图2的第一成像传感器212)生成另一组图像数据。图4A是根据本技术的一个或多个实施方案的对应于在一组初始操作(例如，拾取并搬运所识别物体312)之后的顶表面的传感器数据401的图示。图4A中的阴影区域对应于在移除图3B和图3C中示出的所识别物体312之后的深度测量值的变化。

在机器人系统100在图像数据(例如，2D图像和/或3D点云)中没有标识出任何所识别物体312时，机器人系统100可处理所述图像数据以标识任何暴露拐角326和/或暴露边缘322以用于定位图3A的未识别物体314。例如，机器人系统100可如上所述类似地处理传感器数据401(例如，3D点云)以标识暴露外拐角326和/或暴露边缘322。因此，机器人系统100可另外标识和/或定位在移除所识别物体312之后暴露的任何拐角/边缘。在一些实施方案中，机器人系统100可根据对应阈值角度范围来将暴露内拐角402进一步标识为暴露边缘322中的两个或更多个之间的交点/相交点。例如，机器人系统100可将暴露内拐角402标识为暴露边缘322中的相对于对应连续表面超过180°的两个或更多个之间的相交点。在一些实施方案中，机器人系统100可在暴露边缘322形成在大于和/或小于270°的阈值角度范围内的角时标识暴露内拐角402。

在一些实施方案中，在所识别物体312中的任何一个都不剩余时，机器人系统100可基于暴露拐角和/或暴露边缘来(例如，从未识别物体314中)标识目标堆叠210中的登记目标406。例如，机器人系统100可根据一组优选要求和/或评分机构来评估暴露拐角/边缘。在一些实施方案中，机器人系统100可被配置来选择最接近图2的机器人臂202的暴露外拐角326。机器人系统100可选择传感器数据401的对应区域以及与所选择暴露外拐角326相关联的对应未识别物体314。换句话讲，在处理所识别物体312之后，机器人系统100可处理形成/构成目标堆叠210的暴露外拐角326的未识别物体314。基于(通过，例如导出MVR)对传感器数据401的对应部分的分析，机器人系统100可抓持未识别物体314、提升和/或水平搬运所抓持物体和/或对所抓持物体进行成像以用于登记目的。另外，在对所抓持物体进行成像之后，机器人系统100可将所抓持物体搬运到目的地(例如，图2的输送机206)。

为了进一步描述传感器数据分析，图4B是根据本技术的一个或多个实施方案的图4A的传感器数据401的部分4B的详细图示。机器人系统100可分析传感器数据401以导出用于确定抓持位置420的MVR 412。MVR 412可表示用来接触、抓持和/或提升物体的最小大小的区域。因此，在一些实施方案中，MVR 412可以是基于图2的端部执行器204。例如，MVR 412可与端部执行器204的覆盖区(诸如端部执行器204占据的沿着X-Y平面的区域(例如，抓持器的吸盘))相关联，或者与具有覆盖区周围的另外/缓冲区域的更大区域相关联。另外，例如，MVR 412可与未识别物体(例如，所选择登记目标)的水平边界/边缘的所估计位置相关联。在一些实施方案中，MVR 412可对应于最小和/或最大候选大小，所述最小和/或最大候选大小分别可与目标堆叠210中的物体的最小或最大可能实例的物理尺寸(例如，长度、宽度、高度、直径、周长等)相对应。换句话讲，机器人100可确定目标堆叠210内的物体中的任何一个将都不具有小于最小候选大小或大于最大候选大小的尺寸。最小和最大候选大小可以是预定值(即，在处理目标堆叠210之前提供或已知的值)。下文描述关于MVR 412的导出的细节。

在一些实施方案中，机器人系统100可使用MVR 412导出一组潜在抓持位置。例如，机器人系统100可利用MVR 412的与第一暴露边缘对准的尺寸导出第一抓持位置并且利用与第二暴露边缘对准的尺寸导出第二抓持位置。在一些实施方案中，机器人系统100可利用与暴露边缘中的一个对准的MVR 412导出多于一个的抓持位置。另外，机器人系统100可导出MVR 412内的或与MVR 412的部分重叠的第一抓持位置。

机器人系统100可使用MVR 412来确定抓持位置420。抓持位置420可与将直接在端部执行器204下方和/或接触端部执行器204以进行初始操纵的物体/堆叠上的区域相对应。换句话讲，机器人系统100可将抓持器放置在抓持位置420之上以抓持对应物体，以进行后续操纵(例如，提升、水平搬运和/或用于登记的数据收集过程)。在一些实施方案中，机器人系统100可从所述组潜在抓持位置中选择抓持位置420。例如，机器人系统100可根据手臂(例如，优选地，延伸跨过暴露边缘322并且不与其他部分重叠的机器人臂)的相对取向从所述组中选择。

在一些实施方案中，机器人系统100可基于所检测线422和/或所估计边缘424来导出抓持位置412。例如，机器人系统100可基于传感器数据401中的深度测量值和/或图像性状的差异来标识所检测线422和/或所估计边缘424。机器人系统100可将不与暴露边缘322相交的结果标识为所检测线422，所述所检测线422可对应于物体或物体边缘的表面标记内的线。机器人系统100可将与至少一个暴露边缘322相交的结果标识为所估计边缘424。机器人系统100可基于将所标识边缘/线的取向与暴露边缘322的取向进行比较来标识/验证所估计边缘424。例如，当所标识边缘与暴露边缘322中的一个平行时，机器人系统100可将所标识边缘/线验证为所估计边缘424。在一些实施方案中，机器人系统100可基于验证在一对所测试边缘(例如，所标识边缘和暴露边缘322中的一个)上的两个或更多个对应点之间的相等距离来测试平行取向。在一些实施方案中，当一对所测试边缘以相同角度与公共边缘相交时，诸如当两个边缘以80°-100°之间的角度与另一个暴露边缘相交时，机器人系统100可标识平行取向。

因此，机器人系统100可导出不与所检测线422和/或所估计边缘424重叠的抓持位置420。机器人系统100可基于平衡MVR 412的边缘与最近的所检测线422和/或所估计边缘424之间的距离之间的比率来导出抓持位置420。由于机器人系统100将基于MVR 412在拐角处或拐角周围抓持物体，因此机器人系统100可基于平衡比率导出将减小沿着任意一个特定方向的最大潜在扭矩的抓持位置420。另外，机器人系统100可进一步导出或调整MVR 412以与所估计边缘424/所检测线422重合或向外延伸到所估计边缘424/所检测线422。

机器人系统100可使用所导出抓持位置420来操作图2的机器人臂202和端部执行器204。机器人系统100可抓持定位在堆叠的拐角处、抓持位置420处的物体(例如，登记目标406)。在一些实施方案中，机器人系统100可提升和/或水平搬运所抓持物体以便清晰地辨别先前非暴露的边缘。例如，机器人系统100可提升和/或水平搬运物体达预定高度，所述预定高度对应于用于准确区分边缘的最小距离。另外，例如，机器人系统100可在监测和/或分析高度变化和/或端部执行器倾斜时提升和/或水平搬运物体，使得与暴露边缘322相对的另外边缘变得可识别。机器人系统100可在初始提升期间和/或之后获得并处理数据以进一步描述未识别物体314。

MVR检测概述

本实施方案可涉及生成物体的准确的最小可行区域(MVR)。可通过检查2D和/或3D成像数据(例如，点云数据)来标识暴露外拐角和暴露边缘。基于所标识暴露外拐角和暴露边缘，可通过标识与暴露边缘相对的边缘来生成初始MVR。在一些实施方案中，机器人系统100可基于标识对应于(例如，平行于)暴露边缘的相对边缘(例如，图4B的所估计边缘424)来生成MVR。初始MVR可从暴露外拐角沿着暴露边缘延伸到相对边缘。

在确定初始MVR之后，可标识由点云限定的从初始MVR扩大到表面或层(例如，具有在彼此的阈值连续性范围内的深度量度的一组横向相邻位置)的端部的潜在MVR区域。物体的合并的MVR可包括初始MVR和潜在MVR。可通过检查/测试合并的MVR来生成已验证MVR。已验证MVR可表示涵盖未识别物体的准确区域。基于已验证MVR，如本文所述的机器人系统100可登记物体并针对所述物体执行任务，诸如抓持和/或移动物体。

在许多情况下，可标识物体的边缘(例如，外或暴露边缘)。例如，沿着图2的目标堆叠210的周边定位的物体的外边缘(例如，图3C的暴露边缘322)可不存在任何周围物体和/或与任何周围物体分开。因此，成像结果(例如，3D点云)可包括表示外边缘的所描绘值(例如，高度测量值和/或图像值，诸如颜色或亮度)的突变。然而，在许多情况下，其他边缘可能不可见或可能难以(例如，基于阈值置信度值)准确限定。例如，盒上的表面设计/图像可能会导致在物体上识别的不正确边缘。因此，由于边缘不完整，可能难以准确地分开2D/3D成像数据中的部分。

机器人系统100可通过检查图像数据(例如，点云和/或2D图像)并确定一个或多个层来标识物体的暴露外拐角326和/或暴露边缘322。例如，机器人系统100可基于成像结果来标识目标堆叠210中的一个或多个物体(例如，图3B的未识别物体314)的顶层。在顶层内，机器人系统100可选择物体和/或表面的部分(例如，具有在彼此的阈值连续性范围内的高度值的区域)以进行MVR导出。机器人系统100可估计形成/限定表面的暴露边缘(例如，层中的一个或其中的部分)对应于表面和/或对应物体的横向/周边边界。可通过标识与暴露边缘相对的相对边缘来生成初始MVR，其中初始MVR可从暴露外拐角(例如，由一组暴露边缘和/或周边边界形成的交点)沿着暴露边缘延伸到相对边缘。

机器人系统100可通过基于成像数据中的标记(例如，不完整边缘)扩大和/或缩小初始估计来进一步处理(例如，调整)初始MVR。可检查已调整MVR以确定用于确定抓持位置420和/或登记未识别物体的最终MVR。

图5示出根据本技术的一些实施方案的一组所码垛包裹500(例如，图2的目标堆叠210)的顶视图。如图5所示，第一物体510可包括边缘512a-d。边缘可表示从给定视图(例如，顶视图)观察到的物体的边界。在某些情况下，边缘512a-d的至少一部分(例如，边缘512c-d)可以是闭合的并且邻接其他相邻的物体/边缘。相反地，一些边缘(例如，边缘512a-b)可以是开放的并且对应于图3C的暴露边缘322。

第一盒510可包括与任何水平相邻的物体分开或没有任何水平相邻的物体的一个或多个暴露外拐角514。暴露外拐角514可对应于堆叠的图3的暴露外拐角326。如下所述，可检查图像数据(例如，点云和/或2D图像)以标识包裹的暴露边缘和暴露外拐角。

点云分割

图6示出根据本技术的一些实施方案的暴露外拐角的图形表示600。如图6所示，可处理点云(例如，图形表示600)以标识暴露外拐角614(例如，图3的暴露外拐角326中的一个)。例如，点云可对应于由3D摄像机生成的图5的第一物体510或其部分的顶视图。点云可包括具有指示深度的多层的3维点云。每个层和/或表面可对应于在彼此的阈值连续性范围内的一组水平相邻的深度值。例如，阈值连续性范围可能要求水平相邻的位置具有在彼此的阈值距离内(例如，小于1厘米)或在根据斜度的阈值距离内的深度量度。另外，阈值连续性范围可限定相对于基准高度(例如，目标堆叠310中的最高/最近点)的底板和/或斜度。阈值连续性范围可相似地限定用于2D图像特性(例如，颜色和/或亮度)的极限，以用于标识跨一组水平相邻位置的连续性。点云的层的深度可对应于沿着与对应物体的表面正交的方向的间隔(例如，垂直间隔)。

因此，可分析并处理点云以分开层和/或以标识开放3D边缘/拐角。在一些实施方案中，机器人系统100(例如其中的一个或多个处理器)可基于根据一个或多个预定连续性规则/阈值将点云中的深度值分组来标识层。例如，当深度值在彼此的阈值连续性范围内时和/或当深度值遵循表示平坦且连续的表面的恒定斜度时，机器人系统100可将一组水平相邻/连接的深度值分组。机器人系统100可将暴露边缘(例如，图5的暴露边缘512a和512b)标识为所标识层的边界。换句话讲，机器人系统100可将暴露边缘512a和512b标识为层/表面的发生合格深度变化的水平周边位置。通常，用于形成目标堆叠210的顶层的物体/边缘的深度量度可具有比形成顶层之下的下一层的物体/边缘的量值更低的量值(例如，表示距第一图像装置312更近的距离)。

在一些实施方案中，机器人系统100可基于标识2D视觉图像中的可见线来确定暴露边缘。例如，货盘和/或底板可对应于已知的颜色、亮度等。因此，机器人系统100可将与此类已知图案接邻的线标识为一个或多个物体的暴露边缘。另外，机器人系统100可使用2D分析来验证暴露边缘的3D标识。

基于暴露边缘，机器人系统100可标识开放3D拐角(例如，暴露外拐角514)。例如，机器人系统100可标识与暴露边缘相关联的形状/角。机器人系统100可被配置来将暴露外拐角514确定为点云中的位置，在所述位置处，暴露边缘(例如，边缘512a-b)以阈值角度范围(例如，80°-100°)内的角相交/形成所述阈值角度范围内的角。

作为说明性示例，机器人系统100可通过标识第一区域612和相邻区域616a-c来标识开放3D拐角614。机器人系统100可在扫描区域层中的一组相邻水平位置具有在彼此的阈值连续性范围内的深度值时标识第一区域612。机器人系统100可将相邻区域616a-c标识为具有在与第一区域612中的深度值的阈值连续性范围之外的深度值的其他水平位置。在一些实施方案中，机器人系统100可在深度值改变为落入阈值连续性范围之外时和/或在深度值改变的位置与形状模板(例如，直线和/或物体之间的最小间隔宽度)匹配时标识第一区域612的边缘和/或相邻区域616a-c的起点。更具体地，相比于目标堆叠210的表面(即，第一区域612)的深度值，相邻区域616a-c可具有表示距第一图像成像传感器212更远的距离的深度值。在第一区域612与相邻区域616a和616c之间的所得边缘可对应于暴露边缘。在一些实施方案中，标识开放3D拐角614可包括验证第一区域612形成一个象限，而相邻区域616a-c对应于剩余的象限和/或空的空间，诸如物体堆叠之外的位置。空的空间可能指示检测到非常稀疏的点云的空间，这可视为点云噪声。

可使用3D点云来确定其他3D拐角。在一些实施方案中，暴露外拐角可以是轮廓形状，并且‘L’形拐角可不包括有效拐角。因此，机器人系统100可基于将此类边缘区段延伸达预定长度来标识满足一个或多个要求(例如，最小笔直连续长度)的边缘区段。当所延伸边缘区段与其他区段或所延伸区段以一定角度相交时，机器人系统100可将轮廓形状上的点(例如，位于相交的边缘区段之间的圆弧的中点)标识为暴露外拐角。

在一些实施方案中，可对3D拐角进行排名。例如，由空的空间围绕的3D拐角(例如，对于定位在堆叠中顶层的拐角处的物体)可比其他物体排名更高。可基于其他因素(诸如，第一区域612的大小、开放3D拐角614相对于第一区域612的形状的位置、周围区域之间(例如，第一区域612与相邻区域616a和616c之间)的深度值差和/或第一区域612与具有在与第一区域616a中的深度值的阈值连续性范围内的深度值的另一个区域(例如，另一个表面/物体)之间的水平距离)来对开放3D拐角614进行排名。

在一些实施方案中，机器人系统100可标识不完整边缘。不完整边缘可以是在2D和/或3D分析中标识的可以是或可以不是实际边缘的边缘。不完整边缘中的一些可能对应于由于其他物体的噪声放置和/或成像装置(例如，摄像机)的容量/位置而无法标识的盒的实际边缘/盒之间的间隙。不完整边缘还可以是从2D图像分析中检测到的物体表面上的视觉图案或标记，诸如表面图片或标记，或粘贴在一起的盒盖板之间的分割/接缝。相反地，没有图案的盒可能没有任何可被标识为不完整边缘的2D线。机器人系统100可在传感器输出中超过噪声方差但无法完全满足用于边缘标识的规则/阈值的位置处标识不完整边缘。在一些实施方案中，机器人系统100可使用3D传感器输出来标识暴露外边缘(例如，第一区域612的周边边缘)，并且可使用2D传感器输出来标识不完整边缘。另外，机器人系统100可将不完整边缘边缘标识为不与其他边缘以落入角度阈值范围内的角相交的2D或3D边缘。关于不完整边缘的细节在下文详细描述。

生成初始MVR

图7示出根据本技术的一些实施方案的一组所码垛包裹的顶视图。图7进一步示出相对于顶视图的初始MVR 710(例如，图2的目标堆叠210的3D和/或2D传感器图像)。初始MVR710可表示MVR的边界和/或对应物体的边缘的初始估计。换句话讲，初始MVR 710可表示一个未识别物体的表面的初始估计。机器人系统100可使用开放3D拐角和/或暴露边缘来导出初始MVR 710。导出初始MVR 710可包括检查从点云标识的层中的每一个以标识物体、边缘、拐角等。例如，机器人系统100可将初始MVR 710导出为点云数据(例如，3D传感器输出)中具有在彼此的阈值连续性范围内的深度值的区域(例如，图6的第一区域612)。换句话讲，机器人系统100可将初始MVR导出为水平相邻位置的分组，所述水平相邻位置具有与连续表面相对应的足够相同或线性图案化的深度值。因此，机器人系统100可将初始MVR导出为至少部分地由暴露外拐角514(例如，第一拐角714a和/或第二拐角714b)和对应的暴露边缘界定的区域。例如，初始MVR 710可从第一拐角714a沿着暴露边缘722和726延伸到相对边缘724和728。在一些实施方案中，机器人系统100可通过在开放3D拐角(例如，第一拐角714a)处开始并且沿循暴露边缘(例如，远离第一拐角714a)来导出初始MVR 710。初始MVR 710可延伸，直到所沿循暴露边缘被其他暴露边缘(例如，与非沿循边缘相对和/或平行于非沿循边缘的边缘，诸如相对边缘724和/或728)相交或面对。

在一些实例中，由于各种原因(例如，物体之间的间隔、传感器粒度等)，初始MVR710可对应于多个物体的表面。因此，机器人系统100可验证所导出初始MVR 710的一个或多个尺寸。机器人系统100可验证MVR 710的一个或多个尺寸大于最小候选大小且小于最大候选大小。阈值尺寸可表示机器人系统100可接收/预期的物体的最小和/或最大尺寸。另外，阈值尺寸可表示图2的端部执行器204的水平覆盖区，诸如表示抓持/接触区域的最小大小。

当初始MVR 710的一个或多个尺寸落在阈值之外时(例如，通过超过最大尺寸或低于最小尺寸)，机器人系统100可诸如通过根据不完整边缘712(例如，在一个或多个端部处与另一边缘不匹配或相交的所检测线422和/或其他2D/3D边缘)对初始MVR 710(例如，最顶层)进行进一步分割来调整初始MVR 710。换句话讲，机器人系统100可根据不完整边缘712来调整/减小初始MVR并且测试对应的结果。在一些实施方案中，机器人系统100可将不完整边缘712确定为不与一个或多个端部上的暴露边缘相交的2D边缘和/或3D边缘。另外，机器人系统100可将不完整边缘712确定为与暴露边缘中的一个平行的2D和/或3D边缘。在一些实施方案中，机器人系统100可计算与不完整边缘712相关联的置信度值。置信度值可表示不完整边缘712对应于表面边缘和/或相邻物体之间的间隔的可能性。例如，机器人系统100可基于不完整边缘712的总长度、不完整边缘712的形状和/或不完整边缘712与围绕不完整边缘712的部分之间的差异(例如，针对深度、颜色、亮度等)来计算置信度值。

如下文详细描述，机器人系统100可基于根据或下至不完整边缘712而减小初始MVR 710来导出已验证MVR 720。换句话讲，机器人系统100可将减小的候选MVR标识为初始MVR 710内的区域，所述区域由不完整边缘712中一个或多个而不是相对的平行边缘724和/或728中的一个或多个界定。机器人系统100可通过朝向对应的暴露边缘(例如，分别对应的暴露边缘722、726)沿循相对的平行边缘(例如，相对的平行边缘724、728，其可以是2D和/或3D边缘，诸如图4B的所估计边缘424)来减小初始MVR 710，直到到达不完整边缘712为止。换句话讲，机器人系统100可标识与初始MVR 710相关联的第二拐角714b，然后沿着相关联的边缘(例如，相对的平行边缘724和/或728)远离第二拐角714移动，同时搜索其他边缘(例如，相交和/或平行边缘，诸如不完整边缘712)。如上所述，机器人系统100可测试所标识边缘的取向。例如，当所穿过边缘与所标识边缘之间的角在阈值角度范围(例如，80°至100°和/或对应于直角的其他范围)内时，机器人系统100可验证所标识边缘。另外，诸如当沿着所标识且未穿过的暴露边缘的多组对应点之间的一组距离在彼此的阈值范围内时，机器人系统100可验证所标识边缘平行于对应的暴露边缘。这可重复地或增量地执行。如果无法进一步减小MVR，则机器人系统100可将所得区域推断为已验证MVR区域720。

如上所述，机器人系统100可基于将减小的尺寸与阈值进行比较来验证所减小候选MVR。例如，机器人系统100可在由不完整边缘712限定的减小的区域满足最小/最大阈值时，将所减小候选MVR导出为已验证MVR 720。另外，机器人系统100可在不完整边缘712对应于超过预定阈值的置信度值时验证减小的候选MVR。此外，机器人系统100可使不完整边缘712在一个或多个方向上延伸达阈值距离。例如，当所延伸不完整边缘与其他边缘相交以形成满足阈值角度范围的角时，机器人系统100可验证减小的候选MVR。

作为放大初始MVR 710的示例，图8示出根据本技术的一些实施方案的合并的MVR区域的示例。在某些情况下，多个相邻表面可具有基本上相同的高度，并且在这些表面之间具有边缘/水平间隔。作为说明性示例，点云中所表示的物体可以是盒的顶表面，所述盒的顶表面具有通过胶带条连接的两个分开的矩形盖板/区段。由于以上讨论的一个或多个限制，机器人系统100可导出包括一个盖板并且向上延伸到对应于盖板/区段之间的胶带或间隔的边缘的初始MVR 710。对于此类实例，机器人系统100可导出另外区域，并且在导出已验证MVR 820时与初始MVR 710合并/测试它们。

如图8所示，可基于初始MVR 710确定另外的似合理的MVR区域812a-b。另外的似合理的MVR区域812a-b可包括与初始MVR 710关联的区域。例如，机器人系统100可基于分析2D和/或3D图像的部分来确定另外的似合理的MVR区域812a-b。机器人系统100可将另外的似合理的MVR区域812a-b确定为具有匹配的视觉特性(例如，颜色、亮度和/或图像图案)和/或匹配的深度值的位置，所述匹配的深度值在相对于初始MVR710的阈值连续性范围内。机器人系统100可将候选区域导出为图像的被确定为与初始MVR710相关联的部分。

作为说明性示例，机器人系统100可基于沿循第一暴露边缘722和第二暴露边缘726(例如，在3D图像数据中描绘的边缘)远离暴露外拐角714a来处理MVR(例如，初始和扩大的MVR)。机器人系统100可标识包括第一初始相对边缘822和第二初始相对边缘826的一组初始相对边缘。当第一暴露边缘722平行于第一初始相对边缘822和/或第二暴露边缘726平行于第二相对边缘826时，机器人系统100可验证一组初始相对边缘。机器人系统100可使用已验证相对边缘来导出初始MVR710。

机器人系统100可基于沿循第一暴露边缘722和第二暴露边缘726超出一组初始相对边缘(例如，远离暴露外拐角714a)来确定另外的似合理的MVR区域812a-b。机器人系统100可标识一个或多个另外的相对边缘(例如，第一边缘832和/或第二边缘836)，其与所沿循边缘(例如，第一暴露边缘722和/或第二暴露边缘726)相交或在所述所沿循边缘的阈值间隔距离内。诸如当第一边缘832平行于第一暴露边缘722和/或第一初始相对边缘822和/或当第二边缘836平行于第二暴露边缘726和/或第二初始相对边缘826时，机器人系统100可如上所述类似地验证另外的相对边缘。

当验证一个或多个另外的相对边缘时，机器人系统100可标识另外的似合理的MVR区域。例如，机器人系统100可将第一另外的似合理的MVR区域812a标识为第一初始相对边缘822与另外的相对边缘中的第一者(例如，第一边缘832)之间的区域。另外，机器人系统100可将第二另外的似合理的MVR区域812b标识为第二初始相对边缘826与另外的相对边缘中的第二者(例如，第二边缘836)之间的区域。

机器人系统100可基于验证/测试候选区域(例如，初始MVR710与第一另外的似合理的MVR区域812a和/或第二另外的似合理的MVR区域812b的组合)来确定另外的似合理的MVR区域812a-b。例如，机器人系统100可验证候选区域(例如，图像的被确定为与初始MVR710相关联的部分)与初始MVR 710之间的间隔距离小于预定阈值。机器人系统100可通过将候选区域的一个或多个尺寸与上文所述最小/最大尺寸阈值进行比较来进一步测试候选区域。机器人系统100可在候选区域低于最小阈值(例如，最小候选大小的尺寸)时将候选区域确定为另外的似合理的MVR区域812a-b。在一些实施方案中，机器人系统100可使用大小比较、间隔距离和/或候选区域与初始MVR710之间的关联/相似度来计算置信水平。置信水平可表示候选区域与同对应于初始MVR 710的部分相同的物体相对应的可能性。机器人系统100可将置信水平与预定阈值进行比较以确定是否应将候选区域分类为另外的似合理的MVR区域812a-b或初始MVR 710的新实例(例如，对应于单独的物体)。

生成已验证MVR

机器人系统100可基于组合初始MVR 710与另外的似合理的MVR 812a-b来导出已验证MVR 820。因此，机器人系统100可通过放大初始MVR 710以涵盖其他附近区域来导出候选MVR。因此，机器人系统100可通过已验证MVR 820增大准确地估计未登记物体的完整表面的可能性。

在一些实施方案中，机器人系统100可导出已验证MVR 820和已验证MVR 720两者(例如，减小初始MVR 710的结果)。根据一个或多个预定过程/方程，机器人系统100可使用上述一个或多个处理参数来计算已验证MVR中的每一个的置信度值。机器人系统100可将具有较大置信度值的已验证MVR选择为最终MVR。

替代地，机器人系统100可在对较小和/或较大候选区域的测试不成功时将初始MVR 710导出为最终MVR。例如，如果合并的MVR大于最大候选大小，则可拒绝合并的MVR，并且已验证MVR 820可包括初始MVR 710而不具有任何另外的似合理的MVR。另外，如果图7中描述的减小的MVR小于最小候选大小，则已验证MVR 710可包括初始MVR 710。在一些实施方案中，机器人系统100可通过放大初始MVR710来首先导出所增大MVR。机器人系统100然后可如上所述重复地减小所增大MVR，以导出最终的MVR。如上所述，机器人系统100可使用已验证MVR来登记和/或操纵未登记物体。

图9示出根据本技术的一些实施方案的操作图1的机器人系统100的方法900的框图。方法900可用于生成MVR(例如，已验证MVR)以用于抓持、操纵和/或登记未登记物体。方法900可基于利用一个或多个处理器执行存储在一个或多个存储装置中的对应指令来实现。

方法900可包括点云分割(框902)。所述点云分割可根据高度有效地分开层(例如，物体表面)。机器人系统100可通过分析来自一个或多个成像传感器(例如，图2的第一成像传感器212)的成像数据(例如，3D点云和/或2D视觉图像)来实现点云分割。在一些实施方案中，成像数据可包括图1的目标物体112和/或图2的目标堆叠210的顶视图表示。在分析成像数据时，机器人系统100可根据各种所捕获特性来标识图像数据/图像输出的相邻位置/部分并对其进行分组。例如，机器人系统100可基于深度量度、颜色/亮度和/或如上所述的其他所捕获特性来标识连续表面。

例如，在一些实施方案中，方法900可包括使用深度不连续性和/或垂直间隔来标识点云的分开的层中的物体(框904)。例如，机器人系统100可分析成像数据以针对目标堆叠210的顶表面标识跨一个或多个水平方向的深度不连续性。可基于区域/表面沿着与所标识区域/表面垂直的方向的间隔(例如，深度值的变化)来确定深度不连续性。因此，机器人系统100可标识连续的表面/层和对应物体。

方法900可包括处理分开的层以检测拐角和边缘(框906)。机器人系统100可处理图像数据和/或所确定表面/层以检测暴露3D拐角(例如，图3C的暴露外拐角326)和/或暴露边缘(例如，图3C的暴露边缘322)。在一些实施方案中，例如，机器人系统100可将暴露边缘322标识为对应于深度差的位置。因此，暴露边缘322(例如，开放边缘)可接邻或限定具有不同深度值的两个侧面。

如上所述，机器人系统100可基于标识其中暴露边缘322以满足一个或多个预定拐角阈值的角度相交的位置来进一步导出暴露外拐角326。因此，所得的暴露外拐角326可具有关于拐角的具有一致或相似的深度量度的象限中的一个，而剩余的三个象限具有不同的深度量度。在一些实例中，诸如对于形成堆叠的外拐角的物体，周围的三个象限中的深度量度可对应于空的空间并且具有稀疏的点云(例如，已知的深度量度)和/或点云噪声。

在一些实施方案中，机器人系统100可进一步对暴露外拐角326进行排名。例如，与其他层/表面进一步分开的外拐角可比在水平方向更靠近其他表面的拐角排名/评分更高，因为与其他层/表面进一步分开的外拐角对于抓持或搬运操作可以是更容易触及的和/或具有更低的抓持或干扰相邻物体的可能性。另外，当拐角距堆叠/货盘的中心部分更远时、当周围空间更空或更接近噪声图时和/或当表面高于地面(例如，更靠近顶视图传感器)时，机器人系统100可相对于暴露外拐角的其他实例对暴露外拐角排名或评分更高。

另外或替代地，机器人系统100可基于2D/视觉图像分析确定2D边缘。在一些实施方案中，机器人系统100可使用2D边缘来标识和/或验证暴露边缘322。

机器人系统100可进一步标识图7的不完整边缘712(例如，所检测线422)。可使用2D和/或3D分析来标识不完整边缘712。如上所述，机器人系统100可将不完整边缘712标识为不以满足预定拐角阈值的角度(诸如在80°-100°之间)与其他边缘相交的2D和/或3D边缘。不完整边缘712可对应于物体表面上的图案、物体的实际边缘、物体表面上的间隙和/或物体之间的间隙。因此，机器人系统100可进一步处理如下所述的不完整边缘712，以导出已验证MVR。

方法900可包括生成初始MVR(框908)。机器人系统100可基于暴露外拐角326来生成初始MVR 710。在一些实施方案中，机器人系统100可选择/处理与其他相比定位在地面上方最高和/或距中心最远的暴露外拐角326。暴露的3D拐角和暴露边缘一起可提供用于生成初始MVR 710的基础。生成初始MVR 710可包括：处理点云的分开的层并且使用从图像检测到的边缘对每个层(即，最顶层)进行进一步的分割。换句话讲，机器人系统100可将由3D分割产生的不同层/区域与2D边缘的位置组合。使用2D/视觉边缘位置，机器人系统100可进一步分割3D层。机器人系统100可分析3D层的所得区段或区域，以确定区段是否包括至少一个暴露外拐角326和/或区段尺寸是否满足最小/最大阈值。机器人系统100可将满足这些条件中的一个或两个的区段确定为初始MVR 710。

另外或替代地，机器人系统100可通过沿着暴露边缘322从所选择暴露外拐角326(例如，图6的暴露外拐角614)延伸或沿循来导出初始MVR710。在沿循边缘时，机器人系统100可检测对应边缘(框910)。例如，机器人系统100可沿着暴露边缘322增量地检查不同位置，以验证所沿循的区段是否弯曲或与另一个2D/3D区段是否相交以形成角。在一些实施方案中，机器人系统100可通过将所标识角与阈值角度范围进行比较来测试所标识角度。例如，阈值角度范围可对应于用于处理矩形表面和/或盒的直角(例如，70°-110°)。因此，机器人系统100可检测与暴露边缘322中的一个或多个相对或相对应(例如，平行)的边缘。另外，在一些实施方案中，机器人系统100可忽略与不完整边缘712的交点。因此，机器人系统100可从暴露外拐角614沿循暴露边缘322以标识相对边缘。

生成初始MVR可包括：计算与成对相对的开放边缘和相对边缘相关联的一个或多个距离(框912)。换句话讲，机器人系统100可计算由暴露边缘322和相对边缘限定的区域的一个或多个尺寸。机器人系统100可根据图像中的部分与真实世界位置之间的预定映射来计算尺寸。另外，机器人系统100可使用预定方程，所述方程基于所标识边缘的深度量度和/或2D/3D图像中的边缘之间的水平距离来计算真实世界尺寸。

在一些实施方案中，例如，机器人系统100可首先计算一个或多个尺寸，然后进一步测试相交边缘。机器人系统100可计算在两个不同位置处的成对的暴露边缘322与相对/相交边缘之间的间隔(诸如在相交边缘的两个相对端部处和/或在沿着边缘以预定距离分开的其他两个点处)。当两个距离(诸如对于平行线)在彼此的阈值范围内时，机器人系统100可将相交边缘标识或验证为相对边缘。

机器人系统100可测试边缘以控制进一步的处理(决策框914)。例如，机器人系统100可测试相交边缘是否定位在由暴露边缘限定的区域内。在一些实施方案中，机器人系统100可基于比较暴露边缘与对应的候选相对/相交边缘之间的深度量度、颜色、亮度等进行测试。另外，例如，机器人系统100可测试一对边缘(例如，暴露边缘和对应的候选相对/相交边缘)之间的距离是否满足一个或多个阈值(例如，最小MVR尺寸和/或最大MVR尺寸)。当候选相交边缘未通过测试时，机器人系统100可继续沿着暴露边缘移动以检测相对的平行边缘(循环回到框910)。可执行迭代过程，直到满足测试条件为止，或者直到沿着暴露边缘达到最大MVR尺寸为止。

如果相对的平行边缘(例如，图7的相对的平行边缘724/728)满足一个或多个所需条件，则方法900包括标识另外的MVR区域(框916)。这可包括从初始MVR(例如，初始MVR710)在X和Y方向上向外扩大以覆盖层/区域的剩余部分。例如，机器人系统100可基于分析2D和/或3D图像的部分(诸如通过如上所述匹配视觉特性/深度值并验证/测试候选区域)来标识另外的似合理的MVR区域812a-b。

方法900可包括生成合并的MVR(框918)。机器人系统100可通过组合扩大区域(例如，图8的另外的似合理的MVR区域812a-b)和初始MVR 710来生成合并的MVR。

方法900可包括验证合并的MVR(框920)。验证合并的MVR可包括：确定合并的MVR是否大于预定最大阈值(框922)。例如，如果合并的MVR大于最大阈值(即，对应于最大候选大小的尺寸)，则机器人系统100可拒绝合并的MVR，并且生成包括初始MVR 710而不具有另外的似合理的MVR区域的已验证MVR(框928)。

如果合并的MVR小于最大阈值，则方法900可包括沿循暴露边缘直到到达不完整边缘(框924)。例如，机器人系统100可根据3D图像数据标识与基准/起始的开放3D拐角对角地相对的第二3D拐角(例如，暴露外拐角326的单独实例)。机器人系统100可基于比较暴露外拐角326相对于暴露边缘和/或相对边缘的位置来标识第二3D拐角。在一些实施方案中，机器人系统100可将第二3D拐角标识为相对边缘和/或合并的MVR的拐角的相交点。机器人系统100可从第二3D拐角开始，并且朝向用作初始MVR的基准的第一/初始3D拐角沿循对应边缘(例如，相对边缘)。在沿循对应边缘时，机器人系统100可标识与所标识开放/相对边缘中的任一个相交和/或平行布置的其他边缘(例如，所检测线422和/或不完整边缘712)。当发现其他此类边缘时，机器人系统100可导出小于合并的MVR和/或小于初始MVR 710的候选MVR。

机器人系统100可重复地沿循对应于第二3D拐角的边缘，并且调整/缩小第二候选MVR(框926)。在一些实施方案中，机器人系统100可(1)在第二候选MVR的一个或多个尺寸违反最小阈值和/或最大阈值时和/或(2)在第二候选MVR中不存在不完整和/或平行边缘时停止迭代过程。当不能进一步减小第二候选MVR时，机器人系统100可将已验证MVR生成为满足一个或多个最大/最小阈值的第二候选MVR的最后一个/最小实例(框928)。这可指示在初始MVR与由具有最小候选大小的长度的边缘所限定的区域之间的区域内没有剩余的不完整边缘。

机器人系统100重复地标识和验证3D边缘和2D边缘为MVR提供了提高的准确性。2D/3D图像中的大多数边缘可以是完整的(例如，可标识的、平行和/或垂直于彼此定向/布置和/或与其他边缘相交)。因此，如上所述，机器人系统100可使用完整边缘来将图像数据的部分分成区域或层。机器人系统100可进一步分析其他边缘(例如，2D边缘、不完整边缘等)，因为实际边缘可能没有被完全/准确地捕获在图像数据中。MVR的提高的准确性可提高操纵和/或登记未登记物体的效率。MVR的提高的准确性可提供抓持未识别物体的单个实例和/或抓持靠近质心(CoM)位置的未识别物体的增加的可能性。因此，机器人系统100可减少与不准确地抓持未登记物体相关联的故障。

示例性处理系统

图10是示出其中可实施本文所述的至少一些操作的处理系统1000的示例的框图。如图10所示，处理系统1000可包括一个或多个中央处理单元(“处理器”)1002、主存储器1006、非易失性存储器1010、网络适配器1012(例如，网络接口)、视频显示器1018、输入/输出装置1020、控制装置1022(例如，键盘和定点装置)、包括存储介质1026的驱动单元1024和通信地连接到总线1016的信号生成装置1030。总线1016被示出为表示通过适当的桥、适配器或控制器连接的任何一个或多个单独的物理总线、点对点连接或两者的抽象。因此，总线1016可包括例如系统总线、外围部件互连(PCI)总线或PCI快速总线、超传输或工业标准架构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(12C)总线，或电子电器工程师协会(IEEE)标准13104总线(也称为“火线”)。

在各种实施方案中，处理系统1000作为用户装置的一部分进行操作，尽管处理系统1000还可(例如，有线地或无线地)连接到用户装置。处理系统1000可在客户端-服务器网络环境中以服务器或客户端机器的能力来操作，或者在对等(或分布式)网络环境中作为对等机器来操作。

处理系统1000可以是服务器计算机、客户端计算机、个人计算机、平板电脑、膝上型计算机、个人数字助理(PDA)、蜂窝电话、处理器、网络器具、网络路由器、交换机或网桥、控制台、手持式控制台、游戏装置、音乐播放器、网络连接(“智能”)电视、电视连接装置或任何能够执行一组指令(顺序或其他)的便携式装置或机器，所述一组指令指定处理系统1000要采取的动作。

虽然主存储器1006、非易失性存储器1010和存储介质1026(也称为“机器可读介质”)被示出为单个介质，但是应当采用术语“机器可读介质”和“存储介质”以包括存储一组或多组指令1028的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“机器可读介质”和“存储介质”还应被认为包括能够存储、编码或执行指令集的任何介质，所述指令集用于由计算机系统执行并且致使所述计算机系统执行本公开实施方案的方法中的任何一个或多个。

总而言之，被执行以实现本公开的实施方案的例程实现为被称为“计算机程序”的操作系统或特定应用程序、部件、程序、对象、模块或指令序列的一部分。所述计算机程序通常包括在不同时间在计算机中的各种存储器和存储装置中设置的一个或多个指令(例如，指令1004、1008、1028)，并且所述一个或多个指令当由一个或多个处理单元或处理器1002读取并执行时，致使处理系统1000执行操作以执行涉及本公开的各个方面的元素。

另外，虽然已经在功能完备的计算机和计算机系统的背景下描述了本实施方案，但是本领域技术人员将理解，各种实施方案能够以各种形式作为程序产品分发，并且无论用于实际上作用于分发的特定类型的机器或计算机可读介质如何，本公开都同等适用。例如，本文描述的技术可使用虚拟机或云计算服务来实现。

机器可读存储介质、机器可读介质或计算机可读(存储)介质的其他实例包括但不限于可记录类型的介质，诸如易失性和非易失性存储器装置1010、软盘和其他可移动磁盘、硬盘驱动器、光盘(例如，光盘只读存储器(CD ROMS)、数字多功能盘(DVD))和传输类型的介质，诸如数字和模拟通信链接。

网络适配器1012使得处理系统1000能够通过处理系统1000和外部实体所支持的任何已知和/或方便的通信协议利用处理系统1000外部的实体调解网络1014中的数据。网络适配器1012可包括网络适配器卡、无线网络接口卡、路由器、接入点、无线路由器、交换机、多层交换机、协议转换器、网关、网桥、网桥路由器、集线器、数字媒体接收器和/或转发器中的一者或多者。

网络适配器1012可包括防火墙，所述防火墙在一些实施方案中可控制和/或管理访问/代理计算机网络中的数据的权限，并且跟踪不同机器和/或应用之间的不同信任级别。防火墙可以是具有硬件和/或软件组件的任意组合的任意数量的模块，所述任意数量的模块能够在特定的一组机器与应用程序之间、机器与机器之间和/或应用程序与应用程序之间强制执行预定的一组访问权限，以调节这些不同实体之间的流量和资源共享。防火墙可另外管理和/或访问访问控制列表，所述访问控制列表详细描述了权限，包括例如个人、机器和/或应用程序对物体的访问和操作权限以及所述权限生效的环境。

实施例

在一些实施方案中，一种操作机器人系统的方法可包括：接收表示包括一个或多个未登记物体的目标堆叠的一个或多个图像数据；通过标识所述一个或多个图像数据中的分开的层来标识暴露外拐角和与其相关联的暴露边缘，其中所述暴露外拐角和所述对应的暴露边缘表示未登记物体；基于标识与所述暴露边缘相交的一个或多个其他边缘来标识对应于所述暴露边缘的相对边缘；基于将所述相对边缘的取向与所述暴露边缘的取向进行比较来验证所述相对边缘；生成初始最小可行区域(MVR)，所述初始MVR表示从所述暴露外拐角沿着所述暴露边缘延伸到已验证相对边缘的区域；以及基于调整所述初始MVR并测试对应结果来生成已验证MVR，其中所述已验证MVR表示所述未登记物体中的一个的所估计表面或其部分。所述暴露边缘包括限定所述暴露外拐角的第一暴露边缘和第二暴露边缘；所述相对边缘是包括第一初始相对边缘和第二初始相对边缘的一组初始相对边缘，其中所述第一初始相对边缘和所述第二初始相对边缘被确定为分别与所述第一暴露边缘和所述第二暴露边缘平行；并且生成所述已验证MVR包括：标识在相对于所述暴露外拐角越过所述第二初始相对边缘的位置处与所述第一暴露边缘相交的另一相对边缘，其中所述另一相对边缘被确定为与所述第二初始相对边缘和所述第二暴露边缘平行；标识包括所述相对边缘与所述另一相对边缘之间的区域的另外的似合理的MVR区域；以及测试组合所述潜在MVR区段和所述初始MVR的候选MVR。测试可包括：验证所述候选MVR的一个或多个尺寸是否满足MVR的最大和/或最小尺寸阈值；和/或验证所述一个或多个成像数据的与所述潜在MVR区段和所述初始MVR相对应的部分的深度测量值、颜色、亮度或其组合是否在彼此的阈值连续性范围内。当所述候选MVR无法满足一个或多个预定阈值时，所述已验证MVR可包括所述初始MVR而不包括所述潜在MVR区段。

在一些实施方案中，所述暴露边缘包括限定所述暴露外拐角的第一暴露边缘和第二暴露边缘；所述相对边缘是包括第一初始相对边缘和第二初始相对边缘的一组初始相对边缘，其中所述第一初始相对边缘和所述第二初始相对边缘被确定为分别与所述第一暴露边缘和所述第二暴露边缘平行；并且生成所述已验证MVR包括：标识所述第二初始相对边缘与所述暴露外拐角之间的另一相对边缘，其中所述另一相对边缘被确定为与所述第二初始相对边缘和所述第二暴露边缘平行；将减小的候选MVR标识为所述初始MVR内由所述另一相对边缘而不是所述第二初始相对边缘界定的区域；以及测试所述减小的候选MVR。生成所述已验证MVR还可包括：当所述候选MVR的一个或多个尺寸满足MVR的最大和/或最小尺寸阈值时，将所述减小的候选MVR设置为所述已验证MVR。

在一些实施方案中，标识所述另一相对边缘还可包括：标识与所述一组初始相对边缘相关联的第二拐角；在沿着所述第一初始相对边缘移动远离所述第二拐角时，搜索与所述另一相对边缘的交点；以及基于验证以下情况来测试所述另一相对边缘的取向：(1)所述另一相对边缘与所述第一初始相对边缘之间的角度在表示正确角度的阈值范围内，和/或(2)沿着所述另一相对边缘和所述第二暴露边缘的多组对应点之间的一组距离在彼此的阈值范围内。在一些实施方案中，所述一个或多个图像数据可包括：(1)3D成像输出，所述3D成像输出包括沿着水平平面的位置的深度量度；(2)2D成像输出，所述2D成像输出在视觉上表示沿着所述水平平面的所述目标堆叠；标识所述暴露边缘可包括：将所述分开的层中的每一个标识为沿着所述3D成像输出的所述水平平面的一组相邻位置，所述一组相邻位置具有在彼此的阈值范围内的所述深度量度，以及将所述分开的层的周边边界标识为3D边缘；标识所述暴露外拐角包括：选择由所述3D边缘中的一组形成的交点，其中所述一组3D边缘是所述暴露边缘；并且标识所述另一相对边缘包括：基于分析所述3D成像输出、所述2D成像输出或其组合来标识不完整边缘和/或检测线。生成所述已验证MVR还可包括：基于分析所述3D成像输出来标识3D边缘，其中所述3D边缘(1)沿着所述第一暴露边缘比所述第二初始相对边缘更靠近所述暴露外拐角，并且(2)平行于所述第二初始相对边缘和所述第二暴露边缘；调整所述初始MVR以另外包括所述第二初始相对边缘与所述3D边缘之间的区域；其中：所述另一相对边缘是分析所述2D成像输出的与所述已调整初始MVR相对应的部分的结果；并且所述减小的候选MVR包括所述已调整初始MVR内的所述区域。

在一些实施方案中，一种机器人系统可包括：至少一个处理器；以及至少一个存储器装置，所述至少一个存储器装置连接到所述至少一个处理器并且在其上存储有指令，所述指令能够由所述处理器执行以用于：接收表示包括一个或多个未登记物体的目标堆叠的一个或多个图像数据；基于分析所述一个或多个图像数据来标识暴露外拐角和与其相关联的暴露边缘，其中所述暴露外拐角和所述对应的暴露边缘表示未登记物体；生成初始最小可行区域(MVR)，所述初始MVR表示从所述暴露外拐角沿着所述暴露边缘延伸到相对边缘的区域；以及基于调整所述初始MVR并测试对应结果来生成已验证MVR。所述至少一个存储器装置可包括用于以下的指令：接收包括3D深度量度的所述一个或多个图像数据；基于以下标识所述暴露外拐角：基于所述3D深度量度来标识表面，其中所述表面中的每一个包括一组相邻位置，所述一组相邻位置具有在阈值连续性范围内的所述3D深度量度，基于所标识表面来标识3D边缘，其中所述3D边缘对应于所述表面的横向边界，将所述暴露外拐角标识为界定所述表面中的一个的第一3D边缘与第二3D边缘之间的相交点，其中所述3D边缘中的所述一对对应于所述暴露边缘；以及基于以下生成所述初始MVR：在沿着所述第二3D边缘移动远离所述暴露外拐角时标识第一相对边缘，其中所述第一相对边缘是所述3D边缘中与所述第一3D边缘相关联的实例；以及在沿着所述第一3D边缘移动远离所述暴露外拐角时标识第二相对边缘，其中所述第二相对边缘是所述3D边缘中与所述第二3D边缘相关联的实例，其中所述初始MVR包括由所述暴露边缘以及所述第一相对边缘和所述第二相对边缘界定的区域。用于生成所述已验证MVR的指令可以是基于：在从所述第二相对边缘沿着所述第一3D边缘并且远离所述暴露外拐角移动时标识另一相对边缘，其中所述另一相对边缘、所述第二3D边缘和所述第二相对边缘被确定为彼此平行；以及根据最大和/或最小尺寸阈值测试组合所述初始MVR和另一相对边缘与所述第二相对边缘之间的区域的候选MVR。用于生成所述已验证MVR的所述指令可包括：在所述候选MVR无法满足所述最大和/或所述最小尺寸阈值时生成包括所述初始MVR而不包括所述另一相对边缘与所述第二相对边缘之间的所述区域的所述已验证MVR。用于生成所述已验证MVR的所述指令还可包括：在所述候选MVR满足所述最大和/或所述最小尺寸阈值时生成包括所述候选MVR的所述已验证MVR。

在一些实施方案中，一种在其上可存储有处理器指令的有形非暂时性计算机可读介质，所述处理器指令在由处理器执行时致使所述处理器：接收表示包括一个或多个未登记物体的目标堆叠的一个或多个图像数据；基于分析所述一个或多个图像数据来标识暴露外拐角和与其相关联的暴露边缘，其中所述暴露外拐角和所述对应的暴露边缘表示未登记物体；生成初始最小可行区域(MVR)，所述初始MVR表示从所述暴露外拐角沿着所述暴露边缘延伸到相对边缘的区域；以及基于调整所述初始MVR并测试对应结果来生成已验证MVR。所述处理器指令可进一步致使所述处理器：接收包括3D深度量度的所述一个或多个图像数据；基于根据3D深度量度分析所述一个或多个图像数据来标识所述暴露外拐角和所述暴露边缘；基于标识第一相对边缘和第二相对边缘来生成所述初始MVR，其中所述第一相对边缘是所述3D边缘中与所述暴露边缘中的第一暴露边缘相关联的实例，并且所述第二相对边缘与所述暴露边缘中的第二暴露边缘相关联；并且其中：所述初始MVR包括由所述暴露边缘以及所述第一相对边缘和所述第二相对边缘界定的区域。所述处理器指令可进一步致使所述处理器基于以下生成所述已验证MVR：标识所述第二初始相对边缘与所述暴露外拐角之间的另一相对边缘，其中所述另一相对边缘、所述第二暴露边缘和所述第二初始相对边缘被确定为彼此平行；以及将减小的候选MVR标识为所述初始MVR内由所述另一相对边缘而不是所述第二初始相对边缘界定的区域。所述处理器指令可进一步致使所述处理器基于以下标识所述另一相对边缘：标识与所述暴露外拐角对角地相对的第二拐角；在沿着所述第一初始相对边缘移动远离所述第二拐角时，搜索所述另一相对边缘；以及基于所述另一相对边缘与所述第一初始相对边缘之间的角度和/或沿着所述另一相对边缘和所述第二暴露边缘的多组对应点之间的一组距离来确定所述另一相对边缘是否平行于所述第二暴露边缘。在一些实施方案中，所述处理器指令可进一步致使所述处理器基于以下生成所述已验证MVR：根据从所述暴露外拐角看超过所述暴露边缘中的一个的第一另外边缘来放大所述初始MVR，其中所述第一另外边缘包括与所述暴露外拐角相对的第二拐角；基于评估所述图像数据内从所述第二拐角到所述暴露外拐角的一个或多个部分来标识另一相对边缘；以及将所述已验证MVR生成为所述初始MVR内由所述另一相对边缘而不是所述第二初始相对边缘界定的区域。

如上所述，此处所引入的技术是由例如可编程电路(例如，一个或多个微处理器)实现，用软件和/或固件进行编程、完全在专用硬接线(即，非可编程)电路中或在组合中或此类形式。专用电路可处于例如一个或多个专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等的形式。

从前述内容应了解，已出于说明目的在本文中描述了本发明的具体实施方案，但是可作出各种修改而不会背离本发明的范围。因此，除了所附权利要求之外，本发明不受限制。

Claims (20)

1.一种方法，其包括：

接收表示包括一个或多个未登记物体的目标堆叠的一个或多个图像数据；

通过标识所述一个或多个图像数据中的分开的层来标识暴露外拐角和与其相关联的暴露边缘，其中所述暴露外拐角和所述对应的暴露边缘表示未登记物体；

基于标识与所述暴露边缘相交的一个或多个其他边缘来标识对应于所述暴露边缘的相对边缘；

基于将所述相对边缘的取向与所述暴露边缘的取向进行比较来验证所述相对边缘；

生成初始最小可行区域(MVR)，所述初始MVR表示从所述暴露外拐角沿着所述暴露边缘延伸到已验证相对边缘的区域；以及

基于调整所述初始MVR并测试对应结果来生成已验证MVR，其中所述已验证MVR表示所述未登记物体中的一个的所估计表面或其部分。

2.如权利要求1所述的方法，其中：

所述暴露边缘包括限定所述暴露外拐角的第一暴露边缘和第二暴露边缘；

所述相对边缘是包括第一初始相对边缘和第二初始相对边缘的一组初始相对边缘，其中所述第一初始相对边缘和所述第二初始相对边缘被确定为分别与所述第一暴露边缘和所述第二暴露边缘平行；并且

生成所述已验证MVR包括：

标识在相对于所述暴露外拐角越过所述第二初始相对边缘的位置处与所述第一暴露边缘相交的另一相对边缘，其中所述另一相对边缘被确定为与所述第二初始相对边缘和所述第二暴露边缘平行；

标识包括所述相对边缘与所述另一相对边缘之间的区域的另外的似合理的MVR区域；以及

测试组合所述潜在MVR区段和所述初始MVR的候选MVR。

3.如权利要求2所述的方法，其中测试包括：验证所述候选MVR的一个或多个尺寸是否满足MVR的最大和/或最小尺寸阈值。

4.如权利要求2所述的方法，其中测试包括：验证所述一个或多个成像数据的与所述潜在MVR区段和所述初始MVR相对应的部分的深度测量值、颜色、亮度或其组合是否在彼此的阈值连续性范围内。

5.如权利要求2所述的方法，其中当所述候选MVR无法满足一个或多个预定阈值时，所述已验证MVR包括所述初始MVR而不包括所述潜在MVR区段。

6.如权利要求1所述的方法，其中：

所述暴露边缘包括限定所述暴露外拐角的第一暴露边缘和第二暴露边缘；

所述相对边缘是包括第一初始相对边缘和第二初始相对边缘的一组初始相对边缘，其中所述第一初始相对边缘和所述第二初始相对边缘被确定为分别与所述第一暴露边缘和所述第二暴露边缘平行；并且

生成所述已验证MVR包括：

标识所述第二初始相对边缘与所述暴露外拐角之间的另一相对边缘，其中所述另一相对边缘被确定为与所述第二初始相对边缘和所述第二暴露边缘平行；

将减小的候选MVR标识为所述初始MVR内由所述另一相对边缘而不是所述第二初始相对边缘界定的区域；以及

测试所述减小的候选MVR。

7.如权利要求6所述的方法，其中生成所述已验证MVR包括：当所述候选MVR的一个或多个尺寸满足MVR的最大和/或最小尺寸阈值时，将所述减小的候选MVR设置为所述已验证MVR。

8.如权利要求6所述的方法，其中标识所述另一相对边缘包括：

标识与所述一组初始相对边缘相关联的第二拐角；

在沿着所述第一初始相对边缘移动远离所述第二拐角时，搜索与所述另一相对边缘的交点；以及

基于验证以下情况来测试所述另一相对边缘的取向：(1)所述另一相对边缘与所述第一初始相对边缘之间的角度在表示正确角度的阈值范围内，和/或(2)沿着所述另一相对边缘和所述第二暴露边缘的多组对应点之间的一组距离在彼此的阈值范围内。

9.如权利要求6所述的方法，其中：

所述一个或多个图像数据包括：(1)3D成像输出，所述3D成像输出包括沿着水平平面的位置的深度量度；(2)2D成像输出，所述2D成像输出在视觉上表示沿着所述水平平面的所述目标堆叠；

标识所述暴露边缘包括：

将所述分开的层中的每一个标识为沿着所述3D成像输出的所述水平平面的一组相邻位置，所述一组相邻位置具有在彼此的阈值范围内的所述深度量度，以及

将所述分开的层的周边边界标识为3D边缘；标识所述暴露外拐角包括：选择由所述3D边缘中的一组形成的交点，其中所述一组3D边缘是所述暴露边缘；并且

标识所述另一相对边缘包括：基于分析所述3D成像输出、所述2D成像输出或其组合来标识不完整边缘和/或检测线。

10.如权利要求9所述的方法，其中生成所述已验证MVR包括：

基于分析所述3D成像输出来标识3D边缘，其中所述3D边缘(1)沿着所述第一暴露边缘比所述第二初始相对边缘更靠近所述暴露外拐角，并且(2)平行于所述第二初始相对边缘和所述第二暴露边缘；

调整所述初始MVR以另外包括所述第二初始相对边缘与所述3D边缘之间的区域；

其中：

所述另一相对边缘是分析所述2D成像输出的与所述已调整初始MVR相对应的部分的结果；并且

所述减小的候选MVR包括所述已调整初始MVR内的所述区域。

11.一种机器人系统，其包括：

至少一个处理器；以及

至少一个存储器装置，所述至少一个存储器装置连接到所述至少一个处理器并且在其上存储有指令，所述指令能够由所述处理器执行以用于：

接收表示包括一个或多个未登记物体的目标堆叠的一个或多个图像数据；

基于分析所述一个或多个图像数据来标识暴露外拐角和与其相关联的暴露边缘，其中所述暴露外拐角和所述对应的暴露边缘表示未登记物体；

生成初始最小可行区域(MVR)，所述初始MVR表示从所述暴露外拐角沿着所述暴露边缘延伸到相对边缘的区域；以及

基于调整所述初始MVR并测试对应结果来生成已验证MVR。

12.如权利要求11所述的机器人系统，其中所述至少一个存储器装置包括用于以下的指令：

接收包括3D深度量度的所述一个或多个图像数据；

基于以下标识所述暴露外拐角：

基于所述3D深度量度来标识表面，其中所述表面中的每一个包括一组相邻位置，所述一组相邻位置具有在阈值连续性范围内的所述3D深度量度，

基于所标识表面来标识3D边缘，其中所述3D边缘对应于所述表面的横向边界，

将所述暴露外拐角标识为界定所述表面中的一个的第一3D边缘与第二3D边缘之间的相交点，其中所述3D边缘中的所述一对对应于所述暴露边缘；以及

基于以下生成所述初始MVR：

在沿着所述第二3D边缘移动远离所述暴露外拐角时标识第一相对边缘，其中所述第一相对边缘是所述3D边缘中与所述第一3D边缘相关联的实例；以及

在沿着所述第一3D边缘移动远离所述暴露外拐角时标识第二相对边缘，其中所述第二相对边缘是所述3D边缘中与所述第二3D边缘相关联的实例，

其中所述初始MVR包括由所述暴露边缘以及所述第一相对边缘和所述第二相对边缘界定的区域。

13.如权利要求12所述的机器人系统，其中所述至少一个存储器装置包括用于基于以下生成所述已验证MVR的指令：

在从所述第二相对边缘沿着所述第一3D边缘并且远离所述暴露外拐角移动时标识另一相对边缘，其中所述另一相对边缘、所述第二3D边缘和所述第二相对边缘被确定为彼此平行；以及

根据最大和/或最小尺寸阈值测试组合所述初始MVR和另一相对边缘与所述第二相对边缘之间的区域的候选MVR。

14.如权利要求13所述的机器人系统，其中所述至少一个存储器装置包括用于在所述候选MVR无法满足所述最大和/或所述最小尺寸阈值时生成包括所述初始MVR而不包括所述另一相对边缘与所述第二相对边缘之间的所述区域的所述已验证MVR的指令。

15.如权利要求13所述的机器人系统，其中所述至少一个存储器装置包括用于在所述候选MVR满足所述最大和/或所述最小尺寸阈值时生成包括所述候选MVR的所述已验证MVR的指令。

16.一种在其上存储有处理器指令的有形非暂时性计算机可读介质，所述处理器指令在由处理器执行时致使所述处理器：

接收表示包括一个或多个未登记物体的目标堆叠的一个或多个图像数据；

基于分析所述一个或多个图像数据来标识暴露外拐角和与其相关联的暴露边缘，其中所述暴露外拐角和所述对应的暴露边缘表示未登记物体；

生成初始最小可行区域(MVR)，所述初始MVR表示从所述暴露外拐角沿着所述暴露边缘延伸到相对边缘的区域；并且

基于调整所述初始MVR并测试对应结果来生成已验证MVR。

17.如权利要求16所述的非暂时性计算机可读介质，其进一步致使所述处理器：

接收包括3D深度量度的所述一个或多个图像数据；

基于根据3D深度量度分析所述一个或多个图像数据来标识所述暴露外拐角和所述暴露边缘；

基于标识第一相对边缘和第二相对边缘来生成所述初始MVR，其中所述第一相对边缘是所述3D边缘中与所述暴露边缘中的第一暴露边缘相关联的实例，并且所述第二相对边缘与所述暴露边缘中的第二暴露边缘相关联；并且

其中：

所述初始MVR包括由所述暴露边缘以及所述第一相对边缘和所述第二相对边缘界定的区域。

18.如权利要求17所述的非暂时性计算机可读介质，其进一步致使所述处理器基于以下生成所述已验证MVR：

标识所述第二初始相对边缘与所述暴露外拐角之间的另一相对边缘，其中所述另一相对边缘、所述第二暴露边缘和所述第二初始相对边缘被确定为彼此平行；以及

将减小的候选MVR标识为所述初始MVR内由所述另一相对边缘而不是所述第二初始相对边缘界定的区域。

19.如权利要求18所述的非暂时性计算机可读介质，其进一步致使所述处理器基于以下标识所述另一相对边缘：

标识与所述暴露外拐角对角地相对的第二拐角；

在沿着所述第一初始相对边缘移动远离所述第二拐角时，搜索所述另一相对边缘；以及

基于所述另一相对边缘与所述第一初始相对边缘之间的角度和/或沿着所述另一相对边缘和所述第二暴露边缘的多组对应点之间的一组距离来确定所述另一相对边缘是否平行于所述第二暴露边缘。

20.如权利要求16所述的非暂时性计算机可读介质，其进一步致使所述处理器基于以下生成所述已验证MVR：

根据从所述暴露外拐角看超过所述暴露边缘中的一个的第一另外边缘来放大所述初始MVR，其中所述第一另外边缘包括与所述暴露外拐角相对的第二拐角；

基于评估所述图像数据内从所述第二拐角到所述暴露外拐角的一个或多个部分来标识另一相对边缘；以及

将所述已验证MVR生成为所述初始MVR内由所述另一相对边缘而不是所述第二初始相对边缘界定的区域。

Images