[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111113492A - 自动包裹配准系统、装置和方法 - Google Patents

自动包裹配准系统、装置和方法 Download PDF

Info

Publication number
CN111113492A
CN111113492A CN201910582988.XA CN201910582988A CN111113492A CN 111113492 A CN111113492 A CN 111113492A CN 201910582988 A CN201910582988 A CN 201910582988A CN 111113492 A CN111113492 A CN 111113492A
Authority
CN
China
Prior art keywords
image data
package
edges
parcel
instructions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910582988.XA
Other languages
English (en)
Inventor
鲁仙·出杏光
欢·刘
旭涛·叶
何塞·赫罗尼莫·莫雷拉·罗德里格斯
良树·金本
锦泽·余
罗素·伊斯兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mujin Inc
Original Assignee
Mujin Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/290,741 external-priority patent/US10369701B1/en
Application filed by Mujin Inc filed Critical Mujin Inc
Priority to CN201910597137.2A priority Critical patent/CN110405810B/zh
Publication of CN111113492A publication Critical patent/CN111113492A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
    • B65G63/002—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations for articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
    • B65B43/00—Forming, feeding, opening or setting-up containers or receptacles in association with packaging
    • B65B43/42—Feeding or positioning bags, boxes, or cartons in the distended, opened, or set-up state; Feeding preformed rigid containers, e.g. tins, capsules, glass tubes, glasses, to the packaging position; Locating containers or receptacles at the filling position; Supporting containers or receptacles during the filling operation
    • B65B43/46—Feeding or positioning bags, boxes, or cartons in the distended, opened, or set-up state; Feeding preformed rigid containers, e.g. tins, capsules, glass tubes, glasses, to the packaging position; Locating containers or receptacles at the filling position; Supporting containers or receptacles during the filling operation using grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/915—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers provided with drive systems with rotary movements only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
    • B65G47/917—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G59/00—De-stacking of articles
    • B65G59/02—De-stacking from the top of the stack
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
    • G05B19/40931—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine concerning programming of geometry
    • G05B19/40935—Selection of predetermined shapes and defining the dimensions with parameter input
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2814/00—Indexing codes relating to loading or unloading articles or bulk materials
    • B65G2814/03—Loading or unloading means
    • B65G2814/0301—General arrangements
    • B65G2814/0308—Destacking devices
    • B65G2814/031—Removing from the top
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Robotics (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • De-Stacking Of Articles (AREA)
  • Stacking Of Articles And Auxiliary Devices (AREA)
  • Specific Conveyance Elements (AREA)
  • Image Processing (AREA)
  • Control Of Conveyors (AREA)

Abstract

一种操作包裹处理系统的方法包括：接收表示包裹表面的第一表面图像的第一图像数据；基于所述第一图像识别所述包裹表面的一对相交边缘；基于所述一对边缘确定最小可行区域，所述最小可行区域用于夹持和提升所述包裹；接收表示所述提升后的所述包裹的第二图像数据；以及基于所述第三图像数据创建配准数据。

Description

自动包裹配准系统、装置和方法
相关申请的交叉引用
本申请要求2018年10月30日提交的美国临时专利申请序列号62/752,756的权益，该临时专利申请的全部内容以引用的方式并入本文。
背景技术
通常情况下，包裹被码垛以便装运到卸垛包裹的目的地。有时候，包裹由工人卸垛，这可能成本高昂，并有造成人身伤害的风险。在工业环境中，卸垛操作通常由工业机器人(诸如机械臂)执行，其将包裹夹持、提升、运输和递送到释放点。而且，可以利用成像装置来捕获装载在托盘上的包裹堆垛的图像。系统可处理图像以确保机械臂高效地处理包裹，诸如通过将所捕获的图像与存储在配准数据源中的配准图像进行比较。
有时，包裹的所捕获图像可与配准图像匹配。结果，所成像物体的物理特性(例如，包裹的尺寸、重量和/或质心的测量值)可能是未知的。未能正确识别物理特性可能导致各种不期望的结果。例如，此类故障可能导致停机，这可能需要手动配准包裹。此外，此类故障可能导致包裹处理不当，特别是如果包裹相对较重和/或偏斜。
附图说明
图1A示出了根据本技术的一些实施方案的配置有包裹配准机构的机器人系统。
图1B是根据本技术的一些实施方案的机器人系统的功能框图。
图2A示出了根据本技术的一些实施方案的力-力矩传感器。
图2B示出了根据本技术的一些实施方案的夹持器。
图3A示出了示例性包裹堆垛的透视图。
图3B示出了示例性包裹堆垛的俯视图。
图3C示出了根据本技术的一些实施方案的配准包裹的示例性符号。
图4A示出了根据本技术的一些实施方案的第二示例性包裹堆垛的透视图。
图4B示出了根据本技术的一些实施方案的第二包裹堆垛的俯视图。
图4C示出了根据本技术的一些实施方案的已配准和未配准包裹的示例性符号。
图4D示出了根据本技术的一些实施方案的不清晰边缘和最小可行区域(MVR)的示例。
图4E示出了根据本技术的一些实施方案的已配准和未配准包裹的第二组示例性符号。
图4F示出了根据本技术的一些实施方案的不清晰边缘和MVR的第二示例。
图4G示出了根据本技术的一些实施方案的未配准包裹的第三组示例性符号。
图4H示出了根据本技术的一些实施方案的夹持器系统在图4D的第一MVR上方的示例性放置。
图4I示出了根据本技术的一些实施方案的未配准包裹的第四组示例性符号。
图4J示出了根据本技术的一些实施方案的用于新处理的包裹的不清晰边缘和MVR的示例。
图4K示出了根据本技术的一些实施方案的夹持器系统在图4F的MVR上方的示例性放置。
图4L示出了根据本技术的一些实施方案的未配准包裹的第五组示例性符号。
图4M示出了根据本技术的一些实施方案的用于新处理的包裹的不清晰边缘和MVR的示例。
图4N示出了根据本技术的一些实施方案的夹持器系统在图4M的MVR上方的示例性放置。
图4O示出了根据本技术的一些实施方案的夹持器系统在图4J的MVR上方的示例性放置。
图4P示出了根据本技术的一些实施方案的夹持器系统在图4D的第二MVR上方的示例性放置。
图4Q示出了根据本技术的一些实施方案的夹持器系统在图4D的第三MVR上方的示例性放置。
图5示出了根据本技术的一些实施方案的用于操作图1A的机器人系统100的示例性方法的控制流程。
具体实施方式
在以下描述中，呈现了若干具体细节以提供对本文公开的发明构思的实施方案的透彻理解。然而，相关领域的技术人员将认识到，本文中公开的本技术的实施方案可以在没有一个或多个特定细节的情况下实施，或者与其他部件结合实施，等等。在其他情况下，众所周知的实现方式或操作未详细示出或描述，以避免模糊本文公开的本技术的各种实施方案的各方面。
图1A和1B示出了根据本技术的一些实施方案的配置有包裹配准机构的机器人系统100。在一些实施方案中，机器人系统可包括卸垛平台110、接收平台120、机械臂系统130、末端执行器140、处理单元(PU)150、图像系统160、配准数据源(RDS)170、高度确定传感器(HDS)180和/或释放点传感器(RPS)190。
卸垛平台110可包括任何平台、表面和/或结构，多个包裹112(单个地，“包裹112”)可在其上堆垛和/或布置并准备好运输到接收平台120。应当指出的是，尽管本文使用术语“包裹”，但该术语包括任何其他词语，如下面详细讨论的那样，其容器能够被夹持、提升、运输和递送，诸如但不限于“盒子”、“箱子”、“纸盒”或其任何组合。此外，尽管在本文公开的附图中示出了矩形箱子，但是箱子的形状不限于此类形状，而是包括能够被夹持、提升、运输和递送的任何规则或不规则的形状，如下面详细讨论的。
与卸垛平台110类似，接收平台120可包括指定用于接收包裹112以进行进一步任务/操作的任何平台、表面和/或结构。在一些实施方案中，接收平台120可包括用于将包裹112从一个位置(例如，如下所述的释放点)运输到另一位置以进行进一步操作(例如，分类和/或储存)的传送系统。
机械臂系统130可包括被配置为操纵(例如，传送和/或旋转或重新定向)包裹112的一组联接结构、接头、马达/致动器、传感器或其组合。机械臂系统130可包括机械臂132，本文为了说明的目的而非限制，机械臂132可为铰接六轴机械臂结构。尽管本文的讨论将被引用到机械臂系统130，但是本文公开的实施方案不限于此类系统，而是包括可被配置为执行本文公开的动作的任何机器人系统。
末端执行器140可包括联接到机械臂132的远端的任何一个或多个部件，其被配置为与多个包裹112相互作用。例如，末端执行器140可包括被配置为夹持并保持包裹112的结构(例如，基于真空的夹持器)。在一些实施方案中，末端执行器140可包括力-力矩(F-T)传感器142、臂接口144、夹持器系统146和/或夹持器接口148(如图2A和2B所示)。
图1B的PU 150可为任何单元或电路，其被编程和/或被配置为不仅引导和控制机械臂系统130(包括末端执行器140)的运动和/或其他动作而且还处理其他相关数据。例如，PU 150可从图像系统160接收表示包裹112的表面图像(SI)的图像数据，并根据RDS 170提供的配准记录172确定SI的配准状态(下文讨论)，即，包裹112是包裹112的配准实例还是包裹112的未配准实例(例如，包裹112的配准记录172不存在或不完整的实例)。而且，例如，PU150可将机械臂系统130引导到包裹112的配准实例。另外，PU 150可在从RPS 190接收到释放信号时将夹持控制信号施加到夹持器系统146、将臂引导到接收平台120，和/或在接收平台120上释放包裹112的配准实例。
PU 150可包括任何电子数据处理单元，其执行可永久地或暂时存储在数字存储器存储装置或非暂态计算机可读介质(通常是图1B的存储器152)中的软件或计算机指令代码，所述数字存储器存储装置或非暂态计算机可读介质包括但不限于随机存取存储器(RAM)、磁盘驱动器、磁存储器、只读存储器(ROM)、光盘(CD)、固态存储器、安全数字卡和/或紧凑型闪存卡。PU 150可通过执行软件或计算机指令代码来驱动，所述软件或计算机指令代码包含为本文实现的特定功能而开发的算法。在一些实施方案中，PU 150可为针对本文公开的实施方案定制的专用集成电路(ASIC)。在一些实施方案中，PU 150可包括微处理器、数字信号处理器(DSP)、可编程逻辑器件(PLD)、可编程门阵列(PGA)和信号发生器中的一个或多个；然而，对于本文的实施方案，术语“处理器”不限于此类示例性处理单元，并且其含义不旨在狭义地解释。例如，PU 150还可包括一个以上的电子数据处理单元。在一些实施方案中，PU 150可为由机器人系统100的任何其他系统使用或与其结合使用的处理器，所述其他系统包括但不限于机械臂系统130、末端执行器140和/或图像系统160。
PU 150可电子联接(例如，经由电线、总线和/或无线连接)到系统和/或源以有助于接收输入数据。在一些实施方案中，操作性地联接可被视为可与电子联接互换。没有必要直接连接；相反，接收输入数据和提供输出数据可通过总线、通过无线网络提供，或者作为由PU 150经由物理或虚拟计算机端口接收和/或传输的信号提供。PU 150可被编程或配置为执行下面详细讨论的方法。在一些实施方案中，PU 150可被编程或配置为从各种系统和/或单元接收数据，所述系统和/或单元包括但不限于图像系统160、RDS 170、HDS 180和/或RPS 190。在一些实施方案中，PU 150可被编程或配置为向各种系统和/或单元提供输出数据，所述系统和/或单元包括但不限于机械臂系统130、末端执行器140和RDS 170。
图像系统160可包括一个或多个传感器162，其被配置为捕获表示位于卸垛平台110上的包裹112的一个或多个SI的图像数据。在一些实施方案中，图像数据可表示出现在包裹112的一个或多个表面上的视觉设计图案和/或标记，从所述视觉设计图案和/或标记可确定包裹112的配准状态。在一些实施方案中，图像系统160可包括一个或多个相机，其被设计成在目标(例如，可见和/或红外)电磁频谱带宽内工作并用于检测对应频谱内的光/能量。在一些实施方案中，图像数据可以是从一个或多个三维(3D)相机和/或一个或多个二维(2D)相机捕获的一组数据点，这组数据点形成点云、深度图或其组合。从这些相机，可确定图像系统160与包裹112的一个或多个暴露(例如，相对于图像系统160的视线)表面之间的距离或深度。在一些实施方案中，距离或深度可通过使用图像识别算法来确定，诸如上下文图像分类算法和/或边缘检测算法。一旦确定，距离/深度值可用于经由机械臂系统130操纵包裹112。例如，PU 150和/或机械臂系统130可使用距离/深度值来计算可提升和/或夹持包裹112的位置。应当指出的是，本文描述的数据诸如图像数据可包括任何离散的或连续的模拟或数字信号，其可包含信息或指示信息。
图像系统160可包括至少一个显示单元164，其被配置为呈现由传感器162捕获的包裹112的图像，所述图像可由机器人系统100的一个或多个操作员观察，如下面详细讨论的。另外，显示单元164可被配置为呈现其他信息，诸如但不限于表示包裹112的配准和/或未配准实例的符号，如下面详细讨论的。
RDS 170可包括被配置为存储多个包裹112的配准记录172的任何数据库和/或存储器存储装置(例如，非暂态计算机可读介质)。例如，RDS 170可包括只读存储器(ROM)、光盘(CD)、固态存储器、安全数字卡、紧凑型闪存卡和/或数据存储服务器或远程存储装置。
在一些实施方案中，配准记录172可各自包括对应包裹112的物理特征或属性。例如，每个配准记录172可包括但不限于一个或多个模板SI、2D或3D大小测量值、重量和/或质心(CoM)信息。模板SI可表示包裹112的已知或先前确定的可见特征，包括包裹112的设计、标记、外观、外部形状/轮廓或其组合。2D或3D大小测量值可包括已知/预期包裹的长度、宽度、高度或其组合。
在一些实施方案中，RDS 170可被配置为接收根据下面公开的实施方案创建的配准记录172的新实例(例如，针对先前未知的包裹和/或包裹的先前未知的方面)。因此，机器人系统100可通过扩展存储在RDS 170中的配准记录172的数量来自动化用于配准包裹112的过程，从而使卸垛操作更有效率，且包裹112的未配准实例更少。通过使用实时/操作数据动态地(例如，在操作/部署期间)更新RDS 170中的配准记录172，机器人系统100可高效地实现计算机学习过程，该计算机学习过程可解决先前未知或意外情况(例如，照明情况、未知取向和/或堆垛不一致)和/或新遇到的包裹。因此，机器人系统100可减少由“未知”情况/包裹、相关联人类操作员干预和/或相关联任务失败(例如，丢失的包裹和/或碰撞)导致的故障。
HDS 180可包括被配置为提供物体(例如，包裹112)相对于参考点(例如，与HDS180相关联的表面)的竖直测量的部件。对于图1A所示的示例，当包裹112的底部/边缘经过与HDS 180相关联的水平表面(例如，扫描平面)时，HDS 180可向图1的PU 150发送信号。PU150可使用来自HDS 180的信号来确定包裹112的高度(例如，根据放置/接近取向)，诸如根据HDS 180的扫描平面(即，先前已知的)以及夹持器系统146在信号生成时的位置之间的距离。如下所述，包裹112的高度可作为三维测量值添加到已经配准在配准记录172中的2D测量值。在一些实施方案中，HDS 180可安装在接收平台120上，如图1A所示。
RPS 190可包括部件/电路，该部件/电路被配置为当包裹112穿过或接触与RPS190相关联的水平面时触发提供给PU 150的信号。在一些实施方案中，由RPS 190触发的信号可用于确定夹持器系统146将包裹112释放到接收平台120上的位置。在一些实施方案中，RPS 190可安装在接收平台120上，如图1A所示。
现在参考图2A所示，F-T传感器142可为被配置为检测沿着坐标系的轴线和/或轴的线性力和/或力矩的任何传感器。在一些实施方案中，F-T传感器142可包括具有六轴力传感器的部件，该六轴力传感器被配置为检测图1A和图1B的机器人系统100利用的多达三个轴力(例如，沿着笛卡尔坐标系的x轴、y轴和z轴检测到的力)和/或三个轴力矩(例如，围绕笛卡尔坐标系的x轴、y轴和z轴检测到的力矩)。在一些实施方案中，F-T传感器142可包括用于信号处理的内置放大器和微计算机、进行静态和动态测量的能力，和/或基于采样间隔检测即时变化的能力。在一些实施方案中，F-T传感器142可与图1B的PU 150经由有线和/或无线通信通信地联接。
臂接口144可为被配置为将图1A的机械臂132的远端联接到F-T传感器142的任何装置。在一些实施方案中，机械臂系统130的制造商可与F-T传感器142的制造商不同。在这种情况下，臂接口144的末端可具有不同的配置：一端被配置用于联接到远端，并且另一端被配置用于联接到F-T传感器142。
现在参考图2B，夹持器系统146可为被配置为从图1A的包裹112在图1A的卸垛平台110上的静止位置夹持包裹112的任何系统或组件，并且当包裹112由图1B的机械臂系统130运输和递送到图1A的接收平台120时保持夹持。在一些实施方案中，夹持器系统146可由真空夹持器系统组成，该真空夹持器系统采用真空源，用于在接收平台120处夹持包裹112并在卸垛平台110处释放包裹112。在一些实施方案中，真空夹持器系统可采用吸盘作为与包裹112的接合。
图2B的夹持器接口148可为被配置为将F-T传感器142联接到夹持器系统146的任何装置。在一些实施方案中，F-T传感器142的制造商可与夹持器系统146的制造商不同。在这种情况下，夹持器接口148的相对侧可具有不同的配置：一侧被配置用于联接到F-T传感器142，并且相对侧被配置用于联接到夹持器系统146。
图3A至4Q示出了可如何利用图1A和图1B的机器人系统100来创建图1A的包裹112的未配准实例的图1B的配准记录172。图3A示出了包裹112-1至112-24的示例性堆垛的透视图。图3B示出了这些包裹112的示例性堆垛的俯视图。图3B可对应于俯视这些包裹112的场景的图像和/或点云数据，如由图1A和图1B的图像系统160的传感器162捕获的。仅出于说明而非限制的目的，包裹112-1至112-3、112-13至112-14和112-21至112-24可表示包裹112的配准实例，每个包裹具有存储在图1B的RDS 170中的配准记录172。仅为了讨论和简洁起见，包裹112被示出为矩形形状，并且各自具有在相应配准记录172中配准的SI(示为对角线)。
图3C示出了根据本技术的一些实施方案的配准包裹的示例性符号。图3C示出了包裹符号(例如，用于表示所显示物体的配准状态的视觉标记和/或覆盖物)112-1a至112-3a、112-13a至112-14a和112-21a至112-24a，如图1B的显示单元164所示。为了产生这些符号和对应的配准状态，图3B的包裹112-1至112-3、112-13至112-14和112-21至112-24的所捕获SI可利用图像识别算法与存储在RDS 170中的配准记录172的SI进行比较，并且如果已配准，则显示为符号。在一些实施方案中，符号可由制造商和/或最终用户利用指示SI被配准的视觉格式来配置，其中此类格式可采用各种形状和/或颜色。出于说明而非限制的目的，制造商和/或最终用户已将符号112-1a至112-3a、112-13a至112-14a和112-21a至112-24a配置为包裹轮廓的形状和大小(即，本文假设为矩形)。尽管未示出，但是符号可为颜色(例如，绿色)，其指示包裹112-1至112-3、112-13至112-14和112-21至112-24中的每一个的有利的配准状态(即，配准记录172的存在实例)。尽管未示出，但是图3B所示的场景的图像可呈现在显示单元164上，图3C的符号可覆盖在所述图像上方。在一些实施方案中，指示包裹112-1至112-3、112-13至112-14和112-21至112-24的字母数字字符(例如，在配准记录172中列出的一个或多个物理特性)可代替符号或作为符号的补充来呈现。
在一些实施方案中，机器人系统100可从图像数据(通过可包括边缘检测算法的图像识别算法)进行包裹的2D测量(例如，长度和宽度)。例如，机器人系统100可使用图像识别算法(例如，边缘检测算法和/或映射算法)来在卸垛平台110处进行包裹112的2D测量，诸如包裹112-1至112-3、112-13至112-14和112-21至112-24。机器人系统100可基于距测量表面的深度进行2D测量。机器人系统100可将对应包裹112的2D测量与其配准记录172进行比较(例如，一旦识别出所测量的包裹，诸如经由其暴露表面的图像识别)，以确认配准记录172的准确性。
在一些实施方案中，存储在配准记录172中的CoM信息可提供给PU 150，以便定位图1A和图1B的末端执行器140和/或夹持器系统146。机器人系统100可将末端执行器140和/或夹持器系统146放置在包裹112的CoM上放以抓持和提升包裹112，从而有助于在包裹112被从其在图1A的卸垛平台110上的位置夹持和提升时涉及平衡包裹夹持和水平包裹提升的操作。包裹112可被抓持、提升、运输至图1A的接收平台120并在接收平台120处释放。
图4A示出了根据本技术的一些实施方案的第二示例性包裹堆垛(例如，包裹112-31至112-54)的透视图。图4B示出了根据本技术的一些实施方案的包裹的第二示例堆垛的俯视图。图3B可对应于由图1A和图1B的图像系统160的传感器162捕获的俯视这些包裹的场景的图像和/或点云数据。仅用于说明而非限制性的，包裹112-33、112-43和112-51可表示包裹112的配准实例，每个实例具有包括在图1B的存储在图1B的RDS 170中的配准记录172的相应实例中的SI。仅为了讨论和简洁起见，包裹112是矩形形状的。
另外，包裹112-31、112-32、112-44和112-52至112-54可表示包裹112的未配准和/或错误处理/匹配的实例，其可能不对应于存储在图1B的RDS 170中的配准记录172。机器人系统100可使用表示这些未配准/不匹配的SI的捕获图像数据作为第一图像数据和可配准SI，如下所述。仅为了讨论和简洁起见，包裹112是矩形形状的，并且每个包裹具有由竖直、水平和/或交叉阴影线示出的SI。
图4C、4E、4G、4I和4L可示出在移除一个或多个包裹时的堆垛的俯视图。图4C示出了根据本技术的一些实施方案的已配准和未配准包裹的示例性符号。图4C示出了如图1B的显示单元164所示的矩形112-33a、112-43a和112-51a的符号。如上所述，包裹112的SI可由图1B的图像系统160捕获，并与图1B的存储在图1B的RDS170中的配准记录172的SI进行比较。如果配准，则机器人系统可分配和/或显示指示SI被配准的符号。如图所示，符号112-33a、112-43a和112-51a可包括由显示单元164显示的矩形轮廓。
如图4C所示，内部矩形112-61a至112-61d(包括端值在内)在外部矩形112-62a至112-62d(包括端值在内)内的组合可针对显示单元164上的包裹112-31、112-44和112-53的未配准SI显示为符号112-31a、112-44a和112-53a。在一些实施方案中，内部矩形112-61a至112-61d的大小和放置可与下面详细讨论的最小可行区域(MVR)重合。符号112-31a、112-44a和112-53a的存在可指示包裹112-31、112-44和112-53的SI不具有和/或不匹配配准记录172。在这种情况下，图像识别算法(例如，边缘识别算法)可用于确定形成角部的至少两个清晰边缘的存在。
图4D示出了根据本技术的一些实施方案的不清晰边缘和MVR的示例。图4D示出了未配准/不匹配包裹的分别形成角部112-31c、112-44c和112-53c的两个清晰边缘112-31b、112-44b和112-53b(例如，形成堆垛的外边缘/与堆垛的外边缘重合的边缘)。而且，两个不清晰边缘112-31d、112-44d和112-53d可通过PU 150识别/估计，以分别形成角部112-31e、112-44e和112-53e。在一些实施方案中，图4A的包裹112-31的两个不清晰边缘112-31d可通过假设它们分别从末端112-31ba和112-31bb以预先确定的角度(例如，垂直地)延伸直到在角部112-31e处相交来处理。类似地，包裹112-44的两个不清晰边缘112-44d可通过假设它们分别从末端112-44ba和112-44bb以预先确定的角度(例如，垂直地)延伸直到在角部112-44e处相交来处理。同样地，包裹112-53的两个不清晰边缘112-53d可通过假设它们分别从末端112-53ba和112-53bb以预先确定的角度(例如，垂直地)延伸直到在角部112-53e处相交来处理。在一些实施方案中，机器人系统100可根据与对应包裹相关联的深度测量、定位/位置、确定的姿势或其组合来选择或调整预先确定的角度。
另外，图4D中示出了示例性MVR 112-31f、112-44f和112-53f。在一些实施方案中，可针对包裹112的每个未配准实例计算MVR，该MVR可用于创建图1B的配准记录172。机器人系统100可根据其相应MVR来创建配准记录172。可计算MVR 112-31f，使得其侧面与两个清晰边缘112-31b或其部分共线。换句话说，MVR 112-31f的大小可小于包裹112-31的表面。在一些实施方案中，MVR 112-31f的大小可根据图2B所示的夹持器系统146的大小或与在包裹112被提升时抓持并安全地保持抓持的能力对应的其他特征来设定。在处理MVR时，机器人系统100可假设并使用包裹112的默认CoM。因此，使用默认CoM和计算出的大小，机器人系统100可计算MVR 112-31f，其防止包裹112的相关联操纵(例如，夹持、提升和/或运输)中的错误/失败。例如，当MVR太小时，夹持器系统146可能放错位置，并且当包裹112被提升时，夹持器系统146的持续抓持可能是不可能的。在一些实施方案中，MVR 112-31f的大小可设定为排除作为表面设计图案的一部分的直线和/或在SI中出现的标记，如由图像识别算法所确定的。在一些实施方案中，MVR 112-31f的大小可设定为排除对应于较低置信度度量的边缘。应当指出的是，尽管前面的讨论针对MVR 112-31f，但是用于计算MVR 112-31f的函数适用于本文讨论的任何MVR。
图4E示出了根据本技术的一些实施方案的已配准和未配准包裹的第二组示例性符号。图4E可表示在从图4C所示的堆垛移除/运输一个或多个包裹之后的包裹堆垛的状态。缺少图4C的符号112-33a可指示已经从图1A的卸垛平台110抓持、提升和运输的已配准包裹112-33。而且，机器人系统100可在显示单元164上生成/显示符号112-32a，从而指示新识别到形成图4B所示的包裹112-32的角部的两个清晰边缘(例如，现在暴露并且不再邻近任何邻接的边缘/包裹的边缘)。
图4F示出了根据本技术的一些实施方案的不清晰边缘和MVR的第二示例。图4F示出了形成角部112-32c的清晰边缘112-32b，其已经使用上述一个或多个过程识别。根据该识别，机器人系统100(例如，PU 150)可以上述方式估计两个不清晰边缘112-32d和对应角部112-32e，并且MVR 112-32f可以上面所讨论的方式计算。
图4G示出了根据本技术的一些实施方案的未配准包裹的第三组示例性符号。图4G可表示在从图4E所示的堆垛移除/运输一个或多个包裹之后包裹堆垛的状态。缺少图4C和图4E的符号112-43a和112-51a可指示已经从图1的卸垛平台110抓持、提升和运输的已配准包裹112-43和112-51。应当指出的是，虽然图4B的包裹112-52的右边缘和左边缘现在可被识别出(例如，当它们暴露并且不再邻近邻接的边缘/包裹时)，但是这些边缘彼此平行并且不相交以形成角部；因此，在一些实施方案中，显示单元164可能不显示对应于包裹112-52的符号的添加。
图4H示出了根据本技术的一些实施方案的夹持器系统(例如，夹持器系统146)在MVR(例如，图4D的MVR 112-44f)上方的示例性放置。构成图1A和图1B的末端执行器140的F-T传感器142和夹持器系统146可被定位成使得夹持器系统146放置在MVR 112-44f上方，而不会阻挡图1的图像系统160的传感器162观察图4D的不清晰边缘112-44d。然后，包裹112-44可被抓持并竖直提升一段提升检查距离到升高位置。例如，提升检查距离可表示足以供图1B和图2A的F-T传感器142捕获包裹112-44的一个或多个轴力和/或轴力矩的测量值的距离。例如，提升检查距离可表示大于零毫米的竖直距离或沿着z轴的距离。对于特定示例，提升检查距离可表示50毫米。
在一些实施方案中，参考笛卡尔坐标系，沿着一个或多个轴(即，F(x轴)、F(y轴)和/或F(z轴))的力测量值和/或围绕一个或多个轴(即，M(x轴)、M(y轴)和/或M(z轴))的力矩测量值可经由F-T传感器142捕获。通过应用CoM计算算法，包裹的重量可根据力测量值来计算，并且包裹的CoM可根据力测量值和力矩测量值来计算。这些测量值可添加到图1B的为包裹112-44创建的配准记录172的新实例。在一些实施方案中，如果计算的CoM落在MVR112-44f之外，则包裹112-44可从夹持器系统146释放。然后，夹持器系统146可定位在计算出的CoM上方，此时包裹112-44可被安全地夹持并再次提升到升高位置。
当处于升高位置时，机器人系统可重新成像所提升的包裹，以使先前不清晰的边缘变得清晰。表示112-44的部分SI的第二图像数据(即，整个SI的未被夹持器系统146阻挡的部分)可由图1A和图1B的图像系统160的传感器162捕获，以获得图4D的不清晰边缘112-44d的清晰边缘112-44g。在一些实施方案中，由第一点云数据组成的第一图像数据中表示的深度信息可与由第二点云数据组成的第二图像数据中表示的深度信息进行比较，以确定深度信息的变化，从深度信息的变化可确定清晰边缘和2D测量值。一旦获取，就可从第一图像数据的SI和第二图像数据的清晰边缘生成表示可配准SI的第三图像数据。从第二图像数据和第三图像数据的可配准SI确定的2D测量值现在可添加到为包裹112-44创建的配准记录172。对于另一示例，第三图像数据可表示图1A的机器人系统100的模板图像数据。从这里，由可配准SI、2D测量值以及包裹112-44的未配准实例的重量和CoM的测量值组成的配准记录172的新实例现在可存储在图1B的RDS 170中。机器人系统100可通过将包裹112的SI与模板图像数据进行比较来确定包裹112是否未配准。
图4I示出了根据本技术的一些实施方案的未配准包裹的第四组示例性符号。图4I可表示在从图4G所示的堆垛移除/运输一个或多个包裹之后包裹堆垛的状态。缺少图4C、图4E和图4G的符号112-44a可指示在建立了配准记录172的新实例之后，包裹112-44的先前未配准实例已从卸垛平台110运走。而且，机器人系统100可在显示单元164上生成/显示符号112-54a，从而指示新识别到形成图4B所示的包裹112-54的角部的两个清晰边缘(例如，在移除/运输先前相邻的包裹之后的新暴露边缘)。
图4J示出了用于新处理的包裹(例如，包裹112-54)的不清晰边缘和MVR的示例。图4J示出了形成角部112-54c的清晰边缘112-54b，其已经使用上述一个或多个过程识别。根据该识别，机器人系统100(例如，PU 150)可以上述方式估计两个不清晰边缘112-54d和对应角部112-54e，并且MVR 112-54f可以上面所讨论的方式计算。
图4K示出了根据本技术的一些实施方案的夹持器系统(例如，夹持器系统146)在图4F的MVR(例如，MVR 112-32f)上方的示例性放置。构成图1A和图1B的末端执行器140的F-T传感器142和夹持器系统146可被定位成使得夹持器系统146放置在MVR 112-32f上方，而不会阻挡图1的图像系统160的传感器162观察不清晰边缘112-32d。然后，在包裹112-32处于升高位置并且以上述方式的情况下，重量和CoM测量值可被确定并添加到为包裹112-32创建的配准记录172的新实例；表示包裹112-32的部分SI的第二图像数据可被捕获，从该第二图像数据可确定2D测量值和清晰边缘112-32g；并且表示可配准SI的第三图像数据可从第一图像数据的SI和第二图像数据的清晰边缘生成。从这里，由可配准SI、2D测量值以及包裹112-32的未配准实例的重量和CoM的测量值组成的配准记录172的新实例现在可存储在图1B的RDS 170中。
图4L示出了根据本技术的一些实施方案的未配准包裹的第五组示例性符号。图4L可表示在从图4I所示的堆垛移除/运输一个或多个包裹之后包裹堆垛的状态。缺少图4E、4G和4I的符号112-32a可指示在建立了配准记录172的新实例之后，包裹112-32的先前未配准实例已从卸垛平台110运走。而且，机器人系统100可在显示单元164上生成/显示符号112-52a，从而指示新识别到形成图4B所示的包裹112-52的角部的两个清晰边缘(例如，在移除/运输先前相邻的包裹之后的新暴露边缘)。
图4M示出了用于新处理的包裹(例如，包裹112-52)的不清晰边缘和MVR的示例。图4M示出了形成角部112-52c的清晰边缘112-52b，其已经使用上述一个或多个过程识别。根据该识别，机器人系统100(例如，PU 150)可以上述方式估计两个不清晰边缘112-52d和对应角部112-52e，并且MVR 112-52f可以上面所讨论的方式计算。
图4N示出了根据本技术的一些实施方案的夹持器系统(例如，夹持器系统146)在图4M的MVR(例如，MVR 112-52f)上方的示例性放置。构成图1A和图1B的末端执行器140的F-T传感器142和夹持器系统146可被定位成使得夹持器系统146放置在MVR 112-52f上方，而不会阻挡图1的图像系统160的传感器162观察不清晰边缘112-52d。然后，在包裹112-52处于升高位置并且以上述方式的情况下，重量和CoM测量值可被确定并添加到为包裹112-52创建的配准记录172的新实例；表示包裹112-52的部分SI的第二图像数据可被捕获，从该第二图像数据可确定2D测量值和清晰边缘112-52g；并且表示可配准SI的第三图像数据可从第一图像数据的SI和第二图像数据的清晰边缘生成。从这里，由可配准SI、2D测量值以及包裹112-52的未配准实例的重量和CoM的测量值组成的配准记录172的新实例现在可存储在图1B的RDS 170中。
图4O示出了根据本技术的一些实施方案的夹持器系统(例如，夹持器系统146)在图4J的MVR(例如，MVR 112-54f)上方的示例性放置。构成图1A和图1B的末端执行器140的F-T传感器142和夹持器系统146可被定位成使得夹持器系统146放置在MVR 112-54f上方，而不会阻挡图1的图像系统160的传感器162观察不清晰边缘112-54d。然后，在包裹112-54处于升高位置并且以上述方式的情况下，重量和CoM测量值可被确定并添加到为包裹112-54创建的配准记录172的新实例；表示包裹112-54的部分SI的第二图像数据可被捕获，从该第二图像数据可确定2D测量值和清晰边缘112-54g；并且表示可配准SI的第三图像数据可从第一图像数据的SI和第二图像数据的清晰边缘生成。从这里，由可配准SI、2D测量值以及包裹112-54的未配准实例的重量和CoM的测量值组成的配准记录172的新实例现在可存储在图1B的RDS 170中。
图4P示出了根据本技术的一些实施方案的夹持器系统(例如，夹持器系统146)在图4D的第二MVR(例如，MVR 112-31f)上方的示例性放置。构成图1A和图1B的末端执行器140的F-T传感器142和夹持器系统146可被定位成使得夹持器系统146放置在MVR 112-31f上方，而不会阻挡图1的图像系统160的传感器162观察不清晰边缘112-31d。然后，在包裹112-31处于升高位置并且以上述方式的情况下，重量和CoM测量值可被确定并添加到为包裹112-31创建的配准记录172的新实例；表示包裹112-31的部分SI的第二图像数据可被捕获，从该第二图像数据可确定2D测量值和清晰边缘112-31g；并且表示可配准SI的第三图像数据可从第一图像数据的SI和第二图像数据的清晰边缘生成。从这里，由可配准SI、2D测量值以及未配准包裹112-31的重量和CoM的测量值组成的配准记录172的新实例现在可存储在图1B的RDS 170中。
图4Q示出了根据本技术的一些实施方案的夹持器系统(例如，夹持器系统146)在图4D的第三MVR(例如，MVR 112-53)上方的示例性放置。构成图1A和图1B的末端执行器140的F-T传感器142和夹持器系统146可被定位成使得夹持器系统146放置在MVR 112-53f上方，而不会阻挡图1的图像系统160的传感器162观察不清晰边缘112-53d。然后，在包裹112-53处于升高位置并且以上述方式的情况下，重量和CoM测量值可被确定并添加到为包裹112-53创建的配准记录172的新实例；表示包裹112-53的部分SI的第二图像数据可被捕获，从该第二图像数据可确定2D测量值和清晰边缘112-53g；并且表示可配准SI的第三图像数据可从第一图像数据的SI和第二图像数据的清晰边缘生成。从这里，由可配准SI、2D测量值以及包裹112-53的未配准实例的重量和CoM的测量值组成的配准记录172的新实例现在可存储在图1B的RDS 170中。
图5示出了用于操作图1A的机器人系统100的示例性方法的控制流程200。控制流程200可包括在包裹处理操作期间配准未配准的包裹112，其中图1B的PU 150可被编程或配置有与控制流程200中体现的模块(例如，电路、功能、计算机/装置可执行指令或其组合)对应的指令。在一些实施方案中，PU 150可为图1B的机械臂系统130、图1B的末端执行器140、图1B的图像系统160、图1B的RDS170、独立控制器和/或适于执行任务的任何其他系统中找到的处理器或处理器的组合而且，PU 150可为模块的处理器，诸如但不限于具有一个或多个输入接口的印刷电路卡，以有助于PU 130的双向数据通信，即接收和提供数据。为了实现控制流程200中体现的以下模块，接收数据与获取和/或检索数据是同义的和/或可互换的，并且提供数据与供给或供应数据是同义的和/或可互换的。
机器人系统100可包括捕获模块202。捕获模块202捕获SI作为第一图像数据。例如，捕获模块202可利用图1B的传感器162捕获第一图像数据。更具体地，作为示例，捕获模块202可操作图像系统160和/或与图像系统160交互，以从图像系统160捕获和/或接收与如图3B和/或图4B所示的堆垛的顶视图对应的成像数据。捕获模块202可处理所得到的成像数据以捕获图1A的包裹112的顶表面作为第一图像数据。在一些实施方案中，捕获模块202可采用一个或多个图像识别算法(例如，上下文图像分类、模式识别和/或边缘检测)来分析成像数据并识别其中的包裹112的边缘和/或表面。基于处理结果(例如，所识别的边缘和/或连续表面)，捕获模块202可将成像数据的部分(例如，像素值和/或深度读数的集合)识别为表示各个包裹的顶表面。捕获模块202可将对应于一个或多个单个包裹的顶表面的第一图像数据传输到区域模块204。
机器人系统100可包括区域模块204，其可联接到捕获模块202。区域模块204计算MVR。例如，区域模块204可基于包裹112、图1B的配准记录172或其组合来计算MVR。
在一些实施方案中，捕获模块202可将接收的图像数据(例如，第一图像数据)与配准记录172进行比较。例如，捕获模块202可将第一图像数据和/或其任何处理结果(例如，从图像数据导出的尺寸/大小估计和/或视觉标记)与已知或先前遇到的包裹的现有描述/模板进行比较。基于该比较，区域模块204可确定第一图像数据是否与存储在配准记录172中的已知或先前遇到的包裹的对应信息匹配。
区域模块204可以多种方式计算MVR，包括例如基于包裹112是否被配准为配准记录172来计算MVR(例如，第一图像数据与配准记录172进行的比较是否返回匹配)。更具体地，作为示例，如果第一图像数据与配准记录172中的一个匹配(例如，包裹112被配准为配准记录172中的一个或多个)，则区域模块204可避免计算MVR。相反，区域模块204可在第一图像数据与任何配准记录172不匹配时计算MVR。例如，所捕获的第一图像数据可表示包裹112的未配准实例的顶表面。由于包裹112未配准，因此包裹112的边缘的一些实例可能不清晰。更具体地，作为示例，图4B的未配准包裹112-31包括图4D的不清晰边缘112-31d。区域模块204可识别一组清晰和/或不清晰的边缘。在一些实施方案中，区域模块204可识别清晰边缘(例如，形成堆垛的外围边缘/与堆垛的外围边缘重合并且不与任何其他包裹邻接的边缘)并将它们用作参考。因此，区域模块204可使用清晰边缘来确定如上所述的MVR(例如，根据夹持器系统146的大小/特性)。区域模块204可确定小于在第一图像数据中捕获的包裹112的表面的面积的MVR。
对于特定示例，包裹112-31的第一图像数据可包括图4D的两个清晰边缘112-31b。区域模块204可通过延伸两个清晰边缘112-31b和两个不清晰边缘112-31d使得两个清晰边缘112-31b与两个不清晰边缘112-31d相交来预测包裹112-31的表面区域的边界。区域模块204可通过确定MVR小于表面区域的边界来基于表面区域的边界计算MVR。在一些实施方案中，区域模块204可识别(例如，基于图像数据)包裹表面的彼此相交以形成第一角部的一对边缘(例如，清晰和/或不清晰边缘)。区域模块204可使用该对边缘来确定MVR，诸如通过经由使垂直于该对边缘的一对线朝向彼此延伸来估计不清晰边缘。因此，区域模块204可将相对的角部估计为该对不清晰/延伸的一对线的交点。区域模块204可从第一对边缘上与夹持器系统146的一个或多个大小/特征对应的点延伸不清晰/垂直线。
对于另一示例，出现在包裹112的SI上的设计图案和/或标记可包括直线。直线可能会被误认为是包裹112的表面的边缘。为了减少边缘的潜在错误识别，区域模块204可排除表面的具有直线的部分来计算MVR。更具体地，作为示例，区域模块204可计算小于包括直线的表面区域的边界的MVR。
对于不同的示例，区域模块204可基于包裹112的位置来计算MVR。例如，托盘可在图1A的卸垛平台110上包括一个以上的包裹112(已配准和/或未配准)，如图3A/图4B所示。从该组包裹中，区域模块204可基于包裹112的一个实例相对于包裹112的另一个实例的位置来计算MVR。如所讨论的，包裹112的配准实例的所有边缘都是已知的，诸如基于将包裹的暴露表面与配准数据积极匹配并使用先前存储的对应于配准数据的大小/尺寸度量。
相反，包裹112的未配准实例的一些边缘可能是未知的，诸如由于包裹112-52未配准。此外，未知包裹(例如，包裹112-52)可被其他包裹包围，诸如包裹112-31、112-32、112-33、112-43、112-44、112-51、112-53和/或112-54，如图4B所示。由于112-52的边缘是未知的，因此112-52的SI可与其他包裹112的表面图像重叠。
在一些情况下，根据配准记录172，周围包裹中的一个或多个(例如，包裹112-32)也可为未配准的/不匹配的，这可能引入关于包裹112-52的剩余/未知边缘的进一步不确定性。在包裹112-52与包裹112-32之间没有建立明确边界的情况下，包裹112-52的SI和包裹112-32的SI可彼此重叠。
相反，虽然包裹112-31也可为未配准/不匹配的，但是传感器162可检测包裹112-31相对于卸垛平台110和/或其他包裹的唯一位置/状态。例如，区域模块204可在包裹112-31的至少一个边缘不邻近/邻接另一个包裹112时确定包裹112-31满足预先确定的位置/状态。更具体地，作为示例，图4B的两个边缘112-31b和图4B的角部112-31c可在第一图像中清晰可见和/或对应于与周围/相邻水平位置处的那些不同(例如，位于上方)的深度测量(例如，对于连续表面)。而且，例如，区域模块204可确定包裹112-31和/或其外边缘对应于卸垛平台110的角部和/或外部部分。
因此，区域模块204可基于包裹112的边缘、角部或其组合的可见性来确定包裹112的未配准实例位于卸垛平台110的外周边处或附近。在一些实施方案中，区域模块204可进一步确定要沿着一个或多个水平方向暴露(例如，不与其他包裹相邻，诸如由于移除了先前相邻的包裹)的包裹112的未配准实例。区域模块204可优先计算包裹112的未配准实例的MVR，该未配准实例在其他未配准包裹上方暴露和/或在外部(例如，位于堆垛/层的水平内部部分处的未配准包裹112-52112)。
在一些实施方案中，区域模块204可优先计算具有更多数量边缘的包裹的MVR，这些边缘清晰可见和/或在具有更少此类边缘的包裹上方暴露。因此，机器人系统100可降低利用与另一包裹112重叠的SI抓取包裹的风险并减少对应的夹持/提升故障。对于4B所示的示例，区域模块204可在包裹112-32、112-54112-52之前确定包裹112-31、112-53和/或112-44的MVR。区域模块204可将MVR传输到提升模块206。
区域模块204可基于两个不清晰角部来计算MVR。更具体地，作为示例，两个不清晰角部可由至少三个不清晰边缘、两个清晰边缘和一个不清晰边缘，或者两个不清晰边缘和一个清晰边缘的组合组成。如上所述，区域模块204可通过延伸每个边缘以与另一个边缘相交以形成角部来预测包裹112的表面的边界。区域模块204可通过确定MVR小于由两个不清晰角部形成的边界基于由三个边缘/两个角部形成的表面区域的边界来计算MVR。
机器人系统100动态且实时地计算MVR在抓取包裹112的未配准实例时提供了改进的准确性和性能。通过计算MVR，机器人系统100可估计包裹112的表面区域(例如，对应的边缘/边界)，其中图4H的夹持器系统146可安全地抓取包裹112。结果，机器人系统100可在不停止工作流程的情况下将未配准包裹112传送到机器人系统100，以改善用于将包裹112卸垛的工作流程的性能。
机器人系统100可包括提升模块206，其可联接到区域模块204。提升模块206实现(例如，经由传递和/或执行)用于图1A的机械臂132提升包裹112的命令。例如，如上所述，提升模块206可操作机械臂132以将包裹112的未配准实例提升一段提升检查距离。更具体地，作为示例，机械臂132可通过利用夹持器系统146在包裹112的MVR内抓取来提升包裹112，其中不清晰边缘中的至少一个对于传感器162是可见的。换句话说，对于未配准/未识别的包裹，提升模块206可操作机械臂132以将夹持器系统146直接放置在MVR上/上方/接触MVR。因此，提升模块206可抓取和提升对应的包裹，同时使一个或多个不清晰边缘不被夹持器系统146覆盖并且暴露给传感器162/可由传感器162观察。
提升模块206可以多种方式操作。例如，提升模块206可执行提升命令，以使机械臂132在MVR内抓取包裹112，其中不清晰边缘对于传感器162是可见的。对于具体示例，如图4D所示，机械臂132可在图4D的112-44f内提升图4D的包裹112-44。包裹112-44的SI可包括两个清晰边缘112-44b和角部112-44c。包裹112-44的SI还可包括两个不清晰边缘112-44d。如图4H所示，机械臂132可通过抓取包裹112-44来提升包裹112-44，其中两个不清晰边缘112-44b对于传感器162是可见的。在不利用MVR的情况下，夹持器系统146可在阻止边缘被传感器162检测到的位置处抓取包裹。
对于不同的示例，提升模块206可确定包裹112的重量。更具体地，作为示例，提升模块206可使用图1B的F-T传感器142确定包裹112的未配准实例的重量。提升模块206可将包裹112的重量传输到配准模块212。
在一些实施方案中，捕获模块202可在提升之后和/或在通过在MVR上抓取而被提升时进一步捕获包裹112的未配准实例的SI作为第二图像数据。更具体地，作为示例，捕获模块202可基于被提升了提升检查距离的包裹112来捕获第二图像数据，以包括图4H的现在可见的两个清晰边缘112-44g。换句话说，提升模块206可通过提升包裹112来改善最初不清晰边缘的可见性和/或清晰度。因此，捕获模块202可捕获第二图像数据(例如，对于处于提升状态/位置的包裹112)，其清晰地识别/显示先前不清晰的边缘。捕获模块202可将第二图像数据传输到提取模块208。
机器人系统100可包括提取模块208，其可联接到提升模块206。提取模块208提取第三图像数据。例如，提取模块208可基于第一图像数据、第二图像数据或其组合来提取第三图像数据。
提取模块208可以多种方式提取第三图像数据。例如，提取模块208可基于比较第一图像数据和第二图像数据来确定图像差异。图像差异可表示包裹112的未配准实例的相同实例的第一图像数据和第二图像数据之间的差异。
更具体地，作为示例，第一图像数据可包括具有包裹112的设计图案和/或标记的SI。然而，由于包裹112未配准，包裹112的边缘可能不清晰或不能确定。因此，第一图像数据可包括包裹112的SI，其边缘不清晰或与另一包裹112的SI重叠。对于另一示例，第二图像数据可包括包裹112在被提升了提升检查距离之后的SI。更具体地，作为示例，第二图像数据可包括包裹112的SI，其中在包裹112被提升之后，先前不清晰的边缘(例如，边缘112-44b)变为清晰边缘(例如，边缘112-44g)。在包裹112被提升之后，不清晰边缘可变得清晰，因为包裹112变得与其他相邻包裹112分离(例如，处于更高的高度)。传感器162可区分不同的包裹112，因为被提升包裹112和相邻包裹112之间的距离或深度可与传感器162不同。
提取模块208可基于组合第一图像数据和第二图像数据之间的图像差异来提取第三图像数据。例如，包裹112-44的第一图像数据可包括设计图案和/或标记、两个清晰边缘112-44b、角部112-44c或其组合。对于另一示例，包裹112-44的第二图像数据可包括两个清晰边缘12-44g。提取模块208可通过包括设计图案和/或标记、两个清晰边缘112-44b、角部112-44c、两个清晰边缘112-44g或其组合来提取包裹112-44的第三图像数据。
对于另一示例，提取模块208可基于第三图像数据确定包裹112的长度、宽度或其组合。更具体地，作为示例，基于清晰边缘，提取模块208可确定包括长度、宽度或其组合的尺寸。提取模块208可将第三图像数据、长度、宽度或其组合传输到配准模块212。
动态且实时地提取第三图像数据提供了机器人系统100识别和抓取包裹112的未配准实例的改进的性能和准确性。通过提取第三图像数据，机器人系统100可识别包裹112的边缘以区别于另一包裹112。通过清晰地识别包裹112的边界/边缘，机器人系统100可高效地将夹持器系统146放置在包裹112上以牢固地抓取和传送包裹112。结果，机器人系统100可继续将未配准包裹112传送到机器人系统100，以改善用于将包裹112卸垛的工作流程的性能。
为了进行示意性的说明，提升模块206被描述为执行提升包裹112的命令，但是提升模块206可不同地操作。例如，提升模块206可基于提升包裹112来确定CoM。更具体地，作为示例，提升模块206可确定MVR内夹持器系统146夹持和提升包裹112的位置是否在包裹112的CoM之上。对于另一示例，提升模块206可确定CoM是否在表示为MVR的xy轴内。
提升模块206可以多种方式确定CoM。例如，提升模块206可利用F-T传感器142确定CoM，如上所述。对于另一示例，提升模块206可利用F-T传感器142、CoM算法或其组合来确定CoM是否在表示为MVR的表面区域之下。
使用F-T传感器142和CoM算法，提升模块206还可确定MVR内的位置/部分是否在包裹112与CoM重合或包括CoM的位置处接触夹持器或被夹持器覆盖。对于另一示例，如果原始夹持位置不在包裹112的CoM之上，则提升模块206可确定MVR内的新位置以供夹持器系统146夹持包裹112。更具体地，作为示例，提升模块206可使用上面讨论的CoM算法确定夹持的新位置相对于夹持的原始位置在CoM之上。例如，提升模块206可基于测量的扭矩和/或其方向来计算矢量方向。基于扭矩，提升模块206可估计向下力相对于F-T传感器142和/或夹持器系统146的位置/方向。而且，提升模块206可基于所测量扭矩的量值、所提升包裹112的测量的重量、夹持位置和包裹边界/边缘之间的关系或其组合来计算距离。提升模块206可检查要夹持的新位置(例如，矢量方向和距离)是否在MVR内。如果新位置在CoM之上，则提升模块206可验证包裹112的CoM被正确确定。
如果提升模块206确定MVR内的夹持的位置不是CoM，则提升模块206可执行命令以将包裹112放下或降低到夹持器系统146已经提升包裹112的位置。此外，提升模块206可执行命令，以使夹持器系统146在MVR内的新位置处抓取包裹112(例如，通过降低和释放包裹112、重新定位夹持器系统146，然后重新夹持包裹112)并且使机械臂132将包裹112提升一段提升检查距离。对于另外的示例，夹持器系统146可在MVR内的新位置处抓取，而不阻挡传感器162检测包裹112的不清晰边缘。提升模块206可传输配准模块212。
机器人系统100动态且实时地确定包裹112的CoM提供了机器人系统100传送包裹112的未配准实例的改进性能。通过准确地识别未配准/未识别包裹的CoM，夹持器系统146抓取包裹112的稳定性得到改善。结果，机器人系统100可继续将未配准包裹112传送到机器人系统100，以改善用于将包裹112卸垛的工作流程的性能。
为了进行示意性的说明，捕获模块202被描述为捕获第一图像数据、第二图像数据或其组合，但捕获模块202可不同地操作。例如，如上所述，在正确确定CoM之后，捕获模块202可捕获表示包裹112的SI的重新夹持的图像数据。更具体地，作为示例，机械臂132可在夹持器系统146在MVR内的新位置处抓取包裹112之后提升包裹112。捕获模块202可捕获表示在MVR内且在CoM上方的新位置处夹持的包裹112的SI的重新夹持的图像数据。捕获模块202可将重新夹持的图像数据传输到提取模块208。
为了进行示意性的说明，提取模块208被描述为基于第一图像数据、第二图像数据或其组合来提取第三图像数据，但是提取模块208可不同地操作。例如，提取模块208可基于第一图像数据、重新夹持的图像数据或其组合来提取第三图像数据，类似于上面针对提取模块208基于第一图像数据、第二图像数据或其组合提取第三图像数据所描述的。如上所述，提取模块208可确定包括包裹112的长度、宽度或其组合的尺寸。提取模块208可将第三图像数据、长度、宽度或其组合传输到配准模块212。
机器人系统100可包括传送模块210，其可联接到提取模块208。传送模块210执行命令以将包裹112传送到图1A的接收平台120。例如，传送模块210可执行命令，以使机械臂132将包裹112的已配准或未配准的实例传送到接收平台120。
传送模块210可以多种方式执行命令。例如，传送模块210可基于包裹112的配准状态执行命令以传送包裹112。更具体地，作为示例，如果存在包裹112的配准记录172，则传送模块210可执行命令，以使抓取包裹112的配准实例的机械臂132传送包裹112以放置在接收平台120上。
对于不同的示例，如果配准记录172不存在，则将如上所述提取包裹112的第三图像数据。此外，传送模块210可执行命令，以使抓取包裹112的未配准实例的机械臂132将包裹112传送到接收平台120。对于另一示例，当机械臂132将包裹112降低到接收平台120时，包裹112的底部范围可触发图1A的HDS 180。
HDS 180相对于地板的高度可被预定义，因为接收平台120的高度可被预定义。传送模块210可基于包裹112的底部穿过HDS 180的时间和夹持器系统146的高度来确定包裹112的高度。更具体地，作为示例，传送模块210可基于接收到信号(即，表示包裹112穿过HDS180)时夹持器系统146的位置或高度与HDS 180的预定义高度之间的距离/差异来确定包裹112的高度。传送模块210可将包裹112的高度传输到配准模块212。
机器人系统100动态且实时地确定包裹112的未配准实例的高度提供了机器人系统100将包裹112卸垛的改进性能。通过确定未配准/未识别包裹的高度，机器人系统100可准确地识别包裹112的属性以安全地抓取包裹。结果，机器人系统100可连续地传送相同类型的包裹112以改善用于将包裹112卸垛的工作流程的性能。
机器人系统100可包括配准模块212，其可联接到传送模块210。配准模块212配准包裹112的属性。例如，配准模块212可配准(例如，通过捆绑或存储在一起)包裹112的未配准实例的第三图像数据、长度、宽度、高度、重量、CoM或其组合。更具体地，作为示例，配准模块212可生成配准记录172，以将包裹112的未配准实例转换为包裹112的配准实例。
应当指出的是，上述方法的步骤可在存储在非暂态计算机可读介质中的计算机可读介质中作为计算机指令代码来实现。该方法可包括本文所述的一个或多个步骤，该一个或多个步骤可以任何期望的顺序执行，包括彼此同时执行。例如，本文公开的两个或更多个步骤可在单个步骤中组合和/或一个或多个步骤可作为两个或更多个子步骤来执行。此外，本文中未明确公开或固有存在的步骤可穿插或添加到本文所述的步骤中，或者可代替本文所述的一个或多个步骤，如获益于本公开的本领域普通技术人员将理解的。
其他示例：
示例1：一种用于在机器人包裹处理操作期间配准包裹的方法，所述方法包括：
接收表示包裹表面的第一表面图像的第一图像数据；
基于将所述第一表面图像与配准记录进行比较来确定所述包裹未配准；
基于所述第一图像数据识别所述包裹表面的一对边缘，其中所述一对边缘沿着水平方向暴露并且彼此相交以形成所述包裹表面的角部；
基于所述一对边缘确定最小可行区域，其中所述最小可行区域与所述一对边缘中的一个或两个重叠和/或重合；
生成一个或多个命令，以用于(1)利用定位在所述最小可行区域上方的末端执行器夹持所述包裹，以及(2)提升所述包裹；
接收表示所述提升后的所述包裹的第二图像数据；
根据所述第一图像数据和所述第二图像数据确定第三图像数据；以及
基于所述第三图像数据创建表示所述包裹的新配准记录的配准数据，以用于随后识别其他包裹。
示例2：以上示例1中，其还包括：
基于所述第一图像数据估计不清晰边缘，其中所述一对边缘和所述不清晰边缘对应于所述包裹表面的边界；并且
其中：
所述最小可行区域不与所述不清晰边缘重叠，以便夹持所述包裹，同时使所述包裹的暴露部分对应于所述估计的不清晰边缘。
示例3：以上任一示例中，其还包括：
基于所述第二图像数据识别一个或多个新边缘，其中所述新边缘表示所述包裹的对应于所述估计的不清晰边缘的实际暴露边缘；并且
其中：
所述第三图像数据包括所述一个或多个新边缘。
示例4：以上任一示例中，其中识别所述一个或多个新边缘包括基于在提升所述包裹之后测量的深度数据的差异来识别所述一个或多个新边缘。
示例5：以上任一示例中，其中确定所述第三图像数据包括：
计算所述第一图像数据和所述第二图像数据之间的差异；以及
将所述第一图像数据与所述计算的差异组合。
示例6：以上任一示例中，其还包括：
基于所述第一图像数据识别直线；
其中：
所述最小可行区域是排除所述直线的连续区域。
示例7：以上任一示例中，其还包括：
计算表示所述包裹沿着竖直方向的尺寸的高度；并且
其中：
所述配准数据包括所述计算的高度。
示例8：以上任一示例中，其中计算所述高度包括：
检测触发器，所述触发器表示所述包裹穿过与位于已知高度处的高度确定传感器相关联的水平检测平面时的时间；
确定与所述触发器相关联的竖直位置，其中所述竖直位置表示所述末端执行器在所述包裹穿过所述水平检测平面时的所述时间的竖直位置；以及
基于所述已知高度和所述竖直位置之间的差异来计算所述高度。
示例9：以上任一示例中，其还包括：
在提升所述包裹之后接收数据，其中所述数据表示来自连接到所述末端执行器或与所述末端执行器成一体的F-T传感器的力测量值；
基于所述接收的数据确定所述包裹的重量；并且
其中：
所述配准数据包括所述确定的重量。
示例10：以上任一示例中，其还包括：
在提升所述包裹之后接收数据，其中所述数据表示来自连接到所述末端执行器或与所述末端执行器成一体的F-T传感器的扭矩测量值；
基于所述接收的数据确定所述包裹的质心位置；并且
其中：
所述配准数据包括所述质心位置。
示例11：一种用于在机器人包裹处理操作期间配准未配准包裹的系统，所述系统包括：
至少一个处理器；和
至少一个存储器，所述至少一个存储器联接到所述至少一个处理器，所述存储器包括指令，所述指令能够由所述至少一个处理器执行以：
接收表示包裹表面的第一表面图像的第一图像数据；
基于将所述第一表面图像与配准记录进行比较来确定所述包裹未配准；
基于所述第一图像数据识别所述包裹表面的一对边缘，其中所述一对边缘沿着水平方向暴露并且彼此相交以形成所述包裹表面的角部；
基于所述一对边缘确定最小可行区域，其中所述最小可行区域与所述一对边缘中的一个或两个重叠和/或重合；
生成一个或多个命令，以用于(1)利用定位在所述最小可行区域上方的末端执行器夹持所述包裹，以及(2)提升所述包裹；
接收所述包裹的第二图像数据，其中所述第二图像数据表示所述提升后的所述包裹；
根据所述第一图像数据和所述第二图像数据确定第三图像数据；以及
基于所述第三图像数据创建表示所述包裹的新配准记录的配准数据，以用于随后识别其他包裹。
示例12：以上示例11中，其中所述至少一个存储器包括指令，所述指令用于：
基于所述第一图像数据估计不清晰边缘，其中所述一对边缘和所述不清晰边缘对应于所述包裹表面的边界；并且
其中：
所述最小可行区域不与所述不清晰边缘重叠，以便夹持所述包裹，同时使所述包裹的暴露部分对应于所述估计的不清晰边缘。
示例13：以上示例11-12中，其中所述至少一个存储器包括指令，所述指令用于：
基于所述第二图像数据识别一个或多个新边缘，其中所述新边缘表示所述包裹的对应于所述估计的不清晰边缘的实际暴露边缘；并且
其中：
所述第三图像数据包括所述一个或多个新边缘。
示例14：以上示例11-13中，其中所述至少一个存储器包括用于基于在提升所述包裹之后测量的深度数据的差异来识别所述一个或多个新边缘的指令。
示例15：以上示例11-14中，其中所述至少一个存储器包括指令，所述指令用于基于以下各项确定所述第三图像数据：
计算所述第一图像数据和所述第二图像数据之间的差异；以及
将所述第一图像数据与所述计算的差异组合。
示例16：一种存储计算机可执行指令的非暂态存储介质，所述指令在由计算系统执行时使所述计算系统执行计算机实现的方法，所述指令包括：
用于接收表示包裹表面的第一表面图像的第一图像数据的指令；
用于基于将所述第一表面图像与配准记录进行比较来确定所述包裹未配准的指令；
用于基于所述第一图像数据识别所述包裹表面的一对边缘的指令，其中所述一对边缘沿着水平方向暴露并且相交以形成所述包裹表面的角部；
用于基于所述一对边缘确定最小可行区域的指令，其中所述最小可行区域与所述一对边缘中的一个或两个重叠和/或重合；
用于生成一个或多个命令的指令，所述命令用于(1)利用定位在所述最小可行区域上方的末端执行器夹持所述包裹，以及(2)提升所述包裹；
用于接收所述包裹的第二图像数据的指令，其中所述第二图像数据表示所述提升后的所述包裹；
用于根据所述第一图像数据和所述第二图像数据确定第三图像数据的指令；和
用于基于所述第三图像数据创建表示所述包裹的新配准记录的配准数据以用于随后识别其他包裹的指令。
示例17：以上示例16中，其中所述指令还包括：
用于基于所述第一图像数据估计不清晰边缘的指令，其中所述一对边缘和所述不清晰边缘对应于所述包裹表面的边界；并且
其中：
所述最小可行区域不与所述不清晰边缘重叠，以便夹持所述包裹，同时使所述包裹的暴露部分对应于所述估计的不清晰边缘。
示例18：以上示例16-17中，其中所述指令还包括：
用于基于所述第二图像数据识别一个或多个新边缘的指令，其中所述新边缘表示所述包裹的对应于所述估计的不清晰边缘的实际暴露边缘；并且
其中：
所述第三图像数据包括所述一个或多个新边缘。
示例19：以上示例16-18中，其中用于识别所述一个或多个新边缘的所述指令包括用于基于在提升所述包裹之后测量的深度数据的差异来识别所述一个或多个新边缘的指令。
示例20：以上示例11-15中，其中用于确定所述第三图像数据的所述指令包括用于执行以下操作的指令：
计算所述第一图像数据和所述第二图像数据之间的差异；以及
将所述第一图像数据与所述计算的差异组合。
示例21：一种用于在机器人包裹处理操作期间配准包裹的方法，所述方法包括：
接收表示包裹表面的第一表面图像的第一图像数据；
基于将所述第一表面图像与配准记录进行比较来确定所述包裹未配准；
基于所述第一图像数据识别所述包裹表面的一对边缘，其中所述一对边缘沿着水平方向暴露并且彼此相交以形成所述包裹表面的角部；
基于所述一对边缘确定最小可行区域，其中所述最小可行区域与所述一对边缘中的一个或两个重叠和/或重合；
生成一个或多个命令，以用于(1)利用定位在所述最小可行区域上方的末端执行器夹持所述包裹，以及(2)提升所述包裹；
接收表示所述提升后的所述包裹的第二图像数据；
根据所述第一图像数据和所述第二图像数据确定第三图像数据；
基于所述第三图像数据创建表示所述包裹的新配准记录的配准数据，以用于随后识别其他包裹；以及
基于所述第一图像数据估计不清晰边缘，其中所述一对边缘和所述不清晰边缘对应于所述包裹表面的边界；
其中：
所述最小可行区域不与所述不清晰边缘重叠，以便夹持所述包裹，同时使所述包裹的暴露部分对应于所述估计的不清晰边缘。
示例22：以上示例21中，其还包括：
基于所述第二图像数据识别一个或多个新边缘，其中所述新边缘表示所述包裹的对应于所述估计的不清晰边缘的实际暴露边缘；并且
其中：
所述第三图像数据包括所述一个或多个新边缘。
示例23：以上示例21-22中，其中识别所述一个或多个新边缘包括基于在提升所述包裹之后测量的深度数据的差异来识别所述一个或多个新边缘。
示例24：以上示例21-23中，其中确定所述第三图像数据包括：
计算所述第一图像数据和所述第二图像数据之间的差异；以及
将所述第一图像数据与所述计算的差异组合。
示例25：以上示例21-24中，其还包括：
基于所述第一图像数据识别直线；
其中：
所述最小可行区域是排除所述直线的连续区域。
示例26：以上示例21-25中，其还包括：
计算表示所述包裹沿着竖直方向的尺寸的高度；并且
其中：
所述配准数据包括所述计算的高度。
示例27：以上示例21-26中，其中计算所述高度包括：
检测触发器，所述触发器表示所述包裹穿过与位于已知高度处的高度确定传感器相关联的水平检测平面时的时间；
确定与所述触发器相关联的竖直位置，其中所述竖直位置表示所述末端执行器在所述包裹穿过所述水平检测平面时的所述时间的竖直位置；以及
基于所述已知高度和所述竖直位置之间的差异来计算所述高度。
示例28：以上示例21-27中，其还包括：
在提升所述包裹之后接收数据，其中所述数据表示来自连接到所述末端执行器或与所述末端执行器成一体的F-T传感器的力测量值；
基于所述接收的数据确定所述包裹的重量；并且
其中：
所述配准数据包括所述确定的重量。
示例29：以上示例21-28中，其还包括：
在提升所述包裹之后接收数据，其中所述数据表示来自连接到所述末端执行器或与所述末端执行器成一体的F-T传感器的扭矩测量值；
基于所述接收的数据确定所述包裹的质心位置；并且
其中：
所述配准数据包括所述质心位置。
示例30：一种用于在机器人包裹处理操作期间配准未配准包裹的系统，所述系统包括：
至少一个处理器；和
至少一个存储器，所述至少一个存储器联接到所述至少一个处理器，所述存储器包括指令，所述指令能够由所述至少一个处理器执行以：
接收表示包裹表面的第一表面图像的第一图像数据；
基于将所述第一表面图像与配准记录进行比较来确定所述包裹未配准；
基于所述第一图像数据识别所述包裹表面的一对边缘，其中所述一对边缘沿着水平方向暴露并且彼此相交以形成所述包裹表面的角部；
基于所述一对边缘确定最小可行区域，其中所述最小可行区域与所述一对边缘中的一个或两个重叠和/或重合；
生成一个或多个命令，以用于(1)利用定位在所述最小可行区域上方的末端执行器夹持所述包裹，以及(2)提升所述包裹；
接收所述包裹的第二图像数据，其中所述第二图像数据表示所述提升后的所述包裹；
根据所述第一图像数据和所述第二图像数据确定第三图像数据；以及
基于所述第三图像数据创建表示所述包裹的新配准记录的配准数据，以用于随后识别其他包裹；以及
基于所述第一图像数据估计不清晰边缘，其中所述一对边缘和所述不清晰边缘对应于所述包裹表面的边界；
其中：
所述最小可行区域不与所述不清晰边缘重叠，以便夹持所述包裹，同时使所述包裹的暴露部分对应于所述估计的不清晰边缘。
示例31：以上示例30中，其中所述至少一个存储器包括指令，所述指令用于：
基于所述第二图像数据识别一个或多个新边缘，其中所述新边缘表示所述包裹的对应于所述估计的不清晰边缘的实际暴露边缘；并且
其中：
所述第三图像数据包括所述一个或多个新边缘。
示例32：以上示例30-31中，其中所述至少一个存储器包括用于基于在提升所述包裹之后测量的深度数据的差异来识别所述一个或多个新边缘的指令。
示例33：以上示例30-32中，其中所述至少一个存储器包括指令，所述指令用于基于以下各项确定所述第三图像数据：
计算所述第一图像数据和所述第二图像数据之间的差异；以及
将所述第一图像数据与所述计算的差异组合。
示例34：一种存储计算机可执行指令的非暂态存储介质，所述指令在由计算系统执行时使所述计算系统执行计算机实现的方法，所述指令包括：
用于接收表示包裹表面的第一表面图像的第一图像数据的指令；
用于基于将所述第一表面图像与配准记录进行比较来确定所述包裹未配准的指令；
用于基于所述第一图像数据识别所述包裹表面的一对边缘的指令，其中所述一对边缘沿着水平方向暴露并且相交以形成所述包裹表面的角部；
用于基于所述一对边缘确定最小可行区域的指令，其中所述最小可行区域与所述一对边缘中的一个或两个重叠和/或重合；
用于生成一个或多个命令的指令，所述命令用于(1)利用定位在所述最小可行区域上方的末端执行器夹持所述包裹，以及(2)提升所述包裹；
用于接收所述包裹的第二图像数据的指令，其中所述第二图像数据表示所述提升后的所述包裹；
用于根据所述第一图像数据和所述第二图像数据确定第三图像数据的指令；
用于基于所述第三图像数据创建表示所述包裹的新配准记录的配准数据以用于随后识别其他包裹的指令；以及
用于基于所述第一图像数据估计不清晰边缘的指令，其中所述一对边缘和所述不清晰边缘对应于所述包裹表面的边界；
其中：
所述最小可行区域不与所述不清晰边缘重叠，以便夹持所述包裹，同时使所述包裹的暴露部分对应于所述估计的不清晰边缘。
示例35：以上示例34中，其中所述指令还包括：
用于基于所述第二图像数据识别一个或多个新边缘的指令，其中所述新边缘表示所述包裹的对应于所述估计的不清晰边缘的实际暴露边缘；并且
其中：
所述第三图像数据包括所述一个或多个新边缘。
示例36：以上示例34-35中，其中用于识别所述一个或多个新边缘的所述指令包括用于基于在提升所述包裹之后测量的深度数据的差异来识别所述一个或多个新边缘的指令。
示例37：以上示例30-33中，其中用于确定所述第三图像数据的所述指令包括用于执行以下操作的指令：
计算所述第一图像数据和所述第二图像数据之间的差异；以及
将所述第一图像数据与所述计算的差异组合。
以上对所公开技术的示例的详细描述并非旨在穷举或将所公开的技术限制为上面公开的精确形式。虽然上文出于说明目的描述了所公开技术的具体示例，但是在所公开技术的范围内，各种等同形式的修改是可能的，如相关领域技术人员将认识到的。例如，虽然过程或模块以给定顺序呈现，但是替代实现方式可以不同顺序执行具有步骤的例程或者使用具有模块的系统，并且一些过程或模块可被删除、移动、添加、细分、组合和/或修改以提供替代或子组合。这些过程或模块中的每一个可以各种不同的方式实现。而且，虽然有时将过程或模块示出为串行执行，但是这些过程或模块可替代地并行执行或实现，或者可在不同时间执行。此外，本文提到的任何具体数字仅是示例；替代实现方式可采用不同的值或范围。
如本文所用，术语“实施方案”意指用于举例说明而非限制的实施方案。本领域技术人员将理解，前述示例和实施方案是示例性的而不限制本文公开的发明构思的广泛范围。对于本领域技术人员来说在阅读说明书和研究附图之后显而易见的所有修改、置换、增强、等同物和改进都应包括在本文公开的发明构思的广泛范围内。因此，以下所附权利要求旨在包括落入本文公开的发明构思的广泛范围内的所有此类修改、置换、增强、等同物和改进。

Claims (20)

1.一种用于在机器人包裹处理操作期间配准包裹的方法，所述方法包括：
接收表示包裹表面的第一表面图像的第一图像数据；
基于将所述第一表面图像与配准记录进行比较来确定所述包裹未配准；
基于所述第一图像数据识别所述包裹表面的一对边缘，其中所述一对边缘沿着水平方向暴露并且彼此相交以形成所述包裹表面的角部；
基于所述一对边缘确定最小可行区域，其中所述最小可行区域与所述一对边缘中的一个或两个重叠和/或重合；
生成一个或多个命令，以用于(1)利用定位在所述最小可行区域上方的末端执行器夹持所述包裹，以及(2)提升所述包裹；
接收表示所述提升后的所述包裹的第二图像数据；
根据所述第一图像数据和所述第二图像数据确定第三图像数据；以及
基于所述第三图像数据创建表示所述包裹的新配准记录的配准数据，以用于随后识别其他包裹。
2.如权利要求1所述的方法，其还包括：
基于所述第一图像数据估计不清晰边缘，其中所述一对边缘和所述不清晰边缘对应于所述包裹表面的边界；并且
其中：
所述最小可行区域不与所述不清晰边缘重叠，以便夹持所述包裹，同时使所述包裹的暴露部分对应于所述估计的不清晰边缘。
3.如权利要求2所述的方法，其还包括：
基于所述第二图像数据识别一个或多个新边缘，其中所述新边缘表示所述包裹的对应于所述估计的不清晰边缘的实际暴露边缘；并且
其中：
所述第三图像数据包括所述一个或多个新边缘。
4.如权利要求3所述的方法，其中识别所述一个或多个新边缘包括基于在提升所述包裹之后测量的深度数据的差异来识别所述一个或多个新边缘。
5.如权利要求1所述的方法，其中确定所述第三图像数据包括：
计算所述第一图像数据和所述第二图像数据之间的差异；以及
将所述第一图像数据与所述计算的差异组合。
6.如权利要求1所述的方法，其还包括：
基于所述第一图像数据识别直线；
其中：
所述最小可行区域是排除所述直线的连续区域。
7.如权利要求1所述的方法，其还包括：
计算表示所述包裹沿着竖直方向的尺寸的高度；并且
其中：
所述配准数据包括所述计算的高度。
8.如权利要求7所述的方法，其中计算所述高度包括：
检测触发器，所述触发器表示所述包裹穿过与位于已知高度处的高度确定传感器相关联的水平检测平面时的时间；
确定与所述触发器相关联的竖直位置，其中所述竖直位置表示所述末端执行器在所述包裹穿过所述水平检测平面时的所述时间的竖直位置；以及
基于所述已知高度和所述竖直位置之间的差异来计算所述高度。
9.如权利要求1所述的方法，其还包括：
在提升所述包裹之后接收数据，其中所述数据表示来自连接到所述末端执行器或与所述末端执行器成一体的F-T传感器的力测量值；
基于所述接收的数据确定所述包裹的重量；并且
其中：
所述配准数据包括所述确定的重量。
10.如权利要求1所述的方法，其还包括：
在提升所述包裹之后接收数据，其中所述数据表示来自连接到所述末端执行器或与所述末端执行器成一体的F-T传感器的扭矩测量值；
基于所述接收的数据确定所述包裹的质心位置；并且
其中：
所述配准数据包括所述质心位置。
11.一种用于在机器人包裹处理操作期间配准未配准包裹的系统，所述系统包括：
至少一个处理器；和
至少一个存储器，所述至少一个存储器联接到所述至少一个处理器，所述存储器包括指令，所述指令能够由所述至少一个处理器执行以：
接收表示包裹表面的第一表面图像的第一图像数据；
基于将所述第一表面图像与配准记录进行比较来确定所述包裹未配准；
基于所述第一图像数据识别所述包裹表面的一对边缘，其中所述一对边缘沿着水平方向暴露并且彼此相交以形成所述包裹表面的角部；
基于所述一对边缘确定最小可行区域，其中所述最小可行区域与所述一对边缘中的一个或两个重叠和/或重合；
生成一个或多个命令，以用于(1)利用定位在所述最小可行区域上方的末端执行器夹持所述包裹，以及(2)提升所述包裹；
接收所述包裹的第二图像数据，其中所述第二图像数据表示所述提升后的所述包裹；
根据所述第一图像数据和所述第二图像数据确定第三图像数据；以及
基于所述第三图像数据创建表示所述包裹的新配准记录的配准数据，以用于随后识别其他包裹。
12.如权利要求11所述的系统，其中所述至少一个存储器包括指令，所述指令用于：
基于所述第一图像数据估计不清晰边缘，其中所述一对边缘和所述不清晰边缘对应于所述包裹表面的边界；并且
其中：
所述最小可行区域不与所述不清晰边缘重叠，以便夹持所述包裹，同时使所述包裹的暴露部分对应于所述估计的不清晰边缘。
13.如权利要求12所述的系统，其中所述至少一个存储器包括指令，所述指令用于：
基于所述第二图像数据识别一个或多个新边缘，其中所述新边缘表示所述包裹的对应于所述估计的不清晰边缘的实际暴露边缘；并且
其中：
所述第三图像数据包括所述一个或多个新边缘。
14.如权利要求13所述的装置，其中所述至少一个存储器包括用于基于在提升所述包裹之后测量的深度数据的差异来识别所述一个或多个新边缘的指令。
15.如权利要求11所述的装置，其中所述至少一个存储器包括指令，所述指令用于基于以下各项确定所述第三图像数据：
计算所述第一图像数据和所述第二图像数据之间的差异；以及
将所述第一图像数据与所述计算的差异组合。
16.一种存储计算机可执行指令的非暂态存储介质，所述指令在由计算系统执行时使所述计算系统执行计算机实现的方法，所述指令包括：
用于接收表示包裹表面的第一表面图像的第一图像数据的指令；
用于基于将所述第一表面图像与配准记录进行比较来确定所述包裹未配准的指令；
用于基于所述第一图像数据识别所述包裹表面的一对边缘的指令，其中所述一对边缘沿着水平方向暴露并且相交以形成所述包裹表面的角部；
用于基于所述一对边缘确定最小可行区域的指令，其中所述最小可行区域与所述一对边缘中的一个或两个重叠和/或重合；
用于生成一个或多个命令的指令，所述命令用于(1)利用定位在所述最小可行区域上方的末端执行器夹持所述包裹，以及(2)提升所述包裹；
用于接收所述包裹的第二图像数据的指令，其中所述第二图像数据表示所述提升后的所述包裹；
用于根据所述第一图像数据和所述第二图像数据确定第三图像数据的指令；和
用于基于所述第三图像数据创建表示所述包裹的新配准记录的配准数据以用于随后识别其他包裹的指令。
17.如权利要求16所述的非暂态存储介质，其中所述指令还包括：
用于基于所述第一图像数据估计不清晰边缘的指令，其中所述一对边缘和所述不清晰边缘对应于所述包裹表面的边界；并且
其中：
所述最小可行区域不与所述不清晰边缘重叠，以便夹持所述包裹，同时使所述包裹的暴露部分对应于所述估计的不清晰边缘。
18.如权利要求17所述的非暂态存储介质，其中所述指令还包括：
用于基于所述第二图像数据识别一个或多个新边缘的指令，其中所述新边缘表示所述包裹的对应于所述估计的不清晰边缘的实际暴露边缘；并且
其中：
所述第三图像数据包括所述一个或多个新边缘。
19.如权利要求18所述的非暂态存储介质，其中用于识别所述一个或多个新边缘的所述指令包括用于基于在提升所述包裹之后测量的深度数据的差异来识别所述一个或多个新边缘的指令。
20.如权利要求11所述的系统，其中用于确定所述第三图像数据的所述指令包括用于执行以下操作的指令：
计算所述第一图像数据和所述第二图像数据之间的差异；以及
将所述第一图像数据与所述计算的差异组合。
CN201910582988.XA 2018-10-30 2019-06-28 自动包裹配准系统、装置和方法 Pending CN111113492A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910597137.2A CN110405810B (zh) 2018-10-30 2019-06-28 自动包裹配准系统、装置和方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862752756P 2018-10-30 2018-10-30
US62/752,756 2018-10-30
US16/290,741 2019-03-01
US16/290,741 US10369701B1 (en) 2018-10-30 2019-03-01 Automated package registration systems, devices, and methods
US201962852963P 2019-05-24 2019-05-24
US62/852,963 2019-05-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910597137.2A Division CN110405810B (zh) 2018-10-30 2019-06-28 自动包裹配准系统、装置和方法

Publications (1)

Publication Number Publication Date
CN111113492A true CN111113492A (zh) 2020-05-08

Family

ID=70327497

Family Applications (11)

Application Number Title Priority Date Filing Date
CN201910582988.XA Pending CN111113492A (zh) 2018-10-30 2019-06-28 自动包裹配准系统、装置和方法
CN202010482376.6A Active CN111776759B (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构的机器人系统及其操作方法
CN201980005659.7A Pending CN111566027A (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构的机器人系统及其操作方法
CN202010539927.8A Active CN111861306B (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和自动检测流水线的机器人系统
CN201980005938.3A Pending CN111566028A (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和自动检测流水线的机器人系统
CN202010539908.5A Active CN111861305B (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和最小可行区域检测的机器人系统
CN201980005658.2A Pending CN111601761A (zh) 2018-10-30 2019-10-29 具有自动化包裹扫描和登记机构的机器人系统及其操作方法
CN201980003163.6A Pending CN111629868A (zh) 2018-10-30 2019-10-29 具有自动化物体检测机构的机器人系统及其操作方法
CN202010416747.0A Active CN111633633B (zh) 2018-10-30 2019-10-29 具有自动化物体检测机构的机器人系统及其操作方法
CN201980005929.4A Pending CN111491878A (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和最小可行区域检测的机器人系统
CN202010482364.3A Active CN111776762B (zh) 2018-10-30 2019-10-29 具有自动化包裹扫描和登记机构的机器人系统及其操作方法

Family Applications After (10)

Application Number Title Priority Date Filing Date
CN202010482376.6A Active CN111776759B (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构的机器人系统及其操作方法
CN201980005659.7A Pending CN111566027A (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构的机器人系统及其操作方法
CN202010539927.8A Active CN111861306B (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和自动检测流水线的机器人系统
CN201980005938.3A Pending CN111566028A (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和自动检测流水线的机器人系统
CN202010539908.5A Active CN111861305B (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和最小可行区域检测的机器人系统
CN201980005658.2A Pending CN111601761A (zh) 2018-10-30 2019-10-29 具有自动化包裹扫描和登记机构的机器人系统及其操作方法
CN201980003163.6A Pending CN111629868A (zh) 2018-10-30 2019-10-29 具有自动化物体检测机构的机器人系统及其操作方法
CN202010416747.0A Active CN111633633B (zh) 2018-10-30 2019-10-29 具有自动化物体检测机构的机器人系统及其操作方法
CN201980005929.4A Pending CN111491878A (zh) 2018-10-30 2019-10-29 具有自动化包裹登记机构和最小可行区域检测的机器人系统
CN202010482364.3A Active CN111776762B (zh) 2018-10-30 2019-10-29 具有自动化包裹扫描和登记机构的机器人系统及其操作方法

Country Status (6)

Country Link
US (12) US10703584B2 (zh)
JP (15) JP6704154B2 (zh)
KR (3) KR102650494B1 (zh)
CN (11) CN111113492A (zh)
DE (6) DE112019000125B4 (zh)
WO (6) WO2020091846A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113058238A (zh) * 2020-12-05 2021-07-02 泰州可以信息科技有限公司 篮球内胎自动贴片系统及方法
CN118220850A (zh) * 2024-05-21 2024-06-21 杭州灵智科技数字化装备有限公司 拆垛方法、装置、计算机设备及存储介质

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9233470B1 (en) * 2013-03-15 2016-01-12 Industrial Perception, Inc. Determining a virtual representation of an environment by projecting texture patterns
CN110893999A (zh) * 2018-09-12 2020-03-20 泰科电子(上海)有限公司 图像采集系统和图像采集方法
DE112019000125B4 (de) 2018-10-30 2021-07-01 Mujin, Inc. Systeme, vorrichtungen und verfahren zur automatisierten verpackungsregistrierung
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
US11224951B2 (en) * 2018-12-21 2022-01-18 The Boeing Company Method and apparatus for single-sided clamp-up
US10549928B1 (en) 2019-02-22 2020-02-04 Dexterity, Inc. Robotic multi-item type palletizing and depalletizing
US11741566B2 (en) * 2019-02-22 2023-08-29 Dexterity, Inc. Multicamera image processing
US11046519B2 (en) 2019-02-25 2021-06-29 Rehrig Pacific Company Delivery system
EP3702985A1 (en) * 2019-02-28 2020-09-02 Accenture Global Solutions Limited Augmented reality enabled cargo loading optimization
US11023763B2 (en) * 2019-03-19 2021-06-01 Boston Dynamics, Inc. Detecting boxes
US11069073B2 (en) * 2019-07-23 2021-07-20 Advanced New Technologies Co., Ltd. On-shelf commodity detection method and system
US11389965B2 (en) * 2019-07-26 2022-07-19 Mujin, Inc. Post-detection refinement based on edges and multi-dimensional corners
US10906188B1 (en) * 2019-10-25 2021-02-02 Dexterity, Inc. Singulation of arbitrary mixed items
SG10201913056VA (en) * 2019-12-23 2021-04-29 Sensetime Int Pte Ltd Method and apparatus for obtaining sample images, and electronic device
US11040836B1 (en) * 2020-01-24 2021-06-22 Becton Dickinson Rowa Germany Gmbh Device and method for separating piece goods
US11951636B1 (en) * 2020-01-28 2024-04-09 Embodied Intelligence Inc. Methods of collecting data through test interactions
US11403764B2 (en) * 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges
US11443449B2 (en) * 2020-02-26 2022-09-13 Zebra Technologies Corporation Three-dimensional (3D) imaging systems and methods for virtual grading of package walls in commercial trailer loading
CA3115442A1 (en) 2020-04-20 2021-10-20 Rehrig Pacific Company Camera enabled portal
US12062182B2 (en) 2020-06-04 2024-08-13 Mujin, Inc. Method and computing system for performing or facilitating physical edge detection
WO2021246476A1 (en) * 2020-06-04 2021-12-09 Mujin, Inc. Method and computing system for performing or facilitating physical edge detection
CN113658205B (zh) * 2020-06-04 2022-08-12 牧今科技 用于执行或促进物理边缘检测的方法和计算系统
AT524101A1 (de) * 2020-07-27 2022-02-15 Tgw Logistics Group Gmbh System und Verfahren zur Erfassung einer Warenanzahl in einem Ladungsträger
JP7467268B2 (ja) 2020-07-30 2024-04-15 グローリー株式会社 計数装置、計数システム、計数方法、およびプログラム
JP7395451B2 (ja) * 2020-09-16 2023-12-11 株式会社東芝 ハンドリング装置、処理装置、コントローラ及びプログラム
CN112157671A (zh) * 2020-09-24 2021-01-01 中国标准化研究院 一种用于电子商务产品质量抽检的包裹取料机械手及方法
CN111928790B (zh) * 2020-10-16 2020-12-29 成都裕鸢航空零部件制造有限公司 一种基于互联网的航空零部件厚度计量装置及计量方法
CN112276956B (zh) * 2020-10-30 2022-05-17 北京市商汤科技开发有限公司 一种物品配送方法、装置、设备以及存储介质
JP7466435B2 (ja) * 2020-11-24 2024-04-12 川崎重工業株式会社 ロボット及び物品寸法取得方法
CN112936243A (zh) * 2021-01-22 2021-06-11 广东电网有限责任公司广州供电局 基于二维码扫描的开关柜型号识别和定位装置
DE102021104773B3 (de) 2021-02-26 2022-03-17 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Kommissionierroboter mit optimierter trajektorie und verfahren zum steuern eines kommissionierroboters
DE102021202340A1 (de) 2021-03-10 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum steuern eines roboters zum aufnehmen und inspizieren eines objekts und robotersteuereinrichtung
EP4304818A1 (en) * 2021-03-10 2024-01-17 Aquabot Ltd. System and method for identifying or acquiring data corresponding to a handled item
US12129132B2 (en) 2021-03-15 2024-10-29 Dexterity, Inc. Singulation of arbitrary mixed items
US20220289502A1 (en) * 2021-03-15 2022-09-15 Dexterity, Inc. Adaptive robotic singulation system
EP4313504A1 (en) * 2021-03-26 2024-02-07 Boston Dynamics, Inc. Dynamic mass estimation methods for an integrated mobile manipulator robot
JP2022157884A (ja) * 2021-03-31 2022-10-14 セイコーエプソン株式会社 ロボットの制御方法、ロボットシステムおよびロボット制御プログラム
CN113510697B (zh) * 2021-04-23 2023-02-14 知守科技(杭州)有限公司 机械手定位方法、装置、系统、电子装置和存储介质
US20220362936A1 (en) * 2021-05-14 2022-11-17 Intelligrated Headquarters, Llc Object height detection for palletizing and depalletizing operations
US12136223B2 (en) * 2021-05-18 2024-11-05 Mujin, Inc. Robotic system for object size detection
US12053890B2 (en) * 2021-06-03 2024-08-06 Intrinsic Innovation Llc Robotic workspace introspection via force feedback
US20230027984A1 (en) 2021-07-21 2023-01-26 Mujin, Inc. Robotic system with depth-based processing mechanism and methods for operating the same
US20230041343A1 (en) 2021-08-09 2023-02-09 Mujin, Inc. Robotic system with image-based sizing mechanism and methods for operating the same
JP6964917B1 (ja) * 2021-08-10 2021-11-10 リンクウィズ株式会社 計測システム、計測方法、プログラム
WO2023023366A1 (en) 2021-08-19 2023-02-23 Rehrig Pacific Company Imaging system with unsupervised learning
WO2023023369A2 (en) * 2021-08-19 2023-02-23 Rehrig Pacific Company Pallet wrapper and imaging system
AT525383A1 (de) * 2021-09-07 2023-03-15 Knapp Ag System zur Vereinzelung und Identifizierung von Artikeln
US20230070495A1 (en) * 2021-09-07 2023-03-09 Mujin, Inc. Robotic gripper assemblies for openable object(s) and methods for picking objects
CN118043177A (zh) * 2021-09-28 2024-05-14 京瓷株式会社 信息处理装置、机器人控制器、信息处理系统以及信息处理方法
IT202100025490A1 (it) * 2021-10-07 2023-04-07 Bosso S R L Magazzino automatico
US20230115849A1 (en) * 2021-10-11 2023-04-13 Mazor Robotics Ltd. Systems and methods for defining object geometry using robotic arms
WO2023060683A1 (zh) * 2021-10-13 2023-04-20 东南大学 一种基于三维点云模型的预制梁段表面平整度检测方法
CN115246547B (zh) * 2021-10-21 2023-09-12 梅卡曼德（北京）机器人科技有限公司 垛型续码方法、装置、计算设备及计算机存储介质
US12030191B2 (en) * 2021-10-28 2024-07-09 Ubkang (Qingdao) Technology Co., Ltd. Vision-guided picking and placing method, mobile robot and computer-readable storage medium
EP4174787A3 (en) 2021-11-01 2023-05-10 Rehrig Pacific Company Delivery system
AT525778B1 (de) * 2021-11-09 2023-11-15 Tgw Logistics Group Gmbh Verfahren und Vorrichtung zum Entnehmen eines Ladeguts von einem Stapel
EP4429984A1 (en) * 2021-11-10 2024-09-18 Labo, Inc. Automated product unloading, handling, and distribution
CN113816137A (zh) * 2021-11-19 2021-12-21 佛山隆深机器人有限公司 一种基于机械臂的箱体分拣运输装置及控制方法
CN114161426B (zh) * 2021-12-29 2024-02-06 海澜智云科技有限公司 一种工业机器人的控制系统
CN116681758A (zh) * 2022-02-23 2023-09-01 北京百度网讯科技有限公司 车辆的姿态估计方法、装置、电子设备及存储介质
US11717974B1 (en) * 2022-06-10 2023-08-08 Sanctuary Cognitive Systems Corporation Haptic photogrammetry in robots and methods for operating the same
KR102486009B1 (ko) * 2022-06-23 2023-01-10 주식회사 대한엔지니어링 로봇팔을 이용한 디팔레타이징 자동화 시스템 및 방법
CN115009845B (zh) * 2022-08-04 2022-10-25 江苏安纳金机械有限公司 一种新型翘板机及其方法
KR102491429B1 (ko) * 2022-08-24 2023-01-27 주식회사 한성시스코 인공지능을 이용한 다수의 직육면체 블록들의 적층 구조에서의 각 블록의 인식 및 로딩 시스템, 및 그 방법
DE102022121538A1 (de) 2022-08-25 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Ablegen eines Objekts vermittels eines Roboters
JP7488311B2 (ja) 2022-10-27 2024-05-21 アリー ロジスティック プロパティ カンパニー，リミテッド 物流作業を実行するための施設及び方法
WO2024115532A1 (de) * 2022-11-30 2024-06-06 Voith Patent Gmbh Vorrichtung und anordnung und verfahren zum umsetzen von ballen
WO2024125920A1 (de) * 2022-12-13 2024-06-20 Kuka Deutschland Gmbh Kalibrieren einer greifersteuerung
WO2024136993A1 (en) * 2022-12-20 2024-06-27 Liberty Reach Inc. Method and system for decanting a plurality of items supported on a transport structure at one time with a picking tool for placement into a transport container
KR102521819B1 (ko) * 2023-01-26 2023-04-17 주식회사 브릴스 파렛타이징 시스템
WO2024176359A1 (ja) * 2023-02-21 2024-08-29 ファナック株式会社 位置補正装置、ロボットシステムおよび位置補正プログラム
US20240316779A1 (en) * 2023-03-20 2024-09-26 Mujin, Inc. Robotic system with object handling mechanism for loading and unloading of cargo carriers
DE102023111746A1 (de) 2023-05-05 2024-11-07 Bayerische Motoren Werke Aktiengesellschaft Handhabungsvorrichtung für einen Transport von Objekten
CN117369349B (zh) * 2023-12-08 2024-02-23 如特数字科技(苏州)有限公司 一种远程监测智能机器人的管理系统
CN117532644B (zh) * 2023-12-26 2024-04-12 广东亚数智能科技股份有限公司 一种三维视觉引导机械手抓取装置及其控制方法

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907169A (en) 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
JP2894449B2 (ja) * 1989-04-07 1999-05-24 株式会社ダイフク カメラ使用の自動移載装置
JP2687030B2 (ja) 1990-02-09 1997-12-08 株式会社ダイフク ロボット使用の自動移載装置
JPH03277739A (ja) 1990-03-28 1991-12-09 Nippon Steel Corp プレス成形時の耐バリ性の優れた高ｒ値複合鋼板およびその製造方法
US5290454A (en) 1992-11-12 1994-03-01 Pump And Paper Research Institute Of Canada Process for removal of suspended solids from pulp and paper mill effluents
JPH06171760A (ja) * 1992-12-02 1994-06-21 Mitsubishi Electric Corp デパレタイズ方法
JPH0753054A (ja) 1993-08-10 1995-02-28 Mitsubishi Electric Corp 自動荷卸し装置
JP3063487B2 (ja) 1993-09-27 2000-07-12 村田機械株式会社 パレタイズパターン認識装置
JP3516067B2 (ja) * 1994-04-26 2004-04-05 川崎重工業株式会社 デパレタイズ用画像作成方法および画像作成装置
JPH07291450A (ja) * 1994-04-26 1995-11-07 Kawasaki Heavy Ind Ltd インテリジェントパレタイズシステム
IT1275664B1 (it) * 1994-11-16 1997-10-17 Consorzio Telerobot Sistema per il controlllo e guida automatica di un gruppo elevatore a forche
JP3277739B2 (ja) * 1995-01-27 2002-04-22 三菱電機株式会社 産業用ロボット
JPH09251544A (ja) * 1996-03-14 1997-09-22 Toshiba Corp ワークエッジ検出画像処理装置
JP2921496B2 (ja) 1996-07-15 1999-07-19 三菱電機株式会社 画像処理装置および物体移載装置
US5908283A (en) * 1996-11-26 1999-06-01 United Parcel Service Of Americia, Inc. Method and apparatus for palletizing packages of random size and weight
US6272230B1 (en) 1998-02-11 2001-08-07 Analogic Corporation Apparatus and method for optimizing detection of objects in computed tomography data
JPH11333770A (ja) * 1998-03-20 1999-12-07 Kobe Steel Ltd 積荷位置姿勢認識装置
JPH10323491A (ja) 1998-07-06 1998-12-08 Hitachi Ltd 脱水洗濯機
SE513174C2 (sv) 1998-10-22 2000-07-24 Abb Ab Förfarande för hantering av containrar samt anordning för utförande av förfarandet
CN1162681C (zh) * 1999-03-19 2004-08-18 松下电工株式会社 三维物体识别方法及使用该方法的零件抓取系统
JP2001058723A (ja) 1999-08-20 2001-03-06 Amada Co Ltd 板材加工機における製品搬出方法及びその装置
JP2001072247A (ja) 1999-09-06 2001-03-21 Murata Mach Ltd 搬送システム
JP3596434B2 (ja) * 2000-06-30 2004-12-02 株式会社ダイフク 物品位置認識装置
JP3849514B2 (ja) 2001-12-10 2006-11-22 株式会社ダイフク 物品位置認識装置
JP2003237943A (ja) * 2002-02-12 2003-08-27 Rengo Co Ltd 段ボールケース束のデパレタイジング装置
US7085622B2 (en) * 2002-04-19 2006-08-01 Applied Material, Inc. Vision system
JP3768174B2 (ja) 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
US7437214B2 (en) * 2003-03-27 2008-10-14 Sony Corporation Robot device and method of controlling the same
DE10317855A1 (de) 2003-04-16 2004-11-18 Rkb Reparatur- Und Karosseriebau Gmbh Verfahren und Einrichtung zum Verteilen von Paketen o. dgl. Beförderungsgütern
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
JP2005333824A (ja) 2004-05-24 2005-12-08 Olympus Corp 検体導入装置および培養処理装置
KR100657915B1 (ko) 2004-11-26 2006-12-14 삼성전자주식회사 코너 검출 방법 및 코너 검출 장치
JP2006300929A (ja) * 2005-03-22 2006-11-02 Jfe Engineering Kk 物体の３次元位置認識装置およびデパレタイズシステム
JP2007097057A (ja) 2005-09-30 2007-04-12 Brother Ind Ltd サーバ装置、機器情報提供方法、プログラム、ネットワークシステム、及び、機器共用化方法
JP4087874B2 (ja) * 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
JP4911341B2 (ja) * 2006-03-24 2012-04-04 株式会社ダイフク 物品移載装置
WO2009014677A1 (en) 2007-07-23 2009-01-29 Abb Inc. Robotic palletizing system
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
KR101003654B1 (ko) 2008-08-27 2010-12-23 삼성전기주식회사 반도체 패키지용 트랜스포머
US8489232B2 (en) 2008-09-30 2013-07-16 Amazon Technologies, Inc. Systems and methods for receiving shipment parcels
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
DE102009011300B4 (de) * 2009-03-02 2022-08-11 Kuka Roboter Gmbh Beladung von Lademitteln mit Paketen mittels Manipulator
JP5429614B2 (ja) 2009-04-16 2014-02-26 株式会社Ｉｈｉ 箱状ワーク認識装置および方法
US8508590B2 (en) * 2010-03-02 2013-08-13 Crown Equipment Limited Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion
US8538577B2 (en) * 2010-03-05 2013-09-17 Crown Equipment Limited Method and apparatus for sensing object load engagement, transportation and disengagement by automated vehicles
FI20105732A0 (fi) 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
US9796540B1 (en) 2010-06-30 2017-10-24 Thiele Technologies System and method for robotic palletization of packages susceptible to package-to-package dimensional creep
KR101453234B1 (ko) * 2010-11-17 2014-10-22 미쓰비시덴키 가부시키가이샤 워크 취출 장치
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
US10474858B2 (en) * 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
JP5510841B2 (ja) 2011-12-22 2014-06-04 株式会社安川電機 ロボットシステム及び仕分け済み物品の製造方法
US9067744B2 (en) 2011-10-17 2015-06-30 Kabushiki Kaisha Yaskawa Denki Robot system, robot, and sorted article manufacturing method
CN202717371U (zh) 2011-11-18 2013-02-06 上海沃迪自动化装备股份有限公司 多功能机器人码垛系统
US20170003113A1 (en) * 2011-12-06 2017-01-05 Hexagon Technology Center Gmbh Coordinate measuring machine having a camera
JP2013145525A (ja) * 2012-01-16 2013-07-25 Fuji Electric Co Ltd 物品取り出し判定装置、物品取り出し判定システム、物品取り出しシステム、物品取り出し判定プログラムおよび物品取り出し判定方法
CN202539084U (zh) 2012-03-01 2012-11-21 成都三茁科技有限公司 多位扫描识别系统
JP2013246589A (ja) * 2012-05-24 2013-12-09 Sharp Corp 空間情報生成装置、空間情報利用システム、空間情報生成方法、制御プログラム、および、記録媒体
JP5469216B2 (ja) 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
US9233470B1 (en) * 2013-03-15 2016-01-12 Industrial Perception, Inc. Determining a virtual representation of an environment by projecting texture patterns
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
JP5945968B2 (ja) * 2013-09-03 2016-07-05 株式会社安川電機 ロボットハンド、ロボットシステム、及び物品のデパレタイズ方法
JP5897532B2 (ja) 2013-11-05 2016-03-30 ファナック株式会社 三次元空間に置かれた物品をロボットで取出す装置及び方法
US10343857B2 (en) 2014-01-22 2019-07-09 Symbiotic Canada ULC. Vision-assisted robotized depalletizer
CN103822594A (zh) * 2014-02-28 2014-05-28 华南理工大学 一种基于激光传感器和机器人的工件扫描成像方法
KR102081139B1 (ko) 2014-03-12 2020-02-25 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법
JP5829306B2 (ja) 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置
US9205558B1 (en) 2014-07-16 2015-12-08 Google Inc. Multiple suction cup control
US9272417B2 (en) 2014-07-16 2016-03-01 Google Inc. Real-time determination of object metrics for trajectory planning
US9327406B1 (en) * 2014-08-19 2016-05-03 Google Inc. Object segmentation based on detected object-specific visual cues
JP6486114B2 (ja) 2015-01-16 2019-03-20 株式会社東芝 荷役装置
US9486921B1 (en) 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US20160302521A1 (en) 2015-04-16 2016-10-20 Brian George Rennex Substantial energy return shoe with optimal low-impact springs and tuned gear change
JP6461712B2 (ja) 2015-05-28 2019-01-30 株式会社東芝 荷役装置及びその動作方法
US9875427B2 (en) * 2015-07-28 2018-01-23 GM Global Technology Operations LLC Method for object localization and pose estimation for an object of interest
US20170057148A1 (en) 2015-08-27 2017-03-02 Imflux Inc Plastic article forming apparatuses and methods for controlling melt flow
US11010816B2 (en) * 2015-08-27 2021-05-18 Imflux Inc Methods of selecting thermoplastic materials for use with plastic article forming apparatuses that control melt flow
JP6466297B2 (ja) * 2015-09-14 2019-02-06 株式会社東芝 対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱
JP6711591B2 (ja) 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
JP6710622B2 (ja) * 2015-11-13 2020-06-17 株式会社東芝 搬送装置および搬送方法
CN108349083B (zh) 2015-11-13 2021-09-21 伯克希尔格雷股份有限公司 用于提供各种物体的分拣的分拣系统和方法
US10370201B2 (en) * 2015-11-13 2019-08-06 Kabushiki Kaisha Toshiba Transporting apparatus and transporting method
JP6298035B2 (ja) * 2015-12-17 2018-03-20 ファナック株式会社 モデル生成装置、位置姿勢算出装置、およびハンドリングロボット装置
JP6690300B2 (ja) * 2016-02-26 2020-04-28 村田機械株式会社 スタッカクレーン
US10124489B2 (en) * 2016-02-26 2018-11-13 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot
CN105817430B (zh) 2016-03-29 2017-12-29 常熟理工学院 基于机器视觉的产品检测方法
CN106063998B (zh) * 2016-04-13 2018-03-06 段炼 一种单罐内转动mvr系统
US10596700B2 (en) * 2016-09-16 2020-03-24 Carbon Robotics, Inc. System and calibration, registration, and training methods
US20180198983A1 (en) * 2017-01-06 2018-07-12 Olympus Corporation Image pickup apparatus, image pickup system, image pickup method, image pickup program, and display apparatus for image pickup
WO2018131237A1 (ja) * 2017-01-13 2018-07-19 三菱電機株式会社 協働ロボットシステム、及びその制御方法
JP6495355B2 (ja) 2017-02-15 2019-04-03 昭 宮田 給液装置
JP2018144155A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN106886165A (zh) 2017-03-10 2017-06-23 深圳市唯特视科技有限公司 一种基于模拟器的机械手抓取和操纵方法
JP6444499B1 (ja) 2017-04-04 2018-12-26 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、及び、制御方法
US10328578B2 (en) * 2017-04-21 2019-06-25 X Development Llc Methods and systems for detecting, recognizing, and localizing pallets
JP6904106B2 (ja) 2017-06-27 2021-07-14 村田機械株式会社 ピッキングシステム
JP2019063984A (ja) 2017-10-02 2019-04-25 キヤノン株式会社 情報処理装置、方法及びロボットシステム
US10471597B1 (en) * 2017-11-01 2019-11-12 Amazon Technologies, Inc. Adaptive perception for industrial robotic systems
US10346987B1 (en) 2017-12-29 2019-07-09 Datalogic Usa, Inc. Locating objects on surfaces
JP6489243B2 (ja) * 2018-01-17 2019-03-27 セイコーエプソン株式会社 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット
JP7065632B2 (ja) * 2018-02-13 2022-05-12 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 箱状物ピッキング装置及びその方法
JP2018158439A (ja) 2018-03-15 2018-10-11 株式会社東芝 物体ハンドリング装置、制御装置、および較正方法
CN110737399B (zh) 2018-07-20 2023-09-05 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品
JP7467041B2 (ja) * 2018-09-27 2024-04-15 キヤノン株式会社 情報処理装置、情報処理方法及びシステム
DE112019000125B4 (de) 2018-10-30 2021-07-01 Mujin, Inc. Systeme, vorrichtungen und verfahren zur automatisierten verpackungsregistrierung
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
US11023763B2 (en) 2019-03-19 2021-06-01 Boston Dynamics, Inc. Detecting boxes
US10614340B1 (en) 2019-09-23 2020-04-07 Mujin, Inc. Method and computing system for object identification
US10625952B1 (en) 2019-10-18 2020-04-21 Grey Orange Pte. Ltd. Induction station for conveying packages in storage facility
US11020854B2 (en) * 2019-11-05 2021-06-01 Mujin, Inc. Robotic system with wall-based packing mechanism and methods of operating same
US11423610B2 (en) 2019-11-26 2022-08-23 Applied Research Associates, Inc. Large-scale environment-modeling with geometric optimization
US11798273B2 (en) 2021-03-12 2023-10-24 Lawrence Livermore National Security, Llc Model-based image change quantification
US20230041343A1 (en) 2021-08-09 2023-02-09 Mujin, Inc. Robotic system with image-based sizing mechanism and methods for operating the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113058238A (zh) * 2020-12-05 2021-07-02 泰州可以信息科技有限公司 篮球内胎自动贴片系统及方法
CN118220850A (zh) * 2024-05-21 2024-06-21 杭州灵智科技数字化装备有限公司 拆垛方法、装置、计算机设备及存储介质
CN118220850B (zh) * 2024-05-21 2024-07-19 杭州灵智科技数字化装备有限公司 拆垛方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
JP2021505980A (ja) 2021-02-18
JP6704154B2 (ja) 2020-06-03
US20220076425A1 (en) 2022-03-10
WO2020092442A1 (en) 2020-05-07
US11797926B2 (en) 2023-10-24
JP2020537775A (ja) 2020-12-24
CN111776759A (zh) 2020-10-16
JP2020069636A (ja) 2020-05-07
JP2021050100A (ja) 2021-04-01
CN111861306A (zh) 2020-10-30
DE112019000247T5 (de) 2020-09-03
JP2021039795A (ja) 2021-03-11
US11189033B2 (en) 2021-11-30
JP6822718B1 (ja) 2021-01-27
JP6822719B2 (ja) 2021-01-27
JP6820634B2 (ja) 2021-01-27
WO2020092433A1 (en) 2020-05-07
JP7571951B2 (ja) 2024-10-23
DE112019000127T5 (de) 2020-06-18
JP2021054660A (ja) 2021-04-08
CN111861306B (zh) 2021-06-15
US20220051411A1 (en) 2022-02-17
DE112019000172T5 (de) 2020-07-16
CN111601761A (zh) 2020-08-28
US20200130963A1 (en) 2020-04-30
DE112019000217T5 (de) 2020-08-06
US20200130962A1 (en) 2020-04-30
CN111633633B (zh) 2021-05-07
JP2023160842A (ja) 2023-11-02
JP7548516B2 (ja) 2024-09-10
JP2021062978A (ja) 2021-04-22
JP7411932B2 (ja) 2024-01-12
CN111776759B (zh) 2021-07-23
CN111566028A (zh) 2020-08-21
JP7340203B2 (ja) 2023-09-07
KR102650494B1 (ko) 2024-03-22
US10703584B2 (en) 2020-07-07
US20200134830A1 (en) 2020-04-30
US11288810B2 (en) 2022-03-29
WO2020092428A1 (en) 2020-05-07
JP2023174652A (ja) 2023-12-08
JP7466150B2 (ja) 2024-04-12
JP2021503374A (ja) 2021-02-12
KR20210087065A (ko) 2021-07-09
US11176674B2 (en) 2021-11-16
CN111861305B (zh) 2021-08-03
JP6813229B1 (ja) 2021-01-13
US20200294244A1 (en) 2020-09-17
CN111633633A (zh) 2020-09-08
CN111776762B (zh) 2021-07-23
JP6820044B1 (ja) 2021-01-27
DE112019000177T5 (de) 2020-09-03
US20230008540A1 (en) 2023-01-12
JP2024023692A (ja) 2024-02-21
US12002007B2 (en) 2024-06-04
US11636605B2 (en) 2023-04-25
US11961042B2 (en) 2024-04-16
WO2020092447A1 (en) 2020-05-07
JP7555081B2 (ja) 2024-09-24
JP2020110918A (ja) 2020-07-27
JP2021051797A (ja) 2021-04-01
CN111629868A (zh) 2020-09-04
CN111776762A (zh) 2020-10-16
KR102650492B1 (ko) 2024-03-22
JP7352260B2 (ja) 2023-09-28
DE112019000217B4 (de) 2023-09-14
KR20210096615A (ko) 2021-08-05
CN111491878A (zh) 2020-08-04
CN111566027A (zh) 2020-08-21
DE112019000125T5 (de) 2020-07-02
US20200134828A1 (en) 2020-04-30
KR20240042157A (ko) 2024-04-01
JP2021501102A (ja) 2021-01-14
US20240020637A1 (en) 2024-01-18
US11501445B2 (en) 2022-11-15
CN111861305A (zh) 2020-10-30
US20240078512A1 (en) 2024-03-07
WO2020091846A1 (en) 2020-05-07
US20200130961A1 (en) 2020-04-30
WO2020092452A1 (en) 2020-05-07
DE112019000125B4 (de) 2021-07-01
US20210304416A1 (en) 2021-09-30
JP2021507857A (ja) 2021-02-25
US11062457B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
US11034025B2 (en) Automated package registration systems, devices, and methods
CN111113492A (zh) 自动包裹配准系统、装置和方法
JP2019136828A (ja) 箱状物ピッキング装置及びその方法
JP2023024980A (ja) 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法
CN110405810B (zh) 自动包裹配准系统、装置和方法
CN115744272A (zh) 机器人多表面夹持器组件及其操作方法
US20230071488A1 (en) Robotic system with overlap processing mechanism and methods for operating the same
CN115674151A (zh) 具有基于深度的处理机制的机器人系统及其操作方法
WO2022264381A1 (ja) ワーク取出し個数算出装置、ハンドシステム、及び表示装置
CN115609569A (zh) 具有基于图像的尺寸确定机制的机器人系统及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination