[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112529856A - 确定操作对象位置的方法、机器人和自动化系统 - Google Patents

确定操作对象位置的方法、机器人和自动化系统 Download PDF

Info

Publication number
CN112529856A
CN112529856A CN202011379352.4A CN202011379352A CN112529856A CN 112529856 A CN112529856 A CN 112529856A CN 202011379352 A CN202011379352 A CN 202011379352A CN 112529856 A CN112529856 A CN 112529856A
Authority
CN
China
Prior art keywords
operation object
robot
coordinate system
target operation
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011379352.4A
Other languages
English (en)
Inventor
王全鑫
杨师华
匡立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011379352.4A priority Critical patent/CN112529856A/zh
Publication of CN112529856A publication Critical patent/CN112529856A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了确定操作对象位置的方法、机器人、机器人系统和自动化系统，属于自动化技术领域。本申请实施例公开的确定操作对象位置的方法，通过在操作主体上排布参考标志作为基准位置，并获取位于机器人上的相机拍摄的包含参考标志的全局图像，使得可以通过相机将操作主体的用户坐标系和机器人的工具坐标系相关联，从而，可以将操作对象在用户坐标系下的位置，转换为操作对象在机器人的工具坐标系下的位置，便于机器人后续根据操作对象在工具坐标系下的位置，运动到操作对象对应的作业位置，并对操作对象进行操作。

Description

确定操作对象位置的方法、机器人和自动化系统
技术领域
本申请涉及自动化技术领域，特别涉及一种确定操作对象位置的方法、机器人、机器人系统和自动化系统。
背景技术
在工业5.0的时代背景下，光纤配线架(optical distribution frame，ODF)机房的智能化改造势在必行。ODF机房的智能化，也即ODF机房的操作自动化，是指在ODF机房中的日常操作，如光纤插拔、光纤端口清洁和光纤端口检测等，均由机器人替代人工来实现。
机器人在对如光纤端口等操作对象进行操作之前，需要先确定与操作对象的相对位置，然后机器人才能确定移动方向和距离等，进而才能移动到作业位置对操作对象进行操作。
发明内容
本申请实施例提供了确定操作对象位置的方法、机器人、机器人系统和自动化系统，该确定操作对象位置的方法可以应用在机器人中，使得机器人能够确定操作对象相对于工具中心点的位置，所述确定操作对象位置的方法、机器人、机器人系统和自动化系统的技术方案如下所述：
第一方面，提供了一种确定操作对象位置的方法，所述方法应用在机器人中，所述方法包括：
获取位于所述机器人上的相机拍摄的操作主体的全局图像，所述操作主体为所述机器人的操作对象所在的主体，所述操作主体的同一侧分布有参考标志和至少一个所述操作对象，所述全局图像为包括所述参考标志的图像；获取目标操作对象和所述参考标志在所述操作主体的用户坐标系下的位置，所述目标操作对象为至少一个所述操作对象中需要操作的操作对象；基于所述目标操作对象和所述参考标志在所述用户坐标系下的位置、所述全局图像，以及所述机器人的工具中心点与所述相机的相机中心点的相对物理位置，确定所述目标操作对象在所述机器人的工具坐标系下的第一位置。
其中，操作主体上具有操作对象，操作主体可以为光纤配线架(opticaldistribution frame，ODF)机房中的机框、服务器机房中的机架和实验室的试验台等，本申请实施例对操作主体的具体类型不做限定。在操作主体为光纤配线架时，操作对象可以为光纤端口。
参考标志可以为平面标志，参考标志的某一顶点作为基准点，与操作主体的基准点重合。为了便于识别参考标志，参考标志可以采用颜色和简单形状相结合，例如，参考标志的边缘采用的颜色与操作主体的框架、参考标志的主体部分的颜色均不同。
机器人能够对操作主体上的操作对象进行操作，机器人具有机械臂，相机固定在机械臂上，相机可以是单目相机。机器人上还可以固定有测距装置，用于测量距操作主体和操作对象的距离。示例性的，该测距装置可以为激光测距仪。
工具坐标系是指以机器人的工具中心点为原点建立的一个坐标系，用于描述机器人末端的工具的位置和姿态，工具中心点(tool center point，TCP)是指位于机器人末端的工具(例如，夹具、胶枪和焊枪)上的一个点。用户坐标系是与工具坐标系相对的一个概念，位于机器人需要操作的工件(例如，光纤配线架)上，也可以称为工件坐标系。
本申请实施例提供了一种确定操作对象位置的方法，该方法通过在操作主体上排布参考标志作为基准位置，并获取位于机器人上的相机拍摄的包含参考标志的全局图像，使得可以通过相机将操作主体的用户坐标系和机器人的工具坐标系相关联，从而，可以将操作对象在用户坐标系下的位置，转换为操作对象在机器人的工具坐标系下的位置，便于机器人后续根据操作对象在工具坐标系下的位置，运动到操作对象附近，并对操作对象进行操作。
在一种可能的实现方式中，所述获取位于所述机器人上的相机拍摄的操作主体的全局图像，包括：调整所述机器人的姿态，使得所述机器人的工具坐标系与所述操作主体的用户坐标系的姿态角一致；控制所述相机拍摄所述操作主体的全局图像。
其中，工具坐标系和用户坐标系均包括X轴、Y轴和Z轴，在工具坐标系与用户坐标系的姿态角一致时，工具坐标系的X轴、Y轴和Z轴分别与用户坐标系的X轴、Y轴和Z轴平行。X轴和Y轴可以与操作对象和参考标志所在的操作平面平行，Z轴与操作平面垂直。另外，相机的光轴与Z轴平行。
本申请实施例所示的方案，通过在工具坐标系与用户坐标系的姿态角一致的情况下，拍摄全局图像，使得在基于全局图像确定目标操作对象的位置时，不用考虑目标操作对象在工具坐标系的Z轴的坐标值(这一坐标值可以由测距装置直接测量得到)，而仅仅需要计算目标操作对象在工具坐标系的X轴和Y轴的坐标值，考虑到的参数数量较少，这样，后续根据全局图像确定的目标操作对象在工具坐标系下的位置更加精确(精度可以达到0.1mm级别)，且采用的算法也更加简单，处理速度也更快。
在一种可能的实现方式中，所述基于所述目标操作对象和所述参考标志在所述用户坐标系下的位置、所述全局图像，以及所述机器人的工具中心点与所述相机的相机中心点的相对物理位置，确定所述目标操作对象在所述机器人的工具坐标系下的第一位置，包括：
基于所述目标操作对象和所述参考标志在所述用户坐标系下的位置、所述全局图像，以及所述机器人的工具中心点与所述相机的相机中心点的相对物理位置，确定所述目标操作对象在所述X轴和所述Y轴的位置；获取位于所述机器人上的测距装置测量的所述目标操作对象在所述Z轴的位置。
其中，相机可以为单目相机，测距装置可以为激光测距仪。
本申请实施例所示的方案，将目标操作对象在机器人的工具坐标系下的第一位置，拆分为在工具坐标系下的X轴的位置、Y轴的位置和Z轴的位置。并且，通过相机拍摄的操作主体的全局图像，确定目标操作对象在X轴的位置和Y轴的位置，通过测距装置确定目标操作对象在Z轴的位置。
与相关技术中通过多目结构光相机直接确定出目标操作对象在X轴、Y轴和Z轴的位置相比。本申请实施例提供的相机仅仅用于确定目标操作对象在X轴和Y轴的位置，而目标操作对象在Z轴的位置可以由测距装置直接测量获得。这样，本申请实施例提供的相机可以采用成本较低的单目相机，而且在确定目标操作对象在X轴和Y轴的位置时，采用的算法也较为简单，确定出的目标操作对象在X轴和Y轴的位置的精度较高。另外，通过测距装置直接测量目标操作对象在Z轴的位置，使得确定出的目标操作对象在Z轴的位置的精度也较高。
在一种可能的实现方式中，所述控制所述相机拍摄所述操作主体的全局图像，包括：获取所述操作主体的尺寸信息；基于所述操作主体的尺寸信息和所述相机的参数信息，确定第一拍摄位置；控制所述相机移动至所述第一拍摄位置，并在所述第一拍摄位置拍摄所述全局图像。
其中，操作主体的尺寸信息可以包括操作主体的操作面的长和宽等。相机的参数信息可以包括相机的工作距离。
本申请实施例所示的方案，通过根据操作主体的尺寸信息和相机的参数信息，确定第一拍摄位置，使得拍摄的全局图像能够更好的呈现操作主体，有利于后续基于全局图像的计算。
在一种可能的实现方式中，所述操作主体的同一侧还分布有第一信息标志，所述第一信息标志为存储有所述操作主体的尺寸信息的标志，所述获取所述操作主体的尺寸信息，包括：识别所述第一信息标志，获取所述操作主体的尺寸信息。
其中，第一信息标志与参考标志可以是分离的两个标志，第一信息标志也可以集成在参考标志中。第一信息标志可以是二维码和条形码等可以存储信息的标志。
第一信息标志中还可以包括操作对象的尺寸信息。
本申请实施例所示的方案，通过将操作主体的尺寸信息存储在第一信息标志中，使得本申请实施例提供的确定操作对象位置的方法，可以在不同场景中进行迁移。
对于机器人来说，事先不需要存储任何场景信息，当机器人迁移至一个新的场景时，通过扫描第一信息标志，就可以获得操作主体的尺寸信息，并可以根据操作主体的尺寸信息，确定第一拍摄位置，并拍摄全局图像。
在一种可能的实现方式中，所述获取目标操作对象和所述参考标志在所述操作主体的用户坐标系下的位置，包括：
获取所述操作主体的标识；向上位机发送携带有所述操作主体的标识的操作指令获取请求；接收所述上位机发送的操作指令，所述操作指令中携带有所述目标操作对象和所述参考标志在所述用户坐标系下的位置。
其中，操作指令中还可以携带有操作类型等信息。
在一种可能的实现方式中，所述操作主体的同一侧还分布有第二信息标志，所述第二信息标志为存储有所述操作主体的标识的标志，所述获取所述操作主体的标识，包括：识别所述第二信息标志，获取所述操作主体的标识。
其中，第二信息标志和参考标志可以为分离的两个标志，第二信息标志也可以集成在参考标志中。第二信息标志可以是二维码和条形码等可以存储信息的标志。示例性的，第二信息标志和第一信息标志可以为同一标志。
在一种可能的实现方式中，所述基于所述目标操作对象和所述参考标志在所述用户坐标系下的位置、所述全局图像，以及所述机器人的工具中心点与所述相机的相机中心点的相对物理位置，确定所述目标操作对象在所述机器人的工具坐标系下的第一位置，包括：
在所述全局图像中确定所述参考标志的像素位置和像素尺寸；基于所述参考标志的像素尺寸和所述参考标志的物理尺寸，确定物理尺寸和像素尺寸的映射比例；基于所述目标操作对象和所述参考标志在所述用户坐标系下的位置、所述参考标志在所述全局图像中的像素位置、所述映射比例，以及所述工具中心点与所述相机中心点的相对物理位置，确定所述目标操作对象在所述工具坐标系下的第一位置。
其中，参考标志的物理尺寸可以为标准值，可以预先存储在机器人中。
在一种可能的实现方式中，所述基于所述目标操作对象和所述参考标志在所述用户坐标系下的位置、所述参考标志在所述全局图像中的像素位置、所述映射比例，以及所述工具中心点与所述相机中心点的相对物理位置，确定所述目标操作对象在所述工具坐标系下的第一位置，包括：
基于所述全局图像的图像中心点、所述参考标志在所述全局图像中的像素位置，以及所述映射比例，确定所述相机中心点与所述参考标志的相对物理位置，其中，所述图像中心点为所述相机中心点在所述全局图像的映射点；基于所述相机中心点与所述参考标志的相对物理位置，以及所述工具中心点与所述相机中心点的相对物理位置，确定所述工具中心点与所述参考标志的相对物理位置；基于所述工具中心点与所述参考标志的相对物理位置，以及所述目标操作对象和所述参考标志在所述用户坐标系下的位置，确定所述目标操作对象在所述工具坐标系下的第一位置。
在一种可能的实现方式中，所述基于所述目标操作对象和所述参考标志在所述用户坐标系下的位置、所述参考标志在所述全局图像中的像素位置、所述映射比例，以及所述工具中心点与所述相机中心点的相对物理位置，确定所述目标操作对象在所述工具坐标系下的第一位置，包括：
基于所述目标操作对象和所述参考标志在所述用户坐标系下的位置、所述参考标志在所述全局图像中的像素位置，以及所述映射比例，确定所述目标操作对象在所述全局图像中的像素位置；基于所述全局图像的图像中心点、所述目标操作对象在所述全局图像中的像素位置，以及所述映射比例，确定所述相机中心点与所述目标操作对象的相对物理位置，其中，所述图像中心点为所述相机中心点在所述全局图像的映射点；基于所述相机中心点与所述目标操作对象的相对物理位置，以及所述工具中心点与所述相机中心点的相对物理位置，确定所述目标操作对象在所述工具坐标系下的位置。
在一种可能的实现方式中，所述确定所述目标操作对象在所述机器人的工具坐标系下的第一位置之后，所述方法还包括：
基于所述目标操作对象在所述机器人的工具坐标系下的第一位置，确定第二拍摄位置；控制所述相机移动至所述第二拍摄位置，并在所述第二拍摄位置拍摄包含所述目标操作对象的局部图像；基于所述局部图像，确定所述目标操作对象在所述机器人的工具坐标系下的第二位置。
本申请实施例所示的方案，通过基于局部图像确定目标操作对象在机器人的工具坐标系下的第二位置，使得确定出的目标操作对象在工具坐标系下的第二位置更加精确，使得本申请实施例提供的方法，能够适用于对精度要求更高的场景。
在一种可能的实现方式中，所述基于所述局部图像，确定所述目标操作对象在所述机器人的工具坐标系下的第二位置，包括：基于所述局部图像，确定所述目标操作对象在所述工具坐标系的X轴和Y轴的位置；获取位于所述机器人上的测距装置测量的所述目标操作对象在所述工具坐标系的Z轴的位置。
本申请实施例所示的方案，将目标操作对象在机器人的工具坐标系下的第二位置，拆分为在工具坐标系下的X轴的位置、Y轴的位置和Z轴的位置。并且，通过相机拍摄的操作主体的全局图像，确定目标操作对象在X轴的位置和Y轴的位置，通过测距装置确定目标操作对象在Z轴的位置。
与相关技术中通过多目结构光相机直接确定出目标操作对象在X轴、Y轴和Z轴的位置相比。本申请实施例提供的相机仅仅用于确定目标操作对象在X轴和Y轴的位置，而目标操作对象在Z轴的位置可以由测距装置直接测量获得。这样，本申请实施例提供的相机可以采用成本较低的单目相机，而且在确定目标操作对象在X轴和Y轴的位置时，采用的算法也较为简单，确定出的目标操作对象在X轴和Y轴的位置的精度较高。另外，通过测距装置直接测量目标操作对象在Z轴的位置，使得确定出的目标操作对象在Z轴的位置的精度也较高。
在一种可能的实现方式中，所述基于所述目标操作对象在所述机器人的工具坐标系下的第一位置，确定第二拍摄位置，包括：获取所述目标操作对象的尺寸信息；基于所述目标操作对象的尺寸信息、所述相机的参数信息和所述第一位置，确定所述第二拍摄位置。
其中，目标操作对象的尺寸信息可以是在扫描第一信息标志时获取到的。相机的参数信息包括相机的工作距离。
本申请实施例所示的方案，通过设计根据目标操作对象的尺寸信息、相机的参数信息和第一位置确定第二拍摄位置，使得目标操作对象能够更好的呈现在局部图像中。
在一种可能的实现方式中，所述基于所述局部图像，确定所述目标操作对象在所述机器人的工具坐标系下的第二位置，包括：
在所述局部图像中确定所述目标操作对象的中心点和图像中心点的相对像素位置；基于所述目标操作对象的中心点和图像中心点的相对像素位置，以及所述局部图像对应的物理尺寸和像素尺寸的映射比例，确定所述目标操作对象在所述工具坐标系下的第二位置。
本申请实施例所示的方案，确定出的第二拍摄位置，可以是默认的相机中心点与目标操作对象的中心点正对的位置。而如果在局部图像中识别出目标操作对象的中心点和图像中心点不重合，则说明之前确定出的目标操作对象在工具坐标系下的第一位置并不精确，则可以根据目标操作对象的中心点和图像中心点的相对像素位置，以及局部图像对应的物理尺寸和像素尺寸的映射比例，确定目标操作对象的中心点和图像中心点的相对物理位置，该相对物理位置即为误差值，则可以根据该误差值，确定目标操作对象在当前工具坐标系下的第二位置。
在一种可能的实现方式中，所述基于所述目标操作对象的中心点和图像中心点的相对像素位置，以及所述局部图像对应的物理尺寸和像素尺寸的映射比例，确定所述目标操作对象在所述工具坐标系下的第二位置之前，所述方法还包括：
基于所述参考标志在所述全局图像的像素尺寸和所述参考标志的物理尺寸，确定所述全局图像对应的物理尺寸和像素尺寸的映射比例；基于所述目标操作对象在所述全局图像的像素尺寸，以及所述全局图像对应的物理尺寸和像素尺寸的映射比例，确定所述目标操作对象的物理尺寸；基于所述目标操作对象的物理尺寸和所述目标操作对象在所述局部图像中的像素尺寸，确定所述局部图像对应的物理尺寸和像素尺寸的映射比例。
本申请实施例所示的方案，通过在计算局部图像对应的映射比例时，采用根据全局图像的信息计算得到的目标操作对象的物理尺寸，而不是存储的目标操作对象的理论物理尺寸，使得确定出的局部图像对应的映射比例更加精确。另外，在这种情况下，数据库中也可以不存储目标操作对象的理论物理尺寸。
由于操作对象的制作、安装、使用等过程，以及目标操作对象的姿态问题，均可能会导致操作对象的理论物理尺寸与实际物理尺寸存在差别，所以直接使用目标操作对象的理论物理尺寸和目标操作对象的像素尺寸得出的映射比例，可能精确度较差。
而由于参考标志可以是平面标志，且较为简单，所以参考标志的理论物理尺寸和实际物理尺寸较为接近，基于参考标志的理论物理尺寸和像素尺寸算出的全局图像对应的映射比例也较为精确，进而，基于全局图像对应的映射比例以及目标操作对象在全局图像中的像素尺寸计算得到的目标操作对象的物理尺寸也较为精确，所以使用计算得到的目标操作对象的物理尺寸和目标操作对象的像素尺寸得出的映射比例，精确度较高。
在一种可能的实现方式中，所述全局图像还包括所述目标操作对象，所述获取目标操作对象和所述参考标志在所述操作主体的用户坐标系下的位置之后，所述方法还包括：
基于所述目标操作对象和所述参考标志在所述操作主体的用户坐标系下的位置，以及所述全局图像对应的物理尺寸和像素尺寸的映射比例，在所述全局图像中确定所述目标操作对象；如果识别出所述目标操作对象能够被所述机器人操作，则执行所述确定所述目标操作对象在所述机器人的工具坐标系下的第一位置的处理。
本申请实施例所示的方案，通过在获取到目标操作对象和参考标志在用户坐标系下的位置之后，在全局图像中确定出目标操作对象，并对目标操作对象进行图像识别，识别目标操作对象能否被操作，使得，在识别到目标操作对象不能够被操作时，可以及时中止对目标操作对象位置的确定处理，因为在这种情况下即使确定出了目标操作对象的位置，也不能够对目标操作对象进行操作，从而节约计算机处理资源。
第二方面，提供了一种机器人，所述机器人包括处理器和存储器；
所述存储器存储有一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，用于实现如第一方面任一项所述的方法。
第三方面，提供了一种机器人系统，所述机器人系统包括机器人、相机和测距装置，所述机器人为如第二方面所述的机器人；所述相机和所述测距装置固定在所述机器人的机械臂上。
其中，相机可以为单目相机，测距装置可以为激光测距仪。
第四方面，提供了一种自动化系统，所述自动化系统包括操作主体和第三方面所述的机器人系统；所述操作主体的同一侧分布有至少一个操作对象和参考标志。
其中，本申请实施例提供的自动化系统可以为ODF机房系统、服务器机房系统和实验室等，本申请实施例对自动化系统的具体类型不做限定。
在一种可能的实现方式中，所述操作主体的同一侧还分布有信息标志，所述信息标志中存储有所述操作主体的标识、所述操作主体的尺寸信息、所述操作对象的尺寸信息中的一种或多种。
其中，信息标志和参考标志可以为分离的两个标志，信息标志也可以集成在参考标志中。
第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括指令，当所述计算机可读存储介质在机器人上运行时，使得所述机器人执行如第一方面任一项所述的方法。
第六方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在机器人上运行时，所述机器人执行如第一方面任一项所述的方法。
第七方面，提供了一种芯片，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时用于实现上述第一方面任一项所述的方法。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例提供了一种确定操作对象位置的方法，该方法通过在操作主体上排布参考标志作为基准位置，并获取位于机器人上的相机拍摄的包含参考标志的全局图像，使得可以通过相机将操作主体的用户坐标系和机器人的工具坐标系相关联，从而，可以将操作对象在用户坐标系下的位置，转换为操作对象在机器人的工具坐标系下的位置，便于机器人后续根据操作对象在工具坐标系下的位置，运动到操作对象附近，对操作对象进行操作。
附图说明
图1是本申请实施例提供的一种操作环境的示意图；
图2是本申请实施例提供的一种全局图像的示意图；
图3是本申请实施例提供的一种确定操作对象位置的方法的流程图；
图4是本申请实施例提供的一种确定操作对象位置的方法的流程图；
图5是本申请实施例提供的一种确定操作对象的第一位置的方法的流程图；
图6是本申请实施例提供的一种确定操作对象的第一位置的方法的流程图；
图7是本申请实施例提供的一种全局图像的局部示意图；
图8是本申请实施例提供的一种局部图像的示意图。
图例说明
1、机器人，2、相机，3、操作主体，31、操作对象，32、参考标志，33、信息标志，4、测距装置。
具体实施方式
现网光纤配线架(optical distribution frame，ODF)机房，由于存量大及多年的不规范业务维护，造成光纤布局极度混乱、机房运维难度大、问题定位困难和闲置端口定位难等问题。同时，在工业5.0的时代背景下，ODF机房的智能化改造势在必行。要实现智能化，至少需要做到如下三点：
1、实现ODF机房的数字化，构建物理机房的数字镜像；
2、实现ODF机房的操作自动化，日常操作(如光纤插拔、清洗及更换等)由机器人代替人工；
3、实现ODF机房的智能化作业，故障自动诊断，业务远程下发，机器人根据对环境感知做出合适的自适应操作。
在实现ODF机房自动化作业的过程中，机器人需要借助视觉导引，感知复杂的机房环境，并精确计算机器人的运动参数，实时判断端口是否适合操作等。
基于上述需求，本申请实施例提供了一种确定操作对象位置的方法，该方法可以由机器人执行，以实现ODF机房的自动化作业。需要说明的是，本申请实施例提供的确定操作对象位置的方法，不仅仅可以应用在ODF机房中，还可以应用在任何有类似需求的场景中，例如，服务器机房、操作实验台等。
下面，先对本申请实施例涉及到的硬件进行示例性说明，如图1所示，涉及到的硬件包括机器人系统和操作主体3。
机器人系统包括机器人1、相机2和测距装置4，相机1和测距装置4固定在机器人1的机械臂上，且相机1的光轴、测距装置4的测距轴线和工具坐标系的某一坐标轴平行。本申请实施例对相机1和测距装置4的类型不做限定，示例性的，相机1可以为单目相机，测距装置4可以为激光测距仪。
操作主体3上具有至少一个操作对象31和参考标志32，示例性的，如图1所示，操作主体1上排布有参考标志32和多个相同的操作对象31。参考标志32可以为平面标志，参考标志32的某一顶点作为基准点，与操作主体3的基准点重合(该基准点可以为操作主体3的用户坐标系的坐标原点)。在布置参考标志32时，由于误差可能会使得参考标志32的基准点与操作主体3的基准点并不完全重合，则要求参考标志32的基准点和操作主体3的基准点的误差不超过操作对象31的尺寸的10％。
为了便于识别参考标志32，参考标志32可以采用颜色和简单形状相结合，例如，参考标志32的边缘采用的颜色与操作主体3的框架、参考标志32的主体部分的颜色均不同，示例性的，参考标志32的边缘的颜色为红色，参考标志32的主体部分的颜色为绿色。操作主体3上还可以排布有信息标志33，信息标志33可以为二维码和条形码等，信息标志33中可以存储有操作主体3的标识、操作主体3的尺寸信息和操作对象31的尺寸信息中的一种或多种。信息标志33可以集成在参考标志32中，也可以和参考标志32分开排布，本申请实施例不做限定。
为了便于理解，下面对本申请实施例涉及到的一些名词进行简要介绍：
工具中心点(tool centerpoint，TCP)：是指位于机器人末端的工具(例如，夹具、胶枪和焊枪)上的一个点。
工具坐标系：是指以机器人的工具中心点为原点建立的一个坐标系，用于描述机器人末端的工具的位置和姿态。机器人在对操作对象进行操作之前，首先需要确定操作对象在工具坐标系下的位置。本申请实施例提供的工具坐标系包括X轴、Y轴和Z轴，X轴、Y轴与操作对象31和参考标志32所在的操作平面平行，Z轴与操作平面垂直。
用户坐标系：与工具坐标系相对的一个概念，位于机器人需要操作的工件(例如，光纤配线架)上，也可以称为工件坐标系。本申请实施例提供的用户坐标系包括X轴、Y轴和Z轴，X轴、Y轴与操作平面平行，Z轴与操作平面垂直。
图3是本申请实施例示出的一种确定操作对象位置的方法的流程图，该方法可以应用在上述机器人1中，包括以下步骤：
步骤301，获取位于机器人1上的相机2拍摄的操作主体3的全局图像。
其中，操作主体3为机器人1的操作对象31所在的主体，操作主体3的同一侧分布有参考标志32和至少一个操作对象31，全局图像为包括参考标志32的图像。
步骤302，获取目标操作对象和参考标志32在操作主体3的用户坐标系下的位置。
其中，目标操作对象为至少一个操作对象31中需要操作的操作对象31。
步骤303，基于目标操作对象和参考标志32在用户坐标系下的位置、全局图像，以及机器人1的工具中心点与相机2的相机中心点的相对物理位置，确定目标操作对象在机器人1的工具坐标系下的第一位置。
图4是本申请实施例示出的另一种确定操作对象位置的方法的流程图，该方法可以应用在上述机器人1中，下面将结合具体实施方式，对该方法的处理流程进行更加详细的说明，包括以下步骤：
步骤401，获取位于机器人1上的相机2拍摄的操作主体3的全局图像。
其中，操作主体3为机器人1的操作对象31所在的主体，操作主体3的同一侧分布有参考标志32和至少一个操作对象31，全局图像为包括参考标志32的图像。
在拍摄全局图像时，可以先调整机器人1的姿态，使得机器人1的工具坐标系与操作主体3的用户坐标系的姿态角一致，保证是在相机2的光轴与操作主体3垂直时，拍摄全局图像。在工具坐标系和用户坐标系的姿态角一致时，用户坐标系的X轴、Y轴和Z轴分别与工具坐标系的X轴、Y轴与Z轴平行，且相机2的光轴与Z轴平行。
假设操作主体3的操作平面为X轴和Y轴所在的平面，Z轴与操作平面垂直。通过在工具坐标系与用户坐标系的姿态角一致的情况下，拍摄全局图像，使得在基于全局图像确定目标操作对象的位置时，不用考虑目标操作对象在工具坐标系的Z轴的坐标值(这一坐标值可以由测距装置直接测量得到)，而仅仅需要计算目标操作对象在工具坐标系的X轴和Y轴的坐标值，考虑到的参数数量较少，这样，后续根据全局图像确定的目标操作对象在工具坐标系下的位置更加精确(精度可以达到0.1mm级别)，且采用的算法也更加简单，处理速度也更快。
关于调整机器人1的姿态的方法本申请实施例不做具体限定，示例性的，可以采用测距装置4(激光测距仪)对机器人1的姿态进行调整。姿态调整的具体的过程可以如下所述：
首先，在机械臂运动时通过实时获取激光返回距离值，待到规定距离(即操作主体3的距离至)时，停止运动。
然后，在操作主体3上扫描获取三个深度值(距操作主体3的距离值)，计算获取机械臂工具中心点坐标系绕基座坐标的旋转角度，矫正姿态。
另外，除了调整机器人1的姿态之外，为了使得操作主体3能够更好的呈现在全局图像中，则可以确定第一拍摄位置，并在第一拍摄位置拍摄全局图像。其中，第一拍摄位置包括第一拍摄距离，第一拍摄距离也即相机2拍摄全局图像时，距离操作主体3的距离。
关于第一拍摄距离的确定方式，本申请实施例不做限定。示例性的，第一拍摄距离可以保证操作主体3以足够大的比例完整的呈现在全局图像中，第一拍摄距离可以是根据操作主体3的尺寸信息和相机的参数信息计算得到的。
在一种具体的实现方式中，第一拍摄距离可以是一个预先确定的值。其可以是一个经验值，也可以是根据操作主体3的尺寸信息预先计算出来的值。例如，当机器人1应用在某些固定的场景中时，操作主体3和操作对象31的尺寸信息已经确定，则可以直接根据上述尺寸信以及相机2的工作参数信息，计算得到第一拍摄距离。然后，当每次机器人1拍摄全局图像时，可以均按照该第一拍摄距离拍摄全局图像。
在另一种具体的实现方式中，机器人1每次拍摄全局图像之前，可以均先获取操作主体3的尺寸信息。然后，基于操作主体3的尺寸信息和相机2的参数信息，确定第一拍摄位置。控制相机2移动至第一拍摄位置，并在第一拍摄位置拍摄全局图像。
另外，第一拍摄位置还可以包括相机2在X轴和Y轴的坐标值，相机2在X轴和Y轴的坐标值可以是相机2图像识别到操作主体3全部呈现在全局图像中时确定的。可以理解的是，由于相机2在X轴和Y轴的坐标值不是一个精度要求很高的值，所以，可以采用很多种方法保证操作主体3完整的呈现在全局图像中，本申请实施例对此不再赘述。
关于操作主体3的尺寸信息的获取方式，本申请实施例不做具体限定。
在一种具体的实现方式中，操作主体3的同一侧还分布有第一信息标志，第一信息标志为存储有操作主体3的尺寸信息的标志，全局图像还包括第一信息标志。则机器人1可以识别第一信息标志，获取第一信息标志存储的操作主体3的尺寸信息。第一信息标志和参考标志32可以分别分布在操作主体31上，第一信息标志也可以集成在参考标志32中，本申请实施例对此不做具体限定。
步骤402，获取目标操作对象和参考标志32在操作主体3的用户坐标系下的位置。
其中，目标操作对象为至少一个操作对象31中需要操作的操作对象31。
目标操作对象和参考标志32在操作主体3的用户坐标系下的位置，也可以理解为是目标操作对象和参考标志32的相对位置。
在某些情况下，参考标志32的位置被确定为基准位置(如用户坐标系的坐标原点)，则此时获取到目标操作对象在用户坐标系下的位置，应当认为是获取到了目标操作对象和参考标志32在用户坐标系下的位置。可以理解的是，目标操作对象和参考标志32在操作主体3的用户坐标系下的位置为物理位置。
关于目标操作对象和参考标志32在用户坐标系下的位置的获取方法，本申请实施例不做限定。在一种具体的实现方式中，目标操作对象和参考标志32在用户坐标系下的位置，可以是从上位机获取到的。
示例性的，从上位机获取目标操作对象和参考标志32在用户坐标系下的位置的过程可以如下所述，机器人1先获取到操作主体3的标识，然后向上位机发送携带有操作主体3的标识的操作指令获取请求。上位机接收到操作指令获取请求之后，基于操作主体3的标识，向机器人1发送操作指令，在操作指令中携带有目标操作对象和参考标志32在用户坐标系下的位置。之后，机器人接收该操作指令，即可获取到参考标志32和目标操作对象在用户坐标系下的位置。
需要说明的是，目标操作对象的确定，以及需要对目标操作对象进行操作的操作类型，也可以是在获取目标操作对象和参考标志32在用户坐标系下的位置时确定的。在获取到目标操作对象和参考标志32在用户坐标系的位置之前，机器人1不确定目标操作对象，也不确定需要对目标操作对象的操作的操作类型。这些信息可以均携带在上位机的操作指令中。
关于操作主体3的标识的获取方式，本申请实施例不做限定。
在一种具体的实现方式中，操作主体3的同一侧还分布有第二信息标志，第二信息标志为存储有操作主体3的标识的标志。则机器人1可以通过识别第二信息标志，获取操作主体3的标识。第二信息标志的识别可以是在全局图像中进行的，也可以是在拍摄全局图像之前，相机2扫描过程中进行的。第二信息标志可以与前述第一信息标志为同一信息标志(如图2中的信息标志33)，也可以与第二信息标志为分离的标志。
当然，以上目标操作对象和参考标志32在用户坐标系下的位置获取方式，以及操作主体3的标识的获取方式，仅仅是示例性说明，并不构成对本申请实施例的限定。在实际应用中，也可以采用其余方式对上述内容进行获取。
步骤403、基于目标操作对象和参考标志32在操作主体3的用户坐标系下的位置，以及全局图像对应的物理尺寸和像素尺寸的映射比例，在全局图像中确定目标操作对象，并识别目标操作对象能否被机器人1操作。
其中，全局图像为包括目标操作对象和参考标志32的图像。全局图像对应的物理尺寸和像素尺寸的映射比例，可以是通过参考标志32的物理尺寸和像素尺寸计算得到的。
在获取到目标操作对象和参考标志32在用户坐标系下的位置，以及拍摄得到全局图像之后，可以根据目标操作对象和参考标志32的相对物理位置，根据映射比例，计算得到目标操作对象和参考标志32在全局图像中的相对像素位置。
然后，根据参考标志32在全局图像中的像素位置，以及该相对像素位置，在全局图像中找出满足该相对像素位置的操作对象31，并确定该操作对象31为目标操作对象。
之后，采用图像识别算法，识别目标操作对象能否内机器人操作，例如，是否被遮挡或损坏等。如果识别出目标操作对象能够被机器人1操作，则转至执行步骤404；否则，可以不再进行后续处理，以便节约计算机资源，因为在这种情况下即使确定出了目标操作对象在工具坐标系下的位置，也不能够进行后续的操作。
步骤404，基于目标操作对象和参考标志32在用户坐标系下的位置、全局图像，以及机器人1的工具中心点与相机2的相机中心点的相对物理位置，确定目标操作对象在机器人1的工具坐标系下的第一位置。
其中，机器人1的工具中心点与相机2的相机中心点的相对物理位置，在相机2安装完成之后就可以确定，这一相对物理位置可以存储在机器人1中。
确定目标操作对象在机器人1的工具坐标系下的第一位置的确定过程可以如下所述：
首先，在全局图像中确定参考标志32的像素位置和像素尺寸。
然后，基于参考标志32的像素尺寸和参考标志32的物理尺寸，确定物理尺寸和像素尺寸的映射比例。
最后，基于目标操作对象和参考标志32在用户坐标系下的位置、参考标志32在全局图像中的像素位置、映射比例，以及工具中心点与相机中心点的相对物理位置，确定目标操作对象在工具坐标系下的第一位置。
为了更好的理解本申请，下面，对目标操作对象在工具坐标系下的第一位置的确定过程进行更加详细的示例性说明：
如图5所示，提供了一种确定目标操作对象在工具坐标系下的第一位置的一种可能的实现方式。
步骤404a，基于全局图像的图像中心点、参考标志32在全局图像中的像素位置，以及映射比例，确定相机中心点与参考标志32的相对物理位置。
其中，图像中心点为相机中心点在全局图像的映射点。
在实施中，基于全局图像的图像中心点和参考标志32在全局图像中的像素位置，能够确定图像中心点和参考标志32的相对像素位置。然后，根据映射比例，将相对像素位置映射至相对物理位置，即得到相机中心点与参考标志32的相对物理位置。
步骤404b，基于相机中心点与参考标志32的相对物理位置，以及工具中心点与相机中心点的相对物理位置，确定工具中心点与参考标志32的相对物理位置。
步骤404c，基于工具中心点与参考标志32的相对物理位置，以及目标操作对象和参考标志32在用户坐标系下的位置，确定目标操作对象在工具坐标系下的第一位置。
如图6所示，提供了另一种确定目标操作对象在工具坐标系下的第一位置的可能的实现方式。
步骤404A，基于目标操作对象和参考标志32在用户坐标系下的位置、参考标志32在全局图像中的像素位置，以及映射比例，确定目标操作对象在全局图像中的像素位置。
步骤404B，基于全局图像的图像中心点、目标操作对象在全局图像中的像素位置，以及映射比例，确定相机中心点与目标操作对象的相对物理位置。
其中，图像中心点为相机中心点在全局图像的映射点。
步骤404C，基于相机中心点与目标操作对象的相对物理位置，以及工具中心点与相机中心点的相对物理位置，确定目标操作对象在工具坐标系下的第一位置。
需要说明的是，以上两种实现方式并不是所有的实现方式，本领域技术人员可以理解，还可以采用其余实现方式，来基于目标操作对象和参考标志32在用户坐标系下的位置、参考标志32在全局图像中的像素位置、映射比例，以及工具中心点与相机中心点的相对物理位置，确定目标操作对象在工具坐标系下的第一位置。
还需要补充的是，第一位置包括目标操作对象在X轴、Y轴和Z轴的位置，基于目标操作对象和参考标志在用户坐标系下的位置、全局图像，以及机器人的工具中心点与相机的相机中心点的相对物理位置，可以确定出目标操作对象在X轴和Y轴的位置。
而目标操作对象在工具坐标系的Z轴的位置可以由测距装置4测量得到。
示例性的，在一种具体的实现方式中，在测距装置4测量目标操作对象在Z轴的位置时，机器人1带动测距装置4先移动到与目标操作对象相对的位置，然后直接测量距目标操作对象的距离(也即目标操作对象在Z轴的位置)。在另一种具体的实现方式中，也可以是测距装置4测量得到距操作主体3的操作平面的距离，然后，基于预先存储的目标操作对象相对于操作平面的距离(例如，目标操作对象可以相对于操作平面凸出某一长度)，确定目标操作对象在Z轴的位置。
在确定目标操作对象在工具坐标系下的第一位置之后，在一种具体的实现方式中，可以确定作业位置，并控制机器人1移动至作业位置，并在作业位置对目标操作对象进行操作。
在另一种具体的实现方式中，在某些对精度要求非常高的场景，例如，精度要求达到0.1mm的场景，可能确定出的第一位置的误差较大，则可以转至执行步骤405和406，以确定目标操作对象在工具坐标系下更加精确的位置。
步骤405，基于目标操作对象在机器人1的工具坐标系下的第一位置，确定第二拍摄位置，控制相机2移动至第二拍摄位置，并在第二拍摄位置拍摄包含目标操作对象的局部图像。
本申请实施例所示的方案，相机中心点在第二拍摄位置的X轴和Y轴的坐标可以与目标操作对象的中心点在X轴和Y轴的坐标相同，其中，X轴和Y轴与操作主体3的操作平面平行，Z轴与操作主体3的操作平面垂直。也即，尽可能的保证相机2正对目标操作对象拍摄局部图像。
需要说明的是，步骤405确定出的相机中心点在第二拍摄位置的X轴和Y轴的坐标与目标操作对象的中心点在X轴和Y轴的坐标相同，并不意味着相机中心点与目标操作对象的中心点在X轴和Y轴的实际坐标值相同，因为，确定出的目标操作对象的中心点在X轴和Y轴的坐标可能存在误差，并不是真实值。
另外，确定出的第二拍摄位置除了包括在X轴和Y轴的坐标之外，还可以确定出在Z轴的坐标值(或称为第二拍摄距离)。示例性的，第二拍摄距离应可以保证目标操作对象以足够大的比例，呈现在局部图像中，第二拍摄距离可以是根据目标操作对象的尺寸信息和相机2的参数信息计算得到的。
在一种具体的实现方式中，第二拍摄距离可以是一个经验值，或是，预先计算出来的确定值。则在确定第二拍摄位置时，可以获取预先存储的第二拍摄距离。
在另一种具体的实现方式中，第二拍摄距离也可以是实时计算得到的，处理过程可以如下所述：获取目标操作对象的尺寸信息，基于目标操作对象的尺寸信息、相机2的参数信息和第一位置，确定第二拍摄位置。
其中，目标操作对象的尺寸信息可以是上位机发送的，也可以是存在信息标志中，本申请实施例不做限定。当目标操作对象的尺寸信息存储在信息标志中时，该信息标志可以和前述第一信息标志、第二信息标志为同一信息标志，可以均集成在参考标志32中。
步骤406，基于局部图像，确定目标操作对象在机器人1的工具坐标系下的第二位置。
以相机中心点在第二拍摄位置的X轴和Y轴的坐标值与目标操作对象的中心点在X轴和Y轴的坐标值(步骤405确定)相同为例，对步骤406的处理过程进行说明。
首先，在局部图像中确定目标操作对象的中心点和图像中心点的相对像素位置。
然后，基于目标操作对象的中心点和图像中心点的相对像素位置，以及局部图像对应的物理尺寸和像素尺寸的映射比例，确定目标操作对象在所述工具坐标系下的第二位置。
如果目标操作对象和图像中心点的相对像素位置相同，则说明相机中心点与目标操作对象的中心点正对，确定出的第一位置没有误差。而如果目标操作对象和图像中心点的相对像素位置不同，则说明相机中心点与目标操作对象偏离，之前确定出的第一位置存在误差，目标操作对象的中心点和图像中心点的相对物理位置即为误差值。
示例性的，可以通过下述公式计算目标操作对象的中心点和相机中心点的相对物理位置：
Figure BDA0002808057690000131
其中，如图8所示，O′(xo′,yo′)为目标操作对象的中心点在局部图像中的像素位置，O(xo,yo)为局部图像的的图像中心点，δx和δy为确定出的相对物理位置，Δ′x和Δ′y为局部图像对应的物理尺寸和像素尺寸的映射比例。
关于局部图像对应的物理尺寸和像素尺寸的映射比例的确定方法，本申请实施例不做限定。在一种具体的实现方式中，确定映射比例的方法的过程，可以如下所述：
首先，基于参考标志32在全局图像的像素尺寸和参考标志32的物理尺寸，确定全局图像对应的物理尺寸和像素尺寸的映射比例。
示例性的，可以按照如下公式确定全局图像对应的映射比例：
Figure BDA0002808057690000141
其中，Xo和Yo是已知的参考标志32的物理尺寸，如图7所示，a(xa,ya)、b(xb,yb)、c(xc,yc)是参考标志32在全局图像的像素坐标，Δx和Δy是全局图像对应的物理尺寸和像素尺寸的映射比例。
然后，基于目标操作对象在全局图像的像素尺寸，以及全局图像对应的物理尺寸和像素尺寸的映射比例，确定目标操作对象的物理尺寸。
Figure BDA0002808057690000142
其中，Xp和Yp是计算得到的目标操作对象的物理尺寸，该计算出的物理尺寸和数据库中存储的理论物理尺寸存在差别。a′(xa′,ya′)、b′(xb′,yb′)、c′(xc′,yc′)是目标操作对象在全局图像中的像素坐标。
最后，基于目标操作对象的物理尺寸和目标操作对象在局部图像中的像素尺寸，确定局部图像对应的物理尺寸和像素尺寸的映射比例。
Figure BDA0002808057690000143
其中，Δ′x和Δ′y是局部图像对应的物理尺寸和像素尺寸的映射比例，a′(x′a′,y′a′),b′(x′b′,y′b′),c′(x′c′,y′c′)是目标操作对象在局部图像中的像素坐标。
在另一种可能的实现方式中，也可以采用预先存储的目标操作对象的理论物理尺寸和目标操作对象的像素尺寸相除，得到局部图像对应的物理尺寸和像素尺寸的映射比例。
需要说明的是，第二位置包括目标操作对象在X轴、Y轴和Z轴的位置，基于目标操作对象和参考标志在用户坐标系下的位置、全局图像，以及机器人的工具中心点与相机的相机中心点的相对物理位置，可以确定出目标操作对象在X轴和Y轴的位置。
而目标操作对象在工具坐标系的Z轴的位置可以由测距装置4测量得到。
示例性的，在一种具体的实现方式中，在测距装置4测量目标操作对象在Z轴的位置时，机器人1带动测距装置4先移动到与目标操作对象相对的位置，然后直接测量距目标操作对象的距离(也即目标操作对象在Z轴的位置)。
还需要说明的是，步骤403、步骤405和步骤406为可选步骤，本领域技术人员可以理解，当确定出的目标操作对象在工具坐标系下的第一位置满足精度要求时，则可以不必进行后续步骤405和步骤406的处理。另外，在某些场景下，也可以不必采用步骤403的处理，识别目标操作对象能否被机器人操作。还需要说明的是，步骤401和步骤402的顺序可以互换。
综上，本申请实施例提供的确定操作对象位置的方法，至少具有以下有益效果：
通过视觉获取工具中心点到参考标志的相对位置，效率高。利用高清单目相机，在特定姿态情况下，可以获取μm级的导引精度，且单目相机的价格便宜，对应的算法简单。目标操作对象局部拍摄，并基于局部图像计算目标操作对象的精确位置，提高操作准确度，且局部拍摄加先验知识的方法，比全局拍摄算法复杂度低。
下面，结合具体的场景，对本申请实施例进行说明。
本申请实施例提供的确定操作对象位置的方法，可以应用在运营商传送网和接入网机房中。对于运营商传送网或接入网机房的各种机框，包括朗讯连接器(lucentconnector or local connector，LC)头斜插机框、方形连接器(square connector，SC)头直插机框和SC头斜插机框等，只要在机框操作平面上或与其邻近的平行操作平面上(如机架)存在能布置参考标志31的平面(例如，35mmx35mm的平面)，且机框有模板先验知识，则本申请实施例提供的方法均能精确导引机械臂等可移动操作设备到目标位置，精度达到μm级。
下面，对本申请实施例提供的确定操作对象位置的方法进行说明：
(1)机器人1上电并且带动相机2运动到机框的参考标志32附近，在距离机框200mm-300mm范围内停止运动，相机2拍摄全局图像；
(2)通过识别参考标志32，获取机框编号、相邻像素之间对应的物理距离，以及参考标志32的像素位置；
(3)用机框编号和上位机交互，获取要操作的端口与参考标志32的相对物理位置，同时，获取具体的操作类型，如光纤插拔、端口检测和端口清洁操作等；
(4)根据图像识别，判断端口是否被遮挡，如果遮挡则结束程序，如果不遮挡则进行下一步的处理；
(5)根据端口与参考标志32的相对物理位置、相机中心点到参考标志32的位置差值及相机中心点与工具中心点的相对位置，确定第一位置，并根据第一位置运动到要操作的端口附近；
(6)拍摄局部图像(在距端口180mm-220mm范围内拍摄)，确定端口在工具坐标系下的第二位置；
(7)根据测距装置4完成端口距离工具中心点的距离测量，最后机器人1运动到目标作业位置，完成操作动作。
另外，本申请实施例提供的确定操作对象位置的方法，还可以用于在实验台进行高精度自动化操作的导引定位，包括为试剂盒逐一添加试剂、更换试剂管和实验仪器端口插拔等。
在实验台规划出各项实验操作的矩形操作空间，在操作空间内部标记位置布置参考标志32，参考标志32内部二维码存储操作空间编号、操作空间尺度、参考标志32在操作空间的位置坐标、参考标志32尺度、试剂盒等操作对象尺度、以及操作对象的模板先验知识。
下面，对本申请实施例提供的确定操作对象位置的方案进行说明：
(1)机器人1上电移动到参考标志32位置附近，调整拍摄距离使识别出参考标志32内部信息标志，获取操作空间尺度、参考标志尺度和操作对象尺度，按照这三种尺度计算出最佳拍摄距离并移动，使操作主体以合适比例完整出现在拍摄图像当中。同时，按照拍摄距离设置相机焦距，保证拍摄高清图像；
(2)获取操作对象模板先验知识和参考标志32对应的像素位置，并计算相邻像素之间对应的物理距离；
(3)用操作空间编号和上位机交互，获取要操作的操作对象距参考标志32的坐标值，同时获取对应操作对象的具体指令；
(4)机器人1根据操作指令对应的操作对象、相机中心点到参考标志32的位置差值及相机中心点到工具中心点的位置等信息运动到操作对象附近，结合操作对象尺度计算端口前端最佳拍摄距离，并移动到该距离拍摄端口；
(5)根据拍摄的局部图像，对操作对象的第一位置进行精度插补；
(6)最后机器人1运动到作业位置，完成操作动作，并恢复到初始位置。
本申请实施例还提供了一种机器人，该机器人包括处理器和存储器。存储器存储有一个或多个程序，该一个或多个程序被配置成由处理器执行，用于实现上述本申请实施例提供的确定操作对象位置的方法。
本申请实施例还提供了一种机器人系统，如图1所示，机器人系统包括机器人1、相机2和测距装置4。相机2和测距装置4固定在机器人1的机械臂上。
本申请实施例还提供了一种自动化系统，如图1所示，自动化系统包括操作主体3和上述机器人系统。操作主体3的同一侧分布有至少一个操作对象31和参考标志32。
在一种具体的实现方式中，操作主体3的同一侧还分布有信息标志，该信息标志中存储有操作主体3的标识、操作主体3的尺寸信息、操作对象31的尺寸信息中的一种或多种。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质包括指令，当计算机可读存储介质在机器人上运行时，使得机器人执行本申请实施例提供的确定操作对象位置的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当计算机程序产品在机器人上运行时，机器人执行本申请实施例提供的确定操作对象位置的方法。
本申请实施例还提供了一种芯片，该芯片包括可编程逻辑电路和/或程序指令，当芯片运行时用于实现本申请实施例提供的确定操作对象位置的方法。
在本申请实施例中，术语“第一”和“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (19)

1.一种确定操作对象位置的方法，其特征在于，所述方法应用在机器人(1)中，所述方法包括：
获取位于所述机器人(1)上的相机(2)拍摄的操作主体(3)的全局图像，所述操作主体(3)为所述机器人(1)的操作对象(31)所在的主体，所述操作主体(3)的同一侧分布有参考标志(32)和至少一个所述操作对象(31)，所述全局图像为包括所述参考标志(32)的图像；
获取目标操作对象和所述参考标志(32)在所述操作主体(3)的用户坐标系下的位置，所述目标操作对象为至少一个所述操作对象(31)中需要操作的操作对象(31)；
基于所述目标操作对象和所述参考标志(32)在所述用户坐标系下的位置、所述全局图像，以及所述机器人(1)的工具中心点与所述相机(2)的相机中心点的相对物理位置，确定所述目标操作对象在所述机器人(1)的工具坐标系下的第一位置。
2.根据权利要求1所述的方法，其特征在于，所述获取位于所述机器人(1)上的相机(2)拍摄的操作主体(3)的全局图像，包括：
调整所述机器人(1)的姿态，使得所述机器人(1)的工具坐标系与所述操作主体(3)的用户坐标系的姿态角一致；
控制所述相机(2)拍摄所述操作主体(3)的全局图像。
3.根据权利要求2所述的方法，其特征在于，所述工具坐标系包括X轴、Y轴和Z轴，所述X轴、所述Y轴与所述操作对象(31)和所述参考标志(32)所在的操作平面平行，所述Z轴与所述操作平面垂直，所述基于所述目标操作对象和所述参考标志(32)在所述用户坐标系下的位置、所述全局图像，以及所述机器人(1)的工具中心点与所述相机(2)的相机中心点的相对物理位置，确定所述目标操作对象在所述机器人(1)的工具坐标系下的第一位置，包括：
基于所述目标操作对象和所述参考标志(32)在所述用户坐标系下的位置、所述全局图像，以及所述机器人(1)的工具中心点与所述相机(2)的相机中心点的相对物理位置，确定所述目标操作对象在所述X轴和所述Y轴的位置；
获取位于所述机器人(1)上的测距装置(4)测量的所述目标操作对象在所述Z轴的位置。
4.根据权利要求2或3所述的方法，其特征在于，所述控制所述相机(2)拍摄所述操作主体(3)的全局图像，包括：
获取所述操作主体(3)的尺寸信息；
基于所述操作主体(3)的尺寸信息和所述相机(2)的参数信息，确定第一拍摄位置；
控制所述相机(2)移动至所述第一拍摄位置，并在所述第一拍摄位置拍摄所述全局图像。
5.根据权利要求4所述的方法，其特征在于，所述操作主体(3)的同一侧还分布有第一信息标志，所述第一信息标志为存储有所述操作主体(3)的尺寸信息的标志，所述获取所述操作主体(3)的尺寸信息，包括：
识别所述第一信息标志，获取所述操作主体(3)的尺寸信息。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述获取目标操作对象和所述参考标志(32)在所述操作主体(3)的用户坐标系下的位置，包括：
获取所述操作主体(3)的标识；
向上位机发送携带有所述操作主体(3)的标识的操作指令获取请求；
接收所述上位机发送的操作指令，所述操作指令中携带有所述目标操作对象和所述参考标志(32)在所述用户坐标系下的位置。
7.根据权利要求6所述的方法，其特征在于，所述操作主体(3)的同一侧还分布有第二信息标志，所述第二信息标志为存储有所述操作主体(3)的标识的标志，所述获取所述操作主体(3)的标识，包括：
识别所述第二信息标志，获取所述操作主体(3)的标识。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述基于所述目标操作对象和所述参考标志(32)在所述用户坐标系下的位置、所述全局图像，以及所述机器人(1)的工具中心点与所述相机(2)的相机中心点的相对物理位置，确定所述目标操作对象在所述机器人(1)的工具坐标系下的第一位置，包括：
在所述全局图像中确定所述参考标志(32)的像素位置和像素尺寸；
基于所述参考标志(32)的像素尺寸和所述参考标志(32)的物理尺寸，确定物理尺寸和像素尺寸的映射比例；
基于所述目标操作对象和所述参考标志(32)在所述用户坐标系下的位置、所述参考标志(32)在所述全局图像中的像素位置、所述映射比例，以及所述工具中心点与所述相机中心点的相对物理位置，确定所述目标操作对象在所述工具坐标系下的第一位置。
9.根据权利要求8所述的方法，其特征在于，所述基于所述目标操作对象和所述参考标志(32)在所述用户坐标系下的位置、所述参考标志(32)在所述全局图像中的像素位置、所述映射比例，以及所述工具中心点与所述相机中心点的相对物理位置，确定所述目标操作对象在所述工具坐标系下的第一位置，包括：
基于所述全局图像的图像中心点、所述参考标志(32)在所述全局图像中的像素位置，以及所述映射比例，确定所述相机中心点与所述参考标志(32)的相对物理位置，其中，所述图像中心点为所述相机中心点在所述全局图像的映射点；
基于所述相机中心点与所述参考标志(32)的相对物理位置，以及所述工具中心点与所述相机中心点的相对物理位置，确定所述工具中心点与所述参考标志(32)的相对物理位置；
基于所述工具中心点与所述参考标志(32)的相对物理位置，以及所述目标操作对象和所述参考标志(32)在所述用户坐标系下的位置，确定所述目标操作对象在所述工具坐标系下的第一位置。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述确定所述目标操作对象在所述机器人(1)的工具坐标系下的第一位置之后，所述方法还包括：
基于所述目标操作对象在所述机器人(1)的工具坐标系下的第一位置，确定第二拍摄位置；
控制所述相机(2)移动至所述第二拍摄位置，并在所述第二拍摄位置拍摄包含所述目标操作对象的局部图像；
基于所述局部图像，确定所述目标操作对象在所述机器人(1)的工具坐标系下的第二位置。
11.根据权利要求10所述的方法，其特征在于，所述基于所述局部图像，确定所述目标操作对象在所述机器人(1)的工具坐标系下的第二位置，包括：
基于所述局部图像，确定所述目标操作对象在所述工具坐标系的X轴和Y轴的位置；
获取位于所述机器人(1)上的测距装置(4)测量的所述目标操作对象在所述工具坐标系的Z轴的位置。
12.根据权利要求10或11所述的方法，其特征在于，所述基于所述目标操作对象在所述机器人(1)的工具坐标系下的第一位置，确定第二拍摄位置，包括：
获取所述目标操作对象的尺寸信息；
基于所述目标操作对象的尺寸信息、所述相机(2)的参数信息和所述第一位置，确定所述第二拍摄位置。
13.根据权利要求10-12任一项所述的方法，其特征在于，所述基于所述局部图像，确定所述目标操作对象在所述机器人(1)的工具坐标系下的第二位置，包括：
在所述局部图像中确定所述目标操作对象的中心点和图像中心点的相对像素位置；
基于所述目标操作对象的中心点和图像中心点的相对像素位置，以及所述局部图像对应的物理尺寸和像素尺寸的映射比例，确定所述目标操作对象在所述工具坐标系下的第二位置。
14.根据权利要求13所述的方法，其特征在于，所述全局图像还包括所述目标操作对象，所述基于所述目标操作对象的中心点和图像中心点的相对像素位置，以及所述局部图像对应的物理尺寸和像素尺寸的映射比例，确定所述目标操作对象在所述工具坐标系下的第二位置之前，所述方法还包括：
基于所述参考标志(32)在所述全局图像的像素尺寸和所述参考标志(32)的物理尺寸，确定所述全局图像对应的物理尺寸和像素尺寸的映射比例；
基于所述目标操作对象在所述全局图像的像素尺寸，以及所述全局图像对应的物理尺寸和像素尺寸的映射比例，确定所述目标操作对象的物理尺寸；
基于所述目标操作对象的物理尺寸和所述目标操作对象在所述局部图像中的像素尺寸，确定所述局部图像对应的物理尺寸和像素尺寸的映射比例。
15.根据权利要求1-14任一项所述的方法，其特征在于，所述全局图像还包括所述目标操作对象，所述获取目标操作对象和所述参考标志(32)在所述操作主体(3)的用户坐标系下的位置之后，所述方法还包括：
基于所述目标操作对象和所述参考标志(32)在所述操作主体(3)的用户坐标系下的位置，以及所述全局图像对应的物理尺寸和像素尺寸的映射比例，在所述全局图像中确定所述目标操作对象；
如果识别出所述目标操作对象能够被所述机器人(1)操作，则执行所述确定所述目标操作对象在所述机器人(1)的工具坐标系下的第一位置的处理。
16.一种机器人，其特征在于，所述机器人包括处理器和存储器；
所述存储器存储有一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，用于实现如权利要求1-15任一项所述的方法。
17.一种机器人系统，其特征在于，所述机器人系统包括机器人(1)、相机(2)和测距装置(4)，所述机器人(1)为如权利要求16所述的机器人；
所述相机(2)和所述测距装置(4)固定在所述机器人(1)的机械臂上。
18.一种自动化系统，其特征在于，所述自动化系统包括操作主体(3)和如权利要求17所述的机器人系统；
所述操作主体(3)的同一侧分布有至少一个操作对象(31)和参考标志(32)。
19.根据权利要求18所述的自动化系统，其特征在于，所述操作主体(3)的同一侧还分布有信息标志，所述信息标志中存储有所述操作主体(3)的标识、所述操作主体(3)的尺寸信息、所述操作对象(31)的尺寸信息中的一种或多种。
CN202011379352.4A 2020-11-30 2020-11-30 确定操作对象位置的方法、机器人和自动化系统 Pending CN112529856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011379352.4A CN112529856A (zh) 2020-11-30 2020-11-30 确定操作对象位置的方法、机器人和自动化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011379352.4A CN112529856A (zh) 2020-11-30 2020-11-30 确定操作对象位置的方法、机器人和自动化系统

Publications (1)

Publication Number Publication Date
CN112529856A true CN112529856A (zh) 2021-03-19

Family

ID=74995505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011379352.4A Pending CN112529856A (zh) 2020-11-30 2020-11-30 确定操作对象位置的方法、机器人和自动化系统

Country Status (1)

Country Link
CN (1) CN112529856A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991742A (zh) * 2021-04-21 2021-06-18 四川见山科技有限责任公司 一种实时交通数据的可视化仿真方法及系统
CN115127452A (zh) * 2022-09-02 2022-09-30 苏州鼎纳自动化技术有限公司 一种笔记本电脑外壳尺寸检测方法、系统和存储介质
CN115533894A (zh) * 2022-09-14 2022-12-30 北京卫星制造厂有限公司 一种面向大型卫星结构的机器人数控加工方法和设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011119935A2 (en) * 2010-03-25 2011-09-29 The General Hospital Corporation Systems and methods for improved tractographic processing
CN102622764A (zh) * 2012-02-23 2012-08-01 大连民族学院 一种基于移动相机平台的目标跟踪方法
WO2013182811A1 (fr) * 2012-06-07 2013-12-12 Nexter Systems Robot roulant comprenant un bras
CN107656343A (zh) * 2017-11-03 2018-02-02 南京华脉科技股份有限公司 一种实现自动光纤配线的装置和方法
US20180098700A1 (en) * 2016-10-12 2018-04-12 Mint Labs Inc. Systems and methods for improved tractography images
CN110465946A (zh) * 2019-08-19 2019-11-19 珞石（北京）科技有限公司 简易便捷的像素坐标与机器人坐标关系标定方法
CN111968177A (zh) * 2020-07-22 2020-11-20 东南大学 一种基于固定摄像头视觉的移动机器人定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011119935A2 (en) * 2010-03-25 2011-09-29 The General Hospital Corporation Systems and methods for improved tractographic processing
CN102622764A (zh) * 2012-02-23 2012-08-01 大连民族学院 一种基于移动相机平台的目标跟踪方法
WO2013182811A1 (fr) * 2012-06-07 2013-12-12 Nexter Systems Robot roulant comprenant un bras
US20180098700A1 (en) * 2016-10-12 2018-04-12 Mint Labs Inc. Systems and methods for improved tractography images
CN107656343A (zh) * 2017-11-03 2018-02-02 南京华脉科技股份有限公司 一种实现自动光纤配线的装置和方法
CN110465946A (zh) * 2019-08-19 2019-11-19 珞石（北京）科技有限公司 简易便捷的像素坐标与机器人坐标关系标定方法
CN111968177A (zh) * 2020-07-22 2020-11-20 东南大学 一种基于固定摄像头视觉的移动机器人定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王一羽: ""面向柔性线缆插线过程的自适应模糊力/位姿控制策略研究"", 《中国优秀硕士学位论文全文数据库（工程科技Ⅱ辑）》, 16 January 2020 (2020-01-16) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991742A (zh) * 2021-04-21 2021-06-18 四川见山科技有限责任公司 一种实时交通数据的可视化仿真方法及系统
CN115127452A (zh) * 2022-09-02 2022-09-30 苏州鼎纳自动化技术有限公司 一种笔记本电脑外壳尺寸检测方法、系统和存储介质
CN115127452B (zh) * 2022-09-02 2022-12-09 苏州鼎纳自动化技术有限公司 一种笔记本电脑外壳尺寸检测方法、系统和存储介质
CN115533894A (zh) * 2022-09-14 2022-12-30 北京卫星制造厂有限公司 一种面向大型卫星结构的机器人数控加工方法和设备

Similar Documents

Publication Publication Date Title
US11049280B2 (en) System and method for tying together machine vision coordinate spaces in a guided assembly environment
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
US9124873B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
CN112529856A (zh) 确定操作对象位置的方法、机器人和自动化系统
CN110276799B (zh) 一种坐标标定方法、标定系统及机械臂
CN105547153B (zh) 基于双目视觉的插件元件针脚视觉定位方法及装置
CN111482964A (zh) 一种新的机器人手眼标定方法
US10591289B2 (en) Method for measuring an artefact
CN116619350A (zh) 一种基于双目视觉测量的机器人误差标定方法
CN113302027B (zh) 作业坐标生成装置
CN116758160B (zh) 基于正交视觉系统的光学元件装配过程位姿检测方法及装配方法
CN116276938B (zh) 基于多零位视觉引导的机械臂定位误差补偿方法及装置
CN112059983A (zh) 一种用于装配工件的方法、装置及计算机可读介质
Cheng et al. Integration of 3D stereo vision measurements in industrial robot applications
JP2010214546A (ja) 組立装置および組立方法
CN113858214A (zh) 一种用于机器人作业的定位方法与控制系统
CN115393299A (zh) 一种基于单目视觉的流水线工件距离测量方法以及装置
CN111474935B (zh) 一种移动机器人路径规划和定位方法、装置及系统
TW201923498A (zh) 自走設備的控制方法
CN116188597A (zh) 基于双目相机和机械臂的自动标定方法及系统、存储介质
EP3708309A1 (en) A method for determining positional error within a robotic cell environment
CN114248293A (zh) 一种基于2d激光轮廓仪与2d相机的带孔零件抓取方法及系统
CN115136198A (zh) 一种坐标系校准方法、示教板和突出部
KR100439713B1 (ko) 정밀위치작업장치 및 그 캘리브레이션방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination