[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114549641B - 一种人手-机器人接触状态检测系统及方法 - Google Patents

一种人手-机器人接触状态检测系统及方法 Download PDF

Info

Publication number
CN114549641B
CN114549641B CN202210106559.7A CN202210106559A CN114549641B CN 114549641 B CN114549641 B CN 114549641B CN 202210106559 A CN202210106559 A CN 202210106559A CN 114549641 B CN114549641 B CN 114549641B
Authority
CN
China
Prior art keywords
target
depth
virtual
camera
synthesized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210106559.7A
Other languages
English (en)
Other versions
CN114549641A (zh
Inventor
陈成军
潘勇
李东年
郭阳
官源林
张庆海
赵正旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202210106559.7A priority Critical patent/CN114549641B/zh
Publication of CN114549641A publication Critical patent/CN114549641A/zh
Application granted granted Critical
Publication of CN114549641B publication Critical patent/CN114549641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种人手‑机器人接触状态检测系统，包括物理场景，所述物理场景包括彩色相机、深度相机、第一目标和第二目标；所述彩色相机用于获取包含第一目标和被第一目标遮挡的第二目标的彩色图像，所述深度相机用于获取包含第一目标和被第一目标遮挡的第二目标的深度图像；虚拟场景，所述虚拟场景包括虚拟相机和虚拟第二目标模型，所述第二目标和虚拟第二目标模型运动状态一致，所述深度相机与虚拟相机位姿一致，所述虚拟相机用于获取包含虚拟第二目标模型的合成深度图像；距离检测模块,所述距离检测模块用于判断第一目标和第二目标是否接触。

Description

一种人手-机器人接触状态检测系统及方法
技术领域
本发明涉及一种人手-机器人接触状态检测系统和方法，属于人机互动领域。
背景技术
工业机器人可以长时间、高精度、高效率工作，受当前机器人编程方法限制，仍需工作人员与机器人共同工作进行人机交互。工作人员与机器人共享同一工作空间，为保证操作者的安全，需要准确判断人手与机器人的接触状态。
基于视觉的人手与机器人的接触检测方法具有成本低、便于部署、灵活的优点，但是存在检测目标被遮挡的问题。目前通常通过在多角度拍摄目标再融合所得的不同角度的目标图像，获得完整的三维模型图像。如，专利CN109255813B《一种面向人机协作的手持物体位姿实时检测方法》中“仅通过一幅深度图像，总会由于存在不同程度的遮挡，无法得到物体各个面的三维点云信息。因此，我们采取多角度拍摄物体各个局部的深度图像，再按照各部分所表示的物体实际位置进行对齐合并，最终得到物体完整的三维模型图像。”但该方法所需计算量大、对摄像装置需求大、成本高；且部分人机交互场景即使切换角度也难以获取被遮挡目标的情况。
发明内容
为了克服现有技术中存在的问题，本发明设计了一种人手-机器人接触状态检测系统，仅需单台深度相机就能准确判断人手与机器人的接触情况，计算量小、硬件成本低。
为了实现上述目的，本发明采用如下技术方案：
技术方案一：
一种人手-机器人接触状态检测方法，包括以下步骤：
S1、构建物理场景和虚拟场景，所述物理场景包括彩色相机、深度相机、第一目标和第二目标，所述虚拟场景包括虚拟相机和虚拟第二目标模型，所述第二目标和虚拟第二目标模型运动状态一致；
S2、通过彩色相机和深度相机，分别获取包含第一目标和被第一目标遮挡的第二目标的彩色图像和深度图像；
S3、通过虚拟相机，获取包含虚拟第二目标模型的合成深度图像；
S4、根据所述彩色图像和深度图像，计算第一目标在深度像素坐标系中的深度像素坐标p′(ud，vd)；
S5、计算所述深度像素坐标p′(ud，vd)在深度相机坐标系中的三维坐标Pe(xe，ye，ze)；
S6、将所述深度像素坐标p′(ud，vd)映射至合成深度图像中，得到合成深度像素坐标p′v(ud，vd)；
S7、计算所述合成深度像素坐标p′v(ud，vd)在虚拟相机坐标系中的三维坐标Pv(xv，yv，zv)；
S8、根据三维坐标Pe(xe，ye，ze)和三维坐标Pv(xv，yv，zv)，判断第一目标和第二目标是否接触。
进一步地，所述步骤S4具体为：
检测第一目标在彩色图像中的彩色像素坐标p(uc，vc)；根据彩色像素坐标系与深度像素坐标系之间的映射关系，计算第一目标在深度像素坐标系中的深度像素坐标p′(ud，vd)。
进一步地，所述步骤S5具体为：根据深度相机的内参矩阵Md计算深度像素坐标在深度相机坐标系中的三维坐标Pe(xe，ye，ze)。
进一步地，所述步骤S7具体为：利用深度相机内参矩阵Md计算合成深度像素坐标p′v(ud，vd)在虚拟相机坐标系下三维坐标Pv(xv，yv，zv)。
进一步地，深度相机对于第二目标的相对位姿与虚拟相机对于虚拟第二目标模型的相对位姿一致；所述步骤S8具体为：计算三维坐标Pe(xe，ye，ze)与三维坐标Pv(xv，yv，zv)之间的距离d(Pe，Pv)；若d(Pe，Pv)小于预设阈值，则认为第一目标与第二目标发生接触。
进一步地，还包括：通过所述虚拟相机，获取包含虚拟第二目标模型的合成彩色图像；
虚拟第二目标模型中不同部位设有不同像素标签；根据合成深度像素坐标p′v(ud，vd)，得到对应的合成彩色图像中的合成彩色像素坐标；查询所述合成彩色像素坐标处的像素标签，由像素标签得到的虚拟第二目标模型部位即为第一目标与第二目标的接触部位。
技术方案二：
一种人手-机器人接触状态检测系统，包括：
物理场景，所述物理场景包括彩色相机、深度相机、第一目标和第二目标；所述彩色相机用于获取包含第一目标和被第一目标遮挡的第二目标的彩色图像，所述深度相机用于获取包含第一目标和被第一目标遮挡的第二目标的深度图像
虚拟场景，所述虚拟场景包括虚拟相机和虚拟第二目标模型，所述第二目标和虚拟第二目标模型运动状态一致，所述虚拟相机用于获取包含虚拟第二目标模型的合成深度图像；
距离检测模块，所述距离检测模块用于根据所述彩色图像和深度图像，计算第一目标在深度像素坐标系中的深度像素坐标p′(ud，vd)，并计算深度像素坐标p′(ud，vd)在深度相机坐标系中的三维坐标Pe(xe，ye，ze)；将深度像素坐标p′(ud，vd)映射至合成深度图像中，得到合成深度像素坐标p′v(udvd)，并计算合成深度像素坐标p′v(ud，vd)在虚拟相机坐标系中的三维坐标Pv(xv，yv，zv)；以及根据三维坐标Pe(xe，ye，ze)和三维坐标Pv(xv，yv，zv)，判断第一目标和第二目标是否接触。
进一步地，还包括目标检测模块，所述目标检测模块用于检测第一目标在彩色图像中的彩色像素坐标p(uc，vc)。
进一步地，深度相机对于第二目标的相对位姿与虚拟相机对于虚拟第二目标模型的相对位姿一致，具体为：计算三维坐标Pe(xe，ye，ze)与三维坐标Pv(xv，yv，zv)之间的距离d(Pe，Pv)；若d(Pe，Pv)小于预设阈值，则认为第一目标与第二目标发生接触。
进一步地，还包括：接触部位判断模块；
通过所述虚拟相机，获取包含虚拟第二目标模型的合成彩色图像；
虚拟第二目标模型中不同部位设有不同像素标签；
所述接触部位判断模块用于根据合成深度像素坐标p′v(ud，vd)，得到对应的合成彩色图像中的合成彩色像素坐标；查询所述合成彩色像素坐标处的像素标签，由像素标签得到的虚拟第二目标模型部位即为第一目标与第二目标的接触部位。
与现有技术相比本发明有以下特点和有益效果：
1、本发明仅需单台深度相机就能准确判断人手与机器人的接触情况，计算量小、硬件成本低。
2、本发明通过在虚拟机器人模型中不同部位设不同像素标签并查询接触点像素坐标的像素标签，进一步解决如何确定人手与机器人接触部位的问题。
附图说明
图1是本发明所述系统示意图；
图2是本发明所述虚拟场景示意图；
图3为本发明所述系统工作流程示意图；
图4为本发明所述彩色图像示意图；
图5为本发明所述合成深度图像示意图；
图6为本发明所述人手-机器人接触状态检测方法示意图。
其中，1、RGB-D相机；2、机器人；3、计算机；3-1、增强现实注册模块；3-2、图像合成模块；3-3、人手识别模块；3-4、距离检测模块；3-5、接触部位判断模块；4、虚拟机器人模型。
具体实施方式
先对本发明涉及的一些专业名词进行解释：
RGB-D相机：RGB-D相机中设有彩色相机和深度相机，可以同时采集场景的彩色图像和深度图像。
深度图像：深度图像是一种特殊的灰度图，图中每个像素的值代表相机和场景之间的距离。
世界坐标系：在场景中选择一个参考坐标系来描述相机和物体的位置，该坐标系称为世界坐标系。
相机坐标系：以相机光点为中心，X、Y轴分别平行于图像两边，光轴为Z轴的坐标系。
像素坐标系：以图像左上角为原点，像素为计量单位，X、Y轴分别平行于图像两边的坐标系。
机器人基坐标系：以机器人安装基座为基准，用来描述机器人本体运动的直角坐标系。
下面结合实施例对本发明进行更详细的描述。
实施例一
如图1和图2所示，一种人手-机器人接触状态检测系统，包括：物理场景、计算机和虚拟场景。其中，物理场景包括RGB-D相机和机器人；虚拟场景包括虚拟机器人模型和虚拟相机。
RGB-D相机和机器人分别与计算机通信连接。RGB-D相机采集并发送包含人手和机器人的彩色图像和深度图像至计算机。此时，RGB-D相机采集的彩色图像(如图4所示)和深度图像中机器人被人手遮挡，无法直接判断机器人与人手是否接触。机器人将其各关节的运动状态数据发送至计算机。
如图3所示，计算机根据接收的彩色图像和深度图像，运行增强现实注册模块、图像合成模块、人手识别模块、距离检测模块。各模块执行步骤如下：
通过机器人手眼标定获得RGB-D相机中RGB相机与机器人基坐标系之间的转换矩阵M。增强现实注册模块：以机器人基坐标系为世界坐标系，利用转换矩阵M，将虚拟机器人模型叠加到世界坐标系中，完成增强现实注册，实现虚拟机器人模型基坐标系与机器人基坐标系的一致性，如图5所示。
图像合成模块：利用RGB-D相机中深度相机内参Md建立虚拟相机成像模型。利用转换矩阵M、RGB-D相机的固有参数，得到彩色相机与深度相机之间的映射关系，再得到深度相机与世界坐标系之间的转换矩阵DW。利用转换矩阵DW在虚拟场景中设置与RGB-D相机位姿一致的虚拟相机。虚拟相机成像模型使用深度缓冲技术记录虚拟机器人模型的深度值，生成与深度图像分辨率一致的合成深度图像、合成彩色图像。
人手识别模块：利用YOLOV5等目标检测算法在彩色图像中识别出人手，并计算人手中心在彩色图像中的像素坐标p(uc，vc)。或者，计算人手指尖在彩色图像中的像素坐标p(uc，vc)。
距离检测模块：根据彩色像素坐标系与深度像素坐标系之间的映射关系，计算人手中心在深度像素坐标系中的深度像素坐标p′(ud，vd)。根据深度相机的内参矩阵Md，计算深度像素坐标p′(ud，vd)在深度相机坐标系中的三维坐标Pe(xe，ye，ze)；将所述深度像素坐标p′(ud，vd)映射至合成深度图像中，得到合成深度像素坐标p′v(udvd)；利用深度相机内参矩阵Md计算所述合成深度像素坐标p′v(ud，vd)在虚拟相机坐标系中的三维坐标Pv(xv，yv，zv)；计算三维坐标Pe(xe，ye，ze)与三维坐标Pv(xv，yv，zv)之间的距离d(Pe，Pv)；若d(Pe，Pv)小于预设阈值，则认为机器人与人手发生接触。
如图6所示，在相机透视投影方向，由于机器人距离人手中心的最近点位于被遮挡区域内，无法通过单一深度相机直接获取该最近点的深度值。本发明技术人员充分考虑相机透视投影原理，发现并利用人手中心与上述最近点在深度图像中像素坐标一致的特点。在此基础上构建与物理场景信息一致的虚拟场景，将人手中心分别投射至深度相机坐标系、虚拟相机坐标系，则得到的三维坐标Pe(xe，ye，ze)、三维坐标Pv(xv，yv，zv)可以分别表示物理场景中人手手心的三维坐标、上述最近点的三维坐标，这两者之间的距离即为人手手心与最近点之间的距离。显然，本实施例所述人手-机器人接触状态检测系统仅需单台深度相机就能准确判断人手与机器人的接触情况，计算量小、硬件成本低。
实施例二
虚拟场景的建立步骤如下：
S1、根据机器人的尺寸参数建立虚拟机器人模型，使用不同颜色渲染机器人各关节臂，生成各关节臂对应的像素标签，便于后续判断人手与机器人的哪一个关节臂接触。
S2、根据机器人结构，在虚拟机器人模型上添加各关节的自由度(dof)节点。
S3、根据机器人D-H参数建立虚拟机器人运动学模型，所述运动学模型根据机器人各关节运动状态数据更新虚拟机器人模型的dof节点，使虚拟机器人模型与机器人的运动一致。
S4、加载虚拟机器人模型及虚拟相机建立虚拟场景。
实施例三
进一步地，所述人手-机器人接触状态检测系统还包括接触部位判断模块。
若经实施例一判断人手与机器人发生碰触，则将人手中心作为接触点，接触部位判断模块获取人手中心的合成深度像素坐标p′v(ud，vd)。由于在虚拟机器人环境中使用同一虚拟相机成像模型合成分辨率相同的彩色图像和深度图像，因此人手中心在合成深度图像中的像素坐标p′v(ud，vd)与人手中心在合成彩色图像中的像素坐标一致。则接触部位判断模块直接查询像素坐标p′v(ud，vd)处的关节臂像素标签，即可确定人手与机器人哪个关节臂接触。
本实施例的进步之处在于，通过在虚拟机器人模型中不同部位设不同像素标签并查询接触点像素坐标的像素标签，进一步解决如何确定人手与机器人接触部位的问题，该方法简单易行。
显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (10)

1.一种人手-机器人接触状态检测方法，其特征在于，包括以下步骤：
S1、构建物理场景和虚拟场景，所述物理场景包括彩色相机、深度相机、第一目标和第二目标，所述虚拟场景包括虚拟相机和虚拟第二目标模型，所述第二目标和虚拟第二目标模型运动状态一致；
S2、通过彩色相机和深度相机，分别获取包含第一目标和被第一目标遮挡的第二目标的彩色图像和深度图像；
S3、通过虚拟相机，获取包含虚拟第二目标模型的合成深度图像；
S4、根据所述彩色图像和深度图像，计算第一目标在深度像素坐标系中的深度像素坐标p′(ud，vd)；
S5、计算所述深度像素坐标p′(ud，vd)在深度相机坐标系中的三维坐标Pe(xe，ye，ze)；
S6、将所述深度像素坐标p′(ud，vd)映射至合成深度图像中，得到合成深度像素坐标p′v(ud，vd)；
S7、计算所述合成深度像素坐标p′v(ud，vd)在虚拟相机坐标系中的三维坐标Pv(xv，yv，zv)；
S8、根据三维坐标Pe(xe，ye，ze)和三维坐标Pv(xv，yv，zv)，判断第一目标和第二目标是否接触。
2.根据权利要求1所述的一种人手-机器人接触状态检测方法，其特征在于，所述步骤S4具体为：
检测第一目标在彩色图像中的彩色像素坐标p(uc，vc)；根据彩色像素坐标系与深度像素坐标系之间的映射关系，计算第一目标在深度像素坐标系中的深度像素坐标p′(ud，vd)。
3.根据权利要求1所述的一种人手-机器人接触状态检测方法，其特征在于，所述步骤S5具体为：根据深度相机的内参矩阵Md计算深度像素坐标在深度相机坐标系中的三维坐标Pe(xe，ye，ze)。
4.根据权利要求1所述的一种人手-机器人接触状态检测方法，其特征在于，所述步骤S7具体为：利用深度相机内参矩阵Md计算合成深度像素坐标p′v(ud，vd)在虚拟相机坐标系下三维坐标Pv(xv，yv，zv)。
5.根据权利要求1所述的一种人手-机器人接触状态检测方法，其特征在于，深度相机对于第二目标的相对位姿与虚拟相机对于虚拟第二目标模型的相对位姿一致；所述步骤S8具体为：计算三维坐标Pe(xe，ye，ze)与三维坐标Pv(xv，yv，zv)之间的距离d(Pe，Pv)；若d(Pe，Pv)小于预设阈值，则认为第一目标与第二目标发生接触。
6.根据权利要求1所述的一种人手-机器人接触状态检测方法，其特征在于，还包括：通过所述虚拟相机，获取包含虚拟第二目标模型的合成彩色图像；
虚拟第二目标模型中不同部位设有不同像素标签；根据合成深度像素坐标p′v(ud，vd)，得到对应的合成彩色图像中的合成彩色像素坐标；查询所述合成彩色像素坐标处的像素标签，由像素标签得到的虚拟第二目标模型部位即为第一目标与第二目标的接触部位。
7.一种人手-机器人接触状态检测系统，其特征在于，包括：
物理场景，所述物理场景包括彩色相机、深度相机、第一目标和第二目标；所述彩色相机用于获取包含第一目标和被第一目标遮挡的第二目标的彩色图像，所述深度相机用于获取包含第一目标和被第一目标遮挡的第二目标的深度图像；
虚拟场景，所述虚拟场景包括虚拟相机和虚拟第二目标模型，所述第二目标和虚拟第二目标模型运动状态一致，所述虚拟相机用于获取包含虚拟第二目标模型的合成深度图像；
距离检测模块，所述距离检测模块用于根据所述彩色图像和深度图像，计算第一目标在深度像素坐标系中的深度像素坐标p′(ud，vd)，并计算深度像素坐标p′(ud，vd)在深度相机坐标系中的三维坐标Pe(xe，ye，ze)；将深度像素坐标p′(ud，vd)映射至合成深度图像中，得到合成深度像素坐标p′v(ud vd)，并计算合成深度像素坐标p′v(ud，vd)在虚拟相机坐标系中的三维坐标Pv(xv，yv，zv)；以及根据三维坐标Pe(xe，ye，ze)和三维坐标Pv(xv，yv，zv)，判断第一目标和第二目标是否接触。
8.根据权利要求7所述的一种人手-机器人接触状态检测系统，其特征在于，还包括目标检测模块，所述目标检测模块用于检测第一目标在彩色图像中的彩色像素坐标p(uc，vc)。
9.根据权利要求7所述的一种人手-机器人接触状态检测系统，其特征在于，深度相机对于第二目标的相对位姿与虚拟相机对于虚拟第二目标模型的相对位姿一致，具体为：计算三维坐标Pe(xe，ye，ze)与三维坐标Pv(xv，yv，zv)之间的距离d(Pe，Pv)；若d(Pe，Pv)小于预设阈值，则认为第一目标与第二目标发生接触。
10.根据权利要求7所述的一种人手-机器人接触状态检测系统，其特征在于，还包括：接触部位判断模块；
通过所述虚拟相机，获取包含虚拟第二目标模型的合成彩色图像；
虚拟第二目标模型中不同部位设有不同像素标签；
所述接触部位判断模块用于根据合成深度像素坐标p′v(ud，vd)，得到对应的合成彩色图像中的合成彩色像素坐标；查询所述合成彩色像素坐标处的像素标签，由像素标签得到的虚拟第二目标模型部位即为第一目标与第二目标的接触部位。
CN202210106559.7A 2022-01-28 2022-01-28 一种人手-机器人接触状态检测系统及方法 Active CN114549641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210106559.7A CN114549641B (zh) 2022-01-28 2022-01-28 一种人手-机器人接触状态检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210106559.7A CN114549641B (zh) 2022-01-28 2022-01-28 一种人手-机器人接触状态检测系统及方法

Publications (2)

Publication Number Publication Date
CN114549641A CN114549641A (zh) 2022-05-27
CN114549641B true CN114549641B (zh) 2024-10-01

Family

ID=81673011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210106559.7A Active CN114549641B (zh) 2022-01-28 2022-01-28 一种人手-机器人接触状态检测系统及方法

Country Status (1)

Country Link
CN (1) CN114549641B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118552975A (zh) * 2024-05-13 2024-08-27 深圳市人工智能与机器人研究院 一种基于视觉的机器人安全交互方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898676A (zh) * 2018-06-19 2018-11-27 青岛理工大学 一种虚实物体之间碰撞及遮挡检测方法及系统
CN112258658A (zh) * 2020-10-21 2021-01-22 河北工业大学 一种基于深度相机的增强现实可视化方法及应用

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830894B (zh) * 2018-06-19 2020-01-17 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
CN113112612B (zh) * 2021-04-16 2024-06-04 中德（珠海）人工智能研究院有限公司 一种真实人物与混合现实动态叠加的定位方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898676A (zh) * 2018-06-19 2018-11-27 青岛理工大学 一种虚实物体之间碰撞及遮挡检测方法及系统
CN112258658A (zh) * 2020-10-21 2021-01-22 河北工业大学 一种基于深度相机的增强现实可视化方法及应用

Also Published As

Publication number Publication date
CN114549641A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
EP1483740B1 (en) Position and orientation sensing with a projector
US20180066934A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
EP1413850B1 (en) Optical sensor for measuring position and orientation of an object in three dimensions
CN108227929B (zh) 基于bim技术的增强现实放样系统及实现方法
US11108964B2 (en) Information processing apparatus presenting information, information processing method, and storage medium
CN110782492B (zh) 位姿跟踪方法及装置
CN110032971B (zh) 基于单目摄像头的移动平台异物检测方法及检测系统
JP2015212629A (ja) 検出装置およびこの装置を具えたマニプレータの動作制御
CN112767479B (zh) 位置信息检测方法、装置、系统及计算机可读存储介质
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN110869978B (zh) 信息处理装置和信息处理方法
CN113920191B (zh) 一种基于深度相机的6d数据集构建方法
KR20130075712A (ko) 레이저비전 센서 및 그 보정방법
JP7414395B2 (ja) 情報投影システム、制御装置、及び情報投影制御方法
CN114549641B (zh) 一种人手-机器人接触状态检测系统及方法
WO2022208963A1 (ja) ロボット制御用のキャリブレーション装置
US11941851B2 (en) Systems and methods for calibrating imaging and spatial orientation sensors
JPH0847881A (ja) ロボットの遠隔操作方法
CN113597362B (zh) 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
US20220331972A1 (en) Robot Image Display Method, Recording Medium, And Robot Image Display System
CN110900606B (zh) 一种基于小型机械臂手眼联动系统及其控制方法
CN115082550A (zh) 从对象的相机图像中定位对象的位置的设备和方法
JP7533265B2 (ja) 支援システム、画像処理装置、支援方法およびプログラム
CN118436342B (zh) 一种头部姿态数据采集方法、装置、电子设备及介质
JP7029501B2 (ja) 情報処理装置、情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant