CN114083545B - 一种基于视觉感知的运动物体机器人抓取方法及装置 - Google Patents
一种基于视觉感知的运动物体机器人抓取方法及装置 Download PDFInfo
- Publication number
- CN114083545B CN114083545B CN202210076251.2A CN202210076251A CN114083545B CN 114083545 B CN114083545 B CN 114083545B CN 202210076251 A CN202210076251 A CN 202210076251A CN 114083545 B CN114083545 B CN 114083545B
- Authority
- CN
- China
- Prior art keywords
- pose
- motion
- energy function
- mechanical arm
- grabbing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000016776 visual perception Effects 0.000 title claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims abstract description 109
- 230000006870 function Effects 0.000 claims abstract description 74
- 230000009466 transformation Effects 0.000 claims abstract description 25
- 239000012636 effector Substances 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims 1
- 230000004438 eyesight Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 241000135164 Timea Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉感知的运动物体机器人抓取方法及装置，该方法包括：获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数；根据第一和第二能量函数，计算物体中心坐标系下的综合能量函数；对综合能量函数进行最小化，得到位姿变换增量；根据位姿变换增量，更新在每个相机视角下的物体位姿；将若干次更新后的物体位姿输入物体运动预测模型中，预测未来预定时间内物体的第一位姿；将第一位姿与抓取位姿数据库中的所有第二位姿进行比较，将与第二位姿差值最小且差值小于预定阈值的第一位姿作为抓取位姿对应的机械臂末端位姿；根据机械臂末端位姿，控制机械臂运动后控制末端执行器进行物体抓取。
Description
技术领域
本申请涉及三维物体跟踪、轨迹预测与机械臂规划控制技术领域，尤其涉及一种基于视觉感知的运动物体机器人抓取方法及装置。
背景技术
三维物体位姿跟踪是增强现实(AR)技术之一, 通过实时估计相机与三维物体的相对位置关系来实时求解物体的位姿. 三维物体跟踪技术有广泛的应用, 例如可以应用于AR游戏, 使用移动设备进行诸如商场环境下的AR导航, 以及应用于器械维修时的电子说明书, 通过对器械进行追踪, 在屏幕上实时渲染需处理的步骤或器件等。实时高精度的三维物体姿态跟踪一直是研究者们努力的方向。
机器人控制与规划领域一直是研究的热点。机器人研究者们在为静态环境中的机器人操作开发算法和方法方面取得了重大进展。
然而，在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：
机器人操作在动态环境中变得更加困难，而这在现实世界中是常有的事。比如在动态抓取、接球、人机交接等方面，要与之交互的目标和障碍物可能会以未知或已知的运动方式移动。一方面是由于物体运动是视觉感知方法会不稳定；另一方面，物体运动轨迹的预测也是抓取问题中的一个难点。
发明内容
本申请实施例的目的是提供一种基于视觉感知的运动物体机器人抓取方法及装置，以解决相关技术中存在的难以抓取运动物体的技术问题。
根据本申请实施例的第一方面，提供一种基于视觉感知的运动物体机器人抓取方法，包括：
获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数；
根据所述第一能量函数和第二能量函数，计算物体中心坐标系下双视图联合优化的综合能量函数；
对所述综合能量函数进行最小化，得到位姿变换增量；
根据所述位姿变换增量，更新在每个相机视角下的物体位姿；
将若干次更新后的物体位姿输入物体运动预测模型中，预测未来预定时间内物体的第一位姿；
将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较，将与所述第二位姿的差值最小且所述差值小于预定阈值的第一位姿作为所述抓取位姿对应的机械臂末端位姿；
根据所述机械臂末端位姿，控制机械臂运动后控制末端执行器进行物体抓取。
进一步地，对所述综合能量函数进行最小化，得到位姿变换增量，包括：
计算第一能量函数的第一雅克比矩阵和第二能量函数的第二雅克比矩阵；
根据所述第一雅克比矩阵和第二雅克比矩阵，计算位姿变换增量。
进一步地，所述物体运动预测模型的预测过程包括：
获取更新后的物体位姿，判断物体的运动模式；
若所述物体的运动模式为匀速直线运动或匀速圆周运动，则通过卡尔曼滤波算法预测物体的位姿；
若所述物体的运动模式为球面摆运动，则通过建立物体平移模型预测物体的平移运动，通过构建物体旋转运动的关键序列预测物体的旋转运动，根据所述物体的平移运动和所述物体的旋转运动，得到物体的位姿的预测结果。
进一步地，在将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较之前还包括：
根据所述第一位姿，获取目标物体上一帧的运动方向和运动速度；
根据所述运动方向和运动速度，对所述第一位姿进行预筛选。
进一步地，将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较，包括：
获取相机坐标系和机械臂基座坐标系的转换关系，其中所述物体运动预测模型得到的第一位姿为在所述相机坐标系下的位姿；
将所述第一位姿转换到机械臂基座坐标系下，得到第三位姿；
将所述第三位姿与抓取位姿数据库中的所有第二位姿进行比较。
进一步地，根据所述机械臂末端位姿，控制机械臂运动后控制末端执行器进行物体抓取，包括：
获取物体的运动模式；
若所述物体的运动模式为匀速直线运动或匀速圆周运动，则在所述机械臂运动到所述机械臂末端位姿后直接控制末端执行器进行物体抓取；
若所述物体的运动模式为球面摆运动，则在所述机械臂运动到所述机械臂末端位姿后再次对抓取时的机械臂末端位姿进行预测，根据预测结果控制所述末端执行器进行物体抓取。
进一步地，再次对抓取时的机械臂末端位姿进行预测，包括：
将所述抓取位姿输入球面摆运动预测模型；
设定预测时间；
根据输入所述预测时间后所述球面摆运动预测模型输出的物体位姿和运动方向，得到机械臂末端位姿的预抓取姿态。
根据本申请实施例的第二方面，提供一种基于视觉感知的运动物体机器人抓取装置，包括：
获取模块，用于获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数；
计算模块，用于根据所述第一能量函数和第二能量函数，计算物体中心坐标系下双视图联合优化的综合能量函数；
最小化模块，用于对所述综合能量函数进行最小化，得到位姿变换增量；
更新模块，用于根据所述位姿变换增量，更新在每个相机视角下的物体位姿；
预测模块，用于将若干次更新后的物体位姿输入物体运动预测模型中，预测未来预定时间内物体的第一位姿；
对比模块，用于将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较，将与所述第二位姿的差值最小且所述差值小于预定阈值的第一位姿作为所述抓取位姿对应的机械臂末端位姿；
控制模块，用于根据所述机械臂末端位姿，控制机械臂运动后控制末端执行器进行物体抓取。
根据本申请实施例的第三方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请根据第一相机视角下的第一能量函数和第二相机视角下的第二能量函数，计算物体中心坐标系下双视图联合优化的综合能量函数，通过双视图的方法进行对物体姿态的跟踪，实现了对运动物体的感知；采用了双视图的方法，克服了跟踪精度不足的技术问题，使得预测模型的输入数据是足够准确的，这样预测模型的输出结果才能用于抓取任务，进而实现运动物体的抓取。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种基于视觉感知的运动物体机器人抓取方法的流程图。
图2是根据一示例性实施例示出的步骤 S13的流程图。
图3是根据一示例性实施例示出的物体运动预测模型的预测过程的流程图。
图4是根据一示例性实施例示出的步骤 S41-步骤S42的流程图。
图5是根据一示例性实施例示出的步骤S16中“将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较”的流程图。
图6是根据一示例性实施例示出的步骤 S17的流程图。
图7是根据一示例性实施例示出的步骤 S63中“再次对抓取时的机械臂末端位姿进行预测”的流程图。
图8是根据一示例性实施例示出的一种基于视觉感知的运动物体机器人抓取装置的框图。
图9是根据一示例性实施例示出的电子设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
名词解释：
物体中心坐标系：以目标物体的中心为坐标原点的坐标系。
机械臂基座坐标系：以机械臂基座的中心为坐标原点的坐标系。
图1是根据一示例性实施例示出的一种基于视觉感知的运动物体机器人抓取方法的流程图，如图1所示，该方法应用于终端中，可以包括以下步骤：
步骤S11：获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数；
步骤S12：根据所述第一能量函数和第二能量函数，计算物体中心坐标系下双视图联合优化的综合能量函数；
步骤S13：对所述综合能量函数进行最小化，得到位姿变换增量；
步骤S14：根据所述位姿变换增量，更新在每个相机视角下的物体位姿；
步骤S15：将若干次更新后的物体位姿输入物体运动预测模型中，预测未来预定时间内物体的第一位姿；
步骤S16：将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较，将与所述第二位姿的差值最小且所述差值小于预定阈值的第一位姿作为所述抓取位姿对应的机械臂末端位姿；
步骤S17：根据所述机械臂末端位姿，控制机械臂运动后控制末端执行器进行物体抓取。
由上述实施例可知，本申请根据第一相机视角下的第一能量函数和第二相机视角下的第二能量函数，计算物体中心坐标系下双视图联合优化的综合能量函数，通过双视图的方法进行对物体姿态的跟踪，实现了对运动物体的感知；采用了双视图的方法，克服了跟踪精度不足的技术问题，使得预测模型的输入数据是足够准确的，这样预测模型的输出结果才能用于抓取任务，进而实现运动物体的抓取。
在步骤S11的具体实施中，获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数；
具体地，所述第一能量函数为物体中心坐标系下所述目标物体关于第一相机视角下的第一图像的能量函数，所述第二能量函数为物体中心坐标系下所述目标物体关于第二相机视角下的第二图像的能量函数，能量函数的计算方法可以为多种，如基于区域的单目三维跟踪方法和基于边缘的单目三维跟踪方法，其中，通用的计算公式如下：
其中，
表示第i个相机视角下基于区域的单目三维跟踪方法的能量函数，
表示第i个相机视角下的图像，
表示以相机i坐标系下目标物体李代数表示的上一帧位姿，
表示目标物体在相机i坐标系下李群表示的上一帧位姿，
表示当前帧和上一帧在物体中心坐标系下的位姿变换增量。
在步骤S12的具体实施中，根据所述第一能量函数和第二能量函数，计算物体中心坐标系下双视图联合优化的综合能量函数；
具体地，将第一能量函数与第二能量函数相加，直接相加的原因主要考虑两个相机在对物体位姿的调整的共享是相当的。并且，由于结合了两个相机视角下的图像信息，优化获得的物体位姿更加精确。物体中心坐标系下双视图联合优化的综合能量函数
的表达式为
在步骤S13的具体实施中，对所述综合能量函数进行最小化，得到位姿变换增量；
具体地，如图2所示，步骤S13可以包括以下子步骤：
步骤S21：计算第一能量函数的第一雅克比矩阵和第二能量函数的第二雅克比矩阵；
具体地，雅克比矩阵是函数的一阶偏导数以一定方式排成的矩阵，使用雅克比矩阵本质上其实是在使用梯度下降法来进行优化。
步骤S22：根据所述第一雅克比矩阵和第二雅克比矩阵，计算位姿变换增量；
具体地，位姿变换增量
的计算公式为
在步骤S14的具体实施中，根据所述位姿变换增量，更新在每个相机视角下的物体位姿；
具体地，在物体中心坐标系下，位姿更新公式如下：
其中，
为李群表示的更新后的物体位姿，
表示将位姿变换增量
从李代数空间映射到李群空间，
表示目标物体在相机i坐标系下李群表示的上一帧位姿。
在步骤S15的具体实施中，将若干次更新后的物体位姿输入物体运动预测模型中，预测未来预定时间内物体的第一位姿；
具体地，选取若干次的结果可以尽可能避免某次跟踪结果的不精确而导致预测的精度产生较大的偏差。
具体地，如图3所示，所述物体运动预测模型的预测过程包括：
步骤S31：获取更新后的物体位姿，判断物体的运动模式；
具体地，本实施例中物体的运动模式包括匀速直线运动、匀速圆周运动和球面摆运动。
步骤S32：若所述物体的运动模式为匀速直线运动或匀速圆周运动，则通过卡尔曼滤波算法预测物体的位姿；
具体地，将已经获得的若干次三维物体跟踪结果，输入到与物体的运动模式对应的卡尔曼滤波模型中，依据已有结果获得下一帧物体的位姿，并将该位姿作为输入，以这种形式输出若干帧，输出帧的数量与设定的时间相关，两帧之间的时间间隔固定且已知，这样实现在保证精度的同时，程序的实时性能够满足要求。
步骤S33：若所述物体的运动模式为球面摆运动，则通过建立物体平移模型预测物体的平移运动，通过构建物体旋转运动的关键序列预测物体的旋转运动，根据所述物体的平移运动和所述物体的旋转运动，得到物体的位姿的预测结果；
具体地，对于物体的平移运动部分，建立一个近似模型来模拟球面摆运动。在考虑摩擦而造成的能量损失C之后，通过拉格朗日方法
，我们可以获得自由振动方程：
其中，Ｌ、T、V分别表示拉格朗日量、动能、势能。
是广义坐标，
是广义速度，两者都是关于时间
的函数。
对于物体的旋转运动部分，采用建立序列数据库的形式，在预先实验数据的基础上，构建关键序列。具体地，我们计算该序列其他帧物体位姿与第一帧位姿的增量，并将数据库中相似的序列进行剔除，以保证每个序列之间是存在一定差异的。这样做的好处是，可以大大减少数据库中数据容量，从而提高测试运行时预测的速度。
在步骤S16的具体实施中，将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较，将与所述第二位姿的差值最小且所述差值小于预定阈值的第一位姿作为所述抓取位姿对应的机械臂末端位姿；
具体地，如图4所示，步骤S16之前还可以包括：
步骤S41：根据所述第一位姿，获取目标物体对应的运动方向和运动速度；
步骤S42：根据所述运动方向和运动速度，对所述第一位姿进行预筛选；
在步骤S41-步骤S42的具体实施中， 根据目标物体运动方向和运动方向进行抓取是最为合理的策略，而进行预先筛选可以将大多数不满足抓取条件的候选位姿剔除，可以大大提高程序的实时性。
具体地，如图5所示，步骤S16中的“将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较”可以包括以下子步骤：
步骤S51：获取相机坐标系和机械臂基座坐标系的转换关系，其中所述物体运动预测模型得到的第一位姿为在所述相机坐标系下的位姿；
步骤S52：将所述第一位姿转换到机械臂基座坐标系下，得到第三位姿；
步骤S53：将所述第三位姿与抓取位姿数据库中的所有第二位姿进行比较；
在步骤S51-步骤S53的具体实施中，因为跟踪和预测获得的位姿是在相机坐标系的结果，但是机械臂的规划是只能在机械臂基座坐标系进行的，因此必须要进行坐标变换。
在步骤S17的具体实施中，根据所述机械臂末端位姿，控制机械臂运动后控制末端执行器进行物体抓取。
具体地，如图6所示，步骤S17包括以下子步骤：
步骤S61：获取物体的运动模式；
具体地，本实施例中物体的运动模式包括匀速直线运动、匀速圆周运动和球面摆运动。
步骤S62：若所述物体的运动模式为匀速直线运动或匀速圆周运动，则在所述机械臂运动到所述机械臂末端位姿后直接控制末端执行器进行物体抓取；
具体地，根据跟踪结果可以知道物体的运动速度，从而可以得到物体运动的模式。匀速直线运动和匀速圆周运动的非常有规律的运动，因此，即便预测的时间很长，其预测结果也是很精确的，因此只需要进行一次规划就可以完成抓取。
步骤S63：若所述物体的运动模式为球面摆运动，则在所述机械臂运动到所述机械臂末端位姿后再次对抓取时的机械臂末端位姿进行预测，根据预测结果控制所述末端执行器进行物体抓取；
具体地，首先将跟踪结果输入到预测模型中，同时设定相对较长时间的预测，然后对预测的结果进行筛选后，将机械臂末端运动抓取位姿的附近（沿着当前位姿处物体运动方向一定距离）；然后执行下一次预测，同时减少预测的时间，以保证程序能够更快地完成预测，从而保证能够成功抓取物体。
具体地，如图7所示，步骤S63中“再次对抓取时的机械臂末端位姿进行预测”可以包括以下子步骤：
步骤S71：将所述抓取位姿输入球面摆运动预测模型；
步骤S72：设定预测时间；
步骤S73：根据输入所述预测时间后所述球面摆运动预测模型输出的物体位姿和运动方向，得到机械臂末端位姿的预抓取姿态；
具体地，我们将最新的跟踪得到的更为精确的结果输入到预测模型中，同时缩短预测的时间，也就是预测的帧数，这样预测的精度就满足了机械臂抓取任务的精度，从而完成运动物体的抓取。
与前述的基于视觉感知的运动物体机器人抓取方法的实施例相对应，本申请还提供了基于视觉感知的运动物体机器人抓取装置的实施例。
图8是根据一示例性实施例示出的一种基于视觉感知的运动物体机器人抓取装置框图。参照图8，该装置可以包括：
获取模块21，用于获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数；
计算模块22，用于根据所述第一能量函数和第二能量函数，计算物体中心坐标系下双视图联合优化的综合能量函数；
最小化模块23，用于对所述综合能量函数进行最小化，得到位姿变换增量；
更新模块24，用于根据所述位姿变换增量，更新在每个相机视角下的物体位姿；
预测模块25，用于将若干次更新后的物体位姿输入物体运动预测模型中，预测未来预定时间内物体的第一位姿；
对比模块26，用于将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较，将与所述第二位姿的差值最小且所述差值小于预定阈值的第一位姿作为所述抓取位姿对应的机械臂末端位姿；
控制模块27，用于根据所述机械臂末端位姿，控制机械臂运动后控制末端执行器进行物体抓取。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于视觉感知的运动物体机器人抓取方法。如图9所示，为本发明实施例提供的一种基于视觉感知的运动物体机器人抓取方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图9所示的处理器以及内存之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于视觉感知的运动物体机器人抓取方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（FlashCard）等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种基于视觉感知的运动物体机器人抓取方法，其特征在于，包括：
获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数；
根据所述第一能量函数和第二能量函数，计算物体中心坐标系下双视图联合优化的综合能量函数；
对所述综合能量函数进行最小化，得到位姿变换增量；
根据所述位姿变换增量，更新在每个相机视角下的物体位姿；
将若干次更新后的物体位姿输入物体运动预测模型中，预测未来预定时间内物体的第一位姿；
将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较，将与所述第二位姿的差值最小且所述差值小于预定阈值的第一位姿作为所述抓取位姿对应的机械臂末端位姿；
根据所述机械臂末端位姿，控制机械臂运动后控制末端执行器进行物体抓取。
2.根据权利要求1所述的方法，其特征在于，对所述综合能量函数进行最小化，得到位姿变换增量，包括：
计算第一能量函数的第一雅克比矩阵和第二能量函数的第二雅克比矩阵；
根据所述第一雅克比矩阵和第二雅克比矩阵，计算位姿变换增量。
3.根据权利要求1所述的方法，其特征在于，所述物体运动预测模型的预测过程包括：
获取更新后的物体位姿，判断物体的运动模式；
若所述物体的运动模式为匀速直线运动或匀速圆周运动，则通过卡尔曼滤波算法预测物体的位姿；
若所述物体的运动模式为球面摆运动，则通过建立物体平移模型预测物体的平移运动，通过构建物体旋转运动的关键序列预测物体的旋转运动，根据所述物体的平移运动和所述物体的旋转运动，得到物体的位姿的预测结果。
4.根据权利要求1所述的方法，其特征在于，在将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较之前还包括：
根据所述第一位姿，获取目标物体上一帧的运动方向和运动速度；
根据所述运动方向和运动速度，对所述第一位姿进行预筛选。
5.根据权利要求1所述的方法，其特征在于，将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较，包括：
获取相机坐标系和机械臂基座坐标系的转换关系，其中所述物体运动预测模型得到的第一位姿为在所述相机坐标系下的位姿；
将所述第一位姿转换到机械臂基座坐标系下，得到第三位姿；
将所述第三位姿与抓取位姿数据库中的所有第二位姿进行比较。
6.根据权利要求1所述的方法，其特征在于，根据所述机械臂末端位姿，控制机械臂运动后控制末端执行器进行物体抓取，包括：
获取物体的运动模式；
若所述物体的运动模式为匀速直线运动或匀速圆周运动，则在所述机械臂运动到所述机械臂末端位姿后直接控制末端执行器进行物体抓取；
若所述物体的运动模式为球面摆运动，则在所述机械臂运动到所述机械臂末端位姿后再次对抓取时的机械臂末端位姿进行预测，根据预测结果控制所述末端执行器进行物体抓取。
7.根据权利要求6所述的方法，其特征在于，再次对抓取时的机械臂末端位姿进行预测，包括：
将所述抓取位姿输入球面摆运动预测模型；
设定预测时间；
根据输入所述预测时间后所述球面摆运动预测模型输出的物体位姿和运动方向，得到机械臂末端位姿的预抓取姿态。
8.一种基于视觉感知的运动物体机器人抓取装置，其特征在于，包括：
获取模块，用于获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数；
计算模块，用于根据所述第一能量函数和第二能量函数，计算物体中心坐标系下双视图联合优化的综合能量函数；
最小化模块，用于对所述综合能量函数进行最小化，得到位姿变换增量；
更新模块，用于根据所述位姿变换增量，更新在每个相机视角下的物体位姿；
预测模块，用于将若干次更新后的物体位姿输入物体运动预测模型中，预测未来预定时间内物体的第一位姿；
对比模块，用于将所述第一位姿与抓取位姿数据库中的所有第二位姿进行比较，将与所述第二位姿的差值最小且所述差值小于预定阈值的第一位姿作为所述抓取位姿对应的机械臂末端位姿；
控制模块，用于根据所述机械臂末端位姿，控制机械臂运动后控制末端执行器进行物体抓取。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210076251.2A CN114083545B (zh) | 2022-01-24 | 2022-01-24 | 一种基于视觉感知的运动物体机器人抓取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210076251.2A CN114083545B (zh) | 2022-01-24 | 2022-01-24 | 一种基于视觉感知的运动物体机器人抓取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114083545A CN114083545A (zh) | 2022-02-25 |
| CN114083545B true CN114083545B (zh) | 2022-07-01 |
Family
ID=80309167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210076251.2A Active CN114083545B (zh) | 2022-01-24 | 2022-01-24 | 一种基于视觉感知的运动物体机器人抓取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114083545B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101402199A (zh) * | 2008-10-20 | 2009-04-08 | 北京理工大学 | 基于视觉的手眼式低伺服精度机器人移动目标抓取方法 |
| CN103150544A (zh) * | 2011-08-30 | 2013-06-12 | 精工爱普生株式会社 | 用于对象姿态估计的方法和设备 |
| CN104589356A (zh) * | 2014-11-27 | 2015-05-06 | 北京工业大学 | 基于Kinect人手运动捕捉的灵巧手遥操作控制方法 |
| JP2016070762A (ja) * | 2014-09-29 | 2016-05-09 | ファナック株式会社 | 対象物の三次元位置を検出する検出方法および検出装置 |
| CN110076772A (zh) * | 2019-04-03 | 2019-08-02 | 浙江大华技术股份有限公司 | 一种机械臂的抓取方法及装置 |
| CN110271007A (zh) * | 2019-07-24 | 2019-09-24 | 广东工业大学 | 一种机械手臂的物体抓取方法及相关装置 |
| CN110378325A (zh) * | 2019-06-20 | 2019-10-25 | 西北工业大学 | 一种机器人抓取过程中的目标位姿识别方法 |
| CN112936275A (zh) * | 2021-02-05 | 2021-06-11 | 华南理工大学 | 一种基于深度相机的机械臂抓取系统和控制方法 |
| CN113246131A (zh) * | 2021-05-27 | 2021-08-13 | 广东智源机器人科技有限公司 | 运动捕捉方法、装置、电子设备以及机械臂控制系统 |
| JP2021122924A (ja) * | 2020-02-10 | 2021-08-30 | 住友重機械工業株式会社 | 作業装置 |
-
2022
- 2022-01-24 CN CN202210076251.2A patent/CN114083545B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101402199A (zh) * | 2008-10-20 | 2009-04-08 | 北京理工大学 | 基于视觉的手眼式低伺服精度机器人移动目标抓取方法 |
| CN103150544A (zh) * | 2011-08-30 | 2013-06-12 | 精工爱普生株式会社 | 用于对象姿态估计的方法和设备 |
| JP2016070762A (ja) * | 2014-09-29 | 2016-05-09 | ファナック株式会社 | 対象物の三次元位置を検出する検出方法および検出装置 |
| CN104589356A (zh) * | 2014-11-27 | 2015-05-06 | 北京工业大学 | 基于Kinect人手运动捕捉的灵巧手遥操作控制方法 |
| CN110076772A (zh) * | 2019-04-03 | 2019-08-02 | 浙江大华技术股份有限公司 | 一种机械臂的抓取方法及装置 |
| CN110378325A (zh) * | 2019-06-20 | 2019-10-25 | 西北工业大学 | 一种机器人抓取过程中的目标位姿识别方法 |
| CN110271007A (zh) * | 2019-07-24 | 2019-09-24 | 广东工业大学 | 一种机械手臂的物体抓取方法及相关装置 |
| JP2021122924A (ja) * | 2020-02-10 | 2021-08-30 | 住友重機械工業株式会社 | 作業装置 |
| CN112936275A (zh) * | 2021-02-05 | 2021-06-11 | 华南理工大学 | 一种基于深度相机的机械臂抓取系统和控制方法 |
| CN113246131A (zh) * | 2021-05-27 | 2021-08-13 | 广东智源机器人科技有限公司 | 运动捕捉方法、装置、电子设备以及机械臂控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114083545A (zh) | 2022-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wilson et al. | Relative end-effector control using cartesian position based visual servoing | |
| WO2021128787A1 (zh) | 一种定位的方法及装置 | |
| CN109213175A (zh) | 一种基于原对偶神经网络的移动机器人视觉伺服轨迹跟踪预测控制方法 | |
| Al-Shanoon et al. | Robotic manipulation based on 3-D visual servoing and deep neural networks | |
| CN115122325A (zh) | 一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法 | |
| CN113829343A (zh) | 基于环境感知的实时多任务多人人机交互系统 | |
| CN115319734A (zh) | 用于控制机器人设备的方法 | |
| CN116460843A (zh) | 一种基于元启发式算法的多机器人协作抓取方法及系统 | |
| CN111753696A (zh) | 一种感知场景信息的方法、仿真装置、机器人 | |
| Nelson et al. | Robotic visual servoing and robotic assembly tasks | |
| KR20240052808A (ko) | 그래프 신경망을 이용한 다중 로봇 조정 | |
| Liang et al. | Fast dataset collection approach for articulated equipment pose estimation | |
| CN110202581A (zh) | 机器人末端执行器工作误差的补偿方法、装置及电子设备 | |
| CN114083545B (zh) | 一种基于视觉感知的运动物体机器人抓取方法及装置 | |
| CN113878578A (zh) | 适用于复合型机器人的动态自适应定位方法和系统 | |
| TWI788253B (zh) | 適應性移動操作設備及方法 | |
| Djelal et al. | Target tracking by visual servoing | |
| Pajak et al. | Planning of a point to point collision-free trajectory for mobile manipulators | |
| CN111002292B (zh) | 基于相似性度量的机械臂仿人运动示教方法 | |
| WO2023100282A1 (ja) | データ生成システム、モデル生成システム、推定システム、学習済みモデルの製造方法、ロボット制御システム、データ生成方法、およびデータ生成プログラム | |
| Cheng et al. | MLP Neural Network-Based Precise Localization of Robot Assembly Parts | |
| Ma et al. | Visual Servoing of manipulator with moving base | |
| US20240094736A1 (en) | Robot navigation in dependence on gesture(s) of human(s) in environment with robot | |
| Tejada-Begazo et al. | Decoupled Visual Servoing Control of a 7-DOF Robot Manipulator for an Onboard Monocular Vision System | |
| Wang et al. | Cognitive Manipulation: Semi-supervised Visual Representation and Classroom-to-real Reinforcement Learning for Assembly in Semi-structured Environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |