[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115338862A - 一种基于部分可观测马尔科夫的机械手移动路径规划方法 - Google Patents

一种基于部分可观测马尔科夫的机械手移动路径规划方法 Download PDF

Info

Publication number
CN115338862A
CN115338862A CN202210981275.2A CN202210981275A CN115338862A CN 115338862 A CN115338862 A CN 115338862A CN 202210981275 A CN202210981275 A CN 202210981275A CN 115338862 A CN115338862 A CN 115338862A
Authority
CN
China
Prior art keywords
manipulator
target
state
defining
position error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210981275.2A
Other languages
English (en)
Other versions
CN115338862B (zh
Inventor
臧希喆
王超
张学贺
刘玉斌
赵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210981275.2A priority Critical patent/CN115338862B/zh
Publication of CN115338862A publication Critical patent/CN115338862A/zh
Application granted granted Critical
Publication of CN115338862B publication Critical patent/CN115338862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Numerical Control (AREA)

Abstract

一种基于部分可观测马尔科夫的机械手移动路径规划方法,所述方法包括:步骤一:建立机械手移动路径在线规划的虚拟触觉部分可观测马尔科夫决策过程模型;步骤二:配置机械手的初始坐标、任务目标的估计坐标、预设位置误差和策略求解器参数;步骤三:求解虚拟触觉部分可观测马尔科夫决策过程模型连续生成机械手移动动作序列;步骤四:机械手执行所生成的动作序列,判断机械手与目标之间的位置误差是否满足预设位置误差。若满足,则终止机械手路径规划过程;若不满足,则重复步骤三和步骤四直至位置误差满足预设位置误差。本发明有助于增强机器人在3D空间中自主规划机械手移动路径的能力。

Description

一种基于部分可观测马尔科夫的机械手移动路径规划方法
技术领域
本发明涉及一种机械手移动路径规划方法,特别是涉及一种基于虚拟触觉部分可观测马尔科夫决策过程的机械手移动路径在线规划方法,属于机器人技术领域。
背景技术
近些年来得益于触觉传感器技术的发展,机器人能够借助触觉传感器来定位、抓取和操作目标,并顺利完成作业任务。然而,由于触觉传感器的独有特性(只有与周围环境或任务目标产生真实接触时才会发挥作用),造成机器人很难仅仅依靠触觉传感器来完成机械手移动路径的连续规划过程。这意味着,机器人必须依赖于其他路径规划算法才能实现基于触觉的目标定位和抓取,从而增加了机器人控制系统的复杂性。目前,该机器人技术领域内能够摆脱机器人对传统路径规划算法的依赖,并适用于机械手移动路径在线规划方法仍然较少。
公开号CN113400308A公开的机械手抓取产品的最优路径规划方法与可读存储介质中利用机器视觉来获取目标的像素坐标,依次计算所有像素坐标与剩余像素坐标中任选三组像素坐标之间路径距离,通过冒泡排序算法进行排序并获取最短像素坐标路径。这种方法需要机器视觉检测算法来采集全部像素坐标后才能进行后续排序过程,因此,该方法对视觉算法的检测精度有较高要求。公开号CN111923039A公开的一种基于强化学习的冗余机械臂路径规划方法中利用深度强化学习算法来建立冗余机械臂的训练环境,借助离线训练后的网络模型来规划机械臂路径。然而,这种方法需要基于大规模可靠数据集进行长时离线训练,很难满足机器人动态作业环境的在线路径规划需求。公开号CN112677159A公开的一种基于视觉定位的机械手作业路径规划方法及装置中介绍了利用视觉检测目标位置及作业环境信息,基于环境各物体的位置关系来生成作业规划路径。这种方法采用的由视觉和机械手组成手眼系统虽然可以实现在线路径规划,然而该手眼系统在使用之前需要进行精确标定,并且对视觉算法的检测精度也有较高要求。此外,公告号CN110561426B公开的超冗余机械臂路径规划方法、公告号CN110509279B公开的仿人机械臂的运动路径规划方法和公告号CN110181515B公开的双机械臂协同装配作业路径规划方法等,虽然也涉及路径规划,但仍需要依赖于精确的运动学模型或动力学模型,故在实际应用过程中容易受到建模精度的限制,从而很难发挥最佳的路径规划效果。
综上所述,针对机器人的目标搜索定位领域,迫切需要一种新的适用于机械手的移动路径在线规划方法。
发明内容
本发明为克服现有技术不足,提出一种基于部分可观测马尔科夫的机械手移动路径规划方法。该检测方法是将3D作业空间下的机械手移动路径规划问题建模为虚拟触觉部分可观测马尔科夫决策过程,进一步利用策略求解器生成机械手的动作序列并执行,最后通过判断机械手与目标之间的位置误差是否满足预设条件来决定结束或继续进行路径规划。该机械手路径规划方法摆脱了对精确数学模型的依赖,特别是可以摆脱对视觉算法、精确模型的依赖,且可以在线连续规划机械手的移动路径,有助于提高机械手对目标搜索定位的鲁棒性和效率。
本发明的技术方案如下:
步骤一:建立机械手移动路径在线规划的虚拟触觉部分可观测马尔科夫决策过程模型;
步骤二:配置机械手的初始坐标、任务目标的估计坐标、预设位置误差和策略求解器参数;
步骤三:求解虚拟触觉部分可观测马尔科夫决策过程模型连续生成机械手移动动作序列;
步骤四:机械手执行所生成的动作序列,判断机械手与目标之间的位置误差是否满足预设位置误差。若满足,则终止机械手路径规划过程;若不满足,则重复步骤三和步骤四直至位置误差满足预设位置误差。
本发明相比现有技术的有益效果是:
本发明机械手移动路径规划方法,通过建立虚拟触觉部分可观测马尔科夫决策过程模型,可以克服机器人对传统路径规划算法的依赖,特别是对精确数学模型的依赖,实现机械手移动路径的在线连续规划。特别的,本发明可以通过改变虚拟触觉部分可观测马尔科夫决策过程模型和策略求解器的参数适用于不同的路径规划场景,增强机械手对不同作业场景的适应性并提高机械手搜索定位目标的效率,从而提升机器人对作业目标的快速搜索定位能力。
下面结合附图并通过具体实施方式对本发明作进一步地说明:
附图说明
图1为机械手移动路径规划流程图;
图2为机械手移动路径规划过程示意图;
图3为机械手的规划路径示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限制本发明的保护范围。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
为了更清晰地说明本发明的实现过程,现将本发明的具体实施方式介绍如下。
如图1所示,本实施方式的一种基于部分可观测马尔科夫的机械手移动路径规划方法,它包括:
步骤一:建立机械手移动路径在线规划的虚拟触觉部分可观测马尔科夫决策过程模型;
步骤二:配置机械手的初始坐标、任务目标的估计坐标、预设位置误差和策略求解器参数;
步骤三:求解虚拟触觉部分可观测马尔科夫决策过程模型连续生成机械手移动动作序列;
步骤四:机械手执行所生成的动作序列,判断机械手与目标之间的位置误差是否满足预设位置误差,若满足,则终止机械手路径规划过程;若不满足,则重复步骤三和步骤四直至位置误差满足预设位置误差。
可选地,步骤一建立机械手移动路径在线规划的虚拟触觉部分可观测马尔科夫决策过程模型,具体包括:定义状态空间、定义动作空间、定义观测空间、定义状态转换函数、定义观测函数、定义奖惩函数和制定信念更新规则。图1和图2中所述预设条件是指预设位置误差。
定义状态空间的要求包括:机械手对作业空间中的目标进行定位时,不需要考虑机械手和目标的姿态;状态空间变量包括机械手和目标的坐标;状态空间S定义为<Obp,Grp>,其中,Obp和Grp代表目标和机械手在作业空间中的x,y,z三轴坐标;
定义动作空间的要求包括:为满足三维定位的要求,机械手的动作至少具有三个轴的运动特征,即右左(x轴)、前后(y轴)和上下(z轴);机械手的动作可以具有更多的运动特征,如沿着自定义的坐标轴进行移动;动作空间A定义为<move-right/left,move-forward/backward,move-up/down,sense>,共7种动作类型;基于二分法原理自主地调整动作的移动尺度,即每个动作移动的距离是距离误差的二分之一,如公式(1)所示;
Figure BDA0003800540420000041
式中,δ是比例因子,可选地,取δ=0.5;
Figure BDA0003800540420000042
是目标的估计坐标;
Figure BDA0003800540420000043
是机械手的实时坐标;move-right/left,move-forward/backward,move-up/down,sense分别表示右移、左移、前移、后移、上移、下移和感知。感知是表示不执行具体动作,只是用传感器采集信号;
定义观测空间的要求包括:机器人系统具有本体感知能力,机械手在作业空间中的(x,y,z)坐标Grp是机器人系统的已知量;观测空间Z定义为<Grp,Ω>,Ω是虚拟触觉传感器的感知信号;
定义状态转换函数的要求包括:机械手的动作只是接近目标,而不会超过目标所在坐标;观测空间Z中所有的状态分为7类,即object-{right,left,forward,backward,up,down,coincident},其中,{right,left,forward,backward,up,down}表示目标相对于机械手的方位,{coincident}表示目标与机械手的位置重合;机械手的每个动作的移动距离小于机械手与目标之间的距离,状态转移函数定义为均匀概率分布的函数,如公式(2)所示;
Figure BDA0003800540420000044
式中,Num{□}表示□的数量,Class[□]表示□的类别;
其中,right,left,forward,backward,up,down分别表示右、左、前、后、上和下方位。Coincident表示重合。
定义观测函数的要求包括:定义虚拟触觉传感器的输出与测量范围的比值λ为是否观察到新状态的标志;λ可参考真实触觉传感器的灵敏度,根据实际情况进行设置;当目标容易损坏或变形时,倾向于取小值来增加触觉感知的灵敏度;当目标高刚度时,可考虑较大的值来提高触觉感知的可靠性;虚拟触觉是在机械手和目标未发生实际接触的情况下,在区间[0,1]之间采用均匀分布随机地生成虚拟触觉信号ψ,且当虚拟触觉信号ψ大于λ时,则从观测空间Z中选择一种状态作为最新的观测状态,反之,当虚拟触觉信号ψ小于λ时,则不更新观测状态;当动作ai∈{sense}时,观察到的代理状态应该更可靠,当动作
Figure BDA0003800540420000045
时,状态观测概率与[ai,si+1]的一致性有关,因此,观测函数定义如公式(3)所示;
Figure BDA0003800540420000051
作为一种可能的具体实施方式,式(3)中,λ=0.15,当虚拟触觉信号ψ超过该值时,则表示观察到了新状态,Isinstance[□,○]表示□和○属性是否一致,如果属性一致,返回值为1,否则,返回值为-1。例如,动作{move-right}和状态{object-right}的属性是一致的,而动作{move-right}和状态{object-left}的属性不一致;
{move-right}表示右移动作,{object-right}表示目标相对于机械手右侧方位,{object-left}表示目标相对于机械手左侧方位。
定义奖惩函数的要求包括:为了鼓励机械手更靠近目标,当动作的属性与观察的属性一致时,即返回正向奖励,反之,当它们的属性不一致时,即返回负向惩罚;设定额外的奖惩系数τ来放大奖惩的影响,快速纠正不希望的行为;奖励或惩罚的数值与机械手-目标的距离呈负相关,如公式(4)所示;较佳地,为了最短化所规划的路径,每个动作都有一个-1的惩罚值;
Figure BDA0003800540420000052
式中,R(si,ai)表示在状态si时,执行动作ai的奖励,τ为惩罚系数,例如:Isinstance[ai,zi]=1,则τ=5;Isinstance[ai,zi]=-1,则τ=10,
Figure BDA0003800540420000053
Figure BDA0003800540420000054
分别为目标的实时坐标和估计坐标,
Figure BDA0003800540420000055
Figure BDA0003800540420000056
分别为机械手的实时坐标和初始坐标;为避免计算过程中出现数据过度拟合情况,上述坐标均设置为整数;
制定信念更新规则的要求包括:初始信念是均匀概率分布,使用非加权粒子滤波器来更新信度状态;历史ht的信念状态由K个粒子估计,每个粒子都是一个基于观察、奖励和状态转换的样本状态,信度状态
Figure BDA0003800540420000057
是所有粒子的总和,如公式(5)所示;滤波器中K个粒子从初始状态分布采样,然后通过Monte-Carlo模拟更新;
Figure BDA0003800540420000058
式中,δ□△是克罗内克函数。
可选地,步骤二中配置机械手的初始坐标、任务目标的估计坐标、预设位置误差和策略求解器参数,具体包括:设置机械手在作业空间中的初始坐标
Figure BDA0003800540420000059
和任务目标的估计坐标
Figure BDA00038005404200000510
预设位置误差是根据实际需要预先设定机械手与目标之间的位置误差,即当机械手与目标之间位置差值小于该预设位置误差时,则表示机械手已到达目标位置;根据实际规划需求选择策略求解器;
所述策略求解器例如可为部分可观测蒙特卡洛树或者部分可观测上置信区间树、并设置策略求解器的视野深度。
进一步的,基于步骤二中的设置参数执行步骤三求解虚拟触觉部分可观测马尔科夫决策过程模型,如图2所示,连续生成机械手的移动动作序列,并输入机器人控制器用于机械手的移动过程。
可选地,步骤四中机械手执行所执行的动作序列为步骤三中生成动作序列,如图2所示,进一步判断机械手与目标之间的位置误差是否满足预设条件,从而决定是否需要继续循环执行规划过程。具体判别过程包括:如果机械手与目标之间的位置误差满足预设位置误差,则终止机械手路径规划过程;如果机械手与目标之间的位置误差不满足预设位置误差,则重复步骤三和步骤四直至位置误差满足预设位置误差。
特别的,图3提供了实施“一种基于虚拟触觉部分可观测马尔科夫决策过程的机械手移动路径在线规划方法”的具体实施例的机械手移动路径规划结果。具体的,路径规划结果的参数设置包括:(1)作业空间大小:图3(a)的20cm×20cm×20cm,图3(b)的40cm×40cm×40cm,图3(c)的60cm×60cm×60cm,图3(d)的80cm×80cm×80cm和图3(e)的100cm×100cm×100cm;(2)机械手初始坐标和任务目标的估计坐标:{0,0,0}和{20,20,20},{0,0,0}和{40,40,40},{0,0,0}和{60,60,60},{0,0,0}和{80,80,80},{0,0,0}和{100,100,100};(3)视野深度:2,3和4;(4)策略求解器:采用部分可观测蒙特卡洛树(PO-MCP)和部分可观测上置信区间树求解器(PO-UCT)。然而,图3只是本发明实施方式有限的机械手的移动路径规划结果,通过修改作业空间大小、机械手初始坐标、任务目标的估计坐标、视野深度、策略求解器等设置,即可获得更多的机械手移动路径的规划结果。
本发明已以较佳实施案例揭示如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可以利用上述揭示的结构及技术内容做出些许的更动或修饰为等同变化的等效实施案例,均仍属本发明技术方案范围。

Claims (10)

1.一种基于部分可观测马尔科夫的机械手移动路径规划方法,其特征在于:它包括:
步骤一:建立机械手移动路径在线规划的虚拟触觉部分可观测马尔科夫决策过程模型;
步骤二:配置机械手的初始坐标、任务目标的估计坐标、预设位置误差和策略求解器参数;
步骤三:求解虚拟触觉部分可观测马尔科夫决策过程模型连续生成机械手的移动动作序列;
步骤四:机械手执行所生成的动作序列,判断机械手与任务目标之间的位置误差是否满足预设位置误差,若满足,则终止机械手路径规划过程;若不满足,则重复步骤三和步骤四直至位置误差满足预设位置误差。
2.根据权利要求1所述的一种基于部分可观测马尔科夫的机械手移动路径规划方法,其特征在于:步骤一中包括如下过程:1)定义状态空间,2)定义动作空间,3)定义观测空间,4)定义状态转换函数,5)定义观测函数,6)定义奖惩函数和7)制定信念更新规则;其中:
1)定义状态空间,包括:机械手对作业空间中的目标进行定位时,不需要考虑机械手和目标的姿态;状态空间变量包括机械手和目标的坐标;状态空间S定义为<Obp,Grp>,其中,Obp和Grp代表目标和机械手在作业空间中的x,y,z三轴坐标;
2)定义动作空间,包括:为满足三维定位的要求,机械手的动作至少具有三个轴的运动特征,即右左、前后和上下;动作空间A定义为<move-right/left,move-forward/backward,move-up/down,sense>,共7种动作类型;基于二分法原理自主地调整动作的移动尺度,即每个动作移动的距离是距离误差的二分之一,如公式(1)所示;
Figure FDA0003800540410000011
式中,δ是比例因子,
Figure FDA0003800540410000012
是目标的估计坐标;
Figure FDA0003800540410000013
是机械手的实时坐标;
3)定义观测空间,具体的要求包括:机器人系统具有本体感知能力,机械手在作业空间中的(x,y,z)坐标Grp是机器人系统的已知量;观测空间Z定义为<Grp,Ω>,Ω是虚拟触觉传感器的感知信号;
4)定义状态转换函数,具体的要求包括:机械手的动作只是接近目标,而不会超过目标所在坐标;观测空间Z中所有的状态分为7类,即object-{right,left,forward,backward,up,down,coincident},其中,{right,left,forward,backward,up,down}表示目标相对于机械手的方位,{coincident}表示目标与机械手的位置重合;机械手的每个动作的移动距离小于机械手与目标之间的距离,状态转移函数定义为均匀概率分布的函数,如公式(2)所示;
Figure FDA0003800540410000021
式中,Num{□}表示□的数量,Class[□]表示□的类别;
5)定义观测函数,具体的要求包括:定义虚拟触觉传感器的输出与测量范围的比值λ为是否观察到新状态的标志;λ可参考真实触觉传感器的灵敏度,根据实际情况进行设置;当目标容易损坏或变形时,则取小值来增加触觉感知的灵敏度;当目标高刚度时,取较大的值来提高触觉感知的可靠性;虚拟触觉是在机械手和目标不发生实际接触的情况下,在区间[0,1]之间采用均匀分布随机地生成虚拟触觉信号ψ,且当虚拟触觉信号ψ大于λ时,则从观测空间Z中选择一种状态作为最新的观测状态,反之,当虚拟触觉信号ψ小于λ时,则不更新观测状态;当动作ai∈{sense}时,观察到的代理状态应该更可靠,当动作
Figure FDA0003800540410000028
时,状态观测概率与[ai,si+1]的一致性有关,因此,观测函数定义如公式(3)所示;
Figure FDA0003800540410000022
Isinstance[□,○]表示□和○属性是否一致,如果属性一致,返回值为1,否则,返回值为-1;
6)定义奖惩函数,包括:当动作的属性与观察的属性一致时,即返回正向奖励,反之,当它们的属性不一致时,即返回负向惩罚;设定额外的奖惩系数τ来放大奖惩的影响,快速纠正不希望的行为;奖励或惩罚的数值与机械手-目标的距离呈负相关,如公式(4)所示;为了最短化所规划的路径,每个动作都有一个-1的惩罚值;
Figure FDA0003800540410000023
式中,R(si,ai)表示在状态si时,执行动作ai的奖励,τ为惩罚系数,
Figure FDA0003800540410000024
Figure FDA0003800540410000025
分别为目标的实时坐标和估计坐标,
Figure FDA0003800540410000026
Figure FDA0003800540410000027
分别为机械手的实时坐标和初始坐标;
7)制定信念更新规则,包括:初始信念是均匀概率分布,使用非加权粒子滤波器来更新信度状态;历史ht的信念状态由K个粒子估计,每个粒子都是一个基于观察、奖励和状态转换的样本状态,信度状态
Figure FDA0003800540410000029
是所有粒子的总和,如公式(5)所示;滤波器中K个粒子从初始状态分布采样,然后通过Monte-Carlo模拟更新;
Figure FDA0003800540410000031
式中,δ□△是克罗内克函数。
3.根据权利要求1或2所述的一种基于部分可观测马尔科夫的机械手移动路径规划方法,其特征在于:步骤二中配置机械手的初始坐标、任务目标的估计坐标、预设位置误差和策略求解器参数,具体包括:设置机械手在作业空间中的初始坐标
Figure FDA0003800540410000032
和任务目标的估计坐标
Figure FDA0003800540410000033
预设位置误差是根据实际需要预先设定机械手与目标之间的位置误差,即当机械手与目标之间位置差值小于该预设位置误差时,则表示机械手已到达目标位置;根据实际规划需求选择策略求解器,并设置策略求解器的视野深度。
4.根据权利要求3所述的一种基于部分可观测马尔科夫的机械手移动路径规划方法,其特征在于:基于步骤二中的设置参数执行步骤三求解虚拟触觉部分可观测马尔科夫决策过程模型,连续生成机械手的移动动作序列,并输入机器人控制器用于机械手的移动过程。
5.根据权利要求1、2或4所述的一种基于部分可观测马尔科夫的机械手移动路径规划方法,其特征在于:步骤一的公式(3)中λ=0.15,当虚拟触觉信号ψ超过该值时,则表示观察到了新状态。
6.根据权利要求3所述的一种基于部分可观测马尔科夫的机械手移动路径规划方法,其特征在于:所述的策略求解器为部分可观测蒙特卡洛树。
7.根据权利要求3所述的一种基于部分可观测马尔科夫的机械手移动路径规划方法,其特征在于:部分可观测上置信区间树求解器。
8.根据权利要求2所述的一种基于部分可观测马尔科夫的机械手移动路径规划方法,其特征在于:步骤一的公式(1)中取δ=0.5。
9.根据权利要求2所述的一种基于部分可观测马尔科夫的机械手移动路径规划方法,其特征在于:步骤一的定义观测函数中:右移动作和目标相对于机械手右侧方位状态的属性是一致的,而右移动作和目标相对于机械手左侧方位状态的属性不一致。
10.根据权利要求2所述的一种基于部分可观测马尔科夫的机械手移动路径规划方法,其特征在于:步骤一的公式(4)中:如果Isinstance[ai,zi]=1,则τ=5;如果Isinstance[ai,zi]=-1,则τ=10。
CN202210981275.2A 2022-08-16 2022-08-16 一种基于部分可观测马尔科夫的机械手移动路径规划方法 Active CN115338862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210981275.2A CN115338862B (zh) 2022-08-16 2022-08-16 一种基于部分可观测马尔科夫的机械手移动路径规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210981275.2A CN115338862B (zh) 2022-08-16 2022-08-16 一种基于部分可观测马尔科夫的机械手移动路径规划方法

Publications (2)

Publication Number Publication Date
CN115338862A true CN115338862A (zh) 2022-11-15
CN115338862B CN115338862B (zh) 2024-05-28

Family

ID=83952963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210981275.2A Active CN115338862B (zh) 2022-08-16 2022-08-16 一种基于部分可观测马尔科夫的机械手移动路径规划方法

Country Status (1)

Country Link
CN (1) CN115338862B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116673968A (zh) * 2023-08-03 2023-09-01 南京云创大数据科技股份有限公司 基于强化学习的机械臂轨迹规划要素选择方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211667A (ja) * 2013-04-17 2014-11-13 日本電信電話株式会社 ロボット協調搬送計画装置、方法及びプログラム
CN111872934A (zh) * 2020-06-19 2020-11-03 南京邮电大学 一种基于隐半马尔可夫模型的机械臂控制方法及系统
CN112356031A (zh) * 2020-11-11 2021-02-12 福州大学 一种基于Kernel采样策略在不确定性环境下的在线规划方法
CN112809675A (zh) * 2020-12-31 2021-05-18 西北工业大学深圳研究院 基于强化学习算法的超冗余机械臂自主抓捕空间碎片方法
CN113110509A (zh) * 2021-05-17 2021-07-13 哈尔滨工业大学(深圳) 一种基于深度强化学习的仓储系统多机器人路径规划方法
US20220168899A1 (en) * 2020-11-30 2022-06-02 Massachusetts Institute Of Technology System and method for location determination and robot control

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211667A (ja) * 2013-04-17 2014-11-13 日本電信電話株式会社 ロボット協調搬送計画装置、方法及びプログラム
CN111872934A (zh) * 2020-06-19 2020-11-03 南京邮电大学 一种基于隐半马尔可夫模型的机械臂控制方法及系统
CN112356031A (zh) * 2020-11-11 2021-02-12 福州大学 一种基于Kernel采样策略在不确定性环境下的在线规划方法
US20220168899A1 (en) * 2020-11-30 2022-06-02 Massachusetts Institute Of Technology System and method for location determination and robot control
CN112809675A (zh) * 2020-12-31 2021-05-18 西北工业大学深圳研究院 基于强化学习算法的超冗余机械臂自主抓捕空间碎片方法
CN113110509A (zh) * 2021-05-17 2021-07-13 哈尔滨工业大学(深圳) 一种基于深度强化学习的仓储系统多机器人路径规划方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116673968A (zh) * 2023-08-03 2023-09-01 南京云创大数据科技股份有限公司 基于强化学习的机械臂轨迹规划要素选择方法及系统
CN116673968B (zh) * 2023-08-03 2023-10-10 南京云创大数据科技股份有限公司 基于强化学习的机械臂轨迹规划要素选择方法及系统

Also Published As

Publication number Publication date
CN115338862B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
US11745355B2 (en) Control device, control method, and non-transitory computer-readable storage medium
US12097616B2 (en) Model generation apparatus, model generation method, control apparatus, and control method
CN114080304B (zh) 控制装置、控制方法及控制程序
CN112192614A (zh) 一种基于人机合作的核运维机器人轴孔装配方法
CN113910218B (zh) 一种基于运动学与深度神经网络融合的机器人标定方法和装置
CN115338862B (zh) 一种基于部分可观测马尔科夫的机械手移动路径规划方法
Zhang et al. Deep learning-based robot vision: High-end tools for smart manufacturing
JP2021030359A (ja) 制御装置、制御方法、及び制御プログラム
CN116442236A (zh) 基于数字孪生技术的工业机器人机械臂实时避障方法
Haidacher et al. Estimating finger contact location and object pose from contact measurements in 3d grasping
Xie [Retracted] Industrial Robot Assembly Line Design Using Machine Vision
Tsagaris et al. Path planning optimization for mechatronic systems with the use of genetic algorithm and ant colony
JP2021035714A (ja) 制御装置、制御方法、及び制御プログラム
CN114594757B (zh) 一种协作机器人的视觉路径规划方法
Horng et al. Self-correction for eye-in-hand robotic grasping using action learning
Zheng et al. Neurodynamics Adaptive Reward and Action for Hand-to-Eye Calibration With Deep Reinforcement Learning
Song et al. Dynamic parameter identification and adaptive control with trajectory scaling for robot-environment interaction
CN114619438A (zh) 基于视觉快速定位的柔性自适应装配方法
Li A Design of Robot System for Rapidly Sorting Express Carton with Mechanical Arm Based on Computer Vision Technology
CN112380655A (zh) 一种基于rs-cmsa算法的机器人逆运动学求解方法
CN112340435B (zh) 一种物流搬运机器人的抓取感知及控制方法
CN118650634B (zh) 一种基于深度学习的多机器人柔性物体伺服方法
Wu et al. Research on precision motion control of micro-motion platform based on uncalibrated visual servo
Ganin et al. Redundant Manipulator Control System Simulation with Adaptive Neural Network and Newton-Raphson Refinement Algorithm
Tian et al. Hand Position Tracking based on Optimized Consistent Extended Kalman Filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant