CN111452022B - 基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法 - Google Patents

Abstract

本发明公开了基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法，步骤依次为：建立训练任务模型、选择运动表现指标，确定任务轨迹复杂度、学习运动表现指标与任务轨迹复杂度参数间的函数关系以及实现训练任务的自适应调节。由于被试在训练过程中其运动学习能力有可能发生变化，本发明监测每轮训练中被试的运动表现，并根据被试的运动表现自适应调节训练任务的难度，为任务增加变化性，可提高被试的康复训练效果。本发明对不同的被试均监测其运动表现，可实现个性化的为每个被试自适应调节训练任务，可减少治疗师/技术员实时为不同被试调整任务难度的既枯燥又繁琐的工作量，提高康复训练效率。

Description

基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度 调节方法

技术领域

本发明属于上肢康复机器人领域，特别涉及了一种上肢康复机器人主动训练参考轨迹复杂度调节方法。

背景技术

据统计，有超过20％的中风人群在患病后因为没有得到及时医治而无法幸存，并且幸存者中有超过75％的人群因为中风导致的偏瘫、运动功能障碍等而生活无法自理。人体上肢在日常生活活动中扮演着重要的角色，上肢的偏瘫或运动功能障碍将直接导致患者失去自理能力。实践表明，根据大脑可塑性原则的运动疗法是当今最常见的上肢偏瘫康复治疗方法。其运动疗法，即通过康复医师长期反复的对上肢施加一定强度的作用力使其运动。这种方法是劳动密集型、耗时且昂贵的治疗方式。为了缓解康复医师人员的不足，以及将医师从繁重的劳动中解放出来，使其能专注其它任务，提高诊断效率和患者体验，运用上肢康复机器人是一项可行的选择。与康复医师相比，康复机器人还可以提供稳定可预期的康复治疗，记录康复数据，进行康复效果评测等。

上肢康复机器人主要有两种训练模式：被动训练和主动训练。康复医学的临床研究表明，有患者运动意图主动参与的康复训练对于患者神经系统重建和运动功能恢复更加有效。早期上肢康复机器人主动训练任务为上肢常规康复训练，譬如肩部的外展/内收训练、肘部的屈曲/伸展训练以及前臂旋转训练等。现有研究表明，任务相关(task-related)的训练任务比常规康复训练任务更有利于促进运动学习能力恢复。而被试的运动学习能力恢复主要取决于训练任务的难易程度，任务过于简单，达不到有效的训练效果；任务过于复杂，会让被试感到沮丧亦达不到有效的训练效果，因为，被试的主动参与度对运动学习能力恢复有着至关重要的影响。因此，有学者在训练之前设计实验测试评估被试的初始运动学习能力，进而为不同的被试提供难度等级不同的训练任务。但有研究表明，恒定不变的训练任务会让患者产生记忆不能做到真正的运动学习，增加任务变化性/多样性可以提高运动技能的学习与记忆。被试在训练过程中其运动学习能力有可能发生变化，那么实时监测被试的运动表现，根据被试的运动表现自适应调节训练任务的难度，为任务增加变化性，提高被试的康复训练效果。

发明内容

为了解决上述背景技术提出的技术问题，本发明提供了基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法。

为了实现上述技术目的，本发明的技术方案为：

基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法，包括以下步骤：

(1)将示教轨迹x与示教力f代入人机交互动力学系统得到吸引子y，采用高斯混合模型GMM和高斯混合回归GMR对吸引子y进行建模，得到一条综合多次演示经验的参考吸引子y^*；

(2)选择完成训练任务所用的时间b_T、运动轨迹误差b_E和运动轨迹柔顺度b_S作为被试的运动表现指标，构成运动表现指标向量b＝[b_T,b_E,b_S]；

(3)根据等效动力学系统原理确定任务轨迹复杂度参数a，参数a的大小表征着参考吸引子y^*对参考轨迹x^*的吸引能力的大小，a越大，参考轨迹x^*越贴近y^*，即具有越多y^*的特征，参考轨迹x^*越复杂；

(4)利用贝叶斯优化方法学习运动表现指标向量b与任务轨迹复杂度参数a之间的函数关系a＝g^c(b)，其中，g^c(·)为待学习的目标函数；

(5)将步骤(4)得到的函数关系a＝g^c(b)代入等效动力学系统，实现根据被试的运动表现自适应调节参考轨迹x^*的复杂度，进而实现调节任务难度，增加任务多样性。

进一步地，在步骤(1)中，所述人机交互动力学系统如下：

上式中，K^p为刚度矩阵，K^v为阻尼矩阵，

为示教轨迹x的一阶微分。

进一步地，设人机交互动力学系统为规范系统，则

进一步地，在步骤(3)中，根据等效动力学系统，刚度矩阵K^p＝aI，其中，I表示单位矩阵。

进一步地，在步骤(2)中，所述运动轨迹误差

其中x′表示被试实际完成的任务轨迹；所述运动轨迹柔顺度

其中，

表示x′的三阶微分，N₁为被试实际任务轨迹的长度，t表示时间。

进一步地，在步骤(4)中，

其中，g(b)表示由先验均值μ(b)和核函数k(b,b′)描述的高斯过程，b和b′均从运动表现指标数据集B中取，且b与b′不取同一个数据；ε表示噪声，

为方差为

的高斯噪声；

贝叶斯优化的每次迭代过程中，下一个运动表现指标采样点b_*通过最大化采集函数EI得到，然后将

加入数据集D，再将数据集D输入高斯过程模型更新目标函数，直至达到收敛条件，得到轨迹复杂度与运动表现指标间的函数关系a＝g^c(b)，其中，

为b_*的因变量值，初始的数据集D＝{B,A}，其中A为任务轨迹复杂度参数数据集；采集函数EI的表达式如下：

其中，

为g^c(b)的最小值，b_i为数据集B中第i个值，i＝1,…,V，V为数据集B中的数据个数；

φ(·)和

分别为累积分布函数和概率密度函数；

和s_* ²分别为g(b)后验分布的后验均值和方差：

其中，b′_*的取值原理与前述b′一致；k_*＝[k(b₁,b_*),...,k(b_v,b_*)]^T为核矩阵，上标T表示转置；K为正定核矩阵，K的第i行第j列的元素[K]_ij＝k(b_i,b_j)，b_i,b_j均从数据集B中取值；I为单位矩阵。

进一步地，所述核函数

其中，σ²为信号方差，M是由b_T,b_E,b_S的尺度因子组成的对角矩阵，尺度因子表征任务轨迹复杂度参数a对b_T,b_E,b_S的敏感度大小。

采用上述技术方案带来的有益效果：

(1)本发明根据被试的运动表现自适应调节训练任务轨迹的复杂度，进而调节训练任务的难度，为任务增加变化性，提高康复训练效果；

(2)本发明适用于对每个被试在每轮训练过程中都进行运动表现的监测，考虑了被试间的个体差异性，可实现个性化的为每个被试自适应调节下一轮的训练任务，有利于康复训练；

(3)本发明采用贝叶斯优化学习运动表现指标与任务轨迹复杂度的关系，由于其迭代次数少，可快速地实现训练任务参考轨迹的自适应调节。

附图说明

图1是本发明的方法流程图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明设计了基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法，如图1所示，步骤如下：

步骤1：将示教轨迹x与示教力f代入人机交互动力学系统得到吸引子y，采用高斯混合模型GMM和高斯混合回归GMR对吸引子y进行建模，得到一条综合多次演示经验的参考吸引子y^*；

步骤2：选择完成训练任务所用的时间b_T、运动轨迹误差b_E和运动轨迹柔顺度b_S作为被试的运动表现指标，构成运动表现指标向量b＝[b_T,b_E,b_S]；

步骤3：根据等效动力学系统原理确定任务轨迹复杂度参数a，参数a的大小表征着参考吸引子y^*对参考轨迹x^*的吸引能力的大小，a越大，参考轨迹x^*越贴近y^*，即具有越多y^*的特征，参考轨迹x^*越复杂；

步骤4：利用贝叶斯优化方法学习运动表现指标向量b与任务轨迹复杂度参数a之间的函数关系a＝g^c(b)，其中，g^c(·)为待学习的目标函数；

步骤5：将步骤4得到的函数关系a＝g^c(b)代入等效动力学系统，实现根据被试的运动表现自适应调节参考轨迹x^*的复杂度，进而实现调节任务难度，增加任务多样性。

在本实施例中，优选地，上述步骤1采用如下技术方案实现：

由治疗师/技术人员与机器人协作传授任务，所记录的数据有机器人在t时刻的位置信息与人机交互力信息，分别组成示教轨迹x和示教力f。

先构造人机交互动力学系统如下：

上式中，K^p为刚度矩阵，K^v为阻尼矩阵，

为示教轨迹x的一阶微分，即速度变量。y为系统处于平衡状态的空间向量，通常叫做吸引子。

其次，根据人机交互动力学系统，代入示教轨迹x和示教力f求解出吸引子y：

假设人机交互动力学系统为规范系统，则有

采用高斯混合模型(Gaussian Mixture Model,GMM)和高斯混合回归(GaussianMixture Regression,GMR)对吸引子y进行建模。高斯混合模型和高斯混合回归是一种基于概率模型的机器学习中的回归算法。GMM/GMR将示教数据看作一个随机变量序列，并假设其符合正态分布，考虑同一变量临近时刻之间的空间相关性，从而根据多次示教的数据来估计数据的分布特征，并以此为依据生成新的连续运动轨迹。简言之，其输入是离散的样本数据，输出是连续运动轨迹。该算法的作用与譬如多项式回归等简单的回归算法是一样的，都可以解决机器学习中的连续问题。但是，GMM/GMR可以克服多重示教轨迹中的不确定性，减小不良示教所引起的影响；另外，由于是参数模型，所以其模型紧凑，适合处理大量数据的运动轨迹序列。

在这里，将吸引子y作为GMM/GMR的输入变量，输出一条综合多次演示经验的参考吸引子y^*，将y^*和平均示教力f^*代入人机交互动力学系统，便可得到一条参考轨迹x^*，让被试与机器人交互协作去复现。

在本实施例中，优选地，上述步骤2采用如下方案实现：

为了衡量被试训练过程中的运动表现，选择完成训练任务所用的时间b_T，运动轨迹误差b_E与运动轨迹柔顺度b_S为运动表现指标。完成训练任务所用的时间b_T是一个很好的衡量运动表现的指标，b_T越小表明被试的运动学习能力越强，反之亦然。运动轨迹误差b_E为参考轨迹与被试实际完成的任务轨迹的均方根误差：

其中，x′表示被试实际完成的任务轨迹，显然，b_E越小表明被试的运动学习能力越强，反之亦然。

运动轨迹柔顺度b_S亦可用来衡量被试的运动学习能力，b_S越小表明被试的实际完成轨迹越柔顺，即运动学习能力越强：

其中，

表示x′的三阶微分，N₁为被试实际任务轨迹的长度，t表示时间。

在本实施例中，优选地，上述步骤3采用如下方案实现：

人机交互动力学系统中的刚度矩阵K^p可用下列方式表达：

K^p＝aI

其中，I表示单位矩阵。

将

与K^p＝aI代入人机交互动力学系统得到等效动力学系统：

在参考吸引子y^*与平均示教力f^*确定的情况下，变量a的大小，表征着参考吸引子y^*对参考轨迹x^*的吸引能力的大小。a越大，参考轨迹x^*越贴近y^*，具有越多y^*的特征，譬如拐点，峰值等，参考轨迹x^*越复杂；反之，a越小，参考轨迹x^*越远离y^*，具有越少y^*的特征，参考轨迹x^*越趋向于简单。换言之，变量a可调节参考轨迹x^*的复杂度。因此将变量a定义为训练任务轨迹的复杂度参数。

在本实施例中，优选地，上述步骤4采用如下优选方案实现：

贝叶斯优化是一种有效的全局优化方法,尤其适合于优化未知的且计算代价昂贵的目标函数。首先，对初始数据集建立高斯过程模型可得到目标函数的先验分布模型与后验分布模型。然后，根据后验分布模型的均值与协方差矩阵构造采集函数，令采集函数最大化即可获得下一个采样点。最后，将该采样点加入初始数据集得到新的数据集，重新输入高斯过程模型，更新目标函数。重复上述过程，形成闭环直至达到收敛条件(指定循环次数或最大值/最小值)终止，完成贝叶斯优化。采集函数可平衡探索(exploration)与利用(exploitation)，探索即尽量选择远离已知点的点为下一次用于迭代的参考点，探索未知的领域，点的分布会尽可能的均匀；利用即尽量选择靠近已知点的点为下一次用于迭代的参考点，即尽可能挖掘已知点周围的点，点的分布会出现一个密集区域，容易进入局部最大。贝叶斯优化用于调参，可以很快找到一个可以接受的超参数值，迭代次数少。故在这里，选择贝叶斯优化学习轨迹复杂度与运动表现指标间的函数关系。

令运动表现指标b＝[b_T,b_E,b_S]为自变量，轨迹复杂度a＝g(b)为因变量。设初始训练数据集D＝{B,A}，其中，B为运动表现指标数据集，A为任务轨迹复杂度参数数据集。

①先验分布：由先验均值μ(b)和核函数k(b,b′)表达，采用0均值的平方指数核作为核函数：

其中，σ²为信号方差，M是由b_T,b_E,b_S的尺度因子组成的对角矩阵，尺度因子表征任务轨迹复杂度参数a对b_T,b_E,b_S的敏感度大小。b和b′均从运动表现指标数据集B中取，且b与b′不取同一个数据。

由于观测通常是带噪声的，故对上述模型加一个高斯噪声ε，即：

其中，

为噪声方差为

的高斯噪声，g^c(b)为最终待学习的目标函数。

②后验分布：由后验均值

和方差s_* ²表达：

其中，b_*为新的运动表现指标采样点，b′_*的取值原理同b′一致，

为b_*的因变量值，k_*＝[k(b₁,b_*),...,k(b_v,b_*)]^T为核矩阵，上标T表示转置；K为正定核矩阵，K的第i行第j列的元素[K]_ij＝k(b_i,b_j)，b_i,b_j均从数据集B中取值。

b_*通过最大化采集函数而得，采集函数EI的表达式如下：

其中，

为g^c(b)的最小值，b_i为数据集B中第i个值，i＝1,…,V，V为数据集B中的数据个数；

φ(·)和

分别为累积分布函数和概率密度函数。

综上，下一个运动表现指标采样点b_*通过最大化采集函数EI得到，然后将

加入数据集D，再将数据集D输入高斯过程模型更新目标函数，直至达到收敛条件，得到轨迹复杂度与运动表现指标间的函数关系a＝g^c(b)。

在本实施例中，优选地，上述步骤5采用如下方案实现：

轨迹复杂度与运动表现指标间的函数关系a＝g^c(b)代入等效动力学系统有：

在参考吸引子y^*与平均示教力f^*确定的情况下，参考轨迹x^*由运动表现指标b唯一确定。因此，当被试的运动表现发生变化，便可自适应调节参考轨迹x^*，实现自适应调节轨迹复杂度，进而调节任务难度，增加任务多样性的目的。

本发明中所指的任务相关的训练任务，通常指日常生活活动的运动轨迹，譬如熨烫衣服、擦桌子等需要的复杂轨迹。在这里，由治疗师/技术人员与机器人协作传授任务，机器人处于柔顺控制模式，人可以自由带动机械臂运动。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法，其特征在于，包括以下步骤：

(1)将示教轨迹x与示教力f代入人机交互动力学系统得到吸引子y，采用高斯混合模型GMM和高斯混合回归GMR对吸引子y进行建模，得到一条综合多次演示经验的参考吸引子y^*；

(2)选择完成训练任务所用的时间b_T、运动轨迹误差b_E和运动轨迹柔顺度b_S作为被试的运动表现指标，构成运动表现指标向量b＝[b_T,b_E,b_S]；

(3)根据等效动力学系统原理确定任务轨迹复杂度参数a，参数a的大小表征着参考吸引子y^*对参考轨迹x^*的吸引能力的大小，a越大，参考轨迹x^*越贴近y^*，即具有越多y^*的特征，参考轨迹x^*越复杂；

(4)利用贝叶斯优化方法学习运动表现指标向量b与任务轨迹复杂度参数a之间的函数关系a＝g^c(b)，其中，g^c(·)为待学习的目标函数；

(5)将步骤(4)得到的函数关系a＝g^c(b)代入等效动力学系统，实现根据被试的运动表现自适应调节参考轨迹x^*的复杂度，进而实现调节任务难度，增加任务多样性。

2.根据权利要求1所述基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法，其特征在于，在步骤(1)中，所述人机交互动力学系统如下：

上式中，K^p为刚度矩阵，K^v为阻尼矩阵，

为示教轨迹x的一阶微分。

3.根据权利要求2所述基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法，其特征在于，设人机交互动力学系统为规范系统，则

4.根据权利要求2所述基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法，其特征在于，在步骤(3)中，根据等效动力学系统，刚度矩阵K^p＝aI，其中，I表示单位矩阵。

5.根据权利要求1所述基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法，其特征在于，在步骤(2)中，所述运动轨迹误差

其中x′表示被试实际完成的任务轨迹；所述运动轨迹柔顺度

其中，

表示x′的三阶微分，N₁为被试实际任务轨迹的长度，t表示时间。

6.根据权利要求1所述基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法，其特征在于，在步骤(4)中，

其中，g(b)表示由先验均值μ(b)和核函数k(b,b′)描述的高斯过程，b和b′均从运动表现指标数据集B中取，且b与b′不取同一个数据；ε表示噪声，

为方差为

的高斯噪声；

贝叶斯优化的每次迭代过程中，下一个运动表现指标采样点b_*通过最大化采集函数EI得到，然后将

加入数据集D，再将数据集D输入高斯过程模型更新目标函数，直至达到收敛条件，得到轨迹复杂度与运动表现指标间的函数关系a＝g^c(b)，其中，

为b_*的因变量值，初始的数据集D＝{B,A}，其中A为任务轨迹复杂度参数数据集；采集函数EI的表达式如下：

其中，

为g^c(b)的最小值，b_i为数据集B中第i个值，i＝1,…,V，V为数据集B中的数据个数；

φ(·)和

分别为累积分布函数和概率密度函数；

和s_* ²分别为g(b)后验分布的后验均值和方差：

其中，b′_*的取值原理与前述b′一致；k_*＝[k(b₁,b_*),...,k(b_v,b_*)]^T为核矩阵，上标T表示转置；K为正定核矩阵，K的第i行第j列的元素[K]_ij＝k(b_i,b_j)，b_i,b_j均从数据集B中取值；I为单位矩阵。

7.根据权利要求6所述基于贝叶斯优化的上肢康复机器人主动训练参考轨迹复杂度调节方法，其特征在于，所述核函数

其中，σ²为信号方差，M是由b_T,b_E,b_S的尺度因子组成的对角矩阵，尺度因子表征任务轨迹复杂度参数a对b_T,b_E,b_S的敏感度大小。

Images