CN106527738A - 一种用于虚拟现实系统的多信息体感交互手套系统及方法 - Google Patents

Abstract

本发明提供一种用于虚拟现实系统的多信息体感交互手套系统及方法，涉及虚拟现实技术领域。体感交互手套系统包括手套本体、传感器模块、信号运算放大器模块及模数转换模块、震动反馈模块、处理器模块和通讯模块，采用该体感交互手套系统进行手部运动信息和位姿的计算，计算方法以程序的形式载入上述手套系统的处理器模块，实时对手部运动和姿态信息进行计算，同时接受虚拟现实系统上位机的反馈信息并控制震动反馈模块来模拟触觉，实现双向交互。本发明通过多传感器信息融合技术和基于sEMG的隐式交互，可以对操作人的手部三维运动姿态和力进行精确的识别和计算，为使用者带来身临其境的交互体验。

Description

一种用于虚拟现实系统的多信息体感交互手套系统及方法

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种用于虚拟现实系统的多信息体感交互手套系统及方法。

背景技术

虚拟现实系统的信息输入方式问题一直是研究的一大困扰，而对于手部运动信息这一最主要的虚拟现实输入端，现有的交互手套只通过单一的惯性信息或弯曲传感器来检测手部姿态，无法对手部动作进行真正精确模拟，特别是无法预测运动力的大小，实际体验不自然；而且现有的交互手套不具有反馈交互功能，只是系统对人进行单向的手势识别，这种交互方式无法带来真实沉浸的虚拟体验。

发明内容

针对现有技术的缺陷，本发明提供一种用于虚拟现实系统的多信息体感交互手套系统及方法，多信息体感交互手套系统作为虚拟现实系统的输入，通过多传感器信息融合技术和基于sEMG的隐式交互，可以对操作人的手部三维运动姿态和力进行精确的识别和计算，为使用者带来身临其境的交互体验。

一方面，本发明提供一种用于虚拟现实系统的多信息体感交互手套系统，包括手套本体、传感器模块、信号运算放大器模块及模数转换模块、震动反馈模块、处理器模块和通讯模块。

手套本体用于搭载和固定其他模块组，穿戴于使用者手部，包括手指部、手腕部和套袖部，套袖部能套至使用者前臂处。

传感器模块，用于采集手部的运动和姿态信息，包括弯度传感器组、肌电传感器组、惯性传感器组和压力传感器组；弯度传感器组固定于手套本体手指段的每个指套外侧指部夹层中，用于采集手指弯曲度，包括5个柔性弯曲传感器；肌电传感器组固定于手套本体的前臂套袖部，用于采集手部运动相关肌肉运动产生的皮肤表面肌电信息(sEMG)，包括8个肌电传感器；惯性传感器组固定于手套本体的手腕部，用于采集手腕处的运动信息，包括三维加速度计和三维陀螺仪；压力传感器组固定于手套本体手指部的每个指套内侧，用于测量手指接触力，包括5个接触式压力传感器。

信号运算放大器模块，固定于手套本体前臂套袖部外侧，用于将肌电传感器组采集的sEMG微信号进行放大。

模数转换模块，固定于手套本体前臂套袖部的外侧，用于将肌电传感器组检测的经过信号运算放大器放大后的模拟信号进行处理并转化为数字信号，以提高肌电信号的采样率。

震动反馈模块，固定于手套本体手指部的指套内侧处，用于将虚拟现实系统的手部触觉信息以震动的方式反馈至手部，包括4个震动反馈单元。

处理器模块，固定于手套本体的手腕部外侧，用于收集和处理模数转换模块的信号，并计算手部的姿态、位移、接触力与非接触力，以及接受虚拟现实系统的手部触觉信息并反馈至震动反馈模块。

通讯模块，固定于处理器模块旁，用于连接处理器模块和虚拟现实系统的上位机，实现信息交流和通讯，所述通讯模块为蓝牙通讯模块。

另一方面，本发明还提供一种采用上述的用于虚拟现实系统的多信息体感交互手套系统进行手部运动信息和位姿的计算方法，该方法以程序的形式载入上述体感交互手套系统的处理器模块，实时对手部运动和姿态信息进行计算，同时接受虚拟现实系统上位机的反馈信息并控制震动反馈模块来模拟触觉，实现双向交互，具体方法如下：

步骤1：实时收集传感器模块中各传感器组的信号，并进行模数转换；

步骤2：设计数字滤波器算法，对模数转换后的各数字信号进行滤波和去噪预处理；

步骤3：根据弯度传感器组采集的数据计算各个手指弯度，根据肌电传感器组的数据计算手指相关肌肉的激活度，根据惯性传感器组的三维加速度计信号和三维陀螺仪信号计算手腕线性运动和旋转角度，即手部姿态的三维角度，根据压力传感器组的数据获取手指接触力；

步骤4：建立多肌肉动力学模型，对手指指力进行估计，指力包括接触力和非接触力，具体包括以下步骤：

步骤4.1：进行基于多肌肉动力学模型的指力预测，建立肌肉激活度与肌肉力之间的多肌肉动力学模型，用于由输入的相关肌肉激活度计算肌肉力，该肌肉力用来预测手指指力；

步骤4.2：利用压力传感器组检测的手指接触力与多肌肉动力学模型估计的手指指力建立状态方程，通过扩展卡尔曼滤波精确估计手指指力；

步骤5：将得到的手指弯度、手腕线性运动和旋转角度、手指接触力与非接触力信息发送至通信模块端口，同时接收虚拟现实系统上位机的触觉反馈信息用于控制震动反馈模块。

进一步地，所述步骤2中，对sEMG信号的预处理过程采用IIR数字带通滤波器进行去噪，主要滤除高频噪声和50Hz工频干扰，式(1)为预处理过程的计算公式；

其中，L表示带通滤波器函数；e(t)为原始sEMG信号；为选取时间窗内的平均值；u(t)为预处理后的sEMG信号；u₀为偏移量。

进一步地，所述步骤3中手腕线性运动和旋转角度的计算方法为：

定义旋转幅度为p，该旋转幅度为T个采样点内的角速度绝对值的和，如下式所示：

其中，abs()为求绝对值运算，为第t个采样点处i轴方向的角速度；

定义手部姿态(三维角度)的两种求解方法，分别由加速度计和陀螺仪数据计算获得：

方法1：利用加速度传感器计算关节角度：

确定x、y、z三个方向加速度信号的矢量和R，如下式所示：

其中，a_x、a_y、a_z分别为x、y、z三个方向的加速度信号；

确定各个方向的角度angle_i，如式(4)所示，其中，i＝x，y，z。

方法2：利用陀螺仪计算关节角度，如式(5)所示；

angle_i(n)＝angle_i(n-1)+w_i·T₁ (5)

其中，angle_i(n)为当前采样点的关节角度，angle_i(n-1)为前一采样点的关节角度，w_i为采集的i方向的角速度，T₁为陀螺仪采集数据的时间变化率；

当旋转幅度p＜p₁时，为静态或低速状态，使用方法1计算手部三维角度；当p₁≤p≤p₂时，速度适中，使用方法1和2的结果加权和计算手部三维角度；当p＞p₂时，速度较快，使用方法2计算手部三维角度；其中，p₁、p₂和p₃分别为手部运动最大角速度的20％、40％和60％。

进一步地，所述步骤4.1进行基于多肌肉动力学模型的指力预测，具体包括以下步骤：

步骤4.1.1：建立激活度模型，用于计算肌肉的激活程度，反应肌肉力的大小，肌肉激活度由预处理后的sEMG信号根据式(6)计算得到；

其中，a(t)表示t时刻的激活度，u(t)为t时刻预处理后的sEMG信号；

步骤4.1.2：建立肌肉收缩动力学模型，简称Hill模型，该模型包括产生主动收缩力的主动收缩单位(CE)和与其并联的产生被动弹性力的弹性单元(PE)；

Hill模型中的肌腱单元力F₁ ^mt由主动收缩力和被动弹性力的叠加F^m产生，如下式所示；

其中，φ为肌肉纤维与腱的夹角；主动收缩力由其与肌肉长度项函数与肌肉收缩速度项函数f_V(v)、肌肉激活度a(t)和肌肉最大等肌收缩能力表示，被动弹性力由其与肌肉长度项函数和肌肉最大等肌收缩能力表示，如式(8)所示；

作如下近似假设：肌肉纤维和腱的夹角φ保持不变，取0.2；肌肉收缩速率对主动力变化的影响可以忽略；腱的刚度比较大，即腱长基本保持不变；

则归一化肌肉长展可由下式计算：

其中，l^m表示肌肉长度，表示最佳肌肉长度；

主动收缩力与肌肉长度项函数和被动弹性力与肌肉长度项函数的函数形式，通过现有的基于医学研究的数据作曲线拟合来建立，所得到的拟合函数式分别如式(10)和式(11)所示；

步骤4.1.3：将得到的肌肉激活度a(t)和归一化肌肉长度带入到式(7)至式(9)，得到肌肉力预测值。

进一步地，所述步骤4.2中扩展卡尔曼滤波精确估计的方法为：

步骤4.2.1：建立以手指指力为状态的状态方程；

设手指指力F^mt和该力的导数为卡尔曼滤波的状态，第n个采样点的手指指力及其导数的状态如式(12)和式(13)所示；

其中，w₁(n)为手指指力状态描述方程中的过程噪声，w₂(n)为手指力导数状态描述方程中的过程噪声，T为采样时间；

第n个采样点的状态矢量为x(n)，手指指力的估计值F^c及其导数组成输出矢量为式(12)和式(13)联立得如下的状态方程：

其中，z(n)为指力的观测状态，由测量值确定，w(n)为模型的过程噪声，v(n)为测量噪声，均为高斯白噪声，即w＝N(0，Q)、v＝N(0，R)，其中，Q和R均为常数；记H＝[1 1]；

步骤4.2.2：计算误差矩阵并更新状态方程；

步骤4.2.2.1：由上一个采样点的值按式(15)计算当前采样点的最小均方误差矩阵P(n|n-1)，P(n-1|n-1)为上一个采样点的最小均方误差矩阵；

P(n|n-1)＝A·P(n-1|n-1)A^T+Q (15)

对于第一个采样点，初始化最小均方误差矩阵P(1|1)为单位阵；

步骤4.2.2.2：根据得到的最小均方误差矩阵对当前状态进行更新修正，如式(16)所示，包括计算误差增益K(n)、修正值x(n|n)和当前状态的最小均方误差矩阵P(n|n)；

其中，x(n|n-1)表示在前一个状态为条件下计算的当前状态值；

步骤4.2.2.3：通过式(16)更新式(14)状态方程的状态，得到每个采样点的手指力估计值，即状态方程输出。

由上述技术方案可知，本发明的有益效果在于：本发明提供的一种用于虚拟现实系统的多信息体感交互手套系统及方法，通过多传感器信息融合技术，对操作人的手部三维运动姿态和力进行精确的识别和计算，在识别精度和感知广度上都有很大改善，不仅可以识别手部三维姿态，还可以进行精确的手指力估计；采用基于sEMG的隐式交互，为虚拟现实系统提供了最为自然的手部交互信息输入方式，用轻便的手套作为虚拟现实输入设备，可以减少传统基于手柄或操作杆输入设备与虚拟现实环境操作不匹配造成的操作不自然、需要短期适应学习的缺点；采用双向交互方式，体感手套除了感知手部运动信息作为输入，其多模态震动反馈可以模拟触觉反馈输出，实现一种人与虚拟现实系统双向交流反馈的交互方式，可以更加真实的模拟虚拟现实中的手部操作和触觉，带来更加沉浸式的操作体验。

附图说明

图1为虚拟现实交互系统的结构示意图；

图2为本发明实施例提供的用于虚拟现实系统的多信息体感交互手套系统的反面结构示意图；

图3为本发明实施例提供的用于虚拟现实系统的多信息体感交互手套系统的正面结构示意图；

图4为本发明实施例提供的柔性弯曲传感器的特性示意图；

图5为本发明实施例提供的柔性弯曲传感器的外界电路示意图；

图6为本发明实施例提供的接触式压力传感器FSR的特性示意图；

图7为本发明实施例提供的处理器模块及其外电路结构示意图；

图8为本发明实施例提供的用于虚拟现实系统的多信息体感交互手套系统的电路连接示意图；

图9为本发明实施例提供的手部运动信息和位姿的计算方法示意图；

图10为本发明实施例提供的预处理后的sEMG信号与原始肌电信号的对比曲线图；

图11为本发明实施例提供的肌肉收缩动力学模型示意图；

图12为本发明实施例提供的主动收缩力与肌肉长度项函数和被动弹性力与肌肉长度项函数的真实曲线与拟合曲线示意图。

图中：1、手套本体；101、手指部；102、手腕部；103、套袖部；2、弯度传感器组；201～205、柔性弯曲传感器；3、肌电传感器组；301～308、肌电传感器；4、惯性传感器组；5、压力传感器组；501～505、压力传感器；6、信号运算放大器模块；7、模数转换模块；8、震动反馈模块；801～804、震动反馈单元；9、处理器模块；10、通讯模块。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

虚拟现实交互系统如图1所示，包括虚拟现实系统的上位机、双目显示终端和体感交互手套，虚拟现实系统的上位机，是指实现虚拟现实系统的核心处理机。

本实施例提供一种用于虚拟现实系统的多信息体感交互手套系统，该体感交互手套系统为上述虚拟现实交互系统的输入层，用于通过多传感器采集手臂及手部的运动数据并传输至虚拟现实系统上位机，上位机在虚拟现实环境中模拟人手部的真实运动，并将虚拟环境中手部的触感信息发送至体感交互手套系统，以震动的形式反馈用户在虚拟环境中的触感，体感交互手套系统接受上位机的触觉反馈信息，控制手套系统的震动反馈单元输出震动触感。虚拟现实系统上位机可以根据体感交互手套系统的多传感器数据输入进行处理和分析，计算手部和手臂三维姿态和运动量，包括各个关节角度及力矩，并将虚拟现实的画面传递至双目显示终端显示。体感交互手套系统与虚拟现实系统以蓝牙的方式进行无线通信。

本实施例提供的一种用于虚拟现实系统的多信息体感交互手套系统的结构如图2和图3所示，图2为手套反面结构示意图，图3为手套正面结构示意图。该体感交互手套系统包括手套本体1、传感器模块、信号运算放大器模块6、模数转换模块7、震动反馈模/8、处理器模块9和通讯模块10。

手套本体1用于搭载和固定其他模块组，穿戴于使用者手部，包括手指部101、手腕部102和套袖部103，套袖部103能套至使用者的前臂处。

传感器模块，用于采集手部的运动和姿态信息，包括弯度传感器组2、肌电传感器组3、惯性传感器组4和压力传感器组5。

弯度传感器组2包括5个柔性弯曲传感器201～205，分别固定于手套本体手指段的每个指套外侧指部夹层中，用于采集各个手指的弯曲度，以获得手指姿态。本实施例中，柔性弯曲传感器201～205均采用flex45型号，其特性和外接电路如图4和图5所示，其中R1表示flex45柔性弯曲传感器，其中，输出电压V_out为

肌电传感器组3固定于手套本体1的前臂套袖部103，包括8个肌电传感器301～308，手套本体1的正面和反面分别设有四个肌电传感器，均匀布置于前臂套袖部，每个肌电传感器包括接触式肌电电极和运算放大电路，用于采集手部运动相关肌肉运动产生的皮肤表面肌电信息(sEMG)。

惯性传感器组4固定于手套本体的手腕部，包括一个惯性传感器，用于采集手腕处的运动信息，本实施例中，惯性传感器采用ANALOG公司的ADIS16460，为14引脚的微型惯性测量单元(IMU)，内置3维加速度计和3维陀螺仪，可检测手部的运动状态(重力加速度分量和运动角速度)。

压力传感器组5固定于手套本体手指部的每个指套内侧，包括5个接触式压力传感器501～505，用于测量手指接触力，接触式压力传感器FSR的特性和外接电路如图6所示，其外接电路与flex45柔性弯曲传感器的外接电路相同。

信号运算放大器模块6，固定于手套本体1的套袖部103外侧，用于将肌电传感器组3采集的sEMG微信号进行放大。

模数转换模块7，固定于手套本体1的套袖部103的外侧，用于将肌电传感器组3检测的经过信号运算放大器放大后的模拟信号进行处理并转化为数字信号，以提高肌电信号的采样率。本实施例中，数模转换模块7采用ADS1256芯片组成8组高精度数模转换模块，该模块连接电路中包括电源电路、外围滤波电路及与Arm9CPU的连接方式。

震动反馈模块8，固定于手套本体1手指部101的指套内侧处，包括4个震动反馈单元801～804，用于将虚拟现实系统的手部触觉信息以震动的方式反馈至手部。

处理器模块9，固定于手套本体1的手腕部102外侧，用于收集和处理模数转换模块7的信号，并计算手部的姿态、位移、接触力与非接触力，以及接受虚拟现实系统的手部触觉信息并反馈至震动反馈模块8。本实施例中，处理器模块9采用基于Arm9主控核的三星S3C2440CPU，如图7所示。

通讯模块10，固定于处理器模块9旁，为蓝牙通信模块，用于连接处理器模块9和虚拟现实系统的上位机，实现信息交流和通讯。

本实施例提供的用于虚拟现实系统的多信息体感交互手套系统的电路连接图如图8所示，由于对肌电信号的采样频率要求较高(≥200Hz)，而过多使用S3C2440的模拟IO难以达到采样精度，因此肌电传感器的8通道模拟信号通过运算放大器放大，并由高精度AD转换模块ADS1256转换为数字信号。AD模块数据口与数字IO区相连，并与CPU时钟区相连，接受时钟信号。其他传感器数据均通过模拟IO读取。其中压力传感器占用CPU的4个模拟输入端口，柔性弯曲传感器占用5个，震动反馈需要连接6个模拟输入端口，均连接在CPU的模拟IO区。CPU将以串行通信的方式与蓝牙模块进行数据传递，连接端口也位于数字IO区，实现与外部上位机之间的无线通信。

一种采用上述的用于虚拟现实系统的多信息体感交互手套系统进行手部运动信息和位姿的计算方法，如图9所示，该方法以程序的形式载入上述手套系统的处理器模块9，实时对手部运动和姿态信息进行计算，同时接受虚拟现实系统上位机的反馈信息并控制震动反馈模块8来模拟触觉，实现双向交互，具体方法如下。

步骤1：实时收集传感器模块中各传感器组的信号，并进行模数转换。

步骤2：设计数字滤波器算法，对各数字信号进行滤波和去噪预处理。

sEMG信号的预处理，包括滤波去噪和全波整流两个环节，预处理过程采用IIR数字带通滤波器进行去噪，主要滤除高频噪声和50Hz工频干扰。式(1)为预处理过程的计算公式。

其中，L表示带通滤波器函数；e(t)为原始sEMG信号；为选取时间窗内的平均值；u(t)为预处理后的sEMG信号；u₀为偏移量。

预处理后的sEMG信号与原始肌电信号的对比如图10所示。

sEMG信号是由肌电传感器采集，由多个活跃运动单元发放的动作电位序列沿肌纤维传播，并经由脂肪/皮肤构成的容积导体滤波后，在皮肤表面呈现的时间和空间上综合叠加的结果，具有更自然的控制方式，其超前于实际运动产生，可以进行动作预判，蕴含肌肉力、关节运动量等丰富信息。基于这些特点，通过sEMG估计手指力可以达到良好的实时估计效果。

其他信号均采用现有的数字滤波器去噪算法进行预处理。

步骤3：根据弯度传感器组采集的数据计算各个手指弯度，根据肌电传感器组的数据计算手指相关肌肉的激活度，根据惯性传感器组的数据计算手腕线性运动和旋转角度，根据压力传感器组的数据获取手指接触力。

手指弯度通过体感数据手套的柔性传感器直接检测。

手部轨迹的计算，即通过惯性传感器的三维加速度计信号和三维陀螺仪信号求解手部所处的三维角度。首先定义旋转幅度为P，该旋转幅度为T个采样点内的角速度绝对值的和，如下式所示：

其中，abs()为求绝对值运算，为第t个采样点处i轴方向的角速度。定义手部姿态(三维角度)的两种求解方法，分别由加速度计和陀螺仪数据计算获得：

方法1：利用加速度传感器计算关节角度：先求出三个方向加速度信号的矢量和R，如下式：

其中，a_x、a_y、a_z分别为三个方向的加速度信号，然后可以求出各个方向的角度angle_i，如式(4)所示，其中，i＝x，y，z。

方法2：利用陀螺仪计算关节角度，如式(5)；

angle_i(n)＝angle_i(n-1)+w_i·T (5)

其中，angle_i(n)为当前采样点的关节角度，angle_i(n-1)为计算的前一采样点关节角度值，w_i为采集的i方向的角速度，T为陀螺仪采集数据的时间变化率。

当旋转幅度p＜p₁时，规定为静态或低速，使用方法1计算；当p₁≤p≤p₂时，规定速度适中，使用方法1和2的结果加权求和得计算；当p＞p₂时，规定速度较快，使用方法2计算。

其中，p₁、p₂和p₃分别为手部运动最角速度的20％、40％和60％。

本实施例中，方法1中加速度传感器对静态和低速状态的角度计算准确，但是对速度突变的情况有大幅偏差，方法2中陀螺仪对旋转运动下的角度计算准确，但是静态下有零点偏移和轻微跳变。因此本实施例采用两种方法相结合的方式求得手部姿态。

步骤4：建立多肌肉动力学模型，对手指指力进行估计，指力包括接触力和非接触力，具体包括以下步骤。

步骤4.1：建立肌肉激活度与肌肉力之间的多肌肉动力学模型，用于由输入的相关肌肉激活度计算肌肉力，该肌肉力用来估计手指的指力，模型建立的具体方法如下。

步骤4.1.1：建立激活度模型。激活度模型可以用于计算肌肉的激活程度，激活程度是反应肌肉力大小的重要量度，直接反应了肌肉的激活水平。本实施例中，肌肉激活度介于0至1之间。肌肉激活度由预处理后的sEMG信号根据式(6)计算得到。

其中，a(t)表示t时刻的激活度，u(t)为t时刻预处理后的sEMG信号。

步骤4.1.2：建立肌肉收缩动力学模型，该模型简称Hill模型，是通过大量解剖学实验和医学数据分析建立的模拟肌肉力学模型，将微观的肌纤维变化用宏观机构模型体现，反映了肌肉力的形成过程。Hill模型的肌肉模型结构如图11所示。包括产生主动收缩力的主动收缩单位(CE)和与其并联的产生被动弹性力的弹性单元(PE)。图中具体涉及的参数由表1列出。

表1 Hill模型相关参数

Hill模型中的肌腱单元力F₁ ^mt由主动收缩力和被动弹性力的叠加F^m产生，可以描述为：

其中，φ为肌肉纤维与腱的夹角。主动收缩力由其与肌肉长度项函数与肌肉收缩速度项函数f_V(v)、肌肉激活度a(t)和肌肉最大等肌收缩能力表示，被动弹性力由其与肌肉长度项函数和肌肉最大等肌收缩能力表示，如式(8)所示。

作如下近似假设：1)肌肉纤维和腱的夹角φ保持不变，取0.2；2)肌肉收缩速率对主动力变化的影响可以忽略，即f_V(v)≈1；3)腱的刚度比较大，即腱长基本保持不变，即归一化肌肉长度可由下式计算：

作此假设是由于Hill模型过于复杂不利于建模，且参数难以获取，近似假设之后可以在保持一定计算精度的前提下，大大方便在线计算。

主动收缩力与肌肉长度项函数和被动弹性力与肌肉长度项函数的函数形式，通过现有的基于医学研究的数据作曲线拟合来建立。图12为和拟合前后的数据，通过二阶高斯函数进行拟合，通过指数函数进行拟合，所得到的拟合函数式分别如式(10)和式(11)所示。

步骤4.1.3：将计算得到的肌肉激活度a(t)和归一化肌肉长度带入到式(7)至式(9)，可得到肌肉力预测值。

步骤4.2：利用压力传感器组检测的手指接触力与多肌肉动力学模型估计的手指指力建立状态方程，通过扩展卡尔曼滤波精确估计手指的指力，具体方法如下。

步骤4.2.1：建立以手指指力为状态的状态方程。设手指指力F^mt(手指指力为多个肌腱单元力的和)和该力的导数为卡尔曼滤波的状态，第n个采样点的手指指力及其导数的状态如式(12)和式(13)所示，其中，w₁(n)为手指指力状态描述方程中的过程噪声，w₂(n)为手指力导数状态描述方程中的过程噪声，T为采样时间。

第n个采样点的状态矢量记为x(n)，记手指指力的估计值F^c及其导数组成输出矢量式(12)和式(13)联立得如下的状态方程：

其中，z(n)为指力的观测状态，由测量值确定，w(n)为模型的过程噪声，v(n)为测量噪声，均为高斯白噪声，即w＝N(0，Q)、v＝N(0，R)，其中，Q和R均为常数。记H＝[1 1]。

步骤4.2.2：计算误差矩阵并更新状态方程。首先由上个采样点值按式(15)计算当前采样点的最小均方误差矩阵P(n|n-1)，P(n-1|n-1)为上一个采样点的最小均方误差矩阵。对于第一个采样点，初始化P(1|1)为单位阵。

P(n|n-1)＝A·P(n-1|n-1)A^T+Q (15)

然后，由最小均方误差矩阵对当前状态进行更新修正，包括计算误差增益K(n)、修正值x(n|n)和当前状态的最小均方误差矩阵P(n|n)，如式(16)所示。

其中，x(n|n-1)表示在前一个状态为条件下计算的当前状态值。

通过式(16)更新式(14)状态方程的状态，可以求出每个采样点的手指力估计值，即状态方程输出。

步骤5：将得到的手指弯度、手腕线性运动和旋转角度、手指接触力与非接触力信息发送至通信模块端口，同时接收虚拟现实系统上位机的触觉反馈信息，用于控制震动反馈模块。

本发明提供的一种用于虚拟现实系统的多信息体感交互手套系统及方法，通过多传感器信息融合技术，对操作人的手部三维运动姿态和力进行精确的识别和计算，在识别精度和感知广度上都有很大改善，不仅可以识别手部三维姿态，还可以进行精确的手指力估计；采用基于sEMG的隐式交互，为虚拟现实系统提供了最为自然的手部交互信息输入方式，用轻便的手套作为虚拟现实输入设备，可以减少传统基于手柄或操作杆输入设备与虚拟现实环境操作不匹配造成的操作不自然、需要短期适应学习的缺点；采用双向交互方式，体感手套除了感知手部运动信息作为输入，其多模态震动反馈可以模拟触觉反馈输出，实现一种人与虚拟现实系统双向交流反馈的交互方式，可以更加真实的模拟虚拟现实中的手部操作和触觉，带来更加沉浸式的操作体验。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (6)

1.一种用于虚拟现实系统的多信息体感交互手套系统，其特征在于：该系统包括手套本体(1)、传感器模块、信号运算放大器模块(6)及模数转换模块(7)、震动反馈模块(8)、处理器模块(9)和通讯模块(10)；

所述手套本体(1)用于搭载和固定其他模块组，穿戴于使用者手部，包括手指部(101)、手腕部(102)和套袖部(103)，套袖部(103)能套至使用者的前臂处；

所述传感器模块，用于采集手部的运动和姿态信息，包括弯度传感器组(2)、肌电传感器组(3)、惯性传感器组(4)和压力传感器组(5)；所述弯度传感器组(2)固定于手套本体(1)手指段的每个指套外侧指部夹层中，用于采集手指弯曲度，包括5个柔性弯曲传感器；所述肌电传感器组(3)固定于手套本体(1)的前臂套袖部(103)，用于采集手部运动相关肌肉运动产生的皮肤表面肌电信息(sEMG)，包括8个肌电传感器；所述惯性传感器组(4)固定于手套本体(1)的手腕部(102)，用于采集手腕处的运动信息，包括三维加速度计和三维陀螺仪；所述压力传感器组(5)固定于手套本体(1)手指部(101)的每个指套内侧，用于测量手指接触力，包括5个接触式压力传感器；

所述信号运算放大器模块(6)，固定于手套本体(1)前臂套袖部(103)外侧，用于将肌电传感器组(3)采集的sEMG微信号进行放大；

所述模数转换模块(7)，固定于手套本体(1)前臂套袖部(103)的外侧，用于将肌电传感器组(3)检测的经过信号运算放大器放大后的模拟信号进行处理并转化为数字信号，以提高肌电信号的采样率；

所述震动反馈模块(8)，固定于手套本体(1)手指部(101)的指套内侧处，用于将虚拟现实系统的手部触觉信息以震动的方式反馈至手部，包括4个震动反馈单元；

所述处理器模块(9)，固定于手套本体(1)的手腕部(102)外侧，用于收集和处理模数转换模块(7)的信号，并计算手部的姿态、位移、接触力与非接触力，以及接受虚拟现实系统的手部触觉信息并反馈至震动反馈模块(8)；

所述通讯模块(10)，固定于处理器模块(9)旁，用于连接处理器模块(9)和虚拟现实系统的上位机，实现信息交流和通讯，所述通讯模块(10)为蓝牙通讯模块。

2.一种采用权利要求1所述的用于虚拟现实系统的多信息体感交互手套系统进行手部运动信息和位姿的计算方法，其特征在于：该方法以程序的形式载入上述手套系统的处理器模块(9)，实时对手部运动和姿态信息进行计算，同时接受虚拟现实系统上位机的反馈信息并控制震动反馈模块(8)来模拟触觉，实现双向交互，具体方法如下：

步骤1：实时收集传感器模块中各传感器组的信号，并进行模数转换；

步骤2：设计数字滤波器算法，对模数转换后的各数字信号进行滤波和去噪预处理；

步骤3：根据弯度传感器组(2)采集的数据计算各个手指弯度，根据肌电传感器组(3)的数据计算手指相关肌肉的激活度，根据惯性传感器组(4)的三维加速度计信号和三维陀螺仪信号计算手腕线性运动和旋转角度，即手部姿态的三维角度，根据压力传感器组(5)的数据获取手指接触力；

步骤4：建立多肌肉动力学模型，对手指指力进行估计，指力包括接触力和非接触力，具体包括以下步骤：

步骤4.1：进行基于多肌肉动力学模型的指力预测，建立肌肉激活度与肌肉力之间的多肌肉动力学模型，用于由输入的相关肌肉激活度计算肌肉力，该肌肉力用来预测手指指力；

步骤4.2：利用压力传感器组(5)检测的手指接触力与多肌肉动力学模型估计的手指指力建立状态方程，通过扩展卡尔曼滤波精确估计手指指力；

步骤5：将得到的手指弯度、手腕线性运动和旋转角度、手指接触力与非接触力信息发送至通信模块端口，同时接收虚拟现实系统上位机的触觉反馈信息用于控制震动反馈模块(8)。

3.根据权利要求2所述的一种手部运动信息和位姿的计算方法，其特征在于：所述步骤2中，对sEMG信号的预处理过程采用IIR数字带通滤波器进行去噪，主要滤除高频噪声和50Hz工频干扰，式(1)为预处理过程的计算公式；

$u\left(t\right)=L\left(\right|e\left(t\right)-\stackrel{\‾}{e}\left(t\right)\left|\right)-u_0---\left(1\right)$

其中，L表示带通滤波器函数；e(t)为原始sEMG信号；为选取时间窗内的平均值；u(t)为预处理后的sEMG信号；u₀为偏移量。

4.根据权利要求3所述的一种手部运动信息和位姿的计算方法，其特征在于：所述步骤3中手腕线性运动和旋转角度的计算方法为：

定义旋转幅度为p，该旋转幅度为T个采样点内的角速度绝对值的和，如下式所示：

$p=\underset{t=1}{\overset{T}{\Σ}}abs\left(w_i^t\right)---\left(2\right)$

其中，abs()为求绝对值运算，为第t个采样点处i轴方向的角速度；

定义手部姿态(三维角度)的两种求解方法，分别由加速度计和陀螺仪数据计算获得：

方法1：利用加速度传感器计算关节角度：

确定x、y、z三个方向加速度信号的矢量和R，如下式所示：

$R=\sqrt{a_x^2+a_y^2+a_z^2}---\left(3\right)$

其中，a_x、a_y、a_z分别为x、y、z三个方向的加速度信号；

确定各个方向的角度angle_i，如式(4)所示，其中，i＝x,y,z。

${\mathrm{angle}}_i=\frac{180}{\mathrm{\π}}arccos\left(\frac{a_z}{R}\right)---\left(4\right)$

方法2：利用陀螺仪计算关节角度，如式(5)所示；

angle_i(n)＝angle_i(n-1)+w_i·T₁ (5)

其中，angle_i(n)为当前采样点的关节角度，angle_i(n-1)为前一采样点的关节角度，w_i为采集的i方向的角速度，T₁为陀螺仪采集数据的时间变化率；

当旋转幅度p＜p₁时，为静态或低速状态，使用方法1计算手部三维角度；当p₁≤p≤p₂时，速度适中，使用方法1和2的结果加权和计算手部三维角度；当p＞p₂时，速度较快，使用方法2计算手部三维角度；其中，p₁、p₂和p₃分别为手部运动最大角速度的20％、40％和60％。

5.根据权利要求4所述的一种手部运动信息和位姿的计算方法，其特征在于：所述步骤4.1进行基于多肌肉动力学模型的指力预测，具体包括以下步骤：

步骤4.1.1：建立激活度模型，用于计算肌肉的激活程度，反应肌肉力的大小，肌肉激活度由预处理后的sEMG信号根据式(6)计算得到；

$a\left(t\right)=\frac{e^{\mathrm{\&lambda;}u\left(t\right)}-1}{e^{\mathrm{\&lambda;}}-1},-3<\mathrm{\&lambda;}<0---\left(6\right)$

其中，a(t)表示t时刻的激活度，u(t)为t时刻预处理后的sEMG信号；

步骤4.1.2：建立肌肉收缩动力学模型，简称Hill模型，该模型包括产生主动收缩力的主动收缩单位(CE)和与其并联的产生被动弹性力的弹性单元(PE)；

Hill模型中的肌腱单元力F₁ ^mt由主动收缩力和被动弹性力的叠加F^m产生，如下式所示；

$F_1^{mt}=F^m\&CenterDot;cos\left(\mathrm{\&phi;}\right)=(F_A^m+F_P^m)\&CenterDot;cos\left(\mathrm{\&phi;}\right)---\left(7\right)$

其中，φ为肌肉纤维与腱的夹角；主动收缩力由其与肌肉长度项函数与肌肉收缩速度项函数f_V(v)、肌肉激活度a(t)和肌肉最大等肌收缩能力F₀ ^m表示，被动弹性力由其与肌肉长度项函数和肌肉最大等肌收缩能力表示，如式(8)所示；

$\left\{\begin{array}{c}{F}_A^m=f_A\left({\tilde{l}}^m\right)\&CenterDot;f_V\left(v\right)\&CenterDot;a\left(t\right)\&CenterDot;F_0^m\\ F_P^m=f_P\left({\tilde{l}}^m\right)\&CenterDot;F_0^m\end{array}\right.---\left(8\right)$

作如下近似假设：肌肉纤维和腱的夹角φ保持不变，取0.2；肌肉收缩速率对主动力变化的影响可以忽略；腱的刚度比较大，即腱长基本保持不变；

则归一化肌肉长度可由下式计算：

${\tilde{l}}^m=\frac{l^m}{l_0^m}---\left(9\right)$

其中，l^m表示肌肉长度，表示最佳肌肉长度；

主动收缩力与肌肉长度项函数和被动弹性力与肌肉长度项函数的函数形式，通过现有的基于医学研究的数据作曲线拟合来建立，所得到的拟合函数式分别如式(10)和式(11)所示；

$f_A\left({\tilde{l}}^m\right)=0.9866\&times;e^{-\frac{{({\tilde{l}}^m-1.073)}^2}{{0.2952}^2}}+0.6533\&times;e^{-\frac{{({\tilde{l}}^m-0.7201)}^2}{{0.1759}^2}}---\left(10\right)$

$f_P\left({\tilde{l}}^m\right)=0.000065\&times;e^{6.47{\tilde{l}}^m}---\left(11\right)$

步骤4.1.3：将得到的肌肉激活度a(t)和归一化肌肉长度带入到式(7)至式(9)，得到肌肉力预测值。

6.根据权利要求5所述的一种手部运动信息和位姿的计算方法，其特征在于：所述步骤4.2中扩展卡尔曼滤波精确估计的方法为：

步骤4.2.1：建立以手指指力为状态的状态方程；

设手指指力F^mt和该力的导数为卡尔曼滤波的状态，第n个采样点的手指指力及其导数的状态如式(12)和式(13)所示；

$F^{mt}\left(n\right)=F^{mt}(n-1)+{\stackrel{\&CenterDot;}{F}}^{mt}(n-1)T+w_1\left(n\right)---\left(12\right)$

${\stackrel{\&CenterDot;}{F}}^{mt}\left(n\right)={\stackrel{\&CenterDot;}{F}}^{mt}(n-1)+w_2\left(n\right)---\left(13\right)$

其中，w₁(n)为手指指力状态描述方程中的过程噪声，w₂(n)为手指力导数状态描述方程中的过程噪声，T为采样时间；

第n个采样点的状态矢量为x(n)，手指指力的估计值F^c及其导数组成输出矢量为式(12)和式(13)联立得如下的状态方程：

$\left\{\begin{array}{c}x\left(n\right)=\left[\begin{array}{cc}1& T\\ 0& 1\end{array}\right]x(n-1)+w\left(n\right)\\ y\left(n\right)=\left[\begin{array}{cc}1& 1\end{array}\right]z\left(n\right)+v\left(n\right)\end{array}\right.---\left(14\right)$

其中，z(n)为指力的观测状态，由测量值确定，w(n)为模型的过程噪声，v(n)为测量噪声，均为高斯白噪声，即w＝N(0,Q)、v＝N(0,R)，其中，Q和R均为常数；记H＝[11]；

步骤4.2.2：计算误差矩阵并更新状态方程；

步骤4.2.2.1：由上一个采样点的值按式(15)计算当前采样点的最小均方误差矩阵P(n|n-1)，P(n-1|n-1)为上一个采样点的最小均方误差矩阵；

P(n|n-1)＝A·P(n-1|n-1)A^T+Q (15)

对于第一个采样点，初始化最小均方误差矩阵P(1|1)为单位阵；

步骤4.2.2.2：根据得到的最小均方误差矩阵对当前状态进行更新修正，如式(16)所示，包括计算误差增益K(n)、修正值x(n|n)和当前状态的最小均方误差矩阵P(n|n)；

$\left\{\begin{array}{c}K\left(n\right)=P\left(n\right|n-1)\&CenterDot;H^T{\&lsqb;R\left(n\right)+H\&CenterDot;P\left(n\right|n-1)\&CenterDot;H^T\&rsqb;}^{-1}\\ x\left(n\right|n)=A\&CenterDot;x\left(n\right|n-1)+K\left(n\right)\&lsqb;z\left(n\right)-H\&CenterDot;x\left(n\right|n-1)\&rsqb;\\ P\left(n\right|n)=\&lsqb;I-K\left(n\right)\&CenterDot;H\&rsqb;P\left(n\right|n-1)\end{array}\right.---\left(16\right)$

其中，x(n|n-1)表示在前一个状态为条件下计算的当前状态值；

步骤4.2.2.3：通过式(16)更新式(14)状态方程的状态，得到每个采样点的手指力估计值，即状态方程输出。