CN111475019A - 一种虚拟现实的手势交互系统和方法 - Google Patents

Abstract

本申请公开了一种虚拟现实的手势交互系统和方法，系统包括显示设备和交互手套，所述交互手套上设有若干个惯性传感器、第一处理单元和电磁发射单元，所述显示设备上设有第二处理单元、电磁接收单元和虚拟显示单元，其中，所述第二处理单元用于执行以下步骤：接收所述第一处理单元上传的所述若干个惯性传感器检测得到的手部姿态数据；获取所述电磁接收单元接收到的所述电磁发射单元发送的磁通量；根据所述磁通量计算所述交互手套的空间位置信息；根据所述姿态数据和所述空间位置信息控制所述虚拟显示单元内的虚拟空间中的虚拟手的移动状态。本申请能有效扩宽VR数据手套的使用场景。本申请可广泛应用于虚拟技术领域。

Description

一种虚拟现实的手势交互系统和方法

技术领域

本发明涉及虚拟技术领域，尤其是一种虚拟现实的手势交互系统和方法。

背景技术

VR手套是一种人机交互手套。目前，市面上大多数的VR数据手套或者交互手套仍然采用传统的3DoF控制器，而采用该类控制器使得现有的VR数据手套的交互功能仅限于旋转运动。如果要实现空间定位或者追踪功能的功能，则需要借助外围设备来实现空间定位或者追踪功能，然而，这些外部设备还需要搭建光学摄像机或者激光雷达来一起使用，也就是说，用户需要提前搭建好使用环境，但是，由于搭建使用环境的过程相对复杂，从而限制能够实现空间定位或者追踪功能的VR数据手套的使用场景。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供一种虚拟现实的手势交互系统，其能有效扩宽VR数据手套的使用场景。

本发明实施例的另一个目的在于提供一种虚拟现实的手势交互方法。

为达到上述目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了：

一种虚拟现实的手势交互系统，其包括显示设备和交互手套，所述交互手套上设有若干个惯性传感器、第一处理单元和电磁发射单元，所述显示设备上设有第二处理单元、电磁接收单元和虚拟显示单元，其中，所述第二处理单元用于执行以下步骤：

接收所述第一处理单元上传的所述若干个惯性传感器检测得到的手部姿态数据；

获取所述电磁接收单元接收到的所述电磁发射单元发送的磁通量；

根据所述磁通量计算所述交互手套的空间位置信息；

根据所述姿态数据和所述空间位置信息控制所述虚拟显示单元内的虚拟空间中的虚拟手的移动状态。

进一步地，所述第一处理单元用于接收所述若干个惯性传感器上传的手部动作数据，根据所述手部动作数据计算得到手部姿态数据。

进一步地，所述电磁接收单元用于接收所述电磁发射单元发射的磁通量，并根据所述磁通量的变化量生成感应电动势。

进一步地，所述根据所述磁通量计算所述交互手套的空间位置信息，其具体包括：

构建参考坐标系；

根据所述感应电动势确定所述交互手套在所述参考坐标系内的空间位置信息。

进一步地，所述根据所述姿态数据和所述空间位置信息控制所述虚拟显示单元内的虚拟空间中的虚拟手的移动状态，其具体包括：

根据所述姿态数据和所述空间位置信息建立所述交互手套与所述虚拟空间中的虚拟手的映射关系；

根据所述映射关系控制所述虚拟空间中的虚拟手的移动状态。

进一步地，所述交互手套上还设有振动反馈模块，所述第二处理单元还用于根据所述虚拟空间中的虚拟手的移动状态生成控制信号，所述第一处理单元还用于根据所述控制信号控制所述振动反馈模块的工作状态。

第二方面，本发明实施例提供了：

一种虚拟现实的手势交互方法，其包括以下步骤：

接收交互手套上传的手部姿态数据和磁通量；

根据所述磁通量计算所述交互手套的空间位置信息；

根据所述姿态数据和所述空间位置信息控制虚拟显示单元内的虚拟空间中的虚拟手的移动状态。

进一步地，所述根据所述磁通量计算所述交互手套的空间位置信息，其具体包括：

获取根据所述磁通量的变化量生成的感应电动势；

构建参考坐标系；

根据所述感应电动势确定所述交互手套在所述参考坐标系内的空间位置信息。

进一步地，所述根据所述姿态数据和所述空间位置信息控制虚拟显示单元内的虚拟空间中的虚拟手的移动状态，其具体包括：

根据所述姿态数据和所述空间位置信息建立交互手套与虚拟空间中的虚拟手的映射关系；

根据所述映射关系控制虚拟空间中的虚拟手的移动状态。

进一步地，还包括以下步骤：

根据所述虚拟空间中的虚拟手的移动状态生成控制信号；

根据所述控制信号控制所述交互手套内振动反馈模块的工作状态。

本发明实施例的有益效果是：通过在交互手套内设置电磁发射单元和惯性传感器，以及在显示设备上设置电磁接收单元，以使显示设备上的第二处理单元能够根据电磁发射单元发射的磁通量计算交互手套的空间位置信息，并结合惯性传感器检测得到的手部姿态数据控制虚拟显示单元内的虚拟空间中的虚拟手的移动状态，从而无需借助外围设备和搭建实用环境，即能实现空间定位和追踪功能，以有效扩宽VR数据手套的使用场景。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面对本发明实施例中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1为本发明一种具体实施例的虚拟现实的手势交互系统的单元框图；

图2为本发明一种具体实施例的交互手套的穿戴示意图；

图3为本发明一种具体实施例的显示设备的结构示意图；

图4为本发明一种具体实施例的虚拟现实的手势交互方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明实施例提供了一种虚拟现实的手势交互系统，其包括显示设备和交互手套，所述交互手套上设有若干个惯性传感器、第一处理单元和电磁发射单元，所述显示设备上设有第二处理单元、电磁接收单元和虚拟显示单元，其中，所述第二处理单元用于执以下步骤：

接收所述第一处理单元上传的所述若干个惯性传感器检测得到的手部姿态数据；

获取所述电磁接收单元接收到的所述电磁发射单元发送的磁通量；

根据所述磁通量计算所述交互手套的空间位置信息；

根据所述姿态数据和所述空间位置信息控制所述虚拟显示单元内的虚拟空间中的虚拟手的移动状态。

在一些可选的实施例中，如图2和图3所示，所述交互手套200为两个，分别为左右手套，所述惯性传感器210包括至少六个，其中，五个惯性传感器分别设置在对应的五个手指，剩余的一个惯性传感器设置在手套对应于手部背面位置，其中，手部背面还设有电磁发射单元220。所述显示设备可以为头戴式显示设备300，可以为VR眼镜、AR眼镜和MR眼镜等设备。所述第二处理单元和电磁接收单元310可以是集成在头戴式显示设备内部的模块，也可以通过USB数据线与头戴显示设备进行通信。具体地：

第一处理单元，可以采用51单片机或者STM32单片机，其用于接收六个惯性传感器检测得到的动作数据，根据该动作数据通过算法迭代修正为相应的姿态四元数，再使用卡尔曼滤波算法解算出每个手指及手背的姿态信息，即使用者做了什么手势。该姿态信息包括手指、手背的姿态信息。由于在交互手套上设有惯性传感器，从而可以做到偏航、俯仰和滚动这个三类运动，即实现3DoF手势交互。同时还控制电磁发射单元进行工作。

惯性传感器，可以采用基于MEMS九轴惯性传感器，内部集成了加速度计、磁力计和陀螺仪，其分别用于获取每个手指及手背的动作数据，并返回加速度、角速度等数据至第一处理单元，使第一处理单元对返回的数据进行处理。在一些可选的实施例中，为了防止电磁发射单元生成的磁场对该惯性传感器的工作过程的干扰，将该惯性传感器的外壳设置为铝制外壳。

电磁发射单元，其设置在交互手套内部，自身能够产生一定的磁场，也可以将该电磁发射单元理解为磁场发生器。该电磁发射单元产生的磁场有显示设备中的电磁接收单元接收，从而使显示设备或者该线圈所在的手套在空间中的相对位置。

第二处理单元，可集成在显示设备内部，用于处理交互手套上传的手部姿态数据和磁通量，具体采用特定算法计算得到准确且连续的手势数据和空间位置信息，并将手势数据和空间位置信息映射到虚拟显示环境中的虚拟手，以同步虚拟手的动作，并生成虚拟手相对于显示设备在三维空间中的位置和方向，以实现虚拟空间中手势交互、6DoF空间追踪。

电磁接收单元，其基于法拉第电磁感应定律，分别获取两个交互手套中电磁发射单元产生的磁场，根据获取的磁场分析磁场强度和两个交互手套的距离以及与显示设备的距离。具体是利用法拉第电磁感应定律，通过识别交互手套上的电磁发射线圈产生的磁场，通过感知该磁场的磁通量变化，产生感应电动势，即电压信号，使第二处理单元根据该电压信号强度和建立的参考坐标系进行计算，得到交互手套相对于显示设备的空间位置信息，该空间位置信息包括三维坐标值、距离和方向等。在本实施例中，将手看作一个整体，识别手相对于显示设备在空间中的位置，即整体实现6DoF手势交互。

上述实施例中，3DoF是指某个设备有3个自由度的运动控制，能在VR系统中实现偏航、俯仰和滚动这三类运动，都是围绕x、y和z轴进行旋转，因此，3DoF手势识别涉笔在三维空间中位置是相对固定的，可以检测到方向，但是，无法进行延x、y和z轴的平移操作，所以，无法检测得到“前伸”、“侧移”的动作。6DoF是指设备在3DoF的基础上，增加了前或者后、上或者下、左或者右的运动控制，因此，6DoF手势识别设备可以做到三维空间中任意方向运动的检测。即3DoF只能实现方向追踪，而6DoF能够实现位置追踪。

此外，所述交互手套还设有第一通信单元，该第一通信单元为无线传输模块，其通过蓝牙通信协议与显示设备通信，用于将第一处理单元接收到的手部动作数据上传到显示设备，该手部动作数据包括加速度、角速度和姿态角等数据。同时，还用于接收显示设备反馈的数据。所述显示设备上还设有第二通信单元，该第二通信单元可以为无线通信模块，其通过蓝牙通信协议与交互手套通信，用于实现显示设备与交互手套的实时数据同步。

所述交互手套还设有按键单元230和电源单元，所述按键单元用于接收用户的外部操作，当用户按压该按键时，触发相应的指令，例如手部姿态校准、开关机等功能。所述电源单元用于为交互手套的其他单元提供工作电源。

因此，本实施例通过在交互手套内设置电磁发射单元和惯性传感器，以及在显示设备上设置电磁接收单元，以使显示设备上的第二处理单元能够根据电磁发射单元发射的磁通量计算交互手套的空间位置信息，并结合惯性传感器检测得到的手部姿态数据控制虚拟显示单元内的虚拟空间中的虚拟手的移动状态，从而无需借助外围设备和搭建实用环境，即能实现空间定位和追踪功能，以有效扩宽VR数据手套的使用场景。

作为可选的实施例方式，所述第一处理单元用于接收所述若干个惯性传感器上传的手部动作数据，根据所述手部动作数据计算得到手部姿态数据。具体是根据该动作数据通过算法迭代修正为相应的姿态四元数，再使用卡尔曼滤波算法解算出每个手指及手背的姿态数据，即使用者做了什么手势。该姿态数据包括手指和手背的姿态数据。通过处理得到手指和手背的姿态数据，以使虚拟环境中虚拟手的变化过程能够更加符合实际情况。

作为可选的实施例方式，所述根据所述磁通量计算所述交互手套的空间位置信息，其具体包括：

构建参考坐标系；该参考坐标系可以是基于显示设备的位置信息进行构建的。

根据所述感应电动势确定所述交互手套在所述参考坐标系内的空间位置信息。所述空间位置信息是指两个交互手套相对于显示设备的空间位置。该空间位置信息在交互过程中是实时变化的，从而使得虚拟环境内的虚拟手能够根据交互手套的变化而变化。

作为可选的实施例方式，所述根据所述姿态数据和所述空间位置信息控制所述虚拟显示单元内的虚拟空间中的虚拟手的移动状态，其具体包括：

根据所述姿态数据和所述空间位置信息建立所述交互手套与所述虚拟空间中的虚拟手的映射关系；所述映射关系是用于使戴有交互手套的手的变换过程与虚拟手的变换过程是同步变化。

根据所述映射关系控制所述虚拟空间中的虚拟手的移动状态。

本实施例通过增设映射关系，使得虚拟手的变化过程能够更加贴合实际变换情况。

作为可选的实施例方式，如图1所示，所述交互手套上还设有振动反馈模块，所述第二处理单元还用于根据所述虚拟空间中的虚拟手的移动状态生成控制信号，所述第一处理单元还用于根据所述控制信号控制所述振动反馈模块的工作状态。

具体地，所述振动反馈模块的工作状态是由第一处理单元控制，该振动模块当接收到第一处理单元发送的指令后，内部的振子进行振动。当用户在虚拟环境内用手去触碰物体、移动物体或者挤压物体等时，振动反馈模块可以让用户获得可感知的反馈和提示等，以达到较好的使用体验及沉浸感。

此外，如图4所示，本发明实施例还提供了一种虚拟现实的手势交互方法，本实施例应用于图1所示系统的显示设备，更为具体地，本实施例应用于图1所示系统的第二处理单元。本实施例具体包括步骤S410-S430：

S410、接收交互手套上传的手部姿态数据和磁通量；所述手部姿态数据是交互手套内的第一处理单元根对惯性传感器上传的手部动作数据进行处理得到的姿态数据，其包括手指和手背的姿态数据。所述磁通量是显示设备内的电磁接收单元感应到的交互手套内的电磁发射单元发射的磁场中的磁通量。

S420、根据所述磁通量计算所述交互手套的空间位置信息；本步骤具体是根据该磁通量计算的变换量计算得到感应电动势，根据该感应电动势计算交互手套的空间位置信息。

S430、根据所述姿态数据和所述空间位置信息控制虚拟显示单元内的虚拟空间中的虚拟手的移动状态。

本实施例通过根据交互手套上传的磁通量计算交互手套的空间位置信息，并结合交互手套上传的手部姿态数据控制虚拟显示单元内的虚拟空间中的虚拟手的移动状态，动状态，从而无需借助外围设备和搭建实用环境，即能实现空间定位和追踪功能，以有效扩宽VR数据手套的使用场景。

作为可选的实施例方式，所述根据所述磁通量计算所述交互手套的空间位置信息，其具体包括：

获取根据所述磁通量的变化量生成的感应电动势；

构建参考坐标系；该参考坐标系可以是基于显示设备的位置信息进行构建的。

根据所述感应电动势确定所述交互手套在所述参考坐标系内的空间位置信息。所述空间位置信息是指两个交互手套相对于显示设备的空间位置。该空间位置信息在交互过程中是实时变化的，从而使得虚拟环境内的虚拟手能够根据交互手套的变化而变化。

作为可选的实施例方式，所述根据所述姿态数据和所述空间位置信息控制虚拟显示单元内的虚拟空间中的虚拟手的移动状态，其具体包括：

根据所述姿态数据和所述空间位置信息建立交互手套与虚拟空间中的虚拟手的映射关系；所述映射关系是用于使戴有交互手套的手的变换过程与虚拟手的变换过程是同步变化。

根据所述映射关系控制虚拟空间中的虚拟手的移动状态。

本实施例通过增设映射关系，使得虚拟手的变化过程能够更加贴合实际变换情况。

作为可选的实施例方式，还包括以下步骤：

根据所述虚拟空间中的虚拟手的移动状态生成控制信号；

根据所述控制信号控制所述交互手套内振动反馈模块的工作状态。

具体地，当用户在虚拟环境内用虚拟手去触碰物体、移动物体或者挤压物体等时，显示设备上的第二处理单元会根据该虚拟手此时的状态生成一个控制信号，并将控制信号发送到交互手套的第一处理单元内，使第一处理单元根据该控制信号控制振动模块的工作状态，例如，控制振动模块内的振子进行振动，使用户获得可感知的反馈和提示等，以达到较好的使用体验及沉浸感。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种虚拟现实的手势交互系统，其特征在于，包括显示设备和交互手套，所述交互手套上设有若干个惯性传感器、第一处理单元和电磁发射单元，所述显示设备上设有第二处理单元、电磁接收单元和虚拟显示单元，其中，所述第二处理单元用于执行以下步骤：

接收所述第一处理单元上传的所述若干个惯性传感器检测得到的手部姿态数据；

获取所述电磁接收单元接收到的所述电磁发射单元发送的磁通量；

根据所述磁通量计算所述交互手套的空间位置信息；

根据所述姿态数据和所述空间位置信息控制所述虚拟显示单元内的虚拟空间中的虚拟手的移动状态。

2.根据权利要求1所述的一种虚拟现实的手势交互系统，其特征在于，所述第一处理单元用于接收所述若干个惯性传感器上传的手部动作数据，根据所述手部动作数据计算得到手部姿态数据。

3.根据权利要求1所述的一种虚拟现实的手势交互系统，其特征在于，所述电磁接收单元用于接收所述电磁发射单元发射的磁通量，并根据所述磁通量的变化量生成感应电动势。

4.根据权利要求3所述的一种虚拟现实的手势交互系统，其特征在于，所述根据所述磁通量计算所述交互手套的空间位置信息，其具体包括：

构建参考坐标系；

根据所述感应电动势确定所述交互手套在所述参考坐标系内的空间位置信息。

5.根据权利要求1所述的一种虚拟现实的手势交互系统，其特征在于，所述根据所述姿态数据和所述空间位置信息控制所述虚拟显示单元内的虚拟空间中的虚拟手的移动状态，其具体包括：

根据所述姿态数据和所述空间位置信息建立所述交互手套与所述虚拟空间中的虚拟手的映射关系；

根据所述映射关系控制所述虚拟空间中的虚拟手的移动状态。

6.根据权利要求1所述的一种虚拟现实的手势交互系统，其特征在于，所述交互手套上还设有振动反馈模块，所述第二处理单元还用于根据所述虚拟空间中的虚拟手的移动状态生成控制信号，所述第一处理单元还用于根据所述控制信号控制所述振动反馈模块的工作状态。

7.一种虚拟现实的手势交互方法，其特征在于，包括以下步骤：

接收交互手套上传的手部姿态数据和磁通量；

根据所述磁通量计算所述交互手套的空间位置信息；

根据所述姿态数据和所述空间位置信息控制虚拟显示单元内的虚拟空间中的虚拟手的移动状态。

8.根据权利要求7所述的一种虚拟现实的手势交互方法，其特征在于，所述根据所述磁通量计算所述交互手套的空间位置信息，其具体包括：

获取根据所述磁通量的变化量生成的感应电动势；

构建参考坐标系；

根据所述感应电动势确定所述交互手套在所述参考坐标系内的空间位置信息。

9.根据权利要求7所述的一种虚拟现实的手势交互方法，其特征在于，所述根据所述姿态数据和所述空间位置信息控制虚拟显示单元内的虚拟空间中的虚拟手的移动状态，其具体包括：

根据所述姿态数据和所述空间位置信息建立交互手套与虚拟空间中的虚拟手的映射关系；

根据所述映射关系控制虚拟空间中的虚拟手的移动状态。

10.根据权利要求7所述的一种虚拟现实的手势交互方法，其特征在于，还包括以下步骤：

根据所述虚拟空间中的虚拟手的移动状态生成控制信号；

根据所述控制信号控制所述交互手套内振动反馈模块的工作状态。

Images