CN112789577B - 增强现实系统中的神经肌肉文本输入、书写和绘图 - Google Patents

Abstract

用于至少部分地基于神经肌肉信号向增强现实系统或扩展现实系统提供输入的方法、系统和套件。该系统、方法、套件包括使用布置在一个或更多个可穿戴设备上的一个或更多个神经肌肉传感器来检测来自用户的神经肌肉信号；确定计算机化系统处于被配置为向增强现实系统提供输入的模式；至少部分地根据神经肌肉信号和/或根据基于神经肌肉信号的信息来识别输入，其中至少部分地基于模式来进一步识别输入；以及向增强现实系统提供所识别的输入。

Description

增强现实系统中的神经肌肉文本输入、书写和绘图

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求2018年9月20日提交的标题为“NEUROMUSCULARTEXT ENTRY,WRITING AND DRAWING IN AUGMENTED REALITY SYSTEMS”的美国临时专利申请序列号62/734,138的权益，该申请的全部内容通过引用并入本文。

背景

增强现实(AR)系统通过将计算机生成的感知或虚拟信息覆盖(overlay)在真实世界环境的各个方面，为用户提供了以虚拟信息为补充的真实世界环境的交互式体验。存在各种技术来控制AR系统的操作。典型地，一个或更多个输入设备，例如控制器、键盘、鼠标、相机、麦克风等，可以用于控制AR系统的操作。例如，用户可以操纵输入设备(例如控制器或键盘)上的多个按钮，以实现对AR系统的控制。在另一个示例中，用户可以使用语音命令来控制AR系统的操作。当前用于控制AR系统的操作的技术存在许多缺陷，因此需要改进的技术。

概述

一些实施例涉及将经由神经肌肉传感器感测神经肌肉信号的系统与执行扩展现实(XR)功能的系统相耦合。应当理解，XR功能可以包括增强现实(AR)、虚拟现实(VR)功能、混合现实(MR)功能等。特别地，感测神经肌肉信号的系统可以与XR系统结合使用，以为用户提供改善的XR体验。神经肌肉信号可以直接用作XR系统的输入(例如，通过使用运动单元动作电位作为输入信号)，和/或可以处理神经肌肉信号(包括通过使用本文描述的推理模型)，以便确定用户身体的一部分(例如，手指、手和手腕)的移动、力和/或位置。例如，在两个系统中获得的信息可以用来改善整个XR体验。在基于传感器数据生成与身体部位相关联的肌肉骨骼表示的实施例中，XR系统中的相机可以捕获用于提高肌肉骨骼表示的模型的准确性和/或用于校准该模型的数据。此外，在另一实现中，肌肉激活数据可以在XR环境中可视化并显示给用户。在又一个示例中，XR环境中的显示信息可以用作对用户的反馈，以允许用户更准确地控制他们对系统的肌肉骨骼输入。此外，可以提供允许神经肌肉信号控制XR系统元件(包括XR系统本身的操作)的控制特征。此外，基于神经肌肉信号识别的各种形式的输入(例如，文本、书写和/或绘图)可被提供作为对XR系统的输入，以及基于特定姿势对XR系统的输入。

根据本文描述的技术的方面，提供了一种用于向扩展现实系统提供输入的计算机化系统。该系统可以包括被配置成检测来自用户的神经肌肉信号的一个或更多个神经肌肉传感器，其中该一个或更多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；和至少一个计算机处理器。至少一个计算机处理器可以被编程为：确定计算机化系统处于被配置为向扩展现实系统提供输入的模式；至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来识别输入；以及将所识别的输入提供给扩展现实系统。

在一个方面，根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来确定模式。

在一个方面，基于从用户检测到的姿势来确定模式，其中根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来识别姿势。

在一个方面，通过从由扩展现实系统提供的扩展现实环境中显示的用户界面接收对模式的选择来确定模式，其中用户界面被配置为标识多个模式，用户可以从该多个模式中进行选择。

在一个方面，基于从用户检测到的一个或更多个打字、书写、绘图动作或单手动作来确定模式。

在另一方面，响应于从扩展现实系统接收信号来确定模式。在一个方面，该信号是由扩展现实系统响应于对事件的检测而生成的，对于该事件，期望在由扩展现实系统提供的扩展现实环境内进行输入。

在一个方面，模式包括打字模式，并且识别输入包括至少部分地基于多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来识别一个或更多个敲击或打字动作。

在一个方面，计算机化系统还包括物理键盘或虚拟键盘。

在一个方面，识别一个或更多个敲击或打字动作包括检测用户在物理键盘或虚拟键盘上的敲击或打字。

在一个方面，该模式包括书写模式，并且识别输入包括至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来识别从用户检测到的一个或更多个书写动作。

在一个方面，计算机化系统还包括物理触笔、物理书写工具、虚拟触笔和/或虚拟书写工具。

在一个方面，识别一个或更多个书写动作包括检测用户使用物理触笔、物理书写工具、虚拟触笔和/或虚拟书写工具。

在一个方面，一个或更多个书写动作被识别为在空中(mid-air)被检测到。

在一个方面，该模式包括绘图模式，并且识别输入包括至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来识别从用户检测到的一个或更多个绘图动作。

在一个方面，从用户检测到的一个或更多个绘图动作包括多个线段和/或曲线。

在一个方面，针对绘图模式，识别输入包括将输入识别为绘图和/或文本。

在一个方面，至少一个计算机处理器还被编程为组合绘图输入和文本输入，使得文本覆盖或注释绘图。

在一个方面，该模式包括单手模式，并且识别输入包括至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来识别从用户检测到的一个或更多个单手动作。

在一个方面，扩展现实系统被配置为向用户显示所识别的输入的指示。在一个方面，所识别的输入的指示包括基于从用户检测到的一个或更多个打字、书写、绘图动作或单手动作而识别的文本输入。

在一个方面，计算机化系统还包括视觉显示器或界面，该视觉显示器或界面被配置为呈现用于文本输入的一个或更多个建议的或预测的单词或短语。

在一个方面，计算机化系统还包括视觉显示器或界面，该视觉显示器或界面被配置为呈现与从用户检测到的一个或更多个笔画相关联的一个或更多个虚拟墨迹。

在一个方面，计算机化系统还包括视觉显示器或界面，该视觉显示器或界面被配置为呈现基于从用户检测到的一个或更多个绘图动作而识别的绘图。

在一个方面，计算机化系统还包括至少一个惯性测量单元(IMU)传感器，其中识别输入包括至少部分地基于与至少一个IMU传感器相关联的至少一个输出信号来识别输入。

在一个方面，计算机化系统还包括至少一个相机，其中识别输入包括至少部分地基于与至少一个相机相关联的至少一个输出信号来识别输入。

在一个方面，该模式包括第一模式，并且所述至少一个计算机处理器还被编程为：至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息来识别第二输入，其中至少部分地基于第二模式来进一步识别所述第二输入；以及将识别的第二输入提供给扩展现实系统。

在一个方面，一个或更多个可穿戴设备包括被配置为检测来自用户第一手臂的神经肌肉信号的第一可穿戴设备和被配置为检测来自用户第二手臂的神经肌肉信号的第二可穿戴设备。

在一个方面，扩展现实系统是增强现实系统。

根据本文描述的技术的方面，提供了一种由计算机化系统执行的用于向扩展现实系统提供输入的方法。该方法包括使用布置在一个或更多个可穿戴设备上的一个或更多个神经肌肉传感器来检测来自用户的多个神经肌肉信号；确定计算机化系统处于被配置为向扩展现实系统提供输入的模式；至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来识别输入；以及将识别的输入提供给扩展现实系统。

根据本文描述的技术的方面，一种用于向扩展现实(XR)系统提供一个或更多个输入的系统。该系统包括：被配置成检测来自用户的神经肌肉信号的一个或更多个神经肌肉传感器，其中该一个或更多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；一个或更多个辅助传感器，其被配置为检测来自用户的关于生理状态和/或行为的信息；和至少一个计算机处理器。所述至少一个计算机处理器被编程为：确定系统处于被配置为向XR系统提供一个或更多个输入的模式，将神经肌肉信号与由一个或更多个辅助传感器检测到的信息相关联，使用一个或更多个推理模型处理神经肌肉信号和/或由一个或更多个辅助传感器检测到的信息；基于经处理的神经肌肉信号和/或经处理的由一个或更多个辅助传感器检测到的信息来识别一个或更多个输入；以及将所识别的一个或更多个输入提供给XR系统。

根据本文描述的技术的方面，提供了一种与扩展现实(XR)系统一起使用的套件。该套件包括：一个或更多个神经肌肉传感器，其被配置为检测来自用户的神经肌肉信号，其中该一个或更多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；一个或更多个辅助传感器，其被配置为检测来自用户的关于生理状态和/或行为的信息；和至少一个存储介质，其存储指令。当由至少一个计算机处理器执行时，这些指令使得该至少一个计算机处理器：处理来自神经肌肉传感器的神经肌肉信号，处理由一个或更多个辅助传感器检测到的信息，基于经处理的神经肌肉信号和/或经处理的由一个或更多个辅助传感器检测到的信息来识别一个或更多个用户输入，以及将所识别的一个或更多个用户输入传送到XR系统。

根据本文描述的技术的方面，提供了一种用于至少部分地基于神经肌肉信号向增强现实系统提供输入的计算机化系统。该系统包括被配置为记录来自用户的多个神经肌肉信号的多个神经肌肉传感器，其中该多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；和至少一个计算机处理器。至少一个计算机处理器被编程为：确定计算机化系统处于被配置为向增强现实系统提供包括文本的输入的模式；至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息来识别所述输入，其中至少部分地基于所述模式来进一步识别所述输入；以及将识别的输入提供给增强现实系统。

在一个方面，该模式包括打字模式，并且识别输入包括至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来识别一个或更多个敲击或打字动作；以及基于一个或更多个敲击或打字动作识别针对打字模式的文本输入。

在一个方面，识别一个或更多个敲击或打字动作包括识别在物理键盘的表面上的一个或更多个敲击或打字动作。

在一个方面，识别一个或更多个敲击或打字动作包括识别在表面上的一个或更多个敲击或打字动作，该表面具有由增强现实系统投射在其上的虚拟键盘。

在一个方面，该模式包括书写模式，并且识别输入包括至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来识别由用户执行的一个或更多个书写动作；以及基于一个或更多个书写动作识别针对书写模式的文本输入。

在一个方面，识别由用户执行的一个或更多个书写动作包括识别用物理触笔、物理书写工具或用户的一个指尖或更多个指尖在表面上执行的一个或更多个书写动作。

在一个方面，识别由用户执行的一个或更多个书写动作包括识别用虚拟触笔或虚拟书写工具在表面上执行的一个或更多个书写动作。

在一个方面，识别由用户执行的一个或更多个书写动作包括识别在空中执行的一个或更多个书写动作。

在一个方面，该模式包括绘图模式，并且识别输入包括至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来识别由用户执行的一个或更多个绘图动作；以及基于一个或更多个绘图动作识别针对绘图模式的输入。

在一个方面，针对绘图模式的输入包括多个线段和/或曲线。

在一个方面，针对绘图模式的输入包括基于由用户执行的一个或更多个绘图动作控制的像素位置序列而确定的输入。

在一个方面，识别针对绘图模式的输入包括基于用户执行的一个或更多个绘图动作来识别绘图；以及基于用户执行的一个或更多个绘图动作来识别文本。

在一个方面，至少一个计算机处理器还被编程为组合绘图和文本，使得文本覆盖或注释绘图。

在一个方面，识别针对绘图模式的输入包括基于用户执行的一个或更多个绘图动作来识别绘图；以及从绘图中识别文本。

在一个方面，该模式包括单手模式，并且识别输入包括至少部分地根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来识别用户执行的一个或更多个单手动作；以及基于一个或更多个单手动作识别针对单手模式的输入。

在一个方面，确定计算机化系统处于被配置为提供输入的模式包括接收用户对模式的选择。

在一个方面，接收用户对模式的选择包括从由增强现实系统提供的增强现实环境中显示的用户界面接收用户的选择，其中用户界面被配置为标识多个模式，用户可以从该多个模式中进行选择。

在一个方面，确定计算机化系统处于被配置为提供输入的模式包括根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来确定模式。

在一个方面，确定模式包括根据多个神经肌肉信号和/或根据基于多个神经肌肉信号的信息来识别用户执行的至少一个姿势；以及确定对应于该至少一个姿势的模式。

在一个方面，确定模式包括基于用户执行的一个或更多个打字、书写、绘图动作或单手动作来确定模式。

在一个方面，确定计算机化系统处于被配置为提供输入的模式包括响应于从增强现实系统接收信号来确定模式。在一个方面，响应于对事件的检测，在增强现实系统处生成信号，对于该事件，期望在由增强现实系统提供的增强现实环境内进行输入。

在一个方面，增强现实系统被配置为向用户显示所识别的输入的指示。

在一个方面，所识别的输入的指示包括基于用户执行的一个或更多个打字、书写、绘图动作或单手动作而识别的文本输入。

在一个方面，所识别的输入的指示包括用于文本输入的一个或更多个建议的或预测的单词或短语的列表。

在一个方面，所识别的输入的指示包括与书写工具做出的一个或更多个笔画相关联的一个或更多个虚拟墨迹。

在一个方面，所识别的输入的指示包括基于用户执行的一个或更多个绘图动作而识别的绘图。

在一个方面，该指示经由在增强现实系统提供的增强现实环境内呈现的用户界面来显示。

在一个方面，该指示被渲染在用户正通过增强现实系统与之交互的表面上。

在一个方面，计算机化系统还包括至少一个惯性测量单元(IMU)传感器，其中识别文本输入包括至少部分地基于与至少一个IMU传感器相关联的至少一个输出信号来识别文本输入。

在一个方面，计算机化系统还包括至少一个相机，其中识别文本输入包括至少部分地基于与至少一个相机相关联的至少一个输出信号来识别文本输入。

在一个方面，所述模式包括第一模式，并且其中所述至少一个计算机处理器还被编程为：至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息来识别第二输入，其中至少部分地基于第二模式来进一步识别所述第二输入；以及将所识别的第二输入提供给增强现实系统。

在一个方面，提供给增强现实系统的所识别的输入包括从多个源识别的输入，其中多个源包括多个神经肌肉信号和不同于多个神经肌肉信号的至少一个源。

根据本文描述的技术的方面，提供了一种由计算机化系统执行的用于至少部分地基于神经肌肉信号向增强现实系统提供输入的方法。该方法包括使用布置在一个或更多个可穿戴设备上的多个神经肌肉传感器记录来自用户的多个神经肌肉信号；确定计算机化系统处于被配置为向增强现实系统提供包括文本的输入的模式；至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息来识别所述输入，其中至少部分地基于所述模式来进一步识别所述输入；以及向增强现实系统提供所识别的输入。

根据本文描述的技术的方面，提供了一种用于向增强现实系统提供输入的计算机化系统。该计算机化系统包括一个或更多个神经肌肉传感器，其被配置成检测来自用户的神经肌肉信号，其中该一个或更多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；和至少一个计算机处理器。所述至少一个计算机处理器被编程为：确定所述计算机化系统处于被配置为向所述增强现实系统提供包括文本的输入的模式，其中所述模式根据所述神经肌肉信号和/或根据基于所述神经肌肉信号的信息来确定，并且所述模式选自由打字模式、书写模式、绘图模式和单手模式组成的组；至少部分地根据神经肌肉信号和/或根据基于神经肌肉信号的信息来识别输入，其中至少部分地基于模式来进一步识别输入；以及将识别的输入提供给增强现实系统。

在一个方面，基于姿势来确定模式，该姿势根据神经肌肉信号和/或根据基于神经肌肉信号的信息被从用户检测到。

在一个方面，该模式包括打字模式，并且识别输入包括至少部分地根据神经肌肉信号和/或根据基于神经肌肉信号的信息来识别一个或更多个敲击或打字动作；以及基于一个或更多个敲击或打字动作识别针对打字模式的文本输入。

在一个方面，识别一个或更多个敲击或打字动作包括识别在物理键盘的表面上或在其上投射有键盘表示的表面上的一个或更多个敲击或打字动作。

在一个方面，该模式包括书写模式，并且识别输入包括至少部分地根据神经肌肉信号和/或根据基于神经肌肉信号的信息来识别从用户检测到的一个或更多个书写动作；以及基于一个或更多个书写动作识别针对书写模式的文本输入。

在一个方面，识别从用户检测到的一个或更多个书写动作包括识别用物理触笔、物理书写工具、虚拟触笔或虚拟书写工具在表面上执行的一个或更多个书写动作。

在一个方面，识别从用户检测到的一个或更多个书写动作包括识别在空中检测到的一个或更多个书写动作。

在一个方面，该模式包括绘图模式，并且识别输入包括至少部分地根据神经肌肉信号和/或根据基于神经肌肉信号的信息来识别从用户检测到的一个或更多个绘图动作；以及基于一个或更多个绘图动作识别针对绘图模式的输入。

在一个方面，一个或更多个绘图动作包括多个线段和/或曲线。

在一个方面，识别针对绘图模式的输入包括基于从用户检测到的一个或更多个绘图动作来识别绘图；以及基于从用户检测到的一个或更多个绘图动作来识别文本。

在一个方面，所述至少一个计算机处理器还被编程为组合所述绘图和文本，使得所述文本覆盖或注释所述绘图。

在一个方面，识别针对绘图模式的输入包括基于从用户检测到的一个或更多个绘图动作来识别绘图；以及从绘图中识别文本。

在一个方面，该模式包括单手模式，并且识别输入包括至少部分地根据神经肌肉信号和/或根据基于神经肌肉信号的信息来识别从用户检测到的一个或更多个单手动作；以及基于一个或更多个单手动作识别针对单手模式的输入。

在一个方面，增强现实系统被配置为向用户显示所识别的输入的指示。

在一个方面，所识别的输入的指示包括基于从用户检测到的一个或更多个打字、书写、绘图动作或单手动作而识别的文本输入。

在一个方面，所识别的输入的指示包括用于文本输入的一个或更多个建议的或预测的单词或短语。

在一个方面，所识别的输入的指示包括与从用户检测到的一个或更多个笔画相关联的一个或更多个虚拟墨迹。

在一个方面，所识别的输入的指示包括基于从用户检测到的一个或更多个绘图动作而识别的绘图。

在一个方面，该指示经由在增强现实系统提供的增强现实环境内呈现的用户界面来显示。

在一个方面，该指示被渲染在用户正通过增强现实系统与之交互的表面上。

在一个方面，计算机化系统还包括至少一个惯性测量单元(IMU)传感器，其中识别文本输入包括至少部分地基于与至少一个IMU传感器相关联的至少一个输出信号来识别文本输入。

在一个方面，计算机化系统还包括至少一个相机，其中识别文本输入包括至少部分地基于与至少一个相机相关联的至少一个输出信号来识别文本输入。

在一个方面，所述模式包括第一模式，并且其中所述至少一个计算机处理器还被编程为：至少部分地根据所述神经肌肉信号和/或根据基于所述神经肌肉信号的信息来识别第二输入，其中至少部分地基于第二模式来进一步识别所述第二输入；确定计算机化系统将从第一模式切换到第二模式；响应于确定计算机化系统将从第一模式切换到第二模式，将计算机化系统从第一模式切换到第二模式；以及将所识别的第二输入提供给增强现实系统。

在一个方面，提供给增强现实系统的所识别的输入包括从多个源识别的输入，其中多个源包括神经肌肉信号和至少一个不同于神经肌肉信号的源。

在一个方面，至少一个不同于神经肌肉信号的源包括至少一个物理输入设备，并且提供给增强现实系统的所识别的输入包括从多个源识别的输入的组合。

在一个方面，一个或更多个可穿戴设备包括被配置为检测来自用户第一手臂的神经肌肉信号的第一可穿戴设备和被配置为检测来自用户第二手臂的神经肌肉信号的第二可穿戴设备。

根据本文描述的技术的方面，提供了一种由计算机化系统执行的用于向增强现实系统提供输入的方法。该方法包括使用布置在一个或更多个可穿戴设备上的一个或更多个神经肌肉传感器来检测来自用户的神经肌肉信号；确定所述计算机化系统处于被配置为向所述增强现实系统提供包括文本的输入的模式，其中所述模式根据所述神经肌肉信号和/或根据基于所述神经肌肉信号的信息来确定，并且所述模式选自由打字模式、书写模式、绘图模式和单手模式组成的组；至少部分地根据神经肌肉信号和/或根据基于神经肌肉信号的信息来识别输入，其中至少部分地基于模式来进一步识别输入；以及向增强现实系统提供所识别的输入。

在一个方面，基于从用户检测到的姿势来确定模式，其中根据神经肌肉信号和/或根据基于神经肌肉信号的信息来检测姿势。

根据本文描述的技术的方面，一种非暂时性计算机可读介质，其编码有指令，该指令当由至少一个计算机处理器执行时，执行以下方法：使用布置在一个或更多个可穿戴设备上的多个神经肌肉传感器来检测来自用户的神经肌肉信号；确定计算机化系统处于被配置为向增强现实系统提供包括文本的输入的模式，其中该模式根据神经肌肉信号和/或根据基于神经肌肉信号的信息来确定，并且该模式选自由打字模式、书写模式、绘图模式和单手模式组成的组；至少部分地根据神经肌肉信号和/或根据基于神经肌肉信号的信息来识别输入，其中至少部分地基于模式来进一步识别输入；以及向增强现实系统提供所识别的输入。

应当认识到，前面的概念和下面更详细讨论的另外的概念的所有组合(假设这样的概念不是相互不一致的)被设想为本文公开的创造性主题的一部分。特别是，出现在本公开的结尾处的所主张的主题的所有组合被设想为本文公开的创造性主题的一部分。

附图简述

将参考下面的附图来描述技术的各种非限制性实施例。应当认识到，附图不一定按比例绘制。

图1是根据本文描述的技术的一些实施例的用于处理神经肌肉传感器数据的基于计算机的系统的示意图；

图2是根据本文描述的技术的一些实施例的将增强现实(AR)系统与神经肌肉活动系统集成的基于分布式计算机的系统的示意图；

图3是根据本文描述的技术的一些实施例的用于向AR系统提供输入的过程的流程图；

图4是根据本文描述的技术的一些实施例的基于一个或更多个神经肌肉信号向AR系统提供输入的过程的流程图；

图5示出了根据本文描述的技术的一些实施例的腕带，在该腕带上周向地布置有EMG传感器；以及

图6示出了根据本文描述的技术的一些实施例的用户在键盘上打字时戴着图5的腕带。

图7A示出了根据本文描述的技术的一些实施例的可穿戴系统，该可穿戴系统具有围绕弹性带周向地布置的16个EMG传感器，该弹性带被配置为围绕用户的下臂或手腕穿戴。

图7B是图7A中所示的16个EMG传感器之一的横截面视图。

图8A和图8B示意性地示出了在其上实现一些实施例的基于计算机的系统的部件。图8A示出了基于计算机的系统的可穿戴部分，并且图8B示出了连接到计算机的加密狗(dongle)部分，其中加密狗部分被配置成与可穿戴部分通信。

图9A-9C描绘了根据本文描述的技术的一些实施例，可以向XR系统提供用户输入的示例性场景。

详细描述

发明人开发了用于向扩展现实(XR)系统提供输入的新技术，该系统尤其包括增强现实(AR)系统、虚拟现实(VR)系统和混合现实(MR)系统。本文描述的各种实施例提供了某些优点，包括但不限于避免使用不期望的或繁重的物理键盘、操纵杆或其他控制器；克服与由相机捕获的用户的低质量图像的耗时和高延迟处理相关的问题；允许捕捉和检测细微的、小的或快速的移动和/或用户施加的力的变化(例如，通过触笔、书写工具或手指按压表面施加的力的变化量)，这对于解析文本输入和其他控制信号可能是重要的；收集和分析从用户处检测到的各种生理和/或行为信息，这些信息增强了识别过程并且不容易通过传统的输入设备获得；允许用户的手被遮挡或者在相机的视野之外的情况，例如用户的手在用户的口袋中，或者当用户戴着手套时；以及在XR环境内允许更好的用户可操作性和导航性。

其他实施例考虑了个人不能访问输入设备或者可能想要在不使用输入设备的情况下以其他方式向XR系统提供输入的情况。例如，个人可能想以隐蔽的方式向XR系统提供输入，而不被其他人注意到。

根据一些实施例，从可穿戴传感器记录或检测到的信号用于识别输入并向XR系统提供该输入。各种形式的输入，例如离散控制信号、连续(例如2D)控制信号、经由键盘的文本输入或其他模式的文本输入、书写和/或绘图，可以从记录或检测到的信号和/或从基于记录或检测到的信号的信息中被识别，以实现用于向XR系统提供输入(例如文本)的改进的技术。在一些实施例中，可以基于经由可穿戴传感器感测信号并向XR系统提供输入的系统模式来识别各种形式的输入。至少部分地基于从用户检测到的神经肌肉数据，用户可以手动地或者系统可以自动地在输入模式之间切换。在一个实施例中，系统可以进入打字模式，并且可以基于由用户执行的一个或更多个敲击或打字动作(例如，在物理键盘的表面上敲击、在具有由XR系统投射在其上的虚拟键盘的表面上敲击、在没有键盘投射在其上的表面上敲击、或者在空中执行与打字风格的移动相对应的姿势)来识别将被提供给XR系统的来自用户的文本。本文描述的系统和方法可以根据记录或检测到的信号和/或根据基于记录或检测到的信号的信息来识别来自用户的文本输入。在另一个实施例中，系统可以进入书写模式，并且可以通过根据记录或检测到的信号和/或根据基于记录或检测到的信号的信息来识别由用户执行的一个或更多个书写动作(例如，用物理或虚拟的书写工具在表面上书写)，来向XR系统提供文本输入。在又一个实施例中，系统可以进入绘图模式，并且可以通过根据记录或检测到的信号和/或根据基于记录或检测到的信号的信息来识别由用户执行的一个或更多个绘图动作(例如，在表面上绘制一个或更多个线段和/或曲线)，来向XR系统提供输入。在另一个实施例中，系统可以进入单手模式(即，用户仅使用一只手来提供输入的模式)，并且可以通过根据记录或检测到的信号和/或根据基于记录或检测到的信号的信息来识别由用户执行的一个或更多个单手动作(例如，诸如各种手指和手指组合的挤压(squeeze)、捏合(pinch)和/或敲击的姿势)，来向XR系统提供输入。

在一些实施例中，XR系统可以通过向用户显示所识别的输入的指示来提供视觉反馈，这可以促进文本输入或作为输入被提供给XR系统的其他信息。该指示可以经由在XR系统提供的XR环境内呈现的用户界面来显示。例如，与XR系统相关联的显示器可以在用户界面中覆盖所识别的输入的视觉表示，或者向用户提供关于所识别的输入的音频反馈。在一些实施例中，指示可以由AR系统渲染在用户与之交互的表面上。

在一些实施例中，本文描述的系统经由可穿戴传感器感测信号，并且向XR系统提供输入，使得系统从第一输入模式平滑地转换到第二输入模式，而不需要来自用户的明确的模式切换指令。这为向XR系统提供输入提供了一种灵活的方法。例如，本文描述的系统可以在打字模式下操作，其中用户通过在物理键盘上打字来向系统提供文本输入。用户可以停止在物理键盘上打字，并通过用触笔书写来恢复提供文本输入。作为响应，系统可以自动检测输入模式的改变，并从打字模式无缝地切换到书写模式。在一些实施例中，当系统处于相同模式时，用户可以切换到不同形式的文本输入。例如，用户可以由在物理键盘上打字开始，并通过在虚拟键盘上打字或在没有键盘的任何虚拟表示的情况下使用打字动作来恢复文本输入。在这种场景中，尽管系统保持在打字模式，但是用户提供文本输入的方式已经改变。在一些实施例中，由XR系统提供的视觉反馈可以不间断地继续，而不管文本输入的模式或形式如何。

根据一些实施例，要提供给XR系统的输入可以至少部分地从由一个或更多个可穿戴传感器收集的原始(例如，未处理的)传感器信号中被识别。在一些实施例中，要提供给XR系统的输入可以至少部分地从基于原始传感器信号的信息(例如，经处理的传感器信号)中被识别，其中由一个或更多个可穿戴传感器收集的原始传感器信号被处理以执行放大、滤波、整流和/或其他形式的信号处理，其示例在下面被更详细地描述。在一些实施例中，要提供给XR系统的输入可以至少部分地从接收传感器信号(或传感器信号的经处理的版本)作为输入的一个或更多个训练的推理模型的输出中被识别。

如本文所述，在一些实施例中，可以直接从记录或检测到的传感器数据中识别各种肌肉激活状态。在其他实施例中，可以至少部分地基于训练的推理模型的输出来识别手部状态、姿势、姿态等(统称或单独称为肌肉激活状态)。在一些实施例中，各种形式的输入可以被提供给AR系统，并且可以直接从记录的传感器数据中来识别。在其他实施例中，输入可以被提供给AR系统，并且可以至少部分地基于一个或更多个训练的推理模型的输出来识别。在一些实施例中，训练的推理模型可以输出计算机生成的肌肉骨骼模型的节段的运动单元或肌肉激活和/或位置、定向和/或力估计。在一个示例中，人类肌肉骨骼系统的全部或部分可以被建模为多节段铰接刚体系统，其中关节形成不同节段之间的接合部(interface)，并且关节角度定义了模型中连接的节段之间的空间关系。关节处移动的限制由连接节段的关节类型和限制关节处移动范围的生物结构(例如，肌肉、肌腱、韧带)决定。例如，连接上臂和躯干的肩关节以及连接大腿和躯干的髋关节是球窝关节，这些球窝关节允许伸展和弯曲移动以及旋转移动。相比之下，连接上臂和前臂的肘关节以及连接大腿和小腿的膝关节允许更有限的运动范围。在这个示例中，多节段铰接刚体系统用于对人类肌肉骨骼系统的部分进行建模。然而，应当理解，人类肌肉骨骼系统的一些节段(例如，前臂)虽然在铰接刚体系统中近似为刚体，但是可以包括多个刚性结构(例如，前臂的尺骨和桡骨)，这些刚性结构在刚体模型没有明确考虑的节段内提供了更复杂的移动。因此，与本文描述的技术的一些实施例一起使用的铰接刚体系统的模型可以包括表示不是严格刚体的身体部位的组合的节段。将会理解，在不脱离本公开的范围的情况下，可以使用除多节段铰接刚体系统之外的物理模型来对人类肌肉骨骼系统的部分进行建模。

继续上面的示例，在运动学中，刚体是表现出各种运动属性(例如，位置、定向、角速度、加速度)的物体。知道刚体的一个节段的运动属性使得刚体的其他节段的运动属性能够基于节段如何连接的约束来被确定。例如，手可以被建模为多节段铰接体，其中手腕和每个手指中的关节形成模型中多个节段之间的接合部。在一些实施例中，如下面更详细描述的，刚体模型中节段的移动可以被模拟为铰接刚体系统，其中节段相对于模型中其他节段的位置(例如，实际位置、相对位置或定向)信息使用训练的推理模型来被预测。

在一个非限制性示例中，由肌肉骨骼表示近似的人体部分是手或手与一个或更多个手臂节段的组合。在肌肉骨骼表示中，用于描述节段之间的位置关系、单独的节段或节段的组合的力关系、以及节段之间的肌肉和运动单元激活关系的当前状态的信息在本文中被称为肌肉骨骼表示的“手部状态”。然而，应当理解，本文描述的技术也适用于除了手之外的身体部分的肌肉骨骼表示，这些身体部分包括但不限于手臂、腿、脚、躯干、颈部或前述的任何组合。

除了空间(例如，位置和/或定向)信息之外，一些实施例被配置成预测与肌肉骨骼表示的一个或更多个节段相关联的力信息。例如，可以估计由一个或更多个节段施加的线性力或旋转(扭矩)力。线性力的示例包括但不限于手指或手按压在诸如桌子的实体对象上的力，以及当两个节段(例如，两个手指)被捏合在一起时施加的力。旋转力的示例包括但不限于，当手腕或手指中的节段扭转或弯曲时产生的旋转力。在一些实施例中，被确定为当前手部状态估计的一部分的力信息包括捏合力信息、抓握力信息或关于由肌肉骨骼表示所表示的肌肉之间的共收缩力的信息中的一个或更多个。

图1示出了根据一些实施例的示例性系统100，其包括神经肌肉活动系统。该系统包括一个或更多个传感器102(例如，神经肌肉传感器)，其被配置为记录由人体骨骼肌中的神经肌肉活动产生的信号。本文使用的术语“神经肌肉活动”是指对支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩、或者神经激活、肌肉激活和/或肌肉收缩的任意组合。神经肌肉传感器可以包括一个或更多个肌电图(EMG)传感器、一个或更多个肌动图(MMG)传感器、一个或更多个声肌图(SMG)传感器、EMG传感器，MMG传感器和SMG传感器中两种或更多种类型的组合、和/或被配置成检测神经肌肉信号的任何合适类型的一个或更多个传感器。在一些实施例中，神经肌肉传感器可以用于感测与由肌肉控制的身体部位的移动相关的肌肉活动，神经肌肉传感器被布置成从这些肌肉感测肌肉活动。描述移动的空间信息(例如，位置和/或定向信息)和力信息可以在用户随着时间移动时基于所感测的神经肌肉信号来被预测。在一些实施例中，神经肌肉传感器可用于感测与由外部物体引起的移动(例如，被外部物体推动的手的移动)相关的肌肉活动。

在执行运动任务期间，随着肌肉张力的增加，活跃神经元的放电率(firing rate)增加，并且额外的神经元可能变得活跃，这是被称为运动单元募集(recruitment)的过程。神经元变得活跃并增加其放电率的模式是定型的，使得预期的运动单元募集模式定义了与标准或正常移动相关联的活动流形(manifold)。一些实施例记录单个运动单元或一组运动单元的激活，所述运动单元或一组运动单元是“流形外的”，因为运动单元激活的模式不同于预期的或典型的运动单元募集模式。这种脱离流形的激活在本文中被称为“肌肉下激活”或“肌肉下结构的激活”，其中肌肉下结构是指与脱离流形的激活相关联的单个运动单元或一组运动单元。脱离流形的运动单元募集模式的示例包括但不限于，选择性地激活高阈值运动单元而不激活通常在募集顺序中被较早地激活的较低阈值运动单元，以及在相当大的范围内调节运动单元的放电率而不调节通常在典型的运动募集模式中被共同调节的其他神经元的活动。在一些实施例中，神经肌肉传感器可用于感测不具有可观察到的移动的肌肉下激活。根据本文描述的技术的一些实施例，可以至少部分地使用肌肉下激活来识别输入并向增强现实系统提供该输入。

在一些实施例中，传感器或感测部件102包括一个或更多个神经肌肉传感器(例如，EMG传感器)。在其他实施例中，传感器102包括一个或更多个辅助传感器(例如惯性测量单元(IMU))，其使用例如加速度计、陀螺仪、磁力计、或一个或更多个加速度计、陀螺仪和磁力计的任意组合、或者能够检测时空定位、运动、力或用户生理状态和/或行为的其他方面的任何其他部件或设备，来测量运动的物理方面的组合。在一些实施例中，IMU可以用于感测关于附接有IMU的身体部位的移动的信息，并且当用户随时间的推移而移动时，从感测到的数据导出的信息(例如，位置和/或定向信息)可以被跟踪。例如，当用户随时间的推移而移动时，一个或更多个IMU可以用于跟踪用户躯干近端的用户身体部分(例如，手臂、腿)相对于传感器的移动。在其他实施例中，传感器102包括多个神经肌肉传感器和被配置成连续记录多个辅助信号的至少一个辅助传感器。其他辅助传感器的示例包括但不限于麦克风、成像设备(例如相机)、与辐射产生设备(例如激光扫描设备)一起使用的基于辐射的传感器、或其他类型的传感器，例如热传感器、红外传感器、心率或血压监视器和/或视频眼睛跟踪器。

在包括至少一个IMU和一个或更多个神经肌肉传感器的实施例中，IMU和神经肌肉传感器可以被布置成检测人体的相同或不同部位的移动。例如，IMU可以被布置成检测躯干近端的一个或更多个体段(body segment)(例如，上臂)的移动，而神经肌肉传感器可以被布置成检测躯干远端的一个或更多个体段(例如，前臂或手腕)的移动。然而，应当理解，传感器可以以任何合适的方式被布置，并且本文描述的技术的实施例不限于基于特定的传感器布置。例如，在一些实施例中，至少一个IMU和多个神经肌肉传感器可以共同位于一个体段上，以使用不同类型的测量来跟踪体段的移动。在下面更详细描述的一个实现中，IMU传感器和多个EMG传感器被布置在可穿戴设备上，该可穿戴设备被配置成围绕用户的下臂或手腕穿戴。在这样的布置中，IMU传感器可以被配置成跟踪与一个或更多个手臂节段相关联的移动信息(例如，随时间的定位和/或定向)，以确定例如用户是否已经举起或放下了他们的手臂，而EMG传感器可以被配置成确定与手腕或手节段相关联的移动信息，以确定例如用户是否具有张开或闭合的手配置或与手腕或手的肌肉中的肌肉下结构的激活相关联的肌肉下信息。

每个传感器102包括被配置成感测关于用户的信息的一个或更多个感测部件。在IMU的情况下，感测部件可以包括一个或更多个加速度计、陀螺仪、磁力计或其任意组合，以测量身体运动的特征和/或与身体运动相关的特征，这些特征的示例包括但不限于加速度、角速度和身体周围的感测磁场。在神经肌肉传感器的情况下，感测部件可以包括但不限于被配置成检测身体表面上的电位的电极(例如，对于EMG传感器)、被配置成测量皮肤表面振动的振动传感器(例如，对于MMG传感器)、以及被配置成测量由肌肉活动产生的超声信号的声学感测部件(例如，对于SMG传感器)。

在一些实施例中，多个传感器102中的至少一些被布置为可穿戴设备的一部分，该可穿戴设备被配置成穿戴在用户身体部位上或围绕用户身体部位穿戴。例如，在一个非限制性示例中，IMU传感器和多个神经肌肉传感器围绕可调节的和/或弹性的带(例如被配置成围绕用户的手腕或手臂穿戴的腕带或臂带)周向地布置。可替换地，至少一些传感器可以被布置在可穿戴贴片(patch)上，该可穿戴贴片被配置成附着到用户身体的一部分。在一些实施例中，多个可穿戴设备(每个可穿戴设备上包括一个或更多个IMU和/或神经肌肉传感器)可用于检测神经肌肉数据，并基于肌肉和肌肉下结构的激活和/或涉及身体多个部位的移动来生成控制信息。

在一个实施例中，16个EMG传感器围绕弹性带周向地布置，该弹性带被配置成围绕用户的下臂穿戴。例如，图5示出了围绕弹性带502周向地布置的EMG传感器504。应当理解，可以使用任何合适数量的神经肌肉传感器，并且所使用的神经肌肉传感器的数量和布置可以取决于可穿戴设备所用于的特定应用。例如，可穿戴臂带或腕带可用于检测神经肌肉数据并生成控制信息，用于控制增强现实系统、机器人，控制车辆，滚动浏览文本，控制虚拟化身，或任何其他合适的控制任务。例如，如图6所示，用户506可以在手508上穿戴弹性带502。以这种方式，EMG传感器504可以被配置成在用户使用手指510控制键盘512时记录EMG信号。在一些实施例中，弹性带502也可以包括如上面讨论的被配置成记录移动信息的一个或更多个IMU(未示出)。虽然图5描绘了用户在手上穿戴一个可穿戴设备，但是将会理解，一些实施例包括多个可穿戴设备(具有与其集成的一个或更多个神经肌肉传感器)，该多个可穿戴设备被配置为穿戴在用户的一只或两只手/手臂上。

在一些实施例中，可以可选地使用硬件信号处理电路来处理一个或更多个感测部件的输出(例如，以执行放大、滤波和/或整流)。在其他实施例中，可以在软件中执行对感测部件的输出的至少部分的信号处理。因此，对由传感器记录的信号的信号处理可以在硬件、软件中执行，或由硬件和软件的任何合适组合执行，因为本文描述的技术的方面在这一点上不受限制。

在一些实施例中，由传感器102记录的传感器数据可以可选地被处理以计算附加的导出测量值，这些测量值然后被提供给一个或更多个推理模型作为输入，如下面更详细描述的。例如，来自IMU传感器的记录的信号可以被处理，以导出指定刚体节段随时间的定向的定向信号。传感器102可以使用集成部件来实现信号处理，或者信号处理的至少一部分可以由与传感器通信但不直接与传感器集成的一个或更多个部件来执行。

系统100还可以包括一个或更多个计算机处理器104，其被编程为通过单向或双向通信路径与传感器102通信。例如，由一个或更多个传感器记录的信号可以被提供给处理器，该处理器可以被编程为执行一个或更多个机器学习算法，该算法处理由传感器102输出的信号以训练(或再训练)一个或更多个推理模型106，并且所得到的训练(或再训练)的推理模型106可以被存储以供以后用于识别输入和向XR系统提供该输入，如下面更详细描述的。将会理解，推理模型可以是利用基于概率分布的统计推理来推断结果的模型；在这方面，推理模型可以包括统计模型。

在一些实施例中，由布置在穿戴在一只手/手臂上的第一可穿戴设备上的传感器记录的信号和由布置在穿戴在另一只手/手臂上的第二可穿戴设备上的传感器记录的信号可以使用相同的推理模型或单独的推理模型来处理。

可选地，系统100还包括一个或更多个控制器108。例如，控制器108可以是被配置为显示视觉表示(例如，手的表示)的显示控制器。如本文更详细讨论的，一个或更多个计算机处理器可以实现一个或更多个训练的推理模型，该训练的推理模型接收由传感器102记录的信号作为输入，并提供可用于识别输入并向XR系统提供该输入的信息(例如，预测的手部状态信息)作为输出。在一些实施例中，当用户执行不同的移动时，训练的推理模型将由可穿戴神经肌肉传感器记录的神经肌肉信号解释为用于更新肌肉骨骼表示的位置和力估计(例如，手部状态信息)。因为神经肌肉信号被连续感测和记录，所以肌肉骨骼表示被实时更新，并且手的视觉表示(例如，在XR环境内的)可以基于当前手部状态估计来渲染。将会理解，用户手部状态的估计可以用于确定用户正在执行的姿势和/或预测用户将执行的姿势。

根据一些实施例，肌肉骨骼表示(例如，手-渲染)可以包括仿生(现实)手、合成(机器人)手的实际视觉表示，以及用作姿势控制(例如，到其他应用、系统等)的输入的抽象“内部表示”。也就是说，手的位置和/或力可以被提供给下游算法(例如，XR系统中的控制算法)，但是可能不被直接渲染。

在一些实施例中，如图1所示，系统100可选地包括计算机应用110，计算机应用110被配置为模拟虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)环境(统称为扩展现实、“X现实”或“XR”系统或环境)，并且计算机应用110可以在XR环境中(例如，经由控制器108)显示视觉角色，例如化身。基于训练的推理模型的输出，由虚拟现实环境内的视觉角色的各部分施加的定位、移动和/或力可以在XR环境中显示。XR环境中的视觉表示可以随着连续信号被传感器102记录、被计算机处理器处理并被发送到推理模型106以获得训练或推断的输出而动态更新，使得系统可以提供在XR环境中实时更新的视觉角色移动的计算机生成的表示。

在任一系统中生成的信息(例如，来自XR系统的XR相机输入、来自基于传感器数据生成肌肉骨骼表示的基于计算机的系统的神经肌肉传感器输入)可以用于改善用户体验、准确性、反馈、推理模型、校准功能以及整个系统中的其他方面。为此，例如，在XR环境中，系统100可以包括XR系统，该XR系统包括以下中的一个或更多个：处理器、相机(例如，被包含在头戴式显示器中的一个或更多个相机)、显示器(例如，经由XR眼镜或其他观察设备)、或在用户的视野内提供XR信息或向用户提供XR信息的任何其他辅助传感器。在一些实施例中，来自XR系统中的头戴式显示器中包含的相机的信息可以与来自神经肌肉传感器的信息结合使用，以解释用户执行的移动、姿势和/或动作。系统100还可以包括将XR系统与基于计算机的系统耦合的系统元件，该基于计算机的系统基于传感器数据生成肌肉骨骼表示。例如，这些系统可以经由专用或其他类型的计算机系统被耦合，所述专用或其他类型的计算机系统从XR系统和生成基于计算机的肌肉骨骼表示的系统接收输入。这种系统可以包括游戏系统、机器人控制系统、个人计算机或能够解释XR和肌肉骨骼信息的其他系统。XR系统和生成基于计算机的肌肉骨骼表示的系统也可以被编程为直接通信。这种信息可以使用任意数量的接口、协议或介质来传送。

在一些实施例中，推理模型106可以是神经网络，并且例如可以是循环神经网络。在一些实施例中，循环神经网络可以是长短期记忆(LSTM)神经网络。然而，应当理解，循环神经网络不限于LSTM神经网络，并且可以具有任何其他合适的架构。例如，在一些实施例中，循环神经网络可以是完全循环神经网络(fully recurrent neural network)、门控循环神经网络(gated recurrent neural network)、递归神经网络(recursive neuralnetwork)、Hopfield神经网络、联想记忆神经网络(associative memory neuralnetwork)、Elman神经网络、Jordan神经网络、回声状态神经网络(echo state neuralnetwork)、二阶循环神经网络(second order recurrent neural network)和/或任何其他合适类型的循环神经网络。在其他实施例中，可以使用不是循环神经网络的神经网络。例如，可以使用深度神经网络、卷积神经网络和/或前馈神经网络。

在一些实施例中，一个或更多个推理模型的输出包括一个或更多个离散输出。例如，当用户执行特定姿势或导致特定模式的激活(包括单独的神经尖峰事件)发生时，可以使用离散输出(例如，分类标签)。例如，可以训练模型来估计或推断用户是否正在激活特定的运动单元、以特定的定时激活特定的运动单元、以特定的放电模式激活特定的运动单元或者激活运动单元的特定组合。在较短的时间尺度上，在一些实施例中使用离散分类来估计特定的运动单元是否在给定的时间量内放电了动作电位。在这样的实施例中，这些估计然后可被累加，以获得该运动单元的估计的放电率。

在推理模型被实现为被配置成输出离散信号的神经网络的实施例中，该神经网络可以包括柔性最大值传输函数(softmax)层，使得输出加起来为1并且可以被解释为概率。柔性最大值传输函数层的输出可以是与相应的控制信号集对应的值的集合，其中每个值指示用户想要执行特定控制动作的概率。作为一个非限制性示例，柔性最大值传输函数层的输出可以是三个概率(例如，0.92、0.05和0.03)的集合，这三个概率指示检测到的活动模式是三个已知模式之一的相应概率。

应当理解，当推理模型是被配置成输出离散输出(例如，离散信号)的神经网络时，不要求神经网络产生加起来为1的输出。例如，代替柔性最大值传输函数层，神经网络的输出层可以是sigmoid层(其不将输出限制为加起来等于1的概率)。在这样的实施例中，可以用sigmoid交叉熵代价来训练神经网络。当多个不同的控制动作可能在阈值时间量内发生并且区分这些控制动作发生的顺序并不重要(例如，用户可能在阈值时间量内激活两种神经活动模式)时，在这种情况下，这种实现可以是有利的。在一些实施例中，可以使用任何其他合适的非概率多类(multi-class)分类器，因为本文描述的技术的方面在这一点上不受限制。

在一些实施例中，推理模型的输出可以是连续信号，而不是离散信号。例如，该模型可以输出每个运动单元的放电率的估计，或者该模型可以输出对应于每个运动单元或肌肉下结构的时间序列电信号。

应当理解，本文描述的技术的方面不限于使用神经网络，因为在一些实施例中可以采用其他类型的推理模型。例如，在一些实施例中，推理模型可以包括隐马尔可夫模型(HMM)、切换HMM(switching HMM)(其中切换允许在不同的动态系统之间跳变)、动态贝叶斯网络(dynamic Bayesian network)和/或具有时间分量的任何其他合适的图形模型。可以使用记录的传感器信号来训练任何这样的推理模型。

作为另一个示例，在一些实施例中，推理模型是采用从记录的传感器信号中导出的特征作为输入的分类器。在这样的实施例中，可以使用从传感器数据中提取的特征来训练分类器。分类器可以是支持向量机(support vector machine)、高斯混合模型、基于回归的分类器、决策树分类器、贝叶斯分类器和/或任何其他合适的分类器，因为本文描述的技术的方面在这一点上不受限制。要提供给分类器的输入特征可以以任何合适的方式从传感器数据中导出。例如，可以使用小波(wavelet)分析技术(例如，连续小波变换、离散时间小波变换等)、傅立叶分析技术(例如，短时傅立叶变换、傅立叶变换等)和/或任何其他合适类型的时间频率分析技术将传感器数据分析为时间序列数据。作为一个非限制性示例，可以使用小波变换来对传感器数据进行变换，并且可以将得到的小波系数作为输入提供给分类器。

在一些实施例中，可以根据训练数据来估计推理模型的参数的值。例如，当推理模型是神经网络时，可以根据训练数据来估计神经网络的参数(例如，权重)。在一些实施例中，可以使用梯度下降、随机梯度下降和/或任何其他合适的迭代优化技术来估计推理模型的参数。在推理模型是循环神经网络(例如，LSTM)的实施例中，可以使用随机梯度下降和随时间反向传播(backpropagation through time)来训练推理模型。训练可以采用交叉熵损失函数(cross-entropy loss function)和/或任何其他合适的损失函数，因为本文描述的技术的方面在这一点上不受限制。

如上面所讨论的，一些实施例涉及使用推理模型来基于从可穿戴传感器记录的信号预测肌肉骨骼信息。如上面在人类肌肉骨骼系统的部分可被建模为多节段铰接刚体系统的示例中简要讨论的，多节段铰接刚体模型中的节段之间的关节类型约束刚体的移动。此外，不同的人类个体在执行任务时倾向于以特有的方式移动，这可以在个体用户行为的推理模式中捕捉到。根据一些实施例，这些对人体移动的约束中的至少一些约束可以被明确地结合到用于预测的推理模型中。附加地或替代地，约束可以由推理模型通过基于记录的传感器数据的训练来学习，如上面简要讨论的。

如上面所讨论的，一些实施例涉及使用推理模型来预测手部状态信息，以能够生成和/或实时更新基于计算机的肌肉骨骼表示。推理模型可以用于基于当用户执行一个或更多个移动时检测到的IMU信号、神经肌肉信号(例如，EMG、MMG和/或SMG信号)、外部设备信号(例如，相机或激光扫描信号)、或者IMU信号、神经肌肉信号和外部设备信号的组合来预测手部状态信息。例如，如上面所讨论的，与XR系统相关联的相机可用于捕捉与基于计算机的肌肉骨骼表示的人类对象相关的实际位置数据，并且这种实际位置信息可用于提高表示的准确性。此外，推理模型的输出可用于生成基于计算机的肌肉骨骼表示在XR环境中的视觉表示。例如，可以在XR系统的视觉显示器中渲染肌肉群放电、施加力、经由移动输入文本或由基于计算机的肌肉骨骼表示产生的其他信息的视觉表示。在一些实施例中，其他输入/输出设备(例如，听觉输入/输出、触觉设备等)可用于进一步提高整个系统的准确性和/或改善用户体验。

本文描述的技术的一些实施例涉及使用推理模型，至少部分地用于将从神经肌肉信号识别的一个或更多个动作映射(例如，将从神经肌肉传感器识别的肌肉激活状态信息映射)到包括文本的输入信号。推理模型可以接收当用户执行一个或更多个肌肉下激活、一个或更多个移动和/或一个或更多个姿势时检测到的IMU信号、神经肌肉信号(例如，EMG、MMG和/或SMG信号)、外部设备信号(例如，相机或激光扫描信号)、或者IMU信号、神经肌肉信号和外部设备信号的组合作为输入。推理模型可用于预测要提供给AR系统的输入，而无需用户进行可感知的移动。

图2示出了根据一些实施例的将增强现实(AR)系统201与神经肌肉活动系统202集成在一起的基于分布式计算机的系统200的示意图。神经肌肉活动系统202类似于上面参照图1描述的系统100。

通常，增强现实(AR)系统201可以采取一副护目镜、眼镜或其他类型的设备的形式，该设备向用户显示可以叠加在“现实”上的显示元素，在某些情况下，该“现实”可以是用户对环境的视图(例如，通过用户的眼睛观看到的)，或者是用户对环境的视图的捕捉(例如，通过相机)的版本。在一些实施例中，AR系统201可以包括安装在用户穿戴的设备内的一个或更多个相机(例如，相机204)，该相机捕捉用户在其环境中经历的一个或更多个视图。系统201可以具有在用户设备和/或外围设备或计算机系统内操作的一个或更多个处理器205，并且这样的处理器可以能够发送和接收视频信息和其他类型的传感器数据。

AR系统201还可以包括一个或更多个传感器207，例如麦克风、GPS元件、加速度计、红外探测器、触觉反馈元件或任何其他类型的传感器、或其任意组合。在一些实施例中，AR系统201可以是基于音频的AR系统，并且一个或更多个传感器207还可以包括一个或更多个头戴式耳机(headphone)或扬声器。此外，AR系统201还可以具有一个或更多个显示器208，除了AR系统所呈现的用户环境的视图之外，显示器208还允许AR系统向用户覆盖和/或显示信息。AR系统201还可以包括一个或更多个通信接口(例如接口206)，用于向一个或更多个计算机系统(例如游戏系统或能够渲染或接收AR数据的其他系统)传送信息的目的。AR系统可以采取许多形式，由许多不同的制造商提供。例如，各种实施例可以结合一种或更多种类型的AR系统来实现。例如，各种实施例可以用可从Microsoft公司获得的HoloLens全息现实眼镜、可从Magic Leap获得的Lightwear AR头戴式装置(headset)、可从Alphabet获得的Google Glass AR眼镜、可从ODG获得的R-7Smartglasses System或任何其他类型的AR和/或VR设备来实现。尽管通过示例的方式进行了讨论，但是应当理解，一个或更多个实施例可以在VR或XR系统内实现。

AR系统201可以通过一种或更多种通信方法可操作地耦合到神经肌肉活动系统202，所述通信方法包括但不限于蓝牙协议、Wi-Fi、类以太网(Ethernet-like)协议或任何数量的无线和/或有线连接类型。应当理解，例如，系统201和202可以通过一个或更多个中间计算机系统或网络元件直接连接或耦合。图2中的双向箭头表示系统201和202之间的通信耦合。

神经肌肉活动系统202可以在结构和功能上类似于上面参照图1描述的系统100。具体地，系统202可以包括结合图1描述的一个或更多个神经肌肉传感器209和/或辅助传感器、一个或更多个推理模型210，并且可以创建、维护和存储肌肉骨骼表示211。在上面讨论的示例实施例中，系统202可以包括诸如带的设备，用户可以穿戴该设备以便收集和分析神经肌肉信号。此外，系统202可以包括一个或更多个通信接口212，其允许系统202(例如通过蓝牙、Wi-Fi或其他通信方法)与AR系统201通信。值得注意的是，AR系统201和神经肌肉活动系统202可以传递信息，该信息可以用于增强用户体验和/或允许AR系统更准确和有效地运行。

虽然图2描述了将AR系统201与神经肌肉活动系统202集成在一起的基于分布式计算机的系统，但是将会理解，该集成本质上可以是非分布式的。在一些实施例中，神经肌肉活动系统202可以集成到AR系统201中，使得神经肌肉活动系统202的各种部件可以被认为是AR系统的一部分。例如，由神经肌肉传感器209记录的神经肌肉信号可以被视为AR系统201的任何其他输入(例如，相机204、传感器207)。此外，对从神经肌肉传感器209获得的传感器信号的处理可以集成到AR系统201中。

图3示出了用于识别输入并向XR系统提供该输入的过程300。具体而言，过程300是根据一些实施例关于识别输入并向AR系统(例如AR系统201)提供该输入来描述的。过程300可以由神经肌肉活动系统202执行。在动作302中，传感器信号可以由神经肌肉活动系统202的一个或更多个传感器102记录(在本文中也被称为“原始传感器信号”)。在一些实施例中，传感器包括布置在用户穿戴的可穿戴设备上的多个神经肌肉传感器(例如，EMG传感器)。例如，EMG传感器可以被布置在弹性带上，该弹性带被配置成围绕用户的手腕或前臂而穿戴，以在用户执行各种移动或姿势时记录来自用户的神经肌肉信号。在一些实施例中，EMG传感器可以是布置在带502上的传感器504，如图5所示；在一些实施例中，EMG传感器可以是布置在弹性带720上的传感器710，如图7A所示。

如本文所用，术语“姿势”指一个或更多个身体部位的静态或动态配置，包括一个或更多个身体部位的位置和与该配置相关联的力。例如，用户执行的姿势包括指示一个或更多个身体部位的静态配置的静态/离散姿势(也称为“姿态”)。例如，姿态可以包括拳头、张开的手、静态地将手掌朝下放置在或按压在实体表面上或抓住球。姿态可以通过提供姿态的位置信息(例如，节段坐标、关节角度或类似信息)，或者通过提供对应于姿态的标识符(例如，参数、函数自变量或变量值)来指示静态配置。用户执行的姿势可以包括指示一个或更多个身体部位的动态配置的动态/连续姿势。动态配置可以描述一个或更多个身体部位的位置、一个或更多个身体部位的移动以及与该动态配置相关联的力。例如，动态姿势可以包括来回挥动手指、扔球或抓住并扔球。姿势可以包括其他人察觉不到的隐蔽姿势，例如通过共同收缩相对的肌肉来稍微拉紧关节，或者使用肌肉下激活。姿势可以由被配置为提示用户执行姿势的应用来定义，或者可选择地，姿势可以由用户任意定义。用户执行的姿势可以包括符号姿势(例如，基于指定映射的姿势词汇表，映射到其他姿势、交互或命令的姿势)。在某些情况下，手和手臂姿势可能是象征性的，并根据文化标准用于交流。

在一些实施例中，用户执行的移动或姿势可以包括敲击或打字动作，例如，在物理键盘的表面上的敲击或打字动作、在具有由AR系统201投射在其上的虚拟键盘的表面上的敲击或打字动作、在没有键盘的任何虚拟表示的情况下的敲击或打字动作和/或在空中(例如，不在表面上)执行的打字动作或其他姿势。

在一些实施例中，用户执行的移动或姿势可以包括书写动作，例如，用物理触笔、物理书写工具或用户的一个指尖或更多个指尖在表面上执行的书写动作(例如，用户可能通过将他的指尖一起保持在书写位置来想象他正在握着笔或触笔)，用虚拟触笔或虚拟书写工具在表面上执行的书写动作，和/或用物理书写工具、虚拟书写工具或用户的指尖在空中而不是在特定表面上执行的书写动作。

在一些实施例中，用户执行的移动或姿势可以包括绘图动作，例如在表面上执行的绘图动作，包括绘制一条或更多条线段和/或曲线、和/或通过AR系统201投射的虚拟键盘(例如，虚拟滑动(swipe)键盘)滑动。

在一些实施例中，用户执行的移动或姿势可以包括单手动作，例如单手和弦(chord)姿势，包括用一只手的各种手指或手指组合挤压、敲击或捏合。

除了多个神经肌肉传感器之外，一些实施例还包括被配置成记录辅助信号的一个或更多个辅助传感器，该辅助信号也可以作为输入被提供给一个或更多个训练的推理模型。辅助传感器的示例包括IMU传感器、成像设备、辐射检测设备(例如，激光扫描设备)、心率监视器或被配置为在执行上述一个或更多个移动或姿势期间记录来自用户的生物物理信息的任何其他类型的生物传感器。在一些实施例中，神经肌肉信号可以与从辅助传感器检测到的信息(例如，提供指示用户生理状态和/或行为的信息的辅助信号)相关联或相关连。例如，辅助信号可以与神经肌肉信号一起使用，以解释用户的移动、姿势、动作或以其他方式增强和加强神经肌肉信号或下面详细描述的输入识别过程。

过程300然后进行到动作304，在动作304中，可选地处理由传感器102记录的原始传感器信号。在一些实施例中，可以使用硬件信号处理电路来处理原始传感器信号(例如，以执行放大、滤波和/或整流)。在其他实施例中，对原始传感器信号的至少一些信号处理可以在软件中执行。因此，对由传感器记录的原始传感器信号的信号处理可以在硬件、软件中执行，或由硬件和软件的任何适当组合来执行。在一些实现中，原始传感器信号可以被处理以导出其他信号数据。例如，由一个或更多个IMU传感器记录的加速度计数据可以被积分和/或滤波，以确定在肌肉激活或姿势执行期间与一个或更多个肌肉相关联的导出的信号数据。

过程300然后进行到动作306，在动作306中，原始传感器信号或经处理的传感器信号可选地被提供给训练的推理模型作为输入，该训练的推理模型被配置为输出表示用户活动的信息，例如手部状态信息和/或肌肉激活状态信息(例如，姿势或姿态)，如上所述。

过程300然后进行到动作308，在动作308中，基于原始传感器信号、经处理的传感器信号和/或训练的推理模型的输出(例如，手部状态信息)来识别要提供给AR系统201的输入。在一些实施例中，可以基于从原始传感器信号、经处理的传感器信号和/或训练的推理模型的输出中识别的移动、姿势或动作来识别要提供给AR系统201的输入。例如，要提供给AR系统201的文本输入可以基于敲击或打字动作、书写动作、绘图动作和/或单手动作来识别。可以识别不同于文本输入的输入或除了文本输入之外的输入，例如，可以基于绘图动作来识别绘图。

根据一些实施例，系统100的一个或更多个计算机处理器104可以被编程为从传感器102记录的信号(例如，原始传感器信号)和/或从基于这些信号的信息中识别要提供给AR系统201的输入。基于由传感器102记录的信号的信息可以包括与经处理的传感器信号(例如，经处理的EMG信号)相关联的信息和/或与训练的推理模型的输出相关联的信息(例如，手部状态信息)。

根据一些实施例，除了由神经肌肉传感器记录的信号之外，还可以基于从辅助传感器(例如，与神经肌肉活动系统202或增强现实系统201相关联的一个或更多个IMU传感器、一个或更多个相机或成像设备)输出的信号来识别要提供给AR系统201的输入。当用户执行各种移动、姿势和/或动作时，这种辅助传感器可以提供关于笔、触笔、指尖的移动的附加信息。附加信息可用于提高识别过程的准确性。

在一些实施例中，所识别的输入可以被提供给AR系统201。AR系统201可以通过向用户显示所识别的输入的指示来提供视觉反馈(和/或可以提供其他形式的反馈，例如音频或触觉反馈)。视觉反馈可以例如通过提示用户调整各种移动、姿势和/或动作的执行方式来促进文本输入。视觉反馈在用户使用物体或用户的手/指尖提供输入的情况下可能是有用的，例如，当在表面上书写或绘图时，这不会留下物理标记。在一些实施例中，所识别的输入的指示包括基于用户执行的敲击或打字动作、书写动作、绘图动作和/或单手动作识别的文本输入。在一些实施例中，所识别的输入的指示包括针对文本输入的一个或更多个建议的或预测的单词或短语的列表。例如，可以向用户呈现多个选项、猜测或替代单词。用户可以通过例如执行某些移动或姿势(基于神经肌肉信号被识别)或使用替代控制方案(例如光标/指针)从所呈现的项目中进行选择。在一些实施例中，所识别的输入的指示包括与书写工具做出的一个或更多个笔画相关联的一个或更多个虚拟墨迹。在一些实施例中，所识别的输入的指示包括基于用户执行的绘图动作而识别的绘图。在一些实施例中，该指示可以经由在AR系统201提供的增强现实环境内呈现的用户界面来显示。例如，该指示可以在用户界面中的虚拟文档上被提供，或者作为在AR环境中被示出为在空间中浮动的表示被提供。在一些实施例中，该指示可以通过AR系统201渲染在用户正与之交互的表面上。该指示可以渲染在用户正在打字的表面上，例如，作为滚动纸带(scrolling tickertape)或面向行的打字机(line-oriented typewriter)。该指示可以渲染在用户正在书写的表面上，例如作为表面上的虚拟墨水。

图4示出了用于识别输入并向XR系统提供该输入的过程400。具体而言，过程400是根据一些实施例关于识别输入并向AR系统(例如AR系统201)提供该输入来描述的。过程400可以由神经肌肉活动系统202执行。在动作402中，传感器信号由神经肌肉活动系统202的一个或更多个传感器例如神经肌肉传感器(例如，EMG传感器)和/或辅助传感器(例如，IMU传感器、成像设备、辐射检测设备、心率监视器或任何其他类型的生物传感器)记录。

在动作404中，可以确定神经肌肉活动系统202处于被配置为向AR系统201提供包括文本的输入的模式。该模式可以包括打字模式，其中用户可以在物理或虚拟键盘上执行敲击或打字动作以提供文本输入；书写模式，其中用户可以用物理或虚拟的书写工具(例如，笔、触笔等)和/或指尖执行书写动作来提供文本输入；绘图模式，其中用户可以用物理或虚拟的书写工具(例如，笔、触笔等)和/或指尖执行绘图动作来提供文本和/或绘图输入；单手模式，其中用户可以执行单手动作来提供文本输入；和/或可以向AR系统201提供离散和/或连续控制信号作为输入的模式。

在一些实施例中，可以基于用户对模式的选择来进行模式确定。换句话说，可以响应于接收到用户对模式的选择来确定神经肌肉活动系统202所处的模式。用户选择可以从在AR系统201提供的AR环境中显示的用户界面被接收。用户界面可以识别和显示多种模式，用户可以从该多种模式中选择特定模式。例如，可以提供可用模式的列表，例如打字模式、书写模式、绘图模式和/或单手模式，并且用户可以从列表中选择模式。

在一些实施例中，可以根据传感器信号和/或根据基于传感器信号的信息来进行模式确定。换句话说，神经肌肉活动系统202所处的模式可以根据传感器信号和/或根据基于传感器信号的信息来确定。在一个实施例中，可以根据传感器信号和/或根据基于传感器信号的信息来识别用户执行的特定姿势，并且可以通过识别对应于该特定姿势的模式来确定模式。例如，不同的姿势可以被映射到不同的模式，并且特定模式可以基于用户执行的对应姿势来确定。基于特定姿势或肌肉激活状态进入的模式可以取决于系统的状态(例如，系统的当前模式)和/或可以根据用户的偏好设置来个性化。在一些实施例中，当用户执行与相应模式相关联的一个或更多个动作时，可以确定该模式。例如，当用户开始执行打字动作时，神经肌肉活动系统202可以被配置为识别输入模式是打字模式，并且当用户开始执行书写动作时，神经肌肉活动系统202可以被配置为识别输入模式是书写模式。基于对用户执行的不同动作的检测，神经肌肉活动系统202可以从一种模式切换到另一种模式。例如，用户可以在执行打字动作和书写动作之间切换，并且系统可以确定输入模式应该相应地在打字模式和书写模式之间切换，而不中断文本输入。

在一些实施例中，可以基于从AR系统201接收到的信号来进行模式确定。换句话说，神经肌肉活动系统202可以被配置成以响应于从AR系统接收到信号而确定的模式来操作。AR系统201可以响应于对事件的检测来生成信号，对于该事件，期望在AR系统提供的AR环境内进行输入。例如，可能需要文本输入来完成在AR环境中显示的用户界面中呈现的表单的一部分。表单的呈现可以触发AR系统生成信号，该信号指示文本输入被期望。该信号可以标识可用于提供输入的各种模式。AR系统201可以将该信号传送给神经肌肉活动系统202，并且神经肌肉活动系统202可以切换到特定的可用模式来提供文本输入。

在动作406中，可以根据原始或经处理的信号和/或根据基于记录的信号的信息(例如，手部状态和/或肌肉激活状态信息)来识别要提供给AR系统201的输入。在一些实施例中，系统100的一个或更多个计算机处理器可以被编程为基于传感器信号、手部状态信息、对姿势或肌肉激活状态的检测、和/或前述任意的组合来识别输入。

在一些实施例中，可以基于神经肌肉活动系统202的当前模式来进一步识别要提供给AR系统201的输入。当神经肌肉活动系统202处于打字模式时，可以通过根据传感器信号和/或根据基于传感器信号的信息识别由用户执行的一个或更多个敲击或打字动作来识别针对打字模式要提供给AR系统201的输入。例如，可以基于传感器信号来识别在物理键盘的表面上或在其上有AR系统投射的虚拟键盘的表面上执行的敲击或打字动作，并且可以基于敲击/打字动作来识别针对打字模式的文本输入。图9A描绘了用户在放置在桌子上的物理键盘902上执行打字动作。可以基于与这些打字动作相关联的神经肌肉信号和/或肌肉激活状态(如可穿戴部分810所检测到的)来识别要提供给AR系统的输入，并且可以经由虚拟头戴式装置904向用户显示所识别的输入的指示。

当神经肌肉活动系统202处于书写模式时，可以通过根据传感器信号和/或根据基于传感器信号的信息识别由用户执行的一个或更多个书写动作来识别针对书写模式要提供给AR系统201的输入。例如，可以基于传感器信号来识别用物理书写工具、虚拟书写工具和/或用户的指尖在表面上执行的书写动作，并且可以基于书写动作识别针对书写模式的文本输入。图9B描绘了用户使用可选的触笔910在可选的平板设备912上执行书写动作。可以基于与这些书写动作相关联的神经肌肉信号和/或肌肉激活状态(如可穿戴部分810所检测到的)来识别要提供给AR系统的输入，并且可以经由虚拟头戴式装置904向用户显示所识别的输入的指示。

当神经肌肉活动系统202处于绘图模式时，可以通过根据传感器信号和/或根据基于传感器信号的信息识别由用户执行的一个或更多个绘图动作(例如，在表面上绘制多个线段和/或曲线)来识别针对绘图模式要提供给AR系统的输入。可以基于绘图动作来识别针对绘图模式的输入(例如，文本输入和/或绘图输入)。在一些实施例中，针对绘图模式的输入可以包括一个或更多个线段和/或曲线。在一些实施例中，针对绘图模式的输入可以包括基于由用户执行的绘图动作控制的像素位置序列确定的输入。图9C描绘了用户在空中(即，在不使用任何书写工具的情况下)执行绘图动作。可以基于与这些绘图动作相关联的神经肌肉信号和/或肌肉激活状态(如可穿戴部分810所检测到的)来识别要提供给AR系统的输入，并且可以经由虚拟头戴式装置904向用户显示所识别的输入的指示。在本文描述的该场景和其他场景中，辅助传感器(例如，相机)(未示出)可以作为虚拟头戴式装置的一部分或者作为单独的部件被提供，并且可以提供附加信息(例如，手的位置)，该附加信息可以用于进一步解释用户动作和相关联的神经肌肉信号和/或肌肉激活状态。

在一些实施例中，可以基于用户执行的绘图动作来识别文本输入和绘图。在一些实现中，传感器信号的处理可以由多个处理器执行。神经肌肉传感器可以被配置成将至少一些传感器信号传送到第一计算机处理器和第二计算机处理器，其中绘图可以由第一计算机处理器识别，文本输入(例如，手写(handwriting))可以由第二计算机处理器识别。来自第一和第二计算机处理器的文本输入和绘图可以被组合，使得文本覆盖或注释绘图，或者被存储为元数据用于以后的处理(例如，搜索和过滤)。在其他实现中，可以基于用户执行的绘图动作来识别绘图，并且可以从绘图中识别文本输入。例如，可以从传感器信号中识别绘图，并且可以通过在绘图上运行手写识别过程来从绘图中识别文本。

当神经肌肉活动系统202处于单手模式(即，用户仅使用一只手来提供输入的模式)时，可以通过根据传感器信号和/或根据基于传感器信号的信息识别用户执行的一个或更多个单手动作(例如，各种手指和手指组合的挤压、捏合和/或敲击)来识别针对单手模式要提供给AR系统的输入。针对单手模式的文本输入可以基于单手动作来识别。

在一些实施例中，除了打字/敲击、书写、绘图和/或单手动作之外，还可以识别一个或更多个姿势，以允许编辑和/或更正所识别的文本。例如，除了书写动作(基于哪种文本输入被识别)之外，还可以识别允许删除文本输入中识别的字母或单词的一个或更多个删除姿势。一个或更多个删除姿势可以包括删除单个字母的姿势、删除先前单词的姿势和/或删除所选单词的姿势。在一些实施例中，对要删除的单词的选择可以使用神经肌肉控制(例如光标导航)来完成。一个或更多个删除姿势可以涉及操纵用户正在持有的物体(例如，触笔或铅笔)。例如，一个或更多个删除姿势可以包括将诸如铅笔的物体弹到橡皮擦位置，然后用特定的手指在对象上滑动或按下虚构按钮，以启动一个或更多个字母或单词的删除。

在一些实施例中，一个或更多个姿势(例如指示文本行的结束和新文本行的开始的换行符姿势、指示文本中的空格符的空格姿势和/或其他姿势)可以被标识并与识别文本输入相结合，以允许用户在不必物理地移动他的手(例如，将手移动到虚拟文档中的虚拟页面右侧或下侧)的情况下编写更长的文本序列。例如，在特定方向上的滑动或轻击(flick)可以用作换行符姿势，而“抬起笔(pen up)”动作可以用于空格或断字。

在动作408中，动作406中识别的输入可以被提供给AR系统201。根据传感器信号和/或根据基于传感器信号的信息识别的文本输入和/或绘图输入可以被提供给AR系统201。系统100的一个或更多个计算机处理器可以识别输入并向AR系统提供该输入。

在一些实施例中，神经肌肉活动系统202可以在例如打字、书写、绘图和/或单手模式的不同模式之间切换，以提供输入。例如，用户可以通过在物理键盘的表面上敲击、用触笔在表面上书写、通过在AR环境中投射的虚拟滑动键盘滑动、或者使用从神经肌肉信号到文本的自定义无移动映射来提供基于文本的输入。这些不同的方法都可以通过公共应用编程接口(API)与AR系统201集成。换句话说，不同形式的文本输入可以由神经肌肉活动系统202识别并被提供给AR系统201，其中AR系统经由公共文本API接收不同形式的文本输入。

在一些实施例中，可以从多个源中识别要提供给AR系统201的输入，其中源可以包括神经肌肉信号和至少一个不同于神经肌肉信号的源。例如，该至少一个源可以包括物理输入设备，例如物理键盘或触笔。从多个源接收的输入可以被组合，并且组合的输入可以被提供给AR系统201。在一些实现中，公共API可以从多个源接收输入。在一些实施例中，由AR系统提供的视觉反馈可以继续，而不管文本输入的源、模式或形式。

在一些实施例中，当与物理输入设备结合使用时，神经肌肉活动系统202可以学习使用神经肌肉信号来仿真物理输入设备，从而允许在物理输入设备和它们的虚拟仿真之间的无缝切换。

图7A示出了具有16个神经肌肉传感器710(例如，EMG传感器)的可穿戴系统，这些传感器围绕弹性带720周向地布置，弹性带720被配置成围绕用户的下臂或手腕穿戴。如所示的，EMG传感器710围绕弹性带720周向地布置。应当理解，可以使用任何合适数量的神经肌肉传感器。神经肌肉传感器的数量和布置可以取决于可穿戴设备所用于的特定应用。例如，可穿戴臂带或腕带可以用于生成控制信息，以控制增强现实系统、机器人，控制车辆，滚动浏览文本，控制虚拟化身，或用于任何其他合适的控制任务。

在一些实施例中，传感器710包括神经肌肉传感器(例如，EMG传感器)的集合。在其他实施例中，传感器710可以包括神经肌肉传感器的集合和被配置成连续记录辅助信号的至少一个“辅助”传感器。辅助传感器的示例包括但不限于其他传感器，例如IMU传感器、麦克风、成像传感器(例如，相机)、与辐射产生设备(例如，激光扫描设备)一起使用的基于辐射的传感器、或者其他类型的传感器(例如心率监视器)。如所示的，传感器710可以使用结合到可穿戴设备中的柔性电子器件730来耦合在一起。图7B示出了图7A所示的可穿戴设备的传感器710之一的横截面视图。

在一些实施例中，可选地，可以使用硬件信号处理电路来处理(例如，以执行放大、滤波和/或整流)一个或更多个感测部件的输出。在其他实施例中，对感测部件的输出的至少一些信号处理可以在软件中执行。因此，对由传感器采样的信号的信号处理可以在硬件、软件中执行，或由硬件和软件的任何适当组合执行，因为本文描述的技术的方面在这一点上不受限制。下面结合图8A和图8B更详细地讨论用于处理来自传感器710的所记录的数据的信号处理链的非限制性示例。

图8A和图8B示出了根据本文描述的技术的一些实施例的具有16个EMG传感器的可穿戴系统的内部部件的示意图。如所示的，可穿戴系统包括可穿戴部分810(图8A)和(例如，经由蓝牙或另一种合适的短程无线通信技术)与可穿戴部分810通信的加密狗部分820(图8B)。如图8A所示，可穿戴部分810包括传感器710，其示例结合图7A和图7B进行了描述。传感器710的输出被提供给模拟前端830，模拟前端830被配置成对所记录的信号执行模拟处理(例如，降噪、滤波等)。经处理的模拟信号然后被提供给模数转换器832，模数转换器832将模拟信号转换成可以由一个或更多个计算机处理器处理的数字信号。根据一些实施例可以使用的计算机处理器的一个示例是图8A所示的微控制器(MCU)834。如所示的，MCU 834也可以包括来自其他传感器(例如，IMU传感器840)以及电源和电池模块842的输入。由MCU执行的处理的输出可以被提供给天线850，用于传输到图8B所示的加密狗部分820。

加密狗部分820包括天线852，天线852被配置成与作为可穿戴部分810的一部分被包括的天线850通信。可以使用任何合适的无线技术和协议(其非限制性示例包括射频信令和蓝牙)进行天线850和852之间的通信。如所示的，由加密狗部分820的天线852接收的信号可以被提供给主计算机，用于进一步处理、显示和/或用于实现对特定物理或虚拟对象的控制。

虽然参考图7A、7B和图8A、8B提供的示例是在与EMG传感器的接口的上下文中讨论的，但是应当理解，本文描述的用于减少电磁干扰的技术也可以在与其他类型的传感器的可穿戴接口中实现，包括但不限于肌电图(MMG)传感器、声肌图(SMG)传感器和电阻抗断层摄影(EIT)传感器。此外，将会理解，本文描述的用于向AR系统提供输入的技术也可以在VR、MR或XR系统内实现。

将会理解，本公开不限于使用打字、书写、绘图和/或单手模式或者基于敲击/打字动作、书写动作、绘图动作和/或单手动作的识别的输入，并且可以使用其他模式或动作。例如，在不脱离本公开的范围的情况下，除了在表面上的打字、敲击、书写或绘图之外，还可以使用双手动作，例如双手的指尖挤压、手部手势或手指移动的组合。

可以以多种方式中的任一种来实现上述实施例。例如，可以使用硬件、软件或其组合来实现实施例。当以软件实现时，软件代码可以在任何合适的处理器或处理器集群(无论是在单个计算机中提供的，还是分布在多个计算机之间的)上执行。应当认识到，执行上述功能的任何部件或部件集群可以一般地被考虑为控制上面讨论的功能的一个或更多个控制器。可以以多种方式例如利用专用硬件或者利用使用微码或软件被编程为执行上面列举的功能的一个或更多个处理器来实现一个或更多个控制器。

在这方面，应当理解，本发明的实施例的一个实现包括编码有计算机程序(即，多个指令)的至少一个非暂时性计算机可读存储介质(例如，计算机存储器、便携式存储器、光盘等)，该计算机程序当在处理器上执行时，执行本发明的实施例的以上所讨论的功能。计算机可读存储介质可以是可传输的，使得存储在其上的程序可以被加载到任何计算机资源上，以实现本文所讨论的本发明的各方面。此外，应当认识到，对当被执行时执行上面讨论的功能的计算机程序的提及不限于在主计算机上运行的应用程序。相反，术语“计算机程序”在本文中以一般意义使用，以指代任何类型的计算机代码(例如，软件或微码)，其可以用于对处理器进行编程以实现本发明的以上所讨论的各方面。

本发明的各个方面可以单独使用、组合使用或者以在前面描述的实施例中没有具体讨论的各种布置使用，因此它们的应用不限于在前面描述中阐述的或者在附图中示出的部件的细节和布置。例如，在一个实施例中描述的方面可以以任何方式与在其他实施例中描述的方面组合。

此外，本发明的实施例可以被实现为一种或更多种方法，已经提供了其示例。作为方法的一部分被执行的动作可以以任何合适的方式被排序。相应地，可以构造这样的实施例，其中动作以与所示出的不同的顺序被执行，这可以包括同时执行一些动作，即使这些动作在说明性实施例中被示为顺序动作。

在本文讨论的任何实施例中，前述特征可以单独地或者以任何组合的方式一起被使用。

此外，尽管可以指出本发明的优点，但是应当理解，不是本发明的每个实施例都包括每个描述的优点。一些实施例可能不实现本文中被描述为有利的任何特征。因此，前面的描述和附图仅作为示例。

公开的实施例的变化是可能的。例如，本技术的各个方面可以单独使用、组合使用，或者在前面描述的实施例中没有具体讨论的各种布置中使用，因此它们的应用不限于在前面描述中阐述的或在附图中示出的部件的细节和布置。一个实施例中描述的方面可以以任何方式与其他实施例中描述的方面相结合。

在权利要求中使用序数术语例如“第一”、“第二”、“第三”等来修改权利要求元素并不单独地暗示一个权利要求元素相对于另一个权利要求元素的任何优先级、优先权、或顺序或者方法的动作被执行的时间顺序。这样的术语仅用作标签以将具有特定名称的一个权利要求元素与具有相同名称的另一个元素区分开(但对于序数术语的使用)。

如在本文在说明书和权利要求中使用的不定冠词“一个(a)”和“一个(an)”，除非有相反的明确指示，否则应理解为表示“至少一个”。

关于一个或更多个元素的列表，短语“至少一个”的任何使用应理解为表示从元素列表中的任何一个或更多个元素中选择的至少一个元素，但不一定包括元素列表内具体列出的每个元素中的至少一个，并且不排除元素列表中元素的任何组合。该定义还允许除了在短语“至少一个”所指的元素的列表内特别标识的元素以外的元素可以可选地存在，而不管与被特别标识的那些元素相关或不相关。

短语“相等”或“相同”在涉及两个值(例如，距离、宽度等)时的任何使用意味着两个值在制造公差范围内是相同的。因此，两个值相等或相同，可能意味着两个值彼此相差±5％。

如在本文在说明书中和在权利要求中使用的短语“和/或”应当被理解为意指这样连接的元素中的“任一者或两者”，即，在一些情况下连接着地存在并且在其他的情况下分离地存在的元素。用“和/或”列出的多个元素应该以相同的方式被解释，即这样连接的元素中的“一个或更多个”。除了被“和/或”子句特别标识的元素之外，其他元素可以可选地存在，而不管是否与特别标识的那些元素相关或不相关。因此，作为非限制性示例，对“A和/或B”的提及当与开放的语言例如“包括”结合来使用时可以在一个实施例中指仅仅A(可选地包括除了B以外的元素)；在另一个实施例中指仅仅B(可选地包括除了A以外的元素)；在又一个实施例中指A和B两者(可选地包括其他元素)；等等。

如在本文在说明书和权利要求中使用的，“或”应该理解为具有与上面定义的“和/或”相同的含义。例如，当分离列表中的项目时，“或”或“和/或”应被解释为包含性的，即包括多个元素或元素列表中的至少一个，但也包括该多个元素或元素列表中的一个以上的元素，以及可选地包括附加的未列出的项目。只有明确表示相反的术语，例如“仅其中之一”或“恰好其中之一”，或者当在权利要求中使用时的“由……组成”，将指的是包含多个元素或元素列表中的恰好一个元素。一般而言，当前面有排他性的术语时，例如“任一”、“其中之一”、“仅其中之一”或“恰好其中之一”，本文使用的术语“或”应当仅被解释为表示排他性的替代物(即，“一个或另一个，但不是两者”)。当在权利要求中使用时，“基本上由……组成”应具有其在专利法领域中使用的普通含义。

本文所使用的措辞和术语是为了描述的目的，且不应被视为限制性的。“包括(including)”、“包括(comprising)”、“具有(having)”、“包含(containing)”、“涉及(involving)”、及它们的变形的使用意指包括在其后列出的项和另外的项。

已经详细描述了本发明的几个实施例，本领域技术人员将容易想到各种修改和改进。这些修改和改进旨在落入本发明的精神和范围内。因此，前面的描述仅仅是作为示例，且并不旨在为限制性的。本发明仅由所附权利要求及其等同物限定。

Claims (34)

1.一种用于向扩展现实系统提供输入的计算机化系统，所述计算机化系统包括：

一个或更多个神经肌肉传感器，其被配置为检测来自用户的神经肌肉信号，其中所述一个或更多个神经肌肉传感器被布置在第一可穿戴设备和第二可穿戴设备上，所述第一可穿戴设备被配置为检测来自所述用户的第一手臂的神经肌肉信号，并且所述第二可穿戴设备被配置为检测来自所述用户的第二手臂的神经肌肉信号；和

至少一个计算机处理器，所述至少一个计算机处理器被编程为：

确定所述计算机化系统处于被配置为向所述扩展现实系统提供第一输入的第一模式；

至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息来识别所述第一输入；和

向所述扩展现实系统提供所识别的第一输入；

其中所述至少一个计算机处理器还被编程为：

至少部分地根据所述神经肌肉信号和/或根据基于所述神经肌肉信号的信息来识别第二输入，其中至少部分地基于第二模式来进一步识别所述第二输入；

确定所述计算机化系统将从所述第一模式切换到所述第二模式；

响应于确定所述计算机化系统将从所述第一模式切换到所述第二模式，将所述计算机化系统从所述第一模式切换到所述第二模式；以及

将所识别的第二输入提供给所述扩展现实系统；

其中所述第一模式和所述第二模式是基于从所述用户检测到的手势来确定的，其中所述手势是根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的所述信息来识别的；

其中所述第一模式和所述第二模式包括以下项中的一个或多个：

打字模式，其中识别输入包括至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的所述信息来识别一个或更多个敲击或打字动作，其中所述计算机化系统还包括物理键盘或虚拟键盘；

书写模式，其中识别输入包括至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的所述信息来识别从所述用户检测到的一个或更多个书写动作，其中所述计算机化系统还包括物理触笔或虚拟触笔或物理书写工具或虚拟书写工具，和/或其中所述一个或更多个书写动作被识别为在空中被检测到；

绘图模式，其中识别输入包括至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的所述信息来识别从所述用户检测到的一个或更多个绘图动作，其中针对所述绘图模式，识别所述输入包括将输入识别为绘图和/或文本；以及

单手模式，其中识别输入包括至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的所述信息来识别从所述用户检测到的一个或更多个单手动作。

2.根据权利要求1所述的计算机化系统，其中从所述用户检测到的一个或更多个绘图动作包括多个线段和/或曲线。

3.根据权利要求1所述的计算机化系统，其中所述至少一个计算机处理器还被编程为组合绘图输入和文本输入，使得文本对绘图进行覆盖或注释。

4.根据权利要求1所述的计算机化系统，其中所述扩展现实系统被配置为向所述用户显示所识别的输入的指示。

5.根据权利要求4所述的计算机化系统，其中所识别的输入的指示包括基于从所述用户检测到的一个或更多个打字、书写、绘图动作或单手动作而识别的文本输入。

6.根据权利要求1所述的计算机化系统，还包括视觉显示器或界面，所述视觉显示器或界面被配置为呈现用于文本输入的一个或更多个建议的或预测的单词或短语。

7.根据权利要求1所述的计算机化系统，还包括视觉显示器或界面，所述视觉显示器或界面被配置为呈现与从所述用户检测到的一个或更多个笔画相关联的一个或更多个虚拟墨迹。

8.根据权利要求1所述的计算机化系统，还包括视觉显示器或界面，所述视觉显示器或界面被配置为呈现基于从所述用户检测到的一个或更多个绘图动作而识别的绘图。

9.根据权利要求1所述的计算机化系统，还包括：

至少一个惯性测量单元(IMU)传感器，

其中识别所述输入包括至少部分地基于与所述至少一个IMU传感器相关联的至少一个输出信号来识别所述输入。

10.根据权利要求1所述的计算机化系统，还包括：

至少一个相机，

其中识别所述输入包括至少部分地基于与所述至少一个相机相关联的至少一个输出信号来识别所述输入。

11.根据权利要求1所述的计算机化系统，其中所述扩展现实系统是增强现实系统。

12.一种由计算机化系统执行的用于向扩展现实系统提供输入的方法，所述方法包括：

使用布置在第一可穿戴设备和第二可穿戴设备上的一个或更多个神经肌肉传感器来检测来自用户的多个神经肌肉信号，所述第一可穿戴设备被配置为检测来自所述用户的第一手臂的神经肌肉信号，并且所述第二可穿戴设备被配置为检测来自所述用户的第二手臂的神经肌肉信号；

确定所述计算机化系统处于被配置为向所述扩展现实系统提供第一输入的第一模式；

至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息来识别所述第一输入；和

向所述扩展现实系统提供所识别的第一输入；

其中所述方法还包括：

至少部分地根据所述神经肌肉信号和/或根据基于所述神经肌肉信号的信息来识别第二输入，其中至少部分地基于第二模式来进一步识别所述第二输入；

确定所述计算机化系统将从所述第一模式切换到所述第二模式；

响应于确定所述计算机化系统将从所述第一模式切换到所述第二模式，将所述计算机化系统从所述第一模式切换到所述第二模式；以及

将所识别的第二输入提供给所述扩展现实系统；

其中所述第一模式和所述第二模式是基于从所述用户检测到的手势来确定的，其中所述手势是根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的所述信息来识别的；

其中所述第一模式和所述第二模式包括以下项中的一个或多个：

打字模式，其中识别输入包括至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的所述信息来识别一个或更多个敲击或打字动作，其中所述计算机化系统还包括物理键盘或虚拟键盘；

书写模式，其中识别输入包括至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的所述信息来识别从所述用户检测到的一个或更多个书写动作，其中所述计算机化系统还包括物理触笔或虚拟触笔或物理书写工具或虚拟书写工具，和/或其中所述一个或更多个书写动作被识别为在空中被检测到；

绘图模式，其中识别输入包括至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的所述信息来识别从所述用户检测到的一个或更多个绘图动作，其中针对所述绘图模式，识别所述输入包括将输入识别为绘图和/或文本；以及

单手模式，其中识别输入包括至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的所述信息来识别从所述用户检测到的一个或更多个单手动作。

13.一种用于向扩展现实XR系统提供一个或更多个输入的根据权利要求1所述的计算机化系统，所述计算机化系统还包括：

一个或更多个辅助传感器，其被配置为检测来自所述用户的关于生理状态和/或行为的信息；和

至少一个计算机处理器，所述至少一个计算机处理器被编程为：

确定所述系统处于被配置为向所述XR系统提供第一输入或第二输入的第一模式或第二模式，

将所述神经肌肉信号与由所述一个或更多个辅助传感器检测到的所述信息相关联，

使用一个或更多个推理模型处理所述神经肌肉信号和/或由所述一个或更多个辅助传感器检测到的所述信息；

基于经处理的神经肌肉信号和/或经处理的由所述一个或更多个辅助传感器检测到的信息来识别所述第一输入或所述第二输入；和

向所述XR系统提供识别的第一输入或第二输入。

14.一种用于至少部分地基于神经肌肉信号向增强现实系统提供输入的根据权利要求1所述的计算机化系统，所述计算机化系统还包括：

多个神经肌肉传感器，所述多个神经肌肉传感器被配置为记录来自用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在所述第一可穿戴设备和所述第二可穿戴设备上；以及

其中所述至少一个计算机处理器还被编程为：

确定所述计算机化系统处于被配置为向所述增强现实系统提供第一输入的第一模式，所述输入包括文本；

至少部分地根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的信息来识别所述第一输入，其中至少部分地基于所述第一模式来进一步识别所述第一输入；和

向所述增强现实系统提供所识别的第一输入；

其中所述至少一个计算机处理器还被编程为：

至少部分地根据所述神经肌肉信号和/或根据基于所述神经肌肉信号的信息来识别第二输入，其中至少部分地基于第二模式来进一步识别所述第二输入；

确定所述计算机化系统将从所述第一模式切换到所述第二模式；

响应于确定所述计算机化系统将从所述第一模式切换到所述第二模式，将所述计算机化系统从所述第一模式切换到所述第二模式；以及

将所识别的第二输入提供给所述增强现实系统；

其中所述第一模式和所述第二模式是基于从所述用户检测到的手势来确定的，其中所述手势是根据所述多个神经肌肉信号和/或根据基于所述多个神经肌肉信号的所述信息来识别的；

其中所述第一模式和所述第二模式包括以下项中的一个或多个：

打字模式，其中用户能够在物理键盘或虚拟键盘上执行一个或多个敲击或打字动作以向所述增强现实系统提供文本输入；

书写模式，其中用户能够用物理书写工具或虚拟书写工具和/或指尖执行一个或多个书写动作来向所述增强现实系统提供文本输入；

绘图模式，其中用户能够执行一个或多个绘图动作来向所述增强现实系统提供文本和/或绘图输入；以及

单手模式，其中用户能够执行一个或多个单手动作来向所述增强现实系统提供文本输入；以及

其中动作包括分别与所述打字模式、所述书写模式、所述绘图模式和所述单手模式相关联的打字动作、书写动作、绘图动作以及单手动作。

15.根据权利要求14所述的计算机化系统，其中识别所述一个或更多个敲击或打字动作包括：

识别在物理键盘的表面上的一个或更多个敲击或打字动作。

16.根据权利要求14所述的计算机化系统，其中识别所述一个或更多个敲击或打字动作包括：

识别在具有虚拟键盘的表面上的一个或更多个敲击或打字动作，所述虚拟键盘由所述增强现实系统投射在所述表面上。

17.根据权利要求14所述的计算机化系统，其中识别所述用户执行的一个或更多个书写动作包括：

识别用物理触笔、物理书写工具或所述用户的一个或更多个指尖在表面上执行的一个或更多个书写动作。

18.根据权利要求14所述的计算机化系统，其中识别所述用户执行的一个或更多个书写动作包括：

识别用虚拟触笔或虚拟书写工具在表面上执行的一个或更多个书写动作。

19.根据权利要求14所述的计算机化系统，其中识别所述用户执行的一个或更多个书写动作包括：

识别在空中执行的一个或更多个书写动作。

20.根据权利要求14所述的计算机化系统，其中针对所述绘图模式的输入包括多个线段和/或曲线。

21.根据权利要求14所述的计算机化系统，其中针对所述绘图模式的输入包括基于由所述用户执行的一个或更多个绘图动作控制的像素位置序列而确定的输入。

22.根据权利要求14所述的计算机化系统，其中识别针对所述绘图模式的输入包括：

基于所述用户执行的一个或更多个绘图动作来识别绘图；和

基于所述用户执行的一个或更多个绘图动作来识别文本。

23.根据权利要求22所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：

组合所述绘图和所述文本，使得所述文本覆盖或注释所述绘图。

24.根据权利要求14所述的计算机化系统，其中识别针对所述绘图模式的输入包括：

基于所述用户执行的一个或更多个绘图动作来识别绘图；和

从所述绘图中识别文本。

25.根据权利要求14所述的计算机化系统，其中所述增强现实系统被配置为向所述用户显示所识别的输入的指示。

26.根据权利要求25所述的计算机化系统，其中所识别的输入的指示包括基于所述用户执行的一个或更多个打字、书写、绘图动作或单手动作而识别的文本输入。

27.根据权利要求26所述的计算机化系统，其中，所识别的输入的指示包括针对所述文本输入的一个或更多个建议的或预测的单词或短语的列表。

28.根据权利要求25所述的计算机化系统，其中，所识别的输入的指示包括与书写工具做出的一个或更多个笔画相关联的一个或更多个虚拟墨迹。

29.根据权利要求25所述的计算机化系统，其中所识别的输入的指示包括基于所述用户执行的一个或更多个绘图动作而识别的绘图。

30.根据权利要求25所述的计算机化系统，其中，所述指示经由在所述增强现实系统提供的增强现实环境内呈现的用户界面来显示。

31.根据权利要求25所述的计算机化系统，其中所述指示被渲染在表面上，所述用户正通过所述增强现实系统与所述表面交互。

32.根据权利要求14所述的计算机化系统，还包括：

至少一个惯性测量单元(IMU)传感器，

其中识别所述文本输入包括至少部分地基于与所述至少一个IMU传感器相关联的至少一个输出信号来识别所述文本输入。

33.根据权利要求14所述的计算机化系统，还包括：

至少一个相机，

其中识别所述文本输入包括至少部分地基于与所述至少一个相机相关联的至少一个输出信号来识别所述文本输入。

34.根据权利要求14所述的计算机化系统，其中提供给所述增强现实系统的所识别的输入包括从多个源识别的输入，其中所述多个源包括所述多个神经肌肉信号和不同于所述多个神经肌肉信号的至少一个源。