CN111936959A - 用于在用户身上显示用户界面并检测触摸手势的方法、设备和系统 - Google Patents

Abstract

提供了一种识别用户身上的触摸手势的示例方法。该方法包括通过附连到用户的第一附肢的第一可穿戴设备的一个或更多个换能器接收由附连到用户的第二可穿戴设备发送的一组信号，其中(i)接收该组信号在第一和第二可穿戴设备之间创建信号路径，以及(ii)该组信号中的信号至少通过用户的第一附肢传播。该方法还包括确定在第一可穿戴设备和第二可穿戴设备之间创建的信号路径的基线特征，在接收该组信号时感测基线特征的变化，并且根据确定感测到的信号路径的基线特征的变化满足接触标准，报告用户的第一附肢上的候选触摸事件。

Description

用于在用户身上显示用户界面并检测触摸手势的方法、设备 和系统

技术领域

本公开总体上涉及虚拟现实/增强现实，包括但不限于将图像投影到用户身上并检测用户身上与投影相关的手势。

背景

虚拟现实(VR)和/或增强现实(AR)技术允许用户以不同的方式与技术交互。VR和/或AR允许用户与数字世界进行触觉交互。用户可以体验来自电子设备的触觉响应，从而给用户带来丰富的体验。用于VR和/或AR的可穿戴设备可以允许用户通过不同于电子设备屏幕的介质与数字世界交互(例如，可穿戴设备使用例如增强现实将图像投影到用户的前臂上)。然而，以足够的精度确定手势在投影图像上的定位(location)是一个挑战。

概述

因此，需要用于以足够的保真度将虚拟图像投影到用户身上以确定是否发生了接触或手势的方法、设备和系统。一种解决方案是将计算机视觉(例如，可穿戴设备上的照相机)和单独的模态(例如，具有一个或更多个换能器(transducer)的可穿戴腕带)相结合，以在确定手势(例如，接触)的定位和/或压力时提高保真度。

在一些实施例中，可以在包括多个换能器(例如，致动器)的可穿戴设备上实现上面解释的解决方案。在某些情况下，可穿戴设备佩戴在用户的手腕(或各种其他身体部位)上，并用于将图像投影到用户身体的一部分上，实质上在用户身体上创建虚拟或增强现实显示。在一些实施例中，可穿戴设备可以虚拟化要通过可穿戴设备的透镜看到的图像，就好像该图像被投影到用户身上一样。此外，可穿戴设备可以与主机系统(例如，虚拟现实设备和/或增强现实设备等)通信，并且可穿戴设备可以基于来自主机系统的指令显示图像。作为示例，主机系统可以向用户显示视频数据(例如，可以指示头戴式显示器显示视频数据)，并且主机系统还可以指示可穿戴设备将来自视频的图像投影到用户的身体上。

本文描述的设备、系统和方法提供了包括但不限于以下项的益处：(i)检测用户的附肢(appendage)在投影图像和/或虚拟图像上的触摸手势，(ii)确定触摸手势在用户身体上的投影图像上的定位，(iii)可穿戴设备不妨碍用户的手部和/或手腕(或其他身体部位)的自由运动，以及(iv)可以同时使用多个可穿戴设备。

(A1)根据一些实施例，在包括投影仪和多个换能器的第一可穿戴设备处执行一种方法。该方法包括将图像投影到第一可穿戴设备的用户的第一附肢的一部分上，并检测用户的不同于第一附肢的第二附肢在图像上的触摸手势。该方法还包括在具有照相机和处理器的第二可穿戴设备处，确定触摸手势在图像上的定位，其中计算机系统被指示根据检测和定位来执行操作。在一些实施例中，第一可穿戴设备附连到用户的附肢(例如，手腕、前臂、二头肌、大腿、脚踝等)并且第二可穿戴设备佩戴在用户的头部(例如，头戴式显示器)。

(A2)在A1的方法的一些实施例中，还包括在第二可穿戴设备处，经由照相机和处理器确认检测到的由用户的第二附肢做出的触摸手势已经出现在图像上。计算机系统被指示进一步根据确认来执行操作。

(A3)在A1-A2中任一项的方法的一些实施例中，多个换能器是第一多个换能器，每个换能器可以生成一个或更多个信号，并且第一可穿戴设备还包括耦合到第一多个换能器的第一控制电路。此外，该方法还包括经由第一多个换能器生成耦合到/振动进入第一可穿戴设备的用户的第一附肢的至少一部分的信号。

(A4)在A3的方法的一些实施例中，还包括当用户的第一附肢在距第三可穿戴设备的阈值距离内时，经由第三可穿戴设备的第二多个换能器接收由第一多个换能器生成的信号的至少一部分，其中用户将第三可穿戴设备佩戴在第二附肢上。该方法还包括响应于接收，经由第三可穿戴设备的第二控制电路相对于第三可穿戴设备的位置确定第一附肢的一部分的位置。计算机系统被指示根据检测、位置和定位来执行操作。

(A5)在A1-A4中任一项的方法的一些实施例中，触摸手势是滑动手势。

(A6)在A1-A4中任一项的方法的一些实施例中，触摸手势是轻击手势。

(A7)在A1-A4中任一项的方法的一些实施例中，触摸手势是捏合(pinch)手势。

(A8)在A1-A7中任一项的方法的一些实施例中，图像是视频流。

(A9)在A1-A8中任一项的方法的一些实施例中，第一附肢是用户的第一手臂，并且第二附肢是用户的第二手臂。

(A10)在另一方面，提供了一种系统，该系统包括第一可穿戴设备、第二可穿戴设备、第三可穿戴设备和计算机系统，并且该系统被配置为执行上述A1-A9中任一项的方法步骤。

(A11)在又一方面，提供了一个或更多个可穿戴设备，并且该一个或更多个可穿戴设备包括用于执行A1-A9中任一项所述的方法的装置。

(A12)在又一方面，提供了一种非暂时性计算机可读存储介质(例如，作为与可穿戴设备通信的存储器设备，诸如外部或内部储存设备)。非暂时性计算机可读存储介质存储可执行指令，当可执行指令由具有一个或更多个处理器/核心的可穿戴设备执行时，使得可穿戴设备执行A1-A9中任一项所述的方法。

(B1)根据一些实施例，在附连到用户的第一附肢的第一可穿戴设备处执行另一种方法，该第一可穿戴设备包括一个或更多个换能器。该方法包括由一个或更多个换能器接收由附连到用户的第二可穿戴设备发送的一组信号，其中(i)接收该组信号在第一可穿戴设备和第二可穿戴设备之间创建信号路径，以及(ii)该组信号中的信号至少通过用户的第一附肢传播。该方法还包括确定在第一可穿戴设备和第二可穿戴设备之间创建的信号路径的基线特征(base characteristics)，并在接收该组信号时感测基线特征的变化。该方法还包括，根据确定感测到的信号路径的基线特征的变化满足接触标准，报告用户的第一附肢上的候选触摸事件。在一些实施例中，接触标准包括触摸标准和悬停标准。在这样的实施例中，由手指悬停事件引起的感测到的基线特征的变化可以满足悬停标准，但是不满足触摸标准。

(B2)在B1的方法的一些实施例中，报告候选触摸事件包括向计算机系统发送对应于感测到的基线特征的变化的换能器数据。在一些实施例中，换能器数据还包括感测到的基线特征的变化发生时的时间戳。在一些实施例中，报告候选触摸事件包括向计算机系统发送报告候选触摸事件的消息。

(B3)在B2的方法的一些实施例中，计算机系统在用户的第一附肢上显示包括一个或更多个可供性(affordance)的用户界面，并且由第一可穿戴设备报告的候选触摸事件与包括在用户界面中的一个或更多个可供性中的第一可供性相关联。

(B4)在B2-B3中任一项的方法的一些实施例中，还包括至少部分地基于感测到的基线特征的变化来确定候选触摸事件在用户的第一附肢上的近似定位。发送到计算机系统的换能器数据还包括指示候选触摸事件的近似定位的信息。

(B5)在B2的方法的一些实施例中，发送到计算机系统的换能器数据还指示候选触摸事件在用户的第一附肢上的近似定位。

(B6)在B3-B5中任一项的方法的一些实施例中，计算机系统：(i)经由一个或更多个照相机捕获候选触摸事件，(ii)根据对候选触摸事件的捕获生成图像数据，以及(iii)在处理换能器数据和图像数据之后，执行与用户界面的第一可供性相关联的功能。

(B7)在B1-B6中任一项的方法的一些实施例中，基线特征包括基线相位值。此外，感测信号路径的基线特征的变化包括检测信号路径的不同于基线相位值的相位值。

(B8)在B7的方法的一些实施例中，接触标准包括相位差阈值。此外，根据确定相位值和基线相位值之间的差满足相位差阈值来报告候选触摸事件。

(B9)在B1-B8中任一项的方法的一些实施例中，基线特征包括基线幅度值。此外，感测信号路径的基线特征的变化包括检测信号路径的不同于基线幅度值的幅度值。

(B10)在B9的方法的一些实施例中，接触标准包括幅度差阈值。此外，根据确定幅度值和基线幅度值之间的差满足幅度差阈值来执行报告候选触摸事件。

(B11)在B1-B10中任一项的方法的一些实施例中，基线特征包括基线幅度值和基线相位值。此外，感测信号路径的基线特征的变化包括检测(i)信号路径的不同于基线幅度值的幅度值，以及(ii)信号路径的不同于基线相位值的相位值。

(B12)在B11的方法的一些实施例中，接触标准包括幅度差阈值和相位差阈值。此外，根据以下确定来报告候选触摸事件：(i)幅度值和基线幅度值之间的差满足幅度差阈值，以及(ii)相位值和基线相位值之间的差满足相位差阈值。

(B13)在B1-B12中任一项的方法的一些实施例中，接触标准包括时间阈值。此外，感测基线特征的变化包括在一段时间内感测该变化，并且根据确定该段时间满足时间阈值来执行报告候选触摸事件。或者，在一些实施例中，第一可穿戴设备连续地向计算机设备发送换能器数据。

(B14)在B1-B13中任一项的方法的一些实施例中，还包括在接收该组信号之前，接收信号特征的多个预定值。信号特征的每个预定值对应于用户第一附肢的特定定位。在一些实施例中，(B2)的换能器数据包括基本上匹配信号特征的多个预定值之一的信号特征(例如，相位值、幅度值等)。

(B15)在B1-B14中任一项的方法的一些实施例中，候选触摸事件选自由轻击手势、按下并保持手势、滑动手势、拖动手势、多次轻击手势、捏合手势、拉动手势和扭转(twist)手势组成的组。

(B16)在B1-B15中任一项的方法的一些实施例中，报告候选触摸事件包括向计算机系统发送与感测到的信号路径中的变化相关联的数据，并且计算机系统至少部分地基于与感测到的信号路径中的变化相关联的数据，来确定用户是否打算与显示在用户的第一附肢上的用户界面的可供性进行交互。例如，计算机系统在用户的第一附肢上显示用户界面，并且由第一可穿戴设备报告的候选触摸事件与包括在用户界面中的可供性之一相关联。

(B17)在B16的方法的一些实施例中，计算机系统(i)经由一个或更多个照相机捕获候选触摸事件的近似定位，候选触摸事件的近似定位对应于显示在用户的第一附肢上的用户界面中的可供性的定位，以及(ii)响应于确定用户打算与第一可供性交互并且根据候选触摸事件的近似定位，来执行与可供性相关联的功能。

(B18)在B1-B17中任一项的方法的一些实施例中，计算机系统是从由增强现实系统、虚拟现实系统和混合现实系统组成的组中选择的人工现实系统。

(B19)在又一方面，提供了一种可穿戴设备，并且该可穿戴设备包括用于执行B1-B18和F1-F2中任一项所述的方法的装置。

(B20)在另一方面，提供了包括一个或更多个换能器的一种可穿戴设备。在一些实施例中，可穿戴设备与一个或更多个处理器和存储一个或更多个程序的存储器通信，当该一个或更多个程序被一个或更多个处理器执行时，使得可穿戴设备执行B1-B18和F1-F2中任一项所述的方法。

(B21)在又一方面，提供了一种非暂时性计算机可读存储介质(例如，作为与可穿戴设备通信的存储器设备，诸如外部或内部储存设备)。非暂时性计算机可读存储介质存储可执行指令，当可执行指令由具有一个或更多个处理器/核心的可穿戴设备执行时，使得可穿戴设备执行B1-B18和F1-F2中任一项所述的方法。

(B22)在又一方面，提供了一种系统。该系统包括第一可穿戴设备、第二可穿戴设备和计算机系统，其被配置为执行B1-B18和F1-F2中任一项所述的方法。在一些实施例中，第二可穿戴设备和计算机系统是同一设备的一部分，而在其他实施例中，它们是单独的设备。

(C1)根据一些实施例，在人工现实系统(例如，图12的AR系统1200；图13的VR系统1300)处执行另一种方法，该人工现实系统由用户佩戴，包括头戴式显示器、一个或更多个照相机和至少一个处理器。该方法包括(i)向头戴式显示器提供第一指令以在用户的第一附肢上显示用户界面，其中用户还在第一附肢上佩戴与人工现实系统通信的第一可穿戴设备，以及(ii)向第二可穿戴设备提供第二指令以发出一个或更多个信号，其中该一个或更多个信号通过用户的至少第一附肢传播并被第一可穿戴设备接收，从而在第一可穿戴设备和第二可穿戴设备之间创建信号路径。该方法还包括(i)从第一可穿戴设备接收与在第一可穿戴设备和第二可穿戴设备之间创建的信号路径相关联的数据，以及(ii)通过一个或更多个照相机捕获用户的第一附肢上的定位处的候选触摸事件，其中该定位与用户界面的可供性相关联。此后，该方法包括至少部分地基于与信号路径相关联的数据来确定用户是否打算与用户界面的可供性进行交互，并且响应于确定用户打算与可供性进行交互，并且根据候选触摸事件的捕获定位，来执行与可供性相关联的功能。

(C2)在C1的方法的一些实施例中，在用户的第一附肢上显示用户界面包括：(i)在用户的第一附肢上投影用户界面，或者(ii)使用增强现实在头戴式显示器上呈现用户界面，使得用户在第一附肢上感知用户界面。

(D1)根据一些实施例，在人工现实系统(例如，图12的AR系统1200；图13的VR系统1300)处执行另一种方法，该人工现实系统由用户佩戴，包括头戴式显示器、一个或更多个照相机和至少一个处理器。该方法包括，在用户的第一附肢上显示用户界面的同时：(i)经由一个或更多个照相机捕获用户的第一附肢上的定位处的候选触摸事件，其中该定位与用户界面的可供性相关联，以及(ii)从用户佩戴的第一可穿戴设备接收与候选触摸事件相关联的数据，其中第一可穿戴设备附连到用户的第一附肢。该方法还包括至少部分地基于接收到的数据确定用户的第一附肢是否被触摸，并且根据确定用户的第一附肢被触摸以及基于候选触摸事件的捕获定位，来执行与用户界面的可供性相关联的功能。

(D2)在D1的方法的一些实施例中，通过以下方式在用户的第一附肢上显示用户界面：(i)在用户的第一附肢上投影用户界面，或者(ii)使用增强现实在头戴式显示器上呈现用户界面，使得用户在第一附肢上感知用户界面。

(D3)在D1-D2中任一项的方法的一些实施例中，第一可穿戴设备执行B1-B15中任一项所述的方法，以生成由人工现实系统接收的数据。

(E1)在又一方面，提供了一种人工现实系统，该人工现实系统包括用于执行C1-C2和D1-D2中任一项所述方法的装置。

(E2)在另一方面，提供了一种包括头戴式显示器和一个或更多个照相机的人工现实系统。在一些实施例中，人工现实系统与一个或更多个处理器和存储一个或更多个程序的存储器通信，当一个或更多个处理器执行这些程序时，使得人工现实系统执行C1-C2和D1-D2中任一项所述的方法。

(E3)在又一方面，提供了一种非暂时性计算机可读存储介质(例如，作为与人工现实系统通信的存储器设备，诸如外部或内部储存设备)。该非暂时性计算机可读存储介质存储可执行指令，当由具有一个或更多个处理器/核心的人工现实系统执行时，该可执行指令使得该人工现实系统执行C1-C2和D1-D2中任一项所述的方法。

(F1)根据一些实施例，在附连到用户的第一附肢的第一可穿戴设备处执行另一种方法，该第一可穿戴设备包括一个或更多个换能器。该方法包括(i)由一个或更多个换能器接收由附连到用户的第二可穿戴设备发送的一组波(例如，信号)，其中该组波中的波通过用户的第一附肢从第二可穿戴设备行进到第一可穿戴设备，(ii)在接收该组波之后，确定该组波的一个或更多个波形特征的第一值，以及(iii)基于该组波的一个或更多个波形特征的第一值，识别用户的第一附肢上的触摸手势的定位。在一些实施例中，一个或更多个波形特征至少包括相位和幅度的值。

(F2)在F1的方法的一些实施例中，还包括向计算机系统(例如，图1A的计算机系统130)报告触摸手势的定位。

(F3)在F1-F2中任一项的方法的一些实施例中，第一可穿戴设备执行B2-B15中任一项所述的方法。

根据一些实施例，多个可穿戴设备各自包括一个或更多个处理器/核心和存储一个或更多个程序的存储器，该一个或更多个程序被配置为由一个或更多个处理器/核心执行。每个可穿戴设备中的一个或更多个程序包括用于执行上述方法的一个或更多个操作的指令。根据一些实施例，非暂时性计算机可读存储介质中存储有指令，当由可穿戴设备的一个或更多个处理器/核心执行时，该指令使得可穿戴设备执行上述方法的一些操作(例如，第一可穿戴设备或第二可穿戴设备的操作)。根据一些实施例，系统包括可穿戴设备(或多个可穿戴设备)、头戴式显示器(HMD)和向HMD提供视频/音频馈送(feed)以及向可穿戴设备提供指令的计算机系统。

附图简述

为了更好地理解所描述的各种实施例，应该结合以下附图参考以下实施例的描述，在附图和说明书中，相同的附图标记指代相应的部分。

图1A是示出根据各种实施例的示例性投影系统的框图。

图1B是示出根据各种实施例的示例性投影系统的框图。

图2是示出根据一些实施例的示例性可穿戴设备的框图。

图3是示出根据一些实施例的示例性计算机系统的框图。

图4A是根据一些实施例的用户手腕上的可穿戴设备的示例性视图。

图4B是根据一些实施例的用户手腕上的可穿戴设备的示例性截面图。

图5是根据一些实施例的可穿戴设备的示例性截面图。

图6A是根据一些实施例的用户手腕上和用户头部上的可穿戴设备的示例性视图。

图6B是根据一些实施例的用户手腕上和用户手指上的可穿戴设备的示例性视图。

图6C是根据一些实施例的用户第一手腕和用户第二手腕上的可穿戴设备的示例性视图。

图6D是根据一些实施例的两个可穿戴设备之间的示例性信号路径。

图7是示出根据一些实施例的将图像投影到用户身体上的方法的流程图。

图8是示出根据一些实施例的确认用户身体上的触摸的方法的流程图。

图9是示出根据一些实施例的检测用户身体上的触摸的方法的高级流程图。

图10是示出根据一些实施例的确认用户身体上的触摸的方法的流程图。

图11示出了人工现实设备的实施例。

图12示出了增强现实头戴式装置(headset)和相应颈带的实施例。

图13示出了虚拟现实头戴式装置的实施例。

实施例描述

现在将参考实施例，其示例在附图中示出。在以下描述中，阐述了许多具体细节，以便提供对各种所描述的实施例的理解。然而，对于本领域的普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实施各种所描述的实施例。在其他情况下，没有详细描述众所周知的方法、过程、部件、电路和网络，以免不必要地模糊实施例的各个方面。

还应当理解，尽管在某些情况下，术语第一、第二等在本文用于描述各种元素，但这些元素不应当被这些术语所限制。这些术语仅用于区分一个元素和另一个元素。例如，第一可穿戴设备可以被称为第二可穿戴设备，并且类似地，第二可穿戴设备可以被称为第一可穿戴设备，而不脱离各种所描述的实施例的范围。除非另有说明，否则第一可穿戴设备和第二可穿戴设备都是可穿戴设备，但是它们不是相同的可穿戴设备。

在本文各种所描述的实施例的描述中使用的术语仅用于描述特定实施例的目的，而并不旨在是限制性的。如在各种所描述的实施例和所附权利要求的描述中所使用的，除非上下文清楚地另有指示，否则单数形式“一个(a)”、“一个(an)”和“该(the)”也旨在包括复数形式。还应当理解，本文使用的术语“和/或”指的是并包括一个或更多个相关列出项目的任何和所有可能的组合。还应当理解，当在本说明书中使用时，术语“包括(includes)”、“包括(including)”、“包含(comprises)”和/或“包含(comprising)”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或更多个其他特征、整数、步骤、操作、元件、组件和/或其组合的存在或添加。

如本文所使用的，术语“如果”可选地被解释为意指“当......时(when)”或“在......时(upon)”或“响应于确定”或“响应于检测”或“根据确定......”，这取决于上下文。类似地，短语“如果确定”或“如果检测到[所述条件或事件]”可选地被解释为意指“在确定......时”或“响应于确定”或“在检测到[所述条件或事件]时”或“响应于检测到[所述条件或事件]”或“根据检测到[所述条件或事件]的确定”，这取决于上下文。

如本文所使用的，术语“示例性的”是在“用作示例、实例或说明”的意义上使用的，而不是在“代表同类中最好”的意义上使用的。

图1是示出根据各种实施例的系统100的框图。虽然示出了一些示例性特征，但是为了简洁起见，没有示出各种其他特征，以免模糊本文公开的示例性实施例的相关方面。为此，作为非限制性示例，系统100包括与计算机系统130(例如，主机系统或主计算机)结合使用的可穿戴设备102a、102b。在一些实施例中，系统100提供具有图像投影的虚拟现实设备、具有图像投影的增强现实设备及其组合的功能，或者提供一些其他功能。下面参考图11-图13更详细地描述系统100。

示例可穿戴设备102(例如，可穿戴设备102a)包括例如一个或更多个处理器/核心104(此后称为“处理器”)、存储器106、一个或更多个换能器阵列110、一个或更多个通信部件112、投影仪115和/或一个或更多个传感器114。在一些实施例中，这些部件通过通信总线108互连。对可穿戴设备102的这些部件的引用涵盖了包括一个或更多个这些部件(及其组合)的实施例。在一些实施例中，一个或更多个传感器114是一个或更多个换能器阵列110的一部分(例如，换能器阵列110中的换能器也执行一个或更多个传感器114的功能，下面将进一步详细讨论)。例如，换能器阵列110中的一个或更多个换能器可以是被配置成检测声波(例如，超声波)的电声换能器。

另一示例可穿戴设备102(例如，可穿戴设备102b)包括例如一个或更多个处理器/核心104(此后称为“处理器”)、存储器106、一个或更多个换能器阵列110、一个或更多个通信部件112、照相机118和/或一个或更多个传感器114。在一些实施例中，这些部件通过通信总线108互连。对可穿戴设备102的这些部件的引用涵盖了包括一个或更多个这些部件(及其组合)的实施例。在一些实施例中，一个或更多个传感器114是一个或更多个换能器阵列110的一部分(例如，换能器阵列110中的换能器也执行一个或更多个传感器114的功能，下面将进一步详细讨论)。例如，换能器阵列110中的一个或更多个换能器可以是被配置成检测声波(例如，超声波)的电声换能器。

在一些实施例中，单个处理器104(例如，可穿戴设备102a的处理器104)执行用于控制多个可穿戴设备102(例如，可穿戴设备102b......102n)的软件模块。在一些实施例中，单个可穿戴设备102(例如，可穿戴设备102a)包括多个处理器104，例如一个或更多个可穿戴设备处理器(其被配置为例如生成用于投影的图像)、一个或更多个通信部件处理器(其被配置为例如控制由通信部件112发送的通信和/或通过通信部件112接收通信)和/或一个或更多个传感器处理器(其被配置为例如控制传感器114的操作和/或从传感器114接收输出)。

在一些实施例中，可穿戴设备102被配置成经由投影单元412(如图4A所示)内的投影仪115投影图像602(如图6A所示)。在这样的实施例中，可穿戴设备102被配置成使用例如一个或更多个投影仪115中的一个或更多个来生成图像(例如，键盘等)并将该图像投影到用户自己的附肢上。AR系统1100(图11)示出了可以投影图像的示例可穿戴设备(至少在一些实施例中)。

在一些其他实施例中，可穿戴设备102不投影图像，而是计算机系统130(和头戴式显示器140)负责将图像投影到用户自己的附肢上。或者，在一些实施例中，计算机系统130(和头戴式显示器140)使用增强现实，使得用户在他或她自己的附肢上感知图像，但是实际上没有投影任何东西。AR系统1200(图12)和VR系统1300(图13)可以用于将图像投影/显示到用户身上或用户周围的区域。

在一些实施例中，各个换能器阵列110中的换能器是微型压电致动器/器件、振动触觉致动器等。在一些实施例中，各个换能器阵列110中的换能器是单极或多极音圈马达等。每个换能器阵列110被配置成响应于(例如，经由处理器104或可穿戴设备102中包括的一些其他控制器)被可穿戴设备激活而生成并发送信号116。在一些实施例中，信号116是机械波(例如，声波、超声波或各种其他机械波)。机械波是物质的振荡，它通过介质传递能量。如本文所讨论的，“介质”是穿戴者的皮肤、肉(flesh)、骨骼、血管等。注意，能够产生机械波(或交流信号)的任何设备都可以用作所公开的可穿戴设备102中的换能器。还应注意，通过介质(例如，用户的肉)传播的信号(例如，波)在本文被称为“耦合”到介质或“耦合到”介质中。

在一些实施例中，可穿戴设备102(例如，可穿戴设备102a、102b)是一个或更多个信号的接收器和发送器。例如，如上所述，除了发送信号(例如，机械波)之外，可穿戴设备102还被配置成接收(例如，检测、感测)由其自身或由另一个可穿戴设备102发送的信号。为了说明，第一可穿戴设备102a可以通过介质(例如穿戴者的身体)发送多个信号，并且(附连到同一穿戴者的)第二可穿戴设备102b可以接收由第一可穿戴设备102a通过介质发送的至少一些信号。此外，接收所发送的信号的可穿戴设备102可以使用接收到的信号来确定用户接触了他或她的身体的特定部位。为了说明，第二可穿戴设备102b可以最初接收由第一可穿戴设备102a通过介质发送的信号，该信号具有第一组参数(例如，相位值、幅度值、频率值等)。第二可穿戴设备102b可以使用这些初始信号来形成标准化基线。此后，第一和第二可穿戴设备102的穿戴者可以接触(例如，触摸)她身体的一个区域(例如，前臂)，所发送的信号行进通过该区域。例如，通过触摸她的前臂，穿戴者改变行进通过她的前臂的信号，并且转而改变与信号相关联的第一组参数(例如，相位、幅度、频率等中的一个或更多个的值可能会改变)。重要的是，第二可穿戴设备102b然后接收(例如，检测、感测)这些改变后的信号，并且可以随后确定用户接触了她身体的特定部位(例如，她的前臂)。第二可穿戴设备102b可以进一步确定用户接触了她的前臂的特定部位(例如，相位值相对于标准化基线的一定量的变化可以指示她的前臂的特定部位被触摸)。

计算机系统130是执行虚拟现实应用和/或增强现实应用以处理来自头戴式显示器140上的传感器145和可穿戴设备102上的传感器114的输入数据的计算设备。计算机系统130至少为(i)头戴式显示器140上的电子显示器144和(ii)可穿戴设备102(例如，图2A的触觉设备102的处理器104)提供输出数据。示例性计算机系统130例如包括一个或更多个处理器/核心132、存储器134、一个或更多个通信部件136和/或一个或更多个照相机139。在一些实施例中，这些部件通过通信总线138互连。对计算机系统130的这些部件的引用涵盖了包括一个或更多个这些部件(及其组合)的实施例。

在一些实施例中，计算机系统130是耦合到头戴式显示器140的独立设备。例如，计算机系统130具有用于控制计算机系统130的一个或更多个功能的处理器/核心132，并且头戴式显示器140具有用于控制头戴式显示器140的一个或更多个功能的处理器/核心141。或者，在一些实施例中，头戴式显示器140是计算机系统130的部件。例如，处理器132控制计算机系统130和头戴式显示器140的功能。此外，在一些实施例中，头戴式显示器140包括与计算机系统130的处理器132通信的处理器141。在一些实施例中，计算机系统130和头戴式显示器140之间的通信经由通信总线138和通信总线146之间的有线(或无线)连接发生。在一些实施例中，计算机系统130和头戴式显示器140共享单个通信总线。注意，在某些情况下，头戴式显示器140与计算机系统130是分离的(如图11所示)。

计算机系统130可以是任何合适的计算机设备，例如膝上型计算机、平板设备、上网本、个人数字助理、移动电话、智能电话、虚拟现实设备(例如，虚拟现实(VR)设备、增强现实(AR)设备等)、游戏设备、计算机服务器或任何其他计算设备。计算机系统130有时被称为主机或主机系统。在一些实施例中，计算机系统130包括其他用户接口组件，例如键盘、触摸屏显示器、鼠标、跟踪板和/或任何数量的补充I/O设备，以向计算机系统130添加功能。

在一些实施例中，计算机系统130的一个或更多个照相机139用于促进虚拟现实和/或增强现实。此外，在一些实施例中，一个或更多个照相机139还充当投影仪以显示虚拟和/或增强图像(或者在一些实施例中，计算机系统包括一个或更多个不同的投影仪)。在一些实施例中，计算机系统130将由一个或更多个照相机139捕获的图像提供给头戴式显示器140的显示器144，并且显示器144转而显示所提供的图像。在一些实施例中，头戴式显示器140的处理器141处理所提供的图像。注意，在一些实施例中，一个或更多个照相机139是头戴式显示器140的一部分。

头戴式显示器140向用户呈现媒体。由头戴式显示器140呈现的媒体的示例包括图像、视频、音频或其某种组合。在一些实施例中，经由外部设备(例如，扬声器和/或耳机)呈现音频，该外部设备从头戴式显示器140、计算机系统130或两者接收音频信息，并基于音频信息呈现音频数据。显示的图像可以是在虚拟现实、增强现实或混合现实中的。示例性头戴式显示器140例如包括一个或更多个处理器/核心141、存储器142和/或一个或更多个显示器144。在一些实施例中，这些部件通过通信总线146互连。对头戴式显示器140的这些部件的引用涵盖了包括一个或更多个这些部件(及其组合)的实施例。注意，在一些实施例中，头戴式显示器140包括一个或更多个传感器145。或者，在一些实施例中，一个或更多个传感器145是计算机系统130的一部分。图12和图13示出了头戴式显示器140的附加示例(例如，AR系统1200和VR系统1300)。

电子显示器144根据从计算机系统130接收的数据来向用户显示图像。在各种实施例中，电子显示器144可以包括单个电子显示器或多个电子显示器(例如，用户的每只眼睛一个显示器)。

传感器145包括一个或更多个硬件设备，其检测关于头戴式显示器140的空间和运动信息。空间和运动信息可以包括关于头戴式显示器140的位置、定向、速度、旋转和加速度的信息。例如，传感器145可以包括一个或更多个惯性测量单元(IMU)，其在用户佩戴头戴式显示器140时检测用户头部的旋转。然后，该旋转信息可以(例如，由计算机系统130)用于调整显示在电子显示器144上的图像。在一些实施例中，每个IMU包括一个或更多个陀螺仪、加速度计和/或磁力计，以收集空间和运动信息。在一些实施例中，传感器145包括位于头戴式显示器140上的一个或更多个照相机。

在一些实施例中，可穿戴设备102的换能器阵列110可以包括被配置成生成和/或接收信号的一个或更多个换能器。可穿戴设备102的集成电路(未示出)，例如控制器电路和/或信号发生器(例如，波形发生器)，可以控制换能器的行为(例如，图4A的控制器412)。

可穿戴设备102的通信部件112可以包括用于与计算机系统130通信的通信部件天线。此外，通信部件136可以包括与通信部件112通信的互补通信部件天线。下面参考图2和图3进一步详细讨论各个通信部件。

在一些实施例中，包含在通信信号中的数据被可穿戴设备102用于选择和/或生成投影图像。在一些实施例中，包含在通信信号中的数据通知计算机系统130可穿戴设备102准备好使用。如下文将更详细描述的，计算机系统130向可穿戴设备102发送指令，并且响应于接收到指令，可穿戴设备生成投影图像602，该投影图像602显示在可穿戴设备102的用户的附肢上。替代地或附加地，在一些实施例中，可穿戴设备102向计算机设备130发送信号，该信号包括指示用户身体上的触摸定位(或相对于可穿戴设备位置的附肢位置)的信息。如上所述，接收由另一个可穿戴设备发送的信号的可穿戴设备能够基于由触摸引起的信号参数的变化来确定穿戴者身体上的触摸定位。作为一个示例，键盘(或一些其他用户界面)可以被投影到或被感知为投影到用户的前臂上，并且可穿戴设备可以基于由触摸引起的信号参数的变化来确定用户打算与键盘的第一可供性进行交互。以这种方式，系统100提供了一种确定人在哪里(和/或是否)接触他或她的皮肤的新颖方式(例如，与用于做出该确定的其他基于视频的手段相结合或分离)。这在使用增强现实且实际图像并没有实际投影到用户身体上时特别有用。在另一示例中，可穿戴设备可以基于信号参数的变化来确定用户触摸了她的前臂。然后，与触摸相关的信息可以被发送到计算机设备130，并且被计算机设备130用来确认在前臂上发生了触摸。

传感器114和/或传感器145的非限制性示例包括，例如，红外传感器、热电传感器、超声波传感器、麦克风传感器、激光传感器、光学传感器、多普勒传感器、陀螺仪、加速度计、谐振LC传感器、电容传感器、声学传感器和/或电感传感器。在一些实施例中，传感器114和/或传感器145被配置为收集用于确定可穿戴设备的用户的手部姿势和/或介质的阻抗的数据。由这些传感器输出的传感器数据的示例包括：体温数据、红外测距仪数据、运动数据、活动识别数据、轮廓检测与识别数据、手势数据、心率数据和其他可穿戴设备数据(例如，生物测定读数和输出、加速度计数据)。在一些实施例中，换能器本身用作传感器。

图1B是示出根据各种实施例的系统100的实施例的框图。系统100包括与计算机系统130(例如，主机系统或主计算机)结合使用的可穿戴设备102a、102b和102c。可穿戴设备102c可以是用户佩戴的附加设备，用于与可穿戴设备102a和102b结合使用。例如，可穿戴设备102c可以是可用于确定触摸手势的定位的环(ring)。在另一示例中，可穿戴设备102a和可穿戴设备102c可以是佩戴在用户的每个手腕上的不同腕带。在一些实施例中，系统100提供具有图像投影的虚拟现实设备、具有图像投影的增强现实设备及其组合的功能，或者提供一些其他功能。在一些实施例中，可穿戴设备102c可以包括体现在可穿戴设备102a、102b中的所有或一些特征。

图2是示出根据一些实施例的代表性可穿戴设备102的框图。在一些实施例中，可穿戴设备102包括一个或更多个处理单元(例如，CPU、微处理器等)104、一个或更多个通信部件112、存储器106、一个或更多个换能器阵列110、一个或更多个投影仪115、一个或更多个照相机118以及用于互连这些部件(有时称为芯片组)的一个或更多个通信总线108。在一些实施例中，如上面参考图1所述，可穿戴设备102包括一个或更多个传感器114。在一些实施例中(未示出)，可穿戴设备102包括一个或更多个输出设备，例如一个或更多个指示灯、声卡、扬声器、用于显示文本信息和错误代码的显示器等。

相应换能器阵列110中的换能器生成信号116(图1)。在一些实施例中，换能器可以包括例如能够生成信号116(例如，电磁波、声波、超声波等)的硬件。例如，每个换能器可以将电信号转换成超声波。换能器可以是微型压电换能器、电容换能器、单极或多极音圈马达和/或用于产生信号的任何其他合适的设备。另外，在一些实施例中，换能器也可以接收信号(例如，如果换能器可以产生声波，它也可以接收声波)。继续，在一些实施例中，换能器也可以是上面参考图1描述的任何传感器114。在一些实施例中，第一可穿戴设备102a包括第一换能器(例如，用于接收、感测、检测等的换能器)而第二可穿戴物102b包括不同于第一换能器的第二换能器(例如，用于生成将由第一换能器感测的信号的换能器)。

通信部件112实现可穿戴设备102和一个或更多个通信网络之间的通信。在一些实施例中，通信部件112包括例如能够使用以下协议进行数据通信的硬件：各种无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWi等)中的任何一种、有线协议(例如，Ethernet、HomePlug等)、和/或任何其他合适的通信协议，包括截至本文件提交之日尚未开发的通信协议。

存储器106包括高速随机存取存储器，例如DRAM、SRAM、DDR SRAM或其他随机存取固态存储器设备；并且可选地包括非易失性存储器，例如一个或更多个磁盘存储设备、一个或更多个光盘存储设备、一个或更多个闪存设备或者一个或更多个其他非易失性固态存储设备。存储器106或者可选地存储器106内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施例中，存储器106或存储器106的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或者其子集或超集：

·操作逻辑216，其包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

·通信模块218，其用于结合通信部件112耦合到远程设备(例如，计算机系统130、其他可穿戴设备等)和/或与该远程设备通信；

·传感器模块220，其用于(例如，结合传感器114和/或换能器阵列110)获得并处理传感器数据，以例如确定可穿戴设备102的定向和感测由一个或更多个换能器生成的信号(除其他目的外，例如确定可穿戴设备的用户的手部姿态)；

·信号生成模块222，其用于(例如，结合换能器110)生成并发送信号。在一些实施例中，模块222还包括数据生成模块223或与数据生成模块223相关联，数据生成模块223用于生成对应于所发送信号的接收到的部分的数据(例如，候选触摸事件的数据)；

·数据库224，其包括但不限于：

o传感器信息226，其用于存储并管理由一个或更多个传感器(例如，传感器114、一个或更多个远程传感器和/或换能器阵列110)接收、检测和/或传输的数据；

o设备设置228，其用于存储可穿戴设备102和/或一个或更多个远程设备的操作设置(例如，信号的选定特征/参数值)；和

o通信协议信息230，其用于存储并管理一个或更多个协议(例如，定制或标准无线协议(例如ZigBee、Z-Wave等)和/或定制或标准有线协议(例如Ethernet))的协议信息；

·投影模块232，其用于将一个或更多个图像投影到可穿戴设备的穿戴者或用户的附肢上；

·触觉手势检测模块234，其用于检测经由投影仪115投影的一个或更多个投影图像上的触摸手势，包括但不限于：

o触觉定位信息236，其用于检测触摸手势在一个或更多个投影图像上的定位；和

·计算机视觉手势检测模块，其用于检测经由照相机118检测到的一个或更多个投影图像上的触摸手势，包括但不限于：

o计算机视觉定位信息240，其用于使用计算机视觉分析来检测触摸手势在一个或更多个投影图像上的定位。

在一些实施例中，当确定触摸手势的定位时，触觉手势检测模块234使用用户身体的已知阻抗图、电容耦合技术、信号处理技术和/或声波耦合(例如，超声波)。在一些实施例中，触觉手势检测模块234与传感器模块220通信以确定触摸手势在用户身体上的定位(例如，基于由传感器模块220获得的传感器数据，触觉手势检测模块234可以确定触摸手势的定位)。在一些实施例中，触觉手势检测模块234和/或计算机视觉手势检测模块238位于计算机系统130处。

在一些实施例中，使用计算机视觉技术和/或非光学成像技术来确定定位信息236、240，该非光学成像技术使用电容、磁性和毫米波技术和/或声波耦合(例如，超声波)。

在一些实施例中(未示出)，可穿戴设备102包括定位检测设备，诸如GNSS(例如，GPS、GLONASS等)或其他地理位置接收器，用于确定可穿戴设备102的定位。此外，在一些实施例中，可穿戴设备102包括定位检测模块(例如，GPS、Wi-Fi、磁性或混合定位模块)，用于(例如，使用定位检测设备)确定可穿戴设备102的定位，以及将该定位信息提供给主机系统130。

在一些实施例中(未示出)，可穿戴设备102包括存储在数据库224中的唯一标识符。在一些实施例中，可穿戴设备102向主机系统130发送唯一标识符，以向主机系统130标识其自身。当同时使用多个可穿戴设备时，这尤其有用。

上述每个元件(例如，存储在可穿戴设备102的存储器106中的模块)可选地存储在一个或更多个前述存储器设备中，并且对应于用于执行上述功能的一组指令。上述模块或程序(例如，指令集)不需要被实现为单独的软件程序、过程或模块，因此在各种实施例中，这些模块的各种子集被可选地组合或以其他方式被重新排列。在一些实施例中，存储器106可选地存储上述模块和数据结构的子集。此外，存储器106可选地存储上面没有描述的附加模块和数据结构。

图3是示出根据一些实施例的代表性计算机系统130的框图。在一些实施例中，计算机系统130包括一个或更多个处理单元/核心(例如，CPU、GPU、微处理器等)132、一个或更多个通信部件136、存储器134、一个或更多个照相机139以及用于互连这些部件的一个或更多个通信总线308(有时称为芯片组)。在一些实施例中，计算机系统130包括用于连接计算机系统130和头戴式显示器140的头戴式显示器接口305。如上面在图1中所讨论的，在一些实施例中，计算机系统130和头戴式显示器140一起在单个设备中，而在其他实施例中，计算机系统130和头戴式显示器140彼此分离。

虽然未示出，但是在一些实施例中，计算机系统(和/或头戴式显示器140)包括一个或更多个传感器145(如以上参考图1所讨论的)和/或换能器阵列110的一个或更多个实例。

通信部件136实现计算机系统130和一个或更多个通信网络之间的通信。在一些实施例中，通信部件136包括例如能够使用以下协议进行数据通信的硬件：各种定制或标准无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWi等)中的任一种、定制或标准有线协议(例如，Ethernet、HomePlug等)和/或任何其他合适的通信协议，包括截至本文件提交之日尚未开发的通信协议。

存储器134包括高速随机存取存储器，例如DRAM、SRAM、DDR SRAM或其他随机存取固态存储器设备；并且可选地包括非易失性存储器，例如一个或更多个磁盘存储设备、一个或更多个光盘存储设备、一个或更多个闪存设备或者一个或更多个其他非易失性固态存储设备。存储器134或者可选地存储器134内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施例中，存储器134或存储器134的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或者其子集或超集：

·操作逻辑316，其包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

·通信模块318，其用于结合通信部件136耦合到远程设备(例如，可穿戴设备102a-102n、远程服务器(未示出)等)和/或与该远程设备通信；

·虚拟现实生成模块320，其用于生成虚拟现实图像并将相应的视频和音频数据发送到HMD 140(在一些实施例中，虚拟现实生成模块320是增强现实生成模块320(或者存储器134包括不同的增强现实生成模块)，用于生成增强现实图像并结合照相机139和HMD140投影那些图像)；

·指令模块322，其用于生成指令，当(例如，使用通信部件136)将该指令发送到可穿戴设备102时，使得可穿戴设备102激活两个或更多个换能器；

·显示模块324，其用于结合头戴式显示器140和/或照相机139来显示虚拟现实图像和/或增强现实图像；

·计算机视觉手势检测模块338，其用于检测经由照相机139检测到的触摸手势，包括但不限于：

o计算机视觉定位信息340，其用于使用计算机视觉分析来检测触摸手势的定位。

·数据库326，其包括但不限于：

o显示信息328，其用于存储(和生成)虚拟现实图像和/或增强现实图像(例如，视觉数据)；

o触觉信息330，其用于存储(和生成)对应于所显示的虚拟现实图像和环境和/或增强现实图像和环境的触觉信息；

o通信协议信息332，其用于存储并管理一个或更多个协议(例如，定制或标准无线协议(例如ZigBee、Z-Wave等)和/或定制或标准有线协议(例如Ethernet))的协议信息；和

o映射数据334，其用于存储并管理映射数据(例如，在用户身上映射一个或更多个可穿戴设备102)。

在图3所示的示例中，计算机系统130还包括虚拟现实(和/或增强现实)应用336。在一些实施例中，虚拟现实应用336被实现为存储在存储设备上并由处理器执行的软件模块。每个虚拟现实应用336是一组指令，当由处理器执行时，生成虚拟或增强现实内容以呈现给用户。虚拟现实应用336可以响应于经由头戴式显示器140或可穿戴设备102的移动从用户接收的输入来生成虚拟/增强现实内容。虚拟现实应用336的示例包括游戏应用、会议应用和视频回放应用。

虚拟现实生成模块320是允许虚拟现实应用336结合头戴式显示器140和可穿戴设备102进行操作的软件模块。虚拟现实生成模块320可以从头戴式显示器140上的传感器145接收信息，并且可以转而将该信息提供给虚拟现实应用336。基于接收到的信息，虚拟现实生成模块320确定要提供给头戴式显示器140以通过电子显示器144呈现给用户的媒体内容。例如，如果虚拟现实生成模块320从头戴式显示器140上的传感器145接收到指示用户已经向左看的信息，则虚拟现实生成模块320为头戴式显示器140生成反映(mirror)用户在虚拟/增强环境中的移动的内容。图13提供了示例VR系统1300。

类似地，在一些实施例中，虚拟现实生成模块320从可穿戴设备102上的传感器114接收信息，并将该信息提供给虚拟现实应用336。应用336可以使用该信息在应用336的虚拟/增强世界中执行动作。例如，如果虚拟现实生成模块320从传感器114接收到用户已经举起他的手的信息，则虚拟现实应用336中的模拟手(例如，用户的化身)举起到相应的高度。如上所述，由虚拟现实生成模块320接收的信息还可以包括来自头戴式显示器140的信息。例如，头戴式显示器140上的照相机139可以捕获用户的移动(例如，用户手臂的移动)，并且应用336可以使用该附加信息来在应用336的虚拟/增强世界内执行动作。

为了进一步用增强现实示例进行说明，如果增强现实生成模块320从传感器114接收到用户已经旋转了他的前臂的信息，而在增强现实中，用户界面(例如，键盘)显示在用户的前臂上，则增强现实生成模块320为头戴式显示器140生成反映用户在增强环境中的移动的内容(例如，用户界面根据用户前臂的旋转而旋转)。图12中提供了示例AR系统1200。

在一些实施例中，计算机系统130从可穿戴设备102接收传感器数据，并且计算机系统130包括用于确定与传感器数据相关联的触摸定位的模块。在一些实施例中，计算机系统130基于来自可穿戴设备102的传感器数据和由一个或更多个照相机139捕获的图像数据来(例如，使用计算机视觉手势检测模块338)确定触摸定位。这样，大部分处理从可穿戴设备102卸载到计算机系统130，计算机系统130可以具有增强的处理能力。

每个上述元件(例如，存储在计算机系统130的存储器134中的模块)可选地存储在一个或更多个前述存储器设备中，并且对应于用于执行上述功能的一组指令。上述模块或程序(例如，指令集)不需要被实现为单独的软件程序、过程或模块，因此在各种实施例中，这些模块的各种子集被可选地组合或以其他方式被重新排列。在一些实施例中，存储器134可选地存储上述模块和数据结构的子集。

图4A是根据一些实施例的可穿戴设备102的示例视图。该示例视图示出了用户的手408、用户的手腕404、用户的手臂406以及用户手臂406上的可穿戴设备102。这种布置仅仅是一种可能的布置，并且本领域技术人员将理解，本文的讨论不限于图4A所示的布置。此外，为了便于说明，图4A所示的可穿戴设备102以大尺寸被显示。在实践中，如果需要，可穿戴设备102的尺寸可以减小，使得可穿戴设备102具有类似于智能手表或健身跟踪器(fitness tracker)的尺寸。

可穿戴设备102包括可穿戴结构402，其可以是柔性机械基底，例如塑料(例如，聚乙烯或聚丙烯)、橡胶、尼龙、合成材料、聚合物等。在一些实施例中，可穿戴结构402被配置为穿戴在用户手腕404或手臂406(以及各种其他身体部位)的至少一部分周围。可穿戴设备102包括换能器阵列110，换能器阵列110包括布置在可穿戴结构402上不同定位处的多个换能器410。换能器410可以沿着面向手臂406的可穿戴结构402的内表面以一定图案排列，使得换能器410接触用户的皮肤。在另一个示例中，换能器可以沿着可穿戴结构502的内周界以径向图案排列(图5)。

在一些实施例中，相应的换能器410被配置成响应于从控制器(未示出)接收到一个或更多个控制信号而生成信号(例如，图1的波116)。一个或更多个控制信号指示换能器阵列110中的一个或更多个换能器410将信号(例如，超声波)发送到用户的身体(例如，手腕或手臂)中/通过用户的身体(例如，手腕或手臂)。由一个或更多个换能器410发送的信号将通过用户的身体远离可穿戴结构402行进(例如，传播、辐射)。例如，信号可以从用户的手臂406通过用户的手腕404行进到用户的手408和手指。此外，信号可以沿用户的手臂向上行进，并最终行进到用户的全身。

在一些实施例中，可穿戴结构402包括投影单元412(例如，图1A的投影仪115)，其将图像投影到用户的附肢上。在一些实施例中，可穿戴结构402包括存储要显示的图像的存储器(例如，图1的存储器106)。例如，存储的图像可以表示具有带有多个可供性的键盘的用户界面(各种其他“触摸”界面也可以投影到用户的附肢上)。在一些实施例中，控制器412基于来自主机系统(例如，图1的计算机系统130)的指令生成控制信号(或多个信号)。在这样的实施例中，可穿戴设备102被放置在用户的手臂406上(或各种其他定位)，以将图像投影到用户的前臂406上。

或者，在一些实施例中，可穿戴设备102不投影图像，而是通过计算机系统130和头戴式显示器140，通过增强现实在用户的手臂(或其他身体部位)上感知图像。在这样的实施例中，可穿戴设备102被配置成感测与用户身体的交互。换句话说，可穿戴设备102用于跟踪由另一设备(例如，头戴式显示器140)虚拟化的虚拟图像，就好像该图像被投影到用户的手臂上一样。例如，另一设备(例如，头戴式装置、眼镜、头戴式显示器140)的照相机和/或投影仪可以将图像投影到其自己的透镜(例如，图1的显示器144)上。增强现实技术(例如，图12的AR系统1200)可以实现这样的实施例。

在一些实施例中，其他设备跟踪用户的手臂406，并根据用户手臂406的移动来调整(例如，在增强现实中的)图像。例如，照相机139可以用于跟踪用户的手臂406。

在一些实施例中，可穿戴设备102被彼此结合地穿戴。在一些实施例中，用户可以穿戴单个可穿戴设备。

在一些实施例中，可穿戴设备102可以被配置成与不包括视觉输出的计算机系统(例如，计算机系统130)交互。例如，可穿戴设备102可以用于在用户正在通话并且无法访问屏幕时控制电话的设置。

在一些实施例中，换能器阵列110包括被设计成与人类皮肤接触的换能器410。具有导电剂462和填充物的接触区域可以在每个换能器后面用在可穿戴设备102上，以提高受试者的舒适度并降低接触阻抗(例如，如图5所示)。换能器和皮肤之间的导电剂可以是使用导电凝胶的“湿”连接，其可以由丙二醇和NaCl组成，或者是“干”连接，例如导电聚合物(例如，掺碳的PDMS)的薄层。

图4B是根据一些实施例的沿着图4A所示的X-Y线截取的可穿戴设备120的示例截面图。截面图示出了用户手臂406和用户手臂406内的肌腱455。在该特定示例中，换能器410不完全环绕手腕(例如，换能器410-A–410-D设置在用户手臂406的一侧上)。

一个或更多个换能器410-A–410-D可以在用户的手臂406中生成信号(例如，波454-A和454-B)。生成的信号454-A和454-B可以延伸到用户的身体中(例如，延伸到表皮、真皮、肌肉、肌腱、韧带、骨骼等中)。在一些实施例中，当生成信号时，每个换能器410改变信号的时间周期、信号的幅度和信号的相位中的一个或更多个。

为了提供一些内容，生成的信号454-A、454-B或信号454-A、454-B的一部分被肌腱455和/或可穿戴结构402的一部分反射。结果，反射的信号456-A、456-B被换能器410-A和410-D接收。在一些情况下，生成信号的同一换能器不接收信号。虽然在图4B中未示出，但是由可穿戴设备400发送的一个或更多个信号可以行进通过用户的附肢，并且可以被附连到用户的不同可穿戴设备接收(例如，感测)。

在一些实施例中，换能器410以交错的方式将信号发送到用户体内，其中换能器的不同子集在不同时间发送信号。在一些实施例中，剩余的换能器可以用于测量它们接收到的改变后的信号。然后，可以针对多个刺激模式重复该过程，该刺激模式定义了被选择来发射信号的换能器(例如，换能器对)的顺序。

图5是根据一些实施例的可穿戴设备的示例性截面图。可穿戴设备500(例如，图1A、图1B的可穿戴设备102)包括可穿戴结构502。可穿戴结构502环绕用户身体的一部分。可穿戴设备500还包括换能器阵列110，其具有沿着可穿戴结构502的内周定位的多个换能器410。该示例中的换能器410径向间隔开，使得换能器410环绕可穿戴结构502，并形成换能器的基本上连续的圆圈。在这种布置中，可穿戴设备500能够以360度的方式产生信号116。在一些实施例中，可穿戴结构502将换能器410与用户的皮肤分隔开。或者，在一些实施例中(未示出)，换能器410与用户的皮肤直接接触(也可以包括导电剂)。在一些实施例中，可穿戴结构502包括一个或更多个投影仪506(例如，图1A-图1B的投影仪115)。

可穿戴设备500被配置为附连到用户身体的一部分。例如，可穿戴设备500被配置为附连到手腕、前臂、脚踝、二头肌、小腿、大腿、头皮和/或用户身体的各种其他部位。在一些实施例中，可穿戴设备500是刚性或半刚性结构。或者，在一些实施例中，可穿戴设备500是柔性结构。尽管可穿戴设备500被示出为连续的圆圈，但是可穿戴设备500可以被分开从而(例如，以类似于手表的方式)附连到用户的身体上。

图6A是根据一些实施例的用户手腕上和用户头部上的可穿戴设备的示例性视图。在一些实施例中，可穿戴设备102a佩戴在用户手臂的手腕上，而可穿戴设备102b佩戴在用户的头部。在一些实施例中，可穿戴设备102a使用一个或更多个投影仪115将图像602投影到用户的手臂上。在一些实施例中，可穿戴设备102b包括用于计算机视觉的照相机118。在一些实施例中，计算机视觉用于检测可穿戴设备102a的大致位置和/或用户肢体(例如，手、手臂、手指)的大致位置。在一些实施例中，可穿戴设备102a的换能器410可以确定触摸手势的幅度和持续时间(例如，确定用户的手指是否悬停在皮肤上方、用户的手指是否与皮肤直接接触)。

在一些实施例中，可穿戴设备102a不投影图像，而是可穿戴设备102b负责将图像602(例如，用户界面)投影到用户的手臂上。可选地，在一些实施例中，可穿戴设备102b使用增强现实，使得用户感知他或她的手臂上的图像602，但是实际上没有投影任何东西。注意，可穿戴设备102b可以用计算机系统130(和头戴式显示器140)代替。图12和图13提供了计算机系统130和头戴式显示器140的示例。AR系统1200(图12)和VR系统1300(图13)可以用于将图像投影/显示到用户身上或用户周围的区域。

图6B是根据一些实施例的用户手腕上和用户手指上的可穿戴设备的示例性视图。在一些实施例中，第一可穿戴设备102a佩戴在用户手臂的手腕上，并且第二可穿戴设备102c佩戴在用户另一只手臂的手指上。在一些实施例中，第一可穿戴设备102a使用一个或更多个投影仪115将图像602投影到用户的手臂上。此外，第一可穿戴设备102a可以使用一个或更多个投影仪115或一个或更多个照相机118来检测相对于投影图像602的触摸手势。触摸手势804可以是在用户身体上的轻击手势、滑动手势、捏合手势、拉动手势、扭转手势等中的一个或更多个。在一些实施例中，如上所述，图像602不被可穿戴设备102a投影到用户的手臂上。相反，图像602在增强现实中被感知。例如，可穿戴设备(例如，头戴式显示器140)可以将图像602显示在一个或更多个显示器144上。此外，计算机系统130被配置成基于检测到的用户手臂的移动来调整图像602的显示(上面参考图3进行了讨论)。

图6C是根据一些实施例的用户第一手腕和第二手腕上的可穿戴设备的示例性视图。图6C所示的可穿戴设备102的布置用于检测用户身体上的触摸定位604。在一些实施例中，照相机用于检测触摸定位604。替代地或附加地，在一些实施例中，检测到的信号参数的变化被用于检测触摸定位604，或者更广泛地，检测触摸发生。

如所示出的，第一可穿戴设备102a佩戴在用户左手臂的左手腕上，并且第二可穿戴设备102c佩戴在用户右手臂的右手腕上。在一些实施例中，第一和第二可穿戴设备102是相同的。例如，第一和第二可穿戴设备102包括相同布置和类型的换能器410。或者，在一些实施例中，第一和第二可穿戴设备102在某些方面不同。例如，第一可穿戴设备102a的换能器可以不同于第二可穿戴设备102c的换能器。第一可穿戴设备102a还可以包括不包括在第二可穿戴设备102c中的一个或更多个传感器114。无论第一和第二可穿戴设备是否相同，在一些实施例中，第一可穿戴设备102a可以被配置为接收器，并且第二可穿戴设备102c可以被配置为发送器(反之亦然)。

注意，图6C可以表示用户触摸他的左前臂，或者图6C可以表示用户将他的手指悬停在他的左前臂上方。还应注意，至少在某些情况下，由第二可穿戴设备102c生成的信号沿着用户的右手臂向上行进，穿过用户的身体，并沿着用户的左手臂向下行进，以被第一可穿戴设备102a接收。因此，即使用户没有触摸他的左前臂，第一可穿戴设备102a仍然能够检测由第二可穿戴设备102c生成的信号。重要的是，通过接触他的左前臂(或仅仅使他的手指靠近左前臂)，用户干扰了在他或她的身体上行进的信号(例如，沿着右手臂向上行进并最终沿着左手臂向下行进的信号)。在一些情况下，第一可穿戴设备102a能够检测到这种干扰，并确定检测到的干扰是否满足接触标准。此外，检测到的干扰的幅度可以对应于特定事件。例如，较大的幅度差(即，较大的干扰)指示在左前臂上发生了触摸，而(相对于较大的幅度差的)较小的幅度差(即，较小的干扰)可以指示发生了悬停事件。注意，也可以通过各种其他方式检测悬停事件。例如，除了由第一可穿戴设备102a接收的沿用户右手臂向上行进、穿过用户身体并沿用户左手臂向下行进的信号之外，当手部悬停发生时(例如，右手悬停在左手臂上方)，由第二可穿戴设备102b生成的其他信号可以通过空气变得电容耦合。电容耦合是可检测的，并且可以归类为“悬停”。电容耦合读数可以具有显著的噪声，这可以有助于悬停分类(例如，噪声是在将事件分类为悬停事件时考虑的一个因素)。一旦进行触摸，信号的强度增加(例如，检测到显著的跳跃(jump))，并且可以被分类为“触摸”。此外，噪声量减少。

图6D示出了在两个可穿戴设备之间建立的一个示例信号路径640。在该示例中，第二可穿戴设备102c正在发送一个或更多个信号，这些信号耦合到用户的手腕中并在用户的全身传播(例如，辐射)。第一可穿戴设备102a接收由第二可穿戴设备102c发送的一个或更多个信号中的至少一些，并且在这样做时，在第一可穿戴设备102a和第二可穿戴设备102c之间建立信号路径640。注意，在其他实施例中，第一可穿戴设备102a是发送器，并且第二可穿戴设备102c是接收器。在这样的实施例中，信号路径640将被反转(例如，信号从左向右行进)。下面参考图9和图10进一步详细讨论信号路径640。

图7是示出根据一些实施例的将图像投影到用户身体上的方法的流程图。方法700的步骤可以由第一可穿戴设备(例如，图1A-图1B的可穿戴设备102a)、第二可穿戴设备(例如，图1A-图1B的可穿戴设备102b)和计算机系统(例如，图1A-图1B的计算机系统130)来执行。图7对应于存储在计算机存储器或计算机可读存储介质(例如，可穿戴设备102的存储器106)中的指令。例如，方法700的操作至少部分地由通信模块(例如，图2的通信模块218)、投影生成模块(例如，图2的投影模块232)、手势检测模块(例如，图2的触觉手势检测模块234、计算机视觉手势检测模块238)和/或定位信息模块(例如，图2的定位信息236、240)来执行。

在具有投影仪(例如，图2的投影仪115)和多个换能器(例如，图4的换能器410)的第一可穿戴设备(例如，可穿戴设备102a)处，第一可穿戴设备(例如，使用图2的投影模块232)将图像投影702到第一可穿戴设备的用户的第一附肢(例如，前臂)的一部分上。该方法还包括(例如，经由触觉手势检测模块234)检测704用户的不同于第一附肢的第二附肢(例如，手指)在图像上的触摸手势。

该方法还包括在具有照相机和处理器的第二可穿戴设备(例如，可穿戴设备102b)处，(例如，经由图2的计算机视觉手势检测模块238)确定706触摸手势在图像上的定位(例如，经由图2的定位信息240)。在一些实施例中，第二可穿戴设备是头戴式设备140、计算机系统130或其组合的示例。在一些实施例中，第二可穿戴设备(例如，可穿戴设备102b)与头戴式设备140和计算机系统130中的一个或更多个集成在一起。在一些其他实施例中，第二可穿戴设备(例如，可穿戴设备102b)不同于头戴式设备140和计算机系统130。在一个示例中，第二可穿戴设备是AR系统1100或VR系统1200。

在一些实施例中，第二可穿戴设备确认708检测到的由用户的第二附肢做出的触摸手势已经出现在图像上。

该方法还包括指示计算机系统(例如，图1A-图1B的计算机系统130)根据检测和定位执行710操作。在一些实施例中，计算机系统根据确认检测到的由用户的第二附肢做出的触摸手势已经出现在图像上来执行712操作。例如，参考图6A，第一可穿戴设备102a将图像602(例如，用户界面)投影到用户的左前臂上，并且佩戴在用户头部上的第二可穿戴设备102b经由照相机118捕获用户的右食指与投影图像602交互。这样，第二可穿戴设备102b确定触摸手势在图像上的定位(例如，图6B中的触摸定位604)。另外，第一可穿戴设备102a能够检测(感测)右食指与投影图像602交互(例如，感测左前臂上的触摸)。因此，第一和第二可穿戴设备一起工作来检测图像上的触摸手势。此外，触摸手势在图像上的定位可以对应于可供性(或一些其他界面输入)，并且操作与可供性相关联。

图8是示出根据一些实施例的将图像投影到用户身体上的方法的流程图。方法800的步骤可以由第一可穿戴设备(例如，图1A-图1B的可穿戴设备102a)、第二可穿戴设备(例如，图1A-图1B的可穿戴设备102b)、第三可穿戴设备(例如，图1B的可穿戴设备102c)和计算机系统(例如，图1A-图1B的计算机系统130)来执行。图8对应于存储在计算机存储器或计算机可读存储介质(例如，可穿戴设备102的存储器106)中的指令。例如，方法800的操作至少部分地由通信模块(例如，图2的通信模块218)、投影生成模块(例如，图2的投影模块232)、手势检测模块(例如，图2的触觉手势检测模块234、计算机视觉手势检测模块238)和/或定位信息模块(例如，图2的定位信息236、240)来执行。注意，可以结合方法700的步骤来执行方法800的步骤。

在一些实施例中，第一可穿戴设备(例如，可穿戴设备102a)将图像投影802到第一可穿戴设备的用户的第一附肢的一部分上。在一些实施例中，第一可穿戴设备生成804信号，该信号耦合到/振动进入第一可穿戴设备的用户的第一附肢的至少一部分。例如，图6C示出了用户左手腕上的第一可穿戴设备，其可以生成通过用户的左手臂/手腕/手/手指振动的信号。

在一些实施例中，当第一附肢在距第三可穿戴设备的阈值距离内时，第三可穿戴设备(例如，可穿戴设备102c)接收812由第一多个换能器生成的信号的至少一部分。例如，图6C示出了用户在左手腕上具有第一可穿戴设备，并且在右手腕上具有第二可穿戴设备。当第一和第二可穿戴设备彼此靠近时，第一可穿戴设备生成通过左手腕的信号，右手腕上的第二可穿戴设备接收该信号。

在一些实施例中，第三可穿戴设备确定814第一附肢的一部分相对于第三可穿戴设备的一部分的位置。例如，第三可穿戴设备可以具有从处于第三可穿戴设备的特定定位处的第一可穿戴设备接收信号的换能器。可穿戴设备的控制电路可以分析接收到的信号信息，以确定左手臂的一部分相对于右手臂的位置。

在一些实施例中，第二可穿戴设备确定808触摸手势在图像上的定位。在一些实施例中，第二可穿戴设备确认810检测到的由用户的第二附肢做出的触摸手势已经出现在图像上。

在一些实施例中，计算机系统(例如，图1A-图1B的计算机系统130)被指示根据检测、位置和定位来执行816操作。在一些实施例中，计算机系统根据确认检测到的由用户的第二附肢做出的触摸手势已经出现在图像上来执行818操作。

图9是示出根据一些实施例的检测用户身体上的触摸的方法900的高级流程图。方法900的步骤可以由第一可穿戴设备(例如，可穿戴设备102的实例)、第二可穿戴设备(例如，可穿戴设备102的实例)和计算机系统(例如，计算机系统130)来执行。图9对应于存储在计算机存储器或计算机可读存储介质中的指令。为了便于讨论，第一可穿戴设备附连到用户的第一附肢，例如用户的手腕。在一些实施例中，第二可穿戴设备也附连到第一附肢，而在其他实施例中，第二可穿戴设备附连到用户身体的其他地方(例如，用户的另一个手腕、用户的头部或用户身体的各种其他地方)。还应注意，在一些实施例中，计算机系统和第二可穿戴设备可以是同一设备的一部分，而在其他实施例中，计算机系统和第二可穿戴设备彼此分离。

在一些实施例中，方法900开始于计算机系统启动(902)来自第二可穿戴设备的信号传输。例如，计算机系统可以向第二可穿戴设备提供指令以发出一个或更多个信号(例如，声波)。在一些实施例中，当计算机系统加电时，计算机系统启动信号传输。当由计算机系统运行的VR/AR应用中发生触发事件时，计算机系统也可以启动信号传输。例如，当用户到达视频游戏中的特定阶段时，计算机系统可以启动信号传输。

方法900还可以包括计算机系统向头戴式显示器(例如，图1A的头戴式显示器140)提供指令，以在用户的第一附肢上显示用户界面或其他图形/图像(例如，图6A的界面602)。如上所讨论的，用户界面可以被投影到第一附肢上，或者经由头戴式显示器使用增强现实来被呈现，使得用户在第一附肢上感知用户界面。在一些实施例中，用户可以执行触发显示用户界面(以及启动信号传输)的动作。例如，参考图6A，用户可以移动他的手臂和头部来显示位置(例如，当前臂位于观看位置时，眼睛指向/瞄准前臂)。

另外，当在增强现实(或虚拟现实)中用户界面(或一些其他增强对象)正在用户的第一附肢上显示时，计算机系统可以从第一可穿戴设备的传感器114接收运动信息，该运动信息指示用户已经移动(例如，旋转)了第一附肢。在这种情况下，计算机系统为头戴式显示器生成反映和/或以其他方式考虑到用户在增强环境中的移动的内容(例如，图6A的用户界面根据用户前臂的旋转而旋转)。这样，所显示的用户界面看起来固定在第一附肢上。此外，计算机系统可以从头戴式显示器的传感器145接收运动信息，该运动信息指示在增强现实(或虚拟现实)中用户界面正被显示在用户的第一附肢上时用户已经移动了他的头部。在这种情况下，计算机系统为头戴式显示器生成反映用户在增强环境中的移动的内容。

在一些实施例中，第一和第二可穿戴设备是发送器和接收器。例如，当第一可穿戴设备附连到用户的左手腕并且第二可穿戴设备附连到用户的右手腕时，在第一情况下(例如，当用户的左手臂和头部处于第一显示位置时)，第一可穿戴设备可以充当接收器，并且第二可穿戴设备可以充当发送器，而在第二情况下(例如，当用户的右手臂和头部处于第二显示位置时)，第一可穿戴设备可以充当发送器，并且第二可穿戴设备可以充当接收器。这样，用户可以在需要时在他的左手臂上直观地显示用户界面(例如，界面602)，并且利用第一可穿戴设备来确认左手臂上的触摸，并且还在需要时在他的右手臂上显示另一个界面(或同一界面)，并且利用第二可穿戴设备来确认右手臂上的触摸。因此，在一些实施例中，计算机系统(例如，至少使用照相机139)确定相应的附肢处于预定的显示位置，并且(例如，至少使用照相机139或其他传感器)确定用户的头部对准相应的附肢，并且响应于做出这些确定，计算机系统指示头戴式显示器在相应的附肢上显示用户界面(例如，如图6A所示)，并且如下所述，还指示(步骤902)至少一个可穿戴设备发出信号。

方法900包括第二可穿戴设备(例如，响应于从计算机系统接收指令)发出(904)至少通过用户的第一附肢传播的一个或更多个信号。方法900还包括第一可穿戴设备接收(906)由第二可穿戴设备发出的一个或更多个信号中的至少一些。在一些实施例中，第一可穿戴设备对信号的接收在第一可穿戴设备和第二可穿戴设备之间建立(908)信号路径。此外，在建立信号路径之后并且当第二可穿戴设备继续发出一个或更多个信号时，方法900还包括第一可穿戴设备感测(910)信号路径中的变化(例如，由一个或更多个换能器接收的一组信号的值变化)。感测到的信号路径中的变化可以归因于用户第一附肢上的触摸事件(例如，用户用右食指触摸左前臂)，该触摸事件干扰了已建立的信号路径。在这种情况下，第一可穿戴设备向计算机系统报告(912)候选触摸事件。或者，信号路径中的感测到的变化可以归因于噪声或一些其他非触摸事件。在这种情况下，第一可穿戴设备放弃报告候选触摸事件，并继续监控信号路径。下面讨论的方法1000更详细地描述了由第一可穿戴设备执行的方法900的操作。

方法900还包括计算机系统捕获(914)候选触摸事件。例如，如图6A所示，计算机系统130的一个或更多个照相机139可以捕获用户的右食指朝向用户的左前臂的移动。在一些实例中，捕获触摸候选事件包括捕获触摸相对于所显示的用户界面的定位。

响应于捕获候选触摸事件并从第一可穿戴设备接收(916)候选触摸事件的报告，方法900包括计算机系统执行(918)与候选触摸事件相关联的功能。如果确定候选触摸事件的捕获和候选触摸事件的报告对齐(例如，在时间和空间上对齐)，则计算机系统执行该功能。换句话说，来自第一可穿戴设备的候选触摸事件的报告被计算机系统用来确认一个或更多个照相机139捕获的内容(例如，照相机139可以捕获触摸定位604(图6C)，并且来自第一可穿戴设备的候选触摸事件的报告确认了与左附肢的接触)。这样，计算机系统能够区分手指悬停在用户界面上方和手指试图与用户界面交互(例如，当用户仅仅将他的手指悬停在界面上方时，仅照相机139难以将悬停与实际触摸事件区分开来)。在一些实施例中，所显示的用户界面包括一个或更多个可供性，并且候选触摸事件的捕获指示用户打算与一个或更多个可供性中的第一可供性进行交互(例如，图6A的界面602包括多个可供性)。在这样的实施例中，执行与候选触摸事件相关联的功能包括执行与第一可供性相关联的功能。

图10是示出根据一些实施例的确认用户身体上的触摸的方法1000的流程图。方法1000的步骤可以由包括一个或更多个换能器(例如，图4的换能器410)的第一可穿戴设备(例如，可穿戴设备102的实例)来执行(1001)。图10对应于存储在计算机存储器或计算机可读存储介质中的指令。为了便于讨论，第一可穿戴设备附连到用户的第一附肢，例如用户的手腕。注意，可以结合方法700、800和900中的步骤来执行方法1000的步骤。

在一些实施例中，方法1000包括由第一可穿戴设备的一个或更多个换能器接收(1002)由附连到用户的第二可穿戴设备发送的一组信号，其中(i)接收该组信号在第一和第二可穿戴设备之间创建信号路径，以及(ii)该组信号中的信号至少通过用户的第一附肢传播。在一些实施例中，第二可穿戴设备也附连到第一附肢，而在其他实施例中，第二可穿戴设备附连到用户身体的其他地方(例如，在另一附肢或用户的头部)。为了说明信号路径，参考图6C，由第二可穿戴设备102c生成的信号至少在一些情况下沿着用户的右手臂向上行进、穿过用户的身体、沿着用户的左手臂向下行进(例如，传播、辐射)，以被第一可穿戴设备102a接收(所生成的信号朝着用户的右手手指辐射)。因此，即使用户没有用他的右手触摸他的左前臂，第一可穿戴设备102a仍然能够检测由第二可穿戴设备102c生成的信号。注意，由第二可穿戴设备102c生成的信号可以传播(辐射)到用户的整个身体。

在一些实施例中，方法1000包括确定(1004)在第一可穿戴设备和第二可穿戴设备之间创建的信号路径的基线特征。基线特征可包括与由第一可穿戴设备接收到的信号相关联的相位值、幅度值、频率值等。因此，在一些实施例中，基线特征包括基线相位值(1006)、基线幅度相位(1008)和/或基线频率值(以及其他波形特征)。在一些实施例中，基线特征是在用户的校准过程期间确定的，并且应当注意，基线特征可以基于用户之间的身体差异而因用户而异(例如，身体组织和骨骼结构将因用户而异，从而对通过身体辐射的信号产生不同的阻抗)。

在一些实施例中，方法1000包括在接收该组信号时感测(检测、测量)(1010)基线特征的变化。例如，当基线特征包括基线相位值时，感测信号路径的基线特征的变化包括检测信号路径的不同于基线相位值的相位值。在另一个示例中(或者除了前面的示例之外)，当基线特征包括基线幅度值时，感测信号路径的基线特征的变化包括检测信号路径的不同于基线幅度值的幅度值。

在一些实施例中，方法1000包括确定(1012)感测到的基线特征的变化是否满足接触标准(或者在一些实施例中，接触准则)。为了提供一些背景，在一些情况下，感测到的基线特征的变化归因于用户对第一附肢的触摸，该触摸干扰了已建立的信号路径(例如，触摸阻碍了信号路径)。另外，使用图6C中的可穿戴设备布置作为示例，注意到当用户用他的右食指触摸他的左前臂时，额外的信号可以在触摸定位处从右食指传播到左前臂中，从而导致(或至少造成)信号路径的干扰。然而，在一些其他情况下，感测到的基线特征的变化归因于噪声，或者用户将其手指悬停在第一附肢上方。因此，第一可穿戴设备将感测到的变化与接触标准进行比较，以将预期触摸与其他事件区分开来。

在一些实施例中，根据确定感测到的信号路径的基线特征的变化不满足接触标准(1012-否)，方法1000包括继续感测可能满足接触标准的基线特征的变化。感测到的不满足接触标准的基线特征的变化可以归因于噪声或附肢之间快速接触(例如，掠过)。在一些实施例中，接触标准包括：(i)被设置为由触摸而不是悬停事件来满足的触摸标准，以及(ii)被设置为由悬停事件而不是触摸来满足的悬停标准。下面提供了接触标准的各种示例。

在一些实施例中，根据确定感测到的信号路径的基线特征的变化满足接触标准(1012-是)，方法1000包括报告(1016)用户第一附肢上的候选触摸事件。在一些实施例中，报告候选触摸事件包括向计算机系统(例如，计算机系统130)发送候选触摸事件被感测到并被确认(即，触摸确认标志被发送)的消息(例如，报告)。该消息还可以包括何时感测到基线特征的变化的时间戳(和/或感测到的变化的持续时间)。候选触摸事件可以是轻击手势、滑动手势、捏合手势、拉动手势或扭转手势中的任何一种。还应注意，在一些实施例中，计算机系统和第二可穿戴设备可以是同一设备的一部分，而在其他实施例中，计算机系统和第二可穿戴设备彼此分离。

在一些实施例中，接触标准包括相位差阈值。在这样的实施例中，根据确定检测到的相位值(来自步骤1010)和基线相位值之间的差满足相位差阈值来执行报告候选触摸事件。在一些实施例中，接触标准包括幅度差阈值。在这样的实施例中，根据确定检测到的幅度值(来自步骤1010)和基线幅度值之间的差满足幅度差阈值来执行报告候选触摸事件。在另一个实施例中，接触准则包括幅度差阈值和相位差阈值。在这样的实施例中，根据以下确定来执行报告候选触摸事件：(i)检测到的幅度值和基线幅度值之间的差满足幅度差阈值，以及(ii)检测到的相位值和基线相位值之间的差满足相位差阈值。除了上述实施例之外或与上述实施例分开，接触标准还可以包括时间阈值。在这样的实施例中，感测(1010)基线特征的变化包括在一段时间内感测变化(即，确定感测到的变化的持续时间)，并且根据确定该段时间满足时间阈值来执行报告候选触摸事件。时间阈值可以用于滤除噪声以及对第一附肢的意外/无意触摸(例如，可以滤除第一附肢与第二附肢的快速掠过)。

如上所述，接触标准可以包括触摸标准和悬停标准。在一些实施例中，接触标准包括用于触摸标准的第一相位差阈值和用于悬停标准的第二相位差阈值。第一相位差阈值不同于(例如，大于)第二相位差阈值。因此，在一些实施例中，方法1000包括根据确定检测到的相位值(来自步骤1010)和基线相位值之间的差满足第二相位差阈值但不满足第一相位阈值来报告候选悬停事件。接触标准还可以包括触摸标准的第一幅度差阈值和悬停标准的第二幅度差阈值。第一幅度差阈值不同于(例如，大于)第二幅度差阈值。下面的步骤讨论了在第一可穿戴设备报告候选悬停事件而不是候选触摸事件的情况下，如何类似地执行“候选触摸事件”。

在一些实施例中，报告候选触摸事件包括向计算机系统(例如，计算机系统130)发送对应于感测到的基线特征的变化的换能器(和/或传感器)数据(1018)。在一些实施例中，换能器(和/或传感器)数据包括与感测基线特征中的变化相关联的时间戳(和/或持续时间)。另外，在一些实施例中，换能器(和/或传感器)数据包括感测到的基线特征(例如，相位值、幅度值等)的变化。在一些实施例中，计算机系统使用换能器(和/或传感器)数据来确认触摸事件发生。此外，在一些实施例中，计算机系统使用换能器(和/或传感器)数据来确定候选触摸事件在用户第一附肢上的近似定位。例如，相位值、幅度值等可以指示候选触摸事件在用户第一附肢上的近似定位。

如以上参考方法900所讨论的，计算机系统可以在用户的第一附肢上显示包括一个或更多个可供性的用户界面，并且候选触摸事件可以与包括在用户界面中的一个或更多个可供性中的第一可供性相关联。计算机系统可以使用与感测到的基线特征的变化相关联的数据/信息/报告来确认与所显示的用户界面的触摸事件是否发生。换句话说，计算机系统至少部分地基于从第一可穿戴设备接收的、与感测到的信号路径中的变化相关联的数据/信息/报告，来确定用户是否打算与显示在用户的第一附肢上的用户界面的可供性进行交互。

此外，计算机系统可以经由一个或更多个照相机(例如，图1A的照相机139)捕获候选触摸事件，并且根据对候选触摸事件的捕获来生成图像数据。以这种方式，计算机系统可以基于图像数据确定候选触摸事件在用户第一附肢上的近似定位。此外，计算机系统可以确定所捕获的用户移动是否相当于候选触摸事件(例如，第二附肢在距第一附肢的阈值距离内，或者第二附肢在视觉上阻碍用户界面在其上被显示的第一附肢的一部分)。计算机系统然后可以使用从第一可穿戴设备接收的数据/信息/报告(步骤1012-是)来确认候选触摸事件是实际触摸事件。然后，(i)如果从第一可穿戴设备接收的、与感测到的信号路径中的变化相关联的数据/信息/报告确认用户打算与第一可供性交互，以及(ii)如果图像数据确认用户打算与第一可供性交互，则计算机系统执行与用户界面的第一可供性相关联的功能。这种双重确认过程创建了一种检测对人工用户界面的触摸事件(和悬停事件)的鲁棒方法。

在一些实施例中，如果计算机系统在捕获候选触摸事件的时间窗口内从第一可穿戴设备接收到候选触摸事件的报告，则计算机系统执行该功能。时间窗口可以是预定义的时间窗口。在一些实施例中，计算机系统基于图像数据来跟踪候选触摸事件可能已经发生的时间范围(time frame)(即，生成触摸事件可能已经发生的时间范围)。在这样的实施例中，如果包括在从第一可穿戴设备接收的数据/信息/报告中的时间戳落在该时间范围内，则计算机系统执行该功能。注意，所显示的用户界面的一个或更多个可供性中的每一个可以具有唯一的功能。

在一些实施例中，发送到计算机系统的换能器数据还包括指示候选触摸事件的近似定位的信息(1020)。例如，第一可穿戴设备可以至少部分地基于感测到的基线特征的变化来确定(1014)候选触摸事件在用户的第一附肢上的近似定位。这可以通过评估信号路径的相位值(和/或幅度值)来实现。例如，一个或更多个第一相位值(和/或一个或更多个第一幅度值)可以指示用户靠近他的手腕触摸，而不同于一个或更多个第一相位值(或一个或更多个第一幅度值)的一个或更多个第二相位值(和/或一个或更多个第二幅度值)可以指示用户靠近他的肘部触摸。另外，在一些实施例中，第一可穿戴设备可以包括捕获候选触摸事件的一个或更多个照相机118。

在一些实施例中，代替第一可穿戴设备监测已建立的信号路径中的变化，第一可穿戴设备基于信号路径的基线特征来确定候选触摸事件已经发生。换句话说，由一个或更多个换能器自身接收的一组信号的相位值、幅度值等可以指示候选触摸事件已经发生。

本公开的实施例可以包括各种类型的人工现实系统或结合各种类型的人工现实系统来被实现。人工现实可以构成一种已经被虚拟对象改变以呈现给用户的现实形式。这样的人工现实可以包括和/或代表VR、AR、MR、混合现实，或者它们中的一个或更多个的某种组合和/或变体。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，现实世界)内容组合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观众产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与用于例如，在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，以在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。

可以在各种不同的形状因子和配置中实现人工现实系统。一些人工现实系统可以被设计成在没有近眼显示器(NED)的情况下工作，其示例是图11中的AR系统1100。其他人工现实系统可以包括也提供对现实世界的可视性的NED(例如，图12中的AR系统1200)或者在视觉上使用户沉浸在人工现实中的NED(例如，图13中的VR系统1300)。虽然一些人工现实设备可以是自主式系统，但是其他人工现实设备可以与外部设备通信和/或协作以向用户提供人工现实体验。这种外部设备的示例包括手持控制器、移动设备、台式计算机、用户佩戴的设备(例如，可穿戴设备102a、可穿戴设备102b、...可穿戴设备102n)、一个或更多个其他用户佩戴的设备和/或任何其他合适的外部系统。

图11-图13提供了系统100中使用的设备的附加示例。图11中的AR系统1100通常表示尺寸适合用户身体部位(例如，头部)的可穿戴设备。AR系统1100可以包括可穿戴设备102的功能，并且可以包括附加功能。如所示出的，AR系统1100包括框架1102(例如，带)和相机组件1104，相机组件1104耦合到框架1102并被配置为通过观察本地环境来收集关于本地环境的信息。AR系统1100还可以包括一个或更多个换能器(例如，图4中的换能器410的实例)。在一个示例中，AR系统1100包括输出换能器1108(A)和1108(B)以及输入换能器1110。输出换能器1108(A)和1108(B)可以向用户提供音频反馈、触觉反馈和/或内容，并且输入音频换能器可以捕获用户环境中的音频(或其他信号/波)。在一些实施例中，相机组件1104包括允许AR系统1100投影图像的一个或更多个投影仪(例如，投影仪115)(例如，如果AR系统1100佩戴在用户的手腕上，则相机组件1104可以将图像投影到用户的手腕和前臂上)。

因此，AR系统1100不包括位于用户眼睛前方的近眼显示器(NED)。无NED的AR系统可以采用多种形式，例如头带、帽子、发带、腰带、手表、腕带、踝带、戒指、颈带、项链、胸带、眼镜框、和/或任何其他合适类型或形式的装置。虽然AR系统1100可以不包括NED，但AR系统1100可以包括其他类型的屏幕或视觉反馈设备(例如，集成到框架1102的一侧内的显示屏)。

也可以在包括一个或更多个NED的AR系统中实现在本公开中讨论的实施例。例如，如图12所示，AR系统1200可以包括具有框架1210的眼镜设备1202，框架1210被配置为将左显示设备1215(A)和右显示设备1215(B)保持在用户的眼睛的前方。显示设备1215(A)和1215(B)可以一起或独立地起作用来向用户呈现图像或图像系列。虽然AR系统1200包括两个显示器，但是可以在具有单个NED或两个以上NED的AR系统中实现本公开的实施例。

在一些实施例中，AR系统1200可以包括一个或更多个传感器，例如传感器1240。传感器1240可以响应于AR系统1200的运动而生成测量信号，并且可以实质上位于框架1210的任何部分上。传感器1240可以包括位置传感器、惯性测量单元(IMU)、深度照相机组件、或其任何组合。在一些实施例中，AR系统1200可以包括或不包括传感器1240，或者可以包括一个以上传感器。在传感器1240包括IMU的实施例中，IMU可以基于来自传感器1240的测量信号来生成校准数据。传感器1240的示例可以非限制地包括加速度计、陀螺仪、磁力计、检测运动的其他合适类型的传感器、用于IMU的误差校正的传感器、或其某种组合。上面也参考图1讨论了传感器(例如，头戴式显示器140的传感器145)。

AR系统1200还可以包括具有被统称为声传感器1220的多个声传感器1220(A)-1220(J)的麦克风阵列。声传感器1220可以是检测由声波引起的气压变化的换能器。每个声传感器1220可以被配置成检测声音并将检测到的声音转换成电子格式(例如，模拟或数字格式)。图12中的麦克风阵列可以包括例如十个声传感器：1220(A)和1220(B)，其可以被设计成放置在用户的相应耳朵内；声传感器1220(C)、1220(D)、1220(E)、1220(F)、1220(G)和1220(H)，其可以被定位在框架1210上的不同位置；和/或声传感器1220(I)和1220(J)，其可以被定位在相应的颈带1205上。在一些实施例中，颈带1205是计算机系统130的示例。

麦克风阵列的声传感器1220的配置可以变化。尽管AR系统1200在图12中被示为具有十个声传感器1220，但是声传感器1220的数量可以大于或小于十。在一些实施例中，使用更高数量的声传感器1220可以增加所收集的音频信息的量和/或音频信息的灵敏度和准确度。相反，使用更低数量的声传感器1220可以降低控制器1250处理所收集的音频信息所需的计算能力。此外，麦克风阵列的每个声传感器1220的位置可以变化。例如，声传感器1220的位置可以包括在用户身上的所定义的位置、在框架1210上的所定义的坐标、与每个声传感器相关联的定向、或者其某种组合。

声传感器1220(A)和1220(B)可以位于用户的耳朵的不同部位上，例如在耳廓后面或在耳廓或窝(fossa)内。或者，除了在耳道内部的声传感器1220之外，还可以有在耳朵上或耳朵周围的附加声传感器。将声传感器定位在用户的耳道旁边可以使麦克风阵列能够收集关于声音如何到达耳道的信息。通过将声传感器1220中的至少两个定位在用户的头部的任一侧上(例如，作为双耳麦克风)，AR设备1200可以模拟双耳听觉并捕获在用户的头部周围的3D立体声场。在一些实施例中，声传感器1220(A)和1220(B)可以经由有线连接来连接到AR系统1200，并且在其他实施例中，声传感器1220(A)和1220(B)可以经由无线连接(例如，蓝牙连接)来连接到AR系统1200。在还有其他实施例中，声传感器1220(A)和1220(B)可以根本不与AR系统1200结合来被使用。

可以沿着眼镜腿(temple)的长度、横越镜梁(bridge)、在显示设备1215(A)和1215(B)的上方或下方、或者其某种组合来定位框架1210上的声传感器1220。声传感器1220可以被定向成使得麦克风阵列能够在佩戴AR系统1200的用户周围的宽范围的方向上检测声音。在一些实施例中，可以在AR系统1200的制造期间执行优化过程以确定在麦克风阵列中的每个声传感器1220的相对位置。

AR系统1200还可以包括或连接到诸如颈带1205的外部设备(例如，配对设备)。如所示出的，颈带1205可以经由一个或更多个连接器1230耦合到眼镜设备1202。连接器1230可以是有线或无线连接器，并且可以包括电气和/或非电气(例如，结构)部件。在一些情况下，眼镜设备1202和颈带1205可以独立地操作而在它们之间没有任何有线或无线连接。虽然图12示出了在眼镜设备1202和颈带1205上的示例位置中的眼镜设备1202和颈带1205的部件，但是这些部件可以位于眼镜设备1202和/或颈带1205的其他地方和/或在眼镜设备1202和/或颈带1205上不同地分布。在一些实施例中，眼镜设备1202和颈带1205的部件可以位于与眼镜设备1202、颈带1205或其某种组合配对的一个或更多个附加外围设备上。此外，颈带1205通常表示任何类型或形式的配对设备。因此，颈带1205的下面的讨论也可以应用于各种其他配对设备，例如智能手表、智能电话、腕带、其他可穿戴设备、手持控制器、平板计算机、膝上型计算机等。

将诸如颈带1205的外部设备与AR眼镜设备配对可以使眼镜设备能够实现一副眼镜的形状因子，同时仍然能够提供足够的电池和计算能力用于扩展的能力。AR系统1200的电池电力、计算资源和/或附加特征中的一些或全部可以由配对设备提供或者在配对设备和眼镜设备之间共享，因而总体上减小眼镜设备的重量、热分布和形状因子，同时仍然保持期望的功能。例如，颈带1205可以允许以其他方式将被包括在眼镜设备上的部件包括在颈带1205中，因为用户可以在他们的肩膀上容忍比在他们的头上将容忍的重量负荷更重的重量负荷。颈带1205也可以具有更大的表面积，以在该表面积上将热量扩散并分散到周围环境中。因此，颈带1205可以允许比以其他方式在独立眼镜设备上可能有的电池和计算容量更大的电池和计算容量。因为在颈带1205中承载的重量可能比在眼镜设备1202中承载的重量对用户更低创，比用户容忍佩戴重的独立眼镜设备，用户可以在更长的时间段期间容忍佩戴更轻的眼镜设备以及携带或佩戴配对设备，从而使人工现实环境能够更充分地融入用户的日常活动中。

颈带1205可以与眼镜设备1202和/或其他设备通信地耦合。其他设备可以向AR系统1200提供某些功能(例如，跟踪、定位、深度映射、处理、存储等)。在图12的实施例中，颈带1205可以包括两个声传感器(例如，1220(I)和1220(J))，其是麦克风阵列的一部分(或者潜在地形成它们自己的麦克风子阵列)。颈带1205还可以包括控制器1225和电源1235。

颈带1205的声传感器1220(I)和1220(J)可以被配置成检测声音并将检测到的声音转换成电子格式(模拟的或数字的)。在图12的实施例中，声传感器1220(I)和1220(J)可以定位在颈带1205上，从而增加在颈带声传感器1220(I)和1220(J)与定位在眼镜设备1202上的其他声传感器1220之间的距离。在一些情况下，增加在麦克风阵列的声传感器1220之间的距离可以提高经由麦克风阵列执行的波束成形的准确度。例如，如果声音由声传感器1220(C)和1220(D)检测到并且在声传感器1220(C)和1220(D)之间的距离大于例如，在声传感器1220(D)和1220(E)之间的距离，则检测到的声音的所确定的源位置可以比如果声音由声传感器1220(D)和1220(E)检测到的更准确。

颈带1205的控制器1225可以处理由在颈带1205和/或AR系统1200上的传感器生成的信息。例如，控制器1225可以处理来自麦克风阵列的描述由麦克风阵列检测到的声音的信息。对于每个检测到的声音，控制器1225可以执行到达方向(DOA)估计以估计方向(检测到的声音从该方向到达麦克风阵列)。当麦克风阵列检测到声音时，控制器1225可以用该信息填充音频数据集。在AR系统1200包括IMU的实施例中，控制器1225可以从位于眼镜设备1202上的IMU计算所有惯性和空间计算。连接器1230可以在AR系统1200和颈带1205之间以及在AR系统1200和控制器1225之间传送信息。信息可以是以光数据、电数据、无线数据的形式或任何其他可传输数据形式。将由AR系统1200生成的信息的处理移动到颈带1205可以减少在眼镜设备1202中的重量和热量，使它变得对用户来说更舒适。

颈带1205中的电源1235可以向眼镜设备1202和/或颈带1205提供电力。电源1235可以非限制地包括锂离子电池、锂聚合物电池、一次锂电池、碱性电池或任何其他形式的电力储存装置。在一些情况下，电源1235可以是有线电源。在颈带1205上而不是在眼镜设备1202上包括电源1235可以帮助更好地分配由电源1235生成的重量和热量。

如所提到的，一些人工现实系统可以实质上用虚拟体验代替用户对现实世界的一个或更多个感官知觉，而不是将人工现实与实际现实混合。这种类型的系统的一个示例是头戴式显示系统(例如图13中的VR系统1300)，其主要或完全覆盖用户的视场。VR系统1300可以包括前刚性主体1302和被成形为适配在用户的头部周围的带1304。VR系统1300还可以包括输出音频换能器1306(A)和1306(B)。此外，虽然在图13中未示出，但是前刚性主体1302可以包括一个或更多个电子元件，其包括一个或更多个电子显示器、一个或更多个IMU、一个或更多个跟踪发射器或检测器、和/或用于创建人工现实体验的任何其他合适的设备或系统。尽管未示出，VR系统1300可以包括计算机系统130。

人工现实系统可以包括各种类型的视觉反馈机构。例如，在AR系统1200和/或VR系统1300中的显示设备可以包括一个或更多个液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、和/或任何其他合适类型的显示屏。人工现实系统可以包括用于双眼的单个显示屏，或者可以为每只眼睛提供显示屏，这可以提供对变焦调节或对于校正用户的屈光不正的附加的灵活性。一些人工现实系统还可以包括具有一个或更多个透镜(例如，传统的凹透镜或凸透镜、菲涅耳(Fresnel)透镜、可调液体透镜等)的光学子系统，用户可以通过这些透镜来观看显示屏。

除了或代替使用显示屏，一些人工现实系统还可以包括一个或更多个投影系统。例如，在AR系统1200和/或VR系统1300中的显示设备可以包括(使用例如，波导)将光投射到显示设备中的微LED投影仪，例如允许环境光穿过的透明组合透镜。显示设备可以朝着用户的瞳孔折射所投射的光，并且可以使用户能够同时观看人工现实内容和现实世界。人工现实系统还可以配置有任何其他合适类型或形式的图像投影系统。

人工现实系统也可以包括各种类型的计算机视觉部件和子系统。例如，AR系统1100、AR系统1200和/或VR系统1300可以包括一个或更多个光学传感器，例如二维(2D)或三维(3D)照相机、飞行时间深度传感器、单光束或扫频激光测距仪、3D LiDAR传感器、和/或任何其他合适类型或形式的光学传感器。人工现实系统可以处理来自这些传感器中的一个或更多个的数据以识别用户的位置、绘制现实世界的地图、向用户提供关于现实世界周围环境的背景、和/或执行各种其他功能。

人工现实系统还可以包括一个或更多个输入和/或输出音频换能器。在图11和图13所示的示例中，输出音频换能器1108(A)、1108(B)、1106(A)和1306(B)可以包括音圈扬声器、带式扬声器、静电扬声器、压电扬声器、骨传导换能器、软骨传导换能器、和/或任何其他合适类型或形式的音频换能器。类似地，输入音频换能器1110可以包括电容式麦克风、电动式麦克风(dynamic microphone)、带式麦克风、和/或任何其他类型或形式的输入换能器。在一些实施例中，单个换能器可以用于音频输入和音频输出两者。

图11-图13中所示的人工现实系统可以包括触感(即触觉)反馈系统，该系统可以被结合到头饰、手套、紧身衣、手持控制器、环境设备(例如椅子、地板垫等)中，和/或任何其他类型的设备或系统，例如本文讨论的可穿戴设备102。另外，在一些实施例中，触觉反馈系统可以与人工现实系统结合(例如，AR系统1100可以包括可穿戴设备102(图1))。触觉反馈系统可以提供各种类型的皮肤反馈，包括振动、力、牵引力、纹理和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈，例如运动和顺应性。可以使用电机、压电致动器、射流系统和/或各种其他类型的反馈机构来实现触觉反馈。可以独立于其他人工现实设备、在其他人工现实设备内、和/或与其他人工现实设备结合来实现触觉反馈系统。

通过提供触觉感觉、可听内容和/或视觉内容，人工现实系统可以创建整个虚拟体验或者增强用户在各种背景和环境中的现实世界体验。例如，人工现实系统可以帮助或扩展用户在特定环境中的感知、记忆或认知。一些系统可以增强用户与在现实世界中的其他人的交互，或者可以实现用户与虚拟世界中的其他人的更沉浸式的交互。人工现实系统还可以用于教育目的(例如，用于在学校、医院、政府组织、军事组织、商业企业等中的教学或培训)、娱乐目的(例如，用于玩视频游戏、听音乐、观看视频内容等)和/或用于可及性目的(例如，作为助听器、助视器等)。本文公开的实施例可以在这些背景和环境中的一个或更多个中和/或在其他背景和环境中实现或增强用户的人工现实体验。

一些AR系统可以使用被称为“即时定位与地图构建”(SLAM)的技术来绘制用户的环境地图。SLAM地图构建和位置识别技术可以包括各种硬件和软件工具，这些工具可以创建或更新环境的地图，同时跟踪设备或用户在地图构建的环境中的位置和/或定向。SLAM可以使用许多不同类型的传感器来创建地图并确定设备或用户在地图中的位置。

例如，SLAM技术可以实现光学传感器来确定设备或用户的位置、定位或定向。包括WiFi、蓝牙、全球定位系统(GPS)、蜂窝电话或其他通信设备在内的无线电也可以用于确定用户相对于无线电收发器或一组收发器(例如，WiFi路由器或GPS卫星组)的位置。诸如麦克风阵列的声传感器或者2D或3D声纳传感器也可以用于确定用户在环境内的位置。AR和VR设备(例如系统1100、1200和1300)可以结合任何或所有这些类型的传感器来执行SLAM操作，例如创建并持续更新设备或用户的当前环境的地图。在本文描述的至少一些实施例中，由这些传感器生成的SLAM数据可以被称为“环境数据”，并且可以指示设备或用户的当前环境。该数据可以存储在本地或远程数据储存器(例如，云数据储存器)中，并且可以按需提供给用户的AR/VR设备。

当用户在给定环境中佩戴AR头戴式装置或VR头戴式装置时，用户可能正在与其他用户或用作音频源的其他电子设备进行交互。在一些情况下，希望确定音频源相对于用户位于哪里且然后将音频源呈现给用户好像它们来自音频源的位置一样。确定音频源相对于用户位于哪里的过程在本文可以被称为“定位”，并且再现音频源信号的回放以看起来好像它来自特定方向的过程在本文可以被称为“空间化”。

可以以多种不同的方式来执行定位音频源。在一些情况下，AR或VR头戴式装置可以发起DOA分析以确定声源的位置。DOA分析可以包括分析每个声音在AR/VR设备处的强度、频谱和/或到达时间以确定声音源自的方向。在一些情况下，DOA分析可以包括用于分析人工现实设备所位于的周围声学环境的任何合适的算法。

例如，DOA分析可以被设计成从麦克风接收输入信号，并将数字信号处理算法应用于输入信号以估计到达方向。这些算法可以包括例如，延迟算法和求和算法，其中输入信号被采样，并且采样信号的得到的加权和延迟版本被一起取平均以确定到达方向。也可以实现最小均方(LMS)算法以创建自适应滤波器。该自适应滤波器然后可以用于例如，识别信号强度的差异或到达时间的差异。然后，这些差异可用于估计到达方向。在另一个实施例中，可以通过将输入信号转换到频域内并选择要处理的时频(TF)域内的特定单元(bin)来确定DOA。可以处理每个选定TF单元以确定该单元是否包括具有直接路径音频信号的音频频谱的一部分。然后可以分析具有直接路径信号的一部分的那些单元，以识别麦克风阵列接收直接路径音频信号的角度。然后，所确定的角度可以用于识别接收到的输入信号的到达方向。也可以单独地或者与上面的算法结合地使用上面没有列出的其他算法来确定DOA。

在一些实施例中，不同的用户可能将声源感知为来自稍微不同的位置。这可能是每个用户具有独特的头部相关传递函数(HRTF)的结果，该头部相关传递函数可以由用户的包括耳道长度和耳鼓膜的定位的解剖结构决定。人工现实设备可以提供对准和定向指南，用户可以遵循该指南以基于他们的独特HRTF来定制呈现给用户的声音信号。在一些实施例中，AR或VR设备可以实现一个或更多个麦克风来收听用户环境中的声音。AR或VR设备可以使用各种不同的阵列传递函数(ATF)(例如，上面识别的任何DOA算法)来估计声音的到达方向。一旦到达方向被确定，人工现实设备就可以根据用户的独特HRTF来向用户回放声音。因此，使用ATF生成的DOA估计可用于确定声音播放的方向。回放声音可以基于特定用户如何根据HRTF听到声音被进一步改善。

除了执行DOA估计之外或者作为执行DOA估计的备选方案，人工现实设备可以基于从其他类型的传感器接收的信息来执行定位。这些传感器可以包括照相机、红外辐射(IR)传感器、热传感器、运动传感器、全球定位系统(GPS)接收器，或者在某些情况下，检测用户眼睛移动的传感器。例如，人工现实设备可以包括眼睛跟踪器或凝视检测器，其确定用户正在看哪里。用户的眼球常常会看向声源，即使短暂地。由用户的眼球提供的这样的线索可以进一步帮助确定声源的位置。诸如照机机、热传感器和IR传感器的其他传感器也可以指示用户的位置、电子设备的位置、或另一声源的位置。可以单独或组合地使用任何或所有上述方法来确定声源的位置，并且还可以用于随着时间来更新声源的位置。

一些实施例可以实现所确定的DOA来为用户生成更多的定制的输出音频信号。例如，“声学传递函数”可以表征或定义如何从给定位置接收声音。更具体地，声学传递函数可以定义声音在其源位置处的参数与通过其检测声音信号(例如，由麦克风阵列检测或由用户的耳朵检测)的参数之间的关系。人工现实设备可以包括检测在设备的范围内的声音的一个或更多个声传感器。人工现实设备的控制器可以(例如，使用上面识别的任一方法)估计检测到的声音的DOA，并且基于检测到的声音的参数，可以生成特定于设备的位置的声学传递函数。因此，该定制的声学传递函数可以用于生成空间化的输出音频信号，其中声音被感知为来自特定位置。

事实上，一旦一个或更多个声源的位置是已知的，人工现实设备就可以将声音信号重新再现(即，空间化)成好像来自该声源的方向的声音。人工现实设备可以应用滤波器或其他数字信号处理，其改变声音信号的强度、频谱或到达时间。数字信号处理可以以使得声音信号被感知为源自所确定的位置这样的方式被应用。人工现实设备可以放大或抑制某些频率或者改变信号到达每个耳朵的时间。在一些情况下，人工现实设备可以创建特定于设备的位置和声音信号的检测到的到达方向的声学传递函数。在一些实施例中，人工现实设备可以在立体声设备或多扬声器设备(例如，环绕声设备)中重新再现源信号。在这种情况下，可以向每个扬声器发送单独且不同的音频信号。可以根据用户的HRTF以及根据对用户的位置和声源的位置的测量结果来将这些音频信号中的每一个改变成好像它们来自声源的所确定的位置一样的声音。因此，以这种方式，人工现实设备(或与该设备相关联的扬声器)可以将音频信号重新再现为好像源自特定位置的声音。

尽管一些不同的附图以特定的顺序示出了多个逻辑阶段，但是不依赖于顺序的阶段可以被重新排序，并且其他阶段可以被组合或分解。虽然特别提到了一些重新排序或其他分组，但是对于本领域的普通技术人员来说，其他的将是显而易见的，因此本文呈现的排序和分组并不是备选方案的穷举列表。此外，应当认识到，可以用硬件、固件、软件或其任意组合来实现这些阶段。

为了解释的目的，已经参考具体实施例描述了前面的描述。然而，上述说明性讨论并不旨在是穷举的或将权利要求的范围限制到所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。选择实施例是为了最好地解释权利要求书的基本原理及其实际应用，从而使本领域的其他技术人员能够最佳地使用具有各种修改的实施例，以适合预期的特定用途。

注意，本文公开的实施例也可以与以下申请中描述的任何实施例相结合：2018年3月23日提交的题为“Methods,Devices,and Systems for Determining Contact On aUser of a Virtual Reality and/or Augmented Reality Device”的第62/647,559号美国临时申请、2018年2月28日提交的题为“Methods,Devices,and Systems for CreatingHaptic Stimulations and Tracking Motion of a User”的第62/636,699号美国临时申请和2018年1月8日提交的题为“Methods,Devices,and Systems for Creating LocalizedHaptic Sensations on a User”的第62/614,790号美国临时申请。

还应注意，本文公开的实施例也可以与以下申请中描述的任何实施例相结合：2019年1月7日提交的题为“Methods,Devices,and Systems for Creating HapticStimulations and Tracking Motion of a User”的第16/241,871号美国发明专利申请、2019年1月7日提交的题为“Methods,Devices,and Systems for Determining Contact Ona User of a Virtual Reality and/or Augmented Reality Device”的第16/241,890号美国发明专利申请和2019年1月7日提交的题为“Methods,Devices,and Systems forCreating Localized Haptic Sensations on a User”的第16/241,900号美国发明专利申请。

Claims (27)

1.一种方法，包括：

在附连到用户的第一附肢、包括一个或更多个换能器的第一可穿戴设备处：

由所述一个或更多个换能器接收由附连到用户的第二可穿戴设备发送的一组信号，其中(i)接收所述一组信号在所述第一可穿戴设备和所述第二可穿戴设备之间创建信号路径，以及(ii)所述一组信号中的信号至少通过所述用户的第一附肢传播；

确定在所述第一可穿戴设备和所述第二可穿戴设备之间创建的信号路径的基线特征；

在接收所述一组信号时感测所述基线特征的变化；和

根据确定感测到的所述信号路径的基线特征的变化满足接触标准，报告所述用户的第一附肢上的候选触摸事件。

2.根据权利要求1所述的方法，其中，报告所述候选触摸事件包括向计算机系统发送对应于感测到的所述基线特征的变化的换能器数据。

3.根据权利要求1-2中任一项所述的方法，其中：

所述计算机系统在用户的第一附肢上显示包括一个或更多个可供性的用户界面；和

所述候选触摸事件与包括在所述用户界面中的所述一个或更多个可供性中的第一可供性相关联。

4.根据权利要求1-3中任一项所述的方法，还包括，在所述第一可穿戴设备处：

至少部分地基于感测到的所述基线特征的变化，确定所述候选触摸事件在所述用户的第一附肢上的近似定位，

其中，发送到所述计算机系统的所述换能器数据还包括指示所述候选触摸事件的近似定位的信息。

5.根据权利要求1-4中任一项所述的方法，其中，发送到所述计算机系统的所述换能器数据还指示所述候选触摸事件在所述用户的第一附肢上的近似定位。

6.根据权利要求1-5中任一项所述的方法，其中，所述计算机系统：

经由一个或更多个照相机捕获所述候选触摸事件；

根据所述候选触摸事件的捕获来生成图像数据；和

在处理所述换能器数据和所述图像数据之后，执行与所述用户界面的第一可供性相关联的功能。

7.根据权利要求1-6中任一项所述的方法，其中：

所述基线特征包括基线相位值；和

感测所述信号路径的基线特征的变化包括检测所述信号路径的不同于所述基线相位值的相位值。

8.根据权利要求1-7中任一项所述的方法，其中：

所述接触标准包括相位差阈值；和

根据确定所述相位值和所述基线相位值之间的差满足所述相位差阈值来执行报告所述候选触摸事件。

9.根据权利要求1-8中任一项所述的方法，其中：

所述基线特征包括基线幅度值；和

感测所述信号路径的基线特征的变化包括检测所述信号路径的不同于所述基线幅度值的幅度值。

10.根据权利要求1-9中任一项所述的方法，其中：

所述接触标准包括幅度差阈值；和

根据确定所述幅度值和所述基线幅度值之间的差满足所述幅度差阈值来执行报告所述候选触摸事件。

11.根据权利要求1-10中任一项所述的方法，其中：

所述基线特征包括基线幅度值和基线相位值；和

感测所述信号路径的基线特征的变化包括检测(i)所述信号路径的不同于所述基线幅度值的幅度值，以及(ii)所述信号路径的不同于所述基线相位值的相位值。

12.根据权利要求1-11中任一项所述的方法，其中：

所述接触标准包括幅度差阈值和相位差阈值；和

根据以下确定来执行报告所述候选触摸事件：(i)所述幅度值和所述基线幅度值之间的差满足所述幅度差阈值，以及(ii)所述相位值和所述基线相位值之间的差满足所述相位差阈值。

13.根据权利要求1-12中任一项所述的方法，其中：

所述接触标准包括时间阈值；

感测所述基线特征的变化包括在一段时间内感测所述变化；和

根据确定所述一段时间满足所述时间阈值来执行报告所述候选触摸事件。

14.根据权利要求1-13中任一项所述的方法，还包括，在所述第一可穿戴设备处：

在接收所述一组信号之前：

接收信号特征的多个预定值，其中，所述信号特征的每个预定值对应于所述用户的第一附肢的特定定位。

15.根据权利要求1-14中任一项所述的方法，其中，所述候选触摸事件选自由以下项组成的组：轻击手势、按下并保持手势、多次轻击手势、滑动手势、拖动手势、捏合手势、拉动手势、悬停和扭转手势。

16.根据权利要求1-15中任一项所述的方法，其中：

报告所述候选触摸事件包括向计算机系统发送与感测到的所述信号路径中的变化相关联的数据；和

所述计算机系统至少部分地基于与感测到的所述信号路径中的变化相关联的数据，来确定用户是否打算与显示在所述用户的第一附肢上的用户界面的可供性进行交互。

17.根据权利要求1-16中任一项所述的方法，其中，所述计算机系统：

经由一个或更多个照相机捕获所述候选触摸事件的近似定位，所述候选触摸事件的近似定位对应于显示在所述用户的第一附肢上的用户界面中的所述可供性的定位；和

响应于确定用户打算与所述第一可供性交互并且根据所述候选触摸事件的近似定位，执行与所述可供性相关联的功能。

18.根据权利要求1-17中任一项所述的方法，其中，所述计算机系统是从由增强现实系统、虚拟现实系统和混合现实系统组成的组中选择的人工现实系统。

19.一种附连到用户的第一附肢的第一可穿戴设备，包括：

一个或更多个换能器；

一个或更多个处理器；和

存储一个或更多个程序的存储器，当所述一个或更多个程序被所述一个或更多个处理器执行时，使得所述可穿戴设备：

由所述一个或更多个换能器接收由附连到用户的第二可穿戴设备发送的一组信号，其中(i)接收所述一组信号在所述第一可穿戴设备和所述第二可穿戴设备之间创建信号路径，以及(ii)所述一组信号中的信号至少通过所述用户的第一附肢传播；

确定在所述第一可穿戴设备和所述第二可穿戴设备之间创建的信号路径的基线特征；

在接收所述一组信号时感测所述基线特征的变化；和

根据确定感测到的所述信号路径的基线特征的变化满足接触标准，报告所述用户的第一附肢上的候选触摸事件。

20.根据权利要求19所述的第一可穿戴设备，其中，当由所述一个或更多个处理器执行时，所述一个或更多个程序使得所述第一可穿戴设备执行根据权利要求2-18中任一项所述的方法。

21.一种存储一个或更多个程序的非暂时性计算机可读存储介质，所述一个或更多个程序被配置为由具有一个或更多个换能器的第一可穿戴设备的一个或更多个处理器执行，所述一个或更多个程序包括指令，当由所述一个或更多个处理器执行时，所述指令使得所述第一可穿戴设备：

由所述一个或更多个换能器接收由附连到用户的第二可穿戴设备发送的一组信号，其中(i)接收所述一组信号在所述第一可穿戴设备和所述第二可穿戴设备之间创建信号路径，以及(ii)所述一组信号中的信号至少通过用户的第一附肢传播；

确定在所述第一可穿戴设备和所述第二可穿戴设备之间创建的信号路径的基线特征；

在接收所述一组信号时感测所述基线特征的变化；和

根据确定感测到的所述信号路径的基线特征的变化满足接触标准，报告所述用户的第一附肢上的候选触摸事件。

22.根据权利要求21所述的非暂时性计算机可读存储介质，其中，所述一个或更多个程序还包括用于执行根据权利要求2-18中任一项所述的方法的指令。

23.一种系统，包括：

附连到用户的第一可穿戴设备，其被配置为经由一个或更多个第一换能器发送一组信号；和

第二可穿戴设备，其附连到用户的第一附肢，且被配置为：

由所述第二可穿戴设备的一个或更多个第二换能器接收由所述第一可穿戴设备发送的所述一组信号，其中(i)接收所述一组信号在所述第一可穿戴设备和所述第二可穿戴设备之间创建信号路径，以及(ii)所述一组信号中的信号至少通过所述用户的第一附肢传播；

确定在所述第一可穿戴设备和所述第二可穿戴设备之间创建的信号路径的基线特征；

在接收所述一组信号时感测所述基线特征的变化；和

根据确定感测到的所述信号路径的基线特征的变化满足接触标准，报告所述用户的第一附肢上的候选触摸事件。

24.根据权利要求23所述的系统，还包括计算机系统，其中，报告所述候选触摸事件包括向所述计算机系统发送对应于感测到的所述基线特征的变化的换能器数据。

25.根据权利要求24所述的系统，其中，所述计算机系统和所述第一可穿戴设备是不同的设备。

26.根据权利要求24-25中任一项所述的系统，其中，所述计算机系统是从由增强现实系统、虚拟现实系统和混合现实系统组成的组中选择的人工现实系统。

27.根据权利要求23-26中任一项所述的系统，其中，所述系统被配置成执行根据权利要求2-17中任一项所述的方法。

Images