CN106104423B - 姿势参数调节 - Google Patents

Abstract

本文公开了涉及调节配置成接收基于姿势的用户输入的设备的姿势识别特性的各实施例。例如，一个所公开的实施例提供了一种头戴式显示设备，包括：多个传感器；配置成呈现用户界面的显示器；逻辑机；以及存储机，所述存储机保持能由所述逻辑机执行以进行以下的指令：基于从所述多个传感器中的第一传感器接收到的信息来检测姿势，响应于检测到所述姿势来执行动作，以及确定所述姿势是否匹配有意姿势输入。该指令进一步能执行以在确定检测到的姿势不匹配该有意姿势输入的情况下更新定义该有意姿势输入的姿势参数。

Description

姿势参数调节

技术领域

本公开涉及姿势参数调节。

背景技术

用于计算设备输入的三维人体姿势可由一个或多个特定身体部位在一个或多个维度中随时间的特定运动来定义。这样的运动可被识别为姿势，例如如果运动落在针对该姿势定义的位置、速度、加速度、和/或其他量的可允许范围内的话。

发明内容

本文公开了涉及调节配置成接收基于姿势的用户输入的设备的姿势识别特性的各实施例。例如，一个所公开的实施例提供了一种头戴式显示设备，包括：多个传感器；配置成呈现用户界面的显示器；逻辑机；以及存储机，所述存储机保持能由所述逻辑机执行以进行以下的指令：基于从所述多个传感器中的第一传感器接收到的信息来检测姿势，响应于检测到所述姿势来执行动作，以及确定所述姿势是否匹配有意姿势输入。该指令进一步能执行以在确定检测到的姿势不匹配该有意姿势输入的情况下更新定义该有意姿势输入的姿势参数。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。

附图说明

图1示出根据本公开的一实施例的用于调节姿势参数的示例用户界面。

图2示出根据本公开的实施例的示例头部姿势。

图3是根据本公开的一实施例的姿势识别系统的框图。

图4是解说根据本公开的一实施例的更新姿势参数的方法的流程图。

图5是解说根据本公开的一实施例的更新姿势参数的另一方法的流程图。

图6示出根据本公开的一实施例的示例头戴式显示设备。

图7示出根据本发明的一实施例的示例计算系统。

具体实施方式

如上所述，三维姿势可由指定与用户运动相关的特性(诸如方向、速度、加速度，等等)的值范围的一个或多个参数来定义。将可接受的值的较大范围用于姿势可帮助用户更容易地成功执行姿势。然而，使用较大范围还可能限制能够被该系统解释的不同姿势的数量，并且可增加假肯定姿势标识的风险(例如，标识并非旨在作为用户姿势输入的姿势输入)。相反，使用较小范围可能提高假否定的概率(例如，未能标识预期姿势输入)。由于不同用户可以某种不同的方式来执行所选姿势，所以可能难以确定适用于大量用户的参数范围。

因而，本文描述的各实施例提供了定义针对计算设备的姿势输入的参数的动态调节或调整。使用所描述的实施例，定义姿势的参数可在特定用户执行该姿势时针对该用户来调节。在优选实施例中，姿势识别系统调节可以在正常设备使用期间作为后台进程发生，而在其他实施例中，姿势识别调节可以经由例如呈现为娱乐活动的专用程序来执行。

图1示出显示在头戴式显示设备110上的用于交互式游戏活动的示例用户界面102，其中用户104可经由使用头戴式显示设备110上的一个或多个传感器检测到的姿势来与该用户界面交互。例如，检测到的姿势可包括由一个或多个运动传感器检测到的头部姿势、手势、眼睛姿势、和/或身体姿势，和/或由头戴式显示设备上或通信连接到头戴式显示设备的一个或多个话筒检测到的语音输入。使用游戏来用于姿势识别系统调节可帮助降低在确定检测到的运动是否旨在作为姿势时的任何模糊性，因为用户执行姿势输入的意图可以从用户对游戏的参与中来推断。在调节作为普通设备使用期间的后台进程来执行的情况下，这样的意图可例如根据提供与用户意图有关的信息的其他传感器数据来确定，如下文更详细地描述的。将理解，图1中的虚线可以表示其中可显示虚拟图像的透视头戴式显示设备的视野108，并且所描绘的游戏可经由透视显示设备的透视显示屏来显示。

用户界面102包括一个或多个交互式游戏元素106，每一游戏元素具有可改变的视觉状态，诸如可改变的颜色。例如，交互式游戏元素106a以第一颜色示出(在图1中由实心白色填充来表示)，而交互式游戏元素106b以第二颜色示出(在图1中由阴影线图案填充来表示)。在该游戏中，用户可以经由姿势(诸如经由头戴式显示设备110上的运动传感器(例如，加速度计、陀螺仪、图像传感器，等等)检测到的头部姿势)将交互式颜色的视觉状态从初始视觉状态改变成目标视觉状态。游戏的目标可以是例如使用指定姿势输入与每一交互式游戏元素进行交互来将每一交互式游戏元素改变成目标视觉状态。在一些实施例中，不同姿势可被用来与不同元素交互，从而允许调节要在游戏的同一实例中执行的多个不同姿势的参数。将理解，可在游戏开始时向用户指令如何执行姿势。

用户界面102可包括可例如经由头戴式显示设备110的注视检测系统控制的光标112。注视检测系统可以通过用户104的注视方向114的指示，和/或用户的所确定的注视与用户界面102的相交位置。用户的注视可以用任何合适的方式来跟踪。例如，在优选实施例中，利用眼睛成像相机的眼睛跟踪系统以及配置成反射来自用户的角膜的光的光源可被用来检测用户的眼睛朝向的方向。注视线随后可被投影，并且注视线与用户界面102的相交点可被用来将注视映射到用户界面102。在其他实施例中，任何其他合适的方法可被用来控制光标，诸如头部移动(例如，由头戴式显示设备110的相机、陀螺仪、加速度计和/或其他传感器检测的)、身体姿势(例如，用户的手的移动，如头戴式显示设备110上的经由面向外的图像传感器检测到的)，等等。

如上所述，用户104可以通过执行针对每一交互式游戏元素106a的指定姿势输入(诸如用户突然抬头)来改变该交互式游戏元素的视觉状态。用来与交互式游戏元素进行交互的每一姿势可由姿势参数来定义，诸如移动的角度/轨迹、移动速度、加速度分布图、稳定时段(例如，在执行该姿势之前/之后的容忍过度抖动的时间)、移动的开始和/或结束位置、和/或任何其他合适的特性。此外，每一参数可包括可接受的值范围。

在用户104以交互式游戏元素106a为目标(例如，基于头部位置、注视方向，等等)且基于当前姿势参数检测到满足特定姿势的定义的运动时，交互式游戏元素106a的视觉状态可以从初始视觉状态改变成目标视觉状态。

然而，如果落入指定姿势的定义内的运动被确定为指向已经具有目标视觉状态的交互式游戏元素，则姿势确定可被认为是假肯定。响应于假肯定，与指定姿势相关联的参数可被修改以降低检测到的运动在将来被识别为该指定姿势的概率。例如，一个或多个空间姿势参数可被改变，使得该运动的路径将落在一个或多个参数范围之外。此外，在一些实施例中，对姿势参数的更新可以与用户简档相关联，使得姿势参数可在逐用户的基础上被定义和利用。以此方式，姿势识别系统可适应于并记住各单独的用户行为。

假肯定姿势也可按其他方式来检测。例如，在接收到假肯定姿势检测的反馈时(例如，非预期用户界面当作)，用户可以使用另一输入机制(诸如语音命令、手势、或其他合适的输入)执行撤消命令。同样，从其他传感器接收到的上下文信息也可被用来检测假肯定。例如，用户可讲出表达沮丧的词语、挥拳、跺脚、和/或执行其他这样的动作，且这些动作可从传感器数据来检测。因而，在响应于检测到的姿势输入执行了动作之后检测到这些动作时，被识别为姿势的检测运动可被再次分析以确定该识别是假肯定的概率。检测假肯定的这些方法中的一者或多者可以在普通设备使用期间确定，并且因而可允许调节来作为普通设备使用期间的后台进程来执行。可以理解，这些检测假肯定的方法是出于示例的目的而呈现的，而不旨在以任何方式进行限制。

在其他实例中，用户可能旨在执行指定姿势，但该系统可能未能识别该姿势。这可被认为是假否定姿势识别。例如，在用户重复一运动同时在视觉上以游戏中的同一交互式元素为目标时，可检测到假否定。在一些实例中，姿势可以是按诸片段来识别的。因而，如果系统多次检测到要被执行的姿势的初始片段而姿势没有完成的情况下，则该系统可以确定发生了假否定姿势识别。作为更具体示例，选择姿势可包括向上点头(例如，头部的抬起)，并且检测到的用户104运动可以在该选择姿势的速度容限之外和/或相对于姿势参数向一侧倾斜得过远。响应于检测到假否定姿势识别，指定姿势的参数可被更新，使得检测到的运动更可能被标识为指定姿势。

图2解说示例头部姿势(例如，向上点头)且还示出与该头部姿势相关联的迹线。位置A和B表示用户202在执行头部姿势期间的不同时间点的头部姿态。如图所示，在位置B处的用户头部抬起到从在位置A处的用户头部偏移约30度的角度。这一偏移的表示在图表204中被绘制成在图表204上从点A延伸到点B的迹线。图表204还示出了姿势的基础迹线206，这表示姿势的预期迹线。容限区208包括可能不同于基础迹线206但然而被解释为由基础迹线206所定义的头部姿势的可接受迹线的区域。容限区208由姿势的姿势参数来定义。将理解，在一些实施例中，可只为姿势定义容限区，而没有被容限区包围的基础迹线。当用户202的头部所遵循的从位置A到位置B的迹线处于容限区208内时，在图2中用户202所执行的运动可被识别为与基础迹线206相关联的头部姿势。

图3是示例姿势识别系统300的框图。姿势识别系统300可例如被合并在头戴式显示设备中，诸如图1的头戴式显示设备110。姿势识别系统300可经由存储在头戴式显示设备110的存储设备上且由头戴式显示设备110上的逻辑设备执行的指令来实现，或以任何其他合适的方式来实现。

姿势识别系统300可包括配置成接收并解释从多个传感器302(例如，头戴式显示设备上的传感器)接收到的数据的一个或多个模块，并且还可包括各自包括定义相关联的用户输入姿势的一个或多个参数306的姿势304定义。例如，诸如姿势检测模块308、眼睛跟踪模块310以及语音识别模块312等模块可以接收来自传感器302中的一者或多者的信息以监视和/或跟踪用户输入。姿势参数306可被存储在头戴式显示设备上并在姿势识别期间访问。传感器302可包括运动传感器(例如，一个或多个陀螺仪和/或加速度计)、面向外的相机、和/或用于感测用户移动的任何其他合适的传感器。传感器302可进一步包括深度相机、一个或多个眼睛跟踪传感器(例如，一个或多个面向内的相机)、话筒、和/或用于检测可被用于辅助姿势识别和/或确定作出姿势输入的用户意图(例如，经由注视检测、手部跟踪、语音命令检测，等等)的上下文信息的任何其他合适的传感器。将理解，图3中所示的模块是出于示例来呈现的，且其他实施例可以利用不同模块来监视和/或解释用户输入和/或上下文信息。

姿势检测模块308可包括可由头戴式显示设备上的(或与头戴式显示设备通信的计算系统上的)逻辑设备执行以将来自传感器302的运动信息与姿势参数306相匹配来检测姿势的执行的指令。在检测到姿势时，姿势检测模块302可以将检测到的姿势报告给呈现用户界面316的应用314以用于执行与检测到的姿势相关联的用户界面动作。

姿势检测模块308可以将检测到的姿势以及与姿势的检测相关联的传感器信息(例如，运动路径数据)报告给参数更新模块318。参数更新模块318可以基于来自姿势检测模块308(例如，在检测到姿势期间和/或之后所监视的)以及可任选地来自用户界面316的信息来确定用户意图。参数更新模块318还可接收来自其他传感器数据分析模块(例如，语音识别模块312、眼睛跟踪模块310，等等)的与这样的用户动作相对应的信息，且可根据这样的数据来确定假肯定姿势识别的发生。例如，在假肯定姿势检测之后，用户可以执行头部姿势、手部姿势、语音输入、和/或其他用户输入以撤消或反转与检测到的非有意姿势相关联的动作。在检测到假肯定时，参数更新模块318可以更新该姿势的参数306以帮助降低由用户执行的该一个或多个运动将来被检测为姿势输入的概率。

同样，在假否定状况的情况下，用户可能变得沮丧并快速连贯地执行同一运动的夸张版本，或者执行沮丧的其他动作特性(例如，提升语音输入的音量和/或频率、嘟囔与沮丧状态相关联的特定词语、快速/不规律地移动手、跺脚，等等)。假否定状况也可以由姿势检测模块308和/或其他输入检测模块检测到多个姿势初始化而没有对应的姿势完成来指示。如上所述，姿势可被分成被分开识别且由姿势检测模块报告的多个阶段。例如，姿势可被分成初始化(例如，姿势的第一部分和/或与姿势的第一部分相关联的移动)和完成(例如，姿势的其余部分)。因而，在检测到连贯姿势初始化而没有对应的完成的数目超过阈值时，参数更新模块318可以识别出用户旨在执行该姿势但没有正确地执行该姿势的完成。相应地，参数更新模块318可以更新该姿势304的参数以提高由用户执行的该一个或多个运动将来被检测为姿势输入的概率。

在优选实施例中，用户界面316可以响应于多个假肯定和/或假否定来向用户呈现辅助。例如，用户界面316可在听觉上和/或视觉上呈现与一个或多个姿势的执行有关的指令。

图4示出描绘用于响应于假肯定姿势识别来更新姿势识别系统中的姿势参数的方法400的实施例的流程图。方法400可以经由执行存储在头戴式显示设备上的指令来执行，和/或以任何其他合适的方式执行。在402，方法400包括例如经由头戴式显示设备上的用户界面的显示来呈现用户界面。在404，方法400包括基于来自至少第一传感器的信息来检测姿势。例如，可基于来自陀螺仪、加速度计、相机、和/或标识头戴式显示设备的佩戴者的头部的位置和/或定向的变化的其他传感器的信息来检测姿势。检测到的姿势可包括手部姿势、臂部姿势、头部姿势、眼睛姿势、身体姿势、语音姿势(例如，语音命令/输入)、它们的组合、和/或任何其他合适的姿势。

在一些实例中，来自两个或更多个传感器的数据可被用作姿势输入，如在406所示。例如，眼睛跟踪传感器可被用来确定用户正注视用户界面上的哪一位置。此外，话筒可被用来确定来自佩戴者的语音输入是否提供与该姿势相关的任何上下文信息。例如，选择姿势可包括头部姿势输入(例如，向上点头)和语音输入(例如，语音命令“选择”)，它们中的每一者可被互换地使用。如果在执行头部姿势期间检测到语音命令，则该语音命令可用作该头部姿势的确认和/或验证(或反之亦然)。

在408，方法400包括响应于检测到该姿势来执行指派给该检测到的姿势的动作。例如，如果检测到的用户姿势是选择姿势，则动作可包括选择该选择姿势作为目标的例如经由注视跟踪确定的用户界面组件。佩戴者因而接收来自用户界面的与系统如何解释佩戴者的运动有关的视觉反馈。

方法400进一步包括在410，监视一个或多个传感器，且在412基于来自该一个或多个传感器的信息来确定检测到的用户姿势是否是假肯定。例如，可从传感器数据中检测到撤消姿势，从而指示佩戴者没有旨在执行与该动作相关联的姿势。在其他实例中，可以从在其中发生检测到的用户运动的上下文中推断出意图，如以上参考图1所示的游戏所描述的。

如果姿势未被确定为假肯定，则方法400返回而不调整姿势参数。另一方面，如果姿势被确定为假肯定，则在414，方法400包括以如下方式更新姿势调节参数：降低该运动在将来被解释为假肯定的概率。

图5示出描绘用于更新姿势识别系统中的姿势参数的方法500的实施例的流程图。方法500可以经由执行存储在头戴式显示设备上的指令来执行，和/或以任何其他合适的方式执行。在502，方法500包括监视头戴式显示设备的传感器以确定佩戴者的头部位置。这可包括例如跟踪头戴式显示设备随时间在一个或多个运动自由度上(例如，在一些实施例中，在六个自由度上)的运动，如在504所示。在506，方法500包括检测姿势的初始化(例如，通过检测姿势的第一部分的执行)。可基于将运动传感器输出与姿势参数相比较来标识姿势初始化，如在508所示。用户姿势的初始化对于特定姿势而言可以是唯一性的，或者是多个姿势共用的。在后一示例中，用户姿势的初始化可以提供用户旨在作出某一姿势的指示，但该特定姿势可能不确定。

在510，方法500进一步包括标识用户界面的一个或多个目标项。可基于在姿势开始时的HMD位置(如在512所示)、基于用户的注视(如在514所示)或以任何其他合适的方式来标识目标项。

在516，方法500包括确定姿势是否完成。例如，如果头部/HMD随时间的位置在与一个或多个维度中的姿势定义相关联的头部/HMD运动的范围之外，则姿势可被确定为未完成。如果姿势未完成(例如，516处的“否”)，则方法500进至518以确定是否已执行阈值数量的初始化而没有完成该姿势。在优选实施例中，各种约束可被应用于这一确定，诸如对不带居间姿势的连贯的初始化进行计数和/或对发生在一时间窗口内的初始化进行计数。在其他实施例中，该确定可不具有这样的约束。

如果所执行的初始化数目不大于阈值(例如，518处的“否”)，则方法500返回502以继续监视传感器。另一方面，如果所执行的初始化的数目大于阈值(例如，518处的“是”)，则方法500在520确定发生了假否定姿势检测，并且相应地在522更新姿势参数以帮助降低在将来执行该运动时的假否定概率。在其他实例中，例如，在姿势的初始部分共用于若干姿势的情况下，姿势参数可在正确地执行该姿势之后被更新。

返回516，如果姿势被确定为已完成(例如，运动作为整体处于姿势输入的参数内)，则方法500包括在524执行指派给目标用户界面项的对应动作。在执行动作之后，方法500随后可包括在526监视传感器以寻找与用户意图有关的信息(例如，以检测假肯定)，并且在528确定如果该姿势是否是有意的，如以上参考图4所述。如果姿势不是有意的，则方法500包括在530确定发生了假肯定状况，且在522更新姿势参数。方法500返回502以继续监视传感器来检测姿势。

在优选实施例中，姿势数据、经调整的姿势参数、假肯定/否定、以及其他传感器信息可以在来自该设备的用户的批准下通过网络传送给外部服务并且被存储和/或转发给其他姿势识别系统。以此方式，姿势训练数据池可被扩大并一致地更新。这可辅助将来参数开发。虽然以上描述的实施例可以在专用姿势训练体验(例如，参考图1描述的游戏)下执行，但姿势训练可在将该设备与其他应用一起使用期间有机地发生。将理解，以上参考检测头部姿势描述的示例可被应用于与眼睛跟踪、语音识别、手部跟踪、和/或任何其他合适的输入调节相关联的姿势参数。作为补充或替换，本文描述的调节系统和方法可被应用于系统的调节输出(例如，检测用户听力受损并相应地偏置音频)并且向用户提供创作系统以创作唯一性姿势和相关联的姿势参数。

图6示出具有透明显示器602的一副可佩戴眼镜形式的示例HMD设备600。将明白，在其他示例中，HMD设备600可以采取其他合适的形式，其中透明、半透明、不透明和/或可变地透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1中所示的HMD设备110可以采取HMD设备600的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。

HMD设备600包括在604示意性地指示的图像生成系统以及使得诸如全息对象等图像能被递送到HMD的佩戴者的眼睛的透明显示器602。透明显示器602可被配置成向透过该透明显示器查看物理环境的佩戴者在视觉上增强该物理环境的外观。例如，物理环境的外观可以由经由透明显示器602呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强以创建混合现实环境。

透明显示器602还可被配置成使用户能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境中的物理现实世界对象。如图6所示，在一个示例中，透明显示器602可包括位于透镜606内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器602可包括在透镜606边缘上的光调制器。在这一示例中，透镜606可以担当光导以供将光从光调制器递送到用户的眼睛。这样的光导可使得用户能够感知位于物理环境内的用户正在查看的3D全息图像，同时还允许用户查看物理环境中的物理对象，由此创建混合现实环境。

HMD设备600还可包括各种传感器和相关系统。例如，HMD设备600可包括包含配置成获取来自用户的眼睛的注视跟踪数据形式的图像数据的一个或多个图像传感器的注视跟踪系统608。假定用户已同意获取和使用这一信息，注视跟踪系统608可以使用这一信息来跟踪用户的眼睛的位置和/或运动。

在一个示例中，注视跟踪系统608包括被配置成检测用户的每一个眼睛的注视方向的注视检测子系统。该注视检测子系统可被配置成以任何合适方式确定每一只用户眼睛的注视方向。例如，注视检测子系统可包括诸如红外光源等被配置成使得从用户的每一只眼睛反射闪光的一个或多个光源。一个或多个图像传感器然后可被配置成捕捉用户眼睛的图像。

如从收集自图像传感器的图像数据确定的闪烁和瞳孔的图像可用于确定每一眼睛的光轴。使用这一信息，注视跟踪系统608随后可确定用户的注视方向。作为补充或替换，注视跟踪系统608可确定用户注视哪一物理或虚拟对象。此类注视跟踪数据然后可被提供给HMD设备600。

还将理解，注视跟踪系统608可以具有任意适当数量和布置的光源和图像传感器。例如并参考图6，HMD设备600的注视跟踪系统608可以利用至少一个面向内的传感器609。

HMD设备600还可包括从物理环境接收物理环境数据的传感器系统。例如，HMD设备600还可包括利用一个或多个运动传感器(诸如HMD设备600上的运动传感器612)来捕捉头部姿态数据并从而允许用户头部的位置跟踪、方向以及定向感测和/或运动检测的头部跟踪系统610。相应地并且如以上更详细地描述的，图3的姿势检测模块302可以接收头部姿态数据作为允许估计HMD设备600的姿态的传感器信息。

在一个示例中，头部跟踪系统610可包括配置成三轴或三自由度的位置传感器系统的惯性测量单元。这一示例位置传感器系统可以例如包括用于指示或测量HMD设备600在3D空间内绕三个正交轴(例如，x、y、z)(例如，滚转、俯仰、偏航)的定向变化的三个陀螺仪。在另一示例中，头部跟踪系统610可包括配置成六自由度的位置传感器系统的惯性测量单元。这一示例位置传感器系统可以例如包括用于指示或测量HMD设备600沿三个正交轴的位置变化和绕该三个正交轴的设备定向变化的三个加速度计和三个陀螺仪。

头部跟踪系统610还可以支持其他合适的定位技术，如GPS或其他全球导航系统。此外，尽管描述了位置传感器系统的具体示例，但将明白，可以使用任何其他合适的位置传感器系统。例如，头部姿态和/或移动数据可以基于来自安装者佩戴者上和/或佩戴者外部的传感器的任何组合的传感器信息来确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元(IMU)、GPS设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机，等等)、通信设备(例如，WIFI天线/接口)，等等。

在一些实例中，HMD设备600还可包括利用一个或多个面向外的传感器来捕捉图像数据的可任选传感器系统，诸如HMD设备600上的光传感器614。一个或多个面向外的传感器可以检测其视野内的移动，如视野内的用户或人或物理对象所执行的基于姿势的输入或其他移动。该一个或多个面向外的传感器还可从物理环境和该环境内的物理对象捕捉2D图像信息和深度信息。例如，该一个或多个面向外的传感器可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。

光学传感器系统可包括经由一个或多个深度相机来生成深度跟踪数据的深度跟踪系统。在一个示例中，每一深度相机可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。

在其他示例中，结构化光深度相机可被配置成投影结构化红外照明并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上以及检测从该场景反射的照明。例如，照明可由红外光源516提供。可以理解，在本发明的范围内可使用任意其他合适的深度相机。

面向外的传感器可以捕捉用户位于其中的物理环境的图像。参考HMD设备600，在一个示例中，混合现实显示程序可包括使用这样的所捕捉的图像来生成对用户周围的物理环境进行建模的虚拟环境的3D建模系统。

HMD设备600还可包括话筒系统，该话筒系统包括捕捉音频数据的一个或多个话筒，诸如HMD设备600上的话筒618。在其他示例中，音频可经由一个或多个扬声器(诸如HMD设备600上的扬声器620)被呈现给用户。

HMD设备600还可包括控制器，诸如HMD设备600上的控制器622。该控制器可包括与HMD设备和显示器的各传感器和系统通信的逻辑机和存储机，如下文参考图7更详细地讨论的。在一个示例中，存储子系统可包括能由逻辑子系统执行以接收来自传感器的输入、确定HMD设备600的姿态、以及调整系数值透明显示器602上的内容的显示属性的指令。

本公开提供了使用运动家族模型基于传感器信息对检测到的设备运动进行建模以确定所估计的设备姿态的视觉跟踪系统。利用基于与设备的佩戴者相关联的检测到的姿态/移动信息选择的模型，通过选择适用于设备被使用的方式(例如，佩戴者是否在站立时阅读、在移动时玩游戏，等等)的模型，减轻了不同运动家族模型所提供的稳定性与准确性之间的折中。

在一些实施例中，在此描述的方法和过程可以与一个或多个计算设备的计算系统绑定。尤其地，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。

图7示意性地示出可以执行上述方法和过程中的一个或多个的计算系统700的非限制性实施例。以简化形式示出了计算系统700。计算系统700可采取以下形式：一个或多个头戴式显示设备、或与头戴式显示设备协作的一个或多个设备(例如，个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备)。

计算系统700包括逻辑机702和存储机704。计算系统700可任选地包括显示子系统706、输入子系统708、通信子系统710、和/或在图7中未示出的其它组件。

逻辑机702包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其它方式得到期望结果。

逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑设备。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

存储机704包括被配置成保存可由逻辑机执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机704的状态(例如，保存不同的数据)。

存储机704可以包括可移动和/或内置设备。存储机704可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储机704可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。

可以理解，存储机704包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。

逻辑机702和存储机704的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。

术语“模块”和“程序”可用于描述被实现为执行一个特定功能的计算系统700的一方面。在某些情况下，可经由执行存储机704所保持的指令的逻辑机702来实例化模块或程序。应当理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等来实例化不同的模块、程序和/或引擎。同样，可以由不同的应用程序、服务、代码块、对象、例程、API、函数等来实例化同一模块、程序和/或引擎。术语“模块”和“程序”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

在被包括时，显示子系统706可用于呈现由存储机704保存的数据的视觉表示。该视觉表示可采用图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子系统706的状态以视觉地表示底层数据的改变。显示子系统706可包括实际上利用任何类型的技术的一个或多个显示设备，诸如图6中所示的HMD 600的透明显示器602。可将此类显示设备与逻辑机702和/或存储机704组合在共享封装中，或者此类显示设备可以是外围显示设备。

在包括输入子系统708时，输入子系统708可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；以上参考图6的头部跟踪系统610描述的传感器中的任一者；和/或任何其他合适的传感器。

当包括通信子系统710时，通信子系统710可以被配置成将计算系统700与一个或多个其它计算设备可通信地耦合。通信子系统710可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统700经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。

将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其它顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (8)

1.一种在头戴式显示设备上的适配姿势识别系统的方法，所述姿势识别系统被配置成识别三维姿势，所述方法包括：

接收来自所述头戴式显示设备的传感器的数据以跟踪所述头戴式显示设备随时间的运动；

根据所述数据检测所述头戴式显示设备的与姿势输入的定义相匹配的运动；以及

响应于检测到所述头戴式显示设备的运动，

通过向所述头戴式显示设备的显示器输出对检测到的姿势的响应，来执行指派给所述姿势输入的动作，

在执行所述动作之后，根据从所述传感器接收到的数据来确定所述头戴式显示设备的运动是否旨在作为所述姿势输入，以及

响应于确定所述头戴式显示设备的运动不旨在作为所述姿势输入，更新定义所述姿势输入的一个或多个姿势参数；

其中确定所述头戴式显示设备的运动是否旨在作为所述姿势输入包括根据由所述显示器呈现的用户界面的状态来确定执行姿势输入的意图，进一步包括通过确定所述动作在所述用户界面上的位置是否对应于所述动作产生目标用户界面状态的位置来确定所检测到的姿势不匹配旨在作为的所述姿势输入。

2.如权利要求1所述的方法，其特征在于，进一步包括检测假否定姿势识别，其中所述头戴式显示设备的运动被确定为旨在作为所述姿势输入但未被识别为所述姿势输入，并且响应于检测到所述假否定实例来更新所述姿势输入的姿势参数。

3.如权利要求2所述的方法，其特征在于，检测所述假否定姿势识别包括确定已执行了所识别的姿势的阈值数目的连贯初始化而没有完成。

4.如权利要求1所述的方法，其特征在于，所述一个或多个姿势参数包括指定在一个或多个维度中的头部移动范围的姿势参数，并且其中更新所述一个或多个姿势参数包括扩展所述范围。

5.一种头戴式显示设备，包括：

多个传感器；

配置成呈现用户界面的显示器；

逻辑机；以及

存储机，所述存储机保持能由所述逻辑机执行以进行以下的指令：

基于从所述多个传感器中的第一传感器接收到的信息来检测姿势；

响应于检测到所述姿势，通过向所述显示器输出对检测到的姿势的响应来执行动作；

在将所述响应输出给所述显示器之后，根据接收到的数据确定所述姿势是否匹配有意姿势输入；以及

如果确定所检测到的姿势不匹配所述有意姿势输入，则更新姿势参数；

其中确定所述姿势是否匹配有意姿势输入包括根据所述用户界面的状态来确定执行姿势输入的意图，进一步包括通过确定所述动作在所述用户界面上的位置是否对应于所述动作产生目标用户界面状态的位置来确定所检测到的姿势不匹配所述有意姿势输入。

6.如权利要求5所述的头戴式显示设备，其特征在于，检测所述姿势进一步包括检测头部移动并将所述头部移动的运动特性与所检测到的姿势的一个或多个姿势参数相匹配，并且其中更新所述姿势参数进一步包括基于所检测到的头部移动的运动特性来调整与头部移动的范围相关的参数。

7.如权利要求5所述的头戴式显示设备，其特征在于，所述用户界面包括游戏用户界面。

8.如权利要求5所述的头戴式显示设备，其特征在于，确定所述姿势是否匹配有意姿势输入包括在执行所述动作之后根据接收到的传感器数据来确定执行姿势输入的意图。