CN105190482B - 缩放手势的检测 - Google Patents

Abstract

本发明揭示用于实施非接触式缩放手势的方法、系统、计算机可读媒体及设备。在一些实施例中，远程检测装置检测与用户相关联的控制对象。所附接的计算装置可使用检测信息来估计用于所述控制对象的最大及最小伸展，且可使此与可用于内容表面上所显示的内容的最大及最小缩放量匹配。接着可使用所述控制对象的远程检测的移动来调整所述内容的当前缩放。

Description

缩放手势的检测

背景技术

本发明的方面涉及显示器接口。确切地说，描述使用非接触式手势的检测来控制显示器中的内容的非接触式接口及相关联的方法。

显示装置的标准接口通常涉及电子输入端的物理操纵。电视遥控器涉及推动按钮。触摸屏显示器接口涉及检测与物理表面的触摸交互。此类接口具有大量的缺点。作为一替代方案，人的动作可以用于控制电子装置。手部动作或人身体的另一部分的动作可以由电子装置检测并用于确定将由所述装置执行(例如提供给被所述装置执行的接口)或输出到外部装置的命令。人的此类动作可以被称为手势。手势可以不需要人物理操纵输入装置。

发明内容

描述与非接触式缩放手势的检测相关的某些实施例。一个可能实施例包含一种通过远程检测与用户相关联的控制对象来检测此手势及响应于缩放起始输入而起始缩放模式的方法。接着识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节，且估计包含最大伸展及最小伸展的控制对象的最大运动范围。接着将最小缩放量及最大缩放量与最大伸展及最小伸展匹配，从而创建沿着缩放向量从最大伸展到最小伸展的缩放匹配。远程检测装置接着用以远程检测控制对象沿着缩放向量的移动，且响应于控制对象沿着缩放向量的移动的检测并基于缩放匹配调整内容的当前缩放量。

在额外替代实施例中，控制对象可包含用户的手部。在又其它实施例中，远程检测控制对象沿着缩放向量的移动可涉及检测用户的手部在三个维度中的当前位置；将缩放向量估计为在用户拉动或推动闭合手掌使其朝向或远离用户时用户的手部的运动路径；及检测在用户拉动或推动闭合手掌使其朝向或远离用户时用户的手部的运动路径。

额外替代实施例可包含通过使用远程检测装置远程检测缩放脱离运动来结束缩放模式。在额外替代实施例中，控制对象包括用户的手部；及检测缩放脱离运动包括在检测到手部的手掌闭合位置之后检测手部的手掌张开位置。在额外替代实施例中，检测缩放脱离运动包括检测控制对象已偏离缩放向量超过缩放向量阈值量。在额外替代实施例中，远程检测装置包括可与安装于手部或腕部的EMG传感器组合以检测手掌张开位置及手掌闭合位置以便确定抓握手势的光学相机、立体相机、深度相机或例如腕带等安装于手部的惯性传感器。在额外替代实施例中，控制对象为用户的手部，且缩放起始输入包括在手部处于沿着缩放向量的第一位置时由远程检测装置检测到手部的手掌张开位置，后跟着手部的手掌闭合位置。

又其它实施例可涉及作为缩放匹配的部分将沿着缩放向量的第一位置与当前缩放量匹配。在额外替代实施例中，识别内容的细节还可包含将最小缩放量及最大缩放量与最大单次伸展缩放量进行比较，及调整缩放匹配以将将最小伸展与第一封端缩放设置相关联且将最大伸展与第二封端缩放设置相关联。在此些实施例中，第一封端缩放设置与第二封端缩放设置之间的缩放差可小于或等于最大单次伸展缩放量。又其它实施例可涉及通过在手部处于沿着缩放向量的不同于第一位置的第二位置时使用远程检测装置远程检测缩放脱离运动来结束缩放模式。又其它实施例可另外涉及在手部处于沿着缩放向量的不同于第二位置的第三位置时响应于第二缩放起始输入而起始第二缩放模式，及响应于第二位置与第三位置之间的沿着缩放向量的差来调整第一封端缩放设置及第二封端缩放设置。

一个可能实施例可经实施为一种由以下各者组成的设备：处理模块、耦合到处理模块的计算机可读存储媒体、耦合到处理模块的显示器输出模块；及耦合到处理模块的图像俘获模块。在此类实施例中，计算机可读存储媒体可包含计算机可读指令，所述计算机可读指令在由计算机处理器执行时致使计算机处理器执行根据各种实施例的方法。一个此类实施例可涉及使用由图像俘获模块接收的数据检测与用户相关联的控制对象；响应于缩放起始输入而起始缩放模式；识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节；估计包含最大伸展及最小伸展的控制对象的最大运动范围；将最小缩放量及最大缩放量与最大伸展及最小伸展匹配以创建沿着缩放向量从最大伸展到最小伸展的缩放匹配；使用图像俘获模块远程检测控制对象沿着缩放向量的移动；及响应于控制对象沿着缩放向量的移动的检测并基于缩放匹配调整内容的当前缩放量。

额外替代实施例可进一步包含音频传感器；及扬声器。在此类实施例中，缩放起始输入可包括经由音频传感器接收的语音命令。在额外替代实施例中，可经由显示器输出模块将当前缩放量传达到服务器基础架构计算机。

一个可能实施例可经实施为一种系统，其包含第一相机；以通信方式耦合到第一相机的第一计算装置；及以通信方式耦合到第一计算装置的输出显示器。在此类实施例中，第一计算装置可包含手势分析模块，所述手势分析模块使用来自第一相机的图像识别与用户相关联的控制对象，估计包含最大伸展及最小伸展的控制对象沿着缩放向量在用户与输出显示器之间的最大运动范围，及由控制对象识别沿着缩放向量的运动。在此类实施例中，第一计算装置可进一步包含内容控制模块，所述内容控制模块将内容输出到输出显示器，识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节，将最小缩放量及最大缩放量与最大伸展及最小伸展匹配以创建沿着缩放向量的缩放匹配，及响应于控制对象沿着缩放向量的移动的检测并基于缩放匹配调整内容的当前缩放量。

另一实施例可进一步包含以通信方式耦合到第一计算装置的第二相机。在此类实施例中，手势分析模块可识别第一相机与控制对象之间的障碍；及接着使用来自第二相机的第二图像检测控制对象沿着缩放向量的移动。

另一实施例可为一种调整计算机化对象或功能的属性的方法，所述方法包括：检测控制对象；确定控制对象在至少一个方向上的总有效运动；检测控制对象的移动；及基于所检测到的移动调整计算机化对象或功能的属性，其中调整量是基于所检测到的移动相较于总有效运动的比例。

其它实施例可在属性在一范围内可调整的情况下起作用，且其中与范围成比例的调整量大约等效于所检测到的移动相较于总有效运动的比例。其它实施例可在属性包括缩放的情况下起作用。其它实施例可在属性包括平移或滚动的情况下起作用。其它实施例可在属性包括音量级控制的情况下起作用。其它实施例可在控制对象包括用户的手部的情况下起作用。其它实施例可在基于解剖模型确定总有效运动的情况下起作用。其它实施例可在基于随着时间的过去用户所收集的数据确定总有效运动的情况下起作用。

其它实施例可包括确定在第二方向上的总有效运动，及在每一方向上控制两个单独对象或功能，其中第一方向控制缩放，且第二方向控制平移。

额外实施例可为用于致使调整缩放级别的方法，所述方法包括：基于在起始缩放时与用户相关联的控制对象的位置及用户相对于所述位置所能伸到的范围来确定缩放空间；检测控制对象的移动；及致使基于所检测到的移动相较于所确定的缩放空间的量值来调整所显示元件的缩放级别。

其它实施例可在所述致使包括致使在控制对象定位于缩放空间的第一极值处时以最大缩放级别显示元件及致使在控制对象定位于缩放空间的第二极值处时以最小缩放级别显示元件的情况下起作用。其它实施例可在第一极值与第二极值相反地定位的情况下起作用。其它实施例可在第一极值大约位于用户的驱干处的情况下起作用，且其中第二极值大约位于最大所能伸到的范围处。其它实施例可在存在邻近第一极值及/或第二极值的死区的情况下起作用。其它实施例可在缩放级别从当前缩放级别到最大缩放级别的增加的比例大约等效于所检测到的移动从位置到第一极值的比例的情况下起作用。其它实施例可在缩放级别从当前缩放级别到最小缩放级别的降低的比例大约等效于所检测到的移动从位置到第二极值的比例的情况下起作用。

额外实施例可为一种方法，其包括：确定包含最大伸展及最小伸展的与用户相关联的控制对象的运动范围；基于来自一或多个检测装置的信息检测控制对象实质上在与缩放命令相关联的方向上的移动；及响应于控制对象的移动的检测来调整所显示内容的当前缩放量，其中识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节；且其中将最小缩放量及最大缩放量与最大伸展及最小伸展匹配以创建沿着所述方向从最大伸展到最小伸展的缩放匹配。

此方法的额外实施例可进一步在控制对象包括用户的手部的情况下起作用，且其中远程检测控制对象沿着缩放向量的移动包括：检测用户的手部在三个维度中的当前位置；将方向估计为在用户拉动或推动手部使其朝向或远离用户时用户的手部的运动路径；及检测在用户拉动或推动手部使其朝向或远离用户时用户的手部的运动路径。

额外实施例可进一步包括通过远程检测缩放脱离运动来结束缩放模式。此方法的额外实施例可进一步在控制对象包括用户的手部的情况下起作用；且其中检测缩放脱离运动包括在检测到手部的手掌闭合位置之后检测手部的手掌张开位置。此方法的额外实施例可进一步在一或多个检测装置包括光学相机、立体相机、深度相机或安装于手部的惯性传感器的情况下起作用，且其中安装于手部或腕部的EMG传感器用以检测手掌张开位置及手掌闭合位置。

此方法的额外实施例可进一步在检测缩放脱离运动包括检测控制对象已偏离缩放向量超过缩放向量阈值量的情况下起作用。此方法的额外实施例可进一步在控制对象为用户的手部的情况下起作用；且进一步包括检测缩放起始输入，其中缩放起始输入包括手部的手掌张开位置，后跟着手部的手掌闭合位置。

此方法的额外实施例可进一步在将在检测到缩放起始输入时手部沿着方向的第一位置与当前缩放量匹配的情况下起作用。

此方法的额外实施例可进一步在内容的细节进一步包括以下各者的情况下起作用：将最小缩放量及最大缩放量与最大单次伸展缩放量进行比较；及调整缩放匹配以将最小伸展与第一封端缩放设置相关联且将最大伸展与第二封端缩放设置相关联；其中第一封端缩放设置与第二封端缩放设置之间的缩放差小于或等于最大单次伸展缩放量。

额外实施例可进一步包括通过在手部处于沿着缩放向量的不同于第一位置的第二位置时使用一或多个检测装置远程检测缩放脱离运动来结束缩放模式；在手部处于沿着缩放向量的不同于第二位置的第三位置时响应于第二缩放起始输入而起始第二缩放模式；及响应于第二位置与第三位置之间的沿着缩放向量的差来调整第一封端缩放设置及第二封端缩放设置。

此方法的额外实施例可进一步在响应于控制对象沿着缩放向量的移动的检测及基于缩放匹配来调整内容的当前缩放量包括以下各者的情况下起作用：识别最大可允许缩放速率；监视控制对象沿着缩放向量的移动；及在沿着缩放向量的相关联的移动超过速率阈值时将缩放的改变速率设置为最大可允许缩放速率直到当前缩放量匹配缩放向量上的当前控制对象位置为止。

此方法的额外实施例可进一步在进一步基于用户的手臂长度的分析来确定缩放匹配的情况下起作用。此方法的额外实施例可进一步在用户的第一手势之前基于驱干大小、高度或手臂长度中的一或多者来估计缩放匹配的情况下起作用；且其中基于由用户执行的至少一个手势的分析来更新缩放匹配。

此方法的额外实施例可进一步在缩放匹配识别最小伸展附近的空间的死区的情况下起作用。此方法的额外实施例可进一步在缩放匹配识别最大伸展附近的空间的第二死区的情况下起作用。

另一实施例可为一种设备，其包括：包括计算机处理器的处理模块；耦合到处理模块的计算机可读存储媒体；耦合到处理模块的显示器输出模块；及耦合到处理模块的图像俘获模块；其中计算机可读存储媒体包括计算机可读指令，所述计算机可读指令在由计算机处理器执行时致使计算机处理器执行一种方法，所述方法包括：确定包含最大伸展及最小伸展的与用户相关联的控制对象的运动范围；基于来自一或多个检测装置的信息检测控制对象实质上在与缩放命令相关联的方向上的移动；及响应于控制对象的移动的检测来调整所显示内容的当前缩放量，其中识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节；且其中将最小缩放量及最大缩放量与最大伸展及最小伸展匹配以创建沿着方向从最大伸展到最小伸展的缩放匹配。

额外实施例可进一步包括扬声器；其中缩放起始输入包括经由音频传感器接收的语音命令。额外实施例可进一步包括天线；及局域网模块；其中经由局域网模块将内容从显示器输出模块传达到显示器。

额外此些实施例可在经由显示器输出模块将当前缩放量传达到服务器基础架构计算机的情况下起作用。额外实施例可进一步包括头戴式装置，所述头戴式装置包括以通信方式耦合到计算机处理器的第一相机。

额外实施例可进一步包括：以通信方式耦合到第一相机的第一计算装置；及输出显示器，其中第一计算装置进一步包括将内容输出到输出显示器的内容控制模块。额外此些实施例可在设备为头戴式装置(HMD)的情况下起作用。

额外此些实施例可在输出显示器及第一相机经集成为HMD的组件的情况下起作用。额外此些实施例可在HMD进一步包括将内容图像投影到用户的眼睛中的投影仪的情况下起作用。额外此些实施例可在图像包括虚拟显示表面中的内容的情况下起作用。额外此些实施例可在第二相机以通信方式耦合到第一计算装置的情况下起作用；且其中手势分析模块识别第一相机与控制对象之间的障碍，且使用来自第二相机的第二图像检测控制对象沿着缩放向量的移动。

额外实施例可为一种系统，其包括：用于确定包含最大伸展及最小伸展的与用户相关联的控制对象的运动范围的装置；用于基于来自一或多个检测装置的信息检测控制对象实质上在与缩放命令相关联的方向上的移动的装置；及用于响应于控制对象的移动的检测来调整所显示内容的当前缩放量的装置，其中识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节；且其中将最小缩放量及最大缩放量与最大伸展及最小伸展匹配以创建沿着方向从最大伸展到最小伸展的缩放匹配。

额外实施例可进一步包括用于检测用户的手部在三个维度中的当前位置的装置；用于将方向估计为在用户拉动或推动手部使其朝向或远离用户时用户的手部的运动路径的装置；及用于检测在用户拉动或推动手部使其朝向或远离用户时用户的手部的运动路径的装置。

额外实施例可进一步包括通过远程检测缩放脱离运动来结束缩放模式。

额外实施例可进一步包括检测控制对象移动包含在检测到手部的手掌闭合位置之后检测手部的手掌张开位置，其中控制对象为用户的手部。

额外实施例可进一步包括用于将最小缩放量及最大缩放量与最大单次伸展缩放量进行比较的装置；及用于调整缩放匹配以将最小伸展与第一封端缩放设置相关联且将最大伸展与第二封端缩放设置相关联的装置；其中第一封端缩放设置与第二封端缩放设置之间的缩放差小于或等于最大单次伸展缩放量。

额外实施例可进一步包括用于通过在手部处于沿着缩放向量的不同于第一位置的第二位置时使用一或多个检测装置远程检测缩放脱离运动来结束缩放模式的装置；用于在手部处于沿着缩放向量的不同于第二位置的第三位置时响应于第二缩放起始输入而起始第二缩放模式的装置；及用于响应于第二位置与第三位置之间的沿着缩放向量的差来调整第一封端缩放设置及第二封端缩放设置的装置。

另一实施例可为非暂时性计算机可读存储媒体，其包括计算机可读指令，所述计算机可读指令在由处理器执行时致使系统：确定包含最大伸展及最小伸展的与用户相关联的控制对象的运动范围；基于来自一或多个检测装置的信息检测控制对象实质上在与缩放命令相关联的方向上的移动；及响应于控制对象的移动的检测来调整所显示内容的当前缩放量，其中识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节；且其中将最小缩放量及最大缩放量与最大伸展及最小伸展匹配以创建沿着方向从最大伸展到最小伸展的缩放匹配。

额外实施例可进一步识别最大可允许缩放速率；监视控制对象沿着缩放向量的移动；及在沿着缩放向量的相关联的移动超过速率阈值时将缩放的改变速率设置为最大可允许缩放速率直到当前缩放量匹配缩放向量上的当前控制对象位置为止。额外实施例可进一步致使系统：分析多个用户手势命令以调整缩放匹配。

额外此些实施例可在分析多个用户手势命令以调整缩放匹配包括识别来自多个用户手势命令的最大伸展及最小伸展的情况下起作用。

额外实施例可进一步致使系统：在用户的第一手势之前基于驱干大小、高度或手臂长度中的一或多者来估计缩放匹配。额外实施例可进一步致使系统：识别最小伸展附近的空间的死区。额外实施例可进一步致使系统：识别最大伸展附近的第二死区。

虽然描述了各种特定实施例，但所属领域的一般技术人员将了解，各种实施例的元件、步骤和组件可以呈替代结构布置，同时保留在本发明的范围内。并且，在本文中的描述下额外实施例将为显而易见的，并因此所述描述不仅提及特定描述的实施例，而且也提及能够起作用的任何实施例或本文所描述的结构。

附图说明

本发明的方面是通过实例来说明。在附图中，相同的参考标号指示相似的元件，以及：

图1A说明包含可并入有一或多个实施例的系统的环境；

图1B说明包含可并入有一或多个实施例的系统的环境；

图1C说明包含可并入有一或多个实施例的系统的环境。

图2A说明可以并入有一或多个实施例的环境；

图2B说明在一或多个实施例中可以检测到的非接触式手势的一方面；

图3说明可并入有一或多个实施例的方法的一个方面；

图4说明可并入有一或多个实施例的系统的一个方面；

图5A说明包含可以并入有一或多个实施例的头戴式装置的系统的一个方面；以及

图5B说明可并入有一或多个实施例的系统的一个方面；以及

图6说明可在其中实施一或多个实施例的计算系统的实例。

具体实施方式

现将关于形成其一部分的附图来描述若干说明性实施例。虽然下文描述可实施本发明的一或多个方面的特定实施例，但可以使用其它实施例，并且在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。

实施例是针对显示器接口。在某些实施例中，描述了非接触式接口和使用非接触式接口控制显示器中的内容的相关方法。因为用户可用的输入装置和计算能力继续增加，所以在一些情形中希望使用手势和尤其自由空中(air)的手势与内容表面交互。一个可能导航交互涉及使用可关于内容表面作出的自由空中缩放手势浏览大内容项目，所述内容表面例如液晶、等离子显示器表面或由例如头戴式眼镜等装置呈现的虚拟显示表面。手势的检测并不基于表面处的任何检测，而是基于由检测装置进行的对例如用户的手部等控制对象的检测，如下文所进一步详述。“远程”及“非接触式”手势检测因此在本文中是指使用感测装置来检测远离显示器的手势，这与使用在显示器表面处的触摸来输入控制显示器中的内容的命令的装置形成对照。在一些实施例中，手势可以通过手持式装置，例如控制器或包括惯性测量单元(IMU)的设备检测。因此，用于检测手势的装置相对于所述用户可能并不遥远，但此类装置和/或手势可能相对于显示器接口遥远。

在一个实例实施例中，壁装式显示器耦合到计算机，所述计算机又进一步耦合到相机。当用户从处于相机视野中的位置与显示器交互时，相机将用户的图像传达到计算机。计算机辨识由用户作出的手势，并响应于用户的手势，调整展示在显示器的内容的呈现。例如可以使用特定缩放手势。在缩放手势的一个实施方案中，用户进行空中的抓握运动以起始缩放，且在显示器与用户之间推动或拉动闭合拳头以调整缩放。相机俘获此手势的图像，并将其传达到计算机，在计算机中其被处理。放大展示显示器上的内容，所述放大是基于用户的推动或拉动运动来修改。下文描述额外细节。

如本文所使用，术语“计算机”、“个人计算机”和“计算装置”是指已知的或未来将开发的任何可编程计算机系统。在某些实施例中，计算机将耦合到网络，例如本文所描述。计算机系统可经配置而具有处理器可执行软件指令以执行本文所描述的过程。图6提供如下文所描述的计算机的额外细节。

如本文所使用，术语“组件”、“模块”和“系统”意图是指计算机相关实体，其为硬件、硬件与软件的组合、软件或执行中的软件。举例来说，组件可以是(但不限于)在处理器上运行的进程、处理器、对象、可执行程序、执行线程、程序和/或计算机。借助于说明，在服务器上运行的应用程序和服务器两者都可以是组件。一或多个组件可以驻留在进程和/或执行线程内，并且组件可以局部化于一个计算机上和/或分布在两个或两个以上计算机之间。

如本文所使用，术语“手势”是指用户作出的随时间推移穿过空间(space)的动作。移动可由任何控制对象在用户的指引下进行。

如本文所使用，术语“控制对象”可以是指例如手部、手臂、肘部或脚等用户身体的任何部分。手势可以进一步包括不是用户身体的一部分的控制对象，例如笔、指挥棒或具有使装置的动作为相机更容易可见和/或耦合到相机的计算机更容易处理的输出的电子装置。

如本文所使用，术语“远程检测装置”是指能够俘获与手势相关的数据并能够用于鉴别手势的任何装置。在一个实施例中，视频相机是远程检测装置的实例，其能够将图像传输到用于处理和分析以识别用户作出的特定手势的处理器。例如相机等远程检测装置可以与显示器、可穿戴装置、电话或任何其它此类相机呈现集成。相机可以另外包含多个输入，例如对于立体相机来说，或可以进一步包括多个单元以观测更大组的用户位置，或当阻止一或多个相机模块检视用户的全部或部分时观测用户。远程检测装置可以使用波长检测的任一集合来检测手势。举例来说，相机可以包含红外光源并检测对应红外范围内的图像。在其它实施例中，远程检测装置可包括除相机之外的传感器，例如可使用加速度计、陀螺仪或控制装置的其它此类元件来跟踪控制装置的移动的惯性传感器。其它远程检测装置可包含紫外线源及传感器、声学或超声波源及声音反射传感器、基于MEMS的传感器、任何电磁辐射传感器或能够检测控制对象的移动及/或定位的任何其它此类装置。

如本文所使用，术语“显示器”和“内容表面”是指被用户检视的数据的图像源。实例包含液晶电视、阴极射线管显示器、等离子显示器和任何其它此类图像源。在某些实施例中，图像可以投影到用户的眼睛而非从显示屏呈现出。在此些实施例中，系统可以将内容呈现到用户，如同内容来源于表面一般，即使表面不发射光。一个实例是作为将图像提供给用户的头戴式装置的一部分的一副眼镜。

如本文所使用，术语“头戴式装置”(HMD)或“安装在身体上的装置”(BMD)是指安装到用户的头部、身体或服装或以其它方式由用户穿戴或负载的任何装置。举例来说，HMD或BMD可以包括俘获图像数据且链接到处理器或计算机的装置。在某些实施例中，处理器与装置集成，并且在其它实施例中，处理器可以远离HMD。在一个实施例中，头戴式装置可以是移动装置CPU(例如蜂窝式电话、平板计算机、智能电话等的处理器)的附件，其中头戴式装置控制系统的主要处理是在移动装置的处理器上执行。在另一实施例中，头戴式装置可以包括处理器、存储器、显示器和相机。在一个实施例中，头戴式装置可以是包含一或多个用于从环境(例如房间等)扫描或收集信息的传感器(例如深度传感器、相机等)和用于将所收集的信息发射到另一装置(例如服务器、第二移动装置等)的电路的移动装置(例如智能电话等)。因此，HMD或BMD可以从用户俘获手势信息并使用所述信息作为非接触式控制接口的一部分。

如本文所使用，“内容”是指可以在显示器中呈现并用缩放注解操纵的文件或数据。实例可以是可以用任何格式存储并通过显示器呈现给用户的文本文件、图片或电影。在内容在显示器上的呈现期间，内容的细节可与内容的特定显示器实例(例如与内容细节级别相关联的颜色、缩放、细节级别及最大及最小缩放量)相关联。

如本文中所使用，“最大缩放量”及“最小缩放量”是指可在显示器上呈现的内容的特性。因素的组合可确定这些缩放界限。举例来说，对于包括图片的内容，图片的所存储分辨率可用以确定实现在显示装置上的可接受呈现的最大及最小缩放量。如本文所使用，“缩放”也可等同于阶层(例如文件结构)。在此些实施例中，最大缩放可为最低级别(例如，最特殊)阶层，而最小缩放可为最高级别(例如，最不特殊)阶层。因此，用户可使用如本文中所描述的实施例横越阶层或文件结构。在一些实施例中，通过放大，用户可能够顺序地前移阶层或文件结构，且通过缩小，用户可能够顺序地从阶层或文件结构后退。

在另一实施例中，头戴式装置可以包含用于与因特网、本地无线网络或另一计算装置连接的无线接口。在另一实施例中，微型投影仪可以联合在头戴式装置中以能够将图像投影到表面上。头戴式装置可以是轻量并经构筑以避免可能引起装置穿戴不适的沉重组件的使用。头戴式装置还可以可操作以接收来自用户的音频/手势输入。此些手势或音频输入可以是口头语音命令或经辨识的用户手势，当被计算装置识别时可以使装置执行对应命令。

图1A和1B说明可以实施非接触式缩放的实施例的两个可能环境。图1A及1B两者包含安装于表面16上的显示器14。另外，在两个图中，用户的手部充当控制对象20。在图1A中，HMD 10由用户6穿戴。移动计算装置8附接到用户6。在图1A中，HMD10经说明为具有通过与相机视界12相关联的着色展示的集成相机。嵌入于HMD 10中的相机的视界12通过着色来展示，且将移动以匹配用户6的头部移动。相机视界12足够宽以包含在伸展及回缩位置两者中的控制对象20。展示伸展位置。

在图1A的系统中，可将来自HMD 10的图像从HMD 10内的通信模块无线地传达到与显示器14相关联的计算机，或可将其从HMD 10无线地或使用有线连接传达到移动计算装置8。在将图像从HMD 10传达到移动计算装置8的实施例中，移动计算装置8可将图像传达到额外计算装置，所述额外计算装置耦合到显示器14。或者，移动计算装置8可处理图像以识别手势，且接着调整呈现于显示器14上的内容，尤其是在显示器14上的内容源自移动计算装置8的情况下。在另一实施例中，移动计算装置8可具有执行中间处理或通信步骤以与额外计算机介接的模块或应用程序，且可将数据传达到计算机，所述计算机接着调整显示器14上的内容。在某些实施例中，显示器14可为由HMD 10创建的虚拟显示器。在此实施例的一个可能实施方案中，HMD可将图像投影到用户的眼睛中以在实际上将图像从HMD简单地投影到用户时创建显示器14经投影到表面上的错觉。显示器因此可为在被动表面上向用户表示的虚拟图像，如同表面为正呈现图像的主动表面一样。如果多个HMD使用相同系统联网或操作，那么两个或两个以上用户可具有相同虚拟显示器，其中同时显示相同内容。第一用户接着可操纵虚拟显示器中的内容，且在呈现给两个用户时使内容在虚拟显示器中调整。

图1B说明由相机18执行图像检测的替代实施例，所述相机连同显示器14一起安装于表面16中。在此类实施例中，相机18将以通信方式耦合到处理器，所述处理器可为相机18的部分、显示器14的部分或以通信方式耦合到相机18及显示器14两者的计算机系统的部分。相机18具有由经着色区域展示的视野19，所述视野将覆盖伸展及回缩位置两者中的控制对象。在某些实施例中，相机可安装到可调整控制装置，所述可调整控制装置响应于用户6的高度的检测而移动视野19。在其它实施例中，多个相机可集成到表面16中以提供在较大区域内及在用户6被阻挡相机18的视野的障碍遮挡的情况下来自额外角度的视界。多个相机可另外用以提供改进的手势数据以用于改进手势辨识的准确性。在其它实施例中，额外相机可位于相对于用户的任何位置中以提供手势图像。

图1C说明由相机118执行图像检测的另一替代实施例。在此类实施例中，用户的任一只手或双手可作为控制对象进行检测。在图1C中，用户的手部经展示为第一控制对象130及第二控制对象140。处理图像以检测控制对象130及140以及内容的所得控制可由计算装置108执行以用于在电视显示器114上显示内容。

图2A展示可在实施例中应用于环境的坐标系的参考说明。在图1A及1B的实施例中，图2A的x-y平面可与图1A及1B的表面16对应。用户210经展示为定位于面向x-y平面的正z轴位置中，且用户210因此可作出可由相机俘获的手势，其中由计算机处理的由相机俘获的运动的坐标使用如由相机观测的对应x、y及z坐标。

图2B说明根据实施例的缩放手势的实施例。相机218经展示于一位置中以俘获与控制对象220及用户210相关联的手势信息。在某些实施例中，用户210可在与用户6相同的环境中操作，或可以被认为是用户6。图2B中所示的z轴及用户210位置大致对应于图2A的z轴及用户210位置，其中用户面向x-y平面。图2B因此基本上为在用户的手臂处的z-y平面截面。用户210的手臂的伸展因此沿着z轴。图2B的控制对象220为用户的手部。开始缩放位置274大致经展示为用户手臂的中间位置，其中肘部的角度为90度。此情形也可被视为在开始缩放模式时的当前缩放位置。在控制对象220在远离身体282的有效移动中伸展时，控制对象移动到最大缩小位置272，所述最大缩小位置处于极限伸展。在控制对象在朝向身体284的有效移动中回缩时，控制对象220移动到处于相反极限伸展的最大放大位置276。最大缩小位置272及最大放大位置276因此对应于在控制对象的最大运动范围内的最大伸展及最小伸展，所述最大运动范围被视为沿着缩放向量280的距离，如图2B中所示。在替代实施例中，可颠倒放大及缩小位置。展示死区286，其可经设定以适应用户灵活性的变化及手势动作的极端位置的舒适性。因此，在某些实施例中，在缩放向量的任一侧上可存在死区。另外，此情形可应对在控制对象极靠近于身体时检测及/或辨别控制对象的过程中所存在的困难。在一个实施例中，在用户的身体的特定距离内的分区可从缩放范围内排除，以使得在手部或其它控制对象在所述特定距离内时，并不会响应于控制对象的移动而发生缩放改变。死区286因此不被视为在确定缩放向量280及创建内容与控制对象之间的任何缩放匹配的过程中由系统估计的最大运动范围的部分。如果控制对象进入死区286，那么系统基本上可暂停在当前控制向量的极限缩放处的缩放动作直到由检测到的终止命令终止缩放模式为止，或直到控制对象离开死区286且返回到沿着控制向量移动为止。

缩放匹配接着可被认为是在用户控制对象位置与显示器上所呈现的内容的当前缩放级别之间的相关。在系统检测到沿着缩放向量滑动的控制对象的移动时，对应缩放沿着缩放级别调整以进行匹配。在替代实施例中，沿着向量的缩放可不均匀。在此些实施例中，缩放量可基于初始手部位置而变化(例如，如果手部几乎一直伸展，但内容已经几乎一直放大)。而且，缩放量可因你到达界限而变缓，以使得用户所能伸到的范围的极限边缘与在除用户所能伸到的范围区域之外的给定距离内的较小缩放量的相关联。在一个可能实施例中，此情形可设定此减小的缩放，只要在手部处于284与286之间的边界时到达最大缩放即可。

图2的此手势可被比作抓握内容，且朝向用户将其拉出或推动其使其远离用户，如同用户通过使其相对于用户的眼睛移动来与实体对象交互一样。在图2中，苹果经展示成在最大伸展处在最大缩小位置272中缩小，及在最小伸展处在最大放大位置276处放大。大致沿着向量从用户的前臂朝向关于操纵的内容(如内容表面上所示)的内容平面作出手势。不论内容是在垂直屏幕上还是水平屏幕上，缩放运动皆将大致沿着上文所详述的相同线路，但是可由用户调整以补偿从用户到内容表面的不同相关视图。

在各种实施例中，可以不同方式识别最大缩小位置272及最大放大位置276。在一个可能实施例中，由相机218俘获的用户210的初始图像可包含用户的手臂的图像，且可从用户210的手臂的图像计算最大缩小及放大位置。此计算可在接收额外图像时更新，或可基于系统使用来修改，其中在系统操作期间测量实际最大放大及缩小位置。或者，系统可在基于用户高度或任何其它简单用户测量的粗略估计的情况下操作。在其它替代实施例中，可基于由相机218或一些其它相机俘获的图像进行模型骨胳分析，且可从这些模型系统计算最大缩小272及最大放大276。在使用惯性传感器检测运动(或甚至在使用相机的情况下)的实施例中，随着时间的过去的运动可给定指示最大及最小的分布。此情形可使得系统能够基于系统的初始设置或基于在用户作出手势命令时调整的初始估计识别个别用户的校准因素，且系统在校准系统时对针对未来手势命令的用户的实际动作作出反应。

在系统操作期间，缩放向量280可经识别为操作的部分以识别控制对象220的当前位置，且将显示器中的内容的适当缩放与缩放向量280的位置相关联。因为如由图2B所说明的手势可不总是理想地沿着如图所示的z轴，且用户210可在操作期间调整及转动位置，缩放向量280可在用户210移位时与用户210匹配。在用户210直接面向x-y平面时，缩放向量280可以一角度移位。在替代实施例中，如果仅分析沿着z轴的缩放向量280的部分，那么缩放向量280可在用户210从左到右移位时缩短，或可在用户210沿着z轴移位用户重心时沿着z轴进行调整。此情形可维持与缩放向量280相关联的特定缩放，甚至在控制对象220在空间中移动时。因此在此些实施例中，缩放与用户手臂伸展相关联，且不单独与控制对象220位置相关联。在其它替代实施例中，用户身体位置、缩放向量280及控制对象220位置可混合及平均化以提供稳定缩放，且避免归因于小的用户移动或呼吸动作的缩放抖动。

在其它实施例中，用户可在y及/或x方向上沿z轴延伸的控制运动的情况下操作。举例来说，一些用户210可朝向身体284移动，此情形还降低控制对象220使其朝向用户的脚。在此环境中，某些实施例可设定缩放向量280以匹配此控制运动。

可以任何手段(例如使用光学相机、立体相机、深度相机、例如腕带或环等惯性传感器或任何其它此类远程检测装置)进行用户的一或两只手的检测。确切地说，使用头戴式显示器为方便集成自由空中手势控制(如图5中所进一步描述)的一个选项，但其它实例可使用此手势交互系统，例如媒体中心TV、商店橱窗自助服务终端及关于现实世界显示器及内容表面的接口。

图3接着描述实施用于控制显示器中的内容的非接触式缩放手势的一个可能方法。作为图3的部分，在例如图1的显示器14、HMD 10的显示器540或图4的显示器输出模块460等显示器中展示例如电影、内容视频图像或图片等内容。计算装置控制与内容及显示器相关联的缩放。此计算装置可为实施系统400或HMD 10或本文中所描述的处理元件的任何组合的计算装置600。耦合到计算机的非接触式控制相机观测如图1A及1B中所示的视界，且用户在由控制相机观测的视野内。此相机可等效于图像俘获模块410、相机503、传感器阵列500或任何适当输入装置615。在某些实施例中，非接触式控制相机可用例如加速度计等任何传感器或并未俘获图像的其它装置替换。在305中，计算装置确定与用户相关联的控制对象的运动范围。刚好如上文一样，计算装置可为实施系统400或HMD 10或本文中所描述的处理元件的任何组合的计算装置600。计算装置也可在控制显示器缩放以接受起始310中的缩放模式的输入时起作用。接着在310中，作为此输入的部分，方法涉及基于来自一或多个检测装置的信息检测控制对象实质上在与缩放命令相关联的方向上的移动。在一些实施方案中，用于缩放命令的最小缩放量及最大缩放量实质上与在305中确定的最大伸展及最小伸展匹配。在一些实施方案中，最小缩放与最小伸展匹配，且最大缩放与最大伸展匹配。在其它实施例中，最大缩放与最小伸展匹配，且最小缩放与最大伸展匹配。各种实施例可接受广泛多种缩放起始输入，包含接受不同命令的不同模式。为了防止在用户进入时的意外手势输入，遍历控制相机的视野，或执行控制相机的视野内的其它动作，计算机可不接受某些手势直到接收模式起始信号为止。缩放起始输入可为由控制相机辨识的手势。一个可能实例将为抓握运动，如由图2B所说明。抓握运动可为张开手部或手掌的检测，后跟着闭合手部或手掌的检测。闭合手部的初始位置接着与如由图2B所示的缩放开始位置274相关联。

在替代实施例中，声音或语音命令可用以起始缩放模式。或者，按钮或遥控器可用以起始缩放模式。缩放开始位置因此可为在接收命令时控制对象的位置，或在输入之后在预定量的时间内固定的稳定控制对象位置。例如，如果发布语音命令且用户随后使控制对象从手臂在y方向上伸展且肘部处于近似180度角度的静止位置移动到肘部处于更靠近90度的角度的预期控制位置，那么可在控制对象在预期控制位置的范围内在预定时间内固定之后设定缩放开始位置。在一些实施例中，可检测一或多个其它命令以起始缩放模式。在315中，系统响应于控制对象的移动的检测调整所显示内容的当前缩放量。举例来说，内容控制模块450及/或用户控制515可用以调整HMD 10的显示器540或图4的显示器输出模块460上的缩放。在一些实施例中，识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节。在某些实施例中，识别缩放开始位置，且由相机俘获及由计算装置分析控制对象沿着缩放向量的移动。因为控制对象沿着缩放向量移动，所以在显示器处所呈现的内容缩放由计算装置调整。在额外实施例中，最大伸展及最小伸展可与内容及可能缩放的分辨率或图像质量相关联。可计算或估计包含用户的手势的可能或预期的最大伸展及最小伸展的最大运动范围及最小运动范围，如上文所描述。在某些实施例中，最小及最大缩放量与用户的伸展匹配以创建缩放向量，如上文所描述。因此，在某些实施例中，最小缩放量及最大缩放量可与最大伸展及最小伸展匹配以创建沿着方向从最大伸展到最小伸展的缩放匹配。

然后，在某些实施例中，接收终止缩放模式的输入。如上文起始缩放模式的输入一样，终止输入可为手势、电子输入、声音输入或任何其它此类输入。在接收终止缩放模式的输入之后，维持为在显示器处所呈现的内容的缩放级别的当前缩放量直到接收起始缩放模式的另一输入为止。

在各种实施例中，在确定缩放向量及分析图像以识别手势时，含有用户的手部及任选地其它关节位置的x、y及z坐标的帧流可由远程检测装置接收且进行分析以识别手势。此信息可记录于由如图2A中所示的手势辨识系统识别的框架或坐标系内。

对于以上详述的抓握及缩放手势系统，系统可使用图像分析技术来检测用户与内容表面之间的位置中的手掌张开的存在以及不存在以起始缩放模式。图像分析可在深度信息可用的情况下利用深度信息。

在检测啮合手势时，可记录数个参数：1.手部在3个维度中的当前位置；2.对象被缩放的细节，包含通过最小缩放量及最大缩放量当前将对象缩放的量；3.用户可使其手部从其当前位置朝向及/或远离内容移动多远的估计；及/或4.描述在用户拉动/推动内容使其朝向/远离自身时用户的手部的运动路径的向量‘缩放向量’。

在某些实施例中，接着可创建缩放匹配以将最大缩放量与用户的手部的极限伸展或回缩匹配，且将最小缩放与相反极限移动匹配。在其它实施例中，可匹配运动范围的特定部分，而非运动的整个范围。

可通过比较当前手部位置与用户的驱干的位置来计算用户可用于手部移动的空间。各种实施例可使用不同方法来计算可用手部空间。在使用假设手臂长度(例如，600mm)的一个可能实施例中，可计算可用以放大及缩小的空间。如果驱干位置不可用，那么系统可简单地将手臂的长度除以2。一旦识别啮合手势，缩放便开始。此情形使用手部的当前位置，且将沿着‘缩放向量’的手部位置对所计算的范围的比率应用于如啮合处所记录且图2A中所示的目标对象的缩放参数。在缩放期间，可监视用户的身体位置；如果用户的身体位置改变，那么可重新评估缩放向量以针对用户及其正操纵的内容的相对位置中的改变进行调整。在使用基于深度相机的手部跟踪时，z轴跟踪可易受抖动的影响。为了减轻此情形，可对缩放中的过度改变进行检查。在对象缩放级别中的所计算的改变被认为过度(例如，由抖动引起或由控制对象中的摇晃或突然改变引起)的状况下，系统可忽略跟踪器数据的所述帧。因此，可确定缩放命令数据的一致性，且舍弃或忽略不一致数据。

缩放脱离命令可被计算为起始手势的反向手势。在检测手掌张开时，在手部以显著方式移动远离缩放向量时或在预定容限内检测到抓握手势的任何张开时，可释放缩放功能且固定内容的显示直到由用户起始额外控制功能为止。

在其它替代实施例中，可辨识额外缩放脱离手势。在一个可能实例中，缩放啮合运动为上文识别的抓握或握紧运动。在控制对象沿着缩放向量移动时调整缩放。在某些实施例中，缩放向量阈值可识别缩放向量的界限。如果控制对象超过缩放向量阈值量，那么系统可假设控制对象已移动远离缩放向量，即使未检测到手掌张开且缩放模式可脱离。此情形可在例如用户放下用户的手部到用户的身体近旁的静止模式而不呈现手掌张开的情况下出现。在又其它实施例中，超出最大缩放或最小缩放可自动脱离。如果检测到猛拉或突然抖动，那么可假设用户的手臂已锁定且已到达最大状况。而且，脱离可包含可在没有可由系统过滤掉的人物加速或猛拉的情况下使语音命令或控制器输入相关联以创建对手势的平稳响应。在一些实施方案中，在缩放向量之外超过阈值距离的用户移动可经解释为脱离。举例来说，在用户使手部在z方向上移动时，在x及/或y方向上的示意移动可包括脱离。

在所呈现的内容具有防止控制对象的小移动提供有意义的缩放调整的最大及最小缩放量的某些实施例中，可将缩放量封端于最大及最小缩放量，所述最大及最小缩放量小于内容的可能最大及最小缩放量。实例可为能够从房屋的局部自顶向下卫星图片缩小为行星的图片的系统。对于此系统，缩放的最大改变可封端于给定缩放开始位置。为了实现超出封端的放大或缩小，可终止缩放模式且重新开始许多次，其中在缩放模式的每一起始期间发生递增缩放。此实施方案可与抓握绳索及重复拉动绳索使其朝向用户以使用非接触式缩放模式创建增加的缩放量相比较。下文额外详细地描述此实施例。

对于内容的有效缩放不高于对于单个控制对象的缩放运动范围确定将过度的缩放的阈值的实施例，用户可随着沿缩放向量的运动重复放大及缩小，直到接收终止缩放模式的输入为止。在某些实施例中，可建立最大缩放速率，以使得如果控制对象在处于比计算装置可遵循的速率更快或比适合于次要考虑因素(例如运动输入考虑因素或用户的疾病)的速率更快的速率的缩放设置之间移动，那么缩放可跟踪沿着缩放向量的与控制对象位置相关联的当前缩放，且以平稳方式停留在沿着向量的与控制对象位置相关联的缩放位置处以提供更平稳的用户体验。此情形基本上允许系统将缩放的改变速率设定为在沿着缩放向量的相关联移动超过阈值时由系统所允许的缩放速率的最大改变。在某些实施例中，用户可能够在起始缩放命令的同时平移(例如，通过使手部在x、y中移动，同时放大)。缩放模式的起始接着不一定会限制系统执行所显示内容上的除了缩放调整以外的其它操纵。而且，在某些此类实施例中，可以类似方式基于在沿着z轴的移动用于缩放时沿着x及y轴的可能平移移动来确定平移量。在某些实施例中，如果用户同时缩放及平移且对象处于屏幕的中心，那么可将可能缩放/缩放匹配动态地复位成所述对象的特性。在一个实施例中，在对象上一直缩放将充当用于对象的对象选择命令。因此，在某些实施例中，对象选择可为与缩放模式集成的另一手势命令。

类似地，在上文所描述的缩放可用以调整装置的任一维设置的各种实施例中。如上文所描述，缩放可被视为与显示表面中所显示的内容相关联的一维设置。类似地，扬声器输出的量可为可与缩放向量相关联且用缩放手势命令调整的一维设置。沿着线性对象集合或沿着文件的一维滚动的滚动或选择可类似地与缩放向量相关联，且响应于缩放手势命令进行调整，如本文中所描述。

图4说明用于确定由人执行的手势的系统400的实施例。在各种替代实施例中，系统400可实施于分布式组件当中，或可实施于具有集成式计算机处理器的例如蜂窝式电话等单个装置或设备中，所述集成式计算机处理器具有足够处理能力来实施图4中所详述的模块。更一般化地，系统400可用于跟踪人的特定部分。举例来说，系统400可用于跟踪人的手部。系统400可经配置以同时跟踪人的一只手或双手。此外，系统400可经配置以同时跟踪多个人的手部。虽然系统400在本文中描述为用以跟踪人的手部的位置，但应理解系统400可经配置以跟踪人的其它部分，例如头部、肩部、躯干、腿等。系统400的手部跟踪可用于检测由一或多个人执行的手势。系统400自身可不确定由人执行的手势，或可不在一些实施例中执行实际手部识别或跟踪；而是，系统400可输出一或多个手部的位置，或可简单地输出可能含有前景物体的像素的子集。一或多个手部的位置可经提供给及/或由用于手势的另一段硬件或软件确定，所述手势可由一或多个人执行。在替代实施例中，系统400可经配置以跟踪固持于用户的手部中或附接到用户的身体的部分的控制装置。接着，在各种实施例中，系统400可经实施为HMD 10、移动计算装置8、计算装置108或用于手势控制的系统的任何其它此类部分的部分。

系统400可包含图像俘获模块410、处理模块420、计算机可读存储媒体430、手势分析模块440、内容控制模块450及显示器输出模块460。也可存在额外组件。举例来说，系统400可并入为计算机系统或(更一般化地)计算机化装置的部分。图6的计算机系统600说明可与图4的系统400一起并入的一个可能计算机系统。图像俘获模块410可经配置以俘获多个图像。图像俘获模块410可为相机或更确切地说视讯相机。图像俘获模块410可俘获呈视频帧形式的一系列图像。可周期性地(例如每秒30次)俘获这些图像。由图像俘获模块410俘获的图像可包含由图像俘获模块410产生的图像的每一像素的强度及深度值。

图像俘获模块410可将例如红外辐射(IR)等辐射投影到其视野中(例如，到场景上)。传回的红外辐射的强度可用于确定每一所俘获图像中所表示的图像俘获模块410的每一像素的强度值。经投影辐射也可用以确定深度信息。因此，图像俘获模块410可经配置以俘获场景的三维图像。由图像俘获模块410创建的图像的每一像素可具有深度值及强度值。在一些实施方案中，图像俘获模块可不投影辐射，而是可替代地依赖于存在于场景中的光(或更一般化地，辐射)来俘获图像。对于深度信息，图像俘获模块410可为立体的(也就是说，图像俘获模块410可俘获两个图像，且将其组合成具有深度信息的单个图像)或可使用其它技术以用于确定深度。

可将由图像俘获模块410俘获的图像提供到处理模块420。处理模块420可经配置以从图像俘获模块410获取图像。处理模块420可分析从图像俘获模块410获取的图像中的一些或全部以确定存在于图像中的一或多者中的属于一或多个人的一或多个手部的位置。处理模块420可包含软件、固件及/或硬件。处理模块420可与计算机可读存储媒体430通信。计算机可读存储媒体430可用以存储与针对由图像俘获模块410俘获的图像的个别像素创建的背景模型及/或前景模型相关的信息。如果图像中由图像俘获模块410俘获的场景为静态的，那么可以预期第一图像及第二图像中的相同位置处的像素对应于相同对象。作为实例，如果长沙发存在于第一图像中的特定像素处，那么在第二图像中，可预期第二图像的相同特定像素也对应于长沙发。可针对所获取图像的像素中的一些或全部创建背景模型及/或前景模型。计算机可读存储媒体430还可经配置以存储由处理模块420使用的额外信息以确定手部的位置(或人的身体的一些其它部分)。举例来说，计算机可读存储媒体430可含有关于阈值的信息(其可用于确定像素为前景或背景模型的部分的概率)及/或可含有用于进行主分量分析的信息。

处理模块420可将输出提供到例如手势分析模块440等另一模块。处理模块420可将二维坐标及/或三维坐标输出到另一软件模块、硬件模块或固件模块，例如手势分析模块440。由处理模块420输出的坐标可指示检测到的手部的位置(或人的身体的一些其它部分)。如果检测到(相同人或不同人的)一个以上手部，那么可输出坐标的一个以上集合。二维坐标可为基于图像的坐标，其中x坐标及y坐标对应于存在于图像中的像素。三维坐标可并有深度信息。对于至少一个手部所位于的每一图像，坐标可由处理模块420输出。此外，处理模块420可输出可能提取背景元素及/或可能包含前景元素以用于进一步处理的像素的一或多个子集。

手势分析模块440可为各种类型的手势确定系统中的任一者。手势分析模块440可经配置以使用由处理模块420输出的二维或三维坐标以确定由人执行的手势。因此，处理模块420可仅输出一或多个手部的坐标，确定实际手势及/或应响应于可由手势分析模块440执行的手势执行什么功能。应理解图4中仅出于实例目的而说明手势分析模块440。出于可为何要跟踪一或多个用户的一或多个手部的原因，存在除手势以外的其它可能性。因此，除手势分析模块440以外的一些其它模块可接收人的身体的部分的位置。

内容控制模块450可类似地经实施为软件模块、硬件模块或固件模块。此模块可与处理模块420集成或经结构化为单独计算装置中的单独远程模块。内容控制模块450可包括用于操纵待输出到显示器的内容的多种控制。此些控制可包含播放、暂停、搜寻、快退及缩放或任何其它类似的此些控制。在手势分析模块440识别起始缩放模式的输入且进一步将沿着缩放向量的移动识别为缩放模式的部分时，可将移动传达到内容控制模块以更新在当前时间所显示的内容的当前缩放量。

显示器输出模块460可进一步经实施为软件模块、硬件模块或固件模块。此模块可包含与向用户呈现内容的特定输出显示器匹配的指令。因为内容控制模块450接收由手势分析模块440识别的手势命令，所以由显示器输出模块460输出到显示器的显示信号可实时或近实时修改以调整内容。

在某些实施例中，耦合到显示器输出模块460的特定显示器可具有识别在单个运动范围内过度的缩放量的封端缩放设置。对于特定显示器，例如大于500％的缩放改变可被识别为有问题的，其中用户可难以进行所要缩放调整或在缩放模式期间检视内容而无对于用户来说将难以处理的沿着缩放向量的小移动的内容呈现的过度改变。在此些实施例中，内容控制模块450及/或显示器输出模块460可识别最大单次伸展缩放量。在起始缩放量时，沿着缩放向量的缩放匹配可限于最大单次伸展缩放量。如果此情形为500％且内容允许1000％缩放，那么用户可通过以下操作使用整个缩放量：起始在第一缩放级别处的缩放模式，在脱离缩放量之前缩放所允许缩放量内的内容，用控制对象在沿着缩放向量的不同位置处重新啮合缩放模式以进一步缩放内容。在闭合手掌起始缩放模式的实施例中，此缩放手势可类似于在伸展位置处抓握绳索，拉动绳索使其朝向用户，在手部靠近用户时释放绳索，及接着用伸展位置处的抓握及靠近用户的身体的位置处的释放重复运动，从而沿着内容的最大缩放重复地进行放大，同时每一缩放保持于系统的最大单次伸展缩放量内。

在此类实施例中，代替作为缩放匹配的部分匹配内容可获得的最大及最小缩放，缩放匹配及缩放向量将用户的伸展与第一封端缩放设置及第二封端缩放设置匹配，以使得最小伸展及最大伸展内可用的缩放的改变在最大单次伸展缩放量内。

图5A及5B描述例如图1的HMD 10等头戴式装置的一个可能实施例。在某些实施例中，如这些图中所述的头戴式装置可以进一步与用于通过头戴式装置提供虚拟显示器的系统集成，其中显示器呈现在一副眼镜或提供显示器来源于被动显示表面的错觉的其它输出显示器中。

图5A说明可以包括于头戴式装置10的实施例中的组件。图5B说明头戴式装置10可如何用作系统的部分，其中传感器阵列500可将数据提供到移动处理器507，所述移动处理器执行本文所描述的各种实施例的操作，且将数据传达到服务器564及从所述服务器接收数据。应注意处理器507头戴式装置10可以包含一个以上处理器(或多核心处理器)，其中核心处理器可以执行整体控制功能，而共处理器执行应用程序，有时称为应用程序处理器。核心处理器和应用程序处理器可以配置在相同微芯片封装中，例如多核心处理器，或配置在分开的芯片中。并且，处理器507可以封装在具有与其它功能相关的处理器的相同微芯片封装内，例如无线通信(即调制解调器处理器)、导航(例如GPS接收器内的处理器)和图形处理(例如图形处理单元或“GPU”)。

头戴式装置10可以与可以包含其它计算装置(例如接入因特网的个人电脑和移动装置)的通信系统或网络通信。此些个人电脑和移动设备可以包含耦合到处理器507以使处理器能够经由无线通信网络发送和接收数据的天线551、发射器/接收器或收发器552和模/数转换器553。举例来说，例如蜂窝式电话等移动设备可以经由无线通信网络(例如Wi-Fi或蜂窝式电话数据通信网)接入因特网。此些无线通信网络可以包含多个耦合到网关或因特网接入服务器的基站，网关或因特网接入服务器耦合到因特网。个人计算机可以用任何常规的方式，例如通过经由因特网网关(未图示)的有线连接或通过无线通信网络耦合到因特网。

参看图5A，头戴式装置10可包含耦合到控制系统处理器507的场景传感器500及音频传感器505，所述控制系统处理器可经配置有数个软件模块510到525，且连接到显示器540及音频输出550。在一个实施例中，处理器507或场景传感器500可以将解剖特征辨识算法应用于图像以检测一或多个解剖特征。与控制系统相关的处理器507可以审查所检测到的解剖特征以便辨识一或多个手势并将经辨识的手势处理为输入命令。举例来说，如下文较详细论述，用户可通过在用户与显示表面之间创建在沿着由系统识别的缩放向量的点处的闭合拳头来执行对应于缩放命令的移动手势。响应于辨识此实例手势，处理器507可起始缩放模式，并且然后当用户手部移动以改变所呈现内容的缩放时调整显示器中所呈现的内容。

可包含立体相机、定向传感器(例如，加速度计及电子指南针)及距离传感器的场景传感器500可将场景相关数据(例如，图像)提供到实施于处理器507内的场景管理器510，所述场景管理器可经配置以解译三维场景信息。在各种实施例中，场景传感器500可包含立体相机(如下所述)及距离传感器，所述距离传感器可包含用于为红外相机照亮场景的红外光发射器。举例来说，在图5A中说明的实施例中，场景传感器500可以包含用于收集立体图像的立体红绿蓝(RGB)相机503a，和被配置成在可以由结构化红外光发射器503c提供的红外光中使场景成像的红外相机503b。结构化红外光发射器可以被配置成发射可以由红外相机503b成像的红外光的脉冲，其中接收的像素的时间被记录并用于使用飞行时间计算确定距离图像元素的距离。总起来说，立体RGB相机503a、红外相机503b和红外发射器503c可以被称为RGB-D(距离为D)相机503。

场景管理器模块510可以扫描由场景传感器500提供的距离测量和图像，以产生在图像内对象的三维重构，包括离立体相机的距离和表面定向信息。在一个实施例中，场景传感器500，并且更具体地说，RGB-D相机503，可指向与用户视野和头戴式装置10对准的方向。场景传感器500可以提供完整身体三维运动俘获和手势辨识。场景传感器500可以具有与红外相机503c组合的红外光发射器503c，例如单色CMOS传感器。场景传感器500可以进一步包含俘获三维视频数据的立体相机503a。场景传感器500可以在环境光、日光或总体黑暗中工作，并且可以包含如本文所描述的RGB-D相机。场景传感器500可以包括近红外(NIR)脉冲照明组件，以及具有快速门控机制的图像传感器。可以收集每一像素的脉冲信号并对应于反射脉冲的位置并可以用于计算在俘获的目标上距离对应点的距离。

在另一实施例中，场景传感器500可使用其它距离测量技术(即，不同类型的距离传感器)来俘获图像内的对象的距离，例如超声波回声位置、雷达、立体图像的三角测量等。场景传感器500可包含范围相机、快闪LIDAR相机、飞行时间(ToF)相机及/或RGB-D相机503，其可使用范围门控ToF感测、RF经调制ToF感测、脉冲光ToF感测及经投影光立体感测中的至少一者来确定到对象的距离。在另一实施例中，场景传感器500可以使用立体相机503a俘获场景的立体图像，并基于图像内含有的俘获像素的亮度确定距离。如上文所提及，为求一致，这些类型的距离测量传感器和技术中的任一者或全部在本文中一般称为“距离传感器”。可以存在不同功能和分辨率的多个场景传感器以帮助测绘物理环境并准确跟踪环境内用户的位置。

头戴式装置10还可以包含音频传感器505，例如麦克风或麦克风阵列。音频传感器505能够使头戴式装置10记录音频，并进行声学源定位和环境噪声抑制。音频传感器505可以俘获音频并将音频信号转化成音频数字数据。与控制系统相关的处理器可以审查音频数字数据并应用语音辨识算法以将数据转换成可搜索的文本数据。处理器也可针对某些识别的命令或关键词审查所产生的文本数据并使用识别的命令或关键词作为输入命令来执行一或多个任务。举例来说，用户可以说出例如“起始缩放模式”等命令，使系统沿着预期缩放向量搜索控制对象。作为另一实例，用户可以说出“关闭内容”以关闭在显示器上显示内容的文件。

头戴式装置10还可包含显示器540。显示器540可显示由场景传感器500内的相机获得或由头戴式装置10内或耦合到所述头戴式装置的处理器产生的图像。在实施例中，显示器540可为微型显示器。显示器540可为完全遮蔽式显示器。在另一实施例中，显示器540可为可在屏幕上显示用户可通过检视周围空间看见的图像的半透明显示器。显示器540可以呈单眼或立体(即双眼)配置来配置。或者，头戴式装置10可以是头盔式显示装置，穿戴在头上或作为头盔的一部分，其可以在一个眼睛的前方(单眼)或在两个眼睛的前方(即双眼或立体显示器)具有小显示器540光学器件。或者，头戴式装置10还可以包含两个显示单元540，所述显示单元微型化并可以是以下中的任一或多者：阴极射线管(CRT)显示器、液晶显示器(LCD)、硅上液晶(LCos)显示器、有机发光二极管(OLED)显示器、基于作为简单微电机械系统(MEMS)装置的干涉式调制器(IMOD)元件的Mirasol显示器、光导显示器和波导显示器以及其它存在并可以研发的显示技术。在另一实施例中，显示器540可以包括多个微型显示器540以增加总的整体分辨率并增加视野。

头戴式装置10还可以包含音频输出装置550，其可以是一起展示为参考标号550的用以输出音频的头戴式耳机和/或扬声器。头戴式装置10还可以包含一或多个可以提供控制功能给头戴式装置10以及产生例如虚拟对象等图像的处理器。举例来说，装置10可以包含核心处理器、应用程序处理器、图形处理器和导航处理器。或者，头戴式显示器10可以耦合到单独处理器，例如智能电话或其它移动计算装置中的处理器。视频/音频输出可以通过处理器或通过(经由电线或无线网络)连接到头戴式装置10的移动式CPU处理。头戴式装置10还可以包含场景管理器块510、用户控制块515、表面管理器块520、音频管理器块525和信息存取块530，这些可以是分开的电路模块或在处理器内作为软件模块实施。头戴式装置10可以进一步包括本地存储器和用于与其它装置或本地无线或有线网络通信的无线或有线接口以便从远程存储器555接收数字数据。在系统中使用远程存储器555可以使头戴式装置10能够通过减少装置中的存储器芯片和电路板而重量更轻。

控制器的场景管理器块510可以从场景传感器500接收数据并建构物理环境的虚拟表示。举例来说，激光器可以用于发射从房间中的对象反射的激光并被俘获在相机中，其中光的往返时间用于计算离房间中的各种对象和表面的距离。此类距离测量可以用于确定房间中对象的位置、尺寸和形状并产生场景的地图。一旦地图制定好，场景管理器块510可以将地图与其它产生的地图相关联，以形成预定区域的更大地图。在一个实施例中，场景和距离数据可以被发射到服务器或其它计算装置，服务器或其它计算装置可以基于从许多头戴式装置接收的图像、距离和地图数据产生合并或集成的地图(并时间随着用户在场景内走来走去而不断流逝)。此类经由无线数据可获得的集成地图数据链接到头戴式装置处理器。

其它地图可以是由本发明的装置或由其它头戴式装置扫描的地图，或可以从云端服务接收。场景管理器510可以识别表面并基于来自场景传感器500的数据跟踪用户的当前位置。用户控制块515可以收集到系统的用户控制输入，例如音频命令、手势和输入装置(例如键盘、鼠标)。在一个实施例中，用户控制块515可以包含或被配置成存取手势词典以解释由场景管理器510识别的用户身体部分移动，如上文所论述，手势词典可以存储移动数据或图案以辨识可以包括戳、轻拍、轻叩、推、导引、轻弹、翻转、旋转、抓握和拉动、手掌开口以平移图像的两只手、拉伸(例如手指涂刷)、用手指形成形状和滑动在内的手势，所有这些都可以在产生的显示器中的虚拟对象的明显位置上或靠近其来实现。用户控制块515亦可辨识混合命令。此可以包含两个或两个以上命令。举例来说，手势和声音(例如拍打)或语音控制命令(例如检测‘OK’的手势并与语音命令或说出的词语组合以证实操作)。当识别用户控制515时，控制器可以提供请求到装置10的另一子组件。

头戴式装置10还可包含表面管理器块520。表面管理器块520可基于所俘获图像(如由场景管理器块510管理)及来自距离传感器的测量连续地跟踪场景内的表面的位置。表面管理器块520还可以连续地更新锚定在表面上俘获的图像内的虚拟对象的位置。表面管理器块520可以负责主动表面和窗口。音频管理器块525可以提供控制指令用于音频输入和音频输出。音频管理器块525可建构传递到头戴式耳机和扬声器550的音频流。

信息存取块530可以提供控制指令以调节对数字信息的存取。数据可以存储在头戴式装置10上的本地存储器存储媒体上。数据也可以存储在可存取的数字装置上的远程数据存储媒体555上，或数据可以存储在头戴式装置10可存取的分布式云存储器上。信息存取块530与数据存储装置555通信，数据存储装置555可以是存储器、磁盘、远程存储器、云端计算资源或集成式存储器555。

图6说明可在其中实施一或多个实施例的计算系统的实例。如图6中所说明的计算机系统可作为先前描述的计算机化装置的一部分并入图4和5中。根据各种实施例的系统的任何组件可包含如由图6所描述的计算机系统，其包含各种相机、显示器、HMD及处理装置，例如HMD 10、移动计算装置8、相机18、显示器14、电视显示器114、计算装置108、相机118、各种电子控制对象、图5A的系统400或HMD 10的任何元件或部分，或适用于各种实施例的任何其它此类计算装置。图6提供计算机系统600的一个实施例的示意性说明，所述计算机系统可执行如本文所描述的通过各种其它实施例提供的方法，和/或可充当主机计算机系统、远程自助服务终端/终端、销售点装置、移动装置和/或计算机系统。图6仅意图提供对各种组件的一般化说明，可在适当时利用所述组件中的任一者或全部。因此，图6广泛地说明可如何以相对分离或相对较集成方式实施个别系统元件。

展示计算机系统600，其包括可以经由总线605电耦合(或另外可以在适当时通信)的硬件元件。硬件元件可以包含：一或多个处理器610，包含(但不限于)一或多个通用处理器和/或一或多个专用处理器(例如数字信号处理芯片、图形加速度处理器和/或其类似者)；一或多个输入装置615，其可以包含(但不限于)鼠标、键盘和/或其类似者；和一或多个输出装置620，其可以包含(但不限于)显示装置、打印机和/或其类似者。总线605可以耦合处理器610中的两者或两者以上，或单一处理器的多个核心或多个处理器。在各种实施例中处理器610可以等效于处理模块420或处理器507。在某些实施例中，处理器610可以包含在移动装置8、电视显示器114、相机18、计算装置108、HMD 10中或任何装置或本文所述的装置的元件中。

计算机系统600可进一步包含以下各者(及/或与以下各者通信)：一或多个非暂时性存储装置625，所述非暂时性存储装置625可包括(但不限于)本地及/或网络可接入的存储装置，及/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)及/或只读存储器(“ROM”)等固态存储装置，其可为可编程的、可快闪更新的及/或其类似者。此些存储装置可经配置以实施任何适当数据存储装置，包含(但不限于)各种文件系统、数据库结构及/或其类似者。

计算机系统600还可能包含通信子系统630，其可包含(但不限于)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置及/或芯片组(例如，BluetoothTM装置、802.11装置、Wi-Fi装置、WiMax装置、蜂窝式通信设施等)及/或类似通信接口。通信子系统630可以准许与网络(例如作为一个实例，下文所描述的网络)、其它计算机系统及/或本文中所描述的任何其它装置交换数据。在许多实施例中，计算机系统600将进一步包括非暂时性工作存储器635，其可以包含RAM或ROM装置，如上文所描述。

计算机系统600还可包括展示为当前位于工作存储器635内的软件元件，包含操作系统640、装置驱动器、可执行库及/或例如一或多个应用程序645等其它代码，其可包括通过各种实施例提供及/或可经设计以实施方法及/或配置系统、通过其它实施例提供的计算机程序，如本文所描述。仅作为实例，关于上文所论述的方法所描述的一或多个程序可实施为可由计算机(及/或计算机内的处理器)执行的代码及/或指令；接着，在一方面中，此类代码及/或指令可用以配置及/或调适通用计算机(或其它装置)以根据所描述方法执行一或多个操作。

这些指令和/或代码的集合可存储在计算机可读存储媒体(例如，上文所描述的存储装置625)上。在一些情况下，存储媒体可以并入于例如计算机系统600等计算机系统内。在其它实施例中，存储媒体可以与计算机系统分开(例如可装卸式媒体，例如压缩光盘)，和/或提供于安装包中，使得存储媒体可以用以编程、配置和/或调适其上存储有指令/代码的通用计算机。这些指令可以呈可由计算机系统600执行的可执行码的形式，和/或可以呈源代码和/或可安装代码的形式，所述源代码和/或可安装代码在计算机系统600上编译和/或安装(例如使用多种一般可用编译程序、安装程序、压缩/解压缩公用程序等中的任一者)后，接着呈可执行码的形式。

可根据特定要求进行实质性变化。举例来说，还可使用定制硬件，及/或可将特定元件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。此外，提供某种功能的硬件和/或软件组件可包含专用系统(具有专门的组件)或可为更通用系统的一部分。举例来说，经配置以提供本文所描述的关于通过上下文辅助服务器140进行的活动的选择的特征中的一些特征或全部的活动选择子系统可以包括专门的硬件和/或软件(例如专用集成电路(ASIC)、软件方法等)或通用的硬件及/或软件(例如处理器610、应用程序645等)。另外，可以利用到其它计算装置(例如网路输入/输出装置)的连接。

一些实施例可采用计算机系统(例如，计算机系统600)来执行根据本发明的方法。举例来说，所描述方法的程序中的一些程序或全部可由计算机系统600响应于处理器610执行工作存储器635中所含有的一或多个指令(其可并入到操作系统640及/或其它代码中，例如，应用程序645)的一或多个序列来执行。可将此类指令从另一计算机可读媒体读入到工作存储器635中，另一计算机可读媒体例如存储装置625中的一或多者。仅以实例来说明，执行工作存储器635中所含有的指令序列可致使处理器610执行本文中所描述方法的一或多个程序。

如本文中所使用，术语“机器可读媒体”和“计算机可读媒体”指代参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机系统600实施的实施例中，在将指令/代码提供到处理器610以用于执行中可能涉及各种计算机可读媒体，及/或各种计算机可读媒体可用以存储及/或携载此类指令/代码(例如，作为信号)。在许多实施方案中，计算机可读媒体为实体及/或有形存储媒体。此类媒体可呈许多形式，包含(但不限于)非易失性媒体、易失性媒体及传输媒体。非易失性媒体包含(例如)光盘及/或磁盘，例如存储装置625。易失性媒体包含(但不限于)例如工作存储器635等动态存储器。传输媒体包含(但不限于)同轴电缆、铜线及光纤，包含包括总线605的电线，以及通信子系统630的各种组件(及/或通信子系统630借以提供与其它装置的通信的媒体)。因此，发射媒体还可呈波的形式(包含(但不限于)无线电、声波和/或光波，例如，在无线电-波和红外线数据通信期间产生的那些波)。此存储器的此些非暂时性实施例可用于移动装置8、电视显示器114、相机18、计算装置108、HMD 10或本文中所描述的装置的任何装置或元件中。类似地，例如手势分析模块440或内容控制模块450等模块或本文所述的任何其它此类模块可以由存储在此存储器中的指令实施。

举例来说，常见形式的物理和/或有形计算机可读媒体包含软性磁盘、柔性磁盘、硬盘、磁带，或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒带、如下文所描述的载波，或计算机可从其读取指令和/或代码的任何其它媒体。

在将一或多个指令的一或多个序列携载到处理器610以执行时可涉及各种形式的计算机可读媒体。仅举例来说，起初可将指令携载于远程计算机的磁盘和/或光学光盘上。远程计算机可能将指令载入到其动态存储器中，并经由发射媒体将指令作为信号进行发送以由计算机系统600接收和/或执行。根据各种实施例，可能呈电磁信号、声学信号、光信号及/或其类似者形式的这些信号皆为可在其上编码指令的载波的实例。

通信子系统630(及/或其组件)一般将接收信号，且总线605可接着将信号(及/或由信号携载的数据、指令等)携载到工作存储器635，处理器605从所述工作存储器检索指令并执行指令。由工作存储器635接收的指令可在由处理器610执行之前或之后任选地存储在非暂时性存储装置625上。

上文所论述的方法、系统及装置为实例。各种实施例可在适当时省略、替换或添加各种程序或组件。举例来说，在替代配置中，所描述的方法可以用不同于所描述的次序来执行，和/或可添加、省略和/或组合各个阶段。并且，可在各种其他实施例中组合关于某些实施例描述的特征。可以类似方式组合实施例的不同方面及元件。而且，技术演进且，因此，许多元件为实例，其并不会将本发明的范围限于那些特定实例。

在描述中给出具体细节以提供对实施例的透彻理解。然而，可以在没有这些特定细节的情况下实践实施例。举例来说，已在没有不必要的细节的情况下展示众所周知的电路、过程、算法、结构和技术以免混淆所述实施例。此描述仅提供实例实施例，且并不希望限制本发明的范围、适用性或配置。实际上，实施例的前述描述将为所属领域的技术人员提供了用于实施本发明的实施例的启迪性描述。可在不脱离本发明的精神及范围的情况下对元件的功能及布置做出各种改变。

此外，一些实施例被描述为以流程与过程箭头描绘的过程。尽管各自可将操作描述为顺序过程，但操作可并行地或同时执行。另外，可重新布置操作的次序。过程可以具有不包含在图中的额外步骤。此外，可通过硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当以软件、固件、中间件或微码实施时，用以执行相关联任务的程序代码或代码段可存储在例如存储媒体等计算机可读媒体中。处理器可以执行相关联任务。

已描述了若干实施例，可在不脱离本发明的精神的情况下使用各种修改、替代构造及等效物。举例来说，以上元件可以仅为较大系统的组件，其中其它规则可以优先于本发明的应用或以其它方式修改本发明的应用。而且，可在考虑上述元件之前、期间或之后进行数个步骤。因此，以上描述不限制本发明的范围。

Claims (33)

1.一种用于检测缩放手势的方法，其包括：

基于来自一或多个检测装置的初始信息，确定与作出空中手势的用户相关联的控制对象的整个运动范围，所述整个运动范围包含最大伸展及最小伸展；

选择最大缩放量及最小缩放量，所述最大缩放量及最小缩放量分别设定待施加到所显示内容的缩放的最大量和最小量；

将所述最大缩放量指派给所确定的最小伸展或所确定的最大伸展中的一者，及将所述最小缩放量指派给所确定的最小伸展或所确定的最大伸展中的另一者；

检测死区，所述死区包括所述所确定的最小伸展或所述所确定的最大伸展中的至少一者附近的空间；

基于相对于内容平面的用户定向确定缩放向量；

基于来自所述一或多个检测装置的当前信息，检测所述控制对象沿着所述缩放向量在所述控制对象的所述整个运动范围内在与缩放命令相关联的方向上的移动，所述检测排除通过经检测的死区的任何移动；

响应于确定所述移动具有小于缩放向量阈值量的从所述缩放向量的偏离：

基于(i)在所述所确定的最小伸展和所述所确定的最大伸展之间在所述整个运动范围内沿着所述缩放向量的运动的比例，及(ii)在所述最小缩放量和所述最大缩放量上的相应比例，确定缩放量；

基于所确定的缩放量调整所显示内容的缩放级别；以及

否则，脱离所述缩放向量。

2.根据权利要求1所述的方法，其中所述控制对象包括用户的手部，且其中检测所述控制对象在与所述缩放命令相关联的所述方向上的所述移动包括：

检测所述用户的手部在三个维度中的当前位置；

将所述方向估计为在所述用户拉动或推动所述手部使其朝向或远离所述用户时所述用户的手部的运动路径；及

检测在所述用户拉动或推动所述手部使其朝向或远离所述用户时所述用户的手部的所述运动路径。

3.根据权利要求2所述的方法，其进一步包括：

结束缩放模式包括通过远程检测缩放脱离运动来进行所述缩放级别的所述调整。

4.根据权利要求3所述的方法，其中所述控制对象包括所述用户的手部；且

其中检测所述缩放脱离运动包括在检测到所述手部的手掌闭合位置之后检测所述手部的手掌张开位置。

5.根据权利要求4所述的方法，其中所述一或多个检测装置包括光学相机、立体相机、深度相机或安装于手部的惯性传感器。

6.根据权利要求3所述的方法，其中检测所述缩放脱离运动包括检测所述控制对象已偏离与所述缩放命令相关联的所述方向超过阈值量。

7.根据权利要求2所述的方法，

其进一步包括检测缩放起始输入，其中所述缩放起始输入包括所述手部的手掌张开位置，后跟着所述手部的手掌闭合位置。

8.根据权利要求7所述的方法，其中所述手部沿着所述方向的第一位置时，检测缩放起始输入，且将缩放起始输入指派给当前缩放量匹配以创建缩放指派。

9.根据权利要求8所述的方法，其进一步包括：

将所述最小缩放量及所述最大缩放量与最大单次伸展缩放量进行比较；及

调整所述缩放指派以将所述所确定的最小伸展与第一封端缩放设置相关联且将所述所确定的最大伸展与第二封端缩放设置相关联；

其中所述第一封端缩放设置与所述第二封端缩放设置之间的缩放差小于或等于所述最大单次伸展缩放量。

10.根据权利要求9所述的方法，其进一步包括：

通过在所述手部处于在与所述缩放命令相关联的所述方向上沿着所述缩放向量的不同于所述第一位置的第二位置时使用所述一或多个检测装置远程检测缩放脱离运动来结束缩放模式；

在所述手部处于沿着所述缩放向量的不同于所述第二位置的第三位置时响应于第二缩放起始输入而起始第二缩放模式；及

响应于所述第二位置与所述第三位置之间的沿着所述缩放向量的差来调整所述第一封端缩放设置及所述第二封端缩放设置。

11.根据权利要求8所述的方法，其中响应于所述控制对象在与所述缩放命令相关联的所述方向上沿着缩放向量的所述移动的所述检测及基于所述缩放指派来调整所述内容的所述当前缩放量包括：

识别最大可允许缩放速率；

监视所述控制对象沿着所述缩放向量的所述移动；及

在沿着所述缩放向量的相关联的移动超过速率阈值时将缩放的改变速率设置为所述最大可允许缩放速率直到所述当前缩放量指派所述缩放向量上的当前控制对象位置为止。

12.根据权利要求8所述的方法，其中进一步基于所述用户的手臂长度的分析来确定所述缩放指派。

13.根据权利要求8所述的方法，其中在所述用户的第一手势之前基于驱干大小、高度或手臂长度中的一或多者来估计所述缩放指派；且

其中基于由所述用户执行的至少一个手势的分析来更新所述缩放指派。

14.根据权利要求8所述的方法，其中所述缩放指派识别所述所确定的最小伸展附近的空间的死区。

15.一种用于检测缩放手势的设备，其包括：

处理模块，其包括处理器；

计算机可读存储媒体，其耦合到所述处理模块；

显示器输出模块，其耦合到所述处理模块；及

图像俘获模块，其耦合到所述处理模块；

其中所述计算机可读存储媒体包括处理器可读指令，所述处理器可读指令在由所述处理器执行时致使所述处理器：

基于来自一或多个检测装置的初始信息，确定与作出空中手势的用户相关联的控制对象的整个运动范围，所述整个运动范围包含最大伸展及最小伸展；

选择最大缩放量及最小缩放量，所述最大缩放量及最小缩放量分别设定待施加到所显示内容的缩放的最大量和最小量；

将所述最大缩放量指派给所确定的最小伸展或所确定的最大伸展中的一者，及将所述最小缩放量指派给所确定的最小伸展或所确定的最大伸展中的另一者；

检测死区，所述死区包括所述所确定的最小伸展或所述所确定的最大伸展中的至少一者附近的空间；

基于相对于内容平面的用户定向确定缩放向量；

基于来自所述一或多个检测装置的当前信息，检测所述控制对象沿着所述缩放向量在所述控制对象的所述整个运动范围内在与缩放命令相关联的方向上的移动，所述检测排除通过经检测的死区的任何移动；

响应于确定所述移动具有小于缩放向量阈值量的从所述缩放向量的偏离：

基于(i)在所述所确定的最小伸展和所述所确定的最大伸展之间在所述整个运动范围内沿着所述缩放向量的运动的比例，及(ii)在所述最小缩放量和所述最大缩放量上的相应比例，确定缩放量；

基于所确定的缩放量调整所显示内容的缩放级别；以及

否则，脱离所述缩放向量。

16.根据权利要求15所述的设备，其中所述处理器可读指令进一步致使所述处理器：

检测所述控制对象的所述运动范围中的移位；

在所述控制对象的所述运动范围中的所述移位之后检测与所述缩放命令相关联的第二方向；及

响应于所述控制对象在所述第二方向上的所述移动的所述检测来调整所显示内容的所述缩放级别。

17.根据权利要求15所述的设备，其进一步包括：

音频传感器；及

扬声器；

其中缩放起始输入包括经由所述音频传感器接收的语音命令。

18.根据权利要求15所述的设备，其进一步包括：

天线；及

局域网模块；

其中经由所述局域网模块将所述内容从所述显示器输出模块传达到显示器。

19.根据权利要求18所述的设备，其中经由所述显示器输出模块将当前缩放量传达到服务器基础架构计算机。

20.根据权利要求19所述的设备，其中所述处理器可读指令进一步致使所述处理器：

识别最大可允许缩放速率；

监视所述控制对象沿着缩放向量从所述最小缩放量到所述最大缩放量的所述移动；及

在沿着所述缩放向量的相关联的移动超过速率阈值时将缩放的改变速率设置为所述最大可允许缩放速率直到所述当前缩放量匹配所述缩放向量上的当前控制对象位置为止。

21.根据权利要求20所述的设备，其中所述处理器可读指令进一步致使所述处理器：

分析多个用户手势命令以调整所述最小缩放量及所述最大缩放量。

22.根据权利要求21所述的设备，其中所述处理器可读指令进一步致使所述处理器：

识别所述所确定的最小伸展附近的空间的第一死区。

23.根据权利要求22所述的设备，其中所述处理器可读指令进一步致使所述处理器：

识别所述所确定的最大伸展附近的第二死区。

24.根据权利要求20所述的设备，其中输出显示器及第一相机经集成为HMD的组件；且其中所述HMD进一步包括将内容图像投影到所述用户的眼睛中的投影仪。

25.根据权利要求24所述的设备，其中所述内容图像包括虚拟显示表面中的内容。

26.根据权利要求25所述的设备，其中

第二相机以通信方式耦合到所述处理模块；且

其中耦合到所述处理模块的手势分析模块识别所述第一相机与所述控制对象之间的障碍，且使用来自所述第二相机的第二图像检测所述控制对象沿着所述缩放向量的所述移动。

27.一种用于检测缩放手势的系统，其包括：

用于基于来自一或多个检测装置的初始信息，确定与作出空中手势的用户相关联的控制对象的整个运动范围的装置，所述整个运动范围包含最大伸展及最小伸展；

用于选择最大缩放量及最小缩放量的装置，所述最大缩放量及最小缩放量分别设定待施加到所显示内容的缩放的最大量和最小量；

将所述最大缩放量指派给所确定的最小伸展或所确定的最大伸展中的一者，及将所述最小缩放量指派给所确定的最小伸展或所确定的最大伸展中的另一者；

用于检测死区的装置，所述死区包括所述所确定的最小伸展或所述所确定的最大伸展中的至少一者附近的空间；

用于基于相对于内容平面的用户定向确定缩放向量的装置；

用于基于来自所述一或多个检测装置的当前信息检测所述控制对象着所述缩放向量在所述控制对象的所述整个运动范围内在与缩放命令相关联的方向上的移动的装置，所述检测排除通过经检测的死区的任何移动；

用于响应于确定所述移动具有小于缩放向量阈值量的从所述缩放向量的偏离，基于(i)在所述所确定的最小伸展和所述所确定的最大伸展之间在所述整个运动范围内沿着所述缩放向量的运动的比例，及(ii)在所述最小缩放量和所述最大缩放量上的相应比例，确定缩放量的装置；及

用于基于所确定的缩放量调整所显示内容的缩放级别的装置。

28.根据权利要求27所述的系统，其进一步包括：

用于检测用户的手部在三个维度中的当前位置的装置；及

用于将所述方向估计为在所述用户拉动或推动所述手部使其朝向或远离所述用户时所述用户的手部的运动路径的装置。

29.根据权利要求27所述的系统，其进一步包括：

用于通过远程检测缩放脱离运动结束缩放模式的装置。

30.根据权利要求29所述的系统，其进一步包括：

用于检测控制对象移动的装置，其中所述控制对象为所述用户的手部，所述检测包含在检测到所述手部的手掌闭合位置之后检测所述手部的手掌张开位置。

31.根据权利要求27所述的系统，其进一步包括：

用于将所述最小缩放量及所述最大缩放量与最大单次伸展缩放量进行比较的装置；及

用于调整缩放量指派以将所述所确定的最小伸展与第一封端缩放设置相关联且将所述所确定的最大伸展与第二封端缩放设置相关联的装置；

其中所述第一封端缩放设置与所述第二封端缩放设置之间的缩放差小于或等于所述最大单次伸展缩放量。

32.根据权利要求31所述的系统，其进一步包括：

用于通过在所述控制对象处于在与所述缩放命令相关联的所述方向上沿着缩放向量的不同于第一位置的第二位置时使用所述一或多个检测装置远程检测缩放脱离运动来结束缩放模式的装置；

用于在所述控制对象处于沿着所述缩放向量的不同于所述第二位置的第三位置时响应于第二缩放起始输入而起始第二缩放模式的装置；及

用于响应于所述第二位置与所述第三位置之间的沿着所述缩放向量的差来调整所述第一封端缩放设置及所述第二封端缩放设置的装置。

33.一种非暂时性计算机可读存储媒体，其包括计算机可读指令，所述计算机可读指令在由处理器执行时致使系统：

基于来自一或多个检测装置的初始信息，确定与作出空中手势的用户相关联的控制对象的整个运动范围，所述整个运动范围包含最大伸展及最小伸展；

选择最大缩放量及最小缩放量，所述最大缩放量及最小缩放量分别设定待施加到所显示内容的缩放的最大量和最小量；

将所述最大缩放量指派给所述所确定的最小伸展或所述所确定的最大伸展中的一者，及将所述最小缩放量指派给所述所确定的最小伸展或所述所确定的最大伸展中的另一者；

检测死区，所述死区包括所述所确定的最小伸展或所述所确定的最大伸展中的至少一者附近的空间；

基于相对于内容平面的用户定向确定缩放向量；

基于来自所述一或多个检测装置的当前信息检测所述控制对象沿着所述缩放向量在所述控制对象的所述整个运动范围内在与缩放命令相关联的方向上的移动，所述检测排除通过经检测的死区的任何移动；

响应于确定所述移动具有小于缩放向量阈值量的从所述缩放向量的偏离：

基于(i)在所述所确定的最小伸展和所述所确定的最大伸展之间在所述整个运动范围内沿着所述缩放向量的运动的比例，及(ii)在所述最小缩放量和所述最大缩放量上的相应比例，确定缩放量；

基于所确定的缩放量调整所显示内容的缩放级别；以及

否则，脱离所述缩放向量。