CN112689869A - 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 - Google Patents

Abstract

可穿戴设备可以包括用于渲染看起来位于显示器的用户的周围环境中的三维(3D)虚拟对象的头戴式显示器(HMD)。所述HMD和所述用户的一个或多个眼睛的相对位置可能不在期望的位置以接收或配准由所述HMD输出的图像信息。例如，所述HMD到眼睛(HMD‑to‑eye)对准针对不同用户变化并且可以随时间改变(例如，当给定用户四处走动时或者当所述HMD滑动或以其他方式变得位移时)。所述可穿戴设备可以通过确定所述眼睛的特征是否处于相对于所述HMD的某些垂直位置来确定所述HMD与所述用户的眼睛之间的相对位置或对准。基于相对位置，所述可穿戴设备可以确定其是否适当地适配到所述用户，并且向所述用户提供关于所述适配质量的反馈，并且可以采取动作以减少或最小化任何未对准的影响。

Description

用于确定显示器与用户的眼睛之间的配准的显示系统和方法

优先权要求

本申请要求题为“DISPLAY SYSTEMS AND METHODS FOR DETERMININGREGISTRATION BETWEEN A DISPLAY AND EYES OF A USER(用于确定显示器与用户的眼睛之间的配准的显示系统和方法)”并且于2019年7月24日提交的美国专利临时申请62/702866的优先权，其以整体内容通过引用并入本文。

通过引用并入

本申请通过引用并入以下专利申请和公开中的每一个的整体内容：于2014年11月27日提交的美国申请号14/555,585，其于2015年7月23日公开为美国公开号2015/0205126；于2015年4月18日提交的美国申请号14/690,401，其于2015年10月22日公开为美国公开号2015/0302652；于2014年3月14日提交的美国申请号14/212,961，现在于2016年8月16日发布的美国专利号9,417,452；于2014年7月14日提交的美国申请号14/331,218，其于2015年10月29日公开为美国公开号2015/0309263；美国专利公开号2016/0270656；2015年6月25日公开的美国专利公开号2015/0178939；美国专利公开号2015/0016777；美国专利申请号15/274,823；美国专利申请号15/296,869；于2017年9月27日提交的美国专利申请号15/717,747；于2017年4月26日提交的美国专利申请号15/497,726；于2017年2月23日提交的美国专利公开号2017/0053165；于2017年2月23日公开的美国专利公开号2017/0053166；于2016年11月2日提交的美国申请号15/341,760，其于2017年5月4日公开为美国公开号2017/0122725；于2016年11月2日提交的美国申请号15/341,822，其于2017年5月4日公开为美国公开号2017/0124928；于2018年1月17日提交的美国临时专利申请号62/618,559；于2018年3月14日提交的美国临时专利申请号62/642,761；以及于2018年3月16日提交的美国临时专利申请号62/644,321。

技术领域

本公开涉及包括虚拟现实和增强现实显示系统的显示系统，并且更具体地，涉及用于评估显示器在用户上的适配(fit)的系统和方法。

背景技术

现代的计算和显示技术已经促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的发展，其中，以它们看起来是真实的或者可被感知为是真实的方式向用户呈现数字再现的图像或其一部分。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其他实际现实世界视觉输入不透明；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，以作为对用户周围现实世界的可视化增强；混合现实或“MR”与融合现实世界和虚拟世界有关，以产生物理和虚拟对象共存并实时交互的新环境。事实证明，人类的视觉感知系统非常复杂，产生促进虚拟图像元素尤其其他虚拟或现实图像元素的舒适、感觉自然、丰富的呈现的VR、AR或MR技术是具有挑战性的。本文公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。

发明内容

在一些实施例中，显示系统被配置为将光投射到用户的眼睛以显示虚拟图像内容。该显示系统包括：被配置为支撑在所述用户的头部上的框架，设置在所述框架上的头戴式显示器，被配置为对所述用户的眼睛进行成像的一个或多个眼睛跟踪相机，以及与所述头戴式显示器和所述一个或多个眼睛跟踪相机通信的处理电子器件。该显示器被配置为将光投射到所述用户的眼睛中以利用不同的波前发散量显示虚拟图像内容以呈现看起来位于不同时间段处的不同深度的虚拟图像内容。该处理电子器件被配置为：通过确定所述眼睛的成像特征是否在相对于所述头戴式显示器的垂直位置的预定范围内来确定所述头戴式显示器是否适当地配准到所述用户的眼睛；并且如果所述头戴式显示器未适当地调节以适配所述用户，则向所述用户提供反馈。

在一些其他实施例中，提供了一种用于评价由用户的眼睛对来自头戴式显示器系统的虚拟图像内容的配准(registration)的方法。该方法包括：对所述眼睛进行成像；确定所述眼睛的成像特征是否在相对于头戴式显示器的垂直位置的预定范围内；以及基于所述成像特征的确定位置来提供通知。该通知至少指示所述头戴式显示器和所述眼睛未适当地配准。

下面列举了实施例的附加示例。

示例1.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统，所述显示系统包括：

框架，其被配置为支撑在所述用户的头部上；

头戴式显示器，其设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中以利用不同的波前发散量显示虚拟图像内容以呈现看起来位于不同时间段处的不同深度的虚拟图像内容；

一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像，以及

处理电子器件，其与所述头戴式显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子器件被配置为：

通过确定所述眼睛的成像特征是否在相对于所述头戴式显示器的垂直位置的预定范围内确定所述头戴式显示器是否适当地配准到所述用户的眼睛；并且

如果所述头戴式显示器未适当地调节以适配所述用户，则向所述用户提供反馈。

示例2.根据示例1所述的显示系统，其中，所述一个或多个眼睛跟踪相机被配置为对所述用户的左眼和所述用户的右眼进行成像，

其中，所述处理电子器件还被配置为确定指示所述用户的左眼的位置的置信度水平的左眼跟踪置信度得分并且确定指示所述用户的右眼的位置的置信度水平的右眼跟踪置信度得分，以及

其中，当所述置信度得分中的一个大于另一个时，所述处理电子器件还被配置为基于与所述较大置信度得分相关联的用户的左眼或右眼来确定所述头戴式显示器是否适当地配准。

示例3.根据示例1所述的显示系统，其中，所述一个或多个眼睛跟踪相机被配置为对所述用户的左眼和所述用户的右眼进行成像，以及

其中，当所述用户的左眼和右眼彼此垂直偏移小于第一预定阈值时，所述处理电子器件还被配置为基于距期望垂直位置最远的所述用户的左眼和右眼的位置来确定所述头戴式显示器是否适当地配准。

示例4.根据示例3所述的显示系统，其中，当所述用户的左眼和右眼彼此垂直偏移小于第二预定阈值时，所述第二预定阈值小于所述第一预定阈值，所述处理电子器件还被配置为基于所述用户的左眼和右眼的平均位置来确定所述头戴式显示器是否适当地配准。

示例5.根据示例4所述的显示系统，其中，当所述用户的左眼和右眼彼此垂直偏移超过所述第一预定阈值时，所述处理电子器件还被配置为基于所述用户的左眼和右眼的平均位置来确定所述头戴式显示器是否适当地配准。

示例6.根据示例1所述的显示系统，还包括：至少一个可交换适配件，其可移除地安装到所述框架并且被配置为调节所述框架的适配。

示例7.根据示例6所述的显示系统，其中，所述可交换适配件包括可交换鼻梁，其被配置为调节所述框架与所述用户的鼻梁之间的框架的适配。

示例8.根据示例6所述的显示系统，其中，所述可交换适配件包括可交换前额垫，其被配置为调节所述框架与所述用户的前额之间的框架的适配。

示例9.根据任何示例6所述的显示系统，其中，所述可交换适配件包括可交换后垫，其被配置为调节所述框架与所述用户的头部的后面之间的框架的适配。

示例10.根据任何示例1所述的显示系统，其中，如果所述头戴式显示器未适当地调节以适配所述用户则向所述用户提供反馈包括：向所述用户提供建议以换出用于另一可交换适配件的当前安装的可交换适配件。

示例11.一种用于评价由用户的眼睛对来自头戴式显示器系统的虚拟图像内容的配准的方法，所述方法包括：

对所述眼睛进行成像；

确定所述眼睛的成像特征是否在相对于头戴式显示器的垂直位置的预定范围内；以及

基于所述成像特征的确定位置来提供通知，其中，所述通知至少指示所述头戴式显示器和所述眼睛未适当地配准。

示例12.根据示例11所述的方法，其中，确定所述眼睛的成像特征是否在垂直位置的预定范围内包括确定所述眼睛的闪光的位置。

示例13.根据示例12所述的方法，还包括：基于所述眼睛的闪光来确定所述眼睛的瞳孔的位置。

示例14.根据示例11所述的方法，其中，所述头戴式显示器系统被配置为将光投射到所述眼睛中以在所述用户的所述视场中显示虚拟图像内容，并且其中，提供所述通知包括显示所述通知作为虚拟图像内容。

示例15.根据示例11所述的方法，还包括：随时间自动跟踪所述眼睛的瞳孔并且当所述眼睛的旋转中心移动到垂直位置的预定范围外部时通知所述用户。

示例16.根据示例11所述的方法，还包括：当所述眼睛的位置在显示配准体积外部时，从所述头戴式显示器系统的第一视场改变为所述头戴式显示器系统的第二视场，

其中，所述头戴式显示器系统包括：至少一个显示器，当所述眼睛的位置在所述显示配准体积内部时其具有第一视场，其中，当所述眼睛的位置在所述显示配准体积外部时，所述至少一个显示器具有第二视场，并且其中，所述第二视场小于所述第一视场。

示例17.根据示例11所述的方法，其中，所述头戴式显示器系统包括至少一个可交换适配件，其中，提供所述通知包括指示所述可穿戴系统未适当地适配到所述用户并且建议或者指令所述用户利用可替代可交换适配件替换当前安装的可交换适配件。

示例18.根据示例17所述的方法，其中，所述至少一个可交换适配件包括选自包括以下各项的组的至少一个适配件：鼻梁垫、前额垫、和在所述可穿戴系统与用户的头部的后面的后垫。

示例19.根据示例18所述的方法，其中，所述至少一个可交换适配件包括至少一个可交换鼻梁垫，并且还包括确定所述头戴式显示器相对于所述眼睛太低，并且其中，向所述用户提供所述通知还包括提示所述用户安装更大的鼻梁垫。

示例20.根据示例11所述的方法，还包括：

标识所述用户被期望感知为变暗的头戴式显示器系统的显示器的多个像素作为在显示配准体积外部的所述眼睛的第一位置的结果；以及

提升所述显示器的多个像素相对于所述显示器中的其他像素的亮度以减轻所述期望变暗。

本说明书中描述的主题的一种或多种实施方式的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，其他特征、方面和优点将变得显而易见。该概述或以下详细描述均不旨在定义或限制本发明主题的范围。

附图说明

图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景的图示。

图2示意性地示出了可穿戴系统的示例。

图3示意性地示出了可穿戴系统的示例部件。

图4示意性地示出了用于向用户输出图像信息的可穿戴设备的波导堆叠的示例。

图5示意性地示出了眼睛和用于确定眼睛的眼睛姿势的示例坐标系的示例。

图6是包括眼睛跟踪系统的可穿戴系统的示意图。

图7A是可包括眼睛跟踪系统的可穿戴系统的框图。

图7B是可穿戴系统中的渲染控制器的框图。

图7C是头戴式显示系统中的配准观察器的框图。

图8A是示出眼睛的角膜球的眼睛的示意图。

图8B示出了由眼睛跟踪相机检测到的示例角膜闪光。

图8C-8E示出了通过可穿戴系统中的眼睛跟踪模块定位用户的角膜中心的示例阶段。

图9A-9C示出了眼睛跟踪图像的坐标系的示例归一化。

图9D-9G示出了通过可穿戴系统中的眼睛跟踪模块定位用户的瞳孔中心的示例阶段。

图10示出了包括眼睛的光轴和视轴以及眼睛的旋转中心的眼睛的示例。

图11是用于在渲染内容中使用眼睛跟踪并提供关于可穿戴设备中的配准的反馈的方法的示例的过程流程图。

图12A和图12B示出了显示元件相对于用户的眼睛的标称位置，并且示出了用于描述显示元件和用户的眼睛相对于彼此的位置的坐标系。

图13A和13B示出了在头戴式显示系统中显示元件相对于用户的眼睛的标称定位和定位公差。

图13C和图13D示出了显示配准体积和用户的眼睛观看来自显示器的内容。

图14示出了针对用户的眼睛相对于显示器的各种位置的显示器的感知调暗的示例。

图15A和15B是头戴式显示系统的分解透视图，该头戴式显示系统具有诸如后部垫、前额垫和鼻梁垫之类的可互换件，以调整显示系统的头戴式显示器对于不同用户的适配。

图16是用于观察配准并提供关于与头戴式显示系统的配准的反馈的方法的示例的过程流程图。

图17A-17H示出了由显示器投射的光场的视图以及光场的相交可如何部分地限定显示配准体积。

图18示出了由显示器投射的光场的俯视图以及光场的相交可如何部分地限定显示配准体积。

图19示出了包括闪光的眼睛和用于测量眼睛的瞳孔相对于头戴式显示器系统的位置的和描绘区域的示例。

图20是用于观察配准和提供关于与头戴式显示器系统的配准的反馈的过程流程图的示例。

图21是示出可以提供给头戴式显示器系统的穿戴者的适配指示器的说明性屏幕截图。

图22A、22B、和22C示出了用于观察配准和提供关于与头戴式显示器系统的配准的反馈的方法的进一步的细节的示例的过程流程图。

在所有附图中，附图标记可以被重复使用以指示引用元件之间的对应关系。提供附图是为了说明本文中描述的示例实施例，而无意于限制本公开的范围。

具体实施方式

显示系统的显示部分可包括头戴式显示器(HMD)，其可包括三维(3D)虚拟对象，使得对象看起来位于用户的周围环境内。因此，3D虚拟对象可以以类似方式由用户感知为现实世界对象。

HMD可通过将空间调制的光输出给用户来显示图像，其中，光对应于虚拟对象。空间调制的光可包含图像信息，可称为图像光。为了被用户感知，图像光从HMD行进到用户的眼睛，传播通过瞳孔，并落到眼睛的视网膜上。应当理解，如果对于图像的图像光的全部或部分没有进入眼睛的瞳孔和/或没有落到眼睛的视网膜上，则观看者将看不到图像或图像的质量可能会劣化。如本文所使用的，配准涉及显示器和用户的眼睛的相对定位。例如，当用户的眼睛和显示器彼此相对定位以使所需数量的图像光进入眼睛时，可以说显示器已被正确配准。可对显示设备中的配准观察器(例如，计算机程序)进行编程，以监控显示器是否被正确配准或定位成使眼睛从显示器接收图像光。

为了例如通过使用户的眼睛定位成接收图像光来向用户正确显示内容，用户的眼睛可能需要位于相对于HMD的特定区域或空间体积内。该体积可被称为显示配准体积。如果用户的眼睛在显示配准体积之外，则显示质量可能会劣化(例如，可存在调暗和/或显示的内容无法到达用户的眼睛)。各种因素可组合起来以确定用户的眼睛相对于HMD的位置，从而确定用户的眼睛是否位于所需显示配准体积内。作为示例，用户之间的解剖学变化(anatomical variation)可意味着头戴式显示器以将他们的眼睛放在显示配准体积之外的方式适配某些用户。作为另一个示例，HMD可能不会牢固地固定在用户的头上，并且可随着时间的推移在用户的头上移动，特别是在用户四处移动时。作为特定示例，HMD可能会滑落用户的鼻子或相对于用户的眼睛之间的线(眼间轴)倾斜，结果，由于显示器相对于用户的眼睛的移动，HMD可能无法提供所需的虚拟内容(例如，没有一些不希望的劣化)。

本文描述的各种系统和技术至少部分针对解决与显示器的正确配准有关的问题，以允许观看者按需观看图像内容。在一些实施例中，头戴式显示系统可被配置为确定用户的眼睛的位置。然后，显示系统可确定该眼睛的位置是否在头戴式显示系统的显示配准体积内。确定眼睛的位置可包括确定与眼睛相关联的表示性指针体积的位置，例如，眼睛的旋转中心。确定眼睛的位置是否在显示配准体积内可包括确定眼睛的旋转中心是否在显示配准体积内。如本文所讨论的，可使用被配置为对眼睛成像的面向内部的成像系统来确定眼睛的旋转中心。另外，在一些实施例中，显示配准体积是与头戴式显示系统相对于用户的眼睛的正确适配相关联的假想体积。例如，显示配准体积可以是由从输出图像光的头戴式显示系统的表面的投射所限定的体积。更具体地，显示配准体积可以是从基部向顶部逐渐变细的三维几何形状。显示配准体积的基部的形状可至少部分地由显示器的几何形状限定，并且显示配准体积的深度(即，在z轴上从基部到顶部的距离)可至少部分由显示器的视场(FOV)定义。例如，弧形或圆形显示器可产生锥形显示配准体积，而多边形显示器可产生椎体形显示配准体积。作为附加示例，具有较大FOV的显示器可产生具有比具有较小FOV的显示器更小的深度的显示配准体积。在一些实施例中，显示配准体积可具有截头圆锥或截头椎体形的总体形状。例如，显示配准体积可具有平截头体(例如，诸如矩形椎体形的椎体形的平截头体)的总体形状。

在一些实施例中，头戴式显示系统的面向内部的成像系统可获取用户的面部的图像，包括他们的眼睛。面向内部的成像系统可以是眼睛跟踪系统，其可安装在头戴式显示器的框架上。头戴式显示系统可分析图像以确定用户的眼睛和HMD的相对位置，以及用户的每只眼睛的位置是否在该眼睛的显示配准体积之内。基于该信息，头戴式显示系统可通知用户调整HMD的适配。例如，该通知可告知用户该设备已经滑动并且需要调整或建议以进行HMD的调整。在一些实施例中，头戴式显示系统可采取步骤来减轻由于HMD对用户的未对准而导致的任何显示劣化，例如通过在否则会因未对准而被调暗的区域中提高向用户输出的亮度或光或通过移动虚拟内容。因此，HMD的这种实施例可帮助用户正确地适配HMD并减轻由于HMD的不正确适配而引起的问题，诸如当HMD相对于用户的头部滑动、移动或倾斜时。

有利地，可利用从面向内部的成像系统获取的图像和关于由显示系统存储或可访问的显示配准体积的信息来自动执行配准分析。结果，可在首先使用HMD时以及可选地还在HMD的连续使用过程中校正HMD的适配，以确保在使用头戴式显示系统时高水平的图像质量。

因此，本文提供了用于观察头戴式显示器系统的配准并且响应于观察配准而采取动作的系统和方法的各种实施方式。例如，显示系统可以被配置为通过确定用户的眼睛的旋转中心、确定显示系统的配准体积的边界或位置、和确定旋转中心是否在该配准体积内来观察配准。将理解到，配准体积可以由显示系统计算和/或可以被提供为可由显示系统访问的预定信息。在一些实施例中，响应于观察的配准，显示系统可以关于配准是否和/或如何可以改进向用户提供反馈。

作为另一示例，显示系统可以被配置为通过对眼睛进行成像估计旋转中心是否在配准体积内，但是没有特别地计算旋转中心相对于配准体积的位置，来观察配准并且提供用户反馈。相反，显示系统可以被配置为对眼睛进行成像，并且基于那些图像，确定眼睛的各种特征与那些特征的期望取向的偏离。显示系统可以然后做出可以对显示系统的适配做出什么特定调节的确定。调节可以与眼睛的各种特征与其期望取向的相关联的偏离相关。期望取向可以是当眼睛的旋转中心在配准体积内时的那些特征的取向。调节可以是与解决特定偏离相关的调节并且可以包括改变显示系统的物理部分，使得显示系统坐在用户的头部上，使得在一些实施例中，眼睛的旋转中心可以被假定为在期望的配准体积中。

现在将对附图进行参考，其中相似附图标记自始至终指代相似部件。除非另外指明，否则，附图是示意性的并且不必按比例绘制。

可穿戴系统的3D显示器的示例

可穿戴系统(在本文中也称为头戴式显示器系统或增强现实(AR)系统)可以被配置为将2D或3D虚拟图像呈现给用户。图像可以是静止图像、视频帧、或视频、组合等。可穿戴系统的至少一部分可以被实现在可穿戴设备上，该可穿戴设备可以单独或组合地为用户交互来呈现VR、AR或MR环境。可穿戴设备可以互换地用作AR设备(ARD)此外，出于本公开的目的，术语“AR”与术语“MR”可互换使用。

图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景的图示。在图1中，描绘了MR场景100，其中，MR技术的用户看到现实世界的公园状的设置110，其特征在于背景中的人、树、建筑物、以及混凝土平台120。除了这些项目之外，MR技术的用户还感知到他“看到”了站在现实世界平台120上的机器人雕像130，以及飞行的卡通状的化身角色140，似乎是大黄蜂的化身，即使这些元素在现实世界中不存在。

为了使3D显示器产生真实的深度感，更具体地说，产生表面深度的模拟感，可能希望显示器的视野中的每个点都生成与其虚拟深度相对应的适应性响应。如果对显示点的适应性响应不符合该点的虚拟深度(如由双目深度会聚提示和立体视觉确定)，则人眼可能会遇到适应冲突，从而导致成像不稳定、有害的眼睛疲劳、头痛、以及缺乏适应信息的情况下几乎完全缺乏表面深度(surface depth)。

可以通过具有显示器的显示系统来提供VR、AR和MR体验，在该显示器中，将与多个深度平面相对应的图像提供给观看者。图像对于每个深度平面可能是不同的(例如，提供场景或对象的稍有不同的呈现)，并且可能会被观看者的眼睛分别聚焦，从而有助于基于眼睛所需的适应向用户提供深度提示，为位于不同深度平面上的场景或基于观察不同深度平面上的不同图像特征失焦而聚焦不同图像特征。如本文其他地方所讨论的，这样的深度提示提供了对深度的可信感知。

图2示出了可被配置为提供AR/VR/MR场景的可穿戴系统200的示例。可穿戴系统200也可以称为AR系统200。可穿戴系统200包括显示器220以及支持显示器220的功能的各种机械和电子模块和系统。显示器220可以耦合到可由用户、穿戴者或观看者210穿戴的框架230。显示器220可以位于用户210的眼睛的前面。显示器220可以向用户呈现AR/VR/MR内容。因为显示器220可以被配置为佩戴在用户210的头部上，所以它也可以被称为头戴式显示器(HMD)，并且包括显示器220的可穿戴系统200也可以被称为头戴式显示系统。

在一些实施例中，扬声器240耦合到框架230并且邻近用户的耳道定位(在一些实施例中，未示出的另一个扬声器可以邻近用户的另一耳道定位，以提供立体声/可塑造声音控制)。显示器220可以包括用于检测来自环境的音频流并捕获环境声音的音频传感器(例如，麦克风)232。在一些实施例中，未示出的一个或多个其他音频传感器被定位为提供立体声接收。立体声接收可以用来确定声源的位置。可穿戴系统200可以对音频流执行声音或语音识别。

可穿戴系统200可以包括面向外部的成像系统464(图4所示)，该成像系统464观察用户周围的环境中的世界。可穿戴系统200还可以包括可用于跟踪用户的眼睛移动的面向内部的成像系统462(图4所示)。面向内部的成像系统可以跟踪一只眼睛的移动或两只眼睛的移动。面向内部的成像系统462可以附接到框架230，并且可以与处理模块260或270电连通，处理模块260或270可以处理由面向内部的成像系统获取的图像信息以确定例如用户210的眼睛的瞳孔直径或定向、眼睛移动或眼睛姿势。面向内部的成像系统462可以包括一个或多个相机。例如，至少一个相机可以用于对每只眼睛成像。相机获取的图像可以用于分别确定每只眼睛的瞳孔大小或眼睛姿势，从而允许将图像信息呈现给每只眼睛以动态地适应该只眼睛。

作为示例，可穿戴系统200可以使用面向外部的成像系统464或面向内部的成像系统462来获取用户的姿势的图像。图像可以是静止图像、视频的帧、或视频。

显示器220可以例如通过有线引线或无线连接250可操作地耦合到本地数据处理模块260，该本地数据处理模块260可以以各种配置安装，例如，固定地附接到框架230、固定地附接到用户穿戴的头盔或帽子上、嵌入耳机中、或以其他方式可拆卸地附接到用户210(例如，以背包式配置、皮带耦合式配置)。

本地处理和数据模块260可以包括硬件处理器以及数字存储器(例如，非易失性存储器(例如，闪存))，两者均可以用于协助处理、缓存和存储数据。数据可以包括：a)从传感器(其可以例如可操作地耦合到框架230或以其他方式附接到用户210)捕获的数据，例如图像捕获设备(例如，面向内部的成像系统或面向外部的成像系统中的相机)、音频传感器(例如，麦克风)、惯性测量单元(IMU)、加速度计、指南针、全球定位系统(GPS)单元、无线电设备或陀螺仪；或b)使用远程处理模块270或远程数据存储库280获取或处理的数据，可能在这样的处理或检索之后传递给显示器220。本地处理和数据模块260可以通过通信链路262或264(例如，经由有线或无线通信链路)可操作地耦合到远程处理模块270或远程数据存储库280，使得这些远程模块可用作本地处理和数据模块260的资源。此外，远程处理模块280和远程数据存储库280可以可操作地彼此耦合。

在一些实施例中，远程处理模块270可以包括被配置为分析和处理数据或图像信息的一个或多个处理器。在一些实施例中，远程数据存储库280可以是数字数据存储设施，其可以通过互联网或“云”资源配置中的其他网络配置来使用。在一些实施例中，所有数据被存储并且所有计算在本地处理和数据模块中执行，从而允许来自远程模块的完全自主的使用。

可穿戴系统的示例组件

图3示意性地示出了可穿戴系统的示例组件。图3示出了可穿戴系统200，其可包括显示器220和框架230。分解图202示意性地示出了可穿戴系统200的各个组件。在某些实施方式中，图3所示的组件中的一个或多个可以是显示器220的一部分。单独或组合的各种组件可以收集与可穿戴系统200的用户或用户的环境相关联的各种数据(例如，音频或视觉数据)。应当理解，取决于对其使用可穿戴系统的应用，其他实施例可以具有更多或更少的组件。尽管如此，图3提供了各种组件中的一些以及可以通过可穿戴系统收集、分析和存储的数据的类型的基本思想。

图3示出了可以包括显示器220的示例可穿戴系统200。显示器220可以包括可以安装到用户的头部或外壳或框架230的显示透镜226，该显示透镜226与框架230相对应。显示透镜226可以包括一个或多个透明镜，该透明镜由外壳230定位在用户的眼睛302、304的前面，并且可被配置为将投射的光338弹射到眼睛302、304中并促进光束整形，同时还允许透射至少一些来自本地环境的光。投射的光束338的波前(wavefront)可以被弯曲或聚焦以与投射的光的期望焦距一致。如图所示，两个广视野机器视觉相机316(也称为世界相机)可以耦合到外壳230以对用户周围的环境成像。这些相机316可以是双重捕获可见光/不可见(例如，红外)光相机。相机316可以是图4中所示的面向外部的成像系统464的一部分。由世界相机316获取的图像可以由姿势处理器336处理。例如，姿势处理器336可以实现一个或多个对象识别器708(例如，图7所示)以标识用户或在用户的环境中的另一个人的姿势或标识在用户的环境中的物理对象。

继续参考图3，示出了具有显示镜和光学器件的一对光投影仪模块(例如，扫描激光成形波阵面(例如，对于深度)光投影仪模块)，其被配置为将光338投射到眼睛302、304中。所描绘的视图还示出了与红外光源326(例如，发光二极管“LED”)配对的两个微型红外相机324，其被配置为能够跟踪用户的眼睛302、304以支持渲染和用户输入。相机324可以是图4所示的面向内部的成像系统462的一部分。可穿戴系统200的特征还在于传感器组件339，该传感器组件339可包括X、Y和Z轴加速度计能力以及磁指南针以及X、Y和Z轴陀螺仪能力，优选地以相对较高的频率(例如，200Hz)提供数据。传感器组件339可以是参考图2A描述的IMU的一部分。所描绘的系统200还可以包括头部姿势处理器336，诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)或ARM处理器(高级简化指令集机器)，其可被配置为根据从捕获设备316输出的宽视野图像信息来计算实时或近实时用户头部姿势。头部姿势处理器336可以是硬件处理器，并且可以被实现为图2A中所示的本地处理和数据模块260的一部分。

可穿戴系统还可以包括一个或多个深度传感器234。深度传感器234可被配置为测量环境中的对象到可穿戴设备之间的距离。深度传感器234可包括激光扫描仪(例如，激光雷达)、超声深度传感器、或深度感测相机。在某些实施方式中，在相机316具有深度感测能力的情况下，相机316也可以被认为是深度传感器234。

还示出了处理器332，其被配置为执行数字或模拟处理以根据来自传感器组件339的陀螺仪、指南针或加速度计数据导出姿势。处理器332可以是图2中所示的本地处理和数据模块260的一部分。如图3所示的可穿戴系统200还可以包括诸如GPS 337(全球定位系统)之类的定位系统，以辅助姿势和定位分析。另外，GPS可以进一步提供关于用户的环境的基于远程的(例如，基于云的)信息。此信息可用于识别用户的环境中的对象或信息。

可穿戴系统可以组合由GPS 337和远程计算系统(例如，远程处理模块270、另一个用户的ARD等)获取的数据，该数据可以提供有关用户的环境的更多信息。作为一个示例，可穿戴系统可以基于GPS数据确定用户的位置，并检索包括与用户的位置相关联的虚拟对象的世界地图(例如，通过与远程处理模块270通信)。作为另一个示例，可穿戴系统200可以使用世界相机316(其可以是图4所示的面向外部的成像系统464的一部分)来监控环境。基于由世界相机316获取的图像，可穿戴系统200可以检测环境中的对象(例如，通过使用图7所示的一个或多个对象识别器708)。可穿戴系统可以进一步使用由GPS 337获取的数据来解释角色。

可穿戴系统200还可包括渲染引擎334，该渲染引擎334可被配置为提供用户本地的渲染信息，以促进扫描仪的操作和成像到用户的眼睛中，以供用户观看世界。渲染引擎334可以由硬件处理器(例如，中央处理单元或图形处理单元)实现。在一些实施例中，渲染引擎是本地处理和数据模块260的一部分。渲染引擎334可以可通信地(例如，经由有线或无线链路)耦合到可穿戴系统200的其他组件。例如，渲染引擎334可以经由通信链路274耦合到眼睛相机324，并且可以经由通信链路272耦合到投射子系统318(其可以以类似于视网膜扫描显示器的方式经由扫描的激光布置将光投射到用户的眼睛302、304中)。渲染引擎334还可以分别经由链路276和294与其他处理单元通信，例如，传感器姿势处理器332和图像姿势处理器336。

相机324(例如，微型红外相机)可以用来跟踪眼睛的姿势以支持渲染和用户输入。一些示例眼睛姿势可以包括用户正在看的地方、或他或她正聚焦的深度(这可以通过眼睛聚散(vergence)来估计)。GPS 337、陀螺仪、指南针和加速度计339可用于提供粗略或快速的姿势估计。相机316中的一个或多个可以获取图像和姿势，这些图像和姿势与来自关联的云计算资源的数据一起可以用于映射本地环境并与其他用户共享用户视图。

图3所示的示例组件仅用于说明目的。为了便于说明和描述，一起显示了多个传感器和其他功能模块。一些实施例可以仅包括这些传感器或模块中的一个或子集。此外，这些组件的位置不限于图3所示的位置。某些组件可安装到其他组件或容纳在其他组件中，例如，皮带安装组件、手持组件或头盔组件。作为一个示例，图像姿势处理器336、传感器姿势处理器332和渲染引擎334可以被放置在皮带包中，并且被配置为经由无线通信(例如，超宽带、Wi-Fi、蓝牙等)或经由有线通信与可穿戴系统的其他组件通信。所描绘的外壳230优选地是用户可头戴的和可穿戴的。但是，可穿戴系统200的某些组件可能会穿戴到用户的身体的其他部分。例如，扬声器240可以被插入用户的耳朵中以向用户提供声音。

关于光338到用户的眼睛302、304中的投射，在一些实施例中，相机324可以用于测量用户的眼睛的中心在几何上被聚散到的位置，这通常与眼睛的焦点位置或“焦深”一致。眼睛聚散到的所有点的三维表面可以称为“双眼单视界(horopter)”。焦距可以具有有限量的深度，或者可以无限变化。从聚散距离投射的光似乎聚焦到了受试者眼睛302、304，而在聚散距离之前或之后的光却变得模糊了。在美国专利公开号2016/0270656(其全部内容通过引用合并于此)中也描述了本公开的可穿戴设备和其他显示系统的示例。

人的视觉系统是复杂的，并且提供对深度的真实感是具有挑战性的。由于组合了聚散(vergence)和适应，对象的观看者可以将对象感知为三维。两只眼睛相对于彼此的聚散移动(即，瞳孔相向或远离彼此的滚动移动以收敛眼睛的视线以固定在对象上)与眼睛晶状体的聚焦(或“适应”)紧密相关联。在正常情况下，在称为“适应－聚散反射”(accommodation-vergence reflex)的关系下，改变眼睛晶状体的焦点或适应眼睛以将焦点从一个对象变化为不同距离的另一对象，将自动导致在相同距离上的聚散的匹配变化。同样，在正常情况下，聚散的改变将触发适应的匹配变化。在适应和聚散之间提供更好匹配的显示系统可以形成更逼真和舒适的三维图像模拟。

人眼可以正确地分辨出光束直径小于约0.7毫米的空间相干光，而无论眼睛聚焦在何处。因此，为了产生适当的焦深的错觉，可以用相机324跟踪眼睛聚散，并且可以利用渲染引擎334和投射子系统318来将所有对象渲染聚焦在双眼单视界上或附近，以及将所有其他对象以不同程度的失焦(例如，使用故意创建的模糊)。优选地，系统220以大约每秒60帧或更高的帧速率向用户渲染。如上所述，优选地，相机324可以用于眼睛跟踪，并且软件可被配置为不仅拾取聚散几何形状，而且拾取焦点位置提示以用作用户输入。优选地，这种显示系统配置有适合白天或晚上使用的亮度和对比度。

在一些实施例中，显示系统优选地具有小于约20毫秒的视觉对象对准延迟，小于约0.1度的角度对准和约1弧分的分辨率，这不受理论限制地被认为大约是人眼的极限。显示系统220可以与定位系统集成在一起，该定位系统可以涉及GPS元件、光学跟踪、指南针、加速度计或其他数据源，以帮助确定位置和姿势；定位信息可用于促进用户观看相关世界时的准确渲染(例如，此类信息将有助于眼镜了解它们相对于现实世界的位置)。

在一些实施例中，可穿戴系统200被配置为基于用户的眼睛的适应来显示一个或多个虚拟图像。在一些实施例中，不同于迫使用户聚焦在图像被投射的地方的现有3D显示方法，可穿戴系统被配置为自动变化投射的虚拟内容的焦点，以允许更舒适地观看呈现给用户的一个或多个图像。例如，如果用户的眼睛当前焦点为1m，则可以投射图像以使其与用户的焦点一致。如果用户将焦点移至3m，则投射图像以使其与新焦点一致。因此，一些实施例的可穿戴系统200不是迫使用户达到预定的焦点，而是允许用户的眼睛以更自然的方式起作用。

这样的可穿戴系统200可以消除或减少通常关于虚拟现实设备观察到的眼睛压力、头痛和其他生理症状的发生。为了实现这一点，可穿戴系统200的各种实施例被配置为通过一个或多个可变聚焦元件(VFE)以变化的焦距投射虚拟图像。在一个或多个实施例中，可以通过多平面聚焦系统来实现3D感知，该多平面聚焦系统在远离用户的固定焦平面上投射图像。其他实施例采用可变平面焦点，其中，焦平面在z方向上前后移动，以与用户的当前焦点状态一致。

在多平面聚焦系统和可变平面聚焦系统中，可穿戴系统200都可以使用眼睛跟踪来确定用户的眼睛的聚散，确定用户的当前聚焦以及以确定的聚焦投射虚拟图像。在其他实施例中，可穿戴系统200包括光调制器，该光调制器通过光纤扫描仪或其他光产生源以可变的方式以不同的焦点以光栅图案跨视网膜投射光束。因此，如在美国专利公开号2016/0270656中进一步描述的(其全部内容通过引用合并于此)，可穿戴系统200的显示器以变化的焦距投射图像的能力不仅使用户轻松适应以观看3D对象，而且还可以用于补偿用户眼部异常。在一些其他实施例中，空间光调制器可以通过各种光学组件将图像投射到用户。例如，如下文进一步所述，空间光调制器可将图像投射到一个或多个波导上，波导然后将图像发送给用户。

波导堆叠组件

图4示出了用于将图像信息输出给用户的波导堆叠的示例。可穿戴系统400包括波导的堆叠或堆叠的波导组件480，其可以被用于使用多个波导432b、434b、436b、438b、4400b向眼睛/大脑提供三维感知。在一些实施例中，可穿戴系统400可以对应于图2的可穿戴系统200，其中，图4示意性地更详细地示出该可穿戴系统200的一些部分。例如，在一些实施例中，波导组件480可以被集成到图2的显示器220中。

继续参考图4，波导组件480还可在波导之间包括多个特征458、456、454、452。在一些实施例中，特征458、456、454、452可以是透镜。在其他实施例中，特征458、456、454、452可以不是透镜。而是，它们可以简单地是间隔件(例如，用于形成气隙的包层或结构)。

波导432b、434b、436b、438b、440b或多个透镜458、456、454、452可被配置为以各种级别的波前曲率或光线发散将图像信息发送到眼睛。每个波导级别可以与特定的深度平面相关联，并且可被配置为输出与该深度平面相对应的图像信息。图像注入设备420、422、424、426、428可被用于将图像信息注入波导440b、438b、436b、434b、432b，每个波导可被配置为将入射光分布在每个相应的波导上，以向眼睛410输出。光离开图像注入设备420、422、424、426、428的输出表面，并且被注入到波导440b、438b、436b、434b、432b的对应输入边缘中。在一些实施例中，可以将单个光束(例如，准直光束)注入每个波导中，以输出克隆的准直光束的整个视野，该准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)指向眼睛410。

在一些实施例中，图像注入设备420、422、424、426、428是分立的显示器，其各自产生图像信息以分别注入到对应的波导440b、438b、436b、434b、432b中。在一些其他实施例中，图像注入设备420、422、424、426、428是单个多路复用显示器的输出端，其可以例如经由一个或多个光导管(例如，光纤电缆)将图像信息输送到图像注入设备420、422、424、426、428中的每一个。

控制器460控制堆叠的波导组件480和图像注入设备420、422、424、426、428的操作。控制器460包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调制定时和向波导440b、438b、436b、434b、432b提供图像信息。在一些实施例中，控制器460可以是单个集成设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器460可以是处理模块260或270(在图2中示出)的一部分。

波导440b、438b、436b、434b、432b可被配置为通过全内反射(TIR)在每个相应波导内传播光。波导440b、438b、436b、434b、432b每个可以是平面的或具有另一种形状(例如，弯曲的)，并且可以具有主要的顶部和底部表面以及在那些主要的顶部和底部表面之间延伸的边缘。在所示的配置中，波导440b、438b、436b、434b、432b可各自包括光提取光学元件440a、438a、436a、434a、432a，光提取光学元件440a、438a、436a、434a、432a被配置为通过使光重定向、在各个波导内传播从而从波导中提取光以将图像信息输出到眼睛410。提取的光也可以称为出耦合光，并且光提取光学元件也可以称为出耦合光学元件。提取的光束由波导在波导中传播的光撞击光重定向元件的位置处输出。光提取光学元件(440a、438a、436a、434a、432a)可以例如是反射或衍射光学特征。虽然为了便于描述和绘图清楚起见，示出了设置在波导440b、438b、436b、434b、432b的底部主表面上，但是在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以设置在顶部主表面或底部主表面上，或者可以直接设置在波导440b、438b、436b、434b、432b的体积中。在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以形成在材料层中，该材料层附接到透明基板上以形成波导440b、438b、436b、434b、432b。在一些其他实施例中，波导440b、438b、436b、434b、432b可以是单片材料，并且光提取光学元件440a、438a、436a、434a、432a可以形成在该片材料的表面上或内部中。

继续参考图4，如本文所述，每个波导440b、438b、436b、434b、432b被配置为输出光以形成与特定深度平面相对应的图像。例如，最靠近眼睛的波导432b可被配置为将注入到这种波导432b中的准直光传送到眼睛410。准直光可以表示光学无限远焦平面。下一个上行(up)波导434b可被配置为在准直光到达眼睛410之前发出通过第一透镜452(例如，负透镜)的准直光。第一透镜452可被配置为产生轻微的凸波前曲率，从而眼睛/大脑将来自该下一上行波导434b的光解释为来自第一焦平面，该第一焦平面从光学无限远处向内更靠近朝向眼睛410。类似地，第三上行波导436b在到达眼睛410之前将其输出光通过第一透镜452和第二透镜454。第一透镜452和第二透镜454的组合光功率可被配置为产生另一增量的波前曲率，使得眼睛/大脑将来自第三波导436b的光解释为来自第二焦平面，该第二焦平面比来自下一个上行波导434b的光从光学无穷远向内更靠近人。

其他波导层(例如，波导438b、440b)和透镜(例如，透镜456、458)被类似地配置，堆叠中的最高波导440b通过其与眼睛之间的所有透镜发送其输出，用于表示最靠近人的焦平面的聚合(aggregate)焦度。在观看/解释来自堆叠波导组件480的另一侧上的世界470的光时，为了补偿透镜堆叠458、456、454、452，可以在堆叠的顶部设置补偿透镜层430，以补偿下面的透镜堆叠458、456、454、452的聚合焦度。(补偿透镜层430和堆叠的波导组件480整体上可被配置为使得来自世界470的光以与初始被堆叠的波导组件480接收时的光具有的基本相同的发散(或准直)级别被传送到眼睛410)。这样的配置提供与可用的波导/透镜对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面都可以是静态的(例如，不是动态的或电激励的)。在一些替代实施例中，其中一个或两者在使用电激励特征时可以是动态的。

继续参考图4，光提取光学元件440a、438a、436a、434a、432a可被配置为既将光重定向到其各自的波导之外，又对于与波导相关联的特定深度平面以适当的发散或准直量输出该光。结果，具有不同相关联的深度平面的波导可以具有光提取光学元件的不同配置，该光提取光学元件根据相关联的深度平面以不同的发散量输出光。在一些实施例中，如本文所讨论的，光提取光学元件440a、438a、436a、434a、432a可以是体积或表面特征，其可被配置为以特定角度输出光。例如，光提取光学元件440a、438a、436a、434a、432a可以是体积全息图、表面全息图和/或衍射光栅。在2015年6月25日公开的美国专利公开No.2015/0178939中描述了诸如衍射光栅的光提取光学元件，其通过引用全部并入在此。

在一些实施例中，光提取光学元件440a、438a、436a、434a、432a是形成衍射图案或衍射光学元件(在本文中也称为“DOE”)的衍射特征。优选地，DOE具有相对较低的衍射效率，使得通过与DOE的每次交互，光束的仅一部分光朝着眼睛410偏转，而其余部分则通过全内反射继续移动通过波导。携带图像信息的光因此可以被分成多个相关的出射光束，该出射光束在多个位置处离开波导，并且该结果对于在波导内反弹的该特定准直光束是朝向眼睛304的相当均匀图案的出射发射。

在一些实施例中，一个或多个DOE可以在它们主动衍射的“开启”状态和它们不明显衍射的“关闭”状态之间切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中，微滴(microdrop)在主体介质(host medium)中包含衍射图案，并且微滴的折射率可以切换为与主体材料的折射率基本匹配(在这种情况下，该图案不会明显衍射入射光)，或者可以将微滴切换到与主体介质的折射率不匹配的折射率(在这种情况下，该图案会主动衍射入射光)。

在一些实施例中，深度平面或景深的数量和分布可以基于观看者的眼睛的瞳孔大小或定向动态地变化。景深可能与观看者的瞳孔大小成反比。结果，随着观看者眼睛的瞳孔大小减小，景深增加，使得由于该平面的位置超出眼睛的焦深而无法辨认的平面可能变得可辨认，并且随着瞳孔大小的减小和景深的相应增加表现为更聚焦。同样，随着瞳孔大小减小，可以减少用于向观看者呈现不同图像的间隔开的深度平面的数量。例如，在处于一个瞳孔大小下，不将眼睛的适应性从一个深度平面调整到另一个深度平面，则观看者可能无法清楚地感知第一深度平面和第二深度平面两者的细节。但是，这两个深度平面可以在不改变适应性的情况下，对于处于另一瞳孔大小的用户同时充分地聚焦。

在一些实施例中，显示系统可以基于对瞳孔大小或定向的确定，或者基于接收到指示特定瞳孔大小或定向的电信号，来改变接收图像信息的波导的数量。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器460(其可以是本地处理和数据模块260的实施例)可以被配置或编程为停止向这些波导之一提供图像信息。有利地，这可以减少系统上的处理负担，从而增加系统的响应性。在波导的DOE可在开启和关闭状态之间切换的实施例中，当波导确实接收到图像信息时，DOE可被切换为关闭状态。

在一些实施例中，可以期望使出射光束满足具有小于观察者的眼睛的直径的直径的条件。然而，鉴于观察者的瞳孔的尺寸的变化性，满足该条件可能是具挑战性的。在一些实施例中，通过响应于观察者的瞳孔的尺寸的确定改变出射光束的尺寸来在瞳孔尺寸的宽范围上满足该条件。例如，随着瞳孔尺寸减小，出射光束的尺寸也可以减小。在一些实施例中，出射光束尺寸可以使用可变孔径变化。

可穿戴系统400可以包括将世界470的一部分成像的面向外的成像系统464(例如，数字相机)。世界470的这一部分可以称为世界相机的视野(FOV)，成像系统464有时被称为FOV相机。世界相机的FOV可以与观看者210的FOV相同或不同，观看者210的FOV包含观看者210在给定时间感知的世界470的一部分。例如，在某些情况下，世界相机的FOV可以大于可穿戴系统400的观看者210的观看者210。可用于通过观察者观察或者成像的整个区域可以被称为能视场(field of regard(FOR))。FOR可以包括围绕可穿戴系统400的立体角的4π球面度，因为穿戴者可以移动他的身体、头部或眼睛以感知空间中的基本上任何方向。在其他上下文中，穿戴者的移动可能会更受限制，并且因此穿戴者的FOR可能会对向较小的立体角。从面向外的成像系统464获得的图像可以用于跟踪由用户做出的手势(例如，手或手指手势)、检测用户的前面的世界470中的对象等。

可穿戴系统400可以包括音频传感器232(例如，麦克风)以捕获环境声音。如上所述，在一些实施例中，可以定位一个或多个其他音频传感器以提供对确定语音源的位置有用的立体声接收。作为另一个示例，音频传感器232可以包括定向麦克风，该定向麦克风还可以提供关于音频源位于何处的有用的定向信息。可穿戴系统400可以在定位语音源时使用来自面向外部的成像系统464和音频传感器230的信息，或者在特定时间确定有源说话者等。例如，可穿戴系统400可以单独使用语音识别或组合扬声器的反射图像(例如，在镜子中看到的)，以确定说话者的标识。作为另一个示例，可穿戴系统400可以基于从定向麦克风获取的声音来确定说话者在环境中的位置。可穿戴系统400可以使用语音识别算法解析来自说话者的位置的声音，以确定语音的内容，并使用语音识别技术来确定说话者的标识(例如，姓名或其他人口统计信息)。

可穿戴系统400还可以包括面向内部的成像系统466(例如，数字相机)，其观测用户的移动，例如，眼睛移动和面部移动。面向内部的成像系统466可以用于捕获眼睛410的图像以确定眼睛304的瞳孔的大小和/或定向。面向内部的成像系统466可以用于获取图像以用于确定用户正在看的方向(例如，眼睛姿势)或用于对用户进行生物特征标识(例如，经由虹膜标识)。在一些实施例中，每只眼睛可以利用至少一个相机，以独立地确定每只眼睛的瞳孔大小或眼睛姿势，从而允许为每只眼睛呈现图像信息动态地适合该眼睛。在一些其他实施例中，仅确定单只眼睛410的瞳孔直径或定向(例如，每双眼睛仅使用单个相机)，并且认为该瞳孔直径或定向对于用户的两只眼睛是相似的。可以分析由面向内部的成像系统466获得的图像以确定用户的眼睛姿势或情绪，可穿戴系统400可以使用该眼睛姿势或情绪来确定应该向用户呈现哪些音频或视觉内容。可穿戴系统400还可以使用诸如IMU、加速度计、陀螺仪等的传感器来确定头部姿势(例如，头部位置或头部定向)。

可穿戴系统400可以包括用户输入设备466，用户可以通过该用户输入设备466向控制器460输入命令以与可穿戴系统400交互。例如，用户输入设备466可以包括触控板、触摸屏、游戏杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向板(D-pad)、棒、触觉设备、图腾(totem)(例如，充当虚拟用户输入设备)等等。多DOF控制器可以感测控制器的某些或所有可能的平移(例如，左/右、前/后、或上/下)或旋转(例如，偏航、俯仰或滚动)中的用户输入。支持平移移动的多DOF控制器可以称为3DOF，而支持平移和旋转的多DOF控制器可以称为6DOF。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按下或滑动以向可穿戴系统400提供输入(例如，向由可穿戴系统400提供的用户接口提供用户输入)。用户输入设备466可以在可穿戴系统400的使用过程中被用户的手握住。用户输入设备466可以与可穿戴系统400进行有线或无线通信。

可穿戴系统的其他组件

在许多实施方式中，除了上述可穿戴系统的组件之外或作为替代，可穿戴系统可以包括其他组件。可穿戴系统可以例如包括一个或多个触觉设备或组件。触觉设备或组件可操作以向用户提供触感。例如，当触摸虚拟内容(例如，虚拟对象、虚拟工具、其他虚拟构造物)时，触觉设备或组件可以提供压力或纹理的触感。触感可以复制虚拟对象所表示的物理对象的感觉，或者可以复制虚拟内容所表示的想象的对象或角色(例如，龙)的感觉。在一些实施方式中，用户可以穿戴触觉设备或组件(例如，用户可穿戴的手套)。在一些实施方式中，触觉设备或组件可以由用户持有。

例如，可穿戴系统可以包括用户可操纵的一个或多个物理对象，以允许输入或与可穿戴系统交互。这些物理对象在本文中可以称为图腾。一些图腾可以采取无生命对象的形式，例如，一块金属或塑料、墙壁、桌子表面。在某些实施方式中，图腾实际上可能没有任何物理输入结构(例如，按键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以简单地提供物理表面，并且可穿戴系统可以渲染用户接口，以便对用户看起来在图腾的一个或多个表面上。例如，可穿戴系统可以使计算机键盘和触控板的图像渲染为看起来驻留在图腾的一个或多个表面上。例如，可穿戴系统可以使虚拟计算机键盘和虚拟触控板渲染为看起来在用作图腾的薄铝矩形板的表面上。矩形板本身可能没有任何物理按键、触控板或传感器。但是，可穿戴系统可以将用户操作或交互或者触摸矩形板检测为通过虚拟键盘或虚拟触控板进行的选择或输入。用户输入设备466(图4中所示)可以是图腾的一个实施例，它可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆或虚拟开关、鼠标、键盘、多自由度控制器、或其他物理输入设备。用户可以单独或与姿势结合使用图腾来与可穿戴系统或其他用户进行交互。

在美国专利公开No.2015/0016777中描述了本公开的与可穿戴设备、HMD和显示系统一起使用的触觉设备和图腾的示例，其全部内容通过引用并入本文。

眼睛图像的示例

图5示出了具有眼睑504、巩膜508(眼睛的“白色”)、虹膜512和瞳孔516的眼睛500的图像。曲线516a示出了瞳孔516和虹膜512之间的瞳孔边界，并且曲线512a示出了虹膜512和巩膜508之间的边缘边界。眼睑504包括上眼睑504a和下眼睑504b。示出了处于自然静止(resting)姿势的眼睛500(例如，其中，用户的脸部和凝视都朝向用户正前方的远处对象而定向)。眼睛500的自然静止姿势可由自然静止方向520指示，该方向是当处于自然静止姿势时与眼睛500的表面正交的方向(例如，直接在图5中示出的眼睛500的平面之外)，并且在此示例中，位于瞳孔516的中心。

当眼睛500移动以朝着不同的对象看时，眼睛姿势将相对于自然静止方向520发生变化。当前的眼睛姿势可以参考眼睛姿势方向520来确定，该当前的眼睛姿势是与眼睛的表面正交(并且位于瞳孔516的中心)但朝向眼睛当前所指向的对象的方向而定向。参考图5中所示的示例坐标系，眼睛500的姿势可以被表达为两个角度参数，其指示眼睛的眼睛姿势方向524的方位角偏转(azimuthal deflection)和顶角偏转(zenithal deflection)，均相对于眼睛的自然静止方向520。为了说明的目的，这些角度参数可以被表示为θ(从基准方位角(fiducial azimuth)确定的方位角偏转)和φ(顶角偏转，有时也称为极角偏转(polardeflection))。在一些实施方式中，在眼睛姿势的确定中可以包括眼睛围绕眼睛姿势方向524的角度滚动，并且可在以下分析中包括角度滚动。在其他实施方式中，用于确定眼睛姿势的其他技术可以使用例如俯仰、偏航和可选地滚动系统。

可使用任何适当的过程从视频获得眼睛图像，例如，使用可从一个或多个连续帧中提取图像的视频处理算法。可使用多种眼睛跟踪技术根据眼睛图像确定眼睛的姿势。例如，可通过考虑角膜对所提供的光源的透镜作用来确定眼睛姿势。任何合适的眼睛跟踪技术都可用于在本文所述的眼睑形状估计技术中确定眼睛姿势。

眼睛跟踪系统的示例

图6示出了包括眼睛跟踪系统的可穿戴或头戴式显示系统600的示意图。在至少一些实施例中，头戴式显示系统600可包括位于头戴式单元602中的部件和位于非头戴式单元604中的部件。非头戴式单元604可以是例如皮带式部件、手持式部件、背包中的部件、远程部件等。将头戴式显示系统600的一些部件并入非头戴式单元604中可帮助减少头戴式单元602的尺寸、重量、复杂性和成本。在一些实施方式中，被描述为由头戴式单元602和/或非头戴式604的一个或多个部件执行的一些或全部功能可通过头戴式显示系统600中其他地方包括的一个或多个部件来提供。例如，可通过非头戴式单元604的CPU 616提供与头戴式单元602的CPU 612相关联的以下描述的一些或全部功能，反之亦然。在一些示例中，可通过头戴式显示系统600的外围设备来提供一些或所有这样的功能。此外，在一些实施方式中，可通过一个或多个云计算设备或其他远程计算设备以类似于上面参考图2所述的方式来提供一些或所有这样的功能。

如图6所示，头戴式显示系统600可包括眼睛跟踪系统，该眼睛跟踪系统包括捕获用户的眼睛610的图像的相机324。如果需要，眼睛跟踪系统还可包括光源326a和326b(诸如发光二极管“LED”)。光源326a和326b可产生闪光(即，在由相机324捕获的眼睛的图像中出现的被用户的眼睛反射走)。光源326a和326b相对于相机324的位置可以是已知的，并且因此，相机324所捕获的图像内的闪光的位置可用于跟踪用户的眼睛(如下面结合图7-11将更详细地讨论的)。在至少一个实施例中，可存在与用户的一只眼睛610相关联的一个光源326和一个相机324。在另一实施例中，可存在与用户的每只眼睛610相关联的一个光源326和一个相机324。在其他实施例中，可存在与用户的一只或每只眼睛610相关联的一个或多个相机324和一个或多个光源326。作为一个特定示例，可存在与用户的每只眼睛610相关联的两个光源326a和326b以及一个或多个相机324。作为另一示例，可存在与用户的每只眼睛610相关联的三个或更多个光源(例如，光源326a和326b)以及一个或多个相机324。

眼睛跟踪模块614可从眼睛跟踪相机324接收图像，并且可分析图像以提取各条信息。作为示例，眼睛跟踪模块614可检测用户的眼睛姿势、用户的眼睛相对于眼睛跟踪相机324(和相对于头戴式单元602)的三维位置、用户的一只或两只眼睛610聚焦的方向、用户的聚散深度(即，距用户的深度，在该深度处用户正在聚焦)、用户的瞳孔的位置、用户的角膜和角膜球(cornea sphere)的位置、用户的每只眼睛的旋转中心、以及用户的每只眼睛的视角中心(center of perspective)。眼睛跟踪模块614可使用下面结合图7-11描述的技术来提取这样的信息。如图6所示，眼睛跟踪模块614可以是使用头戴式单元602中的CPU 612实现的软件模块。

来自眼睛跟踪模块614的数据可被提供给可穿戴系统中的其他部件。例如，这样的数据可被发送到非头戴式单元604中的部件，例如包括用于光场渲染控制器618和配准观察器620的软件模块的CPU 616，配准观察器620可被配置为评估头戴式显示系统600的显示器是否与用户的眼睛正确地配准。

渲染控制器618可使用来自眼睛跟踪模块614的信息来调整由渲染引擎622(例如，可以是GPU 621中的软件模块并且可向显示器220提供图像的渲染引擎)向用户显示的图像。作为示例，渲染控制器618可基于用户的旋转中心或视角中心来调整显示给用户的图像。特别地，渲染控制器618可使用关于用户的视角中心的信息来模拟渲染相机(即，从用户的视角模拟收集图像)，并且可基于模拟的渲染相机来调整显示给用户的图像。

“渲染相机”，有时也称为“针孔透视相机”(或简称为“透视相机”)或“虚拟针孔相机”(或简称为“虚拟相机”)，是用于在渲染可能来自虚拟世界中的对象数据库的虚拟图像内容中所使用的模拟相机。对象可具有相对于用户或穿戴者并且可能相对于围绕用户或穿戴者的环境中的真实对象的位置和朝向。换句话说，渲染相机可表示渲染空间内的透视图，用户或穿戴者将从该透视图观看渲染空间的3D虚拟内容(例如，虚拟对象)。渲染相机可由渲染引擎管理，以基于要呈现给眼睛的虚拟对象的数据库来渲染虚拟图像。可渲染虚拟图像，就像从用户或穿戴者的视角拍摄一样。例如，虚拟图像可被渲染为好像被具有特定内在参数集(例如，焦距、相机像素大小、主点坐标、偏斜/失真参数等)以及特定外在参数集(例如，相对于虚拟世界的平移分量和旋转分量)的针孔相机(对应于“渲染相机”)捕获一样。从具有渲染相机的位置和取向(例如，渲染相机的外在参数)的这种相机的视角拍摄虚拟图像。因此，系统可定义和/或调整内在和外在渲染相机参数。例如，该系统可定义特定外在渲染相机参数集，使得可以渲染虚拟图像，就像从具有相对于用户或穿戴者的眼睛的特定位置的相机的视角捕获虚拟图像一样，以提供看起来像从用户或穿戴者的视角来看的图像。该系统随后可动态地即时(on-the-fly)调整外在渲染相机参数，以便维持与特定位置的配准。类似地，可定义内在渲染相机参数并随时间动态调整。在一些实施方式中，图像被渲染为好像是从相机的视角捕获的，该相机具有在相对于用户或穿戴者的眼睛的特定位置(例如，视角中心或旋转中心或别处)处的光圈(例如，针孔)。

在一些实施例中，系统可针对用户的左眼来创建或动态地重新定位和/或重新定向一个渲染相机，以及针对用户的右眼的另一渲染相机，因为用户的眼睛在物理上彼此分开并且，因此始终如一定位在不同的位置。因此，在至少一些实施方式中，从与观看者的左眼相关联的渲染相机的视角渲染的虚拟内容可通过头戴式显示器(例如，头戴式单元602)左侧的目镜呈现给用户，以及从与用户的右眼相关联的渲染相机的视角渲染的虚拟内容可通过这种头戴式显示器右侧的目镜呈现给用户。在题为“METHODS AND SYSTEMS FORDETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION(用于在3D重建中检测和组合结构特征的方法和系统)”的美国专利申请No.15/274,823中提供了讨论在渲染过程中创建、调整和使用渲染相机的更多细节，其出于所有目的通过引用整体明确地并入本文。

在一些示例中，系统600的一个或多个模块(或部件)(例如，光场渲染控制器618、渲染引擎622等)可基于用户的头部和眼睛的位置和取向(例如，分别基于头部姿势和眼睛跟踪数据确定的)确定渲染相机在渲染空间内的位置和取向。也就是说，系统600可有效地将用户的头部和眼睛的位置和取向映射到3D虚拟环境内的特定位置和角度位置，将渲染相机放置和定向在3D虚拟环境内的特定位置和角度位置，以及为用户渲染虚拟内容，就像由渲染相机捕获的一样。。在题为“SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONALSPACE(选择三维空间中的虚拟对象)”的美国专利申请号15/296,869中提供讨论现实世界到虚拟世界映射过程的进一步的细节，其以整体内容通过引用并入本文用于所有目的。作为示例，渲染控制器618可通过选择在任何给定时间利用哪个深度平面(或多个深度平面)来显示图像来调整显示图像的深度。在一些实施方式中，可通过调整一个或多个内在渲染相机参数来执行这种深度平面切换。

配准观察器620可使用来自眼睛跟踪模块614的信息来标识头戴式单元602是否正确地定位在用户的头部上。作为示例，眼睛跟踪模块614可提供眼睛位置信息，诸如用户的眼睛的旋转中心的位置，该信息指示用户的眼睛相对于相机324和头戴式单元602的三维位置，并且眼睛跟踪模块614可使用该位置信息来确定显示器220在用户的视场中是否被正确对准，或者头戴式单元602(或头戴式受话器(headset))是否已经滑动或与用户的眼睛未对准。作为示例，配准观察器620能够确定：是否头戴式单元602已经沿用户的鼻梁向下滑落，从而将显示器220从用户的眼睛向远处和下面移动(这可能是不希望的)；是否头戴式单元602已经沿用户的鼻梁向上移动，从而将显示器220从用户的眼睛向近处和向上移动；是否头戴式单元602已经相对于用户的鼻梁向左或向右移动，是否头戴式单元602已经抬高到用户的鼻梁上方，或者是否头戴式单元602已经以这些或其他方式从期望的位置或位置范围移开。通常，配准观察器620能够确定总体上头戴式单元602以及尤其是显示器220是否被正确地定位在用户的眼睛前面。换句话说，配准观察器620可确定显示系统220中的左显示器是否与用户的左眼正确地对准，并且显示系统220中的右显示器是否与用户的右眼正确地对准。配准观察器620可通过确定头戴式单元602是否被定位和定向在相对于用户的眼睛的位置和/或取向的期望范围内来确定头戴式单元602是否被正确地定位。

在至少一些实施例中，配准观察器620可以告警、消息或其他内容形式生成用户反馈。可将这样的反馈提供给用户以告知用户头戴式单元602的任何未对准，以及关于如何校正未对准的可选反馈(诸如以特定方式调整头戴式单元602的建议)。

在2017年9月27日提交的美国专利申请No.15/717,747(代理人案号MLEAP.052A2)中描述了可由配准观察器620使用的示例配准观察和反馈技术，其全文通过引用并入本文。

眼睛跟踪模块的示例

在图7A中示出了示例眼睛跟踪模块614的详细框图。如图7A所示，眼睛跟踪模块614可包括各种不同的子模块，可提供各种不同的输出，并且可利用各种可用数据来跟踪用户的眼睛。作为示例，眼睛跟踪模块614可利用可用数据，包括眼睛跟踪外在和内在参数(extrinsics and intrinsics)，诸如眼睛跟踪相机324相对于光源326和头戴式单元602的几何布置；假设的眼睛尺寸704，诸如用户的角膜曲率中心与用户的眼睛的平均旋转中心之间的典型距离约为4.7mm，或用户的旋转中心与视角中心之间的典型距离；以及每用户的校准数据706，诸如特定用户的瞳孔间距离。2017年4月26日提交的美国专利申请No.15/497,726(代理人案案号MLEAP.023A7)中描述了眼睛跟踪模块614可采用的外在参数、内在参数和其他信息的附加示例，其全文通过引用并入本文。

图像预处理模块710可从眼睛相机(诸如眼睛相机324)接收图像，并且可对接收到的图像执行一个或多个预处理(即，调节)操作。作为示例，图像预处理模块710可对图像应用高斯模糊，可对图像进行下采样到较低的分辨率，可应用非锐化掩模，可应用边缘锐化算法，或者可应用其他合适的滤波器来帮助对来自眼睛相机324的图像中的闪光、瞳孔或其他特征的后期检测、定位和标记。图像预处理模块710可应用低通滤波器或形态滤波器(例如开口滤波器)，这些滤波器可去除诸如来自瞳孔边界516a(参见图5)的高频噪声，从而去除了可能妨碍瞳孔和闪光确定的噪声。图像预处理模块710可将预处理后的图像输出给瞳孔标识模块712以及闪光检测和标记模块714。

瞳孔标识模块712可从图像预处理模块710接收预处理的图像，并且可标识那些图像中包括用户的瞳孔的区域。在一些实施例中，瞳孔标识模块712可在来自相机324的眼睛跟踪图像中确定用户的瞳孔的位置的坐标或中心或形心(centroid)的坐标。在至少一些实施例中，瞳孔标识模块712可标识眼睛跟踪图像中的轮廓(例如，瞳孔虹膜边界的轮廓)，标识轮廓矩(即，形心)，应用爆炸形(starburst)瞳孔检测和/或Canny边缘检测算法，基于强度值拒绝异常值，标识子像素边界点，校正眼睛相机扭曲(即，由眼睛相机324捕获的图像中的扭曲)，应用随机抽样一致(RANSAC)迭代算法以将椭圆适配到眼睛跟踪图像中的边界，对图像应用跟踪滤波器，以及标识用户瞳孔形心的子像素图像坐标。瞳孔标识模块712可向闪光检测和标记模块714输出瞳孔标识数据，该瞳孔标识数据可指示预处理图像模块712的哪些区域被标识为示出了用户的瞳孔。瞳孔标识模块712可向闪光检测模块714提供每个眼睛跟踪图像内用户的瞳孔的2D坐标(即，用户的瞳孔的形心的2D坐标)。在至少一些实施例中，瞳孔标识模块712还可向坐标系归一化模块718提供相同种类的瞳孔标识数据。

瞳孔标识模块712可利用的瞳孔检测技术在2017年2月23日公开的美国专利公开号2017/0053165和2017年2月23日公开的美国专利公开号2017/0053166中进行了描述，其每个全部内容均通过引用整体并入本文。

闪光检测和标记模块714可从模块710接收预处理的图像，并且从模块712接收瞳孔标识数据。闪光检测模块714可使用该数据在示出用户的瞳孔的预处理图像的区域内检测和/或标识闪光(即，来自光源326的光从用户的眼睛的反射走)。作为示例，闪光检测模块714可搜索眼睛跟踪图像内的明亮区域(有时在本文中称为“团迹(blob)”或局部强度最大值)，其在用户的瞳孔附近。在至少一些实施例中，闪光检测模块714可重新缩放(例如，放大)瞳孔椭圆以包含附加的闪光。闪光检测模块714可按大小和/或强度过滤闪光。闪光检测模块714还可确定眼睛跟踪图像内的每个闪光的2D位置。在至少一些示例中，闪光检测模块714可确定闪光相对于用户的瞳孔的2D位置，其也可称为瞳孔闪光矢量。闪光检测和标记模块714可标记闪光并将带有标记的闪光的预处理图像输出给3D角膜中心估计模块716。闪光检测和标记模块714还可传递数据，例如来自模块710的预处理图像和来自模块712的瞳孔标识数据。

由诸如模块712和714之类的模块执行的瞳孔和闪光检测可使用任何合适的技术。作为示例，可将边缘检测应用于眼睛图像以标识闪光和瞳孔。边缘检测可通过各种边缘检测器、边缘检测算法或滤波器来应用。例如，可将Canny边缘检测器应用于图像，以检测诸如图像的线条中的边缘。边缘可包括沿着线定位的对应于局部最大导数的点。例如，可使用Canny边缘检测器来定位瞳孔边界516a(参见图5)。在确定了瞳孔的位置的情况下，可使用各种图像处理技术来检测瞳孔116的“姿势”。确定眼睛图像的眼睛姿势也可称为检测眼睛图像的眼睛姿势。姿势也可称为凝视、指向方向或眼睛的取向。例如，瞳孔可能正在向左看向对象，并且瞳孔的姿势可被分类为向左姿势。可使用其他方法来检测瞳孔或闪光的位置。例如，可使用Canny边缘检测器将同心环放置在眼睛图像中。作为另一个示例，可使用积分微分算子来找到虹膜的瞳孔或角膜缘边界。例如，可使用Daugman积分微分算子、Hough变换、或其他虹膜分割技术以返回估计瞳孔或虹膜的边界的曲线。

3D角膜中心估计模块716可从模块710、712、714接收包括检测到的闪光数据和瞳孔标识数据的预处理图像。3D角膜中心估计模块716可使用这些数据来估计用户的角膜的3D位置。在一些实施例中，3D角膜中心估计模块716可估计眼睛的角膜曲率中心或用户的角膜球的3D位置，即，具有通常与用户的角膜共同延伸的表面部分的假想球的中心。3D角膜中心估计模块716可将指示角膜球和/或用户的角膜的估计的3D坐标的数据提供给坐标系归一化模块718、光轴确定模块722和/或光场渲染控制器618。3D角膜中心估计模块716的操作的更多细节在本文中结合图8A-8E提供。2017年4月26日提交的美国专利申请No.15/497,726(代理人案号MLEAP.023A7)(其全部内容通过引用合并于此)中讨论了用于估计眼睛特征(例如角膜或角膜球)的位置的技术，其可由本公开的可穿戴系统中的3D角膜中心估计模块716和其他模块使用。

坐标系归一化模块718可可选地(如其虚线轮廓所示)被包括在眼睛跟踪模块614中。坐标系归一化模块718可从3D角膜中心估计模块716接收指示用户的角膜的中心(和/或用户的角膜球的中心)的估计的3D坐标，并且还可从其他模块接收数据。坐标系归一化模块718可归一化眼睛相机坐标系，这可帮助补偿可穿戴设备的滑动(例如，头戴式部件从其在用户的头部上的正常静止位置的滑动，这可由配准观察器620标识)。坐标系归一化模块718可旋转坐标系以将坐标系的z轴(即，聚散深度轴)与角膜中心(例如，如3D角膜中心估计模块716所指示的)对准，并且可平移相机中心(即，坐标系的原点)到距角膜中心的预定距离(诸如30毫米)处(即，模块718可取决于是否确定眼睛相机324比预定距离更近或更远而放大或缩小眼睛跟踪图像)。通过该归一化过程，眼睛跟踪模块614能够在眼睛跟踪数据中建立一致的取向和距离，而相对独立于用户的头上的头戴式受话器定位的变化。坐标系归一化模块718可向3D瞳孔中心定位器模块720提供角膜的中心(和/或角膜球)的3D坐标、瞳孔标识数据和预处理的眼睛跟踪图像。坐标系归一化模块718的操作的更多细节结合图9A-9C在此提供。

3D瞳孔中心定位器模块720可在归一化或非归一化坐标系中接收数据，包括用户的角膜(和/或角膜球)的中心的3D坐标、瞳孔位置数据和预处理的眼睛跟踪图像。3D瞳孔中心定位器模块720可分析此类数据以确定用户的瞳孔的中心在归一化或非归一化的眼睛相机坐标系中的3D坐标。3D瞳孔中心定位器模块720可基于以下在三个维度上确定用户的瞳孔的位置：瞳孔形心的2D位置(如模块712所确定的)、角膜中心的3D位置(如模块716所确定的)、假设的眼睛尺寸704(例如，典型用户的角膜球的大小以及从角膜中心到瞳孔中心的典型距离)以及眼睛的光学特性(例如，角膜的折射率(相对于空气的折射率)或这些的任意组合。3D瞳孔中心定位器模块720的操作的更多细节在本文中结合图9D-9G提供。在2017年4月26日提交的美国专利申请No.15/497,726(代理人案卷号MLEAP.023A7)中讨论了本公开的可穿戴系统中的3D瞳孔中心定位器模块720和其他模块可利用的用于估计诸如瞳孔之类的眼睛特征的位置的技术，其全文通过引用并入本文。

光轴确定模块722可从模块716和720接收数据，该数据指示用户的角膜和用户的瞳孔的中心的3D坐标。基于这样的数据，光轴确定模块722可标识从角膜中心的位置(即，从角膜球的中心)到用户的瞳孔的中心的矢量，其可定义用户的眼睛的光轴。作为示例，光轴确定模块722可将指定用户的光轴的输出提供给模块724、728、730和732。

旋转中心(CoR)估计模块724可从模块722接收数据，该数据包括用户的眼睛的光轴的参数(即，指示光轴在与头戴式单元602具有已知关系的坐标系中的方向的数据)。CoR估计模块724可估计用户的眼睛的旋转中心(即，当用户的眼睛向左、向右、向上和/或向下旋转时，用户的眼睛围绕其旋转的点)。尽管眼睛可能无法围绕奇异点(singular point)完美旋转，但假设奇异点可能就足够了。在至少一些实施例中，CoR估计模块724可通过从瞳孔的中心(由模块720标识)或角膜的曲率中心(由模块716标识)沿着光轴(由模块722标识)向视网膜移动特定距离，来估计眼睛的旋转中心。该特定距离可以是假设的眼睛尺寸704。作为一个示例，角膜的曲率中心与CoR之间的特定距离可以是大约4.7mm。可基于任何相关数据(包括用户的年龄、性别、视力处方、其他相关特征等)为特定用户更改此距离。

在至少一些实施例中，CoR估计模块724可细化其对用户的每只眼睛的旋转中心随时间的估计。举例来说，随着时间的流逝，用户最终将旋转眼睛(看向其他地方，看向更近的东西，看向更远的东西、或某个时候向左、向右、向上或向下看)，导致其每只眼睛的光轴发生偏移。CoR估计模块724然后可分析由模块722标识的两个(或更多)光轴，并定位那些光轴的3D相交点。CoR估计模块724然后可确定旋转中心位于那个3D相交点。这样的技术可提供旋转中心的估计，其准确性随着时间的推移而提高。可采用各种技术来提高CoR估计模块724的准确性以及所确定的左眼和右眼的CoR位置。作为示例，CoR估计模块724可通过找到针对各种不同的眼睛姿势随时间而确定的光轴的平均相交点来估计CoR。作为附加示例，模块724可过滤随时间推移所估计的CoR位置或对其求平均，可计算随时间推移所估计的CoR位置的移动平均值，和/或可应用卡尔曼滤波器以及眼睛和眼睛跟踪系统的已知动力学来估计随时间推移的CoR位置。作为特定示例，模块724可计算所确定的光轴相交点和假设的CoR位置(例如距眼睛的角膜曲率中心4.7mm)的加权平均值，使得确定的CoR可从假设的CoR位置(即，在眼睛的角膜曲率中心后4.7mm处)随时间推移缓慢漂移至用户的眼睛内的稍有不同的位置，因为获得了用户的眼睛跟踪数据，从而使得能够每用户细化CoR位置。

瞳孔间距(IPD)估计模块726可从CoR估计模块724接收数据，该数据指示用户的左眼和右眼的旋转中心的估计3D位置。IPD估计模块726然后可通过测量用户的左眼和右眼的旋转中心之间的3D距离来估计用户的IPD。通常，当用户注视光学无限远时(即，用户的眼睛的光轴基本上彼此平行)，用户的左眼的估计CoR和用户的右眼的估计CoR之间的距离可大致等于用户的瞳孔的中心之间的距离，这是瞳孔间距离(IPD)的典型定义。用户的IPD可由可穿戴系统中的各种部件和模块使用。例如，可将用户的IPD提供给配准观察器620，并用于评估可穿戴设备与用户的眼睛对准的程度(例如，根据用户的IPD，左和右显示器透镜是否根据用户的IPD正确间隔开了)。作为另一个示例，可将用户的IPD提供给聚散深度估计模块728，并用于确定用户的聚散深度。模块726可采用各种技术，例如结合CoR估计模块724所讨论的技术，以提高估计的IPD的准确性。作为示例，IPD估计模块724可应用滤波、随时间求平均、包括假设的IPD距离的加权平均、卡尔曼滤波器等，作为以准确的方式估计用户的IPD的一部分。

聚散(vergence)深度估计模块728可从眼睛跟踪模块614中的各个模块和子模块接收数据(如结合图7A所示)。具体地，聚散深度估计模块728可采用指示以下的数据瞳孔中心的估计3D位置(例如，如上文所述的模块720所提供)、一个或多个确定的光轴参数(例如，如上文所述的模块722所提供)、旋转中心的估计3D位置(例如，如上文所述的模块724所提供)、估计的IPD(例如，旋转中心的估计3D位置之间的欧几里得(Euclidean)距离)(例如，如上文所述的模块726所提供)，和/或一个或多个确定的光轴和/或视轴参数(例如，如由下面描述的模块722和/或模块730所提供)。聚散深度估计模块728可检测或以其他方式获得用户的聚散深度的度量，该度量可以是距用户的距离，在该距离处用户的眼睛在聚焦。例如，当用户注视他们前方三英尺处的对象时，用户的左眼和右眼的聚散深度为三英尺；以及当用户注视着远处的风景时(即，用户的眼睛的光轴基本彼此平行，使得用户的瞳孔的中心之间的距离可大致等于用户的左眼和右眼的旋转中心之间的距离)，用户的左眼和右眼的聚散深度为无穷大。在一些实施方式中，聚散深度估计模块728可利用指示用户的瞳孔的估计中心的数据(例如，如由模块720提供的那样)来确定用户的瞳孔的估计中心之间的3D距离。聚散深度估计模块728可通过将瞳孔中心之间的这种确定的3D距离与估计的IPD(例如，旋转中心的估计3D位置之间的欧几里得距离)进行比较来获得聚散深度的量度(例如，如以上所述的模块726所指示的)。除了瞳孔中心之间的3D距离和估计的IPD之外，聚散深度估计模块728可利用已知的、假设的、估计的和/或确定的几何形状来计算聚散深度。作为示例，模块728可在三角计算中组合瞳孔中心之间的3D距离、估计的IPD和3D CoR位置，以估计(即，确定)用户的聚散深度。实际上，根据估计的IPD对瞳孔中心之间这样确定的3D距离进行评估可用于指示用户当前的聚焦深度相对于光学无限远的度量。在一些示例中，聚散深度估计模块728可简单地接收或访问指示用户的瞳孔的估计中心之间的估计的3D距离的数据，以便获得这种聚散深度的度量。在一些实施例中，聚散深度估计模块728可通过比较用户的左和右光轴来估计聚散深度。特别地，聚散深度估计模块728可通过定位距用户的距离来估计聚散深度，在该距离处用户的左和右光轴相交(或者用户的左和右光轴在例如水平面的平面上的投射相交)。通过将零深度设置为用户的左和右光轴被用户的IPD分开的深度，模块728可在该计算中利用用户的IPD。在至少一些实施例中，聚散深度估计模块728可通过将眼睛跟踪数据与已知或导出的空间关系一起进行三角测量来确定聚散深度。

在一些实施例中，聚散深度估计模块728可基于用户的视轴(而不是他们的光轴)的交点来估计用户的聚散深度，这可提供对用户聚焦的距离的更准确的指示。在至少一些实施例中，眼睛跟踪模块614可包括光轴到视轴映射模块730。如结合图10在进一步细节中讨论的，用户的光轴和视轴通常不对准。视轴是一个人观看时所沿的轴，而光轴是由该人的晶状体和瞳孔的中心定义的，并且可穿过该人的视网膜的中心。特别地，用户的视轴通常由用户的中央凹(fovea)的位置定义，该位置可能会偏移用户的视网膜的中心，从而导致光轴和视轴不同。在这些实施例中的至少一些实施例中，眼睛跟踪模块614可包括光轴到视轴映射模块730。光轴到视轴映射模块730可校正用户的光轴和视轴之间的差异，并向可穿戴系统中的其他部件(例如，聚散深度估计模块728和光场渲染控制器618)提供关于用户的视轴的信息。在一些示例中，模块730可使用假设的眼睛尺寸704，包括在光轴和视轴之间向内(经鼻地，朝向用户的鼻子)大约5.2°的典型偏移。换句话说，模块730可将用户的左光轴(经鼻地)向鼻子向右移位5.2°，并且将用户的右光轴(经鼻地)向鼻子向左移位5.2°，以便估计用户的左和右光轴的方向。在其他示例中，模块730可在将光轴(例如，如上述模块722所指示的)映射到视轴中时利用每用户校准数据706。作为附加的示例，模块730可使用户的光轴经鼻地在4.0°至6.5°之间移位、在4.5°至6.0°之间移位、在5.0°至5.4°之间移位等等，或者由这些值中的任何一个形成的任何范围。在一些布置中，模块730可至少部分地基于特定用户的特征(例如，他们的年龄、性别、视力处方或其他相关特征)来应用移位，和/或可至少部分地基于针对特定用户的校准过程来应用移位(即，以确定特定用户的光-视轴偏移)。在至少一些实施例中，模块730还可移位左和右光轴的原点以对应于用户的CoP(由模块732确定)而不是对应于用户的CoR。

当提供时，可选的视角中心(CoP)估计模块732可估计用户的左和右视角中心(CoP)的位置。CoP可以是可穿戴系统的有用位置，并且在至少一些实施例中，是瞳孔正前方的位置。在至少一些实施例中，CoP估计模块732可基于用户的瞳孔中心的3D位置、用户的角膜曲率中心的3D位置或这样的合适的数据或任何组合来估计用户的左和右视角中心的位置。作为示例，用户的CoP可在角膜曲率中心前方大约5.01mm(即，在朝向眼睛的角膜并且沿着光轴的方向上距角膜球中心5.01mm)并且可沿光轴或视轴在用户的角膜的外表面后方约2.97mm处。用户的视角中心可在他们的瞳孔的中心正前方。例如，用户的CoP可距用户的瞳孔小于大约2.0mm，距用户的瞳孔小于大约1.0mm，或者距用户的瞳孔小于大约0.5mm，或者这些值之间的任何范围。作为另一个示例，视角中心可对应于眼睛的前房(anteriorchamber)内的位置。作为其他示例，CoP可在1.0mm与2.0mm之间，大约1.0mm，在0.25mm与1.0mm之间，在0.5mm与1.0mm之间，或者在0.25mm与0.5mm之间。

本文描述的视角中心(作为渲染相机的针孔的潜在期望位置和用户的眼睛中的解剖位置)可以是用于减少和/或消除不期望的视差偏移的位置。特别地，用户的眼睛的光学系统非常近似于由透镜前面的针孔形成的理论系统，投射到屏幕上，且针孔、透镜和屏幕大致分别对应于用户的瞳孔/虹膜、晶状体和视网膜。此外，可期望当距用户的眼睛不同距离的两个点光源(或对象)围绕针孔的开口刚性旋转(例如，沿等于他们距针孔的开口的距离的曲率半径旋转)时，几乎没有或没有视差偏移。因此，似乎CoP应该位于眼睛的瞳孔的中心(并且在某些实施例中可使用这种CoP)。但是，人眼除晶状体和瞳孔的针孔外，还包括角膜，该角膜向传播到视网膜的光赋予附加的光焦度。因此，在此段中描述的理论系统中，针孔的解剖等同物可以是位于用户的眼睛的角膜的外表面与用户的眼睛的瞳孔或虹膜的中心之间的用户的眼睛区域。例如，针孔的解剖等同物可对应于用户的眼睛的前房内的区域。由于本文讨论的各种原因，可能需要将CoP设置为用户的眼睛的前房内的此类位置。

如上所述，眼睛跟踪模块614可向可穿戴系统中的其他部件(诸如光场渲染控制器618和配准观察器620)提供数据，诸如左眼和右眼旋转中心(CoR)的估计3D位置、聚散深度、左眼和右眼光轴、用户的眼睛的3D位置、用户的左和右角膜曲率中心的3D位置、用户左和右瞳孔中心的3D位置、用户左和右视角中心的3D位置、用户的IPD等。眼睛跟踪模块614还可包括检测并生成与用户的眼睛的其他方面相关联的数据的其他子模块。作为示例，眼睛跟踪模块614可包括每当用户眨眼时提供标志或其他告警的眨眼(blink)检测模块，以及每当用户的眼睛扫视(即，快速将焦点移至另一点)时提供标志或其他告警的扫视检测模块。

渲染控制器的示例

在图7B中示出了示例光场渲染控制器618的详细框图。如图6和7B所示，渲染控制器618可从眼睛跟踪模块614接收眼睛跟踪信息，并且可提供输出给渲染引擎622，渲染引擎622可生成要显示的图像以供可穿戴系统的用户观看。作为示例，渲染控制器618可接收关于聚散深度、左眼和右眼旋转中心(和/或视角中心)以及其他眼睛数据(诸如眨眼数据、扫视数据等)的信息。

深度平面选择模块750可接收聚散深度信息，并且基于这样的数据可使渲染引擎622向用户提供内容，其中，该内容看起来位于特定的深度平面上(即，在特定的距离适应或焦距)。如结合图4所讨论的，可穿戴系统可包括由多个波导形成的多个离散的深度平面，每个深度平面以变化的波前曲率水平传送图像信息。在一些实施例中，可穿戴系统可包括一个或多个可变深度平面，例如以随时间变化的波前曲率水平传送图像信息的光学元件。在这些和其他实施例中，深度平面选择模块750可部分基于用户的聚散深度，使渲染引擎622以所选深度向用户传送内容(即，使渲染引擎622引导显示器220切换深度平面)。在至少一些实施例中，深度平面选择模块750和渲染引擎622可在不同深度处渲染内容，并且还生成和/或提供深度平面选择数据给诸如显示器220之类的显示硬件。诸如显示器220之类的显示硬件可响应于由诸如深度平面选择模块750和渲染引擎622之类的模块生成和/或提供的深度平面选择数据(其可以是控制信号)来执行电学深度平面切换。

通常，可期望深度平面选择模块750选择与用户的当前聚散深度匹配的深度平面，从而向用户提供准确的适应提示。然而，也可期望以谨慎且不引人注目的方式切换深度平面。作为示例，可期望避免在深度平面之间过度切换和/或可期望在用户不太可能注意到该切换时(例如在眨眼或眼睛扫视期间)切换深度平面。

滞后(hysteresis)带交叉检测模块752可帮助避免深度平面之间的过度切换，特别是当用户的聚散深度在两个深度平面之间的中点或过渡点处波动时。特别地，模块752可使深度平面选择模块750在其深度平面的选择中表现出滞后。作为示例，模块752可仅在用户的聚散深度超过第一阈值之后才使深度平面选择模块750从第一更远的深度平面切换到第二更近的深度平面。类似地，模块752可仅在用户的聚散深度超过了离用户比第一阈值更远的第二阈值之后才使深度平面选择模块750(其继而可引导诸如显示器220的显示器)切换到第一更远的深度平面。在第一阈值和第二阈值之间的重叠区域中，模块750可使深度平面选择模块750保持当前选择的任何深度平面作为所选深度平面，从而避免深度平面之间的过度切换。

眼部事件检测模块750可从图7A的眼睛跟踪模块614接收其他眼睛数据，并且可使深度平面选择模块750延迟一些深度平面切换，直到发生眼部事件。作为示例，眼部事件检测模块750可使深度平面选择模块750延迟计划的深度平面切换，直到检测到用户眨眼为止；可从眼睛跟踪模块614中的眨眼检测部件接收数据，该数据指示用户当前何时眨眼；以及作为响应，可使深度平面选择模块750在眨眼事件期间执行计划的深度平面切换(例如通过使模块750引导显示器220在眨眼事件期间执行深度平面切换)。在至少一些实施例中，可穿戴系统能够在眨眼事件期间将内容移位到新的深度平面上，使得用户不太可能感知到该移位。作为另一示例，眼部事件检测模块750可延迟计划的深度平面切换，直到检测到眼睛扫视。如结合眨眼所讨论的那样，这样的布置可促进深度平面的离散移位。

如果需要，即使在没有眼部事件的情况下，深度平面选择模块750可在执行深度平面切换之前将计划的深度平面切换延迟有限的时间段。类似地，当用户的聚散深度基本上在当前选择的深度平面之外时(即，当用户的聚散深度已经超过预定阈值时，该阈值超出了深度平面切换的常规阈值)，深度平面选择模块750可执行深度平面切换，即使没有眼部事件也是如此。这些设置可帮助确保眼部事件检测模块754不会无限期地延迟深度平面切换，并且在存在较大的适应误差时也不会延迟深度平面切换。

渲染相机控制器758可向渲染引擎622提供指示用户的左眼和右眼在哪里的信息。然后，渲染引擎622可通过在用户的左眼和右眼的位置处模拟相机并基于模拟的相机的视角生成内容来生成内容。如上所述，渲染相机是用于渲染可能来自虚拟世界中的对象数据库的虚拟图像内容中使用的模拟相机。对象可具有相对于用户或穿戴者并且可能相对于用户或穿戴者周围的环境中的真实对象的位置和取向。渲染相机可被包括在渲染引擎中，以基于要呈现给眼睛的虚拟对象的数据库来渲染虚拟图像。可渲染虚拟图像，就像从用户或穿戴者的视角拍摄的一样。例如，虚拟图像可被渲染为好像被具有光圈、透镜和检测器的相机(对应于“渲染相机”)所捕获的一样，该检测器观看虚拟世界中的对象。从具有“渲染相机”的位置的这种相机的视角拍摄虚拟图像。例如，虚拟图像可被渲染为好像是从具有相对于用户或穿戴者的眼睛的特定位置的相机的视角捕获的一样，从而提供看起来是从用户或穿戴者的视角来看的图像。在一些实施方式中，图像被渲染为好像是从具有在相对于用户或穿戴者的眼睛的特定位置(例如，本文或其他地方所讨论的视角中心或旋转中心)处的光圈的相机的视角所捕获的。

渲染相机控制器758可基于由CoR估计模块724确定的左眼和右眼旋转中心(CoR)和/或基于由CoP估计模块732确定的左眼和右眼的视角中心(CoP)来确定左相机和右相机的位置。在一些实施例中，渲染相机控制器758可基于各种因素在CoR和CoP位置之间切换。作为示例，渲染相机控制器758可在各种模式下，始终将渲染相机配准到CoR位置，始终将渲染相机配准到CoP位置，在以下之间触发(toggle)或离散地切换：基于各种因素随时间推移将渲染相机配准到CoR位置以及将渲染相机配准到CoP位置，或基于各种因素随时间动态地将渲染相机沿CoR和CoP位置之间的光(或视)轴配准到不同位置范围中的任意位置。CoR和CoP位置可可选地通过平滑过滤器756(在用于渲染相机定位的任何前述模式中)，该平滑过滤器756可随着时间对CoR和CoP位置进行平均以减少这些位置中的噪声并防止渲染模拟渲染相机中的抖动。

在至少一些实施例中，渲染相机可被模拟为针孔相机，其中，针孔设置在由眼睛跟踪模块614标识的估计的CoR或CoP的位置处。当CoP偏移CoR时，无论何时渲染相机的位置基于用户的CoP，渲染相机的位置及其针孔都会随着用户的眼睛的旋转而移位。相反，无论何时渲染相机的位置基于用户的CoR，渲染相机的针孔的位置都不随眼睛旋转而移动，尽管在一些实施例中，渲染相机(其在针孔后面)可随眼睛旋转而移动。在渲染相机的位置基于用户的CoR的其他实施例中，渲染相机可能不会随用户的眼睛移动(即，旋转)。

配准观察器的示例

在图7C中示出了示例配准观察器620的框图。如图6、图7A和图7C所示，配准观察器620可从眼睛跟踪模块614(图6和7A)接收眼睛跟踪信息。作为示例，配准观察器620可接收关于用户的左眼和右眼旋转中心的信息(例如，用户的左眼和右眼旋转中心的三维位置，其可在共同的坐标系上或具有与头戴式显示系统600共同的参考框架)。作为其他示例，配准观察器620可接收显示外在参数、适配公差和眼睛跟踪有效指示符。显示器外在参数可包括关于显示器(例如，图2的显示器200)的信息，例如显示器的视场、一个或多个显示表面的尺寸、以及显示表面相对于头戴式显示系统600的位置。适配公差可包括关于显示配准体积的信息，该信息可指示在影响显示性能之前用户的左眼和右眼可从标称位置移动多远。另外，适配公差可指示根据用户的眼睛的位置所期望的显示性能影响量。

如图7C所示，配准观察器620可包括3D位置适配模块770。位置适配模块770可获取并分析各条数据，包括例如左眼旋转中心3D位置(例如，左CoR)、右眼旋转中心3D位置(例如，右CoR)、显示外在参数和适配公差。3D位置适配模块770可确定用户的左眼和右眼距各自的左眼和右眼标称位置有多远(例如，可计算左3D误差和右3D误差)，并且可提供误差距离(例如，左3D误差和右3D误差)给设备3D适配模块772。

3D位置适配模块770还可将误差距离与显示器外在参数和适配公差进行比较，以确定用户的眼睛是否在标称体积、部分劣化的体积(例如，其中显示器220的性能被部分劣化的体积)内，或者处于完全劣化或几乎完全劣化的体积中(例如，其中显示器220基本上不能向用户的眼睛提供内容的体积)。在至少一些实施例中，3D位置适配模块770或3D适配模块772可提供定性描述HMD对用户的适配的输出，例如图7C中所示的适配质量输出。作为示例，模块770可提供指示HMD在用户上的当前适配是良好、一般(marginal)还是失败的输出。良好适配可对应于使用户能够观看至少一定百分比的图像(例如90％)的适配，一般适配可使用户能够观看至少较低百分比的图像(例如80％)的适配，而失败适配可以是用户只能看到甚至更低百分比的图像的适配。

作为另一示例，3D位置适配模块770和/或设备3D适配模块772可以计算可见区域度量，该可见区域度量可以是由对用户可见的显示器220显示的图像的总体区域(或像素)的百分比。模块770和772可以通过评价用户的左和右眼相对于显示器220的位置(例如，其可以基于用户的眼睛的旋转中心)并且使用一个或多个模型(例如，数学或几何模型)、一个或多个查找表、或其他技术或这些和其他技术的组合来确定图像的什么百分比对用户可见作为用户的眼睛的位置的函数来计算可见区域度量。此外，模块770和772可以确定由显示器220显示的图像的哪些区域或部分期望对用户可见作为用户的眼睛的位置的函数。

配准观察器620还可包括设备3D适配模块772。模块772可从3D位置适配模块770接收数据，并且还可接收眼睛跟踪有效指示符，该指示符可由眼睛跟踪模块614提供并可指示是否眼睛跟踪系统当前正在跟踪用户的眼睛的位置或者眼睛跟踪数据是否不可用或处于误差状况(例如，被确定为不可靠)。如果需要，设备3D适配模块772可根据眼睛跟踪有效数据的状态来修改从3D位置适配模块770接收的适配数据的质量。例如，如果来自眼睛跟踪系统的数据被指示为不可用或有误差，则设备3D适配模块772可提供关于存在误差的通知和/或不向用户提供有关适配质量或适配误差的输出。

在至少一些实施例中，配准观察器620可向用户提供关于适配质量以及误差的性质和大小的细节的反馈。作为示例，头戴式显示系统可在校准或适配过程期间向用户提供反馈(例如，作为设置过程的一部分)，并且可在操作期间提供反馈(例如，如果适配由于滑动而劣化，则配准观察器620可提示用户重新调整头戴式显示系统)。在一些实施例中，可自动地(例如，在使用头戴式显示系统期间)执行配准分析，并且可在没有用户输入的情况下提供反馈。这些仅是说明性示例。

利用眼睛跟踪系统定位用户的角膜的示例

图8A是示出眼睛的角膜球的眼睛的示意图。如图8A所示，用户的眼睛810可以具有角膜812、瞳孔822、和晶状体820。角膜812可以具有由角膜球814所示的近似球形。角膜球814可以具有中心点816，也被称为角膜中心，以及半径818。用户的眼睛的半球形角膜可以围绕角膜中心816弯曲。

图8B-8E示出了使用3D角膜中心估计模块716和眼睛跟踪模块614定位用户的角膜中心816的示例。

如图8B所示，3D角膜中心估计模块716可接收包括角膜闪光854的眼睛跟踪图像852。然后3D角膜中心估计模块716可在眼睛相机坐标系850中模拟眼睛相机324和光源326的已知3D位置(其可基于眼睛跟踪外在参数和内在参数数据库702中的数据、假设的眼睛尺寸数据库704、和/或每用户校准数据706)，以便在眼睛相机坐标系中投射光线856。在至少一些实施例中，眼睛相机坐标系850可使其原点在眼睛跟踪相机324的3D位置处。

在图8C中，3D角膜中心估计模块716在第一位置模拟角膜球814a(其可基于来自数据库704的假设的眼睛尺寸)和角膜曲率中心816a。3D角膜中心估计模块716然后可检查以查看角膜球814a是否将正确地将来自光源326的光反射到闪光位置854。如图8C中所示，第一位置不匹配，因为光线860a不与光源326相交。

类似地，在图8D中，3D角膜中心估计模块716在第二位置模拟角膜球814b和角膜曲率中心816b。然后，3D角膜中心估计模块716检查以查看角膜球814b是否正确地将来自光源326的光反射到闪光位置854。如图8D中所示，第二位置也不匹配。

如图8E所示，3D角膜中心估计模块716最终能够确定角膜球的正确位置是角膜球814c和角膜曲率中心816c。3D角膜中心估计模块716通过检查来自光源326的光将正确地反射离开角膜球并由相机324成像在图像852上的闪光854的正确位置来确认所示出的位置正确。通过该布置和已知光源326、相机324的3D位置以及相机的光学特性(焦距等)的情况下，3D角膜中心估计模块716可确定角膜曲率中心816的3D位置(相对于可穿戴系统)。

至少结合图8C-8E在本文描述的过程可有效地是迭代、重复或优化过程，以标识用户的角膜中心的3D位置。这样，可使用多种技术(例如，迭代技术、优化技术等)中的任何一种来有效且快速地修剪或减少可能位置的搜索空间。此外，在一些实施例中，系统可包括两个、三个、四个或更多个光源，例如光源326，并且所有这些光源中的一些可设置在不同的位置，从而导致多个闪光，例如位于图像852上的不同位置的闪光854以及具有不同原点和方向的多条光线(例如光线856)。这样的实施例可增强3D角膜中心估计模块716的准确性，因为模块716可试图标识角膜位置，该角膜位置导致一些或所有闪光和光线在它们各自的光源和它们各自在图像852上的位置之间被正确地反射。换句话说，并且在这些实施例中，可在图8B-8E的3D角膜位置确定(例如，迭代、优化技术等)过程中依赖一些或全部光源的位置。

归一化眼睛跟踪图像的坐标系的示例

图9A-9C示出了通过诸如图7A的坐标系归一化模块718之类的可穿戴系统中的部件对眼睛跟踪图像的坐标系的示例归一化。相对于用户的瞳孔位置对眼睛跟踪图像的坐标系进行归一化可补偿可穿戴系统相对于用户的脸部的滑动(即，头戴式受话器滑动)，并且这种归一化可在眼睛跟踪图像与用户的眼睛之间建立一致的取向和距离。

如图9A所示，坐标系归一化模块718可接收用户的角膜旋转中心的估计的3D坐标900，并且可接收诸如图像852之类的非归一化的眼睛跟踪图像。作为示例，眼睛跟踪图像852和坐标900可处于基于眼睛跟踪相机324的位置的非归一化的坐标系850中。

作为第一归一化步骤，如图9B所示坐标系归一化模块718可将坐标系850旋转为旋转坐标系902，以使该坐标系的z轴(即，聚散深度轴)可与坐标系的原点和角膜曲率中心坐标900之间的矢量对准。特别地，坐标系归一化模块718可将眼睛跟踪图像850旋转为旋转的眼睛跟踪图像904，直到用户的角膜曲率中心的坐标900垂直于旋转图像904的平面为止。

作为第二归一化步骤，如图9C所示，坐标系归一化模块718可将旋转的坐标系902转换成归一化坐标系910，使得角膜曲率中心坐标900是距归一化坐标系910的原点的归一化距离906。特别地，坐标系归一化模块718可将旋转的眼睛跟踪图像904转换成归一化的眼睛跟踪图像912。在至少一些实施例中，归一化距离906可以是大约30毫米。如果需要，可在第一归一化步骤之前执行第二归一化步骤。

利用眼睛跟踪系统定位用户的瞳孔形心的示例

图9D-9G示出了使用3D瞳孔中心定位器模块720和眼睛跟踪模块614定位用户的瞳孔中心(即，用户的瞳孔822的中心，如图8A所示)的示例。

如图9D所示，3D瞳孔中心定位器模块720可接收归一化的眼睛跟踪图像912，其包括瞳孔形心913(即，由瞳孔标识模块712标识的用户的瞳孔的中心)。然后，3D瞳孔中心定位器模块720可模拟眼睛相机324的归一化3D位置910，以通过瞳孔形心913在归一化坐标系910中投射光线914。

在图9E中，3D瞳孔中心定位器模块720可基于来自3D角膜中心估计模块716的数据(并且如结合图8B-8E更详细地讨论的)来模拟诸如具有曲率中心900的角膜球901的角膜球。作为示例，可基于结合图8E标识的曲率中心816c的位置并且基于图9A-9C的归一化过程将角膜球901定位在归一化坐标系910中。另外，如图9E所示，3D瞳孔中心定位器模块720可标识光线914(即，归一化坐标系910的原点和用户的瞳孔的归一化位置之间的光线)与模拟角膜之间的第一交点916。

如图9F所示，3D瞳孔中心定位器模块720可基于角膜球901确定瞳孔球918。瞳孔球918可与角膜球901共享共同的曲率中心，但是具有较小的半径。3D瞳孔中心定位器模块720可基于角膜中心与瞳孔中心之间的距离来确定角膜中心900与瞳孔球918之间的距离(即瞳孔球918的半径)。在一些实施例中，瞳孔中心和角膜曲率中心之间的距离可从图7A的假设眼睛尺寸704、从眼睛跟踪外在参数和内在参数数据库702、和/或从每用户校准数据706确定。在其他实施例中，可从图7A的每用户校准数据706确定瞳孔中心和角膜曲率中心之间的距离。

如图9G所示，3D瞳孔中心定位器模块720可基于各种输入来定位用户的瞳孔中心的3D坐标。作为示例，3D瞳孔中心定位器模块720可利用瞳孔球918的3D坐标和半径、在模拟角膜球901和与归一化眼睛跟踪图像912中的瞳孔形心913相关联的光线914之间的交点916的3D坐标、有关角膜的折射率的信息、以及其他相关信息(例如空气的折射率(其可存储在眼睛跟踪外在参数和内在参数数据库702中))来确定用户的瞳孔的中心的3D坐标。特别地，3D瞳孔中心定位器模块720可在模拟中基于空气(大约1.00的第一折射率)和角膜材料(大约1.38的第二折射率)之间的折射差将光线916弯曲成折射光线922。在考虑到由角膜引起的折射之后，3D瞳孔中心定位器模块720可确定折射光线922与瞳孔球918之间的第一交点920的3D坐标。3D瞳孔中心定位器模块720可确定用户的瞳孔中心920为位于折射光线922与瞳孔球918之间的大约第一交点920处。通过这种布置，3D瞳孔中心定位器模块720可确定归一化坐标系910中瞳孔中心920(相对于可穿戴系统)的3D位置。如果需要，可穿戴系统可将瞳孔中心920的坐标非归一化为原始眼睛相机坐标系850。瞳孔中心920可与角膜曲率中心900一起使用，以使用光轴确定模块722尤其确定用户的光轴，并通过聚散深度估计模块728确定用户的聚散深度。

光轴与视轴之间的差的示例

如结合图7A的光学到视觉映射模块730所讨论的，用户的光轴和视轴通常不对准，部分原因是用户的视轴由他们的中央凹限定，并且中央凹通常不在人的视网膜的中心。因此，当一个人希望将注意力集中在特定对象上时，该人将其视轴与该对象对准，以确保来自该对象的光落在其中央凹上，而其光轴(由其瞳孔的中心和其角膜的曲率中心限定)实际上是与该对象稍微偏移的。图10是眼睛1000的示例，其示出了该眼睛的光轴1002、该眼睛的视轴1004、以及这些轴之间的偏移。另外，图10示出了眼睛的瞳孔中心1006、眼睛的角膜曲率中心1008、和眼睛的平均旋转中心(CoR)1010。在至少一些人群中，眼睛的角膜曲率中心1008可位于前方约4.7mm处，如由眼睛的平均旋转中心(CoR)1010的尺寸1012所指示的。此外，眼睛的视角中心1014可位于眼睛的角膜曲率中心1008前面约5.01毫米，在用户的角膜的外表面1016后面约2.97mm、和/或用户的瞳孔中心1006正前方(例如，对应于眼睛1000的前房内的位置)。作为另外的示例，尺寸1012可在3.0mm与7.0mm之间，在4.0mm与6.0mm之间，在4.5mm与5.0mm之间，或者在4.6mm与4.8mm之间，或者在任何值之间的任何范围以及与这些范围中的任何一个范围内任何值。眼睛的视角中心(CoP)1014对于可穿戴系统可以是有用的位置，因为在至少一些实施例中，在CoP处配准渲染相机可帮助减少或消除视差伪像。

图10还示出了人眼1000内的这样的位置，渲染相机的针孔可与之对准。如图10所示，渲染相机的针孔可沿着人眼1000的光轴1002或视轴1004与位置1014对准，该位置比人眼1000的(a)瞳孔或虹膜1006的中心以及(b)角膜曲率中心1008更靠近角膜的外表面。例如，如图10所示，可沿着人眼1000的光轴1002将渲染相机的针孔与位置1014配准，该位置1014在角膜1016的外表面后约2.97毫米处并且在角膜曲率中心1008前约5.01毫米处。可将渲染相机的针孔的位置1014和/或位置1014所对应的人眼1000的解剖区域视为表示人眼1000的视角中心。如图10中所示的人眼1000的光轴1002表示穿过角膜曲率中心1008和瞳孔或虹膜1006中心的最直接线。人眼1000的视轴1004与光轴1002不同，因为它表示从人眼1000的中央凹延伸到瞳孔或虹膜1006的中心的线。

基于眼睛跟踪渲染内容并且检查配准的示例过程

图11是用于在渲染内容中使用眼睛跟踪并提供关于可穿戴设备中的配准的反馈的示例方法1100的过程流程图。方法1100可由本文描述的可穿戴系统执行。方法1100的实施例可由可穿戴系统用来基于来自眼睛跟踪系统的数据来渲染内容并提供关于配准的反馈(即，可穿戴设备对用户的适配)。

在框1110处，可穿戴系统可捕获用户的一只或两只眼睛的图像。可穿戴系统可使用一个或多个眼睛相机324来捕获眼睛图像，如至少在图3的示例中所示出。如果需要的话，可穿戴系统还可包括一个或多个光源326，该光源326被配置为将IR光照射在用户的眼睛上并在由眼睛相机324捕获的眼睛图像中产生对应的闪光。如本文所讨论的，闪光可由眼睛跟踪模块614用来导出关于用户的眼睛的各条信息，包括眼睛看向哪里。

在框1120处，可穿戴系统可检测在框1110中捕获的眼睛图像中的闪光和瞳孔。作为示例，框1120可包括由闪光检测和标记模块714处理眼睛图像以标识眼睛图像中的闪光的二维位置以及由瞳孔标识模块712处理眼睛图像以标识眼睛图像中瞳孔的二维位置。

在框1130处，可穿戴系统可估计用户的左和右角膜相对于可穿戴系统的三维位置。作为示例，可穿戴系统可估计用户的左和右角膜的曲率中心的位置以及这些曲率中心与用户的左和右角膜之间的距离。框1130可涉及本文至少结合图7A和8A-8E描述的标识曲率中心的位置的3D角膜中心估计模块716。

在框1140处，可穿戴系统可估计用户的左和右瞳孔中心相对于可穿戴系统的三维位置。作为示例，可穿戴系统和3D瞳孔中心定位器模块720尤其可估计用户的左和右瞳孔中心的位置，如至少结合图7A和9D-9G描述的作为框1140的一部分。

在框1150处，可穿戴系统可估计用户的左和右旋转中心(CoR)相对于可穿戴系统的三维位置。作为示例，可穿戴系统和CoR估计模块724尤其可估计用户的左眼和右眼的CoR的位置，如至少结合图7A和10所描述的。作为特定示例，可穿戴系统可通过沿着光轴从角膜的曲率中心向视网膜返回来找到眼睛的CoR。

在框1160处，可穿戴系统可从眼睛跟踪数据中估计用户的IPD、聚散深度、视角中心(CoP)、光轴、视轴和其他所需属性。作为示例，IPD估计模块726可通过比较左和右CoR的3D位置来估计用户的IPD，聚散深度估计模块728可通过找到左和右光轴的交点(或接近交点)或左和右视轴的交点来估计用户的深度，光轴确定模块722可随时间标识左和右光轴，光轴到视轴映射模块730可随时间标识左和右视轴，CoP估计模块732可标识左和右视角中心，作为框1160的一部分。

在框1170处，可穿戴系统可部分地基于在框1120-1160中标识的眼睛跟踪数据来渲染内容，并且可可选地提供关于配准的反馈(即，可穿戴系统对用户的头部的适配)。作为示例，可穿戴系统可标识渲染相机的合适位置，然后基于渲染相机的位置为用户生成内容，如结合图7B的光场渲染控制器618和渲染引擎622所讨论的。作为另一个示例，可穿戴系统可确定它是否正确地适配到用户，或者相对于用户已经从其正确的位置滑落，并且可向用户提供指示设备的适配是否需要调整的可选反馈，如结合配准观察器620所讨论的和结合图16的框1608所讨论的。在一些实施例中，如结合图16的框1610所讨论的，可穿戴系统可基于不正确或不那么理想的配准来调整渲染的内容，以尝试减少、最小化或补偿不正确或未配准的影响。

设备配准的综述

为了使本文所述的可穿戴系统200输出高感知图像质量的图像，可穿戴系统200的显示器220(图2)优选地正确地适配至用户(例如，相对于用户的头部进行定位和定向，使得系统200的输入和输出与用户的头部的对应部分正确地对接，并且使得该设备稳定且穿戴和使用舒适)。作为示例，为了使显示器220向用户的眼睛提供视觉内容，显示器220优选地位于用户的眼睛前面，并且取决于显示器220的相关特性，用户的眼睛优选地位于特定的体积内(参见例如与图13A和13B相关联的进一步讨论)。作为另外的示例，扬声器240优选地位于用户的耳朵附近、其上或之中，以向用户提供高质量的音频内容，音频传感器(例如，麦克风)232优选地位于特定区域中以从用户接收声音，面向内部的成像系统462(其可包括一个或多个相机324和一个或多个红外光源326)优选地被正确地放置在一个位置和取向上，以获得用户的眼睛的清晰、无障碍的图像(其可成为眼睛跟踪系统的一部分)。这些仅仅是可穿戴系统200优选地正确地适配用户的各种原因的示例。

为了确保可穿戴系统200被正确地与用户配准，可穿戴系统200可包括诸如图6的配准观察器620的配准观察器。在一些实施例中，正确配准的可穿戴系统200包括显示器，该显示器被定位成使得用户的一只或两只眼睛能够接收足够的图像光以基本上看到由可穿戴显示系统200的显示器220提供的整个视场。例如，正确配准的显示器可允许在显示器的视场的约80％或更高、约85％或更高、约90％或更高、或约95％或更高的范围内观看图像，具有80％或更高、约85％或更高、约90％或更高、或约95％或更高的亮度均匀性。将理解的是，当显示器正在遍及整个视场显示相同的内容时，亮度均匀性可等于显示器的整个视场上100％乘以最小亮度除以最大亮度(100％×L_min/L_max)。

配准观察器620可以使用各种传感器确定可穿戴系统200如何被适配在用户上(例如，如果可穿戴系统200的显示器220适当地被定位在用户上)。作为示例，配准观察器620可以使用面向内的成像系统462，该面向内的成像系统462可包括眼睛跟踪系统，来确定可穿戴系统200的相关部分如何相对于用户空间取向，并且特别地，与可穿戴系统200进行接口的用户的眼睛、耳朵、嘴、或其他部分。

配准观察器620可以辅助校准过程，针对特定用户的可穿戴系统200的这种初始或后续配置或设置。作为示例，配准观察器620可在针对该特定用户在可穿戴系统200的配置或设置期间向用户提供反馈。附加地或替代地，配准观察器620可连续地或间歇地监控可穿戴系统200在用户上的配准，以在使用期间检查持续的正确配准，并且可即时(on the fly)提供用户反馈。配准观察器620可提供用户反馈，或作为配置过程的一部分或作为在使用期间的配准监控的一部分，该用户反馈指示何时可穿戴系统200被正确配准以及何时可穿戴系统200未被正确配准。配准观察器620还可提供关于用户可如何校正任何未配准并实现正确配准的特定建议。作为示例，配准观察器620可推荐用户在检测到可穿戴设备的滑动之后(例如，沿着用户的鼻梁向下)向后推可穿戴设备，可推荐用户调整可穿戴设备的一些可调整部件(例如，如本文结合图15A和15B所述)，等等。

配准坐标系的示例

图12A-12B示出了示例眼睛位置坐标系，该示例眼睛位置坐标系可用于定义用户的左眼和右眼相对于本文所述的可穿戴系统的显示器的三维位置。作为示例，坐标系可包括轴X、Y和Z。坐标系的轴z可对应于深度，例如用户的眼睛所在的平面与显示器220所在的平面之间的距离(例如，垂直于用户的面部正面的平面的方向)。坐标系的轴x可对应于左右方向，诸如用户左眼和右眼之间的距离。坐标系的轴y可对应于上下方向，其可以是当用户直立时的垂直方向。

图12A示出了用户的眼睛1200和显示表面1202(其可以是图2的显示器220的一部分)的侧视图，而图12B示出了用户的眼睛1200和显示表面1202的俯视图。显示表面1202可位于用户的眼睛前面，并且可将图像光输出给用户的眼睛。作为示例，显示表面1202可包括一个或多个出耦合光元件、有源或像素显示元件，并且可以是波导堆叠的一部分，诸如图4的堆叠波导组件480。在一些实施例中，显示表面1202可以是平面的。在一些其他实施例中，显示表面1202可具有其他拓扑(例如，弯曲的)。应当理解，显示表面1202可以是显示器的物理表面，或者仅仅是平面或其他假想表面，从该平面或其他假想表面，图像光被理解为从显示器220传播到用户的眼睛。

如图12A所示，用户的眼睛1200可具有偏移标称位置1206的实际位置1204，并且显示表面1202可处于位置1214。图12A还示出了用户的眼睛1200的角膜顶点1212。用户的视线(例如，他们的光轴和/或视轴)可基本上沿着实际位置1204和角膜顶点1212之间的线。如图12A和图12B中所示，实际位置1204可从标称位置1206偏移z-偏移1210、y-偏移1208和x-偏移1209。标称位置1206可表示针对用户的眼睛1200相对于显示表面1202的优选位置(有时称为设计位置，其通常可在所需的体积内居中)。随着用户的眼睛1200远离标称位置1206移动，显示表面1202的性能可能会劣化，如本文结合例如图14所讨论的。

将认识到，与用户的眼睛1200相关联的点或体积可用于表示本文的配准分析中的用户的眼睛的位置。表示点或体积可以是与眼睛1200相关联的任何点或体积，并且优选地被一致地使用。例如，该点或体积可在眼睛1200上或之中，或者可远离眼睛1200放置。在一些实施例中，该点或体积是眼睛1200的旋转中心。旋转中心可如本文中所描述的那样确定，并且由于其大致对称地布置在眼睛1200内的各个轴上并且允许与光轴对准的单个显示配准体积被用于分析，因此可具有简化配准分析的优点。

图12A还示出了显示表面1202可位于用户的视域下方的中心(当用户笔直向前看时沿y轴看，他们的光轴与地面平行)并且可倾斜(相对于y轴)。特别地，显示表面1202可被设置在用户的视域下方一些位置，使得当眼睛1200在位置1206时，用户将不得不以大约角度1216向下看以看着显示表面1202的中心。这可促进与显示表面1202的更自然且舒适的交互，特别是当观看以较短深度(或距用户的距离)渲染的内容时，因为用户可更舒适地观看在视域下方而不是视域上方的内容。此外，显示表面1202可例如以角度1218(相对于y轴)倾斜，使得当用户注视显示表面1202的中心(例如，注视稍微用户视域以下)时，显示表面1202通常垂直于用户的视线。在至少一些实施例中，显示表面1202也可相对于用户的眼睛的标称位置向左或向右偏移(例如，沿x轴)。作为示例，左眼显示表面可向右偏移并且右眼显示表面可向左偏移(例如，显示表面1202可朝彼此偏移)，使得用户的视线当聚焦在小于无限远的某个距离处时命中显示表面的中心，这可能会增加在可穿戴设备上的典型使用过程中的用户舒适度。

显示配准体积的示例

图13A-13B示出了示例显示配准体积1302a。显示配准体积1302a可表示眼睛1200所在的空间体积，以便从显示设备接收图像光。在一些实施例中，优选地定位用户的眼睛的旋转中心，使得眼睛配准或接收来自显示设备的图像信息。在一些实施例中，当用户的眼睛的旋转中心位于显示配准体积1302a内时，用户能够以高亮度均匀性看到由显示设备输出的整个图像。例如，如本文所述，正确配准的显示器可允许在显示器的视场上约80％或更多、约85％或更多、约90％或更多、或约95％或更多看到图像，具有80％或更高、约85％或更高、约90％或更高、或约95％或更高的亮度均匀性。换句话说，具有“良好”配准的显示器(例如，由图7C的模块772确定)可具有90％或更高的亮度均匀性，具有“一般”配准的显示器可具有80％或更高的亮度均匀性，并且具有“失败”配准的显示器可具有小于80％的亮度均匀性。

如本文中也描述的，旋转中心1204可用作用于参考和确定用户的眼睛的三维位置的便利参考点。可使用本文所述的技术来确定用户的每只眼睛的旋转中心，例如通过沿着用户的光轴从角膜的曲率中心向旋转中心(CoR)返回。但是，通常，在本文所述的过程和系统中可利用与用户的眼睛相关联的任何期望参考点。显示配准体积1203可表示其中显示表面1202能够在接近全潜在操作的空间的体积(例如，没有显示表面1202的性能的结合图15A和15B描述的类型的明显劣化)。如果用户的眼睛(例如，用户的眼睛的旋转中心1204)不在配准体积1302a内，则用户可能会体验到性能劣化，并且显示表面1202提供的某些或全部内容可能会部分调暗或对用户完全不可见。

如图13A所示，配准体积1302a可具有截头锥体的形状，其是椎体的上部被通常通过平行于其底部的平面切除之后而保留的一部分。换句话说，配准体积1302a当用户的眼睛更靠近显示表面1202时可沿x轴和y轴较大(参见例如图12A和12B)，并且当用户的眼睛距离显示表面1202较远时可沿x轴和y轴较小。截头锥体是其中剪切平面(例如，在该处剪切掉原始形状的一部分的线)平行于体积的底部的截断的示例。通常，配准体积例如体积1302a可采取以任何方式截断的体积的形状，诸如通过一个或多个非平行剪切平面(例如，如图13B所示)或通过一个或多个非平面剪切。

配准体积的尺寸可取决于显示表面1202和可穿戴系统的其他元件的具体实施方式。例如，图13B示出配准体积1302b可相对于显示表面1202成角度。在图13B的示例中，配准体积1302b的最靠近显示表面1202的部分可与显示表面1202成一定角度，从而当用户的眼睛在该体积的前部(最靠近显示表面1202的z位置)垂直(沿y方向)移动时，用户的眼睛将需要远离显示表面(沿z轴)移动以保持在配准体积1302b内。在一些实施例中，配准体积1302b的形状可基于眼睛跟踪系统的能力，该眼睛跟踪系统可能无法在图13B的成角度的体积1302b之外跟踪用户的眼睛。

配准体积的尺寸和形状还可取决于显示器220的各个部分的特性，显示器220可包括显示表面1202。作为示例，显示器220可以是具有以下的光场显示器：一个或多个波导(其可堆叠并可为用户提供多个聚散提示)、从图像注入设备接收光并将光耦合到波导中的入耦合元件、光分布元件(有时称为设置在波导上将光分配到出耦合元件的正交光瞳扩展器(OPE))、以及将光引向观看者的眼睛的出耦合元件(有时称为出射光瞳扩展器(EPE))。在一些实施例中，如本文所述，显示表面1202是从显示系统输出具有图像信息的光以在用户的眼睛中形成图像的表面或表面的一部分。例如，显示表面1202可以是波导表面上由出耦合元件或EPE限定的区域，而显示表面1202的周长是由出耦合元件或EPE限定的区域的周长。至少结合2018年3月14日提交的美国临时专利申请号62/642,761的图9A-9C还描述了光场显示器以及这种显示器的部件的进一步示例和细节，其全部内容通过引用合并于此。

在一些实施例中，配准体积1302a的x尺寸可以沿着体积的后面横跨约3.0mm、3.0mm、3.5mm、4.0mm、4.5mm、4.7mm、5.0mm、5.5mm、或6.0mm；或者可以小于3.0mm；或大于6.0mm(例如，在从显示表面沿着z轴的最大距离处)。类似地，配准体积1302a的y尺寸可以沿着体积的后面横跨约2.5mm、3.0mm、3.5mm、3.9mm、4.0mm、4.5mm、5.0mm、5.5mm、或6.0mm；或可以小于2.5mm；或大于6.0mm。在标称x和y位置处，配准体积1302a的z尺寸可以横跨约7.0mm、7.5mm、8.0mm、8.5mm、9.0mm、9.5mm、10.0mm、10.5mm、或11.0mm；或小于7.0mm；或大于11.0mm。x和y尺寸可以在体积的前面是更大的。作为示例，在体积的前面的配准体积的x和y尺寸可以是约7.0mm、7.5mm、8.0mm、8.5mm、8.9mm、9.0mm、9.5mm、10.0mm、10.0mm、10.5mm、11.0mm、11.4mm、11.5mm、12.0mm、或12.5mm；或小于7.0mm；或大于12.5mm。作为特定示例，配准体积的尺寸可以包括约9mm的z尺寸；在体积的后面约4.7mm并且在体积的前面约11.4mm的x尺寸；以及在体积的后面约3.9mm并且在体积的前面约8.9mm的y尺寸。

在至少一些实施例中，可存在多个配准体积，诸如体积1302b和1304，每个配准体积与不同的最小显示性能级别相关联。举例来说，图13B的体积1304可以小于体积1302，并且可表示在其中用户以100％的亮度均匀性感知显示表面1202提供的所有内容的体积，而较大的体积1302b可表示在其中用户以100％的亮度均匀性感知显示表面1202提供的内容的至少90％的体积。

图13C和13D示出了示例显示配准体积，其被配置为使用眼睛的旋转中心作为指示眼睛相对于用户的眼睛和显示表面的位置的参考点。特别地，图13C示出了在用户的眼睛1200内的显示配准体积(例如配准体积1302b)的示例性定位。在图13C的示例中，眼睛1200的旋转中心1204在配准体积1302b内大致居中。另外，配准体积1302b被示出为具有大约9mm的深度的示例尺寸，并且在深度轴的中点处具有大约3.5mm的宽度和3mm的高度。如本文所讨论的，配准体积的尺寸可变化并且可与可穿戴系统的各个部件的特性有关。图13C还示出了眼睛结构1340，其可以是眼睛1200的晶状体或瞳孔。

图13D示出了较大的环境，其中，用户的眼睛1200通常位于配准体积1302b内并且正在通过显示表面1202看虚拟内容1350。如本文中所讨论的，诸如虚拟内容1350的虚拟内容可提供给用户，具有与比显示表面1202的深度更大的深度相关联的聚散和适应提示。换句话说，虚拟内容1350对于用户来说，用眼睛1200看起来比显示器1202距离用户更大的距离。在图13D的示例中示出了这样的布置。

继续参考图13D，将认识到，显示配准体积1302b可以是具有由从显示表面1202的周边到眼睛1200内的点的投射所限定的边界的假想体积。例如，该投射可限定椎体，并且显示配准体积1302b可以是该椎体的截头锥体。因此，沿着光轴上面对显示表面1202的平面，显示配准体积1302b的横截面形状类似于由显示表面1202的周边所形成的形状。例如，如图所示，在显示表面1202是正方形的情况下，显示配准体积1302b的横截面形状也是正方形。另外，还如图所示，在显示表面1202的中心在用户的视域以下的情况下，截头锥体也可倾斜成使得显示配准体积1302b的前部的中心也在用户的视域以下。将理解的是，在一些实施例中，显示表面1202的相关周边是在其上输出图像光或显示内容的显示器的区域的周边。

在一些实施例中，眼睛的旋转中心1204在限定显示配准体积1302b的截头锥体内居中。然而，应当理解，眼睛的旋转中心1204的标称位置和/或截头锥体的整体形状可凭经验确定或使用除从显示表面1202投射以外的标准来选择，使得显示系统能够正确配准显示器并提供关于配准质量和即使不理想也可接受的配准级别的准确反馈。

各种配准位置处的显示性能的示例

图14示出了显示表面1202的性能可如何随用户的眼睛1200的位置而变化。如图所示，来自显示表面1202的光线可成一定角度被引导到眼睛，使得来自显示表面1202的边缘的光线朝着眼睛1200向内传播。因此，锥体1202'表示由显示表面1202输出给眼睛1200以形成图像的光锥。

因此，当显示表面1202相对于眼睛1200移位时，与视场的各个部分相对应的像素的出射光瞳(exit pupil)不会到达眼睛1200的视网膜，并且图像在该视场的那些部分显得调暗。眼睛的旋转中心的位置1204a、1204b、1204c和1204d相对于旋转中心的理想位置1204'有效地移位了；显示表面1202相对于眼睛1200的运动可导致眼睛的旋转中心可能移动到显示表面1202的显示配准体积1302a、1304、1302b(图13A和13B)的外部。如所讨论的，可将显示配准体积绑定到显示表面1202，例如，可通过来自显示表面1202的投射来限定显示配准体积。因此，随着显示表面1202相对眼睛1200移动，显示配准体积1302a、1302b(图13A和13B)也是如此。图14示出了用户的眼睛的旋转中心的各种位置(例如，位置1204a、1204b、1204c和1204d)，显示表面1202的相对位置以及用户如何在各个位置上感知由显示表面1202提供的内容的表示(例如，表示1400a、1400b、1400c和1400d)。

在示例1400a中，用户的眼睛的旋转中心可在位置1204a处，该位置可在诸如配准体积1300b之类的配准体积(例如，其中由于眼睛1200在其视网膜上接收由显示表面1202输出的几乎所有图像光导致图像质量高的体积)内居中。表示1400a可表示当用户的眼睛位于位置1204a时用户对由显示表面1202提供的内容的感知(或观看)。如表示1400a所示，显示表面1202上的基本上所有内容的亮度是均匀的，并且可处于或接近全亮度水平。

在示例1400b中，用户的眼睛的旋转中心可在位置1204b处，该位置可在诸如体积1304(图13B)之类的优选显示配准体积之外，但在诸如体积1302b(例如，其中显示性能仅略有劣化的体积)的次要配准体积内。表示1400b可表示当用户的眼睛的旋转中心在位置1204b时用户对由显示表面1202提供的内容的感知(或观看)。如表示1400b所示，由于用户的眼睛相对于显示表面1202未配准，沿显示表面1202右侧的图像的部分1402可能会有感知到的降低的亮度(例如50％亮度)。

在示例1400c中，用户的眼睛的旋转中心可在位置1204c处，该位置可在诸如体积1302b(图13B)的第二配准体积的外部(或外部边缘上)。表示1400c可表示当用户的眼睛的旋转中心在位置1204c时用户对由显示表面1202提供的内容的感知(或观看)。如表示1400c所示，沿着显示的图像的边缘的部分1406，由于未配准，用户感知可能会完全(或几乎完全)调暗，并且因此用户看不到它。在其中显示器的一些像素低于感知的亮度水平的布置中，显示器可提供减小的视场(例如，用户可能无法感知显示器原本能够呈现的整个视场)。另外，在暗部分1406和表示的其余部分之间可存在图像的具有逐渐减小的亮度的带或部分1404。

在示例1400d中，用户的眼睛的旋转中心可在位置1204d处，该位置可完全在所期望的配准体积之外。表示1400d可表示当用户的眼睛的旋转中心在位置1204d时用户对由显示表面1202提供的内容的感知(或观看)。如表示1400d所示，由于明显的未配准，图像的大部分1410对用户可显得完全(或几乎完全)暗，并且图像的实质部分1408可显得被调暗。

用于可穿戴系统的可交换适配件的示例

图15A和15B示出了可穿戴系统220的分解透视图，可穿戴系统220可包括可互换适配件。特别地，图15A示出了可穿戴系统200可如何包括诸如垫1500a、1500b和1500c之类的可互换后部垫；而图15B示出了系统200如何可包括诸如垫1502的可互换前额垫和诸如垫1504的可互换鼻梁垫。这些可互换垫可用于为个体用户调整可穿戴系统200的适配，这些个体用户可具有变化的解剖学属性(例如，显示器220和框架230如何适配各种不同用户)。作为示例，具有相对较小的头部的用户可受益于将相对较大的后部垫1500a、1500b和1500c附接到框架230，而具有相对较大的头部的用户通过附接相对较小的后部垫或甚至省去后部垫可获得更好的结果(例如，更好的光学性能和框架300在他们的头上的稳定性)。类似地，鼻子和/或前额突出的用户可受益于较小的前额垫1502和/或鼻梁垫1504；而鼻子和/或前额不那么突出的用户可受益于较大的前额垫1502和/或鼻梁垫1504。这些仅是示例性示例，通常确定可互换护垫组以使之最适配任何特定用户可能很复杂。如本文所述，显示系统可向用户显示通知，该通知指示可能需要不同的可互换适配件以向用户提供显示器的正确配准。

观察设备配准的示例过程

图16是用于观察设备配准并提供关于配准或补偿可穿戴设备中的未配准的反馈的示例性方法1600的流程图。方法1600可由本文描述的可穿戴系统执行。方法1600的实施例可由可穿戴系统用来基于来自眼睛跟踪系统的数据提供关于配准的反馈(即，可穿戴设备对用户的适配)，并调整显示器以尝试补偿适配误差(例如，配准不良)。

在框1602处，可穿戴系统可获得适配容限。适配容限可包括与显示配准体积诸如体积1302a、1302b、或1304相关联的信息。特别地，适配容限可包括与用户的眼睛相对于可穿戴设备的标称(例如，正常)位置相关联的信息并且可包括与来自标称位置的变化如何影响设备性能相关联的信息。作为一个示例，适配容限可包括关于针对其可穿戴设备能够与用户进行接口至少某个期望数量的性能(例如，利用显示器中的任何像素上的不超过50％变暗)。

在框1604处，可穿戴系统可获得配准数据。配准数据可包括可穿戴系统的各个部件与用户的相关联部分之间的空间关系。作为示例，配准数据可包括以下的一个或多个：用户的左眼相对于可穿戴系统的左眼显示器的三维位置；用户的右眼相对于右眼显示器的3D位置；以及用户的耳朵相对于可穿戴系统的音频输出(例如，扬声器、耳机、头戴式受话器等)的3D位置。可穿戴系统可使用任何合适的机制来获取配准数据。作为示例，可穿戴系统可使用图3所示类型的眼睛跟踪相机324(或其他相机，其可以是也可以不是面向内部的相机)来捕获用户的一只或两只眼睛的图像来确定用户的眼睛和可穿戴系统的相对位置。作为其他示例，可穿戴系统可包括深度传感器、压力传感器、温度传感器、光传感器、音频传感器或其他传感器，以测量或获取诸如可穿戴设备相对于用户的位置之类的配准数据。

在框1606处，可穿戴系统可确定适配特性。举例来说，可穿戴系统可确定用户的左眼是否位于左眼配准体积(例如，左眼的体积1302a、1302b或1304中的一个)内以及用户的右眼是否位于右眼配准体积(例如右眼的体积1302a、1302b或1304中的一个)内。框1606还可涉及确定用户的眼睛(或其他身体部位)距离其标称位置多远。作为示例，在框1606中，可穿戴系统可确定用户的至少一只眼睛在其各自的显示配准体积之外，用户的眼睛在其显示配准体积之外多少以及在哪个方向上。在框1608和1610中，可有益地利用关于未配准的方向和大小的信息(例如，配准体积或标称位置与用户的眼睛或其他身体部位的实际位置之间的距离)。

在框1608处，可穿戴系统可向用户(或某个其他实体)提供关于在框1608中确定的适配特性的反馈。作为示例，如果可穿戴系统在框1606中确定可穿戴设备相对于用户的眼睛太低，则可穿戴系统可在框1608向用户提供通知，该通知建议用户使用适当的鼻梁垫1504(例如，如果以前没有附接鼻梁垫，则添加鼻梁垫，或将现有鼻梁垫换成更大或更高的鼻梁垫)。相反，如果可穿戴设备确定其相对于用户的眼睛而言过高，则系统可向用户提供建议，以使用较小的鼻梁垫或完全移除该垫(如果设计为不带垫的可穿戴设备)。作为其他示例，可穿戴系统可向用户提供反馈，建议对诸如垫1502的前额垫、诸如垫1500a-1500c的后部垫的改变，对可穿戴系统的其他可调整部件的改变，对用户如何穿戴可穿戴系统的改变(例如，在相对于用户的特定方向移动或旋转系统的指令)。通常，可基于用户的眼睛相对于显示器的位置或其他度量(例如由系统标识的可见图像部分)来生成用户反馈。作为示例，当系统确定用户的眼睛在配准体积之上时，系统可向用户推荐用户沿着他们的鼻梁向上推可穿戴设备，以校正未配准。

可使用任何合适的设备来提供用户反馈。作为示例，可通过可穿戴设备中的显示器或外部显示器呈现的视频或通过可穿戴设备或外部设备呈现的音频来提供用户反馈。在各种实施例中，可穿戴设备可提供交互式指南，以帮助用户以相对直观的方式获得正确的配准。作为示例，可穿戴设备可显示两个虚拟目标，一个表示用户的眼睛的位置，另一个表示标称配准位置。然后，当用户四处移动可穿戴设备并调整其适配时，用户可感知其调整如何影响配准，并且用户可快速直观地实现正确的配准。

在其中由作为可穿戴设备的一部分的诸如显示器的输出设备提供用户反馈的布置中，可穿戴设备可以以确保用户能够感知反馈的方式向用户提供反馈。作为示例，考虑图14的表示1400d。在这样的示例中，可穿戴系统可将用户反馈移动到被用户感知的所显示的图像的部分中，在图14的示例1400d中，移动到例如显示器的左半部中，而不是显示器的不可见的右半部。

在一些实施例中，本文描述的类型的反馈可被提供给零售环境中的销售人员，并且该反馈可通过网络被传达给销售人员的计算机或移动设备。

在框1608处，可穿戴系统可调整其输出和输入以补偿未校正的适配误差。在一些实施例中，仅在用户响应于反馈未能校正适配误差之后才执行框1608。在其他实施例中，可执行框1608，直到用户校正适配误差为止。在一些实施例中，每当用户决定继续以适配误差使用可穿戴系统时，可执行框1608。在一些实施例中，可省略框1608。

作为示例，在框1608中，可穿戴系统可通过以下来调整其输出和输入：调整显示的图像的一部分(例如，以补偿由图14所示类型的未配准引起的调暗)、通过调整麦克风输入(例如，当用户离麦克风太远时提高麦克风增益，或当用户离麦克风太近时降低麦克风增益)、通过调整扬声器输出(例如，当用户离可穿戴设备中的扬声器太近或太远时提高或调低扬声器音量)等。作为一个特定示例，可穿戴系统可选择性地提高图像的各部分(例如图14的部分1402、1404或1408)的亮度，以试图减少未配准引起的调暗。在一些其他实施例中，可穿戴系统可识别出图像的某些部分(诸如图14的部分1406或1410)对用户不可见，并且可减少那些区域中的光输出以减少可穿戴系统的能量消耗。例如，在图像的不同部分可具有专用的、选择性激活的光源或光源的一部分的配置中，与图像的看不见的部分相关联的一个或多个光源或光源的一部分的光输出可减少或关闭。

标识显示配准体积的示例

图17A-17H示出了由显示器投射的光场以及光场的交点可如何部分地限定显示配准体积的视图。图18示出了由显示器投射的重叠光场以及光场的交点可如何部分地限定显示配准体积的俯视图。如图17A-17H和18所示，显示配准体积的大小和形状可部分取决于显示器(其可以是图2的显示器220)的几何形状以及出耦合的光传播出显示器的角度(例如，传播出显示器的波导)。将理解的是，光被输出的角度可限定显示器的FOV；相对于法线的较大角度提供较大的FOV。在一些实施例中，显示表面可输出足够大的角度以提供期望的FOV。

图17A-17H和18示出了显示器220，其可以是光场显示器，其包括诸如波导1701、入耦合元件1702、正交光瞳扩展器(OPE)1704和出射光瞳扩展器(EPE)1706(可形成显示表面1202，其也在包括图12A-14的各种其他图中示出)的元件。作为示例，入耦合元件1702可接收来自图像源的光并且将光耦合到波导1701中。波导1701可将光传送到OPE 1704，OPE1704可提供光瞳扩展并将光引导到EPE 1706，EPE 1706(可设置在显示表面1202上)提供进一步的光瞳扩展并将光传送到用户的眼睛。至少结合于2018年3月14日提交的美国临时专利申请号62/642,761的图9A-9C还描述了光场显示器以及这种显示器的部件的进一步示例和细节，其全部内容通过引用合并于此。

图17A示出了其中显示器220在光学无限远和显示器的FOV的最右边区域(例如，最右边像素)投射与虚拟图像内容相关联的光1710的示例。相比之下，图17B示出了其中显示器220在光学无限远处以及显示器的FOV的最左区域(例如，最左像素)投射与对象相关联的光1712的示例。图17C示出了图17A的光1710和图17B的光1712的重叠区域1714。区域1714可以是水平配准体积。特别地，当用户的眼睛位于图17C的区域1714内时，用户能够感知在FOV的最右区域(如图17A中所示)和FOV的最左区域(如图17B中所示)的对象(例如，显示器220能够向用户提供来自所述对象的光)。

图17D-F示出了除了垂直方向外与图17A-17E这些示例相似的示例。特别地，图17D示出了其中显示器220在光学无限远处以及显示器的FOV的最底部区域(例如，最底部像素)投射与对象相关联的光1716的示例，而图17E示出了其中显示器220在光学无限远处以及显示器的FOV的最顶部区域(例如，最底部像素)投射与对象相关联的光1718的示例。类似地，图17F示出了图17D的光1716和图17E的光1718的重叠区域1720。区域1720可以是垂直配准体积。特别地，当用户的眼睛位于图17F的区域1720内时，用户能够感知在FOV的最底部区域(如图17D中所示)和FOV的最顶部区域(如图17E中所示)处的对象(例如，显示器220能够向用户提供来自所述对象的光)。

图17G和17H示出了图17C的区域1714和图17F的区域1720的交点(作为区域1722)。特别地，图17G示出了其中来自显示器220的FOV的四个角处的对象的光重叠的区域1722。图17H示出了区域1722的轮廓。如应当是明显的，当用户的眼睛位于区域1722内时，用户能够感知(例如，显示器220能够向用户提供光)显示器的FOV内任何地方的对象。

在一些实施例中，在保持其他属性(例如显示器尺寸)恒定的同时增加显示器220的FOV(水平、垂直或其组合)可具有缩小相关配准体积(例如，水平体积1714、垂直体积1720或组合配准体积1722)的效果。作为示例，考虑图17A-C和水平FOV和配准体积1714。显示器220的水平FOV的增加意味着来自右侧水平边缘上的对象的光1710以更锐角度(例如，从法线到显示表面1202的更大角度)被显示表面1202(例如，EPE 1706)投射。类似地，来自左侧水平边缘上的对象的光1712以更锐角投射。因此，从图17C的角度来看，水平配准体积1714的顶点随着水平FOV的增加而朝向显示表面1202移动，从而使体积1714缩小。在一些实施例中，类似的考虑可应用于垂直FOV和垂直配准体积以及整个FOV和整个配准体积。

图18示出了包括显示表面1202的显示器220的俯视图，显示表面1202可具有矩形形状和特定的FOV以及由显示器产生的光线。一般而言，图18的显示器220的配准体积可以是体积1802，其在图18的俯视图中显示为三角形。体积1802可表示由图17A-17G所示的光形成的各种光场重叠的体积。如果用户的眼睛位于体积1802的外部(例如，在体积1804中)，则可看到来自显示器220的至少某些部分的光场的光将无法到达用户的眼睛，从而导致FOV的一部分被部分或完全调暗。

应注意到，显示器和配准体积的侧视图将具有与图18所示的外观几乎相同的外观(至少对于矩形显示器而言)，尽管在所示出的显示器220的尺寸将是显示器220的高度而不是其宽度，并且所示出的FOV将是图18所示的垂直FOV而不是水平FOV。因此，体积1802实际上可具有某种椎体形状。在其他实施例中，显示器可具有非矩形形状，诸如圆形、椭圆形、自由形状或任何其他期望的形状。在这样的实施例中，可通过在相关FOV处投射光场并标识那些光场相交的位置(其可对应于体积1802)以及光场不相交的位置(其可对应于体积1804)来确定对应的配准体积。

如本文所讨论的，锥体的“底部”可以截断(其可以帮助将用户的眼睛移动离开显示器，使得用户的睫毛当适当地配准时不影响显示器)，并且锥体的“顶部”也可以截断(其可以在减少用户的眼睛的位置确定中的噪声的影响中是有帮助的，其可能以其他方式快速地移动进出锥体形状配准体积的“顶部”处的配准)。将理解到，“顶部”接近体积1802的顶点，并且底部接近波导1701。当用户的眼睛位于配准体积1802外部的区域1804中，用户可以感知显示器220的像素中的一些或全部的变暗，如本文所讨论的(参见，例如，图14)。

通常，配准体积可以出于各种原因以许多方式调节(例如，截断或以其他方式减少)。作为示例，配准体积可以截断使得体积具有距显示器220的最小距离，以防止用户的睫毛或眼睑影响显示器220。作为另一示例，可穿戴系统可以具有眼睛跟踪系统，其包括诸如图6的相机324和光源326的元件，该眼睛跟踪系统可以仅跟踪用户的眼睛，如果其用户的眼睛在眼睛跟踪体积内，该眼睛跟踪体积可以不精确地与显示配准体积重叠。

观察设备配准并且提供用户反馈以改进配准的示例过程

在一些实施例中，可穿戴系统可以确定设备配准并且使用眼睛跟踪信息提供关于配准的反馈，诸如沿着y轴和z轴的用户的眼睛的位置(参见，例如，图12A和12B，其将y轴示出为当用户和可穿戴系统直立时的垂直方向或重力方向，并且将z轴示出为当其向前看时沿着用户的视线延伸的水平方向)。在一些实施例中，可穿戴系统可以被配置为跟踪沿着y轴的用户的瞳孔的位置和沿着z轴的眼睛的旋转中心。可穿戴系统可以确定用户的瞳孔是否与期望位置垂直偏移(例如，沿着y轴)或者眼睛(例如，眼睛的旋转中心)是否太接近或太远离可穿戴系统(例如，沿着z轴)，并且可以基于这些偏移中的任一个向用户提供定制的反馈。反馈可以包括修改影响显示器相对于用户的位置的各种物理可穿戴系统的指令。例如，指令可以包括提示用户安装或移除连接到显示器220和框架230的各种部件(图2)。在一些实施例中，用户可以被提示以安装或移除较厚前额垫、较薄前额垫、较高鼻垫、较短鼻垫、另一适配件、另一背垫、或这样的适配件的某种组合或子组合以便改进设备的适配(例如，朝向期望位置调节用户的瞳孔的位置)。作为另一示例，可穿戴系统可以包括物理地可调节或可移动部件，并且指令可以包括提示用户对那些部件做出调节(包括利用特定指令提示用户，诸如如何调节那些部件，调节那些部件多少，和/或以什么方向或方式调节那些部件)。作为特定示例，可穿戴系统可以包括物理地调节可穿戴系统的左和右显示器之间的分离的动态IPD调节机构，并且可穿戴系统可以提示用户当确定用户的IPD不匹配机构的当前设置时调节动态IPD调节机构。例如，可穿戴系统可以具有将左和右显示器结合的滑动机构，并且显示器可以通过折叠或延伸滑动机构移动更近或更远。

如图19的示例中所示，可穿戴系统可以在多个垂直区域中垂直地标识用户的瞳孔中的每一个的位置。作为示例，可穿戴系统可以确定用户的瞳孔中的每一个是否在区域T1或T2之一(例如，可穿戴系统相对于用户的瞳孔是太低的)、区域M1或M2之一(例如，可穿戴系统在相对于用户的瞳孔的期望垂直范围内)、或区域B1或B2之一(例如，可穿戴系统相对于用户的瞳孔是太高的)内。

沿着图19的右边的标度可以以像素为单位并且可以指代由眼睛跟踪系统捕获的图像。因此，眼睛跟踪图像的前80个像素中的眼睛瞳孔可以被称为在区域T2中。类似地，如果眼睛瞳孔在下40个像素中，则其可以在区域T2中(从80到120个像素)，如果其在以下90个像素中，则其可以在区域M1中(从120到210个像素)，如果其在以下90个像素中，则其可以在区域M2中(从210到300个像素)，如果其在以下100个像素中，则其可以在区域B1中(从300到400个像素)，并且如果其在底部像素中(超过400)，则其可以在区域B2中。将理解到，每个区域与特定像素的关联可以取决于由眼睛跟踪系统捕获的图像的分辨率、眼睛成像相机相对于显示器的位置等来变化。此外，可以使用不同数量和尺寸的区域。优选地，足够数量的区域被提供以在可接受位置处的眼睛瞳孔与被认为是太高或太低、或否则不可接受或不希望的位置处的眼睛瞳孔之间进行区分。

在各种实施例中，可穿戴系统可以基于眼睛跟踪系统诸如图4的面向内的成像系统462(其可包括一个或多个相机324并且还可包括图3的一个或多个红外光源326)捕获的图像来确定用户的瞳孔中的每一个的垂直位置。如图19所示，面向内的成像系统可以捕获包括诸如闪光1900a、1900b、1900c、和1900d的闪光的眼睛的图像。闪光是在由诸如相机324的相机所捕获的眼睛的图像中出现的用户的眼睛的反射。光源(诸如光源326a和326b)相对于相机324的位置可以是已知的，并且因此，由相机324捕获的图像内的闪光的位置可以使用在跟踪用户的眼睛中(如本文关于图7-11更详细地讨论的)，包括确定用户的瞳孔的垂直位置(例如，用户的瞳孔位于图19的区域中的哪一个中)。例如，闪光1900a、1900b、1900c、和1900d可以用作参考点，并且用户的瞳孔的位置可以基于瞳孔相对于这些闪光的位置来确定，如本文所公开的。

图20是用于观察设备配准和提供关于与头戴式可穿戴系统的配准的反馈的过程流程图的示例。示图示出了可以由本文所描述的可穿戴系统执行的方法2000。方法2000可以由可穿戴系统用来渲染基于来自眼睛跟踪系统的数据提供关于配准(可穿戴设备相对于用户的位置)的反馈。

在框2002处，可穿戴系统可以向用户提供初始适配指令。在一些实施例中，初始适配指令可以关于如何初始地将可穿戴系统适当地放置在其头部上引导用户。作为示例，可穿戴系统可以显示屏幕，其示例经由图21的屏幕截图示出，包括辅助用户初始地将系统放置在其头部上的视觉工具(例如，文本、图片、动画、视频等)。附加地或可替代地，可穿戴系统可以提供听觉工具(例如，口头指令和/或反馈)用于相同目的。

如图21的示例中所示，用户可以被引导以升高或降低可穿戴系统的后面，直到标记2100在显示器的角中的每一个中是可见的。将理解到，升高或降低可穿戴系统的后面改变显示器220(图2)相对于用户的眼睛的节距。这改变由用户可视的显示器的视场(FOV)的垂直维度的范围。标记2100优选地位于划分期望FOV的垂直范围(还被称为垂直FOV)的位置并且另外可以采取任何期望的形状并且具有任何期望的尺寸。因此，在一些实施例中，标记2100可以简单地采取期望垂直FOV的顶和底部的水平条和/或期望水平FOV的左和右边的垂直条的形式。

在一些实施例中，标记2100可以位于可穿戴系统的FOV的极端角处，使得能够看到所有标记的用户能够看到可穿戴系统的具有100％像素饱和度的标称垂直FOV的100％。像素饱和度可以指代来自用户的视角的像素的表观亮度。100％像素饱和度可以指代其中用户能够以其亮度的100％感知给定像素的情况。在其中用户的眼睛与可穿戴系统的显示器未适当地对准的情况中，用户可能感知具有减小亮度的一些像素并且可能不能够感知其他像素。关于图14提供了像素饱和度的进一步的讨论，图14讨论像素饱和度或像素亮度可以如何在配准不良的情况下降低。在一些实施例中，标记2100可以远离标称垂直FOV的边缘一定距离定位。当标记2100远离标称垂直FOV的边缘被布置时，对于用户调节可穿戴系统使得其可看到所有标记2100可能是更容易的。给定不同人中间的面几何体的分集，提供具有其中100％的用户可以看到垂直FOV的100％的大垂直FOV的可穿戴系统可能是困难的。如果标记2100被布置在垂直FOV的边缘处，则一些用户可能发现调节可穿戴设备以看到所有标记困难或不可能，导致用户脱离(disengagement)和/或可能未完成的校准。如果标记2100被布置以覆盖稍微小于可穿戴系统的垂直FOV，则大多数用户，如果并非所有用户，可能能够调节可穿戴系统以看到所有标记。另一方面，如果标记2100被布置以覆盖小得多的数量的垂直FOV，则用户可能能够甚至在没有适当地适配可穿戴系统的情况下看到标记2100，可以决定跳过适当的适配，并且从而可能不能够观看在垂直FOV的末端附近显示的内容。作为示例，标记2100可以被布置以覆盖标称垂直FOV的95％、标称垂直FOV的90％、标称垂直FOV的85％、或标称垂直FOV的80％。在一些实施例中，标记2100覆盖可穿戴系统的垂直FOV的95％。优选地，所覆盖的垂直FOV的数量允许可穿戴系统的用户接口的全部由用户看到。

将理解到，改变可穿戴系统的节距可能未显著地改变由用户可视的FOV的水平范围。如此，标记2100之间的水平分离可以覆盖与垂直FOV不同的水平FOV的百分比。例如，标记2100之间的水平分离可以被选择为使得水平分离不防止用户通过可能节距调节的整个范围看到标记2100。

再参考图20，在框2004处，可穿戴系统可以确定用户的眼睛的垂直位置并且还可以确定眼睛跟踪置信度水平。用户的眼睛的垂直位置可以参考图19的区域来确定。换句话说，可穿戴系统可以确定用户的眼睛相对于可穿戴系统的垂直位置并且可以确定用户的眼睛和/或其部分位于哪个区域(例如，T2、T1、M1、M2、B1、或B2)。可穿戴系统还可以确定用户的眼睛相对于可穿戴系统的z轴位置。在一些实施例中，用户的眼睛的z轴位置可以被理解为是用户的眼睛的旋转中心的z轴位置，其可以如本文所公开地确定。框2004还可以涉及确定在用户的双眼之间是否存在Y-偏移。例如，可穿戴系统可以确定用户的眼睛中的一只眼睛是否位于与用户的另一只眼睛不同的区域(T2、T1、M1、M2、B1、或B2)之一中。

继续参考框2004，眼睛跟踪置信度水平可以是眼睛跟踪数据的可靠性的指示(例如，可穿戴系统具有每只眼睛实际上在眼睛跟踪数据建议其在的区域中的什么置信度水平)。眼睛跟踪置信度水平可以基于诸如眼睛的清楚图像是否可以捕获、闪光是否可以足够地检测并且瞳孔是否可以足够地检测的因子。置信度因子的特定示例包括：

·用户是否眨眼；

·多少闪光被检测(例如，3或4个闪光的检测可以指示好的置信度，而2个闪光的检测可能减少置信度得分并且无或仅一个闪光的检测可能导致零置信度得分)；

·检测瞳孔中的困难；

·瞳孔长宽比(高长宽比可能指示不佳的瞳孔检测)；

·瞳孔是否在图像边界上(其可能引起置信度惩罚，如果瞳孔接触眼睛跟踪图像的上或下边缘)；以及

·眼睛运动因子(例如，可能存在置信度惩罚，如果眼睛中心最近移动，例如，自从最后捕获的图像移动)。

在一些实施例中，前述因子中的每个因子可以相等地加权。例如，置信度(C)可以由等式C＝1.0–F_f/10给出，其中，F_f＝标记因子的数量。针对C的较高数值指示较高置信度水平，并且针对C的较低数值指示较低置信度水平。将理解到，用于确定置信度的各种因子可以取决于用于执行眼睛跟踪的计算和方法来变化。因此，在一些实施例中，置信度确定可以使用比上文列出的因子更多或更少的因子。在一些实施例中，前述因子中的每一个(或一些)可以不相等地加权。

将理解到，眼睛跟踪置信度水平在方法2000中用来提供左和右眼的连续较低置信度水平(例如，高、低、和坏)之间的比较。在一些实施例中，置信度因子和其加权和计算可以与以上示例不同，只要左和右眼之间的高、低、或坏水平之间的相对比较可以获得。

在框2006处，可穿戴系统可以确定当前适配是否是满意的。作为示例，可穿戴系统可以确定用户的眼睛是否在图19的期望垂直范围(例如，M1或M2)之一内并且在z轴位置的期望范围内。此外，由于可用适配调节的耗尽，在框2006处可穿戴系统可以确定适配是否应当被认为是满意的。作为示例，如果先前推荐的(一个或多个)适配调节已经做出并且没有进一步的有帮助的调节可以做出，则可穿戴系统可以确定适配是可接受的，即使当用户的眼睛在期望的垂直范围和期望的Z位置之外时。

如果当前适配被确定为是不满意的，则方法可以继续框1008。在框2008处，可穿戴系统可以基于在框2004处确定的瞳孔(眼睛)位置和眼睛跟踪置信度水平向用户生成并且提供一个或多个适配调节推荐。框2008还可以涉及基于眼球中心位置，有时被称为旋转中心(CoR)位置，向用户生成并且提供一个或多个适配调节推荐。作为示例，可穿戴系统可以确定可穿戴设备坐在用户的面部上太低(例如，沿着图12A和12B的y轴)并且因此生成安装更高鼻垫的推荐。作为另一示例，可穿戴系统可以确定用户的眼睛“太接近”可穿戴设备。作为特定示例并且参考图12A和12B，可穿戴系统可以确定用户的眼睛1200沿着z轴太接近显示表面1202，并且可以因此提供包括切换到更厚前额垫的适配调节推荐。可以做出切换到更厚前额垫的推荐而不管y轴或垂直偏移。作为另一示例，可穿戴系统可以确定可穿戴设备是否坐在用户的面部上太右或左(例如，沿着图12A和12B的x轴)并且可以然后提供适当的适配调节推荐。关于图22A、22B、和22C讨论了附加的细节和示例。在框2008处在向用户提供适配调节推荐之后，方法2000可以返回框2004。在一些实施例中，在框2004处适配的多次迭代校验，并且在框2008处适配调节推荐可以被执行以实现期望的适配。

一旦在框2006处当前适配被确定为是满意的，则可穿戴系统可以在框2010处结束适配过程。作为示例，可穿戴系统可以向用户显示或以其他方式提供其已经完成适配过程的消息。

图22A、22B、和22C是用于观察设备配准和提供关于可穿戴设备中的配准的反馈的方法的细节的示例的过程流程图。图22A、22B、和22C示出了可以由本文所描述的可穿戴系统执行的方法2200的不同部分。方法2200的实施例可以由可穿戴系统用来基于来自眼睛跟踪系统的数据体提供关于配准(即，将可穿戴系统适配到用户)的反馈。

图22A、22B、和22C包括简化流程图的各种“页外参考(off-page references)”。作为示例，方法在框2208处分成两个路径，一个到页外参考1并且另一个到页外参考4。图22A上的这些参考(类似参考在图22B上出现)是对于图22C上的对应页外参考。因此，来自框2208的页外参考1应当被理解为通向图22C上的页外参考1和附接框2291。类似地，来自框2208的页外参考4应当被理解为通向图22C上的页外参考4和附接框2294。

参考图22A，在框2202处，可穿戴系统可以向用户提供初始适配指令(例如，如何使设备倾斜使得标记2100是可见的)。框2202对应于图20的框2002，并且因此框2202的附加细节关于图20的框2002描述。

在框2204处，可穿戴系统可以获得眼睛位置和眼睛跟踪置信度水平。特别地，可穿戴系统可以确定用户的眼睛中的每只眼睛的y轴和z轴位置(分别地每只眼睛的瞳孔和旋转中心)并且还可以确定与针对用户的眼睛中的每只眼睛的眼睛跟踪数据相关联的置信度水平(包括针对左眼的置信度水平和针对右眼的置信度水平)。框2204对应于图20的框2004，并且框2204的附加细节关于图20的框2004而描述。

在框2206处，方法220可以取决于眼睛跟踪置信度水平来分割。当眼睛跟踪置信度水平(1)针对双眼是坏的或者(2)针对一只眼睛是坏的并且针对另一只眼睛是低的时，方法2200可以移动到框2208。在框2208处，可穿戴系统可以确定用户是否已经使用较厚前额垫。通常，可穿戴系统可以支持具有不同厚度的多个不同前额垫的安装。在实施例中，可穿戴系统可以支持具有不同厚度的有限数量的前额垫的安装。作为特定示例，可穿戴系统可以支持两个前额垫的安装，一个是相对薄的(并且其在本文中可以被称为较薄前额垫)并且一个是相对厚的(并且其在本文中可以被称为较厚前额垫)。在具有不同厚度的三个或更多个前额垫可用的情况下，在框2208处可穿戴系统可以确定用户是否已经使用特定厚度的前额垫(例如，厚度前额垫)。在一些实施例中，可穿戴系统可以基于用户安装较厚前额垫的先前推荐来确定用户已经使用较厚前额垫。在一些实施例中，可穿戴系统可以询问用户其是否已经使用较厚前额垫。在一些实施例中，可穿戴系统可以包括检测较厚前额垫的存在的传感器。当用户已经使用较厚前额垫时，方法2200可以移动到框2294(例如，如由耦合到框2208的“YES”分支的图22A中的页外参考4和由耦合到框2294的图22C中的页外参考4所指示的)。当用户尚未使用较厚前额垫时，方法220可以移动到框2291(图22C)。

当眼睛跟踪置信度水平针对一只眼睛是低或坏的并且针对另一只眼睛是高的时，方法220可以从框2206移动到框2212。在框2212处，可穿戴系统可以基于具有高眼睛跟踪置信度得分的眼睛的眼睛位置来决定继续。特别地，方法2200可以针对图22B上所示的框使用具有高置信度得分的眼睛的位置。

当眼睛跟踪置信度水平针对双眼是高或针对双眼是低的时，方法2200可以从框2206移动到框2214。在框2214处，可穿戴系统可以确定在用户的双眼之间是否存在Y-偏移。例如，可穿戴系统可以确定是否用户的眼睛中的一只眼睛位于图19的垂直区域(例如，T1、T2、M1、M2、B1、或B2)中的给定垂直区域中，而另一只眼睛位于图19的垂直区域中的不同垂直区域中。

如果在用户的眼睛之间不存在Y-偏移，则方法2200继续到框2216。在框2216处，可穿戴系统可以基于用户的眼睛的平均位置来决定继续(例如，系统可以将用户的右眼的位置与用户的左眼的位置平均)。例如，在框2216处，方法2200可以使用用于执行图22B上所示的框的平均位置。

如果在用户的眼睛之间存在Y-偏移，则方法2200在框2218处继续。在框2218处，可穿戴系统可以确定Y-偏移是否仅是一个区域或大于一个区域。例如，系统可以确定用户的眼睛是否位于相邻垂直区域(即，仅具有一个区域偏移)或非相邻垂直区域(即，具有大于一个区域的偏移)。作为示例，如果用户的左眼位于T2中并且用户的右眼位于M1中，则用户的眼睛可以具有两个区域的Y-偏移。

如果Y-偏移大于一个区域，则方法2200在框2216处继续(其在上文中描述)。如果Y-偏移仅是一个区域，则方法2200在框2220处继续。在框2220处，可穿戴系统可以基于更多偏移眼睛的眼睛位置(例如，更远离M1或M2的期望范围的眼睛)来继续。特别地，方法2200可以针对图22B上所示的框使用针对更多偏移眼睛的位置。

在框2230(图22B)处，方法2200基于瞳孔中心的y轴位置来分割。如先前所讨论的，框2230可以使用(1)置信眼睛(如在框2212中)、(2)两只眼睛的平均(如在框2216中)、或(3)更多偏移眼睛(如在框2220中)的位置。

当相关眼睛位置在区域T2中时，方法2200在框2232处继续。在框2232处，可穿戴系统可以确定相关眼睛(例如，置信眼睛、眼睛的平均、或更多偏移眼睛)的Z位置是否超过(大于)阈值(例如，眼睛是否太远离可穿戴显示器)或者眼睛跟踪置信度水平针对双眼是否是低的。如上所述，针对方法2200的Z位置可以是相关眼睛的旋转中心的位置。如果两个条件都不存在，则方法2200在框2292处继续(如由页外参考2所指示的)。如果任何一个条件存在，则方法2200在框2234处继续。在框2234处，可穿戴系统可以确定用户是否已经使用较厚前额垫。当用户已经使用较厚前额垫时，方法2200可以移动到框2292。当用户尚未使用较厚前额垫时，方法2200可以移动到框2291。

当相关眼睛位置在区域T1中时，方法2200在框2236处继续。在框2236处，可穿戴系统可以确定相关眼睛(例如，置信眼睛、眼睛的平均、或更多偏移眼睛)的Z位置是否超过(大于)阈值(例如，眼睛是否太远离可穿戴显示器)或者眼睛跟踪置信度水平针对双眼是否是低的。如果两个条件都不存在，则方法2200在框2294处继续(如由页外参考4所指示的)。如果任何一个条件存在，则方法2200在框2238处继续。在框2238处，可穿戴系统可以确定用户是否已经使用较厚前额垫。当用户已经使用较厚前额垫时，方法2200可以移动到框2294。当用户尚未使用较厚前额垫时，方法2200可以移动到框2293。

当相关眼睛位置在区域B1中时，方法2200在框2240处继续。在框2240处，可穿戴系统可以确定相关眼睛(例如，置信眼睛、眼睛的平均、或更多偏移眼睛)的Z位置是否超过阈值(例如，眼睛是否太远离可穿戴显示器)或者眼睛跟踪置信度水平针对双眼是否是低的。如果两个条件都不存在，则方法2200在框2296处继续(如由页外参考6所指示的)。如果任何一个条件存在，则方法2200在框2242处继续。在框2242处，可穿戴系统可以确定用户是否已经使用较厚前额垫。当用户已经使用较厚前额垫时，方法2200可以移动到框2296。当用户尚未使用较厚前额垫时，方法2200可以移动到框2295。

当相关眼睛位置在区域B2中时，方法2200在框2244处继续。在框2244处，可穿戴系统可以确定相关眼睛(例如，置信眼睛、眼睛的平均、或更多偏移眼睛)的Z位置是否超过阈值(例如，眼睛是否太远离可穿戴显示器)或者眼睛跟踪置信度水平针对双眼是否是低的。如果两个条件都不存在，则方法2200在框2298处继续(如由页外参考8所指示的)。如果任何一个条件存在，则方法2200在框2246处继续。在框2246处，可穿戴系统可以确定用户是否已经使用较厚前额垫。当用户已经使用较厚前额垫时，方法2200可以移动到框2298。当用户尚未使用较厚前额垫时，方法2200可以移动到框2297。

当相关眼睛位置在区域M1或区域M2中时，方法2200可以在框2250处继续。在框2250处，可穿戴系统可以确定相关眼睛(例如，置信眼睛、眼睛的平均、或更多偏移眼睛)的Z位置是否超过阈值(例如，眼睛是否太远离可穿戴显示器)或者眼睛跟踪置信度水平针对双眼是否是低的。如果两个条件都不存在，则方法2200在框2252处继续。如果任何一个条件存在，则方法2200在框2254处继续。在框2254处，可穿戴系统可以确定用户是否已经使用较厚前额垫。当用户已经使用较厚前额垫时，方法2200可以移动到框2252。当用户尚未使用较厚前额垫时，方法2200可以移动到框2293。

在框2252处，方法2200可以完成(例如，可以结束适配过程)。如果期望的话，可穿戴系统可以向用户提供指示适配过程已经完成的反馈。可选地，可穿戴系统可以向用户提供适配质量的指示(例如，适配过程在实现适当适配或改进适配时多么成功的指示)。

在框2291-2298中的每一个处，可穿戴系统可以向用户提供改进将可穿戴系统适配或在用户上的定位的推荐。推荐可以基于所测量的眼睛位置(例如，如关于图19所讨论的用户的眼睛的垂直位置)。在图21A-21C的示例中，推荐包括用较厚前额垫替换前额垫，用高或短一个或两个尺寸的鼻垫替换鼻垫。较高鼻垫可以通常相对于用户的眼睛升高显示器(例如，沿着y轴)，而且可以改变用户的眼睛的z轴位置。较厚前额垫可以通常移动显示器远离用户的眼睛(例如，沿着z轴)，而且可以改变用户的眼睛的y轴位置。在一些实施例中，存在两个前额垫，包括较厚前额垫和标准前额垫(其可以仅是较厚前额垫的缺少)。在一些实施例中，可以存在具有不同厚度的各种前额垫。这些仅是说明性示例并且可以取决于附加适配件和适配调节机构的可用性来变化。上文关于图15A和15B可以找到可交换适配件的附加讨论。

如上所述，图22C基于显示器与期望位置的特定偏离来提供特定推荐的集合。上文已经描述并且下文也列出这些推荐的不同推荐。

在框2291处，可穿戴系统向用户推荐以安装较厚前额垫和高两个尺寸的鼻垫。

在框2292处，可穿戴系统向用户推荐以安装高两个尺寸的鼻垫。

在框2293处，可穿戴系统向用户推荐以安装较厚前额垫和高一个尺寸的鼻垫。

在框2294处，可穿戴系统向用户推荐以安装高一个尺寸的鼻垫。

在框2295处，可穿戴系统向用户推荐以安装较厚前额垫。

在框2296处，可穿戴系统向用户推荐以安装短一个尺寸的鼻垫。

在框2297处，可穿戴系统向用户推荐以安装较厚前额垫和短一个尺寸的鼻垫。

在框2298处，可穿戴系统向用户推荐以安装短两个尺寸的鼻垫。

在框2291-2298中的任一个之后，方法2200可以返回框2204(如由图22A和22C上的页外参考0所指示的)。特别地并且在向用户提供适配调节推荐(作为框2291-2298之一的一部分)并且允许用户安装新适配件之后，方法2200可以确定新眼睛位置和眼睛跟踪置信度水平。方法2200可以继续推荐附加适配调节推荐直到某个结束条件满足。作为示例，方法2200可以继续直到适当的适配实现，用户离开适配过程，或者系统已经重复过程这样的次数：使得适配中的附加改进不可能的足够次数。作为示例，方法2200可以持续最多3次迭代、最多4次迭代、或最多5次迭代。如果期望的话，方法2200可以在迭代中的一个或多个期间返回框2202而不是框2204(例如，以便提醒用户如何适当地将可穿戴系统放到其头部上)。

检测周围环境中的对象的计算机视觉

如上所讨论的，显示系统可被配置为检测用户周围的环境中的对象或特性。如本文所讨论的，可使用包括各种环境传感器(例如，相机、音频传感器、温度传感器等)的各种技术来完成检测。

在一些实施例中，可使用计算机视觉技术来检测环境中存在的对象。例如，如本文所公开的，显示系统的面向前的相机可被配置为对周围环境成像，并且显示系统可被配置为对图像执行图像分析以确定对象在周围环境中的存在。显示系统可分析由面向外部的成像系统获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学习、索引、运动估计、或图像恢复等。作为其他示例，该显示系统可被配置为执行面部和/或眼睛识别以确定在用户的视场中面部和/或人眼的存在和位置。可使用一种或多种计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变可扩展关按键点(BRISK)、快速视网膜关按键点(FREAK)、Viola-Jones算法、Eigenfaces方法、Lucas-Kanade算法、Horn-Schunk算法、均值漂移(Mean-shift)算法、视觉同时定位和地图构建(vSLAM)技术、顺序贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差(bundleadjustment)、自适应阈值(和其他阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(例如，支持矢量机、k最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)、或其他有监督/无监督模型等)，等等。

这些计算机视觉技术中的一个或多个也可与从其他环境传感器(例如，麦克风)获取的数据一起使用，以检测和确定由传感器检测到的对象的各种特性。

如本文中所讨论的，可基于一个或多个标准来检测周围环境中的对象。当显示系统使用计算机视觉算法或使用从一个或多个传感器组件(其可以是或可不是显示系统的一部分)接收到的数据检测到周围环境中存在或缺乏标准时，显示系统可随后发信号通知对象的存在。

机器学习

各种机器学习算法可用于学习标识周围环境中对象的存在。一旦训练后，机器学习算法可由显示系统存储。机器学习算法的一些示例可包括：有监督或无监督的机器学习算法、包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习矢量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k-均值聚类)、关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知器)、深度学习算法(例如，深度玻尔兹曼机、或深度神经网络)、降维算法(例如，主要成分分析)、整体算法(例如，堆叠泛化)和/或其他机器学习算法。在一些实施例中，可以为各个数据集定制各个模型。例如，可穿戴设备可以生成或存储基本模型。基本模型可以用作起点以生成特定于数据类型(例如，特定用户)、数据集(例如，获得的附加图像的集合)、有条件情况或其他变化的附加模型。在一些实施例中，显示系统可被配置为利用多种技术来生成用于分析聚合数据的模型。其他技术可以包括使用预定义的阈值或数据值。

用于检测对象的标准可包括一个或多个阈值条件。如果对由环境传感器获取的数据的分析指示通过了阈值条件，则显示系统可提供指示检测到周围环境中对象存在的信号。阈值条件可涉及定量和/或定性测量。例如，阈值条件可包括与反射和/或对象存在于环境中的可能性相关联的分数或百分比。显示系统可将根据环境传感器的数据计算出的分数与阈值分数进行比较。如果分数高于阈值水平，则显示系统可检测到反射和/或对象的存在。在一些其他实施例中，如果分数低于阈值，则显示系统可发信号通知环境中对象的存在。在一些实施例中，阈值条件可基于用户的情绪状态和/或用户与周围环境的交互来确定。

在一些实施例中，阈值条件、机器学习算法、或计算机视觉算法可专用于特定环境。例如，在诊断环境中，计算机视觉算法可专用于检测对刺激的某些响应。作为另一个示例，如本文所讨论的，显示系统可执行面部识别算法和/或事件跟踪算法以感测用户对刺激的反应。

将理解到，本文描述和/或附图中描绘的每个过程、方法和算法可以体现在由一个或多个被配置为执行专门的和特定的计算机指令的物理计算系统、硬件计算机处理器、专用电路和/或电子硬件中以及全部或部分地由其自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如服务器)或专用计算机、专用电路等。代码模块可被编译并链接到可执行程序中、安装在动态链接库中，或者可以用解释性编程语言来编写。在一些实施例中，特定的操作和方法可以由特定于给定功能的电路执行。

进一步地，本公开的功能的某些实施例在数学上、计算上或技术上都足够复杂，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及计算的量或复杂性，或为了实质上实时地提供结果。例如，视频可以包括许多帧，每个帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据，以在商业上合理的时间量内提供所需的图像处理任务或应用。

代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，例如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储设备、它们和/或类似存储器的组合等。在一些实施例中，非暂时性计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(150)和远程数据存储库(160)中的一个或多个的一部分。方法和模块(或数据)还可以作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)在各种计算机可读传输介质(包括基于无线的和基于有线的/电缆的介质)上发送，并且可以采用多种形式(例如作为单个或多路复用模拟信号的一部分，或作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以永久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质进行传递。

本文描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应被理解为潜在地表示代码模块、代码段或代码部分，其包括用于在流程中实现特定功能(例如逻辑或算术)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以组合、重新布置、添加到本文提供的说明性示例、从本文提供的说明性示例中删除、修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的一些或全部功能。本文描述的方法和过程也不限于任何特定的顺序，并且与之相关的框、步骤或状态可以以适当的其他顺序(例如串行、并行或以某些其他方式)来执行。可以将任务或事件添加到所公开的示例实施例中或从中删除。此外，本文描述的实施例中的各种系统组件的分离是出于说明的目的，并且不应被理解为在所有实施例中都需要这种分离。应当理解，所描述的程序组件、方法和系统通常可以被集成在一起在单个计算机产品中或包装到多个计算机产品中。

其他考虑

本文描述和/或附图中描绘的每个过程、方法和算法可以体现在由一个或多个被配置为执行专门的和特定的计算机指令的物理计算系统、硬件计算机处理器、专用电路和/或电子硬件中以及全部或部分地由其自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如服务器)或专用计算机、专用电路等。代码模块可被编译并链接到可执行程序中、安装在动态链接库中，或者可以用解释性编程语言来编写。在一些实现中，特定的操作和方法可以由特定于给定功能的电路执行。

进一步地，本公开的功能的某些实现在数学上、计算上或技术上都足够复杂，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及计算的量或复杂性，或为了实质上实时地提供结果。例如，动画或视频可以包括许多帧，每个帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据，以在商业上合理的时间量内提供所需的图像处理任务或应用。

代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，例如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储设备、它们和/或类似存储器的组合等。方法和模块(或数据)也可以作为生成的数据信号(例如作为载波或其他模拟或数字传播信号的一部分)在包括基于无线的和基于有线/电缆的介质的各种计算机可读传输介质上进行发送，并且可以采用多种形式(例如作为单个或多路复用模拟信号的一部分，或作为多个离散数字分组或帧)。所公开的过程或过程步骤或动作的结果可以永久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质进行传递。

本文描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应被理解为潜在地表示代码模块、代码段或代码部分，其包括用于在流程中实现特定功能(例如逻辑或算术)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以组合、重新布置、添加到本文提供的说明性示例、从本文提供的说明性示例中删除、修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的一些或全部功能。本文描述的方法和过程也不限于任何特定的顺序，并且与之相关的框、步骤或状态可以以适当的其他顺序(例如串行、并行或以某些其他方式)来执行。可以将任务或事件添加到所公开的示例实施例中或从中删除。此外，本文描述的实现中的各种系统组件的分离是出于说明的目的，并且不应被理解为在所有实现中都需要这种分离。应当理解，所描述的程序组件、方法和系统通常可以被集成在一起在单个计算机产品中或包装到多个计算机产品中。许多实现变型是可能的。

可以在网络(或分布式)计算环境中实现过程、方法和系统。网络环境包括企业范围的计算机网络、企业内网、局域网(LAN)、广域网(WAN)、个人区域网(PAN)、云计算网络、众包计算网络、互联网和万维网。该网络可以是有线或无线网络或任何其他类型的通信网络。

本公开的系统和方法各自具有数个创新方面，其中没有单独一个仅负责或者要求本文所公开的期望的属性。上述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合旨在落入本公开的范围内。对于本公开中所描述的实施方式的各种修改可以对于本领域的技术人员是容易明显的，并且本文中定义的一般原理可以适用于其他实施方式而不脱离本公开的精神或范围。因此，权利要求不旨在限于本文中所示的实施方式，而是将符合与本文所公开的本公开、原理和新颖特征一致的最宽范围。

在本说明书中在单独的实现的上下文中描述的某些特征也可以在单个实现中组合实现。相反，在单个实现的上下文中描述的各种特征也可以分别在多个实现中或以任何合适的子组合来实现。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此宣称，但是在某些情况下可以从组合中切除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变体。对于每个实施例，没有单个特征或一组特征是必要的或必不可少的。

除非另外特别说明，否则本文所使用或者如使用的上下文内以其他方式理解的条件语言(诸如尤其“可以(can)”、“可以(could)”、“可以(might)”、“可以(may)”、“例如(e.g.)”等)通常旨在表达某些实施例包括而其他实施例不包括某些特征、元件和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或没有作者输入或提示的情况下决定这些特征、元素和/或步骤是否在任何特定实施例中被包括或将被执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，以开放式方式包含地使用，并且不排除附加要素、特征、动作、操作等。而且，术语“或”以其包含的含义使用(而不是以其排他的含义使用)，因此例如在用于连接元素列表时，术语“或”表示列表中的一个、一些或全部元素。另外，除非另外指出，否则如在本申请中和随附的权利要求中使用的冠词“一(a)”、“一(an)”和“该(the)”将被理解为意指“一个或多个”或者“至少一个”。

如本文所使用的，涉及项目列表中的“至少一个”的短语是指这些项的任意组合，包括单个成员。例如，“A、B或C中的至少一者”旨在涵盖：A、B、C、A和B、A和C、B和C，以及A、B和C。除非另外特别说明，否则诸如短语“X、Y和Z中的至少一者”之类的连接语言另外通过通常使用的上下文进行理解，以表达项、术语等可以是X、Y或Z中的至少一者。因此，这种连接语言通常不旨在暗示某些实施例需要X中的至少一个、Y中的至少一个和Z中的至少一个各自存在。

类似地，尽管可以以特定顺序在附图中描绘操作，但是要认识到，不需要以所示的特定顺序或相继顺序来执行这样的操作，或者不需要执行所有示出的操作来实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未描绘的其他操作可以包含在示意性地图示的示例方法和过程中。例如，一个或多个附加操作可以在任何所示出的操作之前、之后、同时或者之间执行。此外，在其他实施方式中，操作可以重新布置或者重新排列。在某些情况下，多任务和并行处理可以是有利的。此外，在上述实现中的各种系统组件的分离不应被理解为在所有实现中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或打包到多个软件产品中。此外，其它实施方式在以下权利要求的范围内。在一些情况下，权利要求中所记载的动作可以以不同的次序执行并且仍然实现期望的结果。

Claims (20)

1.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统，所述显示系统包括：

框架，其被配置为支撑在所述用户的头部上；

头戴式显示器，其设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中以利用不同的波前发散量显示虚拟图像内容以呈现看起来位于不同时间段处的不同深度的虚拟图像内容；

一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及

处理电子器件，其与所述头戴式显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子器件被配置为：

通过确定所述眼睛的成像特征是否在相对于所述头戴式显示器的垂直位置的预定范围内，来确定所述头戴式显示器是否适当地配准到所述用户的眼睛；并且

如果所述头戴式显示器未适当地调节以适配所述用户，则向所述用户提供反馈。

2.根据权利要求1所述的显示系统，其中，所述一个或多个眼睛跟踪相机被配置为对所述用户的左眼和所述用户的右眼进行成像，

其中，所述处理电子器件还被配置为确定指示所述用户的左眼的位置的置信度水平的左眼跟踪置信度得分并且确定指示所述用户的右眼的位置的置信度水平的右眼跟踪置信度得分，以及

其中，当所述置信度得分中的一个大于另一个时，所述处理电子器件还被配置为基于与所述较大置信度得分相关联的所述用户的左眼或右眼来确定所述头戴式显示器是否适当地配准。

3.根据权利要求1所述的显示系统，其中，所述一个或多个眼睛跟踪相机被配置为对所述用户的左眼和所述用户的右眼进行成像，以及

其中，当所述用户的左眼和右眼仅彼此垂直偏移小于第一预定阈值时，所述处理电子器件还被配置为基于距期望垂直位置最远的所述用户的左眼和右眼的位置来确定所述头戴式显示器是否适当地配准。

4.根据权利要求3所述的显示系统，其中，当所述用户的左眼和右眼彼此垂直偏移小于第二预定阈值时，所述第二预定阈值小于所述第一预定阈值，所述处理电子器件还被配置为基于所述用户的左眼和右眼的平均位置来确定所述头戴式显示器是否适当地配准。

5.根据权利要求4所述的显示系统，其中，当所述用户的左眼和右眼彼此垂直偏移超过所述第一预定阈值时，所述处理电子器件还被配置为基于所述用户的左眼和右眼的平均位置来确定所述头戴式显示器是否适当地配准。

6.根据权利要求1所述的显示系统，还包括：至少一个可交换适配件，其可移除地安装到所述框架并且被配置为调节所述框架的适配。

7.根据权利要求6所述的显示系统，其中，所述可交换适配件包括可交换鼻梁，其被配置为调节所述框架与所述用户的鼻梁之间的框架的适配。

8.根据权利要求6所述的显示系统，其中，所述可交换适配件包括可交换前额垫，其被配置为调节所述框架与所述用户的前额之间的框架的适配。

9.根据任何权利要求6所述的显示系统，其中，所述可交换适配件包括可交换后垫，其被配置为调节所述框架与所述用户的头部的后面之间的框架的适配。

10.根据任何权利要求1所述的显示系统，其中，所述处理电子器件还被配置为使得向所述用户提供所述头戴式显示器未适当地调节以适配所述用户的反馈包括：向所述用户提供建议以针对另一可交换适配件换出当前安装的可交换适配件。

11.一种用于评价由用户的眼睛对来自头戴式显示器系统的虚拟图像内容的配准的方法，所述方法包括：

对所述眼睛进行成像；

确定所述眼睛的成像特征是否在相对于头戴式显示器的垂直位置的预定范围内；以及

基于所述成像特征的确定位置来提供通知，其中，所述通知至少指示所述头戴式显示器和所述眼睛未适当地配准。

12.根据权利要求11所述的方法，其中，确定所述眼睛的成像特征是否在垂直位置的预定范围内包括确定所述眼睛的闪光的位置。

13.根据权利要求12所述的方法，还包括：基于所述眼睛的所述闪光来确定所述眼睛的瞳孔的位置。

14.根据权利要求11所述的方法，其中，所述头戴式显示器系统被配置为将光投射到所述眼睛中以在所述用户的所述视场中显示虚拟图像内容，并且其中，提供所述通知包括显示所述通知作为虚拟图像内容。

15.根据权利要求11所述的方法，还包括：随时间自动跟踪所述眼睛的瞳孔，以及当所述眼睛的旋转中心移动到垂直位置的所述预定范围外部时通知所述用户。

16.根据权利要求11所述的方法，还包括：当所述眼睛的位置在显示配准体积外部时，从所述头戴式显示器系统的第一视场改变为所述头戴式显示器系统的第二视场，

其中，所述头戴式显示器系统包括：至少一个显示器，当所述眼睛的所述位置在所述显示配准体积内部时，其具有所述第一视场，其中，当所述眼睛的所述位置在所述显示配准体积外部时，所述至少一个显示器具有所述第二视场，并且其中，所述第二视场小于所述第一视场。

17.根据权利要求11所述的方法，其中，所述头戴式显示器系统包括至少一个可交换适配件，其中，提供所述通知包括指示所述可穿戴系统未适当地适配到所述用户并且建议或者指令所述用户利用可替代可交换适配件替换当前安装的可交换适配件。

18.根据权利要求17所述的方法，其中，所述至少一个可交换适配件包括选自包括以下各项的组的至少一个适配件：鼻梁垫、前额垫、和在所述可穿戴系统与用户的头部的后面的后垫。

19.根据权利要求18所述的方法，其中，所述至少一个可交换适配件包括至少一个可交换鼻梁垫，并且还包括确定所述头戴式显示器相对于所述眼睛太低，并且其中，向所述用户提供所述通知还包括提示所述用户安装更大的鼻梁垫。

20.根据要求要求11所述的方法，还包括：

标识所述用户被期望感知为变暗的所述头戴式显示器系统的显示器的多个像素作为在显示配准体积外部的所述眼睛的第一位置的结果；以及

提升所述显示器的所述多个像素相对于所述显示器中的其他像素的亮度以减轻所述期望变暗。

Images