CN117724240A - 具有面内照明的眼睛追踪系统 - Google Patents

Abstract

本文描述了一种具有光学组件面内照明的眼睛追踪系统。使用与近眼显示设备的光学组件的平面对准的侧面发射发光二极管(LED)来照射用户的眼睛并且产生可以由眼睛追踪摄像头检测到的闪烁。当光学组件中包括可能使来自发光二极管(LED)的照明光束扭曲的校正光学透镜或类似元件时，通过使用提供倾斜光束的封装件内或外部修改的发光二极管(LED)来缓解扭曲。除了诸如反射器或标签等封装件内级别缓解之外，扭曲的光学元件的边缘部分可以成形或用折射元件来补偿为朝向眼睛重新引导光束。

Description

具有面内照明的眼睛追踪系统

相关申请的交叉引用

本专利申请要求于2022年9月16日提交的、申请号为63/407,587、名称为“EyeTracking System with In-Plane Illumination(具有面内照明的眼睛追踪系统)”的美国临时专利申请以及于2023年6月27日提交的、申请号为18/342,277的美国专利申请的优先权。

技术领域

本专利申请总体上涉及近眼显示设备中的眼睛追踪，尤其涉及在光学组件平面中投射照明以实现眼睛追踪功能的发光二极管(Light Emitting Diode，LED)的配置。

背景技术

近年来，随着技术的进步，内容创建和内容输送的普遍性和扩散性大大增加。特别是，交互式内容，例如，虚拟现实(Virtual Reality，VR)内容、增强现实(AugmentedReality，AR)内容、混合现实(Mixed Reality，MR)内容、以及真实环境和/或虚拟环境(例如，虚拟实境(metaverse))中的内容和与其相关联的内容，对消费者具有很大的吸引力。

为了便于输送这些内容和其他相关内容，服务提供商努力提供各种形式的可穿戴显示系统。其中一个示例可以是头戴式显示器(Head-Mounted Display，HMD)设备，例如，可穿戴眼镜、可穿戴头戴式设备(headset)或眼镜。在一些示例中，头戴式显示器(HMD)设备可以投射或引导光以便于可以在如虚拟现实(VR)应用、增强现实(AR)应用或混合现实(MR)应用中显示虚拟对象，或将真实对象的图像与虚拟对象进行组合。例如，在AR系统中，用户可以观看虚拟对象的图像(例如，计算机生成的图像(Computer-Generated Image，CGI)和周围环境这二者。头戴式显示器(HMD)设备还可以呈现交互式内容，其中，用户(佩戴者)的注视(gaze)可以用作交互式内容的输入。

发明内容

本公开提供一种眼睛追踪系统，该眼睛追踪系统包括：多个照明器，该多个照明器用于在眼睛的表面上产生闪烁，其中，该多个照明器沿着包括用于近眼显示设备的光学组件的框架定位，并且该多个照明器的照明与光学组件的平面对准；眼睛追踪摄像头，该眼睛追踪摄像头用于采集眼睛的具有该闪烁的图像；以及处理器，该处理器与该多个照明器和该眼睛追踪摄像头通信耦合，该处理器用于基于所采集的所述眼睛的具有该闪烁的所述图像来确定眼睛的该表面的三维特征，以确定眼睛的位置和注视。

本公开还提供一种近眼显示设备，该近眼显示设备包括：光学组件，该光学组件包括用于向眼睛投射人工现实内容的波导显示器；眼睛追踪系统，该眼睛追踪系统包括多个照明器和眼睛追踪摄像头，该多个照明器用于在眼睛的表面上产生闪烁，其中，该多个照明器沿着包括光学组件的框架定位，并且该多个照明器的照明与光学组件的平面对准；该眼睛追踪摄像头用于采集眼睛的该表面上的该闪烁；以及处理器，该处理器与该多个照明器和该眼睛追踪摄像头通信耦合，该处理器用于基于所采集的该闪烁来确定眼睛的该表面的三维特征，以确定眼睛的位置和注视。

本公开还提供一种方法，该方法包括：通过沿着包括用于近眼显示设备的光学组件的框架定位的多个照明器来照射眼睛，其中，该多个照明器的照明与光学组件的平面对准；通过眼睛追踪摄像头采集眼睛的具有由该照明产生的闪烁的图像；通过与该多个照明器和该眼睛追踪摄像头通信耦合的处理器基于所采集的眼睛的具有该闪烁的图像，来确定眼睛的表面的三维特征；以及基于所确定的三维特征，来确定眼睛的位置和注视。

附图说明

本公开的特征以示例的方式示出，且不限于以下附图，在附图中，相同的数字表示相同的元件。本领域技术人员很容易从下文中认识到，在不脱离本文描述的原理的情况下，可以采用图中所示的结构和方法的替代示例。

图1示出了根据示例的包括近眼显示器的人工现实系统环境的框图。

图2示出了根据示例的呈头戴式显示器(HMD)设备形式的近眼显示器的立体图。

图3A和图3B示出了根据示例的呈一副眼镜形式的近眼显示器的立体图和俯视图。

图4示出了根据示例的简化的透镜周边照明眼睛追踪系统。

图5A示出了根据示例的透镜周边照明眼睛追踪系统中的可能会导致双重闪烁的波导显示器的反射。

图5B示出了根据示例的缓解透镜周边照明眼睛追踪系统中波导显示器的反射。

图6A示出了根据示例的透镜周边照明眼睛追踪系统中由校正透镜引起的光束散射。

图6B示出了根据示例的透镜周边照明眼睛追踪系统中校正透镜的棱镜表示。

图6C示出了根据示例的透镜周边照明眼睛追踪系统的代表性辐照度图，该图示出了由于校正透镜造成的可能会导致双重闪烁的照明损失。

图7示出了根据示例的透镜周边照明眼睛追踪系统中用于光束整形的侧面发射发光二极管(side-emitting LED)或顶部发射发光二极管(top-emitting LED)的各种实施方式。

图8A至图8E示出了根据示例的在眼睛追踪系统中缓解校正光学透镜对发光二极管(LED)光束的扭曲的各种实施方式。

具体实施方式

出于简化和说明性目的，本申请主要通过本申请的示例进行描述。在以下描述中，阐述了许多具体细节，以便提供对本申请的透彻理解。然而，将显而易见的是，本申请可以在不限于这些具体细节的情况下实施。在其他情况下，没有对本领域普通技术人员容易理解的一些方法和结构进行详细描述，以免不必要地模糊本申请。如本文所使用的，术语“一(a)”或“一个(an)”意在表示多个特定元件中的至少一个特定元件，术语“包括(include)”表示包括但不限于，术语“包含(including)”表示包括但不限于，以及术语“基于(basedon)”表示至少部分地基于。

在头戴式显示器(HMD)设备中追踪眼睛的位置和取向以及注视方向可以解锁显示和渲染架构，这可以大幅减轻渲染三维(three-dimensional，3D)环境的能力和计算要求。此外，通过眼睛追踪进行注视预测和意图推断，可以在用户与虚拟环境的交互过程中实现直观和沉浸式用户体验，从而满足用户需求。

眼睛追踪可以经由多种技术来实现。一种技术是条纹投影(fringe projection)，条纹投影是将周期性的图案投射到眼睛上，并且利用反射的图案来确定3D特征。条纹图案是周期性图案。当图案的相位被限制在特定的间隔内时，该条纹图案的相位被称为包裹相位。否则，该相位称为未包裹相位。使用相位而不是强度来建立投影仪与摄像头之间的对应关系，可以在后台不使用复杂算法的情况下实现精确检测。

在本公开的一些示例中，描述了具有光学组件面内照明的眼睛追踪系统。与近眼显示设备的光学组件的平面对准的侧面发射发光二极管(LED)可以用于照射用户的眼睛，并且产生可以由眼睛追踪摄像头检测到的闪烁。当光学组件中包括校正光学透镜或类似元件时，可能会使来自发光二极管(LED)的照明光束扭曲，可以通过使用封装件内或外部修改的LED来缓解该扭曲，这些LED提供倾斜光束(而不是与光学组件平面对准的光束)。除了诸如反射器或标签等封装件内级别的缓解之外，扭曲光学元件(例如，校正光学透镜)的边缘部分可以成形为将光束重新引向眼睛或者用折射元件进行补偿，以将光束重新引向眼睛。

虽然本公开的一些优点和益处是显而易见的，但是其他优点和益处可以包括降低眼睛追踪系统的复杂性和/或功耗。通过提高照明效率和校正光学透镜的适应性来提高眼睛追踪精度可以是额外的优点。

图1示出了根据示例的包括近眼显示器的人工现实系统环境100的框图。如本文所使用的，“近眼显示器”可以指可能非常接近用户眼睛的设备(例如，光学设备)。如本文所使用的，“人工现实”可以指“虚拟实境”、或真实和虚拟元素的环境等各方面，并且可以包括使用与虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)相关联的技术。如本文所使用的，“用户”可以指“近眼显示器”的用户或佩戴者。

如图1所示，人工现实系统环境100可以包括近眼显示器120、可选的外部的成像设备150和可选的输入/输出接口140，该近眼显示器、该可选的外部的成像设备和该可选的输入/输出接口中的每者可以耦接到控制台110。在一些情况下，控制台110可以是可选的，因为控制台110的功能可以集成到近眼显示器120中。在一些示例中，近眼显示器120可以是向用户呈现内容的头戴式显示器(HMD)。

在一些情况下，对于近眼显示系统而言，通常可能期望扩展适眼区(eye box)、减少显示雾度、改善图像质量(例如，分辨率和对比度)、减小物理尺寸、提高功率效率并且增加或扩展视场(Field of View，FOV)。如本文所使用的，“视场(FOV)”可以指如用户所看到的图像的角度范围，该角度范围通常是以单眼(对于单目头戴式显示器(HMD))或双眼(对于双目头戴式显示器(HMD))观察到的度数(degree)来测量的。此外，如本文所使用的，“适眼区”可以是可以定位在用户眼睛前方的二维框(two-dimensional box)，从该二维框可以查看来自图像源的显示图像。

在一些示例中，在近眼显示系统中，来自周围环境的光可以穿过波导显示器(例如，透明衬底)的“透视”区域，以到达用户的眼睛。例如，在近眼显示系统中，投射图像的光可以耦入波导的透明衬底中、在波导内传播、以及在一个或多个位置处从波导耦出或引出，以复制出射光瞳并且扩展适眼区。

在一些示例中，近眼显示器120可以包括一个或多个刚性本体，这些刚性本体可以彼此刚性地或非刚性地耦接。在一些示例中，多个刚性本体之间的刚性耦接可以使耦接后的刚性本体充当单个刚性实体，而在其他示例中，多个刚性本体之间的非刚性耦接可以允许这些刚性本体相对于彼此移动。

在一些示例中，近眼显示器120可以以任何合适的形状要素(包括头戴式显示器(HMD)、一副眼镜或其他类似的可佩戴眼镜或设备)来实施。下文关于图2以及图3A和图3B进一步描述近眼显示器120的示例。此外，在一些示例中，本文所描述的功能可以用于将近眼显示器120外部环境的图像和人工现实内容(例如，计算机生成的图像)进行组合的头戴式显示器(HMD)或头戴式设备中。因此，在一些示例中，近眼显示器120可以用生成的和/或叠加的数字内容(例如，图像、视频、声音等)来增强近眼显示器120外部的物理真实世界环境的图像，以向用户呈现增强现实。

在一些示例中，近眼显示器120可以包括任意数量的显示电子器件122、显示光学器件124和眼睛追踪单元130。在一些示例中，近眼显示器120还可以包括一个或多个定位器126、一个或多个位置传感器128、以及惯性测量单元(Inertial Measurement Unit，IMU)132。在一些示例中，近眼显示器120可以省略眼睛追踪单元130、该一个或多个定位器126、该一个或多个位置传感器128和IMU 132中的任何一者，或者可以包括附加元件。

在一些示例中，显示电子器件122可以根据接收到的来自例如可选的控制台110的数据，向用户显示图像或促进向用户显示图像。在一些示例中，显示电子器件122可以包括一个或多个显示面板。在一些示例中，显示电子器件122可以包括发射诸如红色、绿色、蓝色、白色或黄色等主导颜色的光的任意数量的像素。在一些示例中，显示电子器件122可以例如使用由二维面板产生的立体效果来显示三维(3D)图像，以创建对图像深度的主观感知。

在一些示例中，近眼显示器120可以包括投影仪(未示出)，该投影仪可以形成角域中的图像，以供观看者的眼睛通过瞳孔直接观察。投影仪可以采用可控光源(例如，激光源)和微机电系统(Micro-electromechanical System，MEMS)光束扫描器，以从例如准直光束产生光场。在一些示例中，可以使用相同的投影仪或不同的投影仪来将条纹图案投射到眼睛上，该条纹图案可以由摄像头(例如，由眼睛追踪单元130)采集并且分析，以确定眼睛(瞳孔)的位置、注视等。

在一些示例中，显示光学器件124可以光学地(例如，使用光波导和/或耦合器)显示图像内容或放大接收到的来自显示电子器件122的图像光、校正与该图像光相关联的光学误差、和/或向近眼显示器120的用户呈现校正后的图像光。在一些示例中，显示光学器件124可以包括单个光学元件或各种光学元件的任意数量的组合以及机械耦接，机械耦接用于保持该组合中光学元件的相对间距和取向。在一些示例中，显示光学器件124中的一个或多个光学元件可以具有光学涂层，例如抗反射涂层、反射涂层、过滤涂层、和/或不同光学涂层的组合。

在一些示例中，显示光学器件124还可以被设计为校正一种或多种类型的光学误差，例如二维光学误差、三维光学误差或它们的任意组合。二维误差的示例可以包括桶形失真、枕形失真、纵向色差和横向色差。三维误差的示例可以包括球面像差、色差场曲和像散。

在一些示例中，一个或多个定位器126可以是位于近眼显示器120上相对于彼此并且相对于参考点的特定位置的对象。在一些示例中，可选的控制台110可以识别由可选的外部成像设备150采集的图像中的一个或多个定位器126，以确定人工现实头戴式设备的位置、取向或这两者。一个或多个定位器126可以各自是发光二极管(LED)、角立方反射器、反射性标记、一种与近眼显示器120运行的环境形成对比的光源、或它们的任意组合。

在一些示例中，外部的成像设备150可以包括一个或多个摄像头、一个或多个摄像机、能够采集包括一个或多个定位器126的图像的任何其它设备、或者它们的任意组合。可选的外部的成像设备150可以被配置为检测从可选的外部的成像设备150的视场中的一个或多个定位器126发射或反射的光。

在一些示例中，一个或多个位置传感器128可以响应于近眼显示器120的运动而生成一个或多个测量信号。一个或多个位置传感器128的示例可以包括任意数量的加速度计、陀螺仪、磁力计、和/或其它运动检测传感器或误差校正传感器、或它们的任意组合。

在一些示例中，惯性测量单元(IMU)132可以是基于接收到的来自一个或多个位置传感器128的测量信号来生成快速校准数据的电子设备。一个或多个位置传感器128可以位于惯性测量单元(IMU)132的外部、惯性测量单元(IMU)132的内部、或它们的任意组合。基于来自一个或多个位置传感器128的一个或多个测量信号，惯性测量单元(IMU)132可以生成快速校准数据，该快速校准数据表示近眼显示器120的相对于近眼显示器120的初始位置的估计位置。例如，惯性测量单元(IMU)132可以随时间对接收到的来自加速度计的测量信号进行积分来估计速度向量，并且随时间对速度向量进行积分来确定近眼显示器120上的参考点的估计位置。替代地，惯性测量单元(IMU)132可以向可选的控制台110提供采样的测量信号，该采样的测量信号可以确定快速校准数据。

眼睛追踪单元130可以包括一个或多个眼睛追踪系统。如本文所使用的，“眼睛追踪”可以指确定眼睛的位置或相对位置，包括用户眼睛的取向、位置和/或注视。在一些示例中，眼睛追踪系统可以包括对一只眼睛或双眼进行成像的成像系统，并且眼睛追踪系统可以可选地包括发光器，该发光器可以生成光(例如，条纹图案)，该光被引导至眼睛，使得由眼睛反射的光可以被成像系统(例如，摄像头)采集。在另一些示例中，眼睛追踪单元130可以采集由微型雷达单元发射的反射性无线电波。这些与眼睛相关的数据可以用来确定或预测眼睛的位置、取向、活动、位置和/或注视。除了使用条纹图案反射之外，眼睛追踪单元130还可以使用一个或多个照明器，来将光(例如，红外光或近红外光)投射到眼睛上并且检测闪烁，这可以用于检测眼睛表面和确定注视。

在一些示例中，近眼显示器120可以使用眼睛的取向来引入深度暗示(depth cue)(例如，模糊用户的主视线之外的图像)、收集虚拟现实(VR)媒体中的用户交互(例如，花费在任何特定对象、物体或帧上的时间随着体验到的刺激的变化)的启发式信息、部分地基于用户双眼中的至少一只眼睛的取向的一些其它功能、或它们的任意组合。在一些示例中，因为可以针对用户的双眼确定取向，所以眼睛追踪单元130可以能够确定用户正在看哪里或预测任何用户模式等。

在一些示例中，输入/输出接口140可以是允许用户向可选的控制台110发送动作请求的设备。如本文所使用的，“动作请求”可以是执行特定动作的请求。例如，动作请求可以是启动应用程序或结束应用程序，或者是在应用程序内执行特定动作。输入/输出接口140可以包括一个或多个输入设备。示例输入设备可以包括键盘、鼠标、游戏控制器、手套、按钮、触摸屏、或用于接收动作请求并且将接收到的动作请求传送到可选的控制台110的任何其它合适的设备。在一些示例中，由输入/输出接口140接收的动作请求可以被传送到可选的控制台110，该可选的控制台可以执行与所请求的动作相对应的动作。

在一些示例中，控制台110可以根据接收到的来自外部的成像设备150、近眼显示器120和输入/输出接口140中的一者或多者的信息，向近眼显示器120提供内容来呈现给用户。例如，在图1所示的示例中，可选的控制台110可以包括应用程序库112、头戴式设备追踪模块114、虚拟现实引擎116和眼睛追踪模块118。可选的控制台110的一些示例可以包括与结合图1所描述的模块不同的模块或附加的模块。下文进一步描述的功能可以以与本文描述的方式不同的方式分布在可选的控制台110的多个部件之中。

在一些示例中，可选的控制台110可以包括处理器和非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储由处理器可执行的指令。处理器可以包括并行执行指令的多个处理单元。非暂态计算机可读存储介质可以是任何存储器，例如硬盘驱动器、可移出存储器或固态驱动器(例如，闪存或动态随机存取存储器(Dynamic Random AccessMemory，DRAM))。在一些示例中，结合图1所描述的可选的控制台110的模块可以被编码为非暂态计算机可读存储介质中的指令，这些指令在被处理器执行时，使得处理器执行下文进一步描述的功能。应当理解的是，可以需要或可以不需要可选的控制台110，或者可选的控制台110可以与近眼显示器120集成在一起或与近眼显示器分开。

在一些示例中，应用程序库112可以存储用于供可选的控制台110执行的一个或多个应用程序。应用程序可以包括一组指令，这组指令在被处理器执行时，生成用于呈现给用户的内容。应用程序的示例可以包括游戏应用程序、会议应用程序、视频播放应用程序、或其它合适的应用程序。

在一些示例中，头戴式设备追踪模块114可以使用来自外部的成像设备150的慢速校准信息，来追踪近眼显示器120的移动。例如，头戴式设备追踪模块114可以使用从慢速校准信息观察到的定位器、以及近眼显示器120的模型，来确定近眼显示器120的参考点的位置。另外，在一些示例中，头戴式设备追踪模块114可以使用以下中的多个部分：快速校准信息、慢速校准信息或它们的任意组合，来预测近眼显示器120的未来位置。在一些示例中，头戴式设备追踪模块114可以向虚拟现实引擎116提供估计或预测的近眼显示器120的未来位置。

在一些示例中，虚拟现实引擎116可以执行人工现实系统环境100内的应用程序，并且接收来自头戴式设备追踪模块114的近眼显示器120的位置信息、近眼显示器120的加速度信息、近眼显示器120的速度信息、预测的近眼显示器120的未来位置、或它们的任意组合。在一些示例中，虚拟现实引擎116还可以接收来自眼睛追踪模块118的估计的眼睛位置和取向的信息。虚拟现实引擎116基于接收到的信息，可以确定要提供给近眼显示器120以供呈现给用户的内容。

在一些示例中，可以被实施为处理器的眼睛追踪模块118可以接收来自眼睛追踪单元130的眼睛追踪数据，并且基于该眼睛追踪数据来确定用户眼睛的位置。在一些示例中，眼睛的位置可以包括眼睛相对于近眼显示器120或近眼显示器的任意元件的取向、位置或这两者。因此，在这些示例中，因为眼睛的转动轴线随着眼睛在其眼窝中的位置变化，所以确定眼睛在其眼窝中的位置可以允许眼睛追踪模块118更准确地确定眼睛的取向。

在一些示例中，可以调整显示系统的投影仪的位置，以能够实现任意数量的设计修改。例如，在一些情况下，投影仪可以位于观看者眼睛的前面(即，“前置式(front-mounted)”放置)。在一些示例中，在前置式放置中，显示系统的投影仪可以位于远离用户眼睛的位置处(即，“世界侧(world-side)”)。在一些示例中，头戴式显示器(HMD)设备可以利用前置式放置，使光朝向用户的眼睛传播以投射图像。

图2示出了根据示例的呈头戴式显示器(HMD)设备200的形式的近眼显示器的立体图。在一些示例中，头戴式显示器(HMD)设备200可以是虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统、使用显示器或可穿戴设备的另一系统、或它们的任意组合的一部分。在一些示例中，头戴式显示器(HMD)设备200可以包括本体220和头带230。图2以立体图示出了本体220的底侧223、前侧225和左侧227。在一些示例中，头带230可以具有可调节或可伸长的长度。特别地，在一些示例中，头戴式显示器(HMD)设备200的本体220与头带230之间可以存在足够的空间，以允许用户将头戴式显示器(HMD)设备200佩戴到用户的头部上。例如，头带230的长度可以是可调节的，以适应用户头部尺寸的范围。在一些示例中，头戴式显示器(HMD)设备200可以包括附加的部件、更少的部件、和/或不同的部件。

在一些示例中，头戴式显示器(HMD)设备200可以向用户呈现媒体或其他数字内容，该媒体或其他数字内容包括具有计算机生成的元素的物理真实世界环境的虚拟视图和/或增强视图。由头戴式显示器(HMD)设备200呈现的媒体或数字内容的示例可以包括图像(例如，二维图像(2D)或三维图像(3D))、视频(例如，2D视频或3D视频)、音频或它们的任意组合。一些示例中，图像和视频可以通过封装在头戴式显示器(HMD)设备200的本体220中的一个或多个显示组件(图2中未示出)呈现给用户的每只眼睛。

在一些示例中，头戴式显示器(HMD)设备200可以包括各种传感器(未示出)，例如深度传感器、运动传感器、位置传感器、和/或眼睛追踪传感器。这些传感器中的一些传感器可以使用任意数量的结构化光图案或非结构化光图案来实现感测的目的。在一些示例中，如关于图1所描述的，头戴式显示器(HMD)设备200可以包括输入/输出接口140，该输入/输出接口用于与控制台110通信。在一些示例中，头戴式显示器(HMD)设备200可以包括虚拟现实引擎(未示出)，虽然未示出该虚拟现实引擎，但是其类似于关于图1所描述的虚拟现实引擎116，该虚拟现实引擎可以在头戴式显示器(HMD)设备200内执行应用，并且接收来自各种传感器的头戴式显示器(HMD)设备200的深度信息、位置信息、加速度信息、速度信息、预测的未来位置、或它们任意组合。

在一些示例中，由虚拟现实引擎116接收的信息可以用于向一个或多个显示组件生成信号(例如，显示指令)。在一些示例中，头戴式显示器(HMD)设备200可以包括定位器(未示出)，虽然未示出该定位器，但是其类似于图1中所描述的虚拟定位器126，这些定位器可以位于在头戴式显示器(HMD)设备200的本体220上相对于彼此并且相对于参考点的多个固定位置处。这些定位器中的每个定位器可以发射由外部的成像设备可检测的光。这对于头部追踪或其他移动/取向的目的可能有用。应当理解的是，除了这种定位器或替代这种定位器，也可以使用其他元件或部件。

应当理解的是，在一些示例中，安装在显示系统中的投影仪可以放置在用户眼睛附近和/或更靠近用户的眼睛(即，“眼侧(eye-side)”)。在一些示例中，如本文所论述的，用于形状类似眼镜的显示系统的投影仪可以安装或定位在眼镜的镜腿臂(即，镜片侧的顶部远角(top far corner))中。应当理解的是，在一些情况下，利用后置式(back-mounted)投影仪放置可以有助于减小显示系统所需的任何所需壳体的大小或体积，这也可以显著改善用户的用户体验。

在一些示例中，投影仪可以向眼睛提供结构光(条纹图案)，该结构光可以由眼睛追踪摄像头212来采集。眼睛追踪摄像头212或通信耦合的处理器(例如，图1中的眼睛追踪模块118)可以分析所采集的、条纹图案的反射，并且进行分析来生成条纹图案的相位图，这可以为眼睛及其结构提供深度信息。例如，在使用相位展开的情况下，可以例如将从眼睛反射的闪烁用作锚点(anchor)来生成绝对相位图。

图3A示出了根据示例的呈一副眼镜(或其他类似眼镜)形式的近眼显示器300的立体图。在一些示例中，近眼显示器300可以是图1的近眼显示器120的特定示例，并且近眼显示器可以被配置为作为虚拟现实显示器、增强现实(AR)显示器、和/或混合现实(MR)显示器运行。

在一些示例中，近眼显示器300可以包括框架305和显示器310。在一些示例中，显示器310可以被配置为向用户呈现媒体或其他内容。在一些示例中，显示器310可以包括与关于图1至图2描述的部件类似的显示电子器件和/或显示光学器件。例如，如上文关于图1的近眼显示器120所描述的，显示器310可以包括液晶显示器(Liquid Crystal Display，LCD)显示面板、发光二极管(LED)显示面板或光学显示面板(例如，波导显示组件)。在一些示例中，显示器310还可以包括任意数量的光学部件，例如波导、光栅、透镜、反射镜等。在其他示例中，显示器210可以包括投影仪，或者近眼显示器300可以包括投影仪来替代显示器310。

在一些示例中，近眼显示器300还可以包括各种传感器350A、350B、350C、350D和350E，这些传感器位于框架305上或位于框架305内。在一些示例中，如所示出的，各种传感器350A至350E可以包括任意数量的深度传感器、运动传感器、位置传感器、惯性传感器、和/或环境光传感器。在一些示例中，各种传感器350A至350E可以包括任意数量的图像传感器，该任意数量的图像传感器被配置为生成表示一个或多个不同方向上的不同视场的图像数据。在一些示例中，传感器350A至350E可以用作输入设备，以控制或影响近眼显示器的显示内容、和/或向近眼显示器300的用户提供交互式虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)体验。在一些示例中，各种传感器350A至350E也可以用于立体成像或其他类似应用。

在一些示例中，近眼显示器300还可以包括一个或多个照明器330，以向眼睛投射光。所投射的光可以与不同的频带(例如，可见光、红外光、近红外光等)相关联，并且所投射的光可以用于各种目的。在一些示例中，来自一个或多个照明器330的光可以用于在眼睛的表面上产生闪烁，这些闪烁然后可以用于确定眼睛的位置(注视)和其他三维特征。

在一些示例中，近眼显示器300还可以包括摄像头340或其他图像采集单元。摄像头340例如可以采集视场中的物理环境的图像。在一些情况下，所采集的图像可以例如由虚拟现实引擎(例如，图1的虚拟现实引擎116)进行处理，以将虚拟对象添加到所采集的图像或者修改所采集的图像中的物理对象，并且处理后的图像可以由显示器310显示给用户，以用于增强现实(AR)应用或混合现实(MR)应用。近眼显示器300也可以包括眼睛追踪摄像头312。

图3B示出了根据示例的呈一副眼镜(或其他类似眼镜)形式的近眼显示器的俯视图。在一些示例中，近眼显示器300可以包括具有一副眼镜的形状要素的框架305。对于每只眼睛，框架305支撑：条纹投影仪314(例如，本文考虑的任何条纹投影仪变体)、向适眼区366呈现内容的显示器310、眼睛追踪摄像头312、以及一个或多个照明器330。照明器330可以用于照射适眼区366，以及用于向眼睛提供闪烁照明。条纹投影仪314可以向用户的眼睛提供周期性的条纹图案。显示器310可以包括光瞳复制波导，以接收扇形光束并且提供该扇形光束中的每个光束的多个横向偏移的平行副本，从而在适眼区366上方扩展所投射的图像。

在一些示例中，光瞳复制波导可以是透明的或半透明的，以使用户能够观看外部世界以及投射到每只眼睛中且与外部世界视图叠加的图像。投射到每只眼睛中的图像可以包括以模拟视差设置的对象，以便看起来沉浸在真实世界视图中。

眼睛追踪摄像头312可以用于确定用户的两只眼睛的位置和/或取向。一旦知道了用户眼睛的位置和取向，就可以确定注视会聚距离和方向。考虑到用户的注视，可以动态地调整由显示器310显示的图像，以使用户更逼真地沉浸到所显示的增强现实场景中，和/或提供与增强现实交互的特定功能。在运行中，照明器330可以在对应的适眼区366处照射眼睛，以使得眼睛追踪摄像头能够获得眼睛的图像，以及提供参考反射。反射(也可以指“闪烁(glint)”)可以用作所采集的眼睛图像中的参考点，通过确定眼睛瞳孔图像相对于闪烁的位置来促进眼睛注视方向的确定。为了避免照明光分散用户的注意力，可以使照明光对用户不可见。例如，可以使用红外光来照射适眼区366。

在一些示例中，图像处理和眼睛位置/取向确定功能可以由近眼显示器300的中央控制器(未示出)来执行。中央控制器还可以根据所确定的眼睛位置、眼睛取向、注视方向、眼睛聚散度(vergence)等向显示器310提供控制信号，以生成要向用户显示的图像。

图4示出了根据示例的简化的透镜周边照明眼睛追踪系统。示意图400示出了波导显示器402、具有LED光束扩展406(LED beam spread)的发光二极管(LED)404、玻璃408、眼睛追踪摄像头410和眼睛412。如本文所述，眼睛追踪获取关于用户的一只眼睛或双眼的数据，例如检测存在、注意力、焦点、人的瞳孔位置和瞳孔大小。例如瞳孔位置、眼睛的注视矢量、注视点和眼睛睁开程度等数据点可以从所采集的眼睛追踪信息计算。利用收集到的数据，可以更准确地将图像投射到用户的眼睛中，并且可以检测用户的意图(例如，作为对交互式显示系统的输入)。

因此，来自发光二极管(LED)404的、穿过玻璃408并且到达眼睛412的光束可以用作眼睛追踪照明源，其中，眼睛追踪摄像头410检测眼睛表面上由光束产生的闪烁。检测到的闪烁可以用于三维检测算法、相位映射算法或类似算法，以按照非接触的方式、以高分辨率和快速的数据处理来确定眼睛的三维形貌。

在一些示例中，波导显示器402可以将人工现实内容(即，计算机生成的内容)投射到眼睛412。波导显示器402可以是透明显示器，并且允许来自环境的光通过。因此，人工现实内容可以与来自环境的真实内容叠加。在一些情况下，若干光学元件(例如，透镜、偏振器、滤光片、波导板和类似元件)可以被定位在波导显示器402与玻璃408之间，形成光学组件。

如本文所述，需要由一个或多个照明器产生的闪烁来提取眼睛的注视和位置。场内发光二极管(LED)照明系统可以提供足够的照明。然而，场内系统价格昂贵、集成复杂，并且可能无法缓解校正透镜带来的挑战，如下文所论述的。另一方面，透镜周围或框架发光二极管(LED)系统可以允许来自发光二极管(LED)的照明光可以避开光学组件(位于波导显示器402与玻璃408之间)中的任何光学元件，允许有效地照射眼睛，并且缓解由于光学元件(例如，光的反射或衍射、重影信号(ghost signal)等)引起的潜在问题。

在一些示例中，除了发光二极管之外的光源也可以用作照明器。例如，侧面发射激光二极管、垂直腔面发射激光二极管或超辐射发光二极管(superluminescent LED)是可以使用的光源的一些非限制性示例。

在一些示例中，可以将多个发光二极管(LED)放置在沿着框架(包括波导显示器402)的周边附着的柔性印刷电路板(Printed Circuit Board，PCB)上。为了向眼睛412提供照明，发光二极管(LED)可以以倾斜的方式进行定位(例如，在虚拟现实(VR)应用中)。然而，这种技术可能会增加光学组件所需的空间，使光学组件变得更厚。为了使光学组件更薄，以适用于较轻的近眼显示设备(例如，人工现实(AR)眼镜)，可以将发光二极管(LED)水平放置(例如，与光学组件的平面对准的光束扩展)，其中，来自发光二极管(LED)404的光束仍然穿过玻璃408、照射眼睛412、并且提供眼睛追踪功能。

在一些示例中，一个照明器(发光二极管(LED)404)就可以充足地提供锚定闪烁。不过，还可以使用任意数量的照明器。例如，在一些实际实施方式中，可以使用多达8至10个发光二极管(LED)，或者，多达20个发光二极管(LED)。在一些实施方式中，照明器可以是红外的或近红外的(NIR)，以避免分散用户的注意力。因此，照明器的数量和/或位置可以基于一些设计考虑进行选择。照明器可以被定位为使得眼睛追踪摄像头410的视场(FOV)内产生闪烁。

图5A示出了根据示例的透镜周边照明眼睛追踪系统中波导显示器的反射，该反射可能会导致双重闪烁。示意图500A示出了通过玻璃508和/或其他光学组件(未示出)向眼睛512呈现人工现实内容的波导显示器502。波导显示器502可以是透明的或半透明的，并且可以让来自环境的光通过，以便于眼睛512看到真实的环境图像。示意图500A还示出了具有LED光束扩展506的发光二极管(LED)504，该发光二极管包括穿过玻璃508并且到达眼睛512的光束(例如，直接(direct)LED光束514)。然后，直接LED光束514的反射可以由眼睛追踪摄像头510来采集，并且可以用于眼睛表面特征的三维检测，以确定注视和位置。在一些实施方式中，来自发光二极管(LED)504的一些光束可以到达波导显示器502，并且可以作为从波导显示器反射的LED光束516朝向眼睛512反射。该二次光束的反射也可以由眼睛追踪摄像头510来采集，并且该反射可能导致双重闪烁，从而在闪烁分析中产生重影信号和/或其他不匹配。此外，一部分光(例如，超过一半的光)可能会被浪费(即，未用于眼睛512的照射)。

图5B示出了根据示例的缓解透镜周边照明眼睛追踪系统中波导显示器的反射。示意图500B示出了与图5A中相同配置的眼睛追踪系统，其中，增加了反射镜520以缓解上述双重闪烁的挑战。

在一些示例中，反射镜520或类似的反射元件可以放置在发光二极管(LED)504旁边、位于发光二极管(LED)504与波导显示器502之间。反射镜520可以将来自发光二极管(LED)504的光束朝向波导显示器502反射。来自反射镜的反射光束526可以完全避开瞳孔或眼睛512，从而不会从眼睛反射至眼睛追踪摄像头510，避免出现双重闪烁。在一些示例中，反射镜520可以被成形和/或定位为控制反射光束526的方向，使其避开瞳孔或眼睛512。因此，除了缓解双重闪烁挑战之外，反射镜520还可以提高眼睛追踪系统的照明效率。

图6A示出了根据示例的透镜周边照明眼睛追踪系统中由校正透镜引起的光束散射。示意图600A示出了通过玻璃608向眼睛612提供眼睛追踪照明的波导显示器602和具有LED光束扩展606的发光二极管(LED)604。由照明引起的闪烁可以由眼睛追踪摄像头610来采集，并且用于确定眼睛612的注视。在所示出的配置中，校正光学透镜614可以附接到玻璃608上或与该玻璃集成。

校正光学透镜614可以用于帮助具有例如近视、散光等眼睛畸形的用户。然而，校正光学透镜614也可以使来自发光二极管(LED)604的光束偏离其原始取向。因此，校正光学透镜614的存在可能会削弱和/或扭曲眼睛的照射。

图6B示出了根据示例的透镜周边照明眼睛追踪系统中校正透镜的棱镜表示。示意图600B示出了棱镜624，该棱镜表示校正光学透镜614相对于来自发光二极管(LED)604的光束(例如，LED光束626)的光学功能。LED光束626在穿过棱镜624(即，校正光学透镜614)时被折射(例如，偏转的LED光束628)，并且可能偏离适眼区622，这意味着它可能无法照射眼睛612。因此，校正光学透镜614可能降低眼睛追踪系统的照射效率，并且可能由于来自发光二极管(LED)604的光路改变而导致出现其他扭曲问题。

图6C示出了根据示例的透镜周边照明眼睛追踪系统的代表性辐照度图，该图示出了由于校正透镜造成的可能导致双重闪烁的照明损失。示意图600C示出了具有透镜周边发光二极管(LED)的眼睛追踪系统的辐照度图630，该辐照度图包括适眼区632的基本均匀的照明634，其中，照明标尺636表示照明等级。

在添加了高度数(prescription)校正光学透镜(例如，-6屈光度)的情况下，同一眼睛追踪系统的辐照度图640示出了适眼区642内较暗的区域，表示由校正光学透镜引起的照明不足，即，适眼区642的照明644不均匀。照明标尺646为辐照度图提供了颜色标尺。因此，如辐照度图所出示的，校正光学透镜可以显著降低具有侧面发射照明LED的眼睛追踪系统的性能。

在一些示例中，侧面发射发光二极管(LED)或顶部发射发光二极管(LED)的水平光发射可以为闪烁检测提供足够的照明，而无需复杂的场内系统。例如，如果没有校正光学透镜或校正光学透镜度数较低，则侧面发射(水平)可能就足够了。在校正光学透镜度数较高的情况下，发光二极管(LED)的光束扩展可以是倾斜的，以避开或穿过校正光学透镜的边缘。下文将论述用于提供照明的发光二极管(LED)的实施方式的一些示例。

图7示出了根据示例的透镜周边照明眼睛追踪系统中用于光束整形的侧面发射发光二极管(LED)或顶部发射发光二极管(LED)的各种实施方式。示意图700示出了具有模制标签的侧面发射LED 700A、具有引线框架的侧面发射LED 700B、具有折射层的顶部发射LED700C、具有衍射层的顶部发射LED 700D、具有倾斜输出的定制设计LED芯片700E、具有封装件内反射器的侧面发射LED 700F、以及具有外部反射器的侧面发射LED 700G。

在一些示例中，侧面发射LED 700A可以通过印刷电路板(PCB)702附着到包括波导显示器和其他光学部件的框架。LED封装件可以包括LED芯片704，并且可以在LED封装件周围模制标签706，以允许侧面发射光束710。侧面发射LED 700B可以包括具有引线框架的LED封装件708，并且可以提供侧面发射光束710。

顶部发射LED 700C可以包括折射层712，该折射层能够产生倾斜光束714。折射层714可以是例如硅酸铋(Bismuth Silicate，BSO)层，并且形成为任何合适的形状。顶部发射LED 700D可以包括衍射层716，该衍射层能够产生倾斜光束714。衍射层716也可以是硅酸铋(BSO)层或其他材料。此外，微透镜阵列或微棱镜阵列可以被用作折射层。替代地，全息光栅、超构表面(meta-surface)或图案化微结构表面可以用作衍射层。在一些示例中，定制设计LED芯片700E可以以芯片级进行设计(而不是封装级或外部进行修改)，以提供倾斜光束714。

在一些示例中，侧面发射LED 700F可以在LED封装件内布置有反射器718，以提供倾斜光束720。替代地，侧面发射LED 700G可以通过印刷电路板(PCB)702上的外部反射器722来提供倾斜光束724。

图8A至图8E示出了根据示例的眼睛追踪系统中缓解校正光学透镜对发光二极管(LED)光束的扭曲的各种实施方式。图8A中的示意图800A示出了附接到框架804的照明发光二极管(LED)802，该框架还为校正光学透镜806(以及其他光学组件元件)提供机械支撑。校正光学透镜806可以具有用户特定的度数，并且用于校正提供给眼睛810的图像。

在一些示例中，覆盖发光二极管(LED)802的校正光学透镜806的边缘部分(例如，远离LED切割部(cut)805的表面)可以被成形为将来自发光二极管(LED)802的光束801朝向眼睛810引导，缓解可能由校正光学透镜806引起的光束路径中的任何扭曲。成形(例如，校正光学透镜的边缘表面的切割部805的角度)可以基于校正光学透镜806的度数。示意图800B与示意图800A的配置的图示略有不同，其中，包括了增加的波导显示器808。

示意图800C示出了另一种配置，其中，校正光学透镜816的边缘在靠近发光二极管(LED)802的表面处被切割成不同的形状815。边缘切割的形状818还可以使来自发光二极管(LED)802的光束首先穿过空气，然后穿过校正光学透镜，最后再次穿过空气到达眼镜810。因此，校正光学透镜816的边缘部分可以在任一表面上成形(或切割)，以达到相同的效果。

示意图800D示出了另一种配置，其中，校正光学透镜826的边缘部分没有被专门切割或成形为重新引导来自发光二极管(LED)802。然而，可以在发光二极管(LED)802与校正光学透镜826之间放置方向转向膜或模制菲涅尔(Fresnel)结构822，以朝向眼睛810重新引导光束801。示意图800E是与示意图800D中的相同配置略有不同的示意图，其中，包括波导显示器808。示意图800E还示出了光束重定引导部分，该光束重定引导部分可能不一定是单独的部件(或材料)，而是校正光学透镜826的折射成形部分824。

根据示例，本文描述了一种具有透镜周边发光二极管(LED)的眼睛追踪系统的制造方法。本文还描述了一种具有透镜周边发光二极管(LED)的眼睛追踪系统的制造系统。非暂态计算机可读存储介质可以具有存储在其上的可执行文件，该可执行文件在被执行时指示处理器执行本文描述的方法。

在前文的描述中，描述了各种示例，这些示例包括设备、系统和方法等。出于解释的目的，阐述了具体细节，以便提供对本公开的示例的透彻理解。然而，将明显的是可以在没有这些具体细节的情况下实践各种示例。例如，设备、系统、结构、组件、方法和其它部件可以被示出为框图形式的部件，以免在不必要的细节中模糊这些示例。在其它情况下，为了避免模糊这些示例，可以在没有必要细节的情况下示出众所周知的设备、工艺、系统、结构和技术。

这些附图和描述不旨在是限制性的。本公开采用的术语和表达均用作描述性术语而非限制性术语，并且在使用这些术语和表达时无意排除所示出和描述的特征或该特征中的多个部分的任何等同物。“示例”一词在本文用于表示“用作示例、实例或说明”。本文中描述为“示例”的任何实施例或设计不一定被解释为优先于或优于其它实施例或设计。

尽管如本文描述的方法和系统可能主要涉及例如视频或交互媒体的数字内容，但是应当理解的是，如本文描述的方法和系统也可以用于其他类型的内容或场景。如本文描述的方法和系统的其他应用或使用还可以包括社交网络、营销、基于内容的推荐引擎、和/或其他类型的知识或数据驱动系统。

Claims (20)

1.一种眼睛追踪系统，所述眼睛追踪系统包括：

多个照明器，所述多个照明器用于在眼睛的表面上产生闪烁，其中，所述多个照明器沿着包括用于近眼显示设备的光学组件的框架定位，并且所述多个照明器的照明与所述光学组件的平面对准；

眼睛追踪摄像头，所述眼睛追踪摄像头用于采集所述眼睛的具有所述闪烁的图像；以及

处理器，所述处理器与所述多个照明器和所述眼睛追踪摄像头通信耦合，所述处理器用于基于所采集的所述眼睛的具有所述闪烁的所述图像来确定所述眼睛的所述表面的三维特征，以确定所述眼睛的位置和注视。

2.根据权利要求1所述的眼睛追踪系统，其中，所述多个照明器包括发光二极管LED、侧面发射激光二极管、垂直腔面发射激光二极管或超辐射发光二极管中的一者或多者。

3.根据权利要求2所述的眼睛追踪系统，其中，所述LED发射可见光、红外光或近红外光。

4.根据权利要求2所述的眼睛追踪系统，其中，所述LED包括侧面发射标签封装LED或引线框架LED。

5.根据权利要求2所述的眼睛追踪系统，其中，所述LED包括倾斜发射LED，所述倾斜发射LED包括折射层或衍射层，以实现倾斜发射。

6.根据权利要求2所述的眼睛追踪系统，其中，所述LED包括倾斜发射LED，所述倾斜发射LED包括封装件内反射器或外部反射器，以实现倾斜发射。

7.根据权利要求1所述的眼睛追踪系统，其中，所述多个照明器被定位为使得所述闪烁位于所述眼睛追踪摄像头的视场FOV内。

8.根据权利要求1所述的眼睛追踪系统，其中，所述光学组件包括校正光学透镜，并且所述校正光学透镜的边缘部分被成形为朝向所述眼睛引导所述多个照明器的照明。

9.根据权利要求1所述的眼睛追踪系统，其中，所述多个照明器包括多达二十个照明器。

10.一种近眼显示设备，所述近眼显示设备包括：

光学组件，所述光学组件包括用于向眼睛投射人工现实内容的波导显示器；

眼睛追踪系统，所述眼睛追踪系统包括：

多个照明器，所述多个照明器用于在所述眼睛的表面上产生闪烁，其中，所述多个照明器沿着包括所述光学组件的框架定位，并且所述多个照明器的照明与所述光学组件的平面对准；

眼睛追踪摄像头，所述眼睛追踪摄像头用于采集所述眼睛的所述表面上的所述闪烁；以及

处理器，所述处理器与所述多个照明器和所述眼睛追踪摄像头通信耦合，所述处理器用于基于所采集的所述闪烁来确定所述眼睛的所述表面的三维特征，以确定所述眼睛的位置和注视。

11.根据权利要求10所述的近眼显示设备，其中，所述多个照明器包括发射可见光、红外光或近红外光的发光二极管LED。

12.根据权利要求11所述的近眼显示设备，其中，所述LED包括侧面发射标签封装LED或引线框架LED。

13.根据权利要求11所述的近眼显示设备，其中，所述LED包括：

倾斜发射LED，所述倾斜发射LED包括折射层或衍射层以实现倾斜发射，或者

倾斜发射LED，所述倾斜发射LED包括封装件内反射器或外部反射器以实现倾斜发射。

14.根据权利要求10所述的近眼显示设备，其中，所述多个照明器被定位为使得所述闪烁位于所述眼睛追踪摄像头的视场FOV内。

15.根据权利要求10所述的近眼显示设备，其中，所述光学组件包括校正光学透镜，并且所述校正光学透镜的边缘部分被成形为朝向所述眼睛引导所述多个照明器的照明。

16.根据权利要求10所述的近眼显示设备，其中，所述光学组件包括校正光学透镜，并且所述校正光学透镜的边缘部分用折射元件来补偿，以朝向所述眼睛引导所述多个照明器的照明。

17.一种方法，所述方法包括：

通过沿着包括用于近眼显示设备的光学组件的框架定位的多个照明器来照射眼睛，其中，所述多个照明器的照明与所述光学组件的平面对准；

通过眼睛追踪摄像头采集所述眼睛的具有由所述照明产生的闪烁的图像；

通过与所述多个照明器和所述眼睛追踪摄像头通信耦合的处理器基于所采集的所述眼睛的具有所述闪烁的所述图像，来确定所述眼睛的表面的三维特征；以及

基于所确定的三维特征，来确定所述眼睛的位置和注视。

18.根据权利要求17所述的方法，其中，通过所述多个照明器来照射所述眼睛包括：

通过倾斜发射发光二极管LED的折射层或衍射层将光引导至所述眼睛的所述表面。

19.根据权利要求17所述的方法，其中，通过所述多个照明器来照射所述眼睛包括：

通过倾斜发射发光二极管LED的封装件内反射器或外部反射器将光引导至所述眼睛的所述表面。

20.根据权利要求17所述的方法，所述方法还包括：

定位所述多个照明器，使得所述闪烁位于所述眼睛追踪摄像头的视场FOV内。