CN112558751A - 一种智能眼镜基于mems和光波导镜片的视线追踪方法 - Google Patents

Abstract

本发明属于视线追踪技术领域，公开了一种智能眼镜基于MEMS和光波导镜片的视线追踪方法，MEMS扫描镜发射的连续不断、周期性的扫描激光通过光波导元件传送至人眼视觉前方耦合而出，在眼睛表面形成特定的扫描路径，某时刻一些光射入到视网膜上；视网膜上的反射光被视觉前方的光耦合元件接收耦合进入光波导元件，进而传送至光敏传感器；根据视网膜的反射光分布强度，扫描光的时间周期，将二维的扫描激光路径位置信息转换成一维的时间信息计算注视点位置。本发明眼动追踪技术功耗低，体积小，采样率高，而且不需要眼动校准，同时具备眼球追踪、瞳孔识别、虹膜识别、屈光度检测、眼部健康检测多种功能的无缝切换，节省功耗。

Description

一种智能眼镜基于MEMS和光波导镜片的视线追踪方法

技术领域

本发明属于视线追踪技术领域，尤其涉及一种智能眼镜基于MEMS和光波导镜片的视线追踪方法。具体涉及一种近眼显示设备用基于光波导镜片和MEMS扫描镜的视线追踪方法。

背景技术

目前，最接近的现有技术：人眼的运动可以揭示大量关于大脑和视觉神经机制的信息，以及个体的神经健康，眼睛健康，兴趣和心理状态。此外，眼动的跟踪可用于改善/增强人机交互，实现基于凝视的人机界面，并增强与可穿戴技术的交互方式。例如，依赖于眼动追踪的凝视跟踪使得许多增强替代通信(AAC)设备能够提高缺乏语音能力和/或运动技能的个体的能力(例如，肌萎缩侧索硬化(ALS)患者或具有脊髓伤害的患者)与周围的世界互动。

近年来，眼动追踪技术变得越来越复杂，越来越多地针对商业相关的用途，例如提高广告效果，确定最佳产品位置，改进包装设计，增强汽车驾驶体验，游戏和虚拟现实(VR)系统，军事训练和有效性增强，运动训练等。例如，对于广告和/或产品放置应用，跟踪受试者眼睛的活动，同时呈现目标刺激(例如，网站，商业广告，杂志广告，报纸，产品包等)。记录的眼动追踪数据被统计分析并以图形方式呈现以显示特定的视觉模式；通过检查固定，跳视，瞳孔扩张，眨眼和各种其他行为，可以确定给定介质或产品的有效性。

光波导总体上可以分为几何光波导(Geometric Waveguide)和衍射光波导(Diffractive Waveguide)两种，几何光波导就是所谓的阵列光波导，其通过阵列反射镜堆叠实现图像的输出和动眼框的扩大，代表光学公司是以色列的Lumus，目前市场上还未出现大规模的量产眼镜产品。

衍射光波导主要有利用光刻技术制造的表面浮雕光栅波导(Surface ReliefGrating)和基于全息干涉技术制造的全息体光栅波导(Volumetric HolographicGrating)，HoloLens 2，Magic Leap One均属于前者，全息体光栅光波导则是使用全息体光栅元件代替浮雕光栅，苹果公司收购的Akonia公司采用的便是全息体光栅，另外致力于这个方向的还有Digilens。这个技术还在发展中，色彩表现比较好，但目前对FOV的限制也比较大。

目前，现有智能眼镜眼动追踪技术技术的不足：

在诸如头戴式显示器(HMD)设备的可穿戴设备中，估计用户眼睛的位置可以允许HMD设备根据用户的眼睛所处的位置以及用户在哪个方向上显示图像。用户还可以通过使用他们的凝视作为输入来命令来与HMD设备交互。为了确定用户眼睛的位置和注视，有时将眼动追踪系统添加到HMD设备。另外，眼动追踪系统可以捕获用户眼睛的虹膜、瞳孔图像，以通过虹膜的图像分析实现用户认证。然而，这样的系统可能增加重量，消耗处理能力过大，眼动追踪硬件的设置遮蔽用户的视野，或者在用户眼睛附近照射太多光。

遗憾的是，传统的眼动仪对于用户来说是缓慢，笨重，侵入性和限制性的。这使得它们很难在上面讨论的许多应用中正常的商业使用。另外，传统系统通常需要相机和成像处理软件，更先进一些的是通过在角膜上投射多个红外光源用于增强识别精度。结果，它们往往昂贵，缓慢且耗电。此外，它们通常在眼睛运动和测量的眼睛位置之间表现出显着的滞后，这降低了VR/AR应用中的用户体验。可以提高这种眼动追踪系统的分辨率和速度，但是迄今为止，这些改进是以牺牲用户机动性和增加的系统成本为代价的。

电眼图眼动追踪法使角膜通过闭合的眼睑位置；但是，它们会受到眨眼伪影和信号噪声的影响。此外，它们相对不准确。此外，它们需要将电极附着在眼睛中或眼睛附近。结果，在智能眼镜上的应用显示技术、交互技术、商业应用及许多应用中，眼电图相对没有吸引力。

用于跟踪角膜缘的系统(即，眼睛的白色巩膜和暗虹膜之间的边界)也已用于眼动追踪。不幸的是，这种角膜缘跟踪系统很麻烦，难以校准；并且除非在短距离使用，否则灵敏度较差。更进一步，目前有一些技术方法通过在人眼角膜上投射多个红外光源用于辅助计算，增强眼动追踪进度，该方法需要摄像头，也是目前国内外智能眼睛上普遍的眼动追踪方法。

目前最常见的眼动追踪系统是基于视频的系统，例如在美国专利No.5，199，480中描述的图像处理系统。NO8，955，973。在这些系统中，在红外(IR)照射下拍摄眼睛表面的图像并由二维图像传感器捕获。图片显示了角膜反射的位置和眼睛的瞳孔。使用复杂图像处理，计算从角膜反射中心到瞳孔中心的矢量，并且该矢量形成用户凝视方向估计的基础。基于视频的眼动仪可以远程使用或由受试者佩戴。不幸的是，这种眼动追踪系统对于用户来说是缓慢，笨重，受限制，并且是昂贵的。可穿戴系统体积庞大且重，使得它们在长时间使用时非常不舒服。远程系统需要仔细定位和对齐，在操作过程中很容易中断。此外，对视频捕获和图像处理的依赖导致需要良好的照明条件。此外，由于前表面反射，视频捕获难以通过眼镜进行跟踪。

作为基于视频的系统的替代，一些传统的眼动追踪系统将结构光的网格投射到眼睛的表面上。不幸的是，仍然必须通过图像处理捕获并分析眼睛表面的图像以估计眼睛位置。结果，虽然这种系统通常比基于视频的眼动仪需要更少的计算复杂度，但它们仍然需要大量的计算和能量资源。因此，需要一种低成本、高分辨率、低功率、高速、稳健的眼动追踪系统来满足现有的需求。

在传统的实现眼控技术时，用户需要注视显示屏上的若干个校准点进行视线校准，视线校准的具体原理为：VR/AR(Virtual Reality，虚拟现实Augmented Reality，增强现实)系统获取用户注视显示屏上的每个校准点时的眼部图像，根据每幅眼部图像的图像特征以及每幅眼部图像对应的校准点的位置，确定注视点映射函数，注视点映射函数的作用是建立用户的眼部图像与用户的注视点信息之间的映射关系，当用户完成视线校准后，用户使用VR/AR系统时，VR/AR系统能够根据用户的眼部图像的图像特征以及确定好的注视点映射函数，计算得到用户的注视点信息，实现眼控技术。相关技术中，用户需要注视显示屏上的M个校准点进行校准，VR系统根据用户校准的眼部图像，求解注视点映射函数中的N个待求解的参数，其中，M通常为9或者16，且2M>＝N。可见，相关技术中，利用多个校准点确定注视点映射函数，用户需要注视多个校准点，用户工作量大，不利于用户体验。

在智能眼镜面向消费者的发展过程中，其中在消费者人群中有大部分人群存在近视、远视、散光、其他的眼科疾病，这部分人群在佩戴智能眼镜的同时需要额外的佩戴具有光学屈光度校正的眼镜，这样繁琐且不人性的佩戴方式才能够使得这部分人群可以清楚得看清智能眼镜所呈现得增强现实全息内容。如今得智能眼镜设计可能会隔离这部分具有眼部问题(近视、远视、散光)的人群，阻碍了智能眼镜行业的发展。通常对眼睛近视与远视的验光方法有主观验光法和客观验光法二种。主观验光法即给患者配带不同的镜片，以视象清晰，无痛感为准，此法费时而又不准确，有时甚至要给患者散瞳，造成工作与行动的不便。客观验光法是验光的基础，它是由医生与患者密切配合，用仪器仔细检查眼轴情况，从而定出患者的眼的屈光度，此法验光较为准确。目前电脑激光验光器已经在眼镜店和医院中广泛普及，但是这类传统的验光仪体积大、需要将头固定在特定位置进行验光。

综上所述，现有技术存在的问题是：

(1)传统的眼动仪对于用户来说缓慢、笨重，且具有侵入性和限制性。

(2)传统系统通常需要相机和成像处理软件，它们往往昂贵，计算缓慢且耗电，眼球采样率依赖于摄像头的帧率。

(3)摄像头和红外光源发射器设置在智能眼镜光学成像元件(光波导)周围，并且需要设置在能够使摄像头拍摄眼球的位置和光源能够照射到眼球的位置，当智能眼镜的视场角足够大时，摄像头和红外光源则会限制视场角的范围，不利于智能眼镜的轻便化设计，造成整体智能眼镜沉浸感和体验的下降。

(4)传统系统在眼睛实际运动和计算测量的眼睛位置之间表现出显著的滞后，即采样率底，降低了VR/AR应用中的用户体验。

(5)电眼图会受到眨眼伪影和信号噪声的影响，相对不准确，且没有吸引力。

(6)角膜缘跟踪系统很麻烦，难以校准；并且除非在短距离使用，否则灵敏度较差；需要图像处理，功耗大。

(7)基于视频的眼动仪对于用户来说缓慢、笨重、限制且昂贵；可穿戴系统体积庞大且重，使得它们在长时间使用时非常不舒服；远程系统需要仔细定位和对齐，在操作过程中很容易中断；并且由于前表面反射，视频捕获难以通过眼镜进行跟踪。

(8)智能眼镜上眼动的现有问题：智能眼镜上的内部空间是极其有限的，在设计的过程中尽可能的使智能眼镜的体积、重量尽可能的小。但是目前普遍通过计算摄像头拍摄的眼球图像获得的眼球运动坐标的方法在智能眼镜上作为眼动追踪的方法时存在很多缺陷。例如需要摄像头始终对准眼球拍摄眼球图像，因此摄像头始终需要设置在智能眼镜镜片边缘，这就造成该智能眼镜的视场角和用户的视角受到眼动追踪硬件设置位置的限制。

(9)目前全球范围内已公开的智能眼睛上的眼动追踪技术都需要进行眼球的校准，使计算机获取眼球运动位置和智能眼镜的成像屏幕、真实空间中的映射关系，眼动的校准直接决定眼动注视位置的准确性，然而用户每次或者一段时间重新佩戴眼镜都可能面临眼球的重新校准，因此操作繁琐、体检不好。

(10)传统的智能眼镜不具备对用户眼镜进行客观的屈光度检测的功能。

(11)在智能眼镜上设置的硬件应满足体积小、低功耗才能达到较好的产品体验，但是上述的摄像头图像的眼动追踪方法不是在智能眼镜(近眼显示设备)上理想的眼动追踪的方法。

解决上述技术问题的意义：

眼动追踪技术在近眼显示设备行业中有着重要的战略意义，眼动追踪不仅可以作为舒适的人机交互方式，并且对智能眼镜的全息影像的显示与校正有巨大的帮助，不仅如此，眼动追踪技术在应用上具有巨大的想象空间，可以在未来5G/6G时代创造巨大的经济价值，例如通过人的眼动行为分析人的心理进而预测用户需求，根据眼球结构上的影像用于医学检测，进而监测身体健康状况。本发明专利可应用在如下眼动追踪技术应用中，弥补了本领域的技术空白。本发明在智能眼镜成像方面(注视渲染：看哪里渲染哪里图像)、成像显示校准方面、健康检测、虹膜识别、视觉搜索、程序启动方面具有良好的应用意义。

发明内容

针对现有技术存在的问题，本发明提供了一种智能眼镜基于MEMS和光波导镜片的视线追踪方法。

本发明是这样实现的，一种近眼显示设备用基于光波导镜片的视线追踪方法，利用光波导镜片将MEMS(微机械系统)发射的扫描光入射在眼睛的视网膜上，捕获视网膜反射光强度，进行眼动追踪，以及实现免除眼睛运动向量与映射目标的映射校准；具体包括；

MEMS扫描镜发射的连续不断、周期性的扫描光通过光波导元件传送至人眼视觉前方耦合而出，在眼睛表面形成特定的扫描路径，某时刻一些光射入到视网膜上；视网膜上的反射光被视觉前方的光耦合元件接收耦合进入光波导元件，进而传送至光敏传感器；

根据视网膜的反射光分布强度，扫描光的时间周期，将二维的扫描光路径位置信息转换成一维的时间信息计算注视点位置。

进一步，实现免除眼睛运动向量与映射目标的映射校准的方法通过光波导镜片将扫描光射入视网膜上，捕获视网膜反射光强度进行眼动追踪，具体包括：

MEMS扫描的角度通过控制系统给定指令，通过MEMS扫描对入射光角度的控制等同于传统显示器控制像素点成像的效果，并且光波导成像元件的参数通过生产前期的光学设计可控已知，因此使得射出的扫描光路径在光波导镜片上已知，光波导元件射出扫描光的同时还可以透过现实场景的环境光和虚拟全息影像光(如图8所示)。当用户正在注视着现实环境或者全息影像时，只有在眼球注视现实环境光方向上反向的扫描光射入眼低视网膜上的中央凹才可以获得最大的反射光亮度，即在一个扫描周期内的某一时刻扫描光途径的位置恰恰可以将光完全射入至眼球视网膜中央凹位置，此时入射扫描光在光波导成像镜片上的二维平面位置也是眼球发出注视射线的位置。因此，本发明通过动态的扫描光和光波导镜片共同作用实现了免除眼睛运动向量与映射目标的映射校准。

下面的权利3中内容是光波导镜片的视线追踪另外一种光学方案，对光学硬件方案的保护，其中还需要对原光学方案进行保护，原光学方案为图3，

进一步，眼动追踪系统900的照明源960可照射眼睛以促进反射光捕获或眼睛图像光源，眼镜波导镜片950包括配置成在其中用于传播光的波导元件940，和/或光敏传感器920，例如用于眼睛反射光强度的捕获。还示出了用于产生可以通过眼镜波导镜片950入射光的照明光源960。用于改变入射光角度的微电机系统MEMS扫描镜990。光学凸透镜980将不同角度的扫描光965校正为规则的准直(平行)光。眼镜波导镜片950可以包括一个或多个波导940，其被配置为将来自照明源960的光传输到眼睛并将光从眼睛传输到光敏传感器920。眼镜波导镜片950还可以包括一个或多个耦合元件，包括944、942、952，例如光学耦合元件944，用于将光耦合出波导940并耦合到眼睛，用于照射眼睛和用于捕获眼睛反射光，将其耦合至波导940。

如图3所示实施例为眼动追踪发射激光的光学路径示意图：红外激光965从光源960射出后入射至MEMS反光镜990，MEMS反光镜在控制系统的指令作用下偏转一定的角度，其中本发明实施例中MEMS反光镜以一定的周期往复偏转(振谐运动)，入射光源965经过MEMS反射镜990反射出多种角度的反射光，即反射光形成扫描的状态。反射光随后摄入凸透镜980，其中凸透镜980可以配置成一个或者多种透镜的组合(例如库克三重镜、Tessar、高斯型标准镜等)，或者凸透镜980也可以与光耦合元件942的偏转功能集成(通过光学设计将两者物理属性整合到一起)，其目的为最终将扫射光965耦合准直的，无光学畸变的进入光波导元件940。反射光被凸透镜980校正后形成了准直无畸变的(平行)光，准直(平行)光被耦合元件942耦合进入光波导元件940中传导至人眼球前方被成像耦合光学元件944耦合射出，光射出至眼球结构上。

波导的特征包括(a)几何式光波导和“半透半反”镜面阵列；(b)衍射式光波导和表面浮雕光栅；(c)衍射式光波导和全息体光栅。

扫描光路径特征：正弦余弦函数，还包括光栅扫描路径、Lissajous图案，rhodonea曲线，圆形路径，椭圆路径等。

对图5所示出的，为图3中所示出的眼动追踪系统900中发射光源的另一种扫描光射入的实施例-光源阵列入射扫描的方法。

进一步，计算注视点位置的方法包括：例如如图20所示，将扫描光入射到眼睛上的另一种替代性光学方案。本方案为准直(平行)扫描光的入射到眼睛表面的另一种更完善的替代性光学方案。该方案最大的不同在于增加了弯曲的透射光学元件996，其内侧具有对特定波长或波长范围的光进行反射作用的反射涂层998，并且透射光学元件996的弯曲曲率近似与人眼眼球的曲率，使得在透射光学元件996上反射光能够准直的穿过眼球210的瞳孔，最终光打在视网膜上。相对于图3和图5所提供的波导镜片940和成像耦合光学元件944的出射光方案，该方案的优势在于可进一步提高眼动追踪的精度，由于光准直的射在视网膜上，所以降低了入射位置的误差。其中，反射涂层998可以被配置为反射特定波长范围内的不可见光(例如，红外光)，而波长相关反射涂层998可以被配置为透射可见光。在一些情况下，波长相关反射涂层998可以设置在弯曲透射光学元件996的表面上。如图20，本方案投影仪光源发射出准直的准直(平行)扫描光到耦合光学元件952进入光波导元件940，其中投影仪光源可以为MEMS扫描光方案(图3扫描光方案)或者微型显示投影源(图5扫描方案)在此不对发射光源做过多描述，扫描光经耦合元件952耦合达到全反射角度条件，进而光在波导940中传导至内耦合光学元件954处。光被内耦合光学元件954耦合准直射向弯曲的透射光学元件996所在方向，光准直的穿出波导元件940入射在弯曲透射光学元件996的反光涂层998上，然后扫描光被弯曲透射光学元件996镜面反射射向眼球210。其中光准直穿过耦合元件954和944到达眼睛210，耦合元件944被设置为内表面(靠近996一侧)不具备耦合作用，外表面(靠近眼睛210一侧)具备耦合光作用，耦合元件954被设置为内表面(靠近眼睛210一侧)具备耦合作用，外表面(靠近996一侧)不具备耦合光作用。经眼睛210的视网膜的反射光被耦合元件944外表面耦合进入波导940，耦合角度达到全反射条件，最终反射光被光敏传感器捕获，进而计算眼球注视位置。

进一步，所述近眼显示设备用基于光波导镜片的视线追踪方法具体包括以下步骤：

第一步，控制系统根据用户或者应用场景给出此时此刻眼部特征的获取需求，控制系统根据需求控制光源发射系统和光信号的信息处理系统执行对应的程序；

第二步，光源影像系统接受控制系统发送的控制程序，光源影像根据需求发射不同形式的扫描光，所述需求包括根据控制系统发送的眼部不同的生理位置；

第三步，红外入射扫描光被光波导元件传导，红外入射光在光波导元件的成像处耦合射出，进而扫描光传至眼球生理结构处；当红外入射光耦合射出波导镜片时，以准直平行光扫描的形式射出，并保有原来的规律、频率、扫描路径；

第四步，扫描光经眼球生理结构上产生镜面反射红外光或散射红外光被光波导元件再次接收，光波导元件将反射光信息传导至光敏传感器矩阵；

第五步，光敏传感器矩阵接受光波导成像元件传输的反射光；

第六步，光信号的信息处理系统，根据控制系统的指令执行不同的光电信息处理程序，处理结果包括眼动追踪、瞳孔直径、虹膜识别、屈光度检测。

进一步，第一步，眼部特征需求包括：眼动追踪、瞳孔直径、虹膜识别、屈光度检测、眼部健康监/检测；

所述眼动追踪包括：以一字光线的形式射出，光束以特定的二维路径扫射；扫射路径所形成的二维图案具有规律、周期性；

所述瞳孔直径，通过准直平行光照亮虹膜、瞳孔；

所述虹膜识别和眼部健康监/检测通过准直平行光照亮虹膜；

所述屈光度检测通过准直平行光照亮视网膜；

发射光源的方法包括通过MEMS扫描镜和特定曲率的凸透镜相结合实现发射准直平行光。

进一步，第二步中，发射光源发射的是红外不可见光或可见光，光源是单点激光或矩阵光源，所述光源矩阵为多个单点激光组成的二维光源组。

进一步，第三步中，扫描光被光波导元件的传导至眼球正前方耦合而出射入眼睛上；

所述扫描光路径包括：在Tn时刻波导镜片耦合射出的单点激光的坐标位置(x1，y1)，在T(n+1)时刻时波导镜片耦合射出的单点激光的坐标位置(x2，y2)，继续推演，在一段连续的时间内的每个时刻都有对应的出射光位置坐标，将这段时间内的每个出射光连接起来形成扫描光路径；

扫描光的扫描路径为正弦函数，扫描路径稠密的覆盖眼球的表面；

在一个扫描周期内，正弦函数路径上的每个位置坐标(X，Y)都有对应的“时间T”，扫描路径上S1位置对应着t1，S2对应着t2时刻，S3对应着t3时刻，当扫描光经过S3位置为眼睛的视觉中心，扫描光径直射入到视网膜中央凹区域，该时刻在该区域的反射光强度最大；

一个扫描周期配置为完整覆盖眼部一个来回扫描路径所用的时间，并且周期可被预先设置。

进一步，光波导元件为成像耦合光学元件，将来自照明源的光通过波导耦合到用户的眼睛，使得来自照明源的光照射眼睛；

所述成像耦合光学元件包括多个衍射光学元件DOE；第一DOE被配置为将来自用户的眼睛的光耦合到波导中以由光敏传感器/相机接收；

第二DOE被配置为将来自图像投影光源的光耦合出波导；用户的眼睛将图像内容投影到用户的视野中；

第三DOE被配置为将来自光源的光从波导耦合到用户的眼睛以照亮眼睛；

第一和第二DOE堆叠，来自用户前方环境的光通过第一DOE然后入射在第二DOE上，然后入射到第三DOE上并入射到用户眼睛上；

第一DOE和第二DOE集成在波导的单个元件或体积中；

第一DOE和第二DOE彼此叠加，记录在相同的介质中。

进一步，人眼视觉正前方的光波导成像元件(射出光的光学耦合元件)的任意平面位置(像素点位置)均发射出扫描光，并且发射任意大小、形状的扫描路径。

进一步，通过波导镜片将扫描光射入视网膜上，捕获视网膜反射光强度进行眼动追踪，不需要眼动校准；

MEMS扫描的角度通过控制系统给定的指令，通过MEMS扫描对入射光角度的控制，在对应波导镜片上的成像素点点处(光学耦合元件)射出扫描光，并且光波导成像元件上射出的扫描光路径为控制系统已知，同时射出扫描光的光波导元件还透过现实场景的环境光和虚拟全息影像光；

用户正在注视着现实环境或者全息影像时，只有在眼球注视方向上反向的扫描光射入眼低视网膜上的中央凹才获得最大的反射光亮度，在一个扫描周期内的某一时刻扫描光途径的位置恰恰将光完全射入至眼球视网膜中央凹位置为反射光亮度峰值，入射扫描光在光波导成像镜片上的二维平面位置也是眼球发出注视射线的位置；

最终通过动态的扫描光和光波导镜片共同作用实现免除眼睛运动向量与映射目标的映射校准。

进一步，第四步中，反射光信息包括视网膜反射光强度信息、虹膜和瞳孔、视网膜的影像信息；

反射光被光波导元件传回的光学方法包括：

从视网膜散射或反射的光穿过晶状体被光波导镜片接收，眼睛的瞳孔和来自视网膜的光为准直；该光垂直入射在波导镜片上；耦合光学元件被配置为将从视网膜反射光偏转一定的角度耦合到波导中，偏转的角度能使反射光在波导镜片中形成全反射，这样反射光就在波导镜中被传送至光电传感器/摄像头方向；

耦合传送的光仅是视网膜反射光的一部分，另外一部分光透光波导镜片射出；准直的内耦合光继续通过波导朝向光敏传感器/相机传播；

外耦合光学元件被配置为将视网膜反射光耦合偏转出波导并且传送到光敏传感器/相机方向，并通过波导镜片末端的另一光学耦合元件将视网膜反射光耦合出光波导元件送至光敏传感器/相机。

进一步，第五步光敏传感器矩阵接受光波导成像元件传输的反射光中，通过光耦合元件将反射光耦合射向光敏传感器，成像系统被配置成在眼睛处于不同位置时和不同时间对眼睛的各个部分成像；阶段A和B(如图1)指眼睛的不同方向期间眼睛的图像；光发射用于获得视网膜的反射光影像，在阶段A中眼睛指向与波导成垂直角度，并且同时对视网膜区域进行成像或者反射光强度检测；在阶段B中眼睛与波导成锐角定向时，对视网膜的区域进行成像或者反射光强度检测。

进一步，第六步中，眼动追踪系统中光信号的处理流程包括：

光敏传感器检测从波导透镜收集的眼睛反射光和散射光；光敏传感器将光信号转化为电信号；输出由A表示(如图1)的电流信号，该信号被馈送到相应的电流转电压转换器，分别在电流电压转换器处示出的跨阻抗放大器TIA；电流电压转换器分别为每个光敏传感器输出电压V；至此进入闪烁位置处理系统，用于确定闪烁的更准确位置；

来自光敏传感器和电流-电压转换器的电压信号也输入到比较器；每个比较器被配置为将接收的电压V与参考电压进行比较，并基于比较输出数字状态，由G表示；每个数字状态采用输出位的形式，使得当接收的电压信号超过参考电压时，输出数字状态G；比较器处的参考电压设置为达到闪烁幅度时电压值，或者设置为任何其他合适的值；在中断器处接收每个输出数字状态G；

当数字信号改变状态时，触发相应的中断以存储当前时间值，操作时钟的时钟状态；

输出导致生成的闪烁事件列表随时间变化，每个闪烁具有相应的时间值；闪烁位置处理系统利用如上所述的类似光束轨迹MEMS计算器将光源发光周期内的每个时间值与当前光源扫描光角度、扫描光轨迹的二维坐标、光波导镜片光耦合位置的相关联，综上，将二维的光源位置信息通过一维的时间信息来转换表示，系统检测到闪烁状态这一时刻即为此时眼睛的视觉中心，使用闪烁撞击相应光敏传感器时的已知红外入射光3此时的位置；采用MEMS反光镜作为入射光方案时，已知镜面扫描光角度和位置，计算闪烁的位置；使用比较器的信号输出来确定闪烁位置，不执行图像分析，以功率有效的方式执行闪烁跟踪。

进一步，第六步中，眼球追踪系统中光敏传感器眼球图像(瞳孔、虹膜)获取和处理方法包括：

如图14所示，给出了示例性眼睛图像信号处理流程300的示意性表示。这里描述的示例性处理是关于一个采样周期，并且在具有光电检测器125的眼睛跟踪系统的背景下。光电检测器125检测从波导透镜145收集的眼睛150反射光113和散射光。光电检测器125将光信号转化为电信号。输出由A表示的电流信号，该信号被馈送到相应的电流转电压转换器410，例如分别在410处示出的跨阻抗放大器(TIA)。电流-电压转换器410分别为每个光电检测器输出电压V。至此进入闪烁位置处理系统412，用于确定闪烁的更准确位置(闪烁为视网膜反射光最亮位置)。来自光敏传感器125和电流-电压转换器410的电压信号也输入到比较器422。每个比较器422被配置为将接收的电压V与参考电压进行比较，并基于比较输出数字状态424，由G表示。例如，每个数字状态424可以采用输出位的形式，使得当接收的电压信号超过参考电压时，输出数字状态G。例如比较器处的参考电压可以设置为达到闪烁幅度时电压值，或者设置为任何其他合适的值。接下来，在中断器426处接收每个输出数字状态G。当数字信号改变状态时，可以触发相应的中断426以存储当前时间值，例如操作时钟的时钟状态。输出导致生成的闪烁事件列表随时间变化，每个闪烁具有相应的时间值。闪烁位置处理系统412可利用如上所述的类似光束轨迹(MEMS)计算器将光源102发光周期内的每个时间值与当前光源102扫描角度相关联(光源102包括微信显示器、光源阵列、MEMS激光束)，在这里为本发明核心创新，巧妙的将二维的光源位置信息通过一维的时间信息来转换表示，系统检测到闪烁状态这一时刻即为此时眼睛的视觉中心，这也是将红外入射光103设置为动态的、渐进的、周期性发射的原因。可以使用闪烁撞击相应光敏传感器时的已知红外入射光103此时的位置。其中，如果采用的式MEMS反光镜作为入射光方案时，已知镜面扫描角度来计算闪烁的位置。因此，可以使用比较器输出来确定闪烁位置，而不执行图像分析。这可以允许以功率有效的方式执行闪烁跟踪。

进一步，第六步中，眼球追踪系统中光敏传感器眼球图像(瞳孔直径、虹膜识别)获取和处理方法进一步包括；

虹膜识别：根据光敏传感器矩阵获得瞳孔和虹膜反射的光影像，以图像识别、计算图像方式获得虹膜特征，用于生物信息识别、身份验证；

瞳孔直径的计算和虹膜识别是通过分析图像的形式完成，若采用入射光源和MEMS扫描镜的方式对比于矩阵式图形光源可以在保证同等分辨率的情况下大幅度降低光源上的发光元件的晶圆数量；MEMS扫描镜上的反光镜将不可见光IR扫描光束上的入射光线以极高的振荡频率反射到眼睛上，眼球生理结构包括角膜、虹膜、视网膜、视网膜上貌似血管或神经组织；MEMS扫描光束以单点光束、特定规则图形轨迹发射光源，光敏传感器在当前时刻探测眼睛上单点的反射光，再将放射光强度转变为单个像素点的灰度深浅，再将该时刻像素点灰度映射在MEMS激光束的扫描路径上，当一个扫描周期结束后可形成一张完整的眼睛灰度图；

来自电压转化器的所得电压信号也在求和点处被接收，并且该模拟电压信号和被传送到模数转换器，模数转换器模拟电压和信号转换为表示在采样周期中检测到的反射光的强度值的数字信号；

MEMS轨迹计算器接收来自MEMS扫描镜的同步信号，在采样周期期间指示扫描镜的当前扫描x位置和y位置的信号；计算器基于同步信号计算当前扫描角度；

根据扫描角度，由模数转换器输出的相加的数字信号被存储到灰度图像的帧缓冲器中的对应像素中以用于该特定角度，确定的数字和存储在适当的像素中，最终得到全帧缓冲器；每个像素存储检测到的强度信号，强度越高则该像素点的灰度越深，强度越低则该像素点的灰度越浅，最终形成与眼部特征对应的灰度图像；然后分析所形成的灰度图像以确定图像中的瞳孔的直径，或者用于虹膜识别；

在模数转换器数字信号经历伽马校正操作，将线性红色，绿色和蓝色分量的亮度变换为非线性图像信号，然后，该阶段将信号提供到灰度图像帧缓冲器中。

进一步，第六步中，眼睛屈光度检测的方法包括：

智能眼镜的波导镜片发射任何图案的准直光源影像，通过光波导镜片射入到视网膜中，在视网膜上成像；由于影像光源透过晶状体投在视网膜上的影像会根据晶状体的屈光度呈现出畸变或者不清晰的影像，视网膜上的影像反射被光波导镜片接收，经光学耦合使影像在波导光学器件中传导至摄像头/光敏传感器，最终智能眼镜系统获得视网膜上影像；智能眼镜系统将发射影像与视网膜反射影像对比分析，或者带入到屈光度算法中计算，即获得用户屈光度。

进一步，屈光度检测过程中用户观看在智能眼镜光学显示器内投射的图像；智能眼镜的波导镜片发射任何图案的准直光源影像；图像光源通过光波导镜片动态的射出几种不同视觉深度的图像到眼镜的视网膜上进行成像，此时计算机系统引导用户的眼睛聚焦在光波导镜片射出的不同深度的图像；视网膜反射的图像影像光被光波导镜片捕获进而通过耦合元件耦合进入光波导镜片内部达到全反射传导条件，视网膜的反射光影像被耦合元件耦合射向摄像头/光敏传感器，摄像头接收到视网膜反射光影像；计算机系统使用各种图像处理算法来确定何时适当地聚焦在图像上，并且随后确定用户的光学屈光度；

波导镜片被配置为适应光学元件，包括可变焦距元件VF)、具有多种深度的堆叠波导组件或光学元件。

进一步，第六步中，瞳孔识别虹膜识别包括：

通过图像分析、识别获得，眼球结构的图像获取是通过二维的矩阵式光敏传感器；在光敏传感器为二维的矩阵式光敏传感器时，光源同时发射足够的红外光到眼球的角膜、巩膜、虹膜位置，眼球表面的散射光被波导透镜收集散射光通过波导镜片发送至二维的矩阵式光敏传感器，散射光线被具有效孔径的聚焦光学器件聚光处理后再投射到光敏传感器，使得衰减的图像变得清晰，矩阵式光敏传感器上形成瞳孔和虹膜的数字图像。

本发明的另一目的在于提供一种实施所述近眼显示设备用基于光波导镜片的视线追踪方法的眼动追踪系统，所述眼动追踪系统包括HMD设备；

HMD设包括显示设备和框架，框架环绕用户的头部以在向用户提供虚拟现实或混合现实体验时将显示设备定位成靠近用户的眼睛，使用任何适宜显示技术和配置经由显示设备显示图像；

显示设备为不透明的发光二极管显示器，液晶显示器，直接用微机电系统MEMS作为显示器或任何其他合适类型的不透明显示器进行扫描；

提供向外的摄像机捕获周围环境的图像，并且这些捕获的图像与计算机生成的图像一起显示在显示器上；

框架支持HMD设备的附加组件，包括处理器，惯性测量单元IMU和眼动追踪系统；处理器包括逻辑和配置的相关计算机存储器接收来自惯性测量单元IMU和传感器的感觉信号，向显示设备提供显示信号，从收集的数据中导出信息，以及实施本发明所述的各种控制过程。

进一步，眼动追踪系统被配置为在头戴式显示器HMD中使用的眼镜波导镜片集成对眼睛成像功能；设置在用户眼睛前面的眼镜波导镜片用于将图像内容影像射入眼睛以及对眼睛上的散射光和反射光的捕获和传导，即获取眼睛上图像；

眼动追踪系统包括一对眼镜波导镜片和设置在相应的左眼和右眼前面的相关部件；

眼动追踪系统的照明源照射眼睛以促进反射光捕获或眼睛图像光源，眼镜波导镜片包括配置成在其中用于传播光的波导元件，和/或光敏传感器，用于眼睛反射光强度的捕获；

用于产生通过眼镜波导镜片入射光的照明光源用于改变入射光角度的微电机系统MEMS扫描镜；

光学凸透镜将不同角度的扫描光校正为规则的准直平行光，眼镜波导镜片包括一个或多个波导，被配置为来自照明源的光传输到眼睛并将光从眼睛传输到光敏传感器；眼镜波导镜片包括一个或多个耦合元件，所述耦合元件为光学耦合元件用于将光耦合出波导并耦合到眼睛，用于照射眼睛和用于捕获眼睛反射光，耦合至波导。

进一步，波导包括具有两个主表面的片或层，具有彼此相对设置的最大表面区域；当用户佩戴头戴式显示器时，前表面离用户的眼睛更远(，后表面更靠近用户的眼睛；波导包括折射率大于1.0的透明材料，使得光通过两个主表面之间时达到全内反射的条件；

波导包括一个或多个波导；一个或一个以上波导包括一堆叠波导；波导堆叠的不同波导被配置为输出具有不同景深发散的光；

耦合光学元件设置在波导之上或之中；耦合光学元件设置在用户眼睛和波导间的光路中，使得经由耦合光学元件从波导耦合的光入射在用户的眼睛上；耦合光学元件可以包括多个转向特征，被配置为将在波导内传导的光转向波导之外，或者使入射在耦合光学元件上的光以一定角度转向波导，以通过全内反射在其中传导；

照明源被配置为经由内耦合光学元件将光传导到波导的至少一个主表面中；

探测器矩阵包括一个或多个成像装置，包括光电二极管，电荷耦合器件，基于CMOS的传感器，Shack-Hartman波前传感器；

探测器矩阵被配置为一个或多个硅光电倍增管SiPM传感器捕获反射光，SiPM传感器是一种光电二极管传感器，由于检测光而产生电响应；

扫描镜为基于MEMS的二维扫描镜，用于接收照明光源发射的光经过凸透镜和波导元件入射在眼睛区域上；

本发明的另一目的在于提供一种实施所述近眼显示设备用基于光波导镜片的视线追踪方法用户可穿戴诊断健康系统和眼部疾病诊断设备，所述用户可穿戴诊断健康系统通过眼动追踪成像系统获取眼部图像，眼部图像用于检测眼睛的各种特征并检测任何异常，并确定一种或多种健康状况或缺陷。

本发明的另一目的在于提供一种应用所述近眼显示设备用基于光波导镜片的视线追踪方法的眼动追踪视线控制系统。

本发明的另一目的在于提供一种应用所述近眼显示设备用基于光波导镜片的视线追踪方法的近眼显示设备。

综上所述，本发明的优点及积极效果为：本发明基于智能眼镜上的眼动追踪技术方案是全球领先的。通过MEMS扫描镜技术发射扫描光，扫描光被光波导镜片传导耦合射入到人眼视网膜内，通过视网膜反射光的分布强度和扫描光的轨迹来实现眼动追踪。

与现有技术相比，本发明具有以下优势：

(1)低功耗：利用MEMS扫描镜技术在周期内射出能够形成规律的二维扫描路径到眼球表面，通过本发明的方案将平面位置坐标(x，y)与时间坐标一一对应，巧妙的将二维信息转化为一维信息，使得处理的信息简单，避免了复杂的图像处理和计算，降低了功耗。

(2)免眼动校准：通过在眼睛前方的光波导镜片中射出动态的扫描光至眼球表面，即通过接受分析扫描光的反射光，间接替代了眼动运动向量与注视对象之间的映射关系；其中，MEMS扫描的角度是通过控制系统给定的指令，通过MEMS扫描对入射光角度的控制等同于传统显示器控制像素点成像的效果，并且光波导成像元件通过生产前期的光学设计可控已知，因此使得射出的扫描光路径在光波导镜片上已知，同时射出扫描光的光波导元件还可以透过现实场景的环境光和虚拟全息影像光。当用户正在注视着现实环境或者全息影像时，只有在眼球注视方向上反向的扫描光射入眼低视网膜上的中央凹才可以获得最大的反射光亮度，即在一个扫描周期内的某一时刻扫描光途径的位置恰恰可以将光完全射入至眼球视网膜中央凹位置，此时入射扫描光在光波导成像镜片上的二维平面位置也是眼球发出注视射线的位置。因此，本发明通过动态的扫描光和光波导镜片共同作用实现了免除眼睛运动向量与映射目标的映射校准。

(4)功能完全：同一种技术方案同时兼容眼动追踪、瞳孔直径、虹膜识别、屈光度检测。仅需要改变入射光的形式和数据计算的方式，不需要在硬件结构上做过多的改动，能够满足智能眼镜更多的应用场景，进一步降低功耗，提升智能眼镜产品的用户体验。

(5)眼睛屈光度检测方法：本发明提出了一种智能眼镜上眼睛屈光度检测的方法，这项功能本领域技术都所不具备的。现有技术是通过结合用户自己的矫正眼镜与智能眼镜同时佩戴来达到近视眼患者能够观看清晰的全息影像，但是这种方式不仅佩戴繁琐、不舒适、影响眼动追踪定位，而且对近视/远视的人群并不友好，使得在普通消费人群中流失大量的潜在用户，阻碍了智能眼镜行业发展因素之一。本发明的屈光度检测方法再结合成像光学镜片的自动变焦技术即可解决上述问题。另外，本发明所提供的屈光度检测方法可以为智能眼镜的成像质量、眼动追踪的识别精度提供很好的优化效果。

(6)MEMS扫描镜发射光源发射光的方案是个创新点。由于本发明要求射出的是准直(平行)光，但是如果通过MEMS扫描光则会出现角度不同一，经过波导镜片内部传导耦合射出后会是一种凌乱无规则的光射在眼球上。本发明通过MEMS扫描镜和特定曲率的凸透镜相结合进而实现发射准直(平行)光的效果。相比于矩阵发射光源技术方案，MEMS扫描光方案造价更低，功耗更小，更重要的是波导镜片耦合处具有更大的眼镜扫描范围。

MEMS扫描镜发射的连续不断、周期性的扫描光通过光波导元件传送至人眼视觉前方耦合而出，在眼睛表面形成特定的扫描路径，某时刻一些光射入到视网膜上；视网膜上的反射光被视觉前方的光耦合元件接收耦合进入光波导元件，进而传送至光敏传感器。根据视网膜的反射光分布强度，扫描光的时间周期，将二维的扫描光路径位置信息转换成一维的时间信息计算注视点位置。本眼动追踪技术不仅功耗低，体积小，采样率高等特点，而且本眼动追踪不需要眼动校准；本发明可同时提供眼球追踪、瞳孔识别、虹膜识别、屈光度检测、眼部健康检测多种功能的无缝切换，节省功耗；还可以通过视网膜上的生物特征进行验证识别，加强了安全性。

附图说明

图1是本发明实施例提供的近眼显示设备用基于微机械系统(MEMS)和光波导光学元件的视线追踪、瞳孔直径、虹膜识别、屈光度检测方法流程图。

图2是本发明实施例提供的具有眼动追踪系统的智能眼镜(HMD)设备的侧透视图示意图。

图3是本发明实施例提供的在眼动追踪系统900，MEMS扫描镜射出扫描光和扫描光在波导镜片中传导的原理示意图。

图4是本发明实施例提供的图3中眼动追踪系统中MEMS扫描镜示意图。

图4A为图3中眼动追踪系统900中MEMS扫描990镜示意图。图4B是描绘类似于扫描镜990的扫描镜的照片；图4C描绘了适合于驱动扫描镜的电气装置，该扫描镜对每个旋转轴采用等温致动器。

图5是本发明实施例提供的示出了图3眼动追踪系统900中发射光源的另一种扫描光射入的实施例-光源阵列入射扫描的示意图。

图6是本发明眼动追踪系统900正以正弦波路径的扫描光从波导镜片射出至眼睛的示意图。

图7是本发明实施例提供的为眼球扫描路径的主视图。

图8是本发明实施例提供的免除眼动追踪校准原理示意图。

图9是本发明实施例提供的对比于图7正弦扫描路径另外一种替代性的光栅扫描路径图。

图10是本发明实施例提供的对比于图7正弦扫描路径另外一种替代方案图。

图中：A，对比于图7正弦扫描路径另外一种替代性的纵向一字扫描一字扫描路径；B，对比于图7正弦扫描路径另外一种替代性的横向向一字扫描一字扫描路径图。

图11是本发明实施例提供的示出了波导镜片收集反射光，并将视网膜反射光通过波导传送至光敏传感器的过程图。

图12是本发明实施例提供的示意性地示出了成像系统如何能够对例如视网膜的眼睛的各个部分发射扫描光和成像，这可以使得能够确定眼睛的取向并且跟踪眼睛位置图。

图13是本发明实施例提供的眼动追踪系统中光信号的处理流程图。

图14是本发明实施例提供的眼球追踪系统中光敏传感器眼球图像(瞳孔、虹膜)获取和信号处理流程的示意图。

图15是本发明实施例提供的人眼球的截面图。

图16是本发明实施例提供的人眼中的视杆和视锥光接收器的数量随着通过视盘的平面中的中央凹的角度变化的曲线图。

图17是本发明实施例提供的作为波长的函数的人视网膜的反射率随光谱的可见光和红外区域的变化的曲线图。

图18是本发明实施例提供的人眼中不同类型的视锥受体和视杆受体的波长响应性的图。

图19是本发明实施例提供的光线进入眼睛后被视网膜反射示意图。

图19A是正常情况下光进入人眼在视网膜上反射光的示意性侧视图；图19B是准直的扫描光线进入眼睛后被视网膜和虹膜反射示意图；图19C：是本发明实施例提供由眼睛反射的光的强度的曲线图，给出了来自视网膜的照射反射的变化作为角度的函数图(通过改变瞳孔偏移而变化)；图19D是本发明实施例提供的反射分量的波长依赖性图。图19E是图示了根据照明波长而产生的视网膜反射率变化的曲线图。

图20是本发明实施例提供的将扫描光入射到眼睛上的另一种替代性光学方案图。

图21是本发明实施例提供的3种光波导耦合元件的原理示意图。

图中：(a)几何式光波导和“半透半反”镜面阵列的原理示意图,(b)衍射式光波导和表面浮雕光栅的原理示意图，(c)衍射式光波导和全息体光栅的原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种近眼显示设备用基于光波导镜片的视线追踪方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的近眼显示设备用基于光波导镜片的视线追踪方法包括以下步骤：

S101：控制系统根据用户或者应用场景给出此时此刻眼部特征的获取需求，控制系统根据需求控制光源影像的发射系统和光信号的信息处理系统执行对应的程序。

S102：影像光源系统根据需求发射不同形式的红外入射扫描光，需求根据控制系统发送的眼部特征。

S103：红外入射扫描光被光波导元件传导，红外入射光在光波导元件的成像处耦合射出，进而扫描光传至眼球生理结构处；当红外入射光耦合射出波导镜片时，是以准直(平行)光扫描的形式射出，并保有原来的规律、频率、扫描路径；

S104：扫描光经眼球生理结构上产生反射红外光或散射红外光被光波导元件再次接收，光波导元件将反射光信息传导至光敏传感器矩阵。

S105：光敏传感器矩阵接受光波导成像元件传输的反射光。

S106：光信号的信息处理系统，根据控制系统的指令执行不同的光电信息处理程序，处理结果包括眼动追踪、瞳孔直径、虹膜识别、屈光度检测。

下面结合具体分析对本发明作进一步描述。

本发明实施例提供的近眼显示设备用基于光波导镜片的视线追踪方法具体包括以下步骤：

步骤一：控制系统根据此时用户或者应用场景给出此时此刻眼部特征的获取需求，控制系统根据需求控制光源影像的发射系统和光信号的信息处理系统执行对应的程序，其中眼部特征需求包括如下五个：眼动追踪、瞳孔直径、虹膜识别、屈光度检测、眼部健康监/检测。

步骤二：光源影像的发射系统接受控制系统发送的控制程序，光源影像光源根据需求发射不同形式的扫描光。发射光源发射的是红外不可见光，红外功率不会对人体造成损害。光源可以是单点激光，也可以是矩阵光源(光源矩阵，多个单点激光组成的二维光源组)或扫描光，包括如下；

1)眼动追踪：以单点光束的形式射出，光束以特定的二维路径扫射。扫射路径所形成的二维图案是规律的，具有周期性的。

2)瞳孔直径：准直(平行)光，可照亮虹膜、瞳孔。

3)虹膜识别：准直(平行)光，可照亮虹膜。

4)屈光度检测：准直(平行)光，可照亮视网膜；发射光源的方法包括通过MEMS扫描镜和特定曲率的凸透镜相结合实现发射准直平行光。

图2示出了具有眼动追踪系统的HMD设备1的侧透视图。在图2的示例中HMD设备1包括显示设备3和框架5，框架5环绕用户的头部以在向用户提供虚拟现实或混合现实体验时将显示设备3定位成靠近用户的眼睛。可以使用任何合适的显示技术和配置来经由显示设备3显示图像。对于虚拟现实体验，显示设备3可以是不透明的发光二极管(LED)显示器，液晶显示器(LCD)，直接用微机电系统(MEMS)作为显示器或任何其他合适类型的不透明显示器进行扫描。在一些情况下，可以提供向外的摄像机7，其捕获周围环境的图像，并且这些捕获的图像可以与计算机生成的图像一起显示在显示器上，该图像增强了捕获的真实环境图像。

对于混合或增强现实体验，显示设备3可以是至少部分透明的，使得HMD设备1的用户可以通过显示虚拟对象的一个或多个部分透明像素来查看物理环境中的物理真实世界对象。例如，显示装置3可以包括图像产生元件，例如透明有机发光二极管(OLED)显示器或与光波导元件结合使用的MEMS。显示设备3可以是至少部分透明的，使得HMD设备1的用户可以通过显示虚拟对象表示的一个或多个部分透明像素来查看物理环境中的物理真实世界对象。

框架5还可以支持HMD设备1的附加组件，包括处理器8，惯性测量单元(IMU)9和眼动追踪系统10.处理器8可以包括逻辑和配置的相关计算机存储器接收来自IMU9和其他传感器的感觉信号，向显示设备3提供显示信号，从收集的数据中导出信息，以及实施本发明所述的各种控制过程。

图3示出了示例性眼动追踪系统900，MEMS扫描镜射出扫描光和扫描光在波导镜片中传导的原理示意图。其被配置为可以在头戴式显示器(HMD)中使用的眼镜波导镜片950集成对眼睛成像的功能。可以设置在用户眼睛210前面的眼镜波导镜片950可以用于将图像内容影像射入眼睛以及对眼睛上的散射光和反射光的捕获和传导，即获取眼睛上图像。图3示出了一只眼睛210前面的一个眼镜波导镜片950和设置在相应的左眼和右眼210前面的相关部件。图3中示出了单个波导元件940。波导940可包括一个，两个，三个，四个，六个，七个，八个或更多个波导堆叠而成。

眼动追踪系统900的照明源960可照射眼睛以促进视网膜反射光捕获或眼睛图像，眼镜波导镜片950配置包括用于传播光的波导元件940，和/或光敏传感器920，例如用于眼睛反射光强度的捕获。还示出了用于产生可以通过眼镜波导镜片950的入射光照明光源960。用于改变入射光角度的微电机系统MEMS扫描镜990。光学凸透镜980将不同角度的扫描光965校正为规则的准直(平行)光。眼镜波导镜片950可以包括一个或多个波导940，其被配置为将来自照明源960的光传输到眼睛，并将眼睛的反射光传输到光敏传感器920。眼镜波导镜片950还可以包括一个或多个耦合元件，包括944、942、952，例如光学耦合元件944，用于将光耦合出波导940并耦合到眼睛，用于照射眼睛和用于捕获眼睛反射光，将眼睛反射光耦合至波导940。

下面结合波导镜片940对本发明作进一步描述。

在本发明实施例中，波导940，可包括具有两个主表面(前表面和后表面)的片或层，其具有彼此相对设置的最大表面区域。当用户佩戴头戴式显示器时，前表面可以离用户的眼睛210更远(更靠近佩戴者前方的环境)，后表面更靠近用户的眼睛(并且更远离佩戴者前方的环境)。波导940可以包括折射率大于1.0的透明材料(例如，玻璃，塑料，树脂)，使得光可以通过两个主表面之间时达到全内反射的条件，光可以在其中传播。具有相同数字的元件可以具有与本文描述的一个或多个实施例相同的功能。

波导940可以包括一个或多个波导。在一些实施方案中，一个或一个以上波导940包括一堆叠波导。在一些设计中，例如，波导堆叠的不同波导被配置为输出具有不同景深发散的光，就好像从用户眼睛的不同距离投射一样。例如，第一波导或一组波导可以被配置为输出准直或具有第一发散的光，就像从第一深度投射一样，并且第二波导或一组波导可以被配置为输出发散的光(没有准直)或处于第二个发散(大于第一个发散)，好像从比第一个深度更近的第二个深度投射。在某些设计中，不同的波导可以被配置为输出具有不同相关颜色的光。例如，第一波导可以被配置为输出红光，第二波导可以被配置为输出绿光，第三波导可以被配置为输出蓝光。第四波导可以配置为输出和/或输入红外光。

下面结合944成像耦合光学元件对本发明作进一步描述。

在本发明实施例中，944耦合光学元件。

用于将光从波导940耦合到眼睛的成像耦合光学元件944可以设置在波导940之上或之中。成像耦合光学元件944可以设置在用户眼睛210和波导940之间的光路中，使得经由成像耦合光学元件944从波导940耦合而出的光可以入射在用户的眼睛210上(例如，照亮眼睛和/或图像注射)。成像耦合光学元件944可以包括多个转向特征，其被配置为将在波导940内传导的光转向波导之外(光射向眼睛方向)，或者使入射在成像耦合光学元件944上的光以一定角度转向波导940内，以通过全内反射在其中传导。成像耦合光学元件944和转向特征可以与波导940物理接合。如图21成像耦合光学元件944的种类可以包括(a)几何式光波导和“半透半反”镜面阵列；(b)衍射式光波导和表面浮雕光栅；(c)衍射式光波导和全息体光栅。成像耦合光学元件944可以包括设置在波导940上的层，或者可以形成在波导940中。光学元件可以通过改变材料的折射率来形成体全息或其他衍射光学元件。

根据设计，成像耦合光学元件944可以是透射的或反射的，并且可以透射或反射操作。例如，成像耦合光学元件944可以包括透射、反射的衍射光学元件(例如，光栅)或全息光学元件。成像耦合光学元件944可包括偏振光学元件，例如偏振选择性转向元件(例如，偏振器)。偏振选择性转向元件可以包括一个或多个偏振光栅，衍射光学元件和/或全息光学元件，并且可以包括液晶结构，例如液晶偏振光栅。

成像耦合光学元件944可以被配置为以小于临界角的角度，成像耦合光学元件944将来自在波导940内被光传导的图像投影光源960的光通过全内反射(TIR)传导到用户的眼睛210。超过临界角，以便从波导射出到眼睛。附加地或替代地，成像耦合光学元件944可以被配置为将来自眼睛210的光以比临界角更大的角度耦合到波导940中，以便通过全内反射在其中传导相机/光敏传感器920。

耦合光学元件942、944、952三者具有相似的物理属性，它们可包括反射光学元件(例如，镜子)。例如，内耦合光学元件942可包括离轴反射器。附加地或替代地，内耦合光学元件942、952或成像耦合光学元件944可包括偏振光学元件，例如偏振选择性转向元件(例如，偏振器)。偏振选择性转向元件可以包括一个或多个偏振光栅，衍射光学元件和/或全息光学元件，并且可以包括液晶结构，例如液晶偏振光栅。

例如，内耦合光学元件942、952和/或成像耦合光学元件944中的一个或两个可包括液晶偏振光栅(LCPG)。LCPG可以在宽波长下提供高效衍射。因此，LCPG可用于耦合光学元件942、952和/或成像耦合光学元件944。LCPG可以是偏振相关的。LCPG或其他类型的液晶光栅，衍射光学元件或光学元件可以包括液晶分子的图案或排列，其被配置为提供一种或多种功能，例如将光转向波导或波导。因此，内耦合光学元件942、952和/或成像耦合光学元件944可包括偏振光栅。

另外内耦合光学元件942或成像耦合光学元件944、952可以包括液晶，因此在一些实施方式中，一个或两个可以是液晶光栅或液晶衍射光学元件。附加地或替代地，内耦合光学元件942、952和/或耦合光学元件944中的一个或两个可以包括闪耀光栅。在一些设计中，内耦合光学元件942包括液晶反射器，例如胆甾型液晶反射透镜(例如，反射型液晶衍射透镜，布拉格反射结构，反射型液晶衍射光栅等)。内耦合光学元件942、952和/或成像耦合光学元件944的设计不限于这些并且可包括其他类型的光学元件。衍射光学元件，液晶光学元件，液晶光栅和液晶偏振光栅。关于诸如反射器的胆甾型液晶结构的实例的进一步信息也可以在下面标题为“胆甾型液晶镜”的部分中找到

如上所述，其他液晶光学元件以及其他非液晶光学元件都可以使用在本发明中。因此，许多类型的耦合光学元件(例如，耦合光学元件942、952和/或成像耦合光学元件944)，衍射光学元件，可以使用光栅，偏振光栅等，这些都是本文所述的那些，以及其他类型的光栅，衍射光学元件，液晶元件和光学元件。

下面结合942光学耦合元件对本发明作进一步说明。

用于将来自照明源960和MEMS反射镜990的光耦合到波导940中的内耦合光学元件942可以设置在波导940上或波导940中。内耦合光学元件942可以设置在光波导940之间的光路中。光源960和波导940使得从光源960经由内耦合光学元件942耦合的光在波导940内被传导。内耦合光学元件942可以被配置为转向光入射的多个转向特征。在其上以一定角度进入波导镜片940，通过全内反射在其中传导。内耦合光学元件942可以包括液晶结构，例如液晶偏振光栅。另外或者，内耦合光学元件942可包括闪耀光栅。内耦合光学元件942可以包括设置在波导940上的层，或者可以形成在波导940上或波导940中(例如，图案化的)，或者可以在其中制造。例如，表面全息或衍射光学元件(例如，表面浮雕光栅)可以通过图案化(例如，蚀刻)波导的表面或其上的层来制造。还可以通过改变包括波导或设置在其上的层的材料的折射率来形成体全息或衍射光学元件。因此，内耦合光学元件942可以设置在波导940的体积中或设置在其上的层中。根据设计，内耦合光学元件942可以是透射的或反射的，并且可以透射或反射操作。例如，内耦合光学元件942可以包括透射或反射衍射光学元件(例如，光栅)或全息光学元件，其分别在透射或反射中操作，例如，转向通过其透射或从其反射的光。在各种实施方式中，内耦合光学元件942可以被配置为将来自图像投影光源960的光以大于临界角的角度耦合到波导中，以便在波导940内被全内部传导。用户眼睛210的眼睛反射。

下面结合952耦合光学元件对本发明作进一步说明。

外耦合光学元件952，用于将来自波导940的光耦合到相机/光敏传感器920，外耦合光学元件952的实施例可以包括多个转向特征，这些转向特征被配置成以一定角度转向入射在其上的光，使得光不在波导内传导并且从波导转向相机/光敏传感器。向外耦合光学元件952可以设置在波导940的内部，或者可以在波导940的表面(例如，主表面)中或表面上图案化(例如，蚀刻)。例如，表面全息或衍射光学元件。(例如，表面浮雕光栅)可以通过图案化(例如，蚀刻)波导的表面或其上的层来制造。还可以通过改变包括波导或设置在其上的层的材料的折射率来形成体全息或衍射光学元件。取决于设计，外耦合光学元件952可以是透射的或反射的，并且可以透射或反射操作。例如，外耦合光学元件952可以包括透射或反射衍射光学元件(例如，光栅)或全息光学元件，其分别在透射或反射中操作，例如，转向通过其透射或从其反射的光。外耦合光学元件952可以被配置为以小于临界角的角度在波导940内传导的重定向光，以便不通过全内反射在波导内被传导但是被射出到相机/光敏传感器920。

在各种设计中，成像耦合光学元件944在可见光谱中可以是透明的，使得用户可以通过成像耦合光学元件944和眼镜波导镜片950看到用户前方的环境。内耦合光学元件942还可以转动可见光谱中的光，例如，如果内耦合光学元件用于接收来自照明源960被配置为输出可见光以照亮眼睛210可见光。在一些实施例中，如果照明源960被配置为输出红外光用于照射眼睛210，则内耦合光学元件942被配置为转向红外光。在一些设计中，内耦合光学元件942可以比外耦合光学元件952更靠近内侧鼻子。在某些实施方式中，例如图3所示，外耦合光学元件952可以与内耦合光学元件942相邻，尽管可以进行非相邻定位。

下面结合照明源960对本发明作进一步说明。

照明源960射出的激光可配置为脉冲模式或连续激光模式。脉冲模式为周期性的发射断断续续的激光(扫描光轨迹为虚线)。连续模式为连续不断的实线。

照明源960可以被配置为经由内耦合光学元件942将光传导到波导940的至少一个主表面中。光源960可以被配置为发射不可见光(例如，红外线)。光源960可包括一个或多个LED、激光器或其他光源。LED可以包括红外LED。光源960可以配置为激光(例如，红外激光器、垂直腔面发射激光器(VCSEL)其特征在于具有“环形”强度分布的基本上圆形的光束)。由照明源960发射的光可以包括特定波长范围的光，例如不可见光。照明源960可以被配置为将不可见光(例如，红外)投射到眼睛210上用于对眼睛210的一个或多个部分(例如，角膜，视网膜，虹膜)进行成像。在某些示例性实施方式中，光源960可以被配置为发射约850nm至940nm范围内的光。光源960可以配置成发射在至少约20nm的波长范围上延伸的光。其他范围也是可能的。发射的波长范围可以是5nm，10nm，15nm，50nm，75nm，100nm，150nm，200nm，或这些值中的任何值之间的任何范围。

当图3所示眼动追踪系统900正在眼动追踪任务时，光源960被配置为一个或几个激光发射出形状为圆点、环形或者一字、十字的持续不断的红外不可见光，其中红外不可见光的在保证对人体安全的情况下选择信号清晰、噪声小的强度或者功率或者波长。当眼动追踪系统900正在虹膜识别、瞳孔直径、屈光度检测任务时，照明源960可根据需求配置为发射可见光或者不可见光，光被传导到眼睛中以照亮眼睛以进行图像捕获，并且可以根据需求任意的改变发射光的图案(例如圆形、环形等)。

下面结合探测器矩阵920对本发明作进一步说明。

可包括光敏传感器/相机920可包括检测器矩阵和成像光学器件。探测器矩阵可包括例如一个或多个成像装置或光电二极管(例如，基于硅的，锗基于红外光，光电倍增管(PMT)，电荷耦合器件(CCD)，基于CMOS的传感器，Shack-Hartman波前传感器等，并且成像光学器件可包括一个或多个透镜。一个或多个透镜可以具有正光焦度和相关的焦距。在某些设计中，相机/光敏传感器920聚焦在无穷远处。例如，光学器件可以具有焦距f，并且探测器矩阵可以与对应的光学器件设置一定距离，使得远距离处的物体成像到探测器矩阵上。类似地，来自眼睛的光或环境中的物体将聚焦在探测器矩阵上以在其上形成眼睛或物体的图像。

其中探测器矩阵920还可以被配置为一个或多个硅光电倍增管(SiPM)传感器捕获反射光(例如，光子)，SiPM传感器是一种光电二极管传感器，其由于检测光而产生电响应。该电响应可用于测量和表征检测到的光。SiPM传感器特别有益，因为它们提供具有相对低电压输出的高增益信号。此外，它们提供非常快速的响应。SiPM传感器具有快速响应，无论信号强度如何，由于其快速雪崩过程和各个微电池的淬火。这使得SiPM传感器能够以比标准大面积光敏传感器高得多的调制频率和更高的输出信号运行。

因为SiPM传感器具有高增益，所以SiPM传感器的输出信号可以立即加载到柔性电路上，而不必首先通过另外的放大器(例如，跨阻放大器)。实施例简化了设计过程并使眼动追踪系统消耗更少功率与传统方法相比。当IR激光透过波导显示器时，整个组件对用户来说不太明显。

在击穿之上发生的模式被称为“盖革模式”，其是SiPM传感器通常操作的模式。SiPM传感器能够以盖格模式操作，因为它是外部偏置的。如前所述，SiPM传感器包括许多并行操作的微电池。每个微电池都是一系列雪崩光电二极管和淬灭电阻的组合。因为这些微电池以并联方式连接，所以SiPM传感器包括阴极(例如，图3中所示的阴极315)和阳极(例如，阳极320)。由于外部偏置，雪崩光电二极管在击穿之上工作，这导致SiPM传感器在盖革模式下工作。因此，作为在盖革模式下操作的结果，SiPM传感器提供相对高的增益。另外，

因为SiPM传感器以盖革模式操作，所以存在与SiPM传感器的输出信号(即电响应)相关联的光学增益。该增益会增加输出信号的强度。信号强度的这种增加允许选择使用较少功率并且制造成本较低的模数转换器(下文称为“ADC”)。

光敏传感器/相机920可以设置在波导940的与照明源960和/或眼睛210相对的一侧。在一些设计中，光敏传感器/相机920可以设置在波导940的同一侧，如同光源960和/或眼睛210。如图3所示，光敏传感器/相机920可以设置在眼镜波导镜片950的横向或临时边缘附近，尽管其他位置也是可能的。

下面结合MEMS扫描镜990对本发明作进一步说明。

扫描镜990是一种基于MEMS的二维扫描镜，用于接收照明光源960向其发射的光965经过凸透镜980和波导元件940入射在眼睛区域上。

图4A为图3中眼动追踪系统900中MEMS扫描镜990非限制性说明示意图。扫描镜990包括镜子502，φ-致动器504，θ-致动器506和锚508，它们设置在基板510上。扫描镜206是基于MEMS的二维扫描镜，适合于通过平面处理技术制造。优选地，扫描镜990适用于传统CMOS铸造厂的制造。

镜子502“晶体管”是基本上为方形的单晶硅板。在一些实施例中，为镜子502包括高反射材料(例如金)的表面层，以增强其反射率。镜子502可相对于基板移动510并且与每个φ致动器可操作地连接504在一些实施例中，镜子502和θ-致动器506包括适合用作MEMS结构材料的不同材料，例如多晶硅，碳化硅，硅锗，III-V半导体，II-VI半导体，复合材料等。在一些实施例中，镜子502具有方形以外的形状，例如圆形，椭圆形，不规则形状等。

本发明的一个方面是使用电热机械致动器来控制镜子502的旋转轴位置，本发明的实施例具有显着的益处，包括：

CMOS兼容工作电压(3.3V)。

占地面积小(本实施例为700μm×700μm)。

大角度偏转(2自由度机械>45度)。

低功率(<10mW)；高速(≥5-kHz共振)。

低成本。

本发明的实施例优选地为每个φ-致动器504和θ-致动器506使用电热机械执行器。此外，我们还建议φ-致动器504和θ-致动器506都是等温致动器，因为等温致动器可以减轻由于旋转轴之间的热耦合而产生的寄生效应。对于本规范的目的，“等温操作”定义为在整个操作范围内以恒定的功耗运行。以等温方式操作的装置或系统在其操作范围内消耗恒定功率，这导致进入和离开装置或系统的稳态热流。例如，等温致动器是在其整个操作范围内以恒定功率操作的致动器。在一些情况下，等温致动器包括多个致动元件，其中至少一个致动元件以非等温方式操作；然而，多个致动元件布置成使得它们共同以等温方式操作。

φ-致动器504是一个等温扭转执行器，用于旋转板502关于φ轴，其在所描绘的示例中与x轴基本对齐。φ-致动器504包括扭转元件512-1和512-2，每个机械耦合在镜子之间502和锚点508通过梁514是包括相同的结构材料如镜刚性连杆502(即单晶硅)。

每个扭转元件512-1和512-2包括多个双压电晶片516，它们被分组为操作组。相邻的操作组通过梁514刚性地相互连接，使得扭转元件内的操作组的弯曲是相加的。为清楚起见，描绘了包括结构材料(例如，镜子502的材料，锚508和梁514)的元件而没有交叉影线，而双压电晶片元件516被描绘为具有交叉影线。

扭转元件512-1和512-2是刚性连接的刚性连杆518并且布置成当它们经受相反的温度变化时它们在相同的方向上绕φ轴旋转。因此它们的集体功耗在运行期间保持不变。扭转元件512-1的温度和通过控制元件本身中的电功率耗散(即，欧姆加热)来控制512-2。在一些实施例中，通过控制设置在元件上的欧姆加热器中的功率耗散来控制扭转元件中双压电晶片的温度。在一些实施例中，扭转元件外部的热源用于控制它们的温度，例如设置在基板510的表面上的加热器元件。

θ-致动器506是一个等温活塞致动器，用于旋转镜子502的θ轴，其在所描绘的示例中与y轴基本对齐。θ-致动器506包括活塞元件520-1通过520-4(统称为活塞元件520)以等温对排列。θ-致动器506在连杆之间机械耦合518和锚点508通过一组梁514。每个活塞元件520包括多个梁514和双晶片516，它们被设置成响应温度变化而产生垂直致动。活塞元件的温度520如上所述并且相对于扭转元件进行控制512。

在它们从基板510释放时，活塞元件520共同地在正z方向上移动镜子502(即，远离基板表面)。每个活塞元件设计成使得其功率耗散的增加引起其收缩，从而将其连接移动到镜子502朝向基板。活塞元素520在等温对-活塞元件520-1中布置和520-2和活塞元件520-5和520-4。结果，活塞元件520-2中消耗的功率增加和520-5和活塞元件520-1中消耗的功率相应减小和520-4引起镜子的正(如所示)旋转502关于θ轴，同时在θ-致动器506overall中保持恒定的功率耗散。以类似的方式，通过降低活塞元件520-2和520-5中消耗的功率并增加活塞元件520-1中消耗的率和520-4按相同的量，镜面负旋转502关于θ轴是在θ-执行器中消耗功率时引起的506保持不变。

应该注意的是扫描镜的执行器和镜子配置990在本发明的范围内，是许多可能的基于MEMS的扫描镜配置之一。根据本发明的一些替代实施例包括由另一致动装置致动的φ致动器和/或θ致动器，例如静电，电磁，磁致伸缩，压电等。根据本发明的一些替代实施例包括非等温的φ致动器和/或θ致动器。根据本发明的一些替代实施例包括可移动镜，其包括光学元件，例如一个或多个衍射透镜(例如，一维或二维菲涅耳透镜，全息透镜等)，一个或多个折射透镜，有源光源，一个或多个衍射光栅，一个或多个棱镜等。

图4B是描绘类似于扫描镜990的扫描镜的照片；但是，扫描镜子522包括非等温扭转致动器，致动器524，用于围绕φ轴旋转，以及等温活塞致动器506如图所示，绕θ轴旋转。

图4C描绘了适合于驱动扫描镜的电气装置，该扫描镜对每个旋转轴采用等温致动器。电路526包括源528和终端530-1和530-2。端子530-1从处理器接收φ轴控制信号106这改变了通过扭转元件512-1的电流和512-2，从而确定它们的相对功耗。以类似的方式，终端530-2从处理器接收θ轴控制信号106这改变了通过活塞元件520-1的电流通过520-4，从而确定它们的相对功耗。

电路的安排526减少控制信号所需的驱动信号数量128因此减少了发送模块102中包括的驱动电子设备的成本和复杂性。

应注意，优选地，在端子530-1处使用PWM信号和530-2。PWM信号的使用使得能够线性控制由每个电-热-机械元件的电阻消耗的功率，同时在每个轴上消耗的总功率保持恒定。

如图3所示实施例为眼动追踪发射激光的光学路径示意图：红外激光965从光源960射出后入射至MEMS反光镜990，MEMS反光镜在控制系统的指令作用下偏转一定的角度，其中本发明实施例中MEMS反光镜以一定的周期往复偏转(振谐运动)，入射光源965经过MEMS反射镜990反射出多种角度的反射光，即反射光形成扫描的状态。反射光随后摄入凸透镜980，其中凸透镜980可以配置成一个或者多种透镜的组合(例如库克三重镜、Tessar、高斯型标准镜等)，或者凸透镜980也可以与光耦合元件942的偏转功能集成(通过光学设计将两者物理属性整合到一起)，其目的为最终将扫射光965耦合准直的，无光学畸变的进入光波导元件940。反射光被凸透镜980校正后形成了准直无畸变的(平行)光，准直(平行)光被耦合元件942耦合进入光波导元件940中传导至人眼球前方被成像耦合光学元件944耦合射出，光射出至眼球结构上。

图5所示出的，图3中眼动追踪系统900中发射光源的另一种扫描光射入的实施例-光源阵列入射扫描的方法。所示如图5光源矩阵961与图3中所示的通过MEMS扫描镜990和单点激光、凸透镜980结合射出多个准直(平行)扫描光的方法不同，其不同点在于光源矩阵961可理解为常规的微型显示器(例如OLED、LED、LCD、LCOS等)，光源矩阵961可以包括光源，调制器或投影光学系统。调制器可以包括空间光调制器，例如液晶空间光调制器。这种空间光调制器可以被配置为例如调制不同空间位置处的光强度。投影光学系统可包括一个或多个透镜。可以采用能够投影和/或形成图像的其他类型的图像投影仪961。在显示器的任意某一个像素点位置为一处扫描光发射位置，中央控制器可根据需求控制光源矩阵961发出任意图像的光源(例如单点、圆形、圆环、一字形、十字形、多边形等)。光源矩阵961还可以被配置为可以发射可见光或者不可见光。

对比于图3中单点激光加MEMS扫描镜的扫描光发射方案，本光源矩阵的方案的优势为可以发出更丰富的光源图案，就像显示器所呈现的图案一样，并且在进行虹膜识别、瞳孔直径、屈光度检测过程中具有更快的打光速度。但是该方案的劣势为发射扫描光时，完成一个扫描光路径的周期可能较长，因此造成眼动追踪的采样率较低。劣势还包括眼睛上被扫描光照射的区域(面积)受到微型显示器961的物理成像尺寸和分辨率的影响，同样的原因，这也是目前光波导光学成像系统视场角大小受限的原因，如果眼睛不能被完全照射到则眼动追踪则会不精准。相比之下图3所示出MEMS扫描镜990的眼动追踪系统功耗更小，采样率更高，成本低，可以设置更加广阔眼睛扫描范围等优势。但是光源矩阵961入射光方案所用到的硬件产业链较为成熟，光路设计简单，是现阶段的一种可行的发射扫描光的替代性方案。

步骤三：红外入射光被光波导元件传导，红外入射光在成像处耦合射出至眼球生理结构处，其中眼球的生理结构包括巩膜、虹膜、角膜、瞳孔、视网膜。当红外入射光耦合射出波导镜片时，仍然是以准直(平行)光扫描的形式射出，并保有原来的周期和频率、扫描路径。

入射光扫描如图6眼动追踪系统900正以正弦波路径的扫描光从波导镜片射出至眼睛的示意图，扫描光被光波导元件的传导至眼球正前方耦合而出射入眼睛上。扫描光路径解释为，例如在Tn时刻波导镜片耦合射出的单点激光的坐标位置(x1，y1)，在T(n+1)时刻时波导镜片耦合射出的单点激光的坐标位置(x2，y2)，由此继续推演，在一段连续的时间内的每个时刻都有对应的出射光位置坐标，将这段时间内的每个出射光连接起来就形成扫描光路径。所示如图，扫描光的扫描路径为正弦函数，扫描路径可以稠密的覆盖眼球的表面，适用于本发明实施例的扫描路径的图形不局限于正弦函数，还包括光栅扫描路径、Lissajous图案，rhodonea曲线，圆形路径，椭圆路径等。扫描光的特点是具有周期性的、连续不断的、匀速的，能够覆盖眼部的全部生理区域。如图所示，图中示例指出S1、S2、S3位置射出的光线至眼球表面。

2)入射光扫描如图7为眼球扫描路径的主视图，扫描光正弦路径以二维平面的形式呈现在眼睛表面。在一个扫描周期内，正弦函数路径上的每个位置坐标(X，Y)都有对应的“时间T”，例如扫描路径上S1位置对应着t1，S2对应着t2时刻，S3对应着t3时刻，其中图7中所示的扫描光经过S3位置为眼睛的视觉中心，扫描光可以径直射入到视网膜中央凹区域，该区域的反射光强度最大(峰值)。其中一个扫描周期配置为能够走完完整覆盖眼部一个来回扫描路径所用的时间，并且周期可以被预先设置。在实验上，根据本公开的系统的水平扫描速率被设置为MEMS器件的转动轴的谐振频率为3.3kHz。眼睛扫描区域的每个振荡周期在光电二极管输出中产生2个峰值，这些峰值对应于在扫描光束的前向和反向轨迹期间捕获的视网膜反射。扫描的扫描路径送光导镜片940耦合而出至眼睛上，眼睛生理结构上形成对应的扫描路径，在光导镜片940上射出扫描光的位置坐标是绝对坐标，射出光的位置不会随着周期的变化而偏移，或者也可以理解为扫描光无论经过多少扫描周期，每一次的扫描周期内的任意时刻耦合出扫描激光的坐标位置不变(绝对位置)，因此扫描光的路径坐标也不会改变。通过系统控制对MEMS反光镜990的反射镜偏转角度的控制做到对波导镜片上射出激光为绝对位置，或者通过系统控制对微型显示器上的发光像素点位置的控制做到对波导镜片上射出激光为绝对位置。当入射光沿着扫描路径运动时，入射光射在眼球内部视网膜的中央凹区域(即注视点位置)，中央凹区域的反射光的强度最大，光敏传感器将捕获的反射光亮度转化为可处理的强弱电信号，当电信号强度达到最大的阈值时记录下此时的时间坐标，最终通过时间t反推此时入射光坐标，即眼睛的注视点坐标。

下面结合免除眼动追踪校准原理对本发明作进一步说明。

综上所述，通过波导镜片将扫描光射入视网膜上，捕获视网膜反射光强度进行眼动追踪的技术方案解决了不需要眼动校准的能力。因为，MEMS扫描的角度是通过控制系统给定的指令，通过MEMS扫描对入射光角度的控制等同于传统显示器控制像素点成像的效果，并且光波导成像元件通过生产前期的光学设计可控已知，因此使得射出的扫描光路径在光波导镜片上已知，同时射出扫描光的光波导元件还可以透过现实场景的环境光和虚拟全息影像光(如图8所示)。当用户正在注视着现实环境或者全息影像时，只有在眼球注视方向上反向的扫描光射入眼低视网膜上的中央凹才可以获得最大的反射光亮度，即在一个扫描周期内的某一时刻扫描光途径的位置恰恰可以将光完全射入至眼球视网膜中央凹位置，此时入射扫描光在光波导成像镜片上的二维平面位置也是眼球发出注视射线的位置。因此，本发明通过动态的扫描光和光波导镜片共同作用实现了免除眼睛运动向量与映射目标的映射校准。

如图8所示免除眼动追踪校准原理示意图，图中W1、W2、W3分别为现实生活中的三个物体，三个物体上分别发射出环境光915A、915B、915C穿过波导镜片940入射在眼睛210上视网膜上，被成像耦合光学元件944耦合而出的扫描光910A、910B、910C入射在眼睛上用户眼动追踪。通过对MEMS扫描镜的控制和波导镜片940的预先设计可将910A与环境光915A位置重叠、910B与环境光915B位置重叠、910C与环境光915C位置重叠。所示如图8，当眼睛210正在看物体W2时，只有与光915B重叠的扫描光910B能够完全穿过瞳孔入射在视网膜上，获得放射光最亮的扫描光时刻，进而用于眼动追踪视觉注视点的计算。

图9对比于图7正弦扫描路径另外一种替代性的光栅扫描路径图。

图10A对比于图7正弦扫描路径另外一种替代性的纵向一字扫描一字扫描路径图。

图10B对比于图7正弦扫描路径另外一种替代性的横向向一字扫描一字扫描路径图。

步骤四：眼球生理结构上的反射红外光或散射光被光波导元件接收，光波导元件将反射光信息传导至光敏传感器矩阵。其中选用红外光是为了与现实环境中可见光环境光作区分，避免环境光的干扰。其中，反射光信息包括视网膜反射光强度信息、虹膜和瞳孔的影像信息。

反射光被光波导元件传回的光学方案包括：沿着入射光传导的原路径返回和其他光学传到方案。

图11示出了眼动追踪系统900中波导镜片收集反射光，并将反射光通过波导传送至光敏传感器的过程。如图11示出了从离开眼睛210的视网膜反射的光915。如图所示，从视网膜散射或反射的光915通过眼睛的晶状体，眼睛中的瞳孔和来自视网膜的光是准直的。该光也可以垂直入射在波导镜片上(例如，与波导940的主表面和/或成像耦合光学元件944成直角)。成像耦合光学元件944可以被配置为将从视网膜反射光915偏转一定的角度耦合到波导940中，偏转的角度能够使反射光在波导镜片940中形成全反射，这样反射光就会在波导镜片940中被传送至光电传感器/摄像头920方向。其中耦合传送的光仅是反射光的一部分(被传送的光914)，为被传送的光912透光波导镜片940射出。准直的内耦合光914可以继续通过波导940朝向光敏传感器/相机920传播。图11示出了一些内耦合光914如何能够继续传播直到它入射到一个或多个外耦合光学元件952上。为了减少内耦合光914在内耦合光学元件942处泄漏的光量，内耦合光学元件942靠近反射光914的表面配置为具有光学反射属性元件/图层，使其达到全反射条件。

外耦合光学元件952可以被配置为将反射光914耦合偏转出波导940并且传送到光敏传感器/相机920。外耦合光学元件952可以配置成引导光926垂直波导940的主表面离开波导940。因此，波导940可以被配置为将从用户的眼睛210耦合的光引导到波导940中以由光敏传感器/相机920接收，以便捕获至少一部分的图像。

成像耦合光学元件944可经配置功能包括(i)将来自用户眼睛210的光耦合到波导940中传送至光敏传感器/相机920接收(ii)耦合来自图像投影光源960的光。从波导940到用户的眼睛210，将图像内容投影到用户的视野中。

在一些实施方案中，成像耦合光学元件944可经配置以将来自照明源960的光从波导耦合到用户的眼睛210，使得来自照明源的光可照射眼睛。

在其他设计中，可以使用不同的波导和/或可以使用不同的成像耦合光学元件944。在一些设计中，例如，第一波导940可以被配置为引导从用户的眼睛210耦合的光被相机920接收，以便捕获用户的眼睛210的至少一部分的图像和第二波长。波导可以被配置为引导从图像投影光源960耦合的光，使得来自图像投影光源960的光可以被引导到用户的眼睛210。第一和第二波导可以堆叠在彼此之上。另外或另外地，另一个波导可以被配置为引导从照明源960耦合的光，使得来自照明源的光可以被引导到用户的眼睛210以照亮眼睛。

此外，在一些实施方案中，第一成像耦合光学元件944可经配置以(i)将来自用户眼睛210的光耦合到波导940中以由光敏传感器/相机920接收且(ii)耦合来自光源960和扫描镜990发射的扫描光965，从波导940输出到用户的眼睛210，以将扫描光或图像内容投影到用户的视野中。

在一些设计中，成像耦合光学元件944可包括多个衍射光学元件(DOE)。例如，第一DOE可以被配置为将来自用户的眼睛210的光耦合到波导940中以由光敏传感器/相机920接收。第二DOE可以被配置为将来自图像投影光源960的光耦合出波导940。用户的眼睛210将图像内容投影到用户的视野中。可选地，第三DOE可以被配置为将来自光源960的光从波导940耦合到用户的眼睛210以照亮眼睛。第一和第二(可能是第三)DOE可以堆叠，例如，在一些实施方式中，来自用户前方环境的光通过第一DOE然后入射在第二DOE上，然后入射到第三DOE上并入射到用户眼睛上。但是，订单可能不同。

在一些设计中，第一DOE和第二DOE集成在波导940的单个元件或体积中。在一些实施方式中，例如，第一DOE和第二DOE彼此叠加(例如，占据相同或者波导2102内的大致相同的体积。例如，第一和第二DOE可以记录在相同的介质中。

步骤五：光敏传感器矩阵接受反射光。

图12示意性地示出了成像系统如何能够对例如视网膜的眼睛的各个部分成像，这可以使得能够确定眼睛的取向并且跟踪眼睛位置。

如上所述，眼睛(例如视网膜)的图像和反射光强度捕获可以促进眼动追踪。图12示出了成像系统900，其被配置成例如在眼睛处于不同位置时的不同时间对眼睛210的各个部分(例如，视网膜)成像。阶段A和B可以指眼睛的不同取向期间眼睛210的图像。图12示出了在阶段A和阶段B成像期间眼睛210的成像及其结果。

在一些实施方案中，光发射928(例如，来自如上所述的照明源960或来自不同地配置和/或定位的一个或多个照明源)可用于获得视网膜962的一个或多个图像。如图所示，视网膜962的图像可以包括在眼睛210的不同取向期间成像的一个或多个区域964,966。图12示出了视网膜962的图像的两个区域964,966。例如，在阶段A中眼睛210指向与波导940成垂直角度，并且同时对视网膜区域964进行成像或者反射光强度检测。在阶段B中眼睛210与波导940成锐角定向时，可以对视网膜的区域966进行成像或者反射光强度检测。

步骤六：光信号的信息处理系统。根据控制系统的指令执行不同的光电信息处理程序。

(1)眼动追踪：根据光敏传感器矩阵获得的反射光的强度和扫描光的周期、扫描光路径来计算眼球注视点位置。

图13眼动追踪系统中光信号的处理流程包括：

给出了示例性眼动追踪处理流水线300的示意性表示。这里描述的示例性处理是关于一个采样周期，并且在具有光敏传感器125的眼动追踪系统的背景下。光敏传感器125检测从波导透镜145收集的眼睛210散射光和反射光113。光敏传感器125将光信号转化为电信号。输出由A表示的电流信号，该信号被馈送到相应的电流转电压转换器410，例如分别在410处示出的跨阻抗放大器(TIA)。电流-电压转换器410分别为每个光敏传感器输出电压V。至此进入闪烁位置处理系统412，用于确定闪烁的更准确位置(闪烁为视网膜反射光最亮位置)。来自光敏传感器125和电流-电压转换器410的电压信号也输入到比较器422。每个比较器422被配置为将接收的电压V与参考电压进行比较，并基于比较输出数字状态424，由G表示。例如，每个数字状态424可以采用输出位的形式，使得当接收的电压信号超过参考电压时，输出数字状态G。例如比较器处的参考电压可以设置为达到闪烁幅度时电压值，或者设置为任何其他合适的值。接下来，在中断器426处接收每个输出数字状态G。当数字信号改变状态时，可以触发相应的中断426以存储当前时间值，例如操作时钟的时钟状态。输出导致生成的闪烁事件列表随时间变化，每个闪烁具有相应的时间值。闪烁位置处理系统412可利用如上所述的类似光束轨迹(MEMS)计算器将光源102发光周期内的每个时间值与当前光源102扫描光角度、扫描光轨迹的二维坐标、光波导镜片光耦合位置的相关联(光源102包括微信显示器、光源矩阵、MEMS激光束)，综上，在眼动追踪注视点计算中巧妙的将二维的光源位置信息通过一维的时间信息来转换表示，系统检测到闪烁状态这一时刻即为此时眼睛的视觉中心，这也是将红外入射光103设置为动态的、渐进的、周期性发射的原因。可以使用闪烁撞击相应光敏传感器时的已知红外入射光103此时的位置。其中，采用的是MEMS反光镜作为入射光方案时，已知镜面扫描光角度和位置，进而来计算闪烁的位置。因此，可以使用比较器的信号输出来确定闪烁位置，而不执行图像分析。这可以允许以功率有效的方式执行闪烁跟踪。

(3)眼球追踪、瞳孔识别虹膜识别。

本发明除了具备基础的眼睛注视点追踪能力外，还具有瞳孔直径大小变化的识别和虹膜识别的功能，由于近眼显示设备(AR智能眼镜)的应用场景场是不同的，本发明技术同时提供眼球追踪、瞳孔识别、虹膜识别、屈光度检测、健康检测多种能力的无缝切换，系统可更具需要启动相应的功能，由此进一步达到了节省功耗的作用。其中，由于上述中提到的眼动追踪技术通过眼球视网膜反射光强度计算位置的，本技发明除了对瞳孔和虹膜成像之外，还可以对视网膜上的毛细血管进行成像，由此本发明在应用于身份特征识别和支付验证时，不仅可以通过虹膜特征，还可以通过视网膜上的生物特征(毛细血管、中央凹)进行验证识别，大大加强了安全性。

瞳孔直径的计算和虹膜识别是通过分析图像的形式完成的，在获取图像的环节中本发明给出了两种眼部图像的获取方法。所述两种眼部图像的获取方法在于发射光是扫描光还是图形光。MEMS的扫描光特点为单束激光源、规律轨迹图案、周期性的。图形光的特点为同时发射多数矩阵光线，矩阵光线可一瞬间形成某种图案。

图14是本发明实施例提供的眼球追踪系统900MEMS反射镜方案的光敏传感器眼球图像(瞳孔、虹膜)获取和信号处理流程的示意图。如图14所示采用入射光源102和MEMS扫描镜的方式对比于矩阵式图形光源可以在保证同等分辨率的情况下大幅度降低光源102上的发光元件的晶圆数量。MEMS扫描镜上的反光镜可以将不可见光IR扫描光束102上的入射光线以极高的振荡频率反射到眼睛150上，眼球生理结构包括角膜、虹膜、视网膜、视网膜上貌似血管或神经组织。MEMS扫描光束以单点光束、特定规则图形轨迹发射光源，光敏传感器125在当前时刻探测眼睛上单点的反射光，再将放射光强度转变为单个像素点的灰度深浅，再将该时刻像素点灰度映射在MEMS激光束的扫描路径上，当一个扫描周期结束后可形成一张完整的眼睛灰度图，具体如下。

来自电压转化器410的所得电压信号也在求和点420处被接收，这增加了信号幅度并且与总和的平方根成比例地降低了噪声，并且该模拟电压信号和被传送到模数转换器422，模数转换器422模拟电压和信号转换为表示在采样周期中检测到的反射光的强度值的数字信号。MEMS轨迹计算器424接收来自MEMS扫描镜的同步信号，其是在采样周期期间指示扫描镜的当前扫描x位置和y位置的信号。计算器424基于同步信号计算当前扫描角度。根据扫描角度，由模数转换器422输出的相加的数字信号被存储到灰度图像的帧缓冲器425中的对应像素中以用于该特定角度，其中确定的数字和存储在适当的像素中，最终得到全帧缓冲器。每个像素存储检测到的强度信号，强度越高则该像素点的灰度越深，强度越低则该像素点的灰度越浅，最终形成与眼部特征对应的灰度图像。然后可以分析所形成的灰度图像以确定图像中的瞳孔的直径，或者用于虹膜识别。其中在424，数字信号可以经历伽马校正操作，例如将线性红色，绿色和蓝色分量的亮度变换为非线性图像信号。然后，该阶段将信号提供到灰度图像帧缓冲器426中。

在本发明提到光敏传感器920可以是单个光敏传感器，也可以是二维的矩阵式光敏传感器，例如CMOS。光源960可能是微型显示器、光源红外二极管矩阵、MEMS激光成像。波导透镜940不仅可以发射图像可见光和不可见光IR扫描光束，而且对眼球生理结构的反射光和散射光收集还具有收集作用，眼球生理结构包括角膜、虹膜、视网膜、视网膜上貌似血管或神经组织。

用于眼球追踪时，光源965递进的、特定规则图形轨迹发射光源，光敏传感器920在当前时刻接收眼睛上单点的光。通过视网膜反射光照强度判断眼睛位置。

其中，眼睛图像的传回光敏传感器/相机920的光学路径的另一实施例，其中光学路径中还可以配置具有效孔径的聚焦光学器件聚光处理后再投射到光敏传感器/相机920，因此使得衰减的图像变得清晰，矩阵式光敏传感器920上形成瞳孔和虹膜的数字图像。该方法虹膜和瞳孔识别速度很快，能够做到一次形成灰度图，并且能够与眼球追踪完美的兼容，但是眼眼睛特征的识别精度依赖图像的分辨率，图像的分辨率主要依赖于二维的矩阵式光敏传感器上的晶圆感光元件数量和入射光源960上的发光元件(例如LED、LCD)数量，即分辨率。

(4)眼睛屈光度检测的方法。

如图3，智能眼镜1的波导镜片940可以发射任何图案的准直光源影像(智能眼镜可以发射具有景深具有物距的光源)，通过光波导镜片940射入到视网膜中，在视网膜上成像。由于影像光源透过晶状体投在视网膜上的影像会根据晶状体的屈光度呈现出畸变或者不清晰的影像(近视、远视、散光)，视网膜上的影像反射被光波导镜片接收，经光学耦合使影像在波导光学器件中传导至摄像头/光敏传感器，最终智能眼镜系统获得视网膜上影像。智能眼镜系统将发射影像与视网膜反射影像对比分析，或者带入到屈光度算法中计算，即可获得用户屈光度。

如图3眼动追踪系统900可用于讲解屈光度检测，屈光度检测过程中可能要求用户观看在智能眼镜光学显示器内投射的图像。智能眼镜1的波导镜片940可以发射任何图案的准直光源影像(智能眼镜可以发射具有景深和物距的全息影像)。图像光源通过光波导镜片940动态的射出几种不同视觉深度的图像到眼镜的视网膜上进行成像，此时计算机系统引导用户的眼睛聚焦在光波导镜片940射出的不同深度的图像。视网膜反射的图像影像光被光波导镜片940捕获进而通过耦合元件944耦合进入光波导镜片940内部达到全反射传导条件，视网膜的反射光影像被耦合元件952耦合射向摄像头/光敏传感器920，摄像头920接收到视网膜反射光影像。计算机系统可以使用各种图像处理算法来确定患者何时适当地聚焦在图像上，并且随后确定用户的光学屈光度处方。例如图像处理算法包括可以在分析中使用图像质量分析/对比度峰值检测技术。同样，Scheiner双针孔对齐，也可以使用Shack-Hartmann网格对准和/或视网膜反射中和。

其中，波导镜片940被配置为可适应光学元件，例如可变焦距元件(VFE)、具有多种深度的堆叠波导组件(例如，其形状由施加到多个电极的电信号控制的可变形镜膜)或光学元件，否则可以以受控方式改变其光学特性，或者它们的任何组合。

如已经分析的，智能眼镜可以使用具有不同聚散度的光束向眼睛210提供图像。当该图像被提供给眼睛210时，相机920可以用于监视眼睛210的视网膜。相机210可以向处理器提供视网膜图像。处理器然后可以对视网膜图像执行图像处理算法。确定由自智能眼镜成像系统960或者961投影的图像何时最佳地聚焦在眼睛210的视网膜上。这种图像处理算法可包括例如对比度峰值检测。(投影在眼睛210的视网膜上的图像通常在图像模糊时具有相对低的对比度，并且当图像被眼睛210清晰地聚焦时具有峰值对比度。处理器可以基于允许眼睛210将光聚焦在视网膜上所需的聚散度(无论是正的，准直的还是负的)来计算眼睛210的屈光力。处理器可以确定多个子午线中的图像质量，以便不仅计算眼睛的球面光焦度而且计算柱面光焦度和轴。

(6)本发明还可用于各种医疗保健应用，用户可穿戴诊断健康系统，例如，用于患者诊断，监测和/或治疗。通过上述眼动追踪成像系统获取眼部图像，眼部图像可用于检测眼睛的各种特征并检测任何异常，并确定一种或多种健康状况或缺陷。眼睛的眼底是人的一部分。身体可以观察到微循环。因此，可穿戴设备对眼底的检查可以有利地用于不仅检测眼睛相关的健康状况，还检测身体的其他健康状况(例如，脑异常，心脏异常等)。其中计算机系统通过控制光源960发射的光可以为特定的光，根据射出光图案、波长、强度选择性的在眼睛不同深度处对结构和解剖特征的结构上(如图15)，例如角膜(42)，虹膜(44)，晶状体或46)，巩膜(48)，脉络膜层(50)，黄斑(52)，视网膜(54上。眼睛的生理结构的反射光影像被相机/光敏传感器960捕获。计算机系统处理眼睛影像，分析病变因素，

在实施例中，可以使用颜色匹配算法处理由系统900获得/捕获的图像，其中可以将获得/捕获的图像的一个或多个部分的颜色与先前获得的图像一个或多个部分的颜色进行比较。

可以使用图像处理算法来分析由系统900获得/捕获的图像，例如，模式匹配算法，颜色匹配等确定任何异常。例如，可以分析图像以确定视神经盘是否肿胀或者看起来具有模糊的边缘/边缘。

作为另一个例子，可以分析图像以测量视神经盘和/或视杯的尺寸。视盘和/或杯子的测量尺寸可用于获得杯盘比，其被计算为视盘的杯部分的直径与视盘的总直径之间的比率。杯与盘比率的较高值可指示青光眼。

作为又一个例子，可以分析图像以确定眼底的颜色。深色底色可指示色素性视网膜炎。相反，在患有动脉闭塞的使用者中可以看到浅色的眼底。可以分析由检眼镜获得的图像以检测其他异常，例如出血或渗出物。绿色滤光器(基本上使红光衰减)可以有利地使得更容易检测出血或渗出物。患有高血压性视网膜病的使用者可以表现出硬性渗出物，出血(很少有乳头水肿)和/或视网膜水肿，这可以从眼动追踪系统900获得的图像中检测到。一些糖尿病性视网膜病变的使用者可以表现出斑点和印迹出血和/或硬性渗出物，它们可以从眼动追踪系统900获得的图像中检测到。患有糖尿病性视网膜病的一些使用者也可以表现出棉毛斑或软性渗出物。

相反，在患有动脉闭塞的使用者中可以看到浅色的眼底。可以分析由检眼镜获得的图像以检测其他异常，例如出血或渗出物。绿色滤光器(基本上使红光衰减)可以有利地使得更容易检测出血或渗出物。患有高血压性视网膜病的使用者可以表现出硬性渗出物，出血(很少有乳头水肿)和/或视网膜水肿，这可以从眼动追踪系统900获得的图像中检测到。一些糖尿病性视网膜病变的使用者可以表现出斑点和印迹出血和/或硬性渗出物，它们可以可以从眼动追踪系统900获得的图像中检测到。患有糖尿病性视网膜病的一些使用者也可以表现出棉毛斑或软性渗出物。

如上所述，除了寻找常见的眼部缺陷之外，眼睛的微毛细管也可以指示其他健康问题。视网膜或视网膜血管的状况可以指示某些血管疾病或其他疾病。例如，可以检查所获得图像的四个象限中的每一个的血管，以确定动脉的条件通常更薄和交叉静脉，确定血管的数量，确定血管是直的还是曲折的，确定颜色和血管宽度，确定光反射和交叉点。这些确定可以提供用户健康的指示。例如，小动脉变化，小动脉血管收缩/变窄，小动脉壁变化(动脉硬化)等。可以指示高血压性视网膜病变。作为另一个例子，铜线小动脉和银线小动脉的表现，以及由于静脉收缩和凹陷引起的“动脉-静脉(AV)切口/夹伤”也可以指示高血压性视网膜病变。视神经盘和/或微动脉瘤周围的新血管形成可指示糖尿病性视网膜病变。

如上所述，在各种实施例中，模式匹配算法可以被配置为将捕获的图像与已知模式的库进行比较，所述模式指示可能影响眼睛健康的不同类型的疾病和/或异常。如果捕获的图像包括与任何已知模式匹配的模式，则眼科眼动追踪系统900可以被配置为确定相应的异常或疾病进展。模式匹配算法和/或捕获的图像的结果可以随后在一个或多个实施例中，可以向临床医生和/或用户显示。

如图15人眼的截面图，描绘了人眼的简化横截面视图，其特征在于角膜(42)，虹膜(44)，晶状体或46)，巩膜(48)，脉络膜层(50)，黄斑(52)，视网膜(54)和视神经通路(56)到大脑。黄斑是视网膜的中心，用于观察中等细节；在黄斑中心是视网膜的一部分，被称为“中央凹”，用于观察最精细的细节，并且包含比其他任何部分更多的光感受器(每视觉度约120个视锥)。视网膜。人类视觉系统不是被动传感器类型的系统；它配置为主动扫描环境。

光源960的波长选择：

图16是本发明实施例提供了人眼中的视杆和视锥光受体根据在穿过视神经盘的平面中与中央窝的角度而产生的数量变化的曲线图。

图17本发明实施例提供了人的视网膜根据在光谱的可见光区域和红外光区域中的波长而产生的反射率变化的曲线图。。

图18是本发明实施例提供了人眼中的不同类型的视锥光受体和视杆光受体的波长响应性的曲线图。

如图16-18所示，光谱灵敏度还可用于在眼动追踪照明期间最小化眼睛的刺激。杆状细胞主要负责周边视觉并且不存在于中央凹。如图18中的曲线R所示，棒状细胞对红色(620纳米以上)相对不敏感。存在于周边区域中的数量减少的视锥对低光级的敏感度比视杆小得多。因此，根据本发明的某些实施方式，优选用红光照射周边视网膜(即，除了中央凹之外)用于眼动追踪。

在图17中，来自视网膜的反射在红外光明显高于其他可见光波长的反射。在700nm处，反射几乎是可见红色的两倍。因此，使用位于可见红外(650-750nm，最优选680-720nm)边缘的波长可能是有利的，因为光学系统内的散射减少并且波导的光学涂层具有与可见光几乎相同的反射率，而眼睛对这些波长不敏感。较长的波长(例如900nm)具有比可见光范围高6倍的反射率，并且可以根据本发明使用。

在红外照射用于眼动追踪器的情况下，存在用于提供红外照射的各种选项。在使用接近可见波长的近红外波长的情况下，红外照射可以组合为传统可见图像投影布置中的第四“颜色”，例如，使用LCOS调制器。如果对于较长波长的红外线需要图案化照明，则通常优选数字光处理(DPL)设备。对于非图案化照明，通常独立于图像投影仪提供专用照明源。

视网膜上反射光原理。

图19A是本发明实施例提供的视网膜上反射原理图,A是本发明实施例提供的人眼的示意性侧视图，给出了针对不同入射角的镜面反射和漫反射的几何形状。

图19B是本发明实施例提供的视网膜上反射原理图。是本发明实施例提供的光线进入眼睛后被视网膜和虹膜反射示意图。

图19C：是本发明实施例提供的由眼睛反射的光的强度的曲线图，给出了来自视网膜的照射反射的变化作为角度的函数图(通过改变瞳孔偏移而变化)。

图19D是本发明实施例提供的反射分量的波长依赖性图。

描述利用视网膜的详细特征进行反射捕获的实施方式中进行了描述，来自视网膜的反射通常包括镜面反射和漫反射，例如图19B和图19C。图19中的眼睛200的简化模型包括：图19A示出了垂直照射在视网膜201的中心上的轴上光线。强镜面反射光202通过入射光瞳反射，因此在外部强烈地检测到该反射。然而，当光以离轴角度204照射在视网膜上时，镜面反射206不会离开瞳孔，并且仅有被去除的反射离开瞳孔(标记为虚线箭头)，因此外部光敏探测器检测到的弱得多的信号。上述可以看出视网膜的中心区域具有比视网膜的非中心区域更高的反射率。因此，通过测量反射光的强度，可以确定眼睛图19B中201的角度(或注视)。如图19B所示，进入眼睛201的光线212,214和216被眼睛201的视网膜反射，上述的入射光212、214、216比光线210和218更好地反射，光线210和218被眼睛201的巩膜反射。此外，光线的光线214是由眼睛201的中心区域反射的光线215被眼睛201的非中心区域反射的光线212和216反射得更好。

图19C示意性地示出了由眼睛反射的光的强度的曲线图。镜面反射分量(表征为可变幅度A)是角度相关的(这里描述为光瞳位置)，而漫反射大致恒定(表征为幅度B)。在图19C中，由眼睛的中心区域反射的光具有比眼睛的非中心区域更高的强度。因此，在一些实施例中，眼睛的位置(例如，眼睛的瞳孔的位置)是由眼睛反射的光强度的轮廓确定的(例如，具有最高反射光强度的位置对应到眼睛中心的位置)。

图19D和19E示出了反射分量的实验测量和波长依赖性。根据这些实验，反射的半高全宽(FWHM)大约是2mm的瞳孔移位，与大致～10°对应。检测的实际分辨率可以近似为：Dθ≈FWHM/SNR由于SNR可以在10至100的范围内，因此，眼睛定向分辨率可以是1°至0.1°。已知用于进行精确定位检测的信号处理，并且在应用光学49卷，期号17，第3330至3337页(2010)，Y.Danziger的论文“Sampling-balanced imaging system using whiteningmatching filter”中描述了示例。

由于从眼睛到本发明的波导的反射强度将受到射出光的角度的影像。该特征由本发明的某些实施方式用于确定眼睛的取向。如图20所示，将扫描光入射到眼睛上的另一种替代性光学方案。本方案为准直(平行)扫描光的入射到眼睛表面的另一种更完善的替代性光学方案。该方案最大的不同在于增加了弯曲的透射光学元件996，其内侧具有对特定波长或波长范围的光进行反射作用的反射涂层998，并且透射光学元件996的弯曲曲率近似与人眼眼球的曲率，使得在透射光学元件996上反射光能够准直的穿过眼球210的瞳孔，最终光打在视网膜上。相对于图3和图5所提供的波导镜片940和成像耦合光学元件944的出射光方案，该方案的优势在于可进一步提高眼动追踪的精度，由于光准直的射在视网膜上，所以降低了入射位置的误差。其中，反射涂层998可以被配置为反射特定波长范围内的不可见光(例如，红外光)，而波长相关反射涂层998可以被配置为透射可见光。在一些情况下，波长相关反射涂层998可以设置在弯曲透射光学元件996的表面上。如图20，本方案投影仪光源发射出准直的准直(平行)扫描光到耦合光学元件952进入光波导元件940，其中投影仪光源可以为MEMS扫描光方案(图3扫描光方案)或者微型显示投影源(图5扫描方案)在此不对发射光源做过多描述，扫描光经耦合元件952耦合达到全反射角度条件，进而光在波导940中传导至内耦合光学元件954处。光被内耦合光学元件954耦合准直射向弯曲的透射光学元件996所在方向，光准直的穿出波导元件940入射在弯曲透射光学元件996的反光涂层998上，然后扫描光被弯曲透射光学元件996镜面反射射向眼球210。其中光准直穿过耦合元件954和944到达眼睛210，耦合元件944被设置为内表面(靠近996一侧)不具备耦合作用，外表面(靠近眼睛210一侧)具备耦合光作用，耦合元件954被设置为内表面(靠近眼睛210一侧)具备耦合作用，外表面(靠近996一侧)不具备耦合光作用。经眼睛210的视网膜的反射光被耦合元件944外表面耦合进入波导940，耦合角度达到全反射条件，最终反射光被光敏传感器捕获，进而计算眼球注视位置。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (24)

1.一种近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，所述近眼显示设备用基于光波导镜片的视线追踪方法利用光波导镜片将MEMS微机械系统发射的扫描光入射在眼睛的视网膜上，捕获视网膜反射光强度，进行眼动追踪，以及实现免除眼睛运动向量与映射目标的映射校准；

具体包括；MEMS扫描镜发射的连续不断、周期性的扫描光通过光波导元件传送至人眼视觉前方耦合而出，在眼睛表面形成特定的扫描路径，某时刻一些光射入到视网膜上；视网膜上的反射光被视觉前方的光耦合元件接收耦合进入光波导元件，进而传送至光敏传感器；

根据视网膜的反射光分布强度，扫描光的时间周期，将二维的扫描光路径位置信息转换成一维的时间信息计算注视点位置。

2.权利要求1所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，实现免除眼睛运动向量与映射目标的映射校准中，通过光波导镜片将扫描光射入视网膜上，捕获视网膜反射光强度进行眼动追踪，具体包括：

MEMS扫描的角度通过控制系统给定指令，通过MEMS扫描对入射光角度的控制等同于显示器控制像素点成像，并且光波导成像元件的参数通过生产前期的光学设计可控已知，使得射出的扫描光路径在光波导镜片上已知，光波导元件射出扫描光的同时还可以透过现实场景的环境光和虚拟全息影像光；当用户正在注视着现实环境或者全息影像时，只有在眼球注视现实环境光方向上反向的扫描光射入眼低视网膜上的中央凹才可以获得最大的反射光亮度，即在一个扫描周期内的某一时刻扫描光途径的位置将光完全射入至眼球视网膜中央凹位置，此时入射扫描光在光波导成像镜片上的二维平面位置也是眼球发出注视射线的位置。

3.权利要求1所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，眼动追踪中，眼动追踪系统的照明源照射眼睛以促进反射光捕获或眼睛图像光源，眼镜波导镜片包括配置成在用于传播光的波导元件、和/或光敏传感器、用于产生通过眼镜波导镜片入射光的照明光源、用于改变入射光角度的微电机系统MEMS扫描镜；光学凸透镜将不同角度的扫描光校正为规则的准直平行光；眼镜波导镜片包括一个或多个波导，被配置为将来自照明源的光传输到眼睛并将光从眼睛传输到光敏传感器；眼镜波导镜片还包括一个或多个耦合元件，用于将光耦合出波导并耦合到眼睛，用于照射眼睛和用于捕获眼睛反射光，将耦合至波导；

眼动追踪发射激光的光学路径中，红外激光从光源射出后入射至MEMS反光镜，MEMS反光镜在控制系统的指令作用下偏转一定的角度，入射光源经过MEMS反射镜反射出多种角度的反射光，即反射光形成扫描的状态；反射光随后摄入凸透镜，凸透镜配置成一个或者多种透镜的组合，或者将透镜的偏转功能与光耦合元件集成，最终将扫射光耦合准直的，无光学畸变的进入光波导元件；

反射光被凸透镜校正后形成准直无畸变的平行光，准直平行光被耦合元件耦合进入光波导元件中传导至人眼球前方被成像耦合光学元件耦合射出，光射出至眼球结构上。

4.权利要求1所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，眼动追踪中，眼动追踪系统的光源入射扫描的方法包括：

扫描光路径特征：正弦余弦函数，还包括光栅扫描路径、Lissajous图案，rhodonea曲线，圆形路径，椭圆路径；

波导的特征包括：几何式光波导和“半透半反”镜面阵列；衍射式光波导和表面浮雕光栅；衍射式光波导和全息体光栅。

5.权利要求1所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，计算注视点位置的方法中增加弯曲的透射光学元件，内侧具有对特定波长或波长范围的光进行反射作用的反射涂层，并且透射光学元件的弯曲曲率近似与人眼眼球的曲率，使在透射光学元件上反射光准直的穿过眼球的瞳孔，最终光打在视网膜上；反射涂层被配置为反射特定波长范围内的不可见光，波长相关反射涂层被配置为透射可见光；

投影仪光源发射出准直的准直平行扫描光到耦合光学元件进入光波导元件；

具体包括：

扫描光经耦合元件耦合达到全反射角度条件，进而光在波导中传导至内耦合光学元件处；

光被内耦合光学元件耦合准直射向弯曲的透射光学元件所在方向，光准直的穿出波导元件入射在弯曲透射光学元件的反光涂层上，然后扫描光被弯曲透射光学元件镜面反射射向眼球；

光准直穿过耦合元件和到达眼睛，耦合元件被设置为内表面不具备耦合作用，外表面具备耦合光作用，耦合元件被设置为内表面具备耦合作用，外表面不具备耦合光作用；经眼睛的视网膜的反射光被耦合元件外表面耦合进入波导，耦合角度达到全反射条件，最终反射光被光敏传感器捕获，进而计算眼球注视位置。

6.如权利要求1所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，所述近眼显示设备用基于光波导镜片的视线追踪方法具体包括以下步骤：

第一步，控制系统根据用户或者应用场景给出此时此刻眼部特征的获取需求，控制系统根据需求控制光源发射系统和光信号的信息处理系统执行对应的程序；

第二步，光源影像系统接受控制系统发送的控制程序，光源影像根据需求发射不同形式的扫描光，所述需求包括根据控制系统发送的眼部不同的生理位置；

第三步，红外入射扫描光被光波导元件传导，红外入射光在光波导元件的成像处耦合射出，进而扫描光传至眼球生理结构处；当红外入射光耦合射出波导镜片时，以准直平行光扫描的形式射出，并保有原来的规律、频率、扫描路径；

第四步，扫描光经眼球生理结构上产生镜面反射红外光或散射红外光被光波导元件再次接收，光波导元件将反射光信息传导至光敏传感器矩阵；

第五步，光敏传感器矩阵接受光波导成像元件传输的反射光；

第六步，光信号的信息处理系统，根据控制系统的指令执行不同的光电信息处理程序，处理结果包括眼动追踪、瞳孔直径、虹膜识别、屈光度检测。

7.如权利要求5所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，第一步，眼部特征需求包括：眼动追踪、瞳孔直径、虹膜识别、屈光度检测、眼部健康监/检测；

所述眼动追踪包括：以一字光线的形式射出，光束以特定的二维路径扫射；扫射路径所形成的二维图案具有规律、周期性；

所述瞳孔直径，通过准直平行光照亮虹膜、瞳孔；

所述虹膜识别和眼部健康监/检测通过准直平行光照亮虹膜；

所述屈光度检测通过准直平行光照亮视网膜；

发射光源的方法包括通过MEMS扫描镜和特定曲率的凸透镜或者几个透镜组合相结合实现发射准直平行光。

8.如权利要求5所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，第二步中，发射光源发射的是红外不可见光或可见光，光源是单点激光或矩阵光源，所述光源矩阵为多个单点激光组成的二维光源组。

9.如权利要求8所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，光波导元件为成像耦合光学元件，将来自照明源的光通过波导耦合到用户的眼睛，使得来自照明源的光照射眼睛；

所述成像耦合光学元件包括多个衍射光学元件DOE；第一DOE被配置为将来自用户的眼睛的光耦合到波导中以由光敏传感器/相机接收；

第二DOE被配置为将来自图像投影光源的光耦合出波导；用户的眼睛将图像内容投影到用户的视野中；

第三DOE被配置为将来自光源的光从波导耦合到用户的眼睛以照亮眼睛；

第一和第二DOE堆叠，来自用户前方环境的光通过第一DOE然后入射在第二DOE上，然后入射到第三DOE上并入射到用户眼睛上；

第一DOE和第二DOE集成在波导的单个元件或体积中；

第一DOE和第二DOE彼此叠加，记录在相同的介质中。

10.如权利要求8所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，人眼视觉正前方的光波导成像元件的任意平面位置均发射出扫描光，并且发射任意大小、形状的扫描路径。

11.如权利要求5所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，第三步中，扫描光被光波导元件的传导至眼球正前方耦合而出射入眼睛上；

所述扫描光路径包括：在Tn时刻波导镜片耦合射出的单点激光的坐标位置(x1，y1)，在T(n+1)时刻时波导镜片耦合射出的单点激光的坐标位置(x2，y2)，继续推演，在一段连续的时间内的每个时刻都有对应的出射光位置坐标，将这段时间内的每个出射光连接起来形成扫描光路径；

扫描光的扫描路径为正弦函数，扫描路径稠密的覆盖眼球的表面；

在一个扫描周期内，正弦函数路径上的每个位置坐标(X，Y)都有对应的“时间T”，扫描路径上S1位置对应着t1，S2对应着t2时刻，S3对应着t3时刻，当扫描光经过S3位置为眼睛的视觉中心，扫描光径直射入到视网膜中央凹区域，该时刻在该区域的反射光强度最大；

一个扫描周期配置为完整覆盖眼部一个来回扫描路径所用的时间，并且周期被预先设置，一个周期为一次眼球追踪的采样计算，MEMS扫描镜可配置成百上千次的采样率。

12.如权利要求5所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，第四步中，反射光信息包括视网膜反射光强度信息、虹膜和瞳孔、视网膜的影像信息；

反射光被光波导元件传回的光学方法包括：

从视网膜散射或反射的光穿过晶状体被光波导镜片接收，眼睛的瞳孔和来自视网膜的光为准直；该光垂直入射在波导镜片上；耦合光学元件被配置为将从视网膜反射光偏转一定的角度耦合到波导中，偏转的角度能使反射光在波导镜片中形成全反射，这样反射光就在波导镜中被传送至光电传感器/摄像头方向；

耦合传送的光仅是视网膜反射光的一部分，另外一部分光透光波导镜片射出；准直的内耦合光继续通过波导朝向光敏传感器/相机传播；

外耦合光学元件被配置为将视网膜反射光耦合偏转出波导并且传送到光敏传感器/相机方向，并通过波导镜片末端的另一光学耦合元件将视网膜反射光耦合出光波导元件送至光敏传感器/相机。

13.如权利要求5所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，第五步光敏传感器矩阵接受光波导成像元件传输的反射光中，通过光耦合元件将反射光耦合射向光敏传感器，成像系统被配置成在眼睛处于不同位置时和不同时间对眼睛的各个部分成像；阶段A和B指眼睛的不同方向期间眼睛的图像；光发射用于获得视网膜的反射光影像，在阶段A中眼睛指向与波导成垂直角度，并且同时对视网膜区域进行成像或者反射光强度检测；在阶段B中眼睛与波导成锐角定向时，对视网膜的区域进行成像或者反射光强度检测。

14.如权利要求5所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，第六步中，眼动追踪系统中光信号的处理流程包括：

光敏传感器检测从波导透镜收集的眼睛反射光和散射光；光敏传感器将光信号转化为电信号；输出由A表示的电流信号，该信号被馈送到相应的电流转电压转换器，分别在电流电压转换器处示出的跨阻抗放大器TIA；电流电压转换器分别为每个光敏传感器输出电压V；至此进入闪烁位置处理系统，用于确定闪烁的更准确位置；

来自光敏传感器和电流-电压转换器的电压信号也输入到比较器；每个比较器被配置为将接收的电压V与参考电压进行比较，并基于比较输出数字状态，由G表示；每个数字状态采用输出位的形式，使得当接收的电压信号超过参考电压时，输出数字状态G；比较器处的参考电压设置为达到闪烁幅度时电压值，或者设置为任何其他合适的值；在中断器处接收每个输出数字状态G；

当数字信号改变状态时，触发相应的中断以存储当前时间值，操作时钟的时钟状态；

输出导致生成的闪烁事件列表随时间变化，每个闪烁具有相应的时间值；闪烁位置处理系统利用如上所述的类似光束轨迹MEMS计算器将光源发光周期内的每个时间值与当前光源扫描光角度、扫描光轨迹的二维坐标、光波导镜片光耦合位置的相关联，综上，将二维的光源位置信息通过一维的时间信息来转换表示，系统检测到闪烁状态这一时刻即为此时眼睛的视觉中心，使用闪烁撞击相应光敏传感器时的已知红外入射光3此时的位置；采用MEMS反光镜作为入射光方案时，已知镜面扫描光角度和位置，计算闪烁的位置；使用比较器的信号输出来确定闪烁位置，不执行图像分析，以功率有效的方式执行闪烁跟踪。

15.如权利要求5所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，第六步中，眼球追踪系统中光敏传感器眼球图像获取和处理方法进一步包括；

虹膜识别：根据光敏传感器矩阵获得瞳孔和虹膜反射的光影像，以图像识别、计算图像方式获得虹膜特征，用于生物信息识别、身份验证；

瞳孔直径的计算和虹膜识别是通过分析图像的形式完成，若采用入射光源和MEMS扫描镜的方式对比于矩阵式图形光源可以在保证同等分辨率的情况下大幅度降低光源上的发光元件的晶圆数量；MEMS扫描镜上的反光镜将不可见光IR扫描光束上的入射光线以极高的振荡频率反射到眼睛上，眼球生理结构包括角膜、虹膜、视网膜、视网膜上貌似血管或神经组织；MEMS扫描光束以单点光束、特定规则图形轨迹发射光源，光敏传感器在当前时刻探测眼睛上单点的反射光，再将放射光强度转变为单个像素点的灰度深浅，再将该时刻像素点灰度映射在MEMS激光束的扫描路径上，当一个扫描周期结束后可形成一张完整的眼睛灰度图；

来自电压转化器的所得电压信号也在求和点处被接收，并且该模拟电压信号和被传送到模数转换器，模数转换器模拟电压和信号转换为表示在采样周期中检测到的反射光的强度值的数字信号；

MEMS轨迹计算器接收来自MEMS扫描镜的同步信号，在采样周期期间指示扫描镜的当前扫描x位置和y位置的信号；计算器基于同步信号计算当前扫描角度；

根据扫描角度，由模数转换器输出的相加的数字信号被存储到灰度图像的帧缓冲器中的对应像素中以用于该特定角度，确定的数字和存储在适当的像素中，最终得到全帧缓冲器；每个像素存储检测到的强度信号，强度越高则该像素点的灰度越深，强度越低则该像素点的灰度越浅，最终形成与眼部特征对应的灰度图像；然后分析所形成的灰度图像以确定图像中的瞳孔的直径，或者用于虹膜识别；

在模数转换器数字信号经历伽马校正操作，将线性红色，绿色和蓝色分量的亮度变换为非线性图像信号，然后，该阶段将信号提供到灰度图像帧缓冲器中。

16.如权利要求5所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，第六步中，眼睛屈光度检测的方法包括：

智能眼镜的波导镜片发射任何图案的准直光源影像，通过光波导镜片射入到视网膜中，在视网膜上成像；由于影像光源透过晶状体投在视网膜上的影像会根据晶状体的屈光度呈现出畸变或者不清晰的影像，视网膜上的影像反射被光波导镜片接收，经光学耦合使影像在波导光学器件中传导至摄像头/光敏传感器，最终智能眼镜系统获得视网膜上影像；智能眼镜系统将发射影像与视网膜反射影像对比分析，或者带入到屈光度算法中计算，即获得用户屈光度。

17.如权利要求16所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，屈光度检测过程中用户观看在智能眼镜光学显示器内投射的图像；智能眼镜的波导镜片发射任何图案的准直光源影像；图像光源通过光波导镜片动态的射出几种不同视觉深度的图像到眼镜的视网膜上进行成像，此时计算机系统引导用户的眼睛聚焦在光波导镜片射出的不同深度的图像；视网膜反射的图像影像光被光波导镜片捕获进而通过耦合元件耦合进入光波导镜片内部达到全反射传导条件，视网膜的反射光影像被耦合元件耦合射向摄像头/光敏传感器，摄像头接收到视网膜反射光影像；计算机系统使用各种图像处理算法来确定何时适当地聚焦在图像上，并且随后确定用户的光学屈光度；

波导镜片被配置为适应光学元件，包括可变焦距元件VF、具有多种深度的堆叠波导组件或光学元件。

18.如权利要求5所述的近眼显示设备用基于光波导镜片的视线追踪方法，其特征在于，第六步中，瞳孔识别虹膜识别包括：

通过图像分析、识别获得，眼球结构的图像获取是通过二维的矩阵式光敏传感器；在光敏传感器为二维的矩阵式光敏传感器时，光源同时发射足够的红外光到眼球的角膜、巩膜、虹膜位置，眼球表面的散射光被波导透镜收集散射光通过波导镜片发送至二维的矩阵式光敏传感器，散射光线被具有效孔径的聚焦光学器件聚光处理后再投射到光敏传感器，使得衰减的图像变得清晰，矩阵式光敏传感器上形成瞳孔和虹膜的数字图像。

19.一种实施权利要求1～18任意一项所述近眼显示设备用基于光波导镜片的视线追踪方法的眼动追踪系统，其特征在于，所述眼动追踪系统包括HMD设备；

HMD设包括显示设备和框架，框架环绕用户的头部以在向用户提供虚拟现实或混合现实体验时将显示设备定位成靠近用户的眼睛，使用任何适宜显示技术和配置经由显示设备显示图像；

显示设备为不透明的发光二极管显示器，液晶显示器，直接用微机电系统MEMS作为显示器或任何其他合适类型的不透明显示器进行扫描；

提供向外的摄像机捕获周围环境的图像，并且这些捕获的图像与计算机生成的图像一起显示在显示器上；

框架支持HMD设备的附加组件，包括处理器，惯性测量单元IMU和眼动追踪系统；处理器包括逻辑和配置的相关计算机存储器接收来自惯性测量单元IMU和传感器的感觉信号，向显示设备提供显示信号，从收集的数据中导出信息，以及实施本发明所述的各种控制过程。

20.如权利要求19所述的眼动追踪系统，其特征在于，眼动追踪系统被配置为在头戴式显示器HMD中使用的眼镜波导镜片集成对眼睛成像功能；设置在用户眼睛前面的眼镜波导镜片用于将图像内容影像射入眼睛以及对眼睛上的散射光和反射光的捕获和传导，即获取眼睛上图像；

眼动追踪系统包括一对眼镜波导镜片和设置在相应的左眼和右眼前面的相关部件；

眼动追踪系统的照明源照射眼睛以促进反射光捕获或眼睛图像光源，眼镜波导镜片包括配置成在其中用于传播光的波导元件，和/或光敏传感器，用于眼睛反射光强度的捕获；

用于产生通过眼镜波导镜片入射光的照明光源用于改变入射光角度的微电机系统MEMS扫描镜；

光学凸透镜将不同角度的扫描光校正为规则的准直平行光，眼镜波导镜片包括一个或多个波导，被配置为来自照明源的光传输到眼睛并将光从眼睛传输到光敏传感器；眼镜波导镜片包括一个或多个耦合元件，所述耦合元件为光学耦合元件用于将光耦合出波导并耦合到眼睛，用于照射眼睛和用于捕获眼睛反射光，耦合至波导。

21.如权利要求20所述的眼动追踪系统，其特征在于，波导包括具有两个主表面的片或层，具有彼此相对设置的最大表面区域；当用户佩戴头戴式显示器时，前表面离用户的眼睛更远，后表面更靠近用户的眼睛；波导包括折射率大于1.0的透明材料，使得光通过两个主表面之间时达到全内反射的条件；

波导包括一个或多个波导；一个或一个以上波导包括一堆叠波导；波导堆叠的不同波导被配置为输出具有不同景深发散的光；

耦合光学元件设置在波导之上或之中；耦合光学元件设置在用户眼睛和波导间的光路中，使得经由耦合光学元件从波导耦合的光入射在用户的眼睛上；耦合光学元件可以包括多个转向特征，被配置为将在波导内传导的光转向波导之外，或者使入射在耦合光学元件上的光以一定角度转向波导，以通过全内反射在其中传导；

照明源被配置为经由内耦合光学元件将光传导到波导的至少一个主表面中；

探测器矩阵包括一个或多个成像装置，包括光电二极管，电荷耦合器件，基于CMOS的传感器，Shack-Hartman波前传感器；

探测器矩阵被配置为一个或多个硅光电倍增管SiPM传感器捕获反射光，SiPM传感器是一种光电二极管传感器，由于检测光而产生电响应；

扫描镜为基于MEMS的二维扫描镜，用于接收照明光源发射的光经过凸透镜和波导元件入射在眼睛区域上。

22.一种实施权利要求1～18任意一项所述近眼显示设备用基于光波导镜片的视线追踪方法用户可穿戴诊断健康系统和眼部疾病诊断设备，其特征在于，所述用户可穿戴诊断健康系统通过眼动追踪成像系统获取眼部图像，眼部图像用于检测眼睛的各种特征并检测任何异常，并确定一种或多种健康状况或缺陷。

23.一种应用权利要求1～18任意一项所述近眼显示设备用基于光波导镜片的视线追踪方法的眼动追踪视线控制系统。

24.一种应用权利要求1～18任意一项所述近眼显示设备用基于光波导镜片的视线追踪方法的近眼显示设备。

Images