[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116783536A - 包括推拉式透镜组的护目镜 - Google Patents

包括推拉式透镜组的护目镜 Download PDF

Info

Publication number
CN116783536A
CN116783536A CN202180086375.2A CN202180086375A CN116783536A CN 116783536 A CN116783536 A CN 116783536A CN 202180086375 A CN202180086375 A CN 202180086375A CN 116783536 A CN116783536 A CN 116783536A
Authority
CN
China
Prior art keywords
image
prism
lens
displayed
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180086375.2A
Other languages
English (en)
Inventor
米勒·舒克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN116783536A publication Critical patent/CN116783536A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/04Prisms
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C1/00Assemblies of lenses with bridges or browbars
    • G02C1/06Bridge or browbar secured to or integral with closed rigid rims for the lenses
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0129Head-up displays characterised by optical features comprising devices for correcting parallax
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种护目镜,其具有立体显示器和推拉式透镜组,立体显示器包括透镜系统,推拉式透镜组包括棱镜,以产生两个图像的与补偿平面重合的双目重叠。用户两个眼部所看到的由相应显示器生成的两个虚拟图像的重叠提供了用户舒适度。立体显示器可以具有单个补偿平面,其中,两个虚拟图像的双目重叠取决于补偿平面的位置和由两个图像中的视差形成的内容的深度。通过在虚拟图像至少基本重叠的位置处或附近提供该内容,提高了用户的观看舒适度。通过向内倾斜或倾转虚拟图像来控制双目重叠,使得重叠发生在补偿平面处。

Description

包括推拉式透镜组的护目镜
相关申请的交叉引用
本申请要求于2020年12月20日提交的美国临时申请系列第17/128,158号的优先权,其全部内容通过引用并入本文。
技术领域
本主题涉及一种护目镜装置,例如智能眼镜和透视显示器。
背景技术
现今可用的便携式护目镜装置(诸如智能眼镜、头戴具和头帽)集成了相机和透视显示器。透视显示器呈现可供用户查看的图像。
附图说明
附图仅通过示例而非限制的方式描绘了一个或更多个实现方式。在附图中,相同的附图标记表示相同或相似的元件。
图1A是护目镜装置的示例性硬件配置的侧视图,示出了带有图像显示器的右光学组件,并且基于检测到的头部或眼部移动用户将视场调节应用到呈现在图像显示器上的用户界面;
图1B是图1A的护目镜装置的镜腿的顶部剖视图,描绘了可见光相机、用于跟踪护目镜装置的用户头部移动的头部移动跟踪器、以及电路板;
图2A是护目镜装置的示例性硬件配置的后视图,该护目镜装置包括镜架上的眼部扫描仪,该眼部扫描仪用于在系统中使用,以用于标识护目镜装置的用户;
图2B是另一护目镜装置的示例性硬件配置的后视图,该护目镜装置包括镜腿上的眼部扫描仪,该眼部扫描仪用于在系统中使用,以用于标识护目镜装置的用户;
图2C和图2D是护目镜装置的示例性硬件配置的后视图,包括两种不同类型的图像显示器。
图3示出了图2A的护目镜装置的后透视图,描绘了红外发射器、红外相机、镜架前部、镜架背部和电路板;
图4是穿过图3的护目镜装置的红外发射器和镜架所截取的截面视图;
图5示出了检测眼部注视方向;
图6示出了检测眼部位置;
图7描绘了由左可见光相机捕获的作为左原始图像以及由右可见光相机捕获的作为右原始图像的可见光的示例;
图8A示出了对于焦距相对于单位为屈光度的会聚距离的用户舒适区;
图8B示出了透镜系统;
图8C示出了虚拟图像中的双目重叠的示例;
图8D示出了双目重叠相对于内容位置;
图8E示出了用于在增强现实(AR)装置中会聚虚拟图像的推拉式补偿系统;
图8F示出了具有集成光学元件(示出为楔形物)的推拉式透镜系统;
图9示出了护目镜装置的电子部件的框图;
图10A和图10B分别示出了处理现实世界图像和虚拟图像的方法;以及
图11示出了具有视觉用户输入的示例性可穿戴装置(例如,护目镜装置)。
具体实施方式
本公开针对具有包括透镜系统的立体显示器和包括棱镜的推拉式透镜组的护目镜,以产生两个图像的与补偿平面重合的双目重叠。用户的两个眼部所看到的由相应显示器生成的两个虚拟图像的重叠提供用户舒适度。立体显示器可以具有单个补偿平面,其中,两个虚拟图像的双目重叠取决于补偿平面的位置和由两个图像中的视差形成的内容的深度。通过设计光学系统以将虚拟图像焦点和100%双目重叠的位置都放置在最可能出现虚拟内容的空间的深度处,改善了用户舒适度。通过向内倾斜或倾转虚拟图像来控制双目重叠,使得该重叠发生在补偿平面处。
示例的另外的目的、优点和新颖特征将部分地在以下说明中进行阐述,并且对于本领域的普通技术人员而言在检查以下和附图时将部分了解,或者可以通过示例的生产或操作来学习。本主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。
在以下详细说明中,通过举例的方式阐述了许多具体细节,以便提供对相关教导的透彻理解。然而,对于本领域技术人员应当清楚的是,可以在没有此类细节的情况下实践本教导。在其他示例中,众所周知的方法、过程、部件和电路已经在相对高级而没有详细地进行了描述,以便避免不必要地使本教导的多个方面不清楚。
如本文所使用的术语“耦接”是指任何逻辑、光学、物理或电连接、链接等,通过一个系统元件产生或供应的信号或光被赋予至另一个经耦接的元件。除非另有描述,否则经耦接的元件或装置不一定直接连接到彼此,且可通过可修改、操纵或运载光或信号的中间部件、元件或通信介质分离。
诸如在任一附图中所示的护目镜装置、相关联的部件以及结合了眼部扫描器和相机的任何完整装置的取向仅是通过示例的方式给出的,用于展示和讨论的目的。在针对特定可变光学处理应用的操作中,护目镜装置可以被定向在适合于该护目镜装置的特定应用的任何其他方向上,例如上、下、侧向或任何其他定向。而且,在本文所使用的范围内,任何方向术语(诸如,前、后、向内、向外、朝向、左、右、横向、纵向、上、下、上部、下部、顶部、底部和侧面)仅仅通过示例的方式使用,并且不限制任何光学部件或如本文中另外描述的构造的光学部件的方向或取向。
现在详细参考在附图中所示的并且在下文所讨论的示例。
图1A是护目镜装置100的示例性硬件配置的侧视图,护目镜装置100包括具有图像显示器180D(图2A)的右光学组件180B。护目镜装置100包括形成立体相机的多个可见光相机114A-114B(图7),其中,右可见光相机114B位于右镜腿部110B上。
左可见光相机114A和右可见光相机114B具有对可见光范围波长敏感的图像传感器。可见光相机114A-114B中的每一个均具有不同的面向前方的覆盖角,例如,可见光相机114B具有所描绘的覆盖角111B。覆盖角是可见光相机114A-114B的图像传感器拾取电磁辐射并生成图像的角度范围。此类可见光相机114A-114B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和视频图形阵列(VGA)相机,诸如640p(例如,640×480像素,总共30万像素)、720p或1080p。来自可见光相机114A-114B的图像传感器数据与地理位置数据一起被捕获,由图像处理器数字化,并且存储在存储器中。
为了提供立体视觉,可见光相机114A-114B可以耦接至图像处理器(图9的元件912),以用于与捕获场景的图像的时间戳一起进行数字化处理。图像处理器912包括用于从可见光相机114A-114B接收信号并将来自可见光相机114A-114B的那些信号处理成适于存储在存储器(图9的元件934)中的格式的电路。时间戳可由图像处理器912或控制可见光相机114A-114B的操作的其他处理器添加。可见光相机114A-114B允许立体相机模拟人类双目视觉。立体相机提供基于分别来自具有相同时间戳的可见光相机114A-114B的两个捕获的图像(图7的元件758A-758B)来再现三维图像(图7的元件715)的能力。这种三维图像715允许沉浸式类生活的体验,例如以用于虚拟现实游戏或视频游戏。对于立体视觉,在给定时刻生成一对图像758A-758B—一个图像用于左可见光相机114A和右可见光相机114B中的每一个。当(例如,通过图像处理器912)将来自面向前方的左可见光相机114A和右可见光相机114B的视场(FOV)111A-111B的一对生成的图像758A-758B拼接在一起时,通过光学组件180A-180B提供深度感知。
在示例中,用户界面视场调节系统包括护目镜装置100。护目镜装置100包括镜架105、从镜架105的右外侧部170B延伸的右镜腿部110B、以及包括光学组件180B以向用户呈现图形用户界面的透视图像显示器180D(图2A-图2B)。护目镜装置100包括连接到镜架105或左镜腿部110A以捕获场景的第一图像的左可见光相机114A。护目镜装置100进一步包括右可见光相机114B,右可见光相机114B连接到镜架105或右镜腿部110B以(例如,与左可见光相机114A同时)捕获场景的与第一图像部分重叠的第二图像。虽然在图1A-图1B中未示出,但是用户界面视场调节系统进一步包括处理器932,处理器932耦接至护目镜装置100并且连接至可见光相机114A-114B;存储器934,处理器932可访问存储器934;以及在存储器934中的程序,例如在护目镜装置100本身或用户界面视场调节系统的另一部分中的程序。
虽然在图1A中未示出,护目镜装置100还包括头部移动跟踪器(图1B的元件109)或眼部移动跟踪器(图2B的元件213)。护目镜装置100进一步包括光学组件180A-180B的用于呈现显示图像的序列的透视图像各自的显示器180C-180D,以及图像显示驱动器(图9的元件942),图像显示驱动器耦接到光学组件180A-180B的透视图像显示器180C-180D,以控制光学组件180A-180B的图像显示器180C-180D呈现显示图像715的序列,这在下文进一步详细描述。护目镜装置100进一步包括存储器934以及可访问图像显示驱动器942和存储器934的处理器932。护目镜装置100进一步包括在存储器(图9的元件934)中的程序。处理器932对程序的执行将护目镜装置100配置成执行功能,这些功能包括经由透视图像显示器180C-180D呈现显示图像的序列的初始显示图像的功能,该初始显示图像具有对应于初始头部方向或初始眼部注视方向的初始视场(图5的元件230)。
处理器932对程序的执行进一步将护目镜装置100配置成通过以下各项来检测护目镜装置的用户的移动:(i)经由头部移动跟踪器(图1B的元件109)跟踪用户头部的头部移动,或(ii)经由眼部移动跟踪器(图图2B、图5的元件213)跟踪护目镜装置100的用户的眼部的眼部移动。处理器932对程序的执行进一步将护目镜装置100配置成基于所检测到的用户的移动来确定对初始显示图像的初始视场的视场调节。视场调节包括对应于连续的头部方向或连续的眼部方向的连续的视场。处理器932对程序的执行进一步将护目镜装置100配置成基于视场调节产生显示图像的序列的连续的显示图像。处理器932对程序的执行进一步将护目镜装置100配置成经由光学组件180A-180B的透视图像显示器180C-180D呈现连续的显示图像。
图1B是图1A的护目镜装置100的镜腿的顶部截面图,描绘了右可见光相机114B、头部移动跟踪器109和电路板。左可见光相机114A的构造和位置基本上类似于右可见光相机114B,除了连接和耦接在左外侧部170A上之外。如图所示,护目镜装置100包括右可见光相机114B和电路板,该电路板可以是柔性印刷电路板(PCB)140。右铰链126B将右镜腿110B连接到护目镜装置100的右镜腿部125B。在一些示例中,右可见光相机114B、柔性PCB140或其他电连接器或触点的部件可位于右镜腿125B或右铰链126B上。
如图所示,护目镜装置100具有头部移动跟踪器109,头部移动跟踪器109包括例如惯性测量单元(IMU)。惯性测量单元是使用加速度计和陀螺仪(有时还有磁力计)的组合来测量和报告身体的特定力、角速度、以及有时身体周围的磁场的电子装置。惯性测量单元通过使用一个或更多个加速度计检测线性加速度并且使用一个或更多个陀螺仪检测旋转速率来工作。惯性测量单元的典型配置包含用于三个轴中的每一个的每个轴的一个加速度计、陀螺仪和磁力计:用于左右移动的水平轴(X)、用于顶底移动的竖直轴(Y)以及用于上下移动的深度或距离轴(Z)。加速度计检测重力向量。磁力计像产生方向参考的罗盘一样定义磁场中的旋转(例如,面向南、北等)。这三个加速度计用于检测沿着以上定义的水平轴、竖直轴和深度轴的加速度,这可以相对于地面、护目镜装置100、或佩戴护目镜装置100的用户来定义。
护目镜装置100通过经由头部移动跟踪器109跟踪用户头部的头部移动来检测护目镜装置100的用户的移动。头部移动包括在图像显示器上呈现初始的显示图像期间在水平轴、竖直轴或它们的组合上的头部方向从初始头部方向的变化。在一个示例中,经由头部移动跟踪器109跟踪用户头部的头部移动包括经由惯性测量单元109测量水平轴(例如,X轴)、竖直轴(例如,Y轴)或它们的组合(例如,横向或对角线移动)上的初始头部方向。经由头部移动跟踪器109跟踪用户头部的头部移动进一步包括在呈现初始显示图像期间经由惯性测量单元109测量在水平轴、竖直轴或它们的组合上的连续头部方向。
经由头部移动跟踪器109跟踪用户头部的头部移动进一步包括基于初始头部方向和连续头部方向两者确定头部方向的变化。检测护目镜装置100的用户的移动进一步包括响应于经由头部移动跟踪器109跟踪用户头部的头部移动,确定头部方向的变化超过在水平轴、竖直轴或它们的组合上的偏差角阈值。偏差角阈值在约3°至10°之间。如本文所使用的,当提及角度时,术语“约”是指偏离所述量±10%。
沿着水平轴的变化通过例如调节三维对象的可见性的隐藏、显示、或其他方式来将三维对象(诸如字符、Bitmojis、应用图标等)滑入和滑出视场。在一个示例中,例如,当用户向上看时,沿竖直轴的变化显示天气信息、一天中的时间、日期、日历预约等。在另一个示例中,当用户在竖直轴线上向下看时,护目镜装置100可以关机。
右镜腿部110B包括镜腿本体211和镜腿盖,其中,在图1B的剖视图中省略了镜腿盖。多种互连电路板(诸如PCB或柔性PCB)设置在右镜腿部110B内部,多种互连电路板包含用于右可见光相机114B、麦克风130、扬声器132的控制器电路、低功率无线电路(例如,用于经由BluetoothTM的无线短程网络通信)、高速无线电路(例如,用于经由WiFi的无线局域网通信)。
右可见光相机114B耦接至柔性PCB 140或设置在柔性PCB 240上并且由可见光相机覆盖透镜覆盖,该可见光相机覆盖透镜通过形成在右镜腿部110B中的开口瞄准。在一些示例中,连接到右镜腿部110B的镜架105包括用于可见光相机覆盖透镜的开口。镜架105包括被配置成远离用户的眼部面向外的正面侧部。用于可见光照相机覆盖透镜的开口形成在正面侧部上并且穿过正面侧部。在该示例中,右可见光相机114B具有与护目镜装置100的用户的右眼的视线或视角共线的面向外的覆盖角111B。可见光照相机覆盖透镜还可粘附至右镜腿部110B的面向外的表面,其中,开口形成有面向外的覆盖角,但是在不同的向外方向上。该耦接还可以是经由介入部件间接的。
左(第一)可见光相机114A连接至左光学组件180A的左透视图像显示器180C,以生成第一连续显示图像的第一背景场景。右(第二)可见光相机114B连接至右光学组件180B的右透视图像显示器180D,以生成第二连续显示图像的第二背景场景。第一背景场景和第二背景场景部分重叠以呈现连续显示图像的三维可观察区域。
柔性PCB 140设置在右镜腿部110B内部并且耦接到被容纳在右镜腿部110B中的一个或更多个其他部件。尽管示出为形成于右镜腿部110B的电路板上,但右可见光相机114B可形成于左镜腿部110A、镜腿125A-125B或镜架105的电路板上。
图2A是护目镜装置100的示例性硬件配置的后视图,该护目镜装置100包括镜架105上的眼部扫描仪113,该眼部扫描仪113用于在系统中使用,以用于确定护目镜装置100的佩戴者/用户的眼部位置和注视方向。如图2A所示,护目镜装置100呈被配置成用于由用户佩戴的形式,护目镜装置100在图2A的示例中是眼镜。护目镜装置100可以采用其他形式并且可以结合其他类型的镜框,例如,头帽、头戴耳机、或头盔。
在眼镜示例中,护目镜装置100包括镜架105,该镜架105包括经由适配于用户的鼻子的鼻桥106连接至右边框107B的左边框107A。左边框107A和右边框107B包括保持相应的光学元件180A-180B(诸如透镜和透视显示器180C-180D)的相应孔口175A-175B。如本文所使用的,术语透镜是指覆盖具有弯曲和平坦表面的玻璃或塑料的透明或半透明片,弯曲和平坦表面引起光会聚/发散或引起很少的会聚/发散或不引起会聚/发散。
虽然被示出为具有两个光学元件180A-180B,但取决于护目镜装置100的应用或预期用户,护目镜装置100可以包括其他布置,诸如单个光学元件。如进一步所示,护目镜装置100包括邻近镜架105的左外侧部170A的左镜腿部110A及邻近镜架105的右外侧部170B的右镜腿部110B。镜腿110A-110B可集成在相应侧部170A-170B上的镜架105中(如图所示)或实施为附接至相应侧部170A-170B上的镜架105的单独部件。可替代地,镜腿110A-110B可集成到附接至镜架105的镜腿(未示出)中。
在图2A的示例中,眼部扫描仪113包括红外发射器115和红外相机120。可见光相机通常包括蓝光滤波器以阻挡红外光检测,在示例中,红外相机120是可见光相机,诸如低分辨率视频图形阵列(VGA)相机(例如,640×480像素,总共30万像素),其中,移除了蓝色滤波器。红外发射器115和红外相机120共置在镜架105上,例如,两者被示出为连接到左边框107A的上部部分。镜架105或左镜腿110A和右镜腿110B中的一个或更多个包括电路板(未示出),该电路板包括红外发射器115和红外相机120。红外发射器115和红外相机120可通过例如焊接连接到电路板。
可以实施红外发射器115和红外相机120的其他布置,包括其中红外发射器115和红外相机120两者都在右边框107B上或者在镜架105上的不同位置中的布置,例如,红外发射器115在左边框107A上并且红外相机120在右边框107B上。在另一示例中,红外发射器115在镜架105上并且红外相机120在镜腿110A-110B中的一个上,或反之亦然。红外发射器115可基本上连接在镜架105、左镜腿部110A或右镜腿部110B上的任何位置,以发射红外光的图案。类似地,红外相机120可基本上连接在镜架105、左镜腿部110A或右镜腿部110B上的任何位置,以捕获红外光的发射图案中的至少一个反射变化。
红外发射器115和红外相机120布置成以眼部的部分或全部视场向内面向用户的眼部,以便标识相应的眼部位置和注视方向。例如,红外发射器115和红外相机120直接定位在眼部的前方、镜架105的上部部分中或镜架105的任一端部处的镜腿110A-110B中。
图2B是另一护目镜装置200的示例性硬件配置的后视图。在这个示例配置中,护目镜装置200被描绘为包括在右镜腿210B上的眼部扫描仪213。如图所示,红外发射器215和红外相机220共置于右镜腿210B上。应当理解的是,眼部扫描仪213或眼部扫描仪213的一个或更多个部件可以位于左镜腿210A上和护目镜装置200的其他位置(例如,镜架105)上。红外发射器215和红外相机220与图2A的红外发射器和红外相机类似,但是眼部扫描仪213可以变化以对不同光波长敏感,如之前在图2A中所描述的。
类似于图2A,护目镜装置200包括:镜架105,该镜架105包括经由鼻桥106连接至右边框107B的左边框107A;并且左边框107A和右边框107B包括保持包括透视显示器180C-180D的相应光学元件180A-180B的相应孔口。
图2C-图2D是护目镜装置100的示例性硬件配置的后视图,该护目镜装置100包括两种不同类型的透视图像显示器180C-180D。在一个示例中,光学组件180A-180B的这些透视图像显示器180C-180D包括集成的图像显示器。如图2C所示,光学组件180A-180B包括任何合适类型的合适的显示矩阵180C-180D,诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器、波导显示器、或任何其他此类显示器。
光学组件180A-180B还包括一个或更多个光学层176,光学层可以包括透镜、光学涂层、棱镜、反射镜、波导、光带、以及任何组合的其他光学部件。光学层176A-N可以包括棱镜,该棱镜具有合适的尺寸和配置并且包括用于从显示矩阵接收光的第一表面和用于向用户的眼部发射光的第二表面。光学层176A-N的棱镜在左边框107A和右边框107B中形成的相应孔口175A-175B的全部或至少一部分上延伸,以允许当用户的眼部正在通过相应的左边框107A和右边框107B观看时用户看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从镜架105面向上并且显示矩阵覆盖棱镜,使得由显示矩阵发射的光子和光撞击第一表面。棱镜的尺寸和形状被确定成使得光在棱镜内被折射并且被光学层176A-N的棱镜的第二表面引向用户的眼部。在此方面,光学层176A-N的棱镜的第二表面可以是凸形的,以将光引向眼部的中心。棱镜的尺寸和形状可以可选地被确定成放大由透视图像显示器180C-180D投影的图像,并且光行进通过棱镜,使得从第二表面观察到的图像在一个或更多个维度上大于从透视图像显示器180C-180D发射的图像。参考图8A-图8F详细描述一个示例,并且在下文中将进一步描述。
在另一个示例中,光学组件180A-180B的透视图像显示器180C-180D包括如图2D所示的投影图像显示器。光学组件180A-180B包括激光投影仪150,激光投影仪150是使用扫描镜或检流计的三色激光投影仪。在操作过程中,光源(诸如激光投影仪150)设置在护目镜装置100的镜腿125A-125B中的一个之中或之上。光学组件180A-B包括跨光学组件180A-180B的透镜的宽度或跨透镜的前表面与后表面之间的深度间隔开的一个或更多个光带155A-N。
当由激光投影仪150投影的光子行进穿过光学组件180A-180B的透镜时,光子遇到光带155A-N。当特定光子遇到特定光带时,该光子或者被重新引向用户的眼部,或者它传递到下个光带。激光投影器150的调制与光带的调制的组合可控制特定光子或光束。在示例中,处理器通过启动机械、声学或电磁信号来控制光带155A-N。尽管被示出为具有两个光学组件180A-180B,但是护目镜装置100可以包括其他布置,诸如单个或三个光学组件,或者根据护目镜装置100的应用或预期用户,光学组件180A-180B可以已经布置了不同的布置。
如图2C至图2D进一步所示,护目镜装置100包括邻近镜架105的左外侧部170A的左镜腿部110A和邻近镜架105的右外侧部170B的右镜腿部110B。镜腿110A-110B可集成在相应外侧部170A-170B上的镜架105中(如图所示)或实施为附接至相应侧部170A-170B上的镜架105的单独部件。可替代地,镜腿110A-110B可集成到附接至镜架105的镜腿125A-125B中。
在一个示例中,透视图像显示器包括第一透视图像显示器180C和第二透视图像显示器180D。护目镜装置100包括第一孔口175A和第二孔口175B,第一孔口175A和第二孔口175B保持相应的第一光学组件180A和第二光学组件180B。第一光学组件180A包括第一透视图像显示器180C(例如,图2C的显示矩阵或光带155A-N’和投影仪150A)。第二光学组件180B包括第二透视图像显示器180D,例如,图2C的显示矩阵或光带155A-N”以及投影仪150B)。连续显示图像的连续视场包括水平、竖直或对角测量的约15°至30°之间的、和更具体地24°的视角。具有连续视场的连续显示图像表示通过将呈现在第一图像显示器和第二图像显示器上的两个显示图像拼接在一起而可见的组合的三维可观察区域。
如本文所使用的,“视角”描述与呈现在光学组件180A-180B的左图像显示器180C和右图像显示器180D中的每一个上的显示图像相关联的视场的角度范围。“覆盖角”描述可见光相机114A-114B或红外相机220的透镜可以成像的角度范围。通常,由透镜产生的像圈足够大以完全覆盖膜或传感器,可能包括一些渐晕(即,与图像中心相比,图像的亮度或饱和度朝着外围减小)。如果透镜的覆盖角未填满传感器,则像圈将是可见的,通常具有朝向边缘的强渐晕,并且有效视角将被限于覆盖角。“视场”旨在描述可观察区域的领域,护目镜装置100的用户可以经由呈现在光学组件180A-180B的左图像显示器180C和右图像显示器180D上的显示图像通过他或她的眼部看到该可观察区域的领域。光学组件180A-180B的图像显示器180C可以具有覆盖角在15°至30°之间(例如,24°)的视场,并且具有480×480像素的分辨率。
图3示出了图2A的护目镜装置的后透视图。护目镜装置100包括红外发射器215、红外相机220、镜架前部330、镜架背部335和电路板340。在图3中可以看出,护目镜装置100的镜架的左边框的上部部分包括镜架前部330和镜架背部335。用于红外发射器215的开口形成在镜架背部335上。
如在镜架的左边框的上部中间部分中所环绕的截面4中所示,电路板(其为柔性PCB 340)被夹在镜架前部330与镜架背部335之间。还更详细地示出了左镜腿部110A经由左铰链126A附接至左镜腿325A。在一些示例中,眼部移动跟踪器213的部件(包括红外发射器215、柔性PCB 340、或其他电连接器或触点)可以位于左镜腿325A或左铰链126A上。
图4是穿过与图3的护目镜装置的环绕截面4相对应的红外发射器215和镜架的截面图。在图4的横截面中示出了护目镜装置100的多个层,如图所示,镜架包括镜架前部330和镜架背部335。柔性PCB 340设置在镜架前部330上并且连接至镜架背部335。红外发射器215设置在柔性PCB 340上并且由红外发射器覆盖透镜445覆盖。例如,红外发射器215回流焊到柔性PCB340的背部。通过使柔性PCB 340经受熔化焊料膏的受控热量来连接两个部件,回流焊将红外发射器215附接至形成在柔性PCB 340的背部上的接触焊盘。在一个示例中,回流焊用于将红外发射器215表面安装在柔性PCB340上并电连接这两个部件。然而,应当理解的是,例如,通孔可以用于经由互连将来自红外发射器215的引线连接至柔性PCB 340。
镜架背部335包括用于红外发射器覆盖透镜445的红外发射器开口450。红外发射器开口450形成在镜架背部335的面向后的侧部上,镜架背部335的面向后的侧部被配置成向内面向用户的眼部。在该示例中,柔性PCB 340可以经由柔性PCB粘合剂460连接至镜架前部330。红外发射器覆盖透镜445可以经由红外发射器覆盖透镜粘合剂455连接到镜架背部335。该耦接还可以是经由介入部件间接的。
在示例中,处理器932利用眼部跟踪器213确定如图5所示的佩戴者眼部234的眼部注视方向230,以及如图6所示的眼动范围内的佩戴者眼部234的眼部位置236。眼部跟踪器213是使用红外光照明(例如,近红外、短波长红外、中波长红外、长波长红外、或远红外)来捕获来自眼部234的红外光的反射变化的图像以确定相对于透视显示器180D的眼部234的瞳孔232的注视方向230以及眼部位置236的扫描仪。
图7描绘了用相机114A-114B捕获可见光的示例。可见光被具有圆形视场(FOV)111A的左可见光相机114A捕获。所选择的矩形左原始图像758A用于由图像处理器912(图9)进行图像处理。可见光由具有圆形FOV111B的右可见光相机114B捕获。由图像处理器912选择的矩形右原始图像758B用于由处理器912进行图像处理。基于对左原始图像758A和右原始图像758B的处理,处理器912生成并且显示器180C和180D显示三维场景的三维图像715,下文称为沉浸式图像,三维图像715可供用户查看。
人类视觉系统(HVS)依赖于一组复杂的肌肉功能,以集中于对象并且判断其在空间中的深度。补偿是睫状肌的挤压,以使眼部晶状体扭曲以聚焦在图像平面处。会聚是双目朝向对象的旋转以将两个图像双目地融合成单个感知图像。融合对象所需的会聚量给出HVS对象距观看者的距离的感受。补偿和会聚的过程由反馈机制关联,其中,调节补偿,然后会聚,并且对其迭代,直到对象的经聚焦和融合的图像被呈现给观察者。这种调节以模拟的方式发生在自然世界中大范围的对象距离(例如,30厘米到无穷远)上。
立体显示器被设计成通过在发送给眼部的两个图像之间添加视差(图像位置中的水平角差),来重新产生对象中的这种深度感受。左/右图像中的这种视差需要眼部会聚以便融合图像,从而给出深度感受。通常,立体显示器限于几个离散的补偿平面(或焦点平面),因为用于增加焦点平面数量的方案产生更庞大且更重的封装(其影响用户舒适度)并且需要更高的帧速率成像(减少电池寿命和图像亮度)。为了减小尺寸、重量和帧速率,一个示例性设计是AR装置中的单个补偿平面,同时呈现具有用于深度感受的视差的图像。当会聚距离和补偿距离不匹配时(在立体显示器中经常发生的情况),该状况被称为会聚-补偿冲突(VAC)。对人可以舒适地容忍的VAC的量存在限制。近来对立体影院、电视和手持装置的研究表明,超过补偿距离的+/-0.5屈光度(屈光度=1/对象距离,单位为米)的会聚误差将导致眼部疲劳和更长时间的不适。
图8A描绘了VAC足够小以产生舒适的、更长期的观看体验的区域。如果大多数立体内容例如出现在0.67米的深度处,那么可在0.67m(或1.5屈光度)处选择补偿(或焦点)平面以匹配典型深度且考虑超过1.5屈光度的微小深度偏移。从图8A中的图表,在1.5屈光度处的单个补偿平面具有0.9屈光度(1.1m)至2.0屈光度(0.5m)的舒适会聚范围。
AR护目镜100可以具有包括波导的显示器180C和180D,波导填充有衍射结构以将相应虚拟图像715从护目镜100的相应投影仪(未示出)引导到用户的眼部。将相应虚拟图像715放置在无穷远处的衍射结构可以具有益处,诸如更简单的设计和制造、更宽的视场(FOV)、更好的瞳孔复制、更高的效率和改进的颜色均匀性。再次参见图8A,如果虚拟图像715放置在无穷远处(焦距=0屈光度),那么实际用户舒适区域从0屈光度(无穷米)到0.6屈光度(1.7米),从而对于大部分虚拟内容,缺少以上建立的1.5屈光度(0.67米)的目标。
参考图8B,为了将虚拟内容从无穷大移动至0.67m,光学组件180A的具有-1.5屈光度的屈光力的第一透镜182被放置在波导显示器180A与用户的眼部234之间。第一透镜182将虚拟内容从无穷大拉至0.67m的焦点平面。然而,在仅-1.5屈光度的透镜182就位的情况下,世界的视图也被改变,从而抑制了用户对现实世界导航的能力。为了补救该状况,光学组件180A的具有+1.5屈光度的屈光力的第二透镜184被放置在波导显示器180A的相反侧上,以补偿-1.5屈光度透镜的屈光力,从而维持世界的视图。同样,透镜182和透镜184被定位在波导显示器180B的相反侧上,如图所示。
图8C示出了虚拟图像715的双目重叠的三种情况。在810处示出的第一种情况下,图像715不向内倾斜,从而导致在无穷远处的会聚(或100%重叠)。在812处示出的第二种情况下,图像715向内倾斜,使得虚拟图像在接近2m处会聚。在814处所示的第三情况下,图像715倾斜以在1m处会聚。
图8D描绘了对于典型的AR装置虚拟图像715在若干补偿平面(1m至10m)处的相对于内容位置的双目重叠百分比(或单位为屈光度的会聚度)。如果虚拟图像715的会聚距离被设置为等于补偿距离,则双目重叠在该距离处被最大化并且对于其他会聚距离(或深度)处的内容缓慢地减小。
图8E描绘了利用包括在护目镜100中的补偿“推拉”透镜组的AR系统800。如由用户的两只眼部234所看到的,由相应的显示器180C和180D生成的两个虚拟图像715的重叠有助于用户舒适度。在具有单个补偿平面的立体显示器中,两个虚拟图像715的双目重叠取决于补偿平面的位置和由两个图像715中的视差形成的内容的深度。如果大部分内容出现在虚拟图像715基本上重叠的位置处或附近(例如,在100%处或其附近),则改善了用户观看舒适度。控制双目重叠的一种方式是向内倾斜或倾转虚拟图像715,使得该重叠发生在补偿平面处。
为了提高用户舒适度,包括AR系统800的护目镜装置100中的虚拟图像715被倾斜以会聚于补偿平面处。用于倾斜图像的一种类型的光学机构是棱镜。图8E描绘了插入负屈光力透镜182(在推拉系统中)与波导显示器180A之间的层176(图2C)的第一棱镜826。第一棱镜826使相应的现实世界图像向内倾斜,以产生两个图像的与单个补偿平面重合的双目重叠。以相同的方式,层176的第二棱镜828插入在波导显示器180A的相反侧上,以补偿第一棱镜826并且提供外部世界的未改变的视图。第一棱镜826使现实世界图像向内倾斜,然后第二棱镜828进行补偿,被称为推拉透镜组。第二棱镜828还将处理后的显示图像715朝向单个补偿平面倾斜。棱镜826和828可以是如图8E所示的插入光学系统中的单独元件,或者它们可以如图8F所描绘的集成到推拉透镜182和184中。在图8F中靠近眼部的每个透镜184是形成为楔形的负屈光力透镜,并且在波导显示器180A的相反侧上的每个透镜182是具有补偿光学屈光力和棱镜的透镜。单独或集成的透镜182和184以及棱镜826和828可具有平坦表面、球形表面、圆锥表面、环形或双圆锥形状。
重要的是,当考虑世界视图时,棱镜826和828的两个表面的光学屈光力彼此补偿。也重要的是,当考虑世界视图时,两个相对棱镜826和828的转向屈光力彼此补偿。为了在补偿平面处的最大双目重叠,棱镜826和828必须以相对于补偿平面的适当角度量来倾转光束。该角度由楔形角和楔形材料确定。单独或集成的透镜182和184以及棱镜826和828不必由相同的材料制成,只要补偿光学屈光力和偏转角即可。在透镜表面轮廓中增加圆锥形、双圆锥形、非球面和/或环形项允许随着减小眼部移动的失真并且改进世界视图和虚拟图像715中的调制传输函数(或可分辨的像素大小)。
图9描绘了包括布置在护目镜100/200中的示例性电子部件的高级功能框图。所示出的电子部件包含处理器932、存储器934和透视图像显示器180C和180D。
存储器934包括用于由处理器932执行以实施护目镜100/200的功能的指令,这些指令包括用于处理器932控制图像715的指令。处理器932接收来自电池(未示出)的电力并执行存储在存储器934中或者与处理器932一起集成在芯片上的指令,以执行护目镜100/200的功能,并且经由无线连接与外部装置通信。
用户界面调节系统900包括可穿戴装置,该可穿戴装置是具有眼部移动跟踪器213(例如,在图2B中示出为红外发射器215和红外相机220)的护目镜装置100。用户界面调节系统900还包括经由多种网络连接的移动装置990和服务器系统998。移动装置990可以是智能电话、平板计算机、膝上型计算机、接入点、或能够使用低功率无线连接925和高速无线连接937两者与护目镜装置100连接的任何其他此类装置。移动装置990连接到服务器系统998和网络995。网络995可包括有线连接和无线连接的任何组合。
护目镜装置100包括至少两个可见光相机114A-114B(一个与左外侧部170A相关联并且一个与右外侧部170B相关联)。护目镜装置100进一步包括光学组件180A-180B的两个透视图像显示器180C-180D(一个与左外侧部170A相关联并且一个与右外侧部170B相关联)。护目镜装置100还包含图像显示驱动器942、图像处理器912、低功率电路920和高速电路930。图9所示的用于护目镜装置100的部件位于镜腿中的一个或更多个电路板(例如PCB或柔性PCB)上。可替代地或另外地,所描绘的部件可以位于护目镜装置100的镜腿、镜架、铰链或鼻桥中。左可见光相机114A和右可见光相机114B可包括数字相机元件,诸如互补金属氧化物半导体(CMOS)图像传感器、电荷耦接装置、透镜或可用于捕获数据(包括具有未知对象的场景的图像)的任何其他相应的可见或光捕获元件。
眼部移动跟踪程序945实施用户界面视场调节指令,包括用于致使护目镜装置100经由眼部移动跟踪器213跟踪护目镜装置100的用户的眼部的眼部移动。其他实施的指令(功能)致使护目镜装置100基于所检测到的用户的对应于连续眼部方向的眼部移动来确定对初始FOV111A-111B的FOV调节。进一步实施的指令基于视场调节生成显示图像序列的连续显示图像。连续显示图像经由用户界面被产生为对用户的可见输出。可见输出出现在光学组件180A-180B的透视图像显示器180C-180D上,该透视图像显示器180C-180D被图像显示驱动器934驱动,以呈现显示图像序列,显示图像包括具有初始视场的初始显示图像和具有连续视场的连续显示图像。
如图9所示,高速电路930包括高速处理器932、存储器934和高速无线电路936。在示例中,图像显示驱动器942耦接至高速电路930并且由高速处理器932操作,以便驱动光学组件180A-180B的左图像显示器180C和右图像显示器180D。高速处理器932可以是能够管理护目镜装置100所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器932包括使用高速无线电路936来管理高速无线连接937到无线局域网(WLAN)上的高速数据传输所需的处理资源。在某些示例中,高速处理器932执行操作系统,诸如LINUX操作系统或护目镜装置100的其他此类操作系统,并且该操作系统被存储在存储器934中以供执行。除了任何其他职责之外,执行护目镜装置100的软件架构的高速处理器932被用来利用高速无线电路936管理数据传输。在某些示例中,高速无线电路936被配置成实施电气与电子工程师协会(IEEE)802.11通信标准,在此也被称为Wi-Fi。在其他示例中,其他高速通信标准可以由高速无线电路936实施。
护目镜装置100的低功率无线电路924和高速无线电路936可以包括短程收发器(BluetoothTM)和无线广域网、局域网或广域网收发器(例如,蜂窝或WiFi)。移动装置990(包括经由低功率无线连接925和高速无线连接937进行通信的收发器)可以使用护目镜装置100的架构的细节来实施,网络995的其他元件也是如此。
存储器934包括能够存储多种数据和应用的任何存储装置,除其他事项之外,所述数据和应用包括色图、由左可见光相机114A和右可见光相机114B和图像处理器912生成的相机数据、以及由图像显示驱动器942在光学组件180A-180B的透视图像显示器180C-180D上显示而生成的图像。虽然存储器934被示出为与高速电路930集成,但是在其他示例中,存储器934可以是护目镜装置100的独立的独立运行元件。在某些此类示例中,电气路由线可提供通过包括高速处理器932的芯片从图像处理器912或低功率处理器922到存储器934的连接。在其他示例中,高速处理器932可以管理存储器934的寻址,使得低功率处理器922将在需要涉及存储器934的读取或写入操作的任何时间引导高速处理器932。
服务器系统998可以是作为服务或网络计算系统的一部分的一个或更多个计算装置,计算装置例如包括处理器、存储器和用于通过网络995与移动装置990和护目镜装置100/200进行通信的网络通信接口。护目镜装置100和200与主计算机连接。例如,护目镜装置100经由高速无线连接937与移动装置990配对,或经由网络995连接到服务器系统998。
护目镜装置100的输出部件包括视觉部件,诸如在图2C-图2D中所描述的光学组件180A-180B的左图像显示器180C和右图像显示器180D(例如,显示器,诸如液晶显示器(LCD)、等离子显示面板(PDP)、发光二极管(LED)显示器、投影仪、或波导)。光学组件180A-180B的图像显示器180C-180D由图像显示驱动器942驱动。护目镜装置100的输出部件进一步包括声学部件(例如,扬声器)、触觉部件(例如,振动马达)、其他信号发生器等等。护目镜装置100、移动装置990和服务器系统998的输入部件可以包括字母数字输入部件(例如,键盘、被配置成接收字母数字输入的触摸屏、光学键盘或其他字母数字输入部件)、基于点的输入部件(例如,鼠标、触摸板、轨迹球、操纵杆、移动传感器或其他点设备)、触觉输入部件(例如,物理按钮、提供触摸或触摸手势的位置和力的触摸屏、或其他触觉输入部件)、音频输入部件。
护目镜装置100可以可选地包括额外的外围装置元件919。这种外围装置元件可以包括环境光和光谱传感器、生物计量传感器、额外的传感器、或与护目镜装置100集成的显示元件。例如,外围装置元件919可以包括任何I/O部件,I/O部件包括输出部件、移动部件、位置部件、或在本文所描述的任何其他此类元件。护目镜装置100可以采用其他形式并且可以结合其他类型的镜框,例如,头帽、头戴耳机、或头盔。
例如,用户界面视场调节900的生物计量组件包括用于检测表达(例如,手部表达、面部表达、声音表达、身体姿势、或眼部跟踪)、测量生物信号(例如,血压、心率、体温、出汗、或脑电波)、标识人(例如,语音标识、视网膜标识、面部标识、指纹标识、或基于脑电图的标识)等的部件。移动部件包括加速度传感器部件(例如,加速度计)、重力传感器部件、旋转传感器部件(例如,陀螺仪)等。位置部件包括用以产生位置坐标的位置传感器部件(例如,全球定位系统(GPS)接收器部件)、用于产生定位系统坐标的WiFi或BluetoothTM收发器、高度传感器组件(例如,检测可从中得出高度的空气压力的高度计或气压计)、定向传感器部件(例如,磁力计)等。也可以通过无线连接925和937经由低功率无线电路924或高速无线电路936从移动装置990接收这种定位系统坐标。
根据某些示例,“应用(application)”或“应用(applications)”是执行在程序中定义的功能的程序。可采用不同编程语言来创建以多种方式结构化的应用中的一个或更多个,诸如面向对象的编程语言(例如,Objective-C、Java或C++)或过程编程语言(例如,C或汇编语言)。在具体示例中,第三方应用(例如,由不同于特定平台的供应商的实体使用ANDROIDTM或IOSTM软件开发包(SDK)开发的应用)可以是在移动操作系统(诸如IOSTM、ANDROIDTMPhone、或另一移动操作系统)上运行的移动软件。在该示例中,第三方应用可调用由操作系统提供的API呼叫,以促进本文所描述的功能。
现在参考图10A和图10B,示出了用于产生两个图像715的与补偿平面重合的双目重叠的方法1000和方法1020。
参考图10A的框1002,示出了现实世界图像的光学处理。光学组件180A和180B各自包括接收现实世界图像的相应的第一透镜182和第一棱镜826。
在框1004处,相应的第一透镜182添加正屈光力,以使现实世界图像朝向相应的图像显示器180A和180B会聚。
在框1006处,相应的第一棱镜826将会聚的现实世界图像朝向相应的图像显示器180A和180B倾斜。如图8E所示,会聚和倾斜的相应现实世界图像然后各自穿过相应的图像显示器180C和180D。
在框1008处,相应的第二棱镜828移除由第一棱镜826产生的棱镜屈光力并且使现实世界图像倾斜远离图像显示器180C和180D。
在框1010处,相应的第二透镜184添加负屈光力并且使相应的会聚的现实世界图像朝向相应的用户眼部234发散。
参考图10B,示出了对由显示器180A和180B显示的虚拟图像进行光学处理的方法1020。
在框1022处,相应的第二棱镜828使相应的所显示的虚拟图像倾斜远离图像显示器180C和180D。
在框1024处,相应的第二透镜184添加负屈光力并且使相应的所显示的虚拟图像朝向相应的用户眼部234发散。
相应的第一棱镜826使现实世界图像向内倾斜,以产生两个图像的与单个补偿平面重合的双目重叠。以相同的方式,波导显示器180A的相反侧上的相应的第二棱镜828补偿第一棱镜826并且提供外部世界的未改变的视图。第二棱镜828还使经处理的所显示的图像715朝向单个补偿平面倾斜。棱镜826和828可以是如图8E所示的插入到光学系统800中的单独元件,或者它们可以如图8F所描绘的集成到推拉式透镜182和184中。在图8F中靠近眼部的每个透镜184是形成为楔形的负屈光力透镜,并且在波导显示器180A的相反侧上的每个透镜182是正屈光力透镜。当考虑世界视图时,两个棱镜的光学屈光力彼此补偿。当考虑世界视图时,两个相对棱镜826和828的转向屈光力彼此补偿。为了在补偿平面处的最大双目重叠,棱镜826和828以相对于补偿平面的适当角度量来倾转相应光束。
参考图11,处理器932使用图像处理器912和图像显示驱动器942在图像显示器180上向用户呈现图像。处理器932响应于护目镜装置100在环境600内的位置而经由图像显示器开发和呈现视觉图像。在一个示例中,视觉图像包括用于操纵图形用户界面(GUI)的特征的手1102的图像和虚拟空间飞行器1104。
GUI可以呈现在护目镜装置100的显示器180、移动装置990的显示器、或用于远程计算机(诸如服务器系统998)的显示器上。在一个示例中,用户可以使用护目镜装置100的用户输入装置、使用移动装置990的用户输入层或另一装置的用户输入来操纵选择器和致动按钮。
在另一示例中,用户可以通过护目镜装置100的相机114所捕获的手势来操纵选择器和致动按钮。根据此示例,护目镜装置100的处理器932被配置成用相机114A、114B捕获视频数据的帧。将图像中的对象(诸如手1100)与手势库980进行比较,以识别与动作相关联的预定义的手势(例如,指向食指)。当识别手势时,其位置是相对于选择器确定的并且致动按钮。手势的修改(例如,当食指的指尖在按钮附近时的轻敲移动或者当食指的指尖在选择器附近时的滑动移动)致使按钮/选择器的致动。
在一些实现方式中,确定检测到的手部形状是否与预定义的手势匹配的过程涉及将所捕获的视频数据的一个或更多个帧中的关于手部形状的像素级数据与存储在手势库980(图9)中的手势集合进行比较。所检测的手的形状数据可包括手腕的三维坐标、多达十五个指间关节、多达五个指尖以及在所捕获的帧中发现的其他骨骼或软组织界标。将这些数据与存储在手势库980中的手势数据进行比较,直到找到最佳匹配。在一些示例中,过程包括计算检测到的手部形状指尖坐标与存储在库980中的每个手势的一组指尖坐标之间的测地距离的总和。在可配置阈值准确度值内的总和表示匹配。
在另一示例性实现方式中,确定检测到的手部形状是否与预定义的手势匹配的过程涉及使用机器学习算法来将所捕获的视频数据的一个或更多个帧中的关于手部形状的像素级数据与包括手势的图像集合进行比较。
机器学习是指通过经验递增地改进的算法。通过处理大量不同的输入数据集,机器学习算法可以开发关于特定数据集的改进的概括,并且然后在处理新数据集时使用那些概括来产生准确的输出或方案。广义地说,机器学习算法包括将响应于新体验而调整或改变的一个或更多个参数,由此递增地改进算法;类似于学习的过程。
在计算机视觉的背景下,数学模型试图模仿由人类视觉系统完成的任务,其目标是使用计算机从图像中提取信息并实现对图像内容的准确理解。计算机视觉算法已经被开发用于多种领域,包括人工智能和自动导航,以提取和分析数字图像和视频中的数据。
深度学习是指基于人工神经网络或在人工神经网络之后建模的一类机器学习方法。人工神经网络是由多个简单、高度互连的处理元件(节点)组成的计算系统,这些处理元件通过它们对外部输入的动态状态响应来处理信息。大型人工神经网络可能具有成百上千个节点。
卷积神经网络(CNN)是经常应用于分析视觉图像(包括数字照片和视频)的一种类型的神经网络。CNN中的节点之间的连通性模式通常在组织人类视觉皮层之后被建模,人类视觉皮层包括被布置成对视野中的重叠区域作出响应的个体神经元。适用于在此所描述的确定过程中的神经网络是基于以下架构之一:VGG16、VGG19、ResNet50、Inception V3、Xception、或其他CNN兼容的架构。
在机器学习示例中,处理器932使用被称为手部特征模型的经机器训练的算法来确定所检测到的手部形状是否基本上匹配预定义的手势。处理器932被配置成存取通过机器学习训练的手部特征模型,且应用手部特征模型以识别和定位视频数据的一个或更多个帧中的手部形状的特征。
在一个示例性实现方式中,经训练的手部特征模型接收包含所检测到的手部形状的视频数据的帧并且将帧中的图像抽象成层以供分析。基于经训练的手部特征模型,逐层将每层中的数据与存储在手势库980中的手势数据进行比较,直到识别出良好匹配。
在一个示例中,使用卷积神经网络执行逐层图像分析。在第一卷积层中,CNN识别所学习的特征(例如,手地标、关节坐标集等)。在第二卷积层中,图像被变换成多个图像,其中,在相应子图像中,所学习的特征各自被强调。在合并层中,图像和子图像的尺寸和分辨率减小,以便隔离每个图像的包括感兴趣的可能特征(例如,可能的手掌形状、可能的手指关节)的部分。来自非输出层的图像的值和比较用于对帧中的图像进行分类。如本文所使用的分类是指使用经训练的模型根据所检测的手部形状对图像进行分类的过程。例如,如果检测到的手部形状与来自库980的指针手势匹配,则图像可被分类为“指针手势存在”。
在一些示例性实现方式中,处理器932响应于检测指向手势,指向手势在显示器180A-B上呈现为指示符1102(参照图11)。指示符1102通知佩戴者已经检测到预定义的手势。在一个示例中,指示符1102是物体,诸如图11所示的指向手指。指示符1102可以包括一个或更多个可见的、可听的、可触知的元件和其他元件,以通知或警告佩戴者已经检测到指针手势。用户可以通过移动在护目镜装置100的视野内的检测到的手1100来移动指示符1102。
将理解的是,本文中所使用的术语和表达具有普通含义,如对于它们相应的相对查询和研究领域而言符合此类术语和表达,除了本文中已经另外阐述具体含义之外。诸如第一和第二等之类的关系术语可仅用来将一个实体或动作与另一个实体或动作区分开来,而不必要求或暗指这些实体或动作之间的任何实际此类关系或次序。术语“包括(comprises)”、“包括(comprising)”、“包含(includes)”、“包含(including)”或其任何其他变型旨在覆盖非排他性的包括,使得包括或包含一系列元件或步骤的过程、方法、物品或装置不仅仅包括那些元件或步骤,而且还可以包括未明确列出的或对此类过程、方法、物品或装置固有的其他元件或步骤。在没有进一步限制的情况下,前面有“一个”或“一种”的元件不排除在包括该元件的过程、方法、物品或装置中存在另外的相同元件。
除非另有说明,否则在本说明书(包括在以下权利要求书中)中阐述的任何和所有测量、值、评级、位置、幅值、大小、和其他规范都是近似的、不精确的。这样的量旨在具有与它们涉及的功能以及与它们所属领域常规的相一致的合理范围。例如,除非另有明确说明,参数值等可与所述量偏差多达±10%。
此外,在以上详细说明中,可以看出,出于简化本公开的目的,不同特征在不同示例中被组合在一起。本公开的该方法不应被解释为反映所要求保护的示例需要比在每个权利要求中明确陈述的特征更多的特征的意图。相反,如以下权利要求反映的,要保护的主题位于比任何单个公开的示例的所有特征少的特征中。因此,以下权利要求由此并入详细说明中,其中每个权利要求独立地作为单独要求保护的主题。
虽然前述内容已描述了被认为是最佳模式和其他示例的内容,但应理解的是,可以在其中做出不同修改,并且在此公开的主题可以不同形式和示例来实现,并且它们可以应用于许多应用中,在此仅描述了其中的一些应用。所附权利要求旨在要求保护落入本概念的现实保护范围内的任何和所有修改和变化。

Claims (20)

1.一种护目镜,包括:
镜架;
立体显示器,所述立体显示器由所述镜架支撑;
图像处理器,所述图像处理器被配置成处理图像以及使经处理的所述图像显示在所述立体显示器上;
第一光学组件和第二光学组件,所述第一光学组件和第二光学组件中的每一个均被配置成接收和传递现实世界图像,以及还传递所显示的经处理的所述图像,其中,所述第一光学组件和所述第二光学组件中的每一个均包括第一透镜和第二透镜,所述第一透镜被配置成引导所述现实世界图像朝向所述立体显示器,所述第二透镜被配置成补偿所述第一透镜且引导所述现实世界图像;以及
相应的透镜组,所述相应的透镜组耦接至所述第一光学组件和所述第二光学组件中的每一个,所述相应的透镜组被配置成产生相应的所显示的经处理的所述图像的与单个补偿平面重合的双目重叠。
2.根据权利要求1所述的护目镜,其中,相应的所述现实世界图像与所显示的经处理的所述图像的双目重叠接近100%。
3.根据权利要求1所述的护目镜,其中,所显示的经处理的所述图像的双目重叠是所述补偿平面的位置和由所显示的经处理的所述图像中的视差形成的内容的深度的函数。
4.根据权利要求1所述的护目镜,其中,所述透镜组包括第一棱镜和第二棱镜,所述第一棱镜被配置成引导所述现实世界图像朝向所述立体显示器,所述第二棱镜被配置成引导所显示的经处理的所述图像朝向所述单个补偿平面。
5.根据权利要求4所述的护目镜,其中,所述第一棱镜被配置成使所述现实世界图像朝向所述立体显示器向内倾斜,以及所述第二棱镜被配置成使所述现实世界图像向外倾斜。
6.根据权利要求4所述的护目镜,其中,所述第一棱镜空间地耦接至所述第一光学组件的所述第一透镜,以及所述第二棱镜空间地耦接至所述第一光学组件的所述第二透镜。
7.根据权利要求4所述的护目镜,其中,所述第一棱镜直接耦接至所述第一光学组件的所述第一透镜,以及所述第二棱镜直接耦接至所述第一光学组件的所述第二透镜。
8.根据权利要求4所述的护目镜,其中,所述第一棱镜和所述第二棱镜各自包括楔形棱镜。
9.根据权利要求1所述的护目镜,其中,所显示的经处理的所述图像包括沉浸式图像。
10.根据权利要求1所述的护目镜,其中,所述护目镜包括一对相机,以及其中,所述图像处理器被配置成处理来自所述一对相机的图像,以生成经处理的所述图像。
11.一种操作护目镜的方法,所述护目镜具有:
镜架;
立体显示器,所述立体显示器由所述镜架支撑;
图像处理器,所述图像处理器被配置成处理图像并且使经处理的所述图像显示在所述立体显示器上;
第一光学组件和第二光学组件,所述第一光学组件和第二光学组件中的每一个均被配置成接收和传递现实世界图像,以及还传递所显示的经处理的所述图像,其中,所述第一光学组件和所述第二光学组件中的每一个均包括第一透镜和第二透镜,所述第一透镜被配置成引导所述现实世界图像朝向所述立体显示器,所述第二透镜被配置成补偿所述第一透镜且引导所述现实世界图像;以及
相应的透镜组,所述相应的透镜组耦接至所述第一光学组件和所述第二光学组件中的每一个,所述相应的透镜组被配置成产生相应的所显示的经处理的所述图像的与单个补偿平面重合的双目重叠,所述方法包括以下步骤:所述图像处理器处理图像并且使经处理的所述图像显示在所述立体显示器上;
所述第一光学组件和所述第二光学组件各自接收并传递所述现实世界图像和所显示的经处理的所述图像;以及
所述透镜组产生所显示的经处理的所述图像的与单个补偿平面重合的双目重叠。
12.根据权利要求11所述的方法,其中,相应的所述现实世界图像和所显示的经处理的所述图像的双目重叠接近100%。
13.根据权利要求11所述的方法,其中,所显示的经处理的所述图像的双目重叠是所述补偿平面的位置和由所显示的经处理的所述图像中的视差形成的内容的深度的函数。
14.根据权利要求11所述的方法,其中,所述透镜组包括第一棱镜和第二棱镜,所述第一棱镜被配置成引导所述现实世界图像朝向所述立体显示器,所述第二棱镜被配置成引导所显示的经处理的所述图像朝向所述单个补偿平面。
15.根据权利要求14所述的方法,其中,所述第一棱镜被配置成使所述现实世界图像朝向所述立体显示器向内倾斜,以及所述第二棱镜被配置成使所述现实世界图像向外倾斜。
16.根据权利要求14所述的方法,其中,所述第一棱镜空间地耦接至所述第一光学组件的所述第一透镜,以及所述第二棱镜空间地耦接至所述第一光学组件的所述第二透镜。
17.根据权利要求14所述的方法,其中,所述第一棱镜直接耦接至所述第一光学组件的所述第一透镜,以及所述第二棱镜直接耦接至所述第一光学组件的第二透镜。
18.根据权利要求14所述的方法,其中,所述第一棱镜和所述第二棱镜各自包括楔形棱镜。
19.根据权利要求11所述的方法,其中,所显示的经处理的所述图像包括沉浸式图像。
20.根据权利要求11所述的方法,其中,所述护目镜包括一对相机,以及其中,所述图像处理器处理来自所述一对相机的图像并且生成经处理的所述图像。
CN202180086375.2A 2020-12-20 2021-11-10 包括推拉式透镜组的护目镜 Pending CN116783536A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/128,158 US11442275B2 (en) 2020-12-20 2020-12-20 Eyewear including a push-pull lens set
US17/128,158 2020-12-20
PCT/US2021/058804 WO2022132344A1 (en) 2020-12-20 2021-11-10 Eyewear including a push-pull lens set

Publications (1)

Publication Number Publication Date
CN116783536A true CN116783536A (zh) 2023-09-19

Family

ID=78844729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180086375.2A Pending CN116783536A (zh) 2020-12-20 2021-11-10 包括推拉式透镜组的护目镜

Country Status (5)

Country Link
US (2) US11442275B2 (zh)
EP (1) EP4264338A1 (zh)
KR (1) KR20230119003A (zh)
CN (1) CN116783536A (zh)
WO (1) WO2022132344A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196139B (zh) 2018-12-20 2023-08-11 美国斯耐普公司 用于生成立体图像的具有双摄像头的柔性眼戴设备
US11442275B2 (en) 2020-12-20 2022-09-13 Snap Inc. Eyewear including a push-pull lens set

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3984907B2 (ja) 2002-11-29 2007-10-03 キヤノン株式会社 画像観察システム
JP5990939B2 (ja) 2011-03-11 2016-09-14 株式会社ニコン 立体視訓練支援装置、立体視訓練支援システム、画像処理装置、画像処理方法、及びプログラム
EP3091740A1 (en) 2015-05-08 2016-11-09 BAE Systems PLC Improvements in and relating to displays
US10805600B2 (en) * 2016-07-29 2020-10-13 Applied Minds, Llc Methods and associated devices and systems for enhanced 2D and 3D vision
WO2019012385A1 (en) 2017-07-10 2019-01-17 Optica Amuka (A.A.) Ltd. SYSTEMS OF VIRTUAL REALITY AND INCREASED REALITY WITH DYNAMIC VISION CORRECTION
CN112166367A (zh) 2018-03-26 2021-01-01 Adlens有限公司 增强现实显示单元以及包括增强现实显示单元的增强现实头戴装置的改进或与之相关的改进
US11442275B2 (en) 2020-12-20 2022-09-13 Snap Inc. Eyewear including a push-pull lens set

Also Published As

Publication number Publication date
WO2022132344A1 (en) 2022-06-23
KR20230119003A (ko) 2023-08-14
US11442275B2 (en) 2022-09-13
EP4264338A1 (en) 2023-10-25
US20220197032A1 (en) 2022-06-23
US11656471B2 (en) 2023-05-23
US20220317459A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US20240007733A1 (en) Eyewear determining facial expressions using muscle sensors
CN114080800B (zh) 利用双摄像头进行连续摄像头捕捉
US11675217B2 (en) Wearable proximity sensing array for the visually impaired
CN115668105A (zh) 包括聚类的眼戴器
CN116249873A (zh) 具有异步滚动快门相机的护目镜
US11656471B2 (en) Eyewear including a push-pull lens set
US11933977B2 (en) Eyewear eye-tracking using optical waveguide
KR20220137117A (ko) 안경류를 위한 코스메틱 트림을 갖는 과신장 힌지
CN117083541A (zh) 带有场透镜的投影仪
US20240110807A1 (en) Navigation assistance for the visually impaired
US11982814B2 (en) Segmented illumination display
US11789294B2 (en) Eyewear frame as charging contact
CN118401875A (zh) 包括非均匀推拉式透镜组的护目镜
US11927830B2 (en) Eyewear display having offset bonding
US11860371B1 (en) Eyewear with eye-tracking reflective element
CN117355786A (zh) 护目镜表面温度评估
CN117321473A (zh) 具有多个色调区域的护目镜电致变色镜片
CN118435099A (zh) 带有集成波导的护目镜电子着色镜片
CN117940864A (zh) 控制uva的护目镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination