[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107003521B - 基于眼睛会聚的显示能见度 - Google Patents

基于眼睛会聚的显示能见度 Download PDF

Info

Publication number
CN107003521B
CN107003521B CN201580063398.6A CN201580063398A CN107003521B CN 107003521 B CN107003521 B CN 107003521B CN 201580063398 A CN201580063398 A CN 201580063398A CN 107003521 B CN107003521 B CN 107003521B
Authority
CN
China
Prior art keywords
user
virtual object
display
visibility
adjusting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580063398.6A
Other languages
English (en)
Other versions
CN107003521A (zh
Inventor
哈维尔·桑·阿古斯丁·洛佩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN107003521A publication Critical patent/CN107003521A/zh
Application granted granted Critical
Publication of CN107003521B publication Critical patent/CN107003521B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0247—Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Digital Computer Display Output (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

用户的凝视信息可以由分析用户图像的计算设备来确定。用户的凝视信息包括诸如用户的视线、注视点信息、用户凝视方向、用户凝视的会聚深度等信息。计算设备能够估计用户关注处(例如，在用户附近的屏幕处，或远离用户的对象处)距该用户的距离。在HUD上显示的对象的能见度和显示特性可以基于凝视信息。例如，当用户正在看穿挡风玻璃时平视显示器(HUD)上的内容可能更透明，当用户正关注于HUD时，平视显示器上的内容更不透明(或以其他方式增强)。

Description

基于眼睛会聚的显示能见度
相关申请的交叉引用
本申请要求于2014年9月22日提交的美国临时专利申请序列号62/053，545的优先权，其全部内容通过引用并入本文。
技术领域
本公开总体上涉及使用眼球追踪的用户界面和控制，更具体地，涉及基于眼睛会聚(eye convergence)来调整显示能见度的系统和方法。
附图说明
一些示例实施例通过示例但非在附图的图中进行限制的方式进行了说明。
图1是耦接到根据一些实施例的能够基于眼睛会聚来调整显示能见度的对接设备的示例计算设备的设备图。
图2是耦接到根据一些实施例的能够基于眼睛会聚来调整显示能见度的对接设备的计算设备的另一示例的设备图。
图3A至图3B是根据一些实施例的能够基于眼睛会聚来调整显示能见度的示例计算设备的设备图。
图4是根据一些实施例的用于基于眼睛会聚来调整显示能见度的示例系统架构的框图。
图5是根据一些实施例的用于基于眼睛会聚来调整显示能见度的示例性数据流的框图。
图6A至图6B是根据一些实施例的描绘相对于显示器的眼球追踪技术的示意图。
图7A至图7B是根据一些实施例的描绘眼睛会聚的示意图。
图8A至图8B是描绘根据一些实施例的车辆中的眼睛会聚的示意图。
图9A至图9B是根据一些实施例的描述修改车辆中的平视显示器的示意图。
图10是根据一些实施例的基于眼睛会聚来调整显示能见度的示例方法的流程图。
图11是根据一些实施例的按照计算机系统的示例形式的机器的框图，在该系统中可以执行用于使机器执行本文所讨论的任何一种或多种方法的指令集。
具体实施方式
术语表
在此上下文中的“显示器”是指用于视觉信息的输出设备。显示技术可能包括CSTN、TFT、TFD或OLED。还有触摸屏显示器(例如电容和电阻)类型。显示设备包括用于以视觉或触觉形式呈现信息的输出设备。
在此上下文中“HUD”是指平视显示器或多个平视显示器，并且包括呈现数据而不需要用户远离其通常注视点的任何透明显示器。
描述
描述了基于眼睛会聚来调整显示能见度的示例系统和方法。在下面的描述中，为了说明的目的，阐述了许多特定细节以便提供对示例实施例的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些特定细节的情况下实践本技术。
示例实施例包括眼球追踪系统，其使用眼球追踪信息来确定在透明显示器(例如，平视显示器或头戴式显示器)上显示的信息是否应该对于用户是可读的。当眼球追踪系统检测到用户没有看显示器上的信息时，该信息变得更加透明。当用户看显示器时，可以增强信息(和显示环境)的呈现以允许用户容易地看显示器上的信息。
眼球追踪信息可以用于与显示器上的对象交互。例如，检测到用户看显示器上的特定对象达特定时间量，可以调用命令，使得更多的信息出现在显示器上。可以在不同的场景(例如投射在汽车的挡风玻璃上，或者投射在用户佩戴在眼前的头戴式屏幕上)上使用平视显示器(HUD)。在一些示例实施例中，信息被呈现在透明显示器上，使得用户可以透过显示器看到“真实世界”。例如，在汽车的挡风玻璃上存在的平视显示器可以向驾驶员提供例如速度、RPM、导航方向等信息。在挡风玻璃上呈现信息防止用户从道路看向别处以检查导航方向或其他汽车信息。
然而，覆盖在平视显示器上的信息可能在用户正在看现实世界对象时干扰和/或分散他或她的注意力。在汽车的平视显示器的情况下，当驾驶员关注于道路、其他汽车和行人时，挡风玻璃上显示的信息可能会分散注意力，甚至可能构成安全隐患。
本文描述的示例实施例旨在通过以下事项来解决该问题：即，将眼球追踪信息与“显示器”相结合使得当用户正在看现实世界中的对象时，可以以非常隐约的方式呈现信息(例如，以便几乎不可见)，并且当用户看显示器中所呈现的信息时，增强该信息。用于增强信息的不同方式可能包括增加信息显示的不透明度(而不是在不看显示器时几乎是透明的)，以使其更加集中(而不是模糊)，以扩展界面(而不是在例如一个角落被折叠)，以改变颜色，使文本更易读等。
例如，如果用户驾驶可以呈现信息的汽车，该信息在挡风玻璃上显示的HUD上，当系统检测到用户正在看道路或其上的物体时，HUD可以终止显示任何信息，或以大部分透明的方式显示任何信息。以这种方式，用户不会因HUD分心。当用户看挡风玻璃时，系统可以检测到事件(例如，通过计算用户凝视和/或分析3D空间中用户眼睛的会聚点的方式)并显示相关信息，或增加正在显示的信息的不透明度，以帮助用户看到这种信息。一旦驾驶员再次看道路，平视显示器上的信息会淡出，因此驾驶员不会分心。
进一步的实施例设想用户佩戴具有透明显示器的一副眼镜。该系统可以通过使用(例如，眼睛会聚)来检测用户何时将他或她的目光聚焦在显示器上。眼睛会聚信息可以与关于信息的屏幕上点组合，以便确定用户凝视的关注点。
示例性实施例也可以应用于虚拟现实环境中。例如，虚拟现实头盔可以包括实时追踪用户眼球运动的眼球追踪系统。以与上述相似的方式，当该系统检测到用户正在看该信息时，在虚拟场景中显示的信息可以被增强。
计算设备的用户可以通过该用户的眼球运动与显示在计算设备上的对象和应用进行交互和控制。可以使用诸如眼球追踪和凝视检测算法之类的计算机视觉算法，来分析由计算设备上的或由耦接到计算设备的设备上的相机所拍摄的用户的眼睛或脸部的图像。例如，捕获的图像可以被处理以提取与用户的眼睛或脸部的特征有关的信息。然后，计算设备可以使用所提取的信息，来确定用户眼睛的位置和方位并且估计用户的凝视信息。用户的凝视信息是用户正在看哪里的估计，并且凝视信息可以包括用户的视线、注视点、用户凝视的会聚深度等信息。用户的注视点是3D空间中用户聚焦的点，并且被定义为用户眼睛的视轴相交的点。用户的视线是定义从用户到用户的关注点的方向的矢量。视线在注视点上对视轴形成的角度进行平分，并且位于与视轴相同的平面内。用户凝视的会聚深度是作为沿着视线测量的从用户到注视点的距离。术语“聚焦深度”和“会聚深度”可以互换使用。
例如，计算设备可以能够估计聚焦深度。聚焦深度可以对应于用户聚焦的平面(例如，在用户附近的屏幕或更远的对象)。例如，当相同方向上的多个平面可用时，可以通过将聚焦深度与平面距用户的距离相匹配来识别聚焦平面。当聚焦深度与到任一平面的距离不精确匹配时，可以使用最接近的匹配平面。对于用户看哪里的估计可以用于指向一个或多个对象、应用等以执行特定的操作。一种此类操作是更改屏幕上的信息的能见度(例如，暗度、亮度、透明度、不透明度、半透明度、模糊度、清晰度、大小或位置的属性)。例如，当用户正在穿过屏幕上的内容看时，屏幕上的内容可能更透明，并且当用户正在看屏幕上的内容时，其更不透明。作为另一个示例，当用户正在看其他地方时，内容可能小并且位于屏幕的一个角落中，然后当用户看该角落时内容被移动到屏幕的中心并且放大，然后当用户再次穿过该内容所在的以外的屏幕看时内容恢复到其原始位置和大小。
当用户开始使用计算设备时可以进行用户校准过程以便计算与用户相关联的校准参数。可以考虑这些校准参数以精确地确定用户的眼睛的位置并且估计用户正在看的地点与用户的距离。还可以考虑校准参数以确定用户的每只眼睛的凝视方向为空间(例如视线)中的三维(3D)矢量。在这种情况下，可能需要关于硬件几何形状的信息，诸如相机参数、屏幕相对于相机的位置等。
图1是示例组合设备100的设备图，其包括耦接到能够促进眼球追踪控制的对接设备104的计算设备102。眼球追踪控制是指基于对用户的眼睛活动进行追踪来控制设备或在设备上运行的软件。例如，根据用户眼睛的位置或动作，可以移动屏幕上的对象、可以输入文本，可以更改能见度属性，可以与用户界面进行交互等。能见度属性是可以影响屏幕或显示器或者屏幕或显示器上的任何项或对象的能见度的任何属性。因此，能见度属性可以是在显示器上呈现的信息的属性或显示器本身的属性。在显示器是HUD的情况下，显示信息的玻璃的不透明度作为示例本身的属性。示例能见度属性包括透明度、半透明度、不透明度、对比度、亮度、大小、颜色等。计算设备102可以是任何类型的计算设备，包括但不限于智能电话、个人数字助理(PDA)、移动电话、计算平板电脑、电子阅读器、电视机、膝上型计算机、台式计算机、显示设备、头戴式显示器等。在眼球追踪控制期间，计算设备102可以由用户通过用一只手、两只手，或者当计算设备102在支架上或搁置在表面上时保持计算设备102来使用。在一些实施例中，计算设备102安装在交通工具(例如，汽车、船或飞行器)中。计算设备102的屏幕可以具有可变的半透明度。
对接设备104可以按照任何方式(诸如通过计算设备102上的通用串行总线(USB)端口，计算设备102上的微型USB端口等)耦接到计算设备102。尽管图1的对接设备104描绘在计算设备102的底部，本领域普通技术人员将理解，对接设备104可以位于相对于计算设备102的任何合适的位置，并且可以被附接(例如，经由直接电连接器)，或未附接(例如，通过蓝牙或无线网络进行通信)。对接设备104可以包括相机模块108和一个或多个发光二极管(LED)106。为了说明的目的，本文的讨论将继续提及LED 106。然而，可以使用任何适当的发光源(例如，红外(IR)激光器))来代替一个或多个LED 106。
对接设备104可以包括任何数量的红外LED 106，其可以按照对接设备104内的任何方式(例如，以一定角度倾斜使得其指向用户的脸部)放置在合适的位置。在一些实施例中，一个或多个LED 106可以按照如下的方式与一个或多个相机同步，使得当一个或多个相机正在抓取帧时一个或多个LED被开启，否则关闭。在一些实施例中，如果没有检测到移动或者如果对接设备104或计算设备102进入睡眠模式，则LED可以被关闭。
在一些实施例中，对接设备104还可以包括合适类型的红外滤过器(例如，有源、机械、高通、带通等)。在一些实施例中，红外滤过器(infrared pass filter)是阻挡波长800nm以下的光并允许波长在800nm以上的光的高通滤波器。在一些实施例中，红外带通滤波器可以仅允许波长在800nm和900nm之间的光进入相机模块108的一个或多个相机。
相机模块108可以包括以任何方式(例如，以一定角度倾斜使得其指向用户的脸部)放置在对接设备104内的任何适当位置的一个或多个正面相机，并且可以用于捕获用户眼睛或脸部的图像。在一些实施例中，计算设备102上的相机与立体声模式下的相机模块108组合使用。在一些实施例中，相机模块108可以包括以下各项中的一个或多个：黑色和白色(例如，单色)传感器、彩色(例如，RGB)传感器或IR-RGB传感器，以适当的帧速率运行(例如，以每秒30帧高清晰度)，没有红外块滤波器和具有适当视野的镜头(例如，足够大以在单个帧中捕获用户的眼睛并且包含用户头部预计移动的区域)以及视野深度(例如，对于移动设备为大约30cm至80cm，对于电视为约2米至5米)等。相机模块108中的一个或多个相机可以被定位成使得一个或多个相机朝向用户的脸部倾斜。
眼球追踪控制软件可以分析由相机模块108拍摄的图像以提供用户正在看计算设备102的显示器上的屏幕坐标(x，y)。这些坐标可以用于任何数量的应用(例如滚动、移动对象、选择图标、玩游戏等)。眼球追踪控制软件可以进一步确定用户正在看的深度(例如，z值)。基于深度，可以识别除屏幕之外的平面(例如，第二屏幕或道路)，并且确定该平面中的坐标(x，y)。例如，用户的焦点可以在与第一屏幕相邻或在第一屏幕后面的第二屏幕上。作为另一示例，驾驶用户的焦点可以在汽车前方的紧邻用户汽车前方的道路上，包含迎面而来的交通路线等。平面识别以及平面内的坐标可以用于任何数量的应用(例如，在第二屏幕上控制软件应用，如果驾驶员焦点离开道路太长时间，转向车头灯的方向等，则会产生警告)。
图2是耦接到能够促进眼球追踪控制的对接设备204的计算设备202的另一示例的设备图200。图2所示的示例可以类似于图1所示的示例来操作，并且可以包括为图1描述的特征的任何一个或组合。然而，图2示出对接设备204可以与LED 206集成，并且可以使用计算设备202的相机模块208(而不是相机模块108与对接设备104集成)。在使用USB、微型USB端口或专有端口将计算设备202与对接设备204耦接的一些实施例中，图2所示的配置可以允许从相机更快地传输图像，原因在于计算设备202的相机用于捕获图像。可以使用用于眼球追踪控制的一个或多个前置相机，同时使用一个或多个前置和后置相机。
图3A至图3B是能够促进眼球追踪控制的示例计算设备的设备图。图3A所示的示例可以类似于图1所示的示例来操作，并且可以包括为图1描述的特征的任何一个或组合。然而，LED和相机模块被集成到计算设备中(而不是对接设备的一部分)。计算设备转而可以集成到另一车辆或器具(例如，冰箱、洗碗机、洗衣机或干衣机)中。
图3B示出了未附接到计算设备的屏幕的眼球追踪设备。在一些实施例中，眼球追踪设备的硬件元件可以集成到另一车辆、器具等中。例如，一个或多个相机和LED可以集成到车辆的仪表板中并连接到计算设备。
图4是用于促进眼球追踪控制的示例系统架构400的框图。系统架构400的任何一个或多个组件402至412可以在计算设备的控制处理单元(CPU)、计算设备的图形处理单元(GPU)、计算设备的专用芯片、基于云的计算设备，或这些的任何组合上运行。在一些实施例中，系统架构400的组件402至412中的任何一个或多个可以包括在专用芯片上运行的软件。软件可以作为后台进程运行(例如，作为操作系统(OS)的一部分，在web浏览器等中)，并且可以提供其他应用可以访问的应用编程接口(API)404。API 404可以引发事件或使用一些其他类似的机制，以将用户正看屏幕上或3D空间中的哪里的信息发送到其他应用。在一些实施例中，这些应用可以在一不同的计算设备上执行。
系统架构400可以分成不同的层。硬件层可以包括可以对应于相应硬件(例如，相机、红外照明等)的相机模块414和红外照明模块416。相机层可以包括相机控制模块410，其可以负责与一个或多个相机进行通信，以执行相机操作，诸如例如启动相机、抓取图像、控制相机属性等。该层还可以包括相机和光同步模块412，其可以同步一个或多个相机和红外发射器，使得眼球追踪软件开启灯，以便改善对于用户眼睛的追踪并最小化能耗。在一些实施例中，相机层可以被配置为以相机触发输出的频率使红外LED闪光。
相机层可以将图像传送到眼球追踪层或眼球追踪引擎。在眼球追踪层中，凝视估计模块406可以处理图像以找到诸如面部位置、眼睛区域位置、瞳孔中心、瞳孔大小、角膜反射的位置、眼角、虹膜中心、虹膜尺寸等的特征。这些特征可以由眼睛检测和追踪模块408在凝视估计阶段中使用，其可以负责计算用户的注视点。用户的注视点可以是用户正在看的显示器上的位置、用户正在看的另一平面上的位置、用户正在看的3维点、或用户正在看的平面。凝视估计模块406还可以计算用户眼睛的光轴和视轴，并基于用户的特定特征校准该计算。
API层可以用于眼球追踪层和使用眼睛凝视信息的应用(例如，OSAPI、使用眼睛凝视信息的游戏等)之间的通信。API模块404可以发送由眼球追踪层计算的数据，诸如注视点的坐标、用户的眼睛的3D位置、瞳孔大小、眼睛之间的距离、头部方位、头部移动等。API模块404还可以接受来自应用的、对眼球追踪层的命令(例如，启动或停止眼球追踪引擎、查询特定信息等)。应用模块402可以连接到眼球追踪器的API模块404，并且为了任何合适的目的(例如，控制应用或游戏、记录眼睛数据用于视觉行为研究、调整屏幕上的信息的透明度、调暗或关闭显示屏、控制前灯的方向等)使用眼睛凝视信息。
图5是示例性的用于促进眼球追踪控制的数据流的框图。一个或多个相机和红外LED照明模块502可以捕获用户的图像。眼睛特征检测模块504可以使用所捕获的数据来检测眼睛特征(例如，眼睛的位置和取向、瞳孔、虹膜、角膜反射等)。使用检测到的眼睛特征，凝视估计模块506可以估计用户的注视点或视线，其然后可以用于由眼睛控制模块508控制应用的方面。在一些实施例中，凝视估计模块506可以使用一组校准参数结合检测到的眼睛特征以估计用户的注视点或视线。
在一些示例性实施例中，当用户最初使用眼球追踪功能时，自动进行校准过程。在其他示例实施例中，仅在用户的请求下执行校准过程。校准过程计算专用于该用户的校准参数(例如，光轴和视轴之间的垂直和水平偏移)或映射功能(其将图像坐标系上的眼睛特征映射到显示坐标系、深度坐标系、或另一个平面的坐标系)的参数。然后可以使用这些校准参数以及面部和眼睛的信息来通过凝视估计算法，估计用户正在看屏幕或平面上何处或用户的视线。可以使用任何合适的校准过程来计算专用于用户的校准参数。专用于用户的校准参数可以包括任何相关参数，诸如光学和视角之间的偏移、角膜半径、角膜中心和瞳孔中心之间的距离、从图像坐标系映射到另一个坐标系的映射函数等。
为了适应用户在四处移动的同时保持所估计的注视点的精度，可以使用硬件校准的设置，使得3D空间中的硬件组件的相对大小、位置和特性(其包括显示器尺寸，一个或多个相机对于显示器的位置和相对角度、光源的位置、固有的相机参数等)是已知的。
图6A和6B是描绘相对于显示器的眼球追踪技术的示意图。在图6A中，O是坐标系XYZ的中心，并且已知一个或多个相机和一个或多个光源L相对于O的位置。
如上所述，在一些实施例中，将眼球追踪系统内置在屏幕中或安装在屏幕上的特定位置。在一些其他实施例中，眼球追踪系统的组件(例如，一个或多个相机和一个或多个光源)被集成到如汽车仪表板、头戴式显示器、头盔等的另一元件中。
在用户校准过程中，可以在屏幕上显示一个或多个对象，并且用户可以在这些对象显示时看它们。如果在任何给定时间显示两个或更多个校准对象，则系统可以通过例如将校准对象跟随的路径与用户看对象时眼睛跟随的路径进行比较，来识别用户正在看哪一个。在一些实施例中，当用户被指示看显示器的一部分(诸如屏幕的角)、看在光源等时，可能发生用户校准。当显示校准对象时，眼睛信息由眼球追踪软件捕获。这种眼睛信息可以包括瞳孔中心、瞳孔椭圆、角膜反射、眼角、脸部特征等。瞳孔中心是检测瞳孔中心所处的点。瞳孔椭圆是(圆形)瞳孔的图像中的椭圆形表示。瞳孔椭圆的偏心度与用户凝视的方向和从相机到眼睛的线之间的角度有关。角膜反射是来自角膜的反射光。当光源和相机之间的关系是已知的时，可以使用相对于瞳孔中心所测量的光源的角膜反射的位置来识别凝视方向。在校准过程中，眼睛的聚焦深度可能被假定为(或测量为)在显示器上。该信息可用于校准沿z轴(距用户的距离)的眼球追踪。
在一些实施例中，校准过程发生在用户执行与眼球追踪系统校准无关的任务时。例如，用户可以首次设置设备，并且在这样做的同时眼球追踪软件可以校准。
在一些实施例中，不需要对用户眼睛参数的校准，并且仅从图像数据计算注视点或视线。
图6B示出了相对于原点O在3D空间中要被计算的眼睛特征，使得可以计算视轴或光轴并与显示平面相交。图像平面上角膜反射的位置g可以与3D空间中的光源的位置L结合使用，其相对于一个或多个相机和相机的固有参数，以计算角膜中心在3D空间中的位置C。例如，可以经由角膜从每个光源L到每个相机追踪光线。每个光源相机对提供单独的光线，并且识别角膜表面上的点。通过在这些点之间进行三角测量，可以确定C的角膜半径和位置。当使用更多的相机或光源时，可以提高测量的精度。
瞳孔中心在图像平面上的位置p可以与3D空间中角膜中心的位置C、眼睛和空气的光学特性，以及相机的固有参数相结合，以计算瞳孔中心在3D空间中的位置E。例如，相机拍摄瞳孔的图像，但角膜中心的实际位置与图像直接指示的位置不同，因为瞳孔位于角膜后面，并且光线在角膜和空气之间的交界处折射。因此，调节瞳孔中心的表面位置(apparentposition)以考虑这种折射。
瞳孔中心的位置E和角膜中心在3D空间中的位置C定义了称为光轴的矢量。也可以称为视轴的视线具有相对于光轴的角度偏移，其在光轴不能提供足够的精度的情况下可以通过用户校准来计算。x和y方向上的角度偏移称为α和β，并且通常水平方向约为5°且垂直方向为1.5°，但这些值是个人的，因此需要根据每个用户进行计算。
可以通过要求用户看显示器和3D空间中在已知位置上显示的校准目标序列来计算α和β，并计算校准目标与在屏幕平面上的光轴的相应交点之间的偏移量。
一旦视觉轴已知，光线可以与屏幕平面相交。交叉点提供用户正在看的屏幕上的凝视坐标。还可以在用户校准过程中计算其他眼睛参数(如角膜半径，瞳孔中心和角膜中心之间的距离)，以提高屏幕上的凝视坐标的计算准确性(由于更好地估计角膜中心，因此光轴和视轴的估计更好)。否则，可以使用平均值(例如，对于角膜半径为7.8mm)。
图7A和图7B是根据一些实施例的描绘眼睛会聚的示意图。图7A显示沿着两只眼睛的视轴投射的光线。光线几乎平行，并且在超越平面(例如，显示器的平面、监视器的平面，挡风玻璃等的平面)的一距离处会聚。因此，可以确定眼睛没有聚焦在平面上。图7B还显示沿着两只眼睛的视轴投射的光线。光线会聚在平面上的一个点处。因此，可以确定眼睛聚焦在平面上。上面参照6A和图6B讨论的方法可以用于确定图7A和图7B中的每只眼睛的视轴或光轴。
作为另一示例，识别3D注视点可以与虚拟现实头盔结合使用，虚拟现实头盔为每个眼睛提供一个画面以为用户创建虚拟3D世界。应用402可以识别虚拟世界中的、与所识别的3D注视点对应的点。基于接收用户关注点的点或虚拟世界中相关对象的识别，应用402可以采取不同的动作。例如，关注远处的物品可能使得用户人物走向该物品或使得相机聚焦于物品。聚焦于附近的物品上可能使得人物拾起或以其他方式与物品互动。聚焦于模糊不清的标志可能使得该标志上的文字清晰显示，例如，使用可视区域底部的字幕，作为与该标志相关联的工具提示，通过增加该标志的显示分辨率，通过放大该标志，或以其他方式。另外，可以同时使用多个此类方法。
作为另一个例子，将3D注视点与增强现实头盔结合使用，其提供现实世界以及在真实世界之上显示或投影的虚拟对象的视图。基于用户的注视点，应用402可以确定用户是看现实世界还是看虚拟对象，并且可以采取不同的动作。例如，如果用户正在看现实世界，则显示器可能变得更加透明。当用户专注于虚拟对象时，显示器可能变得更加不透明或可能会增强对象。
图8A和图8B是根据一些实施例的描绘车辆中的眼睛会聚的示意图。图8A显示沿着两只眼睛的视轴投射的光线。光线几乎平行，并且会在超过车辆挡风玻璃的一定距离处会聚。因此，凝视估计模块406可以确定眼睛没有聚焦在挡风玻璃上。图8B还显示沿着两只眼睛的视轴投射的光线。光线会聚在挡风玻璃上的一个点处。因此，凝视估计模块406可以确定眼睛聚焦在挡风玻璃上。上面参照图6A和图6B所讨论的方法可以用于确定图8A和图8B中每只眼睛的视轴或光轴。
图9A和9B是根据一些实施例的描述更改车辆中的平视显示器(HUD)910的示意图。图9A的插图显示用户的注视点在道路上。因此，挡风玻璃上的HUD 910(显示左箭头和“750米”)几乎完全透明。图9B的插图显示了用户的注视点在挡风玻璃上。因此，挡风玻璃上的HUD 910增加了不透明度。
图10是根据一些实施例的基于眼睛会聚来调整显示透明度的示例方法1000的流程图。在检测眼睛会聚之前，可以执行用户特定的眼球追踪校准。例如，通过使用于2014年2月14日提交的题为“眼球追踪校准的系统和方法”的美国专利申请序列号14/180，974中所描述的系统和方法，其通过引用并入本文。
在操作1010中，在HUD上显示信息。HUD是一种被设计用于与另一视图同时看的显示器。例如，HUD可以投影在挡风玻璃或其他半反射表面上(例如，如图9A和图9B所示)、显示在用户可以看穿的透明LCD屏幕上、显示在用户眼睛附近的小的不透明屏幕上等。在一个示例实施例中，驾驶员挡风玻璃上的HUD显示以下各项中的一个或多个：车辆的速度、发动机的RPM和要去到预定目的地的下一个转弯。
在操作1020中确定用户在3D空间中的注视点。上面参考图6B描述的算法可以用于确定用户的注视点。如果用户正在看HUD(操作1030)，则在HUD上显示高能见度信息(操作1050)。例如，可以增加信息的亮度或不透明度。如果用户没有看HUD，则信息显示得更隐约(操作1040)。例如，信息可以变暗或更透明地渲染。
可以连续或反复调整信息的能见度，这是基于用户在3D空间中的注视点的连续或重复计算。例如，基于用户可能看HUD的确定(或估计)，可以增加信息的不透明度。然后，基于用户可能从HUD看向别处或看穿HUD的确定(或估计)，可以减少信息的不透明度。在一些示例实施例中，使用能见度属性的固定值。例如，当用户看HUD时，可以使用预设的亮度值，并且在用户没看HUD时使用不同的亮度存在值。在其他示例实施例中，能见度属性基于用户满足一个条件或另一个条件的时间量而改变。例如，在用户从HUD看向别处达长时间之后，可以将HUD的能见度最小化或设置为最小(例如，具有最小亮度、最小不透明度、最小清晰度、最小对比度或任何其适合的组合)。然后，在用户看HUD之后，HUD的能见度可以按预设速率增加，直到达到最大能见度(例如，最大亮度、最大不透明度、最大清晰度、最大亮度或任何其合适的的组合)。类似地，当用户再次从HUD看向别处时，能见度可以按预设速率降低，直到返回到最小能见度。预设速率可能不同。例如，为了获得令人愉快的效果，不透明度增加的速度可能是缓慢的，而不透明度的降低速度是快速的，以便用户能够快速地对用户的视野中发生的任何事情做出反应。经调整的属性的最小值和最大值可以是绝对值(例如，能够由系统提供的最小值和最大值)或任意预定值(例如，由系统配置、由用户配置、由管理员配置等)。经调整的属性的最小值和最大值可能取决于外部因素，例如环境照明。例如，最大亮度在夜间条件下可能具有较低的值，并且在日光下可能具有较高的值。
本文所描述的方法和系统可以提供优于现有方法和系统的技术优点，具体地是关于人机(或人-车辆)界面。例如，当用户关注于其他可见事物时，在HUD上显示的具有高能见度的信息可能会分散用户的注意力。当用户关注于其他地方时，通过降低HUD的能见度，可以降低用户分心。在某些情况下，例如当用户驾驶或操纵车辆时，分心的减少会提高安全性。
在一些实施例中，方法可以包括基于用户的两只眼睛的凝视信息来确定用户的聚焦深度，在显示器上显示对象和/或基于用户的聚焦深度调整显示在显示器上的对象的能见度。
在一些实施例中，基于用户的两只眼睛的凝视信息来确定聚焦深度可以包括确定用户的每只眼睛的视轴或光轴。
在一些实施例中，对象的能见度的调整可以包括调整对象的能见度的属性。
在一些实施例中，可以基于用户的聚焦深度来显示对象的能见度的调整。
在一些实施例中，对象的能见度的属性可以包括对象的透明度。
在一些实施例中，对象的能见度的属性可以包括对象的亮度。
在一些实施例中，对象的能见度的属性可以包括对象的位置。
在一些实施例中，对象的能见度的属性可以包括对象的大小。
在一些实施例中，对象的能见度的调整可以包括调整显示器的属性。
在一些实施例中，该显示器是平视显示器，并且显示器的属性可以包括显示器的透明度。
某些实施例在本文中被描述为包括逻辑或多个组件、模块或机构。模块可以构成软件模块(例如，在机器可读介质上或传输信号中实现的代码)或硬件模块。硬件模块是能够执行某些操作并且可以以某种方式配置或布置的有形单元。在示例实施例中，计算机系统(例如，处理器或处理器组)的一个或多个计算机系统(例如，独立的客户机或服务器计算机系统)或一个或多个硬件模块可以由软件(例如，应用或应用部分)作为操作以执行如本文所述的某些操作的硬件模块。
在各种实施例中，硬件模块可以机械地或电子地实现。例如，硬件模块可以包括永久配置的专用电路或逻辑(例如，作为专用处理器诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC))来执行某些操作。硬件模块还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路(例如，如包含在通用处理器或其他可编程处理器内)。应当理解，在专用和永久配置的电路中或在临时配置的电路(例如，由软件配置)中，机械地实现硬件模块的决定可以由成本和时间考虑来驱动。
因此，术语“硬件模块”应理解为包括有形实体，即物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)以某种方式操作的实体或执行本文所述的某些操作。考虑到其中硬件模块被临时配置(例如，被编程)的实施例，每个硬件模块不需要适时在任何一个实例配置或实例化。例如，在硬件模块包括使用软件配置的通用处理器的情况下，通用处理器可以在不同时间经配置为相应的不同的硬件模块。因此，软件可以配置处理器，例如，在一个时间点构成特定的硬件模块，并在不同的时间点构成不同的硬件模块。
硬件模块可以向其他硬件模块提供信息和从其他硬件模块接收信息。因此，所描述的硬件模块可以被认为是通信耦接的。在同时存在多个此类硬件模块的情况下，可以通过连接硬件模块的信号传输(例如，通过适当的电路和总线)实现通信。在其中在不同时间配置或实例化多个硬件模块的实施例中，此类硬件模块之间的通信可以例如通过存储和检索多个硬件模块具有访问的存储器结构中的信息来实现。例如，一个硬件模块可以执行操作，并将该操作的输出存储在与其通信耦接的存储器件中。然后，进一步的硬件模块可以在稍后的时间访问存储器设备以检索和处理存储的输出。硬件模块还可以发起与输入设备或输出设备的通信，并且可以对资源(例如，信息的集合)进行操作。
至少部分地由临时配置(例如通过软件)或永久地配置为执行相关操作的一个或多个处理器，来执行本文所描述的示例方法的各种操作。无论是临时还是永久配置，此类处理器可以构成操作以执行一个或多个操作或功能的处理器实现的模块。在一些示例实施例中，本文引用的模块可以包括处理器实现的模块。
类似地，本文所描述的方法可以至少部分地由处理器实现。例如，方法的至少一些操作可由一个或多个处理器或处理器实现的模块执行。某些操作的性能可以分布在一个或多个处理器中，不仅驻留在单个机器内，而且部署在多个机器上。在一些示例实施例中，处理器或多个处理器可以位于单个位置(例如，在家庭环境、办公环境或服务器场内)，而在其他实施例中，处理器可以分布在多个位置。
一个或多个处理器还可以操作以支持“云计算”环境中的相关操作的性能或作为“软件即服务”(SaaS))。例如，至少一些操作可以由一组计算机执行(作为包括处理器的机器的示例)，这些操作可经由网络(例如，因特网)以及经由一个或多个适当的接口(例如，API)来访问。
示例实施例可以在数字电子电路中实现，或者在计算机硬件、固件，软件或它们的组合中实现。示例实施例可以使用计算机程序产品来实现，例如有形地体现在信息载体中的计算机程序，该信息载体在用于由数据处理装置(例如可编程处理器、计算机或多个计算机)执行或控制数据处理装置的操作的机器可读介质中。
计算机程序可以以任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式部署，包括作为独立程序或作为模块、子程序或其他适用于在计算环境中使用的。计算机程序可以部署在一个计算机上或在一个站点的多个计算机上执行或分布在多个站点上并由通信网络互连。
在示例实施例中，可以由执行计算机程序的一个或多个可编程处理器执行操作，以通过对输入数据进行操作并产生输出来执行功能。方法操作也可由执行，示例实施例的装置可被实现为专用逻辑电路(例如，FPGA或ASIC)。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系是由于在相应计算机上运行的计算机程序和彼此之间具有客户端-服务器关系而产生的。在部署可编程计算系统的实施例中，应当理解，硬件和软件架构都需要考虑。具体地，应当理解，是否在永久配置的硬件(例如，ASIC)中，在临时配置的硬件(例如，软件和可编程处理器的组合)中实现某些功能的选择，或者永久和临时配置的硬件的组合可以是设计选择。下面列出了在各种示例实施例中可以部署的硬件(例如，机器)和软件体系架构。
图11是计算机系统1100的示例形式的机器的框图，其中可以执行用于使机器执行本文所讨论的任何一种或多种方法的指令。在另选实施例中，机器作为独立设备操作或者可以连接(例如，联网)到其他机器。在联网部署中，机器可以在服务器-客户端网络环境中的服务器中或客户机的能力下操作，或者作为对等(或分布式)网络环境中的对等机器运行。该机器可以是个人计算机(PC)、平板电脑、机顶盒(STB)、PDA、蜂窝电话、网络器具、网络路由器、交换机或网桥，或者能够执行指令的任何机器(顺序的或其他)指定该机器要采取的操作。进一步地，虽然仅示出了单个机器，但是术语“机器”还应被视为包括单独或共同执行一组(或多组)指令以执行本文所讨论的任何一种或多种方法的机器集合。
示例计算机系统1100包括经由总线1108彼此通信的处理器1102(例如，CPU、GPU或两者)、主存储器1104和静态存储器1106。计算机系统1100可以进一步包括视频显示设备1110(例如，液晶显示器(LCD)或阴极射线管(CRT))。计算机系统1100还包括字母数字输入设备1112(例如，键盘)、用户界面(UI)导航设备1114(例如，鼠标或触敏显示器)、磁盘驱动单元1116、信号生成设备1118(例如，扬声器)和网络接口设备1120。
磁盘驱动单元1116包括机器可读介质1122，其上存储了一组或多组指令和数据结构(例如，软件)1124，这些指令和数据结构(例如，软件)1124由本文所描述的任何一种或多种方法或功能所体现或使用。指令1124也可以完全地或至少部分地驻留在主存储器1104内、在静态存储器1106内，或者在由计算机系统1100执行期间在处理器1102内，主存储器1104和处理器1102也构成机器可读介质。
虽然在示例实施例中将机器可读介质1122示出为单个介质，但是术语“机器可读介质”可以包括单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)，其存储一个或多个指令或数据结构。术语“机器可读介质”还应被视为包括能够存储、编码或携带由机器执行的指令的任何有形介质，并且使机器执行本技术的任何一种或多种方法，或者能够存储、编码或携带由此类指令使用或与之相关联的数据结构的指令。因此，术语“机器可读介质”应被视为包括但不限于固态存储器以及光学和磁性介质。机器可读介质的具体示例包括非易失性存储器，其包括例如半导体存储器件，例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存器件；磁盘，诸如内部硬盘和可移动盘；磁光盘；以及CD-ROM和DVD-ROM磁盘。
可以使用传输介质进一步通过通信网络1126发送或接收指令1124。指令1124可以使用网络接口设备1120和多个公知的传输协议(例如，HTTP)中的任何一个传输。通信网络的示例包括局域网(LAN)、广域网(WAN)、因特网、移动电话网、普通老式电话(POTS)网络和无线数据网络(例如，WiFi和WiMAX网络)。术语“传输介质”应被视为包括能够存储、编码或携带由机器执行的指令的任何无形介质，并且包括数字或模拟通信信号或其他无形介质以便于此类软件的通信。
虽然已经参考具体示例实施例描述了本发明的主题，但是显而易见的是，在不脱离本发明的范围的情况下，可以对这些实施例进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的。形成其一部分的附图通过说明而非限制的方式示出其中可以实践该主题的具体实施例。所示实施例足够详细地描述，以使本领域技术人员能够实践本文所公开的教导。可以使用和从其导出其他实施例，使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。因此，该具体实施方式不应被认为是限制性的，并且各种实施例的范围仅由所附权利要求书以及此类权利要求所赋予的等价物的全部范围来限定。

Claims (10)

1.一种显示方法，包括：
计算角膜中心的位置；
计算瞳孔中心的位置；
基于所述角膜中心的位置和所述瞳孔中心的位置定义光轴；
计算视轴，所述视轴具有相对于所述光轴的角度偏移；
确定用户的第一3D注视点，所述第一3D注视点定义为所述用户的眼睛的视轴在第一时间相交的点；
在增强现实头盔的显示器上显示虚拟对象，所述增强现实头盔提供在现实世界之上显示的虚拟对象的视图；
基于所述用户的第一3D注视点，确定所述用户正在看所述虚拟对象；以及
当所述用户专注于虚拟对象时，通过以增加的速率增加所述显示器的不透明度来增加所述虚拟对象的能见度的方式，通过调整所述显示器的透明度来调整显示在所述显示器上的所述虚拟对象的能见度；
确定用户的第二3D注视点，所述第二3D注视点定义为所述用户的眼睛的视轴在所述第一时间后的第二时间相交的点；
基于所述用户的第二3D注视点，确定所述用户不是正在看所述虚拟对象；以及
当所述用户不是专注于虚拟对象时，通过以降低的速率降低所述显示器的不透明度来降低所述虚拟对象的能见度的方式，通过调整所述显示器的透明度来调整显示在所述显示器上的所述虚拟对象的能见度。
2.根据权利要求1所述的方法，其中，所述降低的速率比所述增加的速率更快。
3.根据权利要求1所述的方法，其中，调整显示在所述显示器上的所述虚拟对象的能见度进一步包括调整所述虚拟对象的亮度。
4.根据权利要求1所述的方法，其中，调整显示在所述显示器上的所述虚拟对象的能见度进一步包括所述虚拟对象的位置。
5.根据权利要求1所述的方法，其中，调整显示在所述显示器上的所述虚拟对象的能见度进一步包括调整所述虚拟对象的大小。
6.一种显示系统，包括：
增强现实头盔的显示器，所述增强现实头盔提供在现实世界之上显示的虚拟对象的视图；以及
硬件实现的眼球追踪模块，所述硬件实现的眼球追踪模块被配置为：
计算角膜中心的位置；
计算瞳孔中心的位置；
基于所述角膜中心的位置和所述瞳孔中心的位置定义光轴；
计算视轴，所述视轴具有相对于所述光轴的角度偏移；
确定用户的第一3D注视点，所述第一3D注视点定义为所述用户的眼睛的视轴在第一时间相交的点；
在所述显示器上显示虚拟对象；
基于所述用户的第一3D注视点，确定所述用户是看所述现实世界还是看所述虚拟对象；以及
当所述用户专注于虚拟对象时，通过以增加的速率增加所述显示器的不透明度来增加所述虚拟对象的能见度的方式，通过调整所述显示器的透明度来调整显示在所述显示器上的所述虚拟对象的能见度；
确定用户的第二3D注视点，所述第二3D注视点定义为所述用户的眼睛的视轴在所述第一时间后的第二时间相交的点；
基于所述用户的第二3D注视点，确定所述用户不是正在看所述虚拟对象；以及
当所述用户不是专注于虚拟对象时，通过以降低的速率降低所述显示器的不透明度来降低所述虚拟对象的能见度的方式，通过调整所述显示器的透明度来调整显示在所述显示器上的所述虚拟对象的能见度。
7.根据权利要求6所述的系统，其中，所述降低的速率比所述增加的速率更快。
8.根据权利要求6所述的系统，其中，调整显示的所述虚拟对象的能见度进一步包括调整以下各项中的至少一项：所述虚拟对象的亮度、所述虚拟对象的位置、所述虚拟对象的大小。
9.一种显示系统，包括：
第一工具，用于显示虚拟对象；以及
第二工具，用于：
计算角膜中心的位置；
计算瞳孔中心的位置；
基于所述角膜中心的位置和所述瞳孔中心的位置定义光轴；
计算视轴，所述视轴具有相对于所述光轴的角度偏移；
确定用户的第一3D注视点，所述第一3D注视点定义为所述用户的眼睛的视轴在第一时间相交的点；
在显示器上显示虚拟对象；
基于所述用户的第一3D注视点，确定所述用户是看现实世界还是看所述虚拟对象；以及
当所述用户专注于所述虚拟对象时，通过以增加的速率增加所述显示器的不透明度来增加所述虚拟对象的能见度的方式，通过调整所述显示器的透明度来调整显示在所述显示器上的所述虚拟对象的能见度；
确定用户的第二3D注视点，所述第二3D注视点定义为所述用户的眼睛的视轴在所述第一时间后的第二时间相交的点；
基于所述用户的第二3D注视点，确定所述用户不是正在看所述虚拟对象；以及
当所述用户不是专注于虚拟对象时，通过以降低的速率降低所述显示器的不透明度来降低所述虚拟对象的能见度的方式，通过调整所述显示器的透明度来调整显示在所述显示器上的所述虚拟对象的能见度。
10.根据权利要求9所述的系统，其中，所述降低的速率比所述增加的速率更快。
CN201580063398.6A 2014-09-22 2015-09-22 基于眼睛会聚的显示能见度 Expired - Fee Related CN107003521B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462053545P 2014-09-22 2014-09-22
US62/053,545 2014-09-22
PCT/EP2015/001876 WO2016045784A1 (en) 2014-09-22 2015-09-22 Display visibility based on eye convergence

Publications (2)

Publication Number Publication Date
CN107003521A CN107003521A (zh) 2017-08-01
CN107003521B true CN107003521B (zh) 2020-06-05

Family

ID=54360426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580063398.6A Expired - Fee Related CN107003521B (zh) 2014-09-22 2015-09-22 基于眼睛会聚的显示能见度

Country Status (11)

Country Link
US (1) US10067561B2 (zh)
EP (1) EP3198396A1 (zh)
JP (1) JP6628793B2 (zh)
KR (1) KR102021320B1 (zh)
CN (1) CN107003521B (zh)
AU (1) AU2015320043B2 (zh)
BR (1) BR112017005758A2 (zh)
CA (1) CA2961830C (zh)
IL (1) IL251213B (zh)
MX (1) MX2017003762A (zh)
WO (1) WO2016045784A1 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10067561B2 (en) 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
CN107111355B (zh) * 2014-11-03 2021-03-12 宝马股份公司 用于校准眼睛跟踪系统的方法和系统
US9535497B2 (en) * 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
GB2532954A (en) * 2014-12-02 2016-06-08 Ibm Display control system for an augmented reality display system
US20170200316A1 (en) * 2015-09-10 2017-07-13 Sphere Optics Company, Llc Advertising system for virtual reality environments
KR102657948B1 (ko) 2015-11-04 2024-04-16 매직 립, 인코포레이티드 광 필드 디스플레이 계측
US9880384B2 (en) * 2015-11-27 2018-01-30 Fove, Inc. Gaze detection system, gaze point detection method, and gaze point detection program
WO2017120248A1 (en) * 2016-01-04 2017-07-13 Harman International Industries, Incorporated Off-axis gaze tracking in in-vehicle computing systems
JP6652417B2 (ja) * 2016-03-16 2020-02-26 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6620682B2 (ja) * 2016-06-21 2019-12-18 株式会社デンソー 車載表示装置
US20180060685A1 (en) * 2016-08-29 2018-03-01 Razmik Karabed View friendly monitor systems
US10654422B2 (en) 2016-08-29 2020-05-19 Razmik Karabed View friendly monitor systems
EP3342619A1 (de) * 2016-12-27 2018-07-04 Volkswagen Aktiengesellschaft Anwenderschnittstellen, computerprogrammprodukt, signalfolge, fortbewegungsmittel und verfahren zum anzeigen von informationen auf einer anzeigeeinrichtung
KR102578517B1 (ko) * 2017-01-13 2023-09-14 삼성전자주식회사 전자 장치 및 그 제어 방법
DE102017207960A1 (de) * 2017-05-11 2018-11-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
FR3068481B1 (fr) * 2017-06-29 2019-07-26 Airbus Operations (S.A.S.) Systeme et procede d'affichage pour un aeronef
JP6593713B2 (ja) * 2017-07-06 2019-10-23 マツダ株式会社 乗員撮影装置
DE102017214546B4 (de) * 2017-08-21 2023-02-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
KR101934294B1 (ko) * 2017-09-05 2019-01-02 엘지전자 주식회사 디스플레이 장치 및 그것을 포함하는 차량
KR102495234B1 (ko) * 2017-09-06 2023-03-07 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
IL311996A (en) * 2017-09-21 2024-06-01 Magic Leap Inc An augmented reality display with a waveguide configured to capture images of an eye and/or environment
CN111052043B (zh) * 2017-09-29 2022-04-12 苹果公司 使用现实界面控制外部设备
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US10600390B2 (en) * 2018-01-10 2020-03-24 International Business Machines Corporation Displaying a vehicle notification in a location determined based on driver eye gaze direction and other criteria
US10942355B2 (en) * 2018-01-22 2021-03-09 Facebook Technologies, Llc Systems, devices, and methods for tiled multi-monochromatic displays
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
CN108399903B (zh) * 2018-03-27 2020-11-27 京东方科技集团股份有限公司 一种成像位置的调节方法及装置、平视显示系统
US10783712B2 (en) * 2018-06-27 2020-09-22 Facebook Technologies, Llc Visual flairs for emphasizing gestures in artificial-reality environments
CN113238651A (zh) 2018-07-02 2021-08-10 苹果公司 用于显示系统的基于聚焦的调试和检查
CN110691232A (zh) * 2018-07-06 2020-01-14 蔚来汽车有限公司 平视显示装置的检测方法及装置
JP6668564B1 (ja) * 2018-08-29 2020-03-18 京セラ株式会社 ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、および移動体
US10915776B2 (en) 2018-10-05 2021-02-09 Facebook, Inc. Modifying capture of video data by an image capture device based on identifying an object of interest within capturted video data to the image capture device
US10718942B2 (en) 2018-10-23 2020-07-21 Microsoft Technology Licensing, Llc Eye tracking systems and methods for near-eye-display (NED) devices
US10838490B2 (en) 2018-10-23 2020-11-17 Microsoft Technology Licensing, Llc Translating combinations of user gaze direction and predetermined facial gestures into user input instructions for near-eye-display (NED) devices
US10852823B2 (en) 2018-10-23 2020-12-01 Microsoft Technology Licensing, Llc User-specific eye tracking calibration for near-eye-display (NED) devices
US10855979B2 (en) 2018-10-23 2020-12-01 Microsoft Technology Licensing, Llc Interpreting eye gaze direction as user input to near-eye-display (NED) devices for enabling hands free positioning of virtual items
US10996746B2 (en) 2018-10-23 2021-05-04 Microsoft Technology Licensing, Llc Real-time computational solutions to a three-dimensional eye tracking framework
TWI704473B (zh) * 2018-11-16 2020-09-11 財團法人工業技術研究院 視線向量偵測方向與裝置
CN109917920B (zh) * 2019-03-14 2023-02-24 阿波罗智联(北京)科技有限公司 车载投射处理方法、装置、车载设备及存储介质
GB2582328B (en) * 2019-03-19 2021-10-27 Sony Interactive Entertainment Inc Heads-up display system and method
CN110148224B (zh) * 2019-04-04 2020-05-19 精电(河源)显示技术有限公司 Hud图像显示方法、装置及终端设备
US11366321B1 (en) 2019-04-23 2022-06-21 Apple Inc. Predictive dimming of optical passthrough displays
CN110187855B (zh) * 2019-05-28 2022-09-16 幻蝎科技(武汉)有限公司 近眼显示设备的避免全息影像阻挡视线的智能调节方法
EP3917377A4 (en) * 2019-07-26 2022-11-02 Google LLC METHOD AND SYSTEM FOR AUTOMATIC PUPIL DETECTION
US11388354B2 (en) 2019-12-06 2022-07-12 Razmik Karabed Backup-camera-system-based, on-demand video player
US11493766B2 (en) 2019-12-17 2022-11-08 Tobii Ab Method and system for controlling transparency of a displaying device
KR102533465B1 (ko) * 2019-12-24 2023-05-19 주식회사 브이알애드 시각에 따른 가상현실내의 도구패널 위치 지정방법
DE112020006467T5 (de) * 2020-01-06 2022-10-27 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und computerlesbares aufzeichnungsmedium
CN113674717A (zh) * 2020-05-15 2021-11-19 华为技术有限公司 显示调整方法、装置、系统及存储介质
WO2021242008A1 (en) 2020-05-28 2021-12-02 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
GB2596300B (en) 2020-06-23 2024-11-13 Sony Interactive Entertainment Inc Gaze tracking apparatus and systems
DE102020208348A1 (de) * 2020-07-03 2022-01-05 BSH Hausgeräte GmbH Geschirrspülmaschine und Verfahren zum Betreiben einer Geschirrspülmaschine
US11998275B2 (en) 2020-07-15 2024-06-04 Magic Leap, Inc. Eye tracking using aspheric cornea model
WO2022066159A1 (en) * 2020-09-24 2022-03-31 Hewlett-Packard Development Company, L.P. Bookmarks
CN112819967B (zh) * 2021-01-14 2024-07-30 京东方科技集团股份有限公司 一种显示方法、装置及系统、存储介质、显示器
CN112861852B (zh) * 2021-01-19 2024-09-06 北京金山云网络技术有限公司 样本数据筛选方法、装置、电子设备及存储介质
JP7229283B2 (ja) * 2021-02-04 2023-02-27 本田技研工業株式会社 車両用シートベルト装置
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US11687155B2 (en) * 2021-05-13 2023-06-27 Toyota Research Institute, Inc. Method for vehicle eye tracking system
WO2023003109A1 (ko) * 2021-07-21 2023-01-26 네이버랩스 주식회사 헤드업 디스플레이 및 그 제어방법
CN113534959A (zh) * 2021-07-27 2021-10-22 咪咕音乐有限公司 画面显示方法、装置、虚拟现实设备以及程序产品
CN114615488B (zh) * 2022-03-14 2022-12-27 北京行者无疆科技有限公司 一种ar眼镜显示模式的控制方法
CN114820504B (zh) * 2022-04-22 2023-03-21 江苏泽景汽车电子股份有限公司 图像融合偏差的检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
CN103366381A (zh) * 2013-08-06 2013-10-23 山东大学 基于空间位置的视线跟踪校正方法
WO2014037953A2 (en) * 2012-09-10 2014-03-13 Elbit Systems Ltd. Digital system for surgical video capturing and display

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2005339267A (ja) * 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
US20060066567A1 (en) * 2004-09-29 2006-03-30 Scharenbroch Gregory K System and method of controlling scrolling text display
US7577925B2 (en) 2005-04-08 2009-08-18 Microsoft Corporation Processing for distinguishing pen gestures and dynamic self-calibration of pen-based computing systems
US7986816B1 (en) 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
EP2150170B1 (en) * 2007-05-23 2016-05-11 Mirametrix Inc. Methods and apparatus for estimating point-of-gaze in three dimensions
JP2010145718A (ja) * 2008-12-18 2010-07-01 Olympus Corp 頭部装着型画像表示装置
WO2010071928A1 (en) 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour
US8416302B2 (en) * 2009-02-10 2013-04-09 Microsoft Corporation Low-light imaging augmented with non-intrusive lighting
WO2012052061A1 (en) 2010-10-22 2012-04-26 Institut für Rundfunktechnik GmbH Method and system for calibrating a gaze detector system
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
EP2500816B1 (en) * 2011-03-13 2018-05-16 LG Electronics Inc. Transparent display apparatus and method for operating the same
US9330499B2 (en) * 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US9158113B2 (en) * 2012-03-14 2015-10-13 Google Inc. Integrated display and photosensor
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
JP5884576B2 (ja) * 2012-03-16 2016-03-15 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20130300634A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
JP5694257B2 (ja) * 2012-08-27 2015-04-01 株式会社東芝 表示装置、表示方法及びプログラム
US9317114B2 (en) * 2013-05-07 2016-04-19 Korea Advanced Institute Of Science And Technology Display property determination
US9661230B2 (en) * 2013-07-05 2017-05-23 Lg Electronics Inc. Image display apparatus and method of operating the image display apparatus
JP5825328B2 (ja) * 2013-11-07 2015-12-02 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
JP6608137B2 (ja) * 2014-01-03 2019-11-20 ハーマン インターナショナル インダストリーズ インコーポレイテッド ディスプレイ上の両眼転導検出
US9746739B2 (en) * 2014-06-05 2017-08-29 Microsoft Technology Licensing, Llc See-through dimming panel
US20170091550A1 (en) * 2014-07-15 2017-03-30 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US10067561B2 (en) 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
WO2014037953A2 (en) * 2012-09-10 2014-03-13 Elbit Systems Ltd. Digital system for surgical video capturing and display
CN103366381A (zh) * 2013-08-06 2013-10-23 山东大学 基于空间位置的视线跟踪校正方法

Also Published As

Publication number Publication date
EP3198396A1 (en) 2017-08-02
CN107003521A (zh) 2017-08-01
JP2017539108A (ja) 2017-12-28
CA2961830C (en) 2019-01-15
US20160085301A1 (en) 2016-03-24
IL251213A0 (en) 2017-05-29
AU2015320043B2 (en) 2019-02-21
MX2017003762A (es) 2017-06-30
KR20170058395A (ko) 2017-05-26
US10067561B2 (en) 2018-09-04
AU2015320043A1 (en) 2017-04-27
IL251213B (en) 2019-05-30
WO2016045784A1 (en) 2016-03-31
CA2961830A1 (en) 2016-03-31
BR112017005758A2 (pt) 2017-12-12
KR102021320B1 (ko) 2019-09-16
JP6628793B2 (ja) 2020-01-15

Similar Documents

Publication Publication Date Title
CN107003521B (zh) 基于眼睛会聚的显示能见度
US9536354B2 (en) Object outlining to initiate a visual search
US10740971B2 (en) Augmented reality field of view object follower
CN104765445B (zh) 显示器上的眼睛聚散检测
US9756319B2 (en) Virtual see-through instrument cluster with live video
EP3528097B1 (en) Hybrid world/body locked hud on an hmd
US9710130B2 (en) User focus controlled directional user input
CN107111373B (zh) 动态相机或灯操作
EP3616030B1 (en) Navigating a holographic image
US11170521B1 (en) Position estimation based on eye gaze
US20130326364A1 (en) Position relative hologram interactions
US10437882B2 (en) Object occlusion to initiate a visual search
US11513591B2 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
CN118394205A (zh) 利用眼动追踪技术的混合现实交互
CN118694912A (zh) 具有自适应闪光的注视感知色调映射

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190327

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: American California

Applicant before: Facebook, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder
CB03 Change of inventor or designer information

Inventor after: Javier Saint Agustin Lopez

Inventor before: Javier Sam Agustin Lopez

CB03 Change of inventor or designer information
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200605

CF01 Termination of patent right due to non-payment of annual fee