[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107087431B - 用于辨别眼睛信号和连续生物识别的系统和方法 - Google Patents

用于辨别眼睛信号和连续生物识别的系统和方法 Download PDF

Info

Publication number
CN107087431B
CN107087431B CN201580034682.0A CN201580034682A CN107087431B CN 107087431 B CN107087431 B CN 107087431B CN 201580034682 A CN201580034682 A CN 201580034682A CN 107087431 B CN107087431 B CN 107087431B
Authority
CN
China
Prior art keywords
user
iris
head
camera
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580034682.0A
Other languages
English (en)
Other versions
CN107087431A8 (zh
CN107087431A (zh
Inventor
纳尔逊·乔治·普布利科弗
路易斯·詹姆斯·马格拉夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107087431A publication Critical patent/CN107087431A/zh
Publication of CN107087431A8 publication Critical patent/CN107087431A8/zh
Application granted granted Critical
Publication of CN107087431B publication Critical patent/CN107087431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • H04W12/065Continuous authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30Security of mobile devices; Security of mobile applications
    • H04W12/33Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Graphics (AREA)
  • Social Psychology (AREA)
  • Bioethics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)

Abstract

本发明提供用于实时使用眼睛信号对个体的基本连续的生物识别(CBID)的装置、系统和方法。所述装置被包括在可穿戴计算设备内,其中识别设备穿戴者是基于在指向一个眼镜或双眼的一个或多个相机内的虹膜识别和/或其他生理、解剖学和/或行为的测量。设备用户身份的验证能够被用于启用或者禁用对安全信息的显示。身份验证也能够被包括在从所述设备传送的信息内,以便由远程处理单元来确定适当的安全措施。所述装置可以被包含在可穿戴计算设备内,其执行其他功能,所述功能包括:视力矫正、头戴式显示、使用场景相机来查看周围环境、经由麦克风和/或其他感测设备来记录音频数据。

Description

用于辨别眼睛信号和连续生物识别的系统和方法
技术领域
本发明一般涉及用于基本连续的生物识别(“CBID”)、眼睛跟踪、以及由个体实时进行的眼睛信号控制的系统和方法。CBID利用基于生物的识别、加密、以及网络安全领域内的技术;并且在能够与头戴式显示器、远程显示器、眼睛跟踪相机、查看设备穿戴者的环境的场景相机、和/或其他可穿戴传感器相关联的不显眼的处理器内实现。CBID可以解决与以下相关联的安全问题:使用虹膜代码确定、识别其他生物特征的步骤、以及与成体系系统(“SoS”)架构内的网络设备的安全接口,来尝试有意歪曲设备用户的身份和/或无意的身份盗用。
背景技术
互联网以及计算/通信设备的广泛使用已导致电子信息传播的爆炸式增长。然而,在网络安全领域中,对安全信息的接收者的可验证控制仍是一个重要的问题。此外,信息接收者也能够成为敏感信息的来源,其中实时了解这样的来源的身份能够是重要的安全问题。
这种情境的示例是了解在进行在线购买的过程期间录入信用卡(或者其他账户)信息的个体的身份。目前远程识别接收者或者安全信息的来源所通常使用的技术容易受骗。在美国,身份盗用每年大概影响一千五百万人,其中财务影响估计有五百亿美元。
从互联网接收信息的计算机或者电信设备通常由所谓的IP(即互联网协议)地址和/或通常嵌入中央处理单元(CPU)或固件内的识别码来识别。虽然IP地址和/或嵌入的设备标识能够被用来识别接收或发送信息的装置,但IP地址无法可验证地识别设备的用户。
尝试使设备与个体用户相关联的方案通常采用密码、安全问题、和/或历史记录(由诸如“trackers”或“cookies”的术语来指代)。然而,例如,一旦用户已经“登录”,便能够容易地绕开这些方案。当设备丢失或者被盗时,或者如果对设备的访问被除预期的信息接收者以外的某人取得,这能够变成特别严重的问题。此外,存在掩蔽或者隐藏真实身份和/或特定机器的IP的位置和/或嵌入硬件的地址的方案。
尝试验证用户身份的最常见网络安全方法采用密码和/或安全问题。一旦已经录入了密码和/或回答了安全问题,就有可能切换用户;从而使安全方案失去作用。此外,存在用来秘密获取密码和/或安全问题的答案的若干方法。这些方法包括:在密码录入期间拦截按键输入;基于诸如姓氏、地点、宠物、或者简单的字母数字序列的要素来“猜测”密码;在整个互联网上传送分组时解密嵌入其中的信息(在公用的情况下,无线传输是特别脆弱的接入点);通过一系列常用的密码进行自动排序;经由嵌入的恶意软件获取密码;冒充需要录入密码的合法网站;以及其他形式的所谓“网络钓鱼”。
用于用户识别的生物方案作为用来唯一识别个体的基于机器的方法而越来越普遍。生物识别涉及感测个体独有的身体属性、基因属性、生理属性、和/或行为属性。基本连续的、实时的生物识别要求一种迅速、非无侵扰、并且非侵入式的技术。
作为生物识别技术的示例,美国专利No.8,432,252描述了一种光学扫描手指以识别个体并且随后基于指纹识别来启用或中断安全通信的设备。利用基于手指扫描的识别技术的多项专利已经授权给美国专利No.8,432,252的受让人。自动面部识别、语音识别、和签名识别是其他生物认证方法的基础。然而,这些技术一般都没有以不显眼方式提供基本连续的用户识别并且易受使安全特征失效的相对简单的方法影响。
例如,在多数情况下,这样的生物设备能够在扫描时肯定地识别个体。然而,随后有可能使单独的个体接收安全信息或者使其成为安全信息的来源。即使在扫描时,被用来显示和/或录入安全信息的设备一般也不直接耦合至用于用户识别的那些设备。例如,在单独的个体正在执行键盘录入的同时能够发生自动面部识别。当潜在利益驱使已被生物地识别的个体有意隐藏或转变他或她的身份时,迷惑用户真实身份的这些相对简单的方法就特别成问题。
信息的接收者可能希望有意伪装真实身份的实例的示例是在线学业考试的远程进行。在此情况下,有可能是考试成绩的最终接收者来解决所有安全质询,而不同的个体解决实际的考题。在GRE(研究生入学考试)、GMAT(经企管理研究生入学考试)、LSAT(法学院入学考试)、MCAT(医学院入学考试)、以及其他专业职业晋升考试的进行期间的高明的身份交换方案屡见通报。随着教育以及其他基于信息的服务提供者越来越多地使用MOOC(大型开放式在线课程)、函授学习、以及评价格式,与学业考试和其他形式的考试的远程进行相关联的安全问题将变得越来越重要。
目前,虹膜识别被认为是最安全的生物识别技术之一。虹膜显示作为表观遗传的表型特征的精细结构,其由胚胎孕育期间的随机组分发育。因此,不同于DNA指纹图谱,即使是基因上完全相同的双胞胎(占人口的大约1%)也具有完全唯一的虹膜色素和结构。对虹膜的表观遗传性质的进一步证明是,虽然个体的(基因上完全相同的)左眼与右眼具备相似的结构和颜色,但个体的左眼与右眼的纹理细节极为不同。
虽然能够以非侵入式的方式查看虹膜,但是其位于受到良好保护的器官(即眼睛)内,不同于指纹,该器官通常受到保护以防损伤和磨损。虽然有一些医学手术能够改变眼睛内的精细结构和色素,但虹膜纹理在数十年间的时期内通常都保持非凡的稳定(例如不同于面部特征)。
John Daugman在剑桥大学时率先开发了虹膜识别算法。当今投入使用的大部分商用的虹膜识别系统都利用了Daugman算法(例如在美国专利No.5,291,560中所公开的)。市售的虹膜识别系统(例如,Iris ID Systems Inc.、BI2Technologies、IrisGuard Inc.、Eyelock Corp.)通常使用手持式设备或者装于支座的设备,并且以虹膜与相机之间从10厘米到数米的距离下操作。
Daugman开发并应用了基于使用实时视频条件所收集的虹膜图像的二维Gabor小波(即短时Fourier变换的特例)系数。通过将基于笛卡尔坐标的图像变换成极坐标并且对小区域应用二维Gabor滤波器,能够计算复杂的点积,其主要反映相位角。对整体光振幅(即图像亮度、对比度等)不具敏感性有助于忽略视频录制条件的变化。
不同区域的点积的最高有效位组成所谓的虹膜的代码或者下文的“irisCode(虹膜代码)”。最初和最常见被实现的irisCode利用来自每个区域的2位来生成2048位(即256字节)的值,其能够从数百万人当中识别唯一的个体。用于计算irisCode的算法已被编码为基于CPU的设备内的软件以及嵌入硬件的固件这两者。
当今,在170个国家中已有超过六千万个体注册了基于虹膜模式的身份证明。印度政府目前正对超过十亿个体的其全部人口记录虹膜扫描以及指纹。利用这些技术的公司和政府机关包括IBM、Panasonic、LG、Sarnoff、伦敦希斯罗(Heathrow)机场(以及伯明翰(Birmingham)机场、盖特威克(Gatwick)机场和曼彻斯特(Manchester)机场)、IrisAccess(韩国)、IrisPass(日本)、CanPass(加拿大Nexus系统)、阿富汗遣返计划、以及美国国防部的拘留者人口管理计划。
虹膜具有限定明确的几何形状,其仅因控制瞳孔直径的两块拮抗肌(括约肌乳突以及扩张肌乳突)的收缩而变化。这种均匀性和稳定性带来了在普通图像质量并且考虑了头部倾斜和移动的情况下、前所未有的低达(取决于严格性选择(stringency selection))109.6分之一(即,约四十亿分之一)的误匹配率的。
发明内容
虽然通读说明书以及下面给出的权利要求书才能对本发明作出最佳理解,但提供本发明内容以便令读者悉知本文所述系统和方法的新颖和有用的特征中的某一些。当然,本发明内容并非旨在完整赘述本文所述系统和方法的全部特征,也非旨在以任何方式来限制本申请的具体实施方式后所附的权利要求的范围。
根据一个实施例,提供用于头戴式设备的装置、系统、和方法,其包括:连接至至少一个成像器的至少一个处理器,其中所述成像器中的一个被定向成朝向用户的眼睛,所述处理器被配置成以如下中的至少一个方式来确定眼睛注视估计:基本连续、同时、和/或周期性地,或者其中所述成像器检测眼睛的一个或多个区别特征;以及确定用户的生物数据,其包括用户的面部特征、语音、或者虹膜数据,其中,所述生物数据被用于对用户的识别和认证,以用于至少对所述头戴式设备、所连接的设备、无线设备以及远程服务器进行访问和控制。
根据另一个实施例,提供了用于对设备用户的基本连续的生物识别(CBID)的装置、系统和方法。所述装置可以被基本不显眼地安装于头戴设备上,该头戴设备能够被嵌入普通眼镜框内或与其附接,或者嵌入所谓的可穿戴计算设备内,诸如被称作Google Glass(谷歌眼镜)
Figure BDA0001192005590000051
(Google Inc.)的那些可穿戴设备。更具体地,示例性实施例可以包括:一个或多个照明源,其(必要时)能够对所述设备穿戴者的一个或两个虹膜进行照明;一个或多个微型相机,其被定向成直接地、通过透光机构、或者经由反射系统来查看所述设备穿戴者的一个或两个眼睛;以及处理单元,其可以(1)分析眼睛的图像以确定所述设备穿戴者的身份;和/或(2)将眼睛的图像传送至另一个处理单元,其进而确定所述设备穿戴者的身份。
在本公开中,意图与计算设备相交互的自主(voluntary)眼睛运动被称作“眼睛信号”。
此外,生物识别信息(例如irisCode)以及与CBID相关联的全部信息二者都必须被安全地传送,其中,通信步骤可以包括与头戴式设备的无线通信。以在2015年5月9日提交、申请序列号14/708,229的Systems and Methods for Using Eye Signals with SecureMobile Communications(用于使用眼睛信号与安全移动通信的系统和方法)中所述的方式,安全地执行基于CBID的通信。
根据第一实施例,提供了可以利用可穿戴设备来基本连续、周期性地、和/或按需执行虹膜识别的装置、系统、和方法。
根据另一个实施例,提供了可以查实穿戴所述头戴式设备的用户的真实身份的装置、系统和方法。
根据另一个实施例,提供了可以经由行为生物特征而查实用户的真实身份的装置、系统、和方法。
根据另一个实施例,提供了装置、系统、和方法,其为用户提供容易、简单、和/或直观的方法和系统以供无需令牌的安全,其中,令牌包括密码和物理设备中的至少一个,其中物理设备包括信用卡、密钥串(key fob)、或者其他物理令牌。
根据另一个实施例,提供仅当存在已验证的所述设备穿戴者的生物识别时才允许执行眼睛信号的装置、系统、和方法。
根据另一个实施例,提供可以防止用户身份欺诈和身份盗用的装置、系统、和方法。
根据另一个实施例,提供使用过滤器的装置、系统、和方法,所述过滤器建立多个级别的设备安全以用于以下中的至少一个:单个用户、多个用户,以及所述可穿戴设备的所有用户的无限次访问。
根据另一个实施例,提供了装置、系统和方法,其使用所述头戴式设备来出于以下目的中的至少一个来认证用户:教育、法律、许可、以及服务交付。
根据另一个实施例,提供了装置、系统和方法,其使用所述头戴式设备来认证用户以用于准许对以下中的至少一个的访问:安全房、限制区、机动车、飞机、以及海运船舶。
根据另一个实施例,提供了装置、系统和方法,其中由设备穿戴者查看和感知的真实和虚拟对象二者的图像能够被存储或标记作为个人增强存储器(PAM)形式以供未来参考。
根据另一个实施例,提供使用所述头戴式设备来可验证地注释文档或数据的来源的装置、系统和方法。
根据另一个实施例,提供了装置、系统和方法,其使用所述头戴式设备来可验证地注释已由所识别的个体检查或处理的文档或数据。
根据另一个实施例,提供了装置、系统和方法,其使用所述头戴式设备来可验证地注释真实或虚拟的对象已由所识别的个体检查或处理。
根据另一个实施例,提供了装置、系统和方法,其使用所述头戴式设备来可验证地注释已由所识别的个体生成、修改、或者审阅的书写、签名、或者其他手写信息。
根据另一个实施例,提供使用所述头戴式设备来可验证地注释所识别的个体已说出或者听到听觉信息的装置、系统和方法。
根据另一个实施例,提供使用所述头戴式设备来可验证地注释所识别的个体已执行活动的装置、系统和方法,所述活动包括:注视对象以及可由所述头戴式设备辨别的一些物理动作。
根据另一个实施例,提供将所述头戴式设备用于以下目的的装置、系统和方法:可验证地监视、限制、控制、或者影响所识别的个体的活动、行为、表现、或者生物特征,所述所识别的个体已被监禁、假释、缓刑、受禁令限制、或者以其他方式受到法院强制的行为的约束。
根据另一个实施例,提供将所述头戴式设备用于以下目的的装置、系统和方法:在某一时间点或者时间段内可验证地评估疑似受酒精、药物、或者其他物质影响的个体的中毒表现或状态。
根据另一个实施例,提供装置、系统和方法,其使用所述头戴式设备来可验证地注释所识别的个体的生物反应或者其他度量,所述个体参加了受监督医疗活动以供药物或其他处方的测试、治疗或者研究。
根据另一个实施例,提供了为认证购买的目的来使用所述头戴式设备的装置、系统和方法,其中,经认证购买是为了在线购买安全以及离线购买安全,其中离线包括在零售店或者想要购买对象的任何地点。
根据另一个实施例,提供使用所述头戴式设备以允许由所识别的个体查看数据并且不允许其他个体查看数据的装置、系统和方法。
根据另一个实施例,提供使用包括向外地定向的、连接至所述处理器的第二成像器的头戴式设备的装置、系统和方法,其中,所述第二成像器检测能够由所述处理器解码的代码,其中,所述代码是条形码以及QR码中的一个,并且其中,所述处理器解码的数据表示关于产品的信息。
根据另一个实施例,提供使用包括向外定向的、连接至所述处理器的第二成像器的头戴式设备的装置、系统和方法,其中,所述第二成像器检测能够由所述处理器使用图像识别来识别的对象,并且其中,所述处理器表示关于产品的信息。
根据另一个实施例,提供使用与产品相关的信息以允许已认证的用户安全地购买所述产品的装置、系统和方法。
根据另一个实施例,提供了装置、系统和方法,其中,在监视器的实际正被所识别的设备穿戴者查看的区域中的信息能够(实时)以高空间分辨率来显示和/或以高时间频率来更新,同时周围区域(即,不被设备穿戴者查看的区域)以较低空间分辨率来显示和/或以较低频率来更新。
根据另一个实施例,提供了装置、系统和方法,其中,当在监视器的实际正被所识别的设备穿戴者查看的区域中的信息(实时)以比外围区域(即设备穿戴者没有在查看的区域)——所述外围区域以较低空间分辨率来显示和/或以较低频率来更新——更高空间分辨率来显示和/或更高时间频率来更新时,在较低空间分辨率区域内的指定区域或者指定对象可以以比较低空间分辨率区域更高的空间分辨率来显示和/或以更高的频率来更新。例如,在高分辨率的中央凹(foveated)的渲染期间,在对中央凹区域的外面渲染时,诸如眼睛的面部特征可以以较高的分辨率来呈现。
根据另一个实施例,提供允许实体通过互相注视而发起与另一个实体的安全通信信道的装置、系统和方法,其中,所述通信信道的安全性可以在通信之前建立,并且可以在通信期间持续或有间隔地重新确认。
根据另一个实施例,提供装置、系统、和方法,其启用安全协议以用于在各方之间协调来使得发生动作,其中每一方都执行一些动作,在此期间利用CBID来连续验证它们的身份。
根据另一个实施例,提供了系统和方法,其基于互相注视来警示个体关于一个或多个已识别的个体想要交换信息。
根据另一个实施例,提供了装置、系统和方法,其启用维护暂时与场景相机数据和/或音频数据耦合的注视数据的隐私的安全装置。
下面在附图和示例性实施例的具体描述中描述本文所呈现的系统和方法的方面和应用。
附图说明
在结合以下例示性附图来考虑时,本发明可以通过参照具体实施方式来更加全面地理解。在附图中,各图中相似的附图标记指代相似的元素或动作。在附图中,图示出本发明的示例性实施例,其中:
图1是用于识别设备的穿戴者的系统的示例性实施例的基本元素的方案。
图2图示了用于确定设备穿戴者的身份的示例性步骤。
图3是示出用于基本连续地取得设备穿戴者的识别状态的示例性逻辑的流程图。
图4是用于基于设备穿戴者的身份来控制查看和生成安全信息的电路的示例性实施例的示意图。
图5是图示指向单个虹膜的多个照明源和多个相机的示例性位置的透视图。
图6描绘了多相机成像系统的示例性实施例。
图7描绘了与网络通信的头戴设备的一个实施例。
图8是执行在线安全购买所采取的示例性步骤的流程图。
图9A和9B演示头戴式显示器的并入,其中图9B图示了视线遮蔽物的放置,其阻止除设备穿戴者以外的任何人查看显示的内容。
具体实施方式
在下文的描述中,出于解释目的,阐明了若干具体细节以便全面理解示例性实施例的各个方面。然而,本领域技术人员将理解的是,本文的装置、系统、和方法可以在不具备这些具体细节的情况下实践。应理解的是,在不脱离本文的装置、系统、和方法的范围的情况下,可以利用其他实施例并且可以作出结构上和功能上的变化。在其他实例下,更加一般地示出或讨论已知的结构和设备,以便避免模糊示例性实施例。在许多情况下,对操作的描述足以使得本领域技术人员能够实现各个形式,特别是在软件中实现操作的时候。应指出的是,存在许多所公开的实施例可能适用的不同和替选的配置、设备、和技术。所述实施例的全部范围不限于下文所述的示例。
在所图示实施例的下列示例中,将参照形成其一部分并且通过图示各个实施例来示出的附图。
虹膜识别系统
最新的虹膜识别系统在虹膜与相机之间的距离在十厘米到二十厘米的范围内操作(其中研究工作以高达三至十米的距离为目标)。本文的系统可以在与不显眼的头戴设备相关联的约二十至三十毫米(20-30mm)的相对短的距离内基本连续地执行虹膜识别。
在这样短的距离内,在存在充足照明的情况下,一般的图像分辨率能够等于或者甚至超过在由当今商用虹膜识别设备使用的距离内所记录的图像质量。然而,附接至虹膜跟踪微型相机的微透镜和/或其他光学器件可能生成包括严重偏斜的空间像差。空间像差能够使虹膜以及眼睛区域中的其他结构的图像失真。
空间像差能够通过使用短焦距平台来被计入虹膜识别算法内,以计算“目标”(即被确认为属于预期的接收者)以及设备用户二者的认证irisCode(虹膜代码)。这就在对其进行比较时保持了irisCode间的一致性程度。
虹膜识别也取决于获得大致在轴上的虹膜图像的能力(即,与眼镜表面垂直并且以虹膜和/或瞳孔为中心来查看)。当以锐角(即离轴)来查看时,虹膜的特征能够变得失真,导致信息缺失。这在相机的放置既要不显眼并且又要位于与眼睛极为接近的头戴设备内时尤其成问题。在眼镜正常运动期间,虹膜能够相对于不显眼的相机的视角移动离开轴线,导致生成能够与对目标irisCode的高严格性(high-stringency)可比的能力有所损失。
在用于处理这种状况的示例性实施例中,所述系统可以在能够以轴上模式查看虹膜时使用高严格性虹膜识别,同时耦合在虹膜相对于由相机所查看的方向离轴指向时使用较低的严格性的虹膜识别和/或对眼睛区域中的其他结构的特征识别。下面更全面地描述离轴期间所跟踪的特征,而能够包括巩膜的形状、巩膜内血管的模式和位置、眼睑的形状、和/或睫毛的位置。不同于虹膜,这些特征在一生之中可能发生变化。然而,这样的特征在穿戴所述设备的单个会话的时间过程中不会发生显著变化。
因此,在正常操作期间,用户可以在最初穿戴所述设备后并且此后至少定期地直接看向相机以注册高严格性irisCode。取决于所需的安全级别,Gabor系数的精度和数目以及对差别或Hamming距离的度量(即,等长的0s与1s的两个向量之间的差异的度量)能够被调整到大范围的严格性。在使用高严格性irisCode注册之间的时间中,对眼睛区域中和其周围的特征进行跟踪以确保基本连续的用户身份。类似地,取决于所需的安全级别,能够调整所记录的眼睛周围特征的图像与在设备穿戴者的身份已知时的图像相比较的匹配程度的阈值。
与例如在个体进入国家时用于识别(或者排除)该个体的市售系统相比,本系统可以解决以下问题:在任何给定的时刻,穿戴头戴设备的个体的虹膜的特性是否匹配基于Gabor系数的、对单个(即目标)个体的虹膜的描述?在技术上,这比在可能包含数百万计虹膜模式的数据库内提供虹膜图像的匹配或者不产生匹配挑战性大大降低。
所述CBID系统能够在包括头戴式显示器、眼睛跟踪、和/或查看设备穿戴者的环境的一个或多个场景相机的头戴设备内实现。场景相机可以包括捕获“场景”信息的传感器,所述场景信息难以由穿戴者以其他方式察觉——诸如RF或IR波长处的能量。所述头戴设备还能够包括其他传感器,诸如:麦克风、加速计、触控板、环境光检测器、皮肤电传感器、温度计、脉搏血氧计、脑电图仪(EEG)、肌电图仪(EMG)、心电图仪(EKG)以及心率变异性(HRV)感测本地头戴设备定位系统、全球定位系统(GPS)、和/或用于测量头戴式设备的结构完整性和/或效能的电子组件。基本连续地从这样的可穿戴传感器中所获取的数据能够利用用户识别码来标记,以确保信息来源的肯定识别(positive identification)。
连续生物识别(CBID)
图1示出CBID系统100的元件的示例性实施例,该系统包括虹膜照明源130、135、和140、被定向以查看虹膜115和/或眼睛的其他特征的相机125、以及处理单元165。在解剖学上,虹膜115围绕瞳孔145并且本身被包含血管和其他可识别记号的巩膜150或者眼睛的眼白区域围绕。周期性地,眼睑105、110在眨眼期间或者自主(voluntary)闭眼期间妨碍查看虹膜115以及巩膜150。
处理单元165能够生成irisCode和/或眼睛的图像并且经由通信链路155将其传送至远程处理单元160,该远程处理单元是(或者在功能上耦合至)安全信息的来源和/或接收者。经由通信链路155在安装在头戴式设备600(图5)上的处理单元165与远程处理单元160之间的传输能够被加密并且能够采用有线与无线传输155方法二者的组合。取决于基本连续的肯定识别存在或不存在,远程处理单元160能够采取步骤以允许或者隐藏对安全信息的处理和/或传输。
照明源130、135、和140能够是红外或近红外的发光二极管(LED)或者有机LED(OLED)。基于在相机125的视场内感测的目标亮度水平,能够控制照明源130、135、和140的光照强度,如美国专利8,890,946所述。
微型相机125能够包含基于电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)的对电磁辐射的感测,下文称作成像器。微透镜120使来自眼睛区域的电磁辐射聚焦到相机125的感测区上。
处理单元165能够是现场可编程门阵列(FPGA)、微计算机、微控制器、专用集成电路(ASIC)或者其他计算设备。处理单元165能够是单个设备或者处理功能能够由单独的物理设备的组合来执行。
图2示出识别设备用户的步骤的示例性实施例。使用本领域公知的所谓“帧抓取(frame grabbing)”技术,将包括虹膜115的区域的图像200数字化(过程205)。基于数字化图像200内的最大暗区域的位置和/或识别瞳孔145与虹膜115之间的边界250的数学表示的中心,确定瞳孔145的中心(过程210)。基于瞳孔145的暗区域与虹膜115的有大理石纹理的较亮区域之间的过渡,能够确定虹膜的内缘250(过程215)。基于虹膜115的有大理石纹理或有结构的区域与巩膜150的眼白区域之间的过渡连同虹膜115形状近似环形的解剖学知识,确定虹膜的外缘(即异色边缘)245(过程215)。当在瞳孔145的中心处从不垂直于眼球表面的角度查看时,虹膜115的內缘250和外缘245能够在相机图像200内大体呈椭圆形。因此,针对虹膜內缘250和外缘245所跟踪的大体形状近似椭圆。irisCode的具体构造须虑及与虹膜115的圆形形状的典型偏差,特别是虹膜与巩膜245之间的边界。
然后,对图像200内的位于虹膜115的內缘250与外缘245之间的像素应用Gabor变换计算(过程220)。然后,将Gabor变换的系数组装成所谓的“irisCode”(过程225),其中,由对虹膜115的每个区域的Gabor变换计算的两个最高有效位组装出最常用的2048位irisCode。在一些情况下,虹膜115的区域可能由于局部眼睑105、110闭合、阴影240或者睫毛235而被遮蔽。能够将严格性准则与irisCode相关联(过程230),以虑及这样的缺失或不确定信息。
当已经经由irisCode来确定设备穿戴者的身份时,将围绕虹膜115的区域的图像存储并且注册为属于该设备穿戴者。随后,能够使用该图像作为在眼球转动时无法再计算出irisCode的状况下的对比基准。虹膜115的图像能够因以下而变得模糊:阴影240;受眼睑105、110或者睫毛235的阻挡;或者因为虹膜115与相机125的中央视场相比足够离轴。当发生这些状况时,使用基准图像内的区别特征来基本连续地确定设备穿戴者的身份。这些特征能够包括巩膜150;巩膜150内的血管的位置和模式、眼睑105、110的形状;以及睫毛235的位置和形状以及补充的生物(即生理和解剖学的)度量,如下所述。
图3是图示用于确定在给定的时间是否肯定地识别设备穿戴者的基本连续的决策过程的流程图。该决策过程开始于从虹膜跟踪相机125获取图像(过程300)并且尝试计算irisCode。用于将相机图像数字化以及计算irisCode的方法由图2来更加全面地描述并且在现有技术中已知,例如,如美国专利No.5,291,560所述。下一步骤(过程305)是对是否已确定可行的irisCode的确定。不可行的irisCode的原因包括:局部闭合的眼睑、完全闭合的眼睑(即自主闭合或者无意识眨眼)、遮蔽虹膜115的阴影240、遮蔽近似杆状区域的睫毛235、和/或转动得大大远离相机125的视场中心的虹膜115。
如果能够计算出可行的irisCode,则将其与预期或目标设备用户的预定的irisCode相比较(过程310)。取决于所需的设备用户安全级别,能够调整这种比较的严格性。如果存在与穿戴者身份证明的肯定匹配,则将该肯定匹配的时间设置成从自由运行时钟335获取的当前时间(过程315),将眼睛周围区域中的特征存储并且注册为属于目标设备用户(过程320),并且将肯定识别布尔指示符的状态设置为“真”(过程345)。
如果无法计算出irisCode(过程305),则作出检查以确定irisCode是否已在延长的时间段内不可用(过程325)。如果irisCode最近已经被确定,则将眼睛周围区域的图像内的特征与在肯定识别的时间所存储的图像(过程345)相比较(过程310)。如果存在这些特征的充分匹配,则将肯定识别布尔指示符以其“真”状态保存,并且获取新的图像。
如果新确定的irisCode不匹配预期的设备穿戴者的虹膜代码(过程325),或者如果在一段时间内未计算出irisCode(过程330)并且不存在眼睛周围特征的充分匹配(过程340),则计算由自由运行时钟注册的当前时间(步骤330)与最新近的肯定识别的时间之间的差额。如果确定该差额大于预定的阈值时间,则将肯定识别布尔指示符的状态设置为“假”(过程340)。
预定的阈值时间被调整成允许在短暂间隔内无法肯定地识别用户的值,诸如在“正常”的设备穿戴者眨眼期间。因此,如本文所使用,“连续”以及“基本连续”的确定能够包括这样的无法肯定地识别用户的短暂间隔。一般地,将阈时间设置成0.1秒(即迅速眨眼的持续时间)与10秒之间的值,其中后一值最不安全,允许设备穿戴者在短暂间隔内把目光从头戴设备移开。典型的阈值是0.3秒。
在获取新的图像(过程300)后,重复整个决策过程,以提供基本连续的识别。能够将用户识别的状态附加至与系统相关联的所有传输(过程345)。替选地,能够将虹膜115的图像传输至外部处理单元,并且能够远程执行用于确定设备穿戴者是否被肯定地识别的决策过程。
图4是在经由外部设备来控制显示710和/或安全信息的传输155的应用期间的示例性实施例。虹膜的图像和/或眼睛115的区域中的特征由相机125被基本连续地获取,并且基于这些图像内的匹配程度;基本连续的设备穿戴者的识别状态由处理单元165确定。设备穿戴者的识别状态经由通信链路155来被传输至外部处理单元。然后,任何数目的其他处理单元400能够允许安全信息被显示710并且由基本连续授权的个体查看。
生物识别能够发生在一个或多个时间(即会话)期间,或者发生在需要用户认证的眼睛信号控制过程之前、期间或之后的时间的任何组合。例如,参加考试的个体可能在考试时间段之前和之后二者都被要求执行导致生物认证的眼睛信号命令序列。在线购买可以在进行购买之前(例如,在可能发生对交易总费用的预授权步骤的时间内)以及与导致购买的眼睛信号序列的同时要求认证。使用眼睛信号控制以及可能的其他控制对安全的法律文档的阅读可以要求重复的生物识别,其与阅读过程期间所使用的全部眼睛信号同步。
补充的生物测量
另一个示例性实施例涉及使用解剖学和生理学特征来进一步基本连续地监视个体的身份和功能状态二者。为了准确跟踪眼睛信号,眼睛的解剖学特征的形状、尺寸、和/或相对空间位置必须对头戴式设备已知。因此,在正常操作期间,这些特征通常对设备可用,因为它们形成被用于产生准确的眼睛跟踪的校准系数中的许多的根本基础。同时,它们也能够被用于(基本连续地)验证设备穿戴者的身份。这在以下时间段期间尤其有用:当虹膜代码不连续可用时——诸如在眨眼期间、当虹膜被眼睫毛或者其他结构遮蔽时、和/或当虹膜远离查看一个或两个眼睛的相机来指向时。能够作为用户身份的组成部分的这样的解剖学特征的示例包括:
·角膜曲率半径(包括二阶参数,因为形状能够是椭圆形)
·瞳孔深度
·眼球半径
·异色边缘半径
·光轴与视轴之间的偏移
·人工晶状体参数(在美国每年执行270万例白内障手术以将天生的晶状体替换为人工晶状体)
·各种病状,诸如结膜黄斑(眼睛的眼白(巩膜)部分的结膜发黄凸起增厚)、翼状胬肉(楔形增生)、斜视(内斜眼)、弱视(弱视眼)
·眼睛上的大体眼睑位置
·睫毛的粗度、密度、颜色、覆盖范围、长度
·眼裂的形状和度量
·取决于相机的视场(FOV)的,眉毛的毛发、结构、位置、颜色
·取决于相机的FOV的、眼睑和周围组织的皮肤组成
存在其他解剖学因素——诸如鼻部的大小和形状(通常影响设备如何搁置在头部上,并且由此影响相机和照明源相对于眼睛的位置),所述因素对于用户识别目的不太有用。然而,对相机与眼睛的特征之间的距离的测量(再一次,很大程度上受设备如何搁置在鼻部上的影响)能够被用于确定设备是否例如已经从头部去除。如果设备从头部去除,则能够设置指示,其阻止设备进行高安全性的动作或者交易,直至设备被重新置于头上并且执行高严格性(例如匹配的irisCode)的识别过程。
由设备测量的生理反应也能够是个体的标识或者“签名”内的唯一标识符的组成部分。由设备测量并且由此能够是用户身份的组成部分的的生理特征的示例包括:
·响应于光线变化(高度依赖于设备穿戴者的年龄)或者响应于特殊刺激(光、情绪反应、认知负荷)的、瞳孔收缩或扩张的程度
·响应于光的变化的瞳孔收缩或扩张的速率
·在瞳孔收缩或扩张时瞳孔的水平和竖直移位
·自主扫视运动的范围和速率
·微扫视的范围、频率、和速率
·眼睛震颤、漂移和其他眼睛运动的程度、出现、范围、频率和模式
·聚散(vergence)的眼睛运动之间的相关程度(当监视双眼时)
·设备穿戴者识别和跟踪新目标的速率
·眨眼行为,诸如发生的频率、速率、持续时间、场境(context)
·用户执行眼睛信号的方式,所述眼睛信号可以作为用于眼睛控制的语法或者交互模型的一部分
·在视觉刺激的场境下的眼睛信号、生物数据、以及包括位置、时间、活动、身体或认知状态和意图的其他数据
·眼睑以及周围皮肤组织的运动,有可能是基于可见的、归类在“面部动作编码系统”中的运动、皮肤和肌肉
·与设备穿戴者的“经验”(对比新手用户)相关联的各种参数
该列表中后面的特征,设备穿戴者的经验可能并不被严格分类为“生理”度量。经验在由设备维护的系数集群内被反映,所述系数集群主要基于以下来反映用户的“经验”:设备穿戴者在设备上花费的时间、注视(fixation)时间、反应时间的历史、各种数据类型的场境化(contextualization)、以及无意选择的频率(即随后校正的选择)。由设备使用的这些数据的一个示例是:在平稳的追踪眼睛信号期间,调整所谓“眼睛致动物(eyemover)”的速度(即提示用户移动他们的眼睛来作出N中选1的选择的目标)。
用户经验是在执行诸如浏览对象或阅读文本的动作时能够测量的多个行为特性的示例。这些行为生物特征(behavioral biometric)或者执行活动的“风格”能够基于诸如过去的经验、熟悉度、兴趣等因素。一些行为特性能够包括解剖学影响和生理影响。打个比方,个体的步态是这样的活动的大规模示例。在眼睛信号的情况下,控制每个眼睛的六块肌肉的精确附着点以及收缩强度能够影响眼睛运动的行为生物特征。
如Systems and Methods for Biomechanically-Based Eye Signals forInteracting with Real and Virtual Objects(用于与真实对象和虚拟对象相交互的基于生物力学的眼睛信号的系统和方法)中所述,一种用于对眼睛信号进行分类的方法是对已被训练来辨别个体的眼睛运动特性的神经网络的应用。用户经验以及特定的运动特征(即,以此类推,个体的“眼步态(eye-gait)’)能够被用于识别个体。
这些解剖学特征、生理特征、和/或行为特征的组合对于个体而言是唯一的;虽然在诸如区分同卵双胞胎的某些情况下,一些解剖学特征的独特变化可能对于生物识别的实际使用而言过小。认识到这样的缺点,正是独立特征的组合产生了进行区分的效力。例如,如果对异色边缘半径的测量具有分辨力来一致地(即反复地)将个体归类到十组中的一组并且在大范围扫视运动期间所达到的最高速度(可假定不取决于异色边缘半径)能够进一步将个体归类到十五组中的一组,则识别个体时这两个独立度量的组合的效力为10x15=150中选一。独立且有区别的特征的乘法性质提供了区分个体的显著效力。
特别是在虹膜识别不可用的时间期间(例如,当虹膜被眼睑、睫毛遮蔽或者失焦时),解剖学参数、生理参数、和行为参数能够被用于保持用户身份的连续性。此外,对于许多应用,设备被要求尝试确定穿戴者的特性是否匹配单个的、经识别的个体或者是否是少量已知个体的成员。例如,与在大量个体当中识别可能要阻止其穿戴设备的人相比,这是简单得多的分类过程。一个或多个解剖学度量、生理度量、或者行为度量的偏差可以指示已发生设备用户的切换。
这样的识别特征也能够与其他安全令牌相结合,诸如信息令牌(密码)、物理令牌(密钥)、产生的令牌(话音、手势、笔迹)、其他生物令牌(指纹、声纹)等。
本文的系统和方法的另一个示例性实施例涉及使用虹膜识别来定位和检索与个体用户相关联的校准参数。当未知设备用户或新的设备用户将设备置于他/她的头上时,校准参数通常是未知的。通过指引用户看向相机查看其眼睛的大体方向或者使一个或多个相机在正常眼睛运动期间查看虹膜的过程,能够生成初始irisCode。
多个相机配置
当虹膜的多个部分可能在眼睛正常运动期间被遮蔽时,将已由单个相机在不同时间拍摄和/或使用多个相机从不同方向查看的虹膜图像的多个部分“拼接在一起”可能是有用的。在图5和图6中图示了使用多个相机来查看眼睛。
替选地,irisCode本身(即在分段过程之后计算的)能够由不同的虹膜图像“拼接在一起”。再一次,可以在不同时间或者通过不同的相机或不同的时间和相机角度的组合来拍摄这些图像。作为此方法的组成部分,能够对在多个图像内成功查看的虹膜部分取平均(在计算irisCode之前或者之后),以便提高可靠性和/或减轻图像噪声的影响。
与不显眼CBID相关联的问题中的一个与以下事实相关联:指向眼睛的相机与眼睛的视轴或光轴相比较通常“离轴”。这导致虹膜的“离轴”视图。此外,随着眼球在正常状态以及眼睛信号功能期间四处移动,虹膜“离轴”的程度有所变化。如果在用户正看向给定方向时注册虹膜模板,则随着眼睛从注册虹膜模板的方向转动远离,将相同虹膜识别为匹配会变得越来越困难。
对于“离轴”问题的一个解决方案是:使用在不同视角观察眼睛的多个相机。在任何给定时间,能够从例如基于最圆的(与高度椭圆相比)内虹膜边界和外虹膜边界来辨别的最靠近处于“轴上”的相机中选择图像。最“轴上”的相机可以随眼睛在正常活动期间移动而改变。
该问题的另一个解决方案是:存储在不同的查看方向上收集的个体的多个虹膜模板。因此,作为眼睛跟踪的结果,用户的查看方向是已知的,有可能作出以下操作:(1)存储多个已知的查看方向上的irisCode,以及(2)随后将在已知查看方向上、在任何时间所收集的irisCode与在相同或最近的查看方向上所收集和注册的irisCode相比较。
使用多个相机和/或多个irisCode,能够降低离轴查看的程度。通过从最靠近处于“轴上”的相机中选择图像,能够获得虹膜的最直视视图。注册已知个体的irisCode以及实时识别个体二者能够是基于最轴上的相机的图像,从而提高识别的鲁棒性。
类似地,这些方案中的全部还符合在注册模板或者实时计算irisCode以用于识别之前以数字方式将虹膜的图像“旋转”至处于轴上。在许多眼睛跟踪方案中,必须已知光轴与进行查看的相机的方向之间的角度以便计算注视方向。这提供了应用旋转变换的关键系数,使眼睛的图像看起来好像正沿着与瞳孔(或者异色边缘)的中心垂直的轴线来对其查看。
使用提供所需的视图的常规透镜或者全息透镜,能够收集这些irisCode。通过由一个或多个反射表面反射眼睛的图像的方式,也能够收集irisCode。这样的表面能够被设计成单个大型反射面或者多个反射面(即多个微镜)。这些基于镜的系统能够处于常规反射面的形式或者处于设计用于使光学系统的物理特性(例如重量、大小)最小化的所谓的自由形式光路内。它们也能够反射所选择的波长的光(例如所谓的“热镜”)以在不阻碍可见波长的光下的视野的情况下促进CBID。自由形式的光学设计允许将相机沿眼镜的边缘来不显眼地安置,同时保持在其光轴处或附近查看眼睛的能力。替选地,能够通过一个或多个检测器(例如光电二极管)来收集眼睛的图像,其中通过可切换的表面——诸如基于可切换Bragg光栅(SBG)的设备中的那些表面来控制空间选择和分辨率。
图5示出示例性系统600,其图示了多个照明源130、135、140以及多个相机125的放置位置。照明源130、135、140以及相机125二者都指向包含虹膜115连同中心的瞳孔145和周围的巩膜150的一个眼睛的区域。与单个光源400相比,使用多个照明源130、135、140确保在设备穿戴者的更宽的眼睛运动范围上良好照亮的虹膜115并且减少生成阴影240的倾向。使用多个相机125加强了在设备穿戴者的更宽视角范围上来在轴上对虹膜成像的能力并且减少以更尖的角度来基于相机进行成像所致的虹膜图像失真。
相机也可以被配置成捕获眼睛、眼睛特征、眼睑、睫毛、眉毛、周围的皮肤、以及面部肌肉的视图,使得可以将感兴趣的区域作为不连续的视图集合、或者作为拼接在一起的相邻区域来单独地、相邻地查看。多个相机可以由被配置成对相机所查看的区域进行照明的多个LED或照明源支持。对眼睛、瞳孔、特征、眼睑、眉毛、和皮肤的捕获能够被用于测量对来自屏幕上的显示或者用户环境内的刺激的情绪反应。例如,这可以被用于人际交流、用于研究与注视方向相关联的情绪反应、以及用于游戏中基于情绪的交互。通过相机所测量的玩家的注视方向之间的关系与其他面部信息相耦合能够被解释以定义用户的情绪状态。然后,游戏或者娱乐体验中的演员可以用活动以及远离或朝向用户的注视方向来响应,与用户的眼睛、面部、头部、手部、身体、以及生物行为同步,通过所渲染的面部特征、身体、以及眼睛行为交流情感,以激发可变且动态的水平的角色/用户情感参与和交互。这些演员可以是人工智能的角色,或者他们可以是远程人类角色的化身,并且用户同样也可以由远程化身(avatar)来表示。
在图5中所图示的系统600情况下,组件被安装于一副眼镜框内。仅为了简明起见,图5中的透视图仅示出指向左眼的眼镜的左半部分。眼镜框利用鼻部件510和耳柄515来搁置在头部上。在本示例中,板载的处理单元165位于左边耳柄515内。虽然未在此视图中示出,但向设备供应便携式电力的电池组能够例如被安装在右边耳柄中。虽然在此透视图中未完全看出,但可选地,框上的场景相机能够被用于查看设备穿戴者的环境。虽然在此视图中未示出,但可选地,向用户的眼睛呈现单眼或立体影像的一个或多个显示器也可以被安装在框中。该框可以包含显示器,其呈现:增强用户的现实世界的视图的图像、离轴或不在用户的直接视线中呈现的影像、或者创建虚拟现实的沉浸式影像。
在图6中图示了多个相机的示例性配置。多个相机2000a至2000f能够经由多个眼睛视图来规避障碍物,所述障碍物包括上眼睑105、下眼睑110、以及任何发生遮挡的眼睫毛236。当从不同的角度来查看(即由不同的相机来观察)时,特定的障碍物(例如图6中的眼睫毛236)所遮蔽的区域有所不同。在这些条件下,通过对使用来自不同相机的图像所收集的图像信息进行提取或将其“拼接在一起”,能够重建眼睛的表面的完整表示。具有眼睛的不同视图的不同相机能够具有重叠或者不重叠的视场。不同的相机也能够具有不同的透镜、滤光器、帧速率、或者分辨率。也能够存在2D和3D成像相机的混合。一个或多个相机2000a至2000f的任何组合能够在任何时间被启用(例如通电和工作)。能够获取在一系列采样条件下所收集的图像提高了虹膜识别、瞳孔识别、特征识别、以及眼睛信号识别的鲁棒性。
使用多个相机也能够被用于构建眼睛的三维视图。用于查看眼内的三维结构的替选方法是空间相控成像。不管用于确定眼内结构的形状、大小、和位置的方法如何,了解其三维形态能够提高分辨率、便利性(即降低校准要求)、以及注视跟踪的鲁棒性。
指向双眼的多个相机(即每只眼睛由多个相机来查看)进一步提高了聚散度测量的准确性。在字面上,聚散度向眼睛信号控制添加了额外的维度。例如,通过使用聚散度,设备穿戴者能够指定选择面板的不同层内的图标。
在宽角范围上基本同时地查看眼睛的多个相机也能够被用于观察周围特征的运动,包括眼睑、皮肤、眉毛、乃至面部肌肉部分。这些特征内的运动能够被用于提取其他的用户状况,包括情绪状态。在示例性实施例中,指示情绪状态的其他眼睛测量包括瞳孔扩张、晶状体形状、以及心率。在附加的实施例中,通过使用一个或多个相机,有可能通过确定眼睛的脉管系统的图像内——特别是巩膜内的小扩张和收缩的速率来确定用户的心率。
确定包括情绪状态的用户状况
也有可能向头戴设备添加额外的传感器以确定设备用户状况以及情绪状态。基本连续监测的数据的示例包括:脉搏血氧仪、皮肤电阻、EEG、ECG、以及温度传感器。
设备对用户情绪的了解能够被用于识别以及调节广泛范围的应用。情绪能够是对游戏的特别强大的附属输入(adjunctive input)。例如,游戏对用户恐惧或压力的响应可以使游戏过程中所涉及的任务更加简单。另一方面,多用户游戏内所表达的压力可以被用于触发失败。“真实”人的情绪反映能够与化身相耦合,其中化身的动作和响应受情绪状态的影响。
对用户情绪的了解能够有价值的另一个领域是在涉及生成合成的面部表情的会议中。与在电话会议期间流送视频的传输相比,构建和查看一个或多个合成面部能够大幅降低了会议地点间所需的带宽。随着查看合成面部产生的问题是缺乏适当的面部表情。这往往会使查看者中的一部分产生“不舒服”的感觉。对作为会议内容来源的个体的情绪状态(以及真实身份)的了解允许生成更合适且动态的合成面部表情。情绪状态能够(视需要)被限制或者广泛广播给任何数目的接收者或者接收者的子集。
在经由合成面部或者化身进行的人际交互内,也能够有可能将交互分隔(isolate)成一对个体或者小群体,甚至是在其他化身的“虚拟”出席内。在游戏以及电话会议应用二者中,这都会特别有用。类似于室内个体间的现实世界交谈,能够进行同时的多个虚拟交谈,包括在例如没有对现实世界参与者的身份或者地理位置的限制的情况下进行“虚拟目光接触”。
认知负荷是对许多情绪状态的主要贡献者。在给定的光照条件下,瞳孔直径高度反映认知负荷。因此,利用能够例如根据场景相机图像中所观察到的总体强度水平来评估(assess)的已知光照条件,有可能通过观察瞳孔直径的变化来基本连续地评估认知负荷(以及认知负荷的变化)。类似于对情绪状态的了解,将认知负荷包括作为输入广泛应用于游戏、会议、文档审阅的速度、考题的难度比率和/或水平、广告效果的评估、包括创伤后应激障碍的医疗评估、基于查看图像的心理评估等。
将一个或多个场景(即查看用户的环境)相机与用于查看眼睛的多个相机耦合来使用为沉浸式环境提供更大的潜力。例如,在游戏操作中,设备穿戴者的环境能够被投射至化身或者玩家在游戏空间内的其他表示的环境。“现实世界”中的头部运动和/或对对象的查看能够被转化成虚拟环境。现实与虚拟环境的转化对于三维“洞穴”投影系统内的设备穿戴者而言特别有效,但使用大型显示屏或者多个显示屏也能够获得类似的效果。
使用多个场景相机来创建“环境场境”能够提供提高的用户满意度、安全性、效能增强等。例如,有可能在会议期间调整图像以实时查看一个或多个所选择的会议参与者观察下的位置。了解个体(特别是会议发言者)关注的内容极其有助于解释该个体正试图传达的内容。相反,如果一个或多个听众成员显然没有对正在呈现的内容表现出兴趣,则这可能是更改内容的线索。
基于CBID的眼睛信号设备的配置
取决于应用,基于CBID的眼睛信号设备的功能能够被以大量的配置来布置。处理和/或认证能够是自给式(self-contained)和/或被远程执行。认证能够被应用于传出数据和/或限制传入数据流。设备操作能够被限制到单个人或者人的群组、或者不受限制。设备操作能够被进一步限制成仅在某些操作条件下才执行任务。信息的显示能够对除设备用户以外的所有其他人隐藏,或者对所有人可见。认证能够仅在用户请求时被应用或者自动应用于一些或全部数据。其他设备的眼睛信号控制能够被限制于个体、个体的群组、或者不受限制。
下列表格列出配置类别中的一些以及其中每个的示例。用于描述眼睛信号设备配置的定义和缩略语为:
IC-irisCode:对眼睛的图像应用模式识别技术以将虹膜内的表观遗传模式量化成可比较的位模式以用于生物识别目的。
EIC-加密IC:已加密的irisCode,使得其无法被反向工程为虹膜的原始图像或者任何其他基于虹膜的、所导出的参数。
TEIC-目标EIC:经识别的EIC,其中与根据眼睛图像所计算出的IC的匹配指示关联性并且由此指示肯定的生物识别。
CBID-连续的生物识别:能够在头戴式设备上或者远程地通过将EIC或者一个眼睛或双眼的图像传送至远程处理器来执行的生物识别的重复的过程。CBID能够以固定速率(例如每秒30次)或者异步速率(例如,每当设备被移动或者重新安装时)进行。
UUID-通用唯一标识符:针对包括头戴式设备的任何处理设备的固件编码的唯一标识符(即数字代码)。
GPS-全球定位系统:基于卫星的导航系统,其能够确定在地球表面上或其附近的任何地方的设备的位置。
表1:CBID设备配置的类别
Figure BDA0001192005590000281
Figure BDA0001192005590000291
Figure BDA0001192005590000301
Figure BDA0001192005590000311
以上表格指代EIC的传输和比较;然而,在一些情况下,在算法上可能将眼睛的图像转换成IC并且随后转换成EIC。因此,CBID能够同样涉及信息的比较和/或交换,其涉及虹膜的图像、IC、EIC、或者其他导出的参数。类似地,用于生物比较的数据库同样能够(出于识别目的)包含IC、EIC、眼睛的图像、面部(包括眼睛)的图像、虹膜的图像、眼睛的解剖学特征、所谓的“展开的”(即用极坐标表达的)虹膜图像、包括巩膜中的血管、异色边缘的其他眼睛特征的图像、或者其他捕获的或者导出的参数。因此,对EIC的交换或者比较的引用也指代出于生物识别目的而交换或者比较任何其他的导出的数据集。
一旦irisCode已被算出,便能够将其用于在已知irisCode和/或补充的生物度量的数据库内的搜索。如果找到irisCode(以及其他度量)的匹配,则相关联的校准因子以及其他信息(用户的姓名、年龄、性别等)能够被传送回头戴式设备以供在眼睛跟踪以及其他操作期间的使用。这种搜索能够在多个不同的平台配置内进行:
·头戴式设备本身能够包含多个(通常少量的)irisCode和校准集,使得例如家庭的任何成员都能够使用头戴式设备。irisCode的生成、搜索和匹配完全在头戴式设备上执行。
·irisCode或者虹膜图像能够被发送至特定的远程处理器以用于识别和匹配。该处理器能够服务例如住所、公司、学校、剧场、或者地理区域内的一组头戴式设备。
·irisCode或者虹膜图像能够被发送至云以用于识别和匹配。对经识别的个人数据集的基于云的检索允许与个体相关联的校准和其他数据可用于在世界上任何地方、在任何时间使用的任何头戴式设备。对校准和其他数据的无辅助检索将在用户看来是任何可穿戴设备的“即时开启”特征。在图7中示出用于该配置的总数据流。
一旦用户识别已被证实,便还可能将关于一个设备形式因素所采集的校准集应用于另一个设备形式因素。例如,如果设备的设计被升级并且相机和照明源在头戴式设备内的位置和/或取向受升级的影响,则旧设备与升级的设备之间的已知替换能够被添加至校准集。这允许用户在可以具有相同或者不同的形式因素的多个可穿戴设备间利用单个校准集。
在附加的实施例中,CBID能够被用于启用或者禁用《Systems and Methods forBiomechanically-based Eye Signals for Interacting with Real and VirtualObjects》中所述的“眼睛信号”或者眼睛信号控制。全部眼睛信号或者眼睛信号的子集视CBID的存在情况来执行。这样的眼睛信号能够包括:仅利用设备穿戴者的一个眼睛或双眼所作出的那些信号以及与现实世界或者其他虚拟对象进行交互的那些信号。例如,眼睛信号能够包括由设备用户(使用指向外面的场景相机)查看到的设备穿戴者的手指作出的手势。仅在CBID条件下,才能够有效地作出这样的手势(即导致动作)。
在进一步的实施例中,支持CBID的动作能够被限制于一个或多个场景相机的视场内存在经识别的人或者其他经识别的对象的时间。面部识别、对象识别、和/或其他形式的识别能够被用于验证设备穿戴者与包括一个或多个其他的经识别个体的这样的对象的共处于同一位置(co-location)。例如,动作能够被限制于仅在那些个体在场的情况下才被执行。
替选地,一个或多个其他个体的在场和/或同意能够由个体所穿戴的另一个基于CBID的设备来执行。在此情况下,个体能够与其他设备识别的个体被定位为共处同一位置、或者利用在设备间直接传送(可选地涉及中间数据传输设备)的认证或者经由多个集中式的(例如基于云的)认证服务来远程地定位。在共处一地的个体的情况下,对认证凭证的传输能够在必要时被进一步限制于近场通信(NFC,即明确排除使用其他数据传送设备)。
反之,在设备穿戴者的环境中未经识别的个体的存在和/或明确指定在执行动作期间不能在场的一个或多个经识别的个体的存在能够禁止设备执行任何动作或者可能的动作的子集。禁止能够被扩展成排除环境中任何对象的存在,包括特定的头戴式设备(例如在传输期间通过UID来识别的设备)、相机、麦克风、敌方出现(例如在军事或者警务状况中)等。
类似地,动作的执行和/或在设备穿戴者环境中对象(包括人)的存在能够是暂时或永久撤销基于CBID来执行动作的能力和权限的原因。基于来自远程来源的指令也能够撤销,所述指令可以例如确定已经执行了或者正在执行欺诈活动。对凭证的撤销能够被限于个体、个体的群组、设备、特定的能或者功能组。
启用CBID的安全购买交易
在安全购物的另一个实施例中,实时了解设备穿戴者的身份允许与所选择和购买的每个项目电子交换财务详情。这就不再需要针对每个交易或者交易组重复录入密码、安全问题、或者账户信息。作为结果,这样的瞬时采购系统消除了涉及所谓的在线购物“车”的过程,因为不再需要出于录入账户信息的目的来对项目进行群集。只为顾客方便起见,在在线购物会话期间所购买的项目的群组能够被视为集群或者为购买者进行总结。
图8图示了进行经CBID授权的在线购买的一系列步骤(无需将物品群集到在线“购物车”中)。当待购买的项目已被识别2900时,眼睛信号2910能够被执行以指示购买的期望。一旦待购买的项目被确认2910,便将基于CBID的irisCode2930与属于经授权购买者的irisCode的数据库2940进行比较2950。如果确定2950匹配(并且足够的资金、授权等是可用的),则执行2960购买交易。然后,设备穿戴者能够继续购买其他项目2900并且购买过程能够重复任意次数。
根据另一个实施例,提供了系统和方法以增强在所谓的“实体”零售商店处的安全性以及简化的购物。在此情况下,查看设备穿戴者的环境的、安装在头戴式设备上的相机能够被用于识别可能有兴趣购买的对象。识别能够基于通常附加于可购买项目的条形码或者快速响应(即QR)码。这样的对象识别使用本领域中公知的图像处理方法。
包括建议购买价格的关于项目的信息能够由与零售商店相关联的处理单元生成。然后,该信息能够被显示在附近的监视器上或者显示在与设备穿戴者相关联的头戴式显示器上。如果顾客希望购买给定的项目,则基于CBID的交易能够由顾客发起。这样的交易能够整个商店中重复发生。然后,所搬运的项目与交易记录之间的匹配会允许项目可验证地由顾客从商店取走。基于CBID的零售购买消除了对于收银台或者交款处的需要。在许多情境下,在购买过程期间自动、实时显示信息也减少了店员协助潜在顾客的需要。
CBID方式的具体示例性实施方式是“在过道处购买”,其使用称为“看以购买”的眼睛信号的方法或过程。在此情况下,购买过程由察看与项目相关联识别符号(例如条形码、QR码)或者待购买项目的对象识别、以及执行购买激活序列组成。识别符号能够在物理上被贴附至项目或者其包装、或者与项目相关联(例如,与容器内的散装项目相关联)的标志内。购买激活序列可以包括以下步骤的任何组合:
·将识别符号或者对象识别解码成索引,其能够被用于从数据库中检索关于项目的信息。
·(在HMD或者远程显示设备上)显示关于项目的信息,包括价格。
·使用眼睛信号和/或其他交互方式,可选地选择和供给购买者所需的任何附加信息(例如详细说明(specification)、类似项目的可用性、保修信息)。
·可选地协商价格。
·使用眼睛信号序列指示请求购买。
·使用CBID,确保经识别的设备用户被授权并且具有足够的资金来进行购买。
·使用安全的电信,执行购买过程。
·供给已经进行购买的用户反馈。
·将项目添加至能够从商店取走的项目的理货单或者“虚拟购物车”。
·使用类似的步骤进行额外的购买。
·在物理上将项目从商店取走或者虚拟地“标记”已购项目,使得在某将来时间实际项目或者其等同物能够被取走和/或递送。
·不存在任何收银机,对从商店取走的项目的授权能够通过目视检验方式或者自动地被验证(例如使用RFID方法),以确保所有物理项目与虚拟购物车中的那些项目相匹配。
这种通过看来购买的过程具有以下优点:
·利用可经由在察看项目后显示来获得的具体信息,与店员交互的需求能够大幅降低,从而减少或消除的对于店员的需求。
·因为在中央数据库内存储和访问购买的信息,所以诸如价格的关键元素能够被即时地调节,或者甚至能够与购买者逐项协商。
·用于执行购买过程的零售基础设施(即硬件)为最小限度或者不存在(因为购买者提供主要硬件)。类似地,不需要零售硬件维护或者升级。
·“看以购买”购物需要收银机或者收银台(包括运行它们的职员)。
·因为在购买者在具体查看项目的时候进行购买,所以不会与可能看起来相似或者功能类似的项目混淆。
·因为所有购买的项目都被单独识别,所以存货控制能够完全自动化。
·“看以购买”也能够与传统的零售购买方法共存。
“看以购买”的更一般化示例为“world is your store(世界即商店)”。在此情况下,对象识别被用于单纯在用户的环境内查看的供购买的项目。这能够基于用户的环境中使用眼睛信号以及注视跟踪来具体观察的对象。作为示例,如果衣服在店面内被观察到或者为另一人所穿着,并且通过使用对象识别,用于购买该衣服的一个或多个在线来源能够被识别,然后主要基于对现实世界中、标志上描画的、或者例如在电视广播期间在显示器上看到的这样的所查看的对象的识别,能够进行即时购买。
“世界即商店”购买会以类似于在线购买的方式进行。主要区别在于,基于对象识别来作出对待购买对象的详细说明,可选地,通过查看和注册贴附至对象的任何识别标记(例如条形码、QR码)来对其增强。该详细说明也能够可选地受助于与设备用户的交互。例如,如果对象的关键部分尚未被观察到,则用户能够查看对象并且与其交互以便更加充分并且唯一地查明对象身份。作为示例,购买衣服可以涉及需要查看最初从正面查看的衣服的背面。用户能够被建议经由交互过程来查看背面。在用户视场内向用户呈现文本、图形信息、方向指引信息、或者叠加的“增强现实”信息的交互式对话能够促进用户的决策过程,所述交互式对话以交互方式经由眼睛信号提供关于材料、能力、效能、质量、评级、朋友的通常使用、价格、运送时间等信息。对话可以进一步基本连续或者偶然经过用户认证以验证用户身份、阻止跟踪与特定信息相关的用户活动等。购买也可以涉及访问个人基本信息的数据库,所述个人基本信息与身份或者过往行为、表现、偏好、以及愿望相关,诸如设备用户的衣服尺码。如在线购买期间,对于购买的授权是基于CBID。对象能够被递送至与用户相关联的地址。
替选地,递送位置也能够基于对地点或者个体的自动识别来被指定。例如,递送能够发至与设备用户正查看的人相关联的个体的地址。递送也能够基于与设备穿戴者相关联的地点的(例如使用GPS)识别或者指定而被指定。地点识别能够基于对象识别,例如对路标或者建筑物的对象识别。
其他启用CBID的安全应用
根据另一个实施例,提供控制设备穿戴者与安全信息来源之间的安全数据交换的装置、系统和方法,使有意义信息不被不受欢迎的接收者获取。以最高的复杂度水平来尝试获取对所传送数据的访问权,潜在的攻击机制将会试图模仿CBID系统与安全服务器之间的双向通信。因此,CBID系统与任何远程计算机之间的通信被加密。加密密钥能够包括指派给每个所制造的头戴式系统的唯一标识码、目标irisCode,并且加密密钥能够是时间/使用敏感的。如上所述,CBID系统内的加密和解密过程也能够包括很难访问的硬件元件,进一步提高了所传送数据的安全性。
眼睛信号控制序列使用认证的活动的示例包括:从自动柜员机取款;进行在线购买;需要电子签名的文档,其可以可选地利用确认身份的眼睛信号序列来签署;在任何形式的在线、私人、群组或者其他测试期间遵行(comply with)身份验证要求;遵行各种形式的职业的与身份耦合的表现要求,诸如职业驾驶、飞机船只驾驶(piloting)或者其他运输业记录工作时间(transportation logging hours);通过对在阅读中的扫视活动期间对身份进行基本连续的确认,确认由用户口头或者通过阅读来提供的知情同意的承认;确认对任何具有法律约束力的协议的承认;在临床试验或者其他医学研究、治疗或者测试计划的数据收集期间遵行身份验证要求;在要求阅读、签到、表现、或者假释、缓刑或者监狱内的囚犯或其他形式监禁的囚犯的行为的任何法院命令的活动期间遵行身份验证要求;政府监视的雇员、特工、或者被监视或测试的军方成员在执行任务期间遵行身份验证要求,所述任务包括:TSA(运输安全管理局)的训练或活动、作战或情报训练活动、情报训练或活动、人口普查训练或活动;在包括用户使用与捕获书写过程相关联的眼睛信号的实例的书写期间确认身份;在涉及眼睛信号发起或交互的竞赛或者职业视频游戏期间确认身份;在个人自我提升计划期间确认身份,所述个人自我提升计划包括:减肥、运动训练、克服恐惧症、公开演讲、戒烟、康复计划;在眼睛信号驱动的捕获或者信息的记录期间标记身份,用于后续经个人身份确认的、对信息的访问;确认身份以参与在与相互注视的实例相关联的信息共享,其中可识别方可验证地选择来共享信息。
根据另一个实施例,提供装置、系统和方法以更换或者增强基于公共密码的、对计算设备的访问。与密码和/或安全问题相比,这样的系统可以提供更强的安全性。这是由于用户识别的生物性质(即对于个体完全唯一)以及完全在自给系统内基本连续地监视设备穿戴者的能力。所述系统被设计成大约每秒钟或者以任何期望的频率基本连续地反复验证设备穿戴者的身份,可能包括足够迅速以在扫视、眼睛信号形成期间的微扫视或者其他眼睛活动期间反复验证的采样率,所述其他眼睛活动包括在真实或者虚拟环境中观察有生命或者无生命的实体和动作。不像用户在密码录入之后(公然地或者无意地)能够被替换的传统密码录入,基于CBID的计算机访问系统能够在失去肯定的设备穿戴者识别时立刻停止安全操作。
根据另一个实施例,提供增强所谓的“数字”或“电子”签名的安全性和便利性的装置、系统和方法。电子签名使用各种加密技术来指示:1)消息或文档的来源是来自已知的发送者,2)发送者之后无法否认发送消息,和/或3)消息在运送中不会改变。基于CBID的数字签名的生成提供了可追踪的方法以将唯一个体验证为消息的真正来源。数字签名的示例包括简单的生物认证、任何形式的用于产生制品的个体生产性创作——诸如打字、书写、演讲,其中用户的注视可以集中于生产行为同时具有基本连续的生物认证。
此外,基本连续地验证设备穿戴者的身份允许生成连续的一系列可追踪文档。如果这样的电子签署的文档被接受为具有法律约束力,则迅速交换法律文档的能力能够使得许多专业服务提供者能够安全地在线执行他们服务中的更多服务。这样的服务提供者的示例包括财务顾问、保险公司、律师、参与基于远程医疗的医学诊断和处方的医生、以及房地产销售人员。
通信链路155能够包括有线以太网或者无线技术,诸如IEEE802.11中所述的通信协议、蓝牙、Zigbee、以及移动通信协议——诸如LTE、GSM、CDMA、和GPRS。常规地,众多通信介质和协议可能参与将穿戴者识别状态以及其他数据传送至远程的、安全的处理单元。例如,无线(即IEEE802.11)通信可以在头戴式设备与本地路由器之间使用,所述本地路由器进而通过所谓的双绞线系统传送分组,其进而经由光纤电缆向位于一定距离之外的中央接收处理单元(例如服务器系统)传送数据。
一些应用要求对设备穿戴者识别的验证与安全的(例如加密)的信息向外部处理单元的单向提供相耦合。录入信用卡或者账户信息以进行在线购买是这种模式的示例性应用。其他应用可以要求只有在存在对设备穿戴者的肯定识别的时候才接收安全信息。对经分类的只读文档的显示是这种模式的示例性应用。其他应用可以要求在存在设备穿戴者的肯定识别时在双向上的安全传输。期望对学业考试所提的问题以及用户响应二者进行保护是后一种模式的示例性应用。
作为进一步的实施例,提供了系统和方法以将安全信息的接收者限制为有限数目的经识别个体。例如,可以期望在接收者中的一部分不可能记录或者存储文档的情况下将专有的商务文档分发给经识别个体的群组。在此情况下,以加密方式发送文档,其中解密密钥链接到嵌入式设备以及设备用户的irisCode和/或特定的头戴式系统。当存在肯定的CBID时,并且还可选地当个人视线遮蔽物(见下文)处于适当位置时,仅在有限数目的进行接收的用户/系统内进行文档解密。
作为另一个实施例,CBID能够被用于可验证地将经识别个体(或者个体的群组)的活动表现记入文档。在此情况下,在阅读和/或查看特定数据集时,记录由指向设备穿戴者的视场的大体方向的场景相机所捕获的视频序列和/或由麦克风录制的音频序列。附加至这些数据的内容是设备穿戴者的基本连续的识别以及时间戳。然后,在短暂或者延长的时间段内(取决于需要),能够远程地或者在头戴式设备内将序列归档为执行活动(例如阅读、查看)或者何人执行该动作的事实的文档证据。
这样的实施例的应用的示例包括:在诸如处理贵重材料(例如钻石)的活动期间可验证地将个体的身份记入文档、改善装配线检验(例如,是否去除有缺陷产品)、训练过程(例如驾驶员教育)、医疗程序(例如手术期间执行的步骤)、灾难事件(例如卷入车祸的驾驶员身份)、或者完全由适当个体执行的所需检验(例如由飞行员进行的飞行前飞机检验)。
应用的其他示例包括:知名人士、职业运动员、专家级视频游戏玩家、执行突破性手术的外科医生、或者其他专家执行动作,其中利用同步场景相机记录或者虚拟显示器记录来捕获专家注视,同时具有基本连续或者间隔的认证。然后,所得的“注视投射(gaze-case)”(即,具有以相关的对象或者区域上的标线(reticle)或者对其聚焦的形式的用户的注视的同步覆盖的外部视频的记录)能够被认证并且可用于向个体出售、批准或者租赁以用于娱乐、技能发展、或者其他用途。
安全程度
在其他实施例中,本系统和方法能够适合于范围广泛的安全级别,包括需要极端安全性的那些应用。例如,在军事应用期间可以采用极端安全级别,以获取对高价值装置(例如核储备)或者秘密行动的访问。在这样的极端情况下,本系统必须防范复杂的欺骗企图,诸如将虹膜或者提取的眼睛的图像置于虹膜跟踪相机的视场内。作为抗衡这样的企图的措施的示例,能够监视眼睛的生理反应。
安全协议可以要求多个个体作出一些动作或者一系列眼睛信号来解锁、激活、或以其他方式认证事件。穿戴具有CBID和眼睛跟踪的HMD的个体将遵循安全协议,其涉及执行已认证的并行、串行、或者相关的动作以发起事件。
在这些高安全级别的实施例中,基于安全性的测量能够被联合(amalgamate)为环境为安全的置信度的单个度量。这样的综合安全指数(CSI)能够被用于评估安全信息是否要被显示和/或被视为是可靠的。例如,CSI的下降能够导致附加的安全问题或者“虚假”信息以进一步测试设备用户的响应。如果CSI继续下降,则能够采取各种附加步骤,其中例如,远程的、安全的服务器能够请求CBID平台传送与设备穿戴者的环境相关的视频和/或音频。取决于所需的安全级别,对CSI作出贡献的组成部分能够被选择成窄或宽的。CSI的组成部分能够包括以下中的一个或多个:
a.与实时虹膜扫描相关联的识别系数的匹配程度(包括严格性准则);
b.自高严格性(即轴上)虹膜识别以来已流失的时间;
c.在离轴查看期间,模式与眼睛周围区域相匹配的置信度;
d.眼部生物特征(ocular biometric),包括虹膜的几何结构、位置、和运动;
e.设备穿戴者在与显示器相关联的方向上看的时间(以及连贯性);
f.眨眼的出现、频率、和速度(即眼睑覆盖虹膜时的短暂时期);
g.确定头戴式设备的结构完整性的传感器的输出;
h.与设备穿戴者反馈响应相关联的时间流逝与在抬头显示器或者附近显示监视器上显示信息的时间相比较的度量;
i.环境光照条件的变化,包括对于这样的变化的瞳孔反应是否在正常范围内;
j.由头戴式系统以随机间隔(通过控制照明)来诱发瞳孔对光反射的计时;
k.由场景相机所查看的图像是否大体上符合预期的环境(例如,查看显示监视器与要修改头戴设备的明显企图相比);
l.由麦克风所监测的声音是否大体上符合预期的环境;
m.源自安全信息来源并且被显示在附近监视器上的编码的视频模式与随后由场景相机查看的图像相比较的匹配度;和/或
n.仅为设备穿戴者所知的识别码的录入(并且其可以是时间敏感的)。
使用以上生物特征项f和j的一个示例会是确保面向眼睛的相机确实在查看待认证的用户的活体眼睛(living eye),而非作为危害(compromise)CBID系统的企图的冒名顶替的照片、隐形眼镜、或者甚至从所有者以手术方式摘除的眼睛(骇人听闻)的形式的眼睛复制品。
在附加的实施例中,在定制的硅(包括专用集成电路——ASIC)内执行对眼睛信号确定和认证,所述定制的硅被设计成通过将识别和认证方法构建到硅内以作为在系统架构的最低层级内所保持的逻辑和功能来限制攻击者。这有助于基于更改设备的可编程软件来防止安全攻击。方法还可用于在该底层系统架构内加密固件或者硬件编码的指令。
经识别个体作出的“亲自”查看
根据另一个实施例,提供了系统和方法以将安全信息的接收者限制单个的、基本连续识别的个体,其没有能力记录或存储安全内容以供其他任何人查看。例如,在远程举行在线考试期间,正在被考查的人员需要能够阅读考题。然而,如果存在方法使另一个体或者记录设备(例如图1,相机125)出于意图向他人揭示考试内容而存储或者转录题目的目的来查看考题,则会危害日后对他人相同(或者相似)的考试的举行的廉正。
对于这样的应用,能够与头戴式显示器结合来实现CBID系统100。一个或多个视线遮蔽物被置于显示器周围以将查看显示器的能力限制在仅设备穿戴者。这种配置的关键方面在于,在相同的设备内执行基本连续的用户识别以及安全信息的显示。只有在建立肯定的CBID的时候才显示安全内容,使另一个体不可能查看该安全内容。置于头戴式显示器与设备穿戴者的眼睛之间的光路中的任何对象都中断CBID。
在附加的实施例中,能够通过添加传感器来建立进一步的安全级别,以确保视线遮蔽物处于适当位置并且CBID系统的组件未遭篡改。用以将其实现的一种相对简单的方法是添加传导路径,其串联地穿过所述系统的全部结构性和电子元件。篡改或者去除任何系统组件会中断电连续性,其进而能够被系统感测。这样的危害导致禁用肯定的CBID和/或对危害的指示被传送至安全信息服务器。
同样地,围绕头戴式显示器的视线遮蔽物的结构完整性能够通过范围广泛的电子组件来感测,所述电子组件诸如接触开关、按钮开关、霍尔效应开关、反射式光电管、和/或电容传感器。视线遮蔽物能够被构造以供两用,例如,使得其在非安全应用期间不显眼从而允许头戴式显示器以在透过(see-through)模式(即去除了遮蔽物)或者在高度安全性的“个人查看者”模式(即附接了视线遮蔽物)二者下使用。
在用于极端安全性应用的另一个实施例中,头戴式显示器能够被制造有持久性处于适当位置的高度防拆改(tamper-resistant)的视线遮蔽物。在极端安全性应用的另一个实施例中,头戴式显示器能够包含所添加或集成的电致变色材料层,其不透明度可以被电子地控制。
进一步参照图7,远程处理单元160以及被用来显示信息的设备400可以是分离的设备,彼此相距一定距离并且需要安全的(例如加密的)通信链路155。替选地,远程处理单元160以及显示设备400能够被整合到单个封装中。具有整合的处理和显示能力的这样的设备的示例为膝上型计算机、平板计算机、以及移动电话,其中软件能够被编码以仅在存在肯定的用户识别时解密安全数据。
图9A和9B图示了将示例性系统合并入眼镜设备500中,该眼镜设备包括头戴式显示器505(也被称作各种其他名称,诸如抬头显示器、平视显示器、HUD、视网膜显示器、虚拟现实眼镜、增强现实眼镜、或者智能眼睛)。如图9A所示,所述系统包括可见或者近红外光源400,其对虹膜115的区域进行照明。相机125被用于收集虹膜115的图像以及眼睛区域中的特征。显示器被布置成使得结构光(即构成显示图像的光)被反射或者投射在视网膜52上。眼镜设备包括鼻部件510以及耳柄515,其允许以类似于一副典型眼镜的方式穿戴所述系统。CBID系统100能够被合并到眼镜设备内或者被构造为可穿戴计算设备或者眼镜设备的配件。
在图9A的情况下,显示器505被布置以使得设备穿戴者能够透过所投影的图像来看以便查看环境。在图9B中,视线遮蔽物520已被策略地放置以使得除设备穿戴者之外没有个体(或者视频系统)能够查看可穿戴显示器505的内容。作为结果,设备穿戴者无法利用被用于查看显示器505的相同的眼睛来看到周围环境。这种设置禁止显示器505的内容被转录或者记录。开关525和/或其他感测元件能够被用于检测视线遮蔽物520是否处于合适位置和/或是否已存在使视线遮蔽物520的掩蔽功能失效的企图。
作为前述“机械式”视线遮蔽物的替选方案,另一个示例性实施例利用对抬头显示器(或者其他近眼式显示设备)在显示内容处(即指向眼睛)与外部环境之间区域中的透过性的电子控制。这充当“电子遮光物(electronic shutter)”,控制外部环境中的任何人或者记录设备是否能够查看显示的内容。对光学透过性或电致变色的电子控制能够由多个机构来实现,所述机构包括:液晶(即在液晶显示设备—LCD中所使用的相同原理)、悬浮颗粒设备(SPD)、纳米晶体、以及常被用在所谓的“智能眼镜”内的其他机构。
类似于刚描述的可拆卸式机械遮蔽物,控制HUD周围的材料的不透明度禁止除设备穿戴者外的任何人查看显示的内容(参阅图9B)。电子控制的主要优点是设备本身控制不透明度的能力,例如,只有在设备知道正在显示安全信息的时候才阻挡光透射。当未处于安全模式时,HUD能够以正常的显示模式操作,在该模式下用户能够查看在显示器“之外”的现实世界环境。当处于安全(即不透光)模式时,用户无法查看在显示器之外的外部世界,并且更重要地,外部环境中的任何人无法查看显示的内容。当执行显示功能的组件以及执行阻挡功能的那些组件被结合以形成无法在不破坏功能的情况下分离的单个结构时,这种策略能够特别有效。
作为附加操作模式,光阻挡模式或者不透光模式也能够被用于使来自外部世界的干扰光最小化,以便加强在HUD内查看精细的细节。例如,当具有精细、暗或者低对比度结构的照片被显示时,设备穿戴者在来自环境的干扰光(即所谓的“噪声”)被阻挡时能够更好地查看这些结构。对不透明度的电子控制允许自动地(即取决于显示内容)或者在用户控制下的这种形式的控制。
作为该实施例的进一步改进,也有可能控制HUD的特定区域中的不透明度(与整个显示区域相比)。在空间可寻址地控制不透明度的这种情况下,所述设备有可能仅阻挡特定安全信息周围的一个或多个区域。例如,可以阻挡对账号或者传统用户密码周围的区域的外部查看,同时允许用户继续查看除安全区域之外的区域内的外部世界。对不透明度的可寻址空间控制特别适合于(并且在电子工业内发展良好的)LCD技术(无背光照明),其中在LCD投射设备内使用类似的机构。
安全个人增强存储器(PAM)
PAM是利用眼睛跟踪作为组件以电子地将介质增强成对经识别的设备穿戴者的长期存储器的系统。对信息的PAM存储和检索能够涉及完全可交换的信息模态(图像、音频、视频、文本、图标等)。下面是针对PAM的三个总体步骤:
1.识别对个体重要的可跟踪对象,
2.保持对多模态(multi-modal)的、耦合的数据集的动态、历史的归档,所述数据集包括一个或多个经识别的可跟踪对象或者属性,以及
3.基于任何模式的可跟踪对象的详细说明或者属性,识别和检索一个或多个数据集。
PAM中的第一步骤是生成对经识别的个体“重要”的可跟踪对象的记录。这些可跟踪对象能够处于各种模式,包括:图像、音频剪辑、视频剪辑、文本、图标、标记(例如价格、制造商)、地图上的基于位置的所标记对象等。转化算法能够被用于耦合与每个可跟踪对象相关联的不同存储模式中的全部。例如,图像识别能够被用于识别(例如转换成文本)一个或多个图像内的对象,语音识别能够被用于将音频转换成文本,文本转语音能够被用于将文本转换成音频,图标能够与特定的对象或者对象的群组相关联等。进一步的,由注视指示的感兴趣区域可以与具有并发的基于irisCode的认证的感兴趣区域相耦合,以减少场景处理的需求,并且仅识别与用户识别的对象相关联的信息。
在需要时,能够应用附加的信息转换。例如,能够将文本或音频从一种语言转换成另一种语言。图像识别能够被扩展成识别特定的对象。例如,用于识别汽车的算法能够被用于进一步识别设备穿戴者的特定汽车。对象的价格和物理特性(材料、设计特征等)能够被识别并且被包括在归档算法中。
个体用户能够生成任何数目的个性化可跟踪对象。最常见地,注视跟踪被用于识别某人的环境中正被查看的对象。从下载的图像或者照片中也能够识别可跟踪的图像对象(例如路标、埃菲尔铁塔),再一次地,其中注视跟踪被用于识别观察中的对象。例如,基于图像识别,能够识别和索引所查看的对象。其他模态(例如语音短语)能够被类似地分类(即识别)和索引以用于将来的检索。
PAM的第二步骤涉及动态地添加和保持所查看的对象的经索引、可搜索的历史档案连同其相关联的模态,所述模态能够包括图像、视频、文本、音频等。在记录创建时可用的附加信息也能够被存储以定义附加的对象“属性”。例如,这能够包括创建日期和时间、生成数据集的用户和/或设备、地理位置、其他经识别的个体在场等。
作为能够被重复任意次数的最后步骤,对经索引的对象以及其相关联数据的检索能够例如基于查看该对象或者相似的对象。例如,信息检索的准则能够包括:语音识别、文本片段、与特定对象或者对象类别相关联的图标等。在附加实施例中,用于最初存储信息的信息模式无需匹配被用于从数据档案中检索信息的模式。
例如,钱包(wallet)的图像可以被用于识别基于GPS的位置处的特定钱包。关于钱包的数据检索可以响应于口头查询,诸如:“Where is my wallet?(我的钱包在哪?)”关于钱包所检索的随后的信息能够处于路线指引地图的形式(即另一种数据形式),其示出相对于设备用户当前位置的钱包位置。
基于对象的属性,能够进一步分隔对特定所需数据集的检索。如上所述,属性包括所存储的关于对象的补充信息。如果属性包括位置、日期/时间和价格,则PAM系统能够响应于查询:“What is the least expensive shirt I viewed at a department store lastTuesday?(我上周二在百货商店查看的最便宜的衬衫是哪个?)”
如果多于一个的数据集匹配检索准则,则设备用户能够:1)基于使用任何模式(更加靠近地查看对象、说出词语、指定属性等)的附加录入来允许进一步分隔,或者2)显示可能期望的数据集的缩略草图,例如按时间倒序排列。
利用PAM的另一个示例性情景为保持跟踪新查看的对象的能力,诸如一组桌子抽屉的钥匙。设备用户开始于查看钥匙并且说“keys to my desk drawer(我桌子抽屉的钥匙)”。每当查看钥匙时,存储包括查看该钥匙的地点和时间的数据集。稍后,当询问“Whereare the keys to my desk?(我桌子的钥匙在哪?)”时,所述设备利用钥匙所处位置的图像以及其最后一次被看见的时间作出响应。
作为PAM的进一步示例,其中触发PAM数据存储的初始事件是“虚拟对象”,一个人能够查看处于其在线图像或者视频形式的个体。经由在线信息或者通过在被其被查看时陈述姓名,例如“Jim Smith”,能够识别该人。然后,一个人能够陈述任何其他所需的属性(年龄、职业等)。在亲自或者虚拟地查看个体的任何时间,附加后续的数据集。稍后,用户能够提出问题“When is the last time I saw Jim Smith?(我最后一次看见Jim Smith是什么时候?)”。此外,每当由场景相机查看Jim Smith时,所述设备能够识别他。
使用PAM的另一个示例开始于查看个体的汽车并且说出“my car(我的车)”。当汽车已泊车时,其被识别并且创建包括最近图像以及汽车位置的数据集。稍后,所述设备能够以屏幕上的图标来响应,其表示对问题“Where is my car?(我的车在哪?)”的回答。
如果“过多信息”变得可用,则设备用户可以包含机构以“忘记”指定的数据集和/或目标对象。例如,数据集生成的时间能够被用于“忘记”较老的项目,诸如特定一组钥匙或者某人的汽车的先前位置。能够将不同的准则指派给不同的可跟踪对象。
信息存储和检索二者都能够基于CBID。数据集能够存在于可穿戴设备上、远程处理器内和/或分布在整个基于云的系统中。不管存档位置如何,对这样的信息的存储和检索二者都能够被限制于PAM的CBID来源或者已由PAM的CBID来源授权的个体的群组。使用CBID,即使在由多个个体穿戴单个设备时,对个体的信息分隔也能够被限制于该个体。
如Systems and Methods for Biomechanically-based Eye Signals forInteracting with Real and Virtual Objects中所述,眼睛信号(特别是涉及机器学习技术的那些眼睛信号)能够被使用于辨别用户意图。使用这些方法,基于PAM的信息能够被检索并且“建议”给设备穿戴者。这是更加抽象的数据检索方法(与解决特定问题相比);然而,所述设备能够基于环境中正被查看的对象、作出的查询、日内时间、地理位置、识别的词语等来呈现已归档的数据。另外,将来的“建议”能够是基于对机器学习方法的修改,所述修改基于设备穿戴者是接受还是拒绝“建议”。
安全的人与人交流(EyeConnect(目光连接))
作为一个物种,无论是在公司还是社会场境下,我们在亲自会面时,在找到共有关系或者共同兴趣领域后会本能进行交流。确定我们是否应交流、何时应交流、应如何交流、以及应关于什么来交流的过程固有地效率不高并且时常会出现社交尴尬。另外,人类的记忆并不完善,并且我们常会遇到我们已经忘记之前会面细节的个人,诸如姓名或者早前的会面场境。我们都对由这样的碰面所致的社交尴尬以及这对社交言谈(social discourse)造成障碍的程度十分敏感。
称为“EyeConnect”过程和应用是一种使可穿戴计算设备用户提高不同层次的人际关系并且使其更加高效而同时保持明确选择和良好控制的安全和隐私级别的方法。在简单、相互的目光接触后,EyeConnect提供了相互视线内的个体之间的增强的连接和交流。例如通过在安全和隐私级别已被建立的、已CBID注册的个体间建立连接,基于CBID的EyeConnect提供了个体的隐私。
该应用的实施例的示例包括:
1.针对互相认识但已经忘记早前碰面细节的人,EyeConnect在首次目光交流(exchange of gaze)后即时地提供被忘记的姓名,并且无缝地提供支持当面碰面的其他场境相关的信息。
2.针对在事件中首次会面的人,所述事件诸如商务、教育、政治、社交、或者其他场合;有意义的、相关的、以及卓有成效的连接在很大程度上凭机遇并且需要时间来发展。虽然当今存在尝试强化个人之间连接或使其自动化的系统和程序,但它们效率低、不精确、不精细、并且有时扰乱现有的交流流程和社交交换或者使其尴尬。EyeConnect在这样的聚会中实现建立新连接的安全的效率和流畅性水平。
3.对于经由个人(即CBID注册的第三方)介绍而首次会面的个体,EyeConnect加快场境相关的信息的交换,同时强化对相关的共同连接、经历、兴趣等的个人交流。
4.对于为商业或者社交交流而聚集的个体群组,EyeConnect促进将个体添加和包括到为共享信息所建立的动态形成的群组内。
可以沿着EyeConnection来交换的信息的模态范围还扩展了EyeConnect的价值。不仅在显示器(例如HUD)上即时和离散地共享的视觉信息,并且听觉信息也可以作为即时“电话呼叫”而被交换,其可以被建立于相距一定距离交流目光的两个个体之间。这对于某些安全应用、社交情境(例如派对、酒吧场景)以及人们可能认出彼此并且想要隔一定距离聊天的其他聚会能够是有用的。
在示例性实施例中,EyeConnect执行这些功能,同时遵守关于面部识别或者其他对象识别软件的任何禁令。也就是说,与EyeConnect相关联的架构考虑到对自动识别可穿戴相机的视场内的人的最终允许。实际上,通过确保获取相机图像的个体的身份与那些图像相关联和/或被用于向所查看的任何人通知正在发生这样的活动,CBID能够有助于缓解隐私问题。仅在个体基于图像拍摄者的身份而允许这样的图像的情况下,CBID能够允许或者禁止存储和/或传输相机图像,。此外,所识别的设备用户与所拍摄的任何图像的关联性应当用来制止对不适当图像的拍摄。基于存储在图像和视频文件内的惯犯的身份,他们应当是可识别的。
EyeConnect应用也支持邻近相关的个体的单向或者双向的信息交换的置配以及地理位置。在另一示例性实施例中,EyeConnect的两个用户彼此注视片刻以确定他们是否应当连接或者是否已经连接。为了激活,他们在相同的时间和地理位置发生对彼此的眼睛的互相注视,生成“Spark(火花)”。如果两个用户还没有被EyeConnect并且具有充分的“共性”,则Spark“Ingite(点燃)”,并且用户接收到即时的“Connect Alert(连接警示)”,其具有场境适当的信息以支持个人的、介绍性交谈。
利用其眼睛,在连接警示之后立即与显示器交互,已连接上的一对用户能够浏览选择关于彼此的信息。这可以在参与相互的物理会话之前、期间、或者之后进行。除最初经由Connect Alert所共享的信息之外,EyeConnect也促进共享和传输任一个用户决定提供的附加信息。
支持EyeConnect是两个关键组成部分:1)用户的“Persona(人格面具)”以及2)用户的“Event Profile(事件简档)”。用户的Persona可以被手动录入、从诸如Facebook或Linkedln的所链接的账户自动填充信息、,和/或可以从用户的在线足迹中抽取其他信息。Persona数据包括这样的信息,如:姓名、目标、兴趣、职业、雇主、家庭成员、同事、社会关系、爱好、家乡、最喜爱的运动队、最喜爱的音乐等。
用户的Event Profile包含用于促进匹配和共享二者的信息。用户从一组标准化事件模板开始建立Event Profile,其中以来自用户的Persona的数据来填充字段。可以自动地或手动地填充Event Profile。继“Spark”(即在本地同时交换的目光)之后,EyeConnect比较来自两个用户的活跃Event Profile的数据以确定是否“点燃”并且产生Connect Alert。基于所选主题内的共性、连接兴趣和/或其他因素的阈值被用于确定何时应当出现Ignition(点燃)。除提供用于评估匹配的信息之外,每个Event Profile还确切指定在Connect Alert中应共享什么信息。这样,Event Profile被用于确定是否应出现Ingite,并且如果是,则确定应当自动共享什么介绍性信息。
一组标准化Event Profile模板能够对于诸如以下的事件是可用的:商务会议、派对、酒吧场景、教室、办公地点、度假、街道场景、体育赛事、海滨场景、教堂、销售会议等。每个模板可以是由用户或者用户群组配置的定制,并且可以在EyeConnect用户社区内创建和共享新的事件模板。
设备用户也能够保持任何数目的定制简档以符合范围广泛的日常状况。例如,用户可以保持简档以覆盖下列情形:一般商务会议、多个特定商务会议或其他事件、教育事件、爱好聚会、社交交互、教堂等。通过针对不同的情境保持不同的简档,能够以谨慎和预先计划的方式来控制信息向以下:群组的散布:诸如家庭、朋友、密友、商业伙伴、密切的商业伙伴、教师、具有共同兴趣的个体等。
从一个情境向另一个情境的转变能够是:1)显式的,其中用户向设备通知情境已发生变化,或者2)隐式的,其中设备识别不同情境。识别情境状况能够基于对多个因素的考虑,所述因素包括:面部识别、(熟悉的)对象识别(例如住所内的对象)、特色活动的识别(例如处于运动赛事、打高尔夫球)、地理位置(例如机场、医院)、标志、在用户的日历上排程的事件、近期已由设备执行的其他活动(例如会议或者宾馆登记)、音乐的存在(例如在音乐会中)等。在一些情境中,多于一个简档可以同时生效(例如同时进行的爱好与社交活动)。在此情况下,交流能够基于任何可应用简档内的权限。基于其他因素——诸如兴趣的重叠程度和/或特定条件(例如在特定时间帧内、生活在相同的城市内),还能够使交流“附带条件”。
在所有层级的交互中,信息交换是基于已建立的参与者的身份以及针对信息交换而预先建立的他们的隐私级别。例如,通过使用CBID,入侵者不可能交换或者拾取暂时被放下的设备并且开始将EyeConnect专有的、设备所有者的信息传送至第三方。
作为另一实施例,先前经由EyeConnect会面或者彼此已经作为EyeConnect网络内的互相熟识者来连接的两个用户绝不会再面对没有回忆起姓名的尴尬。EyeConnect有效地提供了“隐形姓名标签”等。两个以前的熟人能够立即受益于忆起姓名以及先前碰面的完整场境二者而重新熟悉。这包括先前会面事件、位置、时间、共享信息、乃至在先前碰面时或者随后记录的补充信息的提醒。
进一步的,EyeConnect将对于所连接的个体的即时在线搜索的结果与场境相关信息的立即表示一起提供。这样的会面中的两个用户都在同等的背景上,并且由于EyeConnect无害且流畅的记忆强化而如释重负。
在进一步的实施例中,两个或多个EyeConnect的个体内重叠的兴趣能够被识别和显示。这样的兴趣能够被置于先前会面的历史场境以及关于所识别的主题的信息交换中。
作为帮助说明实施例的情景,设备用户1(U1)在会议中遇到用户2(U2)。他们素未谋面,但二人以前都曾在相同的公司工作并且共同认识许多人。他们已经在会议之前加载了他们的Business-Conference(商务会议)Event Profile以用于EyeConnect。该EventProfile包含以下中的每一个:他们参加该会议的个人目标、他们的工作历史、来自以前公司的亲密同事的姓名、以及他们将其视为与使EyeConnection产生火花相关的其他信息。他们还各自配置他们的Business-Conference Event Profile以包含他们的最喜爱的爱好、他们妻子和孩子的姓名、他们孩子所上的学校、以及可以在更加个人层面上产生连接的其他个人数据。U1已经配置了他/她的Business-Conference Event Template(商务会议事件模板)以仅允许关于他的专业背景来共享信息。U2的配置允许共享全部匹配的项目。
站在一个午餐队伍中的同时具有活动的EyeConnect,他们短暂地看向彼此以了解他们是否应连接。他们的可穿戴设备中的每一个都显示Connect Alert。二人读出他们先前在公司处有重叠,并且U1看到U2有孩子与他的孩子上相同的学校。他们还各自看到对方的目标是针对会议并且视线滚动浏览从他们的简档中选择性共享的其他信息。然后,他们进入谈话、立即共享他们共同的兴趣领域并且详述他们对于会议的目标。他们经由EyeConnect应用交换凭证并且安排时间以会见。几分钟内,他们就完成他们的初步连接并且与其他参会者继续EyeConnect。
对该情景扩展以说明其他实施例,在与U2会面期间,U1也短暂地与用户3(U3)EyeConnect。稍后,U1在派对上认出U3并且认为她/他看起来很眼熟。U3与U1彼此注视,产生Spark,并且EyeConnect注意到U3与U1已经EyeConnected。Acquaintance Profile(熟人简档)优先于Party(派对)Event Profile并且为U3和U1中的每一个生成EyeKnowU Alert。U1看到U3的姓名、对他们会面的另一个事件的提及、以及U3在该事件中共享过的信息。U1注意到针对当前的Party Event(派对事件)存在具有新匹配的Ignition,并且经由眼睛发出信号来选择察看针对派对的Connect Alert。U1看到由U3针对派对场境所提供的一些附加信息并且注意到U3也是飞行员。U3注意到相同的内容。他们互相问候,确认他们先前的会面、并且开始关于他们对飞行的热衷的讨论。
EyeConnect服务能够选择性地将面部识别应用于其他个体的图像。能够采取步骤来避免暗中地提供关于视场内的人的信息,特别是存在关于该功能的禁令的情形下。当两个人同时互相注视时,EyeConnect的眼睛跟踪软件与可穿戴场景相机结合来工作以定义从用户已允许使用的信息中得到的Spark事件。例如,在以上示例中,U1的EyeConnect应用内的眼睛跟踪软件注意到U1正在注视另一个人的眼睛。U2的EyeConnect软件同时注意到U2正在注视另一个人的眼睛。每一个都拍摄了正被注视的人的面部的一次性临时照片,即U2捕获U1的面部且U1捕获U2的面部。可以从每个面部提取面部特征以供匹配,并且保持图像以供用户确认。
每个图像都经过时间标注和地理位置标注并且被发送至服务器以供Spark测试。当U2的图像匹配U1的时间、面部和位置(使用预先存储的U1的面部的图像,其由U1在注册EyeConnect时提供给EyeConnect)并且U1的图像匹配U2的时间、面部和位置时,服务器声明U1与U2之间的“Spark”。为了确认,他们均被呈现作为Connect Alert的一部分的原始图像。可选地,也可以与进行征求(soliciting)的用户共享每个用户的Persona图像。
维护个体的隐私,服务器之后丢弃临时捕获的图像以及所提取的面部特征,并且使用他们的Event Profile信息筛选“共性的阈值”。假设连接阈值交叉,则服务器声明他们之间的“连接”,并且生成相互的Connect Alert,共享由他们的Event Profile所指定的信息。
异常处理以及附加特征
功耗以及可用的带宽是所有可穿戴设备的普遍问题。例如,当启用EyeConnect时,能够在已定义的用户视场(FOV)内,以一秒或者其他所需的间隔执行注视跟踪。针对每个所捕获的注视,注视点被映射在可穿戴相机的FOV内的受限的兴趣区域(AOI)上。EyeConnect应用在该AOI内查找面部。如果找到面部并且该面部看起来正穿戴着头戴式设备,则面部的图像能够被发送至EyeConnect云以确定该用户是否参与互相注视。存在许多优化机会以在保持降低的功耗的同时得到可接受的设备时延,所述机会包括:眼睛发起的Connect请求,递送至活跃的EyeConnect用户的、关于其他活跃的EyeConnect用户的接近推送或拉取的地理位置数据,以及用于优化对于穿戴头戴式设备的面部的图像处理的方法。
作为另一个示例性实施例,EyeConnect被设计成在可穿戴计算机的大的FOV内以对低精度或者甚至甚至暂时无法操作的眼睛追踪的容差来操作,其中降低的精度或者身份和/或跟踪的丧失仅导致适度的效能降级。注视跟踪技术有助于在图像当中选择单个面部。对一对用户的选择也通过时间标注和地理位置标注来筛选。
如上所述,EyeConnect基于用户的注视来提取AOI。AOI的大小通过所估计的注视精度来确定。譬如,±10度的注视点精度可能要求20度以上半径的AOI以供图像分析。如果系统经历注视跟踪的完全丧失,则AOI会变成场景相机的整个FOV。这会需要更高的处理能力来识别互相注视的穿戴着设备的面部。
对互相注视者的筛选和识别也能够使用计算机视觉(CV)方法来增强,该方法在视觉上筛选穿戴着设备的个体。设备能够通过受控视觉信息来协助这样的CV方法,诸如一个或多个面向外部的红外(IR)光发光二极管(LED)和/或附接至设备和/或用户的特定可识别模式(例如可见或者红外)。IR LED能够被调制以避免与基于IR的眼睛跟踪或者其他设备冲突,或者识别特定的个体(通过编码特定的调制模式)。也能够包括其他形式的经调制/有区别的信息交换。
作为另一个示例性实施例,尽管罕见,但是考虑潜在误连接的问题可能发生在若干同时共处同一位置的EyeConnect用户之间。考虑四个穿戴着设备的、EyeConnect处于活动的用户。U1与U2正并排而坐,并且U3与U4正彼此相邻而坐。U1与U3相互注视,希望连接,并且U2与U4也互相注视。如果精度不够准确,则系统可能会认为U1与U4正互相注视,而U2与U3正互相注视。在此情况下,所述系统可能提供若干机制中的任何一个来解决这种状况。
1.EyeConnect能够注意到错误的可能性并且警示用户。
2.EyeConnect能够作出其最佳猜测并且要求确认,具有简单的校正可用。
3.EyeConnect能够请求每个用户在潜在的目标个体当中作出选择。
回想,在两个用户看向彼此时,对每个用户的面部所拍摄的快照被暂时性保持以提供信息来验证两个用户实际上正看向彼此。如上所述,该快照的可用性以及时机适当的呈现能够为所意图的连接提供了保证。快照或者来自目标的persona的现有图像可以被用于该目的。
精度导致注视进一步远离甚至单个额外的穿戴着设备的EyeConnect用户的该示例的变型也可以利用对更大AOI的更多处理与用户界面内的适当信息耦合的组合来解决。潜在错误的发生率——无论假肯定(false-positive)还是假否定(false-negative),都会随着精度降低的眼睛跟踪以及更多的EyeConnect用户而增加。
下面是附加的可选示例性特征,其中任何一个或多个能够被包括在EyeConnect系统内:
1.EyeTalk-支持“语音连接”的EyeConnect
2.地理定位的元信息-视觉上快速呈现的信息,关于:a)接近的熟人(认识的附近的人),b)接近对进行连接开放的潜在EyeConnect用户(包括关于去何处寻找他们、为何某人应连接等的引导),以及c)经促进的连接,包括图片和姓名提醒和的列表。
3.EyeNote-关于熟人的笔记,其能够被语音转录、作为文本添加、或者基于经筛选的对Facebook、Linkedln等的访问。
4.事件前连接-用户刚加载Event Profile并且指定也可以允许Connect Alert的事件的时间和地点时。
5.无需眼睛发出信号的操作-基于任何形式的识别的关于人的一般信息,包括地理位置。
6.UniSpark–对已经选择性加入以允许匹配和/或访问他们的Persona或者事件信息的其他穿戴着设备的个体的眼睛信号选择。例如,用户1(U1)可以注视用户2(U2)——另一个穿戴设备的个体,其已经经由EyeConnect来选择性加入以允许与进行征求的用户进行匹配(单向或双向共享)。如果发生匹配,则U1接收ConnectAlert与关于U2的信息。U2也可以可选地接收ConnectAlert。如果U2的EyeConnect是活动的并且U2已启用非注视警示,则U2启用Gazeless(无注视)Connect Alert。如果U2未运行EyeConnect,则U2可以从进行征求的、相匹配的用户接收所建立的任何连接与记录的Connect Alert信息的随后的报告。
7.AnySpot-在允许面部识别的位置、时间和/或条件,无论用户使用可穿戴计算设备/EyeConnect与否,设备用户都可以看向任何面部以获得信息。使用面部识别,设备用户从包括他们自己的通讯录(contacts)的任何来源接收关于他们注视的每个个体的任何可用信息。EyeConnect提供了基于显示的信息,包括AR信息呈现,支持单向信息访问(包括回忆、笔记等)以及双向信息交换。
下面是附加示例性连接配置连同每个配置内的独特元素的列表。全部实施方式都能够是基于CBID的并且适应于隐形眼镜、电话、和/或外部相机和眼睛跟踪,并且显示以用于非增强现实/虚拟现实、增强现实、和虚拟现实情境。
由对话来可选择地协助的注视协助的对象识别
用于从静态场景或者迅速变化的一系列图像中识别对象的计算机视觉技术通常要求强大处理能力、图像数据的高带宽传输以供非本地处理、高分辨率数字影像、非实时处理、以及对配备了相机的可穿戴计算机上的有意义、通用、即时的对象识别所很难实现的其他元素的某种组合,所述可穿戴计算机上进行的识别受限于有限的处理能力、相机分辨率、传输速度、电池电力和/或存储器。在眼睛跟踪技术方面的最新进展实现低功率、低处理、自给式可穿戴技术的部署。该技术是高效、专注、并且离散的(即专用的)。添加人类的认知选择来在场景内或者跨迅速变化的一系列图像来指定感兴趣区域能够显著减少在不同场境中从视觉上识别对象所需的资源。此外,视觉反馈系统是可取的,其能够实现在计算机视觉搜索期间的智能交换,这流畅、直观、并且将人类认知处理与机器处理融合以利用有限的资源来使得可穿戴计算机能够跨多个场境来识别对象。
软件与用户之间的“对话”能够被使用于确认或者有助于对象识别。一旦确认,对象便能够被用于EyeConnection和/或信息共享。
结构化的个人信息交换
用于允许和促进信息的选择性共享的基于Persona的匹配能够包括:使用具有或者不具有显示器的可穿戴计算机系统、实时、用于特定共享的接近度(地理位置)和基于事件的简档。共享意愿的其他指示包括:互相注视、单方面注视、握手、和/或其他信号(例如肢体语言)或者手势。系统能够涉及用户指定的信息的本地或远程信息管理、筛选、和/或传输。系统也能够涉及Event Profile属性的社区共享、精化、和评级,所述属性能够包括特定筛选准则和共享准则。
基于事件选择信息以确定相关性
事件过滤器能够被用于确定个人/交互关系的相关性。这些过滤器能够包括:用户可加载、日历可加载的、由算法、相互或协同选择的和/或动态加载的准则产生的过滤器。能够在事件之前、事件期间、或者事件之后加载动态过滤器。
通过同时注视对参与方的私人确定
系统能够比较使用可穿戴设备看向彼此的个体的图像。所述系统能够使用事件简档、时间戳、和/或地理位置;并且避免面部识别软件(除临时图像或先验图像(a prioriimage)外)。该系统能够包括对“穿戴着设备”的用户的识别,以作为另一种筛选方法。其方法包括:用于辨别可穿戴设备的计算机视觉、追求/参与互相注视的用户、设备之间或者在看到具有活动的EyeConnect的另一个设备时的IR和/或其他信号收发协议。
用于事件发起的基于互相注视的协议
多个不同的准则和启发能够被用于发起和展开(或者相反,维护其隐私性)基于注视的事件。其中主要的是检测同时的目光接触以发起事件。其他准则包括以下的存在:可穿戴系统、基于相机的会议系统、1对1注视、1对n注视、n对m注视(用于共享信息的事件的群组发起)、较大群组内的1对1私人共享、较大参与者群组内的1对n私人共享、和/或用于定义目光接触的阈值时间。此外,准则能够依赖于是否涉及其他动作,包括:附加筛选以适格于事件,事件是否能够致使某种类型的控制(例如事件注册、更改信息),事件能够导致单向地从一方向另一方还是双向地在双方之间传送信息,和/或动作是实时还是延迟的。
针对同时位置和映射的共同的注视数据贡献
利用自可穿戴显示器的引导和反馈,能够在用户间协调和指引用户注视。显示器能够内嵌于设备或者在设备外围。例如,多个用户的注视能够指向体育场屏幕。从多个地理定位的用户,能够确定对聚焦处于特定方向的确认和/或分析。
常见的注视发起的多模式信息交换
EyeConnection能够包括其他模态的信息交换,包括:视觉信息交换(例如视频或者图像)或者实时语音信息交换。
为了方便起见,将操作描述为各个互联的功能块或者不同的软件模块。然而,这并非必需,而且以下情况下,将这些功能块或模块在没有明确界限的情况下等价地聚合成单个逻辑设备、程序或者操作。无论如何,功能块以及软件模块或者所述的特征能够由其自身或者结合硬件或软件中的其他操作来实现。
出于说明和描述目的,已经提出示例性实施例的上述公开。其并非旨在穷举或者将本发明限定成所公开的确切形式。本文所述的实施例的许多变型和修改根据上述公开将对本领域普通技术人员显而易见。
此外,在描述代表性实施例时,本说明书可能已经将所述的方法和/过程作为特定步骤序列来呈现。然而,就所述方法或过程而言,并不依赖于本文中所阐述的特定步骤顺序,所述方法或过程不应被限制为所述的特定步骤序列。本领域普通技术人员将领会到,其他步骤序列也是可能的。因此,在本说明书中所阐述的特定步骤顺序不应被解释为对权利要求的限制。
应领会到,在本文中以任何实施例所示的元素或者组件对于具体实施例都是示例性的并且可以被用于本文所开的其他实施例或者与其结合使用。
在本发明的示例性实施例中已描述和说明其原理,应当清楚,在不脱离这样的原理的情况下,可以在布置和细节上对本发明作出修改。对落入随后权利要求范围内的所有修改和变型都要求保护。

Claims (19)

1.一种用于提供对用户的基本连续的生物识别的系统,包括:
头戴设备,被配置成被穿戴在用户的头部上;
第一相机,被安装在所述头戴设备上,以使得在所述头戴设备被穿戴以用于监视所述用户的眼睛时所述第一相机被定向成朝向所述眼睛;
处理单元,能够操作地耦合至所述第一相机,并且被配置成:
分析来自至少所述第一相机的图像以识别所述眼睛的第一虹膜;
分析所述图像以识别所述第一虹膜的特征;
基于所需的安全级别,确定第二虹膜的生物描述的Gabor系数的精度和数目;
将所述第一虹膜的特征与所述第二虹膜的生物描述的Gabor系数的精度和数目进行比较;
基于所述第一虹膜的所述特征与所述第二虹膜的生物描述的Gabor系数的精度和数目匹配来确认所述用户的身份;
在确认所述用户的身份后,授权所述用户执行一个或多个动作;
显示器,被安装在所述头戴设备上,以使得当所述头戴设备被穿戴时所述显示器能够由所述用户查看,所述显示器能够操作地耦合至所述处理单元;
视线遮蔽物,能够安装至所述头戴设备以至少部分地覆盖所述显示器,以在所述头戴设备被穿戴时防止所述显示器上所呈现的信息能够被除了所述用户的眼睛之外查看;以及
传感器,用于确定所述视线遮蔽物的位置,所述传感器能够操作地耦合至所述处理单元;
其中,所述处理单元被配置成在确认所述用户的身份并且经由来自所述传感器的信号确认安装至所述头戴设备的所述视线遮蔽物至少部分地覆盖所述显示器后,授权所述用户经由所述显示器访问信息。
2.根据权利要求1所述的系统,进一步包括:
至少第二相机,被安装在所述头戴设备上,以使得在所述头戴设备被穿戴以用于监视所述眼睛时所述第二相机被定向成从与所述第一相机不同的角度朝向所述用户的眼睛,所述至少第二相机能够操作地耦合至所述处理单元;以及
其中,所述处理单元被配置成:
分析来自所述第一相机以及所述至少第二相机的一个或多个图像以识别所述眼睛的第一虹膜;
基于所述一个或多个图像从所述第一相机和第二相机中选择提供所述第一虹膜的视图的选定相机;
通过分析所述一个或多个图像中的来自所述选定相机的图像以识别所述第一虹膜的特征,来分析所述视图以识别所述第一虹膜的特征。
3.根据权利要求2所述的系统,其中,所述处理单元被配置成基于在来自所述第一相机和所述至少第二相机的所述一个或多个图像中所识别的所述第一虹膜的形状来选择所述选定相机。
4.根据权利要求2所述的系统,其中,所述处理单元被配置成基于在来自所述第一相机的第一图像中所识别的所述第一虹膜的形状比来自所述至少第二相机的第二图像中所识别的所述第一虹膜的形状更加接近圆形来选择所述选定相机。
5.根据权利要求2所述的系统,其中,所述处理单元被配置成基于所述第一虹膜的至少一部分来选择所述选定相机,所述第一虹膜的所述至少一部分能够从所述一个或多个图像中的一个图像识别并且满足确认所述用户的身份所需的最小严格性阈值。
6.根据权利要求1所述的系统,进一步包括:
显示器,被安装在所述头戴设备上,以使得当所述头戴设备被穿戴时所述显示器能够由所述用户查看,所述显示器能够操作地耦合至所述处理单元;以及
其中,所述处理单元被配置成:
在确认所述用户的身份后,授权所述用户经由所述显示器执行一个或多个动作;以及
修改所述显示器的不透明度以维护在所述显示器上被呈现给所述用户的信息的安全性。
7.根据权利要求6所述的系统,其中,所述处理单元被配置成:
识别在所述显示器上渲染安全信息的一个或多个区域;以及
修改所述一个或多个区域以在渲染所述安全信息时将所述区域渲染成基本不透明。
8.根据权利要求1所述的系统,进一步包括:
场景相机,被安装在所述头戴设备上,以使得所述场景相机被定向为当所述头戴设备被穿戴时远离所述用户的眼睛并且朝向所述眼睛查看的场景,所述场景相机能够操作地耦合至所述处理单元;以及
其中,所述处理单元被配置成向存储器存储由所述场景相机捕捉的场景图像。
9.根据权利要求1所述的系统,进一步包括:
无线收发器,被安装至所述头戴设备并且能够操作地耦合至所述第一相机,以及
其中,所述处理单元包括与所述头戴设备远离并且经由所述无线收发器被无线地耦合至所述第一相机的处理器。
10.根据权利要求1所述的系统,进一步包括一个或多个照明源,所述一个或多个照明源被安装在所述头戴设备上,使得在所述头戴设备被穿戴时所述一个或多个照明源被定向成朝向所述眼睛。
11.根据权利要求1所述的系统,其中,所述处理单元被配置成:
通过将所述第一虹膜的特征与至少一个已知用户的已知特征进行比较以找到匹配,来基于所述第一虹膜的特征确认所述用户的身份。
12.一种用于提供对用户的基本连续的生物识别的系统,包括:
头戴设备,被配置成被穿戴在用户的头部上;
多个相机,被安装在所述头戴设备上,以使得在所述头戴设备被穿戴以用于监视所述用户的眼睛时所述相机被定向成从不同的角度朝向所述眼睛;
处理单元,能够操作地耦合至所述多个相机并且被配置成:
分析来自所述多个相机的一个或多个图像以识别所述眼睛的第一虹膜;
基于所述一个或多个图像来选择所述多个相机中的至少一个相机,所述多个相机中的所选择的至少一个相机提供所述第一虹膜的所需视图;
分析来自所述多个相机中的所述至少一个相机的图像以识别所述第一虹膜的特征;
基于所需的安全级别,确定第二虹膜的生物描述的Gabor系数的精度和数目;
将所述第一虹膜的特征与所述第二虹膜的生物描述的Gabor系数的精度和数目进行比较;
基于所述第一虹膜的特征与所述第二虹膜的生物描述的Gabor系数的精度和数目的比较来确认所述用户的身份;以及
在确认所述用户的身份后,授权所述用户执行一个或多个动作;
显示器,被安装在所述头戴设备上,以使得当所述头戴设备被穿戴时所述显示器能够由所述用户查看,所述显示器能够操作地耦合至所述处理单元;
视线遮蔽物,能够安装至所述头戴设备以至少部分地覆盖所述显示器,以在所述头戴设备被穿戴时防止所述显示器上所呈现的信息能够被除了所述用户的眼睛之外查看;以及
传感器,用于确定所述视线遮蔽物的位置,所述传感器能够操作地耦合至所述处理单元;
其中,所述处理单元被配置成在确认所述用户的身份并且经由来自所述传感器的信号确认安装至所述头戴设备的所述视线遮蔽物至少部分地覆盖所述显示器后,授权所述用户经由所述显示器访问信息。
13.根据权利要求12所述的系统,其中,所述处理单元被配置成:
从所述多个相机中的多个相机选择图像,所述多个相机中的多个相机提供所述第一虹膜的所需视图;
从自所述多个相机中的多个相机选择的图像创建所述第一虹膜的合成表示;以及
基于所述第一虹膜的合成表示来确认所述用户的身份。
14.根据权利要求13所述的系统,其中,所述处理单元被配置成:
通过选择自提供所述第一虹膜的所需视图的所述多个相机中的多个相机选择的图像的部分并且将所述部分组合成所述第一虹膜的合成图像,来创建所述第一虹膜的所述合成表示。
15.根据权利要求14所述的系统,其中,所述处理单元被配置成:
通过在将所述部分组合成所述第一虹膜的所述合成图像之前,旋转从所述多个相机中的多个相机选择的图像中的一个或多个,以沿着公共轴线将提供所述第一虹膜的所需视图的来自所述多个相机中的多个相机的图像对准,来创建所述第一虹膜的所述合成表示。
16.根据权利要求13所述的系统,其中,所述处理单元被配置成:
通过将所述第一虹膜的所述合成表示与一个或多个已知用户的虹膜的一个或多个已知合成表示的基于Gabor系数的描述进行比较以找到匹配,来基于所述第一虹膜的特征确认所述用户的身份。
17.根据权利要求12所述的系统,其中,所述处理单元被配置成:
通过将所述第一虹膜的特征与至少一个已知用户的虹膜的基于Gabor系数的描述进行比较以找到匹配,来基于所述第一虹膜的特征确认所述用户的身份。
18.根据权利要求12所述的系统,其中,所述处理单元被配置成以基本连续地、周期性地、以及当在执行预定动作之前需要对身份的确认的预定动作被所述用户选择时中的一个或多个来:
分析所述一个或多个图像;
选择所述多个相机中的至少一个相机;
分析来自所述多个相机中的至少一个相机的图像;
确认所述用户的身份;以及
对所述用户授权。
19.一种用于提供对用户的基本连续的生物识别的系统,所述系统包括:
头戴设备,被配置成被穿戴在用户的头部上;
多个相机,被安装在所述头戴设备上,以使得在所述头戴设备被穿戴以用于监视所述用户的眼睛时所述多个相机被定向成朝向所述眼睛;
显示器,被安装在所述头戴设备上,以使得在所述头戴设备被穿戴时所述显示器能被所述用户查看;
视线遮蔽物,能够安装至所述头戴设备以至少部分地覆盖所述显示器,以在所述头戴设备被穿戴时防止所述显示器上所呈现的信息能够被除了所述用户的眼睛之外查看;
处理单元,能够操作地耦合至所述多个相机以及显示器,所述处理单元被配置成:
分析来自所述多个相机的一个或多个图像以识别所述眼睛的第一虹膜的特征;
基于所需的安全级别,确定第二虹膜的生物描述的Gabor系数的精度和数目;
将所述第一虹膜的特征与所述第二虹膜的生物描述的Gabor系数的精度和数目进行比较;
至少部分地基于所述第一虹膜的所述特征与所述第二虹膜的生物描述的Gabor系数的精度和数目的比较,来识别所述用户;
在确认所述用户的身份后,授权所述用户经由所述显示器访问信息;以及
传感器,用于确定所述视线遮蔽物的位置,所述传感器能够操作地耦合至所述处理单元;
其中,所述处理单元被配置成在确认所述用户的身份并且经由来自所述传感器的信号确认安装至所述头戴设备的所述视线遮蔽物至少部分地覆盖所述显示器后,授权所述用户经由所述显示器访问信息。
CN201580034682.0A 2014-05-09 2015-05-09 用于辨别眼睛信号和连续生物识别的系统和方法 Active CN107087431B (zh)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US201461991435P 2014-05-09 2014-05-09
US61/991,435 2014-05-09
US201462023940P 2014-07-13 2014-07-13
US62/023,940 2014-07-13
US201462027777P 2014-07-22 2014-07-22
US201462027774P 2014-07-22 2014-07-22
US62/027,774 2014-07-22
US62/027,777 2014-07-22
US201462038984P 2014-08-19 2014-08-19
US201462039001P 2014-08-19 2014-08-19
US62/039,001 2014-08-19
US62/038,984 2014-08-19
US201462046072P 2014-09-04 2014-09-04
US62/046,072 2014-09-04
US201462074927P 2014-11-04 2014-11-04
US201462074920P 2014-11-04 2014-11-04
US62/074,927 2014-11-04
US62/074,920 2014-11-04
PCT/US2015/030052 WO2016018488A2 (en) 2014-05-09 2015-05-09 Systems and methods for discerning eye signals and continuous biometric identification

Publications (3)

Publication Number Publication Date
CN107087431A CN107087431A (zh) 2017-08-22
CN107087431A8 CN107087431A8 (zh) 2017-12-22
CN107087431B true CN107087431B (zh) 2021-02-05

Family

ID=54368077

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201580034682.0A Active CN107087431B (zh) 2014-05-09 2015-05-09 用于辨别眼睛信号和连续生物识别的系统和方法
CN201580031094.1A Pending CN106462743A (zh) 2014-05-09 2015-05-09 用于向安全移动通信使用眼睛信号的系统和方法
CN201580035714.9A Active CN106537290B (zh) 2014-05-09 2015-05-09 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201580031094.1A Pending CN106462743A (zh) 2014-05-09 2015-05-09 用于向安全移动通信使用眼睛信号的系统和方法
CN201580035714.9A Active CN106537290B (zh) 2014-05-09 2015-05-09 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法

Country Status (7)

Country Link
US (7) US10620700B2 (zh)
EP (3) EP3140780B1 (zh)
JP (3) JP6550460B2 (zh)
KR (4) KR20170046108A (zh)
CN (3) CN107087431B (zh)
AU (3) AU2015297036B2 (zh)
WO (3) WO2016018488A2 (zh)

Families Citing this family (922)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9823737B2 (en) * 2008-04-07 2017-11-21 Mohammad A Mazed Augmented reality personal assistant apparatus
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US10463248B2 (en) * 2011-03-02 2019-11-05 Brien Holden Vision Institute Limited Systems, methods, and devices for measuring eye movement and pupil response
US10895917B2 (en) 2011-03-12 2021-01-19 Uday Parshionikar Multipurpose controllers and methods
JP6559062B2 (ja) 2012-03-26 2019-08-14 ニューヨーク ユニバーシティ 中枢神経系の完全性を評価するための方法およびキット
US11490809B2 (en) 2013-01-25 2022-11-08 Wesley W. O. Krueger Ocular parameter-based head impact measurement using a face shield
US11504051B2 (en) 2013-01-25 2022-11-22 Wesley W. O. Krueger Systems and methods for observing eye and head information to measure ocular parameters and determine human health status
US12133567B2 (en) 2013-01-25 2024-11-05 Wesley W. O. Krueger Systems and methods for using eye imaging on face protection equipment to assess human health
US11389059B2 (en) 2013-01-25 2022-07-19 Wesley W. O. Krueger Ocular-performance-based head impact measurement using a faceguard
US10231614B2 (en) 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US12042294B2 (en) 2013-01-25 2024-07-23 Wesley W. O. Krueger Systems and methods to measure ocular parameters and determine neurologic health status
US10716469B2 (en) 2013-01-25 2020-07-21 Wesley W. O. Krueger Ocular-performance-based head impact measurement applied to rotationally-centered impact mitigation systems and methods
US10602927B2 (en) 2013-01-25 2020-03-31 Wesley W. O. Krueger Ocular-performance-based head impact measurement using a faceguard
KR102380145B1 (ko) 2013-02-07 2022-03-29 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
US9898081B2 (en) 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US11714487B2 (en) 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US9665171B1 (en) 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
US10082870B2 (en) * 2013-03-04 2018-09-25 Tobii Ab Gaze and saccade based graphical manipulation
WO2014204904A1 (en) 2013-06-17 2014-12-24 New York University Methods and kits for assessing neurological and ophthalmic function and localizing neurological lesions
US10884493B2 (en) 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
US20150051508A1 (en) 2013-08-13 2015-02-19 Sync-Think, Inc. System and Method for Cognition and Oculomotor Impairment Diagnosis Using Binocular Coordination Analysis
US10310597B2 (en) * 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US9710058B2 (en) 2013-09-03 2017-07-18 Tobii Ab Portable eye tracking device
US9958939B2 (en) * 2013-10-31 2018-05-01 Sync-Think, Inc. System and method for dynamic content delivery based on gaze analytics
JP2015114865A (ja) * 2013-12-12 2015-06-22 ソニー株式会社 情報処理装置、中継コンピュータ、情報処理システム、および情報処理プログラム
WO2015103444A1 (en) * 2013-12-31 2015-07-09 Eyefluence, Inc. Systems and methods for gaze-based media selection and editing
US20160019715A1 (en) * 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US12112089B2 (en) 2014-02-11 2024-10-08 Mentor Acquisition One, Llc Spatial location presentation in head worn computing
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
CN107087431B (zh) 2014-05-09 2021-02-05 谷歌有限责任公司 用于辨别眼睛信号和连续生物识别的系统和方法
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9706910B1 (en) * 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9880401B2 (en) * 2014-06-13 2018-01-30 Verily Life Sciences Llc Method, device and system for accessing an eye-mountable device with a user interface
US11429700B2 (en) * 2014-06-19 2022-08-30 Nec Corporation Authentication device, authentication system, and authentication method
DE102014211823A1 (de) * 2014-06-20 2015-12-24 Robert Bosch Gmbh Verfahren zur Personenidentifizierung
KR102266195B1 (ko) * 2014-06-20 2021-06-17 삼성전자주식회사 객체와 관련된 정보를 제공하는 방법 및 장치
US9269328B2 (en) * 2014-06-24 2016-02-23 Google Inc. Efficient frame rendering
US9817959B2 (en) * 2014-06-27 2017-11-14 Intel Corporation Wearable electronic devices
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9961307B1 (en) * 2014-06-30 2018-05-01 Lee S. Weinblatt Eyeglass recorder with multiple scene cameras and saccadic motion detection
EP3166491B1 (en) * 2014-07-07 2023-08-30 Attenti Electronic Monitoring LTD. Self-administered tamper-evident drug detection
KR101645087B1 (ko) * 2014-07-10 2016-08-02 아이리텍 잉크 홍채인식용 착용 감지 기능을 가진 손 부착형 웨어러블 장치를 이용한 보안강화세트 및 그 제어방법
US10540907B2 (en) * 2014-07-31 2020-01-21 Intelligent Technologies International, Inc. Biometric identification headpiece system for test taking
JP2017529891A (ja) 2014-08-04 2017-10-12 ニューヨーク ユニバーシティ 薬物使用、薬物乱用および昏睡、核間性眼筋麻痺、注意欠陥多動性障害(adhd)、慢性外傷性脳症、統合失調症スペクトラム障害、およびアルコール摂取を診断、評価、または定量化するための方法およびキット
US9829708B1 (en) * 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
HK1203120A2 (zh) * 2014-08-26 2015-10-16 高平 步態偵察器與偵察步態的方法
JP2017530476A (ja) 2014-09-24 2017-10-12 プリンストン・アイデンティティー・インコーポレーテッド バイオメトリックキーを用いたモバイルデバイスにおけるワイヤレス通信デバイス機能の制御
CN112925100B (zh) 2014-09-29 2023-10-31 奇跃公司 光学系统
US9898868B2 (en) * 2014-11-06 2018-02-20 Seiko Epson Corporation Display device, method of controlling the same, and program
GB2532438B (en) * 2014-11-18 2019-05-08 Eshare Ltd Apparatus, method and system for determining a viewed status of a document
CA2969331A1 (en) 2014-12-03 2016-06-09 Princeton Identity, Inc. System and method for mobile device biometric add-on
JPWO2016088415A1 (ja) * 2014-12-05 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR102139795B1 (ko) * 2014-12-15 2020-07-31 삼성전자주식회사 생채 특징 패턴을 업데이트하는 방법 및 이를 위한 전자 장치
US10147007B1 (en) * 2015-01-13 2018-12-04 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for determining whether a vehicle is being operated in autonomous mode or manual mode
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US9652035B2 (en) * 2015-02-23 2017-05-16 International Business Machines Corporation Interfacing via heads-up display using eye contact
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
USD779556S1 (en) * 2015-02-27 2017-02-21 Samsung Electronics Co., Ltd. Display screen or portion thereof with an icon
US9836663B2 (en) * 2015-03-05 2017-12-05 Samsung Electronics Co., Ltd. User authenticating method and head mounted device supporting the same
NZ773813A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US10921896B2 (en) * 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
IN2015CH01313A (zh) * 2015-03-17 2015-04-10 Wipro Ltd
KR101648017B1 (ko) * 2015-03-23 2016-08-12 현대자동차주식회사 디스플레이 장치, 차량 및 디스플레이 방법
CN106155288B (zh) * 2015-04-10 2019-02-12 北京智谷睿拓技术服务有限公司 信息获取方法、信息获取装置及用户设备
US10305895B2 (en) * 2015-04-14 2019-05-28 Blubox Security, Inc. Multi-factor and multi-mode biometric physical access control device
US10275902B2 (en) * 2015-05-11 2019-04-30 Magic Leap, Inc. Devices, methods and systems for biometric user recognition utilizing neural networks
US9860452B2 (en) * 2015-05-13 2018-01-02 Lenovo (Singapore) Pte. Ltd. Usage of first camera to determine parameter for action associated with second camera
US10254544B1 (en) * 2015-05-13 2019-04-09 Rockwell Collins, Inc. Head tracking accuracy and reducing latency in dynamic environments
US20160358181A1 (en) * 2015-05-14 2016-12-08 Magic Leap, Inc. Augmented reality systems and methods for tracking biometric data
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US20200321107A1 (en) * 2015-05-19 2020-10-08 Iryou Jyouhou Gijyutu Kenkyusyo Corporation Integrated multi-facility electronic medical record system
US9716834B2 (en) * 2015-05-20 2017-07-25 Panasonic Intellectual Property Management Co., Ltd. Image display device and image processing device
CA2986144A1 (en) * 2015-05-20 2016-11-24 Magic Leap, Inc. Tilt shift iris imaging
US10937064B2 (en) * 2015-06-08 2021-03-02 Samsung Electronics Co.. Ltd. Method and apparatus for providing content
IN2015CH02866A (zh) * 2015-06-09 2015-07-17 Wipro Ltd
RU2601169C1 (ru) * 2015-06-11 2016-10-27 Виталий Витальевич Аверьянов Способ и устройство для взаимодействия с виртуальными объектами
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示制御方法、表示制御装置及び制御プログラム
US20160366317A1 (en) * 2015-06-12 2016-12-15 Delta ID Inc. Apparatuses and methods for image based biometric recognition
US10080861B2 (en) 2015-06-14 2018-09-25 Facense Ltd. Breathing biofeedback eyeglasses
US10076270B2 (en) 2015-06-14 2018-09-18 Facense Ltd. Detecting physiological responses while accounting for touching the face
US10064559B2 (en) 2015-06-14 2018-09-04 Facense Ltd. Identification of the dominant nostril using thermal measurements
US10299717B2 (en) 2015-06-14 2019-05-28 Facense Ltd. Detecting stress based on thermal measurements of the face
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
US10085685B2 (en) 2015-06-14 2018-10-02 Facense Ltd. Selecting triggers of an allergic reaction based on nasal temperatures
US10136852B2 (en) 2015-06-14 2018-11-27 Facense Ltd. Detecting an allergic reaction from nasal temperatures
US10076250B2 (en) 2015-06-14 2018-09-18 Facense Ltd. Detecting physiological responses based on multispectral data from head-mounted cameras
US10523852B2 (en) 2015-06-14 2019-12-31 Facense Ltd. Wearable inward-facing camera utilizing the Scheimpflug principle
US10045699B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Determining a state of a user based on thermal measurements of the forehead
US10165949B2 (en) * 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras
US10045737B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Clip-on device with inward-facing cameras
US10159411B2 (en) 2015-06-14 2018-12-25 Facense Ltd. Detecting irregular physiological responses during exposure to sensitive data
US10113913B2 (en) 2015-10-03 2018-10-30 Facense Ltd. Systems for collecting thermal measurements of the face
US9968264B2 (en) 2015-06-14 2018-05-15 Facense Ltd. Detecting physiological responses based on thermal asymmetry of the face
US10216981B2 (en) 2015-06-14 2019-02-26 Facense Ltd. Eyeglasses that measure facial skin color changes
US10151636B2 (en) 2015-06-14 2018-12-11 Facense Ltd. Eyeglasses having inward-facing and outward-facing thermal cameras
US10130299B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Neurofeedback eyeglasses
US10130308B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Calculating respiratory parameters from thermal measurements
US10154810B2 (en) 2015-06-14 2018-12-18 Facense Ltd. Security system that detects atypical behavior
US10130261B2 (en) 2015-06-14 2018-11-20 Facense Ltd. Detecting physiological responses while taking into account consumption of confounding substances
US10092232B2 (en) 2015-06-14 2018-10-09 Facense Ltd. User state selection based on the shape of the exhale stream
US10136856B2 (en) 2016-06-27 2018-11-27 Facense Ltd. Wearable respiration measurements system
US10554758B2 (en) 2015-06-15 2020-02-04 Blub0X Security, Inc. Web-cloud hosted unified physical security system
IL292858B2 (en) 2015-06-15 2023-12-01 Magic Leap Inc Virtual and augmented reality systems and methods
US10043487B2 (en) * 2015-06-24 2018-08-07 Samsung Electronics Co., Ltd. Apparatus and method for split screen display on mobile device
US10685488B1 (en) * 2015-07-17 2020-06-16 Naveen Kumar Systems and methods for computer assisted operation
CN104966359B (zh) * 2015-07-20 2018-01-30 京东方科技集团股份有限公司 防盗报警系统和方法
TWI570638B (zh) * 2015-07-29 2017-02-11 財團法人資訊工業策進會 凝視分析方法與裝置
WO2017024118A1 (en) * 2015-08-04 2017-02-09 Google Inc. Hover behavior for gaze interactions in virtual reality
US10178150B2 (en) * 2015-08-07 2019-01-08 International Business Machines Corporation Eye contact-based information transfer
EP4198911A1 (en) 2015-08-18 2023-06-21 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR20230150397A (ko) * 2015-08-21 2023-10-30 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
CN105184246B (zh) * 2015-08-28 2020-05-19 北京旷视科技有限公司 活体检测方法和活体检测系统
US10223160B2 (en) * 2015-08-31 2019-03-05 Ayla Networks, Inc. Compact schedules for resource-constrained devices
AU2015261614A1 (en) * 2015-09-04 2017-03-23 Musigma Business Solutions Pvt. Ltd. Analytics system and method
US9857871B2 (en) * 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US20170200316A1 (en) * 2015-09-10 2017-07-13 Sphere Optics Company, Llc Advertising system for virtual reality environments
IN2015DE02924A (zh) * 2015-09-16 2015-10-23 Hcl Technologies Ltd
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
EP3353589A4 (en) 2015-09-16 2019-07-24 Magic Leap, Inc. MIXING OF AUDIO FILES AS A FUNCTION FOR HEADPHONES
US9858706B2 (en) * 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
US10096130B2 (en) 2015-09-22 2018-10-09 Facebook, Inc. Systems and methods for content streaming
CA2999261C (en) 2015-09-23 2022-10-18 Magic Leap, Inc. Eye imaging with an off-axis imager
CN105260016B (zh) * 2015-09-24 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
USD791787S1 (en) * 2015-09-28 2017-07-11 Google Inc. Display screen with a transitional graphical user interface for a photo album
WO2017058826A1 (en) 2015-09-28 2017-04-06 Google Inc. Sharing images and image albums over a communication network
US9635167B2 (en) 2015-09-29 2017-04-25 Paypal, Inc. Conversation assistance system
US20170090588A1 (en) * 2015-09-29 2017-03-30 Kabushiki Kaisha Toshiba Electronic device and method
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
CN106687969B (zh) * 2015-10-08 2019-12-06 华为技术有限公司 一种保护隐私信息的方法和终端设备
EP3156880A1 (en) * 2015-10-14 2017-04-19 Ecole Nationale de l'Aviation Civile Zoom effect in gaze tracking interface
IL297610B2 (en) 2015-10-16 2023-11-01 Magic Leap Inc Eye position detection using eye features
KR102641655B1 (ko) 2015-10-20 2024-02-27 매직 립, 인코포레이티드 3차원 공간에서 가상 객체들 선택
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
US10338677B2 (en) * 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US10831922B1 (en) * 2015-10-30 2020-11-10 United Services Automobile Association (Usaa) System and method for access control
CN108474737B (zh) 2015-11-04 2021-04-06 奇跃公司 光场显示度量
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US11231544B2 (en) 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
SG10201912647YA (en) * 2015-11-19 2020-02-27 Angel Playing Cards Co Ltd Table game management system, game token, and inspection apparatus
US10061552B2 (en) * 2015-11-25 2018-08-28 International Business Machines Corporation Identifying the positioning in a multiple display grid
CN105528577B (zh) * 2015-12-04 2019-02-12 深圳大学 基于智能眼镜的识别方法
US9703374B1 (en) * 2015-12-16 2017-07-11 Google, Inc. In-cell gaze tracking for near-eye display
US10097443B2 (en) * 2015-12-16 2018-10-09 Fluke Corporation System and method for secure communications between a computer test tool and a cloud-based server
US10963063B2 (en) * 2015-12-18 2021-03-30 Sony Corporation Information processing apparatus, information processing method, and program
US10102358B2 (en) * 2015-12-29 2018-10-16 Sensory, Incorporated Face-controlled liveness verification
CN105892642A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术(北京)有限公司 一种根据眼部动作对终端进行控制的方法及装置
WO2017113757A1 (zh) * 2015-12-31 2017-07-06 北京小鸟看看科技有限公司 一种环绕式界面布局方法、三维沉浸式环境下内容切换方法和列表切换方法
CN106940766A (zh) * 2016-01-04 2017-07-11 由田新技股份有限公司 视线轨迹认证系统及方法
JP6231585B2 (ja) * 2016-01-05 2017-11-15 株式会社Qdレーザ 画像投影装置
KR102466996B1 (ko) * 2016-01-06 2022-11-14 삼성전자주식회사 눈 위치 예측 방법 및 장치
EP4273616A3 (en) 2016-01-07 2024-01-10 Magic Leap, Inc. Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes
JP2017123050A (ja) * 2016-01-07 2017-07-13 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及びサーバ
JP2019506694A (ja) 2016-01-12 2019-03-07 プリンストン・アイデンティティー・インコーポレーテッド 生体測定分析のシステムおよび方法
NZ744383A (en) 2016-01-19 2019-10-25 Magic Leap Inc Augmented reality systems and methods utilizing reflections
JP6824285B2 (ja) * 2016-01-19 2021-02-03 マジック リープ, インコーポレイテッドMagic Leap,Inc. 眼画像の収集、選択および組み合わせ
CA3013025A1 (en) 2016-01-29 2017-08-03 Magic Leap, Inc. Display for three-dimensional image
US10169560B2 (en) * 2016-02-04 2019-01-01 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Stimuli-based authentication
KR101729434B1 (ko) * 2016-02-16 2017-04-24 주식회사 시큐브 공간분할 세그먼트에 대한 동적이동 추적 기반 수기서명 인증 시스템 및 방법
US10129510B2 (en) 2016-02-18 2018-11-13 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
IL301720B2 (en) 2016-02-24 2024-11-01 Magic Leap Inc Polarizing beam splitter with low light leakage
US11264548B2 (en) 2016-02-24 2022-03-01 Magic Leap, Inc. Low profile interconnect for light emitter
IL261148B2 (en) 2016-02-26 2023-12-01 Magic Leap Inc Light output system with reflector and lenses for high spatially uniform light output
KR20180116350A (ko) 2016-02-26 2018-10-24 매직 립, 인코포레이티드 복수의 발광기들에 대한 복수의 광 파이프들을 가진 디스플레이 시스템
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
KR20180117181A (ko) 2016-03-01 2018-10-26 매직 립, 인코포레이티드 상이한 파장들의 광을 도파관들로 입력하기 위한 반사성 스위칭 디바이스
US11320900B2 (en) * 2016-03-04 2022-05-03 Magic Leap, Inc. Current drain reduction in AR/VR display systems
KR102358677B1 (ko) 2016-03-07 2022-02-03 매직 립, 인코포레이티드 생체 인증 보안을 위한 청색 광 조정
CA3015658A1 (en) 2016-03-11 2017-09-14 Magic Leap, Inc. Structure learning in convolutional neural networks
US10115205B2 (en) 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
CN108780223B (zh) * 2016-03-11 2019-12-20 脸谱科技有限责任公司 用于生成眼睛模型的角膜球跟踪
US10579708B1 (en) * 2016-03-22 2020-03-03 Massachusetts Mutual Life Insurance Company Systems and methods for improving workflow efficiency and for electronic record population utilizing intelligent input systems
JP7233927B2 (ja) * 2016-03-22 2023-03-07 マジック リープ, インコーポレイテッド バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム
US10360254B1 (en) 2016-03-24 2019-07-23 Massachusetts Mutual Life Insurance Company Intelligent and context aware reading systems
US10306311B1 (en) 2016-03-24 2019-05-28 Massachusetts Mutual Life Insurance Company Intelligent and context aware reading systems
JP7152312B2 (ja) 2016-03-25 2022-10-12 マジック リープ, インコーポレイテッド 仮想および拡張現実システムおよび方法
JP6728863B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 情報処理システム
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
JP6904973B2 (ja) 2016-03-31 2021-07-21 マジック リープ, インコーポレイテッドMagic Leap,Inc. 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10088898B2 (en) * 2016-03-31 2018-10-02 Verizon Patent And Licensing Inc. Methods and systems for determining an effectiveness of content in an immersive virtual reality world
WO2017172695A1 (en) 2016-03-31 2017-10-05 Princeton Identity, Inc. Systems and methods of biometric anaysis with adaptive trigger
US10366296B2 (en) 2016-03-31 2019-07-30 Princeton Identity, Inc. Biometric enrollment systems and methods
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10733275B1 (en) * 2016-04-01 2020-08-04 Massachusetts Mutual Life Insurance Company Access control through head imaging and biometric authentication
DE102016106390A1 (de) * 2016-04-07 2017-10-12 Bundesdruckerei Gmbh Brillen-authentifikationsvorrichtung zum authentifizieren einer person
CA3019946C (en) 2016-04-08 2023-02-28 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
US20170291723A1 (en) * 2016-04-11 2017-10-12 Honeywell International Inc. System and method for validating flight checklist items for maintenance and inspection applications
KR101904889B1 (ko) * 2016-04-21 2018-10-05 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
CN109313509B (zh) 2016-04-21 2022-01-07 奇跃公司 视野周围的视觉光环
CA3021964A1 (en) 2016-04-26 2017-11-02 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
CN105897428B (zh) * 2016-04-28 2019-06-25 武汉大学 一种基于虹膜识别的实时视频安全通讯系统及方法
CN109476175B (zh) 2016-05-06 2021-07-30 奇跃公司 具有用于重定向光的非对称光栅的超表面及其制造方法
KR102450362B1 (ko) 2016-05-09 2022-10-04 매직 립, 인코포레이티드 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들
EP3455766A4 (en) 2016-05-10 2019-11-27 National ICT Australia Limited AUTHENTICATION OF A USER
CN109416432A (zh) 2016-05-12 2019-03-01 奇跃公司 成像波导上的分布式光操纵
AU2017266933B2 (en) 2016-05-20 2023-01-12 Magic Leap, Inc. Contextual awareness of user interface menus
US10065658B2 (en) * 2016-05-23 2018-09-04 International Business Machines Corporation Bias of physical controllers in a system
US20180249941A1 (en) * 2016-05-24 2018-09-06 neuroFit, Inc. Oculometric Neurological Examination (ONE) Appliance
US10901496B2 (en) * 2016-05-25 2021-01-26 Sony Interactive Entertainment Inc. Image processing apparatus, image processing method, and program
US10037080B2 (en) 2016-05-31 2018-07-31 Paypal, Inc. User physical attribute based device and content management system
USD796551S1 (en) * 2016-06-03 2017-09-05 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
KR102516112B1 (ko) 2016-06-03 2023-03-29 매직 립, 인코포레이티드 증강 현실 아이덴티티 검증
US11108708B2 (en) 2016-06-06 2021-08-31 Global Tel*Link Corporation Personalized chatbots for inmates
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
JP6978442B2 (ja) 2016-06-10 2021-12-08 マジック リープ, インコーポレイテッドMagic Leap, Inc. テクスチャ投影電球のための積分点源
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
US10339659B2 (en) * 2016-06-13 2019-07-02 International Business Machines Corporation System, method, and recording medium for workforce performance management
WO2017216273A1 (en) * 2016-06-16 2017-12-21 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and system for providing eye tracking based information about a user behavior, client device, server and computer program product
US10565287B2 (en) * 2016-06-17 2020-02-18 International Business Machines Corporation Web content layout engine instance sharing across mobile devices
WO2017222997A1 (en) 2016-06-20 2017-12-28 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
CN106200905B (zh) * 2016-06-27 2019-03-29 联想(北京)有限公司 信息处理方法及电子设备
CA3029541A1 (en) 2016-06-30 2018-01-04 Magic Leap, Inc. Estimating pose in 3d space
US11354863B2 (en) * 2016-06-30 2022-06-07 Honeywell International Inc. Systems and methods for immersive and collaborative video surveillance
US10146609B1 (en) 2016-07-08 2018-12-04 Splunk Inc. Configuration of continuous anomaly detection service
US10200262B1 (en) 2016-07-08 2019-02-05 Splunk Inc. Continuous anomaly detection service
US10650593B2 (en) 2016-07-12 2020-05-12 Tyco Fire & Security Gmbh Holographic technology implemented security solution
US10922393B2 (en) * 2016-07-14 2021-02-16 Magic Leap, Inc. Deep neural network for iris identification
WO2018013199A1 (en) 2016-07-14 2018-01-18 Magic Leap, Inc. Iris boundary estimation using cornea curvature
JP7029394B2 (ja) 2016-07-22 2022-03-03 ソニーグループ株式会社 イメージセンサおよび画像処理システム
EP4235366A3 (en) 2016-07-25 2023-11-01 Magic Leap, Inc. Light field processor system and method
US10838210B2 (en) 2016-07-25 2020-11-17 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
EP4138339A1 (en) 2016-07-29 2023-02-22 Magic Leap, Inc. Secure exchange of cryptographically signed records
US11642071B2 (en) 2016-08-02 2023-05-09 New York University Methods and kits for assessing neurological function and localizing neurological lesions
US9844321B1 (en) * 2016-08-04 2017-12-19 Novartis Ag Enhanced ophthalmic surgical experience using a virtual reality head-mounted display
US10417495B1 (en) * 2016-08-08 2019-09-17 Google Llc Systems and methods for determining biometric information
CA3033344A1 (en) 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
KR20230167452A (ko) 2016-08-12 2023-12-08 매직 립, 인코포레이티드 단어 흐름 주석
KR102217789B1 (ko) 2016-08-22 2021-02-19 매직 립, 인코포레이티드 나노그레이팅 방법 및 장치
IL294129B2 (en) * 2016-08-22 2024-01-01 Magic Leap Inc An augmented reality display device with deep learning sensors
US10835120B2 (en) * 2016-08-23 2020-11-17 Welch Allyn, Inc. Extended medical test system
CN106899567B (zh) 2016-08-24 2019-12-13 阿里巴巴集团控股有限公司 用户核身方法、装置及系统
US10719697B2 (en) * 2016-09-01 2020-07-21 Mitsubishi Electric Corporation Gesture judgment device, gesture operation device, and gesture judgment method
DE102016116770A1 (de) * 2016-09-07 2018-03-08 Bundesdruckerei Gmbh Datenbrille zum kryptographischen Signieren von Bilddaten
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US10580213B2 (en) 2016-09-13 2020-03-03 Magic Leap, Inc. Systems and methods for sign language recognition
US10230719B2 (en) * 2016-09-19 2019-03-12 Intel Corporation Head mounted secure display system
AU2017332030B2 (en) 2016-09-21 2022-02-03 Magic Leap, Inc. Systems and methods for optical systems with exit pupil expander
US10210320B2 (en) * 2016-09-21 2019-02-19 Lextron Systems, Inc. System and method for secure 5-D user identification
KR102266343B1 (ko) 2016-09-22 2021-06-17 매직 립, 인코포레이티드 증강 현실 분광기
KR102565402B1 (ko) * 2016-09-22 2023-08-08 애플 인크. 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기를 위한 방법, 비일시적 컴퓨터 판독가능 매체 및 시스템
CA3036709A1 (en) 2016-09-26 2018-03-29 Magic Leap, Inc. Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
US10750560B2 (en) 2016-09-27 2020-08-18 Extreme Networks, Inc. IoT device management using multi-protocol infrastructure network devices
CN110023814B (zh) 2016-09-28 2022-01-11 奇跃公司 由可穿戴设备进行面部模型捕获
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
US10430042B2 (en) * 2016-09-30 2019-10-01 Sony Interactive Entertainment Inc. Interaction context-based virtual reality
US10863902B2 (en) 2016-10-03 2020-12-15 Oculogica Inc. Method for detecting glaucoma
US10489680B2 (en) 2016-10-04 2019-11-26 Magic Leap, Inc. Efficient data layouts for convolutional neural networks
KR20240052085A (ko) 2016-10-05 2024-04-22 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
US10925479B2 (en) * 2016-10-13 2021-02-23 Ronald Michael Kurtz Networked system of mobile communication platforms for nonpharmacologic constriction of a pupil
CN106997239A (zh) * 2016-10-13 2017-08-01 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
CN107018121B (zh) 2016-10-13 2021-07-20 创新先进技术有限公司 用户身份验证的方法及装置
US9769166B1 (en) * 2016-10-19 2017-09-19 International Business Machines Corporation Wearable sensor based system for person identification
US10201274B2 (en) * 2016-10-20 2019-02-12 Oculogica Inc Eye tracking system with biometric identification
IL266070B2 (en) 2016-10-21 2023-10-01 Magic Leap Inc System and method for displaying image content on multiple depth planes by providing multiple intrapupillary parallax fields of view
US20180125405A1 (en) * 2016-11-08 2018-05-10 International Business Machines Corporation Mental state estimation using feature of eye movement
US10660517B2 (en) 2016-11-08 2020-05-26 International Business Machines Corporation Age estimation using feature of eye movement
US11074325B1 (en) * 2016-11-09 2021-07-27 Wells Fargo Bank, N.A. Systems and methods for dynamic bio-behavioral authentication
EP3538946B1 (en) 2016-11-11 2023-02-15 Magic Leap, Inc. Periocular and audio synthesis of a full face image
WO2018086399A1 (zh) * 2016-11-14 2018-05-17 华为技术有限公司 一种图像渲染的方法、装置及vr设备
EP3321833B1 (en) * 2016-11-14 2022-12-21 Mastercard International Incorporated Method for biometric based signing of document
KR102610030B1 (ko) * 2016-11-15 2023-12-04 매직 립, 인코포레이티드 큐보이드 검출을 위한 딥 러닝 시스템
IL302483B2 (en) * 2016-11-16 2024-06-01 Magic Leap Inc A mixed reality system with reduced use of force
US10860070B2 (en) 2016-11-16 2020-12-08 Magic Leap, Inc. Thermal management systems for wearable components
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
AU2017362507A1 (en) * 2016-11-18 2018-11-22 Eyedaptic, Inc. Improved systems for augmented reality visual aids and tools
IL303676B2 (en) 2016-11-18 2024-06-01 Magic Leap Inc Liquid crystal refraction lattices vary spatially
IL266677B2 (en) 2016-11-18 2023-11-01 Magic Leap Inc A waveguide light multiplexer using crossed gratings
KR102639600B1 (ko) 2016-11-18 2024-02-21 매직 립, 인코포레이티드 넓은 입사 각도 범위들의 광을 방향전환시키기 위한 다중층 액정 회절 격자들
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
US20180144554A1 (en) 2016-11-18 2018-05-24 Eyedaptic, LLC Systems for augmented reality visual aids and tools
CN206301289U (zh) * 2016-11-29 2017-07-04 阿里巴巴集团控股有限公司 Vr终端设备
CN107066079A (zh) 2016-11-29 2017-08-18 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
KR20180061956A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 눈 위치 예측 방법 및 장치
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
CN116883628A (zh) 2016-12-05 2023-10-13 奇跃公司 混合现实环境中提供虚拟远程控制的可穿戴系统及方法
KR102483263B1 (ko) 2016-12-08 2022-12-29 매직 립, 인코포레이티드 콜레스테릭 액정에 기초한 회절 디바이스들
US10796147B1 (en) * 2016-12-12 2020-10-06 Keith Hanna Method and apparatus for improving the match performance and user convenience of biometric systems that use images of the human eye
KR102497707B1 (ko) 2016-12-13 2023-02-08 매직 립, 인코포레이티드 검출된 특징들을 사용한 3d 객체 렌더링
JP7071363B2 (ja) 2016-12-13 2022-05-18 マジック リープ, インコーポレイテッド 偏光を送達し、グルコースレベルを決定するための拡張現実および仮想現実アイウェア、システム、および方法
CN110291453B (zh) 2016-12-14 2022-11-01 奇跃公司 使用具有表面对准图案的软压印复制对液晶图案化
IL308598A (en) 2016-12-22 2024-01-01 Magic Leap Inc Systems and methods for using light from environmental light sources
US10885676B2 (en) 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
US10746999B2 (en) 2016-12-28 2020-08-18 Magic Leap, Inc. Dual depth exit pupil expander
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
KR102553190B1 (ko) 2016-12-29 2023-07-07 매직 립, 인코포레이티드 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어
US10853775B1 (en) * 2016-12-29 2020-12-01 Wells Fargo Bank, N.A. Computing systems for proximity-based fees
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
KR102564357B1 (ko) 2017-01-05 2023-08-04 매직 립, 인코포레이티드 플라즈마 에칭에 의한 고굴절률 유리들의 패터닝
AU2018207068A1 (en) 2017-01-11 2019-07-25 Magic Leap, Inc. Medical assistant
WO2018136892A1 (en) 2017-01-23 2018-07-26 Magic Leap, Inc. Eyepiece for virtual, augmented, or mixed reality systems
AU2018212570B2 (en) 2017-01-27 2023-03-16 Magic Leap, Inc. Antireflection coatings for metasurfaces
EP3574348B1 (en) 2017-01-27 2023-02-22 Magic Leap, Inc. Diffraction gratings formed by metasurfaces having differently oriented nanobeams
US10404804B2 (en) 2017-01-30 2019-09-03 Global Tel*Link Corporation System and method for personalized virtual reality experience in a controlled environment
US10824703B1 (en) * 2017-02-01 2020-11-03 United Services Automobile Association (Usaa) Authentication based on motion and biometric data
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
US10416769B2 (en) * 2017-02-14 2019-09-17 Microsoft Technology Licensing, Llc Physical haptic feedback system with spatial warping
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
US10485420B2 (en) * 2017-02-17 2019-11-26 Analog Devices Global Unlimited Company Eye gaze tracking
US11141095B2 (en) 2017-02-17 2021-10-12 Oculogica Inc. Method and system for detecting concussion
US20180239422A1 (en) * 2017-02-17 2018-08-23 International Business Machines Corporation Tracking eye movements with a smart device
CN114690429A (zh) 2017-02-23 2022-07-01 奇跃公司 基于偏振转换的可变焦虚拟图像设备
CN106980983A (zh) 2017-02-23 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务认证方法及装置
CN106932905A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873158A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106932904A (zh) 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873159A (zh) 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10866633B2 (en) 2017-02-28 2020-12-15 Microsoft Technology Licensing, Llc Signing with your eyes
US10822108B2 (en) * 2017-03-06 2020-11-03 Textron Innovations Inc. Augmented reality system for pilot and passengers
JP7057893B2 (ja) * 2017-03-07 2022-04-21 マツダ株式会社 視認状態判定装置
US10628994B2 (en) * 2017-03-07 2020-04-21 Google Llc Reducing visually induced motion sickness in head mounted display systems
US10568573B2 (en) * 2017-03-07 2020-02-25 Sony Interactive Entertainment LLC Mitigation of head-mounted-display impact via biometric sensors and language processing
US10169973B2 (en) 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
EP3376367A1 (de) * 2017-03-13 2018-09-19 Siemens Aktiengesellschaft Quittieren eines überführens eines gutes
EP3596387B1 (en) 2017-03-14 2023-05-10 Magic Leap, Inc. Waveguides with light absorbing films and processes for forming the same
CN107122642A (zh) * 2017-03-15 2017-09-01 阿里巴巴集团控股有限公司 基于虚拟现实环境的身份认证方法及装置
US10657838B2 (en) 2017-03-15 2020-05-19 International Business Machines Corporation System and method to teach and evaluate image grading performance using prior learned expert knowledge base
JP6929953B2 (ja) 2017-03-17 2021-09-01 マジック リープ, インコーポレイテッドMagic Leap,Inc. 部屋レイアウト推定方法および技法
CN110651216B (zh) 2017-03-21 2022-02-25 奇跃公司 低轮廓分束器
WO2018175488A1 (en) 2017-03-21 2018-09-27 Magic Leap, Inc. Stacked waveguides having different diffraction gratings for combined field of view
IL269008B2 (en) 2017-03-21 2023-10-01 Magic Leap Inc Depth sensing techniques for virtual, augmented and mixed reality systems
KR20240125063A (ko) 2017-03-21 2024-08-19 매직 립, 인코포레이티드 공간 광 변조기들을 조명하기 위한 방법들, 디바이스들, 및 시스템들
CN115097625A (zh) 2017-03-21 2022-09-23 奇跃公司 光学设备、头戴式显示器、成像系统和对对象成像的方法
EP3602156A4 (en) 2017-03-21 2020-12-23 Magic Leap, Inc. SPATIAL LIGHT MODULATOR LIGHTING DISPLAY SYSTEM FOR DIVIDED PUPILS
EP4411519A2 (en) 2017-03-22 2024-08-07 Magic Leap, Inc. Depth based foveated rendering for display systems
KR102528488B1 (ko) 2017-03-24 2023-05-02 매직 립, 인코포레이티드 홍채 코드들의 축적 및 신뢰도 할당
US10410349B2 (en) * 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US10747301B2 (en) 2017-03-28 2020-08-18 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
CN107391983B (zh) 2017-03-31 2020-10-16 创新先进技术有限公司 一种基于物联网的信息处理方法及装置
CN106990843B (zh) * 2017-04-01 2021-01-08 维沃移动通信有限公司 一种眼睛跟踪系统的参数校准方法及电子设备
WO2018187337A1 (en) * 2017-04-04 2018-10-11 Princeton Identity, Inc. Z-dimension user feedback biometric system
US10609025B2 (en) * 2017-04-06 2020-03-31 Htc Corporation System and method for providing simulated environment
KR102627452B1 (ko) * 2017-04-14 2024-01-18 매직 립, 인코포레이티드 다중 모드 눈 추적
US10401954B2 (en) 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
CN107097227B (zh) * 2017-04-17 2019-12-06 北京航空航天大学 一种人机协作机器人系统
US10242486B2 (en) * 2017-04-17 2019-03-26 Intel Corporation Augmented reality and virtual reality feedback enhancement system, apparatus and method
EP4270091A3 (en) 2017-04-18 2024-01-24 Magic Leap, Inc. Waveguides having reflective layers formed by reflective flowable materials
JP7149289B2 (ja) 2017-04-19 2022-10-06 マジック リープ, インコーポレイテッド ウェアラブルシステムのためのマルチモード実行およびテキスト編集
US10564733B2 (en) 2017-04-21 2020-02-18 Htc Corporation Operating method of tracking system, controller, tracking system, and non-transitory computer readable storage medium
US11416600B2 (en) * 2017-04-24 2022-08-16 Siemens Aktiengesellschaft Unlocking passwords in augmented reality based on look
US10620779B2 (en) * 2017-04-24 2020-04-14 Microsoft Technology Licensing, Llc Navigating a holographic image
EP3616040B1 (en) 2017-04-27 2022-09-28 Magic Leap, Inc. Augmented reality system comprising light-emitting user input device
US10397594B2 (en) 2017-04-28 2019-08-27 Hewlett Packard Enterprise Development Lp Real-time processing of IoT data
KR20180123354A (ko) * 2017-05-08 2018-11-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
TWI669657B (zh) * 2017-05-17 2019-08-21 宏碁股份有限公司 具自適性控制之主機、頭戴式顯示裝置、攜帶式裝置、虛擬實境系統及其控制方法
EP3568787B1 (en) 2017-05-17 2024-04-10 Google LLC Automatic image sharing with designated users over a communication network
US11610371B2 (en) 2017-05-19 2023-03-21 Magic Leap, Inc. Keyboards for virtual, augmented, and mixed reality display systems
AU2018271790A1 (en) 2017-05-22 2019-11-07 Magic Leap, Inc. Pairing with companion device
GB2563004A (en) * 2017-05-23 2018-12-05 Nokia Technologies Oy Methods and apparatuses for handling visual virtual reality content
US10339334B2 (en) * 2017-05-25 2019-07-02 Ca, Inc. Augmented reality captcha
CN107224292B (zh) * 2017-05-27 2019-12-31 西南交通大学 一种调度员的注意广度的测试方法和系统
KR102664361B1 (ko) 2017-05-30 2024-05-10 매직 립, 인코포레이티드 전자 디바이스를 위한 팬 조립체를 갖는 전력 공급기 조립체
DE102017111933A1 (de) * 2017-05-31 2018-12-06 Krohne Messtechnik Gmbh Verfahren zur sicheren Kommunikation mit einem Feldmessgerät der Prozesstechnik und entsprechendes Feldmessgerät
JP7239493B2 (ja) 2017-05-31 2023-03-14 マジック リープ, インコーポレイテッド 眼追跡較正技術
US10242476B2 (en) * 2017-05-31 2019-03-26 Verizon Patent and Licensong Inc. Methods and systems for dynamically representing, within a virtual reality data stream being presented to a user, a proxy object that corresponds to an object in the real-world environment of the user
WO2018222897A1 (en) * 2017-06-01 2018-12-06 University Of Washington Smartphone-based digital pupillometer
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10528794B2 (en) * 2017-06-05 2020-01-07 Motorola Solutions, Inc. System and method for tailoring an electronic digital assistant inquiry response as a function of previously detected user ingestion of related video information
US10657401B2 (en) 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
EP3413226A1 (en) * 2017-06-07 2018-12-12 Gemalto Sa Method for authenticating a user and corresponding device and system
US10853918B2 (en) * 2017-06-09 2020-12-01 Sony Interactive Entertainment Inc. Foveal adaptation of temporal anti-aliasing
IL300301B2 (en) 2017-06-12 2024-08-01 Magic Leap Inc Augmented reality display with multi-component adaptive lenses to change plane depths
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
CN107633196A (zh) * 2017-06-14 2018-01-26 电子科技大学 一种基于卷积神经网络的眼球移动预测方案
US10620710B2 (en) * 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
US10482229B2 (en) * 2017-06-30 2019-11-19 Wipro Limited Method of providing content access permission to a user and a device thereof
WO2019005622A1 (en) 2017-06-30 2019-01-03 Pcms Holdings, Inc. METHOD AND APPARATUS FOR GENERATING AND DISPLAYING 360-DEGREE VIDEO BASED ON FOLLOW-UP OF THE LOOK AND PHYSIOLOGICAL MEASUREMENTS
US20190012552A1 (en) * 2017-07-06 2019-01-10 Yves Lambert Hidden driver monitoring
US10319151B2 (en) * 2017-07-07 2019-06-11 Motorola Solutions, Inc. Device and method for hierarchical object recognition
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US20190012835A1 (en) * 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
US20190012841A1 (en) 2017-07-09 2019-01-10 Eyedaptic, Inc. Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids
US10908680B1 (en) 2017-07-12 2021-02-02 Magic Leap, Inc. Pose estimation using electromagnetic tracking
US10691945B2 (en) 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
US11073904B2 (en) * 2017-07-26 2021-07-27 Microsoft Technology Licensing, Llc Intelligent user interface element selection using eye-gaze
US10902104B2 (en) 2017-07-26 2021-01-26 Princeton Identity, Inc. Biometric security systems and methods
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US11237691B2 (en) 2017-07-26 2022-02-01 Microsoft Technology Licensing, Llc Intelligent response using eye gaze
KR102368661B1 (ko) 2017-07-26 2022-02-28 매직 립, 인코포레이티드 사용자 인터페이스 디바이스들의 표현들을 이용한 뉴럴 네트워크 트레이닝
US11355023B2 (en) * 2017-07-27 2022-06-07 Kennesaw State University Research And Service Foundation, Inc. System and method for intervention with attention deficient disorders
CN107360424B (zh) * 2017-07-28 2019-10-25 深圳岚锋创视网络科技有限公司 一种基于视频编码器的码率控制方法、装置及视频服务器
EP3658778A4 (en) 2017-07-28 2021-04-14 Magic Leap, Inc. FAN ARRANGEMENT FOR DISPLAYING AN IMAGE
US10748340B1 (en) * 2017-07-31 2020-08-18 Apple Inc. Electronic device with coordinated camera and display operation
KR102026526B1 (ko) * 2017-08-03 2019-09-30 주식회사 에스지엠 생체정보를 사용하는 인증 시스템 및 이를 이용한 스크린 골프 시스템
US11587419B2 (en) * 2017-08-04 2023-02-21 Toyota Research Institute, Inc. Methods and systems providing an intelligent camera system
TWI642030B (zh) * 2017-08-09 2018-11-21 宏碁股份有限公司 視覺效用分析方法及相關眼球追蹤裝置與系統
EP3443883B1 (de) * 2017-08-14 2020-07-29 Carl Zeiss Vision International GmbH Vorrichtungen und verfahren zur durchführung augenbezogener messungen
WO2019036533A1 (en) * 2017-08-16 2019-02-21 Veritaz Inc. PERSONAL DISPLAY HELMET FOR LIMITING USER ACCESS TO UNAUTHORIZED RESOURCES
US20190057694A1 (en) * 2017-08-17 2019-02-21 Dolby International Ab Speech/Dialog Enhancement Controlled by Pupillometry
CN107610235B (zh) * 2017-08-21 2020-11-10 北京精密机电控制设备研究所 一种基于深度学习的移动平台导航方法和装置
CN109426710A (zh) * 2017-08-22 2019-03-05 上海荆虹电子科技有限公司 一种电子虹膜印章实现方法、系统及电子签章设备
KR102577681B1 (ko) * 2017-08-23 2023-09-14 한국전자통신연구원 자기 수치화 서비스 장치
KR102718810B1 (ko) 2017-08-23 2024-10-16 뉴레이블 인크. 고속 눈 추적 피처들을 갖는 뇌-컴퓨터 인터페이스
US10313315B2 (en) * 2017-08-25 2019-06-04 Bank Of America Corporation Ensuring information security in data transfers by utilizing proximity keys
US11145124B2 (en) 2017-08-30 2021-10-12 Ronald H. Winston System and method for rendering virtual reality interactions
CN111033442B (zh) 2017-09-01 2024-07-02 奇跃公司 用于稳健的生物特征应用的详细的眼睛形状模型
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
JP7247202B2 (ja) 2017-09-13 2023-03-28 オクロジカ インコーポレイテッド 眼球追跡システム
US11723579B2 (en) 2017-09-19 2023-08-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
US10719951B2 (en) 2017-09-20 2020-07-21 Magic Leap, Inc. Personalized neural network for eye tracking
EP3685215B1 (en) 2017-09-21 2024-01-03 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
KR102481884B1 (ko) 2017-09-22 2022-12-28 삼성전자주식회사 가상 영상을 표시하는 방법 및 장치
EP3688513A1 (de) * 2017-09-25 2020-08-05 Continental Automotive GmbH Head-up-display
IL273480B2 (en) 2017-09-27 2024-03-01 Magic Leap Inc Near-eye 3D display with separate phase and amplitude modulators
US10929993B2 (en) * 2017-09-29 2021-02-23 L'oreal Automated imaging system for evaluating the curl of a keratinous substrate
EP3466338A1 (en) * 2017-10-03 2019-04-10 Tata Consultancy Services Limited Cognitive load estimation based on pupil dilation
ES2901467T3 (es) * 2017-10-06 2022-03-22 Alcon Inc Seguimiento del movimiento de un ojo dentro de un rango de seguimiento
AU2018348229A1 (en) 2017-10-11 2020-04-23 Magic Leap, Inc. Augmented reality display comprising eyepiece having a transparent emissive display
US10712899B2 (en) * 2017-10-17 2020-07-14 Microsoft Technology Licensing, Llc Human-machine interface tethered to a user position in a three-dimensional VR or AR environment
EP3701326B1 (en) 2017-10-26 2023-09-20 Magic Leap, Inc. Augmented reality display having liquid crystal variable focus element and roll-to-roll method and apparatus for forming the same
IL273991B2 (en) 2017-10-26 2023-11-01 Magic Leap Inc Gradual normalization systems and methods for adaptive loss balancing in deep multitasking networks
KR20240130155A (ko) 2017-10-26 2024-08-28 매직 립, 인코포레이티드 증강 현실 디스플레이를 위한 광대역 적응형 렌즈 어셈블리
KR102668725B1 (ko) 2017-10-27 2024-05-29 매직 립, 인코포레이티드 증강 현실 시스템들에 대한 가상 레티클
US10492725B2 (en) * 2017-10-29 2019-12-03 Orlando Efrain Abreu Oramas Method and system of facilitating monitoring of an individual based on at least one wearable device
US20190129174A1 (en) * 2017-10-31 2019-05-02 Google Llc Multi-perspective eye-tracking for vr/ar systems
US10984508B2 (en) 2017-10-31 2021-04-20 Eyedaptic, Inc. Demonstration devices and methods for enhancement for low vision users and systems improvements
CN108038884B (zh) * 2017-11-01 2020-12-11 北京七鑫易维信息技术有限公司 校准方法、装置、存储介质和处理器
US11410564B2 (en) 2017-11-07 2022-08-09 The Board Of Trustees Of The University Of Illinois System and method for creating immersive interactive application
US11175736B2 (en) 2017-11-10 2021-11-16 South Dakota Board Of Regents Apparatus, systems and methods for using pupillometry parameters for assisted communication
EP3710915A4 (en) 2017-11-13 2021-08-11 Neurable Inc. BRAIN-COMPUTER INTERFACE WITH ADAPTATIONS FOR HIGH-SPEED, ACCURATE AND INTUITIVE USER INTERACTIONS
US11048978B2 (en) 2017-11-14 2021-06-29 Magic Leap, Inc. Meta-learning for multi-task learning for neural networks
CN109799899B (zh) * 2017-11-17 2021-10-22 腾讯科技(深圳)有限公司 交互控制方法、装置、存储介质和计算机设备
US10395624B2 (en) 2017-11-21 2019-08-27 Nvidia Corporation Adjusting an angular sampling rate during rendering utilizing gaze information
US10586360B2 (en) * 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US20190156447A1 (en) * 2017-11-21 2019-05-23 Lorenzo Curci Flight Logging and Resource Management System
CN107968937B (zh) * 2017-11-30 2018-08-17 泰州腾翔信息科技有限公司 一种缓解眼球疲劳的系统
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
CN109871674A (zh) * 2017-12-04 2019-06-11 上海聚虹光电科技有限公司 Vr或ar设备分区域操作权限管理方法
US10656706B2 (en) * 2017-12-04 2020-05-19 International Business Machines Corporation Modifying a computer-based interaction based on eye gaze
CN109870873B (zh) * 2017-12-05 2022-04-22 青岛海信激光显示股份有限公司 一种波长转换装置、光源装置及投影系统
KR20190067433A (ko) * 2017-12-07 2019-06-17 주식회사 비주얼캠프 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
CN116990888A (zh) 2017-12-10 2023-11-03 奇跃公司 光波导上的抗反射涂层
KR102045743B1 (ko) * 2017-12-11 2019-11-18 상명대학교산학협력단 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치 및 방법
JP7225233B2 (ja) 2017-12-11 2023-02-20 マジック リープ, インコーポレイテッド 導波管照明器
US11333902B2 (en) * 2017-12-12 2022-05-17 RaayonNova LLC Smart contact lens with embedded display and image focusing system
CN107992896A (zh) * 2017-12-13 2018-05-04 东南大学 一种基于眼动追踪技术的科学概念评测方法
JP7389032B2 (ja) 2017-12-14 2023-11-29 マジック リープ, インコーポレイテッド 仮想アバタのコンテキストベースのレンダリング
EP3724713A4 (en) 2017-12-15 2021-08-25 Magic Leap, Inc. IMPROVED ITEM DETERMINATION FOR A DISPLAY DEVICE
US10852547B2 (en) 2017-12-15 2020-12-01 Magic Leap, Inc. Eyepieces for augmented reality display system
CN108108019B (zh) * 2017-12-15 2021-03-19 歌尔光学科技有限公司 虚拟现实设备及其显示方法
CN111512211B (zh) 2017-12-20 2022-06-21 伊奎蒂公司 增强现实显示系统
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
US11318277B2 (en) 2017-12-31 2022-05-03 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
EP3735601A4 (en) 2018-01-04 2021-09-08 Magic Leap, Inc. OPTICAL ELEMENTS BASED ON POLYMERIC STRUCTURES WITH INORGANIC MATERIALS
CN110022454B (zh) * 2018-01-10 2021-02-23 华为技术有限公司 一种在视频会议中识别身份的方法及相关设备
US10360419B1 (en) 2018-01-15 2019-07-23 Universal City Studios Llc Interactive systems and methods with tracking devices
WO2019143844A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
US10917634B2 (en) 2018-01-17 2021-02-09 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
KR20200108888A (ko) * 2018-01-18 2020-09-21 뉴레이블 인크. 고속, 정확, 및 직관적 사용자 상호작용들을 위한 적응들을 갖는 뇌-컴퓨터 인터페이스
US10853674B2 (en) 2018-01-23 2020-12-01 Toyota Research Institute, Inc. Vehicle systems and methods for determining a gaze target based on a virtual eye position
US10817068B2 (en) * 2018-01-23 2020-10-27 Toyota Research Institute, Inc. Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction
US10706300B2 (en) * 2018-01-23 2020-07-07 Toyota Research Institute, Inc. Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction
US11567627B2 (en) * 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
CN110120229B (zh) * 2018-02-05 2024-09-20 北京三星通信技术研究有限公司 虚拟现实vr音频信号的处理方法及相应设备
US11533272B1 (en) * 2018-02-06 2022-12-20 Amesite Inc. Computer based education methods and apparatus
CN108337430A (zh) * 2018-02-07 2018-07-27 北京联合大学 360度无死角智能眼镜
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3750029A1 (en) 2018-02-09 2020-12-16 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters using a neural network
EP3749172B1 (en) 2018-02-09 2022-03-30 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
CN108764007A (zh) * 2018-02-10 2018-11-06 集智学园(北京)科技有限公司 基于ocr与文本分析技术对注意力的测量方法
US11048785B2 (en) * 2018-02-14 2021-06-29 Samsung Electronics Co., Ltd Method and apparatus of performing authentication
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
KR102495796B1 (ko) 2018-02-23 2023-02-06 삼성전자주식회사 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치
CN108537111A (zh) 2018-02-26 2018-09-14 阿里巴巴集团控股有限公司 一种活体检测的方法、装置及设备
CA3089316A1 (en) 2018-02-27 2019-09-06 Magic Leap, Inc. Matching meshes for virtual avatars
CA3089645A1 (en) 2018-02-28 2019-09-06 Magic Leap, Inc. Head scan alignment using ocular registration
WO2019172503A1 (ko) * 2018-03-05 2019-09-12 고려대학교 산학협력단 안구추적을 통한 시야장애 평가 장치, 이를 이용한 시야장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체
JP7303818B2 (ja) 2018-03-05 2023-07-05 マジック リープ, インコーポレイテッド 低遅延瞳孔トラッカーを伴うディスプレイシステム
CN108491072B (zh) * 2018-03-05 2020-01-21 京东方科技集团股份有限公司 一种虚拟现实交互方法及装置
US11563885B2 (en) 2018-03-06 2023-01-24 Eyedaptic, Inc. Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids
US11656462B2 (en) 2018-03-07 2023-05-23 Magic Leap, Inc. Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display
CA3059064C (en) 2018-03-07 2022-01-04 Magic Leap, Inc. Visual tracking of peripheral devices
JP7240410B2 (ja) 2018-03-12 2023-03-15 マジック リープ, インコーポレイテッド 傾斜アレイベースのディスプレイ
US10528133B2 (en) * 2018-03-13 2020-01-07 Facebook Technologies, Llc Bracelet in a distributed artificial reality system
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
WO2019178409A1 (en) 2018-03-14 2019-09-19 Magic Leap, Inc. Display systems and methods for clipping content to increase viewing comfort
WO2019178567A1 (en) * 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
WO2019177870A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Animating virtual avatar facial movements
CN112136094A (zh) 2018-03-16 2020-12-25 奇跃公司 用于显示系统的基于深度的凹式渲染
EP3766004A4 (en) 2018-03-16 2021-12-15 Magic Leap, Inc. FACIAL EXPRESSIONS OBTAINED FROM EYE-TRACKING CAMERAS
WO2019183399A1 (en) 2018-03-21 2019-09-26 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
JP6583460B2 (ja) * 2018-03-23 2019-10-02 株式会社セガゲームス 認証システム
CN108416322B (zh) * 2018-03-27 2019-05-17 吉林大学 一种虚拟装配坐式操作中目视动作识别方法
JP7118697B2 (ja) 2018-03-30 2022-08-16 株式会社Preferred Networks 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル
US11500206B2 (en) 2018-04-02 2022-11-15 Magic Leap, Inc. Waveguides with integrated optical elements and methods of making the same
US11886000B2 (en) 2018-04-02 2024-01-30 Magic Leap, Inc. Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same
EP3776029A4 (en) 2018-04-02 2022-06-29 Magic Leap, Inc. Hybrid polymer waveguide and methods for making the same
WO2019204164A1 (en) 2018-04-16 2019-10-24 Magic Leap, Inc. Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
CN108459720B (zh) * 2018-04-19 2023-11-21 京东方科技集团股份有限公司 视控装置及用视控装置控制终端的方法
WO2019204765A1 (en) 2018-04-19 2019-10-24 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
WO2019209431A1 (en) 2018-04-23 2019-10-31 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
WO2019212698A1 (en) 2018-05-01 2019-11-07 Magic Leap, Inc. Avatar animation using markov decision process policies
WO2019213220A1 (en) 2018-05-03 2019-11-07 Magic Leap, Inc. Using 3d scans of a physical subject to determine positions and orientations of joints for a virtual character
KR20240152401A (ko) 2018-05-04 2024-10-21 구글 엘엘씨 자동화된 어시스턴트 기능(들)의 핫-워드 프리 적응
JP7471279B2 (ja) * 2018-05-04 2024-04-19 グーグル エルエルシー 検出された口運動および/または注視に基づく自動化アシスタントの適応
JP7277569B2 (ja) 2018-05-04 2023-05-19 グーグル エルエルシー 検出されたジェスチャおよび凝視に基づく自動化アシスタントの機能の呼び出し
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
DK179874B1 (en) 2018-05-07 2019-08-13 Apple Inc. USER INTERFACE FOR AVATAR CREATION
JP7099036B2 (ja) * 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
KR20240024351A (ko) * 2018-05-07 2024-02-23 애플 인크. 크리에이티브 카메라
US20210217166A1 (en) * 2018-05-11 2021-07-15 Visionairy Health, Inc. Automated screening of medical data
WO2019221325A1 (ko) * 2018-05-14 2019-11-21 한국과학기술원 눈동자 반응을 이용한 연속 인증 시스템
EP3794516A4 (en) 2018-05-17 2022-03-16 Magic Leap, Inc. GRADIENT ADVERSARIAL TRAINING OF NEURAL NETWORKS
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US10942564B2 (en) * 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
CN108763394B (zh) * 2018-05-21 2021-11-23 浙江工业大学 面向协同交互的多用户眼动跟踪数据可视化方法和系统
US11282255B2 (en) 2018-05-21 2022-03-22 Magic Leap, Inc. Generating textured polygon strip hair from strand-based hair for a virtual character
JP7341166B2 (ja) 2018-05-22 2023-09-08 マジック リープ, インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
WO2019226549A1 (en) 2018-05-22 2019-11-28 Magic Leap, Inc. Computer generated hair groom transfer tool
JP7516260B2 (ja) 2018-05-22 2024-07-16 マジック リープ, インコーポレイテッド 仮想アバタをアニメーション化するための骨格システム
CN108416341B (zh) * 2018-05-25 2023-11-21 重庆青腾致汇科技有限公司 一种新型生物识别系统
CN108854064B (zh) * 2018-05-25 2023-03-28 深圳市腾讯网络信息技术有限公司 交互控制方法、装置、计算机可读介质及电子设备
WO2019226865A1 (en) 2018-05-25 2019-11-28 Magic Leap, Inc. Compression of dynamic unstructured point clouds
CN117631307A (zh) 2018-05-29 2024-03-01 爱达扩视眼镜公司 用于低视力用户的混合式透视增强现实系统和方法
JP2021525902A (ja) 2018-05-30 2021-09-27 マジック リープ, インコーポレイテッドMagic Leap,Inc. 小型の可変焦点構成
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ, インコーポレイテッド レーダ頭部姿勢位置特定
WO2019232075A1 (en) 2018-06-01 2019-12-05 Magic Leap, Inc. Compression of dynamic unstructured point clouds
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10509467B1 (en) * 2018-06-01 2019-12-17 Facebook Technologies, Llc Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display
WO2019229519A1 (en) * 2018-06-01 2019-12-05 Patung Investments Ltd. Capture and presentation of authenticated data
US10360304B1 (en) * 2018-06-04 2019-07-23 Imageous, Inc. Natural language processing interface-enabled building conditions control system
US11238143B2 (en) * 2018-06-05 2022-02-01 Google Llc Method and system for authenticating a user on a wearable heads-up display
EP3804306B1 (en) 2018-06-05 2023-12-27 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
EP3803545A4 (en) 2018-06-08 2022-01-26 Magic Leap, Inc. AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT
WO2019238230A1 (en) * 2018-06-14 2019-12-19 Brainlab Ag Registration of an anatomical body part by detecting a finger pose
WO2019237175A1 (en) * 2018-06-14 2019-12-19 Integrity Advocate Inc. Method and system for assessing participants
JP7336470B2 (ja) 2018-06-15 2023-08-31 マジック リープ, インコーポレイテッド プレチルト角を伴う液晶光学要素を用いた広視野偏光スイッチ
CN108962182A (zh) * 2018-06-15 2018-12-07 广东康云多维视觉智能科技有限公司 基于眼球追踪的三维图像显示装置及其实现方法
US12007652B2 (en) 2018-06-15 2024-06-11 Magic Leap, Inc. Wide field-of-view polarization switches and methods of fabricating liquid crystal optical elements with pretilt
US11694435B2 (en) 2018-06-18 2023-07-04 Magic Leap, Inc. Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
WO2019246044A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Head-mounted display systems with power saving functionality
CA3103877A1 (en) * 2018-06-18 2019-12-26 New Jersey Institute Of Technology Method, system and apparatus for diagnostic assessment and screening of binocular dysfunctions
CN112567287A (zh) 2018-06-18 2021-03-26 奇跃公司 具有帧调制功能的增强现实显示
JP7214986B2 (ja) * 2018-06-25 2023-01-31 日本電信電話株式会社 反射性判定装置、反射性判定方法、プログラム
AU2019294492B2 (en) * 2018-06-26 2022-01-27 Apple Inc. View-based breakpoints
US11151793B2 (en) 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
US11669726B2 (en) 2018-07-02 2023-06-06 Magic Leap, Inc. Methods and systems for interpolation of disparate inputs
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
KR20200004666A (ko) 2018-07-04 2020-01-14 주식회사 링크트리 머신러닝과 블록체인을 이용한 생체정보 인증 시스템
IL279828B1 (en) * 2018-07-04 2024-08-01 Solmaz Gumruk Musavirligi A S A method that uses artificial neural networks to find a unique harmonic system code from texts and a system for its implementation
JP7407748B2 (ja) 2018-07-05 2024-01-04 マジック リープ, インコーポレイテッド 頭部搭載型ディスプレイシステムのための導波管ベースの照明
EP3821404A1 (en) * 2018-07-10 2021-05-19 Carrier Corporation Applying image analytics and machine learning to lock systems in hotels
US10936163B2 (en) 2018-07-17 2021-03-02 Methodical Mind, Llc. Graphical user interface system
US10863812B2 (en) 2018-07-18 2020-12-15 L'oreal Makeup compact with eye tracking for guidance of makeup application
US10795435B2 (en) 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
US11966055B2 (en) 2018-07-19 2024-04-23 Magic Leap, Inc. Content interaction driven by eye metrics
US10884492B2 (en) 2018-07-20 2021-01-05 Avegant Corp. Relative position based eye-tracking system
US11320899B2 (en) 2018-07-23 2022-05-03 Magic Leap, Inc. Deep predictor recurrent neural network for head pose prediction
WO2020023303A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Coexistence interference avoidance between two different radios operating in the same band
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
WO2020023404A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Flicker mitigation when toggling eyepiece display illumination in augmented reality systems
WO2020023542A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining registration between a display and eyes of a user
JP7418400B2 (ja) 2018-07-24 2024-01-19 マジック リープ, インコーポレイテッド 再バウンス誘発光損失の軽減を伴う回折光学要素および関連システムおよび方法
US11422620B2 (en) 2018-07-24 2022-08-23 Magic Leap, Inc. Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
WO2020023491A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Thermal management system for electronic device
CN112753007A (zh) 2018-07-27 2021-05-04 奇跃公司 虚拟角色的姿势空间变形的姿势空间维度减小
WO2020028834A1 (en) 2018-08-02 2020-02-06 Magic Leap, Inc. A viewing system with interpupillary distance compensation based on head motion
CN112805659A (zh) 2018-08-03 2021-05-14 奇跃公司 通过用户分类为多深度平面显示系统选择深度平面
JP7438188B2 (ja) 2018-08-03 2024-02-26 マジック リープ, インコーポレイテッド ユーザ相互作用システムにおけるトーテムの融合姿勢の非融合姿勢ベースのドリフト補正
US11012659B2 (en) * 2018-08-07 2021-05-18 International Business Machines Corporation Intelligent illumination and sound control in an internet of things (IoT) computing environment
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ, インコーポレイテッド 患者視認システム
CN109165939A (zh) * 2018-08-23 2019-01-08 唐剑虹 基于生物识别技术的区块链vr硬件钱包
WO2020046815A1 (en) * 2018-08-26 2020-03-05 The Research Foundation For The State University Of New York System and method for inter-individual discrimination based on oculomotor kinematics
DE102018214976A1 (de) * 2018-09-04 2020-03-05 Robert Bosch Gmbh Verfahren zur Steuerung einer Multimedia-Einrichtung sowie Computerprogramm und Einrichtung dazu
GB2576910B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc User profile generating system and method
GB2576904B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc Content modification system and method
CN109145566A (zh) 2018-09-08 2019-01-04 太若科技(北京)有限公司 基于注视点信息解锁ar眼镜的方法、装置及ar眼镜
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11452839B2 (en) 2018-09-14 2022-09-27 Neuroenhancement Lab, LLC System and method of improving sleep
WO2020061042A1 (en) * 2018-09-17 2020-03-26 Facebook Technologies, Llc Eye tracking using reverse-biased light-emitting diode devices
USD950567S1 (en) 2018-09-18 2022-05-03 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934873S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD955396S1 (en) 2018-09-18 2022-06-21 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934872S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
US20200089855A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Password Authentication by Eye Tracking in Virtual Reality System
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
JP2022502798A (ja) 2018-09-24 2022-01-11 アイダプティック, インク.Eyedaptic, Inc. 電子視覚補助具における自律的ハンズフリー制御の改善
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
EP3857294A4 (en) 2018-09-26 2022-06-08 Magic Leap, Inc. OPTICAL POWER DIFFRACTION OPTICAL ELEMENTS
EP3857289A4 (en) 2018-09-26 2022-07-13 Magic Leap, Inc. GLASSES WITH PIN-HOLE AND SLOT CAMERAS
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11119573B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Pupil modulation as a cognitive control signal
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11055388B2 (en) * 2018-10-08 2021-07-06 Advanced New Technologies Co., Ltd. Passive affective and knowledge-based authentication through eye movement tracking
CN111083299A (zh) * 2018-10-18 2020-04-28 富士施乐株式会社 信息处理装置及存储介质
MX2021003713A (es) * 2018-10-19 2021-09-14 Univ Emory Sistemas y metodos para la evaluacion automatica pasiva de la memoria y/o prominencia visoespacial.
CN109040604B (zh) * 2018-10-23 2020-09-15 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
EP3871034A4 (en) 2018-10-26 2022-08-10 Magic Leap, Inc. ELECTROMAGNETIC AMBIENT DISTORTION CORRECTION FOR ELECTROMAGNETIC TRACKING
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN109376666B (zh) 2018-10-29 2022-01-25 百度在线网络技术(北京)有限公司 一种商品售卖方法、装置、售卖机及存储介质
SE542887C2 (en) * 2018-10-31 2020-08-11 Tobii Ab Gaze tracking using mapping of pupil center position
WO2020089724A1 (en) 2018-11-01 2020-05-07 3M Innovative Properties Company Device, user, or server registration and verification
US10417497B1 (en) 2018-11-09 2019-09-17 Qwake Technologies Cognitive load reducing platform for first responders
US10896492B2 (en) 2018-11-09 2021-01-19 Qwake Technologies, Llc Cognitive load reducing platform having image edge enhancement
US11890494B2 (en) 2018-11-09 2024-02-06 Qwake Technologies, Inc. Retrofittable mask mount system for cognitive load reducing platform
US10833945B2 (en) * 2018-11-13 2020-11-10 International Business Machines Corporation Managing downloading of content
JP7389116B2 (ja) 2018-11-15 2023-11-29 マジック リープ, インコーポレイテッド 深層ニューラルネットワーク姿勢推定システム
WO2020102412A1 (en) 2018-11-16 2020-05-22 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
US11237393B2 (en) 2018-11-20 2022-02-01 Magic Leap, Inc. Eyepieces for augmented reality display system
WO2020107022A1 (en) * 2018-11-23 2020-05-28 Slingshot Aerospace, Inc. Signal processing workflow engine incorporating graphical user interface for space situational awareness
CN109683704B (zh) * 2018-11-29 2022-01-28 武汉中地地科传媒文化有限责任公司 一种ar界面交互方法及ar显示设备
EP3887925A4 (en) 2018-11-30 2022-08-17 Magic Leap, Inc. MULTIMODAL HANDHELD LOCATION AND ORIENTATION TO AVATAR MOVEMENT
KR102707598B1 (ko) * 2018-12-04 2024-09-19 삼성전자주식회사 3차원 증강 현실을 위한 캘리브레이션 방법 및 그 장치
CN111277857B (zh) * 2018-12-04 2021-04-13 清华大学 一种流媒体调度方法及装置
CN118409394A (zh) 2018-12-21 2024-07-30 奇跃公司 用于促进波导内的全内反射的气穴结构
US11443515B2 (en) * 2018-12-21 2022-09-13 Ambient AI, Inc. Systems and methods for machine learning enhanced intelligent building access endpoint security monitoring and management
CN109799838B (zh) * 2018-12-21 2022-04-15 金季春 一种训练方法和系统
WO2020132941A1 (zh) * 2018-12-26 2020-07-02 中国科学院深圳先进技术研究院 识别方法及相关装置
CN113508580A (zh) 2018-12-28 2021-10-15 奇跃公司 具有左右眼共享显示器的增强和虚拟现实显示系统
JP7451534B2 (ja) 2018-12-28 2024-03-18 マジック リープ, インコーポレイテッド 発光型マイクロディスプレイを伴う仮想および拡張現実ディスプレイシステム
US11139071B2 (en) 2018-12-31 2021-10-05 Cerner Innovation, Inc. Virtual augmentation of clinical care environments
EP3912013A1 (en) 2019-01-16 2021-11-24 Pupil Labs GmbH Methods for generating calibration data for head-wearable devices and eye tracking system
US11036043B2 (en) * 2019-01-17 2021-06-15 Advanced New Technologies Co., Ltd. Identity authentication using lens features
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11458040B2 (en) 2019-01-23 2022-10-04 Meta Platforms Technologies, Llc Corneal topography mapping with dense illumination
WO2020154524A1 (en) 2019-01-25 2020-07-30 Magic Leap, Inc. Eye-tracking using images having different exposure times
CN109828734A (zh) * 2019-01-29 2019-05-31 深圳市海派通讯科技有限公司 智能终端显示屏幕控制方法、系统及存储介质
EP3918385A4 (en) 2019-02-01 2022-11-02 Magic Leap, Inc. IN-LINE INPUT COUPLING OPTICAL ELEMENTS
EP3921720B1 (en) 2019-02-06 2024-05-22 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
KR102246408B1 (ko) * 2019-02-14 2021-05-18 엔에이치엔 주식회사 딥러닝 기반 유사상품 제공방법
CN109919065A (zh) * 2019-02-26 2019-06-21 浪潮金融信息技术有限公司 一种使用眼球追踪技术在屏幕上获取关注点的方法
US11138302B2 (en) * 2019-02-27 2021-10-05 International Business Machines Corporation Access control using multi-authentication factors
WO2020176783A1 (en) 2019-02-28 2020-09-03 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
KR102190527B1 (ko) * 2019-02-28 2020-12-14 현대모비스 주식회사 자동 영상 합성 장치 및 방법
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
RU2715300C1 (ru) * 2019-03-12 2020-02-26 Алексей Федорович Хорошев Способ создания данных соответствия объекта и информации о нем
WO2020185832A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Method of fabricating display device having patterned lithium-based transition metal oxide
US11982813B2 (en) 2019-03-12 2024-05-14 Magic Leap, Inc. Waveguides with high index materials and methods of fabrication thereof
CN110059232B (zh) * 2019-03-15 2021-05-07 杭州电子科技大学 一种基于用户体验度量的数据可视化方法
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN110011985A (zh) 2019-03-19 2019-07-12 阿里巴巴集团控股有限公司 用于操作物联网设备的方法和系统
US12055721B2 (en) 2019-03-20 2024-08-06 Magic Leap, Inc. System for collecting light
EP3942228A4 (en) 2019-03-20 2022-12-21 Magic Leap, Inc. EYE ILLUMINATION SUPPLY SYSTEM
US11099384B2 (en) * 2019-03-27 2021-08-24 Lenovo (Singapore) Pte. Ltd. Adjusting display settings of a head-mounted display
WO2020201999A2 (en) * 2019-04-01 2020-10-08 Evolution Optiks Limited Pupil tracking system and method, and digital display device and digital image rendering system and method using same
US11644897B2 (en) 2019-04-01 2023-05-09 Evolution Optiks Limited User tracking system using user feature location and method, and digital display device and digital image rendering system and method using same
USD916892S1 (en) * 2019-04-09 2021-04-20 Google Llc Display screen or portion thereof with graphical user interface with icon
TWI754806B (zh) * 2019-04-09 2022-02-11 栗永徽 利用深度學習定位虹膜之裝置與方法
EP3956717B1 (en) 2019-04-15 2024-10-09 Magic Leap, Inc. Sensor fusion for electromagnetic tracking
CN110060678B (zh) * 2019-04-16 2021-09-14 深圳欧博思智能科技有限公司 一种基于智能设备的虚拟角色控制方法及智能设备
JP7060544B6 (ja) * 2019-04-26 2022-05-23 塁 佐藤 運動用設備
JP2022530900A (ja) 2019-05-01 2022-07-04 マジック リープ, インコーポレイテッド コンテンツプロビジョニングシステムおよび方法
CN111897411A (zh) * 2019-05-05 2020-11-06 Oppo广东移动通信有限公司 基于大气光通信的交互方法、装置和穿戴设备
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
SE543144C2 (en) * 2019-05-15 2020-10-13 Tobii Ab Method and system for dwell-less, hands-free interaction with a selectable object
JP7423659B2 (ja) 2019-05-20 2024-01-29 マジック リープ, インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
EP3973468A4 (en) 2019-05-21 2022-09-14 Magic Leap, Inc. HANDPOSITION ESTIMATING
WO2020243012A1 (en) 2019-05-24 2020-12-03 Magic Leap, Inc. Variable focus assemblies
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN114174463A (zh) 2019-05-28 2022-03-11 奇跃公司 用于便携式电子设备的热管理系统
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
JP6830981B2 (ja) * 2019-05-29 2021-02-17 株式会社東芝 ウェアラブル機器及び表示方法
EP3744227A1 (en) * 2019-05-31 2020-12-02 Essilor International Binocular refraction instrument, set of test images, binocular refraction method and computer program associated thereof
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US10885173B2 (en) 2019-06-04 2021-01-05 Nant Holdings Ip, Llc Content authentication and validation via multi-factor digital tokens, systems, and methods
WO2020244752A1 (en) 2019-06-05 2020-12-10 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
CN110338748B (zh) * 2019-06-13 2022-03-08 宁波明星科技发展有限公司 快速定位视力值的方法、存储介质、终端及视力检测仪
JP7373594B2 (ja) 2019-06-20 2023-11-02 マジック リープ, インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
WO2020256973A1 (en) 2019-06-21 2020-12-24 Magic Leap, Inc. Secure authorization via modal window
EP3987329A4 (en) 2019-06-24 2023-10-11 Magic Leap, Inc. WAVEGUIDES WITH INTEGRATED SPACERS AND RELATED SYSTEMS AND METHODS
US10976816B2 (en) * 2019-06-25 2021-04-13 Microsoft Technology Licensing, Llc Using eye tracking to hide virtual reality scene changes in plain sight
US11307650B1 (en) * 2019-06-25 2022-04-19 Apple Inc. Modifying virtual content to invoke a target user state
US10901502B2 (en) * 2019-06-27 2021-01-26 Facebook, Inc. Reducing head mounted display power consumption and heat generation through predictive rendering of content
EP3994510A4 (en) 2019-07-05 2023-08-02 Magic Leap, Inc. EYE TRACKING LATENCY IMPROVEMENTS
US11029805B2 (en) 2019-07-10 2021-06-08 Magic Leap, Inc. Real-time preview of connectable objects in a physically-modeled virtual space
US11379610B2 (en) * 2019-07-10 2022-07-05 Blackberry Limited Methods and devices for automatically encrypting files
US20220262504A1 (en) * 2019-07-12 2022-08-18 Orion Corporation Electronic arrangement for therapeutic interventions utilizing virtual or augmented reality and related method
WO2021011668A1 (en) * 2019-07-15 2021-01-21 Surgical Theater, Inc. Augmented reality system and method for tele-proctoring a surgical procedure
US11868525B2 (en) 2019-07-16 2024-01-09 Magic Leap, Inc. Eye center of rotation determination with one or more eye tracking cameras
CN114514443A (zh) 2019-07-19 2022-05-17 奇跃公司 制造衍射光栅的方法
EP3999884A4 (en) 2019-07-19 2023-08-30 Magic Leap, Inc. DISPLAY DEVICE HAVING DIFFRACTION GRATINGS WITH REDUCED POLARIZATION SENSITIVITY
US11907417B2 (en) 2019-07-25 2024-02-20 Tectus Corporation Glance and reveal within a virtual environment
WO2021021670A1 (en) 2019-07-26 2021-02-04 Magic Leap, Inc. Systems and methods for augmented reality
US11354805B2 (en) * 2019-07-30 2022-06-07 Apple Inc. Utilization of luminance changes to determine user characteristics
CN114467279A (zh) 2019-07-31 2022-05-10 奇跃公司 使用分布式账本用于增强现实的用户数据管理
EP4009851A1 (en) 2019-08-06 2022-06-15 Alcon Inc. Scene camera systems and methods for vitreoretinal surgery
CN110572632A (zh) * 2019-08-15 2019-12-13 中国人民解放军军事科学院国防科技创新研究院 一种基于视线跟踪的增强现实显示系统、头盔和方法
US11263634B2 (en) 2019-08-16 2022-03-01 Advanced New Technologies Co., Ltd. Payment method and device
US11380065B2 (en) * 2019-08-20 2022-07-05 Red Pacs, Llc Advanced head display unit for fire fighters
WO2021041990A1 (en) 2019-08-28 2021-03-04 Qwake Technologies, Llc Wearable assisted perception module for navigation and communication in hazardous environments
US11282297B2 (en) * 2019-09-10 2022-03-22 Blue Planet Training, Inc. System and method for visual analysis of emotional coherence in videos
CN114616210A (zh) 2019-09-11 2022-06-10 奇跃公司 带有具有降低的偏振灵敏度的衍射光栅的显示装置
US11295309B2 (en) * 2019-09-13 2022-04-05 International Business Machines Corporation Eye contact based financial transaction
US11010980B2 (en) 2019-09-25 2021-05-18 International Business Machines Corporation Augmented interface distraction reduction
US11354910B2 (en) * 2019-09-27 2022-06-07 Ncr Corporation Frictionless authentication and monitoring
US11601693B2 (en) 2019-09-30 2023-03-07 Kyndryl, Inc. Automatic adaptation of digital content
CN110751064B (zh) * 2019-09-30 2022-06-24 四川大学 基于图像处理的眨眼次数分析方法和系统
US20210097436A1 (en) * 2019-10-01 2021-04-01 Kelley S. Weiland Automated system for generating properly tagged training data for and verifying the efficacy of artificial intelligence algorithms
US11436655B2 (en) * 2019-10-01 2022-09-06 Ebay Inc. Different action user-interface components in a comparison view
US11176757B2 (en) 2019-10-02 2021-11-16 Magic Leap, Inc. Mission driven virtual character for user interaction
US11276246B2 (en) 2019-10-02 2022-03-15 Magic Leap, Inc. Color space mapping for intuitive surface normal visualization
KR102128894B1 (ko) * 2019-10-10 2020-07-01 주식회사 메디씽큐 스마트 안경의 시선 트래킹 시스템 및 그 방법
CN110837294B (zh) * 2019-10-14 2023-12-12 成都西山居世游科技有限公司 一种基于眼球追踪的面部表情控制方法及系统
JP7423248B2 (ja) * 2019-10-23 2024-01-29 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム及び記憶媒体
US10901505B1 (en) 2019-10-24 2021-01-26 Tectus Corporation Eye-based activation and tool selection systems and methods
US11662807B2 (en) * 2020-01-06 2023-05-30 Tectus Corporation Eye-tracking user interface for virtual tool control
US10607077B1 (en) * 2019-10-28 2020-03-31 EyeVerify Inc. Identity authentication using an inlier neural network
CN110745000B (zh) * 2019-10-29 2021-09-28 上海天马有机发光显示技术有限公司 一种车辆仪表及其显示方法、车速监控显示系统
CN110727352A (zh) * 2019-10-31 2020-01-24 哈雷医用(广州)智能技术有限公司 一种对抑郁症具有改善作用的电子产品及其控制方法
US11830318B2 (en) 2019-10-31 2023-11-28 8 Bit Development Inc. Method of authenticating a consumer or user in virtual reality, thereby enabling access to controlled environments
TWI731461B (zh) * 2019-11-01 2021-06-21 宏碁股份有限公司 真實人臉的識別方法與真實人臉的識別裝置
US10795984B1 (en) * 2019-11-01 2020-10-06 Capital One Services, Llc Active locking mechanism using machine learning
WO2021092211A1 (en) * 2019-11-05 2021-05-14 The Regents Of The University Of Colorado, A Body Corporate Systems and methods to probe ocular structures
US11493989B2 (en) 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
USD982593S1 (en) 2019-11-08 2023-04-04 Magic Leap, Inc. Portion of a display screen with animated ray
JP7467619B2 (ja) 2019-11-08 2024-04-15 マジック リープ, インコーポレイテッド 複数の材料を含む光再指向構造を伴うメタ表面およびその加工方法
JP2023501574A (ja) 2019-11-14 2023-01-18 マジック リープ, インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法
CN114667538A (zh) 2019-11-15 2022-06-24 奇跃公司 用于在外科手术环境中使用的观看系统
JP2023503257A (ja) 2019-11-18 2023-01-27 マジック リープ, インコーポレイテッド パス可能世界のマッピングおよび位置特定
US12094139B2 (en) 2019-11-22 2024-09-17 Magic Leap, Inc. Systems and methods for enhanced depth determination using projection spots
JP7494297B2 (ja) 2019-11-22 2024-06-03 マジック リープ, インコーポレイテッド 液晶層をパターン化するための方法およびシステム
US11665379B2 (en) * 2019-11-26 2023-05-30 Photo Sensitive Cinema (PSC) Rendering image content as time-spaced frames
CN114761859A (zh) 2019-11-26 2022-07-15 奇跃公司 用于增强或虚拟现实显示系统的增强眼睛跟踪
US11273341B2 (en) * 2019-11-27 2022-03-15 Ready 2 Perform Technology LLC Interactive visualization system for biomechanical assessment
US10871825B1 (en) * 2019-12-04 2020-12-22 Facebook Technologies, Llc Predictive eye tracking systems and methods for variable focus electronic displays
CN112904997B (zh) * 2019-12-04 2023-05-26 Oppo广东移动通信有限公司 设备控制方法及相关产品
WO2021113322A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Dynamic browser stage
CN114788251A (zh) 2019-12-06 2022-07-22 奇跃公司 在静态图像中编码立体闪屏
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941307S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with graphical user interface for guiding graphics
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940749S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
US11288876B2 (en) 2019-12-13 2022-03-29 Magic Leap, Inc. Enhanced techniques for volumetric stage mapping based on calibration object
US20210186396A1 (en) * 2019-12-19 2021-06-24 Senseye, Inc. Ocular system to assess operational risk
CN113010066B (zh) * 2019-12-20 2022-11-11 华为技术有限公司 显示参数确定方法及装置
US20210192853A1 (en) * 2019-12-20 2021-06-24 Abdul Zalil Method and system for wireless transmission of audio/video media content to a display device
CN111091595B (zh) * 2019-12-23 2023-06-02 吉林省广播电视研究所(吉林省广播电视局科技信息中心) 斜视三维测绘方法及测绘系统
CN111159678B (zh) * 2019-12-26 2023-08-18 联想(北京)有限公司 一种身份识别方法、装置及存储介质
CN111292850A (zh) * 2020-01-22 2020-06-16 福建中医药大学 一种adhd儿童注意力智能康复系统
EP4094119A4 (en) 2020-01-24 2024-04-10 Magic Leap, Inc. MOVING AND INTERACTING WITH CONTENT USING ONE CONTROL DEVICE
US11340695B2 (en) 2020-01-24 2022-05-24 Magic Leap, Inc. Converting a 2D positional input into a 3D point in space
WO2021154656A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Enhanced state control for anchor-based cross reality applications
EP4097685A4 (en) 2020-01-27 2024-02-21 Magic Leap, Inc. NEUTRAL AVATARS
US11574424B2 (en) 2020-01-27 2023-02-07 Magic Leap, Inc. Augmented reality map curation
USD948574S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with a set of avatars
USD948562S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with avatar
USD936704S1 (en) 2020-01-27 2021-11-23 Magic Leap, Inc. Portion of a display screen with avatar
USD949200S1 (en) 2020-01-27 2022-04-19 Magic Leap, Inc. Portion of a display screen with a set of avatars
EP4097564A4 (en) 2020-01-27 2024-02-14 Magic Leap, Inc. LOOK TIMER BASED EXPANSION OF THE FUNCTIONALITY OF A USER INPUT DEVICE
EP4097532A4 (en) 2020-01-31 2024-02-21 Magic Leap, Inc. AUGMENTED REALITY AND VIRTUAL REALITY DISPLAY SYSTEMS FOR OCULOMETRICAL ASSESSMENTS
CN111402100A (zh) * 2020-02-03 2020-07-10 重庆特斯联智慧科技股份有限公司 一种通过目标追踪实现的人口登记方法和系统
CN111880662A (zh) * 2020-02-06 2020-11-03 北京师范大学 一种应用于交互式地图的眼动控制系统
CN111880663A (zh) * 2020-02-06 2020-11-03 北京师范大学 一种应用于交互式地图的眼动控制方法及装置
US11538199B2 (en) * 2020-02-07 2022-12-27 Lenovo (Singapore) Pte. Ltd. Displaying a window in an augmented reality view
US11709363B1 (en) 2020-02-10 2023-07-25 Avegant Corp. Waveguide illumination of a spatial light modulator
JP7455985B2 (ja) 2020-02-10 2024-03-26 マジック リープ, インコーポレイテッド 複合現実環境における3次元コンテナに対する身体中心コンテンツ位置付け
US11726349B2 (en) 2020-02-14 2023-08-15 Magic Leap, Inc. Virtual object movement speed curve for virtual and augmented reality display systems
US11016656B1 (en) * 2020-02-14 2021-05-25 International Business Machines Corporation Fault recognition self-learning graphical user interface
US11300784B2 (en) * 2020-02-21 2022-04-12 Fotonation Limited Multi-perspective eye acquisition
JP7515604B2 (ja) 2020-02-26 2024-07-12 マジック リープ, インコーポレイテッド 手続型電子ビームリソグラフィ
WO2021172553A1 (ja) * 2020-02-28 2021-09-02 アステラス製薬株式会社 ウェアラブル機器、情報処理装置、情報処理システム、及びプログラム
JP2023516594A (ja) 2020-02-28 2023-04-20 マジック リープ, インコーポレイテッド 統合されたスペーサを伴う接眼レンズを形成するための金型を加工する方法
KR102379350B1 (ko) * 2020-03-02 2022-03-28 주식회사 비주얼캠프 페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102359602B1 (ko) * 2020-03-10 2022-02-08 한국과학기술원 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들
US11262588B2 (en) 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
EP3883235A1 (en) 2020-03-17 2021-09-22 Aptiv Technologies Limited Camera control modules and methods
WO2021188926A1 (en) 2020-03-20 2021-09-23 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
WO2021195283A1 (en) 2020-03-25 2021-09-30 Magic Leap, Inc. Optical device with one-way mirror
CN111383313B (zh) * 2020-03-31 2023-05-12 歌尔股份有限公司 一种虚拟模型渲染方法、装置、设备及可读存储介质
US11537701B2 (en) 2020-04-01 2022-12-27 Toyota Motor North America, Inc. Transport related n-factor authentication
CN115698824A (zh) 2020-04-03 2023-02-03 奇跃公司 具有纳米线led微型显示器的可穿戴显示系统
JP7578711B2 (ja) 2020-04-03 2024-11-06 マジック リープ, インコーポレイテッド 最適視線弁別のためのアバタカスタマイズ
US11536970B1 (en) * 2020-04-07 2022-12-27 Google Llc Tracking of item of interest using wearable heads up display
US11587388B2 (en) 2020-04-22 2023-02-21 Igt Determining a player's emotional state using player gaze movement at gaming devices
US11950022B1 (en) 2020-04-24 2024-04-02 Apple Inc. Head-mounted devices with forward facing cameras
CN111399659B (zh) * 2020-04-24 2022-03-08 Oppo广东移动通信有限公司 界面显示方法及相关装置
US11189248B1 (en) * 2020-05-06 2021-11-30 Apple Inc. Systems and methods for switching vision correction graphical outputs on a display of an electronic device
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DE102020113579A1 (de) * 2020-05-19 2021-11-25 Audi Aktiengesellschaft Kameravorrichtung zum Erzeugen eines Abbilds einer Umgebung sowie Scheinwerferanordnung
EP4154050A4 (en) 2020-05-22 2024-06-05 Magic Leap, Inc. AUGMENTED AND VIRTUAL REALITY DISPLAY SYSTEMS WITH CORRELATED OPTICAL REGIONS
US11615205B2 (en) * 2020-05-28 2023-03-28 Bank Of America Corporation Intelligent dynamic data masking on display screens based on viewer proximity
US11195490B1 (en) * 2020-05-29 2021-12-07 International Business Machines Corporation Smart contact lens with adjustable light transmittance
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
WO2021247435A1 (en) 2020-06-05 2021-12-09 Magic Leap, Inc. Enhanced eye tracking techniques based on neural network analysis of images
JP7218978B2 (ja) 2020-06-15 2023-02-07 株式会社mediVR リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム
US11706656B2 (en) 2020-06-29 2023-07-18 Qualcomm Incorporated Downlink data prioritization for time-sensitive applications
GB202010326D0 (en) * 2020-07-06 2020-08-19 Palakollu Vamsee Krishna A virtual reality headset
US11690435B2 (en) 2020-07-07 2023-07-04 Perfect Mobile Corp. System and method for navigating user interfaces using a hybrid touchless control mechanism
TW202206030A (zh) * 2020-07-14 2022-02-16 美商外科劇院股份有限公司 用於四維血管造影之系統及方法
KR20230040346A (ko) 2020-07-15 2023-03-22 매직 립, 인코포레이티드 비구면 각막 모델을 사용한 눈 추적
CN115885237A (zh) * 2020-07-17 2023-03-31 惠普发展公司,有限责任合伙企业 头戴式显示器图像和中心凹区亮度计算
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
WO2022025921A1 (en) * 2020-07-31 2022-02-03 Hewlett-Packard Development Company, L.P. Change blindness detection via bio-analytics
US11852829B2 (en) 2020-08-07 2023-12-26 Magic Leap, Inc. Tunable cylindrical lenses and head-mounted display including the same
JP7154259B2 (ja) 2020-08-11 2022-10-17 株式会社トプコン 眼科装置
JP7154260B2 (ja) * 2020-08-11 2022-10-17 株式会社トプコン 眼科装置
WO2022036302A1 (en) 2020-08-14 2022-02-17 Hes Ip Holdings, Llc Systems and methods for superimposing virtual image on real-time image
US11321797B2 (en) * 2020-08-25 2022-05-03 Kyndryl, Inc. Wearable watermarks
US12029483B2 (en) * 2020-08-27 2024-07-09 Revieve Oy System and method for finding an area of an eye from a facial image
WO2022046120A1 (en) * 2020-08-31 2022-03-03 Hewlett-Packard Development Company, L.P. User authentication using event cameras
US11620855B2 (en) 2020-09-03 2023-04-04 International Business Machines Corporation Iterative memory mapping operations in smart lens/augmented glasses
TWI838640B (zh) 2020-09-03 2024-04-11 美商海思智財控股有限公司 改善雙眼視覺的系統與方法
WO2022051931A1 (en) * 2020-09-09 2022-03-17 Boe Technology Group Co., Ltd. Ar/vr image display method, ar/vr image display apparatus, and computer-program product
CN112084990A (zh) * 2020-09-16 2020-12-15 重庆科技学院 一种基于卷积神经网络及回溯的课堂抬头率统计系统
KR102230797B1 (ko) * 2020-09-23 2021-03-22 국방과학연구소 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
WO2022073013A1 (en) 2020-09-29 2022-04-07 Avegant Corp. An architecture to illuminate a display panel
WO2022072565A1 (en) 2020-09-30 2022-04-07 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices
US20230350197A1 (en) * 2020-10-05 2023-11-02 Sony Group Corporation Line-of-sight detection device and display device
GB2599900B (en) * 2020-10-09 2023-01-11 Sony Interactive Entertainment Inc Data processing system and method for image enhancement
US11281291B1 (en) 2020-10-20 2022-03-22 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11609629B2 (en) 2020-10-20 2023-03-21 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11747896B2 (en) 2020-10-20 2023-09-05 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11392198B2 (en) 2020-10-20 2022-07-19 ROVl GUIDES, INC. Methods and systems of extended reality environment interaction based on eye motions
US11320903B1 (en) 2020-10-20 2022-05-03 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11659266B2 (en) * 2020-10-21 2023-05-23 Qualcomm Incorporated Power control based at least in part on user eye movement
US11803237B2 (en) 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
US11184294B1 (en) * 2020-12-04 2021-11-23 Capital One Services, Llc Methods and systems for managing multiple content delivery networks
JP7252295B2 (ja) * 2020-12-09 2023-04-04 株式会社トプコン 眼科装置及び眼科測定方法
EP4213482A4 (en) * 2020-12-16 2024-03-20 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR TRANSMITTING SEVERAL PARTS OF APPLICATION DATA WITH LOW LATENCY
US11869650B2 (en) * 2021-01-12 2024-01-09 Tandem Diabetes Care, Inc. Remote access for medical device therapy
US11568988B2 (en) 2021-01-12 2023-01-31 Emed Labs, Llc Health testing and diagnostics platform
CN114765558B (zh) 2021-01-15 2024-04-09 台达电子工业股份有限公司 工业设备监控方法及工业设备监控系统
US11625095B2 (en) 2021-01-22 2023-04-11 Zinn Labs, Inc. Gaze sensors and display elements for detection of gaze vectors and user control at headset
US20220238220A1 (en) * 2021-01-22 2022-07-28 Zinn Labs, Inc. Headset integrated into healthcare platform
JP7119145B2 (ja) * 2021-01-25 2022-08-16 株式会社東芝 ウェアラブル機器及び表示方法
KR102715596B1 (ko) 2021-02-05 2024-10-11 호서대학교 산학협력단 장애인을 위한 전자책 제어 장치 및 제어 방법
CA3209717A1 (en) * 2021-02-24 2022-09-01 Lifebrand, Inc. System and method for determining the impact of a social media post across multiple social media platforms
US20220293241A1 (en) * 2021-03-12 2022-09-15 Facebook Technologies, Llc Systems and methods for signaling cognitive-state transitions
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11273074B1 (en) * 2021-03-24 2022-03-15 Stroma Medical Corporation Systems and methods for for physical and electronic security of medical devices
WO2022203620A1 (en) * 2021-03-25 2022-09-29 Dm Dayanikli Tüketi̇m Mallari Sanayi̇ Ve Ti̇caret Li̇mi̇ted Şi̇rketi̇ Digital cinema system
CN113077795B (zh) * 2021-04-06 2022-07-15 重庆邮电大学 一种通道注意力传播与聚合下的声纹识别方法
US11823148B2 (en) 2021-04-15 2023-11-21 Bank Of America Corporation Augmented reality-enabled ATM for secure augmented reality check realization
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US12118825B2 (en) * 2021-05-03 2024-10-15 NeuraLight Ltd. Obtaining high-resolution oculometric parameters
US11369454B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
CN113297994B (zh) * 2021-05-31 2023-08-18 中国航天科工集团第二研究院 一种飞行员行为分析方法及系统
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US20220398302A1 (en) * 2021-06-10 2022-12-15 Trivver, Inc. Secure wearable lens apparatus
US12099654B1 (en) 2021-06-21 2024-09-24 Apple Inc. Adaptation of electronic content
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
US20230008868A1 (en) * 2021-07-08 2023-01-12 Nippon Telegraph And Telephone Corporation User authentication device, user authentication method, and user authentication computer program
CN113434511B (zh) * 2021-07-12 2023-08-29 北京林业大学 一种基于希尔伯特曲线的聚类索引方法
US20230040163A1 (en) * 2021-08-09 2023-02-09 Jpmorgan Chase Bank, N.A. Systems and methods for processing intelligence of users captured through quantitative data collection
WO2023023599A1 (en) * 2021-08-18 2023-02-23 Advanced Neuromodulation Systems, Inc. Systems and methods for providing digital health services
KR102644877B1 (ko) * 2021-08-20 2024-03-08 주식회사 경신 차량 제어 장치 및 방법
CN113655927B (zh) * 2021-08-24 2024-04-26 亮风台(上海)信息科技有限公司 一种界面交互方法与设备
US11651404B2 (en) 2021-08-31 2023-05-16 Kyndryl, Inc. Virtual shopping assistant
US12014829B2 (en) 2021-09-01 2024-06-18 Emed Labs, Llc Image processing and presentation techniques for enhanced proctoring sessions
CN113679335B (zh) * 2021-09-02 2024-10-22 重庆远视科技有限公司 一种验光仪
US12135471B2 (en) 2021-09-10 2024-11-05 Tectus Corporation Control of an electronic contact lens using eye gestures
US20230102506A1 (en) * 2021-09-25 2023-03-30 FiveGen, LLC Selective Recommendation by Mapping Game Decisions and Behaviors to Predefined Attributes
US20230097716A1 (en) * 2021-09-25 2023-03-30 FiveGen, LLC Authenticating Individuals Based on Game Decisions and Behaviors
EP4411630A4 (en) 2021-09-27 2024-11-06 Nec Corp AUTHENTICATION SYSTEM, AUTHENTICATION DEVICE, AUTHENTICATION METHOD AND RECORDING MEDIUM
CN113923252B (zh) * 2021-09-30 2023-11-21 北京蜂巢世纪科技有限公司 图像显示装置、方法和系统
WO2023075771A1 (en) * 2021-10-28 2023-05-04 Hewlett-Packard Development Company, L.P. Avatar training images for training machine learning model
US11592899B1 (en) * 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US20230289535A1 (en) * 2021-11-03 2023-09-14 Virginia Tech Intellectual Properties, Inc. Visual language processing modeling framework via an attention-on-attention mechanism
WO2023091403A2 (en) * 2021-11-17 2023-05-25 Meta Platforms Technologies, Llc Gaze-based user interface with assistant features for smart glasses in immersive reality applications
US11789530B2 (en) 2021-11-17 2023-10-17 Meta Platforms Technologies, Llc Gaze-based user interface with assistant features for smart glasses in immersive reality applications
US20230305632A1 (en) * 2021-12-02 2023-09-28 SoftEye, Inc. Systems, apparatus, and methods for gesture-based augmented reality, extended reality
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US12020704B2 (en) 2022-01-19 2024-06-25 Google Llc Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant
US12118138B2 (en) 2022-02-14 2024-10-15 Tectus Corporation Vergence authentication
US11852825B1 (en) * 2022-03-08 2023-12-26 Meta Platforms Technologies, Llc Selective notifications from eye measurements
US20230360057A1 (en) * 2022-05-04 2023-11-09 AT&T Communications Services India Private Limited System for augmented intelligence for sentiment analysis in a virtual agent
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
US20240012920A1 (en) * 2022-07-05 2024-01-11 Bank Of America Corporation System and method for controlling access security protocols in a database management system
US12135429B2 (en) 2022-12-08 2024-11-05 Meta Platforms Technologies, Llc Pupil-steering for three-dimensional (3D) resolution enhancement in single photon avalanche diode (SPAD) eye tracking (ET)
CN115658933B (zh) * 2022-12-28 2023-04-07 四川大学华西医院 心理状态知识库构建方法、装置、计算机设备及存储介质
GB2627210A (en) * 2023-02-15 2024-08-21 Sony Interactive Entertainment Inc Graphics rendering apparatus and method
US20240293745A1 (en) 2023-03-01 2024-09-05 Tencent America LLC Providing game controls through graphical user interfaces
US20240302902A1 (en) * 2023-03-07 2024-09-12 Sony Interactive Entertainment Inc. Leveraging eye gestures to enhance game experience
WO2024187070A2 (en) * 2023-03-08 2024-09-12 Arizona Board Of Regents On Behalf Of The University Of Arizona Method and system for eye tracking using deflectometric information
US12112511B1 (en) 2023-04-05 2024-10-08 Sony Interactive Entertainment Inc. Optimization of eye capture conditions for each user and use case
CN116436919B (zh) * 2023-06-13 2023-10-10 深圳市明源云科技有限公司 云资源消耗优化方法、装置、电子设备及可读存储介质
TWI839285B (zh) * 2023-08-04 2024-04-11 上弘醫療設備股份有限公司 影像轉語音之視障輔助裝置
CN118053196B (zh) * 2024-04-15 2024-07-05 北京航空航天大学 基于扫视与凝视的单波段骨干网络架构的特征提取方法

Family Cites Families (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3863243A (en) 1972-01-19 1975-01-28 Max Skolnick Sleep inhibiting alarm
US3798599A (en) 1972-02-24 1974-03-19 H Kafafian Single input controller for a communication system
US4359724A (en) 1980-04-28 1982-11-16 Ronald R. Zimmerman Eyelid movement detector
US4737040A (en) 1985-02-15 1988-04-12 Moon Tag Y Keyboard device and method for entering Japanese language text utilizing Romaji character notation
US4953111A (en) 1987-02-12 1990-08-28 Omron Tateisi Electronics Co. Doze detector
US4850691A (en) 1987-03-18 1989-07-25 University Of Illinois Method and apparatus for determining pupillary response parameters
US4815839A (en) 1987-08-03 1989-03-28 Waldorf Ronald A Infrared/video electronystagmographic apparatus
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US5214456A (en) 1991-10-09 1993-05-25 Computed Anatomy Incorporated Mapping of corneal topography with display of pupil perimeter
US5345281A (en) 1992-12-17 1994-09-06 John Taboada Eye tracking system and method
US5517021A (en) 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5402109A (en) 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers
US5481622A (en) 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
CA2126142A1 (en) 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US5469143A (en) 1995-01-10 1995-11-21 Cooper; David E. Sleep awakening device for drivers of motor vehicles
US5566067A (en) 1995-03-23 1996-10-15 The President And Fellows Of Harvard College Eyelid vigilance detector system
US5689241A (en) 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5570698A (en) 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
US5682144A (en) 1995-11-20 1997-10-28 Mannik; Kallis Hans Eye actuated sleep prevention devices and other eye controlled devices
US6003991A (en) 1996-02-17 1999-12-21 Erik Scott Viirre Eye examination apparatus and method for remote examination of a patient by a health professional
US5912721A (en) 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
US5886683A (en) 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
US6246344B1 (en) 1996-08-19 2001-06-12 William C. Torch Method and apparatus for voluntary communication
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6163281A (en) 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
US5748113A (en) 1996-08-19 1998-05-05 Torch; William C. Method and apparatus for communication
US5867587A (en) 1997-05-19 1999-02-02 Northrop Grumman Corporation Impaired operator detection and warning system employing eyeblink analysis
WO1999018842A1 (en) 1997-10-16 1999-04-22 The Board Of Trustees Of The Leland Stanford Junior University Method for inferring mental states from eye movements
US6007202A (en) 1997-10-23 1999-12-28 Lasersight Technologies, Inc. Eye illumination system and method
DE19803158C1 (de) 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6867752B1 (en) 1998-08-31 2005-03-15 Semiconductor Energy Laboratory Co., Ltd. Portable information processing system
US6087941A (en) 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
US6243076B1 (en) 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
AUPP612998A0 (en) 1998-09-23 1998-10-15 Canon Kabushiki Kaisha Multiview multimedia generation system
US6526159B1 (en) 1998-12-31 2003-02-25 Intel Corporation Eye tracking for resource and power management
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6577329B1 (en) 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
GB2348520B (en) 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US6116736A (en) 1999-04-23 2000-09-12 Neuroptics, Inc. Pupilometer with pupil irregularity detection capability
JP3636927B2 (ja) 1999-05-18 2005-04-06 三菱電機株式会社 顔画像処理装置
JP2001197400A (ja) * 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 表示装置、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置のための画像生成方法、コンピュータおよびプログラム記憶媒体
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
IL152756A0 (en) 2000-05-16 2003-06-24 Swisscom Mobile Ag Biometric identification and authentication method
US6608615B1 (en) 2000-09-19 2003-08-19 Intel Corporation Passive gaze-driven browsing
EP1405122B1 (de) 2000-10-07 2007-07-18 David Dickerson Vorrichtung zur bestimmung der orientierung eines auges
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
JP3586431B2 (ja) * 2001-02-28 2004-11-10 松下電器産業株式会社 個人認証方法および装置
US20030038754A1 (en) 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
US6712468B1 (en) 2001-12-12 2004-03-30 Gregory T. Edwards Techniques for facilitating use of eye tracking data
US7715595B2 (en) * 2002-01-16 2010-05-11 Iritech, Inc. System and method for iris identification using stereoscopic face recognition
KR100954640B1 (ko) * 2002-02-05 2010-04-27 파나소닉 주식회사 개인인증방법 및 개인인증장치
US6873714B2 (en) 2002-02-19 2005-03-29 Delphi Technologies, Inc. Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution
US6919907B2 (en) 2002-06-20 2005-07-19 International Business Machines Corporation Anticipatory image capture for stereoscopic remote viewing with foveal priority
US20040061680A1 (en) 2002-07-10 2004-04-01 John Taboada Method and apparatus for computer control
US7400782B2 (en) * 2002-08-28 2008-07-15 Arcsoft, Inc. Image warping correction in forming 360 degree panoramic images
JP3574653B2 (ja) * 2002-09-13 2004-10-06 松下電器産業株式会社 虹彩コード化方法、個人認証方法、虹彩コード登録装置、虹彩認証装置、および虹彩認証プログラム
US7486806B2 (en) * 2002-09-13 2009-02-03 Panasonic Corporation Iris encoding method, individual authentication method, iris code registration device, iris authentication device, and iris authentication program
WO2004034905A1 (en) * 2002-10-15 2004-04-29 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
US6932090B1 (en) 2003-02-06 2005-08-23 The United States Of America As Represented By The United States National Aeronautics And Space Administration Motion sickness treatment apparatus and method
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7881493B1 (en) 2003-04-11 2011-02-01 Eyetools, Inc. Methods and apparatuses for use of eye interpretation information
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
WO2005024698A2 (en) * 2003-09-04 2005-03-17 Sarnoff Corporation Method and apparatus for performing iris recognition from an image
US8098901B2 (en) * 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US7365738B2 (en) 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
US7561143B1 (en) 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
AU2005229076B2 (en) * 2004-04-01 2011-09-15 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
WO2005104793A2 (en) * 2004-04-28 2005-11-10 Neurocom International Inc. Isolating and quantifying functional impairments of the gaze stabilization system
ES2535364T3 (es) 2004-06-18 2015-05-08 Tobii Ab Control ocular de aparato informático
WO2006066218A2 (en) * 2004-12-16 2006-06-22 California Institute Of Technology Prosthetic devices and methods and systems related thereto
JP2008531142A (ja) 2005-03-04 2008-08-14 スリープ・ダイアグノスティックス・プロプライアタリー・リミテッド 覚醒の測定
WO2006132686A2 (en) * 2005-06-03 2006-12-14 Sarnoff Corporation Method and apparatus for designing iris biometric systems for use in minimally
JP2007006393A (ja) * 2005-06-27 2007-01-11 Institute Of Physical & Chemical Research 情報提示システム
US7438414B2 (en) 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
US7751598B2 (en) * 2005-08-25 2010-07-06 Sarnoff Corporation Methods and systems for biometric identification
CA2627068C (fr) * 2005-10-24 2015-02-03 Itesoft S.A. Dispositif et procede d'interaction avec un utilisateur
WO2007050029A2 (en) * 2005-10-28 2007-05-03 Tobii Technology Ab Eye tracker with visual feedback
US7429108B2 (en) 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US8260008B2 (en) * 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
JP2007159610A (ja) * 2005-12-09 2007-06-28 Matsushita Electric Ind Co Ltd 登録装置、認証装置、登録認証装置、登録方法、認証方法、登録プログラムおよび認証プログラム
US7760910B2 (en) 2005-12-12 2010-07-20 Eyetools, Inc. Evaluation of visual stimuli using existing viewing data
JP4367424B2 (ja) * 2006-02-21 2009-11-18 沖電気工業株式会社 個人識別装置,個人識別方法
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
JP2007319174A (ja) * 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd 撮影装置およびそれを用いた認証装置
US20070297653A1 (en) * 2006-06-22 2007-12-27 Rudolf Maarten Bolle Fingerprint representation using localized texture features
US7574021B2 (en) * 2006-09-18 2009-08-11 Sarnoff Corporation Iris recognition for a secure facility
US7970179B2 (en) * 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
JP2008206143A (ja) * 2007-01-23 2008-09-04 Kanazawa Univ 画像処理機能を備える撮像装置
JP2008198028A (ja) * 2007-02-14 2008-08-28 Sony Corp ウェアラブル装置、認証方法、およびプログラム
JP2008288767A (ja) 2007-05-16 2008-11-27 Sony Corp 情報処理装置および方法、並びにプログラム
IL184399A0 (en) * 2007-07-03 2007-10-31 Yossi Tsuria Content delivery system
WO2009029757A1 (en) * 2007-09-01 2009-03-05 Global Rainmakers, Inc. System and method for iris data acquisition for biometric identification
EP2235713A4 (en) 2007-11-29 2012-04-25 Oculis Labs Inc METHOD AND APPARATUS FOR SECURE VISUAL CONTENT DISPLAY
JP4399513B2 (ja) 2008-01-25 2010-01-20 パナソニック株式会社 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
WO2009107371A1 (ja) 2008-02-28 2009-09-03 パナソニック株式会社 視線検出装置及び視線検出方法
US20100045596A1 (en) * 2008-08-21 2010-02-25 Sony Ericsson Mobile Communications Ab Discreet feature highlighting
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
WO2010042557A2 (en) 2008-10-06 2010-04-15 Neuro Kinetics, Inc. Method and apparatus for corrective secondary saccades analysis with video oculography system
ATE527934T1 (de) 2009-04-01 2011-10-15 Tobii Technology Ab Adaptive kamera und illuminator-eyetracker
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
US8472681B2 (en) * 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
WO2011008793A1 (en) * 2009-07-13 2011-01-20 Emsense Corporation Systems and methods for generating bio-sensory metrics
ES2746378T3 (es) 2009-07-16 2020-03-05 Tobii Ab Unidad de detección ocular que usa flujo de datos paralelo
US20110047377A1 (en) * 2009-08-19 2011-02-24 Harris Corporation Secure digital communications via biometric key generation
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8922342B1 (en) * 2010-02-15 2014-12-30 Noblis, Inc. Systems, apparatus, and methods for continuous authentication
US9759917B2 (en) * 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9091851B2 (en) * 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
KR20110125460A (ko) * 2010-05-13 2011-11-21 김석수 시선추적을 이용한 제품 정보 제공 시스템 및 방법
US8593375B2 (en) 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US9916006B2 (en) 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
EP2499962B1 (en) * 2011-03-18 2015-09-09 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
US8643680B2 (en) 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8682073B2 (en) * 2011-04-28 2014-03-25 Sri International Method of pupil segmentation
US9256720B2 (en) * 2011-05-18 2016-02-09 Nextgenid, Inc. Enrollment kiosk including biometric enrollment and verification, face recognition and fingerprint matching systems
CA2836472C (en) * 2011-05-18 2022-11-22 Nextgenid, Inc. Multi-biometric enrollment kiosk including biometric enrollment and verification, face recognition and fingerprint matching systems
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
WO2013001143A2 (en) * 2011-06-30 2013-01-03 Nokia Corporation Method, apparatus and computer program product for generating panorama images
US20130021374A1 (en) * 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
KR102024954B1 (ko) * 2011-08-22 2019-09-24 아이락 엘엘씨 아티팩트 없는 이미지들을 캡처하기 위한 시스템들 및 방법들
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
WO2013033195A2 (en) * 2011-08-30 2013-03-07 Microsoft Corporation Head mounted display with iris scan profiling
US8223024B1 (en) * 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
DK2587341T3 (en) * 2011-10-27 2017-04-03 Tobii Ab Power management in an eye tracking system
EP2774353A4 (en) * 2011-11-03 2015-11-18 Intel Corp PICTURES BASED ON EYE PERSONALIZATION
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
KR101891786B1 (ko) 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US8955973B2 (en) * 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
US9746918B2 (en) * 2012-01-26 2017-08-29 Umoove Services Ltd. Eye tracking
US9001030B2 (en) 2012-02-15 2015-04-07 Google Inc. Heads up display
KR101158502B1 (ko) * 2012-02-16 2012-06-20 김유정 액세스 컨트롤용 사용자 인식 장치
JP6366510B2 (ja) * 2012-03-09 2018-08-01 オキュスペクト オサケ ユキチュア 視覚系の機能を評価するためのシステムの作動方法および装置
CN104246682B (zh) * 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US9082011B2 (en) 2012-03-28 2015-07-14 Texas State University—San Marcos Person identification using ocular biometrics with liveness detection
US8864310B2 (en) 2012-05-01 2014-10-21 RightEye, LLC Systems and methods for evaluating human eye tracking
EP2847648A4 (en) * 2012-05-09 2016-03-02 Intel Corp EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION
DE102012105664A1 (de) 2012-06-28 2014-04-10 Oliver Hein Verfahren und Vorrichtung zur Kodierung von Augen- und Blickverlaufsdaten
JP2014044654A (ja) * 2012-08-28 2014-03-13 Nikon Corp 情報入出力装置
US9189064B2 (en) 2012-09-05 2015-11-17 Apple Inc. Delay of display event based on user gaze
US9176581B2 (en) * 2012-09-28 2015-11-03 Intel Corporation System and method for inferring user intent based on eye movement during observation of a display screen
US20140092006A1 (en) 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
WO2014057618A1 (ja) 2012-10-09 2014-04-17 パナソニック株式会社 3次元表示装置、3次元画像処理装置および3次元表示方法
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
JP2014092941A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9626072B2 (en) 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
US9083757B2 (en) 2012-11-21 2015-07-14 Telefonaktiebolaget L M Ericsson LLP Multi-objective server placement determination
US9674510B2 (en) 2012-11-21 2017-06-06 Elwha Llc Pulsed projection system for 3D video
JP5652886B2 (ja) * 2012-11-28 2015-01-14 Necカシオモバイルコミュニケーションズ株式会社 顔認証装置、認証方法とそのプログラム、情報機器
WO2014089542A1 (en) 2012-12-06 2014-06-12 Eyefluence, Inc. Eye tracking wearable devices and methods for use
EP2929487A4 (en) * 2012-12-10 2016-08-10 Stanford Res Inst Int BIOMETRIC IRIS ADJUSTMENT SYSTEM
WO2014098798A1 (en) 2012-12-17 2014-06-26 Empire Technology Development, Llc Progressively triggered auto-fill
WO2014111924A1 (en) 2013-01-15 2014-07-24 Poow Innovation Ltd. Dynamic icons
US9829971B2 (en) 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
US9070015B2 (en) * 2013-02-07 2015-06-30 Ittiam Systems (P) Ltd. System and method for iris detection in digital images
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
KR102093198B1 (ko) 2013-02-21 2020-03-25 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
KR102175853B1 (ko) 2013-02-22 2020-11-06 삼성전자주식회사 동작 제어 방법 및 그 전자 장치
KR20160005013A (ko) 2013-03-01 2016-01-13 토비 에이비 지연 워프 시선 상호작용
US10268276B2 (en) * 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
US10270748B2 (en) * 2013-03-22 2019-04-23 Nok Nok Labs, Inc. Advanced authentication techniques and applications
US9396320B2 (en) * 2013-03-22 2016-07-19 Nok Nok Labs, Inc. System and method for non-intrusive, privacy-preserving authentication
KR101627290B1 (ko) * 2013-04-16 2016-06-21 구태언 보안강화 머리착용형 디스플레이 장치 및 그 장치를 통해 암호화된 정보에 액세스 하는 방법
US9979547B2 (en) * 2013-05-08 2018-05-22 Google Llc Password management
US10025378B2 (en) 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US9710058B2 (en) * 2013-09-03 2017-07-18 Tobii Ab Portable eye tracking device
US9582716B2 (en) * 2013-09-09 2017-02-28 Delta ID Inc. Apparatuses and methods for iris based biometric recognition
WO2015103444A1 (en) 2013-12-31 2015-07-09 Eyefluence, Inc. Systems and methods for gaze-based media selection and editing
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN107087431B (zh) 2014-05-09 2021-02-05 谷歌有限责任公司 用于辨别眼睛信号和连续生物识别的系统和方法
US20160364609A1 (en) * 2015-06-12 2016-12-15 Delta ID Inc. Apparatuses and methods for iris based biometric recognition

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于多分类的虹膜匹配方法》;代刚等;《无线电工程》;20131105(第11期);第60-64页 *
《基于多通道Gabor滤波与灰度梯度共生矩阵的虹膜识别方法》;白雪冰等;《现代科学仪器》;20131031(第5期);第69-72+82页 *

Also Published As

Publication number Publication date
WO2016018488A9 (en) 2016-03-24
CN106462743A (zh) 2017-02-22
US10156900B2 (en) 2018-12-18
US20160274660A1 (en) 2016-09-22
US20170235931A1 (en) 2017-08-17
EP3140779A1 (en) 2017-03-15
WO2016018488A3 (en) 2016-05-12
US20150338915A1 (en) 2015-11-26
KR20170046108A (ko) 2017-04-28
US9823744B2 (en) 2017-11-21
WO2016018487A2 (en) 2016-02-04
KR20170047195A (ko) 2017-05-04
EP3140719A4 (en) 2017-12-27
KR102230172B1 (ko) 2021-03-19
EP3140780A2 (en) 2017-03-15
EP3140780B1 (en) 2020-11-04
US20150324568A1 (en) 2015-11-12
US20150326570A1 (en) 2015-11-12
WO2016018487A8 (en) 2016-12-08
EP3140780A4 (en) 2018-04-11
KR20200127267A (ko) 2020-11-10
JP2017526079A (ja) 2017-09-07
US9600069B2 (en) 2017-03-21
WO2016018487A9 (en) 2016-03-24
AU2015297035B2 (en) 2018-06-28
JP2017526078A (ja) 2017-09-07
KR102173699B1 (ko) 2020-11-03
US20160062459A1 (en) 2016-03-03
KR20170045149A (ko) 2017-04-26
JP2017527036A (ja) 2017-09-14
US10620700B2 (en) 2020-04-14
CN106537290A (zh) 2017-03-22
JP6550460B2 (ja) 2019-07-24
WO2016018488A2 (en) 2016-02-04
EP3140779A4 (en) 2017-11-29
AU2015255652B2 (en) 2018-03-29
CN106537290B (zh) 2019-08-27
WO2015172124A1 (en) 2015-11-12
EP3140719B1 (en) 2021-07-07
EP3140719A2 (en) 2017-03-15
US20160085302A1 (en) 2016-03-24
AU2015255652A1 (en) 2016-11-24
CN107087431A8 (zh) 2017-12-22
CN107087431A (zh) 2017-08-22
AU2015297036A1 (en) 2016-11-24
WO2016018487A3 (en) 2016-05-19
AU2015297036B2 (en) 2017-09-28
AU2015297035A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
CN107087431B (zh) 用于辨别眼睛信号和连续生物识别的系统和方法
US11216965B2 (en) Devices, methods and systems for biometric user recognition utilizing neural networks
US11755706B2 (en) Entity identification and authentication using a combination of independent identification technologies or platforms and applications thereof
EP2851832B1 (en) Mobile information gateway for use by medical personnel
EP2851830B1 (en) Mobile information gateway for use in emergency situations or with special equipment
US20220391484A1 (en) Entity identification and authentication using a combination of independent identification technologies or platforms and applications thereof
WO2022212070A1 (en) Attention detection
EP4325383A1 (en) Techniques to provide user authentication for a near-eye display device
CN117592027A (zh) 为近眼显示设备提供用户认证的技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CI02 Correction of invention patent application
CI02 Correction of invention patent application

Correction item: PCT international application published data

Correct: WO2016/018488 EN 2016.02.04

False: WO2016/018488 EN 2016.05.12

Number: 34-01

Page: The title page

Volume: 33

Correction item: PCT international application published data

Correct: WO2016/018488 EN 2016.02.04

False: WO2016/018488 EN 2016.05.12

Number: 34-01

Volume: 33

CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Google Inc.

Address before: California, USA

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant