[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20180033222A - 프리즘-기반 눈 추적 - Google Patents

프리즘-기반 눈 추적 Download PDF

Info

Publication number
KR20180033222A
KR20180033222A KR1020187004506A KR20187004506A KR20180033222A KR 20180033222 A KR20180033222 A KR 20180033222A KR 1020187004506 A KR1020187004506 A KR 1020187004506A KR 20187004506 A KR20187004506 A KR 20187004506A KR 20180033222 A KR20180033222 A KR 20180033222A
Authority
KR
South Korea
Prior art keywords
eye
light beam
light
display panel
axis
Prior art date
Application number
KR1020187004506A
Other languages
English (en)
Other versions
KR102078059B1 (ko
Inventor
치빈 창
제리 카롤로
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20180033222A publication Critical patent/KR20180033222A/ko
Application granted granted Critical
Publication of KR102078059B1 publication Critical patent/KR102078059B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/149—Beam splitting or combining systems operating by reflection only using crossed beamsplitting surfaces, e.g. cross-dichroic cubes or X-cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06K9/00604—
    • G06K9/0061—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

HMD 디바이스(100, 300)는, 디스플레이 패널(102, 308, 310), 및 눈(112)의 예상 포지션과 디스플레이 패널 사이에 제1 축(202)을 따라 배치되는 x-프리즘 빔스플리터(104)를 포함한다. x-프리즘 빔스플리터는, 제1 광 빔(212)을 제1 축을 따라 디스플레이 패널로부터 눈으로의 제1 방향으로 지향시키고, 제2 광 빔(216)을 제1 축에 실질적으로 수직인 제2 축(208)을 따라 제2 방향으로 지향시키고, 그리고 제3 광 빔(222)을 제2 축을 따라 제2 방향으로 지향시키며, 제2 광 빔은 제1 광 빔을 표현하고 그리고 제3 광 빔은 눈에서의 제1 광 빔의 반사를 표현한다. HMD 디바이스는, 제2 광 빔의 표현 및 제3 광 빔의 표현 둘 모두의 결합을 포함하는 합성 이미지(232)를 캡쳐하기 위한 이미징 카메라(106)를 더 포함한다.

Description

프리즘-기반 눈 추적
본 개시내용은 일반적으로 헤드 장착 디스플레이(HMD; head mounted display) 시스템들에 관한 것으로, 더 상세하게는, 헤드 장착 디스플레이 시스템들에서의 눈 추적(eye tracking)에 관한 것이다.
헤드 장착 디스플레이(HMD) 디바이스들은, 가상 현실(VR) 컨텐츠, 증강 현실(AR) 컨텐츠 등을 포함하는 다양한 타입들의 컨텐츠를 디스플레이하기 위해 사용자의 눈들 앞에 장착된 디스플레이 패널을 활용한다. 눈 추적은 종종, 포비티드(foveated) 이미징(시선에 따른(gaze-contingent) 이미징으로 또한 알려져 있음), 안구 운동(eye-movement) 기반 사용자 입력 또는 상호작용 등과 같은 다양한 기능성들을 가능하게 하기 위해 HMD 시스템들에서 구현된다. 종래의 눈 추적 메커니즘들은 통상적으로, 눈의 이미지를 캡쳐(capture)하기 위해 렌즈들 및 미러들의 복잡한 어레인지먼트(arrangement)를 사용하고, 이러한 이미지로부터 눈의 시선 방향을 추정한다. 그러나, HMD 디바이스 제조자들은 감소된 폼 팩터(form factor)들을 갖는 HMD 디바이스들을 제공하기 위해 노력하며, 디스플레이 패널을 가리지 않으면서 이러한 눈 추적 기능을 제공하기 위해 종래의 시스템들에서 요구되는 복잡한 광학 메커니즘은 종종 HMD 디바이스를 위한 작은 폼 팩터의 구현을 방해한다. 더욱이, 종래에 캡쳐된 눈 이미지들에 기반하여 눈 시선을 추정하도록 구현된 알고리즘은 종종 계산 집중적이며, 따라서, 비용이 많이 들고 전력 소모가 큰 고성능 컴퓨팅 시스템이 없는 HMD 디바이스들에서 구현하는 것은 실용적이지 못하다.
첨부된 도면들을 참조함으로써, 본 개시내용은 더 완전하게 이해될 수 있고, 본 개시내용의 다수의 특징들 및 이점들은 당업자들에게 명백해진다. 상이한 도면들에서의 동일한 참조 부호들의 사용은 유사하거나 동일한 항목들을 표시한다.
도 1은 본 개시내용의 적어도 하나의 실시예에 따른, x-프리즘 빔스플리터(x-prism beamsplitter)를 활용하는 눈-추적 시스템의 컴포넌트들의 어레인지먼트를 예시하는 도면이다.
도 2는 본 개시내용의 적어도 하나의 실시예에 따른, 도 1의 눈-추적 시스템의 단면도를 예시하는 도면이다.
도 3은 본 개시내용의 적어도 하나의 실시예에 따른, 도 1의 눈-추적 시스템을 구현하는 HMD 디바이스의 배면도를 예시하는 도면이다.
도 4는 본 개시내용의 적어도 하나의 실시예에 따른, 도 3의 HMD 디바이스의 프로세싱 시스템을 예시하는 도면이다.
도 5는 본 개시내용의 적어도 하나의 실시예에 따른, 눈 추적에 사용하기 위한 합성(composite) 이미지들의 2개의 예들을 예시하는 도면이다.
다음의 설명은 HMD-기반 눈-추적 시스템들을 수반하는 다수의 특정 실시예들 및 세부사항들을 제공함으로써 본 개시내용의 완전한 이해를 전달하도록 의도된다. 그러나, 본 개시내용은 이들 특정 실시예들 및 세부사항들로 제한되지 않으며, 이들 특정 실시예들 및 세부사항들은 단지 예들이고, 따라서, 본 개시내용의 범위는 하기의 청구항들 및 그 등가물들에 의해서만 제한되는 것으로 의도됨이 이해된다. 예시를 위해, 본원에 설명된 눈-추적 시스템들은 HMD-기반 시스템들 이외의 다른 시스템에서 활용될 수 있다. 추가로, 당업자가, 공지된 시스템들 및 방법들의 관점에서, 특정 설계 및 다른 요구들에 따라 임의의 수의 대안적인 실시예들에서 본 개시내용의 의도된 목적들 및 이점들을 위해 본 개시내용을 사용하는 것을 인식할 것임이 이해된다.
도 1-5는, HMD 디바이스 또는 다른 유사한 디바이스들에서의 눈 추적을 위한 예시적인 디바이스들 및 기법들을 예시한다. 적어도 하나의 실시예에서, x-프리즘 빔스플리터는, 사용자의 눈의 예상 위치와 디스플레이 패널 사이에서 시야(view) 축을 따라 포지셔닝되고, 눈-추적 카메라는, 시야 축과 교차하는 x-프리즘 빔스플리터의 2개의 포트들에 수직인, x- 프리즘 빔스플리터의 포트 상에 포커싱(focus)하도록 포지셔닝된다. 눈 추적 목적들을 위해, 디스플레이 패널과 고정 포지션 관계를 갖는 IR 광의 세트가 트리거링(trigger) 또는 "플래시(flash)"되어, x-프리즘 빔스플리터를 통해 사용자의 눈을 일루미네이팅(illuminate)한다. X-프리즘 빔스플리터는, IR 광원들의 세트로부터의 IR 광 및 디스플레이 스크린으로부터의 광의 이미지 또는 다른 표현이 눈-추적 카메라에 투사되는 것을 야기하는 한편, 또한 동시에, 사용자의 눈 및 눈을 둘러싸는 영역으로부터의 광의 반사의 이미지 또는 다른 표현이 눈-추적 카메라에 투사되는 것을 야기한다. 따라서, 눈-추적 카메라는 IR 광원들 및 디스플레이 패널의 이미저리(imagery) 및 사용자의 눈 및 주변 영역으로부터의 반사의 이미저리를 포함하는 합성 이미지를 캡쳐할 수 있다. 그런 다음, 이러한 합성 이미지는, 사용자의 눈의 현재 포지션, 배향, 또는 시선 방향 중 하나 또는 그 초과를 결정하기 위해 분석될 수 있다.
도 1은 적어도 하나의 실시예에 따른, 헤드 장착 디바이스(HMD) 또는 유사한 디스플레이 시스템에서 구현하기 위한 눈-추적 시스템(100)을 예시한다. 도시된 바와 같이, 눈-추적 시스템(100)은, 디스플레이 패널(102), x- 프리즘 빔스플리터(104), 이미징 카메라(106), 및 눈-추적 프로세싱 서브시스템(108)을 포함한다. 디스플레이 패널(102)은 사용자에게 이미저리를 디스플레이하는 데 사용된다. 일부 실시예들에서, 사용자의 각각의 눈(112)에 하나씩 별개의 나란히 있는 이미지들을 공동으로 디스플레이하기 위해, 단일 디스플레이 패널(102)이 사용된다. 다른 실시예들에서, 각각의 눈(112)에 별개의 디스플레이 패널(102)이 사용된다.
추가로, 일부 실시예들에서, 사용자의 눈들 둘 모두가 추적되며, 이러한 경우, 별개의 눈-추적 카메라(106)가 각각의 눈(112)에 대해 구현된다. 마찬가지로, 별개의 x-프리즘 빔스플리터(104)가 각각의 눈에 대해 구현될 수 있거나, 사용자의 두 눈들(112)에 걸쳐 연장되는 폭(즉, 디스플레이 패널(102)의 면과 평행한 방향의 폭)을 갖는 단일 x-프리즘 빔스플리터(104)가 사용될 수 있다. 디스플레이 패널(102)과 x-프리즘 빔스플리터(104) 사이, x-프리즘 빔스플리터(104)와 눈(112) 사이, 또는 두 포지션들 모두에서 시야 축을 따라 하나 또는 그 초과의 광학 렌즈들(미도시)이 포지셔닝될 수 있다.
x-프리즘 빔스플리터(104)(이후에서는, 참조의 용이성을 위해, "x-프리즘(104)")는, 눈(112)의 예상 또는 기대 포지션과 디스플레이 패널(102) 사이에서 시야 축(도 2의 시야 축(202))을 따라 포지셔닝된다. x-프리즘(104)은, 서로에 대해 실질적으로 수직(즉, 90°+/- 10°)이고 시야 축에 대해 실질적으로 수직이 아닌 각도들로 있는 2개의 부분 반사 표면들(114, 115)을 갖는 입방체 또는 다른 평행육면체 프리즘을 포함한다. 뷰(116)에 도시된 바와 같이, x-프리즘(104)은, 평행육면체 빔스플리터를 형성하도록 함께 접착되거나 다른 방식으로 기계적으로 결합되는 4 개의 별개의 직각 삼각형 프리즘들(117, 118, 119, 120)을 통해 구성될 수 있다. 프리즘들(117-120)은, 각각의 부분 반사 표면(114, 115)에 대해, 입사 광 빔이 부분적으로 투과되고 그리고 부분적으로 반사되도록 구현된다. 예컨대, 프리즘들(117-120)은, 입사 광 빔의 일정 비율(예컨대, 50 %)이 입사각에 대해 90도 각도로 반사되고 그리고 입사 광의 나머지 비율(예컨대, 50 %)이, 프리즘들 사이의 계면 및 프리즘들 사이의 접착 층의 두께에 의해 야기되는 실패한 내부 전반사 현상에 기인하여 실질적으로 그 본래의 경로를 따라 x-프리즘(104)을 통해 투과되도록, 관심 파장들에 기반한 두께를 갖는 (관심 파장들에 대해) 투명한(transparent) 접착 층들을 사용하여 함께 접착될 수 있다. 대안적으로, 프리즘들(117-120) 중 일부 프리즘들의 대면하는 측들은, x-프리즘(104)을 형성하기 위해 프리즘들(117-120)이 함께 결합될 때, 얇은/불연속적인 코팅들이 부분 반사 표면들(114, 115)을 형성하도록, 금속(예컨대, 알루미늄) 또는 다른 적절한 재료들(예컨대, IR/가시 광 이색성(dichroic) 재료들)의 얇은 또는 불연속적인 코팅들로 코팅될 수 있다. 예컨대, 프리즘(117)의 면(121) 및 프리즘(119)의 면(122) 각각은, 프리즘들(117-120)이 결합될 때, 면들(121, 122) 상의 얇은/불연속적인 코팅들이 함께 부분 반사 층(115)을 형성하도록, 적절한 재료의 얇은 또는 불연속적인 코팅을 수용할 수 있다. 유사하게, 프리즘(118)의 면(123) 및 프리즘(120)의 면(124) 각각은, 프리즘들(117-120)이 결합될 때, 면들(123 및 124) 상의 얇은/불연속적인 코팅들이 함께 부분 반사 표면(114)을 형성하도록, 재료의 얇은 또는 불연속적인 코팅을 수용할 수 있다.
일부 실시예들에서, 적외선(IR) 광(및 더 상세하게는, 근적외선(NIR) 광)과 같은 가시 스펙트럼 외부의 광은, 눈 추적의 목적들을 위해 눈(112)을 일루미네이팅하는 것뿐만 아니라 눈 추적 프로세스를 위한 좌표 프레임 기준 포인트들로서 기능하는 것, 둘 모두에 사용된다. 예시를 위해, IR 광원들(126, 127, 128, 129)과 같은 하나 또는 그 초과의 IR 광원들의 세트는, 특정 패턴으로 디스플레이 패널(102)과 고정 포지션 관계로 구현될 수 있다. 아래에 설명되는 바와 같이, IR 광원들의 세트의 특정 패턴 및 디스플레이 패널(102)에 대한 그들의 고정 관계는, 좌표 프레임 기준으로서 기능한다. 일부 실시예들에서, 이러한 고정 포지션 관계는, 디스플레이 패널(102)에, 이를테면, 도 1에 도시 된 바와 같은 디스플레이 패널(102)의 4개의 코너들에 또는 디스플레이 패널(102)의 경계(border) 또는 "플렉스(flex)"를 따라, IR 광원들(126-129)을 부착함으로써 획득된다. 다른 실시예들에서, IR 광원들은, 이를테면, IR 광원들이 하나 또는 그 초과의 렌즈들을 통해 디스플레이 패널(102) 상에 "가상으로" 포지셔닝되도록 IR 광원들을 카메라 공간 근처에 물리적으로 포지셔닝함으로써, 디스플레이 패널(102)에 대해 "가상으로" 임베딩(embed)될 수 있다. 어느 접근법에서든, IR 광원들이 고정되고 그리고 디스플레이 패널(102)이 각각 고정되기 때문에, 그들의 상대적인 포지션은 변하지 않을 것이고, 따라서, IR 광원들과 디스플레이 패널(102) 사이에, 상대적인 고정 포지션 관계가 설정된다. IR 광원들(126-129)은 각각, 예컨대, IR-방출 수직-캐비티 표면-방출 레이저(vertical-cavity surface-emitting laser)(VECSEL), IR LED(light emitting diode) 등을 포함할 수 있다.
눈-추적 시스템(100)의 일반적인 동작은, 일부 실시예들에 따른 눈-추적 시스템(100)의 단면도(200)를 예시하는 도 2를 참조하여 더 잘 이해된다. 도시된 바와 같이, x-프리즘(104)은, 디스플레이 패널(102)과 눈(112) 사이에서 시야 축(202)을 따라 또는 그와 정렬된 채, 디스플레이 패널(102)과 사용자의 대응하는 눈(112)의 예상 포지션 사이에 포지셔닝되며, 따라서, 디스플레이 패널(102)에 대면하는 포트(203) 및 눈(112)에 대면하는 대향하는 포트(205)를 갖는다. 이러한 시야 축(202)을 따라 하나 또는 그 초과의 렌즈들 또는 다른 광학 엘리먼트들이 배치될 수 있는데, 이를테면, 디스플레이 패널(102)과 x-프리즘(104) 사이에 확대 렌즈(204)가 배치되거나 x-프리즘(104)과 눈(112) 사이에 확대 렌즈(206)가 배치된다.
이미징 카메라(106)(이후에서는, "눈-추적 카메라(106)")는 일반적으로 시야 축(202)에 실질적으로 수직하고 시야 축(202)과 교차하는 광학 축(208)(이하에서는, "반사 축(208)")을 따라, x-프리즘(104) 내의 부분 반사 표면들(114, 115)의 교차점에 또는 그 근처에 배치된다. 즉, 눈-추적 카메라(106)는, 포트(203)에 수직인 포트(207) 상에 포커싱(focus)된다. 도 2에 도시 된 바와 같이, 눈-추적 카메라(106)는, 이미지 센서(211) 상에 입사 광을 포커싱하기 위한 하나 또는 그 초과의 렌즈들의 렌즈 어셈블리(210)를 포함한다. 본원에서 설명된 바와 같이, IR 광은, 눈 일루미네이션(illumination), 및 눈 추적의 목적들을 위한 기준 포인트 생성에 활용될 수 있으며, 따라서, 이미지 센서(211)는, IR 광에 민감하거나 다른 방식으로 IR 광 컨텐츠를 캡쳐할 수 있는 이미지 센서, 이를테면 듀얼 RGB(dual red-green-blue) 및 IR 능력들을 갖는 이미지 센서를 포함할 수 있다. 그러한 센서의 예는, OmniVision Technologies, Inc.로부터 입수가능한 OV4682 RGBIR 이미징 센서를 포함한다. 또한, HMD 디바이스들에서 통상적으로 발견되는 비교적 작은 폼 팩터로 인해, 눈-추적 카메라(106)는 x-프리즘(104)의 포트(207)에 비교적 가까울 수 있으며, 따라서, 눈-추적 카메라(106)는, 무한한 길이로부터 하이퍼포커스(infinite) 길이까지 적절한 MTF(modulation transfer function)를 이용하여 x-프리즘(104)을 통해 눈(112) 및 디스플레이 패널(102) 상에 하이퍼포커싱하기 위해, 작은 f 값(f number)(또는 "f 스톱(f stop)")로 구현될 수 있다.
정상 동작(즉, 본원에 설명된 눈 추적 프로세스에 관여하지 않음)에서, 디스플레이 패널(102)은, 디스플레이 패널(102)로부터 방출된 가시 광의 형태로 이미저리를 디스플레이하도록 디스플레이 제어기에 의해 구동된다. 이러한 가시 광은 시야 축(202)을 따라 x-프리즘(104)의 포트(203)에 투과된다. 가시 광이 x-프리즘(104)을 통해 포트(203)로부터 대향하는 포트(205)로 이동함에 따라, 가시 광은 부분 반사 표면(114, 115)에 직면한다. 적어도 하나의 실시예에서, 부분 반사 표면(114)은, 가시 광 스펙트럼(약 400 내지 700 나노미터(nm))의 광에 대해 실질적으로 투명하도록 구성되며, 따라서, 부분 반사 표면(114)은, 가시 광이 포트(203)에서 포트(205)로 그리고 그를 통해 시야 축(202)을 따라 눈(112)으로 이동할 때, 가시 광을 과도하게 감쇠시키거나 가리지 않는다. 대조적으로, 적어도 하나의 실시예에서, 부분 반사 표면(115)은 가시 광 스펙트럼의 광에 대해 부분적으로 반사성이도록 구성되며, 따라서, 가시 광의 일부는, 반사 축(208)을 따라 포트(207)를 향해 그리고 그를 통과하게 부분 반사 표면(115)에 의해 반사된다. 그러므로, x-프리즘(104)은 가시 광이 x-프리즘(104)을 통해 눈(112)으로 이동함에 따라 가시 광에 존재하는 강도 또는 일루미네이션을 감쇠시킨다. 예컨대, 가시 광에 대해, 부분 반사 표면(114)에 대한 100 % 투과율 및 부분 반사 표면(115)에 대한 50 % 반사/50 % 투과율을 가정하면(그리고 x-프리즘(104) 내의 손실들은 예시의 용이성을 위해 무시가능한 것으로 가정함), x-프리즘(104)을 통해 눈(112)에 도달하는 가시 광의 광도(luminosity)는 포트(203) 상에 입사하는 가시 광의 광도의 50 %일 것이다. 통상적인 HMD 애플리케이션에서, 디스플레이 패널(102)의 광도 용량은, 이러한 손실을 보상하고 그리고 수용가능한 가시 광 강도를 눈(112)에 전달하기에 충분한 것 이상이다.
눈 추적 동작에서, 광원들(126-129)의 세트(광원들(126 및 129)만이 단면도(200)에 예시됨)가 활성화되며, 따라서, 디스플레이 패널(102)에 의해 방출되는 가시 광과 결합된 IR 광을 방출하여, x-프리즘(104)의 포트(203) 상에 포커싱되는 광 빔(212)(이하에서는, "초기 광 빔(212)")을 형성한다. x-프리즘(104)을 가로지르면서(traverse), 초기 광 빔(212)은 부분 반사 표면(114) 및 부분 반사 표면(115) 둘 모두에 직면한다. 부분 반사 표면(115)은, 초기 광 빔(212)의 가시 광 및 IR의 일부(예컨대, 50 %)가 투과된 광 빔(214)으로서 시야 축(202)을 따라 포트(207)로 그리고 그로부터 눈(212)으로 투과를 계속할 수 있게 하는 반면, 초기 광 빔(212)으로부터의 가시 광 및 IR의 다른 일부(예컨대, 50 %)는 반사된 광 빔(216)으로서 반사 축(208)을 따라 포트(207)를 향해 직각으로 반사된다.
위에 언급된 바와 같이, 부분 반사 표면(114)은 가시 광에 대해 실질적으로 투명하도록 구성될 수 있고, 따라서, 반사 표면(114)은 초기 광 빔(212)의 가시 광 컨텐츠의 투과에 눈에 띄는 영향을 미치지 않는다. 그러나, 적외선 스펙트럼(예컨대, NIR에 대해 약 700nm 내지 850nm, 또는 풀(full)-스펙트럼 IR에 대해 약 700 nm 내지 1000 nm)의 광에 대해, 부분 반사 표면(114)은, 부분적으로 반사성이도록, 예컨대, IR 광에 대해 50 % 투과율/50 % 반사율을 갖도록 구성될 수 있다. 따라서, 부분 반사 표면(114)에 직면할 때, 초기 광 빔(212)에 존재하는 IR 광의 일부(예컨대, 50 %)는 포트(205)로 그리고 그 후 눈(112)으로 투과되는 한편, IR 광의 다른 일부(예컨대, 50 %)는 반사 축(208)을 따라 포트(207)에 대향하는 포트(209)를 향해 반사된다. 따라서, 예컨대, 부분 반사 표면들(114) 각각에 의한 IR 광에 대한 50 % 반사율, 및 부분 반사 표면(114) 및 부분 반사 표면(115)에 의한 가시 광에 대한 각각 0 % 및 50 % 반사율들을 가정하면, 투과된 광 빔(214)은, 초기 광 빔(212)으로부터의 가시 광의 50 % 및 IR 광의 25 %를 포함할 것이고, 반사된 광 빔(216)은 초기 광 빔(212)으로부터의 가시 광의 50 % 및 IR 광의 25 %를 포함 할 것이다.
투과된 광 빔(214)은 포트(205)를 통해 x-프리즘(104)을 벗어나 눈(112)에 충돌한다. 투과된 광 빔(214)에 존재하는 IR 및 가시 광의 일부는 반사된 광 빔(218)으로서, 눈(112) 및 주변 영역으로부터, 시야 축(202)을 따라 포트(205)로 다시 반사된다. 반사된 광 빔(218)이 x-프리즘(104)을 가로지를 때, 반사된 광 빔(218)은 부분 반사 표면들(114, 115)에 직면하고, 이들은, 초기 광 빔(212)을 참조하여 위에 설명된 것과 유사한 방식으로, 반사된 광 빔(218)에 존재하는 IR 광 및 가시 광의 대응하는 부분을 투과 및 반사시키도록 동작한다. 따라서, 부분 반사 표면(114, 115)은, 반사된 광 빔(218)의 부분이 투과된 광 빔(220)으로서 시야 축(203)을 따라 포트(203)를 통해 투과되는 것을 야기하고, 그리고 반사된 광 빔(218)의 다른 부분이 반사된 광 빔(222)으로서 포트(207)를 향해 반사되는 것을 야기한다. 반사된 광 빔(218)의 다른 부분은 포트(209)를 향해 반사되지만, 이러한 양상은 명확성의 목적들을 위해 도 2에서 생략되었음이 인식될 것이다.
그들의 부분 반사도 때문에, 부분 반사 표면들(114, 115)은 반사된 광 빔(218)에 존재하는 IR 광의 일부를 반사 축(208)을 따라 포트(207)를 향해 반사시키도록 동작한다. 예시를 위해, 부분 반사 표면들(114, 115) 둘 모두가 IR 광에 대해 50 %의 반사율을 갖는다고 가정하면, 반사된 광 빔(218)에 존재하는 IR 광의 대략적으로 25 %가 그로부터 생성된 반사된 광 빔(222)에 존재한다. 추가로, 부분 반사 표면(114)은 가시 광에 대해 실질적으로 투명하지만 부분 반사 표면(115)은 입사 가시 광의 적어도 일부를 반사하기 때문에, 부분 반사 표면(115)은, 반사된 광 빔(218)에 존재하는 가시 광의 일부를 반사 축(208)을 따라 포트(209)를 향해 반사시키도록 동작한다. 예컨대, 가시 광에 대해서, 부분 반사 표면(114)에 대해 0 % 반사율을 그리고 부분 반사 표면 또는 평면에 대해 50 % 반사율을 가정하면, 반사된 광 빔(218)에 존재하는 가시 광의 대략적으로 50 %가 그로부터 생성된 반사된 광 빔(222)에 존재한다.
눈-추적 카메라(106)가 포트(207) 상에 포커싱되는 경우, 이로부터 방출되는 반사된 광 빔들(216, 222)이 이미징 센서(211)에 의해 동시에 캡쳐된다. 반사된 광 빔(216)은 초기 광 빔(212)의 빔-분할된 표현이므로, 반사된 광 빔(216)은, 각각 IR 광 포인트들(226, 227, 228, 229)로서, IR 광원들(126-129)의 세트에 의해 방출된 IR 광과 함께 디스플레이 패널(102)의 이미지(224)를 표현한다. 유사하게, 반사된 광 빔(222)은 반사된 광 빔(218)의 빔-분할된 표현이며, 이는 결국, 디스플레이 패널(102) 및 눈(112) 및 눈(112)을 둘러싸는 영역에서의 IR 광원들(126-129)의 세트의 반사의 표현이다. 따라서, 반사된 광 빔(222)은, 디스플레이 패널(102)에 의해 방출되는 가시 광 및 IR 광원들(126-129)의 세트로부터의 IR 광에 의해 일루미네이팅되는 눈(112) 및 주변 영역의 이미지(230)를 표현한다. 그러므로, 이미징 센서(21)에 의한 반사된 광 빔(216, 222)의 동시 캡쳐는, 이미징 센서(211)가, 이미지들(224 및 230)의 합성 또는 결합인 이미지(232)를 캡쳐하는 것을 초래한다. 따라서, 이미지(232)(이후에서는, "합성 이미지(232)")는, 이미지 캡쳐 시 디스플레이 패널(102) 상에 디스플레이된 가시 광 이미저리, IR 광 포인트들(226-229)의 형태인 IR 광원들(126-129)의 세트에 의해 방출된 IR 광, 사용자의 눈(112) 및 주변 영역으로부터 반사된 가시 광 및 IR 광, 및 예컨대, IR 광 포인트들(226, 227, 228, 및 229) 각각에 대한 반사 포인트들(236, 237, 238, 및 239)의 형태인 눈(112)으로부터의 IR 광 포인트(226-229) 중 일부 또는 전부의 반사들을 포함한다. 합성 이미지(232)로부터 검출된 눈(112)의 동공, 홍채, 각막, 또는 공막 중 하나 또는 그 초과의 포지션으로부터, 눈-추적 프로세싱 서브시스템(108)은, 다양한 눈 추적 알고리즘들 중 임의의 알고리즘을 사용하여 눈(112)의 시선 각도 또는 시선 방향을 결정할 수 있다. 추가로, IR 광 포인트들(226, 227, 228 및 229)의 존재는, 본원에서 더 상세히 설명되는 바와 같이, 디스플레이 패널(102)의 코너들에 결속된 좌표 기준 프레임으로서 동작함으로써, 눈(112)의 시선 방향을 더 정확히 찾아내는 것을 도울 수 있다.
도 3은 적어도 하나의 실시예에 따른, 도 1 및 도 2의 눈-추적 시스템(100)을 구현하도록 구성되는 예시적인 HMD 디바이스(300)를 예시한다. HMD 디바이스(300)는, HMD 디바이스(300)가 사용자의 얼굴에 근접하여 고정적으로 포지셔닝되어 사용자의 움직임에 따라 움직이도록 사용자의 헤드(110)에 스트랩핑(strap)되거나 다른 방식으로 장착된 장치의 사용을 통해, 사용자의 헤드(110)에 장착된다. 그러나, 일부 환경들에서, 사용자는, 태블릿 컴퓨터 또는 다른 핸드-헬드(hand-held) 디바이스를, 사용자의 헤드에 대한 핸드-헬드 디바이스의 배향이 심지어 사용자의 헤드(110)가 움직이더라도 상대적으로 고정되어 있도록, 사용자의 얼굴 쪽에 떠받치고 그리고 핸드-헬드 디바이스의 움직임을 제약할 수 있다. 이러한 예시들에서, 이러한 방식으로 동작되는 핸드-헬드 디바이스는 또한, 사용자의 헤드(110)에 대한 물리적인 부착을 통해 "장착"되지 않더라도 HMD 디바이스(300)의 구현으로 고려될 수 있다.
HMD 디바이스(300)는, 표면(304)을 갖는 하우징(302), 및 사용자가 하우징(302)의 표면(304)에 대면하도록 사용자의 헤드(110) 상에 하우징(302)을 장착하기 위한, 페이스 개스킷(face gasket)(306) 및 스트랩(strap)들의 세트 또는 하니스(harness)(명확성을 위해 도 3에서 생략됨)를 포함한다. 도시된 실시예에서, HMD 디바이스(300)는 쌍안용(binocular) HMD이고, 따라서, 표면(304)에 배치된 좌안 디스플레이(308) 및 우안 디스플레이(310)를 갖는다(디스플레이들(308, 310)은, 디스플레이 패널(102)의 실시예를 집합적으로 또는 개별적으로 표현함). 디스플레이들(308, 310)은 (별개의 디스플레이 드라이버 하드웨어 컴포넌트들에 의해 구동되는 독립적인 디스플레이 어레이들인) 별개의 디스플레이 패널들로서 구현될 수 있거나, 디스플레이들(308, 3100)은 단일 디스플레이 패널(예컨대, 좌측 및 우측 "절반들"로 논리적으로 분할된 단일 디스플레이 어레이)의 논리적으로 분리된 영역들로서 구현될 수 있다. 하우징(302)은, 좌안 디스플레이(308)와 정렬된 접안(eyepiece) 렌즈(312) 및 우안 디스플레이(310)와 정렬된 접안 렌즈(314)를 더 포함한다. 대안적으로, 일부 실시예들에서, HMD 디바이스(300)는, 좌우 접안 렌즈들(312, 314)을 통해서든 또는 사이의 렌즈 없이 직접적이든 간에 사용자의 두 눈들 모두에 단일 이미지가 제시된다는 점에서 단안용(monocular) HMD로서 구현될 수 있다.
도시된 예에서, HMD 디바이스(300)는, 각각의 눈에 대한 눈-추적 시스템(100)의 별개의 구현을 더 포함하며, 따라서, 좌안을 위한 렌즈(312)와 디스플레이(308) 사이에 배치되는 x-프리즘(316), 및 우안을 위한 렌즈(314)와 디스플레이(310) 사이에 배치되는 x-프리즘(318)을 포함한다(x-프리즘들(316, 318)은 x-프리즘(104)의 실시예들을 포함함). 추가로, HMD 디바이스(300)는 x-프리즘(316) 아래에 또는 대안적으로는 x-프리즘(316)의 측면 또는 위에 배치되는 눈-추적 카메라(320), 및 x-프리즘(318) 아래, 위, 또는 측면에 배치되는 눈-추적 카메라(322)를 포함한다(여기서, 눈-추적 카메라들(320, 322)은 눈-추적 카메라(106)의 실시예들임). 눈-추적 카메라(320)는, 본원에 설명된 기법들을 사용하여 x-프리즘(316)에 의한 동시에 반사된 광 빔들의 캡쳐를 통해, 사용자의 좌안 및 디스플레이(308)의 합성 이미지들을 캡쳐하도록 동작한다.
마찬가지로, 눈-추적 카메라(322)는, 유사한 방식으로 x-프리즘(318)을 사용하여 사용자의 우안과 디스플레이(310)의 합성 이미지들을 캡쳐하도록 동작한다.
도 4는 일부 실시예들에 따른, 눈 추적 프로세스의 구현을 위한 하드웨어 구성(400)의 동작 방법(402)뿐만 아니라 도 3의 HMD 디바이스(300)의 예시적인 하드웨어 구성(400)을 예시한다. 하드웨어 구성(400)은 애플리케이션 프로세서(404), 시스템 메모리(406), 컴포지터(compositor)(408), IR 제어기(410), 디스플레이 패널(102), 및 눈-추적 카메라(106)를 포함한다. 하드웨어 구성(400)은 눈-추적 카메라(106)에 커플링된 눈-추적 모듈(412)(도 1의 눈-추적 프로세싱 서브시스템(108)의 일 실시예)을 더 포함한다. 예시의 용이성을 위해, 하드웨어 구성(400)은 단일 눈을 추적하기 위한 구성으로 예시되어 있다. 그러나, 이중 눈 추적 구현들을 위해, 하드웨어 구성(400)은, 제2 눈에 대한 제2 눈-추적 카메라(106)를 더 포함할 것이고, 특정 디스플레이 구성에 의존하여, 제2 디스플레이 패널(102), IR 광원들(126-129)의 제2 세트, 및 제2 IR 제어기(410)를 더 포함할 것이며, 이들은 아래에 설명되는 것과 동일한 방식으로 동작할 것이다.
눈-추적 모듈(412)은 소프트웨어를 통해 구현될 수 있는데, 즉, 애플리케이션 프로세서(404) 또는 다른 프로세서가, 시스템 메모리(406) 또는 다른 저장 위치에 저장된 실행가능 명령들의 세트(즉, "소프트웨어")를 실행한다. 대안적으로, 눈-추적 모듈(412)은 ASIC(application specific integrated circuit), 프로그래밍가능 로직 등을 통해 하드-코딩 된(hard-coded) 로직으로서 구현될 수 있다. 추가로, 일부 실시예들에서, 눈-추적 모듈(412)은 소프트웨어 및 하드-코딩된 로직의 결합을 통해 구현될 수 있다. 애플리케이션 프로세서(404)는 하나 또는 그 초과의 CPU(central processing unit)들, GPU(graphics processing unit)들, 또는 하나 또는 그 초과의 CPU들 및 하나 또는 그 초과의 GPU들의 결합을 포함한다. 상업적으로 입수가능한 애플리케이션 프로세서(404)의 구현의 일 예는 Qualcomm Incorporated의 Snapdragon(TM) 810 MSM8994 SoC(system-on-a-chip)이다. 컴포지터(408)는, 예컨대, ASIC, 프로그래밍가능 로직, 설명된 기능성을 제공하도록 하나 또는 그 초과의 GPU들을 조작하는 소프트웨어를 실행하는 하나 또는 그 초과의 GPU들, 또는 이들의 결합으로서 구현될 수 있다. IR 제어기(410)는 신호 라인(414)을 통해 눈-추적 카메라(106)에 커플링되고 그리고 디스플레이 패널(102)의 IR 광원들(126-129)의 세트에 커플링된다.
동작 시, 애플리케이션 프로세서(404)는 VR/AR 애플리케이션(416)(예컨대, 시스템 메모리(406)에 저장됨)을 실행하여 사용자에게 VR/AR 기능성을 제공한다. 이러한 프로세스의 일부로서, VR/AR 애플리케이션(416)은, 애플리케이션 프로세서(404) 또는 연관된 프로세서를 조작하여 디스플레이 패널(102)에서의 디스플레이를 위한 이미지들의 시퀀스를 렌더링(render)하며, 이미지들의 시퀀스는 VR 또는 AR 장면을 표현한다. 컴포지터(408)는 디스플레이 패널(102)을 구동하여 이미지들의 시퀀스 또는 이미지들의 시퀀스의 표현을 디스플레이하도록 동작한다.
그와 병행하여, 눈-추적 카메라(106), IR 제어기(410), 및 눈-추적 모듈(412)은 함께, 대응하는 눈(112)의 움직임, 포지션, 및/또는 시선 방향을 추적하도록 동작한다. 방법(402)은 이러한 프로세스의 예를 예시한다. 적어도 하나의 실시예에서, 눈(112)의 시선 방향, 포지션 또는 배향은 특정된 빈도 또는 레이트로 업데이트되는데, 이는, 디스플레이 패널(102)에 디스플레이되는 이미저리의 프레임 레이트에 기반하거나 다른 팩터에 기반할 수 있다. 따라서, 업데이트 반복을 개시하기 위해, 블록(422)에서, 신호 라인(414)의 어써션(assertion) 또는 다른 조작을 통해 눈-추적 카메라(106)가 IR 제어기(410)에 시그널링하고, 그에 대한 응답으로, IR 제어기(410)는, IR 광을 간단히 출력(즉, "플래시")하여 눈(112) 및 주변 영역을 일루미네이팅하도록, IR 광원들(126-129)의 세트를 트리거링한다. 예시를 위해, 일 실시예에서, 눈-추적 카메라(106)는 대응하는 수직 동기(VSYNC; vertical sync) 신호(이는, 디스플레이 패널(102)에 대한 수직 동기 신호와 함께 애플리케이션 프로세서(404)에 의해 제어되거나 그를 이용하여 다른 방식으로 조정될 수 있음)를 통해 트리거링되는 글로벌 셔터(global shutter)를 구현할 수 있으며, 따라서, VSYNC 신호가 글로벌 셔터를 트리거링하기 위해 어써팅될 때마다, 마찬가지로, IR 제어기(410)에 의해 IR 광 플래시를 트리거링하기 위해 신호 라인(414)이 어써팅된다. 이러한 방식으로, IR 광 플래시들은 눈-추적 카메라(106)의 글로벌 셔터에 동기화될 수 있다.
위에 설명된 바와 같이, 디스플레이 패널(102)에 의해 방출된 광 및 IR 광원들(126-129)의 세트로부터의 IR 광은 x-프리즘(104)을 통해 가로지르고, 눈(112) 및 눈을 둘러싸는 영역에서 반사되고, 그리고 디스플레이 패널(102) 및 IR 광원들(126-129)의 세트의 표현뿐만 아니라 x-프리즘(104)에 의해 눈-추적 카메라(106)에 동시에 투사되는 눈(112) 및 주변 영역의 표현을 초래한다. 따라서, 블록(424)에서, 눈-추적 카메라(106)는 표현들 둘 모두의 합성 이미지(예컨대, 도 2의 합성 이미지(232))를 캡쳐하고 그리고 프로세싱을 위해 눈-추적 모듈(412)에 그 합성 이미지를 제공한다. 블록(426)에서, 눈-추적 모듈(412)은 눈(112)의 홍채/동공의 현재 포지션 또는 배향 중 하나 또는 그 초과를 식별하기 위해 합성 이미지에 대해 이미지 분석 프로세스를 수행하고, 이러한 정보로부터, 눈-추적 모듈(412)은 눈(112)의 현재 시선 방향을 결정할 수 있다. 이러한 프로세스의 예들이 도 5를 참조하여 아래에서 설명된다.
식별된 눈(112)의 홍채/동공의 현재 포지션, 홍채/동공의 현재 배향, 또는 시선 방향 중 하나 또는 그 초과를 이용하여, 블록(428)에서, 눈-추적 모듈(412)은 하드웨어 구성(400)의 하나 또는 그 초과의 컴포넌트들의 동작을 그에 따라 수정할 수 있다. 예시를 위해, 일부 실시예들에서, 현재 시선 방향은 포비티드 디스플레이를 제공하는 데 사용될 수 있고, 따라서, 그러한 예시들에서, 눈-추적 모듈(412)은, 현재 시선 방향을 VR/AR 애플리케이션(416) 또는 컴포지터(408)에 시그널링함으로써, 디스플레이된 이미저리의 렌더링을 제어하여 눈(112)의 현재 포커스 영역에서 개선된 해상도를 제공할 수 있다. 다른 예로서, 일부 실시예들에서, VR/AR 애플리케이션(416) 또는 다른 소프트웨어 애플리케이션이 사용자의 시선 방향을 사용자 입력으로서 활용할 수 있다. 예컨대, HMD 디바이스(300)는 눈-기반 인간 컴퓨터 상호 작용을 제공 할 수 있고, 따라서, 눈-추적 모듈(412)은 사용자 인터페이스 입력으로서(즉, 가상 마우스로서 또는 다른 눈 "제스처" 입력들을 위해) 현재 시선 방향을 그 애플리케이션에 제공할 수 있다. 이러한 눈 추적 정보에 대한 다른 용도들은, 예컨대, HMD 디바이스(300)를 활성화/비활성화하기 위한(예컨대, 안구 운동들을 통해 사용자를 인증하거나 눈 추적을 통해 사용자를 다른 방식으로 식별하는 것을 위한) 생체인식 정보용으로 눈 추적 정보를 사용하는 것 등을 포함한다.
도 5는 본 개시내용의 적어도 하나의 실시예에 따른, 현재의 눈 시선 방향을 결정하기 위해 합성 이미지를 프로세싱하는 2개의 예들을 예시한다. 제1 실시예에서, 디스플레이 패널(102) 및 눈(112)의 현재 포지션 둘 모두의 합성 이미지(502)가 위에 설명된 프로세스들에 따라 캡쳐된다. 눈-추적 모듈(412)은 동공(504)의 현재 포지션을 식별하고, IR 광원들(126-129)의 세트로부터의 IR 광 포인트들(516, 517, 518, 519)의 패턴에 의해 제공되고 그리고 눈(112)으로부터의 IR 광원들(126-129)의 반사로부터 IR 광 포인트들(520, 521, 522, 523)의 패턴에 의해 제공되는 좌표 기준 프레임에 대한 동공(504)의 배향에 기반하여, 눈-추적 모듈(412)은, 현재의 눈 시선이 디스플레이 패널(102)의 하부 좌측 사분면의 포인트(524)로 지향된다는 것을 결정할 수 있다.
제2 실시예에서, 디스플레이 패널(102) 및 눈(112)의 현재 포지션 둘 모두의 합성 이미지(532)가 위에 설명된 프로세스들에 따라 캡쳐된다. 눈-추적 모듈(412)은 동공(504)의 현재 포지션을 식별하고, IR 광원들(126-129)의 세트로부터의 IR 광 포인트들(546, 547, 548, 549)의 패턴에 의해 제공되고 그리고 눈(112)에서부터의 IR 광원들(126-129)의 반사로부터 IR 광 포인트들(550, 551, 552, 553)의 패턴에 의해 제공되는 좌표 기준 프레임에 대한 동공(504)의 배향에 기반하여, 눈-추적 모듈(412)은, 현재의 눈 시선이 디스플레이 패널(102)의 상부 우측 사분면의 포인트(554)로 지향된다는 것을 결정할 수 있다.
다양한 눈 추적 알고리즘들 중 임의의 알고리즘이, 합성 이미지 내의 광원들에 의해 제공되는 좌표 기준 프레임을 고려한 적절한 수정과 함께, 합성 이미지(532)로부터 눈(112)의 현재 시선 방향을 추적하는 데 사용될 수 있다. 예시를 위해, 단일 눈-추적 카메라 구현에서, IR 광원들은 포인트 소스들로서 동작할 수 있고, 그들의 상대적인 강도에 기반하여, 눈(112)까지의 거리가 결정될 수 있다. 추가로, IR 광원들에 의해 표현된 많은 포인트 소스들로부터의 (거리를 사용한) 삼각측량에 기반하여, 눈(112)의 3D 모델이 구성될 수 있고, 이러한 3D 모델로부터, 광학 축이 결정될 수 있고 그리고 그에 따라 시선 방향이 결정될 수 있다. 이중 눈 추적 구현에서, 눈(112)의 3D 모델은 2개의 카메라들의 사용을 통해 제공되는 시차 현상을 통해 구성될 수 있다.
추가로, 이러한 접근법은 일반적으로 주변 광에 대해 민감하지 않으며, 따라서, 위에 설명된 IR 광원들 대신에 가시 광원들이 눈(112)을 일루미네이팅하는 데 사용될 수 있다.
위에 설명된 본 발명의 기능성 중 대부분 및 본 발명의 원리들 중 다수는, IC(integrated circuit)들, 이를테면 ASIC(application specific IC)들에서의 구현 또는 이들을 이용한 구현에 매우 적합하다. 가능하게는 예컨대 가용 시간, 현재 기술, 및 경제적 고려사항들에 의해 동기부여되는 상당한 노력 및 많은 설계 선택들에도 불구하고, 본원에 개시된 개념들 및 원리들에 의해 안내될 때, 당업자가 최소한의 실험으로 그러한 IC들을 용이하게 생성할 수 있을 것임이 예상된다. 따라서, 본 개시내용에 따른 원리들 및 개념들을 불명료하게 하는 임의의 위험성의 최소화 및 간결성을 위하여, 그러한 소프트웨어 및 IC들의 추가적인 논의는, 존재한다면, 바람직한 실시예들 내의 원리들 및 개념들에 관련된 본질적 요소들로 제한될 것이다.
일부 실시예들에서, 위에 설명된 기법들의 특정 양상들은 소프트웨어를 실행하는 프로세싱 시스템의 하나 또는 그 초과의 프로세서들에 의해 구현될 수 있다. 소프트웨어는, 비-일시적인 컴퓨터 판독가능 저장 매체 상에 저장되거나 그렇지 않으면 유형으로(tangibly) 구현된 하나 또는 그 초과의 세트들의 실행가능 명령들을 포함한다. 소프트웨어는, 하나 또는 그 초과의 프로세서들에 의해 실행될 때, 하나 또는 그 초과의 프로세서들을 조작하여 위에 설명된 기법들의 하나 또는 그 초과의 양상들을 수행하는 명령들 및 특정 데이터를 포함할 수 있다. 비-일시적인 컴퓨터 판독가능 저장 매체는, 예컨대, 자기 또는 광학 디스크 저장 디바이스, 고체 상태 저장 디바이스들, 이를테면 플래시 메모리, 캐시, RAM(random access memory) 또는 다른 비-휘발성 메모리 디바이스 또는 디바이스들 등을 포함할 수 있다. 비-일시적인 컴퓨터 판독가능 저장 매체 상에 저장된 실행가능 명령들은, 소스 코드, 어셈블리 언어 코드, 오브젝트 코드, 또는 하나 또는 그 초과의 프로세서들에 의해 해석되거나 달리 실행가능한 다른 명령 포맷일 수 있다.
본 문서에서, 제1 및 제2 등과 같은 상관적인 용어들은, 단지 하나의 엔티티(entity) 또는 동작을 다른 엔티티 또는 동작과 구별하기 위해 사용될 수 있으며, 그러한 엔티티들 또는 동작들 사이의 임의의 실제의 그러한 관계 또는 순서를 반드시 요구하거나 또는 암시하는 것은 아니다. 용어들 "포함하다", "포함하는" 또는 이들의 임의의 다른 변형은, 엘리먼트들의 리스트를 포함하는 프로세스, 방법, 물건, 또는 장치가 오직 그 엘리먼트들만을 포함하는 것이 아니라 그러한 프로세스, 방법, 물건, 또는 장치에 내재하거나 명백히 열거되지 않은 다른 엘리먼트들을 포함할 수 있도록, 비-배타적인 포함을 커버하는 것으로 의도된다. "...을 포함하다"가 후속되는 엘리먼트는, 더 많은 제약들 없이, 그 엘리먼트를 포함하는 프로세스, 방법, 물건, 또는 장치에서의 부가적인 동일한 엘리먼트들의 존재를 배제하지 않는다. 본원에서 사용되는 용어 "다른"은 적어도 제2 또는 그 초과로서 정의된다. 본 명세서에 사용되는 용어들 "비롯하여" 및/또는 "갖는"은 포함하는 것으로 정의된다. 전기-광학 기술을 참조하여 본원에서 설명되는 용어 "커플링된"은, 반드시 직접적일 필요는 없고 반드시 기계적일 필요는 없지만 연결된 것으로 정의된다. 본원에서 사용되는 용어 "프로그램"은, 컴퓨터 시스템 상에서의 실행을 위해 설계된 명령들의 시퀀스로서 정의된다. "애플리케이션" 또는 "소프트웨어"는, 서브루틴, 함수, 프로시저(procedure), 객체 방법, 객체 구현, 실행가능 애플리케이션, 애플릿(applet), 서블릿(servlet), 소스 코드, 객체 코드, 공유 라이브러리/동적 로드 라이브러리 및/또는 컴퓨터 시스템 상에서의 실행을 위해 설계된 명령들의 다른 시퀀스를 포함할 수 있다.
명세서 및 도면들은 단지 예들로서 고려되어야 하며, 따라서, 본 개시내용의 범위는 하기의 청구항들 및 그 등가물들에 의해서만 제한되도록 의도된다. 일반적인 설명에서 위에 설명된 활동들 또는 엘리먼트들 전부가 요구되는 것은 아니며, 특정 활동 또는 디바이스의 부분이 요구되지 않을 수 있고, 설명된 것들에 부가하여 하나 또는 그 초과의 추가적인 활동들이 수행될 수 있거나 엘리먼트들이 포함될 수 있음을 유의한다. 더 추가로, 활동들이 열거된 순서가 반드시 그들이 수행되는 순서인 것은 아니다. 위에 도시된 흐름도들의 단계들은 달리 명시되지 않으면 임의의 순서로 이루어질 수 있으며, 단계들은 구현에 의존하여 제거되고, 반복되고, 그리고/또는 부가될 수 있다. 또한, 특정 실시예들을 참조하여 개념들이 설명되었다. 그러나, 당업자는, 아래의 청구항들에 기재된 바와 같은 본 개시내용의 범위를 벗어나지 않으면서 다양한 수정들 및 변경들이 이루어질 수 있음을 인식한다. 따라서, 명세서 및 도면들은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 하며, 모든 그러한 수정들은 본 개시내용의 범위 내에 포함되는 것으로 의도된다.
이점들, 다른 장점들, 및 문제들에 대한 솔루션들이 특정 실시예들과 관련하여 위에 설명되었다. 그러나, 이점들, 장점들, 문제들에 대한 솔루션들, 및 임의의 이점, 장점, 또는 솔루션이 발생하게 하거나 더 명백해지게 할 수 있는 임의의 특징(들)이, 임의의 청구항 또는 청구항들 전부에 대한 핵심적인 특징, 요구되는 특징, 또는 본질적인 특징으로서 해석되어서는 안된다.

Claims (20)

  1. 헤드 장착 디스플레이(HMD; head mounted display) 디바이스(100, 300)로서,
    이미저리(imagery)를 디스플레이하기 위한 디스플레이 패널(102, 308, 310);
    사용자의 눈(112)의 예상 포지션과 상기 디스플레이 패널 사이에 제1 축(202)을 따라 배치되는 x-프리즘 빔스플리터(x-prism beamsplitter)(104) ― 상기 x-프리즘 빔스플리터는, 제1 광 빔(212)을 상기 제1 축을 따라 상기 디스플레이 패널로부터 상기 눈으로의 제1 방향으로 지향시키고, 제2 광 빔(216)을 상기 제1 축에 실질적으로 수직인 제2 축(208)을 따라 제2 방향으로 지향시키고, 그리고 제3 광 빔(222)을 상기 제2 축을 따라 상기 제2 방향으로 지향시키기 위한 것이고, 상기 제2 광 빔은 상기 제1 광 빔을 표현하고 그리고 상기 제3 광 빔은 상기 눈에서의 상기 제1 광 빔의 반사를 표현함 ―; 및
    상기 제2 축과 정렬되는 광학 축을 갖는 이미징 카메라(106)를 포함하며,
    상기 이미징 카메라는, 상기 제2 광 빔의 표현 및 상기 제3 광 빔의 표현 둘 모두의 결합을 포함하는 합성 이미지(232)를 캡쳐(capture)하기 위한 것인, HMD 디바이스.
  2. 제1항에 있어서,
    하나 또는 그 초과의 적외선(IR) 광원들(126, 127, 128, 129)의 세트를 더 포함하며,
    상기 하나 또는 그 초과의 IR 광원들의 세트는 상기 디스플레이 패널과 연관된 대응하는 포지션들에 배치되고, 그리고
    상기 제1 광 빔은 상기 하나 또는 그 초과의 IR 광원들의 세트에 의해 방출되는 IR 광을 포함하는, HMD 디바이스.
  3. 제2항에 있어서,
    상기 이미징 카메라는 글로벌 셔터(global shutter)를 갖는 IR 카메라를 포함하고, 그리고
    상기 하나 또는 그 초과의 IR 광원들의 세트는 상기 글로벌 셔터의 수직 동기(vertical sync) 신호에 기반하여 트리거링(trigger)되는, HMD 디바이스.
  4. 제2항에 있어서,
    상기 합성 이미지에 기반하여 상기 눈의 포지션, 상기 눈의 배향, 또는 상기 눈의 시선 방향 중 적어도 하나를 결정하기 위한 눈 추적 모듈(412)을 더 포함하는, HMD 디바이스.
  5. 제4항에 있어서,
    상기 눈 추적 모듈은, 상기 합성 이미지에 존재하는 상기 하나 또는 그 초과의 IR 광원들의 세트로부터의 IR 광을 기준 좌표 프레임으로서 사용하는 것에 기반하여, 상기 눈의 포지션, 상기 눈의 배향, 또는 상기 눈의 시선 방향 중 적어도 하나를 결정하기 위한 것인, HMD 디바이스.
  6. 제2항에 있어서,
    상기 x-프리즘 빔스플리터는,
    상기 제1 축에 대해 제1 각도로 배치되는 제1 부분 반사 표면(114); 및
    상기 제1 축에 대해 제2 각도로 배치되는 제2 부분 반사 표면(115)
    을 포함하며,
    상기 제2 각도는 상기 제1 각도에 실질적으로 수직이고,
    상기 제1 부분 반사 표면은 가시 광 및 IR 광 둘 모두를 부분적으로 반사하고, 상기 제2 부분 반사 표면은 IR 광을 부분적으로 반사하고 그리고 가시 광에 대해서는 실질적으로 투명한(transparent), HMD 디바이스.
  7. 제2항에 있어서,
    상기 하나 또는 그 초과의 IR 광원들의 세트는, 하나 또는 그 초과의 수직-캐비티 표면-방출 레이저(vertical-cavity surface-emitting laser)들의 세트를 포함하는, HMD 디바이스.
  8. 제1항에 있어서,
    상기 합성 이미지에 기반하여 상기 눈의 포지션, 상기 눈의 배향, 또는 상기 눈의 시선 방향 중 적어도 하나를 결정하기 위한 눈 추적 모듈(412)을 더 포함하는, HMD 디바이스.
  9. 제8항에 있어서,
    상기 HMD 디바이스의 적어도 하나의 컴포넌트(404, 408)는, 결정된 상기 눈의 포지션, 상기 눈의 배향, 또는 상기 눈의 시선 방향에 기반하여 제어되는, HMD 디바이스.
  10. 헤드 장착 디스플레이(HMD) 디바이스(100, 300)에서의 방법으로서,
    x-프리즘 빔스플리터(104)를 통해 디스플레이 패널(102, 308, 310)로부터 사용자의 눈(112)으로 제1 축(202)을 따라 제1 광 빔(212)을 투과시키는 단계;
    상기 제1 축에 실질적으로 수직인 제2 축(208)을 따라 상기 x-프리즘 빔스플리터로부터 이미징 카메라(106)로 제2 광 빔(216)을 투과시키는 단계 ― 상기 제2 광 빔은 상기 제1 광 빔의 반사를 표현함 ―;
    상기 제2 축을 따라 상기 x-프리즘 빔스플리터로부터 상기 이미징 카메라로 제3 광 빔(222)을 투과시키는 단계 ― 상기 제3 광 빔은 상기 사용자의 눈에서의 상기 제1 광 빔의 반사를 표현함 ―; 및
    상기 이미징 카메라에서, 상기 제2 광 빔의 표현 및 상기 제3 광 빔의 표현 둘 모두의 결합을 표현하는 합성 이미지(232)를 캡쳐하는 단계를 포함하는, HMD 디바이스에서의 방법.
  11. 제10항에 있어서,
    상기 제1 광 빔은, 하나 또는 그 초과의 IR 광원들(126, 127, 128, 129)의 세트에 의해 방출되는 IR 광을 포함하며,
    상기 하나 또는 그 초과의 IR 광원들의 세트는 상기 디스플레이 패널과 연관된 대응하는 포지션들에 배치되는, HMD 디바이스에서의 방법.
  12. 제11항에 있어서,
    상기 이미징 카메라의 글로벌 셔터의 수직 동기 신호에 기반하여 상기 하나 또는 그 초과의 IR 광원들의 세트를 트리거링하는 단계를 더 포함하는, HMD 디바이스에서의 방법.
  13. 제11항에 있어서,
    상기 HMD 디바이스의 프로세싱 모듈(412)에서, 상기 합성 이미지에 기반하여 상기 눈의 포지션, 상기 눈의 배향, 또는 상기 눈의 시선 방향 중 적어도 하나를 결정하는 단계를 더 포함하는, HMD 디바이스에서의 방법.
  14. 제13항에 있어서,
    상기 눈의 포지션, 상기 눈의 배향, 또는 상기 눈의 시선 방향 중 적어도 하나를 결정하는 단계는, 상기 합성 이미지에 존재하는 상기 하나 또는 그 초과의 IR 광원들의 세트로부터의 IR 광을 기준 좌표 프레임으로서 사용하는 것을 포함하는, HMD 디바이스에서의 방법.
  15. 제11항에 있어서,
    상기 HMD 디바이스의 프로세싱 모듈(412)에서, 상기 합성 이미지에 기반하여 상기 눈의 포지션, 상기 눈의 배향, 또는 상기 눈의 시선 방향 중 적어도 하나를 결정하는 단계를 더 포함하는, HMD 디바이스에서의 방법.
  16. 제15항에 있어서,
    결정된 상기 눈의 포지션, 상기 눈의 배향, 또는 상기 눈의 시선 방향에 기반하여, 상기 HMD 디바이스의 적어도 하나의 컴포넌트(404, 408)의 동작을 제어하는 단계를 더 포함하는, HMD 디바이스에서의 방법.
  17. 헤드 장착 디스플레이(HMD) 디바이스(100, 300)에서의 방법으로서,
    상기 HMD 디바이스의 프로세싱 모듈(412)에서, 상기 HMD 디바이스의 이미징 카메라(106)로부터 합성 이미지(232)를 수신하는 단계 ― 상기 합성 이미지는, x-프리즘 빔스플리터(104)의 포트(207)로부터 동시에 수신되는 제1 광 빔(216) 및 제2 광 빔(222) 둘 모두를 표현하고, 상기 제1 광 빔은 상기 HMD 디바이스의 디스플레이 패널(102, 308, 310)에 의해 방출되는 광 빔(212)의 반사를 표현하고 그리고 상기 제2 광 빔은 사용자의 눈(112)에서의 상기 디스플레이 패널에 의해 방출되는 광 빔의 반사를 표현함 ―; 및
    상기 프로세싱 모듈에서, 상기 합성 이미지에 기반하여 상기 눈의 포지션, 상기 눈의 배향, 또는 상기 눈의 시선 방향 중 적어도 하나를 결정하는 단계를 포함하는, HMD 디바이스에서의 방법.
  18. 제17항에 있어서,
    결정된 상기 눈의 포지션, 상기 눈의 배향, 또는 상기 눈의 시선 방향에 기반하여, 상기 HMD 디바이스의 적어도 하나의 컴포넌트(404, 408)의 동작을 제어하는 단계를 더 포함하는, HMD 디바이스에서의 방법.
  19. 제17항에 있어서,
    상기 디스플레이 패널에 의해 방출되는 광 빔은, 하나 또는 그 초과의 적외선(IR) 광원들(126, 127, 128, 129)의 세트에 의해 방출되는 IR 광을 포함하며,
    상기 하나 또는 그 초과의 IR 광원들의 세트는 상기 디스플레이 패널 상의 대응하는 포지션들에 배치되는, HMD 디바이스에서의 방법.
  20. 제19항에 있어서,
    상기 눈의 포지션, 상기 눈의 배향, 또는 상기 눈의 시선 방향 중 적어도 하나를 결정하는 단계는, 상기 합성 이미지에 존재하는 상기 하나 또는 그 초과의 IR 광원들의 세트로부터의 IR 광을 기준 좌표 프레임으로서 사용하는 것을 포함하는, HMD 디바이스에서의 방법.
KR1020187004506A 2015-11-25 2016-11-18 프리즘-기반 눈 추적 KR102078059B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562259761P 2015-11-25 2015-11-25
US62/259,761 2015-11-25
PCT/US2016/062896 WO2017091477A1 (en) 2015-11-25 2016-11-18 Prism-based eye tracking

Publications (2)

Publication Number Publication Date
KR20180033222A true KR20180033222A (ko) 2018-04-02
KR102078059B1 KR102078059B1 (ko) 2020-02-17

Family

ID=57472110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187004506A KR102078059B1 (ko) 2015-11-25 2016-11-18 프리즘-기반 눈 추적

Country Status (10)

Country Link
US (1) US10303940B2 (ko)
EP (1) EP3380883B1 (ko)
JP (1) JP6494863B2 (ko)
KR (1) KR102078059B1 (ko)
CN (1) CN108885341B (ko)
AU (1) AU2016359149B2 (ko)
CA (1) CA2995746C (ko)
DE (1) DE112016005395T5 (ko)
GB (1) GB2556588A (ko)
WO (1) WO2017091477A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022169255A1 (ko) * 2021-02-02 2022-08-11 삼성전자 주식회사 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106797423B (zh) * 2014-06-27 2019-12-06 Fove股份有限公司 视线检测装置
US9885887B2 (en) * 2015-04-22 2018-02-06 Kurt Matthew Gardner Method of determining eyeglass frame measurements from an image by executing computer-executable instructions stored on a non-transitory computer-readable medium
EP3272277A1 (en) * 2016-07-19 2018-01-24 Stichting IMEC Nederland A method and a system for eye tracking
CN105954992B (zh) * 2016-07-22 2018-10-30 京东方科技集团股份有限公司 显示系统和显示方法
WO2018111860A1 (en) * 2016-12-12 2018-06-21 Princeton Identity, Inc. Systems and methods of biometric analysis
US10485420B2 (en) * 2017-02-17 2019-11-26 Analog Devices Global Unlimited Company Eye gaze tracking
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10585291B2 (en) * 2017-04-28 2020-03-10 Yonatan Gerlitz Eye safety system for lasers
US10420467B2 (en) * 2017-09-05 2019-09-24 eyeBrain Medical, Inc. Method and system for measuring binocular alignment
US10627627B2 (en) * 2017-10-02 2020-04-21 Google Llc Eye tracking using light guide with faceted combiner
PL3729378T3 (pl) 2017-12-19 2022-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Nagłowne urządzenie wyświetlające i sposób
US10845594B1 (en) * 2017-12-21 2020-11-24 Facebook Technologies, Llc Prism based light redirection system for eye tracking systems
US10788892B2 (en) 2018-05-23 2020-09-29 Facebook Technologies, Llc In-field illumination and imaging for eye tracking
US11455031B1 (en) 2018-06-04 2022-09-27 Meta Platforms Technologies, Llc In-field illumination for eye tracking
US11327561B1 (en) 2018-09-27 2022-05-10 Apple Inc. Display system
JP2022514489A (ja) * 2018-12-10 2022-02-14 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー ハイパーボーカルビューポート（ｈｖｐ）ディスプレイのための適応型ビューポート
US11650426B2 (en) 2019-05-09 2023-05-16 Meta Platforms Technologies, Llc Holographic optical elements for eye-tracking illumination
KR102582407B1 (ko) * 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
KR20220049548A (ko) * 2019-08-30 2022-04-21 엘지전자 주식회사 머리에 착용할 수 있는 전자 디바이스
US11438991B2 (en) 2020-01-21 2022-09-06 Brightlogic, Inc. Light emitting diode package and electronic display
JP7500217B2 (ja) 2020-02-19 2024-06-17 キヤノン株式会社 電子機器
JP7387493B2 (ja) * 2020-03-06 2023-11-28 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN111700586B (zh) * 2020-07-01 2023-09-29 业成科技（成都）有限公司 眼动追踪装置及应用其的电子装置
CN113947652A (zh) * 2020-07-15 2022-01-18 北京芯海视界三维科技有限公司 实现目标物体定位的方法、装置及显示器件
US12023106B2 (en) 2020-10-12 2024-07-02 Johnson & Johnson Surgical Vision, Inc. Virtual reality 3D eye-inspection by combining images from position-tracked optical visualization modalities
US12045957B2 (en) * 2020-10-21 2024-07-23 Johnson & Johnson Surgical Vision, Inc. Visualizing an organ using multiple imaging modalities combined and displayed in virtual reality
EP4083567B1 (en) * 2021-04-30 2024-06-12 TRUMPF Photonic Components GmbH Laser sensor, system and method for self-mixing interferometry
US12019240B2 (en) * 2021-08-06 2024-06-25 Hong Kong Applied Science and Technology Research Institute Company Limited Imaging apparatus integrated with display for head-mounted display
CN113795783B (zh) * 2021-08-06 2024-02-06 香港应用科技研究院有限公司 用于头戴式显示器的与显示器集成的成像设备
KR20230174355A (ko) * 2022-06-20 2023-12-28 삼성디스플레이 주식회사 표시 장치 및 그 제어방법
EP4361704A1 (en) * 2022-10-27 2024-05-01 Pupil Labs GmbH Eye tracking module and head-wearable device
JP7408202B1 (ja) 2023-07-10 2024-01-05 株式会社近藤研究所 頭部装着型視認装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117046A (ja) * 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
US20010009478A1 (en) * 1994-06-13 2001-07-26 Shoichi Yamazaki Head-up display device with rotationally asymmetric curved surface
JP2008511874A (ja) * 2004-09-01 2008-04-17 アプティカル リサーチ アソシエイツ 傾斜／偏心レンズ素子を有する小形ヘッド取付け表示装置
US20170148215A1 (en) * 2015-11-19 2017-05-25 Oculus Vr, Llc Eye Tracking for Mitigating Vergence and Accommodation Conflicts

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3847799B2 (ja) 1994-08-05 2006-11-22 キヤノン株式会社 視線検出系を有した表示装置
JP2001186442A (ja) * 1999-12-27 2001-07-06 Minolta Co Ltd 映像表示装置
JP2005025613A (ja) 2003-07-04 2005-01-27 Alps Electric Co Ltd 信号処理回路モジュール
ITPD20050137A1 (it) 2005-05-17 2006-11-18 Lino Manfrotto & Co Spa Supporto miniaturizzato per atttrezzature fotografiche quali video e fotocamere
TWI321946B (en) * 2006-07-24 2010-03-11 Young Optics Inc Camera module
US8604586B2 (en) * 2009-08-06 2013-12-10 Qualcomm Incorporated High breakdown voltage embedded MIM capacitor structure
TWI461824B (zh) * 2010-06-29 2014-11-21 Hon Hai Prec Ind Co Ltd 立體取像裝置
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
EP3270194B1 (en) 2012-01-24 2020-10-14 The Arizona Board of Regents on behalf of The University of Arizona Compact eye-tracked head-mounted display
TWI468147B (zh) * 2012-03-21 2015-01-11 Optomed Oy 檢查儀器
US10477194B2 (en) * 2012-04-25 2019-11-12 3M Innovative Properties Company Two imager projection device
US9625723B2 (en) 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
JP6124717B2 (ja) * 2013-07-16 2017-05-10 オリンパス株式会社 撮像素子、焦点検出装置
US10345903B2 (en) * 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
TWI505260B (zh) * 2013-07-30 2015-10-21 Univ Nat Chiao Tung 頭戴式人眼追蹤系統
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US9360935B2 (en) * 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
CN106659541B (zh) * 2014-03-19 2019-08-16 直观外科手术操作公司 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法
CN104656286B (zh) * 2014-10-27 2017-10-27 徐州旭海光电科技有限公司 微型同波长单芯双向光收发模块
US20160150219A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation
WO2016094964A1 (en) * 2014-12-18 2016-06-23 Fugro Roames Pty Limited Imaging system
EP3264738B1 (en) * 2015-02-23 2019-09-25 Sony Corporation Information processing apparatus, information processing method, and program
DE102015103735A1 (de) * 2015-03-13 2016-09-15 Airbus Defence and Space GmbH Verfahren und Vorrichtung zum Testen eines in einem Luftfahrzeug zu bedienenden Geräts
CN106796354A (zh) * 2015-04-01 2017-05-31 Fove股份有限公司 头戴式显示器
KR102421649B1 (ko) * 2015-06-30 2022-07-18 엘지전자 주식회사 의류처리장치
US10234686B2 (en) * 2015-11-16 2019-03-19 Microsoft Technology Licensing, Llc Rainbow removal in near-eye display using polarization-sensitive grating

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010009478A1 (en) * 1994-06-13 2001-07-26 Shoichi Yamazaki Head-up display device with rotationally asymmetric curved surface
JP2001117046A (ja) * 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
JP2008511874A (ja) * 2004-09-01 2008-04-17 アプティカル リサーチ アソシエイツ 傾斜／偏心レンズ素子を有する小形ヘッド取付け表示装置
US20170148215A1 (en) * 2015-11-19 2017-05-25 Oculus Vr, Llc Eye Tracking for Mitigating Vergence and Accommodation Conflicts

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022169255A1 (ko) * 2021-02-02 2022-08-11 삼성전자 주식회사 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법

Also Published As

Publication number Publication date
GB201802305D0 (en) 2018-03-28
AU2016359149A1 (en) 2018-03-08
CA2995746A1 (en) 2017-06-01
KR102078059B1 (ko) 2020-02-17
CA2995746C (en) 2020-06-30
WO2017091477A1 (en) 2017-06-01
GB2556588A (en) 2018-05-30
CN108885341B (zh) 2021-03-09
EP3380883A1 (en) 2018-10-03
JP6494863B2 (ja) 2019-04-03
JP2018536883A (ja) 2018-12-13
CN108885341A (zh) 2018-11-23
EP3380883B1 (en) 2020-10-28
DE112016005395T5 (de) 2018-08-02
US20170147859A1 (en) 2017-05-25
US10303940B2 (en) 2019-05-28
AU2016359149B2 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
KR102078059B1 (ko) 프리즘-기반 눈 추적
US10747314B1 (en) Tracking system with infrared camera
US10878236B2 (en) Eye tracking using time multiplexing
US10845606B1 (en) Eye tracking for a head mounted display including a pancake lens block
EP3516444B1 (en) Eye tracking system
US10429927B1 (en) Eye tracking for a head mounted display including a pancake lens block
US9916005B2 (en) Gaze tracking with projector
US10690929B1 (en) Beamsplitter assembly for eye tracking in head-mounted displays
US10228565B1 (en) Variable focus waveguide display
US10429657B1 (en) Eye tracking for a head mounted display including a pancake lens block
US10789782B1 (en) Image plane adjustment in a near-eye display
WO2017026371A1 (ja) ヘッドマウントディスプレイ
US10528128B1 (en) Head-mounted display devices with transparent display panels for eye tracking
US10481739B2 (en) Optical steering of component wavelengths of a multi-wavelength beam to enable interactivity
US10527858B1 (en) Scanning waveguide display
US10877274B1 (en) Composite optical element for eye tracking having beam splitter formed by coupling of junction surfaces
US11327561B1 (en) Display system
US11205069B1 (en) Hybrid cornea and pupil tracking
US10798332B1 (en) Dual pass-through imaging system and method
US12135429B2 (en) Pupil-steering for three-dimensional (3D) resolution enhancement in single photon avalanche diode (SPAD) eye tracking (ET)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant