[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20190072519A - 안구-추적 애플리케이션들에 대한 센서 융합 시스템들 및 방법들 - Google Patents

안구-추적 애플리케이션들에 대한 센서 융합 시스템들 및 방법들 Download PDF

Info

Publication number
KR20190072519A
KR20190072519A KR1020197009904A KR20197009904A KR20190072519A KR 20190072519 A KR20190072519 A KR 20190072519A KR 1020197009904 A KR1020197009904 A KR 1020197009904A KR 20197009904 A KR20197009904 A KR 20197009904A KR 20190072519 A KR20190072519 A KR 20190072519A
Authority
KR
South Korea
Prior art keywords
eye
tracking
optical flow
optical
camera subsystem
Prior art date
Application number
KR1020197009904A
Other languages
English (en)
Inventor
야세르 말라이카
댄 뉴웰
Original Assignee
밸브 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 밸브 코포레이션 filed Critical 밸브 코포레이션
Publication of KR20190072519A publication Critical patent/KR20190072519A/ko

Links

Images

Classifications

    • G06K9/00604—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다른 용법들 중에서도 특히 소비자-클래스 가상 현실(VR)/증강 현실(AR) 애플리케이션들에서 사용하기 위한 안구-추적 시스템들 및 방법들이 설명된다. 특정 실시예들은 카메라-기반 동공 및 각막 반사 검출을 사용하는 광학적 안구 추적을 더 높은 주파수에서 실행되는 광학적 흐름 하드웨어와 조합한다. 이러한 조합은, 전자를 가지고 획득될 수 있는 정확성을 제공하며 동시에 후자의 바람직한 정밀도 및 레이턴시 특성을 부가하여 상대적으로 감소된 비용으로 더 높은 성능의 전체 시스템을 야기한다. 시야 상의 상이한 목표들에 포인팅된 광학적 흐름 센서들을 가지고 카메라 추적기를 강화함으로써, 정밀도를 개선하기 위한 센서 융합을 수행할 수 있다. 카메라 이미지가 안구 위치의 전체 사진을 제공하기 때문에, 그 정보는 폐색된 광학적 흐름 센서들을 고르기 위하여 사용될 수 있으며 그에 따라서 깜빡임, 속눈썹들, 및 다른 유사한 현상들에 기인하는 드리프트 및 오류들을 완화시킬 수 있다.

Description

안구-추적 애플리케이션들에 대한 센서 융합 시스템들 및 방법들
관련 출원들에 대한 상호 참조
본 출원은 2016년 09월 07일자로 출원된 실용 특허 출원 일련번호 제15/258,551호의 이익을 주장한다. 이러한 출원의 내용이 모든 목적들을 위하여 본원에 참조로서 포함된다.
기술분야
본 개시는 전반적으로 컴퓨터화된 이미지 프로세싱에 관한 것으로서, 더 구체적으로는, 개선된 특징들 및 특성들을 갖는 가상 현실 및/또는 증강 현실을 위한 머리-착용 디스플레이들과 같은 컴퓨터화된 안구-추적(eye-tracking) 애플리케이션들에서 센서 융합 기술들을 구현하기 위한 시스템들 및 방법들에 관한 것이다.
가상 현실(virtual reality; VR) 경험들의 하나의 현행 생성은, 고정식 컴퓨터(예컨대, 개인용 컴퓨터(PC), 랩탑, 또는 게임 콘솔)에 테더링되거나, 스마트 폰 및/또는 그것의 연관된 디스플레이와 결합되거나 및/또는 통합될 수 있거나, 또는 자급식일 수 있는 머리-착용 디스플레이(head-mounted display; HMD)들을 사용하여 생성된다. VR 경험들은 일반적으로 그들의 환경들로부터 사용자들의 감각들을 분리하여 사용자들이 몰입할 수 있게 하는 것을 목적으로 한다.
일반적으로, HMD들은, 하나의(단안 HMD) 또는 각각의 눈(쌍안 HMD)의 전방에 소형 디스플레이 디바이스를 갖는, 사용자의 머리에 착용되는 디스플레이 디바이스들이다.
쌍안 HMD는 각각의 눈에 상이한 이미지를 디스플레이할 가능성을 갖는다. 이러한 성능은 입체 이미지들을 디스플레이하기 위하여 사용된다.
용어 "안구 추적"은 응시 지점(즉, 사용자가 보는 곳), 사용자가 보고 있는 것, 또는 사용자의 머리에 대한 사용자의 안구의 모션 또는 위치 중 하나를 측정하는 프로세스를 지칭한다. 당업자들이 용이하게 인식할 바와 같이, 다양한 컴퓨터화된 안구 추적 기술들이 HMD들 및 다른 애플리케이션들에서 구현되었다.
안구 추적기들은 몇몇 방식들 중 하나의 방식으로 안구의 회전들을 측정한다. 안구 추적 기술의 하나의 광범위한 카테고리는 안구 위치 또는 응시 각도를 측정하기 위하여 비-접촉식의 광학적 방법들을 사용한다. 예를 들어, 광학적 안구 추적 기술의 하나의 알려진 클래스에 있어서, 광, 전형적으로 적외선 영역의 광이 안구에 반사되어 비디오 카메라에 의해 센싱된다. 그런 다음, 비디오 카메라에 의해 센싱된 정보는 반사들의 변화들로부터 정확한 응시 방향 또는 동공의 위치를 추출하기 위하여 분석된다. 비디오-기반 안구 추적기들은 때때로 시간에 걸쳐 추적하기 위한 특징들로서 동공의 중심 또는 각막 반사를 사용한다.
HMD 구현예들의 맥락에 있어서, 카메라-기반 안구 추적 시스템은 사용자의 안구 위치(들)를 검출하기 위한 수단으로서 HMD의 하우징에 부착되며 (직접적으로 또는 간접적으로) 사용자의 안구(들)를 향하는 후향(back-facing) 카메라를 포함할 수 있다. 카메라에 의해 생성되는 디지털 데이터는 프로세싱 및 분석을 위하여 유선 또는 무선 수단을 통해 외부 디바이스 예컨대 컴퓨터(또는 대안적으로, HMD 자체 상에 위치된 컴퓨터 자원들)로 송신된다. 이러한 시스템들 내의 컴퓨터 소프트웨어는 사용자의 안구들 중 하나 또는 둘 모두의 위치를 검출하기 위하여 당업자들에게 공지된 안구-추적 알고리즘들을 실행한다.
안구-추적 성능들을 포함하는 특정 HMD들은, 헬멧, 안경(데이터 안경으로서도 알려짐) 또는 바이저(visor)와 같은 다수의 폼 팩터(form factor)들 내에 내장된 반-투명(즉, "핫(hot)") 미러(mirror)들 및 렌즈들을 갖는 하나 또는 2개의 소형 디스플레이를 포함한다. 디스플레이 유닛들은 전형적으로 소형화되며, CRT, LCD, 실리콘 액정 표시장치(Liquid crystal on silicon; LCos), 또는 OLED 기술품들을 포함할 수 있다. 핫 미러들은 안구 추적을 위한 하나의 가능한 설계 접근 방식을 제공하며, 카메라 또는 다른 안구-추적 센서들이 추적되는 안구의 양호한 뷰(view)를 획득하는 것을 허용한다. 특정 핫 미러들은 적외선(IR) 방사를 반사하며, 가시광에 대해서는 투명하다. 특정 안구-추적 HMD 애플리케이션 내의 핫 미러는 안구의 전방에서 틸팅(tilt)되며, IR 카메라 또는 다른 안구-추적 센서가, 눈이 디스플레이 스크린 상으로의 투명한 뷰를 가지고 있는 동안 안구의 반사된 이미지를 획득하는 것을 가능하게 한다.
이러한 광학적 안구 추적 방법들이 시선 추적을 위하여 널리 사용된다. 특정 구현예들 내의 이러한 추적기들은, 홍채 또는 동공과 같은 알려진 눈의 구조체들 또는 반사된 광을 추적하기 위한 이미지 프로세싱 및 패턴 인식 디바이스들을 가지고 높은 프레임 레이트로 캡처하는 상대적으로 고-해상도 카메라들을 필요로 할 수 있다. 비-침습적이 되도록 하고 비용을 낮게 유지하기 위하여, 현재 당업계에서 알려져 있는 소비자-등급(consumer-grade) 안구 추적 해법들은 성능과 관련하여 실질적인 한계들을 가지고, 이는 시스템이 포비티드 렌더링(foveated rendering)의 경우에 완전히 이용하기 위하여 피사체의 동공의 위치 및 응시 방향을 정밀하게 또는 낮은 레이턴시(latency)를 가지고 알 수 있게 하는 것을 방해하며, 비싼 고-해상도 고-프레임-레이트 카메라들은 단지 제한된 이점들만을 제공할 수 있다.
그러나, HMD 애플리케이션들에 대한 현재 상업적으로 입수할 수 있으며 상대적으로 값이 싼 특정 카메라 이미지-기반 안구 추적기들은 충분히 낮은 레이턴시를 가지고 고 주파수로 실행하기 어려우며, 이들은 특정 구현예들에서 잡음이 많고 폐색(occlusion)되기 쉬운 결과들을 생성할 수 있다. 이러한 시스템들이 낮은 해상도 또는 낮은 프레임 레이트 때문에 반드시 잡음이 많은 것을 아닐 수 있지만, 이들이 샘플링들 사이에 발생하는 활동을 놓치거나 또는 신속 운동(saccade)들(이하에서 추가로 논의되는 급격한 안구 움직임들)에 대한 시작 또는 끝을 부정확하게 결정하여 그에 따라서 불량한 속도 및 가속도 데이터를 생성하여 예측에 있어서 오류를 초래할 수 있기 때문에, 이들은 안구의 실제 움직임을 특징짓기에 충분히 높은 레이트로 샘플링하지 않을 수 있다.
VR에 대하여 중요한 예측의 사용을 시작하기 위하여 그리고 또한 결과들에서 오류들을 초래할 신속 운동들을 놓치는 것을 회피하기 위하여, 이러한 시스템들은 전형적으로, 특히 신속 운동 모션으로서 알려진 것과 관련하여 인간의 안구가 움직이거나 또는 방향을 변경하는 것으로 알려져 있는 상대적으로 높은 속도 때문에 적어도 240 Hz 레이트로 동작하여야만 한다. 단속성 운동(saccadic motion)은, 사람의 안구들이 초점의 평면들 사이에서 움직일 때 사람의 안구들의 알아차려 지지 않으며 때때로 비자발적인 운동을 지칭한다.
일반적으로, 신속 운동들은 자발적이거나 또는 비자발적일 수 있다. 사람이 어떤 것을 보기 위하여 그의 또는 그의 시선을 돌릴 때, 이는 자발적인 신속 운동이다. 사람의 안구는 항상 실질적으로 인지할 수 없는 비자발적인 미세-신속 운동(micro-saccade)들을 수행한다. 미세-신속 운동들은, 사람이 사람의 망막 상에서 보고 있는 이미지들 및 에지들을 리프레시하는 것을 도울 수 있다. 이미지가 망막 상에서 움직이지 않을 때, 사람의 망막 상의 막대들/원뿔들이 이미지에 덜 민감해져서 사람이 실질적으로 그것을 보지 못하게 된다.
안구-추적 시스템 내에서 미세-신속 운동들을 검출하고 측정하는 것은 일반적으로 240 Hz의 최소 샘플링 레이트를 필요로 한다. 측정들이 시선 변화가 미세-신속 운동인지 그리고 시선이 이미 초점의 물체 상으로 다시 돌아갔는지 여부 또는 대신에 안구가 자발적인 신속 운동으로 멀어지도록 가속되고 있는지 여부를 결정하기에 충분하게 잘 수행될 수 있지 않는 한, 안구 운동을 정밀하게 결정하는 것이 또한 일반적으로 불가능하다. 성능을 개선하기 위하여, 더 빈번하고 정확한 데이터가 요구된다.
따라서, 현재 이용할 수 있는 VR 카메라-기반 안구-추적 해법들은 전형적으로 소비자 클래스 HMD 디바이스에서 사용하기 위한 안구 추적의 잠재적인 값 모두를 실현하기에 충분한 민감성, 정확성, 또는 강인성을 가지고 수행되지 않는다. 이는, 프레임 레이트 및/또는 안구-추적 카메라의 해상도를 증가시키는 것이 복잡하고 비싸기 때문이다. 설사 가능한 경우에도, 이러한 개선들은 전형적으로 더 많은 데이터를 생성하며, 이들은 대역폭을 증가시키고 그에 따라서 송신을 더 어렵게 만들며 시선 방향을 계산하기 위한 추가적인 중앙 프로세싱 유닛(central processing unit; CPU) 및/또는 그래픽 프로세싱 유닛(graphics processing unit; GPU) 부하를 야기한다. 추가적인 부하는 시스템 비용을 증가시킬 수 있거나 또는 디스플레이 상에 렌더링하는 애플리케이션으로부터 제한된 컴퓨팅 시간을 없앨 수 있다.
다른 제한은 극단적인 안구 각도들과 관련되며, 이는 특정 카메라-기반 안구-추적 시스템들에서 동공 또는 각막 반사들이 카메라의 시야로부터 벗어나게 강제할 수 있다.
상대적으로 싸고 쉽게 상업적으로 입수할 수 있는 광학적 흐름 센서들에 의해 보충되는 안구-추적 해법들은 카메라-기반 시스템들에 대한 가능한 개선이다. 일반적으로, 광학적 흐름은, 관찰자(안구 또는 카메라)와 신(scene) 사이의 상대적인 움직임에 의해 초래되는 시각적 신 내의 물체들, 표면들, 및 에지들의 명백한 움직임의 패턴이다. 광학적 흐름 센서는 광학적 흐름 또는 시각적 움직임을 측정하고 광학적 흐름에 기초하여 측정치를 출력할 수 있는 비전 센서(vision sensor)이다.
상대적인 위치에 관한 데이터를 제공하는 시스템들과는 대조적으로, 광학적 흐름 센서들은 일반적으로 상대적인 움직임에 관한 데이터를 생성한다. 상대적인 움직임 데이터는, 오류들이 누적됨에 따라서 시간이 지남에 따라 드리프트(drift)를 야기하는 경미한 오류들을 포함할 수 있다. 상대적인 위치 데이터도 마찬가지로 오류들이 존재하지만, 이들은 일반적으로 시간이 지남에 따라 드리프트하지 않는다.
광학적 흐름 센서들의 다양한 구성들이 존재한다. 하나의 구성은 광학적 흐름 알고리즘을 실행하도록 프로그래밍된 프로세서에 연결된 이미지 센서 칩을 포함한다. 다른 구성은, 동일한 다이(die) 상에 이미지 센서 및 프로세서 둘 모두를 가져서 소형 구현을 가능하게 하는 집적 회로인 비전 칩을 사용한다. 이의 일 예는 컴퓨터 광학 마우스들에서 널리 사용되는 유형의 센서이다.
광학적 흐름 센서들은 값이 싸고, 매우 정밀하며, 1 kHz 이상의 레이트로 동작할 수 있다. 그러나, 이들은 전형적으로 시간의 경과에 따라 드리프트하는 그들의 알려진 경향 때문에 낮은 위치적 정확성을 나타낸다. 따라서, 이들이 마우스가 시간의 짧은 간격들에 걸쳐 표면 위에서 얼마나 멀리 이동하였는지에 대한 양호한 상대적인 정보를 제공할 수 있지만, 이들은 마우스가 표면 상의 어느 곳에 있는지 또는 마우스가 그것의 시작 위치에 대하여 어디에 있는지를 말해 줄 수 없으며, 이는 축적된 작은 오류들이 큰 차이를 야기하기 때문이다. 이들의 낮은 해상도 및 사용자의 안구 전체를 "보는 것(see)"에 대한 또는 안구가 응시하고 있는 임의의 지점을 결정하는 것에 대한 무능력과 조합되면, 이들은 전형적으로 자체적으로 안구의 충분히 정확한 위치를 제공할 수 없다.
당업계에서 현재의 한계들을 해결하는 것이 희망된다.
예를 통해, 축적이 맞추어지지 않은 첨부된 도면들에 대하여 이제 참조가 이루어질 것이다.
도 1은 본 발명의 특정 실시예들의 측면들을 구현하기 위하여 사용될 수 있는 컴퓨팅 디바이스의 예시적인 도면이다.
도 2a 내지 도 2d는, 본 발명의 특정 실시예들의 측면들을 구현하기 위하여 사용될 수 있는 HMD 애플리케이션들에 대한 안구-추적 시스템 구성들의 측면들을 도시하는 예시적인 도면들이다.
도 3은 본 발명의 특정 실시예들의 측면들을 구현하기 위하여 사용될 수 있는 HMD애플리케이션들에 대한 안구-추적 시스템 설계들의 예시적인 도면이다.
도 4는 본 발명의 특정 실시예들의 측면들을 구현하기 위하여 사용될 수 있는 HMD 애플리케이션들에 대한 안구-추적 방법들의 예시적인 흐름도이다.
당업자들은 본 발명의 다음의 설명이 단지 예시적이며 어떠한 방식으로도 제한적이지 않다는 것을 이해할 것이다. 본 개시의 이점들을 갖는 본 발명의 다른 실시예들이 그들 자체를 당업자들에게 제안할 것이며, 본원에서 정의되는 전반적인 원리들은 본 발명의 사상 및 범위로부터 벗어나지 않고 다른 실시예들 및 애플리케이션들에 적용될 수 있다. 따라서, 본 발명은 도시되는 실시예들로 한정되도록 의도되는 것이 아니라, 본원에서 개시되는 원리들 및 특징들과 부합하는 가장 광범위한 범위가 허용될 것이다. 이제 첨부된 도면들에 예시된 바와 같은 본 발명의 특정 구현예들에 대해 상세한 참조가 이루어질 것이다. 동일한 참조 번호들이 동일하거나 또는 유사한 부분들을 나타내기 위해 도면들 및 다음의 설명 전체에 걸쳐 사용될 것이다.
이러한 상세한 설명에서 설명되는 데이터 구조들 및 코드는 전형적으로 컴퓨터 판독가능 저장 매체 상에 저장되며, 이는 컴퓨터 시스템에 의한 사용을 위하여 코드 및/또는 데이터를 저장할 수 있는 임의의 디바이스 또는 매체일 수 있다. 이는, 비제한적으로, 자기 및 광 저장 디바이스들 예컨대 디스크 드라이브들, 자기 테이프, CD들(콤팩트 디스크들) 및 DVD들(디지털 다기능 디스크들 또는 디지털 비디오 디스크들), 및 (신호들이 변조되는 반송파를 갖거나 또는 갖지 않는) 송신 매체에 구현되는 컴퓨터 명령어 신호들을 포함한다. 예를 들어, 송신 매체는 인터넷과 같은 통신 네트워크를 포함할 수 있다.
도 1은 본 발명의 특정 실시예들의 측면들을 구현하기 위하여 사용될 수 있는 컴퓨팅 디바이스(100)의 예시적인 도면이다. 컴퓨팅 디바이스(100)는 버스(101), 하나 이상의 프로세서들(105), 메인 메모리(110), 판독-전용 메모리(ROM)(115), 저장 디바이스(120), 하나 이상의 입력 디바이스들(125), 하나 이상의 출력 디바이스들(130), 및 통신 인터페이스(135)를 포함할 수 있다. 버스(101)는 컴퓨팅 디바이스(100)의 컴포넌트들 사이의 통신을 가능하게 하는 하나 이상의 전도체들을 포함할 수 있다. 프로세서(105)는 명령어들을 해석하고 실행하는 임의의 유형의 통상적인 프로세서, 마이크로프로세서, 또는 프로세싱 로직을 포함할 수 있다. 메인 메모리(110)는 프로세서(105)에 의한 실행을 위하여 정보 및 명령어들을 저장하는 랜덤 액세스 메모리(RAM) 또는 다른 유형의 동적 저장 디바이스를 포함할 수 있다. ROM(115)은 프로세서(105)에 의한 사용을 위하여 정적 정보 및 명령어들을 저장하는 통상적인 ROM 디바이스 또는 다른 유형의 정적 저장 디바이스를 포함할 수 있다. 저장 디바이스(120)는 자기 및/또는 광 기록 매체 및 그것의 대응하는 드라이브를 포함할 수 있다. 입력 디바이스(들)(125)는 사용자가 컴퓨팅 디바이스(100)로 정보를 입력하는 것을 가능하게 하는 하나 이상의 통상적인 메커니즘들, 예컨대, 키보드, 마우스, 펜, 스타일러스, 수기 인식, 음성 인식, 생체 측정 메커니즘들, 및 유사한 것을 포함할 수 있다. 출력 디바이스(들)(130)는 디스플레이를 포함하여 사용자에게 정보를 출력할 수 있는 하나 이상의 통상적인 메커니즘들을 포함할 수 있다. 통신 인터페이스(135)는 컴퓨팅 디바이스/서버(100)가 다른 디바이스들 및/또는 시스템들과 통신하는 것을 가능하게 하는 임의의 트랜시버-형(transceiver-like) 메커니즘을 포함할 수 있다. 컴퓨팅 디바이스(100)는, 데이터 저장 디바이스(120)와 같은 다른 컴퓨터-판독가능 매체로부터 또는 통신 인터페이스(135)를 통해 다른 디바이스로부터 메모리(110) 내로 판독될 수 있는 소프트웨어 명령어들에 기초하는 동작들을 수행할 수 있다. 메모리(110) 내에 포함된 소프트웨어 명령어들은 프로세서(105)가 이하에서 설명된 프로세스들을 수행하게끔 한다. 대안적으로, 하드와이어(hardwired) 회로부가 본 발명에 따른 프로세스들을 구현하기 위하여 소프트웨어 명령어들 대신에 또는 이와 함께 사용될 수 있다. 따라서, 다양한 구현예들은 하드웨어 회로부 및 소프트웨어의 임의의 특정 조합에 한정되지 않는다.
특정 실시예들에 있어서, 메모리(110)는, 비제한적으로, 고속 랜덤 액세스 메모리, 예컨대 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 고체 상태 메모리 디바이스들을 포함할 수 있으며; 비제한적으로, 비-휘발성 메모리, 예컨대 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비-휘발성 고체 상태 저장 디바이스들을 포함할 수 있다. 메모리(110)는 프로세서(들)(105)로부터 원격에 위치된 하나 이상의 저장 디바이스들을 선택적으로 포함할 수 있다. 메모리(110), 또는 메모리(110) 내의 저장 디바이스들(예를 들어, 하나 이상의 비-휘발성 저장 디바이스들) 중 하나 이상은 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 특정 실시예들에 있어서, 메모리(110) 또는 메모리(110)의 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들 중 하나 이상을 저장할 수 있다: 다양한 기본 시스템 서비스들을 핸들링하고 하드웨어 종속 태스크들을 수행하기 위한 절차들을 포함하는 운영 시스템; 하나 이상의 통신 네트워크 인터페이스들 및 하나 이상의 통신 네트워크들, 예컨대 인터넷, 다른 광역 네트워크들, 근거리 네트워크들, 도시권 네트워크들 등을 통해 다른 컴퓨터들에 컴퓨팅 디바이스(110)를 연결하기 위하여 사용되는 네트워크 통신 모듈; 사용자가 컴퓨팅 디바이스(100)와 상호작용하는 것을 가능하게 할 수 있는 클라이언트 애플리케이션.
본 명세서의 특정 도면들은 방법들 및 시스템들을 예시하는 흐름도들이다. 이러한 흐름도들의 각각의 블록 및 이러한 흐름도들 내의 블록들의 조합들이 컴퓨터 프로그램 명령어들에 의해 구현될 수 있다는 것이 이해될 것이다. 컴퓨터 프로그램 명령어들은 머신을 생성하기 위하여 컴퓨터 또는 다른 프로그램가능 장치 상으로 로딩될 수 있어서, 컴퓨터 또는 다른 프로그램가능 장치 상에서 실행되는 명령어들은 흐름도 블록 또는 블록들에 명시된 기능들을 구현하기 위한 구조체들을 생성한다. 이러한 컴퓨터 프로그램 명령어들은 또한, 컴퓨터 또는 다른 프로그램가능 데이터 프로세싱 장치가 특정한 방식으로 기능하게끔 명령할 수 있는 컴퓨터-판독가능 메모리 내에 저장될 수 있으며, 그 결과 컴퓨터-판독가능 메모리 내에 저장된 명령어들이, 흐름도 블록 또는 블록들에 명시된 기능을 구현하는 명령어 구조체를 포함하는 제조 물품을 생성한다. 컴퓨터 프로그램 명령어들은 또한, 컴퓨터 또는 다른 프로그램가능 장치 상에서 수행될 일련의 동작 단계들이 컴퓨터로 구현되는 프로세스를 생성하게끔 하기 위하여 컴퓨터 또는 다른 프로그램가능 장치 상으로 로딩될 수 있으며, 그 결과 컴퓨터 또는 다른 프로그램가능 장치 상에서 실행되는 명령어들은 흐름도 블록 또는 블록들에 명시된 기능들을 구현하기 위한 단계들을 제공한다.
따라서, 흐름도들의 블록들은 명시된 기능들을 수행하기 위한 단계들의 조합들 및 명시된 기능들을 수행하기 위한 구조체들의 조합들을 지원한다. 흐름도들의 각각의 블록, 및 흐름도들의 블록들의 조합들이 명시된 기능들 또는 단계들을 수행하는 특수 목적 하드웨어-기반 컴퓨터 시스템들 또는 특수 목적 하드웨어 및 컴퓨터 명령어들의 조합들에 의해 구현될 수 있다는 것이 또한 이해될 것이다.
예를 들어, C, C++, C#(C샵), 펄(Perl), 에이다(Ada), 파이썬(Python), 파스칼(Pascal), 스몰토크(SmallTalk), 포트란(FORTRAN), 어셈블리 언어 및 유사한 것과 같은 임의의 수의 컴퓨터 프로그래밍 언어들이 본 발명의 측면들을 구현하기 위하여 사용될 수 있다. 추가로, 다양한 프로그래밍 접근방식들, 예컨대, 절차적, 객체-지향 또는 인공 지능 기술들이 각각의 특정 구현예의 요건들에 따라 이용될 수 있다. 컴퓨터 시스템들에 의해 실행되는 컴파일러 프로그램들 및/또는 가상 머신 프로그램들은 일반적으로 프로그래밍된 기능 또는 기능들의 세트를 수행하기 위하여 하나 이상의 프로세서들에 의해 실행될 수 있는 기계 명령어들의 세트를 생성하기 위하여 더 높은 레벨의 프로그래밍 언어들을 변환한다.
용어 "기계-판독가능 매체"는 컴퓨터 시스템의 엘리먼트에 의해 판독될 수 있는 데이터를 제공하는데 참여하는 임의의 구조체를 포함하는 것으로서 이해되어야만 한다. 이러한 매체는, 비제한적으로, 비-휘발성 매체, 휘발성 매체, 및 송신 매체를 포함하는 다수의 형태들을 취할 수 있다. 비-휘발성 매체는, 예를 들어, 광 또는 자기 디스크들 또는 다른 영구적 메모리 예컨대 플래시 메모리 기반 디바이스들(예컨대 고체-상태 드라이브들, 또는 SSD들)을 포함한다. 휘발성 매체는, 동적 랜덤 액세스 메모리(DRAM) 및/또는 정적 랜덤 액세스 메모리(SRAM)를 포함한다. 송신 매체는, 프로세서에 결합된 시스템 버스를 포함하는 와이어들을 포함하여 케이블들, 와이어들, 및 광 섬유들을 포함한다. 기계-판독가능 매체의 일반적인 형태들은, 예를 들어 그리고 비제한적으로, 플로피 디스크, 가요성 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, DVD, 또는 임의의 다른 광 매체를 포함한다.
비제한적으로, 본 발명의 특정 실시예들의 측면들을 구현하기 위하여 사용될 수 있는 머리-착용-디스플레이(HMD)들은 고정식 컴퓨터(예컨대 개인용 컴퓨터(PC), 랩탑, 또는 게임 콘솔)에 테더링될 수 있거나 또는 대안적으로 자립형(즉, 일부 또는 모든 센서 입력들, 제어기들/컴퓨터들, 및 출력들 모두가 단일 머리-착용 디바이스 내에 하우징됨)일 수 있다.
특정 실시예들에 있어서, 본 발명의 측면들은 카메라-기반 동공 및 각막 반사 검출을 사용하는 광학적 안구 추적을 더 높은 주파수에서 실행되는 광학적 흐름 하드웨어와 조합한다. 이러한 조합은, 전자를 가지고 획득될 수 있는 정확성을 제공하며 동시에 카메라-기반 샘플들 사이의 기간들 동안 후자의 바람직한 정밀도 및 레이턴시 특성을 부가하여 상대적으로 감소된 비용으로 더 높은 성능의 전체 시스템을 야기한다.
시야 상의 상이한 목표들(예를 들어, 홍채 또는 공막과 같은 사용자의 안구의 표면 상의 상이한 지점들)에 포인팅된 하나 이상의 광학적 흐름 센서들을 가지고 카메라 추적기를 강화함으로써, 정밀도를 개선하기 위한 센서 융합을 수행할 수 있다. 마찬가지로, 카메라 이미지가 안구 위치의 전체 사진을 제공하기 때문에, 그 정보는 폐색된 광학적 흐름 센서들을 고르기 위하여 사용될 수 있으며 그에 따라서 안구-추적 프로세스를 방해하는 깜빡임, 속눈썹들, 및 다른 구조체들 또는 현상들에 기인하는 드리프트 및 오류들을 완화시킬 수 있다.
따라서, 상품 마우스 주변기기들에서의 그들의 사용에 기인하여 상대적으로 값이 싼 광학적 흐름 센서들을 부가하는 것이 더 높은 주파수 입력을 가지고 간극(gap)들을 시간적으로 채우는 것을 돕는다. 이들은 또한, 예를 들어, 눈꺼풀로부터의 폐색 때문에 카메라-기반 추적이 데이터를 제공하지 못하는 기간들로 추적을 확장해야만 하며, 카메라-기반 데이터의 품질 및 유효성을 개선하기 위하여 중복 데이터 소스를 제공하는 것을 보조해야만 한다.
위치적 카메라-기반 시스템 및 광학적 흐름 센서들을 위치시키기 위한 다수의 가능한 구성들이 존재한다. 도 2는 본 발명의 특정 실시예들의 측면들을 구현하기 위하여 사용될 수 있는 HMD 애플리케이션들에 대한 안구 추적 시스템의 예시적인 기능 블록도이다. 도 2에 도시된 바와 같이, 예시적인 구현예는 다음을 포함한다: (1) HMD 내로 통합된 카메라 + 핫 미러-기반 안구 추적 시스템(예를 들어, 200 - 300 픽셀 해상도를 갖는 SMI 또는 TOBII로부터 상업적으로 입수할 수 있는 전역 셔터 적외선 유닛); (2) (사용자의 안구 내의 공막, 홍채 및 동공을 포함할 수 있는) 관찰 필드의 상이한 영역들에 포인팅된 하나 또는 다수의 광학적 흐름 센서들의 어레이, 여기에서 광학적 흐름 센서들은, 그들의 렌즈들이 관찰 하의 안구의 표면 상에 포커싱할 수 있는 렌즈로 대체된, Avago/Pixart ADNS-3080 고-성능 광학 마우스 센서들과 같은 상업적으로 입수할 수 있는 디바이스들을 가지고 구현될 수 있음; (3) 2개의 시스템들로부터의 입력을 통합하는 센서 융합 모듈; 및, 선택적으로, (4) 임의의 주어진 시점에 광학적 흐름 센서들 중 어떤 것을 무시할지 결정하는 잡음 차단(noise squelching) 시스템.
예시적인 구현예들에 있어서, 흐름 센서들은 필드 광학적 엘리먼트의 넓은 깊이 및 좁은 시야각을 통해 겨냥하게 된다. 예를 들어, 광학부는 공막 내의 혈관 세부사항(vascular detail)들로 튜닝될 수 있다. 특히, 센서에 의해 관찰되는 영역이 너무 작은 경우, 뷰 내에 충분한 혈관 세부사항이 존재하지 않을 수 있다. 반면, 영역이 너무 큰 경우, 세부사항들을 해상(resolve)하는 것이 어렵거나 또는 불가능할 수 있으며, 사용자의 눈꺼풀이 뷰 내에 너무 많은 시간 동안 존재할 수 있고, 이는 검출되는 데이터의 품질 및 값을 손상시킬 수 있다. 특정 실시예들에 있어서, 광학적 흐름 센서들은, 깜빡임 검출 및 사용자의 홍채 및/또는 공막을 겨냥하는 센서들이 안구 회전과는 대조적인 눈꺼풀 움직임을 관찰하는 때를 검출하는 것을 돕기 위하여 사용자의 눈꺼풀을 의도적으로 겨냥하게 될 수 있다.
특정 실시예들에 있어서, 광학적 흐름 센서들은 이미지 카메라가 사용하는 동일한 핫 미러에 반사(bounce off)될 수 있다. 다른 실시예들에 있어서, 사용자의 안구의 각각의 이미징을 용이하게 하기 위하여 도파관이 렌즈의 전방에 위치된다. 인간의 안구가 상당히 이리저리 움직이며, 눈꺼풀들이 깜빡임 동안 또는 이들이 안구와 함께 움직일 때 광학적 흐름에 간섭할 수 있기 때문에, 특정 실시예들은 각각이 안구의 상이한 부분들을 포인팅하는 동시에 실행되는 복수의 광학적 흐름 센서들을 사용한다. 센서들의 수는 각각의 구현예의 특정 요건의 의존하며, 비용 및 성능의 고려사항들에 기초한다.
샘플링하기 위한 샘플로부터 차단될 필요가 있는 센서들은 저-주파수 카메라-기반 이미지 추적 컴포넌트들에 의해 결정될 수 있으며, 이는, 카메라 이미지가 안구 위치의 전체 사진을 제공하고 그 정보가 폐색된 광학적 흐름 센서들을 고르기 위하여 사용될 수 있기 때문이다. 시스템 내의 다른 광학적 흐름 센서들로부터의 정보가 또한 이러한 차단 기능을 위하여 사용될 수 있다. 광학적 흐름 센서들로부터의 정보는 또한, 카메라-기반 샘플 데이터의 유효성을 개선하는 것을 돕기 위하여 깜빡임들을 식별하는 것을 돕기 위해 사용될 수 있다.
도 2a 내지 도 2d는, 본 발명의 특정 실시예들의 측면들을 구현하기 위하여 사용될 수 있는 HMD 애플리케이션들에 대한 안구-추적 시스템 구성들의 측면들을 도시하는 예시적인 도면들이다. 이러한 도면들은 전반적인 기하학적 구성들 및 공간적 관계들을 보여주도록 의도되며, 실제 물리적인 물체들의 묘사로서 간주되지 않아야만 한다.
도 2a 내지 도 2d에 도시된 바와 같이, 사용자의 안구(230)는 본 발명의 측면들에 따른 안구-추적 시스템들에 의해 관찰되고 있다. 렌즈(210)는 사용자의 안구(230)가 디스플레이(220) 상에 포커싱하는 것을 가능하게 한다. 핫 미러(240)는 렌즈(210)와 디스플레이(220) 사이에 배치될 수 있다. 핫 미러(240)는 가시광에서 디스플레이(220)의 뷰를 방해하지 않는다. 카메라-기반 안구-추적 서브시스템들(325) 및 광학적 흐름 센서 서브시스템들(335)(하나 이상의 광학적 흐름 센서들을 포함하는 것으로서 구현될 수 있음)은, 반사되는 위치가 추적 목적들을 위해 사용자의 안구(230)를 관찰하도록 특정 구현예의 요건들에 따라 배열된다. 예를 들어, 도 2a에 도시된 구성에서, 카메라-기반 안구-추적 서브시스템(325)은 위치(325r)에서 반사(reflect)되며, 광학적 흐름 센서 서브시스템(335)은 위치(335r)에서 반사된다. IR 조명기(250)는 카메라-기반 안구-추적 서브시스템(325) 및 광학적 흐름 센서 서브시스템(335)에 의해 획득되는 광원을 생성한다. IR 광은 전반적으로 핫 미러(240)에 의해 반사되며, 반면 인간의 안구(230)에 의해 보일 수 있는 광은 전반적으로 핫 미러(240)에 의해 반사되지 않는다. 프레임(260)은 도시된 다양한 컴포넌트들에 대한 기계적인 지지를 제공하며, 사용자의 안구(230)를 외부 광원들로부터 차폐한다.
따라서, 적외선 광을 반사하는 핫 미러의 능력에 기인하여, 안구-추적 센서들(325, 335)은 안구의 반사된 뷰를 검출한다. 각각의 특정 구현예의 요건들에 의존하여, 핫 미러 및 센서들의 위치가 렌즈의 앞뒤의 다양한 위치들에 존재할 수 있거나, 또는 안구에 직접적으로 또는 하나 이상의 미러들을 통해 간접적으로 지향될 수 있기 때문에, 도 2a 내지 도 2d는 예시적이다.
도 2b는, 전반적으로 사용자의 안구의 좌측에 그리고 뒤의 조망으로부터 보여지는 바와 같은, 도 2a에 도시된 구성의 3-차원 버전을 도시한다.
도 2c 및 도 2d는, 2개의 광학적 흐름 센서들(335a, 335b) 및 그들의 개별적인 반사된 위치들(335a-r, 335b-r)을 포함하는 2개의 상이한 각도들로부터의 다른 예시적인 구성을 도시한다. (광학적 흐름 센서(335a)는 도 2d에서는 보이지 않는다.)
도 3은 본 발명의 특정 실시예들의 측면들을 구현하기 위하여 사용될 수 있는 HMD애플리케이션들에 대한 안구-추적 시스템 설계들의 예시적인 도면이다. 도 3은, 제 1 해상도 레벨 및 제 1 샘플링 레이트로 관찰 필드(330)(여기에서 관찰 필드는 동공을 포함하는 사람의 안구의 일 부분을 포함함)의 이미지들을 나타내는 순차적인 2-차원 샘플들을 캡처하며 카메라-기반 안구 위치 추정을 생성하는 안구-추적 카메라 서브시스템(325)을 포함하는 예시적인 안구-추적 장치(300)를 도시한다. 도 3은, 각기 관찰 필드의 상이한 서브영역에 포인팅된 하나 이상의 광학적 흐름 센서 서브시스템들(335)의 어레이를 더 도시한다. 특정 실시예들에 있어서, 이러한 광학적 흐름 센서들의 각각은 제 1 해상도 레벨보다 더 낮은 해상도 레벨(즉, 카메라-기반 서브시스템(325)의 해상도 레벨)로 그리고 제 1 샘플링 레이트보다 더 빠른 샘플링 레이트로 그것의 대응하는 서브영역 내의 광학적 흐름을 나타내는 순차적인 샘플들을 캡처하며 광학적-흐름-기반 안구 위치 추정을 생성한다. 예를 들어, 특정 실시예들에 있어서, 제 1 해상도 레벨은 각 치수에서 100 내지 200 픽셀들이며, 제 2 해상도 레벨은 각 치수에서 16 내지 32 픽셀들이고, 제 1 샘플링 레이트는 40 내지 60 Hz이며, 제 2 샘플링 레이트는 500 내지 6400 Hz이다. 도 3은 또한, 최종 안구 위치 추정을 생성하기 위하여 안구-추적 카메라 서브시스템(325)으로부터의 카메라-기반 안구 위치 추정 및 광학적 흐름 센서들(335)의 어레이로부터의 광학적-흐름-기반 안구 위치 추정들을 조합하는 센서 융합 모듈(305)을 도시한다. 특정 실시예들에 있어서, 센서 융합 모듈은, 이러한 클래스의 센서 융합 문제들에 대하여 유용한 칼만 필터(Kalman filter)들로서 집합적으로 알려진 클래스의 알고리즘들을 사용하지만, 몇몇 다른 센서 융합 기술들이 당업자들에게 자명할 것이다.
특정 실시예들에 있어서, 안구-추적 카메라 서브시스템(325)은 적외선 광학적 주파수 범위에서 동작한다. 특정한 추가적인 실시예들에 있어서, 본 발명의 측면들에 따른 안구-추적 장치(300)는 또한, 안구-추적 카메라 서브시스템으로부터의 카메라-기반 안구 위치 추정에 기초하여 임의의 주어진 시점에서 무시할 상기 하나 이상의 광학적 흐름 센서들의 서브세트를 결정하는 잡음 차단 시스템을 포함한다.
각각의 구현예의 특정 요건들에 따라서, 안구-추적 카메라 서브시스템 및 광학적 흐름 센서들의 어레이는 머리-착용 디스플레이 내에 하우징될 수 있다.
도 4는 본 발명의 특정 실시예들의 측면들을 구현하기 위하여 사용될 수 있는 HMD 애플리케이션들(400)에 대한 안구-추적 방법들의 예시적인 흐름도이다. 도 4에 도시된 바와 같이, 예시적인 방법은, 카메라-기반 안구 위치 추정을 생성하기 위하여 안구-추적 카메라 서브시스템을 가지고 제 1 해상도 레벨 및 제 1 샘플링 레이트로 관찰 필드(여기에서 관찰 필드는 동공을 포함하는 사람의 안구의 일 부분을 포함함)의 이미지들을 나타내는 순차적인 2-차원 샘플들을 캡처하는 단계(425)를 포함한다. 방법은 또한, 복수의 광학적-흐름-기반 안구 위치 추정들을 생성하기 위하여 광학적 흐름 센서들 중 하나 이상을 가지고 상기 제 1 해상도 레벨보다 더 낮은 해상도 레벨로 그리고 상기 제 1 샘플링 레이트보다 더 빠른 샘플링 레이트로 관찰 필드의 복수의 서브영역들 내의 광학적 흐름을 나타내는 순차적인 샘플들을 캡처하는 단계(435)를 포함한다. 마지막으로, 방법은, 센서 융합 기능(function)들을 사용하여 최종 안구 위치 추정을 생성하기 위해 카메라-기반 안구 위치 추정 및 광학적-흐름-기반 안구 위치 추정들을 조합하는 단계(405)를 포함한다.
따라서, 본 발명의 측면들에 따른 센서 융합 기술들은 2개의 상보적인 추적 시스템들이 높은-프레임-레이트, 낮은-레이턴시, 상대적으로 낮은 비용의 정확한 안구-추적을 가지기 위하여 둘 모두의 이점들을 갖는 시스템으로 조합되는 것을 가능하게 한다. 반면 기존의 특정 카메라-기반 안구-추적 시스템들은 동공 위치에 대한 정규 절대 위치(positioning) 정보를 제공하지만, 이들은 흔히 안구-추적을 사용할 수 있는 특정 애플리케이션들에 대하여 필요한 만큼 자주 이러한 정보를 제공하지 못할 수 있다. 반면, 광학적 흐름 센서들은 상대적으로 높은 데이터 레이트들로 상대적인 데이터를 생성할 수 있지만, 이들은 부정확한 위치 데이터를 제공할 수 있다. 본 발명의 측면들에 따른 센서 융합 기술들은, 시스템이 2개의 세계들 중 최고의 것을 획득하고 매우 낮은 레이턴시로 정확한 데이터를 제공하기 위하여, 느린 시스템의 위치적 정확성과 빠른 시스템의 상대적인 데이터를 조합하는 것을 가능하게 한다.
특정 실시예에 있어서, 본 발명의 측면들은 필드-프로그램가능 게이트 어레이(field-programmable gate array; FPGA)들 및 마이크로제어기들을 사용하여 구현될 수 있다. 이러한 실시예들에 있어서, 하나 이상의 마이크로제어기들은 고속 FPGA 프런트-엔드(front-end)를 관리하며, 추가적인 프로세싱을 위하여 적절한 인터페이스 버스(예를 들어, USB)를 통해 호스트 컴퓨터로 다시 전달하기 위하여 데이터 스트림을 패키징한다.
이상의 설명에서, 특정 실시예들이 특정 데이터 구조들, 선호되는 그리고 선택적인 시행들, 선호되는 제어 흐름들, 및 예들과 관련하여 설명된다. 당업자들에 의한 본 출원의 리뷰 이후에 이해될 바와 같은, 설명된 방법들의 다른 그리고 추가적인 애플리케이션이 본 발명의 범위 내에 속한다.
이상의 설명이 다수의 특정사항들을 포함하며 특정 예시적인 실시예들이 설명되고 첨부된 도면에 도시되었지만, 이러한 실시예들이 단지 예시적이며 본 발명의 범위를 제한하지 않는다는 것, 및 이상에서 언급된 바와 같이 다양한 다른 수정들이 당업자들에게 나타날 수 있기 때문에 본 발명이 도시되고 설명된 특정 구성들 및 배열들에 한정되지 않는다는 것이 이해되어야만 한다. 본 발명은 본원에 개시된 상이한 종 및/또는 실시예들로부터의 엘리먼트들의 임의의 조합 또는 서브-조합을 포함한다.

Claims (18)

  1. 안구-추적 장치로서,
    제 1 해상도 레벨 및 제 1 샘플링 레이트로 관찰 필드의 이미지들을 나타내는 순차적인 2-차원 샘플들을 캡처하며 카메라-기반 안구 위치 추정을 생성하는 안구-추적 카메라 서브시스템으로서, 상기 관찰 필드는 동공을 포함하는 사람의 안구의 일 부분을 포함하는, 상기 안구-추적 카메라 서브시스템;
    각각이 상기 관찰 필드의 상이한 서브영역에 포인팅(point)된 복수의 광학적 흐름 센서들로서, 상기 광학적 흐름 센서들의 각각은 상기 제 1 해상도 레벨보다 더 낮은 해상도 레벨로 그리고 상기 제 1 샘플링 레이트보다 더 빠른 샘플링 레이트로 그것의 대응하는 서브영역 내의 광학적 흐름을 나타내는 순차적인 샘플들을 캡처하며 광학적-흐름-기반 안구 위치 추정을 생성하는, 상기 복수의 광학적 흐름 센서들; 및
    최종 안구 위치 추정을 생성하기 위하여 상기 안구-추적 카메라 서브시스템으로부터의 상기 카메라-기반 안구 위치 추정 및 상기 복수의 광학적 흐름 센서들의 각각으로부터의 상기 광학적-흐름-기반 안구 위치 추정들을 조합하는 센서 융합 모듈을 포함하는, 안구-추적 장치.
  2. 청구항 1에 있어서,
    상기 안구-추적 카메라 서브시스템은 적외선 광학적 주파수 범위에서 동작하는, 안구-추적 장치.
  3. 청구항 1에 있어서,
    상기 안구-추적 장치는, 상기 안구-추적 카메라 서브시스템으로부터의 상기 카메라-기반 안구 위치 추정에 기초하여 임의의 주어진 시점에서 무시할 상기 복수의 광학적 흐름 센서들의 서브세트를 결정하는 잡음 차단 시스템을 더 포함하는, 안구-추적 장치.
  4. 청구항 1에 있어서,
    상기 안구-추적 카메라 서브시스템 및 상기 복수의 광학적 흐름 센서들은 머리-착용 디스플레이 내에 하우징되는, 안구-추적 장치.
  5. 청구항 1에 있어서,
    상기 센서 융합 모듈은 칼만 필터를 포함하는, 안구-추적 장치.
  6. 안구-추적 방법으로서,
    카메라-기반 안구 위치 추정을 생성하기 위하여 안구-추적 카메라 서브시스템을 가지고 제 1 해상도 레벨 및 제 1 샘플링 레이트로 관찰 필드의 이미지들을 나타내는 순차적인 2-차원 샘플들을 캡처하는 단계로서, 상기 관찰 필드는 동공을 포함하는 사람의 안구의 일 부분을 포함하는, 단계;
    복수의 광학적-흐름-기반 안구 위치 추정들을 생성하기 위하여 복수의 광학적 흐름 센서들을 가지고 상기 제 1 해상도 레벨보다 더 낮은 해상도 레벨로 그리고 상기 제 1 샘플링 레이트보다 더 빠른 샘플링 레이트로 상기 관찰 필드의 복수의 서브영역들 내의 광학적 흐름을 나타내는 순차적인 샘플들을 캡처하는 단계; 및
    센서 융합 기능들을 사용하여 최종 안구 위치 추정을 생성하기 위해 상기 카메라-기반 안구 위치 추정 및 상기 광학적-흐름-기반 안구 위치 추정들을 조합하는 단계를 포함하는, 안구-추적 방법.
  7. 청구항 6에 있어서,
    상기 안구-추적 카메라 서브시스템은 적외선 광학적 주파수 범위에서 동작하는, 안구-추적 방법.
  8. 청구항 6에 있어서,
    상기 안구-추적 방법은, 상기 안구-추적 카메라 서브시스템으로부터의 상기 카메라-기반 안구 위치 추정에 기초하여 임의의 주어진 시점에서 무시할 상기 복수의 광학적 흐름 센서들의 서브세트를 결정하는 단계를 더 포함하는, 안구-추적 방법.
  9. 청구항 6에 있어서,
    상기 안구-추적 카메라 서브시스템 및 상기 복수의 광학적 흐름 센서들은 머리-착용 디스플레이 내에 하우징되는, 안구-추적 방법.
  10. 청구항 6에 있어서,
    상기 센서 융합 기능들은 칼만 필터를 포함하는, 안구-추적 방법.
  11. 안구-추적 장치로서,
    제 1 해상도 레벨 및 제 1 샘플링 레이트로 관찰 필드의 이미지들을 나타내는 순차적인 2-차원 샘플들을 캡처하며 카메라-기반 안구 위치 추정을 생성하는 안구-추적 카메라 서브시스템으로서, 상기 관찰 필드는 동공을 포함하는 사람의 안구의 일 부분을 포함하는, 상기 안구-추적 카메라 서브시스템;
    각각이 상기 관찰 필드의 상이한 서브영역에 포인팅된 하나 이상의 광학적 흐름 센서들로서, 상기 광학적 흐름 센서들의 각각은 상기 제 1 해상도 레벨보다 더 낮은 해상도 레벨로 그리고 상기 제 1 샘플링 레이트보다 더 빠른 샘플링 레이트로 그것의 대응하는 서브영역 내의 광학적 흐름을 나타내는 순차적인 샘플들을 캡처하며 광학적-흐름-기반 안구 위치 추정을 생성하는, 상기 하나 이상의 광학적 흐름 센서들; 및
    최종 안구 위치 추정을 생성하기 위하여 상기 안구-추적 카메라 서브시스템으로부터의 상기 카메라-기반 안구 위치 추정 및 상기 하나 이상의 광학적 흐름 센서들의 각각으로부터의 상기 광학적-흐름-기반 안구 위치 추정들을 조합하는 센서 융합 모듈을 포함하는, 안구-추적 장치.
  12. 청구항 11에 있어서,
    상기 안구-추적 카메라 서브시스템은 적외선 광학적 주파수 범위에서 동작하는, 안구-추적 장치.
  13. 청구항 11에 있어서,
    상기 안구-추적 카메라 서브시스템 및 상기 하나 이상의 광학적 흐름 센서들은 머리-착용 디스플레이 내에 하우징되는, 안구-추적 장치.
  14. 청구항 11에 있어서,
    상기 센서 융합 모듈은 칼만 필터를 포함하는, 안구-추적 장치.
  15. 안구-추적 방법으로서,
    카메라-기반 안구 위치 추정을 생성하기 위하여 안구-추적 카메라 서브시스템을 가지고 제 1 해상도 레벨 및 제 1 샘플링 레이트로 관찰 필드의 이미지들을 나타내는 순차적인 2-차원 샘플들을 캡처하는 단계로서, 상기 관찰 필드는 동공을 포함하는 사람의 안구의 일 부분을 포함하는, 단계;
    복수의 광학적-흐름-기반 안구 위치 추정들을 생성하기 위하여 하나 이상의 광학적 흐름 센서들을 가지고 상기 제 1 해상도 레벨보다 더 낮은 해상도 레벨로 그리고 상기 제 1 샘플링 레이트보다 더 빠른 샘플링 레이트로 상기 관찰 필드의 하나 이상의 서브영역들 내의 광학적 흐름을 나타내는 순차적인 샘플들을 캡처하는 단계; 및
    센서 융합 기능들을 사용하여 최종 안구 위치 추정을 생성하기 위해 상기 카메라-기반 안구 위치 추정 및 상기 광학적-흐름-기반 안구 위치 추정들을 조합하는 단계를 포함하는, 안구-추적 방법.
  16. 청구항 15에 있어서,
    상기 안구-추적 카메라 서브시스템은 적외선 광학적 주파수 범위에서 동작하는, 안구-추적 방법.
  17. 청구항 15에 있어서,
    상기 안구-추적 카메라 서브시스템 및 상기 복수의 광학적 흐름 센서들은 머리-착용 디스플레이 내에 하우징되는, 안구-추적 방법.
  18. 청구항 15에 있어서,
    상기 센서 융합 기능들은 칼만 필터를 포함하는, 안구-추적 방법.
KR1020197009904A 2016-09-07 2017-08-23 안구-추적 애플리케이션들에 대한 센서 융합 시스템들 및 방법들 KR20190072519A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/258,551 2016-09-07
US15/258,551 US20180068449A1 (en) 2016-09-07 2016-09-07 Sensor fusion systems and methods for eye-tracking applications
PCT/US2017/048160 WO2018048626A1 (en) 2016-09-07 2017-08-23 Sensor fusion systems and methods for eye-tracking applications

Publications (1)

Publication Number Publication Date
KR20190072519A true KR20190072519A (ko) 2019-06-25

Family

ID=61281376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197009904A KR20190072519A (ko) 2016-09-07 2017-08-23 안구-추적 애플리케이션들에 대한 센서 융합 시스템들 및 방법들

Country Status (6)

Country Link
US (1) US20180068449A1 (ko)
EP (1) EP3490434A4 (ko)
JP (1) JP2019531782A (ko)
KR (1) KR20190072519A (ko)
CN (1) CN109715047B (ko)
WO (1) WO2018048626A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10330935B2 (en) * 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10863812B2 (en) 2018-07-18 2020-12-15 L'oreal Makeup compact with eye tracking for guidance of makeup application
US11022809B1 (en) 2019-02-11 2021-06-01 Facebook Technologies, Llc Display devices with wavelength-dependent reflectors for eye tracking
CN109949423A (zh) * 2019-02-28 2019-06-28 华南机械制造有限公司 三维可视化展示交互方法、装置、存储介质及终端设备
CN110111688B (zh) * 2019-05-24 2022-04-08 亿信科技发展有限公司 一种显示面板、显示方法及显示系统
CN110225252B (zh) * 2019-06-11 2021-07-23 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110426845B (zh) * 2019-08-09 2021-03-23 业成科技（成都）有限公司 眼球追踪架构
US11996023B2 (en) 2019-09-05 2024-05-28 Dolby Laboratories Licensing Corporation Viewer synchronized illumination sensing
SE1951103A1 (en) * 2019-09-30 2020-12-15 Tobii Ab Methods and systems for a head-mounted device for updating an eye tracking model
GB2588920A (en) 2019-11-14 2021-05-19 Continental Automotive Gmbh An autostereoscopic display system and method of projecting a gaze position for the same
US11803237B2 (en) * 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
WO2022234383A1 (ja) * 2021-05-07 2022-11-10 株式会社半導体エネルギー研究所 電子機器
CN115514590B (zh) * 2021-06-03 2024-01-05 台达电子工业股份有限公司 电动载具部件、电动载具数据收集系统及电动载具数据收集方法
CN113805334A (zh) * 2021-09-18 2021-12-17 京东方科技集团股份有限公司 一种眼动追踪系统、控制方法、显示面板
CN116745683A (zh) * 2022-01-10 2023-09-12 京东方科技集团股份有限公司 眼动追踪装置和眼动追踪方法
CN114569056B (zh) * 2022-01-28 2022-11-15 首都医科大学附属北京天坛医院 眼球检测和视觉模拟设备以及眼球检测以及视觉模拟方法
CN115963932B (zh) * 2023-03-16 2023-05-26 苏州多感科技有限公司 基于光流传感器的用户按压操作识别方法和系统
WO2024196910A1 (en) * 2023-03-20 2024-09-26 Magic Leap, Inc. Method and system for performing foveated image compression based on eye gaze

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
JP3730079B2 (ja) * 2000-03-21 2005-12-21 大日本スクリーン製造株式会社 基板処理装置
EP1357831A2 (en) * 2001-02-09 2003-11-05 Sensomotoric Instruments GmbH Multidimensional eye tracking and position measurement system
US6959102B2 (en) * 2001-05-29 2005-10-25 International Business Machines Corporation Method for increasing the signal-to-noise in IR-based eye gaze trackers
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US7699469B2 (en) * 2005-12-14 2010-04-20 Digital Signal Corporation System and method for tracking eyeball motion
US7500669B2 (en) * 2006-04-13 2009-03-10 Xerox Corporation Registration of tab media
CN101515199B (zh) * 2009-03-24 2011-01-05 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
EP2261857A1 (en) * 2009-06-12 2010-12-15 Star Nav Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze
US10506924B2 (en) * 2013-04-10 2019-12-17 Auckland Uniservices Limited Head and eye tracking
CN103325108A (zh) * 2013-05-27 2013-09-25 浙江大学 一种融合光流与特征点匹配的单目视觉里程计的设计方法
GB201310359D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
CN103365297B (zh) * 2013-06-29 2016-03-09 天津大学 基于光流的四旋翼无人机飞行控制方法
CN108537628B (zh) * 2013-08-22 2022-02-01 贝斯普客公司 用于创造定制产品的方法和系统
US9459451B2 (en) * 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US20170090557A1 (en) * 2014-01-29 2017-03-30 Google Inc. Systems and Devices for Implementing a Side-Mounted Optical Sensor
GB2523356A (en) * 2014-02-21 2015-08-26 Tobii Technology Ab Apparatus and method for robust eye/gaze tracking
US9514364B2 (en) * 2014-05-29 2016-12-06 Qualcomm Incorporated Efficient forest sensing based eye tracking
US9489739B2 (en) * 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
CN104359482A (zh) * 2014-11-26 2015-02-18 天津工业大学 基于lk光流算法的视觉导航方法
US10043281B2 (en) * 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
CN205485072U (zh) * 2016-03-04 2016-08-17 北京加你科技有限公司 一种头戴式显示设备
CN205540289U (zh) * 2016-04-07 2016-08-31 北京博鹰通航科技有限公司 一种具有光流传感器的多旋翼无人机

Also Published As

Publication number Publication date
CN109715047B (zh) 2021-08-03
WO2018048626A1 (en) 2018-03-15
EP3490434A4 (en) 2020-04-08
CN109715047A (zh) 2019-05-03
JP2019531782A (ja) 2019-11-07
US20180068449A1 (en) 2018-03-08
EP3490434A1 (en) 2019-06-05

Similar Documents

Publication Publication Date Title
CN109715047B (zh) 用于眼动追踪应用的传感器融合系统和方法
US10720128B2 (en) Real-time user adaptive foveated rendering
KR102258424B1 (ko) 사용자 인터페이스 프로그래밍적 스케일링
CN112515624B (zh) 使用低分辨率图像跟踪眼睛
US10169846B2 (en) Selective peripheral vision filtering in a foveated rendering system
US10372205B2 (en) Reducing rendering computation and power consumption by detecting saccades and blinks
US20230305627A1 (en) Systems and techniques for estimating eye pose
EP3092546B1 (en) Target positioning with gaze tracking
EP3172649B1 (en) Anti-trip when immersed in a virtual reality environment
US9984507B2 (en) Eye tracking for mitigating vergence and accommodation conflicts
US8736692B1 (en) Using involuntary orbital movements to stabilize a video
WO2018212808A1 (en) Near-eye display with extended effective eyebox via eye tracking
KR101788452B1 (ko) 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법
US20150309567A1 (en) Device and method for tracking gaze
CN111670001B (zh) 用于眼睛跟踪系统的图像调整
EP3923122A1 (en) Gaze tracking apparatus and systems
US11743447B2 (en) Gaze tracking apparatus and systems
JP7128473B2 (ja) キャラクター表示方法
CN114258279A (zh) 使用经调制的同轴照明的瞳孔评估
CN118394205A (zh) 利用眼动追踪技术的混合现实交互
Chuptys et al. Head Mounted Displays