[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20150075906A - 시선 추적 장치 및 방법 - Google Patents

시선 추적 장치 및 방법 Download PDF

Info

Publication number
KR20150075906A
KR20150075906A KR1020130164317A KR20130164317A KR20150075906A KR 20150075906 A KR20150075906 A KR 20150075906A KR 1020130164317 A KR1020130164317 A KR 1020130164317A KR 20130164317 A KR20130164317 A KR 20130164317A KR 20150075906 A KR20150075906 A KR 20150075906A
Authority
KR
South Korea
Prior art keywords
eye
line
infrared
eyeball
receiving sensor
Prior art date
Application number
KR1020130164317A
Other languages
English (en)
Inventor
조영진
이선규
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020130164317A priority Critical patent/KR20150075906A/ko
Priority to US14/333,122 priority patent/US20150186722A1/en
Publication of KR20150075906A publication Critical patent/KR20150075906A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 시선 추적 장치 및 방법에 관한 것으로, 본 발명의 일 구현예에 따른 시선 추적 방법은, 피사체의 안구가 포함된 안구 영역을 결정하는 단계, 상기 안구 영역에 대응되는 수광 센서의 노출 시간 동안 적외선 소자를 발광시키는 단계 및 상기 적외선 소자의 발광에 의한 상기 안구의 반사광을 이용하여 상기 피사체의 시선을 추적하는 단계를 포함한다.

Description

시선 추적 장치 및 방법 {APPARATUS AND MEHTOD FOR EYE TRACKING}
본 발명은 시선 추적 장치 및 방법에 관한 것이다.
광학 기술의 발전에 따라 다양한 응용 기술이 개발되고 있다. 시선 추적 기술은 이러한 응용 기술 중의 하나로서, 사용자의 상태를 정보화하여 사용자 맞춤형 서비스를 제공하기 위한 기반 기술로서 사용되고 있다.
또한, 최근에는 모바일 단말 환경에서 이러한 시선 추적 기술이 적용이 시도되고 있다. 이러한 모바일 환경에서는 모바일 단말기의 전력 관리가 매우 중요한 요소이다. 따라서, 이러한 모바일 단말기에 적용되는 시선 추적 기술에서도 마찬가지로 전력 관리, 즉, 전력의 소모를 줄이는 것이 매우 중요한 요소이다.
이러한 시선 추적 기술은 적외선 소자를 발광하고, 피사체의 안구에서 반사되는 적외선의 정보를 기반으로 피사체의 안구의 위치를 결정할 수 있다. 즉, 시선 추적을 위해서는 적외선 소자를 발광하는 것이 필수적인 요소가 된다.
특히 모바일 환경에서는, 전체 소모 전력 중 적외선 소자의 발광에 의하여 소모되는 전력이 매우 크다. 이로 인하여, 시선 추적이 연속적으로 수행되는 경우, 시선 추적에 의하여 소모되는 전력이 급증하는 문제점이 있다.
하기의 특허문헌 1은 ＩＰＴＶ 제어를 위한 원거리 시선 추적 장치 및 방법에 관한 것이고, 특허문헌 2는 카메라의 시선 검출 장치에 관한 것으로서 시선 추적 기술에 관련된 내용을 기술하고 있으나, 이러한 특허 문헌1및 2도 상술한 바와 같은 문제점을 가지고 있다.
한국 공개특허공보 제2012-0057033호 일본 공개특허공보 제 1996-292362호
본 발명의 과제는 상기한 종래 기술의 문제점을 해결하기 위한 것으로써, 시선 추적을 정상적으로 수행하면서도 적외선 소자의 발광 시간을 줄일 수 있어 효율적인 전력 관리를 제공할 수 있는 시선 추적 장치 및 방법을 제공하는 것이다.
본 발명의 제1 기술적인 측면은 시선 추적 방법을 제안한다. 상기 시선 추적 방법은, 피사체의 안구가 포함된 안구 영역을 결정하는 단계, 상기 안구 영역에 대응되는 수광 센서의 노출 시간 동안 적외선 소자를 발광시키는 단계 및 상기 적외선 소자의 발광에 의한 상기 안구의 반사광을 이용하여 상기 피사체의 시선을 추적하는 단계를 포함한다.
일 실시예에서, 상기 안구 영역을 결정하는 단계는, 상기 피사체에 대하여 상기 적외선 소자를 발광시키는 단계, 상기 피사체에 대하여 수광 센서의 라인 별로 순차적으로 노출을 수행하는 단계 및 상기 적외선에 의한 상기 안구의 반사광을 이용하여 상기 안구 영역을 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 안구 영역을 결정하는 단계는, 상기 피사체에 대하여 특징점을 추출하여 상기 안구 영역을 결정하는 단계를 포함 할 수 있다.
일 실시예에서, 상기 적외선 소자를 발광시키는 단계는, 상기 안구 영역에 대응되는 상기 수광 센서의 적어도 하나의 제1 라인을 확인하는 단계 및 상기 적어도 하나의 제1 라인의 노출 시간 동안 상기 적외선 소자를 발광시키는 단계를 포함 할 수 있다.
일 실시예에서, 상기 적외선 소자를 발광시키는 단계는, 상기 수광 센서에 대한 노출 시작 시에 상기 적외선 소자를 발광하지 않는 단계를 더 포함 할 수 있다.
일 실시예에서, 상기 적외선 소자를 발광시키는 단계는, 롤링 셔터(Rolling Shutter) 방식을 이용하여 상기 수광 센서의 각 라인 별로 노출을 수행하는 단계 및 상기 안구 영역의 위치에 대응되는 적어도 하나의 제1 라인의 노출 시간 동안 상기 적외선 소자를 발광시키는 단계를 포함 할 수 있다.
일 실시예에서, 상기 피사체의 시선을 추적하는 단계는, 서로 일정 거리 이격된 제1 및 제2 적외선 소자를 교차적으로 발광시키는 단계 및 상기 제1 적외선 소자에 의한 상기 안구의 제1 반사광과, 상기 제2 적외선 소자에 의한 상기 안구의 제2 반사광의 차이를 이용하여 상기 안구의 시선을 추정하는 단계를 포함 할 수 있다.
본 발명의 제2 기술적인 측면은 시선 추적 장치를 제안한다. 상기 시선 추적 장치는, 수광 센서의 노출을 제어하는 센서 제어부, 피사체의 안구가 포함된 안구 영역을 결정하고, 상기 안구 영역에 대응되는 상기 수광 센서의 노출 시간을 확인하는 시선 추적부 및 적외선 LED를 구동하는 LED 구동부를 포함하고, 상기 시선 추적부는 상기 노출 시간 동안 상기 적외선 LED를 구동하도록 상기 LED 구동부를 제어 할 수 있다.
일 실시예에서, 센서 제어부는 롤링 셔터(Rolling Shutter) 방식을 이용하여 상기 수광 센서의 각 라인 별로 노출을 수행 할 수 있다.
일 실시예에서, 상기 시선 추적부는 상기 수광 센서의 전체 라인의 노출 시간 동안 상기 적외선 LED를 구동하도록 제어하고, 그에 따른 피사체의 안구 반사광을 이용하여 상기 안구 영역을 결정 할 수 있다.
일 실시예에서, 상기 시선 추적부는 결정된 상기 안구 영역에 대응되는 상기 수광 센서의 적어도 하나의 라인을 확인하고, 상기 적어도 하나의 라인의 노출 시간에 상기 적외선 LED를 발광하도록 제어 할 수 있다.
일 실시예에서, 상기 시선 추적부는 상기 적어도 하나의 라인을 제외한 나머지 라인의 노출 시간에는 상기 적외선 LED를 발광하지 않도록 제어 할 수 있다.
일 실시예에서, 상기 LED 구동부는 서로 일정 거리 이격된 제1 및 제2 적외선 LED를 교차적으로 발광시키고, 상기 시선 추적부는 상기 제1 적외선 소자에 의한 상기 안구의 제1 반사광과, 상기 제2 적외선 소자에 의한 상기 안구의 제2 반사광의 차이를 이용하여 상기 안구의 시선을 추정 할 수 있다.
본 발명의 제3 기술적인 측면은 시선 추적 장치의 다른 실시예를 제안한다. 상기 시선 추적 장치는, 피사체에 대하여 특징점을 추출하여 안구 영역을 결정하는 영상 처리부, 수광 센서의 노출을 제어하는 센서 제어부, 상기 안구 영역에 대응되는 상기 수광 센서의 노출 시간을 확인하는 시선 추적부 및 적외선 LED를 구동하는 LED 구동부를 포함하고, 상기 시선 추적부는 상기 노출 시간 동안 상기 적외선 LED를 구동하도록 상기 LED 구동부를 제어 할 수 있다.
일 실시예에서, 센서 제어부는 롤링 셔터(Rolling Shutter) 방식을 이용하여 상기 수광 센서의 각 라인 별로 노출을 수행 할 수 있다.
일 실시예에서, 상기 시선 추적부는 상기 수광 센서의 전체 라인의 노출 시간 동안 상기 적외선 LED를 구동하도록 제어하고, 그에 따른 피사체의 안구 반사광을 이용하여 상기 안구 영역을 결정 할 수 있다.
일 실시예에서, 상기 시선 추적부는 결정된 상기 안구 영역에 대응되는 상기 수광 센서의 적어도 하나의 라인을 확인하고, 상기 적어도 하나의 라인의 노출 시간에 상기 적외선 LED를 발광하도록 제어 할 수 있다.
일 실시예에서, 상기 시선 추적부는 상기 적어도 하나의 라인을 제외한 나머지 라인의 노출 시간에는 상기 적외선 LED를 발광하지 않도록 제어 할 수 있다.
일 실시예에서, 상기 LED 구동부는 서로 일정 거리 이격된 제1 및 제2 적외선 LED를 교차적으로 발광시키고, 상기 시선 추적부는 상기 제1 적외선 소자에 의한 상기 안구의 제1 반사광과, 상기 제2 적외선 소자에 의한 상기 안구의 제2 반사광의 차이를 이용하여 상기 안구의 시선을 추정 할 수 있다.
본 발명의 일 실시형태에 의하면, 전체 이미지 중 피사체의 안구에 대응되는 노출 시간에 적외선 소자를 발광하도록 함으로써, 시선 추적을 정상적으로 수행하면서도 적외선 소자의 발광 시간을 줄일 수 있어 효율적인 전력 관리를 제공할 수 있는 효과가 있다.
도 1은 일반적인 시선 추적을 위한 수광 노출을 도시하는 그래프이다.
도 2는 도 1의 수광 노출이 적용되는 일 예를 도시하는 이미지이다.
도 3은 본 발명에 따른 시선 추적 장치의 일 실시예를 도시하는 구성도이다.
도 4는 본 발명에 따른 시선 추적 장치의 다른 일 실시예를 도시하는 구성도이다.
도 5는 본 발명에 따른 수광 노출의 일 예를 도시하는 이미지이다.
도 6은 도 5의 예에서 수광 노출을 도시하는 그래프이다.
도 7은 본 발명에 따른 수광 노출의 다른 일 예를 도시하는 이미지이다.
도 8은 도 7의 다른 일 예에서 수광 노출을 도시하는 그래프이다.
도 9는 본 발명에 따른 시선 추적 방법의 일 실시예를 설명하는 순서도이다.
도 10은 도 9의 단계 S910에 대한 일 실시예를 설명하는 순서도이다.
도 11은 도 9의 단계 S912에 대한 일 실시예를 설명하는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.
그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
본 발명에 참조된 도면에서 실질적으로 동일한 구성과 기능을 가진 구성요소들은 동일한 부호가 사용될 것이며, 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
도 1은 일반적인 시선 추적을 위한 수광 노출을 도시하는 그래프이고, 도 2는 도 1의 수광 노출이 적용되는 일 예를 도시하는 이미지이다.
도시된 바와 같이, 적외선 LED는 수광 센서의 전체 노출 시간 동안 구동되고 있음을 알 수 있다.
즉, 수광 센서는 각 라인(y라인) 별로 노출을 수행하여 이미지를 획득한다. 따라서, 수광 센서가 이미지의 전체, 즉 수광 센서의 모든 Y라인이 각각 노출을 완료할 때까지 적외선 LED가 구동되고 있다.
그러나, 이러한 경우, 실제 시선 추적에 요구되지 않는 영역에서도 적외선 LED가 구동 중이므로, 이러한 적외선 LED의 구동의 효율성이 낮으며 또한 그로 인하여 전력이 과다하게 소모되는 한계점이 있다.
이하, 도 3 내지 도 9를 참조하여 본 발명의 다양한 실시예들에 대하여 설명한다. 이하에서 설명할 본 발명의 다양한 실시예들은 적외선 소자-이하, 적외선 LED로 통칭하나, 다른 적외선 발광 소자도 본 발명의 권리 범위에 속한다 할 것이다-의 구동의 효율성을 높여 전력 소모를 줄일 수 있는 시선 추적 기술을 제공한다.
먼저, 도 3은 본 발명에 따른 시선 추적 장치의 일 실시예를 도시하는 구성도로서, 도 3을 참조하면 시선 추적 장치(100)는 센서 제어부(110), 시선 추적부(120) 및 LED 구동부(130)를 포함한다.
센서 제어부(110)는 수광 센서(10)의 노출을 제어할 수 있다. 센서 제어부(110)는 이러한 노출 정보, 예컨대 각 라인별 노출 시간 및 노출로 획득한 이미지 등을 시선 추적부(120)에 제공할 수 있다.
일 실시예에서, 센서 제어부(110)는 롤링 셔터(Rolling Shutter) 방식을 이용하여 수광 센서의 각 라인 별로 노출을 수행할 수 있다.
LED 구동부(130)는 적외선 소자-이하, 적외선 LED(20)를 예로 들어 설명함-를 구동할 수 있다. LED 구동부(130)는 시선 추적부(120)의 제어에 따라 적외선 LED(20)의 발광을 제어할 수 있다.
일 실시예에서, LED 구동부(130)는 시선 추적부(120)의 제어에 따라 서로 일정 거리 이격된 제1 및 제2 적외선 LED를 교차적으로 발광시킬 수 있다.
시선 추적부(120)는 센서 제어부(110)로부터 제공된 이미지를 이용하여 피사체의 안구가 포함된 안구 영역을 결정할 수 있다. 시선 추적부(120)는 안구 영역에 대응되는 상기 수광 센서의 노출 시간을 확인하고, 노출 시간 동안 적외선 LED(20)를 구동하도록 LED 구동부(130)를 제어할 수 있다.
일 실시예에서, 시선 추적부(120)는 안구 영역을 결정하기 위한 최초의 구동 시, 수광 센서의 전체 라인의 노출 동안 적외선 적외선 LED(20)를 구동하도록 할 수 있다. 즉, 시선 추적부(120)는 수광 센서의 전체 라인의 노출 시간 동안 적외선 LED(20)를 구동하도록 제어하고, 그에 따른 피사체의 안구 반사광을 이용하여 안구 영역을 결정할 수 있다. 이는, 최초의 안구 영역을 결정할 때에는 이미지 전체에 대응하여 적외선 LED(20)를 구동하는 것이 요구되기 때문이다. 이후에 안구 영역이 결정되면, 시선 추적부(120)는 안구 영역에 해당하는 노출 시간 동안에만 적외선 LED(20)를 구동하도록 제어할 수 있다.
일 실시예에서, 시선 추적부(120)는 결정된 안구 영역에 대응되는 수광 센서의 적어도 하나의 제1 라인을 확인하고, 적어도 하나의 제1 라인의 노출 시간 동안 적외선 LED(20)를 발광하도록 제어할 수 있다.
일 실시예에서, 시선 추적부(120)는 안구 영역에 해당하는 적어도 하나의 제1 라인을 제외한 나머지 라인의 노출 시간에는, 적외선 LED(20)를 발광하지 않도록 제어할 수 있다.
일 실시예에서, 시선 추적부(120)는 서로 이격된 2개의 적외선 LED를 교차로 발광하도록 제어하고, 어느 하나의 적외선 LED에 의한 안구의 제1 반사광과, 나머지 하나의 적외선 LED에 의한 안구의 제2 반사광의 차이를 이용하여 안구의 시선을 추정할 수 있다.
도 4는 본 발명에 따른 시선 추적 장치의 다른 일 실시예를 도시하는 구성도이다.
도 4의 다른 일 실시예는, 영상 인식 기술을 이용하여 안구 영역을 결정하는 실시예에 관한 것이다. 따라서, 영상 처리부(240)를 제외한 나머지 구성 요소의 기능은 도 3을 참조하여 상술한 바에 상응하므로 이하에서 중복적으로 재 서술하지 않는다.
도 4를 참조하면, 시선 추적 장치(200)는 센서 제어부(210), 시선 추적부(220), LED 구동부(230) 및 영상 처리부(240)를 포함한다.
영상 처리부(240)는 피사체에 대하여 특징점을 추출하여 안구 영역을 결정할 수 있다. 영상 처리부(240)는 안구 영역을 결정하기 위한 소정의 영상 처리 기술을 이용할 수 있다. 본 발명에서는 이러한 영상 처리부(240)의 영상 처리 기술을 특정한 기술로 한정하지 아니한다. 이는 본 영상 처리부(240)는 전체 이미지에서 안구를 포함하는 안구 영역을 특정하는 것을 그 특징으로 하므로, 다양한 영상 처리 기술로 구현될 수 있기 때문이다.
영상 처리부(240)는 결정된 안구 영역을 시선 추적부(220)에 제공할 수 있다. 시선 추적부(220)는 안구 영역이 결정되면, 안구 영역에 대응되는 수광 센서의 노출 시간을 확인하고, 노출 시간 동안 적외선 LED(20)를 구동하도록 LED 구동부(230)를 제어할 수 있다.
일 실시예에서, 센서 제어부(210)는 롤링 셔터(Rolling Shutter) 방식을 이용하여 수광 센서의 각 라인 별로 노출을 수행할 수 있다.
일 실시예에서, 시선 추적부(220)는 결정된 안구 영역에 대응되는 수광 센서의 적어도 하나의 제1 라인을 확인하고, 적어도 하나의 제1 라인의 노출 시간 동안 적외선 LED(20)를 발광하도록 제어할 수 있다.
일 실시예에서, 시선 추적부(220)는 안구 영역에 해당하는 적어도 하나의 제1 라인을 제외한 나머지 라인의 노출 시간에는, 적외선 LED(20)를 발광하지 않도록 제어할 수 있다.
일 실시예에서, LED 구동부(230)는 시선 추적부(220)의 제어에 따라 서로 일정 거리 이격된 제1 및 제2 적외선 LED를 교차적으로 발광시킬 수 있다. 시선 추적부(220)는 서로 이격된 2개의 적외선 LED를 교차로 발광하도록 제어하고, 어느 하나의 적외선 LED에 의한 안구의 제1 반사광과, 나머지 하나의 적외선 LED에 의한 안구의 제2 반사광의 차이를 이용하여 안구의 시선을 추정할 수 있다.
도 5는 본 발명에 따른 수광 노출의 일 예를 도시하는 이미지이고, 도 6은 도 5의 예에서 수광 노출을 도시하는 그래프이다. 도 5 및 도 6은 수평 방향으로 촬상이 이루어진 예를 도시하고 있다.
도시된 바와 같이, 노출 라인 x에 안구 영역이 존재함을 알 수 있다. 따라서, 시선 추적부(220)는 노출라인 X에 대응되는 구동 시간 a 동안에만 적외선 LED를 구동하도록 제어할 수 있다.
결국, 종래의 경우 이미지 전체를 획득하는 시간 동안 적외선 LED가 구동되는 반면, 본 발명의 경우 안구 영역에 대한 이미지를 획득하는 동안에만 적외선 LED가 구동되므로, 적외선 LED의 구동 시간이 매우 단축되는 효과를 가질 수 있다.
이를 모바일 단말에 적용하는 경우, 안면에 대한 일반적인 촬상 거리가 30cm 내지 100 cm라고 할 때, 눈의 크기의 비율은 전체 화면의 10% 미만이 된다. 따라서, 본 발명의 경우 약 90%의 시간 동안 적외선 LED를 구동시키지 않으므로, 적외선 LED에 의한 전력 소모의 90%를 절감할 수 있는 효과를 가질 수 있다.
도 7은 본 발명에 따른 수광 노출의 다른 일 예를 도시하는 이미지이고, 도 8은 도 7의 다른 일 예에서 수광 노출을 도시하는 그래프이다. 도 7 및 도 8은 수직 방향으로 촬상이 이루어진 예를 도시하고 있다.
도시된 예는 수직 방향으로 촬상이 이루어진 예를 도시하고 있다. 이러한 예에서도 안구 영역은 정상적으로 검출된다. 다만, 안구 영역이 y축을 기준으로 2개의 노출 라인으로 구성되므로, 시선 추적부(220)는 두 개의 노출 라인 x 및 y에 대응되는 구동 시간 a 및 b 동안 적외선 LED를 구동시키도록 제어할 수 있다.
도 9를 참조하여 설명할 시선 추적 방법의 일 실시예는 도 3 내지 도 8을 참조하여 설명한 시선 추적 장치에서 수행되므로, 상술한 설명과 동일하거나 그에 상응하는 내용에 대해서는 이하에서 중복적으로 서술하지 아니한다.
도 9는 본 발명에 따른 시선 추적 방법의 일 실시예를 설명하는 순서도로서, 도 9를 참조하면, 시선 추적 장치(200)는 피사체의 안구가 포함된 안구 영역을 결정할 수 있다(S910).
이후, 시선 추적 장치(200)는 안구 영역에 대응되는 수광 센서의 노출 시간 동안 적외선 소자를 발광시킬 수 있다(S920).
이후, 시선 추적 장치(200)는 적외선 소자의 발광에 의한 안구의 반사광을 이용하여 피사체의 시선을 추적할 수 있다(S930).
도 10은 도 9의 단계 S910에 대한 일 실시예를 설명하는 순서도로서, 도 10을 참조하면, 시선 추적 장치(200)는 피사체에 대하여 적외선 소자를 발광시키고(S911), 피사체에 대하여 수광 센서의 라인 별로 순차적으로 노출을 수행할 수 있다(S912). 시선 추적 장치(200)는 수광 센서의 전 라인의 노출이 완료될 때까지 적외선 소자를 발광시킬 수 있다. 이후, 시선 추적 장치(200)는 적외선에 의한 안구의 반사광을 이용하여 안구 영역을 결정할 수 있다(S912).
단계 S910에 대한 다른 일 실시예에서, 시선 추적 장치(200)는 피사체에 대하여 특징점을 추출하여 안구 영역을 결정할 수 있다. 즉, 시선 추적 장치(200)는 영상 처리 기법을 적용하여 안구 영역을 결정할 수 있다. 시선 추적 장치(200)는 이러한 영상 처리 기법을 적용하는 경우에는 적외선 소자를 발광시키지 않을 수 있다.
도 11은 도 9의 단계 S912에 대한 일 실시예를 설명하는 순서도로서, 도 11을 참조하면, 시선 추적 장치(200)는 안구 영역에 대응되는 수광 센서의 적어도 하나의 제1 라인을 확인할 수 있다(S921). 이후, 시선 추적 장치(200)는 적어도 하나의 제1 라인의 노출 시간 동안 적외선 소자를 발광시킬 수 있다(S922).
단계 S920에 대한 일 실시예에서, 시선 추적 장치(200)는 수광 센서에 대한 노출 시작 시에 적외선 소자를 발광하지 않을 수 있다.
단계 S920에 대한 일 실시예에서, 시선 추적 장치(200)는 롤링 셔터(Rolling Shutter) 방식을 이용하여 수광 센서의 각 라인 별로 노출을 수행할 수 있다. 여기에서, 시선 추적 장치(200)는 안구 영역의 위치에 대응되는 적어도 하나의 제1 라인의 노출 시간 동안 적외선 소자를 발광시킬 수 있다.
단계 S930에 대한 일 실시예에서, 시선 추적 장치(200)는 서로 일정 거리 이격된 제1 및 제2 적외선 소자를 교차적으로 발광시킬 수 있다. 이후, 시선 추적 장치(200)는 제1 적외선 소자에 의한 안구의 제1 반사광과, 제2 적외선 소자에 의한 안구의 제2 반사광의 차이를 이용하여 안구의 시선을 추정할 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
10 : 수광 센서
20 : 적외선 LED
100 : 시선 추적 장치
110 : 센서 제어부
120 : 시선 추적부
130 : LED 구동부
200 : 시선 추적 장치
210 : 센서 제어부
220 : 시선 추적부
230 : LED 구동부
240 : 영상 처리부

Claims (19)

  1. 피사체의 안구가 포함된 안구 영역을 결정하는 단계;
    상기 안구 영역에 대응되는 수광 센서의 노출 시간 동안 적외선 소자를 발광시키는 단계; 및
    상기 적외선 소자의 발광에 의한 상기 안구의 반사광을 이용하여 상기 피사체의 시선을 추적하는 단계;를 포함하는 시선 추적 방법.
  2. 제1항에 있어서, 상기 안구 영역을 결정하는 단계는
    상기 피사체에 대하여 상기 적외선 소자를 발광시키는 단계;
    상기 피사체에 대하여 수광 센서의 라인 별로 순차적으로 노출을 수행하는 단계; 및
    상기 적외선에 의한 상기 안구의 반사광을 이용하여 상기 안구 영역을 결정하는 단계; 를 포함하는 시선 추적 방법.
  3. 제1항에 있어서, 상기 안구 영역을 결정하는 단계는
    상기 피사체에 대하여 특징점을 추출하여 상기 안구 영역을 결정하는 단계; 를 포함하는 시선 추적 방법.
  4. 제2항에 있어서, 상기 적외선 소자를 발광시키는 단계는
    상기 안구 영역에 대응되는 상기 수광 센서의 적어도 하나의 제1 라인을 확인하는 단계; 및
    상기 적어도 하나의 제1 라인의 노출 시간 동안 상기 적외선 소자를 발광시키는 단계; 를 포함하는 시선 추적 방법.
  5. 제4항에 있어서, 상기 적외선 소자를 발광시키는 단계는
    상기 수광 센서에 대한 노출 시작 시에 상기 적외선 소자를 발광하지 않는 단계; 를 더 포함하는 시선 추적 방법.
  6. 제1항에 있어서, 상기 적외선 소자를 발광시키는 단계는
    롤링 셔터(Rolling Shutter) 방식을 이용하여 상기 수광 센서의 각 라인 별로 노출을 수행하는 단계; 및
    상기 안구 영역의 위치에 대응되는 적어도 하나의 제1 라인의 노출 시간 동안 상기 적외선 소자를 발광시키는 단계; 를 포함하는 시선 추적 방법.
  7. 제1항에 있어서, 상기 피사체의 시선을 추적하는 단계는
    서로 일정 거리 이격된 제1 및 제2 적외선 소자를 교차적으로 발광시키는 단계; 및
    상기 제1 적외선 소자에 의한 상기 안구의 제1 반사광과, 상기 제2 적외선 소자에 의한 상기 안구의 제2 반사광의 차이를 이용하여 상기 안구의 시선을 추정하는 단계; 를 포함하는 시선 추적 방법.
  8. 수광 센서의 노출을 제어하는 센서 제어부;
    피사체의 안구가 포함된 안구 영역을 결정하고, 상기 안구 영역에 대응되는 상기 수광 센서의 노출 시간을 확인하는 시선 추적부; 및
    적외선 LED를 구동하는 LED 구동부; 를 포함하고,
    상기 시선 추적부는
    상기 노출 시간 동안 상기 적외선 LED를 구동하도록 상기 LED 구동부를 제어하는 시선 추적 장치.
  9. 제8항에 있어서, 센서 제어부는
    롤링 셔터(Rolling Shutter) 방식을 이용하여 상기 수광 센서의 각 라인 별로 노출을 수행하는 시선 추적 장치.
  10. 제8항에 있어서, 상기 시선 추적부는
    상기 수광 센서의 전체 라인의 노출 시간 동안 상기 적외선 LED를 구동하도록 제어하고, 그에 따른 피사체의 안구 반사광을 이용하여 상기 안구 영역을 결정하는 시선 추적 장치.
  11. 제8항에 있어서, 상기 시선 추적부는
    결정된 상기 안구 영역에 대응되는 상기 수광 센서의 적어도 하나의 라인을 확인하고, 상기 적어도 하나의 라인의 노출 시간 동안 상기 적외선 LED를 발광하도록 제어하는 시선 추적 장치.
  12. 제11항에 있어서, 상기 시선 추적부는
    상기 적어도 하나의 라인을 제외한 나머지 라인의 노출 시간에는 상기 적외선 LED를 발광하지 않도록 제어하는 시선 추적 장치.
  13. 제8항에 있어서, 상기 LED 구동부는
    서로 일정 거리 이격된 제1 및 제2 적외선 LED를 교차적으로 발광시키고,
    상기 시선 추적부는
    상기 제1 적외선 소자에 의한 상기 안구의 제1 반사광과, 상기 제2 적외선 소자에 의한 상기 안구의 제2 반사광의 차이를 이용하여 상기 안구의 시선을 추정하는 시선 추적 장치.
  14. 피사체에 대하여 특징점을 추출하여 안구 영역을 결정하는 영상 처리부;
    수광 센서의 노출을 제어하는 센서 제어부;
    상기 안구 영역에 대응되는 상기 수광 센서의 노출 시간을 확인하는 시선 추적부; 및
    적외선 LED를 구동하는 LED 구동부; 를 포함하고,
    상기 시선 추적부는
    상기 노출 시간 동안 상기 적외선 LED를 구동하도록 상기 LED 구동부를 제어하는 시선 추적 장치.
  15. 제14항에 있어서, 센서 제어부는
    롤링 셔터(Rolling Shutter) 방식을 이용하여 상기 수광 센서의 각 라인 별로 노출을 수행하는 시선 추적 장치.
  16. 제14항에 있어서, 상기 시선 추적부는
    상기 수광 센서의 전체 라인의 노출 시간 동안 상기 적외선 LED를 구동하도록 제어하고, 그에 따른 피사체의 안구 반사광을 이용하여 상기 안구 영역을 결정하는 시선 추적 장치.
  17. 제14항에 있어서, 상기 시선 추적부는
    결정된 상기 안구 영역에 대응되는 상기 수광 센서의 적어도 하나의 라인을 확인하고, 상기 적어도 하나의 라인의 노출 시간 동안 상기 적외선 LED를 발광하도록 제어하는 시선 추적 장치.
  18. 제17항에 있어서, 상기 시선 추적부는
    상기 적어도 하나의 라인을 제외한 나머지 라인의 노출 시간에는 상기 적외선 LED를 발광하지 않도록 제어하는 시선 추적 장치.
  19. 제14항에 있어서, 상기 LED 구동부는
    서로 일정 거리 이격된 제1 및 제2 적외선 LED를 교차적으로 발광시키고,
    상기 시선 추적부는
    상기 제1 적외선 소자에 의한 상기 안구의 제1 반사광과, 상기 제2 적외선 소자에 의한 상기 안구의 제2 반사광의 차이를 이용하여 상기 안구의 시선을 추정하는 시선 추적 장치.
KR1020130164317A 2013-12-26 2013-12-26 시선 추적 장치 및 방법 KR20150075906A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130164317A KR20150075906A (ko) 2013-12-26 2013-12-26 시선 추적 장치 및 방법
US14/333,122 US20150186722A1 (en) 2013-12-26 2014-07-16 Apparatus and method for eye tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130164317A KR20150075906A (ko) 2013-12-26 2013-12-26 시선 추적 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150075906A true KR20150075906A (ko) 2015-07-06

Family

ID=53482154

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130164317A KR20150075906A (ko) 2013-12-26 2013-12-26 시선 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US20150186722A1 (ko)
KR (1) KR20150075906A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527053B2 (en) 2018-12-12 2022-12-13 Samsung Electronics Co., Ltd. Method and apparatus of processing image
WO2024035108A1 (ko) * 2022-08-10 2024-02-15 삼성전자 주식회사 사용자의 시선을 판단하는 방법 및 그 전자 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10182181B2 (en) * 2014-12-23 2019-01-15 Intel Corporation Synchronization of rolling shutter camera and dynamic flash light
US9961258B2 (en) * 2015-02-23 2018-05-01 Facebook, Inc. Illumination system synchronized with image sensor
CN107004132B (zh) * 2015-10-09 2021-01-05 华为技术有限公司 眼球跟踪装置及其辅助光源控制方法及相关装置
CN105373225B (zh) * 2015-10-26 2018-11-20 深圳中发明科技开发有限公司 用眼进行控制的方法以及装置
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
JP2019514302A (ja) * 2016-05-25 2019-05-30 エムテクビジョン カンパニー リミテッド 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法
US10775605B2 (en) * 2016-06-16 2020-09-15 Intel Corporation Combined biometrics capture system with ambient free IR
KR20180133076A (ko) * 2017-06-05 2018-12-13 삼성전자주식회사 이미지 센서 및 이를 구비하는 전자 장치
CN107515466B (zh) 2017-08-14 2019-11-26 华为技术有限公司 一种眼球追踪系统和眼球追踪方法
US20220192606A1 (en) * 2020-12-23 2022-06-23 Eye Tech Digital Systems, Inc. Systems and Methods for Acquiring and Analyzing High-Speed Eye Movement Data
US11675433B2 (en) * 2021-03-08 2023-06-13 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Dynamic IR emission control for fast recognition of eye tracking system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2987450B2 (ja) * 1990-05-08 1999-12-06 八木 聰明 眼球運動測定装置
US5182443A (en) * 1990-09-29 1993-01-26 Canon Kabushiki Kaisha Optical apparatus having visual axis detector and determining whether eyeglasses are worn
US5386258A (en) * 1991-01-17 1995-01-31 Canon Kabushiki Kaisha Optical apparatus having a visual axis direction detecting device
US9290146B2 (en) * 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
JP3313803B2 (ja) * 1993-03-09 2002-08-12 キヤノン株式会社 視線検出装置
JPH11338041A (ja) * 1998-05-26 1999-12-10 Canon Inc 光学装置及び視線検出機能付きカメラ
US6757422B1 (en) * 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
US7116820B2 (en) * 2003-04-28 2006-10-03 Hewlett-Packard Development Company, Lp. Detecting and correcting red-eye in a digital image
US7809160B2 (en) * 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
EP1741383A3 (en) * 2005-07-07 2007-11-28 Minako Kaido Method and apparatus for measuring operating visual acuity
US8106783B2 (en) * 2008-03-12 2012-01-31 Denso Corporation Input apparatus, remote controller and operating device for vehicle
KR20120057033A (ko) * 2010-11-26 2012-06-05 한국전자통신연구원 Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527053B2 (en) 2018-12-12 2022-12-13 Samsung Electronics Co., Ltd. Method and apparatus of processing image
US11830234B2 (en) 2018-12-12 2023-11-28 Samsung Electronics Co., Ltd. Method and apparatus of processing image
WO2024035108A1 (ko) * 2022-08-10 2024-02-15 삼성전자 주식회사 사용자의 시선을 판단하는 방법 및 그 전자 장치

Also Published As

Publication number Publication date
US20150186722A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
KR20150075906A (ko) 시선 추적 장치 및 방법
US10321055B2 (en) Low power eye tracking system and method
US20130127705A1 (en) Apparatus for touching projection of 3d images on infrared screen using single-infrared camera
KR101471488B1 (ko) 시선 추적 장치 및 방법
KR20160059406A (ko) 가상 이미지를 출력하기 위한 웨어러블 장치 및 방법
US20160262614A1 (en) Eye gaze detection supporting device and eye gaze detection supporting method
KR101619651B1 (ko) 운전자 감시장치 및 그의 조명제어방법
JP2008276328A (ja) 顔画像撮像装置
EP2976990B1 (en) Pupil detection device and pupil detection method
US10928894B2 (en) Eye tracking
JP2017079883A (ja) 視線検出システム、視線検出方法、および視線検出プログラム
US20230013134A1 (en) Electronic device
US9500939B2 (en) Safety feature for projection subsystem using laser technology
JP6011173B2 (ja) 瞳孔検出装置および瞳孔検出方法
US20170243061A1 (en) Detection system and detection method
US10123695B2 (en) Diagnosis supporting device and method of supporting diagnosis
JP6856017B2 (ja) 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法
KR101476503B1 (ko) 착용형 디스플레이 장치를 위한 인터랙션 제공 장치 및 방법
KR101002072B1 (ko) 펄스 구동 방식의 투영 영상 터치 장치
JP3428920B2 (ja) 視点位置検出装置、方法及び立体画像表示システム
KR101673694B1 (ko) 시선추적장치 및 그의 반사점 검출 방법
CN116091750A (zh) 眼镜度数识别方法、装置、电子设备及存储介质
US20170263168A1 (en) Apparatus, method, and non-transitory medium storing program for image display
US11156831B2 (en) Eye-tracking system and method for pupil detection, associated systems and computer programs
CN104062772B (zh) 一种确定调整区域、调节光透过率的方法及装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid