[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101769177B1 - 시선 추적 장치 및 방법 - Google Patents

시선 추적 장치 및 방법 Download PDF

Info

Publication number
KR101769177B1
KR101769177B1 KR1020130094997A KR20130094997A KR101769177B1 KR 101769177 B1 KR101769177 B1 KR 101769177B1 KR 1020130094997 A KR1020130094997 A KR 1020130094997A KR 20130094997 A KR20130094997 A KR 20130094997A KR 101769177 B1 KR101769177 B1 KR 101769177B1
Authority
KR
South Korea
Prior art keywords
information
image
user
unit
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130094997A
Other languages
English (en)
Other versions
KR20140045873A (ko
Inventor
이희경
이인재
차지훈
김회율
조동찬
Original Assignee
한국전자통신연구원
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한양대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to US14/049,673 priority Critical patent/US9426447B2/en
Publication of KR20140045873A publication Critical patent/KR20140045873A/ko
Application granted granted Critical
Publication of KR101769177B1 publication Critical patent/KR101769177B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

둘 이상의 광각 카메라를 이용하여 사용자의 3차원 위치를 계산하고, 협각 카메라를 이용하여 상기 사용자의 위치 정보 및 눈 영역 검출 정보를 이용하여 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하며, 협각 카메라의 동작을 통하여 획득한 눈 영상으로부터 동공 중심 정보 및 각막 반사광 정보를 검출한 후, 최종적으로 동공 중심 정보 및 각막 반사광 정보로부터 시선 위치 정보를 계산하는 시선 추적 장치 및 방법을 제공한다.

Description

시선 추적 장치 및 방법{APPARATUS AND METHOD FOR EYE TRACKING}
본 발명의 실시예들은 원거리에서 사용자가 자유롭게 움직이더라도 정확한 시선 정보를 획득하는 시선 추적 장치 및 방법에 관한 것이다.
시선 추적 기술에서 시선 위치를 알아내기 위하여 2차원 사상 함수 기반의 방법과 3차원 모델 기반 방법이 있다.
3차원 모델 기반 방법 중 몇몇은 사용자의 자유로운 움직임을 보장하지만 복잡한 시스템 캘리브레이션이 필요하고 사용자와 화면 간의 거리가 1m 이내일 수 있다.
2차원 사상 함수 기반의 방법은 근거리 시선 추적뿐만 아니라 원거리 시선 추적에서도 사용할 수 있으며, 복잡한 시스템 캘리브레이션이 필요 없지만 사용자 캘리브레이션을 수행한 위치에서 벗어날 경우 시선 위치 오차가 커질 수 있다.
원거리 시선 추적 기술에 있어서, 자유로운 사용자 움직임에 따른 시선 위치 오차를 줄이고, 정확한 시선 추적 정보를 제공하기 위한 기술 개발이 필요한 실정이다.
본 발명의 일실시예는 협각 카메라를 이용하여 원거리 시선 추적이 가능하면서 사용자가 사용자 캘리브레이션을 수행한 위치에서 벗어나더라도 시선 추적이 가능한 장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명의 일실시예에 따른 시선 추적 장치는 둘 이상의 광각 카메라, 협각 카메라 및 영상 재생 장치의 상호 간의 캘리브레이션(calibration)을 수행하여 사용자에 대한 사용자 위치 정보를 계산하는 캘리브레이션 수행부, 상기 둘 이상의 광각 카메라를 통하여 영상 정보를 입력 받는 영상 정보 입력부, 상기 영상 정보에 대하여 눈 위치 정보를 검출하는 제1 정보 검출부, 상기 눈 위치 정보 및 상기 사용자 위치 정보를 기반으로 상기 협각 카메라에 대한 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하여 눈 영상을 획득하는 영상 획득부, 상기 눈 영상으로부터 동공 중심에 대한 동공 중심 정보를 검출하는 제2 정보 검출부, 상기 사용자의 눈에 반사된 각막 반사광에 대한 각막 반사광 정보를 검출하는 제3 정보 검출부, 및 상기 동공 중심 정보 및 상기 각막 반사광 정보로부터 시선 위치 정보를 계산하는 시선 위치 계산부를 포함한다.
본 발명의 일측에 따르면, 상기 캘리브레이션 수행부는 상기 둘 이상의 광각 카메라 간의 캘리브레이션(calibration)을 수행하고, 상기 둘 이상의 광각 카메라와 협각 카메라 간의 캘리브레이션을 수행하며, 상기 협각 카메라와 영상 재생 장치 간의 캘리브레이션을 수행할 수 있다.
본 발명의 일측에 따르면, 상기 제1 정보 검출부는 상기 둘 이상의 영상 정보에 대하여 얼굴 영역 및 눈 영역을 검출할 수 있다.
본 발명의 일측에 따르면, 상기 시선 위치 계산부는 상기 사용자가 둘 이상의 광각 카메라 간의 캘리브레이션을 수행한 위치에서 이동한 경우, 상기 사용자 위치 정보를 전방향 움직임 보정 모델에 적용하여 보정한 후, 상기 보정된 사용자 위치 정보를 이용하여 상기 시선 위치 정보를 계산할 수 있다.
본 발명의 다른 실시예에 따른 시선 추적 장치는 영상 정보를 입력 받고, 캘리브레이션을 통해 사용자에 대한 사용자 위치 정보를 계산하는 둘 이상의 광각 카메라, 상기 사용자 위치 정보 및 눈 영역 검출 정보를 이용하여 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하는 협각 카메라, 상기 협각 카메라의 동작을 통하여 눈 영상을 획득하는 영상 획득부, 상기 눈 영상으로부터 동공 중심 정보 및 각막 반사광 정보를 검출하는 검출부, 및 상기 동공 중심 정보 및 상기 각막 반사광 정보로부터 시선 위치 정보를 계산하는 시선 위치 계산부를 포함한다.
본 발명의 다른 측면에 따른 시선 추적 장치는 상기 둘 이상의 광각 카메라 간의 캘리브레이션(calibration) 을 수행하는 캘리브레이션 수행부를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 상기 캘리브레이션 수행부는 스테레오 캘리브레이션 방식을 이용하여 하나의 광각 카메라를 기준으로 다른 카메라의 위치 및 회전 정도를 추정할 수 있다.
본 발명의 다른 측면에 따르면, 상기 캘리브레이션 수행부는 상기 둘 이상의 광각 카메라와 상기 협각 카메라 간의 캘리브레이션을 수행할 수 있다.
본 발명의 다른 측면에 따르면, 상기 캘리브레이션 수행부는 상기 협각 카메라와 영상 재생 장치 간의 캘리브레이션을 수행할 수 있다.
본 발명의 다른 측면에 따르면, 상기 캘리브레이션 수행부는 상기 협각 카메라가 이동하는 팬 축 및 틸트 축의 중심을 기준으로 상기 영상 재생 장치의 실제 위치와의 차이를 추정할 수 있다.
본 발명의 다른 측면에 따르면, 상기 시선 위치 계산부는 상기 사용자의 움직임에 따라 시선 위치를 보정하는 전방향 움직임 보정 모델을 통하여 상기 시선 위치 정보를 계산할 수 있다.
본 발명의 다른 측면에 따르면, 상기 영상 획득부는 상기 입력된 영상 정보의 해상도를 조정하는 해상도 조정부, 상기 조정된 영상 정보의 반사광을 제거하는 반사광 제거부, 및 상기 반사광이 제거된 영상 정보에 기설정된 필터를 적용하여 동공 후보 영역을 검출하는 동공 후보 영역 검출부를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 상기 영상 획득부는 상기 동공 후보 영역에서 서로 다른 크기의 두 개의 영역을 선택하는 영역 선택부, 상기 두 개의 영역에 대한 각각의 임계치 값을 검출하는 임계치 검출부, 및 상기 검출된 두 개의 임계치 값을 비교하여 동일한 경우, 상기 눈 영상에 눈꺼풀 영상이 없는 것으로 판단하는 영상 판단부를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 상기 영상 획득부는 상기 동공 후보 영역으로부터 원형 정보를 검출하고, 상기 검출된 원형 정보를 타원 피팅(Ellipse fitting)을 수행하여 상기 동공 중심 정보를 검출하는 동공 중심 검출부를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 상기 동공 중심 검출부는 상기 동공 후보 영역에서 원 검출 방식을 적용하여 원의 중심과 외곽선 영역을 판별하는 원형 검출부, 상기 원의 외곽선 영역에 대하여 복수의 점을 선정하는 위치 선정부, 상기 선정된 복수의 점과 상기 원의 중심을 연결한 직선 상에서 밝기 값에 대한 미분 값이 가장 큰 위치로 상기 선정된 복수의 점을 이동시키는 위치 이동부, 상기 이동된 복수의 점에 대하여 상기 미분 값의 크기에 따라 가중치를 부여하는 가중치 부여부, 및 상기 가중치가 부여된 복수의 점을 이용하여 타원 피팅을 수행하여 상기 동공 중심 정보를 검출하는 타원 피팅부를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 상기 영상 획득부는 상기 사용자의 3차원 위치를 기반으로 하여 상기 협각 카메라가 상기 사용자를 촬영하기 위한 팬 각도 및 틸트 각도를 계산할 수 있다.
본 발명의 다른 측면에 따르면, 상기 영상 획득부는 상기 팬 각도 및 상기 틸트 각도에 대응하는 가상 이미지의 2차원 좌표를 추정하는 제1 추정부, 상기 3차원 위치의 3차원 좌표와 상기 2차원 좌표의 상대적 위치 관계를 참조하여, 상기 3차원 좌표가 상기 가상 이미지 상에 투영되는 가상 좌표를 추정하는 제2 추정부, 및 상기 가상 좌표를 기반으로 상기 팬 각도 및 상기 틸트 각도를 추정하는 제3 추정부를 포함할 수 있다.
본 발명의 다른 측면에 따른 시선 추적 장치는 상기 사용자의 눈동자 흔들림에 의한 상기 시선 위치 정보의 오차를 보정하는 영상 보정부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 시선 추적 방법은 둘 이상의 광각 카메라, 협각 카메라 및 영상 재생 장치의 상호 간의 캘리브레이션(calibration)을 수행하여 사용자에 대한 사용자 위치 정보를 계산하는 단계, 상기 둘 이상의 광각 카메라를 통하여 영상 정보를 입력 받는 단계, 상기 영상 정보에 대하여 눈 위치 정보를 검출하는 단계, 상기 눈 위치 정보 및 상기 사용자 위치 정보를 기반으로 상기 협각 카메라에 대한 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하여 눈 영상을 획득하는 단계, 상기 눈 영상으로부터 동공 중심에 대한 동공 중심 정보를 검출하는 단계, 상기 사용자의 눈에 반사된 각막 반사광에 대한 각막 반사광 정보를 검출하는 단계, 및 상기 동공 중심 정보 및 상기 각막 반사광 정보로부터 시선 위치 정보를 계산하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 시선 추적 방법은 둘 이상의 광각 카메라를 통하여 영상 정보를 입력 받는 단계, 상기 둘 이상의 광각 카메라를 이용하여 사용자에 대한 사용자 위치 정보를 계산하는 단계, 협각 카메라를 이용하여 상기 사용자 위치 정보 및 눈 영역 검출 정보를 이용하여 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하는 단계, 상기 협각 카메라의 동작을 통하여 눈 영상을 획득하는 단계, 상기 눈 영상으로부터 동공 중심 정보 및 각막 반사광 정보를 검출하는 단계, 및 상기 동공 중심 정보 및 상기 각막 반사광 정보로부터 시선 위치 정보를 계산하는 단계를 포함한다.
본 발명의 일실시예에 따르면 협각 카메라를 이용하여 원거리 시선 추적이 가능하면서 사용자가 사용자 캘리브레이션을 수행한 위치에서 벗어나더라도 시선 추적이 가능하다.
도 1은 본 발명의 일실시예에 따른 시선 추적 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따른 시선 추적 장치의 실물 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 시선 추적 장치의 상세 구성을 도시한 도면이다.
도 4는 광각 카메라와 협각 카메라의 캘리브레이션 방법을 수행하기 위한 개념도이다.
도 5는 본 발명의 일측에 따른 광각 카메라와 협각 카메라의 캘리브레이션 방법을 수행하기 위한 개념도이다.
도 6은 본 발명의 일측에 따른 영상 획득부의 구성을 도시한 블록도이다.
도 7은 본 발명의 일측에 따른 반사광 제거의 예를 도시한 도면이다.
도 8은 동공 후보 영역에 대한 검출 필터를 적용한 예이며, 도 9는 동공 후보 영역을 검출한 결과의 예이다.
도 10은 동공 부근의 큰 후보 영역과 작은 후보 영역의 예를 도시한 도면이고, 도 11는 동공 후보 영역에 Otsu threshold 방법을 적용한 결과를 도시한 도면이다.
도 12는 본 발명의 일측에 따른 동공 중심 검출부의 상세 구성을 도시한 블록도이다.
도 13은 타원 피팅을 위한 점들의 구성과 타원 피팅 결과를 도시한 도면이다.
도 14 및 도 15는 사용자의 움직임에 따른 영상 재생 장치의 화면, 협각 카메라, 동공 간의 관계를 도시한 도면이다.
도 16은 사용자 캘리브레이션 위치와 현재 위치와의 관계를 도시한 도면이다.
도 17은 본 발명의 일실시예에 따른 시선 추적 방법을 도시한 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일실시예에 따른 시선 추적 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 시선 추적 장치(100)는 캘리브레이션 수행부(110), 영상 정보 입력부(120), 제1 정보 검출부(130), 영상 획득부(140), 제2 정보 검출부(150), 제3 정보 검출부(160), 및 시선 위치 계산부(170)를 포함한다.
캘리브레이션 수행부(110)는 둘 이상의 광각 카메라, 협각 카메라 및 영상 재생 장치의 상호 간의 캘리브레이션(calibration)을 수행하여 사용자에 대한 사용자 위치 정보를 계산한다. 예를 들어, 캘리브레이션 수행부(110)는 둘 이상의 광각 카메라 간의 캘리브레이션(calibration)을 수행할 있고, 둘 이상의 광각 카메라와 협각 카메라 간의 캘리브레이션을 수행할 수 있으며, 협각 카메라와 영상 재생 장치 간의 캘리브레이션을 수행할 수 있다.
영상 정보 입력부(120)는 둘 이상의 광각 카메라를 통하여 영상 정보를 입력 받으며, 제1 정보 검출부(130)는 영상 정보에 대하여 눈 위치 정보를 검출한다. 예를 들어, 제1 정보 검출부(130)는 둘 이상의 영상 정보에 대하여 얼굴 영역 및 눈 영역을 검출할 수 있다. 영상 획득부(140)는 눈 위치 정보 및 사용자 위치 정보를 기반으로 협각 카메라에 대한 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하여 눈 영상을 획득한다.
제2 정보 검출부(150)는 눈 영상으로부터 동공 중심에 대한 동공 중심 정보를 검출하고, 제3 정보 검출부(160)는 사용자의 눈에 반사된 각막 반사광에 대한 각막 반사광 정보를 검출한다.
시선 위치 계산부(170)는 동공 중심 정보 및 각막 반사광 정보로부터 시선 위치 정보를 계산한다. 예를 들어, 시선 위치 계산부(170)는 사용자가 둘 이상의 광각 카메라 간의 캘리브레이션을 수행한 위치에서 이동한 경우, 사용자 위치 정보를 전방향 움직임 보정 모델에 적용하여 보정한 후, 보정된 사용자 위치 정보를 이용하여 시선 위치 정보를 계산할 수 있다.
또한, 시선 추적 장치는 영상 보정부(180)를 더 포함할 수 있으며, 영상 보정부(180)는 사용자의 눈동자 흔들림에 의한 시선 위치 정보의 오차를 보정할 수 있다.
도 2는 본 발명의 일실시예에 따른 시선 추적 장치의 실물 구성을 도시한 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 시선 추적 장치는 둘 이상의 광각카메라(210), 협각 카메라(220), 둘 이상의 적외선 조명(230)으로 구성될 수 있다.
본 발명의 일실시예에 따른 시선 추적 장치는 듀얼 광각 카메라(210)의 캘리브레이션을 통해 사용자의 3차원 위치를 계산해 낼 수 있고, 사용자의 위치 정보 및 눈 영역 검출 정보를 이용하여 협각 카메라(220)의 팬-틸트-포커스(pan-tilt-focus) 동작을 수행할 수 있다. 시선 추적 장치는 상기 동작을 통하여 고화질의 눈 영상을 획득할 수 있으며, 획득된 눈의 동공 중심 정보와 조명 반사광 정보를 검출하여 시선 위치 정보를 계산할 수 있다. 이렇게 계산된 시선 위치 정보는 영상 재생 장치(240)에 제공되며, 영상 재생 장치(240)는 사용자의 시선에 대응하는 영상을 재생 할 수 있다.
도 3은 본 발명의 일실시예에 따른 시선 추적 장치의 상세 구성을 도시한 도면이다.
도 3을 참조하면, 시선 추적 장치는 둘 이상의 광각 카메라(310), 협각 카메라(320), 영상 획득부(340), 검출부(350), 및 시선 위치 계산부(360)를 포함한다.
둘 이상의 광각 카메라(310)는 영상 정보를 입력 받고, 캘리브레이션을 통해 사용자에 대한 사용자의 3차원 위치를 계산하며, 협각 카메라(320)는 사용자 위치 정보 및 눈 영역 검출 정보를 이용하여 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행한다.
영상 획득부(340)는 협각 카메라의 동작을 통하여 눈 영상을 획득하고, 검출부(350)는 눈 영상으로부터 동공 중심 정보 및 각막 반사광 정보를 검출하며, 시선 위치 계산부(360)는 동공 중심 정보 및 각막 반사광 정보로부터 시선 위치 정보를 계산한다.
시선 위치 계산부(360)는 사용자의 움직임에 따라 시선 위치를 보정하는 전방향 움직임 보정 모델을 통하여 시선 위치 정보를 계산할 수 있다.
또한, 시선 추적 장치는 각각의 카메라 및 영상 재생 장치 간의 캘리브레이션을 수행하는 캘리브레이션 수행부(330)를 더 포함할 수 있다.
캘리브레이션 수행부(330)는 각각의 광각 카메라(310) 간의 캘리브레이션(calibration) 을 수행할 수 있다. 예를 들어, 캘리브레이션 수행부(330)는 스테레오 캘리브레이션 방식을 이용하여 하나의 광각 카메라를 기준으로 다른 카메라의 위치 및 회전 정도를 추정할 수 있다.
본 발명의 일측에 따르면, 시선 추적 장치는 광각 카메라(310) 간 캘리브레이션을 위해 체크 보드를 여러 위치에 배치한 후 두 광각 카메라를 이용하여 체크보드를 촬영하며, 스테레오 캘리브레이션 방법을 이용하여 두 광각 카메라 간 캘리브레이션을 실행할 수 있다.
또한, 캘리브레이션 수행부(330)는 둘 이상의 광각 카메라(310)와 협각 카메라(320) 간의 캘리브레이션을 수행할 수 있다. 예를 들어, 캘리브레이션 수행부(330)는 사용자의 3차원 위치를 기반으로 하여 협각 카메라(320)가 사용자를 촬영하기 위한 팬 각도 및 틸트 각도를 계산할 수 있다.
도 4는 광각 카메라와 협각 카메라의 캘리브레이션 방법을 수행하기 위한 개념도이다.
도 4를 참조하면, 시선 추적 장치는 광각 카메라(420)와 협각 카메라(430) 간의 위치 정보, 및 회전 정보를 추정하기 위하여 광각 카메라(420)와 협각 카메라(430) 간의 캘리브레이션을 수행할 수 있다.
본 발명의 일측에 따르면, 광각 카메라(420)와 협각 카메라(430) 간의 캘리브레이션의 경우, 협각 카메라(430)에서 사용자(410)가 움직임에 따라 체크 보드를 모두 촬영하기 위해서 팬-틸트 동작을 수행하므로, 협각 카메라(430)가 움직여야 한다.
도 5는 본 발명의 일측에 따른 광각 카메라와 협각 카메라의 캘리브레이션 방법을 수행하기 위한 개념도이다.
도 5를 참조하면, 시선 추적 장치는 광각 카메라(520)를 이용하여 알아낸 사용자(510)의 3차원 위치를 입력으로 주었을 때, 협각 카메라(530)가 해당 객체(사용자)를 촬영하기 위한 팬 각도 및 틸트 각도를 추정할 수 있다.
도 3의 캘리브레이션 수행부(330)는 제1 추정부, 제2 추정부, 및 제3 추정부를 이용하여 팬 각도 및 틸트 각도를 계산할 수 있다.
제1 추정부는 팬 각도 및 틸트 각도에 대응하는 가상 이미지의 2차원 좌표를 추정하며, 제2 추정부는 3차원 위치의 3차원 좌표와 2차원 좌표의 상대적 위치 관계를 참조하여, 3차원 좌표가 가상 이미지 상에 투영되는 가상 좌표를 추정할 수 있다. 제3 추정부는 가상 좌표를 기반으로 팬 각도 및 틸트 각도를 추정할 수 있다.
시선 추적 장치는 사용자(510)의 3차원 위치와 협각 카메라(530)의 실제로 이동한 각도 간의 관계를 알아내기 위하여, 도 5에 도시된 바와 같이 협각 카메라(530)의 팬 각도 및 틸트 각도를 2차원 영상의 x, y 좌표로 변환할 수 있다.
시선 추적 장치는 팬/틸트의 각도가 각각 0도가 되는 방향을 기준 방향으로 가정하는 경우, 기준 방향에 수직이고 거리가 1 떨어져 있는 가상의 이미지(540)를 만들 수 있다. 이때, 가상 이미지(540)에서 x축으로의 이동은 팬 각도에만 의존하고, y축으로의 이동은 틸트 각도에만 의존한다고 가정하면, 팬 각도 및 틸트 각도를 다음의 수학식 1을 이용하여 가상 이미지(540)의 x, y 축 좌표로 변환할 수 있다.
Figure 112013072534155-pat00001
시선 추적 장치는 수학식 1을 이용하여 최종적으로 객체의 3차원 좌표와 가상 이미지(540)에서의 2차원 좌표를 알 수 있으며, 두 좌표 간의 프로젝션 메트릭스(projection matrix)를 계산할 수 있다.
시선 추적 장치는 프로젝션 메트릭스를 이용하여 임의의 3차원 좌표가 가상 이미지(540) 상에 맺히는 가상 좌표(x v , y v )를 추정할 수 있다. 본 발명의 일측에 따르면, 상기 가상 좌표를 하기 수학식 2에 대입하는 경우, 해당 3차원 좌표를 촬영하기 위한 협각 카메라(530)의 팬 각도 및 틸트 각도를 추정할 수 있다.
Figure 112013072534155-pat00002
도 3을 다시 참조하면, 캘리브레이션 수행부(330)는 협각 카메라(320)와 영상 재생 장치 간의 캘리브레이션을 수행할 수 있다. 예를 들어, 캘리브레이션 수행부(330)는 협각 카메라(320)가 이동하는 팬 축 및 틸트 축의 중심을 기준으로 영상 재생 장치의 실제 위치와의 차이를 추정할 수 있다.
시선 추적 장치는 캘리브레이션 과정이 끝난 후 실제 사용자의 눈을 찾고 협각카메라(320)를 이용하여 사용자의 시선을 추적할 수 있다.
예를 들어, 영상 획득부(340)는 사용자 위치 정보 계산을 위하여 두 광각 카메라(310)에서 Haar-like 기반 Adaboost 방법을 이용하여 얼굴 영역을 검출한 후, Haar-like 기반 Adaboost 방법을 이용하여 눈 영역을 검출할 수 있다. 시선 추적 장치는 두 영상에서 왼쪽 눈의 불일치(disparity)와 좌표를 이용하여 왼쪽 눈의 3차원 좌표를 추정하고, 프로젝션 메트릭스에 대입하여 협각 카메라(320)의 팬 각도 및 틸트 각도를 추정할 수 있다.
도 6은 본 발명의 일측에 따른 영상 획득부의 구성을 도시한 블록도이다.
도 6을 참조하면, 본 발명의 일측에 따른 영상 획득부(600)는 해상도 조정부(610), 반사광 제거부(620), 동공 후보 영역 검출부(630), 영역 선택부(640), 임계치 검출부(650), 영상 판단부(660), 및 동공 중심 검출부(670)를 포함할 수 있다.
도 6을 참조하면, 해상도 조정부(610)는 입력된 영상 정보의 해상도를 조정하고, 반사광 제거부(620)는 조정된 영상 정보의 반사광을 제거하며, 동공 후보 영역 검출부(630)는 반사광이 제거된 영상 정보에 기설정된 필터를 적용하여 동공 후보 영역을 검출할 수 있다.
도 7은 본 발명의 일측에 따른 반사광 제거의 예를 도시한 도면이다.
예를 들어, 도 6및 도 7을 참조하면, 영상 획득부(600)는 협각 카메라로 촬영한 눈 영상에서 동공 후보 영역을 검출하기 위하여, 1600x1200 해상도의 도 7의 입력 영상(a)을 200x100 해상도의 영상(b)로 크기를 줄이고 그레이스케일 모폴로지(grayscale morphology) 연산을 통하여 반사광 영역을 제거할 수 있다.
도 8은 동공 후보 영역에 대한 검출 필터를 적용한 예이며, 도 9는 동공 후보 영역을 검출한 결과의 예이다.
도 8 및 도 9를 참조하면, 시선 추적 장치는 반사광이 제거된 영상에서 동공 후보 영역을 검출하기 위하여 도 8에 도시된 바와 같이 필터를 적용할 수 있다. 즉, 도 6의 동공 후보 영역 검출부(610)는 하기 수학식 3의 필터 알고리즘을 반사광이 제거된 영상 정보에 적용하여 동공 후보 영역을 검출할 수 있으며, 도 9와 같이 동공 후보 영역(910, 920)의 결과를 얻을 수 있다.
Figure 112013072534155-pat00003
이때, 상기 I는 영상의 밝기값(intensity), 상기 O(c)는 c위치에서의 수식 결과값, 상기 c는 필터의 중심 위치, 상기 bi는 필터의 주변부 위치, 상기 d는 노이즈 제거를 위한 변수에 대응될 수 있다.
도 9의 (b)는 파라미터 d를 적용하지 않았을 때의 결과이고, 도 9의 (c)는 파라미터 d를 적용하였을 때의 결과에 대응될 수 있다. 시선 추적 장치는 도 9에 도시된 바와 같이 사용자가 안경을 착용하였는지 여부에 관계없이 안정적인 동공 후보 영역을 검출할 수 있다.
시선 추적 장치는 동공 후보 영역을 검출하는 경우, 동공 영역이 눈꺼풀에 가려져 시선 추적 결과에 오류가 발생하는 것을 방지하기 위하여, 동공 영역이 눈꺼풀에 가려지는지를 추정할 수 있다.
도 6을 다시 참조하면, 영역 선택부(640)는 동공 후보 영역에서 서로 다른 크기의 두 개의 영역을 선택할 수 있으며, 임계치 검출부(650)는 두 개의 영역에 대한 각각의 임계치 값을 검출하고, 영상 판단부(660)는 검출된 두 개의 임계치 값을 비교하여 동일한 경우, 눈 영상에 눈꺼풀 영상이 없는 것으로 판단할 수 있다.
도 10은 동공 부근의 큰 후보 영역과 작은 후보 영역의 예를 도시한 도면이고, 도 11는 동공 후보 영역에 Otsu threshold 방법을 적용한 결과를 도시한 도면이다.
시선 추적 장치는 동공 후보 영역에서 도 10에 도시된 바와 같이 서로 다른 크기로 영역(a, b)을 선택할 수 있다.
시선 추적 장치는 도 10의 두 영상(a, b)에 각각 otsu threshold 방법을 이용하여 영역을 구분하여, 도 11와 같은 결과(a, b)를 얻을 수 있고 임계 값을 각각 검출할 수 있다. 이때, 시선 추적 장치는 두 임계 값이 동일하면 영상 내에 눈꺼풀이 없는 것으로 판단하고 다를 경우 눈꺼풀 영역이 존재하는 것으로 판단할 수 있다.
도 6을 다시 참조하면, 동공 중심 검출부(670)는 동공 후보 영역으로부터 원형 정보를 검출하고, 상기 검출된 원형 정보를 타원 피팅(Ellipse fitting)을 수행하여 상기 동공 중심 정보를 검출할 수 있다.
도 12는 본 발명의 일측에 따른 동공 중심 검출부의 상세 구성을 도시한 블록도이다.
도 12를 참조하면, 동공 중심 검출부(1200)는 원형 검출부(1210), 위치 선정부(1220), 위치 이동부(1230), 가중치 부여부(1240), 및 타원 피팅부(1250)를 포함할 수 있다.
원형 검출부(1210)는 동공 후보 영역에서 원 검출 방식을 적용하여 원의 중심과 외곽선 영역을 판별하고, 위치 선정부(1220)는 원의 외곽선 영역에 대하여 복수의 점을 선정할 수 있다. 위치 이동부(1230)는 선정된 복수의 점과 원의 중심을 연결한 직선 상에서 밝기 값에 대한 미분 값이 가장 큰 위치로 선정된 복수의 점을 이동시킬 수 있으며, 가중치 부여부(1240)는 이동된 복수의 점에 대하여 미분 값의 크기에 따라 가중치를 부여할 수 있다. 타원 피팅부(1250)는 가중치가 부여된 복수의 점을 이용하여 타원 피팅을 수행하여 동공 중심 정보를 검출할 수 있다.
예를 들어, 동공 중심 검출부(1200)는 검출된 동공 영역에 원 검출 방법을 적용하여 원의 중심과 외곽선 영역을 판별한 후 원의 외곽선 영역에 대하여 40개의 위치를 선정할 수 있다. 시선 추적 장치는 상기 위치에서 원의 중심 방향으로 직선을 그은 후 그 직선상에서 밝기 값에 대한 1차 미분을 구하여 이 미분값이 가장 큰 위치로 40개의 점을 이동시킬 수 있다.
동공 중심 검출부(1200)는 위치를 변경시킨 40개의 점들 중 이전에 구한 눈꺼풀 영역에 걸치는 부분들의 점들은 무시하고 원 검출 방법에서 처음 구한 위치를 그대로 사용할 수 있다. 이동한 각 점들의 1차 미분 값의 크기에 따라 가중치를 부여 받는데 1차 미분값이 클수록 더 큰 가중치를 가질 수 있다.
동공 중심 검출부(1200)는 가중치가 적용된 40개의 점을 이용하여 타원 피팅을 수행할 수 있으며, 타원 피팅시 가중치의 개념이 없기 때문에 가중치가 높은 점들의 개수를 증가시켜서 타원 피팅 시 가중치의 효과를 가지도록 할 수 있다.
도 13은 타원 피팅을 위한 점들의 구성과 타원 피팅 결과를 도시한 도면이다.
도 13을 참조하면, 시선 추적 장치는 타원 피팅을 위한 점들이 원의 외곽선(1310) 위치에서 벗어나서 존재하는 것을 확인할 수 있고, 타원 피팅의 결과로 도 13의 (b)에서 타원(1320)이 좀 더 동공 영역을 정확하게 표시하고 있는 것을 확인할 수 있다.
사용자 시선 위치는 먼저 협각 카메라로 촬영한 영상에서 동공의 중심과 반사광의 중심을 검출하여 두 위치를 연결하는 벡터를 검출한다. 사용자 캘리브레이션 단계에서 화면상에 나타나는 6개의 점을 각각 순차적으로 사용자가 바라볼 때 동공의 중심과 반사광의 중심을 연결하는 벡터와 실제 화면상에 나타나는 6개 점의 픽셀 단위 위치간의 2D 맵핑 함수를 계산한다. 사용자가 화면상의 임의의 위치를 응시할 때 2D 맵핑 함수와 동공 중심, 반사광 중심간의 벡터를 이용하여 사용자의 시선 위치를 알아낼 수 있다.
본 발명의 일측에 따르면, 시선 추적 장치는 사용자의 움직임에 따라 시선 위치를 보정해주는 전방향 움직임 보정 모델에서 사용자의 위치에 따라 실제 TV 화면이 변경되는 모양을 모델링할 수 있다.
도 14 및 도 15는 사용자의 움직임에 따른 영상 재생 장치의 화면, 협각 카메라, 동공 간의 관계를 도시한 도면이다.
도 14는 사용자가 영상 재생 장치의 화면(1430) 정중앙에 위치하였을 때 화면(1430)과 협각 카메라의 이미지 센서(1420)가 평행을 이루고, 화면(1430)과 협각 카메라의 이미지 센서(1420)의 수직 방향에 사용자 동공(1410)의 중심이 위치하는 예이다. 이때, 적외선 조명이 협각 카메라와 동일 위치에 있다고 가정한 경우, 시선 추적 장치는 사용자가 사용자 캘리브레이션 단계에서 화면에 나타나는 특정 위치를 응시하고 있을 때 하기 수학식 4와 같은 벡터 성분을 구할 수 있다.
Figure 112013072534155-pat00004
도 15는 사용자가 움직였을 때 영상 재생 장치의 화면(1530), 협각 카메라의 이미지 센서(1520), 사용자 동공(1510) 간의 관계를 예이며, 시선 추적 장치는 도 15를 참조하여 수학식 5와 같은 벡터 성분을 구할 수 있다.
Figure 112013072534155-pat00005
본 발명의 일측에 따르면, 전술한 수학식 4 및 5의 벡터 성분을 취합하여 정리하면 하기 수학식 6과 같이 정리할 수 있다.
Figure 112013072534155-pat00006
또한, 시선 추적 장치는 도 14 내지 15 및 수학식 4 내지 5를 참조하여, 하기 수학식 7과 같은 벡터 성분의 관계를 연산할 수 있으며, 수학식 6과 수학식 7의 연산을 통하여 수학식 8의 값을 연산할 수 있다.
Figure 112013072534155-pat00007
Figure 112013072534155-pat00008
또한, 시선 추적 장치는 도 14 내지 15 및 수학식 4 내지 5를 참조하면, 하기 수학식 7과 같은 벡터 성분의 관계를 연산할 수 있으며, 수학식 8과 수학식 9의 연산을 통하여 수학식 10의 값을 연산할 수 있다.
Figure 112013072534155-pat00009
Figure 112013072534155-pat00010
여기서, 시선 추적 장치는 사용자 동공의 중심 위치 Er과 En의 3차원 위치를 광각 스테레오 카메라를 이용하여, 하기 수학식 11과 같이 추정할 수 있다.
Figure 112013072534155-pat00011
시선 추적 장치는 협각 카메라의 광학 중심 O에서 Er과 En까지의 거리를 구할 수 있다. 예를 들어, 시선 추적 장치는 팬/틸트 캘리브레이션의 결과인 프로젝션 행렬(
Figure 112013072534155-pat00012
)을 이용하여 하기 수학식 12와 같이 협각 카메라의 광학 중심 O에서 Er과 En까지의 거리를 구할 수 있다.
Figure 112013072534155-pat00013
Figure 112013072534155-pat00014
여기서, T 및 t는 각각 메트릭스 트랜스포즈(matrix transpose) 및 트랜스래이션 벡터(translation vector)를 의미하며, R은 로테이션 메트릭스(rotation matrix)을 의미 할 수 있다. 여기서, Dxr, Dyr,
Figure 112013072534155-pat00015
등의 성분은 사용자가 직접 줄자 등을 이용하여 측정할 수도 있다.
또한, 협각 카메라의 광학 중심 O를 기준으로 SO의 위치는
Figure 112013072534155-pat00016
와 같이 표시할 수 있으며, 팬/틸트 모듈에 의하여
Figure 112013072534155-pat00017
만큼 회전하는 경우, 하기 수학식 13과 같이 연산 될 수 있다.
Figure 112013072534155-pat00018
시선 추적 장치는 전술한 수학식 13을 기반으로 하기 수학식 14와 같이,
Figure 112013072534155-pat00019
및
Figure 112013072534155-pat00020
의 값을 구할 수 있다.
Figure 112013072534155-pat00021
최종적으로, 시선 추적 장치는 전술한 수학식 4 내지 수학식 14를 기반으로 하기 수학식 15와 같이, vxn 및 vyn의 값을 구할 수 있다.
Figure 112013072534155-pat00022
시선 추적 장치는 사용자가 사용자 캘리브레이션을 수행할 때는 팬/틸드의 움직임이 필요하므로 정확한 시선 위치를 구하기 위해서는 도 16의 과정을 수행할 수 있다.
도 16은 사용자 캘리브레이션 위치, 기준 위치와 현재 위치와의 관계를 도시한 도면이다.
도 16을 참조하면, 시선 추적 장치는 사용자 캘리브레이션을 수행한 위치(1610)에서 기준 위치(1620)를 구할 수 있고, 기준 위치(1620)를 기준으로 현재 위치(1630)를 구할 수 있다. 예를 들어, 시선 추적 장치는 사용자 캘리브레이션을 수행한 위치(1610)에서 추정된 PCCR(Pupil Center Corneal Reflection) 벡터를 현재 위치(1630)의 PCCR 벡터로 변환하여, 하기 수학식 16과 같은 값을 구할 수 있다.
Figure 112013072534155-pat00023
여기서, 상기 변수들 중 c가 첨자된 변수들은 캘리브레이션(calibration) 위치에서의 값을 의미할 수 있다.
시선 추적 장치는 눈동자의 흔들림과 영상 잡음에 의해서 사용자가 동일한 위치를 응시하고 있더라도 흔들림이 발생하는 것을 대비하여, 시선 추적 결과를 보정하는 과정을 제공할 수 있다.
시선 추적 장치는 영상 보정부를 더 포함할 수 있으며, 영상 보정부는 사용자의 눈동자 흔들림에 의한 시선 위치 정보의 오차를 보정할 수 있다. 영상 보정부는 하기 수학식 9를 이용하여 시선 위치 정보를 보정할 수 있다.
예를 들어, 현재 영상에서 검출한 시선 추적 위치를 v(t)={x, y}라고 이전 영상에서 검출한 시선 추적 위치를 v'(t-1)이라고 할 때, 보정한 시선 추적 위치는 하기 수학식 17과 같이 정의할 수 있다. 이때, 파라미터 W는 두 시선 위치 간의 거리가 어느 정도 떨어졌을 때 사용자의 시선이 움직인 것으로 판단하여 보정 없이 원본 값을 사용하느냐에 대한 파라미터에 대응될 수 있다.
Figure 112013072534155-pat00024
여기서, 상기 v’(t)는 상기 보정된 시선 위치 정보, 상기 v(t)는 현재 영상에서 검출한 시선 추적 위치, 상기 v'(t-1)는 이전 영상에서 보정된 시선 추적 위치, 상기 W는 현재 시선 위치와 이전 시선 위치간의 거리 차이에 대한 경계값에 대응 될 수 있다.
도 17은 본 발명의 일실시예에 따른 시선 추적 방법을 도시한 흐름도이다.
도 17을 참조하면, 시선 추적 장치는 광각 카메라 간의 캘리브레이션을 수행하고(1701), 광각 카메라와 협각 카메라 간의 캘리브레이션을 수행하며(1702), 영상 재생 장치와 협각 카메라 간의 캘리브레이션을 수행한다(1703). 또한, 시선 추적 장치는 사용자 캘리브레이션을 수행할 수 있다(1704).
시선 추적 장치는 광각 카메라으로부터 영상을 입력 받으며(1705), 듀얼 카메라 영상 별 얼굴 영역을 검출한다(1706).
시선 추적 장치는 눈 영역 검출 및 사용자의 3차원 위치를 계산하고(1707), 협각 카메라를 이용하여 사용자의 위치 정보 및 눈 영역 검출 정보를 이용하여 팬(pan), 틸트(tilt), 및 포커스(focus)를 계산하고(1408), 이용하여 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행한다(1709).
시선 추적 장치는 협각 카메라의 동작을 통하여 눈 영상을 획득하고(1710), 눈 영상으로부터 동공 중심 정보 및 각막 반사광 정보를 검출한다(1711, 1712).
시선 추적 장치는 동공 중심 정보 및 각막 반사광 정보로부터 눈 위치 정보와 전방향 움직임 대응 모델을 이용하여 시선 위치 정보를 계산한다(1713).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
310: 광각 카메라
320: 협각 카메라
330: 캘리브레이션 수행부
340: 영상 획득부
350: 검출부
360: 시선 위치 계산부

Claims (40)

  1. 둘 이상의 광각 카메라, 협각 카메라 및 영상 재생 장치의 상호 간의 캘리브레이션(calibration)을 수행하여 사용자에 대한 사용자 위치 정보를 계산하는 캘리브레이션 수행부;
    상기 둘 이상의 광각 카메라를 통하여 영상 정보를 입력 받는 영상 정보 입력부;
    상기 영상 정보에 대하여 눈 위치 정보를 검출하는 제1 정보 검출부;
    상기 눈 위치 정보 및 상기 사용자 위치 정보를 기반으로 상기 협각 카메라에 대한 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하여 눈 영상을 획득하는 영상 획득부;
    상기 눈 영상으로부터 동공 중심에 대한 동공 중심 정보를 검출하는 제2 정보 검출부;
    상기 사용자의 눈에 반사된 각막 반사광에 대한 각막 반사광 정보를 검출하는 제3 정보 검출부; 및
    상기 동공 중심 정보 및 상기 각막 반사광 정보로부터 시선 위치 정보를 계산하는 시선 위치 계산부
    를 포함하고,
    상기 시선 위치 계산부는,
    상기 사용자가 둘 이상의 광각 카메라 간의 캘리브레이션을 수행한 위치에서 이동한 경우, 상기 사용자 위치 정보를 전방향 움직임 보정 모델에 적용하여 보정한 후, 상기 보정된 사용자 위치 정보를 이용하여 상기 시선 위치 정보를 계산하는 시선 추적 장치.
  2. 제1항에 있어서,
    상기 캘리브레이션 수행부는,
    상기 둘 이상의 광각 카메라 간의 캘리브레이션(calibration)을 수행하고, 상기 둘 이상의 광각 카메라와 협각 카메라 간의 캘리브레이션을 수행하며, 상기 협각 카메라와 영상 재생 장치 간의 캘리브레이션을 수행하는 시선 추적 장치.
  3. 제1항에 있어서,
    상기 제1 정보 검출부는,
    상기 둘 이상의 영상 정보에 대하여 얼굴 영역 및 눈 영역을 검출하는 시선 추적 장치.
  4. 삭제
  5. 영상 정보를 입력 받고, 캘리브레이션을 통해 사용자에 대한 사용자 위치 정보를 계산하는 둘 이상의 광각 카메라;
    상기 사용자 위치 정보 및 눈 영역 검출 정보를 이용하여 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하는 협각 카메라;
    상기 협각 카메라의 동작을 통하여 눈 영상을 획득하는 영상 획득부;
    상기 눈 영상으로부터 동공 중심 정보 및 각막 반사광 정보를 검출하는 검출부; 및
    상기 동공 중심 정보 및 상기 각막 반사광 정보로부터 시선 위치 정보를 계산하는 시선 위치 계산부
    를 포함하고,
    상기 영상 획득부는,
    상기 입력된 영상 정보의 해상도를 조정하는 해상도 조정부;
    상기 조정된 영상 정보의 반사광을 제거하는 반사광 제거부; 및
    상기 반사광이 제거된 영상 정보에 기설정된 필터를 적용하여 동공 후보 영역을 검출하는 동공 후보 영역 검출부
    를 포함하는 시선 추적 장치.
  6. 제5항에 있어서,
    상기 둘 이상의 광각 카메라 간의 캘리브레이션(calibration) 을 수행하는 캘리브레이션 수행부
    를 더 포함하는 시선 추적 장치.
  7. 제6항에 있어서,
    상기 캘리브레이션 수행부는,
    스테레오 캘리브레이션 방식을 이용하여 하나의 광각 카메라를 기준으로 다른 카메라의 위치 및 회전 정도를 추정하는 시선 추적 장치.
  8. 제6항에 있어서,
    상기 캘리브레이션 수행부는,
    상기 둘 이상의 광각 카메라와 상기 협각 카메라 간의 캘리브레이션을 수행하는 시선 추적 장치.
  9. 제6항에 있어서,
    상기 캘리브레이션 수행부는,
    상기 협각 카메라와 영상 재생 장치 간의 캘리브레이션을 수행하는 시선 추적 장치.
  10. 제9항에 있어서,
    상기 캘리브레이션 수행부는,
    상기 협각 카메라가 이동하는 팬 축 및 틸트 축의 중심을 기준으로 상기 영상 재생 장치의 실제 위치와의 차이를 추정하는 시선 추적 장치.
  11. 삭제
  12. 제5항에 있어서,
    상기 동공 후보 영역 검출부는,
    하기 수학식 1의 필터 알고리즘을 상기 반사광이 제거된 영상 정보에 적용하여 상기 동공 후보 영역을 검출하는 시선 추적 장치.
    [수학식 1]
    Figure 112017029129960-pat00025

    (여기서, 상기 I는 영상의 밝기값(intensity), 상기 O(c)는 c위치에서의 수식 결과값, 상기 c는 필터의 중심 위치, 상기 bi는 필터의 주변부 위치, 상기 d는 노이즈 제거를 위한 변수에 대응 됨.)
  13. 제5항에 있어서,
    상기 영상 획득부는,
    상기 동공 후보 영역에서 서로 다른 크기의 두 개의 영역을 선택하는 영역 선택부;
    상기 두 개의 영역에 대한 각각의 임계치 값을 검출하는 임계치 검출부; 및
    상기 검출된 두 개의 임계치 값을 비교하여 동일한 경우, 상기 눈 영상에 눈꺼풀 영상이 없는 것으로 판단하는 영상 판단부
    를 더 포함하는 시선 추적 장치.
  14. 제5항에 있어서,
    상기 영상 획득부는,
    상기 동공 후보 영역으로부터 원형 정보를 검출하고, 상기 검출된 원형 정보를 타원 피팅(Ellipse fitting)을 수행하여 상기 동공 중심 정보를 검출하는 동공 중심 검출부
    를 더 포함하는 시선 추적 장치.
  15. 제14항에 있어서,
    상기 동공 중심 검출부는,
    상기 동공 후보 영역에서 원 검출 방식을 적용하여 원의 중심과 외곽선 영역을 판별하는 원형 검출부;
    상기 원의 외곽선 영역에 대하여 복수의 점을 선정하는 위치 선정부;
    상기 선정된 복수의 점과 상기 원의 중심을 연결한 직선 상에서 밝기 값에 대한 미분 값이 가장 큰 위치로 상기 선정된 복수의 점을 이동시키는 위치 이동부;
    상기 이동된 복수의 점에 대하여 상기 미분 값의 크기에 따라 가중치를 부여하는 가중치 부여부; 및
    상기 가중치가 부여된 복수의 점을 이용하여 타원 피팅을 수행하여 상기 동공 중심 정보를 검출하는 타원 피팅부
    를 포함하는 시선 추적 장치.
  16. 제5항에 있어서,
    상기 영상 획득부는,
    상기 사용자의 3차원 위치를 기반으로 하여 상기 협각 카메라가 상기 사용자를 촬영하기 위한 팬 각도 및 틸트 각도를 계산하는 시선 추적 장치.
  17. 제16항에 있어서,
    상기 영상 획득부는,
    상기 팬 각도 및 상기 틸트 각도에 대응하는 가상 이미지의 2차원 좌표를 추정하는 제1 추정부;
    상기 3차원 위치의 3차원 좌표와 상기 2차원 좌표의 상대적 위치 관계를 참조하여, 상기 3차원 좌표가 상기 가상 이미지 상에 투영되는 가상 좌표를 추정하는 제2 추정부; 및
    상기 가상 좌표를 기반으로 상기 팬 각도 및 상기 틸트 각도를 추정하는 제3 추정부
    를 포함하는 시선 추적 장치.
  18. 제5항에 있어서,
    상기 사용자의 눈동자 흔들림에 의한 상기 시선 위치 정보의 오차를 보정하는 영상 보정부
    를 더 포함하는 시선 추적 장치.
  19. 제18항에 있어서,
    상기 영상 보정부는,
    하기 수학식 2를 이용하여 상기 시선 위치 정보를 보정하는 시선 추적 장치.
    [수학식 2]
    Figure 112013072534155-pat00026

    (여기서, 상기 v’(t)는 상기 보정된 시선 위치 정보, 상기 v(t)는 현재 영상에서 검출한 시선 추적 위치, 상기 v'(t-1)는 이전 영상에서 보정된 시선 추적 위치, 상기 W는 현재 시선 위치와 이전 시선 위치간의 거리 차이에 대한 경계값에 대응 됨.)
  20. 제5항에 있어서,
    상기 시선 위치 계산부는,
    상기 사용자의 움직임에 따라 시선 위치를 보정하는 전방향 움직임 보정 모델을 통하여 상기 시선 위치 정보를 계산하는 시선 추적 장치.
  21. 둘 이상의 광각 카메라, 협각 카메라 및 영상 재생 장치의 상호 간의 캘리브레이션(calibration)을 수행하여 사용자에 대한 사용자 위치 정보를 계산하는 단계;
    상기 둘 이상의 광각 카메라를 통하여 영상 정보를 입력 받는 단계;
    상기 영상 정보에 대하여 눈 위치 정보를 검출하는 단계;
    상기 눈 위치 정보 및 상기 사용자 위치 정보를 기반으로 상기 협각 카메라에 대한 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하여 눈 영상을 획득하는 단계;
    상기 눈 영상으로부터 동공 중심에 대한 동공 중심 정보를 검출하는 단계;
    상기 사용자의 눈에 반사된 각막 반사광에 대한 각막 반사광 정보를 검출하는 단계; 및
    상기 동공 중심 정보 및 상기 각막 반사광 정보로부터 시선 위치 정보를 계산하는 단계
    를 포함하고,
    상기 시선 위치 정보를 계산하는 단계는,
    상기 사용자가 둘 이상의 광각 카메라 간의 캘리브레이션을 수행한 위치에서 이동한 경우, 상기 사용자 위치 정보를 전방향 움직임 보정 모델에 적용하여 보정하는 단계;
    상기 보정된 사용자 위치 정보를 이용하여 상기 시선 위치 정보를 계산하는 단계
    를 포함하는 시선 추적 방법.
  22. 제21항에 있어서,
    상기 사용자 위치 정보를 계산하는 단계는,
    상기 둘 이상의 광각 카메라 간의 캘리브레이션(calibration)을 수행하는 단계;
    상기 둘 이상의 광각 카메라와 협각 카메라 간의 캘리브레이션을 수행하는 단계;
    상기 협각 카메라와 영상 재생 장치 간의 캘리브레이션을 수행하는 단계
    를 포함하는 시선 추적 방법.
  23. 제21항에 있어서,
    상기 동공 중심 정보를 검출하는 단계는,
    상기 둘 이상의 영상 정보에 대하여 얼굴 영역 및 눈 영역을 검출하는 단계
    를 포함하는 시선 추적 방법.
  24. 삭제
  25. 둘 이상의 광각 카메라를 통하여 영상 정보를 입력 받는 단계;
    상기 둘 이상의 광각 카메라를 이용하여 사용자에 대한 사용자 위치 정보를 계산하는 단계;
    협각 카메라를 이용하여 상기 사용자 위치 정보 및 눈 영역 검출 정보를 이용하여 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하는 단계;
    상기 협각 카메라의 동작을 통하여 눈 영상을 획득하는 단계;
    상기 눈 영상으로부터 동공 중심 정보 및 각막 반사광 정보를 검출하는 단계; 및
    상기 동공 중심 정보 및 상기 각막 반사광 정보로부터 시선 위치 정보를 계산하는 단계
    를 포함하고,
    상기 눈 영상을 획득하는 단계는,
    상기 입력된 영상 정보의 해상도를 조정하는 단계;
    상기 조정된 영상 정보의 반사광을 제거하는 단계; 및
    상기 반사광이 제거된 영상 정보에 기설정된 필터를 적용하여 동공 후보 영역을 검출하는 단계
    를 포함하는 시선 추적 방법.
  26. 제25항에 있어서,
    상기 각각의 광각 카메라 간의 캘리브레이션(calibration) 을 수행하는 단계
    를 더 포함하는 시선 추적 방법.
  27. 제26항에 있어서,
    스테레오 캘리브레이션 방식을 이용하여 하나의 광각 카메라를 기준으로 다른 카메라의 위치 및 회전 정도를 추정하는 단계
    를 더 포함하는 시선 추적 방법.
  28. 제25항에 있어서,
    상기 둘 이상의 광각 카메라와 상기 협각 카메라 간의 캘리브레이션을 수행하는 단계
    를 더 포함하는 시선 추적 방법.
  29. 제25항에 있어서,
    상기 협각 카메라와 영상 재생 장치 간의 캘리브레이션을 수행하는 단계
    를 더 포함하는 시선 추적 방법.
  30. 제29항에 있어서,
    상기 협각 카메라가 이동하는 팬 축 및 틸트 축의 중심을 기준으로 상기 영상 재생 장치의 실제 위치와의 차이를 추정하는 단계
    를 더 포함하는 시선 추적 방법.
  31. 삭제
  32. 제25항에 있어서,
    상기 동공 후보 영역을 검출하는 단계는,
    하기 수학식 3의 필터 알고리즘을 상기 반사광이 제거된 영상 정보에 적용하여 상기 동공 후보 영역을 검출하는 시선 추적 방법.
    [수학식 3]
    Figure 112017029129960-pat00027

    (여기서, 상기 I는 영상의 밝기값(intensity), 상기 O(c)는 c위치에서의 수식 결과값, 상기 c는 필터의 중심 위치, 상기 bi는 필터의 주변부 위치, 상기 d는 노이즈 제거를 위한 변수에 대응 됨.)
  33. 제25항에 있어서,
    상기 눈 영상을 획득하는 단계는,
    상기 동공 후보 영역에서 서로 다른 크기의 두 개의 영역을 선택하는 단계;
    상기 두 개의 영역에 대한 각각의 임계치 값을 검출하는 단계; 및
    상기 검출된 두 개의 임계치 값을 비교하여 동일한 경우, 상기 눈 영상에 눈꺼풀 영상이 없는 것으로 판단하는 단계
    를 더 포함하는 시선 추적 방법.
  34. 제25항에 있어서,
    상기 눈 영상을 획득하는 단계는,
    상기 동공 후보 영역으로부터 원형 정보를 검출하는 단계; 및
    상기 검출된 원형 정보를 타원 피팅(Ellipse fitting)을 수행하여 상기 동공 중심 정보를 검출하는 단계
    를 더 포함하는 시선 추적 방법.
  35. 제34항에 있어서,
    상기 눈 영상을 획득하는 단계는,
    상기 동공 후보 영역에서 원 검출 방식을 적용하여 원의 중심과 외곽선 영역을 판별하는 단계;
    상기 원의 외곽선 영역에 대하여 복수의 점을 선정하는 단계;
    상기 선정된 복수의 점과 상기 원의 중심을 연결한 직선 상에서 밝기 값에 대한 미분 값이 가장 큰 위치로 상기 선정된 복수의 점을 이동시키는 단계;
    상기 이동된 복수의 점에 대하여 상기 미분 값의 크기에 따라 가중치를 부여하는 단계; 및
    상기 가중치가 부여된 복수의 점을 이용하여 타원 피팅을 수행하여 상기 동공 중심 정보를 검출하는 단계
    를 더 포함하는 시선 추적 방법.
  36. 제25항에 있어서,
    상기 사용자의 3차원 위치를 기반으로 하여 상기 협각 카메라가 상기 사용자를 촬영하기 위한 팬 각도 및 틸트 각도를 계산하는 단계
    를 더 포함하는 시선 추적 방법.
  37. 제36항에 있어서,
    상기 팬 각도 및 상기 틸트 각도에 대응하는 가상 이미지의 2차원 좌표를 추정하는 단계;
    상기 3차원 위치의 3차원 좌표와 상기 2차원 좌표의 상대적 위치 관계를 참조하여, 상기 3차원 좌표가 상기 가상 이미지 상에 투영되는 가상 좌표를 추정하는 단계; 및
    상기 가상 좌표를 기반으로 상기 팬 각도 및 상기 틸트 각도를 추정하는 단계
    를 더 포함하는 시선 추적 방법.
  38. 제25항에 있어서,
    상기 사용자의 눈동자 흔들림에 의한 상기 시선 위치 정보의 오차를 보정하는 단계
    를 더 포함하는 시선 추적 방법.
  39. 제38항에 있어서,
    상기 상기 시선 위치 정보의 오차를 보정하는 단계는,
    하기 수학식 4를 이용하여 상기 시선 위치 정보를 보정하는 시선 추적 방법.
    [수학식 4]
    Figure 112013072534155-pat00028

    (여기서, 상기 v’(t)는 상기 보정된 시선 위치 정보, 상기 v(t)는 현재 영상에서 검출한 시선 추적 위치, 상기 v'(t-1)는 이전 영상에서 보정된 시선 추적 위치, 상기 W는 현재 시선 위치와 이전 시선 위치간의 거리 차이에 대한 경계값에 대응 됨.)
  40. 제25항에 있어서,
    상기 사용자의 움직임에 따라 시선 위치를 보정하는 전방향 움직임 보정 모델을 통하여 상기 시선 위치 정보를 계산하는 단계
    를 더 포함하는 시선 추적 방법.
KR1020130094997A 2012-10-09 2013-08-09 시선 추적 장치 및 방법 Active KR101769177B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/049,673 US9426447B2 (en) 2012-10-09 2013-10-09 Apparatus and method for eye tracking

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120111702 2012-10-09
KR20120111702 2012-10-09

Publications (2)

Publication Number Publication Date
KR20140045873A KR20140045873A (ko) 2014-04-17
KR101769177B1 true KR101769177B1 (ko) 2017-08-18

Family

ID=50653136

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130094997A Active KR101769177B1 (ko) 2012-10-09 2013-08-09 시선 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101769177B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200118524A (ko) 2019-04-08 2020-10-16 유홍준 능동형 동작 인식 추적 기반의 영상 처리 시스템 및 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017945A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
KR101610496B1 (ko) 2014-08-26 2016-04-07 현대자동차주식회사 시선 추적 방법 및 장치
KR102348366B1 (ko) * 2015-01-12 2022-01-10 삼성전자주식회사 전자 장치 및 전자 장치에서 눈의 중심을 판단하는 방법
KR101653281B1 (ko) * 2015-01-22 2016-09-01 한국과학기술연구원 설정 가능한 센서네트워크에서의 사용자 위치 추정 장치 및 방법
KR102526544B1 (ko) * 2016-01-29 2023-04-27 한국전자통신연구원 멀티 어레이 기반의 시선추적 장치 및 방법
SE541262C2 (en) 2016-11-15 2019-05-21 Heads Stockholm Ab Method and device for eye metric acquisition
KR101901236B1 (ko) * 2016-11-29 2018-09-28 경북대학교 산학협력단 스테레오 카메라 보정 방법 및 장치
KR101894496B1 (ko) * 2016-12-30 2018-09-04 주식회사 펀진 시점 추적기능을 가지는 정보제공장치
JP7604216B2 (ja) * 2020-12-18 2024-12-23 キヤノン株式会社 視線検出装置
KR20230101580A (ko) * 2021-12-29 2023-07-06 삼성전자주식회사 안구 모델에 기초하여 센싱 범위를 결정하는 시선 추적 방법, 장치 및 시선 추적 센서
CN116228748B (zh) * 2023-05-04 2023-07-14 天津志听医疗科技有限公司 一种基于眼动追踪的平衡功能分析方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200118524A (ko) 2019-04-08 2020-10-16 유홍준 능동형 동작 인식 추적 기반의 영상 처리 시스템 및 방법

Also Published As

Publication number Publication date
KR20140045873A (ko) 2014-04-17

Similar Documents

Publication Publication Date Title
KR101769177B1 (ko) 시선 추적 장치 및 방법
US9426447B2 (en) Apparatus and method for eye tracking
US9172931B2 (en) Projection display device, information processing device, projection display system, and program
US10943409B2 (en) Information processing apparatus, information processing method, and program for correcting display information drawn in a plurality of buffers
KR102212209B1 (ko) 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
CN112102389B (zh) 确定实物至少一部分的3d重构件的空间坐标的方法和系统
US20180101984A1 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
CN108960045A (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
US12056274B2 (en) Eye tracking device and a method thereof
US20120148097A1 (en) 3d motion recognition method and apparatus
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
KR20080047392A (ko) 실시간으로 몇몇 관찰자들의 눈을 인식하고 추적하기 위한방법 및 회로 장치
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
JP2013042411A (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
KR20160094190A (ko) 시선 추적 장치 및 방법
US10630890B2 (en) Three-dimensional measurement method and three-dimensional measurement device using the same
KR102809045B1 (ko) 동적 크로스토크를 측정하는 방법 및 장치
JP2018113021A (ja) 情報処理装置およびその制御方法、プログラム
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
US20230245332A1 (en) Systems and methods for updating continuous image alignment of separate cameras
WO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US8983125B2 (en) Three-dimensional image processing device and three dimensional image processing method
KR101828710B1 (ko) 객체 가려짐 검출 장치 및 그 방법
CN117073988A (zh) 抬头显示虚像距离测量系统及方法、电子设备
EP4374241A1 (en) Calibration method of a system comprising an eye tracking device and a computing device comprising one or multiple screens

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130809

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150930

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130809

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160630

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170124

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170719

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170810

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170810

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200727

Start annual number: 4

End annual number: 4