KR102410834B1

KR102410834B1 - 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치

Info

Publication number: KR102410834B1
Application number: KR1020170141339A
Authority: KR
Inventors: 강동우; 허진구
Original assignee: 삼성전자주식회사
Priority date: 2017-10-27
Filing date: 2017-10-27
Publication date: 2022-06-20
Anticipated expiration: 2037-10-27
Also published as: CN109729334A; KR20190047442A; EP3477436A1; US20190129165A1; EP3477436B1; CN109729334B; US10962772B2

Abstract

일 실시예에 따른 사용자의 눈을 추적하는 방법 및 장치는 입력 영상에서 조명에 의한 반사 영역이 존재하는지 여부를 결정하고, 반사 영역이 존재하는 것으로 결정된 경우, 입력 영상으로부터 반사 영역을 제거하며, 반사 영역이 제거된 영상으로부터 사용자의 눈의 좌표를 출력한다.

Description

반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치{METHOD OF REMOVING REFLECTION AREA, EYE-TRACKING METHOD AND APPARATUS THEREOF}

아래의 실시예들은 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치에 관한 것이다.

카메라 기반 눈추적 기술은 예를 들어, 시점 추적 기반의 무안경 3D 초다시점 디스플레이 등 많은 분야에서 활용될 수 있다. 카메라 기반 눈추적기는 밝은 고조도 환경(예를 들어, 400 Lux)에서는 잘 동작하나, 저조도 환경에서는 카메라 영상의 낮은 품질로 인해 잘 동작하지 않는다. 한편, 밝은 곳뿐만 아니라 어두운 곳에서도 TV 시청, 모바일 기기의 사용 등이 빈번하고, 차세대 차량용 3D HUD(Head-up display) 기술에서도 밤 운전이 고려되어야 한다.

야간 또는 어두운 곳과 같은 저조도 환경에서 컬러 카메라를 이용하여 사용자의 눈을 추적하는 경우, 영상 품질이 떨어져 눈추적의 정확도와 성공률이 떨어지므로 적외선 카메라가 이용될 수 있다. 다만, 적외선 카메라의 경우, 안경알 반사로 인하여 안경 착용자의 눈추적 정확도 및 성공률이 저하된다.

일 측에 따르면, 사용자의 눈을 추적하는 방법은 입력 영상에서 조명에 의한 반사 영역(reflection area)이 존재하는지 여부를 결정하는 단계; 상기 반사 영역이 존재하는 것으로 결정된 경우, 상기 입력 영상으로부터 상기 반사 영역을 제거하는 단계; 및 상기 반사 영역이 제거된 영상으로부터 사용자의 눈의 좌표를 출력하는 단계를 포함한다.

상기 반사 영역을 제거하는 단계는 상기 반사 영역이 제거된 영상을 포함하는 데이터베이스에 기초한 기계 학습에 의해 학습된 파라미터를 이용하여 상기 반사 영역을 포함하는 입력 영상을 처리함으로써 상기 반사 영역을 제거하는 단계를 포함할 수 있다.

상기 반사 영역을 제거하는 단계는 조명 보상 알고리즘에 기초한 영상 처리에 의해 상기 입력 영상으로부터 상기 반사 영역을 제거하는 단계를 포함할 수 있다.

상기 조명 보상 알고리즘은 상기 입력 영상의 일부 영역에 대응하는 패치(patch)를 이용하여 상기 반사 영역을 복원하는 인페인팅 알고리즘(Inpainting algorithm)을 포함할 수 있다.

상기 반사 영역을 제거하는 단계는 상기 반사 영역을 확장하여 영상 복원을 위한 마스크 영역을 결정하는 단계; 및 상기 마스크 영역에 대하여 상기 조명 보상 알고리즘에 기초한 영상 처리를 수행함으로써 상기 반사 영역을 제거하는 단계를 포함할 수 있다.

상기 사용자의 눈을 추적하는 방법은 상기 영상 처리가 수행된 마스크 영역의 에지(edge) 부분을 스무딩(smoothing)하는 단계를 더 포함할 수 있다.

상기 반사 영역이 존재하는지 여부를 결정하는 단계는 상기 입력 영상에서 픽셀 값이 미리 설정된 임계치보다 큰 값을 가지는 영역이 존재하는지에 기초하여 상기 반사 영역이 존재하는지 여부를 결정하는 단계를 포함할 수 있다.

상기 사용자의 눈을 추적하는 방법은 상기 반사 영역이 제거된 영상을 이용하여 기계 학습을 위한 데이터베이스를 구성하는 단계를 더 포함할 수 있다.

상기 반사 영역은 적외선 조명에 의해 발생하는 안경 렌즈의 반사 영역, 눈의 반사 영역, 및 눈 부근의 반사 영역 중 어느 하나 또는 이들의 조합을 포함할 수 있다.

일 측에 따르면, 반사 영역을 제거하는 방법은 입력 영상에서 조명에 의한 반사 영역이 존재하는지 여부를 결정하는 단계; 및 상기 반사 영역이 존재하는 것으로 결정된 경우, 상기 반사 영역이 제거된 영상을 포함하는 데이터베이스에 기초한 기계 학습에 의해 학습된 파라미터를 이용하여 상기 반사 영역을 포함하는 입력 영상을 처리함으로써 상기 반사 영역을 제거하는 단계를 포함한다.

일 측에 따르면, 반사 영역을 제거하는 방법은 입력 영상에서 조명에 의한 반사 영역- 상기 반사 영역은 상기 조명에 의해 발생하는 안경 렌즈의 반사 영역, 눈의 반사 영역, 및 눈 부근의 반사 영역 중 적어도 하나를 포함함- 이 존재하는지 여부를 결정하는 단계; 상기 반사 영역이 존재하는 것으로 결정된 경우, 상기 반사 영역을 확장하여 영상 복원을 위한 마스크 영역을 결정하는 단계; 및 상기 마스크 영역에 대하여 조명 보상 알고리즘에 기초한 영상 처리를 수행함으로써 상기 반사 영역을 제거하는 단계를 포함한다.

상기 반사 영역을 제거하는 방법은 상기 영상 처리가 수행된 마스크 영역의 에지 부분을 스무딩하는 단계를 더 포함할 수 있다.

일 측에 따르면, 사용자의 눈을 추적하는 장치는 입력 영상을 획득하는 촬영 장치; 및 상기 입력 영상에서 조명에 의한 반사 영역이 존재하는지 여부를 결정하고, 상기 반사 영역이 존재하는 것으로 결정된 경우, 상기 입력 영상으로부터 상기 반사 영역을 제거하며, 상기 반사 영역이 제거된 영상으로부터 사용자의 눈의 좌표를 출력하는 프로세서를 포함한다.

상기 사용자의 눈을 추적하는 장치는 상기 반사 영역이 제거된 영상을 포함하는 데이터베이스에 기초한 기계 학습에 의해 학습된 파라미터를 저장하는 메모리를 더 포함하고, 상기 프로세서는 상기 파라미터를 이용하여 상기 반사 영역을 포함하는 입력 영상을 처리함으로써 상기 반사 영역을 제거할 수 있다.

상기 프로세서는 조명 보상 알고리즘에 기초한 영상 처리에 의해 상기 입력 영상으로부터 상기 반사 영역을 제거할 수 있다.

상기 프로세서는 상기 반사 영역을 확장하여 영상 복원을 위한 마스크 영역을 결정하고, 상기 마스크 영역에 대하여 상기 조명 보상 알고리즘에 기초한 영상 처리를 수행함으로써 상기 반사 영역을 제거할 수 있다.

상기 프로세서는 상기 영상 처리가 수행된 마스크 영역의 에지 부분을 스무딩할 수 있다.

상기 프로세서는 상기 입력 영상에서 픽셀 값이 미리 설정된 임계치보다 큰 값을 가지는 영역이 존재하는지에 기초하여 상기 반사 영역이 존재하는지 여부를 결정할 수 있다.

도 1은 일 실시예에 따른 적외선 광원에 의한 반사에 의해 동공 또는 눈의 형태가 가려지는 상황을 설명하기 위한 도면.
도 2는 일 실시예에 따른 사용자의 눈을 추적하는 방법을 나타낸 흐름도.
도 3은 일 실시예에 따라 반사 영역을 제거하는 방법을 나타낸 흐름도.
도 4는 일 실시예에 따라 반사 영역을 제거하는 방법을 설명하기 위한 도면.
도 5 내지 도 6은 실시예들에 따라 반사 영역을 제거하는 방법을 나타낸 흐름도.
도 7 내지 도 9는 실시예들에 따른 사용자의 눈을 추적하는 장치의 블록도.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

하기에서 설명될 실시예들은 조도가 낮은 어두운 환경에서 무안경 3D 모니터, 무안경 3D 태블릿/스마트폰, 및 차량용 3D HUD (Head-up display) 등을 이용하는 경우에 적외선 카메라를 이용하여 사용자의 눈을 추적하여 눈의 좌표를 출력하는 데에 활용될 수 있다. 또한, 실시예들은 예를 들어, 모니터 내의 칩에 소프트웨어 알고리즘의 형태로 구현되거나, 태블릿/스마트 폰에서 앱의 형태로도 구현 가능하며, 하드웨어 눈추적 장치로도 구현될 수 있다. 실시예들은 예를 들어, 자율 주행 자동차, 지능형 자동차, 스마트 폰, 및 모바일 기기 등에 적용될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 적외선 광원에 의한 반사에 의해 동공 또는 눈의 형태가 가려지는 상황을 설명하기 위한 도면이다. 도 1을 참조하면, 단일 적외선 카메라를 이용하여 획득한 영상들(110, 130)이 도시된다.

예를 들어, 적외선 카메라를 이용하여 사용자의 얼굴 영상을 촬영한 경우, 획득된 영상들(110, 130)은 컬러 카메라에 의해 촬영된 영상에 대비할 때 저조도에서도 음영 등이 발생하지 않아 눈, 코, 입 등 얼굴의 형태를 용이하게 식별할 수 있다.

다만, 사용자가 안경을 착용한 경우, 적외선 카메라를 위한 적외선 광원에 의해 사용자의 눈에 인접한 영역에 반사 영역(reflection area))(113)이 발생하거나, 사용자의 눈에 반사 영역(133)이 발생하거나, 및/또는 안경 렌즈에 반사 영역(136)이 발생할 수 있다. 이러한 반사 영역들(113, 133, 136)은 동공이나 눈의 형태를 가리므로 사용자의 눈 또는 눈의 위치를 추적하기 위한 형상 정렬(shape alignment)에 영향을 주어 눈추적의 정확도 및 성공률을 저하시킬 수 있다.

일 실시예에서는 기계 학습 또는 다양한 조명 보상 알고리즘에 의한 영상 처리 등을 통해 입력 영상에 포함된 반사 영역을 제거함으로써 카메라와 적외선 광원을 분리하거나 또는 카메라와 적외선 광원 간의 일정 거리를 유지하기 위한 큰 부피의 카메라 장치가 없이도 눈추적의 정확도 및 성공률을 향상시킬 수 있다.

도 2는 일 실시예에 따른 사용자의 눈을 추적하는 방법을 나타낸 흐름도이다. 도 2를 참조하면, 일 실시예에 따른 사용자의 눈을 추적하는 장치(이하, '추적 장치')는 입력 영상에서 조명에 의한 반사 영역이 존재하는지 여부를 결정한다(210). 이때, 입력 영상은 예를 들어, 사용자의 눈을 포함하는 얼굴 영상 또는 사용자의 얼굴을 포함하는 신체 영상일 수 있다. 입력 영상은 예를 들어, 추적 장치에 포함된 적외선 카메라 또는 이미지 센서 등에 의해 직접 촬영된 입력 영상일 수 있다. 또는 입력 영상은 추적 장치 외부에서 촬영된 적외선 영상을 수신한 것일 수도 있다.

예를 들어, 반사 영역은 주변 영역에 비해 급격하게 변화된 높은 픽셀 값을 가질 수 있다. 추적 장치는 이러한 점을 이용하여 입력 영상에서 픽셀 값이 미리 설정된 임계치보다 큰 값을 가지는 영역이 존재하는지에 기초하여 반사 영역이 존재하는지 여부를 결정할 수 있다. 이때, 반사 영역은 예를 들어, 적외선 조명에 의해 발생하는 안경 렌즈의 반사 영역, 눈의 반사 영역, 및/또는 눈 부근의 반사 영역 등을 포함할 수 있다. 단계(210)에서 반사 영역이 존재하지 않는 것으로 결정된 경우, 추적 장치는 입력 영상으로부터 사용자의 눈의 좌표를 출력할 수 있다(220).

단계(210)에서 반사 영역이 존재하는 것으로 결정된 경우, 추적 장치는 입력 영상으로부터 반사 영역을 제거한다(230). 여기서, '반사 영역을 제거한다'는 것은 입력 영상 중 반사 영역을, 광원에 의한 반사가 발생하는 않은 영상과 같이 복원한다는 의미를 포함할 수 있다. 추적 장치는 예를 들어, 기계 학습 또는 미리 학습된 신경망을 이용하여 반사 영역을 제거할 수 있다. 추적 장치는 반사 영역이 제거된 영상을 포함하는 데이터베이스에 기초한 기계 학습 또는 신경망에 의해 학습된 파라미터를 이용하여 반사 영역을 포함하는 입력 영상을 처리함으로써 반사 영역을 제거할 수 있다. 기계 학습은 예를 들어, 아다부스트(adaptive boosting) 또는 SVM(Support Vector Machine) 방식에 의해 수행될 수 있으며, 반드시 이에 한정되는 것은 아니고, 이 밖의 다양한 학습 방법들이 적용될 수 있다. 또한, 신경망은 리커런트 신경망(Recurrent Neural Network) 또는 컨볼루션 신경망(Convolutional Neural Network) 등을 포함할 수 있으며, 반드시 이에 한정되는 것은 아니고, 이 밖의 다양한 신경망들이 적용될 수 있다.

또는 추적 장치는 예를 들어, 다양한 조명 보상 알고리즘에 기초한 영상 처리에 의해 입력 영상으로부터 반사 영역을 제거할 수 있다. 조명 보상 알고리즘은 예를 들어, 조명에 의한 반사가 발생하지 않는 코, 입, 동공 등의 형태는 그대로 보존(또는 유지)하고, 조명에 의한 반사가 발생한 영역, 다시 말해 반사 영역만을 제거할 수 있다.

조명 보상 알고리즘은 예를 들어, 입력 영상의 일부 영역에 대응하는 패치(patch)를 이용하여 반사 영역을 복원하는 TELEA 인페인팅 알고리즘(Inpainting algorithm), NS(Navier-Stroke) 기반의 인페인팅 알고리즘 등을 포함할 수 있다. 추적 장치가 반사 영역을 제거하는 방법은 도 3을 참조하여 구체적으로 설명한다.

추적 장치는 반사 영역이 제거된 영상으로부터 사용자의 눈의 좌표를 출력한다(240). 추적 장치는 영상(예를 들어, 반사 영역이 제거된 영상)으로부터 사용자의 눈에 대응한 특징점을 인식하는 복수의 분류기(classifier)를 포함할 수 있다. 분류기는 예를 들어, ASM(Active Shape Model) 방법, AAM(Active Appearance Model) 방법, 및 SDM(Supervised Descent Method) 방법 등을 사용하여 입력 영상의 얼굴 영역으로부터 사용자의 눈, 코에 해당하는 랜드마크들(특징점)들을 인식할 수 있다. 추적 장치는 눈에 대응한 특징점을 인식하는 복수의 분류기를 이용하여 반사 영역이 제거된 영상으로부터 사용자의 눈의 좌표를 출력할 수 있다.

또한, 추적 장치는 반사 영역이 제거된 영상을 이용하여 기계 학습을 위한 데이터베이스를 구성할 수 있다.

도 3은 일 실시예에 따라 반사 영역을 제거하는 방법을 나타낸 흐름도이다. 도 3을 참조하면, 일 실시예에 따른 추적 장치는 반사 영역이 존재하는 영역을 확장하여 마스크 영역을 결정할 수 있다(310). 추적 장치는 예를 들어, 반사 영역 전체를 소정 비율로 확장하거나, 또는 반사 영역을 좌우로 확장시킨 영역을 마스크 영역으로 결정할 수 있다. 마스크 영역은 예를 들어, 도 4의 430 및 440과 같이 결정될 수 있다.

추적 장치는 마스크 영역에 대하여 조명 보상 알고리즘에 기초한 영상 처리를 수행함으로써 반사 영역을 제거할 수 있다(320).

추적 장치는 영상 처리가 수행된 마스크 영역의 에지(edge) 부분을 스무딩(smoothing)할 수 있다(330). 추적 장치는 예를 들어, 히스토그램 평활화(histogram equalization) 알고리즘, 스프라인(spline) 스무딩 알고리즘 등을 이용하여 에지 부분에 대한 스무딩을 수행할 수 있다. 히스토그램 평활화는 콘트라스트 조정(contrast adjustment) 등에 의해 영상의 픽셀들 값을 균일하게 분산시켜 영상 전체의 가능한 영역을 모두 채움으로써 영상을 깨끗하고 뚜렷하게 만들 수 있다. 히스토그램 평활화에는 예를 들어, 균일 함수(Uniform function) 또는 가우시안 함수(Gaussian function)가 사용될 수 있다.

추적 장치는 마스크 영역의 에지 부분을 스무딩 함으로써 반사 영역과 인접한 영역들 간의 그래디언트(gradient) 차를 줄여 반사 영역에 대한 보다 자연스러운 표현이 가능하도록 할 수 있다.

도 4는 일 실시예에 따라 반사 영역을 제거하는 방법을 설명하기 위한 도면이다. 예를 들어, 도 4의 (a)에 도시된 것과 같은 입력 영상에서 주변 영역보다 급격하게 증가한 픽셀값 또는 미리 설정된 임계값보다 큰 픽셀 값을 가진 반사 영역(410, 420)이 존재한다고 하자. 이 경우, 추적 장치는 입력 영상에 조명에 의한 반사 영역이 존재하는 것으로 결정하여 아래와 같이 반사 영역 제거를 수행할 수 있다.

추적 장치는 도 4의 (b)에 도시된 것과 같이 반사 영역(410, 420)을 좌우로 확장시킨 마스크 영역(430, 440)을 결정할 수 있다. 추적 장치는 마스크 영역(430, 440)에 대하여 예를 들어, TELEA 인페인팅 알고리즘 또는 NS 인페인팅 알고리즘과 같은 다양한 조명 보상 알고리즘을 적용하여 영상 처리를 수행하여 반사 영역(410, 420)을 제거할 수 있다. 반사 영역(410, 420)이 제거된 영상은 도 4의 (c)과 같이 나타날 수 있다. 영상 처리 시에 추적 장치는 마스크 영역의 에지 부분 또는 반사 영역의 에지 부분을 스무딩하여 블러(blur) 시킴으로써 반사 영역을 제거할 수 있다.

도 5은 일 실시예에 따라 반사 영역을 제거하는 방법을 나타낸 흐름도이다. 도 5를 참조하면, 일 실시예에 따른 반사 영역을 제거하는 장치(이하, '제거 장치')는 입력 영상에서 조명에 의한 반사 영역이 존재하는지 여부를 결정한다(510). 단계(510)에서 반사 영역이 존재하지 않는 것으로 결정된 경우, 제거 장치는 동작을 종료할 수 있다.

단계(510)에서 반사 영역이 존재하는 것으로 결정된 경우, 제거 장치는 기계 학습에 의해 학습된 파라미터를 이용하여 반사 영역을 포함하는 입력 영상을 처리함으로써 반사 영역을 제거한다(520). 이때, 파라미터는 반사 영역이 제거된 영상을 포함하는 데이터베이스에 기초하여 학습된 것이다.

도 6은 일 실시예에 따라 반사 영역을 제거하는 방법을 나타낸 흐름도이다. 도 6을 참조하면, 일 실시예에 따른 제거 장치는 입력 영상에서 조명에 의한 반사 영역이 존재하는지 여부를 결정한다(610). 이때, 반사 영역은 적외선 조명에 의해 발생하는 안경 렌즈의 반사 영역, 눈의 반사 영역, 및/또는 눈 주변의 반사 영역을 포함한다. 단계(610)에서 반사 영역이 존재하지 않는 것으로 결정된 경우, 제거 장치는 동작을 종료할 수 있다.

단계(610)에서 반사 영역이 존재하는 것으로 결정된 경우, 제거 장치는 반사 영역을 확장하여 영상 복원을 위한 마스크 영역을 결정한다(620).

제거 장치는 마스크 영역에 대하여 조명 보상 알고리즘에 기초한 영상 처리를 수행함으로써 반사 영역을 제거한다(630).

또한, 제거 장치는 영상 처리가 수행된 마스크 영역의 에지 부분을 스무딩할 수 있다.

도 7은 일 실시예에 따른 사용자의 눈을 추적하는 장치의 블록도이다. 도 7을 참조하면, 일 실시예에 따른 추적 장치(700)는 촬영 장치(710), 및 프로세서(730)를 포함한다. 추적 장치(700)는 메모리(750)를 더 포함할 수 있다. 촬영 장치(710), 프로세서(730), 및 메모리(750)는 통신 버스(705)를 통해 서로 통신할 수 있다.

촬영 장치(710)는 입력 영상을 획득한다. 촬영 장치(710)는 적외선 조명에 의하여 입력 영상을 촬영하는 이미지 센서 또는 적외선 카메라일 수 있다.

프로세서(730)는 입력 영상에서 조명에 의한 반사 영역이 존재하는지 여부를 결정한다. 프로세서(730)는 입력 영상에서 픽셀 값이 미리 설정된 임계치보다 큰 값을 가지는 영역이 존재하는지 여부에 기초하여 반사 영역이 존재하는지 여부를 결정할 수 있다. 반사 영역이 존재하는 것으로 결정된 경우, 프로세서(730)는 입력 영상으로부터 반사 영역을 제거하며, 반사 영역이 제거된 영상으로부터 사용자의 눈의 좌표를 출력한다.

프로세서(730)는 조명 보상 알고리즘에 기초한 영상 처리에 의해 입력 영상으로부터 반사 영역을 제거할 수 있다. 프로세서(730)는 반사 영역을 확장하여 마스크 영역을 결정하고, 마스크 영역에 대하여 조명 보상 알고리즘에 기초한 영상 처리를 수행함으로써 반사 영역을 제거할 수 있다. 프로세서(730)는 영상 처리가 수행된 마스크 영역의 에지 부분을 스무딩할 수 있다.

메모리(750)는 반사 영역이 제거된 영상을 포함하는 데이터베이스에 기초한 기계 학습에 의해 학습된 파라미터를 저장할 수 있다. 프로세서(730)는 메모리(750)에 저장된 파라미터를 이용하여 반사 영역을 포함하는 입력 영상을 처리함으로써 반사 영역을 제거할 수 있다.

프로세서(730)는 이 밖에도, 도 1 내지 도 6을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 프로세서(730)는 프로그램을 실행하고, 추적 장치(700)를 제어할 수 있다. 프로세서(730)에 의하여 실행되는 프로그램 코드는 메모리(750)에 저장될 수 있다.

도 8은 다른 실시예에 따른 사용자의 눈을 추적하는 장치의 블록도이다. 도 8을 참조하면, 일 실시예에 따른 추적 장치(800)는 데이터베이스(810) 및 이미지 프로세서(830)를 포함할 수 있다. 추적 장치(800)는 예를 들어, 10 룩스(lux) 이하의 저조도에서 동작하며 입력 영상으로부터 사용자의 눈의 위치를 추적하여 눈의 좌표를 출력하는 저조도 눈추적기일 수 있다.

데이터베이스(810)는 전술한 반사 영역을 제거하는 방법에 의해 반사 영역이 제거된 영상을 포함할 수 있다. 또한, 데이터베이스(810)는 고조도 영상들을 저조도로 역변환한 영상들을 포함할 수 있다. 데이터베이스(810)는 저조도에서 촬영한 저조도 영상들을 이용하여 미리 모델링한 저조도 기준 영상의 영상 히스토그램 특성을 고조도 영상에 적용시킴으로써 생성된 역변환 영상들을 포함할 수 있다. 또한, 데이터베이스(810)는 저조도 기준 영상의 영상 히스토그램 특성에 더하여 저조도 기준 영상의 노이즈 성분을 고조도 영상에 적용시킴으로써 생성된 역변환한 영상들을 포함할 수 있다. 데이터베이스(810)는 저조도 데이터베이스일 수 있다. 데이터베이스(810)는 예를 들어, 메모리(도 7의 750 참조)에 저장될 수 있다.

이미지 프로세서(830)는 데이터베이스(810)에 기초한 기계 학습에 의해 미리 학습된 제1 파라미터를 이용하여 반사 영역을 포함하는 입력 영상을 처리함으로써 반사 영역을 제거할 수 있다. 또한, 이미지 프로세서(830)는 데이터베이스(810)에 기초한 기계 학습에 의해 미리 학습된 제2 파라미터를 이용하여 사용자의 저조도 영상을 처리하여 사용자의 눈의 좌표를 출력할 수 있다. 이미지 프로세서(830)에서 출력된 사용자의 눈의 좌표는 예를 들어, 무안경 3D 디스플레이의 입력으로 바로 사용될 수 있다. 이미지 프로세서(830)는 전술한 프로세서(730)의 동작을 포함하거나, 또는 전술한 프로세서(730)일 수 있다.

이미지 프로세서(830)는 이 밖에도, 도 1 내지 도 7을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 이미지 프로세서(830)는 프로그램을 실행하고, 추적 장치(800)를 제어할 수 있다. 추적 장치(800)에 의하여 실행되는 프로그램 코드는 메모리에 저장될 수 있다.

도 9는 다른 실시예에 따른 사용자의 눈을 추적하는 장치의 블록도이다. 도 9를 참조하면, 일 실시예에 따른 추적 장치(900)는 이미지 센서(910), 조도 센서(920), 프로세서(930), 저조도 눈추적기(940), 및 고조도 눈추적기(950)를 포함한다. 추적 장치(900)는 메모리(960)를 더 포함할 수 있다.

이미지 센서(910)는 입력 영상을 촬영한다.

조도 센서(920)는 입력 영상이 촬영된 시점의 조도를 측정한다.

프로세서(930)는 측정된 조도를 기초로 저조도 눈추적기(940) 및 고조도 눈추적기(950) 중 적어도 하나를 구동하여 입력 영상으로부터 추적한 사용자의 눈의 좌표를 출력하도록 제어한다.

프로세서(930)는 측정된 조도가 기준치보다 작거나 같은 경우, 저조도 눈추적기(940)를 구동하여 사용자의 영상으로부터 추적한 사용자의 눈의 좌표를 출력할 수 있다. 프로세서(930)는 예를 들어, 측정된 조도가 기준치인 10 룩스(lux)보다 작거나 같은 경우, 저조도로 판단하여 저조도 눈추적기(940)를 구동할 수 있다. 전술한 추적 장치(700) 또는 추적 장치(800)는 저조도 눈추적기(940)에 해당할 수 있다.

프로세서(930)는 측정된 조도가 기준치보다 큰 경우, 고조도 눈추적기(950)를 구동하여 사용자의 영상으로부터 추적한 사용자의 눈의 좌표를 출력할 수 있다. 프로세서(930)는 예를 들어, 측정된 조도가 기준치인 10 룩스(lux)보다 큰 경우, 고조도로 판단하여 고조도 눈추적기(950)를 구동할 수 있다.

프로세서(930)는 이 밖에도, 도 1 내지 도 8를 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 프로세서(930)는 프로그램을 실행하고, 추적 장치(900)를 제어할 수 있다. 프로세서(930)에 의하여 실행되는 프로그램 코드는 메모리(960)에 저장될 수 있다.

저조도 눈추적기(940)는 저조도에서 동작하며 입력 영상으로부터 사용자의 눈의 위치를 추적하여 눈의 좌표를 출력할 수 있다. 저조도 눈추적기(940)는 고조도 영상들을 저조도로 역변환한 영상들을 포함하는 저조도 데이터베이스에 기초한 기계 학습에 의해 학습될 수 있다. 이때, 저조도 데이터베이스는 저조도에서 촬영한 저조도 영상들을 이용하여 미리 모델링한 저조도 기준 영상의 영상 히스토그램 특성을 고조도 영상에 적용시킴으로써 생성된 역변환 영상들을 포함할 수 있다. 또한, 저조도 데이터베이스는 저조도 기준 영상의 영상 히스토그램 특성에 더하여 저조도 기준 영상의 노이즈 성분을 고조도 영상에 적용시킴으로써 생성된 역변환한 영상들을 포함할 수 있다.

고조도 눈추적기(950)는 고조도에서 동작하며 입력 영상으로부터 사용자의 눈의 위치를 추적하여 눈의 좌표를 출력할 수 있다. 고조도 눈추적기(950)는 고조도에서 촬영된 고조도 영상들을 포함하는 고조도 데이터베이스에 기초한 기계 학습에 의해 학습될 수 있다.

저조도 눈추적기(940) 및 고조도 눈추적기(950) 각각은 입력 영상으로부터 사용자의 눈에 대응한 특징점을 인식하는 복수의 분류기를 포함할 수 있다.

고조도 눈추적기(950)는 예를 들어, 사용자의 얼굴로부터 눈을 중심으로 눈과 코에 해당하는 특정점들을 인식하는 미리 학습된 분류기들에 의해 사용자의 눈을 추적하여 눈의 좌표를 출력할 수 있다. 이 때 고조도 눈추적기(950)를 통해 확보된 눈, 코에 해당하는 특징점들은 저조도로 역변환된 영상에도 그대로 이용되어 학습될 수 있다. 저조도 데이터베이스에 포함된 저조도로 역변환된 영상들은 고조도 데이터베이스에 기초한 기계 학습에 의해 학습된 특징점들을 동일하게 포함할 수 있다.

메모리(960)는 이미지 센서(910)가 촬영한 입력 영상 및/또는 저조도 눈추적기(940), 고조도 눈추적기(950)가 출력하는 사용자의 눈의 좌표를 저장할 수 있다. 실시예에 따라서, 메모리(960)는 저조도 데이터베이스 및 고조도 데이터베이스를 포함할 수도 있다.

또한, 메모리(960)는 상술한 프로세서(930)에서의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(960)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(960)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(960)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims

입력 영상에서 조명에 의한 반사 영역(reflection area)이 존재하는지 여부를 결정하는 단계;
상기 반사 영역이 존재하는 것으로 결정된 경우, 상기 입력 영상으로부터 상기 반사 영역을 제거하는 단계; 및
상기 반사 영역이 제거된 영상으로부터 사용자의 눈의 좌표를 출력하는 단계
를 포함하고,
상기 반사 영역을 제거하는 단계는
반사 영역을 제거하는 방법에 의해 반사 영역이 제거된 영상 및 고조도 영상들을 저조도로 역변환한 영상들을 포함하는 데이터베이스에 기초한 기계 학습에 의해 학습된 파라미터를 이용하여 상기 반사 영역을 포함하는 입력 영상을 처리함으로써 상기 반사 영역을 제거하는 단계;
를 포함하는,
사용자의 눈을 추적하는 방법.
삭제
제1항에 있어서,
상기 반사 영역을 제거하는 단계는
조명 보상 알고리즘에 기초한 영상 처리에 의해 상기 입력 영상으로부터 상기 반사 영역을 제거하는 단계
를 포함하는, 사용자의 눈을 추적하는 방법.
제3항에 있어서,
상기 조명 보상 알고리즘은
상기 입력 영상의 일부 영역에 대응하는 패치(patch)를 이용하여 상기 반사 영역을 복원하는 인페인팅 알고리즘(Inpainting algorithm)을 포함하는, 사용자의 눈을 추적하는 방법.
제3항에 있어서,
상기 반사 영역을 제거하는 단계는
상기 반사 영역을 확장하여 영상 복원을 위한 마스크 영역을 결정하는 단계; 및
상기 마스크 영역에 대하여 상기 조명 보상 알고리즘에 기초한 영상 처리를 수행함으로써 상기 반사 영역을 제거하는 단계
를 포함하는, 사용자의 눈을 추적하는 방법.
제5항에 있어서,
상기 영상 처리가 수행된 마스크 영역의 에지(edge) 부분을 스무딩(smoothing)하는 단계
를 더 포함하는, 사용자의 눈을 추적하는 방법.
제1항에 있어서,
상기 반사 영역이 존재하는지 여부를 결정하는 단계는
상기 입력 영상에서 픽셀 값이 미리 설정된 임계치보다 큰 값을 가지는 영역이 존재하는지에 기초하여 상기 반사 영역이 존재하는지 여부를 결정하는 단계
를 포함하는, 사용자의 눈을 추적하는 방법.
제1항에 있어서,
상기 반사 영역이 제거된 영상을 이용하여 기계 학습을 위한 데이터베이스를 구성하는 단계
를 더 포함하는, 사용자의 눈을 추적하는 방법.
제1항에 있어서,
상기 반사 영역은
적외선 조명에 의해 발생하는 안경 렌즈의 반사 영역, 눈의 반사 영역, 및 눈 부근의 반사 영역 중 어느 하나 또는 이들의 조합을 포함하는, 사용자의 눈을 추적하는 방법.
입력 영상에서 조명에 의한 반사 영역이 존재하는지 여부를 결정하는 단계; 및
상기 반사 영역이 존재하는 것으로 결정된 경우, 상기 반사 영역이 제거된 영상을 포함하는 데이터베이스에 기초한 기계 학습에 의해 학습된 파라미터를 이용하여 상기 반사 영역을 포함하는 입력 영상을 처리함으로써 상기 반사 영역을 제거하는 단계
를 포함하는, 반사 영역을 제거하는 방법.
입력 영상에서 조명에 의한 반사 영역- 상기 반사 영역은 상기 조명에 의해 발생하는 안경 렌즈의 반사 영역, 눈의 반사 영역, 및 눈 부근의 반사 영역 중 적어도 하나를 포함함- 이 존재하는지 여부를 결정하는 단계;
상기 반사 영역이 존재하는 것으로 결정된 경우, 상기 반사 영역을 확장하여 영상 복원을 위한 마스크 영역을 결정하는 단계; 및
상기 마스크 영역에 대하여 조명 보상 알고리즘에 기초한 영상 처리를 수행함으로써 상기 반사 영역을 제거하는 단계
를 포함하고,
상기 반사 영역을 제거하는 단계는
반사 영역을 제거하는 방법에 의해 반사 영역이 제거된 영상 및 고조도 영상들을 저조도로 역변환한 영상들을 포함하는 데이터베이스에 기초한 기계 학습에 의해 학습된 파라미터를 이용하여 상기 반사 영역을 포함하는 입력 영상을 처리함으로써 반사 영역을 제거하는 단계
를 포함하는,
반사 영역을 제거하는 방법.
제11항에 있어서,
상기 영상 처리가 수행된 마스크 영역의 에지 부분을 스무딩하는 단계
를 더 포함하는, 반사 영역을 제거하는 방법.
하드웨어와 결합되어 제1항 및 제3항 내지 제12항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
입력 영상을 획득하는 촬영 장치; 및
상기 입력 영상에서 조명에 의한 반사 영역이 존재하는지 여부를 결정하고, 상기 반사 영역이 존재하는 것으로 결정된 경우, 상기 입력 영상으로부터 상기 반사 영역을 제거하며, 상기 반사 영역이 제거된 영상으로부터 사용자의 눈의 좌표를 출력하는 프로세서
를 포함하고,
상기 프로세서는,
반사 영역을 제거하는 방법에 의해 반사 영역이 제거된 영상 및 고조도 영상들을 저조도로 역변환한 영상들을 포함하는 데이터베이스에 기초한 기계 학습에 의해 학습된 파라미터를 이용하여 상기 반사 영역을 포함하는 입력 영상을 처리함으로써 상기 반사 영역을 제거하는,
사용자의 눈을 추적하는 장치.
삭제
제14항에 있어서,
상기 프로세서는
조명 보상 알고리즘에 기초한 영상 처리에 의해 상기 입력 영상으로부터 상기 반사 영역을 제거하는, 사용자의 눈을 추적하는 장치.
제16항에 있어서,
상기 프로세서는
상기 반사 영역을 확장하여 영상 복원을 위한 마스크 영역을 결정하고, 상기 마스크 영역에 대하여 상기 조명 보상 알고리즘에 기초한 영상 처리를 수행함으로써 상기 반사 영역을 제거하는, 사용자의 눈을 추적하는 장치.
제17항에 있어서,
상기 프로세서는
상기 영상 처리가 수행된 마스크 영역의 에지 부분을 스무딩하는, 사용자의 눈을 추적하는 장치.
제14항에 있어서,
상기 프로세서는
상기 입력 영상에서 픽셀 값이 미리 설정된 임계치보다 큰 값을 가지는 영역이 존재하는지에 기초하여 상기 반사 영역이 존재하는지 여부를 결정하는, 사용자의 눈을 추적하는 장치.
제14항에 있어서,
상기 반사 영역은
적외선 조명에 의해 발생하는 안경 렌즈의 반사 영역, 눈의 반사 영역, 및 눈 부근의 반사 영역 중 어느 하나 또는 이들의 조합을 포함하는, 사용자의 눈을 추적하는 장치.