KR101643744B1 - 시선고정 눈 반응 감지장치 및 방법 - Google Patents

Abstract

본 발명은 시선고정 눈 반응 감지장치 및 방법에 관한 것으로, 더욱 상세하게는 눈 영상 정보를 이용하여 의미 있는 눈 반응을 감지하는 장치 및 방법에 관한 것이다.

Description

시선고정 눈 반응 감지장치 및 방법{DEVICE AND METHOD FOR DETECTING USER FIXATION PUPILLARY RESPONSE}

본 발명은 시선고정 눈 반응 감지장치 및 방법에 관한 것으로, 더욱 상세하게는 눈 영상 정보를 이용하여 의미 있는 눈 반응을 감지하는 장치 및 방법에 관한 것이다.

데이터 입력을 위한 컴퓨터 인터페이스 기술에는 마우스, 키보드, 조이스틱, 트랙 볼, 헤드 포인터, 데이터 글러브, 뉴럴 인터페이스, 시선 추적 등 사람의 물리적 행위나 생체 정보를 이용한 방법들이 있다. 특히 시선 추적 기술은, 사람이 응시하는 곳을 포인팅 하는 기술로써 직관적이고 사용이 쉬우며 손발이 불편한 중증장애인들에게도 적용이 가능하다.

본 발명의 배경기술은 대한민국 공개특허 제1999-0048338호(1999.07.05 공개, 졸음운전 경보 시스템의 눈 검출방법)에 개시되어 있다.

본 발명은 눈 영상을 이용하여 정확하게 의미 있는 눈 반응을 측정하여 선택 및 조작 이벤트 등의 장치 제어를 쉽고 빠르게 수행하는 시선고정 눈 반응 감지장치 및 방법을 제공한다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면 시선고정 눈 반응 감지장치가 제공된다.

본 발명의 일 실시 예에 따른 시선고정 눈 반응 감지장치는 연속된 눈 영상을 입력하는 눈영상 입력부, 눈 영상의 동공 영역을 검출하는 동공 검출부, 동공 영역의 면적을 측정하는 동공면적 측정부 및 동공 영역의 면적의 변화에 기초하여 눈 반응을 감지하는 눈반응 감지부를 포함하되, 눈 반응은 동공 영역의 면적이 미리 설정된 범위에 대해 변화가 있는 경우 감지될 수 있다.

본 발명의 다른 일 측면에 따르면 시선고정 눈 반응 감지방법 및 이를 실행하는 컴퓨터 프로그램이 제공된다.

본 발명의 일 실시 예에 따른 시선고정 눈 반응 감지방법 및 이를 실행하는 컴퓨터 프로그램은 연속된 눈 영상을 입력하는 단계, 눈 영상의 동공 영역을 검출하는 단계, 동공 영역의 면적을 측정하는 단계 및 동공 영역의 면적의 변화에 기초하여 눈 반응을 감지하는 단계를 포함하되, 눈 반응은 동공 영역의 면적이 미리 설정된 범위에 대해 변화가 있는 경우 감지될 수 있다.

본 발명은 눈 영상을 이용하여 실험을 통하여 획득한 일정 범위의 눈의 팽창과 수축을 의미 있는 눈 반응으로 선택하여 더욱 정확한 눈 반응을 감지할 수 있다.

본 발명은 비자발적 눈 깜박임이나 의미 없이 눈을 응시하는 구별하여 시선고정 눈 반응 감지의 오류를 방지할 수 있다.

본 발명은 눈 반응을 통하여 기능의 선택 및 조작 이벤트를 수행하여 직관적이고 사용이 쉬운 인터페이스 기술을 구현하여 손발이 불편한 중증 장애인에게 적용이 가능하다.

도 1은 본 발명의 일 실시 예에 따른 시선고정 눈 반응 감지 시스템을 설명하기 위한 도면.
도 2는 본 발명의 일 실시 예에 따른 시선고정 눈 반응 감지장치의 구성도.
도 3 내지 도 7은 본 발명의 일 실시 예에 따른 시선고정 눈 반응 감지방법을 설명하기 위한 도면들.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명하도록 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.

도 1은 본 발명의 일 실시 예에 따른 시선고정 눈 반응 감지 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명에 따른 시선고정 눈 반응 감지 시스템은 시선고정 눈 반응 감지장치(100) 및 눈 영상 입력 장치(200)를 포함한다.

시선고정 눈 반응 감지장치(100)는 입력된 눈 영상에서 동공 영역 및 반사광 영역을 검출한다. 시선고정 눈 반응 감지장치(100)는 검출한 동공 영역의 면적을 산출하고, 연속된 눈 영상의 동공 영역의 면적의 변화에 기초하여 눈의 반응 여부를 감지한다. 이에 대해서는 도 2에서 더욱 상세히 설명하기로 한다.

시선고정 눈 반응 감지장치(100)는 영상처리를 수행하는 프로세서, 영상데이터의 입출력을 담당하는 입출력 인터페이스 및 데이터 및 프로그램을 저장하는 메모리를 포함한다. 시선고정 눈 반응 감지장치(100)는 예를 들면, 서버 컴퓨터, 개인 컴퓨터, 노트북, 테블릿, 패드 및 스마트폰 등 프로세서, 입출력 인터페이스 및 메모리를 포함하는 전자기기일 수 있다.

눈 영상 입력 장치(200)는 눈 영상을 입력한다. 눈 영상 입력 장치(200)는 예를 들면, 근적외선 카메라(NIR Camera)일 수 있으며, 외부 광의 간섭 방지와 동공과 홍채의 뚜렷한 경계를 위해 참조조명으로 근적외선 엘이디(NIR LED)가 더 포함될 수 있다.

도 2는 본 발명의 일 실시 예에 따른 시선고정 눈 반응 감지장치의 구성도이다.

도 2를 참조하면, 시선고정 눈 반응 감지장치(100)는 눈영상 입력부(110), 동공 검출부(120), 동공면적 측정부(130), 시선 추적부(140), 시선고정 판단부(150) 및 눈반응감지부(160)를 포함한다.

눈영상 입력부(110)는 연속된 눈 영상이 입력된다. 여기서, 눈 영상은 사용자의 눈 영역을 포함한 영상을 의미한다.

동공 검출부(120)는 눈 영상 입력 장치(200)를 통하여 입력된 눈 영상의 동공 영역을 검출한다. 동공 검출부(120)는 눈 영상의 반사광 영역을 검출한다. 여기서, 동공 검출부(120)는 상대적으로 밝은 반사광 후보 영역들에 대해 관심 영역을 설정하고, 눈 영상에서 동공의 밝기 값이 제일 어둡다는 특징을 이용한 서브블록 매칭을 수행하여 동공 후보 영역을 검출한다.

동공면적 측정부(130)는 검출된 동공 영역의 면적을 측정한다. 동공면적 측정부(130)는 미리 설정한 기준 값을 기초로 하여 동공 영역을 이진화하여 동공 면적을 측정하거나 동공의 장축 및 단축을 기반으로 동공이 형상하는 타원의 넓이 및 둘레를 계산하여 동공의 면적을 측정할 수 있다.

시선 추적부(140)는 검출한 동공 영역 및 반사광 영역을 기초로 사용자의 시선을 산출한다. 시선 추적부(140)는 사용자 캘리브레이션(User-Calibration)을 통해 사용자가 응시하는 시선 위치를 계산할 수 있다.

시선고정 판단부(150)는 산출한 시선이 미리 설정한 기준 시간 이상 특정한 위치를 응시하는지 판단하여 시선 고정을 판단한다.

눈반응 감지부(160)는 판단 결과, 시선의 고정이 있는 경우, 동공 면적 변화 정도를 기반으로 눈 반응을 감지한다. 눈반응 감지부(160)는 동공이 일정 범위 이상 팽창되었다가 수축된 경우 눈 반응이 있었다고 감지한다.

도 3 내지 도 7은 본 발명의 일 실시 예에 따른 시선고정 눈 반응 감지방법을 설명하기 위한 도면들이다.

도 3을 참조하면, 단계 S310에서 시선고정 눈 반응 감지장치(100)는 N(N은 자연수)개의 연속된 눈 영상이 입력된다. 여기서, 눈 영상은 사용자의 눈 영역을 포함한 영상을 의미한다. 입력된 눈 영상은 각 단일 영상마다 사용자의 눈 상태 변화 (깜박임 등), 눈 위치 등이 달라질 수 있다. 시선고정 눈 반응 감지장치(100)는 외부광의 간섭 방지와 동공과 홍채의 뚜렷한 경계를 위해 참조조명으로 근적외선 엘이디(NIR LED)와 눈 영상 입력장치로 근적외선 카메라(NIR Camera)와 연결될 수 있다.

단계 S320에서 시선고정 눈 반응 감지장치(100)는 입력된 눈 영상에서 동공 영역 및 반사광 영역을 검출한다.

도 4를 참조하면, 시선고정 눈 반응 감지장치(100)는 눈 영상에서 동공 영역 및 반사광 영역을 검출하기 위하여 서브블록 매칭(Sub-block matching) 방법이 이용될 수 있다. 여기서, 서브블록 매칭 방법은 밝기 값이 주변보다 상대적으로 밝은 반사광 영역들에 대해 관심 영역을 설정하고, 눈 영상에서 동공의 밝기 값이 제일 어둡다는 특징을 이용한 서브블록 매칭을 수행하여 동공 영역을 정의한다. 여기서, 동공 영역은 매칭 스코어가 가장 큰 영역으로 정의한다. 매칭 스코어는 3×3 마스크(mask)의 중앙 4번 윈도우(window)(410)와 나머지 윈도우(window)와의 평균 밝기 값의 차이의 합으로 산출할 수 있다. 시선고정 눈 반응 감지장치(100)는 빠른 처리 속도를 위해 적분영상(integral image)를 활용할 수 있다,

단계 S330에서 시선고정 눈 반응 감지장치(100)는 검출한 동공 영역에서 동공 면적을 측정한다.

도 5를 참조하면, 시선고정 눈 반응 감지장치(100)는 510에서 반사광이 동공의 경계에 위치하거나 홍채 내부에 위치하는 경우, 520에서 상대적으로 밝은 반사광 후보 영역들은 주변 픽셀들의 평균값으로 조정한다. 이후, 시선고정 눈 반응 감지장치(100)는 530에서 미리 설정한 기준 값을 기초로 하여 동공 영역과 다른 영역을 구별하는 이진화(binarization)를 수행한다. 시선고정 눈 반응 감지장치(100)는 동공의 면적을 측정할 수 있는 일 실시 예로 이진화(binarization) 및 라벨링(labeling) 후 흑화소의 개수를 이용하여 동공의 면적을 측정할 수 있다. 이는 취득된 눈 영상의 품질이 높아 동공과 홍채의 경계가 뚜렷한 경우, 이용될 수 있다. 시선고정 눈 반응 감지장치(100)는 동공의 면적을 측정할 수 있는 다른 일 실시 예로 타원 근사법(ellipse fitting)을 이용하여 동공의 장축 및 단축을 기반으로 동공이 형상하는 타원의 넓이 및 둘레를 계산하여 동공의 면적을 측정할 수 있다(540 및 550). 이는 상술한 노이즈에 민감한 일 실시 예보다 정확하게 동공의 면적을 측정할 수 있다.

단계 S340에서 시선고정 눈 반응 감지장치(100)는 검출한 동공 영역 및 반사광 영역을 기초로 사용자의 시선을 산출한다.

시선고정 눈 반응 감지장치(100)는 검출한 동공 및 반사광 중심을 기반으로 사용자 캘리브레이션(User-Calibration)을 통해 사용자가 응시하는 시선 위치를 계산한다. 시선고정 눈 반응 감지장치(100)는 양 눈 영역이 포함되어 있는 경우 왼쪽 눈과 오른쪽 눈의 시선을 각각 계산하고 평균을 취해 시선 정보로 활용한다. 여기서, 동공 중심 위치는 반사광 중심 위치를 기준으로 보상되기 때문에 사용자의 머리 움직임을 보상할 수 있다. 사용자 캘리브레이션(Calibration)은 여러 방법에 따라 1~N개의 포인트를 응시하거나 2대 이상의 카메라 혹은 참조 조명을 이용하여 캘리브레이션 과정 없이 사용자의 시선을 계산할 수 있다.

단계 S350에서 시선고정 눈 반응 감지장치(100)는 시선의 고정(Fixation)을 판단한다.

여기서, 시선의 고정은 사용자가 미리 설정한 기준 시간(일반적으로 예를 들면, 200 ms) 이상 특정한 위치를 응시할 때 발생한다. 시선고정 눈 반응 감지장치(100)는 예를 들어, 초당 30 프레임을 취득할 수 있는 카메라의 경우, 1 프레임 당 약 33 ms의 시간이 소요되므로 200 / 33 ≒ 6 프레임 이상 시선이 특정한 위치에 머물러 있는 경우를 시선의 고정(fixation)으로 판단할 수 있다. 시선고정 눈 반응 감지장치(100)는 시선 추적 오차를 고려하여 시선 오차 범위 내의 시선 위치를 기반으로 시선의 고정(fixation)을 판단할 수 있다. 또한, 고정(fixation)을 판단하는 미리 설정한 기준 기간은 200 ms가 아닌 사용자 특성 및 요구에 맞춰 변경할 수 있다.

단계 S360에서 시선고정 눈 반응 감지장치(100)는 판단 결과, 시선의 고정이 있는 경우, 눈 반응을 감지한다.

시선고정 눈 반응 감지장치(100)는 판단 결과, 시선의 고정이 있는 경우, 동공 면적 변화 정도를 기반으로 눈 반응을 감지한다. 시선고정 눈 반응 감지장치(100)는 동공 면적 변화 정도에 대해 수식 1을 이용하여 계산할 수 있다.

수식 1

여기서

는 동공 면적,

는 현재 frame,

은 fixation 기준 frame 수,

는 동공 면적 변화 정도를 나타낸다.

시선고정 눈 반응 감지장치(100)는

가 양의 값으로써 면적이 클수록 동공이 팽창된 것으로 판단하며, 음의 값으로써 면적이 클수록 동공이 축소한 것으로 판단한다. 시선고정 눈 반응 감지장치(100)는

의 값이 미리 설정된 임계 값보다 큰 경우 동공 면적의 변화로써 눈이 반응하였다고 판단한다. 여기서, 눈이 반응하였다는 것은 사용자가 집중하거나 관심 있는 곳을 응시한 것을 의미한다.

도 6은 눈의 반응의 판단 시 적용하는 임계 값을 설정하기 위하여 사용자들의 동공면적의 변화를 측정한 그래프이다. 여기서, 610 내지 680 지점은 시간에 따라 눈이 의도적으로 반응을 보인 지점들로 동공이 팽창하고 수축하면서 약 5% 내지 약 20%의 동공의 면적이 감소하였다. 눈 반응 장치(100)는 눈의 반응에 대한 임계 값으로 예를 들면, 5% 내지 20% 중의 최소 변화인 5%를 설정할 수 있다.

도 7는 본 발명의 일 실시예로 손발을 쓰기 어려운 중증 장애인들을 위한 비 착용형 시선 추적 장치 기반 주변기기 제어 시스템을 나타낸다. 도 7을 참조하면, 시선고정 눈 반응 감지장치(100)는 이후, 눈이 반응되었다는 이벤트를 다른 응용 장치에 전달하여 응용장치를 제어할 수 있으며, 시선만을 이용하여 주변기기를 제어할 경우 사용자에게 직관적이며 성취감을 줄 수 있다.

본 발명에 따른 시선고정 눈 반응 감지방법은 주변기기의 선택이나 조작을 사용자가 집중하거나 관심 있는 곳을 응시할 때 발생하는 동공의 팽창 현상을 기반으로 수행함으로써 눈 깜박임이나 일정시간 응시에 따른 오류나 시각 피로도를 낮출 수 있다.

본 발명의 다양한 실시예에 따른 시선고정 눈 반응 감지방법은 다양한 서버 등의 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다. 또한, 본 발명에 따른 시선고정 눈 반응 감지 방법을 실행하는 프로그램은 컴퓨터 수단에 설치되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 다만, 전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 시선고정 눈 반응 감지장치
200: 눈 영상 입력 장치

Claims (16)

1. 시선고정 눈 반응 감지장치에 있어서,
   연속된 눈 영상을 입력하는 눈영상 입력부;
   상기 눈 영상의 동공 영역 및 반사광 영역을 검출하는 동공 검출부;
   상기 동공 영역 및 상기 반사광 영역을 기초로 사용자의 시선을 산출하는 시선 추적부;
   상기 산출한 시선이 미리 설정한 기준 시간 이상 특정한 위치를 응시하는지 판단하여 시선 고정을 판단하는 시선고정 판단부;
   상기 동공 영역의 면적을 측정하는 동공면적 측정부; 및
   상기 동공 영역의 면적이 커졌다가 작아지면서 5% 내지 20% 범위에서 상기 동공 영역의 면적이 감소하는 경우 눈 반응을 감지하는 눈반응 감지부를 포함하는 시선고정 눈 반응 감지장치.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제1항에 있어서,
   상기 눈 반응 감지장치는 외부광의 간섭 방지와 동공과 홍채의 뚜렷한 경계를 위해 참조조명으로 근적외선 엘이디(NIR LED) 및 근적외선 카메라(NIR Camera)와 연결되는 시선고정 눈 반응 감지장치.
   
7. 시선고정 눈 반응 감지방법에 있어서,
   연속된 눈 영상을 입력하는 단계;
   상기 눈 영상의 동공 영역 및 반사광 영역을 검출하는 단계;
   상기 검출한 동공 영역 및 반사광 영역 중심을 기반으로 사용자 캘리브레이션(User-Calibration)을 통해 사용자가 응시하는 시선 위치를 계산하여 사용자의 시선을 산출하는 단계;
   상기 산출한 시선이 미리 설정한 기준 시간 이상 특정한 위치를 응시하는지 판단하여 시선 고정을 판단하는 단계;
   상기 동공 영역의 면적을 측정하는 단계; 및
   상기 동공 영역의 면적이 커졌다가 작아지면서 5% 내지 20% 범위에서 상기 동공 영역의 면적이 감소하는 경우 눈 반응을 감지하는 단계를 포함하는 시선고정 눈 반응 감지방법.
   
8. 제7 항에 있어서,
   상기 동공 영역을 검출하는 단계는
   상기 눈 영상에서 동공의 밝기 값이 제일 어둡다는 특징을 이용한 서브블록 매칭법을 통하여 상기 동공 영역을 검출하는 시선고정 눈 반응 감지방법.
   
9. 제7 항에 있어서,
   상기 동공 영역의 면적을 측정하는 단계는
   미리 설정한 기준 값을 기초로 하여 동공 영역과 다른 영역을 구별하는 이진화(binarization)를 수행하고 라벨링(labeling) 후 흑화소의 개수를 이용하여 동공의 면적을 측정하는 시선고정 눈 반응 감지방법.
   
10. 제7 항에 있어서,
    상기 동공 영역의 면적을 측정하는 단계는
    타원 근사법(ellipse fitting)을 이용하여 동공의 장축 및 단축을 기반으로 동공이 형상하는 타원의 넓이 및 둘레를 계산하여 동공의 면적을 측정하는 시선고정 눈 반응 감지방법.
    
11. 제7 항에 있어서,
    상기 동공 영역을 검출하는 단계는
    상기 눈 영상의 반사광 영역을 검출하는 단계를 더 포함하되,
    상기 반사광 영역은 밝기 값이 주변보다 밝다는 특징을 이용한 서브블록 매칭법을 통하여 상기 반사광 영역을 검출하는 시선고정 눈 반응 감지방법.
    
    
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 제7항 내지 제11항 중 어느 한 항의 시선고정 눈 반응 감지방법을 실행하기 위하여 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.

Images