KR20150032019A - 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치 - Google Patents
시선 추적 기반의 사용자 인터페이스 방법 및 그 장치 Download PDFInfo
- Publication number
- KR20150032019A KR20150032019A KR20130111985A KR20130111985A KR20150032019A KR 20150032019 A KR20150032019 A KR 20150032019A KR 20130111985 A KR20130111985 A KR 20130111985A KR 20130111985 A KR20130111985 A KR 20130111985A KR 20150032019 A KR20150032019 A KR 20150032019A
- Authority
- KR
- South Korea
- Prior art keywords
- user interface
- eye
- pupil
- center position
- reference positions
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
본 발명의 시선 추적 기반의 사용자 인터페이스 방법은, 카메라를 통해 촬영된 영상 정보로부터 획득한 동공의 중심 위치와 단말의 표시 패널 내 UI의 중심 위치를 매칭시키는 과정과, 상기 동공의 중심 위치와 상기 UI의 중심 위치 간의 매칭이 기 설정된 일정시간 이상 유지될 때 사용자 인터페이스를 위한 터치로 인식하는 과정을 포함할 수 있다.
Description
본 발명은 단말의 사용자 인터페이스를 제공하는 기법에 관한 것으로, 더욱 상세하게는 시선 추적에 기반하여 단말의 사용자 인터페이스를 비접촉 방식으로 제공하는데 적합한 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치에 관한 것이다.
최근 들어, 디지털 기술의 획기적인 발전에 따라 영상 정보를 분석하여 특정 영역 또는 특정 부분으로 분류하는 기술이 개발되고 있는데, 이러한 분석 기술 중의 하나로서, 얼굴 인식 기술과 시선 추적 및 인식 기술이 보안 기술을 수행하는 장치 등으로의 접목을 위해 다양한 방식으로 다각도로 연구 및 개발되고 있다.
여기에서, 종래의 시선 추적 시스템에서는 화면상의 위치와 시선의 위치를 매칭시키기 위해 시선 추적용 안경을 착용하거나 혹은 스테레오 카메라 장치 및 적외선 조명등을 이용해 시선의 위치를 추적하는 등의 방법을 사용하고 있다.
그러나, 종래의 시선 추적 시스템은 시선 추적용 안경이나 스테레오 카메라 장치 혹은 적외선 조명등 등과 같은 특별한 장치를 필요로 하기 때문에 그 활용(적용)에 한계를 갖는다는 문제, 즉 휴대폰, 스마트폰, 스마트 패드, 노트북 등과 같은 휴대 단말로의 적용이 어렵다는 문제가 있다.
본 발명은, 하나의 카메라를 이용해서 복잡한 시선 움직임이 아닌 상하좌우 움직임만을 검출해서 이를 휴대 단말의 사용자 인터페이스(UI)에 적용할 수 있는 새로운 비접촉식의 사용자 인터페이스 기법을 제안한다.
본 발명이 해결하고자 하는 과제는 상기에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에 의해 명확하게 이해될 수 있을 것이다.
본 발명은, 일 관점에 따라, 카메라를 통해 촬영된 영상 정보로부터 획득한 동공의 중심 위치와 단말의 표시 패널 내 UI의 중심 위치를 매칭시키는 과정과, 상기 동공의 중심 위치와 상기 UI의 중심 위치 간의 매칭이 기 설정된 일정시간 이상 유지될 때 사용자 인터페이스를 위한 터치로 인식하는 과정을 포함하는 시선 추적 기반의 사용자 인터페이스 방법을 제공한다.
본 발명은, 다른 관점에 따라, 카메라를 통해 촬영된 영상 정보로부터 눈 영역을 검출하는 과정과, 검출된 상기 눈 영역으로부터 동공의 중심 위치를 검출하는 과정과, 상기 눈 영역 내 눈의 좌우상하 기준 위치를 검출하는 과정과, 상기 좌우상하 기준 위치와 단말의 표시 패널 내 UI의 중심 위치를 매칭시키는 과정과, 상기 좌우상하 기준 위치와 상기 UI의 중심 위치가 매칭된 상태에서 상기 동공의 중심 위치가 기 설정된 소정시간 이상 유지될 때 사용자 인터페이스를 위한 터치로 인식하는 과정을 포함하는 시선 추적 기반의 사용자 인터페이스 방법을 제공한다.
본 발명의 상기 눈 영역을 검출하는 과정은, 상기 영상 정보로부터 얼굴 영역을 검출하는 과정과, 검출된 상기 얼굴 영역으로부터 상기 눈 영역을 검출하는 과정을 포함할 수 있다.
본 발명의 상기 눈의 좌우 기준 위치는, 좌우 눈꼬리 위치일 수 있다.
본 발명의 상기 눈의 상하 기준 위치는, 상기 좌우 기준 위치의 중심에서 수직선을 그어 양쪽 눈 커플과 만나는 점일 수 있다.
본 발명의 상기 방법은, 상기 상하 기준 위치의 주변에 눈 커플간의 상하 거리가 상대적으로 큰 점이 존재할 경우, 새로운 좌우 기준 위치를 검출하는 과정과, 검출된 상기 새로운 좌우 기준 위치에 의거하여 상기 상하 기준 위치를 조정하는 과정을 더 포함할 수 있다.
본 발명의 상기 방법은, 상기 터치로 인식될 때, 상기 UI의 표출 형태를 활성화 상태로 전환 표시하는 과정을 더 포함할 수 있다.
본 발명의 상기 터치는, 상기 단말의 잠금 해제를 위한 사용자 인터페이스이거나 혹은 상기 단말의 메뉴 활성화 또는 메뉴 선택을 위한 사용자 인터페이스일 수 있다.
본 발명의 상기 UI는, 패턴, 아이콘, 버튼, 메뉴 중 어느 하나일 수 있다.
본 발명은, 또 다른 관점에 따라, 카메라를 통해 촬영된 영상 정보로부터 눈 위치를 추출하여 눈 영역을 검출하는 눈 검출 블록과, 검출된 상기 눈 영역으로부터 동공의 중심 위치를 검출하는 동공 검출 블록과, 상기 눈 영역 내 눈의 좌우상하 기준 위치를 검출하는 위치 검출 블록과, 검출된 상기 좌우상하 기준 위치와 단말의 표시 패널 내 UI의 중심 위치를 매칭시키는 위치 매칭 블록과, 상기 좌우상하 기준 위치와 상기 UI의 중심 위치가 매칭된 상태에서 상기 동공의 중심 위치가 움직이는 지의 여부를 검출하는 움직임 검출 블록과, 상기 동공의 중심 위치가 기 설정된 소정시간 이상 움직이지 않는 것으로 통지될 때, 사용자 인터페이스를 위한 터치로 인식하는 터치 인식 블록을 포함하는 시선 추적 기반의 사용자 인터페이스 장치를 제공한다.
본 발명의 상기 위치 검출 블록은, 좌우 눈꼬리 위치를 상기 눈의 좌우 기준 위치로 검출할 수 있다.
본 발명의 상기 위치 검출 블록은, 상기 좌우 기준 위치의 중심에서 수직선을 그어 양쪽 눈 커플과 만나는 점을 상기 눈의 상하 기준 위치로 검출할 수 있다.
본 발명의 상기 위치 검출 블록은, 상기 상하 기준 위치의 주변에 눈 커플간의 상하 거리가 상대적으로 큰 점이 존재할 경우 새로운 좌우 기준 위치를 검출하고, 검출된 상기 새로운 좌우 기준 위치에 의거하여 상기 상하 기준 위치를 조정할 수 있다.
본 발명의 상기 장치는, 상기 터치로 인식될 때, 상기 UI의 표출 형태를 활성화 상태로 전환 표시하는 표시 전환 블록을 더 포함할 수 있다.
본 발명은, 영상 정보로부터 획득한 동공의 중심 위치와 단말의 표시 패널 내 UI의 중심 위치를 매칭시켜 기 설정된 일정시간 이상 유지될 때 UI의 중심 위치에 대한 터치로 인식하도록 함으로써, 하나의 카메라만이 구비된 휴대 단말에서 비접촉식의 사용자 인터페이스를 실현할 수 있으며, 이를 휴대 단말의 잠금 해제 기능에 적용함으로써 보안성을 개선할 수 있다.
또한, 본 발명은 손을 이용하는 접촉식의 터치가 아닌 눈의 동공을 이용하는 비접촉식의 사용자 인터페이스를 제공하기 때문에 손의 활용이 어려운 장애인 등으로의 적용 확장성을 제공할 수 있다.
더욱이, 본 발명은, 손을 이용하는 접촉식의 터치가 아닌 눈의 동공을 이용하는 비접촉식의 사용자 인터페이스를 제공하기 때문에, 휴대 단말의 잠근 해제 기능에 적용할 경우 터치 패널에 지문 패턴이 잔존하지 않게 되므로, 보안성 측면에서 볼 때 터치 패널의 잔존 지문 패턴에 기인하는 잠근 해제 패턴의 불법적인 도용(또는 노출)을 효과적으로 차단할 수 있다.
도 1은 본 발명의 실시 예에 따른 시선 추적 기반의 사용자 인터페이스 장치의 블록구성도이다.
도 2는 본 발명의 실시 예에 따라 눈의 상하좌우 기준 위치와 UI의 중심 위치 간의 매칭을 통해 비접촉식의 사용자 인터페이스를 실현하는 주요 과정을 도시한 순서도이다.
도 3은 본 발명에 따라 눈의 동공 중심 위치를 검출한 예시를 보여주는 사진이다.
도 4는 본 발명에 따라 눈의 상하좌우 기준 위치를 검출한 예시를 보여주는 사진이다.
도 5는 본 발명에 따라 동공의 중심 위치가 소정시간 동안 유지되어 사용자 인터페이스의 터치로 인식될 때 UI의 표출 형태를 활성화 상태로 전환 표시하는 화면 잠금 패턴의 예시도이다.
도 6은 본 발명에 따른 시선 추적 기반의 사용자 인터페이스 기법을 휴대 단말의 화면 잠금 패턴에 적용하여 화면 잠금 해제를 실행하는 패턴 터치의 일례를 보여주는 예시도이다.
도 2는 본 발명의 실시 예에 따라 눈의 상하좌우 기준 위치와 UI의 중심 위치 간의 매칭을 통해 비접촉식의 사용자 인터페이스를 실현하는 주요 과정을 도시한 순서도이다.
도 3은 본 발명에 따라 눈의 동공 중심 위치를 검출한 예시를 보여주는 사진이다.
도 4는 본 발명에 따라 눈의 상하좌우 기준 위치를 검출한 예시를 보여주는 사진이다.
도 5는 본 발명에 따라 동공의 중심 위치가 소정시간 동안 유지되어 사용자 인터페이스의 터치로 인식될 때 UI의 표출 형태를 활성화 상태로 전환 표시하는 화면 잠금 패턴의 예시도이다.
도 6은 본 발명에 따른 시선 추적 기반의 사용자 인터페이스 기법을 휴대 단말의 화면 잠금 패턴에 적용하여 화면 잠금 해제를 실행하는 패턴 터치의 일례를 보여주는 예시도이다.
먼저, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예들을 참조하면 명확해질 것이다. 여기에서, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 발명의 범주를 명확하게 이해할 수 있도록 하기 위해 예시적으로 제공되는 것이므로, 본 발명의 기술적 범위는 청구항들에 의해 정의되어야 할 것이다.
아울러, 아래의 본 발명을 설명함에 있어서 공지 기능 또는 구성 등에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들인 것으로, 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있음은 물론이다. 그러므로, 그 정의는 본 명세서의 전반에 걸쳐 기술되는 기술사상을 토대로 이루어져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.
먼저, 본 발명의 실시 예를 설명함에 있어서 혼돈의 여지가 없도록 각 용어들을 다음과 같이 정의한다.
[실시 예]
도 1은 본 발명의 실시 예에 따른 시선 추적 기반의 사용자 인터페이스 장치의 블록구성도로서, 눈 검출 블록(102), 동공 검출 블록(104), 위치 검출 블록(106), 위치 매칭 블록(108), 움직임 검출 블록(110), 터치 인식 블록(112), 표시 전환 블록(114) 및 위치 조정 블록(116) 등을 포함할 수 있다.
도 1을 참조하면, 눈 검출 블록(102)은 휴대 단말의 카메라(도시 생략)를 통해 촬영된 영상 정보로부터 눈 위치를 추출하여 눈 영역을 검출하는 기능을 제공할 수 있는 것으로, 영상 정보로부터 사용자의 얼굴 영상을 먼저 검출한 후 눈(또는 눈 영역)을 검출하거나 혹은 눈 위치 검출기를 단독 사용하여 눈을 검출할 수 있는데, 여기에서 검출되는 눈 영역은 동공 검출 블록(104)으로 전달된다.
다음에, 동공 검출 블록(104)은, 이 기술분야에 잘 알려진 통상의 영상 처리 알고리즘을 적용함으로써, 일례로서 도 3에 도시된 바와 같이, 검출된 눈 영역으로부터 동공 부분을 검출한 후 동공의 중심 위치를 검출하는 등의 기능을 제공할 수 있다.
그리고, 위치 검출 블록(106)은 검출된 눈 영역 내 눈의 좌우상하 기준 위치를 검출하는 등의 기능을 제공할 수 있다. 이때, 눈의 좌우 기준 위치는, 일례로서 도 4에 도시된 바와 같이, 좌우 눈꼬리 위치가 될 수 있고, 왼쪽 및 오른쪽의 기준 위치는 눈꼬리 모양의 각 끝점이 되며, 이 두 기준 위치(좌우 기준 위치)를 연결한 선은 직선이거나 혹은 사선일 수 있다. 또한, 눈의 상하 기준 위치는 좌우 기준 위치의 중심에서 수직선을 그어 양쪽 눈 커플과 만나는 점이 될 수 있는데, 이때 찾아진 상하 기준 위치는 통상 눈 커플 간의 상하 거리가 가장 큰 점이 된다.
또한, 위치 검출 블록(106)은 상하 기준 위치를 검출한 후 검출된 상하 기준 위치의 주변에 눈 커플간의 상하 거리가 상대적으로 큰 점(위치)이 존재하는 지의 여부를 체크하고, 상하 거리가 상대적으로 큰 점이 존재할 경우 좌우 기준 위치가 잘못 찾아진 것으로 간주하여 새로운 좌우 기준 위치를 검출한 후 검출된 새로운 좌우 기준 위치에 의거하여 상하 기준 위치를 조정하는 등의 기능을 제공할 수 있다.
여기에서, 기준 위치의 검출은 사용자가 시선 위치를 변화 시킬 때, 의도하지 않게 머리가 흔들려 머리의 움직임이 시선의 움직임에 포함되는 경우가 발생할 수 있는데, 이때 기준위치를 이용하면 시선의 움직임만을 포착하는 것이 가능하다. 즉, 머리의 움직임이 발생할 경우 기준 위치도 상대적으로 이동시키고, 이 이동된 기준 위치에 기반하여 시선의 움직임을 계산함으로써, 머리의 움직임을 배제하고 시선 움직임만을 계산할 수 있다.
다음에, 위치 매칭 블록(108)은 검출된 눈의 좌우상하 기준 위치와 휴대 단말의 표시 패널(도시 생략) 내 UI(예컨대, 비접촉 방식으로 터치하고자 하는 패턴, 아이콘, 메뉴 등)의 중심 위치를 매칭시키는 등의 기능을 제공할 수 있다.
또한, 움직임 검출 블록(110)은 눈의 좌우상하 기준 위치와 UI의 중심 위치가 매칭된 상태에서 동공의 중심 위치가 움직이는 지의 여부를 검출하는 등의 기능을 제공할 수 있는데, 여기에서 검출되는 동공의 움직임 감지신호 또는 정지 신호는 터치 인식 블록(112)으로 전달된다.
다시, 터치 인식 블록(112)은, 움직임 검출 블록(110)으로부터 제공되는 동공의 움직임 감지신호 또는 정지 신호에 의거하여, 눈의 좌우상하 기준 위치와 UI의 중심 위치가 매칭된 상태에서 동공의 중심 위치가 기 설정된 소정시간(예컨대, 2초, 3초 등) 이상 유지되는 지 혹은 기 설정된 소정시간 이내에 움직이는 지의 여부를 체크하고, 동공의 중심 위치가 기 설정된 소정시간(예컨대, 2초, 3초 등) 이상 움직이지 않고 유지되는 것으로 판단될 때 사용자 인터페이스를 위한 터치로 인식하는 등의 기능을 제공할 수 있다.
여기에서, 인식되는 터치는, 예컨대 휴대 단말의 잠금 해제를 위한 사용자 인터페이스이거나, 휴대 단말의 메뉴 활성화 또는 메뉴 선택을 위한 사용자 인터페이스일 수 있는데, 이러한 터치 인식신호는 표시 전환 블록(114)으로 전달된다.
마지막으로, 표시 전환 블록(114)은 터치 인식 블록(112)으로부터 터치 인식신호가 제공될 때 해당 UI(예컨대, 패턴, 아이콘, 버튼, 메뉴 등)의 표출 형태를 활성화 상태로 전환 표시하기 위한 표시 절환신호를 발생하여 도시 생략된 표시 패널 측으로 전달하는 등의 기능을 제공할 수 있다.
일례로서, 도 5에 도시된 바와 같이, UI가 화면 잠금 해제를 위한 패턴에 적용된 경우이고, n5 패턴이 눈의 동공에 의한 터치로 인식된 경우라고 가정할 때, n5 패턴은 한 줄 원모양(예컨대, 터치 비활성화 상태)에서 두 줄 원모양(터치 활성화 상태)으로 전환 표시될 수 있다. 즉, 도 5는 본 발명에 따라 동공의 중심 위치가 소정시간 동안 유지되어 사용자 인터페이스의 터치로 인식될 때 UI의 표출 형태를 활성화 상태(두 줄 원모양)로 전환 표시하는 화면 잠금 패턴의 예시도이다.
다음에, 상술한 바와 같은 구성을 갖는 본 발명의 사용자 인터페이스 장치를 이용하여 눈의 상하좌우 기준 위치와 UI의 중심 위치 간의 매칭을 통해 비접촉식의 사용자 인터페이스를 제공하는 일련의 과정들에 대하여 상세하게 설명한다.
도 2는 본 발명의 실시 예에 따라 눈의 상하좌우 기준 위치와 UI의 중심 위치 간의 매칭을 통해 비접촉식의 사용자 인터페이스를 실현하는 주요 과정을 도시한 순서도이다.
도 2를 참조하면, 눈 검출 블록(102)에서는 휴대 단말의 카메라로부터 입력되는 영상 정보로부터 눈 위치를 추출하여 눈 영역을 검출하는데(단계 202), 영상 정보로부터 사용자의 얼굴 영상을 먼저 검출한 후 눈(또는 눈 영역)을 검출하거나 혹은 눈 위치 검출기를 단독 사용하여 눈을 검출할 수 있다.
다음에, 동공 검출 블록(104)에서는 검출된 눈 영역으로부터 동공 부분을 검출하고, 다시 동공의 중심 위치를 검출한다(단계 204).
이어서, 위치 검출 블록(106)에서는 검출된 눈 영역 내 눈의 좌우상하 기준 위치를 검출하는 데(단계 206), 이때 눈의 좌우 기준 위치는 좌우 눈꼬리 위치가 될 수 있고, 왼쪽 및 오른쪽의 기준 위치는 눈꼬리 모양의 각 끝점이 될 수 있으며, 이 두 기준 위치(좌우 기준 위치)를 연결한 선은 직선이거나 혹은 사선일 수 있다. 그리고, 눈의 상하 기준 위치는 좌우 기준 위치의 중심에서 수직선을 그어 양쪽 눈 커플과 만나는 점이 될 수 있는데, 이때 찾아진 상하 기준 위치는 통상 눈 커플 간의 상하 거리가 가장 큰 점이 된다.
이때, 검출된 상하 기준 위치의 주변에 눈 커플간의 상하 거리가 상대적으로 큰 점(위치)이 존재할 수 있는데, 이 경우 위치 검출 블록(106)에서는 좌우 기준 위치가 잘못 찾아진 것으로 간주하여 새로운 좌우 기준 위치를 검출한 후 검출된 새로운 좌우 기준 위치에 의거하여 상하 기준 위치를 조정할 수 있다.
다시, 위치 매칭 블록(108)에서는 검출된 눈의 좌우상하 기준 위치와 휴대 단말의 표시 패널 내 UI(예컨대, 패턴, 아이콘, 버튼, 메뉴 등)의 중심 위치를 매칭시키며(단계 208), 움직임 검출 블록(110)에서는 눈의 좌우상하 기준 위치와 UI의 중심 위치가 매칭된 상태에서 기 설정된 소정시간 이내에 동공의 중심 위치가 움직이는 지의 여부를 체크한다(단계 210, 212). 즉, 눈의 좌우상하 기준 위치와 휴대 단말의 표시 패널 내 UI의 중심 위치를 매칭시킨 이후의 경과시간 t가 기 설정된 소정시간 n(예컨대, 2초, 3초 등)을 도달하기 이전에 동공의 중심 위치가 움직이는 지의 여부를 체크한다.
상기 단계(212)에서의 체크 결과, 경과시간 t가 기 설정된 소정시간 n에 도달할 때까지 동공의 움직임이 없는 것으로 판단되면, 터치 인식 블록(112)에서는 사용자 인터페이스를 위한 터치로 인식하며(단계 214), 그에 따른 터치 인식신호를 발생한다. 여기에서, 인식되는 터치는, 예컨대 휴대 단말의 잠금 해제를 위한 사용자 인터페이스이거나, 휴대 단말의 메뉴 활성화 또는 메뉴 선택을 위한 사용자 인터페이스일 수 있다.
이에 응답하여, 표시 전환 블록(114)에서는 해당 UI(예컨대, 패턴, 아이콘, 버튼, 메뉴 등)의 표출 형태를 활성화 상태로 전환 표시하기 위한 표시 절환신호를 발생하여 도시 생략된 표시 패널 측으로 전달하며, 그 결과 표시 패널에서의 UI의 표출 형태가 활성화 상태로 전환 표시된다(단계 216).
도 6은 본 발명에 따른 시선 추적 기반의 사용자 인터페이스 기법을 휴대 단말의 화면 잠금 패턴에 적용하여 화면 잠금 해제를 실행하는 패턴 터치의 일례를 보여주는 예시도이다.
도 6을 참조하면, UI가 n1 - n9의 패턴을 갖는 화면 잠금 해제 기능에 적용되고, 각 패턴을 터치로 인식하는 기준 시간을 2초로 설정한 경우이며, 잠금 해제 패턴이 n5 - n1 - n4 - n7 - n8 - n6으로 설정된 경우라고 가정할 때, 휴대 단말의 사용자는 n5를 2초 동안 보고, 동공을 움직여 n1을 2초 동안 보며, 동공을 움직여 n4를 2초 동안 보고, 동공을 움직여 n7을 2초 동안 보며, 동공을 움직여 n8을 2초 동안 보고, 동공을 움직여 n6을 2초 동안 보는 순차적인 시선 트래킹을 통해 화면 잠금 해제를 위한 비접촉식의 사용자 인터페이스를 수행할 수 있을 것이다.
한편, 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리 등에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 적어도 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 등이 가능함을 쉽게 알 수 있을 것이다. 즉, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것으로서, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
따라서, 본 발명의 보호 범위는 후술되는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
102 : 눈 검출 블록 104 : 동공 검출 블록
106 : 위치 검출 블록 108 : 위치 매칭 블록
110 : 움직임 검출 블록 112 : 터치 인식 블록
114 : 표시 전환 블록
106 : 위치 검출 블록 108 : 위치 매칭 블록
110 : 움직임 검출 블록 112 : 터치 인식 블록
114 : 표시 전환 블록
Claims (19)
- 카메라를 통해 촬영된 영상 정보로부터 획득한 동공의 중심 위치와 단말의 표시 패널 내 UI의 중심 위치를 매칭시키는 과정과,
상기 동공의 중심 위치와 상기 UI의 중심 위치 간의 매칭이 기 설정된 일정시간 이상 유지될 때 사용자 인터페이스를 위한 터치로 인식하는 과정
을 포함하는 시선 추적 기반의 사용자 인터페이스 방법.
- 제 1 항에 있어서,
상기 터치는,
상기 단말의 잠금 해제를 위한 사용자 인터페이스인
시선 추적 기반의 사용자 인터페이스 방법.
- 제 1 항에 있어서,
상기 터치는,
상기 단말의 메뉴 활성화 또는 메뉴 선택을 위한 사용자 인터페이스인
시선 추적 기반의 사용자 인터페이스 방법.
- 카메라를 통해 촬영된 영상 정보로부터 눈 영역을 검출하는 과정과,
검출된 상기 눈 영역으로부터 동공의 중심 위치를 검출하는 과정과,
상기 눈 영역 내 눈의 좌우상하 기준 위치를 검출하는 과정과,
상기 좌우상하 기준 위치와 단말의 표시 패널 내 UI의 중심 위치를 매칭시키는 과정과,
상기 좌우상하 기준 위치와 상기 UI의 중심 위치가 매칭된 상태에서 상기 동공의 중심 위치가 기 설정된 소정시간 이상 유지될 때 사용자 인터페이스를 위한 터치로 인식하는 과정
을 포함하는 시선 추적 기반의 사용자 인터페이스 방법.
- 제 4 항에 있어서,
상기 눈 영역을 검출하는 과정은,
상기 영상 정보로부터 얼굴 영역을 검출하는 과정과,
검출된 상기 얼굴 영역으로부터 상기 눈 영역을 검출하는 과정
을 포함하는 시선 추적 기반의 사용자 인터페이스 방법.
- 제 4 항에 있어서,
상기 눈의 좌우 기준 위치는,
좌우 눈꼬리 위치인
시선 추적 기반의 사용자 인터페이스 방법.
- 제 6 항에 있어서,
상기 눈의 상하 기준 위치는,
상기 좌우 기준 위치의 중심에서 수직선을 그어 양쪽 눈 커플과 만나는 점인
시선 추적 기반의 사용자 인터페이스 방법.
- 제 7 항에 있어서,
상기 방법은,
상기 상하 기준 위치의 주변에 눈 커플간의 상하 거리가 상대적으로 큰 점이 존재할 경우, 새로운 좌우 기준 위치를 검출하는 과정과,
검출된 상기 새로운 좌우 기준 위치에 의거하여 상기 상하 기준 위치를 조정하는 과정
을 더 포함하는 시선 추적 기반의 사용자 인터페이스 방법.
- 제 4 항에 있어서,
상기 방법은,
상기 터치로 인식될 때, 상기 UI의 표출 형태를 활성화 상태로 전환 표시하는 과정
을 더 포함하는 시선 추적 기반의 사용자 인터페이스 방법.
- 제 4 항에 있어서,
상기 터치는,
상기 단말의 잠금 해제를 위한 사용자 인터페이스인
시선 추적 기반의 사용자 인터페이스 방법.
- 제 4 항에 있어서,
상기 터치는,
상기 단말의 메뉴 활성화 또는 메뉴 선택을 위한 사용자 인터페이스인
시선 추적 기반의 사용자 인터페이스 방법.
- 제 4 항에 있어서,
상기 UI는,
패턴, 아이콘, 버튼, 메뉴 중 어느 하나인
시선 추적 기반의 사용자 인터페이스 방법.
- 카메라를 통해 촬영된 영상 정보로부터 눈 위치를 추출하여 눈 영역을 검출하는 눈 검출 블록과,
검출된 상기 눈 영역으로부터 동공의 중심 위치를 검출하는 동공 검출 블록과,
상기 눈 영역 내 눈의 좌우상하 기준 위치를 검출하는 위치 검출 블록과,
검출된 상기 좌우상하 기준 위치와 단말의 표시 패널 내 UI의 중심 위치를 매칭시키는 위치 매칭 블록과,
상기 좌우상하 기준 위치와 상기 UI의 중심 위치가 매칭된 상태에서 상기 동공의 중심 위치가 움직이는 지의 여부를 검출하는 움직임 검출 블록과,
상기 동공의 중심 위치가 기 설정된 소정시간 이상 움직이지 않는 것으로 통지될 때, 사용자 인터페이스를 위한 터치로 인식하는 터치 인식 블록
을 포함하는 시선 추적 기반의 사용자 인터페이스 장치.
- 제 13 항에 있어서,
상기 위치 검출 블록은,
좌우 눈꼬리 위치를 상기 눈의 좌우 기준 위치로 검출하는
시선 추적 기반의 사용자 인터페이스 장치.
- 제 14 항에 있어서,
상기 위치 검출 블록은,
상기 좌우 기준 위치의 중심에서 수직선을 그어 양쪽 눈 커플과 만나는 점을 상기 눈의 상하 기준 위치로 검출하는
시선 추적 기반의 사용자 인터페이스 장치.
- 제 15 항에 있어서,
상기 위치 검출 블록은,
상기 상하 기준 위치의 주변에 눈 커플간의 상하 거리가 상대적으로 큰 점이 존재할 경우 새로운 좌우 기준 위치를 검출하고, 검출된 상기 새로운 좌우 기준 위치에 의거하여 상기 상하 기준 위치를 조정하는
시선 추적 기반의 사용자 인터페이스 장치.
- 제 13 항에 있어서,
상기 장치는,
상기 터치로 인식될 때, 상기 UI의 표출 형태를 활성화 상태로 전환 표시하는 표시 전환 블록
을 더 포함하는 시선 추적 기반의 사용자 인터페이스 장치.
- 제 13 항에 있어서,
상기 터치는,
상기 단말의 잠금 해제를 위한 사용자 인터페이스인
시선 추적 기반의 사용자 인터페이스 장치.
- 제 13 항에 있어서,
상기 터치는,
상기 단말의 메뉴 활성화 또는 메뉴 선택을 위한 사용자 인터페이스인
시선 추적 기반의 사용자 인터페이스 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130111985A KR20150032019A (ko) | 2013-09-17 | 2013-09-17 | 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치 |
| US14/189,569 US20150077329A1 (en) | 2013-09-17 | 2014-02-25 | Eye tracking-based user interface method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130111985A KR20150032019A (ko) | 2013-09-17 | 2013-09-17 | 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150032019A true KR20150032019A (ko) | 2015-03-25 |
Family
ID=52667495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20130111985A KR20150032019A (ko) | 2013-09-17 | 2013-09-17 | 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20150077329A1 (ko) |
| KR (1) | KR20150032019A (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180051235A (ko) | 2016-11-08 | 2018-05-16 | 한국전자통신연구원 | 사용자의 지시 위치 추정 장치 및 방법 |
| KR20200125062A (ko) | 2019-04-25 | 2020-11-04 | 주식회사 비주얼캠프 | 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치 |
| US10860098B1 (en) | 2019-12-30 | 2020-12-08 | Hulu, LLC | Gesture-based eye tracking |
| KR102506037B1 (ko) | 2022-08-12 | 2023-03-06 | 주식회사 아이트 | 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016054076A1 (en) | 2014-10-02 | 2016-04-07 | Dolby Laboratories Licensing Corporation | Dual-ended metadata for judder visibility control |
| US20160231812A1 (en) * | 2015-02-06 | 2016-08-11 | The Eye Tribe Aps | Mobile gaze input system for pervasive interaction |
| US10921896B2 (en) | 2015-03-16 | 2021-02-16 | Facebook Technologies, Llc | Device interaction in augmented reality |
| CN104834908B (zh) * | 2015-05-07 | 2018-09-07 | 惠州Tcl移动通信有限公司 | 一种移动终端基于眼纹识别的图像曝光方法及曝光系统 |
| CN104915589A (zh) * | 2015-06-24 | 2015-09-16 | 北京百纳威尔科技有限公司 | 终端的解锁方法和终端 |
| KR102345652B1 (ko) * | 2015-06-26 | 2021-12-30 | 삼성전자주식회사 | 뷰 파인더 장치 및 그 동작 방법 |
| CN106325480A (zh) * | 2015-06-30 | 2017-01-11 | 天津三星电子有限公司 | 基于视线追踪的鼠标控制设备及其方法 |
| US10444972B2 (en) | 2015-11-28 | 2019-10-15 | International Business Machines Corporation | Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries |
| CN107239222B (zh) * | 2017-06-02 | 2021-06-22 | 汪念鸿 | 一种触摸屏的操控方法及终端设备 |
| CN107256093A (zh) * | 2017-06-07 | 2017-10-17 | 四川长虹电器股份有限公司 | 一种通过转动头部解锁的方法 |
| CN107239144B (zh) * | 2017-06-09 | 2020-02-07 | 歌尔股份有限公司 | 一种设备的输入方法和装置 |
| CN107333119A (zh) | 2017-06-09 | 2017-11-07 | 歌尔股份有限公司 | 一种显示数据的处理方法和设备 |
| CN108459710B (zh) * | 2018-02-08 | 2021-04-06 | 东南大学 | 一种眼动信号控制的交互装置 |
| CN108537029B (zh) * | 2018-04-17 | 2023-01-24 | 嘉楠明芯(北京)科技有限公司 | 移动终端控制方法、装置及移动终端 |
| US20200089855A1 (en) * | 2018-09-19 | 2020-03-19 | XRSpace CO., LTD. | Method of Password Authentication by Eye Tracking in Virtual Reality System |
| CN109697341A (zh) * | 2018-12-21 | 2019-04-30 | 努比亚技术有限公司 | 一种解锁方法、终端和计算机可读存储介质 |
| KR20220039113A (ko) * | 2020-09-21 | 2022-03-29 | 삼성전자주식회사 | 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPP048097A0 (en) * | 1997-11-21 | 1997-12-18 | Xenotech Research Pty Ltd | Eye tracking apparatus |
| AU2002233323A1 (en) * | 2001-02-09 | 2002-08-28 | Sensomotoric Instruments Gmbh | Multidimensional eye tracking and position measurement system |
| JP4080379B2 (ja) * | 2003-05-30 | 2008-04-23 | 株式会社ニデック | 眼科用レーザ装置 |
| JP4998364B2 (ja) * | 2008-04-28 | 2012-08-15 | オムロン株式会社 | 視線検出装置および方法、並びに、プログラム |
| GB0920809D0 (en) * | 2009-11-27 | 2010-01-13 | Qinetiq Ltd | Eye tracking apparatus |
| JP5387557B2 (ja) * | 2010-12-27 | 2014-01-15 | カシオ計算機株式会社 | 情報処理装置及び方法、並びにプログラム |
| US8594374B1 (en) * | 2011-03-30 | 2013-11-26 | Amazon Technologies, Inc. | Secure device unlock with gaze calibration |
| US8611015B2 (en) * | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
-
2013
- 2013-09-17 KR KR20130111985A patent/KR20150032019A/ko not_active Application Discontinuation
-
2014
- 2014-02-25 US US14/189,569 patent/US20150077329A1/en not_active Abandoned
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180051235A (ko) | 2016-11-08 | 2018-05-16 | 한국전자통신연구원 | 사용자의 지시 위치 추정 장치 및 방법 |
| KR20200125062A (ko) | 2019-04-25 | 2020-11-04 | 주식회사 비주얼캠프 | 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치 |
| US10860098B1 (en) | 2019-12-30 | 2020-12-08 | Hulu, LLC | Gesture-based eye tracking |
| KR102506037B1 (ko) | 2022-08-12 | 2023-03-06 | 주식회사 아이트 | 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템 |
| WO2024034924A1 (ko) * | 2022-08-12 | 2024-02-15 | 주식회사 아이트 | 스테레오 카메라 기반의 시선 추적을 이용한 포인팅 방법 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150077329A1 (en) | 2015-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20150032019A (ko) | 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치 | |
| CN109765994B (zh) | 对计算设备上的数据的保护和访问的改进 | |
| US20230093612A1 (en) | Touchless photo capture in response to detected hand gestures | |
| US9652047B2 (en) | Visual gestures for a head mounted device | |
| US11023038B2 (en) | Line of sight detection adjustment unit and control method | |
| CN116348836A (zh) | 增强现实中用于交互式游戏控制的手势跟踪 | |
| WO2022225761A1 (en) | Hand gestures for animating and controlling virtual and graphical elements | |
| US20170123491A1 (en) | Computer-implemented gaze interaction method and apparatus | |
| US10884577B2 (en) | Identification of dynamic icons based on eye movement | |
| EP3133592B1 (en) | Display apparatus and controlling method thereof for the selection of clothes | |
| US11714540B2 (en) | Remote touch detection enabled by peripheral device | |
| JP6399692B2 (ja) | ヘッドマウントディスプレイ、画像表示方法及びプログラム | |
| CN111736691A (zh) | 头戴显示设备的交互方法、装置、终端设备及存储介质 | |
| WO2017018388A1 (ja) | ウェアラブル装置、制御方法及び制御プログラム | |
| CN108474950A (zh) | Hmd设备及其控制方法 | |
| US20160098084A1 (en) | Method, device, system and non-transitory computer-readable recording medium for providing user interface | |
| CN114450729A (zh) | 基于网格的用于面部认证的注册 | |
| CN107688388B (zh) | 密码输入的控制设备、方法及计算机可读存储介质 | |
| JP2016126687A (ja) | ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム | |
| CN115981481A (zh) | 界面显示方法、装置、设备、介质及程序产品 | |
| US20180165853A1 (en) | Head-mounted display apparatus and virtual object display system | |
| US20200319709A1 (en) | Information processing system, operation method, and operation program | |
| US12079395B2 (en) | Scissor hand gesture for a collaborative object | |
| JP6817350B2 (ja) | ウェアラブル装置、制御方法及び制御プログラム | |
| KR101337429B1 (ko) | 입력 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |