[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20140003149A - 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법 - Google Patents

사용자 맞춤형 인터페이스 시스템 및 그 구현 방법 Download PDF

Info

Publication number
KR20140003149A
KR20140003149A KR1020120070929A KR20120070929A KR20140003149A KR 20140003149 A KR20140003149 A KR 20140003149A KR 1020120070929 A KR1020120070929 A KR 1020120070929A KR 20120070929 A KR20120070929 A KR 20120070929A KR 20140003149 A KR20140003149 A KR 20140003149A
Authority
KR
South Korea
Prior art keywords
gesture
user
execution
input
function
Prior art date
Application number
KR1020120070929A
Other languages
English (en)
Other versions
KR101392936B1 (ko
Inventor
박명수
박정민
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020120070929A priority Critical patent/KR101392936B1/ko
Priority to US13/781,914 priority patent/US9092062B2/en
Publication of KR20140003149A publication Critical patent/KR20140003149A/ko
Application granted granted Critical
Publication of KR101392936B1 publication Critical patent/KR101392936B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

본 발명의 일 측면에 따르면, 사용자의 제스처 입력을 수집하는 입력장치와, 상기 입력장치로부터 수집된 제스처 입력을 처리하는 계산장치와 복수의 기능을 실행하기 위한 복수의 실행 제스처를 저장하는 메모리 및 상기 계산장치에 의해 처리된 정보를 출력하는 출력장치를 포함하고, 상기 복수의 실행 제스처 각각은 상기 복수의 기능 각각에 대한 실행 명령으로 설정되어, 상기 사용자가 수행하는 제스처 입력이 상기 복수의 실행 제스처 중 하나를 완성하면 그에 대응하는 기능이 실행되며, 상기 복수의 실행 제스처는 상기 사용자가 변경하여 저장할 수 있는 사용자 인터페이스 시스템이 제공된다. 본 발명의 다른 측면에 따르면, 상기 사용자 인터페이스 시스템을 구현하기 위한 방법으로서, 사용자의 실행 제스처 변경 요구가 있는지 여부를 판단하는 단계와, 사용자의 실형 제스처 변경 요구가 입력되면 사용자에게 선택 가능한 기능을 제시하는 단계 및 상기 사용자가 선택한 기능을 실행하기 위한 실행 제스처를 변경하여 저장하는 단계를 포함하는 사용자 인터페이스 구현 방법이 제공된다.

Description

사용자 맞춤형 인터페이스 시스템 및 그 구현 방법{User Customizable Interface System and Implementing Method thereof}
본 발명은 사용자 인터페이스 시스템 및 그 구현 방법에 관한 것으로서, 더욱 상세하게는 각종 기능 실행을 위한 제스처를 사용자가 직접 설정 변경할 수 있고 나아가 사용자에게 추천해주는 사용자 인터페이스 시스템 및 그 구현 방법에 관한 것이다.
종래 컴퓨터뿐만 아니라 스마트 폰 등과 같은 휴대용 컴퓨터 전자 장치가 널리 보급되면서, 더욱 다양한 기능들이 제공되고 있다. 다양해진 기능에 발맞추어 그 기능들을 수행하기 위한 명령 입력 방식 역시 다양해질 필요가 있다.
명령 입력의 다양화를 위해 근래에 터치 스크린을 사용자 인터페이스로 이용하고, 사용자가 터치 스크린에 직접 접촉하여 미리 정해진 제스처를 수행함으로써 기능 실행 명령을 입력하는 방식이 제시되고 있다.
일 예의 종래기술에 따르면, 예를 들어 사용자가 터치하여 이동시키는 이동체와, 이동체가 이동하여야 하는 방향을 제시해주는 경로로 표현되는 그래픽을 스크린에 보여 주고, 사용자가 이동체를 표시된 경로를 따라 이동시키면 전자 장치의 잠금이 해제되는 방식의 명령 입력 방식이 제시되어 있다.
하지만, 위와 같은 종래기술은, 위와 같은 기능을 실행하기 위한 제스처는 매우 단순하고 한정적이어서 다양한 제스처를 통해 다양한 기능을 실행하기 어렵다는 문제점이 있다.
전자 장치가 더 많은 기능을 수행하도록 발전할 것이므로, 이에 부합하여 다양한 형태의 기능의 실행을 위한 명령 입력 방식이 제안될 필요가 있다.
대한민국특허등록 제993459호 공보
본 발명은 상술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자의 취향에 따라서 기능의 실행 명령을 다양하게 변경할 수 있고, 시스템이 자동으로 실행 명령을 추천해 주는 기능을 구비하여 사용자의 명령어 생성 부담을 줄여줄 수 있는 사용자 인터페이스 시스템 및 그 구현 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 사용자의 제스처 입력을 수집하는 입력장치와, 상기 입력장치로부터 수집된 제스처 입력을 처리하는 계산장치와 복수의 기능을 실행하기 위한 복수의 실행 제스처를 저장하는 메모리 및 상기 계산장치에 의해 처리된 정보를 출력하는 출력장치를 포함하고, 상기 복수의 실행 제스처 각각은 상기 복수의 기능 각각에 대한 실행 명령으로 설정되어, 상기 사용자가 수행하는 제스처 입력이 상기 복수의 실행 제스처 중 하나를 완성하면 그에 대응하는 기능이 실행되며, 상기 복수의 실행 제스처는 상기 사용자가 변경하여 저장할 수 있는 사용자 인터페이스 시스템이 제공된다.
일 실시예에 따르면, 상기 사용자 인터페이스 시스템은 상기 사용자에게 선택 가능한 기능을 제시하고, 상기 사용자가 선택한 기능을 실행하기 위한 실행 제스처를 변경하여 저장한다.
또한, 상기 사용자가 선택한 기능을 실행하기 위한 실행 제스처를 입력할 기회를 제공하고, 상기 사용자가 직접 시연한 제스처를 이용해 상기 실행 제스처를 변경하도록 할 수도 있다.
또한, 상기 사용자가 선택한 기능을 실행하기 위한 새로운 실행 제스처를 생성하여 상기 사용자에게 추천할 수도 있다.
이 경우, 상기 사용자에게 선택 가능한 기능과 유사한 기능들을 실행하기 위한 실행 제스처를 이용하여 상기 새로운 실행 제스처를 생성하도록 할 수도 있으며, 상기 사용자가 선택한 기능 외의 실행 제스처들과의 유사도를 고려하여 상기 새로운 실행 제스처를 생성하도록 할 수도 있다.
본 발명의 다른 측면에 따르면, 상기 사용자 인터페이스 시스템을 구현하기 위한 방법으로서, 사용자의 실행 제스처 변경 요구가 있는지 여부를 판단하는 단계와, 사용자의 실형 제스처 변경 요구가 입력되면 사용자에게 선택 가능한 기능을 제시하는 단계 및 상기 사용자가 선택한 기능을 실행하기 위한 실행 제스처를 변경하여 저장하는 단계를 포함하는 사용자 인터페이스 구현 방법이 제공된다.
일 실시예에 따르면, 사용자가 기능을 수행하기 위한 실행 제스처의 변경하기를 선택하면, 가용한 실행 제스처를 추천받을지 여부를 문의하는 단계를 더 포함할 수도 있다.
또한, 가용한 실행 제스처의 추천 거부 명령이 입력되면 상기 사용자가 선택한 기능을 실행하기 위한 실행 제스처를 입력할 기회를 제공하는 단계와, 상기 사용자가 직접 시연한 제스처를 상기 사용자가 선택한 기능을 실행하기 위한 실행 제스처로 설정하는 단계를 더 포함할 수도 있다.
또한, 가용한 실행 제스처의 추천 요구 명령이 입력되면 상기 사용자가 선택한 기능을 실행하기 위한 새로운 실행 제스처를 생성하여 상기 사용자에게 추천하는 단계를 더 포함할 수도 있다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 3차원 사용자 인터페이스 시스템의 개념도이다.
도 3은 본 발명의 일 실시예에 따른 복수의 실행 제스처의 예시를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 사용자 인터페이스 시스템의 동작을 설명한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 실행 제스처를 자동 생성하는 방법을 설명하는 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 하나의 실시예로서 설명되는 것이며, 이것에 의해 본 발명의 기술적 사상과 그 핵심 구성 및 작용은 제한되지 않는다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 3차원 사용자 인터페이스 시스템의 개념도이다.
본 실시예에 따른 3차원 사용자 인터페이스 시스템은, 사용자의 제스처 입력을 수집하는 입력장치와, 상기 입력장치로부터 수집된 제스처 입력을 처리하는 계산장치와, 복수의 기능을 실행하기 위한 복수의 실행 제스처를 저장하는 메모리 및 상기 계산장치에 의해 처리된 정보를 출력하는 출력장치를 포함한다.
본 실시예에 따른 상기 입력장치로는 예를 들어 카메라와 물체의 거리 정보를 통해 물체의 동작 상태를 입력받는 깊이 카메라(depth camera) 또는 사람 손 등에 직접 착용하여 손의 움직임을 입력받는 모션 글러브(motion glove) 등과 같이 물체의 형상 및 동작 정보를 수집할 수 있는 어떠한 장치라도 이용될 수 있다.
상기 계산장치는, 시스템의 중앙처리장치로서 입력장치로부터 수집되는 정보 및 명령신호를 계산 처리하고, 출력장치를 통해 3차원의 가상공간과 다양한 3차원의 그래픽이 출력되도록 한다.
상기 메모리는 시스템 운용에 필요한 프로그램, 각종 데이터 및 어플리케이션을 저장한다.
상기 출력장치는 3차원의 가상공간을 출력하여 사용자에게 시각적 인터페이스를 제공한다. 후술하는 실시예에서 상기 출력장치로서 2차원 스크린을 가지는 모니터가 설명되고 있으나, 홀로그램 기술 등을 통해 3차원 그래픽을 영사하는 3차원 디스플레이 장치가 본 발명에 적용될 수 있다는 것이 이해되어야 할 것이다.
도 1 및 도 2를 참조하면, 본 실시예에 따른 인터페이스 시스템을 동작시키기 위한 수단으로 사용자의 손(20)이 이용된다. 작업의 편의성을 위해 사용자의 손(20)을 이용하고 있지만, 스타일러스 등과 같은 기구가 이용될 수도 있을 것이다.
손(20)의 제스처 정보를 수집하기 위한 입력장치로는 깊이 카메라(미도시)가 이용된다. 앞서 예시한 모션 글로브 등도 사용자의 손의 관절의 회전각 등을 계산하여 사용자의 손(20)에 위치한 지점들의 위치의 움직임을 측정할 수 있으므로, 본 발명에 따른 입력장치로 이용되기에 적절하다.
본 실시예에 따르면, 출력장치로는 2차원 스크린을 가지는 모니터(10)가 사용된다. 모니터(10)를 통해 x축, y축, z축으로 표현되는 3차원의 가상공간을 출력하고, 사용자가 입체감을 느낄 수 있는 3차원 그래픽을 가상공간에 출력해낼 수 있음은 이미 공지된 사실이므로 여기서는 자세한 설명을 생략한다.
한편, 상기 메모리에는 사용자 인터페이스 시스템이 제공할 수 있는 복수의 기능을 실행하기 위한 복수의 실행 제스처가 메모리에 저장되어 있다.
도 3은 본 실시예에 따른 복수의 실행 제스처의 예시를 도시한 것이다.
도 3에 도시된 바와 같이 본 실시예에 따른 실행 제스처는 3차원으로 정의되는 복수의 동작궤적(200, 300, 400, 500)들이다. 동작궤적(200, 300, 400, 500)은 시스템 설계자에 의해 메모리에 미리 저장되어 있는 것일 수도 있으나, 본 실시예에서는 후술하는 바와 같이 사용자가 직접 입력하여 저장한 것이거나 시스템이 추천하여 사용자가 선택한 것이다.
동작궤적(200, 300, 400, 500) 각각은 특정 기능의 실행 명령에 해당한다. 예를 들어, 동작궤적(200)은 "컨텐츠 삭제" 기능을 실행하기 위한 실행 명령에 해당하고, 동작궤적(300)은 "컨텐츠 복사" 기능을 실행하기 위한 실행 명령에 해당하며, 동작궤적(400)은 "컨텐츠 붙이기" 기능을 실행하기 위한 실행 명령에 해당한다. 또한, 동작궤적(500)은 "장치 잠금" 기능을 실행하기 위한 실행 명령에 해당한다.
본 실시예에 따르면 사용자가 입력하는 제스처 입력의 궤적이 복수의 동작궤적 중 하나를 완성하면 해당 동작궤적에 대응하는 기능이 실행된다
이하, 다시 도 1 및 도 2를 참조하여 더 구체적으로 설명한다.
도 1에 도시된 와 같이, 사용자가 손(20)을 모니터(10)에 설치된 깊이 카메라(미도시) 앞에 위치시키면, 상기 깊이 카메라는 사용자의 손 위에 위치한 한 지점(21)의 위치를 감지하고 손 위의 지점(21)을 스크린 내 3차원 가상공간의 지점(110)에 대응시킨다. 이때, 점(110)의 위치를 사용자에게 시각적으로 알려주기 위하여 스크린에는 커서가 표시될 수도 있다.
이후, 도 2에 도시된 바와 같이, 사용자는 제스처 궤적에 따른 기능을 수행하기 위하여, 먼저 제스처 궤적의 시작점을 지시하는 손 모양을 취한다. 예를 들어 엄지손가락(22)을 손바닥 쪽으로 붙이는 동작이 이를 위해 이용될 수 있다. 깊이 카메라는 엄지손가락(22)의 위치를 추적하여 엄지손가락(22)이 손바닥 쪽으로 붙는 동작을 감지하면 계산장치는 이를 시작점 고정 명령으로 인식하고 손 위의 한 지점(21)에 대응하는 지점(110)을 제스처 궤적의 시작점으로 인식하여 고정한다.
사용자가 손(20)을 움직이는 제스처를 취하여 손 위의 지점(21)이 지점(21')으로 이동하면, 깊이 카메라는 그 움직임을 감지하고, 계산장치는 지점(110)에서 시작해 현재 손의 위치(21')에 대응되는 지점(110')까지 이어지는 제스처 궤적(100)을 구한다.
이때, 계산장치는 사용자의 손 동작에 의한 제스처 궤적(100)을 메모리에 저장되어 있는 동작궤적(200, 300, 400, 500)들과 비교한다.
만약, 도 2에 도시된 바와 같이 제스처 궤적(100)이 "컨텐츠 삭제 기능"을 실행하기 위한 동작궤적(200)(도 3)과 실질적으로 동일한 궤적을 완성하면 컨텐츠 삭제 기능이 수행된다.
본 실시예에 따른 사용자 인터페이스 시스템은 상기 실행 제스처를 사용자가 변경하여 저장하고, 사용자가 원하는 경우 실행 제스처를 사용자에게 추천하는 기능을 가진다.
도 4는 본 발명의 일 실시예에 따른 사용자 인터페이스 시스템의 동작을 설명한 순서도이다. 예를 들어, 도 3에서 "컨텐츠 복사" 기능을 실행하기 위한 실행 제스처인 동작궤적(300)을 수정하는 경우를 설명한다.
도 4에 도시된 바와 같이, 계산장치는 사용자가 실행 제스처 수정 메뉴를 선택하여 실행 제스처 수정 요구를 하였는지 여부를 판단한다.
실행 제스처 수정 요구가 없으면, 사용자 제스처 입력(제스처 궤적의 입력)을 분석하여 그와 연계된 기능을 선택하여 실행하게 된다.
만약 실행 제스처 수정 요구가 있는 경우, 계산장치는 출력장치를 통해 시스템이 가진 기능 리스트를 제시한다. 사용자는 리스트 중 "컨텐츠 복사" 기능을 선택하면 계산장치는 "컨텐츠 복사" 기능을 수행하기 위한 실행 제스처를 추천받을지 여부를 문의한다.
사용자가 추천을 거부하면, 계산장치는 사용자가 선택한 "컨텐트 복사" 기능의 실행 제스처를 직접 입력할 기회를 제공한다. 사용자에 의한 실행 제스처의 입력은, 예를 들어 도 2를 참조하여 설명하면, 사용자가 깊이 카메라 앞에 손을 위치시키고, 엄지손가락(22)을 손바닥 쪽으로 붙이는 동작을 취해 원하는 실행 제스처 궤적의 시작점을 지정하고, 손을 움직여 궤적의 경로를 형성한 후, 엄지 손가락(22)을 손바닥 쪽에서 떼는 동작을 취해 궤적을 끝점을 지정하여 새로운 동작궤적을 생성할 수 있다.
계산장치는 사용자가 새로이 생성한 동작궤적을 "컨텐츠 복사" 기능을 실행하기 위한 실행 제스처로 연계시켜 메모리에 저장한다.
한편, 사용자가 추천을 받아들이면, 본 실시예에 따른 인터페이스 시스템은 사용자에게 맞춤된 새로운 실행 제스처를 자동 생성하여 사용자에게 추천한다. 이때, 자동 생성한 실행 제스처는 사용자의 혼동 가능성이 최소화되도록 생성된다.
도 5는 본 발명의 일 실시예에 따른 맞춤형 실행 제스처를 생성하는 원리를 설명하는 도면이다.
다시 도 3을 참조하면, '컨텐츠 복사" 기능을 실행하기 위한 실행 제스처가 도 3(b)의 동작궤적(300)과는 다른 형태의 궤적이 메모리에 저장되어 있었다고 가정한다.
사용자가 "컨텐츠 복사" 기능을 실행하기 위한 실행 제스처를 추천받길 원하는 경우, 계산장치는 "컨텐츠 복사"와 유사한 기능 즉, 컨텐츠 처리 기능에 관한 실행 제스처들의 궤적을 추출하고 이들을 비교한다. 도 3에서 컨텐츠 처리에 관한 실행 제스처는 "컨텐츠 삭제"에 관한 동작궤적(200)과 "컨텐츠 붙이기"에 관한 동작 궤적(400)이다.
계산장치는 도 5(a)에 도시된 바와 같이 이들 동작궤적(200, 400)을 비교하여 공통점과 차이점을 추출한다.
도 5(a)에 도시된 바와 같이, 동작궤적(200, 400)은 시작점(a)에서 출발하여 종점(b)에서 종료되는 경로(c)를 공통으로 가지고, 종점(b) 이후의 경로는 전혀 상이하다.
따라서, 계산장치는 도 5(b)에 도시된 바와 같이, 사용자가 최소한 컨텐츠 처리에 관한 기능을 수행할 때는 경로(c)를 선호하는 것으로 판단하여, 새로 생성하는 "컨텐츠 복사"의 실행 제스처에 경로(c)가 시작 경로로 들어가도록 한다.
한편, 계산장치는 종점(b) 이후의 경로가 동작궤적(200)은 상방으로 진행하고, 동작궤적(400)은 하방으로 진행하므로, 사용자의 혼동 가능성을 최소화하도록 상기 동작궤적(200)의 상방 경로와 동작궤적(400)의 하방 경로의 중간 경로로 그 경로가 통과하는 "컨텐츠 복사"의 실행 제스처 궤적(300)의 나머지 궤적을 생성한다.
이에 따라서, 사용자는 쉽게 동작궤적(300)을 컨텐츠 처리에 관한 실행 제스처로 각인할 수 있으면서도 다른 컨텐츠 처리 실행 제스처와 혼동하지 않을 수 있게 된다.
계산장치는 자동 생성된 동작궤적(300)이 사용자에게 가용한지 여부를 문의하고, 사용자가 가용하다는 입력을 입력하면 해당 궤적(300)을 "컨텐츠 복사" 기능을 실행하기 위한 새로운 실행 제스처로 연계하여 메모리에 저장한다.
한편, 본 발명의 다른 실시예에 따르면, 계산장치는 사용자가 선택한 다른 기능(여기서는 "컨텐츠 복사" 기능) 외의 기능들을 수행하기 위한 실행 제스처들과의 유사도를 비교하여 새로운 실행 제스처를 생성한다.
다시 도 3을 참조하면, 사용자가 "컨텐츠 복사"에 관한 실행 제스처(300)를 추천받아 변경하고자 하면, 계산장치는 새로운 궤적을 임의로 생성하고, 동작궤적(200, 400, 500)들과의 유사도를 비교한다.
곡선 형태를 가지는 두 동작궤적의 유사도 비교는 비교할 두 동작궤적의 시작점을 일치시키고, 두 궤적을 형성하는 점들간의 거리를 계산하여 소정 거리 이하인 점들의 비율을 계산하는 방식 등과 같은 다양한 공지의 유사도 비교 방법이 사용될 수 있다.
본 실시예에 따르면, 위와 같은 유사도 비교를 통해, 임의로 생성된 궤적과 세 동작궤적(200, 400, 500)을 각각 비교하였을 때, 모든 동작궤적들에 대하여 유사도가 예를 들어 70% 이하인 경우, 사용자의 혼동 가능성이 낮은 것으로 판단하고 이를 사용자에게 보여주어 가용한지 여부를 문의한다. 상기 유사도 판단의 기준 수치인 상기 70%는 시스템의 성능 및 사용 환경에 따라 상향 또는 하향 조정될 수 있음이 이해되어야 할 것이다.
상술한 바와 같이, 본 발명의 실시예들에 따르면, 기능을 수행하기 위한 실행 제스처를 사용자가 변경하는 것이 가능하며, 변경시 실행 제스처는 사용자가 직접 시연하거나 시스템에서 자동 생성하여 추천할 수도 있다.
이와 같은 구성에 따르면, 기능의 실행 제스처가 사용자의 취향에 따라서 다양하게 변경될 수 있으며, 시스템이 실행 제스처를 추천해 줌에 따라서 실행 제스처를 사용자가 일일이 지정하여야 하는 부담을 줄일 수 있다.
상기에서는 본 실시예에 따른 인터페이스 시스템이 3차원의 인터페이스 시스템으로 설명되었으나, 반드시 이에 한정되는 것은 아니며 본 발명의 기술적 사상은 2차원 인터페이스 시스템에도 적용될 수 있음이 이해되어야 할 것이다. 예를 들어, 사용자의 접촉에 의한 제스처 정보를 입력받는 한편 각종 정보를 출력하는 터치 스크린이 시스템의 입력장치이자 출력장치로 적용될 수 있다. 이 경우, 실행 제스처인 복수의 동작궤적은 2차원의 궤적으로, 사용자가 손가락을 터치 스크린에 접촉한 뒤 손가락을 움직이는 제스처를 통해 그린 궤적이 상기 동작궤적 중 하나를 완성하면 해당 기능이 실행될 것이다.
또한, 2차원 인터페이스 시스템에서 상기 실행 제스처는 반드시 궤적 형태가 아닐 수도 있음이 이해되어야 할 것이다.
예를 들어, 만약 "컨텐츠 복사"가 태핑(tapping) 제스처 한번에 의해 실행되고, "컨텐츠 삭제"는 태핑 제스처 두번에 의해 실행되도록 사용자에 의해 정의되어 있다면, "컨텐츠 붙이기"의 경우 계산장치는 그와 유사한 태핑 제스처 세 번을 실행 제스처로 사용자에게 추천하게 될 것이다.

Claims (10)

  1. 사용자의 제스처 입력을 수집하는 입력장치;
    상기 입력장치로부터 수집된 제스처 입력을 처리하는 계산장치;
    복수의 기능을 실행하기 위한 복수의 실행 제스처를 저장하는 메모리;
    상기 계산장치에 의해 처리된 정보를 출력하는 출력장치를 포함하고,
    상기 복수의 실행 제스처 각각은 상기 복수의 기능 각각에 대한 실행 명령으로 설정되어, 상기 사용자가 수행하는 제스처 입력이 상기 복수의 실행 제스처 중 하나를 완성하면 그에 대응하는 기능이 실행되며,
    상기 복수의 실행 제스처는 상기 사용자가 변경하여 저장할 수 있는 것을 특징으로 하는 사용자 인터페이스 시스템.
  2. 제1항에 있어서,
    상기 사용자에게 선택 가능한 기능을 제시하고,
    상기 사용자가 선택한 기능을 실행하기 위한 실행 제스처를 변경하여 저장하는 것을 특징으로 하는 사용자 인터페이스 시스템.
  3. 제2항에 있어서,
    상기 사용자가 선택한 기능을 실행하기 위한 실행 제스처를 입력할 기회를 제공하고,
    상기 사용자가 직접 시연한 제스처를 이용해 상기 실행 제스처를 변경하는 것을 특징으로 하는 사용자 인터페이스 시스템.
  4. 제2항에 있어서,
    상기 사용자가 선택한 기능을 실행하기 위한 새로운 실행 제스처를 생성하여 상기 사용자에게 추천하는 것을 특징으로 하는 사용자 인터페이스 시스템.
  5. 제4항에 있어서,
    상기 사용자에게 선택 가능한 기능과 유사한 기능들을 실행하기 위한 실행 제스처를 이용하여 상기 새로운 실행 제스처를 생성하는 것을 특징으로 하는 사용자 인터페이스 시스템.
  6. 제4항에 있어서,
    상기 사용자가 선택한 기능 외의 실행 제스처들과의 유사도를 고려하여 상기 새로운 실행 제스처를 생성하는 것을 특징으로 하는 사용자 인터페이스 시스템.
  7. 사용자의 제스처 입력을 수집하는 입력장치;
    상기 입력장치로부터 수집된 제스처 입력을 처리하는 계산장치;
    복수의 기능을 실행하기 위한 복수의 실행 제스처를 저장하는 메모리;
    상기 계산장치에 의해 처리된 정보를 출력하는 출력장치를 포함하고,
    상기 복수의 실행 제스처 각각은 상기 복수의 기능 각각에 대한 실행 명령으로 설정되어, 상기 사용자가 수행하는 제스처 입력이 상기 복수의 실행 제스처 중 하나를 완성하면 그에 대응하는 기능이 실행되는 사용자 인터페이스 구현 방법으로서,
    사용자의 실행 제스처 변경 요구가 있는지 여부를 판단하는 단계;
    사용자의 실형 제스처 변경 요구가 입력되면 사용자에게 선택 가능한 기능을 제시하는 단계; 및
    상기 사용자가 선택한 기능을 실행하기 위한 실행 제스처를 변경하여 저장하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스 구현 방법.
  8. 제7항에 있어서,
    사용자에게 실행 제스처를 변경할 기능을 선택하면, 가용한 실행 제스처를 추천받을지 여부를 문의하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인터페이스 구현 방법.
  9. 제8항에 있어서,
    가용한 실행 제스처의 추천 거부 명령이 입력되면, 상기 사용자가 선택한 기능을 실행하기 위한 실행 제스처를 입력할 기회를 제공하는 단계;
    상기 사용자가 직접 시연한 제스처를 상기 사용자가 선택한 기능을 실행하기 위한 실행 제스처로 설정하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인터페이스 구현 방법.
  10. 제8항에 있어서,
    가용한 실행 제스처의 추천 요구 명령이 입력되면, 상기 사용자가 선택한 기능을 실행하기 위한 새로운 실행 제스처를 생성하여 상기 사용자에게 추천하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인터페이스 구현 방법.
KR1020120070929A 2012-06-29 2012-06-29 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법 KR101392936B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120070929A KR101392936B1 (ko) 2012-06-29 2012-06-29 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법
US13/781,914 US9092062B2 (en) 2012-06-29 2013-03-01 User customizable interface system and implementing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120070929A KR101392936B1 (ko) 2012-06-29 2012-06-29 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법

Publications (2)

Publication Number Publication Date
KR20140003149A true KR20140003149A (ko) 2014-01-09
KR101392936B1 KR101392936B1 (ko) 2014-05-09

Family

ID=49779645

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120070929A KR101392936B1 (ko) 2012-06-29 2012-06-29 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법

Country Status (2)

Country Link
US (1) US9092062B2 (ko)
KR (1) KR101392936B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150112708A (ko) * 2014-03-27 2015-10-07 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101370830B1 (ko) * 2012-04-25 2014-03-25 한국과학기술연구원 사용자 인터페이스 구현 시스템 및 구현 방법
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
CN105260008B (zh) * 2014-07-15 2018-10-12 华为技术有限公司 一种定位位置的方法及装置
CN105357585B (zh) * 2015-08-29 2019-05-03 华为技术有限公司 对视频内容任意位置和时间播放的方法及装置
US9965043B2 (en) 2016-01-27 2018-05-08 Wipro Limited Method and system for recommending one or more gestures to users interacting with computing device
CN106775259A (zh) * 2017-01-09 2017-05-31 广东欧珀移动通信有限公司 一种信息的处理方法、装置及终端
US11093041B2 (en) * 2018-11-30 2021-08-17 International Business Machines Corporation Computer system gesture-based graphical user interface control

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5758257A (en) * 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
US7076734B2 (en) * 2001-06-22 2006-07-11 Microsoft Corporation Systems and methods for providing a dynamically controllable user interface that embraces a variety of media
US20030007018A1 (en) * 2001-07-09 2003-01-09 Giovanni Seni Handwriting user interface for personal digital assistants and the like
US20040147265A1 (en) * 2002-07-23 2004-07-29 Mark Kelley System and method for an adaptive user communications device
US7002560B2 (en) * 2002-10-04 2006-02-21 Human Interface Technologies Inc. Method of combining data entry of handwritten symbols with displayed character data
US20070203589A1 (en) * 2005-04-08 2007-08-30 Manyworlds, Inc. Adaptive Recombinant Process Methods
KR20070034767A (ko) * 2005-09-26 2007-03-29 엘지전자 주식회사 다중 표시영역을 갖는 이동통신 단말기 및 이를 이용한 디스플레이 간의 데이터 표시 방법
TW200713060A (en) * 2005-09-30 2007-04-01 Primax Electronics Ltd Adaptive input method for touch screen
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US20080200153A1 (en) * 2006-09-28 2008-08-21 Dudley Fitzpatrick Apparatuses, methods and systems for code triggered information querying and serving on mobile devices based on profiles
US7770136B2 (en) * 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
US20090109183A1 (en) * 2007-10-30 2009-04-30 Bose Corporation Remote Control of a Display
US9582049B2 (en) * 2008-04-17 2017-02-28 Lg Electronics Inc. Method and device for controlling user interface based on user's gesture
US8504488B2 (en) * 2008-04-30 2013-08-06 Cisco Technology, Inc. Network data mining to determine user interest
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
TW201009650A (en) * 2008-08-28 2010-03-01 Acer Inc Gesture guide system and method for controlling computer system by gesture
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
KR20100055945A (ko) 2008-11-18 2010-05-27 삼성전자주식회사 사용자 설정 제스처를 수행하는 디지털 영상 처리 장치 및 그 동작 방법
KR20100101389A (ko) * 2009-03-09 2010-09-17 삼성전자주식회사 사용자 메뉴를 제공하는 디스플레이 장치 및 이에 적용되는ｕｉ제공 방법
KR101593598B1 (ko) * 2009-04-03 2016-02-12 삼성전자주식회사 휴대단말에서 제스처를 이용한 기능 실행 방법
KR101564222B1 (ko) * 2009-05-26 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
KR101071843B1 (ko) 2009-06-12 2011-10-11 엘지전자 주식회사 이동단말기 및 그 제어방법
US20110314427A1 (en) * 2010-06-18 2011-12-22 Samsung Electronics Co., Ltd. Personalization using custom gestures
US8640021B2 (en) * 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
US9304592B2 (en) * 2010-11-12 2016-04-05 At&T Intellectual Property I, L.P. Electronic device control based on gestures
US20120260290A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv
US8751972B2 (en) * 2011-09-20 2014-06-10 Google Inc. Collaborative gesture-based input language
US9141262B2 (en) * 2012-01-06 2015-09-22 Microsoft Technology Licensing, Llc Edge-based hooking gestures for invoking user interfaces
US9600169B2 (en) * 2012-02-27 2017-03-21 Yahoo! Inc. Customizable gestures for mobile devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150112708A (ko) * 2014-03-27 2015-10-07 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
KR101392936B1 (ko) 2014-05-09
US9092062B2 (en) 2015-07-28
US20140007020A1 (en) 2014-01-02

Similar Documents

Publication Publication Date Title
KR101392936B1 (ko) 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법
US9836146B2 (en) Method of controlling virtual object or view point on two dimensional interactive display
US8866781B2 (en) Contactless gesture-based control method and apparatus
EP2972669B1 (en) Depth-based user interface gesture control
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US8677284B2 (en) Method and apparatus for controlling and displaying contents in a user interface
US9007299B2 (en) Motion control used as controlling device
EP3287884A1 (en) Display device and method of controlling the same
KR20110066880A (ko) 터치-감지형 디스플레이를 사용하여 오브젝트를 복제하는 방법 및 시스템
US10572134B2 (en) Method and system for providing prototyping tool, and non-transitory computer-readable recording medium
JP2013045217A (ja) 入力装置
AU2013356799A1 (en) Display device and method of controlling the same
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
JP2012190215A (ja) 入力処理装置、入力処理方法、プログラム
US20170047065A1 (en) Voice-controllable image display device and voice control method for image display device
CN105117056A (zh) 一种操作触摸屏的方法和设备
CN103324420A (zh) 一种多点触控板输入操作识别方法及电子设备
EP2538308A2 (en) Motion-based control of a controllled device
JP2012022458A (ja) 情報処理装置およびその制御方法
US10073612B1 (en) Fixed cursor input interface for a computer aided design application executing on a touch screen device
KR101370830B1 (ko) 사용자 인터페이스 구현 시스템 및 구현 방법
CN104951211A (zh) 一种信息处理方法和电子设备
JP6076864B2 (ja) 操作性評価尺度に基づくｇｕｉ変換プログラム、装置及びｇｕｉ変換方法
Ullerich et al. ThumbPitch: Enriching thumb interaction on mobile touchscreens using deep learning
JP5304849B2 (ja) 電子機器およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170403

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 6