[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20130124061A - 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말 - Google Patents

공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말 Download PDF

Info

Publication number
KR20130124061A
KR20130124061A KR1020120047678A KR20120047678A KR20130124061A KR 20130124061 A KR20130124061 A KR 20130124061A KR 1020120047678 A KR1020120047678 A KR 1020120047678A KR 20120047678 A KR20120047678 A KR 20120047678A KR 20130124061 A KR20130124061 A KR 20130124061A
Authority
KR
South Korea
Prior art keywords
terminal
user gesture
moving
movement
controlling
Prior art date
Application number
KR1020120047678A
Other languages
English (en)
Inventor
전진영
강지영
이보영
김대성
김진용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120047678A priority Critical patent/KR20130124061A/ko
Priority to US13/874,510 priority patent/US20130293454A1/en
Priority to AU2013205613A priority patent/AU2013205613B2/en
Priority to EP13166321.3A priority patent/EP2660682A3/en
Priority to EP20185022.9A priority patent/EP3742263A1/en
Priority to CN201910897441.9A priority patent/CN110647244A/zh
Priority to CN2013101629001A priority patent/CN103383598A/zh
Priority to JP2013097719A priority patent/JP2013235588A/ja
Publication of KR20130124061A publication Critical patent/KR20130124061A/ko
Priority to US15/847,112 priority patent/US20180107282A1/en
Priority to US16/859,408 priority patent/US20200257373A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 공간상의 제스처를 이용한 단말의 제어 방법 및 그 단말에 관한 것이다.

Description

공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말{CONTROL METHOD OF TERMINAL BY USING SPATIAL INTERACTION}
본 발명은 공간상의 제스처를 이용한 단말의 제어 방법 및 그 단말에 관한 것이다.
최근 스마트 전자 기기의 발달로 사용자가 단말을 편리하게 제어하도록 하기 위한 다양한 상호 작용 기술들이 연구되고 있다.
단말 제어를 위한 상호 작용으로는 단말의 터치 입력 또는 운동 상태를 기초로 단말의 동작을 제어하는 기술 또는 손바닥을 이용한 손 동작을 이용하여 단말을 제어하는 기술 등이 있다.
본 발명은, 공간상의 다양한 제스처를 인식하고 이에 반응하는 상호 작용을 이용하여 단말의 기능을 제어할 수 있도록 하는 단말의 제어 방법 및 그 단말을 제공한다.
본 발명에 따른 단말의 제어 방법은, 공간상의 제스처를 감지하는 단계, 감지된 공간상의 제스처를 분석하는 단계, 단말은 분석 결과에 대응하는 임의의 동작을 수행하는 단계를 포함한다.
본 발명에 의한 단말의 제어 방법 및 그 단말에 따르면, 공간상의 제스처를 이용하여 사용자가 보다 편리하고 직관적으로 단말을 제어할 수 있다.
또한, 본 발명에 의한 단말의 제어 방법 및 그 단말에 따르면, 장갑을 착용하거나 손에 이물질이 묻은 경우 등, 단말에 터치 입력을 할 수 없는 경우에도 공간상의 제스처를 이용하여 효율적으로 단말을 제어할 수 있다.
도 1은 본 발명에 따른 공간상의 제스처를 이용하여 단말 제어 방법을 나타낸 순서도이다.
도 2 내지 도 25는 본 발명에 따른 단말이 감지할 수 있는 다양한 공간상의 제스처를 나타낸 도면이다.
도 26은 공간상의 상호 작용 세트의 일 예를 나타낸 도면이다.
도 27은 본 발명의 제1 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 28은 본 발명의 제2 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 29는 본 발명의 제3 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 30은 본 발명의 제4 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 31은 본 발명의 제5 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 32는 본 발명의 제6 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 33은 본 발명의 제7 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 34는 본 발명의 제8 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.
도 35는 본 발명의 제9 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.
도 36은 본 발명에 따른 단말의 구성을 나타낸 블록도이다.
본 발명은 스마트 폰(Smart Phone), 휴대 단말(Portable Terminal), 이동 단말(Mobile Terminal), 개인 정보 단말(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말, 노트북 컴퓨터, 와이브로(Wibro) 단말 등의 일반적인 전자 단말뿐만 아니라, 공간상의 제스처를 감지할 수 있는 모든 장치 또는 서비스를 위하여 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 보다 구체적으로 설명하도록 한다.
도 1은 본 발명에 따른 공간상의 제스처를 이용하여 단말 제어 방법을 나타낸 순서도이다.
도 1을 참조하면, 본 발명에 따른 단말 제어 방법은 다음과 같은 순서로 이루어질 수 있다.
먼저, 단말은 공간상의 제스처를 감지할 수 있다(S110).
공간상의 제스처는 사용자의 손(손가락을 포함한다) 등의 입력 수단에 의하여 형성될 수 있다.
단말은 카메라를 통하여 공간상의 제스처에 대한 영상 입력을 감지하거나, 근접 센서를 이용하여 단말에 근접하는 입력 수단의 제스처를 감지할 수 있다. 단말은 복수의 공간상의 제스처를 동시에 또는 순차적으로 감지할 수 있다.
또한, 단말은 공간상의 제스처와 함께 터치 입력을 감지할 수 있다. 단말은 공간상의 제스처와 터치 입력을 동시에 또는 순차적으로 감지할 수 있다. 또한, 단말은 터치 입력이 지속되는 동안 공간상의 제스처를 감지할 수도 있다.
다음으로, 단말은 감지된 공간상의 제스처를 분석할 수 있다(S120).
단말은 입력된 영상을 분석하거나 근접 센서를 이용하여 공간상의 제스처를 감지할 수 있다. 단말은 입력 수단이 하나 이상의 방향을 향하거나 임의의 형태를 형성하는 움직임(쓸어넘기기, sweep 등으로 명명될 수 있음), 움직임의 속도, 움직임의 길이, 입력 수단의 모양(예를 들어 손 또는 손가락의 모양) 또는 입력 수단이 접근하는 하나 이상의 좌표, 접근 속도, 접근 거리 등을 분석할 수 있다.
입력 수단이 손인 경우를 예로 들면, 단말이 감지할 수 있는 다양한 공간상의 제스처는 탭(손을 앞으로 숙였다 올리기), 쓸기(손을 상/항/좌/우 방향으로 쓸어내듯 이동하기), 흔들기(수평 또는 수직으로 흔들기), 돌리기(시계방향, 반시계방향), 움켜쥐기(손을 펴고 있다가 주먹 쥐기), 꼬집기(엄지와 검지를 오므리기), 접근, 추적(손의 움직임을 실시간으로 추적하기), 덮기(손으로 단말을 덮은 상태 유지), 밀기(손을 단말 방향으로 밀기), 양손 밀기, 양손 벌리기, 양손 회전, 양손 모으기, 터치 후 쓸기, 근접하기 중 어느 하나일 수 있다. 상술한 제스처는 도 2 내지 도 25에 간략히 도시되어 있다.
다음으로, 단말은 분석 결과에 대응하는 임의의 동작을 결정할 수 있다(S130).
단말은 분석된 공간상의 제스처에 대응하는 임의의 동작을 결정할 수 있다.
구체적으로, 단말은 단말의 기능 모드를 판단할 수 있다.
단말의 기능 모드는 단말이 지원하는 다양한 기능은 카메라 촬영, 멀티미디어 재생, 문자 송수신, 호 송수신, 독서기능, 내비게이션 등이 실행 중인 모드일 수 있다.
단말은 기능 모드를 기초로 공간상의 제스처에 대응하는 임의의 동작을 결정할 수 있다.
예를 들어, 단말이 멀티미디어 재생 중인 경우, 공간상의 제스처가 임의의 방향을 향하는 움직임으로 판단된 경우, 단말은 임의의 기능으로 재생 목록 중 임의의 방향에 대응하는 곡을 재생하는 동작을 결정할 수 있다.
또한, 예를 들어, 독서기능 중인 경우, 공간상의 제스처가 임의의 방향을 향하는 움직임으로 판단된 경우, 단말은 임의의 기능으로 임의의 방향에 대응하는 책의 페이지를 표시하는 동작을 결정할 수 있다.
단말은 임의의 동작을 결정하기 위하여, 도 26에 도시된 바와 같은 공간상의 상호 작용 세트를 이용할 수 있다.
즉, 단말은 임의의 공간상의 제스처에 대한 설명 및 이를 지시하는 명칭을 정의하고, 해당 공간상의 제스처에 대한 메타포를 저장할 수 있다. 메타포는 해당 공간상의 제스처에 대응하는 임의의 동작을 나타낼 수 있다. 메타포는 예를 들어 단말은 감지된 공간상의 제스처를 분석하고, 분석 결과를 기초로 공간상의 상호 작용 세트를 이용하여 임의의 동작을 결정할 수 있다.
다음으로, 단말은 임의의 동작을 수행할 수 있다(S140).
단말은 결정된 임의의 동작을 수행할 수 있다.
하기에서 공간상의 제스처를 이용하여 단말이 다양한 임의의 동작을 수행하는 구체적인 실시 예를 도면을 참조하여 설명하도록 한다.
도 27은 본 발명의 제1 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 27을 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고, 이를 분석할 수 있다. 단말은 영상 입력을 통하여 감지된 입력 수단의 움직임에 대하여 적어도 하나의 방향, 속도, 이동 거리 등을 분석할 수 있다. 예를 들어, 단말은 사용자의 손이 좌/우로 향하는 움직임을 감지할 수 있다.
단말은 분석 결과에 따라 임의의 동작을 수행할 수 있다. 예를 들어, 단말은 표시부 상의 아이템을 좌/우로 이동시킬 수 있다.
단말은 움직임의 속도에 따라 아이템을 빠르게 또는 느리게 이동시킬 수 있다. 또한, 단말은 움직임의 속도, 길이를 기초로 책의 복수의 페이지를 넘기거나, 움직임의 속도에 따라 한 챕터를 넘길 수도 있다. 또한, 단말은 사진 앨범의 사진을 넘기거나, 멀티미디어 재생 중 재생되는 멀티미디어를 목록의 다음 멀티미디어를 재생할 수 있다.
도 28은 본 발명의 제2 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 28을 참조하면, 단말은 터치 입력과 공간상의 제스처를 동시에 또는 순차적으로 감지할 수 있다. 또한, 단말은 터치 입력이 지속 되는 동안 공간상의 제스처를 감지할 수 있다. 예를 들어, 단말은 표시부의 임의의 위치에 대한 터치 입력이 발생하고, 터치 입력이 지속되는 상태에서 임의의 방향을 향하는 움직임의 공간상의 제스처를 감지할 수 있다.
이 경우, 단말은 임의의 위치에 대한 터치 입력을 기초로 표시부에 표시된 아이템을 선택하고, 공간상의 제스처를 기초로 표시부에 표시된 아이템을 좌/우로 이동시킬 수 있다. 선택된 아이템은 예를 들어, 배경화면의 아이콘, 위젯, 이미지 등일 수 있다.
반면, 단말은 공간상의 제스처를 기초로, 터치 입력에 의하여 선택된 아이템을 제외한 나머지 아이템들을 좌/우로 이동시킬 수도 있다. 나머지 아이템은 예를 들어, 선택되지 않은 아이콘/위젯 및 배경화면에 표시되는 모든 UI를 포함할 수 있다.
또한, 단말은 공간상의 제스처를 기초로, 터치 입력에 의하여 선택된 사용자에게 호, 문자 메시지, 파일 등을 송신할 수 있다.
도 29는 본 발명의 제3 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 29를 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고 이를 분석할 수 있다. 단말은 영상 입력을 통하여 감지된 움직임에 대하여 움켜지는 움직임으로 분석할 수 있다.
단말은 분석 결과를 기초로 임의의 동작을 수행할 수 있다.
예를 들어, 단말은 표시부에 표시된 내용을 캡쳐하여 저장하거나, 표시되지 않은 내용을 포함한 전체 콘텐츠의 내용을 캡쳐하여 저장할 수 있다. 단말은 캡쳐된 내용을 이미지로 저장할 수 있다.
단말은 캡쳐된 내용을 이미지로 저장할 경우, 이미지의 크기, 해상도, 배율 등을 변경하거나, 미리 설정된 값으로 설정하거나, 또는 움켜지는 움직임의 속도, 움켜지기 전의 손가락이 펼쳐진 정도, 움겨지고 나서 손가락이 움켜진 정도 등을 기초로 임의의 값으로 설정하여 저장할 수 있다.
도 30은 본 발명의 제4 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 30을 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고, 이를 분석할 수 있다. 단말은 영상 입력을 분석하여 임의의 방향을 향하는 공간상의 제스처로 판단할 수 있다.
단말은 판단된 공간상의 제스처를 기초로, 복수의 웹 브라우저 간 이동하는 동작을 수행할 수 있다. 단말은 복수의 웹 브라우저가 복수의 탭 형태로 표시된 경우, 복수의 탭 간 이동하는 동작을 수행할 수 있다. 또는 단말은, 복수의 애플리케이션이 구동 중인 경우, 복수의 애플리캐이션 간 이동하는 동작을 수행할 수도 있다.
단말은 표시부에 표시되어 있는 웹 브라우저에 대하여 좌/우/상단/하단 또는 최상단/하단으로 이동된 화면을 표시할 수 있다. 또는 단말은 표시부에 표시되어 있는 웹 브라우저의 새로 고침을 수행하거나, 확대/축소, 페이지 복사, 검색, 인쇄, 이전/다음 페이지로 이동 등의 동작을 수행할 수 있다.
도 31은 본 발명의 제5 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 31을 참조하면, 단말은 카메라를 통하여 영상 입력을 감지하고, 입력 수단의 모양을 분석할 수 있다. 예를 들어, 단말은 손의 모양을 판단할 수 있다. 단말은 펼쳐진 손가락의 수, 손가락의 모양, 손바닥 또는 손등의 형태, 위치, 크기 등을 분석할 수 있다.
단말은 입력 수단의 모양을 기초로 임의의 동작을 수행할 수 있다.
단말은 펼쳐진 손가락의 수를 기초로 카메라의 촬영 시간을 결정할 수 있다. 예를 들어, 단말은 펼쳐진 손가락의 수에 대응하는 시간 후에 카메라 촬영을 수행하거나, 펼쳐진 손가락의 수에 대응하는 시간 동안 영상을 촬영할 수 있다. 또한, 단말은 손 모양을 기초로 즉시 촬영을 수행할 수도 있다.
또한, 단말은 손 모양을 기초로 오토 포커싱을 수행할 수 있다. 예를 들어, 손 모양이 엄지 손가락을 든 모양인 경우, 카메라는 오토 포커싱을 수행할 수 있다.
또한, 단말은 감지된 공간상의 제스처를 기초로 임의의 촬영 효과를 적용할 수도 있다.
도 32는 본 발명의 제6 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 32를 참조하면, 단말은 임의의 방향을 향하는 움직임 또는 단말에 근접하는 입력 수단의 제스처를 감지할 수 있다. 예를 들어, 단말은 임의의 방향으로 이동하는 손의 움직임 또는 단말의 임의의 위치에 근접하는 손가락을 감지할 수 있다.
단말은 감지된 움직임의 방향, 속도 또는 근접하는 손가락의 좌표, 거리 등을 분석할 수 있다.
단말은 분석 결과를 기초로 임의의 동작을 수행할 수 있다.
단말은 임의의 방향 및 속도를 따라 움직이는 수면을 표시할 수 있다. 또는, 단말은 임의의 좌표로 물방울이 떨어지는 화면을 표시할 수 있다. 이 외에도 단말은 다양한 감성적인 효과를 나타내는 화면을 표시할 수 있다. 단말은 2D 또는 3D로 화면을 표시할 수 있으며, 표시되는 화면에 대응하여, 진동, 음향 등을 함께 출력할 수도 있다.
도 33은 본 발명의 제7 실시 예에 따른 단말 제어 방법을 나타낸 도면이다.
도 33을 참조하면, 단말은 단말을 향해 다가오는 움직임 또는 단말에 근접한 입력 수단의 제스처를 감지하고, 이를 분석하여 임의의 동작을 수행할 수 있다.
단말은 기능 모드를 기초로, 간단한 정보를 표시할 수 있다. 예를 들어, 단말이 잠김 모드인 상태 또는 표시부가 절전 모드인 상태인 경우, 단말은 날짜, 시간, 배터리 충전 상태, 경고창 등을 표시할 수 있다.
도 34는 본 발명의 제8 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.
도 34를 참조하면, 단말은 임의의 방향을 향하는 움직임을 감지하고 이를 분석할 수 있다. 또한, 단말은 단말의 기능 모드를 기초로 임의의 동작을 수행할 수 있다.
단말은 속도/가속도 센서, 자이로 센서 등을 통해 단말이 운전 모드임을 판단할 수 있다. 또한, 단말은 통화가 수신된 경우, 임의의 방향으로 향하는 움직임이 감지된 경우, 호를 수신하거나 또는 호를 거절하고 운전 중임을 알리는 메시지를 호의 상대방에게 송출할 수 있다. 또한, 단말은 운전 모드 중 음악의 볼륨을 조절하거나 메시지를 송수신하는 동작을 수행할 수도 있다.
도 35는 본 발명의 제9 실시 예에 따른 단말의 제어 방법을 나타낸 도면이다.
도 35를 참조하면, 단말은 공간상의 제스처를 기초로 멀티미디어 재생을 제어할 수 있다.
예를 들어, 단말은 카메라를 통하여 영상 입력을 감지하고, 감지된 입력 수단의 움직임, 모양 등을 기초로 멀티미디어 리스트의 이전/이후 파일을 재생하거나, 재생/정지를 제어하거나, 셔플 기능을 수행할 수 있다.
도 36은 본 발명에 따른 단말의 구성을 나타낸 블록도이다.
도 36을 참조하면, 단말(100)은 입력부(110), 센서부(120), 제어부(130), 카메라부(140), 저장부(150) 및 표시부(160)를 포함하여 구성될 수 있다.
입력부(110)는 사용자가 단말(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 입력부(110)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센서부(120)는 터치 센서부(121), 근접 센서부(122), 속도/가속도 센서부(123) 및 자이로 센서부(124)를 포함하여 구성될 수 있다.
터치 센서부(120)는 터치 입력을 감지할 수 있으며, 터치 필름, 터치 시트, 터치 패드 중 적어도 하나로 구성될 수 있다.
터치 센서부(120)는 표시부(160)와 상호 레이어 구조를 가짐으로써 터치 스크린으로 동작할 수 있다. 이때, 터치 센서부(120)는 표시부(160)의 특정 부위에 가해진 압력 또는 표시부(160))의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서부(120)는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서부(120)에 따라 터치 입력이 감지된 경우, 터치 센서부(120)는 그에 대응하는 신호를 처리하여 제어부(130)로 전송할 수 있다. 이로써, 제어부(130)는 표시부(160)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
근접 센서부(122)는 표시부(160)에 의해 감싸지는 단말(100)의 내부 영역 또는 표시부(160) 근처에 배치될 수 있다. 근접 센서부(122)는 소정의 검출 면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출할 수 있다. 이때, 표시부(160)는 터치 스크린일 수 있다.
근접 센서부(122)는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 중 적어도 하나로 구성될 수 있다. 표시부(160)가 정전식 터치 스크린 인 경우, 근접 센서부(122)는 포인터의 근접에 따른 전계의 변화로 포인터의 근접을 검출하도록 구성된다.
근접 센서부(122)는 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 표시부(160)에 표시될 수 있다.
속도/가속도 센서부(123)는 단말(100)의 움직임을 감지할 수 있다. 속도/가속도 센서부(123)는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로 구성될 수 있다. 제어부(130)는 속도/가속도 센서부(123)에 의해 감지된 단말(100)의 움직임을 기초로, 단말(100)이 운전 모드인지 판단할 수 있다.
자이로 센서부(124)는 단말의 회전 상태를 감지할 수 있다. 자이로 센서부(124)는 단말(100)의 각속도를 측정하여, 기준 방향에 대하여 회전된 각도를 감지할 수 있다. 예를 들어, 자이로 센서부(124)는 3개 방향의 축을 기준으로 한 각각의 회전 각도, 즉 방위각(azimuth), 피치(pitch) 및 롤(roll)을 감지할 수 있다. 제어부(130)는 자이로 센서부(124)에 의하여 감지된 회전 상태를 기초로 단말(100)이 바닥에 놓여진 상태인지, 도킹 상태인지 판단할 수 있다.
제어부(130)는 단말(100)의 각 구성 요소에 대한 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(130)는 단말(100)에 대한 공간상의 제스처를 감지하고, 이를 분석하여, 분석 결과를 기초로 임의의 동작을 결정하고, 이를 수행하도록 단말(100)을 제어할 수 있다.
제어부(130)의 상세한 동작은 상술한 바와 같다.
카메라부(140)는 화상 통화 모드 또는 활영 모드에서 이미지 센서에 의해 얻어지는 정지 영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 표시부(160)에 표시될 수 있다.
카메라부(140)에서 처리된 화상 프레임은 저장부(150)에 저장되거나 제어부(130)로 전송될 수 있다. 제어부(130)는 카메라부(140)에 의하여 획득된 영상을 분석하여 영상의 모양, 형태 등을 분석할 수 있다.
저장부(150)는 제어부(130)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 저장부(150)는 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
또한, 저장부(150)는 공간상의 제스처를 기초로 임의의 동작을 매칭시킨 공간상의 상호 작용 세트를 저장할 수 있다.
저장부(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 xD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
표시부(160)는 단말(100)에서 처리되는 정보를 UI 또는 GUI 형태로 표시(출력)할 수 있다.
표시부(160)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
표시부(160)는 터치 센서부(121) 및/또는 근접 센서부(123)와 상호 레이어 구조를 이루어 터치 스크린으로 동작할 수 있다. 이 경우, 표시부(160)는 출력 장치 이외에 입력 장치로도 동작할 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 단말 110: 입력부
120: 센서부 130: 제어부
140: 카메라부 150: 저장부
160: 표시부

Claims (22)

  1. 단말에 인접한 공간 내에서 임의의 방향으로 이동하는 사용자 제스처를 감지하는 단계;
    상기 사용자 제스처의 이동 방향, 이동 속도, 이동 거리 중 적어도 하나를 판단하는 단계; 및
    상기 판단 결과에 따라 현재 구동 중인 애플리케이션에 대한 제어 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  2. 제1항에 있어서, 상기 사용자 제스처는,
    입력을 발생시키기 위한 오브젝트가 상기 단말로부터 기 설정된 거리 내로 접근하고, 상기 기 설정된 거리 내에서 상기 임의의 방향으로 이동하는 제스처로 구성되는 것을 특징으로 하는 단말의 제어 방법.
  3. 제1항에 있어서, 상기 사용자 제스처는,
    좌우 또는 상하에 대한 단방향 이동, 단방향 스윕, 왕복 이동, 양방향 이동 또는 흔들기 중 어느 하나인 것을 특징으로 하는 단말의 제어 방법.
  4. 제1항에 있어서, 상기 제어 동작을 수행하는 단계는,
    상기 이동 방향으로 전자책의 페이지를 넘기는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  5. 제4항에 있어서, 상기 전자책의 페이지를 넘기는 단계는,
    상기 사용자 제스처의 이동 속도 및 이동 거리 중 적어도 하나를 기초로, 복수의 페이지 또는 적어도 하나의 챕터를 넘기는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  6. 제1항에 있어서, 상기 제어 동작을 수행하는 단계는,
    상기 사용자 제스처를 기초로, 미디어 파일의 재생을 제어하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  7. 제6항에 있어서, 상기 미디어 파일의 재생을 제어하는 단계는,
    상기 이동 방향, 상기 이동 속도 및 상기 이동 거리 중 적어도 하나에 대응하여 이전 미디어 파일 또는 다음 미디어 파일의 재생, 볼륨 업 또는 다운, 재생 시작 또는 정지 및 셔플 기능 중 적어도 하나의 동작 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  8. 제1항에 있어서, 상기 제어 동작을 수행하는 단계는,
    상기 이동 방향, 상기 이동 속도 및 상기 이동 거리 중 적어도 하나에 대응하여 표시부 상에 표시된 상기 애플리케이션의 콘텐츠를 상/하/좌/우/최상단/최하단으로 이동, 확대/축소, 복사, 인쇄, 검색하는 동작 중 적어도 하나를 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  9. 제8항에 있어서, 상기 콘텐츠는,
    웹 페이지, 목록, 이미지, 이북을 포함하는 것을 특징으로 하는 단말의 제어 방법.
  10. 제1항에 있어서, 상기 제어 동작을 수행하는 단계는,
    표시부 상에 표시된 화면에 상기 사용자 제스처에 대응하는 효과를 적용하도록 제어하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  11. 제10항에 있어서, 상기 효과를 적용하도록 제어하는 단계는,
    상기 이동 방향, 상기 이동 속도 및 상기 이동 거리 중 적어도 하나에 대응하여 물결 효과, 물방울 효과, 바람 효과, 색상 변화 효과, 화면 전환 효과 중 적어도 하나를 적용하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  12. 제10항에 있어서, 상기 표시된 화면은,
    대기 화면, 잠금 화면, 사용자 인터페이스 화면 중 적어도 하나를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  13. 제1항에 있어서, 상기 제어 동작을 수행하는 단계는,
    상기 사용자 제스처에 대응하여 웹 브라우저를 구성하는 적어도 하나의 탭 또는 현재 구동 중인 적어도 하나의 애플리케이션 간 스위칭을 수행하는 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  14. 제13항에 있어서, 상기 스위칭을 수행하는 단계는,
    상기 이동 방향에 대응하는 상기 적어도 하나의 탭 또는 상기 현재 구동 중인 애플리케이션을 판단하는 단계; 및
    상기 판단 결과에 따라, 상기 이동 방향에 대응하는 탭 또는 상기 현재 구동 중인 애플리케이션이 화면상에 표시되도록 상기 스위칭을 수행하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  15. 제1항에 있어서, 상기 제어 동작을 수행하는 단계는,
    상기 사용자 제스처에 대응하여 전화를 수신하도록 제어하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  16. 제1항에 있어서, 상기 사용자 제스처를 감지하는 단계는,
    손가락, 손날 및 손바닥 중 적어도 하나의 움직임을 감지하는 단계를 포함하는 것을 특징으로 하는 단말의 제어 방법.
  17. 단말에 인접한 공간 내에서 임의의 방향으로 이동하는 사용자 제스처를 감지하는 센서부;
    상기 사용자 제스처의 이동 방향, 이동 속도, 이동 거리 중 적어도 하나를 판단하고, 상기 판단 결과에 따라 현재 구동 중인 애플리케이션에 대한 제어 동작을 수행하는 제어부; 및
    상기 제어부의 제어에 의하여, 상기 애플리케이션의 화면을 표시하는 표시부를 포함하는 것을 특징으로 하는 단말.
  18. 제17항에 있어서, 상기 사용자 제스처는,
    입력을 발생시키기 위한 오브젝트가 상기 단말로부터 기 설정된 거리 내로 접근하고, 상기 기 설정된 거리 내에서 상기 임의의 방향으로 이동하는 제스처로 구성되는 것을 특징으로 하는 단말.
  19. 제17항에 있어서, 상기 제어부는,
    상기 사용자 제스처에 대응하여, 페이지 넘김, 재생 제어, 콘텐츠 이동, 웹 브라우저의 탭 전환, 애플리케이션 스위칭, 전화 수신 및 표시된 화면상에 임의의 효과 적용 중 적어도 하나의 제어 동작을 수행하는 것을 특징으로 하는 단말.
  20. 제17항에 있어서, 상기 센서부는,
    근접 센서, 적외선 센서 및 카메라 센서 중 적어도 하나를 이용하여 상기 사용자 제스처를 감지하고, 상기 감지된 사용자 제스처에 대한 입력 신호를 생성하여 상기 제어부로 전달하는 것을 특징으로 하는 단말.
  21. 제17항에 있어서, 상기 사용자 제스처는,
    좌우 또는 상하에 대한 단방향 이동, 단방향 스윕, 왕복 이동, 양방향 이동 또는 흔들기 중 어느 하나인 것을 특징으로 하는 단말.
  22. 제17항에 있어서, 상기 센서부는,
    손가락, 손날 및 손바닥 중 적어도 하나의 움직임을 감지하는 것을 특징으로 하는 단말.
KR1020120047678A 2012-05-04 2012-05-04 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말 KR20130124061A (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020120047678A KR20130124061A (ko) 2012-05-04 2012-05-04 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
US13/874,510 US20130293454A1 (en) 2012-05-04 2013-05-01 Terminal and method for controlling the same based on spatial interaction
AU2013205613A AU2013205613B2 (en) 2012-05-04 2013-05-01 Terminal and method for controlling the same based on spatial interaction
EP13166321.3A EP2660682A3 (en) 2012-05-04 2013-05-02 Terminal and method for controlling the same based on spatial interaction
EP20185022.9A EP3742263A1 (en) 2012-05-04 2013-05-02 Terminal and method for controlling the same based on spatial interaction
CN201910897441.9A CN110647244A (zh) 2012-05-04 2013-05-06 终端和基于空间交互控制所述终端的方法
CN2013101629001A CN103383598A (zh) 2012-05-04 2013-05-06 终端和基于空间交互控制所述终端的方法
JP2013097719A JP2013235588A (ja) 2012-05-04 2013-05-07 空間上の相互作用に基づく端末の制御方法及びその端末
US15/847,112 US20180107282A1 (en) 2012-05-04 2017-12-19 Terminal and method for controlling the same based on spatial interaction
US16/859,408 US20200257373A1 (en) 2012-05-04 2020-04-27 Terminal and method for controlling the same based on spatial interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120047678A KR20130124061A (ko) 2012-05-04 2012-05-04 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말

Related Child Applications (4)

Application Number Title Priority Date Filing Date
KR1020120132222A Division KR20130124138A (ko) 2012-05-04 2012-11-21 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR1020120132223A Division KR20130124139A (ko) 2012-05-04 2012-11-21 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR1020120137740A Division KR20130124143A (ko) 2012-05-04 2012-11-30 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR1020190018622A Division KR102061254B1 (ko) 2019-02-18 2019-02-18 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말

Publications (1)

Publication Number Publication Date
KR20130124061A true KR20130124061A (ko) 2013-11-13

Family

ID=49853162

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120047678A KR20130124061A (ko) 2012-05-04 2012-05-04 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말

Country Status (1)

Country Link
KR (1) KR20130124061A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885597A (zh) * 2014-03-27 2014-06-25 广东威创视讯科技股份有限公司 空间输入识别方法和系统
WO2015174623A1 (ko) * 2014-05-16 2015-11-19 삼성전자주식회사 입력 처리 장치 및 방법
KR20150144091A (ko) * 2014-06-16 2015-12-24 엘지전자 주식회사 차량용 디스플레이 장치
KR20170012628A (ko) * 2015-07-21 2017-02-03 삼성전자주식회사 롤러블 디스플레이 장치 및 그 제어 방법
US9857878B2 (en) 2014-12-26 2018-01-02 Samsung Electronics Co., Ltd. Method and apparatus for processing gesture input based on elliptical arc and rotation direction that corresponds to gesture input
CN110249290A (zh) * 2017-02-13 2019-09-17 索尼公司 信息处理设备、信息处理方法和程序

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885597A (zh) * 2014-03-27 2014-06-25 广东威创视讯科技股份有限公司 空间输入识别方法和系统
CN103885597B (zh) * 2014-03-27 2017-06-13 广东威创视讯科技股份有限公司 空间输入识别方法和系统
WO2015174623A1 (ko) * 2014-05-16 2015-11-19 삼성전자주식회사 입력 처리 장치 및 방법
KR20150131761A (ko) * 2014-05-16 2015-11-25 삼성전자주식회사 입력 처리 장치 및 방법
US10817138B2 (en) 2014-05-16 2020-10-27 Samsung Electronics Co., Ltd. Device and method for input process
KR20150144091A (ko) * 2014-06-16 2015-12-24 엘지전자 주식회사 차량용 디스플레이 장치
US9857878B2 (en) 2014-12-26 2018-01-02 Samsung Electronics Co., Ltd. Method and apparatus for processing gesture input based on elliptical arc and rotation direction that corresponds to gesture input
KR20170012628A (ko) * 2015-07-21 2017-02-03 삼성전자주식회사 롤러블 디스플레이 장치 및 그 제어 방법
CN110249290A (zh) * 2017-02-13 2019-09-17 索尼公司 信息处理设备、信息处理方法和程序

Similar Documents

Publication Publication Date Title
AU2013205613B2 (en) Terminal and method for controlling the same based on spatial interaction
US9239674B2 (en) Method and apparatus for providing different user interface effects for different implementation characteristics of a touch event
US8823749B2 (en) User interface methods providing continuous zoom functionality
US9047046B2 (en) Information processing apparatus, information processing method and program
EP2433275B1 (en) Hand-held device with ancillary touch activated zoom or transformation of active element, method of operation and computer readable medium
US20110050608A1 (en) Information processing apparatus, information processing method and program
US20140165013A1 (en) Electronic device and page zooming method thereof
EP2708996A1 (en) Display device, user interface method, and program
US20140218309A1 (en) Digital device for recognizing double-sided touch and method for controlling the same
US8963865B2 (en) Touch sensitive device with concentration mode
US20140168077A1 (en) Multi-touch navigation mode
US20130162516A1 (en) Apparatus and method for providing transitions between screens
KR20130124061A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
US20150033193A1 (en) Methods for modifying images and related aspects
KR102161061B1 (ko) 복수의 페이지 표시 방법 및 이를 위한 단말
US20140380244A1 (en) Visual table of contents for touch sensitive devices
KR20130124139A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
US9256360B2 (en) Single touch process to achieve dual touch user interface
US9626742B2 (en) Apparatus and method for providing transitions between screens
KR102194778B1 (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR20130124143A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR102061254B1 (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR20130124138A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말
KR20200143346A (ko) 공간상의 상호 작용을 이용한 단말의 제어 방법 및 그 단말

Legal Events

Date Code Title Description
AMND Amendment
A107 Divisional application of patent
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent