KR102336445B1

KR102336445B1 - 디바이스를 제어하는 방법, 시스템 및 그 디바이스

Info

Publication number: KR102336445B1
Application number: KR1020140169971A
Authority: KR
Inventors: 주유성; 김요한; 백은교; 이종원; 정현권
Original assignee: 삼성전자주식회사
Priority date: 2014-12-01
Filing date: 2014-12-01
Publication date: 2021-12-07
Also published as: EP3201748A4; US20160154519A1; WO2016089063A1; CN107111446A; US20210011599A1; EP3627302B1; EP3627302A1; US11513676B2; KR20160065673A; US10824323B2; EP3627302C0; EP3201748A1; CN107111446B

Abstract

디바이스에서 획득되는 호버링 입력의 3차원 위치 정보를 획득하고, 디바이스에서 실행되는 어플리케이션의 동작 및 획득되는 호버링 입력의 3차원 위치 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택하고, 호버링 입력에 따라 기 설정된 유형의 실행 입력을 획득하여, 선택된 적어도 하나의 태스크를 수행하는 디바이스를 제어하는 방법이 개시된다.

Description

디바이스를 제어하는 방법, 시스템 및 그 디바이스{Method and system for controlling device and for the same}

본 발명은 디바이스를 제어하는 방법, 디바이스를 제어하는 시스템 및 그 디바이스에 관한 것이다.

네트워크 및 멀티미디어 기술이 발전함에 따라, 디바이스의 사용자는 서비스 제공 서버로부터 다양한 서비스를 제공받을 수 있게 되었다. 또한, 네트워크 및 멀티미디어 기술의 발전과 함께 디바이스에 관한 연구가 활발히 이루어지면서, 디바이스들은 사용자에게 여러 가지 형태의 사용자 인터페이스를 제공할 수 있다.

디바이스가 제공 가능한 서비스와 사용자 인터페이스의 형태가 다양해 지면서, 사용자가 원하는 서비스를 제공받기 위해, 디바이스를 제어하는 경우, 입력할 수 있는 사용자 입력의 형태도 다양해졌다. 최근에는 디바이스에 포함되는 센서들이 다양해 지면서, 사용자가 이용 가능한 서비스에 보다 적합한 입력 형태를 제공할 수 있도록 다양한 종류의 입력 형태를 인식하여 디바이스를 제어할 수 있는 기술이 요구되고 있다.

본 발명은 디바이스에서 획득한 호버링 입력을 기초로 디바이스에서 디스플레이 되는 오브젝트를 제어하는 방법, 장치 및 시스템에 관한 것이다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 방법은 획득되는 호버링 입력의 3차원 위치 정보를 획득하는 단계; 디바이스에서 실행되는 어플리케이션의 동작 및 획득되는 호버링 입력의 3차원 위치 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택하는 단계; 호버링 입력에 따라 기 설정된 유형의 실행 입력을 획득하여, 선택된 적어도 하나의 태스크를 수행하는 단계를 포함한다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 적어도 하나의 태스크를 선택하는 단계는, 디바이스와 호버링 입력을 생성하는 호버링 입력 수단 간의 거리를 결정하는 단계; 결정된 거리에 기초하여 호버링 입력의 3차원 위치 정보를 획득하는 단계; 및 호버링 입력의 3차원 위치 정보에 따라 결정되는 호버링 입력의 종류에 기초하여 적어도 하나의 태스크를 선택하는 단계를 포함한다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 적어도 하나의 태스크를 선택하는 단계는, 복수의 태스크들을 나타내고 어플리케이션의 동작에 따라 출력되는 적어도 하나의 객체들 중에서, 호버링 입력을 생성하는 호버링 입력 수단의 위치에 대응되는 객체를 결정하는 단계를 포함하고, 적어도 하나의 태스크는, 결정된 객체 및 호버링 입력의 3차원 위치 정보에 따라 결정된다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 복수의 태스크들은, 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별된다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 적어도 하나의 태스크를 선택하는 단계는, 어플리케이션이 실행되는 경우, 디바이스에 출력되는 객체들 중에서 적어도 하나가 나타내는 디바이스에서 실행 가능한 복수의 어플리케이션들 중 적어도 하나를 호버링 입력의 3차원 위치 정보에 기초하여, 선택하는 단계를 포함한다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 적어도 하나의 태스크를 선택하는 단계는, 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향에 관한 정보를 획득하는 단계; 호버링 입력 수단이 움직이는 방향에 대응되는 동작을 선택하는 단계; 및 호버링 입력의 3차원 위치 정보에 기초하여, 상기 선택된 동작이 수행되는 방법을 결정하는 단계를 포함한다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 적어도 하나의 태스크를 선택하는 단계는, 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 형태에 기초하여 획득한 호버링 입력의 종류를 결정하는 단계; 결정된 호버링 입력의 종류에 대응되는 적어도 하나의 동작을 선택하는 단계; 및 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 동작이 수행되는 방법을 결정하는 단계를 포함한다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 실행 입력을 획득하는 단계는, 어플리케이션에 관해 기 저장된 데이터 베이스에 기초하여 호버링 입력에 대응되는 실행 입력인지 여부를 판단하는 단계를 포함하고, 선택된 적어도 하나의 태스크를 수행하는 단계는, 호버링 입력과 대응되는 실행 입력을 획득한 경우 선택된 적어도 하나의 태스크를 수행한다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 방법은, 제 1 디바이스에서 획득되는 호버링 입력의 3차원 위치 정보를 포함하는 특성 정보를 획득하는 단계; 획득된 특성 정보를 제 2 디바이스로 전송하는 단계; 및 제 2 디바이스에서 실행되는 어플리케이션의 동작 및 특성 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 단계를 포함한다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 호버링 입력의 3차원 위치 정보는, 호버링 입력을 생성하는 호버링 입력 수단과 제 1 디바이스 간의 거리에 기초하여 결정되고, 호버링 입력의 특성 정보는, 호버링 입력 수단의 움직임 정보를 더 포함한다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 방법에 있어서, 복수의 태스크들은, 제 2 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별된다.

본 발명의 일 실시예에 따른 디바이스는 호버링 입력을 획득하는 입력부; 디바이스에서 실행되는 어플리케이션의 동작 및 획득되는 호버링 입력의 3차원 위치 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택하는 제어부; 및 호버링 입력에 따라 기 설정된 유형의 실행 입력을 획득하여, 선택된 적어도 하나의 태스크를 수행하는 출력부를 포함한다.

본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 디바이스와 호버링 입력을 생성하는 호버링 입력 수단 간의 거리를 결정하여, 결정된 거리에 기초하여 호버링 입력의 3차원 위치 정보를 획득하고, 호버링 입력의 3차원 위치 정보에 따라 결정되는 호버링 입력의 종류에 기초하여 적어도 하나의 태스크를 선택한다.

본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 복수의 태스크들을 나타내고 어플리케이션의 동작에 따라 출력되는 적어도 하나의 객체들 중에서, 호버링 입력을 생성하는 호버링 입력 수단의 위치에 대응되는 객체를 결정하고, 적어도 하나의 태스크는, 결정된 객체 및 호버링 입력의 3차원 위치 정보에 따라 결정된다.

본 발명의 일 실시예에 따른 디바이스에 있어서, 복수의 태스크들은, 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별된다.

본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 어플리케이션이 실행되는 경우, 디바이스에 출력되는 객체들 중에서 적어도 하나가 나타내는 디바이스에서 실행 가능한 복수의 어플리케이션들 중 적어도 하나를 호버링 입력의 3차원 위치 정보에 기초하여, 선택한다.

본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향에 관한 정보를 획득하여, 호버링 입력이 움직이는 방향에 대응되는 동작을 선택하고, 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 동작을 수행하는 방법을 결정한다.

본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 패턴에 기초하여 획득한 호버링 입력의 종류를 결정하여, 결정된 호버링 입력의 종류에 대응되는 적어도 하나의 동작을 선택하고, 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 동작이 수행되는 방법을 결정한다.

본 발명의 일 실시예에 따른 디바이스에 있어서, 제어부는, 어플리케이션에 관해 기 저장된 데이터 베이스에 기초하여 획득된 실행 입력이 호버링 입력에 대응되는 실행 입력인지 여부를 판단하고, 출력부는, 호버링 입력과 대응되는 실행 입력을 획득한 경우 선택된 적어도 하나의 태스크를 수행한다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템은 획득되는 호버링 입력의 3차원 위치 정보를 포함하는 특성 정보를 획득하는 제 1 디바이스; 및 제 1 디바이스로부터 특성 정보를 수신하고, 실행되는 어플리케이션의 동작 및 특성 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 제 2 디바이스를 포함한다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템에 있어서, 호버링 입력의 3차원 위치 정보는, 호버링 입력을 생성하는 호버링 입력 수단과 제 1 디바이스 간의 거리에 기초하여 결정되고, 호버링 입력의 특성 정보는, 호버링 입력 수단의 움직임 정보를 더 포함한다.

본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템에 있어서, 복수의 태스크들은, 제 2 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별된다.

도 1은 본 발명의 일 실시예에 따라 디바이스를 제어하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따라 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 디바이스가 획득한 호버링 입력의 3차원 위치 정보에 기초하여 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 디바이스가 획득한 호버링 입력의 3차원 위치 정보에 기초하여, 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따라 디바이스가 호버링 입력의 3차원 위치 정보에 따라 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 다이어리 어플리케이션이 실행되는 경우, 디바이스가 호버링 입력의 종류에 따라 다이어리 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따라 음악 재생 어플리케이션이 실행되는 경우, 디바이스가 호버링 입력의 종류에 따라 음악 재생 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 그림판 어플리케이션이 실행되는 경우, 디바이스가 호버링 입력의 종류에 따라 그림판 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 사진 폴더 어플리케이션이 실행되는 경우, 디바이스가 호버링 입력의 종류에 따라 사진 폴더 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라 디바이스가 어플리케이션 실행 시 출력되는 객체들 중 어느 하나에 대응되는 호버링 입력에 기초하여 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시예에 따라, 디바이스가 어플리케이션 실행 시 출력되는 객체들 중 어느 하나에 대응되는 호버링 입력에 기초하여 디바이스를 제어하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 디바이스가 호버링 입력 수단의 움직임 및 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 선택하는 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 일 실시예에 따라 디바이스가 호버링 입력 수단이 움직이는 방향 및 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따라 디바이스가 호버링 입력 수단의 움직이는 패턴 및 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 디바이스(100)가 호버링 입력의 3차원 정보에 기초하여, 결정된 수행 단위에 따라 태스크를 수행하는 방법을 설명하기 위한 흐름도이다.
도 16은 본 발명의 일 실시예에 따른 디바이스(100)가 동영상 재생 어플리케이션이 실행되는 경우 호버링 입력의 3차원 정보에 기초하여 결정된 수행 단위에 따라 태스크를 수행하는 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따라 디바이스를 제어하는 시스템을 설명하기 위한 개념도이다.
도 18은 본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템에서 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.
도 19는 본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템이 제 1 디바이스 및 제 2 디바이스를 제어하는 방법을 설명하기 위한 도면이다.
도 20은 본 발명의 다른 실시예에 따른 디바이스를 제어하는 시스템이 제 1 디바이스 및 제 2 디바이스를 제어하는 방법을 설명하기 위한 도면이다.
도 21 및 도 22는 본 발명의 일 실시예에 따른 디바이스의 구성을 설명하기 위한 블록 구성도이다.
도 23은 본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템에 포함되는 제 1 디바이스의 구성을 설명하기 위한 블록 구성도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 일 실시예에 따라 디바이스(100)를 제어하는 방법을 설명하기 위한 도면이다.

디바이스(100)는 어플리케이션을 실행하는 중에 호버링 입력(10)을 획득한다. 명세서 전체에서 어플리케이션은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 명세서에 기술되는 어플리케이션은 다양할 수 있다. 예를 들어, 음악 재생 어플리케이션, 게임 어플리케이션, 동영상 재생 어플리케이션, 지도 어플리케이션, 메모 어플리케이션, 다이어리 어플리케이션, 폰 북 어플리케이션, 방송 어플리케이션, 운동 지원 어플리케이션, 결제 어플리케이션, 사진 폴더 어플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.

디바이스(100)는 사용자로부터 호버링 입력을 획득한다. 여기에서, 호버링 입력은 사용자가 디바이스(100)로부터 일정 거리에 호버링 입력 수단(예컨대, 전자 펜 또는 손가락, 10)를 위치시킴으로써, 디바이스(100)가 감지하는 정전용량을 변화시켜 사용자가 의도한 동작을 수행하기 위한 명령을 디바이스(100)에 전달하는 입력 방식을 나타낸다. 호버링 입력의 종류는 디바이스(100)와 호버링 입력을 생성하는 호버링 입력 수단(10) 간의 거리에 기초하여 결정될 수 있다. 또한, 호버링 입력의 종류는 호버링 입력 수단(10)이 움직이는 패턴 및 움직이는 방향 중 적어도 하나에 기초하여 결정될 수 있다.

예를 들어, 디바이스(100)는 호버링 입력 수단(10) 및 디바이스(100) 간의 거리가 제 1 뎁스(depth)인 제 1 호버링 입력과 호버링 입력 수단(10) 및 디바이스(100) 간의 거리가 제 2 뎁스(depth)인 제 2 호버링 입력을 서로 다른 종류의 호버링 입력으로 판단할 수 있다. 또한, 디바이스(100)는 호버링 입력 수단(10)이 시계 방향으로 움직임에 따라 생성되는 제 3 호버링 입력과 호버링 입력 수단(10)이 반시계 방향으로 움직임에 따라 생성되는 제 4 호버링 입력을 서로 다른 종류의 호버링 입력으로 판단할 수 있다. 디바이스(100)는 호버링 입력 수단(10)이 원의 형태로 움직임에 따라 생성되는 제 5 호버링 입력과 호버링 입력 수단(10)이 사각형의 형태로 움직임에 따라 생성되는 제 6 호버링 입력을 서로 다른 종류의 호버링 입력으로 판단할 수 있다.

디바이스(100)는 호버링 입력이 획득되는 시점에 디바이스(100)에서 실행되고 있는 어플리케이션에 관한 메타데이터를 획득할 수 있다. 예를 들어, 디바이스(100)는 실행 중인 어플리케이션에 표시되는 컨텐츠에 관한 정보 및 애플리케이션에 표시되는 객체에 관한 정보를 획득할 수 있다. 여기에서, 컨텐츠는 어플리케이션이 실행되는 경우, 사용자가 디바이스(100)로부터 제공받을 수 있는 각종 텍스트, 이미지 및 동영상 중 적어도 하나를 포함하는 멀티미디어일 수 있다. 또한, 객체는 어플리케이션이 실행되는 경우, 사용자가 원하는 컨텐츠를 제공받을 수 있도록 어플리케이션을 제어하기 위해 출력되는 식별 표시로서, 아이콘 등을 포함할 수 있다. 다른 예에 따라 어플리케이션에 관한 메타데이터는 어플리케이션 실행 시 수행 가능한 적어도 하나의 태스크에 관한 정보 및 적어도 하나의 태스크와 획득한 사용자 입력 간의 관계에 관한 정보 등을 포함할 수 있다. 예를 들어, 어플리케이션에 관한 메타데이터는 사진 저장 어플리케이션 실행 시 수행 가능한 사진을 삭제하는 태스크, 사진을 편집하는 태스크를 식별 가능한 식별 값 및 획득한 사용자의 호버링 입력과 대응되는 태스크에 관한 정보 등을 포함할 수 있다.

태스크는 디바이스(100)에서 실행되는 어플리케이션의 동작과 관련된 다른 어플리케이션 또는 실행되는 어플리케이션의 동작과 관련되어 수행 가능한 다른 동작을 포함할 수 있다. 여기에서, 동작이란 디바이스(100)가 실행 가능한 기능에 따라 구별될 수 있다. 예를 들어, 디바이스(100)는 동영상 재생 어플리케이션이 실행되는 경우, 동영상을 재생하는 기능을 실행하는 제 1 동작 및 재생되는 동영상을 정지하는 기능을 실행하는 제 2 동작 등을 수행 가능하다.

디바이스(100)에서 동영상 재생 어플리케이션이 실행되는 경우, 태스크는 동영상 재생 어플리케이션과 관련된 동영상 편집 어플리케이션을 포함할 수 있다. 또한, 태스크는 다른 예에 따라 실행되는 동영상 재생 어플리케이션의 동영상을 재생하는 동작과 관련되어 수행 가능한 동영상을 정지하는 동작을 포함할 수 있다.

한편, 복수의 태스크들은 디바이스(100)에서 실행중인 어플리케이션의 동작과 관련된 어느 하나의 동작을 수행하는 수행 단위에 따라 식별될 수도 있다. 수행 단위에 따라, 동작을 수행하는 정밀도가 결정될 수 있다. 예를 들어, 동영상 재생 어플리케이션에서, 사용자가 특정 프레임을 탐색하려고 하는 경우, 수행 단위에 따라 탐색하는 프레임의 단위가 달라질 수 있다. 예를 들어 디바이스(100)는 10개의 프레임 단위로 재생 구간을 탐색할 수도 있고, 1개의 프레임 단위로 재생 구간을 탐색할 수 있다. 이에 대해서는, 도 15 및 도 16을 참조하여 보다 구체적으로 후술하도록 한다.

본 발명의 일 실시예에 따른 디바이스(100)는 다양한 형태의 사용자 입력을 획득할 수 있다. 예를 들어, 디바이스(10)는 호버링 입력을 획득할 수 있다. 다른 에에 따라, 디바이스(100)는 터치 입력을 획득할 수 있다. 또한, 디바이스(100)는 사용자가 호버링 입력 수단(10)의 버튼을 클릭함으로써 발생하는 신호를 획득할 수 있다.

본 발명의 일 실시예에 따른 디바이스(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스(100)는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자책 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라 등이 있을 수 있으나, 이에 한정되는 것은 아니다.

도 2는 본 발명의 일 실시예에 따라 디바이스(100)를 제어하는 방법을 설명하기 위한 흐름도이다.

단계 210에서, 디바이스(100)는 획득되는 호버링 입력의 3차원 위치 정보를 획득한다. 호버링 입력은 디바이스(100)로부터 일정 거리 상에 위치한 호버링 입력 수단(10)에 의해 발생될 수 있다. 호버링 입력의 3차원 위치 정보는 디바이스(100)와 호버링 입력 수단(10) 간의 거리에 기초하여 결정될 수 있다.

단계 220에서, 디바이스(100)는 디바이스(100)에서 실행되는 어플리케이션의 동작 및 획득되는 호버링 입력의 3차원 위치 정보에 기초하여 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택한다.

디바이스(100)는 호버링 입력이 획득된 시점의 어플리케이션의 동작에 관한 정보를 획득할 수 있다. 예를 들어, 동영상 재생 어플리케이션의 경우, 디바이스(100)는 어플리케이션에서 동영상이 재생되고 있었는지 또는 정지되어 있었는지 등에 대한 정보를 획득할 수 있다. 다른 예를 들어, 메뉴 어플리케이션의 경우, 디바이스(100)는 메뉴 어플리케이션에서 다른 어플리케이션들에 관한 정보가 디스플레이 되고 있는지 또는 잠금 상태로 인하여, 다른 어플리케이션들에 관한 정보가 디스플레이 되고 있지 않은지 등에 관한 정보를 획득할 수 있다.

디바이스(100)는 호버링 입력의 종류를 결정할 수 있다. 디바이스(100)는 호버링 입력을 생성하는 호버링 입력 수단(10)과 디바이스(100) 간의 거리에 기초하여 호버링 입력(10)의 종류를 결정할 수 있다. 다만, 이는 일 실시예일 뿐, 디바이스(100)는 호버링 입력 수단(10)이 움직이는 방향 및 움직이는 패턴 중 적어도 하나에 기초하여, 호버링 입력 수단(10)에 의해 생성되는 호버링 입력의 종류를 결정할 수 있다.

디바이스(100)는 호버링 입력이 획득된 시점의 어플리케이션의 동작과 관련된 복수의 태스크들 중에서, 결정된 종류의 호버링 입력과 대응되는 태스크를 결정할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력 수단(10)과 디바이스(100) 간의 거리가 제 1 뎁스인 제 1 호버링 입력이 획득되고, 제 1 호버링 입력이 획득된 시점에 동영상 재생 어플리케이션에서 동영상을 재생하는 동작이 수행되는 경우, 디바이스(100)는 동영상 재생 어플리케이션에 관한 메타데이터를 기초로, 제 1 호버링 입력에 대응되는 동영상을 정지하는 태스크를 선택할 수 있다.

단계 230에서, 디바이스(100)는 호버링 입력에 따라 기 설정된 유형의 실행 입력을 획득하여, 선택된 적어도 하나의 태스크를 수행한다.

디바이스(100)는 호버링 입력을 획득한 이후에, 선택된 태스크를 수행하도록 요청하는 실행 입력을 획득할 수 있다. 디바이스(100)에서 실행되는 어플리케이션의 메타데이터에는 획득한 호버링 입력에 대응되는 실행 입력의 유형에 관한 정보가 저장될 수 있다. 디바이스(100)는 획득한 실행 입력이 이전에 획득한 호버링 입력에 대응되는지 여부를 어플리케이션의 메타데이터를 이용하여 판단할 수 있다.

한편, 디바이스(100)는 호버링 입력(10)이 획득된 이후 임계 시간 단위 이내에 실행 입력이 획득되지 않은 경우에는 획득한 호버링 입력(10)이 유효하지 않은 것으로 판단할 수 있다. 예를 들어, 호버링 입력(10)이 획득된 이후, 2초 이내에 실행 입력이 획득되지 않은 경우에, 디바이스(100)는 호버링 입력이 유효하지 않은 것으로 판단할 수 있다.

디바이스(100)는 획득한 실행 입력에 기초하여 선택된 적어도 하나의 태스크를 수행한다. 예를 들어, 디바이스(100)는 동영상 재생 어플리케이션을 실행하는 경우, 동영상을 정지하는 태스크가 선택되었다면, 호버링 입력 수단(10)을 오른쪽으로 이동시킴에 따라 생성되는 실행 입력이 획득되는 경우, 디바이스(100)는 동영상을 정지하는 태스크를 수행할 수 있다. 다만, 이는 실행 입력의 일 실시예일 뿐, 본 발명에서 설명하는 실행 입력이 이에 한정되는 것은 아니다.

도 3은 본 발명의 일 실시예에 따라 디바이스(100)가 획득한 호버링 입력의 3차원 위치 정보에 기초하여 디바이스(100)를 제어하는 방법을 설명하기 위한 흐름도이다.

단계 310에서, 디바이스(100)는 호버링 입력을 생성하는 호버링 입력 수단(10)과 디바이스(100) 간의 거리에 관한 정보를 획득할 수 있다. 일 실시예에 따른 디바이스(100)는 호버링 입력이 획득됨에 따라 변화되는 정전 용량을 측정하여, 디바이스(100)와 호버링 입력 수단(10) 간의 거리에 관한 정보를 획득할 수 있다.

단계 320에서, 디바이스(100)는 결정된 거리에 관한 정보에 기초하여 호버링 입력의 3차원 위치 정보를 획득한다. 디바이스(100)는 기설정된 기준면에 기초하여 획득한 거리에 관한 정보를 3차원 위치 정보로 변환할 수 있다. 디바이스(100)가 획득한 거리에 관한 정보를 3차원 위치 정보로 변환하는 방법은 일반적인 좌표 변환 방법 등이 사용될 수 있다. 다만, 획득한 거리에 관한 정보를 3차원 위치 정보로 변환하는 방법이 좌표 변환 방법에 한정되는 것은 아니다.

단계 330에서, 디바이스(100)는 호버링 입력의 3차원 위치 정보에 따라 결정되는 호버링 입력의 종류에 기초하여 적어도 하나의 태스크를 선택할 수 있다.

디바이스(100)는 3차원 위치 정보에 기초하여, 호버링 입력의 종류를 결정할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력 수단(10)과 디바이스(100) 간의 거리가 제 1 뎁스(depth)인 제 1 호버링 입력과 호버링 입력 수단(10)과 디바이스(100)간의 거리가 제 2 뎁스(depth)인 제 2 호버링 입력을 서로 다른 종류의 호버링 입력으로 판단할 수 있다.

디바이스(100)는 실행되는 어플리케이션의 동작에 기초하여, 결정된 호버링 입력의 종류에 대응되는 적어도 하나의 태스크를 선택할 수 있다. 디바이스(100)는 실행되는 어플리케이션에서 호버링 입력의 종류에 따라 대응되는 태스크에 관한 정보를 포함하는 어플리케이션에 관한 메타데이터를 저장할 수 있다. 디바이스(100)는 어플리케이션에 관한 메타데이터를 이용하여, 호버링 입력의 종류에 대응되는 태스크를 선택할 수 있다.

단계 340에서, 디바이스(100)는 호버링 입력에 따라 기 설정된 유형의 실행 입력을 획득하여 선택된 적어도 하나의 태스크를 수행할 수 있다. 디바이스(100)는 호버링 입력(10)을 획득한 이후에, 선택된 태스크를 수행하도록 요청하는 실행 입력을 획득할 수 있다. 디바이스(100)는 호버링 입력(10)에 대응되는 실행 입력을 획득한 경우, 선택된 태스크를 수행할 수 있다.

한편, 단계 340은 도 2를 참조하여 설명한 단계 230과 대응될 수 있다.

도 4는 본 발명의 일 실시예에 따라 디바이스(100)가 획득한 호버링 입력의 3차원 위치 정보에 기초하여, 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 디바이스(100)에서 메뉴 어플리케이션이 실행되는 경우, 디바이스(100)의 화면에는 디바이스에서 실행 가능한 복수의 어플리케이션을 나타내는 복수의 객체들이 표시될 수 있다. 이하에서는 설명의 편의상 객체의 일 예인 아이콘을 예로 들어 설명하도록 한다. 다만, 이는 일 실시예일 뿐, 아이콘 이외에 복수의 어플리케이션을 나타내는 다양한 유형의 식별 표시들이 객체에 포함될 수 있다.

예를 들어, 메시지 어플리케이션을 나타내는 아이콘, 연락처 어플리케이션을 나타내는 아이콘 및 통화 어플리케이션을 나타내는 아이콘 등이 표시될 수 있다. 사용자는 디바이스(100)에 표시되는 아이콘을 선택함으로써, 디바이스(100)에 아이콘이 나타내는 어플리케이션의 실행을 요청할 수 있다.

한편, 디바이스(100)에 표시되는 복수의 아이콘들 중에는 복수의 어플리케이션들을 나타내는 통합 아이콘(420)이 포함될 수 있다. 사용자는 통합 아이콘(420)을 선택하여, 통합 아이콘(420)이 나타내는 복수의 어플리케이션들 중 적어도 하나의 어플리케이션을 실행할 수 있다. 사용자는 통합 아이콘(420)에 대응되는 위치에 호버링 입력 수단(410)을 홀딩함으로써, 통합 아이콘(420)을 선택할 수 있다.

디바이스(100)는 통합 아이콘(420)에 대응되는 위치에 입력을 생성하는 호버링 입력 수단(410)이 홀딩되어 있는지 여부를 판단할 수 있다. 여기에서, 홀딩은 디바이스(100) 상의 일정 거리 범위 내에, 디바이스(100)와 접촉되지 않은 채로 일정 시간 동안 정지되어 있는 동작을 나타낸다. 여기에서, 통합 아이콘(420)에 대응되는 위치에 호버링 입력 수단(410)이 홀딩되어 있는지에 관한 정보는 디바이스(100)를 기준으로 한 호버링 입력 수단(410)의 2차원 위치 정보와 통합 아이콘(420)의 2차원 위치 정보의 차이가 임계값 이하인지 여부에 의해 결정될 수 있다. 디바이스(100)는 호버링 입력 수단(410)의 2차원 위치 정보와 통합 아이콘(420)의 2차원 위치 정보의 차이가 임계값 이하인 경우, 호버링 입력이 통합 아이콘(420)에 대응되는 위치에 획득되었다고 판단할 수 있다.

예를 들어, 디바이스(100)의 두 측면이 교차하는 지점을 기준점으로 설정한 후, 기준점을 기초로 한 2차원 평면에서 통합 아이콘의 x, y 좌표와 기준점을 기초로 한 호버링 입력 수단(410)의 x, y 좌표와의 차이가 임계값 이하인 경우, 디바이스(100)는 통합 아이콘(420)에 대응되는 위치에 호버링 입력을 생성하는 호버링 입력 수단(410)이 홀딩되어 있다고 판단할 수 있다.

디바이스(100)는 호버링 입력의 3차원 위치 정보에 따라, 통합 아이콘(420)이 나타내는 복수의 어플리케이션들 중 적어도 하나의 어플리케이션을 선택할 수 있다. 여기에서, 호버링 입력의 3차원 위치 정보는 디바이스(100)와 호버링 입력이 획득되는 시점의 호버링 입력 수단(410)과의 거리에 따라 결정될 수 있다. 예를 들어, 디바이스(100)의 3차원 위치 정보가 0으로 설정되는 경우, 호버링 입력이 획득되는 시점의 호버링 입력 수단(410)이 디바이스(100)로부터 높이 z 인 지점에 위치한다면, 디바이스(100)의 3차원 위치 정보는 z로 설정될 수 있다.

본 발명의 일 실시예에 따른, 디바이스(100)는 호버링 입력의 3차원 위치 정보가 z1인 경우와 z2인 경우에 각각 서로 다른 어플리케이션을 선택할 수 있다. 예를 들어, 통합 아이콘(420)이 나타내는 복수의 어플리케이션들에는 사진 폴더 어플리케이션, 카메라 어플리케이션 및 사진 편집 어플리케이션이 포함될 수 있다. 디바이스(100)는 3차원 위치 정보가 z1인 호버링 입력이 획득되는 경우, 사진 폴더 어플리케이션을 선택할 수 있다. 또한, 디바이스(100)는 3차원 위치 정보가 z2인 호버링 입력이 획득되는 경우, 카메라 어플리케이션을 선택할 수 있다. 또한, 디바이스(100)는 3차원 위치 정보가 z3인 호버링 입력이 획득되는 경우, 사진 편집 어플리케이션을 선택할 수 있다.

도 5는 본 발명의 다른 실시예에 따라 디바이스(100)가 호버링 입력의 3차원 위치 정보에 따라 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.

디바이스(100)는 호버링 입력이 획득되는 경우, 디바이스(100)에서 실행되는 어플리케이션의 제 1 동작과 관련된 복수의 태스크들 중 어느 하나를 선택하여 실행할 수 있다. 여기에서, 복수의 태스크들은 디바이스(100)에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별될 수 있다.

예를 들어, 도 5를 참조하면, 동영상 재생 어플리케이션이 실행되는 경우, 디바이스(100)의 화면에는 동영상을 구성하는 적어도 하나의 프레임이 출력될 수 있다. 디바이스(100)는 동영상을 재생하는 제 1 동작을 수행하는 도중에, 디바이스(100)와 호버링 입력 수단(510) 간의 거리가 z1인 제 1 호버링 입력을 획득할 수 있다. 디바이스(100)는 동영상 재생 어플리케이션에 관한 메타데이터에 기초하여, 제 1 호버링 입력에 대응되는 동영상을 앞으로 빨리 감는 동작을 선택할 수 있다. 예를 들어, 사용자는 동영상 재생 시 디바이스(100)의 화면에 출력되는 프로그레스(progress) 바에 호버링 입력 수단(510)을 디바이스(100)와 z1간의 거리에서 기설정된 시간 이상 홀딩하여, 제 1 호버링 입력을 전송할 수 있다.

디바이스(100)는 동영상을 재생하는 제 1 동작을 수행하는 도중에, 디바이스(100)와 호버링 입력 수단(510) 간의 거리가 z2인 제 2 호버링 입력을 획득할 수 있다. 디바이스(100)는 동영상 재생 어플리케이션에 관한 메타데이터에 기초하여, 제 2 호버링 입력에 대응되는 동영상을 정지하는 동작을 선택할 수 있다. 예를 들어, 사용자는 동영상 재생 시 디바이스(100)의 화면에 출력되는 프로그레스(progress) 바에 호버링 입력 수단(510)을 디바이스(100)와 z2간의 거리에서 기설정된 시간 이상 홀딩하여, 제 2 호버링 입력을 전송할 수 있다.

디바이스(100)는 동영상을 재생하는 제 1 동작을 수행하는 도중에, 디바이스(100)와 호버링 입력 수단(510) 간의 거리가 z3인 제 3 호버링 입력을 획득할 수 있다. 디바이스(100)는 동영상 재생 어플리케이션에 관한 메타데이터에 기초하여, 제 3 호버링 입력에 대응되는 동영상을 뒤로 빨리 감는 동작을 선택할 수 있다. 예를 들어, 사용자는 동영상 재생 시 디바이스(100)의 화면에 출력되는 프로그레스(progress) 바에 호버링 입력 수단(510)을 디바이스(100)와 z3간의 거리에서 기설정된 시간 이상 홀딩하여, 제 3 호버링 입력을 전송할 수 있다.

도 6은 본 발명의 일 실시예에 따라 다이어리 어플리케이션이 실행되는 경우, 디바이스(100)가 호버링 입력의 종류에 따라 다이어리 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 다이어리 어플리케이션이 실행되는 경우, 디바이스(100)의 화면에는 오늘의 일정을 입력하는 컨텐츠가 출력될 수 있다. 디바이스(100)는 오늘의 일정을 입력하는 제 1 페이지를 출력하는 제 1 동작을 수행하는 도중에, 페이지를 넘기는 제 2 동작을 요청하는 호버링 입력을 획득할 수 있다. 예를 들어, 사용자는 제 1 페이지가 출력되는 디바이스(100)의 화면의 일 측면에 호버링 입력 수단(610)을 기설정된 시간 이상 홀딩하여, 디바이스(100)에 페이지를 넘기는 제 2 동작을 요청하는 호버링 입력을 전송할 수 있다.

디바이스(100)는 호버링 입력의 3차원 위치 정보를 기초로 페이지를 넘기는 제 2 동작을 수행하는 방법을 선택할 수 있다. 예를 들어, 디바이스(100)는 페이지를 넘기는 단위를 3차원 위치 정보에 기초하여 선택할 수 있다. 도 6의 (a)를 참조하면, 호버링 입력의 3차원 위치 정보가 z1인 경우, 디바이스(100)는 페이지를 일간 단위로 넘기는 제 2 동작을 선택할 수 있다. 도 6의 (b)를 참조하면, 호버링 입력의 3차원 위치 정보가 z2인 경우, 디바이스(100)는 페이지를 주간 단위로 넘기는 제 2 동작을 선택할 수 있다. 도 6의 (c)를 참조하면, 호버링 입력의 3차원 위치 정보가 z3인 경우, 디바이스(100)는 페이지를 월간 단위로 넘기는 제 2 동작을 선택할 수 있다.

한편, 다른 예에 따라, 호버링 입력의 3차원 위치 정보에 기초하여, 페이지를 넘기는 동작을 수행하는 경우, 넘어가는 페이지의 수를 결정할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력의 3차원 위치 정보의 값이 커질수록, 페이지를 넘기는 동작을 수행하는 겨우, 넘어가는 페이지의 수가 많아지도록 제 2 동작을 수행하는 방법을 선택할 수 있다.

다른 실시예에 따라 디바이스(100)는 호버링 입력을 생성하는 호버링 입력 수단(610)이 움직이는 방향에 기초하여, 페이지를 넘기는 제 2 동작을 결정할 수 있다. 디바이스(100)는 호버링 입력을 생성하는 호버링 입력 수단(610)이 움직이는 방향에 기초하여, 페이지를 넘기는 방향을 결정할 수 있다. 예를 들어, 호버링 입력 수단(610)이 오른쪽 방향으로 움직이는 경우 디바이스(100)는 현재 표시된 페이지의 이후 페이지로 페이지를 넘기는 제 2 동작을 선택할 수 있다. 다른 예에 따라, 호버링 입력 수단(610)이 왼쪽 방향으로 움직이는 경우, 디바이스(100)는 현재 표시된 페이지의 이전 페이지로 페이지를 넘기는 제 2 동작을 선택할 수 있다.

도 7은 본 발명의 다른 실시예에 따라 음악 재생 어플리케이션이 실행되는 경우, 디바이스(100)가 호버링 입력의 종류에 따라 음악 재생 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.

도 7을 참조하면, 음악 재생 어플리케이션이 실행되는 경우, 디바이스(100)의 화면에는 현재 재생되고 있는 음악의 정보가 표시될 수 있다. 예를 들어, 디바이스(100)에는 현재 재생되고 있는 음악이 A라는 앨범의 4번째 곡이라는 정보가 표시될 수 있다. 디바이스(100)는 음악을 재생하는 제 1 동작을 수행하는 도중에, 다른 목록에 포함된 음악으로 재생되는 음악을 변경하는 2 동작을 요청하는 호버링 입력을 획득할 수 있다. 예를 들어, 사용자는 현재 재생되고 있는 음악의 정보가 표시되는 디바이스(100)의 화면의 일 측면에 호버링 입력 수단(710)을 기설정된 시간 이상 홀딩하여, 디바이스(100)에 페이지를 넘기는 제 2 동작을 요청하는 호버링 입력을 전송할 수 있다.

디바이스(100)는 호버링 입력의 3차원 위치 정보를 기초로 다른 목록에 포함된 음악으로 재생되는 음악을 변경하는 제 2 동작을 수행하는 방법을 선택할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력의 3차원 위치 정보에 기초하여 변경하는 음악이 포함된 카테고리를 결정할 수 있다. 도 7의 (a)를 참조하면, 호버링 입력의 3차원 위치 정보가 z1인 경우, 디바이스(100)는 A라는 앨범내에서, 재생되는 음악을 다른 음악으로 변경하는 제 2 동작을 선택할 수 있다. 도 7의 (b)를 참조하면, 호버링 입력의 3차원 위치 정보가 z2인 경우, 디바이스(100)는 다른 앨범에 포함되는 음악으로 재생되는 음악을 변경하는 제 2 동작을 선택할 수 있다. 도 7의 (c)를 참조하면, 호버링 입력의 3차원 위치 정보가 z3인 경우, 디바이스(100)는 다른 폴더에 저장된 앨범의 음악으로 재생되는 음악을 변경하는 제 2 동작을 선택할 수 있다.

다른 실시예에 따라, 디바이스(100)는 호버링 입력 수단(710)이 움직이는 방향을 기초로, 음악을 변경하는 제 2 동작의 방향을 결정할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력 수단(710)이 움직이는 방향에 따라 현재 재생되는 음악을 다음 순서에 위치한 음악으로 변경할 것인지 또는 현재 재생되는 음악의 이전 순서에 위치한 음악으로 변경할 것인지 여부를 결정할 수 있다. 예를 들어, 호버링 입력 수단(710)이 오른쪽으로 움직이는 경우 디바이스(100)는 현재 재생되는 음악의 다음 순서에 위치한 음악으로 재생되는 음악을 변경할 수 있다. 또한, 호버링 입력 수단(710)이 왼쪽으로 움직이는 경우 디바이스(100)는 현재 재생되는 음악의 이전 순서에 위치한 음악으로 재생되는 음악을 변경할 수 있다.

도 8은 본 발명의 일 실시예에 따라 그림판 어플리케이션이 실행되는 경우, 디바이스(100)가 호버링 입력의 종류에 따라 그림판 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.

디바이스(100)는 획득한 호버링 입력(10)의 3차원 위치 정보에 기초하여, 디바이스(100)에서 실행되는 동작을 취소하는 태스크를 수행할 수 있다.

도 8을 참조하면, 그림판 어플리케이션이 실행되는 경우, 디바이스(100)의 화면에는 현재 채색하는 이미지가 출력될 수 있다. 디바이스(100)는 이미지를 채색하는 제 1 동작을 수행하는 도중에, 이미지의 채색을 취소하는 제 2 동작을 요청하는 호버링 입력을 획득할 수 있다. 예를 들어, 사용자는 현재 채색하고 있는 이미지가 표시되는 디바이스(100)의 화면의 일 측면에 호버링 입력 수단(810)을 기설정된 시간 이상 홀딩하여, 디바이스(100)에 수행된 채색 작업의 취소하는 제 2 동작을 요청하는 호버링 입력을 전송할 수 있다.

디바이스(100)는 호버링 입력의 3차원 위치 정보를 기초로 수행된 채색 작업을 취소하는 제 2 동작을 수행하는 방법을 결정할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력의 3차원 위치 정보에 기초하여, 취소되는 채색 작업의 범위를 결정할 수 있다. 예를 들어, 도 8의 (a)를 참조하면, 호버링 입력의 3차원 위치 정보가 z1인 경우, 디바이스(100)는 호버링 입력이 획득되기 직전에 수행된 제 1 회의 채색 작업을 취소하는 제 2 동작을 선택할 수 있다. 도 8의 (b)를 참조하면, 호버링 입력의 3차원 위치 정보가 z2인 경우, 디바이스(100)는 호버링 입력이 획득되기 이전에 수행되는 채색 작업 중에서 제 5 회의 채색 작업을 취소하는 제 2 동작을 선택할 수 있다. 도 8의 (c)를 참조하면, 호버링 입력의 3차원 위치 정보가 z3인 경우, 디바이스(100)는 수행된 채색 작업을 모두 취소하는 제 2 동작을 선택할 수 있다.

도 9는 본 발명의 일 실시예에 따라 사진 폴더 어플리케이션이 실행되는 경우, 디바이스(100)가 호버링 입력의 종류에 따라 사진 폴더 어플리케이션과 관련된 복수의 태스크들 중 어느 하나를 선택하는 방법을 설명하기 위한 도면이다.

도 9를 참조하면, 사진 폴더 어플리케이션이 실행되는 경우, 디바이스(100)의 화면에는 사진 폴더 어플리케이션 관련 메모리에 저장된 적어도 하나의 사진이 표시될 수 있다. 디바이스(100)는 사진을 표시하는 제 1 동작을 수행하는 도중에, 사진을 선택하는 제 2 동작을 요청하는 호버링 입력을 획득할 수 있다. 예를 들어, 사용자는 사진이 표시되는 디바이스(100)의 일 측면에 호버링 입력 수단(910)을 기설정된 시간 이상 홀딩하여, 디바이스(100)에 사진을 선택하는 제 2 동작을 요청하는 호버링 입력을 전송할 수 있다.

디바이스(100)는 호버링 입력의 3차원 위치 정보를 기초로 사진을 선택하는 제 2 동작을 수행하는 방법을 선택할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력의 3차원 위치 정보에 기초하여, 선택되는 사진의 개수를 결정할 수 있다. 도 9의 (a)를 참조하면, 호버링 입력의 3차원 위치 정보가 z1인 경우, 디바이스(100)는 z1에 대응되는 개수의 사진을 선택하는 제 2 동작을 선택할 수 있다. 도 9의 (b)를 참조하면, 호버링 입력의 3차원 위치 정보가 z2인 경우, 디바이스(100)는 z2에 대응되는 개수의 사진을 선택하는 제 2 동작을 선택할 수 있다. 도 9의 (c)를 참조하면, 호버링 입력의 3차원 위치 정보가 z3인 경우, 디바이스(100)는 호버링 입력 수단의 위치와 대응되는 위치에 표시되는 하나의 사진을 선택하는 제 2 동작을 선택할 수 있다.

디바이스(100)는 호버링 입력의 3차원 위치 정보를 기초로, 제 2 동작이 적어도 하나의 이미지에 적용되는 단위가 결정되면, 획득한 실행 입력에 기초하여, 이미지를 선택할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력 수단이 특정 높이에서 기설정된 시간 이상 정지한 경우, 결정된 단위에 따라 이미지를 선택하는 실행 입력이 획득된 것으로 판단할 수 있다.

한편, 다른 실시예에 따라 디바이스(100)는 호버링 입력의 3차원 위치 정보에 기초하여, 선택되는 사진의 범위를 사진의 메타데이터 정보에 따라 결정할 수 있다. 사진의 메타데이터 정보는 사진의 촬영 일자, 사진의 촬영 장소 등에 관한 정보를 포함할 수 있다. 예를 들어, 호버링 입력의 3차원 위치 정보가 z4인 경우, 디바이스(100)는 호버링 입력 수단(910)에 대응되는 위치에 표시된 사진과 촬영 일자가 일주일 이내 범위인 사진들을 선택할 수 있다. 또한, 호버링 입력의 3차원 위치 정보가 z5인 경우, 디바이스(100)는 호버링 입력 수단(910)에 대응되는 위치에 표시된 사진과 촬영 일자가 한달 이내 범위인 사진들을 선택할 수 있다.

도 10은 본 발명의 일 실시예에 따라 디바이스(100)가 어플리케이션 실행 시 출력되는 객체들 중 어느 하나에 대응되는 호버링 입력에 기초하여 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.

단계 1010에서, 디바이스(100)는 획득된 호버링 입력(10)의 3차원 위치 정보를 결정할 수 있다. 여기에서, 3차원 위치 정보는 디바이스(100)와 호버링 입력 수단과의 거리에 기초하여 결정될 수 있다.

단계 1020에서, 디바이스(100)는 어플리케이션의 동작에 따라 출력되는 복수의 태스크들을 나타내는 적어도 하나의 객체들 중에서, 호버링 입력 수단의 위치에 대응되는 객체를 결정할 수 있다. 여기에서, 객체는 어플리케이션의 동작과 관련된 복수의 태스크들 각각을 나타내는 식별 표시(예를 들어, 아이콘)를 포함할 수 있다. 복수의 태스크들은 어플리케이션의 동작과 관련된 복수의 동작들을 포함할 수 있다. 예를 들어, 동영상 재생 어플리케이션이 동영상을 재생하는 동작을 수행하는 경우, 복수의 태스크들은 동영상을 앞으로 빨리 감는 동작, 동영상을 일시 정지 하는 동작 및 동영상을 녹음하는 동작 등을 포함하는 복수의 동작을 포함할 수 있다.

디바이스(100)는 호버링 입력 수단의 위치 정보를 이용하여, 복수의 태스크들을 나타내는 적어도 하나의 객체들 중에서, 호버링 입력 수단의 위치에 대응되는 객체를 결정할 수 있다. 일 실시예에 따라 디바이스(100)는 디바이스(100)를 기준으로 한 호버링 입력 수단의 2차원 위치 정보와 디바이스(100)에 출력된 객체)의 2차원 위치 정보의 차이가 임계값 이하인 경우, 디바이스(100)는 호버링 입력(10)이 객체에 대응되는 위치에 획득되었다고 판단할 수 있다. 예를 들어, 디바이스(100)의 두 측면이 교차하는 지점을 기준점으로 설정한 후, 기준점을 기초로 한 2차원 평면에서 객체의 x, y 좌표와 기준점을 기초로 한 호버링 입력 수단의 x, y 좌표와의 차이가 임계값 이하인 경우, 디바이스(100)는 호버링 입력(10)이 객체에 대응되는 위치에 획득되었다고 판단할 수 있다.

단계 1030에서, 디바이스(100)는 결정된 객체 및 획득된 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 선택할 수 있다. 예를 들어, 디바이스(100)는 결정된 객체를 기초로, 디바이스(100)에서 수행하고 있는 제 1 동작과 관련된 복수의 제 2 동작들 중 어느 하나를 선택할 수 있다. 또한, 디바이스(100)는 획득된 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 제 2 동작을 수행하는 방법을 결정할 수 있다. 이에 대해서는 도 11을 참조하여 구체적으로 후술하도록 한다.

단계 1040에서, 디바이스(100)는 실행 입력을 획득하여, 선택된 적어도 하나의 태스크를 수행할 수 있다. 디바이스(100)는 호버링 입력(10)에 대응되는 실행 입력을 획득한 경우, 선택된 태스크를 수행할 수 있다.

한편, 단계 1040은 도 2를 참조하여 설명한 단계 230과 대응될 수 있다.

도 11은 본 발명의 일 실시예에 따라, 디바이스(100)가 어플리케이션 실행 시 출력되는 객체들 중 어느 하나에 대응되는 호버링 입력에 기초하여 디바이스를 제어하는 방법을 설명하기 위한 도면이다.

도 11을 참조하면, 디바이스(100)에는 동영상을 재생하는 어플리케이션이 실행될 수 있다. 디바이스(100)에 동영상을 재생하는 어플리케이션이 실행되는 경우, 화면에는 현재 재생되고 있는 프레임에 관한 정보를 나타내는 프로그레스(progress) 바와 재생 프레임을 변경하기 위한 아이콘들(1120, 1130)이 표시될 수 있다.

도 11의 (a)를 참조하면, 디바이스(100)는 동영상 재생과 관련된 복수의 동작들 중 뒤로 빨리 감는 제 2 동작을 나타내는 제 1 아이콘(1120)에 대응되는 제 1 호버링 입력을 획득할 수 있다. 사용자는 제 1 아이콘(1120)의 위치와 대응되는 위치에 호버링 입력 수단(1110)을 홀딩함으로써, 제 1 호버링 입력을 디바이스(100)에 전송할 수 있다. 디바이스(100)는 호버링 입력 수단(1110)의 위치가 디바이스(100) 상의 제 1 아이콘(1120)의 위치로부터 임계 거리 내에 존재하는지 여부를 판단하여, 제 1 호버링 입력이 제 1 아이콘(1120)에 대응되는지 여부를 결정할 수 있다.

디바이스(100)는 제 1 호버링 입력의 3차원 위치 정보를 기초로, 동영상을 뒤로 빨리 감는 제 2 동작을 수행하는 방법을 선택할 수 있다. 예를 들어, 디바이스(100)는 제 1 호버링 입력의 3차원 위치 정보가 a인 경우, 동영상을 2배속 뒤로 빨리 감는 제 2 동작을 선택할 수 있다. 디바이스는 제 1 호버링 입력의 3차원 위치 정보가 2a인 경우, 동영상을 4배속 뒤로 빨리 감는 제 2 동작을 선택할 수 있다.

다른 실시예에 따라, 도 11의 (b)를 참조하면, 디바이스(100)는 동영상 재생과 관련된 복수의 동작들 중 앞으로 빨리 감는 제 2 동작을 나타내는 제 2 아이콘(1130)에 대응되는 제 2 호버링 입력을 획득할 수 있다. 사용자는 제 2 아이콘(1130)의 위치와 대응되는 위치에 호버링 입력 수단(1110)을 홀딩함으로써, 제 2 호버링 입력을 디바이스(100)에 전송할 수 있다. 디바이스(100)는 호버링 입력 수단(1110)의 위치가 디바이스(100) 상의 제 2 아이콘(1130)의 위치로부터 임계 거리 이내에 존재하는지 여부를 판단하여, 제 2 호버링 입력이 제 2 아이콘(1130)에 대응되는지 여부를 결정할 수 있다.

디바이스(100)는 제 2 호버링 입력의 3차원 위치 정보를 기초로, 동영상을 앞으로 빨리 감는 제 2 동작을 수행하는 방법을 선택할 수 있다. 예를 들어, 디바이스(100)는 제 2 호버링 입력의 3차원 위치 정보가 a인 경우, 동영상을 2배속 앞으로 빨리 감는 제 2 동작을 선택할 수 있다. 디바이스는 제 2 호버링 입력의 3차원 위치 정보가 2a인 경우, 동영상을 4배속 앞으로 빨리 감는 제 2 동작을 선택할 수 있다.

도 12는 본 발명의 일 실시예에 따른 디바이스(100)가 호버링 입력 수단의 움직임 및 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 선택하는 방법을 설명하기 위한 흐름도이다.

단계 1210에서, 디바이스(100)는 호버링 입력을 획득할 수 있다. 디바이스(100)는 사용자가 디바이스(100)로부터 근접한 위치에 홀딩하는 호버링 입력 수단에 따라, 변경되는 정전 용량을 감지하여, 호버링 입력을 획득할 수 있다.

단계 1220에서, 디바이스(100)는 호버링 입력 수단의 움직임에 기초하여, 호버링 입력의 종류를 결정할 수 있다. 디바이스(100)는 호버링 입력 수단이 움직이는 방향에 따라 호버링 입력의 종류를 결정할 수 있다. 예를 들어, 디바이스(100)는 호버링 입력 수단이 제 1 방향으로 이동하는 경우에 대응되는 제 1 호버링 입력과 호버링 입력 수단이 제 2 방향으로 이동하는 경우에 대응되는 제 2 호버링 입력을 식별할 수 있다.

단계 1230에서, 디바이스(100)는 어플리케이션의 동작과 관련된 복수의 동작들 중 호버링 입력의 종류에 대응되는 동작을 결정할 수 있다. 디바이스(100)는 어플리케이션의 메타데이터를 이용하여, 결정된 호버링 입력의 종류에 대응되는 동작을 결정할 수 있다. 어플리케이션의 메타데이터에는 어플리케이션 실행 시 수행 가능한 복수의 동작들과 복수의 동작들 각각을 수행하는데 필요한 호버링 입력의 종류에 관한 정보가 포함될 수 있다.

예를 들어, 동영상 재생 어플리케이션이 실행되는 경우, 디바이스(100)는 디바이스(100)의 화면의 반대방향으로 움직이는 제 1 호버링 입력으로부터 동영상을 앞으로 빨리 감는 동작을 선택할 수 있다. 또한, 디바이스(100)는 디바이스(100)의 화면 방향으로 움직이는 제 2 호버링 입력으로부터 동영상을 뒤로 빨리 감는 동작을 선택할 수 있다.

단계 1240에서, 디바이스(100)는 획득된 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 동작을 수행하는 방법을 선택할 수 있다. 이에 대해서는 도 13을 참조하여 구체적으로 후술하도록 한다.

단계 1250에서, 디바이스(100)는 획득한 실행 입력에 기초하여 선택된 태스크를 수행할 수 있다.

한편, 단계 1250은 도 2를 참조하여 설명한 단계 230과 대응될 수 있다.

도 13은 본 발명의 일 실시예에 따라 디바이스(100)가 호버링 입력 수단(1310)이 움직이는 방향 및 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 방법을 설명하기 위한 도면이다.

디바이스(100)는 호버링 입력이 획득되는 경우, 디바이스(100)에서 실행되는 어플리케이션의 제 1 동작과 관련된 복수의 태스크들 중 어느 하나를 선택하여 실행할 수 있다. 디바이스(100)는 호버링 입력 수단이 움직이는 방향에 기초하여, 제 1 동작과 관련된 동작을 결정하고, 호버링 입력 수단(1310)과 디바이스(100) 간의 거리에 기초하여, 결정된 동작을 수행하는 방법을 결정함으로써, 복수의 태스크들 중 어느 하나의 태스크를 선택할 수 있다. 여기에서, 동작을 수행하는 방법은 동작이 수행되는 방향, 동작이 수행되는 속도, 동작이 수행되는 수행 단위 등에 따라 달라질 수 있다.

도 13을 참조하면, 음악 재생 어플리케이션이 실행되는 경우, 디바이스(100)는 디바이스(100)의 화면의 반대방향으로 움직이는 호버링 입력 수단(1310)에 의해 생성되는 제 1 호버링 입력으로부터 음악을 앞으로 빨리 감는 태스크를 선택할 수 있다. 또한, 디바이스(100)는 디바이스(100)의 화면 방향으로 움직이는 호버링 입력 수단(1320)에 의해 생성되는 제 2 호버링 입력으로부터 음악을 뒤로 빨리 감는 동작을 선택할 수 있다.

디바이스(100)는 획득한 호버링 입력의 3차원 위치 정보를 기초로 선택된 동작을 수행하는 방법을 결정할 수 있다. 예를 들어, 디바이스(100)는 제 1 호버링 입력의 위치 정보가 z1인 경우, 2배속으로 음악을 앞으로 빨리 감는 태스크를 선택할 수 있다. 또한, 디바이스(100)는 제 1 호버링 입력의 위치 정보가 z2인 경우, 4배속으로 음악을 앞으로 빨리 감는 태스크를 선택할 수 있다. 디바이스(100)는 제 1 호버링 입력의 위치 정보가 z3인 경우, 6배속으로 음악을 앞으로 빨리 감는 태스크를 선택할 수 있다.

다른 예에 따라, 디바이스(100)는 제 2 호버링 입력의 위치 정보가 z4인 경우, 2배속으로 음악을 뒤로 빨리 감는 태스크를 선택할 수 있다. 또한, 디바이스(100)는 제 2 호버링 입력의 위치 정보가 z5인 경우, 4배속으로 음악을 뒤로 빨리 감는 태스크를 선택할 수 있다. 디바이스(100)는 제 2 호버링 입력의 위치 정보가 z3인 경우, 6배속으로 음악을 뒤로 빨리 감는 태스크를 선택할 수 있다.

도 14는 본 발명의 일 실시예에 따라 디바이스(100)가 호버링 입력 수단(1410)의 움직이는 패턴 및 호버링 입력의 3차원 위치 정보에 기초하여 복수의 태스크들 중 적어도 하나의 태스크를 수행하는 방법을 설명하기 위한 도면이다.

디바이스(100)는 호버링 입력이 획득되는 경우, 디바이스(100)에서 실행되는 어플리케이션의 제 1 동작과 관련된 복수의 태스크들 중 어느 하나를 선택하여 실행할 수 있다. 디바이스(100)는 호버링 입력 수단이 움직이는 패턴에 기초하여, 제 1 동작과 관련된 동작을 결정하고, 호버링 입력 수단(1410)과 디바이스(100) 간의 거리에 기초하여, 결정된 동작을 수행하는 방법을 결정함으로써, 복수의 태스크들 중 어느 하나의 태스크를 선택할 수 있다. 여기에서, 동작을 수행하는 방법은 동작이 수행되는 방향, 동작이 수행되는 속도, 동작이 수행되는 수행 단위 등에 따라 달라질 수 있다.

도 14를 참조하면, 동영상 재생 어플리케이션이 실행되는 경우, 디바이스(100)는 시계 방향으로 움직이는 호버링 입력 수단(1410)에 의해 생성되는 제 1 호버링 입력으로부터 동영상을 앞으로 빨리 감는 동작을 선택할 수 있다. 또한, 디바이스(100)는 반시계 방향으로 움직이는 호버링 입력 수단(1410)에 의해 생성되는 제 2 호버링 입력으로부터 동영상을 뒤로 빨리 감는 동작을 선택할 수 있다.

디바이스(100)는 획득한 호버링 입력의 3차원 위치 정보를 기초로 선택된동작을 수행하는 방법을 결정할 수 있다. 예를 들어, 디바이스(100)는 제 1 호버링 입력의 위치 정보가 a인 경우, 동영상을 2배속으로 앞으로 빨리 감는 태스크를 선택할 수 있다. 또한, 디바이스(100)는 제 1 호버링 입력의 위치 정보가 2a 경우, 동영상을 4배속으로 앞으로 빨리 감는 태스크를 선택할 수 있다. 디바이스(100)는 제 1 호버링 입력의 위치 정보가 3a인 경우, 동영상을 6배속으로 앞으로 빨리 감는 태스크를 선택할 수 있다.

다른 예에 따라, 디바이스(100)는 제 2 호버링 입력의 위치 정보가 a인 경우 동영상을 2배속으로 뒤로 빨리 감는 태스크를 선택할 수 있다. 또한, 디바이스(100)는 제 2 호버링 입력의 위치 정보가 2a인 경우, 동영상을 4배속으로 뒤로 빨리 감는 태스크를 선택할 수 있다. 디바이스(100)는 제 2 호버링 입력의 위치 정보가 3a인 경우, 동영상을 6배속으로 뒤로 빨리 감는 태스크를 선택할 수 있다.

도 15는 본 발명의 일 실시예에 따른 디바이스(100)가 호버링 입력의 3차원 정보에 기초하여, 결정된 수행 단위에 따라 태스크를 수행하는 방법을 설명하기 위한 흐름도이다.

단계 1510에서, 디바이스(100)는 호버링 입력을 획득할 수 있다. 디바이스(100)는 사용자가 디바이스(100)로부터 근접한 위치에 홀딩하는 호버링 입력 수단에 따라, 변경되는 정전 용량을 감지하여, 호버링 입력을 획득할 수 있다.

단계 1520에서, 디바이스(100)는 호버링 입력 수단의 움직임에 기초하여, 획득한 호버링 입력의 종류를 결정할 수 있다.

일 실시예에 따른 디바이스(100)는 호버링 입력 수단의 움직임에 기초하여, 호버링 입력의 종류를 결정할 수 있다. 디바이스(100)는 호버링 입력 수단이 움직이는 패턴에 따라 호버링 입력의 종류를 결정할 수 있다. 여기에서, 패턴은 호버링 입력 수단이 움직이는 방향, 호버링 입력 수단이 움직이는 형태, 호버링 입력 수단이 감지되는 시간, 호버링 입력 수단이 움직이는 속도 및 호버링 입력 수단이 감지되는 위치 등에 따라 다르게 형성될 수 있다.

예를 들어, 디바이스(100)는 획득한 호버링 입력이, 시계 방향으로 원을 그리는 호버링 입력 수단에 따라 생성되는 제 1 호버링 입력이라는 것을 결정할 수 있다. 다른 예에 따라 디바이스(100)는 획득한 호버링 입력이 3초 이상 정지해 있는 호버링 입력 수단에 따라 생성되는 제 2 호버링 입력이라는 것을 결정할 수 있다.

다른 실시예에 따른 디바이스(100)는 호버링 입력 수단이 감지되는 위치에 대응되는 객체에 따라 호버링 입력의 종류를 결정할 수 있다. 여기에서, 객체는 어플리케이션의 동작과 관련된 복수의 태스크들 각각을 나타내는 디바이스(100)의 화면 상에 표시되는 식별 표시(예를 들어, 아이콘)를 포함할 수 있다.

디바이스(100)는 호버링 입력 수단의 위치 정보를 이용하여, 복수의 태스크들을 나타내는 적어도 하나의 객체들 중에서, 호버링 입력 수단의 위치에 대응되는 객체를 결정할 수 있다. 디바이스(100)는 대응되는 객체의 종류에 따라 호버링 입력의 종류를 결정할 수 있다. 예를 들어, 디바이스(100)는 동영상 재생 어플리케이션 실행 시, 호버링 입력 수단이 감지되는 위치에 대응되는 프로그레스(progress) 바를 결정할 수 있다. 디바이스(100)는 획득한 호버링 입력이 프로그레스 바와 대응되는 제 3 호버링 입력이라고 결정할 수 있다.

단계 1530에서, 디바이스(100)는 디바이스(100)에서 실행되는 어플리케이션에 기초하여, 결정된 호버링 입력의 종류에 대응되는 태스크를 선택할 수 있다.

디바이스(100)는 수행 가능한 복수의 태스크들 중에서, 결정된 호버링 입력의 종류에 대응되는 태스크를 선택할 수 있다. 예를 들어, 디바이스(100)는 어플리케이션에 관한 메타데이터를 이용하여, 결정된 호버링 입력의 종류에 대응되는 태스크를 선택할 수 있다. 어플리케이션에 관한 메타데이터는 어플리케이션 실행 시, 획득한 호버링 입력의 종류와 수행 가능한 태스크에 관한 정보가 포함될 수 있다.

단계 1540에서, 디바이스(100)는 획득한 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 태스크가 수행되는 수행 단위를 결정할 수 있다. 수행 단위에 따라, 동작을 수행하는 정밀도가 결정될 수 있다.

예를 들어, 디바이스(100)는 동영상 재생 어플리케이션에서, 사용자가 특정 프레임을 탐색하려고 하는 경우, 호버링 입력의 3차원 위치 정보에 기초하여, 탐색하는 프레임의 단위를 결정할 수 있다. 예를 들어 디바이스(100)는 호버링 입력 수단이 제 1 뎁스에서 감지되는 경우 탐색하는 프레임의 단위를 1개로 결정할 수 있다. 또한, 디바이스(100)는 호버링 입력 수단이 제 2 뎁스에서 감지되는 경우 탐색하는 프레임의 단위를 10개로 결정할 수 있다.

다른 예에 따라 디바이스(100)는 사진 저장 어플리케이션에서, 사용자가 다음 페이지의 사진을 표시하려고 하는 경우, 호버링 입력의 3차원 위치 정보에 기초하여, 넘어가는 페이지의 단위를 결정할 수 있다. 예를 들어 디바이스(100)는 호버링 입력 수단이 제 1 뎁스에서 감지되는 경우 넘어가는 페이지의 단위를 1장의 페이지로 결정할 수 있다. 또한, 디바이스(100)는 호버링 입력 수단이 제 2 뎁스에서 감지되는 경우 넘어가는 페이지의 단위를 10장의 페이지로 결정할 수 있다.

단계 1550에서, 디바이스(100)는 결정된 수행 단위에 따라 선택된 태스크를 수행할 수 있다.

예를 들어, 디바이스(100)는 동영상 재생 어플리케이션 실행 시, 결정된 10개의 프레임 단위로 동영상 재생 구간을 탐색할 수 있다. 또한, 디바이스(100)는 사진 저장 어플리케이션 실행 시, 결정된 페이지 단위 별로 사진이 저장된 페이지를 넘길 수 있다.

도 16은 본 발명의 일 실시예에 따른 디바이스(100)가 동영상 재생 어플리케이션이 실행되는 경우 호버링 입력의 3차원 정보에 기초하여 결정된 수행 단위에 따라 태스크를 수행하는 방법을 설명하기 위한 도면이다.

도 16을 참조하면, 디바이스(100)는 동영상 재생 어플리케이션이 실행되는 경우, 프로그레스 바에 대응되는 위치에서 호버링 입력 수단(1610)을 감지할 수 있다. 디바이스(100)는 어플리케이션에 관한 메타데이터를 이용하여, 호버링 입력 수단(1610)이 프로그레스 바에 대응되는 위치에서 감지되는 경우, 생성되는 호버링 입력의 종류를 결정할 수 있다. 또한, 디바이스(100)는 어플리케이션에 관한 메타데이터를 이용하여 결정된 호버링 입력의 종류에 대응되는 태스크를 선택할 수 있다.

예를 들어, 디바이스(100)는 호버링 입력 호버링 입력 수단(1610)이 프로그레스 바에 대응되는 위치에서 감지되는 경우, 생성되는 호버링 입력을 제 1 호버링 입력으로 결정할 수 있다. 디바이스(100)는 어플리케이션에 관한 메타데이터를 이용하여, 결정된 제 1 호버링 입력에 대응되는 동영상의 재생 구간을 탐색하는 태스크를 선택할 수 있다.

한편, 디바이스(100)는 호버링 입력 수단(1610)이 감지되는 3차원 위치에 따라, 선택된 태스크를 수행하는 수행 단위를 결정할 수 있다.

도 16의 (a)를 참조하면, 디바이스(100)는 호버링 입력 수단(1610)을 제 1 뎁스(D1)에서 감지할 수 있다. 디바이스(100)는 선택된 동영상의 재생 구간을 탐색하는 태스크를 수행하기 위한 수행 단위를 제 1 뎁스(D1)라는 3차원 위치 정보를 이용하여 결정할 수 있다. 예를 들어 디바이스(100)는 호버링 입력 수단이 제 1 뎁스(D1)에서 감지되는 경우 탐색하는 프레임의 단위를 1개로 결정할 수 있다.도 16의 (b)를 참조하면, 디바이스(100)는 호버링 입력 수단(1610)을 제 2 뎁스(D2)에서 감지할 수 있다. 디바이스(100)는 선택된 동영상의 재생 구간을 탐색하는 태스크를 수행하기 위한 수행 단위를 제 2 뎁스(D2)라는 3차원 위치 정보를 이용하여 결정할 수 있다. 예를 들어 디바이스(100)는 호버링 입력 수단이 제 2 뎁스(D2)에서 감지되는 경우 탐색하는 프레임의 단위를 10개로 결정할 수 있다.

도 16의 (c)를 참조하면, 디바이스(100)는 호버링 입력 수단(1610)을 제 3 뎁스(D3)에서 감지할 수 있다. 디바이스(100)는 선택된 동영상의 재생 구간을 탐색하는 태스크를 수행하기 위한 수행 단위를 제 3 뎁스(D3)라는 3차원 위치 정보를 이용하여 결정할 수 있다. 예를 들어 디바이스(100)는 호버링 입력 수단이 제 3 뎁스에서 감지되는 경우 탐색하는 프레임의 단위를 20개로 결정할 수 있다.

도 17은 본 발명의 일 실시예에 따라 디바이스를 제어하는 시스템을 설명하기 위한 개념도이다.

디바이스를 제어하는 시스템은 제 1 디바이스(1710) 및 제 2 디바이스(1720)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스를 제어하는 시스템이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스를 제어하는 시스템은 구현될 수 있다.

제 1 디바이스(1710)는 획득한 호버링 입력의 3차원 위치 정보를 포함한특성 정보를 획득할 수 있다. 여기에서, 호버링 입력의 3차원 위치 정보는 호버링 입력을 생성하는 호버링 입력 수단(1730)과 제 1 디바이스(1710) 간의 거리에 기초하여 결정될 수 있다.

한편, 특성 정보에는 호버링 입력을 생성하는 호버링 입력 수단(1730)이 움직이는 경우, 움직이는 형태 및 움직이는 방향 중 적어도 하나에 관한 정보가 포함될 수 있다.

제 1 디바이스(1710)는 획득한 특성 정보를 제 2 디바이스(1720)에 전송할 수 있다. 제 2 디바이스(1720)는 수신한 특성 정보를 기초로 제 1 디바이스(1710)에서 획득한 호버링 입력의 종류를 결정할 수 있다. 예를 들어, 제 2 디바이스(1720)는 제 1 뎁스의 3차원 위치 정보를 갖는 제 1 호버링 입력과 제 2 뎁스의 3차원 위치 정보를 갖는 제 2 호버링 입력을 서로 다른 종류로 결정할 수 있다. 또한, 제 2 디바이스(1720)는 호버링 입력 수단(1730)이 움직이는 형태 및 움직이는 방향 중 적어도 하나가 다른 호버링 입력들을 서로 다른 종류로 결정할 수 있다.

제 2 디바이스(1720)는 실행되는 어플리케이션의 동작에 기초하여, 결정된 종류의 호버링 입력에 대응되는 적어도 하나의 태스크를 선택할 수 있다. 여기에서, 적어도 하나의 태스크는 제 2 디바이스(1520)에서 실행되는 어플리케이션의 동작과 관련된 복수개의 태스크들에 포함될 수 있다.

제 2 디바이스(1720)는 실행 입력이 획득되는 경우, 선택된 적어도 하나의 태스크를 수행할 수 있다. 제 2 디바이스(1720)는 사용자로부터 직접 실행 입력을 획득할 수도 있고, 제 1 디바이스(1710)가 사용자로부터 획득한 실행 입력을 전달받을 수도 있다.

한편, 제 2 디바이스(1720)는 획득한 호버링 입력과 대응되는 실행 입력에 관한 정보를 미리 저장할 수 있다. 제 2 디바이스(1720)는 미리 저장된 정보에 기초하여, 획득한 실행 입력이 획득한 호버링 입력과 대응되는지 여부를 판단할 수 있다. 제 2 디바이스(1720)는 획득한 실행 입력이 획득한 호버링 입력과 대응되는 경우, 선택된 적어도 하나의 태스크를 수행할 수 있다. 제 2 디바이스(1720)가 선택된 적어도 하나의 태스크를 수행하는 경우, 수행 결과는 제 2 디바이스(1720)에 출력될 수 있다. 다른 예에 따라, 제 2 디바이스(1720)가 선택된 적어도 하나의 태스크를 수행하는 경우, 수행 결과는 제 1 디바이스(1710)에 출력될 수 있다.

도 18은 본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템에서 디바이스를 제어하는 방법을 설명하기 위한 흐름도이다.

단계 1810에서, 제 1 디바이스(1710)는 획득한 호버링 입력의 특성 정보를 결정한다. 제 1 디바이스(1710)는 획득한 호버링 입력의 3차원 위치 정보를 포함한 특성 정보를 획득할 수 있다. 또한, 특성 정보에는 호버링 입력을 생성하는 호버링 입력 수단(1730)이 움직이는 경우, 움직이는 형태 및 움직이는 방향 중 적어도 하나에 관한 정보가 포함될 수 있다.

단계 1820에서, 제 1 디바이스(1710)는 결정된 호버링 입력의 특성 정보를 제 2 디바이스(1720)로 전송한다.

단계 1830에서, 제 2 디바이스(1720)는 제 2 디바이스(1720)에서 실행되는 어플리케이션의 동작 및 수신한 호버링 입력의 특성 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 수행한다. 제 2 디바이스(1720)가 실행되는 어플리케이션의 동작 및 수신한 호버링 입력의 특성 정보에 기초하여 적어도 하나의 태스크를 수행하는 방법은 도 1 내지 도 16을 참조하여 전술한 디바이스(100)에서 적어도 하나의 태스크를 수행하는 방법과 대응될 수 있다.

한편, 제 2 디바이스(1720)는 적어도 하나의 태스크를 수행한 결과를 어플리케이션의 설정 또는 사용자 입력에 기초하여 제 2 디바이스(1720)에 출력하거나 제 1 디바이스(1710)에 출력할 수 있다.

도 19는 본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템이 제 1 디바이스(1910) 및 제 2 디바이스(1920)를 제어하는 방법을 설명하기 위한 도면이다.

도 19를 참조하면, 제 2 디바이스(1920)에는 음악 재생 어플리케이션이 실행될 수 있다. 사용자는 제 2 디바이스(1920)에서 재생되는 음악의 음량을 제어하기 위해, 제 1 디바이스(1910)에 호버링 입력을 전송할 수 있다.

예를 들어, 사용자는 제 1 디바이스(1910)에 호버링 입력 수단(예를 들어, 손가락)을 홀딩하여, 제 1 디바이스(1910)에 호버링 입력을 전송할 수 있다. 제 1 디바이스(1910)는 획득한 호버링 입력에 대해, 호버링 입력 수단과 제 1 디바이스(1910)간의 거리를 기초로 특성 정보를 결정할 수 있다. 다른 예에 따라, 제 1 디바이스(1910)는 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향 및 움직이는 형태 중 적어도 하나에 기초하여, 호버링 입력의 특성 정보를 결정할 수 있다.

도 19 (a)를 참조하면, 제 1 디바이스(1910)는 호버링 입력의 3차원 위치 정보가 z2이고 반시계 방향의 움직임 패턴을 갖는 호버링 입력의 특성 정보를 제 2 디바이스(1920)에 전송할 수 있다. 제 2 디바이스(1920)는 기 저장된 음악 재생에 관한 메타데이터를 기초로 3차원 위치 정보가 z2이고 반시계 방향의 움직임 패턴을 갖는 호버링 입력에 대응되는 동작을 선택할 수 있다. 예를 들어, 제 2 디바이스(1920)는 호버링 입력의 반시계 방향의 움직임 패턴을 기초로 음악의 음량을 높이는 동작을 선택할 수 있다. 또한, 제 2 디바이스(1920)는 3차원 위치 정보가 z2인 호버링 입력에 대응되는 크기의 음량을 높이는 동작을 선택할 수 있다.

도 19 (b)를 참조하면, 제 1 디바이스(1910)는 호버링 입력의 3차원 위치 정보가 z2이고 시계 방향의 움직임 패턴을 갖는 호버링 입력의 특성 정보를 제 2 디바이스(1920)에 전송할 수 있다. 제 2 디바이스(1920)는 기 저장된 음악 재생에 관한 메타데이터를 기초로 3차원 위치 정보가 z2이고 시계 방향의 움직임 패턴을 갖는 호버링 입력에 대응되는 동작을 선택할 수 있다. 예를 들어, 제 2 디바이스(1920)는 호버링 입력의 시계 방향의 움직임 패턴을 기초로 음악의 음량을 낮추는 동작을 선택할 수 있다. 또한, 제 2 디바이스(1920)는 3차원 위치 정보가 z2인 호버링 입력에 대응되는 크기의 음량을 낮추는 동작을 선택할 수 있다.

도 20은 본 발명의 다른 실시예에 따른 디바이스를 제어하는 시스템이 제 1 디바이스(2010) 및 제 2 디바이스(2020)를 제어하는 방법을 설명하기 위한 도면이다.

도 20을 참조하면, 제 1 디바이스(2020)는 안경 형태의 디스플레이부를 포함하는 스마트 글래스를 포함할 수 있다. 도 20에 도시된 스마트 글래스(2020)에서는 사용자에게 위치에 관한 정보를 제공하는 지도 어플리케이션이 실행될 수 있다. 사용자는 제 1 디바이스(2020)에서 출력되는 지도의 축적을 제어하기 위해 제 1 디바이스(1810)에 호버링 입력을 전송할 수 있다.

예를 들어, 사용자는 제 1 디바이스(2010)에 호버링 입력 수단(예를 들어, 손가락)을 홀딩하여, 제 1 디바이스(2010)에 호버링 입력을 전송할 수 있다. 제 1 디바이스(2010)는 획득한 호버링 입력에 대해, 호버링 입력 수단과 제 1 디바이스(2010)간의 거리를 기초로 특성 정보를 결정할 수 있다. 다른 예에 따라, 제 1 디바이스(2010)는 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향 및 움직이는 형태 중 적어도 하나에 기초하여, 호버링 입력의 특성 정보를 결정할 수 있다.

도 20 (a)를 참조하면, 제 1 디바이스(2010)는 호버링 입력의 3차원 위치 정보가 z1이고 제 1 디바이스(2010)를 향하는 방향의 움직임 패턴을 갖는 호버링 입력의 특성 정보를 제 2 디바이스(2020)에 전송할 수 있다. 제 2 디바이스(2020)는 기 저장된 지도 어플리케이션 관한 메타데이터를 기초로 3차원 위치 정보가 z1이고 제 1 디바이스(2010)를 향하는 방향의 움직임 패턴을 갖는 호버링 입력에 대응되는 동작을 선택할 수 있다. 예를 들어, 제 2 디바이스(2020)는 호버링 입력의 제 1 디바이스(2010)를 향하는 방향의 움직임 패턴을 기초로 지도의 축적을 낮추는 동작을 선택할 수 있다. 또한, 제 2 디바이스(2020)는 3차원 위치 정보가 z1인 호버링 입력에 대응되는 크기 만큼 축적을 낮추는 동작을 선택할 수 있다.

제 2 디바이스(2020)는 선택된 동작에 디스플레이 되는 지도의 축적을 변경하여 제 1 디바이스(2010)에 전송할 수 있다. 제 1 디바이스(2010)는 변경된 축적에 따른 지도를 수신하여 출력할 수 있다.

도 18의 (b)를 참조하면, 제 1 디바이스(2010)는 호버링 입력의 3차원 위치 정보가 z6이고 제 1 디바이스(2010)에 반대되는 방향의 움직임 패턴을 갖는 호버링 입력의 특성 정보를 제 2 디바이스(2020)에 전송할 수 있다. 제 2 디바이스(2020)는 기 저장된 지도 어플리케이션 관한 메타데이터를 기초로 3차원 위치 정보가 z6이고 제 1 디바이스(2010)에 반대되는 방향의 움직임 패턴을 갖는 호버링 입력에 대응되는 동작을 선택할 수 있다. 예를 들어, 제 2 디바이스(2020)는 호버링 입력의 제 1 디바이스(2010)를 반대되는 방향의 움직임 패턴을 기초로 지도의 축적을 높이는 동작을 선택할 수 있다. 또한, 제 2 디바이스(2020)는 3차원 위치 정보가 z6인 호버링 입력에 대응되는 크기만큼 축적을 높이는 동작을 선택할 수 있다.

도 21 및 도 22는 본 발명의 일 실시예에 따른 디바이스(100)의 구성을 설명하기 위한 블록 구성도이다.

도 21에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 입력부(110), 제어부(120) 및 출력부(130)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(100)는 구현될 수 있다.

예를 들어, 도 22에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 입력부(110), 제어부(120), 출력부(130) 이외에 센싱부(140), 통신부(150), A/V 입력부(160) 및 메모리(170)를 더 포함할 수도 있다.

이하 상기 구성요소들에 대해 차례로 살펴본다.

입력부(110)는, 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력부(110)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

입력부(110)는 다양한 유형의 사용자 입력을 획득할 수 있다. 예를 들어,입력부(110)는 사용자로부터 디바이스(100)에서 감지되는 정전 용량을 변화시키는 방법에 기초한 호버링 입력을 획득할 수 있다. 또한, 입력부(110)는 기 설정된 시간 이내에 연속적으로 입력을 획득할 수 있다. 예를 들어, 입력부(110)는 호버링 입력을 획득한 이후, 기 설정된 시간 이내에 호버링 입력과 연관되는 실행 입력을 획득할 수 있다.

제어부(120)는, 통상적으로 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(120)는, 메모리(170)에 저장된 프로그램들을 실행함으로써, 입력부(110), 출력부(130), 센싱부(140), 통신부(150), A/V 입력부(160) 등을 전반적으로 제어할 수 있다.

제어부(120)는 입력부(110)로부터 획득된 호버링 입력의 특성 정보를 획득할 수 있다. 여기에서, 특성 정보는 호버링 입력을 생성하는 호버링 입력 수단과 디바이스(100)간의 거리 및 호버링 입력 수단의 움직임에 관한 정보 중 적어도 하나를 포함한다. 제어부(120)는 디바이스에서 실행되는 어플리케이션의 동작 및 획득되는 호버링 입력의 3차원 위치 정보에 기초하여, 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택할 수 있다.

제어부(120)는 호버링 입력이 감지되는 경우, 호버링 입력 수단과 디바이스 간의 거리를 결정하고, 결정된 거리에 기초하여 호버링 입력의 3차원 위치 정보를 획득할 수 있다. 제어부(120)는 호버링 입력의 3차원 위치 정보에 따라 호버링 입력의 종류를 결정할 수 있다. 제어부(120)는 결정된 호버링 입력의 종류에 기초하여 실행되는 어플리케이션의 동작과 관련된 복수의 태스크들 중 적어도 하나의 태스크를 선택할 수 있다.

한편, 제어부(120)는 호버링 입력 수단의 2차원 위치 정보인 x, y 좌표에 관한 정보를 획득할 수도 있다. 제어부(120)는 복수의 태스크들을 나타내고 어플리케이션의 동작에 따라 출력되는 적어도 하나의 객체들 중에서, 호버링 입력을 생성하는 호버링 입력 수단의 위치에 대응되는 객체를 결정할 수 있다.

다른 실시예에 따라 제어부(120)는 어플리케이션이 실행되는 경우, 디바이스에 출력되는 객체들 중에서 적어도 하나가 나타내는 디바이스에서 실행 가능한 복수의 어플리케이션들 중 적어도 하나를 호버링 입력의 3차원 위치 정보에 기초하여, 선택할 수 있다. 또 다른 예에 따라 제어부(120)는 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향에 관한 정보를 획득할 수 있다. 제어부(120)는 호버링 입력이 움직이는 방향에 대응되는 동작을 선택하고, 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 동작을 수행하는 방법을 결정할 수 있다.

또 다른 예에 따라 제어부(120)는 호버링 입력 수단이 움직이는 형태에 기초하여 획득한 호버링 입력의 종류를 결정할 수 있다. 제어부(120)는 결정된 호버링 입력의 종류에 대응되는 적어도 하나의 동작을 선택하고, 호버링 입력의 3차원 위치 정보에 기초하여, 선택된 동작이 수행되는 방법을 결정할 수 있다.

한편, 제어부(120)는 어플리케이션에 관해 기 저장된 데이터 베이스에 기초하여 입력부(110)로부터 획득된 실행 입력이 호버링 입력에 대응되는 실행 입력인지 여부를 판단할 수 있다.

출력부(130)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(131)와 음향 출력부(132), 진동 모터(133) 등이 포함될 수 있다.

디스플레이부(131)는 디바이스(100)에서 처리되는 정보를 표시 출력한다. 디스플레이부(131)는 입력부에서 획득한 실행 입력의 유형이 이전에 획득한 호버링 입력에 따라 기 설정된 유형에 대응되는 경우 선택된 적어도 하나의 태스크를 수행함에 따라 발생되는 결과를 출력할 수 있다.

디스플레이부(131)는 디바이스(100)에서 실행되는 어플리케이션의 동작과 관련된 어플리케이션 또는 동작을 나타내는 식별 표시를 출력할 수 있다. 예를 들어, 식별 표시에는 아이콘 등이 포함될 수 있다.

한편, 디스플레이부(131)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(131)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(131)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(100)의 구현 형태에 따라 디바이스(100)는 디스플레이부(131)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(131)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.

음향 출력부(132)는 통신부(150)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(132)는 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(132)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

진동 모터(133)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(133)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(133)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.

센싱부(140)는, 디바이스(100)의 상태 또는 디바이스(100) 주변의 상태를 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다. 예를 들어, 센싱부(140)는 리뷰 컨텐츠(105)에 관한 사용자의 참조 동작을 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다.

센싱부(140)는, 지자기 센서(Magnetic sensor)(141), 가속도 센서(Acceleration sensor)(142), 온/습도 센서(143), 적외선 센서(144), 자이로스코프 센서(145), 위치 센서(예컨대, GPS)(146), 기압 센서(147), 근접 센서(148), 및 RGB 센서(illuminance sensor)(149) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

통신부(150)는, 디바이스(100)와 외부 기기 또는 디바이스(100)와 서버(간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(150)는, 근거리 통신부(151), 이동 통신부(152), 방송 수신부(153)를 포함할 수 있다.

근거리 통신부(short-range wireless communication unit)(151)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부(152)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

방송 수신부(153)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(100)가 방송 수신부(153)를 포함하지 않을 수도 있다.

A/V(Audio/Video) 입력부(160)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(161)와 마이크로폰(162) 등이 포함될 수 있다. 카메라(161)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(120) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.

카메라(161)에서 처리된 화상 프레임은 메모리(170)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라(161)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.

마이크로폰(162)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(162)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(162)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.

메모리(170)는, 제어부(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 복수의 메뉴, 복수의 메뉴 각각에 대응하는 복수의 제 1 계층 서브 메뉴, 복수의 제 1 계층 서브 메뉴 각각에 대응하는 복수의 제 2 계층 서브 메뉴 등)을 저장할 수도 있다.

메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(100)는 인터넷(internet)상에서 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.

메모리(170)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(171), 터치 스크린 모듈(172), 알림 모듈(173) 등으로 분류될 수 있다.

UI 모듈(171)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(172)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(120)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(172)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(172)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.

터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.

또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.

근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.

알림 모듈(173)은 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 디바이스(100)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(173)은 디스플레이부(131)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(132)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(133)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.

도 23은 본 발명의 일 실시예에 따른 디바이스를 제어하는 시스템에 포함되는 제 1 디바이스(1710)의 구성을 설명하기 위한 블록 구성도이다.

도 23에 도시된 바와 같이, 본 발명의 일 실시예에 따른 제 1 디바이스(1710)는, 사용자 입력부(1712), 정보 분석부(1714) 및 통신부(1716)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 제 1 디바이스(1710)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 제 1 디바이스(1710)는 구현될 수 있다.

사용자 입력부(1712)는 사용자 입력을 획득한다. 예를 들어, 사용자 입려구(1712)는 제 1 디바이스(1710)에서 감지되는 정전 용량의 변화에 따라 발생되는 호버링 입력을 획득할 수 있다.

정보 분석부(1714)는 획득한 호버링 입력의 특성 정보를 결정한다. 정보분석부(1714)는 획득한 호버링 입력의 3차원 위치 정보를 포함한 특성 정보를 획득할 수 있다. 또한, 호버링 입력을 생성하는 호버링 입력 수단(1730)이 움직이는 경우, 특성 정보에는 움직이는 형태 및 움직이는 방향 중 적어도 하나에 관한 정보가 포함될 수 있다.

통신부(1716)는 결정된 호버링 입력의 특성 정보를 제 2 디바이스(1720)로 전송한다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

100: 디바이스
110: 입력부
120: 제어부
130: 출력부
140: 센싱부
150: 통신부
160: A/V 입력부
170: 메모리

Claims

복수의 어플리케이션을 나타내는 복수의 객체를 포함하는 통합 아이콘을 디스플레이하는 단계, 상기 복수의 객체는 상기 통합 아이콘 내에 표시되고;
호버링 입력 수단이 미리 결정된 주기 동안 미리 결정된 거리 내에 홀딩 되어 있을 때, 상기 복수의 객체가 표시된 상기 통합 아이콘에 대한 상기 호버링 입력 수단의 호버링 입력을 획득하는 단계;
디바이스와 상기 호버링 입력 수단 간의 거리에 기초하여 상기 획득된 호버링 입력의 3 차원 위치 정보를 결정하는 단계, 상기 디바이스와 상기 호버링 입력 수단 간의 거리가 변하는 동안 상기 복수의 객체가 상기 통합 아이콘 상에 표시 되며;
상기 복수의 어플리케이션 중 상기 3 차원 위치 정보에 대응하는 어플리케이션을 결정하는 단계; 및
상기 호버링 입력 수단을 통한 미리 결정된 제스처가 상기 거리에서 감지됨에 따라, 상기 결정된 어플리케이션을 수행하는 단계를 포함하는 디바이스를 제어하는 방법.
제 1항에 있어서,
상기 디바이스를 제어하는 방법은,
상기 어플리케이션이 실행될 때,
상기 호버링 입력의 3차원 위치 정보에 따라 결정되는 호버링 입력의 종류에 기초하여 상기 어플리케이션의 적어도 하나의 태스크를 선택하는 단계를 더 포함하는 디바이스를 제어하는 방법.
제 1항에 있어서,
상기 디바이스를 제어하는 방법은,
상기 어플리케이션이 실행될 때,
상기 어플리케이션의 복수의 태스크들을 나타내고 상기 어플리케이션의 동작에 따라 출력되는 적어도 하나의 객체들 중에서, 상기 호버링 입력 수단의 위치에 대응되는 객체를 결정하는 단계; 및
상기 결정된 객체 및 상기 호버링 입력의 3차원 위치 정보에 따라 상기 어플리케이션의 적어도 하나의 태스크를 결정하는 단계를 더 포함하는 디바이스를 제어하는 방법.
제 3항에 있어서,
상기 디바이스를 제어하는 방법은,
상기 호버링 입력의 3차원 위치 정보를 이용하여, 상기 적어도 하나의 태스크의 수행 단위를 결정하는 단계; 및
상기 결정된 수행 단위에 따라 상기 적어도 하나의 태스크를 수행하는 단계를 더 포함하는 디바이스를 제어하는 방법.
제 2항에 있어서, 상기 적어도 하나의 태스크는,
상기 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별되는 디바이스를 제어하는 방법.
제 1항에 있어서,
상기 디바이스를 제어하는 방법은,
상기 어플리케이션이 실행되는 경우, 상기 디바이스에 출력되는 객체들 중에서 적어도 하나가 나타내는 상기 디바이스에서 실행 가능한 복수의 어플리케이션들 중 적어도 하나를 상기 호버링 입력의 3차원 위치 정보에 기초하여, 선택하는 단계를 더 포함하는 디바이스를 제어하는 방법.
제 1항에 있어서,
상기 디바이스를 제어하는 방법은,
상기 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향에 관한 정보를 획득하는 단계; 및
상기 호버링 입력 수단이 움직이는 방향에 대응되는 동작을 선택하는 단계를 더 포함하고,
상기 호버링 입력의 3차원 위치 정보에 기초하여, 상기 선택된 동작을 수행하는 방법이 결정되는 디바이스를 제어하는 방법.
제 1항에 있어서,
상기 디바이스를 제어하는 방법은,
상기 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 패턴에 기초하여 상기 획득한 호버링 입력의 종류를 결정하는 단계; 및
상기 결정된 호버링 입력의 종류에 대응되는 적어도 하나의 동작을 선택하는 단계를 더 포함하고,
상기 호버링 입력의 3차원 위치 정보에 기초하여, 상기 선택된 동작을 수행하는 방법이 결정되는 디바이스를 제어하는 방법.
제 1항에 있어서,
상기 미리 결정된 제스처는 기 설정된 유형의 실행 입력이며,
상기 디바이스를 제어하는 방법은,
상기 어플리케이션에 관해 기 저장된 데이터 베이스에 기초하여 상기 감지된 호버링 입력이 상기 어플리케이션에 대응하는 실행 입력인지 여부를 판단하는 단계를 더 포함하고,
상기 결정된 어플리케이션을 수행하는 단계는,
상기 감지된 호버링 입력이 상기 어플리케이션에 대응하는 실행 입력인 경우, 상기 결정된 어플리케이션을 수행하는 단계를 포함하는, 디바이스를 제어하는 방법.
제 2 디바이스에 디스플레이된 통합 아이콘 상에 호버링 입력 수단이, 상기 제 2 디바이스로부터 미리 결정된 거리 내에, 미리 결정된 주기 동안, 홀딩되어 있을 때, 상기 호버링 입력 수단의 호버링 입력의 3 차원 위치 정보를, 상기 제 2 디바이스로부터 수신하는 단계, 상기 통합 아이콘은 복수의 어플리케이션을 나타내는 복수의 객체를 포함하고, 상기 복수의 객체는 상기 통합 아이콘 내에 표시되며;
상기 복수의 어플리케이션 중에 상기 3 차원 위치 정보에 대응하는 어플리케이션을 결정하는 단계, 상기 3 차원 위치 정보는 상기 제 2 디바이스와 상기 호버링 입력 수단 간의 거리에 기초하며; 및
상기 호버링 입력 수단을 통한 미리 결정된 제스처가 상기 거리에서 감지됨에 따라, 상기 결정된 어플리케이션을 수행하는 단계를 포함하는 제 1 디바이스를 제어하는 방법.
제 10항에 있어서,
상기 제 1 디바이스를 제어하는 방법은,
상기 제 2 디바이스로부터 상기 호버링 입력 수단의 움직임 정보를 더 수신하는 단계를 포함하는 방법.
제 10항에 있어서,
상기 제 1 디바이스를 제어하는 방법은,
상기 어플리케이션이 실행될 때, 상기 호버링 입력의 3차원 위치 정보에 따라 결정되는 호버링 입력의 종류에 기초하여 상기 어플리케이션의 적어도 하나의 태스크를 선택하는 단계를 더 포함하고,
상기 적어도 하나의 태스크는,
상기 제 1 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별되는 디바이스를 제어하는 방법.
복수의 어플리케이션을 나타내는 복수의 객체를 포함하는 통합 아이콘을 디스플레이하는 디스플레이부, 상기 복수의 객체는 상기 통합 아이콘 내에 표시되고;
호버링 입력 수단이 미리 결정된 주기 동안 미리 결정된 거리 내에 홀딩 되어 있을 때, 상기 복수의 객체가 표시된 상기 통합 아이콘에 대한 상기 호버링 입력 수단의 호버링 입력을 획득하는 입력부;
디바이스와 상기 호버링 입력 수단 간의 거리에 기초하여 상기 획득된 호버링 입력의 3 차원 위치 정보를 결정하고, 상기 디바이스와 상기 호버링 입력 수단 간의 거리가 변하는 동안 상기 복수의 객체가 상기 통합 아이콘 상에 표시 되며, 상기 복수의 어플리케이션 중 상기 3 차원 위치 정보에 대응하는 어플리케이션을 결정하는 제어부; 및
상기 호버링 입력 수단을 통한 미리 결정된 제스처가 상기 거리에서 감지됨에 따라, 상기 결정된 어플리케이션을 수행하는 출력부를 포함하는 디바이스.
제 13항에 있어서, 상기 제어부는,
상기 어플리케이션이 실행될 때, 상기 호버링 입력의 3차원 위치 정보에 따라 결정되는 호버링 입력의 종류에 기초하여 상기 어플리케이션의 적어도 하나의 태스크를 선택하는 디바이스.
제 13항에 있어서, 상기 제어부는,
상기 어플리케이션이 실행될 때,상기 어플리케이션의 복수의 태스크들을 나타내고 상기 어플리케이션의 동작에 따라 출력되는 적어도 하나의 객체들 중에서, 상기 호버링 입력 수단의 위치에 대응되는 객체를 결정하고,
상기 결정된 객체 및 상기 호버링 입력의 3차원 위치 정보에 따라 상기 어플리케이션의 적어도 하나의 태스크를 결정하는 디바이스.
제 15항에 있어서, 상기 제어부는,
상기 호버링 입력의 3차원 위치 정보를 이용하여, 상기 적어도 하나의 태스크의 수행 단위를 결정하며, 상기 출력부는,
상기 결정된 수행 단위에 따라 상기 적어도 하나의 태스크를 수행하는 디바이스.
제 14항에 있어서, 상기 적어도 하나의 태스크는,
상기 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별되는 디바이스.
제 13항에 있어서, 상기 제어부는,
상기 어플리케이션이 실행되는 경우, 상기 디바이스에 출력되는 객체들 중에서 적어도 하나가 나타내는 상기 디바이스에서 실행 가능한 복수의 어플리케이션들 중 적어도 하나를 상기 호버링 입력의 3차원 위치 정보에 기초하여, 선택하는 디바이스.
제 13항에 있어서, 상기 제어부는,
상기 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 방향에 관한 정보를 획득하여, 상기 호버링 입력이 움직이는 방향에 대응되는 동작을 선택하고, 상기 호버링 입력의 3차원 위치 정보에 기초하여, 상기 선택된 동작을 수행하는 방법을 결정하는 디바이스.
제 13항에 있어서, 상기 제어부는,
상기 호버링 입력을 생성하는 호버링 입력 수단이 움직이는 패턴에 기초하여 상기 획득한 호버링 입력의 종류를 결정하여, 상기 결정된 호버링 입력의 종류에 대응되는 적어도 하나의 동작을 선택하고, 상기 호버링 입력의 3차원 위치 정보에 기초하여, 상기 선택된 동작이 수행되는 방법을 결정하는 디바이스.
제 13항에 있어서,
상기 미리 결정된 제스처는 기 설정된 유형의 실행 입력이며,
상기 제어부는,
상기 어플리케이션에 관해 기 저장된 데이터 베이스에 기초하여 상기 감지된 호버링 입력이 상기 어플리케이션에 대응하는 실행 입력인지 여부를 판단하고,
상기 출력부는,
상기 감지된 호버링 입력이 상기 어플리케이션에 대응하는 실행 입력인 경우, 상기 결정된 어플리케이션을 수행하는 디바이스.
통신부; 및
제어부를 포함하고,
상기 제어부는,
상기 통신부를 제어하여, 제 2 디바이스에 디스플레이된 통합 아이콘 상에 호버링 입력 수단이, 상기 제 2 디바이스로부터 미리 결정된 거리 내에, 미리 결정된 주기 동안, 홀딩되어 있을 때, 상기 호버링 입력 수단의 호버링 입력의 3 차원 위치 정보를, 상기 제 2 디바이스로부터 수신하고, 상기 통합 아이콘은 복수의 어플리케이션을 나타내는 복수의 객체를 포함하고, 상기 복수의 객체는 상기 통합 아이콘 내에 표시되며,
상기 복수의 어플리케이션 중에 상기 3 차원 위치 정보에 대응하는 어플리케이션을 결정하고, 상기 3 차원 위치 정보는 상기 제 2 디바이스와 상기 호버링 입력 수단 간의 거리에 기초하며,
상기 호버링 입력 수단을 통한 미리 결정된 제스처가 상기 거리에서 감지됨에 따라, 상기 결정된 어플리케이션을 수행하는 제 1 디바이스.
제 22항에 있어서, 상기 호버링 입력의 3차원 위치 정보는,
상기 호버링 입력을 생성하는 호버링 입력 수단과 상기 제 2 디바이스 간의 거리에 기초하여 결정되고,
상기 호버링 입력의 특성 정보는, 상기 호버링 입력 수단의 움직임 정보를 더 포함하는 제 1 디바이스.
제 22항에 있어서,
상기 제어부는,
상기 어플리케이션이 실행될 때, 상기 호버링 입력의 3차원 위치 정보에 따라 결정되는 호버링 입력의 종류에 기초하여 상기 어플리케이션의 적어도 하나의 태스크를 선택하고,
상기 적어도 하나의 태스크는,
상기 제 1 디바이스에서 실행되는 어플리케이션의 제 1 동작과 관련된 제 2 동작을 수행하는 방법에 따라 식별되는 제 1 디바이스.
제 1항 내지 제 12항 중 어느 한 항의 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체.