KR101394604B1

KR101394604B1 - 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치

Info

Publication number: KR101394604B1
Application number: KR1020120053884A
Authority: KR
Inventors: 김윤중
Original assignee: 주식회사 에스원
Priority date: 2012-05-21
Filing date: 2012-05-21
Publication date: 2014-05-13
Also published as: KR20130129775A

Abstract

컴퓨터 장치와 연결된 인터페이스 장치는 사용자에 대한 영상을 획득하고, 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정한다. 그리고 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하고, 모션 정보에 대응하여 미리 설정된 동작 명령을 출력한다.

Description

모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치{method for implementing user interface based on motion detection and apparatus thereof}

본 발명은 모션 감지를 통한 사용자 인터페이스를 구현하는 방법 및 그 장치에 관한 것이다.

일반적으로 컴퓨터 시스템에 사용되는 사용자 인터페이스 장치로는 키보드, 마우스, 조이스틱 등의 기계적인 장치들이 주로 사용되며, 최근에는 사용자 입력의 편의성을 위하여 화면 터치를 통하여 입력 인터페이스 장치가 개발되어 사용되고 있다. 화면 터치를 통한 입력 방법은 어플리케이션의 버튼을 클릭하는 등의 초기 단계에서 정밀한 포인팅, 좌표 이동, 멀티 터치 등의 높은 단계로 진화하고 있다. 이러한 화면 터치를 통한 입력 방법보다도 사용자에게 보다 친화적이고 직관적인 입력 인터페이스 방법이 요구됨에 따라, 영상 인식을 통한 모션 인식 기술이 개발되어 사용되고 있다.

영상 인식을 통한 모션 인식 기술은 주로 게임 및 텔레비전 등의 엔터테인먼트 장치에 적용되고 있는데, 일반적으로 사용되는 어플리케이션에 따라 각기 서로 다른 모션을 토대로 하는 입력 인터페이스를 수행한다. 더욱이 버튼 클릭이나 확인 등의 동작을 하기 위해서는 특정 위치에 손과 같은 신체 부분을 계속 위치시키거나 일정 회수 이상 손을 흔드는 동작을 하여야 하는데, 이러한 동작을 사용자가 수행하는데 있어서 불편함이 야기되고 특히 정확한 위치로 손을 위치시키지 않는 경우에는 인식이 되지 않아서 해당 동작을 반복적으로 수행하고 특정 동작을 유지해야 하는 등의 불편함이 야기된다. 그러므로 이러한 모션 인식을 통한 사용자 인터페이스 방법은 엔터테인먼트 장치의 이외의 다른 목적을 가지는 컴퓨터 장치에 적용하는 것이 용이하지 않다.

일반적인 컴퓨터 장치에서 마우스를 대신하여 손동작을 인식하여 사용자 인터페이스를 제공하는 방법이 개발되고 있는데, 이러한 방법들은 복잡한 제스쳐나 손동작 또는 모양 등을 요구하기 때문에 이러한 움직임을 인식하는데 있어서의 정확도가 떨어진다. 예를 들어 특정 손가락을 위아래로 움직이는 동작을 마우스의 버튼 클릭에 대응하는 동작으로 인식하는데, 영상으로부터 특정 손가락의 움직임을 인식하는 정밀도가 떨어져서 사용자가 원하는 동작이 이루어지지 않는 문제가 있다.

본 발명이 이루고자 하는 기술적 과제는 보다 용이하고 쉬운 모션을 통하여 컴퓨터 장치에 대한 사용자 인터페이스 동작이 이루어지도록 하는 방법 및 그 장치를 제공하는 것이다.

본 발명의 과제를 달성하기 위한 본 발명의 특징에 따른 방법은 컴퓨터 장치와 연결된 인터페이스 장치에서 사용자 인터페이스를 구현하는 방법이며, 사용자에 대한 영상을 획득하는 단계; 상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 단계; 상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하는지를 확인하는 단계; 상기 가상 공간에 상기 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 단계; 및 상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 단계를 포함한다.

여기서 상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며, 상기 동작 명령을 출력하는 단계는 상기 가상 공간에서 상기 제1 인식 대상만이 검출되는 모션 정보가 생성되면, 상기 제1 인식 대상의 움직임에 따라 마우스 포인팅 동작에 따른 명령을 출력할 수 있다.

또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에 하나의 인식 대상이 위치되어 있는 상태에서 다른 하나의 인식 대상의 움직임이 검출되는 모션 정보가 생성되면, 마우스의 버튼을 동작시키는 것에 대응하는 명령을 출력할 수 있다.

여기서 상기 동작 명령을 출력하는 단계는, 상기 가상 공간에 상기 제1 인식 대상이 위치되어 있는 상태에서, 상기 제2 인식 대상이 상기 가상 공간으로 진입하면서 상기 제1 인식 대상의 위치를 토대로 하는 기준선을 지나치지 않고 위치되는 모션 정보가 생성되면, 마우스 좌측 버튼을 누르는 것에 해당하는 동작 명령을 출력할 수 있다. 또한 상기 제2 인식 대상이 상기 기준선을 지나치지 않고 위치된 상태에서, 상기 제2 인식 대상이 상기 가상 공간을 벗어나는 움직임이 검출되는 모션 정보가 생성되면, 마우스 좌측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 동작 명령을 출력할 수 있다.

또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에 상기 제1 인식 대상이 위치되어 있는 상태에서, 상기 제2 인식 대상이 상기 가상 공간으로 진입하면서 상기 제1 인식 대상의 위치를 토대로 하는 기준선을 지나쳐서 위치되는 모션 정보가 생성되면, 마우스 우측 버튼을 누르는 것에 해당하는 동작 명령을 출력할 수 있다. 또한 상기 제2 인식 대상이 상기 기준선을 지나쳐서 위치된 상태에서, 상기 제2 인식 대상이 상기 가상 공간을 벗어나는 움직임이 검출되는 모션 정보가 생성되면, 마우스 우측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 동작 명령을 출력할 수 있다.

또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에서 상기 제1 인식 대상이 검출되고 제2 인식 대상의 움직임에 의하여 마우스 좌측 버튼이 눌려진 상태로 판단된 경우에, 상기 제1 인식 대상이 상하좌우로 이동하는 움직임이 검출되는 모션 정보가 생성되면, 마우스 드래그 동작 명령을 출력하고, 상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제2 인식 대상이 수직방향으로 이동하는 움직임이 검출되는 모션 정보가 생성되면, 마우스 휠의 업/다운 동작 명령을 출력할 수 있다.

또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 어느 하나의 인식 대상이 회전하는 움직임이 검출되는 모션 정보가 생성되면, 줌 인/아웃(In/Out) 동작 명령을 출력할 수 있다.

또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제1 및 제2 인식 대상이 수평적으로 서로 반대 방향으로 각각 움직이는 모션 정보가 생성되면, 모드 인/아웃(In/Out) 동작 명령을 출력할 수 있다.

본 발명의 다른 특징에 따른 장치는, 컴퓨터 장치와 연결된 사용자 인터페이스 장치이며, 사용자에 대한 영상을 획득하는 영상 획득부; 상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 가상 공간 설정부; 상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 모션 인식부; 및 상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 동작 명령 출력부를 포함한다.

상기 가상 공간은 동작을 수행하기 위한 예비 동작이 이루어지는 제1 영역, 동작을 수행하기 위한 명령을 입력하는 공간인 제2 영역, 그리고 미리 설정된 화면상의 위치로 이동하는 명령을 수행하는 공간인 제3 영역으로 나뉘어질 수 있다.

상기 모션 인식부는 상기 인식 대상이 상기 제1 영역에 위치하는 경우에는 상기 모션 정보를 생성하지 않을 수 있다.

또한 상기 동작 명령 출력부는 상기 인식 대상이 상기 가상 공간의 제1 내지 제3 영역 중 어느 영역에 위치되는지를 나타내는 정보를 상기 컴퓨터 장치로 제공할 수 있다.

본 발명의 실시 예에 따르면, 컴퓨터 장치에서 사용되는 어플리케이션을 동작시키는데 있어서 필요한 사용자 인터페이스를 보다 간단하고 쉬운 모션 동작을 인식하는 것에 의하여 구현할 수 있다. 특히 상업적으로 업무에 필요하거나 일반적으로 사용되는 어플리케이션을 사용하는데 있어서 모션 인식을 통한 사용자 인터페이스를 구현할 때, 보다 쉬운 모션으로 직관적이고 명확한 명령을 컴퓨터 장치로 제공할 수 있으므로, 사용자 편의성을 제공할 수 있다. 또한 엔터테인먼트　용으로만　사용되었던　모션 인식　사용자　인터페이스　방식에서　변모하여,　일반적인　PC 작업을　포함해서 예를 들어, 대형　스크린을　이용하는 작업, 스크린과　일정　거리　이상 떨어져서　하는　작업,　대규모　관제　시스템의　중앙관제 업무나, 상황실　등의　발표자 컴퓨터　조작　등의　편의성과　효율성을　높일 수 있다.

또한 어플리케이션 개발 과정에서도 모션 입력 장치를 따로 고려하지 않아도 되는 개발 편의성을 제공할 수 있다. 따라서 모션 입력 인터페이스를 위해 개발된 애플리케이션뿐 아니라, 사용자가 원하는 모든 어플리케이션에서 본 발명의 실시 예에 따른 모션 인식을 통하여 사용자 인터페이스를 용이하게 구현할 수 있다.

도 1은 본 발명의 실시 예에 따른 모션 감지를 통한 사용자 인터페이스 장치의 구조를 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 가상 공간을 나타낸 예시도이다.
도 3은 본 발명의 실시 예에 따른 가상 공간의 제3 영역에 사용자 모션이 인식되는 상태를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 제3 영역에서 인식된 사용자 모션에 따라 화면상에 포인터가 위치되는 것을 나타낸 예시도이다.
도 5 내지 도 14는 본 발명의 실시 예에 따른 동작 명령에 대응하는 인식 대상의 모션들을 나타낸 도이다.
도 15는 본 발명의 실시 예에 따른 가상 공간에서의 사용자 손의 위치를 표시하는 지시자를 나타낸 예시도이다.
도 16은 본 발명의 실시 예에 따른 사용자 인터페이스 구현 방법의 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 본 발명의 실시 예에 따른 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치에 대하여 설명한다.

도 1은 본 발명의 실시 예에 따른 모션 감지를 통한 사용자 인터페이스 장치의 구조를 나타낸 도이다.

첨부한 도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 모션 감지를 통한 사용자 인터페이스 장치(1)는 영상 획득부(10), 영상 처리부(20), 가상 공간 설정부(30), 모션 인식부(40), 동작 명령 출력부(50)를 포함한다.

영상 획득부(10)는 오브젝트(object)의 영상을 촬영한다. 이를 위하여 적어도 하나의 카메라를 포함할 수 있다. 예를 들어, 카메라는 모니터의 상단이나 하단에 설치되어 촬영 가능한 범위내에 위치한 오브젝트(예: 사용자)의 영상을 촬영한다.

영상 처리부(20)는 영상 획득부(10)로부터 제공되는 영상을 인식 가능하게 처리하여 영상 신호로 출력한다. 카메라로부터 획득한 영상을 처리하는 기술은 공지되어 있으므로 여기서는 상세한 설명을 생략한다.

가상 공간 설정부(30)는 영상 신호로부터 가상 공간을 설정한다. 여기서 가상 공간은 본 발명의 실시 예에 따른 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 공간이다.

도 2는 본 발명의 실시 예에 따른 가상 공간을 나타낸 예시도이다.

본 발명의 실시 예에 따른 가상 공간은 영상 신호로부터 추출되는 오브젝트의 특정 범위일 수 있는데, 도 2에 예시된 바와 같이, 오브젝트 즉, 사용자의 신체　부위의　일부분　또는　신체 모든　부분에　비례하여　적용되는　공간일 수 있다. 예를 들어, 사용자의　어깨로부터 손까지의 거리를 기준으로 가상 공간을 설정할 수 있다. 즉, 사용자의 어깨로부터 손까지의 거리를 기준 거리로 하고, 각각 기준 거리만큼의 길이를 가지는 4개의 면으로 이루어지는 사각형을 형성하고 이러한 사각형을 하나의 면으로 가지는 육면체로 이루어지는 입체 튜브를 형성하여 이를 가상 공간(virtual region, VR)으로 설정한다. 이러한 입체 튜브 형상의 가상 공간(VR)는 도 2에 예시된 바와 같이, 사용자의 정면 가슴에 평행하게 위치되어 사용자의 손의 움직임에 따른 손의 모션을 촬영할 수 있도록 형성될 수 있다.

한편 이러한 가상 공간(VR)을 복수의 영역으로 나눌 수 있다. 예를 들어 가상 공간을 3개의 영역으로 나누고 제1 영역은 동작을 수행하기 위한 예비 동작이 이루어지는 영역으로 하고, 제2 영역은 동작을 수행하기 위한 명령을 입력하는 공간으로 지정하고, 제3 영역은 특정 목적의 명령을 수행하기 위한 공간으로 지정할 수 있다.

예를 들어, 도 2에서와 같이, 가상 공간을 제1 영역(VR1)과 제2 영역(VR2), 그리고 제3 영역(VR3)으로 나눈다. 제1 영역(VR1)에서 사용자의 손의 모션이 인식되어도 예비 동작이 이루어지는 것으로 판단한다. 제2 영역(VR2)에서 사용자의 손의 모션이 인식되는 경우에는 해당 모션을 소정 동작을 수행하기 위한 명령으로 처리한다. 특히 제2 영역(VR2)에서는 사용자의 손의 움직임 거리에 대응하여 화면상에서 포인터의 위치를 이동시킨다. 제3 영역(VR3)에서 사용자의 손의 모션이 인식되는 경우에도 해당 모션을 특정 동작을 수행하기 위한 명령으로 처리한다. 구체적으로 제3 영역에서 사용자의 손의 모션이 검출되면 손의 움직임 거리와는 상관없이 화면상의 지정 위치로 포인터의 위치를 이동시키는 동작을 수행하는 명령으로 처리한다.

도 3은 본 발명의 실시 예에 따른 가상 공간의 제3 영역에 사용자 모션이 인식되는 상태를 나타낸 도이고, 도 4는 본 발명의 실시 예에 따른 제3 영역에서 인식된 사용자 모션에 따라 화면상에 포인터가 위치되는 것을 나타낸 예시도이다.

예를 들어, 도 3에서와 같이, 가상 공간의 제3 영역(VR3)에서 사용자의 손이 검출되고 사용자의 손이 도 4의 (A)에 도시된 바와 같이, 제3 영역(VR3)의 우측으로 손이 이동하면, 도 4의 (B)에 도시되어 바와 같이 화면상의 최우측에 포인터(P1)를 표시한다. 즉, 제3 영역(VR3)에서는 실질적으로 손이 움직인 거리가 화면상의 최우측에 대응하지 않아도 포인터를 화면상의 지정된 위치(예를 들어, 최우측 위치)로 이동시킨다.

이와 같이 제3 영역(VR3)에서 인식 대상인 사용자의 손이 검출되면 검출된 위치에 대응하여 화면상의 미리 설정된 특정 위치로 포인터를 이동시키는 동작을 수행한다. 한편 제2 영역(VR3)에서는 인식 대상인 사용자의 손의 움직임 거리에 대응하여 화면상의 포인터가 이동함으로, 제2 영역(VR3)에서 사용자의 손이 최우측에 위치하여도 화면상의 포인터가 최우측으로 이동하지 않고, 사용자의 손이 움직임 거리에 대응하는 거리만큼만 화면상에서 이동하게 된다. 따라서 사용자는 화면상에서 포인터를 특정 위치(예를 들어, 화면상의 최우측 또는 최좌측 위치 등)으로 이동시키고자 하는 경우에는 손이 가상 공간의 제3 영역(VR3)에 위치시킬 수 있다.

이외에도, 가상 공간에서 일부 영역에 대해서는 인식되는 모션을 컴퓨팅하여 명령으로 인식하는 영역으로 설정하고, 나머지 영역을 모션이 검출되어도 명령으로 인식하지 않는 영역으로 설정할 수 있다. 예를 들어, 제1 영역은 모션이 검출되어도 명령으로 인식하지 않는 영역으로 설정되고, 제2 영역 및 제3 영역이 모션 인식에 따른 명령을 인식하는 영역으로 설정될 수 있다.

가상 공간 설정부(20)는 영상 처리부(20)의 영상 신호를 토대로 해당 영상에 대한 깊이 정보를 획득하고, 깊이 정보를 토대로 입체 튜브와 같은 형상을 가지는 가상 공간을 설정할 수 있다.

모션 인식부(40)는 영상 신호에 대응하는 영상에 대하여 설정된 가상 공간에서 이루어지는 사용자의 모션을 인식한다. 이를 위하여 모션 인식부(40)는 가상 공간에 위치하는 사용자의 미리 설정된 신체 부위에 대응하는 인식 대상을 추출하는 추출 모듈(41), 추출된 인식 대상의 움직임을 추적하는 움직임 추적 모듈(42), 인식 대상의 움직임을 토대로 모션을 인식하는 인식 모듈(43)을 포함한다.

추출 모듈(41)은 영상으로부터 가상 공간에 위치하는 사용자의 미리 설정된 신체 부위인 인식 대상을 추출하는데, 여기서 인식 대상은 사용자의 손일 수 있다.

움직임 추적 모듈(42)은 인식 대상인 사용자의 손의 움직임을 추적하며, 인식 모듈(43)은 손의 움직임을 토대로 어떠한 모션이 이루어졌는지를 확인한다. 그리고 확인된 모션에 대한 정보를 동작 명령 출력부(50)로 제공한다.

동작 명령 출력부(50)는 모션 인식부(40)로부터 제공되는 인식 대상의 모션 정보를 토대로 사용자 인터페이스에 대응하는 동작 명령을 출력한다. 본 발명의 실시 예에 따른 동작 명령은 다음과 같다.

제1 동작 명령	마우스 포인팅(mouse pointing) 동작
제2 동작 명령	마우스 좌측 버튼 다운(mouse left button down) 동작
제3 동작 명령	마우스 좌측 버튼 릴리즈(mouse left button release) 동작
제4 동작 명령	마우스 우측 버튼 다운(mouse right button down) 동작
제5 동작 명령	마우스 우측 버튼 릴리즈(mouse right button release) 동작
제6 동작 명령	마우스 드래그(mouse drag) 동작
제7 동작 명령	마우스 휠 업/다운(wheal up/down) 동작
제8 동작 명령	줌 인/아웃(zoom In/Out) 동작
제9 동작 명령	모드 인/아웃(mode In/Out) 동작

본 발명의 실시 예에서는 인식 대상의 모션 정보를 토대로 위의 표 1과 같이 제1 동작 명령 내지 제9 동작 명령 중 어느 하나에 대응하는지를 판단하고, 판단된 동작 명령을 출력한다. 각각의 동작 명령은 위에 기술된 바와 같이 컴퓨터 장치의 마우스의 동작에 대응한다.

보다 구체적으로 인식 대상의 어떠한 모션이 제1 내지 제9 동작 명령 중 어느 하나에 대응하는지를 판단하는 방법에 대하여 설명한다.

도 5 내지 도 14는 본 발명의 실시 예에 따른 동작 명령에 대응하는 인식 대상의 모션들을 나타낸 도이다.

여기서는 인식 대상을 제1 인식 대상과 제2 인식 대상으로 나누고, 제1 인식 대상과 제2 인식 대상의 각각의 움직임에 따른 모션을 토대로 어떠한 동작 명령에 해당하는지를 판단한다. 예를 들어 사용자의 하나의 손을 제1 인식 대상으로 하고 사용자의 나머지 손을 제2 인식 대상으로 설정한다. 그리고 제1 인식 대상을 메인 인식 대상으로 하면서 제2 인식 대상을 서브 인식 대상으로 하여, 메인 인식 대상의 움직임을 기준으로 서브 인식 대상이 어떻게 움직이느냐에 따라 어떠한 동작 명령에 해당하는지를 판단할 수 있다. 본 발명은 제1 인식 대상이 메인 인식 대상으로 사용되는 것에 한정되지는 않는다.

예를 들어, 도 5에 도시되어 있듯이, 가상 공간(VR)에서 하나의 인식 대상이 검출되면 이것은 제1 동작 명령에 대응하는 것으로 판단한다. 즉, 가상 공간(VR)에서 제1 인식 대상(H1)만이 검출되면 제1 동작 명령에 대응하는 것으로 판단하고, 제1 인식 대상(H1)의 움직임에 따라 마우스 포인팅 동작에 따른 명령을 출력한다. 따라서, 제1 인식 대상(H1)의 움직임에 따라 컴퓨터 장치(도시하지 않음)의 화면상에서 포인터가 이동하는 마우스 포인팅 동작이 수행된다.

또한 예를 들어 가상 공간(VR)에서 제1 및 제2 인식 대상이 검출되고 어느 하나의 인식 대상이 가상 공간(VR)(예를 들어, 가상 공간(VR)의 제2 영역(VR2))에 머물러 있는 상태에서 다른 하나의 인식 대상의 움직임이 검출되면, 이것은 마우스의 버튼을 동작시키는 것으로 판단한다.

예를 들어, 도 6의 (A)에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 또는 제2 인식 대상(H2)이 검출된 상태 예를 들어, 제2 영역(VR2)에서 제1 인식 대상(H1)이 가상 공간의 제2 영역(VR2)에 머물러 있는 상태(마우스 포인팅되는 상태)에서 제2 인식 대상(H2)이 가상 공간으로 진입하여 가상 공간의 제2 영역(VR2)에 위치하는 움직임이 검출되면, 해당 모션이 제2 동작 명령에 대응하는 것으로 판단한다. 이 때 제2 인식 대상(H2)이 도 6의 (B)와 같이, 가상 공간의 제2 영역(VR2)에 위치한 제1 인식 대상(H1)을 지나치지 않고 위치되었을 때, 즉, 제2 인식 대상(H2)이 제1 인식 대상(H1)의 위치를 토대로 하는 기준선(도 6의 (B)에서 점선으로 표시됨)을 지나치지 않고 위치된 경우, 해당 모션이 제2 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 좌측 버튼을 누르는 것에 해당하는 마우스 좌측 버튼다운 동작이 수행된다.

한편 도 7의 (A)에서와 같이, 제2 인식 대상(H2)이 가상 공간의 제2 영역(VR2)에서 제1 인식 대상(H1)을 지나치지 않고 위치된 상태에서, 제2 인식 대상(H2)이 제2 영역(VR2)을 벗어나는 움직임이 검출되면서, 도 7의 (B)에서와 같이, 제2 영역(VR2)을 완전히 벗어나면, 해당 모션이 제3 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 좌측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 마우스 좌측 버튼 릴리즈 동작이 수행된다.

또한 예를 들어, 도 8의 (A)에 도시되어 있듯이, 제1 인식 대상(H1) 또는 제2 인식 대상(H2)이 검출된 상태 예를 들어, 제2 영역(VR2)에서 제1 인식 대상(H1)이 가상 공간의 제2 영역(VR2)에 머물러 있는 상태(마우스 포인팅되는 상태)에서, 제2 인식 대상(H2)이 가상 공간으로 진입하는 움직임이 검출되면서 도 8의 (B)와 같이, 가상 공간의 제2 영역(VR2)에 위치한 제1 인식 대상(H1)을 지나쳐서 위치되었을 때, 해당 모션이 제4 동작 명령에 대응하는 것으로 판단한다. 구체적으로, 제2 인식 대상(H2)이 제1 인식 대상(H1)의 위치를 토대로 하는 기준선(도 8의 (B)에서 점선으로 표시됨)을 지나쳐서 제1 인식 대상(H1)보다 제3 영역(VR3)에 더 가까이 위치된 경우, 해당 모션이 제4 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 우측 버튼을 누르는 것에 해당하는 마우스 우측 버튼다운 동작이 수행된다.

한편 도 9의 (A)에서와 같이, 제2 인식 대상(H2)이 가상 공간의 제2 영역(VR2)에서 제1 인식 대상(H1)을 지나쳐서 위치된 상태에서, 제2 인식 대상(H2)이 제2 영역(VR2)을 벗어나는 움직임이 검출되면서, 도 9의 (B)에서와 같이, 제2 영역(VR2)을 완전히 벗어나면, 해당 모션이 제5 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 우측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 마우스 우측 버튼 릴리즈 동작이 수행된다.

위와 같은 제3 또는 제5 명령을 수행하는 경우, 제2 인식 대상(H2)이 제2 가상 영역(VR2)을 벗어나는 것 이외에도, 가상 공간(VR)을 완전히 벗어날 때 제3 또는 제5 명령에 대응하는 모션이 검출된 것으로 판단하여 해당 명령에 따른 동작이 수행될 수도 있다.

또한 예를 들어, 도 10에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 및 제2 인식 대상(H2)이 검출되고 제1 인식 대상(H1)이 상하좌우로 이동하는 움직임이 검출되면, 해당 모션이 제6 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 드래그 동작이 수행된다. 특히, 제1 인식 대상(H1)이 검출되고 도 6의 (B)에서와 같이, 제2 인식 대상(H2)의 움직임에 의하여 마우스 좌측 버튼이 눌러진 상태로 판단된 경우에, 제1 인식 대상(H1)이 상하좌우로 이동하는 움직임이 검출되면 마우스 드래그 동작이 수행될 수 있다.

또한 예를 들어, 도 11에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 및 제2 인식 대상(H2)이 검출되고 제2 인식 대상(H2)이 수직방향(예를 들어, 상하 방향)으로 이동하는 움직임이 검출되면, 해당 모션이 제7 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 휠 업/다운 동작이 수행된다.

또한 예를 들어, 도 12에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 및 제2 인식 대상(H2)이 검출되고 제2 인식 대상(H2)이 회전하는 움직임이 검출되면, 해당 모션이 제8 동작 명령에 대응하는 것으로 판단한다. 이때, 제2 인식 대상(H2)이 반시계 방향으로 회전하면 제8 동작 명령 중 줌인(zoom IN) 동작이 수행되고, 제2 인식 대상(H2)이 시계 방향으로 회전하면 제8 동작 명령 중 줌아웃(zoom OUT) 동작이 수행된다. 여기서는 제2 인식 대상(H2)이 회전하는 경우를 예로 들었지만, 제1 인식 대상(H1)이 회전하는 것을 토대로 줌 인/아웃 동작이 수행될 수도 있다.

또한 예를 들어, 도 13 및 도 14에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 및 제2 인식 대상(H2)이 검출되고, 제1 및 제2 인식 대상(H1, H2)이 수평 방향에서 서로 반대 방향으로 이동하면, 해당 모션이 제9 동작 명령에 대응하는 것으로 판단한다. 이때, 제1 및 제2 인식 대상(H1, H2)이 도 13에서와 같이 수평 방향에서 중심을 기준으로 바깥쪽 방향 즉, 제1 인식 대상(H1)은 우측 방향으로 이동하고 제2 인식 대상(H2)은 좌측 방향으로 이동하면, 제9 동작 명령 중에서 모드 인(mode IN) 동작이 수행된다. 또한 제1 및 제2 인식 대상(H1, H2)이 도 14에서와 같이 수평 방향에서 중심을 기준으로 안쪽 방향 즉, 제1 인식 대상(H1)은 좌측 방향으로 이동하고 제2 인식 대상(H2)은 우측 방향으로 이동하면, 제9 동작 명령 중 모드 아웃(mode OUT) 동작이 수행된다. 예를 들어 모드인 동작에 따라 팝업 창이 표시되고, 모드 아웃 동작에 따라 팝업창이 닫혀지는 동작이 이루어질 수 있다.

위에 기술된 바와 같은 인식 대상인 사용자의 손의 움직임을 토대로 컴퓨터 장치에 대한 사용자 인터페이스를 구현할 수 있다.

한편, 사용자는 가상 공간에서 자신의 손이 어느 영역에 위치하는지를 알 수 없으므로, 본 발명의 실시 예에 따른 사용자 인터페이스 장치(1)는 인식 대상이 가상 공간의 어느 영역에 위치하는지를 화면상에 표시할 수 있다.

도 15는 본 발명의 실시 예에 따른 가상 공간에서의 사용자 손의 위치를 표시하는 지시자를 나타낸 예시도이다.

예를 들어, 도 15에서와 같이, 화면상에 가상 공간의 제1 영역에 대응하는 제1 지시자(S1), 제2 영역에 대응하는 제2 지시자(S2), 그리고 제3 영역에 대응하는 제3 지시자(S3)를 이용하여, 가상 공간에서 검출되는 인식 대상 즉, 사용자 손의 위치가 어느 영역에 위치하는지를 표시한다.

인식 대상이 어느 영역에 위치하는지를 확인하고 확인 결과에 따라 대응하는 지시자를 다른 지시자들과 구별되게 표시할 수 있다. 예를 들어 사용자 손이 가상 공간의 제3 영역에 위치하는 경우에는 제3 지시자(S3)를 다른 지시자들(S1, S2)과 구별되게 표시하여, 사용자가 자신의 손이 현재 가상 공간의 제3 영역에 위치함을 인식할 수 있도록 한다. 이에 따라 사용자는 제1 내지 제3 지시자들을 토대로 자신의 손을 원하는 영역으로 자유로이 움직이면서 원하는 동작이 이루어지도록 할 수 있다. 예를 들어, 사용자가 가상 공간의 제2 영역에서 손을 움직이고 있는 상태에서 화면상의 특정 위치 예를 들어 최좌측 위치로 포인터를 이동시키고자 하는 경우에는 제3 영역으로 손을 이동시키며, 이러한 이동이 정확하게 이루어지는지를 지시자들을 토대로 용이하게 알 수 있다. 이러한 지시자 표시를 위하여, 동작 명령 출력부(50)는 인식 대상이 가상 공간의 제1 내지 제3 영역 중 어느 영역에 위치되는지를 나타내는 정보를 컴퓨터 장치로 제공하며, 이에 따라 컴퓨터 장치가 제1 내지 제3 지시자를 화면상에 표시한다.

또한 이러한 지시자들로 마우스 포인터를 사용할 수 있다. 마우스 포인터 이미지를 사용자 손이 가상 공간의 어느 영역에 위치하는지에 따라 표시되는 상태(예를 들어, 제1 영역에서 제3 영역으로 갈수록 마우스 포인터 이미지의 색상을 진하게 표시함)를 다르게 할 수 있다.

다음에는 본 발명의 실시 예에 따른 사용자 인터페이스 구현 방법에 대하여 설명한다.

도 16은 본 발명의 실시 예에 따른 사용자 인터페이스 구현 방법의 흐름도이다.

사용자 인터페이스 장치(1)는 컴퓨터 장치를 사용하고자 하는 사용자에 대한 영상을 획득한다(S100). 획득된 영상은 영상 처리되어 영상 신호로 출력되며, 영상 신호를 토대로 가상 공간이 설정된다(S120). 사용자 인터페이스 장치(1)는 영상 신호로부터 해당하는 영상 정보 및 해당 영상의 깊이 정보를 획득하며, 영상 정보로부터 사용자 영상을 추출한다. 그리고 추출된 사용자 영상으로부터 깊이 정보를 이용하여 가상 공간을 설정한다. 그리고 가상 공간을 제1 내지 제2 가상 영역으로 나눈다.

이와 같이 획득된 영상으로부터 사용자의 모션을 인식하기 위한 가상 공간을 설정한 다음, 사용자 인터페이스 장치(1)는 인식 대상 즉, 사용자의 손이 가상 공간에 진입하는지를 검출한다(S130). 가상 공간으로의 인식 대상의 진입이 검출되면 사용자 인터페이스 장치(1)는 가상 공간에서 움직이는 인식 대상의 종류 그리고 인식 대상의 움직임을 검출하여 모션 정보를 생성한다(S140). 위에서 살펴본 바와 같이, 인식 대상이 가상 공간의 제1 내지 제3 영역에 위치하는지를 판단하고, 제1 및 제2 인식 대상 중에서 어떠한 인식 대상이 움직이는지를 판단하며, 움직이는 인식 대상이 어떠한 방향으로 이동하는지를 판단하고, 이러한 판단 결과들을 종합적으로 고려하여 모션 정보를 생성한다.

이후 사용자 인터페이스 장치(1)는 생성된 모션 정보가 미리 설정된 복수의 동작 명령 중 어느 명령에 해당하는지를 판단하고, 판단 결과에 해당하는 동작 명령을 출력한다(S150).

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

컴퓨터 장치와 연결된 인터페이스 장치에서 사용자 인터페이스를 구현하는 방법에서
사용자에 대한 영상을 획득하는 단계;
상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 단계;
상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하는지를 확인하는 단계;
상기 가상 공간에 상기 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 단계; 및
상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 단계
를 포함하며,
상기 가상 공간은
동작을 수행하기 위한 예비 동작이 이루어지는 제1 영역, 동작을 수행하기 위한 명령을 입력하는 공간인 제2 영역, 그리고 미리 설정된 화면상의 위치로 이동하는 명령을 수행하는 공간인 제3 영역으로 나뉘어지는, 사용자 인터페이스 구현 방법.
제1항에 있어서
상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
상기 동작 명령을 출력하는 단계는
상기 가상 공간에서 상기 제1 인식 대상만이 검출되는 모션 정보가 생성되면, 상기 제1 인식 대상의 움직임에 따라 마우스 포인팅 동작에 따른 명령을 출력하는, 사용자 인터페이스 구현 방법.
제1항에 있어서
상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
상기 동작 명령을 출력하는 단계는
상기 가상 공간에 하나의 인식 대상이 위치되어 있는 상태에서 다른 하나의 인식 대상의 움직임이 검출되는 모션 정보가 생성되면, 마우스의 버튼을 동작시키는 것에 대응하는 명령을 출력하는, 사용자 인터페이스 구현 방법.
제3항에 있어서
상기 동작 명령을 출력하는 단계는
상기 가상 공간에 상기 제1 인식 대상이 위치되어 있는 상태에서, 상기 제2 인식 대상이 상기 가상 공간으로 진입하면서 상기 제1 인식 대상의 위치를 토대로 하는 기준선을 지나치지 않고 위치되는 모션 정보가 생성되면, 마우스 좌측 버튼을 누르는 것에 해당하는 동작 명령을 출력하고,
상기 제2 인식 대상이 상기 기준선을 지나치지 않고 위치된 상태에서, 상기 제2 인식 대상이 상기 가상 공간을 벗어나는 움직임이 검출되는 모션 정보가 생성되면, 마우스 좌측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
제4항에 있어서
상기 동작 명령을 출력하는 단계는
상기 가상 공간에 상기 제1 인식 대상이 위치되어 있는 상태에서, 상기 제2 인식 대상이 상기 가상 공간으로 진입하면서 상기 제1 인식 대상의 위치를 토대로 하는 기준선을 지나쳐서 위치되는 모션 정보가 생성되면, 마우스 우측 버튼을 누르는 것에 해당하는 동작 명령을 출력하고,
상기 제2 인식 대상이 상기 기준선을 지나쳐서 위치된 상태에서, 상기 제2 인식 대상이 상기 가상 공간을 벗어나는 움직임이 검출되는 모션 정보가 생성되면, 마우스 우측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
컴퓨터 장치와 연결된 인터페이스 장치에서 사용자 인터페이스를 구현하는 방법에서
사용자에 대한 영상을 획득하는 단계;
상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 단계;
상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하는지를 확인하는 단계;
상기 가상 공간에 상기 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 단계; 및
상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 단계
를 포함하며,
상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
상기 동작 명령을 출력하는 단계는
상기 가상 공간에서 상기 제1 인식 대상이 검출되고 제2 인식 대상의 움직임에 의하여 마우스 좌측 버튼이 눌려진 상태로 판단된 경우에, 상기 제1 인식 대상이 상하 좌우로 이동하는 움직임이 검출되는 모션 정보가 생성되면, 마우스 드래그 동작 명령을 출력하고,
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제2 인식 대상이 수직방향으로 이동하는 움직임이 검출되는 모션 정보가 생성되면, 마우스 휠의 업/다운 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
컴퓨터 장치와 연결된 인터페이스 장치에서 사용자 인터페이스를 구현하는 방법에서
사용자에 대한 영상을 획득하는 단계;
상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 단계;
상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하는지를 확인하는 단계;
상기 가상 공간에 상기 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 단계; 및
상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 단계
를 포함하며,
상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
상기 동작 명령을 출력하는 단계는
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 어느 하나의 인식 대상이 회전하는 움직임이 검출되는 모션 정보가 생성되면, 줌 인/아웃(In/Out) 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
제7항에 있어서
상기 동작 명령을 출력하는 단계는
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제2 인식 대상이 반시계 방향으로 회전하는 움직임이 검출되는 모션 정보가 생성되면, 줌 인 동작 명령을 출력하고,
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제2 인식 대상이 시계 방향으로 회전하는 움직임이 검출되는 모션 정보가 생성되면, 줌 아웃 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
컴퓨터 장치와 연결된 인터페이스 장치에서 사용자 인터페이스를 구현하는 방법에서
사용자에 대한 영상을 획득하는 단계;
상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 단계;
상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하는지를 확인하는 단계;
상기 가상 공간에 상기 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 단계; 및
상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 단계
를 포함하며,
상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
상기 동작 명령을 출력하는 단계는
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제1 및 제2 인식 대상이 수평적으로 서로 반대 방향으로 각각 움직이는 모션 정보가 생성되면, 모드 인/아웃(In/Out) 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
제9항에 있어서
상기 동작 명령을 출력하는 단계는
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제1 및 제2 인식 대상이 중심과 멀어지는 바깥 방향으로 수평적으로 각각 이동하는 모션 정보가 생성되면, 모드 인 동작 명령을 출력하고,
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제1 및 제2 인식 대상이 중심과 가까워지는 안쪽 방향으로 수평적으로 각각 이동하는 모션 정보가 생성되면, 모드 아웃 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.
제6항 내지 제10항 중 어느 한 항에 있어서
상기 가상 공간은
동작을 수행하기 위한 예비 동작이 이루어지는 제1 영역, 동작을 수행하기 위한 명령을 입력하는 공간인 제2 영역, 그리고 미리 설정된 화면상의 위치로 이동하는 명령을 수행하는 공간인 제3 영역으로 나뉘어지며,
상기 모션 정보를 생성하는 단계는 상기 인식 대상이 상기 제1 영역에 위치하는 경우에는 상기 모션 정보를 생성하지 않는, 사용자 인터페이스 구현 방법.
제11항에 있어서
상기 모션 정보를 생성하는 단계는 상기 인식 대상이 상기 가상 공간의 제2 영역에서 검출되는 경우에 모션 정보를 생성하는, 사용자 인터페이스 구현 방법.
삭제
컴퓨터 장치와 연결된 사용자 인터페이스 장치에서,
사용자에 대한 영상을 획득하는 영상 획득부;
상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 가상 공간 설정부;
상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 모션 인식부; 및
상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 동작 명령 출력부
를 포함하며,
상기 가상 공간은
동작을 수행하기 위한 예비 동작이 이루어지는 제1 영역, 동작을 수행하기 위한 명령을 입력하는 공간인 제2 영역, 그리고 미리 설정된 화면상의 위치로 이동하는 명령을 수행하는 공간인 제3 영역으로 나뉘어지는, 사용자 인터페이스 장치.
제14항에 있어서
상기 모션 인식부는 상기 인식 대상이 상기 제1 영역에 위치하는 경우에는 상기 모션 정보를 생성하지 않는, 사용자 인터페이스 장치.
제15항에 있어서
상기 동작 명령 출력부는
상기 인식 대상이 상기 가상 공간의 제1 내지 제3 영역 중 어느 영역에 위치되는지를 나타내는 정보를 상기 컴퓨터 장치로 제공하는, 사용자 인터페이스 장치.