KR100565040B1

KR100565040B1 - User interface method using 3-dimensional user input device in 3-dimensional graphic display and computer readable medium therefor

Info

Publication number: KR100565040B1
Application number: KR1019990034575A
Authority: KR
Inventors: 박종욱
Original assignee: 삼성전자주식회사
Priority date: 1999-08-20
Filing date: 1999-08-20
Publication date: 2006-03-30
Also published as: KR20010018568A

Abstract

본 발명은 3차원 사용자 입력 장치를 사용한 3차원 그래픽 화면상의 사용자 인터페이스에 관한 것으로, (a) 사용자가 3차원 공간상에서 임의의 방향으로 움직일 수 있는 3차원 사용자 입력 장치에 의하여 3차원 그래픽 화면상에 위치하는 계층적인 메뉴를 가지고 있는 오브젝트를 선택하는 단계; (b) 상기 3차원 그래픽 화면상에 상기 오브젝트가 가지고 있는 최상위 메뉴를 표시하는 단계; (c) 상기 3차원 사용자 입력 장치에 의하여 상기 메뉴의 항목들 중에서 하위 메뉴를 가지고 있는 항목을 선택하는 단계; 및 (d) 상기 (c) 단계에서 하위 메뉴를 가지고 있는 항목이 선택되면, 3차원 그래픽 화면상에 하위 메뉴가 표시되는 단계를 포함함을 특징으로 한다.The present invention relates to a user interface on a three-dimensional graphic screen using a three-dimensional user input device, comprising: (a) on a three-dimensional graphic screen by a three-dimensional user input device that allows a user to move in an arbitrary direction in a three-dimensional space; Selecting an object having a hierarchical menu located; (b) displaying a top menu of the object on the 3D graphic screen; (c) selecting an item having a lower menu among the items of the menu by the 3D user input device; And (d) if an item having a lower menu is selected in step (c), displaying the lower menu on a 3D graphic screen.

본 발명에 의하면, 사용자가 간단하게 조작할 수 있는 3차원 사용자 입력 장치를 사용한 3차원 그래픽 화면상의 인터페이스를 통하여 다양하고 복잡한 사용자 인터페이스를 쉽고 편리하게 수행할 수 있다. 특히, 계층적 메뉴를 가지고 있는 오브젝트를 인간의 공간 개념과 일치하는 방식으로 접근할 수 있으므로 효율적인 인터페이스 개발이 가능하다.According to the present invention, various and complicated user interfaces can be easily and conveniently performed through an interface on a three-dimensional graphic screen using a three-dimensional user input device which can be easily operated by a user. In particular, an object with a hierarchical menu can be accessed in a manner consistent with the concept of human space, enabling efficient interface development.

Description

User interface method using 3-dimensional user input device in 3-dimensional graphic display and computer readable medium therefor}

도 1은 종래의 2차원 사용자 입력 장치를 사용한 2차원 그래픽 화면상의 사용자 인터페이스를 툴바의 메뉴 항목을 중심으로 개략적으로 도시한 것이다.1 schematically illustrates a user interface on a two-dimensional graphic screen using a conventional two-dimensional user input device centering on a menu item of a toolbar.

도 2는 본 발명의 실시예에서 사용될 수 있는 3차원 사용자 입력 장치의 일 실시예 및 그 입력 처리 과정을 블록으로 도시한 것이다.2 is a block diagram showing an embodiment of a three-dimensional user input device and its input processing process that can be used in an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 3차원 사용자 입력 장치를 사용한 3차원 화면상의 사용자 인터페이스를 개략적으로 도시한 것이다.3 schematically illustrates a user interface on a 3D screen using a 3D user input device according to an embodiment of the present invention.

도 4는 도 3에서 도시한 3차원 사용자 입력 장치를 사용한 3차원 화면상의 사용자 인터페이스 방법에 대한 흐름도이다.4 is a flowchart illustrating a user interface method on a 3D screen using the 3D user input device illustrated in FIG. 3.

도 5는 본 발명의 다른 실시예에 따른 3차원 사용자 입력 장치를 사용한 3차원 화면상의 사용자 인터페이스 방법에 대한 흐름도이다.5 is a flowchart illustrating a user interface method on a 3D screen using a 3D user input device according to another exemplary embodiment of the present invention.

도 6은 본 발명의 또다른 실시예에 따른 3차원 사용자 입력 장치를 사용한 3차원 화면상의 사용자 인터페이스를 개략적으로 도시한 것이다.6 schematically illustrates a user interface on a three-dimensional screen using a three-dimensional user input device according to another embodiment of the present invention.

도 7은 도 6에서 도시한 3차원 사용자 입력 장치를 사용한 3차원 화면상의 사용자 인터페이스 방법에 대한 흐름도이다.FIG. 7 is a flowchart illustrating a user interface method on a 3D screen using the 3D user input device illustrated in FIG. 6.

본 발명은 사용자 인터페이스에 관한 것으로, 특히 3차원 사용자 입력 장치를 사용한 3차원 그래픽 화면상의 사용자 인터페이스에 관한 것이다.The present invention relates to a user interface, and more particularly, to a user interface on a three-dimensional graphic screen using a three-dimensional user input device.

컴퓨터 등의 정보 처리 시스템이나 제어 시스템에서는 사용자 인터페이스를 위한 사용자 입력 및 출력 장치가 사용된다. 사용자 입력 장치로는 키보드(keyboard), 마우스(mouse), 터치 스크린(touch screen) 등이 주로 사용되며, 출력 장치로는 모니터 화면(monitor screen) (이하, 그래픽 화면 또는 화면으로 참조함), 프린터(printer) 등이 널리 사용된다.In an information processing system or control system such as a computer, a user input and output device for a user interface is used. Keyboard, mouse, touch screen, etc. are mainly used as user input devices, and monitor screens (hereinafter referred to as graphic screens or screens) and printers as output devices. (printer) and the like are widely used.

종래의 마우스 등의 입력 장치는 2차원적인 사용자 입력만을 지원하였다. 즉, 사용자 입력 장치를 통한 사용자 입력을 평면상에서 기준축이 되는 X 축 방향의 입력과 이에 수직을 이루는 Y 축 방향의 입력으로 분리하여 감지 또는 검출하였다. 또한, 종래의 그래픽 화면도 특수한 응용 분야를 제외하고는, 일반적으로 2차원적인 사용자 출력을 중심으로 구성되었다.Conventional input devices such as mice only support two-dimensional user input. That is, the user input through the user input device is separated into an input in the X axis direction serving as a reference axis on the plane and an input in the Y axis direction perpendicular to the input, and detected or detected. In addition, conventional graphic screens are generally constructed around two-dimensional user outputs, except for special application fields.

도 1은 이러한 종래의 2차원 사용자 입력 장치를 사용한 2차원 그래픽 화면상의 사용자 인터페이스를 툴바의 메뉴 항목을 중심으로 개략적으로 도시한 것이다.1 schematically illustrates a user interface on a two-dimensional graphic screen using such a conventional two-dimensional user input device centering on menu items of a toolbar.

종래의 사용자 인터페이스는 사용자의 제어 입력을 2차원적으로만 지원하였 기에 그래픽 화면상의 사용자 인터페이스도 2차원적으로 구현되었다. 이를 도 1을 참조하여 설명하기로 한다.Since the conventional user interface only supports the user's control input in two dimensions, the user interface on the graphic screen is also implemented in two dimensions. This will be described with reference to FIG. 1.

도 1에서 도시한 바와 같이, 사용자가 2차원적인 사용자 입력을 지원하는 마우스(140)를 X 축 및 Y 축 방향으로 임의로 움직여서 툴바(tool bar)(100) 상의 특정 메뉴 버튼(110)을 선택하면, 보통 아래쪽으로 pop-up 메뉴(또는, pull-down 메뉴라고 칭하기도 함)(120)가 보여진다. 화면상에는 현재(즉, 최종 시점)의 마우스의 화면상의 상대적인 위치를 나타내는 마우스 표시점(140p)이 존재하며, 사용자는 마우스 표시점(140p)을 참조하여 사용자 입력 장치인 마우스(140)의 움직임을 제어하게 된다.As shown in FIG. 1, when a user selects a particular menu button 110 on a toolbar 100 by randomly moving a mouse 140 that supports two-dimensional user input in the X-axis and Y-axis directions. At the bottom, a pop-up menu (or sometimes referred to as a pull-down menu) 120 is shown. On the screen, there is a mouse display point 140p indicating the relative position of the mouse of the current (ie, the last point in time), and the user refers to the mouse display point 140p to check the movement of the mouse 140 which is a user input device. Control.

마우스 표시점(140p)이 사용자가 원하는 위치, 예를 들어 도 1의 특정 메뉴 버튼(110)에 위치하게 되면, 사용자는 일반적으로 마우스(140) 상에 존재하는 특정 버튼을 클릭(click)하여 해당 오브젝트를 선택한다. 이러한 "선택"은 응용 분야에 따라, 단지 마우스 표시점(140p)의 포인팅(pointing; 마우스 표시점을 해당 오브젝트에 위치시키는 것을 말함)에 의하여 이루어질 수도 있고, 특정 마우스 버튼의 클릭에 의할 수도 있다. 또한, 더블클릭(double click)에 의하여 선택이 이루어지는 경우도 있다.When the mouse display point 140p is located at a position desired by the user, for example, the specific menu button 110 of FIG. 1, the user generally clicks a specific button existing on the mouse 140 to select the corresponding button. Select the object. This " selection " may be made by simply pointing the mouse mark 140p (positioning the mouse mark to the object), depending on the application, or by clicking a particular mouse button. . In addition, a selection may be made by double clicking.

만약, 마우스에 의하여 메뉴를 가지고 있는 오브젝트가 선택되면 오브젝트가 가지고 있는 메뉴(최상위 메뉴) (120)가 화면상에 나타난다. 이러한 메뉴(120)의 각 항목은 또한 자신의 하위 메뉴를 가지고 있을 수 있다. 이처럼 계층적인 메뉴를 가지고 있는 경우에, 하위 메뉴를 가지고 있는 항목(124)을 마우스를 움직여서 선 택하면 다시 오른쪽(또는 화면 공간에 따라 왼쪽)으로 하위 pop-up 메뉴(130)가 보여진다. 또한, 하위 pop-up 메뉴의 항목(135)이 자신의 하위 pop-up 메뉴를 가지고 있는 경우에는 이러한 선택 과정이 반복될 수 있다. 최종적으로, 사용자가 원하는 최하위 메뉴 항목을 선택하면 해당 항목에 정의된 동작(operation)이 수행된다.If an object having a menu is selected by the mouse, a menu 120 (top menu) owned by the object appears on the screen. Each item of this menu 120 may also have its own submenu. In the case of having a hierarchical menu like this, when the user selects the item 124 having the submenu by moving the mouse, the sub pop-up menu 130 is displayed again to the right (or the left according to the screen space). Also, if the item 135 of the lower pop-up menu has its own lower pop-up menu, this selection process may be repeated. Finally, when the user selects the lowest menu item desired, the operation defined in the item is performed.

종래의 2차원 그래픽 화면상의 인터페이스에서는 많은 양의 정보를 검색함에 있어서 화면 공간상의 제약으로 2차원적으로 메뉴를 계속 보여주는데 한계가 있다. 또한, 평면적인 메뉴 표현은 화면에 많은 것이 보여지므로 복잡해 보이고, 어떤 하나의 메뉴에 대해서 그 하위 레벨의 메뉴가 옆으로 보여지는 것은 인간의 공간적 개념과 잘 맞지 않으므로 가상 현실을 응용한 사용자 인터페이스로는 적절하지 않다.In the conventional two-dimensional graphic screen interface, there is a limit in continuously displaying the menu in two dimensions due to the limitation of the screen space in retrieving a large amount of information. In addition, the flat menu expression seems complicated because many things are shown on the screen, and the lower-level menu is shown sideways for any one menu, which does not fit well with the concept of human space. Not appropriate

그리고 종래의 2차원 사용자 입력 장치는 2차원적인 사용자의 움직임만을 검출하는 것으로, 3차원 공간에서의 사용자 움직임은 고려되지 않았다. 따라서 향후 기술의 발전에 따른 3차원적인 사용자 인터페이스가 요구되는 3차원 사용자 입력 장치로는 사용될 수 없다.In addition, the conventional two-dimensional user input device detects only two-dimensional user movement, and user movement in three-dimensional space is not considered. Therefore, it cannot be used as a three-dimensional user input device that requires a three-dimensional user interface according to the development of future technology.

본 발명이 이루고자 하는 기술적인 과제는 상기의 문제점을 해결하기 위해, 사용자가 간단하게 조작할 수 있는 3차원 사용자 입력 장치를 사용한 사용자의 입력을 받아, 그래픽 화면을 통한 출력을 사용자에게 3차원적으로 제시함으로써 다양하고 복잡한 사용자 인터페이스를 쉽고 편리하게 수행할 수 있도록 하는 3차원 사용자 입력 장치를 사용한 3차원 그래픽 화면상의 사용자 인터페이스 방법 및 이를 위한 프로그램을 기록한 기록 매체를 제공하는데 있다.The technical problem to be achieved by the present invention is to solve the above problems, by receiving the user's input using a three-dimensional user input device that the user can easily operate, the output through the graphic screen to the user in three dimensions The present invention provides a user interface method on a three-dimensional graphic screen using a three-dimensional user input device for easily and conveniently performing various and complex user interfaces, and a recording medium recording a program therefor.

상기 기술적 과제를 해결하기 위하여, 본 발명에 일측면에 의한 3차원 사용자 입력 장치를 사용한 3차원 그래픽 화면상의 사용자 인터페이스 방법은 사용자 입력 장치를 사용한 그래픽 화면상의 사용자 인터페이스 방법에 있어서, (a) 사용자가 3차원 공간상에서 임의의 방향으로 움직일 수 있는 3차원 사용자 입력 장치에 의하여 3차원 그래픽 화면상에 위치하는 계층적인 메뉴를 가지고 있는 오브젝트를 선택하는 단계; (b) 상기 3차원 그래픽 화면상에 상기 오브젝트가 가지고 있는 최상위 메뉴를 표시하는 단계; (c) 상기 3차원 사용자 입력 장치에 의하여 상기 메뉴의 항목들 중에서 하위 메뉴를 가지고 있는 항목을 선택하는 단계; 및 (d) 상기 (c) 단계에서 하위 메뉴를 가지고 있는 항목이 선택되면, 3차원 그래픽 화면상에 하위 메뉴가 표시되는 단계를 포함함을 특징으로 한다.In order to solve the above technical problem, the user interface method on the three-dimensional graphic screen using the three-dimensional user input device according to the present invention in the user interface method on the graphic screen using the user input device, (a) the user Selecting an object having a hierarchical menu positioned on a three-dimensional graphic screen by a three-dimensional user input device capable of moving in an arbitrary direction in a three-dimensional space; (b) displaying a top menu of the object on the 3D graphic screen; (c) selecting an item having a lower menu among the items of the menu by the 3D user input device; And (d) if an item having a lower menu is selected in step (c), displaying the lower menu on a 3D graphic screen.

본 발명의 다른 측면에 의한 3차원 사용자 입력 장치를 사용한 3차원 그래픽 화면상의 사용자 인터페이스 방법은 사용자 입력 장치를 사용한 그래픽 화면상의 사용자 인터페이스 방법에 있어서, (a) 사용자가 3차원 공간상에서 임의의 방향으로 움직일 수 있는 3차원 사용자 입력 장치에 의하여 3차원 그래픽 화면상에 위치하는 계층적인 메뉴를 가지고 있는 오브젝트를 선택하는 단계; (b) 상기 3차원 그래픽 화면상에 상기 오브젝트가 가지고 있는 최상위 메뉴를 표시하는 단계; (c) 상기 3차원 사용자 입력 장치의 움직임에 의하여 상기 메뉴의 항목들 중에서 하위 메뉴를 가지고 있는 항목을 선택하는 단계; 및 (d) 상기 (c) 단계에서 선택된 항목이 가지고 있는 하위 메뉴가 상기 3차원 사용자 입력 장치가 움직인 방향으로 표시되는 단계를 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided a user interface method on a three-dimensional graphic screen using a three-dimensional user input device. The user interface method on a graphic screen using a user input device includes: (a) a user in an arbitrary direction in a three-dimensional space; Selecting an object having a hierarchical menu positioned on a three-dimensional graphic screen by a movable three-dimensional user input device; (b) displaying a top menu of the object on the 3D graphic screen; (c) selecting an item having a lower menu among the items of the menu by the movement of the 3D user input device; And (d) displaying a lower menu of the item selected in step (c) in the direction in which the 3D user input device moves.

본 발명의 또다른 측면에 의한 3차원 사용자 입력 장치를 사용한 3차원 그래픽 화면상의 사용자 인터페이스 방법은 사용자 입력 장치를 사용한 그래픽 화면상의 사용자 인터페이스 방법에 있어서, (a) 사용자가 2차원 평면상에서 임의의 방향으로 움직일 수 있는 사용자 입력 장치에 상기 2차원 평면과 공간상에서 수직을 이루는 방향의 움직임을 제어하는 제 1 버튼과 상기 제 1 버튼이 제어하는 움직임의 역방향의 움직임을 제어하는 제 2 버튼을 추가하여 3차원 사용자 입력을 지원하는 3차원 사용자 입력 장치에 의하여 3차원 그래픽 화면상에 위치하는 계층적인 메뉴를 가지고 있는 오브젝트를 선택하는 단계; (b) 상기 3차원 그래픽 화면상에 상기 오브젝트가 가지고 있는 최상위 메뉴를 표시하는 단계; (c) 상기 메뉴의 항목들 중에서 하위 메뉴를 가지고 있는 항목을 상기 제 1 버튼을 누름에 의하여 선택하는 단계; 및 (d) 상기 (c) 단계에서 하위 메뉴를 가지고 있는 항목이 선택되면, 3차원 그래픽 화면상에 하위 메뉴가 표시되는 단계를 포함함을 특징으로 한다.According to another aspect of the present invention, a user interface method on a three-dimensional graphic screen using a three-dimensional user input device includes a user interface method on a graphic screen using a user input device, the method comprising: (a) a user in an arbitrary direction on a two-dimensional plane; Adding a first button for controlling the movement of the direction perpendicular to the two-dimensional plane and a second button for controlling the reverse movement of the movement controlled by the first button to the user input device that can move; Selecting an object having a hierarchical menu positioned on a 3D graphic screen by a 3D user input device supporting 3D user input; (b) displaying a top menu of the object on the 3D graphic screen; (c) selecting an item having a lower menu among the items of the menu by pressing the first button; And (d) if an item having a lower menu is selected in step (c), displaying the lower menu on a 3D graphic screen.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명의 일 측면에 컴퓨터로 읽을 수 있는 기록 매체는 (a) 사용자가 3차원 공간상에서 임의의 방향으로 움직일 수 있는 3차원 사용자 입력 장치에 의하여 3차원 그래픽 화면상에 위치하는 계층적인 메뉴를 가지고 있는 오브젝트를 선택하면, 상기 3차원 그래픽 화면상에 상기 오브젝트가 가지고 있는 최상위 메뉴를 표시하는 기능; (b) 상기 3차원 사용자 입력 장치의 움직임에 의하여 상기 메뉴의 항목들 중에서 하위 메뉴를 가지고 있는 항목 을 선택하면, 상기 3차원 그래픽 화면상에 하위 메뉴가 표시되는 기능; 및 (c) 하위 메뉴를 가지고 있는 항목을 선택하는 상기 3차원 사용자 입력 장치의 움직임의 역방향의 움직임에 의하여 상기 3차원 그래픽 화면상에 하위 메뉴를 가지고 있는 항목의 선택을 해제하면, 3차원 그래픽 화면상에서 하위 메뉴가 사라지고 상위 메뉴가 나타나는 기능을 컴퓨터에 의하여 실현시키기 위한 프로그램을 기록함을 특징으로 한다.In order to solve the above other technical problem, in one aspect of the present invention, a computer-readable recording medium includes (a) a three-dimensional graphic screen by a three-dimensional user input device in which a user can move in an arbitrary direction in a three-dimensional space. Selecting an object having a hierarchical menu positioned on the screen, and displaying a top menu of the object on the 3D graphic screen; (b) a function of displaying a submenu on the 3D graphic screen when an item having a submenu is selected among the items of the menu by the movement of the 3D user input device; And (c) deselecting the item having the submenu on the 3D graphic screen by the reverse movement of the movement of the 3D user input device for selecting the item having the submenu. And a program for realizing, by the computer, the function of the lower menu disappearing and the upper menu appearing on the computer.

이하에서 첨부된 도면을 참조하여 본 발명의 구성 및 동작의 바람직한 실시예를 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the configuration and operation of the present invention.

도 2에 도시한 바와 같이, 본 발명의 실시예에서 사용될 수 있는 따른 3차원 사용자 입력 장치의 일 실시예(이하, 입력 장치 실시예라 간단히 표현함)는 크게 사용자 입력부(200a)와 데이터 처리부(200b)로 분리되어 구현된다. 사용자 입력부(200a)는 X, Y 및 Z 좌표 검출부(210, 220, 230), 데이터 전송부(260)와 선택적으로 포함될 수 있는 자세 검출부(240), A/D 변환기(250)를 포함하고, 데이터 처리부(200b)는 데이터 수신부(270), 좌표 계산부(280), 좌표 출력부(290)를 포함하며, 사용자 입력부(200a)와 데이터 처리부(200b)는 광케이블, 또는 유/무선 전송 매체 등의 연결 매체를 통하여 결합되어 동작한다.As shown in FIG. 2, one embodiment of a three-dimensional user input device (hereinafter, simply referred to as an input device embodiment) that can be used in an embodiment of the present invention is largely a user input unit 200a and a data processing unit 200b. It is implemented separately. The user input unit 200a includes X, Y, and Z coordinate detectors 210, 220, 230, a data transmitter 260, an attitude detector 240, and an A / D converter 250, which may be selectively included. The data processor 200b includes a data receiver 270, a coordinate calculator 280, and a coordinate output unit 290, and the user input unit 200a and the data processor 200b include an optical cable or a wired / wireless transmission medium. It is operated by being coupled through a connecting medium of.

입력 장치 실시예는 사용자가 손에 들 수 있는 공간상의 입력 장치를 공간 내에서 임의로 움직임으로써 발생하는 사용자의 3차원적인 입력을 검출하기 위한 3 개의 센서를 포함한다. 즉, X 축 방향의 사용자 입력 장치의 움직임을 감지 또는 검출하는 X 좌표 검출부(210) (이하, X-센서라고 간략히 표현함), X 축 방향과 평면상에서 수직을 이루는 Y 축 방향의 움직임을 검출하는 Y 좌표 검출부(220) (이하, Y-센서라고 간략히 표현함), X 축 방향과 Y 축 방향 각각과 공간상에서 수직을 이루는 Z 축 방향의 움직임을 검출하는 Z 좌표 검출부(230) (이하, Z-센서라고 간략히 표현함)를 포함한다. 이 3개의 센서에 의하여 사용자 입력 장치의 공간상에서의 움직임은 X, Y 및 Z 축 방향의 각 좌표축에 대한 움직임으로 분리되어 감지 또는 검출된다. 예를 들어, X-센서(210)는 사용자 입력 장치의 움직임 중에서 X 축 방향의 움직임만을 검출한다.The input device embodiment includes three sensors for detecting a user's three-dimensional input generated by randomly moving a user's handheld spatial input device within the space. That is, an X coordinate detector 210 (hereinafter, simply referred to as an X-sensor) that detects or detects movement of a user input device in the X axis direction, and detects a movement in the Y axis direction perpendicular to the X axis direction in plane. Y coordinate detector 220 (hereinafter referred to simply as Y-sensor), Z coordinate detector 230 for detecting movement in the Z axis direction perpendicular to the X axis direction and the Y axis direction respectively in space (hereinafter, Z- (Simply referred to as a sensor). By these three sensors, the movement in the space of the user input device is separated into a movement about each coordinate axis in the X, Y and Z axis directions and sensed or detected. For example, the X-sensor 210 detects only the movement in the X axis direction among the movements of the user input device.

일반적으로 이러한 센서는 사용자 입력 장치의 절대 좌표를 직접 검출하는 대신, 단위 시간 동안의 사용자 입력 장치의 움직임을 검출하여, 이전 좌표와 검출된 움직임을 결합하여 새로운 좌표값을 결정한다. 입력 장치 실시예에서 이러한 움직임의 검출은 X, Y 및 Z-센서(210, 220, 230)에 의하여 수행되고, 검출된 움직임에 근거하여 새로운 좌표값을 결정하는 부분은 추후 기술될 좌표 계산부(280)에서 수행된다.In general, instead of directly detecting the absolute coordinates of the user input device, the sensor detects the movement of the user input device during a unit time, and combines the previous coordinate and the detected movement to determine a new coordinate value. In the input device embodiment, the detection of such movement is performed by the X, Y and Z-sensors 210, 220, 230, and the part of determining the new coordinate value based on the detected movement is described in the coordinate calculation unit (described later). 280).

입력 장치 실시예에서 사용될 수 있는 센서는 현재 시판되고 있는 어떠한 센서라도 가능하며, 향후 개발될 센서를 사용하는 것도 본 발명의 범위에 포함된다고 해석되어야 할 것이다. 예를 들어, 초소형의 자이로스코프를 사용할 경우를 가정하면, 자이로스코프는 사용자 입력 장치의 움직임에 의해 발생하는 가속도를 측정하는 방식으로 사용자 입력 장치의 움직임을 감지 또는 검출한다.Sensors that can be used in the input device embodiment can be any sensor currently on the market, and it will be construed that use of the sensor to be developed in the future is included in the scope of the present invention. For example, assuming that a small gyroscope is used, the gyroscope detects or detects the movement of the user input device by measuring an acceleration generated by the movement of the user input device.

위에서 설명한 X, Y 및 Z-센서(210, 220, 230)가 직접 디지탈 출력을 지원하면, 이들 센서에 의하여 검출된 값(즉, 사용자 입력 장치의 움직임)은 데이터 전송부(260)로 곧바로 전달된다. 예를 들어, 현재 널리 사용되고 있는 2차원 사용자 입력 장치인 볼 마우스에 내장된 센서는 직접 디지탈 신호를 출력하므로, 입력 장치 실시예에서 이와 유사한 센서를 채용할 경우에는 아래에서 기술될 A/D 변환기(250)를 거칠 필요없이 직접 데이터 전송부(260)로 검출된 움직임을 전달할 수 있을 것이다. 그러나, 센서에 의하여 검출된 움직임이 아날로그 형태로만 출력될 경우에는 입력 장치 실시예에서 선택적인 구성 요소로 포함되는 A/D 변환기(250)를 거친다. A/D 변환기(250)는 입력되는 아날로그 신호를 디지탈 신호로 변환하여 출력하는 일반적인 기기이며, A/D 변환기(250)를 통하여 변환된 디지탈 신호는 데이터 전송부(260)로 전달된다. If the X, Y, and Z-sensors 210, 220, 230 described above directly support digital output, the values detected by these sensors (i.e., movement of the user input device) are passed directly to the data transmitter 260. do. For example, a sensor embedded in a ball mouse, a widely used two-dimensional user input device, directly outputs a digital signal. Therefore, when a similar sensor is adopted in the input device embodiment, an A / D converter (described below) may be used. The motion detected may be transferred directly to the data transmitter 260 without having to go through 250. However, when the motion detected by the sensor is output only in analog form, it passes through the A / D converter 250 included as an optional component in the input device embodiment. The A / D converter 250 is a general device that converts an input analog signal into a digital signal and outputs the digital signal. The digital signal converted through the A / D converter 250 is transmitted to the data transmitter 260.

입력 장치 실시예에서는 이러한 A/D 변환기를 각 센서마다 둘 수도 있을 것이고, 하나의 A/D 변환기를 사용하여 순차적으로 각 축에 대한 변환을 수행할 수도 있을 것이다. 또한, 본 발명이 속하는 기술 분야에서 숙련된 자는 A/D 변환기의 배치 및 사용 방식에서 경제적이고, 효율적으로 다양한 변형을 할 수 있을 것이다.In an input device embodiment, such an A / D converter may be provided for each sensor, and a single A / D converter may be used to sequentially perform the conversion for each axis. In addition, those skilled in the art to which the present invention belongs will be able to make various modifications economically and efficiently in the manner of arrangement and use of the A / D converter.

데이터 전송부(260)는 각 센서에 의하여 검출된 움직임을 데이터 처리 장치(200b)로 전송하는 역할을 수행한다. 일반적으로 사용자 입력부(200a)와 데이터 처리부는 상호 분리되어 구현되며, 시리얼 케이블(serial cable) 또는 광케이블(optical fiber) 등의 유선 매체나, 대기를 통하여 직접적으로 전달되는 무선 매체 등의 전송 매체를 통하여 연결된다. 입력 장치 실시예에서는 사용자가 손에 들 수 있는 공간상의 입력 장치를 사용하므로 무선 매체를 이용하는 것이 바람직하나, 반드시 무선 매체를 사용하여야만 하는 것은 아니다. 또한, 본 발명이 속하는 기술 분야에서 숙련된 자는 데이터를 전송하기 위한 데이터 포맷을 특정 형태로 구성할 수 있을 것이며, 성능 또는 기타 인자를 고려하여 데이터 포맷을 다양하게 변형시킬 수도 있을 것이다.The data transmitter 260 transmits the motion detected by each sensor to the data processing apparatus 200b. In general, the user input unit 200a and the data processing unit are implemented separately from each other, and are transmitted through a wired medium such as a serial cable or an optical fiber, or a transmission medium such as a wireless medium that is directly transmitted through the air. Connected. In the input device embodiment, it is preferable to use a wireless medium because the user uses a spatial input device that can be held in a user's hand, but it is not necessary to use a wireless medium. In addition, those skilled in the art to which the present invention pertains will be able to configure the data format for transmitting the data in a specific form, and may vary the data format in consideration of performance or other factors.

이상에서 설명한 사용자 입력부(200a)는 그 자체로 하나의 입력 장치를 구성할 수 있을 뿐만 아니라, 이하에서 설명되는 데이터 처리부(200b)와 결합하여 전체적인 입력 장치를 구성할 수도 있다.The user input unit 200a described above may not only form one input device by itself, but also may be combined with the data processing unit 200b described below to form an overall input device.

데이터 처리부(200b)에 위치한 데이터 수신부(270)는 사용자 입력부(200a)의 데이터 전송부(260)에서 전송된 데이터를 수신하여, 좌표 계산 계산부(280)로 전달한다. 데이터 수신부(270)는 수신한 데이터를 그대로 좌표 계산부(280)에 전달할 수도 있을 것이고, 좌표 계산부(280)에서의 효율적인 처리를 위하여 수신 데이터에 대한 약간의 작업을 수행한 후에 좌표 계산부(280)로 전달할 수도 있을 것이다.The data receiver 270 located in the data processor 200b receives data transmitted from the data transmitter 260 of the user input unit 200a and transmits the data to the coordinate calculation calculator 280. The data receiver 270 may transfer the received data to the coordinate calculator 280 as it is, and after performing some operations on the received data for efficient processing in the coordinate calculator 280, the coordinate calculator ( 280).

데이터 수신부(270)에서 수신되어 좌표 계산부(280)로 전달된 데이터는 결국 사용자 입력부(200a)의 X, Y 및 Z-센서(210, 220, 230)에서 검출된 사용자 입력 장치의 움직임(단위 시간당 움직임)에 해당하는 값이며, 좌표 계산부(280)는 이에 근거하여 실제 공간상의 사용자 입력 장치의 좌표값을 산출 또는 계산한다. 즉, 이전 좌표값과 움직임에 해당하는 값을 결합하여 새로운 좌표값을 결정한다. 여기서, 초기 좌표값은 임의로 설정해도 무관하며, 각 좌표축의 좌표 원점이나 중간점 또는 지난번 사용시의 최종 위치 등으로 설정할 수 있다.Data received by the data receiving unit 270 and transmitted to the coordinate calculating unit 280 eventually moves (units) of the user input device detected by the X, Y, and Z-sensors 210, 220, and 230 of the user input unit 200a. Motion per hour), and the coordinate calculation unit 280 calculates or calculates a coordinate value of the user input device in the actual space based on this. That is, the new coordinate value is determined by combining the previous coordinate value and the value corresponding to the movement. Here, the initial coordinate value may be arbitrarily set, and may be set to the coordinate origin or intermediate point of each coordinate axis or the final position at the last use.

좌표 출력부(290)는 좌표 계산부(280)에서 계산된 좌표값을 출력하는 기능을 수행하며, 이러한 출력은 일반적으로 그래픽 화면 등을 통하여 사용자에게 적절한 공간적 인터페이스로 제공되며, 또한 사용자 입력 좌표값을 대기하고 있는 응용 프로그램에 전달될 수도 있을 것이고, 시스템에서의 추가적인 사용 또는 기타의 목적을 위하여 이용될 수도 있을 것이다.The coordinate output unit 290 outputs the coordinate value calculated by the coordinate calculation unit 280, and this output is generally provided to a user with an appropriate spatial interface through a graphic screen, and also user input coordinate value. It may be delivered to an application that is waiting for it, and may be used for further use in the system or for other purposes.

이제까지의 입력 장치 실시예에 대한 설명은 사용자 입력 장치 자체의 방향이 고정된 상태, 즉, 입력 장치 자체의 상하 좌우 및 전후가 고정되고 이에 따라 X, Y 및 Z 축 방향의 기준축도 항상 고정되어 있는 상태를 가정하고 있다. 그러나, 사용자는 공간상에서 입력 장치 자체의 방향을 임의로 틀 수 있을 것이므로, 기준축에 대하여 기울어짐(tilt)이 발생할 수 있을 것이다. 즉, 사용자 입력 장치의 X 축 방향의 기준축이 공간상에서 임의로 변할 수 있고, 이에 따라 Y 축 및 Z 축 방향의 기준축이 연동하여 변화할 수 있다. 이 경우에는 X, Y 및 Z 축 센서(210, 220, 230)를 통하여 검출된 움직임에 근거하여 계산된 좌표값을 입력 장치 자체의 기울어짐, 즉 자세에 따라 보정하는 과정을 거쳐야 할 것이다. 이러한 입력 장치의 "자세"를 고려하여, 입력 장치 실시예에서는 자세 검출부(240)를 선택적 구성 요소로 포함할 수 있으며, 좌표 계산부(280)는 검출된 자세값을 사용하여 좌표값의 보정을 수행하는 추가적인 기능을 수행할 수 있다. 이하에서 이에 대하여 기술한다. The description of the input device embodiment up to now is that the direction of the user input device itself is fixed, that is, the top, bottom, left, and right sides of the input device itself are fixed, and accordingly, reference axes in the X, Y, and Z axis directions are always fixed. I'm assuming a state. However, since the user may arbitrarily orient the input device itself in space, tilt may occur with respect to the reference axis. That is, the reference axis in the X-axis direction of the user input device may be arbitrarily changed in space, and thus the reference axes in the Y-axis and Z-axis directions may change in conjunction. In this case, the coordinate values calculated based on the movements detected by the X, Y, and Z axis sensors 210, 220, and 230 may be corrected according to the inclination, that is, the posture of the input device itself. In consideration of the "posture" of the input device, in the input device embodiment, the attitude detector 240 may be included as an optional component, and the coordinate calculator 280 may correct the coordinate value by using the detected attitude value. You can perform additional functions. This will be described below.

자세 검출부(240)는 사용자 입력 장치 자체의 X, Y 및 Z 축 방향의 기준축에 대한 공간상의 자세를 검출하는 기능을 수행한다. 이러한 자세 검출부(240)는, 예를 들어, 나침반과 같이 전후 좌우(또는 동서남북) 방향을 감지하는 센서와 중력에 의한 상하 방향을 감지하는 센서를 포함하여 구성될 수 있으며, 공간상에서 사용자 입력 장치 자체의 기울어짐 또는 자세(이하, 자세라고 표현함)를 결정하기 위하여 필요한 정보, 예를 들어, X, Y 및 Z 축 방향의 기준축에 대한 각변위를 검출한다. 자세 검출부(240)는 사용자 입력 장치의 "자세를 계산하기 위하여 필요한 정보"를 검출하는 기능을 수행할 수 있도록 다양한 방법으로 구현될 수 있으며, 본 발명은 앞의 예에서 설명한 방법에 한정된 것은 아니다.The posture detection unit 240 detects a posture in space with respect to a reference axis in the X, Y, and Z axis directions of the user input device itself. The posture detection unit 240 may include, for example, a sensor for detecting front, rear, left, right, north, and south directions, such as a compass, and a sensor for detecting a vertical direction by gravity, and the user input device itself in space. Information necessary for determining the tilt or posture (hereinafter, referred to as posture) of, for example, the angular displacement with respect to the reference axis in the X, Y and Z axis directions is detected. The posture detector 240 may be implemented in various ways so as to perform a function of detecting “information necessary for calculating a posture” of the user input device. The present invention is not limited to the method described in the above example.

만약, 자세 검출부(240)가 직접 디지탈 출력을 지원하면, 자세 검출부(240)에 의하여 검출된 자세값은 데이터 전송부(260)로 직접 전달될 것이다. 그러나 자세값이 아날로그 형태로만 출력될 경우에는 앞에서 설명된 A/D 변환기(250)를 통하여 디지탈 신호로 변환된 후에 데이터 전송부(260)로 전달된다. 그러므로 앞에서 설명한 A/D 변환기(250)는 자세 검출부(240)가 선택적으로 포함될 경우에 사용자 입력 장치의 X, Y 및 Z 축 방향의 움직임 뿐만 아니라 자세값에 대한 A/D 변환도 아울러 수행할 수 있도록 구성된다.If the posture detector 240 directly supports the digital output, the posture value detected by the posture detector 240 may be directly transmitted to the data transmitter 260. However, when the posture value is output only in analog form, the posture value is converted into a digital signal through the A / D converter 250 described above, and then transferred to the data transmitter 260. Therefore, the A / D converter 250 described above may perform not only the movement of the user input device in the X, Y, and Z axis directions but also the A / D conversion of the attitude value when the attitude detector 240 is selectively included. It is configured to be.

또한, 데이터 전송부(260)는 X, Y 및 Z 축 방향의 움직임 뿐만 아니라 자세값도 아울러 전송할 수 있도록 구성되며, 본 발명이 속하는 기술 분야에서 숙련된 자는 이를 위한 전송 데이터 포맷을 쉽게 구현할 수 있을 것이다. 그리고 데이터 수신부(270)는 자세값을 포함하는 데이터를 수신하여 좌표 계산부(280)로 전달한다.In addition, the data transmission unit 260 is configured to transmit not only the movement in the X, Y and Z axis direction but also the attitude value, and those skilled in the art can easily implement the transmission data format for this. will be. The data receiver 270 receives data including a posture value and transmits the data to the coordinate calculator 280.

좌표 계산부(280)는 데이터 수신부(270)에서 수신되어 전달된 데이터에 포함되어 있는 X, Y 및 Z 축 방향의 움직임에 근거하여 실제 공간상의 입력 장치의 좌 표값을 산출 또는 계산할 뿐만 아니라, 자세 검출부(240)에서 검출된 자세값을 사용하여 X, Y 및 Z 좌표값의 보정을 아울러 수행한다. 예를 들어 설명하면, 자세 검출부(240)를 통하여 검출된 3차원 공간상에서의 사용자 입력 장치의 X, Y 및 Z 축 방향의 기본축에 대한 기울어짐을

이라 하고, X, Y 및 Z 축 방향의 움직임에 근거하여 계산된 좌표값이 (PX, PY, PZ)라고 가정할 경우에, 보정된 좌표값 (X, Y, Z)는 변환함수 f(

)를 사용하여 다음과 같이 계산할 수 있다.The coordinate calculation unit 280 not only calculates or calculates a coordinate value of the input device in real space based on the movement in the X, Y, and Z axis directions included in the data received and transmitted by the data receiving unit 270, but also in a posture. The posture value detected by the detector 240 is used to simultaneously correct the X, Y, and Z coordinate values. For example, inclination of the user input device in the three-dimensional space detected by the posture detection unit 240 with respect to the basic axis in the X, Y, and Z axis directions is described.

If the coordinate values calculated based on the movements in the X, Y, and Z axis directions are (PX, PY, PZ), the corrected coordinate values (X, Y, Z) are converted to the function f (

) Can be calculated as

여기서 변환함수는

의 함수로 표현되었으며, 3차원 회전에 의한 좌표값을 얻기 위한 행렬 형태로 주어진다.Where the conversion function is

It is expressed as a function of, and is given in the form of a matrix to obtain coordinate values by three-dimensional rotation.

즉, 이러한 변환 함수를 통하여, 사용자 입력 장치의 자세와는 무관한 X, Y 및 Z 기준축(예를 들어, 지구 절대 좌표계)에 대한 사용자 입력 장치의 좌표를 구할 수 있다.That is, through this transformation function, the coordinates of the user input device with respect to the X, Y, and Z reference axes (for example, the global absolute coordinate system) that are not related to the attitude of the user input device may be obtained.

이상에서 입력 장치 실시예를 살펴보았으며, 이러한 본 발명의 실시예에서 사용될 수 있는 3차원 사용자 입력 장치는 사용자가 3차원 입력 공간상에서 임의의 방향으로 움직일 수 있고, 이러한 사용자의 3차원 공간상의 움직임을 검출하는 기능을 수행할 수 있는 범위내에서 다양한 형태로 변형될 수 있을 것이다. 예를 들어, 입력 장치 실시예에서의 좌표 계산부(280)는 사용자 입력부(200a)의 데이타 전송부(260)의 전단에서 구성될 수도 있을 것이다.In the above-described embodiment of the input device, the three-dimensional user input device that can be used in the embodiment of the present invention, the user can move in any direction in the three-dimensional input space, the user's movement in the three-dimensional space It may be modified in various forms within the range capable of performing the function of detecting the. For example, the coordinate calculation unit 280 in the input device embodiment may be configured at the front end of the data transmission unit 260 of the user input unit 200a.

이제까지 입력 장치 실시예를 설명하였으며, 계속해서 이러한 3차원 사용자 입력 장치를 사용한 3차원 화면상의 사용자 인터페이스에 대하여 기술한다.An input device embodiment has been described so far, and a user interface on a three-dimensional screen using such a three-dimensional user input device will be described.

도 3에 도시한 바와 같이, 입력 장치 실시예와 같은 3차원 사용자 입력 장치(200)를 화면상의 마우스 표시점(200p)을 참조하여 3차원 공간상에서 임의의 방향으로 움직여서 3차원 그래픽 화면상에 위치하는 3차원 오브젝트(300)를 "선택"하면, 그 오브젝트가 가지고 있는 최상위 메뉴(310)가 화면상에 표시된다.As shown in FIG. 3, the 3D user input device 200, which is the same as the embodiment of the input device, is positioned on a 3D graphic screen by moving in a random direction in 3D space with reference to the mouse display point 200p on the screen. When the 3D object 300 is selected, the top menu 310 of the object is displayed on the screen.

여기서 "선택"을 수행하는 방법은 3차원 사용자 입력 장치(200)를 3차원 공간상에서 임의의 방향으로 움직여서 마우스 표시점(200p)을 사용자가 원하는 위치, 예를 들어, 도 3의 3차원 오브젝트(300)에 위치시키고, 3차원 사용자 입력 장치(200) 상에 존재하는 특정 버튼을 클릭하는 방법이 일반적이다. 그러나, 이러한 "선택"을 수행하는 방법은 응용 분야에 따라, 단지 마우스 표시점(200p)의 포인팅 또는 더블클릭에 의하여 이루어질 수도 있다. 그리고 본 실시예에서는 3차원 사용자 입력 장치(200)를 사용하기 때문에 3차원 사용자 입력 장치(200) 자체로 3차원 오브젝트(300)를 누르거나 또는 미는 동작에 의하여 이루어질 수도 있을 것이다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 이러한 선택을 수행하는 구체적인 방법의 다양성을 이해할 수 있을 것이다.Herein, the method of performing the "selection" may be performed by moving the 3D user input apparatus 200 in an arbitrary direction in a 3D space to move the mouse display point 200p to a desired position of the user, for example, the 3D object of FIG. And a method of clicking on a specific button existing on the 3D user input device 200 is common. However, the method of performing this "selection" may be made only by pointing or double-clicking the mouse mark 200p, depending on the application. In the present embodiment, since the 3D user input device 200 is used, the 3D object 300 may be pressed or pushed by the 3D user input device 200 itself. Those skilled in the art will appreciate the variety of specific ways to make this choice.

이러한 선택에 의하여, 해당 오브젝트(300)가 메뉴 또는 계층적 메뉴를 가지고 있는 경우에는 일차적으로 최상위 메뉴(310)가 화면상에 표시되나, 해당 오브젝 트(300)가 메뉴를 포함하고 있지 않는 경우에는 해당 오브젝트(300)의 선택에 의하여 정의된 동작(operation)이 직접 수행된다.By this selection, when the object 300 has a menu or a hierarchical menu, the top menu 310 is primarily displayed on the screen, but the object 300 does not include a menu. In the operation defined by the selection of the object 300 is directly performed.

여기서 계층적 메뉴는 메뉴의 특정 항목이 다시금 하위 메뉴를 가지고 있는 메뉴의 계층적 구조를 일컫는 말이다. 그리고 최상위 메뉴란 자신의 상위 메뉴가 존재하지 않는 메뉴를 말하고, 최하위 메뉴란 자신의 하위 메뉴를 가지고 있지 않는 메뉴를 말한다. 또한, 상위 메뉴란 메뉴의 적어도 하나의 항목이 다시금 하위 메뉴를 가지고 있는 메뉴를 말하며, 하위 메뉴란 자신의 상위 메뉴를 가지고 있는 메뉴를 말한다.Here, the hierarchical menu refers to a hierarchical structure of a menu in which a specific item of the menu has submenus again. In addition, the top menu refers to a menu that does not have its own top menu, and the bottom menu refers to a menu that does not have its own submenu. In addition, the upper menu refers to a menu in which at least one item of the menu has a lower menu again, and the lower menu refers to a menu having its own upper menu.

계층적 메뉴를 가지고 있는 상태에서, 최상위 메뉴(310)의 적어도 하나의 항목은 하위 메뉴, 즉, 제 2 레벨 메뉴(320)를 가지고 있으며, 계속하여 제 2 레벨 메뉴의 특정 항목은 다시금 하위 메뉴, 즉, 제 3 레벨 메뉴(330)를 가지고 있을 수 있다. 이러한 메뉴의 특정 항목과 하위 메뉴의 연결 관계는 도3에 개념적으로 도시되어 있다. 예를 들면, 최상위 레벨의 특정 최상위 메뉴(311)의 첫째 항목 및 둘째 항목(311a, 311b)은 제 2 레벨의 메뉴(321, 322)와 각각 연결되고, 그 각각의 메뉴의 각 항목들(321a, 321b, 322a, 322b)은 제 3레벨 메뉴(331, 332, 334, 335)와 연결되어 있다. 현재 마우스 표시점(200p)은 최상위 레벨 메뉴(311)에서 두번째 항목(311b)을 선택하고, 제 2 레벨 메뉴(322)에서 두번째 항목(322b)을 선택하여 화면상에 표시된 제 3 레벨 메뉴(335)의 두번째 항목(335b)에 위치하고 있다.With the hierarchical menu, at least one item of the top menu 310 has a submenu, i.e., a second level menu 320, and then certain items of the second level menu are again submenus, That is, it may have a third level menu 330. The connection relationship between the specific items of the menu and the submenu is conceptually illustrated in FIG. 3. For example, the first and second items 311a and 311b of a specific top menu 311 at the top level are connected to the menus 321 and 322 at a second level, respectively, and the respective items 321a of the respective menu. , 321b, 322a, and 322b are connected to the third level menus 331, 332, 334, and 335. The current mouse display point 200p selects the second item 311b from the top level menu 311 and selects the second item 322b from the second level menu 322 to display the third level menu 335 displayed on the screen. In the second item 335b).

본 실시예에서는 3차원 사용자 입력 장치(200)를 사용하기 때문에, "상위 메뉴에서 특정 항목을 선택"하는 행위는 "3차원 사용자 입력 장치(200)의 움직임"에 의하여 이루어질 수 있다. 예를 들어, 상위 메뉴 상태에서 하위 메뉴를 가지고 있는 특정 항목을 미는 방향의 사용자 입력 장치(200)의 움직임에 의하여 해당 항목이 선택되어, 해당 항목이 가지고 있는 하위 메뉴가 화면상에 표시될 수 있다.In the present embodiment, since the 3D user input device 200 is used, the act of "selecting a specific item from the upper menu" may be performed by "movement of the 3D user input device 200". For example, a corresponding item may be selected by the movement of the user input device 200 in a direction of pushing a specific item having a lower menu in the upper menu state, and a lower menu of the corresponding item may be displayed on the screen. .

하위 메뉴가 3차원 그래픽 화면상에 표시되는 방법은 상위 메뉴위에 중첩되어 표시될 수도 있을 것이고, 상위 메뉴를 화면상에서 지우고(clear) 하위 메뉴만 표시되게 할 수도 있을 것이다. 만약, 3차원 입력 장치(200)로 메뉴 항목을 미는 방향의 움직임과 상위 메뉴를 clear하는 방식을 채용하면, 이 방식은 3차원 입력 장치(200)로 메뉴 항목을 밀면 (메뉴 항목이 열리면서) 하위 메뉴가 화면상에 나타나는 구현 형태가 될 것이다. 이는 인간의 3차원 공간 개념과 일치하는 방식이다.The way in which the lower menu is displayed on the 3D graphic screen may be displayed by being superimposed on the upper menu, and the upper menu may be cleared on the screen and only the lower menu may be displayed. If the 3D input device 200 adopts a movement in the direction of pushing the menu item and a method of clearing the upper menu, this method pushes the menu item to the 3D input device 200 (when the menu item opens). The menu will be an implementation that appears on the screen. This is consistent with the concept of human three-dimensional space.

상위 메뉴에서 특정 항목을 선택하는 "3차원 입력 장치(200)"의 움직임은 하위 메뉴가 최하위 메뉴가 아니라면 최종 메뉴 항목을 선택할 때까지 반복할 수 있고, 특정 하위 메뉴 상태에서 상위 메뉴로 이동하기 위해서는 "선택"의 역방향으로 3차원 입력 장치(200)"를 움직이면 될 것이다. 즉, 3차원 입력 장치(200)를 앞으로 내밀면 점점 하위 메뉴가 나타나고, 3차원 입력 장치(200)를 뒤로 빼면 상위 메뉴로 이동할 수 있다.The movement of the "three-dimensional input device 200" for selecting a specific item from the upper menu may be repeated until the last menu item is selected if the lower menu is not the lowest menu. The 3D input device 200 may be moved in the reverse direction of “selection.” That is, when the 3D input device 200 is pushed forward, a lower menu gradually appears, and when the 3D input device 200 is pulled backward, the upper menu is moved. I can move it.

이상에서, 3차원 사용자 입력 장치를 사용한 3차원 그래픽 화면상에서의 인터페이스에 대하여 개념적으로 살펴보았으며, 계속해서 도 4를 참조하여 그 구체적인 인터페이스 방법을 설명한다.In the above, the interface on the 3D graphic screen using the 3D user input device has been conceptually described, and the specific interface method will be described with reference to FIG. 4.

사용자는 3차원 사용자 입력 장치를 사용하여 3차원 그래픽 화면상에 존재하는 특정 오브젝트를 선택한다(단계 400). 이러한 "선택"은 도 3에서 설명한 바와 같이 다양한 방식으로 수행될 수 있다.The user selects a specific object present on the 3D graphic screen using the 3D user input device (step 400). This "selection" may be performed in a variety of ways as described in FIG.

3차원 그래픽 화면상의 특정 오브젝트가 선택되면, 해당 오브젝트가 가지고 있는 최상위 메뉴가 화면상에 표시된다(단계 410). 물론 해당 오브젝트가 메뉴를 가지고 있지 않으면, 해당 오브젝트에 정의된 동작(operation)이 직접 수행될 것이다(미도시). 이하에서는 3차원 오브젝트가 최상위 메뉴를 가지고 있는 경우를 중심으로 설명한다.When a specific object on the 3D graphic screen is selected, the top menu of the object is displayed on the screen (step 410). Of course, if the object does not have a menu, the operation defined in the object will be directly performed (not shown). The following description mainly focuses on the case where the 3D object has a top menu.

사용자는 3차원 사용자 입력 장치를 사용하여 화면상에 표시된 메뉴에서 특정 항목을 선택한다(단계 420). 이러한 "선택"도 도 3에서 설명한 다양한 방식, 예를 들어, 3차원 입력 장치로 특정 메뉴 항목을 미는 방향의 움직임에 의하여 수행될 수 있다.The user selects a specific item from a menu displayed on the screen using the 3D user input device (step 420). Such "selection" may also be performed by various methods described with reference to FIG. 3, for example, by moving in a direction of pushing a specific menu item with a three-dimensional input device.

선택된 메뉴 항목이 최하위 메뉴 항목, 즉, 자신의 하위 메뉴를 포함하고 있는지의 여부를 판단하여(단계 430), 최하위 메뉴 항목이 아니면 3차원 그래픽 화면상에서 상위 메뉴를 지우고 해당 메뉴 항목에 연결된 하위 메뉴를 표시한다(단계 440). 응용 분야에 따라서는 상위 메뉴와 하위 메뉴를 중첩시킬 수도 있으며, 이러한 상위 메뉴와 하위 메뉴를 표시하는 다양한 방법을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 이해할 수 있을 것이다. 만약, 단계 430에서 최하위 메뉴 항목으로 판단되면, 해당 항목에 정의된 동작을 수행하는 모드인지의 여부를 판단하여(단계 480), 해당 항목에 정의된 동작을 직접 수행하든지(단계 490), 단계 470으로 진행하여 다시금 사용자 입력 대기 상태가 된다.It is determined whether the selected menu item contains the lowest menu item, that is, its own submenu (step 430), and if it is not the lowest menu item, the top menu is deleted on the three-dimensional graphic screen and the submenu connected to the menu item is deleted. Display (step 440). Depending on the application field, the upper menu and the lower menu may be superimposed, and various methods of displaying the upper menu and the lower menu will be understood by those skilled in the art. If it is determined in step 430 that it is the lowest menu item, it is determined whether or not the mode is to perform the operation defined in the item (step 480), or directly perform the operation defined in the item (step 490), or step 470 Proceeds to the user input standby state again.

계층적인 메뉴 구조에서는, 하위 메뉴 상태에서 사용자가 계속하여 메뉴 항목을 선택함으로써 더욱 하위 메뉴로 진행할 수도 있고, 현재의 하위 메뉴 선택 상태를 해제하고 상위 메뉴로 복귀할 수도 있다. 그러므로 3차원 사용자 입력 장치의 움직임이 메뉴 항목의 선택인지, 해제인지의 여부를 판단할 필요가 있다(단계 450). 만약, 선택의 경우이면 해당 항목이 최하위 메뉴 항목인지의 여부에 따라(단계 430), 더욱 하위 메뉴로 진행하거나, 해당 항목에 정의된 동작을 수행하고, 해제의 경우에는 현재 화면상에 표시된 하위 메뉴를 지우고, 상위 메뉴를 표시하게 된다(단계 460).In the hierarchical menu structure, the user may proceed further to the lower menu by continuously selecting a menu item in the lower menu state, or may cancel the current lower menu selection state and return to the upper menu. Therefore, it is necessary to determine whether the movement of the 3D user input device is a selection or release of a menu item (step 450). If it is a selection, depending on whether the item is the lowest menu item (step 430), it proceeds further to the sub menu or performs the action defined in the item, and in the case of release, the sub menu displayed on the current screen. Is deleted, and the upper menu is displayed (step 460).

단계 450에서 선택된 메뉴 항목의 해제 또는 단계 480에서 동작 모드가 아니라고 판단이 난 경우에는 현재의 메뉴 상태가 최상위 메뉴 상태인지의 여부를 판단할 필요가 있다(단계 470). 왜냐하면, 최상위 메뉴 상태에서는 상위 메뉴가 존재하지 않으므로(메뉴 항목이 선택된 상태가 아니므로) 사용자가 해제의 동작을 할 수가 없기 때문이다. 물론, 최상위 메뉴 상태에서 최상위 메뉴 상태를 해제하면, 해당 오브젝트의 선택전의 초기 상태로 복귀하게 되며, 이는 해당 흐름의 종료를 의미한다(미도시).If it is determined in step 450 that the selected menu item is released or not in operation mode in step 480, it is necessary to determine whether the current menu state is the highest menu state (step 470). This is because, in the top menu state, the top menu does not exist (the menu item is not selected), and thus the user cannot release the operation. Of course, if the top menu state is released from the top menu state, the state returns to the initial state before the selection of the object, which means the end of the flow (not shown).

단계 470에서 최상위 메뉴 상태이면 단계 420으로 진행하여 "선택" 대기 모드가 되고, 그렇지 않으면 단계 450으로 진행하여 "선택 또는 해제" 대기 모드가 되며, 이러한 과정을 반복하여 최종적으로 최하위 메뉴 항목을 선택하면 해당 모드에 정의된 동작이 수행된다(단계 490).If at step 470 the top menu is in state, proceed to step 420 to "select" standby mode; otherwise, proceed to step 450 to "select or deselect" standby mode, repeating this process to finally select the lowest menu item. The operation defined in that mode is performed (step 490).

이상에서 본 실시예에 대한 설명은 3차원 그래픽 공간상의 특정 오브젝트를 3차원 사용자 입력 장치로 선택하면 최상위 메뉴가 화면상에 표시된다는 개념에 기초하고 있으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 3차원 그래픽 공간상의 특정 오브젝트 자체가 메뉴 오브젝트일 수 있으며, 이 경우에는 화면상의 메뉴 오브젝트 자체를 최상위 메뉴로 간주하고, 곧바로 하위 메뉴의 선택 단계로 진행하는 구현 방식도 쉽게 생각할 수 있을 것이다. 계속되는 본 발명의 다른 실시예에서도 오브젝트 자체를 최상위 메뉴로 간주하는 구현 방식은 동일하게 적용될 수 있을 것이다.The description of the present embodiment is based on the concept that the top menu is displayed on the screen when a specific object in the 3D graphic space is selected as the 3D user input device, but the general knowledge in the technical field to which the present invention belongs. A person having a three-dimensional graphic space may be a menu object, and in this case, the menu object on the screen may be considered as a top menu, and an implementation method of directly proceeding to a sub menu selection step may be easily conceived. In another embodiment of the present invention, the implementation manner of considering the object itself as a top menu may be equally applied.

이제까지 설명한 본 발명의 실시예는 사용자가 손에 들 수 있는 공간상의 입력 장치를 공간 내에서 임의로 움직임으로써 발생하는 사용자의 3차원적인 입력을 가정하고 있다. 그러나, 기존 시스템을 활용하기 위하여 공간상의 입력 장치가 아닌 기존의 마우스 등의 2차원적인 입력 장치로 상하, 좌우의 움직임을 제어하고, 마우스에 전후의 움직임을 제어하는 특정 버튼을 추가한 변형된 3차원 입력 장치를 사용한 실시예도 가능하다. 계속해서 도 5를 참조하여, 이 변형된 실시예에서의 구체적인 인터페이스 방법을 도 4에서 설명한 실시예와의 차이점을 중심으로 기술한다.The embodiment of the present invention described so far assumes a three-dimensional input of a user generated by randomly moving a user's handheld input device in the space. However, in order to utilize the existing system, it is not a spatial input device but a two-dimensional input device such as a conventional mouse, which controls up, down, left and right movements, and adds a specific button for controlling the front and rear movements. Embodiments using dimensional input devices are also possible. Subsequently, with reference to FIG. 5, the specific interface method in this modified embodiment is described centering on the difference from the embodiment demonstrated in FIG.

도 5는 변형된 3차원 사용자 입력 장치를 사용한 본 발명의 다른 실시예에 따른 3차원 사용자 입력 장치를 사용한 3차원 화면상의 사용자 인터페이스 방법에 대한 흐름도이다.5 is a flowchart illustrating a user interface method on a 3D screen using a 3D user input device according to another exemplary embodiment of the present invention using a modified 3D user input device.

본 실시예에서 사용되는 변형된 3차원 사용자 입력 장치는 기존의 마우스로 상하, 좌우의 2차원적인 움직임을 제어하고, 마우스가 제어하는 평면과 공간상에서 수직을 이루는(이하, Z축이라 참조함) 움직임을 제어하는 두개의 버튼(이하, UP/DOWN 버튼이라 참조함)을 별도로 추가하여 구성된 것이다. 사용자는 이러한 변형된 3차원 사용자 입력장치를 사용하여 3차원 그래픽 화면상에 존재하는 특정 오브젝트를 선택한다(단계 500). 여기서 "선택"은 도 3에서 설명한 바와 유사하게, 마우스 표지점의 포인팅, 클릭, 더블클릭 등의 방식이나, Z 축의 움직임을 제어하는 UP/DOWN 버튼을 사용하는 방식도 가능할 것이다.The modified three-dimensional user input device used in this embodiment controls a two-dimensional movement of up, down, left and right with a conventional mouse, and is perpendicular to the plane and space controlled by the mouse (hereinafter referred to as Z axis). It is composed by adding two buttons that control movement (hereinafter referred to as UP / DOWN button) separately. The user selects a specific object present on the 3D graphic screen using the modified 3D user input device (step 500). Here, "selection" may be similar to that described with reference to FIG. 3, such as pointing, clicking, double-clicking the mouse cover point, or using a UP / DOWN button for controlling the movement of the Z axis.

다음으로, 최상위 메뉴의 화면 표시 단계(단계 510)는 도 4의 단계 410과 동일하며, 본 변형된 실시예에서 메뉴 항목의 선택은 Z축 움직임을 제어하기 위하여 추가된 DOWN 버튼을 누름에 의하여 간단히 이루어진다(단계 520). 여기서 DOWN 버튼과 UP 버튼은 상호 역방향의 Z 축 움직임을 제어하는 기능을 수행하며, 버튼의 명칭은 임의적인 것이다. 그리고 단계 550에서의 3차원 사용자 입력 장치의 움직임이 메뉴 항목의 선택인지, 해제인지의 여부를 DOWN 또는 UP 키를 눌렀는지의 여부로 간단히 판단한다. 그외의 동작 및 설명되지 않은 본 변형된 실시예에서의 각 단계들은 도 4의 실시예에서와 같다.Next, the screen display step (step 510) of the top menu is the same as step 410 of FIG. 4, and the selection of the menu item in this modified embodiment is simply by pressing the added DOWN button to control the Z-axis movement. (Step 520). Here, the DOWN button and the UP button perform a function of controlling the Z-axis movement in the reverse direction, and the name of the button is arbitrary. In step 550, whether the movement of the 3D user input device is a selection or release of a menu item is determined simply by pressing the DOWN or UP key. Other operations and steps in this modified embodiment which have not been described are the same as in the embodiment of FIG. 4.

이제까지 본 발명의 일 실시예와 이의 변형된 실시예를 살펴보았으며, 계속해서 본 발명의 또다른 실시예를 기술한다.So far, one embodiment of the present invention and its modified embodiment have been described, and still another embodiment of the present invention is described.

사용자가 3차원 사용자 입력 장치(200)를 화면상의 마우스 표시점(200p)을 참조하여 3차원 공간상에서 임의의 방향으로 움직여서 3차원 그래픽 화면상에 위치하는 3차원 오브젝트(600)를 선택하면, 그 오브젝트가 가지고 있는 최상위 메뉴(610)가 화면상에 표시된다. 여기서 선택을 수행하는 방법은 도 3에서 기술한 바와 같이 다양한 방식으로 수행될 수 있다.When the user selects the 3D object 600 positioned on the 3D graphic screen by moving the 3D user input device 200 in a random direction in 3D space with reference to the mouse display point 200p on the screen, The top menu 610 of the object is displayed on the screen. Here, the method of performing the selection may be performed in various ways as described in FIG. 3.

최상위 메뉴(610)가 표시된 상태에서 사용자는 하위 메뉴를 가지고 있는 특정 메뉴 항목(613)을 선택하게 되며, 본 실시예에서 이러한 "선택"은 3차원 입력 장치의 움직임에 의하여 이루어진다. 구체적인 예를 들면, 화일 서랍을 잡아 당기는 것과 같이 해당 메뉴 항목을 잡고, 이를 당기는 방식이 가능할 것이다. 물론, 사용자가 화일 서랍을 메뉴 항목에 수직 방향으로만 잡아 당길 필요는 없으며, 임의의 방향으로 메뉴 항목을 잡아 당길 수 있다.In the state where the top menu 610 is displayed, the user selects a specific menu item 613 having a lower menu. In this embodiment, the "selection" is performed by the movement of the 3D input device. As a specific example, it may be possible to grab a corresponding menu item and pull it, such as pulling a file drawer. Of course, the user need not only pull the file drawer vertically to the menu item, but can pull the menu item in any direction.

그러면, 도 6에 도시된 바와 같이, 제 2 레벨 메뉴(620)가 사용자 입력 장치(200)가 "움직인 방향"으로 표시된다.Then, as illustrated in FIG. 6, the second level menu 620 is displayed in the “moving direction” of the user input device 200.

그리고 제 2 레벨 메뉴(620)가 표시된 상태에서 하위 메뉴를 가지고 있는 특정 메뉴 항목(621)을 선택하면, 예를 들어 해당 항목(621)을 잡고 당기면, 제 3 헤벨 메뉴(630)가 사용자 입력 장치가 움직인 방향으로 표시된다. 이는 3차원 공간에서 화일 서랍을 열고, 그 서랍에서 특정 화일을 잡아 올리는 형태의 움직임과 유사한 방식이다. 물론 이러한 움직임이 반드시 메뉴 항목에 수직 방향일 필요가 없음은 이미 언급한 바와 같다. 계속해서 현재의 마우스 표시점(200p)이 위치한 제 3 레벨 메뉴의 특정 항목(631)에서 위와 같은 행위가 반복될 수 있을 것이다. 이러한 상위 메뉴에서 특정 항목을 선택하는 작업은 최하위 메뉴에서 원하는 항목을 선택 할 때까지 반복할 수 있고, 특정 하위 메뉴 상태에서 상위 메뉴로의 복귀는 "선택"의 역방향으로 3차원 사용자 입력 장치(200)를 움직이면 된다.When a particular menu item 621 having a submenu is selected while the second level menu 620 is displayed, for example, when the item 621 is grabbed and pulled, the third hebel menu 630 is a user input device. Is displayed in the direction of movement. This is similar to the movement of opening a file drawer in three-dimensional space and grabbing a particular file from the drawer. Of course, as mentioned earlier, this movement need not necessarily be perpendicular to the menu item. Subsequently, the above action may be repeated in the specific item 631 of the third level menu in which the current mouse display point 200p is located. The operation of selecting a specific item in the upper menu may be repeated until the desired item is selected in the lowermost menu, and returning to the upper menu in the specific submenu state is performed in the reverse direction of "selection". You can move it.

이상에서, 본발명의 또다른 실시에에 따른 3차원 사용자 입력 장치를 사용한 3차원 그래픽 화면상에서의 인터페이스에 대하여 개념적으로 살펴보았으며, 계속해서 도 7을 참조하여 그 구체적인 인터페이스 방법을 도 4에서 설명한 실시예와의 차이점을 중심으로 기술한다.In the above, the interface on the three-dimensional graphic screen using the three-dimensional user input device according to another embodiment of the present invention has been conceptually described, and the detailed interface method described with reference to FIG. The description focuses on the differences from the embodiments.

사용자 3차원 사용자 입력 장치에 의하여 해당 오브젝트를 선택하고, 해당 오브젝트의 최상위 메뉴가 화면상에 표시되는 단계(단계 700, 단계 710)는 도 4의 실시예와 같다.The step of selecting the corresponding object by the user 3D user input device and displaying the top menu of the corresponding object on the screen (step 700 and step 710) is the same as the embodiment of FIG. 4.

다음으로, 사용자는 3차원 사용자 입력 장치의 움직임, 예를 들어, 메뉴 항목을 잡아 당기는 동작에 의하여 메뉴의 특정 항목을 선택하면(단계 720), 해당 메뉴 항목이 최하위 메뉴가 아닐 경우, 사용자 입력 장치가 움직인 방향으로 하위 메뉴가 표시된다(단계 730, 단계 740). Next, when the user selects a specific item of the menu by the movement of the 3D user input device, for example, pulling the menu item (step 720), if the menu item is not the lowest menu, the user input device The submenu is displayed in the direction of movement (step 730, step 740).

다음으로, 3차원 사용자 입력 장치의 움직임이 메뉴 항목의 해제이면, 즉, 선택 방향과 역방향의 움직임이면, 하위 메뉴를 화면상에서 지운다. 본 실시예에서는 사용자 입력 장치가 움직인 방향으로 하위 메뉴를 상위 메뉴 위에 중첩하여 표시하므로 하위 메뉴를 지우면 상위 메뉴가 다시금 나타나게 된다.Next, if the movement of the 3D user input device is the release of the menu item, that is, the movement in the opposite direction to the selection direction, the submenu is deleted on the screen. In the present exemplary embodiment, since the lower menu is superimposed on the upper menu in the direction in which the user input device is moved, the upper menu is displayed again when the lower menu is deleted.

그외의 동작 및 설명되지 않은 본 실시예에서의 각 단계들은 도 4의 실시예 에서와 동일하다.Other operations and steps in this embodiment which are not described are the same as in the embodiment of FIG.

이제까지 본 발명에 대하여 그 바람직한 실시예(들)를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 본 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to the preferred embodiment (s). Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

또한, 본 발명의 실시예들은 컴퓨터 시스템에서 실행할 수 있는 프로그램으로 작성가능하며, 이러한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체로부터 읽어들여 범용 디지털 컴퓨터 시스템에서 실행될 수 있다. 이러한 기록 매체에는 마그네틱 저장 매체(예를 들면, 롬, 플로피디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 씨디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 매체가 포함된다.In addition, embodiments of the present invention can be written as a program that can be executed in a computer system, and can be executed in a general-purpose digital computer system by reading from a computer-readable recording medium recording such a program. Such recording media include magnetic storage media (e.g., ROM, floppy disk, hard disk, etc.), optical reading media (e.g., CD-ROM, DVD, etc.) and carrier waves (e.g., transmission over the Internet). Media is included.

Claims

In the graphical user interface method using a user input device,

(a) selecting an object having a hierarchical menu positioned on a three-dimensional graphic screen by a three-dimensional user input device that allows a user to move in an arbitrary direction in a three-dimensional space;

(b) displaying a top menu of the object on the 3D graphic screen;

(c) selecting an item having a lower menu among the items of the menu by the 3D user input device; And

(d) if an item having a submenu is selected in step (c), a submenu is displayed on the 3D graphic screen. User interface method.

The method of claim 1, wherein step (c) comprises:

3 using the 3D user input device, wherein the item having the sub menu is selected by the movement of the 3D user input device in a direction pushing the item having the sub menu to the 3D user input device. User interface method on the dimensional graphic screen.

The method of claim 1, wherein step (d)

If the item having a lower menu is selected in the step (c), the upper menu disappears on the three-dimensional graphics screen, the lower menu is displayed, characterized in that the user interface method on the three-dimensional graphics screen using the three-dimensional user input device.

The method of claim 1, wherein the steps (c) and (d),

A user interface method on a three-dimensional graphical display using a three-dimensional user input device, characterized in that the user repeats until the lowest menu item desired by the user is displayed.

The method of claim 1, wherein the submenu is displayed in the step (d).

(e) if the item having the submenu is canceled by the 3D user input device, the submenu disappears on the 3D graphic screen, and the upper menu is further displayed. 3D graphical user interface method using a user input device.

The method of claim 5,

In step (c), the item having the submenu is selected by the movement of the 3D user input device in a direction of pushing the item having the submenu to the 3D user input device.

In the step (e), the item having the submenu is canceled by the reverse movement of the movement of the 3D user input device to select the item having the submenu. 3D graphical user interface method using device.

The method of claim 5,

Steps (c) and (d) are repeated until the lowest menu item desired by the user is displayed.

Step (e) may be repeated in any submenu, the user interface method on a three-dimensional graphical screen using a three-dimensional user input device.

In the graphical user interface method using a user input device,

(b) displaying a top menu of the object on the 3D graphic screen;

(c) selecting an item having a lower menu among the items of the menu by the movement of the 3D user input device; And

(d) displaying a sub-menu of the item selected in step (c) in the direction in which the 3D user input device is moved, on the 3D graphic screen using the 3D user input device. User interface method.

The method of claim 8, wherein step (c) comprises:

Using the three-dimensional user input device characterized in that for selecting the item having the sub-menu by the movement of the three-dimensional user input device in the direction of pulling the item having the sub-menu to the three-dimensional user input device 3D graphical user interface method.

The method of claim 9, wherein step (c) comprises:

A three-dimensional graphic screen using the three-dimensional user input device, wherein the item having the sub-menu is selected by the movement of the three-dimensional user input device in a direction of pulling the item having the sub-menu in a vertical direction; User interface on the computer.

According to claim 8, wherein (c) and (d) step,

The method of claim 8, wherein the submenu is displayed in the step (d).

(e) when the item having the submenu is canceled by the reverse movement of the movement of the 3D user input device to select the item having the submenu, the submenu disappears on the 3D graphic screen; User interface method on the three-dimensional graphic screen using a three-dimensional user input device, characterized in that further comprising.

The method of claim 12,

In the graphical user interface method using a user input device,

(a) a reverse direction of the first button and the movement controlled by the first button to control the movement of the direction perpendicular to the two-dimensional plane in the user input device that the user can move in any direction on the two-dimensional plane Selecting an object having a hierarchical menu located on a 3D graphic screen by a 3D user input device supporting a 3D user input by adding a second button for controlling the movement of the motion;

(b) displaying a top menu of the object on the 3D graphic screen;

(c) selecting an item having a lower menu among the items of the menu by pressing the first button; And

The method of claim 14, wherein step (d)

15. The method of claim 14, wherein the submenu is displayed in the step (d).

(e) if the item having the submenu is released by pressing the second button, the submenu disappears on the 3D graphic screen, and the upper menu is further displayed. 3D graphical user interface method using a user input device.

The method of claim 16,

(a) when the user selects an object having a hierarchical menu positioned on a three-dimensional graphic screen by a three-dimensional user input device that can move in an arbitrary direction in a three-dimensional space, Displaying a top menu of the object;

(b) a function of displaying a submenu on the 3D graphic screen when an item having a submenu is selected among the items of the menu by the movement of the 3D user input device; And

(c) when the item having the submenu is released on the 3D graphic screen by the reverse movement of the movement of the 3D user input device for selecting the item having the submenu, A computer-readable recording medium having recorded thereon a program for realizing a function by a computer in which a lower menu disappears and a higher menu appears.

The method of claim 18, wherein the (b) function,

When an item having a lower menu is selected among the items of the menu by the movement of the 3D user input device, the upper menu disappears on the 3D graphic screen, and the lower menu is displayed. Readable Recording Media.

The method of claim 18, wherein the (b) function,

When an item having a submenu is selected among the items of the menu by the movement of the 3D user input device, the submenu is displayed on the 3D graphic screen in the direction in which the 3D user input device moves. A computer-readable recording medium that records a program to be recorded.