KR102040798B1

KR102040798B1 - User interface method and apparatus using successive touches

Info

Publication number: KR102040798B1
Application number: KR1020150039819A
Authority: KR
Inventors: 이기혁; 허성국; 한재현; 구지성
Original assignee: 한국과학기술원
Priority date: 2013-07-17
Filing date: 2015-03-23
Publication date: 2019-11-05
Also published as: KR20150010553A; KR101553119B1; KR20150040825A

Abstract

터치 스크린을 가진 단말기에서 화면의 연속적인 터치를 이용하여 확대, 축소, 회전 등의 기능을 한 손으로 수행할 수 있게 하는 방법 및 장치가 제시된다. 터치 스크린의 제어 방법은 터치 스크린에서 미리 설정된 거리 임계값 이상 떨어진 두 지점이 미리 설정된 시간 임계값 이내에 이전 탭 및 현재 탭으로 입력되는지 판단하는 단계와 상기 이전 탭 및 상기 현재 탭을 분석하여 연속 탭 조작 모드로 전환하는 단계 및 상기 연속 탭 조작 모드에서 미리 정의된 연속 탭 명령에 따라 동작을 수행하는 단계를 포함할 수 있다.A method and apparatus for allowing a terminal having a touch screen to perform functions such as zooming in, zooming out, and rotating in one hand using a continuous touch of a screen are provided. The method of controlling the touch screen may include determining whether two points that are separated from the touch screen by a preset distance threshold are input to the previous tap and the current tap within a preset time threshold, and analyzing the previous tap and the current tap to continuously operate the tap. Switching to a mode and performing an operation according to a predefined continuous tap command in the continuous tap operation mode.

Description

USER INTERFACE METHOD AND APPARATUS USING SUCCESSIVE TOUCHES}

아래의 설명은 연속적인 터치를 이용하여 확대, 축소, 회전 등의 다양한 입력을 수행할 수 있게 하는 터치를 이용한 입력 방법 및 장치에 관한 것이다.
The following description relates to an input method and apparatus using a touch that enables various inputs such as enlargement, reduction, rotation, etc. using a continuous touch.

최근 출시되는 많은 휴대기기에는 다점의 터치를 감지할 수 있는 멀티터치 터치스크린이 탑재되고 있다. 이러한 멀티터치 터치스크린을 이용하면 그림의 회전이나 확대, 축소 등의 기능을 별도의 버튼 조작 등을 이용하지 않고도 쉽게 수행할 수 있다. 일상생활에서 이러한 멀티 터치 조작을 한 손으로 사용해야 할 상황을 접하는 경우가 종종 있다. 종래 기술에서 한 손으로 동작이 가능한 경우는 단일 탭 또는 더블 탭이 있다. 하지만, 그밖에 다양한 멀티 터치 조작을 한 손으로 수행하기에는 어려움이 있었다. Many recently released mobile devices are equipped with a multi-touch touch screen that can detect multiple touch points. By using the multi-touch touch screen, functions such as rotation, enlargement, and reduction of a picture can be easily performed without using a separate button operation. In everyday life, we often encounter situations where we must use these multi-touch operations with one hand. In the prior art, the single handed operation is possible with a single tap or a double tap. However, it was difficult to perform various multi-touch operations with one hand.

한 손가락으로도 기존의 터치 입력 외에 확대/축소 등 추가적인 입력을 가능하게 하기 위해 가속도 정보를 함께 사용하여 화면을 터치하는 힘을 추정하거나 (한국등록특허: 10-1173400), 여러 손가락의 움직임을 함께 사용하는 방법(한국공개특허: 10-2008-0091502) 등이 연구되었다.In order to enable additional input such as zooming / reducing in addition to the existing touch input with one finger, the force of touching the screen is estimated by using acceleration information together (Korea Patent No. 10-1173400), or multiple finger movements are used together. Method of using (Korean Patent Publication No. 10-2008-0091502) and the like have been studied.

또한, 특정 시간만큼 대기하였을 때 가상의 손가락을 표시하여 멀티터치 조작을 할 수 있도록 한 발명(한국공개특허: 10-2010-0121785)도 제시되었다.
In addition, an invention (Korean Patent Laid-Open Publication No. 10-2010-0121785) has been presented in which a virtual finger is displayed when the user waits for a specific time to perform a multi-touch operation.

일 실시예에 따르는 터치를 이용한 사용자 인터페이스 방법은, 이전 탭(previous tap) 및 현재 탭(current tap) 간의 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 거리를 계산하는 단계 및 상기 이전 탭 및 상기 현재 탭 간의 상기 시간 간격(time difference) 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 동작 모드(operation mode)를 결정하는 단계를 포함할 수 있다.According to an exemplary embodiment, a user interface method using a touch may include calculating a time interval between a previous tap and a current tap and a distance between the previous tap and the current tap, and the previous tap and the current tap. And determining an operation mode according to the time difference between taps and the distance between the previous tap and the current tap.

일 실시예에 따르면, 상기 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 동작 모드를 결정하는 단계는, 상기 이전 탭 및 현재 탭 간의 상기 시간 간격이 미리 설정된 시간 임계값(time threshold)보다 작고 상기 이전 탭 및 현재 탭 간의 상기 거리가 미리 설정된 거리 임계값(distance threshold)보다 큰 경우 상기 동작 모드를 연속 탭 조작 모드(successive tap operation mode)로 변경하는 단계를 포함할 수 있다.According to an embodiment, the determining of the operation mode according to the time interval between the previous tab and the current tab and the distance between the previous tab and the current tab may include: Changing the operation mode to a successive tap operation mode when it is less than a set time threshold and the distance between the previous tap and the current tap is greater than a preset distance threshold. It may include.

상기 시간 임계값은 500ms이고, 상기 거리 임계값은 9.6mm일 수 있다.The time threshold may be 500 ms and the distance threshold may be 9.6 mm.

또한, 일 실시예에 따르면, 상기 터치를 이용한 사용자 인터페이스 방법은, 상기 현재 탭에 연속되는 드래그(drag) 입력에 따라 미리 결정된 처리를 수행하는 단계를 더 포함할 수 있다. According to an embodiment, the user interface method using the touch may further include performing a predetermined process according to a drag input continuous to the current tab.

일 실시예에 따르면, 상기 현재 탭에 연속되는 드래그 입력에 따라 미리 결정된 처리를 수행하는 단계는, 상기 연속 탭 조작 모드에서, 상기 이전 탭 및 상기 현재 탭에 대응하여 핸들 이미지(handle image)를 표시하는 단계 및 상기 현재 탭의 위치를 상기 이전 탭을 중심으로 상기 드래그 입력을 이용하여 회전시킨 위치로 이동시키는 경우, 상기 핸들 이미지를 기준으로 표시 영상을 회전시키는 단계를 더 포함할 수 있다.According to one embodiment, performing a predetermined process according to the drag input continuous to the current tab, in the continuous tap operation mode, to display a handle image (corresponding to the previous tab and the current tap) And moving the position of the current tab to a position rotated by the drag input about the previous tab, and rotating the display image based on the handle image.

일 실시예에 따르면, 상기 현재 탭에 연속되는 드래그 입력에 따라 미리 결정된 처리를 수행하는 단계는, 상기 연속 탭 조작 모드에서, 상기 이전 탭 및 상기 현재 탭에 대응하여 핸들 이미지를 표시하는 단계 및 상기 현재 탭의 위치를 상기 이전 탭의 반대 방향으로 상기 드래그 입력을 이용하여 이동시키는 경우, 표시 영상을 확대시키는 단계를 더 포함할 수 있다.According to one embodiment, performing a predetermined process according to the drag input continuous to the current tab, in the continuous tap operation mode, displaying a handle image corresponding to the previous tab and the current tab and the The method may further include enlarging the display image when the position of the current tab is moved using the drag input in a direction opposite to the previous tab.

일 실시예에 따르면, 상기 현재 탭에 연속되는 드래그 입력에 따라 미리 결정된 처리를 수행하는 단계는, 상기 연속 탭 조작 모드에서, 상기 이전 탭 및 상기 현재 탭에 대응하여 핸들 이미지를 표시하는 단계 및 상기 현재 탭의 위치를 상기 이전 탭 쪽 방향으로 상기 드래그 입력을 이용하여 이동시키는 경우, 표시 영상을 축소시키는 단계를 더 포함할 수 있다.According to one embodiment, performing a predetermined process according to the drag input continuous to the current tab, in the continuous tap operation mode, displaying a handle image corresponding to the previous tab and the current tab and the The method may further include reducing the display image when the current tab is moved in the direction of the previous tab using the drag input.

일 실시예에 따르면, 상기 현재 탭에 연속되는 드래그 입력에 따라 미리 결정된 처리를 수행하는 단계는, 상기 연속 탭 조작 모드에서, 상기 이전 탭 및 상기 현재 탭에 대응하여 원형 핸들 이미지를 표시하는 단계 및 상기 드래그 입력을 이용하여 상기 현재 탭의 위치를 상기 이전 탭을 중심으로 회전시킨 위치로 이동시키는 경우, 회전각에 따라 표시 영상을 스크롤 시키는 단계를 더 포함할 수 있다.According to one embodiment, performing a predetermined process according to the drag input continuous to the current tab, in the continuous tap operation mode, displaying a circular handle image corresponding to the previous tab and the current tab; The method may further include scrolling a display image according to a rotation angle when the position of the current tab is moved to a position rotated about the previous tab by using the drag input.

일 실시예에 따르면, 상기 현재 탭에 연속되는 드래그 입력에 따라 미리 결정된 처리를 수행하는 단계는, 상기 연속 탭 조작 모드에서, 상기 이전 탭 및 상기 현재 탭에 대응하여 파이 형태의 메뉴를 표시하는 단계 및 상기 드래그 입력을 이용하여 상기 현재 탭의 위치를 상기 이전 탭을 중심으로 회전시킨 위치로 이동시키는 경우, 회전각에 따라 상기 메뉴의 항목을 선택하도록 단계를 더 포함할 수 있다.According to one embodiment, the step of performing a predetermined process according to the drag input continuous to the current tab, in the continuous tap operation mode, displaying a pie-shaped menu corresponding to the previous tab and the current tab; And when the position of the current tab is moved to a position rotated about the previous tab by using the drag input, selecting an item of the menu according to the rotation angle.

일 실시예에 따르면, 상기 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 동작 모드를 결정하는 단계는, 상기 이전 탭 및 현재 탭 간의 상기 시간 간격이 미리 설정된 시간 임계값보다 작고 상기 이전 탭 및 현재 탭 간의 상기 거리가 미리 설정된 거리 임계값보다 작거나 같은 경우 상기 동작 모드를 더블 탭 조작 모드(double tap operation mode)로 변경하는 단계를 포함할 수 있다.According to an embodiment, the determining of the operation mode according to the time interval between the previous tab and the current tab and the distance between the previous tab and the current tab may include: And changing the operation mode to a double tap operation mode when it is smaller than a set time threshold and the distance between the previous tap and the current tap is less than or equal to a preset distance threshold.

일 실시예에 따르면, 상기 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 동작 모드를 결정하는 단계는, 상기 이전 탭 및 현재 탭 간의 상기 시간 간격이 미리 설정된 시간 임계값보다 크거나 같은 경우 상기 동작 모드를 단일 탭 조작 모드(single tap operation mode)로 변경하는 단계를 포함할 수 있다.According to an embodiment, the determining of the operation mode according to the time interval between the previous tab and the current tab and the distance between the previous tab and the current tab may include: And changing the operation mode to a single tap operation mode when it is greater than or equal to the set time threshold.

일 실시예에 따르면, 상기 터치를 이용한 사용자 인터페이스 방법은, 탭 입력을 수신한 경우, 이전 입력이 탭 입력인지 판단하는 단계를 더 포함하고, 상기 이전 탭 및 현재 탭 간의 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 거리를 계산하는 단계는, 상기 이전 입력이 탭 입력인 경우, 이전 탭 및 현재 탭 간의 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 거리를 계산하는 단계를 포함할 수 있다.According to an embodiment, the user interface method using the touch may further include determining whether a previous input is a tap input when receiving a tap input, wherein the time interval between the previous tap and the current tap and the previous tap and The calculating of the distance between the current taps may include calculating a time interval between a previous tap and a current tap and a distance between the previous tap and the current tap when the previous input is a tap input.

일 실시예에 따르면, 상기 터치를 이용한 사용자 인터페이스 방법은, 상기 이전 입력이 탭 입력이 아닌 경우, 현재 탭의 위치 및 시간을 저장하는 단계를 더 포함할 수 있다.According to an embodiment, the user interface method using the touch may further include storing a position and time of a current tap when the previous input is not a tap input.

또 다른 실시예에 따른 터치를 이용한 사용자 인터페이스 방법은, 이전 탭 및 현재 탭을 수신하는 단계, 단계와, 상기 이전 탭 및 상기 현재 탭을 분석하여 연속 탭 조작 모드로 전환하는 단계 및 상기 연속 탭 조작 모드에서 미리 정해진(predetermined) 연속 탭 명령에 따라 동작을 수행하는 단계를 포함할 수 있다.In another embodiment, a user interface method using a touch may include receiving a previous tab and a current tab, analyzing the previous tab and the current tab, and switching to a continuous tap operation mode and operating the continuous tap. And performing an operation according to a predetermined continuous tap command in the mode.

일 실시예에 따르면, 상기 연속 탭 조작 모드로 전환하는 단계는, 상기 이전 탭 및 현재 탭 간 시간 간격이 미리 설정된 시간 이내에 포함되는지 확인하는 단계 및 상기 이전 탭 및 현재 탭 간 거리 간격이 미리 설정된 거리 이상인지 확인하는 단계를 포함할 수 있다. 또한, 일 실시예에 따르면, 상기 탭 간 시간 간격이 미리 설정된 시간 이내이고, 상기 탭 간 거리 간격이 미리 설정된 거리 이상일 경우, 연속 탭 조작 모드로 전환될 수 있다.According to one embodiment, the step of switching to the continuous tap operation mode, the step of checking whether the time interval between the previous tab and the current tab is included within a preset time and the distance between the previous tab and the current tab is a preset distance It may include checking whether or not. According to an embodiment of the present disclosure, when the inter-tap time interval is within a preset time and the inter-tap distance interval is greater than or equal to a preset distance, it may be switched to the continuous tap operation mode.

일 실시예에 따르면, 상기 연속 탭 조작 모드에서 미리 정해진 동작을 수행하는 단계는, 상기 이전 탭 및 상기 현재 탭의 터치 지점을 잇는 핸들 이미지를 표시하고, 상기 핸들 이미지의 길이 및 각도의 변화량에 대응하는 상기 연속 탭 명령에 따라 동작을 수행하는 단계를 포함할 수 있다.According to an exemplary embodiment, the performing of the predetermined operation in the continuous tap operation mode may include displaying a handle image connecting the previous tap and the touch point of the current tap, and corresponding to a change amount of the length and angle of the handle image. The method may include performing an operation according to the continuous tap command.

일 실시예에 따르면, 상기 미리 정해진 연속 탭 명령은 상기 핸들 이미지의 길이 및 각도의 변화량에 따라 확대, 축소, 회전, 스크롤, 문자열 선택, 파이 형태의 메뉴의 실행 중 적어도 하나를 포함할 수 있다.According to an embodiment of the present disclosure, the predetermined continuous tap command may include at least one of zooming in, zooming out, rotating, scrolling, selecting a string, and executing a pie type menu according to a change amount of the length and angle of the handle image.

또 다른 실시예에 따르는 터치를 이용한 사용자 인터페이스 장치는, 이전 탭 및 현재 탭을 입력 받는 입력부, 상기 이전 탭 및 현재 탭 간의 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 거리를 계산하는 분석부, 및 상기 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 결정된 동작 모드에 따라 동작을 수행하는 수행부를 포함할 수 있다.According to another embodiment, a user interface device using a touch may include an input unit for receiving a previous tab and a current tab, an analysis unit for calculating a time interval between the previous tab and the current tab, and a distance between the previous tab and the current tab, and And an execution unit configured to perform an operation according to an operation mode determined according to the time interval between the previous tab and the current tab and the distance between the previous tab and the current tab.

일 실시예에 따르면, 상기 분석부는, 이전 입력이 탭 입력인지 판단하는 탭 확인부와, 상기 이전 탭 및 상기 현재 탭 간 시간 간격이 미리 설정된 시간 이내인지 확인하는 시간 간격 확인부 및 상기 이전 탭 및 상기 현재 탭 간 시간 간격이 미리 설정된 시간 이내에 포함될 경우, 상기 이전 탭 및 상기 현재 탭 간 거리 간격이 미리 설정된 거리 이상인지 확인하는 거리 간격 확인부를 포함할 수 있다.According to an embodiment of the present disclosure, the analysis unit may include: a tab check unit to determine whether a previous input is a tap input, a time interval check unit to check whether a time interval between the previous tab and the current tab is within a preset time, and the previous tab and When the time interval between the current tab is included within a predetermined time, it may include a distance interval check unit for checking whether the distance interval between the previous tab and the current tab is greater than or equal to a preset distance.

일 실시예에 따르면, 상기 수행부는, 상기 이전 탭 및 현재 탭 간의 상기 시간 간격이 미리 설정된 시간 임계값보다 작고 상기 이전 탭 및 현재 탭 간의 상기 거리가 미리 설정된 거리 임계값보다 작거나 같은 경우 상기 동작 모드를 더블 탭 조작 모드로 변경할 수 있다.According to an embodiment, the performing unit may perform the operation when the time interval between the previous tab and the current tap is less than a preset time threshold and the distance between the previous tab and the current tap is less than or equal to a preset distance threshold. The mode can be changed to the double tap operation mode.

일 실시예에 따르면, 상기 수행부는, 상기 탭 간 시간 간격이 미리 설정된 시간 이내이고, 상기 탭 간 거리 간격이 미리 설정된 거리 이상일 경우, 상기 동작 모드를 연속 탭 조작 모드로 변경할 수 있다.According to an embodiment of the present disclosure, when the inter-tap time interval is within a preset time and the inter-tap distance interval is greater than or equal to a preset distance, the execution unit may change the operation mode to a continuous tap operation mode.

일 실시예에 따르면, 상기 입력부는, 터치 스크린, 프로젝션 입력 장치, 프로젝션 키패드, 및 홀로그램 사용자 인터페이스 장치 중 적어도 하나를 포함할 수 있다.
According to an embodiment, the input unit may include at least one of a touch screen, a projection input device, a projection keypad, and a hologram user interface device.

도 1은 일 실시예에 따른 터치를 이용한 사용자 인터페이스 방법의 순서도이다.
도 2는 일 실시예에 따른 터치를 이용한 사용자 인터페이스 방법의 순서도이다.
도 3은 일 실시예에 따른 터치를 이용한 사용자 인터페이스 장치의 블록도이다.
도 4a 및 도 4b는 일 실시예에 따른 터치를 이용한 사용자 인터페이스 장치를 도시한 도면이다.
도 5는, 일 실시예에 따라, 연속 탭 조작 모드의 실행을 설명하기 위한 도면이다.
도 6a 내지 도 6c는, 일 실시예에 따라, 연속 탭 조작 모드에서 핸들 조작 방법을 설명하기 위한 도면이다.
도 7a 및 도 7b는, 일 실시예에 따라, 현재 탭에 연속되는 드래그 입력에 따라 핸들을 조작할 때, 회전 각도 및 확대 배율을 계산하기 위해 사용하는 파라미터들을 설명하기 위한 도면이다.
도 8은, 일 실시예에 따라, 연속 탭 조작 모드에서 현재 탭에 연속되는 드래그 입력에 따라 스크롤을 실행하는 방법을 설명하기 위한 도면이다.
도 9는, 일 실시예에 따라, 연속 탭 조작 모드에서 현재 탭에 연속되는 드래그 입력에 따라 문자열 선택 및/또는 조작을 실행하는 방법을 설명하기 위한 도면이다.
도 10은, 일 실시예에 따라, 연속 탭 조작 모드에서 현재 탭에 연속되는 드래그 입력에 따라 파이 형태의 메뉴의 호출 및 실행하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시예에 따라 프로젝션 입력 장치(1110)에서 연속 탭 입력을 이용하는 경우를 설명하기 위한 도면이다.1 is a flowchart illustrating a user interface method using a touch, according to an exemplary embodiment.
2 is a flowchart of a user interface method using a touch, according to an exemplary embodiment.
3 is a block diagram of a user interface device using a touch, according to an exemplary embodiment.
4A and 4B illustrate a user interface device using a touch, according to an exemplary embodiment.
5 is a diagram for describing execution of a continuous tap operation mode, according to an exemplary embodiment.
6A to 6C are diagrams for describing a handle manipulation method in a continuous tap manipulation mode, according to an exemplary embodiment.
7A and 7B are diagrams for describing parameters used to calculate a rotation angle and an enlargement magnification when manipulating a handle according to a drag input continuous to a current tab, according to an embodiment.
8 is a diagram for describing a method of executing scrolling according to a drag input continuous to a current tab in a continuous tap operation mode, according to an exemplary embodiment.
9 is a diagram for describing a method of executing a string selection and / or an operation according to a drag input continuous to a current tab in a continuous tap operation mode, according to an exemplary embodiment.
FIG. 10 is a diagram for describing a method of calling and executing a pie-type menu according to a drag input consecutive to a current tab in a continuous tap operation mode, according to an exemplary embodiment.
FIG. 11 is a diagram for describing a case of using a continuous tap input in the projection input apparatus 1110 according to an embodiment.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

터치스크린에서 일반적으로 사용되는 입력 및/또는 제스처(gesture)로는 탭(tap), 더블 탭(double tap), 드래그(drag) 및 멀티 터치 제스처(multi-touch gesture)가 알려져 있다. 탭(tap)은 터치스크린을 한번 터치하는 제스처이다. 더블 탭(double tap)은 짧은 시간 내(일반적으로 500ms 이내)에 실질적으로 동일한 위치를 두 번 터치하는 제스처이다. 드래그(drag)는 터치스크린을 한번 터치한 후 상기 터치를 터치스크린에서 떼지 않고 상기 터치를 이동시키는 제스처이다. 멀티 터치 제스처(multi-touch gesture)는 터치스크린의 서로 다른 복수의 위치를 동시에 터치하는 제스처이다.Inputs and / or gestures commonly used in touchscreens are known as taps, double taps, drags, and multi-touch gestures. A tap is a gesture of touching the touch screen once. Double tap is a gesture that touches substantially the same location twice within a short time (typically within 500 ms). Drag is a gesture of moving the touch without touching the touch screen once after touching the touch screen once. Multi-touch gestures are gestures for simultaneously touching a plurality of different positions of the touch screen.

짧은 시간 내에 실질적으로 동일한 위치를 두 번 터치하는 더블 탭은 이용되고 있지만, 일정한 시간 간격 내에 서로 다른 복수의 위치(예를 들어, 서로 다른 2개의 위치)를 터치하는 입력은 아직 이용되고 있지 않다. 이하에서는, 미리 정해진 시간 간격 내에 미리 정해진 거리 이상 떨어져 입력되는 2개 이상의 탭을 연속 탭(successive tap)으로 참조(refer)한다. 예를 들어, 터치스크린에서 첫 번째 탭을 입력한 후 짧은 시간 내에 다른 위치에 두 번째 탭을 입력하는 경우가 연속 탭에 포함될 수 있다.Double taps are used which touch substantially the same location twice within a short time, but inputs that touch a plurality of different locations (eg, two different locations) within a certain time interval have not yet been used. In the following description, two or more taps inputted at a predetermined distance or more within a predetermined time interval are referred to as successive taps. For example, the continuous tap may include a case in which the second tap is input at another position within a short time after the first tap is input on the touch screen.

또한, 아래에 설명되는 많은 실시예들이 터치스크린을 이용하는 경우를 예로 들어 설명하지만, 본 발명은 터치스크린에 제한되지 않으며, 터치를 이용한 사용자 인터페이스에 모두 적용 가능하다. 예를 들어, 프로젝션 키패드(projection keypad)를 사용하는 경우에도 본 발명이 적용될 수 있다.In addition, although many embodiments described below are described using a touch screen as an example, the present invention is not limited to the touch screen and can be applied to both user interfaces using touch. For example, the present invention can be applied even when using a projection keypad.

도 1은 일 실시예에 따른 터치를 이용한 사용자 인터페이스 방법의 순서도이다. 도 1을 참고하면, 터치를 이용한 사용자 인터페이스 방법은 이전 탭 및 현재 탭 입력 판단 단계(110), 연속 탭 조작 모드로 전환하는 단계(120), 연속 탭 명령에 따라 동작을 수행하는 단계(130)를 포함할 수 있다.1 is a flowchart illustrating a user interface method using a touch, according to an exemplary embodiment. Referring to FIG. 1, a user interface method using a touch includes determining a previous tap and a current tap input step 110, switching to a continuous tap operation mode 120, and performing an operation according to a continuous tap command 130. It may include.

단계(110)에서, 터치 입력과 관련하여, 이전 탭 및 현재 탭이 입력되었는지 판단할 수 있다. In operation 110, in relation to a touch input, it may be determined whether a previous tab and a current tab are input.

단계(120)에서, 이전 탭 및 현재 탭을 분석하여 연속 탭 조작 모드로 전환할 수 있다. 연속 탭 조작 모드(successive tap operation mode)는, 미리 정해진 시간 간격 내에 미리 정해진 거리 이상 떨어진 위치를 터치하는 제스처인 연속 탭에 따른 처리를 수행하는 모드로, 연속 탭을 처리하는 모드로, 단일 탭 조작 모드(single tap operation mode) 및 더블 탭 조작 모드(double tap operation mode)와 구별된다. 단일 탭 조작 모드는, 한번 터치하는 제스처인 탭 입력에 따른 처리를 수행하는 모드이다. 더블 탭 조작 모드는, 짧은 시간 내(예를 들어, 500ms 이내)에 실질적으로 동일한 위치를 두 번 터치하는 제스처인 더블 탭에 따른 처리를 수행하는 모드이다.In step 120, the previous tap and the current tap may be analyzed to switch to the continuous tap operation mode. The continuous tap operation mode is a mode for performing a process according to a continuous tap, which is a gesture of touching a position away from a predetermined distance or more within a predetermined time interval. The continuous tap operation mode is a mode for processing a continuous tap. Mode is different from a single tap operation mode and a double tap operation mode. The single tap operation mode is a mode for performing a process according to a tap input which is a gesture of touching once. The double tap operation mode is a mode for performing a process according to a double tap, which is a gesture of touching the same position twice within a short time (for example, within 500 ms).

이때, 이전 탭 및 현재 탭 간 시간 간격이 미리 설정된 시간 이내에 포함되는지 확인하고, 이전 탭 및 현재 탭 간 거리 간격이 미리 설정된 거리 이상인지 확인할 수 있다. 이전 탭 및 현재 탭 간 시간 간격이 미리 설정된 시간 이내에 포함되고, 상기 탭 간 거리 간격이 미리 설정된 거리 이상일 경우, 연속 탭 조작 모드로 전환할 수 있다.At this time, it may be checked whether the time interval between the previous tab and the current tab is included within the preset time, and whether the distance interval between the previous tab and the current tab is greater than or equal to the preset distance. When the time interval between the previous tab and the current tab is included within a preset time and the distance between the tabs is greater than or equal to the preset distance, the continuous tap operation mode may be switched.

이후, 단계(130)에서, 연속 탭 조작 모드에서 미리 정해진 연속 탭 명령에 따라 동작을 수행할 수 있다. 예를 들어, 연속 탭 명령에 따라 동작을 수행하기 위해 이전 탭 및 현재 탭의 터치 지점을 잇는 핸들 이미지를 표시할 수 있다. 그리고, 핸들 이미지의 길이 및 각도의 변화량에 대응하는 연속 탭 명령에 따라 동작을 수행할 수 있다. 예를 들면, 핸들 이미지의 길이 및 각도의 변화량에 따라 확대, 축소, 회전, 스크롤, 문자열 선택, 파이 형태의 메뉴의 실행 등을 수행할 수 있다. 연속 탭을 이용한 사용자 인터페이스 동작 및 연속 탭 명령의 예들에 대해서는 도 5 내지 도 10을 참조하여 뒤에서 상세하게 설명한다.Thereafter, in operation 130, the operation may be performed according to a predetermined continuous tap command in the continuous tap operation mode. For example, in order to perform an operation according to a continuous tap command, a handle image connecting the touch point of the previous tab and the current tab can be displayed. The operation may be performed according to the continuous tap command corresponding to the amount of change in the length and angle of the handle image. For example, according to the amount of change in the length and angle of the handle image, it may be enlarged, reduced, rotated, scrolled, a string selected, a pie type menu, and the like. Examples of user interface operations and continuous tap commands using continuous taps will be described in detail later with reference to FIGS. 5 to 10.

도 2는 일 실시예에 따른 터치를 이용한 사용자 인터페이스 방법의 순서도이다.2 is a flowchart of a user interface method using a touch, according to an exemplary embodiment.

단계(210)에서, 터치 사용자 인터페이스 장치(touch user interface device)를 현재 탭(current tap)을 수신할 수 있다. 터치 사용자 인터페이스 장치는 터치를 이용한 사용자 인터페이스 장치로, 예를 들어, 터치 스크린, 프로젝션 입력 장치, 프로젝션 키패드, 홀로그램 사용자 인터페이스 장치 등을 포함할 수 있다. 예를 들어, 상기 터치 사용자 인터페이스 장치가 터치 스크린인 경우, 상기 터치 스크린 상의 탭 입력(터치 입력)을 수신한다. 또한, 상기 터치 사용자 인터페이스 장치가 프로젝션 키패드인 경우, 프로젝션된(projected) 키패드 상의 사용자의 탭 입력을 수신한다. 또한, 상기 터치 사용자 인터페이스 장치가 홀로그램 사용자 인터페이스 장치인 경우, 홀로그램 상의 사용자의 탭 입력을 수신한다.In operation 210, the touch user interface device may receive a current tap. The touch user interface device may be a user interface device using a touch, and may include, for example, a touch screen, a projection input device, a projection keypad, a hologram user interface device, and the like. For example, when the touch user interface device is a touch screen, a tap input (touch input) on the touch screen is received. In addition, when the touch user interface device is a projection keypad, a user's tap input is received on the projected keypad. In addition, when the touch user interface device is a hologram user interface device, the user inputs a tap input on the hologram.

탭 입력을 수신한 경우, 단계(220)에서, 터치 사용자 인터페이스 장치(touch user interface device)는, 이전 입력(previous input)이 탭 입력인지 판단할 수 있다.If a tap input is received, in step 220, the touch user interface device may determine whether the previous input is a tap input.

단계(220)의 판단 결과 이전 입력이 탭 입력인 경우, 터치 사용자 인터페이스 장치(touch user interface device)는, 이전 탭(previous tap) 및 현재 탭(current tap) 간의 시간 간격(time difference)을 계산할 수 있다. 또한, 터치 사용자 인터페이스 장치(touch user interface device)는, 상기 이전 탭 및 상기 현재 탭 간의 거리(distance)를 계산할 수 있다. 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 동작 모드가 결정될 수 있다. 예를 들어, 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 복수의 동작 모드(단일 탭 조작 모드, 더블 탭 조작 모드 및/또는 연속 탭 조작 모드) 중 하나의 동작 모드가 선택될 수 있다. 입력되는 두 개의 탭 입력이 단일 탭 입력인지, 더블 탭 입력인지 또는 연속 탭 입력인지에 따라 동작 모드가 결정될 수 있다.As a result of the determination in step 220, when the previous input is a tap input, the touch user interface device may calculate a time difference between the previous tap and the current tap. have. Also, the touch user interface device may calculate a distance between the previous tab and the current tab. An operation mode may be determined according to the time interval between the previous tab and the current tap and the distance between the previous tab and the current tap. For example, among a plurality of operation modes (single tap operation mode, double tap operation mode and / or continuous tap operation mode) according to the time interval between the previous tap and the current tap and the distance between the previous tap and the current tap. One operating mode may be selected. The operation mode may be determined according to whether two tap inputs input are a single tap input, a double tap input, or a continuous tap input.

단계(220)의 판단 결과 이전 입력이 탭 입력이 아닌 경우, 터치 사용자 인터페이스 장치는, 단계(225)에서, 현재 탭의 위치 및/또는 시간을 저장할 수 있다. 이는 현재 탭 이후에 다음 탭이 입력된 경우, 현재 탭과 다음 탭 간의 시간 간격 및 거리를 계산하기 위해서이다.As a result of the determination of step 220, if the previous input is not a tap input, in operation 225, the touch user interface device may store the location and / or time of the current tap. This is to calculate the time interval and distance between the current tab and the next tab when the next tab is entered after the current tab.

단계(240)에서, 터치 사용자 인터페이스 장치는, 이전 탭 및 현재 탭 간의 시간 간격을 미리 설정된(predetermined) 시간 임계값과 비교할 수 있다. 예를 들어, 상기 미리 설정된 시간 임계값은 500ms일 수 있다.In operation 240, the touch user interface device may compare the time interval between the previous tab and the current tab with a predetermined time threshold. For example, the preset time threshold may be 500 ms.

단계(240)의 비교 결과 이전 탭 및 현재 탭 간의 시간 간격이 미리 설정된 시간 임계값보다 크거나 같은 경우, 터치 사용자 인터페이스 장치는, 단계(245)에서, 상기 동작 모드를 단일 탭 조작 모드로 변경할 수 있다. 단일 탭 조작 모드는, 한번 터치하는 제스처인 탭 입력에 따른 처리를 수행하는 모드이다. 단일 탭 조작 모드에서는 종래의 단일 탭 처리와 동일한 처리를 수행할 수 있다. 예를 들어, 단일 탭 조작 모드에서, 단일 탭을 통하여 어플리케이션의 선택 또는 이미지의 선택 등을 수행할 수 있다.If the time interval between the previous tab and the current tap is greater than or equal to the preset time threshold as a result of the comparison of step 240, the touch user interface device may change the operation mode to a single tap operation mode in step 245. have. The single tap operation mode is a mode for performing a process according to a tap input which is a gesture of touching once. In the single tap operation mode, the same processing as in the conventional single tap processing can be performed. For example, in the single tap operation mode, selection of an application or selection of an image may be performed through a single tap.

단계(240)의 비교 결과 이전 탭 및 현재 탭 간의 시간 간격이 미리 설정된 시간 임계값보다 작은 경우, 터치 사용자 인터페이스 장치는, 단계(250)에서, 상기 이전 탭 및 현재 탭 간의 거리를 미리 설정된 거리 임계값과 비교할 수 있다. 예를 들어, 상기 미리 설정된 거리 임계값은 9.6mm일 수 있다. 또 다른 실시예에 따르면, 상기 미리 설정된 거리 임계값은 50픽셀일 수 있다.As a result of the comparison of step 240, if the time interval between the previous tab and the current tap is less than a preset time threshold, the touch user interface device, in step 250, sets the distance between the previous tab and the current tap to a preset distance threshold. Can be compared with a value. For example, the preset distance threshold may be 9.6 mm. According to another embodiment, the preset distance threshold may be 50 pixels.

단계(250)의 비교 결과 이전 탭 및 현재 탭 간의 거리가 미리 설정된 거리 임계값보다 작거나 같은 경우, 터치 사용자 인터페이스 장치는, 단계(255)에서, 상기 동작 모드를 더블 탭 조작 모드로 변경할 수 있다. 따라서, 단계(255)에서는, 이전 탭 및 현재 탭 간의 시간 간격이 미리 설정된 시간 임계값보다 작고 상기 이전 탭 및 현재 탭 간의 상기 거리가 미리 설정된 거리 임계값보다 작거나 같은 경우, 동작 모드를 더블 탭 조작 모드로 변경할 수 있다. 더블 탭 조작 모드는, 짧은 시간 내(일반적으로 500ms 이내)에 실질적으로 동일한 위치를 두 번 터치하는 제스처인 더블 탭에 따른 처리를 수행하는 모드이다. 더블 탭 조작 모드에서는 종래의 더블 탭 처리와 동일한 처리를 수행할 수 있다. 예를 들면, 더블 탭 조작 모드에서 이미지에 대해 더블 탭을 함으로써 상기 이미지에 대한 확대 등을 수행할 수 있다.If the distance between the previous tap and the current tap is less than or equal to the preset distance threshold as a result of the comparison of step 250, the touch user interface device may change the operation mode to the double tap operation mode in step 255. . Thus, in step 255, if the time interval between the previous and current taps is less than a preset time threshold and the distance between the previous and current taps is less than or equal to a preset distance threshold, the operation mode is double tapped. You can change to the operation mode. The double tap operation mode is a mode for performing processing according to double tap, which is a gesture of touching the same position twice within a short time (generally within 500 ms). In the double tap operation mode, the same processing as in the conventional double tap processing can be performed. For example, by double tapping the image in the double tap operation mode, the magnification of the image can be performed.

단계(250)의 비교 결과 이전 탭 및 현재 탭 간의 거리가 미리 설정된 거리 임계값보다 큰 경우, 터치 사용자 인터페이스 장치는, 단계(260)에서, 상기 동작 모드를 연속 탭 조작 모드로 변경할 수 있다. 연속 탭 조작 모드(successive tap operation mode)는, 미리 정해진 시간 간격(예를 들어, 500ms) 내에 미리 정해진 거리(예를 들어, 9.6mm 또는 50픽셀) 이상 떨어진 위치를 터치하는 제스처인 연속 탭에 따른 처리를 수행하는 모드이다. 연속 탭 조작 모드에서는 다양하고 새로운 사용자 인터페이스가 가능해진다.If the distance between the previous tap and the current tap is greater than the preset distance threshold as a result of the comparison of step 250, the touch user interface device may change the operation mode to the continuous tap operation mode in step 260. Successive tap operation mode corresponds to a continuous tap, which is a gesture of touching a position within a predetermined time interval (e.g., 500 ms) over a predetermined distance (e.g., 9.6 mm or 50 pixels). This mode performs processing. The continuous tap operation mode enables a variety of new user interfaces.

예를 들어, 이전 탭 및 현재 탭을 연결하는 선(line)을 표시하여 이를 이용할 수 있다. 첫 번째 탭 입력 후 시간 임계값 이내의 시간에 거리 임계값보다 먼 거리에 두 번째 탭을 입력하면, 첫 번째 탭과 두 번째 탭을 연결하는 핸들 이미지(handle image)를 표시한다. 그리고, 현재 탭의 위치를 이전 탭을 중심으로 회전시킨 위치로 드래그하여 이동시키는 경우, 핸들 이미지를 기준으로 표시 영상을 회전하여 표시하도록 할 수 있다. 그러면, 사용자는 매우 편하게 표시 영상을 회전시킬 수 있게 된다. 또한, 현재 탭의 위치를 이전 탭의 반대 방향으로 이동시키는 경우, 표시 영상을 확대시킬 수 있다. 또한, 현재 탭의 위치를 이전 탭 쪽 방향으로 이동시키는 경우, 표시 영상을 축소시킬 수 있다. 이러한 핸들 이미지 조작 방법에 관하여는 도 5 내지 도 7을 참조하여 뒤에서 상세히 설명한다.For example, you can use it by displaying a line connecting the previous tab and the current tab. If a second tap is entered at a time within the time threshold after the first tap is entered, the handle image connecting the first and second tabs is displayed. When the current tab is moved by dragging the position of the current tab to a position rotated about the previous tab, the display image may be rotated and displayed based on the handle image. Then, the user can rotate the display image very conveniently. In addition, when the position of the current tab is moved in the direction opposite to the previous tab, the display image may be enlarged. In addition, when the position of the current tab is moved in the direction of the previous tab, the display image can be reduced. Such a handle image manipulation method will be described in detail later with reference to FIGS. 5 to 7.

또 다른 실시예에 따르면, 이전 탭 및 현재 탭에 대응하여 원형 핸들 이미지를 표시할 수 있다. 이때, 현재 탭의 위치를 이전 탭을 중심으로 회전시킨 위치로 이동시키는 경우, 회전각에 따라 터치 스크린의 표시 영상을 스크롤시킬 수 있다. 이러한 실시예에 관하여는 도 8을 참조하여 뒤에서 상세히 설명한다.According to another embodiment, a circular handle image may be displayed corresponding to the previous tab and the current tab. In this case, when the position of the current tab is moved to a position rotated about the previous tab, the display image of the touch screen may be scrolled according to the rotation angle. This embodiment will be described in detail later with reference to FIG. 8.

또 다른 실시예에 따르면, 이전 탭 및 현재 탭에 대응하여 문자열을 선택할 수 있다. 이전 탭을 시작점으로 하여 현재 탭까지의 문자열을 선택할 수 있다. 이후, 문자열이 선택되면 선택된 문자열을 이용하여 잘라내기, 복사, 글꼴 변형 등의 동작을 수행할 수 있다. 이러한 실시예에 관하여는 도 9를 참조하여 뒤에서 상세히 설명한다.According to another embodiment, a string may be selected corresponding to the previous tab and the current tab. You can select a string up to the current tab, starting from the previous tab. After that, when a string is selected, operations such as cutting, copying, and font modification can be performed using the selected string. This embodiment will be described in detail later with reference to FIG. 9.

또 다른 실시예에 따르면, 이전 탭 및 현재 탭에 대응하여 파이 형태의 메뉴를 표시할 수 있다. 현재 탭의 위치를 이전 탭을 중심으로 회전시킨 위치로 이동시키는 경우, 회전각에 따라 메뉴의 항목을 선택할 수 있다. 이러한 실시예에 관하여는 도10을 참조하여 뒤에서 상세히 설명한다.According to another embodiment, a pie-shaped menu may be displayed corresponding to the previous tab and the current tab. When moving the position of the current tab to the position rotated about the previous tab, the item of the menu can be selected according to the rotation angle. This embodiment will be described in detail later with reference to FIG.

도 3은 터치 사용자 인터페이스 장치(touch user interface device)(300)의 블록도이다.3 is a block diagram of a touch user interface device 300.

터치 사용자 인터페이스 장치(touch user interface device)(300)는 입력부(input unit)(310), 분석부(analyzing unit)(320), 수행부(execution unit)(330)를 포함할 수 있다.The touch user interface device 300 may include an input unit 310, an analysis unit 320, and an execution unit 330.

입력부(310)는 이전 탭 및 현재 탭을 입력 받는다. 입력부(310)는 터치 입력을 받을 수 있는 장치로, 예를 들어, 터치 스크린, 프로젝션 입력부, 프로젝션 키패드, 홀로그램 사용자 입력부 등을 포함할 수 있다. 예를 들어, 입력부(310)는 터치스크린일 수 있다. 이 경우, 입력부(310)는 터치스크린 상의 탭(tap) 입력을 수신한다. 또 다른 실시예에 따르면, 입력부(310)는 프로젝션 입력 장치일 수 있다. 이 경우, 입력부(310)는, 프로젝트된 영상 상의 탭 입력을 수신한다. 또 다른 실시예에 따르면, 입력부(310)는 프로젝션 키패드(projection keypad)일 수 있다. 이 경우, 입력부(310)는, 프로젝트된 키패드(projected keypad) 상의 탭 입력을 수신한다. 또 다른 실시예에 따르면, 입력부(310)는 홀로그램 사용자 인터페이스 장치일 수 있다. 이 경우, 입력부(310)는, 홀로그램 상의 탭 입력을 수신한다.The input unit 310 receives a previous tab and a current tab. The input unit 310 is a device that can receive a touch input, and may include, for example, a touch screen, a projection input unit, a projection keypad, a hologram user input unit, and the like. For example, the input unit 310 may be a touch screen. In this case, the input unit 310 receives a tap input on the touch screen. According to another embodiment, the input unit 310 may be a projection input device. In this case, the input unit 310 receives a tap input on the projected image. According to another embodiment, the input unit 310 may be a projection keypad. In this case, the input unit 310 receives a tap input on the projected keypad. According to another embodiment, the input unit 310 may be a hologram user interface device. In this case, the input unit 310 receives a tap input on the hologram.

분석부(320)는 이전 탭 및 현재 탭 간의 시간 차이 및 이전 탭 및 현재 탭 간의 거리를 계산할 수 있다. 그리고, 이전 탭 및 현재 탭 간의 시간 차이 및 상기 이전 탭 및 상기 현재 탭 간의 거리를 계산하여 계산 결과에 따라 동작 모드를 결정할 수 있다. 예를 들어, 이전 탭 및 상기 현재 탭 간의 상기 시간 간격 및 상기 이전 탭 및 상기 현재 탭 간의 상기 거리에 따라 복수의 동작 모드(단일 탭 조작 모드, 더블 탭 조작 모드 및/또는 연속 탭 조작 모드) 중 하나의 동작 모드가 선택될 수 있다. 입력되는 두 개의 탭 입력이 단일 탭 입력인지, 더블 탭 입력인지 또는 연속 탭 입력인지에 따라 동작 모드가 결정될 수 있다.The analyzer 320 may calculate a time difference between the previous tap and the current tap and a distance between the previous tap and the current tap. The operation mode may be determined according to a calculation result by calculating a time difference between a previous tap and a current tap and a distance between the previous tap and the current tap. For example, among a plurality of operation modes (single tap operation mode, double tap operation mode and / or continuous tap operation mode) according to the time interval between the previous tap and the current tap and the distance between the previous tap and the current tap. One operating mode may be selected. The operation mode may be determined according to whether two tap inputs input are a single tap input, a double tap input, or a continuous tap input.

분석부(320)는, 탭 확인부(tap verification module)(321), 시간 간격 확인부(time difference determining unit)(322), 거리 간격 확인부(distance determining unit)(323), 및 저장부(storing unit)(324)를 포함할 수 있다.The analyzer 320 may include a tap verification module 321, a time difference determining unit 322, a distance determining unit 323, and a storage unit ( storing unit) 324.

탭 확인부(321)는 현재 입력이 탭 입력인지 확인할 수 있다. 또한, 현재 입력이 탭 입력인 경우, 이전 입력이 탭 입력인지 확인할 수 있다. 예를 들어, 모든 형태의 사용자 입력은 큐(queue)에 저장될 수 있고, 탭 확인부(321)는 상기 큐(queue)를 확인함으로써 이전 입력이 탭 입력인지 확인할 수 있다.The tap check unit 321 may check whether the current input is a tap input. In addition, when the current input is a tap input, it may be checked whether the previous input is a tap input. For example, all types of user input may be stored in a queue, and the tap check unit 321 may check whether the previous input is a tap input by checking the queue.

저장부(324)는 입력된 탭들의 위치 및 시간을 저장할 수 있다. 일 실시예에 따르면, 저장부(324)는 복수 개(예를 들어, 10개)의 최근에 입력된 탭들의 위치 및 시간을 저장할 수 있다. 또 다른 실시예에 따르면, 저장부(324)는, 이전 입력이 탭 입력이 아닌 경우, 현재 탭의 위치 및 시간을 저장할 수 있다.The storage unit 324 may store the location and time of the input taps. According to an embodiment, the storage unit 324 may store the positions and times of a plurality of (eg, ten) recently input taps. According to another embodiment, the storage unit 324 may store the location and time of the current tap, if the previous input is not a tap input.

시간 간격 확인부(322)는 이전 탭 및 현재 탭 간 시간 간격이 미리 설정된 시간 이내인지 판단할 수 있다. 시간 간격 확인부(322)는 현재 탭의 입력 시간과 저장부(324)에 저장된 이전 탭의 입력 시간을 비교함으로써, 이전 탭 및 현재 탭 간 시간 간격이 미리 설정된 시간 이내인지 판단할 수 있다.The time interval checking unit 322 may determine whether a time interval between the previous tab and the current tab is within a preset time. The time interval checking unit 322 may determine whether a time interval between the previous tab and the current tab is within a preset time by comparing the input time of the current tab with the input time of the previous tab stored in the storage 324.

거리 간격 확인부(323)는 이전 탭 및 현재 탭 간 거리가 미리 설정된 거리 이상인지 판단할 수 있다. 거리 간격 확인부(323)는 현재 탭의 위치와 저장부(324)에 저장된 이전 탭의 위치를 비교함으로써, 이전 탭 및 현재 탭 간 거리가 미리 설정된 시간 이내인지 판단할 수 있다.The distance interval checking unit 323 may determine whether the distance between the previous tab and the current tab is greater than or equal to a preset distance. The distance interval checking unit 323 may determine whether the distance between the previous tab and the current tab is within a preset time by comparing the position of the current tab with the position of the previous tab stored in the storage 324.

분석부(analyzing unit)(320)는 또한, 처리부(도시되지 않음)를 포함할 수 있다. 처리부는 시간 간격 확인부(322) 및 거리 간격 확인부(323)의 판단 결과에 따라 동작 모드를 결정할 수 있다The analyzing unit 320 may also include a processing unit (not shown). The processor may determine an operation mode according to the determination result of the time interval checking unit 322 and the distance interval checking unit 323.

수행부(330)는 이전 탭 및 현재 탭 간의 시간 간격 및 이전 탭 및 현재 탭 간의 거리에 따라 결정된 동작 모드에 따라 동작을 수행한다. 수행부(330)는, 이전 탭 및 현재 탭 간의 시간 간격이 미리 설정된 시간 임계값보다 작고 이전 탭 및 현재 탭 간의 거리가 미리 설정된 거리 임계값보다 큰 경우, 연속 탭 조작 모드를 수행할 수 있다. 연속 탭 조작 모드에서, 수행부(330)는, 연속 탭 조작 모드에서 이전 탭 및 현재 탭의 터치 지점을 잇는 핸들 이미지를 표시할 수 있다. 그리고, 핸들 이미지의 길이 및 각도의 변화량에 대응하는 미리 정해진 연속 탭 명령에 따라 동작을 수행할 수 있다. 예를 들면, 핸들 이미지는 이전 탭 및 현재 탭 지점을 연결하는 선으로서 나타낼 수 있다. 그리고, 수행부(330)는, 핸들 이미지를 기준으로 터치 스크린의 표시 영상을 이동 시킴으로써 회전, 확대, 축소 등을 실행할 수 있다.The performer 330 performs an operation according to an operation mode determined according to a time interval between the previous tab and the current tab and a distance between the previous tab and the current tab. The performing unit 330 may perform the continuous tap operation mode when the time interval between the previous tab and the current tap is smaller than the preset time threshold and the distance between the previous tab and the current tap is greater than the preset distance threshold. In the continuous tap operation mode, the execution unit 330 may display a handle image connecting the touch point of the previous tab and the current tap in the continuous tap operation mode. The operation may be performed according to a predetermined continuous tap command corresponding to the change amount of the length and angle of the handle image. For example, the handle image can be shown as a line connecting the previous tab and the current tap point. In addition, the execution unit 330 may execute rotation, enlargement, reduction, etc. by moving the display image of the touch screen based on the handle image.

또한, 수행부(330)는, 이전 탭 및 현재 탭 간의 상기 시간 간격이 미리 설정된 시간 임계값보다 크거나 같은 경우 단일 탭 조작 모드를 수행할 수 있다. 예를 들면, 단일 탭 조작 모드에서 수행부(330)는, 단일 탭 입력에 응답하여(in response to single tap input) 어플리케이션의 선택, 또는 이미지의 선택 등을 수행할 수 있다.Also, the execution unit 330 may perform a single tap operation mode when the time interval between the previous tap and the current tap is greater than or equal to a preset time threshold. For example, in the single tap operation mode, the execution unit 330 may select an application or an image in response to a single tap input.

또한, 수행부(330)는, 이전 탭 및 현재 탭 간의 상기 시간 간격이 미리 설정된 시간 임계값보다 작고 상기 이전 탭 및 현재 탭 간의 상기 거리가 미리 설정된 거리 임계값보다 작거나 같은 경우 상기 동작 모드를 더블 탭 조작 모드를 수행할 수 있다. 예를 들면, 더블 탭 조작 모드에서 수행부(330)는, 더블 탭 입력에 응답하여(in response to double tap input) 이미지의 확대 등을 수행할 수 있다.Also, the execution unit 330 may change the operation mode when the time interval between the previous tab and the current tap is smaller than a preset time threshold and the distance between the previous tab and the current tap is less than or equal to a preset distance threshold. Double tap operation mode can be performed. For example, in the double tap operation mode, the execution unit 330 may enlarge the image in response to the double tap input.

도 4a 내지 도 4b는 일 실시예에 따른 터치를 이용한 사용자 인터페이스 장치(410)를 도시 도면이다. 4A to 4B are diagrams illustrating a user interface device 410 using a touch, according to an exemplary embodiment.

도 4a를 참조하면, 터치 사용자 인터페이스 장치(410)는, 입력부(420)로서 터치스크린이 장착된 휴대폰이다. 여기에서 설명되는 실시예들은 터치스크린이 장착된 휴대폰에서 실시될 수 있지만, 이에 한정되지는 않는다. 터치스크린은 표시부로도 동작할 수 있다.Referring to FIG. 4A, the touch user interface device 410 is a mobile phone equipped with a touch screen as the input unit 420. Embodiments described herein may be implemented in a mobile phone equipped with a touch screen, but are not limited thereto. The touch screen may also operate as a display unit.

도 4b는 일 실시예에 따른 터치 사용자 인터페이스 장치(410)에서 수행되는 어플리케이션의 모습을 나타낸 도면이다. 예를 들어, 어플리케이션 화면은 문자 입력이 필요할 경우, 문자를 입력 받기 위한 화상 키보드(440)를 표시부 하단에 표시할 수 있다. 반면에, 문자 입력이 필요하지 않은 경우에는 정보 표시 및 조작 영역(430)을 표시부 전체에 표시할 수 있다. 종래기술에서 연속 탭 조작은 화상 키보드 영역(440)에서 문자 입력을 위해 사용될 수 있다. 하지만, 정보 표시 및 조작 영역(430)에서는 연속 탭 조작은 사용되지 않았다.4B is a diagram illustrating an application executed in the touch user interface device 410 according to an exemplary embodiment. For example, the application screen may display an on-screen keyboard 440 for receiving text when the text input is required at the bottom of the display unit. On the other hand, when text input is not required, the information display and manipulation area 430 may be displayed on the entire display. Continuous tap operation in the prior art can be used for character entry in the on-screen keyboard area 440. However, continuous tap operation was not used in the information display and operation area 430.

일 실시예에 따르면, 터치 사용자 인터페이스 장치(410)는 연속 탭이 입력된 위치가 화상 키보드 영역(440)인지 아닌지 판단할 수 있다. 연속 탭이 입력된 위치가 화상 키보드 영역(440)이면 통상의 키보드 입력을 처리할 수 있다. 그러나, 연속 탭이 입력된 위치가 화상 키보드 영역(440)이 아니라면, 터치 사용자 인터페이스 장치(410)는 연속 탭 조작 모드로 동작 모드를 변경하고, 연속 탭 조작 모드를 수행할 수 있다.According to an embodiment of the present disclosure, the touch user interface device 410 may determine whether the position where the continuous tab is input is the on-screen keyboard area 440. If the position where the continuous tab is input is the on-screen keyboard area 440, normal keyboard input can be processed. However, if the position where the continuous tap is input is not the on-screen keyboard area 440, the touch user interface device 410 may change the operation mode to the continuous tap operation mode and perform the continuous tap operation mode.

도 5는, 일 실시예에 따라, 연속 탭 조작 모드의 실행을 설명하기 위한 도면이다. 도 5를 참조하여, 터치 사용자 인터페이스 장치에서 연속 탭 명령을 이용하여 한 손으로 동작을 수행하는 예를 설명한다. 5 is a diagram for describing execution of a continuous tap operation mode, according to an exemplary embodiment. An example of performing an operation with one hand using a continuous tap command in the touch user interface device will be described with reference to FIG. 5.

예를 들면, 터치 사용자 인터페이스 장치를 한 손으로 잡은 상태에서 입력부 상에 거리 임계값(예를 들어, 9.6mm 또는 50 픽셀) 이상의 거리 간격을 갖는 두 지점(510, 520)을 시간 임계값(예를 들어, 500ms) 내에 연속으로 터치할 경우, 두 지점(510, 520)에 대한 탭 입력은 연속 탭 입력(successive tap input)으로 판단될 수 있다. 따라서, 터치 사용자 인터페이스 장치는 연속 탭 조작 모드로 동작 모드를 변경하고, 연속 탭 조작 모드를 수행할 수 있다. 예를 들어, 터치 사용자 인터페이스 장치는, 두 지점(510, 520) 및 두 지점 사이를 잇는 핸들 이미지(530)를 표시할 수 있다.For example, while holding the touch user interface device with one hand, the time threshold (eg, two points 510, 520) having a distance interval of more than a distance threshold (for example, 9.6 mm or 50 pixels) on the input unit may be For example, when continuously touching within 500 ms, the tap inputs to the two points 510 and 520 may be determined as successive tap inputs. Accordingly, the touch user interface device may change the operation mode to the continuous tap operation mode and perform the continuous tap operation mode. For example, the touch user interface device may display two points 510 and 520 and a handle image 530 between the two points.

도 6a 내지 도 6c는, 일 실시예에 따라, 연속 탭 조작 모드에서 핸들 이미지 조작 방법을 설명하기 위한 도면이다.6A to 6C are diagrams for describing a handle image manipulation method in a continuous tap manipulation mode, according to an exemplary embodiment.

도 6a는 표시부에 표시된 이미지 상에 거리 임계값(예를 들어, 9.6mm 또는 50 픽셀) 이상의 거리 간격을 갖는 두 지점을 시간 임계값(예를 들어, 500ms) 내에 연속으로 터치한 경우, 터치 사용자 인터페이스 장치는 연속 탭 조작 모드를 실행할 수 있다. 그리고, 터치 사용자 인터페이스 장치는 연속 탭 조작 모드에서, 상기 이전 탭 및 상기 현재 탭에 대응하여 핸들 이미지(610a)를 표시할 수 있다. 예를 들어, 터치 사용자 인터페이스 장치는, 도 6a와 같이, 자신의 표시부에 이전 탭과 현재 탭의 사이를 잇는 핸들 이미지(610a)를 표시할 수 있다. 사용자는 이 핸들 이미지(610a)를 이용하여 여러 가지 조작을 수행할 수 있다. 핸들 이미지(610a)는 사용자가 직관적으로 조작 형태를 인식하는 것을 돕는 역할을 한다.6A illustrates a touch user when two points having a distance interval greater than or equal to a distance threshold (for example, 9.6 mm or 50 pixels) on the image displayed on the display are continuously touched within a time threshold (for example, 500 ms). The interface device may execute a continuous tap operation mode. The touch user interface device may display the handle image 610a in response to the previous tab and the current tap in the continuous tap operation mode. For example, as illustrated in FIG. 6A, the touch user interface device may display a handle image 610a connected between a previous tab and a current tab on its display unit. The user can perform various operations using the handle image 610a. The handle image 610a serves to help the user recognize the manipulation form intuitively.

터치 사용자 인터페이스 장치는 현재 탭에 연속되는 드래그 입력에 따라 미리 결정된 처리를 수행할 수 있다. 예를 들어, 현재 탭의 위치를 이전 탭을 중심으로 드래그 입력을 이용하여 회전시킨 위치로 이동시키는 경우, 핸들 이미지(610a)를 기준으로 터치 스크린의 표시 영상을 회전시킬 수 있다. 예를 들어, 첫 번째 탭에 이어 두 번째 탭을 입력하면 도 6a와 같은 핸들 이미지(610a)가 도시된다. 그리고, 두 번째 탭을 터치스크린으로부터 떼지 않은 상태에서 드래그하여 이동시키면, 이전 탭을 중심으로 드래그 입력에 대응하여 핸들 이미지(610b)가 회전하여 표시되며, 동일한 각도만큼 표시 영상도 회전하여 표시된다. 이렇게 회전되어 표시된 예가 도 6b에 도시되어 있다. 또 다른 실시예에서는 핸들 이미지를 표시하지 않고, 상기와 같은 형태의 연속 탭 입력에 응답하여 상기 회전 동작을 수행할 수 있다.The touch user interface device may perform a predetermined process according to a drag input continuous to the current tab. For example, when the position of the current tab is moved to a position rotated using a drag input around the previous tab, the display image of the touch screen may be rotated based on the handle image 610a. For example, entering a second tab after the first tab shows a handle image 610a as shown in FIG. 6A. When the second tab is dragged and moved without removing it from the touch screen, the handle image 610b is rotated and displayed corresponding to the drag input around the previous tab, and the display image is rotated and displayed by the same angle. This rotated example is shown in FIG. 6B. In another embodiment, the rotation operation may be performed in response to the continuous tap input of the above type without displaying the handle image.

또 다른 실시예에 따르면, 연속 탭 입력 모드에서, 상기 현재 탭의 위치를 상기 이전 탭의 반대 방향으로 상기 드래그 입력을 이용하여 이동시키는 경우, 터치 스크린의 표시 영상을 확대시킬 수 있다. 예를 들어, 첫 번째 탭에 이어 두 번째 탭을 입력하면 도 6a와 같은 핸들 이미지(610a)가 도시된다. 그리고, 두 번째 탭을 터치스크린으로부터 떼지 않은 상태에서 드래그하여 이전 탭의 반대 방향으로 이동시키면, 핸들 이미지(610c)는 드래그 된 만 큼 확대되어 표시된다. 또한, 표시 영상도 핸들 이미지(610c)의 확대 정도에 비례하여 확대되어 표시될 수 있다. 이렇게 확대되어 표시된 예가 도 6c에 도시되어 있다. 또 다른 실시예에서는 핸들 이미지를 표시하지 않고, 상기와 같은 형태의 연속 탭 입력에 응답하여 상기 확대 동작을 수행할 수 있다.According to another embodiment, in the continuous tap input mode, when the position of the current tab is moved using the drag input in a direction opposite to the previous tab, the display image of the touch screen may be enlarged. For example, entering a second tab after the first tab shows a handle image 610a as shown in FIG. 6A. Then, when the second tab is dragged without moving away from the touch screen and moved in the direction opposite to the previous tab, the handle image 610c is enlarged and displayed as much as it is dragged. In addition, the display image may be enlarged and displayed in proportion to the magnification of the handle image 610c. This enlarged example is shown in FIG. 6C. In another embodiment, the enlargement operation may be performed in response to the continuous tap input of the above type without displaying the handle image.

또 다른 실시예에 따르면, 연속 탭 입력 모드에서, 상기 현재 탭의 위치를 상기 이전 탭 쪽 방향으로 상기 드래그 입력을 이용하여 이동시키는 경우, 표시 영상을 축소시킬 수 있다. 예를 들어, 첫 번째 탭에 이어 두 번째 탭을 입력하면 도 6a와 같은 핸들 이미지(610a)가 도시된다. 그리고, 두 번째 탭을 터치스크린으로부터 떼지 않은 상태에서 드래그하여 이전 탭 쪽 방향으로 이동시키면, 핸들 이미지는 드래그 된 만 큼 축소되어 표시된다. 또한, 표시 영상도 핸들 이미지의 축소 정도에 비례하여 축소되어 표시될 수 있다. 또 다른 실시예에서는 핸들 이미지를 표시하지 않고, 상기와 같은 형태의 연속 탭 입력에 응답하여 상기 축소 동작을 수행할 수 있다.According to another embodiment, in the continuous tap input mode, when the position of the current tab is moved using the drag input in the direction of the previous tab, the display image may be reduced. For example, entering a second tab after the first tab shows a handle image 610a as shown in FIG. 6A. If the second tab is dragged without moving away from the touch screen and moved in the direction of the previous tab, the handle image is reduced and displayed as much as it is dragged. In addition, the display image may be reduced and displayed in proportion to the degree of reduction of the handle image. In another embodiment, the reduction operation may be performed in response to the continuous tap input of the above type without displaying the handle image.

이와 같이, 핸들 이미지를 나타내는 현재 탭을 드래그하여 이동함으로써, 두 지점 간의 상대적인 각도 변화(회전), 확대 및 축소 비율을 이용하여 표시부에 표시된 이미지를 변형할 수 있다.As such, by dragging and moving the current tab representing the handle image, the image displayed on the display unit may be modified using a relative angle change (rotation), enlargement, and reduction ratio between two points.

도 7a 및 도 7b는 일 실시예에 따라 현재 탭에 연속되는 드래그 입력에 따라 핸들을 조작할 때, 회전 각도 및 확대 배율을 계산하기 위해 사용하는 파라미터들을 설명하기 위한 도면이다.7A and 7B are diagrams for describing parameters used to calculate a rotation angle and an enlargement magnification when manipulating a handle according to a drag input continuous to a current tap, according to an exemplary embodiment.

연속 탭 조작 모드에서 연속 탭 명령 중 하나의 실시예에 따르면, 현재 탭의 위치를 이전 탭을 중심으로 회전시킨 위치로 이동시키는 경우, 핸들 이미지를 기준으로 현재 탭에 연속되는 드래그 입력을 이용하여 터치 스크린의 표시 영상을 회전시킬 수 있다. 그리고, 현재 탭의 위치를 이전 탭의 반대 방향으로 이동시키는 경우, 터치 스크린의 표시 영상을 확대시킬 수 있다. 또한, 현재 탭의 위치를 이전 탭 쪽 방향으로 이동시키는 경우, 터치 스크린의 표시 영상을 축소시킬 수 있다.According to one embodiment of the continuous tap command in the continuous tap operation mode, when moving the position of the current tab to the position rotated about the previous tab, touch by using a drag input consecutive to the current tab based on the handle image. The display image of the screen can be rotated. In addition, when the position of the current tab is moved in the direction opposite to the previous tab, the display image of the touch screen may be enlarged. In addition, when the position of the current tab is moved in the direction of the previous tab, the display image of the touch screen may be reduced.

도 7a는 연속 탭 조작 모드로 전환하여 핸들 이미지를 표시하였으나 아직 그 중 하나를 이동하지 않은 조작 이전의 핸들 이미지(710a)를 나타내는 도면이다. 이때, 핸들 이미지의 길이는 d₁, 핸들 이미지의 각도를 θ₁로 나타낼 수 있다.FIG. 7A is a diagram illustrating a handle image 710a before the manipulation in which the handle image is displayed by switching to the continuous tap manipulation mode but has not yet moved one of them. In this case, the length of the handle image may be represented by d ₁ and the angle of the handle image by θ ₁ .

도 7b는 핸들 이미지의 두 점 중 하나를 드래그하여 두 지점 간의 각도 및 거리가 변경된 조작 이후의 핸들 이미지(710b)를 나타낸 도면이다. 도 7a 및 도 7b를 참조하면, 조작 이전의 핸들 이미지(710a) 각도가 θ₁, 조작 이후의 핸들 이미지(710b) 각도가 θ₂이고, 조작 이전의 핸들 이미지(710a) 길이가 d₁, 조작 이후의 핸들 이미지(710b) 길이가 d₂ 일 수 있다. 이때, 초기 회전 각도가 θ₀인 핸들 이미지의 회전 각도 θ 는 수학식 1과 같이 나타낼 수 있다.FIG. 7B is a view showing a handle image 710b after an operation in which an angle and a distance between two points are changed by dragging one of two points of the handle image. 7A and 7B, the angle of the handle image 710a before the manipulation is θ ₁ , the angle of the handle image 710b after the manipulation is θ ₂ , and the length of the handle image 710a before the manipulation is d ₁ , the manipulation. The subsequent handle image 710b may be d _{2 in} length. In this case, the rotation angle θ of the handle image having the initial rotation angle θ ₀ may be expressed by Equation 1.

또한, 조작 이전의 핸들 이미지(710a) 길이가 d1, 조작 이후의 핸들 이미지(710b) 길이가 d2 일 경우, 초기 확대 배율이 S₀ 인 핸들 이미지의 확대 배율 S 는 수학식 2와 같이 나타낼 수 있다.In addition, the handle image of the previous operation (710a) of length d1, when the handle subsequent image operation (710b) of length d2, the magnification S of the handle images, the initial magnification S ₀ can be represented as equation (2) .

도 8은 일 실시예에 따라 연속 탭 조작 모드에서 현재 탭에 연속되는 드래그 입력에 따라 스크롤을 실행하는 방법을 설명하기 위한 도면이다.또 다른 실시예에 따르면, 터치 사용자 인터페이스 장치는, 이전 탭(810) 및 현재 탭(820)에 대응하여 원형 핸들 이미지(830)를 표시할 수 있다. 이때, 드래그 입력을 이용하여 현재 탭(820)의 위치를 이전 탭(810)을 중심으로 회전시킨 위치로 이동(840)시키는 경우, 회전각에 따라 터치 스크린의 표시 영상을 스크롤시킬 수 있다.8 is a diagram for describing a method of executing scrolling according to a drag input consecutive to a current tab in a continuous tap operation mode according to an embodiment. According to another embodiment, a touch user interface device may include a previous tab ( The circular handle image 830 may be displayed in correspondence with the 810 and the current tab 820. In this case, when the position of the current tab 820 is moved 840 to a position rotated about the previous tab 810 by using a drag input, the display image of the touch screen may be scrolled according to the rotation angle.

예를 들면, 연속 탭 조작 모드에서 이전 탭(810) 지점을 원의 중심으로 하고 이전 탭(810)과 현재 탭(820) 지점까지의 거리를 반지름으로 하는 원형 핸들 이미지(830)를 표시할 수 있다. 원형 핸들 이미지(830) 위에서 현재 탭(820)의 위치를 현재 탭에 연속되는 드래그 입력을 이용하여 회전시킨 위치로 이동(840)하면 스크롤 조작으로 사용할 수 있다. 이 때, 처음 스크롤 지점이 P₀, 각도 변화에 따른 스크롤 변화량이 Pinterval 일 때, 각도의 변화에 따른 스크롤 지점 P 는 수학시 3과 같이 나타낼 수 있다.For example, in continuous tap operation mode, a circular handle image 830 can be displayed with the previous tap 810 point as the center of the circle and the radius of the distance between the previous tap 810 and the current tap 820 point. have. Moving the position of the current tab 820 on the circular handle image 830 to the rotated position using a drag input continuous to the current tab 840 may be used as a scrolling operation. At this time, when the initial scroll point is P ₀ and the scroll change amount according to the angle change is Pinterval, the scroll point P according to the change of the angle may be represented as shown in Equation 3 below.

여기에서, 스크롤 변화량 Pinterval 은 사용자가 설정할 수 있다. 이와 같이, 현재 탭에 연속되는 드래그 입력을 이용하여 스크롤을 실행할 수 있다.Here, the scroll change amount Pinterval can be set by the user. As such, scrolling may be performed using a drag input continuous to the current tab.

도 9은 일 실시예에 따라 연속 탭 조작 모드에서 현재 탭에 연속되는 드래그 입력에 따라 문자열 선택 및 조작을 실행하는 방법을 설명하기 위한 도면이다. FIG. 9 is a diagram for describing a method of executing a string selection and an operation according to a drag input consecutive to a current tab in a continuous tap operation mode according to an exemplary embodiment.

연속 탭 조작 모드에서 연속 탭 명령 중 또 다른 실시예에 따르면, 이전 탭(910) 및 현재 탭(920)에 대응하여 문자열을 선택(930)할 수 있다. 이전 탭(910)을 시작점으로 하여 현재 탭(920)까지의 문자열을 선택(930)할 수 있다. 이후, 문자열이 선택되면 선택된 문자열을 을 이용하여 잘라내기, 복사, 글꼴 변형 등의 동작(910)을 수행할 수 있다. 따라서, 현재 탭에 연속되는 드래그 입력을 이용하여 문자열 선택 및 조작을 실행할 수 있다.According to another embodiment of the continuous tap command in the continuous tap operation mode, the character string may be selected 930 corresponding to the previous tap 910 and the current tap 920. A string up to the current tab 920 may be selected 930 using the previous tab 910 as a starting point. Subsequently, when a string is selected, an operation 910 of cutting, copying, and modifying a font may be performed using the selected string. Therefore, it is possible to execute string selection and manipulation using drag input continuous to the current tab.

도 10은 일 실시예에 따라 연속 탭 조작 모드에서 현재 탭에 연속되는 드래그 입력에 따라 파이 형태의 메뉴의 호출 및 실행하는 방법을 설명하기 위한 도면이다.FIG. 10 is a diagram for describing a method of calling and executing a pie-type menu according to a drag input consecutive to a current tab in a continuous tap operation mode, according to an exemplary embodiment.

또 다른 실시예에 따르면, 연속 탭 조작 모드에서, 이전 탭(1010) 및 현재 탭(1020)에 대응하여 파이 형태의 메뉴(1030)를 표시할 수 있다. 드래그 입력을 이용하여 현재 탭(1020)의 위치를 이전 탭(1010)을 중심으로 회전시킨 위치로 이동시키는 경우, 회전각에 따라 메뉴의 항목을 선택할 수 있다. 예를 들면, 파이 형태의 메뉴(1030)는 Home, Forward, Back, Reload 등을 포함할 수 있다. 현재 탭(1020)의 위치를 파이 형태의 메뉴(1030)들 중 하나의 위치로 이동한 후 터치를 뗌으로써 메뉴를 선택할 수 있다. 또한 현재 탭(1020)의 위치를 이전 탭(1010)의 위치로 끌어 놓음으로써 파이 형태의 메뉴(1030)의 취소가 가능할 수 있다. 따라서, 현재 탭에 연속되는 드래그 입력을 이용하여 파이 형태의 메뉴의 호출 및 실행할 수 있다.According to another embodiment, in the continuous tap operation mode, a pie-shaped menu 1030 may be displayed corresponding to the previous tab 1010 and the current tab 1020. When the position of the current tab 1020 is moved to a position rotated about the previous tab 1010 using a drag input, an item of a menu may be selected according to the rotation angle. For example, the pie type menu 1030 may include Home, Forward, Back, Reload, and the like. The menu may be selected by moving the position of the current tab 1020 to one of the pie-shaped menus 1030 and then releasing a touch. In addition, it may be possible to cancel the pie 1010 by dragging the position of the current tab 1020 to the position of the previous tab 1010. Thus, a pie-type menu can be called and executed by using drag input continuous to the current tab.

도 11은 일 실시예에 따라 프로젝션 입력 장치(1110)에서 연속 탭 입력을 이용하는 경우를 설명하기 위한 도면이다.FIG. 11 is a diagram for describing a case of using a continuous tap input in the projection input apparatus 1110 according to an embodiment.

이상에서는 터치 사용자 인터페이스 장치로 터치스크린이 장착된 장치를 이용하는 경우로 설명하였으나, 터치 사용자 인터페이스 장치는 이에 한정되지 않으며, 다양한 터치를 이용한 사용자 인터페이스 장치를 포함한다. 예를 들어, 도 11에 도시된 바와 같은 형태의 프로젝션 입력 장치(1110)에서도 연속 탭을 이용할 수 있다.In the above description, the touch user interface device is used as a device equipped with a touch screen. However, the touch user interface device is not limited thereto, and includes a user interface device using various touches. For example, the continuous tap may also be used in the projection input device 1110 of the type shown in FIG. 11.

도 11에서, 프로젝션 입력 장치(1110)는 디스플레이 장치(1120)와 연결된다. 프로젝션 입력 장치(1110)는 디스플레이 장치(1120)에 표시되는 영상과 동일한 영상을 프로젝션을 이용하여 프로젝션된 영상(projected image)(1130)으로 표시할 수 있다. 또한, 프로젝션 입력 장치(1110)는 카메라(도시되지 않음) 등을 이용하여 프로젝션된 영상(projected image)(1130) 위에 사용자가 손으로 입력하는 동작을 인식할 수 있다. 이때, 사용자는 프로젝션된 영상(projected image)(1130) 위에 연속 탭을 입력할 수 있다. 이 경우, 앞에서 설명한 여러 실시예들과 동일한 형태의 인터페이스를 수행할 수 있다.In FIG. 11, the projection input device 1110 is connected to the display device 1120. The projection input device 1110 may display the same image as the image displayed on the display device 1120 as a projected image 1130 using projection. In addition, the projection input apparatus 1110 may recognize an operation of a user inputting a hand on the projected image 1130 using a camera (not shown). In this case, the user may input a continuous tap on the projected image 1130. In this case, the same type of interface as the above-described various embodiments may be performed.

예를 들어, 사용자가 프로젝션된 영상(projected image)(1130) 위에 첫 번째 탭(1131)을 입력한 후, 미리 설정된 시간 임계값 이내에 첫 번째 탭(1131)으로부터 미리 설정된 거리 임계값 이내의 거리에 두 번째 탭(1132)을 입력할 수 있다. 그러면, 프로젝션 입력 장치(1110)는, 상기 입력을 연속 탭으로 판단하고, 연속 탭 조작 모드로 동작한다. 그러면, 도 5 내지 도 10에서 설명된 것과 같은 인터페이스 동작을 수행할 수 있다.For example, after the user enters the first tap 1131 over the projected image 1130, and within a preset time threshold, at a distance within the preset distance threshold from the first tap 1131. A second tab 1132 can be entered. Then, the projection input device 1110 determines the input as a continuous tap and operates in the continuous tap operation mode. Then, an interface operation as described in FIGS. 5 to 10 may be performed.

또 다른 실시예에 따르면, 프로젝션 입력 장치(1110)는 프로젝션 키패드일 수 있다. 이 경우, 프로젝션된 영상(projected image)(1130)은 키패드이다. 키패드 상에서는 드래그 동작은 의미 없는 동작이므로, 프로젝션된 키패드 위에 첫 번째 탭(1131)을 입력한 후, 미리 설정된 시간 임계값 이내에 첫 번째 탭(1131)으로부터 미리 설정된 거리 임계값 이내의 거리에 두 번째 탭(1132)을 입력하고, 두 번째 탭(1132)에 이어서 드래그 동작이 입력되면, 프로젝션 입력 장치(1110)는, 상기 입력을 연속 탭으로 판단하고, 연속 탭 조작 모드로 동작할 수 있다. 드래그 입력이 개입되지 않는 단순한 두 개의 연속한 탭 입력은 통상적인 키보드 입력이므로, 이 경우는 프로젝션 입력 장치(1110)가 키보드 입력 동작을 수행할 수 있다.According to another embodiment, the projection input device 1110 may be a projection keypad. In this case, the projected image 1130 is a keypad. Since the drag operation on the keypad is meaningless, after entering the first tap 1131 on the projected keypad, the second tap at a distance within the preset distance threshold from the first tap 1131 within the preset time threshold. When inputting 1132 and a drag operation is input following the second tap 1132, the projection input device 1110 may determine the input as a continuous tap and operate in the continuous tap operation mode. Since two simple tap inputs without a drag input are typical keyboard inputs, in this case, the projection input device 1110 may perform a keyboard input operation.

이상 설명된 터치 사용자 인터페이스 장치는 설명의 목적으로 제시된 것으로, 본 발명의 터치 사용자 인터페이스 장치는 이에 한정되지 않으며 사용자의 터치 동작을 이용하여 입력을 수행하는 모든 장치를 포함한다.The above-described touch user interface device is provided for the purpose of description, and the touch user interface device of the present invention is not limited thereto and includes all devices that perform input by using a user's touch operation.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to the execution of the software. For convenience of explanation, one processing device may be described as being used, but one of ordinary skill in the art will appreciate that the processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process independently or collectively. You can command the device. Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted. The software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner. Software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and the drawings as described above, various modifications and variations are possible to those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components Or even if replaced or substituted by equivalents, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are within the scope of the claims that follow.

Claims

Receiving a first tap;
Receiving a second tap; And
Performing a successive tap operation mode that provides a user interface connecting the touch points of the first and second tabs based on the touch time interval and distance between the first and second tabs; step
Including,
Before the second tap begins, the first tab ends,
The user interface is an interface for performing an operation according to the continuous touch input after the second tap, and is displayed to receive the continuous touch input after the second tap.
And the first tab and the second tab are inputs for touching different positions by one finger of the user within a predetermined touch time interval.

The method of claim 1,
The touch input after the second tab is a continuous drag input to the second tab.

The method of claim 1,
The step of performing,
Calculating a touch time interval between the first tap and the second tap;
Calculating a distance between the first tap and the second tap; And
Changing to the continuous tap operation mode when the touch time interval is less than a time threshold and the distance is greater than a distance threshold
User interface method comprising a.

The method of claim 2,
Displaying a handle image on the user interface; And
Rotating or scrolling a display image when the position of the second tab is rotated using the drag input about the first tab
User interface method further comprising.

The method of claim 4, wherein
Enlarging the display image when the position of the second tab is moved using the drag input in a direction away from the first tab
User interface method further comprising.

The method of claim 5,
Reducing the display image when the position of the second tab is moved using the drag input in a direction in which the first tab is located
User interface method further comprising.

The method of claim 2,
Displaying a pie-shaped menu on the user interface; And
Selecting an item of the menu according to a rotation angle when the position of the second tab is rotated by using the drag input about the first tab
User interface method further comprising.

In the user interface device using a touch,
An input unit configured to receive a first tap and a second tap; And
Performing a successive tap operation mode that provides a user interface connecting the touch points of the first and second tabs based on the touch time interval and distance between the first and second tabs; Execution Department
Including,
Before the second tap begins, the first tab ends,
The user interface is an interface for performing an operation according to a continuous touch input after the second tap, and is displayed to receive the continuous touch input after the second tap,
The first tab and the second tab is an input for touching a plurality of different locations by one finger of the user within a predetermined touch time interval.

The method of claim 8,
And the touch input after the second tab is a continuous drag input to the second tab.

The method of claim 8,
An analyzer configured to calculate a touch time interval between the first tap and the second tap, and calculate a distance between the first tap and the second tap
More,
The performing unit,
And change to the continuous tap manipulation mode when the touch time interval is less than a time threshold and the distance is greater than a distance threshold.

The method of claim 9,
The performing unit,
And displaying a handle image on the user interface, and rotating or scrolling a display image when the position of the second tab is rotated around the first tab using the drag input.

The method of claim 11,
The performing unit,
And enlarge the display image when the position of the second tab is moved using the drag input in a direction away from the first tab.

The method of claim 12,
The performing unit,
And reduce the display image when the position of the second tab is moved using the drag input in the direction in which the first tab is located.

The method of claim 9,
The performing unit,
A user interface for displaying a pie-shaped menu on the user interface and selecting an item of the menu according to a rotation angle when rotating the position of the second tab with the drag input around the first tab. Device.

The method of claim 8,
The input unit,
And at least one of a touch screen, a projection input device, a projection keypad, and a holographic user interface device.