[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20150110257A - Method and wearable device for providing a virtual input interface - Google Patents

Method and wearable device for providing a virtual input interface Download PDF

Info

Publication number
KR20150110257A
KR20150110257A KR1020140098653A KR20140098653A KR20150110257A KR 20150110257 A KR20150110257 A KR 20150110257A KR 1020140098653 A KR1020140098653 A KR 1020140098653A KR 20140098653 A KR20140098653 A KR 20140098653A KR 20150110257 A KR20150110257 A KR 20150110257A
Authority
KR
South Korea
Prior art keywords
wearable device
input
input interface
virtual
depth value
Prior art date
Application number
KR1020140098653A
Other languages
Korean (ko)
Inventor
윤인국
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140179354A priority Critical patent/KR102360176B1/en
Priority to PCT/KR2015/002554 priority patent/WO2015142023A1/en
Priority to EP23173471.6A priority patent/EP4239456A1/en
Priority to CN201580001071.6A priority patent/CN105339870B/en
Priority to EP15733329.5A priority patent/EP2946266B1/en
Priority to CN201910757959.2A priority patent/CN110488974B/en
Priority to US14/665,678 priority patent/US9829986B2/en
Publication of KR20150110257A publication Critical patent/KR20150110257A/en
Priority to US15/782,505 priority patent/US10168792B2/en
Priority to US16/237,055 priority patent/US10534442B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Disclosed in the present invention is a wearable device, comprising: an image sensor for recognizing a motion which sets an input region in the air or over an object; a control unit for setting the input region based on the recognized motion and for determining, based on attributes of the set input region, a virtual input interface to be displayed on a display unit and for displaying the determined virtual input interface on the display unit such that the determined virtual input interface will be displayed to be overlapped in the set input region determined by a user of a wearable device; and a depth sensor for obtaining a first depth value from the wearable device to the input region and a second depth value from the wearable device to an input tool which touches the virtual input interface wherein the control unit, according to results of comparing the first and the second depth value, determines whether to initiate an occurrence of an input through the virtual input interface.

Description

웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스 {METHOD AND WEARABLE DEVICE FOR PROVIDING A VIRTUAL INPUT INTERFACE}FIELD OF THE INVENTION [0001] The present invention relates to a method for providing a virtual input interface in a wearable device, and a wearable device for the same.

본 발명의 다양한 실시예는 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스에 관한 것이다.Various embodiments of the present invention are directed to a method of providing a virtual input interface in a wearable device and a wearable device therefor.

우리가 살아가는 현실 공간은 3차원 좌표로 구성된다. 사람은 양쪽 눈으로 보이는 시각정보를 결합하여 입체감 있는 3차원 공간을 인식한다. 하지만, 일반적인 디지털 기기로 촬영한 사진이나 동영상은 3차원 좌표로 2차원 좌표로 표현하는 기술이어서, 공간에 대한 정보는 포함하지 않는다. 이러한 공간감을 표현하기 위해 2대의 카메라를 함께 사용하여 입체감 있는 영상들을 촬영하고 보여주는 3D 카메라 또는 디스플레이 제품들이 등장하고 있다. The real space in which we live consists of three dimensional coordinates. A person recognizes a three-dimensional space with a three-dimensional feeling by combining visual information seen by both eyes. However, a photograph or a moving picture photographed with a general digital device is a technique of expressing in two-dimensional coordinates in three-dimensional coordinates, and thus does not include information on a space. In order to express such a sense of space, a 3D camera or a display product which displays two-dimensional images by using two cameras together is appearing.

한편, 현재의 스마트 글래스의 입력 방식은 제한적이다. 사용자는 기본적으로 음성 명령어를 이용하여 스마트 글래스를 제어한다. 하지만, 사용자가 텍스트 입력이 필요한 상황에서 음성 명령어만으로 스마트 글래스를 제어하기는 어렵다. 따라서, 다양한 입력 인터랙션 방식을 제공하는 웨어러블 시스템이 필요하다. On the other hand, the current smart glass input method is limited. The user basically controls the smart glass using voice commands. However, it is difficult to control smart glass by voice commands only when the user needs to input text. Therefore, a wearable system that provides various input interaction methods is needed.

본 발명의 다양한 실시예들은, 사용자 모션에 기초하여, 허공 또는 실제 객체 위에 입력 영역을 설정하고, 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스를 제공할 수 있다.Various embodiments of the present invention can provide a method for setting an input area on a space or an actual object based on user motion, providing a virtual input interface to a set input area, and a wearable device therefor.

본 발명의 일 실시예에 따른 웨어러블 디바이스는, 허공 또는 실제 객체 위에 입력 영역을 설정하는 모션을 인식하는 이미지 센서, 상기 인식된 모션에 기초하여, 상기 입력 영역을 설정하고, 상기 설정된 입력 영역의 속성에 기초하여, 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하며, 상기 결정된 가상의 입력 인터페이스가 웨어러블 디바이스의 사용자에 의해 상기 설정된 입력 영역 상에 오버랩(overlap)되어 보여지도록 상기 결정된 가상의 입력 인터페이스를 상기 디스플레이부에 표시하는 제어부 및 상기 웨어러블 디바이스로부터 상기 입력 영역까지의 제1 깊이 값과, 상기 웨어러블 디바이스로부터 상기 가상의 입력 인터페이스를 터치하는 입력 도구까지의 제2 깊이 값을 획득하는 깊이 센서를 포함하고, 상기 제어부는, 상기 제1 깊이 값과 상기 제2 깊이 값을 비교한 결과에 따라, 상기 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다.A wearable device according to an embodiment of the present invention includes an image sensor that recognizes a motion for setting an input region on a space or an actual object, a search unit for setting the input region on the basis of the recognized motion, Determines a virtual input interface to be displayed on the display unit and determines the virtual input interface so that the determined virtual input interface is overlapped on the set input area by a user of the wearable device, And a depth sensor that acquires a first depth value from the wearable device to the input area and a second depth value from the wearable device to an input tool that touches the virtual input interface , And the control unit And wherein depending on the result of comparing the two depth values, one can determine whether or not input through the input interface of the virtual generated.

본 발명의 일 실시예에 따른 이미지 센서는, 상기 허공 또는 실제 객체 위에 상기 입력 도구를 이용하여, 도형을 그리는 모션을 인식하고, 상기 제어부는, 상기 도형에 대응하는 영역을 상기 입력 영역으로 설정할 수 있다.The image sensor according to an embodiment of the present invention recognizes a motion in which the graphic object is drawn using the input tool on the air or real object and the control unit sets the region corresponding to the graphic object as the input area have.

본 발명의 일 실시예에 따른 제어부는, 상기 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정할 수 있다.The controller according to an embodiment of the present invention may determine a virtual input interface to be displayed on the display unit based on the size of the first depth value of the set input area.

본 발명의 일 실시예에 따른 제어부는, 상기 설정된 입력 영역의 크기에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정할 수 있다.The controller according to an embodiment of the present invention can determine a virtual input interface to be displayed on the display unit based on the size of the set input area.

본 발명의 일 실시예에 따른 제어부는, 상기 입력 영역이 상기 실제 객체 위에 설정된 경우, 상기 입력 영역이 설정된 실제 객체의 종류에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정할 수 있다.The controller may determine a virtual input interface to be displayed on the display unit based on the type of the real object to which the input area is set when the input area is set on the actual object.

본 발명의 일 실시예에 따른 제어부는, 상기 웨어러블 디바이스에서 실행 중인 어플리케이션의 종류에 따라 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정할 수 있다.The controller according to an embodiment of the present invention can determine a virtual input interface to be displayed on the display unit according to the type of application running in the wearable device.

본 발명의 일 실시예에 따른 제어부는, 투명 디스플레이를 투과하여 관측되는 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩되도록 상기 투명 디스플레이에 상기 가상의 입력 인터페이스를 표시할 수 있다.The controller according to an embodiment of the present invention may display the virtual input interface on the transparent display so that the virtual input interface overlaps the input area observed through the transparent display.

본 발명의 일 실시예에 따른 이미지 센서는, 상기 입력 영역을 포함하는 제1 이미지를 촬영하고, 상기 제어부는, 상기 제1 이미지에 포함된 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩된 제2 이미지를 생성하고, 상기 제2 이미지를 상기 디스플레이부에 표시할 수 있다.The image sensor according to an embodiment of the present invention photographs a first image including the input area, and the control unit controls the second input unit so that the virtual input interface overlaps the input area included in the first image, An image can be generated, and the second image can be displayed on the display unit.

본 발명의 일 실시예에 따른 제어부는, 상기 제1 깊이 값과 상기 제2 깊이 값의 차이가 임계값 미만인 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다.The control unit may determine that an input through the virtual input interface occurs when the difference between the first depth value and the second depth value is less than a threshold value.

본 발명의 일 실시예에 따른 제어부는, 상기 제1 깊이 값보다 상기 제2 깊이 값이 큰 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다.The control unit may determine that an input through the virtual input interface occurs when the second depth value is greater than the first depth value.

본 발명의 일 실시예에 따른 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법은, 허공 또는 실제 객체 위에 입력 영역을 설정하는 단계, 상기 설정된 입력 영역의 속성에 기초하여, 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하는 단계, 상기 결정된 가상의 입력 인터페이스가 상기 설정된 입력 영역에 오버랩(overlap)되어 보여지도록 상기 결정된 가상의 입력 인터페이스를 상기 디스플레이부에 표시하는 단계, 상기 웨어러블 디바이스로부터 상기 입력 영역까지의 제1 깊이 값과 상기 웨어러블 디바이스로부터 상기 가상의 입력 인터페이스를 터치하는 입력 도구까지의 제2 깊이 값을 획득하는 단계 및 상기 제1 깊이 값과 상기 제2 깊이 값을 비교한 결과에 따라, 상기 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 단계를 포함할 수 있다.A method of providing a virtual input interface in a wearable device according to an embodiment of the present invention includes the steps of setting an input area on a blank or actual object, The method of claim 1, further comprising: determining an input interface; displaying the determined virtual input interface on the display unit so that the determined virtual input interface overlaps with the set input area; Obtaining a first depth value and a second depth value from the wearable device to an input tool that touches the virtual input interface; and comparing the first depth value with the second depth value, To determine whether an input is generated via the input interface of It can include.

본 발명의 일 실시예에 따른 입력 영역을 설정하는 단계는, 기 허공 또는 실제 객체 위에 상기 입력 도구를 이용하여, 도형을 그리는 모션을 인식하는 단계 및 기 도형에 대응하는 영역을 상기 입력 영역으로 설정하는 단계를 포함한다.The step of setting an input area according to an embodiment of the present invention includes the steps of recognizing a motion on a graphic image or a real object using the input tool to draw a graphic object and setting an area corresponding to the graphic object as the input area .

본 발명의 일 실시예에 따른 상의 입력 인터페이스를 결정하는 단계는, 기 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 가상의 입력 인터페이스를 결정하는 단계일 수 있다.The step of determining the phase input interface according to an embodiment of the present invention may be a step of determining a virtual input interface based on a magnitude of a first depth value of a predetermined input region.

본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 결정하는 단계는, 기 설정된 입력 영역의 크기에 기초하여, 가상의 입력 인터페이스를 결정하는 단계일 수 있다.The step of determining a virtual input interface according to an embodiment of the present invention may be a step of determining a virtual input interface based on a size of a predetermined input area.

본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 결정하는 단계는, 입력 영역이 상기 실제 객체 위에 설정된 경우, 상기 입력 영역이 설정된 실제 객체의 종류에 기초하여, 가상의 입력 인터페이스를 결정하는 단계일 수 있다.The step of determining a virtual input interface according to an embodiment of the present invention includes determining a virtual input interface based on a type of an actual object to which the input area is set when the input area is set on the actual object .

본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 결정하는 단계는, 상기 웨어러블 디바이스에서 실행 중인 어플리케이션의 종류에 따라 상기 가상의 입력 인터페이스를 결정하는 단계를 포함할 수 있다.The step of determining a virtual input interface according to an exemplary embodiment of the present invention may include the step of determining the virtual input interface according to the type of application running in the wearable device.

본 발명의 일 실시예에 따른 결정된 가상의 입력 인터페이스를 표시하는 단계는, 투명 디스플레이를 투과하여 관측되는 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩되도록 상기 투명 디스플레이에 상기 가상의 입력 인터페이스를 표시하는 단계일 수 있다.The step of displaying the determined virtual input interface according to an embodiment of the present invention includes displaying the virtual input interface on the transparent display such that the virtual input interface overlaps the input area observed through the transparent display Step.

본 발명의 일 실시예에 따른 결정된 가상의 입력 인터페이스를 표시하는 단계는, 이미지 센서를 이용하여, 상기 입력 영역을 포함하는 제1 이미지를 촬영하는 단계, 상기 제1 이미지에 포함된 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩된 제2 이미지를 생성하는 제2 이미지를 생성하는 단계 및 상기 제2 이미지를 표시하는 단계를 포함할 수 있다.The step of displaying the determined virtual input interface according to an embodiment of the present invention includes the steps of photographing a first image including the input area using an image sensor, Generating a second image in which the virtual input interface generates an overlapped second image, and displaying the second image.

본 발명의 일 실시예에 따른 입력 발생 여부를 결정하는 단계는, 상기 제1 깊이 값과 상기 제2 깊이 값의 차이가 임계값 미만인 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정하는 단계일 수 있다.The step of determining whether to generate an input according to an embodiment of the present invention includes determining whether an input through the virtual input interface occurs when a difference between the first depth value and the second depth value is less than a threshold value Lt; / RTI >

본 발명의 일 실시예에 따른 입력 발생 여부를 결정하는 단계는, 상기 제1 깊이 값보다 상기 제2 깊이 값이 큰 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정하는 단계일 수 있다.The step of determining whether to generate an input according to an exemplary embodiment of the present invention may include determining that input through the virtual input interface occurs when the second depth value is greater than the first depth value.

도 1은 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른, 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 입력 영역을 설정하는 방법을 나타내는 도면들이다.
도 6은 본 발명의 일 실시예에 따른 설정된 입력 영역의 깊이 값에 따라 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.
도 7 내지 도 9는 설정된 입력 영역의 깊이 값에 따라 표시되는 가상의 입력 인터페이스의 종류 및 크기가 변경되는 일례를 설명하기 위한 도면들이다.
도 10은 본 발명의 일 실시예에 따른 입력 영역이 설정된 실제 객체의 깊이 값이 변경됨에 따라, 가상의 입력 인터페이스의 종류가 적응적으로 변경되는 일례를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 설정된 입력 영역의 크기 또는 입력 영역 설정 모션에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 12 및 도 13은 설정된 입력 영역의 크기에 따라 표시되는 가상의 입력 인터페이스의 종류가 변경되는 일례를 설명하기 위한 도면들이다.
도 14 및 도 15는 입력 영역을 설정하는 모션에 따라 표시되는 가상의 입력 인터페이스의 종류가 변경되는 일례를 설명하기 위한 도면들이다.
도 16은 본 발명의 일 실시예에 따른 입력 영역이 설정된 객체에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다.
도 17A 내지 도 17C는 본 발명의 일 실시예에 따른 웨어러블 디바이스가 입력 영역이 설정되는 실제 객체의 종류에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면들이다.
도 18은 본 발명의 일 실시예에 따른 입력 영역을 설정하는 입력 도구에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다.
도 19는 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 실행되고 있는 어플리케이션에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.
도 20은 본 발명의 일 실시예에 따른 실행되는 어플리케이션의 종류에 기초하여, 결정된 가상의 입력 인터페이스가 제공되는 일례를 나타내는 도면이다.
도 21은 본 발명의 일 실시예에 따른 실행되는 컨텐츠의 종류에 기초하여, 결정된 가상의 입력 인터페이스를 설명하기 위한 도면이다.
도 22 및 도 23은 본 발명의 일 실시예에 따른 웨어러블 디바이스가 이전에 가상의 입력 인터페이스가 제공되었던 실제 객체를 인식하는 경우, 이전에 제공되었던 가상의 입력 인터페이스와 동일한 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면들이다.
도 24는 본 발명의 일 실시예에 따른 허공에 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.
도 25는 입력영역이 허공에 설정된 경우, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 방법을 설명하기 위해 참조되는 도면이다.
도 26은 본 발명의 일 실시예에 따른 허공 또는 실제 객체에 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.
도 27은 입력 영역이 실제 객체에 설정된 경우, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 방법을 설명하기 위해 참조되는 도면이다.
도 28은 본 발명의 일 실시예에 따른 입력 영역에 대한 제1 깊이 값과 입력 도구에 대한 제2 깊이 값을 획득하는 방법을 설명하기 위해 참조되는 도면이다.
도 29는 본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 통한 입력 발생 여부에 대한 피드백을 제공하는 방법을 나타내는 흐름도이다.
도 30 및 31은 본 발명의 일 실시예에 따른 웨어러블 디바이스의 입력 발생 여부에 대응하는 알림 신호를 출력하는 일례를 나타내는 도면들이다.
도 32는 본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 통한 입력 발생 여부에 대응하는 알림 신호를 출력하는 일례를 나타내는 도면이다.
도 33 및 도 34는 본 발명의 일 실시예에 따르는 웨어러블 디바이스의 구성을 설명하기 위한 블록 구성도이다. 1 is a diagram for explaining a system for providing a virtual input interface in a wearable device according to an embodiment of the present invention.
2 is a flow diagram illustrating a method for providing a virtual input interface in a wearable device, in accordance with an embodiment of the present invention.
3 to 5 are diagrams illustrating a method of setting an input region according to an embodiment of the present invention.
6 is a flowchart illustrating a method for providing a virtual input interface according to a depth value of a set input area according to an exemplary embodiment of the present invention.
FIGS. 7 to 9 are views for explaining an example in which the type and size of a virtual input interface displayed according to the depth value of the set input region are changed.
10 is a diagram for explaining an example in which a type of a virtual input interface is adaptively changed as a depth value of an actual object in which an input area is set according to an embodiment of the present invention.
11 is a flowchart illustrating a method of providing a virtual input interface determined based on a size of an input region or an input region setting motion according to an embodiment of the present invention.
12 and 13 are diagrams for explaining an example in which the type of the virtual input interface displayed according to the size of the set input area is changed.
FIGS. 14 and 15 are diagrams for explaining an example in which the type of a virtual input interface displayed in accordance with a motion for setting an input region is changed.
16 is a diagram illustrating an example of providing a virtual input interface determined based on an object having an input area set according to an embodiment of the present invention.
17A to 17C are diagrams illustrating an example of providing a virtual input interface determined based on a type of a real object to which a wearable device is set according to an embodiment of the present invention.
18 is a diagram illustrating an example of providing a determined virtual input interface based on an input tool for setting an input area according to an embodiment of the present invention.
19 is a flowchart showing a method of providing a determined virtual input interface based on an application being executed in a wearable device according to an embodiment of the present invention.
20 is a diagram showing an example in which a determined virtual input interface is provided based on a type of an executed application according to an embodiment of the present invention.
21 is a diagram for explaining a virtual input interface determined based on the type of contents to be executed according to an embodiment of the present invention.
22 and 23 are diagrams for explaining a case where a wearable device according to an embodiment of the present invention provides the same virtual input interface as a previously provided virtual input interface when recognizing a real object to which a virtual input interface was previously provided FIG.
FIG. 24 is a flowchart illustrating a method of providing a virtual input interface to an input region set in a sky according to an embodiment of the present invention.
25 is a diagram referred to explain a method for determining whether an input is generated through a virtual input interface when an input area is set to air.
FIG. 26 is a flowchart illustrating a method of providing a virtual input interface to an input region set in a light or real object according to an exemplary embodiment of the present invention.
27 is a diagram for explaining a method for determining whether an input is generated through a virtual input interface when an input area is set to an actual object.
28 is a diagram for explaining a method of acquiring a first depth value for an input area and a second depth value for an input tool according to an embodiment of the present invention.
29 is a flowchart illustrating a method for providing feedback on whether an input is generated through a virtual input interface according to an exemplary embodiment of the present invention.
30 and 31 are diagrams illustrating an example of outputting a notification signal corresponding to whether an input of a wearable device is generated according to an embodiment of the present invention.
32 is a diagram illustrating an example of outputting a notification signal corresponding to whether an input is generated through a virtual input interface according to an embodiment of the present invention.
33 and 34 are block diagrams for explaining a configuration of a wearable device according to an embodiment of the present invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.The terms used in this specification will be briefly described and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When an element is referred to as "including" an element throughout the specification, it is to be understood that the element may include other elements as well, without departing from the spirit or scope of the present invention. Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

<도 1>&Lt; 1 >

도 1은 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining a system for providing a virtual input interface in a wearable device according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 머리 부분에 장착 가능한 헤드 마운트 디스플레이(HMD: Head mounted display, 이하 ‘HMD’라 함)를 포함할 수 있다. 예를 들어, 헤드 마운트 디스플레이(HMD)는 안경, 헬멧, 모자 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 발명의 일 실시예에 따르는 웨어러블 디바이스(100)는, 시계, 밴드, 반지, 목걸이, 팔찌, 신발, 귀걸이, 헤어밴드, 옷, 장갑, 골무 등을 포함할 수도 있다.The wearable device 100 according to an embodiment of the present invention may include a head mounted display (HMD) that can be mounted on the head. For example, the head-mounted display (HMD) may include, but is not limited to, glasses, helmets, hats, and the like. The wearable device 100 according to an embodiment of the present invention may include a watch, a band, a ring, a necklace, a bracelet, a shoe, an earring, a hair band, clothes, gloves and thimble.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 하나의 기기일 수도 있고, 복수 개의 기기가 결합된 형태일 수도 있다. 예를 들어, 본 명세서에서 웨어러블 디바이스(100)는, 안경 하나로 구현될 수도 있고, 안경과 반지, 안경과 시계, 안경과 골무 등과 같이 두 개 이상의 기기가 조합된 형태로 구현될 수도 있다. The wearable device 100 according to an embodiment of the present invention may be a single device or a combination of a plurality of devices. For example, in this specification, the wearable device 100 may be embodied as one piece of spectacles, or a combination of two or more pieces of equipment such as glasses and rings, glasses and watches, glasses and thimble.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 적어도 하나의 가상의 입력 인터페이스를 제공하는 기기일 수 있다. 예를 들어, 웨어러블 디바이스(100)는, 입력 영역을 설정하는 입력 도구의 모션을 인식하고, 설정된 입력 영역의 속성에 기초하여, 결정된 가상의 입력 인터페이스를 입력 영역에 제공할 수 있다. 이에 대해서는, 도 2를 참조하여 자세히 후술하기로 한다. The wearable device 100 according to an embodiment of the present invention may be a device that provides at least one virtual input interface. For example, the wearable device 100 can recognize the motion of the input tool for setting the input area, and provide the determined input interface to the input area based on the attribute of the set input area. This will be described later in detail with reference to FIG.

본 발명의 일 실시예에 따른 가상의 입력 인터페이스(50)는, 웨어러블 디바이스(100)를 이용하는 사용자의 입력을 수신하기 위한 GUI(Graphical User Interface)일 수 있다. 또한, 가상의 입력 인터페이스(50)는 다양한 형태로 구현될 수 있으며, 예를 들어, 가상의 입력 인터페이스(50)는, 키보드(쿼티(QWERTY) 자판 또는 휴대 단말용 자판), 메모장, 게임 컨트롤러, 계산기, 피아노 건반, 드럼, 다이얼 패널 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.The virtual input interface 50 according to an embodiment of the present invention may be a graphical user interface (GUI) for receiving a user's input using the wearable device 100. [ For example, the virtual input interface 50 may be a keyboard (a QWERTY keyboard or a portable terminal board), a notepad, a game controller, A calculator, a piano keyboard, a drum, a dial panel, and the like, but is not limited thereto.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 가상의 입력 인터페이스(50)를 사용자에 의해 설정된 입력 영역에 제공할 수 있다. 웨어러블 디바이스(100)는 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다.The wearable device 100 according to the embodiment of the present invention can provide the virtual input interface 50 to the input area set by the user. The wearable device 100 may display on the display unit 121 such that the virtual input interface overlaps the set input area.

이때, 웨어러블 디바이스(100)는 가상의 입력 인터페이스(50)를 증강현실(AR: Augmented Reality), 혼합현실(MR: Mixed Reality), 또는 가상현실(VR: Virtual Reality) 형태로 디스플레이부(121)에 표시할 수 있다.At this time, the wearable device 100 displays the virtual input interface 50 on the display unit 121 in the form of Augmented Reality (AR), Mixed Reality (MR), or Virtual Reality (VR) Can be displayed.

예를 들어, 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스(50)를 표시하는 경우, 웨어러블 디바이스(100)는, 투명 디스플레이를 투과하여 관측되는 입력 영역에 가상의 입력 인터페이스(50)가 오버랩되도록, 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.For example, when displaying a virtual input interface 50 in the form of an augmented reality or a mixed reality, the wearable device 100 may allow the virtual input interface 50 to overlap the input area observed through the transparent display, As such, it is possible to display a virtual input interface on a transparent display.

또는, 가상현실의 형태로 가상의 입력 인터페이스(50)를 표시하는 경우, 웨어러블 디바이스(100)는 입력 영역을 포함하는 제1 이미지를 촬영하고, 촬영된 제1 이미지의 입력 영역에 가상의 입력 인터페이스(50)를 추가하여 제 2 이미지를 생성할 수 있다. 웨어러블 디바이스(100)는 가상의 입력 인터페이스(50)가 입력 영역에 오버랩된 제2 이미지를 불투명 디스플레이에 표시할 수 있다.Alternatively, in the case of displaying the virtual input interface 50 in the form of a virtual reality, the wearable device 100 photographs the first image including the input area, and inputs a virtual input interface The second image 50 may be added to generate the second image. The wearable device 100 may display the second image that the virtual input interface 50 overlaps the input area on the opaque display.

본 발명의 일 실시예에 따른, 웨어러블 디바이스(100)는 이미지 센서(111) 및 깊이 센서(112)를 포함할 수 있다. The wearable device 100 may include an image sensor 111 and a depth sensor 112, in accordance with an embodiment of the present invention.

이미지 센서(111)는 외부의 이미지를 촬영하거나, 입력 영역을 설정하는 사용자 모션을 감지할 수 있다. 또한, 이미지 센서(111)는 입력 도구의 움직임을 감지할 수 있다. 이때, 입력 도구는 기 설정된 도구일 수 있으며, 예를 들어, 입력 도구는 펜, 손가락, 막대기 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. The image sensor 111 can sense an external image or a user motion for setting an input area. In addition, the image sensor 111 can sense the movement of the input tool. At this time, the input tool may be a predetermined tool, for example, the input tool may include, but is not limited to, a pen, a finger, a stick, and the like.

또한, 깊이 센서(112)는 사용자에 의해 설정된 입력 영역의 깊이 값 또는 입력 도구의 깊이 값 등을 측정할 수 있다. 깊이 값은 깊이 센서(112)로부터 특정 객체까지의 거리에 대응할 수 있다. 본 명세서에서 깊이 센서(112)로부터 특정 객체까지의 거리가 멀수록 깊이 값이 커질 수 있다.In addition, the depth sensor 112 can measure the depth value of the input area set by the user, the depth value of the input tool, and the like. The depth value may correspond to the distance from the depth sensor 112 to a particular object. In this specification, the greater the distance from the depth sensor 112 to a specific object, the greater the depth value.

예를 들어, 깊이 값은 깊이 센서(112)로부터 특정 객체까지의 Z축 상의 거리를 의미할 수 있다. 도 1에 도시된 바와 같이, 3차원 공간 상에서 X 축은 웨어러블 디바이스(100)를 좌우로 지나는 기준 축이고, Y축은 웨어러블 디바이스(100)를 상하로 지나는 기준 축이고, Z 축은 웨어러블 디바이스(100)를 전후로 지나는 기준 축일 수 있다. 또한, X축, Y 축 및 Z 축은 서로 수직을 이룰 수 있다.For example, the depth value may mean the distance on the Z axis from the depth sensor 112 to a particular object. 1, the X-axis is a reference axis passing the wearable device 100 to the left and right, the Y-axis is a reference axis passing the wearable device 100 up and down, and the Z-axis is a reference axis passing through the wearable device 100 Can be a reference axis. Further, the X axis, the Y axis, and the Z axis may be perpendicular to each other.

본 발명의 일 실시예에 의하면, 깊이 센서(112)는 다양한 방식으로 객체의 깊이 값을 획득할 수 있다. 예를 들어, 깊이 센서(112)는 TOF(Time of flight) 방식, 스테레오스코프 비전(stereoscopic vision) 방식, 구조화 광 패턴(structured light pattern) 방식 중 적어도 하나의 방식을 이용하여 깊이 값을 측정할 수 있다. According to one embodiment of the present invention, depth sensor 112 may obtain the depth value of an object in various ways. For example, the depth sensor 112 may measure the depth value using at least one of a time of flight (TOF) method, a stereoscopic vision method, and a structured light pattern method. have.

TOF(Time of flight) 방식은, 빛이 물체에 반사되어 돌아오는 시간을 분석하여, 물체까지의 거리를 측정하는 방식을 의미한다. TOF 시스템에서는, 적외선 LED가 적외선 펄스를 발사하고, 물체에 반사되어 돌아오는 빛의 도달 시간을 적외선 카메라가 측정한다. 이 경우, 깊이 센서(112)는 적외선 LED와 적외선 카메라를 포함할 수 있다. 깊이 센서(112)는 1초에 수십 번 빛을 발사하고 수신하는 것을 반복함으로써, 동영상 형태로 거리 정보를 촬영할 수 있다. 또한, 깊이 센서(112)는, 각 픽셀의 밝기 또는 색상으로 거리 정보를 표현하는 깊이 맵을 생성할 수도 있다. The TOF (Time of flight) method refers to a method of measuring the distance to an object by analyzing the time that light returns from the object. In a TOF system, an infrared LED emits an infrared pulse, and an infrared camera measures the arrival time of the light reflected from the object. In this case, the depth sensor 112 may include an infrared LED and an infrared camera. The depth sensor 112 can shoot distance information in the form of a moving picture by repeatedly emitting and receiving light several times per second. In addition, the depth sensor 112 may generate a depth map representing the distance information with the brightness or color of each pixel.

스테레오스코프 비전(stereoscopic vision) 방식은 2 대의 카메라를 이용하여 물체의 입체감을 촬영하는 방식을 의미한다. 이 경우, 깊이 센서(112)는 2대의 카메라를 포함할 수 있다. 깊이 센서(112)는, 각각의 카메라가 바라보는 영상의 차이 정보를 이용하여, 삼각측량의 원리에 기반하여 거리를 계산할 수 있다. 사람은 왼쪽 눈과 오른쪽 눈에 들어오는 영상의 차이를 통해 입체감을 느끼게 되며, 깊이 센서(112)는 사람 눈의 원리와 비슷한 방식으로 거리를 측정하게 된다. 예를 드렁, 거리가 가까우면, 2대의 카메라에서 촬영된 영상의 차이가 크고, 거리가 멀면 2대의 카메라에서 촬영된 영상의 차이가 적다. Stereoscopic vision means a method of shooting three-dimensional objects using two cameras. In this case, the depth sensor 112 may include two cameras. The depth sensor 112 can calculate the distance based on the principle of the triangulation using the difference information of the image viewed by each camera. The person feels a three-dimensional feeling through the difference between the images of the left and right eyes, and the depth sensor 112 measures the distance in a manner similar to that of the human eye. For example, when the distance is close, the difference between the images captured by the two cameras is large, and when the distance is long, the difference between the images captured by the two cameras is small.

구조화된 광 패턴 방식은, 패턴을 가진 빛을 물체에 비추고, 물체 표면에 맺힌 패턴의 위치를 분석하여 물체까지의 거리를 측정하는 방식이다. 깊이 센서(112)는 일반적으로 직선형 무늬나 점 패턴을 물체에 투사하게 되며, 물체의 굴곡에 따라 무늬가 달라진다. In the structured light pattern method, light with a pattern is projected onto an object, and the position of the pattern formed on the object surface is analyzed to measure the distance to the object. The depth sensor 112 generally projects a linear pattern or dot pattern onto an object, and the pattern changes depending on the bending of the object.

구조화된 광 패턴 방식은, 스테레오스코프 비전 방식에 사용된 2 개의 카메라 중의 하나를 광 프로젝터로 교체한 구조라고 할 수 있다. 예를 들어, 깊이 센서(112)는, 적외선 프로젝터로 발사된 빛이 물체 표면에 맺혀서 생긴 패턴의 위치를 알고리즘으로 분석하여 깊이 맵을 실시간으로 계산할 수 있다. The structured light pattern system is a structure in which one of the two cameras used in the stereoscopic vision system is replaced with a light projector. For example, the depth sensor 112 can calculate the depth map in real time by analyzing the position of the pattern formed by the light emitted from the infrared projector on the surface of the object by an algorithm.

한편, 이미지 센서(111)와 깊이 센서(112)는 별개의 센서로 구성될 수도 있고, 하나의 센서로 구성될 수도 있다. On the other hand, the image sensor 111 and the depth sensor 112 may be constituted by separate sensors or by one sensor.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 깊이 센서(111)를 통해 획득되는 입력 영역의 깊이 값 또는 입력 도구의 깊이 값을 이용하여, 가상의 입력 인터페이스(50)를 통한 입력 발생 여부를 결정할 수 있다.
The wearable device 100 according to an exemplary embodiment of the present invention determines whether an input through the virtual input interface 50 is generated or not using the depth value of the input area or the depth value of the input tool obtained through the depth sensor 111 Can be determined.

<도 2>2,

도 2는 본 발명의 일 실시예에 따른, 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다. 2 is a flow diagram illustrating a method for providing a virtual input interface in a wearable device, in accordance with an embodiment of the present invention.

도 2를 참조하면, 웨어러블 디바이스(100)는 입력 영역을 설정할 수 있다(S210). 입력 영역은 가상의 입력 인터페이스가 디스플레이부(121)에 표시될 때, 가상의 입력 인터페이스가 오버랩되는 현실세계의 2차원 또는 3차원의 공간일 수 있다.Referring to FIG. 2, the wearable device 100 can set an input area (S210). The input area may be a real-world two-dimensional or three-dimensional space in which a virtual input interface overlaps when a virtual input interface is displayed on the display unit 121. [

웨어러블 디바이스(100)는 사용자 모션에 기초하여, 입력 영역을 설정할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 허공 또는 실제 객체(예를 들어, 손바닥, 책상, 벽 등)에 그리는 도형을 인식하고, 인식된 도형에 대응하는 영역을 입력 영역으로 설정할 수 있다. The wearable device 100 can set the input area based on the user's motion. For example, the wearable device 100 may be configured to allow a wearer to place a figure drawn on a faint or actual object (e.g., a palm, desk, wall, etc.) using an input tool (e.g., finger, pen, And can set an area corresponding to the recognized figure as an input area.

또는, 웨어러블 디바이스(100)는 기 설정된 객체를 인식하여, 인식된 객체에 대응하는 영역을 입력 영역으로 설정할 수 있다. 또는, 웨어러블 디바이스(100)는 사용자가 입력 도구를 이용하여, 기 설정된 객체를 터치하는 동작을 인식하고, 터치된 객체에 대응하는 영역을 입력 영역으로 설정할 수 있다. Alternatively, the wearable device 100 may recognize a predetermined object and set an area corresponding to the recognized object as an input area. Alternatively, the wearable device 100 can recognize the operation of touching the preset object by the user using the input tool, and set the area corresponding to the touched object as the input area.

입력 영역을 설정하는 방법에 대해서는, 도 3 내지 도 5를 참조하여, 자세히 후술하기로 한다.A method for setting the input area will be described later in detail with reference to Figs. 3 to 5.

또한, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 입력 영역 설정 모드로 진입하기 위한 기 설정된 음성 입력 또는 기 설정된 키 입력을 수신할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 입력 모드로 진입하기 위한 음성 입력 또는 키 입력이 수신되는 경우에만, 입력 영역을 설정하는 사용자 모션을 인식할 수도 있다.In addition, the wearable device 100 according to an embodiment of the present invention may receive a predetermined voice input or a preset key input for entering the input area setting mode. For example, the wearable device 100 may recognize a user motion for setting an input area only when a voice input or a key input for entering the input mode is received.

입력 영역이 설정되면, 웨어러블 디바이스(100)는 설정된 입력 영역의 속성에 기초하여, 표시할 가상의 입력 인터페이스를 결정할 수 있다(S220).When the input area is set, the wearable device 100 can determine a virtual input interface to be displayed based on the attribute of the set input area (S220).

예를 들어, 웨어러블 디바이스(100)는 입력 영역의 크기, 모양, 입력 영역과 웨어러블 디바이스(100) 간의 거리(입력 영역의 깊이 값), 입력 영역이 설정된 실제 객체의 종류, 입력 영역 설정 모션 중 적어도 하나에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다. For example, the wearable device 100 may include at least one of the size and shape of the input region, the distance between the input region and the wearable device 100 (the depth value of the input region), the type of the actual object to which the input region is set, It is possible to determine a virtual input interface to be displayed on the display unit 121 based on one.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S230).The wearable device 100 may display the determined virtual input interface to overlap the set input area (S230).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다.At this time, the wearable device 100 may display a virtual input interface in the form of an augmented reality AR, a mixed reality MR, or a virtual reality VR.

예를 들어, 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 웨어러블 디바이스(100)는, 투명 디스플레이를 투과하여 관측되는 입력 영역(현실 세계의 2차원 또는 3차원 공간)에 가상의 입력 인터페이스가 오버랩되도록, 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.For example, when displaying a virtual input interface in the form of an augmented reality or a mixed reality, the wearable device 100 is able to display a virtual input interface in the input area (two-dimensional or three-dimensional space in the real world) A virtual input interface may be displayed on the transparent display so that the input interface of the display device 100 overlaps.

또는, 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 웨어러블 디바이스(100)는 입력 영역(현실 세계의 2차원 또는 3차원 공간)을 포함하는 제1 이미지(실사 영상)를 촬영하고, 촬영된 제1 이미지의 입력 영역에 가상의 입력 인터페이스(가상 영상)를 추가하여 제2 이미지를 생성할 수 있다. 웨어러블 디바이스(100)는 가상의 입력 인터페이스가 입력 영역에 오버랩된 제2 이미지를 불투명 디스플레이에 표시할 수 있다.Alternatively, when displaying a virtual input interface in the form of a virtual reality, the wearable device 100 photographs a first image (real image) including an input area (two-dimensional or three-dimensional space of the real world) A virtual input interface (virtual image) may be added to an input area of the first image to generate a second image. The wearable device 100 may display a second image that the virtual input interface overlaps the input area on the opaque display.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 프로젝터와 반투명 프리즘을 이용하여, 가상의 입력 인터페이스를 포함하는 증강현실 레이어를 사람의 망막에 직접 전달할 수도 있다.The wearable device 100 according to an embodiment of the present invention may directly transmit an augmented reality layer including a virtual input interface to a human's retina using a projector and a semi-transparent prism.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S240).The wearable device 100 according to an exemplary embodiment of the present invention may obtain a first depth value for the set input area and a second depth value for the input tool that touches the virtual input interface at step S240.

웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 설정된 입력 영역까지의 거리(설정된 입력 영역의 깊이 값, 제1 깊이 값)를 측정할 수 있다.The wearable device 100 can measure the distance to the input area set in the wearable device 100 (the depth value of the set input area, the first depth value) by using the depth sensor 112. [

한편, 설정된 입력 영역이 동일한 평면 상에 존재하지 않는 경우, 설정된 입력 영역의 깊이 값은 복수일 수 있다. 입력 영역의 깊이 값이 복수일 경우, 제1 깊이 값은 복수의 깊이 값을 평균한 평균 깊이 값, 복수의 깊이 값 중 가장 작은 최소 깊이 값, 복수의 깊이 값 중 최대 깊이 값 중 하나일 수 있으나, 이에 한정되는 것은 아니다. On the other hand, when the set input area does not exist on the same plane, the depth value of the set input area may be plural. When there are a plurality of depth values of the input region, the first depth value may be one of an average depth value obtained by averaging a plurality of depth values, a minimum minimum depth value among a plurality of depth values, and a maximum depth value among a plurality of depth values , But is not limited thereto.

또한, 입력 영역이 실제 객체 위에 설정된 경우, 제1 깊이 값은 실제 객체의 깊이 값일 수 있다.Also, when the input area is set on the actual object, the first depth value may be the depth value of the actual object.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 입력 도구까지의 거리(입력 도구의 깊이 값, 제2 깊이 값)를 측정할 수 있다.Further, the wearable device 100 can measure the distance (the depth value of the input tool, the second depth value) from the wearable device 100 to the input tool using the depth sensor 112. [

입력 도구가 3차원 물체인 경우, 입력 도구의 깊이 값은 복수일 수 있다. 입력 도구의 깊이 값이 복수일 경우, 제2 깊이 값은 복수의 깊이 값을 평균한 평균 깊이 값, 복수의 깊이 값 중 가장 작은 최소 깊이 값, 복수의 깊이 값 중 최대 깊이 값 중 하나일 수 있으나, 이에 한정되는 것은 아니다.When the input tool is a three-dimensional object, the depth value of the input tool may be plural. When the depth value of the input tool is plural, the second depth value may be one of an average depth value obtained by averaging a plurality of depth values, a minimum minimum depth value among a plurality of depth values, and a maximum depth value among a plurality of depth values , But is not limited thereto.

예를 들어, 입력 도구를 사용하여, 가상의 입력 인터페이스를 터치하는 경우, 입력 도구와 가상의 입력 인터페이스가 접촉하는 지점(입력 도구의 끝 점)을 제2 깊이 값으로 할 수 있다. For example, when an input tool is used to touch a virtual input interface, the point at which the input tool and the virtual input interface contact (the end point of the input tool) can be set as the second depth value.

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값을 비교하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S250).The wearable device 100 may compare the first depth value with the second depth value to determine whether the input is generated through the virtual input interface (S250).

예를 들어, 입력 영역에 대한 제1 깊이 값이 입력 발생 여부를 결정하는 기준 값이 될 수 있으며, 제1 깊이 값과 제2 깊이 값의 차가 임계 값 이하인 경우, 웨어러블 디바이스(100)는 가상의 입력 인터페이스를 통한 입력이 발생된 것으로 결정할 수 있다.For example, the first depth value for the input area may be a reference value for determining whether an input is generated, and when the difference between the first depth value and the second depth value is less than or equal to a threshold value, It can be determined that input through the input interface has occurred.

또는, 웨어러블 디바이스(100)는 제1 깊이 값보다 제2 깊이 값이 큰 경우, 가상의 입력 인터페이스를 통한 입력이 발생된 것으로 결정할 수 있다.Alternatively, the wearable device 100 may determine that an input via a virtual input interface has occurred if the second depth value is greater than the first depth value.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 사용자 모션 등에 기초하여 입력 영역을 설정할 수 있으며, 설정된 입력 영역의 깊이 값과 입력 도구의 깊이 값을 비교하여, 입력 발생 여부를 결정함으로써, 가상의 입력 인터페이스를 통한 입력의 정확도를 향상시킬 수 있다.The wearable device 100 according to an embodiment of the present invention can set an input region based on a user motion or the like and compares the depth value of the set input region with the depth value of the input tool to determine whether or not the input is generated, It is possible to improve the accuracy of the input through the input interface.

도 3 내지 도 5는 본 발명의 일 실시예에 따른 입력 영역을 설정하는 방법을 나타내는 도면들이다.
3 to 5 are diagrams illustrating a method of setting an input region according to an embodiment of the present invention.

<도 3>3,

도 3을 참조하면, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 사용자에 의해 허공이나 실제 객체에 그려지는 도형을 인식하여, 입력 영역을 설정할 수 있다.Referring to FIG. 3, the wearable device 100 according to an exemplary embodiment of the present invention can recognize an image to be drawn on a real or an air object by a user, and set an input area.

예를 들어, 도 3의 (a)에 도시된 바와 같이, 사용자는 펜, 막대기, 손가락 등의 입력 도구(310)를 이용하여, 허공에 도형(예를 들어, 사각형)을 그릴 수 있다. 웨어러블 디바이스(100)는 사용자에 의해 그려지는 도형을 인식하여, 인식된 도형에 대응하는 영역을 입력 영역(320)으로 설정할 수 있다. 예를 들어, 인식된 도형의 깊이 값(웨어러블 디바이스로부터 도형까지의 거리), 인식된 도형의 모양 및 인식된 도형의 크기를 가지는 영역을 입력 영역으로 설정할 수 있다.For example, as shown in FIG. 3A, a user can draw a figure (e.g., a rectangle) in the air using an input tool 310 such as a pen, a stick, a finger, or the like. The wearable device 100 can recognize a figure drawn by the user and set an area corresponding to the recognized figure in the input area 320. [ For example, an area having a depth value (distance from the wearable device to the graphic object) of the recognized graphic object, a shape of the recognized graphic object, and a size of the recognized graphic object can be set as the input area.

다만, 도 3의 (a)에는 도형이 사각형인 것으로 도시하였으나, 이에 한정되지 않고, 도형은 원형, 다각형, 자유 폐곡선 등 다양한 모양과 크기를 가지는 도형을 포함할 수 있으며, 2차원 또는 3차원 도형일 수 있다.However, the shape of the figure may include a figure having various shapes and sizes such as a circle, a polygon, and a free closed curve, and a two-dimensional or three-dimensional figure Lt; / RTI &gt;

또한, 도 3의 (b)에 도시된 바와 같이, 사용자는 펜, 막대기, 손가락 등의 입력 도구(345)를 이용하여, 실제 객체(330, 예를 들어, 손바닥)에 도형(340, 예를 들어, 직사각형)을 그릴 수 있다. 웨어러블 디바이스(100)는 사용자에 의해 그려지는 도형(340)을 인식하여, 인식된 도형(340)에 대응하는 영역을 입력 영역으로 설정할 수 있다. 예를 들어, 인식된 도형의 깊이 값(웨어러블 디바이스로부터 실제 객체까지의 거리), 인식된 도형의 모양 및 인식된 도형의 크기를 가지는 영역을 입력 영역으로 설정할 수 있다.
3 (b), the user can use the input tool 345, such as a pen, a stick, a finger, etc., to create a shape 340 (e.g., For example, you can draw a rectangle. The wearable device 100 can recognize the figure 340 drawn by the user and set the area corresponding to the recognized figure 340 as the input area. For example, an area having a depth value (distance from the wearable device to the actual object) of the recognized figure, a shape of the recognized figure, and a size of the recognized figure may be set as the input area.

<도 4><Fig. 4>

도 4를 참조하면, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 특정 객체를 인식하여, 입력 영역을 설정할 수 있다.Referring to FIG. 4, the wearable device 100 according to an embodiment of the present invention can recognize a specific object and set an input area.

예를 들어, 도 4의 (a)에 도시된 바와 같이, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 손바닥(410)을 인식할 수 있다. 이때, 웨어러블 디바이스(100)에는 손바닥(410)의 모양, 크기 등에 대한 정보가 미리 저장되어 있을 수 있다. 이에 따라, 웨어러블 디바이스(100)는 인식된 객체의 모양, 크기 등에 대한 정보를 기 저장된 객체의 모양, 크기 등에 대한 정보와 비교하여, 인식된 객체를 입력 영역으로 설정할지 여부를 결정할 수 있다.For example, as shown in Fig. 4A, the wearable device 100 can recognize the palm 410 using the image sensor 111. Fig. At this time, the wearable device 100 may have previously stored information on the shape, size, and the like of the palm 410. Accordingly, the wearable device 100 can determine whether to set the recognized object as the input area by comparing the information about the shape, size, and the like of the recognized object with the information about the shape, size, and the like of the previously stored object.

인식된 객체가 웨어러블 디바이스(100)에 기 저장된 객체(입력 영역으로 설정할 객체)의 정보와 동일한 경우, 웨어러블 디바이스(100)는 인식된 객체의 기 설정된 영역(420)을 입력 영역으로 설정할 수 있다. 이때, 인식된 객체의 기 설정된 영역은 다양한 모양과 크기를 포함하는 영역일 수 있다.If the recognized object is the same as the information of the object (the object to be set as the input area) pre-stored in the wearable device 100, the wearable device 100 can set the preset area 420 of the recognized object as the input area. At this time, the predetermined area of the recognized object may be an area including various shapes and sizes.

도 4의 (a)에서는 웨어러블 디바이스(100)가 손바닥(410)을 인식하여, 입력 영역을 설정하는 것으로 도시하고 설명하였지만, 이에 한정되지 않고, 책상, 노트 등 다양한 객체를 인식하여, 입력 영역을 설정할 수 있다.4A, the wearable device 100 recognizes the palm 410 and sets the input area. However, the present invention is not limited to this, and various objects such as a desk and a notebook may be recognized, Can be set.

또한, 웨어러블 디바이스(100)는 특정 형태를 마커로 정의하고, 마커가 인식되는 경우, 마커를 포함하는 실제 객체의 평면을 입력 영역으로 설정할 수 있다.In addition, the wearable device 100 may define a specific type as a marker, and if the marker is recognized, the plane of the actual object including the marker may be set as the input area.

예를 들어, 마커가 직사각형 형태로 정의된 경우, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 직사각형 형태를 마커로 인식할 수 있다. 도 4의 (b)에 도시된 바와 같이, 웨어러블 디바이스(100)는 직사각형 형태(430)를 가지는 노트를 마커로 인식할 수 있다.For example, when the marker is defined as a rectangular shape, the wearable device 100 can use the image sensor 111 to recognize the rectangular shape as a marker. As shown in FIG. 4B, the wearable device 100 can recognize the note having the rectangular shape 430 as a marker.

마커가 인식되면, 웨어러블 디바이스(100)는 마커를 포함하는 실제 객체의 평면을 입력 영역으로 설정할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 도 4의 (b)에 도시된 바와 같이, 직사각형 형태(430)를 가지는 노트의 평면을 입력 영역으로 설정할 수 있다. 이때, 웨어러블 디바이스(100)는 노트의 평면 전체를 입력 영역으로 설정하거나, 노트의 평면 중 일부 영역을 입력 영역으로 설정할 수도 있다.When the marker is recognized, the wearable device 100 can set the plane of the actual object including the marker as the input area. For example, the wearable device 100 may set the plane of the note having the rectangular shape 430 as an input area, as shown in Fig. 4 (b). At this time, the wearable device 100 may set the entire plane of the note as the input area, or may set some areas of the note plane as the input area.

도 4의 (b)에서는 마커가 직사각형 형태로 정의된 경우에 대해서 도시하고 설명하였지만, 이에 한정되지 않고, 마커는 원형, 다각형 등 다양한 형태로 정의될 수 있다.
In FIG. 4B, the case where the marker is defined as a rectangular shape has been shown and described, but the present invention is not limited to this, and the marker may be defined in various forms such as a circle, a polygon, and the like.

<도 5>5,

도 5의 (a)를 참조하면, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 실제 입력 인터페이스를 인식하여, 입력 영역을 설정할 수 있다.Referring to FIG. 5A, the wearable device 100 according to an embodiment of the present invention recognizes an actual input interface and can set an input area.

웨어러블 디바이스(100)는 실제 입력 인터페이스를 인식하여, 인식된 실제 입력 인터페이스와 동일한 종류의 가상 입력 인터페이스를 표시할 수 있다. 또한, 웨어러블 디바이스(100)는 사용자가 펜, 막대기, 손가락 등의 입력 도구를 이용하여, 실제 입력 인터페이스를 터치하는 입력을 수신한 후에, 터치된 실제 입력 인터페이스를 인식할 수 있다.The wearable device 100 may recognize the actual input interface and display a virtual input interface of the same type as the recognized real input interface. In addition, the wearable device 100 can recognize the touched actual input interface after the user receives an input that touches the actual input interface by using an input tool such as a pen, a stick, a finger, or the like.

실제 입력 인터페이스는 실제 키보드, 실제 키패드, 실제 메모장 인터페이스, 실제 계산기, 실제 피아노 건반, 실제 게임 컨트롤러, 실제 다이얼 패널 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 실제 입력 인터페이스(510)는 휴대 단말기 등에 디스플레이되는 GUI일 수 있다.The actual input interface may include, but is not limited to, a physical keyboard, an actual keypad, a real notepad interface, a real calculator, a real piano keyboard, a real game controller, Also, the actual input interface 510 may be a GUI displayed on a mobile terminal or the like.

예를 들어, 도 5의 (a)에 도시된 바와 같이, 사용자가 입력 도구(520, 예를 들어, 손가락)을 이용하여, 실제 키보드(510)를 터치하는 경우, 웨어러블 디바이스(100)는 입력 도구(520)가 터치하는 실제 키보드(510)를 인식할 수 있다. 이때, 웨어러블 디바이스(100)는 깊이 센서를 이용하여, 실제 키보드(510)의 깊이 값과 입력 도구(520)의 깊이 값을 획득하고, 실제 키보드(510)의 깊이 값과 입력 도구(520)의 깊이 값의 차이가 임계값 이하인 경우, 실제 키보드(510)를 터치한 것으로 결정할 수 있다. For example, as shown in FIG. 5A, when the user touches the actual keyboard 510 using the input tool 520 (e.g., a finger), the wearable device 100 inputs The actual keyboard 510 to which the tool 520 touches can be recognized. At this time, the wearable device 100 acquires the depth value of the actual keyboard 510 and the depth value of the input tool 520 using the depth sensor, and calculates the depth value of the actual keyboard 510 and the depth value of the input tool 520 When the difference of the depth values is equal to or less than the threshold, it can be determined that the actual keyboard 510 is touched.

또한, 웨어러블 디바이스(100)에는 실제 입력 인터페이스의 종류, 모양, 크기 등에 관한 정보가 미리 저장되어 있을 수 있다. 이에 따라, 웨어러블 디바이스(100)는 이미지 센서(111)에 의해, 인식된 실제 키보드(510)의 종류, 모양, 크기 등에 관한 정보를 웨어러블 디바이스(100)에 저장되어 있는 실제 입력 인터페이스의 종류, 모양, 크기 등에 관한 정보와 비교하여, 인식된 객체가 입력 인터페이스인지를 결정할 수 있다.In addition, the wearable device 100 may previously store information on the type, shape, size, and the like of the actual input interface. Accordingly, the wearable device 100 stores the information on the type, shape, size, and the like of the recognized real keyboard 510 by the image sensor 111 in the form of the actual input interface stored in the wearable device 100, Size, etc., to determine whether the recognized object is an input interface.

또한, 웨어러블 디바이스(100)는 인식된 실제 입력 인터페이스에 대응하는 가상 입력 인터페이스를 표시할 수 있다. 웨어러블 디바이스(100)는 인식된 실제 입력 인터페이스와 동일한 종류의 가상 입력 인터페이스를 인식된 실제 입력 인터페이스 영역에 오버랩되도록 실제 입력 인터페이스와 동일한 크기와 모양의 가상 입력 인터페이스를 디스플레이부(121)에 표시할 수 있다.In addition, the wearable device 100 may display a virtual input interface corresponding to the recognized real input interface. The wearable device 100 can display on the display unit 121 a virtual input interface having the same size and shape as the actual input interface so that the virtual input interface of the same type as the recognized actual input interface overlaps the recognized actual input interface area have.

예를 들어, 도 5의 (a)에 도시된 바와 같이, 실제 키보드(510)가 인식된 경우, 웨어러블 디바이스(100)는 인식된 실제 키보드와 동일한 크기와 모양을 가지는 가상 키보드를 실제 키보드(510)가 표시되는 영역에 오버랩되도록 표시할 수 있다.5A, when the actual keyboard 510 is recognized, the wearable device 100 transmits a virtual keyboard having the same size and shape as the recognized physical keyboard to the actual keyboard 510 (step &lt; RTI ID = 0.0 &gt; ) Can be displayed so as to overlap with the displayed area.

한편, 도 5의 (b)를 참조하면, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 실제 객체의 평면을 인식하여, 입력 영역을 설정할 수 있다.Meanwhile, referring to FIG. 5B, the wearable device 100 according to an embodiment of the present invention can recognize an actual object plane and set an input area.

웨어러블 디바이스(100)는 실제 객체의 평면을 인식하고, 사용자가 펜, 막대기, 손가락 등의 입력 도구를 이용하여, 인식된 평면을 터치하는 입력을 수신하는 경우, 터치된 평면을 입력 영역으로 설정할 수 있다.The wearable device 100 recognizes the plane of the actual object and sets the touched plane as an input area when the user receives an input that touches the recognized plane by using an input tool such as a pen, have.

예를 들어, 도 5의 (b)에 도시된 바와 같이, 사용자가 입력 도구(530, 예를 들어, 펜)를 이용하여, 노트의 평면(540)을 터치하는 경우, 웨어러블 디바이스(100)는 입력 도구(530)가 터치하는 노트의 평면(540)을 인식할 수 있다. 이때, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 노트 평면(540)의 깊이 값과 입력 도구(530)의 깊이 값을 획득하고, 노트 평면(540)의 깊이 값과 입력 도구(530)의 깊이 값의 차이가 임계값 이하인 경우, 입력 도구(530)가 노트 평면(540)을 터치한 것으로 결정할 수 있다.For example, as shown in FIG. 5B, when the user touches the plane 540 of the note using the input tool 530 (e.g., a pen), the wearable device 100 It is possible to recognize the plane 540 of the note that the input tool 530 touches. At this time, the wearable device 100 uses the depth sensor 112 to acquire the depth value of the note plane 540 and the depth value of the input tool 530, and calculates the depth value of the note plane 540 and the input tool 530 may be less than or equal to the threshold value, the input tool 530 may determine that the note plane 540 has been touched.

이에 따라, 웨어러블 디바이스(100)는 터치된 노트의 평면(540)을 입력 영역으로 설정할 수 있다.
Accordingly, the wearable device 100 can set the plane 540 of the touched note as the input area.

<도 6>6,

도 6은 본 발명의 일 실시예에 따른 설정된 입력 영역의 깊이 값에 따라 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.6 is a flowchart illustrating a method for providing a virtual input interface according to a depth value of a set input area according to an exemplary embodiment of the present invention.

도 6을 참조하면, 웨어러블 디바이스(100)는 사용자 모션 등에 기초하여, 입력 영역을 설정할 수 있다(S610). 이에 대해서는 도 2의 210단계(S210) 및 도 3 내지 5에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.Referring to FIG. 6, the wearable device 100 may set an input area based on a user motion or the like (S610). This has been described in detail in step 210 (S210) of FIG. 2 and FIGS. 3 to 5, and thus a detailed description thereof will be omitted.

웨어러블 디바이스(100)는 입력 영역에 대한 제1 깊이 값을 획득할 수 있다(S620).The wearable device 100 may obtain a first depth value for the input area (S620).

입력 영역이 허공에 설정되는 경우, 웨어러블 디바이스(100)는 입력 영역을 설정하는 사용자의 모션에 기초하여, 입력 영역의 깊이 값을 획득할 수 있다. 예를 들어, 사용자가 입력 도구를 이용하여, 허공에 도형을 그리는 경우, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 도형을 그리는 입력 도구의 깊이 값을 획득할 수 있으며, 획득된 입력 도구의 깊이 값을 입력 영역에 대한 제1 깊이 값으로 할 수 있다.When the input area is set to air, the wearable device 100 can acquire the depth value of the input area based on the motion of the user who sets the input area. For example, when the user draws a figure in the air using an input tool, the wearable device 100 can use the depth sensor 112 to obtain the depth value of the input tool that draws the figure, The depth value of the input tool can be set as the first depth value for the input area.

또한, 입력 영역이 실제 객체 위에 설정되는 경우, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 실제 객체의 깊이 값을 획득할 수 있으며, 획득된 실제 객체의 깊이 값을 입력 영역에 대한 제1 깊이 값으로 할 수 있다.In addition, when the input area is set on the actual object, the wearable device 100 can use the depth sensor 112 to obtain the depth value of the actual object, The first depth value can be set.

웨어러블 디바이스(100)는 입력 영역에 대한 제1 깊이 값에 기초하여, 표시할 가상의 입력 인터페이스의 종류를 결정할 수 있다(S630).The wearable device 100 may determine the type of the virtual input interface to display based on the first depth value for the input area (S630).

예를 들어, 입력 영역에 대한 제1 깊이 값의 크기가 제1 임계값 이하인 경우, 웨어러블 디바이스(100)는 디스플레이부(121)에 표시할 가상의 입력 인터페이스로 제1 크기의 제1 키보드를 결정할 수 있다.For example, when the size of the first depth value for the input area is equal to or less than the first threshold value, the wearable device 100 determines a first keyboard of the first size with a virtual input interface to be displayed on the display unit 121 .

또한, 입력 영역에 대한 제1 깊이 값의 크기가 제1 임계값 보다 크고, 제2 임계 값(제1 임계값 보다 큰 임계값) 이하인 경우, 웨어러블 디바이스(100)는 디스플레이부(121)에 표시할 가상의 입력 인터페이스로 제2 크기의 제2 키보드를 결정할 수 있으며, 제2 크기는 제1 크기보다 작을 수 있다. If the size of the first depth value for the input area is larger than the first threshold value and smaller than or equal to the second threshold value (threshold value larger than the first threshold value), the wearable device 100 displays A second keyboard of a second size may be determined with a virtual input interface to be used, and the second size may be smaller than the first size.

또한, 입력 영역에 대한 제1 깊이 값의 크기가 제2 임계값 보다 큰 경우, 웨어러블 디바이스(100)는 디스플레이부(121)에 표시할 가상의 입력 인터페이스로 제3 크기의 제3 키보드를 결정할 수 있으며, 제3 크기는 제2 크기보다 작을 수 있다.If the size of the first depth value for the input area is larger than the second threshold value, the wearable device 100 can determine a third keyboard of a third size with a virtual input interface to be displayed on the display unit 121 And the third size may be smaller than the second size.

입력 영역에 대한 제1 깊이 값이 커지면, 웨어러블 디바이스(100) 사용자에게 관측되는 입력 영역의 크기가 작아지게 되므로, 웨어러블 디바이스(100)는 작은 크기의 입력 인터페이스를 결정할 수 있다. 다만, 이에 한정되는 것은 아니다.When the first depth value for the input area is increased, the size of the input area observed by the user of the wearable device 100 becomes small, so that the wearable device 100 can determine a small size input interface. However, the present invention is not limited thereto.

또한, 웨어러블 디바이스(100)는 입력 영역에 대한 제1 깊이 값에 기초하여, 가상의 입력 인터페이스의 크기뿐만 아니라 형태도 결정할 수 있으며, 이에 대해서는 도 7 내지 9를 참조하여, 자세히 설명하기로 한다.In addition, the wearable device 100 can determine not only the size of the virtual input interface but also the shape, based on the first depth value for the input area, which will be described in detail with reference to FIGS.

다시, 도 6을 참조하면, 웨어러블 디바이스(100)는 630 단계(S630)에서 결정된 가상의 입력 인터페이스를 610 단계(S610)에서 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다(S640).6, the wearable device 100 may display the virtual input interface determined in step 630 (S630) on the display unit 121 so as to overlap the input area set in step 610 (S610) (S640 ).

또한, 웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득하고(S650), 획득된 제1 깊이 값 및 제2 깊이 값에 기초하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S660).In addition, the wearable device 100 obtains the first depth value for the set input area and the second depth value for the input tool that touches the virtual input interface (S650), and obtains the obtained first depth value and the second depth Based on the value, it is possible to determine whether the input is generated through the virtual input interface (S660).

도 6의 640 단계(S640) 내지 660 단계(S660)는 도 2의 230 단계(S230) 내지 250 단계(S250)에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.
Since steps 640 to 660 of FIG. 6 have been described in detail in step 230 (S230) to step 250 (S250) of FIG. 2, detailed description thereof will be omitted.

<도 7 내지 도 9><Figs. 7 to 9>

도 7 내지 도 9는 설정된 입력 영역의 깊이 값에 따라 표시되는 가상의 입력 인터페이스의 종류 및 크기가 변경되는 일례를 설명하기 위한 도면들이다.FIGS. 7 to 9 are views for explaining an example in which the type and size of a virtual input interface displayed according to the depth value of the set input region are changed.

도 7을 참조하면, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 7cm 떨어진 손바닥(710) 위에 입력 영역을 설정하는 모션(예를 들어, 직사각형을 그리는 모션)을 인식할 수 있다. 웨어러블 디바이스(100)는 인식된 모션에 기초하여, 쿼티(QWERTY) 자판(720)을 손바닥(710)에 오버랩되도록 표시할 수 있다. 이때, 쿼티 자판(720)은 도 7에 도시된 바와 같이, 입력창('메시지를 입력하세요'가 표시되는 창)을 포함할 수 있으며, 쿼티 자판(720)을 통해 입력되는 문자가 입력창에 표시될 수 있다.7, the wearable device 100 is configured to allow the user to set an input area on the palm 710, 7 cm away from the wearable device 100, using an input tool (e.g., finger, pen, It is possible to recognize a motion (for example, a motion in which a rectangle is drawn). The wearable device 100 may display the QWERTY keyboard 720 to overlap the palm 710 based on the recognized motion. 7, a character input through the QWERTY keyboard 720 may be displayed on an input window (a window in which 'enter a message' is displayed) Can be displayed.

또한, 도 8을 참조하면, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 10cm 떨어진 손바닥(810) 위에 입력 영역을 설정하는 모션(예를 들어, 직사각형을 그리는 모션)을 인식할 수 있다. 8, the wearable device 100 is configured such that a user places an input area on the palm 810, 10 cm away from the wearable device 100, using an input tool (e.g., finger, pen, It is possible to recognize a motion to be set (for example, a motion in which a rectangle is drawn).

손바닥과 웨어러블 디바이스의 거리가 10cm인 경우, 도 7과 같이, 손바닥(710)과 웨어러블 디바이스(100) 사이의 거리가 7cm인 경우에 비해, 웨어러블 디바이스 사용자에게 관측되는 손바닥 크기가 작아질 수 있다. 이에 따라, 웨어러블 디바이스(100)는 천지인과 같은 휴대 단말용 자판(820)을 손바닥(810)에 오버랩되도록 표시할 수 있다.In the case where the distance between the palm and the wearable device is 10 cm, the palm size observed by the wearable device user may be smaller than in the case where the distance between the palm 710 and the wearable device 100 is 7 cm as shown in Fig. Accordingly, the wearable device 100 can display the keyboard 820 for a portable terminal such as a portable phone, so as to overlap the palm 810.

또한, 도 9를 참조하면, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 15cm 떨어진 손바닥(910) 위에 입력 영역을 설정하는 모션(예를 들어, 직사각형을 그리는 모션)을 인식할 수 있다. 9, the wearable device 100 is configured to allow the user to place an input area on the palm 910, 15 cm away from the wearable device 100, using an input tool (e.g., finger, pen, It is possible to recognize a motion to be set (for example, a motion in which a rectangle is drawn).

손바닥(910)과 웨어러블 디바이스(100)의 거리가 15cm인 경우, 도 8과 같이, 손바닥(810)과 웨어러블 디바이스(100) 사이의 거리가 10cm인 경우에 비해, 웨어러블 디바이스 사용자에게 관측되는 손바닥 크기가 작아질 수 있다. 이에 따라, 웨어러블 디바이스(100)는 필기 입력 창(920)을 손바닥(910)에 오버랩되도록 표시할 수 있다.The distance between the palm 910 and the wearable device 100 is 15 cm as compared with the case where the distance between the palm 810 and the wearable device 100 is 10 cm as shown in Fig. Can be reduced. Accordingly, the wearable device 100 can display the handwriting input window 920 so as to overlap with the palm 910.

도 7 내지 도 9에서는, 손바닥(설정된 입력 영역)과 웨어러블 디바이스(100) 사이의 거리가 커지는 경우(입력 영역에 대한 제1 깊이 값이 커지는 경우), 쿼티(QWERTY) 자판(720), 휴대 단말용 자판(820), 필기 입력 창(920) 순서로 가상의 입력 인터페이스가 결정되는 것으로 도시하고 설명하였지만, 이에 한정되는 것은 아니다. 설명한 것과 반대로, 손바닥(설정된 입력 영역)과 웨어러블 디바이스(100) 사이의 거리가 작아지는 경우(입력 영역에 대한 제1 깊이 값이 작아지는 경우), 필기 입력 창(920), 휴대 단말용 자판(820), 쿼티 자판(720) 순서로 결정될 수도 있으며, 이외에도 다양한 종류의 입력 인터페이스가 결정될 수 있다.
7 to 9, when the distance between the palm (set input area) and the wearable device 100 becomes large (the first depth value for the input area becomes large), the QWERTY keyboard 720, The user terminal 820, and the handwriting input window 920. However, the present invention is not limited thereto. In contrast to the case described above, when the distance between the palm (set input area) and the wearable device 100 becomes small (the first depth value for the input area becomes small), the handwriting input window 920, 820, and a QWERTY keyboard 720. In addition, various types of input interfaces may be determined.

<도 10><Fig. 10>

도 10은 본 발명의 일 실시예에 따른 입력 영역이 설정된 실제 객체의 깊이 값이 변경됨에 따라, 가상의 입력 인터페이스의 종류가 적응적으로 변경되는 일례를 설명하기 위한 도면이다.10 is a diagram for explaining an example in which a type of a virtual input interface is adaptively changed as a depth value of an actual object in which an input area is set according to an embodiment of the present invention.

도 10을 참조하면, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 7cm 떨어진 손바닥(1010) 위에 입력 영역을 설정하는 모션(예를 들어, 직사각형을 그리는 모션)을 인식할 수 있다. 웨어러블 디바이스(100)는 인식된 모션에 기초하여, 쿼티(QWERTY) 자판(1020)을 손바닥(1010)에 오버랩되도록 표시할 수 있다.10, the wearable device 100 is configured to allow the user to set an input area on the palm 1010, 7 cm away from the wearable device 100, using an input tool (e.g., finger, pen, It is possible to recognize a motion (for example, a motion in which a rectangle is drawn). The wearable device 100 may display the QWERTY keyboard 1020 to overlap the palm of the hand 1010 based on the recognized motion.

쿼티 자판(1020)이 표시된 상태에서, 사용자는 웨어러블 디바이스(100)와 손바닥(1010) 사이의 거리가 10cm가 되도록 손바닥(1010)을 웨어러블 디바이스(100)로부터 멀리 이동시킬 수 있다. The wearer can move the palm 1010 away from the wearable device 100 so that the distance between the wearable device 100 and the palm 1010 is 10 cm while the QWERTY 1020 is displayed.

손바닥(1010)과 웨어러블 디바이스(100)의 거리가 10cm인 경우, 도 10과 같이, 손바닥(100)과 웨어러블 디바이스(100) 사이의 거리가 7cm인 경우에 비해, 웨어러블 디바이스 사용자에게 관측되는 손바닥 크기가 작아질 수 있다. 이에 따라, 웨어러블 디바이스(100)는 표시되는 쿼티 자판(1020) 대신에 천지인과 같은 휴대 단말용 자판(1030)을 손바닥(1010)에 오버랩되도록 표시할 수 있다.The distance between the palm 1010 and the wearable device 100 is 10 cm as compared with the case where the distance between the palm 100 and the wearable device 100 is 7 cm as shown in Fig. Can be reduced. Accordingly, the wearable device 100 can display the keyboard 1030 for the portable terminal such as a ceiling tongue in place of the displayed QWERTY keyboard 1020 so as to overlap with the palm 1010.

반대로, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 10cm 떨어진 손바닥(1010) 위에 입력 영역을 설정하는 모션(예를 들어, 직사각형을 그리는 모션)을 인식할 수 있다. 웨어러블 디바이스(100)는 인식된 모션에 기초하여, 휴대 단말용 자판(1030)을 손바닥(1010)에 오버랩되도록 표시할 수 있다.Conversely, the wearable device 100 may be configured to allow the user to set a motion (e.g., a motion) to set the input area on the palm 1010, 10 cm away from the wearable device 100, using an input tool (e.g., a finger, pen, For example, a motion that draws a rectangle). The wearable device 100 can display the keyboard 1030 for the portable terminal so that it overlaps the palm 1010 based on the recognized motion.

휴대 단말용 자판(1030)이 표시된 상태에서, 사용자는 웨어러블 디바이스(100)와 손바닥(1010) 사이의 거리가 7cm가 되도록 손바닥(1010)을 웨어러블 디바이스(100) 가까이 이동시킬 수 있다. The user can move the palm 1010 close to the wearable device 100 such that the distance between the wearable device 100 and the palm 1010 is 7 cm in a state where the keyboard 1030 for the portable terminal is displayed.

손바닥(1010)과 웨어러블 디바이스(100)의 거리가 7cm인 경우, 도 10과 같이, 손바닥(1010)과 웨어러블 디바이스(100) 사이의 거리가 10cm인 경우에 비해, 웨어러블 디바이스 사용자에게 관측되는 손바닥 크기가 커질 수 있다. 이에 따라, 웨어러블 디바이스(100)는 표시되는 휴대 단말용 자판(1030) 대신에 쿼티 자판(1020)을 손바닥(1010)에 오버랩되도록 표시할 수 있다.As shown in FIG. 10, when the distance between the palm 1010 and the wearable device 100 is 7 cm, compared to the case where the distance between the palm 1010 and the wearable device 100 is 10 cm, Can be increased. Accordingly, the wearable device 100 can display the QWERTY keyboard 1020 to overlap the palm of the hand 1010 in place of the displayed keyboard 1020 for the portable terminal.

따라서, 사용자는 실제 객체 위에 입력 영역이 설정된 후에, 실제 객체의 위치(웨어러블 디바이스와 실제 객체 사이의 거리)를 변경함으로써, 표시되는 가상의 입력 인터페이스의 종류를 변경할 수 있다.
Accordingly, the user can change the type of the displayed virtual input interface by changing the position of the actual object (the distance between the wearable device and the actual object) after the input area is set on the actual object.

<도 11>11)

도 11은 본 발명의 일 실시예에 따른 설정된 입력 영역의 크기 또는 입력 영역 설정 모션에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 방법을 설명하기 위한 흐름도이다.11 is a flowchart illustrating a method of providing a virtual input interface determined based on a size of an input region or an input region setting motion according to an embodiment of the present invention.

도 11을 참조하면, 웨어러블 디바이스(100)는 사용자 모션 등에 기초하여, 입력 영역을 설정할 수 있다(S1110). 이에 대해서는 도 2의 210단계(S210) 및 도 3 내지 5에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.11, the wearable device 100 can set an input area based on a user motion or the like (S1110). This has been described in detail in step 210 (S210) of FIG. 2 and FIGS. 3 to 5, and thus a detailed description thereof will be omitted.

웨어러블 디바이스(100)는 설정된 입력 영역의 크기 또는 입력 영역 설정 모션에 기초하여, 가상의 입력 인터페이스의 종류를 결정할 수 있다(S1120).The wearable device 100 can determine the type of the virtual input interface based on the size of the input area or the input area setting motion (S1120).

예를 들어, 입력 영역의 크기가 제1 임계값 이하인 경우, 웨어러블 디바이스(100)는 제1 크기를 가지는 가상의 입력 인터페이스를 제공할 수 있다.For example, if the size of the input area is less than or equal to the first threshold value, the wearable device 100 may provide a virtual input interface having a first size.

또한, 입력 영역의 크기가 제1 임계값 보다 크고, 제2 임계 값(제1 임계값 보다 큰 임계값) 이하인 경우, 웨어러블 디바이스(100)는 제2 크기를 가지는 가상의 입력 인터페이스를 제공할 수 있으며, 제2 크기는 제1 크기보다 클 수 있다.Also, if the size of the input area is greater than the first threshold and less than or equal to the second threshold (threshold greater than the first threshold), the wearable device 100 may provide a virtual input interface with a second size And the second size may be greater than the first size.

또한, 웨어러블 디바이스(100)는 사용자가 입력 영역을 설정하기 위해, 허공 또는 실제 객체 위에 그리는 도형에 따라, 다른 종류의 가상의 입력 인터페이스를 제공할 수 있다.In addition, the wearable device 100 may provide another type of virtual input interface, depending on the shape drawn on the air or the actual object, in order for the user to set the input area.

예를 들어, 사용자가 입력 영역을 설정하기 위해 제1 도형을 그리는 경우, 웨어러블 디바이스(100)는 제1 도형을 인식하여, 제1 도형에 대응하는 가상의 입력 인터페이스를 제공할 수 있다. 또한, 사용자가 입력 영역을 설정하기 위해 제2 도형을 그리는 경우, 웨어러블 디바이스(100)는 제2 도형에 대응하는 가상의 입력 인터페이스를 제공할 수 있다.For example, when a user draws a first figure to set an input area, the wearable device 100 can recognize the first figure and provide a virtual input interface corresponding to the first figure. Further, when the user draws the second figure to set the input area, the wearable device 100 may provide a virtual input interface corresponding to the second figure.

이에 대해서는, 도 12 내지 도 15를 참조하여, 자세히 설명하기로 한다.This will be described in detail with reference to Figs. 12 to 15. Fig.

다시, 도 11을 참조하면, 웨어러블 디바이스(100)는 1120 단계(S1120)에서 결정된 가상의 입력 인터페이스를 단계에서 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다(S1130).11, the wearable device 100 may display the virtual input interface determined in step 1120 (S1120) on the display unit 121 so as to overlap the input area set in step S1130.

또한, 웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득하고(S1140), 획득된 제1 깊이 값 및 제2 깊이 값에 기초하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S1150).In addition, the wearable device 100 acquires the first depth value for the set input area and the second depth value for the input tool that touches the virtual input interface (S1140), and acquires the obtained first depth value and the second depth Based on the value, it is possible to determine whether the input is generated through the virtual input interface (S1150).

도 11의 1130 단계(S1130) 내지 1150 단계(S1150)는 도 2의 230 단계(S230) 내지 250단계(S250)에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.
Since steps 1130 to 1150 of FIG. 11 have been described in detail in step 230 (S230) to step 250 (S250) of FIG. 2, detailed description thereof will be omitted.

<도 12 및 도 13>12 and 13,

도 12 및 도 13은 설정된 입력 영역의 크기에 따라 표시되는 가상의 입력 인터페이스의 종류가 변경되는 일례를 설명하기 위한 도면들이다.12 and 13 are diagrams for explaining an example in which the type of the virtual input interface displayed according to the size of the set input area is changed.

도 12의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자는 책상(1210) 위에 입력 영역을 설정하기 위한 도형을 그릴 수 있다. 예를 들어, 웨어러블 디바이스 사용자는 양 손을 이용하여, 책상 위에 제1 크기(예를 들어, 20cm X 10cm)의 사각형(1220)을 그릴 수 있다. 이때, 웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 양 손을 이용하여 사각형을 그리는 모션을 입력 영역을 설정하는 모션으로 인식할 수 있다.As shown in FIG. 12 (a), the user of the wearable device can draw a figure for setting the input area on the desk 1210. For example, a wearable device user can draw a square 1220 of a first size (e.g., 20 cm x 10 cm) on a desk using both hands. At this time, the wearable device 100 can recognize the motion in which the wearable device user draws a quadrangle using both hands as a motion for setting the input area.

또한, 웨어러블 디바이스(100)는 도 12의 (b)에 도시된 바와 같이, 사각형(1220)을 그리는 모션에 응답하여, 가상의 피아노 건반(1230)을 인식된 사각형 영역에 오버랩되도록 표시할 수 있다. 이때, 표시되는 가상의 피아노 건반의 크기는 사각형(1220)의 크기(예를 들어, 20cm X 10cm)에 따라 결정될 수 있다. In addition, the wearable device 100 may display the virtual piano keys 1230 to overlap the recognized rectangular area in response to the motion of drawing the rectangle 1220, as shown in Figure 12 (b) . At this time, the size of the displayed virtual piano key may be determined according to the size of the rectangle 1220 (for example, 20cm X 10cm).

도 13의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자는 책상(1310) 위에 입력 영역을 설정하기 위한 도형을 그릴 수 있다. 예를 들어, 웨어러블 디바이스 사용자는 양 손을 이용하여, 책상 위에 제2 크기(예를 들어, 10cm X 10cm)의 사각형(1320)을 그릴 수 있다. 이때, 웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 양 손을 이용하여 사각형을 그리는 모션을 입력 영역을 설정하는 모션으로 인식할 수 있다.13A, a user of the wearable device can draw a figure for setting an input area on the desk 1310. [ For example, a user of a wearable device can draw a square 1320 of a second size (e.g., 10 cm x 10 cm) on a desk using both hands. At this time, the wearable device 100 can recognize the motion in which the wearable device user draws a quadrangle using both hands as a motion for setting the input area.

또한, 웨어러블 디바이스(100)는 도 13의 (b)에 도시된 바와 같이, 사각형을 그리는 모션에 응답하여, 가상의 피아노 건반(1330)을 인식된 사각형 영역에 오버랩되도록 표시할 수 있다. 이때, 표시되는 가상의 피아노 건반의 크기는 사각형의 크기(예를 들어, 10cm X 10cm)에 따라 결정될 수 있다.13 (b), the wearable device 100 can display the virtual piano keys 1330 to overlap with the recognized rectangular area in response to the motion of drawing a quadrangle. At this time, the size of the displayed virtual piano key may be determined according to the size of the rectangle (for example, 10 cm x 10 cm).

또한, 웨어러블 디바이스(100)는 입력 영역의 크기에 따라, 크기뿐만 아니라 형태가 다른 가상의 입력 인터페이스를 제공할 수 있다.In addition, the wearable device 100 may provide a virtual input interface having different sizes as well as sizes according to the size of the input area.

도 12의 (b) 및 도 13의 (b)를 참조하면, 도 12의 (b)에 도시된 가상의 피아노 건반(1230, 제1 피아노 건반)은 한 줄로 표시되는 피아노 건반일 수 있으며, 도 13의 (b)에 도시된 가상의 피아노 건반(1330, 제2 피아노 건반)은 두 줄로 표시되는 피아노 건반일 수 있다. 다만, 이에 한정되는 것은 아니다.
Referring to FIGS. 12B and 13B, the virtual piano keys 1230 (first piano keys) shown in FIG. 12B may be piano keys expressed in a single line, A virtual piano key 1330 (second piano key) shown in (b) of FIG. 13 may be a piano keyboard expressed in two lines. However, the present invention is not limited thereto.

<도 14 및 15>14 and 15,

도 14 및 도 15는 입력 영역을 설정하는 모션에 따라 표시되는 가상의 입력 인터페이스의 종류가 변경되는 일례를 설명하기 위한 도면들이다.FIGS. 14 and 15 are diagrams for explaining an example in which the type of a virtual input interface displayed in accordance with a motion for setting an input region is changed.

도 14의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자가 손바닥(1410)에 손가락(1420)을 이용하여, 사각형(1430)을 그리는 경우, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 사각형을 그리는 모션을 인식할 수 있으며, 사각형(1430)을 입력 영역으로 설정할 수 있다.14A, when the user of the wearable device draws a rectangle 1430 using the finger 1420 on the palm 1410, the wearable device 100 uses the image sensor 111 To recognize a motion of drawing a rectangle, and to set the rectangle 1430 as an input area.

이때, 웨어러블 디바이스(100)는 도 14의 (b)에 도시된 바와 같이, 인식된 사각형 영역에 가상의 휴대 단말용 자판(1450)이 오버랩되도록 디스플레이부(121)에 표시할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 휴대 단말용 자판(1450)을 표시할 수 있다.At this time, the wearable device 100 can display the virtual portable terminal board 1450 on the display unit 121 so that the virtual portable terminal board 1450 overlaps the recognized rectangular area as shown in FIG. 14 (b). For example, the wearable device 100 may display a virtual keyboard 1450 for a portable terminal in a transparent display or an opaque display.

도 15의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자가 손바닥(1510)에 손가락(1520)을 이용하여, 원(1530)을 그리는 경우, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 원을 그리는 모션을 인식할 수 있으며, 원을 입력 영역으로 설정할 수 있다.15A, when the user of the wearable device draws the circle 1530 with the finger 1520 on the palm 1510, the wearable device 100 uses the image sensor 111 To recognize the motion in which the circle is drawn, and to set the circle as the input area.

이때, 웨어러블 디바이스(100)는 도 15의 (b)에 도시된 바와 같이, 인식된 원형 영역에 가상의 다이얼 패드(1550)가 오버랩되도록 디스플레이부(121)에 표시할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 다이얼 패드(1550)를 표시할 수 있다.At this time, the wearable device 100 can display on the display unit 121 such that the virtual dial pad 1550 overlaps the recognized circular area, as shown in FIG. 15 (b). For example, the wearable device 100 may display a virtual dial pad 1550 on a transparent or opaque display.

따라서, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 입력 영역을 설정하는 모션의 종류에 따라 다른 형태의 가상 입력 인터페이스를 제공할 수 있으며, 모션의 종류에 따라 제공되는 가상 입력 인터페이스의 종류, 크기, 형태 등에 관한 정보는 웨어러블 디바이스(100)에 저장되어 있을 수 있다.
Accordingly, the wearable device 100 according to an embodiment of the present invention can provide different types of virtual input interfaces according to the type of motion for setting an input area, and can provide a virtual input interface type Size, shape, and the like of the wearable device 100 may be stored in the wearable device 100.

<도 16><Fig. 16>

도 16은 본 발명의 일 실시예에 따른 입력 영역이 설정된 객체에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다.16 is a diagram illustrating an example of providing a virtual input interface determined based on an object having an input area set according to an embodiment of the present invention.

도 16의 (a)를 참조하면, 웨어러블 디바이스 사용자는 책상 위에 입력 영역을 설정하기 위한 도형(예를 들어, 사각형)을 그릴 수 있다. 예를 들어, 웨어러블 디바이스 사용자는 양 손을 이용하여, 책상 위에 사각형을 그릴 수 있다.Referring to FIG. 16A, a user of the wearable device can draw a figure (for example, a rectangle) for setting an input area on a desk. For example, a user of a wearable device can draw a rectangle on a desk using both hands.

웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 양 손을 이용하여, 사각형을 그리는 모션을 입력 영역을 설정하는 모션으로 인식하여, 책상 위에 그려진 사각형 영역을 입력 영역으로 설정할 수 있다.The wearable device 100 can recognize a motion of a wearable device user using both hands as a motion for drawing a quadrangle as a motion for setting an input area and set a rectangular area drawn on the desk as an input area.

이때, 입력 영역이 설정된 실제 객체가 책상(1610)인 경우, 웨어러블 디바이스 사용자는 양 손 입력이 가능하므로, 웨어러블 디바이스(100)는 쿼티 자판(1620)을 가상의 입력 인터페이스로 결정할 수 있다.At this time, if the actual object to which the input area is set is the desk 1610, since the wearable device user can input both hands, the wearable device 100 can determine the QWERTY keyboard 1620 as a virtual input interface.

또한, 웨어러블 디바이스(100)는 쿼티 자판(1620)을 책상의 사각형 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 쿼티 자판(1620)을 표시할 수 있다.In addition, the wearable device 100 may display the QWERTY keyboard 1620 on the display unit 121 so as to overlap the rectangular area of the desk. For example, the wearable device 100 may display a virtual QWERTY keyboard 1620 on a transparent or opaque display.

한편, 도 16의 (b)를 참조하면, 웨어러블 디바이스 사용자는 손바닥() 위에 입력 영역을 설정하기 위한 도형(예를 들어, 사각형)을 그릴 수 있다. 예를 들어, 웨어러블 디바이스 사용자는 손가락을 이용하여, 손바닥(1630) 위에 사각형을 그릴 수 있다.16 (b), a user of the wearable device can draw a figure (e.g., a rectangle) for setting an input area on the palm (). For example, the wearable device user can draw a rectangle on the palm 1630 using his / her finger.

웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 손가락을 이용하여, 사각형을 그리는 모션을 입력 영역을 설정하는 모션으로 인식하여, 손바닥(1630) 위에 그려진 사각형 영역을 입력 영역으로 설정할 수 있다.The wearable device 100 can recognize the motion in which the wearable device user uses the finger to draw the quadrangle as a motion for setting the input region and set the rectangular region drawn on the palm 1630 as the input region.

이때, 입력 영역이 설정된 실제 객체가 손바닥(1630)인 경우, 웨어러블 디바이스 사용자는 한 손 입력만 가능하므로, 웨어러블 디바이스(100)는 휴대 단말용 자판을 가상의 입력 인터페이스로 결정할 수 있다.At this time, when the actual object to which the input area is set is the palm 1630, the wearable device user can only input one hand, so the wearable device 100 can determine the keyboard for the portable terminal as a virtual input interface.

또한, 웨어러블 디바이스(100)는 휴대 단말용 자판(1640)을 손바닥의 사각형 영역에 오버랩되도록 디스플레이부에 표시할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 휴대 단말용 자판(1640)을 표시할 수 있다.In addition, the wearable device 100 can display the keyboard 1640 for portable terminals on the display unit so as to overlap the rectangular area of the palm. For example, the wearable device 100 may display a virtual keyboard 1640 for a portable terminal in a transparent display or an opaque display.

또는, 입력 영역의 색상에 따라, 가상의 입력 인터페이스의 색상을 결정할 수 있다. 예를 들어, 입력 영역의 색상이 제1 색상인 경우, 가상의 입력 인터페이스의 색상을 제1 색상과 다른 제2 색상 또는 제1 색상의 보색인 제3 색상으로 결정할 수 있다. 이에 따라, 사용자는 입력 영역에 오버랩되어 표시되는 가상의 입력 인터페이스를 입력 영역으로부터 용이하게 구별할 수 있다.
Alternatively, the color of the virtual input interface can be determined according to the color of the input area. For example, when the color of the input area is the first color, the color of the virtual input interface may be determined as a second color different from the first color or a third color that is a complementary color of the first color. Accordingly, the user can easily distinguish the virtual input interface displayed overlapping the input area from the input area.

<도 17><Fig. 17>

도 17A 내지 도 17C는 본 발명의 일 실시예에 따른 웨어러블 디바이스가 입력 영역이 설정되는 실제 객체의 종류에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면들이다.17A to 17C are diagrams illustrating an example of providing a virtual input interface determined based on a type of a real object to which a wearable device is set according to an embodiment of the present invention.

도 17A 내지 도 17C는 사용자가 웨어러블 디바이스를 착용하고, 책을 읽다가 책 위에 입력 영역을 설정하는 모션을 수행하는 경우를 예로 들어 설명하기로 한다.17A to 17C illustrate a case where a wearer wears a wearable device, reads a book, and performs a motion of setting an input area on a book as an example.

본 발명의 일 실시예에 따른, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 입력 영역이 설정되는 실제 객체의 종류를 인식할 수 있다. 예를 들어, 도 17A에 도시된 바와 같이, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 책(1700) 위에 입력 도구(1701)를 이용하여 사각형(1710)을 그리는 사용자의 모션을 감지할 수 있다. 이때, 웨어러블 디바이스(100)는 영상 처리를 통해, 입력 영역이 그려지는 실제 객체가 책(1700)이라는 것을 식별할 수 있으며, 이에 따라 책(1700)에 대응하는 가상의 입력 인터페이스로 메모장을 결정할 수 있다.According to an embodiment of the present invention, the wearable device 100 can recognize the type of the actual object to which the input area is set by using the image sensor 111. [ For example, as shown in FIG. 17A, the wearable device 100 uses the image sensor 111 to move the user's motions of drawing the rectangle 1710 using the input tool 1701 on the book 1700 Can be detected. At this time, the wearable device 100 can identify through the image processing that the actual object to which the input area is drawn is the book 1700, and thus can determine the notepad with the virtual input interface corresponding to the book 1700 have.

도 17B에 도시된 바와 같이, 웨어러블 디바이스(100)는 가상의 메모장(1720)을 책(1700)에 설정된 입력 영역에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.As shown in FIG. 17B, the wearable device 100 may display a virtual notepad 1720 on a transparent or opaque display to overlap the input area set in the book 1700.

또한, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 영상 처리를 통해, 책(1700)에서 텍스트 또는 이미지가 표시되지 않는 여백 부분을 입력 영역으로 설정하고, 가상의 메모장(1720)을 여백 부분에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.In addition, the wearable device 100 according to an embodiment of the present invention sets a margin portion in which the text or image is not displayed in the book 1700 as an input region through image processing, and sets the virtual notepad 1720 as a margin Can be displayed on a transparent or opaque display so as to overlap the part.

또한, 웨어러블 디바이스(100)는 책(1700)에 대한 제1 깊이 값과 입력 도구(1701)에 대한 제2 깊이 값을 획득하고, 제1 깊이 값 및 제2 깊이 값에 기초하여, 입력이 발생하는 경우, 입력되는 가상의 메모장(1720) 위에 표시할 수 있다.In addition, the wearable device 100 obtains a first depth value for the book 1700 and a second depth value for the input tool 1701, and based on the first depth value and the second depth value, It can be displayed on the virtual notepad 1720 to be input.

또한, 도 17C에 도시된 바와 같이, 웨어러블 디바이스(100)는 가상의 메모장 위에 표시되는 입력 데이터(1730)를 사용자 입력에 기초하여, 저장할 수 있다.In addition, as shown in Fig. 17C, the wearable device 100 can store the input data 1730 displayed on the virtual notepad based on the user input.

이에 따라, 사용자는 웨어러블 디바이스(100)를 착용하고 책(1700)을 읽는 경우, 가상의 메모장을 이용하여, 중요한 정보를 용이하게 저장할 수 있다.
Accordingly, when the user wears the wearable device 100 and reads the book 1700, the user can easily store important information by using the virtual notepad.

<도 18>18,

도 18은 본 발명의 일 실시예에 따른 입력 영역을 설정하는 입력 도구에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다.18 is a diagram illustrating an example of providing a determined virtual input interface based on an input tool for setting an input area according to an embodiment of the present invention.

도 18을 참조하면, 웨어러블 디바이스 사용자는 입력 도구(예를 들어, 손가락, 펜 등)를 이용하여, 허공 또는 실제 객체 위에 입력 영역을 설정하기 위한 도형(예를 들어, 사각형)을 그릴 수 있다.Referring to Figure 18, a wearable device user may draw a graphic (e.g., a rectangle) for setting an input area on a blank or actual object using an input tool (e.g., a finger, pen, etc.).

웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 입력 도구를 이용하여 사각형을 그리는 모션을 입력 영역을 설정하는 모션으로 인식하여, 허공 또는 실제 객체 위에 그려진 사각형 영역을 입력 영역으로 설정할 수 있다.The wearable device 100 can recognize the motion of the wearable device user using the input tool to draw a rectangle as a motion for setting the input area and set the rectangular area drawn on the blank or actual object as the input area.

입력 영역이 설정되면, 웨어러블 디바이스(100)는 입력 영역을 설정하는 입력 도구에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다.When the input area is set, the wearable device 100 can determine a virtual input interface based on the input tool for setting the input area.

예를 들어, 도 18의 (a)에 도시된 바와 같이, 입력 영역(1820)을 설정하는 입력 도구가 손가락(1810)인 경우, 웨어러블 디바이스(100)는 손가락(1810)을 이용하여 터치하기 쉬운 휴대 단말용 자판(1830)을 가상의 입력 인터페이스로 결정할 수 있다.18 (a), when the input tool for setting the input area 1820 is a finger 1810, the wearable device 100 can easily touch the finger 1810 using the finger 1810. In this case, The keyboard 1830 for the portable terminal can be determined as a virtual input interface.

이에 따라, 웨어러블 디바이스(100)는 가상의 휴대 단말용 자판(1830)을 설정된 사각형 영역(1810)에 오버랩되도록 디스플레이부(121)에 표시할 수 있으며, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 휴대 단말용 자판(1830)을 표시할 수 있다.Accordingly, the wearable device 100 can display the virtual keyboard 1830 for the mobile terminal on the display unit 121 so as to overlap the set rectangular area 1810, and the wearable device 100 can display the transparent display or the opaque display 1810 It is possible to display the virtual keyboard 1830 for the portable terminal.

한편, 도 17의 (b)에 도시된 바와 같이, 입력 영역(1840)을 설정하는 입력 도구가 펜(1850)인 경우, 웨어러블 디바이스(100)는 펜(1850)을 이용하여 입력하기 쉬운 필기 입력 창(1860)을 가상의 입력 인터페이스로 결정할 수 있다.17 (b), when the input tool for setting the input area 1840 is a pen 1850, the wearable device 100 is configured to input a handwriting input The window 1860 can be determined as a virtual input interface.

이에 따라, 웨어러블 디바이스(100)는 가상의 필기 입력 창(1860)을 설정된 사각형 영역(1840)에 오버랩되도록 디스플레이부(121)에 표시할 수 있으며, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 필기 입력 창(1860)을 표시할 수 있다.
Accordingly, the wearable device 100 can display the virtual handwriting input window 1860 on the display unit 121 so as to overlap the set rectangular area 1840, and the wearable device 100 can be displayed on the transparent display or the opaque display A virtual handwriting input window 1860 can be displayed.

<도 19>19,

도 19는 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 실행되고 있는 어플리케이션에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.19 is a flowchart showing a method of providing a determined virtual input interface based on an application being executed in a wearable device according to an embodiment of the present invention.

도 19를 참조하면, 웨어러블 디바이스(100)는 어플리케이션을 실행시킬 수 있다. 예를 들어, 웨어러블 디바이스(100)는 웨어러블 디바이스(100)에 설치된 복수의 어플리케이션 중 어느 하나를 선택하여, 실행시킬 수 있다. 이때, 사용자는 음성 입력 또는 키 입력 등을 이용하여, 어플리케이션을 실행시킬 수 있다.Referring to FIG. 19, the wearable device 100 can execute an application. For example, the wearable device 100 can select one of a plurality of applications installed in the wearable device 100 and execute it. At this time, the user can execute the application by using voice input, key input, or the like.

어플리케이션을 실행시키는 중에 텍스트나 숫자 등의 입력이 필요한 경우(가상의 입력 인터페이스를 표시할 필요가 있는 경우), 웨어러블 디바이스(100)는 사용자 모션 등에 기초하여, 입력 영역을 설정할 수 있다(S1920). 이에 대해서는 도 2의 210단계(S210) 및 도 3 내지 5에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.If inputting of text or numbers is required during execution of the application (when it is necessary to display a virtual input interface), the wearable device 100 can set the input area based on the user's motion or the like (S1920). This has been described in detail in step 210 (S210) of FIG. 2 and FIGS. 3 to 5, and thus a detailed description thereof will be omitted.

웨어러블 디바이스(100)는 실행되는 어플리케이션의 종류에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다(S1930).The wearable device 100 can determine a virtual input interface based on the type of the executed application (S1930).

예를 들어, 실행되는 어플리케이션에서 텍스트 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 키보드(예를 들어, 쿼티 자판이나 휴대 단말용 자판 등)를 입력 인터페이스로 결정할 수 있다. 또는 실행되는 어플리케이션에서 숫자 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 다이얼 패드를 입력 인터페이스로 결정할 수 있다. 이에 대해서는 도 20을 참조하여, 자세히 설명하기로 한다.For example, when a text input is required in an application to be executed, the wearable device 100 can determine a virtual keyboard (e.g., a QWERTY keyboard or a portable terminal keyboard) as an input interface. Or when a numerical input is required in an application to be executed, the wearable device 100 can determine a virtual dial pad as an input interface. This will be described in detail with reference to FIG.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S1940).The wearable device 100 may display the determined virtual input interface to overlap the set input area (S1940).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다.At this time, the wearable device 100 may display a virtual input interface in the form of an augmented reality AR, a mixed reality MR, or a virtual reality VR.

예를 들어, 웨어러블 디바이스(100)는 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.For example, when the wearable device 100 displays a virtual input interface in the form of augmented reality or mixed reality, the wearable device 100 may display a virtual input interface on a transparent display such that the virtual input interface overlaps the input area have.

또한, 웨어러블 디바이스(100)는 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 불투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.In addition, when the wearable device 100 displays a virtual input interface in the form of a virtual reality, the wearable device 100 may display a virtual input interface on the opaque display so that the virtual input interface overlaps the input area.

웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S1950).The wearable device 100 may obtain a first depth value for the set input area and a second depth value for the input tool that touches the virtual input interface at step S1950.

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값을 비교하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S1960).The wearable device 100 may compare the first depth value with the second depth value to determine whether the input is generated through the virtual input interface (S1960).

도 19의 1940 단계(S1940) 내지 1960 단계(S1960)는 도 2의 230 단계(S230) 내지 250단계(S250)에 대응하므로, 구체적인 설명은 생략하기로 한다.
Steps S1940 to S1960 of FIG. 19 correspond to steps 230 to S250 of FIG. 2, and a detailed description thereof will be omitted.

<도 20>20,

도 20은 본 발명의 일 실시예에 따른 실행되는 어플리케이션의 종류에 기초하여, 결정된 가상의 입력 인터페이스가 제공되는 일례를 나타내는 도면이다.20 is a diagram showing an example in which a determined virtual input interface is provided based on a type of an executed application according to an embodiment of the present invention.

웨어러블 디바이스(100)는 사용자 입력에 기초하여, 통화 어플리케이션을 실행시킬 수 있다. 예를 들어, 음성 입력이나 키 입력 등을 이용하여, 통화 어플리케이션을 실행시킬 수 있다. The wearable device 100 may execute the call application based on the user input. For example, it is possible to execute a call application using voice input, key input, or the like.

통화 어플리케이션이 실행되는 경우, 웨어러블 디바이스 사용자는 통화를 요청할 상대방 단말의 전화번호를 입력하기 위한 가상의 입력 인터페이스를 표시하기 위해, 입력 영역을 설정할 수 있다. 예를 들어, 웨어러블 디바이스는 손바닥에 입력 영역을 설정하는 모션을 인식하여, 손바닥에 입력 영역을 설정할 수 있다.When the call application is executed, the wearable device user can set the input area to display a virtual input interface for inputting the telephone number of the counterpart terminal to request the call. For example, the wearable device recognizes the motion of setting the input area on the palm and can set the input area on the palm.

또한, 웨어러블 디바이스(100)는 현재 실행중인 어플리케이션에 대응하는 가상의 입력 인터페이스를 결정하고, 도 20의 (a)에 도시된 바와 같이, 입력 영역으로 설정된 손바닥(2010)에 가상의 다이얼 패드(2020)가 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.20A, the wearable device 100 determines a virtual input interface corresponding to the currently executing application and displays a virtual dial pad 2020 (Fig. 20A) on the palm 2010 set as the input area, ) Can be displayed on a transparent display or an opaque display so as to overlap.

한편, 웨어러블 디바이스(100)는 사용자 입력에 기초하여, 메모장 어플리케이션을 실행시킬 수 있다. 예를 들어, 사용자는 음성 입력이나 키 입력 등을 이용하여, 메모장 어플리케이션을 실행시킬 수 있다. Meanwhile, the wearable device 100 can execute the notepad application based on the user input. For example, the user can execute the notepad application using voice input, key input, or the like.

메모장 어플리케이션이 실행되는 경우, 웨어러블 디바이스 사용자는 텍스트를 입력하기 위한 가상의 입력 인터페이스를 표시하기 위해, 입력 영역을 설정할 수 있다. 예를 들어, 웨어러블 디바이스는 손바닥에 입력 영역을 설정하는 모션을 인식하여, 손바닥에 입력 영역을 설정할 수 있다.When the notepad application is executed, the wearable device user can set the input area to display a virtual input interface for inputting text. For example, the wearable device recognizes the motion of setting the input area on the palm and can set the input area on the palm.

또한, 웨어러블 디바이스(100)는 현재 실행중인 어플리케이션에 대응하는 가상의 입력 인터페이스를 결정하고, 도 20의 (b)에 도시된 바와 같이, 입력 영역으로 설정된 손바닥(2010)에 가상의 휴대 단말용 자판(2030)이 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다. 다만, 이에 한정되는 것은 아니다.
20 (b), the wearable device 100 determines a virtual input interface corresponding to the application currently being executed and displays the virtual keyboard for the portable terminal 30 on the palm 2010 set as the input area, The display 2030 may be displayed on a transparent display or opaque display so as to overlap. However, the present invention is not limited thereto.

<도 21>21,

도 21은 본 발명의 일 실시예에 따른 실행되는 컨텐츠의 종류에 기초하여, 결정된 가상의 입력 인터페이스를 설명하기 위한 도면이다.21 is a diagram for explaining a virtual input interface determined based on the type of contents to be executed according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 웨어러블 디바이스(100)에서 실행 중인 컨텐츠의 종류에 기초하여, 표시할 가상의 입력 인터페이스를 결정할 수 있다.The wearable device 100 according to an embodiment of the present invention can determine a virtual input interface to be displayed based on the type of content being executed in the wearable device 100. [

컨텐츠는 정지 영상, 동영상, 텍스트, 웹 페이지 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 컨텐츠는 교육 컨텐츠, 영화 컨텐츠, 방송 컨텐츠, 게임 컨텐츠, 광고 컨텐츠, 사진 컨텐츠, 뉴스 컨텐츠 등을 포함할 수 있다.The content may include, but is not limited to, still images, moving images, text, web pages, and the like. For example, the contents may include education contents, movie contents, broadcasting contents, game contents, advertisement contents, picture contents, news contents and the like.

컨텐츠를 실행한다는 것은 컨텐츠의 표시, 컨텐츠의 출력, 컨텐츠의 재생 등을 포함할 수 있다.The execution of the content may include display of the content, output of the content, reproduction of the content, and the like.

도 21을 참조하면, 웨어러블 디바이스(100)는 게임 컨텐츠(2110)를 실행하는 중에 입력 영역을 설정하는 사용자 모션을 감지할 수 있다. 이 경우, 웨어러블 디바이스(100)는 게임 컨텐츠(2110)에 대응하는 가상의 게임 컨트롤 패널(2115)을 설정된 입력 영역에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.Referring to FIG. 21, the wearable device 100 may detect a user motion for setting an input area while executing the game content 2110. In this case, the wearable device 100 may display a virtual game control panel 2115 corresponding to the game content 2110 on a transparent display or opaque display so as to overlap the set input area.

또한, 웨어러블 디바이스(100)는 음악 컨텐츠(2120, 예를 들어, 드럼 연주 컨텐츠)를 실행하는 중에 입력 영역을 설정하는 사용자 모션을 감지할 수 있다. 이 경우, 웨어러블 디바이스(100)는 음악 컨텐츠(2120)에 대응하는 드럼 연주 패널(2125)을 설정된 입력 영역에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.In addition, wearable device 100 may sense user motion to set an input area while executing music content 2120 (e.g., drum performance content). In this case, the wearable device 100 may display the drum performance panel 2125 corresponding to the music content 2120 on the transparent display or the opaque display so as to overlap the set input area.

또한, 웨어러블 디바이스(100)는 웹 페이지(2130)를 표시하는 중에 입력 영역을 설정하는 사용자 모션을 감지할 수 있다. 이 경우, 웨어러블 디바이스(100)는 웹 페이지에서 정보를 검색할 수 있도록 가상의 키보드(2135)를 설정된 입력 영역에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.
In addition, the wearable device 100 may sense a user motion to set an input area while displaying the web page 2130. [ In this case, the wearable device 100 may display the virtual keyboard 2135 on the transparent display or the opaque display so as to overlap the set input area so that the wearable device 100 can retrieve information from the web page.

<도 22 및 도 23> 22 and 23,

도 22 및 도 23은 본 발명의 일 실시예에 따른 웨어러블 디바이스가 이전에 가상의 입력 인터페이스가 제공되었던 실제 객체를 인식하는 경우, 이전에 제공되었던 가상의 입력 인터페이스와 동일한 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다.22 and 23 are diagrams for explaining a case where a wearable device according to an embodiment of the present invention provides the same virtual input interface as a previously provided virtual input interface when recognizing a real object to which a virtual input interface was previously provided Fig.

도 22의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자가 손바닥(2210)에 손가락(2220)을 이용하여, 사각형(2230)을 그리는 경우, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 사각형(2230)을 그리는 모션을 인식할 수 있으며, 사각형(2230)을 입력 영역으로 설정할 수 있다.22A, when the user of the wearable device draws a rectangle 2230 using the finger 2220 on the palm 2210, the wearable device 100 uses the image sensor 111 To recognize the motion of drawing the rectangle 2230, and to set the rectangle 2230 as the input area.

이때, 웨어러블 디바이스(100)는 현재 실행 중인 어플리케이션의 종류에 기초하여, 표시할 가상의 입력 인터페이스의 종류를 결정할 수 있다. 예를 들어, 텍스트 입력이 필요한 메모장 어플리케이션이 실행 중인 경우, 웨어러블 디바이스(100)는 가상의 입력 인터페이스로 휴대 단말용 자판(2250)을 결정할 수 있다. 다만, 이에 한정되는 것은 아니다.At this time, the wearable device 100 can determine the type of the virtual input interface to be displayed based on the type of the currently executed application. For example, when a notepad application requiring text input is running, the wearable device 100 can determine the keyboard 2250 for the mobile terminal with a virtual input interface. However, the present invention is not limited thereto.

웨어러블 디바이스(100)는 도 22의 (b)에 도시된 바와 같이, 인식된 사각형 영역에 가상의 휴대 단말용 자판(2250)이 오버랩되도록 디스플레이부에 표시할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 휴대 단말용 자판(2250)을 표시할 수 있다.The wearable device 100 can display the virtual portable terminal board 2250 on the display unit so that the virtual portable terminal board 2250 overlaps the recognized rectangular area as shown in FIG. 22 (b). For example, the wearable device 100 may display a virtual keyboard 2250 for a portable terminal on a transparent display or an opaque display.

이후에, 웨어러블 디바이스(100)는 메모장 어플리케이션을 실행 중에, 가상의 입력 인터페이스가 제공되었던 실제 객체(2220, 도 22의 (b)에 도시된 손바닥)와 동일한 객체를 인식할 수 있다. Thereafter, the wearable device 100 can recognize the same object as the actual object 2220 (palm shown in FIG. 22B) in which the virtual input interface was provided, while the notepad application is running.

예를 들어, 도 23의 (a)에 도시된 바와 같이, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 사용자의 손바닥(2210)을 감지할 수 있다. 이때, 웨어러블 디바이스(100)는 영상 처리를 통해, 인식된 사용자의 손바닥(2210)이 가상의 입력 인터페이스가 제공되었던 실제 객체(2210, 도 22의 (b)에 도시된 손바닥)라는 것을 식별할 수 있다.For example, as shown in FIG. 23 (a), the wearable device 100 can sense the palm 2210 of the user using the image sensor 111. At this time, the wearable device 100 can identify through the image processing that the recognized user's palm 2210 is the actual object 2210 (palm shown in FIG. 22B) to which the virtual input interface was provided have.

가상의 입력 인터페이스가 제공되었던 실제 객체(2210, 도 22의 (b)에 도시된 손바닥)가 인식되는 경우, 웨어러블 디바이스(100)는 23의 (b)에 도시된 바와 같이, 이전에 제공하였던 가상의 입력 인터페이스와 동일한 가상의 입력 인터페이스를 이전에 설정되었던 입력 영역에 제공할 수 있다. When the actual object 2210 (palm shown in (b) of FIG. 22) to which the virtual input interface is provided is recognized, the wearable device 100 transmits the virtual It is possible to provide the same virtual input interface as that of the input interface to the previously set input area.

예를 들어, 사용자가 입력 영역을 설정하기 위해, 입력 도구를 이용하여, 사각형을 그리는 동작을 수행하지 않아도, 웨어러블 디바이스(100)는 이전에 제공하였던 가상의 휴대 단말용 자판(2250)을 이전에 설정되었던 손바닥의 입력 영역(2270)에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.For example, even if the wearable device 100 does not perform the operation of drawing the rectangle by using the input tool to set the input area, the wearable device 100 can not recognize the virtual keyboard 2250 for the portable terminal previously Can be displayed on a transparent or opaque display to overlap the set input area 2270 of the palm that has been set.

따라서, 사용자는 과거에 가상의 입력 인터페이스가 표시되던 실제 객체를 인식시킴으로써, 과거에 제공되었던 가상의 입력 인터페이스를 제공받을 수 있다.
Accordingly, the user can be provided with a virtual input interface that was provided in the past by recognizing an actual object in which a virtual input interface was displayed in the past.

<도 24><Fig. 24>

도 24는 본 발명의 일 실시예에 따른 허공에 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다. FIG. 24 is a flowchart illustrating a method of providing a virtual input interface to an input region set in a sky according to an embodiment of the present invention.

도 24를 참조하면, 웨어러블 디바이스(100)는 허공에 입력 영역을 설정할 수 있다(S2410). 예를 들어, 도 3의 (a)에서 설명한 바와 같이, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 허공에 그리는 도형을 인식하고, 인식된 도형에 대응하는 영역을 입력 영역으로 설정할 수 있다. Referring to FIG. 24, the wearable device 100 can set an input area in a vacant space (S2410). 3 (a), the wearable device 100 recognizes a figure to be drawn in the air using an input tool (for example, a finger, a pen, a stick, or the like) An area corresponding to the graphic object to be set can be set as the input area.

웨어러블 디바이스(100)는 가상의 입력 인터페이스를 결정할 수 있다(S2420). The wearable device 100 may determine a virtual input interface (S2420).

예를 들어, 웨어러블 디바이스(100)는 설정된 입력 영역의 속성에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. 웨어러블 디바이스(100)는 입력 영역의 크기, 모양, 입력 영역과 웨어러블 디바이스 간의 거리(입력 영역에 대한 제1 깊이 값) 및 입력 영역 설정 모션 중 적어도 하나에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다.For example, the wearable device 100 can determine a virtual input interface based on the attribute of the set input area. The wearable device 100 displays on the display unit 121 based on at least one of the size and shape of the input area, the distance between the input area and the wearable device (the first depth value for the input area), and the input area setting motion A virtual input interface can be determined.

또는, 웨어러블 디바이스(100)는 실행되는 어플리케이션 또는 컨텐츠의 종류에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. 예를 들어, 실행되는 어플리케이션에서 텍스트 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 키보드(예를 들어, 쿼티 자판이나 휴대 단말용 자판 등)를 입력 인터페이스로 결정할 수 있다. 또는 실행되는 어플리케이션에서 숫자 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 다이얼 패드를 입력 인터페이스로 결정할 수 있다.Alternatively, the wearable device 100 can determine a virtual input interface based on the type of application or content to be executed. For example, when a text input is required in an application to be executed, the wearable device 100 can determine a virtual keyboard (e.g., a QWERTY keyboard or a portable terminal keyboard) as an input interface. Or when a numerical input is required in an application to be executed, the wearable device 100 can determine a virtual dial pad as an input interface.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S2430).The wearable device 100 may display the determined virtual input interface to overlap the set input area (S2430).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다.At this time, the wearable device 100 may display a virtual input interface in the form of an augmented reality AR, a mixed reality MR, or a virtual reality VR.

예를 들어, 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 웨어러블 디바이스(100)는, 투명 디스플레이를 투과하여 관측되는 입력 영역(현실 세계의 2차원 또는 3차원 공간)에 가상의 입력 인터페이스가 오버랩되도록, 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.For example, when displaying a virtual input interface in the form of an augmented reality or a mixed reality, the wearable device 100 is able to display a virtual input interface in the input area (two-dimensional or three-dimensional space in the real world) A virtual input interface may be displayed on the transparent display so that the input interface of the display device 100 overlaps.

또는, 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 웨어러블 디바이스(100)는 입력 영역(현실 세계의 2차원 또는 3차원 공간)을 포함하는 제1 이미지(실사 영상)를 촬영하고, 촬영된 제1 이미지의 입력 영역에 가상의 입력 인터페이스(가상 영상)를 추가하여 제2 이미지를 생성할 수 있다. 웨어러블 디바이스(100)는 가상의 입력 인터페이스가 입력 영역에 오버랩된 제2 이미지를 불투명 디스플레이에 표시할 수 있다.Alternatively, when displaying a virtual input interface in the form of a virtual reality, the wearable device 100 photographs a first image (real image) including an input area (two-dimensional or three-dimensional space of the real world) A virtual input interface (virtual image) may be added to an input area of the first image to generate a second image. The wearable device 100 may display a second image that the virtual input interface overlaps the input area on the opaque display.

웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S2440).The wearable device 100 may obtain a first depth value for the set input area and a second depth value for the input tool that touches the virtual input interface (S2440).

웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 설정된 입력 영역까지의 거리(설정된 입력 영역의 깊이 값, 제1 깊이 값)를 측정할 수 있다.The wearable device 100 can measure the distance to the input area set in the wearable device 100 (the depth value of the set input area, the first depth value) by using the depth sensor 112. [

예를 들어, 입력 영역이 허공에 설정된 경우, 웨어러블 디바이스(100)는 허공에 입력 영역을 설정하는 입력 도구(예를 들어, 손가락, 펜 등)에 대한 깊이 값을 측정하여, 입력 영역에 대한 제1 깊이 값을 획득할 수 있다.For example, when the input area is set to air, the wearable device 100 measures the depth value of an input tool (e.g., a finger, a pen, etc.) for setting an input area in the air, 1 depth value can be obtained.

한편, 설정된 입력 영역이 동일한 평면 상에 존재하지 않는 경우, 설정된 입력 영역의 깊이 값은 복수일 수 있다. 입력 영역의 깊이 값이 복수일 경우, 제1 깊이 값은 복수의 깊이 값을 평균한 평균 깊이 값, 복수의 깊이 값 중 가장 작은 최소 깊이 값, 복수의 깊이 값 중 최대 깊이 값 중 하나일 수 있으나, 이에 한정되는 것은 아니다.On the other hand, when the set input area does not exist on the same plane, the depth value of the set input area may be plural. When there are a plurality of depth values of the input region, the first depth value may be one of an average depth value obtained by averaging a plurality of depth values, a minimum minimum depth value among a plurality of depth values, and a maximum depth value among a plurality of depth values , But is not limited thereto.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 가상의 입력 인터페이스를 터치하는 입력 도구까지의 거리(입력 도구에 대한 깊이 값, 제2 깊이 값)를 측정할 수 있다.The wearable device 100 measures the distance (the depth value for the input tool, the second depth value) to the input tool that touches the virtual input interface in the wearable device 100 using the depth sensor 112 can do.

입력 도구가 3차원 물체인 경우, 입력 도구의 깊이 값은 복수일 수 있다. 입력 도구의 깊이 값이 복수일 경우, 제2 깊이 값은 복수의 깊이 값을 평균한 평균 깊이 값, 복수의 깊이 값 중 가장 작은 최소 깊이 값, 복수의 깊이 값 중 최대 깊이 값 중 하나일 수 있으나, 이에 한정되는 것은 아니다.When the input tool is a three-dimensional object, the depth value of the input tool may be plural. When the depth value of the input tool is plural, the second depth value may be one of an average depth value obtained by averaging a plurality of depth values, a minimum minimum depth value among a plurality of depth values, and a maximum depth value among a plurality of depth values , But is not limited thereto.

예를 들어, 입력 도구를 사용하여, 가상의 입력 인터페이스를 터치하는 경우, 입력 도구와 가상의 입력 인터페이스가 접촉하는 지점(입력 도구의 끝 점)을 제2 깊이 값으로 할 수 있다.For example, when an input tool is used to touch a virtual input interface, the point at which the input tool and the virtual input interface contact (the end point of the input tool) can be set as the second depth value.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 움직이는 입력 도구를 실시간으로 추적할 수 있으며, 실시간으로 변하는 제2 깊이 값을 계산할 수 있다.In addition, the wearable device 100 can use the depth sensor 112 to track the moving input tool in real time, and calculate a second depth value that changes in real time.

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값을 비교할 수 있다(S2450).The wearable device 100 may compare the first depth value and the second depth value (S2450).

예를 들어, 웨어러블 디바이스(100)는 제2 깊이 값이 제1 깊이 값보다 큰 지를 판단하여, 제2 깊이 값이 제1 깊이 값과 큰 경우, 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다(S2460).For example, the wearable device 100 may determine whether the second depth value is greater than the first depth value, and determine that an input via the virtual input interface has occurred if the second depth value is greater than the first depth value (S2460).

반면에, 웨어러블 디바이스(100)는 제2 깊이 값이 제1 깊이 값보다 작은 경우, 가상의 입력 인터페이스를 통한 입력이 발생하지 않은 것으로 결정할 수 있다(S2470).On the other hand, if the second depth value is smaller than the first depth value, the wearable device 100 may determine that no input through the virtual input interface has occurred (S2470).

이에 대해서는 도 25를 참조하여, 자세히 설명하기로 한다.
This will be described in detail with reference to FIG.

<도 25>25,

도 25는 입력영역이 허공에 설정된 경우, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 방법을 설명하기 위해 참조되는 도면이다.25 is a diagram referred to explain a method for determining whether an input is generated through a virtual input interface when an input area is set to air.

도 25를 참조하면, 웨어러블 디바이스(100)는 허공에 설정된 입력 영역에 가상의 키보드(2510)가 오버랩되어 나타나도록 투명 디스플레이 또는 불투명 디스플레이에 가상의 키보드(2510)를 표시할 수 있다.Referring to FIG. 25, the wearable device 100 may display a virtual keyboard 2510 on a transparent or opaque display so that a virtual keyboard 2510 overlaps with an input area set in the air.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 가상의 키보드(2510)에 대한 제1 깊이 값을 측정할 수 있다.The wearable device 100 may also use the depth sensor 112 to measure a first depth value for a virtual keyboard 2510. [

한편, 웨어러블 디바이스(100)는 웨어러블 디바이스(100)를 착용한 사용자가 이동하더라도, 제1 깊이 값을 갖는 입력 영역에 계속해서 가상의 입력 인터페이스(2510, 예를 들어, 가상의 키보드)가 오버랩되어 나타나도록 투명 디스플레이 또는 불투명 디스플레이에 가상의 키보드(2510)를 표시할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 사용자가 걷는 중이더라도 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)로부터 소정 거리(제1 깊이 값)만큼 떨어진 영역에 계속해서 가상의 키보드(2510)가 오버랩되어 나타나도록 조절할 수 있다. On the other hand, even if the user wearing the wearable device 100 moves, the wearable device 100 overlaps the virtual input interface 2510 (for example, a virtual keyboard) to the input area having the first depth value A virtual keyboard 2510 may be displayed on a transparent or opaque display to appear. For example, the wearable device 100 can use the depth sensor 112 to continue the virtual keyboard 2510 in a region distant from the wearable device 100 by a predetermined distance (first depth value) Can be adjusted to appear to overlap.

또한, 도 25를 참조하면, 웨어러블 디바이스 사용자는 손가락(2520)을 이용하여, 허공에 나타나는 가상의 키보드(2510)를 터치함으로써, 데이터를 입력할 수 있다. 25, a wearable device user can input data by touching a virtual keyboard 2510 appearing in the air using the finger 2520. [

이때, 웨어러블 디바이스(100)는 가상의 키보드(2510)를 터치하는 사용자의 손가락(2520)에 대한 깊이 값(제2 깊이 값)을 측정하여, 가상의 키보드(2510)를 통한 입력 발생 여부를 결정할 수 있다.At this time, the wearable device 100 measures the depth value (second depth value) of the finger 2520 of the user who touches the virtual keyboard 2510 and determines whether or not the input through the virtual keyboard 2510 is generated .

예를 들어, 도 25의 (a)에 도시된 바와 같이, 사용자는 가상의 키보드(2510)에 표시되는 일부 버튼을 선택하기 위해 손가락(2520)을 가상의 키보드 근처로 가져갈 수 있다. 이때, 사용자의 손가락(2520)이 가상의 키보드(2510)가 나타나는 입력 영역을 통과하지 않은 경우, 손가락(2520)에 대한 제2 깊이 값은 제1 깊이 값보다 작을 수 있다.For example, as shown in FIG. 25 (a), the user can bring the finger 2520 near the virtual keyboard to select some buttons displayed on the virtual keyboard 2510. [ At this time, when the user's finger 2520 does not pass through the input area where the virtual keyboard 2510 appears, the second depth value for the finger 2520 may be smaller than the first depth value.

웨어러블 디바이스(100)는 손가락(2520)에 대한 제2 깊이 값이 제1 깊이 값보다 작은 경우, 사용자가 가상의 키보드(2510)를 터치하지 않은 것으로 인식할 수 있으며, 가상의 키보드(2510)를 통한 입력이 발생되지 않은 것으로 결정할 수 있다.The wearable device 100 may recognize that the user has not touched the virtual keyboard 2510 if the second depth value for the finger 2520 is less than the first depth value, It can be determined that no input has been generated.

반면에, 도 25의 (b)에 도시된 바와 같이, 사용자의 손가락(2520)이 가상의 키보드(2510)가 나타나는 입력 영역을 통과하는 경우, 손가락(2520)에 대한 제2 깊이 값은 제1 깊이 값보다 클 수 있다.On the other hand, when the user's finger 2520 passes through the input area in which the virtual keyboard 2510 appears, the second depth value for the finger 2520 is the first depth value for the finger 2520, as shown in FIG. 25 (b) May be greater than the depth value.

웨어러블 디바이스(100)는 손가락(2520)에 대한 제2 깊이 값이 제1 깊이 값보다 큰 경우, 사용자가 가상의 키보드(2510)를 터치한 것으로 인식할 수 있다.The wearable device 100 can recognize that the user has touched the virtual keyboard 2510 when the second depth value for the finger 2520 is greater than the first depth value.

또한, 웨어러블 디바이스(100)는 가상의 키보드(2510)를 사용자가 터치한 것으로 인식되는 경우, 이미지 센서(111)를 이용하여, 가상의 키보드(2510) 상의 사용자의 손가락(2520) 위치를 검출할 수 있다. 웨어러블 디바이스(100)는 검출된 손가락 위치에 기초하여, 사용자의 입력 데이터를 결정할 수 있다. 예를 들어, 사용자의 손가락(2520)이 가상의 키보드에 포함된 ‘enter’ 버튼을 통과하고 있는 경우, 웨어러블 디바이스(100)는 사용자가 ‘enter’ 버튼을 선택한 것으로 판단할 수 있다.The wearable device 100 detects the position of the user's finger 2520 on the virtual keyboard 2510 using the image sensor 111 when the wearable device 100 recognizes that the user has touched the virtual keyboard 2510 . The wearable device 100 can determine the user's input data based on the detected finger position. For example, if the user's finger 2520 is passing through the 'enter' button included in the virtual keyboard, the wearable device 100 may determine that the user has selected the 'enter' button.

본 발명의 일 실시예에 따르면, 웨어러블 디바이스(100)는 사용자가 허공에 설정한 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구(예를 들어, 손가락, 펜 등)에 대한 제2 깊이 값을 비교함으로써, 허공에 제공되는 가상의 입력 인터페이스를 통한 사용자의 입력 발생 여부를 정확히 판단할 수 있다.
According to one embodiment of the present invention, the wearable device 100 is provided with an input tool (e.g., a finger, a pen, etc.) that touches a virtual input interface with a first depth value for an input area set by the user in the air It is possible to accurately determine whether or not the user's input is generated through the virtual input interface provided in the air.

<도 26>26,

도 26은 본 발명의 일 실시예에 따른 허공 또는 실제 객체에 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.FIG. 26 is a flowchart illustrating a method of providing a virtual input interface to an input region set in a light or real object according to an exemplary embodiment of the present invention.

도 26을 참조하면, 웨어러블 디바이스(100)는 허공 또는 실제 객체 위에 입력 영역을 설정할 수 있다(S2610). 예를 들어, 도 3에서 설명한 바와 같이, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 허공 또는 실제 객체(예를 들어, 손바닥, 책상, 벽 등) 위에 그리는 도형을 인식하고, 인식된 도형에 대응하는 영역을 입력 영역으로 설정할 수 있다.Referring to FIG. 26, the wearable device 100 may set an input area on a space or an actual object (S2610). 3, the wearable device 100 may be configured to allow a user to manipulate a space or physical object (e.g., a palm, a desk, a desk, etc.) using an input tool (e.g., a finger, a pen, Wall, etc.), and set an area corresponding to the recognized figure as an input area.

또는, 도 4에서 설명한 바와 같이, 웨어러블 디바이스(100)는 기 설정된 객체를 인식하여, 인식된 객체에 대응하는 영역을 입력 영역으로 설정할 수 있다. Alternatively, as described with reference to FIG. 4, the wearable device 100 may recognize a predetermined object and set an area corresponding to the recognized object as an input area.

또는, 도 5에서 설명한 바와 같이, 웨어러블 디바이스(100)는 사용자가 입력 도구를 이용하여, 기 설정된 객체를 터치하는 동작을 인식하여, 터치된 객체에 대응하는 영역을 입력 영역으로 설정할 수 있다.Alternatively, as described with reference to FIG. 5, the wearable device 100 may recognize the operation of touching a preset object by using the input tool, and may set an area corresponding to the touched object as an input area.

웨어러블 디바이스(100)는 가상의 입력 인터페이스를 결정할 수 있다(S2620). The wearable device 100 may determine a virtual input interface (S2620).

예를 들어, 웨어러블 디바이스(100)는 설정된 입력 영역의 속성에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. 웨어러블 디바이스(100)는 입력 영역의 크기, 모양, 입력 영역과 웨어러블 디바이스 간의 거리(입력 영역에 대한 제1 깊이 값), 입력 영역이 설정된 실제 객체의 종류, 입력 영역 설정 모션 중 적어도 하나에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다.For example, the wearable device 100 can determine a virtual input interface based on the attribute of the set input area. The wearable device 100 is configured to generate a wearable device 100 based on at least one of the size and shape of the input area, the distance between the input area and the wearable device (first depth value for the input area), the type of the actual object to which the input area is set, , A virtual input interface to be displayed on the display unit 121 can be determined.

또는, 웨어러블 디바이스(100)는 실행되는 어플리케이션 또는 컨텐츠의 종류에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. 예를 들어, 실행되는 어플리케이션에서 텍스트 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 키보드(예를 들어, 쿼티 자판이나 휴대 단말용 자판 등)를 입력 인터페이스로 결정할 수 있다. 또는 실행되는 어플리케이션에서 숫자 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 다이얼 패드를 입력 인터페이스로 결정할 수 있다.Alternatively, the wearable device 100 can determine a virtual input interface based on the type of application or content to be executed. For example, when a text input is required in an application to be executed, the wearable device 100 can determine a virtual keyboard (e.g., a QWERTY keyboard or a portable terminal keyboard) as an input interface. Or when a numerical input is required in an application to be executed, the wearable device 100 can determine a virtual dial pad as an input interface.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S2630).The wearable device 100 may display the determined virtual input interface to overlap the set input area (S2630).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다.At this time, the wearable device 100 may display a virtual input interface in the form of an augmented reality AR, a mixed reality MR, or a virtual reality VR.

예를 들어, 웨어러블 디바이스(100)는 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. For example, when the wearable device 100 displays a virtual input interface in the form of augmented reality or mixed reality, the wearable device 100 may display a virtual input interface on a transparent display such that the virtual input interface overlaps the input area have.

또한, 웨어러블 디바이스(100)는 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 불투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.In addition, when the wearable device 100 displays a virtual input interface in the form of a virtual reality, the wearable device 100 may display a virtual input interface on the opaque display so that the virtual input interface overlaps the input area.

도 26의 2630단계(S2630)는 도 24의 2430단계(S2430)와 동일하므로, 구체적인 설명은 생략하기로 한다.26, step S2630 is the same as step 2430 (S2430) of FIG. 24, so a detailed description thereof will be omitted.

웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S2640).The wearable device 100 may obtain a first depth value for the set input area and a second depth value for the input tool that touches the virtual input interface at step S2640.

예를 들어, 입력 영역이 허공에 설정된 경우, 웨어러블 디바이스(100)는 허공에 입력 영역을 설정하는 입력 도구(예를 들어, 손가락, 펜 등)에 대한 깊이 값을 측정하여, 입력 영역에 대한 제1 깊이 값을 획득할 수 있다.For example, when the input area is set to air, the wearable device 100 measures the depth value of an input tool (e.g., a finger, a pen, etc.) for setting an input area in the air, 1 depth value can be obtained.

또한, 입력 영역이 실제 객체 위에 설정된 경우, 웨어러블 디바이스(100)는 실제 객체의 깊이 값(웨어러블 디바이스로부터 실제 객체까지의 거리)을 측정하여, 입력 영역에 대한 제1 깊이 값을 획득할 수 있다.In addition, when the input area is set on the actual object, the wearable device 100 can obtain the first depth value for the input area by measuring the depth value of the actual object (the distance from the wearable device to the actual object).

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 가상의 입력 인터페이스를 터치하는 입력 도구까지의 거리(입력 도구에 대한 깊이 값, 제2 깊이 값)를 측정할 수 있다.The wearable device 100 measures the distance (the depth value for the input tool, the second depth value) to the input tool that touches the virtual input interface in the wearable device 100 using the depth sensor 112 can do.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 움직이는 입력 도구를 실시간으로 추적할 수 있으며, 실시간으로 변하는 제2 깊이 값을 계산할 수 있다.In addition, the wearable device 100 can use the depth sensor 112 to track the moving input tool in real time, and calculate a second depth value that changes in real time.

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값의 차이값을 기 설정된 임계값과 비교할 수 있다(S2650).The wearable device 100 may compare the difference value between the first depth value and the second depth value with a preset threshold value (S2650).

예를 들어, 웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값의 차이 값이 임계값보다 작은 지를 판단하여, 제1 깊이 값과 제2 깊이 값의 차이 값이 임계값보다 작은 경우, 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다(S2660).For example, the wearable device 100 determines whether the difference between the first depth value and the second depth value is smaller than the threshold value. If the difference value between the first depth value and the second depth value is smaller than the threshold value, It can be determined that the input through the virtual input interface has occurred (S2660).

반면에, 웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값의 차이 값이 임계값 이상인 경우, 가상의 입력 인터페이스를 통한 입력이 발생하지 않은 것으로 결정할 수 있다(S2670).On the other hand, if the difference between the first depth value and the second depth value is equal to or greater than the threshold value, the wearable device 100 can determine that no input through the virtual input interface has occurred (S2670).

이에 대해서는 도 27을 참조하여, 자세히 설명하기로 한다.
This will be described in detail with reference to FIG.

<도 27><Fig. 27>

도 27은 입력 영역이 실제 객체에 설정된 경우, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 방법을 설명하기 위해 참조되는 도면이다.27 is a diagram for explaining a method for determining whether an input is generated through a virtual input interface when an input area is set to an actual object.

도 27을 참조하면, 웨어러블 디바이스(100)는 실제 객체(예를 들어, 손바닥)에 설정된 입력 영역에 가상의 키보드(2730)가 오버랩되어 나타나도록 투명 디스플레이 또는 불투명 디스플레이에 가상의 키보드(2730)를 표시할 수 있다.27, the wearable device 100 displays a virtual keyboard 2730 on a transparent or opaque display so that a virtual keyboard 2730 overlaps the input area set on the actual object (e.g., the palm) Can be displayed.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 손바닥(2710)에 대한 제1 깊이 값을 측정할 수 있다.The wearable device 100 may also use the depth sensor 112 to measure a first depth value for the palm 2710. [

한편, 웨어러블 디바이스(100)는 손바닥(2710)의 위치가 변하더라도, 손바닥(2710)을 실시간으로 추적할 수 있으며, 실시간으로 변하는 제1 깊이 값을 계산하여, 계속해서 손바닥(2710)에 가상의 키보드(2730)가 오버랩되어 나타나도록 조절할 수 있다.Meanwhile, the wearable device 100 can track the palm 2710 in real time even if the position of the palm 2710 changes, calculates the first depth value varying in real time, It is possible to adjust the keyboard 2730 to appear overlapping.

또한, 도 27을 참조하면, 웨어러블 디바이스 사용자는 손가락(2720)을 이용하여, 손바닥(2710)에 나타나는 가상의 키보드(2730)를 터치함으로써, 데이터를 입력할 수 있다.27, a user of the wearable device can input data by touching a virtual keyboard 2730 appearing on the palm 2710 using the finger 2720. [

이때, 웨어러블 디바이스(100)는 가상의 키보드(2730)를 터치하는 사용자의 손가락(2720)에 대한 깊이 값(제2 깊이 값)을 측정하여, 가상의 키보드(2730)를 통한 입력 발생 여부를 결정할 수 있다.At this time, the wearable device 100 measures the depth value (second depth value) of the finger 2720 of the user who touches the virtual keyboard 2730 and determines whether or not the input through the virtual keyboard 2730 is generated .

도 27의 (a)에 도시된 바와 같이, 사용자는 손가락(2720)이 손바닥(2710)에서 소정 거리 이상 떨어져 있는 경우, 웨어러블 디바이스(100)는 가상의 키보드(2730)를 통한 입력이 발생되지 않은 것으로 결정할 수 있다.27A, when the user is away from the palm 2710 by a predetermined distance or more from the palm 2710, the wearable device 100 can recognize that the input through the virtual keyboard 2730 is not generated .

예를 들어, 가상의 키보드(2730)가 나타나는 손바닥(2710)에 대한 제1 깊이 값과 손가락에 대한 제2 깊이 값의 차가 임계값 이상인 경우, 사용자가 가상의 키보드(2730)를 터치하지 않은 것으로 인식할 수 있으며, 가상의 키보드(2730)를 통한 입력이 발생되지 않은 것으로 결정할 수 있다.For example, if the difference between the first depth value for the palm 2710 where the virtual keyboard 2730 appears and the second depth value for the finger is equal to or greater than the threshold value, the user does not touch the virtual keyboard 2730 And it can be determined that input through the virtual keyboard 2730 has not occurred.

반면에, 도 27의 (b)에 도시된 바와 같이, 사용자가 가상의 키보드(2730)에 표시되는 일부 버튼을 선택하기 위해 손가락(2720)을 가상의 키보드(2730) 근처로 가져갈 수 있다. 이때, 손바닥(2710)에 대한 제1 깊이 값과 손가락에 대한 제2 깊이 값의 차가 임계값보다 작은 경우, 사용자가 가상의 키보드(2730)를 터치한 것으로 인식할 수 있다.On the other hand, as shown in FIG. 27 (b), the user can bring the finger 2720 near the virtual keyboard 2730 to select some buttons displayed on the virtual keyboard 2730. At this time, if the difference between the first depth value for the palm 2710 and the second depth value for the finger is smaller than the threshold value, the user can recognize that the virtual keyboard 2730 is touched.

또한, 웨어러블 디바이스(100)는 손바닥(2710)에 대한 제1 깊이 값과 손가락(2720)에 대한 제2 깊이 값의 차가 임계값보다 작은 경우, 이미지 센서(111)를 이용하여, 가상의 키보드(2730) 상의 사용자의 손가락(2720) 위치를 검출할 수 있다. 웨어러블 디바이스(100)는 검출된 손가락(2720) 위치에 기초하여, 사용자의 입력 데이터를 결정할 수 있다. 예를 들어, 사용자의 손가락(2720)이 가상의 키보드(2730)에 포함된 ‘enter’ 버튼을 통과하고 있는 경우, 웨어러블 디바이스(100)는 사용자가 ‘enter’ 버튼을 선택한 것으로 판단할 수 있다.The wearable device 100 may also use the image sensor 111 to determine whether the virtual depth of the fingertip 2720 is greater than the threshold value if the difference between the first depth value for the palm 2710 and the second depth value for the finger 2720 is less than a threshold, 2730) of the user's finger (2720). The wearable device 100 can determine the user's input data based on the detected finger 2720 position. For example, when the user's finger 2720 is passing through the 'enter' button included in the virtual keyboard 2730, the wearable device 100 can determine that the user has selected the 'enter' button.

본 발명의 일 실시예에 따르면, 웨어러블 디바이스(100)는 사용자가 허공 또는 실제 객체에 설정한 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구(예를 들어, 손가락, 펜 등)에 대한 제2 깊이 값을 비교함으로써, 허공 또는 실제 객체에 제공되는 가상의 입력 인터페이스를 통한 사용자의 입력 발생 여부를 정확히 판단할 수 있다.
According to one embodiment of the present invention, the wearable device 100 may include an input tool (e.g., a finger, a pen, etc.) that touches a virtual input interface with a first depth value for an input area Etc.), it is possible to accurately determine whether the user's input is generated through the virtual input interface provided to the air or the real object.

<도 28>28,

도 28은 본 발명의 일 실시예에 따른 입력 영역에 대한 제1 깊이 값과 입력 도구에 대한 제2 깊이 값을 획득하는 방법을 설명하기 위해 참조되는 도면이다.28 is a diagram for explaining a method of acquiring a first depth value for an input area and a second depth value for an input tool according to an embodiment of the present invention.

도 28에서는 웨어러블 디바이스 사용자가 키보드 입력이 필요한 경우, 손바닥을 입력 영역으로 이용하여, 가상의 키보드를 표시하는 경우를 예로 들어 설명하기로 한다.In Fig. 28, when a wearable device user requires a keyboard input, a case where a palm is used as an input area to display a virtual keyboard will be described as an example.

도 28의 (a)를 참조하면, 사용자는 안경 형태의 웨어러블 디바이스(100, 제1 웨어러블 디바이스)를 착용한 상태에서, 왼손바닥(2820)에 입력 영역을 설정할 수 있으며, 왼손목에 제2 웨어러블 디바이스(2810)를 착용한 상태일 수 있다. 이때, 제2 웨어러블 디바이스(2810)는 사용자의 손목에 착용할 수 있는 형태일 수 있으며, 시계, 팔찌, 밴드 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.28A, a user can set an input area on the left-hand floor 2820 while wearing a wearable device 100 (first wearable device) in the form of a glasses, and a second wearable Device 2810 may be worn. At this time, the second wearable device 2810 may be a form that can be worn on the wearer's wrist, and may include a clock, a bracelet, a band, and the like, but is not limited thereto.

이때, 제2 웨어러블 디바이스(2810)는 위치 센서를 포함할 수 있으며, 위치 센서를 이용하여, 제2 웨어러블 디바이스의 위치 정보를 센싱할 수 있다.At this time, the second wearable device 2810 may include a position sensor, and the position information of the second wearable device may be sensed using the position sensor.

또한, 제1 웨어러블 디바이스(100) 및 제2 웨어러블 디바이스(2810)는 통신부를 포함하여, 서로 데이터를 송수신할 수 있으며, 제2 웨어러블 디바이스(2810)는 센싱된 제2 웨어러블 디바이스의 위치 정보를 제1 웨어러블 디바이스(100)로 송신할 수 있다.The first wearable device 100 and the second wearable device 2810 may communicate with each other including a communication unit and the second wearable device 2810 may transmit positional information of the sensed second wearable device 1 wearable device 100 as shown in FIG.

한편, 제1 웨어러블 디바이스(100)는 위치 센서를 포함할 수 있으며, 위치 센서를 이용하여, 제1 웨어러블 디바이스(100)의 위치 정보를 센싱할 수 있다.Meanwhile, the first wearable device 100 may include a position sensor, and the position information of the first wearable device 100 may be sensed using the position sensor.

제1 웨어러블 디바이스(100)는 센싱된 제1 웨어러블 디바이스의 위치 정보와 수신한 제2 웨어러블 디바이스(2810)의 위치 정보를 비교하여, 제1 웨어러블 디바이스(100)와 제2 웨어러블 디바이스(2810) 사이의 거리를 계산할 수 있다.The first wearable device 100 compares the sensed position information of the first wearable device with the positional information of the received second wearable device 2810 to determine the positional relationship between the first wearable device 100 and the second wearable device 2810 Can be calculated.

제2 웨어러블 디바이스(2810)를 착용한 왼 손목이 제1 웨어러블 디바이스(100)로부터 떨어진 거리와 가상의 키보드가 나타나는 입력 영역으로 설정된 왼 손바닥이 제1 웨어러블 디바이스로부터 떨어진 거리는 유사할 수 있다. 이에 따라, 제1 웨어러블 디바이스(100)는 제2 웨어러블 디바이스(2810)와 제1 웨어러블 디바이스(100) 사이의 거리를 제1 깊이 값으로 할 수 있다.The distance of the left wrist wearing the second wearable device 2810 from the first wearable device 100 and the distance left palm away from the first wearable device set to the input area where the virtual keyboard appears may be similar. Accordingly, the first wearable device 100 can set the distance between the second wearable device 2810 and the first wearable device 100 as the first depth value.

이에 따라, 제1 웨어러블 디바이스(100)는 제2 웨어러블 디바이스(2810)의 위치 정보를 사용하여, 정확한 제1 깊이 값을 획득할 수 있다.Accordingly, the first wearable device 100 can use the positional information of the second wearable device 2810 to obtain the correct first depth value.

한편, 도 28의 (b)를 참조하면, 사용자는 안경 형태의 웨어러블 디바이스(제1 웨어러블 디바이스)를 착용한 상태에서, 왼 손바닥(2820)에 입력 영역을 설정할 수 있으며, 오른 손가락(2830)에 제3 웨어러블 디바이스(2850)를 착용한 상태일 수 있다. 이때, 제3 웨어러블 디바이스(2850)는 사용자의 손가락에 착용할 수 있는 형태일 수 있으며, 골무, 반지 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.28B, the user can set an input area on the left-handed palm 2820 while wearing a wearable device (first wearable device) in the form of a glass, The third wearable device 2850 may be worn. At this time, the third wearable device 2850 may be in a shape worn on the user's finger, and may include thimble, ring, and the like, but is not limited thereto.

이때, 제3 웨어러블 디바이스(2850)는 위치 센서를 포함할 수 있으며, 위치 센서를 이용하여, 제3 웨어러블 디바이스(2850)의 위치 정보를 센싱할 수 있다.At this time, the third wearable device 2850 may include a position sensor, and the position information of the third wearable device 2850 may be sensed using the position sensor.

또한, 제1 웨어러블 디바이스(100) 및 제3 웨어러블 디바이스(2850)는 통신부를 포함하여, 서로 데이터를 송수신할 수 있으며, 제3 웨어러블 디바이스(2850)는 센싱된 제3 웨어러블 디바이스(2850)의 위치 정보를 제1 웨어러블 디바이스(100)로 송신할 수 있다.The first wearable device 100 and the third wearable device 2850 can communicate with each other including the communication unit and the third wearable device 2850 can transmit and receive data to and from the position of the sensed third wearable device 2850 Information to the first wearable device 100 can be transmitted.

한편, 제1 웨어러블 디바이스(100)는 위치 센서를 포함할 수 있으며, 위치 센서를 이용하여, 제1 웨어러블 디바이스(100)의 위치 정보를 센싱할 수 있다.Meanwhile, the first wearable device 100 may include a position sensor, and the position information of the first wearable device 100 may be sensed using the position sensor.

제1 웨어러블 디바이스(100)는 센싱된 제1 웨어러블 디바이스(100)의 위치 정보와 수신한 제3 웨어러블 디바이스(2850)의 위치 정보를 비교하여, 제1 웨어러블 디바이스(100)와 제3 웨어러블 디바이스(2850) 사이의 거리를 계산할 수 있다.The first wearable device 100 compares the positional information of the sensed first wearable device 100 with the positional information of the received third wearable device 2850 to compare the positional information of the first wearable device 100 and the third wearable device 2850 2850 can be calculated.

도 28의 (b)에 도시된 바와 같이, 제3 웨어러블 디바이스(2850, 예를 들어, 골무)를 착용한 손가락이 가상의 키보드(2840)를 터치하는 입력도구로 사용되는 경우, 골무(2850)의 깊이 값이 손가락(2830)의 깊이 값이 될 수 있으며, 골무(2850, 제3 웨어러블 디바이스)와 제1 웨어러블 디바이스(100) 사이의 거리를 제2 깊이 값으로 할 수 있다.28 (b), when a finger wearing a third wearable device 2850 (e.g., thimble) is used as an input tool to touch a virtual keyboard 2840, The depth value of the finger 2830 may be the depth value of the finger 2830 and the distance between the thimble 2850 (the third wearable device) and the first wearable device 100 may be the second depth value.

이에 따라, 제1 웨어러블 디바이스(100)는 제3 웨어러블 디바이스(2850)의 위치 정보를 사용하여, 정확한 제1 깊이 값을 획득할 수 있다.
Accordingly, the first wearable device 100 can use the position information of the third wearable device 2850 to obtain the correct first depth value.

<도 29>29,

도 29는 본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 통한 입력 발생 여부에 대한 피드백을 제공하는 방법을 나타내는 흐름도이다.29 is a flowchart illustrating a method for providing feedback on whether an input is generated through a virtual input interface according to an exemplary embodiment of the present invention.

도 29를 참조하면, 웨어러블 디바이스(100)는 입력 영역을 설정할 수 있다(S2910). Referring to FIG. 29, the wearable device 100 can set an input area (S2910).

입력 영역이 설정되면, 웨어러블 디바이스(100)는 가상의 입력 인터페이스를 결정할 수 있다(S2920). When the input area is set, the wearable device 100 can determine a virtual input interface (S2920).

예를 들어, 웨어러블 디바이스(100)는 설정된 입력 영역의 속성에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. 웨어러블 디바이스(100)는 입력 영역의 크기, 모양, 입력 영역과 웨어러블 디바이스(100) 간의 거리(입력 영역에 대한 제1 깊이 값) 및 입력 영역 설정 모션 중 적어도 하나에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다.For example, the wearable device 100 can determine a virtual input interface based on the attribute of the set input area. The wearable device 100 displays on the display unit 121 based on at least one of the size and shape of the input area, the distance between the input area and the wearable device 100 (the first depth value for the input area) It is possible to determine a virtual input interface to be displayed on the screen.

또는, 웨어러블 디바이스(100)는 실행되는 어플리케이션 또는 컨텐츠의 종류에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. 예를 들어, 실행되는 어플리케이션에서 텍스트 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 키보드(예를 들어, 쿼티 자판이나 휴대 단말용 자판 등)를 입력 인터페이스로 결정할 수 있다. 또는 실행되는 어플리케이션에서 숫자 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 다이얼 패드를 입력 인터페이스로 결정할 수 있다.Alternatively, the wearable device 100 can determine a virtual input interface based on the type of application or content to be executed. For example, when a text input is required in an application to be executed, the wearable device 100 can determine a virtual keyboard (e.g., a QWERTY keyboard or a portable terminal keyboard) as an input interface. Or when a numerical input is required in an application to be executed, the wearable device 100 can determine a virtual dial pad as an input interface.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S2930).The wearable device 100 may display the determined virtual input interface to overlap the set input area (S2930).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다.At this time, the wearable device 100 may display a virtual input interface in the form of an augmented reality AR, a mixed reality MR, or a virtual reality VR.

예를 들어, 웨어러블 디바이스(100)는 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.For example, when the wearable device 100 displays a virtual input interface in the form of augmented reality or mixed reality, the wearable device 100 may display a virtual input interface on a transparent display such that the virtual input interface overlaps the input area have.

또한, 웨어러블 디바이스(100)는 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 불투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.In addition, when the wearable device 100 displays a virtual input interface in the form of a virtual reality, the wearable device 100 may display a virtual input interface on the opaque display so that the virtual input interface overlaps the input area.

웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S2940).The wearable device 100 may obtain a first depth value for the set input area and a second depth value for the input tool that touches the virtual input interface (S2940).

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값을 비교하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S2950).The wearable device 100 may compare the first depth value with the second depth value to determine whether the input is generated through the virtual input interface (S2950).

도 29의 2930 단계(S2930) 내지 2950 단계(S2950)는 도 2의 230 단계(S230) 내지 250 단계(S250)에 대응하므로, 구체적인 설명은 생략하기로 한다.Steps 2930 to 2950 (S2950) of FIG. 29 correspond to steps 230 (S230) to 250 (S250) of FIG. 2, and a detailed description thereof will be omitted.

웨어러블 디바이스(100)는 가상의 입력 인터페이스를 통한 입력이 발생된 경우, 입력 발생에 대응하는 알림 신호를 출력할 수 있다(S2960). 이때, 알림 신호는 비디오 신호, 오디오 신호, 햅틱 신호 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.When the input through the virtual input interface is generated, the wearable device 100 can output a notification signal corresponding to the input generation (S2960). At this time, the notification signal may include at least one of a video signal, an audio signal, and a haptic signal, but is not limited thereto.

이에 대해서는 도 30 내지 32을 참조하여, 자세히 설명하기로 한다.
This will be described in detail with reference to FIGS. 30 to 32. FIG.

<도 30 및 31>30 and 31:

도 30 및 31은 본 발명의 일 실시예에 따른 웨어러블 디바이스의 입력 발생 여부에 대응하는 알림 신호를 출력하는 일례를 나타내는 도면들이다.30 and 31 are diagrams illustrating an example of outputting a notification signal corresponding to whether an input of a wearable device is generated according to an embodiment of the present invention.

도 30 및 도 31에 도시된 바와 같이, 웨어러블 디바이스(100)는 손바닥에 입력 영역을 설정하는 사용자 모션을 인식하여, 손바닥(3010)에 오버랩되도록 가상의 키보드(3030)를 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.30 and 31, the wearable device 100 recognizes the user's motions for setting the input area on the palm of his hand and displays the virtual keyboard 3030 on the transparent display or the opaque display to overlap the palm 3010 Can be displayed.

이때, 사용자는 손가락(3020)을 이용하여, 가상의 키보드(3030)에 표시된 버튼을 터치하여, 입력을 수행할 수 있다.At this time, the user can touch the button displayed on the virtual keyboard 3030 using the finger 3020 to perform input.

웨어러블 디바이스(100)는 사용자의 손가락(3020)에 대한 깊이 값(제2 깊이 값)과 손바닥(3010)에 대한 깊이 값(제1 깊이 값)을 비교하여, 제1 깊이 값과 제2 깊이 값의 차이가 임계값보다 작은 경우, 손가락(3020)에 의한 입력이 발생한 것으로 결정할 수 있다.The wearable device 100 compares the depth value (second depth value) for the user's finger 3020 with the depth value (first depth value) for the palm 3010 to determine the first depth value and the second depth value It can be determined that the input by the finger 3020 has occurred.

웨어러블 디바이스(100)는 입력이 발생된 경우, 가상의 키보드(3030) 상에서 손가락(3020)의 위치를 검출하고, 손가락(3020)이 위치하는 해당 버튼에 대한 입력 데이터를 발생시킬 수 있다. 또한, 웨어러블 디바이스(100)는 해당 입력에 대해 사용자가 용이하게 인식할 수 있도록 피드백을 제공할 수 있다. The wearable device 100 can detect the position of the finger 3020 on the virtual keyboard 3030 when the input is generated and generate the input data for the corresponding button where the finger 3020 is located. In addition, the wearable device 100 may provide feedback so that the user can easily recognize the input.

예를 들어, 도 30에 도시된 바와 같이, 해당 버튼(3040)에 대한 컬러를 다르게 표시할 수 있다. 또는, 가상의 키보드(3030)를 통한 입력이 발생된 경우, 알림음을 출력할 수 있다.For example, as shown in FIG. 30, the color of the button 3040 can be displayed differently. Alternatively, when an input through the virtual keyboard 3030 is generated, a notification sound may be output.

한편, 웨어러블 디바이스(100)는 가상의 입력 인터페이스를 통한 입력이 발생하는 경우, 주변 기기를 이용하여, 햅틱 신호를 출력할 수도 있다.Meanwhile, when the wearable device 100 generates an input through a virtual input interface, the wearable device 100 may output a haptic signal using a peripheral device.

도 31에 도시된 바와 같이, 웨어러블 디바이스 사용자는 가상 키보드(3030)를 터치하는 손가락(3020)에 제2 웨어러블 디바이스(3150)를 착용한 상태일 수 있다. 이때, 제2 웨어러블 디바이스(3150)는 사용자의 손가락(3020)에 착용할 수 있는 형태일 수 있으며, 골무, 반지 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 제2 웨어러블 디바이스(3150)는 사용자의 다른 신체 부위에 착용할 수 있는 형태일 수 있다.31, the user of the wearable device may be wearing a second wearable device 3150 on the finger 3020 that touches the virtual keyboard 3030. As shown in Fig. At this time, the second wearable device 3150 may be in a form that can be worn on the user's finger 3020, and may include thimble, ring, and the like. However, the second wearable device 3150 is not limited thereto, and the wearable device 3150 may be a form that can be worn on other parts of the user's body.

또한, 제2 웨어러블 디바이스(3150)는 햅틱 모듈을 포함할 수 있다. 햅틱 모듈(haptic module)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킬 수 있다. 햅틱 모듈이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈이 촉각 효과로 진동을 발생시키는 경우, 햅틱 모듈이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다. In addition, the second wearable device 3150 may include a haptic module. The haptic module can generate various tactile effects that the user can feel. A typical example of a haptic effect generated by a haptic module is a vibration effect. In the case where the haptic module generates vibration with a tactile effect, the intensity and pattern of the vibration generated by the haptic module can be converted, and the different vibrations may be synthesized and output or sequentially output.

웨어러블 디바이스(100)는 가상의 키보드에 표시되는 버튼에 대한 입력이 발생되는 경우, 통신부를 통하여, 제2 웨어러블 디바이스(3150)로 햅틱 신호 출력을 요청할 수 있다.The wearable device 100 may request the second wearable device 3150 to output the haptic signal through the communication unit when the input to the button displayed on the virtual keyboard is generated.

제2 웨어러블 디바이스(3150)는 웨어러블 디바이스의 요청에 응답하여, 햅틱 모듈을 통하여, 햅틱 신호를 출력할 수 있다.
The second wearable device 3150 can output the haptic signal through the haptic module in response to a request from the wearable device.

<도 32><Fig. 32>

도 32는 본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 통한 입력 발생 여부에 대응하는 알림 신호를 출력하는 일례를 나타내는 도면이다.32 is a diagram illustrating an example of outputting a notification signal corresponding to whether an input is generated through a virtual input interface according to an embodiment of the present invention.

도 32에 도시된 바와 같이, 웨어러블 디바이스(100)는 책상(3210) 위에 입력 영역을 설정하는 사용자 모션을 인식하여, 책상(3210)에 오버랩되도록 가상의 피아노 건반(3220)을 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.32, the wearable device 100 recognizes the user's motion to set the input area on the desk 3210 and displays the virtual piano key 3220 on the transparent display or the opaque display 3220 so as to overlap the desk 3210. [ Can be displayed.

이때, 사용자는 손가락(3230)을 이용하여, 가상의 피아노 건반(3220)에 표시된 건반을 터치하여, 입력을 수행할 수 있다.At this time, the user can touch the key displayed on the virtual piano key 3220 using the finger 3230 to perform the input.

웨어러블 디바이스(100)는 사용자의 손가락들(3230)에 대한 깊이 값(제2 깊이 값)과 책상(3210)에 대한 깊이 값(제1 깊이 값)을 비교하여, 제1 깊이 값과 제2 깊이 값의 차이가 임계값보다 작은 경우, 손가락(3230)에 의한 입력이 발생한 것으로 결정할 수 있다.The wearable device 100 compares the depth value (second depth value) for the user's fingers 3230 with the depth value (first depth value) for the desk 3210 to determine the first depth value and the second depth If the difference of the values is smaller than the threshold value, it can be determined that the input by the finger 3230 has occurred.

웨어러블 디바이스(100)는 입력이 발생된 경우, 가상의 피아노 건반(3220) 상에서 손가락들(3230)의 위치를 검출하고, 손가락들(3230)이 위치하는 해당 건반 위에 가상의 이미지(3250)를 표시할 수 있다. 이에 따라, 사용자는 가상의 이미지가 표시되는 해당 건반 입력이 발생하였음을 용이하게 인식할 수 있다.
The wearable device 100 detects the position of the fingers 3230 on the virtual piano key 3220 when an input is generated and displays a virtual image 3250 on the corresponding key on which the fingers 3230 are located can do. Accordingly, the user can easily recognize that the corresponding key input on which the virtual image is displayed has occurred.

<도 33 및 34>33 and 34:

도 33 및 도 34는 본 발명의 일 실시예에 따르는 웨어러블 디바이스의 구성을 설명하기 위한 블록 구성도이다.33 and 34 are block diagrams for explaining a configuration of a wearable device according to an embodiment of the present invention.

도 33에 도시된 바와 같이, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 센싱부(110), 디스플레이부(121), 제어부(130)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(100)는 구현될 수 있다.33, the wearable device 100 according to an exemplary embodiment of the present invention may include a sensing unit 110, a display unit 121, and a control unit 130. However, not all illustrated components are required. The device 100 may be implemented by more components than the components shown, and the device 100 may be implemented by fewer components.

예를 들어, 도 34에 도시된 바와 같이, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 센싱부(110), 출력부(120), 제어부(130) 이외에 사용자 입력부(140), 통신부(150), 메모리(160)를 더 포함할 수도 있다.34, the wearable device 100 according to an exemplary embodiment of the present invention includes a sensing unit 110, an output unit 120, a control unit 130, a user input unit 140, A communication unit 150, and a memory 160, as shown in FIG.

이하 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the components will be described in order.

센싱부(110)는, 웨어러블 디바이스(100)의 상태 또는 웨어러블 디바이스(100) 주변의 상태를 감지하고, 감지된 정보를 제어부(130)로 전달할 수 있다. The sensing unit 110 may sense the state of the wearable device 100 or the state around the wearable device 100 and may transmit the sensed information to the control unit 130. [

센싱부(110)는, 이미지 센서(111) 및 깊이 센서(112)를 포함할 수 있다. 웨어러블 디바이스(100)는, 이미지 센서(111)를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이때, 이미지 센서를 통해 캡쳐된 이미지는 제어부(130) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.The sensing unit 110 may include an image sensor 111 and a depth sensor 112. The wearable device 100 can obtain an image frame such as a still image or a moving image through the image sensor 111. [ At this time, the image captured through the image sensor can be processed through the control unit 130 or a separate image processing unit (not shown).

본 발명의 일 실시예에 따르면, 이미지 센서(111)는 허공 또는 실제 객체 위에 입력 영역을 설정하는 모션을 인식할 수 있다. 예를 들어, 이미지 센서(111)는 입력 도구를 이용하여 허공 또는 실제 객체 위에 입력 영역을 설정하는 모션을 인식할 수 있다.According to one embodiment of the present invention, the image sensor 111 may recognize motion to set the input region on the air or real object. For example, the image sensor 111 may recognize the motion of setting the input region on the air or the real object using an input tool.

또한, 이미지 센서(111)는 입력 영역으로 설정할 기 설정된 객체를 인식할 수 있으며, 입력 도구를 이용하여, 기 설정된 객체를 터치하는 모션을 인식할 수 있다. 또한, 이미지 센서(111)는 입력 영역을 포함하는 제1 이미지를 촬영할 수도 있다. Also, the image sensor 111 can recognize a preset object set as an input area, and can recognize a motion of touching a preset object by using an input tool. Further, the image sensor 111 may photograph the first image including the input area.

본 발명의 일 실시예에 따르면, 깊이 센서(112)는 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다. 예를 들어, 깊이 센서(112)는 웨어러블 디바이스(100)에서 입력 영역까지의 거리 및 웨어러블 디바이스(100)에서 입력 도구까지의 거리를 측정할 수 있다.According to one embodiment of the present invention, the depth sensor 112 may obtain a first depth value for the input area and a second depth value for the input tool that touches the virtual input interface. For example, the depth sensor 112 may measure the distance from the wearable device 100 to the input area and the distance from the wearable device 100 to the input tool.

또한, 깊이 센서(112)는 실제 객체 위에 입력 영역이 설정된 경우, 웨어러블 디바이스(100)에서 실제 객체까지의 거리 정보를 측정하고, 실제 객체까지의 거리 정보를 이용하여, 입력 영역에 대한 제 1 깊이 값을 획득할 수 있다. When the input area is set on the actual object, the depth sensor 112 measures the distance information from the wearable device 100 to the actual object, and uses the distance information to the actual object to calculate a first depth Value can be obtained.

본 발명의 일 실시예에 따르면, 센싱부(110)는 이미지 센서(111) 및 깊이 센서(112) 이외에 가속도 센서(Acceleration sensor)(113), 위치 센서(114)(예컨대, GPS), 기압 센서(115), 온/습도 센서(116), 지자기 센서(117), 자이로스코프 센서(118), 마이크로폰(119) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. The sensing unit 110 may include an acceleration sensor 113, a position sensor 114 (e.g., a GPS), an air pressure sensor But is not limited to, at least one of a temperature sensor 115, an on / humidity sensor 116, a geomagnetic sensor 117, a gyroscope sensor 118, and a microphone 119.

마이크로폰(119)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(119)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(119)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.The microphone 119 receives an external acoustic signal and processes it as electrical voice data. For example, the microphone 119 may receive acoustic signals from an external device or speaker. The microphone 119 may use various noise elimination algorithms for eliminating noise generated in receiving an external acoustic signal.

가속도 센서(Acceleration sensor)(113), 위치 센서(114), 기압 센서(115), 온/습도 센서(116), 지자기 센서(117), 자이로스코프 센서(118)들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.The functions of the acceleration sensor 113, the position sensor 114, the air pressure sensor 115, the ON / humidity sensor 116, the geomagnetic sensor 117, and the gyroscope sensor 118 can be determined by those skilled in the art It can be intuitively deduced, so a detailed explanation will be omitted.

출력부(120)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(121)와 음향 출력부(122), 진동 모터(123) 등이 포함될 수 있다.The output unit 120 is for outputting an audio signal, a video signal, or a vibration signal. The output unit 120 may include a display unit 121, an acoustic output unit 122, a vibration motor 123, and the like.

디스플레이부(121)는 웨어러블 디바이스(100)에서 처리되는 정보를 표시 출력할 수 있다. 예를 들어, 디스플레이부(121)는, 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수 있고, 입력 모드인 경우, 가상의 입력 인터페이스를 표시할 수 있다. The display unit 121 can display and output information to be processed in the wearable device 100. For example, the display unit 121 may display a UI (User Interface) or a GUI (Graphic User Interface) related to a call in a call mode, and may display a virtual input interface in an input mode .

본 발명의 일 실시예에 의하면, 디스플레이부(121)는, 투명 디스플레이일 수도 있고, 불투명 디스플레이일 수도 있다. 투명 디스플레이란 정보를 표시하는 스크린의 뒷면이 비치는 형태의 정보 표시 장치를 말한다. 투명 디스플레이는 투명 소자로 구성되고, 투명 소자에 대한 광 투과율을 조절하여 투명도를 조절하거나 각 픽셀의 RGB값을 조절하여 투명도를 조절할 수 있다.According to one embodiment of the present invention, the display unit 121 may be a transparent display or an opaque display. A transparent display is an information display device in which the back side of a screen displaying information is displayed. The transparent display is composed of a transparent element, and transparency can be controlled by controlling the light transmittance of the transparent element or adjusting the RGB value of each pixel.

한편, 디스플레이부(121)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(121)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 스크린은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(130)로 전달할 수 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.Meanwhile, when the display unit 121 and the touch pad have a layer structure and are configured as a touch screen, the display unit 121 may be used as an input device in addition to the output device. The touch screen senses a touch gesture on the user's touch screen, and can transmit information on the touch gesture to the control unit 130. The user's touch gestures can include tap, touch & hold, double tap, drag, panning, flick, drag and drop, swipe, and the like.

디스플레이부(121)는, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 웨어러블 디바이스(100)의 구현 형태에 따라 웨어러블 디바이스(100)는 디스플레이부(121)를 2개 이상 포함할 수도 있다.The display unit 121 may be a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, a three- A 3D display, and an electrophoretic display. According to the embodiment of the wearable device 100, the wearable device 100 may include two or more display units 121.

음향 출력부(122)는 통신부(150)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(122)는 웨어러블 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(122)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The audio output unit 122 outputs audio data received from the communication unit 150 or stored in the memory 160. [ The sound output unit 122 outputs sound signals related to functions (e.g., call signal reception sound, message reception sound, etc.) performed in the wearable device 100. [ The sound output unit 122 may include a speaker, a buzzer, and the like.

본 발명의 일 실시예에 따르면, 음향 출력부(122)는 가상의 입력 인터페이스를 통한 입력이 발생하는 경우, 발생한 입력에 대응하는 오디오 신호를 출력할 수 있다.According to an embodiment of the present invention, when the input through the virtual input interface occurs, the sound output unit 122 may output the audio signal corresponding to the generated input.

진동 모터(123)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(123)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(123)는, 가상의 입력 인터페이스를 통한 입력이 발생되는 경우, 진동 신호를 출력할 수도 있다.The vibration motor 123 can output a vibration signal. For example, the vibration motor 123 may output a vibration signal corresponding to an output of audio data or video data (e.g., a call signal reception tone, a message reception tone, etc.). Further, the vibration motor 123 may output a vibration signal when an input through a virtual input interface is generated.

제어부(130)는, 통상적으로 웨어러블 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(130)는, 메모리(160)에 저장된 프로그램들을 실행함으로써, 센싱부(110), 출력부(120), 사용자 입력부(140), 통신부(150), 메모리(160) 등을 전반적으로 제어할 수 있다.The control unit 130 typically controls the overall operation of the wearable device 100. For example, the control unit 130 controls the sensing unit 110, the output unit 120, the user input unit 140, the communication unit 150, the memory 160, and the like by executing programs stored in the memory 160. [ Overall controllable.

제어부(130)는 이미지 센서(111)에서 인식된 모션에 기초하여, 입력 영역을 설정할 수 있다. 예를 들어, 이미지 센서(111)에서 허공 또는 실제 객체 위에 도형을 그리는 모션을 인식한 경우, 제어부(130)는 인식된 도형에 대응하는 영역을 입력 영역으로 설정할 수 있다.The control unit 130 can set the input area based on the motion recognized by the image sensor 111. [ For example, when the image sensor 111 recognizes a motion of drawing a figure on a space or an actual object, the controller 130 may set an area corresponding to the recognized figure as an input area.

제어부(130)는 설정된 입력 영역의 속성에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다.The control unit 130 can determine a virtual input interface to be displayed on the display unit 121 based on the attribute of the set input area.

제어부(130)는 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 가상의 입력 인터페이스의 종류를 결정하고, 결정된 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다. The control unit 130 determines the type of the virtual input interface based on the size of the first depth value of the set input area and displays the virtual input interface on the display unit 121 so that the determined virtual input interface overlaps the set input area have.

제어부(130)는, 입력 영역이 설정된 실제 객체의 종류에 기초하여, 가상의 입력 인터페이스의 종류를 결정하고, 결정된 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다.The control unit 130 determines the type of the virtual input interface based on the type of the actual object to which the input area is set and displays the virtual input interface on the display unit 121 so that the determined virtual input interface overlaps the set input area .

제어부(130)는, 입력 영역을 설정하는 모션의 종류 또는 입력 영역의 크기에 기초하여, 가상의 입력 인터페이스의 종류를 결정하고, 결정된 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다.The control unit 130 determines the type of the virtual input interface based on the type of the motion or the size of the input area for setting the input area and displays the input image on the display unit 121 so that the determined virtual input interface overlaps the set input area. Can be displayed.

제어부(130)는, 웨어러블 디바이스(100)에서 실행중인 어플리케이션의 종류에 따라, 가상의 입력 인터페이스를 결정하고, 결정된 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다.The control unit 130 may determine a virtual input interface in accordance with the type of application being executed in the wearable device 100 and display the virtual input interface on the display unit 121 so that the determined virtual input interface overlaps the set input area .

제어부(130)는, 투명 디스플레이를 투과하여 관측되는 입력 영역에 가상의 입력 인터페이스가 나타나도록 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. ,The control unit 130 may display a virtual input interface on the transparent display so that a virtual input interface appears in the input area viewed through the transparent display. ,

제어부(130)는, 제1 이미지에 포함된 입력 영역에 가상의 입력 인터페이스가 오버랩된 제2 이미지를 생성하고, 가상의 입력 인터페이스가 포함된 제2 이미지를 디스플레이부(121)에 표시할 수 있다.The control unit 130 may generate a second image in which a virtual input interface is overlapped with an input region included in the first image and display a second image including a virtual input interface on the display unit 121 .

제어부(130)는, 제1 깊이 값과 제2 깊이 값을 비교한 결과에 기초하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다. 예를 들어, 제어부(130)는, 제1 깊이 값과 제2 깊이 값의 차가 임계 값 이내인 경우, 가상의 입력 인터페이스를 통한 입력이 발생된 것으로 결정할 수 있다.The control unit 130 can determine whether an input is generated through the virtual input interface based on a result of comparing the first depth value and the second depth value. For example, when the difference between the first depth value and the second depth value is within the threshold value, the controller 130 can determine that the input through the virtual input interface is generated.

제어부(130)는 제1 깊이 값 보다 제 2깊이 값이 큰 경우, 가상의 입력 인터페이스를 통한 입력이 발생된 것으로 결정할 수 있다. If the second depth value is larger than the first depth value, the control unit 130 can determine that the input through the virtual input interface is generated.

제어부(130)는, 입력 발생 여부에 대응하는 알림 신호를 출력하도록 출력부(120)를 제어할 수도 있다. The control unit 130 may control the output unit 120 to output a notification signal corresponding to whether the input is generated or not.

사용자 입력부(140)는, 사용자가 웨어러블 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(140)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 본 발명의 일 실시예에 의하면, 사용자 입력부(110)는, 가상의 입력 인터페이스를 포함할 수도 있다. The user input unit 140 means means for the user to input data for controlling the wearable device 100. For example, the user input unit 140 may include a key pad, a dome switch, a touch pad (a contact type capacitance type, a pressure type resistive type, an infrared detection type, a surface ultrasonic wave conduction type, A tension measuring method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but is not limited thereto. According to an embodiment of the present invention, the user input unit 110 may include a virtual input interface.

통신부(150)는, 웨어러블 디바이스(100)와 외부 디바이스 또는 웨어러블 디바이스(100)와 서버 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(150)는, 근거리 통신부(151), 이동 통신부(152), 방송 수신부(153)를 포함할 수 있다. The communication unit 150 may include one or more components that allow communication between the wearable device 100 and an external device or between the wearable device 100 and the server. For example, the communication unit 150 may include a short-range communication unit 151, a mobile communication unit 152, and a broadcast reception unit 153.

근거리 통신부(151)는, 블루투스 통신부, 근거리 무선 통신부(NFC/RFID 부), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.The short range communication unit 151 includes a Bluetooth communication unit, an NFC / RFID unit, a WLAN communication unit, a Zigbee communication unit, an IrDA (infrared data association) communication unit, an UWB (ultra wideband) A communication unit, and the like, but is not limited thereto.

예를 들어, 근거리 통신부(151)는 제2 웨어러블 디바이스의 위치 정보 또는 제3 웨어러블 디바이스의 위치 정보를 수신할 수 있다.For example, the short-range communication unit 151 may receive the position information of the second wearable device or the position information of the third wearable device.

이동 통신부(152)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication unit 152 transmits and receives radio signals to at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data depending on a voice call signal, a video call signal, or a text / multimedia message transmission / reception.

방송 수신부(153)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 웨어러블 디바이스(100)가 방송 수신부(153)를 포함하지 않을 수도 있다.The broadcast receiving unit 153 receives broadcast signals and / or broadcast-related information from outside through a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel. The wearable device 100 may not include the broadcast receiving unit 153 according to the embodiment.

메모리(160)는, 제어부(130)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 입력 모드에 대응하는 모션 정보, 가상의 입력 인터페이스, 가상의 입력 인터페이스를 통해 입력된 데이터, 센서에서 측정되는 센싱 정보, 컨텐츠 등)을 저장할 수도 있다. The memory 160 may store a program for processing and control of the control unit 130 and may store programs for controlling and controlling the input / output data (e.g., motion information corresponding to the input mode, a virtual input interface, Input data, sensing information measured by the sensor, content, etc.).

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 웨어러블 디바이스(100)는 인터넷(internet)상에서 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.The memory 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), a RAM (Random Access Memory) SRAM (Static Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , An optical disc, and the like. In addition, the wearable device 100 may operate a web storage or a cloud server that performs a storage function of the memory 160 on the Internet.

메모리(160)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(161), 알림 모듈(162) 등으로 분류될 수 있다. Programs stored in the memory 160 can be classified into a plurality of modules according to their functions, for example, a UI module 161, a notification module 162, and the like.

UI 모듈(161)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 또한, 본 발명의 일 실시예에 의하면, UI 모듈(161)은, 상황에 맞는 가상의 입력 인터페이스를 선택하여, 제공할 수도 있다. The UI module 161 can provide a specialized UI, a GUI, and the like that are interlocked with the device 100 for each application. Further, according to the embodiment of the present invention, the UI module 161 may select and provide a virtual input interface appropriate for the situation.

알림 모듈(162)은, 웨어러블 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 웨어러블 디바이스(100)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 가상의 입력 인터페이스를 통해 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(162)은 디스플레이부(121)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(122)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(123)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다. 또한, 알림 모듈(162)은, 외부의 웨어러브 디바이스(예컨대, 반지, 골무, 팔찌, 장갑 등)를 이용하여 햅틱 신호를 출력할 수도 있다. The notification module 162 may generate a signal for notifying occurrence of an event of the wearable device 100. [ Examples of events generated in the wearable device 100 include call signal reception, message reception, key signal input through a virtual input interface, and calendar notification. The notification module 162 may output a notification signal in the form of a video signal through the display unit 121 or may output a notification signal in the form of an audio signal through the sound output unit 122, It is possible to output a notification signal in the form of a vibration signal. The notification module 162 may also output the haptic signal using an external wearable device (e.g., a ring, thimble, bracelet, glove, etc.).

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to an embodiment of the present invention can be implemented in the form of a program command which can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and configured for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 깊이 값을 사용자에 의해 정의된 기준 깊이 값과 비교함으로써, 가상의 입력 인터페이스를 통한 입력 발생 여부를 정확히 판단할 수 있다. The wearable device 100 according to an embodiment of the present invention compares a depth value of an input tool that touches a virtual input interface with a reference depth value defined by a user, Can be accurately determined.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (20)

허공 또는 실제 객체 위에 입력 영역을 설정하는 모션을 인식하는 이미지 센서;
상기 인식된 모션에 기초하여, 상기 입력 영역을 설정하고, 상기 설정된 입력 영역의 속성에 기초하여, 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하며, 상기 결정된 가상의 입력 인터페이스가 웨어러블 디바이스의 사용자에 의해 상기 설정된 입력 영역 상에 오버랩(overlap)되어 보여지도록 상기 결정된 가상의 입력 인터페이스를 상기 디스플레이부에 표시하는 제어부; 및
상기 웨어러블 디바이스로부터 상기 입력 영역까지의 제1 깊이 값과, 상기 웨어러블 디바이스로부터 상기 가상의 입력 인터페이스를 터치하는 입력 도구까지의 제2 깊이 값을 획득하는 깊이 센서를 포함하고,
상기 제어부는,
상기 제1 깊이 값과 상기 제2 깊이 값을 비교한 결과에 따라, 상기 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 웨어러블 디바이스.An image sensor that recognizes a motion of setting an input region on a space or an actual object;
Sets the input area on the basis of the recognized motion, and determines a virtual input interface to be displayed on the display unit based on the attribute of the set input area, and the determined virtual input interface is connected to a user of the wearable device A control unit for displaying the determined virtual input interface on the display unit so as to be overlapped on the set input area; And
And a depth sensor for obtaining a first depth value from the wearable device to the input area and a second depth value from the wearable device to an input tool that touches the virtual input interface,
Wherein,
And determines whether an input is generated through the virtual input interface according to a result of comparing the first depth value and the second depth value. 제1항에 있어서,
상기 이미지 센서는,
상기 허공 또는 실제 객체 위에 상기 입력 도구를 이용하여, 도형을 그리는 모션을 인식하고,
상기 제어부는,
상기 도형에 대응하는 영역을 상기 입력 영역으로 설정하는 웨어러블 디바이스.The method according to claim 1,
Wherein the image sensor comprises:
Recognizing a motion of drawing the figure using the input tool on the air or real object,
Wherein,
And sets an area corresponding to the figure as the input area. 제1항에 있어서,
상기 제어부는,
상기 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하는 웨어러블 디바이스.The method according to claim 1,
Wherein,
And determines a virtual input interface to be displayed on the display unit based on the size of the first depth value of the set input area. 제1항에 있어서,
상기 제어부는,
상기 설정된 입력 영역의 크기에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하는 웨어러블 디바이스.The method according to claim 1,
Wherein,
And determines a virtual input interface to be displayed on the display unit based on the size of the set input area. 제1항에 있어서,
상기 입력 영역이 상기 실제 객체 위에 설정된 경우,
상기 제어부는,
상기 입력 영역이 설정된 실제 객체의 종류에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하는 웨어러블 디바이스.The method according to claim 1,
When the input area is set on the physical object,
Wherein,
And determines a virtual input interface to be displayed on the display unit based on a type of an actual object to which the input area is set. 제1항에 있어서,
상기 제어부는,
상기 웨어러블 디바이스에서 실행 중인 어플리케이션의 종류에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하는 웨어러블 디바이스.The method according to claim 1,
Wherein,
Wherein the wearable device determines a virtual input interface to be displayed on the display unit based on a type of an application running in the wearable device. 제1항에 있어서,
상기 제어부는,
투명 디스플레이를 투과하여 관측되는 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩되도록 상기 투명 디스플레이에 상기 가상의 입력 인터페이스를 표시하는 웨어러블 디바이스.The method according to claim 1,
Wherein,
Wherein the virtual input interface is displayed on the transparent display such that the virtual input interface overlaps the input area viewed through the transparent display. 제1항에 있어서,
상기 이미지 센서는,
상기 입력 영역을 포함하는 제1 이미지를 촬영하고,
상기 제어부는,
상기 제1 이미지에 포함된 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩된 제2 이미지를 생성하고, 상기 제2 이미지를 상기 디스플레이부에 표시하는 웨어러블 디바이스.The method according to claim 1,
Wherein the image sensor comprises:
Capturing a first image including the input area,
Wherein,
A second image in which the virtual input interface overlaps the input area included in the first image, and displays the second image on the display unit. 제1항에 있어서,
상기 제어부는,
상기 제1 깊이 값과 상기 제2 깊이 값의 차이가 임계값 미만인 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정하는 웨어러블 디바이스.The method according to claim 1,
Wherein,
And determines that an input through the virtual input interface has occurred if the difference between the first depth value and the second depth value is less than a threshold value. 제1항에 있어서,
상기 제어부는,
상기 제1 깊이 값보다 상기 제2 깊이 값이 큰 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정하는 웨어러블 디바이스.The method according to claim 1,
Wherein,
And determines that input via the virtual input interface occurs when the second depth value is greater than the first depth value. 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법에 있어서,
허공 또는 실제 객체 위에 입력 영역을 설정하는 단계;
상기 설정된 입력 영역의 속성에 기초하여, 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하는 단계;
상기 결정된 가상의 입력 인터페이스가 상기 설정된 입력 영역에 오버랩(overlap)되어 보여지도록 상기 결정된 가상의 입력 인터페이스를 상기 디스플레이부에 표시하는 단계;
상기 웨어러블 디바이스로부터 상기 입력 영역까지의 제1 깊이 값과 상기 웨어러블 디바이스로부터 상기 가상의 입력 인터페이스를 터치하는 입력 도구까지의 제2 깊이 값을 획득하는 단계; 및
상기 제1 깊이 값과 상기 제2 깊이 값을 비교한 결과에 따라, 상기 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 단계를 포함하는 방법.A method for providing a virtual input interface in a wearable device,
Setting an input region on a space or an actual object;
Determining a virtual input interface to be displayed on the display unit based on the attribute of the set input area;
Displaying the determined virtual input interface on the display unit so that the determined virtual input interface overlaps with the set input area;
Obtaining a first depth value from the wearable device to the input area and a second depth value from the wearable device to an input tool that touches the virtual input interface; And
Determining whether to generate an input via the virtual input interface according to a result of comparing the first depth value with the second depth value. 제1항에 있어서,
상기 입력 영역을 설정하는 단계는,
상기 허공 또는 실제 객체 위에 상기 입력 도구를 이용하여, 도형을 그리는 모션을 인식하는 단계; 및
상기 도형에 대응하는 영역을 상기 입력 영역으로 설정하는 단계를 포함하는 방법.The method according to claim 1,
Wherein the step of setting the input area comprises:
Recognizing motion to draw a figure on the air or real object using the input tool; And
And setting an area corresponding to the figure as the input area. 제1항에 있어서,
상기 가상의 입력 인터페이스를 결정하는 단계는,
상기 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 가상의 입력 인터페이스를 결정하는 단계인 방법.The method according to claim 1,
Wherein determining the virtual input interface comprises:
Determining a virtual input interface based on the magnitude of the first depth value of the set input area. 제1항에 있어서,
상기 가상의 입력 인터페이스를 결정하는 단계는,
상기 설정된 입력 영역의 크기에 기초하여, 가상의 입력 인터페이스를 결정하는 단계인 방법.The method according to claim 1,
Wherein determining the virtual input interface comprises:
And determining a virtual input interface based on the size of the set input area. 제1항에 있어서,
상기 입력 영역이 상기 실제 객체 위에 설정된 경우,
상기 가상의 입력 인터페이스를 결정하는 단계는,
상기 입력 영역이 설정된 실제 객체의 종류에 기초하여, 가상의 입력 인터페이스를 결정하는 단계인 방법.The method according to claim 1,
When the input area is set on the physical object,
Wherein determining the virtual input interface comprises:
And determining a virtual input interface based on the type of real object for which the input area is set. 제1항에 있어서,
상기 가상의 입력 인터페이스를 결정하는 단계는,
상기 웨어러블 디바이스에서 실행 중인 어플리케이션의 종류에 기초하여, 상기 가상의 입력 인터페이스를 결정하는 단계를 포함하는 방법.The method according to claim 1,
Wherein determining the virtual input interface comprises:
And determining the virtual input interface based on the type of application running in the wearable device. 제1항에 있어서,
상기 결정된 가상의 입력 인터페이스를 표시하는 단계는,
투명 디스플레이를 투과하여 관측되는 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩되도록 상기 투명 디스플레이에 상기 가상의 입력 인터페이스를 표시하는 단계인 방법.The method according to claim 1,
Wherein the step of displaying the determined virtual input interface comprises:
Displaying the virtual input interface on the transparent display such that the virtual input interface overlaps the input area viewed through the transparent display. 제1항에 있어서,
상기 결정된 가상의 입력 인터페이스를 표시하는 단계는,
이미지 센서를 이용하여, 상기 입력 영역을 포함하는 제1 이미지를 촬영하는 단계;
상기 제1 이미지에 포함된 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩된 제2 이미지를 생성하는 제2 이미지를 생성하는 단계; 및
상기 제2 이미지를 표시하는 단계를 포함하는 방법.The method according to claim 1,
Wherein the step of displaying the determined virtual input interface comprises:
Capturing a first image including the input area using an image sensor;
Generating a second image that generates a second image in which the virtual input interface overlaps the input region included in the first image; And
And displaying the second image. 제1항에 있어서,
상기 입력 발생 여부를 결정하는 단계는,
상기 제1 깊이 값과 상기 제2 깊이 값의 차이가 임계값 미만인 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정하는 단계인 방법.The method according to claim 1,
Wherein the step of determining whether the input is generated comprises:
Determining that an input via the virtual input interface has occurred if the difference between the first depth value and the second depth value is less than a threshold value. 제1항에 있어서,
상기 입력 발생 여부를 결정하는 단계는,
상기 제1 깊이 값보다 상기 제2 깊이 값이 큰 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정하는 단계인 방법.The method according to claim 1,
Wherein the step of determining whether the input is generated comprises:
Determining that an input via the virtual input interface occurs if the second depth value is greater than the first depth value.
KR1020140098653A 2014-03-21 2014-07-31 Method and wearable device for providing a virtual input interface KR20150110257A (en)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020140179354A KR102360176B1 (en) 2014-03-21 2014-12-12 Method and wearable device for providing a virtual input interface
PCT/KR2015/002554 WO2015142023A1 (en) 2014-03-21 2015-03-17 Method and wearable device for providing a virtual input interface
EP23173471.6A EP4239456A1 (en) 2014-03-21 2015-03-17 Method and glasses type wearable device for providing a virtual input interface
CN201580001071.6A CN105339870B (en) 2014-03-21 2015-03-17 For providing the method and wearable device of virtual input interface
EP15733329.5A EP2946266B1 (en) 2014-03-21 2015-03-17 Method and wearable device for providing a virtual input interface
CN201910757959.2A CN110488974B (en) 2014-03-21 2015-03-17 Method and wearable device for providing virtual input interface
US14/665,678 US9829986B2 (en) 2014-03-21 2015-03-23 Method and wearable device for providing a virtual input interface
US15/782,505 US10168792B2 (en) 2014-03-21 2017-10-12 Method and wearable device for providing a virtual input interface
US16/237,055 US10534442B2 (en) 2014-03-21 2018-12-31 Method and wearable device for providing a virtual input interface

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140033705 2014-03-21
KR20140033705 2014-03-21

Publications (1)

Publication Number Publication Date
KR20150110257A true KR20150110257A (en) 2015-10-02

Family

ID=54341451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140098653A KR20150110257A (en) 2014-03-21 2014-07-31 Method and wearable device for providing a virtual input interface

Country Status (2)

Country Link
KR (1) KR20150110257A (en)
CN (2) CN110488974B (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016211495A1 (en) 2016-06-27 2017-12-28 Ford Global Technologies, Llc Control device for a motor vehicle
DE102016211494A1 (en) 2016-06-27 2017-12-28 Ford Global Technologies, Llc Control device for a motor vehicle
KR20180080012A (en) * 2017-01-03 2018-07-11 주식회사 한국스포츠예술차세대플랫폼 The apparatus and method of musical contents creation and sharing system using social network service
KR20190076034A (en) * 2016-12-05 2019-07-01 구글 엘엘씨 System and method for generating virtual notation surfaces with gestures in augmented and / or virtual reality environments
KR102286018B1 (en) * 2020-09-09 2021-08-05 주식회사 피앤씨솔루션 Wearable augmented reality device that inputs mouse events using hand gesture and method of mouse event input for wearable augmented reality device using hand gesture
DE102020121415B3 (en) 2020-08-14 2021-12-02 Bayerische Motoren Werke Aktiengesellschaft Projection system for generating a graphical user interface, graphical user interface and method for operating a projection system

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3459071B1 (en) * 2016-05-20 2022-05-11 Magic Leap, Inc. Contextual awareness of user interface menus
CN106331806B (en) * 2016-08-23 2019-11-19 青岛海信电器股份有限公司 A kind of implementation method and equipment of virtual remote controller
CN106781841A (en) * 2017-01-20 2017-05-31 东莞市触梦网络科技有限公司 A kind of AR religion picture devices and its religion picture system
JPWO2018146922A1 (en) * 2017-02-13 2019-11-21 ソニー株式会社 Information processing apparatus, information processing method, and program
CN106951153B (en) 2017-02-21 2020-11-20 联想(北京)有限公司 Display method and electronic equipment
CN113608617A (en) * 2017-04-19 2021-11-05 奇跃公司 Multi-modal task execution and text editing for wearable systems
CN108932100A (en) * 2017-05-26 2018-12-04 成都理想境界科技有限公司 A kind of operating method and head-mounted display apparatus of dummy keyboard
CN108700957B (en) * 2017-06-30 2021-11-05 广东虚拟现实科技有限公司 Electronic system and method for text entry in a virtual environment
CN107300975A (en) * 2017-07-13 2017-10-27 联想(北京)有限公司 A kind of information processing method and electronic equipment
CN107562205B (en) * 2017-09-15 2021-08-13 上海展扬通信技术有限公司 Projection keyboard of intelligent terminal and operation method of projection keyboard
US10902250B2 (en) * 2018-12-21 2021-01-26 Microsoft Technology Licensing, Llc Mode-changeable augmented reality interface
CN112256121A (en) * 2020-09-10 2021-01-22 苏宁智能终端有限公司 Implementation method and device based on AR (augmented reality) technology input method
CN112716117B (en) * 2020-12-28 2023-07-14 维沃移动通信有限公司 Intelligent bracelet and control method thereof
CN116974435A (en) * 2022-04-24 2023-10-31 中兴通讯股份有限公司 Operation interface generation method, control method and device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012124844A1 (en) * 2011-03-16 2012-09-20 Lg Electronics Inc. Method and electronic device for gesture-based key input
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
CN103019377A (en) * 2012-12-04 2013-04-03 天津大学 Head-mounted visual display equipment-based input method and device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016211495A1 (en) 2016-06-27 2017-12-28 Ford Global Technologies, Llc Control device for a motor vehicle
DE102016211494A1 (en) 2016-06-27 2017-12-28 Ford Global Technologies, Llc Control device for a motor vehicle
KR20190076034A (en) * 2016-12-05 2019-07-01 구글 엘엘씨 System and method for generating virtual notation surfaces with gestures in augmented and / or virtual reality environments
KR20180080012A (en) * 2017-01-03 2018-07-11 주식회사 한국스포츠예술차세대플랫폼 The apparatus and method of musical contents creation and sharing system using social network service
DE102020121415B3 (en) 2020-08-14 2021-12-02 Bayerische Motoren Werke Aktiengesellschaft Projection system for generating a graphical user interface, graphical user interface and method for operating a projection system
KR102286018B1 (en) * 2020-09-09 2021-08-05 주식회사 피앤씨솔루션 Wearable augmented reality device that inputs mouse events using hand gesture and method of mouse event input for wearable augmented reality device using hand gesture

Also Published As

Publication number Publication date
CN110488974B (en) 2021-08-31
CN105339870A (en) 2016-02-17
CN110488974A (en) 2019-11-22
CN105339870B (en) 2019-09-03

Similar Documents

Publication Publication Date Title
US10534442B2 (en) Method and wearable device for providing a virtual input interface
KR20150110257A (en) Method and wearable device for providing a virtual input interface
US11995774B2 (en) Augmented reality experiences using speech and text captions
US20210405761A1 (en) Augmented reality experiences with object manipulation
KR102360176B1 (en) Method and wearable device for providing a virtual input interface
KR20190133080A (en) Touch free interface for augmented reality systems
US11954245B2 (en) Displaying physical input devices as virtual objects
KR102499354B1 (en) Electronic apparatus for providing second content associated with first content displayed through display according to motion of external object, and operating method thereof
US11360550B2 (en) IMU for touch detection
KR20170133754A (en) Smart glass based on gesture recognition
US12105926B2 (en) XR manipulation feature with smart watch
WO2024049463A1 (en) Virtual keyboard
CN117826977A (en) Interaction method, interaction device, electronic equipment, storage medium and computer program product