KR20140060604A - Method for controlling electronic devices by using virtural surface adjacent to display in virtual touch apparatus without pointer - Google Patents
Method for controlling electronic devices by using virtural surface adjacent to display in virtual touch apparatus without pointer Download PDFInfo
- Publication number
- KR20140060604A KR20140060604A KR1020120127067A KR20120127067A KR20140060604A KR 20140060604 A KR20140060604 A KR 20140060604A KR 1020120127067 A KR1020120127067 A KR 1020120127067A KR 20120127067 A KR20120127067 A KR 20120127067A KR 20140060604 A KR20140060604 A KR 20140060604A
- Authority
- KR
- South Korea
- Prior art keywords
- electronic device
- coordinate data
- change
- user
- virtual
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Ophthalmology & Optometry (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
본 발명은 사용자가 전자기기를 원격으로 조작하는 방법에 관한 것으로, 특히 전자기기 디스플레이 표시면 둘레에 가상 평면을 설정하여 사용함으로써 디스플레이 표시면에 포인터를 표시하지 않고, 또한 디스플레이 표시면에 조작 화면도 표시하지 않고도 원격에서 전자기기를 정확하게 제어할 수 있는 전자기기를 제어하는 방법에 관한 것이다.The present invention relates to a method for remotely operating an electronic device by a user, and more particularly, to a method and apparatus for remotely operating an electronic device by setting a virtual plane around a display surface of an electronic device so as not to display a pointer on the display surface, And more particularly, to a method of controlling an electronic device capable of accurately controlling an electronic device remotely without displaying the electronic device.
본 출원인의 대한민국 등록특허 10-1151692호에서 포인터를 사용하지 않는 가상 터치 장치 및 방법을 개시하고 있는 바, 이러한 포인터를 사용하지 않는 가상 터치 장치 및 방법은 디스플레이 상에서 포인터를 사용하지 않음으로써 전자기기의 신속한 조작을 가능하게 한다. 따라서 전자기기의 터치패널의 장점을 전자기기 원격제어장치분야에서 적용할 수 있는 장치 및 방법을 제안한 것이다. 일반적으로 컴퓨터, 디지털TV 등 전자기기는 제어방법으로 해당영역에 포인터를 생성한 후 특정 추가 동작을 수행함으로써 전자기기 조작이 가능하다. 또한 지금까지는 디스플레이 포인터의 위치를 고속으로 설정하기 위한 방법, 디스플레이에서 포인터의 속도 선택 방법, 하나 이상의 포인터를 사용하는 방법, 리모컨에 의해 포인터를 제어하는 방법 등과 같이 무수히 많은 기술들이 포인터를 활용한 응용기술에만 국한되어 개발되어왔다.Korean Patent No. 10-1151692 of the present applicant discloses a virtual touch device and method that does not use a pointer, and a virtual touch device and method using such a pointer do not use a pointer on a display, Thereby enabling quick operation. Accordingly, it is an object of the present invention to provide an apparatus and a method for applying the advantages of a touch panel of an electronic device in the field of an electronic device remote control device. Generally, an electronic device such as a computer, a digital TV, and the like can operate an electronic device by performing a specific additional operation after generating a pointer in a corresponding area by a control method. Up to now, a myriad of technologies, such as a method for setting the position of the display pointer at a high speed, a method for selecting the speed of the pointer in the display, a method for using one or more pointers, and a method for controlling the pointer by the remote control, Technology has been developed only.
또한, 상기 등록특허 10-1151692호의 포인터를 사용하지 않는 가상 터치 장치 및 방법은 전자기기의 표시면의 특정영역을 정교하게 포인팅 할 수 있다. 즉, 전자기기 표시면을 정교하게 포인팅 하기 위해 '손가락 끝과 한쪽 눈만을 이용해야 사물의 위치를 정확히 포인팅할 수 있다'는 원리를 채용함으로써 원격에서도 마치 터치패널을 사용하는 것과 같이 정교하게 화면상의 메뉴를 포인팅 할 수 있다.In addition, the virtual touch apparatus and method which do not use the pointers of the above-mentioned Japanese Patent No. 10-1151692 can precisely point a specific area of the display surface of the electronic apparatus. In other words, to precisely point the display surface of the electronic device, the principle of 'pointing the object precisely by using only the fingertip and one eye' is adopted, so that it is possible to precisely You can point to the menu.
그런데 상기 포인터를 사용하지 않는 가상 터치 장치 및 방법에서 전자기기 디스플레이 표시면에 특정 영상이 표시되고 있을 때 전자기기의 조작 화면이 디스플레이 표시면에 표시될 경우 해당 영상을 시청하는데 방해가 되는 문제점이 있다. However, when a specific image is displayed on the display screen of the electronic device in the virtual touch device and method which does not use the pointer, there is a problem that when the operation screen of the electronic device is displayed on the display screen, .
또한, 전자기기 디스플레이 표시면으로만 조작 영역을 한정할 경우 사용자가 전자기기에서 멀어짐에 따라 디스플레이가 상대적으로 작아져서 조작 영역이 점점 작아지는 문제점도 있다.In addition, when the operation area is limited only to the display surface of the electronic device, the display area becomes relatively smaller as the user moves away from the electronic device, and the operation area becomes smaller.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 사용자가 원격에서 전자기기를 조작할 때에도 마치 터치패널 표면을 터치하는 것과 같은 편리한 사용자 인터페이스를 제공하면서도 전자기기 디스플레이 표시면에 조작 화면을 표시하지 않고도 전자기기의 조작이 가능한 장치 및 방법을 제공하는데 그 목적이 있다.Accordingly, it is an object of the present invention to provide a user interface that allows a user to remotely operate an electronic device, such as touching the touch panel surface, And to provide an apparatus and method capable of operating an electronic device without displaying it.
뿐만 아니라 전자기기 디스플레이 표시면 둘레를 조작 화면으로 확장되게 사용할 수 있게 함으로써 사용자가 디스플레이로부터 멀어지더라도 전자기기의 조작이 가능하게 하는데 그 목적이 있다. 즉, 디스플레이 표시면 둘레로 "터치패널 영역의 확장"을 구현하는 것이다.In addition, the present invention is intended to enable the operation of the electronic device even when the user moves away from the display, by extending the periphery of the display surface of the electronic device to the operation screen. In other words, the "expansion of the touch panel area" is implemented around the display display face.
상기 목적을 달성하기 위한 본 발명의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법은 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되며 상기 표시면 전방의 사용자 신체를 촬영하는 영상획득부와, 상기 영상획득부로부터 수신한 영상을 이용하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부와, 상기 공간좌표 산출부로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면 둘레의 가상 평면과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부 및 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하는 가상 터치 처리부로 구성되는 가상 터치 장치를 통해,According to an aspect of the present invention, there is provided a method of controlling an electronic device using a virtual plane around a display screen of a display device, the method including two or more image sensors disposed at different positions, A space coordinate calculator for calculating three-dimensional coordinate data of the user's body using the image received from the image acquiring unit; A touch position calculation unit for calculating contact point coordinate data in which a straight line connecting the first spatial coordinate and the second spatial coordinate meets an imaginary plane around the display surface using the contact coordinate data received from the touch position calculation unit, And inputting the command code to the main control unit of the electronic apparatus, Through the virtual touch device constituted by the touch processing section,
(A) 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면 둘레의 가상 평면과, 손가락 끝점과, 한쪽 눈의 접점을 각각 검출하는 단계와,(A) processing three-dimensional coordinate data (X1, Y1, Z1) of a fingertip and three-dimensional coordinate data (X2, Y2, Z2) of a center point of one eye to generate a virtual plane around the display screen, Detecting respective contacts of one eye,
(B) 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와,(B) calculating at least one of a depth change of the detected finger end point, a change of a locus, a holding time, and a change speed;
(C) 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 주변의 가상 평면을 사용하여 전자기기를 제어하는 방법.(C) The electronic device can be operated based on at least one of the depth change of the calculated finger end point, the change of the locus, the holding time and the speed of change, and the user can select the corresponding area Wherein a virtual plane around a display screen in a virtual touch device without using a pointer is used to control the electronic device.
본 발명의 일 실시형태에서, 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치와, 상기 3차원 좌표 산출장치로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부 및 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하는 가상 터치 처리부를 포함하는 제어부로 구성되는 가상 터치 장치를 통해,In one embodiment of the present invention, a three-dimensional coordinate calculation device for extracting three-dimensional coordinate data of a user's body and a three-dimensional coordinate calculation device for calculating three- A touch position calculation unit for calculating contact coordinate data in which a straight line connecting a coordinate and a second spatial coordinate meet the display surface and a command code for performing an operation set to correspond to the contact coordinate data received from the touch position calculation unit And a control unit including a virtual touch processing unit for generating and inputting the virtual touch signal to the main control unit of the electronic device,
(A) 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면 둘레의 가상 평면과, 손가락 끝점과, 한쪽 눈의 접점을 각각 검출하는 단계와,(A) processing three-dimensional coordinate data (X1, Y1, Z1) of a fingertip and three-dimensional coordinate data (X2, Y2, Z2) of a center point of one eye to generate a virtual plane around the display screen, Detecting respective contacts of one eye,
(B) 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와,(B) calculating at least one of a depth change of the detected finger end point, a change of a locus, a holding time, and a change speed;
(C) 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 주변의 가상 평면을 사용하여 전자기기를 제어하는 방법.(C) The electronic device can be operated based on at least one of the depth change of the calculated finger end point, the change of the locus, the holding time and the speed of change, and the user can select the corresponding area Wherein a virtual plane around a display screen in a virtual touch device without using a pointer is used to control the electronic device.
본 발명의 다른 실시 형태에서, 상기 가상 평면은 전자기기 디스플레이의 상단, 하단, 좌측면, 우측면의 4개의 선택 영역으로 구분되는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 주변의 가상 평면을 사용하여 전자기기를 제어하는 방법.In another embodiment of the present invention, the virtual plane is divided into four selection areas of the upper, lower, left, and right sides of the electronic device display. In the virtual touch device without a pointer, Wherein the virtual plane of the electronic device is controlled.
본 발명의 또 다른 실시 형태에서, 상기 가상 평면은 전자기기 디스플레이의 상단, 하단, 좌측면, 우측면의 8개의 선택 영역으로 구분되는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 주변의 가상 평면을 사용하여 전자기기를 제어하는 방법.In another embodiment of the present invention, the virtual plane is divided into eight selection areas on the top, bottom, left, and right sides of the electronic device display. In the virtual touch device without the pointer, A method for controlling an electronic device using a virtual plane around.
이상에서 설명한 바와 같은 본 발명에 따른 전자기기 디스플레이 표시면 주변에 가상평면을 사용하는 방법은 전자기기를 원격에서 조작하면서도 디스플레이 표시면에 조작 화면을 표시하지 않음으로써 디스플레이의 영상 시청을 방해하지 않는 효과가 있다.The method of using the virtual plane around the display screen of the electronic device according to the present invention as described above does not display the operation screen on the display screen while remotely operating the electronic device, .
나아가 전자기기 디스플레이 둘레의 가상 평면을 조작 화면으로 사용할 수 있게 함으로써 전자기기의 디스플레이에서 멀어지더라도 조작이 용이하게 하는 효과가 있다. 즉, "터치패널의 확장 효과"를 가진다.Further, since the virtual plane around the electronic device display can be used as the operation screen, the operation is facilitated even if the electronic device is moved away from the display of the electronic device. That is, it has "expansion effect of touch panel ".
도 1 은 본 발명의 바람직한 제 1 실시예에 따른 가상 터치 장치 블록도
도 2 는 사용자가 디스플레이에 표시된 화면 메뉴를 선택하는 화면
도 3 은 전자기기 디스플레이 둘레의 가상 평면을 8 등분하여 선택 영역을 설정한 것을 보여 주는 상태도.
도 4 은 본 발명의 바람직한 제 2 실시예에 따른 가상 터치 장치 블록도
도 5 는 사용자가 디스플레이에 표시된 화면 메뉴를 선택하는 화면
도 6 은 전자기기 디스플레이 둘레의 가상 평면을 8 등분하여 선택 영역을 설정한 것을 보여 주는 상태도1 is a block diagram of a virtual touch device according to a first preferred embodiment of the present invention
2 is a diagram illustrating a screen for selecting a screen menu displayed on the display
Fig. 3 is a state diagram showing that a selection area is set by dividing a virtual plane around an electronic device display into 8 equal parts. Fig.
4 is a block diagram of a virtual touch device according to a second preferred embodiment of the present invention
5 is a view illustrating a screen for selecting a screen menu displayed on the display
6 is a state diagram showing that a virtual plane on the periphery of an electronic device display is divided into 8 equal parts and a selection area is set.
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.Other objects, features and advantages of the present invention will become apparent from the detailed description of the embodiments with reference to the accompanying drawings.
본 발명에 따른 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있다.
A preferred embodiment of a method for controlling an electronic device using a virtual plane around a display display surface in a virtual touch device without using a pointer according to the present invention will be described with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. It is provided to let you know. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and are not intended to represent all of the technical ideas of the present invention. Therefore, various equivalents There may be water and variations.
제 1 1st 실시예Example
도 1 은 본 발명의 제 1 실시예에 따른 가상 터치 장치를 나타낸 블록 구성도이다.1 is a block diagram showing a virtual touch device according to a first embodiment of the present invention.
도 1을 참조하면, 가상 터치 장치(1)는 영상획득부(10), 공간좌표 산출부(20), 터치 위치 산출부(30) 및 가상 터치 산출부(40)를 포함한다.Referring to FIG. 1, the
상기 영상획득부(10)로는 일종의 카메라모듈로 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 이미지 센서(11, 12)를 2 이상 포함 할 수 있다.The
상기 공간좌표 산출부(20)는 영상획득부(10)로부터 수신한 영상을 이용하여 상기 사용자 신체의 3차원 좌표 데이터를 산출한다. 본 발명에 따르면 영상획득부(20)를 구성하는 이미지센서(11, 12)는 각기 다른 각도에서 사용자 신체를 촬영하고 공간좌표 산출부(20)는 수동적인 광학 삼각법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출할 수 있다.The space
일반적으로 광학식 3차원 좌표 산출 방법은 센싱 방법에 따라 능동 방식과 수동 방식으로 분류할 수 있다. 능동 방식은 미리 정의된 패턴이나 음파 등을 물체에 투사한 후 그 에너지 또는 초점 등의 센서 파라미터의 제어를 통한 변화량을 측정하여 물체의 3차원 좌표 데이터를 산출하는 방법으로 구조광 혹은 레이저광을 이용하는 방식이 대표적이다. 이에 비하여 수동 방식은 인위적으로 물체에 에너지를 투사하지 않은 상태에서 촬영한 영상의 명암(intensity), 시차(parallax)등을 이용하는 방식이다.Generally, the optical three-dimensional coordinate calculation method can be classified into the active method and the manual method according to the sensing method. The active method is a method of calculating three-dimensional coordinate data of an object by projecting a predetermined pattern or sound wave onto an object and then measuring the amount of change through control of sensor parameters such as energy or focus, Method. On the other hand, the manual method uses intensity, parallax, etc. of the image taken without artificially projecting energy to the object.
본 발명에서는 물체에 에너지를 투사하지 않는 수동 방식을 채용하고 있는 바, 이 방식은 능동 방식에 비해 다소 정밀도는 떨어질 수 있어도 장비가 간편하고 입력 영상으로부터 텍스쳐를 직접 획득할 수 있는 장점이 있다.In the present invention, a passive method that does not project energy to an object is adopted. This method is advantageous in that it is simple in equipment and can acquire a texture directly from an input image even though accuracy may be somewhat lower than that in an active method.
수동 방식에서는 촬영한 영상 간에 대응되는 특징점들에게 삼각법을 적용하여 3차원 정보를 획득할 수 있다. 삼각법의 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다. 특히, 사용자 신체의 3차원 좌표 데이터를 산출하는 방법으로 입체 카메라 법을 이용할 수도 있다. 입체 카메라 법은 인간이 두 개의 눈으로 물체를 보고 변위를 얻는 양안입체 시의 구조와 동일하게 두 개의 다른 점에서 물체 표면의 동일점을 관측하여 그 점에 대한 예상각으로부터 거리를 구하는 방법이다. 상기 언급한 각종 3차원 좌표 산출 기법들은 본 발명이 속하는 기술분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 한편, 2차원 이미지를 이용하여 3차원 좌표 데이터를 산출하는 방법과 관련된 특허문헌으로 국내공개특허 제10-0021803호, 제10-2004-0004135호, 제10-2007-0066382호, 제10-2007-0117877호 등 다수가 존재한다.In the manual method, three-dimensional information can be obtained by applying trigonometry to feature points corresponding to the captured images. Camera self-calibration, Harris's corner extraction, SIFT, RANSAC, and Tsai techniques are commonly used as various related techniques for extracting three-dimensional coordinates by applying trigonometry. Particularly, a stereoscopic camera method may be used as a method of calculating three-dimensional coordinate data of a user's body. The stereoscopic camera method is a method of observing the same point on the surface of an object at two different points in the same manner as the structure of a binocular stereoscopic system in which a human is seen with two eyes and obtains a displacement, and the distance from the expected angle is obtained. The above-mentioned various three-dimensional coordinate calculation techniques can be easily understood by those skilled in the art and can be implemented. Therefore, a description thereof will be omitted. On the other hand, as patent documents related to a method of calculating three-dimensional coordinate data using a two-dimensional image, Korean Patent Laid-Open Nos. 10-0021803, 10-2004-0004135, 10-2007-0066382, 10-2007 -0117877 and so on.
상기 터치 위치 산출부(30)는 공간좌표 산출부(20)로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.The touch
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다. Generally speaking, the fingers are the only part of the human body that allows precise and delicate manipulation. Particularly, when using either the thumb or the index finger among the fingers or using the two fingers together, it is possible to perform precise pointing. Accordingly, it is very effective to use the tip of the thumb and / or index finger as the first spatial coordinate in the present invention.
또한 같은 맥락에서 상기 제1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다. 이러한 포인터를 사용할 경우 손가락 끝에 비해 사용자 시야로부터 디스플레이를 가리는 부분이 작고 포인터의 뾰족한 끝으로 디스플레이의 매우 작은 부분까지도 정확히 포인팅 할 수 있는 장점이 있다.Also, in the same context, it is possible to use a pointed pointer (e.g., a pen tip) holding a finger with the finger instead of the end of the finger serving as the first spatial coordinate. The advantage of using such a pointer is that the portion that covers the display from the user's view is smaller than the fingertip, and the pointed end of the pointer can accurately point to a very small portion of the display.
또한 본 발명에서는 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.In the present invention, only the center point of one eye of the user is used. For example, if the user places his / her index finger in front of his / her eyes and looks at the index finger, the index finger will appear as two. This occurs because the shapes of the index fingers viewed by the user's eyes are different from each other (due to the angular difference of the eyes). But if you look at your fingers only with one eye, your forefinger will look clearly. Even if you do not detect one eye, you can consciously see your forefinger clearly even if you look only with one eye. It is the same principle to close and close one eye for sports events that require a high degree of accuracy in aiming, such as shooting and archery.
본 발명에서는 한쪽 눈으로만 손가락 끝(제1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제1 공간좌표를 정확히 볼 수 있어야 제1 공간좌표와 일치되는 디스플레이의 특정 영역을 포인팅 할 수 있다.The present invention adopts the principle that the shape of the fingertip can be clearly grasped when the fingertip (first spatial coordinate) is viewed with only one eye. In this way, the user must be able to correctly view the first spatial coordinates, so that a specific area of the display coinciding with the first spatial coordinates can be pointed.
본 발명에서는 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다.In the present invention, when one user uses one of the fingers, the first spatial coordinate is any three-dimensional coordinates of the end of one of the fingers of the user and the end of the pointer held by the user, The second spatial coordinate will be the three-dimensional coordinates of the center point of either eye of the user.
또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.If one user uses two or more of the fingers, the first spatial coordinates are three-dimensional coordinates of the ends of two or more fingers of the user's fingers, and the second spatial coordinates are the coordinates of the two or more users Dimensional coordinates of the center point of either eye.
또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.In addition, when two or more users are used, the first spatial coordinates are three-dimensional coordinates of the ends of one or more fingers presented by the user of two or more users, and the second spatial coordinates are coordinates of one of the two or more users Dimensional coordinates of the center point of the center point.
상기 가상 터치 처리부(40)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력하도록 형성될 수 있다. 가상 터치 처리부(40)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.The virtual
또한 가상 터치 처리부(40)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력하도록 형성될 수 있다. 가상 터치 처리부(40)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 대해서도 마찬가지로 방식으로 처리할 수 있다.The virtual
한편, 상기 접점 좌표 데이터의 변동이 상기 디스플레이(90)의 설정영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 디스플레이를 포인팅 할 때 신체 특성상 신체 또는 손가락에 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 디스플레이의 설정 영역 범위 안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주하여 설정된 동작을 수행하는 명령코드를 생성하여 전자기기의 주 제어부(91)로 입력하도록 할 수 있다.On the other hand, if it is determined that the variation of the contact coordinate data is within the setting range of the
본 발명에 따른 원격 조정의 대상이 되는 전자기기 중 대표적인 것으로 디지털텔레비젼을 들 수 있다. 일반적으로 디지털텔레비전 수신기는 방송신호 수신부, 영상신호 처리부, 시스템 제어부 등을 별도로 구비하고 있으나 이러한 구성요소들은 당업자에게는 지극히 자명한 사실이므로 여기서는 이들에 상세한 설명을 생략한다. 본 발명에 따른 원격 조정의 대상이 되는 기타 전자기기로는 가전 기기 뿐만 아니라 조명기기, 가스기기, 난방기기, 방법기기 등 홈 네트워킹을 구성하고 각종 전자기기들도 본 발명에 의한 원격 조정 대상이 될 수 있다.A representative example of the electronic apparatus to be subjected to the remote control according to the present invention is a digital television. Generally, the digital television receiver is provided with a broadcast signal receiving unit, a video signal processing unit, a system control unit, and the like. However, these components are obvious to those skilled in the art and will not be described in detail here. Other electronic devices to be subjected to the remote control according to the present invention include home networking such as home appliances as well as lighting devices, gas appliances, heating appliances, and method appliances, and various electronic appliances may be remotely controlled by the present invention .
본 발명에 따른 가상 터치 장치(1)는 원격 조정의 대상이 되는 전자기기 프레임 상단에 삽입되어 설치될 수 있고, 또한 전자기기와 별도로 분리되어 설치될 수도 있다.The
도 2 는 본 발명의 실시예에 따라 사용자가 전자기기 디스플레이(90) 상에서 특정 아이콘을 선택하는 도면이다. 사용자는 한쪽 눈으로 손가락 끝을 보면서 디스플레이(90)상에서 '음악' 아이콘을 선택한다. 공간좌표 산출부(20)에서는 사용자 신체의 3차원 공간좌표를 생성하고, 터치 위치 산출부(30)는 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면과의 접점 좌표(X, Y, Z)를 산출한다. 이후 가상 터치 처리부(40)는 접점 좌표 데이터(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력한다. 주 제어부(91)는 상기 명령코드를 수행한 결과를 디스플레이(90)에 표시하도록 제어한다. 도 2 에서는 '음악' 아이콘 메뉴를 선택하였다.2 is a diagram illustrating a user selecting a particular icon on the
사용자는 도 2 에서 '음악' 아이콘 메뉴를 선택한 후 나타나는 노래 곡명에 대한 서브 메뉴, 그 하부를 순차로 선택함으로써 디스플레이에 표시한 화면에서 특정 곡을 선택할 수 있다.The user can select a specific song on the screen displayed on the display by sequentially selecting the submenu for the song name displayed after selecting the 'music' icon menu in FIG. 2 and the lower part thereof.
한편, 터치 위치 산출부(30)는 손가락 끝의 3차원 좌표데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)가 일정한 조건(Z 좌표값의 변동)에 해당될 때에만 디스플레이 표시면과의 접점 좌표(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력한다.On the other hand, the touch
즉, 터치 위치 산출부(30)가 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없을 경우에만 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력한다.That is, the touch
또한, 가상 터치 처리부(40)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동(X와 Y 좌표값)이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화(Z 좌표값의 변화)가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(91)로 입력한다. The virtual
그리고, 1 사용자가 2개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우를 있을 수 있다. 사용자가 표시면에 2개의 접점 좌표를 가지면서 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다. 또한 사용자가 2개의 손가락 끝을 사용할 경우 디스플레이 표시면에서 이미지를 조작(이동, 회전, 축소, 확대 등)할 때에도 매우 유용할 것이다.One user may have two contact point coordinates (Xa, Ya, Za) and (Xb, Yb, Zb) on the electronic device display surface using two fingertips. An example of a user having two contact points on the display surface and controlling the operation of an electronic device may be commonly found in games and the like. It will also be very useful when the user manipulates (move, rotate, zoom, zoom, etc.) the image on the display screen when using two fingertips.
나아가 2 사용자가 각자 1개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우도 있다. 2명의 사용자가 표시면에 2개의 접점 좌표를 가지면서 각각 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다.Furthermore, two users may have two contact point coordinates (Xa, Ya, Za) and (Xb, Yb, Zb) on the electronic device display surface using one finger tip. An example in which two users have two contact points on the display surface and control the operation of electronic devices, respectively, will be common in games and the like.
도 3 은 본 발명에 따라 전자기기 디스플레이 표시면 둘레를 가상 평면으로 설정하고 그 선택 영역을 8 등분한 것을 제시한 화면이다. 사용자는 제1번 영역을 선택하였다. 이와 같이 디스플레이 둘레의 가상 평면은 4 등분, 6 등분, 8 등분 등 다양하게 구획할 수 있다. 바람직하기로는 8 등분하는 것이 사용자의 기억력 등을 위해 더 효과적일 수 있다. 물론 조작의 다양성을 위해 더 많은 구획이 가능하다.FIG. 3 is a view showing that the periphery of the electronic device display screen is set as a virtual plane according to the present invention, and the selected area is divided into 8 equal parts. The user has selected the first area. In this manner, the virtual plane around the display can be divided into four, six, eight, and so on. Preferably, it is more effective for the user's memory or the like to divide into 8 equal parts. Of course, more compartments are possible for a variety of operations.
또한, 전자기기 디스플레이 표시면 둘레를 가상 평면으로 설정함으로써 전자기기 조작을 위한 선택 영역을 넓게 가짐으로써 전자기기의 조작이 신속하게 될 수 있다. Further, by setting the periphery of the display surface of the electronic device to be a virtual plane, the selection area for operating the electronic device is widened, so that the operation of the electronic device can be speeded up.
이러한 본 발명의 전자기기 조작 방법은 터치패널과 같은 조작감 제공, 디스플레이 표시면 둘레를 사용함에 따른 조작 영역의 확대, 디스플레이에 조작 화면 불노출의 기술적 효과를 가진다.
Such an electronic device operating method of the present invention has the same operational feeling as the touch panel, enlargement of the operation area by using the periphery of the display screen, and technical effect of the operation screen light exposure on the display.
제 2 Second 실시예Example
도 4 은 본 발명의 제 2 실시예에 따른 가상 터치 장치를 나타낸 블록 구성도이다.4 is a block diagram showing a virtual touch device according to a second embodiment of the present invention.
도 4 을 참조하면, 가상 터치 장치(1)는 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치(10) 및 제어부(20)를 포함한다.Referring to FIG. 4, the
상기 3차원 좌표 산출장치(10)는 기존에 공지된 여러 3차원 좌표 추출 방법에 의해 사용자의 신체의 3차원 좌표를 산출할 수 있다. 이러한 3차원 좌표추출의 대표적인 방식으로는 광학적인 삼각 측량법과 시간지연측정법으로 나누어 볼 수 있다. 광학적인 삼각측량 기법의 하나인 구조광을 이용한 능동적 방식의 3차원 정보 획득 기법은 프로젝터를 사용하여 코드화된 패턴영상을 연속적으로 투영하고 카메라를 통해 구조광이 투영된 장면의 영상을 획득함으로써 3차원 위치를 추정하는 방법이다.The three-dimensional coordinate
또한, 시간지연측정법은 발신기로부터 발생한 초음파가 물체에 의해 반사되어 수신기에 도달하는 시간차(Time of Flight)를 초음파의 진행 속도로 나누어 거리로 환산함으로써 3D 정보를 획득하는 기법이다. 그 밖에도 시간지연측정법(Time of Flight)을 이용하는 3차원 좌표 산출 방법이 기존에 다양하게 존재하고, 본 발명이 속하는 기술분야의 당업자에게는 용이하게 구현이 가능하므로 이 부분에 대한 설명은 생략한다.In addition, the time delay measurement method is a technique of acquiring 3D information by converting the time difference of the ultrasonic wave, which is reflected by the object, to the receiver, by dividing the time difference of the ultrasonic wave by the traveling speed of the ultrasonic wave. In addition, there are various methods of calculating three-dimensional coordinates using a time-of-flight measurement method, and those skilled in the art can readily implement the present invention, so that a detailed description thereof will be omitted.
또한, 본 발명에 따른 3차원 좌표 산출장치(10)는 조명어셈블리(11), 영상획득부(12) 및 공간좌표 산출부(13)를 포함하여 구성될 수 있다. 조명어셈블리(12)는 광원(111)과 산광기(112)를 포함하며 사용자 신체에 스페클패턴을 투영한다. 영상획득부(12)는 이미지센서(121)와 렌즈(122)로 구성되어 상기 조명어셈블리에 의해 투영된 상기 사용자 상의 스페클 패턴을 캡쳐한다. 이미지 센서(121)는 일반적으로 CCD 또는 CMOS 기반의 이미지 센서가 사용될 수 있다. 또한 공간좌표 산출부(13)는 영상획득부(12)가 획득된 영상을 처리하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하는 역할을 수행한다.The three-dimensional coordinate
상기 제어부(20)는 터치 위치 산출부(21)와 가상 터치 산출부(22)로 구성된다.The
이때, 상기 터치 위치 산출부(21)는 3차원 좌표 산출장치(10)로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.At this time, the touch
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제1 공간좌표로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것은 매우 효과적이다.Generally speaking, the fingers are the only part of the human body that allows precise and delicate manipulation. Particularly, when using either the thumb or the index finger among the fingers or using the two fingers together, it is possible to perform precise pointing. Accordingly, it is very effective to use the tip of the thumb and / or index finger as the first spatial coordinate in the present invention.
또한 같은 맥락에서 상기 제1 공간좌표의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다. 이러한 포인터를 사용할 경우 손가락 끝에 비해 사용자 시야로부터 디스플레이를 가리는 부분이 작고 포인터의 뾰족한 끝으로 디스플레이의 매우 작은 부분까지도 정확히 포인팅 할 수 있는 장점이 있다.Also, in the same context, it is possible to use a pointed pointer (e.g., a pen tip) holding a finger with the finger instead of the end of the finger serving as the first spatial coordinate. The advantage of using such a pointer is that the portion that covers the display from the user's view is smaller than the fingertip, and the pointed end of the pointer can accurately point to a very small portion of the display.
또한 본 발명에서는 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷이 보일 것이다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.In the present invention, only the center point of one eye of the user is used. For example, if the user places his / her index finger in front of his / her eyes and looks at the index finger, the index finger will appear as two. This occurs because the shape of the index fingers viewed by the user is different from each other (due to the angle difference between the eyes). But if you look at your fingers only with one eye, your forefinger will look clearly. Even if you do not detect one eye, your forefinger will look conspicuous when you look at it with only one eye. It is the same principle to close and close one eye for sports events that require a high degree of accuracy in aiming, such as shooting and archery.
본 발명에서는 한쪽 눈으로만 손가락 끝(제1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제1 공간좌표를 정확히 볼 수 있어야 제1 공간좌표와 일치되는 디스플레이의 특정 영역을 포인팅 할 수 있다.The present invention adopts the principle that the shape of the fingertip can be clearly grasped when the fingertip (first spatial coordinate) is viewed with only one eye. In this way, the user must be able to correctly view the first spatial coordinates, so that a specific area of the display coinciding with the first spatial coordinates can be pointed.
본 발명에서는 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다.In the present invention, when one user uses one of the fingers, the first spatial coordinate is any three-dimensional coordinates of the end of one of the fingers of the user and the end of the pointer held by the user, The second spatial coordinate will be the three-dimensional coordinates of the center point of either eye of the user.
또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.If one user uses two or more of the fingers, the first spatial coordinates are three-dimensional coordinates of the ends of one or more fingers presented by two or more users, and the second spatial coordinates are the second Dimensional coordinates of a center point of one eye of the users who are at least three-dimensional.
또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.In addition, when two or more users are used, the first spatial coordinates are three-dimensional coordinates of the ends of one or more fingers presented by the user of two or more users, and the second spatial coordinates are coordinates of one of the two or more users Dimensional coordinates of the center point of the center point.
본 발명에 있어서, 가상 터치 처리부(22)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면 상기 접점 좌표데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력하도록 형성될 수 있다. 가상 터치 처리부(22)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 의해서도 마찬가지로 방식으로 처리할 수 있다.In the present invention, the virtual
또한 본 발명에 있어서, 가상 터치 처리부(22)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력하도록 형성될 수 있다. 가상 터치 처리부(22)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 의해서도 마찬가지로 방식으로 처리할 수 있다.In the present invention, the virtual
한편, 상기 접점 좌표 데이터의 변동이 상기 디스플레이(30)의 설정영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 디스플레이를 포인팅 할 때 신체 특성상 신체 또는 손가락에 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 디스플레이의 설정 영역 범위 안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주하여 설정된 동작을 수행하는 명령코드를 생성하여 전자기기의 주 제어부(31)로 입력하도록 할 수 있다.On the other hand, if it is determined that the variation of the contact coordinate data is within the setting range of the
본 발명에 따른 원격 조정의 대상이 되는 전자기기 중 대표적인 것으로 디지털텔레비젼을 들 수 있다. 일반적으로 디지털텔레비전 수신기는 방송신호 수신부, 영상신호 처리부, 시스템 제어부 등을 별도로 구비하고 있으나 이러한 구성요소들은 당업자에게는 지극히 자명한 사실이므로 여기서는 이들에 상세한 설명을 생략한다. 본 발명에 따른 원격 조정의 대상이 되는 기타 전자기기로는 가전 기기 뿐만 아니라 조명기기, 가스기기, 난방기기, 방법기기 등 홈 네트워킹을 구성하고 각종 전자기기들도 본 발명에 의한 원격 조정 대상이 될 수 있다.A representative example of the electronic apparatus to be subjected to the remote control according to the present invention is a digital television. Generally, the digital television receiver is provided with a broadcast signal receiving unit, a video signal processing unit, a system control unit, and the like. However, these components are obvious to those skilled in the art and will not be described in detail here. Other electronic devices to be subjected to the remote control according to the present invention include home networking such as home appliances as well as lighting devices, gas appliances, heating appliances, and method appliances, and various electronic appliances may be remotely controlled by the present invention .
본 발명에 따른 가상 터치 장치(1)는 원격 조정의 대상이 되는 전자기기 프레임 상단에 삽입되어 설치될 수 있고, 또한 전자기기와 별도로 분리되어 설치될 수도 있다.The
도 5 는 본 발명의 실시예에 따라 사용자가 전자기기 디스플레이(30) 상에서 특정 아이콘을 선택하는 도면이다. 사용자는 한쪽 눈으로 손가락 끝을 보면서 디스플레이(30)상에서 '음악' 아이콘을 선택한다. 3차원 좌표 산출장치(10)에서는 사용자 신체의 3차원 공간좌표를 생성하고, 제어부(20)의 터치 위치 산출부(21)는 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면과의 접점 좌표(X, Y, Z)를 산출한다. 이후 가상 터치 처리부(22)는 접점 좌표 데이터(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다. 주 제어부(31)는 상기 명령코드를 수행한 결과를 디스플레이(30)에 표시하도록 제어한다. 도 5 에서는 '음악' 아이콘 메뉴를 선택하였다.5 is a diagram illustrating a user selecting a particular icon on the
이제 사용자가 도 5 에서 '음악' 아이콘 메뉴를 선택한 후 나타나는 노래 곡명에 대한 서브 메뉴와 음악 서브 메뉴 중에서 순차적으로 특정 곡을 선택한다.Now, the user sequentially selects a specific music from the sub menu and the music sub menu for the song name appearing after selecting the 'music' icon menu in FIG. 5.
여기서, 제어부(20)의 터치 위치 산출부(21)는 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)가 일정한 조건(Z 좌표값의 변동)에 해당될 때에만 디스플레이 표시면과의 접점 좌표(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다.Here, the touch
그런데 터치 위치 산출부(21)가 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없을 경우에만 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다.The touch
그리고 가상 터치 처리부(22)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동(X와 Y 좌표값)이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화(Z 좌표값의 변화)가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다. Then, the virtual
또한, 1 사용자가 2개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우도 있다. 사용자가 표시면에 2개의 접점 좌표를 가지면서 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다. 또한 사용자가 2개의 손가락 끝을 사용할 경우 디스플레이 표시면에서 이미지를 조작(이동, 회전, 축소, 확대 등)할 때에도 매우 유용할 것이다.There are also cases where one user has two contact point coordinates (Xa, Ya, Za) and (Xb, Yb, Zb) on the display surface of the electronic device using two fingertips. An example of a user having two contact points on the display surface and controlling the operation of an electronic device may be commonly found in games and the like. It will also be very useful when the user manipulates (move, rotate, zoom, zoom, etc.) the image on the display screen when using two fingertips.
나아가 2 사용자가 각자 1개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우도 있다. 2명의 사용자가 표시면에 2개의 접점 좌표를 가지면서 각각 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다.Furthermore, two users may have two contact point coordinates (Xa, Ya, Za) and (Xb, Yb, Zb) on the electronic device display surface using one finger tip. An example in which two users have two contact points on the display surface and control the operation of electronic devices, respectively, will be common in games and the like.
도 6 은 본 발명에 따라 전자기기 디스플레이 표시면 둘레를 가상 평면으로 설정하고 그 선택 영역을 8 등분한 것을 제시한 화면이다. 사용자는 제1번 영역을 선택하였다. 이와 같이 디스플레이 둘레의 가상 평면은 4 등분, 6 등분, 8 등분 등 다양하게 구획할 수 있다. 바람직하기로는 8 등분하는 것이 사용자의 위치 기억 등을 위해 더 효과적일 수 있다. 물론 조작의 다양성을 위해 더 많은 구획이 가능하다.FIG. 6 is a view showing that an electronic device display display surface is set as a virtual plane according to the present invention, and the selected area is divided into 8 equal parts. The user has selected the first area. In this manner, the virtual plane around the display can be divided into four, six, eight, and so on. Preferably, it is more effective for storing the position of the user and the like. Of course, more compartments are possible for a variety of operations.
또한, 전자기기 디스플레이 표시면 둘레를 가상 평면으로 설정함으로써 전자기기 조작을 위한 선택 영역을 넓게 가짐으로써 전자기기의 조작이 신속하게 될 수 있다.Further, by setting the periphery of the display surface of the electronic device to be a virtual plane, the selection area for operating the electronic device is widened, so that the operation of the electronic device can be speeded up.
이러한 본 발명의 전자기기 조작 방법은 터치패널과 같은 조작감 제공, 디스플레이 표시면 둘레를 사용함에 따른 조작 영역의 확대, 디스플레이에 조작 화면 불노출의 기술적 효과를 가진다.Such an electronic device operating method of the present invention has the same operational feeling as the touch panel, enlargement of the operation area by using the periphery of the display screen, and technical effect of the operation screen light exposure on the display.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. It will be apparent to those skilled in the art that various modifications may be made without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
Claims (4)
(A) 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면 둘레의 가상 평면과, 손가락 끝점과, 한쪽 눈의 접점을 각각 검출하는 단계와,
(B) 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와,
(C) 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 주변의 가상 평면을 사용하여 전자기기를 제어하는 방법.Dimensional coordinate data of the user's body using the image received from the image acquiring unit; and an image acquiring unit configured to acquire three-dimensional coordinate data of the user's body using two or more image sensors disposed at different positions, A straight line connecting the first spatial coordinate and the second spatial coordinate is obtained by using a first spatial coordinate and a second spatial coordinate received from the spatial coordinate calculator, A touch position calculating unit for calculating contact point coordinate data to be contacted and a command code for performing an operation set to correspond to the contact point coordinate data received from the touch position calculating unit and inputting the command code to the main control unit of the electronic apparatus Through the virtual touch device being configured,
(A) processing three-dimensional coordinate data (X1, Y1, Z1) of a fingertip and three-dimensional coordinate data (X2, Y2, Z2) of a center point of one eye to generate a virtual plane around the display screen, Detecting respective contacts of one eye,
(B) calculating at least one of a depth change of the detected finger end point, a change of a locus, a holding time, and a change speed;
(C) The electronic device can be operated based on at least one of the depth change of the calculated finger end point, the change of the locus, the holding time and the speed of change, and the user can select the corresponding area Wherein a virtual plane around a display screen in a virtual touch device without using a pointer is used to control the electronic device.
(A) 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면 둘레의 가상 평면과, 손가락 끝점과, 한쪽 눈의 접점을 각각 검출하는 단계와,
(B) 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와,
(C) 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 기반으로 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 주변의 가상 평면을 사용하여 전자기기를 제어하는 방법.Dimensional coordinates of the user's body and a first spatial coordinate and a second spatial coordinate received from the three-dimensional coordinate calculation device, the first spatial coordinate and the second spatial coordinate being connected And a command code for performing an operation set to correspond to the contact point coordinate data received from the touch position calculating unit, and outputs the command code to the main control unit Through a virtual touch device composed of a control unit including a virtual touch processing unit for inputting a virtual touch signal,
(A) processing three-dimensional coordinate data (X1, Y1, Z1) of a fingertip and three-dimensional coordinate data (X2, Y2, Z2) of a center point of one eye to generate a virtual plane around the display screen, Detecting respective contacts of one eye,
(B) calculating at least one of a depth change of the detected finger end point, a change of a locus, a holding time, and a change speed;
(C) The electronic device can be operated based on at least one of the depth change of the calculated finger end point, the change of the locus, the holding time and the speed of change, and the user can select the corresponding area Wherein a virtual plane around a display screen in a virtual touch device without using a pointer is used to control the electronic device.
상기 가상 평면은 전자기기 디스플레이의 상단, 하단, 좌측면, 우측면의 4개의 선택 영역으로 구분되는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 주변의 가상 평면을 사용하여 전자기기를 제어하는 방법.3. The method according to claim 1 or 2,
Wherein the virtual plane is divided into four selection areas of the top, bottom, left, and right sides of the electronic device display. / RTI >
상기 가상 평면은 전자기기 디스플레이의 상단, 하단, 좌측면, 우측면의 8개의 선택 영역으로 구분되는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 주변의 가상 평면을 사용하여 전자기기를 제어하는 방법.3. The method according to claim 1 or 2,
Wherein the virtual plane is divided into eight selection areas on the upper, lower, left, and right sides of the electronic device display. / RTI >
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120127067A KR101441882B1 (en) | 2012-11-12 | 2012-11-12 | method for controlling electronic devices by using virtural surface adjacent to display in virtual touch apparatus without pointer |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120127067A KR101441882B1 (en) | 2012-11-12 | 2012-11-12 | method for controlling electronic devices by using virtural surface adjacent to display in virtual touch apparatus without pointer |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140060604A true KR20140060604A (en) | 2014-05-21 |
KR101441882B1 KR101441882B1 (en) | 2014-09-22 |
Family
ID=50889840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120127067A KR101441882B1 (en) | 2012-11-12 | 2012-11-12 | method for controlling electronic devices by using virtural surface adjacent to display in virtual touch apparatus without pointer |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101441882B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018080142A1 (en) * | 2016-10-24 | 2018-05-03 | 주식회사 브이터치 | Method and system for supporting object control, and non-transitory computer-readable recording medium |
KR20190008773A (en) * | 2017-07-17 | 2019-01-25 | 주식회사 브이터치 | Method, system and non-transitory computer-readable recording medium for assisting object control |
CN110321008A (en) * | 2019-06-28 | 2019-10-11 | 北京百度网讯科技有限公司 | Exchange method, device, equipment and storage medium based on AR model |
WO2020060157A1 (en) * | 2018-09-19 | 2020-03-26 | 주식회사 브이터치 | Method, system, and non-transitory computer-readable recording medium for supporting object control |
WO2021046982A1 (en) * | 2019-09-10 | 2021-03-18 | 武汉华星光电半导体显示技术有限公司 | Display panel, electronic apparatus and method for operating electronic apparatus |
KR20220021845A (en) * | 2020-08-14 | 2022-02-22 | 주식회사 브이터치 | Method, system and non-transitory computer-readable recording medium for supporting object control |
US11474690B2 (en) | 2020-08-14 | 2022-10-18 | VTouch Co., Ltd. | Method, system and non-transitory computer-readable recording medium for non-contact control |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105955497A (en) * | 2016-05-09 | 2016-09-21 | 北京电子科技学院 | Multi-contact switch |
KR102463712B1 (en) | 2017-11-24 | 2022-11-08 | 현대자동차주식회사 | Virtual touch recognition apparatus and method for correcting recognition error thereof |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5355097B2 (en) * | 2007-01-12 | 2013-11-27 | 株式会社カプコン | Display control apparatus, control method, program, and computer-readable recording medium recording the program |
KR101151962B1 (en) * | 2011-02-16 | 2012-06-01 | 김석중 | Virtual touch apparatus and method without pointer on the screen |
-
2012
- 2012-11-12 KR KR1020120127067A patent/KR101441882B1/en active IP Right Grant
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018080142A1 (en) * | 2016-10-24 | 2018-05-03 | 주식회사 브이터치 | Method and system for supporting object control, and non-transitory computer-readable recording medium |
US10948995B2 (en) | 2016-10-24 | 2021-03-16 | VTouch Co., Ltd. | Method and system for supporting object control, and non-transitory computer-readable recording medium |
KR20190008773A (en) * | 2017-07-17 | 2019-01-25 | 주식회사 브이터치 | Method, system and non-transitory computer-readable recording medium for assisting object control |
WO2020060157A1 (en) * | 2018-09-19 | 2020-03-26 | 주식회사 브이터치 | Method, system, and non-transitory computer-readable recording medium for supporting object control |
KR20200033040A (en) * | 2018-09-19 | 2020-03-27 | 주식회사 브이터치 | Method, system and non-transitory computer-readable recording medium for supporting object control |
US11886167B2 (en) | 2018-09-19 | 2024-01-30 | VTouch Co., Ltd. | Method, system, and non-transitory computer-readable recording medium for supporting object control |
CN110321008A (en) * | 2019-06-28 | 2019-10-11 | 北京百度网讯科技有限公司 | Exchange method, device, equipment and storage medium based on AR model |
CN110321008B (en) * | 2019-06-28 | 2023-10-24 | 北京百度网讯科技有限公司 | Interaction method, device, equipment and storage medium based on AR model |
WO2021046982A1 (en) * | 2019-09-10 | 2021-03-18 | 武汉华星光电半导体显示技术有限公司 | Display panel, electronic apparatus and method for operating electronic apparatus |
KR20220021845A (en) * | 2020-08-14 | 2022-02-22 | 주식회사 브이터치 | Method, system and non-transitory computer-readable recording medium for supporting object control |
US11474690B2 (en) | 2020-08-14 | 2022-10-18 | VTouch Co., Ltd. | Method, system and non-transitory computer-readable recording medium for non-contact control |
Also Published As
Publication number | Publication date |
---|---|
KR101441882B1 (en) | 2014-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101381928B1 (en) | virtual touch apparatus and method without pointer on the screen | |
KR101441882B1 (en) | method for controlling electronic devices by using virtural surface adjacent to display in virtual touch apparatus without pointer | |
KR101151962B1 (en) | Virtual touch apparatus and method without pointer on the screen | |
KR101364133B1 (en) | Apparatus for 3D using virtual touch and apparatus for 3D game of the same | |
US9600078B2 (en) | Method and system enabling natural user interface gestures with an electronic system | |
JP6057396B2 (en) | 3D user interface device and 3D operation processing method | |
KR102147430B1 (en) | virtual multi-touch interaction apparatus and method | |
KR101343748B1 (en) | Transparent display virtual touch apparatus without pointer | |
KR20120068253A (en) | Method and apparatus for providing response of user interface | |
EP2558924B1 (en) | Apparatus, method and computer program for user input using a camera | |
KR20120126508A (en) | method for recognizing touch input in virtual touch apparatus without pointer | |
KR101518727B1 (en) | A stereoscopic interaction system and stereoscopic interaction method | |
EP2788839A1 (en) | Method and system for responding to user's selection gesture of object displayed in three dimensions | |
US9727229B2 (en) | Stereoscopic display device, method for accepting instruction, and non-transitory computer-readable medium for recording program | |
CN103744518A (en) | Stereoscopic interaction method, stereoscopic interaction display device and stereoscopic interaction system | |
CN106980377B (en) | A kind of interactive system and its operating method of three-dimensional space | |
KR101321274B1 (en) | Virtual touch apparatus without pointer on the screen using two cameras and light source | |
TW201439813A (en) | Display device, system and method for controlling the display device | |
Lee et al. | Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality | |
KR101272458B1 (en) | virtual touch apparatus and method without pointer on the screen | |
US10345595B2 (en) | Head mounted device with eye tracking and control method thereof | |
CN114115544B (en) | Man-machine interaction method, three-dimensional display device and storage medium | |
KR101394604B1 (en) | method for implementing user interface based on motion detection and apparatus thereof | |
KR20130133482A (en) | Virtual touch apparatus without pointer on the screen using time of flight(tof) camera | |
KR20140021166A (en) | Two-dimensional virtual touch apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170912 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180904 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190906 Year of fee payment: 6 |