[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101937823B1 - 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 - Google Patents

객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101937823B1
KR101937823B1 KR1020160138662A KR20160138662A KR101937823B1 KR 101937823 B1 KR101937823 B1 KR 101937823B1 KR 1020160138662 A KR1020160138662 A KR 1020160138662A KR 20160138662 A KR20160138662 A KR 20160138662A KR 101937823 B1 KR101937823 B1 KR 101937823B1
Authority
KR
South Korea
Prior art keywords
control
vector
user
target object
management unit
Prior art date
Application number
KR1020160138662A
Other languages
English (en)
Other versions
KR20180044757A (ko
Inventor
김석중
Original Assignee
주식회사 브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브이터치 filed Critical 주식회사 브이터치
Priority to KR1020160138662A priority Critical patent/KR101937823B1/ko
Priority to CN201780067468.4A priority patent/CN109891370B/zh
Priority to JP2019521658A priority patent/JP7094280B2/ja
Priority to EP17865786.2A priority patent/EP3531242A4/en
Priority to PCT/KR2017/011788 priority patent/WO2018080142A1/ko
Publication of KR20180044757A publication Critical patent/KR20180044757A/ko
Application granted granted Critical
Publication of KR101937823B1 publication Critical patent/KR101937823B1/ko
Priority to US16/391,721 priority patent/US10948995B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35444Gesture interface, controlled machine observes operator, executes commands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
본 발명의 일 태양에 따르면, 객체 제어를 지원하기 위한 방법으로서, 사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하는 단계, 상기 제어 벡터에 의하여 지시되는 객체를 상기 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하는 단계, 상기 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 상기 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하는 단계, 및 상기 매핑에 의하여 특정되는 제어 좌표를 참조하여 상기 대상 객체에 대하여 적용되는 제어 명령을 결정하는 단계를 포함하는 방법이 제공된다.

Description

객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체{METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR ASSISTING OBJECT CONTROL}
본 발명은 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
근래에 들어, 사용자가 가전 디바이스와 같은 현실 객체나 아바타와 같은 가상 객체를 제스처(gesture)에 기반하여 제어할 수 있도록 지원하는 기술이 소개되고 있다.
특히, 최근에는, 증강 현실(AR; Augmented Reality)이나 가상 현실(VR; Virtual Reality)에 관한 관심이 높아지고 관련 기술 분야의 연구 개발이 활발하게 이루어짐에 따라, 사용자가 실제 현실 또는 가상 현실에 존재하는 상호작용 가능한 객체를 원활하게 제어할 수 있도록 지원하는 기술에 대한 요구가 늘어나고 있는 실정이다.
종래에는, 사용자나 시스템에 의하여 미리 지정된 대상 객체에 대하여만 사용자의 제어 명령이 전달되도록 하는 기술과 사용자가 마우스 커서 등의 포인터로 대상 객체를 지시하거나 대상 객체의 이름을 따로 말하는(예를 들면, "거실 조명을 꺼줘", "301호의 에어컨 온도를 낮춰 주세요" 등) 등의 명시적인 행위를 행함으로써 대상 객체에 대하여 사용자의 제어 명령이 전달되도록 하는 기술이 소개된 바 있다.
하지만, 위와 같은 종래 기술에 의하면, 사용자가 미리 정해진 객체 외의 다른 객체를 제어할 수 없게 되거나 객체를 제어할 때마다 제어의 대상이 되는 객체를 매우 구체적으로 직접 특정해야 하는 불편을 겪을 수밖에 없으므로, 실제적인 사용 환경에서 유연성이 적고 사용자 편의성이 떨어지는 한계가 존재한다.
특히, 사무실이나 가정집과 같은 실내 공간에는 다양한 종류의 객체(예를 들면, 가전 디바이스, 가구 등)가 존재하는 것이 일반적인데, 이들 객체는 크기, 기능 등의 속성이 서로 다르기 때문에, 객체를 제어하는 방식도 해당 객체의 속성에 따라 적응적으로 설정될 필요가 있다. 예를 들면, 조명을 켜거나 끄는 것은 조명의 전원 스위치를 누르거나 돌리는 제스처에 의하여 제어될 수 있고, 창문을 열거나 닫는 것은 창문을 상하 방향 또는 좌우 방향으로 슬라이딩하는 제스처에 의하여 제어될 수 있다. 하지만, 종래에 소개된 기술에 따르면, 객체의 속성이 반영되지 않은 획일적인 제어 방식을 통하여만 객체가 제어될 수 있을 뿐이므로, 다양한 종류의 객체를 효과적으로 제어하기 어렵다는 한계가 존재한다.
이에, 본 발명자는, 사용자가 자신의 신체 부위나 소정의 벡터 제어 수단을 이용하여 직관적으로 행하는 제스처 또는 조작에 따라 실세계 좌표계에서 특정되는 제어 벡터를 해당 객체의 속성에 따라 정의되는 객체 기준 좌표계 상의 제어 좌표와 매핑(mapping)시킴으로써, 사용자가 직관적인 제스처 또는 조작을 행하는 것만으로 다양한 객체를 정확하게 제어할 수 있도록 하는 기술을 제안하는 바이다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하고, 제어 벡터에 의하여 지시되는 객체를 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하고, 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하고, 매핑에 의하여 특정되는 제어 좌표를 참조하여 대상 객체에 대하여 적용되는 제어 명령을 결정함으로써, 사용자가 제어 벡터를 생성(또는 특정)하기 위한 직관적인 제스처 또는 조작을 행하는 것만으로 다양한 객체를 정확하고 편리하게 제어할 수 있도록 하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 객체 제어를 지원하기 위한 방법으로서, 사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하는 단계, 상기 제어 벡터에 의하여 지시되는 객체를 상기 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하는 단계, 상기 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 상기 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하는 단계, 및 상기 매핑에 의하여 특정되는 제어 좌표를 참조하여 상기 대상 객체에 대하여 적용되는 제어 명령을 결정하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 객체 제어를 지원하기 위한 시스템으로서, 사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하고, 상기 제어 벡터에 의하여 지시되는 객체를 상기 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하고, 상기 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 상기 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하고, 상기 매핑에 의하여 특정되는 제어 좌표를 참조하여 상기 대상 객체에 대하여 적용되는 제어 명령을 결정하는 객체 제어 관리부, 및 상기 사용자 및 상기 객체에 관한 공간 정보를 저장하는 공간 정보 관리부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 사용자가 자신의 신체 부위 또는 소정의 벡터 제어 수단을 이용하여 직관적으로 행하는 제스처 또는 조작에 따라 실세계 좌표계에서 특정되는 제어 벡터를 해당 객체의 속성에 따라 정의되는 객체 기준 좌표계 상의 제어 좌표와 매핑(mapping)시킴으로써, 사용자가 제어 벡터를 생성(또는 특정)하기 위한 직관적인 제스처 또는 조작을 행하는 것만으로 다양한 객체를 정확하고 편리하게 제어할 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝에 겹쳐 보이는 객체를 대상 객체로 결정할 수 있으므로, 유효 영역(즉, 제어 가능 영역)에 관한 제한 없이 사용자가 눈으로 볼 수 있는 영역에 존재하는 모든 객체를 제어할 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 사용자가 자신이 조작할 수 있는 벡터 제어 수단에 의하여 지시되는 객체를 대상 객체로 결정할 수 있으므로, 유효 영역(즉, 제어 가능 영역)에 관한 제한 없이 사용자가 벡터 제어 수단에 의하여 지시될 것이라고 직관적으로 예측(또는 가늠)할 수 있는 영역에 존재하는 모든 객체를 제어할 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 제어의 대상이 되는 대상 객체를 결정하는 과정과 대상 객체에 대하여 적용될 제어 명령을 결정하는 과정이 함께 수행되므로, 제어의 대상이 되는 객체가 변경(즉, 제1 객체에서 제2 객체로의 전환)되는 경우에 대상 객체 및 제어 명령 중 어느 하나만을 따로 떼어내어 변경할 필요가 없어지고, 그 결과 사용자 편의성이 높아지는 효과가 달성된다.
또한, 본 발명에 의하면, 제어의 대상이 되는 대상 객체를 결정하는 과정과 대상 객체에 대하여 적용될 제어 명령을 결정하는 과정이 함께 수행되므로, 사용자가 의도하지 않았음에도 불구하고 해당 객체가 소정의 동작(즉, 오동작)을 수행하게 되는 경우가 발생할 가능성을 현저하게 낮출 수 있게 되는 효과가 달성된다.
도 1은 본 발명의 일 실시예에 따라 객체 제어를 지원하기 위한 전체 시스템의 구성을 예시적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 객체 제어 지원 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 대상 공간 내에 제어 가능한 다양한 객체가 존재하는 상황을 예시적으로 나타내는 도면이다.
도 4 내지 도 7은 본 발명의 일 실시예에 따라 실세계 좌표계의 제어 벡터와 대상 객체 기준 좌표계의 제어 좌표를 매핑하는 구성을 예시적으로 나타내는 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따라 사용자가 벡터 제어 수단을 이용하여 행하는 조작에 따라 제어 벡터가 특정되는 구성을 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 객체 제어를 지원하기 위한 전체 시스템의 구성을 예시적으로 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 객체 제어 지원 시스템(200) 및 객체(300)를 포함하여 구성될 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 무선주파수(RF; Radio Frequency) 통신, 와이파이(WiFi) 통신, 셀룰러(LTE 등) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy)), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다. 다른 예를 들면, 통신망(100)은 광 통신망으로서, 라이파이(LiFi(Light Fidelity)) 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 객체 제어 지원 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 디바이스일 수 있다. 이러한 객체 제어 지원 시스템(200)은 서버 시스템일 수 있다.
이를 위하여, 객체 제어 지원 시스템(200)은, 아래에서 자세하게 설명되는 바와 같이, 사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하고, 제어 벡터에 의하여 지시되는 객체를 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하고, 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하고, 매핑에 의하여 특정되는 제어 좌표를 참조하여 대상 객체에 대하여 적용되는 제어 명령을 결정함으로써, 사용자가 제어 벡터를 생성(또는 특정)하기 위한 직관적인 제스처 또는 조작을 행하는 것만으로 다양한 객체를 정확하고 편리하게 제어할 수 있도록 하는 기능을 수행할 수 있다. 객체 제어 지원 시스템(200)의 기능에 관하여는 아래에서 더 자세하게 알아보기로 한다.
한편, 객체 제어 지원 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 객체 제어 지원 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 제어의 대상이 되는 객체(300)(즉, 디바이스) 또는 외부 시스템(미도시됨) 내에서 실현되거나 객체(300) 또는 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다.
다음으로, 본 발명의 일 실시예에 따르면, 객체(300)는 사용자의 제스처 또는 조작에 의하여 제어될 수 있는 대상으로서의 기능을 수행할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 객체(300)는 객체 제어 지원 시스템(200), 다른 객체(300) 또는 외부 시스템(미도시됨)으로부터 사용자의 제스처 또는 조작에 따른 제어 명령을 수신하고 위의 수신되는 제어 명령에 따라 자신의 동작 또는 기능이 제어되도록 할 수 있다. 본 발명의 일 실시예에 따르면, 객체(300)는 실세계에 존재하는 실물 객체일 수 있고 가상 현실에 존재하거나 실세계에 대하여 증강(augmented), 혼합(mixed) 또는 융합(merged)될 수 있는 가상 객체일 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 객체(300)는, 객체 제어 지원 시스템(200), 다른 객체(300) 또는 외부 시스템(미도시됨)에 접속한 후 통신할 수 있는 기능을 포함하는 디바이스일 수 있으며, 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디바이스라면 얼마든지 본 발명에 따른 객체(300)로서 채택될 수 있다. 구체적으로, 본 발명의 일 실시예에 따르면, 객체(300)는 스마트 글래스, 스마트 워치, 스마트 밴드, 스마트 링, 스마트 넥클리스 등과 같은 웨어러블 디바이스이거나 스마트폰, 스마트 패드, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같은 다소 전통적인 디바이스일 수 있다. 또한, 본 발명의 일 실시예에 따르면, 객체(300)는 TV, 스피커, 전등, 에어컨, 가습기, 서랍장, 창문, 블라인드 등과 같은 IoT(Internet of Things) 디바이스일 수 있다.
또한, 본 발명의 일 실시예에 따른 객체(300)는, 객체 제어 지원 시스템(200), 다른 객체(300) 또는 외부 시스템(미도시됨)과 통신할 수 있는 기능이 구비되어 있지 않거나 메모리 수단 또는 마이크로 프로세서가 구비되어 있지 않은 채, 실세계에서 소정의 물리적인 위치를 갖는 일반적인 사물일 수도 있다. 예를 들면, 온도계, 사진, 그림, 인형, 거울과 같은 일반적인 사물이 본 발명의 일 실시예에 따른 객체(300)로서 채택될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 디바이스인 객체(300)에는 본 발명에 따른 기능을 수행하기 위한 애플리케이션 프로그램이 더 포함되어 있을 수 있다. 이러한 애플리케이션은 해당 디바이스 내에서 프로그램 모듈의 형태로 존재할 수 있다. 이러한 프로그램 모듈의 성격은 전술한 바와 같은 객체 제어 지원 시스템(200)의 공간 정보 관리부(210) 및 객체 제어 관리부(220)와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.
객체 제어 지원 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 객체 제어 지원 시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 객체 제어 지원 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 객체 제어 지원 시스템(200)은, 공간 정보 관리부(210), 객체 제어 관리부(220), 데이터베이스(230), 통신부(240) 및 제어부(250)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 공간 정보 관리부(210), 객체 제어 관리부(220), 데이터베이스(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 객체 제어 지원 시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 객체 제어 지원 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 객체 제어 지원 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 객체 제어 지원 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 제어의 대상이 되는 객체(300)(예를 들면, IoT 디바이스 등) 또는 외부 시스템(미도시됨) 내에서 실현되거나 객체(300) 또는 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다. 경우에 따라서는, 객체 제어 지원 시스템(200)의 모든 기능과 모든 구성요소가 객체(300) 또는 외부 시스템(미도시됨) 내에서 전부 실행되거나 객체(300) 또는 외부 시스템(미도시됨) 내에 전부 포함될 수도 있다.
먼저, 본 발명의 일 실시예에 따르면, 공간 정보 관리부(210)는, 사용자가 소정의 제스처 또는 조작을 행함으로써 주변 공간(이하, "대상 공간"이라고 함)에 존재하는 다양한 객체를 제어하기 위해 필요한 공간 정보를 획득하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 공간 정보 관리부(210)는, 대상 공간에 존재하는 적어도 하나의 사용자 및 객체를 식별하기 위해 필요한 정보를 획득할 수 있다. 예를 들면, 사용자의 식별자, 우세안 등에 관한 정보와 객체의 식별자, 속성, 동작 상태, 통신 수단 등에 관한 정보가 획득될 수 있다.
또한, 본 발명의 일 실시예에 따른 공간 정보 관리부(210)는, 대상 공간에 존재하는 적어도 하나의 사용자 및 객체의 위치 및 자세를 특정하기 위해 필요한 정보를 획득할 수 있다. 예를 들면, 대상 공간을 기준으로 하여 정의되는 실세계(real world) 좌표계에서 특정되는 사용자(보다 구체적으로는, 사용자의 우세안 및 사용자가 객체에 겹쳐져 보이게 하는 신체 부위)의 위치 및 자세에 관한 정보와 실세계 좌표계에서 특정되는 객체(300)의 위치 및 자세에 관한 정보가 획득될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 위와 같이 획득되는 공간 정보는, 소정의 시간을 주기로 하여 실시간으로 갱신되거나 사용자 또는 객체(300)의 위치 또는 자세가 변화하는 등의 이벤트가 발생함에 따라 동적으로 갱신될 수 있다.
도 3은 본 발명의 일 실시예에 따라 대상 공간 내에 제어 가능한 다양한 객체가 존재하는 상황을 예시적으로 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 공간 정보 관리부(210)는, 사용자가 대상 공간(350) 내에 존재하는 객체를 특정하거나 객체의 동작 또는 기능을 제어하기 위하여 제스처 또는 조작을 행함에 있어서 기준으로서 삼을 수 있는 0차원 점, 1차원 선, 2차원 영역 또는 3차원 공간을 해당 객체의 속성을 참조하여 설정할 수 있다. 예를 들면, 버튼을 누르거나 다이얼을 돌리는 조작이 가해지는 속성을 갖는 조명(301, 306), 스피커(304, 305), 거울(302), 가습기(303), 에어컨(307) 등의 객체에 대하여는 기준점(301A 내지 307A)이 설정될 수 있고, 상하 또는 좌우 방향으로 슬라이딩하는 조작이 가해지는 속성을 갖는 블라인드(308), 서랍장(309), 창문(310) 등의 객체에 대하여는 기준선(308A 내지 310A)이 설정될 수 있고, 2차원 화면에 대한 조작이 가해지는 속성을 갖는 TV(311) 등의 객체에 대하여는 2차원 기준영역(311A)이 설정될 수 있고, 3차원 공간을 기준으로 하여 조작이 가해지는 속성을 갖는 증강 현실 객체(312) 등의 객체에 대하여는 3차원 기준공간(312A)이 설정될 수 있다.
한편, 본 발명의 일 실시예에 따른 공간 정보 관리부(210)는, 객체의 속성을 참조하여 객체 기준 좌표계를 정의할 수 있다. 예를 들면, 버튼을 누르거나 다이얼을 돌리는 조작이 가해지는 속성을 갖는 조명(301, 306), 스피커(304, 305), 거울(302), 가습기(303), 에어컨(307) 등의 객체에 대하여는, 해당 객체의 기준점(301A 내지 307A)을 원점으로 하는 0차원의 객체 기준 좌표계가 정의될 수 있다. 다른 예를 들면, 상하 또는 좌우 방향으로 슬라이딩하는 조작이 가해지는 속성을 갖는 블라인드(308), 서랍장(309), 창문(310) 등의 객체에 대하여는, 해당 객체의 기준선(308A 내지 310A)을 축으로 하는 1차원의 객체 기준 좌표계가 정의될 수 있다. 또 다른 예를 들면, 2차원 화면에 대하여 점, 선 또는 영역을 특정하는 조작이 가해지는 속성을 갖는 TV(311) 등의 객체에 대하여는, 해당 객체의 2차원 기준영역(311A)에 대응하는 2차원 객체 기준 좌표계가 정의될 수 있다. 또 다른 예를 들면, 소정의 3차원 공간을 기준으로 하여 조작이 가해지는 속성을 갖는 증강 현실 객체(312) 등의 객체에 대하여는, 해당 객체의 3차원 기준공간(312A)에 대응하는 3차원 객체 기준 좌표계가 정의될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝 등의 신체 부위를 자신이 제어하고자 하는 대상 객체와 대응시키는(즉, 겹쳐져 보이게 하는) 동작을 행함으로써 자신이 제어하고자 하는 대상 객체를 특정할 수 있도록 할 수 있다.
또한, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자가 대상 객체와 겹쳐져 보이게 하고 있는 손가락 끝 등의 신체 부위를 이용하여 대상 객체의 속성에 부합하는 제스처를 행하거나 리모컨, 레이저 포인터 등의 벡터 제어 수단을 이용하여 객체의 속성에 부합하는 조작을 행함으로써 대상 객체의 동작 또는 기능을 제어할 수 있도록 할 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)의 동작에 대하여 보다 자세하게 살펴보기로 한다.
먼저, 본 발명의 일 실시예에 따르면, 객체 제어 관리부(220)는, 사용자가 행하는 제스처에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝을 자신이 제어하고자 하는 객체와 겹쳐져 보이게 하는 제스처를 취하는 경우에, 위의 제스처에 대응하는 제어 벡터는 사용자의 눈(보다 정확하게는, 우세안)의 위치를 시점으로 하고 사용자의 손가락 끝의 위치를 종점으로 하는 벡터로서 특정될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 객체 제어 관리부(220)는, 사용자가 행하는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 사용자가 리모컨, 레이저 포인터 등의 벡터 제어 수단을 이용하여 자신이 제어하고자 하는 객체를 지시하는 조작을 행하는 경우에, 위의 제스처에 대응하는 제어 벡터는 사용자 조작의 대상이 되는 벡터 제어 수단의 자세 또는 벡터 제어 수단에 의하여 발생되는 제어 신호의 방향에 기초하여 특정될 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 제어 벡터는, 벡터 제어 수단의 자세를 특정하는 벡터 제어 수단 상의 두 점을 연결하는 벡터일 수 있고, 벡터 제어 수단의 자세를 정의하는 축에 해당하는 벡터일 수 있고, 벡터 제어 수단에 의해 발생되는 지시 신호(레이저 포인터의 레이저 신호, 리모컨의 적외선(IR) 신호 등)의 방향에 해당하는 벡터일 수 있고, 벡터 제어 수단에서 지시 신호를 발생시키는 신호 발생부의 위치에 해당하는 점과 벡터 제어 수단 상의 소정의 기준점(신호 발생부의 반대편에 위치할 수 있음)을 연결하는 벡터일 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 객체 제어 관리부(220)는, 대상 공간 내에서 사용자의 제스처 또는 조작에 대응하여 특정되는 제어 벡터에 의하여 지시되는 객체를 해당 사용자의 제스처 또는 조작에 따라 제어될 대상 객체로서 결정할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자 및 객체에 관한 공간 정보를 참조하여, 대상 공간 내에서 제어 벡터에 의하여 지시되는 객체를 대상 객체로서 결정할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 대상 공간 내에서 제어 벡터 또는 제어 벡터의 연장선과 교차하거나 근접하는 객체를 대상 객체로서 결정할 수 있다. 다시 말해, 본 발명의 일 실시예에 따르면, 대상 객체가 제어 벡터 또는 제어 벡터의 연장선과 반드시 교차할 필요는 없으며, 제어 벡터와 제어 벡터의 시점으로부터 객체의 기준점으로의 기준 벡터 사이의 각(즉, 오차각)이 기설정된 수준 이하인 경우에도 해당 객체를 제어 벡터에 의하여 지시되는 객체(즉, 대상 객체)인 것으로 결정할 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 객체 제어 관리부(220)는, 대상 객체의 속성에 기초하여 정의되는 대상 객체 기준 좌표계에서 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행할 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 객체 제어 관리부(220)는, 위의 매핑에 의하여 특정되는 제어 좌표의 값을 참조하여 대상 객체에 대하여 적용되는 제어 명령을 결정할 수 있다.
도 4 내지 도 7은 본 발명의 일 실시예에 따라 실세계 좌표계의 제어 벡터와 대상 객체 기준 좌표계의 제어 좌표를 매핑하는 구성을 예시적으로 나타내는 도면이다.
먼저, 도 4를 참조하면, 사용자의 제스처에 따라 에어컨(307)의 동작 또는 기능이 제어되는 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자의 눈(즉, 우세안)(410)의 위치를 시점으로 하고 사용자의 손가락 끝(420)의 위치를 종점으로 하는 제어 벡터(430)(또는 제어 벡터의(430)의 연장선)에 의하여 지시되는 에어컨(307)을 사용자의 제스처에 따라 제어될 대상 객체인 것으로 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제어 벡터(430)가 에어컨(307)의 기준점(307A)을 정확하게 가리키지 않더라도, 제어 벡터(430)가 제어 벡터(430)의 시점(410)으로부터 에어컨(307)의 기준점(307A)으로의 기준 벡터(미도시됨)와 대비하여 허용되는 오차 범위(460)(즉, 오차 각도 범위) 내에 포함되면, 에어컨(307)을 제어 벡터(430)에 의하여 지시되는 대상 객체인 것으로 결정할 수 있다.
계속하여, 도 4를 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 대상 객체인 에어컨(307)의 속성에 기초하여 정의되는 0차원의 에어컨 기준 좌표계에서, 제어 벡터(430)의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑을 수행할 수 있다. 예를 들면, 제어 좌표는, 제어 벡터(430)의 크기(이하, "크기"라고 함) 및 에어컨(307)의 기준점(307A)을 중심으로 한 제어 벡터(430)의 회전각(470)(이하, "회전각"이라고 함)에 의하여 특정될 수 있다.
계속하여, 도 4를 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 위의 특정되는 제어 좌표를 참조하여 에어컨(307)에 대하여 적용되는 제어 명령을 결정할 수 있다. 예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(420)을 에어컨(307)의 기준점(307A)에 대응시킨 상태에서 에어컨(307)에 가까운 방향으로 손가락 끝을 이동시키는 제스처를 행함에 따라 실세계 좌표계에서 제어 벡터(430)가 특정되면, 위의 제어 벡터(430)가 에어컨 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 크기 값이 결정될 수 있고, 위의 결정되는 크기 값에 근거하여 에어컨의 전원이 켜지거나 꺼질 수 있다. 다른 예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(420)이 에어컨(307)의 기준점(307A)을 중심으로 하여 시계 방향 또는 반시계 방향으로 회전시키는 제스처를 행함에 따라 실세계 좌표계에서 제어 벡터가 특정되면, 위의 제어 벡터(430)가 에어컨 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 회전각 값이 결정될 수 있고, 위의 결정되는 회전각 값에 근거하여 에어컨(307)의 설정 온도 또는 바람 세기가 조절될 수 있다.
다음으로, 도 5를 참조하면, 사용자의 제스처에 따라 블라인드(308)의 동작 또는 기능이 제어되는 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자의 눈(즉, 우세안)(510)의 위치를 시점으로 하고 사용자의 손가락 끝(521, 522)의 위치를 종점으로 하는 제어 벡터(531, 532)(또는 제어 벡터의(531, 532)의 연장선)에 의하여 지시되는 블라인드(308)를 사용자의 제스처에 따라 제어될 대상 객체인 것으로 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제어 벡터(531, 532)가 블라인드(308)의 기준선(308A)을 정확하게 가리키지 않더라도, 제어 벡터(531, 532)가 제어 벡터(531, 532)의 시점(510)으로부터 블라인드(308)의 기준선(308A)으로의 기준 벡터(미도시됨)와 대비하여 허용되는 오차 범위(즉, 오차 각도 범위) 내에 포함되면, 블라인드(308)를 제어 벡터(531, 532)에 의하여 지시되는 대상 객체인 것으로 결정할 수 있다.
계속하여, 도 5를 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 대상 객체인 블라인드(308)의 속성에 기초하여 정의되는 1차원의 블라인드 기준 좌표계에서, 제어 벡터(531, 532)의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑을 수행할 수 있다. 예를 들면, 제어 좌표는, 제어 벡터(531, 532)의 크기 및 제어 벡터(531, 532)가 블라인드(308)의 기준선(308A)과 만나거나 가장 근접하는 지점의 1차원 좌표에 의하여 특정될 수 있다.
계속하여, 도 5를 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 위의 특정되는 제어 좌표를 참조하여 블라인드(308)에 대하여 적용되는 제어 명령을 결정할 수 있다. 예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(521, 522)이 블라인드(308)의 기준선(308A)에 대응되어 보이는 지점이 상대적으로 위쪽에 존재하는 지점(541)에서 상대적으로 아래쪽에 존재하는 지점(542)으로 이동하도록 하는 제스처를 행함에 따라 실세계 좌표계에서 제어 벡터(531, 532)의 방향이 변화하게 되면, 위의 제어 벡터(531, 532)가 블라인드 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 1차원 좌표 값이 변화할 수 있고, 위의 변화되는 1차원 좌표 값에 근거하여 블라인드(308)가 올라가거나 내려가는 동작 또는 기능이 수행될 수 있다.
다음으로, 도 6을 참조하면, 사용자의 제스처에 따라 TV(311)의 동작 또는 기능이 제어되는 경우를 가정할 수 있다. 이러한 경우에, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자의 눈(즉, 우세안)(610)의 위치를 시점으로 하고 사용자의 손가락 끝(620)의 위치를 종점으로 하는 제어 벡터(630)(또는 제어 벡터의(630)의 연장선)에 의하여 지시되는 TV(311)를 사용자의 제스처에 따라 제어될 대상 객체인 것으로 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제어 벡터(630)가 TV(311)의 기준영역(311A)을 정확하게 가리키지 않더라도, 제어 벡터(630)가 제어 벡터(630)의 시점(610)으로부터 TV(311)의 기준영역(311A)으로의 기준 벡터(미도시됨)와 대비하여 허용되는 오차 범위(즉, 오차 각도 범위) 내에 포함되면, TV(311)를 제어 벡터(630)에 의하여 지시되는 대상 객체인 것으로 결정할 수 있다.
계속하여, 도 6을 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 대상 객체인 TV(311)의 속성에 기초하여 정의되는 2차원의 TV 기준 좌표계에서, 제어 벡터(630)의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑을 수행할 수 있다. 예를 들면, 제어 좌표는, 제어 벡터(630)의 크기 및 제어 벡터(630)가 TV(311)의 기준영역(311A)과 만나거나 가장 근접하는 지점의 2차원 좌표에 의하여 특정될 수 있다.
계속하여, 도 6을 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 위의 특정되는 제어 좌표를 참조하여 TV(311)에 대하여 적용되는 제어 명령을 결정할 수 있다. 예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(630)이 TV(311)의 기준영역(311A) 내의 좌측 상단 부근의 어떤 지점(640)에 대응되도록 하는 제스처를 행함에 따라 실세계 좌표계에서 제어 벡터(630)의 방향이 특정되면, 위의 제어 벡터(630)가 TV 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 2차원 좌표 값이 특정될 수 있고, 위의 특정되는 2차원 좌표 값에 근거하여 TV(311)의 표시 화면 중 위의 특정되는 2차원 좌표 값에 대응되는 픽셀에 표시되는 그래픽 요소가 선택되는 동작 또는 기능이 수행될 수 있다.
다음으로, 도 7을 참조하면, 사용자의 제스처에 따라 인형에 대한 증강 현실 객체(312)(즉, 가상 객체)의 동작 또는 기능이 제어되는 경우를 가정할 수 있다. 여기서, 증강 현실 객체(312)에 관한 시각적인 정보는, 스마트폰, 태블릿, 스마트 글래스, 프로젝터 등의 디바이스를 통하여 사용자에게 제공될 수 있음을 밝혀 둔다. 이러한 경우에, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 사용자의 눈(즉, 우세안)(710)의 위치를 시점으로 하고 사용자의 손가락 끝(721, 722, 723)의 위치를 종점으로 하는 제어 벡터(731, 732, 733)(또는 제어 벡터의(731, 732, 733)의 연장선)에 의하여 지시되는 증강 현실 객체(312)를 사용자의 제스처에 따라 제어될 대상 객체인 것으로 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 제어 벡터(731, 732, 733)가 증강 현실 객체(312)의 기준공간(312A)을 정확하게 가리키지 않더라도, 제어 벡터(731, 732, 733)가 제어 벡터(731, 732, 733)의 시점(710)으로부터 증강 현실 객체(312)의 기준공간(312A)으로의 기준 벡터(미도시됨)와 대비하여 허용되는 오차 범위(즉, 오차 각도 범위) 내에 포함되면, 증강 현실 객체(312)를 제어 벡터(731, 732, 733)에 의하여 지시되는 대상 객체인 것으로 결정할 수 있다.
계속하여, 도 7을 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 대상 객체인 증강 현실 객체(312)의 속성에 기초하여 정의되는 3차원의 증강 현실 객체 기준 좌표계에서, 제어 벡터(731, 732, 733)의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑을 수행할 수 있다. 예를 들면, 제어 좌표는, 제어 벡터(731, 732, 733)의 크기 및 제어 벡터(731, 732, 733)가 증강 현실 객체(312)의 기준공간(308A)과 만나거나 가장 근접한 지점의 3차원 좌표에 의하여 특정될 수 있다.
계속하여, 도 7을 참조하면, 본 발명의 일 실시예에 따른 객체 제어 관리부(220)는, 위의 특정되는 제어 좌표를 참조하여 인형에 대한 증강 현실 객체(312)에 대하여 적용되는 제어 명령을 결정할 수 있다. 예를 들면, 사용자가 자신의 시점에서 볼 때 자신의 손가락 끝(721, 722, 723)이 증강 현실 객체(312)의 기준공간(312A)에 대응되어 보이는 지점이 각각 증강 현실 객체(312)의 귀 부분(741), 얼굴 부분(742) 및 발 부분(743)이 되도록 하는 제스처를 행함에 따라 실세계 좌표계에서 제어 벡터(731, 732, 733)의 방향이 각각 특정되면, 위의 제어 벡터(731, 732, 733)가 증강 현실 객체 기준 좌표계 상의 제어 좌표로 매핑됨에 따라 제어 좌표의 3차원 좌표 값이 각각 특정될 수 있고, 위의 각각 특정되는 3차원 좌표 값에 근거하여 증강 현실 객체(312)의 귀 부분(741), 얼굴 부분(742) 및 발 부분(743)이 각각 선택되는 동작 또는 기능이 수행될 수 있다.
도 4 내지 도 7에서, 사용자가 행하는 제스처에 기초하여 객체가 제어되는 실시예에 대하여 주로 설명되었지만, 본 발명이 반드시 도 4 내지 도 7에 예시된 실시예에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있음을 밝혀 둔다.
다른 예로서, 사용자가 리모컨, 레이저 포인터 등의 벡터 제어 수단을 이용하여 행하는 조작에 대응하는 제어 벡터를 특정하고, 위의 특정되는 제어 벡터에 의하여 지시되는 대상 객체를 결정하고, 위의 결정되는 대상 객체의 기준 좌표계에서 제어 벡터에 대응하는 제어 좌표를 특정하는 매핑을 수행하고, 위의 특정되는 제어 좌표를 참조하여 대상 객체에 대하여 적용되는 제어 명령을 결정하는 실시예도 얼마든지 상정될 수 있을 것이다.
도 8 및 도 9는 본 발명의 일 실시예에 따라 사용자가 벡터 제어 수단을 이용하여 행하는 조작에 따라 제어 벡터가 특정되는 구성을 예시적으로 나타내는 도면이다.
도 8 및 도 9를 참조하면, 벡터 제어 수단(800, 900)에서 제어 신호(리모컨(800)의 적외선 신호 또는 레이저 포인터(900)의 레이저 신호)를 발생시키는 신호 발생부의 위치에 해당하는 점(820, 920)과 벡터 제어 수단(800, 900)에서 신호 발생부의 반대편에 위치하는 소정의 기준점(810, 910)을 연결하는 벡터가 제어 벡터(830, 930)로서 특정될 수 있다.
계속하여, 도 8 및 도 9를 참조하면, 위와 같이 특정되는 제어 벡터(830, 930) 또는 제어 벡터의 연장선(840, 940)에 의하여 지시되는 객체인 에어컨(307)이 사용자의 조작에 따라 제어될 대상 객체인 것으로 결정될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 데이터베이스(230)에는, 본 발명에 따른 객체 제어가 수행되는 공간 내에 존재하는 사용자 및 객체에 관한 다양한 공간 정보가 저장될 수 있고, 객체 제어를 수행함에 있어서 도출되는 제어 벡터, 제어 좌표 및 제어 명령에 관한 다양한 정보가 저장될 수 있다. 비록 도 2에서 데이터베이스(230)가 객체 제어 지원 시스템(200)에 포함되어 구성되는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 데이터베이스(230)는 객체 제어 지원 시스템(200)과 별개로 구성될 수도 있다. 한편, 본 발명에서의 데이터베이스(230)는, 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라 파일 시스템에 기반을 둔 데이터 기록 등을 포함하는 광의의 데이터베이스일 수도 있으며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서의 데이터베이스(230)가 될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 객체 제어 지원 시스템(200)이 외부 장치와 통신할 수 있도록 하는 기능을 수행한다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 공간 정보 관리부(210), 객체 제어 관리부(220), 데이터베이스(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(250)는 외부로부터의 또는 객체 제어 지원 시스템(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 공간 정보 관리부(210), 객체 제어 관리부(220), 데이터베이스(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어한다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 비일시성의 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 사용자 디바이스
200: 객체 제어 지원 시스템
210: 공간 정보 관리부
220: 객체 제어 관리부
230: 데이터베이스
240: 통신부
250: 제어부

Claims (9)

  1. 객체 제어를 지원하기 위한 객체 제어 시스템에서 구현되는 방법으로서 - 상기 객체 제어 시스템은 객체 제어 관리부를 포함함 - ,
    상기 객체 제어 관리부가, 사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하는 단계,
    상기 객체 제어 관리부가, 상기 제어 벡터에 의하여 지시되는 객체를 상기 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하는 단계,
    상기 객체 제어 관리부가, 상기 대상 객체에 대하여 가해질 수 있는 제스처 또는 조작과 연관된 속성 및 상기 속성에 의해 상기 대상 객체를 기준으로 설정되는 기준점, 기준선, 기준영역 또는 기준공간에 기초하여 정의되는 대상 객체 기준 좌표계에서 상기 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하는 단계, 및
    상기 객체 제어 관리부가, 상기 매핑에 의하여 특정되는 제어 좌표를 참조하여 상기 대상 객체에 대하여 적용되는 제어 명령을 결정하는 단계
    를 포함하고,
    상기 수행 단계에서, 상기 객체 제어 관리부가, 상기 속성에 기초하여 상기 대상 객체 기준 좌표계의 차원을 설정하고,
    상기 제어 좌표는, 상기 제어 벡터와 상기 기준점, 상기 기준선, 상기 기준영역 또는 상기 기준공간 사이의 관계에 기초하여 특정되는 방법.
  2. 제1항에 있어서,
    상기 제어 벡터는, 상기 사용자의 눈의 위치를 시점으로 하고 상기 사용자의 다른 신체 부위의 위치를 종점으로 하는 벡터인 방법.
  3. 제1항에 있어서,
    상기 제어 벡터는, 상기 조작의 대상이 되는 벡터 제어 수단의 자세 또는 상기 벡터 제어 수단에 의하여 발생되는 제어 신호의 방향에 기초하여 특정되는 벡터인 방법.
  4. 제1항에 있어서,
    상기 객체는, 상기 사용자의 주변에 존재하는 실물 객체이거나 가상 객체인 방법.
  5. 제1항에 있어서,
    상기 대상 객체 결정 단계에서,
    상기 객체 제어 관리부가, 상기 사용자 및 상기 객체에 관한 공간 정보를 참조하여, 상기 실세계 좌표계에서 상기 제어 벡터 또는 상기 제어 벡터의 연장선과 교차하거나 가장 근접하는 객체를 상기 대상 객체로서 결정하는 방법.
  6. 삭제
  7. 삭제
  8. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 비일시성의 컴퓨터 판독 가능한 기록 매체.
  9. 객체 제어를 지원하기 위한 시스템으로서,
    사용자가 행하는 제스처 또는 조작에 대응하는 제어 벡터(vector)를 실세계 좌표계에서 특정하고, 상기 제어 벡터에 의하여 지시되는 객체를 상기 사용자가 행하는 제스처 또는 조작에 의해 제어되는 대상 객체로서 결정하고, 상기 대상 객체에 대하여 가해질 수 있는 제스처 또는 조작과 연관된 속성 및 상기 속성에 의해 상기 대상 객체를 기준으로 설정되는 기준점, 기준선, 기준영역 또는 기준공간에 기초하여 정의되는 대상 객체 기준 좌표계에서 상기 제어 벡터의 크기 또는 방향에 대응하는 제어 좌표를 특정하는 매핑(mapping)을 수행하고, 상기 매핑에 의하여 특정되는 제어 좌표를 참조하여 상기 대상 객체에 대하여 적용되는 제어 명령을 결정하는 객체 제어 관리부, 및
    상기 사용자 및 상기 객체에 관한 공간 정보를 저장하는 공간 정보 관리부
    를 포함하고,
    상기 객체 제어 관리부가, 상기 속성에 기초하여 상기 대상 객체 기준 좌표계의 차원을 설정하고,
    상기 제어 좌표는, 상기 제어 벡터와 상기 기준점, 상기 기준선, 상기 기준영역 또는 상기 기준공간 사이의 관계에 기초하여 특정되는 시스템.
KR1020160138662A 2016-10-24 2016-10-24 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 KR101937823B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160138662A KR101937823B1 (ko) 2016-10-24 2016-10-24 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN201780067468.4A CN109891370B (zh) 2016-10-24 2017-10-24 辅助进行对象控制的方法及系统和非暂时性计算机可读记录介质
JP2019521658A JP7094280B2 (ja) 2016-10-24 2017-10-24 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
EP17865786.2A EP3531242A4 (en) 2016-10-24 2017-10-24 MEDIA OBJECT CONTROL METHOD AND SYSTEM AND NON-TRANSIENT COMPUTER-READABLE RECORDING MEDIUM
PCT/KR2017/011788 WO2018080142A1 (ko) 2016-10-24 2017-10-24 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US16/391,721 US10948995B2 (en) 2016-10-24 2019-04-23 Method and system for supporting object control, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160138662A KR101937823B1 (ko) 2016-10-24 2016-10-24 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
KR20180044757A KR20180044757A (ko) 2018-05-03
KR101937823B1 true KR101937823B1 (ko) 2019-01-14

Family

ID=62023803

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160138662A KR101937823B1 (ko) 2016-10-24 2016-10-24 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Country Status (6)

Country Link
US (1) US10948995B2 (ko)
EP (1) EP3531242A4 (ko)
JP (1) JP7094280B2 (ko)
KR (1) KR101937823B1 (ko)
CN (1) CN109891370B (ko)
WO (1) WO2018080142A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155378B1 (ko) 2018-09-19 2020-09-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP7091983B2 (ja) * 2018-10-01 2022-06-28 トヨタ自動車株式会社 機器制御装置
KR102477006B1 (ko) * 2020-08-14 2022-12-14 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11474690B2 (en) * 2020-08-14 2022-10-18 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for non-contact control
CN114546210B (zh) * 2022-01-28 2024-07-23 联想(北京)有限公司 一种映射方法以及增强现实设备
US20230409122A1 (en) * 2022-06-21 2023-12-21 Apple Inc. Hand-Gesture Activation of Actionable Items

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069734A (ja) * 2003-08-20 2005-03-17 Tokyo Univ Of Marine Science & Technology 指さし行為による物体の空間位置の教示方法
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP2006268209A (ja) * 2005-03-23 2006-10-05 Akinori Yoshino ユーザの身体動作による遠隔命令入力装置
JP4516042B2 (ja) * 2006-03-27 2010-08-04 株式会社東芝 機器操作装置および機器操作方法
JP5207513B2 (ja) * 2007-08-02 2013-06-12 公立大学法人首都大学東京 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2012518236A (ja) * 2009-02-17 2012-08-09 オーメック インタラクティブ,リミテッド ジェスチャー認識のための方法及びシステム
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
KR101585466B1 (ko) * 2009-06-01 2016-01-15 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
JP5256265B2 (ja) * 2010-09-17 2013-08-07 株式会社ソニー・コンピュータエンタテインメント コンピュータシステム、コンピュータシステムの制御方法、プログラム及び情報記憶媒体
KR101795574B1 (ko) * 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101381928B1 (ko) * 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
KR101235432B1 (ko) 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101533320B1 (ko) * 2012-04-23 2015-07-03 주식회사 브이터치 포인터가 불필요한 3차원 객체 정보 획득 장치
KR101343748B1 (ko) * 2012-04-23 2014-01-08 주식회사 브이터치 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
KR101334585B1 (ko) * 2012-05-29 2013-12-05 주식회사 브이터치 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
KR101441882B1 (ko) * 2012-11-12 2014-09-22 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
US20190265802A1 (en) * 2013-06-20 2019-08-29 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
JP6480434B2 (ja) * 2013-06-27 2019-03-13 アイサイト モバイル テクノロジーズ リミテッド デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
JP6079614B2 (ja) * 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
KR101533319B1 (ko) * 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR20160024272A (ko) * 2014-08-25 2016-03-04 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
PL411339A1 (pl) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością Sposób sterowania urządzeniem za pomocą gestów i system do sterowania urządzeniem za pomocą gestów
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
JP6721713B2 (ja) * 2016-04-29 2020-07-15 ブイタッチ・カンパニー・リミテッド 動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置
US10299032B2 (en) * 2017-09-11 2019-05-21 Apple Inc. Front port resonator for a speaker assembly
KR102463712B1 (ko) * 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법

Also Published As

Publication number Publication date
CN109891370A (zh) 2019-06-14
KR20180044757A (ko) 2018-05-03
CN109891370B (zh) 2023-07-07
EP3531242A4 (en) 2020-06-17
US20190250716A1 (en) 2019-08-15
WO2018080142A1 (ko) 2018-05-03
JP2019536140A (ja) 2019-12-12
US10948995B2 (en) 2021-03-16
JP7094280B2 (ja) 2022-07-01
EP3531242A1 (en) 2019-08-28

Similar Documents

Publication Publication Date Title
KR101937823B1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20190129607A1 (en) Method and device for performing remote control
US20180204385A1 (en) Method and device for obtaining real time status and controlling of transmitting devices
JP6469706B2 (ja) 深度センサを用いた構造のモデル化
WO2018000200A1 (zh) 对电子设备进行控制的终端及其处理方法
US20170206419A1 (en) Visualization of physical characteristics in augmented reality
US10832411B2 (en) Electronic apparatus and method of controlling the same
CN110162236B (zh) 虚拟样板间的展示方法、装置及计算机设备
KR102576654B1 (ko) 전자 장치 및 그의 제어 방법
US20150187137A1 (en) Physical object discovery
US10295972B2 (en) Systems and methods to operate controllable devices with gestures and/or noises
KR102481486B1 (ko) 오디오 제공 방법 및 그 장치
US10440356B2 (en) Electronic apparatus displaying a region of a 360 degree view and method of operating the same
EP3469787B1 (en) Electronic device and computer-readable recording medium for displaying images
KR20200076588A (ko) 헤드 마운트 장치 입력을 위한 시스템 및 방법
KR20150132963A (ko) 디스플레이를 이용한 입력 처리 방법 및 장치
CN112020694A (zh) 用于支持对象控制的方法、系统和非暂时性计算机可读记录介质
US20240107256A1 (en) Augmented reality spatial audio experience
CN107463256A (zh) 基于虚拟现实的用户朝向控制方法与装置
KR101980725B1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN111028494A (zh) 一种电器设备的虚拟遥控方法、计算机可读存储介质及智能家电
WO2022042570A1 (zh) 图像处理方法及装置
US11270671B1 (en) Configuring objective-effectuators
KR101968547B1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20230126495A (ko) 제어 대상 객체의 지도를 생성하는 방법, 장치, 비일시성의 컴퓨터 판독 가능 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20161024

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171127

Patent event code: PE09021S01D

PG1501 Laying open of application
E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20180626

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181219

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190107

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190108

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220107

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230109

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240108

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20250107

Start annual number: 7

End annual number: 7