[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20180096937A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20180096937A
KR20180096937A KR1020170023362A KR20170023362A KR20180096937A KR 20180096937 A KR20180096937 A KR 20180096937A KR 1020170023362 A KR1020170023362 A KR 1020170023362A KR 20170023362 A KR20170023362 A KR 20170023362A KR 20180096937 A KR20180096937 A KR 20180096937A
Authority
KR
South Korea
Prior art keywords
virtual
effect
peripheral device
virtual environment
information
Prior art date
Application number
KR1020170023362A
Other languages
English (en)
Inventor
이무웅
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170023362A priority Critical patent/KR20180096937A/ko
Priority to PCT/KR2018/002168 priority patent/WO2018155919A1/ko
Priority to US16/479,331 priority patent/US11017486B2/en
Publication of KR20180096937A publication Critical patent/KR20180096937A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H04M1/7253—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 그 제어 방법이 개시된다. 본 발명에 따른 전자 장치는 적어도 하나의 주변 기기와 데이터 통신을 수행하는 통신부, 가상 환경 컨텐츠에 출력하는 출력부 및 사용자 명령에 따라 가상 환경 컨텐츠를 재생하도록 출력부를 제어하며, 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 적어도 하나의 주변 기기 중 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단하고, 판단된 주변 기기에 가상 효과에 대응되는 제어 신호를 전송하도록 통신부를 제어하는 제어부를 포함한다. 이에 따라, 가상 환경 컨텐츠를 재생하는 전자 장치는 주변 기기를 활용하여 재생 중인 가상 환경 컨텐츠와 관련된 가상 효과를 제공하여, 사용자에게 다양한 가상 환경에 대한 경험을 제공할 수 있다.

Description

전자 장치 및 그 제어 방법{Electronic device and control method thereof}
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로써, 보다 상세하게는 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 전자 장치 및 그 제어 방법에 관한 기술이다.
최근 기술 발달로 인하여, 사용자는 전자 장치에서 재생하는 VR(Virtual Reality) 컨텐츠(이하 가상 환경 컨텐츠라 함)를 통해 다양한 가상 환경을 경험할 수 있다.
예를 들어, 가상 환경 서비스를 제공하는 전자 장치는 특정 컨텐츠에 대한 선택 명령이 입력되면, 선택된 특정 컨텐츠를 제공하는 주변 기기로부터 해당 컨텐츠를 수신하고, 수신된 컨텐츠를 가상 환경상에서 제공할 수 있다.
즉, 종래의 전자 장치는 주변 기기를 활용하여 가상 환경에서 사용자에게 다양한 컨텐츠 정보만을 제공하는 가상 환경 서비스만을 제공한다.
따라서, 전자 장치를 통해 다양한 가상 환경에 대한 경험을 제공할 수 있는 가상 환경 서비스 개발이 모색되어야 한다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 전자 장치에서 다양한 가상 환경에 대한 경험을 제공할 수 있는 가상 환경 서비스를 제공하기 위함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자 장치는 적어도 하나의 주변 기기와 데이터 통신을 수행하는 통신부, 가상 환경 컨텐츠에 출력하는 출력부 및 사용자 명령에 따라 상기 가상 환경 컨텐츠를 재생하도록 상기 출력부를 제어하며, 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 상기 적어도 하나의 주변 기기 중 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단하고, 상기 판단된 주변 기기에 상기 가상 효과에 대응되는 제어 신호를 전송하도록 상기 통신부를 제어하는 제어부를 포함한다.
그리고, 가상 효과에 대한 정보 및 상기 가상 효과에 대응되는 기능을 제공할 수 있는 기등록된 주변 기기에 대한 정보가 매핑된 기능 지원 기기 정보를 저장하는 저장부를 더 포함할 수 있다.
또한, 상기 제어부는, 상기 저장부에 저장된 기기 관리 정보에 기초하여 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기의 등록 여부를 판단하여, 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 등록되어 있으면, 상기 등록된 주변 기기로 상기 가상 효과에 대응되는 제어 신호를 전송하도록 상기 통신부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 미등록된 것으로 판단되면, 주변 기기 탐색을 위한 탐색 신호를 전송하여 상기 탐색 신호를 수신한 적어도 하나의 주변 기기로부터 응답 신호를 수신하며, 상기 수신된 응답 신호에 기초하여 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기와 페어링을 수행하도록 상기 통신부를 제어할 수 있다.
또한, 상기 가상 효과에 대한 정보는, 상기 가상 환경 컨텐츠를 구성하는 프레임별로 매핑되어 저장되며, 상기 제어부는, 상기 가상 환경 컨텐츠를 재생 시, 상기 가상 환경 컨텐츠에 대한 프레임별 가상 효과에 대한 정보에 기초하여 상기 프레임별 가상 효과에 대응되는 기능을 수행할 수 있는 주변 기기로 제어 신호를 전송하도록 상기 통신부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 가상 환경 컨텐츠에 대한 재생 명령 시, 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 제공을 위한 사용자 UI를 디스플레이하도록 상기 출력부를 제어할 수 있다.
또한, 상기 제어부는, 상기 가상 환경 컨텐츠를 출력하고 있는 상태에서, 상기 기등록된 복수의 주변 기기 중 사용자에 의해 설정된 주변 기기로부터 이벤트 정보가 수신되면, 상기 수신된 이벤트 정보를 상기 가상 환경 컨텐츠와 관련된 정보로 변환하여 출력하도록 상기 출력부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 전자 장치에서 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한지 여부에 따라, 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 수행할 주변 기기로 제어 신호를 전송할 수 있다.
또한, 상기 가상 효과는, 음성 효과, 바람 효과, 진동 효과, 냉기 효과, 열기 효과 및 냄새 효과 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 전자 장치의 제어 방법은 사용자 명령에 따라, 가상 환경 컨텐츠를 재생하는 단계, 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 적어도 하나의 주변 기기 중 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단하는 단계 및 상기 가상 환경 컨텐츠 재생 및 상기 판단된 주변 기기에 상기 가상 효과에 대응되는 제어 신호를 전송하는 단계를 포함한다.
그리고, 가상 효과에 대한 정보 및 상기 가상 효과에 대응되는 기능을 제공할 수 있는 기등록된 주변 기기에 대한 정보가 매핑된 기능 지원 기기 정보를 저장하는 단계를 더 포함할 수 있다.
또한, 상기 판단하는 단계는, 상기 저장된 기기 관리 정보에 기초하여 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기의 등록 여부를 판단하며, 상기 전송하는 단계는, 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 등록되어 있으면, 상기 등록된 주변 기기로 상기 가상 효과에 대응되는 제어 신호를 전송할 수 있다.
그리고, 미등록된 주변 기기를 등록하는 단계를 더 포함하며, 상기 등록하는 단계는, 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 미등록된 것으로 판단되면, 주변 기기 탐색을 위한 탐색 신호를 전송하는 단계, 상기 탐색 신호를 수신한 적어도 하나의 주변 기기로부터 응답 신호를 수신하는 단계 및 상기 수신된 응답 신호에 기초하여 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기와 페어링을 수행하는 단계를 포함한다.
또한, 상기 가상 효과에 대한 정보는, 상기 가상 환경 컨텐츠를 구성하는 프레임별로 매핑되어 저장되며, 상기 전송하는 단계는, 상기 가상 환경 컨텐츠를 재생 시, 상기 가상 환경 컨텐츠에 대한 프레임별 가상 효과에 대한 정보에 기초하여 상기 프레임별 가상 효과에 대응되는 기능을 수행할 수 있는 주변 기기로 제어 신호를 전송할 수 있다.
그리고, 상기 재생하는 단계는, 상기 가상 환경 컨텐츠에 대한 재생 명령 시, 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 제공을 위한 사용자 UI를 디스플레이할 수 있다.
또한, 상기 재생하는 단계는, 상기 가상 환경 컨텐츠를 출력하고 있는 상태에서, 상기 기등록된 복수의 주변 기기 중 사용자에 의해 설정된 주변 기기로부터 이벤트 정보가 수신되면, 상기 수신된 이벤트 정보를 상기 가상 환경 컨텐츠와 관련된 정보로 변환하여 재생할 수 있다.
그리고, 상기 판단하는 단계는, 상기 전자 장치에서 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한지 여부를 판단하며, 상기 전자 장치에서 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능하면, 상기 전자 장치에서 상기 가상 효과에 대응되는 기능을 수행하는 단계를 더 포함할 수 있다.
또한, 상기 가상 효과는, 음성 효과, 바람 효과, 진동 효과, 냉기 효과, 열기 효과 및 냄새 효과 중 적어도 하나를 포함할 수 있다.
이상과 같이, 본 발명에 따르면, 가상 환경 컨텐츠를 재생하는 전자 장치는 주변 기기를 활용하여 재생 중인 가상 환경 컨텐츠와 관련된 가상 효과를 제공하여, 사용자에게 다양한 가상 환경에 대한 경험을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하기 위한 시스템도,
도 2는 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하기 위한 절차도,
도 3은 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하는 전자 장치의 블록도,
도 4는 본 발명의 일 실시예에 따른 저장부의 세부 블록도,
도 5는 본 발명의 일 실시예에 따른 가상 효과에 대한 서비스 제공 여부를 선택하기 위한 제1 사용자 UI를 나타내는 예시도,
도 6은 본 발명의 일 실시예에 따른 가상 효과를 선택하기 위한 제2 사용자 UI를 나타내는 예시도,
도 7은 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하는 전자 장치의 세부 블록도,
도 8은 본 발명의 일 실시에에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 제1 예시도,
도 9는 본 발명의 또다른 실시에에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 제2 예시도,
도 10은 본 발명의 또다른 실시에에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 제3 예시도,
도 11은 본 발명의 일 실시예에 따른 전자 장치에서 주변 장치의 이벤트 정보를 가상 환경 컨텐츠와 연동하여 제공하는 예시도,
도 12는 본 발명의 또다른 실시예에 따른 전자 장치에서 주변 장치의 이벤트 정보를 가상 환경 컨텐츠와 연동하여 제공하는 예시도,
도 13은 본 발명의 일 실시예에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 서비스를 제공하기 위한 방법의 흐름도,
도 14는 본 발명의 일 실시예에 따른 전자 장치에서 미등록된 주변 기기 중 가상 효과에 대한 기능 수행이 가능한 주변 기기를 등록하기 위한 방법이 흐름도이다.
본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다. 먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하기 위한 시스템도이다.
도 1에 도시된 바와 같이, 가상 환경 서비스를 제공하기 위한 시스템은 가상 환경 컨텐츠를 재생하는 전자 장치(100) 및 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공하는 주변 기기(200)를 포함한다.
여기서, 가상 환경 컨텐츠는 파노라마 영상 혹은 360도 어라운드 뷰 영상과 같은 VR(Virtual Reality) 영상 컨텐츠이며, 이 같은 가상 환경 컨텐츠를 재생하는 전자 장치(100)는 VR 디바이스, 스마트폰 및 VR 웨어러블 디바이스 등이 될 수 있다.
가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공하는 주변 기기(200)는 전자 장치(100)와 근거리 통신이 가능하며, 전자 장치(100)의 제어 명령에 따라 동작을 수행하는 IOT(Internet of Things) 기기로써, 예를 들어, 도시된 바와 같은 스마트 에어컨, 스마트 등기구, 리모컨, 스마트 폰, 스마트 카메라, 방향 기기(Aromatic Device) 등이 될 수 있다.
구체적으로, 도시된 바와 같이, 전자 장치(100)는 전자 장치(100)를 착용한 사용자 명령에 따라, 사용자 명령에 대응되는 가상 환경 컨텐츠(10)를 재생한다. 이에 따라, 사용자는 자신이 착용한 전자 장치(100)를 통해 재생되는 가상 환경 컨텐츠(10)를 통해 가상의 환경에서 자동차 경주 게임을 할 수 있다.
한편, 전자 장치(100)는 자동차 경주 게임 관련 가상 환경 컨텐츠(10)에 대한 사용자 명령이 입력되면, 해당 가상 환경 컨텐츠(10)에서 제공하는 가상 효과에 대한 정보에 기초하여 가상 환경 컨텐츠(10)에서 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)를 검색한다.
여기서, 가상 환경 컨텐츠(10)에서 제공하는 가상 효과에 대한 정보는 가상 환경 컨텐츠별로 기설정될 수 있다.
예를 들어, 도시된 바와 같은 가상 환경 컨텐츠(10)는 사막을 배경으로 자동차 경주 게임을 제공하는 컨텐츠가 될 수 있다. 이 경우, 가상 환경 컨텐츠(10)에서 제공하는 가상 효과의 정보는 '열기 효과' 및 '바람 효과'에 대한 정보를 포함할 수 있다.
이 경우, 전자 장치(100)는 기저장된 기기 관리 정보 및 '열기 효과' 및 '바람 효과'에 대한 정보에 기초하여 '열기 효과' 및 '바람 효과'에 대한 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)를 판단한다.
여기서, 기기 관리 정보는 가상 환경 컨텐츠(10)에서 제공하는 가상 효과에 대한 정보, 가상 효과에 대응되는 기능을 제공할 수 있는 기기 정보 및 전자 장치(100)에 기등록된 주변 기기(200)에 대한 정보 중 적어도 두 개가 매핑된 정보이다.
따라서, 전자 장치(100)는 이 같은 기기 관리 정보를 참조하여 '열기 효과' 및 '바람 효과'에 대한 가상 효과에 대응되는 기능 제공이 가능한 주변 기기(200)에 대한 정보가 등록되어 있는지 여부를 판단한다.
판단 결과, '열기 효과' 및 '바람 효과'에 대한 가상 효과와 냉난방 에어컨 관련 주변 기기(200-1)가 매칭된 기기 관리 정보가 기저장된 것으로 판단되면, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(10)가 재생되는 동안 사용자가 있는 주변에 더운 바람이 불도록 온풍 관련 제어 신호를 냉난방 에어컨 관련 주변 기기(200-1)에 전송한다.
이에 따라, 냉난방 에어컨 관련 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 온풍 바람을 송출합니다. 따라서, 전자 장치(100)를 통해 자동차 경주 게임을 하는 사용자는 냉난방 에어컨 관련 주변 기기(200-1)를 통해 송출된 온풍 바람을 통해 자동차 경주 게임의 배경과 같이, 사막에서 자동차 경주를 하는 것과 같은 가상 환경을 경험할 수 있다.
도 2는 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하기 위한 절차도이다.
도 2에 도시된 바와 같이, 전자 장치(100)는 사용자로부터 가상 환경 컨텐츠에 대한 재생 명령을 입력받는다(S11). 이 같은 사용자 명령이 입력되면, 전자 장치(100)는 입력된 사용자 명령에 대응되는 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단 및 가상 환경 컨텐츠를 재생한다(S12).
구체적으로, 전자 장치(100)는 사용자 명령이 입력되면, 기저장된 기기 관리 정보에 기초하여 사용자 명령에 대응되는 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)를 판단한다.
여기서, 기기 관리 정보는 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 정보, 가상 효과에 대응되는 기능을 제공할 수 있는 기기 정보 및 전자 장치(100)에 기등록된 주변 기기(200)에 대한 정보 중 적어도 두 개가 매핑된 정보이다.
예를 들어, 기기 관리 정보는 아래 [표 1]와 같은 테이블 형태로 매핑되어 저장될 수 있다.
가상 효과에 대한 정보 기기 정보 주변 기기에 대한 정보
음성 효과 제1 기기 신호 패턴 정보 네트워크 스피커
바람 효과 제2 기기 신호 패턴 정보 스마트 에어컨
냄새 효과 제3 기기 신호 패턴 정보 방향 기기(Aromatic Device)
위 [표 1]에서, 음성 효과와 관련하여 매핑된 제1 기기의 신호 패턴 정보는 오디오를 출력하는 주변 기기(200)와 관련하여 기정의된 신호 패턴이 될 수 있다. 그리고, 바람 효과와 매핑된 제2 기기의 신호 패턴 정보는 냉풍 혹은 온풍 바람을 송출하는 주변 기기(200)와 관련하여 기정의된 신호 패턴이 될 수 있다. 그리고, 냄새 효과와 매핑된 제3 기기의 신호 패턴 정보는 방향제를 분사하는 주변 기기(200)와 관련하여 기정의된 신호 패턴이 될 수 있다.
그리고, 음성 효과, 바람 효과, 냄새 효과 각각에 대응하여 매핑된 네트워크 스피커(네트워크에 연결 가능한 스피커), 스마트 에어컨, 방향 기기는 전자 장치(100)에 등록된 주변 기기(200)이다. 이 같은 네트워크 스피커, 스마트 에어컨, 방향 기기 각각은 네트워크 스피커, 스마트 에어컨, 방향 기기별 신호 패턴과 제1 내지 제3 기기별 신호 패턴 정보에 기초하여 제1 내지 제3 기기 각각에 매칭된 효과들과 매핑될 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 위 테이블에서 정의된 기기 정보는 각각의 가상 효과에 대응되는 기능을 제공하는 기기별로 분류된 제1 내지 제3 기기별 식별 정보가 될 수 있다.
이 경우, 제1 기기의 식별 정보와 대응되는 식별 정보를 가지는 네트워크 스피커는 음성 효과와 매핑될 수 있으며, 제2 기기의 식별 정보와 대응되는 식별 정보를 가지는 스마트 에어컨은 바람 효과와 매핑될 수 있으며, 제3 기기의 식별 정보와 대응되는 식별 정보를 가지는 방향 기기는 냄새 효과와 매핑될 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 전자 장치(100)는 사용자 명령에 기초하여 네트워크 스피커, 스마트 에어컨, 방향 기기를 음성 효과, 바람 효과, 냄새 효과 각각에 매핑할 수 있다.
따라서, 전자 장치(100)는 이 같은 기저장된 기기 관리 정보를 참조하여 사용자 명령에 대응되는 가상 환경 컨텐츠에 설정된 가상 효과를 제공할 수 있는 주변 기기(200)가 등록되어 있는지 여부를 판단한다(S13).
판단 결과, 전자 장치(100)는 기등록된 주변 기기(200) 중 제1 주변 기기(200-1)가 사용자 명령에 대응되는 가상 환경 컨텐츠에 설정된 가상 효과에 대응되는 기능을 제공할 수 있는 것으로 판단할 수 있다. 이 경우, 전자 장치(100)는 제1 주변 기기(200-1)와 관련하여 기저장된 기기 정보에 기초하여 가상 효과에 대응되는 기능 수행을 위한 제어 신호를 제1 주변 기기(200-1)로 전송한다(S14). 이에 따라, 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 효과에 대응되는 기능을 수행한다(S15).
한편, 전술한 단계 S13에서 사용자 명령에 대응되는 가상 환경 컨텐츠에 설정된 가상 효과에 대응되는 기능을 제공할 주변 기기(200)가 검색되지 않으면, 전자 장치(100)는 주변 기기 탐색을 위한 탐색 신호를 전송한다(S16). 이때, 전자 장치(100)는 브로드캐스팅 방식으로 탐색 신호를 전송할 수 있다.
이에 따라, 전자 장치(100)와 근거리 통신이 가능한 제2 주변 기기(200-2)는 전자 장치(100)로부터 탐색 신호가 수신되면, 전자 장치(100)로 응답 신호를 전송한다(S16).
응답 신호가 수신되면, 전자 장치(100)는 수신된 응답 신호에 기초하여 제2 주변 기기(200-2)가 사용자 명령에 대응되는 가상 환경 컨텐츠에 설정된 가상 효과에 대응되는 기능을 제공할 기기인지 여부를 판단한다(S18).
예를 들어, 사용자 명령에 대응되는 가상 환경 컨텐츠에 설정된 가상 효과는 바람 효과가 될 수 있다. 이 경우, 전자 장치(100)는 전술한 기기 관련 정보에 대한 테이블을 참조하여 바람 효과와 매핑된 제2 기기에 대한 신호 패턴 정보와 수신된 응답 신호에 포함된 신호 패턴을 비교한다. 비교 결과, 두 신호 패턴이 서로 대응되면, 전자 장치(100)는 제2 주변 기기(200-2)로부터 수신된 응답 신호에 포함된 어드레스 정보에 기초하여 제2 주변 기기(200-2)로 페어링 요청 신호를 전송한다(S19).
그러나, 본 발명은 이에 한정되지 않으며, 전자 장치(100)는 제2 주변 기기(200-2)로부터 응답 신호가 수신되면, 제2 주변 기기(200-2)가 검색되었음을 알리는 알림 메시지를 제공한다. 이후, 전자 장치(100)는 제2 주변 기기(200-2)에 대한 사용자 명령이 입력되면, 응답 신호에 포함된 어드레스 정보에 기초하여 제2 주변 기기(200-2)로 페어링 요청 신호를 전송할 수 있다.
제2 주변 기기(200-2)는 전자 장치(100)로부터 페어링 요청 신호가 수신되면, 전자 장치(100)로 제2 주변 기기(200-2)의 제어 정보를 포함하는 페어링 응답 신호를 전송한다(S20). 이 같은 페어링 응답 신호가 수신되면, 전자 장치(100)는 제2 주변 기기(200-2)를 바람 효과에 대응되는 기능을 수행할 기기로 등록할 수 있다(S21).
즉, 전자 장치(100)는 바람 효과와 제2 주변 기기(200-2)의 제어 정보가 매핑된 기기 관리 정보를 업데이트하여 제2 주변 기기(200-2)를 바람 효과에 대응되는 기능을 수행할 기기로 등록할 수 있다.
이후, 전자 장치(100)는 사용자 명령에 대응되는 가상 환경 컨텐츠가 재생되는 동안 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 수행할 제어 신호를 제2 주변 기기(200-2)로 전송한다. 따라서, 제2 주변 기기(200-2)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 수행할 수 있다.
이하에서는, 주변 기기(200)를 이용하여 가상 환경 서비스를 제공하는 전자 장치(100)의 각 구성에 대해서 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하는 전자 장치의 블록도이다.
도 3에 도시된 바와 같이, 전자 장치(100)는 가상 환경 컨텐츠를 재생하는 장치이다. 여기서, 가상 환경 컨텐츠는 파노라마 영상 혹은 360도 어라운드 뷰 영상과 같은 VR(Virtual Reality) 영상 컨텐츠이며, 이 같은 가상 환경 컨텐츠를 재생하는 전자 장치(100)는 VR 디바이스, 스마트폰 및 VR 웨어러블 디바이스 등이 될 수 있다.
이 같은 전자 장치(100)는 통신부(110), 출력부(120), 제어부(130) 및 저장부(140)를 포함한다.
통신부(110)는 적어도 하나의 주변 기기(200)와 데이터 통신을 수행한다. 이 같은 통신부(110)는 근거리 통신 모듈(111)를 포함하며, 근거리 통신 모듈(111)을 통해 적어도 하나의 주변 기기(200)와 데이터 통신을 수행할 수 있다.
여기서, 근거리 통신 모듈(111)은 근거리에 위치하는 적어도 하나의 주변 기기(200)와 무선 통신을 수행하는 모듈로써, 예를들어, 블루투스(bluetooth)모듈, NFC(Near Field Communication)모듈, 와이파이(WiFi)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
따라서, 통신부(110)는 근거리 통신 모듈(111)을 통해 적어도 하나의 주변 기기(200)와 페어링을 위한 신호를 송수신하며, 전자 장치(100)에 기등록된 적어도 하나의 주변 기기(200)로 가상 환경 커텐츠에서 제공하는 가상 효과에 대응되는 기능 수행을 위한 제어 신호를 전송할 수 있다.
추가로, 통신부(110)는 무선 통신 모듈(112) 및 커넥터(113)를 더 포함할 수 있다.
무선 통신 모듈(112)은 무선 랜 모듈과 같이, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 그러나, 본 발명은 이에 한정되지 않으며, 무선 통신 모듈(112)은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈이 될 수 있다.
커넥터(113)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 구성이다. 이 같은 커넥터(113)는 후술할 제어부(130)의 제어 명령에 따라 커넥터(113)에 연결된 유선 케이블을 통해 외부 서버(미도시)로부터 전송된 컨텐츠 데이터를 수신하거나, 기저장된 컨텐츠 데이터를 외부 기록 매체로 전송할 수 있다. 또한, 커넥터(113)는 커넥터(113)와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.
출력부(120)는 사용자 명령에 대응되는 가상 환경 컨텐츠를 출력한다. 이 같은 출력부(120)는 후술할 도 7에 도시된 바와 같이, 디스플레이부(121) 및 오디오 출력부(122)를 포함할 수 있다.
디스플레이부(121)는 가상 환경 컨텐츠에 포함된 영상 데이터를 화면상에 디스플레이하며, 오디오 출력부(122)는 가상 환경 컨텐츠에 포함된 오디오 데이터를 스피커(미도시)를 통해 가청음 형태로 출력한다.
제어부(130)는 전자 장치(100)를 구성하는 구성들에 대한 동작을 전반적으로 제어한다. 특히, 제어부(130)는 사용자 명령에 따라 가상 환경 컨텐츠를 재생하도록 출력부(120)를 제어한다. 또한, 제어부(130)는 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 적어도 하나의 주변 기기(200) 중 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단한다. 이후, 제어부(130)는 판단된 주변 기기(200)에 가상 효과에 대응되는 제어 신호를 전송하도록 통신부(110)를 제어한다.
저장부(140)는 가상 효과에 대한 정보 및 가상 효과에 대응되는 기능을 제공할 수 있는 기등록된 주변 기기(200)에 대한 정보가 매핑된 기능 지원 기기 정보를 저장한다.
구체적으로, 제어부(130)는 저장부(140)에 저장된 각종 모듈을 통해 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기에 대한 기능 지원 기기 정보를 생성하여 저장부(140)에 저장할 수 있다.
도 4는 본 발명의 일 실시예에 따른 저장부의 세부 블록도이다.
도 4에 도시된 바와 같이, 저장부(140)는 가상 효과 모듈(141), 기능 지원 기기 모듈(142) 및 주변 기기 관리 모듈(143)을 포함한다.
가상 효과 모듈(141)은 가상 환경 서비스 제공과 관련하여 필요한 가상 효과에 대한 정보를 제공하기 위한 모듈이다.
그리고, 기능 지원 기기 모듈(142)은 가상 효과 각각에 대응하는 기능을 제공할 수 있는 기기에 대한 기기 정보를 제공하기 위한 모듈이다.
그리고, 주변 기기 관리 모듈(143)은 가상 효과 각각에 대응하는 기능을 제공하는 주변 기기(200)를 등록 및 제어하기 위한 모듈이다.
따라서, 제어부(130)은 저장부(140)에 기저장된 가상 효과 모듈(141), 기능 지원 기기 모듈(142) 및 주변 기기 관리 모듈(143)을 이용하여 가상 효과 각각에 대응하는 기능 제공이 가능한 주변 기기(200)를 검색 및 등록한다. 이후, 제어부(130)는 가상 효과에 대한 정보 및 해당 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)에 대한 기기 정보가 매핑된 기능 지원 기기 정보를 생성하여 저장부(140)에 저장할 수 있다.
예를 들어, '바람 효과'에 대한 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)는 스마트 에어컨이 될 수 있다. 이 경우, 제어부(130)는 다음과 같은 실시예를 통해 '바람 효과'에 대한 가상 효과와 스마트 에어컨에 대한 주변 기기(200)의 기기 정보가 매핑된 기능 지원 기기 정보를 생성할 수 있다.
구체적으로, 제어부(130)는 전자 장치(100)는 브로드캐스팅 방식으로 주변 기기 탐색을 위한 탐색 신호를 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 근거리 통신 모듈(111)을 통해 브로드캐스팅 방식으로 주변 기기 탐색을 위한 탐색 신호를 전송한다. 이에 따라, 전자 장치(100)와 근거리 통신이 가능한 적어도 하나의 주변 기기(200)는 전자 장치(100)로부터 탐색 신호가 수신되면, 수신된 탐색 신호에 기초하여 전자 장치(100)로 응답 신호를 전송한다.
적어도 하나의 주변 기기(200)로부터 응답 신호가 수신되면, 제어부(130)는 '바람 효과'에 대한 가상 효과에 대응되는 기능 제공이 가능한 기기에 기기 정보에 기초하여 응답 신호를 전송한 주변 기기(200)가 '바람 효과'에 대한 가상 효과 기능 수행이 가능한지 여부를 판단한다.
실시예에 따라, '바람 효과'에 대한 가상 효과에 대응되는 기능 제공이 가능한 기기에 기기 정보는 신호 패턴 정보를 포함할 수 있다. 따라서, 제어부(130)는 '바람 효과'에 대한 가상 효과의 기능 수행이 가능한 기기의 신호 패턴 정보와 수신된 응답 신호에 포함된 신호 패턴이 유사한지 여부를 판단하여 응답 신호를 전송한 주변 기기(200)가 '바람 효과'에 대한 가상 효과 기능 수행이 가능한지 여부를 판단할 수 있다.
판단 결과, '바람 효과'에 대한 가상 효과 기능 수행이 가능한 것으로 판단되면, 제어부(130)는 응답 신호를 전송한 주변 기기(200)로 페어링 요청 신호를 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 응답 신호에 포함된 어드레스 정보에 기초하여 응답 신호를 전송한 주변 기기(200)로 페어링 요청 신호를 전송하며, 페어링 요청 신호를 수신한 주변 기기(200)는 전자 장치(100)로 주변 기기(200)의 동작 제어를 위한 제어 정보를 포함하는 페어링 응답 신호를 전송할 수 있다.
따라서, 제어부(130)는 수신된 페어링 응답 신호에 기초하여 페어링 응답 신호를 전송한 주변 기기(200)의 제어 정보와 '바람 효과'에 대한 가상 효과가 매핑된 기능 지원 기기 정보를 생성하여 저장부(140)에 저장할 수 있다.
이 같은 실시예를 통해 기능 지원 기기 정보가 저장부(140)에 저장되면, 제어부(130)는 저장부(140)에 저장된 기능 지원 기기 정보에 기초하여 가상 환경 서비스를 제공할 수 있다.
구체적으로, 제어부(130)는 가상 환경 컨텐츠 재생을 위한 사용자 명령이 입력되면, 저장부(140)에 기저장된 기기 관리 정보에 기초하여 해당 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 등록되어 있는지 여부를 판단한다.
판단 결과, 주변 기기(200)가 등록된 것으로 판단되면, 제어부(130)는 등록된 주변 기기(200)의 제어 정보에 기초하여 해당 주변 기기(200)로 가상 효과에 대응되는 기능 수행을 위한 제어 신호를 통신부(110)를 해당 주변 기기(200)로 전송한다. 이에 따라, 주변 기기(200)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 사용자 명령에 대응하는 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 수행할 수 있다.
한편, 판단 결과, 주변 기기(200)가 미등록된 것으로 판단되면, 제어부(130)는 주변 기기 탐색을 위한 탐색 신호를 브로드캐스팅 방식으로 전송한다. 이후, 탐색 신호를 수신한 적어도 하나의 주변 기기(200)로부터 응답 신호가 수신되면, 수신된 응답 신호에 기초하여 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)와 페어링을 수행한다. 이 같은 미등록된 주변 기기(200)와 페어링을 수행하는 동작은 상기에서 상세히 설명하였으므로, 이하에서는 상세한 설명을 생략하도록 한다.
한편, 전술한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 정보는 가상 환경 컨텐츠를 구성하는 프레임별로 매핑될 수 있다.
이 경우, 제어부(130)는 가상 환경 컨텐츠를 재생 시, 가상 환경 컨텐츠에 대한 프레임별 가상 효과에 대한 정보에 기초하여 프레임별 가상 효과에 대응되는 기능을 수행할 수 있는 주변 기기(200)로 제어 신호를 전송하도록 통신부(110)를 제어할 수 있다.
예를 들어, 가상 환경 컨텐츠를 구성하는 복수의 프레임 중 제1 프레임과 관련하여 제1 가상 효과에 대한 정보가 설정될 수 있으며, 제2 프레임과 관련하여 제2 가상 효과에 대한 정보가 설정될 수 있다. 그리고, 제1 주변 기기(200-1)는 제1 가상 효과에 대응되는 기능을 제공할 수 있는 기기이며, 제2 주변 기기(200-2)는 제2 가상 효과에 대응되는 기능을 제공할 수 있는 기기가 될 수 있다.
한편, 제1 및 제2 프레임은 하나의 프레임이거나 복수의 프레임이 될 수 있다.
이 경우, 제어부(130)는 제1 프레임의 컨텐츠가 출력되는 타이밍에 제1 주변 기기(200-1)로 제1 프레임에 설정된 제1 가상 효과에 대응되는 기능을 제공하기 위한 제어 신호를 전송하도록 통신부(110)를 제어한다. 그리고, 제어부(130)는 제2 프레임이 컨텐츠가 출력되는 타이밍에 제2 주변 기기(200-2)로 제2 프레임에 설정된 제2 가상 효과에 대응되는 기능을 제공하기 위한 제어 신호를 전송하도록 통신부(110)를 제어한다.
이에 따라, 통신부(110)는 근거리 통신 모듈(111)을 통해 제1 주변 기기(200-1)로 제1 프레임에 설정된 제1 가상 효과에 대응되는 기능을 제공하기 위한 제어 신호를 전송하며, 제2 주변 기기(200-2)로 제2 프레임에 설정된 제2 가상 효과에 대응되는 기능을 제공하기 위한 제어 신호를 전송한다.
이에 따라, 제1 주변 기기(200-1)는 제1 프레임의 컨텐츠가 출력되는 타이밍에 제1 프레임에 설정된 제1 가상 효과에 대응되는 동작을 수행하며, 제2 주변 기기(200-2)는 제2 프레임의 컨텐츠가 출력되는 타이밍에 제2 프레임에 설정된 제2 가상 효과에 대응되는 동작을 수행할 수 있다.
본 발명의 추가적인 양상에 따라, 제어부(130)는 가상 환경 컨텐츠에 대한 재생 명령 시, 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 제공을 위한 사용자 UI를 디스플레이하도록 출력부(120)를 제어한다. 이에 따라, 출력부(120)는 디스플레이부(121)는 통해 사용자 UI를 디스플레이할 수 있다.
도 5는 본 발명의 일 실시예에 따른 가상 효과에 대한 서비스 제공 여부를 선택하기 위한 제1 사용자 UI를 나타내는 예시도이며, 도 6은 본 발명의 일 실시예에 따른 가상 효과를 선택하기 위한 제2 사용자 UI를 나타내는 예시도이다.
도 5에 도시된 바와 같이, 제어부(130)는 가상 환경 컨텐츠에 대한 재생 명령 시, 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 정보가 설정되어 있는지 여부를 판단한다. 판단 결과, 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 정보가 설정되어 있으면, 제어부(130)는 가상 효과 모드 사용 여부를 선택하기 위한 제1 사용자 UI(510)를 디스플레이하도록 출력부(120)를 제어한다. 이에 따라, 출력부(120)는 디스플레이부(121)를 통해 가상 효과 모드 사용 여부를 선택하기 위한 제1 사용자 UI(510)를 디스플레이한다.
이 같은 제1 사용자 UI(510)가 디스플레이된 상태에서 '예'라는 제1 아이콘(511)이 선택되면, 제어부(130)는 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공한다. 한편, 제1 사용자 UI(510)가 디스플레이된 상태에서 '아니오'라는 제2 아이콘(512)이 선택되면, 제어부(130)는 가상 효과에 대한 서비스를 제공하지 않고, 사용자가 요청한 가상 환경 컨텐츠만을 재생할 수 있다.
한편, 제1 사용자 UI(510)가 디스플레이된 상태에서 '예'라는 제1 아이콘(511)이 선택되면, 도 6에 도시된 바와 같이, 제어부(130)는 가상 효과를 선택하기 위한 제2 사용자 UI(610)를 디스플레이하도록 출력부(120)를 제어한다.
즉, 제어부(130)는 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 이용 관련 사용자 명령이 입력되면, 해당 가상 환경 컨텐츠에 설정된 가상 효과에 대한 정보에 기초하여 해당 가상 환경 컨텐츠에서 제공하는 가상 효과를 선택한다. 이후, 제어부(130)는 가상 환경 컨텐츠에서 제공하는 모든 가상 효과에 대한 선택 및 가상 효과 각각을 선택할 수 있는 아이콘을 포함하는 제2 사용자 UI(610)를 생성할 수 있다.
예를 들어, 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 정보는 음성 효과, 바람 효과, 진동 효과 및 열기 효과를 포함할 수 있다. 이 경우, 제어부(130)는 가상 환경 컨텐츠에서 제공하는 모든 가상 효과를 선택하기 위한 제1 아이콘(611)와, 음성 효과, 바람 효과, 진동 효과 및 열기 효과 각각을 선택하기 위한 제2 내지 제5 아이콘(612~615)를 포함하는 제2 사용자 UI(610)를 생성할 수 있다.
이 같은 제2 사용자 UI(610)가 디스플레이부(121)를 통해 디스플레이되면, 사용자는 화면상에 디스플레이된 제2 사용자 UI(610)를 통해 자신이 원하는 가상 효과만을 선택할 수 있다. 예를 들어, 전체 효과에 대한 제1 아이콘(611)이 선택되면, 제어부(130)는 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 모든 가상 효과에 대한 서비스를 제공할 수 있다.
한편, 음성 효과에 대한 제2 아이콘(612)과 진동 효과에 대한 제4 아이콘(614)이 선택되면, 제어부(130)는 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과 중 음성 효과 및 진동 효과에 대한 서비스만을 제공할 수 있다.
본 발명의 추가적인 양상에 따라, 제어부(130)는 가상 환경 컨텐츠를 재생하고 있는 상태에서, 기등록된 복수의 주변 기기(200) 중 사용자에 의해 설정된 주변 기기(200)로부터 이벤트 정보가 수신되면, 수신된 이벤트 정보를 재생 중인 가상 환경 컨텐츠와 관련된 영상 이미지로 변환하고, 변환된 영상 이미지를 재생 중인 가상 환경 컨텐츠에 합성하여 출력하도록 출력부(120)를 제어한다. 이에 따라, 출력부(120)는 디스플레이부(121)를 통해 이벤트 정보와 관련하여 변환된 영상 이미지가 합성된 가상 환경 컨텐츠를 디스플레이할 수 있다.
본 발명의 추가적인 양상에 따라, 제어부(130)는 전자 장치(100)에서 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한지 여부에 따라, 가상 환경 컨텐츠에서 제공ㅎ는 가상 효과에 대응되는 기능을 수행할 주변 기기(200)로 제어 신호를 전송할 수 있다.
예를 들어, 가상 환경 컨텐츠에서 제공하는 가상 효과는 음성 효과가 될 수 있다. 이 경우, 제어부(130)는 전자 장치(100)에서 음성 효과에 대응되는 기능을 수행할 수 있는지 여부를 판단한다. 판단 결과, 수행 가능하면, 제어부(130)는 전자 장치(100) 내에 포함된 오디오 출력부(122)를 통해 가상 환경 컨텐츠에 포함된 오디오 데이터를 출력할 수 있다.
한편, 전자 장치(100)에서 음성 효과에 대응되는 기능 수행이 불가능하면, 제어부(130)는 기등록된 주변 기기(200) 중 오디오 출력이 가능한 제1 주변 기기(200-1)로 가상 환경 컨텐츠에 포함된 오디오 데이터를 전송하도록 통신부(110)를 제어할 수 있다. 이에 따라, 통신부(110)는 근거리 통신 모듈(111)을 통해 오디오 출력이 가능한 제1 주변 기기(200-1)로 오디오 데이터를 전송하며, 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 오디오 데이터를 가청음 형태로 출력할 수 있다.
이하에서는, 본 발명에 따른 전자 장치(100)의 세부 구성에 대해서 상세히 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 주변 기기를 이용하여 가상 환경 서비스를 제공하는 전자 장치의 세부 블록도이다.
전술한 바와 같이, 전자 장치(100)는 통신부(110), 출력부(120), 제어부(130) 및 저장부(140) 구성 외에 입력부(150), 촬영부(160) 및 감지부(170)를 더 포함할 수 있다.
입력부(150)는 다양한 사용자 명령을 입력받아 제어부(130)로 전달하기 위한 입력 수단으로써, 마이크(151), 조작부(152), 터치 입력부(153) 및 사용자 입력부(154)를 포함할 수 있다.
마이크(151)는 사용자의 음성 명령을 입력받으며, 조작부(152)는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있다. 그리고, 터치 입력부(153)는 전술한 디스플레이부(121)과 상호 레어어 구조를 이루는 터치 패드로 구현될 수 있다. 이 경우, 터치 입력부(154)는 디스플레이부(121)를 통해 디스플레이된 다양한 어플리케이션 관련 아이콘에 대한 선택 명령을 입력받을 수 있다.
사용자 입력부(154)는 원격 제어 장치와 같은 적어도 하나의 주변 기기(200)로부터 전자 장치(100)의 동작을 제어하기 위한 IR 신호 혹은 RF 신호를 입력받을 수 있다.
촬영부(160)는 주변 환경에 대한 영상을 촬영하며, 감지부(170)는 전자 장치(100)의 움직임 및 전자 장치(100)를 착용한 사용자의 동공의 움직임을 감지한다. 실시예에 따라, 감지부(170)는 전자 장치(100)의 움직임을 감지하는 움직임 센서(171), 사용자의 동공 추적이 가능한 동공 추적 센서(172), 지자기 센서(173), 중력 센서(174), 자이로 센서(175) 중 적어도 하나를 포함할 수 있다.
움직임 센서(171)는 이동하는 전자 장치(100)의 가속도나 충격의 세기를 측정하는 가속도 센서(Accelerometer Sensor)가 될 수 있다.
동공 추적 센서(172)는 사용자의 안구에 근접한 곳에 위치하여, 사용자의 동공을 촬영하면서 사용자의 시선 변화를 감지하는 센서이다. 따라서, 제어부(130)는 동공 추적 센서(172)를 통해 감지된 감지 정보에 기초하여 디스플레이된 가상 환경 컨텐츠의 영상 중 사용자가 응시하는 영역을 판단하고, 판단된 영역의 영상으로 영상 전환을 수행할 수 있다.
지자기 센서(Magnetic Sensor)(173)는 지구 자기장을 이용하여 방위각을 탐지할 수 있는 전자 나침판으로써, 위치 추적, 3D 영상 게임 등에 사용되거나, 스마트 폰, 무전기, GPS, PDA, 네비게이션 항법 장치 등에 사용되는 센서이다.
중력 센서(Gravity Sensor)(174)는 중력이 어느 방향으로 작용하는지 탐지하는 센서로써, 디스플레이 장치(100)의 이동 방향에 따라 자동으로 회전하여 방향을 감지하는데 이용되는 센서이다.
자이로 센서(Gyroscope Sensor)(175)는 기존의 움직임 센서(171)에 각각 회전을 넣어 6축 방향을 인식하여 하여 좀더 세밀하고 정밀한 동작을 인식할 수 있도록 도와주는 센서이다.
한편, 본 발명에서는 감지부(170)는 전술한 구성 외에 사물이 다른 사물에 접촉되기 이전에 근접하였는지 여부를 결정하는데 이용되는 근접 센서(미도시), 수광을 빛을 감지하여 전기적인 신호로 변환하는 광 센서(미도시) 등을 더 포함할 수 있다.
한편, 전술한 바와 같이, 기기 관리 정보 및 관련 모듈을 저장하는 저장부(140)는 외부 서버(미도시)로부터 수신된 가상 환경 컨텐츠의 영상 및 오디오 데이터를 더 저장할 수 있다. 뿐만 아니라, 저장부(140)는 전자 장치(100)의 동작을 제어하기 위한 운용 프로그램을 더 저장할 수 있다. 여기서, 운용 프로그램은 전자 장치(100)가 턴 온(Turn On)되는 경우, 저장부(140)에서 읽혀지고, 컴파일되어 전자 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다.
한편, 전술한 제어부(130)는 RAM(131), ROM(132), CPU(133) 및 GPU(134)를 더 포함할 수 있으며, RAM(131), ROM(132), CPU(133) 및 GPU(134)는 버스(135)를 통해 서로 연결될 수 있다.
CPU(133)는 저장부(140)를 액세스하여, 저장부(140)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(133)는 저장부(140)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
GPU(134)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(134)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다.
ROM(131)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(133)는 ROM(131)에 저장된 명령어에 따라 저장부(140)에 저장된 OS를 RAM(124)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(133)는 저장부(140)에 저장된 각종 프로그램을 RAM(132)에 복사하고, RAM(132)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
이 같은 제어부(130)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.
한편, 상술한 제어부(130)의 동작은 저장부(140)에 저장된 프로그램에 의해 이루어질 수 있다. 여기서, 저장부(140)는 ROM(131), RAM(132) 또는 전자 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.
이하에서는, 본 발명에 따른 전자 장치(100)에서 주변 기기(200)를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 동작에 대해서 보다 구체적으로 설명하도록 한다.
도 8은 본 발명의 일 실시에에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 제1 예시도이다.
도 8에 도시된 바와 같이, 전자 장치(100)를 착용한 사용자는 자동차 경주 게임 관련 가상 환경 컨텐츠(810)에 대한 재생 명령을 할 수 있다. 이 같은 재생 명령에 따라, 전자 장치(100)는 사용자가 요청한 자동차 경주 게임 관련 가상 환경 컨텐츠(810)를 재생할 수 있다. 한편, 전자 장치(100)는 가상 환경 컨텐츠(810)에 앞서, 가상 환경 컨텐츠(810)에서 제공하는 가상 효과에 대한 정보가 포함되어 있는지 여부를 판단한다.
판단 결과, 가상 환경 컨텐츠(810)에서 제공하는 가상 효과의 정보는 '열기 효과', '바람 효과' 및 '음성 효과'에 대한 정보를 포함할 수 있다.
이 경우, 전자 장치(100)는 기저장된 기기 관리 정보 및 '열기 효과', '바람 효과' 및 '음성 효과'에 대한 정보에 기초하여 '열기 효과', '바람 효과' 및 '음성 효과'에 대한 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)를 판단한다.
도시된 바와 같이, 기등록된 주변 기기(200) 중 냉난방 에어컨 관련 제1 주변 기기(200-1)는 '열기 효과' 및 '바람 효과'에 대한 기능을 제공할 수 있는 기기며, 스마트 이어폰 관련 제2 주변 기기(200-2)는 '음성 효과'에 대한 기능을 제공할 수 있는 기기로 판단될 수 있다.
이 같이, 제1 및 제2 주변 기기(200-1,200-2)가 가상 환경 컨텐츠(810)에서 제공하는 가상 효과에 대한 기능을 제공할 수 있는 기기로 판단되면, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(810)가 재생되는 동안 사용자가 있는 주변에 더운 바람이 불도록 제1 주변 기기(200-1)로 온풍 관련 제어 신호를 전송한다.
이에 따라, 냉난방 에어컨 관련 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 환경 컨텐츠(810)가 재생되는 동안 온풍 바람을 송출합니다. 또한, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(810)에 포함된 오디오 데이터를 제2 주변 기기(200-2)로 전송한다. 이에 따라, 스마트 이어폰 관련 제2 주변 기기(200-2)는 수신된 오디오 데이터에 기초하여 가상 환경 컨텐츠(810)에 대한 오디오를 출력할 수 있다
따라서, 전자 장치(100)를 통해 자동차 경주 게임을 하는 사용자는 제2 주변 기기(200-2)에서 출력되는 오디오 및 제1 주변 기기(200-1)에서 송출된 온풍 바람을 통해 사막에서 자동차 경주를 하는 것과 같은 가상 환경을 경험할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 도 5 및 도 6에서 설명한 바와 같이, 전자 장치(100)는 가상 환경 컨텐츠(810)에서 제공하는 복수의 가상 효과 중 사용자에 의해 선택된 가상 효과에 대한 서비스를 제공할 수 있다.
전술한 예와 같이, 가상 환경 컨텐츠(810)에서 제공하는 가상 효과의 정보는 '열기 효과', '바람 효과' 및 '음성 효과'에 대한 정보를 포함할 수 있으며, 이 중 '열기 효과' 및 '바람 효과'에 대한 정보가 선택될 수 있다.
이 경우, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(810)가 재생되는 동안 사용자가 있는 주변에 더운 바람이 불도록 제1 주변 기기(200-1)로 온풍 관련 제어 신호를 전송한다. 이에 따라, 냉난방 에어컨 관련 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 온풍 바람을 송출한다. 따랏, 전자 장치(100)를 통해 자동차 경주 게임을 하는 사용자는 제1 주변 기기(200-1)에서 송출된 온풍 바람을 통해 사막에서 자동차 경주를 하는 것과 같은 가상 환경을 경험할 수 있다.
도 9는 본 발명의 또다른 실시에에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 제2 예시도이다.
도 9에 도시된 바와 같이, 전자 장치(100)를 착용한 사용자는 자동차 경주 게임 관련 가상 환경 컨텐츠(910)에 대한 재생 명령을 할 수 있다. 이 같은 재생 명령에 따라, 전자 장치(100)는 사용자가 요청한 자동차 경주 게임 관련 가상 환경 컨텐츠(910)를 재생할 수 있다. 한편, 전자 장치(100)는 가상 환경 컨텐츠(910)에 앞서, 가상 환경 컨텐츠(910)에서 제공하는 가상 효과에 대한 정보가 포함되어 있는지 여부를 판단한다.
판단 결과, 가상 환경 컨텐츠(910)에서 제공하는 가상 효과의 정보는 '열기 효과', '바람 효과', '음성 효과' 및 '진동 효과'에 대한 정보를 포함할 수 있다. 구체적으로, 가상 환경 컨텐츠(910)를 구성하는 복수의 프레임 중 제1 프레임의 영상(911)과 관련하여 '열기 효과', '바람 효과' 및 '음성 효과'에 대한 정보가 포함될 수 있다. 그리고, 제2 프레임의 영상(912)과 관련하여 '열기 효과', '바람 효과', '음성 효과' 및 '진동 효과'에 대한 정보가 포함될 수 있다. 여기서, 제1 및 제2 프레임은 단일 프레임이거나 복수의 프레임으로 이루어진 프레임이 될 수 있다.
이 경우, 전자 장치(100)는 기저장된 기기 관리 정보 및 '열기 효과', '바람 효과', '음성 효과' 및 '진동 효과'에 대한 정보에 기초하여 '열기 효과', '바람 효과', '음성 효과' 및 '진동 효과'에 대한 기능을 제공할 수 있는 주변 기기(200)를 판단한다.
도시된 바와 같이, 기등록된 주변 기기(200) 중 냉난방 에어컨 관련 제1 주변 기기(200-1)는 '열기 효과' 및 '바람 효과'에 대한 기능을 제공하는 기기이고, 스마트 이어폰 관련 제2 주변 기기(200-2)는 '음성 효과'에 대한 기능을 제공하는 기기이며, 안마 의자 관련 제3 주변 기기(200-3)는 '진동 효과'에 대한 기능을 제공할 수 있는 기기로 판단될 수 있다.
이후, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(910)의 제1 프레임의 영상(911)이 재생되는 동안 사용자가 있는 주변에 더운 바람이 불도록 제1 주변 기기(200-1)로 온풍 관련 제어 신호를 전송하고, 제1 프레임의 영상(911)이 재생되는 동안 제1 프레임의 오디오가 출력되도록 제1 프레임에 대한 오디오 데이터를 제2 주변 기기(200-2)로 전송한다.
이에 따라, 냉난방 에어컨 관련 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 환경 컨텐츠(910)의 제1 프레임의 영상(911)이 재생되는 동안 온풍 바람을 송출하고, 스마트 이어폰 관련 제2 주변 기기(200-2)는 수신된 오디오 데이터에 기초하여 가상 환경 컨텐츠(910)의 제1 프레임에 대한 오디오를 출력할 수 있다.
한편, 전자 장치(100)는 가상 환경 컨텐츠에 포함된 제2 프레임의 영상(912)이 재생되는 구간 동안 사용자가 있는 주변에 더운 바람이 불도록 제1 주변 기기(200-1)로 온풍 관련 제어 신호를 전송하고, 제2 프레임의 영상(912)이 재생되는 동안 제2 프레임의 오디오가 출력되도록 제2 프레임에 대한 오디오 데이터를 제2 주변 기기(200-2)로 전송한다. 추가적으로, 전자 장치(100)는 전자 장치(100)는 제2 프레임의 영상(912)이 재생되는 구간 동안 안마 기능을 수행하도록 제3 주변 기기(200-3)로 안마 동작 관련 제어 신호를 전송한다.
이에 따라, 냉난방 에어컨 관련 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 환경 컨텐츠(910)의 제2 프레임의 영상(912)이 재생되는 동안 온풍 바람을 송출하고, 스마트 이어폰 관련 제2 주변 기기(200-2)는 수신된 오디오 데이터에 기초하여 제2 프레임의 영상(912)이 재생되는 동안 제2 프레임에 대한 오디오를 출력할 수 있다. 또한, 안마 기기 관련 제3 주변 기기(200-3)는 가상 환경 컨텐츠(910)의 제2 프레임의 영상(912)이 재생되는 동안 안마 기능을 수행할 수 있다.
따라서, 전자 장치(100)를 통해 자동차 경주 게임을 하는 사용자는 제2 주변 기기(200-2)에서 출력되는 오디오 및 제1 주변 기기(200-1)에서 송출된 온풍 바람을 통해 사막에서 자동차 경주를 하는 것과 같은 가상 환경을 경험할 수 있다.
뿐만 아니라, 전자 장치(100)를 통해 자동차 경주 게임을 하는 사용자는 제3 주변 기기(200-3)에서 수행되는 안마 동작에 의해 사막의 비포장 도로에서 자동차 경주를 하는 것과 같은 가상 환경을 경험할 수 있다.
도 10은 본 발명의 또다른 실시에에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공하는 제3 예시도이다.
도 10에 도시된 바와 같이, 전자 장치(100)는 사용자 명령에 따라 공원 배경의 가상 환경 컨텐츠(1010)를 재생할 수 있다. 한편, 전자 장치(100)는 가상 환경 컨텐츠(1010)에 앞서, 가상 환경 컨텐츠(1010)에서 제공하는 가상 효과에 대한 정보가 포함되어 있는지 여부를 판단한다.
판단 결과, 가상 환경 컨텐츠(1010)에서 제공하는 가상 효과의 정보는 '음성 효과' 및 '냄새 효과'에 대한 정보를 포함할 수 있다.
이 경우, 전자 장치(100)는 기저장된 기기 관리 정보와, '음성 효과' 및 '냄새 효과'에 대한 정보에 기초하여 '음성 효과' 및 '냄새 효과'에 대한 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)를 판단한다.
도시된 바와 같이, 기등록된 주변 기기(200) 중 스마트 이어폰 관련 제1 주변 기기(200-1)는 '음성 효과'에 대한 기능을 제공할 수 있는 기기이며, 방향 기기 관련 제2 주변 기기(200-2)는 '냄새 효과'에 대한 기능을 제공할 수 있는 기기로 판단될 수 있다.
이 같이, 제1 및 제2 주변 기기(200-1,200-2)가 가상 환경 컨텐츠(1010)에서 제공하는 가상 효과에 대한 기능을 제공할 수 있는 기기로 판단되면, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(1010)가 재생되는 동안 가상 환경 컨텐츠(1010)에 포함된 오디오 데이터를 제1 주변 기기(200-1)로 전송한다. 또한, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠(1010)가 재생되는 동안 사용자가 있는 주변에 꽃향기가 나도록 제2 주변 기기(200-2)로 방향 기기 동작 관련 제어 신호를 전송한다.
이에 따라, 스마트 이어폰 관련 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 오디오 데이터에 기초하여 가상 환경 컨텐츠(1010)에 대한 오디오를 출력할 수 있다. 또한, 방향 기기 관련 제2 주변 기기(200-2)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 환경 컨텐츠(1010)가 재생되는 동안 방향 기기의 노즐을 통해 내부의 방향제를 외부로 분사시킬 수 있다.
이에 따라, 전자 장치(100)를 통해 공원 배경을 영상을 시청하는 사용자는 제1 및 주변 기기(200-1)에서 출력된 오디오 및 제2 주변 기기(200-2)에서 분사된 방향제를 통해 꽃이 만개한 공원을 산책하는 것과 같은 가상 환경을 경험할 수 있다.
도 11은 본 발명의 일 실시예에 따른 전자 장치에서 주변 장치의 이벤트 정보를 가상 환경 컨텐츠와 연동하여 제공하는 예시도이다.
도 11에 도시된 바와 같이, 전자 장치(100)는 사용자 명령에 대응하는 가상 환경 컨텐츠(1110)를 재생할 수 있다. 따라서, 전자 장치(100)를 착용한 사용자는 전자 장치(100)에 의해 재생되는 가상 환경 컨텐츠(1110)로부터 가상 환경을 체험할 수 있다.
한편, 사용자는 전자 장치(100)에 등록된 복수의 주변 기기(200) 중 스마트 폰인 제1 주변 기기(200-1)를 가상 환경 컨텐츠와 연동할 기기로 선택할 수 있다.
이 같이, 제1 주변 기기(200-1)가 가상 환경 컨텐츠와 연동할 기기로 선택되면, 선택된 제1 주변 기기(200-1)는 이벤트가 발생할 경우, 발생된 이벤트 정보를 전자 장치(100)로 전송한다.
예를 들어, 제1 주변 기기(200-1)는 또다른 주변 기기(200)로부터 전송된 문자 메시지를 수신할 수 있다. 이 같은 문자 메시지 관련 이벤트가 발생하면, 제1 주변 기기(200-1)는 수신된 문자 메시지를 포함하는 이벤트 정보를 전자 장치(100)로 전송한다.
가상 환경 컨텐츠(1110)를 재생 중인 전자 장치(100)는 제1 주변 기기(200-1)로부터 이벤트 정보가 수신되면, 재생 중인 가상 환경 컨텐츠(1110)를 고려하여 수신된 이벤트 정보에 포함된 문자 메시지를 제공할 영상 이미지를 생성하고, 생성된 영상 메시지를 재생 중인 가상 환경 컨텐츠(1110)의 영상 데이터에 합성하여 디스플레이할 수 있다.
도시된 바와 같이, 전자 장치(100)는 사용자가 특정 지역을 관광하는 가상 환경을 경험할 수 있는 가상 환경 컨텐츠(1110)를 재생할 수 있다. 이 같은 가상 환경 컨텐츠(1110)를 재생하는 동안 제1 주변 기기(200-1)로부터 문자 메시지를 포함하는 이벤트 정보가 수신되면, 전자 장치(100)는 가상 환경 컨텐츠(1110)의 영상 데이터에 수신된 이벤트 정보에 포함된 문자 메시지가 표시된 스마트 폰 관련 영상 이미지(1111)를 합성하여 디스플레이한다.
이에 따라, 전자 장치(100)를 착용한 사용자는 전자 장치(100)를 통해 재생 중인 가상 환경 컨테츠(1110)에 합성된 스마트 폰 관련 영상 이미지(1111)를 통해 자신이 특정 지역을 관광하는 가상 환경 및 특정 지역을 관광하는 중에 자신의 스마트 폰으로 문자 메시지가 수신되는 가상 환경을 경험할 수 있다.
도 12는 본 발명의 또다른 실시예에 따른 전자 장치에서 주변 장치의 이벤트 정보를 가상 환경 컨텐츠와 연동하여 제공하는 예시도이다.
도 12에 도시된 바와 같이, 전자 장치(100)는 자동차 경주 게임 관련 가상 환경 컨텐츠(1210)에 대한 재생 명령에 따라, 가상 환경 컨텐츠(1210)에서 제공하는 가상 효과에 대한 정보가 포함되어 있는지 여부를 판단한다.
판단 결과, 전자 장치(100)는 가상 환경 컨텐츠(1210)에서 제공하는 가상 효과의 정보는 '냉기 효과' 및 '바람 효과'에 대한 정보를 포함하며, 냉난방 에어컨 관련 제1 주변 기기(200-1)가 '냉기 효과' 및 '바람 효과'에 대한 기능을 제공할 수 있는 것으로 판단할 수 있다.
이후, 전자 장치(100)는 가상 환경 컨텐츠(1210)가 재생되는 동안 사용자가 있는 주변에 차가운 바람이 불도록 제1 주변 기기(200-1)로 냉풍 관련 제어 신호를 전송한다.
이에 따라, 냉난방 에어컨 관련 제1 주변 기기(200-1)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 환경 컨텐츠(1210)가 재생되는 동안 냉풍 바람을 송출한다. 추가로, 제1 주변 기기(200-1)는 제1 주변 기기(200-1)에 설정된 설정 온도를 포함하는 이벤트 정보를 전자 장치(100)로 전송한다.
가상 환경 컨텐츠(1210)를 재생 중인 전자 장치(100)는 제1 주변 기기(200-1)로부터 이벤트 정보가 수신되면, 재생 중인 가상 환경 컨텐츠(1210)를 고려하여 수신된 이벤트 정보에 포함된 설정 온도를 제공할 영상 이미지를 생성하고, 생성된 영상 메시지를 재생 중인 가상 환경 컨텐츠(1210)의 영상 데이터에 합성하여 디스플레이할 수 있다.
도시된 바와 같이, 전자 장치(100)는 사용자가 자동차 경주를 하는 가상 환경을 경험할 수 있는 가상 환경 컨텐츠(1210)를 재생할 수 있다. 이 같은 가상 환경 컨텐츠(1210)를 재생하는 동안 제1 주변 기기(200-1)로부터 설정 온도가 포함 이벤트 정보가 수신되면, 전자 장치(100)는 가상 환경에서 사용자가 운전하는 자동차의 디스플레이 화면상에 설정 온도에 대한 영상 이미지(1211)를 합성하여 재생한다.
이에 따라, 전자 장치(100)를 착용한 사용자는 전자 장치(100)를 통해 자동차 경주를 하는 가상 환경상에서 자신이 운전하는 자동차의 디스플레이 화면을 통해 제1 주변 기기(200-1)에 설정된 설정 온도를 확인할 수 있다.
이하에서는, 본 발명에 따른 전자 장치(100)에서 주변 기기(200)를 이용하여 가상 환경 서비스를 제공하는 방법에 대해서 상세히 설명하도록 한다.
도 13은 본 발명의 일 실시예에 따른 전자 장치에서 주변 기기를 이용하여 가상 환경 서비스를 제공하기 위한 방법의 흐름도이다.
도 13에 도시된 바와 같이, 전자 장치(100)는 사용자 명령에 따라, 가상 환경 컨텐츠를 재생한다(S1310). 이후, 전자 장치(100)는 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 적어도 하나의 주변 기기 중 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)를 판단한다(S1320).
여기서, 가상 효과에 대한 정보는 음성 효과, 바람 효과, 진동 효과, 냉기 효과, 열기 효과 및 냄새 효과 중 적어도 하나를 포함할 수 있다.
판단 결과, 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 존재하면, 전자 장치(100)는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)로 가상 효과에 대응되는 제어 신호를 전송한다(S1330,S1340).
구체적으로, 전자 장치(100)는 기저장된 기능 지원 기기 정보에 기초하여 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 존재하는지 여부를 판단할 수 있다. 여기서, 기능 지원 기기 정보는 가상 효과에 대한 정보 및 가상 효과에 대응되는 기능을 제공할 수 있는 기등록된 주변 기기(200)에 대한 정보가 매핑된 정보가 될 수 있다.
따라서, 전자 장치(100)는 기저장된 기능 지원 기기 정보에 기초하여 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 등록되어 있는지 여부를 판단한다. 판단 결과, 해당 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 등록된 것으로 판단되면, 전자 장치(100)는 등록된 주변 기기(200)로 가상 효과에 대응되는 기능을 수행하기 위한 제어 신호를 전송한다.
한편, 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 정보는 가상 환경 컨텐츠를 구성하는 프레임별로 매핑되어 저장될 수 있다. 이 경우, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠를 재생 시, 재생할 가상 환경 컨텐츠에 대한 프레임별 가상 효과에 대한 정보에 기초하여 프레임별 가상 효과에 대응되는 기능ㅇ르 제공할 수 있는 주변 기기(200)로 제어 신호를 전송할 수 있다.
이에 따라, 주변 기기(200)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 가상 효과에 대응되는 기능 동작을 수행할 수 있다.
한편, 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 미등록되어 있는 것으로 판단되면, 전자 장치(100)는 미등록된 주변 기기(200) 중 가상 효과에 대응되는 기능 제공이 가능한 주변 기기(200)를 검색하여 등록한다(S1350).
한편, 전술한 단계 S1310에서 전자 장치(100)는 가상 환경 컨텐츠에 대한 재생 명령 시, 재생 명령에 대응되는 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 제공을 위한 사용자 UI를 디스플레이할 수 있다. 따라서, 사용자는 화면상에 디스플레이된 사용자 UI를 통해 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스를 제공 받을지 여부를 선택할 수 있다.
따라서, 전자 장치(100)는 가상 효과에 대한 서비스를 제공받기 위한 사용자 명령이 입력되면, 전자 장치(100)는 전술한 일련의 동작을 수행하여 사용자가 요청한 가상 환경 컨텐츠에서 제공 가능한 가상 효과에 대한 서비스를 제공할 수 있다.
또한, 전자 장치(100)는 전술한 단계 S1320에서 가상 효과에 대응되는 기능 제공이 가능한 주변 기기(200)가 등록되어 있는지 여부를 판단하기에 앞서, 전자 장치(100)에서 해당 가상 효과에 대응되는 기능 수행이 가능한지 여부를 판단할 수 있다. 판단 결과, 전자 장치(100)에서 가상 효과에 대응되는 기능 수행이 가능하면, 전자 장치(100)는 가상 효과에 대응되는 기능을 수행할 수 있다.
본 발명의 추가적인 양상에 따라, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠를 재생하고 있는 상태에서, 기등록된 복수의 주변 기기(200) 중 사용자에 의해 설정된 주변 기기(200)로부터 이벤트 정보가 수신되면, 수신된 이벤트 정보를 재생 중인 가상 환경 컨텐츠와 관련된 정보로 변환하여 재생할 수 있다.
이하에서는, 미등록된 주변 기기(200) 중 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 기능 수행이 가능한 주변 기기(200)를 등록하는 방법에 대해서 상세히 설명하도록 한다.
도 14는 본 발명의 일 실시예에 따른 전자 장치에서 미등록된 주변 기기 중 가상 효과에 대한 기능 수행이 가능한 주변 기기를 등록하기 위한 방법이 흐름도이다.
도 14에 도시된 바와 같이, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기(200)가 존재하지 않는 것으로 판단되면, 주변 기기 탐색을 위한 탐색 신호를 전송한다(S1410). 이때, 전자 장치(100)는 주변 기기 탐색을 위한 탐색 신호를 브로드캐스팅 방식으로 전송하는 것이 바람직하다.
이에 따라, 전자 장치(100)와 근거리에 위치하는 적어도 하나의 주변 기기(200)는 전자 장치(100)로부터 탐색 신호가 수신되면, 탐색 신호를 전송한 전자 장치(100)로 응답 신호를 전송한다. 이에 따라, 탐색 신호를 수신한 적어도 하나의 주변 기기(200)로부터 응답 신호가 수신되면, 전자 장치(100)는 수신된 응답 신호에 기초하여 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한 주변 기기(200)를 검출한다(S1420,S1430).
이후, 전자 장치(100)는 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한 주변 기기(200)와 페어링을 수행하여 미등록된 주변 기기(200)를 등록한다(S1440).
이후, 전자 장치(100)는 신규 등록된 주변 기기(200)로 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능에 대한 제어 신호를 전송한다. 따라서, 신규 등록된 주변 기기(200)는 전자 장치(100)로부터 수신된 제어 신호에 기초하여 사용자가 요청한 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 동작을 수행할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 전자 장치 110 : 통신부
120 : 출력부 130 : 제어부
140 : 저장부 141 : 가상 효과 모듈
142 : 기능 지원 기기 모듈 143 : 주변 기기 관리 모듈
150 : 입력부 160 : 촬영부
170 : 감지부

Claims (18)

  1. 전자 장치에 있어서,
    적어도 하나의 주변 기기와 데이터 통신을 수행하는 통신부;
    가상 환경 컨텐츠에 출력하는 출력부; 및
    사용자 명령에 따라 상기 가상 환경 컨텐츠를 재생하도록 상기 출력부를 제어하며, 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 상기 적어도 하나의 주변 기기 중 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단하고,
    상기 판단된 주변 기기에 상기 가상 효과에 대응되는 제어 신호를 전송하도록 상기 통신부를 제어하는 제어부;
    를 포함하는 전자 장치.
  2. 제 1 항에 있어서,
    가상 효과에 대한 정보 및 상기 가상 효과에 대응되는 기능을 제공할 수 있는 기등록된 주변 기기에 대한 정보가 매핑된 기능 지원 기기 정보를 저장하는 저장부;
    를 더 포함하는 것을 특징으로 하는 전자 장치.
  3. 제 2 항에 있어서,
    상기 제어부는,
    상기 저장부에 저장된 기기 관리 정보에 기초하여 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기의 등록 여부를 판단하여,
    상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 등록되어 있으면, 상기 등록된 주변 기기로 상기 가상 효과에 대응되는 제어 신호를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  4. 제 3 항에 있어서,
    상기 제어부는,
    상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 미등록된 것으로 판단되면, 주변 기기 탐색을 위한 탐색 신호를 전송하여 상기 탐색 신호를 수신한 적어도 하나의 주변 기기로부터 응답 신호를 수신하며, 상기 수신된 응답 신호에 기초하여 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기와 페어링을 수행하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  5. 제 2 항에 있어서,
    상기 가상 효과에 대한 정보는,
    상기 가상 환경 컨텐츠를 구성하는 프레임별로 매핑되어 저장되며,
    상기 제어부는,
    상기 가상 환경 컨텐츠를 재생 시, 상기 가상 환경 컨텐츠에 대한 프레임별 가상 효과에 대한 정보에 기초하여 상기 프레임별 가상 효과에 대응되는 기능을 수행할 수 있는 주변 기기로 제어 신호를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  6. 제 1 항에 있어서,
    상기 제어부는,
    상기 가상 환경 컨텐츠에 대한 재생 명령 시, 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 제공을 위한 사용자 UI를 디스플레이하도록 상기 출력부를 제어하는 것을 특징으로 하는 전자 장치.
  7. 제 2 항에 있어서,
    상기 제어부는,
    상기 가상 환경 컨텐츠를 출력하고 있는 상태에서, 상기 기등록된 복수의 주변 기기 중 사용자에 의해 설정된 주변 기기로부터 이벤트 정보가 수신되면, 상기 수신된 이벤트 정보를 상기 가상 환경 컨텐츠와 관련된 정보로 변환하여 출력하도록 상기 출력부를 제어하는 것을 특징으로 하는 전자 장치.
  8. 제 1 항에 있어서,
    상기 제어부는,
    상기 전자 장치에서 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한지 여부에 따라, 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능을 수행할 주변 기기로 제어 신호를 전송하는 것을 특징으로 하는 전자 장치.
  9. 제 1 항에 있어서,
    상기 가상 효과는,
    음성 효과, 바람 효과, 진동 효과, 냉기 효과, 열기 효과 및 냄새 효과 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  10. 전자 장치의 제어 방법에 있어서,
    사용자 명령에 따라, 가상 환경 컨텐츠를 재생하는 단계;
    상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대한 정보에 기초하여 적어도 하나의 주변 기기 중 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기를 판단하는 단계; 및
    상기 가상 환경 컨텐츠 재생 및 상기 판단된 주변 기기에 상기 가상 효과에 대응되는 제어 신호를 전송하는 단계;
    를 포함하는 제어 방법.
  11. 제 10 항에 있어서,
    가상 효과에 대한 정보 및 상기 가상 효과에 대응되는 기능을 제공할 수 있는 기등록된 주변 기기에 대한 정보가 매핑된 기능 지원 기기 정보를 저장하는 단계;
    를 더 포함하는 것을 특징으로 하는 제어 방법.
  12. 제 11 항에 있어서,
    상기 판단하는 단계는,
    상기 저장된 기기 관리 정보에 기초하여 상기 가상 환경 컨텐츠가 제공하는 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기의 등록 여부를 판단하며,
    상기 전송하는 단계는,
    상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 등록되어 있으면, 상기 등록된 주변 기기로 상기 가상 효과에 대응되는 제어 신호를 전송하는 것을 특징으로 하는 제어 방법.
  13. 제 12 항에 있어서,
    미등록된 주변 기기를 등록하는 단계;를 더 포함하며,
    상기 등록하는 단계는,
    상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기가 미등록된 것으로 판단되면, 주변 기기 탐색을 위한 탐색 신호를 전송하는 단계;
    상기 탐색 신호를 수신한 적어도 하나의 주변 기기로부터 응답 신호를 수신하는 단계; 및
    상기 수신된 응답 신호에 기초하여 상기 가상 효과에 대응되는 기능을 제공할 수 있는 주변 기기와 페어링을 수행하는 단계;
    를 포함하는 제어 방법.
  14. 제 11 항에 있어서,
    상기 가상 효과에 대한 정보는,
    상기 가상 환경 컨텐츠를 구성하는 프레임별로 매핑되어 저장되며,
    상기 전송하는 단계는,
    상기 가상 환경 컨텐츠를 재생 시, 상기 가상 환경 컨텐츠에 대한 프레임별 가상 효과에 대한 정보에 기초하여 상기 프레임별 가상 효과에 대응되는 기능을 수행할 수 있는 주변 기기로 제어 신호를 전송하는 것을 특징으로 하는 제어 방법.
  15. 제 10 항에 있어서,
    상기 재생하는 단계는,
    상기 가상 환경 컨텐츠에 대한 재생 명령 시, 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대한 서비스 제공을 위한 사용자 UI를 디스플레이하는 것을 특징으로 하는 제어 방법.
  16. 제 11 항에 있어서,
    상기 재생하는 단계는,
    상기 가상 환경 컨텐츠를 출력하고 있는 상태에서, 상기 기등록된 복수의 주변 기기 중 사용자에 의해 설정된 주변 기기로부터 이벤트 정보가 수신되면, 상기 수신된 이벤트 정보를 상기 가상 환경 컨텐츠와 관련된 정보로 변환하여 재생하는 것을 특징으로 하는 제어 방법.
  17. 제 10 항에 있어서,
    상기 판단하는 단계는,
    상기 전자 장치에서 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능한지 여부를 판단하며,
    상기 전자 장치에서 상기 가상 환경 컨텐츠에서 제공하는 가상 효과에 대응되는 기능 수행이 가능하면, 상기 전자 장치에서 상기 가상 효과에 대응되는 기능을 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는 제어 방법.
  18. 제 10 항에 있어서,
    상기 가상 효과는,
    음성 효과, 바람 효과, 진동 효과, 냉기 효과, 열기 효과 및 냄새 효과 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
KR1020170023362A 2017-02-22 2017-02-22 전자 장치 및 그 제어 방법 KR20180096937A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170023362A KR20180096937A (ko) 2017-02-22 2017-02-22 전자 장치 및 그 제어 방법
PCT/KR2018/002168 WO2018155919A1 (ko) 2017-02-22 2018-02-22 전자 장치 및 그 제어 방법
US16/479,331 US11017486B2 (en) 2017-02-22 2018-02-22 Electronic device and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170023362A KR20180096937A (ko) 2017-02-22 2017-02-22 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20180096937A true KR20180096937A (ko) 2018-08-30

Family

ID=63252769

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170023362A KR20180096937A (ko) 2017-02-22 2017-02-22 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US11017486B2 (ko)
KR (1) KR20180096937A (ko)
WO (1) WO2018155919A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024205628A1 (en) * 2023-03-31 2024-10-03 Intel Corporation Technologies for device management in metaverse interactions

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3745382A1 (en) * 2019-05-27 2020-12-02 Zenuity Ab Method and server for supporting generation of scenarios for testing autonomous driving and/or advanced driver assistance system functionality
US11354852B2 (en) * 2019-10-10 2022-06-07 Disney Enterprises, Inc. Real-time projection in a mixed reality environment

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3978508B2 (ja) * 2004-11-22 2007-09-19 益田 準 体感型仮想現実空間システム
FR2884096B1 (fr) * 2005-03-30 2007-08-17 Frederic Ghibaudo Systeme permettant d'associer des effets sensoriels a la diffusion de programmes audiovisuels
JP4984771B2 (ja) 2006-09-14 2012-07-25 ブラザー工業株式会社 ヘッドマウントディスプレイ
US20090089685A1 (en) 2007-09-28 2009-04-02 Mordecai Nicole Y System and Method of Communicating Between A Virtual World and Real World
KR101671900B1 (ko) * 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US8907981B2 (en) 2009-11-05 2014-12-09 International Business Machines Corporation Method and system for dynamic composing and creating 3D virtual devices
KR101505060B1 (ko) 2010-08-24 2015-03-26 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
KR101251774B1 (ko) 2011-05-17 2013-04-05 목원대학교 산학협력단 거동이 불편한 사용자를 위해 가상 현실과 실세계를 정합하는 정합 시스템 및 정합 방법 그리고 웨어러블 입력장치 및 명령 신호 제공 방법
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9218212B2 (en) * 2011-11-11 2015-12-22 International Business Machines Corporation Pairing physical devices to virtual devices to create an immersive environment
KR102227659B1 (ko) 2014-03-12 2021-03-15 삼성전자주식회사 Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
WO2015163913A1 (en) * 2014-04-25 2015-10-29 Nokia Technologies Oy Interaction between virtual reality entities and real entities
KR101680142B1 (ko) * 2015-04-08 2016-11-29 동명대학교산학협력단 모션라이더 기반의 인터랙티브 제트스키 가상체험 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024205628A1 (en) * 2023-03-31 2024-10-03 Intel Corporation Technologies for device management in metaverse interactions

Also Published As

Publication number Publication date
US11017486B2 (en) 2021-05-25
WO2018155919A1 (ko) 2018-08-30
US20190355073A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
US10880425B2 (en) User terminal device and control method therefor
US11315336B2 (en) Method and device for editing virtual scene, and non-transitory computer-readable storage medium
US10459511B2 (en) Display device and terminal for controlling the same
KR102276847B1 (ko) 가상 오브젝트 제공 방법 및 그 전자 장치
US20220164159A1 (en) Method for playing audio, terminal and computer-readable storage medium
US10015304B2 (en) Electronic apparatus, audio device, and method that is performable by the electronic apparatus to set network of the audio device
WO2019128592A1 (zh) 进行直播的方法和装置
JPWO2018179644A1 (ja) 情報処理装置、情報処理方法及び記録媒体
US11954200B2 (en) Control information processing method and apparatus, electronic device, and storage medium
KR20160025059A (ko) 데이터 처리 방법 및 그 전자 장치
US10397760B2 (en) User terminal device and method for providing web service thereof
US20130281123A1 (en) Information-processing device, method, information-processing system, and computer-readable non-transitory storage medium
US20160127673A1 (en) Display apparatus, controlling method, and display system
KR102452314B1 (ko) 컨텐츠 재생 방법 및 이를 지원하는 전자 장치
US11017486B2 (en) Electronic device and control method therefor
KR20170015785A (ko) 네트워크 장치, 서버 및 그 제어 방법
US20150193911A1 (en) Display control device, display control system, and display control method
CN109618192B (zh) 播放视频的方法、装置、系统和存储介质
KR102501713B1 (ko) 영상 표시 방법 및 그 전자장치
CN110517346B (zh) 虚拟环境界面的展示方法、装置、计算机设备及存储介质
EP3314874B1 (en) System and method for providing a web service
CN110990623B (zh) 音频字幕的显示方法及装置、计算机设备及存储介质
CN113269877A (zh) 获取房间布局平面图的方法和电子设备
CN110134902B (zh) 资料信息生成方法、装置及存储介质
KR102157295B1 (ko) 이미지 처리 방법 및 그 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination