[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102720174B1 - 영상 표시 방법 및 이를 지원하는 전자 장치 - Google Patents

영상 표시 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
KR102720174B1
KR102720174B1 KR1020160097833A KR20160097833A KR102720174B1 KR 102720174 B1 KR102720174 B1 KR 102720174B1 KR 1020160097833 A KR1020160097833 A KR 1020160097833A KR 20160097833 A KR20160097833 A KR 20160097833A KR 102720174 B1 KR102720174 B1 KR 102720174B1
Authority
KR
South Korea
Prior art keywords
image
electronic device
area
mounted electronic
camera module
Prior art date
Application number
KR1020160097833A
Other languages
English (en)
Other versions
KR20180014492A (ko
Inventor
한종현
김보근
안성연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160097833A priority Critical patent/KR102720174B1/ko
Priority to US15/664,441 priority patent/US20180033177A1/en
Priority to CN201710646198.4A priority patent/CN107678535A/zh
Priority to EP17184195.0A priority patent/EP3279771A1/en
Publication of KR20180014492A publication Critical patent/KR20180014492A/ko
Application granted granted Critical
Publication of KR102720174B1 publication Critical patent/KR102720174B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명의 일 실시 예는, 좌안 및 우안 렌즈 영역에 가상현실(Virtual Reality; VR) 영상을 표시하는 디스플레이, 영상을 촬영하는 카메라 모듈 및 상기 카메라 모듈의 촬영 영상을 기반으로 상기 카메라 모듈의 촬영 범위 내에 존재하는 오브젝트(object)를 검출하는 프로세서를 포함하고, 상기 프로세서는 상기 촬영 범위 내에서 상기 카메라 모듈을 기준하여 제1 거리까지의 영역으로 지정된 제1 영역 내에 적어도 하나의 오브젝트가 존재하는 경우, 상기 VR 영상을 상기 촬영 영상으로 전환하거나, 또는 상기 VR 영상을 상기 촬영 영상의 적어도 일부를 포함하는 증강현실(Augmented Reality; AR) 영상으로 전환하도록 설정된 헤드 마운트 전자 장치를 개시한다. 이 외에도 명세서를 통하여 파악되는 다양한 실시 예가 가능하다.

Description

영상 표시 방법 및 이를 지원하는 전자 장치{Method for image display and electronic device supporting the same}
본 문서에서 개시되는 실시 예들은, 헤드 마운트 디스플레이 장치를 기반으로 한 영상 표시 기술과 관련된다.
영상 처리 기술의 비약적 발전에 상응하여, 다양한 형태의 영상 장치가 제안되고 있다. 일례로, 헤드 마운트 디스플레이 장치(Head Mounted Display; HMD)는 신체에 착용되는 웨어러블(wearable) 형태의 영상 표시 장치로, 사용자의 시계 상에 영상을 표시할 수 있다.
상기 HMD 장치는 외부 디지털 장치 또는, 내부 장치로부터 제공되는 영상 신호를 내부 광학 장치를 통하여 대화면, 고배율의 영상으로 표시할 수 있다. 뿐만 아니라, HMD 장치는 입체감 있는 가상현실(Virtual Reality; VR) 영상을 표시할 수 있어, 교육, 군사, 의료 및 산업 등과 같은 다양한 분야에 응용되고 있다.
상기 HMD 장치는 사용자의 안부에 착용되어 운용되므로, 사용자의 시계는 HMD 장치의 내부 영역에 국한될 수 있다. 이 경우, HMD 장치를 통하여 영상을 시청하는 사용자는 주변 환경을 인지할 수 없으며, 인근에 존재하는 오브젝트(예: 동물, 사물, 인체 등)와 충돌이 발생할 수 있다.
본 문서에서는, HMD 장치에 인접하는 오브젝트에 대한 촬영 영상을 기반으로, HMD 장치를 착용한 사용자에게 현실 공간 상의 환경을 인지시킬 수 있는 영상 표시 방법 및 이를 지원하는 전자 장치를 제공한다.
일 실시 예에 따른 전자 장치는, 좌안 및 우안 렌즈 영역에 가상현실(Virtual Reality; VR) 영상을 표시하는 디스플레이, 영상을 촬영하는 카메라 모듈 및 상기 카메라 모듈의 촬영 영상을 기반으로 상기 카메라 모듈의 촬영 범위 내에 존재하는 오브젝트(object)를 검출하는 프로세서를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 촬영 범위 내에서 상기 카메라 모듈을 기준하여 제1 거리까지의 영역으로 지정된 제1 영역 내에 적어도 하나의 오브젝트가 존재하는 경우, 상기 VR 영상을 상기 촬영 영상으로 전환하거나, 또는 상기 VR 영상을 상기 촬영 영상의 적어도 일부를 포함하는 증강현실(Augmented Reality; AR) 영상으로 전환할 수 있다.
다양한 실시 예들에 따르면, 헤드 마운트 디스플레이(Head Mounted Display; HMD) 장치를 통하여 표시되는 화면 상에, HMD 장치와 인접하는 오브젝트의 실제 촬영 영상을 표시함으로써, HMD 장치의 운용 중에도 현실 공간 상의 위험요소를 인지할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 헤드 마운트 디스플레이 장치를 개략적으로 도시한 도면이다.
도 2는 일 실시 예에 따른 헤드 마운트 디스플레이 장치의 구동 일례를 도시한 도면이다.
도 3은 일 실시 예에 따른 헤드 마운트 디스플레이 장치가 구동되는 현실 공간의 일례를 도시한 도면이다.
도 4는 일 실시 예에 따른 전자 장치의 구성을 도시한 도면이다.
도 5a는 제1 영역 내에 오브젝트가 존재하는 제1 실시 예의 형태를 도시한 도면이다.
도 5b는 제1 실시 예에 따른 영상 전환의 일례를 도시한 도면이다.
도 5c는 제1 실시 예에 따른 영상 전환의 다른 일례를 도시한 도면이다.
도 5d는 제1 실시 예에 따른 영상 전환의 또 다른 일례를 도시한 도면이다.
도 6a는 제2 영역 내에 오브젝트가 존재하는 제2 실시 예의 형태를 도시한 도면이다,
도 6b는 제2 실시 예에 따른 영상 전환의 일례를 도시한 도면이다.
도 7a는 카메라 모듈의 촬영 범위 내에 오브젝트가 존재하는 제3 실시 예의 형태를 도시한 도면이다.
도 7b는 제3 실시 예에 따른 영상 전환의 일례를 도시한 도면이다.
도 8은 일 실시 예에 따른 전자 장치의 영상 표시 방법을 도시한 도면이다.
도 9는 다른 실시 예에 따른 전자 장치의 영상 표시 방법을 도시한 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), PDA(personal digital assistant), PMP(portable multimedia player), 또는 스마트 카메라 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치(또는, 헤드 마운트 디스플레이 장치)를 사용하는 사람 또는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
명세서 전반에서 서술되는 전자 장치는 예컨대, 헤드 마운트 디스플레이(Head Mounted Display; HMD) 장치에 장착되어 운용될 수 있으며, 상기 HMD 장치에 착탈 가능하게 구성될 수 있다. 또는, 전자 장치는 상기 HMD 장치를 포함하거나, HMD 장치와 물리적, 기능적으로 일체화되어 운용될 수 있다. 이하에서는, 전자 장치가 HMD 장치에 장착되어 운용되는 실시 예를 일례로 하여 설명한다.
도 1은 일 실시 예에 따른 헤드 마운트 디스플레이 장치를 개략적으로 도시한 도면이다.
도 1을 참조하면, HMD 장치(200)는 메인 프레임(210), 지지부재(220), 전면 프레임(230) 및 착용부재(240)를 포함할 수 있다. 또한, HMD 장치(200)의 일부 구성요소로써 전자 장치(100)가 포함될 수 있다.
메인 프레임(210)은 HMD 장치(200)의 바디(body)를 형성하는 동시에, HMD 장치의 기능 수행과 관련한 구성요소들의 적어도 일부를 내장시킬 수 있다. 메인 프레임(210)은 후술되는 지지부재(220)에 의해 사용자의 안면(예: 안부)에 지지될 수 있으며, 이와 관련하여 경량의 소재(예: 플라스틱)로 구성될 수 있다.
메인 프레임(210)은 위치 조정부재(211) 및 입력부재(213)을 포함할 수 있다. 위치 조정부재(211)는 전면 프레임(230)의 전방 또는 후방 이동을 제어할 수 있다. 예를 들어, 사용자가 위치 조정부재(211)를 조작하면, 전면 프레임(230)의 적어도 일부가 메인 프레임(210)에 내입되거나, 메인프레임(210)의 외부로 돌출될 수 있다. 이에 따라, 전면 프레임(230)에 장착되는 전자 장치(100)는 사용자의 안면에 근접되거나, 안면으로부터 이격될 수 있다. 사용자는 위치 조정부재(211)를 통하여 전자 장치(100)의 위치를 조정함으로써, 본인에게 적합한 시계 환경을 조성할 수 있다. 다양한 실시 예에서, 위치 조정부재(211)는 예컨대, 휠(wheel), 다이얼(dial) 등을 포함할 수 있다.
입력부재(213)는 사용자의 입력에 대응하여 전자 장치(100)의 기능 운용을 제어할 수 있다. 이와 관련하여, 입력부재(213)는 사용자의 시계에 표시되는 화면 상에 그래픽 사용자 인터페이스(Graphic User Interface; GUI)를 표시할 수 있다. 사용자는 입력부재(213)를 조작하여 GUI에 포함된 적어도 하나의 설정 메뉴에 입력 신호를 인가함으로써, 예컨대 전자 장치(100)의 오디오 음량, 영상 재생과 관련한 설정 사항 등을 제어할 수 있다. 다양한 실시 예에서, 입력부재(213)는 터치 패드, 물리적 버튼, 조이스틱, 휠 중 적어도 하나를 포함할 수 있다.
메인 프레임(210)은 전자 장치(100)와 통신하기 위한 커넥터(connector)(미도시)를 더 포함할 수 있다. 상기 커넥터는 HMD 장치(200)와 전기 장치(100) 간의 입출력 인터페이스의 역할을 수행할 수 있다. 예를 들어, 상술된 입력부재(213)에 인가된 입력(또는, GUI에 입력된 신호)은 상기 커넥터를 기반으로 전자 장치(100)에 전달될 수 있다. 다양한 실시 예에서, 상기 커넥터는 예컨대, 전자 장치(100)의 USB 포트에 접속될 수 있는 USB 커넥터를 포함할 수 있다. 또한, 다양한 실시 예에서, 상기 커넥터는 후술되는 체결부재(231)의 일부 영역에 배칠될 수 있다.
지지부재(220)는 메인 프레임(210)을 사용자의 안면(예: 안부)에 지지시킬 수 있다. 상기 지지부재(220)는 메인 프레임(210)의 일측(예: 후면)에 결합되거나 또는, 메인 프레임(210)과 일체형으로 형성될 수 있다. 지지부재(220)는 인체의 안면 굴곡에 대응되는 구조를 포함하며, 이에 따라 사용자의 안면에 밀착되어 접촉될 수 있다. 다양한 실시 예에서, 지지부재(220)의 적어도 일부 영역은 사용자 안면과의 물리적 마찰 또는 충격 등을 저감시키기 위한 쿠션(cushion) 소재를 포함할 수 있다.
전면 프레임(230)은 전자 장치(100)가 장착되기 위한 영역을 제공할 수 있다. 이와 관련하여, 전면 프레임(230)의 형상은 전자 장치(100)의 크기 및 면적에 대응할 수 있다. 또한, 전면 프레임(230)은 전자 장치(100)를 고정시키기 위한 적어도 하나의 체결부재(231)를 포함할 수 있다. 전면 프레임(230)의 적어도 일부 영역으로는 전면 프레임(230)(또는, 메인 프레임(210)) 내부에 배치된 렌즈 조립체(233)의 적어도 일부가 노출될 수 있다. 이에 따라, HMD 장치(200)를 착용한 사용자는 렌즈 조립체(233)를 통하여 전자 장치(100)의 적어도 일부 영역(예: 전면 디스플레이 영역)을 볼 수 있다.
착용부재(240)(예: 밴드)는 HMD 장치(200) 착용 시, 메인 프레임(210)을 사용자의 안면에 고정시킬 수 있다. 착용부재(240)의 일단 및 타단은 고리 구조를 이루며 메인 프레임(210)의 양단에 결합될 수 있다. 착용부재(240)는 예컨대, 탄성 소재를 포함하거나, 길이 조정을 위한 부재(예: 버클, 벨크로, 자석 등)를 포함할 수 있다. 이를 기반으로, 착용부재(240)는 사용자의 두위를 견고하게 감싸며, 메인 프레임(210)의 하중을 지탱하고 위치를 고정시킬 수 있다. 다양한 실시 예에서, 착용부재(240)는 안경 다리(eyeglass temples), 헬멧, 스트랩(straps) 등으로 대체될 수 있다.
전자 장치(100)는 전면 프레임(230)에 장착되어 HMD 장치(200)와 상호작용할 수 있다. 예를 들어, 전자 장치(100)의 디스플레이 영역에 표시되는 영상은 렌즈 조립체(233)를 통하여 HMD 장치(200) 사용자의 시계 상에 표시될 수 있다.
다양한 실시 예에서, HMD 장치(200)는 커버부재(250)를 더 포함할 수 있다. 커버부재(250)는 전자 장치(100)의 이탈 방지를 보조하는 동시에, 외부 충격으로부터 전자 장치(100)를 보호할 수 있다. 전자 장치(100)의 기능 수행(예: 카메라(130) 운용)과 관련하여, 커버부재(250)의 일부 영역(예: 카메라(130) 위치에 대응하는 영역)은 예컨대, 구멍(251)을 포함할 수 있다.
도 2는 일 실시 예에 따른 헤드 마운트 디스플레이 장치의 구동 일례를 도시한 도면이다.
도 1 및 도 2를 참조하면, 전자 장치(100)가 장착된 HMD 장치(200)는 사용자의 시계 상에 화면을 표시할 수 있다. HMD 장치(200)에 장착된 전자 장치(100)는 디스플레이 영역에 영상을 표시하고, 상기 영상은 HMD 장치(200)를 통하여 사용자의 시계 상에 표시된 화면 내에서 재생될 수 있다.
이 동작에서, 전자 장치(100)는 일반 모드(예: 디스플레이 영역에서 하나의 영상이 표시되는 모드) 및 가상현실(Virtual Reality; VR) 모드(예: 디스플레이 영역에서 하나의 영상이 좌안 및 우안 영역에 분리되어 표시되는 모드)를 실행할 수 있다. 전자 장치(100)가 VR 모드를 기반으로 영상을 표시하는 경우, 사용자는 HMD 장치(200)의 렌즈 조립체(233)를 통하여 VR 영상(10)을 시청할 수 있다. 다양한 실시 예에서, VR 모드는 렌즈 조립체(233)에 포함된 렌즈에 의하여 영상이 왜곡되는 현상을 방지하고자, 렌즈의 특성에 따라 평면의 이미지를 역 왜곡할 수 있다.
도 3은 일 실시 예에 따른 헤드 마운트 디스플레이 장치가 구동되는 현실 공간의 일례를 도시한 도면이다.
도 3에 도시된 바와 같이, HMD 장치(200)를 착용한 사용자는 현실 공간 상에서 다양한 오브젝트(예: 동물(1), 사물(2, 3), 인체(미도시) 등)들과 인접할 수 있다. 또는, HMD 장치(200)의 운용(예: VR 영상(10)을 통한 게임 수행)과 관련하여 사용자의 위치가 이동되는 경우, 사용자는 오브젝트들로 접근할 수 있다.
HMD 장치(200)를 착용한 사용자의 시계 상에는 VR 영상(10)만이 표시되므로, 사용자는 인접 또는 접근하는 오브젝트를 인지하지 못하거나, 오브젝트의 정확한 위치를 파악하지 못할 수 있다. 이에 따라, HMD 장치(200)를 착용한 사용자와 현실 공간에 존재하는 오브젝트 간에는 충돌 위험성이 존재할 수 있다. 이러한 충돌은 단순한 물리적 접촉을 넘어서 사용자의 부상 및 오브젝트 파손 등과 같은 사고로 이어질 수 있다.
이와 관련하여, 본 발명에 따른 전자 장치(100)는 HMD 장치(200)(또는, HMD 장치(200)를 착용한 사용자)로부터 지정된 거리 이내에 존재하는 오브젝트를 검출할 수 있다. 오브젝트의 검출에 따라, 전자 장치(100)는 디스플레이 영역에 표시되는 영상을 오브젝트와 관련한 영상으로 전환시킴으로써, HMD 장치(200) 사용자에게 오브젝트에 대한 노티피케이션(notification)을 제공할 수 있다.
도 4는 일 실시 예에 따른 전자 장치의 구성을 도시한 도면이다.
도 4를 참조하면, 전자 장치(100)는 메모리(110), 디스플레이(120), 카메라 모듈(130), 프로세서(140), 입출력 인터페이스(150) 및 통신 인터페이스(160)를 포함할 수 있다. 어떤 실시 예에서, 전자 장치(100)는 상술된 구성요소들 중 적어도 하나를 생략하거나, 다른 구성요소를 추가적으로 구비할 수 있다. 또한 어떤 실시 예에서, 상술된 구성요소들 중 일부는 HMD 장치(200)의 구성요소로써 포함될 수 있고 또는, 상술된 구성요소들을 포함하는 전자 장치(100)가 HMD 장치(200)의 일부 구성요소로써 내장될 수도 있다.
메모리(110)는 휘발성 또는 비휘발성 메모리를 포함할 수 있다. 메모리(110)는 전자 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 다양한 실시 예에서, 메모리(110)는 프로그램(예: 어플리케이션 프로그램)을 포함할 수 있다. 상기 어플리케이션 프로그램은 예컨대, 디스플레이(120)를 통하여 표시될 적어도 하나의 영상 데이터를 포함할 수 있다.
디스플레이(120)는 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 심볼 등)를 표시할 수 있다. 예를 들어, 디스플레이(120)는 상기 어플리케이션 프로그램에 포함된 적어도 하나의 영상 데이터에 대응하는 영상을 표시할 수 있다. 다양한 실시 예에서, 전자 장치(100)가 VR 모드를 채택하는 경우, 디스플레이(120)는 하나의 영상을 사용자의 좌안 및 우안에 대응하여 두 개의 영상으로 분리 표시할 수 있다. 다양한 실시 예에서, 디스플레이(120)는 액정 디스플레이(Liquid Crystal Display; LCD), 발광 다이오드(Light-Emitting Diode; LED) 디스플레이, 유기 발광 다이오드(Organic LED; OLED) 디스플레이, 마이크로 전자기계 시스템(microelectromechanical systems; MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이를 포함할 수 있다.
카메라 모듈(130)은 정지 영상 및 동영상을 촬영할 수 있다. 예를 들어, 전자 장치(100)가 HMD 장치(200)에 장착되면, 카메라 모듈(130)은 적어도 HMD 장치(200)의 전방 영역에 대한 영상을 촬영할 수 있다. 일 실시 예에서, 카메라 모듈(130)은 전자 장치(100)가 HMD 장치(200)에 장착된 이후, HMD 장치(200)의 구동 개시로부터 지정된 시간이 경과하면 활성화될 수 있다. 다양한 실시 예에서, 카메라 모듈(130)은 전자 장치(100)가 HMD 장치(200)에 장착되는 시점부터 활성화될 수도 있다. 또는, 카메라 모듈(130)은 사용자가 HMD 장치(200)를 착용하는 시점부터 활성화될 수도 있다.
다양한 실시 예에서, 카메라 모듈(130)은 예컨대, 적어도 하나의 depth 카메라(예: TOF(Time Of Flight; TOF)방식 또는, 구조광(structure light)방식) 및 색상 카메라(예: RGB 카메라)를 포함할 수 있다. 또한, 카메라 모듈(130)은 기능 수행과 관련하여 적어도 하나의 센서(예: 근접 센서), 광원(예: LED array) 등을 더 포함할 수 있다. 다양한 실시 예에서, 상기 적어도 하나의 센서는 카메라 모듈(130)과는 별도의 모듈로 구성되어, 적어도 HMD 장치(200)의 전방 영역에 대한 센싱을 수행할 수 있다. 예를 들어, 센서(예: 근접 센서) 모듈은 HMD 장치(200)의 전방 영역에 적외선을 발광(또는, 초음파를 발신)하고, 오브젝트로부터 반사되어 돌아오는 적외선을 수광(또는, 초음파를 수신)함으로써, 오브젝트의 센싱을 수행할 수 있다. 이 경우, 카메라 모듈(130)은 센서 모듈에 의하여 적어도 하나의 오브젝트가 센싱되는 시점부터 활성화될 수 있다.
프로세서(140)는 전자 장치(100)의 적어도 하나의 다른 구성요소들의 제어 및 통신에 관한 연산이나 데이터 처리를 수행할 수 있다. 예를 들어, 프로세서(140)는 카메라 모듈(130)로부터 촬영 영상 데이터를 제공받고, 이를 기반으로 카메라 모듈(130)의 촬영 범위 내에 존재하는 오브젝트를 검출할 수 있다.
이 동작에서, 프로세서(140)는 HMD 장치(200)와 관계되는 외부 장치(예: HMD 장치(200)와 페어링(pairing)된 조이스틱 등)를 검출 대상에서 제외할 수 있다. 이와 관련하여, HMD 장치(200)와 외부 장치 간의 페어링 세팅(setting) 시, 전자 장치(100)는 외부 장치에 대한 적어도 일부의 영상 이미지를 메모리(110)에 저장할 수 있다. 일 실시 예에서, 프로세서(140)는 카메라 모듈(130)의 촬영 범위 내에서 검출된 오브젝트들을 메모리(110)에 저장된 영상 이미지와 비교할 수 있다. 비교 결과, 특정 오브젝트가 저장된 영상 이미지와 지정된 수치 이상으로 일치하면, 프로세서(140)는 상기 특정 오브젝트와 전자 장치(100) 및 HMD 장치(200) 간의 상호작용 여부(또는, 상호 지정된 데이터 신호의 송수신 여부)를 판단할 수 있다. 프로세서(140)는 상기 저장된 영상 이미지에 대응되고, 전자 장치(100) 및 HMD 장치(200)와 상호작용하는 오브젝트를 HMD 장치(200)와 페어링된 외부 장치로 식별할 수 있다.
다양한 실시 예에서, 프로세서(140)는 HMD 장치(200)를 착용한 사용자와 관계되는 오브젝트 역시 검출 대상에서 제외할 수 있다. 예를 들어, 프로세서(140)는 HMD 장치(200)를 착용한 사용자로부터 지정된 범위(예: 사용자의 팔 길이를 반경으로 한 범위) 내에 존재하는 오브젝트를 사용자의 인체로 판단하여 검출 대상에서 제외할 수 있다. 또는, 프로세서(140)는 HMD 장치(200)와 페어링된 외부 장치에 물리적으로 접촉한 오브젝트를 상기 외부 장치를 파지한 사용자의 인체로 판단하여 검출 대상에서 제외할 수 있다.
일 실시 예에서, 프로세서(140)는 검출된 적어도 하나의 오브젝트에 대한 수량, 오브젝트들의 크기, 오브젝트들과 HMD 장치(200)(또는, HMD 장치(200)를 착용한 사용자) 간의 거리 및 오브젝트들의 움직임 등을 산출 또는 검출할 수 있다. 프로세서(140)는 산출 또는 검출된 정보를 기반으로, 디스플레이(120)의 구동을 제어할 수 있다.
다양한 실시 예에서, 프로세서(140)는 중앙처리장치(Central Processing Unit; CPU), 어플리케이션 프로세서(Application Processor; AP), 또는 커뮤니케이션 프로세서(Communication Processor; CP) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(140)의 적어도 일부는 하드웨어로써, 메모리(110)를 액세스하고, 메모리(110)에 저장된 명령어들과 관련한 기능을 수행할 수 있다.
입출력 인터페이스(150)는 사용자 또는 다른 외부 기기(예: HMD 장치(200))로부터 입력된 명령 또는 데이터를 전자 장치(100)의 다른 구성요소들에 전달할 수 있는 인터페이스의 역할을 수행할 수 있다. 또한, 입출력 인터페이스(150)는 전자 장치(100)의 다른 구성요소들로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
통신 인터페이스(160)는 전자 장치(100)와 외부 장치(예: HMD 장치(200)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(160)는 무선 통신(예: Wi-Fi(Wireless Fidelity), Bluetooth, NFC(Near Field Communication), MST(magnetic stripe transmission) 등) 또는 유선 통신을 통해서 상기 외부 장치와 통신할 수 있다.
도 5a는 제1 영역 내에 오브젝트가 존재하는 제1 실시 예의 형태를 도시한 도면이고, 도 5b 내지 도 5d는 제1 실시 예에 따른 다양한 영상 전환의 예를 도시한 도면이다.
도 5a를 참조하면, 사용자는 임의의 현실 공간 상에서 전자 장치(100)가 장착된 HMD 장치(200)를 착용할 수 있다. 전자 장치(100)에 탑재된 카메라 모듈(130)은 HMD 장치(200)의 구동 개시로부터 지정된 시간이 경과하면 활성화될 수 있다. 다양한 실시 예에서, 카메라 모듈(130)은 전자 장치(100)가 HMD 장치(200)에 장착되는 시점 또는, 사용자가 HMD 장치(200)를 착용하는 시점부터 활성화될 수도 있다.
카메라 모듈(130)의 활성화 시점에서, HMD 장치(200)는 사용자의 시계 상에 영상(예: VR 영상)을 표시하고 있는 상태이거나, 또는 영상 표시를 준비하고 있는 상태일 수 있다. 이하(도 5a 내지 도 5d, 또는 도 6a 및 도 6b, 또는 도 7a 및 도 7b)에서 설명되는 실시 예들은 HMD 장치(200)가 VR 영상을 표시하고 있는 상태를 예로 하나, HMD 장치(200)가 VR 영상의 표시를 준비하고 있는 상태에서도 동일 또는 유사하게 적용될 수 있다.
활성화된 카메라 모듈(130)은 적어도 HMD 장치(200)의 전방 영역에 대하여 지속적 또는 주기적인 촬영을 수행할 수 있다. 카메라 모듈(130)은 촬영된 영상을 전자 장치(100)의 프로세서(도 4의 140)로 실시간 전달할 수 있다. 프로세서(140)는 상기 촬영 영상을 기반으로 카메라 모듈(130)의 촬영 범위(131) 내에 존재하는 오브젝트를 검출할 수 있다.
일 실시 예에서, 카메라 모듈(130)의 촬영 범위(131) 내에 적어도 하나의 오브젝트(예: 강아지(1))가 존재하는 경우, 프로세서(140)는 HMD 장치(200)로부터 오브젝트(1)까지의 거리를 산출할 수 있다. HMD 장치(200) 및 오브젝트(1) 간의 거리가 지정된 제1 거리(r) 이내로 산출되면, 프로세서(140)는 HMD 장치(200)로부터 제1 거리(r)까지의 영역으로 지정된 제1 영역(132) 내에 오브젝트(1)가 존재하는 것으로 판단할 수 있다.
일 실시 예에서, 제1 영역(132) 내에 존재하는 적어도 하나의 오브젝트(1)와 관련하여, 프로세서(140)는 전자 장치(100)의 디스플레이(120)에 표시되는 영상을 카메라 모듈(130)에 의한 촬영 영상으로 전환할 수 있다. 이에 따라, 도 5b에 도시된 바와 같이, HMD 장치(200)의 화면 상에는 재생되던 VR 영상(10)이 HMD 장치(200)의 전방 영역에 대한 촬영 영상(30)으로 전환될 수 있다. 다양한 실시 예에서, 프로세서(140)는 상기 촬영 영상(30)으로의 전환 동작에서 지정된 알림음 또는, 진동이 출력되도록 전자 장치(100)를 제어할 수 있다. 또한, 다양한 실시 예에서, 전환된 촬영 영상(30) 상에는 예컨대, HMD 장치(200)와 제1 영역에 존재하는 오브젝트(1) 간의 거리에 대한 수치가 표시될 수 있다.
다른 실시 예를 살펴보면, 제1 영역(132) 내에 적어도 하나의 오브젝트(1)가 존재하는 경우, 프로세서(140)는 전자 장치(100)의 디스플레이(120)에 표시되는 영상을 증강현실(Augmented Reality; AR) 영상으로 전환할 수 있다. 상기 AR 영상은 예컨대, HMD 장치(200)의 화면 상에서 표시되던 VR 영상(10)과 카메라 모듈(130)에 의한 촬영 영상(30)이 중첩(예: PIP(Picture In Picture) 방식)된 영상을 포함할 수 있다. 이에 따라, 상기 AR 영상은 VR 영상(10) 및 촬영 영상(30) 중 어느 하나의 영상 상에 다른 하나의 영상이 적어도 일부 포함되는 영상을 포함할 수 있다. 이와 관련하여 도 5c를 참조하면, HMD 장치(200)를 착용한 사용자의 시계 상에 표시되던 VR 영상(10)은, VR 영상(10) 상에 오브젝트(1)에 대한 촬영 영상이 중첩된 AR 영상(40a)으로 전환될 수 있다. 다양한 실시 예에서, 프로세서(140)는 영상 전환과 함께 지정된 알림음 또는, 진동과 같은 이벤트가 출력되도록 전자 장치(100)의 다른 구성요소들을 제어할 수 있다.
도 5d를 통하여 또 다른 실시 예를 살펴보면, 제1 영역(132) 내에 적어도 하나의 오브젝트(1)가 존재하는 경우, 프로세서(140)는 상술된 AR 영상과 다른 형태의 AR 영상을 표시할 수 있다. 예를 들어, 상기 다른 형태의 AR 영상은 디스플레이(120) 상에서 표시되던 VR 영상(10)과 카메라 모듈(130)의 촬영 영상(30)이 동일 프레임에 병행(예: POP(Picture Out Picture) 방식)되어 표시되는 영상을 포함할 수 있다. 이에 따라, HMD 장치(200)의 화면 상에 표시되는 영상은 VR 영상(10)에서 VR 영상(10) 및 촬영 영상(30)이 지정된 크기로 분할 표시된 AR 영상(40b)으로 전환될 수 있다.
도 6a는 제2 영역 내에 오브젝트가 존재하는 제2 실시 예의 형태를 도시한 도면이고, 도 6b는 제2 실시 예에 따른 영상 전환의 일례를 도시한 도면이다.
도 6a에서, 전자 장치(100)의 프로세서(도 4의 140)가 카메라 모듈(130)의 촬영 범위(131) 내에 존재하는 오브젝트를 검출하는 동작 및 이를 위해 수반되는 동작들은 도 5a를 통하여 상술한 바와 동일 또는 대응될 수 있다.
일 실시 예에서, 카메라 모듈(130)의 촬영 범위(131) 내에 적어도 하나의 오브젝트(예: 강아지(1))가 존재하는 경우, 프로세서(140)는 HMD 장치(200)로부터 오브젝트(1)까지의 거리를 산출할 수 있다. HMD 장치(200) 및 오브젝트(1) 간의 거리가 지정된 제1 거리(r)를 초과하고, 제3 거리(예: 제1 거리(r)와 제2 거리(R)의 합산 거리) 미만이면, 프로세서(140)는 오브젝트(1)가 제2 영역(133) 내에 존재하는 것으로 판단할 수 있다. 제2 영역(133)은 예컨대, 상술된 제1 영역(도 5a의 132)의 바운더리(boundary)로부터 지정된 지점(P) 사이의 제2 거리(R) 영역을 포함할 수 있다.
일 실시 예에서, 제2 영역(133) 내에 적어도 하나의 오브젝트(1)가 존재하는 경우, 프로세서(140)는 전자 장치(100)의 디스플레이(도 4의 120)에 표시되는 영상에 적어도 하나의 콘텐츠를 부가할 수 있다. 상기 적어도 하나의 콘텐츠는 예컨대, 제2 영역(133) 내에 존재하는 오브젝트(1)와 관련한 아이콘, 음영 실루엣, 심볼 등과 같은 이미지 및 문자 등의 텍스트를 포함할 수 있다. 다양한 실시 예에서, 프로세서(140)는 상기 콘텐츠의 부가와 동시에 지정된 알림음 또는, 진동 등이 출력되도록 전자 장치(100)를 제어할 수 있다.
디스플레이(120) 상의 영상에 콘텐츠가 부가됨에 따라, 도 6b와 같이, HMD 장치(200)를 착용한 사용자의 시계 상에는 오브젝트(1)와 관련한 콘텐츠(1a)(예: 아이콘)를 포함하는 VR 영상(10)이 표시될 수 있다.
다양한 실시 예에서, 제2 영역(133) 내에 존재하는 오브젝트(1)가 동적 오브젝트인 경우, 프로세서(140)는 디스플레이(120)에 표시되는 영상 상에서 콘텐츠(1a)가 동적 오브젝트의 위치를 트랙킹(tracking)하도록 제어할 수 있다. 예를 들어, 프로세서(140)는 카메라 모듈(130)로부터 실시간으로 전달받는 촬영 영상을 지속적 또는 주기적으로 분석하여, 오브젝트(1)의 방향 변화, 크기 변화 및 HMD 장치(200)와의 거리 변화 등을 검출할 수 있다. 프로세서(140)는 적어도 하나의 변화 값이 검출되면, 오브젝트(1)를 동적 오브젝트로 판단할 수 있다. 프로세서(140)는 촬영 영상을 기반으로 동적 오브젝트의 이동을 추적하고, 동적 오브젝트의 위치 이동에 대응되도록 디스플레이(120)에 표시되는 영상 상에서 콘텐츠(1a)가 부가되는 위치를 제어할 수 있다.
도 7a는 카메라 모듈의 촬영 범위 내에 오브젝트가 존재하는 제3 실시 예의 형태를 도시한 도면이고, 도 7b는 제3 실시 예에 따른 영상 전환의 일례를 도시한 도면이다.
도 7a 및 도 7b를 통하여 설명되는 실시 예는 예컨대, 도 5a 내지 도 5d와 관련한 실시 예 또는, 도 6a 및 도 6b와 관련한 실시 예에 전제되는 동작 및 기능 수행과 관련될 수 있다.
도 7a에서, 카메라 모듈(130)의 활성화와 관계되는 동작들은 도 5a를 통하여 상술한 바와 동일 또는 유사할 수 있다. 활성화된 카메라 모듈(130)은 HMD 장치(200)의 전방 영역에 대한 최초 촬영을 개시하고, 촬영 영상을 프로세서(도 4의 140)로 전달할 수 있다.
프로세서(140)는 카메라 모듈(130)로부터 전달된 최초 촬영 영상을 기반으로, 카메라 모듈(130)의 촬영 범위(131) 내에 존재하는 오브젝트(예: 강아지(1), 테이블(2), 쇼파(3))의 수량을 산출할 수 있다.
일 실시 예에서, 산출된 오브젝트의 수량이 지정된 임계 수량을 초과하면, 프로세서(140)는 디스플레이(도 4의 120)에 표시되는 영상을 적어도 하나의 팝업(pop-up) 창으로 전환시킬 수 있다. 이에 따라, 도 7b에 도시된 바와 같이, HMD 장치(200)를 착용한 사용자의 시계 상에는 표시되던 VR 영상(10)이 적어도 하나의 팝업 창(20)으로 전환될 수 있다. 팝업 창(20)에는 예컨대, HMD 장치(200)의 위치(또는, HMD(200)를 착용한 사용자의 위치) 변경 요청과 관련한 적어도 하나의 텍스트가 포함될 수 있다. 다만, 팝업 창(20)은 도 7b에 도시된 바에 한정되는 것은 아니며, 다양한 형상, 개수, 내용 등을 포함할 수 있다.
다양한 실시 예에서, 프로세서(140)는 최초 촬영 영상을 기반으로, 카메라 모듈(130)의 촬영 범위(131) 내에 존재하는 오브젝트(1, 2, 3)들의 크기를 산출할 수도 있다. 프로세서(140)는 적어도 하나의 오브젝트의 크기가 지정된 임계 크기보다 크면, 표시되던 VR 영상(10)을 팝업 창(20)으로 전환시킬 수 있다. 다양한 실시 예에서, 프로세서(140)는 산출된 오브젝트(1, 2, 3)들의 수량이 임계 수량을 초과하지 않더라도, 적어도 하나의 오브젝트가 임계 크기를 초과하면 VR 영상(10)을 팝업 창(20)으로 전환시킬 수 있다.
상술한 다양한 실시 예에 따른 헤드 마운트 전자 장치는, 좌안 및 우안 렌즈 영역에 가상현실(Virtual Reality; VR) 영상을 표시하는 디스플레이, 영상을 촬영하는 카메라 모듈 및 상기 카메라 모듈의 촬영 영상을 기반으로 상기 카메라 모듈의 촬영 범위 내에 존재하는 오브젝트(object)를 검출하는 프로세서를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 촬영 범위 내에서 상기 카메라 모듈을 기준하여 제1 거리까지의 영역으로 지정된 제1 영역 내에 적어도 하나의 오브젝트가 존재하는 경우, 상기 VR 영상을 상기 촬영 영상으로 전환하거나, 또는 상기 VR 영상을 상기 촬영 영상의 적어도 일부를 포함하는 증강현실(Augmented Reality; AR) 영상으로 전환활 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 촬영 범위 내에서 상기 제1 영역의 바운더리(boundary)로부터 제2 거리까지의 영역으로 지정된 제2 영역 내에 적어도 하나의 오브젝트가 존재하는 경우, 상기 VR 영상에 상기 제2 영역 내에 존재하는 오브젝트와 관련한 적어도 하나의 콘텐츠를 부가할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 제2 영역 내에 존재하는 오브젝트가 동적 오브젝트인 경우, 상기 VR 영상 상에서 상기 적어도 하나의 콘텐츠가 상기 동적 오브젝트의 위치 변화를 트랙킹(tracking)하도록 제어할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 헤드 마운트 전자 장치의 구동 개시 이후 상기 카메라 모듈의 최초 촬영 영상을 기반으로 상기 촬영 범위 내에 존재하는 오브젝트의 수량을 산출하고, 상기 오브젝트의 수량이 지정된 임계 수량을 초과하는 경우, 상기 VR 영상을 적어도 하나의 팝업(pop-up) 창으로 전환할 수 있다.
다양한 실시 예에 따르면, 상기 팝업 창은 상기 헤드 마운트 전자 장치의 위치 변경과 관련한 적어도 하나의 텍스트를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 카메라 모듈은 상기 헤드 마운트 전자 장치의 구동 개시로부터 지정된 시간 경과 후 활성화될 수 있다.
다양한 실시 예에 따르면, 상기 헤드 마운트 전자 장치는 상기 카메라 모듈 및 상기 프로세서 중 적어도 하나를 포함하는 전자 장치가 장착되기 위한 적어도 하나의 체결부재를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 카메라 모듈은 상기 체결부재를 기반으로 상기 헤드 마운트 전자 장치에 상기 전자 장치가 장착되는 시점부터 활성화될 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 VR 영상을 상기 AR 영상으로 전환 시, 상기 VR 영상의 적어도 일부에 상기 제1 영역 내에 존재하는 오브젝트의 적어도 일부에 대한 촬영 영상을 중첩시킬 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는 상기 VR 영상을 상기 AR 영상으로 전환 시, 단일 화면 상에 상기 VR 영상 및 상기 촬영 영상을 각각 지정된 크기로 분할 표시할 수 있다.
도 8은 일 실시 예에 따른 전자 장치의 영상 표시 방법을 도시한 도면이다.
동작 801에서, 전자 장치(100)가 장착된 HMD 장치(200)의 구동이 개시될 수 있다. 다양한 실시 예에서, 전자 장치(100)가 HMD 장치(200)에 장착됨과 동시에, 또는 HMD 장치(200)의 구동 개시로부터 지정된 시간이 경과되는 시점에, 또는 전자 장치(100)가 장착된 HMD 장치(200)를 사용자가 착용하는 시점에 전자 장치(100)의 카메라 모듈(130)이 활성화될 수 있다. 활성화 상태의 카메라 모듈(130)은 적어도 HMD 장치(200)의 전방 영역을 촬영할 수 있다. 카메라 모듈(130)은 촬영 영상을 전자 장치(100)의 프로세서(140)로 실시간 전달할 수 있다.
동작 803에서, 프로세서(140)는 카메라 모듈(130)의 촬영 영상을 기반으로, 카메라 모듈(130)의 촬영 범위 내에 존재하는 오브젝트(예: 동물, 사물, 인체 등)를 검출할 수 있다. 적어도 하나의 오브젝트가 검출되는 경우, 프로세서(140)는 HMD 장치(200)(또는, HMD 장치(200)를 착용한 사용자)로부터 검출된 오브젝트까지의 거리를 산출할 수 있다.
동작 805에서, 프로세서(140)는 HMD 장치(200) 및 오브젝트 간의 거리 수치를 기반으로, 오브젝트가 위치한 영역을 판단할 수 있다. 카메라 모듈(130)의 촬영 범위 내에 존재하는 오브젝트는 제1 영역, 제2 영역 및 제3 영역 중 어느 한 영역에 위치할 수 있다.
상기 제1 영역은, 카메라 모듈(130)의 촬영 범위 내에서 HMD 장치(200)로부터 지정된 제1 거리까지의 영역을 포함할 수 있다. 상기 제2 영역은, 상기 제1 영역의 바운더리(boundary)로부터 지정된 지점 사이의 제2 거리 영역을 포함할 수 있다. 상기 제3 영역은, 카메라 모듈(130)의 촬영 범위 내에서 상기 제1 영역 및 제2 영역을 제외한 영역을 포함할 수 있다.
동작 805에서 오브젝트가 제1 영역에 위치하는 것으로 판단되면, 동작 807에서, 프로세서(140)는 디스플레이(120)에 표시되던 영상을 카메라 모듈(130)에 의한 촬영 영상으로 전환시킬 수 있다. 또는, 프로세서(140)는 디스플레이(120)에 표시되던 영상을 카메라 모듈(130)에 의한 촬영 영상의 적어도 일부를 포함하는 증강현실 영상으로 전환시킬 수 있다. 이 동작에서, 프로세서(140)는 전자 장치(100)의 다른 구성요소들을 제어하여 예컨대, 지정된 알림음이나 또는, 지정된 패턴의 진동을 출력시킬 수 있다.
동작 805에서 오브젝트가 제2 영역에 위치하는 것으로 판단되면, 동작 909에서, 프로세서(140)는 디스플레이(120)에 표시되던 영상 상에 적어도 하나의 콘텐츠를 부가할 수 있다. 상기 콘텐츠는 예컨대, 제2 영역 내에 존재하는 오브젝트와 관련한 아이콘, 음영 실루엣, 심볼 등과 같은 이미지 및 문자 등의 텍스트를 포함할 수 있다. 다양한 실시 예에서, 제2 영역 내에 존재하는 오브젝트가 동적 오브젝트인 경우, 프로세서(140)는 동적 오브젝트의 위치 이동에 대응하여 디스플레이(120)에 표시되는 영상 상에서 콘텐츠의 위치를 제어할 수 있다.
도시되지는 않았으나, 동작 805에서 오브젝트가 제3 영역에 위치하는 것으로 판단되면, 프로세서(140)는 오브젝트가 HMD 장치(200)로부터 비교적 원거리에 위치하는 것으로 판단할 수 있다. 이에 따라, 프로세서(140)는 제3 영역에 위치하는 오브젝트에 대한 별도의 노티피케이션(notification) 동작(예: 상술된 영상 전환 및 콘텐츠 부가 등)을 수행하지 않을 수 있다.
도 9는 다른 실시 예에 따른 전자 장치의 영상 표시 방법을 도시한 도면이다. 이하에서 설명되는 동작들은 예컨대, 도 8을 통하여 상술한 동작들에 전제되는 동작과 관련될 수 있다.
동작 901에서, 전자 장치(100)가 장착된 HMD 장치(200)의 구동 개시 및 전자 장치(100)의 카메라 모듈(130) 활성화가 수행될 수 있다. 활성화된 카메라 모듈(130)의 HMD 장치(200)의 전방 영역에 대한 최초 촬영을 수행하고, 촬영 영상을 전자 장치(100)의 프로세서(140)로 전달할 수 있다.
동작 903에서, 프로세서(140)는 카메라 모듈(130)의 최초 촬영 영상을 기반으로, 카메라 모듈(130)의 촬영 범위 내에 존재하는 오브젝트(예: 동물, 사물, 인체 등)를 검출할 수 있다. 만일, 상기 촬영 범위 내에서 적어도 하나의 오브젝트가 검출되는 경우, 프로세서(140)는 오브젝트의 수량을 산출할 수 있다. 다양한 실시 예에서, 프로세서(140)는 카메라 모듈(130)의 촬영 범위 내에 존재하는 적어도 하나의 오브젝트의 크기를 더 산출할 수 있다.
동작 905에서, 프로세서(140)는 산출된 오브젝트의 수량이 지정된 임계 수량을 초과하는지 여부를 판단할 수 있다. 상기 임계 수량은 예컨대, HMD 장치(200)의 운용 장소 등을 고려하여 사용자가 설정 및 변경할 수 있다. 산출된 오브젝트의 수량이 상기 임계 수량을 초과하는 경우, 동작 907에서, 프로세서(140)는 디스플레이(120)에 표시되던 영상을 적어도 하나의 팝업(pop-up) 창으로 전환시킬 수 있다. 상기 팝업 창에는 HMD 장치(200)의 위치(또는, HMD(200)를 착용한 사용자의 위치) 변경 요청과 관련한 적어도 하나의 텍스트가 포함될 수 있다.
다양한 실시 예에 따르면, 동작 905에서, 프로세서(140)는 산출된 오브젝트의 크기가 지정된 임계 크기를 초과하는지 여부를 더 판단할 수 있다. 산출된 적어도 하나의 오브젝트의 크기가 지정된 임계 크기를 초과하는 경우, 나아가 산출된 오브젝트의 수량이 지정된 임계 수량을 초과하지 않더라도 적어도 하나의 오브젝트의 크기가 임계 크기보다 큰 경우, 동작 907에서, 프로세서(140)는 디스플레이(120)에 표시되던 영상을 팝업 창으로 전환시킬 수 있다.
상술한 다양한 실시 예에 따른 헤드 마운트 전자 장치의 영상 표시 방법은, 좌안 및 우안 렌즈 영역에 가상현실(Virtual Reality; VR) 영상을 표시하는 동작, 상기 헤드 마운트 전자 장치의 전방 영역에 대한 촬영 영상을 생성하는 동작, 상기 촬영 영상을 기반으로 상기 헤드 마운트 전자 장치로부터 제1 거리까지의 영역으로 지정된 제1 영역 내에 존재하는 오브젝트를 검출하는 동작 및 상기 제1 영역 내에 적어도 하나의 오브젝트가 존재하는 경우, 상기 VR 영상을 상기 촬영 영상으로 전환하거나, 또는 상기 VR 영상을 상기 촬영 영상의 적어도 일부를 포함하는 증강현실(Augmented Reality; AR) 영상으로 전환하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 영상 표시 방법은 상기 촬영 영상을 기반으로 상기 제1 영역의 바운더리(boundary)로부터 제2 거리까지의 영역으로 지정된 제2 영역 내에 존재하는 오브젝트를 검출하는 동작 및 상기 제2 영역 내에 적어도 하나의 오브젝트가 존재하는 경우, 상기 VR 영상에 상기 제2 영역 내에 존재하는 오브젝트와 관련한 적어도 하나의 콘텐츠를 부가하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 콘텐츠를 부가하는 동작은 상기 VR 영상 상에서 상기 적어도 하나의 콘텐츠가 상기 제2 영역 내에 존재하는 오브젝트의 위치 변화를 트랙킹(tracking)하도록 제어하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 영상 표시 방법은 상기 헤드 마운트 전자 장치의 구동 개시 이후 최초로 생성되는 촬영 영상을 기반으로 상기 제1 영역 및 상기 제2 영역을 포함하는 제3 영역 내에 존재하는 오브젝트의 수량을 산출하는 동작 및 상기 오브젝트의 수량이 지정된 임계 수량을 초과하는 경우, 상기 VR 영상을 적어도 하나의 팝업(pop-up) 창으로 전환하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 팝업 창은 상기 헤드 마운트 전자 장치의 위치 변경과 관련한 적어도 하나의 텍스트를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 촬영 영상을 생성하는 동작은 상기 헤드 마운트 전자 장치의 구동 개시로부터 지정된 시간 경과 후 촬영이 개시되는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 영상 표시 방법은 상기 헤드 마운트 전자 장치에 상기 촬영 영상을 생성하는 동작, 사익 오브젝트를 검출하는 동작 및 상기 AR 영상으로 전환하는 동작 중 적어도 하나의 동작을 수행하는 전자 장치가 장착되는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 촬영 영상을 생성하는 동작은 상기 헤드 마운트 전자 장치에 상기 전자 장치가 장착되는 시점부터 촬영이 개시되는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 AR 영상으로 전환하는 동작은 상기 VR 영상의 적어도 일부에 상기 제1 영역 내에 존재하는 오브젝트의 적어도 일부에 대한 촬영 영상이 중첩되는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 AR 영상으로 전환하는 동작은 단일 화면 상에 상기 VR 영상 및 상기 촬영 영상이 각각 지정된 크기로 분할 표시되는 동작을 포함할 수 있다.
본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (18)

  1. 좌안 및 우안 렌즈 영역에 가상현실(Virtual Reality; VR) 영상을 표시하는 디스플레이;
    영상을 촬영하는 카메라 모듈; 및
    상기 카메라 모듈의 촬영 영상을 기반으로 상기 카메라 모듈의 촬영 범위 내에 존재하는 오브젝트(object)를 검출하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 촬영 범위 내에서 상기 카메라 모듈을 기준하여 제1 거리까지의 영역으로 지정된 제1 영역 내에 적어도 하나의 오브젝트가 존재하는 경우, 상기 VR 영상을 상기 촬영 영상으로 전환하거나, 또는 상기 VR 영상을 상기 촬영 영상의 적어도 일부를 포함하는 증강현실(Augmented Reality; AR) 영상으로 전환하도록 설정되고,
    상기 프로세서는,
    상기 VR 영상을 상기 AR 영상으로 전환 시, 단일 화면 상에 상기 VR 영상 및 상기 촬영 영상을 각각 지정된 크기로 분할 표시하도록 설정된, 헤드 마운트 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 촬영 범위 내에서 상기 제1 영역의 바운더리(boundary)로부터 제2 거리까지의 영역으로 지정된 제2 영역 내에 적어도 하나의 오브젝트가 존재하는 경우, 상기 VR 영상에 상기 제2 영역 내에 존재하는 오브젝트와 관련한 적어도 하나의 콘텐츠를 부가하도록 설정된, 헤드 마운트 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 제2 영역 내에 존재하는 오브젝트가 동적 오브젝트인 경우, 상기 VR 영상 상에서 상기 적어도 하나의 콘텐츠가 상기 동적 오브젝트의 위치 변화를 트랙킹(tracking)하도록 제어하는, 헤드 마운트 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 헤드 마운트 전자 장치의 구동 개시 이후 상기 카메라 모듈의 최초 촬영 영상을 기반으로 상기 촬영 범위 내에 존재하는 오브젝트의 수량을 산출하고,
    상기 오브젝트의 수량이 지정된 임계 수량을 초과하는 경우, 상기 VR 영상을 적어도 하나의 팝업(pop-up) 창으로 전환하도록 설정된, 헤드 마운트 전자 장치.
  5. 제4항에 있어서,
    상기 팝업 창은,
    상기 헤드 마운트 전자 장치의 위치 변경과 관련한 적어도 하나의 텍스트를 포함하는, 헤드 마운트 전자 장치.
  6. 제1항에 있어서,
    상기 카메라 모듈은,
    상기 헤드 마운트 전자 장치의 구동 개시로부터 지정된 시간 경과 후 활성화되도록 설정된, 헤드 마운트 전자 장치.
  7. 제1항에 있어서,
    상기 헤드 마운트 전자 장치는,
    상기 카메라 모듈 및 상기 프로세서 중 적어도 하나를 포함하는 전자 장치가 장착되기 위한 적어도 하나의 체결부재를 포함하고,
    상기 카메라 모듈은,
    상기 체결부재를 기반으로 상기 헤드 마운트 전자 장치에 상기 전자 장치가 장착되는 시점부터 활성화되도록 설정된, 헤드 마운트 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 VR 영상을 상기 AR 영상으로 전환 시, 상기 VR 영상의 적어도 일부에 상기 제1 영역 내에 존재하는 오브젝트의 적어도 일부에 대한 촬영 영상을 중첩시키도록 설정된, 헤드 마운트 전자 장치.
  9. 삭제
  10. 헤드 마운트 전자 장치의 영상 표시 방법에 있어서,
    좌안 및 우안 렌즈 영역에 가상현실(Virtual Reality; VR) 영상을 표시하는 동작;
    상기 헤드 마운트 전자 장치의 전방 영역에 대한 촬영 영상을 생성하는 동작;
    상기 촬영 영상을 기반으로 상기 헤드 마운트 전자 장치로부터 제1 거리까지의 영역으로 지정된 제1 영역 내에 존재하는 오브젝트를 검출하는 동작;
    상기 제1 영역 내에 적어도 하나의 오브젝트가 존재하는 경우, 상기 VR 영상을 상기 촬영 영상으로 전환하거나, 또는 상기 VR 영상을 상기 촬영 영상의 적어도 일부를 포함하는 증강현실(Augmented Reality; AR) 영상으로 전환하는 동작;을 포함하고,
    상기 AR 영상으로 전환하는 동작은,
    단일 화면 상에 상기 VR 영상 및 상기 촬영 영상이 각각 지정된 크기로 분할 표시되는 동작;을 포함하는, 영상 표시 방법.
  11. 제10항에 있어서,
    상기 촬영 영상을 기반으로 상기 제1 영역의 바운더리(boundary)로부터 제2 거리까지의 영역으로 지정된 제2 영역 내에 존재하는 오브젝트를 검출하는 동작; 및
    상기 제2 영역 내에 적어도 하나의 오브젝트가 존재하는 경우, 상기 VR 영상에 상기 제2 영역 내에 존재하는 오브젝트와 관련한 적어도 하나의 콘텐츠를 부가하는 동작;을 더 포함하는, 영상 표시 방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 콘텐츠를 부가하는 동작은,
    상기 VR 영상 상에서 상기 적어도 하나의 콘텐츠가 상기 제2 영역 내에 존재하는 오브젝트의 위치 변화를 트랙킹(tracking)하도록 제어하는 동작;을 포함하는, 영상 표시 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 헤드 마운트 전자 장치의 구동 개시 이후 최초로 생성되는 촬영 영상을 기반으로 상기 제1 영역 및 상기 제2 영역을 포함하는 제3 영역 내에 존재하는 오브젝트의 수량을 산출하는 동작; 및
    상기 오브젝트의 수량이 지정된 임계 수량을 초과하는 경우, 상기 VR 영상을 적어도 하나의 팝업(pop-up) 창으로 전환하는 동작;을 더 포함하는, 영상 표시 방법.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    제13항에 있어서,
    상기 팝업 창은,
    상기 헤드 마운트 전자 장치의 위치 변경과 관련한 적어도 하나의 텍스트를 포함하는, 영상 표시 방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 촬영 영상을 생성하는 동작은,
    상기 헤드 마운트 전자 장치의 구동 개시로부터 지정된 시간 경과 후 촬영이 개시되는 동작;을 포함하는, 영상 표시 방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 헤드 마운트 전자 장치에 상기 촬영 영상을 생성하는 동작, 상기 오브젝트를 검출하는 동작 및 상기 AR 영상으로 전환하는 동작 중 적어도 하나의 동작을 수행하는 전자 장치가 장착되는 동작;을 더 포함하고,
    상기 촬영 영상을 생성하는 동작은,
    상기 헤드 마운트 전자 장치에 상기 전자 장치가 장착되는 시점부터 촬영이 개시되는 동작;을 포함하는, 영상 표시 방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 AR 영상으로 전환하는 동작은,
    상기 VR 영상의 적어도 일부에 상기 제1 영역 내에 존재하는 오브젝트의 적어도 일부에 대한 촬영 영상이 중첩되는 동작;을 포함하는, 영상 표시 방법.
  18. 삭제
KR1020160097833A 2016-08-01 2016-08-01 영상 표시 방법 및 이를 지원하는 전자 장치 KR102720174B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160097833A KR102720174B1 (ko) 2016-08-01 2016-08-01 영상 표시 방법 및 이를 지원하는 전자 장치
US15/664,441 US20180033177A1 (en) 2016-08-01 2017-07-31 Method for image display and electronic device supporting the same
CN201710646198.4A CN107678535A (zh) 2016-08-01 2017-08-01 用于图像显示的方法和支持该方法的电子设备
EP17184195.0A EP3279771A1 (en) 2016-08-01 2017-08-01 Detection of external objects in front of a virtual reality user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160097833A KR102720174B1 (ko) 2016-08-01 2016-08-01 영상 표시 방법 및 이를 지원하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20180014492A KR20180014492A (ko) 2018-02-09
KR102720174B1 true KR102720174B1 (ko) 2024-10-22

Family

ID=59683375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160097833A KR102720174B1 (ko) 2016-08-01 2016-08-01 영상 표시 방법 및 이를 지원하는 전자 장치

Country Status (4)

Country Link
US (1) US20180033177A1 (ko)
EP (1) EP3279771A1 (ko)
KR (1) KR102720174B1 (ko)
CN (1) CN107678535A (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10642046B2 (en) * 2018-03-28 2020-05-05 Cloud Dx, Inc. Augmented reality systems for time critical biomedical applications
US10300373B2 (en) * 2017-09-08 2019-05-28 Niantic, Inc. Methods and systems for generating detailed datasets of an environment via gameplay
CN109725418B (zh) * 2017-10-30 2020-10-16 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
US11164380B2 (en) 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
CN110225238B (zh) * 2018-03-01 2021-06-01 宏达国际电子股份有限公司 场景重建系统、方法以及非暂态电脑可读取媒介质
CN108415386A (zh) * 2018-03-12 2018-08-17 范业鹏 用于智能车间的增强现实系统及其工作方法
CN110532840B (zh) * 2018-05-25 2022-05-10 深圳市优必选科技有限公司 一种方形物体的形变识别方法、装置及设备
US11527044B2 (en) * 2018-06-27 2022-12-13 Samsung Electronics Co., Ltd. System and method for augmented reality
US10776943B2 (en) * 2018-07-17 2020-09-15 Samsung Electronics Co., Ltd. System and method for 3D association of detected objects
DE102018121901A1 (de) * 2018-09-07 2020-03-12 Bundesdruckerei Gmbh Anordnung und Verfahren zur optischen Erfassung von Objekten und/oder zu überprüfenden Personen
CN109343815A (zh) * 2018-09-18 2019-02-15 上海临奇智能科技有限公司 一种虚拟屏幕装置及虚拟屏幕的实现方法
KR102262521B1 (ko) * 2019-12-10 2021-06-08 한국과학기술연구원 다양한 확장현실 모드의 통합 렌더링 방법 및 그것이 적용된 장치
WO2022124326A1 (ja) * 2020-12-11 2022-06-16 株式会社Ｊｖｃケンウッド ヘッドマウントディスプレイ、及びその調整方法
WO2024128728A1 (ko) * 2022-12-12 2024-06-20 삼성전자주식회사 임계 거리 내에 포함된 시각적 객체들을 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
CN116744195B (zh) * 2023-08-10 2023-10-31 苏州清听声学科技有限公司 一种参量阵扬声器及其指向性偏转方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
JP5580855B2 (ja) * 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
CA2963497A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for incorporating a physical image stream in a head mounted display
JP6079614B2 (ja) * 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
KR20150101612A (ko) * 2014-02-27 2015-09-04 엘지전자 주식회사 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
US20150312773A1 (en) * 2014-04-29 2015-10-29 Dhaval Joshi Systems and methods for providing site acquisition services
US20150317057A1 (en) * 2014-05-02 2015-11-05 Electronics And Telecommunications Research Institute Navigation apparatus for providing social network service (sns) service based on augmented reality, metadata processor, and metadata processing method in augmented reality navigation system
US9767575B2 (en) * 2014-08-22 2017-09-19 Applied Research Associates, Inc. Techniques for accurate pose estimation in outdoor environments
CN104199556B (zh) * 2014-09-22 2018-01-16 联想(北京)有限公司 一种信息处理方法及装置
US20160084661A1 (en) * 2014-09-23 2016-03-24 GM Global Technology Operations LLC Performance driving system and method
US10303435B2 (en) * 2015-01-15 2019-05-28 Seiko Epson Corporation Head-mounted display device, method of controlling head-mounted display device, and computer program
KR102317803B1 (ko) * 2015-01-23 2021-10-27 삼성전자주식회사 복수의 디스플레이를 제어하는 전자 장치 및 제어 방법
KR101703412B1 (ko) 2015-02-10 2017-02-17 주식회사 빅솔론 프린터
US20160321940A1 (en) * 2015-04-29 2016-11-03 Ivan Banga Driver Education and Training System and Method for Training Drivers in Simulated Emergencies
US10717406B2 (en) * 2015-10-26 2020-07-21 Active Knowledge Ltd. Autonomous vehicle having an external shock-absorbing energy dissipation padding
US11099631B2 (en) * 2015-11-13 2021-08-24 Andrew R. Basile, JR. Virtual reality system with posture control
US10238962B2 (en) * 2015-12-27 2019-03-26 Spin Master Ltd. System and method for recharging battery in augmented reality game system

Also Published As

Publication number Publication date
CN107678535A (zh) 2018-02-09
US20180033177A1 (en) 2018-02-01
EP3279771A1 (en) 2018-02-07
KR20180014492A (ko) 2018-02-09

Similar Documents

Publication Publication Date Title
KR102720174B1 (ko) 영상 표시 방법 및 이를 지원하는 전자 장치
KR102411100B1 (ko) 디바이스를 이용한 화면 처리 방법 및 장치
KR102316327B1 (ko) 가상 공간의 캡쳐 방법 및 그 전자장치
CN108475120B (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
US9462633B2 (en) Mobile terminal operation controlled by proximity sensors and heart rate monitor
US10635182B2 (en) Head mounted display device and control method for head mounted display device
US20160378176A1 (en) Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
JP6277673B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR102208195B1 (ko) 머리 착용형 디스플레이 장치에서 디스플레이 화면을 제어하는 방법, 및 머리 착용형 디스플레이 장치
US20140160055A1 (en) Wearable multi-modal input device for augmented reality
US20160196693A1 (en) Display system, control method for display device, and computer program
TWI671552B (zh) 穿戴式眼鏡、顯示影像方法以及非暫時性電腦可讀取儲存媒體
JP6094305B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
EP3220196B1 (en) Wearable device
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20160170482A1 (en) Display apparatus, and control method for display apparatus
JP2016122177A (ja) 表示装置、及び、表示装置の制御方法
US20230359422A1 (en) Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
JP6135162B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP6439448B2 (ja) 表示システム、プログラム、及び、表示装置の制御方法
US20240144533A1 (en) Multi-modal tracking of an input device
JP6451222B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6459516B2 (ja) 表示システム、プログラム、サーバー装置、及び、表示装置の制御方法
WO2017051720A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant