[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20200044102A - 물리적 경계 검출 - Google Patents

물리적 경계 검출 Download PDF

Info

Publication number
KR20200044102A
KR20200044102A KR1020207008974A KR20207008974A KR20200044102A KR 20200044102 A KR20200044102 A KR 20200044102A KR 1020207008974 A KR1020207008974 A KR 1020207008974A KR 20207008974 A KR20207008974 A KR 20207008974A KR 20200044102 A KR20200044102 A KR 20200044102A
Authority
KR
South Korea
Prior art keywords
distance
physical
electronic device
physical object
virtual reality
Prior art date
Application number
KR1020207008974A
Other languages
English (en)
Other versions
KR102552403B1 (ko
Inventor
세예드쿠샤 미르호세이니
아비 바르-지브
던칸 에이.케이. 맥로버츠
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20200044102A publication Critical patent/KR20200044102A/ko
Application granted granted Critical
Publication of KR102552403B1 publication Critical patent/KR102552403B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

가상 현실 환경에 몰두해 있는 사용자에게 물리적 환경에 있는 물리적 장애물들에 대한 경고를 하기 위한 기술들이 개시된다.

Description

물리적 경계 보호
관련 출원에 대한 상호 참조
본 출원은 2018년 2월 15일자로 출원된, 발명의 명칭이 "PHYSICAL BOUNDARY GUARDIAN"인 미국 가특허 출원 제62/631,048호, 및 2017년 9월 29일자로 출원된 발명의 명칭이 "PHYSICAL BOUNDARY GUARDIAN"인 미국 가특허 출원 제62/566,306호에 대한 우선권을 주장한다. 두 출원의 내용은 모든 목적들을 위해 참조 문헌으로서 그 전체가 본 명세서에서 포함된다.
본 개시내용은 일반적으로 컴퓨터 시뮬레이션 현실 인터페이스에 관한 것으로, 더 구체적으로는 가상 현실 환경에서 물리적 장애물들을 나타내는 기술에 관한 것이다.
가상 현실 디바이스는 사용자를 가상 환경에 몰두하게 만든다. 사용자가 가상 환경에 너무 몰두하게 되어, 가상 환경을 돌아다니는 동안, 사용자는 물리적 환경에서 인접한 물리적 객체들과 충돌한다. 예를 들어, 가상 현실 헤드 마운트 디바이스를 착용하는 동안, 사용자는 가상 현실에서 큰(가상) 방을 돌아다닐 수 있지만, 이 과정에서, 사용자가 물리적으로 위치한 물리적 방의 물리적 벽과 충돌할 수 있다.
본 개시내용은 사용자가 가상 현실 환경에 몰두해 있는 동안 사용자의 직면한 물리적 환경에 있는 물리적 장애물들을 나타내기 위한 기술들을 설명한다. 일 예시적인 실시예에서, 가상 현실 환경이 디스플레이된다. 전자 디바이스와 물리적 객체 사이의 거리가 결정된다. 또한, 전자 디바이스와 물리적 객체 사이의 거리가 제1 임계 거리 내에 있는지 결정된다. 거리가 제1 임계 거리 내에 있다는 결정에 따라, 가상 현실 환경 내의 시각 효과가 디스플레이된다. 또한, 전자 디바이스와 물리적 객체 사이의 거리가 제2 임계 거리 내에 있는지 결정된다. 거리가 제2 임계 거리 내에 있다는 결정에 따라, 물리적 환경의 적어도 일부의 시각적 표현이 디스플레이된다. 시각적 표현은 하나 이상의 카메라들에 의해 제공된다.
일 예시적인 실시예에서, 가상 현실 환경이 전자 디바이스의 디스플레이 상에 디스플레이되는 동안, 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리가 결정된다. 또한, 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리가 임계 거리 내에 있는지 결정된다. 가상 현실 환경은 지면을 나타내는 표면을 갖는다. 거리가 임계 거리 내에 있다는 결정에 따라, 가상 현실 환경에서 시각 효과가 디스플레이된다. 시각 효과는 물리적 객체와 연관된 거리에 대응한다. 또한, 시각 효과는 가상 현실 환경의 가상 지면 상에 배치된다.
일 예시적인 실시예에서, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터-판독가능 저장 매체가 제공된다. 하나 이상의 프로그램들은 가상 현실 환경을 디스플레이하고 전자 디바이스와 물리적 객체 사이의 거리를 결정하기 위한 명령어들을 포함한다. 하나 이상의 프로그램들은 전자 디바이스와 물리적 객체 사이의 거리가 제1 임계 거리 내에 있는지 결정하기 위한 추가적인 명령어들을 포함한다. 하나 이상의 프로그램들은 거리가 제1 임계 거리 내에 있다는 결정에 따라 가상 현실 환경에서 시각 효과를 디스플레이하기 위한 추가적인 명령어들을 포함한다. 하나 이상의 프로그램들은 전자 디바이스와 물리적 객체 사이의 거리가 제2 임계 거리 내에 있는지 결정하고; 거리가 제2 임계 거리 내에 있다는 결정에 따라, 물리적 환경의 적어도 일부의 시각적 표현을 디스플레이하기 위한 추가적인 명령어들을 포함한다. 시각적 표현은 하나 이상의 카메라들에 의해 제공된다.
일 예시적인 실시예에서, 전자 디바이스가 제공된다. 전자 디바이스는 하나 이상의 프로세서들 및 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함한다. 하나 이상의 프로그램들은 가상 현실 환경을 디스플레이하고 전자 디바이스와 물리적 객체 사이의 거리를 결정하기 위한 명령어들을 포함한다. 하나 이상의 프로그램들은 전자 디바이스와 물리적 객체 사이의 거리가 제1 임계 거리 내에 있는지 결정하기 위한 추가적인 명령어들을 포함한다. 하나 이상의 프로그램들은 거리가 제1 임계 거리 내에 있다는 결정에 따라 가상 현실 환경에서 시각 효과를 디스플레이하기 위한 추가적인 명령어들을 포함한다. 하나 이상의 프로그램들은 전자 디바이스와 물리적 환경내의 물리적 객체 사이의 거리가 제2 임계 거리 내에 있는지 결정하고; 거리가 제2 임계 거리 내에 있다는 결정에 따라, 물리적 환경의 적어도 일부의 시각적 표현을 디스플레이하기 위한 추가적인 명령어들을 포함한다. 시각적 표현은 하나 이상의 카메라들에 의해 제공된다.
일 예시적인 실시예에서, 전자 디바이스가 제공된다. 전자 디바이스는 가상 현실 환경을 디스플레이하기 위한 수단 및 전자 디바이스와 물리적 객체 사이의 거리를 결정하기 위한 수단을 포함한다. 전자 디바이스는 전자 디바이스와 물리적 객체 사이의 거리가 제1 임계 거리 내에 있는지 결정하기 위한 수단을 추가로 포함한다. 전자 디바이스는, 거리가 제1 임계 거리 내에 있다는 결정에 따라, 가상 현실 환경에서 시각 효과를 디스플레이하기 위한 수단을 추가로 포함한다. 전자 디바이스는 전자 디바이스와 물리적 객체 사이의 거리가 제2 임계 거리 내에 있는지 결정하기 위한 수단; 및 거리가 제2 임계 거리 내에 있다는 결정에 따라, 물리적 환경의 적어도 일부의 시각적 표현을 디스플레이하기위한 수단을 추가로 포함한다. 시각적 표현은 하나 이상의 카메라들에 의해 제공된다.
일 예시적인 실시예에서, 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터-판독가능 저장 매체가 제공된다. 하나 이상의 프로그램들은 전자 디바이스의 디스플레이 상에 가상 현실 환경을 디스플레이하는 동안 - 가상 현실 환경은 지면을 표현하는 표면을 가짐 -, 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리를 결정하기 위한 명령어들을 포함한다. 하나 이상의 프로그램들은 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리가 임계 거리 내에 있는지 결정하기 위한 추가적인 명령어들을 포함한다. 하나 이상의 프로그램들은, 거리가 임계 거리 내에 있다는 결정에 따라, 가상 현실 환경 내의 시각 효과를 디스플레이하기 위한 추가적인 명령어들을 포함한다. 시각 효과는 물리적 객체와 연관된 거리에 대응하고, 시각 효과는 가상 현실 환경의 지면 상에 배치된다.
일 예시적인 실시예에서, 전자 디바이스는 하나 이상의 프로세서들 및 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함한다. 하나 이상의 프로그램들은 전자 디바이스의 디스플레이 상에 가상 현실 환경을 디스플레이하는 동안 - 가상 현실 환경은 지면을 표현하는 표면을 가짐 -, 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리를 결정하기 위한 명령어들을 포함한다. 하나 이상의 프로그램들은 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리가 임계 거리 내에 있는지 결정하기 위한 추가적인 명령어들을 포함한다. 하나 이상의 프로그램들은, 거리가 임계 거리 내에 있다는 결정에 따라, 가상 현실 환경 내의 시각 효과를 디스플레이하기 위한 추가적인 명령어들을 포함한다. 시각 효과는 물리적 객체와 연관된 거리에 대응하고, 시각 효과는 가상 현실 환경의 지면 상에 배치된다.
일 예시적인 실시예에서, 전자 디바이스가 제공된다. 전자 디바이스는, 전자 디바이스의 디스플레이 상에 가상 현실 환경을 디스플레이하는 동안 - 가상 현실 환경은 지면을 표현하는 표면을 가짐 -, 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리를 결정하기 위한 수단을 포함한다. 전자 디바이스는 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리가 임계 거리 내에 있는지 결정하기 위한 수단을 추가로 포함한다. 전자 디바이스는, 거리가 임계 거리 내에 있다는 결정에 따라, 가상 현실 환경에서 시각 효과를 디스플레이하기 위한 수단을 추가로 포함한다. 시각 효과는 물리적 객체와 연관된 거리에 대응하고, 시각 효과는 가상 현실 환경의 지면 상에 배치된다.
도 1a 및 도 1b는 가상 현실 및 혼합 현실을 포함하는, 다양한 컴퓨터 시뮬레이션 현실 기술들에 사용하기 위한 예시적인 시스템들을 도시한다.
도 2는 사용자 디바이스가 배치되어 있는 예시적인 물리적 환경 및 사용자 디바이스에 의해 디스플레이되는 예시적인 가상 현실 환경을 도시한다.
도 3a는 물리적 객체들로부터 제1 임계 거리보다 먼 거리에 위치설정된 사용자 디바이스 및 사용자 디바이스에 의해 디스플레이되는 대응하는 예시적인 가상 현실 환경을 도시한다.
도 3b는 제1 임계 거리 내의 거리에 위치설정된 사용자 디바이스 및 대응하는 가상 현실 환경에 디스플레이되는 예시적인 가상 표시를 도시한다.
도 3c는 제2 임계 거리 내의 거리에 위치설정된 사용자 디바이스 및 사용자 디바이스에 의해 디스플레이되는 물리적 환경의 이미지를 도시한다.
도 3d는 제2 임계 거리 내의 거리에 위치설정되고 물리적 객체를 외면하도록 배향된 사용자 디바이스 및 사용자 디바이스에 의해 디스플레이되는 예시적인 가상 현실 환경을 도시한다.
도 4a 내지 도 4e는 제1 임계 거리 내에 있는 거리에 위치설정된 사용자 디바이스에 대응하는 가상 현실 환경에 디스플레이되는 다양한 예시적인 시각 효과들을 도시한다.
도 5a 내지 도 5c는 제2 임계 거리 내의 다양한 거리들에 위치설정된 사용자 디바이스 및 사용자 디바이스에 의해 디스플레이되는 예시적인 물리적 환경의 적어도 일부의 대응하는 이미지들을 도시한다.
도 6a 및 도 6b는 제2 임계 거리 내에 위치설정되고 물리적 객체를 외면하도록 배향된 사용자 디바이스 및 사용자 디바이스에 의해 디스플레이되는 물리적 환경의 예시적인 가상 현실 환경들 및/또는 이미지들을 도시한다.
도 7a 및 도 7b는 혼합-현실 환경에서 물리적 장애물들을 나타내기 위한 예시적인 기술들의 흐름도를 도시한다.
가상 현실 및 혼합 현실(물리적 설정으로부터의 감각 입력들을 포함함)을 포함하는 다양한 시뮬레이션 현실 기술들에 관련된 시스템들을 이용하기 위한 전자 시스템들 및 기술들의 다양한 실시예들이 기술된다.
물리적 설정은 사람들이 감지할 있고/있거나 사람들이 전자 시스템들의 보조 없이 상호작용할 수 있는 세계를 지칭한다. 물리적 설정(예컨대, 물리적 숲)은 물리적 구성요소들(예컨대, 물리적 나무, 물리적 구조물, 및 물리적 동물)을 포함한다. 사람들은, 예컨대 촉각, 시각, 후각, 청각, 및 미각을 통해, 물리적 설정과 직접 상호작용 및/또는 감지할 수 있다. 물리적 설정은 또한 물리적 환경 또는 실제 환경으로 지칭될 수 있다. 물리적 구성요소는 또한 물리적 객체 또는 물리적 물품으로 지칭될 수 있다.
대조적으로, 시뮬레이션 현실(SR) 설정은 사람들이 감지할 수 있고/있거나 사람들이 전자 시스템을 통해 상호작용할 수 있는 전체적으로 또는 부분적으로 컴퓨터-생성된 설정을 지칭한다. SR에서, 사람의 움직임들의 서브세트가 모니터링되고, 그것에 응답하여, SR 설정에서의 하나 이상의 가상 객체들의 하나 이상의 속성들은 하나 이상의 물리 법칙을 지키는 방식으로 변경된다. 예를 들어, SR 시스템은 사람이 몇 걸음 앞으로 걷는 것을 검출하고, 이에 응답하여, 이러한 풍경과 소리가 물리적 설정에서 변하는 것과 유사한 방식으로 사람에게 나타나는 그래픽 및 오디오를 조정할 수 있다. SR 설정에서의 가상 객체(들)의 속성(들)에 대한 수정은 또한 이동의 표현들(예컨대, 오디오 명령어들)에 응답하여 이루어질 수 있다.
사람은 촉각, 후각, 시각, 미각, 및 청각을 포함하는 자신의 감각들 중 임의의 하나를 이용하여 SR 객체와 상호작용하고/하거나 감지할 수 있다. 예를 들어, 사람은 다차원(예컨대, 3차원) 또는 공간 청각적 설정을 생성, 및/또는 청각적 투명성을 가능하게 하는 청각 객체들과 상호작용하고/하거나 감지할 수 있다. 다차원 또는 공간 청각적 설정들은 사람에게 다차원 공간에서 개별적인 청각적 소스들에 대한 인식을 제공한다. 청각적 투명성은 물리적 설정으로부터의 소리를, 컴퓨터-생성 오디오와 함께 또는 그것 없이 선택적으로 포함한다. 일부 SR 설정들에서, 사람은 오직 청각적 객체들과 상호작용하고/하거나 감지할 수 있다.
SR의 일례는 가상 현실(VR)이다. VR 설정은 감각들 중 적어도 하나에 대한 컴퓨터-생성 감각 입력들만을 포함하도록 설계된 시뮬레이션 설정을 지칭한다. VR 설정은 사람이 상호작용 및/또는 감지할 수 있는 다수의 가상 객체들을 포함한다. 사람은 컴퓨터-생성 설정 내의 사람의 행동들의 서브세트의 시뮬레이션, 및/또는 컴퓨터-생성 설정 내의 사람 또는 그의 존재의 시뮬레이션을 통해 VR 설정 내의 가상 객체들과 상호작용 및/또는 감지할 수 있다.
SR의 다른 예는 혼합 현실(MR)이다. MR 설정은 컴퓨터-생성 감각 입력들(예컨대, 가상 객체들)을 물리적 설정, 또는 그것들의 표현으로부터의 감각 입력들과 통합하도록 설계된 시뮬레이션 설정을 지칭한다.
현실 스펙트럼 상에서, 혼합 현실 설정은 한편으로 VR 설정과 다른 한편으로 전체 물리적 설정 사이에 존재하며, 둘 모두를 포함하지는 않는다.
일부 MR 설정들에서, 컴퓨터-생성 감각 입력들은 물리적 설정으로부터의 감각 입력들의 변화에 적응할 수 있다. 또한, MR 설정들을 나타내기 위한 일부 전자 시스템들은 가상 객체들과 실제 객체들 사이의 상호작용을 인에이블하기 위하여 물리적 설정에 대한 배향 및/또는 위치를 모니터링할 수 있다(이는 물리적 설정 또는 이들의 표현으로부터의 물리적 구성요소들). 예를 들어, 시스템은 이동들을 모니터링하여 가상 식물이 물리적 빌딩에 대해 고정된 것처럼 보이도록 할 수 있다.
혼합 현실의 일례는 증강 현실(AR)이다. AR 설정은 적어도 하나의 가상 객체가 물리적 설정, 또는 그것들의 표현 위에 중첩되는 시뮬레이션 설정을 지칭한다. 예를 들어, 전자 시스템은 불투명 디스플레이, 및 물리적 설정의 표현들인, 물리적 설정의 이미지들 또는 비디오를 캡처하기 위한 적어도 하나의 이미지 센서를 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 조합하고, 불투명 디스플레이 상에 그 조합을 디스플레이한다. 사람은, 시스템을 이용하여, 물리적 설정의 이미지들 또는 비디오를 통해 간접적으로 물리적 설정을 보고, 물리적 설정 위에 중첩된 가상 객체들을 관찰한다. 시스템이 이미지 센서(들)를 이용하여 물리적 설정의 이미지들을 캡처하고, 이러한 이미지들을 이용하여 불투명 디스플레이 상에 AR 설정을 나타낼 때, 디스플레이되는 이미지들은 비디오 패스-스루라고 불린다. 대안적으로, AR 설정을 디스플레이하기 위한 전자 시스템은 사람이 물리적 설정을 직접 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은 가상 객체들을 투명 또는 반투명 디스플레이 상에 디스플레이하여, 사람이, 시스템을 이용하여, 물리적 설정 상에 중첩된 가상 객체들을 관찰하게 할 수 있다. 다른 예에서, 시스템은 가상 객체들을 물리적 설정 안으로 투사하는 투사 시스템을 포함할 수 있다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투사되어, 사람이, 시스템을 이용하여, 물리적 설정 상에 중첩된 가상 객체들을 관찰하도록 할 수 있다.
증강 현실 설정은 또한 물리적 설정의 표현이 컴퓨터-생성 센서 정보에 의해 변경되는 시뮬레이션 설정을 지칭할 수 있다. 예를 들어, 물리적 설정의 표현의 일부분은 그래픽적으로 변경(예컨대, 확대됨)되어, 변경된 부분이 여전히 대표성은 있지만 원래 캡처된 이미지(들)의 충실하게 재현된 버전은 아닐 수 있다. 다른 예를 들어, 비디오 패스-스루를 제공함에 있어서, 시스템은 센서 이미지들 중 적어도 하나를 변경하여 이미지 센서(들)에 의해 캡처된 관점과 상이한 특정 관점을 부과할 수 있다. 추가적인 예로서, 물리적 설정의 표현은 그것의 일부분들을 그래픽적으로 모호하게 하거나 또는 제외함으로써 변경될 수 있다.
혼합 현실의 다른 예는 증강 가상(AV)이다. AV 설정은 컴퓨터-생성 또는 가상 설정이 물리적 설정으로부터의 적어도 하나의 감각 입력을 포함시키는 시뮬레이션 설정을 지칭한다. 물리적 설정으로부터의 감각 입력(들)은 물리적 설정의 적어도 하나의 특성의 표현일 수 있다. 예를 들어, 가상 객체는 이미지 센서(들)에 의해 캡처된 물리적 구성요소의 색상을 취할 수 있다. 다른 예에서, 가상 객체는 이미지, 날씨-관련 센서, 및/또는 온라인 날씨 데이터를 통해 식별되는 바와 같이, 물리적 설정의 실제 날씨 조건들에 일치하는 특성들을 나타낼 수 있다. 또 다른 예에서, 증강 현실 숲은 가상 나무 및 구조물을 가질 수 있지만, 동물은 물리적 동물에 대해 찍은 이미지들로부터 정확하게 재생성된 특징부들을 가질 수 있다.
많은 전자 시스템들은 사람이 다양한 SR 설정들과 상호작용 및/또는 감지하게 한다. 일례는 헤드 마운트 시스템들을 포함한다. 헤드 마운트 시스템은 불투명 디스플레이 및 스피커(들)를 가질 수 있다. 대안적으로, 헤드 마운트 시스템은 외부 디스플레이(예컨대, 스마트폰)를 수용하도록 설계될 수 있다. 헤드 마운트 시스템은 각각 물리적 설정의 이미지들/비디오를 촬영하고/하거나 오디오를 캡처하기 위한 이미지 센서(들) 및/또는 마이크로폰들을 가질 수 있다. 헤드 마운트 시스템은 또한 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 나타내는 광이 사람의 눈으로 인도되게 하는 기판을 포함할 수 있다. 디스플레이는 LED, OLED, 디지털 광 프로젝터, 레이저 스캐닝 광원, 규소 위 액정, 또는 이 기술들의 임의의 조합을 포함할 수 있다. 광이 통과해서 전송될 수 있는 기판은 도광체, 광학 조합기, 광학 반사기, 홀로그래픽 기판, 또는 이 기판들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 불투명 상태와 투명 또는 반투명 상태를 선택적으로 전환할 수 있다. 다른 예에서, 전자 시스템은 투사-기반 시스템일 수 있다. 투사-기반 시스템은 망막 투사를 이용하여 이미지들을 사람의 망막에 투사할 수 있다. 대안적으로, 투사 시스템은 또한 가상 객체들을 물리적 설정 안에(예컨대, 물리적 표면 상에 또는 홀로그래프로서) 투사할 수 있다. SR 시스템들의 다른 예들은 헤드업 디스플레이, 그래픽을 디스플레이할 수 있는 자동차 유리, 그래픽을 디스플레이할 수 있는 창문, 그래픽을 디스플레이할 수 있는 렌즈, 헤드폰 또는 이어폰, 스피커 구성, 입력 메커니즘(예컨대, 햅틱 피드백이 있거나 또는 없는 제어기), 태블릿, 스마트폰, 및 데스크톱 또는 랩톱 컴퓨터를 포함한다.
컴퓨터 시뮬레이션 현실의 한가지 문제는, 헤드-마운트 디바이스에 의해 디스플레이되는 가상 객체들과 상호작용하는 동안, 사용자가 가상 현실 환경에 매우 몰두하여 그 또는 그녀가 물리적 장애물들 및/또는 그것들의 물리적으로 가까운 경계에 대한 인식을 놓치는 것이다. 일부 실시예들에서 헤드-마운트 디바이스는 불투명하여 사용자의 두 눈을 가릴 수 있다. 따라서, 사용자는 사용자의 물리적 환경을 보지 못할 수(예컨대, 직접 보기) 있다. 따라서, 사용자 디바이스가 물리적 장애물들을 피하도록 돕고/돕거나 그것들 주위를 안내하는 표시들을 사용자에게 제공하는 것이 바람직하다. 또한, 사용자 디바이스가 사용자의 가상 현실 경험에 크게 영향을 주지 않는 방식으로 이러한 표시들을 제공하는 것이 바람직하다.
본 명세서에 기술된 일부 실시예들에 따라, 가상 현실 환경이 사용자에게 디스플레이되는 동안, 가상 현실 디바이스는 디바이스와 물리적 환경의 물리적 객체 사이의 거리를 결정한다. 가상 현실 디바이스는 디바이스가 물리적 환경의 물리적 객체에 대한 (제1) 임계 거리 안으로 들어왔는지 추가로 결정한다. 디바이스가 물리적 객체에 너무 가깝다고 결정하는 경우, 디바이스는 가상 현실 환경 내의 시각 효과를 디스플레이하여 사용자에게 가까운 물리적 장애물의 존재에 대하여 경고한다. 시각 효과는 물리적 객체와 연관된 거리에 대응하며, 예를 들어, 하나 이상의 가상 객체들을 포함한다. 일부 예들에서, 시각 효과는 사용자가 계속 전진하면 사용자가 충돌할 수도 있는 가까운 물리적 벽을 나타내기 위하여, 유리창의 외관을 갖는다. 다른 예들이 아래 논의된다. 따라서 가상 현실 디바이스는 사용자에게 가까운 물리적 객체들에 대하여 경고한다. 사용자가 계속해서 물리적 객체를 향해 이동하여, 시각 효과들에도 불구하고 가상 현실 디바이스가 물리적 객체에 더 가까이(제2 임계 거리 안으로) 되는 경우, 디바이스는 물리적 환경의 라이브 이미지 또는 비디오를 디스플레이한다. 이러한 방식으로, 사용자에게 물리적 환경이 보이는 패스-스루를 제공하여 사용자가 헤드-마운트 가상 현실 디바이스를 벗지 않고 정확한 물리적 장애물을 볼 수 있도록 한다.
도 1a 및 도 1b는 가상 현실 및 혼합 현실을 포함하는, 다양한 시뮬레이션 현실 기술들에 사용하기 위한 예시적인 시스템(100)을 도시한다.
일부 실시예들에서, 도 1a에 도시된 바와 같이, 시스템(100)은 디바이스(100a)를 포함한다. 디바이스(100a)는 다양한 컴포넌트들, 예컨대, 프로세서(들)(102), RF 회로부(들)(104), 메모리(들)(106), 이미지 센서(들)(108), 배향 센서(들)(110), 마이크로폰(들)(112), 위치 센서(들)(116), 스피커(들)(118), 디스플레이(들)(120), 및 터치-감응형 표면(들)(122)을 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100a)의 통신 버스(들)(150)를 통해 통신한다.
일부 실시예들에서, 시스템(100)의 구성요소들이 기지국 디바이스(예컨대, 원격 서버, 모바일 디바이스, 또는 랩톱과 같은 컴퓨팅 디바이스)에서 구현되고, 시스템(100)의 기타 구성요소들이 제2 디바이스(예컨대, 헤드-마운트 디바이스)에서 구현된다. 일부 예들에서, 디바이스(100a)는 기지국 디바이스 또는 제2 디바이스에서 구현된다.
도 1b에 도시된 바와 같이, 일부 실시예들에서, 시스템(100)은, 예컨대, 유선 연결 또는 무선 연결을 통해 통신하는 2 개의(또는 그 이상의) 디바이스들을 포함한다. 제1 디바이스(100b)(예컨대, 기지국 디바이스)는 프로세서(들)(102), RF 회로부(들)(104), 및 메모리(들)(106)를 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100b)의 통신 버스(들)(150)를 통해 통신한다. 제2 디바이스(100c)(예컨대, 헤드-마운트 디바이스)는 다양한 컴포넌트들, 예컨대, 프로세서(들)(102), RF 회로부(들)(104), 메모리(들)(106), 이미지 센서(들)(108), 배향 센서(들)(110), 마이크로폰(들)(112), 위치 센서(들)(116), 스피커(들)(118), 디스플레이(들)(120), 및 터치-감응형 표면(들)(122)을 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100c)의 통신 버스(들)(150)를 통해 통신한다.
시스템(100)은 프로세서(들)(102) 및 메모리(들)(106)를 포함한다. 프로세서(들)(102)는 하나 이상의 일반 프로세서들, 하나 이상의 그래픽 프로세서들, 및/또는 하나 이상의 디지털 신호 프로세서들을 포함한다. 일부 실시예들에서, 메모리(들)(106)는 아래에 기재된 기술들을 수행하기 위하여 프로세서(들)(102)에 의해 실행되도록 구성된 컴퓨터-판독가능 명령어들을 저장하는 하나 이상의 비일시적 컴퓨터-판독가능 저장 매체들(예컨대, 플래시 메모리, 랜덤 액세스 메모리)이다.
시스템(100)은 RF 회로부(들)(104)를 포함한다. RF 회로부(들)(104)는 옵션적으로 전자 디바이스들과 통신하기 위한 회로부, 인터넷, 인트라넷과 같은 네트워크들, 및/또는 셀룰러 네트워크들 및 무선 로컬 영역 네트워크들(LAN)과 같은 무선 네트워크를 포함한다. RF 회로부(들)(104)는 옵션적으로 블루투스®와 같은 근거리 통신 및/또는 단거리 통신을 이용하여 통신하기 위한 회로부를 포함한다.
시스템(100)은 디스플레이(들)(120)를 포함한다. 디스플레이(들)(120)는 불투명 디스플레이를 가질 수 있다. 디스플레이(들)(120)는 이미지들을 나타내는 광이 사람의 눈으로 인도되게 하는 기판을 포함할 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 디스플레이(들)(120)는 LED, OLED, 디지털 광 프로젝터, 레이저 스캐닝 광원, 규소 위 액정, 또는 이 기술들의 임의의 조합을 포함할 수 있다. 광이 통과해서 전송될 수 있는 기판은 도광체, 광학 조합기, 광학 반사기, 홀로그래픽 기판, 또는 이 기판들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 불투명 상태와 투명 또는 반투명 상태를 선택적으로 전환할 수 있다. 디스플레이(들)(120)의 다른 예들은 헤드업 디스플레이, 그래픽을 디스플레이할 수 있는 자동차 유리, 그래픽을 디스플레이할 수 있는 창문, 그래픽을 디스플레이할 수 있는 렌즈, 태블릿, 스마트폰, 및 데스크톱 또는 랩톱 컴퓨터를 포함한다. 대안적으로, 시스템(100)은 외부 디스플레이(예컨대, 스마트폰)를 수용하도록 설계될 수 있다. 일부 실시예들에서, 시스템(100)은 망막 투사를 이용하여 이미지들을 사람의 망막 상에 투사하거나 또는 가상 객체들을 물리적 설정 안에(예컨대, 물리적 표면 상에 또는 홀로그래프로서) 투사하는 투사-기반 시스템이다.
일부 실시예들에서, 시스템(100)은 탭 입력 및 스와이프 입력과 같은 사용자 입력들을 수신하기 위한 터치-감응형 표면(들)(122)을 포함한다. 일부 예들에서, 디스플레이(들)(120) 및 터치-감응형 표면(들)(122)은 터치-감응형 디스플레이(들)를 형성한다.
시스템(100)은 이미지 센서(들)(108)를 포함한다. 이미지 센서(들)(108)는 옵션적으로 물리적 설정으로부터의 물리적 구성요소들의 이미지들을 획득하도록 동작가능한 전하 결합 소자(CCD) 센서들, 및/또는 상보성 금속-산화물-반도체(CMOS) 센서들과 같은 하나 이상의 가시광 이미지 센서를 포함한다. 이미지 센서(들)는 또한 옵션적으로 물리적 설정으로부터 적외선 광을 검출하기 위한 수동형 IR 센서 또는 능동형 IR 센서와 같은 하나 이상의 적외선(IR) 센서(들)를 포함한다. 예를 들어, 능동형 IR 센서는 적외선 광을 물리적 설정으로 방출하기 위한 IR 도트 방출기와 같은 IR 방출기를 포함한다. 이미지 센서(들)(108)는 또한 옵션적으로 물리적 설정에서 물리적 구성요소들의 움직임을 캡처하도록 구성된 하나 이상의 이벤트 카메라(들)를 포함한다. 이미지 센서(들)(108)는 또한 옵션적으로 시스템(100)으로부터 물리적 구성요소들의 거리를 검출하도록 구성된 하나 이상의 깊이 센서(들)를 포함한다. 일부 예들에서, 시스템(100)은 CCD 센서, 이벤트 카메라, 및 깊이 센서를 조합하여 사용하여 시스템(100) 주위의 물리적 설정을 검출한다. 일부 예들에서, 이미지 센서(들)(108)는 제1 이미지 센서 및 제2 이미지 센서를 포함한다. 제1 이미지 센서 및 제2 이미지 센서는 옵션적으로 2 개의 별개의 시야로부터 물리적 설정에서의 물리적 구성요소들의 이미지들을 캡처하도록 구성된다. 일부 예들에서, 시스템(100)은 이미지 센서(들)(108)를 사용하여 손 제스처들과 같은 사용자 입력들을 수신한다. 일부 예들에서, 시스템(100)은 이미지 센서(들)(108)를 사용하여 물리적 설정에서의 시스템(100) 및/또는 디스플레이(들)(120)의 위치 및 배향을 검출한다. 예를 들어, 시스템(100)은 이미지 센서(들)(108)를 사용하여 물리적 설정에서의 하나 이상의 고정된 구성요소들에 대한 디스플레이(들)(120)의 위치 및 배향을 추적한다.
일부 실시예들에서, 시스템(100)은 마이크로폰(들)(112)을 포함한다. 시스템(100)은 마이크로폰(들)(112)을 사용하여 사용자 및/또는 사용자의 물리적 설정으로부터의 소리를 검출한다. 일부 예들에서, 마이크로폰(들)(112)은, 예컨대, 주변 소음을 식별하거나 또는 물리적 설정의 공간에서 음원을 위치파악하기 위하여 옵션적으로 나란히 동작하는 마이크로폰들의 어레이(복수의 마이크로폰들을 포함)를 포함한다.
시스템(100)은 시스템(100) 및/또는 디스플레이(들)(120)의 배향 및/또는 이동을 검출하기 위하여 배향 센서(들)(110)를 포함한다. 예를 들어, 시스템(100)은 배향 센서(들)(110)를 사용하여, 예컨대, 물리적 설정에서의 물리적 구성요소들에 대한 시스템(100) 및/또는 디스플레이(들)(120)의 위치 및/또는 배향의 변화를 추적한다. 배향 센서(들)(110)는 옵션적으로 하나 이상의 자이로스코프들 및/또는 하나 이상의 가속도계들을 포함한다.
이제 도 2, 도 3a 내지 도 3d, 도 4a 내지 도 4e, 도 5a 내지 도 5c, 및 도 6a 및 도 6b를 참조하면, 일부 실시예들에 따라 전자 디바이스(예컨대, 100a) 상에 가상 현실 환경을 디스플레이하는 동안 물리적 장애물들을 나타내기 위한 예시적인 전자 디바이스들 및 사용자 인터페이스들이 설명된다. 도면들은 도 7a 및 도 7b에서의 프로세스들을 비롯한, 이하에 기술되는 프로세스들을 설명하는 데 사용된다.
도 2는 사용자 디바이스(206)가 배치되어 있는 예시적인 물리적 환경(200) 및 사용자 디바이스(206)에 의해 디스플레이되는 예시적인 가상 현실 환경(260)을 도시한다. 본 실시예에서, 사용자 디바이스(206)는 핸드-헬드 모바일 디바이스(예컨대, 스마트폰), 또는 독립형 헤드-마운트 디바이스와 같은 독립형 디바이스이다. 다른 실시예들에서, 사용자 디바이스(206)는 기지국 디바이스(예컨대, 기지국 디바이스(100b))와 같은 다른 디바이스에 통신가능하게 결합될 수 있다는 것을 인식해야 한다. 이 실시예들에서, 컴퓨터 시뮬레이션 현실 환경에서 물리적 장애물들을 나타내기 위한 아래 기술된 동작들은 사용자 디바이스(206)와 다른 디바이스 사이에서 임의의 방식으로 분업될 수 있다. 예를 들어, 본 출원에 기술된 임의의 방법 또는 프로세스를 수행하는 전자 디바이스는 사용자 디바이스(206)와 기지국 디바이스(100b)의 조합일 수 있다.
도 2는 사용자 디바이스(206)가 헤드-마운트 디바이스로서 사용되는 실시예를 도시한다. 일부 실시예들에서, 헤드-마운트 디바이스는 불투명하고 사용자(204)의 두 눈을 덮는다. 따라서, 일부 경우들에서, 사용자 디바이스(206)를 착용하는 사용자(204)는 물리적 환경(200)에서 물리적 객체들을 직접 볼 수 없다. 사용자 디바이스(206)는 또한 하나 이상의 카메라들을 이용하여 이미지들 및 비디오들을 획득할 수 있다. 카메라는, 예를 들어, 디지털 이미지들 또는 비디오들을 캡처하는 디지털 카메라(예컨대, 전하-결합 디바이스(charge-coupled device, CCD) 타입 카메라)일 수 있다. 카메라는 동적 비전 센서(dynamic vision sensor, DVS) 카메라와 같은 이벤트 카메라일 수 있다. 일부 실시예들에서, 이벤트 카메라는 각각 픽셀 위치, 사인, 및 정밀한 타이밍을 구비한 비동기화 스파이크들의 스트림을 출력하며, 개별적인 픽셀들이 임계 세기(예컨대, 로그 세기) 변화를 기록할 시기를 나타낸다. 예를 들어, 이벤트 카메라는 물리적 환경의 변화(예컨대, 사람이 방에 들어오는 등과 같은 새로운 물리적 객체)에 의해 트리거될 수 있다.
도 2를 참조하면, 일부 실시예들에서, 물리적 환경(200)은 하나 이상의 물리적 객체들(208A 내지 208E)(집합적으로 물리적 객체들(208))을 포함하는 방과 같은 실내 환경이다. 물리적 환경에서의 물리적 객체는, 예를 들어, 벽, 테이블, 의자, 창문, 사람, 동물, 식물 등을 포함할 수 있다.
일부 실시예들에서, 사용자 디바이스(206)는 물리적 환경(200)에 배치된 물리적 객체들에 대하여 이동될 수 있다. 예를 들어, 사용자(204)가 물리적 객체들(208A, 208E)에 대하여(예컨대, 향하여) 이동함에 따라, 사용자 디바이스(206)도 또한 물리적 객체들(208A, 208E)에 대하여 이동된다. 일부 실시예들에서, 사용자 디바이스(206)는 물리적 환경(200)에서 물리적 객체를 향해 이동하고 있는지 결정하도록 구성될 수 있다. 사용자 디바이스(206)는 사용자 디바이스(206)의 하나 이상의 카메라들 및/또는 심도 센서들을 이용하여 그러한 결정을 내리도록 구성될 수 있다. 예를 들어, 복수의 카메라들(예컨대, 디지털 카메라들, 적외선 카메라들)을 이용하여, 사용자 디바이스(206)는 사용자 디바이스(206)와 물리적 환경(200) 내의 물리적 객체들 중 하나 이상 사이의 거리를 결정할 수 있다. 일례로서, 사용자 디바이스(206)의 둘 이상의 카메라들에 의해 캡처된 3D 인식의 차이에 기초하여 거리가 결정된다. 다른 예를 들어, 심도 센서(예컨대, 3D 전파 시간(time-of-flight) 센서)가 물리적 환경(200) 내의 물리적 객체들의 각각과 사용자 디바이스(206) 사이의 거리를 추정하는 데 사용된다. 심도 센서는, 예를 들어, LiDAR 센서일 수 있다.
도 2를 참조하면, 사용자 디바이스(206)는 예시적인 가상 현실 환경(260)(예컨대, 해변을 나타내는 가상 실외 환경)을 디스플레이한다. 일부 실시예들에서, 사용자 디바이스(206)에 의해 디스플레이되는 가상 현실 환경(260)은 물리적 환경(200) 내의 사용자 디바이스(206)의 이동에 응답하여 달라질 수 있다. 예를 들어, 가상 현실 환경(260) 내의 객체들(예컨대, 가상 해변 의자(262A) 및 가상 해변 우산(262B))은 사용자(204)가 사용자 디바이스(206)와 함께 앞으로 또는 뒤로 이동함에 따라 사용자(204)에게 더 가까이/더 멀리 보일 수 있다. 다른 예를 들어, 사용자(204)가 그의 또는 그녀의 머리를 사용자 디바이스(206)와 함께 좌우로 움직임에 따라, 가상 현실 환경(260)에서 디스플레이되는 이미지들/비디오들 내의 객체들은 사용자(204)의 시점에 대하여 자신들의 위치/각도를 변경할 수 있다.
도 3a를 참조하면, 동작 동안, 사용자 디바이스(206)는 사용자 디바이스(206)와 물리적 환경(200) 내의 하나 이상의 특정 물리적 객체들 사이의 거리들의 변동을 모니터링하고, 그것이 하나 이상의 물리적 객체들에 대하여 이동하고 있는지 결정한다. 예를 들어, 도 3a를 참조하면, 물리적 객체(208A)(예컨대, 컴퓨터 책상)와 사용자 디바이스(206) 사이의 거리가 감소하거나, 변함 없거나, 또는 증가한다고 결정되는 경우, 사용자 디바이스(206)는 그것이 각각 물리적 객체(208A)를 향해 이동하거나, 이동하지 않거나(정지), 또는 물리적 객체(208A)로부터 멀리 이동하고 있다고 결정하도록 구성된다.
일부 실시예들에서, 사용자 디바이스(206)가 물리적 객체(208A)를 향해 이동하는 것으로 결정되는경우, 사용자 디바이스(206)는 사용자 디바이스(206)와 물리적 객체(208A) 사이의 거리(304A)가 제1 임계 거리(306) 이하인지 결정하도록 추가로 구성될 수 있다. 사용자 디바이스(206)가 이동하지 않거나 또는 물리적 객체(208A)로부터 멀리 이동하는 것이라고 결정되는 경우, 사용자 디바이스(206)는 계속해서 사용자 디바이스(206)의 이동을 모니터링한다. 예를 들어, 사용자(204)는 물리적 객체(208A) 앞에 앉거나 또는 서 있을 수 있고, 이에 응답하여, 사용자 디바이스(206)는 움직이지 않는다고 결정할 수 있다. 따라서, 사용자 디바이스(206)와 물리적 객체(208A) 사이의 거리가 제1 임계 거리(306) 미만이고 그럼으로써 제1 임계 거리 내에 있을 수 있는 동안, 물리적 객체(208A)에 대응하는 시각 효과들을 사용자(204)에게 제공할 즉각적인 필요는 없는데, 그 이유는 사용자(204)는 물리적 객체(208A)를 인식할 필요가 없을 수 있기 때문이다(예컨대, 사용자(204)와 물리적 객체(208A)의 충돌의 위험이 없음). 이러한 상황 하에서, 사용자 디바이스(206)는 가상 현실 환경(260)을 사용자(204)에게 계속해서 디스플레이하면서 계속해서 이동을 모니터링한다.
위에 기재된 바와 같이, 사용자 디바이스(206)는, 예를 들어, 심도 센서 또는 복수의 카메라들 중 적어도 하나를 이용하여 사용자 디바이스(206)와 물리적 환경(200) 내의 물리적 객체들(예컨대, 도 2에 도시된 객체들(208A 내지 208E))의 각각 사이의 거리를 결정하도록 구성될 수 있다. 따라서, 사용자 디바이스(206)는 사용자 디바이스(206)와 물리적 객체(208A) 사이의 거리(304A)를 결정하고, 결정된 거리(304A)를 제1 임계 거리(306)와 비교할 수 있다. 제1 임계 거리(306)는 하나 이상의 물리적 객체들(예컨대, 객체들(208A, 208E))에 대응하는 하나 이상의 시각 효과들이 가상 환경(260)에서 사용자(204)에게 디스플레이되어 사용자(204)가 물리적 객체에 대해 알 수 있게 하는 거리를 나타낸다. 제1 임계 거리(306)는, 예를 들어, 3 내지 5 피트로 구성될 수 있다.
도 3a를 참조하면, 사용자 디바이스(206)는 사용자 디바이스(206)와 물리적 객체(208A) 사이의 거리(304A)가 제1 임계 거리(306) 이하인지 결정할 수 있다. 도 3a에 도시된 바와 같이, 일부 실시예들에서, 사용자 디바이스(206)는 거리(304)가 제1 임계 거리(306)보다 크다고 결정하며, 이는 사용자 디바이스(206)는 아직 물리적 객체(208A)로부터 멀리 떨어져 있기 때문에 사용자(204)가 물리적 객체(208A)에 대해 알 필요가 없음을 나타낸다. 이와 같이, 사용자 디바이스(206)는 물리적 객체(208A)의 어떠한 시각 효과 또는 이미지/비디오도 디스플레이하지 않고 계속해서 가상 현실 환경(260)을 디스플레이한다.
도 3b는 제1 임계 거리(306) 내의 거리(304B)에 위치설정된 사용자 디바이스(206) 및 대응하는 가상 현실 환경(260)에서 디스플레이되는 예시적인 가상 표시(324)를 도시한다. 도 3b를 참조하면, 사용자(204)가 물리적 객체(208A)에 더 가까이 걸어감에 따라 사용자 디바이스(206)는 연속적으로 물리적 객체(208A)를 향해 이동될 수 있다. 사용자 디바이스(206)는 사용자 디바이스(206)와 물리적 환경(200)의 물리적 객체(208A) 사이의 거리(304B)가 제1 임계 거리(306) 이하인지 결정한다. 그렇다면, 사용자 디바이스(206)는 거리(304B)가 제1 임계 거리 내에 있다고 결정한다. 도 3a는 시각 효과가 디스플레이되어 사용자로 하여금 물리적 객체들에 대해 알게 해야 하는지 결정하기 위한 제1 임계치 조건으로서 제1 임계 거리(306)를 사용하는 실시예를 도시하지만, 제1 임계치 조건은 하나 이상의 다른 조건들, 예컨대 사용자 디바이스(206)의 각도, 사용자 디바이스(206)의 이동 방향, 물리적 객체(208A)의 유형 등을 포함할 수 있음이 이해된다.
일부 실시예들에서, 사용자 디바이스(206)는 거리(304B)가 제2 임계 거리(406)보다 큰지 추가로 결정한다. 그렇다면, 사용자 디바이스(206)는 거리(304B)가 제2 임계 거리(406) 내에 있지 않다고 결정한다. 도 3b를 참조하면, 일부 실시예들에서, 거리(304B)가 제1 임계 거리(306) 이하이고, 제2 임계 거리(406)보다 크다는 결정에 따라, 사용자 디바이스(206)는 가상 현실 환경(260)에서 시각 효과를 디스플레이하도록 구성된다. 일부 실시예들에서, 시각 효과는, 예를 들어, 물리적 객체(208A)가 사용자 디바이스(206)로부터 제1 임계 거리(306)(예컨대, 3 피트) 내에 위치하지만, 아직 제2 임계 거리(406)(예컨대, 1 피트) 밖에 위치하고 있음을 나타낸다.
일부 실시예들에서, 시각 효과는 하나 이상의 가상 객체들을 포함한다. 시각 효과는 또한 물리적 환경의 하나 이상의 객체들을 나타내는 객체들(예컨대, 물리적 객체의 이미지)을 포함할 수 있음이 이해될 것이다. 일부 예들에서, 시각 효과를 제공하기 위한 하나 이상의 가상 객체들은 디스플레이되고 있는 가상 현실 환경 내의 기존 가상 객체들에 대응할 수 있다. 도 3b에 도시된 바와 같이, 예를 들어, 사용자 디바이스(206)는 현재 가상 현실 환경(260)을 디스플레이하고 있다. 물리적 환경(200) 내의 물리적 객체(208A)에 대응하는 시각 효과를 제공하기 위하여, 사용자 디바이스(206)는 가상 유리 벽(324)을 디스플레이하도록 구성될 수 있고, 이를 통해 가상 해변 의자(262A) 및 가상 해변 우산(262B)이 보일 수 있다. 일부 예들에서, 가상 유리 벽(324)은 물리적 환경(200) 내의 물리적 객체(208A)에 대응하고 시각 효과(예컨대, 반투명)를 사용자(204)에게 제공하여 사용자(204)가 사용자의 이동의 경로에 배치된 물리적 객체(208A)를 인식하도록 할 수 있다.
일부 실시예들에서, (가상) 창 유리의 위치는 물리적 환경(200)과 연관된 제2 임계 거리(406)에 대응한다. 물리적 환경(200)에서, 제2 임계 거리(406)는 사용자 디바이스(206)가 물리적 객체(예컨대, 물리적 객체(208A, 208E), 의자, 테이블, 벽)에 매우 가까움을 나타내는 거리일 수 있다. 사용자 디바이스(206)가 제2 임계 거리(406) 내에 있는 경우, 사용자 디바이스(206)에 의해 디스플레이되는 시각 효과는 사용자(204)가 물리적 환경을 인식하게 하는 데 충분하지 않을 수 있다. 따라서, 일부 실시예들에서, 사용자 디바이스(206)는 물리적 환경의 적어도 일부의 이미지를 디스플레이한다. 제2 임계 거리(406)는, 예를 들어, 가상 객체(예컨대, 가상 해변 의자(262A), 가상 해변 우산(262B), 가상 벽, 가상 그림 등)와 가상 유리 벽(324) 사이의 거리로서 가상 현실 환경(260)에서 표현될 수 있다. 아래 더 상세하게 기재되는 바와 같이, 사용자 디바이스(206)가 제2 임계 거리(406) 이하의 거리에 위치설정되는 경우, 사용자 디바이스(206)는 물리적 환경(200)의 적어도 일부의 시각적 표현(예컨대, 이미지/비디오)을 디스플레이한다. 이에 대응하여, 가상 현실 환경(260)에서, 사용자 디바이스(206)는 효과(예컨대, 가상 유리 벽(324)이 깨지거나 또는 부서짐)를 생성하고, 물리적 환경(200)의 적어도 일부의 시각적 표현을 디스플레이할 수 있다. 일부 실시예들에서, 사용자 디바이스(206)는 사용자 디바이스(206)와 물리적 객체 사이의 거리가 달라짐에 따라 가상 유리 벽(324)과 연관된 상이한 패턴들 및/또는 불투명도를 디스플레이하도록 구성될 수 있다. 예를 들어, 사용자 디바이스(206)가 물리적 환경(200) 내의 물리적 객체(208A)에 더 가까이 이동함에 따라 가상 유리 벽(324)은 점점 덜 투명해질 수 있다.
일부 실시예들에서, 가상 해변 의자(262A) 및 가상 해변 우산(262B)은 디스플레이되고 있는 가상 현실 환경(260) 내의 기존 가상 객체들이다. 가상 유리 벽(324)은 사용자 디바이스(206)에 의한 새로 생성된 가상 객체이고, 사용자 디바이스(206)가 제1 임계 거리(306) 내의 거리에 위치설정된다는 결정에 따라 가상 현실 환경(260)에 추가된다. 따라서, 가상 유리 벽(324)은 가상 현실 환경(260) 내에 이미 존재하는 어떠한 가상 객체들에도 대응하지 않을 수 있다. 일부 실시예들에서, 가상 유리 벽(324)을 사용함으로써 사용자로 하여금 가상 유리 벽(324)을 통해 기존 가상 객체들을 보게 하고, 그럼으로써 새로운 가상 객체를 가상 현실 환경(260)에 추가하는 영향을 감소시킨다. 가상 현실 환경 내의 시각 효과로서 새로운 가상 객체들을 추가하는 영향을 감소시키는 것은 사용자 경험을 향상시킨다. 도 3b는 가상 표시를 제공하기 위하여 가상 유리 벽(324)과 같은 가상 객체를 도시하지만, 임의의 가상 객체들(예컨대, 가상 현실 환경 내의 기존 가상 객체들 또는 새로운 가상 객체들)을 사용해서 시각 효과를 제공하여 사용자가 사용자 디바이스(206)로부터 임계 거리 미만의 물리적 객체(들)를 인식하게 할 수 있음이 이해된다. 도 4a 내지 도 4e는 시각 효과들로서 사용되는 가상 객체들의 더 많은 예들을 제공하며, 이는 아래 더 상세하게 논의되는 바와 같다.
도 3c는 제2 임계 거리(406) 내의 거리(304C)에 위치설정된 사용자 디바이스(206) 및 사용자 디바이스(206)에 의해 디스플레이되는 물리적 환경(200)의 이미지(430)를 도시한다. 도 3c를 참조하면, 사용자 디바이스(206)는 사용자 디바이스(206)와 물리적 환경(200) 내의 물리적 객체(208A) 사이의 거리(304C)가 제2 임계 거리(406) 내에 있는지 결정하도록 구성될 수 있다. 일부 실시예들에서, 거리(304C)가 제1 임계 거리(306) 내에 있다고 결정한 후에, 사용자 디바이스(206)는 사용자 디바이스(206)가 물리적 객체(208A)를 향해 계속해서 이동하는지(예컨대, 사용자(204)가 사용자 디바이스(206)와 함께 물리적 객체(208A)를 향해 계속해서 걸어감) 추가적으로 결정하도록 구성된다. 사용자 디바이스(206)는 그것이 연속적으로 물리적 객체(208A)를 향해 이동되고 있다고 결정하는 경우, 사용자 디바이스(206)는 거리(304C)가 제2 임계 거리(406) 내에 있는지 결정하도록 추가로 구성될 수 있다. 사용자 디바이스(206)가 이동하지 않거나 또는 물리적 객체(208A)로부터 멀리 이동하고 있다고 사용자 디바이스(206)가 결정하는 경우, 사용자 디바이스(206)는 그것의 이동을 계속해서 모니터링하며, 이는 위에서 설명된 바와 같다. 예를 들어, 시각 효과(예컨대, 가상 유리 벽)를 본 후에, 사용자는 그 또는 그녀가 물리적 객체에 접근하고 있음을 인식하고, 사용자는 앉거나 또는 물리적 객체(208A) 앞에 서도록 이동을 멈출 수 있다. 결과적으로, 사용자 디바이스(206)는 사용자 디바이스(206)가 이동하지 않는다고 결정한다. 따라서, 사용자 디바이스(206)가 사용자(204)에게 물리적 객체(208A)에 대한 추가 경고를 제공할 즉각적인 필요는 없으며, 따라서 사용자 디바이스(206)는 그것의 이동을 계속해서 모니터링한다.
도 3c를 참조하면, 제2 임계 거리(406)는, 예를 들어, 물리적 환경(200) 내의 물리적 객체(208A)와 사용자 디바이스(206) 사이의 거리일 수 있다. 위에 기재된 바와 같이, 사용자 디바이스(206)는 심도 센서 또는 복수의 카메라들 중 적어도 하나를 이용하여 사용자 디바이스(206)와 물리적 환경(200) 내의 물리적 객체들의 각각 사이의 거리를 결정한다. 따라서, 사용자 디바이스(206)는 사용자 디바이스(206)와 물리적 객체(208A) 사이의 거리(304C)를 결정하고 결정된 거리(304C)를 제2 임계 거리(406)와 비교할 수 있다. 제2 임계 거리(406)는 사용자 디바이스(206)가 시각 효과들(예컨대, 가상 객체들을 이용함)이 사용자(204)로 하여금 사용자(204)의 경로에 배치된 물리적 객체(들)를 인식하게 하는 데 (예컨대, 시간 상) 충분하지 않을 수 있는 거리에 있음을 나타낸다. 대신, 사용자 디바이스(206)는 사용자(204)에게 물리적 환경의 시각적 표현을 제공할 수 있다. 예를 들어, 물리적 환경(200) 내의 하나 이상의 물리적 객체들(208)(예컨대, 객체들(208A, 208E))의 시각적 표현(예컨대, 디스플레이된 이미지 또는 비디오)은 사용자(204)에게 디스플레이되어 사용자(204)가 사용자(204)의 경로에 있는 물리적 객체들(208)을 추가로 인식하도록 할 수 있다.
일부 실시예들에서, 제1 및 제2 임계 거리들은 사용자 디바이스(206) 및/또는 물리적 객체들(208)과 같은 물리적 객체들의 하나 이상의 속성들에 기초한다. 예를 들어, 사용자 디바이스(206)는 사용자 이동 속도를 결정할 수 있고; 제1 및 제2 임계 거리들은 결정된 속도에 기초하여 동적으로 및/또는 적응적으로 구성될 수 있다. 따라서, 사용자(204)가 달리고 있고 사용자 디바이스(206)가 사용자 이동 속도가 한계를 초과한다고 결정하는 경우, 사용자 디바이스(206)는 사용자 이동 속도를 고려하여 제1 및 제2 임계 거리를 증가하도록 구성될 수 있다. 임계 거리를 증가시키는 것은 시각 효과들(예컨대, 가상 객체들) 또는 물리적 환경의 시각적 표현(예컨대, 이미지)을 디스플레이하기에 충분한 시간을 제공하여 사용자(204)가 물리적 객체들(208)과의 충돌을 피할 수 있도록 할 수 있다. 다른 실시예로서, 사용자 디바이스(206)는 물리적 객체의 유형을 결정할 수 있고, 제1 및 제2 임계 거리들은 물리적 객체의 유형에 기초하여 동적으로 및/또는 적응적으로 구성될 수 있다. 예를 들어, 사용자 디바이스(206)는 소정 유형들의 물리적 객체들(예컨대, 벽난로, 스토브, 수영장)의 경우에 다른 유형들의 물리적 객체들(예컨대, 테이블, 의자, 소파)보다 더 먼 거리에서 시각 효과들 또는 물리적 환경의 시각적 표현을 제공할 수 있다.
도 3c를 참조하면, 사용자 디바이스(206)는 사용자 디바이스(206)와 물리적 환경(200)의 물리적 객체(208A) 사이의 거리(304C)가 제2 임계 거리(406) 이하인지 결정함으로써 거리(304C)를 제2 임계 거리(406)와 비교할 수 있다. 예를 들어, 사용자 디바이스(206)가 거리(304C)가 제2 임계 거리인 1 피트보다 작은 0.5 피트라고 결정하는 경우, 사용자 디바이스(206)는 거리(304C)가 제2 임계 거리(406) 내에 있다고 결정한다. 도 3c는 제2 임계 거리(406)를 제2 임계치 조건과 같은 예시로서 사용하지만, 제2 임계치 조건은 하나 이상의 다른 조건들, 예컨대 사용자 디바이스(206)의 각도, 사용자 디바이스(206)의 이동 방향, 물리적 객체(208)의 유형 등을 포함할 수 있음이 이해될 것이다.
도 3c를 참조하면, 사용자 디바이스(206)는, 거리(304C)가 제2 임계 거리(406) 내에 있다는 결정에 따라, 가상 현실 환경의 디스플레이의 적어도 일부를 물리적 환경의 적어도 일부의 시각적 표현으로 대체하도록 구성될 수 있다. 시각적 표현은 물리적 환경의 이미지 및/또는 비디오(예컨대, 라이브 스트림 비디오)일 수 있다. 시각적 표현은 사용자 디바이스(206)의 하나 이상의 카메라들에 의해 제공되어 물리적 객체(208A)가 사용자 디바이스(206)로부터 제2 임계 거리(예컨대, 1 피트) 내에 있음을 나타낼 수 있다. 따라서, 거리(304C)에서, 물리적 객체들(208A)은 사용자(204)에 매우 가까울 수 있고, 이에 응답하여, 사용자 디바이스(206)는 물리적 객체들(208A)의 이미지 및/또는 비디오를 사용자(204)에게 디스플레이한다. 도 3c에 도시된 실시예에서, 사용자 디바이스(206)는 전체 가상 현실 환경(260)을 디스플레이된 이미지(430)(예컨대, 물리적 객체들(208A, 208E)의 적어도 일부의 이미지 및/또는 비디오)로 대체한다. 아래 더 상세하게 기재되는 바와 같이, 일부 실시예들에서, 사용자 디바이스(206)는 가상 현실 환경의 전체가 아닌 일부를 물리적 환경의 시각적 표현으로 대체할 수 있다.
도 3d를 참조하면, 사용자 디바이스(206)는 제2 임계 거리(406) 내의 거리(304C)에 위치설정되고 물리적 객체를 외면하도록 배향되며 예시적인 가상 현실 환경(514)이 사용자 디바이스(206)에 의해 디스플레이된다. 도 3c에서 위에 설명된 바와 같이, 사용자 디바이스(206)가 물리적 객체(208A)로부터 그것의 거리가 제2 임계 거리(406) 내에 있다고 결정하는 경우, 사용자 디바이스(206)는 가상 현실 환경의 디스플레이의 적어도 일부를 물리적 환경(200)의 시각적 표현(예컨대, 이미지/비디오)으로 대체할 수 있다. 일부 실시예들에서, 가상 현실 환경의 디스플레이의 적어도 일부를 물리적 환경(200)의 적어도 일부의 시각적 표현(예컨대, 이미지/비디오)으로 대체한 후에, 사용자 디바이스(206)는 사용자(204)의 시선이 물리적 환경(200)의 적어도 일부의 시각적 표현으로부터 멀리 이동하는지 결정한다. 사용자 디바이스(206)는 사용자 디바이스(206)의 배향이 변하는지 검출함으로써 그러한 결정을 내릴 수 있다. 예를 들어, 하나 이상의 모션 센서들, 카메라들, 가속도계들 등을 이용하여, 사용자 디바이스(206)는 사용자 디바이스(206)의 배향이 변화한다고 결정할 수 있다(예컨대, 사용자(204)가 몸을 돌려 물리적 객체를 외면함). 이에 응답하여, 사용자 디바이스(206)는 사용자 디바이스(206)가 물리적 객체(208A)로부터 돌아서고 있다고 결정하고 도 3d에 도시된 바와 같이 가상 현실 환경(260)의 적어도 일부의 디스플레이를 재개한다. 사용자 디바이스(206)는 또한 디바이스가 물리적 객체(208A)로부터 멀리 이동하고 있는지 결정함으로써, 예를 들어, 디바이스와 물리적 객체들 사이의 거리가 증가하고 있는지 검출함으로써 이러한 결정을 내릴 수 있다.
도 3d는 사용자 디바이스(206)의 디스플레이의 디스플레이 영역(512)을 도시한다. 사용자 디바이스(206)는 디스플레이 영역(512)에 제2 가상 현실 환경(514)을 디스플레이할 수 있다. 제2 가상 현실 환경(514)은, 예를 들어, 사용자 디바이스(206)가 사용자(204)가 몸을 돌려 물리적 객체(208A)를 외면한다고 결정한 후에 디스플레이될 수 있다. 일부 실시예들에서, 가상 현실 환경(514)은 물리적 환경(200)의 시각적 표현(예컨대, 이미지/비디오)의 적어도 일부로 교체되기 전에 디스플레이되었던 이전 가상 현실 환경(260)과 동일하거나 또는 유사하다(도 3c에 관하여 기재된 바와 같음). 예를 들어, 제2 가상 현실 환경(514)은 사용자(204)가 몸을 돌린 것 처럼 보이는 가상 현실 환경(260)의 일부로서 디스플레이될 수 있다. 디스플레이 영역(512)은 창문, 게이트의 형상, 또는 임의의 기타 바람직한 형상을 가질 수 있다.
위에 기재된 바와 같이, 사용자 디바이스(206)와 물리적 객체(208A) 사이의 거리(304C)가 제2 임계 거리(406) 내에 있는 경우, 사용자 디바이스(206)는 물리적 환경(200)의 시각적 표현(예컨대, 도 3c에 도시된 이미지(430))를 디스플레이한다(예컨대, 전체 가상 현실 환경을 물리적 환경(200)의 적어도 일부의 시각적 표현으로 대체함). 도 3d를 참조하면, 사용자 디바이스(206)와 물리적 객체(208A) 사이의 거리(304C)가 증가하고/하거나 사용자 디바이스(206)의 배향이 변하는 경우(예컨대, 사용자(204)가 몸을 돌림에 따라 사용자 디바이스(206)가 물리적 객체(208A)를 외면함), 물리적 환경(200)의 적어도 일부의 이미지/비디오를 계속해서 디스플레이하는 것은 바람직하지 않거나 또는 불필요할 수 있다. 따라서, 일부 실시예들에서, 사용자 디바이스(206)는 옵션적으로 물리적 환경(200)의 적어도 일부의 시각적 표현을 제거하거나, 어둡게 하거나, 또는 디스플레이를 중단한다(예컨대, 배경 영역(502)을 빈 공간 또는 암흑으로 만듬). 도 3d에 도시된 바와 같이, 사용자 디바이스(206)는 배경 영역(502) 내의 디스플레이 영역(512)에 제2 가상 현실 환경(514)을 디스플레이한다. 일부 실시예들에서, 디스플레이 영역(512)의 적어도 하나의 치수는 사용자 디바이스(206)와 물리적 객체들(208) 사이의 거리에 기초하여 달라진다. 예를 들어, 사용자 디바이스(206)와 물리적 객체(208A) 사이의 거리(304C)가 증가함에 따라, 디스플레이 영역(512)이 확대되어 제2 가상 현실 환경(514)의 더 많은 영역이 디스플레이되도록 한다.
일부 실시예들에서, 디스플레이 영역(512)에 디스플레이되는 제2 가상 현실 환경(514)은 이전에 물리적 환경의 시각적 표현에 의해 대체되었던 가상 현실 환경과 동일하다. 예를 들어, 도 3d에 도시된 바와 같이, 디스플레이 영역(512)에 디스플레이되는 제2 가상 현실 환경(514)은 물리적 환경(200)의 시각적 표현에 의해 대체되기 전에 가상 현실 환경(260)에서 이전에 디스플레이되었던 (사용자(204)가 몸을 돌린 것처럼 보이는) 가상 해변과 동일할 수 있다.
도 3b에 관하여 위에서 설명된 바와 같이, 사용자 디바이스(206)가 거리(304B)가 제1 임계 거리(306)보다 작고 제2 임계 거리(406)보다 크다고 결정하는 경우, 사용자 디바이스(206)는 가상 현실 환경(260)에 시각 효과를 디스플레이하도록 구성된다. 도 3b는 시각 효과의 예로서 가상 유리 벽(324)을 도시한다. 도 4a 내지 도 4e는 사용자 디바이스가 물리적 객체들(208)(예컨대, 객체들(208A, 208E))로부터 제1 임계 거리(306)보다 작고 제2 임계 거리(406)보다 큰 거리에 위치설정되어 있음에 대응하는, 가상 현실 환경(260)에 디스플레이되는 다양한 추가적인 예시적인 시각 효과들을 도시한다.
예를 들어, 도 4a에 도시된 바와 같이, 가상 현실 환경(260)은 하나 이상의 가상 객체들(예컨대, 가상 해변 우산(262B))을 포함할 수 있다. 일부 실시예들에서, 물리적 환경(200) 내의 물리적 객체에 대응하는 시각 효과를 제공하기 위하여, 사용자 디바이스(206)는 가상 벽(314) 및/또는 가상 벽(314)에 걸린 가상 그림(312)을 디스플레이하도록 구성될 수 있다. 가상 벽(314) 및/또는 가상 그림(312)은 시각 효과를 사용자에게 제공하여 사용자가 사용자의 이동의 경로에 배치된 물리적 객체를 인식하게 할 수 있다. 일부 실시예들에서, 가상 벽(314) 및/또는 가상 그림(312)은 가상 현실 환경(260)에 존재하는 다른 가상 객체들에 대응할 수 있다(예컨대, 그것들의 복제물임). 사용자 디바이스(206)는 옵션적으로, 예를 들어, 이러한 기존 가상 객체들을 재사용하여 물리적 객체에 대응하는 시각 효과를 제공하는 새로운 가상 객체들을 생성하도록 구성된다. 가상 현실 환경에 다른 방식으로 존재하지 않는 객체들을 사용하기 보다는, 기존 가상 객체들을 재사용하는 것은, 가상 현실 환경의 디스플레이에 대한 시각 효과의 영향을 줄일 수 있다. 시각 효과의 영향을 줄임으로써 사용자 경험을 향상시키고 가상 현실 환경을 상당히 변경해야 할 필요없이 가상 객체들을 생성하는 데 있어서 효율성을 개선한다.
물리적 객체와 연관된 거리(304B)에 대응하는 시각 효과를 제공하는 추가 실시예가 도 4b에 도시된다. 도 4b를 참조하면, 가상 현실 환경(260)이 디스플레이되고, 가상 해변 의자, 가상 해변 우산 등을 포함할 수 있다. 도 4b에 도시된 바와 같이, 일부 실시예들에서, 사용자 디바이스(206)는 가상 표시로서 가상 객체의 외관을 변화시킬 수 있다. 외관의 변화는 사용자 디바이스(206)와 물리적 객체들(208)(예컨대, 208A, 208E) 사이의 거리에 기초할 수 있다. 예를 들어, 사용자 디바이스(206)가 물리적 객체(208A)에 더 가까이 이동함에 따라, 가상 객체들(262A, 262B)(도 3a에 도시됨)의 외관은 가상 객체들(332A, 332B)의 외관으로(도 4b에 도시됨) 각각 전환될 수 있다. 가상 객체들(332A, 332B)은 각각 가상 객체들(262A, 262B)과 유사한 형상을 가질 수 있지만, 입자/깃털 효과를 가질 수 있다. 일부 실시예들에서, 사용자 디바이스(206)가 물리적 객체(208A)에 더 가까이 이동함에 따라, 가상 객체들(332A, 332B)은 덜 투명해지고/지거나 더 조밀한 입자를 가질 수 있다(또는 그 반대임). 덜 투명 가상 객체 또는 더 조밀한 입자들을 갖는 가상 객체는 대응하는 물리적 객체가 더 투명하거나 또는 더 드문 입자들을 갖는 가상 객체보다 더 가까움을 나타내는 시각 효과를 제공할 수 있다. 일부 실시예들에서, 이러한 유형의 시각 효과는 직관적이고 사용자에 의해 용이하게 이해되고 파악되어, 추가적으로 사용자 경험을 향상시키고 시각 효과의 효능을 개선할 수 있다. 도 4b는 가상 객체들(332A, 332B)을 이용하여 가상 객체들을 도시하지만, 임의의 가상 객체들(예컨대, 가상 현실 환경 내의 기존 객체들 또는 새로운 가상 객체들)을 사용하여 사용자가 접근하고 있는 물리적 환경 내의 물리적 객체들을 사용자가 인식하게 하는 시각 효과를 제공할 수 있음이 이해된다.
물리적 객체와 연관된 거리(304B)에 대응하는 시각 효과들을 제공하는 추가 실시예들이 도 4c 및 도 4d에 도시된다. 도 4c를 참조하면, 사용자 디바이스(206)는 현재 가상 현실 환경(260)을 디스플레이하고 있다. 가상 현실 환경(260)은 가상 해변 의자(262A) 및 가상 해변 우산(262B) 등과 같은 가상 객체들을 포함할 수 있다. 물리적 환경(200) 내의 물리적 객체(예컨대, 객체(208A))에 대응하는 시각 효과를 제공하기 위하여, 사용자 디바이스(206)는 가상 해변 의자(262A) 및 가상 해변 우산(262B)과 같은 하나 이상의 기존 가상 객체들의 앞에 배치된 가상 안개(352)를 디스플레이한다. 일부 실시예들에서, 가상 현실 환경(260)에서의 안개의 위치는 사용자(204)에 대한 물리적 환경(200) 내의 물리적 객체(예컨대, 객체(208A))의 위치를 나타낼 수 있다. 일부 실시예들에서, 안개(352)의 외관은 반투명 시각 효과를 생성하기 위하여 아래에 놓인 가상 객체들(예컨대, 262A, 262B)을 블렌딩 및/또는 블러링함으로써 생성된다.
일부 실시예들에서, 도 4d에 도시된 바와 같이, 사용자 디바이스(206)는 하나 이상의 가상 객체들 및/또는 가상 현실 환경(260)의 일부분의 밝기를 유사하게 줄이거나 일부분에 암흑 효과(354)를 적용하여 사용자(204)에 대한 물리적 환경(200)의 하나 이상의 물리적 객체들(208)(예컨대, 208A)의 위치를 나타낼 수 있다. 가상 안개(352) 및/또는 암흑 효과(354)는 시각 효과를 사용자에게 제공하여 사용자가 사용자의 경로에 배치된 물리적 객체를 인식하게 할 수 있다. 일부 실시예들에서, 가상 안개(352) 또는 암흑 효과(354)에 기초하여 생성된 시각 효과는 직관적이고 사용자에 의해 용이하게 이해되고 파악되어, 추가적으로 사용자 경험을 향상시키고 시각 효과의 효능을 개선할 수 있다. 예를 들어, 사용자는 통상적으로 안개가 짙거나 또는 어두워진 영역으로 덜 이동하는 경향이 있거나, 또는 이를 더 회피하는 경향이 있다.
물리적 객체와 연관된 거리(304B)에 대응하는 시각 효과를 제공하는 추가 실시예가 도 4e에 도시된다. 도 4e를 참조하면, 사용자 디바이스(206)는 현재 가상 현실 환경(260)을 디스플레이하고 있다. 가상 현실 환경(260)은 가상 해변 의자(262A) 및 가상 해변 우산(262B) 등과 같은 가상 객체들을 포함한다. 물리적 환경(200) 내의 물리적 객체에 대응하는 시각 효과를 제공하기 위하여, 사용자 디바이스(206)는 어두워진 영역(362)을 디스플레이하도록 구성될 수 있다. 일부 실시예들에서, 어두워진 영역(362)은 가상 지면(366)(예컨대, 가상 해변) 상에 배치되고 물리적 환경(200) 내의 물리적 객체들(예컨대, 객체들(208A, 208E, 208F))의 위치에 대응한다. 예를 들어, 어두워진 영역(362)은 물리적 객체들(208A(예컨대, 책상), 208E(예컨대, 의자), 208F(예컨대, 소파))의 위치 또는 경계에 대응하는(예컨대, 추적하는) 경계를 갖도록 구성될 수 있다.
일부 실시예들에서, 어두워진 영역(362)과 같은 어두워진 영역의 적어도 하나의 치수는 물리적 객체의 대응하는 치수를 나타내도록 구성될 수 있다. 예를 들어, 물리적 객체의 종방향 치수가 측방향 치수보다 큰 경우, 어두워진 영역(362)도 대응하는 더 큰 종방향 치수를 갖도록 구성될 수 있다. 일부 실시예들에서, 사용자 디바이스(206)는 사용자 디바이스(206)와 물리적 객체 사이의 거리에 기초하여 어두워진 영역(362)의 어둠의 정도를 달리하도록 구성될 수 있다. 예를 들어, 사용자 디바이스(206)가 물리적 객체에 더 가까이 이동함에 따라, 어두워진 영역(362)이 어두워지는 정도는 증가(예컨대, 더 어두워짐), 또는 감소될 수 있다. 일부 예들에서, 어두워진 영역들은 임의의 형상을 가질 수 있다. 어두워진 영역들은, 예를 들어, 실질적으로 삼각형, 직사각형, 원형, 타원형, 또는 임의의 기타 형상일 수 있다.
어두워진 영역(362)은 사용자가 사용자의 경로에 배치된 물리적 객체를 인식하게 하는 시각 효과를 사용자에게 제공한다. 위에 기재된 바와 같이, 가상 현실 환경 내의 소정 영역의 암흑화에 기초하여 생성된 시각 효과는 직관적이고 사용자에 의해 용이하게 이해되고 파악되어, 추가적으로 사용자 경험을 향상시키고 시각 효과의 효능을 개선할 수 있다. 예를 들어, 사용자는 통상적으로 어두워진 영역으로 덜 이동하는 경향이 있거나, 또는 이를 더 회피하는 경향이 있다. 도 4e는 시각 효과들로서 어두워진 영역(362)을 이용하여 도시하지만, 임의의 가상 효과(예컨대, 음영, 채색, 왜곡, 블러링, 셰이킹 등)가 임의의 방식으로 가상 현실 환경에 적용되어(예컨대, 천장, 벽, 바닥, 또는 하나 이상의 객체들에 적용됨) 사용자가 사용자 근처의 물리적 환경에 배치되고/되거나 사용자가 접근하고 있는 물리적 객체들을 인식하게 하는 시각 효과를 제공할 수 있음이 이해된다.
위에 기재된 바와 같이, 사용자 디바이스(206)가 거리(304B)가 도 3b 및 도 4a 내지 도 4e에 도시된 바와 같이 제1 임계치(306) 내에 있고, 옵션적으로, 도 3b 및 도 4a 내지 도 4e에 도시된 바와 같이 제2 임계 거리(406) 내에 있지 않다고 결정하는 경우 다양한 시각 효과들(예컨대, 가상 벽, 가상 유리, 가상 안개, 입자/깃털 효과, 어두워진 영역 등)이 가상 현실 환경에 적용 또는 배치될 수 있다. 일부 실시예들에서, 위에 기재된 바와 같이, 시각 효과들을 사용자(204)에게 제공함에도 불구하고, 사용자(및 사용자에 의해 착용된 사용자 디바이스(206))는 제1 임계 거리(306)를 너머 물리적 객체를 향해 계속해서 이동할 수 있고, 따라서 사용자 디바이스(206)와 물리적 객체 사이의 거리(304B)는 계속해서 거리(304C)로 감소할 수 있다.
위에 기재된 바와 같이, 도 3c는 사용자 디바이스(206)가 거리(304C)가 제2 임계 거리(406) 내에 있다고 결정하고, 따라서 가상 현실 환경(260)의 전체 디스플레이를 물리적 환경(200)의 적어도 일부의 시각적 표현(예컨대, 이미지(430))으로 대체하는 예를 도시한다. 도 5a 내지 도 5c는 제2 임계 거리(406) 내의 다양한 거리들에 위치설정된 사용자 디바이스(206) 및 사용자 디바이스(206)에 의해 디스플레이되는 예시적인 물리적 환경(200)의 적어도 일부의 대응하는 이미지들을 도시한다.
도 5a의 예에서, 일부 실시예들에서, 사용자 디바이스(206)는 물리적 객체들(208)로부터 거리(304D)에 위치하고 있다. 거리(304D)는, 예를 들어, 제2 임계 거리(406)보다 작지만 제3 임계 거리(506)보다 클 수 있다. 위에 기재된 바와 같이, 거리(304D)가 제2 임계 거리(406)보다 작은것으로(따라서 제2 임계 거리(406) 내에 있음) 결정되기 때문에, 사용자 디바이스(206)는 물리적 환경(200)의 적어도 일부(예컨대, 물리적 객체들(208A, 208E))의 시각적 표현(416A)(예컨대, 이미지 및/또는 비디오) 및 가상 현실 환경(260)의 적어도 일부(예컨대, 가상 해변 및 가상 하늘)을 디스플레이한다. 도 5a에 도시된 바와 같이, 거리(304D)가 제3 임계 거리(506) 이상이기 때문에(아래 더 상세하게 설명됨), 사용자 디바이스(206)는 가상 현실 환경(260)의 디스플레이의 전체가 아닌 일부분만을 시각적 표현(416A)으로 대체하고; 사용자 디바이스(206)와 물리적 객체(208A) 사이의 거리(예컨대, 도 3c 및 도 5c에 도시된 거리(304C))가 제3 임계 거리(506)보다 작으면, 사용자 디바이스(206)는 가상 현실 환경(260)의 전체 디스플레이를 대체한다. 일부 예들에서 시각적 표현(416A)은 창문, 게이트의 형상, 또는 임의의 기타 바람직한 형상을 가질 수 있다.
일부 실시예들에서, 시각적 표현(416A)의 적어도 하나의 치수는 사용자 디바이스(206)와 물리적 객체들(208)(예컨대, 객체(208A)) 사이의 거리에 기초하여 달라진다. 도 5a에 도시된 바와 같이, 시각적 표현(416A)은 디스플레이의 임의의 영역(예컨대, 좌하부 코너)에 제공되어 가상 현실 환경(260)의 일부분을 대체할 수 있다. 일부 실시예들에서, 사용자 디바이스(206)는 사용자 디바이스(206)가 물리적 객체(208A)에 더 가까이 계속해서 이동하는 경우 시각적 표현(416A)을 디스플레이하기 위하여 그 영역의 치수들을 증가시킨다. 도 5b에 도시된 바와 같이, 사용자 디바이스(206)가 물리적 객체(208A)에 더 가까이 이동함에 따라(예컨대, 거리(304E)로 이동함), 사용자 디바이스(206)는 가상 현실 환경(260)의 더 큰 부분을 시각적 표현(416B)으로 대체할 수 있다. 시각적 표현(416B)은 예를 들어 도 5b에 도시된 시각적 표현(416A)의 것들보다 큰 치수들(예컨대, 너비 및/또는 길이)을 갖는다. 일부 실시예들에서, 시각적 표현을 디스플레이하기 위한 영역들의 적어도 하나의 치수는 물리적 객체의 유형들에 기초하여 달라진다. 예를 들어, 시각적 표현을 디스플레이하기 위한 영역은 소정 유형들의 물리적 객체들(예컨대, 벽난로, 스토브, 수영장)의 경우 다른 유형들의 물리적 객체들(예컨대, 테이블, 의자, 소파)보다 더 많은 가상 현실 환경(260)의 영역을 대체한다.
일부 실시예들에서, 물리적 객체는 사용자에 매우 가까이(예컨대, 사용자가 터치하거나 또는 느낄 수 있는 거리 내) 위치될 수 있고, 표시 또는 강조를 위하여 디스플레이 영역의 일부분에 시각적 표현을 사용하는 것은 충분하지 않을 수 있다. 도 5c는 전체 가상 현실 환경(260)을 물리적 환경(200)의 적어도 일부의 시각적 표현(예컨대, 이미지(430))으로 대체하는 예를 제공한다. 예를 들어, 사용자 디바이스(206)는 물리적 객체(208A)로부터 제3 임계 거리(506)보다 작은 거리(304C)로 이동될 수 있다. 제3 임계 거리(506)는 제2 임계 거리(406)보다 작다. 일부 실시예들에서, 사용자 디바이스(206)가 제3 임계 거리(506) 내에 위치설정되는 경우, 사용자 디바이스(206)는 사용자(204)가 물리적 객체(208A)와 충돌하는 것을 방지하기 위하여 즉각적인 관심 또는 경고가 필요하다고 결정할 수 있다. 예를 들어, 물리적 객체(208A)는 사용자의 바로 앞 또는 사용자가 물리적 객체(208A)를 터치할 수 있는 거리 내에 위치할 수 있다. 사용자 디바이스(206)가 거리(304C)가 제3 임계 거리(506) 이하라고 결정하는 경우, 사용자 디바이스(206)는 전체 가상 현실 환경을 물리적 객체들(208)(예컨대, 객체들(208A, 208E))을 포함하는 물리적 환경(200)의 적어도 일부의 시각적 표현(예컨대, 이미지(430))으로 대체한다. 도 5c에 도시된 바와 같이, 사용자 디바이스(206)는 가상 표현(예컨대, 이미지 또는 비디오(430))을 풀-스크린 모드로 디스플레이하여, 전체 가상 현실 환경(260)을 대체한다. 일부 실시예들에서, 전체 가상 현실 환경을 물리적 환경의 시각적 표현으로 대체하는 것은 가상 현실 환경을 디스플레이하기 위한 영역의 일부에서 시각적 표현을 디스플레이하는 것에 비해 증가된 레벨의 표시, 강조, 및/또는 경고를 사용자에게 제공할 수 있다. 결과적으로, 사용자 디바이스(206)는 이제 가상 현실 환경(260)을 디스플레이하고, 사용자(204)는 물리적 환경(200)에 위치한 임의의 물리적 객체들 또는 장애물들과의 접촉 또는 충돌을 회피하기 위한 즉각적인 행동을 취할 수 있다. 예를 들어, 사용자(204)는 물리적 객체(208A)를 향해 이동하는 것을 멈추고, 상이한 방향으로 이동, 또는 물리적 객체(208A)로부터 멀리 이동할 수 있다.
도 3d에 관하여 위에서 설명된 바와 같이, 일부 실시예들에서, 사용자 디바이스(206)가 사용자 디바이스(206)가 물리적 객체(208A)로부터 돌아서고 있다고(예컨대, 사용자(204)가 몸을 돌림) 결정하는 경우, 사용자 디바이스(206)는 이전 가상 현실 환경(260)의 디스플레이의 적어도 일부를 물리적 환경의 적어도 일부의 시각적 표현으로 대체한 후에 제2 가상 현실 환경(514)을 디스플레이한다. 도 3d에 도시된 실시예에서, 제2 가상 현실 환경(514)은 디스플레이 영역(512) 내에 디스플레이된다. 디스플레이 영역(512)의 밖에 있는, 배경 영역(502) 내의 물리적 환경(200)의 이미지들 및/또는 비디오들은 제거되거나, 어두워지거나, 또는 디스플레이를 중단한다.
도 6a 및 도 6b는 제2 임계 거리(406) 내의 거리(304C)에 위치설정되고 물리적 객체를 외면하도록 배향된 사용자 디바이스(206) 및 사용자 디바이스(206)에 의해 디스플레이되는 물리적 환경의 예시적인 가상 현실 환경들 및/또는 이미지들을 도시한다. 도 6a 및 도 6b를 참조하면, 사용자 디바이스(206)는, 예를 들어, 사용자 디바이스(206)가 사용자(204)가 몸을 돌리거나 또는 물리적 객체(208A)로부터 멀리 이동했다고 결정하는 것에 응답하여, 디스플레이 영역(512)에 제2 가상 현실 환경(514)을 디스플레이한다. 디스플레이 영역(512)은 창문, 게이트의 형상, 또는 임의의 기타 바람직한 형상을 가질 수 있다.
도 6a는 디스플레이 영역(512) 내에 제2 가상 현실 환경(514)의 일부(예컨대, 가상 해변)를 디스플레이하고 디스플레이 영역(512)의 밖에(예컨대, 배경 영역(502)) 제2 가상 현실 환경(514)의 다른 일부를 디스플레이하는 실시예를 도시한다. 이 실시예에서, 사용자 디바이스(206)는 가상 현실 환경(514)과 함께 이전에 디스플레이되었던 물리적 환경(200)의 전체 시각적 표현을 대체한다. 결과적으로, 사용자 디바이스(206)는 디스플레이 영역(512)에 제2 가상 현실 환경(514)의 일부를 디스플레이하고, 디스플레이 영역(512)의 밖에 있는 배경 영역(502)에 다른 일부를 디스플레이한다. 일부 실시예들에서, 사용자 디바이스(206)가 돌아서거나 또는 물리적 환경(200) 내의 물리적 객체(208A)로부터 멀리 이동될 때, 이전에-디스플레이된 가상 현실 환경(260)에 유사하거나 또는 연속인 제2 가상 현실 환경(514)을 제공하는 것은 마치 사용자가 이전에 디스플레이된 가상 현실 환경(260)으로 다시 들어가는 것과 같은 효과를 생성할 수 있다. 이 효과는 사용자 경험을 향상시킨다.
도 6b는 제3 가상 현실 환경(520)이 디스플레이되는 디스플레이 영역(526)을 도시한다. 도 6b에 도시된 바와 같이, 사용자 디바이스(206)는, 예를 들어, 사용자 디바이스(206)가 사용자(204)가 몸을 돌리거나 및/또는 물리적 객체(208A)로부터 멀리 이동함에 따라 사용자 디바이스(206)의 배향이 변했다고 결정하는 것에 응답하여, 디스플레이 영역(526)에 제3 가상 현실 환경(520)을 디스플레이한다. 도 3c에 관하여 위에서 설명된 바와 같이, 사용자 디바이스(206)와 물리적 객체(208)(예컨대, 208A) 사이의 거리(304C)가 제2 임계 거리(406) 내에 있는 경우, (예컨대, 거리(304C)가 제3 임계 거리(506)보다 작을 때) 사용자 디바이스(206)는 전체 가상 현실 환경(260)을 물리적 환경의 적어도 일부의 시각적 표현(예컨대, 이미지/비디오)으로 대체할 수 있다. 도 6b는 물리적 환경(200)의 이와 같은 이미지(524)를 도시한다. 사용자 디바이스(206)가 사용자(204)의 시선이 물리적 환경의 이미지(524)로부터 멀리 이동하거나(예컨대, 사용자가 몸을 돌리거나 또는 사용자 디바이스(206)의 배향이 변함) 및/또는 사용자 디바이스(206)와 물리적 객체(208A) 사이의 거리가 증가한다고 결정하는 경우, 사용자 디바이스(206)는 디스플레이 영역(526)에 제3 가상 현실 환경(520)을 디스플레이할 수 있다. 일부 실시예들에서, 디스플레이 영역(526)의 적어도 하나의 치수는 달라지도록 사용자 디바이스(206)와 물리적 객체(208A) 사이의 거리에 기초하여 구성될 수 있다. 예를 들어, 사용자 디바이스(206)와 물리적 객체(208A) 사이의 거리가 증가함에 따라, 디스플레이 영역(526)의 치수들은 제3 가상 현실 환경(520)의 더 많은 영역이 디스플레이되도록 더 커질 수 있다. 도 6b에 도시된 바와 같이, 디스플레이 영역(526)은 게이트 또는 문의 형상을 가질 수 있고, 제3 가상 현실 환경(520)은 이전에-디스플레이된 가상 현실 환경(260)에 유사하거나, 또는 연속일 수 있다. 따라서, 디스플레이 영역(526)을 제공하는 것은 사용자가 게이트 또는 문 안으로 걸어들어가서 이전에-디스플레이된 가상 현실 환경(260)에 들어가는(또는 다시 들어가는) 효과를 생성할 수 있다. 지면에 대하여 디스플레이 영역(526)을 위치설정함으로써, 사용자는 마치 물리적 환경에 있는 것처럼 사용자 디바이스(206)와 디스플레이 영역(526)의 위치 사이의 거리를 더 용이하게 결정할 수 있다.
도 7a를 이제 참조하면, 혼합-현실 환경에서 물리적 장애물들을 나타내기 위한 예시적인 프로세스(700)의 흐름도가 도시된다. 아래 설명에서, 프로세스(700)는 사용자 디바이스(예컨대, 디바이스(100a))를 이용하여 수행되는 것으로 설명된다. 사용자 디바이스는, 예를 들어, 도 1a 및 도 1c 내지 도 1i의 디바이스(100a), 및 도 2, 도 3a 내지 도 3d, 도 4a 내지 도 4e, 도 5a 내지 도 5c, 및 도 6a 및 도 6b의 디바이스(206)와 같은 핸드헬드 모바일 디바이스 또는 헤드-마운트 디바이스이다. 다른 실시예들에서, 프로세스(700)는 베이스 디바이스와 같은 다른 디바이스에 통신가능하게 결합되는 사용자 디바이스와 같은 둘 이상의 전자 디바이스들을 이용하여 수행됨이 이해되어야 한다. 이 실시예들에서, 프로세스(700)의 동작들은 임의의 방식으로 사용자 디바이스와 하나 이상의 다른 디바이스들 사이에 분배된다. 또한, 사용자 디바이스의 디스플레이는 투명하거나 또는 불투명할 수 있음이 이해되어야 한다. 프로세스(700)의 하나 이상의 블록들이 생략될 수 있고/있거나 하나 이상의 추가 블록들이 프로세스(700) 중 임의의 지점에서 수행될 수 있음이 이해되어야 한다.
블록(702)에서, 가상 현실 환경이 전자 디바이스의 디스플레이 상에 디스플레이된다. 블록에서(704), 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리가 결정된다. 전자 디바이스는 가상 현실 헤드셋이다. 블록(706)에서, 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리가 제1 임계 거리 내에 있는지 결정된다. 일부 실시예들에서, 전자 디바이스와 물리적 객체 사이의 거리가 제1 임계 거리 내에 있는지 결정하는 것은 전자 디바이스가 물리적 환경 내의 물리적 객체를 향해 이동하고 있는지 결정하는 것을 포함한다.
블록(708)에서, 거리가 제1 임계 거리 내에 있다는 결정에 따라, 가상 현실 환경에서 시각 효과가 디스플레이된다. 시각 효과는 물리적 객체와 연관된 거리에 대응한다. 거리가 제1 임계 거리 내에 있지 않다는 결정에 따라, 가상 현실 환경은 물리적 객체의 어떠한 시각 효과도 없이 연속적으로 디스플레이된다.
일부 실시예들에서, 가상 표시를 디스플레이하는 것은 디스플레이된 가상 현실 환경 상에 하나 이상의 가상 객체들(예컨대, 가상 벽, 가상 유리 벽, 가상 안개, 입자/깃털 효과, 암흑)을 디스플레이하는 것을 포함한다. 하나 이상의 가상 객체들은 물리적 객체가 전자 디바이스로부터 제1 임계 거리 내에 있음을 나타낸다. 일부 실시예들에서, 하나 이상의 가상 객체들의 적어도 하나의 외관은 전자 디바이스와 물리적 객체 사이의 거리에 기초하여 달라진다.
일부 실시예들에서, 가상 표시를 디스플레이하는 것은 디스플레이된 가상 현실 환경의 가상 지면 상에 어두워진 영역을 디스플레이하는 것을 포함한다. 어두워진 영역은 물리적 환경 내의 물리적 객체의 위치에 대응한다. 어두워진 영역의 어두워진 정도는 전자 디바이스와 물리적 객체 사이의 거리에 기초하여 달라질 수 있다. 어두워진 영역의 적어도 하나의 치수는 물리적 객체의 하나 이상의 대응하는 치수를 나타낼 수 있다. 일부 실시예들에서, 어두워진 영역은 실질적으로 삼각형 형상을 갖는다.
블록(710)에서, 전자 디바이스와 물리적 환경내의 물리적 객체 사이의 거리가 제2 임계 거리 내에 있는지 결정된다. 일부 실시예들에서, 전자 디바이스가 제1 임계 거리를 너머 물리적 객체를 향해 계속해서 이동하는지 결정된다. 전자 디바이스가 제1 임계 거리를 너머 물리적 객체를 향해 계속해서 이동한다는 결정에 따라, 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리가 제2 임계 거리 이하인지 결정된다.
일부 실시예들에서, 제1 임계 거리 및 제2 임계 거리 중 하나 또는 둘 모두는 전자 디바이스의 이동 속도 및/또는 물리적 객체의 유형에 기초하여 구성된다.
블록(712)에서, 거리가 제2 임계 거리 내에 있다는 결정에 따라, 물리적 환경의 적어도 일부의 시각적 표현이 디스플레이된다. 시각적 표현은 하나 이상의 카메라들에 의해 제공된다. 일부 실시예들에서, 전자 디바이스가 물리적 객체를 향해 이동하고 있는지 또는 그로부터 멀리 이동하고 있는지 결정된다. 전자 디바이스가 물리적 객체를 향해 이동하고 있다는 결정에 따라, 어두워진 영역은 전자 디바이스와 물리적 객체 사이의 거리에 기초하여 어두워진다. 전자 디바이스가 물리적 객체로부터 멀리 이동되고 있다는 결정에 따라, 어두워진 영역은 밝아진다. 시각적 표현의 적어도 하나의 치수는 전자 디바이스와 물리적 객체 사이의 거리, 및/또는 물리적 객체의 유형들에 기초하여 달라질 수 있다.
일부 실시예들에서, 디스플레이된 가상 현실 환경의 적어도 일부를 물리적 환경의 적어도 일부의 시각적 표현으로 대체한 후에, 전자 디바이스와 물리적 객체 사이의 거리가 증가하고 있는지 결정된다. 예를 들어, 사용자 디바이스가 물리적 객체로부터 멀리 이동하고 있는 경우 거리는 증가한다. 전자 디바이스와 물리적 객체 사이의 거리가 증가하고 있다는 결정에 따라, 제2 가상 현실 환경이 디스플레이된다.
일부 실시예들에서, 제2 가상 현실 환경은 물리적 환경의 적어도 일부의 시각적 표현에 의해 대체된 이전에-디스플레이된 가상 현실 환경의 연속이다. 제2 가상 현실 환경을 디스플레이하는 것은 물리적 환경의 적어도 일부의 전체 시각적 표현을 제2 가상 현실 환경으로 대체하는 것을 포함할 수 있다. 일부 실시예들에서, 전자 디바이스와 물리적 객체 사이의 거리가 증가함에 따라 제2 부분의 적어도 하나의 치수가 증가될 수 있다.
도 7b를 이제 참조하면, 가상 현실 환경에서 물리적 장애물들을 나타내기 위한 예시적인 프로세스(740)의 흐름도가 도시된다. 아래 설명에서, 프로세스(740)는 사용자 디바이스(예컨대, 디바이스(100a 또는206))를 이용하여 수행되는 것으로 설명된다. 사용자 디바이스는, 예를 들어, 핸드헬드 모바일 디바이스 또는 헤드-마운트 디바이스이다. 다른 실시예들에서, 프로세스(740)는 베이스 디바이스와 같은 다른 디바이스에 통신가능하게 결합되는 사용자 디바이스와 같은 하나 이상의 전자 디바이스들을 이용하여 수행됨이 이해되어야 한다. 이 실시예들에서, 프로세스(740)의 동작들은 임의의 방식으로 사용자 디바이스와 다른 디바이스 사이에 분배된다. 또한, 사용자 디바이스의 디스플레이는 투명하거나 또는 불투명할 수 있음이 이해되어야 한다. 프로세스(740)의 하나 이상의 블록들이 옵션적일 수 있고/있거나 추가 블록들이 수행될 수 있음이 이해되어야 한다.
블록(742)에서, 가상 현실 환경이 전자 디바이스의 디스플레이 상에 디스플레이되고, 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리가 결정된다. 일부 실시예들에서 전자 디바이스는 가상 현실 헤드셋, 스마트폰, 또는 태블릿이다. 일부 실시예들에서, 가상 현실 환경은 지면을 나타내는 표면을 갖는다. 블록(744)에서, 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리가 임계 거리 내에 있는지 결정된다. 블록(748)에서, 거리가 임계 거리 내에 있다는 결정에 따라, 가상 현실 환경에서 시각 효과가 디스플레이된다. 일부 실시예들에서, 시각 효과는 물리적 객체와 연관된 거리에 대응하고, 가상 현실 환경의 지면 상에 배치된다.
일부 실시예들에서, 가상 지면에 적용되는 시각 효과의 외관은 전자 디바이스와 물리적 객체 사이의 거리에 기초하여 달라질 수 있다. 가상 지면에 적용되는 시각 효과의 적어도 하나의 치수는 물리적 객체의 크기에 기초한다. 가상 지면에 적용되는 시각 효과는 실질적으로 삼각형 형상의-어두워진 영역이다.
프로세스들(700, 740)이 가상 현실 환경들을 참조하여 설명되지만, 프로세스들(700, 740)이 그렇게 제한되는 것은 아니라고 인식되어야 한다. 예로서, 일부 경우들에서 프로세스들(700, 740)은 증강-현실 환경들을 이용하여 구현된다. 예를 들어, 시각 효과들에 사용되는 것들을 포함하지만 이에 한정되지 않는 하나 이상의 가상 객체들은 물리적 환경 내의 물리적 객체들의 시각적 표현들로 대체될 수 있다.
특정 실시 형태들에 대한 전술한 설명들은 예시 및 설명의 목적으로 제시되었다. 이들은 총망라하거나 청구범위의 범주를 개시된 정확한 형태로 제한하고자 하는 것이 아니며, 상기 교시를 고려하여 많은 수정 및 변형이 가능하다는 것을 이해하여야 한다.

Claims (25)

  1. 가상 현실 환경을 디스플레이하는 동안 물리적 장애물들을 나타내기 위한 방법으로서,
    하나 이상의 프로세서들, 메모리, 및 하나 이상의 카메라들을 구비한 전자 디바이스에서:
    가상 현실 환경을 디스플레이하는 단계;
    상기 전자 디바이스와 물리적 객체 사이의 거리를 결정하는 단계;
    상기 전자 디바이스와 상기 물리적 객체 사이의 상기 거리가 제1 임계 거리 내에 있는지 결정하는 단계;
    상기 거리가 상기 제1 임계 거리 내에 있다는 결정에 따라, 상기 가상 현실 환경에서 시각 효과를 디스플레이하는 단계;
    상기 전자 디바이스와 상기 물리적 객체 사이의 상기 거리가 제2 임계 거리 내에 있는지 결정하는 단계; 및
    상기 거리가 상기 제2 임계 거리 내에 있다는 결정에 따라, 물리적 환경의 적어도 일부의 시각적 표현을 디스플레이하는 단계 - 상기 시각적 표현은 상기 하나 이상의 카메라들을 이용하여 제공됨 -를 포함하는, 방법.
  2. 제1항에 있어서, 상기 전자 디바이스는 웨어러블 헤드셋인, 방법.
  3. 제1항 또는 제2항에 있어서, 상기 전자 디바이스와 상기 물리적 객체 사이의 상기 거리가 상기 제1 임계 거리 내에 있는지 결정하는 단계는:
    상기 전자 디바이스가 상기 물리적 환경 내의 상기 물리적 객체를 향해 이동하고 있는지 결정하는 단계를 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 임계 거리 및 상기 제2 임계 거리 중 적어도 하나는 상기 전자 디바이스의 이동 속도에 기초한, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 물리적 객체에 기초하여 상기 제1 임계 거리 및 상기 제2 임계 거리를 결정하는 단계를 추가로 포함하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 시각 효과를 디스플레이 하는 단계는:
    상기 가상 현실 환경에서 하나 이상의 가상 객체들을 디스플레이하는 단계를 포함하고, 상기 하나 이상의 가상 객체들은 상기 물리적 객체가 상기 전자 디바이스로부터 상기 제1 임계 거리 내에 있다는 표시인, 방법.
  7. 제6항에 있어서,
    상기 전자 디바이스와 상기 물리적 객체 사이의 상기 거리에 기초하여 상기 디스플레이되는 하나 이상의 가상 객체들 중 적어도 하나의 외관을 변경하는 단계를 추가로 포함하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 가상 현실 환경을 디스플레이하는 단계는 지면을 나타내는 표면을 디스플레이하는 단계를 포함하고, 상기 시각 효과를 디스플레이하는 단계는:
    상기 지면 상에 어두워진 영역을 디스플레이하는 단계를 포함하고, 상기 어두워진 영역은 상기 전자 디바이스에 대한 상기 물리적 환경 내의 상기 물리적 객체의 위치에 대응하는, 방법.
  9. 제8항에 있어서,
    상기 전자 디바이스가 상기 물리적 객체를 향해 이동하고 있는지 아니면 상기 물리적 객체로부터 멀리 이동하고 있는지 결정하는 단계; 및
    상기 전자 디바이스가 상기 물리적 객체를 향해 이동하고 있다는 결정에 따라, 상기 전자 디바이스와 상기 물리적 객체 사이의 상기 거리에 기초하여 상기 어두워진 영역을 어둡게 하는 단계를 추가로 포함하는, 방법.
  10. 제9항에 있어서, 상기 전자 디바이스가 상기 물리적 객체로부터 멀리 이동하고 있다는 결정에 따라, 상기 어두워진 영역을 밝게 하는 단계를 추가로 포함하는, 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 어두워진 영역의 치수는 상기 물리적 객체의 크기에 대응하는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 전자 디바이스와 상기 물리적 환경 내의 상기 물리적 객체 사이의 상기 거리가 상기 제2 임계 거리 내에 있는지 결정하는 단계는:
    상기 전자 디바이스가 상기 물리적 객체를 향해 이동하고 있는지 결정하는 단계; 및
    상기 전자 디바이스가 상기 물리적 객체를 향해 이동하고 있다는 결정에 따라, 상기 전자 디바이스와 상기 물리적 환경의 상기 물리적 객체 사이의 상기 거리가 상기 제2 임계 거리 이하인지 결정하는 단계를 포함하는, 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 시각 효과는 상기 물리적 객체와 연관된 거리에 대응하는, 방법.
  14. 혼합-현실 환경에서 물리적 장애물들을 나타내기 위한 방법으로서,
    하나 이상의 프로세서들, 메모리, 및 하나 이상의 카메라들을 구비한 전자 디바이스에서:
    상기 전자 디바이스의 디스플레이 상에 가상 현실 환경을 디스플레이하는 동안 - 상기 가상 현실 환경은 지면을 나타내는 표면을 가짐 -, 상기 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리를 결정하는 단계;
    상기 전자 디바이스와 상기 물리적 환경의 상기 물리적 객체 사이의 상기 거리가 임계치 조건을 충족하는지 결정하는 단계; 및
    상기 거리가 상기 임계치 조건을 충족한다는 결정에 따라, 상기 가상 현실 환경에서 시각 효과를 디스플레이하는 단계를 포함하고,
    상기 시각 효과는 상기 물리적 객체와 연관된 거리에 대응하고,
    상기 시각 효과는 상기 가상 현실 환경의 상기 지면 상에 배치되는, 방법.
  15. 제14항에 있어서,
    상기 전자 디바이스와 상기 물리적 객체 사이의 상기 거리에 기초하여 상기 가상 현실 환경의 상기 가상 지면 상에 배치되는 상기 시각 효과의 외관을 변경하는 단계를 추가로 포함하는, 방법.
  16. 제14항 또는 제15항에 있어서, 상기 가상 현실 환경의 상기 가상 지면 상에 배치되는 상기 시각 효과의 적어도 하나의 치수는 상기 물리적 객체의 크기에 기초하는, 방법.
  17. 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터-판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은 제1항 내지 제16항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 비일시적 컴퓨터-판독가능 저장 매체.
  18. 전자 디바이스로서,
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 제1항 내지 제16항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  19. 제1항 내지 제16항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는 전자 디바이스.
  20. 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터-판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은:
    가상 현실 환경을 디스플레이하고;
    상기 전자 디바이스와 물리적 객체 사이의 거리를 결정하고;
    상기 전자 디바이스와 상기 물리적 객체 사이의 상기 거리가 제1 임계 거리 내에 있는지 결정하고;
    상기 거리가 상기 제1 임계 거리 내에 있다는 결정에 따라, 상기 가상 현실 환경에서 시각 효과를 디스플레이하고;
    상기 전자 디바이스와 상기 물리적 객체 사이의 상기 거리가 제2 임계 거리 내에 있는지 결정하고;
    상기 거리가 상기 제2 임계 거리 내에 있다는 결정에 따라, 물리적 환경의 적어도 일부의 시각적 표현을 디스플레이하기 위한 - 상기 시각적 표현은 하나 이상의 카메라들에 의해 제공됨 - 명령어들을 포함하는, 비일시적 컴퓨터-판독가능 저장 매체.
  21. 전자 디바이스로서,
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은:
    가상 현실 환경을 디스플레이하고;
    상기 전자 디바이스와 물리적 객체 사이의 거리를 결정하고;
    상기 전자 디바이스와 상기 물리적 객체 사이의 상기 거리가 제1 임계 거리 내에 있는지 결정하고;
    상기 거리가 상기 제1 임계 거리 내에 있다는 결정에 따라, 상기 가상 현실 환경에서 시각 효과를 디스플레이하고;
    상기 전자 디바이스와 상기 물리적 객체 사이의 상기 거리가 제2 임계 거리 내에 있는지 결정하고;
    상기 거리가 상기 제2 임계 거리 내에 있다는 결정에 따라, 물리적 환경의 적어도 일부의 시각적 표현을 디스플레이하기 위한 - 상기 시각적 표현은 하나 이상의 카메라들을 이용하여 제공됨 - 명령어들을 포함하는, 전자 디바이스.
  22. 전자 디바이스로서,
    가상 현실 환경을 디스플레이하기 위한 수단;
    상기 전자 디바이스와 물리적 객체 사이의 거리를 결정하기 위한 수단;
    상기 전자 디바이스와 상기 물리적 객체 사이의 상기 거리가 제1 임계 거리 내에 있는지 결정하기 위한 수단;
    상기 거리가 상기 제1 임계 거리 내에 있다는 결정에 따라, 상기 가상 현실 환경에서 시각 효과를 디스플레이하기 위한 수단;
    상기 전자 디바이스와 상기 물리적 객체 사이의 상기 거리가 제2 임계 거리 내에 있는지 결정하기 위한 수단; 및
    상기 거리가 상기 제2 임계 거리 내에 있다는 결정에 따라, 물리적 환경의 적어도 일부의 시각적 표현을 디스플레이하기 위한 수단 - 상기 시각적 표현은 하나 이상의 카메라들을 이용하여 제공됨 -을 포함하는, 전자 디바이스.
  23. 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터-판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은:
    상기 전자 디바이스의 디스플레이 상에 가상 현실 환경을 디스플레이하는 동안 - 상기 가상 현실 환경은 지면을 나타내는 표면을 가짐 -, 상기 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리를 결정하고;
    상기 전자 디바이스와 상기 물리적 환경의 상기 물리적 객체 사이의 상기 거리가 임계치 조건을 충족하는지 결정하고;
    상기 거리가 상기 임계치 조건을 충족한다는 결정에 따라, 상기 가상 현실 환경에서 시각 효과를 디스플레이하기 위한 명령어들을 포함하고,
    상기 시각 효과는 상기 물리적 객체와 연관된 거리에 대응하고,
    상기 시각 효과는 상기 가상 현실 환경의 상기 지면 상에 배치되는, 비일시적 컴퓨터-판독가능 저장 매체.
  24. 전자 디바이스로서,
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은:
    상기 전자 디바이스의 디스플레이 상에 가상 현실 환경을 디스플레이하는 동안 - 상기 가상 현실 환경은 지면을 나타내는 표면을 가짐 -, 상기 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리를 결정하고;
    상기 전자 디바이스와 상기 물리적 환경의 상기 물리적 객체 사이의 상기 거리가 임계치 조건을 충족하는지 결정하고;
    상기 거리가 상기 임계치 조건을 충족한다는 결정에 따라, 상기 가상 현실 환경에서 시각 효과를 디스플레이하기 위한 명령어들을 포함하고,
    상기 시각 효과는 상기 물리적 객체와 연관된 거리에 대응하고,
    상기 시각 효과는 상기 가상 현실 환경의 상기 지면 상에 배치되는, 전자 디바이스.
  25. 전자 디바이스로서,
    상기 전자 디바이스의 디스플레이 상에 가상 현실 환경을 디스플레이하는 동안 - 상기 가상 현실 환경은 지면을 나타내는 표면을 가짐 -, 상기 전자 디바이스와 물리적 환경의 물리적 객체 사이의 거리를 결정하기 위한 수단;
    상기 전자 디바이스와 상기 물리적 환경의 상기 물리적 객체 사이의 상기 거리가 임계치 조건을 충족하는지 결정하기 위한 수단; 및
    상기 거리가 상기 임계치 조건을 충족한다는 결정에 따라, 상기 가상 현실 환경에서 시각 효과를 디스플레이하기 위한 수단을 포함하고,
    상기 시각 효과는 상기 물리적 객체와 연관된 거리에 대응하고,
    상기 시각 효과는 상기 가상 현실 환경의 상기 지면 상에 배치되는, 전자 디바이스.
KR1020207008974A 2017-09-29 2018-09-25 물리적 경계 검출 KR102552403B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762566306P 2017-09-29 2017-09-29
US62/566,306 2017-09-29
US201862631048P 2018-02-15 2018-02-15
US62/631,048 2018-02-15
PCT/US2018/052719 WO2019067470A1 (en) 2017-09-29 2018-09-25 PHYSICAL LIMIT DETECTOR

Publications (2)

Publication Number Publication Date
KR20200044102A true KR20200044102A (ko) 2020-04-28
KR102552403B1 KR102552403B1 (ko) 2023-07-07

Family

ID=64017436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207008974A KR102552403B1 (ko) 2017-09-29 2018-09-25 물리적 경계 검출

Country Status (6)

Country Link
US (2) US11127182B2 (ko)
EP (1) EP3688562B1 (ko)
JP (1) JP7029526B2 (ko)
KR (1) KR102552403B1 (ko)
CN (1) CN111279292B (ko)
WO (1) WO2019067470A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102250870B1 (ko) * 2020-09-09 2021-05-11 한국전자기술연구원 가상현실 플랫폼에서의 다중 사용자 충돌 및 이탈 방지를 위한 운용 시스템 및 방법
WO2024029804A1 (ko) * 2022-08-02 2024-02-08 삼성전자 주식회사 장애물 관련 정보를 표시하기 위한 웨어러블 전자 장치, 동작 방법, 및 저장 매체
WO2024043527A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치
WO2024071862A1 (ko) * 2022-09-28 2024-04-04 삼성전자 주식회사 응시점에 기반한 정보 제공을 위한 방법 및 이를 위한 전자 장치

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
WO2019067470A1 (en) 2017-09-29 2019-04-04 Zermatt Technologies Llc PHYSICAL LIMIT DETECTOR
JP2022502771A (ja) * 2018-09-26 2022-01-11 ガーディアン・グラス・エルエルシーGuardian Glass, Llc 基材、コーティングされた物品、絶縁ガラスユニット、及び／又は同様のもののための拡張現実システム及び方法
US11494051B1 (en) 2018-11-01 2022-11-08 Intuit, Inc. Image template-based AR form experiences
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
US12032803B2 (en) 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11615596B2 (en) 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11562528B2 (en) 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11507246B2 (en) * 2020-10-07 2022-11-22 Htc Corporation Method for dynamically showing virtual boundary, electronic device and computer readable storage medium thereof
US11954242B2 (en) 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
WO2022147146A1 (en) * 2021-01-04 2022-07-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11556169B2 (en) 2021-02-11 2023-01-17 Meta Platforms Technologies, Llc Adaptable personal user interfaces in cross-application virtual reality settings
WO2022200249A1 (de) * 2021-03-22 2022-09-29 Manfred Weigl Vorrichtung zur ansteuerung von aktuatoren
US11927756B2 (en) 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same
GB2614539B (en) * 2022-01-05 2024-05-08 Sony Interactive Entertainment Inc Content generation system and method
US20230264697A1 (en) * 2022-02-22 2023-08-24 Toyota Research Institute, Inc. Varying extended reality content based on driver attentiveness
US12005919B2 (en) 2022-02-22 2024-06-11 Toyota Research Institute, Inc. Varying extended reality content based on risk level of a driving environment
JP2023157275A (ja) * 2022-04-14 2023-10-26 キヤノン株式会社 情報処理装置、情報処理システム、表示装置、情報処理方法、プログラム
JP2024027905A (ja) * 2022-08-19 2024-03-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016532178A (ja) * 2013-06-08 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法
KR20170081225A (ko) * 2014-11-05 2017-07-11 밸브 코포레이션 가상 현실 환경에서 사용자를 안내하기 위한 감각 피드백 시스템 및 방법

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2301216A (en) 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US8508363B2 (en) * 2009-05-15 2013-08-13 First Principles, Inc. Systems and methods for permitting movement of an object outside a predetermined proximity distance threshold
JP2011128838A (ja) * 2009-12-17 2011-06-30 Panasonic Corp 画像表示装置
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
JPWO2012124250A1 (ja) 2011-03-15 2014-07-17 パナソニック株式会社 オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9792724B2 (en) * 2013-03-14 2017-10-17 Robert Bosch Gmbh System and method for generation of shadow effects in three-dimensional graphics
US10229523B2 (en) 2013-09-09 2019-03-12 Empire Technology Development Llc Augmented reality alteration detector
EP3098689B1 (en) 2014-01-23 2019-04-03 Sony Corporation Image display device and image display method
JP5851544B2 (ja) * 2014-03-28 2016-02-03 ソフトバンク株式会社 非透過型ヘッドマウントディスプレイ及びプログラム
US9754167B1 (en) * 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10725297B2 (en) * 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US20170061696A1 (en) 2015-08-31 2017-03-02 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US11010972B2 (en) 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
US20170287215A1 (en) 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
EP3443441A1 (en) * 2016-04-12 2019-02-20 R-Stor Inc. Method and apparatus for presenting imagery within a virtualized environment
EP3458938A1 (en) * 2016-05-17 2019-03-27 Google LLC Methods and apparatus to project contact with real objects in virtual reality environments
US20170372499A1 (en) 2016-06-27 2017-12-28 Google Inc. Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
CN106295581A (zh) * 2016-08-15 2017-01-04 联想(北京)有限公司 障碍物检测方法、装置及虚拟现实设备
US10311543B2 (en) 2016-10-27 2019-06-04 Microsoft Technology Licensing, Llc Virtual object movement
US10373385B2 (en) 2016-12-14 2019-08-06 Microsoft Technology Licensing, Llc Subtractive rendering for augmented and virtual reality systems
US10445935B2 (en) 2017-05-26 2019-10-15 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
WO2019067470A1 (en) 2017-09-29 2019-04-04 Zermatt Technologies Llc PHYSICAL LIMIT DETECTOR
US10546426B2 (en) 2018-01-05 2020-01-28 Microsoft Technology Licensing, Llc Real-world portals for virtual reality displays
US11182964B2 (en) 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment
US11132052B2 (en) 2019-07-19 2021-09-28 Disney Enterprises, Inc. System for generating cues in an augmented reality environment
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
CA3159297A1 (en) 2019-12-09 2021-06-17 Jr. Darrell Eugene Holton Oral products with controlled release

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016532178A (ja) * 2013-06-08 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法
KR20170081225A (ko) * 2014-11-05 2017-07-11 밸브 코포레이션 가상 현실 환경에서 사용자를 안내하기 위한 감각 피드백 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102250870B1 (ko) * 2020-09-09 2021-05-11 한국전자기술연구원 가상현실 플랫폼에서의 다중 사용자 충돌 및 이탈 방지를 위한 운용 시스템 및 방법
WO2024029804A1 (ko) * 2022-08-02 2024-02-08 삼성전자 주식회사 장애물 관련 정보를 표시하기 위한 웨어러블 전자 장치, 동작 방법, 및 저장 매체
WO2024043527A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치
WO2024071862A1 (ko) * 2022-09-28 2024-04-04 삼성전자 주식회사 응시점에 기반한 정보 제공을 위한 방법 및 이를 위한 전자 장치

Also Published As

Publication number Publication date
JP7029526B2 (ja) 2022-03-03
KR102552403B1 (ko) 2023-07-07
EP3688562A1 (en) 2020-08-05
WO2019067470A1 (en) 2019-04-04
JP2020536305A (ja) 2020-12-10
US11734867B2 (en) 2023-08-22
US20220108508A1 (en) 2022-04-07
US11127182B2 (en) 2021-09-21
US20200258278A1 (en) 2020-08-13
CN111279292B (zh) 2022-06-14
EP3688562B1 (en) 2024-11-13
CN111279292A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
KR102552403B1 (ko) 물리적 경계 검출
US11756269B2 (en) Tangibility visualization of virtual objects within a computer-generated reality environment
US11810244B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11340756B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11615596B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11842449B2 (en) Presenting an environment based on user movement
KR20200046089A (ko) 프라이버시 스크린
US11222454B1 (en) Specifying effects for entering or exiting a computer-generated reality environment
US20240062487A1 (en) Presenting an environment based on user movement
KR20200138376A (ko) 설정을 중심으로 한 이동
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US12148111B2 (en) Tangibility visualization of virtual objects within a computer-generated reality environment
US12147607B1 (en) Transitioning between environments
CN117331434A (zh) 在3d环境内定位内容

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant