[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20140083015A - 휴대용 디바이스, 가상 현실 시스템 및 방법 - Google Patents

휴대용 디바이스, 가상 현실 시스템 및 방법 Download PDF

Info

Publication number
KR20140083015A
KR20140083015A KR1020147012348A KR20147012348A KR20140083015A KR 20140083015 A KR20140083015 A KR 20140083015A KR 1020147012348 A KR1020147012348 A KR 1020147012348A KR 20147012348 A KR20147012348 A KR 20147012348A KR 20140083015 A KR20140083015 A KR 20140083015A
Authority
KR
South Korea
Prior art keywords
user
virtual
world
real world
processing unit
Prior art date
Application number
KR1020147012348A
Other languages
English (en)
Other versions
KR101670147B1 (ko
Inventor
크리스토퍼 무슬러
스테판 오토
니콜라스 뷔트
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20140083015A publication Critical patent/KR20140083015A/ko
Application granted granted Critical
Publication of KR101670147B1 publication Critical patent/KR101670147B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/205—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform for detecting the geographical location of the game platform
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6615—Methods for processing data by generating or executing the game program for rendering three dimensional images using models with different levels of detail [LOD]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

휴대용 디바이스는 실제 세계에 있는 휴대용 디바이스의 사용자의 시선 방향을 결정하도록 구성되는 시선 방향 센서 및 실제 세계에 있는 사용자의 위치를 결정하도록 구성되는 위치 결정기를 포함한다. 또한, 휴대용 디바이스는, 실제 세계에 있는 사용자의 시선 방향 및 사용자의 위치에 기반하여, 실제 세계의 3D 좌표 시스템에서의 시선 방향의 변화가 가상 세계의 3D 좌표 시스템에서의 시선 방향의 변화를 야기하는, 가상 세계를 생성하도록 구성되는 프로세싱 유닛(105)을 포함한다. 휴대용 디바이스는 실제 세계의 뷰를 차단하면서 사용자에게 생성된 가상 세계를 디스플레이하도록 구성되는 디스플레이를 더 포함한다.

Description

휴대용 디바이스, 가상 현실 시스템 및 방법{PORTABLE DEVICE, VIRTUAL REALITY SYSTEM AND METHOD}
본 발명의 실시예들은 휴대용 디바이스에 관한 것이다. 본 발명의 추가적인 실시예들은 가상 현실 시스템에 관한 것이다.
지금까지는, 2가지의 주요한 문제점들로 인하여 사용자가 실제로 있는 것 같은 가상 환경에서 행동하고 이동할 수 있는 1인칭(first person) 게임들을 구현하는 것이 가능하지 않다. 첫번째로, 충분히 정확하게 사물의 시선 방향(viewing direction)을 결정하는 것이 가능하지 않았다. 두번째로, 사물들의 로컬화(localization)가 알려진 시스템들을 통해 몇 센티미터(a couple of centimeters)의 방식으로 정밀하게 수행될 수 없다. 추가적으로, 시스템과의 실제 상호작용을 전달하기 위해 프로세싱 시간들은 최소화되어야 한다. 세번째로, 현재의 접근 방식들은, 예를 들어, 트레드밀(treadmill)로부터의 소위 2D 사이버 워크(Cyber Walk) 플랫폼이나 항공학 또는 자동차 분야에서 알려져 있는 시뮬레이터들과 같은 다소 제한된 하드웨어 설비들을 적용한다.
이러한 사이버 워크 플랫폼은 바닥(floor)에 대한 그라운드 제어들과 머리에 육중한 전자 디바이스들이 설치되어야 하기 때문에 매우 비-플렉서블(inflexible)하다. 또한, 다른 사용자들과의 상호작용은 참여하고 있는 임의의 사람에 대하여 이러한 설비를 요구할 것이다.
본 발명의 목적은 사용자에게 완전하게 가상 환경 또는 가상 세계에 상주하는(residing) 임프레션(impression)을 전달할 수 있는 개념을 만드는 것이다.
이러한 목적은 청구항 제1항에 따른 휴대용 디바이스 및 청구항 제18항에 따른 방법에 의해 해결된다.
본 발명의 실시예들은 휴대용 디바이스를 창작하며, 상기 휴대용 디바이스는 실제 세계에 있는 휴대용 디바이스의 사용자의 시선 방향(viewing direction)을 결정하도록 구성되는 시선 방향 센서를 포함한다. 또한, 상기 휴대용 디바이스는 실제 세계에 있는 상기 사용자의 위치를 결정하도록 구성되는 위치 결정기를 포함한다. 또한, 상기 휴대용 디바이스는, 상기 실제 세계에 있는 상기 사용자의 시선 방향 및 상기 사용자의 위치에 기반하여, 상기 실제 세계의 3D 좌표 시스템에서의 상기 시선 방향의 변화가 가상 세계의 3D 좌표 시스템에서의 시선 방향의 변화를 야기하는, 가상 세계를 생성하도록 구성되는 프로세싱 유닛을 포함한다. 또한, 상기 휴대용 디바이스는 상기 실제 세계의 뷰(view)를 차단(block)하면서 상기 사용자에게 생성된 가상 세계를 디스플레이하도록 구성되는 디스플레이를 포함한다.
이것은 (실제 세계에 있는 사용자의 시선 방향 및 위치와 같은) 상이한 센서 정보가 가상 세계를 창조하기 위해 결합될 때, 또한 실제 세계의 뷰가 차단되는 동안 가상 세계가 사용자에게 디스플레이될 때, 휴대용 디바이스가 사용자에게 완전하게 가상 세계에 상주하는 임프레션을 전달할 수 있는 본 발명의 실시예들에 대한 아이디어이다. 그리하여, 실제 세계에 있는 사용자의 움직임은 휴대용 디바이스에 의해 검출될 수 있고 가상 세계에서의 사용자의 움직임으로 포팅(ported)(또는 전달)될 수 있다. 사용자의 실제 세계의 뷰를 차단함으로써 휴대용 디바이스는 사용자가 완전하게 가상 세계에 상주한다는 임프레션을 전달할 수 있다.
그리하여, 휴대용 디바이스는, 사용자가 자유롭게 이동할 수 있고 상호작용할 수 있는, 온도, 날씨 및 시간 독립적인 가상 현실 또는 가상 세계의 시뮬레이션을 가능하게 한다. 그리하여, 휴대용 디바이스는 다수의 이러한 휴대용 디바이스들을 포함하는 가상 현실 시스템의 일례에서 하나보다 많은 사용자들의 통합을 가능하게 한다. 일례로서, 각각의 사용자는 자신의 휴대용 디바이스를 휴대할 수 있으며, 이러한 휴대용 디바이스는 다른 휴대용 디바이스들과 직접적으로 또는 외부 통신 유닛에 의해 통신할 수 있다.
몇몇 실시예들에 따르면, 휴대용 디바이스는 사용자에 의해 자신의 손에 휴대될 수 있는 핸드헬드 디바이스일 수 있다. 휴대용 디바이스의 디스플레이는, 예를 들어, 사용자가 디스플레이를 또한 포함하는 하나의 디바이스를 단지 손에 휴대하도록, 프로세싱 유닛, 위치 결정기 및 시선 방향 센서와 함께 하나의 하우징 내에 존재할 수 있다. 또한, 디스플레이는 시선 방향 센서, 위치 결정기 및 프로세싱 유닛과 상이한 하우징 내에 존재할 수 있다. 예를 들어, 프로세싱 유닛은 무선 통신 인터페이스 또는 유선 통신 인터페이스에 의해 디스플레이로 연결될 수 있다. 일례로서, 휴대용 디바이스는 디스플레이를 포함하는, 글래스(glass)들을 포함할 수 있다.
추가적인 실시예들에 따르면, 완전한 휴대용 디바이스는, 예를 들어, 사용자가 휴대용 디바이스를 자신의 손에 휴대할 필요는 없지만 자신의 머리 위에 그것을 착용할 수 있도록, 글래스들로 통합될 수 있다.
앞에서 언급된 바와 같이, 디스플레이는 실제 세계의 뷰를 차단함으로써 사용자에게 생성된 가상 세계를 디스플레이하도록 구성된다. 몇몇 실시예들에 따르면, 디스플레이는 디스플레이를 통해 실제 세계의 뷰를 차단할 수 있으며, 이는 디스플레이가 실제 세계가 아니라 오직 가상 세계를 보여준다는 것을 의미한다. 이것은, 가상 엘리먼트들이 실제 세계의 뷰에서 가상적으로 배치되는, 증강 현실 시스템들과 상당히 상이하다.
다시 말하면, 사용자는 디스플레이를 응시하지 않을 때에만 실제 세계를 볼 수 있다.
추가적인 실시예들에 따르면, 예를 들어, 디스플레이가 글래스들에 포함되는 실시예들에서, 사용자가 디스플레이를 직접적으로 응시하지 않고 있을 때에도 글래스들을 착용한 사용자의 실제 세계의 뷰가 차단되도록, 디스플레이 및 글래스들이 구성될 수 있다.
실시예들이 (예를 들어, 시선 방향 센서 및 위치 결정기로부터의) 실제의 정확한 센서 데이터에 기반하여 완전하게 가상으로 생성된 환경을 제공하는 시스템 또는 휴대용 디바이스를 제공하는 것이 본 발명의 장점이다. 이것은 사용자가 물리적으로 실제 환경에서 활동하지만 가상 환경을 보고 상호작용하는 것을 가능하게 한다. 사용자는 실제로 존재하는 것 같은 가상 환경에서 활동하고 이동할 수 있다. 그러므로, 사용자는 자신 혼자서 (자신이 집에 있는 워크스테이션에서 최근에 플레이한) 게임들을 플레이할 수 있고, 스크린 상의 아바타를 제어함이 없이 자신 스스로 활동하고 이동할 수 있다.
본 발명의 실시예들은 아래에서 상세하게 설명될 것이다.
도 1은 본 발명의 일 실시예에 따른 휴대용 디바이스의 블록 다이어그램을 도시한다.
도 2는 도 1로부터의 휴대용 디바이스의 애플리케이션에 대한 일례의 삽화를 도시한다.
도 3은 본 발명의 일 실시예에 따른 가상 현실 시스템의 블록 다이어그램을 도시한다.
도 4는 본 발명의 추가적인 실시예에 따른 가상 현실 시스템의 블록 다이어그램을 도시한다.
도 5는 본 발명의 일 실시예에 따른 방법의 플로우 다이어그램을 도시한다.
첨부되는 도면들을 이용하여 본 발명의 실시예들이 상세하게 설명되기 전에, 동일한 엘리먼트들 또는 동일한 기능을 갖는 엘리먼트들에는 동일한 참조 번호들이 제공되고 동일한 참조 번호들로 제공되는 엘리먼트들의 반복된 설명은 생략되어 있다는 것을 유의하도록 한다. 그리하여, 동일한 참조 번호들을 가지는 엘리먼트들에 대하여 제공되는 설명들은 상호 간에 교환가능하다.
도 1은 본 발명의 일 실시예에 따른 휴대용 디바이스(100)의 블록 다이어그램을 도시한다. 휴대용 디바이스(100)는 시선 방향 센서(101), 위치 결정기(103), 프로세싱 유닛(105) 및 디스플레이(107)를 포함한다. 시선 방향 센서(101)는 실제 세계에 있는 휴대용 디바이스(100)의 사용자의 시선 방향(111)을 결정하도록 구성된다.
위치 결정기(103)는 실제 세계에 있는 사용자의 위치(113)를 결정하도록 구성된다. 프로세싱 유닛(105)은 - 실제 세계에 있는 사용자의 결정된 위치(113) 및 사용자의 시선 방향(111)에 기반하여 - 실제 세계의 3D 좌표 시스템에서의 시선 방향(111)의 변화가 가상 세계의 3D 좌표 시스템에서의 시선 방향의 변화를 야기하는 가상 세계를 생성하도록 구성된다.
또한, 디스플레이는 (예를 들어, 디스플레이(107)를 통해) 실제 세계의 뷰를 차단하면서 사용자에게 생성된 가상 세계를 디스플레이하도록 구성된다.
본 출원의 도입부에서 설명된 바와 같이, 휴대용 디바이스(100)는 (시선 방향 센서(101) 및 위치 결정기(103)로부터의) 실제의 정확한 센서 데이터에 기반하여 완전하게 가상으로 생성된 환경 또는 세계를 제공할 수 있으며, 그 결과 사용자는 실제 환경 또는 세계에서 물리적으로 활동할 수 있지만 가상 환경 또는 세계를 보고 상호작용할 수 있다. 사용자는 실제로 존재하는 것 같은 가상 환경 또는 세계에서 활동하거나 또는 이동할 수 있다. 그러므로, 사용자는 자신 혼자서 (자신이 집에 있는 워크스테이션에서 최근에 플레이한) 게임들을 플레이할 수 있고, 스크린 상의 아바타를 제어함이 없이 자신 스스로 활동하고 이동할 수 있다.
시선 방향은 마이크로전자기계 시스템들(MEMS), 이러한 경우 주로 자이로스코프들에 의해 충분히 정확하게 도출될 수 있다는 것이 알려져 있다. 이러한 자이로스코프들은 방위(orientation)의 각변화를 결정하는데 사용될 수 있다. (자이로스코프로부터의) 센서 정보는 느린 자력계(magnetometer)(자력계는 자력계의 특성에 기인하여 느림) 및 관성 센서들와 결합되며, 시선 방향 센서(101)는 빠른 움직임들 또는 방향 변화들에서도 매우 정확하게 시선 방향(111)을 도출할 수 있다.
다시 말하면, 시선 방향 센서(101)는 하나의 타입의 센서 또는 다수의 상이한 타입들의 센서들을 포함할 수 있으며, 이에 기반하여 시선 방향 센서는 시선 방향(111)을 결정한다. 일례로서, 시선 방향 센서(101)는 실제 세계에 있는 사용자의 움직임들을 도출하기 위해 자이로스코프 센서, 가속도계 센서 및/또는 자력계 센서를 포함할 수 있으며, 자이로스코프 센서 데이터, 가속도계 센서 데이터 및/또는 자력계 센서 데이터에 기반하여 시선 방향(111)을 도출하도록 구성될 수 있다. 이것은 실제 세계에 있는 사용자의 시선 방향(111)의 매우 정확한 결정을 가능하게 한다. 위에서 설명된 바와 같이, 프로세싱 유닛(105)은 실제 세계의 3D 좌표 시스템에서의 시선 방향의 변화가 가상 세계의 3D 좌표 시스템에서의 시선 방향의 변화를 야기하도록 가상 세계를 생성하도록 구성된다. 그리하여, 시선 방향 센서(101)는 3차원 방식으로 사용자의 시선 방향을 결정하고, 이러한 시선 방향은 그 다음에 프로세싱 유닛(105)에 의해 3차원 가상 세계로 포팅될 수 있다는 것이 보여질 수 있다. 다시 말하면, 시선 방향 센서(101)는 수평 방향으로 사용자의 회전을 결정할 수 있을 뿐만 아니라 또한 수직 방향으로 시선 방향(111)의 변화를 결정하도록 구성된다. 그에 따라, 프로세싱 유닛(105)은 수평 방향으로 그리고 수직 방향으로 시선 방향(111)의 변화를 생성된 가상 세계로 포팅하도록 구성되며, 예를 들어, 그 결과 실제 세계에서 수평 방향으로의 시선 방향(111)의 변화는 가상 세계에서 수평 방향으로의 시선 방향의 변화(예를 들어, 정렬된 변화)를 야기하고 실제 세계에서 수직 방향으로의 시선 방향(111)의 변화는 가상 세계에서 수직 방향으로의 시선 방향의 변화(예를 들어, 정렬된 변화)를 야기한다. 또는 다시 말하면, 몇몇 실시예들에 따라, 가상 세계에서의 사용자의 시선 방향의 변화는 실제 세계에서의 사용자의 시선 방향(111)으로 정렬되거나 또는 적어도 실제 세계에서의 사용자의 시선 방향(111)에 비례할 수 있다.
그리하여, 사용자는 가상 세계에서의 3차원 방식의 시선 방향의 변화를 발생시키는 3차원 방식으로 자신의 시선 방향을 변경함으로써 실제 세계에서와 같이 가상 세계와 상호작용할 수 있다.
또한, 프로세싱 유닛(105)은 실제 세계의 3D 좌표 시스템에서의 사용자의 위치의 변화가 가상 세계의 3D 좌표 시스템에서의 사용자의 위치의 변화를 야기하도록 가상 세계를 생성하도록 구성될 수 있다. 다시 말하면, (예를 들어, 위치 결정기(103)에 의해 결정되는) 실제 세계에 있는 사용자의 위치(113)의 변경시에, 프로세싱 유닛(105)은 가상 세계에서의 사용자의 위치의 변경을 시뮬레이션할 수 있다.
몇몇 실시예들에 따르면 가상 세계에서의 사용자의 위치의 변경은 실제 세계에 있는 사용자의 위치(113)의 변경으로 정렬되거나 또는 적어도 실제 세계에 있는 사용자의 위치(113)의 변경에 비례할 수 있다.
다시 말하면, 프로세싱 유닛(105)은 (핸드헬드 디바이스일 수 있는) 휴대용 디바이스(100)의 위치, 그러므로 사용자의 위치 및 정확하게 그 지점에서의 시선 방향(111)을 도출하기 위해 시선 방향 센서(101)로부터의 센서 데이터와 위치 결정기(103)로부터의 위치 데이터를 결합하도록 구성된다.
본 발명의 몇몇 실시예들에 따르면, 위치 결정기(103)는, 특히 GPS 시스템들과 비교될 때, 높은 정밀도(precision)로 사용자의 위치(113) 검출을 가능하게 하는 실시간 위치 시스템(RTLS) 센서일 수 있다. 또한, 이러한 RTLS 시스템들의 사용은 GPS로 커버되지 않는 영역들(예를 들어, 집들 또는 GPS 위성들과의 컨택이 없는 다른 영역들)에서 휴대용 디바이스(100)의 사용을 가능하게 한다.
몇몇 실시예들에 따르면, (예를 들어, 결정된 위치(113)에 대하여) 위치결정 시스템들에 대한 측정 에러는 수 센티미터에 대하여 수용가능하다.
몇몇 실시예들에 따르면, 예를 들어, 도 4에 따른 가상 현실 시스템과 관련하여 설명되는 바와 같이, 휴대용 디바이스(100)의 실제 위치(113)가 가상 환경 또는 가상 세계에서 오버레이(overlay)될 수 있도록 (이러한 가상 현실 시스템이 전송기들을 통해 위치결정을 수행할 수 있는 영역인) 움직임 영역이 조사될 수 있다. 머리 위에 직접 휴대용 디바이스(100)(또는 시선 방향 센서(101) 및 위치 결정기(103)와 같은 단지 모션 센서들)를 착용함으로써, 사람은 실제 세계에 있는 것처럼 가상 현실 또는 가상 세계에서 자신의 손을 회전시키고 둘러볼 수 있다. 앞에서 설명된 바와 같이, 위치 결정기(103)는 실시간 위치결정 시스템에 기반할 수 있다. 일례로서, 위치 결정기(103)는 휴대용 디바이스(100)에 대한 움직임 영역을 조사하고 휴대용 디바이스(100)의 위치(113)를 위치 결정기(103)로 전송하는 외부(예를 들어, 지상(terrestrial)) 통신 유닛과 통신하도록 구성될 수 있다. 휴대용 디바이스(100)의 위치(113)를 결정하기 위해 휴대용 디바이스(100)는 전자 (위치결정가능한) 태그(115)(또는 트랜스폰더(transponder))를 포함할 수 있으며, 전자 태그의 위치(113)는 외부 통신 유닛에 의해 결정될 수 있다. (이상적으로 또한 머리 위에 설치되는) 로컬화가능한 전자 태크(115)에 의해 사람 또는 사용자는 이동할 수 있고 휴대용 디바이스(100)는 디스플레이(107) 상에서 가상 세계 또는 환경에서 올바른 위치로부터 이미지를 렌더링할 수 있다.
요약을 위해, 휴대용 디바이스(100)는 외부 통신 유닛에 의해 위치결정되는 전자 태그(115)를 포함할 수 있으며 위치 결정기(103)는 외부 통신 유닛으로부터 수신되는 통신 신호에 기반하여 실제 세계에 있는 사용자의 위치(113)를 결정하도록 구성된다. 일례로서, 외부 통신 유닛은 도달 시간 차이(TDoA), 도달 시간(ToA), 도달 방향(DoA) 또는 측정된 RSS(RSS - 수신 신호 강도)를 수행할 수 있으며 이러한 측정들 중 하나 이상에 기반하여 휴대용 디바이스(100)의 위치(113)를 결정할 수 있으며 통신 신호로서 위치(113)를 위치 결정기(103)로 전송할 수 있다.
그리하여, 본 발명의 몇몇 실시예들에서, 위치 결정기(103)는 WLAN 인터페이스(WLAN - 무선 로컬 영역 네트워크)와 같은 통신 인터페이스 또는 유닛으로서 구현될 수 있다.
추가적인 실시예들에 따르면, 위치 결정기는, 예를 들어, LTE(롱 텀 에볼루션), UMTS(통합된 모바일 원격통신 표준) 또는 GSM(모바일 통신을 위한 글로벌 시스템) 인터페이스와 같은 모바일 통신 인터페이스일 수 있다.
본 발명의 몇몇 실시예들에 따르면, 전자 태그(115)의 기능성은 위치 결정기(103)의 기능성과 독립적일 수 있다. 일례로서, 전자 태그(115)는 패시브 RFID 태그와 같은, 자체 전압 전원을 가지지 않는, 소위 패시브 태그일 수 있다. 다시 말하면, 전자 태그(115)는 휴대용 디바이스(100)의 다른 컴포넌트들로부터 전기적으로 연결해제(de-couple)될 수 있으며 휴대용 디바이스(100)의 다른 컴포넌트들과는 상이한 하우징 내에 배치될 수도 있다.
추가적인 실시예들에 따르면, 전자 태그(115)는 자체 전압 전원을 가지거나 또는 휴대용 디바이스(100)의 컴포넌트들 중 나머지와 전압 전원을 공유하는 액티브 태그일 수 있다. 이러한 경우에서도, 전자 태그(115) 및 위치 결정기(103) 모두는 단지 외부 통신 유닛과 통신할 수 있기 때문에, 전자 태그(115)의 기능성은 위치 결정기(103)의 기능성과 독립적일 수 있으며, 예를 들어, 전자 태그(115) 및 위치 결정기(103)는 서로에 대하여 통신이 가능하지 않을 수 있다. 본 발명의 매우 용이한 실시예에서 전자 태그(115)는 외부 통신 유닛으로부터의 유효한 웨이크업 신호를 수신시에 시리얼 넘버를 송신하는 소위 판독 전용 트랜스폰더일 수 있다. 외부 통신 유닛은 시리얼 넘버를 수신할 수 있고, 전자 태그(115)의 위치(113) 및 그러므로 사용자의 위치를 결정하기 위해 이전에 설명된 바와 같이 위치결정 측정들을 수행할 수 있고, 이러한 위치(113)를 휴대용 디바이스(100)의 위치 결정기(103)로 전송할 수 있다.
일례로서, (시선 방향 센서(101), 위치 결정기(103), 디스플레이(107) 및 프로세싱 유닛(105)과 같은) 전자 태그(115) 이외의 휴대용 디바이스(100)의 모든 컴포넌트들은 모바일 폰(예를 들어, 소위 스마트 폰)의 일부일 수 있으며, 전자 태그(115)는 (외부적으로) 모바일 폰에 마운팅된다. 다시 말하면, 전자 태그(115)(또는 "위치 송신기")는 휴대용 디바이스(100)의 나머지로부터 분리된다. 이것은 손쉽고 비용이 저렴한 구현의 장점이다. 이러한 모바일 폰에서 위치 결정기(103)는 위치 정보 및 다른 데이터를 수신하기 위해 모바일 폰의 WLAN 인터페이스 또는 UMTS 인터페이스를 이용하여 구현될 수 있다. 사용자의 위치(113)를 결정하기 위해 WLAN 및 RTLS 시스템을 사용하는 경우에, 이러한 경우에서 2.4GHz 표준은 RTLS 시스템과 충돌하기 때문에 몇몇 실시예들은 5 GHz WLAN으로 제한된다는 것을 유의하도록 한다. 또한, 위치 정보를 수신하기 위한 UMTS의 이용은 200 ms까지의 높은 지연을 야기할 수 있다.
추가적인 실시예들에 따르면, 디스플레이(107)는, 예를 들어, 케이블의 사용에 의해 프로세싱 유닛(105)으로 연결되는 외부 디스플레이일 수 있다. 다시 말하면, 디스플레이(107)는 반드시 모바일 폰의 전형적인 디스플레이가 아닐 수 있으나, 예컨대 글래스들을 포함하는 외부 디스플레이일 수 있다.
또한, 디스플레이(107)는 휴대용 디바이스(100)가 2개의 이미지들을 렌더링하고 이들을 글래스들 상에 디스플레이하도록 프로세싱 유닛(105)으로 연결가능한 3D 가상 현실 글래스들을 포함할 수 있다.
추가적인 실시예들에 따르면, 휴대용 디바이스(100)는 스피커(117) 또는 스피커를 위한 커넥터(117)를 포함할 수 있다. 프로세싱 유닛(105)은, 예를 들어, 실제 세계 또는 가상 세계에서의 사용자의 위치 및/또는 시선 방향에 의존하여 스피커(117) 또는 스피커를 위한 커넥터(117)로 오디오 신호(119)를 제공하도록 구성될 수 있다.
디스플레이(107)와 관련하여, 실제 세계에 있는 사용자의 위치(113) 및 시선 방향(111)에 의존하여, 음향 시각 효과들이 매우 현실적으로 수행될 수 있다. 일례로서, 헤드폰들은 휴대용 디바이스(100)에서 커넥터(117)로 연결될 수 있다. 그러므로, 휴대용 디바이스(100) 또는 핸드헬드는 오디오 효과들을 생성할 수 있고 이것을 실제와 같이 귀로 전송할 수 있다. 예를 들어, (가상) 폭포를 향하여 가는 귀가 다른 귀보다 더 높은 진폭의 소리를 수신하도록 폭포수 소리가 변조된 방식으로 핸드헬드 상에서 생성될 수 있다(또는 메모리로부터 재생될 수 있다).
요약하기 위해, 프로세싱 유닛(105)은 실제 세계에 있는 사용자의 위치(113) 및/또는 시선 방향(111)에 기반하여 스피커(117) 또는 커넥터(117)에 연결된 스피커에서 소리들을 생성하도록 구성될 수 있다.
추가적인 실시예들에 따르면, 휴대용 디바이스(100)는 실제 세계에서의 환경 조건(123)을 결정하도록 구성되는 환경 조건 센서(121)를 포함할 수 있다. 실제 세계에서의 환경 조건(123)의 변화가 생성된 가상 세계에서의 변화를 야기하도록 프로세싱 유닛(105)은 환경 조건(123)에 기반하여 가상 세계를 생성하도록 추가적으로 구성될 수 있다. 일례로서, 환경 조건 센서(121)는 광 및/또는 온도 센서일 수 있다. 휴대용 디바이스(100)의 이러한 광 및/또는 온도 센서를 사용함으로써 가상 현실 또는 가상 세계는 또한 먼저 현재의 주간(daytime) 및 태양 복사를 갖는 실재를 렌더링하도록 의도될 수 있다. 그래서, 예를 들어, 실제 세계에서의 현재 온도가 매우 더우면, 가상 현실은 이러한 조건에 따라 렌더링될 수 있다.
추가적인 실시예들에 따르면, 결정된 환경 조건(123)은 공기 습도, 공기 압력, 온도, (밝음 또는 어두움과 같은) 광 조건, 가속, 자기장(자기장의 강도), (예를 들어, 자이로스코프에 의해 결정되는) 상대적인 방위, 바람 강도, 냄새, 소리 또는 360도 거리 측정일 수 있다.
다시 말하면, 환경 조건 센서(121)는 공기 습도 센서, 공기 압력 센서, 온도 센서, 광 센서, 가속도 센서, 자기장 센서, 상대적인 방위 센서(예를 들어, 자이로스코프), 바람 강도 센서, 냄새 센서, (하나 이상의 마이크로폰(들)과 같은) 소리 센서 또는 360도 거리 센서일 수 있다.
몇몇 실시예들에 따르면, 결정된 환경 조건(123)은 실제 세계의 온도 또는 공기 습도와 같이 실제 세계의 사용자에 대하여 보여지지 않을 수 있다. 프로세싱 유닛(105)은 생성된 가상 세계에서 결정된 환경 조건(123)을 그래픽적으로 가시화하도록 구성될 수 있다. 일례로서, 실제 세계의 온도가 매우 높고 습도가 매우 낮으면, 프로세싱 유닛(105)은 사용자가 가상적으로 이동하는 사막을 시뮬레이션함으로써 이러한 환경 조건(123)을 그래픽적으로 가시화할 수 있다. 다른 예로서, 높은 온도 및 높은 공기 습도의 경우에, 프로세싱 유닛(105)은 사용자가 가상적으로 이동하는 우림을 시뮬레이션함으로써 이러한 결정된 환경 조건(123)을 그래픽적으로 가시화할 수 있다.
추가적인 실시예들에 따르면, 프로세싱 유닛(105)은 실제 세계에 있는 물체들이 위치하는 실제 세계의 3D 좌표 시스템에 있는 위치들에 대응하는 가상 세계의 3D 좌표 시스템의 위치들에서 가상 세계의 가상 물체들을 생성하도록 구성될 수 있다. 이러한 기능성은 휴대용 디바이스(100)의 짧은 적용 예를 이용하여 아래에서 설명될 것이다.
휴대용 디바이스(100)는, 예를 들어, 게임 애플리케이션들에서 사용될 수 있으나, 또한 보안 중요 애플리케이션들에서 사용될 수 있다.
일례로서, 화재 비상 사태의 경우에, 소방관은 불타는 빌딩 내에서 네비게이션을 위한 휴대용 디바이스(100)를 구비할 수 있다. 휴대용 디바이스(100)(예를 들어, 프로세싱 유닛(105))는 불타는 빌딩의 완전한 가상 복제를 생성하도록 구성될 수 있으며, 그 결과 소방관은 자신의 디스플레이(107)를 통해 가상 세계를 보면서 빌딩 내의 실제 세계에서 이동할 수 있다. 이것의 장점은 빌딩에서의 화재로 인하여 가시성이 매우 나쁘더라도 소방관이 휴대용 디바이스(100)의 지원을 받아 빌딩 내에서 여전히 네비게이팅할 수 있다는 점이다. 실제 세계에 있는 물체들, 예를 들어, 문들 및 계단들은 프로세싱 유닛(105)에 의해 가상 세계에서 시뮬레이션된다. 다시 말하면, 프로세싱 유닛(105)은 실제 세계(실제 빌딩)의 3D 좌표 시스템에서 (실제 위치들)에 대응하는 가상 세계의 3D 좌표 시스템의 위치들에서 가상 빌딩의 3D 좌표 시스템에 있는 가상 세계의 가상 물체들, 예를 들어, 가상 계단들 또는 가상 문들을 생성한다.
다시 말하면, 프로세싱 유닛(105)은 - 물체 데이터베이스에 기반하여 - 사용자가 활동하는 실제 세계의 가상적 재생성으로서 가상 세계를 생성하도록 구성될 수 있다.
일례로서, 실제 세계의 3D 좌표 시스템에 있는 실제 물체들 및 이들의 위치들은 휴대용 디바이스(100) 내에 또는 예컨대 집중화된 서버에 있는 위에서 설명된 외부 통신 유닛 내에 배치될 수 있는 물체 데이터베이스에 저장될 수 있다. 프로세싱 유닛(105)은 물체 데이터베이스에 기반하여 가상 물체들을 생성하도록 구성될 수 있다. 또한, 이전에 설명된 바와 같이 프로세싱 유닛(105)은 생성된 가상 세계에서 결정된 환경 조건(123)을 가시화하도록 구성될 수 있다. 이러한 예에서, 프로세싱 유닛(105)은 소방관이 닫힌 문 뒤에 높은 온도 소스가 위치한다는 것을 알게 되도록, 예를 들어, 적색 문을 시뮬레이션하여, 상이한 색상들을 통해, 예컨대 닫힌 문들 뒤에 있는 뜨거운 영역들을 시뮬레이션할 수 있다.
이러한 설명된 애플리케이션에서, 전형적으로 실제 세계에 있는 실제 물체들은 실제 세계의 실제 물체들과 유사하거나 또는 동등한 가상 세계의 가상 물체들로 프로세싱 유닛(105)에 의해 복제된다.
추가적인 실시예들에 따르면, 예를 들어, 게임 애플리케이션에서, 프로세싱 유닛(105)은 실제 세계에 있는 실제 물체를 가상 세계의 가상 물체로 교체하도록 구성될 수 있으며, 그 결과 실제 세계의 실제 물체를 교체하는 가상 세계의 가상 물체는 실제 세계의 실제 물체와 유사한 사용자 행동(user behavior)을 야기할 것이다. 이러한 예는 도 2에 도시된다.
도 2에 도시된 예는 게임 애플리케이션일 수 있다. 이러한 예에서 사용자는 실제 세계의 3D 좌표 시스템에서 이동하고 있다. 실제 세계의 3D 좌표 시스템은, 서로에 대하여 모두 수직한, x-성분, y-성분 및 z-성분을 가지는 3차원 벡터에 의해 기술될 수 있다. 그리하여, 실제 세계에 있는 사용자의 시선 방향 및 위치는 3차원 xyz 벡터에 의해 기술될 수 있다. 가상 세계의 3D 좌표 시스템은, 서로에 대하여 모두 수직한, x'-성분, y'-성분 및 z'-성분을 가지는 3차원 벡터에 의해 기술될 수 있다. 그리하여, 가상 세계에 있는 사용자의 시선 방향 및 위치는 3차원 x'y'z' 벡터에 의해 기술될 수 있다.
위에서 설명된 바와 같이, 가상 세계에 있는 사용자의 위치 및/또는 시선 방향의 변화들은 실제 세계에 있는 사용자의 위치 및/또는 시선 방향의 변화들로 정렬될 수 있다.
도 2에 도시된 예에서, 실제 물체들(201)을 나타내는 나무들이 도시된다. 이러한 실제 물체들(201)은 휴대용 디바이스(100)의 프로세싱 유닛(105)에 의해 실제 물체들(201)과 유사한 사용자 행동을 야기하는 하나 이상의 가상 물체(들)(203)로 교체될 수 있다. 도 2에 도시된 예에서 프로세싱 유닛(105)은 실제 나무들(201)을 가상 벽(203)으로 대체한다. 이러한 가상 벽(203)은 실제 나무들(201)과 같은 유사한 사용자 행동을 야기하며, 예를 들어, 사용자는 나무로 달려가는 것을 회피할 것이며 또한 벽으로 달려가는 것을 회피할 것이다. 실제 물체들(201)(도 2의 예에서 나무들(201))은 실제 세계에 있는 위치들과 함께 물체 데이터베이스에 저장될 수 있으며, 그 결과 프로세싱 유닛(105)은 물체 데이터베이스에 기반하여 가상 물체들(예를 들어, 벽(203))을 생성할 수 있다. 또한, 프로세싱 유닛(105)은 사용자가 플레이하는 게임에 따라 가상 세계를 생성하도록 구성될 수 있으며, 그 결과 프로세싱 유닛(105)이 가상 세계를 생성하는 방식은 사용자가 플레이하는 상이한 게임들에 대하여 또는 사용자가 플레이하는 게임의 상이한 게임 상황들에 대하여 상이하며, 사용자가 활동하는 실제 세계는 동일하게 유지된다. 일례로서, 다른 게임 상황 또는 다른 게임에서 실제 나무들(201)은 실제 나무들(201)과 유사한 사용자 행동을 야기하는 다른 가상 물체들에 의해, 예를 들어, 심해, 펜스 또는 가파른 바위에 의해 교체될 수 있다.
그리하여, 프로세싱 유닛(105)은 실제 세계가 동일하게 유지되더라도 게임 또는 게임 상황에 의존하여 가상 세계의 생성을 채택할 수 있다. 그리하여, 2개의 상이한 게임들 또는 상이한 게임 상황들 동안, 사용자는 실제 세계의 동일한 영역에서 이동하고 활동할 수 있으나, 프로세싱 유닛(105)이 완전하게 다른 가상 세계를 생성하는 사실에 기인하여 완전하게 다른 가상 경험을 가질 수 있다.
추가적인 실시예들에 따르면, 프로세싱 유닛(105)은 실제 세계에 있는 사용자의 시선 방향(111) 및/또는 결정된 위치(113)의 정밀도 변화에 응답하여 가상 물체들의 크기 또는 디테일 레벨(level of detail)을 변경하도록 구성될 수 있다. 일례로서, 프로세싱 유닛(105)은 사용자의 위치(113)를 결정하기 위해 현재 이용되는 위치결정 알고리즘에 의존하여 가상 물체들의 크기 또는 디테일 레벨을 선택할 수 있다. 일례로서, 사용자의 위치(113)가 GPS 위치 시스템 또는 알고리즘에 기반하여 결정될 때 가상 물체들의 디테일 레벨은 사용자의 위치(113)를 결정하기 위하여 RTLS 시스템 또는 알고리즘이 사용될 때보다 더 낮게 선택될 수 있으며, 이는 RTLS가 전형적으로 GPS보다 훨씬 정확하기 때문이다. 일례로서, 제시된 소방관 예에서, 1 m보다 적은 정밀도는 충분할 것이나, 상호작용 게임들에서는 10 cm보다 작은 더 높은 정밀도가 필요할 수 있다. 요약을 위해, 가상 현실 또는 가상 세계는 위치결정 알고리즘 또는 시스템의 정밀도에 의존할 수 있다(즉, 위치결정 시스템의 정밀도가 더 적을수록, 가상 세계의 엘리먼트들은 덜 정밀해야 할 것이다).
일례로서, 프로세싱 유닛(105)은, 실제 세계에 있는 사용자의 결정된 위치(113)의 정밀도 감소에 기반하여, 가상 물체들(203)의 크기를 증가시키거나 또는 가상 물체들(203)의 디테일 레벨을 감소시키도록 구성될 수 있다. 추가적인 예로서, 프로세싱 유닛(105)은, 실제 세계에 있는 사용자의 결정된 위치(113)의 정밀도 증가에 기반하여, 가상 물체들(203)의 크기를 감소시키거나 또는 가상 물체들(203)의 디테일 레벨을 증가시키도록 구성될 수 있다. 그리하여, 한편으로 가능한 실제적인 가상 세계가 생성될 수 있으며 다른 한편으로 사용자가 자신의 위치의 부정밀한 결정에 기인하여 우연히 물체들과 충돌하지 않도록 보장될 수 있도록 하는 것이 달성될 수 있다.
본 발명의 실시예들의 추가적인 양상은 실시간 양상이며, 즉, 사람이 화를 내지 않도록 시선 방향의 변화들은 충분히 빠르게 결정되어야 한다. 이것은 한편으로 하드웨어 또는 센서들이 정밀하고 충분히 빨라야 하며 다른 한편으로 가상 세계의 렌더링이 충분히 빠르게 발생해야 한다는 것을 의미한다. 몇몇 실시예들에 따르면, (초당 25 픽처(picture)들에서 1 픽처의 지연에 대응하는) 최대 40 ms의 지연은 수용가능할 수 있다. 추가적인 실시예들에 따르면, 수용가능한 지연은 20 ms일 수 있다. 위치 데이터의 지연은 시선 방향 데이터의 지연만큼 많이 가상 임프레션에 영향을 주지 않기 때문에 위치결정 데이터는 더 많이 지연될 수 있다.
또한, 이전에 설명된 바와 같이, 휴대용 디바이스(100)는, 예를 들어, GPS 신호에 기반하여 또는 외부(예를 들어, 지상) 통신 디바이스의 도움으로, 스스로 실제 세계에서 자신의 위치 그리고 그러므로 사용자의 위치(113)를 결정하도록 구성될 수 있으며, 상기 외부 통신 디바이스는 예컨대 전자 태그(115)에 기반하여 휴대용 디바이스(100)의 위치를 결정한다. 이러한 후자의 시나리오에서 휴대용 디바이스(100)는 (예를 들어, 외부 통신 유닛의 안테나들에 의해) 인프라구조에 의해 위치되며 결정된 위치(113)는 무선 통신에 의해 휴대용 디바이스(100)로 전송된다.
추가적인 실시예들에 따르면, 실제성(realism)을 추가적으로 향상시키기 위해, 포스 피드백 디바이스들이 물리적 정보를 전달하기 위해 사용될 수 있다. 이러한 물리적 현상은 비, 지진, 또는 예컨대 인공 지능에 의해 제어되는 컴퓨터 플레이어들과의 물리적 상호작용일 수 있다.
다시 말하면, 프로세싱 유닛(105)은 (예를 들어, 사용자에게 마운팅된) 적절한 포스 피드백 디바이스들로 제공되는 포스 피드백 데이터를 생성하도록 추가적으로 구성될 수 있다.
본 발명의 몇몇 실시예들에 따르면, 시선 방향 센서(101)는 자이로스코프 센서 유닛, 가속도계 센서 유닛 및/또는 자력계 센서 유닛과 같은 상이한 센서 유닛들을 포함할 수 있다. 시선 방향 센서(101)는 이러한 상이한 센서 유닛들로부터의 센서 데이터에 기반하여 실제 세계에 있는 사용자의 시선 방향(111)을 결정할 수 있다.
도 3은 도식적인 설명으로 휴대용 디바이스(100)의 프로세싱 유닛(105)에 의해 수신되고 생성될 수 있는 상이한 데이터 신호들 및 통신 신호들을 도시한다. 도 3으로부터 보여지는 바와 같이, 휴대용 디바이스(100)는 예컨대 외부 통신 유닛에 있는 서버(301)와 통신하도록 구성될 수 있으며, 휴대용 디바이스(100)는 외부 통신 유닛으로부터 무선 통신에 의해 (맵들, 물체들 등과 같은) 가상 환경에 대한 세부사항들을 수신한다.
또한, 모바일 디바이스(100)는 실제 세계에서 활동하는 상이한 플레이어들 또는 사용자들의 동기화에 대한 정보를 수신할 수 있다. 그리하여, 휴대용 디바이스(100)는 가상 세계에서 가상 물체들을 생성하도록 구성될 수 있을 뿐만 아니라 실제 세계에서 휴대용 디바이스(100)의 사용자와 함께 활동하는 다른 사용자들을 디스플레이할 수 있다. 그리하여, 휴대용 디바이스(100)는 단지 각각의 사용자가 휴대용 디바이스(100)를 가짐으로써 로컬화가능한 영역에서 다른 사람들과의 상호작용을 가능하게 한다.
또한, 도 3으로부터 휴대용 디바이스(100)는, 예를 들어, 외부 통신 디바이스에 통합된, RTLS 위치결정 유닛(303)으로부터 자신의 위치 데이터(113)를 수신할 수 있다. 도 3에 도시된 예에서 위치 결정기(103)는 통신 인터페이스일 수 있으며, 휴대용 디바이스(100)는 통신 인터페이스를 통해 RTLS 위치결정 유닛(303)으로부터 위치 데이터를 수신한다.
도 4는 본 발명의 추가적인 실시예에 따른 가상 현실 시스템(400)의 블록 다이어그램을 도시한다. 가상 현실 시스템(400)은 본 발명의 일 실시예에 따른 휴대용 디바이스를 포함한다. 도 4에 도시된 예에서 가상 현실 시스템(400)은 도 1에 도시된 휴대용 디바이스(100)를 포함한다. 또한, 가상 현실 시스템(400)은 휴대용 디바이스(100) 외부에 배치된 지상 통신 유닛(401)을 포함한다. 예를 들어, 지상 통신 유닛(401)은 제 1 하우징에 배치될 수 있고 휴대용 디바이스(100)는 제 1 하우징과 상이한 제 2 하우징에 배치될 수 있다. 휴대용 디바이스(100)가 전형적으로 사용자에 의해 휴대되는 반면에, 지상 통신 유닛(401)은 미리 결정된 위치에 배치되며, (지상 통신 유닛(401)이 사용중일 때) 지상 통신 유닛(401)은 전형적으로 미리 결정된 위치로부터 멀리 이동되지 않는다. 휴대용 디바이스(100)의 위치 결정기(103)는 지상 통신 유닛(401)으로부터 수신되는 무선 통신 신호(403)에 기반하여 실제 세계에 있는 사용자의 위치(113)를 결정하도록 구성된다.
용어 "지상(terrestrial)"은 GPS 위성과 같은 어떠한 위성도 휴대용 디바이스(100)의 사용자의 위치(113)를 결정하는데 수반되지 않음을 의미한다. 일례로서, 지상 통신 유닛(401)은 RTLS 알고리즘에 의해 휴대용 디바이스(100)의 위치를 결정하도록 구성될 수 있다.
또한, 지상 통신 유닛(401)은 다수의 사용자들에 의해 휴대되는 다수의 휴대용 디바이스(100)의 위치들을 결정하기 위해 전용 움직임 영역을 조사하고 다수의 휴대용 디바이스들(100)의 위치들을 다수의 휴대용 디바이스들(100)로 전송하도록 구성될 수 있다. 그리하여, 몇몇 실시예들에 따르면, 가상 현실 시스템(400)은 다수의 휴대용 디바이스들(100)을 포함할 수 있다.
요약을 위해, 본 발명의 실시예들은 사용자가 무선 디바이스들 또는 휴대용 디바이스(100)를 휴대하고 (실제 세계에서의) 로컬화가능한 영역에 있는 다른 사람들과 상호작용하는 가상 현실 방식을 제공한다. 다른 가상 현실 애플리케이션들은 대부분 이러한 상호작용적이고, 실제적이며 사용이 용이한 프레임워크를 제공하지 않는다. 추가적으로, 이러한 양호한 정확성을 가지고 사람들의 위치를 결정하는 것은 많은 사람들에 대하여 가능하지 않았으며, 그래서 다른 접근 방식들은 이러한 특징에 관하여 고려조차 하지 않았다.
가능한 사용 케이스들은 광범위하다. 예를 들어, 이것은 실제적인 게임 애플리케이션을 제공할 수 있다. 이러한 게임들은 임의의 1인칭 게임들이다. 또한, 슈퍼마켓들 및 상점들은 이들의 가상 환경을 제공할 수 있으며 사람들은 이들이 실제 이러한 마켓에 있는 것처럼 걸어다닐 수 있다. 다른 애플리케이션은 콘서트 또는 TV 쇼의 (라이브) 브로드캐스팅이 될 것이며, 여기서 사용자는 TV 앞에 앉아있지 않지만 실제로 자신이 그러한 위치에 있는 것처럼 느낄 수 있다. 많은 다양한 다른 애플리케이션들이 가능하다. 단순화하면, 한 사람이 자기 자신으로서 다른 사람들 및 아이템들과 상호작용할 수 있는 임의의 애플리케이션이 가능하다.
그리하여, 본 발명의 실시예들은 실시간 위치결정 시스템들(RTLS) 및 모션 센서들과의 협력으로 핸드헬드 디바이스들 상에서의 실시간 렌더링 및 센서 퓨전에 의해 상호작용적 실전 게임 플레잉을 위한 시스템을 제공한다. 이러한 시스템은 충분한 가상 환경에 상주하는 사용자에게서의 감정을 전달할 수 있다. 실시간 위치결정 시스템들, 다수의 센서 데이터 및 렌더링 하드웨어를 사용함으로써, 사용자가 자유롭게 이동하고 상호작용할 수 있는 사용자를 위한 온도, 날씨 및 시간 독립적인 가상 현실을 시뮬레이션하는 것이 가능하다. 또한, 실시예들은 시스템의 하나의 예에서 하나보다 많은 사용자의 구현을 가능하게 한다.
본 발명의 실시예들은 키보드 상의 키들을 누르거나 또는 컴퓨터 마우스로 에이밍(aiming)하지 않고, 사용자가 자신의 다리로 가상 세계 또는 가상 환경을 통해 걸어다닐 수 있도록 한다.
도 5는 본 발명의 일 실시예에 따른 방법(500)의 플로우 다이어그램을 도시한다.
방법(500)은 실제 세계에 있는 사용자의 시선 방향을 결정하는 단계(501)를 포함한다.
또한, 방법(500)은 실제 세계에 있는 사용자의 위치를 결정하는 단계(503)를 포함한다.
또한, 방법(500)은 - 실제 세계에 있는 사용자의 시선 방향 및 사용자의 위치에 기반하여 - 실제 세계의 3D 좌표 시스템에서의 시선 방향의 변화가 가상 세계의 3D 좌표 시스템에서의 시선 방향의 변화를 야기하는, 가상 세계를 생성하는 단계(505)를 포함한다.
또한, 방법(500)은 실제 세계의 뷰를 차단하면서 생성된 가상 세계를 사용자에게 디스플레이하는 단계(507)를 포함한다.
방법(500)은 본 발명의 일 실시예에 따른 휴대용 디바이스, 예를 들어, 도 1에 도시된 휴대용 디바이스(100)에 의해 수행될 수 있다.
방법(500)은 장치와 관련하여 여기에서 설명되는 임의의 특징들 및 기능들에 의해 보충될 수 있으며, 상기 장치의 하드웨어 컴포넌트들을 사용하여 구현될 수 있다.
장치와 관련하여 몇몇 양상들이 설명되었더라도, 이러한 양상들이 또한 대응하는 방법의 설명을 나타낸다는 것은 명백하며, 여기서 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계와 관련하여 설명된 양상들 또한 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명을 나타낸다. 방법 단계들 중 일부 또는 전부는, 예를 들어, 마이크로프로세서, 프로그래밍가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 하드웨어 장치를 이용하여) 실행될 수 있다. 몇몇 실시예들에서, 가장 중요한 방법 단계들 중 하나 이상의 단계들은 이러한 장치에 의해 실행될 수 있다.
특정 구현 요구들에 의존하여, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 상기 구현은 각각의 방법이 수행되도록 프로그래밍가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 저장된 전자적으로 판독가능한 제어 신호들을 갖는 디지털 저장 매체를 사용하여 수행될 수 있으며, 디지털 저장 매체는 예컨대 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리일 수 있다. 그러므로, 디지털 저장 매체는 컴퓨터 판독가능할 수 있다.
본 발명에 따른 몇몇 실시예들은 여기에서 설명된 방법들 중 하나가 수행되도록, 프로그래밍가능한 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호를 갖는 데이터 캐리어(carrier)를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 상기 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때 방법들 중 하나를 수행하도록 동작한다. 프로그램 코드는 예컨대 기계 판독가능한 캐리어 상에 저장될 수 있다.
다른 실시예들은 기계 판독가능한 캐리어 상에 저장된, 여기에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다시 말하면, 본 발명의 방법의 일 실시예는 그러므로 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 여기에서 설명되는 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법들의 추가적인 실시예는 그러므로 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터-판독가능 매체)이며, 데이터 캐리어는 데이터 캐리어 상에 기록된, 여기에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다. 데이터 캐리어, 디지털 저장 매체 또는 기록된 매체는 전형적으로 유형적(tangible)이거나 그리고/또는 비-일시적(non-transitionary)이다.
본 발명의 방법의 추가적인 실시예는 그러므로 여기에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예컨대 데이터 통신 접속을 통해, 예를 들어, 인터넷을 통해 전달되도록 구성될 수 있다.
추가적인 실시예는 여기에서 설명되는 방법들 중 하나를 수행하도록 구성되거나 또는 적응되는, 예컨대 컴퓨터 또는 프로그래밍가능한 로직 디바이스와 같은 프로세싱 수단을 포함한다.
추가적인 실시예는 여기에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가적인 실시예는 여기에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 (예를 들어, 전자적으로 또는 광학적으로) 수신기로 전달하도록 구성되는 장치 또는 시스템을 포함한다. 수신기는 예컨대 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은 예컨대 컴퓨터 프로그램을 수신기로 전달하기 위한 파일 서버를 포함할 수 있다.
몇몇 실시예들에서, 프로그래밍가능한 로직 디바이스(예를 들어, 필드 프로그래밍가능한 게이트 어레이)는 여기에서 설명되는 방법들의 기능들 중 일부 또는 전부를 수행하도록 사용될 수 있다. 몇몇 실시예들에서, 필드 프로그래밍가능한 게이트 어레이는 여기에서 설명되는 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 상기 방법들은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.
위에서 설명된 실시예들은 본 발명의 원리들에 대하여 단지 예시적이다. 여기에서 설명되는 배치들 및 세부사항들에 대한 수정들 및 변형들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명백할 것임을 이해하도록 한다. 그러므로, 여기에서의 실시예들에 대한 설명 및 기술에 의해 제시되는 특정한 세부사항들에 의해서가 아니라 계류중인 특허 청구항들의 범위에 의해서만 본 발명이 제한되도록 의도된다.

Claims (19)

  1. 휴대용 디바이스(100)로서,
    실제 세계에 있는 휴대용 디바이스(100)의 사용자의 시선 방향(viewing direction)(111)을 결정하도록 구성되는 시선 방향 센서(101);
    실제 세계에 있는 상기 사용자의 위치(113)를 결정하도록 구성되는 위치 결정기(103);
    상기 실제 세계에 있는 상기 사용자의 시선 방향(111) 및 상기 사용자의 위치(113)에 기반하여, 상기 실제 세계의 3D 좌표 시스템에서의 상기 시선 방향(111)의 변화가 가상 세계의 3D 좌표 시스템에서의 시선 방향의 변화를 야기하는, 가상 세계를 생성하도록 구성되는 프로세싱 유닛(105); 및
    상기 실제 세계의 뷰(view)를 차단하면서 상기 사용자에게 생성된 가상 세계를 디스플레이하도록 구성되는 디스플레이(107)를 포함하며,
    상기 프로세싱 유닛(105)은 상기 가상 세계의 3D 좌표 시스템의 위치들에 상기 가상 세계의 가상 물체(virtual object)들(203)을 생성하도록 구성되며,
    상기 프로세싱 유닛(105)은 상기 실제 세계에 있는 상기 사용자의 결정된 위치(113)의 정밀도(precision) 변화에 응답하여 상기 가상 물체들(203)의 크기 또는 디테일 레벨(level of detail)을 변경하도록 구성되는,
    휴대용 디바이스.
  2. 제 1 항에 있어서,
    상기 프로세싱 유닛(105)은 상기 사용자의 위치(113)를 결정하기 위해 현재 사용되는 위치결정 알고리즘(locating algorithm)에 의존하여 상기 가상 물체들의 크기 또는 디테일 레벨을 선택하도록 구성되는, 휴대용 디바이스.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 프로세싱 유닛(105)은, 상기 실제 세계에 있는 상기 사용자의 결정된 위치(113)의 정밀도 감소시에, 상기 가상 물체들(203)의 크기를 증가시키거나 또는 상기 가상 물체들(203)의 디테일 레벨을 감소시키도록 구성되는, 휴대용 디바이스.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 프로세싱 유닛(105)은, 상기 실제 세계에 있는 상기 사용자의 결정된 위치(113)의 정밀도 증가시에, 상기 가상 물체들(203)의 크기를 감소시키거나 또는 상기 가상 물체들(203)의 디테일 레벨을 증가시키도록 구성되는, 휴대용 디바이스.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 프로세싱 유닛(105)은, 상기 실제 세계의 3D 좌표 시스템에서의 상기 사용자의 위치(113)의 변화가 상기 가상 세계의 3D 좌표 시스템에서의 상기 사용자의 위치의 변화를 야기하도록, 상기 가상 세계를 생성하도록 추가적으로 구성되는, 휴대용 디바이스.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 실제 세계에서의 환경 조건(123)을 결정하도록 구성되는 환경 조건 센서(121)를 더 포함하며,
    상기 프로세싱 유닛(105)은, 상기 실제 세계에서의 환경 조건(123)의 변화가 생성된 가상 세계에서의 변화를 야기하도록, 결정된 환경 조건(123)에 기반하여 상기 가상 세계를 생성하도록 추가적으로 구성되는, 휴대용 디바이스.
  7. 제 6 항에 있어서,
    상기 결정된 환경 조건(123)은 온도 또는 공기 습도이거나 또는 상기 환경 조건 센서(121)가 광센서인, 휴대용 디바이스.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 결정된 환경 조건(123)은 상기 실제 세계에 있는 사용자에게 보여지지 않으며(not viewable),
    상기 프로세싱 유닛(105)은 생성된 가상 세계에서 상기 결정된 환경 조건(123)을 그래픽적으로(graphically) 가시화하도록 구성되는, 휴대용 디바이스.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 프로세싱 유닛(105)은 상기 실제 세계에 있는 실제 물체들(201)이 위치하는 상기 실제 세계의 3D 좌표 시스템의 위치들에 대응하는 상기 가상 세계의 3D 좌표 시스템의 위치들에서 상기 가상 세계의 가상 물체들(203)을 생성하도록 구성되는, 휴대용 디바이스.
  10. 제 9 항에 있어서,
    상기 프로세싱 유닛(105)은, 상기 실제 세계에 있는 실제 물체(201)를 대체하는 상기 가상 세계의 가상 물체(203)가 상기 실제 물체(201)와 유사한 사용자 행동(user behavior)을 야기하도록, 상기 실제 세계에 있는 실제 물체들(201)을 상기 가상 세계의 가상 물체들(203)로 대체하도록 구성되는, 휴대용 디바이스.
  11. 제 9 항 또는 제 10 항에 있어서,
    상기 프로세싱 유닛(105)은 상기 실제 세계에 있는 실제 물체들(201) 및 이들의 위치들이 저장되는 물체 데이터베이스를 포함하거나 또는 상기 프로세싱 유닛(105)은 상기 실제 세계에 있는 실제 물체들(201) 및 이들의 위치들에 관한 물체 정보를 수신하도록 구성되며,
    상기 프로세싱 유닛(105)은 상기 물체 데이터베이스 또는 수신된 물체 정보에 기반하여 상기 가상 물체들(203)을 생성하도록 구성되는, 휴대용 디바이스.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 위치 결정기(103)는 지상(terrestrial) 위치결정 알고리즘에 기반하여 상기 실제 세계에 있는 상기 사용자의 위치(113)를 결정하도록 구성되는 실시간 위치결정 시스템인, 휴대용 디바이스.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    외부 통신 유닛에 의해 로컬화될 수 있는 전자 태크(115)를 더 포함하며,
    상기 위치 결정기(103)는 상기 외부 통신 유닛으로부터 수신되는 통신 신호에 기반하여 상기 실제 세계에 있는 상기 사용자의 위치(113)를 결정하도록 구성되는, 휴대용 디바이스.
  14. 제 13 항에 있어서,
    상기 전자 태그(115)의 기능성은 상기 위치 결정기(103)의 기능성과 독립적인, 휴대용 디바이스.
  15. 제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 휴대용 디바이스(100)는 게임 컨트롤러이고,
    상기 프로세싱 유닛(105)은, 상기 사용자가 행동하는 상기 실제 세계가 동일하게 유지되는 동안, 상기 프로세싱 유닛(105)이 상기 가상 세계를 생성하는 방식이 상기 사용자가 플레이하는 상이한 게임들에 대하여 상이하거나 또는 상기 사용자가 플레이하는 게임의 상이한 게임 상황들에 대하여 상이하도록, 상기 사용자가 플레이하는 게임에 따라 상기 가상 세계를 생성하도록 구성되는, 휴대용 디바이스.
  16. 제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 프로세싱 유닛(105)은, 물체 데이터베이스에 기반하여, 상기 사용자가 행동하는 상기 실제 세계의 가상적 재현으로서 상기 가상 세계를 생성하도록 구성되는, 휴대용 디바이스.
  17. 가상 현실 시스템(400)으로서,
    제 1 항 내지 제 16 항 중 어느 한 항에 따른 휴대용 디바이스(100); 및
    상기 휴대용 디바이스(100)의 외부에 배치된 지상 통신 유닛(401)을 포함하며,
    상기 휴대용 디바이스(100)의 위치 결정기(103)는 상기 지상 통신 유닛으로부터 수신되는 무선 통신 신호(403)에 기반하여 실제 세계에 있는 사용자의 위치(113)를 결정하도록 구성되는,
    가상 현실 시스템.
  18. 방법으로서,
    실제 세계에 있는 사용자의 시선 방향을 결정하는 단계(501);
    상기 실제 세계에 있는 상기 사용자의 위치를 결정하는 단계(503);
    상기 실제 세계에 있는 상기 사용자의 위치 및 상기 사용자의 시선 방향에 기반하여, 상기 실제 세계의 3D 좌표 시스템에서의 시선 방향의 변화가 가상 세계의 3D 좌표 시스템에서의 시선 방향의 변화를 야기하는 가상 세계를 생성하는 단계(505);
    상기 실제 세계의 뷰(view)를 차단하면서 상기 사용자에게 생성된 가상 세계를 디스플레이하는 단계(507);
    상기 가상 세계의 3D 좌표 시스템의 위치들에서 상기 가상 세계의 가상 물체들을 생성하는 단계; 및
    상기 실제 세계에 있는 상기 사용자의 결정된 위치의 정밀도 변화에 응답하여 상기 가상 물체들의 크기 또는 디테일 레벨을 변경하는 단계를 포함하는,
    방법.
  19. 컴퓨터 상에서 실행될 때, 제 18 항에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램이 저장된 비-일시적(non-transitory) 저장 매체.
KR1020147012348A 2011-10-05 2012-10-04 휴대용 디바이스, 가상 현실 시스템 및 방법 KR101670147B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11183970.0 2011-10-05
EP11183970.0A EP2579128B1 (en) 2011-10-05 2011-10-05 Portable device, virtual reality system and method
PCT/EP2012/069624 WO2013050473A1 (en) 2011-10-05 2012-10-04 Portable device, virtual reality system and method

Publications (2)

Publication Number Publication Date
KR20140083015A true KR20140083015A (ko) 2014-07-03
KR101670147B1 KR101670147B1 (ko) 2016-11-09

Family

ID=47010581

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147012348A KR101670147B1 (ko) 2011-10-05 2012-10-04 휴대용 디바이스, 가상 현실 시스템 및 방법

Country Status (7)

Country Link
US (1) US9216347B2 (ko)
EP (2) EP2579128B1 (ko)
JP (1) JP5934368B2 (ko)
KR (1) KR101670147B1 (ko)
CN (1) CN104024984B (ko)
ES (1) ES2656868T3 (ko)
WO (1) WO2013050473A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078476A (ko) * 2017-12-26 2019-07-04 (주)스코넥엔터테인먼트 가상 환경 제어 시스템

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
CN103473692A (zh) * 2013-06-17 2013-12-25 展讯通信（上海）有限公司 一种三维购物平台显示系统
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
EP3041591B1 (de) 2014-08-11 2016-11-09 Mack Rides GmbH & Co. KG Verfahren zum betreiben einer vorrichtung, insbesondere eines fahrgeschäftes, eines transportmittels, eines fitnessgerätes oder dergleichen
US10943395B1 (en) 2014-10-03 2021-03-09 Virtex Apps, Llc Dynamic integration of a virtual environment with a physical environment
EP3256932A4 (en) 2014-10-15 2018-06-20 DIRTT Environmental Solutions, Ltd. Virtual reality immersion with an architectural design software application
US20160163063A1 (en) * 2014-12-04 2016-06-09 Matthew Ashman Mixed-reality visualization and method
US10099134B1 (en) 2014-12-16 2018-10-16 Kabam, Inc. System and method to better engage passive users of a virtual space by providing panoramic point of views in real time
US10181219B1 (en) 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US10311171B2 (en) * 2015-03-02 2019-06-04 Ca, Inc. Multi-component and mixed-reality simulation environments
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
DE102015003883B4 (de) 2015-03-26 2024-07-11 Audi Ag Kraftfahrzeugsimulationsanordnung zur Simulation einer virtuellen Umgebung mit einem virtuellen Kraftfahrzeug und Verfahren zur Simulation einer virtuellen Umgebung
CN104808341A (zh) * 2015-04-09 2015-07-29 青岛歌尔声学科技有限公司 一种头戴式虚拟现实设备
US9760790B2 (en) * 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
CN104881123A (zh) * 2015-06-06 2015-09-02 深圳市虚拟现实科技有限公司 基于虚拟现实的嗅觉模拟方法、设备和系统
US20170053042A1 (en) * 2015-08-19 2017-02-23 Benjamin John Sugden Holographic building information update
CN105159450B (zh) * 2015-08-25 2018-01-05 中国运载火箭技术研究院 一种便携式可交互桌面级虚拟现实系统
CN106371572B (zh) * 2015-11-30 2019-10-15 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN105547285B (zh) * 2016-01-30 2019-01-15 清华大学 基于虚拟现实技术的建筑内导航系统
CN105843380B (zh) * 2016-03-17 2019-05-14 广东小天才科技有限公司 一种用于虚拟现实场景的环境温度模拟方法及装置
US10311622B2 (en) * 2016-03-29 2019-06-04 Htc Corporation Virtual reality device and method for virtual reality
WO2017180730A1 (en) * 2016-04-12 2017-10-19 R-Stor Inc. Method and apparatus for presenting imagery within a virtualized environment
CN105979239A (zh) * 2016-04-28 2016-09-28 乐视控股（北京）有限公司 虚拟现实终端及其视频的显示方法和装置
WO2017201191A1 (en) * 2016-05-17 2017-11-23 Google Llc Methods and apparatus to project contact with real objects in virtual reality environments
CN109478343A (zh) 2016-06-07 2019-03-15 皇家Kpn公司 捕获和渲染涉及虚拟环境的信息
WO2017214576A1 (en) 2016-06-10 2017-12-14 Dirtt Environmental Solutions, Inc. Mixed-reality and cad architectural design environment
WO2017214559A1 (en) 2016-06-10 2017-12-14 Dirtt Environmental Solutions, Inc. Mixed-reality architectural design environment
CN106251406A (zh) * 2016-08-04 2016-12-21 合肥景昇信息科技有限公司 基于虚拟现实技术的城市巷道定位系统
WO2018023736A1 (en) * 2016-08-05 2018-02-08 SZ DJI Technology Co., Ltd. System and method for positioning a movable object
CN107818540A (zh) * 2016-09-12 2018-03-20 北京易讯理想科技有限公司 基于增强现实的天气信息显示方法及装置
CN106390448A (zh) * 2016-11-22 2017-02-15 包磊 体感模拟设备
CN106474737A (zh) * 2016-11-22 2017-03-08 包磊 具有热触感的体感模拟装置及体感模拟系统
JP6948128B2 (ja) * 2017-01-13 2021-10-13 キヤノン株式会社 映像監視装置及びその制御方法及びシステム
US11287292B2 (en) 2017-02-13 2022-03-29 Lockheed Martin Corporation Sensor system
CN106950534B (zh) * 2017-02-27 2020-07-03 广东小天才科技有限公司 一种空间位置检测方法、系统及vr穿戴设备
EP3476448B1 (de) 2017-10-24 2021-12-08 VR Coaster GmbH & Co. KG Vr-vorrichtung zum erzeugen und darstellen einer virtuellen realität
CN207488953U (zh) * 2017-12-04 2018-06-12 深圳市易特科信息技术有限公司 虚拟现实场景模拟装置
CN108132712A (zh) * 2018-01-12 2018-06-08 网易（杭州）网络有限公司 虚拟场景中天气状态的呈现方法、装置及存储介质和终端
DK3539627T3 (da) 2018-03-16 2020-12-14 Vr Coaster Gmbh & Co Kg Synkroniseringsindretning med en basisstation til synkronisering af head-mounted displays med en virtuel verden i en forlystelse, forlystelse med en sådan synkroniseringsindretning og fremgangsmåde til drift af en sådan forlystelse
ES2837837T3 (es) 2018-03-16 2021-07-01 Vr Coaster Gmbh & Co Kg Dispositivo de sincronización para sincronizar visores de realidad virtual con un mundo virtual en una atracción, atracción con un dispositivo de sincronización de este tipo y procedimiento para hacer funcionar una atracción semejante
CN110531846B (zh) * 2018-05-24 2023-05-23 卡兰控股有限公司 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
KR102236957B1 (ko) 2018-05-24 2021-04-08 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 가상 세계를 통해 가상 현실 응용 프로그램을 개발, 테스트하고, 실제 세계로 배포하기 위한 시스템 및 방법
US11032508B2 (en) * 2018-09-04 2021-06-08 Samsung Electronics Co., Ltd. Display apparatus and method for controlling audio and visual reproduction based on user's position
CN109529318A (zh) * 2018-11-07 2019-03-29 艾葵斯（北京）科技有限公司 虚拟视觉系统
JP7089114B2 (ja) * 2019-03-29 2022-06-21 株式会社ソニー・インタラクティブエンタテインメント 境界表示制御装置、境界表示制御方法及びプログラム
US10499044B1 (en) 2019-05-13 2019-12-03 Athanos, Inc. Movable display for viewing and interacting with computer generated environments
US11918289B2 (en) 2019-05-14 2024-03-05 Twenty Twenty Therapeutics Llc Periocular environment monitoring in a headset
CN119280788A (zh) 2019-05-23 2025-01-10 卡兰控股有限公司 经由持久性虚拟世界系统对现实世界进行实况管理
US11650719B2 (en) * 2019-06-18 2023-05-16 The Calany Holding S.À.R.L. Virtual creation of real-world projects
CN112100798A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统中的系统和方法
US11663685B2 (en) 2019-06-18 2023-05-30 The Calany Holding S. À R.L. System and method for providing digital reality experiences and decentralized transactions of real estate projects
US11202037B2 (en) 2019-06-18 2021-12-14 The Calany Holding S. À R.L. Virtual presence system and method through merged reality
US11076004B2 (en) * 2019-08-20 2021-07-27 The Calany Holding S.Á R.L. Virtual radio access network system and method for optimized real-time responsive continuous location-based cloud computing, rendering, tracking, and communication services in three-dimensional space through a distributed computing center network
FR3104290B1 (fr) * 2019-12-05 2022-01-07 Airbus Defence & Space Sas Jumelles de visee de simulation, et systeme et procedes de simulation
CN111263174B (zh) * 2020-01-14 2022-05-20 广州虎牙科技有限公司 直播控制方法和装置、电子设备、直播系统及存储介质
CN111443490B (zh) * 2020-04-15 2022-11-18 杭州赶梦科技有限公司 一种ar hud的虚像显示区域调节方法
CN113633991B (zh) * 2021-08-13 2023-11-03 腾讯科技（深圳）有限公司 虚拟技能的控制方法、装置、设备及计算机可读存储介质
US12026831B2 (en) 2021-10-27 2024-07-02 Samsung Electronics Co., Ltd. Electronic device and method for spatial mapping using the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2376397A (en) * 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
US20060017654A1 (en) * 2004-07-23 2006-01-26 Romo Justin R Virtual reality interactivity system and method
US20110216002A1 (en) * 2010-03-05 2011-09-08 Sony Computer Entertainment America Llc Calibration of Portable Devices in a Shared Virtual Space

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002048562A (ja) * 2000-08-01 2002-02-15 Institute For Welcome System Ltd 端末の空間的位置情報に対応して、位置情報に関連づけられた各種情報をサーバから端末に送信するサービスを利用して、道路標識、交通規制情報、看板、広告等を、現実の空間的位置における物理的実体から位置情報に対応してサーバ内に格納された情報に置き換える方法および機構
JP3406965B2 (ja) * 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法
JP2003305276A (ja) * 2002-02-18 2003-10-28 Space Tag Inc ゲームシステム、ゲーム装置、および記録媒体
US20090111670A1 (en) * 2003-05-29 2009-04-30 Julian D Williams Walk simulation apparatus for exercise and virtual reality
JP4661314B2 (ja) * 2005-04-04 2011-03-30 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
EP1720131B1 (en) * 2005-05-03 2009-04-08 Seac02 S.r.l. An augmented reality system with real marker object identification
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
JP5424323B2 (ja) * 2009-09-14 2014-02-26 株式会社ユピテル ナビゲーション装置及びプログラム
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
JP5521621B2 (ja) * 2010-02-19 2014-06-18 日本電気株式会社 携帯端末、拡張現実システム、及び拡張現実情報表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2376397A (en) * 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
US20060017654A1 (en) * 2004-07-23 2006-01-26 Romo Justin R Virtual reality interactivity system and method
US20110216002A1 (en) * 2010-03-05 2011-09-08 Sony Computer Entertainment America Llc Calibration of Portable Devices in a Shared Virtual Space

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078476A (ko) * 2017-12-26 2019-07-04 (주)스코넥엔터테인먼트 가상 환경 제어 시스템
US11517821B2 (en) 2017-12-26 2022-12-06 Skonec Entertainment Co., Ltd. Virtual reality control system
US11648478B2 (en) 2017-12-26 2023-05-16 Skonec Entertainment Co., Ltd. Virtual reality control system

Also Published As

Publication number Publication date
WO2013050473A1 (en) 2013-04-11
JP2015502584A (ja) 2015-01-22
CN104024984A (zh) 2014-09-03
ES2656868T3 (es) 2018-02-28
EP2764422A1 (en) 2014-08-13
US9216347B2 (en) 2015-12-22
EP2579128A1 (en) 2013-04-10
CN104024984B (zh) 2017-06-09
KR101670147B1 (ko) 2016-11-09
EP2579128B1 (en) 2017-11-22
JP5934368B2 (ja) 2016-06-15
US20140221090A1 (en) 2014-08-07

Similar Documents

Publication Publication Date Title
KR101670147B1 (ko) 휴대용 디바이스, 가상 현실 시스템 및 방법
US11758346B2 (en) Sound localization for user in motion
US11948260B1 (en) Streaming mixed-reality environments between multiple devices
JP7133470B2 (ja) ネットワークの拡張現実表現のためのシステムおよび方法
US11887258B2 (en) Dynamic integration of a virtual environment with a physical environment
US10062213B2 (en) Augmented reality spaces with adaptive rules
CN105807931B (zh) 一种虚拟现实的实现方法
WO2018124280A1 (ja) シミュレーションシステム、画像処理方法及び情報記憶媒体
CN107656615A (zh) 大量同时远程数字呈现世界
CN103760972B (zh) 跨平台的增强现实体验
CN105188516A (zh) 用于增强和虚拟现实的系统与方法
JP2018004825A (ja) 体感型消火訓練システム、消火訓練用火災模擬装置、消火訓練用火災模擬方法およびプログラム
KR101641672B1 (ko) 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템
KR101905272B1 (ko) 체감형 컨텐츠 제공 장치와 연계된 비콘 기반의 사용자 방향 인식 장치 및 그 방법
US11907434B2 (en) Information processing apparatus, information processing system, and information processing method
Yuan et al. Virtual fire drill system supporting co-located collaboration
Ziegler et al. A Shared Gesture and Positioning System for Smart Environments
RU2626867C1 (ru) Система для организации развлекательных, образовательных и/или рекламных мероприятий

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20140507

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150520

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151217

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160819

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20161021

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20161021

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20191001

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20201012

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20220801