[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106484115B - 用于增强和虚拟现实的系统和方法 - Google Patents

用于增强和虚拟现实的系统和方法 Download PDF

Info

Publication number
CN106484115B
CN106484115B CN201610908994.6A CN201610908994A CN106484115B CN 106484115 B CN106484115 B CN 106484115B CN 201610908994 A CN201610908994 A CN 201610908994A CN 106484115 B CN106484115 B CN 106484115B
Authority
CN
China
Prior art keywords
user
virtual
data
world
virtual world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610908994.6A
Other languages
English (en)
Other versions
CN106484115A (zh
Inventor
S·A·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN106484115A publication Critical patent/CN106484115A/zh
Application granted granted Critical
Publication of CN106484115B publication Critical patent/CN106484115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/954—Navigation, e.g. using categorised browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14—Multichannel or multilink protocols
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
    • A63F2300/577—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player for watching a game played by other players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Security & Cryptography (AREA)
  • Acoustics & Sound (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Stereophonic System (AREA)

Abstract

一个实施例针对用于使得两个或更多的用户能够在包括虚拟世界数据的虚拟世界内进行交互的系统，所述系统包括计算机网络，所述计算机网络包括一个或多个计算设备，所述一个或多个计算设备包括：存储器、处理电路和至少部分地存储在所述存储器中并且可以由所述处理电路执行以处理所述虚拟世界数据的至少一部分的软件；其中所述虚拟世界数据的至少第一部分来源于第一用户本地的第一用户虚拟世界，以及其中所述计算机网络可操作地向用于向第二用户呈现的用户设备传输所述第一部分，使得所述第二用户可以从所述第二用户的位置来体验所述第一部分，使得所述第一用户的虚拟世界的方面被高效地传送给所述第二用户。

Description

用于增强和虚拟现实的系统和方法
本申请是申请号为201280064922.8的中国专利申请“用于增强和虚拟现实的系统和方法”(申请日为2012年10月29日)的分案申请。
相关申请数据
本申请依据美国法典第35编第119节的规定要求于2011年10月28日提交的申请序列号为61/552,941的美国临时申请的权益。据此通过引用将上述申请以其整体并入到本申请中。
技术领域
本发明一般涉及被配置为促进针对一个或多个用户的交互性的虚拟或增强现实环境的系统和方法。
背景技术
由计算机(部分地)使用描述环境的数据来生成虚拟和增强现实环境。这种数据可以描述例如用户可以感知并与其交互的各种对象。这些对象的示例包含：为了使用户看见而被渲染和显示的对象、为了使用户听见而播放的音频、以及为了使用户感觉到的触觉(触感)反馈。用户可以通过各种视觉、听觉和触觉的构件来感知虚拟和增强现实环境并与虚拟和增强现实环境交互。
发明内容
一个实施例针对用于使得两个或更多的用户能够在包括虚拟世界数据的虚拟世界内进行交互的系统，所述系统包括计算机网络，所述计算机网络包括一个或多个计算设备，所述一个或多个计算设备包括：存储器、处理电路和至少部分地存储在所述存储器中并且可以由所述处理电路执行以处理所述虚拟世界数据的至少一部分的软件；其中所述虚拟世界数据的至少第一部分来源于第一用户本地的第一用户虚拟世界，以及其中所述计算机网络可操作地向用于向第二用户呈现的用户设备传输所述第一部分，使得所述第二用户可以从所述第二用户的位置来体验所述第一部分，使得所述第一用户的虚拟世界的方面被高效地传送给所述第二用户。所述第一用户和第二用户可以在不同的物理位置中或基本上在同一物理位置中。所述虚拟世界的至少一部分可以被配置为响应于所述虚拟世界数据的变化而变化。所述虚拟世界的至少一部分可以被配置为响应于由所述用户设备感知的物理对象而变化。所述虚拟世界数据中的变化可以表示表示虚拟对象与所述物理对象具有预定关系。可以将所述虚拟世界数据中的变化提供给第二用户设备以用于根据所述预定关系向所述第二用户呈现。所述虚拟世界可以可操作地由计算机服务器或用户设备中的至少一个来渲染。可以以二维格式来呈现所述虚拟世界。可以以三维格式来呈现所述虚拟世界。所述用户设备可以可操作地提供接口以用于使得能够在增强现实模式中在用户和所述虚拟世界之间进行交互。所述用户设备可以可操作地提供接口以用于使得能够在虚拟现实模式中在用户和所述虚拟世界之间进行交互。所述用户设备可以可操作地提供接口以用于使得能够在增强和虚拟现实模式的组合中在用户和所述虚拟世界之间进行交互。可以在数据网络上来传输所述虚拟世界数据。所述计算机网络可以可操作地接收来自用户设备的所述虚拟世界数据的至少一部分。传输给所述用户设备的所述虚拟世界数据的至少一部分可以包括用于生成所述虚拟世界的至少一部分的指令。可以将所述虚拟世界数据的至少一部分传输给网关以用于处理或分发中的至少一个。所述一个或多个计算机服务器中的至少一个计算机服务器可以可操作地处理由所述网关分发的虚拟世界数据。
另一个实施例针对用于虚拟和/或增强用户体验的系统，其中至少部分地基于具有来自音调变化和面部识别软件的可选输入的可穿戴设备上的数据来制作化身的动画。
另一个实施例针对用于虚拟和/或增强用户体验的系统，其中相机姿势或视点方位和向量可以被布置在世界扇区(sector)中的任何地方。
另一个实施例针对用于虚拟和/或增强用户体验的系统，其中可以在各种和可选择的比例上针对观察用户来渲染世界或其部分。
另一个实施例针对用于虚拟和/或增强用户体验的系统，其中特征(诸如除了姿势加标记的图像外的点或参数线)可以用作用于世界模型的基础数据，从该基础数据，软件机器人或对象识别器可以用于创建真实世界对象的参数表示，标记用于相互包含在分割的对象和世界模型中的源特征。
附图说明
图1说明了用于促进针对多个用户的交互性的虚拟或增强现实环境的所公开的系统的代表性实施例。
图2说明了用于与图1中所说明的系统进行交互的用户设备的示例。
图3说明了移动的可穿戴的用户设备的示例实施例。
图4说明了当图3的移动的可穿戴的用户设备操作在增强模式中时由用户看到的对象的示例。
图5说明了当图3的移动的可穿戴的用户设备操作在虚拟模式中时由用户看到的对象的示例。
图6说明了当图3的移动的可穿戴的用户设备操作在混杂虚拟接口模式中时由用户看到的对象的示例。
图7说明了位于不同的地理位置中的两个用户每一个用户通过他们各自的用户设备与另一个用户和共同的虚拟世界进行交互的实施例。
图8说明了图7的实施例被扩展为包含使用触感设备的实施例。
图9A说明了混合模式接口连接的示例，其中在混合虚拟接口模式中第一用户通过接口与数字世界连接，以及在虚拟现实模式中第二用户通过接口与同一数字世界接连。
图9B说明了混合模式接口连接的另一个示例，其中在混杂虚拟接口模式中第一用户通过接口与数字世界连接，以及增强现实模式中第二用户通过接口与同一数字世界连接。
图10说明了当在增强现实模式中通过接口与系统连接时用户的视图的示例说明。
图11说明了当在增强现实模式中的用户通过接口与系统连接时示出由物理对象触发的虚拟对象的用户视图的示例说明。
图12说明了增强和虚拟现实集成配置的一个实施例，其中在增强现实体验中的一个用户可视化在虚拟现实体验中的另一个用户的呈现。
图13说明了基于时间和/或意外事件的增强现实体验配置的一个实施例。
图14说明了适用于虚拟和/或增强现实体验的用户显示配置的一个实施例。
图15说明了基于本地和云的计算协调的一个实施例。
图16说明了注册配置的各种方面。
具体实施方式
参照图1，系统100是用于实现以下描述的过程的代表性硬件。这种代表性系统包括：计算网络105，其由通过一个或多个高带宽接口115连接的一个或多个计算机服务器110组成。在计算网络中的服务器不必是位于一处的。一个或多个服务器110中的每个服务器包括用于执行程序指令的一个或多个处理器。服务器还包含用于存储程序指令和数据的存储器，所述数据在程序指令的引导下由服务器执行的进程来使用和/或生成。
计算网络105在服务器110之间以及在服务器和一个或多个用户设备120之间通过一个或多个数据网络连接130来传递数据。此类数据网络的示例包含但不限制于任何或所有类型的公共和私有数据网络(移动的和有线的两者)，包含例如通常被称为互联网的许多此类网络的互联。没有特定的介质、拓扑或协议旨在由该图所暗含。
用户设备被配置为直接与计算网络105或服务器110中的任何服务器通信。备选地，用户设备120与远程服务器110通信，以及可选地，通过用于处理数据和/或用于在网络105和一个或多个本地用户设备120之间传递数据的特别编程的本地网关140与其它用户设备本地地通信。
如说明的，网关140被实现成单独的硬件组件，其包含用于执行软件指令的处理器和用于存储软件指令和数据的存储器。网关具有至数据网络的其自己的有线和/或无线连接以用于与包括计算网络105的服务器110通信。备选地，网关140能够与用户设备120集成，用户设备120由用户穿戴或携带。例如，可以将网关140实现成可下载的软件应用，该软件应用被安装以及在被包含在用户设备120的处理器上运行。在一个实施例中，网关140经由数据网络130提供至计算网络105的一个或多个用户接入。
服务器110每个都包含：例如，用于存储数据和软件程序的工作存储器和存储设备，用于执行程序指令的微处理器，用于渲染和生成图形、图像、视频、音频和多媒体文件的图形处理器和其它专用处理器。计算网络105还可以包括用于存储由服务器110访问、使用或创建的数据。
运行在服务器以及可选择地用户设备120和网关140上的软件程序用于生成数字世界(在本文中还被称为虚拟世界)，用户使用该数字世界与用户设备120进行交互。数字世界由数据和进程来表示，数据和进程描述和/或定义能够通过用户设备120呈现给用户的虚拟的不存在的实体、环境和条件以用于用户体验和与之交互。例如，当在由用户观看或体验的场景中进行实例化时好像将物理呈现的某些类型的对象、实体或项目可以包含它的外观、它的行为、允许用户如何与它进行交互以及其它特点的描述。用于创建虚拟世界(包含虚拟对象)的环境的数据可以包含：例如，大气数据、地形数据、天气数据、温度数据、位置数据以及用于定义和/或描述虚拟环境的其它数据。另外，定义管理虚拟世界的操作的各种条件的数据可以包含：例如，物理定律、时间、空间关系和可用于定义和/或创建管理虚拟世界(包含虚拟对象)的操作的虚拟条件的其它数据。
在本文中，除非上下文以其它方式指示，否则将数字世界的实体、对象、条件、特点、行为或其它特征一般地称为对象(例如，数字对象、虚拟对象、渲染的物理对象等)。对象可以是任何类型的动画或非动画的对象，包含但不限于建筑物、植物、车辆、人、动物、生物、机器、数据、视频、文本、图片和其它用户。还可以在用于存储关于实际上呈现在物理世界中的项目、行为或条件的信息的数字世界中来定义对象。在本文中，将描述或定义实体、对象或项目或者存储它的当前状态的数据一般称为对象数据。这种数据由服务器110或取决于实现方式由网关140或用户设备120来处理以实例化对象的实例以及以适当的方式来渲染对象以用于用户通过用户设备进行体验。
开发和/或策划数字世界的程序员创建或定义对象以及实例化对象的条件。然而，数字世界能够允许他者来创建或修改对象。一旦对象被实例化，则可以允许由体验数字世界的一个或多个用户来改变、控制或操纵该对象的状态。
例如，在一个实施例中，一般由一个或多个系统管理程序员来提供数字世界的开发、制作和管理。在一些实施例中，这可以包含：数字世界中的故事情节、主题和事件的开发、设计和/或执行，以及通过各种形式的事件和媒体(诸如例如电影、数字、网络、移动、增强现实以及现场娱乐)的叙事的分发。系统管理程序员还可以处置数字世界和与其相关联的用户社区的技术管理、节制和策划，以及通常由网络管理人员执行的其它任务。
用户使用某类型的本地技术设备(其通常被表示为用户设备120)与一个或多个数字世界进行交互。此类用户设备的示例包含但不限于：智能电话、平板设备、抬头显示器(HUD)、游戏控制台或能够向用户传递数据和提供接口或显示的任何其它设备，以及此类设备的组合。在一些实施例中，用户设备120可以包含本地外围设备或输入/输出组件(诸如例如，键盘，鼠标，游戏杆，游戏控制器，触感接口设备，运动捕获控制器，光学跟踪设备(诸如那些可以从体感控制(Leap Motion)公司获得的，或那些在商标名Kinect(RTM)下从微软获得的)，音频设备，语音设备，投影系统，3D显示器和全息3D接触镜片)或与其进行通信。
在图2中说明的用于与系统100进行交互的用户设备120的示例。在图2示出的示例实施例中，用户210可以通过智能电话220通过接口与一个或多个数字世界连接。由被存储在以及运行在智能电话220上的软件应用230来实现网关。在这个特定示例中，数据网络130包含将用户设备(即，智能电话220)连接到计算机网络105的无线移动网络。
在优选实施例的一种实现方式中，系统100能够支持大量的同时存在的用户(例如，数百万用户)，每个用户使用某类型的用户设备120通过接口与同一个数字世界或与多个数字世界连接。
用户设备向用户提供用于使得能够在用户和由服务器110生成的数字世界(包含其它用户和被呈现给用户的对象(真实的或虚拟的))之间的视觉、听觉和/或物理交互。接口向用户提供能够观看、听到或以其它方式感知的渲染的场景，以及与场景实时交互的能力。用户与渲染的场景的交互的方式可以由用户设备的能力来指定。例如，如果用户设备是智能电话，则可以由用户接触触摸屏来实现用户交互。在另一个示例中，如果用户设备是计算机或游戏控制台，则可以使用键盘或游戏控制器来实现用户交互。用户设备可以包含使得能够用户交互的另外的组件(诸如传感器)，其中由传感器检测到的对象和信息(包含手势)可以被提供作为表示使用用户设备与虚拟世界的用户交互的输入。
可以以各种格式(诸如例如，二维或三维视觉显示器(包含投影仪)、声音和触感或触觉反馈)来呈现渲染的场景。可以由用户以一种或多种模式(包含：例如增强现实、虚拟现实和其组合)来通过接口与渲染的场景连接。渲染的场景的格式以及接口模式可以由以下中的一个或多个来指定：用户设备、数据处理能力、用户设备连通性、网络容量和系统工作负载。由计算网络105、服务器110、网关组件140(可选地)以及用户设备120使得能够具有大量的用户同时与数字世界进行交互以及数据交换的实时性质。
在一个示例中，计算网络105由通过高速连接(例如，高带宽接口115)的具有单个和/或多个核心的服务器(即，服务器110)的大规模计算系统组成。计算网络105可以形成云或网格网络。服务器中的每个服务器包含存储器，或与用于存储软件的计算机可读存储器耦合，该软件用于实现数据以创建、设计、改变或处理数字世界的对象。这些对象和它们的实例可以是动态的，进入和离开，随着时间变化以及响应于其它条件而变化。在本文中相对于各种实施例来一般地论述对象的动态能力的示例。在一些实施例中，通过接口与系统100连接的每个用户还被表示成一个或多个数字世界内的对象和/或对象的集合。
计算网络105内的服务器110还存储用于数字世界中的每个数字世界的计算状态数据。计算状态数据(在本文中，还被称为状态数据)可以是对象数据的组成部分，以及一般定义时间中的给定时刻处的对象的实例的状态。因此，计算状态数据可以随着时间而变化，以及可以受维护系统100的一个或多个用户和/或程序员的动作的影响。当用户影响计算状态数据(或包括数字世界的其它数据)时，用户直接改变或以其它方式操纵数字世界。如果数字世界与其它用户共享或由其它用户通过接口连接，则用户的动作可能影响由与数字世界交互的其它用户所体验的数字世界。因此，在一些实施例中，由用户做出的对数字世界的改变将由通过接口与系统100连接的其它用户体验到。
在一个实施例中，存储在计算网络105内的一个或多个服务器110中的数据以高速度和低时延被传送给或部署到一个或多个用户设备120和/或网关组件140。在一个实施例中，由服务器共享的对象数据可以是完整的数据或者可以是压缩的，以及含有用于在用户侧重新创建全部的对象数据的指令，由用户的本地计算设备(例如，网关140和/或用户设备120)来渲染和可视化。在一些实施例中，运行在计算网络105的服务器110上的软件可以根据用户的特定设备和带宽来针对数字世界内的对象(或者由计算网络105交换的任何数据)适应它生成和发送给特定用户设备120的数据。例如，当用户通过用户设备120与数字世界进行交互时，服务器110可以识别由用户使用的特定类型的设备、设备的连通性和/或用户设备和服务器之间的可用带宽，以及适当地调整大小和平衡将被递送给设备的数据以优化用户交互。这种情况的示例可以包含：将传输的数据的大小减小到低分辨率质量，以便可以在具有低分辨率显示器的特定用户设备上显示数据。在优选实施例中，计算网络105和/或网关组件140以足以操作在15帧/每秒或更高来呈现界面的速率，以及以高清晰度或更高清晰度的分辨率向用户设备120递送数据。
网关140为一个或多个用户提供至计算网络105的本地连接。在一些实施例中，可以由运行在用户设备120或另一个本地设备(诸如在图2中示出的本地设备)上的可下载的软件应用来实现网关140。在其它实施例中，可以由硬件组件(具有存储在该组件上的适当的软件/固件，该组件具有处理器)来实现网关140，该硬件组件与用户设备120通信(但是不与用户设备120合并或附接到用户设备120)，或与用户设备120合并。网关140经由数据网络130与计算网络105通信，以及提供计算网络105和一个或多个本地用户设备120之间的数据交换。如以下更详细地论述的，网关组件140可以包含：软件、固件、存储器和处理电路，以及可能能够处理网络105和一个或多个本地用户设备120之间传递的数据。
在一些实施例中，网关组件140监测和调节用户设备120和计算机网络105之间交换的数据的速率，以允许针对特定用户设备120的最佳数据处理能力。例如，在一些实施例中，网关140缓冲和下载数字世界的静态和动态方面两者，甚至那些超出了通过与用户设备连接的接口呈现给用户的视野。在此类实施例中，静态对象的实例(结构化数据，实现方法的软件，或这两者)可以存储在存储器中(位于网关组件140、用户设备120或这两者的本地)，以及根据本地用户的当前方位(如由计算网络105和/或用户设备120提供的数据来指示)被引用。动态对象的实例(其可以包含例如智能软件代理和由其它用户和/或本地用户控制的对象)可以存储在高速存储缓冲器中。表示呈现给用户的场景内的两维或三维对象的动态对象能够例如被分解成组件形状，诸如移动但不变化的静态形状，以及变化的动态形状。变化的动态对象的部分能够通过计算网络105由来自网关组件140管理的服务器110的实时的线程化的高优先级的数据流来更新。作为优先化的线程化的数据流的一种示例，在用户的眼睛的60度的视野内的数据可以给予比更外围的数据更高的优先级。另一个示例包含优先化背景中的静态对象上的用户视野内的动态角色和/或对象。
除了管理计算网络105和用户设备120之间的数据连接外，网关组件140可以存储和/或处理可以呈现给用户设备120的数据。例如，在一些实施例中，网关组件140可以接收来自计算网络105的例如描述将被渲染的以用于由用户观看的图形对象的压缩数据，以及执行高级渲染技术以减轻从计算网络105传输给用户设备120的数据负载。在另一个示例中，其中网关140是独立的设备，网关140可以存储和/或处理用于对象的本地实例的数据，而不是将该数据传输给计算网络105以用于处理。
现在还参照图3，可以以各种格式(其取决于用户设备的能力)由一个或多个用户来体验数字世界。在一些实施例中，用户设备120可以包含：例如，智能电话、平板设备、抬头显示器(HUD)、游戏控制台或可穿戴设备。一般来说，用户设备将包含用于执行存储在设备上的存储器中的程序代码的处理器，与显示器耦合，以及通信接口。在图3中说明了用户设备的示例实施例，其中用户设备包括移动的可穿戴设备，即头戴式显示系统300。依照本公开的实施例，头戴式显示系统300包含用户界面302、用户感知系统304、环境感知系统306以及处理器308。虽然在图3中处理器308被示出为与头戴式显示系统300分离的单独的组件，但是在备选实施例中，处理器308可以与头戴式显示系统300中的一个或多个组件集成，或可以集成到其它系统100组件(诸如例如网关140)中。
用户设备向用户呈现用于与数字世界交互和体验数字世界的界面302。此类交互可以涉及用户和数字世界、通过接口与系统100连接的一个或多个其它用户、以及数字世界内的对象。界面302一般向用户提供图像和/或音频感觉输入(以及在一些实施例中，物理感觉输入)。因此，界面302可以包含：扬声器(未示出)和显示组件303，在一些实施例中，显示组件303能够使得能够立体三维显示和/或体现人类视觉系统的更多自然特点的三维显示。在一些实施例中，显示组件303可以包括透明接口(诸如清晰的OLED)，当处于“关闭(off)”设置时，该透明接口使得能够在具有很少至没有光学变形或计算叠加的情况下光学地纠正用户周围的物理环境的视图。如以下更详细地论述的，界面302可以包含考虑到各种视觉/接口性能和功能的另外的设置。
在一些实施例中，用户感知系统304可以包含：一个或多个传感器310，其可操作地检测与穿戴系统300的个体用户有关的某些特征、特点或信息。例如，在一些实施例中，传感器310可以包含：相机或光学检测/扫描电路，其能够实时检测用户的光学特点/测量，诸如例如以下中的一个或多个：瞳孔收缩/扩张、每个瞳孔的角度测量/定位、二次球度(spherocity)、眼睛形状(如随着时间眼睛形状的变化)以及其它解剖学数据。这种数据可以提供或用于计算可以由头戴式系统300和/或接口系统100使用的信息(例如，用户的视觉焦点)以优化用户的观看体验。例如，在一个实施例中，传感器310可以各自测量用户每个眼睛的瞳孔收缩的速率。可以将这种数据传输给处理器308(或网关组件140或服务器110)，其中该数据用于确定例如用户对界面显示器303的亮度设置的反应。可以依照用户的反应通过例如如果用户的反应指示显示器303的零度级别太高则调暗显示器303来对界面302进行调节。用户感知系统304可以包含除了上述的或在图3中说明的那些组件以外的其它组件。例如，在一些实施例中，用户感知系统304可以包含：用于接收来自用户的语音输入的麦克风。用户感知系统还可以包含：一个或多个红外线相机传感器、一个或多个可见光频谱相机传感器、结构光发射器和/或传感器、红外线光发射器、相干光发射器和/或传感器、陀螺仪、加速计、磁力仪、接近传感器、GPS传感器、超声波发射器和检测器以及触感接口。
环境感知系统306包含用于获得来自用户周围的物理环境的数据的一个或多个传感器312。可以将由传感器检测的对象或信息提供作为至用户设备的输入。在一些实施例中，这种输入可以表示与虚拟世界的用户交互。例如，观看桌面上的虚拟键盘的用户可以使用他的手指做手势，好像它正在虚拟键盘上键入。手指移动的运动可以由传感器312来捕获并且提供给用户设备或系统作为输入，其中该输入可以用于改变虚拟世界或创建新的虚拟对象。例如，可以将手指的运动识别(使用软件程序)为键入，以及所识别的键入的手势可以与虚拟键盘上的虚拟键的已知位置进行组合。然后，系统可以渲染向用户(或通过接口与系统连接的其它用户)显示的虚拟监视器，其中虚拟监视器显示由用户键入的文本。
传感器312可以包含：例如，普遍朝外的相机或用于例如通过不断地和/或间歇地投影红外线结构光来解释场景信息的扫描仪。环境感知系统306可以用于通过检测或注册本地环境来映射用户周围的物理环境的一个或多个元素，包含静态对象、动态对象、人、手势和各种照明、大气和声学条件。因此，在一些实施例中，环境感知系统306可以包含：基于图像的三维重建软件，其被嵌入在本地系统(例如网关组件140或处理器308)中以及可操作地数字化地重建由传感器312检测的一个或多个对象或信息。在一个示例性实施例中，环境感知系统306提供以下中的一个或多个：运动捕获数据(捕获手势识别)、深度感知、面部识别、对象识别、唯一对象特征识别、语音/音频识别和处理、声音源定位、噪音降低、红外线或类似的激光投影、以及单色和/或彩色CMOS传感器(或其它类似传感器)、视野传感器、以及各种其它光学增强传感器。应当了解的是，环境感知系统306可以包含除了上述或在图3中说明的那些组件之外的其它组件。例如，在一些实施例中，环境感知系统306可以包含用于接收来自本地环境的音频的麦克风。用户感知系统还可以包含：一个或多个红外线相机传感器、一个或多个可见光频谱相机传感器、结构光发射器和/或传感器、红外线光发射器、相干光发射器和/或传感器、陀螺仪、加速计、磁力仪、接近传感器、GPS传感器、超声波发射器和检测器以及触感接口。
如上所述，在一些实施例中，处理器308可以与头戴式系统300中的其它组件集成，与接口系统100中的其它组件集成，或可以是如图3中示出的单独的设备(可穿戴的或与用户分离的)。处理器308可以通过物理的有线连接或通过无线连接(诸如例如，移动网络连接(包含蜂窝电话和数据网络)、Wi-Fi或蓝牙)连接到头戴式系统300中的各种组件和/或接口系统100中的组件。处理器308可以包含：存储模块、集成的和/或另外的图形处理单元、无线和/或有线互联网连通性以及能够将来自源(例如，计算网络105、用户感知系统304、环境感知系统306或网关组件140)的数据变换成图像和音频数据的编解码器和/或固件，其中图像/视频和音频可以经由界面302呈现给用户。
处理器308处置用于头戴式系统300中的各种组件的数据处理以及头戴式系统300与网关140以及在一些实施例中计算网络105之间的数据交换。例如，处理器308可以用于缓冲和处理用户和计算网络105之间的数据流，从而使得能够平滑的连续的和高保真度的用户体验。在一些实施例中，处理器308可以以足以实现以320x240分辨率8帧/秒到以高清晰度分辨率(1280x720)24帧/秒，或更高的，诸如60-120帧/秒和4k分辨率和更高的(10k+分辨率和50000帧/秒)之间的任何地方的速率来处理数据。另外，处理器308可以存储和/或处理可以呈现给用户的数据，而不是实时地从计算网络105流出。例如，在一些实施例中，处理器308可以接收来自计算网络105的压缩数据，以及执行高级渲染技术(诸如照明或阴影)以减轻从计算网络105传输给用户设备120的数据负载。在另一个示例中，处理器308可以存储和/或处理本地对象数据，而不是将该数据传输给网关组件140或计算网络105。
在一些实施例中，头戴式系统300可以包含考虑到各种视觉/接口性能和功能的各种设置或模式。模式可以由用户手工地选择，或由头戴式系统300中的组件或网关组件140自动地选择。如先前所述，头戴式系统300的一个示例包含：“关闭”模式，其中界面302基本上不提供数字或虚拟内容。在关闭模式中，显示组件303可以是透明的，从而使得能够在具有很少-至-没有光学变形或计算重叠的情况下来光学地纠正用户周围的物理环境的视图。
在一个示例实施例中，头戴式系统300包含：“增强”模式，其中界面302提供增强现实界面。在增强模式中，界面显示器303可以是基本上透明的，从而允许用户观看本地的物理环境。同时，由计算网络105、处理器308和/或网关组件140提供的虚拟对象数据与物理的本地环境结合被呈现在显示器303上。
图4说明了当界面302操作在增强模式中时由用户看到的对象的示例实施例。如图4中示出的，界面302呈现物理对象402和虚拟对象404。如图4中说明的实施例中，物理对象402是存在于用户的本地环境中的真实的物理对象，而虚拟对象404是由系统100创建的经由用户界面302显示的对象。在一些实施例中，虚拟对象404可以被显示在物理环境内的固定的方位或位置(例如，虚拟的猴子站在位于物理环境中的特定路标的旁边)，或者可以显示给用户作为位于与用户界面显示器303的方位有关的对象(例如，在显示器303的左上方中可以看见的虚拟时钟或温度计)。
在一些实施例中，可以提示虚拟对象离开用户的视野内部或外部物理呈现的对象，或者由用户的视野内部或外部物理呈现的对象来触发虚拟对象。提示虚拟对象404离开物理对象402或由物理对象402来触发虚拟对象404。例如，物理对象402可能实际上是凳子，以及可以将如站在凳子上的虚拟动物的虚拟对象404显示给用户(以及在一些实施例中，通过接口与系统100连接的其它用户)。在此类实施例中，环境感知系统306可以使用例如存储在处理器308中的软件和/或固件以识别各种特征和/或形状模式(由传感器312捕获的)以将物理对象402识别为凳子。这些识别的形状模式(诸如例如凳子顶部)可以用于触发虚拟对象404的放置。其它示例包含：墙、桌子、家具、汽车、建筑物、人、楼层、植物、动物-能够被看到的任何对象能够用于触发与对象或多个对象有一些关系的增强现实体验。
在一些实施例中，被触发的特定的虚拟对象404可以由用户选择或者由头戴式系统300中的其它组件或接口系统100自动地选择。另外，在虚拟对象404被自动地触发的实施例中，可以基于提示虚拟对象404离开特定物理对象402(或其特征)或触发虚拟对象404的特定物理对象402(或其特征)来选择特定的虚拟对象404。例如，如果物理对象被识别为在水池上延伸的跳水板，则所触发的虚拟对象可以是穿戴通气管、泳衣、漂浮设备或其它相关项目的生物。
在另一个示例实施例中，头戴式系统300可以包含“虚拟”模式，其中界面302提供虚拟现实界面。在虚拟模式中，从显示器303中省略物理环境，以及由计算网络105、处理器308和/或网关组件140提供的虚拟对象数据被呈现在显示器303上。可以通过物理地阻塞视觉显示器303(例如，经由覆盖)或通过界面302的特征来完成物理环境的省略，其中显示器303转变到不透明设置。在虚拟模式中，可以通过界面302将直播和/或存储的视觉和音频感觉呈现给用户，以及用户通过界面302的虚拟模式来体验数字世界(数字对象、其它用户等)并与其进行交互。因此，在虚拟模式中提供给用户的界面由包括虚拟数字世界的虚拟对象数字组成。
图5说明了当头戴式界面302操作在虚拟模式中时用户界面的示例实施例。如图5中示出的，用户界面呈现由数字对象510组成的虚拟世界500，其中数字对象510可以包含：大气、天气、地形、建筑物和人。虽然未在图5中说明，但是数字对象还可以包含：例如，植物、车辆、动物、生物、机器、人工智能、位置信息以及定义虚拟世界500的任何其它对象或信息。
在另一个示例实施例中，头戴式系统300可以包含：“混杂”模式，其中可以将头戴式系统300中的各种特征(以及虚拟模式和增强模式中的特征)进行组合以创建一个或多个定制的接口模式。在一个示例定制接口模式中，从显示器303中省略了物理环境，以及以类似于虚拟模式的方式在显示器303上呈现虚拟对象数据。然而，在这个示例定制接口模式中，虚拟对象可以是完全虚拟的(即，它们不存在于本地的物理环境中)或者它们可以是被渲染为界面302中的虚拟对象以替代物理对象的真实的本地物理对象。因此，在这个特定定制模式中(在本文中被称为混杂虚拟接口模式)，直播和/或存储的视觉和音频感觉可以通过界面302呈现给用户，以及用户体验并与包括完全虚拟对象和渲染的物理对象的数字世界进行交互。
图6说明了依照混杂虚拟接口模式操作的用户界面的示例实施例。如图6中示出的，用户界面呈现虚拟世界600，该虚拟世界600由完全的虚拟对象610和被渲染的物理对象620(以其它方式物理地呈现在场景中的对象的渲染)组成。依照图6中说明的示例，渲染的物理对象620包含：建筑物620A、地面620B和平台620C，以及使用粗体轮廓630示出以向用户指示对象是渲染的。另外，完全的虚拟对象610包含：另外的用户610A、云610B、太阳610C和平台620C上的火焰610D。应当了解的是，完全的虚拟对象610可以包含：例如，大气、天气、地形、建筑物、人、植物、车辆、动物、生物、机器、人工智能、位置信息以及定义虚拟世界600并且不能从存在于本地的物理环境中的对象渲染的任何其它对象或信息。相反地，渲染的物理对象620是被渲染为界面302中的虚拟对象的真实的本地的物理对象。粗线轮廓630表示用于向用户指示渲染的物理对象的一个示例。照此，可以像这样使用除了本文中公开的那些方法外的方法来指示渲染的物理对象。
在一些实施例中，渲染的物理对象620可以使用环境感知系统306的传感器312(或使用诸如运动或图像捕获系统的其它设备)来检测，并且通过例如存储在处理电路308中的软件和/或固件被转换成数字对象数据。因此，当用户通过接口与混杂虚拟接口模式中的系统100连接时，可以将各种物理对象作为渲染的物理对象显示给用户。对于允许用户通过接口与系统100连接，同时仍然能够安全地导航本地物理环境而言，这可能特别有用。在一些实施例中，用户可能能够有选择地移除渲染的物理对象或将渲染的物理对象添加到界面显示器303。
在另一个示例用户界面模式中，界面显示器303可以是基本上透明的，从而允许用户观看本地的物理环境，同时各种本地的物理对象作为渲染的物理对象被显示给用户。这种示例的定制接口模式类似于增强模式，除了如以上相对于先前示例所述的，虚拟对象中的一个或多个虚拟对象可能是渲染的物理对象。
上述示例定制接口模式表示能够由头戴式系统300的混杂模式提供的各种定制接口模式的若干示例实施例。因此，在不背离本公开的范围的情况下，可以从由头戴式系统300中的组件提供的特征和功能以及上述所述的各种模式的各种组合来创建各种其它定制接口模式。
本文论述的实施例仅描述了用于提供操作在关闭、增强、虚拟或混杂模式中的接口的若干示例，并且不旨在限制头戴式系统300的组件的功能或各自接口模式的范围或内容。例如，在一些实施例中，虚拟对象可以包含显示给用户的数据(时间、温度、海拔等)、由系统100创建和/或选择的对象、由用户创建和/或选择的对象，或甚至表示通过接口与系统100连接的其它用户的对象。另外，虚拟对象可以包含物理对象的延伸(例如，从物理平台长大的虚拟造型)，以及可以可视地连接到物理对象，或从物理对象断开连接。
虚拟对象还可以是动态的以及随着时间而变化，依照用户或其它用户、物理对象和其它虚拟对象之间的各种关系(例如，位置、距离等)而变化，和/或依照在头戴式系统300、网关组件140或服务器110的软件和/或固件中指定的各种变量而变化。例如，在某些实施例中，虚拟对象可以响应于用户设备或其组件(例如当触感设备被放置在虚拟球的旁边时虚拟球移动)、物理的或言语的用户交互(例如，当用户接近虚拟生物时，该虚拟生物跑走，或当用户向它说话时，该虚拟生物说话)、椅子被扔向虚拟生物以及该生物躲避椅子、其它虚拟对象(例如，当第一虚拟生物看到第二虚拟生物时，第一虚拟生物做出反应)，物理变量(诸如位置、距离、温度、时间等)、或在用户环境中的其它物理对象(例如，当物理汽车经过时，被示出为站在物理街道中的虚拟生物变成扁平的)。
本文中论述的各种模式可以应用于除了头戴式系统300之外的用户设备。例如，可以经由移动电话或平板设备来提供增强现实接口。在此类实施例中，电话或平板可以使用相机来捕获用户附近的物理环境，以及可以在电话/平板的显示屏上叠放虚拟对象。另外，可以通过在电话/平板的显示屏上显示数字世界来提供虚拟模式。因此，使用本文所述的电话/平板的组件以及连接到用户设备的其它组件或与用户设备结合使用的其它组件，可以将这些模式混杂以创建如上所述的各种定制接口。例如，可以由缺少与运动或图像捕获系统结合操作的相机的计算机监视器、电视屏幕或其它设备来提供混杂的虚拟接口模式。在这个示例实施例中，可以从监视器/屏幕来观看虚拟世界，以及可以由运动或图像捕获系统来执行对象检测和渲染。
图7说明了本公开的示例实施例，其中位于不同地理位置中的两个用户每个用户通过他们各自的用户设备与其它用户和共同的虚拟世界进行交互。在这个实施例中，两个用户701和702正在来回地扔虚拟球703(一种类型的虚拟对象)，其中每个用户能够观察到虚拟世界中的其它用户的影响(例如，每个用户观察到改变方向的虚拟球，由其它用户抓住的虚拟球等)。因为由计算网络105中的服务器110来跟踪虚拟球(即，虚拟球703)的移动和位置，所以在一些实施例中，系统100可以向用户701和用户702传递相对于每个用户的球703的准确位置和到达计时。例如，如果第一用户701位于伦敦，用户701可以向位于洛杉矶的第二用户702以由系统100计算的速率扔球703。因此，系统100可以向第二用户702(例如，经由电子邮件、文本消息、即时消息等)传递球到达的准确时间和位置。照此，第二用户702可以使用他的设备以看到球703在指定时间和位置到达。当一个或多个虚拟对象虚拟地穿越全球时，一个或多个用户还可以使用地理位置映射软件(或类似的)以跟踪一个或多个虚拟对象。这种情况的示例可以是穿戴三维头戴式显示器的用户在天空中查找和看到飞过头顶的叠加在真实世界上的虚拟飞机。可以由用户、由智能软件代理(运行在用户设备或网关上的软件)，可能是本地和/或远程的其它用户，和/或这些组合中的任何组合来驾驶虚拟飞机。
如前所述，用户设备可以包含触感接口设备，其中当系统100确定触感设备位于与虚拟对象有关的物理的空间位置时，触感接口设备向用户提供反馈(例如，阻力、振动、光线、声音等)。例如，如图8中示出的，以上相对于图7描述的实施例可以被扩展为包含使用触感设备802。
在这个示例实施例中，在虚拟世界中可以将触感设备802显示为棒球棒。当球703到达时，用户702可以向虚拟球703挥舞触感设备802。如果系统100确定由触感设备802提供的虚拟棒与球703进行了“接触”，则触感设备802可以振动或向用户702提供其它反馈，以及虚拟棒703可以在由系统100计算的方向中依照球至棒的接触的检测的速度、方向和计时弹跳离开虚拟棒。
在一些实施例中，所公开的系统100可以促进混合模式接口连接，其中多个用户可以使用不同的接口模式(例如，增强的、虚拟的、混杂的等)通过接口与共同的虚拟世界进行连接(含有在其中的虚拟对象)。例如，在虚拟接口模式中通过接口与特定虚拟世界连接的第一用户可以与在增强现实模式中通过接口与同一个虚拟世界连接的第二用户进行交互。
图9A说明了第一用户901(在混合虚拟接口模式中通过接口与系统100的数字世界连接)和第一对象902对于在完全虚拟现实模式中通过接口与系统100的同一数字世界连接的第二用户922而言似乎是虚拟对象的示例。如上所述，当经由混杂的虚拟接口模式通过接口与数字世界连接时，可以将本地的物理对象(例如第一用户901和第一对象902)扫描和渲染成虚拟世界中的虚拟对象。第一用户901例如可以由运动捕获系统或类似的设备来扫描，以及在虚拟世界中(由存储在运动捕获系统、网关组件140、用户设备120、系统服务器110或其它设备中的软件/固件)被渲染成第一渲染物理对象931。类似地，第一对象902例如可以由头戴式接口300的环境感知系统306来扫描，以及在虚拟世界中(由存储在处理器308、网关组件140、系统服务器110或其它设备中的软件/固件)被渲染成第二渲染物理对象932。在图9A的第一部分910中，第一用户901和第一对象902被示出为物理世界中的物理对象。在图9A的第二部分920中，第一用户901和第一对象902被示出为对于在完全虚拟现实模式中与通过接口与系统100的同一数字世界连接的第二用户922而言他们好像是第一渲染的物理对象931和第二渲染的物理对象932。
图9B说明了混合模式接口连接的另一个示例实施例，其中如上所述，在混杂虚拟接口模式中第一用户901通过接口与数字世界连接，以及在增强现实模式中第二用户922通过接口与同一数字世界(以及第二用户的物理的本地环境925)连接。在图9B中的实施例中，第一用户901和第一对象902位于第一物理位置915处，以及第二用户922位于由距离第一位置915的一些距离分开的不同的第二物理位置925。在这个实施例中，可以将虚拟对象931和虚拟对象932实时地(或接近实时地)转换到对应于第二位置925的虚拟世界内的位置。因此，第二用户922在第二用户的物理的本地环境925中可以观察到分别表示第一用户901和第一对象902的渲染的物理对象931和物理对象932并且与其进行交互。
图10说明了当在增强现实模式中通过接口与系统100连接时用户的视图的示例说明。如在图10中示出的，用户看到本地的物理环境(即，具有多个建筑物的城市)以及虚拟角色1010(即，虚拟对象)。可以由二维视觉目标(例如，广告牌、明信片或杂志)和/或一个或多个三维参考系(诸如，建筑物、汽车、人、动物、飞行器、建筑物的部分和/或任何三维物理对象、虚拟对象和/或其组合)来触发虚拟角色1010的方位。在图10中说明的示例中，在城市中的建筑物的已知方位可以提供注册基准点和/或信息和关键特征以用于渲染虚拟角色1010。另外，用户的地理空间位置(例如，由GPS，姿态/方位传感器等来提供)或与建筑物有关的移动位置可以包括由计算网络105使用的数据以触发用于显示虚拟角色(多个)1010的数据的传输。在一些实施例中，用于显示虚拟角色1010的数据可以包括渲染的角色101和/或用于渲染虚拟角色1010或其部分的指令(由网关组件140和/或用户设备120来执行)。在一些实施例中，如果用户的地理空间位置是不可获得或未知的，则服务器110、网关组件140和/或用户设备120仍然可以使用估计特定虚拟对象和/或物理对象可能位于的地方的估计算法，使用根据时间和/或其它参数的用户最后已知的方位来显示虚拟对象1010。万一用户的传感器变成闭塞的和/或经历了其它故障时，这还可以用于确定任何虚拟对象的方位。
在一些实施例中，虚拟角色或虚拟对象可以包括虚拟塑像，其中由物理对象来触发虚拟塑像的渲染。例如，现在参照图11，可以由真实的物理平台1120来触发虚拟塑像1110。塑像1110的触发可以是响应于由用户设备或系统100的其它组件检测的虚拟对象或特征(例如，基准点、设计特征、几何结构、模式、物理位置、高度等)。当用户不使用用户设备来观看平台1120时，用户看到不具有塑像1110的平台1120。然而，当用户通过用户设备来观看平台1120时，用户看到如图11示出的平台1120上的塑像1110。塑像1110是虚拟对象，以及因此可以是固定的、动画的、随着时间或相对于用户观看的方位而变化，或甚至取决于正在观看塑像1110的那个特定用户而变化。例如，如果用户是小孩，则塑像可能是狗；但是如果观看者是成年男性，则塑像可能是图11中示出的大机器人。这些是用户依从性和/或状态依从性经验的示例。这将使得一个或多个用户能够独立地和/或与物理对象结合来感知一个或多个虚拟对象，以及体验定制的和个性化版本的虚拟对象。可以由包含例如安装在用户设备上的软件/固件的系统的各种组件来渲染塑像1110(或其部分)。使用指示用户设备的位置和姿态的数据，结合虚拟对象(即，塑像1110)的注册特征，虚拟对象(即，塑像1110)形成与物理对象(即，平台1120)的关系。例如，一个或多个虚拟对象与一个或多个物理对象之间的关系可以是距离、定位、时间、地理位置、至一个或多个其它虚拟对象的接近性的函数，和/或包含任何种类的虚拟和/或物理数据的任何其它功能关系。在一些实施例中，用户设备中的图像识别软件还可以增强数字-至-物理对象的关系。
由所公开的系统和方法提供的交互式接口可以被实现以促进各种活动，诸如例如，与一个或多个虚拟环境和对象进行交互，与其它用户进行交互，以及体验各种形式的媒体内容，包含广告、音乐会和电影。因此，所公开的系统促进了用户交互，使得用户不仅看或听媒体内容，而且主动地参与并体验媒体内容。在一些实施例中，用户参与可以包含改变现有的内容或创建将在一个或多个虚拟世界中渲染的新的内容。在一些实施例中，媒体内容和/或用户创建的内容可以围绕一个或多个虚拟世界的神话创作为主题。
在一个示例中，音乐家(或其它用户)可以创建将被渲染给与特定虚拟世界进行交互的用户的音乐内容。音乐内容可以包含：例如各种信号、EP、专辑、视频、短片和音乐会演出。在一个示例中，许多用户可以通过接口与系统100连接以同时地体验由音乐家表演的虚拟音乐会。
在一些实施例中，所产生的媒体可以含有与特定实体(例如，乐队、艺术家、用户等)相关联的唯一标识码。该码可以是一组字母数字字符、UPC码、QR码、二维图像触发器、三维物理对象特征触发器或其它数字标记，以及声音、图像和/或这两者的形式。在一些实施例中，还可以将该码与数字媒体一起嵌入，可以使用系统100通过接口与该数字媒体连接。用户可以获得该码(例如，经由支付费用)以及兑换该码以访问由与标识码相关联的实体产生的媒体内容。可以在用户界面上添加或从用户界面移除媒体内容。
在一个实施例中，为了避免从一个计算系统向另一个计算系统(诸如，从云计算系统到耦合到用户的本地处理器)实时地或接近实时地低时延地传送视频数据的计算和带宽的限制，关于各种形状和几何形状的参数信息可以被转移(transfer)以及用于定义表面，同时纹理可以被转移以及添加到这些表面以带来关于静态或动态的细节，诸如根据参数地重现面孔的几何形状来映射的人的面孔的基于位图的视频细节。作为另一个示例，如果系统被配置为识别人的面孔，并且知道人的化身位于增强世界中，则系统可以被配置为以一种相对大的设置转移来传送相关的世界信息以及人的化身的信息，在此之后，剩下的转移给本地计算系统，诸如图1中描绘的那个308，因为可以使本地渲染限制于参数和纹理更新，诸如人的骸骨结构的运动参数以及人的面孔的移动位图-所有这些以低于与实时视频的初始设置转移或传送的带宽有关的数量级。因此，基于云和本地计算资产可以在集成方式中使用，使得云处置不需要相对低时延的计算，以及本地处理资产处置低时延是非常珍贵的任务，以及在此类情况下，由于此类数据(即，参数信息、纹理等对一切事务的实时视频)的总量的形式，转移给本地系统的数据的形式优选地以相对低的带宽来传送。
向前参照图15，示意性说明了云计算资产(46)和本地计算资产(308,120)之间的合作。在一个实施例中，云(46)资产可操作地诸如经由有线或无线网络(可能期望的是，无线优选地用于移动性，有线优选地用于某些高带宽或高数据量转移)直接耦合到(40,42)本地计算资产(120,308)(诸如可以被安装在结构中的处理器和存储器配置，该结构被配置为与用户头(120)或带子(308)耦合)中的一者或两者。位于用户本地的这些计算资产还可以经由有线和/或无线连通性配置(44)可操作地彼此相互耦合。在一个实施例中，为了维持低惯性和小尺寸的头戴式子系统(120)，用户和云(46)之间的主要转移可以经由基于带的子系统(308)和云之间的链路，使用无线连通性(诸如超宽带(“UWB”)连通性，如例如在个人计算外围设备连通性应用中当前使用的)将头戴式子系统(120)的主要数据绑缚到基于带的子系统(308)。
使用高效的本地和远程处理合作，以及针对用户的适当的显示设备，诸如在图3中描述特征的用户界面302或用户“显示设备”，以下参照图14描述的显示设备14，或其变型，关于用户的当前真实或虚拟位置的一个世界的方面可以被转移或“传送”给用户以及以高效的方式进行更新。实际上，在一个实施例中，在增强现实模式中使用虚拟现实系统(“VRS”)的一个人和在完全虚拟模式中使用VRS的另一个人为了探索位于第一个人的本地同一世界，这两个用户可以以各种方式彼此体验位于彼此世界中用户。例如，参照图12，描绘了类似于参照图11描述的场景，外加正在飞行通过所描述的增强现实世界的来自完全虚拟现实场景的第二用户的化身2的虚拟化。也就是说，可以在针对第一人的增强现实中体验和显示图12中描绘的场景-除了在场景中的本地世界附近的真实物理元素(诸如，地面、背景中的建筑物、塑像平台1120)外还显示两个增强现实元素(塑像1110和第二人的飞翔的大黄蜂化身2)。动态更新可以用于允许第一人可视化第二人的化身2的过程，如化身2飞行通过位于第一人的本地的世界。
此外，使用如上所述的配置，其中有一个世界模型，其可以驻留在云计算资源上以及可以从那里进行分布，优选地试着分发实时视频数据或诸如此类，此类世界能够以相对低的带宽形式“可传送“给一个或多个用户。可以由基于云的世界模型来通知站在塑像(即，如图12中示出的)附近的人的增强体验，可以将其的子集向下传送给他们和他们的本地显示设备以完成视图。坐在远程显示设备处的人(其可以是如位于桌子上的个人计算机一样简单)能够高效地下载来自云的信息的同一部分，以及使得它被渲染在他们的显示器上。实际上，事实上呈现在位于塑像附近的公园中的一个人可以与位于远程的朋友在那个公园中散步，该朋友通过虚拟和增强现实来加入。系统将需要知道街道位于何处，树在哪里，塑像在何处-但是在云上具有该信息时，加入的朋友能够从云下载场景的方面，以及然后开始散步，作为与实际上在公园中的人有关的本地的增强现实。
参照图13，描绘了基于时间和/或其它偶然性参数的实施例，其中与虚拟和/或增强现实接口(诸如具有图3中描绘特征的用户界面302或用户显示设备、以下参照图14描述的显示设备14，或其组合)结合的人正使用系统(4)以及进入咖啡经营场所以点了一杯咖啡(6)。VRS可以被配置为使用感知和数据收集能力(本地地和/或远程地)以在针对该人在增强和/或虚拟现实中提供显示加强，诸如高亮咖啡经营场所中的门的位置或相关的咖啡菜单(8)的气泡窗口。当人接收到他已经点的一杯咖啡时或在系统检测到一些其它相关参数后，系统可以被配置为在具有显示设备的本地环境中显示(10)一个或多个基于时间的增强或虚拟现实图像、视频和/或声音，诸如来自墙和天花板的马达加斯加岛丛林场景，具有或不具有丛林声音和其它效果，静态或动态的。基于定时参数(即，在已经识别到满杯的咖啡杯以及递给用户后的5分钟；在已经识别到用户走进经营场所的前门之后的10分钟，等)或其它参数(诸如由当用户从杯子摄食了最后一口的咖啡时，系统通过注意到咖啡杯的倒置指向识别到用户已经喝完了咖啡-或由系统识别到用户已经离开经营场所(12)的前门)，至用户的此类呈现可以中止。
参照图14，示出了合适的用户显示设备(14)的一个实施例，该用户显示设备包括：显示镜头(82)，其通过壳体或框架(84)被安装在用户的头或眼。显示镜头(82)可以包括通过用户的眼睛(20)的前面中的壳体(84)定位的一个或多个透明镜子，以及被配置为将投影光反射到眼睛(20)中以及促进光束整形，同时还允许传输来自增强现实配置中的本地环境的至少一些光(在虚拟现实配置中，对于显示系统14而言，可能期望的是能够基本上阻塞来自本地环境的所有光，诸如通过黑暗的遮护，阻塞窗帘，全黑LCD面板模式或诸如此类)。在所描绘的实施例中，两个宽视野的机器视觉相机(16)被耦合到壳体(84)以成像用户周围的环境；在一个实施例中，这些相机(16)是双重捕获可见光/红外线相机。如所示的，所描绘的实施例还包括具有显示镜子和被配置为将光(38)投影到眼睛(20)中的光学器件的一对激光扫描成形波前(即，针对深度)光投影模块。所描绘的实施例还包括：与红外线光源(26，诸如发光二极管“LED”)成对的两个微型红外线相机(24)，其被配置为能够跟踪用户的眼睛(20)以支持渲染和用户输入。系统(14)还以传感器总成(39)的特征，其可以包括X，Y和Z轴加速计能力以及磁罗盘和X,Y和Z轴陀螺仪能力，优选地以相对高的频率(诸如200Hz)来提供数据。所描绘系统(14)还包括头部姿势处理器(36)，诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、和/或ARM处理器(高级精简指令集机器)，其可以被配置为从捕获设备(16)输出的宽视野图像信息实时或接近实时地计算用户的头部姿势。还示出示出的是另一个处理器(32)，其被配置为执行数字和/或模拟处理以从来自传感器总成(39)的陀螺仪、罗盘和/或加速计数据来导出姿势。所描绘的实施例还以GPS(37，全球定位卫星)子系统以帮助姿势和定位为特征。最后，所描绘的实施例包括渲染引擎(34)，其可以以运行软件程序的硬件为特征，该软件程序被配置为针对世界的用户视图提供该用户本地的渲染信息以促进扫描仪的操作以及成像到用户的眼睛中。渲染引擎(34)可以操作地耦合到(81,70,76/78,80；即，经由有线或无线连通性)传感器姿势处理器(32)、图像姿势传感器(36)、眼睛跟踪相机(24)和投影子系统(18)，使得以类似于视网膜扫描显示器的方式使用扫描激光装置(18)来投影渲染的增强和/或虚拟现实对象的光。投影光束(38)的波前可以弯曲或聚焦以符合增强和/或虚拟现实对象的期望的焦点距离。微型红外线相机(24)可以用于跟踪眼睛以支持渲染和用户输入(即，用户观看的地方，他聚焦有多深；如以下论述的，眼睛边缘可以用于估计焦点的深度)。GPS(37)、陀螺仪、罗盘和加速计(39)可以用于提供粗略和/或快速姿势估计。相机(16)图像和姿势结合来自相关联的云计算资源的数据可以用于映射本地世界，以及与虚拟和增强现实社区共享用户视图。虽然在图14中描述特征的显示系统(14)中硬件中的大多数硬件被描绘为直接耦合到壳体(84)，该壳体(84)邻近显示器(82)和用户的眼睛(20)，但是所描绘的硬件组件可以被安装到其它组件内或封装在其它组件内，诸如安装带组件，如例如在图3中示出的。在一个实施例中，在图14中描述特征的系统(14)的所有组件(除了图像姿势处理器(36)、传感器姿势处理器(32)和渲染引擎(34)之外)直接耦合到显示壳体(84)，以及上面后三个组件与系统(14)的剩余组件之间的通信可以是通过无线通信(诸如超宽带)或有线通信。所描绘的壳体(84)优选地可以由用户头戴和可以穿戴。它还可以以扬声器(诸如可以被插入到用户的耳朵中以及用于向可能与增强或虚拟现实体验相关的用户提供声音(诸如参照图13提及的丛林声音)的那些扬声器)以及麦克风(其可以用于捕获用户本地的声音)为特征。
关于进入用户的眼睛(20)中的光(38)的投影，在一个实施例中，微型相机(24)可以用于测量用户的眼睛(20)的中心在几何上地趋向哪里，一般地其与眼睛(20)的焦点的方位或“焦点的深度”一致。眼睛趋向的所有点的三维表面被称为“两眼视界”。焦点距离可以具有有限数量的深度或可以是无限变化的。来自视线聚合距离的投射的光好像是被聚焦到主题(subject)眼(20)，而在视线聚合距离前面或后面的光是模糊不清的。此外，已经发现的是，具有小于大约0.7毫米的光束直径的空间相干光由人的眼睛正确的解析，而不管眼睛聚焦在哪里；给定这种理解，为了创建适当的焦点深度的错觉，可以使用微型相机(24)来跟踪眼睛视线聚合，以及渲染引擎(34)和投影子系统(18)可以用于渲染在焦点对准的两眼视界上或接近两眼视界上的所有对象，以及在散焦不同度数处的所有其它对象(即，使用有意创建的模糊)。被配置为将相关光投影到眼睛中的穿透光引导光线器件可以由诸如Lumus公司的供应商来提供。优选地，系统(14)以每秒约60帧的帧率或更高向用户进行渲染。如上所述，优选地，微型相机(24)可以用于眼睛跟踪，以及软件可以被配置为获取不仅视线聚合几何而且聚焦位置线索以用作用户输入。优选地，此类系统被配置为具有适合于白天和夜晚使用的亮度和对比度。在一个实施例中，此类系统优选地具有小于约20毫秒的时延以用于虚拟对象对齐，小于约0.1度的角度对齐，以及约1弧分的分辨率，其大约是人类眼睛的限制。显示系统(14)可以与定位系统集成，其可以涉及GPS元素、光学跟踪、罗盘、加速计和/或其它数据源以帮助方位和姿势确定；定位信息可以用于促进在相关世界的用户视图中的准确渲染(即，此类信息将促进眼镜知道它们相对于真实世界在什么地方)。
其它合适的显示设备包含但不限于：台式和移动计算机、智能电话、可以另外地使用软件和硬件特征以促进或仿真三维透视图(例如，在一个实施例中，帧可以可移除地耦合到智能电话，帧以200Hz陀螺仪和加速计传感器子集为特征，具有宽视界镜头的两个小机器视觉相机，以及ARM处理器-以仿真在图14中描述特征的配置的功能中的一些功能)来增强的智能电话、平台计算机、如以上针对智能电话所述的可以增强的平板计算机、使用另外的处理和感知硬件来增强的平板计算机、头戴式系统(其使用智能电话和/或平板计算机以显示增强和虚拟的视点(经由放大光学器件、镜子、接触镜头或光结构元素的视觉调节))、非透明的光发射元素显示器(LCD、OLED、垂直腔表面发射激光器、控制激光束等)、透明显示器(其同时允许人看到自然世界和人工生成的图像(例如，光引导光学元素、照进近焦接触镜头的透明和极化OLED、控制激光束等))、具有光发射元素的接触镜头(诸如，来自华盛顿州的贝尔维尔的Innovega公司的，在商标Ioptik RTM下的可获得的那些具有光发射元素的接触镜头；它们可以与专用的互补眼镜组件进行组合)、具有光发射元素的可植入设备、以及仿真人脑的光学接收器的可植入设备。
使用诸如图3和图14中描绘的系统的系统，可以从环境捕获三维点，以及可以确定捕获那些图像或点的相机的姿势(即，有关于世界的向量和/或源方位信息)，以便这些点或图像可以使用这个姿势信息“加标记”或与这个姿势信息相关联。然后，由第二相机捕获的点可以用于确定第二相机的姿势。也就是说，一个人能够基于与来自第一相机的标记的图像的比较来定向和定位第二相机。然后，这个知识可以用于提取纹理、制作映射以及创建真实世界的虚拟拷贝(因为然后在被注册的真实世界周围有两个相机)。因此在基面，在一个实施例中，你具有穿戴用于捕获三维点和产生该点的二维图像的系统的人，以及可以将这些点和图像发送出去给云存储和处理资源。还可以将它们与嵌入式姿势信息本地地缓存(即，缓存标记的图像)；以便云可以准备好(即，在可用的缓存中)标记的二维图像(即，使用三维姿势来标记)，连同三维点。如果用户正在观察某些动态的东西，则他还可以将关于运动的另外的信息向上发送给云(例如，如果看另一个人的面孔，则用户能够获得该面孔的纹理图以及以优化的频率来向上推送该纹理图，即使周围世界在其它方面基本上是静态的)。
云系统可以被配置为保存一些点作为仅用于姿势的基准点，以减少整体的姿势跟踪计算。一般而言，可能期望的是具有一些轮廓特征以便当用户在房间周围移动时能够跟踪用户环境中的主要项目，诸如墙、桌子等，以及用户可能希望能够“共享”世界以及使一些其它用户走进该房间并且也看到这些点。此类有用的和关键的点可以被称为“基准点”，因为它们作为锚点是相当有用的-它们与可以由机器视觉识别的特征以及能够从在用户硬件的不同块上一致地和重复地从世界提取的特征有关。因此，优选地可以将这些基准点保存到云以供进一步使用。
在一个实施例中，优选的是，在整个相关世界上具有相对均匀分布的基准点，因为它们是相机能够容易地用于识别位置的各种种类的项目。
在一个实施例中，相关的云计算配置可以被配置为周期性地整理三维点和任何相关联的元数据的数据库以将来自各种用户的最佳数据用于基准点求精和世界创建两者。也就是说，系统可以被配置为通过使用来自观看相关世界以及在相关世界内执行功能的各种用户的输入来获得最佳的数据集。在一个实施例中，数据库是固有的不规则的碎片形-当用户移动到更接近于对象时，云向此类用户传送更高分辨率的信息。当用户更接近地映射对象时，该数据被发送给云，以及如果新的三维点和基于图像的纹理图比先前存储在数据库中的那些三维点和基于图像的纹理图更好，则云能够将它们添加到数据库。所有一切可被配置为从许多用户同时发生。
如上所述，增强或虚拟现实体验可以基于识别某些类型的对象。例如，重要的是理解特定对象具有深度以便识别和理解此类对象。识别器软件对象(“识别器”)可以部署在云或本地资源上，以便当用户在世界中导航数据时特别地帮助识别一个或两个平台上的各种对象。例如，如果系统具有针对包括三维点云和姿势标记图像的世界模型的数据，以及具有在其上具有一群点的桌子以及该桌子的图像，则可能不能如人将知道它是桌子那样来确定正在观察的是(实际上)是桌子。也就是说，在空间中的某些三维点和在空间中离开某处的示出桌子的大部分的图像可能不足以立刻识别正在被观察的是桌子。为了帮助这种识别，可以创建特定对象识别器，其将进入原始三维点云，分割一组点，以及例如提取桌子的顶部表面的平面。类似地，可以创建识别器以分割来自三维点的墙，以便用户能够在虚拟或增强现实中改变墙纸或移除墙的一部分，以及具有至另一个房间的入口(在真实世界中其实际上不是存在于那里)。此类识别器操作在世界模型的数据内，以及可以被认为是软件“机器人”，其爬行世界模型以及将该世界模型灌输语义信息，或关于被认为是存在于空间中的点之间的本体论。此类识别器或软件机器人可以被配置为使得它们整体存在是关于在数据的相关世界四处走动以及找到它认为是墙或椅子或其它项目的东西。它们可以被配置为将一组点标记为具有“这组点属于墙”的功能性等同性，以及可以包括基于点的算法和标记姿势的图像分析的组合以用于相互通知系统关于在点中是什么。
可以取决于视角出于各种效用的许多目的来创建对象识别器。例如，在一个实施例中，咖啡的供应商(诸如星巴克)可以投资于在数据的相关世界内创建星巴克的咖啡杯的准确识别器。此类识别器可以被配置为爬行大大小小的数据世界以搜索星巴克的咖啡杯，因此当操作在相关的附近空间中时(即，可能的是，在刚好位于角落附近的星巴克的批发商店中，当用户在一段时间内看他的星巴克杯时向用户提供咖啡)，可以将它们分割出并且识别到用户。随着杯子被分割出，当用户在他的桌子上移动它时，它可以被快速地识别。取决于可以使用的计算资源，此类识别器可以被配置为不仅运行或操作在云计算资源和数据上，而且运行或操作在本地资源和数据上，或者云和本地两者。在一个实施例中，在具有数百万的用户贡献于那个全球模型的云上有世界模型的全球拷贝，但是对于类似于特定城镇中的特定个体的办公室的小世界或子世界而言，全球世界的大多数将不关心该办公室看起来像什么，因此系统可以被配置为整理数据以及移动到本地缓存信息(其被认为是与给定用户最本地相关的)。在一个实施例中，例如，当用户走向桌子时，有关信息(诸如在他的桌子上的特定杯子的分割)可以被配置为仅驻留在他的本地计算资源而不是在云上，因为被识别为经常移动的对象(诸如桌子上的杯子)的对象不必加重云模型以及云和本地资源之间的传输负担的负担。因此，云计算资源可以被配置为分割三维点和图像，因此将永久(即，一般不移动的)对象从可移动对象分解开，以及这可能影响哪里的相关联数据将保留，哪里的将被处理，针对于更永久的对象有关的某种数据而言从可穿戴/本地系统中移除处理负担，允许位置的一次处理(然后，该位置可以与无限的其它用户共享)，允许多个数据源在特定物理位置中同时地建立固定和可移动对象的数据库，以及从背景中分割出对象以创建对象特定的基准点和纹理图。
在一个实施例中，系统可以被配置为向用户询问关于某些对象的身份的输入(例如，系统可以向用户呈现问题，诸如“那是星巴克咖啡杯吗？”)，以便用户可以训练系统以及允许系统将语义信息与真实世界中的对象相关联。本体论可以提供关于从世界分割的对象能够做什么、它们如何表现行为等的指导。在一个实施例中，系统可以具有虚拟或真实的小键盘的特征，诸如无线连接的小键盘，至智能电话的小键盘的连通性，或诸如此类，以促进至系统的某种用户输入。
系统可以被配置为与以虚拟或增强现实走进房间的任何用户共享基本元素(墙、窗口、桌子几何形状等)，以及在一个实施例中，人的系统将被配置为从他的特定视角来得到图像并且将那些图像上传到云。然后云开始填充旧的和新的数据集合，以及能够运行优化例程以及建立在个体对象上存在的基准点。
GPS和其它定位信息可以用作至此类处理的输入。此外，其它计算系统和数据(诸如人的在线日程表或脸书账户信息)可以用作输入(例如，在一个实施例中，云和/或本地系统可以被配置为针对飞机票、日期和目的地来分析用户日程表的内容，以便随着时间，可以从云中将信息移动到用户的本地系统中以便为在给定目的地中用户的到达时间做准备)。
在一个实施例中，可以将诸如QR码的标签和诸如此类插入到世界中以供非统计姿势计算、安全性/访问控制、特别信息的通信、空间消息传送、非统计对象识别等的使用。
在一个实施例中，如以上参照“可传送的世界”描述的，云资源可以被配置为在用户之间传送真实和虚拟世界的数字模型，具有由个体用户基于参数和纹理来渲染的模式。这降低了有关于传送实时视频的带宽，允许场景的虚拟视点的渲染，以及允许数百万或更多的用户参与一个虚拟收集而在它们之间相互发送的他们需要观看的数据(诸如视频)，因为他们的视图是通过他们的本地计算资源来渲染的。
虚拟现实系统(“VRS”)可以被配置为通过以下中的一个或多个来注册用户位置和视野(一起被称为“姿势“)：使用相机的实时度量的计算机视觉、同时定位和映射技术、地图和来自传感器(诸如陀螺仪、加速计、罗盘、气压计、GPS、无线电信号强度三角测量、信号飞行时间分析、LIDAR范围、RADAR范围、测程法和声纳范围)的数据。可穿戴设备系统可以被配置为同时地绘制地图和定向。例如，在未知的环境中，VRS可以被配置为收集关于环境的信息、确定适用于用户姿势计算的基准点、用于世界建模的其它点、用于提供世界的纹理图的图像。基准点可以用于光学地计算姿势。当使用更多的细节来映射世界时，可以分割出更多的对象以及给出它们自己的纹理图，但是世界仍然优选地使用低分辨率纹理图以简单多边形低空间分辨率来表示。其它传感器，诸如上述论述的那些传感器，可以用于支持这种建模工作。世界可以是固有的不规则形状，在于移动或以其它方式搜寻更好的视图(通过视点、“监督”模式、放大等)要求来自云资源的高分辨率的信息。更接近地移动到对象捕获更高的分辨率数据，以及这可以被发送给云，其可以计算世界模型中的间隙位置处的新的数据和/或在世界模型中的间隙位置处插入新的数据。
现在参照图16，可穿戴系统可以被配置为捕获图像信息以及提取基准点和识别点(52)。可穿戴的本地系统可以使用以下提及的姿势计算技术中的一种姿势计算技术来计算姿势。云(54)可以被配置为使用图形和基准点以从更静态的三维背景中分割出三维对象；图像提供针对对象和世界的纹理图(纹理可以是实时视频)。云资源(56)可以被配置为存储和提供用于世界注册的静态基准点和纹理。云资源可以被配置为管理用于注册的最优点密度的点云。云资源可以被配置为(62)使用所有有效的点和纹理以生成对象的分形实体模型；云可以管理用于最优基准点密度的点云信息。云资源(64)可以被配置为向用户询问关于分割对象和世界的密度的训练；本体论数据库可以使用应答以使用可动作的属性来灌输对象和世界。
以下注册和映射的特定模式以术语“O-姿势”为特征，其表示从光学或相机系统确定的姿势；“s-姿势”，其表示从传感器(即，如上所述的，诸如GPS、陀螺仪、罗盘、加速计等数据的组合)确定的姿势；以及“MLC”，其表示云计算和数据管理资源。
1.定向：制作出新环境的基本图
目的：如果环境没有被映射或(等同的)或者如果没有连接到MLC，
则建立姿势。
·从图像提取点，逐帧进行跟踪，使用S-姿势来三间测量基准点。
·使用S-姿势，因为没有基准点
·基于持久性过滤差的基准点。
·这是最基本的模式：对于低精确度的姿势它将总是工作的。使用很少时间以及一些相对运动，它将建立用于O-姿势和/或映射的最小化的基准点集合。
·一旦O-姿势可靠就跳出这种模式。
2.映射和O-姿势：映射环境
目的：建立高准确度的姿势，映射环境，以及向MLC提供地图(具有图像)。
·从成熟世界基准点来计算O-姿势。使用S-姿势作为O-姿势解决方案的检查以及用于加速计算(O-姿势是非线性梯度搜索)。
·成熟基准点可能来自MLC，或是本地确定的那些基准点。
·从图像提取点，逐帧进行跟踪，使用O-姿势来进行三角测量基准点。
·基于持久性过滤差的基准点
·向MLC提供基准点和姿势标记的图像
·后三个步骤不需要实时发生。
3.O-姿势：确定姿势
目的：使用最小化的处理功率在已经映射的环境中建立高准确度的姿势。
·使用历史的S-姿势或O-状态(n-1，n-2，n-3等)以估计在n处的姿势。
·使用在n处的姿势以将基准点投影到在n处捕获的图像中，然后从该投影来创建图像遮障。
·从遮障区域来提取点(仅通过从图像的遮障子集中来搜索/提取点极大地降低了处理负担)。
·从提取的点和成熟的世界基准点来计算O-姿势。
·使用在n处的S-姿势和O-姿势以估计在n+1处的姿势。
·选项：向MLC云提供姿势标记的图像/视频。
4.超级Res：确定超级分辨率图像和基准点
目的：创建超级分辨率图像和基准点。
·使姿势标记的图像复合以创建超级分辨率图像。
·使用超级分辨率图像以增强基准点方位的估计。
·从超级分辨率基准点和图像来迭代O-姿势估计。
·选项：在可穿戴设备(实时地)或(MLC)(用于更好的世界)循环以上步骤。
在一个实施例中，VLS系统可以被配置为具有某些基本功能，以及由可以通过VLS分发以提供某些特定功能的“应用(app)”或应用促进的功能。例如，可以将以下应用安装到主题VLS以提供特定功能。
美术绘制的应用。艺术家创建表示他们看到的世界的图像转换。用户能够使用这些转换，因此“通过”艺术家的眼睛观看世界。
桌面建模应用。用户从被放在桌子上的物理对象来“建立”的对象。
虚拟临场应用。用户向其它用户传送空间的虚拟模型，然后其它用户使用虚拟化身在空间附近移动。
化身情感应用。微妙的音调变化的测量，监测头部移动、体温、心跳等，在虚拟临场化身上制作微妙的效果的动画。数字化人的状态信息以及使用低于视频的带宽将其传送给远程化身。另外，此类数据是可映射到有情感的非人类化身。例如，狗的化身能够基于兴奋的音调变化通过摇它的尾巴示出兴奋。
与将一切发送回给服务器作为对照，高效的网格类型网络可能是期望用于移动数据。然而，许多网格网络具有次优的性能，因为没有很好地描述方位信息和拓扑的特点。在一个实施例中，系统可以用于以较高的准确性来确定所有用户的位置，以及因此网格网络配置可以用于高性能。
在一个实施例中，系统可以用于搜索。使用增强现实，例如，用户将生成和留下有关于物理世界的许多方面的内容。这种内容中的许多内容不是文本的，以及因此不易于由典型的方法来搜索。系统可以被配置为提供用于跟踪个人和社交网络内容以用于搜索和参考目的的设施。
在一个实施例中，如果显示设备通过连续帧来跟踪二维点，则将向量值函数适配到那些点的时间演化，有可能的是简化在时间中的任何点(例如，帧之间)或在不久的将来中的某些点处(通过将向量值函数在时间中向前推进)的向量值函数。这允许创建高分辨率的后处理，以及在下一个图像被实际捕获之前预测未来的姿势(例如，在没有双倍相机帧速率的情况下，双倍注册速度是可能的)。
对于身体固定渲染(与头上固定或世界固定渲染对比)，期望的是身体的准确视图。而不是测量身体，在一个实施例中通过用户头部的平均方位来导出它的位置是可能的。如果用户的面孔绝大对数时间指向前方，则头部方位的多天的平均值将揭示那个方向。结合重力向量，这提供了合理的稳定的坐标系以用于身体固定的渲染。使用相对于这种长期持续时间的坐标系的头部方位的当前测量允许在用户身体上或用户身体附近的对象的一致性渲染-不使用额外的仪器。对于这种实施例的实现方式，可以启动头部方向向量的单个寄存器的平局值，以及数据的当前和除以德尔塔(delta)-t将给出当前平均的头部方位。保持五个左右的寄存器，在第n-5天、第n-4天、第n-3天、第n-2天、第n-1天启动允许使用前“n”天的滚动平均值。
在一个实施例中，场景可以被缩小以及以小于实际空间呈现给用户。例如，在存在必须以巨大空间(即，诸如足球场)渲染的场景的情况下，可能没有等同的巨大空间呈现，或对于用户而言此类大空间可能是不方便的。在一个实施例中，系统可以被配置为降低场景的比例，以便用户可以观看小型中的它。例如，一个人可能具有神眼视图视频游戏，或世界杯足球游戏，在未缩放的场地中-或按比例缩小场地中进行以及呈现在客厅地板上。系统可以被配置为仅仅转变渲染的视角、比例和相关联的适应距离。
系统还被配置为通过操纵虚拟或增强现实对象的焦点，通过高亮它们，变化对比度、亮度、比例等引起用户注意到特定项目。
优选地，系统可以被配置为实现以下模式：
开放空间渲染：
·从结构化环境中抓取关键点，然后使用ML渲染在空间之间进行填充。
·潜在的场所：舞台、输出空间、大室内空间(体育馆)。
对象包装：
·识别真实世界中的三维对象，然后增强它们。
·这里的“识别”意味着具有足够高准确性将三维物件(blob)辨认为锚图像。
·有两种类型的识别：1)分类对象的类型(例如，“面孔”)；2)分类对象的特定实例(例如，乔，一个人)。
·建立针对各种东西(墙、天花板、地板、面孔、路、天空、摩天大楼、低矮的平房、桌子、椅子、汽车、路标、广告牌、门、窗户、书架等)的识别软件对象。
·一些标识器是类型I，以及具有通用的功能，例如“把我的视频放在那个墙上”，“那是狗”。
·其它识别器是类型II，以及具有特定的功能，例如“我的电视在_我的_客厅的墙上距离天花板3.2英尺”，“那是菲多(Fido)”(这是更有能力的通用识别器的版本)
·建立作为软件对象的识别器允许功能的计量释放，以及体验的更细粒度的控制
身体为中心的渲染
·渲染固定到用户身体的虚拟对象。
·一些东西应当在用户身体的周围漂浮，像数字工具带。
·这要求知道身体在何处，而不是仅仅是头部。通过具有用户头部方位的长期平局值可以获得身体方位的合理的准确性(头部通常平行于地面指向前方)。
·简单的情况是在头部周围漂浮的对象。
透明度/刨面图
·对于类型II的识别的对象，示出了刨面图
·将类型II的识别的对象链接到三维模型的在线数据库。
·应当从具有通常可以获得的三维模型(诸如汽车和公共设施)的对象开始。
虚拟临场
·将远程人的化身描绘到开放空间中。
“开放空间渲染”的子集(以上)。
用户创建本地环境的粗略几何形状，以及迭代地向其它用户发送几何形状和纹理图两者。
用户必须向其它用户授予准许以进入他们的环境。
微妙的声音队列、手势跟踪、和头部运动被发送给远程化身。根据这些模糊输入使化身动画。
以上最小化带宽。
·使墙成为至另一个房间的“入口”
正如其它方法，传送几何形状和纹理图。
替代示出本地房间中的化身，将识别的对象(例如，墙)指定为至其它环境的入口。以这种方式，多个人能够坐在它们自己的房间中，“通过”墙看到其它人的环境。
虚拟视点
·当一组相机(人)查看来自不同视角的场景时，创建区域的密集数字模型。这种丰富的数字模型是可以从至少一个相机能够看到的任何有利位置来渲染的。
·示例。在婚礼处的人。由所有的参加者来联合地建模场景。识别器进行区分以及纹理图静止对象不同于移动对象(例如，墙具有稳定的纹理图，人具有更高频的移动纹理图。)
·使用实时更新的丰富数字模型，场景可以从任何视角来渲染。在后面的参加者为了更好的视图能够在空气中飞到前排。
·参加者能够示出它们移动的化身，或使它们的视角被隐藏。
·场外的参加者能够使用它们的化身或者如果组织者允许不可见地找到“座位”。
·很可能要求非常高的带宽。概念上地，高频数据在高速本地无线上流过人群。低频数据来自MLC。
·由于所有的参加者具有高准确性的方位信息，所以为本地网络建立最佳路由路径是简单的。
消息传送
·简单的无声的消息传送可能是期望的
·对于这个和其它应用，可能期望的是具有手指和弦键盘。
·触觉手套解决方案可以提供增强的性能。
完全虚拟现实(VR)
·随着视觉系统变暗，示出在真实世界上没有被覆盖的视图。
·注册系统仍然需要根据头部方位。
·“睡椅模式”允许用户飞行。
·“行走模式”将真实世界中的对象重新渲染成虚拟对象，因此用户不会与真实世界混淆。
·对于暂停不相信而言，渲染身体部分是必要的。这意味着在FOV中具有用于跟踪和渲染身体部分的方法。
·非透明面具(visor)是具有许多图像加强优点而不可能具有直接叠加的VR的一种形式。
·宽FOV，可能甚至具有看到后部的能力
·各种形式的“超级视觉”：望远镜、透视、红外线、神眼等。
在一个实施例中，用于虚拟和/或增加用户体验的系统被配置为使得可以至少部分地基于具有来自诸如语音音调变化分析和面部识别分析(如由相关软件模块执行的)的源的输入的可穿戴设备上的数据使与用户相关联的远程化身进行动画。例如，参照回图12，可以基于在用户面孔上的微笑的面部识别，或基于语音或说话的友好语调(如由被配置为分析至麦克风(其可从用户本地地捕获语音样本)的语音输入的软件来确定)，使得蜜蜂化身(2)进行动画以具有友好的微笑。此外，可以以化身好像表达某种情感的方式使得化身角色进行动画。例如，在化身是狗的实施例中，由人类用户的本地的系统检测到的高兴的微笑或语调在化身中可以被表示成摇着尾巴的狗的化身。
本文中描述了本发明的各种示例性实施例。以非限制性的含义来参照这些示例。提供它们以说明本发明的更宽广的应用方面。在不背离本发明的真实精神和范围的情况下，可以做出对于所述的本发明的各种变化以及可以使用等同形式来替代。另外，可以做出许多修改以将特定情况、材料、物质的组合、过程、过程动作(多个)或步骤(多个)适应于本发明的目的(多个)、精神或范围。此外，如本领域的技术人员将了解的是，在本文中描述和说明的个体变型中的每个个体变型具有离散的组件和特征，在不背离本发明的范围或精神的情况下，该组件和特征可以容易地与其它若干实施例中的任何实施例的特征分离或与其组合。所有此类修改旨在是落入与本公开相关联的权利要求书的范围内。
本发明包含可以使用主题设备来执行的方法。该方法可以包括提供此类合适设备的动作。此类提供可以由终端用户来执行。也就是说，“提供”动作仅要求终端用户获得、访问、接近、定位、设置、激活、升高或其它方式的动作来提供主题方法中必须的设备。本文所述方法可以以所述事件的逻辑上可能的任何顺序，以及以时间的所述顺序来执行。
本发明的示例性方面，连同关于材料选择和制作的细节已经在上面进行了阐述。至于本发明的其它细节，这些细节可以结合上述引用的专利和出版物以及本领域的技术人员众所周知的或了解的来了解。在如通常或逻辑上使用的另外动作方面，相对于本发明的基于方法的方面，这可以同样适用。
另外，通过已经参照可选地并入各种特征的若干示例来描述的本发明，本发明不限制于根据相对于本发明的每种变型所预期的来描述或指示的那些方面。在不背离本发明的真实精神和范围的情况下，可以针对所述的本发明做出各种变化，以及使用等同形式(不论是在本文中叙述的还是出于某种简明的原因未包含的)来替代。另外，这里提供了值的范围，应当理解的是，每个介于中间的值(在该范围的上限和下限之间)，以及在那个阐明的范围中的任何其它阐明的或介于中间的值被涵盖在本发明内。
此外，可以预期的是，所述的本发明的变型的任何可选特征可以独立地或与本文所述的特征中的一个或多个特征组合来阐述和要求保护。提及的单数项，包含具有多个相同项目存在的可能性。更具体地，如在本文中和在与本文相关联的权利要求书中使用的，单数形式“一个”、“一种”、“所述”和“该”包含复数指示物，除非以其它方式明确地阐明。也就是说，在以上描述以及与本公开相关联的权利要求书中，冠词的使用允许主题项目中的“至少一个”。还需注意的是，此类权利要求书可以被起草成排除任何可选的元素。照此，这个声明旨在用作针对此类排他性术语(如，“仅”、“只有”和诸如此类)连同要求保护的元素的叙述的使用，或“否定”限制的使用的前置基础。
在不使用此类排他性术语的情况下，在与本公开相关联的权利要求书中的术语“包括”应当允许包含任何另外元素-不管在此类权利要求书中是否列举给定数目的元素，或者特征的添加可以被认为转变在此类权利要求书中阐述的元素的性质。除了本文中明确定义的外，本文中使用的所有技术和科学术语被给予如通常理解的含义尽可能宽的范围同时维持权利要求的有效性。
本发明的宽度不限制于提供的示例和/或主题说明书，而是相反仅由与本公开相关联的权利要求语言的范围来限制。

Claims (11)

1.一种用于使得两个或多个用户能够在包括虚拟世界数据的虚拟世界内进行交互的系统，包括：
计算机网络，其包括一个或多个计算设备，所述一个或多个计算设备包括：存储器、处理电路和至少部分地存储在所述存储器中并由所述处理电路执行以处理所述虚拟世界数据的至少一部分的软件；
具有第一可穿戴音频组件的第一用户设备，其中，所述第一用户设备可操作地耦合到所述计算机网络；以及
具有第二可穿戴音频组件的第二用户设备，其中，所述第二用户设备可操作地耦合到所述计算机网络，
其中，所述虚拟世界数据的至少第一部分是从所述第一用户设备的麦克风捕获的本地环境的音频输入，
所述计算机网络可操作地向所述第二用户设备传输所述虚拟世界数据的所述第一部分以用于呈现给第二用户，以使得所述第二用户在所述第二用户的位置听见所述第一部分的音频输入。
2.根据权利要求1所述的系统，其中，第一用户和第二用户在不同的物理位置。
3.根据权利要求1所述的系统，其中，所述虚拟世界的至少一部分响应于所述虚拟世界数据的变化而变化。
4.根据权利要求1所述的系统，其中，所述虚拟世界的至少一部分响应于由所述第一用户设备捕获的所述音频输入的变化而变化。
5.根据权利要求1所述的系统，其中，所述虚拟世界还包括由计算机服务器或者第一用户设备或者第二用户设备中的至少一个进行的虚拟渲染。
6.根据权利要求5所述的系统，其中，所述虚拟世界的所述虚拟渲染以二维格式来呈现。
7.根据权利要求6所述的系统，其中，所述虚拟世界的所述虚拟渲染以三维格式来呈现。
8.根据权利要求1所述的系统，其中，所述用户设备可操作地提供接口以用于使得能够在增强现实模式中在用户和所述虚拟世界之间进行交互。
9.根据权利要求1所述的系统，其中，所述用户设备可操作地提供接口以用于使得能够在虚拟现实模式中在用户和所述虚拟世界之间进行交互。
10.根据权利要求1所述的系统，其中，所述用户设备可操作地提供接口以使得能够在增强现实模式和虚拟现实模式的组合中在用户和所述虚拟世界之间进行交互。
11.根据权利要求1所述的系统，其中，所述虚拟世界数据在数据网络上传输。
CN201610908994.6A 2011-10-28 2012-10-29 用于增强和虚拟现实的系统和方法 Active CN106484115B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161552941P 2011-10-28 2011-10-28
US61/552,941 2011-10-28
CN201280064922.8A CN104011788B (zh) 2011-10-28 2012-10-29 用于增强和虚拟现实的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280064922.8A Division CN104011788B (zh) 2011-10-28 2012-10-29 用于增强和虚拟现实的系统和方法

Publications (2)

Publication Number Publication Date
CN106484115A CN106484115A (zh) 2017-03-08
CN106484115B true CN106484115B (zh) 2019-04-19

Family

ID=48224484

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610908994.6A Active CN106484115B (zh) 2011-10-28 2012-10-29 用于增强和虚拟现实的系统和方法
CN201280064922.8A Active CN104011788B (zh) 2011-10-28 2012-10-29 用于增强和虚拟现实的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280064922.8A Active CN104011788B (zh) 2011-10-28 2012-10-29 用于增强和虚拟现实的系统和方法

Country Status (12)

Country Link
US (14) US9215293B2 (zh)
EP (6) EP3258671B1 (zh)
JP (7) JP6110866B2 (zh)
KR (4) KR101944846B1 (zh)
CN (2) CN106484115B (zh)
AU (6) AU2012348348B2 (zh)
BR (1) BR112014010230A8 (zh)
CA (4) CA3207408A1 (zh)
IL (5) IL232281B (zh)
IN (1) IN2014CN03300A (zh)
RU (2) RU2621633C2 (zh)
WO (1) WO2013085639A1 (zh)

Families Citing this family (774)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9370704B2 (en) * 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US8694553B2 (en) * 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
EP2748670B1 (en) 2011-08-24 2015-11-18 Rockwell Collins, Inc. Wearable data display
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
KR101944846B1 (ko) 2011-10-28 2019-02-01 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
WO2013067526A1 (en) 2011-11-04 2013-05-10 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
US20150010265A1 (en) 2012-01-06 2015-01-08 Milan, Momcilo POPOVICH Contact image sensor using switchable bragg gratings
US8692840B2 (en) * 2012-02-05 2014-04-08 Mitsubishi Electric Research Laboratories, Inc. Method for modeling and estimating rendering errors in virtual images
WO2013126892A1 (en) 2012-02-23 2013-08-29 Tyco Electronics Uk Ltd. Overlay-based asset location and identification system
US9170648B2 (en) * 2012-04-03 2015-10-27 The Boeing Company System and method for virtual engineering
CN103562802B (zh) 2012-04-25 2016-08-17 罗克韦尔柯林斯公司 全息广角显示器
US9456744B2 (en) 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9129404B1 (en) * 2012-09-13 2015-09-08 Amazon Technologies, Inc. Measuring physical objects and presenting virtual articles
US20140128161A1 (en) * 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
JP5787099B2 (ja) * 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
US8764532B1 (en) 2012-11-07 2014-07-01 Bertec Corporation System and method for fall and/or concussion prediction
US11270498B2 (en) * 2012-11-12 2022-03-08 Sony Interactive Entertainment Inc. Real world acoustic and lighting modeling for improved immersion in virtual reality and augmented reality environments
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US20140198130A1 (en) * 2013-01-15 2014-07-17 Immersion Corporation Augmented reality user interface with haptic feedback
US9081436B1 (en) 2013-01-19 2015-07-14 Bertec Corporation Force and/or motion measurement system and a method of testing a subject using the same
US10646153B1 (en) 2013-01-19 2020-05-12 Bertec Corporation Force measurement system
US11052288B1 (en) 2013-01-19 2021-07-06 Bertec Corporation Force measurement system
US9526443B1 (en) * 2013-01-19 2016-12-27 Bertec Corporation Force and/or motion measurement system and a method of testing a subject
US8704855B1 (en) * 2013-01-19 2014-04-22 Bertec Corporation Force measurement system having a displaceable force measurement assembly
US11540744B1 (en) 2013-01-19 2023-01-03 Bertec Corporation Force measurement system
US11857331B1 (en) 2013-01-19 2024-01-02 Bertec Corporation Force measurement system
US9770203B1 (en) 2013-01-19 2017-09-26 Bertec Corporation Force measurement system and a method of testing a subject
US10231662B1 (en) 2013-01-19 2019-03-19 Bertec Corporation Force measurement system
US10010286B1 (en) 2013-01-19 2018-07-03 Bertec Corporation Force measurement system
US11311209B1 (en) 2013-01-19 2022-04-26 Bertec Corporation Force measurement system and a motion base used therein
US10413230B1 (en) 2013-01-19 2019-09-17 Bertec Corporation Force measurement system
US8847989B1 (en) * 2013-01-19 2014-09-30 Bertec Corporation Force and/or motion measurement system and a method for training a subject using the same
US10856796B1 (en) 2013-01-19 2020-12-08 Bertec Corporation Force measurement system
US9449340B2 (en) * 2013-01-30 2016-09-20 Wal-Mart Stores, Inc. Method and system for managing an electronic shopping list with gestures
EP3517190B1 (en) * 2013-02-01 2022-04-20 Sony Group Corporation Information processing device, terminal device, information processing method, and programme
KR20230044041A (ko) 2013-03-11 2023-03-31 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR20160008169A (ko) 2013-03-14 2016-01-21 에스알아이 인터내셔널 컴팩트 로봇 리스트
US9417452B2 (en) 2013-03-15 2016-08-16 Magic Leap, Inc. Display system and method
US11181740B1 (en) 2013-03-15 2021-11-23 Percept Technologies Inc Digital eyewear procedures related to dry eyes
KR102257034B1 (ko) 2013-03-15 2021-05-28 에스알아이 인터내셔널 하이퍼덱스트러스 수술 시스템
US9092954B2 (en) * 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US9764229B2 (en) 2013-05-23 2017-09-19 Disney Enterprises, Inc. Unlocking of digital content based on geo-location of objects
US9977256B2 (en) * 2013-05-30 2018-05-22 Johnson & Johnson Vision Care, Inc. Methods for manufacturing and programming an energizable ophthalmic lens with a programmable media insert
US10650264B2 (en) * 2013-05-31 2020-05-12 Nec Corporation Image recognition apparatus, processing method thereof, and program
US9685003B2 (en) * 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10175483B2 (en) * 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
US9440143B2 (en) 2013-07-02 2016-09-13 Kabam, Inc. System and method for determining in-game capabilities based on device information
US9014639B2 (en) * 2013-07-11 2015-04-21 Johnson & Johnson Vision Care, Inc. Methods of using and smartphone event notification utilizing an energizable ophthalmic lens with a smartphone event indicator mechanism
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US9415306B1 (en) 2013-08-12 2016-08-16 Kabam, Inc. Clients communicate input technique to server
US9656172B2 (en) * 2013-08-16 2017-05-23 Disney Enterprises, Inc. Unlocking of virtual content through geo-location
US20150062158A1 (en) 2013-08-28 2015-03-05 Qualcomm Incorporated Integration of head mounted displays with public display devices
CN105814626B (zh) * 2013-09-30 2018-03-13 Pcms控股公司 用于提供增强信息的方法和设备
US11165842B2 (en) 2013-10-25 2021-11-02 Louis Gurtowski Selective capture with rapid sharing of user or mixed reality actions and states using interactive virtual streaming
US10027731B2 (en) 2013-10-25 2018-07-17 Louis Gurtowski Selective capture with rapid sharing of user computer or mixed reality actions, states using interactive virtual streaming
US9704295B2 (en) * 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
US9623322B1 (en) 2013-11-19 2017-04-18 Kabam, Inc. System and method of displaying device information for party formation
US9996973B2 (en) 2013-11-30 2018-06-12 Empire Technology Development Llc Augmented reality objects based on biometric feedback
US9295916B1 (en) 2013-12-16 2016-03-29 Kabam, Inc. System and method for providing recommendations for in-game events
WO2015095507A1 (en) * 2013-12-18 2015-06-25 Joseph Schuman Location-based system for sharing augmented reality content
EP2886171A1 (en) * 2013-12-18 2015-06-24 Microsoft Technology Licensing, LLC Cross-platform augmented reality experience
WO2015102464A1 (ko) * 2014-01-06 2015-07-09 삼성전자 주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
KR102355118B1 (ko) 2014-01-06 2022-01-26 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
US9993335B2 (en) 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
JP6299234B2 (ja) * 2014-01-23 2018-03-28 富士通株式会社 表示制御方法、情報処理装置、および表示制御プログラム
US10983805B2 (en) * 2014-02-21 2021-04-20 Nod, Inc. Contextual keyboard located on a remote server for implementation on any content delivery and interaction application
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US9536352B2 (en) * 2014-03-27 2017-01-03 Intel Corporation Imitating physical subjects in photos and videos with augmented reality virtual objects
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
WO2015164373A1 (en) * 2014-04-23 2015-10-29 Raytheon Company Systems and methods for context based information delivery using augmented reality
US9672416B2 (en) * 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
US9430038B2 (en) * 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
US9690370B2 (en) 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US10332314B2 (en) 2014-05-07 2019-06-25 Commscope Technologies Llc Hands-free asset identification, location and management system
US10031721B2 (en) * 2014-05-15 2018-07-24 Tyco Safety Products Canada Ltd. System and method for processing control commands in a voice interactive system
US9332285B1 (en) 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US11030784B2 (en) * 2014-06-03 2021-06-08 Apple Inc. Method and system for presenting a digital information related to a real object
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10055876B2 (en) 2014-06-06 2018-08-21 Matterport, Inc. Optimal texture memory allocation
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106937531B (zh) * 2014-06-14 2020-11-06 奇跃公司 用于产生虚拟和增强现实的方法和系统
US10248992B2 (en) 2014-07-26 2019-04-02 Audi Ag Presentation device for carrying out a product presentation
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
WO2016032807A1 (en) 2014-08-25 2016-03-03 Google Inc. Methods and systems for augmented reality to display virtual representations of robotic device actions
JP6467698B2 (ja) * 2014-08-28 2019-02-13 学校法人立命館 野球の打撃練習支援システム
WO2016038615A1 (en) * 2014-09-11 2016-03-17 Selaflex Ltd An apparatus and method for displaying an output from a display
WO2016042283A1 (en) 2014-09-19 2016-03-24 Milan Momcilo Popovich Method and apparatus for generating input images for holographic waveguide displays
EP3198192A1 (en) 2014-09-26 2017-08-02 Milan Momcilo Popovich Holographic waveguide opticaltracker
CA3168318A1 (en) 2014-09-29 2016-04-07 Magic Leap, Inc. Architectures and methods for outputting different wavelength light out of waveguides
WO2016054079A1 (en) 2014-09-29 2016-04-07 Zyomed Corp. Systems and methods for blood glucose and other analyte detection and measurement using collision computing
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
CN105892620A (zh) * 2014-10-28 2016-08-24 贵州师范学院 一种基于Kinect的体感遥控智能小汽车的方法
JP6551417B2 (ja) * 2014-11-12 2019-07-31 富士通株式会社 ウェアラブルデバイス、表示制御方法、及び表示制御プログラム
CN104391574A (zh) * 2014-11-14 2015-03-04 京东方科技集团股份有限公司 视线处理方法、系统、终端设备及穿戴式设备
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
CN106999768A (zh) * 2014-11-16 2017-08-01 盖·芬夫特 用于提供替代现实搭乘体验的系统和方法
US11250630B2 (en) 2014-11-18 2022-02-15 Hallmark Cards, Incorporated Immersive story creation
TWI621097B (zh) * 2014-11-20 2018-04-11 財團法人資訊工業策進會 行動裝置、操作方法及非揮發性電腦可讀取記錄媒體
US10235714B2 (en) * 2014-12-01 2019-03-19 Verizon Patent And Licensing Inc. Customized virtual reality user environment control
US20160195923A1 (en) * 2014-12-26 2016-07-07 Krush Technologies, Llc Gyroscopic chair for virtual reality simulation
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
EP3245551B1 (en) 2015-01-12 2019-09-18 DigiLens Inc. Waveguide light field displays
CN111323867A (zh) 2015-01-12 2020-06-23 迪吉伦斯公司 环境隔离的波导显示器
US10330777B2 (en) 2015-01-20 2019-06-25 Digilens Inc. Holographic waveguide lidar
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US10726625B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
US10725297B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
CN104759015A (zh) * 2015-02-11 2015-07-08 北京市朝阳区新希望自闭症支援中心 基于计算机控制的视觉训练系统
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US11468639B2 (en) * 2015-02-20 2022-10-11 Microsoft Technology Licensing, Llc Selective occlusion system for augmented reality devices
TWI567670B (zh) * 2015-02-26 2017-01-21 宅妝股份有限公司 切換虛擬實境模式與擴增實境模式的管理方法以及系統
WO2016141373A1 (en) * 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10088895B2 (en) 2015-03-08 2018-10-02 Bent Reality Labs, LLC Systems and processes for providing virtual sexual experiences
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
WO2016149416A1 (en) 2015-03-16 2016-09-22 Magic Leap, Inc. Methods and systems for diagnosing and treating health ailments
US10296086B2 (en) 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
WO2016156776A1 (en) 2015-03-31 2016-10-06 Milan Momcilo Popovich Method and apparatus for contact image sensing
US11501244B1 (en) 2015-04-06 2022-11-15 Position Imaging, Inc. Package tracking systems and methods
US10853757B1 (en) 2015-04-06 2020-12-01 Position Imaging, Inc. Video for real-time confirmation in package tracking systems
US11416805B1 (en) * 2015-04-06 2022-08-16 Position Imaging, Inc. Light-based guidance for package tracking systems
JP6433844B2 (ja) * 2015-04-09 2018-12-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、中継装置、情報処理システム、およびソフトウェアアップデート方法
KR102063895B1 (ko) 2015-04-20 2020-01-08 삼성전자주식회사 서버, 사용자 단말 장치 및 그 제어 방법
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
US9958903B2 (en) * 2015-04-29 2018-05-01 Sony Mobile Communications Inc. Providing a representation of orientation and movement of an item being moved in space
EP3885882A1 (en) 2015-04-30 2021-09-29 Google LLC Rf-based micro-motion tracking for gesture tracking and recognition
US10139916B2 (en) 2015-04-30 2018-11-27 Google Llc Wide-field radar-based gesture recognition
US10310620B2 (en) 2015-04-30 2019-06-04 Google Llc Type-agnostic RF signal representations
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
CN105739106B (zh) * 2015-06-12 2019-07-09 南京航空航天大学 一种体感多视点大尺寸光场真三维显示装置及方法
US10832479B2 (en) 2015-06-15 2020-11-10 Sony Corporation Information processing apparatus, information processing method, and program
KR20230025933A (ko) 2015-06-15 2023-02-23 매직 립, 인코포레이티드 멀티플렉싱된 광 스트림들을 인-커플링하기 위한 광학 엘리먼트들을 가진 디스플레이 시스템
US9977493B2 (en) * 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
JP2017010387A (ja) * 2015-06-24 2017-01-12 キヤノン株式会社 システム、複合現実表示装置、情報処理方法及びプログラム
EP3112991B1 (en) * 2015-07-01 2020-02-12 Samsung Electronics Co., Ltd. Method and apparatus for context based application grouping in virtual reality
US10799792B2 (en) * 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US10828115B2 (en) 2015-07-23 2020-11-10 Sri International Robotic arm and robotic surgical system
US9919427B1 (en) 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
US9916506B1 (en) 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
EP3804825B1 (en) * 2015-07-28 2023-11-15 Virtuix Holdings Inc. System and method of soft decoupling an input
CN105117931A (zh) * 2015-07-30 2015-12-02 金华唯见科技有限公司 一种目标驱动虚拟现实生态系统
CN105183147A (zh) * 2015-08-03 2015-12-23 众景视界（北京）科技有限公司 头戴式智能设备及其建模三维虚拟肢体的方法
US10609438B2 (en) 2015-08-13 2020-03-31 International Business Machines Corporation Immersive cognitive reality system with real time surrounding media
US10701318B2 (en) 2015-08-14 2020-06-30 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
EP4198911A1 (en) 2015-08-18 2023-06-21 Magic Leap, Inc. Virtual and augmented reality systems and methods
KR20230150397A (ko) 2015-08-21 2023-10-30 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
AU2016310452B2 (en) 2015-08-21 2021-04-22 Magic Leap, Inc. Eyelid shape estimation
US10373392B2 (en) 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
US10491711B2 (en) 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
JP2017059891A (ja) * 2015-09-14 2017-03-23 ミライアプリ株式会社 状態特定プログラム、状態特定装置、ウェアラブルデバイス及び管理装置
JP6887422B2 (ja) * 2015-09-16 2021-06-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． オーディオファイルの頭部姿勢ミキシング
JP6144738B2 (ja) * 2015-09-18 2017-06-07 株式会社スクウェア・エニックス ビデオゲーム処理プログラム、ビデオゲーム処理システム及びビデオゲーム処理方法
CA3170692A1 (en) 2015-09-23 2017-03-30 Magic Leap, Inc. Eye imaging with an off-axis imager
CN108027984B (zh) * 2015-09-25 2022-05-13 奇跃公司 用于在3d重建中检测和组合结构特征的方法和系统
JP6548821B2 (ja) * 2015-09-30 2019-07-24 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法
CN108474945B (zh) 2015-10-05 2021-10-01 迪吉伦斯公司 波导显示器
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN105214309B (zh) * 2015-10-10 2017-07-11 腾讯科技（深圳）有限公司 一种信息处理方法、终端及计算机存储介质
JP6885935B2 (ja) 2015-10-16 2021-06-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼の特徴を用いる眼ポーズ識別
JP6831840B2 (ja) 2015-10-20 2021-02-17 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元空間内の仮想オブジェクトの選択
AU2016349895B2 (en) 2015-11-04 2022-01-13 Magic Leap, Inc. Light field display metrology
US11231544B2 (en) 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
USD785656S1 (en) * 2015-11-24 2017-05-02 Meditech International Inc. Display screen or portion thereof with graphical user interface
CN106802712A (zh) * 2015-11-26 2017-06-06 英业达科技有限公司 交互式扩增实境系统
AU2016365422A1 (en) 2015-12-04 2018-06-28 Magic Leap, Inc. Relocalization systems and methods
GB2545275A (en) * 2015-12-11 2017-06-14 Nokia Technologies Oy Causing provision of virtual reality content
US20170169613A1 (en) * 2015-12-15 2017-06-15 Lenovo (Singapore) Pte. Ltd. Displaying an object with modified render parameters
US10037085B2 (en) 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
EP3338166A1 (en) * 2015-12-22 2018-06-27 Google LLC System and method for performing electronic display stabilization via retained lightfield rendering
US20170185261A1 (en) * 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
EP3400478B1 (en) 2016-01-07 2023-08-16 Magic Leap, Inc. Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes
EP3405829A4 (en) 2016-01-19 2019-09-18 Magic Leap, Inc. COLLECTION, SELECTION AND COMBINATION OF EYE IMAGES
CN108780228B (zh) 2016-01-19 2021-04-20 奇跃公司 利用映像的增强现实系统和方法
CN105759958A (zh) * 2016-01-27 2016-07-13 中国人民解放军信息工程大学 一种数据交互系统及方法
IL260825B (en) 2016-01-29 2022-06-01 Magic Leap Inc View for a 3D image
US10120437B2 (en) 2016-01-29 2018-11-06 Rovi Guides, Inc. Methods and systems for associating input schemes with physical world objects
US10983340B2 (en) 2016-02-04 2021-04-20 Digilens Inc. Holographic waveguide optical tracker
CN114995647B (zh) * 2016-02-05 2024-09-10 奇跃公司 用于增强现实的系统和方法
US10083539B2 (en) * 2016-02-08 2018-09-25 Google Llc Control system for navigation in virtual reality environment
NZ756602A (en) 2016-02-24 2024-08-30 Magic Leap Inc Low profile interconnect for light emitter
US10302957B2 (en) 2016-02-24 2019-05-28 Magic Leap, Inc. Polarizing beam splitter with low light leakage
CA3015210A1 (en) 2016-02-26 2017-08-31 Magic Leap, Inc. Display system having a plurality of light pipes for a plurality of light emitters
CA3014821A1 (en) 2016-02-26 2017-08-31 Magic Leap, Inc. Light output system with reflector and lens for highly spatially uniform light output
US10571693B2 (en) 2016-03-01 2020-02-25 Magic Leap, Inc. Reflective switching device for inputting different wavelengths of light into waveguides
KR102556320B1 (ko) 2016-03-04 2023-07-14 매직 립, 인코포레이티드 Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소
WO2017155826A1 (en) 2016-03-07 2017-09-14 Magic Leap, Inc. Blue light adjustment for biometri security
CN109310476B (zh) 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
US10115234B2 (en) * 2016-03-21 2018-10-30 Accenture Global Solutions Limited Multiplatform based experience generation
WO2017165231A1 (en) 2016-03-22 2017-09-28 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
EP3433659B1 (en) 2016-03-24 2024-10-23 DigiLens, Inc. Method and apparatus for providing a polarization selective holographic waveguide device
AU2017238847A1 (en) 2016-03-25 2018-10-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9554738B1 (en) 2016-03-30 2017-01-31 Zyomed Corp. Spectroscopic tomography systems and methods for noninvasive detection and measurement of analytes using collision computing
EP3436863B1 (en) * 2016-03-31 2024-07-10 Magic Leap, Inc. Interactions with 3d virtual objects using poses and multiple-dof controllers
CN105892667B (zh) * 2016-03-31 2019-03-29 联想(北京)有限公司 一种虚拟现实场景下的信息处理方法和电子设备
US10762712B2 (en) 2016-04-01 2020-09-01 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
EP3440497B1 (en) 2016-04-08 2023-08-16 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
WO2017177019A1 (en) * 2016-04-08 2017-10-12 Pcms Holdings, Inc. System and method for supporting synchronous and asynchronous augmented reality functionalities
US10890707B2 (en) 2016-04-11 2021-01-12 Digilens Inc. Holographic waveguide apparatus for structured light projection
CN105903166B (zh) * 2016-04-18 2019-05-24 北京小鸟看看科技有限公司 一种3d在线运动竞技方法和系统
CA3021079A1 (en) * 2016-04-21 2017-10-26 Magic Leap, Inc. Visual aura around field of view
EP3236336B1 (en) * 2016-04-21 2019-03-27 Nokia Technologies Oy Virtual reality causal summary content
JP6594254B2 (ja) * 2016-04-26 2019-10-23 日本電信電話株式会社 仮想環境構築装置、仮想環境構築方法、プログラム
NZ787459A (en) 2016-04-26 2023-05-26 Magic Leap Inc Electromagnetic tracking with augmented reality systems
EP3449340A1 (fr) * 2016-04-27 2019-03-06 Immersion Dispositif et procede de partage d'immersion dans un environnement virtuel
US10257490B2 (en) * 2016-04-28 2019-04-09 Verizon Patent And Licensing Inc. Methods and systems for creating and providing a real-time volumetric representation of a real-world event
US10204444B2 (en) * 2016-04-28 2019-02-12 Verizon Patent And Licensing Inc. Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
US10250720B2 (en) 2016-05-05 2019-04-02 Google Llc Sharing in an augmented and/or virtual reality environment
KR20230159898A (ko) 2016-05-06 2023-11-22 매직 립, 인코포레이티드 광을 재지향시키기 위한 비대칭 격자들을 가진 메타표면들 및 제조를 위한 방법들
AU2017264695B2 (en) 2016-05-09 2022-03-31 Magic Leap, Inc. Augmented reality systems and methods for user health analysis
KR102544070B1 (ko) 2016-05-12 2023-06-14 매직 립, 인코포레이티드 이미징 도파관을 통해 분배된 광 조작
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
US10175781B2 (en) 2016-05-16 2019-01-08 Google Llc Interactive object with multiple electronics modules
US10303323B2 (en) * 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
US9983697B1 (en) 2016-05-18 2018-05-29 Meta Company System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
WO2017200760A1 (en) * 2016-05-19 2017-11-23 Yudofsky Stuart Methods and devices for behavior modification
JP6880075B2 (ja) 2016-05-20 2021-06-02 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ユーザインターフェースメニューのコンテキスト認識
US10748339B2 (en) 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
CA3025936A1 (en) 2016-06-03 2017-12-07 Magic Leap, Inc. Augmented reality identity verification
GB2551323B (en) * 2016-06-08 2021-02-10 Companion Ltd System providing a shared environment
CN106096540B (zh) * 2016-06-08 2020-07-24 联想(北京)有限公司 一种信息处理方法和电子设备
AU2017279495B2 (en) 2016-06-10 2022-06-30 Magic Leap, Inc. Integrating point source for texture projecting bulb
US20190179423A1 (en) * 2016-06-16 2019-06-13 Sensomotoric Instruments Gesellschaft Fur Innovative Sensork MBH Minimized Bandwidth Requirements for Transmitting Mobile HMD Gaze Data
KR102491130B1 (ko) 2016-06-20 2023-01-19 매직 립, 인코포레이티드 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템
US10037077B2 (en) 2016-06-21 2018-07-31 Disney Enterprises, Inc. Systems and methods of generating augmented reality experiences
CA3029541A1 (en) 2016-06-30 2018-01-04 Magic Leap, Inc. Estimating pose in 3d space
US10042604B2 (en) 2016-07-01 2018-08-07 Metrik LLC Multi-dimensional reference element for mixed reality environments
JP6714791B2 (ja) * 2016-07-13 2020-07-01 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
CN109661194B (zh) 2016-07-14 2022-02-25 奇跃公司 使用角膜曲率的虹膜边界估计
EP3485425B1 (en) 2016-07-14 2023-08-23 Magic Leap, Inc. Deep neural network for iris identification
JP7182538B2 (ja) 2016-07-25 2022-12-02 マジック リープ， インコーポレイテッド 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化
WO2018022521A1 (en) 2016-07-25 2018-02-01 Magic Leap, Inc. Light field processor system
AU2017302345B2 (en) 2016-07-29 2021-11-11 Magic Leap, Inc. Secure exchange of cryptographically signed records
US10249089B2 (en) 2016-08-01 2019-04-02 Dell Products, Lp System and method for representing remote participants to a meeting
WO2018026737A1 (en) 2016-08-02 2018-02-08 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US10169921B2 (en) * 2016-08-03 2019-01-01 Wipro Limited Systems and methods for augmented reality aware contents
US10089063B2 (en) * 2016-08-10 2018-10-02 Qualcomm Incorporated Multimedia device for processing spatialized audio based on movement
EP4398566A3 (en) 2016-08-11 2024-10-09 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
TWI608383B (zh) * 2016-08-11 2017-12-11 拓景科技股份有限公司 虛擬實境環境中之導引產生方法及系統，及其相關電腦程式產品
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
IL292025B2 (en) 2016-08-12 2023-12-01 Magic Leap Inc Parosh is a flurry of words
US10290151B2 (en) * 2016-08-17 2019-05-14 Blackberry Limited AR/VR device virtualisation
WO2018039076A1 (en) * 2016-08-22 2018-03-01 Vantedge Group, Llc Immersive and merged reality experience / environment and data capture via virtural, agumented, and mixed reality device
KR102529137B1 (ko) 2016-08-22 2023-05-03 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스
KR102217789B1 (ko) 2016-08-22 2021-02-19 매직 립, 인코포레이티드 나노그레이팅 방법 및 장치
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US20180063205A1 (en) * 2016-08-30 2018-03-01 Augre Mixed Reality Technologies, Llc Mixed reality collaboration
CN106484099B (zh) * 2016-08-30 2022-03-08 广州大学 内容重放装置、具有该重放装置的处理系统及方法
US10773179B2 (en) 2016-09-08 2020-09-15 Blocks Rock Llc Method of and system for facilitating structured block play
US11436553B2 (en) 2016-09-08 2022-09-06 Position Imaging, Inc. System and method of object tracking using weight confirmation
EP3513242B1 (en) 2016-09-13 2021-12-01 Magic Leap, Inc. Sensory eyewear
CN106249611A (zh) * 2016-09-14 2016-12-21 深圳众乐智府科技有限公司 一种基于虚拟现实的智能家居定位方法、装置和系统
CN106310660A (zh) * 2016-09-18 2017-01-11 三峡大学 一种基于力学可视化的虚拟足球运动控制系统
AU2017332030B2 (en) 2016-09-21 2022-02-03 Magic Leap, Inc. Systems and methods for optical systems with exit pupil expander
KR102266343B1 (ko) 2016-09-22 2021-06-17 매직 립, 인코포레이티드 증강 현실 분광기
WO2018058063A1 (en) 2016-09-26 2018-03-29 Magic Leap, Inc. Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
IL265520B2 (en) 2016-09-28 2023-09-01 Magic Leap Inc Capturing a facial model using a wearable device
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
DE102016118647B4 (de) 2016-09-30 2018-12-06 Deutsche Telekom Ag Augmented-Reality-Kommunikationssystem und Augmented-Reality-Interaktionsvorrichtung
US10489680B2 (en) 2016-10-04 2019-11-26 Magic Leap, Inc. Efficient data layouts for convolutional neural networks
IL265734B (en) 2016-10-05 2022-09-01 Magic Leap Inc Multi-eye test for mixed reality calibration
US10105619B2 (en) 2016-10-14 2018-10-23 Unchartedvr Inc. Modular solution for delivering a virtual reality attraction
US10192339B2 (en) 2016-10-14 2019-01-29 Unchartedvr Inc. Method for grid-based virtual reality attraction
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
GB2555378B (en) * 2016-10-18 2021-06-09 Virtually Live Switzerland Gmbh HMD delivery system and method
CN115343852A (zh) 2016-10-21 2022-11-15 奇跃公司 通过提供多个瞳孔内视差视图在多个深度平面上呈现图像内容的系统和方法
KR102277438B1 (ko) * 2016-10-21 2021-07-14 삼성전자주식회사 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
US9983665B2 (en) 2016-10-25 2018-05-29 Oculus Vr, Llc Position tracking system that exploits arbitrary configurations to determine loop closure
CN109154979A (zh) * 2016-10-26 2019-01-04 奥康科技有限公司 用于分析图像和提供反馈的可佩戴设备和方法
US10110871B2 (en) * 2016-10-31 2018-10-23 Disney Enterprises, Inc. Recording high fidelity digital immersive experiences through off-device computation
EP4202840A1 (en) 2016-11-11 2023-06-28 Magic Leap, Inc. Periocular and audio synthesis of a full face image
KR102267553B1 (ko) 2016-11-15 2021-06-22 매직 립, 인코포레이티드 큐보이드 검출을 위한 딥 러닝 시스템
IL266595B (en) 2016-11-16 2022-08-01 Magic Leap Inc Thermal management systems for wearable components
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
IL312713A (en) 2016-11-18 2024-07-01 Magic Leap Inc A waveguide light multiplexer using crossed gratings
IL303676B2 (en) 2016-11-18 2024-06-01 Magic Leap Inc Liquid crystal refraction lattices vary spatially
KR102639600B1 (ko) 2016-11-18 2024-02-21 매직 립, 인코포레이티드 넓은 입사 각도 범위들의 광을 방향전환시키기 위한 다중층 액정 회절 격자들
US10649233B2 (en) 2016-11-28 2020-05-12 Tectus Corporation Unobtrusive eye mounted display
CA3042732C (en) 2016-11-28 2021-12-14 Verb Surgical Inc. Robotic surgical system to reduce unwanted vibration
US11513350B2 (en) 2016-12-02 2022-11-29 Digilens Inc. Waveguide device with uniform output illumination
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
EP4220572A1 (en) 2016-12-05 2023-08-02 Magic Leap, Inc. Virtual user input controls in a mixed reality environment
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
EP4002000A1 (en) 2016-12-08 2022-05-25 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
EP4148402A1 (en) 2016-12-13 2023-03-15 Magic Leap, Inc. Augmented and virtual reality eyewear, systems, and methods for delivering polarized light and determining glucose levels
US10922887B2 (en) 2016-12-13 2021-02-16 Magic Leap, Inc. 3D object rendering using detected features
US10373385B2 (en) * 2016-12-14 2019-08-06 Microsoft Technology Licensing, Llc Subtractive rendering for augmented and virtual reality systems
WO2018112101A1 (en) 2016-12-14 2018-06-21 Magic Leap, Inc. Patterning of liquid crystals using soft-imprint replication of surface alignment patterns
US10371896B2 (en) 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
WO2018119276A1 (en) 2016-12-22 2018-06-28 Magic Leap, Inc. Systems and methods for manipulating light from ambient light sources
US10746999B2 (en) 2016-12-28 2020-08-18 Magic Leap, Inc. Dual depth exit pupil expander
KR102630774B1 (ko) 2016-12-29 2024-01-30 매직 립, 인코포레이티드 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의자동 제어
CN106792133A (zh) * 2016-12-30 2017-05-31 北京华为数字技术有限公司 虚拟现实服务器、视频数据传输方法及系统
WO2018129398A1 (en) 2017-01-05 2018-07-12 Digilens, Inc. Wearable heads up displays
EP4122897A1 (en) 2017-01-05 2023-01-25 Magic Leap, Inc. Patterning of high refractive index glasses by plasma etching
CA3049431A1 (en) 2017-01-11 2018-07-19 Magic Leap, Inc. Medical assistant
CN110430809B (zh) 2017-01-16 2023-09-26 P·K·朗 用于外科、医疗和牙科手术的光学引导
CN106774942A (zh) * 2017-01-18 2017-05-31 华南理工大学 一种实时3d远程人机交互系统
CN108334377A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种头戴显示设备的用户使用进度控制方法
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
WO2018136892A1 (en) 2017-01-23 2018-07-26 Magic Leap, Inc. Eyepiece for virtual, augmented, or mixed reality systems
US11740690B2 (en) 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
KR102668813B1 (ko) 2017-01-27 2024-05-22 매직 립, 인코포레이티드 상이하게 배향된 나노빔들을 갖는 메타표면들에 의해 형성된 회절 격자
AU2018212570B2 (en) 2017-01-27 2023-03-16 Magic Leap, Inc. Antireflection coatings for metasurfaces
US11100384B2 (en) 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US11010601B2 (en) 2017-02-14 2021-05-18 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
US10467509B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
IL307602A (en) 2017-02-23 2023-12-01 Magic Leap Inc Variable focus virtual imagers based on polarization conversion
KR20240000632A (ko) * 2017-02-28 2024-01-02 매직 립, 인코포레이티드 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩
KR102635437B1 (ko) 2017-02-28 2024-02-13 삼성전자주식회사 콘텐츠 공유 방법 및 이를 지원하는 전자 장치
WO2018165278A1 (en) 2017-03-07 2018-09-13 vGolf, LLC Mixed reality golf simulation and training system
US10646767B2 (en) 2017-03-07 2020-05-12 vSports, LLC Mixed reality sport simulation and training system
US10409363B1 (en) 2017-03-07 2019-09-10 vGolf, LLC Mixed-reality golf tracking and simulation
WO2018169731A1 (en) 2017-03-14 2018-09-20 Magic Leap, Inc. Waveguides with light absorbing films and processes for forming the same
US10769752B2 (en) 2017-03-17 2020-09-08 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
WO2018170409A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
EP3596705A1 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
AU2018236433B2 (en) 2017-03-17 2022-03-03 Magic Leap, Inc. Room layout estimation methods and techniques
IL312931A (en) 2017-03-21 2024-07-01 Magic Leap Inc Low profile beam splitter
AU2018239264B2 (en) 2017-03-21 2023-05-18 Magic Leap, Inc. Eye-imaging apparatus using diffractive optical elements
CN115576048A (zh) 2017-03-21 2023-01-06 奇跃公司 用于组合视场的具有不同衍射光栅的堆叠波导
KR102701690B1 (ko) 2017-03-21 2024-08-30 매직 립, 인코포레이티드 분할된 동공들을 위한 공간 광 변조기 조명을 갖는 디스플레이 시스템
EP4020982A3 (en) 2017-03-21 2022-09-21 Magic Leap, Inc. Depth sensing techniques for virtual, augmented, and mixed reality systems
US11187900B2 (en) 2017-03-21 2021-11-30 Magic Leap, Inc. Methods, devices, and systems for illuminating spatial light modulators
CN114578562A (zh) 2017-03-22 2022-06-03 奇跃公司 用于显示系统的基于深度的凹式渲染
KR102595762B1 (ko) 2017-03-22 2023-10-30 어 빅 청크 오브 머드 엘엘씨 통합형 헤드 장착 디스플레이를 구비한 전환 가능한 사첼 가방
US10282909B2 (en) * 2017-03-23 2019-05-07 Htc Corporation Virtual reality system, operating method for mobile device, and non-transitory computer readable storage medium
US10410349B2 (en) * 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
CN107172047A (zh) * 2017-04-05 2017-09-15 杭州优海信息系统有限公司 工厂虚拟增强现实3d交互系统及其实现方法
KR102629577B1 (ko) 2017-04-18 2024-01-24 매직 립, 인코포레이티드 반사 유동성 재료들에 의해 형성된 반사 층들을 갖는 도파관들
KR20240046613A (ko) 2017-04-19 2024-04-09 매직 립, 인코포레이티드 웨어러블 시스템을 위한 멀티모달 임무 실행 및 텍스트 편집
TWI610565B (zh) * 2017-04-21 2018-01-01 國立臺北科技大學 立體影像物件互動方法、系統與立體互動影片後製方法
CN110832439B (zh) 2017-04-27 2023-09-29 奇跃公司 发光用户输入设备
US11782669B2 (en) 2017-04-28 2023-10-10 Microsoft Technology Licensing, Llc Intuitive augmented reality collaboration on visual data
JP6343779B1 (ja) * 2017-04-28 2018-06-20 株式会社コナミデジタルエンタテインメント サーバ装置、及びそれに用いられるコンピュータプログラム
US20180349837A1 (en) * 2017-05-19 2018-12-06 Hcl Technologies Limited System and method for inventory management within a warehouse
CA3061332A1 (en) 2017-05-19 2018-11-22 Magic Leap, Inc. Keyboards for virtual, augmented, and mixed reality display systems
US10792119B2 (en) 2017-05-22 2020-10-06 Ethicon Llc Robotic arm cart and uses therefor
EP3631734B1 (en) 2017-05-22 2021-08-18 Magic Leap, Inc. Pairing with companion device
WO2018218253A1 (en) 2017-05-26 2018-11-29 vSports, LLC Mixed-reality kick tracking and simulation
IL303933B2 (en) 2017-05-30 2024-08-01 Magic Leap Inc Power supply assembly with fan assembly for an electronic device
US10168789B1 (en) 2017-05-31 2019-01-01 Meta Company Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations
CA3065131A1 (en) 2017-05-31 2018-12-06 Magic Leap, Inc. Eye tracking calibration techniques
US10856948B2 (en) 2017-05-31 2020-12-08 Verb Surgical Inc. Cart for robotic arms and method and apparatus for registering cart to surgical table
US10485623B2 (en) 2017-06-01 2019-11-26 Verb Surgical Inc. Robotic arm cart with fine position adjustment features and uses therefor
WO2018227011A1 (en) * 2017-06-07 2018-12-13 vSports, LLC Mixed-reality sports tracking and simulation
KR102708488B1 (ko) 2017-06-12 2024-09-20 매직 립, 인코포레이티드 깊이 평면들을 변경하기 위한 다중-엘리먼트 적응형 렌즈를 갖는 증강 현실 디스플레이
CN107330855B (zh) * 2017-06-16 2021-03-02 瑞芯微电子股份有限公司 Vr交互数据尺寸一致性调节的方法和装置
CN107229337B (zh) * 2017-06-16 2020-08-18 上海闻泰电子科技有限公司 Vr显示系统及方法
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
US10913145B2 (en) 2017-06-20 2021-02-09 Verb Surgical Inc. Cart for robotic arms and method and apparatus for cartridge or magazine loading of arms
RU2682014C1 (ru) * 2017-06-29 2019-03-14 Дмитрий Сергеевич Шаньгин Система виртуальной реальности
US10449440B2 (en) 2017-06-30 2019-10-22 Electronic Arts Inc. Interactive voice-controlled companion application for a video game
US10357715B2 (en) * 2017-07-07 2019-07-23 Buxton Global Enterprises, Inc. Racing simulation
US10908680B1 (en) 2017-07-12 2021-02-02 Magic Leap, Inc. Pose estimation using electromagnetic tracking
CN107275904B (zh) * 2017-07-19 2024-05-24 北京小米移动软件有限公司 虚拟现实眼镜的数据连接线
CN110914790A (zh) 2017-07-26 2020-03-24 奇跃公司 采用用户界面设备的表示来训练神经网络
AU2018307786A1 (en) 2017-07-28 2020-01-23 Magic Leap, Inc. Fan assembly for displaying an image
US10740804B2 (en) 2017-07-28 2020-08-11 Magical Technologies, Llc Systems, methods and apparatuses of seamless integration of augmented, alternate, virtual, and/or mixed realities with physical realities for enhancement of web, mobile and/or other digital experiences
US9992449B1 (en) * 2017-08-10 2018-06-05 Everysight Ltd. System and method for sharing sensed data between remote users
KR102360412B1 (ko) * 2017-08-25 2022-02-09 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
US20190108578A1 (en) * 2017-09-13 2019-04-11 Magical Technologies, Llc Systems and methods of rewards object spawning and augmented reality commerce platform supporting multiple seller entities
US20190197312A1 (en) 2017-09-13 2019-06-27 Edward Rashid Lahood Method, apparatus and computer-readable media for displaying augmented reality information
EP3685313A4 (en) 2017-09-20 2021-06-09 Magic Leap, Inc. PERSONALIZED NEURAL EYE TRACKING NETWORK
IL311996A (en) 2017-09-21 2024-06-01 Magic Leap Inc An augmented reality display with a waveguide configured to capture images of an eye and/or environment
CA3075804A1 (en) 2017-09-27 2019-04-04 Magic Leap, Inc. Near eye 3d display with separate phase and amplitude modulators
EP4462253A2 (en) * 2017-09-29 2024-11-13 Apple Inc. Computer-generated reality platform
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US11733516B2 (en) 2017-10-11 2023-08-22 Magic Leap, Inc. Augmented reality display comprising eyepiece having a transparent emissive display
MX2020003450A (es) * 2017-10-12 2020-10-01 Fraunhofer Ges Forschung Optimización de difusión de audio para aplicaciones de realidad virtual.
KR20190041385A (ko) 2017-10-12 2019-04-22 언차티드브이알 인코퍼레이티드 격자 기반 가상현실 놀이기구용 스마트 소품
JP7399084B2 (ja) 2017-10-16 2023-12-15 ディジレンズ インコーポレイテッド ピクセル化されたディスプレイの画像分解能を倍増させるためのシステムおよび方法
US11966793B1 (en) * 2017-10-18 2024-04-23 Campfire 3D, Inc. Systems and methods to extend an interactive space across multiple platforms
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
JP7273034B2 (ja) 2017-10-26 2023-05-12 マジック リープ， インコーポレイテッド 液晶可変焦点要素を有する拡張現実ディスプレイおよびそれを形成するためのロールツーロール方法および装置
WO2019084189A1 (en) 2017-10-26 2019-05-02 Magic Leap, Inc. SYSTEMS AND METHODS FOR GRADIENT NORMALIZATION FOR ADAPTIVE LOSS BALANCING IN DEEP MULTITASK NETWORKS
EP3701516A4 (en) 2017-10-26 2021-07-28 Magic Leap, Inc. LARGE BAND ADAPTIVE LENS KIT INTENDED FOR AUGMENTED REALITY DISPLAY
CN111480181A (zh) 2017-10-27 2020-07-31 奇跃公司 增强现实系统的虚拟标线
KR20200087780A (ko) 2017-11-14 2020-07-21 매직 립, 인코포레이티드 뉴럴 네트워크들에 대한 멀티-태스크 학습을 위한 메타-학습
US11720222B2 (en) 2017-11-17 2023-08-08 International Business Machines Corporation 3D interaction input for text in augmented reality
KR102717573B1 (ko) 2017-12-11 2024-10-14 매직 립, 인코포레이티드 도파관 조명기
WO2019118222A1 (en) 2017-12-14 2019-06-20 Magic Leap, Inc. Contextual-based rendering of virtual avatars
EP3723580B1 (en) 2017-12-15 2024-01-24 Magic Leap, Inc. Eyepieces for augmented reality display system
WO2019116244A1 (ru) * 2017-12-15 2019-06-20 ГИОРГАДЗЕ, Анико Тенгизовна Взаимодействие пользователей в коммуникационной системе с использованием эффектов дополненной реальности
CN111630435A (zh) 2017-12-15 2020-09-04 奇跃公司 用于显示装置的增强的姿势确定
US10713840B2 (en) * 2017-12-22 2020-07-14 Sony Interactive Entertainment Inc. Space capture, modeling, and texture reconstruction through dynamic camera positioning and lighting using a mobile robot
WO2019130213A1 (ru) * 2017-12-29 2019-07-04 ГИОРГАДЗЕ, Анико Тенгизовна Взаимодействие пользователей в коммуникационной системе с использованием объектов дополненной реальности
AU2018400510A1 (en) 2018-01-04 2020-07-02 Magic Leap, Inc. Optical elements based on polymeric structures incorporating inorganic materials
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
KR20200108030A (ko) 2018-01-08 2020-09-16 디지렌즈 인코포레이티드. 도파관 셀 내의 홀로그래픽 격자의 높은 처리능력의 레코딩을 위한 시스템 및 방법
US10795445B2 (en) 2018-01-08 2020-10-06 Facebook Technologies, Llc Methods, devices, and systems for determining contact on a user of a virtual reality and/or augmented reality device
WO2019135837A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Systems and methods for manufacturing waveguide cells
US10679412B2 (en) 2018-01-17 2020-06-09 Unchartedvr Inc. Virtual experience monitoring mechanism
WO2019143844A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
IL311004A (en) 2018-01-17 2024-04-01 Magic Leap Inc Display systems and methods for determining registration between a display and a user's eyes
MX2020007674A (es) * 2018-01-19 2020-09-14 Esb Labs Inc Interfaz de audiencia interactiva virtual.
US10558878B2 (en) 2018-01-19 2020-02-11 Timothy R. Fitzpatrick System and method for organizing edible or drinkable materials
US10904374B2 (en) 2018-01-24 2021-01-26 Magical Technologies, Llc Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene
WO2019148154A1 (en) 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
US11210826B2 (en) 2018-02-02 2021-12-28 Disney Enterprises, Inc. Systems and methods to provide artificial intelligence experiences
US10673414B2 (en) 2018-02-05 2020-06-02 Tectus Corporation Adaptive tuning of a contact lens
IL276254B2 (en) 2018-02-06 2024-09-01 Magic Leap Inc Systems and methods for augmented reality
WO2019155311A1 (ru) * 2018-02-09 2019-08-15 ГИОРГАДЗЕ, Анико Тенгизовна Коммуникационная система с автоматически возникающими эффектами дополненной реальности
WO2019155368A1 (ru) * 2018-02-09 2019-08-15 ГИОРГАДЗЕ, Анико Тенгизовна Взаимодействие пользователей в коммуникационной системе с использованием эффектов дополненной реальности, возникающих в ответ на выбранные пользователем действия для выполнения объектами дополненной реальности
CN108427499A (zh) * 2018-02-13 2018-08-21 视辰信息科技(上海)有限公司 一种ar系统及ar设备
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
CA3089316A1 (en) 2018-02-27 2019-09-06 Magic Leap, Inc. Matching meshes for virtual avatars
CA3089645A1 (en) 2018-02-28 2019-09-06 Magic Leap, Inc. Head scan alignment using ocular registration
US11467398B2 (en) 2018-03-05 2022-10-11 Magic Leap, Inc. Display system with low-latency pupil tracker
US11014001B2 (en) * 2018-03-05 2021-05-25 Sony Interactive Entertainment LLC Building virtual reality (VR) gaming environments using real-world virtual reality maps
EP3762769A1 (en) 2018-03-06 2021-01-13 Texas State University Augmented reality/virtual reality platform for a network analyzer
JP1618837S (zh) * 2018-03-06 2018-11-26
US11656462B2 (en) 2018-03-07 2023-05-23 Magic Leap, Inc. Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display
EP4212222A1 (en) * 2018-03-07 2023-07-19 Magic Leap, Inc. Visual tracking of peripheral devices
CN111954837A (zh) 2018-03-12 2020-11-17 奇跃公司 基于折射率极高的目镜基板的观察光学组件架构
US10878620B2 (en) 2018-03-14 2020-12-29 Magic Leap, Inc. Display systems and methods for clipping content to increase viewing comfort
US11430169B2 (en) 2018-03-15 2022-08-30 Magic Leap, Inc. Animating virtual avatar facial movements
US10775618B2 (en) 2018-03-16 2020-09-15 Magic Leap, Inc. Facial expressions from eye-tracking cameras
CN112088332A (zh) 2018-03-16 2020-12-15 迪吉伦斯公司 包含双折射控制的全息波导及用于它们的制造的方法
JP7381482B2 (ja) 2018-03-16 2023-11-15 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベースの中心窩化レンダリング
US11480467B2 (en) 2018-03-21 2022-10-25 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
CN111868666A (zh) 2018-03-23 2020-10-30 脸谱科技有限责任公司 用于确定虚拟现实和/或增强现实设备的用户的接触的方法、设备和系统
WO2019195186A1 (en) 2018-04-02 2019-10-10 Magic Leap, Inc. Hybrid polymer waveguide and methods for making the same
EP3776027A4 (en) 2018-04-02 2021-12-29 Magic Leap, Inc. Waveguides with integrated optical elements and methods of making the same
WO2019195193A1 (en) 2018-04-02 2019-10-10 Magic Leap, Inc. Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same
US11276219B2 (en) 2018-04-16 2022-03-15 Magic Leap, Inc. Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
WO2019204765A1 (en) 2018-04-19 2019-10-24 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US10505394B2 (en) 2018-04-21 2019-12-10 Tectus Corporation Power generation necklaces that mitigate energy absorption in the human body
WO2019209431A1 (en) 2018-04-23 2019-10-31 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
US10838239B2 (en) 2018-04-30 2020-11-17 Tectus Corporation Multi-coil field generation in an electronic contact lens system
US10895762B2 (en) 2018-04-30 2021-01-19 Tectus Corporation Multi-coil field generation in an electronic contact lens system
WO2019212698A1 (en) 2018-05-01 2019-11-07 Magic Leap, Inc. Avatar animation using markov decision process policies
WO2019213220A1 (en) 2018-05-03 2019-11-07 Magic Leap, Inc. Using 3d scans of a physical subject to determine positions and orientations of joints for a virtual character
US10803671B2 (en) 2018-05-04 2020-10-13 Microsoft Technology Licensing, Llc Authoring content in three-dimensional environment
WO2019215527A1 (ru) * 2018-05-10 2019-11-14 ГИОРГАДЗЕ, Анико Тенгизовна Способ отображения информации об активности пользователя
US12020167B2 (en) 2018-05-17 2024-06-25 Magic Leap, Inc. Gradient adversarial training of neural networks
US10790700B2 (en) 2018-05-18 2020-09-29 Tectus Corporation Power generation necklaces with field shaping systems
US11282255B2 (en) 2018-05-21 2022-03-22 Magic Leap, Inc. Generating textured polygon strip hair from strand-based hair for a virtual character
JP7516260B2 (ja) 2018-05-22 2024-07-16 マジック リープ， インコーポレイテッド 仮想アバタをアニメーション化するための骨格システム
US11210835B2 (en) 2018-05-22 2021-12-28 Magic Leap, Inc. Computer generated hair groom transfer tool
US10861242B2 (en) 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
US11205508B2 (en) 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
JP6944098B2 (ja) 2018-05-24 2021-10-06 ザ カラニー ホールディング エスエーアールエル 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法
US11079897B2 (en) 2018-05-24 2021-08-03 The Calany Holding S. À R.L. Two-way real-time 3D interactive operations of real-time 3D virtual objects within a real-time 3D virtual world representing the real world
WO2019226865A1 (en) 2018-05-25 2019-11-28 Magic Leap, Inc. Compression of dynamic unstructured point clouds
US11303355B2 (en) 2018-05-30 2022-04-12 Apple Inc. Optical structures in directional free-space optical communication systems for portable electronic devices
US10700780B2 (en) * 2018-05-30 2020-06-30 Apple Inc. Systems and methods for adjusting movable lenses in directional free-space optical communication systems for portable electronic devices
US11651555B2 (en) * 2018-05-31 2023-05-16 Microsoft Technology Licensing, Llc Re-creation of virtual environment through a video call
US12087022B2 (en) 2018-06-01 2024-09-10 Magic Leap, Inc. Compression of dynamic unstructured point clouds
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
US10843077B2 (en) * 2018-06-08 2020-11-24 Brian Deller System and method for creation, presentation and interaction within multiple reality and virtual reality environments
JP7336470B2 (ja) 2018-06-15 2023-08-31 マジック リープ， インコーポレイテッド プレチルト角を伴う液晶光学要素を用いた広視野偏光スイッチ
JP7360405B2 (ja) 2018-06-15 2023-10-12 マジック リープ， インコーポレイテッド 広視野偏光スイッチおよびプレチルトを伴う液晶光学要素を加工する方法
US10986270B2 (en) 2018-06-18 2021-04-20 Magic Leap, Inc. Augmented reality display with frame modulation functionality
US11624909B2 (en) 2018-06-18 2023-04-11 Magic Leap, Inc. Head-mounted display systems with power saving functionality
US11694435B2 (en) 2018-06-18 2023-07-04 Magic Leap, Inc. Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
US20190391647A1 (en) * 2018-06-25 2019-12-26 Immersion Corporation Real-world haptic interactions for a virtual reality user
US20190392641A1 (en) * 2018-06-26 2019-12-26 Sony Interactive Entertainment Inc. Material base rendering
WO2020005757A1 (en) 2018-06-26 2020-01-02 Magic Leap, Inc. Waypoint creation in map detection
WO2020003014A1 (ru) * 2018-06-26 2020-01-02 ГИОРГАДЗЕ, Анико Тенгизовна Устранение пробелов в понимании информации, возникающих при взаимодействии пользователей в коммуникационных системах, использующих объекты дополненной реальности
US11077365B2 (en) 2018-06-27 2021-08-03 Niantic, Inc. Low latency datagram-responsive computer network protocol
USD875729S1 (en) 2018-06-27 2020-02-18 Magic Leap, Inc. Portion of an augmented reality headset
CN112602090A (zh) 2018-07-02 2021-04-02 奇跃公司 用于插值不同输入的方法和系统
CN108983974B (zh) * 2018-07-03 2020-06-30 百度在线网络技术（北京）有限公司 Ar场景处理方法、装置、设备和计算机可读存储介质
CN112673298A (zh) 2018-07-05 2021-04-16 奇跃公司 用于头戴式显示系统的基于波导的照明
CN109308737A (zh) * 2018-07-11 2019-02-05 重庆邮电大学 一种三阶段式点云配准方法的移动机器人v-slam方法
US11137622B2 (en) 2018-07-15 2021-10-05 Tectus Corporation Eye-mounted displays including embedded conductive coils
US20200015924A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Robotic light projection tools
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11627587B2 (en) 2018-07-23 2023-04-11 Magic Leap, Inc. Coexistence interference avoidance between two different radios operating in the same band
WO2020023523A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Intra-field sub code timing in field sequential displays
WO2020023524A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Method and system for resolving hemisphere ambiguity using a position vector
CN112513944A (zh) 2018-07-23 2021-03-16 奇跃公司 用于头部姿势预测的深度预测器循环神经网络
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
US11422620B2 (en) 2018-07-24 2022-08-23 Magic Leap, Inc. Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
US11067808B2 (en) 2018-07-24 2021-07-20 Magic Leap, Inc. Diffractive optical elements with mitigation of rebounce-induced light loss and related systems and methods
US11567336B2 (en) 2018-07-24 2023-01-31 Magic Leap, Inc. Display systems and methods for determining registration between display and eyes of user
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
WO2020023491A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Thermal management system for electronic device
WO2020023404A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Flicker mitigation when toggling eyepiece display illumination in augmented reality systems
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
JP7210180B2 (ja) * 2018-07-25 2023-01-23 キヤノン株式会社 画像処理装置、画像表示装置、画像処理方法、及びプログラム
JP7459050B2 (ja) 2018-07-27 2024-04-01 マジック リープ， インコーポレイテッド 仮想キャラクタの姿勢空間変形のための姿勢空間次元低減
JP7443332B2 (ja) 2018-08-03 2024-03-05 マジック リープ， インコーポレイテッド ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択
CN109255819B (zh) * 2018-08-14 2020-10-13 清华大学 基于平面镜的Kinect标定方法及装置
US10581940B1 (en) 2018-08-20 2020-03-03 Dell Products, L.P. Head-mounted devices (HMDs) discovery in co-located virtual, augmented, and mixed reality (xR) applications
KR102508286B1 (ko) * 2018-08-27 2023-03-09 삼성전자 주식회사 가상 현실에서 정보를 제공하는 전자 장치 및 방법
US11157739B1 (en) 2018-08-31 2021-10-26 Apple Inc. Multi-user computer generated reality platform
JP6527627B1 (ja) * 2018-08-31 2019-06-05 株式会社バーチャルキャスト コンテンツ配信サーバ、コンテンツ配信システム、コンテンツ配信方法及びプログラム
JP2021536592A (ja) 2018-08-31 2021-12-27 マジック リープ, インコーポレイテッドMagic Leap, Inc. 拡張現実デバイスのための空間的に分解された動的調光
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US10529107B1 (en) 2018-09-11 2020-01-07 Tectus Corporation Projector alignment in a contact lens
US10679743B2 (en) 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
US11982809B2 (en) 2018-09-17 2024-05-14 Apple Inc. Electronic device with inner display and externally accessible input-output device
USD934872S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD955396S1 (en) 2018-09-18 2022-06-21 Magic Leap, Inc. Mobile computing support system having an illumination region
USD950567S1 (en) 2018-09-18 2022-05-03 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934873S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
JP7376578B2 (ja) 2018-09-26 2023-11-08 マジック リープ， インコーポレイテッド ピンホールおよびスリットカメラを伴うアイウェア
US10569164B1 (en) 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
US11733523B2 (en) 2018-09-26 2023-08-22 Magic Leap, Inc. Diffractive optical elements with optical power
WO2020078354A1 (zh) * 2018-10-16 2020-04-23 北京凌宇智控科技有限公司 视频串流系统、视频串流方法及装置
EP3871034A4 (en) 2018-10-26 2022-08-10 Magic Leap, Inc. ELECTROMAGNETIC AMBIENT DISTORTION CORRECTION FOR ELECTROMAGNETIC TRACKING
US11047691B2 (en) * 2018-10-31 2021-06-29 Dell Products, L.P. Simultaneous localization and mapping (SLAM) compensation for gesture recognition in virtual, augmented, and mixed reality (xR) applications
US10846042B2 (en) 2018-10-31 2020-11-24 Hewlett Packard Enterprise Development Lp Adaptive rendering for untethered multi-user virtual reality
US11051206B2 (en) 2018-10-31 2021-06-29 Hewlett Packard Enterprise Development Lp Wi-fi optimization for untethered multi-user virtual reality
US11592896B2 (en) * 2018-11-07 2023-02-28 Wild Technology, Inc. Technological infrastructure for enabling multi-user collaboration in a virtual reality environment
TWI722332B (zh) * 2018-11-13 2021-03-21 晶睿通訊股份有限公司 行人偵測方法及其相關監控攝影機
JP7389116B2 (ja) 2018-11-15 2023-11-29 マジック リープ， インコーポレイテッド 深層ニューラルネットワーク姿勢推定システム
US11237393B2 (en) 2018-11-20 2022-02-01 Magic Leap, Inc. Eyepieces for augmented reality display system
US10838232B2 (en) 2018-11-26 2020-11-17 Tectus Corporation Eye-mounted displays including embedded solenoids
CN113330390A (zh) 2018-11-30 2021-08-31 奇跃公司 用于化身运动的多模态手的位置和取向
US10776933B2 (en) 2018-12-06 2020-09-15 Microsoft Technology Licensing, Llc Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
US11282282B2 (en) * 2018-12-14 2022-03-22 Vulcan Inc. Virtual and physical reality integration
US10644543B1 (en) 2018-12-20 2020-05-05 Tectus Corporation Eye-mounted display system including a head wearable object
US11640063B2 (en) 2018-12-28 2023-05-02 Magic Leap, Inc. Variable pixel density display system with mechanically-actuated image projector
CN113508580A (zh) 2018-12-28 2021-10-15 奇跃公司 具有左右眼共享显示器的增强和虚拟现实显示系统
CN113544570A (zh) 2019-01-11 2021-10-22 奇跃公司 各种深度处的虚拟内容的时间复用显示
US11334154B2 (en) 2019-01-25 2022-05-17 Magic Leap, Inc. Eye-tracking using images having different exposure times
JP2022523076A (ja) 2019-02-01 2022-04-21 マジック リープ， インコーポレイテッド 直列内部結合光学要素
US11403823B2 (en) 2019-02-14 2022-08-02 Lego A/S Toy system for asymmetric multiplayer game play
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
JP7349793B2 (ja) * 2019-02-15 2023-09-25 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
EP3924759A4 (en) 2019-02-15 2022-12-28 Digilens Inc. METHODS AND APPARATUS FOR MAKING A HOLOGRAPHIC WAVEGUIDE DISPLAY WITH INTEGRATED GRIDINGS
JP7185068B2 (ja) 2019-02-25 2022-12-06 ナイアンティック， インコーポレイテッド 拡張現実モバイルエッジコンピュータ
WO2020176783A1 (en) 2019-02-28 2020-09-03 Magic Leap, Inc. Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays
WO2020176008A1 (ru) * 2019-02-28 2020-09-03 Публичное Акционерное Общество "Сбербанк России" Способ и система распознования лиц и построения маршрута
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
EP3938818B1 (en) 2019-03-12 2024-10-09 Magic Leap, Inc. Method of fabricating display device having patterned lithium-based transition metal oxide
KR20210134763A (ko) 2019-03-12 2021-11-10 디지렌즈 인코포레이티드. 홀로그래픽 도파관 백라이트 및 관련된 제조 방법
US11982813B2 (en) 2019-03-12 2024-05-14 Magic Leap, Inc. Waveguides with high index materials and methods of fabrication thereof
RU2702495C1 (ru) * 2019-03-13 2019-10-08 Общество с ограниченной ответственностью "ТрансИнжКом" Способ и система сбора информации для устройства совмещенной реальности в режиме реального времени
US12055721B2 (en) 2019-03-20 2024-08-06 Magic Leap, Inc. System for collecting light
EP3712781A1 (en) * 2019-03-20 2020-09-23 Nokia Technologies Oy An apparatus and associated methods for presentation of presentation data
WO2020191170A1 (en) 2019-03-20 2020-09-24 Magic Leap, Inc. System for providing illumination of the eye
KR102677294B1 (ko) 2019-03-20 2024-06-21 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN113632049A (zh) * 2019-03-25 2021-11-09 奇跃公司 用于虚拟和增强现实的系统和方法
JP2022529245A (ja) 2019-04-15 2022-06-20 マジック リープ， インコーポレイテッド 電磁追跡のためのセンサ融合
US11107293B2 (en) * 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
US11380011B2 (en) * 2019-04-23 2022-07-05 Kreatar, Llc Marker-based positioning of simulated reality
US11294453B2 (en) * 2019-04-23 2022-04-05 Foretell Studios, LLC Simulated reality cross platform system
GB201905847D0 (en) 2019-04-26 2019-06-12 King S College London MRI scanner-compatible virtual reality system
CN115755397A (zh) 2019-04-26 2023-03-07 苹果公司 具有低光操作的头戴式显示器
WO2020220721A1 (zh) 2019-04-30 2020-11-05 深圳市韶音科技有限公司 一种声学输出装置
EP3734419A1 (en) * 2019-05-03 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
TWI715026B (zh) * 2019-05-06 2021-01-01 宏碁股份有限公司 網路虛擬實境之控制方法及應用其之主機
US11783554B2 (en) 2019-05-10 2023-10-10 BadVR, Inc. Systems and methods for collecting, locating and visualizing sensor signals in extended reality
WO2020236827A1 (en) 2019-05-20 2020-11-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
CN111973979B (zh) * 2019-05-23 2024-11-01 卡兰控股有限公司 经由持久性虚拟世界系统对现实世界进行实况管理
US20220221710A1 (en) 2019-05-24 2022-07-14 Magic Leap, Inc. Variable focus assemblies
CN114174463A (zh) 2019-05-28 2022-03-11 奇跃公司 用于便携式电子设备的热管理系统
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
CN112055033B (zh) * 2019-06-05 2022-03-29 北京外号信息技术有限公司 基于光通信装置的交互方法和系统
CN112055034B (zh) * 2019-06-05 2022-03-29 北京外号信息技术有限公司 基于光通信装置的交互方法和系统
KR20220016990A (ko) 2019-06-07 2022-02-10 디지렌즈 인코포레이티드. 투과 및 반사 격자를 통합하는 도파관 및 관련 제조 방법
WO2020251540A1 (en) * 2019-06-10 2020-12-17 Brian Deller System and method for creation, presentation and interaction within multiple reality and virtual reality environments
US10897564B1 (en) 2019-06-17 2021-01-19 Snap Inc. Shared control of camera device by multiple devices
CN112100798A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统中的系统和方法
US11196964B2 (en) 2019-06-18 2021-12-07 The Calany Holding S. À R.L. Merged reality live event management system and method
US12040993B2 (en) 2019-06-18 2024-07-16 The Calany Holding S. À R.L. Software engine virtualization and dynamic resource and task distribution across edge and cloud
US12033271B2 (en) 2019-06-18 2024-07-09 The Calany Holding S. À R.L. 3D structure engine-based computation platform
US12039354B2 (en) * 2019-06-18 2024-07-16 The Calany Holding S. À R.L. System and method to operate 3D applications through positional virtualization technology
JP7373594B2 (ja) 2019-06-20 2023-11-02 マジック リープ， インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
CN114270312A (zh) 2019-06-21 2022-04-01 奇跃公司 经由模态窗口的安全授权
CN114341687A (zh) 2019-06-24 2022-04-12 奇跃公司 具有集成间隔物的波导及相关系统和方法
US11145126B1 (en) 2019-06-27 2021-10-12 Facebook Technologies, Llc Movement instruction using a mirror in an artificial reality environment
US11055920B1 (en) * 2019-06-27 2021-07-06 Facebook Technologies, Llc Performing operations using a mirror in an artificial reality environment
US11036987B1 (en) 2019-06-27 2021-06-15 Facebook Technologies, Llc Presenting artificial reality content using a mirror
CN110413109A (zh) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 虚拟内容的生成方法、装置、系统、电子设备及存储介质
EP3982331A4 (en) 2019-06-28 2022-11-09 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US11549799B2 (en) 2019-07-01 2023-01-10 Apple Inc. Self-mixing interference device for sensing applications
US11372474B2 (en) * 2019-07-03 2022-06-28 Saec/Kinetic Vision, Inc. Systems and methods for virtual artificial intelligence development and testing
WO2021007223A1 (en) 2019-07-07 2021-01-14 Selfie Snapper, Inc. Selfie camera
US11029805B2 (en) 2019-07-10 2021-06-08 Magic Leap, Inc. Real-time preview of connectable objects in a physically-modeled virtual space
JP2022540675A (ja) 2019-07-16 2022-09-16 マジック リープ， インコーポレイテッド １つ以上の眼追跡カメラを用いた眼回転中心の決定
US11340857B1 (en) 2019-07-19 2022-05-24 Snap Inc. Shared control of a virtual object by multiple devices
JP2022540691A (ja) 2019-07-19 2022-09-16 マジック リープ， インコーポレイテッド 回折格子を加工する方法
JP7447237B2 (ja) 2019-07-19 2024-03-11 マジック リープ， インコーポレイテッド 低減された偏光感度を伴う回折格子を有するディスプレイデバイス
US11907417B2 (en) 2019-07-25 2024-02-20 Tectus Corporation Glance and reveal within a virtual environment
US11068284B2 (en) * 2019-07-25 2021-07-20 Huuuge Global Ltd. System for managing user experience and method therefor
US12118897B2 (en) * 2019-07-25 2024-10-15 International Business Machines Corporation Augmented reality tutorial generation
US10773157B1 (en) 2019-07-26 2020-09-15 Arkade, Inc. Interactive computing devices and accessories
US10946272B2 (en) 2019-07-26 2021-03-16 Arkade, Inc. PC blaster game console
US10893127B1 (en) 2019-07-26 2021-01-12 Arkade, Inc. System and method for communicating interactive data between heterogeneous devices
EP4004646A4 (en) 2019-07-29 2023-09-06 Digilens Inc. METHODS AND APPARATUS FOR MULTIPLYING THE IMAGE RESOLUTION AND FIELD OF VIEW OF A PIXELATED DISPLAY SCREEN
CN114467279A (zh) 2019-07-31 2022-05-10 奇跃公司 使用分布式账本用于增强现实的用户数据管理
US10944290B2 (en) 2019-08-02 2021-03-09 Tectus Corporation Headgear providing inductive coupling to a contact lens
EP4014468A4 (en) 2019-08-12 2022-10-19 Magic Leap, Inc. SYSTEMS AND PROCESSES FOR VIRTUAL AND AUGMENTED REALITY
US11210856B2 (en) 2019-08-20 2021-12-28 The Calany Holding S. À R.L. System and method for interaction-level based telemetry and tracking within digital realities
US20210056391A1 (en) * 2019-08-20 2021-02-25 Mind Machine Learning, Inc. Systems and Methods for Simulating Sense Data and Creating Perceptions
KR20220054386A (ko) 2019-08-29 2022-05-02 디지렌즈 인코포레이티드. 진공 브래그 격자 및 이의 제조 방법
US11030815B2 (en) 2019-09-05 2021-06-08 Wipro Limited Method and system for rendering virtual reality content
EP4028354A4 (en) 2019-09-11 2023-11-22 Magic Leap, Inc. DISPLAY DEVICE PROVIDED WITH A DIFFRACTION GRATING WITH REDUCED POLARIZATION SENSITIVITY
US11176757B2 (en) 2019-10-02 2021-11-16 Magic Leap, Inc. Mission driven virtual character for user interaction
US11276246B2 (en) 2019-10-02 2022-03-15 Magic Leap, Inc. Color space mapping for intuitive surface normal visualization
US11475637B2 (en) * 2019-10-21 2022-10-18 Wormhole Labs, Inc. Multi-instance multi-user augmented reality environment
US11662807B2 (en) 2020-01-06 2023-05-30 Tectus Corporation Eye-tracking user interface for virtual tool control
US10901505B1 (en) 2019-10-24 2021-01-26 Tectus Corporation Eye-based activation and tool selection systems and methods
US11493989B2 (en) 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
USD982593S1 (en) 2019-11-08 2023-04-04 Magic Leap, Inc. Portion of a display screen with animated ray
EP4055423A4 (en) 2019-11-08 2024-01-10 Magic Leap, Inc. METASURFACES WITH LIGHT REORIENTATION STRUCTURES INCLUDING MULTIPLE MATERIALS AND MANUFACTURING METHODS
CN114945947A (zh) 2019-11-18 2022-08-26 奇跃公司 可通行世界的映射和定位
US11412050B2 (en) * 2019-11-20 2022-08-09 Facebook Technologies, Llc Artificial reality system with virtual wireless channels
US12094139B2 (en) 2019-11-22 2024-09-17 Magic Leap, Inc. Systems and methods for enhanced depth determination using projection spots
CN114730111A (zh) 2019-11-22 2022-07-08 奇跃公司 用于对液晶层进行图案化的方法和系统
WO2021108327A1 (en) 2019-11-26 2021-06-03 Magic Leap, Inc. Enhanced eye tracking for augmented or virtual reality display systems
DE102019132173A1 (de) * 2019-11-27 2021-05-27 Endress+Hauser Conducta Gmbh+Co. Kg Verfahren zur Konfiguration zur Übertragung von Daten von einem Feldgerät
WO2021113322A1 (en) 2019-12-06 2021-06-10 Magic Leap, Inc. Dynamic browser stage
EP4070538A4 (en) 2019-12-06 2023-11-29 Magic Leap, Inc. CODING A STEREO HOME SCREEN INTO A STATIC IMAGE
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941307S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with graphical user interface for guiding graphics
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940749S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
US11288876B2 (en) 2019-12-13 2022-03-29 Magic Leap, Inc. Enhanced techniques for volumetric stage mapping based on calibration object
US11789527B1 (en) * 2019-12-17 2023-10-17 Snap Inc. Eyewear device external face tracking overlay generation
US11489763B2 (en) 2019-12-20 2022-11-01 Niantic, Inc. Data hierarchy protocol for data transmission pathway selection
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US12053223B2 (en) 2019-12-30 2024-08-06 Cilag Gmbh International Adaptive surgical system control according to surgical smoke particulate characteristics
EP3846008A1 (en) 2019-12-30 2021-07-07 TMRW Foundation IP SARL Method and system for enabling enhanced user-to-user communication in digital realities
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11973443B2 (en) 2019-12-31 2024-04-30 Selfie Snapper, Inc. Electroadhesion device with voltage control module
US11095855B2 (en) 2020-01-16 2021-08-17 Microsoft Technology Licensing, Llc Remote collaborations with volumetric space indications
WO2021150623A1 (en) 2020-01-24 2021-07-29 Magic Leap, Inc. Content movement and interaction using a single controller
US11340695B2 (en) 2020-01-24 2022-05-24 Magic Leap, Inc. Converting a 2D positional input into a 3D point in space
USD949200S1 (en) 2020-01-27 2022-04-19 Magic Leap, Inc. Portion of a display screen with a set of avatars
US11226678B2 (en) 2020-01-27 2022-01-18 Magic Leap, Inc. Gaze timer based augmentation of functionality of a user input device
USD936704S1 (en) 2020-01-27 2021-11-23 Magic Leap, Inc. Portion of a display screen with avatar
EP4097684A4 (en) 2020-01-27 2024-02-14 Magic Leap, Inc. IMPROVED STATE CONTROL FOR ANCHOR-BASED CROSS-REALLY APPLICATIONS
USD948562S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with avatar
WO2021154646A1 (en) 2020-01-27 2021-08-05 Magic Leap, Inc. Neutral avatars
CN115039166A (zh) 2020-01-27 2022-09-09 奇跃公司 增强现实地图管理
USD948574S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with a set of avatars
US11487356B2 (en) 2020-01-31 2022-11-01 Magic Leap, Inc. Augmented and virtual reality display systems for oculometric assessments
WO2021158600A1 (en) * 2020-02-04 2021-08-12 Google Llc Systems, devices, and methods for directing and managing image data from a camera in wearable devices
US11709363B1 (en) 2020-02-10 2023-07-25 Avegant Corp. Waveguide illumination of a spatial light modulator
US11382699B2 (en) * 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
JP7455985B2 (ja) 2020-02-10 2024-03-26 マジック リープ， インコーポレイテッド 複合現実環境における３次元コンテナに対する身体中心コンテンツ位置付け
US11726349B2 (en) 2020-02-14 2023-08-15 Magic Leap, Inc. Virtual object movement speed curve for virtual and augmented reality display systems
JP7515604B2 (ja) 2020-02-26 2024-07-12 マジック リープ， インコーポレイテッド 手続型電子ビームリソグラフィ
CN115190837A (zh) 2020-02-28 2022-10-14 奇跃公司 制造用于形成具有一体间隔件的目镜的模具的方法
CN111459267A (zh) * 2020-03-02 2020-07-28 杭州嘉澜创新科技有限公司 一种数据处理方法、第一服务器、第二服务器与存储介质
US11262588B2 (en) 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
CN111462335B (zh) * 2020-03-18 2023-12-05 Oppo广东移动通信有限公司 基于虚拟对象交互的设备控制方法及装置、介质和设备
US11474358B2 (en) 2020-03-20 2022-10-18 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
US11985175B2 (en) 2020-03-25 2024-05-14 Snap Inc. Virtual interaction session to facilitate time limited augmented reality based communication between multiple users
JP7507872B2 (ja) 2020-03-25 2024-06-28 マジック リープ， インコーポレイテッド 一方向ミラーを伴う光学デバイス
US12101360B2 (en) 2020-03-25 2024-09-24 Snap Inc. Virtual interaction session to facilitate augmented reality based communication between multiple users
US11593997B2 (en) * 2020-03-31 2023-02-28 Snap Inc. Context based augmented reality communication
US11604354B2 (en) 2020-04-03 2023-03-14 Magic Leap, Inc. Wearable display systems with nanowire LED micro-displays
CN115769174A (zh) 2020-04-03 2023-03-07 奇跃公司 用于最佳注视辨别的化身定制
US11577161B2 (en) * 2020-04-20 2023-02-14 Dell Products L.P. Range of motion control in XR applications on information handling systems
US11436579B2 (en) 2020-05-04 2022-09-06 Bank Of America Corporation Performing enhanced deposit item processing using cognitive automation tools
CN111589107B (zh) * 2020-05-14 2023-04-28 北京代码乾坤科技有限公司 虚拟模型的行为预测方法和装置
WO2021237115A1 (en) 2020-05-22 2021-11-25 Magic Leap, Inc. Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions
JP2023529606A (ja) 2020-06-05 2023-07-11 マジック リープ， インコーポレイテッド 画像のニューラルネットワーク分析に基づいて向上された眼追跡技法
AU2021288589A1 (en) * 2020-06-11 2023-02-09 Carefusion 303, Inc. Hands-free medication tracking
WO2021252980A1 (en) * 2020-06-12 2021-12-16 Selfie Snapper, Inc. Digital mirror
US11665284B2 (en) * 2020-06-20 2023-05-30 Science House LLC Systems, methods, and apparatus for virtual meetings
USD939607S1 (en) 2020-07-10 2021-12-28 Selfie Snapper, Inc. Selfie camera
WO2022015802A1 (en) * 2020-07-14 2022-01-20 Vicarious Fpc, Inc. Method and system for generating training data
US11998275B2 (en) 2020-07-15 2024-06-04 Magic Leap, Inc. Eye tracking using aspheric cornea model
RU201742U1 (ru) * 2020-07-22 2020-12-30 Общество с ограниченной ответственностью "МИКСАР ДЕВЕЛОПМЕНТ" Очки дополненной реальности, ориентированные на применение в условиях опасного производства
WO2022032198A1 (en) 2020-08-07 2022-02-10 Magic Leap, Inc. Tunable cylindrical lenses and head-mounted display including the same
WO2022037758A1 (en) * 2020-08-18 2022-02-24 Siemens Aktiengesellschaft Remote collaboration using augmented and virtual reality
EP4200847A4 (en) 2020-08-24 2024-10-02 Fd Ip & Licensing Llc PREVIEW DEVICES AND SYSTEMS FOR THE FILM INDUSTRY
US12107907B2 (en) * 2020-08-28 2024-10-01 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
CN111939561B (zh) * 2020-08-31 2023-09-19 聚好看科技股份有限公司 显示设备及交互方法
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
EP3968143A1 (en) * 2020-09-15 2022-03-16 Nokia Technologies Oy Audio processing
US11176756B1 (en) * 2020-09-16 2021-11-16 Meta View, Inc. Augmented reality collaboration system
WO2022061114A1 (en) 2020-09-17 2022-03-24 Bogie Inc. System and method for an interactive controller
KR20230112611A (ko) 2020-09-29 2023-07-27 아브간트 코포레이션 디스플레이 패널을 조명하는 구조
US20220101002A1 (en) * 2020-09-30 2022-03-31 Kyndryl, Inc. Real-world object inclusion in a virtual reality experience
US11736545B2 (en) 2020-10-16 2023-08-22 Famous Group Technologies Inc. Client user interface for virtual fan experience
US20220130058A1 (en) * 2020-10-27 2022-04-28 Raytheon Company Mission early launch tracker
CN112363615A (zh) * 2020-10-27 2021-02-12 上海影创信息科技有限公司 多用户vr/ar交互系统、方法及计算机可读存储介质
US11893698B2 (en) * 2020-11-04 2024-02-06 Samsung Electronics Co., Ltd. Electronic device, AR device and method for controlling data transfer interval thereof
US12053247B1 (en) 2020-12-04 2024-08-06 Onpoint Medical, Inc. System for multi-directional tracking of head mounted displays for real-time augmented reality guidance of surgical procedures
WO2022130414A1 (en) * 2020-12-17 2022-06-23 Patel Lokesh Virtual presence device which uses trained humans to represent their hosts using man machine interface
IT202000030866A1 (it) * 2020-12-18 2022-06-18 Caldarola S R L Dispositivo e relativo metodo per il supporto e distanziamento in modalità realtà aumentata alla vista e all'udito per ambienti indoor
US12007561B2 (en) 2020-12-22 2024-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality
US12026800B1 (en) 2020-12-31 2024-07-02 Apple Inc. Blitting a display-locked object
US11831665B2 (en) 2021-01-04 2023-11-28 Bank Of America Corporation Device for monitoring a simulated environment
US11042028B1 (en) * 2021-01-12 2021-06-22 University Of Central Florida Research Foundation, Inc. Relative pose data augmentation of tracked devices in virtual environments
RU2760179C1 (ru) * 2021-01-20 2021-11-22 Виктор Александрович Епифанов Система дополненной реальности
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
JP7570939B2 (ja) * 2021-02-10 2024-10-22 株式会社コロプラ プログラム、情報処理方法、情報処理装置、及びシステム
US20240062403A1 (en) * 2021-02-12 2024-02-22 Magic Leap, Inc. Lidar simultaneous localization and mapping
US11786206B2 (en) 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems
WO2022195322A1 (en) * 2021-03-15 2022-09-22 One Game Studio S.A.P.I De C.V. System and method for the interaction of at least two users in an augmented reality environment for a videogame
US20220308659A1 (en) * 2021-03-23 2022-09-29 Htc Corporation Method for interacting with virtual environment, electronic device, and computer readable storage medium
CN113761281B (zh) * 2021-04-26 2024-05-14 腾讯科技（深圳）有限公司 虚拟资源处理方法、装置、介质及电子设备
CN113194350B (zh) * 2021-04-30 2022-08-19 百度在线网络技术（北京）有限公司 推送待播报数据、播报数据的方法和装置
US11938402B2 (en) 2021-05-03 2024-03-26 Rakuten Mobile, Inc. Multi-player interactive system and method of using
WO2022233405A1 (en) 2021-05-05 2022-11-10 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to extended reality
US11664923B2 (en) * 2021-05-12 2023-05-30 T-Mobile Usa, Inc. Optimizing use of existing telecommunication infrastructure for wireless connectivity
US11250637B1 (en) 2021-05-14 2022-02-15 Gridraster, Inc. Multimodal 3D deep learning fusion system and method for reducing the need of 3D training dataset of 3D object tracking for enterprise digital twin mixed reality
WO2023276141A1 (en) * 2021-07-02 2023-01-05 Mitsubishi Electric Corporation Providing system and providing method
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US12014030B2 (en) 2021-08-18 2024-06-18 Bank Of America Corporation System for predictive virtual scenario presentation
US20230059718A1 (en) * 2021-08-18 2023-02-23 Advanced Neuromodulation Systems, Inc. Systems and methods for providing digital health services
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
KR20240049629A (ko) * 2021-09-01 2024-04-16 스냅 인코포레이티드 물리적 액션-기반 증강 현실 통신 교환들
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US12135471B2 (en) 2021-09-10 2024-11-05 Tectus Corporation Control of an electronic contact lens using eye gestures
US20230083302A1 (en) * 2021-09-12 2023-03-16 Sony Interactive Entertainment Inc. Local environment scanning to characterize physical environment for use in vr/ar
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
CN113946701B (zh) * 2021-09-14 2024-03-19 广州市城市规划设计有限公司 一种基于图像处理的城乡规划数据的动态更新方法及装置
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11592899B1 (en) 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US12045940B2 (en) * 2021-11-03 2024-07-23 Tencent America LLC Method for streaming dynamic 5G AR/MR experience to 5G devices with updatable scenes
KR20230103379A (ko) 2021-12-31 2023-07-07 삼성전자주식회사 Ar 처리 방법 및 장치
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
CN115047979B (zh) * 2022-08-15 2022-11-01 歌尔股份有限公司 头戴显示设备控制系统及交互方法
US11948259B2 (en) 2022-08-22 2024-04-02 Bank Of America Corporation System and method for processing and intergrating real-time environment instances into virtual reality live streams
US12032737B2 (en) * 2022-08-22 2024-07-09 Meta Platforms Technologies, Llc Gaze adjusted avatars for immersive reality applications
US12124675B2 (en) 2022-09-30 2024-10-22 Sightful Computers Ltd Location-based virtual resource locator
US20240115947A1 (en) * 2022-10-05 2024-04-11 Sony Interactive Entertainment Inc. Systems and methods for integrating real-world content in a game
US12101303B2 (en) * 2022-11-02 2024-09-24 Truist Bank Secure packet record in multi-source VR environment
WO2024136743A1 (en) * 2022-12-22 2024-06-27 Inter Ikea Systems B.V. Creating a mixed reality meeting room
US11875492B1 (en) 2023-05-01 2024-01-16 Fd Ip & Licensing Llc Systems and methods for digital compositing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005514A (zh) * 2006-12-27 2007-07-25 北京航空航天大学 用于网络游戏的多服务器组织方法

Family Cites Families (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
JPH05328260A (ja) * 1992-05-26 1993-12-10 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JP3336687B2 (ja) * 1993-07-21 2002-10-21 セイコーエプソン株式会社 眼鏡型表示装置
US5491743A (en) * 1994-05-24 1996-02-13 International Business Machines Corporation Virtual conference system and terminal apparatus therefor
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6329986B1 (en) 1998-02-21 2001-12-11 U.S. Philips Corporation Priority-based virtual environment
US6118456A (en) 1998-04-02 2000-09-12 Adaptive Media Technologies Method and apparatus capable of prioritizing and streaming objects within a 3-D virtual environment
JP3456419B2 (ja) * 1998-07-23 2003-10-14 日本電信電話株式会社 仮想空間内における共有空間表示方法及びシステム及び仮想空間内における共有空間表示プログラムを格納した記憶媒体
US6215498B1 (en) * 1998-09-10 2001-04-10 Lionhearth Technologies, Inc. Virtual command post
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6289299B1 (en) * 1999-02-17 2001-09-11 Westinghouse Savannah River Company Systems and methods for interactive virtual reality process control and simulation
US6753857B1 (en) * 1999-04-16 2004-06-22 Nippon Telegraph And Telephone Corporation Method and system for 3-D shared virtual environment display communication virtual conference and programs therefor
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
EP1060772B1 (en) 1999-06-11 2012-02-01 Canon Kabushiki Kaisha Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
JP2001197400A (ja) * 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 表示装置、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置のための画像生成方法、コンピュータおよびプログラム記憶媒体
US20020010734A1 (en) * 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
US6525732B1 (en) * 2000-02-17 2003-02-25 Wisconsin Alumni Research Foundation Network-based viewing of images of three-dimensional objects
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
US8316450B2 (en) * 2000-10-10 2012-11-20 Addn Click, Inc. System for inserting/overlaying markers, data packets and objects relative to viewable content and enabling live social networking, N-dimensional virtual environments and/or other value derivable from the content
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US7071897B2 (en) 2001-07-18 2006-07-04 Hewlett-Packard Development Company, L.P. Immersive augmentation for display systems
US7452279B2 (en) 2001-08-09 2008-11-18 Kabushiki Kaisha Sega Recording medium of game program and game device using card
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
US20030179249A1 (en) * 2002-02-12 2003-09-25 Frank Sauer User interface for three-dimensional data sets
US6917370B2 (en) 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
AU2003277240A1 (en) 2002-10-15 2004-06-07 University Of Southern California Augmented virtual environments
US7793801B2 (en) 2002-11-18 2010-09-14 David Carl Drummond Positive pressure liquid transfer and removal system configured for operation by a hand and by a foot
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
JP2005061931A (ja) * 2003-08-11 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> ３次元形状の復元方法及びその装置並びに３次元形状の復元プログラム
US7546343B2 (en) * 2003-09-23 2009-06-09 Alcatel-Lucent Usa Inc. System and method for supporting virtual conferences
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2005182331A (ja) * 2003-12-18 2005-07-07 Sony Corp 情報処理システム、サービス提供装置および方法、情報処理装置および方法、並びに、プログラムおよび記録媒体
CN100456328C (zh) 2003-12-19 2009-01-28 Td视觉有限公司 三维视频游戏系统
RU2339083C2 (ru) * 2003-12-19 2008-11-20 ТиДиВижн Корпорейшн Эс.Эй.ДЕ Си.Ви Система трехмерной видеоигры
WO2005094667A2 (en) 2004-04-01 2005-10-13 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US20050289590A1 (en) 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
JP4677269B2 (ja) * 2005-04-08 2011-04-27 キヤノン株式会社 情報処理方法およびシステム
US7403268B2 (en) 2005-02-11 2008-07-22 Deltasphere, Inc. Method and apparatus for determining the geometric correspondence between multiple 3D rangefinder data sets
US7642989B2 (en) * 2005-03-17 2010-01-05 Massachusetts Institute Of Technology System for and method of motion and force synchronization with time delay reduction in multi-user shared virtual environments
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US7739339B2 (en) 2006-06-28 2010-06-15 The Boeing Company System and method of communications within a virtual environment
US9205329B2 (en) * 2006-07-25 2015-12-08 Mga Entertainment, Inc. Virtual world electronic game
US8726195B2 (en) 2006-09-05 2014-05-13 Aol Inc. Enabling an IM user to navigate a virtual world
US8010474B1 (en) * 2006-09-05 2011-08-30 Aol Inc. Translating paralinguisitic indicators
US8012023B2 (en) 2006-09-28 2011-09-06 Microsoft Corporation Virtual entertainment
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
JP5309448B2 (ja) * 2007-01-26 2013-10-09 ソニー株式会社 表示装置、表示方法
US8135018B1 (en) * 2007-03-29 2012-03-13 Qurio Holdings, Inc. Message propagation in a distributed virtual world
US8601386B2 (en) * 2007-04-20 2013-12-03 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
US8433656B1 (en) * 2007-06-13 2013-04-30 Qurio Holdings, Inc. Group licenses for virtual objects in a distributed virtual world
US20090054084A1 (en) 2007-08-24 2009-02-26 Motorola, Inc. Mobile virtual and augmented reality system
US9111285B2 (en) * 2007-08-27 2015-08-18 Qurio Holdings, Inc. System and method for representing content, user presence and interaction within virtual world advertising environments
US20090083051A1 (en) * 2007-09-26 2009-03-26 Bokor Brian R Interactive Self-Contained Business Transaction Virtual Object Generation
US7792801B2 (en) 2007-10-12 2010-09-07 International Business Machines Corporation Controlling and using virtual universe wish lists
JP4950834B2 (ja) 2007-10-19 2012-06-13 キヤノン株式会社 画像処理装置、画像処理方法
US20090109240A1 (en) 2007-10-24 2009-04-30 Roman Englert Method and System for Providing and Reconstructing a Photorealistic Three-Dimensional Environment
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US8231465B2 (en) * 2008-02-21 2012-07-31 Palo Alto Research Center Incorporated Location-aware mixed-reality gaming platform
US20090232355A1 (en) 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
US8756530B2 (en) 2008-05-27 2014-06-17 International Business Machines Corporation Generation and synchronization of offline 3D virtual world content
CN101359432B (zh) * 2008-09-02 2011-01-19 浙江理工大学 交互式三维虚拟物流仿真集成方法及系统
EP2163284A1 (en) * 2008-09-02 2010-03-17 Zero Point Holding A/S Integration of audio input to a software application
JP5094663B2 (ja) 2008-09-24 2012-12-12 キヤノン株式会社 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
US9480919B2 (en) 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
US20100162121A1 (en) * 2008-12-22 2010-06-24 Nortel Networks Limited Dynamic customization of a virtual world
JP2010169976A (ja) * 2009-01-23 2010-08-05 Sony Corp 空間像表示装置
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
JP2010217719A (ja) * 2009-03-18 2010-09-30 Ricoh Co Ltd 装着型表示装置、その制御方法及びプログラム
JP5178607B2 (ja) 2009-03-31 2013-04-10 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、口形状制御方法及び口形状制御装置
CN101923462A (zh) * 2009-06-10 2010-12-22 成都如临其境创意科技有限公司 一种基于FlashVR的三维微型场景网络发布引擎
US20100325154A1 (en) * 2009-06-22 2010-12-23 Nokia Corporation Method and apparatus for a virtual image world
US8966380B2 (en) * 2009-07-21 2015-02-24 UnisFair, Ltd. Apparatus and method for a virtual environment center and venues thereof
US8939840B2 (en) * 2009-07-29 2015-01-27 Disney Enterprises, Inc. System and method for playsets using tracked objects and corresponding virtual worlds
US20110165939A1 (en) * 2010-01-05 2011-07-07 Ganz Method and system for providing a 3d activity in a virtual presentation
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
KR101208911B1 (ko) * 2010-06-24 2012-12-06 전자부품연구원 가상 세계 운용 시스템 및 운용 방법
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8661354B2 (en) 2010-09-24 2014-02-25 Nokia Corporation Methods, apparatuses and computer program products for using near field communication to implement games and applications on devices
US8764571B2 (en) 2010-09-24 2014-07-01 Nokia Corporation Methods, apparatuses and computer program products for using near field communication to implement games and applications on devices
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8620730B2 (en) * 2010-12-15 2013-12-31 International Business Machines Corporation Promoting products in a virtual world
US9538156B2 (en) * 2011-01-31 2017-01-03 Cast Group Of Companies Inc. System and method for providing 3D sound
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
JP6316186B2 (ja) 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
US8692738B2 (en) * 2011-06-10 2014-04-08 Disney Enterprises, Inc. Advanced Pepper's ghost projection system with a multiview and multiplanar display
US20130050499A1 (en) * 2011-08-30 2013-02-28 Qualcomm Incorporated Indirect tracking
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130063429A1 (en) 2011-09-08 2013-03-14 Parham Sina System and method for distributing three-dimensional virtual world data
US20130077147A1 (en) 2011-09-22 2013-03-28 Los Alamos National Security, Llc Method for producing a partially coherent beam with fast pattern update rates
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
KR101944846B1 (ko) 2011-10-28 2019-02-01 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
EP2929413B1 (en) 2012-12-06 2020-06-03 Google LLC Eye tracking wearable devices and methods for use
AU2014204252B2 (en) 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
IL240822B (en) 2014-09-23 2020-03-31 Heidelberger Druckmasch Ag Sheet feeding device
GB2570298A (en) * 2018-01-17 2019-07-24 Nokia Technologies Oy Providing virtual content based on user context

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005514A (zh) * 2006-12-27 2007-07-25 北京航空航天大学 用于网络游戏的多服务器组织方法

Also Published As

Publication number Publication date
IL272459A (en) 2020-03-31
AU2021200177A1 (en) 2021-03-18
IL272459B (en) 2020-11-30
US20200053138A1 (en) 2020-02-13
US11601484B2 (en) 2023-03-07
US10469546B2 (en) 2019-11-05
EP4404537A3 (en) 2024-10-16
US12095833B2 (en) 2024-09-17
CA2853787C (en) 2019-08-27
KR102005106B1 (ko) 2019-07-29
EP3974041A1 (en) 2022-03-30
US20230370508A1 (en) 2023-11-16
AU2017201063A1 (en) 2017-03-09
KR20190014108A (ko) 2019-02-11
EP4404537A2 (en) 2024-07-24
NZ765499A (en) 2021-12-24
JP2021036449A (ja) 2021-03-04
US10637897B2 (en) 2020-04-28
KR101964223B1 (ko) 2019-04-01
US20200076863A1 (en) 2020-03-05
US20180205773A1 (en) 2018-07-19
EP3666352B1 (en) 2021-12-01
KR101944846B1 (ko) 2019-02-01
US10594747B1 (en) 2020-03-17
IL260879B (en) 2019-03-31
EP3258671A1 (en) 2017-12-20
AU2017201063B2 (en) 2018-12-06
EP2771877A4 (en) 2015-07-01
US10862930B2 (en) 2020-12-08
CA3048647A1 (en) 2013-06-13
IN2014CN03300A (zh) 2015-10-09
JP6792039B2 (ja) 2020-11-25
RU2017115669A (ru) 2019-01-28
JP7246352B2 (ja) 2023-03-27
RU2014121402A (ru) 2015-12-10
AU2012348348B2 (en) 2017-03-30
CA2853787A1 (en) 2013-06-13
US20160100034A1 (en) 2016-04-07
JP6657289B2 (ja) 2020-03-04
CA3207408A1 (en) 2013-06-13
AU2019201411A1 (en) 2019-03-21
WO2013085639A1 (en) 2013-06-13
CN106484115A (zh) 2017-03-08
KR101917630B1 (ko) 2018-11-13
US20200128054A1 (en) 2020-04-23
EP2771877B1 (en) 2017-10-11
EP3404894B1 (en) 2020-02-12
KR20140093970A (ko) 2014-07-29
JP7348261B2 (ja) 2023-09-20
AU2023200357A1 (en) 2023-02-23
EP3666352A1 (en) 2020-06-17
IL257309A (en) 2018-04-09
JP2022050513A (ja) 2022-03-30
US20130117377A1 (en) 2013-05-09
KR20170122839A (ko) 2017-11-06
EP3404894A1 (en) 2018-11-21
JP2017102946A (ja) 2017-06-08
JP2015503141A (ja) 2015-01-29
JP2023171762A (ja) 2023-12-05
AU2024203489A1 (en) 2024-06-13
NZ764226A (en) 2021-11-26
AU2012348348A1 (en) 2014-05-15
EP3258671B1 (en) 2018-09-05
US9215293B2 (en) 2015-12-15
US10841347B2 (en) 2020-11-17
KR20180091104A (ko) 2018-08-14
EP2771877A1 (en) 2014-09-03
CA3164530A1 (en) 2013-06-13
IL264777B (en) 2020-02-27
JP6110866B2 (ja) 2017-04-05
US20150032823A1 (en) 2015-01-29
EP3974041B1 (en) 2024-07-10
IL264777A (en) 2019-05-30
CN104011788A (zh) 2014-08-27
US20210044636A1 (en) 2021-02-11
JP2018129085A (ja) 2018-08-16
US20210400094A1 (en) 2021-12-23
CA3048647C (en) 2022-08-16
RU2621633C2 (ru) 2017-06-06
IL232281B (en) 2018-02-28
AU2023200357B2 (en) 2024-02-29
US20200053137A1 (en) 2020-02-13
BR112014010230A8 (pt) 2017-06-20
IL232281A0 (en) 2014-06-30
BR112014010230A2 (pt) 2017-06-13
US20200162526A1 (en) 2020-05-21
US10021149B2 (en) 2018-07-10
CA3164530C (en) 2023-09-19
JP2019215933A (ja) 2019-12-19
US20160359930A1 (en) 2016-12-08
CN104011788B (zh) 2016-11-16
JP6345282B2 (ja) 2018-06-20
US11082462B2 (en) 2021-08-03
US10587659B2 (en) 2020-03-10
US20190158549A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
CN106484115B (zh) 用于增强和虚拟现实的系统和方法
CN105188516B (zh) 用于增强和虚拟现实的系统与方法
NZ764226B2 (en) System and method for augmented and virtual reality
NZ732039A (en) System and method for augmented and virtual reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant