[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016532178A - ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法 - Google Patents

ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法 Download PDF

Info

Publication number
JP2016532178A
JP2016532178A JP2016518363A JP2016518363A JP2016532178A JP 2016532178 A JP2016532178 A JP 2016532178A JP 2016518363 A JP2016518363 A JP 2016518363A JP 2016518363 A JP2016518363 A JP 2016518363A JP 2016532178 A JP2016532178 A JP 2016532178A
Authority
JP
Japan
Prior art keywords
game
hmd
screen
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016518363A
Other languages
English (en)
Other versions
JP6195664B2 (ja
Inventor
オスマン、スティーヴン
マオ、シャドン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2016532178A publication Critical patent/JP2016532178A/ja
Application granted granted Critical
Publication of JP6195664B2 publication Critical patent/JP6195664B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【解決手段】ヘッドマウントディスプレイのスクリーン上に提示するゲームを実行するためのシステム及び方法は、ゲームを実行することを含む。ゲームの実行は、ゲームのインタラクティブなシーンをＨＭＤのスクリーン上にレンダリングする。ＨＭＤを着用しているユーザーの視線方向の変更を識別する画像が受信される。視線変更は、ＨＭＤスクリーン上に提示するインタラクティブなシーンの視認の間に検出される。ユーザーの視線方向と一致する現実世界の画像は、ＨＭＤの前方を向いたカメラから捕捉される。スクリーンの一部は、ゲームのインタラクティブなシーンをレンダリングするスクリーンの一部に現実世界の画像の少なくとも一部分が提示されるように、視線方向の変更に応答して非透過モードから半透過モードへと移行される。透過モードは、一定の期間後中断する。【選択図】図３Ｂ

Description

本発明は、ヘッドマウントディスプレイにおいて透明モードを変更する方法及びシステムに関する。
ビデオゲーム業界は、長年にわたり多くの変化を遂げてきた。コンピューターの処理能力の向上とともに、テレビゲームの開発者らも、このような処理能力の高度化を利用したゲームソフトウェアを開発してきた。このため、テレビゲームの開発者らは、非常にリアルなゲーム体験となるように高度な演算や数値演算を組み込んだゲームをコーディングしてきた。
数多くのゲームプラットホームが、ゲームコンソールの形態で開発され、販売されてきた。典型的なゲームコンソールは、モニター（通常、テレビ受像機）に接続し、ユーザーが、ハンドヘルドコントローラーを介して相互作用することができるように設計される。ゲームコンソールは、中央処理装置（ＣＰＵ）、重いグラフィック演算を処理するためのグラフィックスシンセサイザー、ジオメトリ変換を実施するためのベクトルユニット、及びグルーハードウェアと呼ばれるその他のハードウェア、ソフトウェア、及びファームウェアを含む専用の処理ハードウェアで設計されている。ゲームコンソールは、ゲームコンソールを介してローカルでプレイするためのゲームのコンパクトディスクを収容するための光学ディスクトレイを備えるようにさらに設計される。ゲームコンソールは、ユーザーが、インターネット上で他のユーザーと対戦して、または、他のユーザーと一緒にインタラクティブにプレイすることができるオンラインゲーム用にも設計されている。ゲームの複雑さがプレーヤーの興味を引き付けるように、ゲーム及びハードウェアの製造業者らは、新しい手法を取り入れてさらなるインタラクティビティとコンピュータープログラムとを可能にしようとしてきた。
コンピューターゲーム業界では、ユーザーとゲームシステムとの間のインタラクションを高めるゲーム及びゲームコントローラーを開発する傾向が広がっている。ゲームコントローラーは、ゲームシステムがプレーヤーの多様な動きをトラッキングし、この動きをゲームシステム上で実行されるゲームの入力として使用できるようにすることによってより質の高いインタラクティブな経験を可能にする特徴を含んでいる。
本発明の実施形態は、この状況においてなされたものである。
本発明の実施形態は、本明細書に記載するように、１つの透過モードから別のモードに移行するためのシステム及び方法を提供するものである。
大まかにいうと、本発明の様々な実施形態は、ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されるゲームを実行するためのシステム及び方法を開示する。ゲームが実行され、ゲームからのインタラクティブなシーンがヘッドマウントディスプレイのスクリーン上にレンダリングされる。ユーザーによって着用されているＨＭＤの画像が受信され、ＨＭＤの第１の空間位置を、ユーザーに向かうように方向付けられた捕捉場所と相対的に識別するために使用される。ユーザーによって保持されているコントローラーの画像が受信され、かつコントローラーの第２の空間場所を捕捉場所と相対的に識別するために使用される。コントローラーは、少なくとも部分的に実行中のゲームとの相互作用を推進するために入力を提供する。ＨＭＤのスクリーン上に提示されるインタラクティブなシーンを視認するユーザーの視線方向を識別する画像が受信される。ＨＭＤの前方向から捕捉される現実世界の画像も受信される。スクリーンの一部は、透過モードに移行され、透過モードはスクリーンの一部にレンダリングされたインタラクティブなシーンを現実世界の画像の少なくとも一部分によって置き換える。この透過モードは、一定の期間後中断するので、ユーザーは、継続的にゲームに完全に浸り込み、かつゲームプレイを完全に体験することができる。ユーザーがゲームに完全に浸り込んでいる非透過モードから、透過モードへの移行は、ユーザーのゲームプレイを妨げることなく、ユーザーが現実世界を覗き見るのを可能にする。この移行は、ユーザーがとても激しいゲームから段階的に現実世界に入っていくことも可能にする。
一実施形態では、ヘッドマウントディスプレイのスクリーン上に提示されるゲームを実行する方法が開示される。この方法は、ゲームを実行することを含む。ゲームの実行に応答して、ゲームのインタラクティブなシーンがＨＭＤのスクリーン上にレンダリングされる。ユーザーによって着用されているＨＭＤの画像が受信される。このＨＭＤの画像は、ＨＭＤの第１の空間位置を、ユーザーに向かうように方向付けられた捕捉場所と相対的に識別するために使用される。ユーザーによって保持されているコントローラーの画像が受信される。このコントローラーの画像は、コントローラーの第２の空間位置を、捕捉場所と相対的に識別するために使用される。コントローラーは、実行中のゲーム内の相互作用を少なくとも部分的に推進するために入力を提供する。ＨＭＤのスクリーン上に提示される、ゲームのインタラクティブなシーンを視認するユーザーの視線方向の変更を識別する画像が受信される。ユーザーの変更した視線方向と一致する現実世界の画像が受信される。現実世界の画像は、ＨＭＤの前方向から捕捉される。視線方向の変更の検出に応答して、スクリーンの一部は半透過モードに移行される。この移行は、捕捉された現実世界の画像の少なくとも一部を、インタラクティブなシーンをレンダリングするスクリーンの一部に提示させる。半透過モードは、一定の期間後中断する。
別の実施形態では、ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されるゲームを実行する方法が開示される。この方法は、ゲームを実行することを含む。ゲームの実行は、ゲームのインタラクティブなシーンをＨＭＤのスクリーン上にレンダリングする。ＨＭＤのスクリーン上に提示される、インタラクティブなシーンを視認しているとき、ＨＭＤを着用しているユーザーの視線方向の変更を識別する画像が受信される。ＨＭＤの前方を向いたカメラから捕捉された現実世界の画像が受信される。捕捉された現実世界の画像は、ユーザーの視線方向と一致する。スクリーンの一部は、捕捉された現実世界の画像の少なくとも一部分が、インタラクティブなシーンをレンダリングするスクリーンの一部に重ね合わせられるように、視線方向の変更に応答して非透過モードから半透過モードへと移行される。半透過モードは、一定の期間後中断する。
別の実施形態では、ヘッドマウントディスプレイのスクリーン上に提示されるゲームを実行する方法が開示される。この方法は、ゲームを実行することを含む。ゲームが実行されると、ゲームのインタラクティブなシーンは、ＨＭＤのスクリーン上にレンダリングされる。ゲームの実行の間にＨＭＤの近くの範囲内で発生するトリガーイベントが検出される。このトリガーイベントは、スクリーンの非透過モードから完全透過モードへの移行を生じさせる。この移行することには、スクリーンを完全透過モードへと切り換えるために、スクリーンの１つ以上の光学特性を調節することを含む。この完全透過モードは、ユーザーがＨＭＤの近くの現実世界の環境を、スクリーンを通して視認できるようにする。完全透過モードは、一定の期間後中断する。
本発明の他の態様は、本発明の実施形態の原理を例示する手段として図示する添付の図面を併用して、以下の課題を解決するための手段から明らかとなるであろう。
本発明の様々な実施形態は、添付の図面を併用して以下の記述を参照することによって、最も良好に理解される場合がある。
図１Ａ〜図１Ｄは、本発明のいくつかの実施形態による、ゲーム環境の異なるシステムアーキテクチャ構成を図示する。
図２Ａ〜図２Ｄは、本発明の実施形態による、ゲームプログラムとの相互作用で使用されるヘッドマウントディスプレイの構成要素を図示する。
図３Ａ〜図３Ｇは、いくつかの実施形態での、非透過モードから半透過または完全透過モードへの間の移行の実装を図示する。
図４Ａ〜図４Ｅは、本発明のいくつかの実施形態での、３次元空間での、及びヘッドマウントディスプレイ内の異なる移行領域での非透過モードから透過モードへの間の移行の実装を図示する。
図５は、本発明の実施形態による、ヘッドマウントディスプレイのスクリーン上に提示されるゲームを実行するための方法動作を図示する。
図６は、本発明の一実施形態での、ゲームモジュールの全体的なシステムアーキテクチャを図示する。 図７は、本発明の実施形態による、ゲームシステムのブロック図を図示する。
ヘッドマウントディスプレイ（ＨＭＤ）内で、非透過モードから半透過または完全透過モードへ移行するシステム及び方法が記載される。ゲームコンソールまたはゲームクラウド上で実行されるゲームは、ゲームのインタラクティブなシーンをＨＭＤのスクリーン上にレンダリングさせる。ゲームの実行の間に、トリガーイベントの発生が検出される。トリガーイベントの検出に応答して、ＨＭＤのスクリーンの一部、または全スクリーンのいずれかが、非透過モードから半透過または完全透過モードに移行される。この移行は、ＨＭＤの近くから捕捉される現実世界の画像の少なくとも一部分を、ＨＭＤスクリーンの一部にレンダリングされたインタラクティブなシーンと並んで提示できるようにする。またはユーザーがＨＭＤの近くからの現実世界の画像をスクリーンを通して視認できるようにする。
いくつかの実施形態では、半透過モードへ移行することは、インタラクティブなシーンを背景へとフェードインさせ、一方で現実世界の画像を前景にレンダリングさせることを含む。いくつかの実施形態では、この移行は、段階的な増分で行われてもよい。いくつかの実施形態では、この段階的な増分での移行は、ゲームの強度によって、線形的あってもまたは非線形的であってもよい。いくつかの実施形態では、完全透過モードへと移行することは、ＨＭＤスクリーンの一部にレンダリングするインタラクティブなシーンを、ＨＭＤの前を向いたカメラによって捕捉される現実世界の画像で置き換えることを含む。他の実施形態では、非透過モードから完全透過モードへの移行は、スクリーンを完全に透過的にするように、スクリーンの光学特性を調節することによって実現される。いくつかの実施形態では、イベントは、ＨＭＤを着用しているユーザーの視線方向の変化が検出されたときにトリガーされる場合がある。いくつかの他の実施形態では、イベントは、ユーザーがＨＭＤを使用してゲームをプレイしている部屋に人が入ってくるなどのように、ユーザーのすぐそばの現実世界環境で動きが検出されたとき、またはユーザーのすぐそばの現実世界環境内でＨＭＤによって音が検出されるとき、等々に、トリガーされる場合がある。いくつかの実施形態では、トリガーイベントは、ユーザーからの音声または動きによるコマンド、またはコントローラーもしくはＨＭＤから発せられるコマンドに応答する場合がある。
本開示に記載される様々な実施形態は、これらの具体的な詳細の一部または全てを用いずに実践される場合があることに留意するべきである。他の場合では、周知のプロセス動作は、本開示に記載される様々な実施形態を不必要に不明瞭にしないために、詳細には記載されない。
一実施形態では、システムは、コンピューター、ハンドヘルドコントローラー（ＨＨＣ）、及びヘッドマウントディスプレイ（ＨＭＤ）を含む。様々な実施形態では、コンピューターは、汎用コンピューター、専用コンピューター、ゲームコンソール、移動電話、タブレットデバイス、またはＨＭＤのディスプレイスクリーン上にレンダリングされたインタラクティブなプログラムの１つ以上の部分を実行するその他のかかるデバイスであってもよい。このインタラクティブなプログラムは、複数のユーザーによってプレイされるマルチユーザーゲームプログラムであっても、または１人のユーザーによってプレイされるシングルユーザーゲームプログラムであってもよい。いくつかの実施形態では、ゲームプログラムの少なくとも一部は、コンピューター上で実行される。かかる実施形態では、インタラクティブなプログラムの何らかの残りの部分は、ゲームクラウドシステム（例えば、１つ以上のバーチャルマシン（ＶＭ））上で実行される。いくつかの実施形態では、インタラクティブなプログラムのすべての部分がゲームクラウドシステム上で実行される。
ＨＭＤは、ユーザーの頭の上に直接、またはヘルメットの一部分として着用されるディスプレイデバイスである。ＨＭＤは、ユーザーの１つのまたはそれぞれの目の前に小さいディスプレイ光学機器を有する。いくつかの実施形態では、ＨＭＤは、コンピューター及び／またはゲームクラウドシステム上で実行されるプログラムからのビデオ出力を受信し、かつレンダリングする能力がある。ユーザーは、インタラクティブなプログラムに提供される１つ以上の入力を作り出すハンドヘルドコントローラー（ＨＨＣ）及び／またはＨＭＤを操作する。様々な実施形態では、ＨＨＣ及び／またはＨＭＤは、コンピューターとワイヤレスで通信する。これは、ＨＨＣ及び／またはＨＭＤが有線接続された場合より動きの自由度が高いためである。ＨＨＣは、インタラクティブなプログラムに入力を提供するために、ボタン、慣性センサー、トラッキング可能なＬＥＤライト、タッチスクリーン、入力コントロール付きジョイスティック、方向パッド、トリガー、タッチパッド、タッチスクリーンなどの様々な特徴のいずれかを含んでもよく、また手のジェスチャー、音声入力、または他のタイプの入力機構を検出及び解釈する回路／ロジックを有してもよい。さらに、ＨＨＣは、コントローラーを動かすことによってユーザーが、インタラクティブなプログラムとインターフェースをとること、及びインタラクティブなプログラムに入力を提供することができるようにする、モーションコントローラーであってもよい。
似たようなやり方で、ＨＭＤは、ＨＭＤを動かすことによってユーザーが、インタラクティブなプログラムとインターフェースをとること、及びインタラクティブなプログラムに入力を提供することができるようにする、ユーザー入力回路を含んでもよい。モーションコントローラー及び／またはＨＭＤの位置及び動きを検出するために、様々な技術が採用されてもよい。例えば、ＨＭＤのモーションコントローラー及び／またはユーザー入力回路は、加速度計、ジャイロスコープ、及び磁力計などの様々なタイプの慣性センサー回路を含んでもよい。いくつかの実施形態では、モーションコントローラーは、グローバルポジショニングシステム（ＧＰＳ）、コンパス、等々を含んでもよい。いくつかの実施形態では、加速度計は、６軸低遅延加速度計である。いくつかの実施形態では、モーションコントローラー及び／またはユーザー入力回路は、例えば、発光ダイオード（ＬＥＤ）、カラーポイント、光反射板、等々などの１つ以上の固定参照対象物（あるいは、「マーカーエレメント」という用語でも呼ばれる）を含むことができる。固定参照対象物の画像は、システムの１つ以上のデジタルカメラによって捕捉される。いくつかの実施形態では、デジタルカメラとしては、ビデオカメラが挙げられ、これにはさらに、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、及びハードウェアベースのリアルタイムデータ圧縮及びエンコード装置が挙げられ、これにより圧縮ビデオデータは、イントラ画像ベースのモーション・ピクチャー・エクスパート・グループ（ＭＰＥＧ）標準形式などの適切な形式で送信されてもよい。次いで、モーションコントローラー及び／またはＨＭＤの位置及び動きは、１つ以上のデジタルカメラによって捕捉された画像の解析を通して決定することができる。
図１Ａは、システム１００の例示的な構成の実施形態である。一実施形態では、システムは、インターネット１１０を通して通信するゲームクラウド１０２、ＨＭＤ１０４、及びＨＨＣ１０６を含む。一実施形態では、ＨＭＤ１０４は、インターネット１１０と通信するルーター（図示せず）を含む。いくつかの実施形態では、ゲームクラウド１０２は、本明細書ではゲームクラウドシステムと呼ばれている。ＨＭＤ１０４は、ユーザー１０８によって、ディスプレイスクリーン（複数可）が自身の目（複数可）の前にくるように、ユーザー１０８がヘルメットを着けるのと同様の要領で、自身の頭の上に定置される。ＨＨＣ１０６は、ユーザー１０６によって自身の手で保持されている。
様々な実施形態では、ＨＨＣ１０６の代わりに、ユーザー１０８の両手は、例えば、ハンドジェスチャー、フィンガージェスチャー、等々のジェスチャーを提供するために使用される場合がある。ジェスチャーは、ＨＭＤ１０４内のインタラクティブなプログラム及び／またはロジックによって解釈される場合がある。かかる実施形態では、ユーザーは、触覚的なフィードバックを提供するセンサー付きのインタラクティブな手袋を着用する場合がある。インタラクティブな手袋は、ユーザーが着用しているとき、ＨＨＣとして作用し、インタラクティブなプログラム及び／またはＨＭＤにインタラクティブなジェスチャー／行為の形態で入力を提供する。インタラクティブな手袋は、様々な動きを検出できるように、ＬＥＤ、光反射板、等々などの、マーカーエレメントを含む場合がある。インタラクティブな手袋は、ＨＭＤ及び／またはインタラクティブなプログラムに入力を提供するために使用されるウェアラブルデバイスの１つの形態であり、他の形態の着用できる衣類／デバイスも用いられてもよい。ＨＭＤ１０４のデジタルカメラ１０１は、ジェスチャーの画像を捕捉し、ＨＭＤ１０４内のプロセッサは、このジェスチャーを解析して、ＨＭＤ１０４内に表示されたゲームが影響を受けるかどうかを判定する。一実施形態では、カメラ１０１は、ＨＭＤ１０４のフェースプレート４０５上に前方に面して位置付けられた外部デジタルカメラである。いくつかの実施形態では、現実世界の画像の異なる角度を捕捉するために、ＨＭＤ１０４のフェースプレート上に２つ以上の外部デジタルカメラが提供される場合がある。いくつかの実施形態では、カメラは、ステレオカメラ、赤外線カメラ、単レンズカメラ、等々であってもよい。本明細書で使用される場合、プロセッサは、マイクロプロセッサ、プログラマブルロジックデバイス、特定用途向け集積回路、またはこれらの組合せであってもよい。
システム１００は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、またはこれらの組合せであってもよい、ネットワーク１１０を含む。ネットワーク１１０の実施例としては、インターネット、イントラネット、またはこれらの組合せが挙げられる。いくつかの実施形態では、ネットワーク１１０は、ゲームクラウド１０２とＨＭＤ１０４またはＨＨＣ１０６との間でネットワーク１１０を介してメディアデータを通信するために伝送制御プロトコル（ＴＣＰ）／インターネットプロトコル（ＩＰ）を使用する。実施形態は、ＴＣＰ／ＩＰプロトコルに制限されず、ネットワークを介してメディアデータを通信するための他の形態の通信プロトコルも用いることができる。様々な実施形態では、ネットワークは、イーサネット（登録商標）とＴＣＰ／ＩＰの組合せを、ゲームクラウド１０２とＨＭＤ１０４またはＨＨＣ１０６との間でネットワーク１１０を介してメディアデータを通信するためのプロトコルとして使用する。
ゲームクラウド１０２は、コーダー／デコーダー（コーデック）１１２及びストリームバッファ１１４を含む。ストリームバッファ１１４は、ゲームプログラム１１７の実行時に作り出されたメディアデータ１１６のストリームを保存する。メディアデータ１１６としては、バーチャル環境データ、バーチャルゲーム対象物データ、これらの組合せ、等々が挙げられる。バーチャル環境データは、ゲームのバーチャル環境を作り出すために使用され、バーチャルゲーム対象物データは、１つ以上のバーチャルゲーム対象物、例えば、バーチャルゲームキャラクター、バーチャルゲーム対象物、バーチャルポイント、バーチャルプライズ、ゲームインターフェース、等々を作り出すために使用される。ゲームプログラム１１７は、ゲームクラウド１０２の１つ以上のサーバーによって実行されるインタラクティブなプログラムの実施例である。コーデック１１２は、非可逆圧縮、可逆圧縮、等々を使用して、メディアデータをコード／デコードするための圧縮プログラム／圧縮解除プログラムを使用する。
ＨＭＤ１０４は、ＨＭＤ１０４のプロセッサによって実行されるオペレーティングシステム（ＯＳ）にアクセスするために使用される。例えば、ＨＭＤ１０４のボタンの選択及び起動は、ＨＭＤ１０４のプロセッサにＯＳを実行させることを可能にする。同様に、ＨＨＣ１０６は、ＨＨＣ１０６のプロセッサによって実行されるＯＳにアクセスするために使用される場合がある。ＨＨＣ１０６上のボタンは、ＨＨＣ１０６のプロセッサにＯＳを実行させるために使用される場合がある。
いくつかの実施形態では、ＯＳは、ＨＭＤ１０４がネットワーク１１０に直接アクセスすることができるようにする。例えば、ユーザーは、ＨＭＤ１０４のプロセッサによって、ＯＳ上で実行される、ネットワークアクセスアプリケーションをネットワークアクセスアイコン、ネットワークアクセスシンボル、等々を使用して選択する場合がある。ネットワークアクセスアプリケーションは、ネットワーク１１０にアクセスするために選択するネットワークのリストを提供する。ネットワーク１１０にアクセスするためには、ネットワークアクセスプロトコルに従って、ユーザー認証が要求される場合がある。選択され、（必要に応じて）ユーザー認証が正常に行なわれると、ユーザーはネットワーク１１０へアクセスできるようになる。ＨＭＤ１０４内のビルトインルーター（図示せず）は、ゲームデータを交換するために、ゲームクラウドと相互作用するようにネットワーク１１０を使用する。これらの実施形態では、ネットワーク１１０とＨＭＤ１０４との間の通信は、ワイヤレス通信プロトコルに従う。似たようなやり方で、ＨＨＣ１０６はネットワークアクセスアプリケーションを使用してネットワークを選択することによってネットワーク１１０へのアクセスを得、かつＨＨＣ１０６とネットワークとの間の通信はワイヤレス通信プロトコルに従う。
ネットワーク１１０が一旦アクセスされるようになると、ＯＳは、ネットワークの選択と同様な様式で、ＨＭＤ１０４がゲームプログラム１１７にアクセスできるようにする。例えば、ユーザー１０８が、ＯＳ上で、ＨＭＤ１０４のプロセッサによって実行されるゲームアクセスアプリケーションをゲームアクセスアイコン、ゲームアクセスシンボル、等々を通して選択するとき、ゲームアクセスアプリケーションは、ユーザー１０８に対して表示するために、ＨＭＤ１０４のプロセッサを介してゲームプログラム１１７へのアクセスを要求する。ゲームプログラム１１７へのアクセスを得ると、ＨＭＤ１０４のマイクロコントローラーは、ゲームをＨＭＤ１０４のディスプレイスクリーン上に表示する。いくつかの実施形態では、ＨＭＤ１０４のディスプレイスクリーンは、ＨＭＤ１０４が迅速に動いたときに不鮮明になるのを低減させるための、高性能スクリーンである。一実施形態では、ディスプレイスクリーンは、液晶ディスプレイ（ＬＣＤ）スクリーンである。ユーザー１０８は、例えば、頭を傾ける、ウインクする、凝視する、視線を変更する、じっと見つめる、等々の、１つ以上の頭及び／または目の動きを実施し、それぞれの頭または目の動きは、ユーザー入力回路が入力を作り出すのをトリガーする。入力はゲームをプレイするために使用されてもよい。これらの実施形態では、ゲームプログラム１１７をゲームクラウド１０２上で実行し、かつゲームプログラム１１７とＨＭＤ１０４との間の通信は、ビルトインルーター及びネットワーク１１０を通る。
いくつかの実施形態では、ゲームアクセスアプリケーションは、ゲームプログラム１１７にアクセスするために、ユーザー１０８から、ユーザー名及び／またはパスワードなどのユーザー認証情報を要求する。ゲームクラウド１０２から正常に認証を受けると、ゲームアクセスアプリケーションは、ユーザー１０８に対してゲームプログラム１１７へのアクセスを可能にする。
様々な実施形態では、ゲームアプリケーション／プログラムにアクセスする代わりに、ユーザー１０８は、ネットワーク１１０にアクセスすると、ウェブページへのアクセスを要求し、ウェブページは、ユーザー１０８がゲームプログラム１１７にアクセスできるようにする。例えば、ユーザー１０８は、ユーザー入力回路またはＨＨＣ１０６を介して、ウェブページにアクセスするためのウェブブラウザアプリケーションを選択する。ウェブページにアクセスすると、ユーザー１０８はウェブページ上に表示されたゲームをプレイするか、またはその中で提供されるリンクを使用してゲームにアクセスする。ゲームは、ゲームプログラム１１７がゲームクラウド１０２上で実行されるとき、レンダリングされる。いくつかの実施形態では、ゲームをプレイするためのウェブページへのアクセスを提供する前にユーザー認証が要求される場合があり、これはゲームプログラム１１７がゲームクラウド１０２上で実行されるとき、表示される。ユーザー名及び／またはパスワードは、上述のユーザー１０８がゲームアクセスアプリケーションを介してゲームにアクセスするときと同様の様式で認証される。
ゲームプログラム１１７にアクセスすると、コーデック１１２は、エンコードしたメディアデータのストリームをネットワーク１１０を介してＨＭＤ１０４に送るために、メディアデータ１１６のデジタルデータストリームをエンコード（例えば、圧縮、等々）する。いくつかの実施形態では、エンコードしたメディアデータのデジタルデータストリームは、ネットワーク１１０を介して送るためのパケットの形態をとる。
ＨＭＤ１０４は、選択されたゲームプログラムのエンコードしたメディアデータのデジタルデータストリームを、コーデック１１２からネットワーク１１０を介して受信し、このデジタルデータストリームは、処理（例えば、パケット解除、デコード、等々）され、処理されたストリームは、ＨＭＤ１０４のディスプレイスクリーン上にゲームを表示するために使用される。ゲームデータがＨＭＤ１０４のディスプレイスクリーン上に表示されるとき。ＨＭＤ１０４の外部カメラ１０１は、ＨＭＤにおけるトリガーイベントの検出に応答して、ユーザー１０８のすぐそばの現実世界環境の１つ以上の画像を捕捉する。いくつかの実施形態では、外部カメラ１０１は、ビデオカメラである。現実世界環境の実施例としては、ユーザー１０８がゲームにアクセスしている部屋、ユーザー１０８が位置付けられた地理的領域、ユーザー１０８の周囲の現実世界の対象物、等々が挙げられる。地理的領域の実施例としては、公園、道路、通り、湖、都市、ランドマーク、等々が挙げられる。現実世界の対象物の実施例としては、バスターミナル、コーヒーショップ、商店、オフィス、車両、部屋、机、テーブル、椅子、ボール、等々が挙げられる。現実世界環境データとしては、現実世界環境の１つ以上の画像が挙げられ、一実施形態では、これらの画像は処理され、ＨＭＤ内にローカルで保存され、かつこれに続くＨＭＤのスクリーン上へのレンダリングのために使用される。トリガーイベントなどのユーザー入力は、ＨＭＤ１０４によって処理、パケット化、及びエンコードされ、ビルトインルーター及びネットワーク１１０を通してゲームクラウド１０２内のコーデック１１２に送られてもよい。いくつかの実施形態では、ユーザー入力に加えて、現実世界環境データも、ＨＭＤ１０４によってパケット化及びエンコードされ、エンコードされた環境データのストリームとして、ＨＭＤ１０４のビルトインルーター、ネットワーク１１０を介してゲームクラウド１０２内のコーデック１１２へ送ってもよい。
ユーザー入力及び／または現実世界環境データを受信すると、ゲームプログラム１１７は、追加的なメディアデータのストリームを作り出すために、ゲームクラウド１０２の１つ以上のサーバーによってパケット化された、追加的なメディアデータを作り出す。追加的なメディアデータは、ＨＭＤ上にレンダリングされたバーチャルゲーム環境を更新するために使用される、バーチャルゲーム対象物（例えば、コンピューターで作り出された対象物、等々）の修正を含む、ゲームプレイに対する修正を含んでもよい。追加的なメディアデータのストリームは、ストリームバッファ１１４内に保存され、コーデック１１２によってエンコードされ、エンコードされた追加的なメディアデータのストリームとして、ネットワーク１１０を介してＨＭＤ１０４に送られる。ＨＭＤ１０４は、エンコードした追加的なメディアデータのストリームを受信し、このストリームをパケット解除し、追加的なメディアデータをＨＭＤ１０４のマイクロコントローラーに提供するために、エンコードした追加的なメディアデータをデコードする。ＨＭＤ１０４のマイクロコントローラーは、追加的なメディアデータに基づいて、ゲームプログラム１１７によって実行され、ＨＭＤのスクリーン上にレンダリングされた、ゲームのディスプレイを変化させる。
ユーザー入力は、ＨＭＤ１０４及び／またはＨＨＣ１０６を通して提供されてもよい。例えば、ユーザー１０８は、ＨＭＤ１０４内に提供される入力インターフェース／入力機構を使用して入力を提供してもよい。代替的に、ユーザー１０８は、ＨＨＣを使って、手の動き（例えば、ボタンの押圧、ジョイスティックの動き、ハンドジェスチャー、フィンガージェスチャー、これらの組合せ、等々）を実施してもよく、ＨＨＣ１０６で提供されるかかるユーザー入力は、ＨＭＤ１０４の通信回路に送るために、ＨＨＣ１０６の通信回路によって入力信号に変換された、入力データを作り出す。当然のことながら、ＨＨＣとしては、ハンドヘルドコントローラー、ジョイスティック、モーションコントローラー、ウェアラブル衣料品、ウェアラブルデバイス、等々が挙げられる。ＨＨＣ１０６及びＨＭＤ１０４を起源とする入力信号は、ＨＭＤ１０４の通信回路によってアナログ形態からデジタル形態に変換され、パケット化され、ＨＭＤ１０４によってエンコードされ、ネットワーク１１０を介してコーデック１１２へ送られる。ＨＭＤの通信回路の実施例としては、トランシーバー、送信／受信回路、ネットワークインターフェースコントローラー、等々が挙げられる。
いくつかの実施形態では、ゲームプログラム１１７は、ＨＭＤによって作り出された入力データを、ＨＨＣにおいて（例えば、手の動きに基づいて）作り出された入力データを用いてマッピングし、ＨＭＤ１０４上に表示されたゲーム状態を変化させるかどうかを判定する。例えば、ＨＭＤからの入力を、ＨＨＣ１０６上のボタンの押圧などのＨＨＣ１０６において作り出された入力とともにネットワーク１１０を介して受信したとき、ゲームプログラム１１６は、ゲーム状態を変化することを決定する。そうでなければ、ゲームプログラム１１７は、ゲーム状態を変化しないことを決定する。
手の動き及び／またはハンドヘルドコントローラーの動きに基づいて作り出された入力の入力データは、ＨＨＣ１０６の通信回路（例えば、トランシーバー、送信／受信回路、等々）によって、ＨＭＤ１０４の通信回路（例えば、トランシーバー、送信／受信回路、等々）に通信される。ＨＭＤに通信された入力データ及び／またはＨＭＤによって作り出された入力データは、ＨＭＤ１０４によってパケット化及びエンコードされ、エンコードした入力データのストリームとしてネットワーク１１０を介して、コーデック１１２に送られる。例えば、入力データは、ＨＭＤ１０４からビルトインルーターを使用して、ネットワーク１１０を介してゲームクラウド１０２へ直接送られてもよい。数多くの実施形態では、ユーザー１０８は、手の動きを実施し、ＨＭＤからユーザー入力を提供して、ＨＭＤにおいてレンダリングされる仮想対象物の場所及び／または配向を変化させる。
コーデック１１２は、ネットワーク１１０を介してＨＭＤ１０４から受信されたエンコードされた入力データのストリームをデコード（例えば、圧縮解除、等々）し、デコードされた入力データは、パケット解除するために、ストリームバッファ１１４内にバッファされ、ゲームプログラム１１７に送られる。ゲームクラウド１０２の１つ以上のサーバーは、デコードされた入力データのストリームをパケット解除して、入力データをゲームプログラム１１７に送信する。入力データを受信すると、ゲームプログラム１１７は、次のメディアデータを作り出し、これは次のメディアデータのストリームを作り出すために、ゲームクラウド１０２の１つ以上のサーバーによってパケット化される。次のメディアデータのストリームは、ストリームバッファ１１４内に保存され、コーデック１１２によってエンコードされ、エンコードした次のメディアデータのストリームとして、ネットワーク１１０を介してＨＭＤ１０４へ送られる。ＨＭＤ１０４は、エンコードされた次のメディアデータのストリームを受信し、このストリームをパケット解除し、エンコードされた次のメディアデータをデコードして、次のメディアデータをＨＭＤ１０４のマイクロコントローラーに提供する。ＨＭＤ１０４のマイクロコントローラーは、次のメディアデータに基づいて、ゲームプログラム１１７によって実行されるゲームのディスプレイを変化させる。例えば、マイクロコントローラーは、バーチャルゲーム対象物の見た目、位置、及び／または配向を変化させ、これは、現実世界環境の１つ以上の画像の上にオーバーレイされているか、または単純にＨＭＤ１０４のスクリーン上にレンダリングされているか、のいずれかである。
ＨＨＣ及び／またはＨＭＤにおいて作り出された入力データはゲーム状態を変化させることに留意するべきである。いくつかの実施形態では、ゲームのディスプレイは、本明細書ではゲームプログラム１１７に組み込まれたインタラクティブ性の一部と称される。
様々な実施形態では、手の動きに基づいて作り出された入力データを、ＨＨＣ１０６からＨＭＤ１０４に通信する代わりに、入力データを、ＨＨＣ１０６からネットワーク１１０を介して直接コーデック１１２に通信する。ＨＨＣ１０６において作り出された入力データは、ＨＨＣ１０６によって、ＨＭＤ１０４による通信と同様の様式で通信される。例えば、手の動きに基づいてＨＨＣ１０６から作り出された入力データは、ＨＨＣ１０６によってエンコード及びパケット化され、エンコードした入力データのストリームとしてネットワーク１１０を介してコーデック１１２に送られる。
図１Ａに図示される実施形態では、ＨＭＤ及びＨＨＣが、ゲームコンソールまたは外部ルーターを通過せずに、ネットワーク１１０と個別に直接通信していることに留意するべきである。代替的な実施形態では、ＨＨＣは、ＨＨＣにおいて作り出された入力データを送信するためにＨＭＤと通信してもよく、ＨＭＤは、ＨＨＣ及び／またはＨＭＤにおけるデータを、ネットワーク１１０に直接的に通信してもよい。これらの実施形態の両方では、メディアデータ１１６、追加的なメディアデータ、次のデータ、等々は、ゲームクラウド１０２のコーデック１１２によって、ネットワーク１０１及びビルトインルーターを介して、ＨＭＤ１０４のワイヤレスアクセスカード（ＷＡＣ）へと直接的に簡素化される。さらに、これらの実施形態では、データ（例えば、入力データ、現実世界環境データ、等々）は、ＨＭＤ１０４のＷＡＣによって、ビルトインルーター及びネットワーク１１０を介して、ゲームクラウド１０２のコーデック１１２へ直接的にストリーミングされる。ＨＭＤのビルトインルーターと連携するＷＡＣは、ストリーミングメディアデータ及び入力データを、ＨＭＤへ、及びＨＭＤから伝送することができる。
図１Ｂは、ＨＭＤ１０４またはＨＨＣ１０６とゲームクラウド１０２との間の、ネットワーク１１０及びルーター１５２を介したデータ転送のためのシステム１５０の実施形態の線図である。システム１５０は、システム１５０がＨＭＤ１０４とネットワーク１１０との間にルーター１５２を含むことを除いて、システム１００（図１Ａ）と同様である。ルーター１５２も、ＨＨＣ１０６とネットワーク１１０との間に位置付けられる。この実施形態では、ＨＭＤ１０４のＷＡＣは、ネットワーク１１０と通信するために、ルーター１５２とインターフェースする。
ＨＭＤ１０４は、ワイヤレス接続（例えば、ブルートゥース（登録商標）接続、またはＷｉ−Ｆｉ（登録商標）接続、等々）を介して、ルーター１５２に連結される。さらに、ＨＨＣ１０６は、ワイヤレス接続を介してルーター１５２に連結される。いくつかの実施形態では、ルーター１５２は、有線接続を介してネットワーク１１０に連結される。
図１Ｂに図示されるシステム１５０は、エンコードしたデータのストリームがＨＭＤ１０４またはＨＨＣ１０６からルーター１５２に送られることを除いて、システム１００（図１Ａ）と同様の様式で操作される。ルーター１５２は、ストリームをコーデック１１２に送るのを容易にするために、エンコードしたデータのストリームをネットワーク１１０内のパスにルーティングする（例えば、向ける、等々）。ルーター１５２は、エンコードしたデータのストリームをコーデック１１２にルーティングするために、コーデック１１２のＩＰアドレスを使用する。いくつかの実施形態では、ルーター１５２は、ネットワーク１１０のネットワークパスを、ネットワークトラフィックファクター（例えば、ネットワークパス上のパケットトラフィック、ネットワークパス上の輻輳、等々）に基づいて決定する。
ルーター１５２は、エンコードしたデータのストリームをゲームクラウド１０２からネットワーク１１０を介して受信し、エンコードしたデータのストリームをＨＭＤ１０４にルーティングする。例えば、ルーター１５２は、ゲームクラウド１０２からネットワーク１１０を介して受信した、エンコードしたデータのストリームを、ＨＭＤ１０４のＩＰアドレスに基づいて、ＨＭＤ１０４にルーティングする。システム１００及び１５０を使用するいくつかの実施形態では、ゲーム実行は、主としてゲームクラウド１０２上で発生する。いくつかの実施形態では、ゲームのある一部分を、ＨＭＤ１０４上で実行する場合があるが、残りの部分は、ゲームクラウド１０２上で実行する場合がある。
図１Ｃは、メディアデータを、直接的にまたはルーター１５２通して、のいずれかで、ネットワークに通信する目的でコンピューター１７２を使用するためのシステム１７０の実施形態の線図である。
いくつかの実施形態では、ワイヤレスネットワークのリストが、ユーザー選択のために、ＨＭＤ１０４のスクリーン上にレンダリングされる。代替的に、いくつかの他の実施形態では、ワイヤレスネットワークのリストが、コンピューター１７２に付随するディスプレイスクリーン上に提示される。例えば、コンピューター１７２が移動電話であるときには、移動電話は、ワイヤレスネットワークのリストを表示するディスプレイスクリーンを含む。別の例としては、コンピューター１７２がテレビ受像機のディスプレイスクリーンに連結されているとき、ワイヤレスネットワークのリストは、テレビ受像機のディスプレイスクリーン上に表示される。これらの実施形態では、ワイヤレスネットワークのリストは、コンピューター１７２のプロセッサが、コンピューター１７２のメモリデバイス内に保存されているワイヤレスアクセスアプリケーションを実行するときにアクセスされる。プロセッサ１７６は、ユーザー１０８が、ＨＭＤ１０４またはＨＨＣ１０６を介して、頭の動き及び／または手の動きを実施することによって、入力データを作り出すときに、ワイヤレスアクセスアプリケーションを実行する。頭の動き及び／または手の動きに基づいて作り出された入力データは、ＨＭＤ１０４またはＨＨＣ１０６の通信回路からコンピューター１７２へ送られる。コンピューター１７２のプロセッサが入力データを受信するとき、ワイヤレスネットワークのリストを作り出すために、ワイヤレスアクセスアプリケーションが実行される。
コンピューター１７２は、ゲームクラウド１０２からゲームプログラム１１７の一部を要求する、ネットワークインターフェースコントローラー（ＮＩＣ）１７４を含む。ＮＩＣの実施例としては、ネットワークインターフェースカード及びネットワークアダプターが挙げられる。ゲームプログラム１１７の一部は、コーデック１１２によってエンコードされ、かつネットワーク１１０を介してコンピューター１７２のＮＩＣ１７４にストリーミングされる。コンピューター１７２のプロセッサ１７６は、コンピューター１７２の、通信回路１７８（例えば、トランシーバー、送信／受信回路、ネットワークインターフェースコントローラー、等々）から、ＨＭＤ１０４のディスプレイスクリーン上に表示するために、ＨＭＤ１０４へ送られる、メディアデータを作り出すために、ゲームプログラム１１７の一部を実行する。ＨＭＤ１０４の通信回路は、メディアデータをコンピューター１７２から受信し、このメディアデータを処理し、かつＨＭＤ１０４のディスプレイスクリーン上に表示するために、このメディアデータをＨＭＤ１０４のマイクロコントローラーに送る。
さらに、コンピューター１７２の通信回路１７８は、ＨＭＤ１０４からの頭の動き、及び／またはＨＨＣ１０６からの手の動きに基づいて作り出された入力データを受信し、入力データをプロセッサ１７６に送る。一実施形態では、入力データは、ＨＭＤ１０４の通信回路から受信される現実世界環境データであってもよい。プロセッサ１７６は、通信回路１７８からＨＭＤ１０４の通信回路へ送られる、追加的なメディアデータを作り出すために、コンピューター１７２の中に保存されたゲームプログラム１１７の一部を実行する。追加的なメディアデータを受信する前または後に、ゲームプレイの一部分として頭の動き及び／または手の動きを使用して作り出された、ＨＨＤ１０４及び／またはＨＨＣ１０６からの入力データは、ＨＭＤ１０４の通信回路によって、通信回路１７８を介してプロセッサ１７６に送られる。入力データに応答して、プロセッサ１７６は、通信回路１７８からＨＭＤ１０４の通信回路へ送られる、次のメディアデータを作り出すためにコンピューター１７２内に保存された、ゲームプログラム１１７の一部を実行する。次のメディアデータは、ゲームプログラム１１７の実行によって表示されるゲームのバーチャルゲーム対象物及び／またはバーチャル環境を変化／更新することを含む、ゲームプレイの変化のために、ＨＭＤ１０４の通信回路へ送られる。ゲーム対象物（例えば、現実世界の対象物、バーチャルゲーム対象物、等々）、及び／またはバーチャル環境が変化するとき、ゲームプログラム１１７の実行によって表示されるゲームのゲーム状態は変化する。
いくつかの実施形態では、ゲームクラウドの１つ以上のサーバーに現在のゲーム状態を通知するために、ゲーム状態が、コンピューター１７２のＮＩＣ１７４によって、ルーター１５２及びネットワーク１１０を介して、ゲームクラウド１０２に送られる。
様々な実施形態では、メディアデータ１１６、追加的なメディアデータ、次のメディアデータ、等々は、当初は、ゲームプログラム１１７の一部がゲームクラウド１０２からコンピューター１７２にダウンロードされるまで、コーデック１１２から、ネットワーク１１０及びルーター１５２を介してＨＭＤ１０４へ送られる。例えば、当初は、ユーザー１０８は、ゲームプログラム１１７にアクセスするために、ゲームアクセスアプリケーションを使用する。ゲームプログラム１１７にアクセスすると、メディアデータ１１６、追加的なメディアデータ、次のメディアデータ、等々は、ＨＭＤ１０４のディスプレイスクリーン上に表示するために、コーデック１１２から、ネットワーク１１０及びルーター１５２を介して、ＨＭＤ１０４へ送られる。ＨＭＤ１０４上に表示するためにゲームクラウド１０２からメディアデータにアクセスしている時間の間に、コンピューター１７２のＮＩＣ１７４は、ゲームクラウド１０２からゲームプログラム１１７の一部をネットワーク１１０及びルーター１５２を介してダウンロードする。
いくつかの実施形態では、ゲームプログラム１１７がコンピューター１７２によってアクセスされる場合、コンピューターがダウンロードするためにゲームクラウド上のゲームプログラムにアクセスしている間、コンピューター１７２をバイパスして、メディアデータ（例えば、メディアデータ１１６）、追加的なメディアデータ、次のメディアデータ、等々を、ＨＭＤ１０４のディスプレイスクリーン上に表示するために、コーデック１１２からネットワーク１１０を介してＨＭＤ１０４へ直接送る。受信されたメディアデータは、ＨＭＤ１０４のディスプレイ上にレンダリングされる。その間、コンピューター１７２のＮＩＣ１７４は、ゲームプログラム１１７の一部を、ゲームクラウド１０２からネットワーク１１０及びルーター１５２を介してダウンロードする。
数多くの実施形態では、頭の動き及び／または手の動きに基づいて作り出された入力データの一部、及び／または現実世界環境データの一部は、ＨＭＤ１０４から、ルーター１５２及びネットワーク１１０を介してゲームクラウド１０２のコーデック１１２へ送られ、一方で、入力データの残りの部分、及び／または現実世界環境データの残りの部分は、ＨＭＤ１０４の通信回路からコンピューター１７２の通信回路１７８へ送られる。
様々な実施形態では、手の動きに基づいて作り出された入力データの一部は、ＨＨＣ１０６の通信回路から、ルーター１５２及びネットワーク１１０を介してゲームクラウド１０２のコーデック１１２に送られ、入力データの残りの部分は、ＨＨＣ１０６の通信回路から、ＨＭＤを通してかまたは直接のどちらかで、コンピューター１７２の通信回路１７８へ送られる。
様々な実施形態では、コンピューター／ＨＭＤ／ＨＨＣから受信されたユーザー入力を使用してゲームプログラム１１７を実行することによって作り出された、メディアデータ（例えば、メディアデータ１１６、追加的なメディアデータ、次のメディアデータ、等々）は、ゲームプレイの一部としてＨＭＤ１０４のディスプレイスクリーン上にレンダリングするために、ゲームクラウド１０２のコーデック１１２から、ネットワーク１１０及びルーター１５２を介してＨＭＤ１０４に送られ、コンピューター１７２のプロセッサ１７６によるゲームプログラム１１７の一部の実行によって作り出されたメディアデータは、ディスプレイスクリーン上に表示するために、コンピューター１７２の通信回路１７８から、ＨＭＤ１０４へ送られる。これらの実施形態では、ゲームクラウド１０２及びコンピューター１７２は、同期したゲーム状態である。例えば、コーデック１１２は、ゲームプログラム１１７を実行することによって作り出されたゲーム状態を、コンピューター１７２にゲーム状態を通知するために、ネットワーク１１０及びルーター１５２を介してコンピューター１７２のＮＩＣ１７４に送る。別の実施例としては、コンピューター１７２のＮＩＣ１７４は、コンピューター１７２上でのゲームプログラム１１７の一部の実行によって作り出されたゲーム状態を、１つ以上のゲームクラウドサーバーにゲーム状態を通知するために、ルーター１５２及びネットワーク１１０を介してゲームクラウド１０２のコーデック１１２に送る。ゲームクラウド１０２のコーデック１１２とコンピューターのＮＩＣとの間の通信は、両方の側でゲーム状態を同期した状態に保つために定期的に行われる。
いくつかの実施形態では、ゲームプログラム１１７を実行することによって作り出され、かつゲームクラウド１０２のコーデック１１２からＨＭＤ１０４に送られた、メディアデータ（例えば、メディアデータ１１６、追加的なメディアデータ、次のメディアデータ、等々）は、コンピューター１７２のプロセッサ１７６によって作り出されたメディアデータより大量のグラフィックを有する。明らかなように、いくつかの実施形態では、メディアデータがゲームクラウド１０２のコーデック１１２からネットワーク１１０を介してＨＭＤ１０４に直接的に送られる場合、コンピューター１７２はバイパスされる。
図１Ｄは、コンピューター１７２及びルーター１５２を使用して、ＨＭＤが、コーデック１１２へ／コーデック１１２から入力データ及び／またはメディアデータを通信するシステム構成を図示する。システム１９０の構成は、図１Ｃを参照して記載されたシステム１７０の構成と同様である。システム１９０は、ルーター１５２及びインターネット１１０を通してゲームクラウド１０２に通信可能に接続され、ゲームプログラム及びゲームに関連するデータの部分を得るように構成されたコンピューター１７２を含む。コンピューターは、入力データを得るために、ＨＭＤ１０４及びＨＨＣ１０６にも通信可能に接続される。
いくつかの実施形態では、コンピューター１７２のプロセッサは、ネットワーク１１０にアクセスするために、コンピューター１７２のメモリデバイス内に保存されているワイヤレスアクセスアプリケーションを実行する。いくつかの実施形態では、ワイヤレスアクセスアプリケーションは、ＨＭＤ１０４またはＨＨＣ１０６を介してユーザーから受信される入力データに応答して実行される。入力データには、頭の動き及び／または手の動きを含んでもよい。コンピューター１７２のプロセッサが、ＨＭＤまたはＨＨＣが作り出した入力データを受信するとき、ワイヤレスアクセスアプリケーションは、ネットワーク１１０にアクセスするためのネットワークをここから選択する、利用可能なワイヤレスネットワークのリストを作り出す。
コンピューター１７２は、ゲームクラウド１０２からゲームプログラム１１７の一部を要求するネットワークインターフェースコントローラー（ＮＩＣ）１７４を含み、これに応じて、コーデック１１２によってエンコードされたゲームプログラム１１７の一部１１７−ｂは、ネットワーク１１０を介してコンピューター１７２のＮＩＣ１７４へストリーミングされる。いくつかの実施形態では、ゲームクラウドはゲームデータベース１３１を含み、このゲームデータベースからゲームプログラム１１７がコンピューター１７２へ読み出され、かつダウンロードされる。いくつかの実施形態では、ゲームプログラム１１７の一部１１７−ａは、ゲームデータベース１３１からゲームサーバー１０２上へダウンロードされ、ゲームプログラム１１７の残りの部分である１１７−ｂは、コンピューター１７２にダウンロードされる。いくつかの実施形態では、コンピューター１７２にダウンロードされた一部１１７−ｂがゲーム全体である。コンピューター１７２のプロセッサ１７６は、ゲームプログラム１１７の一部１１７−ｂを実行して、メディアデータ、追加的なメディアデータ、及び次のメディアデータ（集合的に「メディアデータ」と称される）を作り出す。このメディアデータは、ＨＭＤ１０４のディスプレイスクリーン上に表示するために、コンピューター１７２の通信回路１７８、ネットワークインターフェースコントローラー、等々から、ＨＭＤ１０４へ送られる。
追加的なメディアデータ及び次のメディアデータは、ＨＭＤ１０４から受信される頭の動き／他のユーザー入力、手の動き、等々、を含む入力データに応答して提供される場合がある。頭の動き及び／または手の動きに加えて、一実施形態では、入力データは、ＨＭＤ１０４の外面に配置される外部カメラ１０１によって捕捉され、かつＨＭＤ１０４の通信回路によって送信される現実世界環境データも含む場合がある。いくつかの他の実施形態では、外部カメラ１０１で捕捉された現実世界環境データは、ＨＭＤ内でローカルで保存され、ＨＭＤのスクリーン上にレンダリングするために使用される。追加的なメディアデータは、バーチャルゲームシーンをＨＭＤ上にレンダリングするための、バーチャル環境に関連したデータを提供し、次のメディアデータは、ゲームプレイの間にバーチャルゲームシーンの中に表示される、バーチャルゲーム対象物及び／またはバーチャル環境に対する変化を提供する。ＨＭＤ１０４の通信回路は、コンピューター１７２からメディアデータをメディアストリームとして受信し、このメディアデータを、解釈し、かつＨＭＤ１０４のディスプレイスクリーン上に表示するために、ＨＭＤ１０４のマイクロコントローラーに送る。ゲーム対象物（例えば、リアルゲーム対象物、バーチャルゲーム対象物、等々）及び／またはバーチャル環境が変化すると、ゲームプログラム１１７の実行によって表示されたゲームの、ゲーム状態が変化する。
前述のように、いくつかの実施形態では、コンピューター１７２のＮＩＣ１７４によって、ゲーム状態がルーター１５２及びネットワーク１１０を介してゲームクラウド１０２に送られ、ゲームクラウド１０２の１つ以上のサーバーにゲーム状態を通知し、ゲーム状態をコンピューター１７２上のゲーム状態と同期する。これらの実施形態では、ほとんどのゲーム実行は、コンピューター１７２上で発生する。
いくつかの実施形態では、ゲームプログラム１１７をコンピューター１７２にダウンロードしている間、ゲームプログラム１１７の一部１１７−ａは、ゲームクラウド１０２上で実行される。それに応じて、ゲームプログラム１１７の一部１１７−ｂがゲームクラウド１０２からコンピューター１７２にダウンロードされるまで、ＨＭＤ上にレンダリングするために、ゲームクラウド１０２上のゲームプログラム１１７の一部１１７−ａの実行に関連付けられたメディアデータが、コーデック１１２からネットワーク１１０及びルーター１５２を介してＨＭＤ１０４へ直接送られる。一実施形態では、ゲームプログラム１１７の一部１１７−ｂは、ダウンロードされ、かつコンピューター１７２のローカルストレージ１１３に保存され、プロセッサ１７６によって実行される。一部１１７−ｂがダウンロードされると、コンピューター１７２のプロセッサ１７６はゲーム部１１７−ｂの実行を開始し、ゲームプログラム１１７の一部１１７−ｂのためにメディアデータが、コンピューター１７２からＨＭＤ１０４へ送信されることになる。いくつかの実施形態では、ゲームプログラムのためのすべてのメディアデータは、レンダリングのために、コンピューター１７２からＨＭＤ１０４へ直接送信される。コンピューター１７２は、ゲームクラウド１０２上のゲームプログラムのゲーム状態をコンピューター１７２上のゲーム状態と同期するために、メディアデータをゲームクラウド１０２に定期的に送信してもよい。
数多くの実施形態では、頭の動き及び／または手の動きに基づく入力データの一部は、コンピューター１７２に接続された監視カメラ１７１によって、捕捉される。いくつかの実施形態では、監視カメラ１７１とコンピューター１７２との間の接続は、有線接続であってもよい。他の実施形態では、監視カメラ１７１とコンピューター１７２との間の接続は、ワイヤレス接続であってもよい。いくつかの実施形態では、監視カメラ１７１は、ステレオカメラ、赤外線カメラ、またはモノカメラのうちのいずれか１つまたはこれらの組合せであってもよい。いくつかの実施形態では、監視カメラ１７１は、ビデオカメラまたは静止画カメラのうちの１つである。監視カメラ１７１によって、捕捉される画像は、ＨＭＤ及びＨＨＣの場所及び動きを判定するために使用されてもよい。例えば、監視カメラ１７１の画像は、ＨＭＤに対する位置Ａの座標（Ｘａ、Ｙａ、Ｚａ）及びＨＨＣに対する位置Ｂの座標（Ｘｂ、Ｙｂ、Ｚｂ）を識別するために使用されてもよい。座標平面の座標に加えて、監視カメラの画像は、ＨＭＤ及びＨＨＣに対する６軸データを作り出すために、ピッチ、ヨー、及びロールを特定するために使用されてもよい。いくつかの実施形態では、ＨＭＤ及びＨＨＣにおいて作り出された頭及び／または手の動きが、監視カメラ１７１によって捕捉され、ＨＭＤ１０４のマイクロコントローラーに６軸データとして送信される。ＨＭＤ１０４及び／またはＨＨＣ１０６からの６軸データは、入力データを作り出すために解釈される。解釈された入力データは、ゲームプログラムの成果に影響を与えるために、ＨＭＤ１０４からコンピューター１７２へ送信される。いくつかの実施形態では、監視カメラ１７１で捕捉される頭及び／または手の動きは、プロセッサ１７６に直接的に送信され、このプロセッサで６軸データを作り出すために解釈される。監視カメラ１７１は、ユーザーの動き（頭及び／または手）を監視し、この情報は、ゲーム状態の変化に影響を与えるように、ゲームプログラムにフィードバックを提供するために使用される。この実施形態では、ゲームプログラム１１７に関する任意の他の入力データは、ＨＭＤ１０４によって、プロセッサに送信され、プロセッサ１７６は、６軸データを用いて、もう一方の入力データを解釈し、このゲームのゲーム状態を変更する必要があるかどうかを判断する。この解釈に基づいて、このゲームのゲーム状態は変えられる。いくつかの実施形態では、ＨＭＤ１０４からの入力データは、外部カメラ１０１によって捕捉された現実世界環境データを含み、かつこれは、ＨＭＤ１０４の通信回路からコンピューター１７２の通信回路１７８に送られる。現実世界環境データは、ＨＭＤ１０４のスクリーンのある特定の場所にレンダリングされたバーチャルゲームシーンに影響を与えるために使用される場合がある。
いくつかの実施形態では、ＨＭＤ１０４は、有線接続を使用してコンピューター１７２に通信可能に接続される。かかる実施形態では、ＨＭＤは、ＨＭＤ１０４のスクリーン上にレンダリングされたバーチャルゲームシーンを休止するために、有線接続の切れ目を検出するように構成される。ＨＭＤは、通信接続の切れ目を検出し、適宜に信号を作り出し、信号をコンピューター１７２に中継して、コンピューター１７２にゲームプログラムの実行を休止させ、ゲームに対するセッションのためにゲーム状態及びゲームシーンを保存する。通信接続、接続の状態の切れ目の間には、コンピューター１７２と通信するための電力を提供するために、ＨＭＤのバッテリーからの電力を使用してもよい。ゲームプログラムの実行は、有線接続が復旧して、コンピューター１７２がＨＭＤ１０４から信号を受けるとすぐに再開する場合がある。いくつかの実施形態では、ＨＭＤとコンピューター１７２との間の接続が回復すると、コンピューター１７２は、分断した時点からゲームシーンのストリーミングを開始する場合がある。別の実施形態では、コンピューター１７２は、接続の分断によって生じた休止の前の時点（例えば、休止の数百フレーム前）からゲームシーンのストリーミングを開始する場合があり、これによってユーザーは、ゲームに浸り込む時間を得られる場合がある。この実施形態では、コンピューター１７２は、ユーザーがゲームの部分を再実行することができるようにする場合があり、ユーザーをゲームに引き込むことができる。ＨＨＣとＨＭＤとの間の通信、及びＨＨＣとコンピューター１７２との間の通信は、ワイヤレス通信プロトコルに従う場合がある。
いくつかの実施形態では、ＨＭＤ１０４は、ユーザーの目の動きの変化を検出する１つ以上の内蔵カメラ１０３を含む場合がある。内蔵カメラ１０３は、ゲームへのアクセスを提供する前にユーザーを識別／認証するためにも使用される場合がある。
ゲーム環境に関して詳細な記述が提供されるが、コンピューターシステムとのインタラクティブな通信の間にインターフェース接続も行うことができることが想定される。コンピューターシステムは、グラフィックユーザーインターフェース付きの一般的なコンピューターとすることができ、これは、ユーザー１０８が、アイコン、エントリー、選択、テキスト、及びその他のコマンドを制御するジェスチャーを空間内で提示及び作成することを可能にする。
図２Ａ〜図２Ｄは、ヘッドマウントディスプレイ（ＨＭＤ）１０４の、様々な外見及び態様を描いたブロック図を図示する。ＨＭＤは、メディアデータに関連するプログラムをゲームクラウド１０２及び／またはコンピューターへ通信する／ゲームクラウド１０２及び／またはコンピューターから通信するために使用される。ＨＭＤ１０４は、ゲームプログラム１１７のためにコンピューター生成画像（すなわち、バーチャル画像）を表示するように構成され、このゲームプログラムは部分的にもしくは完全にコンピューター１７２上で実行、及び／またはＨＭＤで受信したメディアデータをデコードすることによって、部分的にもしくは完全にゲームクラウド上で実行している。ＨＭＤは、ＨＭＤで作り出した、または受信したメディアデータを、実行しているゲームプログラムを更新するために、コンピューター及び／またはゲームクラウドに送信する前にコーディングするようにも構成される。ＨＭＤは、ユーザーの目線から捕捉される現実世界環境画像も表示するようにも構成される。
図２Ａは、入力データを作り出すため、ならびにゲームシーン及び現実世界環境シーンをレンダリングするために使用される、例示的なＨＭＤ１０４を図示する。示されるように、ＨＭＤ１０４は、ユーザー１０８によって着用されている。ＨＭＤ１０４は、ＨＭＤのビジュアルトラッキングを補助する、１つ以上のマーカーエレメントを含む。同様に、ＨＨＣ１０６（図示せず）は、ＨＭＤ上に提供されるマーカーエレメントと同様の、１つ以上のマーカーエレメントを含む。それぞれのマーカーエレメントは、発光ダイオード２１４、赤外線ライト２１０、色、反射性材料、画像解析を介して容易に認識される特別な特徴または特性を有する対象物、等々であってもよい。例えば、トラッキングを容易にするために、球状の対象物２１２がＨＭＤに追加される場合がある。加えて、球状の対象物２１２は、ＬＥＤライト、赤外線ライト、または任意の他のタイプの照明を用いて照明もされてもよい。加えて、ＨＭＤ１０４は、特有の幾何学的形状の反射区域、特有の色を有する区域（例えば、ブルーの三角形、等々）、またはマーキング（例えば、ＨＭＤの表面上の３本の平行線）などの、特別なビジュアルマーカー（図示せず）も含んでもよい。
いくつかの実施形態では、ＨＭＤは、それぞれの光またはビジュアルマーカーを検出することによってＨＭＤの場所をさらにビジュアルでトラッキングするための、ＨＭＤの側面上及び／または背面（すなわち、頭の後ろ側に接触するＨＭＤの部分）上の追加的なマーカーエレメントも含む。
異なるタイプの外部カメラを用いた、ＨＭＤのビジュアルトラッキングが可能である場合がある。いくつかの実施形態では、こうしたカメラは、監視カメラ１７１（図１Ｄ）である。一実施形態では、ＨＭＤは、ステレオカメラ４０２を用いてトラッキングされる。ステレオカメラは、２つ以上のレンズを含み、それぞれのレンズに対して別個の画像センサーを有するカメラである。別個の画像センサーは、ステレオカメラによって、奥行きの錯視を提供する対象物の３次元画像を捕捉することを可能にする。ステレオカメラの光学系は、一実施形態では、立体視的画像を提供するために、光学的な無限（例えば、約９メートル）に設定されるように設計される。カメラの異なるレンズによって捕捉されたＨＭＤのマーカーエレメントの画像は、三角測量解析を使用して比較され、ＨＭＤの場所を３次元空間内で決定する（例えば、プレイのフィールド内の奥行の計算）。
別の実施形態では、ＨＭＤ上に提供された赤外線ライト２１０を解析するために、赤外線（ＩＲ）カメラ４０４が使用されてもよい。赤外線ライトは、人間の目には不可視だが、赤外線カメラによれば容易に検出することができる。ＨＭＤは、ＨＭＤの外見を損なうのを避けるために、赤外線ライトを含む場合がある。いくつかの環境（例えば、暗い光、または明るい光）では、ＨＭＤにおける場所、形状、及びまたは特徴を検出するために、赤外線ライトをトラッキングすることは、他のタイプの光をトラッキングすることより容易である。赤外線（ＩＲ）カメラは、ＨＭＤなどのトラッキング対象物の画像化及び熱画像化を向上させる。赤外線カメラは、ユーザーの視線方向を検出するための内蔵カメラとしても使用される場合がある。
さらに別の実施形態では、ビジュアルトラッキングのために構成されたＨＭＤ内の光または他のマーカーエレメントをトラッキングするために、普通のカメラ４０５（１枚のレンズのみを有するので本明細書ではモノカメラとも称されている）が使用される。普通のカメラを用いてＨＭＤの奥行をプレイのフィールド内で特定するために、ＨＭＤ上のいくつかの特徴部のサイズが解析される。特徴部のサイズが小さいほど、この特徴部がＨＭＤのカメラから遠く離れていることが想定される。加えて、ビジュアルトラッキングは、慣性運動トラッキング、デッドレコニング、ＨＭＤとコンピューティングデバイスとの間の超音波通信、等々などの他のタイプのトラッキングとも組み合わされてもよい。
デジタルカメラ４０２はＨＭＤ１０４の画像を捕捉する。ユーザー１０８の頭が傾く、または動くと、マーカーエレメントの位置及び場所は座標系内で変化する。デジタルカメラは、マーカーエレメントの画像を捕捉し、この画像をコンピューター１７２に送る。マーカーエレメントの画像は、入力データの実施例である。３次元空間（Ｘ、Ｙ、Ｚ）内でのＨＭＤ１０４の位置を、コンピューター１７２のプロセッサ１７６によって、画像内のマーカーエレメントの位置に基づいて特定することができる。さらに、ＨＭＤ１０４の慣性運動（例えば、ヨー、ピッチ、及びロール、等々）は、コンピューター１７２のプロセッサ１７６によって、マーカーエレメントの動きに基づいて特定される。コンピューター１７２が利用できない場合には、デジタルカメラからのマーカーエレメントの画像は、ＨＭＤ１０４のプロセッサに送られ、ＨＭＤのプロセッサがマーカーエレメントの座標を使用してＨＭＤの位置を特定することになる。
いくつかの実施形態では、デジタルカメラ４０２は、ＨＨＣ１０６の画像を捕捉する。ユーザー１０８の手が傾く、または動くと、ＨＨＣ上のマーカーエレメントの位置及び場所は座標系内で変化する。デジタルカメラは、ＨＨＣ上のマーカーエレメントの画像を捕捉して、この画像をコンピューター１７２またはＨＭＤ１０４のプロセッサに送る。ＨＨＣ上のマーカーエレメントの画像は、入力データの実施例である。３次元空間（Ｘ、Ｙ、Ｚ）内でのＨＨＣ１０６の位置は、コンピューター１７２のプロセッサ１７６によって、またはＨＭＤ１０４のプロセッサによって、画像内のＨＨＣ上のマーカーエレメントの位置を解析して特定することができる。さらに、ＨＭＤ１０４の慣性運動（例えば、ヨー、ピッチ、及びロール、等々）は、コンピューター１７２のプロセッサ１７６、またはＨＭＤ１０４のプロセッサによって、ＨＨＣのマーカーエレメントの動きに基づいて特定される。
いくつかの実施形態では、ＨＨＣ１０６の代わりに、ユーザー１０８の手がデジタルカメラによってトラッキングされてもよく、トラッキングされたデータは、３次元空間内での手の位置、及び手の慣性運動を特定するために使用されてもよい。いくつかの実施形態では、ＨＨＣ１０６の代わりにインタラクティブな手袋が使用されてもよい。手袋は、手袋を着用しているユーザーの手の様々な部分の動きをトラッキング及び解釈するためにマーカーエレメントを含んでもよい。
マーキングした対象物を追うための方法に関するさらなる情報については、２０１１年８月１５日出願、２０１２年３月２２日公開の米国特許出願公開第２０１２−００７２１１９号、及び２００８年１０月２７日出願、２０１０年４月２９日公開の米国特許出願公開第２０１０−０１０５４７５号（両者とも参照により本明細書に組み込まれる）を参照してもよい。
示されるように、一対以上のステレオカメラ４０２、１つ以上の赤外線カメラ４０４及び／もしくは１つ以上のモノカメラ４０５、またはこれらの組合せ、ならびに入力データを提供するために使用されるウェアラブル物品／デバイスを着用しているユーザーの手を含むコントローラーが、ＨＭＤの相対位置、及びユーザーの頭の動きによって提供されるＨＭＤの動きを特定するために使用されてもよい。
ＨＭＤは、ユーザーに関する画像を捕捉するために、内側に設置された１つ以上の内蔵カメラも装備し、ユーザーに特化した及び環境に特化したデータをＨＭＤに提供するために、この画像を通信モジュールに供給してもよい。内蔵カメラ（複数可）は、ＨＭＤを着用しているユーザーを識別する使用される場合があり、これは、ユーザーのユーザープロファイルを得るために使用することができる。それに応じて、内蔵カメラは、網膜走査技法及び／または虹彩走査技法を用いて、ユーザーの網膜または虹彩をスキャンし、スキャンからのデータを用いて、少なくとも１つのユーザーの生体的識別情報を作り出すように構成されてもよい。ユーザーの生体的識別情報は、ユーザーのプロファイルの一部分であってもよい。内蔵カメラは、ユーザーの視線の方向を検出し、検出に基づいてＨＭＤのスクリーン上にレンダリングされた画像データを調節するための、視線検出アルゴリズムも含む。いくつかの実施形態では、内蔵カメラは、赤外線カメラである。視線検出技術は、ユーザーを認証するためにも使用されてもよい。例えば、ユーザーは、スクリーン上にレンダリングされた対象物を追う、またはスクリーン上にレンダリングされた、ランダムに作り出された文字、対象物、またはパターン（例えば、丸、三角形、四角、等々）をトラッキングするように指示される場合がある。いくつかの実施形態では、ユーザーにスクリーン上の文字、対象物、またはパターンをトラッキングするように口頭またはテキストによるコマンドが提供される場合があり、視線検出技術を使用することによって、ユーザーが認証される。ユーザーの認証は、ユーザーアカウント、ゲーム、ゲームの特定の部分またはレベル、等々へのアクセスを許可するために使用される場合がある。
図２Ｂは、ユーザーの生体的識別情報及びユーザーの目の動きを検出するための内蔵カメラ１０９（図１Ｄの１０３）付きのＨＭＤ１０４を着用しているユーザーを図示する。
内蔵カメラ（図２Ｂの１０９及び図１Ｄの１０３）及び外部カメラ（図１Ｄの１０１）は、ユーザーの視線を特定するため、及び視線をユーザーの視線の視準線内の対象物に関係付けるために同調して働く。ＨＭＤのゲーム処理モジュールは、ユーザーの視線の方向を演算し、これを演算された方向の視野内の対象物に相互に関係させるソフトウェアを含む。
ＨＭＤは、１つまたはそれぞれの目の前に、１つまたは一対のディスプレイスクリーンを含む。このディスプレイスクリーン（複数可）は、小型スクリーンで、いくつか例を挙げると、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、反射型液晶素子（ＬＣｏｓ）、有機発光ダイオード（ＯＬＥＤ）が含まれる。
図２Ｃは、本発明の様々な実施形態で使用される、単純化されたＨＭＤのブロック図表現を図示する。ＨＭＤは、ＨＭＤがユーザーの頭の上にしっかりと適合することができるようにする、１つ以上の係止ストラップ４０１、及びフロントフェースプレート４０５を含む場合がある。フロントフェースプレート４０５は、内側に配置されたスクリーンを有するスクリーン部分、及びその中に配置された１つ以上の内蔵カメラユニット（１０９）を含む。内蔵カメラユニット（すなわち、内側に設置されたカメラ）に加えて、ユーザーの目線から見た現実世界環境を捕捉するために、１つ以上の外部カメラユニット（すなわち、外側に設置されたカメラ）（図示せず）もＨＭＤ上に配置される場合がある。外部カメラユニットは、ＨＭＤ及びＨＨＣの動きを検出するために使用される監視カメラ１７１に加えられる。ＨＭＤのフェースプレートは、１つ以上の発光ダイオード２１０、１つ以上の赤外線ライト２１４と１つ以上の球状の対象物２１２、色付き表面、反射性材料、画像解析を介して容易に認識される特殊な特徴または特性を有する対象物、等々を含む、複数のマーカーエレメントを含む。ゲームプレイの間に、ＨＭＤ上のマーカーエレメントの画像は、１つ以上の監視カメラ（複数可）によって捕捉され、捕捉された画像からの座標データは、ＨＭＤの場所、動き、及び位置を特定するために使用される。監視カメラ（複数可）は、ＨＭＤに直接的にまたはコンピューター１７２を通して接続されてもよく、捕捉された画像に関するデータをＨＭＤ及び／またはコンピューター１７２と交換するように構成されてもよい。ＨＭＤに送信されると、ＨＭＤ内のプロセッサは、ＨＭＤの６軸データを識別するようにデータを処理し、処理したデータを、ＨＭＤからの入力データとして、コンピューター１７２（存在する場合）及びルーターを通して、ルーター及びネットワークを通して、または直接的に、コンピューター１７２及び／またはゲームクラウド１０２へ送信する。入力データは、ゲームプログラムのゲーム状態に影響を与える、または影響する。
内蔵カメラ１０９は、ユーザーの目の動き及び視線を検出及びトラッキングする。内蔵カメラ１０９は、一定の期間の間のユーザーの視線方向を特定する（例えば、真っ直ぐ前を見ているユーザーがある期間の間だけ下を見るとき）、一定の期間にわたって視線パターンを検出する（例えば、ユーザーが対象物を追う、パターンをたどる、等々）、かつ／または視線方向の変化を検出する（例えば、目の前後の動き、目の回転、これはユーザーがめまいを経験している兆候、特に高輝度ゲーム、等々）ために使用されてもよい。ＨＭＤの内蔵カメラは、ＨＭＤの外部カメラ及び監視カメラと通信し、ＨＭＤのスクリーン上のレンダリングのための適切なゲーム関連データを判定する。この通信は、特定のトリガーされたイベントに応答して、ＨＭＤのスクリーン上に、ゲーム関連データと並んで、またはこれの代わりに、ユーザー／環境関連データをレンダリングすることができるようにする。
図２Ｄは、ＨＭＤ１０４の通信アーキテクチャのブロック図である。ＨＭＤ１０４は、ビデオオーディオセパレーター２５４、ビデオデコーダー２５５、メモリデバイス２５６、ＷＡＣ２５８、ストリームバッファ２５９、１つ以上のスピーカー２６０、バッテリー２６１、ユーザー入力回路２６２、ディスプレイスクリーン２６６、マイクロコントローラー２６８、オーディオバッファ２７２、監視デジタルカメラ２７４、外部デジタルカメラ２７５、オーディオコーデック２７６、内蔵デジタルカメラ２７８、ビデオバッファ２８０、ビデオオーディオシンクロナイザー２８２、マイクロフォン２８４、ＬＥＤ２８５、及び赤外線ライト２８７などの、いくつかの例示的なモジュールを含む。ＬＥＤ２８５及び赤外線ライト２８７は、ＨＭＤの位置をトラッキングするために使用されるマーカーエレメントを代表する。
数多くの実施形態では、スピーカー２６０は、オーディオ回路を形成する。様々な実施形態では、オーディオコーデック２７６、オーディオバッファ２７２、及び／またはスピーカー２６０は、オーディオ回路を形成する。様々な実施形態では、マイクロコントローラー２６８は、画像をディスプレイスクリーン上にレンダリングするために使用されるディスプレイ回路である。ディスプレイスクリーン２６６の実施例としては、ＬＥＤスクリーン、液晶ディスプレイ（ＬＣＤ）スクリーン、反射型液晶スクリーン、有機ＬＥＤ（ＯＬＥＤ）スクリーン、プラズマスクリーン、等々が挙げられる。外部デジタルカメラの実施例としては、株式会社ソニー・コンピュータエンタテインメントが製作しているプレイステーションＥｙｅ（登録商標）などのフィッシュアイカメラが挙げられる。
マイクロコントローラー２６８は、レンダリングプログラム２８６及びオペレーティングシステム２８８を保存する。レンダリングプログラム２８６及びオペレーティングシステム２８８は、マイクロコントローラー２８６のメモリデバイス内に保存され、マイクロコントローラー２６８のマイクロプロセッサによって実行される。マイクロコントローラー２６８の実施例は、低価格のマイクロコントローラーを含み、このコントローラーは、メディアデータをディスプレイスクリーン２６６上に表示するために提供するためのエレメント（例えば、ＬＣＤ、等々）を検出する信号を作り出すドライバー（例えば、ＬＣＤドライバー）を含む。マイクロコントローラーの別の実施例としては、ＧＰＵ及びメモリデバイスが挙げられる。
いくつかの実施形態では、マイクロコントローラーのメモリデバイスは、フラッシュメモリまたはランダムアクセスメモリ（ＲＡＭ）以外のものである。例えば、マイクロコントローラーのメモリデバイスは、バッファである。様々な実施形態では、マイクロコントローラーのメモリデバイスは、ＦｌａｓｈまたはＲＡＭである。ユーザー入力回路２６２の実施例としては、ジャイロスコープ、磁力計、及び加速度計が挙げられる。いくつかの実施形態では、ユーザー入力回路２６２は、グローバルポジショニングシステム（ＧＰＳ）、コンパス、または任意の位置追跡デバイスも挙げられる。ＷＡＣ２５８の実施例としては、ＮＩＣが挙げられる。いくつかの実施形態では、ＷＡＣ２５８は、本明細書では通信回路と称される。
エンコードしたメディアデータのストリームは、ネットワーク１１０またはルーター１５２からストリームバッファ２５９内に受信される（図１Ｂ〜図１Ｃ）。コンピューター１７２にルーター１５２が連結されている場合（図１Ｃ）、コンピューター１７２から受信されるデータは、ストリームバッファ２５９内に保存される代わりに、ＨＭＤ２５０のバッファ（図示せず）内、またはメモリデバイス２５６内に保存されることに留意するべきである。
ＷＡＣ２５８は、コンピューターまたはコーデック１１２から受信した、ストリームバッファ２５９からのエンコードしたメディアデータのストリームにアクセスし、このストリームをパケット解除する。ＷＡＣ２５８は、エンコードされたメディアデータをデコードするデコーダーも含む。
エンコードされたメディアデータのストリームが、ルーター１５２（図１Ｃ）を介してコンピューター１７２（図１Ｃ）によって受信される実施形態では、コンピューター１７２のＮＩＣ１７４（図１Ｃ）は、エンコードされたメディアデータのストリームをパケット解除及びデコードして、ＨＭＤ２５０のバッファ（図示せず）内に保存されるデコードされたデータを作り出す。
デコードされたデータは、ビデオオーディオセパレーター２５４によって、ＷＡＣ２５８からまたはバッファ（図示せず）からアクセスされる。ビデオオーディオセパレーター２５４は、ビデオデータから、デコードされたデータ内のオーディオデータを分離する。
ビデオオーディオセパレーター２５４は、オーディオデータを、オーディオバッファ２７２に送り、ビデオデータをビデオバッファ２８０に送る。ビデオデコーダー２５５は、アナログビデオ信号を作り出すために、例えば、ビデオデータをデコードし、かつ／またはビデオデータをデジタル形態からアナログ形態に変える。ビデオオーディオシンクロナイザー２８２は、ビデオバッファ２８０内に保存されたビデオデータを、オーディオバッファ２７２内に保存されたオーディオデータと同期する。例えば、ビデオオーディオシンクロナイザー２８２は、ビデオデータをオーディオデータと同期するために、ビデオデータ及びオーディオデータの再生時間を使用する。
オーディオコーデック２７６は、同期されているオーディオデータを、デジタル形式からアナログ形式へと変換し、オーディオ信号を作り出し、このオーディオ信号は、スピーカー２６０によって再生されて音を作り出す。マイクロコントローラー２６８は、レンダリングプログラム２８６を実行して、ビデオデコーダー２５５によって作り出されたアナログビデオ信号に基づいてゲームをディスプレイスクリーン２６６上に表示する。いくつかの実施形態では、ディスプレイスクリーン２６６上に表示されたゲームは、オーディオ信号の再生と同期して表示される。
さらに、ユーザー１０８（図１Ａ〜図１Ｃ）は、マイクロフォン２８４に向かって話しかけ、マイクロフォンは音信号を電気信号（例えば、オーディオ信号）に変換する。オーディオコーデック２７６は、オーディオ信号をアナログ形式からデジタル形式に変換し、オーディオデータを作り出し、このオーディオデータは、オーディオバッファ２７２内に保存される。オーディオバッファ２７２内に保存されたオーディオデータは、ユーザー１０８の音に基づいて作り出された入力データの実施例である。オーディオデータは、ＨＭＤにおいて作り出された、またはＨＭＤ内のスピーカーによって検出された他のオーディオ信号も含む場合がある。オーディオデータは、ＷＡＣ２５８によって、オーディオバッファ２７２からアクセスされ、ネットワーク１１０（図１Ａ〜図１Ｃ）を介して、ゲームクラウド１０２（図１Ａ〜図１Ｃ）のコーデック１１２（図１Ａ〜図１Ｃ）へ送られる。例えば、ＷＡＣ２５８は、オーディオバッファ２７２からアクセスしたオーディオデータを、パケット化及びエンコードして、ネットワーク１１０を介してコーデック１１２へ送る。
いくつかの実施形態では、オーディオデータは、ルーター１５２（図１Ａ〜図１Ｃ）及びネットワーク１１０（図１Ａ〜図１Ｃ）を介して、ゲームクラウド１０２のコーデック１１２（図１Ａ〜図１Ｃ）へ送るために、ＷＡＣ２５８によって、オーディオバッファ２７２からアクセスされる。例えば、ＷＡＣ２５８は、オーディオバッファ２７２からアクセスしたオーディオデータを、パケット化及びエンコードして、ルーター１５２及びネットワーク１１０を介してコーデック１１２へ送る。
内蔵デジタルカメラ２７８（図１Ｄの１０３、図２Ｂの１０９）は、ユーザー１０８（図１Ａ〜図１Ｃ）の目の動きの１つ以上の画像を捕捉し、画像データを作り出す。これは、ＨＭＤにおいて、頭及び／または目の動きに基づいて作り出された入力データの実施例である。同様に、ＨＭＤ上に設置された監視デジタルカメラ２７４（図１Ｄのカメラ１７１）及び／または外部デジタルカメラ２７５（図１Ｄのカメラ１０１）は、画像データを作り出すために、ＨＭＤ２５０上に、及び／またはＨＨＣ／手袋／ユーザー１０８の手の上に位置付けられたマーカー、ならびにＨＭＤを着用しているユーザーの頭の動きの１つ以上の画像を捕捉し、これは、手／頭の動きに基づいて作り出された入力データの実施例である。デジタルカメラ２７４、２７５、及び２７８によって捕捉された画像データは、ビデオバッファ２８０内に保存される。
いくつかの実施形態では、デジタルカメラ２７４、２７５、及び２７８によって捕捉された画像データは、ＨＭＤ２５０のバッファ内に保存され、このバッファは、ビデオバッファ２８０以外のものである。様々な実施形態では、デジタルカメラ２７４、２７５、及び２７８によって捕捉された画像データは、ビデオデコーダー２５５によってデコードされ、ディスプレイスクリーン２６６上への画像の表示のためにマイクロコントローラー２６８に送られる。
デジタルカメラ２７４、２７５、及び２７８によって捕捉された画像データは、ＷＡＣ（ワイヤレスアクセスカード）２５８によって、ビデオバッファ２８０からアクセスされ、ネットワーク１１０（図１Ａ〜図１Ｃ）を介して、ゲームクラウド１０２（図１Ａ〜図１Ｃ、図２）のコーデック１１２（図１Ａ〜図１Ｃ）へ送られる。例えば、ＷＡＣ２５８は、ビデオバッファ２８０からアクセスした画像データを、パケット化及びエンコードして、ネットワーク１１０を介してコーデック１１２へ送る。
いくつかの実施形態では、ビデオデータは、ルーター１５２（図１Ｂ〜図１Ｃ）及びネットワーク１１０（図１Ａ〜図１Ｃ）を介して、ゲームクラウド１０２のコーデック１１２（図１Ａ〜図１Ｃ）へ送るために、ＷＡＣ２５８によって、ビデオバッファ２８０からアクセスされる。例えば、ＷＡＣ２５８は、ビデオバッファ２８０からアクセスしたビデオデータを、パケット化及びエンコードして、ルーター１５２及び／またはネットワーク１１０を介してコーデック１１２へ送る。
コントローラー／コンソール通信回路２８９は、バッファ（図示せず）内での保存のために、コンピューター１７２からのメディアデータを受信する。さらに、コントローラー／コンソール通信回路２８９は、ＨＨＣ１０６（図１Ａ〜図１Ｃ）から入力信号を受信し、入力データを作り出すために、入力信号をアナログ形態からデジタル形態に変換し、この入力データは、ネットワーク１１０（図１Ａ〜図１Ｃ）を介して、ゲームクラウド１０２（図１Ａ〜図１Ｃ）のコーデック１１２（図１Ａ〜図１Ｃ）へ送るために、ＷＡＣ２５８によってアクセスされる。例えば、ＷＡＣ２５８は、コントローラー／コンソール通信回路２８９からアクセスされた入力データを、パケット化及びエンコードして、ネットワーク１１０を介してコーデック１１２へ送る。
いくつかの実施形態では、入力データは、ルーター１５２（図１Ｂ〜図１Ｃ）及びネットワーク１１０（図１Ａ〜図１Ｃ）を介して、ゲームクラウド１０２のコーデック１１２（図１Ａ〜図１Ｃ）へ送るために、ＷＡＣ２５８によって、コントローラー／コンソール通信回路２８９からアクセスされる。例えば、ＷＡＣ２５８は、ビデオバッファ２８０からアクセスしたビデオデータを、パケット化及びエンコードして、ルーター１５２及びネットワーク１１０を介してコーデック１１２へ送る。
コントローラー／コンソール通信回路２８９の代わりに、２つの別個の通信回路が使用されてもよく、１つは、コンピューター１７２（図１Ｃ）を用いてデータを通信する（例えば、受信する、送信する、等々）ため、そしてもう１つはＨＨＣ１０６（図１Ａ〜図１Ｃ）を用いてデータを通信するためであることに留意するべきである。
数多くの実施形態では、デコーダーは、ＷＡＣ２５８の外部に位置付けられる。様々な実施形態では、ストリームバッファ２５９は、ＷＡＣ２５８の内部に位置付けられる。
いくつかの実施形態では、ＨＭＤ１０４は、監視デジタルカメラ２７４を除外する。いくつかの実施形態では、ＨＭＤ１０４は、任意の数のマイクロコントローラー、任意の数のバッファ、及び／または任意の数のメモリデバイスを含む。
様々な実施形態では、ＨＭＤ１０４は、例えば、ビデオオーディオセパレーター２５４、メモリデバイス２５６、ワイヤレスアクセスカード２５８、ストリームバッファ２５９、１つ以上のスピーカー２６０、ユーザー入力回路２６２、ディスプレイスクリーン２６６、マイクロコントローラー２６８、オーディオバッファ２７２、外部デジタルカメラ２７４、オーディオコーデック２７６、内蔵デジタルカメラ２７８、ビデオバッファ２８０、ビデオオーディオシンクロナイザー２８２、及びマイクロフォン２８４などの構成要素に電力を提供する１つ以上のバッテリー２６１を含む。１つ以上のバッテリー２６１は、交流電流のコンセントに差し込むことができる充電器（図示せず）を用いて充電される。
数多くの実施形態では、入力データ及び／またはメディアデータは、本明細書では、インタラクティブなメディアと称される。
いくつかの実施形態では、ＨＭＤ１０４は、ローカルユーザー間のペアリングを介したピアツーピア多重チャネル通信を容易にする通信回路を含む。例えば、ＨＭＤ１０４は、マイクロフォン２８４から受信した音信号を変調し、変調された信号をチャネルを介して別のＨＭＤ（図示せず）のトランシーバーに送る、トランシーバーを含む。もう一方のＨＭＤのトランシーバーは、ユーザー間の通信を容易にするために、信号を復調して、他のＨＭＤのスピーカーに提供する。
様々な実施形態では、異なる他のＨＭＤと通信するために、ＨＭＤ１０４のトランシーバーによって、異なるチャネルが使用される。例えば、第１の他のＨＭＤに変調された信号がその上に送られるチャネルは、第２の他のＨＭＤに変調された信号がその上に送られるチャネルとは異なる。
いくつかの実施形態では、ＷＡＣ２５８、ユーザー入力回路２６２、マイクロコントローラー２６８、及びビデオデコーダー２５５は、１つ以上の個々の回路チップ内に統合されている。例えば、ＷＡＣ２５８、ビデオデコーダー２５５、及びマイクロコントローラー２６８は、１つの回路チップ内に統合され、ユーザー入力回路２６２は、別の回路チップの中へと統合される。別の実施例として、ＷＡＣ２５８、ユーザー入力回路２６２、マイクロコントローラー２６８、及びビデオデコーダー２５５のそれぞれは、別個の回路チップ内に統合される。
ＨＭＤの様々なモジュールは、トリガーイベントの発生を判定するために使用され、このトリガーイベントは、移行行為の実施を必要とし、ＨＭＤスクリーンの移行を実施する。いくつかの実施形態では、ＨＭＤ内のモジュールは、集合的に「ゲーム処理モジュール」と称される。ＨＭＤのゲーム処理モジュールは、トリガーイベントの発生を検出し、ＨＭＤビューがトリガーイベントに基づいて、「非透過」モード、「半透過」モード、「模擬透過」モード、及び「完全透過」モード、の間で移行するのを可能にする。いくつかの実施形態では、ユーザーは、どの透過モード移行を所望するかをユーザーが決定するオプション付きで提供される場合があり、選んだオプションに従って移行が実施される。移行に基づいて、ユーザーは、現実世界環境及び／またはゲームプレイのインタラクティブなシーンを、部分的に視認するか、または完全に視認するか、のいずれかが可能である。ゲームからのインタラクティブなシーンが、ＨＭＤのスクリーン上にレンダリングされている場合、スクリーンは、「非透過」モードになっていると見なされることに留意するべきである。
いくつかの実施形態では、トリガーイベントの検出に基づいて、ゲーム処理モジュールは、ＨＭＤスクリーンを非透過モードから半透過モードに移行する。いくつかの実施形態では、非透過モードから半透過モードへの移行は、ＨＭＤスクリーンの一部でのみ実施され、一方でＨＭＤスクリーンの残りの部分は、非透過モードを継続する。代替的に、ＨＭＤスクリーン全体は、非透過モードから半透過モードに移行される。半透過モードでは、いくつかの現実世界環境の対象物は、現在ＨＭＤスクリーン上にレンダリングされているゲームプログラムのインタラクティブなシーンと共に提示される。ＨＭＤスクリーンに提示される現実世界環境は、ユーザーのすぐ近くからＨＭＤの前を向いたカメラによって捕捉される。一実施形態では、現実世界環境は、ゲームのインタラクティブなシーンは背景にレンダリングされ、現実世界環境からの対象物のいくつかは、前景にレンダリングされるように提示される。代替的に、別の実施形態では、インタラクティブなシーンは、前景にレンダリングされ、一方で現実世界環境からの対象物のいくつかは、背景にレンダリングされる。
一実施形態では、トリガーイベントの発生に応答して、ゲーム処理モジュールは、ＨＭＤスクリーンを、ゲームのインタラクティブなシーンのみがレンダリングされた非透過モードから、ユーザーがユーザーのすぐ近くからの現実世界環境の風景に曝される、模擬透過モードに移行する。この実施形態では、ゲーム処理モジュールは、ＨＭＤ内の前を向いたカメラを起動及び指示して、ユーザーの視線と一致している、ＨＭＤを着用しているユーザーの近くからの、現実世界環境の画像及び／またはビデオを捕捉及び送信する。ゲーム処理モジュールは、前を向いたカメラによって送信された画像／ビデオを受信し、画像／ビデオ（例えば、サイズ調整する、解像度を再調節する、等々）を処理し、処理した現実世界環境の画像／ビデオをＨＭＤスクリーン上にレンダリングする。このレンダリングは、現在レンダリングされているゲームプログラムのインタラクティブなシーンを、処理された画像／ビデオで置き換えさせる。この実施形態では、模擬移行は、ゲーム処理モジュールがＨＭＤスクリーンを「完全透過」モードに移行したように見せかけるが、実際には、前を向いたカメラによって捕捉された現実世界環境の画像をＨＭＤスクリーンに提示することによって模擬移行を提供している。
別の実施形態では、ゲーム処理モジュールは、トリガーイベントの検出に応答して、ＨＭＤスクリーンの光学的な設定を調節することによって、非透過（すなわち、不透明またはダーク）モードと完全透過（すなわち、クリア）モードとの間の移行を実現する。この実施形態では、ＨＭＤスクリーンは、液晶ディスプレイ（ＬＣＤ）スクリーンである。ゲーム処理モジュールは、ＬＣＤスクリーンの光学特性を、ダーク／ブラック設定（非透過モードを表す）とクリア設定（完全透過モードを表す）との間で切り換える。クリア設定は、クリアガラスのスクリーンを通して視認するのと同様の様式で、ユーザーがＨＭＤのディスプレイスクリーンを通して、ユーザーのすぐそばの周囲環境から現実世界の対象物を見ることができるようにする。不透明／ダーク設定では、ユーザーは、ディスプレイスクリーンを通して視認することが不可能、または困難である。非透過モード（すなわち、不透明／ダーク設定）では、ゲームのインタラクティブなシーンがＨＭＤのディスプレイスクリーンにレンダリングされる。非透過モードと完全透過モードとの間の移行のための、光学的な設定の調節は、ＬＣＤスクリーンの後方から行われる。当然のことながら、ＨＭＤのＬＣＤスクリーンの光学系は、外向きになると反転される。
一実施形態では、トリガーイベントは、モードの移行が正当であるかどうかを解析して判定し、この判定に基づいて光学系の反転を含むモードの移行が実現される。例えば、この解析は、ユーザーの視線変更が、モードの移行を保証するのに十分なだけ長い期間の間であるかどうかを判定する場合があり、視線変更が、少なくとも既定の閾値期間と等しい期間に及ぶ場合、モードの移行が実現する。ひいては、ゲーム処理モジュールは、ユーザーがゲームプレイ経験に浸り込むことができるようにする一方で、トリガーイベントに依存して、ユーザーが現実世界環境を、部分的に視認するか、または完全に視認するか、のいずれかが時々可能になるように、非透過モードと透過モードとの間で移行する代替的なやり方を提供する。透過モードは、半透過モード、模擬透過モード、及び完全透過モードのいずれか１つ、または任意の組合せであってもよい。
非透過モードから半透過モード、模擬透過モード、または完全透過モードへの移行を生じさせる、いくつかの例示的なトリガーイベントとしては、ＨＭＤを着用しているユーザーの視線の変更、音声コマンド、ＨＨＣ／ＨＭＤで検出された、ボタン押圧、タッチスクリーンインタラクション、ジェスチャー、１つ以上の入力機構／デバイスを通したインタラクション、等々を含む行為、ユーザーのすぐそばの周囲で検出された音または動き、電話の受信の検出、テキスト、ピーンという音、メッセージ、電子メール、ユーザーの近くでの他のユーザーの行為（声など）の検出、等々、のうちのいずれか１つまたは組合せを含む場合がある。
スクリーン上にレンダリングされるものの操作によるこの形態の移行は、ユーザーが完全に浸り込んでいる状態から、部分的に浸り込んでいる、または浸り込んでいない状態へ切り換えることができるようにする。非透過モードから半透過モード、模擬透過モード、または完全透過モードへの移行は、ユーザーが、ゲームプレイに浸り込み続けている間に時々、現実世界環境を部分的に、または完全に、のいずれかで視認できるようにする。いくつかの他の実施形態では、非透過モードから透過モード（半透過モード、模擬透過モード、または完全透過モード）への移行は、ユーザーに、完全に浸り込んでいる状態から完全に浸り込んでいない状態へ移行の能力を提供する。いくつかの実施形態では、非透過モードから透過モードへの移行は、オプションとして提供され、ユーザーは、移行を選んでも、または選ばなくてもよい。
移行は、ゲームの実行の間のイベントの発生を検出することによって有効になる。例えば、イベントの発生は、ＨＭＤを着用しているユーザーの目の視線状態を識別及び監視することによって決定される場合がある。視線状態の監視としては、ユーザーの視線方向を一定の期間の間検出して視線が経時的に変更しているかどうかを調べること、視線パターンを一定の期間にわたって検出してユーザーがあるパターンをトラッキングしているかどうか判断すること、第１の位置から、第２の位置へ、そして第１の位置へ戻るように視線を繰返し切り換えること、ユーザーがめまいを経験していないか判定するために視線方向の変化を検出すること、等々、を含む場合がある。視線状態の監視は、移行を実施する必要があるかどうかを判定するために、ＨＨＣ、ＨＭＤ、ゲームクラウド、及び／またはコンピューター（存在する場合）によって提供される既定の行為と相互に関係する。ＨＨＣまたはＨＭＤによって提供される行為は、移動行為に加えて、触覚的なフィードバック、オーディオフィードバック、等々などの、ゲームプログラムへのフィードバックも含む場合がある。ユーザーの視線状態は、１つ以上の内蔵カメラユニットを使用してトラッキングされる場合がある。
トラッキングの間に、ユーザーの視線が、ＨＭＤ、ＨＨＣ、及び／またはゲームプログラムによって提供される行為と直接的に相互に関係するゲームのためにインタラクティブなシーンをレンダリングしているスクリーン上の一部／領域上に継続的にあることが判定された場合、スクリーンは、非透過モードで、ゲームプログラムからのゲームプレイストリーミングのインタラクティブなシーンの提示を継続する。図３Ａは、内蔵カメラによるトラッキングがユーザーの視線が、スクリーン上にレンダリングされたインタラクティブなシーンに、垂直線から「θ」の角度で定義される線「ａ」によって図示される凝視角で固定されていることを検出する、１つのかかる実施形態を図示する。この検出に応答して、ＨＭＤのゲーム処理モジュールは、凝視角と相互に関係する、コンピューターまたはゲームクラウドからのゲームプログラムストリーミングに関するインタラクティブなシーンのレンダリングを、ＨＭＤのスクリーン上で継続する。しかしながら、内側に設置されたカメラ（複数可）が、視線状態の変化（例えば、スクリーンの異なる部分へのユーザーの視線の変更）を検出する場合、内蔵カメラ（複数可）は、視線状態の変化、すなわち、視線変更を検出し、凝視角の変更を判定する。視線変更の座標を精密に特定するために、複数の内側に設置したカメラが使用される場合がある。
図３Ｂは、内蔵カメラによって検出されるユーザーの視線状態の変化（すなわち、視線の変更）、及び変更の方向を図示する。内蔵カメラは、対応するシーンの複数の画像フレームを捕捉し、この情報をＨＭＤのゲーム処理モジュールに供給することによって、視線の方向の変更及び視線のレベルの変更を精密に識別する場合がある。いくつかの実施形態では、内蔵カメラ（複数可）によって提供される画像は、ゲーム処理モジュールが画像フレームを時間の関数として解析できるようにしてユーザーの視線の変更を判定するために、カメラによって捕捉されたそれぞれのフレームに対してタイムスタンプも含む場合がある。ゲーム処理モジュールは、捕捉されたフレームからの注視点を解析することによって、変更角を演算する。例えば、図３Ａに図示されるように、内蔵カメラによって検出されるユーザーの第１の視線は、線「ａ」によって定義される。上記で定義したように、ゲーム処理モジュールは第１の視線が、垂直線（例えば、ｘ軸）から角度「θ」にあることを判定する。ゲーム処理モジュールは、視線方向の変更をトラッキングし、図３Ｂで、線「ｂ」によって表される第２の視線の角度が、垂直線から角度「λ」にあること、そして視線が上向き方向から下向き方向に変更されたことを判定する。この結果、ユーザーの視線変更の合計角度は（θ＋λ）である。代替的に、視線の変更は、上向き方向に継続する場合がある。かかる事例では、ユーザーの視線の変更の合計角度は、角度「λ」が角度「θ」より大きい場合、（λ−θ）となる、または角度「θ」が角度「λ」より大きい場合、（θ−λ）となることが演算される場合がある。この情報は、ＨＭＤ内のゲーム処理モジュールによって、視線の変更を判定するためだけでなく、その角度における視準線内のゲームシーン及び／または現実世界環境の対象物を識別するためにも使用される。変更の角度の精密な演算は、複数のカメラからの画像フレームを解析することによって、三角測量の技法を使用して行われてもよい。
内側に設置されたカメラ（複数可）は、ユーザーの視線の変更を検出することに応答して視線パターンもトラッキングする場合がある。いくつかの実施形態では、視線パターンは、ユーザーがスクリーン上にレンダリングされた対象物または文字をトラッキングすることによって確認される場合がある。いくつかの実施形態では、視線パターンは、スクリーン上の第１の位置と第２の位置との間を往き来する目の動きである場合がある。視線パターンは、視準線情報及び視線変更を捕捉する画像フレームによって提供されるタイムスタンプ情報を解析することによって判定される場合がある。いくつかの実施形態では、ユーザーの目が元の角度から既定の閾値期間（例えば、０．５秒、１秒、２秒、３秒、４秒、等々）より長く変更されたままになる場合、視線の変更は有意である。一実施形態では、画像及びタイムスタンプの解析に基づいて、ゲーム処理モジュールは、ゲームパターンが、ユーザーの視線状態のいかなる有意な変化も識別していないと判定する場合がある。すなわち、視線の変更が有意でなく（時間的に、または角度的に）、一次的であり（一度だけ、所定の閾値期間より短い期間発生した）、かつユーザーはゲームに関連した活動を提示しているスクリーンの一部または一領域に集中し続けている。この実施形態では、ＨＭＤのゲーム処理モジュールは、スクリーンに対して非透過モードを維持し続け、ゲームプログラムからストリーミングされたゲームのためのインタラクティブなシーンのレンダリングを継続する。
いくつかの実施形態では、視線状態の解析に基づいて、ゲーム処理モジュールがスクリーンの異なる部分へのユーザーの視線変更を確認する場合、ゲーム処理モジュールは、ユーザーの変更した視線の方向がゲームの異なる区域と相互に関係するかどうかの判定を試みる。その場合は、ゲーム処理モジュールは、ＨＭＤにレンダリングするために、このインタラクティブなシーンを、スクリーンの新しい部分と相互に関係するインタラクティブなシーンに切り換える場合がある。
図３Ｂに図示される一実施形態では、視線パターンが、ユーザーの視線が第１の領域３０２と第２の領域３０４との間で切り替わっていることを確認する場合、ゲーム処理モジュールは、ユーザーの興味の方向を特定し、現実世界環境から視準線と一致する対象物を特定し、ユーザーの視線がそのスクリーンの部分に向けられる度に、対象物のビジュアルをスクリーンの対応する領域または部分内に提供する。例えば、ユーザーは、カーレースゲームに取り組む場合がある。ユーザーがゲームをプレイしているとき、ＨＨＣ及びＨＭＤからのユーザーの入力と相互に関係しているカーレースゲームからのシーンは、ＨＭＤのスクリーン上にレンダリングされる。ゲームプレイの間、ユーザーの視線は、カーレースゲームシーンがある正面を見ている視線から、スクリーンの底部に向かって下向きを見ている視線に変更される場合がある。この場合、ゲーム処理モジュールは、視線の変更を識別し、視線パターンを確認して視線の変更が有意かどうか（角度及び／または時間に関連して）を調べ、この情報を使用して、その視準線と一致する現実世界の対象物／シーンまたは仮想世界の対象物／シーンのいずれかを識別する。
図３Ｂに図示される一実施形態では、変更された視線の視準線内の対象物は、ユーザーの手の中にある、ＨＭＤに入力を提供する、ＨＨＣである場合があることが判定される場合がある。変更された視線の視準線内の対象物は、内蔵カメラからの入力データをＨＭＤ上に設置された監視カメラ及び外部カメラからのデータと相互に関連付け、変更された視線の角度と相互に関係する、対象となる対象物を判定することによって判定される場合がある。この情報は、ゲーム処理モジュールによって、ユーザーの手（複数可）の中にあるＨＨＣの画像を捕捉するために、ＨＭＤの外部カメラを向けるために使用される。ゲーム処理モジュールからのコマンドに応答して、ＨＭＤの外部カメラが、識別された対象物の画像を捕捉し、この画像をゲーム処理モジュールに送信し、次いでこのビジュアル画像をデジタルデータに変換し、かつデジタルデータをＨＭＤのスクリーンの対応する部分にレンダリングするために転送する。いくつかの実施形態では、この対象物のビジュアル画像は、ゲームのインタラクティブなシーンと相互に関係するようにするために調節される場合がある。例えば、視認線内の対象物がコントローラーであり、かつゲームがインタラクティブなカーレースゲームである場合、コントローラー（すなわち、ユーザーの変更された視線内の現実世界の対象物）のビジュアル画像は、自動車のハンドルを表すように調節される場合がある。
図３Ｂに示される一実施形態では、ユーザーの手の中で保持されるＨＨＣの画像（すなわち、ビジュアル、または調節されたビジュアル）は、領域３０４によって示される、ＨＭＤのスクリーンの底部部分にレンダリングされ、一方で、領域３０２によって示される、残りのスクリーンの部分は、コンピューターまたはゲームクラウドからのゲームストリーミングからのインタラクティブなシーンのレンダリングを継続する。結果として、ＨＭＤスクリーンの底部部分は、非透過モードから模擬透過モードへと移行され、一方でスクリーンの残りの部分は、非透過モードでレンダリングを継続すると考えられる。いくつかの実施形態では、現実世界からのレンダリングされたシーン／対象物の画像は、スクリーン上に３次元浸り込み効果を提供する、視覚的な奥行を含む。
図３Ｂに図示される実施形態では、例えば、対象物の画像は、底部部分３０４の一部分内のレンダリングされたシーンの上に重ねられ、一方で、底部部分の残りの部分内でインタラクティブなシーンを見ることができるようにする。対象物の画像は、部分的に前景にレンダリングされる。この実施例では、底部部分の一部分のみを模擬透過モードに移行させ、一方で、底部部分の残りの部分、及びスクリーンの残りは、インタラクティブなゲームシーンをレンダリングし続けると考えられる。別の実施形態では、インタラクティブなゲームシーンが底部部分の残りの部分内にグレイアウト形式で提示され、底部部分が模擬透過モードであることを示唆する場合がある。さらに別の実施形態では、底部部分全体は模擬透過モードに移行され、対象となる対象物の画像（すなわち、上記の実施例ではＨＨＣ）が、前を向いたカメラによって捕捉される周囲の現実世界の対象物とともに、レンダリングされる場合がある。代替的には、対象物は、背景にレンダリングされる場合があり、一方で、インタラクティブなシーンは前景にレンダリングされる。
ユーザーの視線は、任意の方向に変更してもよいことに留意するべきである。結果として、ＨＭＤのスクリーンの対応する部分は、何がスクリーンのその部分の上にレンダリングされるかに依存して、非透過モードから透過モードへと移行してもよい。
一実施形態では、視線のすべての変更が、非透過モードから透過モードへの移行をもたらすわけではない。例えば、ユーザーの視線は、スクリーンの右側からスクリーンの左側へと変更する場合がある。この実施形態では、ユーザーの視線は、ＨＭＤまたはＨＨＣを通して提供されるユーザーからの入力、別のユーザーからの入力（マルチプレーヤーゲームの場合）、またはゲームからの入力に基づくゲーム内の変化に応答して変更した場合がある。この実施形態では、スクリーンの左側は、ゲーム内の変化に基づくインタラクティブなゲームシーンを含む場合がある。一実施形態では、ユーザーの視線の変更が検出されたとき、ゲーム処理モジュールは、ユーザーの視線の変更が既定の閾値限界（例えば３秒間などの）を超えるかどうかを判定する場合がある。視線変更が、閾値限界を超える場合、ゲーム処理モジュールは、スクリーンの非透明モードを維持する一方で、ＨＭＤのスクリーンを更新して、ユーザーの視線の方向からのシーンに対応するゲームシーンをレンダリングする。
前述のように、スクリーンの一部を非透過モードから半透過モードまたは完全透過モードへと移行するためのトリガーイベントは、視線の変更の検出に制限されない。一実施形態では、移行イベントは、現実世界で、ユーザーの近くまたはユーザーのカメラ（複数可）及び／もしくは監視カメラの視準線内で検出された動きに応答してトリガーされる場合がある。例えば、ユーザーがコンピューター上またはゲームクラウド上で実行しているゲームのゲームプレイに参加している部屋に、人が入ったときに、移行がトリガーされる場合がある。
図３Ｃは、ユーザー１０８がオンラインゲームをプレイしている部屋に、ユーザー３３３が入る場合の、１つのかかるシナリオを図示する。ユーザー１０８がゲームプレイの間着用しているＨＭＤのスクリーンは、ゲームプログラムのゲームプレイからのインタラクティブなシーンをレンダリングしている。ゲーム処理モジュールが部屋に入ってくるユーザー３３３を検出すると、ゲーム処理モジュールは、ユーザーのＨＭＤのスクリーン上にレンダリングされたシーンを、ＨＭＤスクリーンの一部３４０ｂに示されるように、部屋に入るユーザー３３３の画像を含むように変える一方で、３４０ａに示される残りの部分にゲームプレイのインタラクティブなシーンをレンダリングし続ける。この実施形態では、スクリーンの変えられる一部３４０ｂは、動きを検出するカメラの視準線内のユーザー３３３の入室または出現の方向と相互に関係する。いくつかの実施形態では、シーンの変化は、ユーザー３３３が入ってきた部屋の一部の３次元の眺めを提供する。この実施形態では、一部３４０ｂはユーザー３３３とともに、インタラクティブなシーンをレンダリングし続けるので、ＨＭＤスクリーンは、半透過モードに移行されたものと考えられる。
代替的に、移行は、対象物が、ＨＭＤの外側に設置されたカメラまたは外部カメラ（複数可）の視準線内に来たときにトリガーされる場合がある。図３Ｄ〜図３Ｆは、１つのかかる実施形態を図示する。図３Ｄでは、ユーザーのＨＭＤのスクリーンは、ユーザーがプレイしているゲームの、時間Ｔ０におけるインタラクティブなシーンをレンダリングしている。時間Ｔ０では、対象物、（例えば、弾んでいるボール）は、弾んで上がり始めているが、ユーザーのＨＭＤに組み込まれたカメラの視界の外側である。この例では、対象物（すなわち、ボール）は、地面からｄ０の高さにある。時間Ｔ１において、ボールは高さｄ１まで弾み、結果として、少なくともＨＭＤに組み込まれた１つのカメラ（外部カメラまたは監視カメラのいずれか）の視界に入る。少なくともカメラのうちの１つによる対象物の検出に応答して、ゲーム処理モジュールは、少なくとも１つのカメラによって検出されると、ボールの３次元画像を、スクリーン内のボールの場所の角度／位置（距離ｄ１）と相互に関係する、スクリーンの一部内にレンダリングする場合がある。
この結果、図３Ｅに図示されるように、高さｄ１における弾んだボールは、スクリーンの部分または領域３０４ａにレンダリングされ、一方でスクリーンの残りの部分は、ゲームに関連するインタラクティブなシーンをレンダリングし続ける。同様に、時間Ｔ２において、少なくとも１つのＨＭＤのカメラは、ボールが距離ｄ２まで上向きに上り続けるとき、異なる角度／場所においてボールを検出し、ゲーム処理モジュールは、ボールの異なる角度／場所を、ボールの画像をレンダリングするスクリーン上の対応する場所に表す。図３Ｆは、ボールの画像がレンダリングされる場所３０４ｂ（場所３０４ｂは、高さｄ２と相互に関係する場合がある）を図示し、一方でスクリーンの残りの部分は、ゲームからのインタラクティブなシーンのレンダリングを継続する。ボールが落下するとき、下向き方向のボールの動きは、ボールが動いてカメラの捕捉範囲の外へ出るまで捕捉される。したがって、図３Ｄは、ＨＭＤのスクリーン上にレンダリングされた、時間Ｔ０における、ならびに時間Ｔ５におけるシーンを図示し、図３Ｅは、ボールがスクリーンの部分３０４ａを覆う、時間Ｔ１（上に上がるボールに対応する）ならびに時間Ｔ４（下に下がるボールに対応する）におけるシーンを図示し、図３Ｆは、ボールがシーンの部分３０４ｂを覆う、時間Ｔ２（上に上がるボールに対応する）ならびに時間Ｔ３（下に下がるボールに対応する）におけるシーンを図示する。この実施形態では、ＨＭＤスクリーンは、非透過モードから模擬透過モードへと移行したと考えられる。いくつかの実施形態では、ボールの画像は前景にレンダリングされる場合があり、一方でインタラクティブなシーンは、背景にレンダリングされる場合がある。代替的には、ボールの画像は背景にレンダリングされる場合があり、一方でインタラクティブなシーンは、前景にレンダリングされる場合がある。これらの実施形態では、ＨＭＤスクリーンは、非透過モードから半透過モードへと移行したと考えられる。したがって、ゲーム処理モジュールは、ユーザーに対して、ゲームに完全に浸り込む方法を提供する一方で、外部イベントのトリガーに基づいて、または視線の変更、もしくはユーザーによって明示的に、または暗示的に提供される他のかかるビジュアルキューなどのユーザーからの入力に基づいて、現実世界からのシーンの覗き見を提供する。
代替的な実施形態では、ＨＭＤスクリーンは、非透過モードから完全透過モードへと移行する場合がある。この実施形態では、トリガーイベントに応答して、ゲーム処理モジュールは、ＨＭＤスクリーンの光学特性を、ダーク／不透明設定（非透過モードを表す）からクリア設定（完全透過モードを表す）へと調節する場合がある。クリア設定では、ユーザーは、ユーザーのすぐ近くの周囲の現実世界環境の全景を、あたかもユーザーがクリアガラスを通して見ているかのように、提供される。図３Ｇはこの実施形態の実施例を図示し、ユーザーは、ユーザーがＨＭＤを使用している室内のランプ、テーブル、鏡／スクリーンなどの現実世界の対象物を視認することができる。
図４Ａ〜図４Ｄは、ゲーム処理モジュールが、インタラクティブなゲームシーンを現実世界からの３次元的なシーンと組み合わせて、現実世界への覗き見を受信する一方でゲーム内への３次元（３Ｄ）浸り込みを提供する、代替的な実施形態を図示する。図４Ａは、ユーザー１０８のＨＭＤスクリーン上にレンダリングされた、ゲームの３次元的なゲーム空間を図示する。ゲーム空間は、ユーザー１０８から一定の距離にある、及びそれぞれから一定の距離にあるユーザーＡ、Ｂ、及びＣを図示する。図４Ａに図示されたＨＭＤスクリーンは、非透過モードであることが示されている。図４Ｂは、ＨＭＤを着用しているユーザー１０８が前に歩き、かつ下を見るときの、ゲーム空間を図示する。ユーザー１０８の前方への動きは、ユーザーＡ、ユーザーＢ、及びユーザーＣの相対的な位置、角度、及び場所によって、ユーザー１０８と相対的に、ならびに相互と相対的に、３次元ゲーム空間内で反映される。追加的に、自分の頭を下向きに動かすユーザーに応答して、ゲーム空間は下向きに動き、追加的なプレーヤーＤが見えるようになり、さらにユーザーＡ、ユーザーＢ、及びユーザーＣのゲーム空間内での相対的な場所が更新される。このユーザー１０８の頭の下向きの動きは、現実世界でのユーザーの手の場所に関係する、３Ｄゲーム空間の対応する部分４０１内へのユーザーのＨＨＣの演出ももたらす。図４Ｂに図示されるＨＭＤスクリーンは、半透過モードに移行したと考えられ、かかる移行を発生させたトリガーイベントは、ユーザーの前方への動き及び視線の下向きへの変更である場合がある。
図４Ｃは、ユーザー１０８が前方に歩き続ける時のスクリーン上にレンダリングされた景色を図示する。インタラクティブなシーン内のゲーム対象物（すなわち、ユーザー）は、ユーザーの動きと相互に関係する対象物をレンダリングするために更新されている。この実施形態では、ＨＭＤスクリーンにレンダリングされたインタラクティブなシーンは、ユーザー１０８が動いた距離に相互に関係する、関係するゲーム空間内の一人のユーザー（例えば、ユーザーＣ）のみを示す。追加的に、ユーザーの継続的な下向きへの、既定の閾値期間より長い期間の視線変更は、ゲーム処理モジュールに、外部カメラによって捕捉されるテーブルランプ、テーブル、ゲームコンソール、等々などの現実世界の対象物の少なくともある部分に焦点を合わせさせる。ゲーム空間内の対象物の距離、場所、角度、等々と、現実世界からの対象物は、監視カメラ及び外部カメラによって捕捉される通りの、ユーザーの前方への動き及び下向きの視線変更を考慮に入れることによりＨＭＤのスクリーン上にレンダリングされる。したがって、対象物（現実の対象物及びバーチャルの対象物の両方）は、対象物をユーザー１０８のより近くに表させる様式でレンダリングされる。図４Ｃに図示される実施例では、ＨＭＤスクリーンは、非透過モードから半透過モードへと移行したと考えられる。いくつかの実施形態では、バーチャルゲーム対象物は背景へとフェードアウトされ、現実世界の対象物に焦点が当てられる（すなわち、前景になる）。代替的な実施形態では、現実世界の対象物は背景へとフェードアウトされ、バーチャルゲーム対象物に焦点が当てられる（すなわち、前景になる）。
一実施形態では、非透過モードから半透過モードへの移行は、ユーザーが、ゲームプレイからのゲームシーンを含む、ＨＭＤのディスプレイスクリーン上にレンダリングされたコンテンツを注視／コンテンツと相互作用するための安全地帯を提供するために、ＨＭＤにおいて開始される場合がある。例えば、ビデオゲームのゲームプレイに完全に浸り込んでいるユーザーが、まだビデオゲームプレイに参加している間に室内で動き回る場合がある。結果として、このユーザーは、壁、ランプ、テーブル、椅子、ソファー、ベッド、コード、ペット、人、等々などの室内の対象物により近くなる場合がある。ユーザーが対象物にぶつかる、ＨＭＤの電線／コードが絡まる、けがをする、または対象物を損傷するのを避けるために、ＨＭＤ内のゲーム処理モジュールは、ユーザーの対象物への近接を検出する。ユーザーの動き及び行為に応答して、システムは、例えば、ユーザーが対象物に近づいたときに、ＨＭＤのディスプレイスクリーンの、非透過モードから半透過モードへの移行を開始する場合がある。半透過モードでは、ゲーム処理モジュールは、ユーザーにユーザーの動きの方向にある対象物の存在及び近接を示すために、現実世界からの対象物を、ＨＭＤのディスプレイスクリーン上にレンダリングされるゲームシーンの中に混ぜ込む、または持ち込む。一実施例では、ディスプレイスクリーン内にレンダリングされる対象物のサイズ及び近接は、ユーザーに対する現実世界の対象物の相対的な近接と比例する場合がある。一実施形態では、現実世界の対象物は、図４Ｃに図示されるように、点線で示される輪郭線の形態でレンダリングされる場合がある。この輪郭線の形態は、グレイアウト形態、破線形態、輪郭線の形態、ゴースト形態、半透過形態、または完全に視認可能な提示とすることができる。一実施形態では、ゲーム処理モジュールは、ユーザーが室内の対象物に対して近すぎるところに移動したとき、この移行に加えて、ＨＭＤユーザーに対して警告サインを発する場合がある。警告サインは、オーディオ形式、触覚形式、ビジュアル形式、またはこれらの任意の組合せであってもよい。したがって、ゲーム処理モジュールは、安全のために使用されてもよく、システムは、ユーザー及びユーザーのすぐそばの周囲の中の環境対象物の安全を確保しながら、ユーザーの視認経験を豊かなものにすることができる。一実施形態では、現実世界の対象物を捕捉するために使用されるカメラは、深度感知カメラ、通常のＲＧＢカメラ（三原色成分、すなわちレッド、ブルー、グリーンを３本の異なる電線に提供する）、またはユーザーから対象物への近接、奥行、及び距離を識別することができる超音波センサー、またはこれらの任意の組合せであってもよい。
図４Ｄは、ユーザー１０８が、ゲームのゲーム空間内のゲーム対象物との、３Ｄインタラクティブな経験に浸り込むときの、ユーザー１０８のＨＭＤのスクリーン上にレンダリングされたゲーム空間を図示する。一実施形態では、ユーザーは、コントローラー手袋３３５を使用してゲーム対象物と相互作用する。一実施形態では、コントローラー手袋３３５は、ゲーム対象物とのゲーム相互作用の間に、ユーザーに触覚的なフィードバックを提供し、よりリアルなゲーム経験を提供するように構成される。いくつかの実施形態では、コントローラー手袋は、ＬＥＤライト、または他のトラッキング可能な対象物／マーキング、等々、などのマーカーエレメント３３５−ａを含み、インタラクティブなゲームプレイの間にカメラ（外部及び監視）が指／手の動きを検出することができるようにする。コントローラー手袋は、ＨＨＣとして作用し、これらはワイヤレス通信プロトコルを使用してコンピューター及びＨＭＤと通信する。通信は、手袋にフィードバックを提供する受信指導データも含む場合がある。コントローラー手袋は、ユーザーが使用することができるインタラクティブな対象物の一実施例である。３Ｄインタラクティブな経験に浸り込むためにユーザーが使用することができる他のインタラクティブな対象物としては、衣服、靴、または他のウェアラブル衣料品、ウェアラブルデバイス、または保持可能な対象物が挙げられる。図４Ｄは、コントローラー手袋３３５を使用して、ゲーム空間内でユーザーＢと相互作用しているユーザー１０８を図示する。ゲーム処理モジュールは、ゲーム空間内でコントローラー手袋の存在を検出し、ユーザーＢの手の場所と相互に関係する場所にコントローラー手袋（現実世界の対象物）をはめたユーザーの手の画像を提供するように、ＨＭＤスクリーンを非透過モードから半透過モードへと移行する。スクリーンの関連する部分のこの移行は、ユーザー１０８が実際に３Ｄ空間内でユーザーＢと相互作用しているように見せかける。
別の実施形態では、移行は、ユーザー１０８の近くまたはユーザー１０８のＨＭＤに統合または連結されたマイクロフォンの近くで検出される音に応答して、トリガーされる場合がある。追加的に、移行は、ユーザーを起源とする、ユーザーの近くの他のユーザーを起源とする、ユーザーの近くの他の対象物を起源とする、ＨＭＤ上で実行中のアプリケーション（ピーン音、テキスト、電子メール、電話、メッセージ、等々などの）を起源とする、音声または他の聴覚的なコマンドなどの明示的なコマンドによってトリガーされる場合がある。トリガーイベントに応答して、ＨＭＤのゲーム処理モジュールは、オーディオ検知技術を使用してトリガーイベントが発生した方向を決定し、その視準線と一致した対象物またはシーンを識別し、ＨＭＤのスクリーンの対応する部分内に対象物またはシーンのビジュアルを提供する。スクリーンは、インタラクティブなゲームシーンに対象物をレンダリングすることによって非透過モードから半透過へ、またはインタラクティブなゲームシーンをユーザーの近くからの現実世界環境からの画像に置き換えることによって非透過モードから模擬透過モードへと移行される。トリガーイベントは、ユーザーがゲーム内に浸り込み続けるのを可能にする一方で、現実世界の状況への覗き見の視認を提供する。移行をトリガーするイベントの方向は、三角測量技術を使用して、オーディオ検知技術を使用して、正確に判定される場合があり、オーディオ検知技術からの情報を使用して、外部カメラ及び監視カメラ（複数可）を使用して対象物を識別する。監視カメラは、トリガー（部屋に入る人、ＨＭＤのユーザー／マイクロフォンの近くで検出される音、等々などの）に対するユーザーの相対的な位置及び方向を特定するために、ＨＭＤの外側表面上に設置されたＬＥＤなどのマーカーエレメントを使用することができる場合がある。トリガーの場所／方向と相互に関係する、図４ＥのＴＲ１〜ＴＲ９によって表される領域などの、ＨＭＤのスクリーンの任意の部分または領域は、非透過モードから半透過モードに移行される場合がある。
いくつかの実施形態では、非透過モードから透過モード（すなわち、半透過モード、模擬透過モード、または完全透過モード）への移行は、線形的な様式または非線形的な様式のいずれかで、段階的な増分で行われる場合がある。スクリーンの一部の非透過モードから半透過モードへの移行は、任意の形態のフェーディングを使用して実施される場合があり、移行が発生するとき、オーディオ、触覚、または他の形態のフィードバックが、ユーザーに提供されてもよい。ＨＭＤによってレンダリングされたシーンに応じて、ユーザーによって保持されている対象物に応じて、ユーザーの視線方向に応じて、検出されたオーディオ／動き信号に応じて、またはユーザーがＨＭＤを使用している環境に応じて、非透過から半透過へと移行する区域または領域が動的に設定される場合がある。ＨＭＤ内のスクリーンのある特定の部分の移行は、ユーザーが、現実世界と仮想世界との間の接続を確立するのを可能にする。したがって、仮想対象物を含む仮想世界で生じる行為に関係する現実世界の物理的な対象物が関与する現実世界での行為がある場合、システムは、仮想世界の中から現実世界の透過的なバージョンをユーザーが見ることができるようにすることによって、現実世界での行為と仮想世界での行為とを一緒にすることを試みるやり方を提供する。さらに、システムは、ユーザーに現実世界の認識を提供するために、仮想世界に結び付けられていない物理的な対象物が関与する現実世界での行為をレンダリングするやり方を提供する場合がある。
一実施形態では、非透過モードから半透過モードへの移行は、インタラクティブなゲームのゲームプレイでのユーザーの相互作用に応答する場合がある。例えば、第１のユーザーは、第２のプレーヤーがいる、マルチプレーヤーゲームに参加している場合がある。この実施形態では、第１のプレーヤーが対象物または領域を指差すと、ゲーム処理モジュールは第１のユーザーが指差している方向を検出することができ、指差している方向の対象物またはシーンを判定することができ、対象物またはシーンの適切なビューを第２のプレーヤーに半透過モードで提供することができる。この実施形態では、この対象物またはシーンは、現実世界の対象物／シーンでの対象物／シーンとすることができる。この実施形態では、ゲーム処理モジュールは、第１のプレーヤー及び第２のプレーヤーのＨＭＤ上に設置された外部カメラならびに１つ以上の監視カメラからの入力を受信して、指差している方向の空間内の複数の点をトラッキングする。これにより、対象物に対する２人のプレーヤーのビューの間の角度を判定することができ、次いで三角測量技法を使用して第２のプレーヤーのＨＭＤにレンダリングするために、適切な３Ｄ画像を捕捉することができる。一実施形態では、第２のプレーヤーに提示された対象物またはシーンのビューは、第２のプレーヤーによって見られる／視認される通りの、現実世界での第２のプレーヤーの位置、及び対象物／シーンのビューに相互に関係する。
いくつかの実施形態では、システムは、ユーザーがスクリーンのある特定の部分を利用していること、及びゲームで生じる行為が現在レンダリングされているスクリーンの主要な部分をあまり利用していないことを検出する場合がある。ユーザーの注意が向けられているスクリーンの部分は、この時点で生じている著しいゲーム行為を一切有していない場合がある。これらの実施形態では、システムは、ユーザーの興味及び焦点がゲームから変更されていて、ＨＭＤスクリーン上へのビデオゲームの演出を休止してもよいことを判定する場合がある。追加的に、システムは、ゲームクラウドに休止信号を送ってゲームプログラムの実行を休止する場合がある。この実施形態では、ゲーム処理モジュールは、スクリーンの光学特性をクリア設定に調節することによって、ユーザーがプレーヤーの近くの環境内の現実世界の対象物を視認することができるように、スクリーン全体を非透過モードから完全透過モードへと移行する場合がある。代替的な実施形態では、ゲーム処理モジュールは、現実世界の画像を捕捉して、ゲームのインタラクティブなシーンを捕捉された現実世界の画像と置き換えることによって、スクリーン全体を非透過モードから模擬透過モードへと移行する場合がある。非透過モードから完全透過モードまたは模擬透過モードへの移行は、ユーザーがバーチャル環境から現実世界環境へと移行できるように、ユーザーのＨＭＤのスクリーン上にレンダリングされるゲームプレイの激しさに応じて段階的に行われる場合がある。
一実施形態では、システムは、ユーザーの興味／焦点の変更を検出して、ユーザーにゲームを休止するオプションを提供する場合がある。このゲームを休止するオプションは、ボタンの起動、音声コマンド、目の信号、オーディオコマンド、等々の形態で提供される場合がある。休止オプションを提供することに加えて、ユーザーが休止オプションを選択したときにユーザーがゲームを離れた時点から、ユーザーがゲームにアクセス及び浸り込むことを可能にする、再開オプションも提供される場合がある。再開オプションは、休止オプションと同様の形態、または異なる形態で提供される場合がある。
いくつかの実施形態では、非透過モードから透過モード（例えば、半透過モード、完全透過モード、または模擬透過モード）への移行後、ゲーム処理モジュールは、所定の時間期間の完了後、スクリーンの一部を非透過モードに戻す場合がある。いくつかの実施形態では、非透過モードから透過モードへ、そして非透過モードへ戻る移行は、ユーザー行為に応答して行われる場合がある。例えば、ユーザーが主ゲーム区域とスクリーンの特定の一部（下部、左側、右側、上部、等々など）との間を行ったり来たりして眺める場合、ゲーム処理モジュールは、この行ったり来たりするユーザーの視線の動きが視線パターンを確立することを検出する。視線パターンに基づいて、ゲーム処理モジュールは、ユーザーの確立された視線パターンに合わせて、スクリーンの適切な部分を、非透過モードと、半透過モード（現実世界のシーンがインタラクティブなシーンとともに提示される）または模擬透過モード（少なくとも現実世界のシーンからの対象物の一部分がインタラクティブなシーンの少なくとも一部を置き換える）との間で切り換える。したがって、スクリーンの下部部分は、ユーザーの視線が下向きに向いたとき、ユーザーの手の中にあるＨＨＣをレンダリングする場合があり、ユーザーの視線を上向きに変更すると、ゲームプログラムからのインタラクティブなゲームシーンがレンダリングされ、これによってユーザーに、よりリアルな移行効果を提供する。一実施形態では、検出されたユーザーの視線の変更が、既定の閾値の値（すなわち、ユーザーの視線が少なくとも３秒間または５秒間の間変更されている）を超えていることを確認した後、スクリーンのある特定の部分の、非透過モードから半透過モードまたは模擬透過モードへの切り替えが実施される場合がある。
代替的には、移行をトリガーしたイベントが平常状態、または安定状態のいずれかに戻り、もはや利用可能ではない場合、または一定の期間が終了した後、半透過から非透過モードへの移行が発生する場合がある。例えば、人が室内に歩いて入ってきたために移行が発生した事例では、その人が部屋から出て行ったとき、またはそのシーンに少なくとも既定の閾値の値で定義された所定の時間期間だけ留まっているとき、非透過モードへ戻る移行が発生する場合がある。
一実施形態では、激しさが強いゲームに完全に浸り込んでいるユーザーが、ゲームから意図的に離れることによって、平常状態になりたいとき、非透過モードから完全透過モードへの移行が発生する場合がある。この場合、非透過モードから完全透過モードへの移行は、ユーザーを激しさの変化に順応させるために線形的な段階的な増分でなされる場合がある。この移行の間に、ゲーム処理モジュールは、ＨＭＤスクリーンの光学特性を不透明／ダーク設定からクリア設定へと段階的に移動するように調節する場合がある。代替的に、ゲーム処理モジュールは、ユーザーのすぐそばの環境の現実世界のシーンを受信及びレンダリングすることによって、非透過モードから模擬透過モードへの移行を実施する場合がある。この実施形態では、ゲーム処理モジュールは、ＨＭＤのスクリーンが完全に完全に透明に変わったと見せかけるために、インタラクティブなシーンを現実世界のシーンの捕捉された画像で段階的に置き換えることを実施する場合がある。ユーザー行為を通して提供されたトリガーイベントから意図的に離れるのに応答して、現実世界のシーンがカメラによって捕捉される場合がある。
光学スクリーン上にレンダリングされている画像の、非透過モードから半透過モード、模擬透過モード、または完全透過モードへの移行の間の段階的な変化は、ユーザーが激しさの強いゲームに完全に浸り込んでいて、視線の変更が、激しさの強いシーンから現実世界の激しさの少ないシーン、または静止したシーンへと強制的に移行させるとき、特に有用である。
図５は、ヘッドマウントディスプレイのスクリーン上に提示するゲームを実行するための、本発明の一実施形態での方法動作を図示する。方法は、動作５１０で開始され、ゲームが実行される。ゲームはコンピューター上で実行されてもよく、またはゲームクラウド上で実行されてもよい。ゲームが実行されると、ゲームのインタラクティブなシーンが、ＨＭＤのスクリーン上にレンダリングされる。インタラクティブなシーンには、仮想対象物、仮想環境、及びゲームの進行にともなう仮想対象物／仮想環境の変化が含まれる。インタラクティブなシーンに対するメディアデータは、コンピューターまたはゲームクラウドからストリーミングされる。
動作５２０に図示されるように、ゲームの進行にともない、ＨＭＤを着用しているユーザーの視線方向の変更が検出される。ユーザーの視線方向を監視するためのＨＭＤの内側の利用可能な１つ以上の内蔵カメラが、ゲームプレイの間に使用される場合があり、ユーザーの視線方向の画像をＨＭＤのゲーム処理モジュールに提供する。ゲーム処理モジュールは、内蔵カメラからの画像を受信し、ユーザーの視線方向の変更を検出する。ゲーム処理モジュールは、視線方向の変更をさらに解析して、この変更が少なくとも既定の閾値期間にわたっているかどうかを判定する場合がある。視線の変更が少なくとも既定の閾値期間にわたっていることが判定された場合、ゲーム処理モジュールは、ＨＭＤの前を向いたカメラに視線方向と一致する現実世界の画像を捕捉するように指示する。
動作５３０に図示されるように、ゲーム処理モジュールは、ＨＭＤの前方を向いたカメラから捕捉される現実世界の画像を受信する。現実世界の画像は、トリガーイベント（視線の変更などの）に応答して捕捉される。視線の変更は、ＨＭＤを着用しているユーザーの近くの現実世界環境の画像の捕捉を生じさせるトリガーイベントの１つのタイプである。他のトリガーイベントも、ＨＭＤを着用しているユーザーのすぐ近くからの現実世界環境の画像の捕捉を生じさせる。いくつかの実施形態では、ユーザーの近くの現実世界環境の画像を捕捉する代わりに、ゲーム処理モジュールは、ゲームシーンを識別する場合があり、ゲームシーンは、ユーザーの視線の変更の方向にあり、これをＨＭＤのスクリーンに提供する場合がある。
動作５４０に図示されるように、移行によって現実世界の対象物の少なくとも一部分の画像がゲームのインタラクティブなシーンとともにスクリーンの一部に提示されるように、ＨＭＤのスクリーンの一部は半透過モードに移行される。この移行は、段階的な増分で行われてもよい。いくつかの実施形態では、現実世界環境からの対象物の画像は、現実世界環境の対象物が前景にレンダリングされ、インタラクティブなシーンが背景にレンダリングされるように、ＨＭＤスクリーンの一部にレンダリングされる。他の実施形態では、現実世界環境からの対象物の画像は、現実世界環境の対象物が背景にレンダリングされ、インタラクティブなシーンが前景にレンダリングされるように、ＨＭＤスクリーンの一部にレンダリングされる。動作５５０に図示されるように、透過モードは、一定の期間後中断される場合がある。透過モードの中断は、ＨＭＤスクリーンの非透過モードへの切り換えを生じさせ、ゲームのインタラクティブなシーンは、ＨＭＤスクリーン内にレンダリングされる。非透過モードへの切り換えは、ユーザーがゲーム内に完全に浸り込むことができるようにする一方で、透過モードへの移行は、ユーザーがゲーム内に浸り込み続けながら、現実世界への覗き見を提供する。
図６は、本発明のいくつかの実施形態を実施するために使用されるハードウェア及びユーザーインターフェースを図示する。図６は、Ｓｏｎｙ（登録商標）プレイステーション３（登録商標）エンターテイメントデバイスの全体的なシステムアーキテクチャを概略的に図示する。プレイステーションの他のバージョンは、より多くのまたはよりすくない特徴を含む場合がある。システムユニット１３００は、システムユニット１３００に接続可能な様々な周辺デバイスを含んで提供される。システムユニット１３００は、Ｃｅｌｌプロセッサ１３０２と、Ｒａｍｂｕｓ（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット１３０４と、専用のビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット１３０８付きのＲｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックユニット１３０６と、Ｉ／Ｏブリッジ１３１０と、を含む。システムユニット１３００は、Ｉ／Ｏブリッジ１３１０を通してアクセス可能な、ディスク１３１２ａから読み取るためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ（登録商標）光ディスクリーダー１３１２と、着脱可能なスロットインハードディスクドライブ（ＨＤＤ）１３１４と、も備える。所望により、システムユニット１３００は、コンパクトフラッシュ（登録商標）メモリカード、メモリースティック（登録商標）メモリカード、及び同様のものを読み取るための、同様にＩ／Ｏブリッジ１３１０を通してアクセス可能な、メモリカードリーダー１３０１も備える。
Ｉ／Ｏブリッジ１３１０は、６つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート１３１６と、ギガビットイーサネットポート１３１８と、ＩＥＥＥ ８０２．１１ｂ／ｇワイヤレスネットワーク（Ｗｉ−Ｆｉ（登録商標））ポート１３２０と、最高７つのブルートゥース（登録商標）接続をサポートする能力があるブルートゥース（登録商標）ワイヤレスリンクポート１３２２と、にも接続する。
動作時には、Ｉ／Ｏブリッジ１３１０は、１つ以上のゲームコントローラー１１０及び１３２４からのデータを含む、すべてのワイヤレス、ＵＳＢ、及びイーサネットデータ、を処理する。例えば、ユーザーがゲームをプレイしているとき、Ｉ／Ｏブリッジ１３１０は、ブルートゥース（登録商標）リンクを介してゲームコントローラー１１０及び１３２４からのデータを受信し、現在のゲームの状態を適宜に更新するＣｅｌｌプロセッサ１３０２へと向ける。
ワイヤレス、ＵＳＢ、及びイーサネットポートは、ゲームコントローラー１１０及び１３２４に加えて、リモートコントロール１３２６、キーボード１３２８、マウス１３３０、ソニーＰＳＰ（登録商標）エンターテイメントデバイスなどのポータブルエンターテイメントデバイス１３３２、プレイステーション（登録商標）Ｅｙｅ Ｃａｍｅｒａ１３３４などのビデオカメラ、図形オブジェクト１３３６、ならびにマイクロフォン１３３８などの他の周辺デバイスに対する接続性も提供する。したがって、かかる周辺デバイスは、原則としてシステムユニット１３００にワイヤレスで接続されていてもよく、例えば、ポータブルエンターテイメントデバイス１３３２は、Ｗｉ−Ｆｉ（登録商標）アドホック接続を介して通信してもよいが、図形オブジェクト１３３６は、ブルートゥース（登録商標）リンクを介して通信してもよい。
これらのインターフェースを提供することは、プレイステーション３デバイスが、デジタルビデオレコーダー（ＤＶＲ）、セットップボックス、デジタルカメラ、ポータブルメディアプレーヤー、ＶｏＩＰ電話、携帯電話、プリンター、及びスキャナーなどの他の周辺デバイスとも潜在的に対応していることも意味する。加えて、旧式メモリカードリーダー１３４０は、ＵＳＢポート１３１６を介してシステムユニットに接続される場合があり、プレイステーション（登録商標）またはプレイステーション２（登録商標）デバイスによって使用される種類のメモリカードを読み取ることができる。
ゲームコントローラー１１０及び１３２４は、ブルートゥース（登録商標）リンクを介してシステムユニット１３００とワイヤレスで通信するか、またはＵＳＢポートに接続され、これによってゲームコントローラー１１０及び１３２４のバッテリーを充電する電源も提供されるように動作可能である。ゲームコントローラー１１０及び１３２４は、メモリ、プロセッサ、メモリカードリーダー、恒久メモリ（フラッシュメモリなどの）、発光素子（照光された球形部分、発光ダイオード（ＬＥＤ）、または赤外線ライトなどの）、マイクロフォンとスピーカー（超音波通信用の）、アコースティックチャンバ、デジタルカメラ、内部クロック、ゲームコンソールに対向する認識可能な形状、及びブルートゥース（登録商標）、ＷｉＦｉ（登録商標）、等々のプロトコルを使用したワイヤレス通信も含むことができる。認識可能な形状は、実質的に、球、立方体、平行四辺形、直角平行６面体、円錐、角錐、サッカーボール、アメリカンフットボール、もしくはラグビーボール、不完全な球体、球の一部、切頭角錐、切頭円錐、野球のバット、切頂立方体、多面体、星形、等々、またはこれらの形状の２つ以上の組合せの形状とすることができる。
ゲームコントローラー１３２４は、両手で使用するように設計されたコントローラーであり、ゲームコントローラー１１０は、ボールアタッチメント付きの片手用コントローラーである。１つ以上のアナログジョイスティック及び従来のコントロールボタンに加えて、ゲームコントローラーは、３次元場所判定に対する感受性がある。この結果、従来のボタンまたはジョイスティックコマンドに加えて、あるいはこれらの代わりに、ゲームコントローラーのユーザーによるジェスチャー及び動きが、ゲームへの入力として変換されてもよい。所望により、ソニーＰＳＰ（登録商標）ポータブルデバイスなどの他のワイヤレスで利用可能な周辺デバイスをコントローラーとして使用してもよい。ソニーＰＳＰ（登録商標）ポータブルデバイスの場合、追加的なゲーム情報または制御情報（例えば制御命令またはライフの数）がデバイスのスクリーン上に提供される場合がある。ダンスマット（図示せず）、ライトガン（図示せず）、ハンドルとペダル（図示せず）、または即答クイズゲームのための単一もしくはいくつかの大型のボタン（これも図示せず）などの特注品のコントローラーなどの、他の代替的または補助的な制御デバイスも使用されてもよい。
リモートコントロール１３２６も、ブルートゥース（登録商標）リンクを介してシステムユニット１３００とワイヤレスで通信するように動作可能である。リモートコントロール１３２６は、ブルーレイ（商標）ディスクＢＤ?ＲＯＭリーダー１３１２の動作及びディスクの内容の閲覧のために適した制御を備える。
ブルーレイ（商標）ディスクＢＤ−ＲＯＭリーダー１３１２は、従来の記録済みＣＤ及び記録可能ＣＤ、ならびにいわゆるスーパーオーディオＣＤに加えて、プレイステーション及びプレイステーション２デバイスに対応しているＣＤ?ＲＯＭを読み出すように動作可能である。リーダー１３１２は、従来の記録済みＤＶＤ及び記録可能ＤＶＤに加えて、プレイステーション２及びプレイステーション３デバイスに対応しているＤＶＤ?ＲＯＭを読み出すようにも動作可能である。さらにリーダー１３１２は、従来の記録済みブルーレイディスク及び記録可能ブルーレイディスクだけでなく、プレイステーション３デバイスに対応しているＢＤ−ＲＯＭを読み出すように動作可能である。
システムユニット１３００は、Ｒｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックユニット（ＲＳＸ）１３０６を介して、プレイステーション３デバイスによって作り出されたまたはデコードされたオーディオ及びビデオを、オーディオコネクター及びビデオコネクターを通して、ディスプレイ１３４６及び１つ以上のラウドスピーカー１３４８またはスタンドアローンスピーカー１３５０を有する、ディスプレイ及び音声出力デバイス１３４２（モニターまたはテレビ受像機などの）に供給するように動作可能である。一実施形態では、音声及び視線入力は、ユーザーのＰＯＧに従って、特定のオーディオスピーカーに向かって音を再生するために利用される。オーディオコネクター１３５８は、従来のアナログ出力及びデジタル出力を含む一方で、ビデオコネクター１３６０は、コンポーネントビデオ、Ｓ?ビデオ、コンポジットビデオ、及び１つ以上の高品位マルチメディアインタフェース（ＨＤＭＩ（登録商標））出力などを種々含む場合がある。この結果、ビデオ出力は、ＰＡＬもしくはＮＴＳＣ、または７２０ｐ、１０８０ｉもしくは１０８０ｐの高解像度などのフォーマットであってもよい。
オーディオ処理（生成、デコードなど）はＣｅｌｌプロセッサ１３０２によって実施される。プレイステーション３デバイスのオペレーティングシステムは、ドルビー（登録商標）５．１サラウンドサウンド、ドルビー（登録商標）シアターサラウンド（ＤＴＳ）、及びブルーレイ（登録商標）ディスクからの７．１サラウンドサウンドのデコードに対応している。
本実施形態では、ビデオカメラ１３３４は、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、ならびにハードウェアベースのリアルタイムデータ圧縮及びエンコード装置を備え、これにより圧縮ビデオデータが、システムユニット１３００によるデコードのために、イントラ画像ベースのＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）標準などの適切なフォーマットで送信されてもよい。カメラのＬＥＤインジケータは、例えば不利な照明条件の知らせなどの、システムユニット１３００からの適切な制御データに応答して発光するように配設されている。ビデオカメラ１３３４の実施形態は、ＵＳＢ、ブルートゥース（登録商標）、またはＷｉ−Ｆｉ（登録商標）通信ポートを介してシステムユニット１３００に様々に接続する場合がある。ビデオカメラの実施形態は、１つ以上の関連するマイクロフォンを含んでいる場合があり、かつオーディオデータを送信する能力を有している場合もある。ビデオカメラの実施形態では、ＣＣＤは、高解像度のビデオ捕捉に好適な分解能を有する場合がある。使用時には、ビデオカメラによって捕捉された画像は、例えば、ゲーム内に取り込まれるか、またはゲーム制御入力として解釈される場合がある。別の実施形態では、カメラは、赤外線ライトの検出に好適な赤外線カメラである。
一般に、システムユニット１３００の通信ポートの１つを介して、ビデオカメラまたはリモコン等などの周辺機器とのデータ通信がうまく行われるように、デバイスドライバなどの適切なソフトウェアが提供されるべきである。デバイスドライバ技術は公知であり、ここでは詳細に説明しないが、言うまでもなく、デバイスドライバまたは同様のソフトウェアインタフェースが、記載される本実施形態で必要である場合があることを当業者は認識するであろう。
図７は、本発明の様々な実施形態によるゲームシステム１１００のブロック図である。ゲームシステム１１００は、１つ以上のクライアント１１１０にネットワーク１１１５を介してビデオストリームを提供するように構成される。ゲームシステム１１００は、典型的には、ビデオサーバーシステム１１２０と、所望によるゲームサーバー１１２５と、を含む。ビデオサーバーシステム１１２０は、１つ以上のクライアント１１１０にビデオストリームを最低限のサービス品質で提供するように構成される。例えば、ビデオサーバーシステム１１２０は、ビデオゲーム内のビューの状態または場所を変更するゲームコマンドを受信し、クライアント１１１０にこの状態の変化を反映して更新したビデオストリームを、最低限の遅れ時間で提供する場合がある。ビデオサーバーシステム１１２０は、未だ定義されていないフォーマットを含む、多種多様な代替的なビデオフォーマットでビデオストリームを提供するように構成される場合がある。さらに、ビデオストリームは、ユーザーに対して多種多様なフレームレートで提示するために構成されたビデオフレームを含む場合がある。典型的なフレームレートは、３０フレーム毎秒、６０フレーム毎秒、及び１１２０フレーム毎秒である。しかし、本発明の代替的な実施形態では、より高いまたはより低いフレームレートも含まれる。
本明細書で個別に参照するクライアント１１１０である、１１１０Ａ、１１１０Ｂ、等々は、ヘッドマウントディスプレイ、ターミナル、パーソナルコンピューター、ゲームコンソール、タブレットコンピューター、電話、セットトップボックス、キオスク、ワイヤレスデバイス、デジタルパッド、スタンドアローンデバイス、ハンドヘルドゲームプレイングデバイス、及び／または同様なものを含む場合がある。典型的には、クライアント１１１０は、エンコードしたビデオストリームを受信し、ビデオストリームをデコードし、結果として得られたビデオをユーザー（例えばゲームのプレーヤー）に提示するように構成される。エンコードしたビデオストリームを受信するプロセス、及び／またはビデオストリームをデコードするプロセスは、典型的には、個別のビデオフレームをクライアントの受信バッファに保存することを含む。ビデオストリームは、ユーザーに対して、クライアント１１１０と一体化されたディスプレイ上に、またはモニターまたはテレビ受像機などの別個のデバイス上に提示される場合がある。クライアント１１１０は、所望により、２人以上のゲームプレーヤーをサポートするように構成される。例えば、ゲームコンソールは、２人、３人、４人、またはより多くのプレーヤーを同時にサポートするように構成される場合がある。これらのプレーヤーのそれぞれは、別個のビデオストリームを受信する場合があり、または単一のビデオストリームが、それぞれのプレーヤーのために特定的に作り出された、例えば、それぞれのプレーヤーの視点に基づいて作り出された、フレームの領域を含む場合がある。クライアント１１１０は、所望により、地理的に分散している。ゲームシステム１１００に含まれるクライアントの数は、１つ、２つから、数千、数万、またはそれ以上と幅広く異なる場合がある。本明細書で使用される場合、「ゲームプレーヤー」という用語は、ゲームをプレイする人を指すために使用され、「ゲームプレイングデバイス」という用語は、ゲームをプレイするために使用されるデバイスを指すために使用される。いくつかの実施形態では、ゲームプレイングデバイスは、連動してユーザーにゲーム経験を届ける、複数のコンピューティングデバイスを指す場合がある。例えば、ゲームコンソールとＨＭＤとは、ＨＭＤを通して視認されるゲームを届けるためにビデオサーバーシステム１１２０と連携する場合がある。一実施形態では、ゲームコンソールは、ビデオサーバーシステム１１２０からビデオストリームを受信し、ゲームコンソールはこのビデオストリームまたはビデオストリームに対する更新を、レンダリングするためにＨＭＤへと転送する。
クライアント１１１０は、ネットワーク１１１５を介してビデオストリームを受信するように構成される。ネットワーク１１１５は、電話ネットワーク、インターネット、ワイヤレスネットワーク、電力線ネットワーク、ローカルエリアネットワーク、広域ネットワーク、プライベートネットワーク、及び／または同様なものを含む任意のタイプの通信ネットワークとすることができる。典型的な実施形態では、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどの標準的なプロトコルを介して通信される。代替的には、ビデオストリームは、占有基準を介して通信される。
クライアント１１１０の典型的な例は、プロセッサと、不揮発性メモリと、ディスプレイと、デコーディングロジックと、ネットワーク通信能力と、入力デバイスとを備える、パーソナルコンピューターである。デコーディングロジックは、ハードウェア、ファームウェア、及び／またはコンピューター可読媒体上に保存されたソフトウェアを含む場合がある。ビデオストリームをデコード（及びエンコード）するためのシステムは、当該技術分野では周知であり、使用される特定のエンコーディングスキームに依存して変化する。
クライアント１１１０は、受信したビデオを修正するように構成されたシステムをさらに含む場合があるが、これは要求されない。例えば、クライアントは、さらにレンダリングする、１つのビデオ画像を別のビデオ画像の上にオーバーレイする、ビデオ画像をクロップする、及び／または同様のことを実施するように構成される場合がある。例えば、クライアント１１１０は、様々なタイプのビデオフレーム（Ｉ−フレーム、Ｐ−フレーム、及びＢ−フレームなどのような）を受信し、かつこれらのフレームをユーザーに対して表示するために画像へと処理するように構成される場合がある。いくつかの実施形態では、クライアント１１１０のメンバーは、ビデオストリームにさらなるレンダリング、シェーディング、３-Ｄへの変換、または同様の動作を実施するように構成される。クライアント１１１０のメンバーは、所望により２つ以上のオーディオまたはビデオストリームを受信するように構成される。クライアント１１１０の入力デバイスは、例えば、片手ゲームコントローラー、両手ゲームコントローラー、ジェスチャー認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、フォースフィードバックデバイス、動き及び／または位置検知デバイス、マウス、タッチスクリーン、ニューラルインターフェース、カメラ、未だ開発されていない入力デバイス、及び／または同様のものを含む場合がある。
クライアント１１１０によって受信されるビデオストリーム（及び、所望によりオーディオストリーム）は、ビデオサーバーシステム１１２０によって作り出され、かつ提供される。本明細書の何れかにさらに記載するように、このビデオストリームは、ビデオフレームを含む（及びオーディオストリームは、オーディオフレームを含む）。ビデオフレームは、ユーザーに表示される画像に有意に寄与するように構成される（例えば、ビデオフレームは、適切なデータ構造の中にピクセル情報を含む）。本明細書で使用される場合、「ビデオフレーム」という用語は、主としてユーザーに対して示される画像に寄与する（例えば、影響を与える）ように構成される情報を含むフレームを指すように使用される。本明細書の、「ビデオフレーム」に関するほとんどの教示は、「オーディオフレーム」にも適用することができる。
クライアント１１１０は、典型的には、ユーザーからの入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変化させるように、または別の方法でゲームプレイに影響を与えるように構成されるゲームコマンドを含む場合がある。ゲームコマンドを、入力デバイスを使用して受信することができ、かつ／またはゲームコマンドを、クライアント１１１０上で実行する命令を演算することによって自動的に作り出す場合がある。受信したゲームコマンドは、クライアント１１１０から、ネットワーク１１１５を介して、ビデオサーバーシステム１１２０及び／またはゲームサーバー１１２５へ通信される。例えば、いくつかの実施形態では、ゲームコマンドは、ビデオサーバーシステム１１２０を介してゲームサーバー１１２５へ通信される。いくつかの実施形態では、ゲームコマンドの別個のコピーが、クライアント１１１０から、ゲームサーバー１１２５及びビデオサーバーシステム１１２０へ通信される。ゲームコマンドの通信は、所望によりコマンドの識別情報に依存する。ゲームコマンドは、所望によりクライアント１１１０Ａから、オーディオまたはビデオストリームをクライアント１１１０Ａに提供するために使用される異なるルートまたは通信チャネルを通して通信される。
ゲームサーバー１１２５は、所望によりビデオサーバーシステム１１２０とは異なるエンティティによって動作される。例えば、ゲームサーバー１１２５は、マルチプレーヤーゲームの発行元によって動作される場合がある。この例では、ビデオサーバーシステム１１２０は、所望により、ゲームサーバー１１２５によってクライアントとして見られ、所望によりゲームサーバー１１２５の視点から先行技術のゲームエンジンを実行する先行技術のクライアントであることを表すように構成される。ビデオサーバーシステム１１２０とゲームサーバー１１２５との間の通信は、所望によりネットワーク１１１５を介して発生する。そのため、ゲームサーバー１１２５は、ゲーム状態情報を複数のクライアントに送る、先行技術のマルチプレーヤーゲームサーバーとすることができ、複数のクライアントのうちの１つが、ゲームサーバーシステム１１２０である。ビデオサーバーシステム１１２０は、ゲームサーバー１１２５の複数のインスタンスと同時に通信するように構成される場合がある。例えば、ビデオサーバーシステム１１２０は、複数の異なるビデオゲームを異なるユーザーに提供できるように構成することができる。これらの異なるビデオゲームのそれぞれは、異なるゲームサーバー１１２５によってサポートされる場合があり、かつ／または異なるエンティティによってパブリッシュされる場合がある。いくつかの実施形態では、いくつかの地理的に分散したビデオサーバーシステム１１２０のインスタンスは、ゲームビデオを複数の異なるユーザーへと提供するように構成される。ビデオサーバーシステム１１２０のこれらのインスタンスのそれぞれは、ゲームサーバー１１２５の同一のインスタンスと通信する場合がある。ビデオサーバーシステム１１２０と１つ以上のゲームサーバー１１２５との間の通信が、所望により専用の通信チャネルを介して発生する。例えば、ビデオサーバーシステム１１２０は、ゲームサーバー１１２５にこれらの２つのシステムの間の通信専用の高帯域幅のチャネル介して接続される場合がある。
ビデオサーバーシステム１１２０は、少なくとも、ビデオソース１１３０と、Ｉ／Ｏデバイス１１４５と、プロセッサ１１５０と、非一時的ストレージ１１５５と、を備える。ビデオサーバーシステム１１２０は、１つのコンピューティングデバイスを含むか、または複数のコンピューティングデバイスの間に分散される場合がある。これらのコンピューティングデバイスは、所望により、ローカルエリアネットワークなどの通信システムを介して接続される場合がある。
ビデオソース１１３０は、ビデオストリーム、例えば、ストリーミングビデオ、または動画を形成する一連のビデオフレームを提供するように構成される。いくつかの実施形態では、ビデオソース１１３０は、ビデオゲームエンジン、及びレンダリングロジックを含む。ビデオゲームエンジンは、プレーヤーからゲームコマンドを受信し、受信したコマンドに基づいてビデオゲームの状態のコピーを維持するように構成される。このゲーム状態には、ゲーム環境内の対象物の位置、ならびに典型的には視点を含む。ゲーム状態は、対象物のプロパティ、画像、色、及び／またはテクスチャーも含む場合がある。ゲーム状態は、典型的には、ゲームルール、ならびに移動、回転、アタック、焦点を合わせる、相互作用、使用、及び／または同様なものなどのゲームコマンドに基づいて維持される。ゲームエンジンの一部分は、所望によりゲームサーバー１１２５内に配置される。ゲームサーバー１１２５は、複数のプレーヤーから地理的に分散したクライアントを使用して受信したゲームコマンドに基づいて、ゲームの状態のコピーを維持する場合がある。これらの場合、ゲーム状態は、ゲームサーバー１１２５によってビデオソース１１３０へと提供され、ゲーム状態のコピーは、保存され、レンダリングが実施される。ゲームサーバー１１２５は、ゲームコマンドをクライアント１１１０からネットワーク１１１５を介して直接的に受信する場合があり、かつ／またはゲームコマンドをビデオサーバーシステム１１２０を介して受信する場合がある。
ビデオソース１１３０は、典型的には、レンダリングロジック、例えば、ハードウェア、ファームウェア、及び／またはストレージ１１５５などのコンピューター可読媒体上に保存されたソフトウェアを含む。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作製するために構成される。レンダリングロジックのすべてまたは一部分は、所望によりグラフィックスプロセッシングユニット（ＧＰＵ）内に配置される。レンダリングロジックは、ゲーム状態及び視点に基づいて、典型的には対象物間の３次元空間的関係を判定するため、及び／または適切なテクスチャーを適用する、等々のために、構成される処理段階を含む。レンダリングロジックは、通常その後クライアント１１１０に通信する前にエンコードされる、未加工のビデオを生成する。例えば、未加工のビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）ｓｔａｎｄａｒｄ、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３、または同様のものによってエンコードされる場合がある。エンコードプロセスは、所望により遠隔デバイス上のデコーダーに送達するためのパッケージ化されたビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。典型的なフレームサイズとしては、８００×６００、１２８０×７２０（例えば、７２０ｐ）、１０２４×７６８が挙げられるが、任意の他のフレームサイズが使用されてもよい。フレームレートは、一秒当たりのビデオフレームの数である。ビデオストリームは、異なるタイプのビデオフレームを含む場合がある。例えば、Ｈ．２６４標準は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉ−フレームは、ディスプレイデバイス上のすべてのマクロブロック／ピクセルをリフレッシュするための情報を含むが、一方でＰ−フレームは、そのサブセットをリフレッシュする情報を含む。Ｐ−フレームは、典型的にはデータサイズがＩ−フレームより小さい。本明細書で使用される場合、「フレームサイズ」という用語は、１つのフレーム内のピクセルの数を意味する。「フレームデータサイズ」という用語は、フレームを保存するために要求されるバイト数を指すために使用される。
代替的な実施形態では、ビデオソース１１３０は、カメラなどのビデオ録画デバイスを含む。このカメラは、コンピューターゲームのビデオストリームに含まれる遅延ビデオまたはライブビデオを作り出すために使用される場合がある。結果として得られるビデオストリームは、所望により、レンダリングされた画像とスチルカメラまたはビデオカメラを使用して録画された画像との両方を含む。ビデオソース１１３０は、以前録画したビデオをビデオストリームに含むために保存するように構成されたストレージデバイスも含む場合がある。ビデオソース１１３０は、対象物（例えば、人）の動きまたは位置を検出するように構成された、動きまたは位置検知デバイス、及びゲーム状態を判定する、または検出された動き及び／または位置に基づくビデオを生成するように構成されるロジックも含む場合がある。
ビデオソース１１３０は、所望により、他のビデオ上に定置されるように構成されたオーバーレイを提供するように構成される。例えば、これらのオーバーレイは、コマンドインターフェース、ログインのやり方、ゲームプレーヤーへのメッセージ、他のゲームプレーヤーの画像、他のゲームプレーヤーのビデオフィード（例えば、ウェブカムビデオ）を含んでもよい。タッチスクリーンインターフェースまたは視線検出インターフェースを含むクライアント１１１０Ａの実施形態では、オーバーレイは、バーチャルキーボード、ジョイスティック、タッチパッド、及び／または同様のものを含む場合がある。オーバーレイの一実施例では、プレーヤーの声がオーディオストリーム上に重ねられる。ビデオソース１１３０は、所望により、１つ以上のオーディオソースをさらに含む。
２人以上のプレーヤーからの入力に基づいてゲーム状態を維持するようにビデオサーバーシステム１１２０が構成される実施形態では、それぞれのプレーヤーは、視認の位置及び方向を含む異なる視点を有する場合がある。ビデオソース１１３０は、所望により、それぞれのプレーヤーに対して各自の視点に基づいた別個のビデオストリームを提供するように構成される。さらに、ビデオソース１１３０は、クライアント１１１０のそれぞれに対して異なるフレームサイズ、フレームデータサイズ、及び／またはエンコードを提供するように構成される場合がある。ビデオソース１１３０は、所望により３Ｄビデオを提供するように構成される。
Ｉ／Ｏデバイス１１４５は、ビデオサーバーシステム１１２０のために、ビデオ、コマンド、情報要求、ゲーム状態、視線情報、デバイスの動き、デバイスの場所、ユーザーの動き、クライアント識別情報、プレーヤー識別情報、ゲームコマンド、セキュリティ情報、オーディオ、及び／または同様なものなどの情報を送信及び／または受信するように構成される。Ｉ／Ｏデバイス１１４５は、典型的には、ネットワークカードまたはモデムなどの通信ハードウェアを含む。Ｉ／Ｏデバイス１１４５は、ゲームサーバー１１２５、ネットワーク１１１５、及び／またはクライアント１１１０と通信するように構成される。
プロセッサ１１５０は、ロジック、例えば、本明細書で述べられるビデオサーバーシステム１１２０の様々な構成要素内に含まれる、ソフトウェアを実行するように構成される。例えば、プロセッサ１１５０は、ビデオソース１１３０、ゲームサーバー１１２５、及び／またはクライアントクオリファイアー１１６０の機能を実施するように、ソフトウェア命令を用いてプログラムされてもよい。ビデオサーバーシステム１１２０は、所望により、プロセッサ１１５０の２つ以上のインスタンスを含む。プロセッサ１１５０は、また、ビデオサーバーシステム１１２０によって受信されたコマンドを実行するため、または本明細書で述べられるゲームシステム１１００の様々な要素の動作を連係するために、ソフトウェア命令を用いてプログラムされてもよい。プロセッサ１１５０は、１つ以上のハードウェアデバイスを含んでもよい。プロセッサ１１５０は、電子プロセッサである。
ストレージ１１５５は、非一時的アナログ及び／またはデジタルストレージデバイスを含む。例えば、ストレージ１１５５は、ビデオフレームを保存するように構成されるアナログストレージデバイスを含む場合がある。ストレージ１１５５は、コンピューター可読デジタルストレージ、例えばハードドライブ、光学式ドライブ、またはソリッドステートストレージを含む場合がある。ストレージ１１１５は、ビデオフレーム、人工フレーム、ビデオフレームと人工フレームとの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム、及び／または同様のものを保存するように構成される（例えば、適切なデータ構造、またはファイルシステムによって）。ストレージ１１５５は、所望により、複数のデバイスの中に分散される。いくつかの実施形態では、ストレージ１１５５は、本明細書のいずれかで述べられるビデオソース１１３０のソフトウェア構成要素を保存するように構成される。これらの構成要素は、必要に応じて供給する用意ができた形式で保存される場合がある。
ビデオサーバーシステム１１２０は、所望により、クライアントクオリファイアー１１６０をさらに備える。クライアントクオリファイアー１１６０は、クライアント１１１０Ａまたは１１１０Ｂなどのクライアントの能力をリモートで判定するために構成される。これらの能力は、クライアント１１１０Ａ自身の能力と、クライアント１１１０Ａとビデオサーバーシステム１１２０との間の１つ以上の通信チャネルの能力との両方を含むことができる。例えば、クライアントクオリファイアー１１６０は、ネットワーク１１１５を通る通信チャネルをテストするように構成される場合がある。
クライアントクオリファイアー１１６０は、クライアント１１１０Ａの能力を、手動でまたは自動的に判定（例えば、発見）することができる。手動判定は、クライアント１１１０Ａのユーザーと通信し、ユーザーに能力を提供するように依頼することを含む。例えば、いくつかの実施形態では、クライアントクオリファイアー１１６０は、画像、テキスト、及び／または同様なものをクライアント１１１０Ａのブラウザ内に表示するように構成される。一実施形態では、クライアント１１１０Ａは、ブラウザを含むＨＭＤである。別の実施形態では、クライアント１１１０Ａは、ＨＭＤ上に表示されてもよいブラウザを有するゲームコンソールである。表示された対象物は、ユーザーによる、クライアント１１１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダータイプ、ネットワーク接続のタイプ、ディスプレイ解像度、等々などの情報の入力を要求する。ユーザーが入力した情報は、クライアントクオリファイアー１１６０に戻すように通信される。
自動判定は、例えば、クライアント１１１０Ａ上のエージェントの実行によって、及び／またはテストビデオをクライアント１１１０Ａに送ることによって発生する場合がある。エージェントは、ウェブページに埋め込まれた、またはアドオンとしてインストールされたｊａｖａ（登録商標） ｓｃｒｉｐｔなどのコンピューティング命令を含む場合がある。エージェントは、所望により、クライアントクオリファイアー１１６０によって提供される。様々な実施形態では、エージェントは、クライアント１１１０Ａの処理力、クライアント１１１０Ａのデコード及び表示の能力、クライアント１１１０Ａとビデオサーバーシステム１１２０との間の通信チャネルの遅れ時間の信頼性及び帯域幅、クライアント１１１０Ａのディスプレイタイプ、クライアント１１１０Ａ上に存在するファイアウォール、クライアント１１１０Ａのハードウェア、クライアント１１１０Ａ上で実行しているソフトウェア、クライアント１１１０Ａ内のレジストリエントリ、及び／または同様なものを見出すことができる。
クライアントクオリファイアー１１６０は、ハードウェア、ファームウェア、及び／またはコンピューター可読媒体上に保存されるソフトウェアを含む。クライアントクオリファイアー１１６０は、所望により、ビデオサーバーシステム１１２０の１つ以上の他のエレメントから分離したコンピューティングデバイス上に配置される。例えば、いくつかの実施形態では、クライアントクオリファイアー１１６０は、クライアント１１１０とビデオサーバーシステム１１２０の２つ以上のインスタンスとの間の通信チャネルの特性を判定するように構成される。これらの実施形態では、クライアントクオリファイアーによって発見された情報を、ビデオサーバーシステム１１２０のどのインスタンスが、クライアント１１１０のうちの１つへのストリーミングビデオの送達のために最も適しているかを判断するために使用することができる。
本発明の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースの家庭用電化製品またはプログラマブル家庭用電化製品、ミニコンピューター、メインフレームコンピューター、及び同様のものを含む、様々なコンピューターシステム構成を用いて実践されてもよい。本発明のいくつかの実施形態を、タスクが有線ネットワークまたはワイヤレスネットワークを通してリンクしている遠隔処理デバイスによって実施される、分散したコンピューティング環境で実践することもできる。
上記の実施形態を想定すると、本発明の数多くの実施形態が、コンピューターシステム内に保存されるデータに関与する様々なコンピューター実行される動作を採用することができることが理解されるはずである。これらの動作は、物理的な量の物理的な取扱を必要とするものである。本発明の様々な実施形態の一部分を形成する、本明細書に記載される動作のいずれかは、有用な機械動作である。本発明のいくつかの実施形態は、これらの動作を実施するためのデバイスまたは装置にも関係する。装置を要求される目的のために特に構築することができ、または装置をコンピューター内に保管されたコンピュータープログラムによって選択的に起動または構成された汎用コンピューターとすることができる。特に、本明細書の教示に従って書かれたコンピュータープログラムを用いて、様々な汎用マシーンを使用することができ、またはより特化した装置を構築して必要な動作を実施するのがより都合がよい場合がある。
本発明の様々な実施形態は、コンピューター可読媒体上のコンピューター可読コードとして具象化することもできる。このコンピューター可読媒体は、その後コンピューターシステムによって読み取ることができるデータを保存することができる任意のデータストレージデバイスである。コンピューター可読媒体の実施例としては、ハードドライブ、ネットワークアタッチトストレージ（ＮＡＳ）、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、書き込み可能ＣＤ（ＣＤ−Ｒ）、書き変え可能ＣＤ（ＲＷ）、磁気テープ、並びに他の光学的及び非光学的データストレージデバイスが挙げられる。コンピューター可読媒体としては、コンピューター可読コードを分散した様式で保管及び実行するように、ネットワーク連結されたコンピューターシステムを通して分散するコンピューター可読有形媒体を挙げることができる。
方法動作を特定の順序で記載したが、動作の間に他のハウスキーピング動作が実施されてもよく、または動作が若干異なる時間に発生するように動作が調節されてもよく、または動作がシステム内に分散されてもよく、これは、オーバーレイ動作の処理が所望されるやり方で実施される限り、処理と関連する様々な間隔での処理動作の発生を可能にすることを理解するべきである。
前述の発明は、理解の明確化の目的である程度詳細に記載されてきたが、添付の特許請求の範囲の範囲内で、ある程度の変更及び修正を実践することができることは明らかであろう。したがって、本実施形態は、例示的であり、制限的でないと考えられるべきであり、本発明の様々な実施形態は、本明細書で所与の詳細に制限されないが、添付の特許請求の範囲及び均等物の範囲内で修正される場合がある。

Claims (35)

  1. ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されたゲームを実行する方法であって、
    ゲームを実行することであって、前記実行が前記ゲームのインタラクティブなシーンを前記スクリーン上にレンダリングする、ことと、
    ユーザーに向かうように方向付けられた捕捉場所と相対的に、前記ＨＭＤの第１の空間位置を識別するために、前記ユーザーによって着用されている前記ＨＭＤの画像を受信することと、
    前記捕捉場所と相対的に、コントローラーの第２の空間位置を識別するために、前記ユーザーによって保持されている前記コントローラーの画像を受信することであって、前記コントローラーが、少なくとも部分的に前記実行中のゲームとの相互作用を推進するための入力を提供する、ことと、
    前記ＨＭＤの前記スクリーン上に提示される前記ゲームの前記インタラクティブなシーンを視認する前記ユーザーの視線方向の変更を識別する画像を受信することと、
    前記ＨＭＤの前方向から捕捉された、前記ユーザーの前記視線方向と一致する現実世界の画像を受信することと、
    前記視線方向の前記変更の検出に応答して、前記捕捉された現実世界の画像の少なくとも一部が、前記インタラクティブなシーンをレンダリングする前記スクリーンの一部に提示されるように、前記スクリーンの前記一部を透過モードに移行することと、
    一定の期間後、前記透過モードを中断することと、を含み、
    前記方法の動作がプロセッサによって実施される、方法。
  2. 前記ゲームが、前記ヘッドマウントディスプレイに通信可能に接続されたコンピューター上で実行される、請求項１に記載の方法。
  3. 前記ゲームが、ゲームクラウド上で実行され、かつ前記ヘッドマウントディスプレイが、前記ゲームクラウドに通信可能に接続される、請求項１に記載の方法。
  4. ６軸データを提供するために、前記第１の空間位置及び前記第２の空間位置が識別される、請求項１に記載の方法。
  5. 前記移行することが、半透過モードに移行することであり、かつ前記移行することが、前記ＨＭＤで検出されたトリガーイベントに応答して実施される、請求項１に記載の方法。
  6. 前記トリガーイベントが、前記ＨＭＤを着用している前記ユーザーの近くの現実世界で検出された音または動き、前記ＨＭＤのユーザーによって提供されたオーディオまたはビジュアルコマンド、前記ＨＭＤにおいて検出されたオーディオまたは入力、前記ＨＭＤまたは前記コントローラーから提供されたコマンドのうちの１つ、またはこれらの任意の組合せである、請求項５に記載の方法。
  7. 前記提示することが、前記ゲームの前記インタラクティブなシーンを前記スクリーンの背景に、及び前記捕捉された現実世界の画像を前記スクリーンの前景にレンダリングすることを含む、請求項１に記載の方法。
  8. 前記提示することが、前記ゲームの前記インタラクティブなシーンを前記スクリーンの前景に、及び前記捕捉された現実世界の画像を前記スクリーンの背景にレンダリングすることを含む、請求項１に記載の方法。
  9. ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されたゲームを実行する方法であって、
    ゲームを実行することであって、前記実行が前記ゲームのインタラクティブなシーンを前記ＨＭＤの前記スクリーン上にレンダリングする、ことと、
    前記ＨＭＤの前記スクリーン上に提示される前記インタラクティブなシーンを視認しているとき、前記ＨＭＤを着用しているユーザーの視線方向の変更を識別する画像を受信することと、
    前記ユーザーの前記視線方向と一致している現実世界の画像を受信することであって、前記現実世界の画像が、前記ＨＭＤの前方を向いたカメラによって捕捉される、ことと、
    前記視線方向の前記変更に応答して、前記捕捉された現実世界の画像の少なくとも一部分が、前記インタラクティブなシーンをレンダリングする前記スクリーンの一部に提示されるように、前記スクリーンの前記一部を半透過モードに移行することと、
    前記半透過モードを一定の期間後中断することと、を含み、
    前記方法の動作がプロセッサによって実施される、方法。
  10. 前記ユーザーに向かうように方向付けられた捕捉場所と相対的に、前記ＨＭＤの第１の空間位置を識別するために、前記ＨＭＤの画像を受信することと、
    前記捕捉場所と相対的に、コントローラーの第２の空間位置を識別するために、前記ユーザーによって保持されている前記コントローラーの画像を受信することであって、前記コントローラーが、少なくとも部分的に前記実行中のゲームとの相互作用を推進するための入力を提供する、ことと、をさらに含む、請求項９に記載の方法。
  11. ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されたゲームを実行する方法であって、
    ゲームを実行することと、
    前記ゲームが実行されるとき、前記ゲームのインタラクティブなシーンを前記ＨＭＤの前記スクリーン上にレンダリングすることと、
    前記ゲームの前記実行の間に前記ＨＭＤの近くの範囲内で発生するトリガーイベントを検出することであって、前記トリガーイベントが前記スクリーンを非透過モードから完全透過モードへと移行させ、前記移行することが、前記スクリーンを前記完全透過モードに切り換えるために前記スクリーンの１つ以上の光学特性を調節することを含み、前記完全透過モードは、ユーザーが前記スクリーンを通して前記ＨＭＤの近くの現実世界の環境を視認することを可能にする、ことと、
    一定の期間後、前記完全透過モードを中断することと、
    前記方法の動作がプロセッサによって実施される、方法。
  12. 前記スクリーンの前記移行を実現する必要があるかどうかを判定するために前記トリガーイベントを調べることと、
    前記判定に基づいて前記移行を実施することと、を含む、請求項１１記載の方法。
  13. 前記判定することが、
    前記トリガーイベントの原因を検証することと、
    前記原因が少なくとも既定の閾値期間続くかどうかを判定することと、
    前記原因が少なくとも前記既定の閾値期間続くとき、前記移行を実現することと、を含む、請求項１３に記載の方法。
  14. 前記ＨＭＤを着用している前記ユーザーの視線状態が識別されたとき、前記イベントが発生したと検出される、請求項１１に記載の方法。
  15. 前記視線状態が、
    （ａ）ある視線方向をある期間検出すること、
    （ｂ）ある視線パターンを一定の期間にわたって検出すること、及び
    （ｃ）視線方向の変化を検出すること、のうちの１つである、請求項１４に記載の方法。
  16. 前記移行することが、線形的なまたは非線形的な段階的な増分で実施される、請求項１１に記載の方法。
  17. 中断することが、前記スクリーンの光学特性を非透過モードに切り換えるように調節することをさらに含み、前記非透過モードへの切り換えが、前記ゲームの前記インタラクティブなシーンの前記スクリーン上へのレンダリングを生じさせる、請求項１１に記載の方法。
  18. 前記スクリーンが液晶ディスプレイスクリーンである、請求項１１に記載の方法。
  19. 前記ゲームが、ゲームクラウド上で、前記ＨＭＤに通信可能に接続されたコンピューター上で実行され、前記ＨＭＤが、前記ゲームクラウドに、または部分的に前記ゲームクラウド上でかつ部分的に前記ＨＭＤに通信可能に接続された前記コンピューターに通信可能に接続され、前記ゲームの前記インタラクティブなシーンが前記コンピューターまたは前記ゲームクラウドからストリーミングされる、請求項１１に記載の方法。
  20. 前記トリガーイベントが、前記ＨＭＤを着用している前記ユーザーの近くの現実世界で検出された音または動き、ユーザーによって提供されたオーディオコマンドまたはビジュアルコマンド、前記ＨＭＤにおいて検出された入力、コントローラーから提供されたコマンド、前記ＨＭＤから提供されたコマンド、またはこれらの任意の組合せである、請求項１１に記載の方法。
  21. ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されたゲームを実行する方法であって、
    ゲームを実行することであって、前記実行が前記ゲームのインタラクティブなシーンを前記スクリーン上にレンダリングする、ことと、
    ユーザーに向かうように方向付けられた捕捉場所と相対的に、前記ＨＭＤの第１の空間位置を識別するために、前記ユーザーによって着用されている前記ＨＭＤの画像を受信することと、
    前記捕捉場所と相対的に、コントローラーの第２の空間位置を識別するために、前記ユーザーによって保持されている前記コントローラーの画像を受信することであって、前記コントローラーが、少なくとも部分的に前記実行中のゲームとの相互作用を推進するための入力を提供する、ことと、
    前記ＨＭＤが前記第１の空間位置において配向を変化するとき、視認の方向を、前記スクリーン上にレンダリングされた前記インタラクティブなシーン内へと修正することと、
    前記コントローラーから入力を受信することであって、前記入力が前記第２の空間位置における配向の変化を含む、ことと、を含み、
    前記インタラクティブなシーンの前記レンダリングの間、前記第１の空間位置及び前記第２の空間位置が相互に関係し、前記方法の動作がプロセッサによって実施される、方法。
  22. 前記配向の変化が、位置または動きのうちの少なくとも１つの変化を含む、請求項２１に記載の方法。
  23. 前記ゲームの前記実行の間に、前記ＨＭＤの近くの範囲内でのトリガーイベントの発生を検出することであって、前記トリガーイベントが前記スクリーンの非透過モードから完全透過モードへの移行を生じさせ、前記移行することが、前記スクリーンを前記完全透過モードへ切り換えるように前記スクリーンの１つ以上の光学特性を調節することを含み、前記完全透過モードは、ユーザーが、前記スクリーンを通して前記ＨＭＤの近くの現実世界の環境を視認すること可能にする、こと、をさらに含む、請求項２１に記載の方法。
  24. 一定の期間後、前記完全透過モードを中断することをさらに含む、請求項２３に記載の方法。
  25. 前記スクリーンが液晶ディスプレイスクリーンである、請求項２３に記載の方法。
  26. 方法であって、
    ゲームプレイを可能にするためにゲームを実行することとであって、前記実行が、前記ゲームのインタラクティブなシーンのレンダリングをヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に生じさせる、ことと、
    有効なゲームプレイの間に、前記ＨＭＤを着用しているユーザーに近接している現実世界の対象物を検出することと、
    前記ユーザーへの前記現実世界の対象物の近接に関して、前記スクリーンへの通知、または前記ＨＭＤのオーディオ出力を提供することと、を含み、
    前記方法の動作がプロセッサによって実施される、方法。
  27. 前記検出すること、及び通知を提供することが、前記ＨＭＤで検出されたトリガーイベントに応答して実施される、請求項２６に記載の方法。
  28. 前記トリガーイベントが、前記ユーザーの現実世界の環境での行為に応答して検出される、請求項２７に記載の方法。
  29. 前記現実世界の対象物の前記近接が既定の閾値距離以内のとき、前記通知が提供される、請求項２６に記載の方法。
  30. 前記通知が、前記ＨＭＤにおいて、テキスト形式、グラフィック形式、オーディオ形式、触覚形式のうちの１つ、またはこれらの任意の組合せで提供される、請求項２６に記載の方法。
  31. 通知を提供することが、前記ＨＭＤの前記スクリーンを、半透過モードまたは透過モードに自動的に移行することをさらに含み、前記移行することが前記ＨＭＤの前記スクリーン上に前記現実世界の対象物のレンダリングを生じさせる、請求項２６に記載の方法。
  32. ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されたゲームを実行するシステムであって、
    ゲームを実行するための手段であって、前記実行が前記ゲームのインタラクティブなシーンを前記スクリーン上にレンダリングする、手段と、
    ユーザーに向かうように方向付けられた捕捉場所と相対的に、前記ＨＭＤの第１の空間位置を識別するために、前記ユーザーによって着用されている前記ＨＭＤの画像を受信するための手段と、
    前記捕捉場所と相対的に、コントローラーの第２の空間位置を識別するために、前記ユーザーによって保持されている前記コントローラーの画像を受信するための手段であって、前記コントローラーが、少なくとも部分的に前記実行中のゲームとの相互作用を推進するための入力を提供する、手段と、
    前記ＨＭＤの前記スクリーン上に提示される前記ゲームの前記インタラクティブなシーンを視認する前記ユーザーの視線方向の変更を識別する画像を受信するための手段と、
    前記ＨＭＤの前方向から捕捉された、前記ユーザーの前記視線方向と一致する現実世界の画像を、受信するための手段と、
    前記視線方向の前記変更の検出に応答して、前記捕捉された現実世界の画像の少なくとも一部が、前記インタラクティブなシーンをレンダリングする前記スクリーンの一部に提示されるように、前記スクリーンの前記一部を透過モードに移行するための手段と、
    一定の期間後、前記透過モードを中断するための手段と、を含むシステム。
  33. ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されたゲームを実行するシステムであって、
    ゲームを実行するための手段であって、前記実行が前記ゲームのインタラクティブなシーンを前記ＨＭＤの前記スクリーン上にレンダリングする、手段と、
    前記ＨＭＤの前記スクリーン上に提示される前記インタラクティブなシーンを視認しているとき、前記ＨＭＤを着用しているユーザーの視線方向の変更を識別する画像を受信するための手段と、
    前記ユーザーの前記視線方向と一致している現実世界の画像を受信するための手段であって、前記現実世界の画像が、前記ＨＭＤの前方を向いたカメラによって捕捉される、手段と、
    前記視線方向の前記変更に応答して、前記捕捉された現実世界の画像の少なくとも一部分が、前記インタラクティブなシーンをレンダリングする前記スクリーンの一部に提示されるように、前記スクリーンの前記一部を半透過モードに移行するための手段と、
    前記半透過モードを一定の期間後中断するための手段と、を含むシステム。
  34. ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されたゲームを実行するシステムであって、
    ゲームを実行するための手段と、
    前記ゲームが実行されるとき、前記ゲームのインタラクティブなシーンを前記ＨＭＤの前記スクリーン上にレンダリングするための手段と、
    前記ゲームの前記実行の間に前記ＨＭＤの近くの範囲内で発生するトリガーイベントを検出するための手段であって、前記トリガーイベントが前記スクリーンを非透過モードから完全透過モードへと移行させ、前記移行することが、前記スクリーンを前記完全透過モードに切り換えるために前記スクリーンの１つ以上の光学特性を調節することを含み、前記完全透過モードは、ユーザーが前記スクリーンを通して前記ＨＭＤの近くの現実世界の環境を視認することを可能にする、手段と、
    一定の期間後、前記完全透過モードを中断するための手段と、を含むシステム。
  35. ヘッドマウントディスプレイ（ＨＭＤ）のスクリーン上に提示されたゲームを実行するシステムであって、
    ゲームを実行するための手段であって、前記実行が前記ゲームのインタラクティブなシーンを前記スクリーン上にレンダリングする、手段と、
    ユーザーに向かうように方向付けられた捕捉場所と相対的に、前記ＨＭＤの第１の空間位置を識別するために、前記ユーザーによって着用されている前記ＨＭＤの画像を受信するための手段と、
    前記捕捉場所と相対的に、コントローラーの第２の空間位置を識別するために、前記ユーザーによって保持されている前記コントローラーの画像を受信するための手段であって、前記コントローラーが、少なくとも部分的に前記実行中のゲームとの相互作用を推進するための入力を提供する、手段と、
    前記ＨＭＤが前記第１の空間位置において配向を変化するとき、視認の方向を、前記スクリーン上にレンダリングされた前記インタラクティブなシーン内へと修正するための手段と、
    前記コントローラーから入力を受信するための手段であって、前記入力が前記第２の空間位置における配向の変化を含む、手段と、を含み、
    前記インタラクティブなシーンの前記レンダリングの間、前記第１の空間位置及び前記第２の空間位置が相互に関係する、システム。
JP2016518363A 2013-06-08 2014-05-30 ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法 Active JP6195664B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361832778P 2013-06-08 2013-06-08
US61/832,778 2013-06-08
US14/254,881 2014-04-16
US14/254,881 US9908048B2 (en) 2013-06-08 2014-04-16 Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
PCT/US2014/040410 WO2014197337A1 (en) 2013-06-08 2014-05-30 Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017156748A Division JP6438087B2 (ja) 2013-06-08 2017-08-15 ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法

Publications (2)

Publication Number Publication Date
JP2016532178A true JP2016532178A (ja) 2016-10-13
JP6195664B2 JP6195664B2 (ja) 2017-09-13

Family

ID=52005904

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016518363A Active JP6195664B2 (ja) 2013-06-08 2014-05-30 ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法
JP2017156748A Active JP6438087B2 (ja) 2013-06-08 2017-08-15 ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017156748A Active JP6438087B2 (ja) 2013-06-08 2017-08-15 ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法

Country Status (5)

Country Link
US (6) US9908048B2 (ja)
EP (1) EP3005029B1 (ja)
JP (2) JP6195664B2 (ja)
CN (1) CN105378596B (ja)
WO (1) WO2014197337A1 (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062593A (ja) * 2015-07-09 2016-04-25 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP2017528834A (ja) * 2014-09-11 2017-09-28 ノキア テクノロジーズ オサケユイチア 画像を表示するための方法、装置およびコンピュータ・プログラム
JP2017224003A (ja) * 2016-05-17 2017-12-21 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
WO2018092947A1 (ko) * 2016-11-18 2018-05-24 주식회사 트라이캐치미디어 스마트 로봇 게임 시스템
KR20180082296A (ko) * 2017-01-10 2018-07-18 삼성전자주식회사 3차원 이미지에 대한 메타데이터를 생성하기 위한 방법 및 장치
WO2018173159A1 (ja) * 2017-03-22 2018-09-27 マクセル株式会社 映像表示装置
JP2018190078A (ja) * 2017-04-28 2018-11-29 株式会社スクウェア・エニックス コンテンツ表示プログラム、コンピュータ装置、コンテンツ表示方法、及びコンテンツ表示システム
KR20190075040A (ko) * 2016-08-25 2019-06-28 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
JP2019527881A (ja) * 2016-06-30 2019-10-03 株式会社ソニー・インタラクティブエンタテインメント 仮想現実シーンの変更方法及びコンピュータ可読記憶媒体
JPWO2018198909A1 (ja) * 2017-04-28 2019-11-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム
KR20200044102A (ko) * 2017-09-29 2020-04-28 애플 인크. 물리적 경계 검출
JP2020154430A (ja) * 2019-03-18 2020-09-24 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
JPWO2019176236A1 (ja) * 2018-03-13 2021-03-25 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP2021512427A (ja) * 2018-02-02 2021-05-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイとコントローラとの電磁場を介したクロック同期
JP2021531561A (ja) * 2018-07-09 2021-11-18 マイクロソフト テクノロジー ライセンシング，エルエルシー ３ｄ移行
US11223813B2 (en) 2017-01-10 2022-01-11 Samsung Electronics Co., Ltd Method and apparatus for generating metadata for 3D images
JP2022508675A (ja) * 2018-10-09 2022-01-19 スアレス，イヴァン ブリティカ 物理的なゲーム環境でプレイするために電子ゲームをエミュレートするシステムおよび方法
JP2022511458A (ja) * 2018-11-30 2022-01-31 株式会社ソニー・インタラクティブエンタテインメント Ｈｍｄに対するコントローラの動きを判定するためのシステム及び方法
JP2023052450A (ja) * 2017-10-12 2023-04-11 アウディ アクチェンゲゼルシャフト 頭部着用型の電子表示装置の操作方法および仮想コンテンツを表示する表示システム
JP2023126474A (ja) * 2018-02-06 2023-09-07 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
JP2024018887A (ja) * 2022-07-29 2024-02-08 小派科技（上海）有限責任公司 インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法
JP2024096657A (ja) * 2023-01-04 2024-07-17 スコネック エンターテインメント カンパニー リミテッド 仮想現実制御システム
JP7596303B2 (ja) 2019-04-23 2024-12-09 バルブ コーポレーション パススルー画像処理によるヘッドマウントディスプレイ

Families Citing this family (264)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US10209771B2 (en) 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US12260023B2 (en) 2012-01-17 2025-03-25 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9355585B2 (en) * 2012-04-03 2016-05-31 Apple Inc. Electronic devices with adaptive frame rate displays
GB2501768A (en) * 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mounted display
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9092954B2 (en) 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9878235B2 (en) * 2013-06-07 2018-01-30 Sony Interactive Entertainment Inc. Transitioning gameplay on a head-mounted display
EA032658B1 (ru) * 2013-07-15 2019-06-28 Вр Электроникс Лимитид Способ интерактивной физиологической синхронизации пользователя с виртуальной средой
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US20150169047A1 (en) * 2013-12-16 2015-06-18 Nokia Corporation Method and apparatus for causation of capture of visual information indicative of a part of an environment
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
KR102355118B1 (ko) * 2014-01-06 2022-01-26 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
US20150194128A1 (en) * 2014-01-07 2015-07-09 Nvidia Corporation Generating a low-latency transparency effect
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US10254836B2 (en) 2014-02-21 2019-04-09 Immersion Corporation Haptic power consumption management
US9754167B1 (en) * 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US20150304697A1 (en) * 2014-04-18 2015-10-22 Microsoft Corporation Changing broadcast without interruption to active gameplay
US10409366B2 (en) 2014-04-28 2019-09-10 Adobe Inc. Method and apparatus for controlling display of digital content using eye movement
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
CN105373326B (zh) * 2014-09-01 2020-11-24 深圳富泰宏精密工业有限公司 数据处理系统及方法
US10248285B2 (en) * 2014-09-10 2019-04-02 Utherverse Digital Inc. Immersive displays
US9984505B2 (en) * 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
WO2016064435A1 (en) 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
US10320437B2 (en) * 2014-10-24 2019-06-11 Usens, Inc. System and method for immersive and interactive multimedia generation
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
CN111754750B (zh) * 2014-11-17 2022-03-01 洋马动力科技有限公司 远程控制作业机用显示设备、显示系统以及作业机
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
DE102014018056B4 (de) * 2014-12-05 2024-08-14 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und Virtual-Reality-Brille
DE102014018054B4 (de) * 2014-12-05 2024-08-01 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und Anzeigevorrichtung
US20160170206A1 (en) * 2014-12-12 2016-06-16 Lenovo (Singapore) Pte. Ltd. Glass opacity shift based on determined characteristics
WO2016099559A1 (en) * 2014-12-19 2016-06-23 Hewlett-Packard Development Company, Lp 3d navigation mode
US10073523B2 (en) 2014-12-23 2018-09-11 Immersion Corporation Position control of a user input element associated with a haptic output device
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US10656720B1 (en) * 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US20160210780A1 (en) * 2015-01-20 2016-07-21 Jonathan Paulovich Applying real world scale to virtual content
GB2534846B (en) * 2015-01-28 2020-12-23 Sony Interactive Entertainment Inc Head-mountable apparatus and systems
US10242379B2 (en) * 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
US10269392B2 (en) 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
WO2016133269A1 (ko) * 2015-02-16 2016-08-25 넥시스 주식회사 영상 신호 생성을 위한 웨어러블 장치 및 그 제어를 위한 시스템
US10216277B2 (en) 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
US10111620B2 (en) 2015-02-27 2018-10-30 Microsoft Technology Licensing, Llc Enhanced motion tracking using transportable inertial sensors to determine that a frame of reference is established
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US10444018B2 (en) 2015-02-27 2019-10-15 Microsoft Technology Licensing, Llc Computer-implemented method to test the sensitivity of a sensor for detecting movement of a tracking device within an established frame of reference of a moving platform
WO2016141208A1 (en) * 2015-03-04 2016-09-09 Usens, Inc. System and method for immersive and interactive multimedia generation
WO2016158080A1 (ja) * 2015-03-30 2016-10-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法およびプログラム
EP3286621A4 (en) 2015-04-21 2018-12-12 Immersion Corporation Dynamic rendering of etching input
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
JP6439935B2 (ja) * 2015-05-07 2018-12-19 パナソニックＩｐマネジメント株式会社 表示制御方法、ヘッドマウントディスプレイ、およびプログラム
US11252399B2 (en) * 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
US9898091B2 (en) 2015-06-03 2018-02-20 Oculus Vr, Llc Virtual reality system with head-mounted display, camera and hand-held controllers
KR101735484B1 (ko) * 2015-06-04 2017-05-15 엘지전자 주식회사 헤드 마운티드 디스플레이
USD772986S1 (en) 2015-06-11 2016-11-29 Oculus Vr, Llc Wireless game controller
US9833700B2 (en) * 2015-06-11 2017-12-05 Oculus Vr, Llc Connectable hand-held controllers for virtual-reality systems
US9939644B2 (en) * 2015-06-25 2018-04-10 Intel Corporation Technologies for controlling vision correction of a wearable computing device
US10484824B1 (en) 2015-06-26 2019-11-19 Lucasfilm Entertainment Company Ltd. Content presentation and layering across multiple devices
US10078917B1 (en) * 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
US10135892B2 (en) * 2015-07-28 2018-11-20 Google Llc Independent control of interactive streaming media
TWI570638B (zh) * 2015-07-29 2017-02-11 財團法人資訊工業策進會 凝視分析方法與裝置
US10685211B2 (en) 2015-08-04 2020-06-16 Sony Interactive Entertainment Inc. Head-mounted display, display control method, and program
EP3133468A1 (en) * 2015-08-17 2017-02-22 Samsung Electronics Co., Ltd. Virtual reality headset for notifying an object and method thereof
US10002429B2 (en) 2015-08-17 2018-06-19 Samsung Electronics Co., Ltd. Apparatus and method for notifying a virtual reality user of real world objects
US10109161B2 (en) 2015-08-21 2018-10-23 Immersion Corporation Haptic driver with attenuation
US11992746B1 (en) * 2015-08-22 2024-05-28 Bertec Corporation Hybrid display system for a force measurement assembly, an exercise device, or an interactive game
US12250362B1 (en) 2015-08-22 2025-03-11 Bertec Corporation Hybrid display system for a force measurement assembly, an exercise device, or an interactive game
US9901816B2 (en) * 2015-08-24 2018-02-27 Htc Corporation Interactive game system with an HMD and a ground pad
EP3365724B1 (en) 2015-10-20 2021-05-05 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
US10007339B2 (en) 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
US9839840B2 (en) * 2015-11-05 2017-12-12 Oculus Vr, Llc Interconnectable handheld controllers
US20170132845A1 (en) * 2015-11-10 2017-05-11 Dirty Sky Games, LLC System and Method for Reducing Virtual Reality Simulation Sickness
US9990045B2 (en) 2015-11-12 2018-06-05 Oculus Vr, Llc Method and apparatus for detecting hand gestures with a handheld controller
US10130875B2 (en) 2015-11-12 2018-11-20 Oculus Vr, Llc Handheld controller with finger grip detection
US20170168592A1 (en) * 2015-12-14 2017-06-15 Volodymyr Mishyn System and method for optical tracking
US9804693B2 (en) * 2015-12-18 2017-10-31 Oculus Vr, Llc Handheld controller with activation sensors
AU2015275252A1 (en) 2015-12-22 2017-07-06 Canon Kabushiki Kaisha Systems and method to modify display of augmented reality content
JP6832061B2 (ja) * 2015-12-29 2021-02-24 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
US10386922B2 (en) 2015-12-30 2019-08-20 Facebook Technologies, Llc Handheld controller with trigger button and sensor retainer assembly
US9977494B2 (en) 2015-12-30 2018-05-22 Oculus Vr, Llc Tracking constellation assembly for use in a virtual reality system
US10343059B2 (en) 2015-12-30 2019-07-09 Facebook Technologies, Llc Handheld controller with thumbstick guard
US10441880B2 (en) 2015-12-30 2019-10-15 Facebook Technologies, Llc Handheld controller with spring-biased third finger button assembly
US11857869B2 (en) 2015-12-31 2024-01-02 Meta Platforms Technologies, Llc Handheld controller with hand detection sensors
US10679058B2 (en) * 2016-01-06 2020-06-09 Orcam Technologies Ltd. Wearable apparatus and methods for processing images to identify contextual situations
DE102016000627B4 (de) * 2016-01-22 2024-03-28 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
JP6709633B2 (ja) * 2016-02-17 2020-06-17 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びゲームシステム
JP6232649B2 (ja) * 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
US10477157B1 (en) * 2016-03-02 2019-11-12 Meta View, Inc. Apparatuses, methods and systems for a sensor array adapted for vision computing
GB2548154A (en) 2016-03-11 2017-09-13 Sony Computer Entertainment Europe Ltd Virtual reality
JP6576574B2 (ja) * 2016-03-11 2019-09-18 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ 眼球モデルを生成するための角膜球追跡
US10115205B2 (en) 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
KR20170106862A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 데이터 동기화 방법 및 이를 구현하는 전자 장치 및 시스템
JP6200023B1 (ja) * 2016-03-28 2017-09-20 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
US10481682B2 (en) * 2016-03-29 2019-11-19 Google Llc System and method for generating virtual marks based on gaze tracking
US20170287215A1 (en) * 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
KR102551198B1 (ko) 2016-03-31 2023-07-03 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과 상호작용들
CN114296552A (zh) * 2016-04-21 2022-04-08 奇跃公司 视野周围的视觉光环
US10025376B2 (en) 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
JP6968800B2 (ja) * 2016-04-27 2021-11-17 ロヴィ ガイズ， インコーポレイテッド 仮想現実環境を表示するヘッドアップディスプレイ上に付加的コンテンツを表示するための方法およびシステム
US10238965B2 (en) * 2016-04-28 2019-03-26 Sony Interactive Entertainment America Llc Cloud gaming device handover
US10521009B2 (en) * 2016-05-17 2019-12-31 Samsung Electronics Co., Ltd. Method and apparatus for facilitating interaction with virtual reality equipment
EP3249928A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
KR20220062684A (ko) * 2016-05-25 2022-05-17 워너 브로스. 엔터테인먼트 인크. 3d 오디오 포지셔닝을 이용하는 가상 또는 증강 현실 프레젠테이션을 생성하기 위한 방법 및 장치
JP6389208B2 (ja) * 2016-06-07 2018-09-12 株式会社カプコン ゲームプログラム及びゲーム装置
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10556175B2 (en) 2016-06-10 2020-02-11 Immersion Corporation Rendering a haptic effect with intra-device mixing
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
US10471353B2 (en) * 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
KR102720174B1 (ko) * 2016-08-01 2024-10-22 삼성전자주식회사 영상 표시 방법 및 이를 지원하는 전자 장치
KR102807668B1 (ko) * 2016-08-22 2025-05-14 삼성전자주식회사 영상 표시 장치 및 영상 표시 장치의 동작 방법
WO2018039941A1 (zh) * 2016-08-30 2018-03-08 北京小米移动软件有限公司 Vr控制的方法、装置及电子设备
KR102719606B1 (ko) * 2016-09-09 2024-10-21 삼성전자주식회사 이미지 표시 방법, 저장 매체 및 전자 장치
JP6298130B2 (ja) * 2016-09-14 2018-03-20 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6373920B2 (ja) 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
CN107872556A (zh) * 2016-09-23 2018-04-03 成都理想境界科技有限公司 基于头戴式显示设备的事件提醒方法及装置
JP6808419B2 (ja) * 2016-09-26 2021-01-06 キヤノン株式会社 画像処理システム及びその制御方法
USD835104S1 (en) 2016-09-27 2018-12-04 Oculus Vr, Llc Wireless game controller
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US10617956B2 (en) * 2016-09-30 2020-04-14 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
CN109952135B (zh) * 2016-09-30 2023-05-26 索尼互动娱乐股份有限公司 具有差分渲染和声音定位的无线头戴式显示器
US10032314B2 (en) * 2016-10-11 2018-07-24 Microsoft Technology Licensing, Llc Virtual reality headset
EP3531187B1 (en) * 2016-10-18 2022-11-23 LG Electronics Inc. Head-mounted display
CN106484119A (zh) * 2016-10-24 2017-03-08 网易（杭州）网络有限公司 虚拟现实系统及虚拟现实系统输入方法
KR102804603B1 (ko) 2016-10-31 2025-05-21 주식회사 아이피텍 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
WO2018080028A1 (ko) * 2016-10-31 2018-05-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
US10747323B2 (en) 2016-10-31 2020-08-18 Tegway Co., Ltd. Feedback device and method for providing thermal feedback by means of same
US10736576B2 (en) * 2016-10-31 2020-08-11 Tegway Co., Ltd. Feedback device and method for providing thermal feedback using the same
KR102369905B1 (ko) 2016-10-31 2022-03-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
GB2556910A (en) 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
EP3327544B1 (en) * 2016-11-25 2021-06-23 Nokia Technologies Oy Apparatus, associated method and associated computer readable medium
KR102654621B1 (ko) * 2016-12-08 2024-04-04 삼성전자주식회사 객체를 디스플레이하기 위한 방법 및 그 전자 장치
CN106791779A (zh) * 2016-12-13 2017-05-31 深圳市潘多拉虚拟与现实科技有限公司 一种视频播放器及视频显示方法、系统
KR102739220B1 (ko) 2016-12-23 2024-12-05 삼성전자주식회사 3차원 컨텐츠의 썸네일 관리 방법 및 그 장치
GB2558280A (en) * 2016-12-23 2018-07-11 Sony Interactive Entertainment Inc Head mountable display system
US10147460B2 (en) 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
US10088911B2 (en) * 2016-12-30 2018-10-02 Manuel Saez Programmable electronic helmet
US10204455B2 (en) 2016-12-31 2019-02-12 Intel Corporation Collision prevention for virtual reality systems
US10228773B2 (en) * 2017-01-02 2019-03-12 Merge Labs, Inc. Three-dimensional augmented reality object user interface functions
US10212428B2 (en) * 2017-01-11 2019-02-19 Microsoft Technology Licensing, Llc Reprojecting holographic video to enhance streaming bandwidth/quality
CN108334377A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种头戴显示设备的用户使用进度控制方法
US11740690B2 (en) 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
CN108696735A (zh) * 2017-03-01 2018-10-23 中兴通讯股份有限公司 虚拟现实眼镜、智能终端及导视实现和控制方法
US12153723B2 (en) 2017-03-06 2024-11-26 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
CN106919294B (zh) * 2017-03-10 2020-07-21 京东方科技集团股份有限公司 一种3d触控交互装置、其触控交互方法及显示装置
US10650405B2 (en) * 2017-03-21 2020-05-12 Kellogg Company Media content tracking
US10564725B2 (en) 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
JP6658642B2 (ja) * 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
KR102716952B1 (ko) * 2017-03-28 2024-10-14 매직 립, 인코포레이티드 공간화된 오디오가 사용자 조작 가상 객체들에 결속된 증강 현실 시스템
US10726792B2 (en) 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
DE102017108551A1 (de) * 2017-04-21 2018-10-25 Carl Zeiss Meditec Ag Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem
WO2018194637A1 (en) 2017-04-21 2018-10-25 Hewlett-Packard Development Company, L.P. Object detections for virtual reality
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10776930B2 (en) * 2017-05-05 2020-09-15 John W. Perry Mobile device, system, and computerized method for tracking flying objects and displaying tracked flying objects on the mobile device
US10366584B2 (en) 2017-06-05 2019-07-30 Immersion Corporation Rendering haptics with an illusion of flexible joint movement
US10194078B2 (en) 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
CN107272907B (zh) * 2017-07-10 2020-08-07 三星电子（中国）研发中心 一种基于虚拟现实技术的场景中断衔接方法和装置
US20190033989A1 (en) * 2017-07-31 2019-01-31 Google Inc. Virtual reality environment boundaries using depth sensors
US10748340B1 (en) * 2017-07-31 2020-08-18 Apple Inc. Electronic device with coordinated camera and display operation
US10803663B2 (en) * 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
US10782793B2 (en) * 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
CN107479804A (zh) * 2017-08-16 2017-12-15 歌尔科技有限公司 虚拟现实设备及其内容调整方法
GB2565836B (en) 2017-08-25 2021-04-14 Sony Interactive Entertainment Inc Data processing for position detection using markers in captured images
JP2019040555A (ja) * 2017-08-29 2019-03-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10477298B2 (en) 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
DE102017123894B3 (de) 2017-10-13 2019-02-07 Carl Zeiss Meditec Ag Scheibe für ein HMD und HMD mit wenigstens einer Scheibe
US10593101B1 (en) * 2017-11-01 2020-03-17 Facebook Technologies, Llc Marker based tracking
JP2019086737A (ja) * 2017-11-10 2019-06-06 シャープ株式会社 表示装置、制御方法、及びコンピュータープログラム
CN107831831B (zh) * 2017-11-13 2020-11-27 重庆市科源能源技术发展有限公司 一种电力企业员工业务内容培训系统
WO2019112557A1 (en) * 2017-12-05 2019-06-13 Hewlett-Packard Development Company, L.P. Enhanced reality headsets
US10583359B2 (en) 2017-12-28 2020-03-10 Immersion Corporation Systems and methods for providing haptic effects related to touching and grasping a virtual object
WO2019135634A1 (en) * 2018-01-05 2019-07-11 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
CN110045501A (zh) * 2018-01-09 2019-07-23 瑞轩科技股份有限公司 显示装置组件
JP6353994B1 (ja) * 2018-01-17 2018-07-04 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理方法、および情報処理装置
US10976982B2 (en) * 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
JP6775870B2 (ja) * 2018-02-06 2020-10-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US10726765B2 (en) * 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
KR102579034B1 (ko) * 2018-02-23 2023-09-15 삼성전자주식회사 영상 출력 모듈의 아래에 영상이 출력되는 방향에 대해 지정된 각도로 배치된 반 투명 부재를 포함하는 전자 장치
US10289152B1 (en) * 2018-02-23 2019-05-14 The Chamberlain Group, Inc. Interactive multimedia assistant device with a swappable personality customizable skin
KR102656447B1 (ko) * 2018-02-27 2024-04-12 삼성전자주식회사 컨트롤러와 접촉된 신체 부위에 따라 그래픽 객체를 다르게 표시하는 방법 및 전자 장치
AU2019231697B2 (en) 2018-03-07 2020-01-30 Magic Leap, Inc. Visual tracking of peripheral devices
US10695667B2 (en) 2018-03-14 2020-06-30 Sony Interactive Entertainment LLC Pro gaming AR visor and method for parsing context specific HUD content from a video stream
US20190042843A1 (en) * 2018-04-05 2019-02-07 Intel Corporation Cable detection for ar/vr computing method and apparatus
US10853014B2 (en) * 2018-04-17 2020-12-01 Rockwell Collins, Inc. Head wearable device, system, and method
US10747309B2 (en) 2018-05-10 2020-08-18 Microsoft Technology Licensing, Llc Reconfigurable optics for switching between near-to-eye display modes
JP6933189B2 (ja) * 2018-05-29 2021-09-08 株式会社デンソー 表示制御装置、及び表示制御プログラム
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10665067B2 (en) 2018-06-15 2020-05-26 Immersion Corporation Systems and methods for integrating haptics overlay in augmented reality
WO2020018064A1 (en) 2018-07-16 2020-01-23 Hewlett-Packard Development Company, L.P. Physical controls for mixing views
WO2020049665A1 (ja) * 2018-09-05 2020-03-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、情報処理方法、及びプログラム
US11790569B2 (en) 2018-09-07 2023-10-17 Apple Inc. Inserting imagery from a real environment into a virtual environment
FR3086411B1 (fr) * 2018-09-21 2021-01-15 Cayceo Procede et dispositif de pilotage et de synchronisation de visiocasques
CN109151446A (zh) * 2018-09-25 2019-01-04 联想(北京)有限公司 控制方法和电子设备
US10569164B1 (en) * 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
CN111309142B (zh) * 2018-12-11 2024-11-22 托比股份公司 用于切换显示设备的输入模态的方法和设备
US11853533B1 (en) 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11644940B1 (en) * 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US11659153B2 (en) * 2019-03-29 2023-05-23 Sony Interactive Entertainment Inc. Image data transmission method, content processing apparatus, head-mounted display, relay apparatus and content processing system
US11580324B2 (en) * 2019-06-14 2023-02-14 Google Llc Systems and methods for detecting environmental occlusion in a wearable computing device display
US12147607B1 (en) 2019-07-11 2024-11-19 Apple Inc. Transitioning between environments
US11385789B1 (en) * 2019-07-23 2022-07-12 Facebook Technologies, Llc Systems and methods for interacting with displayed items
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
CN110515468A (zh) * 2019-08-30 2019-11-29 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置和存储介质
US12314471B2 (en) 2019-09-13 2025-05-27 Apple Inc. Head-mounted display with haptic output
US11049306B2 (en) 2019-11-06 2021-06-29 Vago Technologies Oy Display apparatus and method for generating and rendering composite images
EP3839699A1 (en) * 2019-12-19 2021-06-23 Koninklijke KPN N.V. Augmented virtuality self view
EP3842900A1 (en) 2019-12-23 2021-06-30 Dassault Systèmes Method for modifying the rendering of a region of a 3d scene in an immersive environment
EP4121813A4 (en) 2020-03-20 2024-01-17 Magic Leap, Inc. SYSTEMS AND METHODS FOR RETINA IMAGING AND TRACKING
US11550446B2 (en) 2020-04-06 2023-01-10 Samsung Electronics Co., Ltd. Systems and methods for viewing webpages in extended reality environments
US11493764B2 (en) 2020-06-04 2022-11-08 Htc Corporation Method for dynamically displaying real-world scene, electronic device, and computer readable medium
CN111773683B (zh) * 2020-07-03 2024-06-04 珠海金山数字网络科技有限公司 一种基于移动终端的文字显示方法及装置
US11747896B2 (en) * 2020-10-20 2023-09-05 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11617945B2 (en) * 2020-11-13 2023-04-04 Qtech Innovations Llc Game controller with scroll wheel
CN112579029A (zh) * 2020-12-11 2021-03-30 上海影创信息科技有限公司 Vr眼镜的显示控制方法和系统
CN112704876B (zh) * 2020-12-30 2022-10-04 腾讯科技（深圳）有限公司 虚拟对象互动模式的选择方法、装置、设备及存储介质
US11836870B1 (en) 2021-01-19 2023-12-05 United Services Automobile Association (Usaa) Systems and methods for virtual physical distancing
US11461986B2 (en) 2021-01-27 2022-10-04 Qualcomm Incorporated Context-aware extended reality systems
US12149919B2 (en) 2021-02-26 2024-11-19 Apple Inc. Automatic acoustic handoff
KR102757030B1 (ko) * 2021-05-13 2025-01-21 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 가상 객체 제어 방법 및 장치, 컴퓨터 디바이스, 및 저장 매체
US12294842B2 (en) * 2021-05-15 2025-05-06 Apple Inc. Method and system for switching wireless audio connections during a call
CN113230659B (zh) * 2021-06-04 2024-10-18 网易（杭州）网络有限公司 一种游戏的显示控制方法及装置
GB2608997B (en) * 2021-07-15 2024-02-07 Sony Interactive Entertainment Inc Alert system and method for virtual reality headset
GB2610386B (en) 2021-09-01 2024-01-10 Sony Interactive Entertainment Inc Head-mountable display system and methods
US11921918B2 (en) * 2021-11-16 2024-03-05 Sony Interactive Entertainment LLC Heads up display in virtual reality
US20230277947A1 (en) * 2022-03-01 2023-09-07 William G. DiSessa Trend-based guessing game
EP4246184A1 (en) * 2022-03-16 2023-09-20 Faro Technologies, Inc. Software camera view lock allowing editing of drawing without any shift in the view
US12145060B2 (en) * 2022-05-27 2024-11-19 Sony Interactive Entertainment LLC Methods and systems to activate selective navigation or magnification of screen content
US12298514B1 (en) 2023-04-17 2025-05-13 Snap Inc. Augmented reality headset with controllably dimmable filter
US20250078423A1 (en) * 2023-09-01 2025-03-06 Samsung Electronics Co., Ltd. Passthrough viewing of real-world environment for extended reality headset to support user safety and immersion

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504917A (ja) * 1995-05-25 1998-05-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ヘッドマウントディスプレイ用衝突警告システム
JP2002073246A (ja) * 2000-08-25 2002-03-12 Minolta Co Ltd 映像表示システム
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2011200533A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 超音波診断装置
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2012204998A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
WO2013052855A2 (en) * 2011-10-07 2013-04-11 Google Inc. Wearable computer with nearby object response

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097637A (ja) * 1998-09-24 2000-04-07 Olympus Optical Co Ltd 姿勢位置検出装置
EP1389947B1 (en) 2001-05-25 2009-08-26 Imaging Therapeutics, Inc. Methods to diagnose treat and prevent bone loss
JP3880561B2 (ja) * 2002-09-05 2007-02-14 株式会社ソニー・コンピュータエンタテインメント 表示システム
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法
US7680694B2 (en) * 2004-03-11 2010-03-16 American Express Travel Related Services Company, Inc. Method and apparatus for a user to shop online in a three dimensional virtual reality setting
JP4642538B2 (ja) * 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
US9111498B2 (en) * 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
US8780014B2 (en) * 2010-08-25 2014-07-15 Eastman Kodak Company Switchable head-mounted display
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
JP5874176B2 (ja) * 2011-03-06 2016-03-02 ソニー株式会社 表示装置、並びに中継装置
US8743244B2 (en) * 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US8964008B2 (en) * 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
US20130083018A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Personal audio/visual system with holographic objects
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
US20130205311A1 (en) * 2012-02-07 2013-08-08 Arun Ramaswamy Methods and apparatus to control a state of data collection devices
US9093012B2 (en) * 2012-02-29 2015-07-28 Lenovo (Beijing) Co., Ltd. Operation mode switching method and electronic device
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9329678B2 (en) * 2012-08-14 2016-05-03 Microsoft Technology Licensing, Llc Augmented reality overlay for control devices
US20150046252A1 (en) * 2013-08-12 2015-02-12 Airvirtise Augmented Reality System

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504917A (ja) * 1995-05-25 1998-05-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ヘッドマウントディスプレイ用衝突警告システム
JP2002073246A (ja) * 2000-08-25 2002-03-12 Minolta Co Ltd 映像表示システム
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2011200533A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 超音波診断装置
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2012204998A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
WO2013052855A2 (en) * 2011-10-07 2013-04-11 Google Inc. Wearable computer with nearby object response

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
""Adding a Web Camera to the Oculus Rift Can be Quite Helpful"", 3D VISION BLOG, JPN5016006853, 18 April 2013 (2013-04-18), ISSN: 0003599231 *

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017528834A (ja) * 2014-09-11 2017-09-28 ノキア テクノロジーズ オサケユイチア 画像を表示するための方法、装置およびコンピュータ・プログラム
US10916057B2 (en) 2014-09-11 2021-02-09 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a real world object in a virtual reality enviroment
JP2016062593A (ja) * 2015-07-09 2016-04-25 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP2017224003A (ja) * 2016-05-17 2017-12-21 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
JP2019527881A (ja) * 2016-06-30 2019-10-03 株式会社ソニー・インタラクティブエンタテインメント 仮想現実シーンの変更方法及びコンピュータ可読記憶媒体
US11115641B2 (en) 2016-08-25 2021-09-07 Lg Electronics Inc. Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video
KR102264028B1 (ko) 2016-08-25 2021-06-11 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
KR20190075040A (ko) * 2016-08-25 2019-06-28 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
WO2018092947A1 (ko) * 2016-11-18 2018-05-24 주식회사 트라이캐치미디어 스마트 로봇 게임 시스템
US11223813B2 (en) 2017-01-10 2022-01-11 Samsung Electronics Co., Ltd Method and apparatus for generating metadata for 3D images
KR102329061B1 (ko) * 2017-01-10 2021-11-19 삼성전자주식회사 3차원 이미지에 대한 메타데이터를 생성하기 위한 방법 및 장치
KR20180082296A (ko) * 2017-01-10 2018-07-18 삼성전자주식회사 3차원 이미지에 대한 메타데이터를 생성하기 위한 방법 및 장치
WO2018173159A1 (ja) * 2017-03-22 2018-09-27 マクセル株式会社 映像表示装置
JPWO2018198909A1 (ja) * 2017-04-28 2019-11-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム
US11112857B2 (en) 2017-04-28 2021-09-07 Sony Interactive Entertainment Inc. Information processing apparatus, information processing method, and program
JP2018190078A (ja) * 2017-04-28 2018-11-29 株式会社スクウェア・エニックス コンテンツ表示プログラム、コンピュータ装置、コンテンツ表示方法、及びコンテンツ表示システム
JP2020536305A (ja) * 2017-09-29 2020-12-10 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 物理的境界監視器
US11734867B2 (en) 2017-09-29 2023-08-22 Apple Inc. Detecting physical boundaries
KR102552403B1 (ko) * 2017-09-29 2023-07-07 애플 인크. 물리적 경계 검출
CN111279292A (zh) * 2017-09-29 2020-06-12 苹果公司 物理边界防护
KR20200044102A (ko) * 2017-09-29 2020-04-28 애플 인크. 물리적 경계 검출
US11127182B2 (en) 2017-09-29 2021-09-21 Apple Inc. Detecting physical boundaries
CN111279292B (zh) * 2017-09-29 2022-06-14 苹果公司 检测物理边界
JP7029526B2 (ja) 2017-09-29 2022-03-03 アップル インコーポレイテッド 物理的境界監視器
JP2023052450A (ja) * 2017-10-12 2023-04-11 アウディ アクチェンゲゼルシャフト 頭部着用型の電子表示装置の操作方法および仮想コンテンツを表示する表示システム
JP6993518B2 (ja) 2018-02-02 2022-01-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイとコントローラとの電磁場を介したクロック同期
JP2021512427A (ja) * 2018-02-02 2021-05-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイとコントローラとの電磁場を介したクロック同期
JP2023126474A (ja) * 2018-02-06 2023-09-07 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
JP7546116B2 (ja) 2018-02-06 2024-09-05 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
JP7259838B2 (ja) 2018-03-13 2023-04-18 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
JPWO2019176236A1 (ja) * 2018-03-13 2021-03-25 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP7418393B2 (ja) 2018-07-09 2024-01-19 マイクロソフト テクノロジー ライセンシング，エルエルシー ３ｄ移行
JP2021531561A (ja) * 2018-07-09 2021-11-18 マイクロソフト テクノロジー ライセンシング，エルエルシー ３ｄ移行
JP2022508675A (ja) * 2018-10-09 2022-01-19 スアレス，イヴァン ブリティカ 物理的なゲーム環境でプレイするために電子ゲームをエミュレートするシステムおよび方法
JP2022511458A (ja) * 2018-11-30 2022-01-31 株式会社ソニー・インタラクティブエンタテインメント Ｈｍｄに対するコントローラの動きを判定するためのシステム及び方法
JP7337161B2 (ja) 2018-11-30 2023-09-01 株式会社ソニー・インタラクティブエンタテインメント Ｈｍｄに対するコントローラの動きを判定するためのシステム及び方法
US12189837B2 (en) 2018-11-30 2025-01-07 Sony Interactive Entertainment Inc. Systems and methods for determining movement of a controller with respect to an HMD
JP2023116480A (ja) * 2018-11-30 2023-08-22 株式会社ソニー・インタラクティブエンタテインメント Ｈｍｄに対するコントローラの動きを判定するためのシステム及び方法
JP7516615B2 (ja) 2018-11-30 2024-07-16 株式会社ソニー・インタラクティブエンタテインメント Ｈｍｄに対するコントローラの動きを判定するためのシステム及び方法
JP2020154430A (ja) * 2019-03-18 2020-09-24 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
US11944897B2 (en) 2019-03-18 2024-04-02 Sony Interactive Entertainment Inc. Device including plurality of markers
JP7353773B2 (ja) 2019-03-18 2023-10-02 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
JP7596303B2 (ja) 2019-04-23 2024-12-09 バルブ コーポレーション パススルー画像処理によるヘッドマウントディスプレイ
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
JP2024018887A (ja) * 2022-07-29 2024-02-08 小派科技（上海）有限責任公司 インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法
JP7654274B2 (ja) 2022-07-29 2025-04-01 小派科技(杭州)有限公司 インテリジェント端末、ハンドヘルドデバイス、仮想システム及びインテリジェント端末の空間位置決め方法
JP2024096657A (ja) * 2023-01-04 2024-07-17 スコネック エンターテインメント カンパニー リミテッド 仮想現実制御システム
JP7584728B2 (ja) 2023-01-04 2024-11-18 スコネック エンターテインメント カンパニー リミテッド 仮想現実制御システム

Also Published As

Publication number Publication date
WO2014197337A1 (en) 2014-12-11
US20160214015A1 (en) 2016-07-28
EP3005029A1 (en) 2016-04-13
US10722797B2 (en) 2020-07-28
JP2018010657A (ja) 2018-01-18
CN105378596A (zh) 2016-03-02
US20140364212A1 (en) 2014-12-11
JP6438087B2 (ja) 2018-12-12
EP3005029B1 (en) 2018-07-18
US20180311583A1 (en) 2018-11-01
CN105378596B (zh) 2019-01-22
US20230293994A1 (en) 2023-09-21
US12042729B2 (en) 2024-07-23
US11235243B2 (en) 2022-02-01
US10010792B2 (en) 2018-07-03
US11654358B2 (en) 2023-05-23
US20200330869A1 (en) 2020-10-22
JP6195664B2 (ja) 2017-09-13
US9908048B2 (en) 2018-03-06
US20220152498A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
US11654358B2 (en) Head mounted displays (HMDs) with front facing cameras for transitioning between non-transparent modes and transparent modes
US20210220730A1 (en) Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US20210129012A1 (en) Systems and Methods for Reducing Hops Associated with A Head Mounted System
JP6545744B2 (ja) 頭部装着ディスプレイにおけるオペレーション・モード・スイッチング
EP3003122B1 (en) Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
EP3469461B1 (en) Hmd transitions for focusing on specific content in virtual-reality environments

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170815

R150 Certificate of patent or registration of utility model

Ref document number: 6195664

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250