JP6679747B2 - 仮想現実（ｖｒ）ユーザインタラクティブ性に関連付けられた仮想現実環境の観戦 - Google Patents

Description

本開示は、ヘッドマウントディスプレイ（ＨＭＤ）に提示される仮想現実（ＶＲ）環境コンテンツと、観戦しているユーザによるＶＲ環境へのアクセスを組み込む方法及びシステムと、ＶＲ環境でインタラクトするＨＭＤユーザがナビゲートしている動的に変化している環境をユーザが観戦することを可能にする方法と、関連する装置及び方法に関する。

ビデオゲーム産業は、年を追って大きく変化した。コンピューティング能力が拡大したので、ビデオゲームの開発者は、コンピューティング能力のこの向上を利用するゲームソフトウェアをさらに作成してきた。このために、ビデオゲーム開発者は、高度な演算や数学を組み込んで、非常に詳細で人を引き付けるゲーム体験を生成するゲームを符号化してきた。

ゲームプラットフォームの例は、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ（登録商標）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ２（登録商標）（ＰＳ２）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ３（登録商標）（ＰＳ３）、及び、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ４（登録商標）（ＰＳ４）を含み、それらは、それぞれ、ゲームコンソールの形態で販売されている。周知のように、ゲームコンソールは、ディスプレイ（典型的には、テレビ）に接続して、ハンドヘルドコントローラを通してユーザインタラクションを可能にするように設計される。ゲームコンソールは、ＣＰＵと、集約的なグラフィック演算を処理するためのグラフィックスシンセサイザと、ジオメトリ変換を行うためのベクトルユニットと、他のグルーハードウェア、ファームウェア、及び、ソフトウェアとを含む専門処理ハードウェアを有するように設計される。ゲームコンソールは、ゲームコンソールを通したローカルプレイのためのゲームディスクを受ける光学ディスクリーダを有するようにさらに設計されてよい。オンラインゲームも可能で、ユーザは、インターネットを通して他のユーザに対して、または、他のユーザと共にインタラクティブにプレイできる。ゲームの複雑さが、プレイヤの興味を引き付け続けるので、ゲームとハードウェアのメーカーはさらなるインタラクティブ性とコンピュータプログラムとを可能にするように革新を続けてきた。

コンピュータゲーム産業では、ユーザとゲームシステムの間のインタラクションを増やすゲームを開発する傾向が高まっている。より豊かなインタラクティブ体験を達成する１つの方法は、プレイヤの動きを追跡し、その動きをゲームの入力に使用するために、無線ゲームコントローラを使用して、無線ゲームコントローラの動きをゲームシステムによって追跡することである。一般的に言うと、ジェスチャ入力は、コンピュータシステム、ビデオゲームコンソール、スマート装置等の電子デバイスを、プレイヤが行い、電子デバイスが捕捉するジェスチャに反応させることを指す。

より没入型のインタラクティブ体験を達成する別の方法は、ヘッドマウントディスプレイを使用することである。ヘッドマウントディスプレイは、ユーザによって着用され、仮想空間のビュー等、様々なグラフィックスを提示するように構成できる。ヘッドマウントディスプレイに提示されるグラフィックスは、ユーザの視野の大部分または全てをカバーすることもできる。よって、ヘッドマウントディスプレイは、視覚的に没入型の体験をユーザに提供できる。

この文脈で、本開示の実施形態は生じる。

本開示の実施態様は、ＨＭＤユーザが遭遇する、視聴する、及び／または、インタフェースをとる仮想現実環境及びコンテンツの観戦を可能にするために使用される方法及びシステムを含む。ある実施形態においては、ＶＲユーザのＶＲ環境において、仮想現実空間にプレオーサリングされたスポット／場所を介してユーザが観戦できるようにする方法及びシステムを記載する。別の実施形態においては、観戦モードは、ユーザが、ＶＲユーザの視線方向を使用して、ＶＲ環境内の特定の場所に焦点を合わせるまたは識別するのを可能にする。例として、ＶＲユーザの視線方向によって、ＶＲ環境内の場所を識別でき、その場所を観客が識別できる。別の実施形態においては、オーディオコントロールを調節及び／または修正して、観客が、ＶＲユーザのＶＲ環境内の特定の場所に自分のリスニングを集中させることができるようにする。例えば、観戦しているユーザは、ＶＲ環境内のある場所が関心を引くと判断し、そうすると、観戦しているユーザが実際にその識別したＶＲ環境の場所にいるかのように、観戦しているユーザを取り巻く音を観戦しているユーザに提供するように、観戦しているユーザへの音を調節できる。

一実施形態においては、観客に対して仮想現実環境のビューを生成する方法を提供する。方法は、ＨＭＤプレイヤのヘッドマウントディスプレイ（ＨＭＤ）にレンダリングするための仮想現実環境を生成することを含む。ＨＭＤプレイヤは、ＨＭＤプレイヤによるＨＭＤの動きによって制御されるＨＭＤビューを提供される。次に、仮想現実環境の観客ビューを提供する。観客ビューは、仮想現実環境に向けられたビュースポットに関連付けられる。ビュースポットは、ＨＭＤビューとは切り離されている。ある例においては、複数のビュースポットが、プレオーサリングされ、ＨＭＤプレイヤが仮想現実環境を動き回ると、観客は、ビュースポットのうちの異なるビュースポットを与えられる。

ある実施形態においては、ＨＭＤの動きによって、ＨＭＤビューは変わり、観客ビューのビュースポットを切り離すことによって、ＨＭＤビューの後を追う遅れたビュースポットの動きを生成する。

ある実施形態においては、ビュースポットの遅れた動きは、ＨＭＤの動きより遅い速度でＨＭＤビューの後を追うように機能する。

ある実施形態においては、ビュースポットは、仮想現実環境に関連付けられた複数のビュースポットの１つである。

ある実施形態においては、ビュースポットの厳選したビュースポットが、観客ビューのために選択される。

ある実施形態においては、ビュースポットの厳選したビュースポットが、仮想現実環境において関心を引くと識別された特定のコンテンツに基づいて、観客のために選択される。

ある実施形態においては、観客ビューは、ＨＭＤビューの一部である。

ある実施形態においては、観客ビューは、ＨＭＤビューより大きい。

ある実施形態においては、ＨＭＤプレイヤの視線方向を使用して、ＨＭＤプレイヤが視聴しているコンテンツを観客に対して識別する。

ある実施形態においては、方法は、観客による仮想現実環境内のリスニングゾーンの選択を受信することをさらに含み、リスニングゾーンの選択によって、リスニングゾーンの視点から観客にオーディオを提供する。

別の実施形態においては、サーバによって実行される観客ための仮想現実環境のビューを生成する方法を提供する。方法は、ＨＭＤプレイヤのヘッドマウントディスプレイ（ＨＭＤ）にレンダリングされる仮想現実環境のフィードをサーバが受信することを含む。ＨＭＤプレイヤは、ＨＭＤプレイヤによるＨＭＤの動きによって制御されるＨＭＤビューを提供される。仮想現実環境のフィードは、ウェブサイトに共有される。方法は、観客からのウェブサイトから仮想現実環境にアクセスする要求をサーバが受信することも含む。そして、サーバは、仮想現実環境の観客ビューを観客のデバイスに送信する。観客ビューは、仮想現実環境に向けられたビュースポットに関連付けられ、ＨＭＤビューとは切り離されている。ＨＭＤプレイヤが仮想現実環境を動き回ると、観客ビューは、仮想現実環境に向けられた他のビュースポットに更新される。

ある実施形態においては、ビュースポットは、プレオーサリングされたビュースポットであり、ＨＭＤプレイヤが仮想現実環境をあちこち移動すると、仮想現実環境の関心を引くビューを提供するように選択される。

ある実施形態においては、観客は、プレオーサリングされたビュースポットのあるビュースポットから別のビュースポットに動かされる。

ある実施形態においては、観客のプロファイルによって、ビューまたはコンテンツの種類に関する好みを識別し、好みを使用して、プレオーサリングされたビュースポットのうちのどのビュースポットを観客に提供するかを選択する。

ある実施形態においては、観客のデバイスは、観客が使用するＨＭＤ、または、観客が使用するテレビ画面、または、観客が使用するコンピュータ画面、または、観客が使用するハンドヘルドデバイス画面のうちの１つである。

ある実施形態においては、観客は、ＨＭＤプレイヤのＨＭＤビューを視聴するためのアクセスを提供する複数の観客のうちの一人である。

ある実施形態においては、ウェブサイトは、他のＨＭＤプレイヤの他のＨＭＤビューのオプションの選択を提供することによって、観客が、ＨＭＤビューのうちの特定のＨＭＤビューを選択して、１つまたは複数の観客ビューから各仮想現実環境を見ることができるようにする。

本開示の他の態様及び利点は、例を挙げて本開示の原理を示す、以下の詳細な記載を添付図面と合わせて読むと、明らかになろう。

本発明は、添付の図面と関連した以下の説明を参照することによってさらによく理解されるであろう。

本開示の実施形態による、ビデオゲームのインタラクティブなゲームプレイのためのシステムの図である。

本開示の実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を示す図である。

一実施形態による、クライアントシステムとインタフェースをとるＨＭＤユーザと、第２画面と呼ぶ第２画面ディスプレイにコンテンツを提供するクライアントシステムとの一例の図である。

本開示の実施形態による、実行しているビデオゲームと共にＨＭＤの機能を概念的に示す図である。

仮想現実環境をナビゲートしているＨＭＤプレイヤと、仮想現実コンテンツを視聴している一人または複数の観客との例を示す図である。

仮想現実環境をナビゲートしているＨＭＤプレイヤと、仮想現実シーン内の関心を引くコンテンツに基づいて、選択またはプレオーサリングできる仮想現実環境内の異なるビュースポットを提供されているＨＭＤ観客との例を示す図である。

一実施形態による、仮想現実環境を通してナビゲートしているＨＭＤプレイヤと、観客のためのビュースポットの自動選択を示す図で、ビュースポットは、観戦しているユーザの好みに基づいて自動的に選択される。

一実施形態による、マルチメディアＶＲコンテンツへのプレオーサリングされた異なるビュースポットをどのように異なる観客に提供できるかと、特定のビュースポットの視点から視聴する関心を引くオブジェクトの関連付けとの例を示す図である。

一実施形態による、ゲームエリアを含む仮想現実環境の例を示す図で、ＨＭＤプレイヤが、ナビゲートでき、特定のプレイヤレビューを提供され、また、ＨＭＤプレイヤのビューと、任意選択的に、ＨＭＤプレイヤには見えない追加のビューとを含む環境のビューを提供され得る観客とを示す。 一実施形態による、ゲームエリアを含む仮想現実環境の例を示す図で、ＨＭＤプレイヤが、ナビゲートでき、特定のプレイヤレビューを提供され、また、ＨＭＤプレイヤのビューと、任意選択的に、ＨＭＤプレイヤには見えない追加のビューとを含む環境のビューを提供され得る観客とを示す。

一実施形態による、ＨＭＤプレイヤが、仮想現実環境内の特定のコンテンツまたはアイテムを視聴でき、ＨＭＤプレイヤが視聴している視線方向またはオブジェクトを観客のために識別できる例を示す図である。

一実施形態による、ＨＭＤプレイヤが視聴している仮想現実環境が、様々な種類のコンテンツを含むことができ、コンテンツ自体が、仮想現実環境内の特定の場所に関連付けられた異なる種類のオーディオを含むことができて、観客が、観戦しながら、どのオーディオリスニング場所を取るかを決定するのを可能にする例を示す図である。

本開示の実施形態による、ヘッドマウントディスプレイのコンポーネントを示す図である。

開示の様々な実施形態による、ゲームシステム１４００のブロック図である。

本開示の以下の実施態様は、観客の体験を向上させるＨＭＤプレイヤのカスタマイズされたビューを観客に提供する方法、システム、コンピュータ可読媒体、及び、クラウドシステムを提供する。一実施形態においては、観客は、例えば、ＨＭＤプレイヤに応答して生成されるもの等、視聴する特定の仮想現実（ＶＲ）環境を選択する能力を与えられる。観客は、一実施形態においては、仮想現実環境の新しいビューと視点を与えられ、それらは、プレオーサリングされてよい。仮想現実環境内に仮想現実ビュースポットをプレオーサリングすることにより、ＨＭＤプレイヤがナビゲートしている時、観客が仮想現実シーン内の関心を引くコンテンツを視聴する、または、観客が関心を引くコンテンツに焦点を合わせるのを容易にできる。一実施形態においては、複数のビュースポットが、ＨＭＤプレイヤがナビゲートしているゲームエリア、コンテンツ、マルチメディア、または、一般的なコンテンツの異なる場所内にプレオーサリングされてよい。これらのビューは、ＨＭＤプレイヤのナビゲーションに基づいて、予め選択され、観客に割り当てることができる。

一実施形態においては、これらのビューは、滑らかな提示フォーマットで提供でき、ＨＭＤプレイヤの正確な視線方向に厳密に結び付けられず、固定されない。さらに、観客に提供されるビューは、ＨＭＤプレイヤが生成したのと全く同じビューが観客に見せられた場合に一般的であるコンテンツの素早い動きを観客に見せないように提供されてもよい。観客は、仮想現実シーンのビューを制御していないので、仮に観客のビューがＨＭＤプレイヤに直接結びつけられると、観客に提示されるコンテンツは、ＨＭＤプレイヤが頭を上下させたり、右または異なる方向に動かしたりする等、動きの速い時間を有することになる。一構成においては、観客ビューは、ＨＭＤプレイヤの動きの後を追うことができるが、観客のこの適応を防ぐように、より滑らかな遅延を伴う。他の実施形態においては、観客ビューは、仮想現実環境内の異なる場所に固定できる。これらの固定された場所は、観客の関心を引く可能性があるとして、コンテンツ開発者によって選択される予め定められたスポットであってよい。代替実施形態においては、スポットは、例えば、ＨＭＤプレイヤの後を追うように移動できる。

ある実施形態においては、予め定められたスポットが、特定の観客に対して観客の好みに基づいて選択できる。観客が、ある種のコンテンツを視聴する好みを有する場合、仮想現実コンテンツ内のあるスポットが、その観客に対して選択できる。従って、異なる観客は、異なるスポットと、ＨＭＤプレイヤがナビゲートする仮想現実シーンへの視点とから異なるコンテンツを選択できる。さらに複数の観客が、例えば、Ｔｗｉｔｃｈタイプの共有を提供するウェブサイトを介して、ＨＭＤプレイヤコンテンツを視聴できるので、異なる観客は、仮想現実コンテンツ内の異なるビュースポットを有し得る。代替実施形態においては、全ての観客が、同じビュースポットから同じコンテンツを見ることができる。

さらに、観客が、Ｔｗｉｔｃｈタイプの共有を提供するウェブサイトを使用する場合、多くのＨＭＤプレイヤコンテンツフィードが、提供でき、また、様々な観客によって選択可能になる。フィードは、ＨＭＤプレイヤのコンピュータからウェブサイトにインターネットを介して共有でき、ウェブサイトは、コンテンツを公開できる、及び／または、観客が視聴するためにコンテンツを選択できるようにする。例として、ＨＭＤプレイヤが、ＨＭＤ体験の共有を決定する場合、その体験を観客が選択できる。そして、ビューの種類を選択する機能を観客に提供できる、または、ＨＭＤプレイヤのナビゲーションによって生成された仮想現実コンテンツを視聴するための特定のプレオーサリングされたスポットを観客に提供できる。一実施形態においては、仮想現実コンテンツへの切り離されたビュースポットを観客に提供することによって、典型的に、実際のＨＭＤプレイヤの視点から与えられる強固に固定されたビューを提供する必要が無くなる。

ある実施形態においては、観客に与えられるビューは、実際のＨＭＤプレイヤの視点からであってもよいが、ゴムバンドリンクまたはゴムバンド結合と呼ばれる、少し切り離された接続を備えてよい。ゴムバンドリンクは、ＨＭＤプレイヤの頭上に配置された仮想カメラに類似したビュースポットを提供する。ビューを提供する仮想カメラは、移動でき、ＨＭＤプレイヤの動きより少し遅れて、ＨＭＤプレイヤのビューの後を追うことができる。例として、ＨＭＤプレイヤが素早く左を見る場合、仮想カメラは、ＨＭＤプレイヤが見ている方向を追いかけて左にゆっくり移動できる。ＨＭＤプレイヤが、頭を素早く上下に動かす場合、ＨＭＤプレイヤの方向は、真っ直ぐに戻るので、仮想カメラの遅れにより、上下の動きを回避できる。

さらに別の実施形態においては、観客に、仮想現実環境への異なるビュースポットを提供できる、これは、ＨＭＤプレイヤ、または、ＨＭＤプレイヤが制御しているキャラクタを見ることも含み得る。一実施形態においては、この構成は、ＨＭＤプレイヤのキャラクタが仮想環境をあちこち移動する時、そのキャラクタを視聴しているある種の自動カメラマンアングルを規定できる。よって、ＨＭＤプレイヤが、環境、ゲーム、コンテンツ、または、シーン内の異なる場所をあちこち移動すると、観客に提供されるアングルは、より関心を引くものになり、異なるビュースポット間をシフトまたは移動できる。

一実施形態においては、方法、システム、撮像オブジェクト、センサ、及び、関連するインタフェースオブジェクト（例えば、手袋、コントローラ、手等）は、データを処理するように構成され、データは、ディスプレイ画面にほぼリアルタイムでレンダリングされるように構成される。ディスプレイは、ヘッドマウントディスプレイ（ＨＭＤ）のディスプレイ、第２画面のディスプレイ、ポータブルデバイスのディスプレイ、コンピュータディスプレイ、ディスプレイパネル、（例えば、コンテンツを視聴している、または、インタラクティブ体験を共有している）一人または複数の遠隔に接続されたユーザのディスプレイ等であってよい。

しかしながら、これらの特定の詳細の一部または全てを用いずに本開示を実践してよいことは当業者には明らかであろう。他の例においては、本開示を不必要に曖昧にしないために、周知のプロセス操作は記載していない。

図１は、本開示の実施形態による、ビデオゲームのインタラクティブなゲームプレイのためのシステムを示す。ヘッドマウントディスプレイ（ＨＭＤ）１０２を着用しているユーザ１００が示されている。ＨＭＤ１０２は、眼鏡、ゴーグル、または、ヘルメットと同様に着用され、ビデオゲームまたは他のコンテンツをユーザ１００に表示するように構成される。ＨＭＤ１０２は、ユーザの目のすぐ近くに表示機構を備えることによって、非常に没入型の体験をユーザに提供する。従って、ＨＭＤ１０２は、ユーザの視野の大部分または全体さえ占めるディスプレイ領域をユーザの両目のそれぞれに対して提供できる。

一実施形態においては、ＨＭＤ１０２は、コンピュータ１０６に接続できる。コンピュータ１０６への接続は、有線であっても無線であってもよい。コンピュータ１０６は、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス等を含むが、これらに限らない、当分野で既知の任意の汎用または専用コンピュータであってよい。一実施形態においては、コンピュータ１０６は、ビデオゲームを実行するように構成でき、また、ＨＭＤ１０２によってレンダリングするためのビデオ及びオーディオをビデオゲームから出力するように構成できる。

ユーザ１００は、手袋インタフェースオブジェクト１０４ａを操作して、ビデオゲームに入力を行ってよい。さらに、カメラ１０８は、ユーザ１００がいるインタラクティブ環境の画像を撮影するように構成できる。これらの撮影された画像を分析して、ユーザ１００、ＨＭＤ１０２、及び、手袋インタフェースオブジェクト１０４ａの位置及び動きを決定できる。一実施形態においては、手袋インタフェースオブジェクト１０４ａは、その位置と向きを決定するために追跡できるライトを含む。

以下に記載のように、ユーザがＨＭＤ１０２に表示された仮想現実シーンとインタフェースをとる方法は、様々であってよく、手袋インタフェースオブジェクト１０４ａに加えて、他のインタフェースデバイスを使用できる。例えば、片手コントローラも使用でき、両手コントローラも使用できる。ある実施形態においては、コントローラは、コントローラに関連付けられたライトを追跡することによって、または、コントローラに関連付けられた形状、センサ、及び、慣性データを追跡することによって、自身で追跡できる。これら様々な種類のコントローラを用いて、または、単に行われたハンドジェスチャを１つまたは複数のカメラによって撮影して、ＨＭＤ１０２に提示される仮想現実環境とインタフェースをとり、制御し、操作し、インタラクトし、参加することが可能である。

さらに、ＨＭＤ１０２は、ＨＭＤ１０２の位置と向きとを決定するために追跡できる１つまたは複数のライトを含んでよい。カメラ１０８は、インタラクティブ環境からの音を捕捉する１つまたは複数のマイクロフォンを含んでよい。マイクロフォンアレイが捕捉した音を処理して、音源の位置を識別してよい。識別された位置からの音を、選択的に利用または処理して、識別された位置からではない他の音を除去できる。さらに、カメラ１０８は、複数の撮像装置（例えば、立体写真カメラ）、ＩＲカメラ、デプスカメラ、及び、これらの組み合わせを含むように規定できる。

別の実施形態においては、コンピュータ１０６は、クラウドゲーミングプロバイダ１１２とネットワークを介して通信するシンクライアントとして機能する。クラウドゲーミングプロバイダ１１２は、ユーザ１０２がプレイしているビデオゲームを維持、実行する。コンピュータ１０６は、ＨＭＤ１０２、手袋インタフェースオブジェクト１０４ａ、及び、カメラ１０８からの入力をクラウドゲーミングプロバイダに送信し、クラウドゲーミングプロバイダは、その入力を処理して、実行しているビデオゲームのゲーム状態に反映させる。ビデオデータ、オーディオデータ、及び、触覚フィードバックデータ等、実行しているビデオゲームからの出力は、コンピュータ１０６に送信される。コンピュータ１０６は、データを送信前にさらに処理してもよく、または、関連する装置にデータを直接、送信してもよい。例えば、ビデオストリーム及びオーディオストリームが、ＨＭＤ１０２に提供され、振動フィードバックコマンドが、手袋インタフェースオブジェクト１０４ａに提供される。

一実施形態においては、ＨＭＤ１０２、手袋インタフェースオブジェクト１０４ａ、及び、カメラ１０８は、それら自体がネットワークデバイスであってよく、ネットワーク１１０に接続して、クラウドゲーミングプロバイダ１１２と通信する。例えば、コンピュータ１０６は、ビデオゲーム処理を行わずネットワークトラフィックの経路を促進するルータ等のローカルネットワークデバイスであってよい。ＨＭＤ１０２、手袋インタフェースオブジェクト１０４ａ、及び、カメラ１０８によるネットワークへの接続は、有線であってもよく、無線であってもよい。

さらに、ヘッドマウントディスプレイを参照して本開示の実施形態を記載するが、他の実施形態においては、ヘッドマウントでないディスプレイに置き換えられてよいことは理解されよう。ヘッドマウントでないディスプレイには、テレビ、プロジェクタ、ＬＣＤディスプレイ画面、ポータブルデバイス画面（例えば、タブレット、スマートフォン、ラップトップ等）、または、本実施形態による、ビデオをレンダリングするように構成でき、及び／または、インタラクティブなシーンもしくは仮想環境を表示するように構成できる任意の他の種類のディスプレイを含むが、これらに限らない。

図２Ａは、本開示の実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を示す。図に示すように、ＨＭＤ１０２は、複数のライト２００Ａ〜２００Ｈを含む。これらのライトはそれぞれ、特定の形状を有するように構成されてよく、同じ色または異なる色を有するように構成できる。ライト２００Ａ、２００Ｂ、２００Ｃ、及び、２００Ｄは、ＨＭＤ１０２の前面に配置される。ライト２００Ｅと２００Ｆは、ＨＭＤ１０２の側面に配置される。ライト２００Ｇと２００Ｈは、ＨＭＤ１０２の前面と側面にわたるように、ＨＭＤ１０２の角部に配置される。ライトは、ユーザがＨＭＤ１０２を使用するインタラクティブ環境を撮影した画像で識別できることを理解されよう。ライトの識別と追跡に基づいて、インタラクティブ環境におけるＨＭＤ１０２の位置及び向きを決定できる。ライトの幾つかは、撮像装置に対するＨＭＤ１０２の特定の向きに応じて見える場合もあり、見えない場合もあることも理解されよう。また、異なるライト（例えば、ライト２００Ｇと２００Ｈ）が、撮像装置に対するＨＭＤ１０２の向きに応じて撮像のためにさらされてよい。

一実施形態においては、ライトは、近くにいる他者に対してＨＭＤの現在の状態を示すように構成できる。例えば、ライトの一部または全てが、ある一定の色配置、強度配置を有するように構成されてよく、点滅する、一定のオン／オフ構成、または、ＨＭＤ１０２の現在の状態を示す他の仕組みを有するように構成されてよい。例として、ライトは、ビデオゲームのアクティブなゲームプレイ中（通常、アクティブタイムライン中、または、ゲームのシーン内で生じるゲームプレイ）と、メニューインタフェースをナビゲート、または、ゲーム設定を構成等、ビデオゲームの他の非アクティブなゲームプレイの態様（この間、ゲームのタイムラインまたはシーンは非アクティブまたは停止中であってよい）とで、異なる設定を表示するように構成できる。ライトは、ゲームプレイの相対的な強度レベルを示すように構成されてもよい。例えば、ゲームプレイの強度が増すと、ライトの強度、または、点滅の速度が、増加してよい。このようにして、ユーザの外部の人は、ＨＭＤ１０２のライトを見て、ユーザが真剣にゲームプレイに熱中しており、今は邪魔されなくないということを理解してよい。

ＨＭＤ１０２は、１つまたは複数のマイクロフォンをさらに含んでよい。図示の実施形態においては、ＨＭＤ１０２は、ＨＭＤ１０２の前面に画定されたマイクロフォン２０４Ａ及び２０４Ｂと、ＨＭＤ１０２の側面に画定されたマイクロフォン２０４Ｃを含む。マイクロフォンアレイを利用することによって、各マイクロフォンからの音を処理して、音源の位置を決定できる。この情報は、不要な音源の除去、音源と視覚的識別の関連付け等を含む、様々な点で利用できる。

ＨＭＤ１０２は、１つまたは複数の撮像装置も含んでよい。図示の実施形態においては、ＨＭＤ１０２は、撮像装置２０２Ａと２０２Ｂを含むとして示されている。撮像装置の立体写真を利用することによって、環境の三次元（３Ｄ）画像とビデオが、ＨＭＤ１０２の視点から撮影できる。このようなビデオをユーザに提示して、ＨＭＤ１０２を着用している間、ユーザに「ビデオシースルー」能力を提供できる。すなわち、ユーザは、厳密な意味でＨＭＤ１０２を通して見ることはできないが、撮像装置２０２Ａと２０２Ｂ（例えば、以下の図３に示すようなＨＭＤ１０２の外側の本体に配置された１つまたは複数の正面を向いたカメラ１０８）が撮影したビデオは、それにもかかわらず、ＨＭＤ１０２を通して見たかのように、ＨＭＤ１０２の外部の環境を見ることができる機能的に同等なものを提供できる。このようなビデオは、拡張現実体験を提供する仮想の要素で拡張することができる、または、他の方法で仮想の要素と組み合わせてよく、もしくは、混合されてよい。図示の実施形態においては、２つのカメラが、ＨＭＤ１０２の前面に示されるが、ＨＭＤ１０２に設置され、任意の方向に向けられた任意の数の外部を向いたカメラがあってよいことは理解されたい。例えば、別の実施形態においては、ＨＭＤ１０２の側面に取り付けられて、環境の追加のパノラマ画像を撮影するカメラがあってよい。

図２Ｂは、クライアントシステム１０６とインタフェースをとっているＨＭＤ１０２のユーザと、第２画面１０７と呼ばれる第２画面ディスプレイにコンテンツを提供しているクライアントシステム１０６との一例を示す。以下に記載のように、クライアントシステム１０６は、ＨＭＤ１０２から第２画面１０７へのコンテンツの共有を処理する集積電子機器を含んでよい。他の実施形態は、クライアントシステムとＨＭＤ１０２及び第２画面１０７のそれぞれとのインタフェースをとる別個のデバイス、モジュール、コネクタを含んでよい。この一般的な例においては、ユーザ１００は、ＨＭＤ１０２を着用しており、コントローラ１０４を用いてビデオゲームをプレイしている。ユーザ１００によるインタラクティブなプレイによって、ビデオゲームコンテンツ（ＶＧＣ）が生成され、ビデオゲームコンテンツ（ＶＧＣ）は、ＨＭＤ１０２にインタラクティブに表示される。

一実施形態においては、ＨＭＤ１０２に表示されているコンテンツは、第２画面１０７に共有される。一例においては、第２画面１０７を見ている人は、ユーザ１００がＨＭＤ１０２でインタラクティブにプレイしているコンテンツを視聴できる。別の実施形態においては、別のユーザ（例えば、プレイヤ２）が、クライアントシステム１０６とインタラクトして、第２画面コンテンツ（ＳＳＣ）を生成できる。コントローラ１０４と同様にインタラクトしているプレイヤ（または、任意の種類のユーザインタフェース、ジェスチャ、音声、もしくは、入力）が生成した第２画面コンテンツが、クライアントシステム１０６へのＳＳＣとして生成されてよく、ＨＭＤ１０２から受信されたＶＧＣと共に第２画面１０７に表示できる。

従って、ＨＭＤユーザと同じ場所にいる、または、遠隔の他のユーザによるインタラクティブ性は、ＨＭＤユーザと、ＨＭＤユーザがプレイするコンテンツを第２画面１０７で視聴しているユーザとの両方にとって、ソーシャル、インタラクティブ、また、より没入型であり得る。図に示すように、クライアントシステム１０６は、インターネット１１０に接続できる。インターネットは、様々なコンテンツソース１２０からのコンテンツへのアクセスをクライアントシステム１０６に提供もできる。コンテンツソース１２０は、インターネットを介してアクセス可能な任意の種類のコンテンツを含み得る。

このようなコンテンツは、ビデオコンテンツ、映画コンテンツ、ストリーミングコンテンツ、ソーシャルメディアコンテンツ、ニュースコンテンツ、友達コンテンツ、広告コンテンツ等を含み得るが、これらに限らない。一実施形態においては、クライアントシステム１０６を使用して、ＨＭＤユーザのためのコンテンツを同時に処理でき、それによって、ＨＭＤは、ゲームプレイ中にインタラクティブ性と関連付けられたマルチメディアコンテンツを提供される。そして、クライアントシステム１０６は、他のコンテンツも第２画面に提供できる。他のコンテンツは、ビデオゲームコンテンツに関係がなくてもよい。クライアントシステム１０６は、一実施形態においては、コンテンツソース１２０の１つから、または、ローカルユーザもしくは遠隔ユーザから、第２画面コンテンツを受信できる。

図３は、本開示の実施形態による、実行しているビデオゲームと共にＨＭＤ１０２の機能を概念的に示す。実行しているビデオゲームは、ビデオゲームのゲーム状態を更新する入力を受信するゲームエンジン３２０によって規定される。ビデオゲームのゲーム状態は、ビデオゲームの様々なパラメータの値によって少なくとも部分的に規定でき、パラメータは、オブジェクトの存在と位置、仮想環境の条件、イベントのトリガ、ユーザプロファイル、ビューの視点等、現在のゲームプレイの様々な態様を規定する。

図示の実施形態においては、ゲームエンジンは、例として、コントローラ入力３１４、オーディオ入力３１６、及び、動作入力３１８を受信する。コントローラ入力３１４は、ハンドヘルドゲームコントローラ（例えば、Ｓｏｎｙ ＤＵＡＬＳＨＯＣＫ（登録商標）４無線コントローラ、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）Ｍｏｖｅ動作コントローラ）または手袋インタフェースオブジェクト１０４ａ等、ＨＭＤ１０２とは別個のゲームコントローラから規定されてよい。例として、コントローラ入力３１４は、方向入力、ボタン押し下げ、トリガ起動、動き、ジェスチャ、または、ゲームコントローラの操作から処理される他の種類の入力を含んでよい。オーディオ入力３１６は、ＨＭＤ１０２のマイクロフォン３０２から、または、撮像装置１０８もしくはローカル環境の他の場所に含まれるマイクロフォンから処理できる。動作入力３１８は、ＨＭＤ１０２に含まれるモーションセンサ３００から、または、撮像装置１０８がＨＭＤ１０２の画像を撮影すると撮像装置１０８から処理できる。ゲームエンジン３２０は、入力を受信し、入力は、ゲームエンジンの構成に従って処理されてビデオゲームのゲーム状態を更新する。ゲームエンジン３２０は、ゲーム状態データを様々なレンダリングモジュールに出力し、様々なレンダリングモジュールは、ゲーム状態データを処理して、コンテンツを規定し、コンテンツがユーザに提示される。

図示の実施形態においては、ビデオレンダリングモジュール３２２は、ＨＭＤ１０２に提示するためのビデオストリームをレンダリングするように規定される。ビデオストリームは、ディスプレイ／プロジェクタ機構３１０によって提示されてよく、ユーザの目３０６によって光学素子３０８を通して視聴されてよい。オーディオレンダリングモジュール３０４は、ユーザが聞くためのオーディオストリームをレンダリングするように構成される。一実施形態においては、オーディオストリームは、ＨＭＤ１０２に関連付けられたスピーカ３０４を通して出力される。スピーカ３０４は、オープンエアスピーカ、ヘッドフォン、または、オーディオを提示できる任意の他の種類のスピーカの形態を取ってよいことは理解されたい。

一実施形態においては、視線追跡カメラ３１２が、ＨＭＤ１０２に含まれて、ユーザの視線追跡を可能にする。視線追跡カメラが、ユーザの目の画像を撮影し、その画像が分析されて、ユーザの視線方向が決定される。一実施形態においては、ユーザの視線方向に関する情報を利用してビデオレンダリングに反映できる。例えば、ユーザの目が、特定の方向を見ていると決定される場合、その方向のビデオレンダリングは、例えば、ユーザが見ている領域をより詳細にする、または、速く更新する等によって、優先または強調できる。ユーザの視線方向は、ヘッドマウントディスプレイに対して、ユーザがいる現実の環境に対して、及び／または、ヘッドマウントディスプレイ上にレンダリングされている仮想環境に対して、規定できることを理解されたい。

大まかに言うと、視線追跡カメラ３１２が撮影した画像の分析を、単独で考慮すると、ＨＭＤ１０２に対するユーザの視線方向を提供する。しかしながら、ＨＭＤ１０２の追跡された位置と向きと共に考慮されると、ＨＭＤ１０２の位置と向きが、ユーザの頭の位置と向きと同義になるように、ユーザの実世界での視線方向が決定できる。すなわち、ユーザの実世界の視線方向は、ユーザの目の位置の動きを追跡することと、ＨＭＤ１０２の位置と向きを追跡することとから決定できる。仮想環境のビューが、ＨＭＤ１０２にレンダリングされると、ユーザの実世界の視線方向が、仮想環境のユーザの仮想世界の視線方向の決定に適用できる。

さらに、触覚フィードバックモジュール３２６は、ＨＭＤ１０２、または、コントローラ１０４等のユーザが操作する他のデバイスに含まれる触覚フィードバックハードウェアに信号を提供するように構成される。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバック等、様々な種類の触感の形態をとってよい。

現在、ゲーム再生を共有するストリーミングサービスが非常に人気である。ＤｕａｌＳｈｏｃｋ（登録商標）４無線コントローラは、このような共有を可能にする「共有ボタン」をコントローラ上に直接、含む。本開示の実施態様は、ＨＭＤ／ＶＲヘッドセットを用いて、リプレイを探索したい人にとってリプレイの共有を向上させる。本開示の実施態様は、非常に広い視野でゲームのリプレイをレンダリングして、観客が、ＨＭＤを用いて自由に頭を動かし、新しい見やすい場所からリプレイを視聴するのを可能にする。従来のストリーミングアプローチでは、元のプレイヤが視聴したものだけにリプレイを限定するので、視線方向は、観客の頭の位置と向きとは関係なく、ＨＭＤを使用する観客が頭を動かしたとしても、何も変化はない。

開示の実施態様は、ＨＭＤの新しい視点をサポートするように十分に広い視野でビデオをレンダリングする。クラウドサーバ上で（例えば、クラウドにおける、ＰｌａｙＳｔａｔｉｏｎ（登録商標）４ハードウェア等のゲームコンソール用ゲームハードウェア上で）実行するゲームエンジンのカスタムメイドは、元のプレイヤのゲームエンジンからストリーミングされた入力ゲーム状態として受け入れて、それを用いて非常に広い視野（例えば、１５０度を超える）のゲームのビューをレンダリングし、そのゲームセッションのリアルタイムストリーミング、及び／または、以前に記録された再生に使用できる。非常に広い視野は、ＨＭＤの視野を超えて、ＨＭＤを着用している観客が、リプレイ時に周りを見るのを可能にすることを理解されよう。実際のゲームは、エンジンのネットワークバージョンに、その状態をストリーミングするように構成される。

上記のように、ＨＭＤ１０２を着用しているユーザが体験しているインタラクティブなアクティビティを観戦、例えば、見る能力をユーザに提供するニーズがある。例えば、一人のＨＭＤの仮想現実プレイヤが、ＨＭＤに提示されているアクティビティに没入し得る間、他の人がそのプレイヤと同じ場所にいることがある。これらの同じ場所にいる他のプレイヤは、ＨＭＤプレイヤが体験しているインタラクティブ性または視聴している仮想現実シーンを見ることに楽しみを見出す場合がある。本明細書においては、ＨＭＤプレイヤは、ＨＭＤに提示されたコンテンツを視聴しているプレイヤである、または、ＨＭＤに提示されたコンテンツとインタクトしている、もしくは、ＨＭＤに提示されたゲームをプレイしている可能性があるプレイヤであってよい。従って、プレイヤとは、ＨＭＤに提示されているコンテンツの種類に関係なく、ＨＭＤを装着しているユーザのみを指す。

さらに他の実施形態において、ＨＭＤプレイヤと同じ場所にいない他の人が、ＨＭＤプレイヤのＨＭＤに提示されているコンテンツ、インタラクティブ性、または、メディアを見たい場合がある。例えば、ＨＭＤプレイヤがアクティビティを行っている間、見るまたは観戦するために、異なるＨＭＤプレイヤから選択を行う能力をユーザに提示するウェブサイトを提供してよい。この例は、標準的なＴｗｉｔｃｈタイプ体験と類似し、インターネットに接続されたユーザが、ウェブサイトにアクセスして、遠隔プレイヤがプレイしている異なる種類のコンテンツまたはメディアを検索するのを可能にする。遠隔プレイヤは、ある実施形態においては、ＨＭＤ１０２を用いてゲームをプレイしていてよい。

他の実施形態においては、遠隔プレイヤは、デバイスのディスプレイ画面またはテレビのディスプレイ画面を用いて、ゲームをプレイしてよい、または、コンテンツを見てよい。大まかに言うと、遠隔の他のプレイヤのアクティビティを、例えば、ウェブサイトを介して見たいユーザは、次に、特定のプレイヤ、または、ゲームの種類、または、ゲームのサムネイル、または、コンテンツのサムネイルを選択して、ＨＭＤプレイヤが指示しているアクティビティを視聴できる。従って、遠隔のＨＭＤプレイヤがアクティブにプレイし得る特定のインタラクティブコンテンツをユーザが視聴、選択するのを可能にするウェブサイトを提供できる。ＨＭＤプレイヤによるアクティビティを視聴したい遠隔の視聴者は、単に、そのコンテンツをクリックして、視聴を開始できる。

ＨＭＤプレイヤのアクションを見ているまたは視聴している人は、一般的に、観客と呼ぶ。観客は、アクティビティ、インタラクティブ性、アクション、動き等を視聴するためのアクセスを与えられるが、必ずしもゲームアクションを制御していない人である。このために、これらの視聴者は、観客と呼ばれる。ＨＭＤプレイヤの文脈で、ＨＭＤディスプレイに表示されているコンテンツは、動的で、ＨＭＤプレイヤの動きによって制御される。例えば、ＨＭＤプレイヤは、頭を動かすと、実世界の人の周囲で生じるのと同様に、視聴可能な異なるコンテンツを提示される。

ＨＭＤプレイヤの頭の動きは、ＨＭＤプレイヤにとっては自然であるが、ＨＭＤプレイヤと同じビューを与えられる観客は、コンテンツを見ると、素早い動きが原因で、吐き気やめまいがする場合がある。この理由は、視聴者自身は、ＨＭＤプレイヤが頭を動かすのと同じように頭を動かさないからであり、ＨＭＤプレイヤの頭の動きによって、ＨＭＤプレイヤの視線方向に基づいて、コンテンツが変化するからである。本明細書に記載の様々な実施形態において、ＨＭＤプレイヤが視聴しているコンテンツを、観客の気をそらさず、また、観客にめまいや吐き気を起こさせにくい方法で観客が視聴できるようにする方法、システム、コンピュータ可読媒体、及び、クラウド構成が提供される。

例として、本明細書に記載の実施形態の一部は、ＨＭＤプレイヤが視聴している仮想現実環境内の異なるビュースポットを提供する方法を教示する。ある実施形態においては、ビュースポットは、観客が視聴可能な角度、方向、及び、コンテンツという点で固定である。従って、ＨＭＤプレイヤが、頭をどちらかに動かす場合、仮想現実環境の観客のビューは、安定して維持され得る。ある実施形態においては、ＨＭＤプレイヤが、異なる仮想現実環境のシーン、場所、エリア、レベル、章等を移動及びあちこち移動すると、観戦しているユーザに異なるビュースポットが与えられてよい、ビュースポットは、視聴している観客に合わせてカスタマイズされる。例えば、異なる種類のコンテンツに対して、様々なビュースポットをプレオーサリングできる。

コンテンツがビデオゲームである場合、ビデオゲームで取り得る異なる経路に沿ったビュースポットが、観客が視聴するためのプレオーサリングされたスポットとして予め定められてよい。従って、ＨＭＤプレイヤが、その経路に沿って移動する時、経路に沿ったビュースポットを観客に提供することができ、ビュースポットは、ゲーム開発者、以前の観客、または、ＨＭＤプレイヤによって予め選択、または、プレオーサリングされてよい。このようにして、ＨＭＤプレイヤがＨＭＤ ＶＲ環境を動き回ると、観客は、１つのビュースポットから次のビュースポットに、それらのビュースポットが、より優れているもしくはより良い、または、より関心を引くビューを提供するという判断に基づいて、動かされてよい。さらなる実施形態においては、観客は、ＨＭＤプレイヤが視聴している視聴可能なコンテンツのサブ部分を提供されてよい。他の実施形態においては、観客は、ＨＭＤプレイヤがまだ視聴できない追加のコンテンツを提供されてよい。

ゲーム、環境、コンテンツの種類、マルチメディアの種類に応じて、または、既定のルールもしくは制約によって、観客は、ＨＭＤプレイヤが見ている視聴可能なコンテンツより少ないまたは多いコンテンツを提供されてよい。上記のように、観客に視聴可能にされたコンテンツは、ＨＭＤプレイヤが視聴しているのと同じコンテンツであってよいが、ＨＭＤプレイヤとは異なる基準視点から見ている。しかしながら、ある実施形態においては、観客に提供されるビューは、ＨＭＤプレイヤのビューと類似してよいが、少し異なる角度、または、ビュー視点から見ている。さらに、観客は、ＨＭＤ仮想プレイヤの頭上の仮想カメラの文脈からＨＭＤプレイヤに提供されるのと類似のビューを観客に提供できる。一実施形態においては、ＨＭＤプレイヤが視聴しているコンテンツの観客に提供された仮想カメラのビューを動かす代わりに、ＨＭＤプレイヤが頭を動かすと、観客のビューは、ビューがＨＭＤプレイヤによって動かされるのと同じ速度またはスピードでは動かない。

この実施形態においては、観客に提供される仮想カメラのビューは、ＨＭＤプレイヤのビューよりも遅い速度で動いてよく、速度は、ユーザの頭の動きの実際のスピードに基づいて変化する。さらにまた、仮想カメラのビューの動きは、ＨＭＤプレイヤの頭の動きを、遅れて追いかけるように設定できる。遅れは、仮想カメラのビューをＨＭＤの動きにリンクさせる概念的なゴムバンドに類似してよい。すなわち、ユーザの頭が、左に素早く動く場合、観客の仮想カメラのビューは、動いているオブジェクトにゴムバンドによって接続されているオブジェクトが、動いているオブジェクトの動きを追うのと同じように遅れて、よりゆっくりと左に動く。ある構成においては、ギア比率を仮想カメラのビューの動きに適用することによって、仮想カメラは、ＨＭＤプレイヤの現実のビューの動きを追いかける速度で動く。ギア比率は、仮想現実シーンの観客のビューを実行しているコンピュータ、ゲーム、及び／または、プログラムによって動的に修正されてよい。ギアリングは、例えば、あるゲーム、あるシーン、ある状況、あるレベルにおいて、あるユーザに対して等、より速く修正されてよく、または、他の例においては、より遅く修正されてよい。動的ギアリングを用いることによって、仮想カメラのビューの動きは、ＨＭＤが速くまたは不規則に動く時でさえ、より快適なビュー体験を観客ビューに提供するように、滑らかにできる。

以下の記載のさらなる実施形態においては、観客は、ＨＭＤプレイヤが仮想現実環境のどこを見ているかを識別できるように、視覚的手掛かりを与えられてよい。一構成は、ＨＭＤプレイヤの視線を追跡することを可能にして、ＨＭＤプレイヤがＶＲシーン内の正確にどこを見ているかを決定できる。仮想カメラビュー（例えば、ＨＭＤプレイヤの頭の背後に浮かんでいる仮想カメラ）の視点からＶＲシーンを視聴している観客にとっては、その特定のシーンにおける焦点は何かを決定することは有用である。このようにして、観客は、仮想現実プレイヤが、そのシーンで重要であると感じている物に焦点を合わせることもできる。

ある例においては、そして、ファーストパーソン・シューティングゲームにおいては、観客は、敵または障害物を識別するため等、ＨＭＤプレイヤがどこを見ているかを知りたい場合がある。一実施形態においては、ＨＭＤプレイヤの視線を追跡して、コンテンツを強調表示する、ある一定のオブジェクトまたは場所のコントラストを変更する、コンテンツを取り囲む、マーカを追加する、エリアをグレー表示する、点滅するビーコンを追加する、テキストを追加する、浮いているオブジェクトを追加する等によって、ＨＭＤプレイヤが見ている物を識別することが可能である。このようにして、観客は、ＨＭＤプレイヤが見ている所を確実に知ることができ、よって、観客自身も、その同じエリアを見て、より楽しくコンテンツを体験できる。

例えば、ＨＭＤプレイヤは、特定のゲームに経験がより豊かな場合がある、または、特定の種類のコンテンツを見ており、ＨＭＤプレイヤが仮想現実シーンで見ている場所を示すものを提供することは、観客に、ガイダンス、視覚的手掛かり、及び、援助を与える。ある実施形態においては、これらの識別特徴は、気が散らないように、オンにしたりオフにしたりできる。識別子は、ＨＭＤプレイヤがアクティブにできる、または、観客がアクティブにできる。ある実施形態においては、複数の観客が、例えば、Ｔｗｉｔｃｈ表示において、ＨＭＤプレイヤが提供する同じコンテンツを視聴している場合、各観客は、異なるコントロールは観客に視覚インジケータを提供するか否かの能力を与える異なるコントロールを提供されてよい。ＨＭＤプレイヤの視点からは、インジケータは、ＨＭＤプレイヤのＨＭＤに全く示されなくてよい。しかしながら、これらのインジケータは、ＨＭＤプレイヤがインタラクトしているコンテンツを視聴している観客（複数可）にとっては有用である。

ある実施形態においては、仮想現実環境内の特定のリスニングゾーンを観客が識別することを可能にするコントロールを観客に与えてよい。リスニングゾーンは、仮想現実環境内の観客が聞きたい場所を観客が選択するのを可能にする。これが意味するのは、観客が実際にそのシーンにいるという状況をまねたオーディオ及び音響を、その特定の場所から聞くことを観客は基本的に提供されるということである。例として、観客が、視聴している場所に対して、通りの向かいの建物を含むＨＭＤコンテンツを視聴している場合、観客は、建物内のある場所、例えば、人が立っている２階を識別でき、その場所で聞くことを選択できる。

この機能は、リスニングテレポーテーションを観客に提供し、観客は、２階建ての建物内に座っているまたは立っているかのように、オーディオコンテンツ及び音響を聞くことができる。オーディオ及び音響は、一例においては、基本的に、建物の２階の場所に存在するオーディオサウンドを拡大し、その仮想の場所から離れた音を小さくする。ある実施形態においては、観客は、主なリスニングゾーンにいることを求めて、時々、環境内の異なる場所を選択できる。さらに他の実施形態においては、リスニングゾーンは、ＨＭＤプレイヤの同じリスニングゾーンであるように調節もできる。観客は、観客が聞きたい仮想環境内の場所を識別するように、切り替え可能な選択能力を提供されてよい。

再び、観客は、ＨＭＤプレイヤと同じ場所にいてよく、図２Ｂを参照して記載するように、第２画面のディスプレイ上のＨＭＤコンテンツを視聴していてよいことに注意されたい。あるいは、観客であるローカルの視聴者もＨＭＤを着用でき、ＨＭＤは、観客に、ＨＭＤプレイヤコンテンツのビューを提供する。さらに他の実施形態においては、ＨＭＤプレイヤコンテンツが、視聴可能なウェブサイトに公開されている場合、観客は、遠隔であってよく、ウェブページから視聴してよい。ある実施形態においては、観客として行動する遠隔の視聴者は、ＨＭＤプレイヤによるライブまたはほぼライブのコンテンツを見ていてよい。他の実施形態においては、観客として行動する遠隔の視聴者は、ＨＭＤプレイヤが見ていたコンテンツの録画バージョンを見ていてよい。さらに、複数または多数の観客がＨＭＤプレイヤの同じコンテンツをライブまたは録画で見ることを可能にするウェブサイトが提供されてよい。

図４は、一実施形態による、コンピュータデバイス１０６を介して仮想環境４５０とインタラクトし得るＨＭＤ ＶＲプレイヤ１００の例を示す。よって、ＨＭＤ ＶＲプレイヤ１００は、ＶＲ環境４５０内のインタラクティブ性を駆動しており、ＨＭＤ１０２に提示されるシーンと、ディスプレイ１０７に表示される複製ビューとを動かす。よって、観客は、観客１４０等、ディスプレイ１０７を視聴している観客であってよい。上記のように、観客１４０は、同一空間でＨＭＤプレイヤ１００とインタラクトできるので、ソーシャル画面の観客である。他の実施形態においては、または、同じ場所にいる観客１４０に加えて、ＨＭＤ観客１５０にもＨＭＤプレイヤ１００がナビゲートしているコンテンツへのアクセスを提供できる。ＨＭＤ観客１５０は、ＨＭＤプレイヤ１００と同じ場所にいてよい。他の実施形態においては、ＨＭＤ観客１５０は、ＨＭＤプレイヤとは遠隔にいてよく、ｔｗｉｔｃｈタイプのビューウェブサイト等のウェブサイトからコンテンツを視聴できる。よって、図４に示す例は、ほんの一例であり、複数の観客または何千もの観客が、ＨＭＤプレイヤのコンテンツを遠隔の場所から視聴していることが可能である。観客は、ディスプレイ１０７を見ていても、ＨＭＤを介してコンテンツを視聴していても、観戦体験を向上させる機能を与えられる。

図５は、仮想現実環境４５０を動き回り、シーンのあらゆる場所を動きながら異なるコンテンツを視聴しているＨＭＤプレイヤ１００の例を示す。図に示すように、ＨＭＤプレイヤ１００は、シーンを前に進み、シーンは、道路の延長、建物５０２、ゴルファー５０４、湖５０６、犬５０８、及び、他のマルチメディアコンテンツ等の新しいコンテンツを見せた。ＶＲ環境４５０に提示されるこれらマルチメディアコンテンツの種類は、単に一例であり、コンテンツの種類は、視聴、インタラクト、または、表示されているコンテンツの種類に応じて変わる。一例においては、ＶＲ環境４５０は、スポット１、スポット２、スポット３、及び、スポット４等、プレオーサリングされたビュースポットに関連付けられてよい。これらの各スポットは、ＶＲ環境４５０への特定の視線方向と角度を有する。

スポット１は、ＨＭＤプレイヤ１００の頭の背後に浮いていてよい仮想カメラのビューを提供され、仮想カメラのビューは、ＨＭＤプレイヤ１００のＨＭＤ１０２の動きによって生成されているビューに近い複製を提供する。他のスポットは、ＨＭＤプレイヤ１００の視野角とは切り離されてよく、代わりに、コンテンツ作成者、または、仮想環境内の関心を引くコンテンツがある場所を知り得る他のユーザによるプレオーサリングに基づいて、ＶＲ環境４５０のあらゆる場所に配置できる。例えば、コンテンツ作成者が、ゲーム開発者である場合、ゲーム開発者は、関心を引くスポットがＶＲ環境の異なる場所のどこに存在し得るかを知っているので、１つまたは複数のゲームセッションまたはビューセッション中、ＨＭＤプレイヤが仮想現実環境４５０をあちこち移動する時のアクション、物、動き、インタラクティブ性、または、シーンのより良いビューを観客に提供できる。

この特定の例においては、観客は、ＨＭＤ観客１５０である。ＨＭＤ観客１５０は、仮想現実環境４５０の示されているアクティビティの異なる時刻に特定のビュースポットを提供されてよい。例えば、ＨＭＤプレイヤ１００が、仮想現実環境４５０をあちこち移動する、または、動き回ると、異なるコンテンツが、表示され、表示されているコンテンツに基づいて、異なるスポットが、観客（複数可）による視聴消費のために選択される。例として、ＨＭＤ観客１５０は、時刻ｔ＝０にスポット１、時刻ｔ＝１にスポット３、時刻ｔ＝２にスポット２等、一連のスポットを提供される。

よって、ＨＭＤプレイヤ１００があちこち移動する場所に応じて、コンテンツの最も関心を引くビューを提供するように、観客に対して異なるスポットが動的に選択されてよい。例として、ＨＭＤプレイヤが、ゴルフコースの場所に到達した場合、ゴルファー５０４が、ビュースポット４の焦点になる。ＨＭＤプレイヤが、建物５０２の場所に到達した場合、ビュースポット２が、建物５０２と犬５０８が見えるように、観客に提供される。それらは、仮想現実環境４５０内の関心を引く場所または見やすい地点もしくは視点であると予め決められていてよい。

図６は、ビュー経路６０５を移動するＨＭＤプレイヤ１００の例を示す。ビュー経路６０５は、仮想現実環境４５０の異なるビューを提供する。従って、ＨＭＤ ＶＲプレイヤ１００が仮想現実環境４５０を移動しながら、ＨＭＤプレイヤ１００が見ると、ＨＭＤ１０２に異なるコンテンツが表示され得る。簡単にするために、複数のオブジェクトＯ１〜Ｏ１４が、仮想現実環境４５０の至る所に配置されて表示され、仮想現実プレイヤのビュー６０２に応じて、オブジェクトのうちの異なるオブジェクトが、ＨＭＤプレイヤ１００に見える。例として、オブジェクト（Ｏ）は、アイコンＸ、Ｏ、Δ、□で表されるが、これらのアイコンは、キャラクタ、テクスチャ、地形、インタラクティブコンテンツ、武器、車両、建物、グラフィックス、テキスト、及び、一般的に任意の種類のマルチメディア視聴可能コンテンツ等、ディスプレイ画面に提示できる任意の種類のコンテンツを表すことができる。

この例において、オブジェクトのうちのあるオブジェクトは、観客に与えられるビュースポットに応じて、観客１５０によって視聴可能であることが示されている。一実施形態においては、ＶＲプレイヤビュー６０２が焦点を当てている場所に応じて、観客が視聴可能な仮想現実環境４５０内の場所を規定するように、ビュースポットが、プレオーサリングされる。ある実施形態においては、これらのプレオーサリングされたスポットは、関心を引く、新しい、または、仮想現実環境４５０へのより良い視点を提供すると考えられるスポットである。一実施形態においては、ビュースポットは、プレオーサリングされたスポットとして、予め選択されてよい。上記のように、プレオーサリングされたスポットは、関心を引く視野角または視点を提供すると考えられるスポットである。

この例において、観客１５０であるユーザ１のために選択されたスポットは、スポット３、スポット６、次に、スポット９である。スポット３は、ＶＲプレイヤビュー６０２のオブジェクトのうちのあるオブジェクトを捕捉する幾分オーバーヘッドビューを提供する。スポット６は、ＨＭＤプレイヤ１００の正面の真っ直ぐな視野角を提供し、真っ直ぐな視野角は、オブジェクトのうちのあるオブジェクトを強調表示する、または、斜視図を提供する。スポット９は、ＨＭＤプレイヤ１００の頭上の少し背後にあるオーバーヘッド仮想カメラに類似しており、仮想現実環境４５０のほぼ類似のビューと、仮想プレイヤビュー６０２とを提供する。よって、ＨＭＤプレイヤ１００が動き回ると、ビュースポットのうちの異なるビュースポットが、観客１５０に対して動的に選択できる。上記のように、観客１５０は、ＨＭＤプレイヤ１００と同じ場所にいてもよく、または、ウェブサイト、インターネットに接続したＨＭＤ、リモートデバイス、テレビ、または、ポータブルデバイスから、ＨＭＤプレイヤ１００の仮想環境を視聴している遠隔の観客であってよい。

さらに、観客である異なるユーザは、ＶＲプレイヤビュー６０２への異なるスポットを提供されてよい。異なるユーザは、ユーザプロファイルに保存され得る個々のユーザの好みに基づいて、異なるビューを提供されてよい。例えば、あるユーザは、そのプロファイルに、ある種のオブジェクト等をある種のビュー視点から見るのを好むと記述したユーザプロファイルで識別される好みを有してよい。結果として、スポットは、ユーザに合わせてカスタマイズすることができ、プレオーサリングされた場所に基づいて、ユーザに合わせてカスタマイズすることもできる。ある実施形態においては、場所は、プレオーサリングされる必要はなく、仮想現実環境４５０に提示されたコンテンツに基づいて、動的に選択されてよい。大まかに言うと、仮想現実環境４５４の観客内の視野角は、複数の基準に基づいて、動的に設定できる。

基準は、プレオーサリングされたビュースポットに基づいてよく、観客の好みに基づいてよく、仮想現実環境４５０内で変化するコンテンツに基づいて動的に配置されたビュースポットに基づいてよく、または、観客によって移動、調節されてよい。観客が、ビュー位置を仮想環境４５０内に移動させるオプションを提供される場合、観客に与えられるこれらのビューは、ＨＭＤプレイヤ１００がナビゲートまたは見ているコンテンツを見ている観客に応じて異なり得る。

図７は、一実施形態による、ＨＭＤプレイヤの異なる種類のコンテンツ７０４を視聴し得る様々な観客７０２を規定する表を示す。図に示すように、図６の観客であるユーザ１にとって、マルチメディア仮想現実コンテンツは、ゲーム１である。ゲーム１は、ＨＭＤプレイヤがナビゲートしているコンテンツであり、ＨＭＤプレイヤによるコンテンツ内のナビゲーションに基づいて、ユーザ１である観客は、プレオーサリングされたビュースポット７０６を提供される。図６に示すように、ユーザ１に対して提供されるスポットは、スポット３→６→９→Ｎである。各ビュースポットにおいて、関心を引くオブジェクト（Ｏ）７０８が、これらの個々のビュースポットから視聴可能である。よって、ビュースポットは、ビュー視点に応じて、オブジェクトＯ１〜Ｏ１４を見る視野角を提供する。ユーザ２等の異なる観客も、ゲーム１のアクティビティを視聴してよい。しかしながら、ユーザは、そのユーザの関心を引くコンテンツの種類に関して異なる好みを有し得る。このため、システムは、ユーザ１に提供したビュースポットとは異なるプレオーサリングされたビュースポット１→４→９→Ｎを選択できる。同様に、これらのスポットに対して提供される関心を引くオブジェクトは、観客ユーザ２が視聴すると、変化する。任意の数のユーザが観客であってよいことと、これらのユーザが、ＨＭＤユーザがナビゲートする同じ仮想現実コンテンツを観戦でき、仮想現実コンテンツへの異なる固有のビュースポットまたは角度を個々に提供されてよいこととを、強調するためにこの例を提供する。

引き続き、この例を用いると、ユーザ３とユーザ４は、ゲーム１とは異なる環境を視聴していてよい。上記のように、コンテンツは、ゲームである必要はなく、任意の種類のマルチメディアコンテンツ、または、画面に表示できるコンテンツであってよい。コンテンツは、グラフィックオブジェクト、テキスト、関連するオーディオ、マルチメディア、インタラクティブコンテンツ、映画コンテンツ、オーディオコンテンツ、制御可能なキャラクタコンテンツ、アバター、操作可能なオブジェクト、選択可能なオブジェクト、通信オブジェクト、インタフェースオブジェクト、遠隔ツーリング場所、デモンストレーションビデオ、観光コンテンツ、アミューズメントパークコンテンツ、または、これらの組み合わせを含んでよいが、これらに限らない。従って、環境に応じて、仮想現実環境４５０で、ある関心を引くオブジェクトまたはコンテンツの固有のビューを提供するプレオーサリングされた異なるビュースポットＸ→ＮとＹ→Ｎを提供できる。

図８Ａは、一実施形態による、ＨＭＤプレイヤ１００が仮想現実環境４５０に示されたビデオゲームシーンとインタラクトしている例を示す。ビデオゲームは、例として、壁のある廊下に沿った通路を提供し、ＨＭＤプレイヤ１００が制御しているユーザ（一人称）は通路をあちこち移動することを要求される。この例において、ＨＭＤプレイヤ１００は、悪者８２０を探していてよく、悪者８２０は、ゲームの廊下に沿ったある場所に隠れている可能性がある。本明細書ではＨＭＤ ＶＲプレイヤ（ＨＶＰ）と呼ばれるＨＭＤプレイヤが、場所８０２、８０３、８０４の間を移動しているのが示される。観客１５０は、仮想現実環境４５０に表示される廊下のビューを提供される。観客１５０に提供されるビューは、ＨＭＤプレイヤ１００が制御する一人称プレイヤの場所に基づいて、カスタマイズされてよい。

場所８０２及び場所８０３で、廊下の異なるビューがＨＭＤプレイヤ１００に提供される。ＨＭＤプレイヤが、場所８０４に到達すると、廊下のビューが壁によって制限され得るので、エリアＡを取り囲むビューを提供する。観客１５０は、一実施形態においては、１つまたは複数のプレオーサリングされたスポットに基づいて、仮想環境４５０の様々なビューを提供される。この例においては、観客１５０は、場所８１０で観客ビューであるＳビュー１を提供され、場所８１２で観客ビューであるＳビュー２を提供される。場所８１０において、観客ビューは、ＨＭＤプレイヤ１００が制御するキャラクタが、コーナーに向かって廊下を歩いているのを表示し、次に、観客ビューは、場所８１２に移ってよい。場所８１２は、ＨＭＤプレイヤ１００が制御するキャラクタのより関心を引くビューを提供する。この時点で、場所８１２において、観客ビューは、ＨＭＤプレイヤ１００に提供されるビューのサブセット、すなわち、エリアＡに制限されてよい。

しかしながら、場所８１２は、現在はＨＭＤプレイヤ１００の視点の外にいる悪者８２０の可能なビューも提供する。一実施形態においては、観客ビューであるＳビュー２は、追加の視聴エリアＢを備える。エリアＢは、ＨＭＤプレイヤ１００にはまだ見えていない。これは、悪者８２０がコーナーを曲がった所に隠れているのを見るオプションを観客に提供してよく、ＨＭＤプレイヤ（一人称キャラクタ）がその場所に到達する時、関心を引くアクションを提供してよい。これは、観客に追加のレベルの興奮を与え、観客は、関心を引くイベントが生じることを、イベントが生じ得るとＨＭＤプレイヤが知る前に、知る。

一実施形態においては、観客に提供される追加のコンテンツは、不公平にＨＭＤプレイヤに知らせることのないように、ＨＭＤプレイヤ１００に分かるようにはしない。この知識または情報の伝達を禁じることは、ゲームに応じて要求されてよく、これは、ＨＭＤプレイヤのスキルのレベルを必要とする。他の実施形態においては、ＨＭＤプレイヤに観客がコンテンツの知識を与えることが可能である。データ共有のゲームにおける致命度、または、データ共有の熱意に応じて、観客が、ＨＭＤプレイヤに情報を共有することを禁じてもよく、または、ＨＭＤプレイヤに情報を共有してもよい。例として、観客１５０が、遠隔ウェブサイト、例えば、ｔｗｉｔｃｈサイトから視聴している場合、その観客は、フィードバック情報をＨＭＤプレイヤに多くの方法で提供できる。情報は、テキスト通信、チャット通信、音声通信、オーディオ通信、または、これらの組み合わせを経由してよい。

図８Ｂは、一実施形態による、異なるＨＭＤプレイヤビュー８３０と、観客に提供され得るビューとを示す表である。ある実施形態においては、観客ビューは、上記のように、プレオーサリングされたスポットに基づいて、予め設定できる。他の実施形態においては、観客ビューは、単に、ＨＭＤプレイヤの場所に遅れずについていくように移動できる。ＨＭＤプレイヤに遅れずについていく時、ビューは、ＨＭＤプレイヤを見ながら、ＨＭＤプレイヤの近くに、または、ＨＭＤプレイヤの頭の位置より上に配置された仮想の浮いているカメラの形態で、選択されてよい。図ＡＢに示すように、観客ビュー位置８３２は、ＨＭＤプレイヤ１００のアクティビティと制御に基づいて作成されるＨＭＤ仮想現実プレイヤビュー（ＨＶＰ）に基づいて変わり得る。

例えば、ＨＶＰが、ビュー−３の時、観客ビューは、観客ビューのＳビュー２に自動的に移動する。この表は、完全にするために、ＨＭＤ ＶＲプレイヤが様々なＨＶＰビューから見ている物も示す。ＨＭＤプレイヤが、ＨＶＰビュー−２を提供される時、図８Ａを参照して記載したように、視聴可能なエリアは、Ａによって識別される。一実施形態においては、観客は、ビュー８３６が見え、ビュー８３６は、ＨＭＤプレイヤ１００に提供された同じビューの後を追う。すなわち、ＨＭＤプレイヤが視聴可能なシーンコンテンツ以外に、観客に追加のコンテンツは提供されない。

しかしながら、同じコンテンツが観客に提供される場合でさえ、観客は、同じコンテンツに異なる視点を有し得る。別の実施形態においては、観客は、オプション８３８において、ＨＭＤプレイヤより多く見えてよい。このオプションにおいては、ビューＨＶＰビュー−３において、ＨＭＤプレイヤは、エリアＡが見え、観客は、エリアＡに加えて、追加のビューエリアＢを提供されてよい。あるコンテンツの論理的に邪魔にならないビューを提供する視点から観客は配置されるので、この追加の視聴エリアが観客に提供されてよく、その視点は、ＨＭＤプレイヤ１００に提供される視点と同じではない。上記のように、追加のコンテンツが観客に視聴可能な時、観客は、その情報をＨＭＤプレイヤと共有することを許可されてもよく、または、情報をＨＭＤプレイヤと共有することを禁じられてもよい。

図９は、ＨＭＤプレイヤ１００が仮想現実環境４５０を視聴している実施形態を示し、ＨＭＤプレイヤの視線方向９０１が識別される。上記のように、一実施形態は、ＨＭＤプレイヤ１００が見ている仮想現実環境４５０内の場所を識別する能力を提供する。この情報は、ＨＭＤプレイヤ１００が見ている関心を引くコンテンツが何かを知りたい観客１５０にとって有用であり得る。映画の文脈においては、ＨＭＤプレイヤは、関心を引くシーンを見ている場合がある。デモンストレーションの文脈においては、ＨＭＤプレイヤは、デモンストレーションオブジェクトまたは講義の特定の特徴を見ている場合がある。

ゲームの文脈においては、ＨＭＤプレイヤは、特定のキャラクタ、オブジェクト、エリア等を見ていてよい。一実施形態においては、視線方向９０１が、ＨＭＤカメラ３１２によって検出され、ＨＭＤプレイヤ１００がオブジェクト９０２を見ていることの検出を可能にする。この例において、オブジェクト９０２は、建物の隣に立っている少女として表されている。仮想現実環境４５０には様々な他のオブジェクトがあるが、ＨＭＤプレイヤ１００は、オブジェクト９０２に焦点を当てている。観客１５０は、仮想現実環境４５０でＨＭＤプレイヤ１００が見ている場所を知りたい。そのために、ＨＭＤプレイヤ１００が焦点を当てているビューの場所が決定されると、仮想現実シーンのそのエリアは、観客１５０がＨＭＤプレイヤが見ている場所を視覚的に知ることができるように、強調表示または識別されてよい。

上記のように、オブジェクト９０２が、ＨＭＤプレイヤ１００の視線方向９０１の焦点であると識別することは、オブジェクト９０２の周囲または近くの表示またはエリアを修正することによって伝達できる。オブジェクト９０２は、強調表示されてよく、色を変えられてよく、グレー表示されてよく、ポインタによって識別されてよく、テキストを用いて識別されてよく、異なる色で点滅可能にされてよく、画像に１つまたは複数の点滅の変更を与えてよく、音を提供してよく、特別な動きを与えてよく、または、これらの組み合わせであってよい。オブジェクト９０２を強調表示するこれらの特定された方法は、一実施形態においては、観客１５０の視点から見る時に示される。この例においては、観客１５０は、スポット９０６から視聴しており、スポット９０６は、ＨＭＤプレイヤ１００の頭上に浮いている仮想カメラと類似している。しかしながら、仮想現実環境４５０を視聴するためのスポットは、上記のように、他の場所に配置されてもよい。

しかしながら、ＨＭＤプレイヤ１００がオブジェクト９０２を視聴していることの識別は、観客１５０に提供されるビューに表される。従って、一実施形態においては、オブジェクト９０２の強調表示は、ＨＭＤプレイヤ１００には見えないが、観客１５０には簡単に見える。他の実施形態においては、観客は、ＨＭＤプレイヤ１００が見ている場所を識別する能力をアクティブにするか、または、非アクティブにするかを選択オブジェクトによって決定できる。さらに、複数の観客が、ＨＭＤプレイヤ１００がナビゲートしている同じコンテンツを視聴していてよく、これらの観客のうち異なる観客は、ＨＭＤプレイヤが仮想環境内で何を見ているかを知るのを可能にする機能をアクティブまたは非アクティブにできる。

ある実施形態においては、この特徴をアクティブにすることは、自動であってよく、ＨＭＤプレイヤが視聴しているコンテンツの種類に基づいてトリガされてよい。こうして、観客は、ＨＭＤプレイヤ１００がナビゲートしているコンテンツを簡単に見ることができ、あるオブジェクトを観客に対して強調表示すべき時、ゲーム開発者は、観客にあるオブジェクトを強調表示するためにＨＭＤプレイヤの視線方向を識別する時間を予め定めることができる。さらなる実施形態においては、例えば、新しい観客に対して等、ある観客は、より強調表示を必要としてよい。より経験のある観客は、ＨＭＤプレイヤのアクティビティを視聴中、強調表示や援助を新しい観客ほど必要としなくてよい。従って、視線方向の視線方向識別／視聴可能オブジェクトの識別のアクティブ化及びアクティブ化は、開発者の設定、観客、ＨＭＤプレイヤ、コンテンツの複雑さ、または、これらの組み合わせに応じて、切り替えることができる。

図１０は、ＨＭＤプレイヤ１００が仮想現実環境４５０とインタラクトしてよく、異なる種類のアクティビティが生じている例を示す。この例においては、仮想現実環境４５０は、トラック９２２、建物９２０、車の衝突９２４、及び、様々な他の種類のコンテンツを含む。一構成においては、異なるアクティビティが、生成され、ヘッドフォン９４０によってＨＭＤプレイヤ１００が聞いている異なる音も生成する。ＨＭＤプレイヤ１００の視点が、一人称の視点からの場合、仮想現実環境４５０内で生成されている音は、ＨＭＤプレイヤ１００の位置に関連する。

この例において、車の衝突９２４は、遠くに聞こえてよく、また、恐らく、ＨＭＤプレイヤ１００は、様々なリスニングゾーン１、２、及び、３で行われている会話が聞こえない場合がある。ＨＭＤプレイヤ１００が、これらのリスニングゾーンに近付いたとすると、これらのリスニングゾーンの音は、変化して、何らかの関連する音響と共にプレイヤが実際に仮想現実シーンにいるかのように、現実的なリスニング環境を提供する。観客１５０の視点から、観客１５０は、上記のように、仮想現実環境４５０への異なる視点を提供されてよい。ある構成においては、観客１５０は、異なるリスニングゾーンで聞くことを望む場合がある。

観客は、異なるリスニングゾーンを選択する機能を提供されてよく、これは、観客１５０に提供され、ヘッドフォン９４２を使って聞くオーディオに影響する。例として、観客１５０が、リスニングゾーン１を聞きたい場合、観客１５０は、リスニングゾーン１で仮想現実プレイヤまたは人口知能（ＡＩ）キャラクタによって行われる会話を聞くことができてよい。よって、観客１５０は、そのリスニングゾーンに位置することができ、他のリスニングゾーンからの音は、観客１５０がリスニングゾーン１にいるかのように、観客１５０に対して生成される。観客１５０が、リスニングゾーン２を聞く選択を決定した場合も同じことがあてはまり、リスニングゾーン２は、３階建てのオフィスビル９２０の中に立っている人が行っている会話であってよい。

また、観客１５０は、同様にリスニングゾーン３を聞いて、車の衝突９２４に関して何が起こっているかを聞くことができる。この例において、観客１５０もＨＭＤ１０２を使用している。観客１５０は、リスニングゾーンを選択する手袋ジェスチャ９３０を使用してよい。他の実施形態においては、観客は、コントローラ、キーボード、手袋無しの手のジェスチャ、音声入力、視線入力等を使用して、観客１５０はどのリスニングゾーンに関心があるかを指示することができる。さらに、観客は、ｔｗｉｔｃｈ型サイト等、ウェブサイトに接続されたディスプレイ画面からコンテンツを簡単に視聴できる。ある実施形態においては、パーソナルコンピュータ（ＰＣ）、ゲームコンソール、スマートフォン、タブレットコンピュータ等を使用して、ＨＭＤプレイヤ１００がプレイしている仮想現実環境４５０を視聴してよい。

ある実施形態においては、ＨＭＤプレイヤがＨＭＤ１０２を介して視聴するコンテンツは、二次元画面に表示できるように修正できる。例えば、コンテンツをｔｗｉｔｃｈ型サービスに共有する前に、３-Ｄから２-Ｄへの変換をコンテンツに対して行うことができる。他の実施形態においては、フル３-Ｄコンテンツは、ｔｗｉｔｃｈ型サービスに共有でき、ｔｗｉｔｃｈ型サービスに接続された観客は、ＨＭＤを介してコンテンツを視聴してよい。観客が仮想現実環境４５０を消費できる方法は様々であってよく、観客に与えられる機能も様々であってよいことは理解されたい。大まかに言うと、観客は、図９等に示すように、ＨＭＤプレイヤ１００が見ている場所を見るためにハイライト表示を提供されてよく、仮想現実シーン内の特定の場所のリスニングを可能にする動的な選択可能な設定も提供されてよい。

さらに、観客は、仮想現実環境４５０への異なるビュースポットを提供されてよい。これらのビュースポットは、動的に制御またはプレオーサリングされて、特定の視聴場所と視野角を観客に提供できる。これらの機能は、動的な拡張された観戦能力を提供でき、ＨＭＤがナビゲートしたコンテンツを観客が視聴する体験を強化する。上記のように、これらの実施形態は、ＨＭＤコンテンツを見ることで方向感覚を失ったり、または、単に不快感をもたらしたりし得るＨＭＤプレイヤの頭の素早い動きに結び付けられず、より正常に観客がコンテンツを視聴することも容易にする。

ＨＭＤプレイヤの場所に応じて、徐々に動き得るまたはゆっくりと動き得るビュースポットを観客に提供することは、ＨＭＤプレイヤが楽しんでいる仮想現実コンテンツを見る簡単な方法を提供する。よって、観客は、簡単にコンテンツを見ることができ、また、見る楽しみ、または、ＨＭＤデバイスを介したゲームプレイへの参加もしくはマルチメディアコンテンツ視聴を向上させる方法を提供される。これらの強化された機能を提供することによって、観客は、もはや、ＨＭＤプレイヤの固定の視野角に縛られることはなく、また、もはや、ＨＭＤプレイヤと全く同じビューを視聴したり、ＨＭＤプレイヤが駆動している動作の後を正確に追ったりする必要はない。

図１１を参照すると、本開示の実施形態による、ヘッドマウントディスプレイ１０２のコンポーネントの図が示されている。ヘッドマウントディスプレイ１０２は、プログラム命令を実行するプロセッサ１３００を含む。メモリ１３０２が、記憶のために備えられ、メモリ１３０２は、揮発性、不揮発性の両方のメモリを含んでよい。ユーザが視聴し得る視覚インタフェースを提供するディスプレイ１３０４が含まれる。バッテリ１３０６が、ヘッドマウントディスプレイ１０２の電源として提供される。モーション検出モジュール１３０８は、磁力計１３１０、加速度計１３１２、及び、ジャイロスコープ１３１４等、様々な種類の動作検知ハードウェアのいずれかを含んでよい。

加速度計は、加速と重力によって引き起こされる反力とを測定する装置である。単軸及び多軸のモデルが、異なる方向の加速の大きさと方向の検出に利用できる。加速度計を使用して、傾き、振動、及び、衝撃を検知する。一実施形態においては、３つの加速度計１３１２を使用して、２つの角度（世界空間ピッチと世界空間ロール）に絶対参照を与える重力の方向を求める。

磁力計は、ヘッドマウントディスプレイの近くの磁場の強さと方向を測定する。一実施形態においては、３つの磁力計１３１０が、ヘッドマウントディスプレイ内で使用されて、世界空間ヨー角の絶対参照を確保する。一実施形態においては、磁力計は、±８０マイクロテスラである地球の磁場にわたるように設計される。磁力計は、金属の影響を受け、実際のヨーに対して単調であるヨー測定値を提供する。磁場は、環境中の金属が原因で歪む場合があり、これは、ヨー測定値の歪みを起こす。必要に応じて、この歪みは、ジャイロスコープまたはカメラ等、他のセンサからの情報を用いて較正できる。一実施形態においては、加速度計１３１２は、磁力計１３１０と共に使用されて、ヘッドマウントディスプレイ１０２の傾きと方位角を取得する。

ある実施態様においては、ヘッドマウントディスプレイの磁力計は、他の近くの装置の電磁石が非アクティブな間中、読み取られるように構成される。

ジャイロスコープは、角運動量の原理に基づいて、向きを測定または維持する装置である。一実施形態においては、３つのジャイロスコープ１３１４が、各軸（ｘ、ｙ、ｚ）に対する動きの情報を慣性感知に基づいて提供する。ジャイロスコープは、高速回転の検出を支援する。しかしながら、ジャイロスコープは、絶対参照の存在が無く、時間が経つとドリフトする可能性がある。これは、ジャイロスコープの周期的なリセットを必要とし、リセットは、オブジェクトの視覚追跡、加速度計、磁力計等に基づいた、位置／または向きの決定等、他の利用可能な情報を用いて行うことができる。

カメラ１３１６が、現実環境の画像及び画像ストリームを捕捉するために備えられる。後ろ（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時、ユーザから離れる方向）を向いているカメラと、前（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時、ユーザに向かう方向）を向いているカメラとを含む複数のカメラがヘッドマウントディスプレイ１０２に含まれてよい。さらに、デプスカメラ１３１８が、現実環境のオブジェクトの奥行情報を検知するために、ヘッドマウントディスプレイ１０２に含まれてよい。

ヘッドマウントディスプレイ１０２は、オーディオ出力を提供するスピーカ１３２０を含む。また、マイクロフォン１３２２が、周辺環境の音、ユーザによる会話等を含む、現実環境からのオーディオを捕捉するために含まれてよい。ヘッドマウントディスプレイ１０２は、触覚フィードバックをユーザに提供する触覚フィードバックモジュール１３２４を含む。一実施形態においては、触覚フィードバックモジュール１３２４は、触覚フィードバックをユーザに提供するように、ヘッドマウントディスプレイ１０２に動き及び／または振動を起こすことができる。

ＬＥＤ１３２６は、ヘッドマウントディスプレイ１０２の状態の視覚的インジケータとして提供される。例えば、ＬＥＤは、バッテリレベル、電源オン等を示してよい。カードリーダ１３２８が備えられて、ヘッドマウントディスプレイ１０２が、メモリカードに情報の読み書きをするのを可能にする。ＵＳＢインタフェース１３３０が、周辺装置の接続、または、他のポータブルデバイス、コンピュータ等、他の装置への接続を可能にするためのインタフェースの一例として含まれる。ヘッドマウントディスプレイ１０２の様々な実施形態において、様々な種類のインタフェースのいずれかが、ヘッドマウントディスプレイ１０２の接続性を向上させるために含まれてよい。

ＷｉＦｉ（登録商標）モジュール１３３２が、無線ネットワーク技術を用いてインターネットまたはローカルエリアネットワークへの接続を可能にするために含まれる。また、ヘッドマウントディスプレイ１０２は、他の装置への無線接続を可能にするブルートゥース（登録商標）モジュール１３３４を含む。通信リンク１３３６も、他の装置への接続のために含まれてよい。一実施形態においては、通信リンク１３３６は、無線接続に赤外線送信を利用する。他の実施形態においては、通信リンク１３３６は、他の装置との通信のために、様々な無線または有線の送信プロトコルのいずれかを利用してよい。

入力ボタン／センサ１３３８が、入力インタフェースをユーザに提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボール等、様々な種類の入力インタフェースのいずれかが、含まれてよい。超音波通信モジュール１３４０が、超音波技術を用いて他の装置との通信を促進するためにヘッドマウントディスプレイ１０２に含まれてよい。

バイオセンサ１３４２が、生理学的データのユーザからの検出を可能にするために含まれる。一実施形態においては、バイオセンサ１３４２は、ユーザの皮膚を通して、ユーザの生体電気信号を検出するための１つまたは複数の乾電極を含む。

ビデオ入力１３４４が、ＨＭＤをレンダリングするために、一次処理コンピュータ（例えば、メインゲームコンソール）からビデオ信号を受信するように構成される。ある実施態様においては、ビデオ入力は、ＨＤＭＩ（登録商標）入力である。

ヘッドマウントディスプレイ１０２の前述のコンポーネントは、ヘッドマウントディスプレイ１０２に含まれ得る単なる例示のコンポーネントとして記載した。開示の様々な実施形態において、ヘッドマウントディスプレイ１０２は、様々な上記のコンポーネントの幾つかを含んでもよく、含まなくてもよい。ヘッドマウントディスプレイ１０２の実施形態は、さらに、ここには記載しないが、当分野で既知の他のコンポーネントを、本明細書に記載の本開示の態様を容易にするために、含んでよい。

図１２は、開示の様々な実施形態による、ゲームシステム１４００のブロック図である。ゲームシステム１４００は、１つまたは複数のクライアント１４１０にネットワーク１４１５を介してビデオストリームを提供するように構成される。ゲームシステム１４００は、典型的に、ビデオサーバシステム１４２０と、オプションのゲームサーバ１４２５とを含む。ビデオサーバシステム１４２０は、ビデオストリームを１つまたは複数のクライアント１４１０に最低限のサービス品質で提供するように構成される。例えば、ビデオサーバシステム１４２０は、ビデオゲームの状態とビデオゲーム内の視点とを変更するゲームコマンドを受信してよく、状態のこの変化を反映する更新されたビデオストリームを最小の遅延時間でクライアント１４１０に提供してよい。ビデオサーバシステム１４２０は、今後、規定されるフォーマットも含む多種多様な代替ビデオフォーマットで、ビデオストリームを提供するように構成されてよい。さらに、ビデオストリームは、多種多様なフレームレートで、ユーザに提示されるように構成されたビデオフレームを含んでよい。典型的なフレームレートは、毎秒３０フレーム、毎秒６０フレーム、及び、毎秒１２０フレームであるが、より高いまたはより低いフレームレートが、開示の代替実施形態に含まれる。

本明細書では、個々に、１４１０Ａ、１４１０Ｂ等と呼ばれるクライアント１４１０は、ヘッドマウントディスプレイ、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線装置、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイデバイス等を含んでよい。典型的に、クライアント１４１０は、符号化ビデオストリームを受信するように構成され、ビデオストリームを復号するように構成され、且つ、結果として生じるビデオをユーザ、例えば、ゲームのプレイヤに提示するように構成される。符号化ビデオストリームを受信するプロセス、及び／または、ビデオストリームを復号するプロセスは、典型的に、個々のビデオフレームをクライアントの受信バッファに記憶することを含む。ビデオストリームは、クライアント１４１０に一体化されたディスプレイ、または、モニタもしくはテレビ等の別個の装置で、ユーザに提示されてよい。クライアント１４１０は、任意選択で、複数のゲームプレイヤをサポートするように構成される。例えば、ゲームコンソールは、２人、３人、４人、または、５人以上の同時プレイヤをサポートするように構成されてよい。これらの各プレイヤは、別個のビデオストリームを受信してよく、または、一つのビデオストリームが、特に各プレイヤに対して生成された、例えば、各プレイヤの視点に基づいて生成されたフレームの領域を含んでよい。クライアント１４１０は、任意選択で、地理的に分散している。ゲームシステム１４００に含まれるクライアントの数は、１人もしくは２人から、何千、何万、または、それ以上と様々であってよい。本明細書においては、「ゲームプレイヤ」という語は、ゲームをプレイする人を指して使用され、「ゲームプレイデバイス」という語は、ゲームのプレイに使用されるデバイスを指して用いられる。ある実施形態においては、ゲームプレイデバイスは、協働してゲーム体験をユーザに伝える複数のコンピュータデバイスを指してよい。例えば、ゲームコンソール及びＨＭＤは、ビデオサーバシステム１４２０と協働して、ＨＭＤを通して視聴されるゲームを配信してよい。一実施形態においては、ゲームコンソールは、ビデオサーバシステム１４２０からビデオストリームを受信し、ゲームコンソールは、ビデオストリームまたはビデオストリームへの更新をレンダリングのためにＨＭＤに転送する。

クライアント１４１０は、ネットワーク１４１５を介してビデオストリームを受信するように構成される。ネットワーク１４１５は、電話ネットワーク、インターネット、無線ネットワーク、送電線網、ローカルエリアネットワーク、広域ネットワーク、プライベートネットワーク等を含む、任意の種類の通信ネットワークであってよい。典型的な実施形態においては、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等の標準的プロトコルを介して通信される。あるいは、ビデオストリームは、プロプライエタリ規格を介して通信される。

クライアント１４１０の典型的な例は、プロセッサ、不揮発メモリ、ディスプレイ、復号論理回路、ネットワーク通信能力、及び、入力装置を含むパーソナルコンピュータである。復号論理回路は、ハードウェア、ファームウェア、及び／または、コンピュータ可読媒体に記憶されたソフトウェアを含んでよい。ビデオストリームを復号（及び符号化する）システムは、当分野で周知であり、使用される特定の符号化スキームに応じて変わる。

クライアント１４１０は、受信したビデオを修正するために構成されたシステムをさらに含んでよいが、含む必要はない。例えば、クライアントは、１つのビデオ画像を他のビデオ画像にオーバーレイする、ビデオ画像を切り取る等のために、さらにレンダリングを行うように構成されてよい。例えば、クライアント１４１０は、Ｉフレーム、Ｐフレーム、及び、Ｂフレーム等の様々な種類のビデオフレームを受信するように構成されてよく、また、これらのフレームを処理して、ユーザに表示する画像にするように構成されてよい。ある実施形態においては、クライアント１４１０の構成要素は、さらに、レンダリング、シェーディング、３-Ｄへの変換、または、同様の操作をビデオストリームに対して行うように構成される。クライアント１４１０の構成要素は、任意選択で、複数のオーディオストリームまたはビデオストリームを受信するように構成される。クライアント１４１０の入力装置は、例えば、片手ゲームコントローラ、両手ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、動作及び／または位置検知装置、マウス、タッチスクリーン、神経インタフェース、カメラ、今後開発される入力装置等を、含んでよい。

クライアント１４１０が受信したビデオストリーム（及び、任意選択で、オーディオストリーム）は、ビデオサーバシステム１４２０によって生成、提供される。さらに、本明細書の他の箇所に記載のように、このビデオストリームは、ビデオフレームを含み（且つ、オーディオストリームは、オーディオフレームを含む）。ビデオフレームは、ユーザに表示される画像に有意の寄与をするように構成される（例えば、ビデオフレームは、適切なデータ構造の画素情報を含む）。本明細書においては、「ビデオフレーム」という語は、ユーザに示す画像に寄与するように構成された、例えば、影響を与えるように構成された情報を主に含むフレームを指すために使用される。「ビデオフレーム」に関する本明細書の教示の大半は、「オーディオフレーム」にも適用できる。

クライアント１４１０は、典型的に、ユーザからの入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変更するように、または、他の形でゲームプレイに影響を与えるように構成されたゲームコマンドを含んでよい。ゲームコマンドは、入力装置を用いて受信できる、及び／または、クライアント１４１０で実行する計算命令によって自動的に生成されてよい。受信したゲームコマンドは、クライアント１４１０からネットワーク１４１５を介してビデオサーバシステム１４２０及び／またはゲームサーバ１４２５に通信される。例えば、ある実施形態においては、ゲームコマンドは、ビデオサーバシステム１４２０を介してゲームサーバ１４２５に通信される。ある実施形態においては、ゲームコマンドの別々のコピーが、クライアント１４１０からゲームサーバ１４２５及びビデオサーバシステム１４２０に通信される。ゲームコマンドの通信は、任意選択で、コマンドのアイデンティティに依存する。ゲームコマンドは、任意選択で、オーディオストリームまたはビデオストリームをクライアント１４１０Ａに提供するのに使用される異なるルートまたは通信チャネルを通して、クライアント１４１０Ａから通信される。

ゲームサーバ１４２５は、任意選択で、ビデオサーバシステム１４２０と異なるエンティティによって操作される。例えば、ゲームサーバ１４２５は、マルチプレイヤゲームの発行者によって操作されてよい。この例において、ビデオサーバシステム１４２０は、任意選択で、ゲームサーバ１４２５によってクライアントとして視聴され、任意選択で、ゲームサーバ１４２５の視点からは、先行技術のゲームエンジンを実行する先行技術のクライアントであると見えるように構成される。ビデオサーバシステム１４２０とゲームサーバ１４２５との間の通信は、任意選択で、ネットワーク１４１５を介して生じる。従って、ゲームサーバ１４２５は、ゲーム状態情報を複数のクライアントに送る先行技術のマルチプレイヤゲームサーバであってよく、複数のクライアントの１つは、ゲームサーバシステム１４２０である。ビデオサーバシステム１４２０は、ゲームサーバ１４２５の複数のインスタンスと同時に通信するように構成されてよい。例えば、ビデオサーバシステム１４２０は、複数の異なるビデオゲームを異なるユーザに提供するように構成できる。これらの異なるビデオゲームは、それぞれ、異なるゲームサーバ１４２５によってサポートされてよく、及び／または、異なるエンティティによって発行されてよい。ある実施形態においては、ビデオサーバシステム１４２０の幾つかの地理的に分散したインスタンスは、ゲームビデオを複数の異なるユーザに提供するように構成される。ビデオサーバシステム１４２０のこれらのインスタンスは、それぞれ、ゲームサーバ１４２５の同じインスタンスと通信してよい。ビデオサーバシステム１４２０と１つまたは複数のゲームサーバ１４２５との間の通信は、専用通信チャネルを介して任意選択で生じる。例えば、ビデオサーバシステム１４２０は、これら２つのシステム間の通信専用の広帯域チャネルを介してゲームサーバ１４２５に接続されてよい。

ビデオサーバシステム１４２０は、少なくともビデオソース１４３０、Ｉ／Ｏ装置１４４５、プロセッサ１４５０、及び、非一時的ストレージ１４５５を含む。ビデオサーバシステム１４２０は、１つのコンピュータデバイスを含んでよく、または、複数のコンピュータデバイス間に分散されてよい。これらのコンピュータデバイスは、任意選択で、ローカルエリアネットワーク等の通信システムを介して接続される。

ビデオソース１４３０は、ビデオストリーム、例えば、動画を形成するストリーミングビデオもしくは一連のビデオフレームを提供するように構成される。ある実施形態においては、ビデオソース１４３０は、ビデオゲームエンジンとレンダリング論理とを含む。ビデオゲームエンジンは、プレイヤからゲームコマンドを受信するように構成され、受信したコマンドに基づいて、ビデオゲームの状態のコピーを維持するように構成される。このゲーム状態は、ゲーム環境におけるオブジェクトの位置と、典型的には、視点とを含む。ゲーム状態は、オブジェクトのプロパティ、画像、色、及び／または、テクスチャも含んでよい。ゲーム状態は、典型的に、ゲーム規則と、移動、回転、攻撃、焦点を合わせる、インタラクト、使用等のゲームコマンドに基づいて維持される。ゲームエンジンの一部は、任意選択でゲームサーバ１４２５内に配置される。ゲームサーバ１４２５は、地理的に分散したクライアントを用いて複数のプレイヤから受信したゲームコマンドに基づいて、ゲーム状態のコピーを維持してよい。この場合、ゲーム状態は、ゲームサーバ１４２５によってビデオソース１４３０に提供され、ゲーム状態のコピーが記憶されて、レンダリングが行われる。ゲームサーバ１４２５は、クライアント１４１０からネットワーク１４１５を介して直接、ゲームコマンドを受信してよい、及び／または、ビデオサーバシステム１４２０を介してゲームコマンドを受信してよい。

ビデオソース１４３０は、典型的に、レンダリング論理回路、例えば、ハードウェア、ファームウェア、及び／または、ストレージ１４５５等のコンピュータ可読媒体に記憶されたソフトウェアを含む。このレンダリング論理回路は、ゲーム状態に基づいて、ビデオストリームのビデオフレームを作成するように構成される。レンダリング論理回路の全てまたは一部は、任意選択で、グラフィックス処理ユニット（ＧＰＵ）内に配置される。レンダリング論理回路は、典型的に、オブジェクト間の三次元空間関係を決定するために、及び／または、ゲーム状態と視点とに基づいて適切なテクスチャ等を適用するために、構成された処理段階を含む。レンダリング論理回路は、未加工ビデオを生成し、次に、通常は、クライアント１４１０に通信される前に符号化される。例えば、未加工ビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ‐１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ‐ｘ．、Ｘｖｉｄ、ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３等に従って符号化されてよい。符号化処理によって、ビデオストリームが生成され、ビデオストリームは、リモートデバイス上のデコーダに送るために、任意選択でパッケージ化される。ビデオストリームは、フレームサイズとフレームレートによって特徴づけられる。典型的なフレームサイズは、８００ｘ６００、１２８０ｘ７２０（例えば、７２０ｐ）、１０２４ｘ７６８を含むが、任意の他のフレームサイズを用いてよい。フレームレートは、毎秒あたりのビデオフレームの数である。ビデオストリームは、異なる種類のビデオフレームを含んでよい。例えば、Ｈ．２６４規格は、「Ｐ」フレームと「Ｉ」フレームを含む。Ｉフレームは、ディスプレイ装置上のマクロブロック／画素をリフレッシュする情報を含み、Ｐフレームは、そのサブセットをリフレッシュする情報を含む。Ｐフレームは、典型的に、Ｉフレームよりデータサイズが小さい。本明細書においては、「フレームサイズ」という語は、フレーム内の画素数を指す。「フレームデータサイズ」という語は、フレームの記憶に必要なバイト数を指すのに用いられる。

代替実施形態においては、ビデオソース１４３０は、カメラ等のビデオ記録装置を含む。このカメラを使用して、コンピュータゲームのビデオストリームに含まれ得る遅延ビデオまたはライブビデオを生成してよい。結果として生じるビデオストリームは、任意選択で、レンダリングされた画像と、スチルカメラまたはビデオカメラを用いて記録された画像との両方を含む。ビデオソース１４３０は、以前記録されたビデオをビデオストリームに含めるように記憶するように構成された記憶装置も含んでよい。ビデオソース１４３０は、また、オブジェクト、例えば、人の動作または位置を検出するように構成された動作または位置検知装置と、検出された動作及び／または位置に基づいて、ゲーム状態を決定またはビデオを生成するように構成された論理回路とを含んでよい。

ビデオソース１４３０は、他のビデオ上に配置されるように構成されたオーバーレイを提供するように任意選択で構成される。例えば、これらのオーバーレイは、コマンドインタフェース、ログイン命令、ゲームプレイヤへのメッセージ、他のゲームプレイヤの画像、他のゲームプレイヤのビデオフィード（例えば、ｗｅｂｃａｍビデオ）を含んでよい。タッチスクリーンインタフェースまたは視線検出インタフェースを含むクライアント１４１０Ａの実施形態においては、オーバーレイは、仮想のキーボード、ジョイスティック、タッチパッド等を含んでよい。オーバーレイの一例においては、プレイヤの音声が、オーディオストリームにオーバーレイされる。ビデオソース１４３０は、任意選択で１つまたは複数のオーディオソースをさらに含む。

ビデオサーバシステム１４２０が複数のプレイヤからの入力に基づいてゲーム状態を維持するように構成された実施形態においては、各プレイヤは、ビューの位置と方向を含む異なる視点を有してよい。ビデオソース１４３０は、任意選択で、各プレイヤの視点に基づいて、各プレイヤに別々のビデオストリームを提供するように構成される。さらに、ビデオソース１４３０は、異なるフレームサイズ、フレームデータサイズ、及び／または、符号化を各クライアント１４１０に提供するように構成されてよい。ビデオソース１４３０は、任意選択で３-Ｄビデオを提供するように構成される。

Ｉ／Ｏ装置１４４５は、ビデオサーバシステム１４２０が、ビデオ、コマンド、情報の要求、ゲーム状態、視線情報、デバイスの動き、デバイスの位置、ユーザの動作、クライアントのアイデンティティ、プレイヤのアイデンティティ、ゲームコマンド、セキュリティ情報、オーディオ等の情報を送信及び／または受信するように構成される。Ｉ／Ｏ装置１４４５は、典型的に、ネットワークカードまたはモデム等の通信ハードウェアを含む。Ｉ／Ｏ装置１４４５は、ゲームサーバ１４２５、ネットワーク１４１５、及び／または、クライアント１４１０と通信するように構成される。

プロセッサ１４５０は、本明細書で述べたビデオサーバシステム１４２０の様々なコンポーネント内に含まれる論理回路、例えば、ソフトウェアを実行するように構成される。例えば、プロセッサ１４５０は、ビデオソース１４３０、ゲームサーバ１４２５、及び／または、クライアントクオリファイア１４６０の機能を行うために、ソフトウェア命令を用いてプログラムされてよい。ビデオサーバシステム１４２０は、任意選択で、プロセッサ１４５０の複数のインスタンスを含む。プロセッサ１４５０は、ビデオサーバシステム１４２０が受信したコマンドを実行するために、または、本明細書で述べたゲームシステム１４００の様々な要素の操作を連係させるために、ソフトウェア命令を用いてプログラムされてもよい。プロセッサ１４５０は、１つまたは複数のハードウェア装置を含んでよい。プロセッサ１４５０は、電子プロセッサである。

ストレージ１４５５は、非一時的アナログ及び／またはデジタル記憶装置を含む。例えば、ストレージ１４５５は、ビデオフレームを記憶するように構成されたアナログ記憶装置を含んでよい。ストレージ１４５５は、例えば、ハードドライブ、光学ドライブ、または、ソリッドステートストレージ等、コンピュータ可読デジタルストレージを含んでよい。ストレージ１４１５は、ビデオフレーム、擬似フレーム、ビデオフレーム及び擬似フレームの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム等を記憶するように（例えば、適切なデータ構造またはファイルシステムによって）構成される。ストレージ１４５５は、任意選択で複数の装置に分散される。ある実施形態においては、ストレージ１４５５は、本明細書の他の箇所で述べるビデオソース１４３０のソフトウェアコンポーネントを記憶するよう構成される。これらのコンポーネントは、必要に応じプロビジョニング可能なフォーマットで記憶されてよい。

ビデオサーバシステム１４２０は、任意選択で、クライアントクオリファイア１４６０をさらに含む。クライアントクオリファイア１４６０は、クライアント１４１０Ａまたは１４１０Ｂ等のクライアントの能力を遠隔で判断するために構成される。この能力は、クライアント１４１０Ａ自体の能力と、クライアント１４１０Ａとビデオサーバシステム１４２０との間の１つまたは複数の通信チャネルの能力と両方を含み得る。例えば、クライアントクオリファイア１４６０は、ネットワーク１４１５を通して通信チャネルをテストするよう構成されてよい。

クライアントクオリファイア１４６０は、クライアント１４１０Ａの能力を手動または自動で判定（例えば、発見）できる。手動による判定は、クライアント１４１０Ａのユーザと通信し、能力を提供するようユーザに求める。例えば、ある実施形態においては、クライアントクオリファイア１４６０は、クライアント１４１０Ａのブラウザ内に画像、テキスト等を表示するよう構成される。一実施形態においては、クライアント１４１０Ａはブラウザを含むＨＭＤである。別の実施形態においては、クライアント１４１０Ａはブラウザを有するゲームコンソールであり、ＨＭＤに表示されてよい。表示されたオブジェクトは、クライアント１４１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダの種類、ネットワーク接続の種類、ディスプレイ解像度等の情報を入力するようユーザに求める。ユーザにより入力された情報は、クライアントクオリファイア１４６０に返信される。

自動判定は、例えば、クライアント１４１０Ａでのエージェントの実行によって、及び／または、クライアント１４１０Ａへのテストビデオの送信によって、実施されてよい。エージェントは、ウェブページに埋め込まれるか、アドオンとしてインストールされた、Ｊａｖａ（登録商標）スクリプト等の計算命令を含んでよい。エージェントは、任意選択でクライアントクオリファイア１４６０により提供される。様々な実施形態において、エージェントは、クライアント１４１０Ａの処理能力、クライアント１４１０Ａの復号能力及び表示能力、クライアント１４１０Ａとビデオサーバシステム１４２０との間の通信チャネルの遅延時間信頼性及び帯域幅、クライアント１４１０Ａの表示の種類、クライアント１４１０Ａのファイアウォール、クライアント１４１０Ａのハードウェア、クライアント１４１０Ａで実行されるソフトウェア、クライアント１４１０Ａ内のレジストリエントリ等を知ることができる。

クライアントクオリファイア１４６０は、ハードウェア、ファームウェア、及び／または、コンピュータ可読媒体に記憶されたソフトウェアを含む。クライアントクオリファイア１４６０は、ビデオサーバシステム１４２０の１つまたは複数の他の要素とは別個のコンピュータデバイス上に任意選択で配置される。例えば、ある実施形態においては、クライアントクオリファイア１４６０は、クライアント１４１０とビデオサーバシステム１４２０の複数のインスタンスとの間の通信チャネルの特性を判断するよう構成される。これらの実施形態においては、クライアントクオリファイアが発見した情報を使用して、ビデオサーバシステム１４２０のどのインスタンスがクライアント１４１０の１つにストリーミングビデオを配信するのに最適かを判断できる。

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブルな家電製品、ミニコンピュータ、メインフレームコンピュータ等を含む多様なコンピュータシステム構成で実践されてよい。本開示は、有線または無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても実践できる。

上記の実施形態を念頭において、本開示は、コンピュータシステムに記憶されたデータを伴う様々なコンピュータ実施操作を使用できることを理解されたい。これらの操作は、物理量を伴う物理的操作を要する操作である。本開示の一部を成す本明細書に記載の操作はいずれも、有用な機械操作である。本開示は、これらの操作を行うデバイスまたは装置にも関する。装置は、必要とされる目的に合わせて特別に構築できる、または、装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または構成される汎用コンピュータであってよい。詳細には、様々な汎用機械を本明細書の教示に従って書かれたコンピュータプログラムと共に使用できる、または、必要な操作を行なうより専門的な装置を構築するとより便利な場合がある。

本開示は、コンピュータ可読媒体上のコンピュータ可読コードとして実現することもできる。コンピュータ可読媒体は、データの記憶ができる任意のデータ記憶装置であり、データは、後にコンピュータシステムにより読み取ることができる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、リードオンリメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、並びに、他の光学的及び非光学的データ記憶装置を含む。コンピュータ可読媒体は、コンピュータ可読コードが分散して記憶、実行されるように、ネットワーク接続コンピュータシステムを介して分散されたコンピュータ可読有形媒体を含み得る。

方法の操作は特定の順序で記載しているが、操作と操作の間で他のハウスキーピング操作が行われてもよく、または、オーバーレイ操作処理が所望の方法で実施される限り、操作は、わずかに異なる時間に実施されるように調整されてもよく、または、処理に関連付けられた様々な間隔で、処理操作が行われるのを可能にするシステムに分散されてもよいことは理解されたい。

上記開示は、明確に理解されるように詳述したが、添付の特許請求の範囲内で所定の変更及び修正を実践してよいことは明らかであろう。従って、本実施形態は、例示的なものであって限定的なものではなく、本開示は本明細書の詳細に限定されず、本開示の範囲及び均等物の範囲内で修正されてよい。

Claims (18)

1. 観客のために仮想現実環境のビューを生成する方法であって、
   ＨＭＤプレイヤのヘッドマウントディスプレイ（ＨＭＤ）にレンダリングするための仮想現実環境を生成することであって、前記ＨＭＤプレイヤは、前記ＨＭＤプレイヤの前記ＨＭＤの動きによって制御されるＨＭＤビューを提供される、前記仮想現実環境を生成することと、
   前記仮想現実環境の観客ビューを提供することであって、前記観客ビューは、前記仮想現実環境に向けられたビュースポットに関連付けられ、前記ビュースポットは、前記ＨＭＤビューから切り離された、前記観客ビューを提供することと、
   を含み、
   前記ＨＭＤの動きは、前記ＨＭＤビューを変え、前記観客ビューの前記ビュースポットを切り離すことは、前記ＨＭＤビューの後を追う前記ビュースポットの遅れた動きを生成する、方法。
2. 前記ビュースポットの前記遅れた動きは。前記ＨＭＤの動きより遅い速度で、前記ＨＭＤビューの後を追うように機能する、請求項１に記載の方法。
3. 前記ビュースポットは、前記仮想現実環境に関連付けられた複数のビュースポットの１つである、請求項１に記載の方法。
4. 前記ビュースポットは、前記観客ビューのために選択される、請求項３に記載の方法。
5. 前記ビュースポットは、前記仮想現実環境で関心を引くと識別された特定のコンテンツに基づいて、前記観客のために選択される、請求項３に記載の方法。
6. 前記観客ビューは、前記ＨＭＤビューの一部である、請求項１に記載の方法。
7. 前記観客ビューは、前記ＨＭＤビューより大きい、請求項１に記載の方法。
8. 前記ＨＭＤプレイヤの視線方向を使用して、前記ＨＭＤプレイヤが視聴しているコンテンツを前記観客に対して識別する、請求項１に記載の方法。
9. 観客のために仮想現実環境のビューを生成する方法であって、
   ＨＭＤプレイヤのヘッドマウントディスプレイ（ＨＭＤ）にレンダリングするための仮想現実環境を生成することであって、前記ＨＭＤプレイヤは、前記ＨＭＤプレイヤの前記ＨＭＤの動きによって制御されるＨＭＤビューを提供される、前記仮想現実環境を生成することと、
   前記仮想現実環境の観客ビューを提供することであって、前記観客ビューは、前記仮想現実環境に向けられたビュースポットに関連付けられ、前記ビュースポットは、前記ＨＭＤビューから切り離された、前記観客ビューを提供することと、
   を含み、
   前記観客による前記仮想現実環境のリスニングゾーンの選択を受信することをさらに含み、前記リスニングゾーンの選択は、前記リスニングゾーンの視点から前記観客にオーディオを提供する、方法。
10. 観客に対して仮想現実環境のビューを生成するサーバによって実行される方法であって、
    前記サーバが、ＨＭＤプレイヤのヘッドマウントディスプレイ（ＨＭＤ）のためにレンダリングされる仮想現実環境のフィードを受信することであって、前記ＨＭＤプレイヤは、前記ＨＭＤプレイヤによる前記ＨＭＤの動きによって制御されるＨＭＤビューを提供され、前記仮想現実環境の前記フィードは、ウェブサイトに共有される、前記仮想現実環境のフィードを受信することと、
    前記サーバが、前記ウェブサイトから前記仮想現実環境にアクセスする要求を前記観客から受信することと、
    前記サーバが、前記観客のデバイスに前記仮想現実環境の観客ビューを送信することであって、前記観客ビューは、前記仮想現実環境に向けられたビュースポットに関連付けられ、前記ビュースポットは、前記ＨＭＤビューから切り離されている、前記仮想現実環境の観客ビューを前記送信することと、
    を含み、前記ＨＭＤプレイヤが前記仮想現実環境を動き回ると、前記観客ビューは、前記仮想現実環境に向けられた他のビュースポットに更新され、
    前記ＨＭＤの動きは、前記ＨＭＤビューを変え、前記観客ビューの前記ビュースポットを切り離すことは、前記ＨＭＤビューの後を追う前記ビュースポットの遅れた動きを生成する、方法。
11. 前記ビュースポットは、前記ＨＭＤプレイヤが前記仮想現実環境をあちこち移動すると、前記仮想現実環境の関心を引くビューを提供するように選択されるプレオーサリングされたビュースポットである、請求項１０に記載の方法。
12. 前記観客は、前記プレオーサリングされたビュースポットの１つから別のビュースポットへと動かされる、請求項１１に記載の方法。
13. 前記観客のプロファイルは、ビューまたはコンテンツの種類に関する好みを識別し、前記好みを使用して、前記プレオーサリングされたビュースポットのどのビュースポットを前記観客に提供するかを選択する、請求項１１に記載の方法。
14. 前記観客の前記デバイスは、前記観客が使用するＨＭＤ、または、前記観客が使用するテレビ画面、または、前記観客が使用するコンピュータ画面、または、前記観客が使用するハンドヘルドデバイス画面のうちの１つである、請求項１０に記載の方法。
15. 前記観客は、前記ＨＭＤプレイヤの前記ＨＭＤビューを視聴するためのアクセスを提供する複数の観客のうちの一人である、請求項１０に記載の方法。
16. 前記ウェブサイトは、他のＨＭＤプレイヤの他のＨＭＤビューのオプションの選択を提供し、それによって、前記観客は、前記ＨＭＤビューの特定のＨＭＤビューを選択でき、前記各仮想現実環境を１つまたは複数の観客ビューから見ることができる、請求項１０に記載の方法。
17. 観客のための仮想現実環境のビューを生成するプログラム命令を有するコンピュータ可読媒体であって、
    ＨＭＤプレイヤのヘッドマウントディスプレイ（ＨＭＤ）にレンダリングするための仮想現実環境を生成するプログラム命令であって、前記ＨＭＤプレイヤは、前記ＨＭＤプレイヤによる前記ＨＭＤの動きによって制御されるＨＭＤビューを提供される、前記プログラム命令と、
    前記仮想現実環境の観客ビューを提供するプログラム命令であって、前記観客ビューは、前記仮想現実環境に向けられたビュースポットに関連付けられ、前記ビュースポットは、前記ＨＭＤビューと切り離されている、前記プログラム命令と、
    を含み、
    前記観客ビューの前記ビュースポットは、前記ＨＭＤビューの後を追う遅れた動きであり、前記ビュースポットは、前記仮想現実環境の前記ＨＭＤビューのエリア、または、前記ＨＭＤビューの動きの方向に向けられた異なる視野角を提供する複数のビュースポットの１つである、コンピュータ可読媒体。
18. 前記ビュースポットの前記遅れた動きは、前記ＨＭＤの動きより遅い速度で、前記ＨＭＤビューの後を追うように機能し、前記ビュースポットは、前記ＨＭＤビューに基づいて、前記観客ビューのために予め選択された複数のビュースポットの１つである、請求項１７に記載のコンピュータ可読媒体。