JP2023501079A - 共有人工現実環境における同じ場所での姿勢推定 - Google Patents

Abstract

人工現実（ＡＲ）システムは、それぞれがヘッドマウントディスプレイ（ＨＭＤ）を有する、複数の同じ場所にいる参加者の姿勢および骨格位置調整を追跡する。参加者は、同じ場所の他者とともに、共有人工現実イベントまたは体験に参加することができる。各参加者のＨＭＤは、他の参加者のＨＭＤから取得された参加者の姿勢および姿勢情報に基づいて、参加者のためのＡＲコンテンツを独立してレンダリングすることができる。参加ＨＭＤは、ＨＭＤのカメラおよび／またはセンサの視界内の対象の骨格点（たとえば、関節、指先、膝、足首点など）の追跡推定値をブロードキャストしてもよい。参加ＨＭＤは、他のＨＭＤによって決定された骨格位置情報を受信して、受信した追跡情報を内部追跡情報とともに集約し、その対応する参加者に関するその自身の姿勢および骨格位置調整情報の正確かつ完全な推定値を構築してもよい。【選択図】図１Ｂ

Description

本開示は一般に、仮想現実、複合現実、および／または拡張現実システムなどの人工現実システムに関し、より詳細には、人工現実システムによって実行される姿勢推定に関する。

人工現実システムは、コンピュータゲーム、安全衛生、工業、および教育などの多くの分野における適用例とともに、ますます遍在的になってきている。いくつかの例として、人工現実システムは、モバイルデバイス、ゲームコンソール、パーソナルコンピュータ、映画館、およびテーマパークに組み込まれている。通常、人工現実とは、たとえば仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいは、それらの何らかの組合せおよび／または派生物を含むことができる、ユーザに提示する前に何らかの様式で調整された現実の形態である。

典型的な人工現実システムは、ユーザにコンテンツをレンダリングおよび表示するための１つまたは複数のデバイスを含む。一例として、人工現実システムは、ユーザによって着用され、人工現実コンテンツをユーザに出力するように設定された、ヘッドマウントディスプレイ（ＨＭＤ）を組み込むことができる。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（たとえば、実世界のビデオおよび／もしくは画像）と組み合わせて生成されたコンテンツを含むことができる。それぞれが自身のＨＭＤを有する複数のユーザは、共有人工現実体験に参加することができる。

概して、本開示は、人工現実システムを説明し、より詳細には、それぞれがヘッドマウントディスプレイ（ＨＭＤ）を含む人工現実システムを有する、複数の同じ場所にいる参加者の姿勢および身体位置調整を追跡する姿勢追跡システムを説明する。参加者のＨＭＤ上のカメラまたは他のセンサは協働し、参加者のそれぞれの姿勢および身体位置の正確な推定を提供する。システムは、姿勢または身体位置を決定するために、参加者にマーカを付ける必要はない。さらに、システムは、参加者の姿勢および身体位置を決定するために、外部カメラやセンサを必要としない。よって、本出願で説明される技法は、従前のシステムよりセットアップが簡単でコストを抑えることができる「サンドボックス」ＡＲ／ＶＲシステムを提供することができる。

参加者は、同じロケーションの他者とともに、共有人工現実イベントまたは体験に参加することができる。各参加者のＨＭＤは、他の参加者のＨＭＤから取得された参加者の姿勢および身体位置情報に基づいて、参加者のための人工現実コンテンツを独立してレンダリングすることができる。共有人工現実イベントまたは体験の参加者のＨＭＤは、「参加ＨＭＤ」と呼ぶことができる。各参加ＨＭＤに対して推定される姿勢および身体位置情報は、新しいフレームが生成されると、または、参加者の姿勢または身体位置に変化があると、更新することができる。参加者のＨＭＤは、人工現実コンテンツ内の参加者の姿勢および身体位置情報を更新するために、さまざまな動作を行うことができる。たとえば、参加ＨＭＤは、共同人工現実空間（たとえば、共有マップ）への他の参加ＨＭＤの位置を較正してもよい。姿勢および身体位置情報の較正は、より多くの姿勢および身体位置情報が取得されるにつれて、経時的に改善することができる。

参加ＨＭＤは、ＨＭＤのカメラおよび／またはセンサの視界内の同じ場所にいる参加者の身体位置情報の追跡推定値をブロードキャストしてもよい。同じ場所にいる参加者の身体位置は、他の参加ＨＭＤの視界の中にあってもよく、または、中になくてもよい。参加ＨＭＤは、他のＨＭＤによって決定された身体位置情報を受信して、受信した追跡情報を内部追跡情報とともに集約し、その対応する参加者に関するその自身の姿勢および身体位置調整情報の正確かつ完全な推定値を構築してもよい。このように、ＨＭＤは、他の参加ＨＭＤから２次元（２Ｄ）または３次元（３Ｄ）の姿勢情報および身体位置情報を受信する。いくつかの態様において、参加ＨＭＤは、それ自体の姿勢推定値および身体位置情報をリファインするために、そのような２Ｄまたは３Ｄ姿勢情報および身体位置情報を使用してもよい。いくつかの態様において、参加ＨＭＤは、その対応する参加者の身体位置に関して欠落した情報を「埋める」ために、２Ｄまたは３Ｄ姿勢情報および身体位置情報を使用することができる。たとえば、ユーザの下半身（たとえば、下部胴体、脚、および足）は、ユーザ自身のＨＭＤの視界の中になくてもよいが、ユーザの下半身は、１つまたは複数の他のユーザのＨＭＤの視界の中であってもよい。これらの他のＨＭＤから受信した２Ｄまたは３Ｄ姿勢および身体位置情報は、ユーザの下半身の身体位置調整に関する詳細を埋めるために使用することができる。さらに、ＨＭＤは、姿勢および身体位置情報の以前の推定値をリファインするために、姿勢および身体位置情報を使用することができる。いくつかの態様において、参加ＨＭＤは、共有マップ内にそれ自身および他のＨＭＤを配置するために、２Ｄまたは３Ｄ姿勢情報および身体位置情報を使用することができる。

各参加ＨＭＤは、ＨＭＤによって決定されたその知られている２Ｄまたは３Ｄ姿勢および身体位置情報を、共有マップの構築または更新に使用するために、他のＨＭＤにブロードキャストしてもよい。各参加ＨＭＤは、上記のように、共有マップのそのコピー、および、自身で決定し、他のＨＭＤから受信したリファインされた２Ｄまたは３Ｄ姿勢および身体位置情報を使用して、人工現実コンテンツをレンダリングしてもよい。

従来の人工現実システムに関する技術的問題は、通常、マーカまたは他の印が、ユーザの身体位置を決定するために使用されるということである。そのような従来のシステムでは、マーカまたは他の印は、対象の身体位置に付けられる。マーカの取付けは、面倒で時間がかかり、そのため、ユーザの不満につながる可能性がある。さらに、いくつかの従来のシステムは、ユーザの身体位置を決定するために、外部カメラ（すなわち、ＨＭＤと一体化されていないカメラ）を利用する。これは、人工現実システムに複雑さおよび費用を追加する。本明細書に開示される技法は、上記の技術的問題に対する技術的解決法を提供する。ＨＭＤは、マルチユーザ人工現実アプリケーションに参加している他のＨＭＤから、姿勢および身体位置情報を受信することができる。受信するＨＭＤは、受信した姿勢および身体位置情報を使用し、欠落した情報を埋めて、同じ場所にいる参加者に関する身体位置情報の既存の推定値をリファインすることができる。

上記の態様および下記のさらなる態様は、従来の人工現実システムの実施態様に技術的な改善を提供することができ、１つまたは複数の実用的用途を提供することができる、たとえば、外部画像キャプチャデバイスを使用せずに、かつ、身体位置を示すためにユーザ身体に付けられるマーカの使用を必要とせずに、人工現実システムが、姿勢および身体位置情報を正確に決定することができる。

１つまたは複数のさらなる例示的な態様において、方法は、第１のヘッドマウントディスプレイ（ＨＭＤ）の画像キャプチャデバイスから、物理環境を表す第１の画像データを取得することと、第１のＨＭＤの位置および向きを表す第１のＨＭＤ姿勢を決定することと、第１の画像データから、物理環境内の１つまたは複数の第２のＨＭＤのユーザの第１の身体位置情報を決定することと、第１のＨＭＤによって、１つまたは複数の第２のＨＭＤによる使用のための第１のＨＭＤ姿勢および第１の身体位置情報を送信することと、第１のＨＭＤによって、１つまたは複数の第２のＨＭＤの各第２のＨＭＤから、それぞれの第２のＨＭＤの第２のＨＭＤ姿勢、および第２のＨＭＤによって取得された第２の画像データから第２のＨＭＤによって決定された第２の身体位置情報を受信することと、第１のＨＭＤのユーザの第１の解析された身体位置情報を作成するために、第１のＨＭＤによって、第１の身体位置情報を第２の身体位置情報と一体化することと、第１のＨＭＤで表示するために、第１の姿勢および第１の解析された身体位置情報に従って人工現実コンテンツをレンダリングすることとを含む。

好ましくは、方法は、第１のＨＭＤによって、１つまたは複数の第２のＨＭＤによる使用のための第１の解析された身体位置情報を送信することと、第１のＨＭＤによって、１つまたは複数の第２のＨＭＤのユーザの第２の解析された身体位置情報を受信することとをさらに含み、人工現実コンテンツをレンダリングすることは、第２の解析された身体位置情報に従って人工現実コンテンツをレンダリングすることを含む。

好ましくは、第２の身体位置情報は、第１のＨＭＤのユーザの身体位置情報を含む。

好ましくは、方法は、第１の身体位置情報および第２の身体位置情報の信頼水準を受信することをさらに含み、第１の身体位置情報および第２の身体位置情報を一体化することは、信頼水準に従って第１の身体位置情報および第２の身体位置情報を一体化することを含む。

好ましくは、信頼水準に従って第１の身体位置情報および第２の身体位置情報を一体化することは、少なくとも部分的に信頼水準に基づいて、第１の身体位置情報および第２の身体位置情報に割り振られた重みに従って、第１の身体位置情報および第２の身体位置情報を一体化することを含む。

好ましくは、方法は、１つまたは複数の第２のＨＭＤのうち第１のＨＭＤから閾値距離より離れた第２のＨＭＤからの、第１のＨＭＤによって受信された身体情報を、第２の身体位置情報からフィルタリングすることをさらに含む。

好ましくは、方法は、１つまたは複数の第２のＨＭＤのうち第１のＨＭＤに最も近いｎ個の第２のＨＭＤの１つではない第２のＨＭＤからの、第１のＨＭＤによって受信された身体位置情報を、第２の身体位置情報からフィルタリングすることをさらに含み、ここで、ｎは所定のまたは設定可能な数である。

好ましくは、１つまたは複数の第２のＨＭＤのユーザの第１の身体位置情報を決定することは、身体位置を認識するようにトレーニングされた機械学習モデルに第１の画像データを通すことを含む。

好ましくは、１つまたは複数の第２のＨＭＤのユーザの第１の身体位置情報を決定することは、ユーザにマーカを配設せずに、第１の画像データから、ユーザの第１の身体位置情報を決定することを含む。

１つまたは複数の例示的な態様において、人工現実システムは、物理環境を表す第１の画像データをキャプチャするように設定された画像キャプチャデバイスと、人工現実コンテンツを出力するように設定された第１のヘッドマウントディスプレイ（ＨＭＤ）と、第１のＨＭＤの位置および向きを表す第１のＨＭＤ姿勢を決定し、第１の画像データから、物理環境内の１つまたは複数の第２のＨＭＤのユーザの第１の身体位置情報を決定し、１つまたは複数の第２のＨＭＤによる使用のための第１のＨＭＤ姿勢および第１の身体位置情報を送信し、１つまたは複数の第２のＨＭＤの各第２のＨＭＤから、それぞれの第２のＨＭＤの第２のＨＭＤ姿勢、および第２のＨＭＤによって取得された第２の画像データから第２のＨＭＤによって決定された第２の身体位置情報を受信し、第１のＨＭＤのユーザの第１の解析された身体位置情報を作成するために、第１の身体位置情報を第２の身体位置情報と一体化するように設定された姿勢追跡器と、第１のＨＭＤで表示するために、第１のＨＭＤ姿勢および第１の解析された身体位置情報に従って人工現実コンテンツをレンダリングするように設定されたレンダリングエンジンとを含む。

好ましくは、姿勢追跡器は、１つまたは複数の第２のＨＭＤによる使用のための第１の解析された身体位置情報を送信し、１つまたは複数の第２のＨＭＤのユーザの第２の解析された身体位置情報を受信するようにさらに設定され、レンダリングエンジンは、第１のＨＭＤで表示するために、第２の解析された身体位置情報に従って人工現実コンテンツをレンダリングするようにさらに設定される。

好ましくは、第２の身体位置情報は、第１のＨＭＤのユーザの身体位置情報を含む。

好ましくは、姿勢追跡器は、第１の身体位置情報および第２の身体位置情報の信頼水準を受信するようにさらに設定され、姿勢追跡器は、信頼水準に従って第１の身体位置情報および第２の身体位置情報を一体化する。

好ましくは、第１のＨＭＤおよび１つまたは複数の第２のＨＭＤは、人工現実アプリケーションに参加する、物理環境内の同じ場所にあるＨＭＤである。

好ましくは、人工現実アプリケーションは、同じ場所にあるＨＭＤのそれぞれで実行される。

好ましくは、画像キャプチャデバイスは、第１のＨＭＤと一体化される。

１つまたは複数のさらなる例示的な態様において、非一時的コンピュータ可読媒体は、実行されるときに、人工現実システムの１つまたは複数のプロセッサに、第１のヘッドマウントディスプレイ（ＨＭＤ）の画像キャプチャデバイスから、物理環境を表す第１の画像データを取得させ、第１のＨＭＤの位置および向きを表す第１のＨＭＤ姿勢を決定させ、第１の画像データから、１つまたは複数の第２のＨＭＤのユーザの第１の身体位置情報を決定させ、第１のＨＭＤによって、１つまたは複数の第２のＨＭＤによる使用のための第１のＨＭＤ姿勢および第１の身体位置情報を送信させ、第１のＨＭＤによって、１つまたは複数の第２のＨＭＤの各第２のＨＭＤから、第２のＨＭＤ姿勢、および第２のＨＭＤによって取得された第２の画像データから第２のＨＭＤによって決定された第２の身体位置情報を受信させ、第１のＨＭＤのユーザの第１の解析された身体位置情報を作成するために、第１のＨＭＤによって、第１の身体位置情報を第２の身体位置情報と一体化させ、第１のＨＭＤで表示するために、第１の姿勢および第１の解析された身体位置情報に従って人工現実コンテンツをレンダリングさせる命令を備える。

好ましくは、命令は、第１のＨＭＤによって、１つまたは複数の第２のＨＭＤによる使用のための第１の解析された身体位置情報を送信し、第１のＨＭＤによって、１つまたは複数の第２のＨＭＤの第２の解析された身体位置情報を受信する命令をさらに備え、人工現実コンテンツをレンダリングする命令は、第２の解析された身体位置情報に従って人工現実コンテンツをレンダリングする命令を備える。

好ましくは、第２の身体位置情報は、第１のＨＭＤのユーザの身体位置情報を含む。

好ましくは、命令は、第１の身体位置情報および第２の身体位置情報の信頼水準を受信する命令をさらに備え、第１の身体位置情報および第２の身体位置情報を一体化する命令は、信頼水準に従って第１の身体位置情報および第２の身体位置情報を一体化する命令を備える。

本開示の技法の１つまたは複数の例の詳細は、添付の図面および下記の説明に示される。技法の他の特徴、目的、および利点は、説明および図面ならびに特許請求の範囲から明らかとなろう。

本開示の技法に従った、１人または複数人の同じ場所にいるユーザに対する身体位置追跡を含む姿勢追跡を実行する例示的な人工現実システムを示す図である。 本開示の技法に従った、１人または複数人の同じ場所にいるユーザに対する身体位置追跡を含む姿勢追跡を実行する別の例示的な人工現実システムを示す図である。 図１Ａおよび１Ｂで説明される人工現実システムのさらなる態様を示す図である。 図１Ａおよび１Ｂの例示的な物理環境に対応してもよい例示的な人工現実コンテンツを示す図である。 本開示の技法に従って動作する例示的なＨＭＤを示す図である。 本開示の技法に従って動作する別の例示的なＨＭＤを示す図である。 同じ場所にいるユーザに対する身体位置調整を含む姿勢追跡が、本開示の技法に従った図１Ａの人工現実システムのＨＭＤの例示的な例によって実行される例を示すブロック図である。 同じ場所にいるユーザに対する姿勢追跡および身体位置調整が、図１Ｂの人工現実システムのコンソールおよびＨＭＤの例示的な例によって実行される例示的実施態様を示すブロック図である。 本開示の態様に従った、同じ場所での姿勢推定を実行するための方法の例示的な動作を示すフローチャートである。 本開示の態様に従った、同じ場所での姿勢推定を実行するための別の方法の例示的な動作を示すフローチャートである。

図面および説明全体を通じて、同様の参照文字は同様の要素を指す。

図１Ａは、本開示の技法に従った、１人または複数人の同じ場所にいるユーザ１０２に対する姿勢追跡および身体位置追跡を実行する例示的な人工現実システム１００を示す図である。図１Ａに示される例において、人工現実システム１００は、それぞれ、ヘッドマウントディスプレイ（ＨＭＤ）１１２Ａ～１１２Ｃ（集合的に、「ＨＭＤ１１２」）を装着するユーザ１０２Ａ～１０２Ｃ（集合的に、「ユーザ１０２」）を含む。

ＨＭＤ１１２のそれぞれは、ユーザ１０２のうちの１人によって装着され、人工現実コンテンツをユーザ１０２に提示するための、電子ディスプレイおよび光学アセンブリを含む。さらに、ＨＭＤ１１２は、ＨＭＤ１１２の動きを追跡するための１つまたは複数の動きセンサ（たとえば、加速度計）を含んでもよく、周囲の物理環境１２０の画像データをキャプチャするための、１つまたは複数の画像キャプチャデバイス１３８、たとえば、カメラ、赤外線（ＩＲ）検出器、ドップラーレーダ、ラインスキャナなどを含んでもよい。たとえば、ユーザ１０２Ａは、画像キャプチャデバイス１３８Ａを有するＨＭＤ１１２Ａを装着する。画像キャプチャデバイス１３８Ａは視界１１６Ａを定義する。ユーザ１０２は、ユーザ１０２がＨＭＤを装着した少なくとも１人の他のユーザと同じ物理環境の中にいるとき、したがって、少なくとも１人の他のユーザのＨＭＤの画像キャプチャデバイスの視界の中、または、センサ範囲の中であることができるとき、同じ場所にいるユーザと呼ぶことができる。

いくつかの例示的な実施態様において、人工現実システム１００は、ユーザ１０２が装着したＨＭＤ１１２の１つまたは複数の検出された姿勢、および、ユーザのＨＭＤ１１２の視界１３８の中にあるユーザ１０２の身体位置情報に基づいて、ユーザ１０２に対して人工現実コンテンツを生成して、レンダリングする。図１Ａに示される例示的な実施態様において、ＨＭＤ１１２のそれぞれは、スタンドアロン型モバイル人工現実システムとして動作する。共有人工現実体験に参加するＨＭＤ１１２は、ネットワーク１０４を介して通信可能に結合されてもよく、ネットワーク１０４は、ＷｉＦｉ、メッシュネットワーク、または近距離無線通信媒体などの有線または無線ネットワークであってもよい。たとえば、同じ物理環境においてユーザ１０２が同じロケーションにいることにより、Ｂｌｕｅｔｏｏｔｈまたは他の近距離ローカルもしくはパーソナルエリアネットワーク技術の使用が容易になる可能性がある。

一般に、人工現実システム１００は、実世界３Ｄ物理環境１２０からキャプチャされた情報を使用して、ユーザ１０２に表示するための人工現実コンテンツをレンダリングする。図１Ａの例において、各ユーザ１０２Ａ、１０２Ｂ、および１０２Ｃは、ユーザのそれぞれのＨＭＤ１１２（たとえば、１１２Ａ、１１２Ｂ、および１１２Ｃ）上で実行する人工現実アプリケーションによって構築およびレンダリングされる人工現実コンテンツを見る。いくつかの例において、人工現実コンテンツは、実世界イメージと仮想オブジェクトとの混合物、たとえば、複合現実および／または拡張現実を備えてもよい。他の例において、人工現実コンテンツは、たとえば、テレビ会議アプリケーション、ナビゲーションアプリケーション、教育アプリケーション、シミュレーション、ゲームアプリケーション、または人工現実を実装する他のタイプのアプリケーションであってもよい。

動作中、人工現実アプリケーションは、基準系、通常は、ＨＭＤ１１２の視点に対する姿勢情報を追跡および計算することによって、ユーザ１０２に表示するための人工現実コンテンツを構築する。さらに、人工現実アプリケーションは、ＨＭＤ１１２のユーザ、および、ユーザのＨＭＤ１１２を介してユーザ１０２に見える他のユーザの身体位置情報を追跡してもよい。基準系としてＨＭＤ１１２を使用し、ＨＭＤ１１２の現在の推定された姿勢によって決定された現在の視界１３０に基づいて、人工現実アプリケーションは、３Ｄ人工現実コンテンツをレンダリングし、そのコンテンツは、いくつかの例では、少なくとも部分的に、ユーザ１０２の実世界３Ｄ物理環境１２０上にオーバーレイされてもよい。このプロセス中、人工現実アプリケーションは、移動情報およびユーザコマンドなどの、ＨＭＤ１１２から受信した感知データを使用して、ユーザ１０２による動きおよび／または１つもしくは複数のハンドヘルドコントローラの動きなどの、実世界物理環境内の３Ｄ情報をキャプチャする。感知データに基づき、人工現実アプリケーションは、ＨＭＤ１１２の基準系に対する現在の姿勢、ユーザおよびユーザのＨＭＤ１１２の視界の中の他のユーザの身体位置情報を決定する。さらに、人工現実アプリケーションは、他のＨＭＤ１１２によって感知および／または決定される２Ｄまたは３Ｄ姿勢および身体位置情報などの、他のユーザのＨＭＤ１１２からの情報を受信することができる。ユーザのＨＭＤ１１２によって決定される情報、および、他のユーザのＨＭＤ１１２から受信する情報は、部分的または不完全であってもよい。たとえば、情報は、ユーザ自身のＨＭＤ１１２の視界の中にない、同じ場所にいるユーザの身体の部分に対する姿勢または身体位置情報が欠けていてもよい。他のユーザのＨＭＤ１１２は、欠落した情報の一部または全部を供給することができてもよく、異なるＨＭＤ１１２は、それぞれのＨＭＤの視界の中にある部分に応じて、身体位置情報の異なる部分を供給してもよい。よって、たとえ１人のユーザのＨＭＤ１１２が、自身のデータを使用して他の同じ場所にいるユーザの３Ｄ姿勢または身体位置情報を決定することができないとしても、ＨＭＤ１１２は、他の同じ場所にいるＨＭＤから受信する２Ｄまたは３Ｄ姿勢および身体位置情報を利用して自身の情報を埋めて拡張し、そのような追加情報を使用して、自身および他の同じ場所にいるユーザの３Ｄ姿勢および身体位置情報をより正確に解析してもよい。

さらに、いくつかの態様において、人工現実システム１００は、人工現実システム１００の他のユーザに対するユーザ１１２の位置調整を示す共有マップを維持してもよい。共有マップは、各参加ユーザのＨＭＤ１１２から受信される情報に基づいて、生成および維持されてもよい。共有マップ、現在の姿勢、および骨格位置調整情報に従って、人工現実アプリケーションは、人工現実コンテンツをレンダリングする。

図１Ｂは、本開示の技法に従った、１人または複数人の同じ場所にいるユーザ１０２に対する姿勢追跡および身体位置追跡を実行する別の例示的な人工現実システム１３０を示す図である。図１Ｂに示される例は、図１Ａに関して上で論じられたものと同様に設定されてもよいＨＭＤ１１２を含む。図１Ｂに示される例において、人工現実システム１３０は、コンソール１０６を含み、カメラ１０２Ａおよび１０２Ｂなどの外部カメラを任意選択的に含んでもよい。さらに、人工現実システム１３０は、外部センサ９０を任意選択的に含んでもよい。

図１Ｂに示される例では、コンソール１０６は、ゲームコンソール、ワークステーション、デスクトップコンピュータ、またはラップトップなどの単一のコンピューティングデバイスとして示される。他の例では、コンソール１０６は、分散コンピューティングネットワーク、データセンタ、またはクラウドコンピューティングシステムなどの複数のコンピューティングデバイスにまたがって分散されてもよい。コンソール１０６、ＨＭＤ１１２、カメラ１０２、およびセンサ９０は、本例に示されるように、ネットワーク１０４を介して通信可能に結合されてもよく、ネットワーク１０４は、上述のように、ＷｉＦｉ、メッシュネットワーク、または近距離無線通信媒体などの有線または無線ネットワークであってもよい。

図１Ｂに示される例では、図１ＡのＨＭＤ１１２によって実行されると説明された機能の一部または全部を、コンソール１０６に肩代わりさせてもよい。たとえば、コンソール１０６は、ＨＭＤ１１２上のカメラ、および任意選択的に、外部カメラ１０２から画像データを、センサ９０からのセンサデータを、各ＨＭＤ１１２からの姿勢情報を受信してもよい。コンソール１０６は、受信したデータを使用して、ユーザ１０２のそれぞれのＨＭＤ１１２を介してユーザ１０２のそれぞれに表示するための人工現実コンテンツをレンダリングしてもよい。上述のように、いくつかの例において、人工現実コンテンツは、実世界イメージと仮想オブジェクトとの混合物、たとえば、複合現実および／または拡張現実を備えてもよい。他の例において、人工現実コンテンツは、たとえば、テレビ会議アプリケーション、ナビゲーションアプリケーション、教育アプリケーション、シミュレーション、ゲームアプリケーション、または人工現実を実装する他のタイプのアプリケーションであってもよい。

さらに、コンソール１０６は、人工現実システム１００の他のユーザに対するユーザ１０２のそれぞれの位置調整を示す共有マップを維持してもよい。共有マップは、各参加ユーザのＨＭＤ１１２から受信される情報に基づいて、生成および維持されてもよい。共有マップ、現在の姿勢、および身体位置情報に従って、人工現実アプリケーションは、人工現実コンテンツをレンダリングする。

図１Ａおよび１Ｂに示される例示的な人工現実システム１００、１３０は、物理環境１２０が、現場に最初に駆けつける人たちのための訓練演習に参加しているユーザ１０２Ａ、１０２Ｂ、および１０２Ｃを含む使用事例を表す。この例の物理環境１２０は、事故の被害者１２６を含む。この訓練例ならびに図１Ａおよび１Ｂに示される物理環境１２０に対応する例示的な人工現実コンテンツは、以下で論じられる図２に関して示される。マルチプレイヤーゲームのための人工現実コンテンツも生成することができる。他の例示的な使用事例は、可能であり、本開示の範囲内である。

図１Ｃは、図１Ａおよび１Ｂで説明される人工現実システム１００、１３０のさらなる態様を示す。上述のように、人工現実システム１００は、ユーザのＨＭＤ１１２から身体位置情報を受信する。いくつかの態様では、身体位置情報は、骨格位置調整情報とすることができる。骨格位置調整情報は、ＨＭＤ１１２の視界の中の骨格点の２Ｄまたは３Ｄ位置調整情報を含むことができる。骨格位置調整情報は、物理環境１２０における、ＨＭＤ１１２のユーザおよび他のユーザの両方の情報を含むことができる。図１Ｃに示される例において、ユーザ１０２ＡのＨＭＤ１１２Ａは、破線１１６Ａによって示される視界を有する画像センサ１３８Ａを有する。ユーザ１０２Ｂ上のさまざまな骨格点１１８は、ＨＭＤ１１２Ａの画像センサ１３８Ａの視界１１６Ａの中にある。一例として、ＨＭＤ１１２Ａの画像センサ１３８Ａによって検出されるユーザ１０２Ｂの骨格点１１８は、ユーザ１０２Ｂの肩、肘、手関節、指関節、指先などを含んでもよい。

いくつかの態様において、身体位置情報は、身体セグメント位置情報とすることができる。身体セグメント情報は、ＨＭＤ１１２の視界の中の身体セグメントの２Ｄまたは３Ｄ位置調整情報を含むことができる。身体セグメントは、身体の領域、たとえば、参加者の頭、胴、腕、前腕、手、大腿、脚、および足とすることができる。身体セグメント位置情報は、物理環境１２０における、ＨＭＤ１１２のユーザおよび他のユーザの両方の情報を含むことができる。

いくつかの態様において、身体位置情報は、骨格位置情報および身体セグメント位置情報を含んでもよい。

身体位置情報は、ＨＭＤ１１２Ｂおよび１１２Ｃのための人工現実コンテンツを作成する際の人工現実アプリケーションによる使用のために、他の同じ場所にいる参加ＨＭＤ１１２（たとえば、ＨＭＤ１１２Ｂおよび１１２Ｃ）とともにＨＭＤ１１２Ａによって共有されてもよい。一例として、ＨＭＤ１１２Ｂを介してユーザ１０２Ｂに表示される人工現実コンテンツは、ＨＭＤ１１２Ａによって共有される骨格点１１８および／または身体セグメント１２２に関する情報を使用して生成することができ、骨格点１１８および／または身体セグメント１２２のいくつかは、（たとえば、ユーザ１１２Ｂの身体部分または他のオブジェクトによる妨害のために）ＨＭＤ１１２Ｂの画像キャプチャデバイス１３８Ｂまたは他のセンサで検出可能でなくてもよい。

他のユーザのＨＭＤによって提供される姿勢および身体位置情報は、第１のＨＭＤによって決定された骨格位置情報を埋めて、リファインすることができる。たとえば、ＨＭＤ１１２Ｂおよび１１２Ｃから受信する身体位置情報は、ＨＭＤ１１２Ａからの画像データからＨＭＤ１１２Ａ上で決定された身体位置情報を埋めることおよびリファインすることの両方のために、ＨＭＤ１１２Ａが使用することができる。各ＨＭＤ１１２は、同じ場所にいる参加者の他のＨＭＤから受信する２Ｄまたは３Ｄ身体位置情報に基づいて、姿勢および身体位置情報を独立して決定することができる。たとえば、ＨＭＤ１１２Ａは、ＨＭＤ１１２Ａ自身の画像キャプチャデバイスによって取得されたデータのみに基づいて、他の参加者の姿勢および身体位置情報を決定することはできなくてもよい。しかしながら、他の同じ場所にいるＨＭＤ（たとえば、ＨＭＤ１１２Ｂおよび１１２Ｃ）から受信する情報を使用して、ＨＭＤ１１２Ａは、自身および他の同じ場所にいるユーザの姿勢および身体位置情報を決定することができる。ＨＭＤ１１２Ａによって決定される身体位置情報および他の同じ場所にいるＨＭＤから受信する身体位置情報は、ＨＭＤ１１２Ａが自身および同じ場所にいる参加者の姿勢および身体位置情報を決定するために完全である必要はない。代わりに、ＨＭＤ１１２Ａは、他のＨＭＤから受信した２Ｄまたは３Ｄ完全または部分的な身体位置情報と組み合わせられた自身で決定した２Ｄまたは３Ｄ完全または部分的な身体位置情報を使用して、自身および同じ場所にいるユーザの３Ｄ姿勢および身体位置情報を正確に決定することができる。ＨＭＤ１１２Ｂおよび１１２Ｃは、他の参加ＨＭＤから受信した２Ｄまたは３Ｄ完全または部分的な身体位置情報を使用する類似の動作を実行して、自身および他の同じ場所にいる参加者の３Ｄ姿勢および身体位置情報を正確に決定することができる。したがって、本開示の技法は、人工現実システムによってコンテンツをレンダリングおよび表示するコンピュータ関連分野に、特定の技術的な改善を提供する。たとえば、本明細書で説明される人工現実システムは、いくつかの姿勢および／または骨格位置調整情報をユーザ１０２のＨＭＤ１１２が局所的に利用可能ではないときでさえ、ユーザ１０２の正確な姿勢および位置調整情報を生成およびレンダリングすることによって、人工現実アプリケーションのユーザ１０２などのユーザに、高品質の人工現実体験を提供することができる。

図２は、図１Ａおよび１Ｂの例示的な物理環境１２０に対応してもよい例示的な人工現実コンテンツ２００を示す。図２に示される態様の説明を支援するために、図１Ａおよび１Ｂの要素が参照される。上述のように、人工現実システム１００、１３０は、物理環境１２０内の１つまたは複数の物理オブジェクトに少なくとも部分的に基づいて、人工現実コンテンツ２００を生成するように設定される。ＨＭＤ１１２のそれぞれは、それぞれのＨＭＤ１１２の視点から人工現実コンテンツをレンダリングおよび出力するように設定される。たとえば、図２の人工現実コンテンツ２００は、訓練演習のオブザーバである、図１Ａおよび１Ｂのユーザ１０２ＣのＨＭＤ１１２Ｃの視点から生成およびレンダリングされる。よって、人工現実コンテンツ２００は、１つまたは複数のグラフィカルオブジェクトまたは仮想オブジェクトを含んでもよく、その一部または全部は、物理環境１２０内の物理オブジェクトに対応してもよい。図２に示される例において、人工現実コンテンツ２００は、それぞれ、図１Ａおよび１Ｂのユーザ１０２Ａ、１０２Ｂ、および１０２Ｃの物理身体に対応する、アバター２０２Ａ、２０２Ｂ、および２０２Ｃ（集合的に、「アバター２０２」）を含んでもよい。人工現実システム１００、１３０は、その対応しているユーザ１０２の物理身体の姿勢として同じまたは類似の姿勢または向きを有するアバター２０２のそれぞれを生成およびレンダリングするように設定されてもよい。たとえば、図２に示されるように、アバター２０２Ａおよび２０２Ｂは、片膝をついているように示され、それぞれが同様に片膝をついているユーザ１０２Ａおよび１０２Ｂにそれぞれ対応している。

さまざまな理由のために、ＨＭＤ１１２のいずれかは、その自身の視点から１つまたは複数の仮想オブジェクトまたはアバター２０２を正確にレンダリングすることができなくてもよい。１つの例において、ユーザのＨＭＤのディスプレイスクリーン上で人工現実アプリケーションによってレンダリングされる画像フレームは、特定の画像キャプチャデバイス１３８の視界１１６内のものより多くの画像データを含んでもよい。したがって、ＨＭＤ１１２は、そのそれぞれの画像キャプチャデバイス１３８によってキャプチャされないユーザ１０２の物理身体の一部または全部を識別できなくてもよい。たとえば、図１Ａに示されるように、ユーザ１０２Ａの右膝１１０Ａおよび右手１１４Ａは、画像キャプチャデバイス１３８Ａの視界１１６Ａの中にない、しかしながら、これらの物理要素は、ユーザ１０２ＡのＨＭＤ１１２Ａ上に表示される画像の中にやはりあってもよい。したがって、ＨＭＤ１１２Ａは、ディスプレイスクリーン上での表示のために、これらの物理身体部分の仮想表現を正確にレンダリングできなくてもよい。

他の例では、たとえ物理オブジェクトが特定の画像キャプチャデバイス１３８の視界１１６の中にあるとしても、人工現実システム１００、１３０は、物理オブジェクトの識別が困難であることがあり、それによって、人工現実システム１００が対応する仮想オブジェクトをレンダリングおよび出力することが阻止される。たとえば、たとえユーザ１０２Ａの右膝１１０Ａが画像キャプチャデバイス１３８Ａの視界１１６Ａの中にあったとしても、右膝１１０Ａは、画像認識ソフトウェアがそれをユーザ１０２の膝として識別することを可能とする識別特徴のない比較的大きい丸みのあるオブジェクトとして、キャプチャされた２Ｄイメージの中に現れる。したがって、ＨＭＤ１１２Ａは、ディスプレイスクリーン上に表示するためにこの身体部分の仮想表現を正確にレンダリングすることができない。

他の例では、ユーザ１０２の身体の一部または全体が、たとえば、別の身体部分を衣類（特に、ゆったりとしたもしくはだぶだぶの衣類）で覆うことで、または、他の干渉する物理オブジェクトで、特定の画像キャプチャデバイス１３８から大きく遮断されることがあり、それにより、人工現実システム１００のＨＭＤ１１２またはコンソール１０６は、それぞれの身体部分の相対姿勢、またはそれぞれの身体部分自体の存在さえ識別することができないことがあり、したがって、同じ姿勢を有する対応するアバター２０２をレンダリングすることができない。

本開示に従ういくつかの例において、人工現実システム１００、１３０は、ユーザ１０２のうちの１人または複数人の姿勢追跡および身体位置追跡を実行するように設定され、個々のユーザの姿勢または身体位置の一部または全部は、第１のユーザ自身のＨＭＤで追跡可能ではない。他のユーザのＨＭＤは、姿勢および身体位置情報を提供し、欠落した情報を埋めて、既存の情報をさらにリファインすることができ、それによって、同じ場所にいるユーザの姿勢および身体位置調整の正確なレンダリングが容易になる。よって、人工現実システム１００は、対応するユーザの物理身体と同じまたは類似の姿勢のユーザ１０２の仮想表現２０２であるアバターを有する人工現実コンテンツ２００を正確に生成することができる。

人工現実システム１００、１３０のＨＭＤ１１２またはコンソール１０６は、人工現実システム１００、１３０内の画像キャプチャデバイス１３８から２Ｄまたは３Ｄ画像データを受信するように設定される。受信した２Ｄまたは３Ｄ画像データに基づき、人工現実システム１００、１３０のＨＭＤ１１２またはコンソール１０６は、インサイドアウト追跡を介して、画像キャプチャデバイス１３８のそれぞれの相対位置を決定（たとえば、推定）するように設定することができる。インサイドアウト追跡は、ＨＭＤ１１２の内部またはＨＭＤ１１２上のカメラまたは他のセンサを使用して、ＨＭＤ１１２の外部のオブジェクトを追跡することを指す。たとえば、人工現実システム１００は、受信した画像データ内の２つ以上のオブジェクトを識別し、さまざまな画像における互いに対する２つ以上のオブジェクトの相対方位に基づいて、互いに対する画像キャプチャデバイス１３８間の相対距離および／または画像キャプチャデバイス１３８の向きを推定するように設定される。

図１Ａに示される例において、人工現実システム１００のＨＭＤ１１２Ａまたはコンソール１０６は、ＨＭＤ１１２Ｂおよび１１２Ｃからそれぞれ姿勢および身体位置情報を受信するように設定することができる。ＨＭＤ１１２Ａ（または、コンソール１０６）は、受信した姿勢および身体位置情報を、ＨＭＤ１１２Ａで局所的に利用可能である姿勢および身体情報とともに使用して、ユーザ１０２Ａの自身の身体および物理身体の四肢または他の身体部分の姿勢および身体位置情報を決定することができる。図１Ｂに示される例において、人工現実システム１３０のコンソール１０６は、画像キャプチャデバイス１３８Ａ、１３８Ｂ、および１３８Ｃ、ならびに、任意選択的に、外部カメラ１０２から画像データを受信し、ユーザ１０２Ａ、１０２Ｂおよび１０２Ｃの四肢または他の身体部分の画像、姿勢情報、および身体位置情報から識別するように設定することができる。

画像データのユーザ１０２Ａの識別された物理身体部分に基づき、人工現実システム１００、１３０は、ユーザ１０２Ａの３次元（３Ｄ）姿勢および身体位置調整を決定するようにさらに設定される。たとえば、ユーザ１０２Ａの１つまたは複数の識別された四肢の相対方位に基づき、人工現実システム１００、１３０は、ユーザ１０２Ａの四肢と同じ相対方位の四肢を有するアバター２０２Ａを構築するように設定されてもよい。

人工現実システム１００、１３０は、物理環境１２０内のユーザ１０２のそれぞれのために、このプロセスを繰り返してもよい。たとえば、図１Ａおよび１Ｂに示されるシナリオでは、人工現実システム１００、１３０のＨＭＤ１１２Ｂは、ユーザ１０２Ｂを示す、画像キャプチャデバイス１３８Ａおよび１３８Ｃによって提供される画像データから決定される姿勢および身体位置情報を受信してもよい。同様に、人工現実システム１００のＨＭＤ１１２Ｃは、ユーザ１０２Ｃを示す、画像キャプチャデバイス１３８Ａおよび１３８Ｂによって提供される画像データから決定される姿勢および身体位置情報を受信してもよい。さらに、人工現実システム１００のＨＭＤ１１２Ａは、画像キャプチャデバイス１３８Ａから受信した画像データに基づいて、ユーザ１０２Ｂおよび１０２Ｃ姿勢および身体位置情報を決定または識別してもよい。

人工現実システム１００のＨＭＤ１１２がユーザ１０２のそれぞれの姿勢および身体位置情報を識別すると、ＨＭＤ１１２は、人工現実システム１００の他の同じ場所にいるＨＭＤ１１２のそれぞれに、姿勢データおよび身体位置情報を転送（たとえば、無線でブロードキャスト）してもよい。受信した姿勢データおよび身体位置情報に基づき、各ＨＭＤ１１２は、それぞれのＨＭＤ１１２の視点から仮想または拡張現実環境を示す人工現実コンテンツ２００を生成および表示してもよい。人工現実コンテンツ２００は、不明瞭である、遮断されている、識別不能である、または、ユーザのそれぞれのＨＭＤ１１２の画像キャプチャデバイス１３８視界外であるユーザの物理身体１０２に対応するアバター２０２を含んでもよい。たとえば、図２に示されるように、これらの仮想オブジェクトのそれぞれの物理対応部分１１０Ａ、１１４Ａが画像キャプチャデバイス１３８Ａの視界外であっても（図１Ａおよび１Ｂ）、人工現実コンテンツ２００は、仮想膝２１０および仮想手２１４を含む。

図３Ａは、本開示の技法に従って動作するように設定された例示的なＨＭＤ１１２を示す図である。図３ＡのＨＭＤ１１２は、図１Ａおよび１ＢのＨＭＤ１１２のいずれの例でもあってもよい。ＨＭＤ１１２は、本明細書で説明される技法を実装するように設定されたスタンドアロン型モバイル人工現実システムとして動作してもよく、または、図１Ａ、１Ｂの人工現実システム１００、１３０などの人工現実システムの一部であってもよい。

本例では、ＨＭＤ１１２は、前部剛体と、ＨＭＤ１１２をユーザに固定するバンドとを含む。さらに、ＨＭＤ１１２は、人工現実コンテンツをユーザに提示するように設定された、内向き電子ディスプレイ３０３を含む。電子ディスプレイ３０３は、液晶ディスプレイ（ＬＣＤ）、量子ドットディスプレイ、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ブラウン管（ＣＲＴ）ディスプレイ、電子インク、あるいは、白黒、カラー、または、視覚出力を生成可能な任意の他のタイプのディスプレイなどの、任意の好適な表示技術であってもよい。いくつかの例において、電子ディスプレイは、ユーザのそれぞれの眼に別々の画像を提供するための立体ディスプレイである。いくつかの例では、ＨＭＤ１１２およびユーザの現在の視点に従って人工現実コンテンツをレンダリングするために、ＨＭＤ１１２の位置および向きを追跡するとき、ＨＭＤ１１２の前部剛体に対するディスプレイ３０３の知られている向きおよび位置が、局所起点とも呼ばれる基準系として使用される。他の例において、ＨＭＤ１１２は、眼鏡またはゴーグルなどの、他のウェアラブルヘッドマウントディスプレイの形態をとってもよい。

図３Ａにさらに示されるように、本例では、ＨＭＤ１１２は、ＨＭＤ１１２の現在の加速度を示すデータを出力する１つまたは複数の加速度計（慣性測定ユニットまたは「ＩＭＵ」とも呼ばれる）、ＨＭＤ１１２のロケーションを示すデータを出力するＧＰＳセンサ、さまざまなオブジェクトからのＨＭＤ１１２の距離を示すデータを出力するレーダまたはソナー、あるいは、ＨＭＤ１１２または物理環境内の他のオブジェクトのロケーションまたは向きの指示を提供する他のセンサなどの、１つまたは複数の動きセンサ３０６をさらに含む。さらに、ＨＭＤ１１２は、物理環境を表す画像データを出力するように設定された、ビデオカメラ、スチルカメラ、ＩＲスキャナ、ＵＶスキャナ、レーザスキャナ、ドップラーレーダスキャナ、深度スキャナなどの、集積画像キャプチャデバイス１３８Ａおよび１３８Ｂ（集合的に、「画像キャプチャデバイス１３８」）を含んでもよい。いくつかの態様において、画像キャプチャデバイス１３８は、電磁スペクトル（たとえば、ＩＲ光）の可視スペクトルおよび不可視スペクトルから、画像データをキャプチャすることができる。画像キャプチャデバイス１３８は、可視スペクトルから画像データをキャプチャする１つまたは複数の画像キャプチャデバイスと、不可視スペクトルから画像データをキャプチャする１つまたは複数の別々の画像キャプチャデバイスとを含んでもよく、または、これらは、同じ１つまたは複数の画像キャプチャデバイスと組み合わせられてもよい。より詳細には、画像キャプチャデバイス１３８は、通常、ＨＭＤ１１２の視点に対応する、画像キャプチャデバイス１３８の視界１３０Ａ、１３０Ｂの中にある物理環境のオブジェクトを表す画像データをキャプチャする。ＨＭＤ１１２は、内部電源と、感知したデータを処理し、ディスプレイ３０３上に人工現実コンテンツを提示するために、プログラム可能動作を実行するための動作環境を提供するための、１つまたは複数のプロセッサ、メモリ、およびハードウェアを有する１つまたは複数のプリント回路板とを含むことができる、内部制御ユニット３１０を含む。

１つの例では、本明細書で説明される技法に従って、制御ユニット３１０は、感知された画像データに基づいて、ＨＭＤ１１２のユーザの、および、物理環境１２０内の他の同じ場所にいるユーザの身体位置情報を決定するように設定される（図１Ａ～１Ｃ）。画像キャプチャデバイス１３８の視界内のとき、制御ユニット３１０は、画像データ内の身体位置情報を検出し、他のＨＭＤ１１２から受信した身体位置情報および他のセンサ情報とともに、局所的に決定された身体位置情報を使用して、ＨＭＤ１１２のユーザおよび他の同じ場所にいるユーザの姿勢および身体位置情報を決定することができる。

図３Ｂは、本開示の技法に従った、例示的なＨＭＤ１１２を示す図である。図３Ｂに示されるように、ＨＭＤ１１２は眼鏡の形態をとってもよい。図３ＢのＨＭＤ１１２は、図１Ａおよび１ＢのＨＭＤ１１２のいずれの例でもあってもよい。ＨＭＤ１１２は、図１Ａ、１Ｂの人工現実システム１００、１３０などの人工現実システムの一部であってもよく、または、本明細書で説明される技法を実装するように設定されたスタンドアロン型モバイル人工現実システムとして動作してもよい。

本例では、ＨＭＤ１１２は、ＨＭＤ１１２をユーザの鼻に載せることを可能にするブリッジを含む前部フレームと、ＨＭＤ１１２をユーザに固定するためにユーザの耳の上で延在するテンプル（または、「アーム」）とを備える眼鏡である。さらに、図３ＢのＨＭＤ１１２は、人工現実コンテンツをユーザに提示するように設定された、内向き電子ディスプレイ３０３Ａおよび３０３Ｂ（集合的に、「電子ディスプレイ３０３」）を含む。電子ディスプレイ３０３は、液晶ディスプレイ（ＬＣＤ）、量子ドットディスプレイ、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、ブラウン管（ＣＲＴ）ディスプレイ、電子インク、あるいは、白黒、カラー、または、視覚出力を生成可能な任意の他のタイプのディスプレイなどの、任意の好適な表示技術であってもよい。図３Ｂに示される例において、電子ディスプレイ３０３は、ユーザのそれぞれの眼に別々の画像を提供するための立体ディスプレイを形成する。いくつかの例において、ＨＭＤ１１２およびユーザの現在の視点に従って人工現実コンテンツをレンダリングするために、ＨＭＤ１１２の位置および向きを追跡するとき、ＨＭＤ１１２の前部フレームに対するディスプレイ３０３の知られている向きおよび位置が、局所起点とも呼ばれる基準系として使用される。

図３Ｂに示される例にさらに示されるように、ＨＭＤ１１２は、ＨＭＤ１１２の現在の加速度を示すデータを出力する１つまたは複数の加速度計（慣性測定ユニットまたは「ＩＭＵ」とも呼ばれる）、ＨＭＤ１１２のロケーションを示すデータを出力するＧＰＳセンサ、さまざまなオブジェクトからのＨＭＤ１１２の距離を示すデータを出力するレーダまたはソナー、あるいは、ＨＭＤ１１２または物理環境内の他のオブジェクトのロケーションまたは向きの指示を提供する他のセンサなどの、１つまたは複数の動きセンサ３０６をさらに含む、さらに、ＨＭＤ１１２は、物理環境を表す画像データを出力するように設定された、ビデオカメラ、レーザスキャナ、ドップラーレーダスキャナ、深度スキャナなどの、集積画像キャプチャデバイス１３８Ａおよび１３８Ｂ（集合的に、「画像キャプチャデバイス１３８」）を含んでもよい。ＨＭＤ１１２は、内部電源と、感知したデータを処理し、ディスプレイ３０３上に人工現実コンテンツを提示するために、プログラム可能動作を実行するための動作環境を提供するための、１つまたは複数のプロセッサ、メモリ、およびハードウェアを有する１つまたは複数のプリント回路板とを含むことができる、内部制御ユニット３１０を含む。

図４は、同じ場所にいるユーザに対する身体位置追跡を含む姿勢追跡が、本開示の技法に従った図１Ａの人工現実システム１００のＨＭＤ１１２Ａの例示的な例によって実行される例を示すブロック図である。図４の例において、ＨＭＤ１１２Ａは、ユーザのＨＭＤ１１２Ａから、ならびに、他の同じ場所にいるユーザのＨＭＤ１１２Ｂおよび１１２Ｃから受信される動きデータおよび画像データなどの感知データに基づき、本明細書で説明される技法に従って、ＨＭＤ１１２Ａのための身体位置追跡を含む姿勢追跡を実行する。

本例では、ＨＭＤ１１２Ａは、いくつかの例ではオペレーティングシステム４０５を実行するためのコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ４０２およびメモリ４０４を含み、オペレーティングシステム４０５は、たとえば埋め込み型リアルタイムマルチタスクオペレーティングシステム、または、他のタイプのオペレーティングシステムであってもよい。オペレーティングシステム４０５は、１つまたは複数のソフトウェア構成要素４１７を実行するためのマルチタスクオペレーティング環境を提供する。プロセッサ４０２は、キーボード、ゲームコントローラ、ディスプレイデバイス、画像キャプチャデバイス、他のＨＭＤなどのデバイスと通信するためのＩ／Ｏインターフェースを提供する、１つまたは複数のＩ／Ｏインターフェース４１５に結合される。さらに、１つまたは複数のＩ／Ｏインターフェース４１５は、ネットワーク１０４などのネットワークと通信するために、１つまたは複数の有線または無線のネットワークインターフェースコントローラ（ＮＩＣ）を含んでもよい。さらに、プロセッサ４０２は、電子ディスプレイ３０３、動きセンサ３０６、および画像キャプチャデバイス１３８に結合される。いくつかの例では、プロセッサ４０２およびメモリ４０４は別々の離散構成要素であってもよい。他の例において、メモリ４０４は、単一の集積回路内にプロセッサ４０２と同じ位置に配置されたオンチップメモリであってもよい。

ＨＭＤ１１２Ａのソフトウェアアプリケーション４１７は、全人工現実アプリケーションを提供するように動作する。本例では、ソフトウェアアプリケーション４１７は、アプリケーションエンジン４４０、レンダリングエンジン４２２、姿勢追跡器４２６、およびマッピングエンジン４４６を含む。

一般に、アプリケーションエンジン４４０は、人工現実アプリケーション、たとえばテレビ会議アプリケーション、ゲームアプリケーション、ナビゲーションアプリケーション、教育アプリケーション、トレーニングまたはシミュレーションアプリケーションなどを、提供および提示するための機能を含む。アプリケーションエンジン４４０は、たとえば、１つまたは複数のソフトウェアパッケージ、ソフトウェアライブラリ、ハードウェアドライバ、および／あるいは、ＨＭＤ１１２Ａ上で人工現実アプリケーションを実装するためのアプリケーションプログラミングインターフェース（ＡＰＩ）を含んでもよい。アプリケーションエンジン４４０による制御に応答して、レンダリングエンジン４２２は、ＨＭＤ１１２Ａのアプリケーションエンジン４４０によって、ユーザに表示するための３Ｄ人工現実コンテンツを生成する。

アプリケーションエンジン４４０およびレンダリングエンジン４２２は、姿勢追跡器４２６によって決定される、ＨＭＤ１１２Ａの現在の姿勢、および基準系内の利用可能な身体位置情報、通常はＨＭＤ１１２Ａの視点に従って、ユーザ１０２に表示するための人工コンテンツを構築する。現在の視点、および、他のユーザのＨＭＤ１１２Ｂおよび１１２Ｃから受信する姿勢情報および身体位置調整情報に基づいて、レンダリングエンジン４２２は、ユーザ１０２の実世界３Ｄ環境上に、場合によっては少なくとも部分的にオーバーレイされてもよい３Ｄの人工現実コンテンツを構築する。本プロセスの間、姿勢追跡器４２６は、ユーザ１０２による動き、および／または、ユーザ１０２に関する特徴追跡情報などの、実世界環境内の３Ｄ情報をキャプチャするために、画像キャプチャデバイス１３８および動きセンサ１０６からの画像データなどのＨＭＤ１１２Ａから受信するデータ、たとえば、移動情報およびユーザコマンドなどに関して動作する。姿勢追跡器４２６は、他の同じ場所にいるユーザのＨＭＤ１１２Ｂおよび１１２Ｃ上の画像キャプチャデバイスおよびセンサにより２Ｄおよび３Ｄ情報をキャプチャする、他の同じ場所にいるユーザの同様に設定されたＨＭＤ１１２Ｂおよび１１２Ｃから受信する類似のデータに関しても動作する。ローカルＨＭＤ１１２Ａ上に収集されるデータ、ならびに他の同じ場所にいるユーザのＨＭＤ１１２Ｂおよび１１２Ｃから受信するデータの両方に基づいて、姿勢追跡器４２６は、ＨＭＤ１１２Ａの基準系内のＨＭＤ１１２Ａのユーザの現在の姿勢および身体位置を決定し、現在の姿勢および骨格位置調整情報に従って、ユーザ１０２に表示するための人工現実コンテンツを構築する。

姿勢追跡器４２６は、身体位置追跡器４５２と、姿勢インテグレータ４４２とを含む。身体位置追跡器４５２は、画像データに現れる同じ場所にいるユーザの身体位置調整を決定するために、画像キャプチャデバイス１３８を介して受信した画像データおよび他のセンサデータを分析する。いくつかの態様では、身体位置追跡器４５２は、さまざまな身体位置を認識するようにトレーニングされた機械学習モデルを通して、画像データを処理することができる。たとえば、いくつかの態様では、機械学習モデルは、膝、手首、肩などの関節を含む骨格位置を認識するようにトレーニングされてもよい。いくつかの態様では、機械学習モデルは、頭、首、胴、腕、前腕、大腿、脚、および足セグメントなどの身体セグメントを認識するようにトレーニングされてもよい。いくつかの態様では、機械学習モデルは、骨格点および身体セグメントを両方とも認識するようにトレーニングされてもよい。身体位置追跡器４５２は、ＨＭＤ１１２Ａのユーザ、および、画像データに現れる他の同じ場所にいるユーザの身体位置情報を決定するために、画像データを分析することができる。身体位置情報は、身体位置追跡器４５２によって検出された身体位置のための、おそらく、機械学習モデルによって割り振られる、信頼水準を含むことができる。

姿勢インテグレータ４４２は、ＨＭＤ１１２Ａに関して決定された姿勢および身体位置情報を、他の同じ場所にいるＨＭＤ（たとえば、ＨＭＤ１１２Ｂおよび１１２Ｃ）に関して決定された姿勢および身体位置情報と一体化する。姿勢インテグレータ５４２は、ネットワーク１０４を介して、同じ場所にいるＨＭＤから２Ｄまたは３Ｄ姿勢および身体位置情報を受信することができる。２Ｄまたは３Ｄ姿勢および身体位置情報は、同じ場所にいるユーザの姿勢および身体位置に関する部分的な情報、すなわち、不完全な情報であってもよい。次いで、姿勢インテグレータ４４２は、ＨＭＤ１１２Ａの視界の中のすべての同じ場所にいるユーザの正確な姿勢および身体位置情報を解析するために、局所的に決定された姿勢および身体位置情報を、同じ場所にいるＨＭＤから受信した姿勢および身体位置情報と一体化することができる。いくつかの態様において、姿勢および身体位置の正確さは、さまざまな同じ場所にいるユーザの異なる角度からとられた画像データから決定された身体位置情報を入手することで向上させることができる。さらに、姿勢および身体位置情報の正確さは、ＨＭＤ１１２Ａが局所的に利用可能ではない身体位置情報を埋めるまたは増強するために使用することができる身体位置情報を入手することで向上させることができる。たとえば、ＨＭＤ１１２Ａは、ＨＭＤ１１２Ａに近い画像データおよび他のデータから決定された姿勢および身体位置情報を埋めるまたは増強するために、他のＨＭＤ（たとえば、ＨＭＤ１１２Ｂおよび／またはＨＭＤ１１２Ｃ）から受信した姿勢および身体位置情報を使用することができる。

姿勢インテグレータ４４２は、同じ場所にいるユーザの姿勢および身体位置を解析するために、さまざまなデータを使用することができる。たとえば、いくつかの態様において、姿勢インテグレータ４４２は、どの身体位置データを使用するか決定するために、または、身体位置データの影響に重み付けするために、身体位置情報と関連付けられた信頼水準を使用してもよい。

いくつかの態様において、ＨＭＤ１１２Ａは、同じ場所にいるＨＭＤ１１２から受信したマッピング情報を使用して、物理３Ｄ環境のマッピングデータ４４８を生成するように設定されたマッピングエンジン４４６を含んでもよい。マッピングエンジン４４６は、たとえば、ＨＭＤ１１２の局所的な姿勢および／またはＨＭＤ１１２の追跡情報に関して、画像キャプチャデバイス１３８によってキャプチャされた画像の形態でマッピング情報を受信してもよい。マッピングエンジン４４６は、画像のシーンのトポグラフィを決定するためのマップ点を識別するために画像データを処理してもよく、ＨＭＤ１１２Ａが動作する物理３Ｄ環境の領域を記述するマップデータ４４８を生成するためにマップ点を使用してもよい。マッピングエンジン４４６は、同じ場所にいるＨＭＤ１１２が経時的に動作する領域のマップを連続的に生成してもよい。

骨格位置追跡器４５２および姿勢インテグレータ４４２を含む、姿勢追跡器４２６の動作のさらなる詳細は、図６に関して以下で提供される。

図５は、同じ場所にいるユーザに対する姿勢追跡および身体位置追跡が、図１Ｂの人工現実システムのコンソールおよびＨＭＤの例示的な例によって実行される例示的実施態様を示すブロック図である。図５の例において、コンソール１０６は、ＨＭＤ１１２Ａ、１１２Ｂ、および１１２Ｃから受信される画像および動きデータなどの感知データに基づき、本明細書で説明される技法に従って、ＨＭＤ１１２Ａ、１１２Ｂ、および１１２Ｃのための姿勢追跡およびレンダリングを実行する。

図４に類似の本例において、ＨＭＤ１１２Ａは、いくつかの例ではオペレーティングシステム４０５を実行するためのコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ４０２およびメモリ４０４を含み、オペレーティングシステム４０５は、たとえば埋め込み型リアルタイムマルチタスクオペレーティングシステム、または、他のタイプのオペレーティングシステムであってもよい。オペレーティングシステム４０５は、１つまたは複数のソフトウェア構成要素５２７を実行するためのマルチタスクオペレーティング環境を提供する。さらに、プロセッサ４０２は、電子ディスプレイ３０３、動きセンサ３０６、および画像キャプチャデバイス１３８に結合される。ＨＭＤ１１２Ｂおよび１１２Ｃは、ＨＭＤ１１２Ａと同様に設定されてもよい。

一般に、コンソール１０６は、姿勢追跡およびＨＭＤ１１２のためのコンテンツレンダリングを実行するために、カメラ１０２（図１Ｂ）および／またはＨＭＤ１１２から受信した画像および骨格位置情報を処理するコンピューティングデバイスである。いくつかの例において、コンソール１０６は、ワークステーション、デスクトップコンピュータ、ラップトップ、またはゲームシステムなどの、単一のコンピューティングデバイスである。いくつかの例において、プロセッサ５１２および／またはメモリ５１４などの、コンソール１０６の少なくとも一部は、クラウドコンピューティングシステム、データセンタ、あるいは、インターネット、別のパブリックまたはプライベート通信ネットワーク、たとえば、ブロードバンド、セルラ方式、Ｗｉ－Ｆｉ、および／または、コンピューティングシステム、サーバ、およびコンピューティングデバイスの間でデータを送信するための他のタイプの通信ネットワークなどのネットワークにまたがって分散されてもよい。

図５の例において、コンソール１０６は、いくつかの例ではオペレーティングシステム５１６を実行するためのコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ５１２およびメモリ５１４を含み、オペレーティングシステム５１６は、たとえば埋め込み型リアルタイムマルチタスクオペレーティングシステム、または、他のタイプのオペレーティングシステムであってもよい。オペレーティングシステム５１６は、１つまたは複数のソフトウェア構成要素５１７を実行するためのマルチタスクオペレーティング環境を提供する。プロセッサ５１２は、キーボード、ゲームコントローラ、ディスプレイデバイス、画像キャプチャデバイス、ＨＭＤなどの外部デバイスと通信するためのＩ／Ｏインターフェースを提供する、１つまたは複数のＩ／Ｏインターフェース５１５に結合される。さらに、１つまたは複数のＩ／Ｏインターフェース５１５は、ネットワーク１０４などのネットワークと通信するために、１つまたは複数の有線または無線のネットワークインターフェースコントローラ（ＮＩＣ）を含んでもよい。プロセッサ４０２、５１２のそれぞれは、マルチコアプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または等価の離散または集積論理回路要素のうちの、いずれか１つまたは複数を備えることができる。メモリ４０４、５１４は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、およびフラッシュメモリなどの、データおよび実行可能ソフトウェア命令を記憶するための、任意の形態のメモリを備えてもよい。

コンソール１０６のソフトウェアアプリケーション５１７は、全人工現実アプリケーションを提供するように動作する。本例では、ソフトウェアアプリケーション５１７は、アプリケーションエンジン５２０、レンダリングエンジン５２２、姿勢追跡器５２６、およびマッピングエンジン５４６を含む。

一般に、アプリケーションエンジン５２０は、人工現実アプリケーション、たとえばテレビ会議アプリケーション、ゲームアプリケーション、ナビゲーションアプリケーション、教育アプリケーション、トレーニングまたはシミュレーションアプリケーションなどを、提供および提示するための機能を含む。アプリケーションエンジン５２０は、たとえば、１つまたは複数のソフトウェアパッケージ、ソフトウェアライブラリ、ハードウェアドライバ、および／または、コンソール１０６上で人工現実アプリケーションを実装するためのアプリケーションプログラムインターフェース（ＡＰＩ）を含んでもよい。アプリケーションエンジン５２０による制御に応答して、レンダリングエンジン５２２は、ＨＭＤ１１２（たとえば、ＨＭＤ１１２Ａ、１１２Ｂ、および１１２Ｃ）のアプリケーションエンジン４４０によって、ユーザに表示するための３Ｄ人工現実コンテンツを生成する。

アプリケーションエンジン５２０およびレンダリングエンジン５２２は、姿勢追跡器５２６によって決定される、ユーザのそれぞれのＨＭＤ１１２の現在の姿勢情報および基準系内の身体位置情報、通常はそれぞれの同じ場所にいるＨＭＤ１１２の視点に従って、ユーザ１０２のそれぞれに表示するための人工コンテンツを構築する。現在の視点に基づいて、レンダリングエンジン５２２は、ユーザ１０２の実世界３Ｄ環境上に、場合によっては少なくとも部分的にオーバーレイされてもよい３Ｄの人工現実コンテンツを構築する。本プロセスの間、姿勢追跡器５２６は、ユーザ１０２による動き、および／または、ユーザ１０２に関する身体位置追跡情報などの、実世界環境内の３Ｄ情報をキャプチャするために、ＨＭＤ１１２上のセンサからの画像データ、および、いくつかの例では、外部カメラなどの任意の外部センサ９０（図１Ｂ）からのデータなどの、それぞれの同じ場所にいるＨＭＤ１１２から受信する感知データに関して動作する。感知データに基づいて、姿勢追跡器５２６は、それぞれのＨＭＤ１１２の基準系内のそれぞれの同じ場所にいるＨＭＤ１１２の現在の姿勢を決定し、現在の姿勢および身体位置情報に従って、ユーザ１０２に表示するために、１つまたは複数のＩ／Ｏインターフェース４１５、５１５を介してＨＭＤ１１２に通信するための人工現実コンテンツを構築する。

図４に対して上で説明された姿勢追跡器４２６と同様に、姿勢追跡器５２６は、身体位置追跡器５５２と、姿勢インテグレータ５４２とを含む。身体位置追跡器５５２は、画像データに現れる同じ場所にいるユーザの身体位置調整を決定するために、画像キャプチャデバイスを介して受信した画像データおよび他のセンサデータを分析する。いくつかの態様では、身体位置追跡器５５２は、骨格位置および身体セグメント位置を含む、さまざまな身体位置を認識するようにトレーニングされた機械学習モデルを通して、画像データを処理することができる。身体位置追跡器５５２は、画像データに現れる同じ場所にいるユーザ１０２の身体位置データを決定するために、それぞれの同じ場所にいるＨＭＤから受信した画像データを分析することができる。身体位置データは、身体位置追跡器５５２によって検出された身体位置のための、おそらく、機械学習モデルによって割り振られる、信頼水準を含むことができる。

姿勢インテグレータ５４２は、姿勢追跡器５２６および身体位置追跡器５５２によって決定された姿勢および身体位置情報位置情報を一体化する。次いで、姿勢インテグレータ５４２は、各ＨＭＤ１１２の視界の中のすべての同じ場所にいるユーザの正確な姿勢および身体位置情報を解析するために、同じ場所にいるＨＭＤのそれぞれの姿勢および身体位置情報を一体化することができる。いくつかの態様において、姿勢および身体位置の正確さは、さまざまな同じ場所にいるユーザの異なる角度からとられた画像データを入手することで向上させることができる。

姿勢インテグレータ５４２は、同じ場所にいるユーザの姿勢および骨格位置を解析するために、さまざまなデータを使用することができる。たとえば、いくつかの態様において、姿勢インテグレータ５４２は、どの骨格位置データを使用するか決定するために、または、骨格位置データの影響に重み付けするために、身体位置と関連付けられた信頼水準を使用してもよい。

いくつかの態様において、コンソール１０６は、同じ場所にいるＨＭＤ１１２から受信したマッピング情報を使用して、物理３Ｄ環境のマッピングデータ４４８を生成するように設定されたマッピングエンジン５４６を含んでもよい。マッピングエンジン５４６は、たとえば、ＨＭＤ１１２の画像キャプチャデバイス１３８によってキャプチャされた画像および／またはＨＭＤ１１２の追跡情報の形態でマッピング情報を受信してもよい。マッピングエンジン５４６は、画像のシーンのトポグラフィを決定するためのマップ点を識別するために画像を処理してもよく、同じ場所にいるＨＭＤ１１２が動作する物理３Ｄ環境の領域を記述するマップデータ４４８を生成するためにマップ点を使用してもよい。マッピングエンジン５４６は、同じ場所にいるＨＭＤ１１２が経時的に動作する領域のマップを連続的に生成してもよい。

骨格位置追跡器５５２および姿勢インテグレータ５４２を含む、姿勢追跡器５２６の動作のさらなる詳細は、図７に関して以下で提供される。

図６は、本開示の態様に従った、ＨＭＤの同じ場所にいるユーザの姿勢および身体位置を決定するための方法の例示的な動作を示すフローチャート６００である。フローチャート６００で説明される例示的な動作のいくつかは、定期的にまたはイベントに応じて実行することができる。たとえば、例示的な動作は、人工現実システムにＨＭＤ１１２上に提示するための表示フレームをレンダリングさせる表示フレーム生成イベントに対する応答の一部として実行することができる。以下で説明される動作は、それぞれの同じ場所にいるユーザのそれぞれのＨＭＤ１１２上のアプリケーションエンジンによって少なくとも部分的に提供される、マルチユーザ人工現実体験に参加している同じ場所にいるユーザの各ＨＭＤ１１２によって実行することができる。以下の動作は、同じ場所にいるユーザの１つのＨＭＤ１１２の目線から説明される。

ＨＭＤ１１２上のアプリケーションエンジンは、ＨＭＤ１１２上のマルチユーザ人工現実アプリケーションを初期化することができる（６０２）。いくつかの態様において、ＨＭＤ１１２がアプリケーションを実行する最初のＨＭＤである場合、アプリケーションは無線ネットワークを確立してもよい。たとえば、アプリケーションは、アプリケーションに参加している他の同じ場所にいるユーザのＨＭＤ１１２と通信に使用するために、アドホック無線ネットワークを確立してもよい。ＨＭＤ１１２がアプリケーションを実行する最初のＨＭＤではない場合、ＨＭＤは、すでに確立されたネットワークに参加してもよい。いくつかの態様において、アプリケーション初期化手順は、姿勢および身体位置情報をアプリケーションの他の同じ場所にいるユーザのＨＭＤと共有するために、ユーザから許可を得ることも含むことができる。さらなる初期化手順は、マッピングエンジン４４６が、ユーザの位置および他の同じ場所にいるユーザの位置の推定値を有するマップデータ４４８を初期化することを含むことができる。

ＨＭＤ１１２の姿勢追跡器４２６は、ＨＭＤ１１２の１つまたは複数の搭載された画像キャプチャデバイス１３８、および、おそらくは他のセンサから受信する画像データおよび他のセンサデータに現れるユーザおよび同じ場所にいるユーザの２Ｄまたは３Ｄ姿勢および身体位置情報を決定することができる（６０４）。いくつかの態様では、画像データに現れているユーザの身体位置は、骨格位置（たとえば、肘、手首、肩、膝、股関節などの関節）などのさまざまな身体位置、ならびに／または、身体セグメント（たとえば、頭、首、胴、腕、前腕、大腿、脚など）を認識するようにトレーニングされた機械学習モデルに画像データを通すことによって決定することができる。身体位置情報は、位置推定値の機械学習モデルの信頼性を示す各関節、セグメント、または他の位置ごとの信頼値と関連付けられてもよい。身体位置認識の他の方法は、可能であり、本開示の範囲内である。いくつかの態様では、身体位置は、身体位置を識別するために従来のシステムで使用される、関節、セグメント、または他の身体部分に付けられるマーカまたは他のデバイスの助けを借りずに決定される。

次いで、ＨＭＤ１１２は、他の同じ場所にいるユーザとの共同マッピング空間におけるユーザの位置を決定することができる（６０６）。たとえば、マッピングエンジン４４６は、ユーザおよび他の同じ場所にいるユーザの相対位置を決定するために、画像データおよび他のセンサデータを使用してもよい。次いで、ＨＭＤ１１２は、他の同じ場所にいるユーザの位置に対して、共有マップにおけるユーザの位置を較正することができる。

ＨＭＤ１１２は、人工現実アプリケーションに参加している他の同じ場所にいるＨＭＤによる使用のために、ネットワークを通して、ＨＭＤ１１２の視界（および、関連する信頼値）の中である、ユーザのＨＭＤ１１２によって決定された姿勢および身体位置情報を送信することができる（６０８）。送信される姿勢および身体位置情報は、２Ｄまたは３Ｄ情報であってもよい。さらに、送信される姿勢および身体位置情報は、不完全情報であってもよい。たとえば、身体位置情報は、それぞれのＨＭＤ１１２の視界の中にある関節またはセグメントに関して提供されてもよく、それぞれのＨＭＤ１１２の視界の中にない関節またはセグメントに関するデータを省いてもよい。姿勢および身体位置情報は、共有マップに対して提供されてもよい。いくつかの態様では、姿勢および身体位置情報は、共有マップ内の相対または絶対位置を備える情報の完全なセットであってもよい。いくつかの態様では、前フレームから変わった情報のみ送信される。

同様に、ＨＭＤ１１２は、人工現実アプリケーションに参加している他の同じ場所にいるＨＭＤから、姿勢および身体位置情報を受信することができる（６１０）。受信した姿勢および身体位置情報は、他の同じ場所にいるＨＭＤによって決定される、ＨＭＤ１１２のユーザの姿勢および身体位置情報を含んでもよく、同じ場所にいるＨＭＤがそれらが提供する値において有する信頼性を表す、関連する信頼水準を含んでもよい。身体位置情報は不完全であってもよい。たとえば、ＨＭＤ１１２から受信する身体情報は、対応するＨＭＤ１１２の視界に中である関節および／または身体セグメントの情報のみ含んでもよい。受信する姿勢および身体位置情報は、２Ｄまたは３Ｄ情報である可能性がある。

ユーザのＨＭＤ１１２上の姿勢インテグレータ４４２は、同じ場所にいるユーザの解析された姿勢および身体位置情報を決定するために、局所的に決定された姿勢および身体位置情報を、他の同じ場所にいるユーザのＨＭＤ１１２から受信した姿勢および身体位置情報と一体化することができる（６１２）。姿勢および身体位置情報の一体化は、さまざまな方法で実行することができる。たとえば、いくつかの態様では、他の同じ場所にいるＨＭＤ１１２から受信した姿勢および身体位置情報の信頼水準は、一体化を実行するＨＭＤ１１２のユーザの解析された姿勢および身体位置情報を決定するために使用することができる。たとえば、ＨＭＤ１１２Ａは、ＨＭＤ１１２Ａのユーザ１０２Ａの解析された身体位置情報を決定してもよい。いくつかの態様では、最も高い信頼水準を有する身体位置情報を、解析された身体位置として使用することができる。いくつかの態様では、解析された身体位置情報は、同じ場所にいるユーザのＨＭＤ１１２から受信した身体位置情報の組合せに基づくことができる。たとえば、各ＨＭＤの１１２の身体位置情報の信頼水準は、解析された身体位置へのそれぞれのＨＭＤの寄与を重み付けするために使用することができる。いくつかの態様では、優先権またはより大きい重みが、ユーザのＨＭＤ１１２により近い身体位置情報に与えられてもよい。いくつかの態様では、ＨＭＤ１１２Ａは、他の同じ場所にいるユーザ（たとえば、ＨＭＤ１１２Ｂおよび１１２Ｃのユーザ）の解析された身体位置情報も決定してもよい。ＨＭＤ１１２Ａは、他のユーザの解析された身体位置情報を決定するために、上述の技法のうちのいずれの技法を使用してもよい。

特に、多くのユーザがマルチユーザ人工現実アプリケーションに参加している場合に、処理リソースに過度な負担をかけることを避けるために、さまざまな技法を使用することができる。いくつかの態様では、姿勢一体化プロセスの間に、一部のデータを除去してもよい。たとえば、所定のまたは設定可能な閾値を超えて位置するユーザから受信した姿勢および身体位置情報は、無視してもよい。近いＨＭＤから得られるデータは、より遠く離れたＨＭＤからのデータよりも信頼性が高いので、これは望ましいことがある。同様に、いくつかの態様では、上位ｎ位までの近さのユーザから受信する姿勢および身体位置情報は使用してもよく、一方、上位ｎ位までの近さではないユーザからの情報は無視してもよい。ｎの値は、存在する同じ場所にいるユーザの数に応じて変えてもよい。データ値の変化が所定のまたは設定可能な閾値を超えたときのみ一体化動作を実行するために、さらなる技法を使用することができる。

次いで、ＨＭＤ１１２は、ネットワーク１０４を介して、他の同じ場所にいるＨＭＤにユーザおよび同じ場所にいるユーザの解析された３Ｄ姿勢および身体位置情報を送信する（６１４）。ＨＭＤ１１２も、他の同じ場所にいるＨＭＤから解析された３Ｄ姿勢および身体位置情報を受信してもよい（６１６）。

ＨＭＤ１１２の上のレンダリングエンジン４２２は、解析された姿勢および身体位置情報に基づいて、人工現実コンテンツをレンダリングすることができる（６１８）。たとえば、レンダリングエンジンは、ユーザのアバターが、ユーザと関連付けられた解析された身体位置情報によって決定されたのと同じ位置でポーズをとるように、関連するユーザの解析された身体位置情報上にアバター特性をマッピングすることができる。アバター特性は、衣類、身体形状、皮膚の色調、および他の特性を含むことができる。

図７は、本開示のさらなる態様に従った、ＨＭＤの同じ場所にいるユーザに対する姿勢および骨格位置を決定するための方法の例示的な動作を示すフローチャート７００である。図６のフローチャート６００と同様に、フローチャート６００で説明される例示的な動作のいくつかは、定期的にまたはイベントに応じて実行することができる。たとえば、例示的な動作は、人工現実システムにＨＭＤ１１２上に提示するための表示フレームをレンダリングさせる表示フレーム生成イベントに対する応答の一部として実行することができる。以下で説明される動作の一部または全部は、少なくとも部分的に、コンソール１０６およびそれぞれの同じ場所にいるユーザのそれぞれのＨＭＤ１１２上のアプリケーションエンジンによって提供されるマルチユーザ人工現実体験に参加している同じ場所にいるユーザのＨＭＤ１１２と通信するコンソール１０６で実行することができる。

コンソール１０６上のアプリケーションエンジンは、マルチユーザ人工現実アプリケーションを初期化することができる（７０２）。いくつかの態様では、コンソール１０６は無線ネットワークを確立してもよい。たとえば、アプリケーションは、アプリケーションに参加している他の同じ場所にいるユーザのＨＭＤ１１２と通信に使用するために、アドホック無線ネットワークを確立してもよい。いくつかの態様では、アプリケーション初期化手順は、姿勢および骨格位置情報をアプリケーションの他の同じ場所にいるユーザのＨＭＤと共有するために、ユーザから許可を得ることも含むことができる。さらなる初期化手順は、マッピングエンジン５４６が、参加している同じ場所にいるユーザの位置の現在の推定値を有するマップデータ４４８を初期化することを含むことができる。

コンソール１０６の姿勢追跡器５２６は、同じ場所にいるユーザの姿勢および身体位置情報を決定することができる（７０４）。いくつかの態様では、コンソール１０６は、同じ場所にいるユーザのＨＭＤ１１２のそれぞれから画像データを受信し、（もしあれば）ＨＭＤ１１２から受信した他のデータとともに画像データを使用して、画像データおよび他のセンサデータに現れる同じ場所にいるユーザの姿勢および身体位置情報を決定してもよい。いくつかの態様では、画像データに現れているユーザの身体位置は、骨格点（たとえば、肘、手首、肩、膝、股関節などの関節）などのさまざまな身体位置、ならびに／または、身体セグメント（たとえば、頭、首、胴、腕、前腕、手、大腿、脚、足など）を認識するようにトレーニングされた機械学習モデルに画像データを通すことによって決定することができる。身体位置情報は、位置推定値の機械学習モデルの信頼性を示す各関節、身体セグメント、または他の位置ごとの信頼値と関連付けられてもよい。身体位置認識の他の方法は、可能であり、本開示の範囲内である。いくつかの態様では、身体位置情報は、身体位置を識別するために従来のシステムで使用される、関節または他の身体部分に付けられるマーカまたは他のデバイスの助けを借りずに、姿勢追跡器５２６によって決定される。

いくつかの態様では、同じ場所にいるユーザのＨＭＤ１１２の一部または全部は、自身の姿勢および身体位置情報を決定してもよい。このような態様では、コンソールは、それぞれのＨＭＤ１１２から姿勢および身体位置情報を受信してもよく、同じ場所にいるＨＭＤ１１２の一部または全部から画像データを受信しなくてもよい。姿勢および身体位置情報は、２Ｄまたは３Ｄ情報であってもよい。

コンソール１０６は、共同マッピング空間における同じ場所にいるユーザの位置を決定することができる（７０６）。たとえば、マッピングエンジン５４６は、同じ場所にいるユーザの相対位置を決定するために、ＨＭＤ１１２から受信する画像データ、姿勢データ、および／または他のセンサデータを使用してもよい。次いで、コンソール１０６は、他の同じ場所にいるユーザの位置に対して、共有マップにおけるユーザの位置を較正することができる。

コンソール１０６の姿勢インテグレータ５４２は、同じ場所にいるユーザの解析された姿勢および身体位置情報を決定するために、同じ場所にいるユーザのＨＭＤ１１２からの画像データ、姿勢情報、身体位置調整情報、および／またはセンサデータに基づいて決定された姿勢および身体位置情報を一体化することができる（７０８）。姿勢および身体位置情報の一体化は、図６に対して上で論じられたように実行することができる。たとえば、いくつかの態様では、姿勢および身体位置情報の信頼水準は、解析された姿勢および身体位置情報を決定するために使用することができる。いくつかの態様では、最も高い信頼水準を有する身体位置情報を、解析された身体位置情報として使用することができる。いくつかの態様では、同じ場所にいるユーザのＨＭＤ１１２から受信した身体位置情報を、解析された身体位置情報を決定するために使用されるそれぞれのＨＭＤ１１２からの情報を重み付けするために、信頼水準を使用して組み合わせることができる。

コンソール１０６上のレンダリングエンジン５２２は、解析された姿勢および身体位置情報に基づいて、ＡＲコンテンツをレンダリングすることができる（７１０）。たとえば、レンダリングエンジン５２２は、ユーザのアバターが、ユーザと関連付けられた解析された身体位置情報によって決定されたのと同じ位置でポーズをとるように、関連するユーザの解析された身体位置情報上にアバター特性をマッピングすることができる。アバター特性は、衣類、身体形状、皮膚の色調、および他の特性を含むことができる。

本開示で説明される技法は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装可能である。たとえば、説明される技法のさまざまな態様は、１つまたは複数のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または任意の他の等価の集積または離散論理回路要素、ならびに、このような構成要素の任意の組合せを含む、１つまたは複数のプロセッサ内に実装されてもよい。「プロセッサ」または「処理回路要素」という用語は、一般に、単独の、あるいは他の論理回路要素または任意の他の等価の回路要素と組み合わせた、前述の論理回路要素のいずれかを指してもよい。ハードウェアを備える制御ユニットはまた、本開示の技法のうちの１つまたは複数を実行してもよい。

このようなハードウェア、ソフトウェア、およびファームウェアは、本開示で説明されるさまざまな動作および機能をサポートするために、同じデバイス内または別々のデバイス内に実装されてもよい。加えて、説明されるユニット、モジュール、または構成要素のうちのいずれかは、まとめて実装されてもよく、または、離散しているが相互運用可能な論理デバイスとして別々に実装されてもよい。モジュールまたはユニットとしての異なる特徴の説明は、異なる機能的態様を強調することが意図され、このようなモジュールまたはユニットが別々のハードウェアまたはソフトウェア構成要素によって具体化されなければならないことを必ずしも示唆していない。むしろ、１つまたは複数のモジュールまたはユニットに関連付けられた機能は、別々のハードウェアまたはソフトウェア構成要素によって実行されてもよく、あるいは、共通または別々のハードウェアまたはソフトウェア構成要素内に組み込まれてもよい。

本開示で説明される技法はまた、命令を含む、コンピュータ可読記憶媒体などの、コンピュータ可読媒体内で具体化または符号化されてもよい。コンピュータ可読記憶媒体に組み込まれたまたは符号化された命令は、たとえば命令が実行されたとき、プログラマブルプロセッサまたは他のプロセッサに方法を実行させることができる。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピーディスク、カセット、磁気媒体、光媒体、または他のコンピュータ可読媒体を含んでもよい。

本明細書においてさまざまな例を用いて説明したように、本開示の技法は、人工現実システムを含んでもよく、または、人工現実システムに関連して実装されてもよい。説明されたように、人工現実は、ユーザに提示する前に何らかの様式で調整された現実の形態であり、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいは、それらの何らかの組合せおよび／または派生物を含んでもよい。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（たとえば、実世界写真）と組み合わせて生成されたコンテンツを含んでもよい。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含んでもよく、そのうちのいずれかを単一チャネルまたは複数チャネル（視聴者に対して３次元効果を生成するステレオビデオなど）で提示することができる。加えて、いくつかの実施形態では、人工現実は、たとえば、人工現実でコンテンツを作成するために使用される、および／または、人工現実で使用される（たとえば、活動を行う）、アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せに関連付けられてもよい。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントデバイス（ＨＭＤ）、スタンドアロン型ＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、人工現実コンテンツを１人または複数人の視聴者に提供することが可能な任意の他のハードウェアプラットフォームを含む、さまざまなプラットフォームに実装されてもよい。

Claims (15)

1. 第１のヘッドマウントディスプレイ（ＨＭＤ）の画像キャプチャデバイスから、物理環境を表す第１の画像データを取得することと、
   前記第１のＨＭＤの位置および向きを表す第１のＨＭＤ姿勢を決定することと、
   前記第１の画像データから、前記物理環境内の１つまたは複数の第２のＨＭＤのユーザの第１の身体位置情報を決定することと、
   前記第１のＨＭＤによって、前記１つまたは複数の第２のＨＭＤによる使用のための前記第１のＨＭＤ姿勢および前記第１の身体位置情報を送信することと、
   前記第１のＨＭＤによって、前記１つまたは複数の第２のＨＭＤの各第２のＨＭＤから、前記それぞれの第２のＨＭＤの第２のＨＭＤ姿勢、および前記第２のＨＭＤによって取得された第２の画像データから前記第２のＨＭＤによって決定された第２の身体位置情報を受信することと、
   前記第１のＨＭＤの前記ユーザの第１の解析された身体位置情報を作成するために、前記第１のＨＭＤによって、前記第１の身体位置情報を前記第２の身体位置情報と一体化することと、
   前記第１のＨＭＤで表示するために、前記第１の姿勢および前記第１の解析された身体位置情報に従って人工現実コンテンツをレンダリングすることと
   を含む、
   方法。
2. 前記第１のＨＭＤによって、前記１つまたは複数の第２のＨＭＤによる使用のための前記第１の解析された身体位置情報を送信することと、
   前記第１のＨＭＤによって、前記１つまたは複数の第２のＨＭＤのユーザの第２の解析された身体位置情報を受信することと
   をさらに含み、
   前記人工現実コンテンツをレンダリングすることが、前記第２の解析された身体位置情報に従って前記人工現実コンテンツをレンダリングすることを含む、
   請求項１に記載の方法。
3. 前記第２の身体位置情報が、前記第１のＨＭＤの前記ユーザの身体位置情報を含む、
   請求項１または２に記載の方法。
4. 前記第１の身体位置情報および前記第２の身体位置情報の信頼水準を受信すること
   をさらに含み、
   前記第１の身体位置情報および前記第２の身体位置情報を一体化することが、前記信頼水準に従って前記第１の身体位置情報および前記第２の身体位置情報を一体化することを含む、
   請求項１から３のいずれか一項に記載の方法。
5. 前記信頼水準に従って前記第１の身体位置情報および前記第２の身体位置情報を一体化することが、少なくとも部分的に前記信頼水準に基づいて、前記第１の身体位置情報および前記第２の身体位置情報に割り振られた重みに従って、前記第１の身体位置情報および前記第２の身体位置情報を一体化することを含む、
   請求項４に記載の方法。
6. 前記１つまたは複数の第２のＨＭＤのうち前記第１のＨＭＤから閾値距離より離れた第２のＨＭＤからの、前記第１のＨＭＤによって受信された身体情報を、前記第２の身体位置情報からフィルタリングすること
   をさらに含む、
   請求項１から５のいずれか一項に記載の方法。
7. 前記１つまたは複数の第２のＨＭＤのうち前記第１のＨＭＤに最も近いｎ個の第２のＨＭＤの１つではない第２のＨＭＤからの、前記第１のＨＭＤによって受信された身体位置情報を、前記第２の身体位置情報からフィルタリングすること
   をさらに含み、
   ここで、ｎが所定のまたは設定可能な数である、
   請求項１から６のいずれか一項に記載の方法。
8. 前記１つまたは複数の第２のＨＭＤの前記ユーザの前記第１の身体位置情報を決定することが、身体位置を認識するようにトレーニングされた機械学習モデルに前記第１の画像データを通すことを含む、
   請求項１から７のいずれか一項に記載の方法。
9. 前記１つまたは複数の第２のＨＭＤの前記ユーザの前記第１の身体位置情報を決定することが、前記ユーザにマーカを配設せずに、前記第１の画像データから、前記ユーザの前記第１の身体位置情報を決定することを含む、
   請求項１から８のいずれか一項に記載の方法。
10. 人工現実システムであって、
    物理環境を表す第１の画像データをキャプチャするように設定された画像キャプチャデバイスと、
    人工現実コンテンツを出力するように設定された第１のヘッドマウントディスプレイ（ＨＭＤ）と、
    前記第１のＨＭＤの位置および向きを表す第１のＨＭＤ姿勢を決定し、
    前記第１の画像データから、前記物理環境内の１つまたは複数の第２のＨＭＤのユーザの第１の身体位置情報を決定し、
    前記１つまたは複数の第２のＨＭＤによる使用のための前記第１のＨＭＤ姿勢および前記第１の身体位置情報を送信し、
    前記１つまたは複数の第２のＨＭＤの各第２のＨＭＤから、前記それぞれの第２のＨＭＤの第２のＨＭＤ姿勢、および前記第２のＨＭＤによって取得された第２の画像データから前記第２のＨＭＤによって決定された第２の身体位置情報を受信し、
    前記第１のＨＭＤのユーザの第１の解析された身体位置情報を作成するために、前記第１の身体位置情報を前記第２の身体位置情報と一体化する
    ように設定された姿勢追跡器と、
    前記第１のＨＭＤで表示するために、前記第１のＨＭＤ姿勢および前記第１の解析された身体位置情報に従って人工現実コンテンツをレンダリングするように設定されたレンダリングエンジンと
    を備える、
    人工現実システム。
11. ａ）前記姿勢追跡器が、
    前記１つまたは複数の第２のＨＭＤによる使用のための前記第１の解析された身体位置情報を送信し、
    前記１つまたは複数の第２のＨＭＤの前記ユーザの第２の解析された身体位置情報を受信する
    ようにさらに設定され、
    前記レンダリングエンジンが、前記第１のＨＭＤで表示するために、前記第２の解析された身体位置情報に従って前記人工現実コンテンツをレンダリングするようにさらに設定される、
    あるいは、
    ｂ）前記第２の身体位置情報が、前記第１のＨＭＤの前記ユーザの身体位置情報を含む、
    あるいは、
    ｃ）前記姿勢追跡器が、前記第１の身体位置情報および前記第２の身体位置情報のための信頼水準を受信するようにさらに設定され、
    前記姿勢追跡器が、前記信頼水準に従って前記第１の身体位置情報および前記第２の身体位置情報を一体化する、
    のうちのいずれか１つまたは複数である、
    請求項１０に記載の人工現実システム。
12. 前記第１のＨＭＤおよび前記１つまたは複数の第２のＨＭＤが、人工現実アプリケーションに参加する、前記物理環境内の同じ場所にあるＨＭＤであり、その場合、任意選択的に、前記人工現実アプリケーションが、前記同じ場所にあるＨＭＤのそれぞれで実行される、
    請求項１０または１１に記載の人工現実システム。
13. 前記画像キャプチャデバイスが、前記第１のＨＭＤと一体化される、
    請求項１０から１２のいずれか一項に記載の人工現実システム。
14. 命令を備える非一時的コンピュータ可読媒体であって、前記命令は、
    実行されるときに、人工現実システムの１つまたは複数のプロセッサに、
    第１のヘッドマウントディスプレイ（ＨＭＤ）の画像キャプチャデバイスから、物理環境を表す第１の画像データを取得させ、
    前記第１のＨＭＤの位置および向きを表す第１のＨＭＤ姿勢を決定させ、
    前記第１の画像データから、１つまたは複数の第２のＨＭＤのユーザの第１の身体位置情報を決定させ、
    前記第１のＨＭＤによって、前記１つまたは複数の第２のＨＭＤによる使用のための前記第１のＨＭＤ姿勢および前記第１の身体位置情報を送信させ、
    前記第１のＨＭＤによって、前記１つまたは複数の第２のＨＭＤの各第２のＨＭＤから、第２のＨＭＤ姿勢、および前記第２のＨＭＤによって取得された第２の画像データから前記第２のＨＭＤによって決定された第２の身体位置情報を受信させ、
    前記第１のＨＭＤのユーザの第１の解析された身体位置情報を作成するために、前記第１のＨＭＤによって、前記第１の身体位置情報を前記第２の身体位置情報と一体化させ、
    前記第１のＨＭＤで表示するために、前記第１の姿勢および前記第１の解析された身体位置情報に従って人工現実コンテンツをレンダリングさせる、
    非一時的コンピュータ可読媒体。
15. ａ）前記命令が、
    前記第１のＨＭＤによって、前記１つまたは複数の第２のＨＭＤによる使用のための前記第１の解析された身体位置情報を送信し、
    前記第１のＨＭＤによって、前記１つまたは複数の第２のＨＭＤの第２の解析された身体位置情報を受信する
    命令をさらに備え、
    前記人工現実コンテンツをレンダリングする前記命令が、前記第２の解析された身体位置情報に従って前記人工現実コンテンツをレンダリングする命令を備える、
    あるいは、
    ｂ）前記第２の身体位置情報が、前記第１のＨＭＤの前記ユーザの身体位置情報を含む、
    あるいは、
    ｃ）前記命令が、
    前記第１の身体位置情報および前記第２の身体位置情報のための信頼水準を受信する
    命令をさらに備え、
    前記第１の身体位置情報および前記第２の身体位置情報を一体化する前記命令が、前記信頼水準に従って前記第１の身体位置情報および前記第２の身体位置情報を一体化する命令を備える、
    のうちのいずれか１つまたは複数である、
    請求項１４に記載の非一時的コンピュータ可読媒体。
    

Images