JP2023536064A - 交互サンプリングを使用した眼追跡 - Google Patents

Abstract

眼追跡システムが、第１のサンプリングレートにおいて、右眼の第１の複数の視覚的データを捕捉するように構成される、第１のカメラを含むことができる。本システムは、第２のサンプリングレートにおいて、左眼の第２の複数の視覚的データを捕捉するように構成される、第２のカメラを含むことができる。第２の複数の視覚的データは、第１の複数の視覚的データと異なるサンプリング時間の間に捕捉されることができる。本システムは、その間、それに関して視覚的データが推定されている、眼の視覚的データが、捕捉されていない、サンプリング時間において、第１および第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、右または左眼のうちの少なくとも１つの視覚的データを推定することができる。

Description

本願は、それぞれ、参照することによってその全体として組み込まれる、２０２０年７月２３日に出願された米国仮特許出願第６３／０５５，８０７号および２０２０年７月２９日に出願された米国仮特許出願第６３／０５８，３８３号の優先権を主張する。

本開示は、ディスプレイシステム、仮想現実、および拡張現実結像および可視化システムに関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術を生産することは、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。

眼追跡システムが、第１のサンプリングレートにおいて、ユーザの右眼の第１の複数の視覚的データを捕捉するように構成される、第１のカメラと、第２のサンプリングレートにおいて、ユーザの左眼の第２の複数の視覚的データを捕捉するように構成される、第２のカメラとを含むことができる。第２の複数の視覚的データは、第１の複数の視覚的データと異なるサンプリング時間の間に捕捉されることができる。本システムは、その間、それに関して視覚的データが推定されている、眼の視覚的データが、捕捉されていない、サンプリング時間において、少なくとも、第１および第２の複数の視覚的データの一部の視覚的データに基づいて、右または左眼のうちの少なくとも１つの視覚的データを推定するように構成される、処理電子機器を含むことができる。処理電子機器は、推定される視覚的データの少なくともいくつかおよび第１または第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、眼の眼移動を決定するように構成されることができる。

種々の実装では、第１および第２のカメラの組み合わせられたサンプリングレートは、第１および第２のサンプリングレートの総計であることができる。第１のサンプリングレートおよび／または第２のサンプリングレートは、３０Ｈｚ、４０Ｈｚ、６０Ｈｚ、１００Ｈｚ、１２０Ｈｚ、または別のサンプリングレートであることができる。第１および第２のカメラは、第１および第２の複数の視覚的データの捕捉を交互させるように構成されることができる。処理電子機器は、右眼の第１の複数の視覚的データの少なくとも１つの視覚的データと左眼の第２の複数の視覚的データの少なくとも１つの視覚的データとの間の差異の決定に基づいて、視覚的データを推定するように構成されることができる。処理電子機器は、差異をフィルタリングすることに基づいて、右または左眼の視覚的データを推定するように構成されることができる。

いくつかの実装では、ウェアラブルディスプレイシステムは、先行段落のいずれかの眼追跡システムおよび／または本明細書に説明される眼追跡システムのいずれかと、仮想コンテンツを提示するように構成される、ディスプレイとを含むことができる。処理電子機器は、ディスプレイに、眼移動に基づいて、仮想コンテンツを提示させることができる。ディスプレイは、頭部搭載型ディスプレイであることができる。

本明細書に説明される主題の１つまたはそれを上回る実装の詳細が、付随の図面および下記の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。

図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。

図２は、ウェアラブルシステムの実施例を図式的に図示する。

図３は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。

図４は、画像情報をユーザに出力するためのウェアラブルデバイスの導波管スタックの実施例を図式的に図示する。

図５は、眼の実施例を図式的に図示する。

図５Ａは、眼の眼姿勢を決定するための例示的座標系を図式的に図示する。

図６は、眼追跡システムを含む、ウェアラブルシステムの概略図である。

図７Ａおよび７Ｂは、左眼および右眼の視覚的データの捕捉を図示する、グラフである。 図７Ａおよび７Ｂは、左眼および右眼の視覚的データの捕捉を図示する、グラフである。

図８は、交互サンプリングを使用した左眼および右眼の視覚的データの捕捉を図示する、グラフである。

図９は、交互サンプリングを使用した、眼毎に複数のカメラを伴う、左眼および右眼の視覚的データの捕捉を図示する、グラフである。

図１０は、眼追跡のための例示的方法を図示する、フローチャートである。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。

詳細な説明
ここで、図面を参照するが、同様の参照番号は、全体を通して同様の部分を指す。別様に示されない限り、図面は、概略必ずしも、正確な縮尺で描かれていない。
ウェアラブルシステムの３Ｄディスプレイの実施例

ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用されることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。

図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。

３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。

ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。

図２は、ウェアラブルシステム２００の実施例を図示し、これは、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成されることができる。ウェアラブルシステム２００はまた、ＡＲシステム２００と称され得る。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。

いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ２２０は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ（例えば、マイクロホン）２３２を含むことができる。いくつかの実施形態では、示されない１つまたはそれを上回る他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム２００は、音声または発話認識をオーディオストリームに実施することができる。

ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡し得る、内向きに面した結像システム４６２（図４に示される）を含むことができる。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面した結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０または２７０と電気通信してもよい。内向きに面した結像システム４６２は、１つまたはそれを上回るカメラを含んでもよい。例えば、少なくとも１つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。

実施例として、ウェアラブルシステム２００は、外向きに面した結像システム４６４または内向きに面した結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。

ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。

ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに面した結像システムおよび／または外向きに面した結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または、ｂ）可能性として処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４によって遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。

いくつかの実施形態では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ウェアラブルシステムの例示的コンポーネント

図３は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図３は、ウェアラブルシステム２００を示し、これは、ディスプレイ２２０と、フレーム２３０とを含むことができる。引き伸ばし図２０２は、ウェアラブルシステム２００の種々のコンポーネントを図式的に図示する。ある実装では、図３に図示されるコンポーネントのうちの１つまたはそれを上回るものは、ディスプレイ２２０の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム２００のユーザまたはユーザの環境と関連付けられる種々のデータ（例えば、オーディオ、画像、またはビデオデータ等）を収集することができる。他の実施形態は、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを有してもよいことを理解されたい。なお、図３は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。

図３は、例示的ウェアラブルシステム２００を示し、これは、ディスプレイ２２０を含むことができる。ディスプレイ２２０は、ユーザの頭部、またはフレーム２３０に対応する、筐体またはフレーム２３０に搭載され得る、ディスプレイレンズ２２６を備えることができる。ディスプレイレンズ２３０は、筐体２３０によって、ユーザの眼３０２、３０４の正面に位置付けられる、１つまたはそれを上回る透明ミラーを備えてもよく、投影された光３３８を眼３０２、３０４の中にバウンスさせ、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光ビーム３３８の波面は、投影された光の所望の焦点距離と一致するように屈曲または集束されてもよい。図示されるように、２つの広視野マシンビジョンカメラ３１６（世界カメラとも称される）が、筐体２３０に結合され、ユーザの周囲の環境を結像することができる。これらのカメラ３１６は、二重捕捉式可視光／非可視（例えば、赤外線）光カメラであることができる。カメラ３１６は、図４に示される外向きに面した結像システム４６４の一部であってもよい。世界カメラ３１６によって入手された画像は、姿勢プロセッサ３３６によって処理されることができる。例えば、姿勢プロセッサ３３６は、１つまたはそれを上回るオブジェクト認識装置を実装し、ユーザまたはユーザの環境内の別の人物の姿勢を識別する、またはユーザの環境内の物理的オブジェクトを識別することができる。

図３を継続して参照すると、光３３８を眼３０２、３０４の中に投影するように構成される、ディスプレイミラーおよび光学系を伴う、一対の走査式レーザ成形波面（例えば、深度のために）光投影モジュールが、示される。描写される図はまた、ユーザの眼３０２、３０４を追跡し、レンダリングおよびユーザ入力をサポート可能であるように構成される、赤外線光源３２６（発光ダイオード「ＬＥＤ」等）とペアリングされる、２つの小型赤外線カメラ３２４を示す。カメラ３２４は、図４に示される、内向きに面した結像システム４６２の一部であってもよい。ウェアラブルシステム２００はさらに、センサアセンブリ３３９を特徴とすることができ、これは、Ｘ、Ｙ、およびＺ軸加速度計能力および磁気コンパスおよびＸ、Ｙ、およびＺ軸ジャイロスコープ能力を備え、好ましくは、２００Ｈｚ等の比較的に高周波数でデータを提供し得る。センサアセンブリ３３９は、図２Ａを参照して説明される、ＩＭＵの一部であってもよい。描写されるシステム２００はまた、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはＡＲＭプロセッサ（高度縮小命令セット機械）等の頭部姿勢プロセッサ３３６を備えることができ、これは、リアルタイムまたは近リアルタイムユーザ頭部姿勢を捕捉デバイス３１６から出力された広視野画像情報から計算するように構成されてもよい。頭部姿勢プロセッサ３３６は、ハードウェアプロセッサであることができ、図２Ａに示されるローカル処理およびデータモジュール２６０の一部として実装されることができる。

ウェアラブルシステムはまた、１つまたはそれを上回る深度センサ２３４を含むことができる。深度センサ２３４は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されることができる。深度センサ２３４は、レーザスキャナ（例えば、ＬＩＤＡＲ）、超音波深度センサ、または深度感知カメラを含んでもよい。カメラ３１６が深度感知能力を有する、ある実装では、カメラ３１６はまた、深度センサ２３４と見なされ得る。

また、示されるものは、デジタルまたはアナログ処理を実行し、姿勢をセンサアセンブリ３３９からのジャイロスコープ、コンパス、または加速度計データから導出するように構成される、プロセッサ３３２である。プロセッサ３３２は、図２に示される、ローカル処理およびデータモジュール２６０の一部であってもよい。ウェアラブルシステム２００はまた、図３に示されるように、例えば、ＧＰＳ３３７（全地球測位システム）等の測位システムを含み、姿勢および測位分析を補助することができる。加えて、ＧＰＳはさらに、ユーザの環境についての遠隔ベース（例えば、クラウドベース）の情報を提供してもよい。本情報は、ユーザの環境内のオブジェクトまたは情報を認識するために使用されてもよい。

ウェアラブルシステムは、ＧＰＳ３３７および遠隔コンピューティングシステム（例えば、遠隔処理モジュール２７０、別のユーザのＡＲＤ等）によって入手されたデータを組み合わせてもよく、これは、ユーザの環境についてのより多くの情報を提供することができる。一実施例として、ウェアラブルシステムは、ＧＰＳデータに基づいて、ユーザの場所を決定し、ユーザの場所と関連付けられる仮想オブジェクトを含む、世界マップを読み出すことができる（例えば、遠隔処理モジュール２７０と通信することによって）。別の実施例として、ウェアラブルシステム２００は、世界カメラ３１６（図４に示される外向きに面した結像システム４６４の一部であってもよい）を使用して、環境を監視することができる。世界カメラ３１６によって入手された画像に基づいて、ウェアラブルシステム２００は、環境内のオブジェクトを検出することができる。ウェアラブルシステムはさらに、ＧＰＳ３３７によって入手されたデータを使用して、キャラクタを解釈することができる。

ウェアラブルシステム２００はまた、レンダリングエンジン３３４を備えてもよく、これは、世界のユーザのビューのために、ユーザにローカルなレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成されることができる。レンダリングエンジン３３４は、ハードウェアプロセッサ（例えば、中央処理ユニットまたはグラフィック処理ユニット等）によって実装されてもよい。いくつかの実施形態では、レンダリングエンジンは、ローカル処理およびデータモジュール２６０の一部である。レンダリングエンジン３３４は、ウェアラブルシステム２００の他のコンポーネントに通信可能に結合されることができる（例えば、有線または無線リンクを介して）。例えば、レンダリングエンジン３３４は、通信リンク２７４を介して、眼カメラ３２４に結合され、通信リンク２７２を介して、投影サブシステム３１８（網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザの眼３０２、３０４の中に投影することができる）に結合されることができる。レンダリングエンジン３３４はまた、それぞれ、リンク２７６および２９４を介して、例えば、センサ姿勢プロセッサ３３２および画像姿勢プロセッサ３３６等の他の処理ユニットと通信することができる。

カメラ３２４（例えば、小型赤外線カメラ）は、眼姿勢を追跡し、レンダリングおよびユーザ入力をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度（眼の輻輳・開散運動を用いて推定されてもよい）を含んでもよい。ＧＰＳ３３７、ジャイロスコープ、コンパス、および加速度計３３９は、大まかなまたは高速姿勢推定を提供するために利用されてもよい。カメラ３１６のうちの１つまたはそれを上回るものは、画像および姿勢を入手することができ、これは、関連付けられるクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザビューを他者と共有するために利用されてもよい。

図３に描写される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実施形態は、これらのセンサまたはモジュールの１つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図３に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等、他のコンポーネント内に搭載または格納されてもよい。一実施例として、画像姿勢プロセッサ３３６、センサ姿勢プロセッサ３３２、およびレンダリングエンジン３３４は、ベルトパック内に位置付けられ、超広帯域、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介して、または有線通信を介して、ウェアラブルシステムの他のコンポーネントと通信するように構成されてもよい。描写される筐体２３０は、好ましくは、ユーザによって頭部搭載可能かつ装着可能である。しかしながら、ウェアラブルシステム２００のいくつかのコンポーネントは、ユーザの身体の他の部分に装着されてもよい。例えば、スピーカ２４０が、ユーザの耳の中に挿入され、音をユーザに提供してもよい。

ユーザの眼３０２、３０４の中への光３３８の投影に関して、いくつかの実施形態では、カメラ３２４は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳される場所を測定するために利用されてもよい。眼が輻輳する全ての点の３次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影された光は、対象の眼３０２、３０４に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。本開示のウェアラブルシステムおよび他のディスプレイシステムの実施例はまた、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）に説明される。

ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動と遠近調節の組み合わせに起因して、オブジェクトを３次元として知覚し得る。相互に対する２つの眼の輻輳・開散運動移動（例えば、眼の視線を収束させ、オブジェクトを固視するための相互に向かった、またはそこから離れる瞳孔の回転移動）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。正常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化が、正常条件下、遠近調節の合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムが３次元画像のより現実的かつ快適なシミュレーションを形成し得る。

さらに、約０．７ミリメートル未満のビーム直径を伴う、空間的にコヒーレントな光は、眼が合焦している場所にかかわらず、ヒトの眼によって正しく解決され得る。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、カメラ３２４を用いて追跡されてもよく、レンダリングエンジン３３４および投影サブシステム３１８は、単視軌跡上またはそれに近接する全てのオブジェクトを合焦させてレンダリングし、全ての他のオブジェクトを可変程度に焦点をずらしてレンダリングするために利用されてもよい（例えば、意図的に作成されたぼけを使用して）。好ましくは、システム２２０は、ユーザに、約６０フレーム／秒またはそれを上回るフレームレートでレンダリングする。上記に説明されるように、好ましくは、カメラ３２４は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力としての役割を果たすための焦点場所キューも取り上げるように構成されてもよい。好ましくは、そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成される。

いくつかの実施形態では、ディスプレイシステムは、好ましくは、視覚的オブジェクト整合のために約２０ミリ秒未満の待ち時間、約０．１度未満の角度整合、および約１弧分の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム２２０は、位置特定システムと統合されてもよく、これは、ＧＰＳ要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る。位置特定情報は、関連世界のユーザのビュー内における正確なレンダリングを促進するために利用されてもよい（例えば、そのような情報は、眼鏡が実世界に対する場所を把握することを促進するであろう）。

いくつかの実施形態では、ウェアラブルシステム２００は、ユーザの眼の遠近調節に基づいて、１つまたはそれを上回る仮想画像を表示するように構成される。ユーザに画像が投影されている場所に合焦させるように強制する、従来の３Ｄディスプレイアプローチと異なり、いくつかの実施形態では、ウェアラブルシステムは、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザに提示される１つまたはそれを上回る画像のより快適な視認を可能にするように構成される。例えば、ユーザの眼が、１ｍの現在の焦点を有する場合、画像は、ユーザの焦点と一致するように投影されてもよい。ユーザが、焦点を３ｍに偏移させる場合、画像は、新しい焦点と一致するように投影される。したがって、ユーザに所定の焦点を強制するのではなく、いくつかの実施形態のウェアラブルシステム２００は、ユーザの眼がより自然な様式において機能することを可能にする。

そのようなウェアラブルシステム２００は、仮想現実デバイスに対して典型的に観察される、眼精疲労、頭痛、および他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ウェアラブルシステム２００の種々の実施形態は、１つまたはそれを上回る可変焦点要素（ＶＦＥ）を通して、仮想画像を可変焦点距離に投影するように構成される。１つまたはそれを上回る実施形態では、３Ｄ知覚は、画像をユーザから固定された焦点面に投影する、多面焦点システムを通して達成されてもよい。他の実施形態は、可変面焦点を採用し、焦点面は、ユーザの焦点の現在の状態と一致するように、ｚ－方向に往復して移動される。

多面焦点システムおよび可変面焦点システムの両方において、ウェアラブルシステム２００は、眼追跡を採用し、ユーザの眼の輻輳・開散運動を決定し、ユーザの現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。他の実施形態では、ウェアラブルシステム２００は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、可変焦点の光ビームをラスタパターンで可変に投影する、光変調器を備える。したがって、画像を可変焦点距離に投影するウェアラブルシステム２００のディスプレイの能力は、ユーザがオブジェクトを３Ｄにおいて視認するための遠近調節を容易にするだけではなく、また、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）にさらに説明されるように、ユーザの眼球異常を補償するために使用されてもよい。いくつかの他の実施形態では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザに投影してもよい。例えば、以下にさらに説明されるように、空間光変調器は、画像を１つまたはそれを上回る導波管上に投影してもよく、これは、次いで、画像をユーザに伝送する。
導波管スタックアセンブリ

図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応し得、図４Ａは、そのウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。

図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ（例えば、クラッディング層または空気間隙を形成するための構造）であってもよい。

導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂまたは複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。

いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれの対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。

コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。

導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確性にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部または底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、材料のモノリシック片であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料片の表面上および／または内部に形成されてもよい。

図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。

他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい（補償レンズ層４３０およびスタックされた導波管アセンブリ４８０は、全体として、世界４７０から生じる光が、最初にスタックされた導波管アセンブリ４８０によって受光されたときに光が有していたものと実質的に同一レベルの発散（またはコリメーション）で眼４１０に伝達されるように構成され得る）。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。

図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられる特定の深度面のために、光をそれらの個別の導波管から外に再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。結果として、異なる関連付けられる深度面を有する導波管が、関連付けられる深度面に応じて、異なる量の発散を伴って光を出力する、光抽出光学要素の異なる構成を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。

いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴または「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差部で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となり得る。

いくつかの実施形態では、１つまたはそれを上回るＤＯＥは、それらが能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられてもよい（その場合、パターンは、入射光を能動的に回折させる）。

いくつかの実施形態では、深度面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間された深度面の数は、減少された瞳孔サイズに伴って減少され得る。例えば、視認者は、一方の深度面から他方の深度面への眼の遠近調節を調節することなく、第１の深度面および第２の深度面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度面は、同時に、遠近調節を変化させることなく、別の瞳孔サイズにおいてユーザにとって十分に合焦し得る。

いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられる２つの深度面間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０の実施形態であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。

いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。

ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに面した結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。世界カメラのＦＯＶは、視認者２１０のＦＯＶと同一である場合とそうではない場合があり、これは、視認者２１０が所与の時間に知覚する、世界４７０の一部を包含する。例えば、いくつかの状況では、世界カメラのＦＯＶは、ウェアラブルシステム４００の視認者２１０の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚し得るため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに面した結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。

ウェアラブルシステム４００は、オーディオセンサ２３２、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実施形態では、１つまたはそれを上回る他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ２３２は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム４００は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するために等、外向きに面した結像システム４６４およびオーディオセンサ２３０の両方からの情報を使用することができる。例えば、ウェアラブルシステム４００は、単独で、または話者の反射された画像（例えば、鏡に見られるように）と組み合わせて、音声認識を使用して、話者の識別を決定することができる。別の実施例として、ウェアラブルシステム４００は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム４００は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別（例えば、名前または他の人口統計情報）を決定することができる。

ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面した結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに面した結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定された。内向きに面した結像システム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。

ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
ウェアラブルシステムの他のコンポーネント

多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。

ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つまたはそれを上回る物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、無生物オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面の形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つまたはそれを上回る表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つまたはそれを上回る表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いずれの物理的キーまたはトラックパッドまたはセンサも有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。

本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
眼画像の実施例

図５は、眼瞼５０４と、強膜５０８（「白眼」）と、虹彩５１２と、瞳孔５１６とを伴う、眼５００の画像を図示する。曲線５１６ａは、瞳孔５１６と虹彩５１２との間の瞳孔境界を示し、曲線５１２ａは、虹彩５１２と強膜５０８との間の辺縁境界を示す。眼瞼５０４は、上側眼瞼５０４ａと、下側眼瞼５０４ｂとを含む。眼５００は、自然静置姿勢（例えば、ユーザの顔および視線の両方が、ユーザの真正面の遠距離オブジェクトに向かうであろうように配向される）に図示される。眼５００の自然静置姿勢は、自然静置姿勢（例えば、図５に示される眼５００に関しては、すぐ面外）にあって、本実施例では、瞳孔５１６内に中心合わせされるときの眼５００の表面に直交する方向である、自然静置方向５２０によって示され得る。

眼５００が、異なるオブジェクトに向かって見るように移動するにつれて、眼姿勢は、自然静置方向５２０に対して変化するであろう。現在の眼姿勢は、眼の表面に直交する（かつ瞳孔５１６内に中心合わせされる）方向であるが、眼が現在指向されているオブジェクトに向かって配向される、眼姿勢方向５２４を参照して決定されることができる。図５Ａに示される例示的座標系を参照すると、眼５００の姿勢は、両方とも眼の自然静置方向５２０に対する、眼の眼姿勢方向５２４の方位角偏向および天頂偏向を示す、２つの角度パラメータとして表され得る。例証目的のために、これらの角度パラメータは、θ（基点方位角から決定される、方位角偏向）およびφ（時として、極性偏向とも称される、天頂偏向）として表され得る。いくつかの実装では、眼姿勢方向５２４の周囲の眼の角度ロールが、眼姿勢の決定に含まれることができ、角度ロールは、以下の分析に含まれることができる。他の実装では、眼姿勢を決定するための他の技法が、例えば、ピッチ、ヨー、および随意に、ロール系が、使用されることができる。

光源３２６は、眼５００を照明することができ（例えば、ＩＲ内で）、眼から（典型的には、角膜から）の光源の反射は、閃光と称される。図５は、４つの閃光５５０が存在する、実施例を図式的に示す。閃光５５０の位置、数、明度等は、光源３２６の位置および数、眼の姿勢等に依存し得る。眼追跡カメラ３２４は、眼画像を取得することができ、プロセッサは、眼画像を分析し、眼追跡のための閃光の位置および移動を決定することができる。

眼画像は、任意の適切なプロセスを使用して、例えば、画像を１つまたはそれを上回るシーケンシャルフレーム（または非シーケンシャルフレーム）から抽出し得る、ビデオ処理アルゴリズムを使用して、ビデオから取得されることができる。図４の内向きに面した結像システム４６２または図３のカメラ３２４および光源３２６は、眼の一方または両方のビデオまたは画像を提供するために利用されることができる。眼の姿勢は、種々の眼追跡技法を使用して、眼画像から決定されることができる。例えば、眼姿勢は、提供される光源に及ぼす角膜のレンズ効果を検討することによって決定されることができる。任意の好適な眼追跡技法が、本明細書に説明される眼瞼形状推定技法において眼姿勢を決定するために使用されることができる。
眼追跡システムの実施例

図６は、眼追跡システムを含む、ウェアラブルシステム６００の概略図を図示する。ウェアラブルシステム６００は、少なくともいくつかの実施形態では、頭部搭載型ユニット６０２内に位置するコンポーネントと、非頭部搭載型ユニット６０４内に位置するコンポーネントとを含む。非頭部搭載型ユニット６０４は、実施例として、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、リュック内のコンポーネント、遠隔コンポーネント等であってもよい。ウェアラブルシステム６００のコンポーネントのうちのいくつかを非頭部搭載型ユニット６０４内に組み込むことは、頭部搭載型ユニット６０２のサイズ、重量、複雑性、およびコストを低減させることに役立ち得る。いくつかの実装では、頭部搭載型ユニット６０２および／または非頭部搭載型６０４の１つまたはそれを上回るコンポーネントによって実施されているように説明される機能性の一部または全部は、ウェアラブルシステム６００内のいずれかに含まれる１つまたはそれを上回るコンポーネントを用いて提供されてもよい。例えば、頭部搭載型ユニット６０２のＣＰＵ６１２と関連して下記に説明される機能性の一部または全部は、非頭部搭載型ユニット６０４のＣＰＵ６１６を用いて提供されてもよく、その逆も同様である。いくつかの実施例では、そのような機能性の一部または全部は、ウェアラブルシステム６００の周辺デバイスを用いて提供されてもよい。さらに、いくつかの実装では、そのような機能性の一部または全部は、図２を参照して上記に説明されたものに類似する様式において、１つまたはそれを上回るクラウドコンピューティングデバイスまたは他の遠隔に位置するコンピューティングデバイスを用いて提供されてもよい。

図６に示されるように、ウェアラブルシステム６００は、ユーザの眼６１０の画像を捕捉する、カメラ３２４を含む、眼追跡システム６０１を含むことができる。所望に応じて、眼追跡システムはまた、光源３２６ａおよび３２６ｂ（発光ダイオード「ＬＥＤ」等）を含んでもよい。光源３２６ａおよび３２６ｂは、閃光（例えば、カメラ３２４によって捕捉された眼の画像内に現れる、ユーザの眼からの反射）を生成し得る。カメラ３２４に対する光源３２６ａおよび３２６ｂの位置は、既知であり得、その結果、カメラ３２４によって捕捉された画像内の閃光の位置が、ユーザの眼を追跡する際に使用されてもよい。少なくとも一実施形態では、１つの光源３２６と、ユーザの眼６１０の片方と関連付けられる１つのカメラ３２４とが存在してもよい。別の実施形態では、１つの光源３２６と、ユーザの眼６１０のそれぞれと関連付けられる１つのカメラ３２４とが存在してもよい。さらに他の実施形態では、１つまたはそれを上回るカメラ３２４と、ユーザの眼６１０の一方またはそれぞれと関連付けられる１つまたはそれを上回る光源３２６とが存在してもよい。具体的実施例として、２つの光源３２６ａおよび３２６ｂと、ユーザの眼６１０のそれぞれと関連付けられる１つまたはそれを上回るカメラ３２４とが存在してもよい。別の実施例として、光源３２６ａおよび３２６ｂ等の３つまたはそれを上回る光源と、ユーザの眼６１０のそれぞれと関連付けられる１つまたはそれを上回るカメラ３２４とが存在してもよい。

眼追跡モジュール６１４は、画像を眼追跡カメラ３２４から受信してもよく、画像を分析し、種々の情報を抽出してもよい。実施例として、眼追跡モジュール６１４は、ユーザの眼姿勢、眼追跡カメラ３２４（および頭部搭載型ユニット６０２）に対するユーザの眼の３次元位置、合焦されているユーザの眼６１０の一方または両方の方向、ユーザの輻輳・開散運動深度（例えば、ユーザが合焦しているユーザからの深度）、ユーザの瞳孔の位置、ユーザの角膜および角膜球面の位置、ユーザの眼のそれぞれの回転中心、およびユーザの眼のそれぞれの視点の中心を検出してもよい。図６に示されるように、眼追跡モジュール６１４は、頭部搭載型ユニット６０２内のＣＰＵ６１２を使用して実装される、ソフトウェアモジュールであってもよい。

眼追跡モジュール６１４からのデータは、ウェアラブルシステム内の他のコンポーネントに提供されてもよい。実施例として、そのようなデータは、ライトフィールドレンダリングコントローラ６１８および位置合わせオブザーバ６２０のためのソフトウェアモジュールを含む、ＣＰＵ６１６等の非頭部搭載型ユニット６０４内のコンポーネントに伝送されてもよい。

レンダリングコントローラ６１８は、レンダリングエンジン６２２（例えば、ＧＰＵ６２０内のソフトウェアモジュールであり得、画像をディスプレイ２２０に提供し得る、レンダリングエンジン）によって、眼追跡モジュール６１４からの情報を使用して、ユーザに表示される画像を調節してもよい。実施例として、レンダリングコントローラ６１８は、ユーザの回転中心または視点の中心に基づいて、ユーザに表示される画像を調節してもよい。特に、レンダリングコントローラ６１８は、ユーザの視点の中心に関する情報を使用して、レンダリングカメラをシミュレートしてもよく（例えば、ユーザの視点からの画像の収集をシミュレートする）、シミュレートされたレンダリングカメラに基づいて、ユーザに表示される画像を調節してもよい。

時として、「ピンホール透視投影カメラ」（または単に、「透視投影カメラ」）または「仮想ピンホールカメラ」（または単に、「仮想カメラ」）とも称される、「レンダリングカメラ」は、可能性として、仮想世界内のオブジェクトのデータベースからの仮想画像コンテンツをレンダリングする際に使用するためのシミュレートされたカメラである。オブジェクトは、ユーザまたは装着者に対する、および可能性として、ユーザまたは装着者を囲繞する環境内の実オブジェクトに対する、場所および配向を有してもよい。換言すると、レンダリングカメラは、そこからユーザまたは装着者がレンダリング空間の３Ｄ仮想コンテンツ（例えば、仮想オブジェクト）を視認すべきである、レンダリング空間内の視点を表し得る。レンダリングカメラは、レンダリングエンジンによって管理され、該眼に提示されるべき仮想オブジェクトのデータベースに基づいて、仮想画像をレンダリングしてもよい。仮想画像は、ユーザまたは装着者の視点から撮影されたかのようにレンダリングされ得る。例えば、仮想画像は、固有のパラメータの具体的セット（例えば、焦点距離、カメラピクセルサイズ、主点座標、歪／歪曲パラメータ等）と、付帯パラメータの具体的セット（例えば、仮想世界に対する平行移動成分および回転成分）とを有する、ピンホールカメラ（「レンダリングカメラ」に対応する）によって捕捉されたかのようにレンダリングされ得る。仮想画像は、レンダリングカメラの位置および配向（例えば、レンダリングカメラの付帯パラメータ）を有する、そのようなカメラの視点から撮影される。システムは、固有のおよび付帯レンダリングカメラパラメータを定義および／または調節し得るということになる。例えば、システムは、仮想画像が、ユーザまたは装着者の視点からであるように現れる画像を提供するように、ユーザまたは装着者の眼に対する具体的場所を有する、カメラの視点から捕捉されたかのようにレンダリングされるように、特定のセットの付帯レンダリングカメラパラメータを定義してもよい。システムは、後に、該具体的場所との位置合わせを維持するように、付帯レンダリングカメラパラメータをオンザフライで動的に調節してもよい。同様に、固有のレンダリングカメラパラメータも、定義され、経時的に動的に調節されてもよい。いくつかの実装では、画像は、開口（例えば、ピンホール）をユーザまたは装着者の眼に対する具体的場所（視点の中心または回転中心または他の場所等）に有するカメラの視点から捕捉されたかのようにレンダリングされる。

いくつかの実施形態では、システムは、ユーザの眼が、相互から物理的に分離され、したがって、一貫して異なる場所に位置付けられるにつれて、ユーザの左眼のための１つのレンダリングカメラおよびユーザの右眼のために別のレンダリングカメラを作成または動的に再位置付および／または再配向してもよい。少なくともいくつかの実装では、視認者の左眼と関連付けられるレンダリングカメラの視点からレンダリングされた仮想コンテンツは、頭部搭載型ディスプレイ（例えば、頭部搭載型ユニット６０２）の左側の接眼レンズを通してユーザに提示され得、ユーザの右眼と関連付けられるレンダリングカメラの視点からレンダリングされた仮想コンテンツは、そのような頭部搭載型ディスプレイの右側の接眼レンズを通してユーザに提示され得るということになる。レンダリングプロセスにおけるレンダリングカメラの作成、調節、および使用について議論するさらなる詳細は、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＡＮＤ ＣＯＭＢＩＮＩＮＧ ＳＴＲＵＣＴＵＲＡＬ ＦＥＡＴＵＲＥＳ ＩＮ ３Ｄ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ」と題された米国特許第１０，５５９，１２７号（あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる）に提供される。

いくつかの実施例では、システム６００の１つまたはそれを上回るモジュール（またはコンポーネント）（例えば、ライトフィールドレンダリングコントローラ６１８、レンダリングエンジン６２０等）は、ユーザの頭部および眼の位置および配向（例えば、それぞれ、頭部姿勢および眼追跡データに基づいて決定されるように）に基づいて、レンダリング空間内のレンダリングカメラの位置および配向を決定してもよい。すなわち、システム６００は、事実上、ユーザの頭部および眼の位置および配向を３Ｄ仮想環境内の特定の場所および角位置にマッピングし、レンダリングカメラを３Ｄ仮想環境内の特定の場所および角位置に設置および配向し、レンダリングカメラによって捕捉されるであろうにつれて、仮想コンテンツをユーザのためにレンダリングし得る。実世界／仮想世界マッピングプロセスについて議論するさらなる詳細は、「ＳＥＬＥＣＴＩＮＧ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴＳ ＩＮ Ａ ＴＨＲＥＥ－ＤＩＭＥＮＳＩＯＮＡＬ ＳＰＡＣＥ」と題された米国特許第１０，５２１，０２５号（あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる）に提供される。実施例として、レンダリングコントローラ６１８は、画像が、画像を表示するために任意の所与の時間に利用される深度面（または複数の深度面）を選択することによって表示される、深度を調節してもよい。いくつかの実装では、そのような深度面切替は、１つまたはそれを上回る固有のレンダリングカメラパラメータの調節を通して、行われてもよい。例えば、ライトフィールドレンダリングコントローラ６１８は、深度面切替または調節を実行するとき、レンダリングカメラの焦点距離を調節してもよい。深度面は、ユーザの決定された輻輳・開散運動または固視深度に基づいて、切り替えられてもよい。

位置合わせオブザーバ６２０は、眼追跡モジュール６１４からの情報を使用して、頭部搭載型ユニット６０２がユーザの頭部上に適切に位置付けられているかどうかを識別してもよい。実施例として、眼追跡モジュール６１４は、カメラ３２４に対するユーザの眼の３次元位置を示す、ユーザの眼の回転中心の位置等の眼場所情報を提供してもよく、頭部搭載型ユニット６０２および眼追跡モジュール６１４は、場所情報を使用して、ディスプレイ２２０がユーザの視野内に適切に整合されているかどうか、または頭部搭載型ユニット６０２（またはヘッドセット）が滑脱している、または別様にユーザの眼と不整合状態であるかどうかを決定してもよい。実施例として、位置合わせオブザーバ６２０は、頭部搭載型ユニット６０２が、ユーザの鼻梁から滑脱しており、したがって、ディスプレイ２２０をユーザの眼から離れさせ、そこから下方に移動させている（望ましくあり得ない）かどうか、頭部搭載型ユニット６０２が、ユーザの鼻梁の上方に移動しており、したがって、ディスプレイ２２０をユーザの眼により近づけ、そこから上方に移動させているかどうか、頭部搭載型ユニット６０２が、ユーザの鼻梁に対して左または右に偏移されているかどうか、頭部搭載型ユニット６０２が、ユーザの鼻梁の上方に持ち上げられているかどうか、または頭部搭載型ユニット６０２が、これらまたは他の方法において、所望の位置または位置の範囲から離れて移動されているかどうかを決定することが可能であり得る。一般に、位置合わせオブザーバ６２０は、一般に、頭部搭載型ユニット６０２、特に、ディスプレイ２２０が、ユーザの眼の正面に適切に位置付けられているかどうかを決定することが可能であり得る。換言すると、位置合わせオブザーバ６２０は、ディスプレイシステム２２０内の左ディスプレイが、ユーザの左眼と適切に整合されており、ディスプレイシステム２２０内の右ディスプレイが、ユーザの右眼と適切に整合されているかどうかを決定し得る。位置合わせオブザーバ６２０は、頭部搭載型ユニット６０２が、ユーザの眼に対する位置および／または配向の所望の範囲内に位置付けられ、配向されているかどうかを決定することによって、頭部搭載型ユニット６０２が適切に位置付けられているかどうかを決定してもよい。

少なくともいくつかの実施形態では、位置合わせオブザーバ６２０は、アラート、メッセージ、または他のコンテンツの形態におけるユーザフィードバックを生成してもよい。そのようなフィードバックは、ユーザに提供され、ユーザに、頭部搭載型ユニット６０２の任意の不整合を、不整合を補正する方法に関する随意のフィードバック（頭部搭載型ユニット６０２を特定の様式において調節するための提案等）とともに知らせてもよい。

位置合わせオブザーバ６２０によって利用され得る、例示的位置合わせ観察およびフィードバック技法は、「ＰＥＲＩＯＣＵＬＡＲ ＴＥＳＴ ＦＯＲ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＣＡＬＩＢＲＡＴＩＯＮ」と題された米国特許第１０，４７３，０４２号および「ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ ＲＥＧＩＳＴＲＡＴＩＯＮ ＢＥＴＷＥＥＮ Ａ ＤＩＳＰＬＡＹ ＡＮＤ Ａ ＵＳＥＲ’Ｓ ＥＹＥＳ」と題された米国特許公開第２０１９／０２２２８３０号（両方とも、参照することによってその全体として本明細書に組み込まれる）に説明される。
交互サンプリングを使用した眼追跡

カメラ３２４等の１つまたはそれを上回る眼追跡カメラは、特定のフレームレートにおいて、左眼および右眼のビデオ（例えば、ビデオのフレームを含む）および／または画像（時として、視覚的データまたは視線ベクトルとも称される）を捕捉することができる。フレームレートは、ビデオ捕捉の間の眼の暴露時間を示すことができる。例えば、より高いフレームレートは、本明細書に説明されるように、より長い暴露時間を示すことができ、これは、より多くのイベントを検出することにつながり得る。図７Ａは、３０フレーム／秒（ｆｐｓ）のフレームレート（時として、サンプリングレートまたはサンプルレートとも称される）（または３０Ｈｚのサンプリングレート）における、左眼および右眼の視覚的データの捕捉のグラフ７００Ａを図示する。グラフ７００Ａのｘ－軸は、時間を表す。上側のバーは、Ｌ１、Ｌ２、Ｌ３、およびＬ４（時間インスタンス（または時間）ｔ１、ｔ２、ｔ３、およびｔ４において捕捉された視覚的データに対応する）として標識された左眼の捕捉された視覚的データを図示する。視覚的データが捕捉された（またはサンプリングされた）、時間インスタンスは、時として、サンプリングインターバルまたはサンプリング時間とも称され得る。下側のバーは、Ｒ１、Ｒ２、Ｒ３、およびＲ４（時間インスタンスｔ１、ｔ２、ｔ３、およびｔ４において捕捉された視覚的データに対応する）として標識された右眼の捕捉された視覚的データを図示する。図示されるように、左および右眼からの視覚的データは、概して、同時に捕捉される。図７Ａでは、左眼の連続する視覚的データサンプル間の時間は、３３．３ミリ秒（ｍｓ）（１／３０Ｈｚに対応する）である。同様に、右眼の連続する視覚的データサンプル間の時間は、３３．３ミリ秒（ｍｓ）（１／３０Ｈｚに対応する）である。いくつかの変形例では、１つまたはそれを上回るカメラは、異なるサンプリングレートにおいて、左および右眼のビデオを捕捉することができる。

図７Ｂは、６０フレーム／秒（ｆｐｓ）のフレームレート（または６０Ｈｚのサンプリングレート）における、左眼および右眼の視覚的データの捕捉のグラフ７００Ｂを図示する。グラフ７００Ｂは、より多くの視覚的データが、より高いサンプリングレートに起因して、図７Ｂにおいて捕捉されるように図示されることを除き、グラフ７００Ａに類似する。特に、グラフ７００Ｂは、左眼の捕捉された視覚的データＬ１－Ｌ７と、右眼の視覚的データＲ１－Ｒ７（時間インスタンスｔ１－ｔ７に対応する）とを図示する。左および右眼からの視覚的データは、概して、同時に捕捉される。図７Ｂでは、左眼の連続する視覚的データサンプル間の時間は、１６．７（ｍｓ）（１／６０Ｈｚに対応する）である。同様に、右眼の連続する視覚的データサンプル間の時間は、１６．７（ｍｓ）（１／６０Ｈｚに対応する）である。グラフ７００Ｂに示されるように、より高いサンプリングレートを使用する利点のうちの１つは、より高速の発生率を伴う、イベント（眼移動または眼姿勢の変化等）を検出する能力である。例えば、グラフ７００Ｂでは、最短検出可能イベント持続時間は、１６．７ｍｓである一方、グラフ７００Ａでは、最短検出可能イベント持続時間は、約３３．３ｍｓである。より高いサンプリングレートを使用する別の利点は、連続する視覚的データサンプル間の持続時間に対応し得る、サンプリング待ち時間の減少である。サンプリング待ち時間は、新しい視覚的データサンプルを、捕捉された視覚的データを記憶する、メモリバッファ内に記憶するための持続時間を示すことができる。より低いサンプリング待ち時間は、サッカード眼球運動（固視を変化させるときの眼の高速移動に対応し得る）等の高速イベントを検出するために好ましくあり得る。図７Ａおよび７Ｂに図示されるサンプリングレートは、単に、実施例であって、他のより高いまたはより低いサンプリングレートも、使用されることができる（４０Ｈｚ、６０Ｈｚ、１００Ｈｚ、１２０Ｈｚ、または同等物等）。

より高いサンプリングレートを使用することは、イベントの改良された検出のために有益であり得るが、サンプリングレートを増加させることは、電力消費の増加、コンピューティング速度の増加、コンピューティングリソースの使用量の増加等を引き起こし得る。加えて、または代替として、より高いサンプリングレートをサポートする、１つまたはそれを上回る眼追跡カメラの可用性は、より低いサンプリングレートより限定され得る。結果として、より高いサンプリングレートにおける眼追跡は、よりコストがかかり、ウェアラブルシステム内に実装することがより困難であり得る。

より低いサンプリングレートを使用することと関連付けられる、単純性を留保しながら、より高いサンプリングレートを利用することと関連付けられる、利益を取得するために、交互サンプリングが、実装されることができる。図８は、交互サンプリングを使用した左眼および右眼の視覚的データの捕捉を図示する、グラフ８００である。グラフ７００Ａおよび７００Ｂと同様に、グラフ８００では、上側のバーは、左眼の捕捉された視覚的データを表し、下側のバーは、右眼の捕捉された視覚的データを表す。図８に図示されるように、左および右眼のための１つまたはそれを上回る眼追跡カメラは、各眼の視覚的データの捕捉を交互させるように構成されることができる。例えば、図示されるように、左眼に関する視覚的データ（Ｌ１）は、初期時間（ｔ１等）において捕捉される一方、本初期時間の間、右眼に関する視覚的データは、捕捉されない。次の時間（例えば、ｔ２）では、右眼に関する視覚的データ（Ｒ２）は、捕捉されるが、左眼に関する視覚的データは、捕捉されない。いくつかの実装では、右眼に関する視覚的データは、ｔ１の間、捕捉されないが、右眼に関する視覚的データの推定値が、代わりに、時間ｔ１において提供されてもよい。同様に、左眼に関する視覚的データは、ｔ２の間、捕捉されないが、左眼に関する視覚的データの推定値が、代わりに、時間ｔ２において提供されてもよい。本プロセスは、後続時間インスタンスｔ３、ｔ４、ｔ５、ｔ６、ｔ７等にわたって継続することができる。

結果として、眼毎の１つまたはそれを上回る眼追跡カメラは、視覚的データの捕捉を交互させる。グラフ８００内の暗色バーは、左および右眼のための１つまたはそれを上回る眼追跡カメラによって実際に捕捉される、視覚的データを表す。下記に説明されるように、グラフ８００内の明色バーは、左および右眼に関する推定される視覚的データを表す。左眼の視覚的データの捕捉は、初期時間において実施されるように図示されるが、右眼の視覚的データの捕捉が、代わりに実施されてもよい。

図８では、左眼の１つまたはそれを上回る眼追跡カメラは、３０Ｈｚのサンプリングレート（Ｌ１およびＬ３またはＬ３およびＬ５またはＬ５およびＬ７等、左眼の連続する視覚的データサンプリング間の３３．３ｍｓの時間インターバルに対応する）において、左眼の視覚的データを捕捉するように図示される。同様に、右眼の１つまたはそれを上回る追跡するカメラは、３０Ｈｚのサンプリングレート（Ｒ２およびＲ４またはＲ４およびＲ６等、連続サンプル間の３３．３ｍｓの持続時間によって示されるように）において、右眼の視覚的データを捕捉するように図示される。左および右眼の視覚的データの捕捉は、互い違いにされるため、両眼の視覚的データを捕捉するための組み合わせられたサンプリングレートは、６０Ｈｚである（例えば、それぞれ、左眼に関する連続して捕捉および推定されるサンプルＬ１とＬ２との間の１６．７ｍｓの持続時間によって示されるように）。有利なこととして、図８に図示されるアプローチは、図７Ａのアプローチと比較して、サンプリングレートを２倍にすることができる。また、図８に図示されるアプローチは、図７Ａのアプローチと比較して、眼毎のサンプリング待ち時間を半分に低減させることができる（推定されるサンプルに起因して）。加えて、図８に図示されるアプローチは、１つまたはそれを上回る眼追跡カメラのフレームレートの増加または電力消費の増加、コンピューティング速度の増加、コンピューティングリソースの使用量の増加（下記に説明されるように、視覚的データを推定するためのコンピューティングリソースのわずかな増加以外）、または同等物を必要としなくてもよい。

左および右眼は、強固に結合され得ることが観察されている。例えば、左および右眼の瞬目は、連動して生じ得る。別の実施例として、左および右眼のサッカードは、眼が、等しく、かつ同一方向に移動し得るように、連動して生じ得る。故に、種々の状況では、左および右眼の視線ベクトルの垂直成分は、同一であり得る。結果として、眼の視覚的データの推定（または予測）は、左眼と右眼（またはその逆）との間の差異が低速変動であり得るという、原理に基づいて実施されることができる。ある場合には、推定は、左および右眼の視覚的データ間の差異を決定することを伴い得る。決定された差異は、フィルタリングされ（例えば、平均すること等によって、低域通過フィルタを使用して）、続いて、その間、その眼の視覚的データが捕捉されない、時間インスタンス（図８における明色バーによって示される、時間インスタンスの間等）において、眼の視覚的データを推定するために使用されることができる。本アプローチを用いることで、左および右眼の垂直移動と水平移動間の差異が、考慮されることができる。

種々の実装では、推定は、左眼の視覚的データ間の差異と、右眼の視覚的データ間の差異とを決定することを伴い得る。差異値は、個別の眼の過去の視覚的データサンプルから決定されることができる。差異値は、左眼および右眼の視線ベクトルの水平成分間の差異を示し得る。いくつかの実装では、決定された差異値は、フィルタリング（例えば、平均）されることができる。続いて、差異またはフィルタリングされた差異値は、左および右眼の視覚的データ間の差異を決定するために使用されることができる（例えば、方程式（１ａ）および（２ａ）に提供されるように）。右眼に関する視覚的データは、左眼の視覚的データと、左および右眼の視覚的データ間の差異とを使用して、推定されることができる（例えば、方程式１（ｂ）に提供されるように）。同様に、左眼に関する視覚的データは、右眼の視覚的データと、左および右眼の視覚的データ間の差異とを使用して、推定されることができる（例えば、方程式２（ｂ）に提供されるように）。右および左眼に関する視覚的データの推定はまた、いくつかの実装では、予測フィルタを使用することを伴い得る。

実施例として、視覚的データは、時間インスタンスｎ＝［０、１、２、３、．．．、Ｎ］において捕捉されることができる。左眼の視覚的データは、偶数時間インスタンスにおいて捕捉され、セットＬ［ｎ］によって表されることができる。右眼の視覚的データは、奇数時間インスタンスにおいて捕捉され、セットＲ［ｎ］によって表されることができる。ある場合には、右眼の視覚的データは、偶数時間インスタンスにおいて捕捉されることができ、左眼の視覚的データは、奇数時間インスタンスにおいて捕捉されることができる。２つの眼の視覚的データ間の差異は、セットＤ［ｎ］によって表され得る。例えば、いくつかの実装では、偶数時間インスタンス（その間、左眼の視覚的データは、捕捉される一方、右眼の視覚的データは、捕捉されない）にわたって、右眼に関する視覚的データＲ’［ｎ］は、以下のように推定されることができる。

Ｄ［ｎ］＝（Ｌ［ｎ］＋Ｌ［ｎ－２］）／２－Ｒ［ｎ－１］ （１ａ）

Ｒ’［ｎ］＝Ｌ［ｎ］－Ｄ［ｎ］ （１ｂ）

奇数時間インスタンス（その間、右眼の視覚的データは、捕捉される一方、左眼の視覚的データは、捕捉されない）にわたって、左眼に関する視覚的データＬ’［ｎ］は、以下のように推定されることができる。

Ｄ［ｎ］＝Ｌ［ｎ－１］－（Ｒ［ｎ］＋Ｒ［ｎ－２］）／２ （２ａ）

Ｌ’［ｎ］＝Ｒ［ｎ］＋Ｄ［ｎ］ （２ｂ）

故に、上記に説明されるように、特定の時間の間の第１の眼（例えば、左眼）に関する視覚的データは、特定の時間（例えば、ｔ_ｎ）の間に捕捉された第２の眼（例えば、右眼）の視覚的データから推定されることができる。本実施例では、特定の時間（ｔ_ｎ）は、３つの時間インスタンス（ｔ_ｎ、ｔ_ｎー１、ｔ_ｎ－２）のシーケンスにおける、第３の時間であってもよい。本第３の時間ｔ_ｎは、第２の時間ｔ_ｎ－１の直前であってもよく、これは、第１の時間ｔ_ｎー２の直前である。いくつかの実装では、上記に議論されるように、第３の時間ｔ_ｎの間の第１の眼（例えば、左眼）に関する視覚的データは、先行時間（例えば、ｔ_ｎー１）の間に捕捉された第１の眼（例えば、左眼）に関する視覚的データと、現在の時間（例えば、第３の時間ｔ_ｎ）の間に捕捉された第２の眼（例えば、右眼）に関するビデオデータと、ビデオデータが第２の眼に関して捕捉された先行時間、例えば、第１の時間ｔ_ｎ－２との平均とから推定されることができる。いくつかの実装では、例えば、第３の時間ｔ_ｎの間の第１の眼（例えば、左眼）に関する視覚的データは、先行時間（例えば、ｔ_ｎ－１）の間に捕捉された第１の眼（例えば、左眼）に関する視覚的データと第２の眼に関するビデオデータの本平均との間の差異から推定されることができる。いくつかの実装では、例えば、差異は、１）第３の時間ｔ_ｎと、その間、ビデオデータが第２の眼に関して捕捉された、先行時間に対応する、第１の時間ｔ_ｎ－２との間に捕捉された第２の眼の平均された視覚的データと、２）先行時間ｔ_ｎ－１（例えば、眼の視覚的データを捕捉するための第３の時間ｔ_ｎの直前の時間）の間に捕捉された第１の眼に関する視覚的データとの間の差異として、決定されることができる。本差異は、特定の時間ｔ_ｎの間に捕捉された第２の眼（例えば、右眼）の視覚的データと組み合わせられ、特定の時間の間の第１の眼（例えば、左眼）に関する視覚的データを推定することができる。いくつかの実装では、平均は、低域通過フィルタリングに寄与することができる。平均は、低域通過フィルタを適用することを表し得る（例えば、雑音に起因する誤差を除去または限定するために）。当然ながら、本アプローチは、ビデオデータが左眼に関して捕捉された時間の間の右眼に関する視覚的データを推定するためにも適用されることができる。同様に、左眼が、第１の眼であってもよく、右眼が、第２の眼であってもよい、または右眼が、第１の眼であってもよく、左眼が、第２の眼であってもよい。図８に図示されるように、種々の実装では、左および右眼は、それに関して、眼追跡システムが一連の時間インスタンスを通して進行するにつれて、ビデオデータが収集され、ビデオデータが推定される、眼として、交互するであろう。

いくつかの実装では、視覚的データの付加的サンプルが、推定のために使用されることができる。例えば、眼の視覚的データを捕捉するための１つまたは２つの時間インスタンスの直前の時間よりさらに遡った視覚的データのサンプルも、使用されることができる。より多くのサンプルを推定にを含むことは、潜在的に、推定の正確度を改良することができる。故に、２つを上回る時間インスタンスにわたる平均が、いくつかの実装では、使用されてもよい。推定するための他の方法もまた、採用されてもよい。ある場合には、例えば、カルマンフィルタ、機械学習、深層学習等が、推定のために使用されることができる。

いくつかの実装では、推定問題は、概して、視覚的データＬ’［ｎ］およびＲ’［ｎ］を、個別の眼追跡カメラによって交互に捕捉される、視覚的データの以前のサンプル、例えば、Ｌ［ｎ］、Ｒ［ｎ－１］、Ｌ［ｎ－２］、Ｒ［ｎ－３］、Ｌ［ｎ－４］等のうちの任意の１つまたはそれを上回るものから推定する方法として述べられることができる。捕捉された視覚的データサンプルは、幾分、雑音があり得る。推定問題は、特に、雑音の性質および／または視線ベクトルの周波数成分が既知である場合、カルマンフィルタを使用して、解法されることができる。カルマンフィルタは、個別の眼追跡カメラが眼の視覚的データを捕捉しないとき、左および右眼の視線ベクトルの同時確率分布を推定し、同時確率に基づいて、１つまたはそれを上回る時間インスタンスにおける、左および／または右眼の視覚的データを推定するために使用されることができる。カルマンフィルタは、推定および雑音除去を実施することができる。

ある場合には、機械学習および／または深層学習が、視覚的データを推定するために使用されることができる。視覚的データＬ’［ｎ］およびＲ’［ｎ］を推定するためのネットワーク（ニューラルネットワーク等）が、作成されることができる。ネットワークは、両眼に関して同時に捕捉された、視覚的データの１つまたはそれを上回るデータセットを使用して、訓練されることができる。そのような１つまたはそれを上回るデータセットは、大量のデータを含み得る。続いて、訓練されたネットワークは、視覚的データを、個別の眼追跡カメラによって交互に捕捉された、以前の視覚的データサンプル、例えば、Ｌ［ｎ］、Ｒ［ｎ－１］、Ｌ［ｎ－２］、Ｒ［ｎ－３］、Ｌ［ｎ－４］等のうちの任意の１つまたはそれを上回るものから推定するために使用されることができる。

実験結果は、左および右眼の両方に関する、例えば、３０Ｈｚサンプリングレートにおける交互サンプリング（方程式（１ａ）－（１ｂ）および（２ａ）－（２ｂ）を使用する、推定を伴う）が、図７Ａに図示されるような３０Ｈｚにおける眼のそれぞれのサンプリングと比較して、イベントを検出することに関する誤差の少なくとも３２％の減少、サッカード検出に関するサンプリング待ち時間の少なくとも５０％の低下、瞬目検出に関するサンプリング待ち時間の少なくとも５０％の低下、または同等物をもたらし得ることを示す。これらの改良は、図７Ｂに図示されるような交互サンプリングを伴わない、６０Ｈｚにおける眼のそれぞれのサンプリングに匹敵し得る。類似改良は、眼毎に６０Ｈｚのサンプリングレートにおける交互サンプリングを使用するとき（両眼に関する１２０Ｈｚの組み合わせられたサンプリングレートを伴う）と、眼毎に１２０Ｈｚのサンプリングレートにおける交互サンプリングを使用するとき（両眼に関する２４０Ｈｚの組み合わせられたサンプリングレートを伴う）にも取得されている。

図９は、交互サンプリングを使用した、複数の眼追跡カメラを用いた両眼の視覚的データの捕捉を図示する、グラフ９００である。グラフ９００は、各眼あたり２つの眼追跡カメラが視覚的データを捕捉することを除き、図８のグラフ８００に類似する。例えば、第１の眼追跡カメラは、眼の片側上（こめかみ側上等）に位置付けられることができ、第２の眼追跡カメラは、眼の他側上（眼の鼻側上等）に位置付けられることができる。他の位置も、可能性として考えられる。例えば、第１のカメラは、前額により近い、眼の上方にあることができ、第２のカメラは、頬により近い、眼の下方にあることができる。故に、眼毎に２つの眼追跡カメラが、２つの眼に関する合計４つの眼追跡カメラのために使用されることができる。

図９では、左眼のための両方の眼追跡カメラおよび右眼のための両方の眼追跡カメラは、眼毎に視覚的データを交互に捕捉するように構成される。そして、左眼のための眼追跡カメラもまた、右眼の眼追跡カメラと交互するように構成される。故に、本実施例では、４つのカメラ（左眼のために２つおよび右眼のために２つ）が、眼毎に視覚的データを交互に捕捉するように構成される。例えば、示されるように、左眼に関する視覚的データ（ＦＬ１）が、初期時間（ｔ１等）において、左眼をからより遠く（左こめかみ側、左鼻側、または本明細書に説明されるような別の位置等）に位置付けられ得る、第１の左眼追跡カメラによって捕捉される。そのような時間の間、左眼に関する視覚的データは、左眼のより近く（左鼻側、左こめかみ側、または本明細書に説明されるような別の位置等）に位置付けられ得る、第２の左眼追跡カメラによって捕捉されず、右眼に関する視覚的データも、捕捉されない。次の時間（ｔ２等）において、左眼に関する視覚的データ（Ｌ２）が、第２の左眼追跡カメラによって捕捉される。そのような時間の間、左眼に関する視覚的データは、第１の左眼追跡カメラによって捕捉されず、右眼に関する視覚的データも、捕捉されない。次の時間（ｔ３等）において、右眼に関する視覚的データ（ＦＲ３）が、右眼からより遠く（右側のこめかみ側、右鼻側、または本明細書に説明されるような別の位置等）に位置付けられ得る、第１の右眼追跡カメラによって捕捉される。そのような時間の間、左眼に関する視覚的データは、捕捉されず、右眼に関する視覚的データも、右眼のより近く（右側の鼻側、右こめかみ側、または本明細書に説明されるような別の位置等）に位置付けられ得る、第２の右眼追跡カメラによって捕捉されない。次の時間（ｔ４等）において、右眼に関する視覚的データ（ＦＲ４）が、第２の右眼追跡カメラによって捕捉される。そのような時間の間、左眼に関する視覚的データは、捕捉されず、右眼に関する視覚的データも、第１の眼追跡カメラによって捕捉されない。図９に図示されるように、本プロセスは、後続時間インスタンスｔ５、ｔ６、ｔ７、ｔ８等にわたって、継続することができる。カメラがビデオデータを捕捉する、配列および順序は、異なり得、時間に伴って変動し得る。他の変形例も、可能性として考えられる。

結果として、眼毎の１つまたはそれを上回る眼追跡カメラは、視覚的データの捕捉を交互する。図９に図示される実施例では、４つのサンプリングインターバルが、採用され、４つの眼追跡カメラを使用して、両方の眼に関する完全な視覚的データセットを捕捉する。例えば、各眼追跡カメラが、３０ｆｐｓのフレームレート（または３０Ｈｚのサンプリングレート）で動作することを前提として、４つの眼追跡カメラによって、両方の眼の視覚的データを捕捉するための組み合わせられたフレームレートは、図示される実施例では、２４０ｆｐｓ（または２４０Ｈｚ）である。

図８と同様に、グラフ９００では、暗色バーは、左および右眼に関する１つまたはそれを上回る眼追跡カメラによって捕捉される、視覚的データを表す。グラフ９００内の明色バーは、左および右眼に関する視覚的データの推定を表す。視覚的データの推定は、本明細書に説明されるアプローチのいずれかと同様に、および可能性として、他のアプローチを使用して、実施されることができる。眼毎の複数の眼追跡カメラは、眼あたり１つの眼追跡カメラより多くの視覚的データサンプルを捕捉することができる。例えば、視覚的データサンプルＦＬ［ｎ］、Ｌ［ｎ－１］、ＦＲ［ｎ－３］、Ｒ［ｎ－４］、ＦＬ［ｎ－５］等が、図９に図示されるように、複数の眼追跡カメラによって捕捉されることができる。捕捉された視覚的データサンプルは、各サンプルの正確度が、異なり、かつ経時的に変動し得るように、異なる雑音性質を有し得る。例えば、ユーザが、左の遠くを見ている場合、左鼻側に位置付けられる眼追跡カメラは、左眼のクリアなビューを有していない場合があり、これは、そのようなカメラによって捕捉された雑音のある視覚的データサンプルをもたらし得る。しかしながら、左こめかみ側に位置付けられる眼追跡カメラは、左眼のクリアなビューを有し、結果として、左眼のより雑音が少ない視覚的データサンプルを捕捉し得る。左こめかみ側に位置付けられる眼追跡カメラによって捕捉された視覚的データサンプルは、例えば、右眼の視覚的データ（Ｒ’［ｎ］またはＦＲ’［ｎ］等）を推定するために使用されることができる。
例示的眼追跡のための方法

図１０は、眼追跡のための例示的方法１０００を図示する、フローチャートである。方法１０００は、ウェアラブルディスプレイシステム２００、４００、または６００の実装によって、例えば、図６を参照して説明される眼追跡システム６０１または他の構成を使用して、実施されることができる。方法１０００の種々の実装では、下記に説明されるブロックは、任意の好適な順序またはシーケンスで実施されることができ、ブロックは、省略される、組み合わせられる、または再配列されることができる、他のブロックが、追加されることができる、または任意のこれらの組み合わせであることができる。

ブロック１０１０では、方法１０００は、１つまたはそれを上回る眼追跡カメラを使用して、左眼（または、ある場合には、右眼）の視覚的データを捕捉することができる。ブロック１０２０では、方法１０００は、１つまたはそれを上回る眼追跡カメラを使用して、右眼（または、ある場合には、左眼）の視覚的データを捕捉することができる。本明細書に説明されるように、１つまたはそれを上回る眼追跡カメラは、右および左眼の視覚的データの捕捉を交互させることができる。結果として、ブロック１０１０では、右眼の視覚的データは、捕捉されなくてもよい。同様に、ブロック１０２０では、左眼の視覚的データは、捕捉されなくてもよい。図８を参照すると、例えば、ブロック１０１０は、時間ｔ１に対応し得、ブロック１０２０は、時間ｔ２に対応し得る。

ブロック１０３０では、方法１０００は、その間、左眼の視覚的データが、１つまたはそれを上回る眼追跡カメラによって捕捉されない、１つまたはそれを上回る時間インスタンスにおいて、左眼の視覚的データを推定することができる。ブロック１０４０では、方法１０００は、その間、右眼の視覚的データが、１つまたはそれを上回る眼追跡カメラによって捕捉されない、１つまたはそれを上回る時間インスタンスにおいて、右眼の視覚的データを推定することができる。本明細書に説明される推定技法のいずれかが、方法１０００によって利用されることができる。

ブロック１０５０では、方法１０００は、推定される視覚的データおよび／または捕捉された視覚的データに基づいて、左および／または右眼の眼移動（または姿勢）を決定することができる。ビデオデータを収集するおよび／または推定のためのデータ捕捉の１つまたはそれを上回る反復は、繰り返され、眼移動を決定するために使用されてもよい。ウェアラブルディスプレイシステムの１つまたはそれを上回るプロセッサは、本明細書に説明されるように、推定される視覚的データおよび／または捕捉された視覚的データを分析し、眼追跡のための閃光の位置および移動を決定することができる。本明細書に解説されるように、眼追跡は、ユーザへの提示のために仮想コンテンツをレンダリングする方法を決定することを補助することができる。ある場合には、眼追跡は、眼に関する眼姿勢を別個に決定し、それによって、個別の眼への仮想コンテンツの提示がその眼に対して動的に調整されることを可能にしてもよい。
付加的実施例

実施例１．ウェアラブルディスプレイシステムであって、
光を頭部搭載型ディスプレイの装着者の眼に出力することによって、仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
光を装着者の眼に向かって指向させるように構成される、少なくとも１つの光源と、
第１のサンプリングレートにおいて、装着者の右眼の第１の複数の視覚的データを捕捉するように構成される、右眼追跡カメラと、
第２のサンプリングレートにおいて、装着者の左眼の第２の複数の視覚的データを捕捉するように構成される、左眼追跡カメラであって、第２の複数の視覚的データは、第１の複数の視覚的データと異なるサンプリング時間の間に捕捉される、左眼追跡カメラと、
頭部搭載型ディスプレイおよび右および左眼追跡カメラに通信可能に結合される、処理電子機器であって、処理電子機器は、
第１および第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、その間、第１の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、右眼の視覚的データを推定し、
第１および第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、その間、第２の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、左眼の視覚的データを推定し、
右または左眼のうちの少なくとも１つの眼移動を決定し、右眼の眼移動の決定は、右眼の推定される視覚的データの少なくともいくつかおよび右眼の第１の複数の視覚的データの少なくともいくつかの視覚的データに基づき、左眼の眼移動の決定は、左眼の推定される視覚的データの少なくともいくつかおよび左眼の第２の複数の視覚的データの少なくともいくつかの視覚的データに基づき、
頭部搭載型ディスプレイに、右または左眼のうちの少なくとも１つの眼移動に基づいて、仮想コンテンツを提示させる、
ように構成される、処理電子機器と、
を備える、ウェアラブルディスプレイシステム。

実施例２．少なくとも１つの光源は、赤外線光源を備える、実施例１に記載のウェアラブルディスプレイシステム。

実施例３．少なくとも１つの光源は、光を左眼に向かって指向させるように構成される、第１の光源と、光を右眼に向かって指向させるように構成される、第２の光源とを備える、実施例１または実施例２に記載のウェアラブルディスプレイシステム。

実施例４．右および左眼追跡カメラの組み合わせられたサンプリングレートは、第１および第２のサンプリングレートの総計を備える、実施例１－３のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例５．第１のサンプリングレートは、第２のサンプリングレートに等しい、実施例１－４のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例６．右および左眼追跡カメラは、第１および第２の複数の視覚的データの捕捉を交互させるように構成される、実施例１－５のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例７．第１および第２のサンプリングレートは、３０Ｈｚを備える、実施例１－６のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例８．右および左眼追跡カメラの組み合わせられたサンプリングレートは、６０Ｈｚを備える、実施例７に記載のウェアラブルディスプレイシステム。

実施例９．処理電子機器は、右眼の第１の複数の視覚的データの視覚的データと左眼の第２の複数の視覚的データの視覚的データとの間の差異の決定に基づいて、右眼または左眼の視覚的データを推定するように構成される、実施例１－８のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例１０．処理電子機器はさらに、
推定される視覚的データのサンプリング時間の間に捕捉される、左眼の第２の複数の視覚的データの視覚的データと、推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される、右眼の第１の複数の視覚的データの視覚的データとの間の第１の差異に基づいて、右眼の視覚的データを推定し、
推定される視覚的データのサンプリング時間の間に捕捉される、右眼の第１の複数の視覚的データの視覚的データと、推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される、左眼の第２の複数の視覚的データの視覚的データとの間の第２の差異に基づいて、左眼の視覚的データを推定する、
ように構成される、実施例９に記載のウェアラブルディスプレイシステム。

実施例１１．処理電子機器はさらに、
差異と、推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される、右眼の第１の複数の視覚的データの視覚的データとに基づいて、右眼の視覚的データを推定し、
差異と、推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される、左眼の第２の複数の視覚的データの視覚的データとに基づいて、左眼の視覚的データを推定する、
ように構成される、実施例９－１０のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例１２．処理電子機器はさらに、差異をフィルタリングすることに基づいて、右または左眼の視覚的データを推定するように構成される、実施例９－１１のいずれか１項に記載のウェアラブルディスプレイシステム。

実施例１３．差異をフィルタリングすることは、平均することを含む、実施例１２に記載のウェアラブルディスプレイシステム。

実施例１４．眼追跡のための方法であって、
第１のカメラを用いて、第１のサンプリングレートにおいて、右眼の第１の複数の視覚的データを捕捉することと、
第２のカメラを用いて、第２のサンプリングレートにおいて、左眼の第２の複数の視覚的データを捕捉することであって、第２の複数の視覚的データは、第１の複数の視覚的データと異なるサンプリング時間の間に捕捉される、ことと、
処理電子機器によって、
その間、それに関して視覚的データが推定されている、眼の視覚的データが、捕捉されていない、サンプリング時間において、第１および第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、右または左眼のうちの少なくとも１つの視覚的データを推定することと、
推定される視覚的データの少なくともいくつかおよび第１または第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、眼の眼移動を決定することと、
を含む、方法。

実施例１５．処理電子機器によって、ディスプレイに、少なくとも部分的に、眼移動に基づいて、仮想コンテンツをレンダリングさせることをさらに含む、実施例１４に記載の方法。

実施例１６．眼移動を決定することは、
右眼の推定される視覚的データの少なくともいくつかおよび右眼の第１の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、右眼の眼移動を決定することと、
左眼の推定される視覚的データの少なくともいくつかおよび左眼の第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、左眼の眼移動を決定することと、
を含む、実施例１４－１５のうちのいずれか１項に記載の方法。

実施例１７．第１および第２のカメラの組み合わせられたサンプリングレートは、第１および第２のサンプリングレートの総計を備える、実施例１４－１６のうちのいずれか１項に記載の方法。

実施例１８．第１のサンプリングレートは、第２のサンプリングレートに等しい、実施例１４－１７のうちのいずれか１項に記載の方法。

実施例１９．第１のカメラおよび第２のカメラは、交互に、第１および第２の複数の視覚的データを捕捉する、実施例１４－１８のうちのいずれか１項に記載の方法。

実施例２０．第１および第２のサンプリングレートは、３０Ｈｚを備える、実施例１４－１８のうちのいずれか１項に記載の方法。

実施例２１．第１および第２のカメラの組み合わせられたサンプリングレートは、６０Ｈｚを備える、実施例１９に記載の方法。

実施例２２．視覚的データを推定することは、右眼の第１の複数の視覚的データの視覚的データと左眼の第２の複数の視覚的データの視覚的データとの間の差異を決定することを含む、実施例１４－２１のうちのいずれか１項に記載の方法。

実施例２３．
右眼の視覚的データを推定することは、推定される視覚的データのサンプリング時間の間に捕捉される、左眼の第２の複数の視覚的データの視覚的データと、推定される視覚的データのサンプリング時間に先立ったサンプリング時間の間に捕捉される、右眼の第１の複数の視覚的データの視覚的データとの間の第１の差異を決定することを含み、
左眼の視覚的データを推定することは、推定される視覚的データのサンプリング時間の間に捕捉される、右眼の第１の複数の視覚的データの視覚的データと、推定される視覚的データのサンプリング時間に先立ったサンプリング時間の間に捕捉される、左眼の第２の複数の視覚的データの視覚的データとの間の第２の差異を決定することを含む、
実施例２２に記載の方法。

実施例２４．
右眼の第１の複数の視覚的データの視覚的データのサンプリング時間は、推定される視覚的データのサンプリング時間の直前であって、
左眼の第２の複数の視覚的データの視覚的データのサンプリング時間は、推定される視覚的データのサンプリング時間の直前である、
実施例２３に記載の方法。

実施例２５．処理電子機器によって、
差異と、推定される視覚的データのサンプリング時間に先立ったサンプリング時間の間に捕捉される、右眼の第１の複数の視覚的データの視覚的データとに基づいて、右眼の視覚的データを推定することと、
差異と、推定される視覚的データのサンプリング時間に先立ったサンプリング時間の間に捕捉される、左眼の第２の複数の視覚的データの視覚的データとに基づいて、左眼の視覚的データを推定することと、
をさらに含む、実施例２２－２４のうちのいずれか１項に記載の方法。

実施例２６．
右眼の第１の複数の視覚的データの視覚的データのサンプリング時間は、推定される視覚的データのサンプリング時間の直前であって、
左眼の第２の複数の視覚的データの視覚的データのサンプリング時間は、推定される視覚的データのサンプリング時間の直前である、
実施例２５に記載の方法。

実施例２７．低域通過フィルタによって、差異をフィルタリングすることをさらに含む、実施例２２－２６のうちのいずれか１項に記載の方法。

実施例２８．眼追跡システムであって、
第１のサンプリングレートにおいて、ユーザの右眼の第１の複数の視覚的データを捕捉するように構成される、第１のカメラと、
第２のサンプリングレートにおいて、ユーザの左眼の第２の複数の視覚的データを捕捉するように構成される、第２のカメラであって、第２の複数の視覚的データは、第１の複数の視覚的データと異なるサンプリング時間の間に捕捉される、第２のカメラと、
第１および第２のカメラに通信可能に結合される、処理電子機器であって、処理電子機器は、
その間、それに関して視覚的データが推定されている、眼の視覚的データが、捕捉されていない、サンプリング時間において、第１および第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、右または左眼のうちの少なくとも１つの視覚的データを推定し、
推定される視覚的データの少なくともいくつかおよび第１または第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、眼の眼移動を決定する、
ように構成される、処理電子機器と、
を備える、眼追跡システム。

実施例２９．処理電子機器は、
右眼の推定される視覚的データの少なくともいくつかおよび右眼の第１の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、右眼の眼移動を決定し、
左眼の推定される視覚的データの少なくともいくつかおよび左眼の第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、左眼の眼移動を決定する、
ように構成される、実施例２８に記載の眼追跡システム。

実施例３０．第１および第２のカメラの組み合わせられたサンプリングレートは、第１および第２のサンプリングレートの総計を備える、実施例２８－２９のうちのいずれか１項に記載の眼追跡システム。

実施例３１．第１のサンプリングレートは、第２のサンプリングレートに等しい、実施例２８－３０のうちのいずれか１項に記載の眼追跡システム。

実施例３２．第１および第２のカメラは、第１および第２の複数の視覚的データの捕捉を交互させるように構成される、実施例２８－３１のうちのいずれか１項に記載の眼追跡システム。

実施例３３．第１および第２のサンプリングレートは、３０Ｈｚを備える、実施例２８－３２のうちのいずれか１項に記載の眼追跡システム。

実施例３４．第１および第２のカメラの組み合わせられたサンプリングレートは、６０Ｈｚを備える、実施例３３に記載の眼追跡システム。

実施例３５．処理電子機器は、右眼の第１の複数の視覚的データの少なくとも１つの視覚的データと左眼の第２の複数の視覚的データの少なくとも１つの視覚的データとの間の差異の決定に基づいて、視覚的データを推定するように構成される、実施例２８－３４のうちのいずれか１項に記載の眼追跡システム。

実施例３６．処理電子機器はさらに、
推定される視覚的データのサンプリング時間の間に捕捉される、左眼の第２の複数の視覚的データの視覚的データと、推定される視覚的データのサンプリング時間に先立ったサンプリング時間の間に捕捉される、右眼の第１の複数の視覚的データの視覚的データとの間の第１の差異の決定に基づいて、右眼の視覚的データを推定し、
推定される視覚的データのサンプリング時間の間に捕捉される、右眼の第１の複数の視覚的データの視覚的データと、推定される視覚的データのサンプリング時間に先立ったサンプリング時間の間に捕捉される、左眼の第２の複数の視覚的データの視覚的データとの間の第２の差異の決定に基づいて、左眼の視覚的データを推定する、
ように構成される、実施例３５に記載の眼追跡システム。

実施例３７．
右眼の第１の複数の視覚的データの視覚的データのサンプリング時間は、推定される視覚的データのサンプリング時間の直前であって、
左眼の第２の複数の視覚的データの視覚的データのサンプリング時間は、推定される視覚的データのサンプリング時間の直前である、
実施例３６に記載の眼追跡システム。

実施例３８．処理電子機器はさらに、
差異と、推定される視覚的データのサンプリング時間に先立ったサンプリング時間の間に捕捉される、右眼の第１の複数の視覚的データの視覚的データとに基づいて、右眼の視覚的データを推定し、
差異と、推定される視覚的データのサンプリング時間に先立ったサンプリング時間の間に捕捉される、左眼の第２の複数の視覚的データの視覚的データとに基づいて、左眼の視覚的データを推定する、
ように構成される、実施例３５－３７のうちのいずれか１項に記載の眼追跡システム。

実施例３９．
右眼の第１の複数の視覚的データの視覚的データのサンプリング時間は、推定される視覚的データのサンプリング時間の直前であって、
左眼の第２の複数の視覚的データの視覚的データのサンプリング時間は、推定される視覚的データのサンプリング時間の直前である、
実施例３８に記載の眼追跡システム。

実施例４０．処理電子機器はさらに、低域通過フィルタを使用して、差異をフィルタリングすることに基づいて、右または左眼の視覚的データを推定するように構成される、実施例３５－３９のうちのいずれか１項に記載の眼追跡システム。

実施例４１．実施例２８－４０のうちのいずれか１項に記載の眼追跡システムと、仮想コンテンツを提示するように構成される、ディスプレイとを備える、ウェアラブルディスプレイシステムであって、処理電子機器は、ディスプレイに通信可能に結合され、さらに、ディスプレイに、眼移動に基づいて、仮想コンテンツを提示させるように構成される、ウェアラブルディスプレイシステム。

実施例４２．頭部搭載型ディスプレイを備える、実施例４１に記載のウェアラブルディスプレイシステム。

実施例４３．ウェアラブルディスプレイシステムであって、
装着者の頭部上に支持されるように構成される、フレームと、
フレーム上に配置される、頭部搭載型ディスプレイであって、光を装着者の眼に出力することによって、仮想画像コンテンツを装着者に提示するように構成される、ディスプレイと、
装着者の右眼の第１の複数の視覚的データを捕捉するように構成される、右眼追跡カメラと、
装着者の左眼の第２の複数の視覚的データを捕捉するように構成される、左眼追跡カメラと、
を備え、第２の複数の視覚的データは、第１の複数の視覚的データと異なるサンプリング時間の間に捕捉され、該左眼追跡カメラは、該右眼追跡カメラが視覚的データを捕捉している期間の間、視覚的データを捕捉せず、該右眼追跡カメラは、該左眼追跡カメラが視覚的データを捕捉している期間の間、視覚的データを捕捉しない、ウェアラブルディスプレイシステム。

実施例４４．光を装着者の眼に向かって指向させるように構成される、少なくとも１つの光源をさらに備える、実施例４３に記載のウェアラブルディスプレイシステム。

実施例４５．少なくとも１つの光源は、赤外線光源を備える、実施例４４に記載のウェアラブルディスプレイシステム。

実施例４６．少なくとも１つの光源は、光を左眼に向かって指向させるように構成される、第１の光源と、光を右眼に向かって指向させるように構成される、第２の光源とを備える、実施例４４－４５のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例４７．右および左眼追跡カメラの組み合わせられたサンプリングレートは、左および右眼追跡カメラのサンプリングレートの総計を備える、実施例４３－４６のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例４８．左眼追跡カメラのサンプリングレートは、右眼追跡カメラのサンプリングレートに等しい、実施例４７に記載のウェアラブルディスプレイシステム。

実施例４９．左および右眼追跡カメラのサンプリングレートは、３０Ｈｚを備える、実施例４８に記載のウェアラブルディスプレイシステム。

実施例５０．左および右眼追跡カメラの組み合わせられたサンプリングレートは、６０Ｈｚを備える、実施例４９に記載のウェアラブルディスプレイシステム。

実施例５１．右および左眼追跡カメラは、第１および第２の複数の視覚的データの捕捉を交互させるように構成される、実施例４３－５０のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例５２．頭部搭載型ディスプレイおよび右および左眼追跡カメラに通信可能に結合される、処理電子機器をさらに備える、実施例４３または５１のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例５３．処理電子機器は、その間、第１の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、右眼の視覚的データを推定し、その間、第２の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、左眼の視覚的データを推定するように構成される、実施例５２に記載のウェアラブルディスプレイシステム。

実施例５４．処理電子機器は、
少なくともいくつかの視覚的データに基づいて、その間、第１の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、右眼の視覚的データを推定し、
少なくともいくつかの視覚的データに基づいて、その間、第２の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、左眼の視覚的データを推定する、
ように構成される、実施例５２または５３のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例５５．処理電子機器は、第１および第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、その間、第１の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、右眼の視覚的データを推定し、
第１および第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、その間、第２の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、左眼の視覚的データを推定する、
ように構成される、実施例５２－５４のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例５６．処理電子機器は、捕捉された視覚的データを使用して、右または左眼のうちの少なくとも１つの眼移動を決定するように構成される、実施例５２－５５のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例５７．処理電子機器は、右または左眼のうちの少なくとも１つの眼移動を決定するように構成され、右眼の眼移動の決定は、右眼の少なくともいくつかの推定される視覚的データと、右眼の第１の複数の視覚的データの少なくともいくつかの視覚的データとに基づき、左眼の眼移動の決定は、左眼の少なくともいくつかの推定される視覚的データと、左眼の第２の複数の視覚的データの少なくともいくつかの視覚的データとに基づく、実施例５２－５６のいずれかに記載のウェアラブルディスプレイシステム。

実施例５８．処理電子機器は、第１の複数の視覚的データの視覚的データと第２の複数の視覚的データの視覚的データとの間の差異の決定に基づいて、その間、第１の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、右眼の視覚的データを推定し、その間、第２の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、左眼の視覚的データを推定するように構成される、実施例５２－５７のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例５９．処理電子機器はさらに、
推定される視覚的データのサンプリング時間の間に捕捉される第２の複数の視覚的データの視覚的データと、推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される、第１の複数の視覚的データの視覚的データとの間の第１の差異に基づいて、右眼の視覚的データを推定し、推定される視覚的データのサンプリング時間の間に捕捉される、第１の複数の視覚的データの視覚的データと、推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される、第２の複数の視覚的データの視覚的データとの間の第２の差異に基づいて、左眼の視覚的データを推定する、
ように構成される、実施例５８に記載のウェアラブルディスプレイシステム。

実施例６０．処理電子機器はさらに、
差異と、推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される、第１の複数の視覚的データの視覚的データとに基づいて、右眼の視覚的データを推定し、
差異と、推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される、第２の複数の視覚的データの視覚的データとに基づいて、左眼の視覚的データを推定する、
ように構成される、実施例５８－５９のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例６１．処理電子機器はさらに、差異をフィルタリングすることに基づいて、右または左眼の視覚的データを推定するように構成される、実施例５８－６０のいずれかに記載のウェアラブルディスプレイシステム。

実施例６２．差異をフィルタリングすることは、平均することを含む、実施例６１に記載のウェアラブルディスプレイシステム。

実施例６３．ウェアラブルディスプレイシステムであって、
光を頭部搭載型ディスプレイの装着者の眼に出力することによって、仮想コンテンツを提示するように構成される、頭部搭載型ディスプレイと、
装着者の右眼の第１の複数の視覚的データを捕捉するように構成される、右眼追跡カメラと、
装着者の左眼の第２の複数の視覚的データを捕捉するように構成される、左眼追跡カメラと、
頭部搭載型ディスプレイおよび右および左眼追跡カメラに通信可能に結合される、処理電子機器であって、処理電子機器は、
少なくともいくつかの視覚的データに基づいて、右眼の視覚的データを推定し、
少なくともいくつかの視覚的データに基づいて、左眼の視覚的データを推定する、
ように構成される、処理電子機器と、
を備える、ウェアラブルディスプレイシステム。

実施例６４．光を装着者の眼に向かって指向させるように構成される、少なくとも１つの光源をさらに備える、実施例６３に記載のウェアラブルディスプレイシステム。

実施例６５．少なくとも１つの光源は、赤外線光源を備える、実施例６４に記載のウェアラブルディスプレイシステム。

実施例６６．少なくとも１つの光源は、光を左眼に向かって指向させるように構成される、第１の光源と、光を右眼に向かって指向させるように構成される、第２の光源とを備える、実施例６４－６５のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例６７．右および左眼追跡カメラの組み合わせられたサンプリングレートは、左および右眼追跡カメラのサンプリングレートの総計を備える、実施例６３－６６のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例６８．左眼追跡カメラのサンプリングレートは、右眼追跡カメラのサンプリングレートに等しい、実施例６７に記載のウェアラブルディスプレイシステム。

実施例６９．左および右眼追跡カメラのサンプリングレートは、３０Ｈｚを備える、実施例６８に記載のウェアラブルディスプレイシステム。

実施例７０．左および右眼追跡カメラの組み合わせられたサンプリングレートは、６０Ｈｚを備える、実施例６９に記載のウェアラブルディスプレイシステム。

実施例７１．右および左眼追跡カメラは、第１および第２の複数の視覚的データの捕捉を交互させるように構成される、実施例６３－７０のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例７２．処理電子機器は、その間、第１の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、右眼の視覚的データを推定し、その間、第２の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、左眼の視覚的データを推定するように構成される、実施例６３または７１のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例７３．処理電子機器は、
第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、右眼の視覚的データを推定し、
第１の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、左眼の視覚的データを推定する、
ように構成される、実施例６３－７２のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例７４．処理電子機器は、
第１の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、右眼の視覚的データを推定し、
第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、左眼の視覚的データを推定する、
ように構成される、
実施例６３－７３のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例７５．処理電子機器は、
第１および第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、その間、第１の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間にわたって、右眼の視覚的データを推定し、
第１および第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、その間、第２の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間にわたって、左眼の視覚的データを推定する、
ように構成される、実施例６３または７１のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例７６．処理電子機器は、捕捉された視覚的データに基づいて、右または左眼のうちの少なくとも１つの眼移動を決定するように構成される、実施例６３－７５のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例７７．処理電子機器は、右または左眼のうちの少なくとも１つの眼移動を決定するように構成され、右眼の眼移動の決定は、右眼の少なくともいくつかの推定される視覚的データと、右眼の第１の複数の視覚的データの少なくともいくつかの視覚的データとに基づき、左眼の眼移動の決定は、左眼の少なくともいくつかの推定される視覚的データと、左眼の第２の複数の視覚的データの少なくともいくつかの視覚的データとに基づく、実施例６３－７６のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例７８．処理電子機器は、第１の複数の視覚的データの視覚的データと第２の複数の視覚的データの視覚的データとの間の差異の決定に基づいて、その間、第１の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、右眼の視覚的データを推定し、その間、第２の複数の視覚的データの視覚的データが捕捉されていない、サンプリング時間において、左眼の視覚的データを推定するように構成される、実施例６３－７７のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例７９．処理電子機器はさらに、
推定される視覚的データのサンプリング時間の間に捕捉される、第２の複数の視覚的データの視覚的データと、推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される、第１の複数の視覚的データの視覚的データとの間の第１の差異に基づいて、右眼の視覚的データを推定し、
推定される視覚的データのサンプリング時間の間に捕捉される、第１の複数の視覚的データの視覚的データと、推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される、第２の複数の視覚的データの視覚的データとの間の第２の差異に基づいて、左眼の視覚的データを推定する、
ように構成される、実施例７８に記載のウェアラブルディスプレイシステム。

実施例８０．処理電子機器はさらに、
差異と、推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される、第１の複数の視覚的データの視覚的データとに基づいて、右眼の視覚的データを推定し、
差異と、推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される、第２の複数の視覚的データの視覚的データとに基づいて、左眼の視覚的データを推定する、
ように構成される、実施例７８－７９のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例８１．処理電子機器はさらに、差異をフィルタリングすることに基づいて、右または左眼の視覚的データを推定するように構成される、実施例７８－８０のうちのいずれか１項に記載のウェアラブルディスプレイシステム。

実施例８２．差異をフィルタリングすることは、平均することを含む、実施例８１に記載のウェアラブルディスプレイシステム。

実施例８３．先行実施例のいずれかに記載のシステムを使用および／または動作させる方法。

実施例８４．図示および／または説明されるされるような装置および／または方法。
付加的考慮点

本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、アニメーションまたはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。加えて、ＡＲ、ＭＲ、ＶＲウェアラブルデバイスのためのリアルタイム眼追跡は、算出上困難であって、本明細書に開示される眼追跡技法は、効率的ＣＰＵ、ＧＰＵ、ＡＳＩＣ、またはＦＰＧＡを利用してもよい。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを含意することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図するものではない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成し得る。

Claims (27)

1. ウェアラブルディスプレイシステムであって、
   光を頭部搭載型ディスプレイの装着者の眼に出力することによって、仮想コンテンツを提示するように構成される頭部搭載型ディスプレイと、
   光を前記装着者の眼に向かって指向させるように構成される少なくとも１つの光源と、
   第１のサンプリングレートにおいて、前記装着者の右眼の第１の複数の視覚的データを捕捉するように構成される右眼追跡カメラと、
   第２のサンプリングレートにおいて、前記装着者の左眼の第２の複数の視覚的データを捕捉するように構成される左眼追跡カメラであって、前記第２の複数の視覚的データは、前記第１の複数の視覚的データと異なるサンプリング時間の間に捕捉される、左眼追跡カメラと、
   前記頭部搭載型ディスプレイおよび前記右および左眼追跡カメラに通信可能に結合される処理電子機器であって、前記処理電子機器は、
   前記第１および第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、その間、前記第１の複数の視覚的データの視覚的データが捕捉されていないサンプリング時間において、前記右眼の視覚的データを推定することと、
   前記第１および第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、その間、前記第２の複数の視覚的データの視覚的データが捕捉されていないサンプリング時間において、前記左眼の視覚的データを推定することと、
   前記右または左眼のうちの少なくとも１つの眼移動を決定することであって、前記右眼の眼移動の決定は、前記右眼の前記推定される視覚的データの少なくともいくつかおよび前記右眼の前記第１の複数の視覚的データの少なくともいくつかの視覚的データに基づき、前記左眼の眼移動の決定は、前記左眼の前記推定される視覚的データの少なくともいくつかおよび前記左眼の前記第２の複数の視覚的データの少なくともいくつかの視覚的データに基づく、ことと、
   前記頭部搭載型ディスプレイに、前記右または左眼のうちの少なくとも１つの眼移動に基づいて、前記仮想コンテンツを提示させることと
   を行うように構成される、処理電子機器と
   を備える、ウェアラブルディスプレイシステム。
2. 前記少なくとも１つの光源は、赤外線光源を備える、前記請求項のいずれかに記載のウェアラブルディスプレイシステム。
3. 前記少なくとも１つの光源は、光を前記左眼に向かって指向させるように構成される第１の光源と、光を前記右眼に向かって指向させるように構成される第２の光源とを備える、前記請求項のいずれかに記載のウェアラブルディスプレイシステム。
4. 前記右および左眼追跡カメラの組み合わせられたサンプリングレートは、前記第１および第２のサンプリングレートの総計を備える、前記請求項のいずれかに記載のウェアラブルディスプレイシステム。
5. 前記第１のサンプリングレートは、前記第２のサンプリングレートに等しい、前記請求項のいずれかに記載のウェアラブルディスプレイシステム。
6. 前記右および左眼追跡カメラは、前記第１および第２の複数の視覚的データの捕捉を交互させるように構成される、前記請求項のいずれかに記載のウェアラブルディスプレイシステム。
7. 前記第１および第２のサンプリングレートは、３０Ｈｚを備える、前記請求項のいずれかに記載のウェアラブルディスプレイシステム。
8. 前記右および左眼追跡カメラの組み合わせられたサンプリングレートは、６０Ｈｚを備える、請求項７に記載のウェアラブルディスプレイシステム。
9. 前記処理電子機器は、前記右眼の前記第１の複数の視覚的データの視覚的データと前記左眼の前記第２の複数の視覚的データの視覚的データとの間の差異の決定に基づいて、前記右眼または前記左眼の視覚的データを推定するように構成される、前記請求項のいずれかに記載のウェアラブルディスプレイシステム。
10. 前記処理電子機器はさらに、
    前記推定される視覚的データのサンプリング時間の間に捕捉される前記左眼の前記第２の複数の視覚的データの視覚的データと、前記推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される前記右眼の前記第１の複数の視覚的データの視覚的データとの間の第１の差異に基づいて、前記右眼の視覚的データを推定することと、
    前記推定される視覚的データのサンプリング時間の間に捕捉される前記右眼の前記第１の複数の視覚的データの視覚的データと、前記推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される前記左眼の前記第２の複数の視覚的データの視覚的データとの間の第２の差異に基づいて、前記左眼の視覚的データを推定することと
    を行うように構成される、請求項９に記載のウェアラブルディスプレイシステム。
11. 前記処理電子機器はさらに、
    前記差異と、前記推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される前記右眼の前記第１の複数の視覚的データの視覚的データとに基づいて、前記右眼の視覚的データを推定することと、
    前記差異と、前記推定される視覚的データのサンプリング時間の直前のサンプリング時間の間に捕捉される前記左眼の前記第２の複数の視覚的データの視覚的データとに基づいて、前記左眼の視覚的データを推定することと
    を行うように構成される、請求項９－１０のいずれかに記載のウェアラブルディスプレイシステム。
12. 前記処理電子機器はさらに、前記差異をフィルタリングすることに基づいて、前記右または左眼の視覚的データを推定するように構成される、請求項９－１１のいずれかに記載のウェアラブルディスプレイシステム。
13. 前記差異をフィルタリングすることは、平均することを含む、請求項１２に記載のウェアラブルディスプレイシステム。
14. 眼追跡のための方法であって、
    第１のカメラを用いて、第１のサンプリングレートにおいて、右眼の第１の複数の視覚的データを捕捉することと、
    第２のカメラを用いて、第２のサンプリングレートにおいて、左眼の第２の複数の視覚的データを捕捉することであって、前記第２の複数の視覚的データは、前記第１の複数の視覚的データと異なるサンプリング時間の間に捕捉される、ことと、
    処理電子機器によって、
    その間、それに関して前記視覚的データが推定されている眼の視覚的データが、捕捉されていないサンプリング時間において、前記第１および第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、前記右または左眼のうちの少なくとも１つの視覚的データを推定することと、
    前記推定される視覚的データの少なくともいくつかおよび前記第１または第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、前記眼の眼移動を決定することと
    を含む、方法。
15. 前記処理電子機器によって、ディスプレイに、少なくとも部分的に、前記眼移動に基づいて、仮想コンテンツをレンダリングさせることをさらに含む、請求項１４に記載の方法。
16. 前記眼移動を決定することは、
    前記右眼の前記推定される視覚的データの少なくともいくつかおよび前記右眼の前記第１の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、前記右眼の眼移動を決定することと、
    前記左眼の前記推定される視覚的データの少なくともいくつかおよび前記左眼の前記第２の複数の視覚的データの少なくともいくつかの視覚的データに基づいて、前記左眼の眼移動を決定することと
    を含む、請求項１４－１５のいずれかに記載の方法。
17. 前記第１および第２のカメラの組み合わせられたサンプリングレートは、前記第１および第２のサンプリングレートの総計を備える、請求項１４－１６のいずれかに記載の方法。
18. 前記第１のサンプリングレートは、前記第２のサンプリングレートに等しい、請求項１４－１７のいずれかに記載の方法。
19. 前記第１のカメラおよび前記第２のカメラは、交互に、前記第１および第２の複数の視覚的データを捕捉する、請求項１４－１８のいずれかに記載の方法。
20. 前記第１および第２のサンプリングレートは、３０Ｈｚを備える、請求項１４－１８のいずれかに記載の方法。
21. 前記第１および第２のカメラの組み合わせられたサンプリングレートは、６０Ｈｚを備える、請求項１９に記載の方法。
22. 前記視覚的データを推定することは、前記右眼の前記第１の複数の視覚的データの視覚的データと前記左眼の前記第２の複数の視覚的データの視覚的データとの間の差異を決定することを含む、請求項１４－２１のいずれかに記載の方法。
23. 前記右眼の視覚的データを推定することは、前記推定される視覚的データのサンプリング時間の間に捕捉される前記左眼の前記第２の複数の視覚的データの視覚的データと、前記推定される視覚的データのサンプリング時間に先立ったサンプリング時間の間に捕捉される前記右眼の前記第１の複数の視覚的データの視覚的データとの間の第１の差異を決定することを含み、
    前記左眼の視覚的データを推定することは、前記推定される視覚的データのサンプリング時間の間に捕捉される前記右眼の前記第１の複数の視覚的データの視覚的データと、前記推定される視覚的データのサンプリング時間に先立ったサンプリング時間の間に捕捉される前記左眼の前記第２の複数の視覚的データの視覚的データとの間の第２の差異を決定することを含む、
    請求項２２に記載の方法。
24. 前記右眼の前記第１の複数の視覚的データの視覚的データのサンプリング時間は、前記推定される視覚的データのサンプリング時間の直前であり、
    前記左眼の前記第２の複数の視覚的データの視覚的データのサンプリング時間は、前記推定される視覚的データのサンプリング時間の直前である、
    請求項２３に記載の方法。
25. 前記処理電子機器によって、
    前記差異と、前記推定される視覚的データのサンプリング時間に先立ったサンプリング時間の間に捕捉される前記右眼の前記第１の複数の視覚的データの視覚的データとに基づいて、前記右眼の視覚的データを推定することと、
    前記差異と、前記推定される視覚的データのサンプリング時間に先立ったサンプリング時間の間に捕捉される前記左眼の前記第２の複数の視覚的データの視覚的データとに基づいて、前記左眼の視覚的データを推定することと
    をさらに含む、請求項２２－２４のいずれかに記載の方法。
26. 前記右眼の前記第１の複数の視覚的データの視覚的データのサンプリング時間は、前記推定される視覚的データのサンプリング時間の直前であり、
    前記左眼の前記第２の複数の視覚的データの視覚的データのサンプリング時間は、前記推定される視覚的データのサンプリング時間の直前である、
    請求項２５に記載の方法。
27. 低域通過フィルタによって、前記差異をフィルタリングすることをさらに含む、請求項２２－２６のいずれかに記載の方法。

Images