JP7587070B2 - 拡張または仮想現実ディスプレイシステムのための向上された眼追跡 - Google Patents
拡張または仮想現実ディスプレイシステムのための向上された眼追跡 Download PDFInfo
- Publication number
- JP7587070B2 JP7587070B2 JP2024021915A JP2024021915A JP7587070B2 JP 7587070 B2 JP7587070 B2 JP 7587070B2 JP 2024021915 A JP2024021915 A JP 2024021915A JP 2024021915 A JP2024021915 A JP 2024021915A JP 7587070 B2 JP7587070 B2 JP 7587070B2
- Authority
- JP
- Japan
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
(優先権の主張)
本願は、「ENHANCED EYE TRACKING FOR AUGMENTED OR VIRTUAL REALITY DISPLAY SYSTEMS」と題され、2019年11月26日に出願された、米国特許第仮出願第62/940,785号の優先権を主張する。
(参照による組み込み)
本願は、「ENHANCED EYE TRACKING FOR AUGMENTED OR VIRTUAL REALITY DISPLAY SYSTEMS」と題され、2019年11月26日に出願された、米国特許第仮出願第62/940,785号の優先権を主張する。
(参照による組み込み)
本願は、2017年3月24日に出願され、2017年9月28日に米国特許出願公開第2017/0276948号として公開された、米国特許出願第15/469,369号の全体を参照することによって組み込む。
本開示は、ディスプレイシステムに関し、より具体的には、拡張および仮想現実ディスプレイシステムに関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、すなわち、そのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」シナリオは、一種のARシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、MRシナリオでは、実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚される、AR画像コンテンツを含んでもよい。
図1を参照すると、拡張現実場面10が、描写されている。AR技術のユーザには、人々、木々、背景における建物を特徴とする、実世界公園状設定20と、コンクリートプラットフォーム30とが見える。ユーザはまた、実世界プラットフォーム30上に立っているロボット像40と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ50等の「仮想コンテンツ」を「見ている」と知覚する。これらの要素50、40は、実世界には存在しないという点で、「仮想」である。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、AR技術を生産することは、困難である。
本明細書に開示されるシステムおよび方法は、ARまたはVR技術を含む、ディスプレイ技術に関連する種々の課題に対処する。
いくつかの実施形態では、仮想コンテンツをユーザに提示するように構成される、ディスプレイシステムが、提供される。ディスプレイシステムは、光を出力するように構成される、光源と、出力された光をユーザの眼に反射させ、眼を横断して光から形成されるパターンを走査するように構成される、移動可能な反射体と、眼を横断して走査される光の反射を検出するように構成される、複数の光検出器と、動作を実施するように構成される、1つまたはそれを上回るプロセッサとを備える。動作は、反射された光が眼を横断して走査されるように、移動可能反射体の配向の調節を生じさせることを含む。個別の光強度パターンが、光検出器を介して取得され、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、眼を横断した反射された光の走査の間に取得される。眼の眼姿勢は、光強度パターンに基づいて決定され、眼姿勢は、眼の配向を表す。
いくつかの実施形態では、1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される、方法が、提供される。ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成される。本方法は、光パターンが眼を横断して移動するように、眼上に指向される、光パターンの位置を調節することを含む。複数の光強度パターンが、取得され、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間に、個別の光検出器から取得される。眼の眼姿勢は、光強度パターンに基づいて決定され、眼姿勢は、眼の配向を表す。
いくつかの実施形態では、非一過性コンピュータ記憶媒体が、提供される。非一過性コンピュータ記憶媒体は、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、1つまたはそれを上回るプロセッサに、動作を実施させる、命令を記憶する。動作は、光パターンが眼を横断して移動するように、眼上に指向される、光パターンの位置を調節することを含む。複数の光強度パターンが、取得され、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間に、個別の光検出器から取得される。眼の眼姿勢は、光強度パターンに基づいて決定され、眼姿勢は、眼の配向を表す。
いくつかの実施形態では、仮想コンテンツをユーザに提示するように構成される、ディスプレイシステムが、提供される。ディスプレイシステムは、光を出力するように構成される、光源と、出力された光をユーザの眼に反射させ、眼を横断して光から形成されるパターンを走査するように構成される、移動可能な反射体と、眼を横断して走査される光の反射を検出するように構成される、複数の光検出器と、動作を実施するように構成される、1つまたはそれを上回るプロセッサとを備える。動作は、光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、眼を横断した反射された光の走査の間に取得される、ことを含む。眼の生理学的特徴のサイズおよび位置の一方または両方が、光強度パターンに基づいて決定される。
付加的実施例は、下記に提供される。
(実施例1)
仮想コンテンツをユーザに提示するように構成される、ディスプレイシステムであって、
光を出力するように構成される、光源と、
出力された光をユーザの眼に反射させ、眼を横断して光から形成されるパターンを走査するように構成される、移動可能な反射体と、
眼を横断して走査される光の反射を検出するように構成される、複数の光検出器と、
反射された光が眼を横断して走査されるように、移動可能反射体の配向の調節を生じさせることと、
光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、眼を横断した反射された光の走査の間に取得される、ことと、
光強度パターンに基づいて、眼の眼姿勢を決定することであって、眼姿勢は、眼の配向を表す、ことと、
を含む、動作を実施するように構成される、1つまたはそれを上回るプロセッサと、
を備える、ディスプレイシステム。
仮想コンテンツをユーザに提示するように構成される、ディスプレイシステムであって、
光を出力するように構成される、光源と、
出力された光をユーザの眼に反射させ、眼を横断して光から形成されるパターンを走査するように構成される、移動可能な反射体と、
眼を横断して走査される光の反射を検出するように構成される、複数の光検出器と、
反射された光が眼を横断して走査されるように、移動可能反射体の配向の調節を生じさせることと、
光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、眼を横断した反射された光の走査の間に取得される、ことと、
光強度パターンに基づいて、眼の眼姿勢を決定することであって、眼姿勢は、眼の配向を表す、ことと、
を含む、動作を実施するように構成される、1つまたはそれを上回るプロセッサと、
を備える、ディスプレイシステム。
(実施例2)
光源は、ダイオードである、実施例1に記載のディスプレイシステム。
光源は、ダイオードである、実施例1に記載のディスプレイシステム。
(実施例3)
ダイオードは、垂直共振器面発光レーザである、実施例2に記載のディスプレイシステム。
ダイオードは、垂直共振器面発光レーザである、実施例2に記載のディスプレイシステム。
(実施例4)
移動可能な反射体は、回折格子を備え、回折格子は、光源からの光の入射ビームを、眼の面積に跨架する複数の光の線を含む光パターンに変換するように構成される、実施例1に記載のディスプレイシステム。
移動可能な反射体は、回折格子を備え、回折格子は、光源からの光の入射ビームを、眼の面積に跨架する複数の光の線を含む光パターンに変換するように構成される、実施例1に記載のディスプレイシステム。
(実施例5)
移動可能な反射体は、回折格子を備え、回折格子は、光源からの光の入射ビームを、複数の光のビームを含む光パターンに変換するように構成される、実施例1に記載のディスプレイシステム。
移動可能な反射体は、回折格子を備え、回折格子は、光源からの光の入射ビームを、複数の光のビームを含む光パターンに変換するように構成される、実施例1に記載のディスプレイシステム。
(実施例6)
移動可能な反射体は、複数の回折格子を備え、各回折格子は、眼を横断して走査するための異なる光パターンを形成するように構成される、実施例1に記載のディスプレイシステム。
移動可能な反射体は、複数の回折格子を備え、各回折格子は、眼を横断して走査するための異なる光パターンを形成するように構成される、実施例1に記載のディスプレイシステム。
(実施例7)
移動可能な反射体は、微小電気機械的システム(MEMS)ミラーである、実施例1に記載のディスプレイシステム。
移動可能な反射体は、微小電気機械的システム(MEMS)ミラーである、実施例1に記載のディスプレイシステム。
(実施例8)
光検出器は、光ダイオードであって、各光強度パターンは、電流対移動可能な反射体の位置と関連付けられる位置情報のプロットを表す、実施例1に記載のディスプレイシステム。
光検出器は、光ダイオードであって、各光強度パターンは、電流対移動可能な反射体の位置と関連付けられる位置情報のプロットを表す、実施例1に記載のディスプレイシステム。
(実施例9)
回折格子は、MEMSミラー上に位置付けられ、またはその一部を形成し、位置情報は、MEMSミラーの配向を示し、MEMSミラーは、ディスプレイシステムによって調節可能である、実施例8に記載のディスプレイシステム。
回折格子は、MEMSミラー上に位置付けられ、またはその一部を形成し、位置情報は、MEMSミラーの配向を示し、MEMSミラーは、ディスプレイシステムによって調節可能である、実施例8に記載のディスプレイシステム。
(実施例10)
光源は、光を移動可能な反射体に出力するように構成される、2つの光源のうちの1つであって、光源はそれぞれ、光パターンの個別の部分を形成するように構成される、実施例1に記載のディスプレイシステム。
光源は、光を移動可能な反射体に出力するように構成される、2つの光源のうちの1つであって、光源はそれぞれ、光パターンの個別の部分を形成するように構成される、実施例1に記載のディスプレイシステム。
(実施例11)
光検出器は、光ダイオードであって、各光強度パターンは、電流対時間のプロットを表す、実施例1に記載のディスプレイシステム。
光検出器は、光ダイオードであって、各光強度パターンは、電流対時間のプロットを表す、実施例1に記載のディスプレイシステム。
(実施例12)
光パターンは、眼の下側部分から眼の上側部分まで延在する、V形状を画定する、実施例1に記載のディスプレイシステム。
光パターンは、眼の下側部分から眼の上側部分まで延在する、V形状を画定する、実施例1に記載のディスプレイシステム。
(実施例13)
光パターンを形成する光は、多色性光を備える、実施例1に記載のディスプレイシステム。
光パターンを形成する光は、多色性光を備える、実施例1に記載のディスプレイシステム。
(実施例14)
光パターンは、異なる方向に延在する、2つの部分を含む、実施例13に記載のディスプレイシステム。
光パターンは、異なる方向に延在する、2つの部分を含む、実施例13に記載のディスプレイシステム。
(実施例15)
2つの部分はそれぞれ、異なる色の光によって形成される、実施例14に記載のディスプレイシステム。
2つの部分はそれぞれ、異なる色の光によって形成される、実施例14に記載のディスプレイシステム。
(実施例16)
2つの部分は、眼の垂直軸を横断して延在するように構成され、2つの部分は、水平軸に沿って、対向方向に延在し、V形状を形成する、実施例14に記載のディスプレイシステム。
2つの部分は、眼の垂直軸を横断して延在するように構成され、2つの部分は、水平軸に沿って、対向方向に延在し、V形状を形成する、実施例14に記載のディスプレイシステム。
(実施例17)
光パターンは、複数の一連の光の列を備える、実施例1に記載のディスプレイシステム。
光パターンは、複数の一連の光の列を備える、実施例1に記載のディスプレイシステム。
(実施例18)
異なる光の列は、異なる発散量を有する、光のビームを備える、実施例17に記載のディスプレイシステム。
異なる光の列は、異なる発散量を有する、光のビームを備える、実施例17に記載のディスプレイシステム。
(実施例19)
光の列は、光の収束ビームを備え、他の光の列は、光のコリメートされたビームを備える、実施例18に記載のディスプレイシステム。
光の列は、光の収束ビームを備え、他の光の列は、光のコリメートされたビームを備える、実施例18に記載のディスプレイシステム。
(実施例20)
光の列は、光の発散ビームを備える、実施例18に記載のディスプレイシステム。
光の列は、光の発散ビームを備える、実施例18に記載のディスプレイシステム。
(実施例21)
光の列は、眼の水平軸に対して90°未満の角度を画定する、実施例17に記載のディスプレイシステム。
光の列は、眼の水平軸に対して90°未満の角度を画定する、実施例17に記載のディスプレイシステム。
(実施例22)
光検出器の位置は、眼を中心として矩形の角を画定する、実施例1に記載のディスプレイシステム。
光検出器の位置は、眼を中心として矩形の角を画定する、実施例1に記載のディスプレイシステム。
(実施例23)
光検出器は、光検出器の線形アレイを画定する、実施例1に記載のディスプレイシステム。
光検出器は、光検出器の線形アレイを画定する、実施例1に記載のディスプレイシステム。
(実施例24)
動作はさらに、光パターンの持続的走査を眼の第1の部分と眼の第2の部分との間の軸上に生じさせることを含む、実施例1に記載のディスプレイシステム。
動作はさらに、光パターンの持続的走査を眼の第1の部分と眼の第2の部分との間の軸上に生じさせることを含む、実施例1に記載のディスプレイシステム。
(実施例25)
軸は、第1の部分が、眼の最左または最右部分であって、第2の部分が、眼の最左または最右部分の他方であるような眼の水平軸である、実施例24に記載のディスプレイシステム。
軸は、第1の部分が、眼の最左または最右部分であって、第2の部分が、眼の最左または最右部分の他方であるような眼の水平軸である、実施例24に記載のディスプレイシステム。
(実施例26)
眼姿勢を決定することは、
光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、機械学習モデルの出力は、眼姿勢を示す、ことを含む、実施例1に記載のディスプレイシステム。
眼姿勢を決定することは、
光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、機械学習モデルの出力は、眼姿勢を示す、ことを含む、実施例1に記載のディスプレイシステム。
(実施例27)
眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
取得された光強度パターンと記憶された光強度パターンとを比較することと、
比較に基づいて、眼姿勢を識別することと、
を含む、実施例1に記載のディスプレイシステム。
眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
取得された光強度パターンと記憶された光強度パターンとを比較することと、
比較に基づいて、眼姿勢を識別することと、
を含む、実施例1に記載のディスプレイシステム。
(実施例28)
光検出器は、光ダイオードであって、取得された光強度パターンと記憶された光強度パターンとを比較することは、電流の山および/または谷の位置を比較することに基づき、位置は、眼上の光学パターンの場所を示す、実施例26に記載のディスプレイシステム。
光検出器は、光ダイオードであって、取得された光強度パターンと記憶された光強度パターンとを比較することは、電流の山および/または谷の位置を比較することに基づき、位置は、眼上の光学パターンの場所を示す、実施例26に記載のディスプレイシステム。
(実施例29)
動作はさらに、
ユーザの瞳孔間距離を決定することと、
決定された瞳孔間距離に基づいて、眼を横断した走査距離を決定し、光パターンを走査することと、
眼を横断した走査距離にわたる光パターンを走査することと、
を含む、実施例1に記載のディスプレイシステム。
動作はさらに、
ユーザの瞳孔間距離を決定することと、
決定された瞳孔間距離に基づいて、眼を横断した走査距離を決定し、光パターンを走査することと、
眼を横断した走査距離にわたる光パターンを走査することと、
を含む、実施例1に記載のディスプレイシステム。
(実施例30)
動作はさらに、光強度パターンに基づいて、眼の虹彩および瞳孔の一方または両方を検出することを含む、実施例1に記載のディスプレイシステム。
動作はさらに、光強度パターンに基づいて、眼の虹彩および瞳孔の一方または両方を検出することを含む、実施例1に記載のディスプレイシステム。
(実施例31)
眼の虹彩および瞳孔の一方または両方を検出することは、眼の虹彩および瞳孔の一方または両方のサイズを決定することを含む、実施例30に記載のディスプレイシステム。
眼の虹彩および瞳孔の一方または両方を検出することは、眼の虹彩および瞳孔の一方または両方のサイズを決定することを含む、実施例30に記載のディスプレイシステム。
(実施例32)
眼の虹彩および瞳孔の一方または両方を検出することは、眼の虹彩および瞳孔の一方または両方の位置を決定することを含む、実施例30に記載のディスプレイシステム。
眼の虹彩および瞳孔の一方または両方を検出することは、眼の虹彩および瞳孔の一方または両方の位置を決定することを含む、実施例30に記載のディスプレイシステム。
(実施例33)
動作はさらに、眼のサッカード速度を決定することを含む、実施例1に記載のディスプレイシステム。
動作はさらに、眼のサッカード速度を決定することを含む、実施例1に記載のディスプレイシステム。
(実施例34)
光をユーザの眼に出力し、仮想コンテンツを形成するように構成される、外部結合光学要素を備える、導波管をさらに備える、実施例1に記載のディスプレイシステム。
光をユーザの眼に出力し、仮想コンテンツを形成するように構成される、外部結合光学要素を備える、導波管をさらに備える、実施例1に記載のディスプレイシステム。
(実施例35)
導波管は、導波管のスタックのうちの1つであって、スタックのいくつかの導波管は、スタックの他の導波管の外部結合光学要素と異なる量の波面発散を伴う、光を出力するように構成される、外部結合光学要素を有し、異なる量の波面発散は、異なる深度面に対応する、実施例29に記載のディスプレイシステム。
導波管は、導波管のスタックのうちの1つであって、スタックのいくつかの導波管は、スタックの他の導波管の外部結合光学要素と異なる量の波面発散を伴う、光を出力するように構成される、外部結合光学要素を有し、異なる量の波面発散は、異なる深度面に対応する、実施例29に記載のディスプレイシステム。
(実施例36)
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される、方法であって、ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、
光パターンが眼を横断して移動するように、眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の眼姿勢を決定することであって、眼姿勢は、眼の配向を表す、ことと、
を含む、方法。
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される、方法であって、ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、
光パターンが眼を横断して移動するように、眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の眼姿勢を決定することであって、眼姿勢は、眼の配向を表す、ことと、
を含む、方法。
(実施例37)
光パターンの位置を調節することは、光パターンが、軸に沿って、眼の第1の部分から眼の第2の部分に移動されるように、移動可能ミラーを移動させることを含む、実施例36に記載の方法。
光パターンの位置を調節することは、光パターンが、軸に沿って、眼の第1の部分から眼の第2の部分に移動されるように、移動可能ミラーを移動させることを含む、実施例36に記載の方法。
(実施例38)
移動可能な反射体は、回折格子を備え、回折格子は、光源からの光の入射ビームを、複数の光のビームを含む光パターンに変換するように構成される、実施例37に記載の方法。
移動可能な反射体は、回折格子を備え、回折格子は、光源からの光の入射ビームを、複数の光のビームを含む光パターンに変換するように構成される、実施例37に記載の方法。
(実施例39)
移動可能ミラーを移動させることは、その上に回折格子が位置付けられる、微小電気機械的システム(MEMS)ミラーを回転させることを含む、実施例37に記載の方法。
移動可能ミラーを移動させることは、その上に回折格子が位置付けられる、微小電気機械的システム(MEMS)ミラーを回転させることを含む、実施例37に記載の方法。
(実施例40)
第1の部分は、軸に沿った、虹彩の末端を表し、第2の部分は、虹彩の対向末端を表す、実施例37に記載の方法。
第1の部分は、軸に沿った、虹彩の末端を表し、第2の部分は、虹彩の対向末端を表す、実施例37に記載の方法。
(実施例41)
軸は、水平軸である、実施例37に記載の方法。
軸は、水平軸である、実施例37に記載の方法。
(実施例42)
光パターンは、眼の下側部分から眼の上側部分まで、垂直軸に沿って延在する、実施例36に記載の方法。
光パターンは、眼の下側部分から眼の上側部分まで、垂直軸に沿って延在する、実施例36に記載の方法。
(実施例43)
光パターンは、2つの部分を備え、各部分は、垂直軸に沿って延在し、2つの部分は、水平方向に沿って、対向方向に延在し、V形状を形成する、実施例42に記載の方法。
光パターンは、2つの部分を備え、各部分は、垂直軸に沿って延在し、2つの部分は、水平方向に沿って、対向方向に延在し、V形状を形成する、実施例42に記載の方法。
(実施例44)
眼姿勢を決定することは、
光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、機械学習モデルの出力は、眼姿勢を示す、ことを含む、実施例36に記載の方法。
眼姿勢を決定することは、
光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、機械学習モデルの出力は、眼姿勢を示す、ことを含む、実施例36に記載の方法。
(実施例45)
眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
取得された光強度パターンと記憶された光強度パターンとを比較することと、
比較に基づいて、眼姿勢を識別することと、
を含む、実施例36に記載の方法。
眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
取得された光強度パターンと記憶された光強度パターンとを比較することと、
比較に基づいて、眼姿勢を識別することと、
を含む、実施例36に記載の方法。
(実施例46)
取得された光強度パターンと記憶された光強度パターンとを比較することは、光強度パターン内の山および/または谷の位置を比較することに基づく、実施例45に記載の方法。
取得された光強度パターンと記憶された光強度パターンとを比較することは、光強度パターン内の山および/または谷の位置を比較することに基づく、実施例45に記載の方法。
(実施例47)
非一過性コンピュータ記憶媒体であって、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、1つまたはそれを上回るプロセッサに、
光パターンが眼を横断して移動するように、ユーザの眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の眼姿勢を決定することであって、眼姿勢は、眼の配向を表す、ことと、
を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体。
非一過性コンピュータ記憶媒体であって、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、1つまたはそれを上回るプロセッサに、
光パターンが眼を横断して移動するように、ユーザの眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の眼姿勢を決定することであって、眼姿勢は、眼の配向を表す、ことと、
を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体。
(実施例48)
動作はさらに、
回折格子を有する反射体を介して、光パターンの投影を眼に生じさせることを含む、実施例47に記載のコンピュータ記憶媒体。
動作はさらに、
回折格子を有する反射体を介して、光パターンの投影を眼に生じさせることを含む、実施例47に記載のコンピュータ記憶媒体。
(実施例49)
回折格子の配向は、光パターンが眼の第1の部分から眼の第2の部分に移動されるように調節される、実施例48に記載のコンピュータ記憶媒体。
回折格子の配向は、光パターンが眼の第1の部分から眼の第2の部分に移動されるように調節される、実施例48に記載のコンピュータ記憶媒体。
(実施例50)
第1の部分は、虹彩の末端を表し、第2の部分は、虹彩の対向末端を表す、実施例49に記載のコンピュータ記憶媒体。
第1の部分は、虹彩の末端を表し、第2の部分は、虹彩の対向末端を表す、実施例49に記載のコンピュータ記憶媒体。
(実施例51)
光パターンは、垂直軸に沿って、眼の下側部分から眼の上側部分まで延在する、実施例47に記載のコンピュータ記憶媒体。
光パターンは、垂直軸に沿って、眼の下側部分から眼の上側部分まで延在する、実施例47に記載のコンピュータ記憶媒体。
(実施例52)
光部分は、2つの部分を備え、各部分は、垂直軸に沿って、眼を横断して延在し、2つの部分は、水平軸に沿って、対向方向に延在する、実施例51に記載のコンピュータ記憶媒体。
光部分は、2つの部分を備え、各部分は、垂直軸に沿って、眼を横断して延在し、2つの部分は、水平軸に沿って、対向方向に延在する、実施例51に記載のコンピュータ記憶媒体。
(実施例53)
回折格子の配向を調節することは、その上に回折格子が位置付けられる、微小電気機械的システム(MEMS)ミラーの回転を制御することを含む、実施例47に記載のコンピュータ記憶媒体。
回折格子の配向を調節することは、その上に回折格子が位置付けられる、微小電気機械的システム(MEMS)ミラーの回転を制御することを含む、実施例47に記載のコンピュータ記憶媒体。
(実施例54)
眼姿勢を決定することは、
光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、機械学習モデルの出力は、眼姿勢を示す、ことを含む、実施例47に記載のコンピュータ記憶媒体。
眼姿勢を決定することは、
光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、機械学習モデルの出力は、眼姿勢を示す、ことを含む、実施例47に記載のコンピュータ記憶媒体。
(実施例55)
眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
取得された光強度パターンと記憶された光強度パターンとを比較することと、
比較に基づいて、眼姿勢を識別することと、
を含む、実施例47に記載のコンピュータ記憶媒体。
眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
取得された光強度パターンと記憶された光強度パターンとを比較することと、
比較に基づいて、眼姿勢を識別することと、
を含む、実施例47に記載のコンピュータ記憶媒体。
(実施例56)
取得された光強度パターンと記憶された光強度パターンとを比較することは、山および/または谷の位置を比較することに基づく、実施例55に記載のコンピュータ記憶媒体。
取得された光強度パターンと記憶された光強度パターンとを比較することは、山および/または谷の位置を比較することに基づく、実施例55に記載のコンピュータ記憶媒体。
(実施例57)
仮想コンテンツをユーザに提示するように構成される、ディスプレイシステムであって、
光を出力するように構成される、光源と、
出力された光をユーザの眼に反射させ、眼を横断して光から形成されるパターンを走査するように構成される、移動可能な反射体と、
眼を横断して走査される光の反射を検出するように構成される、複数の光検出器と、
光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、眼を横断した反射された光の走査の間に取得される、ことと、
光強度パターンに基づいて、眼の生理学的特徴のサイズおよび位置の一方または両方を決定することと、
を含む、動作を実施するように構成される、1つまたはそれを上回るプロセッサと、
を備える、ディスプレイシステム。
仮想コンテンツをユーザに提示するように構成される、ディスプレイシステムであって、
光を出力するように構成される、光源と、
出力された光をユーザの眼に反射させ、眼を横断して光から形成されるパターンを走査するように構成される、移動可能な反射体と、
眼を横断して走査される光の反射を検出するように構成される、複数の光検出器と、
光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、眼を横断した反射された光の走査の間に取得される、ことと、
光強度パターンに基づいて、眼の生理学的特徴のサイズおよび位置の一方または両方を決定することと、
を含む、動作を実施するように構成される、1つまたはそれを上回るプロセッサと、
を備える、ディスプレイシステム。
(実施例58)
生理学的特徴は、眼の瞳孔である、実施例57に記載のディスプレイシステム。
生理学的特徴は、眼の瞳孔である、実施例57に記載のディスプレイシステム。
(実施例59)
動作はさらに、
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第1の界面を決定することを含む、実施例58に記載のディスプレイシステム。
動作はさらに、
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第1の界面を決定することを含む、実施例58に記載のディスプレイシステム。
(実施例60)
第1の界面を決定することは、光強度パターン内の山および/または谷の位置に基づく、実施例59に記載のディスプレイシステム。
第1の界面を決定することは、光強度パターン内の山および/または谷の位置に基づく、実施例59に記載のディスプレイシステム。
(実施例61)
動作はさらに、
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第2の界面を決定することを含む、実施例59に記載のディスプレイシステム。
動作はさらに、
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第2の界面を決定することを含む、実施例59に記載のディスプレイシステム。
(実施例62)
瞳孔のサイズは、第1の界面および第2の界面に基づいて決定される、実施例61に記載のディスプレイシステム。
瞳孔のサイズは、第1の界面および第2の界面に基づいて決定される、実施例61に記載のディスプレイシステム。
(実施例63)
生理学的特徴は、瞳孔であって、瞳孔の位置は、瞳孔中心に基づいて決定され、中心は、第1の界面および第2の界面に基づいて識別される、実施例61に記載のディスプレイシステム。
生理学的特徴は、瞳孔であって、瞳孔の位置は、瞳孔中心に基づいて決定され、中心は、第1の界面および第2の界面に基づいて識別される、実施例61に記載のディスプレイシステム。
(実施例64)
生理学的特徴は、眼の虹彩と瞳孔との間の界面であって、ディスプレイシステムは、界面の位置を決定する、実施例57に記載のディスプレイシステム。
生理学的特徴は、眼の虹彩と瞳孔との間の界面であって、ディスプレイシステムは、界面の位置を決定する、実施例57に記載のディスプレイシステム。
(実施例65)
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される、方法であって、ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、
光パターンが眼を横断して移動するように、眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の生理学的特徴のサイズおよび/または位置を決定することと、
を含む、方法。
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される、方法であって、ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、
光パターンが眼を横断して移動するように、眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の生理学的特徴のサイズおよび/または位置を決定することと、
を含む、方法。
(実施例66)
生理学的特徴は、眼の瞳孔である、実施例65に記載の方法。
生理学的特徴は、眼の瞳孔である、実施例65に記載の方法。
(実施例67)
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第1の界面を決定することをさらに含む、実施例66に記載の方法。
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第1の界面を決定することをさらに含む、実施例66に記載の方法。
(実施例68)
第1の界面を決定することは、光強度パターン内の山および/または谷の位置に基づく、実施例67に記載の方法。
第1の界面を決定することは、光強度パターン内の山および/または谷の位置に基づく、実施例67に記載の方法。
(実施例69)
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第2の界面を決定することをさらに含む、実施例68に記載の方法。
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第2の界面を決定することをさらに含む、実施例68に記載の方法。
(実施例70)
生理学的特徴は、瞳孔であって、瞳孔のサイズは、第1の界面および第2の界面に基づく、実施例69に記載の方法。
生理学的特徴は、瞳孔であって、瞳孔のサイズは、第1の界面および第2の界面に基づく、実施例69に記載の方法。
(実施例71)
生理学的特徴は、瞳孔であって、瞳孔の位置は、瞳孔中心に基づき、中心は、第1の界面および第2の界面に基づいて識別される、実施例69に記載の方法。
生理学的特徴は、瞳孔であって、瞳孔の位置は、瞳孔中心に基づき、中心は、第1の界面および第2の界面に基づいて識別される、実施例69に記載の方法。
(実施例72)
生理学的特徴は、眼の虹彩と瞳孔との間の界面であって、ディスプレイシステムは、界面の位置を決定する、実施例65に記載の方法。
生理学的特徴は、眼の虹彩と瞳孔との間の界面であって、ディスプレイシステムは、界面の位置を決定する、実施例65に記載の方法。
(実施例73)
非一過性コンピュータ記憶媒体であって、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、1つまたはそれを上回るプロセッサに、
光パターンが眼を横断して移動するように、ユーザの眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の生理学的特徴のサイズおよび/または位置を決定することと、
を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体。
非一過性コンピュータ記憶媒体であって、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、1つまたはそれを上回るプロセッサに、
光パターンが眼を横断して移動するように、ユーザの眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の生理学的特徴のサイズおよび/または位置を決定することと、
を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体。
(実施例74)
動作はさらに、
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第1の界面を決定することを含む、実施例73に記載のコンピュータ記憶媒体。
動作はさらに、
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第1の界面を決定することを含む、実施例73に記載のコンピュータ記憶媒体。
(実施例75)
界面を決定することは、光強度パターン内の山および/または谷の位置に基づく、実施例74に記載のコンピュータ記憶媒体。
界面を決定することは、光強度パターン内の山および/または谷の位置に基づく、実施例74に記載のコンピュータ記憶媒体。
(実施例76)
動作はさらに、
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第2の界面を決定することを含む、実施例74に記載のコンピュータ記憶媒体。
動作はさらに、
光強度パターンに基づいて、眼の虹彩と瞳孔との間の第2の界面を決定することを含む、実施例74に記載のコンピュータ記憶媒体。
(実施例77)
生理学的特徴は、瞳孔であって、瞳孔のサイズは、第1の界面および第2の界面に基づいて決定される、実施例76に記載のコンピュータ記憶媒体。
生理学的特徴は、瞳孔であって、瞳孔のサイズは、第1の界面および第2の界面に基づいて決定される、実施例76に記載のコンピュータ記憶媒体。
(実施例78)
生理学的特徴は、瞳孔であって、瞳孔の位置は、瞳孔中心に基づき、中心は、第1の界面および第2の界面に基づいて識別される、実施例76に記載のコンピュータ記憶媒体。
生理学的特徴は、瞳孔であって、瞳孔の位置は、瞳孔中心に基づき、中心は、第1の界面および第2の界面に基づいて識別される、実施例76に記載のコンピュータ記憶媒体。
(実施例79)
生理学的特徴は、眼の虹彩と瞳孔との間の界面であって、ディスプレイシステムは、界面の位置を決定する、実施例73に記載のコンピュータ記憶媒体。
生理学的特徴は、眼の虹彩と瞳孔との間の界面であって、ディスプレイシステムは、界面の位置を決定する、実施例73に記載のコンピュータ記憶媒体。
(実施例80)
仮想コンテンツをユーザに提示するように構成される、ディスプレイシステムであって、
光を出力するように構成される、光源と、
出力された光をユーザの眼に反射させ、眼を横断して光から形成されるパターンを走査するように構成される、移動可能な反射体と、
眼を横断して走査される光の反射を検出するように構成される、複数の光検出器と、
光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、眼を横断した反射された光の走査の間に取得される、ことと、
光強度パターンに基づいて、眼の回転の速度を決定することと、
を含む、動作を実施するように構成される、1つまたはそれを上回るプロセッサと、
を備える、ディスプレイシステム。
仮想コンテンツをユーザに提示するように構成される、ディスプレイシステムであって、
光を出力するように構成される、光源と、
出力された光をユーザの眼に反射させ、眼を横断して光から形成されるパターンを走査するように構成される、移動可能な反射体と、
眼を横断して走査される光の反射を検出するように構成される、複数の光検出器と、
光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、眼を横断した反射された光の走査の間に取得される、ことと、
光強度パターンに基づいて、眼の回転の速度を決定することと、
を含む、動作を実施するように構成される、1つまたはそれを上回るプロセッサと、
を備える、ディスプレイシステム。
(実施例81)
眼の回転の速度を決定することは、眼のサッカード速度を決定することを含む、実施例80に記載のディスプレイシステム。
眼の回転の速度を決定することは、眼のサッカード速度を決定することを含む、実施例80に記載のディスプレイシステム。
(実施例82)
動作はさらに、サッカード速度に基づいて、眼の姿勢を予測することを含む、実施例81に記載のディスプレイシステム。
動作はさらに、サッカード速度に基づいて、眼の姿勢を予測することを含む、実施例81に記載のディスプレイシステム。
(実施例83)
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される、方法であって、ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、
光パターンが眼を横断して移動するように、眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の回転の速度を決定することと、
を含む、方法。
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される、方法であって、ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、
光パターンが眼を横断して移動するように、眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の回転の速度を決定することと、
を含む、方法。
(実施例84)
非一過性コンピュータ記憶媒体であって、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、1つまたはそれを上回るプロセッサに、
光パターンが眼を横断して移動するように、ユーザの眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の回転の速度を決定することと、
を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体。
本発明は、例えば、以下を提供する。
(項目1)
仮想コンテンツをユーザに提示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
光を出力するように構成される光源と、
前記出力された光を前記ユーザの眼に反射させ、前記眼を横断して前記光から形成されるパターンを走査するように構成される移動可能な反射体と、
前記眼を横断して走査される前記光の反射を検出するように構成される複数の光検出器と、
1つまたはそれを上回るプロセッサであって、
前記反射された光が前記眼を横断して走査されるように、前記移動可能な反射体の配向の調節を生じさせることと、
前記光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記眼を横断した前記反射された光の走査の間に取得される、ことと、
前記光強度パターンに基づいて、前記眼の眼姿勢を決定することであって、前記眼姿勢は、前記眼の配向を表す、ことと、
を含む動作を実施するように構成される、1つまたはそれを上回るプロセッサと
を備える、ディスプレイシステム。
(項目2)
前記光源は、ダイオードである、項目1に記載のディスプレイシステム。
(項目3)
前記ダイオードは、垂直共振器面発光レーザである、項目2に記載のディスプレイシステム。
(項目4)
前記移動可能な反射体は、回折格子を備え、前記回折格子は、前記光源からの光の入射ビームを、前記眼の面積に跨架する複数の光の線を含む光パターンに変換するように構成される、項目1に記載のディスプレイシステム。
(項目5)
前記移動可能な反射体は、回折格子を備え、前記回折格子は、前記光源からの光の入射ビームを、複数の光のビームを含む光パターンに変換するように構成される、項目1に記載のディスプレイシステム。
(項目6)
前記移動可能な反射体は、複数の回折格子を備え、各回折格子は、前記眼を横断して走査するための異なる光パターンを形成するように構成される、項目1に記載のディスプレイシステム。
(項目7)
前記移動可能な反射体は、微小電気機械的システム(MEMS)ミラーである、項目1に記載のディスプレイシステム。
(項目8)
前記光検出器は、光ダイオードであり、各光強度パターンは、電流対前記移動可能な反射体の位置と関連付けられる位置情報のプロットを表す、項目1に記載のディスプレイシステム。
(項目9)
前記回折格子は、MEMSミラー上に位置付けられ、またはその一部を形成し、前記位置情報は、前記MEMSミラーの配向を示し、前記MEMSミラーは、前記ディスプレイシステムによって調節可能である、項目8に記載のディスプレイシステム。
(項目10)
前記光源は、光を前記移動可能な反射体に出力するように構成される2つの光源のうちの1つであり、前記光源はそれぞれ、前記光パターンの個別の部分を形成するように構成される、項目1に記載のディスプレイシステム。
(項目11)
前記光検出器は、光ダイオードであり、各光強度パターンは、電流対時間のプロットを表す、項目1に記載のディスプレイシステム。
(項目12)
前記光パターンは、前記眼の下側部分から前記眼の上側部分まで延在するV形状を画定する、項目1に記載のディスプレイシステム。
(項目13)
前記光パターンを形成する前記光は、多色性光を備える、項目1に記載のディスプレイシステム。
(項目14)
前記光パターンは、異なる方向に延在する2つの部分を含む、項目13に記載のディスプレイシステム。
(項目15)
前記2つの部分はそれぞれ、異なる色の光によって形成される、項目14に記載のディスプレイシステム。
(項目16)
前記2つの部分は、前記眼の垂直軸を横断して延在するように構成され、前記2つの部分は、水平軸に沿って、対向方向に延在し、V形状を形成する、項目14に記載のディスプレイシステム。
(項目17)
前記光パターンは、複数の一連の光の列を備える、項目1に記載のディスプレイシステム。
(項目18)
異なる光の列は、異なる発散量を有する光のビームを備える、項目17に記載のディスプレイシステム。
(項目19)
光の列は、光の収束ビームを備え、他の光の列は、光のコリメートされたビームを備える、項目18に記載のディスプレイシステム。
(項目20)
光の列は、光の発散ビームを備える、項目18に記載のディスプレイシステム。
(項目21)
前記光の列は、前記眼の水平軸に対して90°未満の角度を画定する、項目17に記載のディスプレイシステム。
(項目22)
前記光検出器の位置は、前記眼を中心として矩形の角を画定する、項目1に記載のディスプレイシステム。
(項目23)
前記光検出器は、光検出器の線形アレイを画定する、項目1に記載のディスプレイシステム。
(項目24)
前記動作はさらに、前記光パターンの持続的走査を前記眼の第1の部分と前記眼の第2の部分との間の軸上に生じさせることを含む、項目1に記載のディスプレイシステム。
(項目25)
前記軸は、前記第1の部分が、前記眼の最左または最右部分であり、前記第2の部分が、前記眼の前記最左または最右部分の他方であるような前記眼の水平軸である、項目24に記載のディスプレイシステム。
(項目26)
前記眼姿勢を決定することは、
前記光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、前記機械学習モデルの出力は、眼姿勢を示す、こと
を含む、項目1に記載のディスプレイシステム。
(項目27)
前記眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、前記記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することと、
前記比較に基づいて、前記眼姿勢を識別することと
を含む、項目1に記載のディスプレイシステム。
(項目28)
前記光検出器は、光ダイオードであり、前記取得された光強度パターンと前記記憶された光強度パターンとを比較することは、電流の山および/または谷の位置を比較することに基づき、前記位置は、前記眼上の前記光学パターンの場所を示す、項目26に記載のディスプレイシステム。
(項目29)
前記動作はさらに、
前記ユーザの瞳孔間距離を決定することと、
前記決定された瞳孔間距離に基づいて、前記眼を横断した走査距離を決定し、前記光パターンを走査することと、
前記眼を横断した前記走査距離にわたる前記光パターンを走査することと
を含む、項目1に記載のディスプレイシステム。
(項目30)
前記動作はさらに、前記光強度パターンに基づいて、前記眼の虹彩および瞳孔の一方または両方を検出することを含む、項目1に記載のディスプレイシステム。
(項目31)
前記眼の前記虹彩および瞳孔の一方または両方を検出することは、前記眼の前記虹彩および瞳孔の一方または両方のサイズを決定することを含む、項目30に記載のディスプレイシステム。
(項目32)
前記眼の前記虹彩および瞳孔の一方または両方を検出することは、前記眼の前記虹彩および瞳孔の一方または両方の位置を決定することを含む、項目30に記載のディスプレイシステム。
(項目33)
前記動作はさらに、前記眼のサッカード速度を決定することを含む、項目1に記載のディスプレイシステム。
(項目34)
光を前記ユーザの眼に出力し、前記仮想コンテンツを形成するように構成される外部結合光学要素を備える導波管をさらに備える、項目1に記載のディスプレイシステム。
(項目35)
前記導波管は、導波管のスタックのうちの1つであり、前記スタックのいくつかの導波管は、前記スタックの他の導波管の外部結合光学要素と異なる量の波面発散を伴う光を出力するように構成される外部結合光学要素を有し、前記異なる量の波面発散は、異なる深度面に対応する、項目29に記載のディスプレイシステム。
(項目36)
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される方法であって、前記ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、前記方法は、
光パターンが前記眼を横断して移動するように、前記眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の眼姿勢を決定することであって、前記眼姿勢は、前記眼の配向を表す、ことと
を含む、方法。
(項目37)
前記光パターンの位置を調節することは、前記光パターンが、軸に沿って、前記眼の第1の部分から前記眼の第2の部分に移動されるように、移動可能ミラーを移動させることを含む、項目36に記載の方法。
(項目38)
前記移動可能な反射体は、回折格子を備え、前記回折格子は、前記光源からの光の入射ビームを、複数の光のビームを含む光パターンに変換するように構成される、項目37に記載の方法。
(項目39)
前記移動可能ミラーを移動させることは、その上に前記回折格子が位置付けられる微小電気機械的システム(MEMS)ミラーを回転させることを含む、項目37に記載の方法。
(項目40)
前記第1の部分は、前記軸に沿った前記虹彩の末端を表し、前記第2の部分は、前記虹彩の対向末端を表す、項目37に記載の方法。
(項目41)
前記軸は、水平軸である、項目37に記載の方法。
(項目42)
前記光パターンは、前記眼の下側部分から前記眼の上側部分まで、垂直軸に沿って延在する、項目36に記載の方法。
(項目43)
前記光パターンは、2つの部分を備え、各部分は、垂直軸に沿って延在し、前記2つの部分は、水平方向に沿って、対向方向に延在し、V形状を形成する、項目42に記載の方法。
(項目44)
前記眼姿勢を決定することは、
前記光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、前記機械学習モデルの出力は、眼姿勢を示す、こと
を含む、項目36に記載の方法。
(項目45)
前記眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、前記記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することと、
前記比較に基づいて、前記眼姿勢を識別することと
を含む、項目36に記載の方法。
(項目46)
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することは、前記光強度パターン内の山および/または谷の位置を比較することに基づく、項目45に記載の方法。
(項目47)
非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、前記1つまたはそれを上回るプロセッサに、
光パターンが前記眼を横断して移動するように、ユーザの眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の眼姿勢を決定することであって、前記眼姿勢は、前記眼の配向を表す、ことと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。
(項目48)
前記動作はさらに、
回折格子を有する反射体を介して、前記光パターンの投影を前記眼に生じさせること
を含む、項目47に記載のコンピュータ記憶媒体。
(項目49)
前記回折格子の配向は、前記光パターンが前記眼の第1の部分から前記眼の第2の部分に移動されるように調節される、項目48に記載のコンピュータ記憶媒体。
(項目50)
前記第1の部分は、前記虹彩の末端を表し、前記第2の部分は、前記虹彩の対向末端を表す、項目49に記載のコンピュータ記憶媒体。
(項目51)
前記光パターンは、垂直軸に沿って、前記眼の下側部分から前記眼の上側部分まで延在する、項目47に記載のコンピュータ記憶媒体。
(項目52)
前記光部分は、2つの部分を備え、各部分は、垂直軸に沿って、前記眼を横断して延在し、前記2つの部分は、水平軸に沿って、対向方向に延在する、項目51に記載のコンピュータ記憶媒体。
(項目53)
前記回折格子の配向を調節することは、その上に前記回折格子が位置付けられる微小電気機械的システム(MEMS)ミラーの回転を制御することを含む、項目47に記載のコンピュータ記憶媒体。
(項目54)
前記眼姿勢を決定することは、
前記光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、前記機械学習モデルの出力は、眼姿勢を示す、こと
を含む、項目47に記載のコンピュータ記憶媒体。
(項目55)
前記眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、前記記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することと、
前記比較に基づいて、前記眼姿勢を識別することと
を含む、項目47に記載のコンピュータ記憶媒体。
(項目56)
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することは、山および/または谷の位置を比較することに基づく、項目55に記載のコンピュータ記憶媒体。
(項目57)
仮想コンテンツをユーザに提示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
光を出力するように構成される光源と、
前記出力された光を前記ユーザの眼に反射させ、前記眼を横断して前記光から形成されるパターンを走査するように構成される移動可能な反射体と、
前記眼を横断して走査される前記光の反射を検出するように構成される複数の光検出器と、
1つまたはそれを上回るプロセッサであって、
前記光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記眼を横断した前記反射された光の走査の間に取得される、ことと、
前記光強度パターンに基づいて、前記眼の生理学的特徴のサイズおよび位置の一方または両方を決定することと
を含む動作を実施するように構成される、1つまたはそれを上回るプロセッサと
を備える、ディスプレイシステム。
(項目58)
前記生理学的特徴は、前記眼の瞳孔である、項目57に記載のディスプレイシステム。(項目59)
前記動作はさらに、
前記光強度パターンに基づいて、前記眼の虹彩と瞳孔との間の第1の界面を決定すること
を含む、項目58に記載のディスプレイシステム。
(項目60)
前記第1の界面を決定することは、前記光強度パターン内の山および/または谷の位置に基づく、項目59に記載のディスプレイシステム。
(項目61)
前記動作はさらに、
前記光強度パターンに基づいて、前記眼の前記虹彩と前記瞳孔との間の第2の界面を決定すること
を含む、項目59に記載のディスプレイシステム。
(項目62)
前記瞳孔のサイズは、前記第1の界面および前記第2の界面に基づいて決定される、項目61に記載のディスプレイシステム。
(項目63)
前記生理学的特徴は、前記瞳孔であり、前記瞳孔の位置は、前記瞳孔中心に基づいて決定され、前記中心は、前記第1の界面および前記第2の界面に基づいて識別される、項目61に記載のディスプレイシステム。
(項目64)
前記生理学的特徴は、前記眼の虹彩と瞳孔との間の界面であり、前記ディスプレイシステムは、前記界面の位置を決定する、項目57に記載のディスプレイシステム。
(項目65)
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される方法であって、前記ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、前記方法は、
光パターンが前記眼を横断して移動するように、前記眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の生理学的特徴のサイズおよび/または位置を決定することと
を含む、方法。
(項目66)
前記生理学的特徴は、前記眼の瞳孔である、項目65に記載の方法。
(項目67)
前記光強度パターンに基づいて、前記眼の虹彩と瞳孔との間の第1の界面を決定すること
をさらに含む、項目66に記載の方法。
(項目68)
前記第1の界面を決定することは、前記光強度パターン内の山および/または谷の位置に基づく、項目67に記載の方法。
(項目69)
前記光強度パターンに基づいて、前記眼の前記虹彩と前記瞳孔との間の第2の界面を決定すること
をさらに含む、項目68に記載の方法。
(項目70)
前記生理学的特徴は、前記瞳孔であり、前記瞳孔のサイズは、前記第1の界面および前記第2の界面に基づく、項目69に記載の方法。
(項目71)
前記生理学的特徴は、前記瞳孔であり、前記瞳孔の位置は、前記瞳孔中心に基づき、前記中心は、前記第1の界面および前記第2の界面に基づいて識別される、項目69に記載の方法。
(項目72)
前記生理学的特徴は、前記眼の虹彩と瞳孔との間の界面であり、前記ディスプレイシステムは、前記界面の位置を決定する、項目65に記載の方法。
(項目73)
非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、前記1つまたはそれを上回るプロセッサに、
光パターンが前記眼を横断して移動するように、ユーザの眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の生理学的特徴のサイズおよび/または位置を決定することと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。
(項目74)
前記動作はさらに、
前記光強度パターンに基づいて、前記眼の虹彩と瞳孔との間の第1の界面を決定すること
を含む、項目73に記載のコンピュータ記憶媒体。
(項目75)
前記界面を決定することは、前記光強度パターン内の山および/または谷の位置に基づく、項目74に記載のコンピュータ記憶媒体。
(項目76)
前記動作はさらに、
前記光強度パターンに基づいて、前記眼の前記虹彩と前記瞳孔との間の第2の界面を決定すること
を含む、項目74に記載のコンピュータ記憶媒体。
(項目77)
前記生理学的特徴は、前記瞳孔であり、前記瞳孔のサイズは、前記第1の界面および前記第2の界面に基づいて決定される、項目76に記載のコンピュータ記憶媒体。
(項目78)
前記生理学的特徴は、前記瞳孔であり、前記瞳孔の位置は、前記瞳孔中心に基づき、前記中心は、前記第1の界面および前記第2の界面に基づいて識別される、項目76に記載のコンピュータ記憶媒体。
(項目79)
前記生理学的特徴は、前記眼の虹彩と瞳孔との間の界面であり、前記ディスプレイシステムは、前記界面の位置を決定する、項目73に記載のコンピュータ記憶媒体。
(項目80)
仮想コンテンツをユーザに提示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
光を出力するように構成される光源と、
前記出力された光を前記ユーザの眼に反射させ、前記眼を横断して前記光から形成されるパターンを走査するように構成される移動可能な反射体と、
前記眼を横断して走査される前記光の反射を検出するように構成される複数の光検出器と、
1つまたはそれを上回るプロセッサであって、
前記光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記眼を横断した前記反射された光の走査の間に取得される、ことと、
前記光強度パターンに基づいて、前記眼の回転の速度を決定することと
を含む動作を実施するように構成される、1つまたはそれを上回るプロセッサと
を備える、ディスプレイシステム。
(項目81)
前記眼の回転の速度を決定することは、前記眼のサッカード速度を決定することを含む、項目80に記載のディスプレイシステム。
(項目82)
前記動作はさらに、前記サッカード速度に基づいて、前記眼の姿勢を予測することを含む、項目81に記載のディスプレイシステム。
(項目83)
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される方法であって、前記ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、前記方法は、
光パターンが前記眼を横断して移動するように、前記眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の回転の速度を決定することと
を含む、方法。
(項目84)
非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、前記1つまたはそれを上回るプロセッサに、
光パターンが前記眼を横断して移動するように、ユーザの眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の回転の速度を決定することと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。
非一過性コンピュータ記憶媒体であって、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、1つまたはそれを上回るプロセッサに、
光パターンが眼を横断して移動するように、ユーザの眼上に指向される、光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、光検出器信号は、光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
光強度パターンに基づいて、眼の回転の速度を決定することと、
を含む、動作を実施させる、命令を記憶する、非一過性コンピュータ記憶媒体。
本発明は、例えば、以下を提供する。
(項目1)
仮想コンテンツをユーザに提示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
光を出力するように構成される光源と、
前記出力された光を前記ユーザの眼に反射させ、前記眼を横断して前記光から形成されるパターンを走査するように構成される移動可能な反射体と、
前記眼を横断して走査される前記光の反射を検出するように構成される複数の光検出器と、
1つまたはそれを上回るプロセッサであって、
前記反射された光が前記眼を横断して走査されるように、前記移動可能な反射体の配向の調節を生じさせることと、
前記光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記眼を横断した前記反射された光の走査の間に取得される、ことと、
前記光強度パターンに基づいて、前記眼の眼姿勢を決定することであって、前記眼姿勢は、前記眼の配向を表す、ことと、
を含む動作を実施するように構成される、1つまたはそれを上回るプロセッサと
を備える、ディスプレイシステム。
(項目2)
前記光源は、ダイオードである、項目1に記載のディスプレイシステム。
(項目3)
前記ダイオードは、垂直共振器面発光レーザである、項目2に記載のディスプレイシステム。
(項目4)
前記移動可能な反射体は、回折格子を備え、前記回折格子は、前記光源からの光の入射ビームを、前記眼の面積に跨架する複数の光の線を含む光パターンに変換するように構成される、項目1に記載のディスプレイシステム。
(項目5)
前記移動可能な反射体は、回折格子を備え、前記回折格子は、前記光源からの光の入射ビームを、複数の光のビームを含む光パターンに変換するように構成される、項目1に記載のディスプレイシステム。
(項目6)
前記移動可能な反射体は、複数の回折格子を備え、各回折格子は、前記眼を横断して走査するための異なる光パターンを形成するように構成される、項目1に記載のディスプレイシステム。
(項目7)
前記移動可能な反射体は、微小電気機械的システム(MEMS)ミラーである、項目1に記載のディスプレイシステム。
(項目8)
前記光検出器は、光ダイオードであり、各光強度パターンは、電流対前記移動可能な反射体の位置と関連付けられる位置情報のプロットを表す、項目1に記載のディスプレイシステム。
(項目9)
前記回折格子は、MEMSミラー上に位置付けられ、またはその一部を形成し、前記位置情報は、前記MEMSミラーの配向を示し、前記MEMSミラーは、前記ディスプレイシステムによって調節可能である、項目8に記載のディスプレイシステム。
(項目10)
前記光源は、光を前記移動可能な反射体に出力するように構成される2つの光源のうちの1つであり、前記光源はそれぞれ、前記光パターンの個別の部分を形成するように構成される、項目1に記載のディスプレイシステム。
(項目11)
前記光検出器は、光ダイオードであり、各光強度パターンは、電流対時間のプロットを表す、項目1に記載のディスプレイシステム。
(項目12)
前記光パターンは、前記眼の下側部分から前記眼の上側部分まで延在するV形状を画定する、項目1に記載のディスプレイシステム。
(項目13)
前記光パターンを形成する前記光は、多色性光を備える、項目1に記載のディスプレイシステム。
(項目14)
前記光パターンは、異なる方向に延在する2つの部分を含む、項目13に記載のディスプレイシステム。
(項目15)
前記2つの部分はそれぞれ、異なる色の光によって形成される、項目14に記載のディスプレイシステム。
(項目16)
前記2つの部分は、前記眼の垂直軸を横断して延在するように構成され、前記2つの部分は、水平軸に沿って、対向方向に延在し、V形状を形成する、項目14に記載のディスプレイシステム。
(項目17)
前記光パターンは、複数の一連の光の列を備える、項目1に記載のディスプレイシステム。
(項目18)
異なる光の列は、異なる発散量を有する光のビームを備える、項目17に記載のディスプレイシステム。
(項目19)
光の列は、光の収束ビームを備え、他の光の列は、光のコリメートされたビームを備える、項目18に記載のディスプレイシステム。
(項目20)
光の列は、光の発散ビームを備える、項目18に記載のディスプレイシステム。
(項目21)
前記光の列は、前記眼の水平軸に対して90°未満の角度を画定する、項目17に記載のディスプレイシステム。
(項目22)
前記光検出器の位置は、前記眼を中心として矩形の角を画定する、項目1に記載のディスプレイシステム。
(項目23)
前記光検出器は、光検出器の線形アレイを画定する、項目1に記載のディスプレイシステム。
(項目24)
前記動作はさらに、前記光パターンの持続的走査を前記眼の第1の部分と前記眼の第2の部分との間の軸上に生じさせることを含む、項目1に記載のディスプレイシステム。
(項目25)
前記軸は、前記第1の部分が、前記眼の最左または最右部分であり、前記第2の部分が、前記眼の前記最左または最右部分の他方であるような前記眼の水平軸である、項目24に記載のディスプレイシステム。
(項目26)
前記眼姿勢を決定することは、
前記光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、前記機械学習モデルの出力は、眼姿勢を示す、こと
を含む、項目1に記載のディスプレイシステム。
(項目27)
前記眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、前記記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することと、
前記比較に基づいて、前記眼姿勢を識別することと
を含む、項目1に記載のディスプレイシステム。
(項目28)
前記光検出器は、光ダイオードであり、前記取得された光強度パターンと前記記憶された光強度パターンとを比較することは、電流の山および/または谷の位置を比較することに基づき、前記位置は、前記眼上の前記光学パターンの場所を示す、項目26に記載のディスプレイシステム。
(項目29)
前記動作はさらに、
前記ユーザの瞳孔間距離を決定することと、
前記決定された瞳孔間距離に基づいて、前記眼を横断した走査距離を決定し、前記光パターンを走査することと、
前記眼を横断した前記走査距離にわたる前記光パターンを走査することと
を含む、項目1に記載のディスプレイシステム。
(項目30)
前記動作はさらに、前記光強度パターンに基づいて、前記眼の虹彩および瞳孔の一方または両方を検出することを含む、項目1に記載のディスプレイシステム。
(項目31)
前記眼の前記虹彩および瞳孔の一方または両方を検出することは、前記眼の前記虹彩および瞳孔の一方または両方のサイズを決定することを含む、項目30に記載のディスプレイシステム。
(項目32)
前記眼の前記虹彩および瞳孔の一方または両方を検出することは、前記眼の前記虹彩および瞳孔の一方または両方の位置を決定することを含む、項目30に記載のディスプレイシステム。
(項目33)
前記動作はさらに、前記眼のサッカード速度を決定することを含む、項目1に記載のディスプレイシステム。
(項目34)
光を前記ユーザの眼に出力し、前記仮想コンテンツを形成するように構成される外部結合光学要素を備える導波管をさらに備える、項目1に記載のディスプレイシステム。
(項目35)
前記導波管は、導波管のスタックのうちの1つであり、前記スタックのいくつかの導波管は、前記スタックの他の導波管の外部結合光学要素と異なる量の波面発散を伴う光を出力するように構成される外部結合光学要素を有し、前記異なる量の波面発散は、異なる深度面に対応する、項目29に記載のディスプレイシステム。
(項目36)
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される方法であって、前記ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、前記方法は、
光パターンが前記眼を横断して移動するように、前記眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の眼姿勢を決定することであって、前記眼姿勢は、前記眼の配向を表す、ことと
を含む、方法。
(項目37)
前記光パターンの位置を調節することは、前記光パターンが、軸に沿って、前記眼の第1の部分から前記眼の第2の部分に移動されるように、移動可能ミラーを移動させることを含む、項目36に記載の方法。
(項目38)
前記移動可能な反射体は、回折格子を備え、前記回折格子は、前記光源からの光の入射ビームを、複数の光のビームを含む光パターンに変換するように構成される、項目37に記載の方法。
(項目39)
前記移動可能ミラーを移動させることは、その上に前記回折格子が位置付けられる微小電気機械的システム(MEMS)ミラーを回転させることを含む、項目37に記載の方法。
(項目40)
前記第1の部分は、前記軸に沿った前記虹彩の末端を表し、前記第2の部分は、前記虹彩の対向末端を表す、項目37に記載の方法。
(項目41)
前記軸は、水平軸である、項目37に記載の方法。
(項目42)
前記光パターンは、前記眼の下側部分から前記眼の上側部分まで、垂直軸に沿って延在する、項目36に記載の方法。
(項目43)
前記光パターンは、2つの部分を備え、各部分は、垂直軸に沿って延在し、前記2つの部分は、水平方向に沿って、対向方向に延在し、V形状を形成する、項目42に記載の方法。
(項目44)
前記眼姿勢を決定することは、
前記光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、前記機械学習モデルの出力は、眼姿勢を示す、こと
を含む、項目36に記載の方法。
(項目45)
前記眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、前記記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することと、
前記比較に基づいて、前記眼姿勢を識別することと
を含む、項目36に記載の方法。
(項目46)
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することは、前記光強度パターン内の山および/または谷の位置を比較することに基づく、項目45に記載の方法。
(項目47)
非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、前記1つまたはそれを上回るプロセッサに、
光パターンが前記眼を横断して移動するように、ユーザの眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の眼姿勢を決定することであって、前記眼姿勢は、前記眼の配向を表す、ことと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。
(項目48)
前記動作はさらに、
回折格子を有する反射体を介して、前記光パターンの投影を前記眼に生じさせること
を含む、項目47に記載のコンピュータ記憶媒体。
(項目49)
前記回折格子の配向は、前記光パターンが前記眼の第1の部分から前記眼の第2の部分に移動されるように調節される、項目48に記載のコンピュータ記憶媒体。
(項目50)
前記第1の部分は、前記虹彩の末端を表し、前記第2の部分は、前記虹彩の対向末端を表す、項目49に記載のコンピュータ記憶媒体。
(項目51)
前記光パターンは、垂直軸に沿って、前記眼の下側部分から前記眼の上側部分まで延在する、項目47に記載のコンピュータ記憶媒体。
(項目52)
前記光部分は、2つの部分を備え、各部分は、垂直軸に沿って、前記眼を横断して延在し、前記2つの部分は、水平軸に沿って、対向方向に延在する、項目51に記載のコンピュータ記憶媒体。
(項目53)
前記回折格子の配向を調節することは、その上に前記回折格子が位置付けられる微小電気機械的システム(MEMS)ミラーの回転を制御することを含む、項目47に記載のコンピュータ記憶媒体。
(項目54)
前記眼姿勢を決定することは、
前記光強度パターンの順方向通過を算出することを介して、機械学習モデルを適用することであって、前記機械学習モデルの出力は、眼姿勢を示す、こと
を含む、項目47に記載のコンピュータ記憶媒体。
(項目55)
前記眼姿勢を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、前記記憶された光強度パターンは、個別の眼姿勢と関連付けられる、ことと、
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することと、
前記比較に基づいて、前記眼姿勢を識別することと
を含む、項目47に記載のコンピュータ記憶媒体。
(項目56)
前記取得された光強度パターンと前記記憶された光強度パターンとを比較することは、山および/または谷の位置を比較することに基づく、項目55に記載のコンピュータ記憶媒体。
(項目57)
仮想コンテンツをユーザに提示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
光を出力するように構成される光源と、
前記出力された光を前記ユーザの眼に反射させ、前記眼を横断して前記光から形成されるパターンを走査するように構成される移動可能な反射体と、
前記眼を横断して走査される前記光の反射を検出するように構成される複数の光検出器と、
1つまたはそれを上回るプロセッサであって、
前記光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記眼を横断した前記反射された光の走査の間に取得される、ことと、
前記光強度パターンに基づいて、前記眼の生理学的特徴のサイズおよび位置の一方または両方を決定することと
を含む動作を実施するように構成される、1つまたはそれを上回るプロセッサと
を備える、ディスプレイシステム。
(項目58)
前記生理学的特徴は、前記眼の瞳孔である、項目57に記載のディスプレイシステム。(項目59)
前記動作はさらに、
前記光強度パターンに基づいて、前記眼の虹彩と瞳孔との間の第1の界面を決定すること
を含む、項目58に記載のディスプレイシステム。
(項目60)
前記第1の界面を決定することは、前記光強度パターン内の山および/または谷の位置に基づく、項目59に記載のディスプレイシステム。
(項目61)
前記動作はさらに、
前記光強度パターンに基づいて、前記眼の前記虹彩と前記瞳孔との間の第2の界面を決定すること
を含む、項目59に記載のディスプレイシステム。
(項目62)
前記瞳孔のサイズは、前記第1の界面および前記第2の界面に基づいて決定される、項目61に記載のディスプレイシステム。
(項目63)
前記生理学的特徴は、前記瞳孔であり、前記瞳孔の位置は、前記瞳孔中心に基づいて決定され、前記中心は、前記第1の界面および前記第2の界面に基づいて識別される、項目61に記載のディスプレイシステム。
(項目64)
前記生理学的特徴は、前記眼の虹彩と瞳孔との間の界面であり、前記ディスプレイシステムは、前記界面の位置を決定する、項目57に記載のディスプレイシステム。
(項目65)
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される方法であって、前記ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、前記方法は、
光パターンが前記眼を横断して移動するように、前記眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の生理学的特徴のサイズおよび/または位置を決定することと
を含む、方法。
(項目66)
前記生理学的特徴は、前記眼の瞳孔である、項目65に記載の方法。
(項目67)
前記光強度パターンに基づいて、前記眼の虹彩と瞳孔との間の第1の界面を決定すること
をさらに含む、項目66に記載の方法。
(項目68)
前記第1の界面を決定することは、前記光強度パターン内の山および/または谷の位置に基づく、項目67に記載の方法。
(項目69)
前記光強度パターンに基づいて、前記眼の前記虹彩と前記瞳孔との間の第2の界面を決定すること
をさらに含む、項目68に記載の方法。
(項目70)
前記生理学的特徴は、前記瞳孔であり、前記瞳孔のサイズは、前記第1の界面および前記第2の界面に基づく、項目69に記載の方法。
(項目71)
前記生理学的特徴は、前記瞳孔であり、前記瞳孔の位置は、前記瞳孔中心に基づき、前記中心は、前記第1の界面および前記第2の界面に基づいて識別される、項目69に記載の方法。
(項目72)
前記生理学的特徴は、前記眼の虹彩と瞳孔との間の界面であり、前記ディスプレイシステムは、前記界面の位置を決定する、項目65に記載の方法。
(項目73)
非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、前記1つまたはそれを上回るプロセッサに、
光パターンが前記眼を横断して移動するように、ユーザの眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の生理学的特徴のサイズおよび/または位置を決定することと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。
(項目74)
前記動作はさらに、
前記光強度パターンに基づいて、前記眼の虹彩と瞳孔との間の第1の界面を決定すること
を含む、項目73に記載のコンピュータ記憶媒体。
(項目75)
前記界面を決定することは、前記光強度パターン内の山および/または谷の位置に基づく、項目74に記載のコンピュータ記憶媒体。
(項目76)
前記動作はさらに、
前記光強度パターンに基づいて、前記眼の前記虹彩と前記瞳孔との間の第2の界面を決定すること
を含む、項目74に記載のコンピュータ記憶媒体。
(項目77)
前記生理学的特徴は、前記瞳孔であり、前記瞳孔のサイズは、前記第1の界面および前記第2の界面に基づいて決定される、項目76に記載のコンピュータ記憶媒体。
(項目78)
前記生理学的特徴は、前記瞳孔であり、前記瞳孔の位置は、前記瞳孔中心に基づき、前記中心は、前記第1の界面および前記第2の界面に基づいて識別される、項目76に記載のコンピュータ記憶媒体。
(項目79)
前記生理学的特徴は、前記眼の虹彩と瞳孔との間の界面であり、前記ディスプレイシステムは、前記界面の位置を決定する、項目73に記載のコンピュータ記憶媒体。
(項目80)
仮想コンテンツをユーザに提示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
光を出力するように構成される光源と、
前記出力された光を前記ユーザの眼に反射させ、前記眼を横断して前記光から形成されるパターンを走査するように構成される移動可能な反射体と、
前記眼を横断して走査される前記光の反射を検出するように構成される複数の光検出器と、
1つまたはそれを上回るプロセッサであって、
前記光検出器を介して、個別の光強度パターンを取得することであって、光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記眼を横断した前記反射された光の走査の間に取得される、ことと、
前記光強度パターンに基づいて、前記眼の回転の速度を決定することと
を含む動作を実施するように構成される、1つまたはそれを上回るプロセッサと
を備える、ディスプレイシステム。
(項目81)
前記眼の回転の速度を決定することは、前記眼のサッカード速度を決定することを含む、項目80に記載のディスプレイシステム。
(項目82)
前記動作はさらに、前記サッカード速度に基づいて、前記眼の姿勢を予測することを含む、項目81に記載のディスプレイシステム。
(項目83)
1つまたはそれを上回るプロセッサのディスプレイシステムによって実装される方法であって、前記ディスプレイシステムは、少なくとも部分的に、ユーザの眼の眼姿勢に基づいて、仮想コンテンツをユーザに提示するように構成され、前記方法は、
光パターンが前記眼を横断して移動するように、前記眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の回転の速度を決定することと
を含む、方法。
(項目84)
非一過性コンピュータ記憶媒体であって、前記非一過性コンピュータ記憶媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサのディスプレイシステムによって実行されると、前記1つまたはそれを上回るプロセッサに、
光パターンが前記眼を横断して移動するように、ユーザの眼上に指向される光パターンの位置を調節することと、
複数の光強度パターンを取得することであって、前記光強度パターンは、異なる時間における光検出器信号を表し、前記光検出器信号は、前記光パターンの位置の調節の間、個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の回転の速度を決定することと
を含む動作を実施させる、非一過性コンピュータ記憶媒体。
詳細な説明
ARおよび/またはVRシステムは、仮想コンテンツをユーザまたは視認者に表示し得る。例えば、本コンテンツは、例えば、アイウェアの一部として、画像情報をユーザの眼に投影する、頭部搭載型ディスプレイ上に表示されてもよい。加えて、本システムが、ARシステムである場合、ディスプレイはまた、周囲環境からの光をユーザの眼に透過させ、その周囲環境のビューを可能にし得る。本明細書で使用されるように、「頭部搭載型」または「頭部搭載可能」ディスプレイは、視認者またはユーザの頭部上に搭載され得る、ディスプレイであることを理解されたい。そのようなディスプレイは、ディスプレイシステムの一部を形成すると理解され得る。
視覚的に現実的仮想コンテンツを提供するために、ディスプレイシステムが、ユーザの眼を正確に追跡(例えば、監視)することが有利である。例えば、各眼の配向(本明細書では、眼姿勢と称される)に関する正確な決定は、提示される仮想コンテンツの現実性を向上させ得る。実際、仮想場面(例えば、図1に図示される拡張現実場面10)は、場面に関する「レンダリングカメラ」として割り当てられる、ユーザの眼に基づいて、ディスプレイシステムによってレンダリングされてもよい。例えば、ユーザの眼の中心は、レンダリングカメラとして割り当てられてもよい。したがって、仮想場面内の仮想コンテンツの場所は、その眼の視線方向および輻輳・開散運動とともに、ユーザの眼の中心に結び付けられてもよい。ユーザが、その眼を移動させ、例えば、仮想コンテンツまたは実世界コンテンツを視認するにつれて、ディスプレイシステムは、適宜、仮想コンテンツを調節してもよい。したがって、ユーザの眼を追跡するための向上された技法は、そのようなディスプレイシステムの機能性を実質的に向上させ、ユーザのためのより良好な視認体験を提供し得る。
ユーザの眼を追跡することは、ユーザの眼球の輻輳・開散運動、視線方向、個別の中心等を決定することを含み得る。これらの決定のうちの少なくともいくつかは、ユーザの眼に関する個別の眼姿勢の識別に基づいてもたらされ得る。例えば、眼の配向に基づいて、ディスプレイシステムは、眼から延在する、軸(例えば、光学および/または視軸)を決定してもよい。本軸は、ユーザの眼の視線方向を表し得る。ユーザの眼の両方に関する眼姿勢を使用して、ディスプレイシステムは、ユーザの眼が輻輳している、3次元空間内の場所を識別してもよい。
視線方向追跡は、ユーザに表示するための仮想コンテンツを決定するために利用されてもよいことを理解されたい。例えば、実世界に結び付けられる、仮想コンテンツは、ユーザが見ている場所を追跡することによって、実世界との正しい対応を提供するように調節されてもよい。加えて、仮想コンテンツを異なる深度面上に提供する、ディスプレイシステムでは、ユーザの眼が輻輳している点は、その上に仮想コンテンツを表示するための適切な深度面を決定するために利用されてもよい。
眼姿勢を決定するためのいくつかの既存の技法は、眼姿勢に対する更新が制約され得るように、追跡速度において限定されている。これは、表示されるべきコンテンツを更新する際、望ましくない待ち時間またはジッタを生じさせ得る。加えて、眼姿勢を決定するためのいくつかの既存の技法は、高電力要件を有する。また、いくつかの既存の技法は、ハードウェアおよび/または光学構造を要求し、これは、望ましくないことに、そのようなハードウェアまたはシステムを伴うディスプレイシステムを形成するための製造プロセスの複雑性を増加させる。
例えば、カメラおよび捕捉された画像の分析を利用して、眼姿勢を決定する、眼追跡システムは、望ましくないことに、追跡速度において制約され得、大量の電力を利用し得、カメラおよび光源の複雑かつ精密な配列を要求し得る。そのようなカメラベースのシステムは、いくつかの発光ダイオード(LED)を利用して、光をユーザの眼に投影し得る。LEDは、LEDからの光が、ユーザの眼の特定の部分(例えば、瞳孔)から反射されるように、ディスプレイシステム上に位置付けられてもよい。カメラが、眼を結像し、反射された光の位置を決定するように、ディスプレイシステム上に位置付けられてもよい。ユーザが、その眼を移動させる(例えば、眼姿勢を変化させる)につれて、反射された光の画像および位置も同様に、変化する。眼の捕捉された画像の分析に基づいて、ディスプレイシステムは、眼姿勢を決定してもよい。
上記に説明される例示的技法は、ユーザの眼姿勢の正確な決定を可能にし得る。しかしながら、それらは、ある技術的課題を提示する。例えば、眼追跡速度は、カメラが画像を捕捉および処理することが可能である、レート(例えば、60Hzのレート)によって限定され得る。追跡速度に関する制約は、実施例として、それに対して現在決定されている眼姿勢が依拠され得る、範囲を限定し得る。実施例として、眼のある迅速な移動(例えば、サッカード移動)の間、追跡速度は、表示されるコンテンツが、例えば、ユーザの眼の視線方向または輻輳・開散運動に合致し得ないほど、眼の移動に遅れ得る。加えて、追跡速度に関する限界は、ある視覚的アーチファクトを導入し得る。例えば、ジッタが、仮想コンテンツを提示するとき、導入され得る。ジッタは、少なくとも部分的に、仮想コンテンツが表示されるにつれて、決定された眼姿勢が周期的に不正確であることによって引き起こされ得る。
仮想コンテンツを提示する際の上記に説明される課題に加え、姿勢決定のための既存のカメラ結像ベースの技法は、電気および機械的課題を有し得る。電気制約に関して、電力引出量が、高くあり得る。実際、複数の光源が、駆動されることが要求され、カメラ(例えば、赤外線カメラ)が、ユーザの眼の画像を捕捉するために要求される。画像情報の複雑性に起因して、追加される処理側面が存在し、これは、各画像を分析するために電力を要求する。本電力要件は、仮想コンテンツを提示するために必要な電力を追加する。したがって、そのようなカメラ結像ベースの技法を使用する、ディスプレイの可搬性およびバッテリ寿命は、望ましくないほど低くなり得る。機械的制約に関して、LEDおよびカメラを位置付けることと関連付けられる、複雑性が存在し得る。例えば、LEDは、それらが光をユーザの眼のある位置上に投影するように、整合される必要があり得る。別の実施例として、カメラは、その中でLEDの全部または一部が、眼姿勢にかかわらず、ユーザの眼の各画像内で可視である、画像を取得するように、整合される必要があり得る。
本明細書に議論されるように、種々の実施形態は、ユーザの眼を追跡するための向上された技法およびシステムを提供し、有利なこととして、上記の技術的懸念のうちの1つまたはそれを上回るものに対処する。例えば、眼追跡技法は、著しく高速(例えば、1kHz、10kHz等)において追跡することを有効にし得る。いくつかの実施形態では、本明細書に説明される眼追跡技法は、眼あたり1つのみの光源を使用してもよい。例えば、ダイオード(例えば、垂直共振器面発光レーザダイオード)または他の発光デバイスが、1つまたはそれを上回る眼のために使用されてもよい。カメラの要件と対照的に、本明細書に説明される技法は、閾値数の光検出器(例えば、光ダイオード、フォトトランジスタ等)を使用して、眼を結像するのではなく、反射された入射光の量を検出し、本反射された光によって提供される光強度信号を処理してもよい。したがって、電力要件は、実質的により少なくあり得る(例えば、1桁またはそれを上回って少ない)。加えて、ダイオードおよび光検出器の位置付けは、姿勢検出が、捕捉された画像内の反射された光の精密な場所の画像分析ではなく、経時的に検出された光強度のパターンに基づくため、上記に説明される技法と比較して、より実質的に単純であり得る。
ユーザの眼に関する眼姿勢を決定するために、本明細書に説明される技法は、ユーザの眼を横断して、特定の光パターン等の光を走査し得る。実施例として、光パターンは、それが、水平軸(ユーザの左および右眼の中心を通して延在すると理解され得る)に沿って、ユーザの眼を横断して走査(例えば、掃引)するように、投影されてもよい。いくつかの実施形態では、光パターンは、ユーザの眼にわたって、90°の角度未満に垂直に延在する、線を形成する、光の線または複数の光スポットを含んでもよい。例えば、光パターンは、ユーザの眼の下側部分から眼の上側部分まで垂直に延在してもよい。本光パターンは、次いで、それが、ユーザの眼またはその一部の幅を走査するように、水平軸に沿って移動されてもよい。いくつかの他の実施形態では、ユーザの眼を横断して光パターンを走査することは、ユーザの眼の高さを横断して、垂直軸に沿って、光パターンを移動させることを伴ってもよい。
下記に説明されるであろうように、移動可能反射体(例えば、微小電気機械的システム(MEMS)ミラー)が、光パターンの走査を生じさせるために使用されてもよい。いくつかの実施形態では、移動可能反射体は、回折格子を有してもよい。光源からの光は、特定の光パターンが作成されるように、回折格子(diffractive grating(diffraction gratingとも称される))に指向されてもよい。移動可能反射体は、次いで、光パターンが、上記に説明されるように、ユーザの眼を横断して走査されるように、1つまたはそれを上回る軸を中心として移動(例えば、回転)してもよい。いくつかの実施形態では、移動可能反射体は、単一軸を中心として移動してもよい。例えば、いくつかのそのような実施形態では、移動可能反射体は、1次元MEMSミラーであってもよく、採用される光パターンは、少なくとも1つの他の次元において、空間的に変動してもよい。
いくつかの実施形態では、光パターンは、「V」パターンであってもよい。そのような光パターンの実施例は、図10A-10Bに図示され、さらに本明細書に詳細に説明される。本例示的パターンは、2つの部分を含んでもよく、これはそれぞれ、垂直軸に沿って、ユーザの眼の下側部分から上側部分まで延在する。しかしながら、各部分は、ユーザの眼の異なる水平部分を横断して延在してもよい。例えば、各部分は、同一下側部分から対向水平方向に延在する、角度付けられた線であってもよい(例えば、光パターンの2つの部分は、「V」を形成し得る)。
別の実施例として、光パターンの第1の部分は、ユーザの眼を横断して、水平に走査されてもよく、次いで、光パターンの第2の部分もまた、ユーザの眼を横断して、水平に走査されてもよい。第1および第2の部分は、いくつかの実施形態では、「V」パターンの2つの辺であってもよい。例えば、第1の部分は、上側端が、眼を横断して、第1の部分の下側端(本明細書では、「アルファ」部分と称される)につながるように、「V」の右辺であってもよい。光パターンの第2の部分(「V」の左辺)は、同様に、下側端が、第2の部分の上側端(本明細書では、「ベータ」部分と称される)につながるように、ユーザの眼を横断して、水平に走査されてもよい。第1および第2の部分は、異なる方向に延在することを理解されたい。いくつかの実施形態では、「V」形状は、反転され、「Λ」形状をとってもよい。
他の光パターンも、使用されてもよく、本明細書の本開示の範囲内に該当することを理解されたい。いくつかの実施形態では、反射体は、光源からの光が入射する、回折格子に応じて、異なる光パターンを提供する、複数の回折格子を有してもよい。
ユーザの眼は、移動可能反射体によってその上に指向される、光パターンを反射させ得る。眼姿勢を決定するために、ディスプレイシステムは、光検出器を使用して、反射と関連付けられる情報(例えば、光検出器上に入射する光の強度)を測定してもよい。実施例として、ディスプレイシステムは、光ダイオードを使用して、受光された光を個別の電流に変換してもよい。これらの光ダイオードは、好ましくは、眼に対して異なる位置において、ディスプレイシステム上にあり得る。光ダイオードの例示的配向は、図11に図示される。異なる場所に位置する、各光ダイオードは、眼からの異なる反射された光を受光し、異なる受光された光を異なるパターンまたは光パターンが眼を横断して走査されるにつれた電流対時間のプロットに変換する。参照を容易にするために、光パターンが眼を横断して走査されるにつれて、異なる時点において光検出器によって検出された反射された光の強度は、本明細書では、光強度パターンと称される。いくつかの実施形態では、光強度パターンは、走査の間、異なる時点または異なる位置において電流によって画定される、またはそこから導出される、パターンに対応し得、反射された光は、光を電流に変換する、光センサ(例えば、光ダイオード)によって検出される。いくつかの実施形態では、ディスプレイシステム内の光検出器のうちの1つまたはそれを上回るものはそれぞれ、電気的に結合され、個別の光検出器上に入射する光の強度を示す、電圧を生成してもよい。これらの実施形態のうちの少なくともいくつかでは、1つまたはそれを上回る光ダイオード、フォトトランジスタ、および/またはフォトレジスタが、ディスプレイシステム内の光検出器として使用されてもよい。
したがって、ユーザの眼を横断した光パターンの走査毎に、多数の結果として生じる光強度パターンが存在し得、各パターンは、異なる光検出器によって検出される。本明細書に議論されるように、ディスプレイシステムは、これらの光強度パターンを使用して、ユーザの眼に関する眼姿勢を決定してもよい。ユーザの眼の異なる部分は、光を異なるように反射させ得る(眼の形状における非対称性および/または眼の異なる部分の組成における差異に起因して)ことを理解されたい。したがって、ユーザの眼の所与の配向に関して、異なる光検出器から取得される光強度パターンの結果として生じる集合は、実質的に一意であり得る。すなわち、所与の眼姿勢は、光強度パターンの集合によって画定された一意の「シグネチャ」のセットを有し得る。閾値数のこれらの光強度パターンを使用して、ディスプレイシステムは、光強度パターンと関連付けられる眼姿勢を決定することによって、眼姿勢を決定してもよい。
いくつかの実施形態では、光強度パターンは、眼を横断した通過あたり複数の異なる差動信号を効率的に提供するために、異なる性質を有する、光を含み得る。例えば、パターンの光は、それぞれ、例えば、異なる波長または異なる偏光を有する、複数の光の列を含んでもよい。いくつかの実施形態では、光の各列は、複数の光のビーム、例えば、ビームを収束させることによって形成される、光の列、コリメートされたビームによって形成される、光の列、および/または発散ビームによって形成される、光の列を含んでもよい。
眼姿勢を決定するために、いくつかの実施形態では、ディスプレイシステムは、光強度パターンと眼姿勢を相関させるために使用可能である、記憶された情報にアクセスしてもよい。例えば、機械学習モデルが、光強度パターンの入力に基づいて、眼姿勢を決定するために使用されてもよい。随意に、記憶された情報は、ある眼姿勢と関連付けられることが既知である、光強度パターンを表し得る。いくつかの実施形態では、ディスプレイシステムは、光強度パターンを分析することに基づいて、眼姿勢を決定してもよい。例えば、ディスプレイシステムは、光強度パターン内に表されるような山、谷、曲率等を使用して、眼姿勢を確認してもよい。本実施例では、ディスプレイシステムは、異なる光強度パターン間で相関させ、眼姿勢を決定してもよい。
したがって、種々の実施形態は、改良を提供し、ディスプレイシステム内の眼追跡または眼姿勢決定と関連付けられる、技術的課題に対処する。上記に説明されるように、本明細書に説明される技法は、技術的効率性を可能にし得る。例えば、眼姿勢が決定される、周波数またはレートは、増加され得る。本増加された周波数は、ディスプレイシステムを使用するとき、改良された視覚的忠実性、現実性、および視認快適性を可能にし得る。加えて、電力要件および機械的整合複雑性も、低減され得る。
有利なこととして、光強度パターンは、付加的情報を含有し、これが、他の目的のためにも使用され得ることを理解されたい。例えば、本明細書に議論されるように、眼の異なる部分(例えば、強膜、虹彩、および瞳孔)は、異なる反射率を有し、これは、異なるレベルの反射された光強度を提供する。これらの異なる反射された強度は、眼の生理学的特徴(例えば、虹彩および/または瞳孔)の位置および/またはサイズを決定するために利用されてもよい。加えて、いくつかの実施形態では、ディスプレイシステムは、眼移動の速度、例えば、サッカードの速度を決定し得、これは、サッカード後の眼の位置を予測するために有用であり得る。いくつかの実施形態では、本予測は、検出された眼姿勢に関するチェックとして利用されてもよい。
ここで、同様の参照番号が全体を通して同様の部分を指す、図面を参照する。別様に示されない限り、図面は、概略であって、必ずしも、正確な縮尺で描かれていない。
例示的ディスプレイシステム
例示的ディスプレイシステム
図2は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。ユーザの眼は、離間されており、空間内の実オブジェクトを見ているとき、各眼は、オブジェクトの若干異なるビューを有し、オブジェクトの画像を各眼の網膜上の異なる場所に形成し得ることを理解されたい。これは、両眼視差と称され得、ヒト視覚系によって、深度の知覚を提供するために利用され得る。従来のディスプレイシステムは、仮想オブジェクトが所望の深度における実オブジェクトであるように各眼によって見えるであろう仮想オブジェクトのビューに対応する、眼210、220毎に1つの同一仮想オブジェクトの若干異なるビューを伴う2つの明確に異なる画像190、200を提示することによって、両眼視差をシミュレートする。これらの画像は、ユーザの視覚系が深度の知覚を導出するために解釈し得る、両眼キューを提供する。
図2を継続して参照すると、画像190、200は、z-軸上で距離230だけ眼210、220から離間される。z-軸は、その眼が視認者の直前の光学無限遠におけるオブジェクトを固視している状態の視認者の光学軸と平行である。画像190、200は、平坦であって、眼210、220から固定距離にある。それぞれ、眼210、220に提示される画像内の仮想オブジェクトの若干異なるビューに基づいて、眼は、必然的に、オブジェクトの画像が眼のそれぞれの網膜上の対応する点に来て、単一両眼視を維持するように回転し得る。本回転は、眼210、220のそれぞれの視線を仮想オブジェクトが存在するように知覚される空間内の点上に収束させ得る。その結果、3次元画像の提供は、従来、ユーザの眼210、220の輻輳・開散運動を操作し得、ヒト視覚系が深度の知覚を提供するように解釈する、両眼キューを提供することを伴う。
しかしながら、深度の現実的かつ快適な知覚の生成は、困難である。眼からの異なる距離におけるオブジェクトからの光は、異なる発散量を伴う波面を有することを理解されたい。図3A-3Cは、距離と光線の発散との間の関係を図示する。オブジェクトと眼210との間の距離は、減少距離R1、R2、およびR3の順序で表される。図3A-3Cに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。逆に言えば、距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点(オブジェクトまたはオブジェクトの一部)によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言えるであろう。曲率は、オブジェクトと眼210との間の距離の減少に伴って増加する。単眼210のみが、例証を明確にするために、図3A-3Cおよび本明細書の種々の他の図に図示されるが、眼210に関する議論は、視認者の両眼210および220に適用され得る。
図3A-3Cを継続して参照すると、視認者の眼が固視しているオブジェクトからの光は、異なる波面発散度を有し得る。異なる波面発散量に起因して、光は、眼の水晶体によって異なるように集束され得、これは、ひいては、水晶体に、異なる形状をとり、集束された画像を眼の網膜上に形成することを要求し得る。集束された画像が、網膜上に形成されない場合、結果として生じる網膜ぼけは、集束された画像が網膜上に形成されるまで、眼の水晶体の形状に変化を生じさせる、遠近調節のためのキューとして作用する。例えば、遠近調節のためのキューは、眼の水晶体を囲繞する毛様筋の弛緩または収縮を誘起し、それによって、レンズを保持する提靭帯に印加される力を変調し、したがって、固視されている画像の網膜ぼけが排除または最小限にされるまで、眼の水晶体の形状を変化させ、それによって、固視されているオブジェクトの集束された画像を眼の網膜(例えば、中心窩)上に形成し得る。眼の水晶体が形状を変化させるプロセスは、遠近調節と称され得、固視されているオブジェクトの集束された画像を眼の網膜(例えば、中心窩)上に形成するために要求される眼の水晶体の形状は、遠近調節状態と称され得る。
ここで図4Aを参照すると、ヒト視覚系の遠近調節-輻輳・開散運動応答の表現が、図示される。オブジェクトを固視するための眼の移動は、眼にオブジェクトからの光を受光させ、光は、画像を眼の網膜のそれぞれ上に形成する。網膜上に形成される画像内の網膜ぼけの存在は、遠近調節のためのキューを提供し得、網膜上の画像の相対的場所は、輻輳・開散運動のためのキューを提供し得る。遠近調節するためのキューは、遠近調節を生じさせ、眼の水晶体がオブジェクトの集束された画像を眼の網膜(例えば、中心窩)上に形成する特定の遠近調節状態をとる結果をもたらす。一方、輻輳・開散運動のためのキューは、各眼の各網膜上に形成される画像が単一両眼視を維持する対応する網膜点にあるように、輻輳・開散運動移動(眼の回転)を生じさせる。これらの位置では、眼は、特定の輻輳・開散運動状態をとっていると言え得る。図4Aを継続して参照すると、遠近調節は、眼が特定の遠近調節状態を達成するプロセスであると理解され得、輻輳・開散運動は、眼が特定の輻輳・開散運動状態を達成するプロセスであると理解され得る。図4Aに示されるように、眼の遠近調節および輻輳・開散運動状態は、ユーザが別のオブジェクトを固視する場合、変化し得る。例えば、遠近調節された状態は、ユーザがz-軸上の異なる深度における新しいオブジェクトを固視する場合、変化し得る。
理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動および遠近調節の組み合わせに起因して、オブジェクトを「3次元」であると知覚し得ると考えられる。上記に記載されるように、2つの眼の相互に対する輻輳・開散運動移動(例えば、瞳孔が相互に向かって、またはそこから移動し、眼の視線を収束させ、オブジェクトを固視するような眼の回転)は、眼の水晶体の遠近調節と密接に関連付けられる。正常条件下では、眼の水晶体の形状を変化させ、1つのオブジェクトから異なる距離における別のオブジェクトに焦点を変化させることは、自動的に、「遠近調節-輻輳・開散運動反射」として知られる関係下、同一距離まで輻輳・開散運動における整合する変化を生じさせるであろう。同様に、輻輳・開散運動における変化は、正常条件下、水晶体形状における整合する変化を誘起するであろう。
ここで図4Bを参照すると、眼の異なる遠近調節および輻輳・開散運動状態の実施例が、図示される。対の眼222aは、光学無限遠におけるオブジェクトを固視する一方、対の眼222bは、光学無限遠未満におけるオブジェクト221を固視する。着目すべきこととして、各対の眼の輻輳・開散運動状態は、異なり、対の眼222aは、まっすぐ指向される一方、対の眼222は、オブジェクト221上に収束する。各対の眼222aおよび222bを形成する眼の遠近調節状態もまた、水晶体210a、220aの異なる形状によって表されるように異なる。
望ましくないことに、従来の「3-D」ディスプレイシステムの多くのユーザは、これらのディスプレイにおける遠近調節と輻輳・開散運動状態との間の不整合に起因して、そのような従来のシステムを不快であると見出す、または奥行感を全く知覚しない場合がある。上記に記載されるように、多くの立体視または「3-D」ディスプレイシステムは、若干異なる画像を各眼に提供することによって、場面を表示する。そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供し、眼の輻輳・開散運動状態に変化を生じさせるが、それらの眼の遠近調節状態に対応する変化を伴わないため、多くの視認者にとって不快である。むしろ、画像は、眼が全ての画像情報を単一遠近調節状態において視認するように、ディスプレイによって眼から固定距離に示される。そのような配列は、遠近調節状態における整合する変化を伴わずに輻輳・開散運動状態に変化を生じさせることによって、「遠近調節-輻輳・開散運動反射」に逆らう。本不整合は、視認者不快感を生じさせると考えられる。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。いくつかの実施形態では、異なる提示は、輻輳・開散運動のためのキューおよび遠近調節するための整合するキューの両方を提供し、それによって、生理学的に正しい遠近調節-輻輳・開散運動整合を提供してもよい。
図4Bを継続して参照すると、眼210、220からの空間内の異なる距離に対応する、2つの深度面240が、図示される。所与の深度面240に関して、輻輳・開散運動キューが、眼210、220毎に適切に異なる視点の画像を表示することによって提供されてもよい。加えて、所与の深度面240に関して、各眼210、220に提供される画像を形成する光は、その深度面240の距離におけるある点によって生成されたライトフィールドに対応する波面発散を有してもよい。
図示される実施形態では、点221を含有する、深度面240のz-軸に沿った距離は、1mである。本明細書で使用されるように、z-軸に沿った距離または深度は、ユーザの眼の射出瞳に位置するゼロ点を用いて測定されてもよい。したがって、1mの深度に位置する深度面240は、眼が光学無限遠に向かって指向される状態における、それらの眼の光学軸上のユーザの眼の射出瞳から1m離れた距離に対応する。近似値として、z-軸に沿った深度または距離は、ユーザの眼の正面のディスプレイ(例えば、導波管の表面)から測定され、デバイスとユーザの眼の射出瞳との間の距離に関する値が加えられてもよい。その値は、瞳距離と呼ばれ、ユーザの眼の射出瞳と眼の正面のユーザによって装着されるディスプレイとの間の距離に対応し得る。実際は、瞳距離に関する値は、概して、全ての視認者に関して使用される、正規化された値であってもよい。例えば、瞳距離は、20mmであると仮定され得、1mの深度における深度面は、ディスプレイの正面の980mmの距離にあり得る。
ここで図4Cおよび4Dを参照すると、整合遠近調節-輻輳・開散運動距離および不整合遠近調節-輻輳・開散運動距離の実施例が、それぞれ、図示される。図4Cに図示されるように、ディスプレイシステムは、仮想オブジェクトの画像を各眼210、220に提供してもよい。画像は、眼210、220に、眼が深度面240上の点15上に収束する、輻輳・開散運動状態をとらせ得る。加えて、画像は、その深度面240における実オブジェクトに対応する波面曲率を有する光によって形成され得る。その結果、眼210、220は、画像がそれらの眼の網膜上に合焦する、遠近調節状態をとる。したがって、ユーザは、仮想オブジェクトを深度面240上の点15にあるように知覚し得る。
眼210、220の遠近調節および輻輳・開散運動状態はそれぞれ、z-軸上の特定の距離と関連付けられることを理解されたい。例えば、眼210、220からの特定の距離におけるオブジェクトは、それらの眼に、オブジェクトの距離に基づいて、特定の遠近調節状態をとらせる。特定の遠近調節状態と関連付けられる距離は、遠近調節距離Adと称され得る。同様に、特定の輻輳・開散運動状態または相互に対する位置における眼と関連付けられる特定の輻輳・開散運動距離Vdが、存在する。遠近調節距離および輻輳・開散運動距離が整合する場合、遠近調節と輻輳・開散運動との間の関係は、生理学的に正しいと言え得る。これは、視認者のために最も快適なシナリオであると見なされる。
しかしながら、立体視ディスプレイでは、遠近調節距離および輻輳・開散運動距離は、常時、整合しない場合がある。例えば、図4Dに図示されるように、眼210、220に表示される画像は、深度面240に対応する波面発散を伴って表示され得、眼210、220は、その深度面上の点15a、15bが合焦する、特定の遠近調節状態をとり得る。しかしながら、眼210、220に表示される画像は、眼210、220を深度面240上に位置しない点15上に収束させる、輻輳・開散運動のためのキューを提供し得る。その結果、いくつかの実施形態では、遠近調節距離は、眼210、220の射出瞳から深度面240までの距離に対応し、一方で、輻輳・開散運動距離は、眼210、220の射出瞳から点15までのより大きい距離に対応する。遠近調節距離は、輻輳・開散運動距離と異なる。その結果、遠近調節-輻輳・開散運動不整合が存在する。そのような不整合は、望ましくないと見なされ、不快感をユーザに生じさせ得る。不整合は、距離(例えば、Vd-Ad)に対応し、ジオプタを使用して特徴付けられ得ることを理解されたい。
いくつかの実施形態では、同一参照点が遠近調節距離および輻輳・開散運動距離のために利用される限り、眼210、220の射出瞳以外の参照点が、遠近調節-輻輳・開散運動不整合を決定するための距離を決定するために利用されてもよいことを理解されたい。例えば、距離は、角膜から深度面、網膜から深度面、接眼レンズ(例えば、ディスプレイデバイスの導波管)から深度面等で測定され得る。
理論によって限定されるわけではないが、ユーザは、不整合自体が有意な不快感を生じさせずに、依然として、最大約0.25ジオプタ、最大約0.33ジオプタ、および最大約0.5ジオプタの遠近調節-輻輳・開散運動不整合が生理学的に正しいと知覚し得ると考えられる。いくつかの実施形態では、本明細書に開示されるディスプレイシステム(例えば、ディスプレイシステム250、図6)は、約0.5ジオプタまたはそれ未満の遠近調節-輻輳・開散運動不整合を有する画像を視認者に提示する。いくつかの他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節-輻輳・開散運動不整合は、約0.33ジオプタまたはそれ未満である。さらに他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節-輻輳・開散運動不整合は、約0.25ジオプタまたはそれ未満であって、約0.1ジオプタまたはそれ未満を含む。
図5は、波面発散を修正することによって、3次元画像をシミュレートするためのアプローチの側面を図示する。ディスプレイシステムは、画像情報でエンコードされた光770を受光し、その光をユーザの眼210に出力するように構成される、導波管270を含む。導波管270は、所望の深度面240上のある点によって生成されたライトフィールドの波面発散に対応する定義された波面発散量を伴って光650を出力してもよい。いくつかの実施形態では、同一量の波面発散が、その深度面上に提示される全てのオブジェクトのために提供される。加えて、ユーザの他方の眼は、類似導波管からの画像情報を提供され得るように図示されるであろう。
いくつかの実施形態では、単一導波管が、単一または限定数の深度面に対応する設定された波面発散量を伴う光を出力するように構成されてもよく、および/または導波管は、限定された範囲の波長の光を出力するように構成されてもよい。その結果、いくつかの実施形態では、複数またはスタックの導波管が、異なる深度面のための異なる波面発散量を提供し、および/または異なる範囲の波長の光を出力するために利用されてもよい。本明細書で使用されるように、深度面は、平坦であってもよい、または湾曲表面の輪郭に追従してもよいことを理解されたい。
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム250は、複数の導波管270、280、290、300、310を使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ260を含む。ディスプレイシステム250は、いくつかの実施形態では、ライトフィールドディスプレイと見なされてもよいことを理解されたい。加えて、導波管アセンブリ260はまた、接眼レンズとも称され得る。
いくつかの実施形態では、ディスプレイシステム250は、輻輳・開散運動するための実質的に連続キューおよび遠近調節するための複数の離散キューを提供するように構成されてもよい。輻輳・開散運動のためのキューは、異なる画像をユーザの眼のそれぞれに表示することによって提供されてもよく、遠近調節のためのキューは、選択可能な離散量の波面発散を伴う画像を形成する光を出力することによって提供されてもよい。換言すると、ディスプレイシステム250は、可変レベルの波面発散を伴う光を出力するように構成されてもよい。いくつかの実施形態では、波面発散の各離散レベルは、特定の深度面に対応し、導波管270、280、290、300、310のうちの特定の1つによって提供されてもよい。
図6を継続して参照すると、導波管アセンブリ260はまた、複数の特徴320、330、340、350を導波管の間に含んでもよい。いくつかの実施形態では、特徴320、330、340、350は、1つまたはそれを上回るレンズであってもよい。導波管270、280、290、300、310および/または複数のレンズ320、330、340、350は、種々のレベルの波面曲率または光線発散を伴って画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス360、370、380、390、400は、導波管のための光源として機能してもよく、画像情報を導波管270、280、290、300、310の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼210に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス360、370、380、390、400の出力表面410、420、430、440、450から出射し、導波管270、280、290、300、310の対応する入力表面460、470、480、490、500の中に投入される。いくつかの実施形態では、入力表面460、470、480、490、500はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部(すなわち、世界510または視認者の眼210に直接面する導波管表面のうちの1つ)であってもよい。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度(および発散量)において眼210に向かって指向される、クローン化されるコリメートされたビームの全体場を出力してもよい。いくつかの実施形態では、画像投入デバイス360、370、380、390、400のうちの単一の1つは、複数(例えば、3つ)の導波管270、280、290、300、310と関連付けられ、その中に光を投入してもよい。
いくつかの実施形態では、画像投入デバイス360、370、380、390、400はそれぞれ、それぞれ対応する導波管270、280、290、300、310の中への投入のために画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス360、370、380、390、400は、例えば、画像情報を1つまたはそれを上回る光学導管(光ファイバケーブル等)を介して画像投入デバイス360、370、380、390、400のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス360、370、380、390、400によって提供される画像情報は、異なる波長または色(例えば、本明細書に議論されるような異なる原色)の光を含み得ることを理解されたい。
いくつかの実施形態では、導波管270、280、290、300、310の中に投入される光は、本明細書にさらに議論されるように、画像情報でエンコーディングされ、光プロジェクタシステム1010によって提供される。いくつかの実施形態では、光プロジェクタシステム1010は、1つまたはそれを上回る放出ピクセルアレイを備えてもよい。放出ピクセルアレイはそれぞれ、複数の発光ピクセルを備えてもよく、これは、可変強度および色の光を放出するように構成されることを理解されたい。画像投入デバイス360、370、380、390、400は、図式的に図示され、いくつかの実施形態では、これらの画像投入デバイスは、光を導波管270、280、290、300、310の関連付けられるものの中に出力するように構成される、共通投影システム内の異なる光経路および場所を表し得ることを理解されたい。いくつかの実施形態では、導波管アセンブリ260の導波管は、導波管の中に投入された光をユーザの眼に中継しながら、理想的レンズとして機能し得る。本概念では、オブジェクトは、光プロジェクタシステム1010のピクセルアレイであってもよく、画像は、深度面上の画像であってもよい。
コントローラ560は、画像投入デバイス360、370、380、390、400および光投影システム1010の動作を含む、スタックされた導波管アセンブリ260のうちの1つまたはそれを上回るものの動作を制御する。いくつかの実施形態では、コントローラ560は、ローカルデータ処理モジュール140の一部である。コントローラ560は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管270、280、290、300、310への画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性媒体内の命令)を含む。いくつかの実施形態では、コントローラは、単一の一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ560は、いくつかの実施形態では、処理モジュール140または150(図9D)の一部であってもよい。
図6を継続して参照すると、導波管270、280、290、300、310は、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管270、280、290、300、310はそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管270、280、290、300、310はそれぞれ、各個別の導波管内で伝搬する光を導波管から再指向し、画像情報を眼210に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素570、580、590、600、610を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光抽出光学要素に衝打する場所において出力され得る。外部結合光学要素570、580、590、600、610は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明を容易にし、図面を明確にするために、導波管270、280、290、300、310の底部主要表面に配置されて図示されるが、いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、本明細書にさらに議論されるように、上部および/または底部主要表面に配置されてもよく、および/または導波管270、280、290、300、310の容積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、透明基板に取り付けられ、導波管270、280、290、300、310を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管270、280、290、300、310は、モノリシック材料片であってもよく、外部結合光学要素570、580、590、600、610は、その材料片の表面上および/または内部に形成されてもよい。
図6を継続して参照すると、本明細書に議論されるように、各導波管270、280、290、300、310は、光を出力し、特定の深度面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管270は、眼210にコリメートされた光(そのような導波管270の中に投入された)を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管280は、眼210に到達し得る前に、第1のレンズ350(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第1のレンズ350は、眼/脳が、その次の上方の導波管280から生じる光を光学無限遠から眼210に向かって内向きにより近い第1の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管290は、眼210に到達する前に、その出力光を第1のレンズ350および第2のレンズ340の両方を通して通過させる。第1のレンズ350および第2のレンズ340の組み合わせられた屈折力は、眼/脳が、第3の導波管290から生じる光が次の上方の導波管280からの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層300、310およびレンズ330、320も同様に構成され、スタック内の最高導波管310は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ260の他側の世界510から生じる光を視認/解釈するとき、レンズ320、330、340、350のスタックを補償するために、補償レンズ層620が、スタックの上部に配置され、下方のレンズスタック320、330、340、350の集約力を補償してもよい。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面は両方とも、静的であってもよい(すなわち、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
いくつかの実施形態では、導波管270、280、290、300、310のうちの2つまたはそれを上回るものは、同一の関連付けられる深度面を有してもよい。例えば、複数の導波管270、280、290、300、310が、同一深度面に設定される画像を出力するように構成されてもよい、または導波管270、280、290、300、310の複数のサブセットは、深度面毎に1つのセットを伴う、同一の複数の深度面に設定される画像を出力するように構成されてもよい。これは、それらの深度面において拡張された視野を提供するようにタイル化された画像を形成する利点を提供し得る。
図6を継続して参照すると、外部結合光学要素570、580、590、600、610は、導波管と関連付けられる特定の深度面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられる深度面を有する導波管は、外部結合光学要素570、580、590、600、610の異なる構成を有してもよく、これは、関連付けられる深度面に応じて、異なる量の発散を伴う光を出力する。いくつかの実施形態では、光抽出光学要素570、580、590、600、610は、具体的角度で光を出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素570、580、590、600、610は、立体ホログラム、表面ホログラム、および/または回折格子であってもよい。いくつかの実施形態では、特徴320、330、340、350は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ(例えば、空隙を形成するためのクラッディング層および/または構造)であってもよい。
いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、回折パターンを形成する回折特徴または「回折光学要素」(また、本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみがDOEの各交差部で眼210に向かって偏向される一方、残りがTIRを介して、導波管を通して移動し続けるように、十分に低い回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼210に向かって非常に均一なパターンの出射放出となる。
いくつかの実施形態では、1つまたはそれを上回るDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なDOEは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に一致するように切り替えられてもよい(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに一致しない屈折率に切り替えられてもよい(その場合、パターンは、入射光を能動的に回折させる)。
いくつかの実施形態では、カメラアセンブリ630(例えば、可視光および赤外光カメラを含む、デジタルカメラ)が、眼210および/または眼210の周囲の組織の画像を捕捉し、例えば、ユーザ入力を検出する、および/またはユーザの生理学的状態を監視するために提供されてもよい。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであってもよい。いくつかの実施形態では、カメラアセンブリ630は、画像捕捉デバイスと、光(例えば、赤外線光)を眼に投影し、該光が、次いで、眼によって反射され、画像捕捉デバイスによって検出され得る、光源とを含んでもよい。いくつかの実施形態では、カメラアセンブリ630は、フレーム80(図9D)に取り付けられてもよく、カメラアセンブリ630からの画像情報を処理し得る、処理モジュール140および/または150と電気通信してもよい。いくつかの実施形態では、1つのカメラアセンブリ630が、眼毎に利用され、各眼を別個に監視してもよい。
ここで図7を参照すると、導波管によって出力された出射ビームの実施例が、示される。1つの導波管が図示されるが、導波管アセンブリ260(図6)内の他の導波管も同様に機能し得、導波管アセンブリ260は、複数の導波管を含むことを理解されたい。光640が、導波管270の入力表面460において導波管270の中に投入され、TIRによって導波管270内を伝搬する。光640がDOE570上に衝突する点では、光の一部は、導波管から出射ビーム650として出射する。出射ビーム650は、略平行として図示されるが、本明細書に議論されるように、また、導波管270と関連付けられる深度面に応じて、ある角度(例えば、発散出射ビームを形成する)において眼210に伝搬するように再指向されてもよい。略平行出射ビームは、眼210からの遠距離(例えば、光学無限遠)における深度面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼210がより近い距離に遠近調節し、網膜上に合焦させることを要求し、光学無限遠より眼210に近い距離からの光として脳によって解釈されるであろう。
いくつかの実施形態では、フルカラー画像が、原色、例えば、3つまたはそれを上回る原色のそれぞれに画像をオーバーレイすることによって、各深度面において形成されてもよい。図8は、各深度面は、複数の異なる原色を使用して形成される画像を含む、スタックされた導波管アセンブリの実施例を図示する。図示される実施形態は、深度面240a-240fを示すが、より多いまたはより少ない深度もまた、検討される。各深度面は、第1の色Gの第1の画像、第2の色Rの第2の画像、および第3の色Bの第3の画像を含む、それと関連付けられる3つまたはそれを上回る原色画像を有してもよい。異なる深度面は、文字G、R、およびBに続くジオプタ(dpt)に関する異なる数字によって図示される。単なる実施例として、これらの文字のそれぞれに続く数字は、ジオプタ(1/m)、すなわち、視認者からの深度面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度面の正確な場所は、変動してもよい。例えば、所与の深度面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度面上に設置されてもよい。そのような配列は、視力およびユーザ快適性を増加させ得る、および/または色収差を減少させ得る。
いくつかの実施形態では、各原色の光は、単一専用導波管によって出力されてもよく、その結果、各深度面は、それと関連付けられる複数の導波管を有してもよい。そのような実施形態では、文字G、R、またはBを含む、図中の各ボックスは、個々の導波管を表すものと理解され得、3つの導波管は、3つの原色画像が、深度面毎に提供される、深度面毎に提供されてもよい。各深度面と関連付けられる導波管は、本図面では、説明を容易にするために相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に1つの導波管を伴うスタックで配列されてもよいことを理解されたい。いくつかの他の実施形態では、例えば、単一導波管のみが深度面毎に提供され得るように、複数の原色が、同一導波管によって出力されてもよい。
図8を継続して参照すると、いくつかの実施形態では、Gは、緑色であって、Rは、赤色であって、Bは、青色である。いくつかの他の実施形態では、マゼンタ色およびシアン色を含む、光の他の波長と関連付けられる他の色も、赤色、緑色、または青色のうちの1つまたはそれを上回るものに加えて使用されてもよい、またはそれらに取って代わってもよい。
本開示全体を通した所与の光の色の言及は、視認者によってその所与の色として知覚される、光の波長の範囲内の1つまたはそれを上回る波長の光を包含すると理解されると理解されたい。例えば、赤色光は、約620~780nmの範囲内の1つまたはそれを上回る波長の光を含んでもよく、緑色光は、約492~577nmの範囲内の1つまたはそれを上回る波長の光を含んでもよく、青色光は、約435~493nmの範囲内の1つまたはそれを上回る波長の光を含んでもよい。
いくつかの実施形態では、光投影システム1010(図6)は、視認者の視覚的知覚範囲外の1つまたはそれを上回る波長、例えば、赤外線および/または紫外線波長の光を放出するように構成されてもよい。加えて、ディスプレイ250の導波管の内部結合、外部結合、および他の光再指向構造は、例えば、結像および/またはユーザ刺激用途のために、本光をディスプレイからユーザの眼210に向かって指向および放出するように構成されてもよい。
ここで図9Aを参照すると、いくつかの実施形態では、導波管に衝突する光は、その光を導波管の中に内部結合するために再指向される必要があり得る。内部結合光学要素が、光をその対応する導波管の中に再指向および内部結合するために使用されてもよい。図9Aは、それぞれ、内部結合光学要素を含む、複数またはセット660のスタックされた導波管の実施例の断面側面図を図示する。導波管はそれぞれ、1つまたはそれを上回る異なる波長または1つまたはそれを上回る異なる波長範囲の光を出力するように構成されてもよい。スタック660は、スタック260(図6)に対応し得、スタック660の図示される導波管は、複数の導波管270、280、290、300、310の一部に対応してもよいが、画像投入デバイス360、370、380、390、400のうちの1つまたはそれを上回るものからの光が、光が内部結合のために再指向されることを要求する位置から導波管の中に投入されることを理解されたい。
スタックされた導波管の図示されるセット660は、導波管670、680、および690を含む。各導波管は、関連付けられる内部結合光学要素(導波管上の光入力面積とも称され得る)を含み、例えば、内部結合光学要素700は、導波管670の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素710は、導波管680の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素720は、導波管690の主要表面(例えば、上側主要表面)上に配置される。いくつかの実施形態では、内部結合光学要素700、710、720のうちの1つまたはそれを上回るものは、個別の導波管670、680、690の底部主要表面上に配置されてもよい(特に、1つまたはそれを上回る内部結合光学要素は、反射型偏向光学要素である)。図示されるように、内部結合光学要素700、710、720は、それらの個別の導波管670、680、690の上側主要表面(または次の下側導波管の上部)上に配置されてもよく、特に、それらの内部結合光学要素は、透過型偏向光学要素である。いくつかの実施形態では、内部結合光学要素700、710、720は、個別の導波管670、680、690の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素700、710、720は、他の光の波長を透過させながら、1つまたはそれを上回る光の波長を選択的に再指向するように、波長選択的である。それらの個別の導波管670、680、690の片側または角に図示されるが、内部結合光学要素700、710、720は、いくつかの実施形態では、それらの個別の導波管670、680、690の他の面積内に配置され得ることを理解されたい。
図示されるように、内部結合光学要素700、710、720は、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過することなく、光を受光するようにオフセットされてもよい。例えば、各内部結合光学要素700、710、720は、図6に示されるように、光を異なる画像投入デバイス360、370、380、390、および400から受光するように構成されてもよく、光を内部結合光学要素700、710、720の他のものから実質的に受光しないように、他の内部結合光学要素700、710、720から分離されてもよい(例えば、側方に離間される)。
各導波管はまた、関連付けられる光分散要素を含み、例えば、光分散要素730は、導波管670の主要表面(例えば、上部主要表面)上に配置され、光分散要素740は、導波管680の主要表面(例えば、上部主要表面)上に配置され、光分散要素750は、導波管690の主要表面(例えば、上部主要表面)上に配置される。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられる導波管670、680、690の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられる導波管670、680、690の上部および底部両方の主要表面上に配置されてもよい、または光分散要素730、740、750は、それぞれ、異なる関連付けられる導波管670、680、690内の上部および底部主要表面の異なるもの上に配置されてもよい。
導波管670、680、690は、例えば、材料のガス、液体、および/または固体層によって離間および分離されてもよい。例えば、図示されるように、層760aは、導波管670および680を分離してもよく、層760bは、導波管680および690を分離してもよい。いくつかの実施形態では、層760aおよび760bは、低屈折率材料(すなわち、導波管670、680、690のうちの直近のものを形成する材料より低い屈折率を有する材料)から形成される。好ましくは、層760a、760bを形成する材料の屈折率は、導波管670、680、690を形成する材料の屈折率に対して0.05より多くまたは0.10下回る。有利なこととして、より低い屈折率層760a、760bは、導波管670、680、690を通して光の全内部反射(TIR)(例えば、各導波管の上部主要表面と底部主要表面との間のTIR)を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層760a、760bは、空気から形成される。図示されないが、導波管の図示されるセット660の上部および底部は、直近クラッディング層を含み得ることを理解されたい。
好ましくは、製造および他の考慮点を容易にするために、導波管670、680、690を形成する材料は、類似または同一であって、層760a、760bを形成する材料は、類似または同一である。いくつかの実施形態では、導波管670、680、690を形成する材料は、1つまたはそれを上回る導波管間で異なり得る、および/または層760a、760bを形成する材料は、依然として、上記の種々の屈折率関係を保持しながら、異なり得る。
図9Aを継続して参照すると、光線770、780、790が、導波管のセット660に入射する。光線770、780、790は、1つまたはそれを上回る画像投入デバイス360、370、380、390、400(図6)によって導波管670、680、690の中に投入されてもよいことを理解されたい。
いくつかの実施形態では、光線770、780、790は、異なる導波管のために意図される(例えば、異なる量の波面発散を伴う光を出力するように構成される、および/または異なる波長または色等の異なる性質を有する光を出力するように構成される、導波管)。したがって、いくつかの実施形態では、光線770、780、790は、異なる色に対応し得る異なる性質、例えば、異なる波長または異なる波長範囲を有してもよい。内部結合光学要素700、710、720はそれぞれ、光が、TIRによって、導波管670、680、690のうちの個別の1つを通して伝搬するように、入射光を偏向させる。いくつかの実施形態では、内部結合光学要素700、710、720はそれぞれ、他の波長を下層導波管および関連付けられる内部結合光学要素に透過させながら、1つまたはそれを上回る特定の光の波長を選択的に偏向させる。
例えば、内部結合光学要素700は、それぞれ、異なる第2および第3の波長または波長範囲を有する、光線780および790を透過させながら、第1の波長または波長範囲を有する、光線770を偏向させるように構成されてもよい。透過された光線780は、第2の波長または波長範囲の光を偏向させるように構成される、内部結合光学要素710に衝突し、それによって偏向される。光線790は、第3の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素720によって偏向される。
図9Aを継続して参照すると、偏向された光線770、780、790は、対応する導波管670、680、690を通して伝搬するように偏向される。すなわち、各導波管の内部結合光学要素700、710、720は、光をその対応する導波管670、680、690の中に偏向させ、光をその対応する導波管の中に内部結合する。光線770、780、790は、光をTIRによって個別の導波管670、680、690を通して伝搬させる角度で偏向される。光線770、780、790は、導波管の対応する光分散要素730、740、750に衝突するまで、TIRによって個別の導波管670、680、690を通して伝搬する。
ここで図9Bを参照すると、図9Aの複数のスタックされた導波管の実施例の斜視図が、図示される。上記のように、内部結合された光線770、780、790は、それぞれ、内部結合光学要素700、710、720によって偏向され、次いで、それぞれ、導波管670、680、690内でTIRによって伝搬する。光線770、780、790は、次いで、それぞれ、光分散要素730、740、750に衝突する。光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820に向かって伝搬するように、光線770、780、790を偏向させる。
いくつかの実施形態では、光分散要素730、740、750は、直交瞳エクスパンダ(OPE)である。いくつかの実施形態では、OPEは、光を外部結合光学要素800、810、820に偏向または分散し、いくつかの実施形態では、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、光分散要素730、740、750は、省略されてもよく、内部結合光学要素700、710、720は、光を直接外部結合光学要素800、810、820に偏向させるように構成されてもよい。例えば、図9Aを参照すると、光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820と置換されてもよい。いくつかの実施形態では、外部結合光学要素800、810、820は、光を視認者の眼210(図7)に指向させる、射出瞳(EP)または射出瞳エクスパンダ(EPE)である。OPEは、少なくとも1つの軸においてアイボックスの次元を増加させるように構成され得、EPEは、OPEの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。例えば、各OPEは、光の残りの部分が導波管を辿って伝搬し続けることを可能にしながら、OPEに衝打する光の一部を同一導波管のEPEに再指向するように構成されてもよい。OPEに再び衝突することに応じて、残りの光の別の部分は、EPEに再指向され、その部分の残りの部分は、導波管を辿ってさらに伝搬し続ける等である。同様に、EPEへの衝打に応じて、衝突光の一部は、ユーザに向かって導波管から外に指向され、その光の残りの部分は、EPに再び衝打するまで、導波管を通して伝搬し続け、その時点で、衝突光の別の部分は、導波管から外に指向される等である。その結果、内部結合された光の単一ビームは、その光の一部がOPEまたはEPEによって再指向される度に、「複製」され、それによって、図6に示されるように、クローン化された光のビーム野を形成し得る。いくつかの実施形態では、OPEおよび/またはEPEは、光のビームのサイズを修正するように構成されてもよい。
故に、図9Aおよび9Bを参照すると、いくつかの実施形態では、導波管のセット660は、原色毎に、導波管670、680、690と、内部結合光学要素700、710、720と、光分散要素(例えば、OPE)730、740、750と、外部結合光学要素(例えば、EP)800、810、820とを含む。導波管670、680、690は、各1つの間に空隙/クラッディング層を伴ってスタックされてもよい。内部結合光学要素700、710、720は、(異なる波長の光を受光する異なる内部結合光学要素を用いて)入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波管670、680、690内にTIRをもたらすであろう角度で伝搬する。示される実施例では、光線770(例えば、青色光)は、前述の様式において、第1の内部結合光学要素700によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素(例えば、OPE)730、次いで、外部結合光学要素(例えば、EP)800と相互作用する。光線780および790(例えば、それぞれ、緑色および赤色光)は、導波管670を通して通過し、光線780は、内部結合光学要素710上に衝突し、それによって偏向される。光線780は、次いで、TIRを介して、導波管680を辿ってバウンスし、その光分散要素(例えば、OPE)740、次いで、外部結合光学要素(例えば、EP)810に進むであろう。最後に、光線790(例えば、赤色光)は、導波管690を通して通過し、導波管690の光内部結合光学要素720に衝突する。光内部結合光学要素720は、光線が、TIRによって、光分散要素(例えば、OPE)750、次いで、TIRによって、外部結合光学要素(例えば、EP)820に伝搬するように、光線790を偏向させる。外部結合光学要素820は、次いで、最後に、光線790を視認者に外部結合し、視認者はまた、他の導波管670、680からの外部結合した光も受光する。
図9Cは、図9Aおよび9Bの複数のスタックされた導波管の実施例の上下平面図を図示する。図示されるように、導波管670、680、690は、各導波管の関連付けられる光分散要素730、740、750および関連付けられる外部結合光学要素800、810、820とともに、垂直に整合されてもよい。しかしながら、本明細書に議論されるように、内部結合光学要素700、710、720は、垂直に整合されない。むしろ、内部結合光学要素は、好ましくは、非重複する(例えば、上下図に見られるように、側方に離間される)。本明細書でさらに議論されるように、本非重複空間配列は、1対1ベースで異なるリソースから異なる導波管の中への光の投入を促進し、それによって、具体的光源が具体的導波管に一意に結合されることを可能にする。いくつかの実施形態では、非重複の空間的に分離される内部結合光学要素を含む、配列は、偏移瞳システムと称され得、これらの配列内の内部結合光学要素は、サブ瞳に対応し得る。
図9Dは、本明細書に開示される種々の導波管および関連システムが統合され得る、ウェアラブルディスプレイシステム60の実施例を図示する。いくつかの実施形態では、ディスプレイシステム60は、図6のシステム250であって、図6は、そのシステム60のいくつかの部分をより詳細に図式的に示す。例えば、図6の導波管アセンブリ260は、ディスプレイ70の一部であってもよい。
図9Dを継続して参照すると、ディスプレイシステム60は、ディスプレイ70と、そのディスプレイ70の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ70は、フレーム80に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者90によって装着可能であって、ディスプレイ70をユーザ90の眼の正面に位置付けるように構成される。ディスプレイ70は、いくつかの実施形態では、接眼レンズと見なされ得る。いくつかの実施形態では、スピーカ100が、フレーム80に結合され、ユーザ90の外耳道に隣接して位置付けられるように構成される(いくつかの実施形態では、示されない別のスピーカも、随意に、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供してもよい)。ディスプレイシステム60はまた、1つまたはそれを上回るマイクロホン110または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンドをシステム60に提供することを可能にするように構成され(例えば、音声メニューコマンドの選択、自然言語質問等)、および/または他の人物(例えば、類似ディスプレイシステムの他のユーザ)とのオーディオ通信を可能にしてもよい。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ(例えば、ユーザおよび/または環境からの音)を収集してもよい。いくつかの実施形態では、ディスプレイシステムはまた、周辺センサ120aを含んでもよく、これは、フレーム80と別個であって、ユーザ90の身体(例えば、ユーザ90の頭部、胴体、四肢等)上に取り付けられてもよい。周辺センサ120aは、いくつかの実施形態では、ユーザ90の生理学的状態を特徴付けるデータを入手するように構成されてもよい。例えば、センサ120aは、電極であってもよい。
図9Dを継続して参照すると、ディスプレイ70は、有線導線または無線コネクティビティ等の通信リンク130によって、ローカルデータ処理モジュール140に動作可能に結合され、これは、フレーム80を固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホン内に埋設される、または別様にユーザ90に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成で搭載されてもよい。同様に、センサ120aは、通信リンク120b、例えば、有線導線または無線コネクティビティによって、ローカルデータ処理モジュール140に動作可能に結合されてもよい。ローカル処理およびデータモジュール140は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリまたはハードディスクドライブ)等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。随意に、ローカル処理およびデータモジュール140は、1つまたはそれを上回る中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、専用処理ハードウェア等を含んでもよい。データは、a)センサ(画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、ジャイロスコープ、および/または本明細書に開示される他のセンサ(例えば、フレーム80に動作可能に結合される、または別様にユーザ90に取り付けられ得る))から捕捉されたデータ、および/またはb)可能性として処理または読出後にディスプレイ70への通過のための遠隔処理モジュール150および/または遠隔データリポジトリ160(仮想コンテンツに関連するデータを含む)を使用して取得および/または処理されたデータを含んでもよい。ローカル処理およびデータモジュール140は、これらの遠隔モジュール150、160が相互に動作可能に結合され、ローカル処理およびデータモジュール140に対するリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク170、180によって、遠隔処理モジュール150および遠隔データリポジトリ160に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール140は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープのうちの1つまたはそれを上回るものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの1つまたはそれを上回るものは、フレーム80に取り付けられてもよい、または有線または無線通信経路によってローカル処理およびデータモジュール140と通信する、独立構造であってもよい。
図9Dを継続して参照すると、いくつかの実施形態では、遠隔処理モジュール150は、データおよび/または画像情報を分析および処理するように構成される、1つまたはそれを上回るプロセッサを備えてもよく、例えば、1つまたはそれを上回る中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、専用処理ハードウェア等を含む。いくつかの実施形態では、遠隔データリポジトリ160は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、遠隔データリポジトリ160は、1つまたはそれを上回る遠隔サーバを含んでもよく、これは、情報、例えば、拡張現実コンテンツをローカル処理およびデータモジュール140および/または遠隔処理モジュール150に生成するための情報を提供する。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的使用を可能にする。随意に、CPU、GPU等を含む、外部システム(例えば、1つまたはそれを上回るプロセッサ、1つまたはそれを上回るコンピュータのシステム)が、処理(例えば、画像情報を生成する、データを処理する)の少なくとも一部を実施し、例えば、無線または有線接続を介して、情報をモジュール140、150、160に提供し、情報をそこから受信してもよい。
向上された眼姿勢決定技法
向上された眼姿勢決定技法
本明細書に説明されるディスプレイシステム(例えば、ディスプレイシステム60、図9D)は、拡張または仮想現実コンテンツ(本明細書では、仮想コンテンツと称される)を提示するために使用されてもよい。仮想コンテンツを提示するために、ディスプレイシステムは、ユーザの眼の眼姿勢を監視してもよい。本明細書に説明されるように、眼姿勢は、眼の配向を示し得、これは、眼の特定の軸(例えば、光学および/または視軸)等の種々のパラメータを識別するために利用されてもよい。下記に説明されるものは、いくつかの実施形態では、眼姿勢が決定され得る速度を増加させるために適用され得る一方、加えて、電力要件を低減させ、機械的効率性を有効にする、技法である。
上記に説明されるように、眼姿勢を決定することは、視認体験および仮想コンテンツの提示と関連付けられる機能性を改良するために、種々の目的のために使用されてもよい。例えば、眼姿勢は、ディスプレイシステムが仮想コンテンツをレンダリングする方法を知らせ得る。本実施例では、ディスプレイシステムは、レンダリングカメラをユーザの眼球の個別の中心に設置し、仮想コンテンツの正しいビューをユーザに提示してもよい。加えて、ディスプレイシステムは、高速眼姿勢決定を使用して、遠近調節-輻輳・開散運動不整合を低減させてもよい。図4A-4Dに説明されるように、輻輳・開散運動-遠近調節不整合は、限定された数の深度面を備える、ディスプレイシステム内に存在し得る。深度面はそれぞれ、ユーザからの特定の深度の範囲に対応し得る。各深度面は、関連付けられる遠近調節キューを有し、限定された数の深度面に対応する、限定された利用可能な遠近調節キューが存在し得る。対照的に、輻輳・開散運動キューは、仮想コンテンツの離眼的提示を調節することを介して、更新され得る。したがって、深度範囲全体を通した遠近調節キューは、同一であり得る一方、輻輳・開散運動キューは、その深度範囲全体を通して調節され得る。ユーザに提供するための遠近調節キューは、その上にその眼が輻輳している、データ平面に基づいて、選択されてもよい。眼の実際の姿勢から遅れる、輻輳の決定は、望ましくないことに、眼の現在の輻輳・開散運動点(および平面)に対応しない、遠近調節キューを提供することによって、遠近調節-輻輳・開散運動不整合を導入し得る。リアルタイムで、眼姿勢を正確に決定することによって、ディスプレイシステムは、その上に眼が輻輳している、深度面を決定し、それによって、ディスプレイシステムが、その深度面に関する遠近調節キューを提供し、遠近調節-輻輳・開散運動不整合を低レベルに維持することを可能にし得る。
有利なこととして、本明細書に説明される技法を使用して、眼姿勢は、いくつかの既存の技法と比較して、より実質的に高い周波数(例えば、1kHz、10kHz等)において決定され得る。加えて、本決定は、いくつかの既存の技法より少ない電力を要求する、コンポーネントを使用してもたらされ得る。例えば、光(例えば、赤外線または近赤外線光)が、光源(例えば、VCSEL等のダイオード)からユーザの眼上に指向され得る。いくつかの実施形態では、光は、回折格子を有する、移動可能な反射体から反射され得、回折格子は、光パターンを提供する。いくつかの他の実施形態では、光パターンは、光源に形成されてもよい(例えば、光源の出力表面上に提供される、回折格子を使用して)。移動可能反射体は、反射された光がユーザの眼を横断して走査(例えば、掃引)するように、1つまたはそれを上回る軸を中心として回転してもよい。いくつかの実施形態では、光は、ユーザの眼の水平軸を横断して走査してもよく、水平軸は、一方の眼の中心から他方の眼の中心まで延在する。上記に述べられたように、いくつかの実施形態では、移動可能反射体は、反射された光が、1次元において、ユーザの眼を横断して、走査(例えば、掃引)するように、単一軸を中心として回転されてもよい。例えば、これらの実施形態のうちの少なくともいくつかでは、移動可能反射体は、反射された光パターンの位置が、単一の第1の次元において(例えば、ユーザの眼の水平軸を横断して)時間的に変動する一方、光パターン自体が、第2の異なる次元において(例えば、ユーザの眼の垂直軸を横断して)空間分散を呈するように構成および/または制御されてもよい。また、これらの実施形態では、移動可能反射体は、1つを上回る軸を中心として回転するように構成されなくてもよい、または移動可能反射体は、2つまたはそれを上回る軸を中心として回転するように構成されるが、軸の1つのみを中心として回転するような様式において制御されてもよいことを理解されたい。また、これらの実施形態では、光パターン自体が、第1および第2の次元の両方において空間分散を呈し得ることを理解されたい。本明細書に説明される特定の軸は、水平軸であるが、いくつかの他の実施形態では、光は、ユーザの眼の垂直軸を横断して走査されてもよい。
本走査の間に眼によって反射された光は、ディスプレイシステムを中心として位置付けられる、閾値数の光検出器(例えば、光ダイオード)によって測定されてもよい。例えば、反射された光の光強度が、測定されてもよい。光が眼を横断して掃引するにつれて経時的に検出された光強度に対応する、光強度パターンが、決定されてもよい。いくつかの実施形態では、光強度パターンは、各光検出器によって生成された電流に基づいて、形成されてもよい。本明細書に説明されるように、眼における非均一性は、異なる眼姿勢に関して一意である、光強度パターンを生じさせ得、眼姿勢は、したがって、これらの光強度パターンの分析に基づいて決定され得る。例えば、光強度パターンは、異なる姿勢に関して予期されるパターンと合致され得る。
ここで図10Aを参照すると、ユーザの眼姿勢を決定するためのシステムおよび技法が、平面図に図示される。図示される実施例では、ユーザの眼1002A、1002Bが、表される。ユーザは、ディスプレイシステム60(図9D)等のディスプレイシステムのユーザであってもよく、ディスプレイシステムを介して提示される、仮想コンテンツを視認し得る。したがって、図示されるシステムは、ディスプレイシステム60の一部と理解され得る。例えば、光源1302、移動可能な反射体1006、および光検出器1014は、ディスプレイシステム60のフレーム80に取り付けられてもよい。しかしながら、フレーム80およびディスプレイシステム60の残りは、例証および議論を容易にするために、示されない。加えて、眼1002Aの配向を検出するためのシステムが、図示されるが、類似システムが、眼1002Bのために提供され得、眼1002Aに関して本明細書に議論されるように、眼の配向1002Bを決定し得ることを理解されたい。
眼1002Aの眼姿勢を決定するために、眼照明システム1003が、光1010を眼1002A上に指向し、眼1002Aを横断して光1010を走査するように構成されてもよい。いくつかの実施形態では、眼照明システム1003は、光源1302を含み、これは、光1004を移動可能反射体1006上に指向し、これは、その光を眼1002A上に反射させる。いくつかの実施形態では、移動可能反射体1006は、微小電気機械的システム(MEMS)ミラーであってもよい。上記に述べられたように、いくつかの実施形態では、移動可能反射体1006は、1次元MEMS走査式ミラーであってもよい。いくつかの実施形態では、光源1302は、光を放出する、ダイオードであってもよい。実施例として、垂直共振器面発光レーザ(VCSEL)が、光1004を出力するために使用されてもよい。いくつかの実施形態では、他のダイオード、他のコヒーレント光源を含む、他のレーザ等が、使用されてもよい。
いくつかの実施形態では、移動可能な反射体1006の反射性表面は、回折格子1008を含んでもよい。光1004は、光パターン1010が形成されるように、移動可能反射体1006上の回折格子1008によって反射されてもよい。いくつかの実施形態では、光1004は、多色性光(例えば、赤外線および/または近赤外線光)であってもよい。多色性光を形成する、異なる波長(または色)の光が、異なる方向に回折され、それによって、パターン1010を作成してもよい。図10Aの実施例では、光パターン1010は、2つの部分1010A、1010Bを備え、これは、移動可能な反射体1006から離れるように、異なる方向に伝搬する。
いくつかの実施形態では、入射光1004は、モノクロ光(例えば、赤外線または近赤外線光)であってもよい。2つの部分1010A、1010Bは、適切に構成された回折格子を使用して、形成されてもよい(例えば、回折格子は、所望の方向における回折を達成するために、異なる配向、サイズ、幾何学形状等を有する、複数のセクションを含有してもよい)。
本立面図では、これらの2つの部分1010A、1010Bは、眼1002Aに向かって移動可能反射体1006から投影されるように図示される。しかしながら、部分1010A、1010Bは、それらが、眼1002A上に入射すると、垂直方向に眼1002Aに及ぶ、光の線または光スポットの列を形成するように構成されてもよいことを理解されるであろう。例えば、部分1010A、1010Bは、眼1002Aの下側部分から眼1002A上側部分に延在してもよい。本光パターンの異なる目線は、図10Bに図示され、下記でさらに詳細に説明されるであろう。
図10Aを継続して参照すると、移動可能反射体1006は、ディスプレイシステムによって、光パターン1010を眼1002Aを横断して水平軸に沿って移動および掃引させるように制御されてもよい。例えば、図10Aに関して、光パターン1010は、眼1002Aの左部分から眼1002Aの右部分に走査してもよい。いくつかの実施形態では、光パターン1010は、眼1002Aの強膜の全体を横断して、かつ虹彩および瞳孔を横断して、眼の片側から眼の別の側に走査してもよい。いくつかの実施形態では、走査の範疇は、より限定されてもよい。例えば、いくつかの実施形態では、ディスプレイシステムは、眼1002Aの虹彩の全体であるが、それを横断して掃引が進む、軸に沿って、眼の広がりの全体未満を横断して、光パターン1010を走査するように構成されてもよい。移動可能反射体1006は、1つまたはそれを上回る軸を中心として回転するように調節されてもよい。上記に述べられたように、いくつかの実施形態では、移動可能反射体1006は、単一軸を中心として回転するように調節されてもよい。本回転は、光1004が回折格子1008上に入射する、角度を調節し、それによって、光が眼1002Aに反射される、方向を変化させ、光が眼1002A上に入射する、最終位置を変化させ得ることを理解されたい。したがって、光パターン1010は、反射体1006の移動によって、眼1002Aを横断して掃引されてもよい。
図示されるように、光検出器1014が、反射された光1012を受光してもよい。反射された光1012は、眼1002A上に入射し、そこから光検出器1014に反射される、光1010A、1010Bの一部であることを理解されたい。反射された光1012は、光反射体1014によって受光され得る一方、移動可能反射体1006は、光パターン1010を眼1002Aの水平軸を横断して掃引させる。眼1002Aの異なる生理学的特徴は、光を異なるように反射させ得ることを理解されたい。例えば、角膜1016は、眼の残りから外に突出し、光を眼の他の部分と異なる方向に反射させ得る。加えて、眼の異なる部分は、異なる反射率を有し得る。例えば、強膜(眼の「白眼」)は、虹彩より多くの光を反射させると理解され得、これは、瞳孔より多くの光を反射させ得る。別の実施例として、眼の異なる部分は、拡散または鏡面反射と関連付けられ得る。強膜は、実施例として、例えば、図10Bに図示される、結果として生じる光強度パターンが、強度において、より徐々に増加または減少し、鏡面反射より低い最大強度値に到達する、光強度の山を含み得るように、拡散反射を生じさせ得る。対照的に、鏡面反射は、「閃光」と関連付けられ、強度において、急峻な増加または減少をもたらし得る。拡散光反射と鏡面反射との間の区別は、強膜、虹彩、および瞳孔(拡散反射を提供する)等の眼の一部によって生じる反射と、眼球/角膜曲率を識別するために使用され得る、「閃光」と関連付けられる反射との間の区別を有効にし得る。したがって、反射された光1012は、走査の間、強度において変動し得、強度における変動は、光1010A、1010Bが入射する、眼特徴から生じる。眼の配向に応じて、これらの変動は、走査の間の異なる点において(例えば、異なる時間において)生じることが予期され得る。反射された光1012によって提供される光強度のパターンは、したがって、眼1002Aの特定の眼姿勢を表す、シグネチャを表し得る。
光検出器1014は、反射された光1012を電流に変換してもよい。ディスプレイシステムは、移動可能反射体1006または入射光1010A、1010Bの時間または位置に対してプロットされるような電流(または電流から導出される値)を識別する、情報を記憶してもよい、または、単に、特定の時間および/または位置(または特定の時間および/または位置から導出される値)と関連付けられる、ある電流値(または電流から導出される値)を有してもよい。値のそのようなプロットまたはシーケンスは、本明細書では、光強度パターンと称され得る。例示的光強度パターンは、図10Bに図示される。好ましくは、異なる場所における光検出器から導出される、複数の光強度パターンが、眼姿勢(または本明細書に議論されるような他の眼パラメータ)の最終決定の正確度を増加させるために利用される。
再び、図10Aを参照すると、図示される実施例は、複数の光検出器1014を含んでもよく、これは、単一ブロックとして図式的に表される。しかしながら、光検出器1014は、ディスプレイシステム内の異なる位置に位置してもよいことを理解されたい。例えば、本システムは、線形アレイまたは種々の形状の角(例えば、ユーザの眼1002Aを中心とした矩形構成内に位置付けられる、4つの光検出器)に配列される、複数の光検出器を含んでもよい。
好ましくは、光検出器は、走査の間、反射された光1012を受光するように、眼1002Aの正面に位置付けられる。そのような構成の実施例は、図11に図示される。図10Bの光強度パターンは、単一光検出器1014を使用して検出される、単一光強度パターンの実施例であることを理解されたい。図示される光検出器1104A-1104Dはそれぞれ、異なるように位置付けられることに起因して、異なる光強度パターンを有し、それらに異なる方向に反射された光1012を受光させ得る。
光検出器はそれぞれ、したがって、眼1002Aを横断して、例えば、水平軸を横断して、光パターン1010を走査することと関連付けられる、光強度パターンを生成してもよい。本明細書に議論されるように、光強度パターンは、ディスプレイシステムによって、眼1002Aに関する眼姿勢を決定するために使用されてもよい。いくつかの実施形態では、水平軸を横断して走査することに続いて、光パターン1010は、対向方向に走査されてもよい。したがって、2つの走査が、随意に、実施されてもよい。これらの2つの走査は、ディスプレイシステムによって、眼1002Aに関する眼姿勢を決定するために使用されてもよい。いくつかの実施形態では、移動可能反射体1006は、概して、後続眼姿勢を決定するときのみ、光パターン1010を対向方向に走査させてもよい。したがって、眼1002Aに関する眼姿勢は、水平軸(例えば、左から右)を横断した方向における眼1002Aの単一走査に基づいて決定されてもよい。眼1002Aに関する後続眼姿勢が、次いで、水平軸(例えば、右から左)に沿った対向方向における走査に基づいて決定されてもよい。したがって、移動可能反射体は、走査毎に、同一初期位置から同一水平方向に沿って走査を生じさせる、同一位置にリセットする必要がなくあり得る。このように、走査が対向方向に生じることを可能にすることは、眼追跡が生じ得る、速度を増加させ得る。例えば、眼追跡速度は、眼姿勢決定毎に同一方向における走査を要求することと比較して、2倍にされ得る。
ディスプレイシステムは、次いで、光強度パターンを分析し、眼1002Aに関する眼姿勢を決定してもよい。例えば、光検出器1014および移動可能反射体1006の位置は、ディスプレイシステムに既知であってもよい(例えば、初期較正を介して)。別の実施例として、光検出器1014の位置は、眼姿勢を決定するために使用可能な情報を生成するために使用される、光検出器と同一であってもよい。眼姿勢を決定することの実施例として、各光強度パターンは、眼1002Aの配向と関連付けられる、シグネチャパターンを表し得る。したがって、これらの光強度パターンの集約は、高正確度を伴って、具体的眼姿勢を決定するために使用され得る。
いくつかの実施形態では、機械学習モデルが、生成されてもよく、これは、閾値数の光強度パターンの入力に基づいて、眼姿勢を識別する、情報を出力する。本実施例では、機械学習モデルは、光検出器および移動可能反射体の同一または類似設置場所に基づいて、訓練されているとされ得る。例えば、既知の眼姿勢に対応する、光強度パターンは、ディスプレイシステム内の光検出器および移動可能反射体の類似設置場所を使用して、生成されているとされ得る。本実施例では、機械学習モデルは、次いで、訓練されているとされ得る。別の実施例として、光強度パターンは、(例えば、眼に対する)光検出器および移動可能反射体の設置場所を識別する、情報とともに、訓練情報として使用されているとされ得る。いくつかの実施形態では、訓練情報は、加えて、光源および/または移動可能反射体の位置を示してもよい。
いくつかの実施形態では、ディスプレイシステムは、複数の眼姿勢毎に、光強度パターンを識別する、情報を記憶してもよい。したがって、ディスプレイシステムは、測定された光強度パターンと光検出器1014および記憶された光強度パターンとの間の類似性の測定値を決定してもよい。類似性のこれらの測定値は、山、谷、傾き、曲線適合技法等において、類似性を測定することを含んでもよい。
実施例として、特定の光検出器によって測定された光強度パターンは、異なる山および谷を含み得る。これらの山および谷は、光パターン1010の2つの部分1010A、1010Bが眼1002Aから反射する、個別の時間または移動可能反射体1006位置に対応し得る。したがって、特定の時間または移動可能反射体1006位置における、「アルファ」1010A山が存在し得る。加えて、後続時間または移動可能反射体1006位置における、「ベータ」1010B山が存在し得る。ディスプレイシステムは、これらの個別の山に基づいて、眼姿勢を決定してもよい。例えば、ディスプレイシステムは、山毎に、時間または移動可能反射体位置を識別してもよい。ディスプレイシステムは、光ダイオード毎に、これらの識別された時間またはMEMS位置を使用して、既知の眼姿勢に対応する、基準光強度パターンに合致させてもよい。
再び、図10Bを参照すると、光パターン1010を用いてユーザ1002Aの眼を走査することと関連付けられる、光強度パターン1022の実施例が、図示される。図10Aに説明されるように、移動可能反射体1006は、光パターン1010を形成し、回折格子1008を用いて、そのパターンをユーザの眼1002A上に指向し得る。光検出器1014は、次いで、眼1002Aから反射された光1012を受光し得る。上記に説明されるように、閾値数の光検出器1014が、眼1002Aを中心として異なる位置に存在し得る(例えば、2、3、4、6つ、またはそれを上回る光検出器)。したがって、各光検出器は、個別の受光された光を電流または信号(例えば、デジタルまたはアナログ信号)に変換してもよい。本電流または信号は、光強度パターン1022として、ディスプレイシステムによって、測定および記憶されてもよい。
図示される実施例では、光パターン1010(例えば、「V」パターン)は、第1の場所において、ユーザの眼1002Aに提供される。図示されるように、光パターン1010は、ユーザの眼1002Aの垂直軸に沿って延在してもよい。加えて、光パターン1010は、「アルファ」部分1010Aを含んでもよく、これは、「ベータ」部分1010Bのものと対照的に、角度付けられる。したがって、部分1010A、1010Bは、走査の間の任意の所与の時間において、ユーザの眼1002Aの異なる部分上に投影され得る。これらの2つの部分1010A、1010Bは、下記に説明されるように、眼1002Aの眼姿勢を知らせるために使用され得る。いくつかの実施形態では、各部分1010A、1010Bによって提供される、異なる反射された光信号を区別するために、部分はそれぞれ、(本明細書に議論されるように、入射多色性光からの)異なる色の光によって形成され得る。いくつかの他の実施形態では、異なる部分1010A、1010Bは、同一色の光によって形成されてもよく、移動可能反射体1006の異なる部分(それらの異なる部分内に異なる回折格子を有し得る)を照明することによって、異なる時間に生成されてもよい。部分1010A、1010Bを異なる時間に生成することは、部分1010A、1010Bによって提供される異なる信号が時間的に区別されることを可能にする。いくつかの他の実施形態では、部分1010A、1010Bは、同一色の光によって形成されてもよく、眼を横断して、同時に走査されてもよい。
図10bを継続して参照すると、初期時間(例えば、時間t0)では、移動可能反射体1006は、その回転範囲の末端にあり得る。例えば、移動可能反射体1006は、光パターン1010を眼1002A上の最左または最右位置に生じさせ得る。図示される実施例では、初期時間は、眼1002Aの最左部分上に投影されている、光パターン1010に対応する。眼1002Aから反射された光は、本位置において測定され得る。そのような初期測定1024Aの実施例は、図10Bにおける光強度パターン1022において反射される。光パターン1010は、持続的または離散的に、移動可能反射体1006によって、眼1002Aを横断して移動され得る。
後続時間1020C、したがって、異なる移動可能反射体1006位置では、光パターン1010は、図10Bに図示されるように、移動され得る。移動可能反射体1006の本位置では、光パターン1010の「アルファ」部分1010Aは、眼1002Aの瞳孔の末端(例えば、最右部分)に到達している。光強度パターン1022に図示されるように、パターン1022と関連付けられる、対応する光検出器は、後続時間1020Cにおいて、(眼の閃光によって生じる)山1024Cが、光強度パターン1022内に表されるように位置付けられる。対照的に、谷1024Bは、より早い時間では、光強度パターン1022内に含まれる。本谷1024Bは、例えば、「アルファ」部分1010Aを眼1002Aの瞳孔の対向末端(例えば、最左部分)に到達させる、移動可能反射体1006を表し得る。谷1024Bに対応する、本移動可能反射体1006位置に関して、パターン1022と関連付けられる、対応する光検出器は、反射された光の限定された可視性を有し得、および/または反射された光を光検出器に反射される光は、低反射率を伴って、眼の一部から反射され得る。したがって、谷1024Bは、光強度パターン1022内に表され得る。
光強度パターン1022は、さらなる時間における(例えば、移動可能反射体1006のさらなる調節における)、別の山1024Dを図示する。山1024Dは、山1024Cを生じさせる閃光を有する、同一場所における「閃光」(例えば、鏡面反射)に対応し得る。本例示的山1024Dは、光パターン1010の後縁「ベータ」部分1010Bに基づいて生成され得る。例えば、パターン1022と関連付けられる、対応する光検出器は、本さらなる時間における「ベータ」部分1010Bから反射された光の実質的に最大可視性を有し得る。非限定的実施例として、本山1024Dは、「ベータ」部分1010Bが眼1002Aの瞳孔の末端を通過するにつれて生成されているとされ得る。本末端は、「アルファ」部分1010Aの山を生じさせる閃光を提供する、同一末端であり得る。本実施例では、山1024Dは、末端を通過する、「ベータ」部分1010Bに対応し得、山1024Cは、同一末端を通過する、「アルファ」部分1010Aに対応し得る。
図10bを継続して参照すると、処理デバイス1026は、光強度パターン1022を受光し、パターン1022を使用して、眼1002Aに関する眼姿勢を決定してもよい。処理デバイス1026は、いくつかの実施形態では、上記に説明される、ローカルデータおよび処理モジュール140を表す、またはその中に含まれてもよい。処理デバイス1026は、随意に、光パターン1010の走査と関連付けられる方向を識別する、情報を取得してもよい。例えば、結果として生じる光強度パターン1022は、光パターン1010が水平軸に沿って特定の方向に移動するかどうかに基づいてもよい。図10Aに関して上記に説明されるように、MEMSミラー1006は、第1の眼姿勢に関して、光パターン1010を第1の方向に沿って移動させるように調節してもよい。MEMSミラー1006は、次いで、第2の続いて決定される眼姿勢に関して、対向方向に回転し、光パターン1010を対向走査方向に沿って移動させてもよい。このように、MEMSミラー1006は、同一方向に沿って走査を要求することと比較して、眼追跡速度を増加させ得る。
処理デバイス1026は、複数の光検出器から光強度パターンを取得してもよい。例えば、4つの光検出器が存在する場合、眼1002Aの同一走査と関連付けられる、少なくとも4つの光強度パターンが存在してもよい。これらの光強度パターンはそれぞれ、関連付けられる光検出器上に入射する反射された光の量に対応する、一意のパターンを含み得る。例えば、「アルファ」部分1010Aに対応する、山1024Cおよび谷1024Bは、異なる光強度パターン内の異なる時間または移動可能反射体位置に位置付けられ得る。したがって、処理デバイス1026は、これらの光強度パターンを使用して、眼1002Aに関する正確な眼姿勢を識別してもよい。
MEMSミラー1006が調節され得る、高速と、光強度パターン1022内に含まれる、限定された情報とに起因して、処理デバイス1026は、眼姿勢を急速に決定し得る。機械学習モデルが使用される、実施形態では、処理デバイス1026は、随意に、ニューラルネットワークの順方向通過を算出してもよい。ニューラルネットワークは、随意に、1つまたはそれを上回る稠密(例えば、全結合)層を備えてもよい。例えば、電流および関連付けられる時間または移動可能反射体位置に対応する、値が、ニューラルネットワークに提供されてもよい。ニューラルネットワークは、随意に、1つまたはそれを上回る畳み込み層を備えてもよく、これは、光強度パターンの時系列性質を活用する。これらのニューラルネットワークは、事前に訓練されているとされ得る。例えば、訓練データは、既知の眼姿勢と、対応する光強度パターンとを備えてもよい。本実施例では、移動可能反射体1006および光ダイオードの位置は、随意に、光強度パターン1022を生成するために使用されるものと同一または類似位置であってもよい。他の機械学習モデルも、使用されてもよく、本明細書の本開示の範囲内に該当する。例えば、サポートベクトルマシンも、使用されてもよい。
いくつかの実施形態では、処理デバイス1026は、既知の光強度パターンおよび関連付けられる眼姿勢を識別する、記憶された情報にアクセスしてもよい。処理デバイス1026は、次いで、測定された光強度パターン(例えば、光強度パターン1022)と記憶された情報を相関させてもよい。測定された光強度パターン内の山(例えば、山1024C)および谷(例えば、谷1024B)は、記憶された情報内の山および谷と相関されてもよい。上記に説明されるように、移動可能反射体1006は、随意に、第1の方向または第2の対向方向に沿って、眼1002Aを横断して走査してもよい。したがって、処理デバイス1026は、随意に、走査の方向に応じて、記憶された光強度パターンまたは測定された光強度パターンを逆転(例えば、反射)させる、または別様に、それに線形変換を適用してもよい。
例えば、処理デバイス1026は、光検出器1014の特定の光検出器に関する記憶された光強度パターンにアクセスしてもよい。本実施例では、処理デバイス1026は、特定の光検出器に関する測定された光強度パターンのものに最も近い、特定の記憶された光強度パターンを識別してもよい。そのような特定の記憶された光強度パターンは、多数の異なるメトリックに基づいて識別され得るが、いくつかの実施形態では、処理デバイス1026は、山および谷の類似位置を伴う、特定の光強度パターンを識別してもよい。光強度パターン1022に関して、処理デバイス1026は、類似時間および/または類似移動可能反射体1006位置における、山1024C-1024Dおよび谷1024Bを有する、記憶された光強度パターンを識別してもよい。
閾値数のこれらの光強度パターン1022を使用して、処理デバイス1026は、したがって、高正確度を伴って、眼1002Aの眼姿勢を決定し得る。さらに下記に説明されるであろうように、いくつかの実施形態では、処理デバイス1026は、光強度パターンを使用して、眼1002Aの生理学的特徴間の界面を決定してもよい。例えば、虹彩/瞳孔界面は、処理デバイス1026によって決定されてもよい。
再び、図11を参照すると、上記に議論されるように、眼姿勢を決定するためのディスプレイシステム1102内の光検出器1104A-1104Dの位置の実施例が、図示される。光検出器1104A-1104Dは、例えば、光ダイオード、フォトトランジスタ、フォトレジスタ、またはそれらの組み合わせであってもよい。例示的表現は、ディスプレイシステム1102に向いたユーザの目線から図示される。参照を容易にするために、ユーザの眼1002Aは、目線内に図示される。複数の光検出器1104A-1104Dは、ユーザの眼1002Aを中心として位置付けられる。本明細書に述べられたように、いくつかの実施形態では、光検出器1104A-1104Dは、ディスプレイシステム1102のフレームに取り付けられてもよい。例えば、光検出器1104A-1104Dはそれぞれ、接眼レンズを囲繞する、フレームの異なる部分に取り付けられてもよい。他の実施形態では、光検出器1104A-1104Dは、接眼レンズに隣接して位置付けられる材料の層(例えば、接眼レンズのための保護カバー)または接眼レンズ自体に取り付けられ、および/またはその中に内蔵されてもよい。光は、上記に説明されるように、眼1002Aを横断して指向および走査されてもよい。例えば、光パターンは移動可能反射体(例えば、MEMSミラー)上に位置付けられる、または別様にそれによって調節可能である、回折格子を使用して、作成されてもよい。
光検出器1104A-110Dの異なる位置に起因して、光パターンが眼を横断して走査されるにつれて、各光検出器は、可変放射照度を受光するであろう。このように、各光検出器は、明確に異なる電流パターンを生成し得る。いくつかの実施形態では、光検出器は、受光された放射照度と関連付けられる、デジタルまたはアナログ信号を生成してもよい。所与の眼姿勢に関して、各光検出器は、光強度パターンを作成し、これは、眼姿勢と関連付けられる、シグネチャを表し得る。図10A-10Bに関して上記に説明されるように、測定された光強度パターンは、したがって、眼姿勢を急速に識別するために使用されてもよい。
例証は、矩形パターンに離れた距離等に位置付けられる、4つの光検出器1104A-1104Dを含む。しかしながら、異なる位置も、使用されてもよいことを理解されたい。例えば、光検出器1104A-1104Bは、ともにより近くに位置付けられてもよい。上記に説明されるように、ディスプレイシステム1102は、機械学習モデルまたは既知の光強度パターンを識別する記憶された情報に基づいて、眼姿勢を決定してもよい。本情報は、同様に構成されるディスプレイシステム1102に基づいて生成されてもよい。したがって、光検出器1104A-1104Dの他の位置も、使用されてもよい。例えば、それに関して光検出器が反射された光を受光することが可能である、任意の位置も、使用されてもよい。加えて、光検出器の数は、本明細書に議論されるような4つ以外の総数であってもよい。機械学習モデルまたは記憶された情報は、光検出器の特定の構成に従って生成されてもよい。ディスプレイシステム1102もまた、本同一構成を使用する場合、ディスプレイシステム1102は、機械学習モデルまたは記憶された情報に基づいて、眼姿勢を識別してもよい。
ここで図12を参照すると、ユーザの眼の眼姿勢を決定するためのプロセス1200のフローチャートの実施例が、図示される。便宜上、プロセス1200は、1つまたはそれを上回るプロセッサ(例えば、ディスプレイシステム60、図9D)を有する、ディスプレイシステムによって実施されるように説明されるであろう。
ブロック1202では、ディスプレイシステムが、移動可能反射体(例えば、MEMSミラー)を介して、光パターンの投影を生じさせる。図10Aに図示されるように、ディスプレイシステムは、光源(例えば、VCSEL)を使用して、光を出力し得る。本出力された光は、移動可能反射体に提供され得、これは、随意に、回折格子をその反射性表面上に有してもよい。回折格子は、光パターンをユーザの眼上に提供させ得る。いくつかの他の実施形態では、移動可能反射体は、鏡面反射体であって、パターンは、移動可能反射体の上流、例えば、光源の出力において、形成されてもよい。
ブロック1204では、ディスプレイシステムが、移動可能反射体を調節し、光パターンをユーザの眼を横断して走査する。移動可能反射体は、光パターンがユーザの眼の第1の部分に投影されるように、第1の位置にあってもよい。例えば、光パターンは、ユーザの眼の最左部分に投影されてもよい。ディスプレイシステムは、次いで、移動可能反射体の調節を生じさせ、軸に沿って、光パターンを投影させ得る。上記に説明されるように、軸は、水平軸であってもよい。光パターンは、加えて、ユーザの眼の垂直部分を横断して延在してもよい。加えて、光パターンは、随意に、図10Bに図示されるように、光の実質的連続的線によって形成される、「V」形状を有してもよい。
いくつかの実施形態では、光パターンは、光の実質的連続的線によって形成される、「V」形状のものと異なる、形状を有してもよい。例えば、図15に図示され、それに関してさらに議論されるであろうように、光パターンは、線の代わりに、スポットまたはドットを備えてもよく、これは、2つの部分(例えば、上記に説明されるように、「アルファ」部分と、「ベータ」部分と)を形成する。別の実施例として、図16に図示され、それに関してさらに議論されるであろうように、光パターンは、光学関数をエンコーディングしてもよい。光学関数は、光円錐拡散を増加させ、またはスポットサイズを減少させ、光検出器によって受信される信号をより良好に区別し得る。
随意に、ディスプレイシステムは、最初に、ユーザの眼を走査し、瞳孔間距離(IPD)を見出してもよい。光プロジェクタは、次いで、走査の間、IPD領域のみを照明するように変調されてもよい。例えば、IPD領域および光を任意の眼配向におけるユーザの眼上に投影するために要求される全てのマージンが、使用されてもよい。このように、ディスプレイシステム電力は、あるユーザが、他のユーザと比較して、より小さいIPD領域を有し得るため、低減され得る。したがって、ディスプレイシステムは、走査を各ユーザに適合させ得る。
図12を継続して参照すると、ブロック1206では、ディスプレイシステムが、光強度パターンを閾値数の光検出器(例えば、光ダイオード)から取得する。移動可能反射体が、光パターンをユーザの眼を横断して走査させるにつれて、光検出器は、対応する電流または検出器信号を生成し得る。本電流または検出器信号は、上記に説明されるような光強度パターンとして表され得る。
ブロック1208では、ディスプレイシステムが、取得された光強度パターンに基づいて、眼姿勢を決定する。図10Bに説明されるように、ディスプレイシステムは、機械学習技法を使用して、眼姿勢を光強度パターンに割り当ててもよい。ディスプレイシステムはまた、取得された光強度パターンと既知の光強度パターンとの間の類似性の測定値を決定してもよい。いくつかの実施形態では、既知の光強度パターンが、テーブルデータとして記憶されてもよく、その中で電流は、時間または移動可能反射体位置に対してマッピングされる。いくつかの実施形態では、既知の光強度パターンは、既知の光強度パターンを分析することから生成される情報として、記憶されてもよい。例えば、光パターンに関する山、谷、傾き等が、記憶されてもよい。本実施例では、「V」パターンに関して、「アルファ」および「ベータ」部分に関する山および谷が、移動可能ミラーの対応する位置とともに、記憶されてもよい。
いくつかの実施形態では、図18A-18Dにさらに説明されるであろうように、ディスプレイシステムは、眼の異なる生理学的部分間の界面を決定してもよい。例えば、光強度パターンは、そのような界面を示す、情報を含み得る。光パターンが、界面を横断して走査されるにつれて、1つまたはそれを上回る光検出器によって生成される、電流または信号の対応する変化が存在し得る。例示的界面は、虹彩と瞳孔との間の界面を含んでもよい。ディスプレイシステムは、虹彩と瞳孔との間の吸光率および反射率における差異に基づいて、本例示的界面を識別してもよい。例えば、瞳孔内では、より高い吸光率およびより低い反射率が存在し得る。本実施例では、結果として生じる光強度パターンは、光パターンが虹彩から瞳孔まで横断するとき、電流または信号における降下を反映させ得る。
虹彩/瞳孔界面に関して、ディスプレイシステムは、瞳孔のサイズおよび/または位置を決定してもよい。例えば、ディスプレイシステムは、1つまたはそれを上回る光強度パターン内に表されるような最左界面および最右界面を決定してもよい。ディスプレイシステムは、次いで、最左界面と最右界面との間の差異に基づいて、瞳孔のサイズを決定してもよい。本決定は、移動可能反射体に基づいてもよい。例えば、ディスプレイシステムは、移動可能反射体の回転の速度に基づいて、水平軸に沿って、最左界面から最右界面までの距離を識別してもよい。
例示的眼姿勢
例示的眼姿勢
図13A-13Cは、眼の第1の眼姿勢を横断して走査されている、光パターンを図示する。同様に、図14A-14Cは、眼の第2の眼姿勢を横断して走査されている、光パターンを図示する。本明細書に議論されるように、これらの異なる眼姿勢は、異なる光強度パターンを生成させるであろう。
図13A-13Cは、ユーザの眼1002A上に投影され、それを横断して走査されている、光パターン1010の実施例を図示する。図示される実施例では、光源1302(例えば、VCSELダイオード)が、光1004を移動可能反射体1006上に投影し、これは、随意に、回折格子1008を有してもよい。結果として生じる光パターン1010は、次いで、眼1002Aに伝搬する。図示されるように、光パターンの光の一部は、次いで、反射された光1012として、眼1002Aから反射される。上記に説明されるように、光検出器(図示せず)は、眼1002Aを中心として位置付けられ、反射された光1012を受光してもよい。
図13A-13Cは、したがって、(例えば、移動可能反射体1006を回転させることによって)移動可能反射体1006の位置を調節することによって、ユーザの眼1002Aを横断して走査されている、光パターン1010を図示する。反射された光1012は、移動可能反射体1006の位置に応じて、異なる方向に反射されることを理解されたい。したがって、眼1002Aを中心として位置付けられる光検出器はそれぞれ、一意の光強度パターンを生成し得る。このように、ディスプレイシステムは、図13A-13Cに図示される眼姿勢に対応する、具体的眼姿勢を決定してもよい。
例えば、図13Aは、初期位置における、移動可能反射体1006を図示する。本初期位置では、光パターン1010が、眼1002Aの対応する初期位置上に指向される。本眼姿勢に関して、初期位置は、眼1002Aの左部分に対応する。本初期位置に関する反射された光1012は、眼1002Aの左に向かって反射されるように図示される。本反射された光1012は、光検出器によって受光されてもよく、電流または信号が、対応して、生成されてもよい。
図13Bでは、移動可能反射体1006は、光パターン1010を眼1002Aの実質的中心部分に対して走査している。本実施例では、反射された光1012は、眼1002Aの左および右の両方に向かって反射されている。光検出器は、いくつかの実施形態では、眼1002Aを中心として位置付けられてもよい(例えば、図11に図示されるように)。したがって、眼1002Aの右に位置付けられる光検出器は、図13Aにおいて受光された光と比較して、付加的光を受光し得る。
図13Cでは、移動可能反射体1006は、光パターン1010を眼1002Aの右部分に対して走査している。本右部分は、移動可能反射体1006の最終位置に対応し得る。本最終位置に関して、反射された光1012は、眼1002Aの右に向かって反射されている。したがって、移動可能反射体1006は、初期位置から最終位置に調節することを介して、光パターン1010を走査してもよい。いくつかの実施形態では、移動可能反射体1006は、1つまたはそれを上回る軸を中心として回転することによって、光パターン1010を走査してもよい。本明細書に述べられたように、いくつかの実施形態では、移動可能反射体1006は、単一軸を中心として回転することによって、光パターン1010を走査してもよい。回転の量は、眼1002Aの生理学的特徴に基づいてもよい。例えば、生理学的特徴は、強膜、角膜、瞳孔等を含んでもよく、回転の量は、特徴の対応するサイズ(例えば、水平軸に沿った長さ)に基づいてもよい。
続いて、ディスプレイシステムは、初期位置から最終位置まで走査されている光パターン1010を反映させる、光強度パターンを取得してもよい。本明細書に説明されるように、これらの光強度パターンは、図13A-13Cに図示される眼姿勢を決定するために使用されてもよい。
図14A-14Cは、ユーザの眼1002Aが図13A-13Cに示される眼と異なる姿勢にある状態における、ユーザの眼1002A上に投影され、それを横断して走査されている、光パターン1010の別の実施例を図示する。図示される眼姿勢では、眼1002Aの中心は、図の右に向かって角度付けられる。
図14Aでは、移動可能反射体1006は、初期位置にある。本眼姿勢に関して、光パターン1010は、眼の左部分に提供されている。図示される眼姿勢は、図13A-13Cに図示される眼姿勢と比較して、右に角度付けられるため、光パターン1010は、眼1002Aの異なる部分に提供されている。したがって、反射された光1012は、図13Aに図示される反射された光と異なるように反射されている。眼1002Aを中心として位置付けられる光検出器は、したがって、電流または信号の異なる測定値を生成するであろう。
図14Bでは、移動可能反射体1006は、光パターン1010を眼1002Aを横断して水平軸に沿ってさらに遠くに走査させるように調節されている。本例示的眼姿勢に関して、光パターン1010は、眼1002Aの角膜により近い。対照的に、図13Bに図示される眼姿勢は、真っ直ぐ見ている眼1002Aを表す。したがって、図13Bでは、光パターン1010は、眼1002Aの実質的中心部分に提供されている。図14Cでは、移動可能反射体1006は、最終位置に調節されている。図示されるように、光パターン1010は、眼1002Aの角膜を横断して実質的に走査されている。
光パターン1010は、図13A-13Cに図示される眼と比較して、眼1002Aの異なる部分を横断して走査されていることを理解されたい。したがって、結果として生じる光強度パターンは、図13A-13Cに図示される走査から生じる光強度パターンと比較して、一意であろう。いくつかの眼姿勢に関して、光パターン1010は、眼1002Aの実質的類似部分を横断して走査されてもよい。例えば、光パターン1010は、前方を真っ直ぐ見ている眼および下を見ている眼の類似部分を走査してもよい。しかしながら、これらの眼は、眼の生理学的特徴が異なる配向にあるであろうように、異なる配向にあるであろう。例えば、角膜は、異なる配向にあるであろう。したがって、反射された光1012は、一意の光強度パターンの生成をもたらすであろう。このように、ディスプレイシステムは、これらの光強度パターンに基づいて、眼姿勢を決定してもよい。
例示的光パターン
例示的光パターン
図15は、ユーザの眼を横断して走査するための光パターン1502の実施例を図示する。本実施例では、回折格子1008によって作成された光パターン1502は、光の連続的線ではなく、光のスポットまたはドットから成る。光パターン1502は、したがって、パターン変位を表し得、これは、移動可能反射体(例えば、反射体1006、図10)の調節の間、ユーザの眼上に投影されてもよい。いくつかの実施形態では、異なるピッチを伴う、複数の回折格子が、エッチングされ、異なる回折パターンを重畳し、したがって、「線」または線として現れるために十分に近接する点を作成してもよい。
図16は、ユーザの眼を横断して走査するための光パターン1602の別の実施例を図示する。いくつかの実施形態では、光パターン1602は、光の複数の列1604、1606、1608を含んでもよく、これは、光の異なる線または個々の列を形成する光のスポットによって形成されてもよい。図示されるように、列1604、1606、1608はそれぞれ、眼の水平軸に対して90°未満の角度を画定してもよい。列1604、1606、1608のそれぞれによって提供される反射された光信号を区別するために、光の列を形成する光は、異なる性質を有してもよい。例えば、列1604、1606、1608の異なるものを形成する光は、異なる色または波長、異なる偏光(例えば、偏光に敏感な光検出器が使用される場合)等を有してもよい。
いくつかの他の実施形態では、異なる列1604、1606、1608を形成する光は、異なる関連付けられる光学関数を有してもよい。実施例として、光学関数は、光円錐拡散を増加させてもよい(例えば、発散光のビームを提供してもよい)。別の実施例として、光学関数は、スポットサイズを減少させてもよく(例えば、光の収束ビームを提供する)、これは、光検出器のための高信号対雑音比を提供するために有利であり得る。さらに別の実施例として、列は、コリメートされた光のビームによって形成されてもよい。いくつかの実施形態では、所望のレベルの収束、発散、またはコリメーションが、移動可能反射体上のホログラフィック材料(例えば、表面または体積HOE)によって提供されてもよく、これは、形成される所望の列パターンへの回折およびレンズ機能(例えば、コリメーション、集束、または発散レンズ機能)の両方を提供する。
2つの光源
2つの光源
いくつかの実施形態では、2つの光源(例えば、2つのVCSEL)が、眼の眼姿勢を決定するために使用されてもよい。各光源は、異なる性質(例えば、異なる波長または色)を伴う、光を出力してもよい。「V」パターンの実施例に関して、第1の光源は、光パターンの第1の部分(例えば、「アルファ」部分1010A)を形成するために使用されてもよく、第2の光源は、第2の部分(例えば、「ベータ」部分1010B)を形成するために使用されてもよい。2つの光源を使用することは、クロストークを低減させる等の例示的利点を提供し得る。例えば、「アルファ」部分と「ベータ」部分との間には、クロストークが存在し得ない。別の実施例として、走査時間は、低減され得る。例えば、移動可能反射体(例えば、MEMSミラー1006)が、より少ない調節(例えば、1つまたはそれを上回る軸を中心とした回転)を実施し、ユーザの眼を走査するために要求され得る。
図17Aは、2つの光源を使用してユーザの眼上に投影される、光パターン1010の実施例を図示する。例証の最左部分では、光パターンは、第1の光源によって形成されている、光パターン1010の「アルファ」部分1010Aを有する。例えば、「ベータ」部分1010Bは、第2の光源によって投影されていない。複数の光検出器は、したがって、「アルファ」部分1010Aが投影されている間、反射された光を測定してもよい。続いて、例証の最右部分に関して、「ベータ」部分1010Bが、ユーザの眼上に投影されている。対照的に、「アルファ」部分1010Aは、ユーザの眼上に指向されていない。複数の光検出器は、したがって、「ベータ」部分1010Bがユーザの眼上に指向されている間、反射された光を測定してもよい。このように、これらの部分間のクロストークは、低減または排除され得る。
ディスプレイシステムは、随意に、「アルファ」部分1010Aに関して1つ、および「ベータ」部分1010Bに関して1つ、光検出器毎に、2つの光強度パターンを生成してもよい。ディスプレイシステムは、実施例として、「アルファ」部分1010Aまたは「ベータ」部分1010Bのいずれかが投影されていた、時間および/またはMEMSミラー位置を識別する、情報を記憶してもよい。いくつかの実施形態では、ディスプレイシステムは、「アルファ」部分1010Aおよび「ベータ」部分1010Bの両方を表す、単一光強度パターンを生成してもよく、部分1010A、1010Bは、随意に、眼を横断して、同時に走査されてもよい。
図17Bは、2つの光源1702A、1702Bの使用を図示する、例示的ブロック図を図示する。図示される実施例では、光が、移動可能反射体1006に提供され、これは、随意に、本明細書に議論されるように、回折格子1008を有してもよい。いくつかの実施形態では、移動可能反射体1006は、光の所望の線を生成するためのホログラフィック要素を含んでもよい(例えば、ホログラムは、線「アルファ」のための1つの波長のために選択的な1つのホログラムと、線「ベータ」のための光の波長のために選択的な別のホログラムとを含む、多重化されたホログラムであってもよい)。いくつかの他の実施形態では、移動可能反射体1006は、鏡面反射体であって、所望のパターンが、光源1702A、1702Bにおいて形成される。コンバイナ1704が、光源1702A、1702Bからの光を移動可能反射体1006に指向するために使用されてもよい。
別の実装は、2つの面積を移動可能反射体1006上に有することを含んでもよい。面積毎に、具体的回折格子が存在してもよく、光源はそれぞれ、面積のうちの1つを照明するように構成される。したがって、異なる線(例えば、「アルファ」部分および「ベータ」部分)が、作成されてもよい。複数の回折ゾーンを伴う、そのような回折格子の実施例は、図17Cに図示される。各回折ゾーンは、異なるように構成される回折格子を備えてもよい。例えば、回折ゾーンの回折格子は、格子を形成する個々の構造(例えば、材料の側方に延在する線)のための異なる周期性および/または異なるサイズ(例えば、高さおよび/または幅)を含む、異なる物理的パラメータを有してもよい。
生理学的特徴のサイズおよび/または位置の決定
生理学的特徴のサイズおよび/または位置の決定
光強度パターンは、姿勢以外の眼パラメータを決定するために利用され得る、情報も含有し得ることを理解されたい。例えば、ディスプレイシステムは、本明細書に説明される光強度パターンを使用して、ユーザの眼の生理学的特徴のサイズおよび/または位置を決定するように構成されてもよい。例示的生理学的特徴は、強膜、虹彩、瞳孔、強膜と虹彩との間の界面、虹彩と瞳孔との間の界面等を含んでもよい。ディスプレイシステムは、眼姿勢を決定すること代替として、またはそれに加え、サイズおよび/または位置を決定してもよい。
虹彩と瞳孔との間の界面に関して、ディスプレイシステムは、1つまたはそれを上回る光強度パターン内に表されるような電流または信号の変化に基づいて、その位置を決定してもよい。例えば、ディスプレイシステムは、山または谷(例えば、閾値を上回る導関数の変化)を識別してもよい。瞳孔に関して、ディスプレイシステムは、瞳孔の境界を識別することに基づいて、そのサイズを決定してもよい。境界は、実施例として、瞳孔と虹彩との間の最左界面および最右界面に対応し得る。
図18Aは、ユーザの眼と関連付けられる生理学的情報を決定するためのプロセス1800の例示的フローチャートを図示する。便宜上、プロセス1800は、1つまたはそれを上回るプロセッサのディスプレイシステム(例えば、ディスプレイシステム60)によって実施されるように説明されるであろう。
ブロック1802では、図12のブロック1204に関して上記に説明されるように、ディスプレイシステムが、移動可能反射体を調節し、光パターンを眼を横断して走査する。ブロック1804では、ディスプレイシステムが、図12のブロック1206と同様に、光強度パターンを閾値数の光検出器から取得する。本明細書に説明されるように、ディスプレイシステムは、光強度パターンを取得してもよく、これは、個別の光検出器によって生成された電流または信号の測定値を表す。各光強度パターンは、電流または信号を時間および/または移動可能反射体の位置にマッピングしてもよい。
ブロック1806では、ディスプレイシステムが、眼の生理学的特徴と関連付けられる、サイズおよび/または位置を決定する。本明細書に議論されるように、いくつかの実施形態では、機械学習および/またはパターン合致が、利用され、生理学的特徴または境界の場所を決定してもよく、サイズが、これらの決定された場所から計算されてもよい。
ここで、1つまたはそれを上回る生理学的特徴と関連付けられる、サイズおよび/または位置情報を決定することの実施例を図示する、図18B-18Dを参照する。
図18Bは、眼1002Aを横断して走査されている、光パターン1010を図示する。図示される実施例では、光パターンは、「V」形状を有し、これは、「アルファ」1010a部分と、「ベータ」部分1010bとを含んでもよい。「V」形状は、上記の少なくとも図10A-10Bに関してさらに詳細に説明される。例示的光強度パターン1814が、図示され、これは、走査の間に眼1002Aから反射された光を受光する光検出器をからの信号または電流の測定値を示す。例示的光強度パターン1814は、眼1002Aを中心として位置付けられる、複数の光検出器のうちの1つと関連付けられ得る。眼を中心として位置付けられる光検出器の実施例は、図11に図示される。
図18Bに表される、時間または移動可能反射体位置では、光パターン1010の「アルファ」部分1010aが、強膜と虹彩との間の界面または境界1812にわたって掃引される。光が、高度に反射性の白色強膜からより暗いあまり反射性ではない虹彩に通過するにつれて、本交差部1812は、パターン1814と関連付けられる光検出器によって受光される、反射された光の低減を示し得る。反射された光は、光パターン1010の拡散反射から生じ得、パターン1814は、したがって、強度の段階的低減を示し得る。光強度パターン1814は、したがって、光強度パターン1814の部分1816に対する信号の低減として、本界面1812を示す。
ディスプレイシステムは、機械学習モデルまたは記憶された情報等の本明細書に説明される技法を使用して、信号の本低減が、強膜と虹彩との間の生理学的界面1812に対応することを決定してもよい。例えば、ディスプレイシステムは、閾値数の光強度パターンを使用して、決定をもたらしてもよい。ディスプレイシステムは、次いで、本界面1812と関連付けられる、位置を決定してもよい。例えば、ディスプレイシステムは、部分1816にマッピングされた時間を識別してもよい。本実施例では、ディスプレイシステムは、移動可能反射体が調節する、速度に基づいて、位置を決定してもよい。別の実施例として、ディスプレイシステムは、部分1816と関連付けられる、移動可能反射体位置を識別してもよい。移動可能反射体の位置を識別する、情報に基づいて、ディスプレイシステムは、光パターン1010が入射し、光強度パターン1814の部分1816を生じさせる、場所を決定してもよい。
図18Cは、眼1002Aを横断してさらに走査されている、光パターン1010を図示する。「アルファ」部分1010aは、本実施例では、虹彩と瞳孔との間の交差部1822を通過して掃引される。上記と同様に、光が、より反射性の虹彩からより暗いあまり反射性ではない瞳孔に通過するにつれて、本交差部は、光強度パターン1814と関連付けられる光検出器に到達する、光の低減を示し得る。したがって、信号の低減が、光強度パターン1814の部分1824に示される。ディスプレイシステムは、したがって、上記に説明されるように、本界面1822と関連付けられる位置を決定してもよい。
図18Dは、「アルファ」部分1010aが瞳孔と虹彩との間の別の界面1832を横断して走査されるまで、さらに走査されている、光パターン1010を図示する。本界面1832は、瞳孔と虹彩との間の最右界面を表す。対照的に、図18Cに説明される界面1822は、瞳孔と虹彩との間の最左界面を表す。上記と同様に、ディスプレイシステムは、本界面1832と関連付けられる、位置を決定してもよい。しかしながら、図示される光強度パターン1814では、閃光によって生じる山1834は、界面1832と一致する。閃光は、光パターン1010が界面1834を横断して走査されるとき、大量の反射された光(例えば、鏡面反射された光)を提供し、これは図示される光強度パターン1814を使用した界面1834の検出を不明瞭にし得ることを理解されたい。しかしながら、本明細書に議論されるように、複数の光強度パターンを提供する、複数の光検出器が、好ましくは、利用され、これらの他の光検出器のうちの少なくともいくつかは、界面1832における反射率の変化に起因して、反射された光強度における差異を検知することが予期されるであろう。例えば、これらの他の光強度パターン(図示せず)は、光強度パターン1814の部分1824および1816の逆を示し得、界面1832の場所を決定するために利用されてもよい。
図18Cに図示される界面1822および図18Dに図示される界面1832に基づいて、ディスプレイシステムは、瞳孔と関連付けられる、サイズを決定してもよい。例えば、サイズは、水平軸に沿ったサイズを表し得る。本実施例では、サイズは、したがって、水平軸に沿った瞳孔の長さ、例えば、瞳孔の幅または直径を表し得る。ディスプレイシステムは、加えて、瞳孔の位置を決定してもよい。例えば、ディスプレイシステムは、界面1822、1832に基づいて決定されるような瞳孔の重心(例えば、瞳孔幅の中点)を計算してもよい。
虹彩と強膜との間の界面または境界および虹彩のサイズは、上記に議論されるように、虹彩と瞳孔との間の界面および瞳孔のサイズに関して決定されてもよいことを理解されたい。例えば、虹彩の左および右界面の場所は、反射された光の検出された低減に基づいて決定されてもよく、反射された光レベルは、瞳孔のより低い反射された光レベルより高い。
上記の説明は、ディスプレイシステムは、走査の完了に先立って、界面(例えば、界面1812)を決定し得ることを識別したが、いくつかの実施形態では、ディスプレイシステムは、走査の完了に応じて、界面を決定してもよい。例えば、ディスプレイシステムは、光強度パターンを取得し、光強度パターンに基づいて、サイズおよび/または位置情報を決定してもよい。本実施例では、機械学習技法が、活用されてもよい。例えば、1つまたはそれを上回る機械学習モデルが、光強度パターンに基づいて、生理学的特徴を識別(例えば、標識)するように訓練されてもよい。
眼速度の推定
眼速度の推定
いくつかの実施形態では、ディスプレイシステムは、ユーザの眼の速度を決定してもよい。例えば、ディスプレイシステムは、回転の速度を決定してもよい。回転の速度は、サッカードの発生を識別する、またはそれに対して眼がサッカードの間に回転するであろう範囲を推定する等、ディスプレイシステムの異種目的のために使用されてもよい。説明されるであろうように、ディスプレイシステムは、1つまたはそれを上回る生理学的特徴の移動または連続眼姿勢間の差異の比較に基づいて、回転の速度(例えば、サッカード速度)を決定してもよい。
ディスプレイシステムは、連続的に決定された眼姿勢における差異に基づいて、回転の速度を決定してもよい。例えば、第1の時間では、ディスプレイシステムは、ユーザの眼の走査を実施してもよい。本実施例では、ディスプレイシステムは、走査に基づいて決定される第1の眼姿勢と本第1の時間を関連付けてもよい。第2の時間では、ディスプレイシステムは、ユーザの眼の後続走査を実施してもよい。ディスプレイシステムは、次いで、第2の眼姿勢と本第2の時間を関連付けてもよい。第1の眼姿勢と第2の眼姿勢との間の眼姿勢における差異の1つまたはそれを上回る測定が、決定されてもよい。例示的測定は、第1の眼姿勢と第2の姿勢との間の光学または視軸の調節を含んでもよい。ディスプレイシステムは、次いで、光学または視軸の決定された位置における差異と、第1の時間と第2の時間との間の時間における差異とを使用して、回転も速度を決定してもよい。
ディスプレイシステムはまた、1つまたはそれを上回る生理学的特徴の移動に基づいて、回転の速度を決定してもよい。例えば、第1の時間では、ディスプレイシステムは、生理学的特徴(例えば、虹彩と瞳孔との間の界面)の第1の位置を決定してもよい。続いて、第2の時間では、ディスプレイシステムは、生理学的特徴の第2の位置を決定してもよい。それに対して生理学的特徴が、例えば、1つまたはそれを上回る軸に沿って移動した範囲が、識別されてもよい。ディスプレイシステムは、次いで、生理学的特徴の位置における決定された差異と、第1の時間と第2の時間との間の差異とに基づいて、回転の速度を決定してもよい。
サッカードは、2つまたはそれを上回る固視相間の眼の高速移動を表すと理解され得る。サッカードの発生の間、ユーザは、2つの固視間の低減された可視性を有し得る。いくつかの実施形態では、ディスプレイシステムは、本低減された可視性を活用するために、仮想コンテンツの提示を調節してもよい。サッカードの発生を識別するために、ディスプレイシステムは、眼の回転も速度が閾値を超えるかどうかを決定してもよい。本明細書に説明される技法に起因して、ディスプレイシステムは、有利なこととして、サッカードを検出するために十分に高いレート(例えば、1kHz、10kHz等)において、眼を走査し得る。したがって、サッカードの発生が、決定され得る。本決定は、例えば、2017年9月28日に公開された、米国特許出願公開第2017/0276948号(その全体が、参照することによって本明細書に組み込まれる)に議論されるように、多深度面ディスプレイにおける深度面切替に影響を及ぼすために利用されてもよい。
加えて、それに対して眼が、サッカードの間に回転するであろう、範囲は、眼の初期回転速度(サッカード速度)に基づき得ることを理解されたい。例えば、眼の初期サッカード速度、眼が移動する角度、およびサッカード後の眼の最終配向は、相関されることを理解されたい。したがって、ディスプレイシステムは、初期速度および方向が既知である場合、サッカードの完了に応じて、ユーザが固視するであろう、最終場所を推定し得る。
異なるユーザは、異なる関連付けられるサッカード速度を有し得ることを理解されたい。ディスプレイシステムは、有利なこととして、機械学習技法を使用して、特定のユーザのサッカード速度と関連付けられる、モデルを生成してもよい。例えば、ディスプレイシステムは、サッカードと関連付けられる、初期速度および方向を識別してもよい。本実施例では、ディスプレイシステムは、次いで、サッカードの完了に応じて、それに対して眼が回転した範囲を識別してもよい(例えば、本明細書に説明されるように、常に、眼を走査し、姿勢を決定することによって)。本情報に基づいて、ディスプレイシステムは、機械学習モデルを訓練する、または別様に、既存のものを更新してもよい。実施例として、機械学習モデルは、特定のユーザの眼のサッカード速度と、方向と、最終点との間の正確な相関を学習してもよい。
本最終点を推定することが可能であることは、最終サッカード後姿勢が決定されることを可能にし得る。本明細書に議論されるように、ディスプレイシステムは、ユーザへの仮想コンテンツの提示において、本推定される姿勢を使用してもよい。いくつかの実施形態では、推定される姿勢は、本明細書で議論される光走査および光強度パターンベースの技法を使用して決定された姿勢における信頼度レベルを検証および/または決定するために使用されてもよい。
他の実施形態
他の実施形態
説明される実施形態の種々の側面、実施形態、実装、または特徴は、別個に、または任意の組み合わせにおいて使用されることができる。説明される実施形態の種々の側面は、ソフトウェア、ハードウェア、またはハードウェアおよびソフトウェアの組み合わせによって実装されることができる。説明される実施形態はまた、製造動作を制御するためのコンピュータ可読媒体上のコンピュータ可読コードとして、または製造ラインを制御するためのコンピュータ可読媒体上のコンピュータ可読コードとして、具現化されることができる。コンピュータ可読媒体は、その後、コンピュータシステムによって読み取られ得るデータを記憶し得る、任意のデータ記憶デバイスである。コンピュータ可読媒体の実施例は、読取専用メモリ、ランダムアクセスメモリ、CD-ROM、HDD、DVD、磁気テープ、および光学データ記憶デバイスを含む。コンピュータ可読媒体はまた、コンピュータ可読コードが分散方式において記憶および実行されるように、ネットワーク結合されたコンピュータシステムを経由して分散されることができる。
前述の説明は、解説の目的のために、説明される実施形態の徹底的な理解を提供するために具体的名称を使用した。しかしながら、具体的詳細は、説明される実施形態を実践するために要求されないことが当業者に明白となるであろう。したがって、具体的実施形態の前述の説明は、例証および説明の目的のために提示される。それらは、包括的であること、または説明される実施形態を開示される精密な形態に限定することを意図していない。多くの修正および変形例が、上記の教示に照らして、可能性として考えられることが当業者に明白となるであろう。
また、本明細書に説明される、および/または図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール(140)、遠隔処理モジュール(150)、および遠隔データリポジトリ(160)のうちの1つまたはそれを上回るものの一部であってもよい。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本実施形態に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなくそこに行われ得ることが明白となるであろう。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。例えば、有利なこととして、画像を複数の深度面を横断して提供する、ARディスプレイとともに利用されるが、本明細書に開示される拡張現実コンテンツはまた、画像を単一深度面上に提供する、システムによって表示されてもよい。
実際、本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されないことを理解されたい。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。
別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実装されてもよい。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されてもよい。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されてもよく、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件付き用語は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることを意図していることを理解されたい。したがって、そのような条件付き用語は、概して、特徴、要素、および/またはステップが、1つまたはそれを上回る実施形態のためにいかようにも要求されること、または1つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/またはステップが任意の特定の実施形態において含まれる、または実施されるものであるべきかどうかを決定するための論理を必然的に含むことを合意することを意図していない。用語「~を備える(comprising)」、「~を含む(including)」、「~を有する(having)」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つまたはそれを上回る」または「少なくとも1つ」を意味するように解釈されるべきである。同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が、示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないことを認識されたい。さらに、図面は、フローチャートの形態で1つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されていない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれてもよい。例えば、1つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられてもよい。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合には、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
Claims (20)
- 仮想コンテンツをユーザに提示するように構成されるディスプレイシステムであって、前記ディスプレイシステムは、
多色性光を出力するように構成される光源と、
前記ユーザの眼を横断して走査するための光パターンを形成するように前記出力された多色性光を前記眼に反射させるように構成される移動可能な反射体であって、前記光パターンは、第1の辺と第2の辺とからなるV形状のパターンであり、前記第1および第2の辺は、異なる波長の光によって形成される、移動可能な反射体と、
前記眼を横断して走査される前記光パターンの反射を検出するように構成される複数の光検出器と、
1つまたはそれを上回るプロセッサと
を備え、
前記1つまたはそれを上回るプロセッサは、
前記反射された光が前記眼を横断して走査されるように、前記移動可能な反射体の配向の調節を生じさせることと、
前記光検出器によって検出される個別の光強度パターンを取得することであって、光強度パターンは、前記眼を横断した前記反射された光の走査の間に、異なる時間において決定される光検出器信号を表す、ことと、
前記光強度パターンに基づいて、前記眼の少なくとも1つの生理学的特性を決定することと
を含む動作を実施するように構成される、ディスプレイシステム。 - 前記少なくとも1つの生理学的特性は、前記眼の1つまたはそれを上回る生理学的特徴の位置、前記眼の1つまたはそれを上回る生理学的特徴のサイズ、または前記眼の生理学的特徴間の境界の場所のうちの1つまたはそれを上回るものを含む、請求項1に記載のディスプレイシステム。
- 前記眼の前記生理学的特徴は、前記眼の瞳孔、虹彩、強膜、または角膜のうちの1つまたはそれを上回るものを含む、請求項2に記載のディスプレイシステム。
- 前記移動可能な反射体は、回折格子を備え、前記回折格子は、前記光源からの前記多色性光の入射ビームを前記光パターンに変換するように構成される、請求項1に記載のディスプレイシステム。
- 前記移動可能な反射体は、複数の回折格子を備え、各回折格子は、前記眼を横断して走査するための異なる光パターンを形成するように構成される、請求項1に記載のディスプレイシステム。
- 前記光検出器は、光ダイオードであり、各光強度パターンは、電流対前記移動可能な反射体の位置と関連付けられる位置情報のプロットを表す、請求項1に記載のディスプレイシステム。
- 前記移動可能な反射体は、複数の回折格子を備え、前記複数の回折格子は、MEMSミラー上に位置付けられ、またはMEMSミラーの一部を形成し、前記位置情報は、前記MEMSミラーの配向を示し、前記MEMSミラーは、前記ディスプレイシステムによって調節可能である、請求項6に記載のディスプレイシステム。
- 前記光源は、光を前記移動可能な反射体に出力するように構成される2つの光源のうちの1つであり、前記光源のそれぞれは、前記眼を横断して走査するための前記光パターンの個別の部分を形成するように構成される、請求項1に記載のディスプレイシステム。
- 導波管をさらに備え、前記導波管は、導波管のスタックのうちの1つであり、前記スタックのいくつかの導波管は、前記スタックの他の導波管の外部結合光学要素と異なる量の波面発散を伴う光を出力するように構成される外部結合光学要素を有し、前記異なる量の波面発散は、異なる深度面に対応する、請求項1に記載のディスプレイシステム。
- 仮想コンテンツをユーザに提示するように構成されるディスプレイシステムによって実装される方法であって、前記方法は、
前記ユーザの眼を横断して走査するための光パターンを形成するように前記眼上に光を指向するように移動可能な反射体を制御することであって、前記光パターンは、第1の辺と第2の辺とからなるV形状の光パターンであり、前記第1および第2の辺は、異なる波長の光によって形成される、ことと、
異なる時間において光検出器信号を表す複数の光強度パターンを取得することであって、前記光検出器信号は、前記眼上への前記光の指向の間に個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の少なくとも1つの生理学的特性を決定することと
を含む、方法。 - 前記少なくとも1つの生理学的特性は、前記眼の1つまたはそれを上回る生理学的特徴の位置、前記眼の1つまたはそれを上回る生理学的特徴のサイズ、または前記眼の生理学的特徴間の境界の場所のうちの1つまたはそれを上回るものを含む、請求項10に記載の方法。
- 前記眼の前記生理学的特徴は、前記眼の瞳孔、虹彩、強膜、または角膜のうちの1つまたはそれを上回るものを含む、請求項11に記載の方法。
- 前記眼上に前記光を指向することは、前記光パターンが、軸に沿って前記眼の第1の部分から前記眼の第2の部分に移動されるように、前記移動可能な反射体を移動させることを含む、請求項10に記載の方法。
- 前記移動可能な反射体は、回折格子を備え、前記回折格子は、光源からの光の入射ビームを前記光パターンに変換するように構成される、請求項13に記載の方法。
- 前記少なくとも1つの生理学的特性を決定することは、機械学習モデルの順方向通過を算出することを含み、前記機械学習モデルの入力は、前記光強度パターンを備え、前記機械学習モデルの出力は、前記少なくとも1つの生理学的特性を示す、請求項10に記載の方法。
- 前記少なくとも1つの生理学的特性を決定することは、
記憶された光強度パターンを識別する情報にアクセスすることであって、前記記憶された光強度パターンは、個別の生理学的特性と関連付けられる、ことと、
前記取得された光強度パターンを前記記憶された光強度パターンと比較することに少なくとも部分的に基づいて、前記少なくとも1つの生理学的特性を決定することと
を含む、請求項10に記載の方法。 - 前記取得された光強度パターンを前記記憶された光強度パターンと比較することは、前記光強度パターン内の1つまたはそれを上回る特徴の位置を比較することを含み、前記1つまたはそれを上回る特徴は、山または谷のうちの少なくとも1つを含む、請求項16に記載の方法。
- 命令を記憶している非一過性コンピュータ記憶媒体であって、前記命令は、1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、
ユーザの眼を横断して走査するための光パターンを形成するように前記眼上に光を指向するように移動可能な反射体を制御することであって、前記光パターンは、第1の辺と第2の辺とからなるV形状の光パターンであり、前記第1および第2の辺は、異なる波長の光によって形成される、ことと、
異なる時間において光検出器信号を表す複数の光強度パターンを取得することであって、前記光検出器信号は、前記眼上への前記光の指向の間に個別の光検出器から取得される、ことと、
前記光強度パターンに基づいて、前記眼の少なくとも1つの生理学的特性を決定することと
を含む動作を実施させる、記憶媒体。 - 前記少なくとも1つの生理学的特性は、前記眼の1つまたはそれを上回る生理学的特徴の位置、前記眼の1つまたはそれを上回る生理学的特徴のサイズ、または前記眼の生理学的特徴間の境界の場所のうちの1つまたはそれを上回るものを含む、請求項18に記載の記憶媒体。
- 前記眼の前記生理学的特徴は、前記眼の瞳孔、虹彩、強膜、または角膜のうちの1つまたはそれを上回るものを含む、請求項19に記載の記憶媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962940785P | 2019-11-26 | 2019-11-26 | |
US62/940,785 | 2019-11-26 | ||
JP2022526370A JP7467623B2 (ja) | 2019-11-26 | 2020-11-23 | 拡張または仮想現実ディスプレイシステムのための向上された眼追跡 |
PCT/US2020/061860 WO2021108327A1 (en) | 2019-11-26 | 2020-11-23 | Enhanced eye tracking for augmented or virtual reality display systems |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022526370A Division JP7467623B2 (ja) | 2019-11-26 | 2020-11-23 | 拡張または仮想現実ディスプレイシステムのための向上された眼追跡 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2024045580A JP2024045580A (ja) | 2024-04-02 |
JP2024045580A5 JP2024045580A5 (ja) | 2024-05-23 |
JP7587070B2 true JP7587070B2 (ja) | 2024-11-19 |
Family
ID=
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150271478A1 (en) | 2013-01-24 | 2015-09-24 | Yuchen Zhou | Method and apparatus to produce re-focusable vision by direct retinal projection with mirror array |
JP2018518709A (ja) | 2015-05-28 | 2018-07-12 | サルミック ラブス インコーポレイテッド | 視標追跡及び走査レーザ投影をウェアラブルヘッドアップディスプレイに統合するシステム、デバイス、及び方法 |
WO2018186046A1 (ja) | 2017-04-04 | 2018-10-11 | 国立大学法人福井大学 | 映像生成装置及び映像生成方法 |
US20190018485A1 (en) | 2017-07-17 | 2019-01-17 | Thalmic Labs Inc. | Dynamic calibration systems and methods for wearable heads-up displays |
WO2019086759A1 (en) | 2017-10-30 | 2019-05-09 | Seetrue Technologies Oy | Method and apparatus for gaze detection |
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150271478A1 (en) | 2013-01-24 | 2015-09-24 | Yuchen Zhou | Method and apparatus to produce re-focusable vision by direct retinal projection with mirror array |
JP2018518709A (ja) | 2015-05-28 | 2018-07-12 | サルミック ラブス インコーポレイテッド | 視標追跡及び走査レーザ投影をウェアラブルヘッドアップディスプレイに統合するシステム、デバイス、及び方法 |
WO2018186046A1 (ja) | 2017-04-04 | 2018-10-11 | 国立大学法人福井大学 | 映像生成装置及び映像生成方法 |
US20190018485A1 (en) | 2017-07-17 | 2019-01-17 | Thalmic Labs Inc. | Dynamic calibration systems and methods for wearable heads-up displays |
WO2019086759A1 (en) | 2017-10-30 | 2019-05-09 | Seetrue Technologies Oy | Method and apparatus for gaze detection |