JP2022516074A - 仮想および拡張現実のためのシステムおよび方法 - Google Patents
仮想および拡張現実のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2022516074A JP2022516074A JP2021537086A JP2021537086A JP2022516074A JP 2022516074 A JP2022516074 A JP 2022516074A JP 2021537086 A JP2021537086 A JP 2021537086A JP 2021537086 A JP2021537086 A JP 2021537086A JP 2022516074 A JP2022516074 A JP 2022516074A
- Authority
- JP
- Japan
- Prior art keywords
- mixed reality
- head
- user
- mounted device
- exemplary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003190 augmentative effect Effects 0.000 title description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000005259 measurement Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 101
- 238000004891 communication Methods 0.000 claims description 61
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000001052 transient effect Effects 0.000 claims description 10
- 230000001413 cellular effect Effects 0.000 claims description 8
- 230000006855 networking Effects 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 46
- 210000003128 head Anatomy 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 27
- 238000004088 simulation Methods 0.000 description 22
- 230000009466 transformation Effects 0.000 description 21
- 230000000007 visual effect Effects 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 18
- 230000006399 behavior Effects 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 15
- 238000013507 mapping Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 11
- 230000002085 persistent effect Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 238000012800 visualization Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 241000726047 Infectious flacherie virus Species 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 239000000779 smoke Substances 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000013475 authorization Methods 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 206010020751 Hypersensitivity Diseases 0.000 description 2
- 241000153282 Theope Species 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000007815 allergy Effects 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000003112 inhibitor Substances 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 206010025482 malaise Diseases 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- UZHSEJADLWPNLE-GRGSLBFTSA-N naloxone Chemical compound O=C([C@@H]1O2)CC[C@@]3(O)[C@H]4CC5=CC=C(O)C2=C5[C@@]13CCN4CC=C UZHSEJADLWPNLE-GRGSLBFTSA-N 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 230000010344 pupil dilation Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 235000019615 sensations Nutrition 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 241000219357 Cactaceae Species 0.000 description 1
- GHOSNRCGJFBJIB-UHFFFAOYSA-N Candesartan cilexetil Chemical compound C=12N(CC=3C=CC(=CC=3)C=3C(=CC=CC=3)C3=NNN=N3)C(OCC)=NC2=CC=CC=1C(=O)OC(C)OC(=O)OC1CCCCC1 GHOSNRCGJFBJIB-UHFFFAOYSA-N 0.000 description 1
- 208000010496 Heart Arrest Diseases 0.000 description 1
- GVGLGOZIDCSQPN-PVHGPHFFSA-N Heroin Chemical compound O([C@H]1[C@H](C=C[C@H]23)OC(C)=O)C4=C5[C@@]12CCN(C)[C@@H]3CC5=CC=C4OC(C)=O GVGLGOZIDCSQPN-PVHGPHFFSA-N 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 206010027646 Miosis Diseases 0.000 description 1
- 208000006550 Mydriasis Diseases 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000000202 analgesic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 229940058087 atacand Drugs 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 239000011365 complex material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 229960002069 diamorphine Drugs 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940126534 drug product Drugs 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000013056 hazardous product Substances 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003547 miosis Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 229960004127 naloxone Drugs 0.000 description 1
- 229940065778 narcan Drugs 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000000631 nonopiate Effects 0.000 description 1
- 235000019645 odor Nutrition 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000000825 pharmaceutical preparation Substances 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002951 street drug Substances 0.000 description 1
- 230000036561 sun exposure Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 201000009482 yaws Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/14—Relay systems
- H04B7/15—Active relay systems
- H04B7/155—Ground-based stations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本明細書に開示されるものは、複合現実システムのための分散型コンピューティングおよび／またはネットワーキングのためのシステムおよび方法である。本方法は、頭部装着型デバイスのカメラを介して、画像を捕捉するステップを含んでもよい。慣性データが、頭部装着型デバイスの慣性測定ユニットを介して、捕捉されてもよい。頭部装着型デバイスの位置が、頭部装着型デバイスの１つ以上のプロセッサを介して、画像および慣性データに基づいて、推定されることができる。画像は、遠隔サーバに伝送されることができる。ニューラルネットワークは、遠隔サーバを介して、画像に基づいて、訓練されることができる。訓練されたニューラルネットワークは、頭部装着型デバイスに伝送されることができる。
Description
（関連出願の相互参照）
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０１８年１２月２７日に出願された、米国仮出願第６２／７８５，３７０号の優先権を主張する。
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０１８年１２月２７日に出願された、米国仮出願第６２／７８５，３７０号の優先権を主張する。
本発明は、接続されたモバイルコンピューティングシステム、方法、および構成に関し、より具体的には、仮想および／または拡張現実動作のために利用され得る、少なくとも１つのウェアラブルコンポーネントを特徴とする、モバイルコンピューティングシステム、方法、および構成に関する。
複合現実（「ＭＲ」）、または拡張現実（「ＡＲ」）、接眼ディスプレイは、軽量で、低コストで、小形状因子を有し、広仮想画像視野を有し、かつ可能な限り透明であることが望ましい。加えて、輻輳・開散運動－遠近調節不整合に関する容認可能な許容値を超えずに、多種多様なユースケースのために実践的であるために、仮想画像情報を複数の焦点平面（例えば、２つ以上の）に提示する、構成を有することが望ましい。図１を参照すると、頭部装着型視認コンポーネント（２）と、ハンドヘルドコントローラコンポーネント（４）と、ベルトパックまたは同等物としてユーザ上に装着されるように構成され得る、相互接続された補助コンピューティングまたはコントローラコンポーネント（６）とを特徴とする、拡張現実システムが、図示される。これらのコンポーネントはそれぞれ、相互にと、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＲＴＭ）、および他のコネクティビティ規格および構成によって規定されたもの等の有線または無線通信構成を介して、クラウドコンピューティングまたはクラウド記憶リソース等の他の接続されたリソース（８）とに動作可能に結合されてもよい（１０、１２、１４、１６、１７、１８）。例えば、米国特許出願第１４／５５５，５８５号、第１４／６９０，４０１号、第１４／３３１，２１８号、第１５／４８１，２５５号、第６２／５１８，５３９号、第６２／６９３，８９１号、および第６２／７４３，４９２号（それぞれ、参照することによってその全体として本明細書に組み込まれる）に説明されるように、それを通してユーザに、拡張現実体験のために関連付けられるシステムコンポーネントによって生産され得る、視覚的コンポーネントとともに、彼らの周囲の世界が見え得る、２つの描写される光学要素（２０）の種々の実施形態等、そのようなコンポーネントの種々の側面が、説明される。
種々の仮想現実（「ＶＲ」）システムおよびいくつかの効果的ＡＲシステムが、市場に存在する。これらのシステムの多くは、ローカルデータ（ローカルフラッシュメモリ上に記憶されるゲーム用ソフトウェア等）を利用する、またはある遠隔データ（遠隔場所におけるクラウド記憶リソース上に記憶される高スコア等）と接続するために構成されるが、種々のタイプの他のユーザノードと相互接続するだけではなく、また、処理／動作および記憶の両方のために、ローカルおよびクラウドリソースを効果的に利用および平衡するように構成されるものは、殆どない。
大部分のＶＲシステムは、基本的に、包囲型モニタであって、眼の近くに設置されたコンピュータまたはテレビモニタに類似し、収束キューのための立体視視点を提供し、高性能ゲーム用ラップトップまたはデスクトップコンピュータ等の接続されたコンピューティングデバイスを介して、コンピューティングおよび記憶リソースに接続される。ＶＲシステムは、ユーザが、概して、彼らの周囲の世界を見ることが不可能であって、したがって、ユーザが、進行中の内容を見るために、頭部搭載型ディスプレイコンポーネントを除去し、次いで、頭部搭載型ディスプレイコンポーネントを眼の上に戻し、コンピュータによって開発または表示された情報を視認し続けるという課題を課されるであろうため、多くのヒト動作シナリオにおいて能力が限定される。ＶＲシステムのある変形例は、いわゆる「パススルー」ビデオに適応し得、それによって、前方に配向されたカメラは、ビデオを捕捉し、これは、ＶＲウェアラブルコンポーネント内でユーザにブロードキャストされ得るが、待ち時間、視点偏移、画像忠実性、および負の生理学的キューに起因して、そのようなシステムは、多くの重要なヒト動作シナリオにおいて望ましいものではあり得ない。さらなる限界は、コンピューティングリソースのサイズであって、これは、概して、大部分の現代のウェアラブルＶＲディスプレイシステムに関して、テザリングされる必要がある。算出機能が、存在する場合でも、ＶＲシステムの生理学的需要を満たすための電力要件は、リュックサイズのバッテリを要求するであろう。さらに、緊急医療応答、火災応答、警察の操作、および／または軍事作戦等の重要な動作シナリオにおいて利用されるために十分にセキュアかつロバストである、そのような技術の欠如が存在する。本明細書に説明されるシステム、構成、および方法は、種々のヒトシナリオにおける、ポータブルで、ロバストで、高度に接続され、高度に有能なウェアラブルコンピューティング展開の種々の課題に対処するように設計される。ウェアラブルコンピューティングシステムにおいて使用するために最適化される、コンパクトかつ持続的に接続されたシステムおよびアセンブリの必要がある。
本開示の実施例は、複合現実システムのための分散型コンピューティングおよび／またはネットワーキングのためのシステムおよび方法を説明する。本開示の実施例によると、本方法は、頭部装着型デバイスのカメラを介して、画像を捕捉するステップを含んでもよい。慣性データが、頭部装着型デバイスの慣性測定ユニットを介して、捕捉されてもよい。頭部装着型デバイスの位置が、頭部装着型デバイスの１つ以上のプロセッサを介して、画像および慣性データに基づいて、推定されることができる。画像は、遠隔サーバに伝送されることができる。ニューラルネットワークは、遠隔サーバを介して、画像に基づいて、訓練されることができる。訓練されたニューラルネットワークは、頭部装着型デバイスに伝送されることができる。
図２を参照すると、頭部搭載型ディスプレイコンポーネント（２）と、ベルトまたは「算出機能」パック（６）とを装着し、ハンドヘルドコントローラコンポーネント（４）を保持している、ユーザが、図示される。例えば、８０２．１１ＷｉＦｉ接続を通して、他のリソースに動作可能に接続されたシステムを用いることで、ユーザまたは操作者は、その周囲の事物もまた見えながら、その環境の周囲をナビゲートし、システムのコンピューティング能力を利用し得る。図３は、ユーザが、公園設定（２２）を通して歩行し、本明細書に説明されるもの等の頭部搭載型ウェアラブルコンポーネント（２）を通して、世界を視認（２４）するにつれて、ユーザに拡張現実体験内の事物が見え、および／またはそれを知覚し得る方法のいくつかの基本概念を図示する。本例証では、ユーザには、木々、コンクリート製の高く作られた台（１１２０）と、公園（２２）設定の残り等の実際の世界の側面が見え得る一方、また、３次元において、昆虫キャラクタ（２６）と、像（１１１０）とが見えるが、これは、実際の物理的世界には存在しないものの、本主題のシステムの拡張現実能力を使用することによって、それらが存在するかのようにユーザに提示される。図４を参照すると、図１を参照して上記に述べられたように、本主題のＡＲシステムは、記憶およびコンピューティングリソース等の多くの異なるリソースと、また、他のポータブルコンピューティングシステム、スマートフォン、スマートウォッチ、記憶および／または処理ハブ、無線コネクティビティハブまたはノード、種々のタイプのパーソナル無線、航空機または航空支援、緊急応答車両、ネットワーク制御センタまたは司令制御センタ、ドローン等の無人車両、モバイルまたはウェアラブルカメラデバイス、および／またはＬＩＤＡＲおよび他のセンサを含む、センサまたは多くのタイプ等の他の重要な動作リソースとに動作可能に結合されてもよい。種々の実施形態では、ユーザは、多くのリソースと接続されることが好ましい。
図５を参照すると、一実施形態では、多くの接続されたリソースを伴い、接続された集合体は、５Ｇアンテナアレイまたは同等物を伴う携帯電話等の１つ以上の伝送／受信デバイス間に位置付けられる、またはそれによって囲繞され得る、１つ以上のオブジェクトのメッシュまたはモデルを再構築するための一種の３－Ｄセンサとして利用され得る。換言すると、各電話、タブレット、ウェアラブル、または他の接続されたデバイスは、センサとして利用され得る。例えば、各信号－ソース対の方向および強度、散乱、透過、および吸収が、干渉マップを作成するために利用され得、これは、次いで、ユーザによって、例えば、ウェアラブルコンピューティングシステムの視野内で可視化されることができる。５Ｇコネクティビティ環境の場合、ソース／信号ペアリングは、周囲の世界のミリ波再構築を提供し得る。これは、非常に算出上集約的であり得るが、現代の周波数／空間ドメインホログラフィック再構築を使用して、更新され得る、世界の一般的モデルを作成する１つの手段である。
図６および７を参照すると、前述の組み込まれる参考文献に記載されるように、種々の実施形態では、ウェアラブルコンポーネント（２）および／またはベルトパック／算出パックコンポーネント（６）の中に統合される、多くのタイプのセンサおよび技術を有することが望ましくあり得る。例えば、図６の描写される実施形態では、偏向または屈曲センサは、２つの異なる方向を伴う、内部干渉計を備えてもよい。位相変化検出に基づいて、屈曲偏向が、相関および決定されてもよい。また、示されるものは、ハイブリッド動的視覚可視光センサであって、差動センサおよび可視光センサが、ビームスプリッタ等を用いて、同一光学経路上で利用されてもよい。信号は、ともに分析され、差異／類似性を処理してもよい。図７に描写されるように、一実施形態では、ベルトパックコンポーネント（６）は、頭部搭載型コンポーネントから除去可能に結合可能であってもよく、バッテリコンポーネントから除去可能に結合可能／入替可能であって、持続動作を確実にしてもよい。ベルトパックコンポーネント（６）は、ＬＣＤタッチパネル／ディスプレイ等のインターフェースを有し、必要とされる場合、携帯電話として利用されてもよく、その中に統合された１つ以上のカメラまたは感知デバイスを有し、例えば、操作者に対する背面または他の方向等、操作者のために付加的意味を提供してもよい。
図８を参照すると、システムコネクティビティの種々の側面が、操作者ヘッドセット（２）、ベルトパック（６）、通信無線、および種々の他のリソースに動作可能に結合される他の要素とともに図示される。例えば、種々の実施形態では、「カフアシスタント」要素は、危険からの逃避のような重要な動作等のあるシナリオでは、ユーザの手首の周囲に搭載可能である、カフまたはバンドタイプデバイスを備えてもよい。そのようなデバイスは、温度、血圧、場所（ＧＰＳおよび／またはモバイルコネクティビティ三角測量および／またはＩＰアドレスマッピング等によって）、血液酸素の部分的圧力、およびそのような操作者およびその位置および条件に関連する他の変数を感知するように構成されてもよい。これらは、リソースを操作者に派遣する、そのシナリオを管理することを補助する等のように、緊急医療サービスまたは他のシステムまたは人員に報告されてもよい。図８はまた、操作者の世界に関するデータベースおよび情報の普遍的または半普遍的収集を伴う、コネクティビティ（「ＭａｇｉｃＶｅｒｓｅ」と称され得る）の概念を図示する。これは、例えば、緊急および防止ネットワークまたは他の医療ネットワークを通した緊急医療システムとのコネクティビティを含んでもよく、これは、例えば、アレルギーまたは病状に関する情報を伴う、完全患者記録を含有してもよい。また、接続されるものは、ウェブカメラのグループ、関連情報およびデータを備えるサーバ、および「Ｇｕａｒｄｉａｎ Ｎｅｔ」と称され得るものからのリソース等、種々のタイプのホーム、事業、または都市規模ネットワークであってもよく、これは、ある調査、緊急、および他の目的のために、ウェブカメラ、マイクロホン、衛星、および大規模記憶デバイスへのアクセスを得る、法執行機関およびある軍事関係者にアクセス可能なリソースのネットワークであってもよい。
図９、１０、および１１を参照すると、消防士、法執行官、または軍人は、それぞれ、スマートフォン、ＥＭＳ無線、自宅、事業、またはいずれかの場所におけるコネクティビティおよび／または記憶ハブ、種々のカメラおよび関連センサ、ＧＰＳ、医療および緊急データベース、法執行機関、Ｇｕａｒｄｉａｎ Ｎｅｔコネクティビティ、武器システムコネクティビティ、他の有人または無人車両とのコネクティビティ、および同等物等の多数の他の接続されたリソースの有用性を統合するための一種のモバイル動作ハブとして、ウェアラブルコンピューティングシステム（２、６）を利用してもよい。
図１２－２１を参照すると、本主題の技術は、同様に、オフィスの生産性シナリのオために利用および適合されてもよい。例えば、図１２および１３を参照すると、会議が、各参加者にその頭部搭載型コンピューティングコンポーネント（２）を通して表示され得る、３次元自動車部分等の視覚的に複雑な何らかのもの等、何らかのものについて議論するために招集された６人で行われてもよい。出席者のうちの１人以上の人は、部屋内に物理的に存在してもよい（「ローカル」）一方、１人以上の人は、いずれかの場所に物理的に存在するが、会議内に自身のアバタ等の提示される画像によって表されてもよい（「遠隔」）。出席者は、会議の一部であるために、モバイルコンピューティング技術（２）だけではなく、また、図１４に示されるように、部屋内のディスプレイ、照明、マイクロホン、スピーカ、カメラ、および同等物等の種々の他の「モノのインターネット」に接続されたデバイスも利用してもよい。種々の実施形態では、特定の部屋または環境から利用可能なデバイスが、そのような部屋内で実際または仮想的に存在するとき、それらがユーザに利用可能であるように、そのような部屋または環境の中にマッピングされてもよい。図１５を参照すると、種々の実施形態では、言語／テキストおよびテキスト／異なる言語を翻訳するために利用可能なもの等の翻訳技術が、会議内の他の参加者のものと異なる言語を話す、メンバのリアルタイムまたは近リアルタイム関与を促進するために利用されてもよい。図１６および１７を参照すると、システムは、参加者が、その独自の顔またはその一部のカスタマイズされたビュー、選択された漫画のキャラクタ等のキャラクタ、および／または他の参加者のための類似処理等、その独自のアバタの側面を選択し得るように構成されてもよい。例えば、ユーザＡは、特定の会議のために、Ａｂｒａｈａｍ Ｌｉｎｃｏｌｎのアバタとして他者に現れる一方、「ブタ」のアバタを会議の別のメンバ（ユーザＢ）に自動的に割り当て、また、面白い帽子および偽の口髭の提示を会議の第３のメンバ（ユーザＣ）のそうでなければ標準的アバタ上に自動的に設置することを決定してもよい。図１８を参照すると、種々のユーザインターフェース構成が、他の参加者に見え、例えば、メモを共有する、ビデオ視点を共有する、および／またはある会議または情報制御を共有するために利用し得る、メニューを各参加者の上方に表示するように構成されてもよい。図１９を参照すると、システムは、例えば、会議からのメモを共有するために、会議出席者のサブグループ間のプライベートチャットメッセージングユーザインターフェース、または全ての出席者に可視のよりパブリックのチャットを提供するように構成されてもよい。上記に述べられたように、言語は、自動化された設定等によって翻訳され、多言語会議環境におけるアクセスおよび有用性を提供してもよい。図２０を参照すると、種々の実施形態では、システムは、その手を利用して、事物を移動させる、種々の事物を作動またはアクティブ化する、部屋の種々の側面、カメラビュー、マイクロホン、スピーカ、参加者が視認しているドキュメント、メモの共有を制御する、および同等物を行い得るように、各参加者の実際または仮想的に提示される机に、ユーザインターフェースを提示するように構成されてもよい。そのようなユーザインターフェースは、好ましくは、各ユーザによって、各ユーザに、会議環境内の情報および制御のカスタマイズされ、効率的ビューを提供するように構成可能である。図２１を参照すると、図１２を参照して上記に述べられたように、頭部搭載型コンピューティングコンポーネント（２）のあるバージョンを用いて可能性として考えられる、一意の３－次元視認能力が、全ての参加者が物理的に実際に部屋内に存在するかどうかにかかわらず、会議内の参加者が、ともに「テーブルを囲んで」、ある複雑な資料または情報を３次元で視認するための一意の機会を提示する。
図２２－３０を参照すると、ある消防環境では、ウェアラブルコンピューティングシステムは、高有用性のために構成されてもよい。例えば、図２２を参照すると、消防士は、彼らが事件現場へのルートおよびマッピングを可視化し得るように、頭部搭載型コンポーネント（２）を装着してもよい。図２３を参照すると、ドアロック、煙アラーム、カメラ、電気およびガスリソース、および照明等のモノのインターネットに接続されたリソースが、可視化され（すなわち、頭部搭載型コンポーネント２等によって）、現場での消防士操作者によって、または制御センタ内に戻って、緊急制御のために、アクセス可能にしてもよい。図２４を参照すると、種々の実施形態では、システムは、ハンズフリー有用性を可能にする、頭部搭載型コンポーネント（２）等のモバイルコンピューティングシステムと接続されたチームの各メンバが、位置（すなわち、ＧＰＳ、コネクティビティ三角測量、ＩＰアドレス、マッピング／ＳＬＡＭ／コンピュータビジョン等に基づいて）およびステータス（ストレス、危険、煙等に遭遇すると、ユーザの頭部搭載型コンポーネント（２）上に提示され得る、バイオメトリックセンサに基づいて、健康ステータス等（そのような頭部搭載型コンポーネント上に存在する種々のセンサおよびカメラを用いて検出および／または可視化され、無線コネクティビティを介して、他の協力者と共有され得る））を可視化することを可能にするように構成されてもよい。例えば、図２６を参照すると、ユーザの頭部搭載型コンポーネント（２）は、眼ベースおよび顔のストレスのインジケータ、および心拍数、心拍数変動性等を監視し、本情報を他者に報告するように構成されてもよい。さらに、ユーザの頭部搭載型コンポーネント（２）は、カメラおよびローカルまたは遠隔／接続されたコンピューティングリソース等のコンピュータビジョンリソースを利用して、マッピングおよび機械学習機能性のために、彼らの周囲の部屋を走査するだけではなく、また、建物内の傷を負った患者等の人員の顔認識を行うように構成されてもよい。さらに、図２７を参照すると、ユーザの頭部搭載型コンポーネント（２）に動作可能に結合され得るもの等の可視光カメラ技術は、種々の場面、人員等の写真を捕捉し、遠隔制御センタ等の種々の場所における他の操作者と共有するように構成されてもよい。図２８を参照すると、熱／赤外線（すなわち、長または通常波長赤外線等）、可視光、および／または短波長赤外線結像技術（「ＳＷＩＲ」は、他の結像モダリティでは視覚的に曖昧になり得る、煙を通して、非常に正常に結像することが可能であるという利点を有する）は、組み合わせられ、火災発火地点の場所、人々、ペットの場所等、緊急操作者環境内の種々の事物の可視化を促進してもよい。先に図８６Ａ－８６Ｄを参照すると、ＳＷＩＲ結像が、環境シナリオに応じて、正常可視光に対するユーザ可視性を有意に向上させるために利用されてもよい。図２９を参照すると、操作者は、ユーザの頭部搭載型コンポーネント（２）を利用して、他の操作者と共有するために、種々の病気または傷害を伴う患者等の緊急環境内の種々の人々または事物を標識化してもよい。図３０を参照すると、ウェアラブルコンポーネント等の接続されたシステムは、操作者バイオメトリックおよび環境問題点だけではなく、また、酸素タンク充填レベルセンサ等の他の重要な接続されたデバイスに関して、操作者条件に関する発信情報を提供するように構成されてもよい。
図３１－３９を参照すると、警察／法執行機関環境では、ウェアラブルコンピューティングシステムは、高有用性のために構成されてもよい。図３１を参照すると、ウェアラブルコンピューティングシステム（２）は、警察作戦チームの種々のメンバが、種々の異種場所へ／からのハンズフリーメッセージングを利用するために構成されてもよい。図３２を参照すると、種々の実施形態では、各メンバは、接続され、各メンバは、全体的システムへの別の感知「ノード」となり、その操作者バイオメトリックに関するデータだけではなく、また、証拠収集、人員または構造識別、ビデオ／オーディオ／写真捕捉、熱／ＩＲ／ＳＷＩＲ結像、同時位置特定およびマッピング（「ＳＬＡＭ」）、無線コネクティビティ三角測量、ＧＰＳ、および／またはＩＰアドレスを介した位置特定、交通または渋滞感知／報告、犯罪または保健医療データベース等の遠隔データベースへのアクセス、各操作者の周囲の世界に関連するマッピングデータの感知または受信等、そのような操作者の周囲の環境に関する情報も提供する。例えば、図３３を参照すると、警察操作者が、その接続された頭部搭載型コンピューティングコンポーネント（２）を伴って歩き回るにつれて、システムは、警官との近傍視覚的接触内に入る、各顔を分析し、顔または虹彩認識等のバイオメトリック分析を行うように構成されてもよい。そのような情報は、接続されたデータベース検索とともに利用され、例えば、警官に、歩道ですれ違ったばかりの人物が、有効な逮捕状が出ており、武装しており、危険である可能性が高い、重罪犯人であることを知らせてもよい。図３４を参照すると、犯罪／場所データベース等の接続されたリソースを、例えば、ＧＰＳ、無線コネクティビティ位置特定、ＩＰアドレス、および／または接続された頭部搭載型コンピューティングコンポーネント（２）を使用したＳＬＡＭ／コンピュータビジョン技法によって決定された場所とともに利用して、システムは、現場、司令本部、または任意の場所における操作者に、特定のエリア内の犯罪率に関するインジケーションを提供するように構成されてもよい。例えば、一実施形態では、操作者が、特に、現地時間午前２：３０に、南Ｃｈｉｃａｇｏの犯罪の多い暗い路地エリアにいる場合、操作者の周囲の全てのものが、赤色で着色される、または別様に比較的に高犯罪として示され得る。他の場所では、路上の片側が、最近のデータに基づいて、路上の反対側より比較的に低い犯罪率として示され得る。したがって、警官が、既知の犯罪ゾーンを通って、歩行または運転している場合でも、少なくとも、これは、驚くべきことではないであろう。さらに、先週における路上麻薬取引の既知の高集中場所へのポインタ等、最近のイベントまたは情報が、操作者のためにマークされることができる。図３５－３７を参照すると、頭部搭載型コンピューティングコンポーネント（２）上の内向きに向いたカメラ等のセンサは、経時的瞳孔径変動性等の操作者の一過性ストレスレベルに関する、変数を追跡するために利用されてもよい。経時的有意な変動性は、入射光変動性に関して正規化されるとき、個人のストレス状態の比較的に良好なインジケータであることが示されている（例えば、小一定瞳孔径は、相対的静止状態と相関され得る一方、高変動性および比較的に大瞳孔径は、比較的に高ストレス状態と相関され得る）。瞳孔径は、経時的に測定され、接続されたシステムおよび人員に報告されてもよい。例えば、一実施形態では、捕捉された場面（眼等）を横断して線を走査し、変化／デルタを求めることを伴う、Ｅｕｌｅｒｉａｎビデオ拡大技法は、眼の瞳孔対強膜等を識別するためのセグメント化とともに、あるバイオメトリック変動性に対する効率的ウィンドウを提供することができる。図３７を参照すると、そのような技術は、警察官等の適切なコンポーネント（２）を装着している操作者のバイオメトリックに関して利用され得るだけではなく、また、十分に近接近している場合、外向きに向いたセンサを使用して、他者のバイオメトリックを分析するために利用されてもよい。図３８を参照すると、極限ストレスの状況下の人々は、ストレスを受けていない状況下では比較的に簡単であると見なされるであろう、ある事物を処理することが困難または非効率的であり得ることが示されており、したがって、種々の実施形態は、各操作者が、歩いて行き、脈をチェックし、確認する等の必要はないように、ある創傷を伴う人物をそのように、または死体を死体として標識化する等、全ての種類の情報関連タスクを補助するように構成されてもよい。図３９を参照すると、犯罪活動が、リアルタイムまたは近リアルタイムでマッピングされ、適切なコンポーネント（２）を装着している操作者によって、ＡＲマッピングユーザインターフェース内等に可視化されてもよい。一実施形態では、ＡＲマッピングインターフェースはまた、操作者に、彼らが、時間単位または何らかのタイムフレームで巻き戻し、その時のそのシナリオの様子を可視化し得るように、時間ドメイン制御を提供するように構成されてもよい。
消防士、警察、または緊急医療応答者等のある操作者または応答者はまた、種々の状況において、その接続されたウェアラブルコンピューティングコンポーネント（２）を通して、接続された医療リソースを利用してもよい。例えば、図４０－４４を参照すると、操作者は、その接続されたウェアラブルコンピューティングコンポーネント（２）を利用して、彼らの周囲の環境問題点（操作者のヘッドセット２に結合され得る、ＳＷＩＲデバイス等の技術を使用して、煙、ガス、化学物質等）に関するスペクトル分析を行い、患者履歴に直接アクセスさせ、および／またはそのヘッドセット（２）に接続することが可能であり得る、専門家医師に、患者のそのビューおよびオーディオフィード（すなわち、ヘッドセット２上の外向きに向いたマイクロホンを介して）を高分解能で共有させ、バイオメトリック分析（顔、虹彩、および／または患者のスマートフォン等上の特殊リソースへの一過性コネクティビティによる患者認識等）を行わせ、アレルギーまたは患者の重要な症例履歴を理解させること等をさせてもよい。例えば、遠隔専門家との直接コネクティビティを伴う、接続されたウェアラブルコンピューティングコンポーネント（２）を利用する、操作者が、心停止状態にあるように見える、意識不明患者に遭遇し得る。操作者は、専門家緊急医学トリアージ支援を求めてもよく、専門家は、ビデオ会議、および／または操作者のコンピューティングコンポーネント（２）視野の一部内にオーディオとともに現れる、アバタ提示等の場面に参加してもよい。顔認識、他のバイオメトリック、特殊緊急応答者患者スマートフォンアクセス、および／または単純な患者の財布用識別カード情報が、患者を識別するために利用されてもよく、セキュアに接続されたリソースが、患者が、既知のヘロイン中毒者であって、臨場している緊急医学専門家が操作者の共有視野から認められ得る内容から、過剰摂取しており、死にかけているようであって、商標名ＮａｒＣａｎ下で販売されているもの等の非オピエート系ナロキソン塩酸塩投入薬物製品を緊急投与すべきであることを確立するために利用されてもよい。
図４５－６３を参照すると、多くの構成が、無数のシナリオにおける種々のタイプの軍人を補助するために利用されてもよい。例えば、図４５－４６を参照すると、接続されたウェアラブルコンピューティングシステム（２、６）を伴う軍人は、セキュア通信無線（軍人に利用可能な超広帯域無線等）、１つ以上の遠隔武器照準器、ウェアラブルコンピューティングシステムに除去可能に結合されるように構成される、１つ以上のバッテリパック、データベース、マップ、画像、ビデオ、オーディオ、および多くの種類の通信（全て、相互接続され、軍人によって動作され得る）等の種々の他のリソースと無線で接続されてもよい。そのような構成は、ＡＴＡＣおよびＮｅｔＷａｒｒｉｏｒとして知られるもの等の軍事システムから連絡され、および／またはそれと相互結合されてもよい。ウェアラブルコンピューティングシステムはまた、頭部搭載型コンポーネント（２）を通したレーザ眼保護、およびある強度までのオーディオのみを通過させ、それを上回る伝送が、退避され、耳栓が、音を遮断する（換言すると、耳栓は、音を捕捉および処理し、それらを電動耳栓内で選択的に再現する、またはしないことが可能であり得る、指向性マイクロホンまたはそのアレイ等のマイクロホンに動作可能に結合され得る）ように構成される、耳栓型ヘッドホンを通した聴力保護等、ある保護を操作者に提供するように構成されてもよい。図４８および５５を参照すると、前述の組み込まれる参考文献に詳細に説明される、ハンドヘルドコンポーネント（４）の６自由度（「ＤＯＦ」）追跡を参照して説明されるものに類似する様式において、武器またはその一部が、追跡されてもよく、制御システムは、操作者が所望の標的に指向すること、および／または武器が所望の標的に対する正しい位置／配向にあるときにのみ武器のアクティブ化または発射を促進することを補助するように構成されてもよい。先に図５２を参照すると、システムはまた、外向きに向いたカメラおよび／またはセンサおよび／またはビュー内の特定の対象に関する他のソースからの以前の情報を使用して識別後、各可視化される対象に関する関連情報（敵の戦闘員ステータス、関与のルール、疑われる武器類状況、任意の検出可能または既知のストレスまたは医療情報等）を提供するように構成されてもよい。
別の実施形態では、１つ以上の指向性マイクロホンは、高度に精巧な信号処理能力に動作可能に結合され、音捕捉を指向化および識別することを補助してもよい。例えば、夜間、軍用戦闘車両の周囲に、部隊は、そのヘッドセット（２）の視野計を設置し、音捕捉視野計として作用させてもよく、これは、「現地時間午前１：３９における北からの音パターン－ディーゼル輸送トラック、味方のうちの１台」、または「８６％信頼度；現地時間午前２：５８における真南からの音パターン－小型オートバイ活動とともに、ＡＫ－４７小型武器での射撃；８３％信頼度；軍指揮官を覚醒させ、潜在的反乱活動の更新を提供する」等、特定の音パターンに関して、ローカルまたは遠隔で監視されてもよい（すなわち、個々の音捕捉デバイスのグループとして、またはアレイとして）。
図４９－５３を参照すると、好ましくは、操作者（２）によって利用されるシステムは、例えば、現地の地上操作者が、ビデオ、オーディオ、および他の分析、および無人航空機、他の車両、他の操作者、および遠隔コマンドセンタの使用に関する活動の利点を得られ得るように、他の操作者のものおよび遠隔システムおよびリソースと接続され、その全ては、限定ではないが、超広帯域送受信機、８０２．１１／ＷｉＦｉ構成、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ、および他のモバイルコネクティビティモダリティ、衛星等を含む、種々の技術によって接続されてもよい。例えば、図４９では、地上操作者は、操作者が、そうでなければ、そのような敵を見ることが不可能であったであろう（例えば、彼らが、尾根の他側に存在するため等）位置から、無人航空機によって捕捉された画像を使用して、３人の武装した敵を可視化しているように見られる。図５１を参照すると、短波長赤外線（「ＳＷＩＲ」）、またはＮＩＲベースの（近赤外線）飛行時間センサ、または構造化光構成、ＬＩＤＡＲ、ＲＡＤＡＲ、および同等物が、周囲を理解し、人々等の具体的事物を探すために利用されてもよい。図５３を参照すると、種々の実施形態では、接続されたシステムは、地上の各操作者および他の場所における他者に、所与の状況に関する活動および問題点のリアルタイムまたは近リアルタイムフィードを提供するように構成されてもよい。図５４を参照すると、これは、航空リソース（いわゆる「負傷兵救護」航空リソース）等を使用することによる、医療救助に関する情報を含んでもよい。例えば、種々の実施形態では、システムは、空中および地上における、その接続されたコンピューティングシステム（２）を装着している操作者（およびベースキャンプ、本部等における接続された操作者）が、依然として、負傷者の場所に到達し、収容することが可能でありながら、敵の戦闘員からの小型武器での射撃との接触を回避するための略円錐形（または他の幾何学形状）の空中交通回避等、そうでなければ、ハンズフリー様式で効率的に通信することが困難である、有益な情報を共有することが可能であり得るように構成されてもよい。地上の操作者は、そのヘッドセットおよびポインタが作成したジェスチャ、その接続された武器または武器照準器等を使用することによって、本回避ゾーンの幾何学形状および／または場所を調節または変化させることが可能であり得る。図５６を参照すると、そのコンピューティングシステム（２）を装着している操作者は、ＧＰＳ、モバイル電気通信三角測量、ＩＰアドレス、および他の位置特定技術が、容易に利用可能または動作可能ではないとき、コンピュータビジョン、オブジェクト認識、ＳＬＡＭ、および他の画像ベースの技術を使用することによって、自身および武器等の他のリソースを配向することが可能であり得る。
図５７－５８、８１、および８７－８９を参照すると、本主題の構成を伴う、操作者および利用可能なリソースのコネクティビティのレベルは、推奨または総括的標準化試験ではなく、事実および性能を通して、かつてないほど軍事作戦の種々の側面の詳細な定量的分析を提供する。システムは、最低ランク付け操作者が、彼らおよび彼らの仲間に対する最小限の情報のサブセットへのアクセスを有するように構成されてもよく、操作者は、指揮系統の上方へと向かって、最上位まで、ますます多くの情報、機密、およびそれ以外へのアクセスを有する。図５９－６３を参照すると、ある作戦における全員が、主に、ハンズフリーのもの等、効率的様式における情報の共有および捕捉から利点を享受することができる。操作者は、相互に協働し、かつてないほど事物を可視化し、全て、そのウェアラブルコンピューティングシステム、好ましくは、頭部搭載型ＡＲ可視化コンポーネントを機能性および有効化要件の中心に伴う、航空機、他の結像システム、データベースリソース、専門家、チームメンバ、および／または健康関連情報等の他のリソースと通信し、それを利用することができる。
図６４－６９を参照すると、本主題のウェアラブルコンピューティングシステムは、ほぼあらゆる場所において、高度な訓練演習をサポートするために利用され、再現性、向上されたアクセス、およびまた、診断／評価可視化ツールを提供してもよい。例えば、図６４を参照すると、一実施形態では、ユーザは、種々の準備された訓練シナリオから１つを選択することが可能であり得る。図６５を参照すると、ほぼあらゆる環境において、ウェアラブルコンピューティングアセット（２）は、ユーザに、例えば、図６６および６７に示されるように、彼らが、敵対者の１人以上のメンバに遭遇し、それを可視化する、所定の訓練／作戦シナリオを提示するために利用されてもよく、敵対者に関するコンテンツ／画像は、その頭部搭載型コンポーネント（２）を通して、拡張現実コンテンツとして、演習内で操作者に示される。図６８および６９を参照すると、演習は、向上された診断および学習のために、時間に対して３－次元において精査されてもよい。
種々の実施形態では、シミュレーション／訓練構成の中核にあるものは、訓練シミュレーションソフトウェア構成（「ＴＳＳ」）であって、これは、正確なシミュレーションエンジンを表す。換言すると、ＴＳＳは、本質的には、世界の合成バージョンが機能する方法、すなわち、銃弾が落下する速度、戦士、警察官、消防士、およびその他が、ある場所に立っているときに見え得る内容、敵、火災、容疑者が、移動する速度等を統制する、ルールのセットである。種々の実施形態では、ＴＳＳのサーバ側コンポーネント、すなわち、「ＴＳＳ／Ｓ」は、ユーザが、訓練の目的のために、継続中のシミュレーションに接続し、それと相互作用することを可能にするように構成されてもよい。ＴＳＳ／Ｓは、合成環境を接続されたユーザに提供し、そのアクションについて情報をユーザから受信し、これらのアクションをシミュレーションの中に考慮し、次いで、それらのアクションおよびそのシミュレートされた結果に基づいて、合成環境を更新するように構成されてもよい。ＴＳＳのクライアント側コンポーネント、すなわち、「ＴＳＳ／Ｃ」は、ユーザが、ＴＳＳと相互作用することを可能にするように構成されてもよい。サーバ（ＴＳＳ／Ｓ）上で起動するシミュレーションは、各接続されたクライアント（ＴＳＳ／Ｃ）に、シミュレートされた世界の状態についての情報を提供するように構成されてもよい。例えば、ＭＡＧＩＣ ＬＥＡＰ Ｂｏｄｙ Ｃｏｍｐｕｔｅｒ上で起動する、ＴＳＳ／Ｃは、ＴＳＳ／Ｓからの情報を利用して、眼および耳に、頭部搭載型コンポーネント（２）の背後の世界を提示する方法を決定してもよい。ＴＳＳ／Ｃはまた、入力機構を提供し、ユーザからのセンサデータを捕捉し、これらをＴＳＳ／Ｓに通信するように構成されてもよく、そこで、シミュレーションは、これらを処理し、それらがシミュレートされた世界の状態を改変する方法を決定する。訓練管理ツール（「ＴＭＴ」）は、訓練／シミュレーション動作をサポートするように設計されるアプリケーションへのアクセスを伴う、ツールスイートを提供するように構成されてもよい。例えば、種々の実施形態では、ＴＭＴは、ＴＳＳ／Ｓのインスタンスを構成および展開し、戦士、法執行官、消防士、およびその他が、訓練イベントを迅速に計画および編成することを可能にするための、サーバツールと、訓練シナリオを作成または修正するために使用される、シナリオエディタと、ユーザに、訓練セッションを再演し、関わるそれらの成績を評価するための種々の機構を提供するように構成される、事後精査（「ＡＡＲ」）ツールと、訓練の間に捕捉されたデータへのアクセスを管理し、一般的成績報告を生成し、恣意的クエリを可能にし、必要に応じて、特殊報告を作成する、データクライアントと、シミュレーションの下層ルールを修正するための能力を提供する（例えば、新しい弾薬のための弾道データを提供するため、または合成敵、または火災、化学薬品漏出の挙動を調節するため等）、シミュレーションエディタと、ユーザアカウントを管理するための管理ツールとを提供するように構成されてもよい。
種々の実施形態では、訓練システムサービスは、遠隔でホストされるリソースであってもよく、例えば、ユーザアカウントおよび訓練成績データの記憶のための「データレイク」と称され得る、比較的に包括的データベースと、訓練シナリオを収集および共有するためのファイルストアと、必要に応じて、ＴＳＳ／Ｓ訓練サーバのクラウドホストのために充てられる、利用可能なサーバリソースと、訓練シナリオ作成の際に使用し、ウェアラブルコンポーネント（２）から捕捉された未加工データストリームを好ましいＬＷＭフォーマットに処理するためのデータを含有する、「Ａｕｔｈｏｒｉｔａｔｉｖｅ Ｌｉｆｅｓｔｒｅａｍ Ｗｏｒｌｄ Ｍａｐ」（または「ＬＷＭ」）と称され得るものへのアクセスとを含んでもよい。システムはまた、ある「訓練補助」を提供するように構成されてもよく、これは、訓練システム（例えば、例えば、武器、テーザ銃、消火機器、およびＣＤＣ機器の訓練バージョン）を用いた訓練のサポートにおいて使用される任意のアイテムであってもよい。種々の実施形態では、訓練システム自体は、カスタム訓練ツールを伴わないが、代わりに、種々の機器を訓練の中に統合し、拡張可能エコシステムを表すための機構を提供する。種々の実施形態では、ＴＳＳ／Ｓは、訓練環境のシミュレーションエンジンであって、集合訓練をサポートするために必要な作戦環境の正確な合成表現を生成するように構成されてもよい。これは、武器および弾薬に関する現実的爆発および弾道シミュレーションと、合成エンティティおよび被訓練者上での命中／傷害決定（例えば、ＴＳＳ／Ｓは、射撃が、合成敵軍、合成民間人、または訓練に関わる実世界エージェントに命中した時を理解する）と、合成エンティティがシミュレートされた空間の通行可能および遮られたエリアを理解することを可能にする、一般的経路探索機能性と、ユニットレベル挙動（合成エンティティは、シミュレートされた感知に基づいて、その周囲の知識を有し、移動する能力を有し、反応時間を有し、条件によって影響され（例えば、射撃される場合、抑制され得る）、基本決定（例えば、戦うまたは逃げる）を行うことができ、一般的熟達レベル（例えば、消火の際の正確度または訓練度）を有する）と、グループレベル挙動（スクリプトを使用して、複数の合成エンティティは、ｉｆ／ｔｈｅｎ条件に基づいて、一連のアクションを決定し、その挙動を協調させることができる）とを含んでもよい。種々の実施形態では、ＴＳＳ／Ｓは、具体的には、民間人、山火事対住宅火災、薬物販売業者、および敵狙撃兵チームに関するグループ挙動と、環境、エンティティ、およびアクションのオーディオデータのシミュレーションと、頭部装着型コンポーネント（２）上での再生または他の出力とをサポートするように構成されてもよい。
種々の実施形態では、ＴＳＳ／Ｓは、訓練を行うように展開されてもよい。訓練に参加する、ユーザは、次いで、その演習のために意図されるＴＳＳ／Ｓに接続する。複数のＴＳＳ／Ｓインスタンスが、同時に展開され、異なるグループが、異なる訓練を同時に行うことを可能にしてもよい。種々の実施形態では、ＴＳＳ／Ｓは、展開におけるフレキシビリティを可能にするように設計されてもよい。ＴＭＴ内のサーバブラウザを使用して、ＴＳＳ／Ｓインスタンスは、専用プラットフォーム（ＴＳＳ／Ｓ使用のために留保されたクラウド内のサーバ）上、または一般に利用可能なローカルハードウェア（典型的ラップトップコンピュータ）上にホストされてもよい。
同一プラットフォーム上で動作するＴＳＳ／ＳおよびＴＳＳ／Ｃを伴う、自己ホストは、代替構成であって、これは、頭部搭載型コンポーネント（２）およびコンピューティングパック（６）対のみを使用することによって、単独訓練を可能にする。
これらの構成オプションは、訓練システムが、必要とされる時点で、かつ種々のインターネット利用可能環境において、訓練を提供することを可能にする。安定インターネットアクセスを伴う、必要性が知覚される時点で、ＴＳＳ／Ｓは、クラウド内で起動されることができる。ゼロコネクティビティを伴う現場では、ＴＳＳ／Ｓは、操作者のラップトップ上にあることができ、コネクティビティ（すなわち、８０２．１１を介したインターネットコネクティビティ、または５Ｇ、４Ｇ、ＬＴＥ、および同等物を介したモバイル無線コネクティビティ等）を伴わなくても、操作者は、操作者のモバイルコンピューティングシステム（２、６）のみを使用して、単独訓練を行ってもよい。
種々の実施形態では、ＴＳＳ／Ｓの目標は、エンドユーザクライアント非依存型システムを可能にすることである。適切にフォーマットされたデータを用いることで、ＴＳＳ／Ｓは、任意のクライアント（本主題のウェアラブルコンピューティングシステム２、６、ラップトップ、スマートフォン等）からアクションを受信し、そこにシミュレーション状態情報を送信することができる。これの１つの意図は、既存または計画された他の訓練シミュレーションシステムに適応し、最小限の統合後、本シミュレーション／訓練環境（略して、「ＳＴＥ」とも称され得る）との最大互換性を可能にすることである。訓練がネットワークアクセスを伴わずに行われる、変形例では、ＴＳＳ／Ｓは、一時的に、訓練関連データを記憶するように構成されてもよく、次にＳＴＥサービスへの接続を確立することが可能になると、本記憶されたデータをデータレイクにアップロードするであろう。種々の実施形態における１つのレベルでは、訓練システムとの任意の相互作用は、クライアント上で生じ、「ランチャ」から開始する。ランチャは、ウェアラブルコンポーネント（２）を介してアクセスされるとき、バイオメトリックを、またはラップトップからアクセスされる場合、標準名およびパスワードを使用して、ユーザの証明書をチェックするように構成されてもよい。いったん認可されると、訓練サービスへの接続が、可能になる場合、ランチャは、訓練関連ソフトウェアへの更新をチェックし、必要な場合、これらを適用するであろう。ＴＳＳ／Ｃは、視覚的コンテンツを表示するために使用される、レンダリングエンジンを含むように構成されてもよい。主要ユースケースでは、ＴＳＳ／Ｃは、ＴＳＳ／Ｓに接続され、サーバは、合成環境をクライアントに記述するように構成されてもよく、クライアントは、ウェアラブルヘッドセット（２）を通して、世界をユーザに投影する。代替として、レンダリングエンジンのバージョンは、ラップトップまたはＰＣまたは他のデバイス上で実行され、「平坦画面」、すなわち、世界データの非複合現実レンダリングを提供してもよい。種々の実施形態では、ＴＳＳ／Ｃの目標は、ユーザが、世界データを異なるモードにおいて体験することを可能にし、異なる目的をサポートすることである。複合現実クライアントディスプレイは、具体的頭部ウェアラブルヘッドセット（２）を使用しているときのみ、動作可能であるように構成されてもよい。本ディスプレイモードは、専有空間コンピューティング技術を採用して、現実的合成コンテンツをユーザの視野の中に挿入してもよい。本モードでは、ユーザは、実世界空間を通して物理的に移動してもよい。そのようなモードは、主に、戦術のために使用されてもよい。仮想クライアントディスプレイは、ウェアラブルコンポーネント（２）またはラップトップ／ＰＣと併用されることができる。ＰＣ上では、本モードは、既存のＰＣベースの訓練シミュレーションにおいて使用されるものに類似する、世界コンテンツの平坦な非複合現実表示を示すように構成されてもよい。本明細書に説明されるもの等のウェアラブルヘッドセット（２）上では、本モードは、コンテンツを仮想現実モードにおいて提示するように構成されてもよい。使用されているディスプレイにかかわらず、ユーザは、本モードにあるとき、物理的に定常であってもよく、そのクライアントに接続された制御（すなわち、キーボードおよびマウス、ｄ－パッド、またはハンドヘルドコントローラ４）を介して、合成環境を通して、アバタをナビゲートしてもよい。本モードは、空間（例えば、ＬＷＭデータのチャンク）を仮想的に探索する、または訓練演習において合成エンティティを制御するために使用されることができる。
ハイブリッドクライアントディスプレイは、本明細書に説明されるもの等の具体的ヘッドセット（２）を使用するときのみ、動作可能であってもよい。複合現実ディスプレイと同様に、本ディスプレイモードは、専有空間コンピューティング技術を利用する。ハイブリッドディスプレイモードでは、ヘッドセットは、コンテンツをユーザの視野の中に現実的に挿入するように試みるのではなく、代わりに、実世界内に投影されている場所を考慮せずに、物理的空間を提示する。本モードでは、ユーザは、複合現実ディスプレイモードにおけるように、物理的に歩行することによって、投影された空間を通して移動する。本モードは、主に、リハーサルのために意図される。例えば、本モードは、ユーザが、空の倉庫の内側にＬＷＭから得られた村の一部を投影し、次いで、本場所の正確な縮尺の投影内を歩き回ることを可能にするであろう。
種々の実施形態では、訓練のためにＴＳＳ／Ｓに接続すると、クライアントは、被訓練者として、訓練者として、または観察者としての具体的役割を割り当てられた状態で接続する。クライアントの役割は、クライアントに提示される情報およびクライアントに利用可能になる制御を決定付け得る。例えば、訓練者は、成績データを確認し、訓練シナリオを改変するための制御を有するが、被訓練者は、有していない。
ＴＳＳ／Ｃは、ユーザ入力の受信（例えば、被訓練者が、その武器を発射するとき）を管理し、関連データ（ユーザの場所、ライフルの配向、行われた射撃数、指導者による演習終了のトリガ等）を捕捉し、接続されたＴＳＳ／Ｓに通信するように構成されてもよい。
クライアントが、本主題のウェアラブルコンピューティングヘッドセット（２）上で動作しているとき、ヘッドセットは、心拍数、眼視線、および知覚される散瞳を含む、バイオメトリックデータを捕捉するように構成されてもよい。本データは、ＡＡＲにおいて使用され、指導者に、成績問題点を解決し、成績改良を指導するための情報を提示する。サーバブラウザは、訓練サーバを見出すまたは展開するために使用されてもよい。
種々の実施形態では、展開するとき、ユーザは、展開のタイプ、認可される参加者、および使用されるべき訓練シナリオを規定してもよい。いったんこれが、完了されると、ユーザは、訓練サーバが利用可能なサーバのリストに追加されることを確認し得る。
ＴＳＳ／Ｓに接続すると、ユーザは、既知のＴＳＳ／Ｓインスタンスのリストを、それぞれについての基本情報とともに、提示されてもよい。ユーザは、訓練または観察のために、接続するためのサーバを選択する。
オプションが、展開されるサーバの広告およびアクセスを調節するために提供され、オープンな「誰でも参加可能」なサーバとあるユーザにのみ可視の制限されたサーバとの間の中間のもの全てを可能にする。
ＴＭＴは、ユーザが、訓練演習をカスタム作成することを可能にする、訓練シナリオエディタを提供するように構成されてもよい。
シナリオ作成は、訓練のための地理的場所の仕様から開始してもよい。ＬＷＭの一部が、このために使用されることができる、またはユーザが、本主題のウェアラブルコンピューティングヘッドセット（２）等のヘッドセット上の深度センサを使用して、メッシュを作成することができる。ＯＳによって提供されるサービスを介して、本メッシュは、他者が使用するために、ＬＷＭにアップロードされてもよい。
いったん訓練エリアが、規定されると、シナリオエディタは、ユーザが、訓練エリア内のオブジェクトのための外観を選択し、訓練のための合成エンティティを設置することを可能にするように構成されてもよい。
いったん完了すると、シナリオは、保存され、後の時間にロードされることができる。シナリオは、訓練の場所と関連付けられ、同一場所内で訓練する他者が、既存の訓練シナリオのライブラリにアクセスすることを可能にする。共通練習のためのテンプレートが、標準訓練シナリオの作成を誘導するために利用されてもよい。加えて、いわゆる「イネーブラ」が、任意の訓練シナリオを修正するために使用されてもよい。イネーブラは、可変訓練を可能にするように意図される、モジュール式「サブシナリオ」を備えてもよい。例えば、ある分隊が、より早期に、手榴弾を使用して掩蔽壕を破壊した場合、次の機動演習の際、指導者は、彼らが、ＣＡＳを使用して、目標を遂行することを所望する。種々の実施形態では、ほぼ誰でも、最小限の訓練を伴って、本エディタを使用することができることが予期される。下層シミュレーションデータリソースが、十分な証明書を用いて、ユーザにアクセス可能にされてもよい。本データは、拡張可能であって、パラメータ化され、コアシミュレーション「ルール」の修正を可能にし得る。そのような構成は、より正確な詳細が報告されると、既存のシミュレーションデータの高速修正を可能にし、新しいシミュレーションエンティティの作成は、新しいシステムとして、導入される。「原則エディタ」は、十分な証明書を伴うユーザが、合成エンティティがシミュレーション内で挙動する方法を統制する、挙動を修正および作成することを可能にするように構成されてもよい。
種々の実施形態では、これは、訓練者が、例えば、「相手方戦闘員」エンティティを作成し、戦場上で観察されるものと同一様式でシミュレーション内で実施させる、特性をそれに割り当てるために使用するであろう内容であってもよい。
挙動のベースライン要素は、パラメータ化され、容易に調節可能であってもよい（例えば、「これらの敵は、通常、これらの武器で武装され、これらの範囲でこのレベルの正確度を実証する」）。
より複雑な挙動（例えば、特定の奇襲技法を定義する）は、脚本を要求し得るが、また、原則エディタ内から対処されてもよい。
いったん完了されると、ここで定義された挙動は、具体的エンティティとともに保存されてもよい。これは、ユーザが、具体的エンティティをエディタ内に設置すると、そのエンティティが、それとともにこれらの挙動をもたらすことを意味する。したがって、より技術的ユーザは、挙動を定義してもよく、あまり技術的ではないユーザは、それらを容易に利用することができる。
訓練管理ツールは、ＳＴＥのためのコア管理機能性を提供するように構成されてもよい。適切な証明書を伴うユーザは、管理ツールを使用して、ユーザアカウントを管理し、許可を改変し、ログを精査し、新しいアプリケーションバージョンを助長し、他の管理機能を実施してもよい。
種々の実施形態では、ＳＴＥにアクセスする全てのユーザは、ＳＴＥアカウントを有してもよい。アカウントツールは、本アカウントを設定または修正し、約スケジュールされた訓練についてリマインダを提供し、成績データを示すために使用されてもよい。
「ＡＡＲ」ツールは、訓練セッションの間（訓練が起こるにつれて成績を精査するため）、または履歴データから（過去の訓練または異なるグループによって実施される訓練の成績を精査するため）、訓練者によってアクセス可能であってもよい。そのようなツールは、訓練者に、訓練演習の再生を表示するためのオプションを提供するように構成されてもよい。これは、「正確な縮尺」（訓練の実物サイズの再現）または「マップ上」（訓練の縮小画像の上下図）で行われることができる。
再生制御は、訓練者が、訓練のセクションをより低速で示すことができ、タイムライン内の異なる点にジャンプする、ある点から巻き戻する、または精査のためにセクションをブックマークすることができるように、再演の修正を可能にするように構成されてもよい。
フィルタは、訓練者が、再演内の詳細な成績情報を可視化することを可能にするように構成されてもよい。例えば、システムは、所与の時点における特定の操作者の心拍数、または特定の操作者が部屋に進入したとき、所与の角を通り過ぎたかどうかを可視化するために利用されてもよい。
データツールは、データレイク内に記憶される訓練成績データへのアクセスを提供するように構成されてもよい。種々の一般的報告が、本ツールから自動的に生成されてもよい。これらは、異なるレベルのアクセス（個人、分隊長、小隊長等）のために編成されてもよい。
加えて、本ツールは、データプールへのアクセスを管理し、より多くの関わるカスタム構築されたクエリを可能にするように構成されてもよい。すでに多数の市販のデータ可視化ツールが存在するため、これは、本機能性を再現するためではなく、要求されるデータの受信およびビジュアライザへの伝送を管理するように意図され得る。
認証サーバは、クライアントが立ち上げられると、認証要求を処理する、サービスであり得る。承認されると、ユーザは、他のサービスへのアクセスを可能にされる。
ユーザが認証サーバに接続することができない、否認された環境では、認証は、ローカルレベルで起こり、具体的デバイスまたはローカルネットワークのみの使用を許可するように構成されてもよい。
サーバリソースは、ＴＳＳ／Ｓ使用のために留保され、訓練イベントのためのサーバのクラウド展開を可能にしてもよい。
ＬＷＭ情報は、訓練動作のいくつかの異なる側面のために要求され得る。本情報へのアクセスは、サービスによって管理されてもよい。バージョン管理された未加工データストリームの形態における、メッシュセンサデータが、センサ搭載ウェアラブルコンピューティングヘッドセット（２）から、本サービスに送信され、ＬＷＭに送信する前に、前処理されてもよい。
上記に述べられたように、ＴＳＥのためのクラウドベースのデータ記憶装置は、「データレイク」を備えてもよく、これは、例えば、全てのアカウント情報と、ログと、訓練成績データとを含有してもよい。先に図７７を参照すると、データレイク情報は、セキュアラップトップＰＣ等のアクセスポイントを利用して、ほぼあらゆる接続された場所から利用可能にされてもよい。
ドライブ空間は、シナリオ、アプリケーションインストール、パッチ、アーカイブ、および訓練バックアップのクラウド記憶を提供するために維持されてもよい。
本明細書に想定される種々の合成訓練環境実装は、軍によって使用される、あらゆる機器に関する情報を組み合わせてもよい。種々の実施例は、下記に列挙される。
種々の実施形態は、歩兵戦闘車両（「ＩＦＶ」）兵員訓練機に関する。これは、完全兵員訓練機であってもよく、これは、兵員、ＩＦＶ、ウェアラブルコンピューティング技術（２、６）、訓練シナリオ、および時間に先立って、任意の付加的リソースを伴わずに、車両置場内に実装されることができる。ＩＦＶの操縦手は、ウェアラブルシステム（２、６）を利用して、制御ゲージまたは可視／走査可能マーカのパターン認識に基づいて、操縦手の座席におけるその位置を位置特定してもよい。これは、次いで、デバイスが、エリアの制御レイアウトに基づいて、デジタルオーバーレイを行うための世界フレームを提供してもよく、これは、ＩＦＶ内の全ての位置のために同一である（射撃手、車長（ＴＣ）、装填手、および歩兵）。ここで、ウェアラブルコンピューティングシステム（２、６）は、制御パネル読取値（射撃手の照準器、操縦手の潜望鏡等）のレンダリングされた複製物をオーバーレイし、ユーザおよびＩＦＶの相互作用のためにユーザ移動を追跡するように構成されてもよい。デバイスは、次いで、例えば、射撃手が、兵員の残りと相互作用しながら、標的捕捉および迎撃を練習し得るように、正しい刺激情報を正しい深度でレンダリングするように構成されてもよい（射撃手の照準器を通して見られるように）。デバイスは、デバイスの位置特定された位置および後続頭部姿勢に基づいて、これを追跡するように構成されてもよい。武器システムは、車両コマンドによって追跡されてもよく、これは、指向性マイクロホンおよび耳保護アクティブノイズキャンセリングヘッドホンを通して記録される。これは、見出され、迎撃された、射撃が発射された敵を位置合わせするように構成されてもよい。敵迎撃のための原則手順は、歩兵の左に接触あり（射撃手（ｇ））－確認（ＴＣ）－標的捕捉（ｇ）－発射（ＴＣ）－標的撃破（ｇ）等、口頭で相互に叫ぶことであってもよい。射撃手は、標的および弾薬選択（例えば、爆発物（ＨＥ）、徹甲弾、およびマシンガン）に応じて、３点バーストまたは数秒バーストを発射してもよい。本データは、次いで、収集され、ＴＭＴに送信されてもよく、そこで、兵員およびユーザ成績が、前の訓練、戦闘、および直交データとともに集約され、その全体的死亡率スコアおよび将来的訓練シナリオのための訓練ロードマップを更新する。種々の実施形態では、これは、ユーザ上のウェアラブルコンピューティングシステム（２、６）からのセンサデータを取り込み、環境の稠密メッシュモデルを作成し、また、本環境内のユーザの頭部の位置／配向（ユーザの「頭部姿勢」）を追跡することを伴ってもよい。そのような情報は、アプリケーションプログラミングインターフェース（「ＡＰＩ」）を通して、任意の外部情報を伴わずに、本３Ｄメッシュをローカルで視認するオプションを可能にするように構成される、走査モードがシステムに存在し得る、システムのアプリケーション層に通過されてもよい。非ローカルで、システムは、他の下車時、乗車時の情報・監視・偵察（「ＩＳＲ」）からの位置および進行方向情報を含むために、情報フレームワーク内の他のノードから、および戦士によって視認可能な世界の３Ｄメッシュの中に含むために、外部ソースからデータを引き出すように構成されてもよい。これは、所与の状況に存在する、全ての陸軍、空軍、海軍、および宇宙軍を含んでもよい。本データは、空間データが常駐する場所のユーザの眼への変換が、ウェアラブルコンピューティングシステム（２、６）のユーザの場所および視線によって制約され得るように、タイムスタンプが付けられ、ジオタグされてもよい。
外部ソースからユーザの視点に情報の正しいオーバーレイを行うために、特徴は、再現可能方式において認識および重複されなければならず、そうでなければ、時間的および空間的エイリアシングのアーチファクトが、混乱させるデータを提供するであろう。正しくにオーバーレイするために、事実に関するデータを使用し、また、同一場所に対して仮想および実際である、異なるオブジェクトをセグメント化および配向するため、パス可能世界タイプアーキテクチャを使用してもよい。
外部ソースから内部ソースへと生じるであろう、世界の本マップはまた、他の人々が、そのデバイス視点から、およびいったん変換が算出された特定のユーザのものから見ている内容を見るために使用されてもよい。これは、壁を通した拡張現実ビジョン等の機能性、または無人航空機からのビデオフィード等の遠隔で捕捉された情報の観察を促進する。適正な分解能の赤色／緑色／青色（「ＲＧＢ」）写真カメラまたはモノクロ写真カメラを用いることで、システムは、Ｎｅｔ Ｗａｒｒｉｏｒまたはある他の情報転送プロトコルおよびシステムを通して共有される環境内に含有される内容に関してよりコンテキスト的理解をユーザに与えるために、画像情報を稠密メッシュ情報上にオーバーレイするように構成されてもよい。
再び、法執行機関、消火、および／または危険材料環境を参照すると、ローカルで、前述の軍事スタイル実装と同様に、ユーザは、頭部およびユーザ上のセンサを通して、世界からのデータを収集し、世界のメッシュを作成し、それを実世界内にオーバーレイさせ、また、表示されるデータの小型マップを、含まれる相互作用要素とともに表示してもよい。全て、ＡＰＩを通して送られ、ユーザのためのデバイスのアプリケーション層を通して起動される。非ローカルで、システムは、遠隔森林火災消火シナリオ等において、同一種類のオフユーザ周辺デバイスおよび情報の多くを利用して、データをデバイスのユーザに中継するように構成されてもよい。
学習ネットワーク、ニューラルネットワーク、および／またはいわゆる「人工知能」（または「ＡＩ」）コンピューティング構成が、死亡率、生存率、および機動性を増加させる可能性が高い動作情報を学習するために、適応兵士アーキテクチャをライブストリーミングするために利用されてもよい。これは、機械学習を介して遂行されてもよく、兵士は、訓練任務を与えられ、モデルは、一連のパラメータおよび試験ケースを起動させる。訓練イベントからの出力データに基づいて、システムは、個人に示されるデータのレベルに基づいて、ウェアラブルコンピューティングシステム（２、６）のヘッドアップディスプレイ側面を最適化するように構成されてもよい。これは、表示されるデータ忠実性レベルを特定のユーザに個人化するための方法である。別の実装は、ストレス下の状況で受信および表示されるデータを動的に変化させ、ユーザにおける認知負荷を低減させるための機械学習モデルの使用である。図９０に描写され、前述の組み込まれる参考文献に説明されるもの等の仮想アシスタントまたは人工的に合成されたキャラクタが、一般的アシスタント、監督者、同僚、および同等物等の役割において、本主題のウェアラブルコンピューティング構成（２、６）を使用して、効率的通信を補助するために利用されてもよい。
計画能力も、本主題のシステムの構成を利用して、同様に向上され得る。例えば、世界に関する情報が、センサを通して捕捉され、次いで、当局サーバに送信され、いったん認証されると、司令本部または基地における指揮官に送信されてもよい。警察、消防士、軍、および／または他のサービスは、そのようなシステム構成を使用して、現場または動作環境への到着に先立って、途中で計画を立て、イベントの状況的リハーサルを行うことが可能であり得る。図７１－７３を参照すると、システムは、指揮官が、その接続されたウェアラブルコンピューティングシステム（２、６）を使用して、その床またはコーヒーテーブル上に展開された全てのものを見張ることができ、例えば、手のジェスチャを使用して、交戦／チーム／リソースを制御することを補助すること、ジェスチャを使用し、建物内のチームを方向転換させること等ができるように構成されてもよい。換言すると、システムは、指揮官が、そのウェアラブルコンピューティングシステム（２、６）を通して、多視点情報フィードを見張り、次いで、頭の中の全体像を用いて、そのローカルデバイスに手のジェスチャを提供し、ジェスチャ認識機械学習技術構成が、本運動を捕捉し、そのジェスチャのアプリケーション定義に基づいて解釈し、本以前に決定された相互作用方法に基づいて、所望のタスクを実行するように構成されてもよい。
上記に述べられたように、システム構成は、操作者によって利用される他の通信システムとの統合を伴ってもよく、回避すべき障害物または危険、敵の戦闘員場所およびステータス等の種々のマーカタイプの可視化を示してもよく、その全ては、可視化される方法点、マーカ、オーディオ、および同等物を使用して、操作者の動作エリアに地理的に位置合わせされてもよい。ウェアラブルシステムは、図７０に示されるように、操作者の周囲のオブジェクトの幾何学形状および位置に関するメッシュを作成するように構成されてもよい。
上記に述べられ、前述の組み込まれる参考文献に説明されるように、大域的および局所的動的調光が、ローカル環境内の頭部装着型コンポーネント（２）を用いて、種々の提示される画像の可視化を向上させるために利用されてもよい。図７４Ａ－７４Ｄを参照すると、大域的動的調光が、図示され、ディスプレイ全体が、調光または暗化され（すなわち、図７４Ａから図７４Ｂに暗化され、同様に、結果が、図７４Ｃから図７４Ｄへの暗化とともに示される）、ある提示される画像またはコンテンツの可視化を向上させることを補助する。局所化された動的調光は、具体的には、操作者の眼視線が指向される領域等、提示される画像またはコンテンツの特定の部分または複数の部分の周囲のコントラスト調節に関する。そのような構成は、操作者が、視覚的ウォッシュアウト、閃光盲、および「指向エネルギー武器」として知られ得る、ある武器に対する光学脆弱性を回避することを補助し得る。動的調光はまた、操作者が、概して、暗い環境内にいるとき、漏出が、相手方によって検出され得、また、一過性に漏出される明るい光が、ユーザの縮瞳の変化を生じさせ得、これが、ヘッドセット（２）を通した視認の残りにとって準最適となり得るため、光漏出を選択的に防止するために利用されてもよい（「光セキュリティの維持」または単に「光セキュリティ」としても知られる）。したがって、多くのシナリオにおいて、ユーザの視認エリア内外の光の漏出を遮断する理由が、存在する。
図７５および７６を参照すると、上記に述べられたように、システムは、熱、赤外線、および／またはＲＢＧカメラ構成等の種々のローカル標的可視化および照準器ツールと統合されてもよく、これは、図８１－８２に示されるもの等の武器または他の実装に動作可能に結合され、また、図８３および８４等、本明細書に説明および図示されるもの等のハードウェアおよびソフトウェア構成を通して、データレイクおよび多くの他のリソースに結合されてもよい。
図７８を参照すると、頭部ウェアラブルコンポーネント（２）は、上記に議論されるように、熱および／または赤外線カメラと物理的に統合され、そうでなければ、図７９に示されるように、暗い環境内のヒトまたは動物等の近隣のあるオブジェクトを識別することを補助してもよい。図８０は、低光量構成のために最適化されたファームウェア、システムソフトウェア、およびハードウェアとともに、ＣＭＯＳセンサ技術を特徴とする低光量カメラセンサ構成のある側面を図示する。
熱結像デバイスは、本明細書で議論される構成の多くにおいて利用され、例えば、ジェスチャ追跡におけるヒトの手対他の空間またはオブジェクトの境界を識別する、壁上の手形等の手による接触後の減弱する熱を観察する、部屋のメッシュを作成する目的のために、ある特徴（ヒトまたは動物等）または「あぶれ個体」を除去する（すなわち、９８°Ｆのヒト形状のオブジェクトが、壁または他の固定オブジェクトではないと仮定され得る）ことを補助してもよい。ヒータ通気口、太陽暴露を伴う窓、給湯機、炉、暖炉、および同等物等の他の既知のオブジェクトが、識別されてもよく、そのような識別は、品質、正確度、および速度を向上させるために利用されてもよく、それを用いてウェアラブルコンピューティングリソース（２、６）は、それらの周囲の世界および関連付けられるユーザを理解するために利用されてもよい。例えば、ウェアラブルコンポーネント（２）が、所与のデータベースに合致する顔特徴に関して、部屋全体を検索するのではなく、顔認識分析に従事するように構成され得る、一実施形態では、システムは、最初に、被覆されずに提示され、約９８°Ｆと容易に熱的に識別され得る、アクセスが容易な顔を識別し、次いで、いったん１つ以上の顔が、特定されると、より多くのコンピューティングリソースを、部屋全般ではなく、それらのピクセルに集中させて費やすように構成されてもよい。換言すると、顔認識を行うとき、ユーザにローカルの事物の上位集合内の全てのものではなく、顔に焦点を当てる（それを行うために、顔を識別するために熱構成を使用することが可能なシステムは、有益である）。アイテムは、緊急対応者または消防士のために、「高温のため接触不可」と標識されてもよい。内向きに向いたセンサが、操作者の体温を検出するために利用される、または外向きに向いたセンサが、その他の条件を感知するために利用されてもよい（例えば、部屋を横断して別の人物の存在を指摘するだけではなく、彼らが熱を有すると考えられる、または彼らが最近射撃されたと考えられる長銃を携行していると考えらえる、またはおそらく、彼らが直近で動作されたラップトップコンピュータに類似するあるタイプの発熱性オブジェクトをそのバッグ内に有していると考えられる、またはおそらく、体温に基づいて、視認される人物が８時間前に死亡していると考えられることも指摘するため）。熱センサ構成はまた、イヌ、ネコ、または人物等のあるオブジェクトを標識し、さらに、あるコンテンツまたは画像とそれらを視覚的に関連付けることを補助するために利用されてもよい（例えば、システムは、明るい赤色の帽子を各識別された敵の戦闘員上に設置する、または特定のイヌまたはネコの顔とともに動き回る、桃色口髭を設置するように構成されてもよい）。熱条件および勾配は、例えば、未知の状況に飛び込む消防士のために、可視化および色分けされてもよい。
他の実施形態では、熱結像が、ＡＲ内に提示される仮想コンテンツのための陰影シミュレーションを補助するために、所与の部屋内の照明条件のマッピング（すなわち、１つ以上の照明源の位置および指向性）を補助するために利用されてもよい。さらに、いくつかのオブジェクトは、温度変化に伴って形状を変化させ、その情報が既知である場合、別のデータ点を提供する。種々の実施形態では、ウェアラブルコンピューティングシステム（２）を伴うユーザが、部屋内にいて、可視光カメラ頭部姿勢検出に基づいて、部屋に位置合わせされ、また、ある熱要素（ヒータ通気口、水槽、１つ以上の光、電気家電等）を部屋の本空間理解の中にマッピングさせており、次いで、光が突然消える場合、ユーザは、熱要素を使用することによって、部屋に位置合わせされたままであり得る。熱結像はまた、水平線決定および温度が上昇されている世界の太陽光暴露部分との合致を補助するために利用されてもよい。
図７８に図示されるもの等の種々の実施形態では、ユーザの実際の視線に基づいて、視差に関して画像を補正する、または１つ以上の結像デバイスがユーザの眼視線と同一捕捉位置に位置付けられ得ないという事実に対処するためのリアルタイムまたは近リアルタイムＪａｃｏｂｉａｎ変換を行うことが有益であり得る。これは、そのような結像デバイスが両眼の両視線の視野を捕捉する限り、１つの結像デバイスに基づいて、眼毎に行われてもよい。
種々の実施形態はまた、少なくとも部分的に、従来の可視光カメラにとって透明であるが、それらを開放空間から区別する、飛行時間信号、散乱、および熱特性を有し得る、平面要素として、窓を迅速に識別するように構成されてもよい。従来、窓の識別は、コンピュータビジョンシステムにとって特定の課題である。
図８５を参照すると、ウェアラブルコンポーネント（２）の別の実施形態が、その中に統合された種々の高度なセンサとともに図示される。種々の構成は、直接、操作者の頭部、ヘルメット、車両の内側、航空機、または同等物に結合可能であってもよい。
図９１を参照すると、マッピング家電実施形態が、図示され、充電器ベースに除去可能に結合される、マッピング／結像ユニットが、動作しているとき、部屋の点群を作成し、ＲＢＧ画像をそのような部屋の捕捉された点群メッシュにオーバーレイし、これをリアルタイムまたは近リアルタイムで更新するように構成される。図９２は、人物の幾何学形状の点群バージョンを図示し、これはまた、例えば、ＲＧＢカメラによって、適正な光下で視認されてもよい。
図９３を参照すると、カフアシスタントモジュールの実施形態が、図示され、幾分大きい腕時計バンドに類似する、手首に装着可能なカフが、他者が、収集され、利用可能にされたデータを利用し（すなわち、クラウドコネクティビティ等によって）、場所（ＧＰＳ、モバイル送受信機三角測量、および／またはＩＰアドレスによって等）、心臓条件／出力、体温等の要因を監視するように、緊急または危険状況等において、あるタイプのバイオメトリック監視が所望されるとき、ユーザに結合されてもよい。カフはまた、手動でまたは自動的に（すなわち、司令センタまたは接続された同僚から遠隔等で）、カフを通してユーザの身体に導入される、鎮痛剤等のある医療コンポーネントを含有してもよい。種々の実施形態では、本明細書に説明されるウェアラブルコンピューティングアセット（２、６）に無線で結合されてもよい。
複合現実環境
全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の３次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、照準器、音、感触、味、臭いを使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点から３つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。
コンピューティングデバイスは、例えば、デバイスと関連付けられたメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられた他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられたデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において、第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および／または任意の好適な入力を使用して、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられたパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト（無有生オブジェクト、人々、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに１つ以上のオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい（例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、１つ以上のスピーカを介して、オーディオ信号を提示することができる。
仮想環境は、算出構造としてのみ存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的にのみ、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用することができないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。別の実施例として、加速度計、ジャイロスコープセンサ、または周辺デバイス内の他のタイプのセンサ（例えば、下記に説明されるコントローラ３００）は、ユーザが、周辺デバイスを使用して、仮想環境内のオブジェクトを操作するように試みていることを示す、運動データおよび／またはデバイス配向データを提供することができ、プロセッサは、そのデータを使用して、オブジェクトに、適宜、仮想環境内で応答させることができる。他の好適なタイプのセンサデータもまた、採用されてもよい。
複合現実システムは、ユーザに、例えば、透過性ディスプレイおよび／または１つ以上のスピーカ（例えば、ウェアラブル頭部デバイスの中に組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境（「ＭＲＥ」）を提示することができる。いくつかの実施形態では、１つ以上のスピーカは、頭部搭載型ウェアラブルユニットの外部にあってもよい。本明細書で使用されるように、ＭＲＥは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一座標（いくつかの実施例では、変換行列とともに）は、実環境内の第１の場所と、また、仮想環境内の第２の対応する場所とを定義し得、その逆も同様である。
ＭＲＥでは、（例えば、ＭＲＥと関連付けられた仮想環境内の）仮想オブジェクトは、（例えば、ＭＲＥと関連付けられた実環境内の）実オブジェクトに対応し得る。例えば、ＭＲＥの実環境が、実街灯柱（実オブジェクト）をある場所座標に含む場合、ＭＲＥの仮想環境は、仮想街灯柱（仮想オブジェクト）を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトとともに組み合わせて、「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい（街灯柱が略円筒形形状であり得ることを反映する）。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、ＭＲＥのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、ＭＲＥの仮想環境内にのみ存在し得る。
いくつかの実施例では、仮想オブジェクトは、時として、対応する実オブジェクトのものと著しく異なる、特性を有してもよい。例えば、ＭＲＥ内の実環境は、緑色の２本の枝が延びたサボテン、すなわち、とげだらけの無有生オブジェクトを含み得るが、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の２本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）において、その対応する実オブジェクトに類似するが、他の特性（顔特徴、性格）において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動（例えば、人間の性格）をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物（例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスター）であってもよい。
ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、ＶＲシステムと比較して、ＭＲＥを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられた視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、ＶＲシステムのユーザは、上記に述べられたように、ユーザは、直接、仮想環境を知覚する、またはそれと相互作用することができないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、ＭＲシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することが直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられた負の心理学的感覚（例えば、認知的不協和）および負の物理的感覚（例えば、乗り物酔い）を低減させることができる。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。
図１０５Ａは、ユーザ１１０が複合現実システム１１２を使用する、例示的実環境１００を図示する。複合現実システム１１２は、ディスプレイ（例えば、透過性ディスプレイ）および１つ以上のスピーカと、例えば、下記に説明されるような１つ以上のセンサ（例えば、カメラ）とを含んでもよい。示される実環境１００は、その中にユーザ１１０が立っている、長方形の部屋１０４Ａと、実オブジェクト１２２Ａ（ランプ）、１２４Ａ（テーブル）、１２６Ａ（ソファ）、および１２８Ａ（絵画）とを含む。部屋１０４Ａはさらに、場所座標１０６を含み、これは、実環境１００の原点と見なされ得る。図１０５Ａに示されるように、その原点を点１０６（世界座標）に伴う、環境／世界座標系１０８（ｘ－軸１０８Ｘ、ｙ－軸１０８Ｙ、およびｚ－軸１０８Ｚを備える）は、実環境１００のための座標空間を定義し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、複合現実システム１１２の電源がオンにされた場所に対応してもよい。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ１１０は、実環境１００内の実オブジェクトと見なされ得る。同様に、ユーザ１１０の身体部分（例えば、手、足）は、実環境１００内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点１１５（例えば、ユーザ／聴取者／頭部座標）に伴う、ユーザ／聴取者／頭部座標系１１４（ｘ－軸１１４Ｘ、ｙ－軸１１４Ｙ、およびｚ－軸１１４Ｚを備える）は、その上に複合現実システム１１２が位置する、ユーザ／聴取者／頭部のための座標空間を定義し得る。ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の１つ以上のコンポーネントに対して定義されてもよい。例えば、ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の初期較正等の間、複合現実システム１１２のディスプレイに対して定義されてもよい。行列（変換行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、ユーザ／聴取者／頭部座標系１１４空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標１１６および右耳座標１１７が、ユーザ／聴取者／頭部座標系１１４の原点１１５に対して定義されてもよい。行列（変換行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、左耳座標１１６および右耳座標１１７とユーザ／聴取者／頭部座標系１１４空間との間の変換を特性評価することができる。ユーザ／聴取者／頭部座標系１１４は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境／世界座標系１０８に対する場所の表現を簡略化することができる。同時位置特定およびマッピング（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系１１４と環境座標系１０８との間の変換が、リアルタイムで決定および更新されることができる。
図１０５Ｂは、実環境１００に対応する、例示的仮想環境１３０を図示する。示される仮想環境１３０は、実長方形部屋１０４Ａに対応する仮想長方形部屋１０４Ｂと、実オブジェクト１２２Ａに対応する仮想オブジェクト１２２Ｂと、実オブジェクト１２４Ａに対応する仮想オブジェクト１２４Ｂと、実オブジェクト１２６Ａに対応する仮想オブジェクト１２６Ｂとを含む。仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂと関連付けられたメタデータは、対応する実オブジェクト１２２Ａ、１２４Ａ、１２６Ａから導出される情報を含むことができる。仮想環境１３０は、加えて、仮想モンスター１３２を含み、これは、実環境１００内の任意の実オブジェクトに対応しない。実環境１００内の実オブジェクト１２８Ａは、仮想環境１３０内の任意の仮想オブジェクトに対応しない。その原点を点１３４（持続的座標）に伴う、持続的座標系１３３（ｘ－軸１３３Ｘ、ｙ－軸１３３Ｙ、およびｚ－軸１３３Ｚを備える）は、仮想コンテンツのための座標空間を定義し得る。持続的座標系１３３の原点１３４は、実オブジェクト１２６Ａ等の１つ以上の実オブジェクトと相対的に／それに対して定義されてもよい。行列（変換行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、持続的座標系１３３空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、持続的座標系１３３の原点１３４に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、１つ以上の持続的座標系に対するその自身の持続的座標点を有してもよい。
図１０５Ａおよび１０５Ｂに関して、環境／世界座標系１０８は、実環境１００および仮想環境１３０の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点１０６に有する。さらに、座標空間は、同一の３つの直交軸（１０８Ｘ、１０８Ｙ、１０８Ｚ）によって定義される。故に、実環境１００内の第１の場所および仮想環境１３０内の第２の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示するステップを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では（図示せず）、行列（変換行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。
図１０５Ｃは、同時に、実環境１００および仮想環境１３０の側面をユーザ１１０に複合現実システム１１２を介して提示する、例示的ＭＲＥ１５０を図示する。示される実施例では、ＭＲＥ１５０は、同時に、ユーザ１１０に、実環境１００からの実オブジェクト１２２Ａ、１２４Ａ、１２６Ａ、および１２８Ａ（例えば、複合現実システム１１２のディスプレイの透過性部分を介して）と、仮想環境１３０からの仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２（例えば、複合現実システム１１２のディスプレイのアクティブディスプレイ部分を介して）とを提示する。上記のように、原点１０６は、ＭＲＥ１５０に対応する座標空間のための原点として作用し、座標系１０８は、座標空間のためのｘ－軸、ｙ－軸、およびｚ－軸を定義する。
示される実施例では、複合現実オブジェクトは、座標空間１０８内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト（すなわち、１２２Ａ／１２２Ｂ、１２４Ａ／１２４Ｂ、１２６Ａ／１２６Ｂ）を含む。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ１１０に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る（仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等）。いくつかの実施例では、仮想オブジェクト（１２２Ｂ、１２４Ｂ、および／または１２６Ｂ）は、対応する実オブジェクト（１２２Ａ、１２４Ａ、および／または１２６Ａ）をオクルードするように、表示されてもよい（例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して）。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る（無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等）。
いくつかの実施例では、実オブジェクト（例えば、１２２Ａ、１２４Ａ、１２６Ａ）は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの２次元表現、対応する実オブジェクトと関連付けられたカスタムアセットタイプ、または対応する実オブジェクトと関連付けられた統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。
いくつかの実施例では、上記に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ１５０では、仮想モンスター１３２は、モンスターがＭＲＥ１５０の周囲を歩き回るにつれて生成される、足音効果等の１つ以上のオーディオ信号と関連付けられ得る。下記にさらに説明されるように、複合現実システム１１２のプロセッサは、ＭＲＥ１５０内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム１１２内に含まれる１つ以上のスピーカおよび／または１つ以上の外部スピーカを介して、オーディオ信号をユーザ１１０に提示することができる。
例示的複合現実システム
例示的複合現実システム１１２は、ディスプレイ（接眼ディスプレイであり得る、左および右透過性ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられたコンポーネントとを含み得る）と、左および右スピーカ（例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのつるのアームに搭載される）と、直交コイル電磁受信機（例えば、左つる部品に搭載される）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）とを備える、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実または複合現実頭部デバイス）を含むことができる。しかしながら、複合現実システム１１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム１１２は、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム１１２はさらに、バッテリ（ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい）と、プロセッサと、メモリとを含んでもよい。複合現実システム１１２のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標のセットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム１１２はまた、ハンドヘルドコントローラ３００、および／または下記にさらに説明されるように、ウェアラブルベルトパックであり得る補助ユニット３２０を含んでもよい。
図２Ａ－２Ｄは、ＭＲＥ（ＭＲＥ１５０に対応し得る）または他の仮想環境をユーザに提示するために使用され得る、例示的複合現実システム２００（複合現実システム１１２に対応し得る）のコンポーネントを図示する。図１０６Ａは、例示的複合現実システム２００内に含まれるウェアラブル頭部デバイス２１０２の斜視図を図示する。図１０６Ｂは、ユーザの頭部２２０２上に装着されるウェアラブル頭部デバイス２１０２の上面図を図示する。図１０６Ｃは、ウェアラブル頭部デバイス２１０２の正面図を図示する。図１０６Ｄは、ウェアラブル頭部デバイス２１０２の例示的接眼レンズ２１１０の縁視図を図示する。図２Ａ－２Ｃに示されるように、例示的ウェアラブル頭部デバイス２１０２は、例示的左接眼レンズ（例えば、左透明導波管セット接眼レンズ）２１０８と、例示的右接眼レンズ（例えば、右透明導波管セット接眼レンズ）２１１０とを含む。各接眼レンズ２１０８および２１１０は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ（例えば、画像毎に変調された光を介して）を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ２１０８は、左内部結合格子セット２１１２と、左直交瞳拡張（ＯＰＥ）格子セット２１２０と、左出射（出力）瞳拡張（ＥＰＥ）格子セット２１２２とを含むことができる。同様に、右接眼レンズ２１１０は、右内部結合格子セット２１１８と、右ＯＰＥ格子セット２１１４と、右ＥＰＥ格子セット２１１６とを含むことができる。画像毎に変調された光は、内部結合格子２１１２および２１１８、ＯＰＥ２１１４および２１２０、およびＥＰＥ２１１６および２１２２を介して、ユーザの眼に転送されることができる。各内部結合格子セット２１１２、２１１８は、光をその対応するＯＰＥ格子セット２１２０、２１１４に向かって偏向させるように構成されることができる。各ＯＰＥ格子セット２１２０、２１１４は、光をその関連付けられたＥＰＥ２１２２、２１１６に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各ＥＰＥ２１２２、２１１６は、その対応するＯＰＥ格子セット２１２０、２１１４から受信された光の少なくとも一部を、接眼レンズ２１０８、２１１０の背後に定義される、ユーザアイボックス位置（図示せず）に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット２１１２および２１１８、ＯＰＥ格子セット２１１４および２１２０、およびＥＰＥ格子セット２１１６および２１２２の代わりに、接眼レンズ２１０８および２１１０は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および／または屈折および反射性特徴の他の配列を含むことができる。
いくつかの実施例では、ウェアラブル頭部デバイス２１０２は、左つるのアーム２１３０と、右つるのアーム２１３２とを含むことができ、左つるのアーム２１３０は、左スピーカ２１３４を含み、右つるのアーム２１３２は、右スピーカ２１３６を含む。直交コイル電磁受信機２１３８は、左こめかみ部品またはウェアラブル頭部ユニット２１０２内の別の好適な場所に位置することができる。慣性測定ユニット（ＩＭＵ）２１４０は、右つるのアーム２１３２またはウェアラブル頭部デバイス２１０２内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス２１０２はまた、左深度（例えば、飛行時間）カメラ２１４２と、右深度カメラ２１４４とを含むことができる。深度カメラ２１４２、２１４４は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。
図２Ａ－２Ｄに示される実施例では、画像毎に変調された光２１２４の左源は、左内部結合格子セット２１１２を通して、左接眼レンズ２１０８の中に光学的に結合されることができ、画像毎に変調された光２１２６の右源は、右内部結合格子セット２１１８を通して、右接眼レンズ２１１０の中に光学的に結合されることができる。画像毎に変調された光２１２４、２１２６の源は、例えば、光ファイバスキャナ、デジタル光処理（ＤＬＰ）チップまたはシリコン上液晶（ＬＣｏＳ）変調器等の電子光変調器を含む、プロジェクタ、または側面あたり１つ以上のレンズを使用して、内部結合格子セット２１１２、２１１８の中に結合される、マイクロ発光ダイオード（μＬＥＤ）またはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等の発光型ディスプレイを含むことができる。入力結合格子セット２１１２、２１１８は、画像毎に変調された光２１２４、２１２６の源からの光を、接眼レンズ２１０８、２１１０のための全内部反射（ＴＩＲ）に関する臨界角を上回る角度に偏向させることができる。ＯＰＥ格子セット２１１４、２１２０は、伝搬する光をＴＩＲによってＥＰＥ格子セット２１１６、２１２２に向かって下方に漸次的に偏向させる。ＥＰＥ格子セット２１１６、２１２２は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。
いくつかの実施例では、図２Ｄに示されるように、左接眼レンズ２１０８および右接眼レンズ２１１０はそれぞれ、複数の導波管２４０２を含む。例えば、各接眼レンズ２１０８、２１１０は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル（例えば、赤色、青色、および緑色）専用である。いくつかの実施例では、各接眼レンズ２１０８、２１１０は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離（例えば、波面曲率の逆数に対応する距離）に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、ＥＰＥ格子セット２１１６、２１２２は、各ＥＰＥを横断して出射する光のＰｏｙｎｔｉｎｇベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。
いくつかの実施例では、表示されるコンテンツが３次元である知覚を作成するために、立体視的に調節される左および右眼画像は、画像毎光変調器２１２４、２１２６および接眼レンズ２１０８、２１１０を通して、ユーザに提示されることができる。３次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管（したがって、対応する波面曲率）を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自動遠近調節（例えば、オブジェクト距離依存焦点）との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。
図１０６Ｄは、例示的ウェアラブル頭部デバイス２１０２の右接眼レンズ２１１０の上部からの縁視図を図示する。図２Ｄに示されるように、複数の導波管２４０２は、３つの導波管２４０４の第１のサブセットと、３つの導波管２４０６の第２のサブセットとを含むことができる。導波管２４０４、２４０６の２つのサブセットは、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるＥＰＥ格子によって区別されることができる。導波管２４０４、２４０６のサブセットのそれぞれ内において、各導波管は、異なるスペクトルチャネル（例えば、赤色、緑色、および青色スペクトルチャネルのうちの１つ）をユーザの右眼２２０６に結合するために使用されることができる。図２Ｄには図示されないが、左接眼レンズ２１０８の構造は、右接眼レンズ２１１０の構造に類似する。
図１０７Ａは、複合現実システム２００の例示的ハンドヘルドコントローラコンポーネント３００を図示する。いくつかの実施例では、ハンドヘルドコントローラ３００は、把持部分３４６と、上部表面３４８に沿って配置される、１つ以上のボタン３５０とを含む。いくつかの実施例では、ボタン３５０は、例えば、カメラまたは他の光学センサ（複合現実システム２００の頭部ユニット（例えば、ウェアラブル頭部デバイス２１０２）内に搭載され得る）と併せて、ハンドヘルドコントローラ３００の６自由度（６ＤＯＦ）運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、ウェアラブル頭部デバイス２１０２に対する位置または配向等の位置または配向を検出するための追跡コンポーネント（例えば、ＩＭＵまたは他の好適なセンサ）を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ３００のハンドル内に位置付けられてもよく、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ３００は、ボタンの押下状態、またはハンドヘルドコントローラ３００の位置、配向、および／または運動（例えば、ＩＭＵを介して）のうちの１つ以上のものに対応する、１つ以上の出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム２００のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および／または移動（さらに言うと、コントローラを保持するユーザの手の位置、配向、および／または移動）に対応し得る。そのような入力はまた、ユーザがボタン３５０を押下したことに対応し得る。
図１０７Ｂは、複合現実システム２００の例示的補助ユニット３２０を図示する。補助ユニット３２０は、エネルギーを提供し、システム２００を動作するためのバッテリを含むことができ、プログラムを実行し、システム２００を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット３２０は、補助ユニット３２０をユーザのベルトに取り付ける等のためのクリップ２１２８を含む。他の形状因子も、補助ユニット３２０のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット３２０は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス２１０２に結合される。補助ユニット３２０とウェアラブル頭部デバイス２１０２との間の無線接続もまた、使用されることができる。
いくつかの実施例では、複合現実システム２００は、１つ以上のマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス２１０２に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ３００および／または補助ユニット３２０に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。
図１０８は、上記に説明される複合現実システム２００（図１に関する複合現実システム１１２に対応し得る）等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。図１０８に示されるように、例示的ハンドヘルドコントローラ４００Ｂ（ハンドヘルドコントローラ３００（「トーテム」）に対応し得る）は、トーテム／ウェアラブル頭部デバイス６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含み、例示的ウェアラブル頭部デバイス４００Ａ（ウェアラブル頭部デバイス２１０２に対応し得る）は、トーテム／ウェアラブル頭部デバイス６ＤＯＦサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦサブシステム４０４Ｂは、協働し、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの変換方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス４００Ａの座標系に対して表されてもよい。３つの変換オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、変換行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンス、回転行列、四元数、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａ、ウェアラブル頭部デバイス４００Ａ内に含まれる、１つ以上の深度カメラ４４４（および／または１つ以上の非深度カメラ）、および／または１つ以上の光学標的（例えば、上記に説明されるようなハンドヘルドコントローラ４００Ｂのボタン３５０またはハンドヘルドコントローラ４００Ｂ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、上記に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａおよびハンドヘルドコントローラ４００Ｂはそれぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される３つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ４００Ｂに対するウェアラブル頭部デバイス４００Ａの６ＤＯＦが、決定され得る。加えて、６ＤＯＦトーテムサブシステム４０４Ａは、改良された正確度および／またはハンドヘルドコントローラ４００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。
いくつかの実施例では、例えば、座標系１０８に対するウェアラブル頭部デバイス４００Ａの移動を補償するために、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス４００Ａに対して固定される座標空間）から慣性座標空間（例えば、実環境に対して固定される座標空間）に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向（例えば、ディスプレイの右下角における同一位置）ではなく、仮想オブジェクトを実環境に対する予期される位置および配向に提示し（例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に向いた実椅子に着座している仮想人物）、仮想オブジェクトが実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス４００Ａが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系１０８に対するウェアラブル頭部デバイス４００Ａの変換を決定するために、ＳＬＡＭおよび／またはビジュアルオドメトリプロシージャを使用して、深度カメラ４４４からの画像を処理することによって決定されることができる。図１０８に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合され、画像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間（例えば、慣性座標空間）との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関する情報をよりタイムリーに提供することができる。
いくつかの実施例では、深度カメラ４４４は、ウェアラブル頭部デバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
いくつかの実施例では、１つ以上のプロセッサ４１６は、ウェアラブル頭部デバイスの６ＤＯＦヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、および／または手のジェスチャトラッカ４１１からのデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、そこから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、視聴覚コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光４２４の左源に結合される、左チャネル出力と、画像毎に変調された光４２６の右源に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、例えば、図２Ａ－２Ｄに関して上記に説明されるように、立体視画像データを画像毎に変調された光４２４、４２６の源に出力することができる。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ３２０を介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
図１０８に示されるようないくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つ以上のものは、補助ユニット４００Ｃ（上記に説明される補助ユニット３２０に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電し、および／または電力をウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
図１０８は、例示的複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット４００Ｃと関連付けられているような図１０８に提示される要素は、代わりに、ウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるべきである。
システムアーキテクチャ
複合現実システムの目標は、実世界情報を合成し、ユーザに、そうでなければ、ユーザに利用可能および／または容易にアクセス可能ではない場合がある、情報を提供することであり得る。複合現実システムの利点は、特に、ユーザが、決定を行うために、短時間周期内に大量の情報を処理する必要があるときに明白であり得る。これらの状況では、複合現実システムは、特に、関連情報をユーザに容易にアクセス可能にすることによって、ユーザの意思決定を補助するために非常に好適である。例えば、戦闘状況では、兵士は、その武器の弾倉内の残りの弾薬、分隊メンバの場所、および／または敵の戦闘員の場所等の情報から利点を享受し得る。そうでなければ兵士に利用不可能であり得る、本情報は、例えば、複合現実システムのシースルーディスプレイを介して、兵士に提示されることができる。
複合現実システムは、大量の実世界情報を受信および解析し得るため、効率的コンピューティングアーキテクチャは、複合現実システムのための改良されたユーザ体験および向上された能力をもたらし得る。効率的コンピューティングアーキテクチャは、複合現実システムが、種々の実世界情報源からの入力を迅速に処理することを可能にすることができる。例えば、図８に戻って参照すると、ヘッドセット２と、ベルトパック６（ＭＲシステム１１２、２００に対応し得る）とを備える、複合現実システムは、複合現実システムに通信可能に結合され得る、１つ以上の武器からの実世界入力を受信してもよい。１つ以上の武器はそれぞれ、マイクロプロセッサに結合される、１つ以上のセンサを含んでもよい。例えば、センサは、弾倉内に残っている弾薬の量を検出してもよく、その情報は、マイクロプロセッサに送信されてもよい。武器のマイクロプロセッサは、有線および／または無線通信を介して、本情報を複合現実システムに通信してもよい。例えば、武器のマイクロプロセッサは、ユニバーサルシリアルバス（「ＵＳＢ」）接続および／または無線周波数通信（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、セルラーネットワーク、５Ｇ）を使用して、複合現実システムと通信してもよい。
いくつかの実施形態では、複合現実システムが、マイクロプロセッサを含む、デバイスと通信するために、より効率的であってもよい。例えば、消防士キットモニタは、消火器を含んでもよく、消火器は、消火器内に残っている抑制剤の量を検出するように構成される、１つ以上のセンサを含んでもよい。いくつかの実施形態では、消火器は、１つ以上のセンサと通信するように構成される、マイクロプロセッサを含んでもよい。マイクロプロセッサは、センサからの未加工入力（例えば、電圧レベル）を受信し、故に、残りの抑制剤の量を計算するように構成されてもよい。消火器のマイクロプロセッサは、次いで、複合現実システムが読み取り得るデータ構造内で、本情報を複合現実システムに通信してもよい。本コンピューティングアーキテクチャは、１つ以上の算出を接続されたデバイスのマイクロプロセッサにオフロードすることによって、複合現実システム上に課される算出負担を軽減させ得る。
いくつかの実施形態では、複合現実システムが、直接、接続されたデバイス上のセンサと通信するために、より効率的であってもよい。例えば、カフアシスタントデバイスが、ユーザの手首上に装着されてもよく、カフアシスタントは、ユーザの心拍数を測定するように構成される、センサを含んでもよい。いくつかの実施形態では、センサは、有線および／または無線手段を使用して、直接、複合現実システムと通信してもよい（例えば、中間デバイスマイクロプロセッサを伴わずに）。複合現実システムは、センサからの未加工入力（例えば、電圧レベル）を受信し、故に、心拍数を計算するように構成されてもよい。接続されたデバイスが、直接、複合現実システムと通信する、センサを含み、接続されたデバイスが、個々のマイクロプロセッサを省略することは、より経済的に効率的であり得る。いくつかの実施形態では、デバイス特有のマイクロプロセッサを省略することは、接続されたデバイスのための製造コストを減少させることができるが、接続されたデバイスのためのハブとしての役割を果たす複合現実システムにかかる算出負担を増加させ得る。例えば、複合現実システムは、算出をデバイス特有のマイクロプロセッサにオフロードする代わりに、心拍数を電圧読取値から算出することが要求され得る。
図５７は、大規模複合現実用途のための例示的コンピューティングアーキテクチャを図示する。いくつかの実施形態では、複数の複合現実システム（例えば、ＭＲシステム１１２、２００）が、相互に接続され、および／または外部コンピューティングシステム（例えば、クラウドベースのサーバ）に接続されることができる。相互接続されたコンピューティングアーキテクチャは、大量のデータおよびコンピューティングリソースに依拠し得る、大規模複合現実用途を有効にし得る。いくつかの実施形態では、効率的コンピューティングアーキテクチャは、高速の短待ち時間算出と複雑な処理集約的算出の必要性を平衡させることができる。いくつかの実施形態では、効率的コンピューティングアーキテクチャは、エッジコンピューティング原理を実装してもよい。エッジコンピューティング原理は、コンピューティングタスクを複数のシステムを横断して分割し、および／またはコンピューティングシステムを方略的に位置特定し、システム間の通信待ち時間を最小限にすることを含むことができる。
例えば、図５７に図示される例示的コンピューティングアーキテクチャは、軍事訓練演習において使用されてもよい。大規模複合現実の戦争ゲーム用途では、多くの兵士（例えば、１００、１，０００、または１０，０００人）が、軍事戦略を試験、開発、および／または実装するために展開されてもよい。個々の兵士は、その独自の複合現実システムを装備してもよく、これは、頭部装着型デバイス（例えば、ＭＲシステム１１２、２００）を含んでもよい。個々の複合現実システムは、多様な実世界データを捕捉することができる。例えば、個々の複合現実システムは、兵士のバイタル、残りの弾薬、兵士位置、通信、武器ステータス等を捕捉することができる。複合現実システムはまた、実オブジェクトの場所および／または実オブジェクトに対する兵士の場所／配向についての情報を捕捉することができる（例えば、ＳＬＡＭを介して）。いくつかの実施形態では、複合現実システム（例えば、個々の兵士によって使用される複合現実システム）によって捕捉された情報は、相互に通信し、および／または外部コンピューティングシステム（例えば、１つ以上のサーバ）と通信することができる。複合現実システムは、任意の好適な手段を介して、相互に通信し、および／または外部コンピューティングシステムと通信してもよい。例えば、複合現実システムは、限定ではないが、ＵＳＢ接続、セルラーネットワーク、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、５Ｇ（ミリ波および／またはサブ６ＧＨｚ）、および同等物を含む、有線および／または無線接続を介して、通信してもよい。
いくつかの実施形態では、個々の複合現実システムは、１つ以上のグループ化の中に編成されることができる。例えば、図５７に示されるように、１０人の兵士のグループが、特定の分隊／小隊／中隊に割り当てられてもよい。それらの１０人の兵士によって使用される複合現実システムは、遠隔作戦サーバ５７０２と通信してもよい。いくつかの実施形態では、遠隔作戦サーバ５７０２は、分隊の複合現実システムによって収集されたデータを集約してもよい。いくつかの実施形態では、短待ち時間動作を要求し得ない、算出上複雑なタスクは、遠隔作戦サーバ５７０２上で実行されてもよい。例えば、各個々の複合現実システムは、実オブジェクト場所および位置（例えば、ＳＬＡＭを介して）のその独自の理解を生成してもよい。いくつかの実施形態では、本情報は、遠隔作戦サーバ５７０２に伝送されることができ、これは、複数の複合現実システムを横断して決定されたオブジェクト場所および位置を最適化し得る。複数の兵士は、異なる視点からの同一実オブジェクトの繰り返される観察をもたらし得る、ＳＬＡＭデータの複数のストリームを合成することは、実世界オブジェクト場所および位置のより正確な推定を生産し得る。
いくつかの実施形態では、個々の複合現実システムは、ローカル予備ＳＬＡＭ算出に従って、仮想オブジェクトを表示してもよい。複合現実システムが、実オブジェクトに関連して仮想オブジェクトを視覚的に表示するために、ＳＬＡＭに依拠し得る（例えば、仮想標的は、兵士が動き回るにつれて同一実場所に現れ得る）ため、個々の複合現実システムが、「一次」ＳＬＡＭ推定を実施することが有益であり得る。ＳＬＡＭをローカルで算出することは、複合現実システムが、短待ち時間様式において、仮想オブジェクトを視覚的に表示することを可能にし得、これは、ユーザ体験を改良することができる（例えば、複合現実システムが仮想オブジェクトをリアルタイムで表示することを可能にすることによって）。いくつかの実施形態では、ＳＬＡＭ最適化は、遠隔（例えば、遠隔作戦サーバ５７０２）で実施されることができる。いくつかの実施形態では、最適化データは、複合現実システムに返送されることができ、これは、データを使用して、仮想オブジェクトの視覚的表示を更新し得る。付加的観察を使用して、および／または最適化されたデータを使用して、ＳＬＡＭ計算を更新するための、ＳＬＡＭ計算を最適化することに関するさらなる詳細は、米国仮特許出願第６２／９２３，３１７号（その内容は、参照することによってその全体として本明細書に組み込まれる）に見出され得る。
短待ち時間通信を要求し得ない、他の算出上集約的であるタスクもまた、遠隔サーバにオフロードされてもよく、これは、結果を個々の複合現実システムに返送し得る。例えば、機械学習アルゴリズムは、遠隔サーバ（例えば、遠隔作戦サーバ５７０２、遠隔戦術サーバ５７０４、遠隔戦略サーバ５７０６、および／またはデータレイク５７０８）にオフロードされてもよい。いくつかの実施形態では、機械学習アルゴリズムは、複合現実システムから集められたデータに基づいて、オブジェクトを標的として識別してもよい。例えば、兵士の視野に近似する、複合現実システム上の１つ以上のカメラは、ビデオを捕捉してもよい。複合現実システムは、武器に接続されてもよく、これは、武器が照準されている方向を決定し得る、１つ以上のセンサを有することができる。例えば、武器からのレーザ照準器が、複合現実システムの１つ以上のカメラによって検出され、武器照準方向を決定することができる。いくつかの実施形態では、武器上の加速度計等のセンサが、武器照準方向を決定するために使用されることができる。いくつかの実施形態では、兵士の視野についてのデータおよび武器照準方向についてのデータが、機械学習アルゴリズムの中にフィードされることができ（例えば、武器が照準されている領域を伴う画像が、深層畳み込みニューラルネットワークを通してフィードされることができる）、標的である可能性が高い対象を決定することができる。
いくつかの実施形態では、機械学習算出（例えば、畳み込み、順方向伝搬、逆伝搬等）が、遠隔サーバにおいて、ニューラルネットワークを訓練するために実施されることができる。いくつかの実施形態では、複合現実システムは、機械学習を利用して、標的である可能性が高いオブジェクトを視覚的に識別することができる（例えば、着色輪郭を介して）。複合現実システムは、画像を遠隔サーバにフィードしてもよく、これは、画像を訓練されたニューラルネットワークに送り、領域が標的である可能性が高いかどうかを決定してもよい。いくつかの実施形態では、訓練されたニューラルネットワーク（例えば、遠隔サーバにおいて訓練されている、ニューラルネットワーク）は、可能性が高い標的の短待ち時間識別のために、複合現実システム上にローカルで記憶されることができる。いくつかの実施形態では、ローカルで記憶され、訓練されたニューラルネットワークは、ニューラルネットワークを付加的訓練データで継続的に訓練し得る、遠隔サーバを通して、周期的に更新されてもよい。
遠隔算出および／または完了された算出のローカル記憶の類似方法が、自動発話認識を含む、他の機械学習／算出上複雑な用途のために採用されることができる。例えば、複合現実システムは、ユーザ発話のオーディオを記録し、発話処理（例えば、発話認識および／または自然言語処理）のために、オーディオを遠隔サーバに伝送してもよい。いくつかの実施形態では、複合現実システムは、遠隔サーバから、ユーザ発話のオーディオを処理する結果として、１つ以上の機能を実施するための命令を受信してもよい。いくつかの実施形態では、発話処理を複合現実システム上でローカルで実施することが望ましくあり得る。例えば、兵士は、音声命令を複合現実システムに実行することを所望し得（例えば、ナイトビジョン機能性をオフにするため）、可能な限り迅速に命令を実行することが望ましくあり得る。いくつかの実施形態では、発話認識システムは、遠隔サーバにおいて訓練され、複合現実システム上にローカルで記憶されることができる。
いくつかの実施形態では、いくつかの複合現実機能性は、複合現実システム上でローカルで実施されることができる。例えば、複合現実システムは、眼追跡技術を採用し（例えば、ユーザの眼に向けられている１つ以上のカメラを介して）、ユーザが見ている方向を識別してもよい。いくつかの実施形態では、眼追跡算出が、複合現実システム上でローカルで実施されてもよい。映像が、眼追跡の結果としてユーザに表示され得、長待ち時間（例えば、約５０ｍｓ以上の）が、ユーザにとってかなりの遅延をもたらし得るため、眼追跡を短待ち時間様式において算出することが望ましくあり得る。いくつかの実施形態では、空間化オーディオレンダリングが、複合現実システム上でローカルで行われてもよい。例えば、ユーザの背後から生じるように提示されるべき仮想音は、複合現実デバイス上でローカルでレンダリングおよび／または空間化されてもよい。仮想オーディオが実または仮想視覚的イベントと「同期」されて現れる（例えば、ほぼ同時に提示される）ように、仮想オーディオを短待ち時間様式においてレンダリングおよび／または空間化することが望ましくあり得る。いくつかの実施形態では、グラフィックレンダリングが、複合現実システム上でローカルで実施されることができる。仮想オブジェクトをユーザに迅速にレンダリングおよび表示することが望ましくあり得、算出をオフロードすること（例えば、遠隔サーバに）は、容認不可能な待ち時間を生産し得る。
複合現実エッジコンピューティングアーキテクチャはまた、効率的コンピューティングのための相対的物理的場所に依拠し得る。例えば、近隣の複合現実システム間の通信は、複合現実システムと遠隔サーバとの間の通信より短い待ち時間であり得る。いくつかの実施形態では、遠隔サーバにオフロードされ得る、算出は、接続された複合現実システムを横断して分散されてもよい（例えば、遠隔サーバが、到達可能ではない場合）。例えば、複合現実システムは、ＳＬＡＭデータを相互に通信してもよく、これは、利用可能な観察のプールを増加させ得、これは、より正確なＳＬＡＭ算出につながり得る。いくつかの実施形態では、ＳＬＡＭ最適化は、他の標準複合現実システムより強力なプロセッサを含み得る、単一複合現実システムにおいて実施されてもよい。いくつかの実施形態では、ＳＬＡＭ最適化は、接続された複合現実システムを横断して分散されてもよく、算出電力は、ともにプーリングされてもよい。
いくつかの実施形態では、遠隔サーバ（例えば、遠隔作戦サーバ５７０２）は、接続された複合現実システムの物理的に近くに位置し得、これは、通信待ち時間を低減させ得る。例えば、兵士とともに展開される複合現実システムは、複合現実システムの物理的に近くにあり得る（例えば、５０マイル未満離れている）、作戦基地に位置する遠隔サーバと通信してもよい。いくつかの実施形態では、複合現実システムの近傍に位置する遠隔サーバと通信することは、より多くに離れて（例えば、２，０００マイル離れておよび／または異なる大陸上に）位置する遠隔サーバと通信するより短い待ち時間をもたらし得る。
いくつかの実施形態では、大規模複合現実用途において展開される複合現実システムは、個人化された許可／ネットワーク接続を有することができる。例えば、各兵士の複合現実システムは、データ（例えば、ＳＬＡＭ、機械学習、および／またはバイタルデータ）を遠隔作戦サーバ５７０２に伝送してもよいが、分隊長の複合現実システムのみは、各分隊メンバのバイタルデータへの読取アクセスを有してもよい。限定されたアクセス構造は、任意の好適な手段を介して実装されることができる。例えば、各複合現実システムは、一意の識別子を有することができ、遠隔サーバは、取扱に注意を要するデータのみを適切な複合現実システムに伝送してもよい。いくつかの実施形態では、分隊長の複合現実システムは、暗号化／解読キーを記憶することができ、これは、複合現実システムと遠隔サーバとの間に通信を暗号化／解読するために使用され得る。
いくつかの実施形態では、１，０００人の兵士のグループが、大隊に割り当てられることができ、各兵士は、個々の複合現実システムを装備してもよい。いくつかの実施形態では、大隊全体から収集されたデータは、遠隔サーバ（例えば、遠隔作戦サーバ５７０２と同一または別個のサーバであり得る、遠隔戦術サーバ５７０４）の中に集約されることができる。いくつかの実施形態では、大隊（例えば、分隊ステータス、全体的部隊移動、犠牲者等）について集約されたデータは、展開された複合現実システムの限定されたサブセットによってアクセスされてもよい（例えば、部隊長によって使用される複合現実システムによって）。いくつかの実施形態では、大隊について集約されたデータは、一般的コンピューティングシステムによってアクセスされることができる（例えば、部隊長によって使用されるラップトップによって）。
いくつかの実施形態では、１つ以上の遠隔サーバ（例えば、遠隔作戦サーバ５７０２、遠隔戦術サーバ５７０４、および／または遠隔戦略サーバ５７０６）によって集約されたデータはさらに、別個の遠隔サーバ（例えば、データレイク５７０８）の中に集約されることができる。いくつかの実施形態では、データレイク５７０８はさらに、展開される複合現実システムから集められたデータに加え、外部リソース（例えば、インターネット）および内部リソース（例えば、軍事データベース）にアクセスすることができる。いくつかの実施形態では、データレイク５７０８は、敵の戦闘員から安全と見なされるエリア（例えば、沖合）内に物理的に位置することができ、および／または非一元化されてもよい（例えば、データレイク５７０８は、異なる場所に位置する１つ以上のサーバファームを備えてもよい）。データレイク５７０８を利用して、短待ち時間通信を要求し得ない、算出上複雑なタスクを実施することが有益であり得る（例えば、算出が複合現実システムと遠隔作戦サーバ５７０２との間で分割され得る、類似様式において）。例えば、遠隔作戦サーバ５７０２は、比較的に単純な機械学習アルゴリズムを起動してもよく（例えば、ある映像が標的である可能性が高いかどうか）、複雑な機械学習アルゴリズム（例えば、交戦に勝利する可能性がより高い部隊移動のタイプ）および／またはニューラルネットワーク訓練は、データレイク５７０８において集約されたデータを使用して実施されてもよい。
本開示のいくつかの実施形態は、軍事用途に関して説明されるが、当業者によって、開示される実施形態の他の用途（直接、軍事技術または緊急サービスに関連しない、用途を含む）は、好適であって、本開示の範囲内であることを理解されるであろう。
図８４は、いくつかの実施形態による、例示的複合現実コンピューティングアーキテクチャを図示する。いくつかの実施形態では、複合現実コンピューティングアーキテクチャ８４００は、１つ以上のモジュールを含んでもよく、複合現実コンピューティングアーキテクチャ８４００のコンポーネントであってもよい。いくつかの実施形態では、モジュールは、命令を実行し、および／または１つ以上のデータ構造を記憶するように構成される、１つ以上のコンピュータシステム（例えば、ＭＲシステム１１２、２００または遠隔サーバ）を含むことができる。例えば、モジュールによって実行される命令は、複合現実コンピューティングアーキテクチャ８４００内で起動されるプロセスおよび／またはサブプロセスであることができる。いくつかの実施形態では、モジュールによって実行される命令は、複合現実コンピューティングアーキテクチャ８４００内で起動されるスレッドであることができる。いくつかの実施形態では、モジュールによって実行される命令は、複合現実コンピューティングアーキテクチャ８４００の他のコンポーネントと同一プロセスアドレス空間および／またはメモリ空間内で起動されてもよい。いくつかの実施形態では、モジュールによって実行される命令は、複合現実コンピューティングアーキテクチャ８４００の他のコンポーネントと異なるプロセスアドレス空間および／またはメモリ空間内で起動されてもよい。いくつかの実施形態では、モジュールによって実行される命令は、複合現実コンピューティングアーキテクチャ８４００の他のコンポーネントと異なるハードウェア上で起動されてもよい。例えば、複合現実コンピューティングアーキテクチャ８４００の１つ以上のモジュールによって実行される命令は、複合現実システム１１２および／または２００上で起動されてもよい一方、複合現実コンピューティングアーキテクチャ８４００の他のコンポーネントは、遠隔サーバ上で起動されてもよい。いくつかの実施形態では、複合現実コンピューティングアーキテクチャ８４００の１つ以上のモジュールによって実行される命令は、複合現実コンピューティングアーキテクチャ８４００内でインスタンス化されてもよい。いくつかの実施形態では、複合現実コンピューティングアーキテクチャ８４００内のモジュールによって実行される命令および／またはその中に記憶されるデータ構造は、複合現実コンピューティングアーキテクチャ８４００の他のコンポーネント（例えば、他のモジュールによって実行される命令および／またはその中に記憶されるデータ構造）と通信してもよい。
いくつかの実施形態では、複合現実コンピューティングアーキテクチャ８４００は、１つ以上のモジュールを含んでもよく、１つ以上のモジュールは、１つ以上のサブモジュールを含んでもよい。いくつかの実施形態では、サブモジュールは、命令を実行し、および／または１つ以上のデータ構造を記憶するように構成される、１つ以上のコンピュータシステムを含むことができる。例えば、サブモジュールによって実行される命令は、複合現実コンピューティングアーキテクチャ８４００内で起動されるプロセスおよび／またはサブプロセスであることができる。いくつかの実施形態では、サブモジュールによって実行される命令は、複合現実コンピューティングアーキテクチャ８４００内で起動されるスレッドであることができる。いくつかの実施形態では、サブモジュールによって実行される命令は、複合現実コンピューティングアーキテクチャ８４００の他のコンポーネントと同一プロセスアドレス空間および／またはメモリ空間内で起動されてもよい。いくつかの実施形態では、サブモジュールによって実行される命令は、複合現実コンピューティングアーキテクチャ８４００の他のコンポーネントと異なるプロセスアドレス空間および／またはメモリ空間内で起動されてもよい。いくつかの実施形態では、サブモジュールによって実行される命令は、複合現実コンピューティングアーキテクチャ８４００の他のコンポーネントと異なるハードウェア上で起動されてもよい。例えば、複合現実コンピューティングアーキテクチャ８４００の１つ以上のサブモジュールによって実行される命令は、オーディオ特有のプロセッサ（例えば、ＤＳＰ）上で起動されてもよい一方、複合現実コンピューティングアーキテクチャ８４００の他のコンポーネントは、汎用プロセッサ上で起動されてもよい。いくつかの実施形態では、複合現実コンピューティングアーキテクチャ８４００の１つ以上のサブモジュールによって実行される命令は、複合現実コンピューティングアーキテクチャ８４００内でインスタンス化されてもよい。いくつかの実施形態では、複合現実コンピューティングアーキテクチャ８４００内のサブモジュールによって実行される命令および／またはその中に記憶されるデータ構造は、複合現実コンピューティングアーキテクチャ８４００の他のコンポーネント（例えば、他のモジュールによって実行される命令および／またはその中に記憶されるデータ構造）と通信してもよい。
いくつかの実施形態では、ウェアラブルソフトウェアモジュール８４０２によって実行される命令は、複合現実システム（例えば、ＭＲシステム１１２、２００）上で起動されてもよい。いくつかの実施形態では、ウェアラブルソフトウェアモジュール８４０２によって実行される命令は、複合現実システムのコンポーネント（例えば、複合現実システムの頭部装着型デバイス）上で起動されてもよい。ウェアラブルソフトウェアモジュール８４０２によって実行される命令は、短待ち時間が有益である、機能を含んでもよい。例えば、ウェアラブルソフトウェアモジュール８４０２によって実行される命令は、追跡サブモジュール８４０６を含むことができる。いくつかの実施形態では、追跡サブモジュール８４０６は、複合現実体験を生産するために使用される実および／または仮想オブジェクトを追跡することができる。例えば、追跡サブモジュール８４０６は、ユーザの頭部の位置および／または配向を含み得る、頭部姿勢を追跡することができる。頭部姿勢は、ユーザに提示されるべき仮想オブジェクトを決定するために使用されることができる（例えば、ユーザの視野内の実場所内に位置する仮想オブジェクトのみが提示されるべきであるため）。いくつかの実施形態では、頭部姿勢を排他的に遠隔で（例えば、遠隔サーバにおいて）推定することは、ユーザが方向転換するときと、複合現実システムが視野が偏移したことを決定したときとの間の待ち時間をもたらし得る。方向転換すると、新しい仮想オブジェクトを、すでにそれが見えていたはずである１００ｍｓ後に現れさせることは、ユーザを当惑させ得る。いくつかの実施形態では、頭部姿勢は、複合現実ヘッドセット内でローカルで予備的に決定され、遠隔算出を使用して、最適化されることができる。例えば、頭部姿勢データ（例えば、頭部装着型デバイス上に搭載されるカメラによって捕捉された画像および／または慣性測定ユニットデータ）は、クラウドモジュール８４１０に送信されることができる。いくつかの実施形態では、クラウドモジュール８４１０によって実行される命令は、遠隔サーバ（例えば、遠隔作戦サーバ５７０２）上で起動されることができる。例えば、クラウドモジュール８４１０は、データ管理モジュール８４１０を含むことができる。いくつかの実施形態では、データ管理モジュール８４１０は、複雑な算出（例えば、ニューラルネットワークの訓練および／またはＳＬＡＭ最適化）を管理することができる。いくつかの実施形態では、クラウドモジュール８４１０は、統合サブモジュール８４１４を含むことができる。統合サブモジュール８４１４は、サーバおよび／またはデータベース（例えば、イントラネットおよび／またはインターネット内の他のコンピューティングシステム）間の接続を管理してもよい。
他の機能、例えば、高速標的捕捉サブモジュール８４０８によって実行される機能はまた、複合現実システム上で起動されることができる。いくつかの実施形態では、複合現実システムが、特に、ユーザが視野を急速に変化させている場合、標的捕捉映像を短待ち時間を伴って迅速に表示する（例えば、標的に赤色で輪郭を付ける）ことが有益であり得る。急速に変化する視野は、標的が照準器の内外に迅速に移動している結果をもたらし得、複合現実システムが、標的インジケーションを認識し、および／またはユーザに視覚的に表示することが非常に望ましくあり得る。いくつかの実施形態では、高速標的捕捉サブモジュール８４０８によって実行される命令は、遠隔で実施される算出によって最適化されることができる。例えば、深層畳み込みニューラルネットワークは、遠隔サーバにおいて訓練されてもよく、訓練されたモデルは、高速標的捕捉サブモジュール８４０８に展開され、その上で起動されることができる。
いくつかの実施形態では、ＯＳサブモジュール８４０４によって実行される命令を複合現実システム上で起動することが有益であり得る。いくつかの実施形態では、ＯＳサブモジュール８４０４は、基本オペレーティングシステム機能性（例えば、ドライバ、サービス等）に関連する命令を実行することができる。いくつかの実施形態では、ＯＳサブモジュール８４０４は、複合現実システム１１２、２００が、コンピューティングシステムとして機能することを可能にすることができ、複合現実システムが、アプリケーションを起動することを可能にし得る。いくつかの実施形態では、
図９４は、いくつかの実施形態による、例示的ネットワークおよび／またはコンピューティングアーキテクチャを図示する。いくつかの実施形態では、データは、兵士９４０２によって装着される、１つ以上の複合現実システム９４０４によって伝送されることができる。いくつかの実施形態では、複合現実システム９４０４が、遠隔サーバと通信するために実行可能ではない場合がある（例えば、利用可能なセルラーネットワーク接続が存在しないため）。いくつかの実施形態では、大規模複合現実用途は、非一元型ネットワーク（例えば、アドホックおよび／またはピアツーピアネットワーク）を利用して、大規模システムのコンポーネント間の通信を促進することができる。例えば、個々の複合現実システムは、データ（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ、５Ｇ、および／または他の無線周波数通信を使用して無線で）を近隣の車両９４０６に伝送してもよい。いくつかの実施形態では、車両９４０６は、複合現実システム９４０４内の通信アレイより強力であり得る、通信アレイを含むことができる。いくつかの実施形態では、車両９４０６は、データを、通信範囲内を通過中であり得る、航空機９４０８および／または航空機９４１４に中継および／または伝送することができる。いくつかの実施形態では、航空機９４０８および／または航空機９４１４は、データを衛星９４１０に中継および／または伝送することができる。いくつかの実施形態では、衛星９４１０は、データを遠隔サーバおよび／または宇宙船９４１２に中継および／または伝送することができる。いくつかの実施形態では、データは、兵士（例えば、通信士）上に搭載されるために十分に可搬性であり得る、通信アレイ９４１６に伝送および／または中継されることができる。コンポーネントの任意の組み合わせが、他のコンポーネントと双方向性に（例えば、２方向通信）通信してもよいことが検討される。
いくつかの実施形態では、アドホックおよび／またはメッシュネットワークは、複合現実システムからのデータを効果的に伝送し得、ネットワークインフラストラクチャは、大規模複合現実用途の必要性を十分に満たし得る。いくつかの実施形態では、アドホックおよび／またはメッシュ通信は、待ち時間非依存型伝送、例えば、ＳＬＡＭ最適化、ニューラルネットワーク訓練、マッピング／ナビゲーション、非ライブ通信（例えば、メッセージ）等のために好適であり得る。いくつかの実施形態では、アドホックおよび／またはメッシュ通信は、待ち時間に敏感な伝送、例えば、グラフィカルおよび／またはオーディオレンダリング、予備ＳＬＡＭ算出、音声コマンド処理、眼追跡等を妨げる、待ち時間を生産し得る。
図９５は、いくつかの実施形態による、例示的ネットワークおよび／またはコンピューティングアーキテクチャを図示する。いくつかの実施形態では、通信アレイ９５０２（１つ以上の複合現実システムに結合されてもよい）は、１つ以上のドローン９５０４と通信してもよい。いくつかの実施形態では、１つ以上のドローン９５０４は、ネットワーク（例えば、メッシュネットワークおよび／またはアドホックネットワーク）を形成することができ、これは、１つ以上の複合現実システムおよび／または１つ以上の遠隔コンピューティングシステム（例えば、遠隔サーバ）間の通信を促進し得る。例えば、通信アレイ９５０２は、通信アレイ９５０６と直接通信することが不可能である場合があるが、１つ以上のドローン９５０４を介して（例えば、複数のドローンを横断してデータを中継することを介して、および／またはメッシュネットワークを介して）、通信アレイ９５０６と通信することが可能であり得る。
図９６は、いくつかの実施形態による、例示的ネットワークおよび／またはコンピューティングアーキテクチャを図示する。いくつかの実施形態では、通信アレイ９６０２は、移動中であり得る、兵士上に搭載されることができる。１つ以上のドローン９６０４は、ネットワーク（例えば、メッシュネットワークおよび／またはアドホックネットワーク）を形成することができ、これは、１つ以上の複合現実システムおよび／または１つ以上の遠隔コンピューティングシステム（例えば、遠隔サーバ）間の通信を促進し得る。いくつかの実施形態では、１つ以上のドローン９６０４によって形成されるネットワークは、通信アレイ９６０２とともに移動する１つ以上のドローン９６０４によって、モバイル式であることができる。いくつかの実施形態では、１つ以上のドローン９６０４は、予期される部隊移動に従って、所定のパターンで飛行することができる。いくつかの実施形態では、１つ以上のドローン９６０４は、搭載された通信アレイ９６０２を伴う、兵士に追従するように構成されることができる。いくつかの実施形態では、１つ以上のドローン９６０４は、他のドローンとの間に静的および／または動的間隔を維持するように構成されることができる（例えば、間隔は、部隊密度、戦闘危険度、ネットワーク到達度等に従って変動し得る）。
図９７－１０２は、いくつかの実施形態による、例示的ネットワークおよび／またはコンピューティングアーキテクチャを図示する。いくつかの実施形態では、ウェアラブルコンポーネント９７０２は、図６に描写されるウェアラブルコンポーネント２に対応し得る。いくつかの実施形態では、ベルトパック９７０４は、図７に描写されるベルトパック６に対応し得る。いくつかの実施形態では、ウェアラブルコンポーネント９７０２および／またはベルトパック９７０４は、ＭＲシステム１１２、２００に対応し得る。いくつかの実施形態では、ウェアラブルコンポーネント９７０２および／またはベルトパック９７０４は、通信ユニット９７０６に接続することができる（例えば、有線および／または無線接続を通して）。いくつかの実施形態では、通信ユニット９７０６は、モバイルデバイス（例えば、スマートフォン）を含むことができる。いくつかの実施形態では、モバイルデバイスは、付加的処理および／または通信能力を供給するように構成されてもよい。例えば、モバイルデバイスは、その独自のプロセッサを含んでもよく、これは、算出を実行するように構成されてもよい。いくつかの実施形態では、モバイルデバイスは、複合現実システムと他のコンピューティングシステム（例えば、付属品、センサ、他の複合現実システム、および／または遠隔サーバ）との間のインターフェースとして作用するように構成されることができる。いくつかの実施形態では、モバイルデバイスは、１つ以上のセルラータワーと通信するように構成される、無線周波数アンテナおよび／またはネットワークモデムを含むことができる。モバイルデバイスは、中継器として作用し、複合現実システムからの情報を他のコンピューティングデバイス（例えば、遠隔サーバ）に伝送してもよい。
いくつかの実施形態では、通信ユニット９７０６は、相互接続パックを含むことができる。いくつかの実施形態では、相互接続パックは、強力なアンテナ（例えば、無線周波数アンテナ）および／または送受信機を含むことができる。いくつかの実施形態では、相互接続パックは、高帯域幅伝送に対応することができる。例えば、相互接続パックは、ウェアラブルコンポーネント９７０２および／またはベルトパック９７０４と通信するように構成されることができる。いくつかの実施形態では、相互接続パックは、ウェアラブルコンポーネント９７０２および／またはベルトパック９７０４によって捕捉された全てのデータ（例えば、ビデオフィード、深度情報、ＳＬＡＭデータ、オーディオフィード、バイタル情報等）の全部または一部を受信するように構成されることができる。いくつかの実施形態では、相互接続パックは、他の電子デバイスほど制約を受けないことができる。例えば、スマートフォンは、スマートフォンが、ユーザの頭部の近傍で使用されるように構成され得るため、電力および／または伝送限界を受け得る。いくつかの実施形態では、相互接続パックは、ユーザおよび／またはユーザの敏感な部分から離れて使用されるように構成されてもよい。いくつかの実施形態では、相互接続パックは、（例えば、有線および／または無線手段を通して）モバイルデバイスに結合されることができる。いくつかの実施形態では、１つ以上の複合現実システムは、相互接続パックに結合されることができ、相互接続パックは、他のコンピューティングシステムと通信するように構成されることができる。
いくつかの実施形態では、通信ユニット９７０６は、他のコンピューティングシステムと通信することができる。例えば、通信ユニット９７０６は、中間送受信機９７０８と通信することができる。いくつかの実施形態では、中間送受信機９７０８は、セルラータワーであることができる。いくつかの実施形態では、中間送受信機９７０８は、兵士上に搭載される通信アレイであることができる。いくつかの実施形態では、中間送受信機９７０８は、情報を１つ以上のクラウドサーバ９７１２に伝送することができる。いくつかの実施形態では、中間送受信機９７０８は、情報を直接１つ以上のクラウドサーバに伝送することができる。いくつかの実施形態では、中間送受信機９７０８は、１つ以上のエッジノード９７１０を介して、情報を伝送することができる。エッジノード９７１０は、非一元型および／または中間送受信機９７０８の物理的に近くに位置する、ネットワークデバイスであることができる。例えば、複合現実システムは、エッジノードであることができ、モバイルデバイスは、エッジノードであることができ、無線アクセスポイントは、エッジノードであることができ、兵士上に搭載される通信アレイは、エッジノード等であることができる。物理的近接度は、通信待ち時間を低減させることができ、これは、ＳＬＡＭ算出、オブジェクト認識、音声認識等を含む、種々の複合現実機能にとって重要であり得る。
図９８は、複合現実ネットワーク通信の例示的実施形態を描写する。いくつかの実施形態では、通信ユニット９７０６は、直接、１つ以上のエッジノード９７１０と通信することができる。図９９は、複合現実ネットワーク通信の例示的実施形態を描写する。いくつかの実施形態では、通信９７０６は、直接、１つ以上のクラウドサーバ９７１２と通信することができる。図１００は、複合現実ネットワーク通信の例示的実施形態を描写する。いくつかの実施形態では、ウェアラブルコンポーネント９７０２および／またはベルトパック９７０４は、中間送受信機９７０８を介して、通信ユニット９７０６と通信することができる。図１０１は、複合現実ネットワーク通信の例示的実施形態を描写する。いくつかの実施形態では、ウェアラブルコンポーネント９７０２および／またはベルトパック９７０４は、通信ユニット９７０６と無線で（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ、５Ｇ、および／または他の無線周波数通信を介して）通信することができる。図１０２は、複合現実ネットワーク通信の例示的実施形態を描写する。いくつかの実施形態では、通信ユニット９７０６は、１つ以上のコネクティビティ家電９７１４と通信することができる。いくつかの実施形態では、コネクティビティ家電９７１４は、非常に良好なローカルコネクティビティを有する、接続されたリソースであることができる。例えば、企業は、コネクティビティ家電９７１４を各部屋内に有し得る。いくつかの実施形態では、コネクティビティ家電９７１４は、ローカルＩＴ等によって管理される記憶能力を有してもよい。例えば、一実施形態では、各コネクティビティ家電は、建物から外に伝えるための非常に良好なコネクティビティだけではなく、また、特定の部屋の１つ以上の高分解能メッシュ（例えば、前日の間にエリア内で複合現実システムによって捕捉／リフレッシュされた１つ以上のメッシュ）を記憶してもよい。
図１０３は、例示的ウェアラブルコンポーネントを描写し、これは、図６に描写される例示的ウェアラブルコンポーネントに対応し得る。いくつかの実施形態では、ウェアラブルコンポーネントは、電磁センサ１、ライトフィールドカメラ２、Ｂｌｕｅｔｏｏｔｈ（登録商標）アンテナ３、ＷｉＭＡＸアンテナ４、ＷｉＦｉアンテナ５、４Ｇ／ＬＴＥアンテナ６、アクティブ冷却ファン７、可変焦点要素８、熱電対９、慣性測定ユニット１０、可視ＲＧＢ／モノクロカメラ１１、近赤外線カメラ１２、長波赤外線カメラ１３、短波赤外線カメラ１４、赤外線眼追跡カメラ１５、ニューロモーフィック差動センサ１６、サーミスタ１７、５Ｇアンテナ１８、偏向センサ１９、半球カメラ２０、飛行時間深度センサ２１、ＬＩＤＡＲセンサ２２、構造化光深度センサ２３、グローバル動的調光器２４、局所化された動的調光器２５、屈折自由形態光学系２６、回折レンズ光学系２７、ＭＥＭＳスキャナ単一ソース２８、ＭＥＭＳスキャナ二重ソース２９、デジタルホログラムディスプレイ３０、光ダイオード３１、ＣＣＤセンサ３２、ＣＭＯＳセンサ３３、電子衝撃アクティブピクセルセンサ３４、ハイブリッド動的視覚可視光センサ３５、内部干渉計３６、アクティブノイズキャンセリングデバイス３７、および／またはマイクロホンアレイ３８を含むことができる。
図１０４は、例示的ベルトパックコンポーネントを描写し、これは、図７に描写される例示的ベルトパックコンポーネントに対応し得る。いくつかの実施形態では、ベルトパックコンポーネントは、近距離指紋読取機１、多目的外部コネクタ２、ＨＤＭＩ（登録商標）ポート３、ディスプレイポート４、短波赤外線カメラ５、５Ｇアンテナ６、ＷｉＦｉアンテナ７、内部Ｑｉ充電器８、ＵＳＢ－Ｃコネクタ９、ＵＳＢ－Ａ（バージョン２および／または３）コネクタ１０、ライトフィールドカメラ１１、４Ｇアンテナ１２、超広帯域アンテナ１３、可視ＲＧＢおよび／またはモノクロカメラ１４、Ｂｌｕｅｔｏｏｔｈ（登録商標）カメラ１５、ＷｉＭＡＸアンテナ１６、内部バッテリ１７、内部メモリ１８、内部算出１９、長波赤外線カメラ２０、ＬＣＤタッチパネル２１、内部熱電対２２、内部ＧＰＵ２３、内部電磁センサ２４、および／または近赤外線カメラ２５を含むことができる。
本発明の種々の例示的実施形態が、本明細書に説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。例えば、いくつかの実施形態が、軍事または緊急サービス用途に関して説明されるが、他の好適な用途も、当業者によって、本開示の範囲内であることが理解されるであろう。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例はそれぞれ、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを意図している。
本発明は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、エンドユーザが、本主題方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、および事象の記載された順番で実行されてもよい。
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本発明の他の詳細に関しては、これらは、上記で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって公知または理解され得る。一般的または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの実施形態に関して、同じことが当てはまり得る。
加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物（本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと）が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。
また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書に説明される特徴のうちのいずれか１つ以上のものと組み合わせて、記載および請求されてもよいことが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「１つの（「ａ」、「ａｎ」）」、「該（ｓａｉｄ）」、および「前記（ｔｈｅ）」という単数形は、特に規定がない限り、複数形の指示物を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項において、本主題アイテムの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および同等物等の排他的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすことを意図している。
そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「～を備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の付加的な要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。
本発明の範疇は、提供される実施例および／または本主題の仕様に限定されるものではなく、むしろ、本開示と関連付けられる請求項の言葉の範囲のみによって限定されるものである。
Claims (18)
- 方法であって、
頭部装着型デバイスのカメラを介して、画像を捕捉することと、
前記頭部装着型デバイスの慣性測定ユニットを介して、慣性データを捕捉することと、
前記頭部装着型デバイスの１つ以上のプロセッサを介して、前記画像および前記慣性データに基づいて、前記頭部装着型デバイスの位置を推定することと、
前記画像を遠隔サーバに伝送することと、
前記遠隔サーバを介して、前記画像に基づいて、ニューラルネットワークを訓練することと、
訓練されたニューラルネットワークを前記頭部装着型デバイスに伝送すること
を含む、方法。 - 前記画像を遠隔サーバに伝送することは、前記画像を中間中継器に伝送することを含む、請求項１に記載の方法。
- 前記中間中継器は、ドローンネットワークを備える、請求項２に記載の方法。
- 前記中間中継器は、通信アレイを備え、前記通信アレイは、人物上に搭載可能である、請求項２に記載の方法。
- 前記頭部装着型デバイスは、第１の頭部装着型デバイスであり、前記中間中継器は、第２の頭部装着型デバイスを備える、請求項２に記載の方法。
- 前記中間中継器は、セルラータワーを備える、請求項２に記載の方法。
- システムであって、
頭部装着型デバイスのカメラと、
前記頭部装着型デバイスの慣性測定ユニットと、
遠隔サーバと、
１つ以上のプロセッサであって、前記１つ以上のプロセッサは、
前記頭部装着型デバイスのカメラを介して、画像を捕捉することと、
前記頭部装着型デバイスの慣性測定ユニットを介して、慣性データを捕捉することと、
前記頭部装着型デバイスの１つ以上のプロセッサを介して、前記画像および前記慣性データに基づいて、前記頭部装着型デバイスの位置を推定することと、
前記画像を前記遠隔サーバに伝送することと、
前記遠隔サーバを介して、前記画像に基づいて、ニューラルネットワークを訓練することと、
訓練されたニューラルネットワークを前記頭部装着型デバイスに伝送することと
を含む方法を実行するように構成される、１つ以上のプロセッサと
を備える、システム。 - 前記画像を遠隔サーバに伝送することは、前記画像を中間中継器に伝送することを含む、請求項７に記載のシステム。
- 前記中間中継器は、ドローンネットワークを備える、請求項８に記載のシステム。
- 前記中間中継器は、通信アレイを備え、前記通信アレイは、人物上に搭載可能である、請求項８に記載のシステム。
- 前記頭部装着型デバイスは、第１の頭部装着型デバイスであり、前記中間中継器は、第２の頭部装着型デバイスを備える、請求項８に記載のシステム。
- 前記中間中継器は、セルラータワーを備える、請求項８に記載のシステム。
- 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
頭部装着型デバイスのカメラを介して、画像を捕捉することと、
前記頭部装着型デバイスの慣性測定ユニットを介して、慣性データを捕捉することと、
前記頭部装着型デバイスの１つ以上のプロセッサを介して、前記画像および前記慣性データに基づいて、前記頭部装着型デバイスの位置を推定することと、
前記画像を遠隔サーバに伝送することと、
前記遠隔サーバを介して、前記画像に基づいて、ニューラルネットワークを訓練することと、
訓練されたニューラルネットワークを前記頭部装着型デバイスに伝送することと
を含む方法を実行させる、非一過性コンピュータ可読媒体。 - 前記画像を遠隔サーバに伝送することは、前記画像を中間中継器に伝送することを含む、請求項１３に記載の非一過性コンピュータ可読媒体。
- 前記中間中継器は、ドローンネットワークを備える、請求項１４に記載の非一過性コンピュータ可読媒体。
- 前記中間中継器は、通信アレイを備え、前記通信アレイは、人物上に搭載可能である、請求項１４に記載の非一過性コンピュータ可読媒体。
- 前記頭部装着型デバイスは、第１の頭部装着型デバイスであり、前記中間中継器は、第２の頭部装着型デバイスを備える、請求項１４に記載の非一過性コンピュータ可読媒体。
- 前記中間中継器は、セルラータワーを備える、請求項１４に記載の非一過性コンピュータ可読媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024098003A JP2024147553A (ja) | 2018-12-27 | 2024-06-18 | 仮想および拡張現実のためのシステムおよび方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862785370P | 2018-12-27 | 2018-12-27 | |
| US62/785,370 | 2018-12-27 | ||
| PCT/US2019/068812 WO2020140078A1 (en) | 2018-12-27 | 2019-12-27 | Systems and methods for virtual and augmented reality |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024098003A Division JP2024147553A (ja) | 2018-12-27 | 2024-06-18 | 仮想および拡張現実のためのシステムおよび方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022516074A true JP2022516074A (ja) | 2022-02-24 |
Family
ID=71124216
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021537086A Pending JP2022516074A (ja) | 2018-12-27 | 2019-12-27 | 仮想および拡張現実のためのシステムおよび方法 |
| JP2024098003A Pending JP2024147553A (ja) | 2018-12-27 | 2024-06-18 | 仮想および拡張現実のためのシステムおよび方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024098003A Pending JP2024147553A (ja) | 2018-12-27 | 2024-06-18 | 仮想および拡張現実のためのシステムおよび方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (4) | US11221814B2 (ja) |
| EP (1) | EP3903162A4 (ja) |
| JP (2) | JP2022516074A (ja) |
| CN (1) | CN113632030B (ja) |
| WO (1) | WO2020140078A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023175919A1 (ja) * | 2022-03-18 | 2023-09-21 | 日本電気株式会社 | 消火活動支援装置、消火活動支援方法、及び、消火活動支援プログラムが格納された記録媒体 |
| KR102601438B1 (ko) * | 2023-06-15 | 2023-11-13 | 한화시스템(주) | 가상환경 기반 조준점 전시 시스템 및 방법 |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9836895B1 (en) | 2015-06-19 | 2017-12-05 | Waymo Llc | Simulating virtual objects |
| USD918199S1 (en) * | 2018-06-15 | 2021-05-04 | Magic Leap, Inc. | Mixed reality system |
| EP3903162A4 (en) | 2018-12-27 | 2022-03-02 | Magic Leap, Inc. | SYSTEMS AND PROCESSES FOR VIRTUAL AND AUGMENTED REALITY |
| US11388238B2 (en) * | 2019-06-03 | 2022-07-12 | Bestie Bot Inc. | Localized situational intelligent awareness from multiple sensor types through a 4-dimensional state system |
| US20210056391A1 (en) * | 2019-08-20 | 2021-02-25 | Mind Machine Learning, Inc. | Systems and Methods for Simulating Sense Data and Creating Perceptions |
| US11328475B2 (en) | 2019-10-18 | 2022-05-10 | Magic Leap, Inc. | Gravity estimation and bundle adjustment for visual-inertial odometry |
| US11902327B2 (en) * | 2020-01-06 | 2024-02-13 | Microsoft Technology Licensing, Llc | Evaluating a result of enforcement of access control policies instead of enforcing the access control policies |
| USD975716S1 (en) | 2020-02-05 | 2023-01-17 | Magic Leap, Inc. | Holder for controller |
| USD961914S1 (en) * | 2020-02-05 | 2022-08-30 | Magic Leap, Inc. | Holster for retractable device |
| USD986245S1 (en) * | 2020-02-05 | 2023-05-16 | Magic Leap, Inc. | Holster with retractable device |
| USD961915S1 (en) | 2020-02-05 | 2022-08-30 | Magic Leap, Inc. | Holder with device |
| USD998324S1 (en) | 2020-02-05 | 2023-09-12 | Magic Leap, Inc. | Belt assembly with holders and devices |
| US11803058B1 (en) * | 2020-04-16 | 2023-10-31 | Snap Inc. | Blind assist glasses with remote assistance |
| JP7569603B2 (ja) * | 2020-07-29 | 2024-10-18 | エイベックス・エンタテインメント株式会社 | アニメーション制作システム |
| WO2022066642A1 (en) * | 2020-09-24 | 2022-03-31 | Sterling Labs Llc | Avatar spatial modes |
| EP4218230A1 (en) | 2020-09-24 | 2023-08-02 | Apple Inc. | Avatar spatial modes |
| US20220223275A1 (en) * | 2021-01-08 | 2022-07-14 | Expanded Existence, Llc | System and method for remote optimization of medical procedures and technologies |
| CN114820835A (zh) * | 2021-01-28 | 2022-07-29 | 索尼半导体解决方案公司 | 信息处理方法、信息处理装置和非易失性存储介质 |
| US11747859B2 (en) * | 2021-03-16 | 2023-09-05 | Shailesh Nirgudkar | Personal safety headband |
| US12008717B2 (en) | 2021-07-07 | 2024-06-11 | Meta Platforms Technologies, Llc | Artificial reality environment control through an artificial reality environment schema |
| JP2024531865A (ja) * | 2021-07-30 | 2024-09-03 | ビュージックス コーポレーション | 対話型レチクル |
| US11993394B2 (en) * | 2021-11-10 | 2024-05-28 | Rockwell Collins, Inc. | Flight safety demonstration and infotainment through mixed reality |
| CN114185435B (zh) * | 2021-12-13 | 2024-06-25 | 新疆大学 | 一种基于虚拟现实设备的急救培训装置及方法 |
| US12067688B2 (en) | 2022-02-14 | 2024-08-20 | Meta Platforms Technologies, Llc | Coordination of interactions of virtual objects |
| CN116823928A (zh) * | 2022-03-21 | 2023-09-29 | 北京字跳网络技术有限公司 | 控制装置的定位、装置、设备、存储介质及计算机程序产品 |
| CN115290069B (zh) * | 2022-07-22 | 2024-06-18 | 清华大学 | 多源异构传感器数据融合与协同感知手持移动平台 |
| US12100111B2 (en) * | 2022-09-29 | 2024-09-24 | Meta Platforms Technologies, Llc | Mapping a real-world room for a shared artificial reality environment |
| TWI826189B (zh) * | 2022-12-16 | 2023-12-11 | 仁寶電腦工業股份有限公司 | 具六自由度之控制器追蹤系統及方法 |
| US11947862B1 (en) * | 2022-12-30 | 2024-04-02 | Meta Platforms Technologies, Llc | Streaming native application content to artificial reality devices |
| CN116520997B (zh) * | 2023-07-05 | 2023-09-26 | 中国兵器装备集团自动化研究所有限公司 | 一种混合现实的增强显示与交互系统 |
Family Cites Families (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4852988A (en) | 1988-09-12 | 1989-08-01 | Applied Science Laboratories | Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system |
| US6847336B1 (en) | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
| US6433760B1 (en) | 1999-01-14 | 2002-08-13 | University Of Central Florida | Head mounted display with eyetracking capability |
| US6491391B1 (en) | 1999-07-02 | 2002-12-10 | E-Vision Llc | System, apparatus, and method for reducing birefringence |
| CA2316473A1 (en) | 1999-07-28 | 2001-01-28 | Steve Mann | Covert headworn information display or data display or viewfinder |
| CA2362895A1 (en) | 2001-06-26 | 2002-12-26 | Steve Mann | Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license |
| DE10132872B4 (de) | 2001-07-06 | 2018-10-11 | Volkswagen Ag | Kopfmontiertes optisches Durchsichtssystem |
| US20030030597A1 (en) | 2001-08-13 | 2003-02-13 | Geist Richard Edwin | Virtual display apparatus for mobile activities |
| CA2388766A1 (en) | 2002-06-17 | 2003-12-17 | Steve Mann | Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames |
| US6943754B2 (en) | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
| US7347551B2 (en) | 2003-02-13 | 2008-03-25 | Fergason Patent Properties, Llc | Optical system for monitoring eye movement |
| US7500747B2 (en) | 2003-10-09 | 2009-03-10 | Ipventure, Inc. | Eyeglasses with electrical components |
| US8965460B1 (en) * | 2004-01-30 | 2015-02-24 | Ip Holdings, Inc. | Image and augmented reality based networks using mobile devices and intelligent electronic glasses |
| WO2005094667A2 (en) | 2004-04-01 | 2005-10-13 | Torch William C | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US9658473B2 (en) | 2005-10-07 | 2017-05-23 | Percept Technologies Inc | Enhanced optical and perceptual digital eyewear |
| US20110213664A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| US20130278631A1 (en) * | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
| US8890946B2 (en) | 2010-03-01 | 2014-11-18 | Eyefluence, Inc. | Systems and methods for spatially controlled scene illumination |
| US20180144649A1 (en) | 2010-06-07 | 2018-05-24 | Affectiva, Inc. | Smart toy interaction using image analysis |
| US8531355B2 (en) | 2010-07-23 | 2013-09-10 | Gregory A. Maltz | Unitized, vision-controlled, wireless eyeglass transceiver |
| US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
| JP6126076B2 (ja) * | 2011-03-29 | 2017-05-10 | クアルコム，インコーポレイテッド | 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム |
| JP5965596B2 (ja) * | 2011-07-27 | 2016-08-10 | オリンパス株式会社 | 画像処理システム、情報処理装置及びプログラム |
| US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
| US8611015B2 (en) | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
| US8235529B1 (en) | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
| US8638498B2 (en) | 2012-01-04 | 2014-01-28 | David D. Bohn | Eyebox adjustment for interpupillary distance |
| US10013053B2 (en) | 2012-01-04 | 2018-07-03 | Tobii Ab | System for gaze interaction |
| US9274338B2 (en) | 2012-03-21 | 2016-03-01 | Microsoft Technology Licensing, Llc | Increasing field of view of reflective waveguide |
| US8989535B2 (en) | 2012-06-04 | 2015-03-24 | Microsoft Technology Licensing, Llc | Multiple waveguide imaging structure |
| US10025379B2 (en) | 2012-12-06 | 2018-07-17 | Google Llc | Eye tracking wearable devices and methods for use |
| JP2016509292A (ja) | 2013-01-03 | 2016-03-24 | メタ カンパニー | エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン |
| US20140195918A1 (en) | 2013-01-07 | 2014-07-10 | Steven Friedlander | Eye tracking user interface |
| US10274287B2 (en) | 2013-05-09 | 2019-04-30 | Shooting Simulator, Llc | System and method for marksmanship training |
| EP3308247A1 (en) * | 2015-06-12 | 2018-04-18 | Google LLC | Electronic display stabilization for head mounted display |
| KR102501752B1 (ko) | 2015-09-21 | 2023-02-20 | 삼성전자주식회사 | 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치 |
| KR20170062876A (ko) * | 2015-11-30 | 2017-06-08 | 삼성전자주식회사 | 헤드 마운트 장치 및 이에 탈부착 가능한 장치 |
| US10176641B2 (en) * | 2016-03-21 | 2019-01-08 | Microsoft Technology Licensing, Llc | Displaying three-dimensional virtual objects based on field of view |
| US10099122B2 (en) * | 2016-03-30 | 2018-10-16 | Sony Interactive Entertainment Inc. | Head-mounted display tracking |
| CN206096621U (zh) * | 2016-07-30 | 2017-04-12 | 广州数娱信息科技有限公司 | 一种增强型虚拟现实感知设备 |
| IL294129B2 (en) | 2016-08-22 | 2024-01-01 | Magic Leap Inc | An augmented reality display device with deep learning sensors |
| US20180293756A1 (en) * | 2016-11-18 | 2018-10-11 | Intel Corporation | Enhanced localization method and apparatus |
| US11295458B2 (en) | 2016-12-01 | 2022-04-05 | Skydio, Inc. | Object tracking by an unmanned aerial vehicle using visual sensors |
| US20180319495A1 (en) * | 2017-05-05 | 2018-11-08 | Pinnacle Vista, LLC | Relay drone method |
| EP3428760B1 (en) | 2017-07-12 | 2021-03-10 | Trifo, Inc. | Mapping optimization in autonomous and non-autonomous platforms |
| US10839547B2 (en) | 2017-09-28 | 2020-11-17 | Samsung Electronics Co., Ltd. | Camera pose determination and tracking |
| US10970425B2 (en) | 2017-12-26 | 2021-04-06 | Seiko Epson Corporation | Object detection and tracking |
| WO2019164498A1 (en) | 2018-02-23 | 2019-08-29 | Sony Mobile Communications Inc. | Methods, devices and computer program products for global bundle adjustment of 3d images |
| JP2020020631A (ja) | 2018-07-31 | 2020-02-06 | セイコーエプソン株式会社 | 姿勢推定方法、姿勢推定装置及び移動体 |
| US10819968B2 (en) * | 2018-07-31 | 2020-10-27 | Intel Corporation | Neural network based patch blending for immersive video |
| US10861225B2 (en) * | 2018-08-10 | 2020-12-08 | Intel Corporation | Neural network processing for multi-object 3D modeling |
| EP3903162A4 (en) | 2018-12-27 | 2022-03-02 | Magic Leap, Inc. | SYSTEMS AND PROCESSES FOR VIRTUAL AND AUGMENTED REALITY |
| US11328475B2 (en) | 2019-10-18 | 2022-05-10 | Magic Leap, Inc. | Gravity estimation and bundle adjustment for visual-inertial odometry |
-
2019
- 2019-12-27 EP EP19903486.9A patent/EP3903162A4/en active Pending
- 2019-12-27 JP JP2021537086A patent/JP2022516074A/ja active Pending
- 2019-12-27 US US16/729,192 patent/US11221814B2/en active Active
- 2019-12-27 WO PCT/US2019/068812 patent/WO2020140078A1/en unknown
- 2019-12-27 CN CN201980093010.5A patent/CN113632030B/zh active Active
-
2021
- 2021-12-02 US US17/541,095 patent/US11455137B2/en active Active
-
2022
- 2022-08-22 US US17/893,085 patent/US11886631B2/en active Active
-
2023
- 2023-10-24 US US18/493,633 patent/US20240053819A1/en active Pending
-
2024
- 2024-06-18 JP JP2024098003A patent/JP2024147553A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023175919A1 (ja) * | 2022-03-18 | 2023-09-21 | 日本電気株式会社 | 消火活動支援装置、消火活動支援方法、及び、消火活動支援プログラムが格納された記録媒体 |
| KR102601438B1 (ko) * | 2023-06-15 | 2023-11-13 | 한화시스템(주) | 가상환경 기반 조준점 전시 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11886631B2 (en) | 2024-01-30 |
| US11221814B2 (en) | 2022-01-11 |
| US20220261200A1 (en) | 2022-08-18 |
| EP3903162A1 (en) | 2021-11-03 |
| CN113632030B (zh) | 2024-11-01 |
| WO2020140078A1 (en) | 2020-07-02 |
| EP3903162A4 (en) | 2022-03-02 |
| US20200210127A1 (en) | 2020-07-02 |
| US20240053819A1 (en) | 2024-02-15 |
| CN113632030A (zh) | 2021-11-09 |
| US20220405035A1 (en) | 2022-12-22 |
| JP2024147553A (ja) | 2024-10-16 |
| US11455137B2 (en) | 2022-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11886631B2 (en) | Systems and methods for virtual and augmented reality | |
| US12100207B2 (en) | 3D object annotation | |
| US11861803B2 (en) | Session manager | |
| US11756229B2 (en) | Localization for mobile devices | |
| JP6669901B2 (ja) | バーチャルリアリティシーンに参加するための操作方法及びシステム | |
| CN103946732B (zh) | 基于对透视、近眼显示器的传感器输入的视频显示修改 | |
| CN104660995B (zh) | 一种救灾救援可视系统 | |
| KR102146264B1 (ko) | 5g 네트워크 기반 증강현실을 이용한 통합 지휘통제 플랫폼 시스템 | |
| US11704874B2 (en) | Spatial instructions and guides in mixed reality | |
| US20130083011A1 (en) | Representing a location at a previous time period using an augmented reality display | |
| Krum et al. | Augmented reality using personal projection and retroreflection | |
| CN106133674A (zh) | 透视计算机显示系统 | |
| JP2023513250A (ja) | 仮想コンテンツの動的併置 | |
| CN112099620A (zh) | 一种面向士兵及班组作战的战斗协同系统及方法 | |
| Soto | Architecture Evaluation for Extended Reality Devices | |
| Hamesse et al. | Lessons Learned and New Research Opportunities in Immersive Technologies for Defence Applications | |
| Peddie | Types of Augmented Reality Systems | |
| EP4428601A2 (en) | Line-of-sight (los) communication capability for a near-eye display device | |
| Molner et al. | Immersion of a live individual combatant into a virtual battlespace |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240118 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240618 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240801 |