JP6630465B2 - 可変焦点および／または物体認識を備えたウェアラブル３ｄ拡張現実ディスプレイ - Google Patents

Description

本願は、２０１４年３月５日付で出願された米国仮特許出願第６１／９４８，２２６号に対して優先権の利益を主張するものであり、この参照によりその全体が本明細書に組み込まれる。

政府使用許諾権
本発明は、米国立科学財団から付与された助成金第１４−２２６５３号および第１４−２２１７９号に基づく政府援助により成されたものである。米国政府は、本発明に特定の権利を有する。

本発明は、ウェアラブル３Ｄ拡張現実ディスプレイに関し、より具体的にいうと、これに限定されるものではないが、任意選択的な可変焦点および／または物体認識を備えた３Ｄインテグラルイメージング（ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ：ＩｎＩ）光学部品を有するウェアラブル３Ｄ拡張現実ディスプレイに関する。

拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ：ＡＲ）ディスプレイは、２Ｄまたは３Ｄデジタル情報を人の実世界視野に重ね合わせることが可能であり、デジタル情報を知覚し、これとインタラクトする方法を再定義し、一変させる技術として長い間考えられててきた。ＡＲディスプレイ装置はいくつかのタイプが模索されてきたが、ＡＲディスプレイの望ましい形態は軽量の光学シースルー型ヘッドマウントディスプレイ（ｏｐｔｉｃａｌ ｓｅｅ−ｔｈｒｏｕｇｈ ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ：ＯＳＴ−ＨＭＤ）であり、これにより現実世界の直接的な視野にデジタル情報を光学的に重ね合わせながら、ディスプレイを通して実視野を保つことができる。無線ネットワーク帯域幅が急増し、電子機器が小型化し、クラウドコンピューティングが普及する現在の課題の１つは、ＯＳＴ−ＨＭＤ、スマートフォン、およびモバイルコンピューティングの機能を、眼鏡の容積内に統合する邪魔にならないＡＲディスプレイを実現することである。

そのようなＡＲディスプレイが利用可能になれば、多くの実践分野に革命をもたらし、医療、防衛および安全保障、製造、交通運輸、教育、および娯楽分野を含む暮らしの中に浸透していく可能性がある。例えば、医療ＡＲ技術により、医師は手術を行いながら患者の腹部にその患者のＣＴ画像を重ね合わせて見られるようになり、モバイルコンピューティングでは、観光者が道を歩きながら視野にあるレストランの評価にアクセスでき、軍事訓練では、３Ｄ仮想物体を実際の訓練環境に合わせた環境で戦闘員を効果的に訓練できる。

通常、ＡＲ技術で最も大きな壁になるのはディスプレイの問題である。高性能で小型低コストのＡＲディスプレイがないことは、ＡＲ技術から享受できるすべての可能性を探る上で足かせとなっている。近年、著しい研究と市場の動きにより、ＯＳＴ−ＨＭＤシステムの扱いにくいヘルメット状フォームファクタ克服に向けた取り組みが行われており、主に小型で軽量なフォームファクタの実現が重視されている。光学技術がいくつか模索されてきた結果、ＯＳＴ−ＨＭＤは大幅に前進した。例えば、広く宣伝されたＧｏｏｇｌｅ Ｇｌａｓｓ（登録商標）は非常に小型で軽量の（〜３６グラム）単眼ＯＳＴ−ＨＭＤであり、じゃまにならず、デジタル情報に瞬時にアクセスできる利点を提供する。ＡＲディスプレイには有望で刺激的な将来の展望が実証されてきているが、現行版のＧｏｏｇｌｅ Ｇｌａｓｓ（登録商標）は、視野（ＦＯＶ）が非常に狭く（画角約１５°）、画像解像度は６４０×３６０ピクセルである。多くの用途で実世界視野を効果的に拡張する上では、限られた能力しか得られない。

このような展望にもかかわらず、既存のＯＳＴ−ＨＭＤには多数の問題、例えばＡＲディスプレイの視覚的な不快感が残されている。そのため、当該技術分野において、視覚的な快適さを高めるとともに低コスト・高性能・軽量の真の３ＤＯＳＴ−ＨＭＤシステムを実現するＯＳＴ−ＨＭＤを提供することは大きな前進である。
この出願の発明に関連する先行技術文献情報としては、以下のものがある（国際出願日以降国際段階で引用された文献及び他国に国内移行した際に引用された文献を含む）。
（先行技術文献）
（特許文献）
（特許文献１） 米国特許出願公開第２０１２／１１３０９２号明細書
（特許文献２） 米国特許出願公開第２０１１／０７５２５７号明細書
（特許文献３） 米国特許出願公開第２０１３／３００６３４号明細書

本発明は、その一観点において、利用者に表示するための仮想３Ｄ画像を提供するマイクロディスプレイを有する３Ｄ拡張現実ディスプレイを提供する。例えば、本発明の光学的アプローチでは、ＡＲディスプレイシステムの光路を、マイクロＩｎＩサブシステムの光路と独自に組み合わせて、３Ｄライトフィールド光源を提供する。このアプローチは、焦点距離と輻輳距離の不一致の問題に影響されないＡＲディスプレイを実現する可能性をもたらす。自由曲面光学技術を活用したこのアプローチでは、軽量小型のＯＳＴ−ＨＭＤソリューションも作製できる。

この場合、本発明の例示的構成の１つでは、前記マイクロディスプレイから照射光を受け取るディスプレイ光学部品を設けることができ、このディスプレイ光学部品は、受け取った照射光から光学的に再構築された真の３Ｄ実物体または仮想物体である３Ｄライトフィールドを生成するよう構成できる。（本明細書における用語「３Ｄライトフィールド」とは、３Ｄシーン（３Ｄ ｓｃｅｎｅ）の知覚を生み出すための、３Ｄシーンが発したように見える光線の集合を有した３Ｄシーンの照射野を意味するものと定義される。）前記ディスプレイ光学部品と光学的に通信するアイピースも含めることができ、このアイピースは、前記ディスプレイ光学部品から前記３Ｄライトフィールドを受け取り、前記受け取った照射光を当該システムの出射瞳へ伝達して仮想表示経路を提供するよう構成される。前記アイピースは、選択された表面を含むことができ、この選択された表面は、前記ディスプレイ光学部品から前記３Ｄライトフィールドを受け取り、前記受け取った照射光を当該システムの前記出射瞳へ反射して仮想表示経路を提供するよう構成される。また、前記選択された表面は、前記マイクロディスプレイ以外の光源から照射光を受け取り、照射光を前記出射瞳に伝達して、シースルー光路を提供するよう構成できる。前記アイピースには、自由曲面プリズム形状を含めることができる。例示的な構成の１つにおいて、前記ディスプレイ光学部品には、インテグラルイメージング光学部品（ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ｏｐｔｉｃｓ）を含めることができる。

本発明の例示的な実施形態に関する上記の要約および下記の詳細な説明は、以下の添付の図面と併せて読むとさらによく理解される。
図１Ａ〜１Ｃは、単眼ＡＲディスプレイ（図１Ａ）、両眼ディスプレイ（図１Ｂ）、および実際の物体（図１Ｃ）を見る場合の焦点調節キューおよび輻輳キューを概略的に例示したものである。 図１Ａ〜１Ｃは、単眼ＡＲディスプレイ（図１Ａ）、両眼ディスプレイ（図１Ｂ）、および実際の物体（図１Ｃ）を見る場合の焦点調節キューおよび輻輳キューを概略的に例示したものである。 図１Ａ〜１Ｃは、単眼ＡＲディスプレイ（図１Ａ）、両眼ディスプレイ（図１Ｂ）、および実際の物体（図１Ｃ）を見る場合の焦点調節キューおよび輻輳キューを概略的に例示したものである。 図２は、本発明に係る例示的な３Ｄ ＯＳＴ−ＨＭＤシステムのブロック図を概略的に例示したものであり、この３Ｄ ＯＳＴ−ＨＭＤシステムは、微小インテグラルイメージング（ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ：ＩｎＩ）ユニット、シースルー型光学系、およびアイピースを有する。 図３は、本発明の装置および方法で使用する３Ｄシーンの３Ｄライトフィールドを生成する微小ＩｎＩユニットの図を概略的に例示したものである。 図４は、本発明に係る例示的な代替微小ＩｎＩ（マイクロＩｎＩ）ユニットの図を概略的に例示したもので、このユニットは３Ｄシーンの３Ｄライトフィールドを生成し、この場合、仮想ライトフィールドはテレセントリックである。 図５は、本発明に係る例示的な頭部装着用３Ｄインテグラルイメージングディスプレイの図を概略的に例示したもので、このディスプレイはマイクロＩｎＩユニットおよび従来のアイピース光学部品を統合して３Ｄシーンの仮想ライトフィールドを生成する。 図６Ａ〜６Ｃは、自由曲面光学技術を使用した、本発明に係る３Ｄ拡張現実光学シースルー型ＨＭＤの例示的設計を概略的に例示したものであり、図６Ａは、３Ｄライトフィールドディスプレイ用の例示的な自由曲面アイピースを例示し、図６Ｂは、観視軸のずれおよび収差を補正する例示的な自由曲面補正レンズを例示し、図６Ｃは、統合された光学配置およびレイトレーシングを例示している。 図６Ａ〜６Ｃは、自由曲面光学技術を使用した、本発明に係る３Ｄ拡張現実光学シースルー型ＨＭＤの例示的設計を概略的に例示したものであり、図６Ａは、３Ｄライトフィールドディスプレイ用の例示的な自由曲面アイピースを例示し、図６Ｂは、観視軸のずれおよび収差を補正する例示的な自由曲面補正レンズを例示し、図６Ｃは、統合された光学配置およびレイトレーシングを例示している。 図６Ａ〜６Ｃは、自由曲面光学技術を使用した、本発明に係る３Ｄ拡張現実光学シースルー型ＨＭＤの例示的設計を概略的に例示したものであり、図６Ａは、３Ｄライトフィールドディスプレイ用の例示的な自由曲面アイピースを例示し、図６Ｂは、観視軸のずれおよび収差を補正する例示的な自由曲面補正レンズを例示し、図６Ｃは、統合された光学配置およびレイトレーシングを例示している。 図６Ｄは、可変焦点要素を含む、本発明に係る３Ｄ拡張現実光学シースルー型ＨＭＤの例示的設計を概略的に例示したものである。 図６Ｅは、３Ｄおよび／または２Ｄ物体認識を含む、本発明に係る３Ｄ拡張光学シースルー型ＨＭＤの例示的設計を概略的に例示したものである。 図７は、本発明に係る例示的なマイクロＩｎＩモジュールおよびアイピースを概略的に例示したものである。 図８は、本発明に係るマイクロディスプレイ、マイクロレンズアレイ、マイクロＩｎＩにより再構築された３Ｄシーン、および自由曲面アイピースの例示的なプロトタイプを概略的に例示したものである。 図９は、本発明の特定の実証で使用された実験的な「３Ｄ」画像を例示した図である。 図１０Ａ〜１０Ｄは、図８のプロトタイプのアイピースの位置に配置されたデジタルカメラで撮影された画像を実証したものであり、前記カメラは４ｍ（図１０Ａ）、３０ｃｍ（図１０Ｂ）で焦点が合わせられ、前記出射瞳の左側へシフトされ（図１０Ｃ）、前記出射瞳の右側へシフトされた（図１０Ｄ）。 図１０Ａ〜１０Ｄは、図８のプロトタイプのアイピースの位置に配置されたデジタルカメラで撮影された画像を実証したものであり、前記カメラは４ｍ（図１０Ａ）、３０ｃｍ（図１０Ｂ）で焦点が合わせられ、前記出射瞳の左側へシフトされ（図１０Ｃ）、前記出射瞳の右側へシフトされた（図１０Ｄ）。 図１０Ａ〜１０Ｄは、図８のプロトタイプのアイピースの位置に配置されたデジタルカメラで撮影された画像を実証したものであり、前記カメラは４ｍ（図１０Ａ）、３０ｃｍ（図１０Ｂ）で焦点が合わせられ、前記出射瞳の左側へシフトされ（図１０Ｃ）、前記出射瞳の右側へシフトされた（図１０Ｄ）。 図１０Ａ〜１０Ｄは、図８のプロトタイプのアイピースの位置に配置されたデジタルカメラで撮影された画像を実証したものであり、前記カメラは４ｍ（図１０Ａ）、３０ｃｍ（図１０Ｂ）で焦点が合わせられ、前記出射瞳の左側へシフトされ（図１０Ｃ）、前記出射瞳の右側へシフトされた（図１０Ｄ）。

現在の商業的ＨＭＤ開発にもかかわらず、ＡＲディスプレイの視覚的不快感を最小限に抑えるという、長時間使用を要する応用で非常に重要な課題には、非常に限られた取り組みしか行われていない。視覚的不快感を生じている主な要因の１つは、表示されたデジタル情報と実世界のシーン間における焦点距離と輻輳距離の不一致（ａｃｃｏｍｍｏｄａｔｉｏｎ−ｃｏｎｖｅｒｇｅｎｃｅ ｄｉｓｃｒｅｐａｎｃｙ）であり、これは既存のＡＲディスプレイの大部分に特有の根本的な問題である。焦点調節キュー（ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｕｅ）とは、眼が焦点を合わせる作用をいい、毛様筋が水晶体の屈折力を変化させてシーンの固視深度におけるぼやけを最小限に抑える。眼の焦点調節変化に関連した網膜像のぼやけキュー（ｒｅｔｉｎａｌ ｉｍａｇｅ ｂｌｕｒ ｃｕｅ）とは、眼の固視点から、それより近い点または遠い点までの距離変化に伴って像がぼやける作用をいう。焦点調節および網膜像ぼやけの作用は、ともに焦点キュー（ｆｏｃｕｓ ｃｕｅｓ）として知られている。輻輳キュー（ｃｏｎｖｅｒｇｅｎｃｅ ｃｕｅ）とは、両眼が視線軸を内側または外側へ向けて、近距離または遠距離にある関心３Ｄ物体で視線軸を交差させる回転作用をいう。

前記焦点距離と輻輳距離の不一致の問題は、既存ＡＲディスプレイの大部分の画像源は、眼から固定された距離に位置する２Ｄ平面であることに起因する。そのため、このタイプのＡＲディスプレイは、非２Ｄ画像源距離にある実際の物体に重ね合わされるデジタル情報に、適正な焦点キューをレンダリングする能力が欠落している。これにより次の３つの焦点距離と輻輳距離の不一致が生じる。（１）前記２Ｄ画像平面と前記実世界シーン間で焦点調節キューの不一致が存在する（図１Ａ）。眼は、前記２Ｄ画像平面に焦点調節して拡張情報を見るようキューを受け取ると同時に、デジタル情報が重ね合わされる実際の３Ｄ物体の深度へと焦点調節および輻輳するようキューを受け取る。ディスプレイ平面と実世界物体間の距離のギャップは、人間の視覚システム（ｈｕｍａｎ ｖｉｓｕａｌ ｓｙｓｔｅｍ：ＨＶＳ）が同時に焦点調節できる能力をたやすく超えてしまう。その簡単な例は、ＡＲディスプレイを運転支援に使用する場合であり、その場合、眼は近く（例えば、ダッシュボード）から遠く（例えば、道路標識）まで存在するＡＲディスプレイと実世界物体間で、絶えず注目対象を切り替える必要がある。（２）両眼立体ディスプレイでは、両眼視差を伴う一対の立体画像をレンダリングすることにより、前記拡張情報がレンダリングされて、２Ｄディスプレイ表面から異なる距離で見える効果が得られる（図１Ｂ）。拡張情報を見るとき、眼は、２Ｄディスプレイ表面で焦点調節を行って仮想ディスプレイに焦点を合わせるが、同時に、前記立体画像ペアを融合させるため両眼視差により決定される深度で輻輳するよう強制される。自然なシーンを見るとき（図１Ｃ）、眼の輻輳深度は焦点調節深度と一致し、関心のある物体以外の深度にある物体はぼやけて見える。（３）立体画像によりレンダリングされる合成物体は、利用者からの各レンダリング距離に関係なく、見る者が画像平面に焦点を合わせれば、すべて焦点が合って見え、利用者が画像平面以外の距離に焦点調節すれば、すべてぼやけて見える。表示されたシーンの網膜像のぼやけは、シミュレートされたシーンにおける眼の固視点から、それと異なる深度の他の点までの距離に応じて変化することはない。ひと言で言うと、不正確な焦点キューは立体ディスプレイを見るときの問題、例えば深度知覚のゆがみ、複視、視覚的な不快感と疲労、および動眼応答の低下の一因となる。

本発明はその一態様において、３Ｄライトフィールド生成技術および自由曲面光学技術を組み合わせることによるＯＳＴ−ＨＭＤ設計への新規なアプローチに関する。本発明の３Ｄライトフィールド生成技術では、３Ｄシーンにより発せられたように見える光線の集合を生成して３Ｄシーンの知覚を生み出すことにより、３Ｄシーンの照射野を再構築する。これを受け、本明細書における用語「３Ｄライトフィールド（ｌｉｇｈｔｆｉｅｌｄ）」とは、３Ｄシーンの知覚を生み出すための、３Ｄシーンが発したように見える光線の集合を有した３Ｄシーンの照射野を意味するものと定義される。再構築された３ＤシーンはＨＭＤ観視光学系用に３Ｄ画像源を生成して、このＨＭＤ観視光学系が、通常の２Ｄディスプレイ表面を３Ｄ源で置き換えることにより、焦点距離と輻輳距離の不一致の問題を潜在的に克服できるようにする。本発明の装置および方法では、３Ｄライトフィールドを生成できるいかなる光学系も使用できる。例えば、本発明の例示的構成の１つでは、全方向視差３Ｄライトフィールドを生成するマイクロインテグラルイメージング（マイクロＩｎＩ）光学部品を使って、光学的に３Ｄシーンの知覚を生じる。（当業者であれば、インテグラルイメージング（ＩｎＩ）は、ピンホール、レンズ、またはマイクロレンズのアレイを利用して３Ｄシーンのライトフィールドを捕捉または表示するマルチビューの撮像および表示技術であることを認識していると考えられる。表示技術の場合は、マイクロレンズアレイを表示装置と組み合わせたものが要素画像群（ｅｌｅｍｅｎｔａｌ ｉｍａｇｅｓ）を提供し、その各々が３Ｄシーンの異なる斜視図の情報を有する。前記マイクロレンズアレイを表示装置と組み合わせにより、前記表示装置の異なるピクセルから発せられた光線束がレンダリングされ、当該異なるピクセルからの光線束が交差して、光を発する３Ｄ点が３次元空間を占めているように見える知覚が光学的に生成される。この方法により、全方向の視差情報を備えた３Ｄシーンの真の３Ｄ画像の再構築が可能になる。）３Ｄライトフィールドを生成でき、本発明と併用できる他の光学系としては、これに限定されるものではないが、ホログラムディスプレイ（Ｍ．Ｌｕｃｅｎｔｅ、「Ｉｎｔｅｒａｃｔｉｖｅ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｈｏｌｏｇｒａｐｈｉｃ ｄｉｓｐｌａｙｓ： ｓｅｅｉｎｇ ｔｈｅ ｆｕｔｕｒｅ ｉｎ ｄｅｐｔｈ」（インタラクティブ３次元ホログラムディスプレイ）（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、３１（２）、ｐｐ．６３−６７、１９９７年）、Ｐ．Ａ．Ｂｌａｎｃｈｅら「Ｈｏｌｏｇｒａｐｈｉｃ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｔｅｌｅｐｒｅｓｅｎｃｅ ｕｓｉｎｇ ｌａｒｇｅ−ａｒｅａ ｐｈｏｔｏｒｅｆｒａｃｔｉｖｅ ｐｏｌｙｍｅｒ」（大領域光屈折性ポリマーを使用したホログラフィック３次元テレプレゼンス）（Ｎａｔｕｒｅ、４６８、８０−８３、２０１０年１１月）、多層計算ライトフィールドディスプレイ（Ｇ．Ｗｅｔｚｓｔｅｉｎら「Ｔｅｎｓｏｒ Ｄｉｓｐｌａｙｓ： Ｃｏｍｐｒｅｓｓｉｖｅ ｌｉｇｈｔ ｆｉｅｌｄ ｓｙｎｔｈｅｓｉｓ ｕｓｉｎｇ ｍｕｌｔｉｌａｙｅｒ ｄｉｓｐｌａｙｓ ｗｉｔｈ ｄｉｒｅｃｔｉｏｎａｌ ｂａｃｋｌｉｇｈｔｉｎｇ」（テンソルディスプレイ：方向性バックライトを備えた多層ディスプレイを使用した圧縮ライトフィールド合成）（ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ、３１（４）、２０１２年））、および体積ディスプレイ（Ｂｌｕｎｄｅｌｌ，Ｂ．Ｇ．およびＳｃｈｗａｒｚ，Ａ．Ｊ．「Ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｖｏｌｕｍｅｔｒｉｃ ｄｉｓｐｌａｙ ｓｙｓｔｅｍｓ： ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ａｎｄ ｐｒｅｄｉｃｔａｂｉｌｉｔｙ ｏｆ ｔｈｅ ｉｍａｇｅ ｓｐａｃｅ」（体積ディスプレイシステムの分類：画像空間の特性および予測可能性）（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、８（１）、ｐｐ．６６−７５、２００２年、Ｊ．Ｙ．Ｓｏｎ、Ｗ．Ｈ．ＳｏｎＳ．Ｋ．Ｋｉｍ、Ｋ．Ｈ．Ｌｅｅ、Ｂ．Ｊａｖｉｄｉ「Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｉｍａｇｉｎｇ ｆｏｒ Ｃｒｅａｔｉｎｇ Ｒｅａｌ−Ｗｏｒｌｄ−Ｌｉｋｅ Ｅｎｖｉｒｏｎｍｅｎｔｓ」（実世界状の環境を生成するための３次元イメージング）（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｊｏｕｒｎａｌ、Ｖｏｌ．１０１、ｉｓｓｕｅ １、ｐｐ．１９０−２０５、２０１３年１月）などがある。

マイクロＩｎＩシステムは、ウェアラブルシステムに適した非常にコンパクトなフォームファクタで全方向視差３Ｄ物体再構築および視覚化を実現する可能性を有する。これは適切に制約された観視位置の利点により自動立体ＩｎＩディスプレイの限界の大部分を劇的に軽減し、従来のＨＭＤシステムにおける焦点距離と輻輳距離の不一致の問題に対処するため効果的に利用できる。前記マイクロＩｎＩユニットは、３Ｄシーンを記録した多数の斜視画像から伝播する光線円錐の交差により小型３Ｄシーンを再構築できる。自由曲面光学技術を活用することにより、本発明のアプローチでは、可能性として焦点距離と輻輳距離の不一致の問題および視覚的疲労に対する脆弱性がより低い小型軽量でゴーグルスタイルのＡＲディスプレイが得られる。既存ＡＲディスプレイの焦点距離と輻輳距離の不一致の問題に対処するため、我々は、光学的に再構築される３Ｄシーンに真のライトフィールドをレンダリングして大きな深度範囲にわたり配置されるデジタル情報に正確な焦点キューをもたらす能力を備えたＡＲディスプレイ技術を開発した。

焦点距離と輻輳距離の不一致の問題に影響されない軽量小型のＯＳＴ−ＨＭＤソリューションを実現する上での難題は、２つの根本的な課題に対処することである。その第１は、固定された距離にある２Ｄ平面ではなく、ＡＲディスプレイにおける眼の輻輳深度と相関して意図されたシーンの距離に合わせ正しくレンダリングした焦点キューを伴う３Ｄシーンを表示する能力を提供することである。第２の課題は、眼鏡ほどに説得力のあるフォームファクタを伴ったアイピースの光学構造を作製することである。

本発明に係る３Ｄ ＯＳＴ−ＨＭＤシステムのブロック図を図２に例示する。これは、制約された観視ゾーンから見た３Ｄシーンの全方向視差ライトフィールドを再現するライトフィールド作成モジュール（「３Ｄライトフィールド作成モジュール」）、再構築された３Ｄライトフィールドを観視者へリレーするアイピース、および実世界シーンを遮ぎらない視野を光学的に実現するシースルーシステム（「シースルー型光学系」）の３つの主なサブシステムを含む。

本発明は、その一態様において、全方向視差３Ｄシーンを光学的に視覚化する３ＤマイクロＩｎＩ法を、ＯＳＴ−ＨＭＤ観視光学系用の自由曲面光学技術と統合する革新的なＯＳＴ−ＨＭＤシステムを提供する。このアプローチは、全方向視差ライトフィールドレンダリング能力を備えた小型の３Ｄ ＩｎＩ光学シースルー型ＨＭＤ（ＩｎＩＯＳＴ−ＨＭＤ）の開発を可能にし、これはいまだ根強く残る焦点距離と輻輳距離の不一致の問題を克服して利用者の視覚的な不快感と疲労体感を著しく軽減するものと予測される。

全方向視差ライトフィールド生成方法。焦点距離と輻輳距離の不一致の問題に対処する重要なステップは、固定距離にある２Ｄ表面にデジタル情報をレンダリングするのではなく、観視者までの距離にかかわらずデジタル情報の焦点キューを正しくレンダリングする能力を提供することである。種々の非立体表示方法の中から、我々はＩｎＩ法を使用することを選択したが、このＩｎＩ法は、制約され若しくは制約されない観視ゾーンから見た３Ｄシーンが発しているように見える３Ｄシーンの全方向視差ライトフィールドの再構築を可能にする。他のすべての技術と比べ、ＩｎＩ技術が要するハードウェアは、最低限の複雑さでＯＳＴ−ＨＭＤ光学系と統合してウェアラブルな真の３Ｄ ＡＲディスプレイの作製を可能にする。

図３は、例示的なマイクロＩｎＩユニット３００を概略的に例示したものである。１セットの２Ｄ要素画像群３０１は、それぞれ３Ｄシーンの異なる斜視図を表しており、高精細なマイクロディスプレイ３１０に表示される。各要素画像３０１は、マイクロレンズアレイ（ｍｉｃｒｏｌｅｎｓ ａｒｒａｙ：ＭＬＡ）３２０を通して空間的にインコヒーレントな（一貫性のない）物体として作用し、前記要素画像３０１内のピクセルにより発せられた円錐状の光線束が交差することにより一体的に３Ｄシーンの知覚が生じ、当該３Ｄシーンにおいてオブジェクトは基準面で深度範囲Ｚ_０を有する表面ＡＯＢに沿って位置するように見え、例えば、光を発し３次元空間を占める外観をもたらす。前記マイクロレンズアレイは、前記マイクロディスプレイ３１０から距離ｇに配置して、仮想または実際の３Ｄシーンを生成するようにできる。このマイクロＩｎＩユニット３００では、全方向視差情報により３Ｄ表面形状の光学的な再構築が可能である。なお、ＩｎＩベースの３Ｄディスプレイは、マルチビュー立体システムとは根本的に異なる態様で動作することに注意されたい。すなわち、マルチビューシステムでは、レンズ状のシートが空間的なデマルチプレクサとして機能して、観視者の位置に応じた適切な別個の左眼および右眼のシーン平面ビューを選択する。そのようなマルチビューシステムでは、定義された数の両眼ビューが、通常、水平視差だけで生成され、依然として焦点距離と輻輳距離の不一致の影響を受けてしまう。

図４は、本発明に係る代替構成マイクロＩｎＩユニット４００を概略的に例示したもので、これは表面ＡＯＢにおいて３Ｄシーンのテレセントリック３Ｄライトフィールドを生成する。図３の構成との主な違いは、マイクロレンズアレイ（ＭＬＡ）４２０の開口部をリレーしてテレセントリック３Ｄライトフィールドを生成する上で役立つ追加レンズ（レンズ４３０および／またはレンズ４４０）の使用にある。（Ｒ．Ｍａｒｔｉｎｅｚ−Ｃｕｅｎｃａ、Ｈ．Ｎａｖａｒｒｏ、Ｇ．Ｓａａｖｅｄｒａ、Ｂ．Ｊａｖｉｄｉ、およびＭ．Ｍａｒｔｉｎｅｚ−Ｃｏｒｒａｌ「Ｅｎｈａｎｃｅｄ ｖｉｅｗｉｎｇ−ａｎｇｌｅ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ｂｙ ｍｕｌｔｉｐｌｅ−ａｘｉｓ ｔｅｌｅｃｅｎｔｒｉｃ ｒｅｌａｙ ｓｙｓｔｅｍ」（複数軸テレセントリックリレーシステムによる拡張視角インテグラルイメージング）（Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ、Ｖｏｌ．１５、Ｉｓｓｕｅ ２４、ｐｐ．１６２５５−１６２６０、２００７年１１月２１日）レンズ４３０およびレンズ４４０は同じ焦点距離ｆ_１＝ｆ_２を有し、レンズ４３０はＭＬＡ ４２０に直接取り付けられ、レンズ４４０は焦点距離ｆ_１だけ離間して配置される。前記マイクロディスプレイ４１０と前記ＭＬＡ ４２０間の間隙は、ＭＬＡ ４２０の焦点距離ｆ_０に等しい。この代替設計の主な利点は、可能性として、再構築された３Ｄシーンの視角が広がり、小型化およびＨＭＤ観視光学系の一体化が改善され、前記ＭＬＡ ４２０のマイクロレンズ４２１からの屈折光線が生じる反転画像であって、正しく組み合わせられた要素画像４０１およびマイクロレンズ４２１以外からの反転画像をより適切にブロックできることである。

ＩｎＩ方法は有望であるが、まだ次の３つの大きな制限があるため、さらなる改善が望ましい。（１）側方向および長手方向の分解能が低い、（２）被写界深度（ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ：ＤＯＦ）が狭い、（３）視野角が限られている。これらの制限は、マイクロレンズの撮像能力に制限があり開口部が有限であること、大型ディスプレイの空間分解能（解像度）が劣ること、そして広い視野角と高い空間分解能とのトレードオフ関係に影響を受けやすい。従来のＩｎＩシステムでは、通常、側方向および深度方向の分解能が低く、ＤＯＦが狭い。ただし、これらの制限は、本発明のウェアラブルＩｎＩＨＭＤシステムでは軽減できる。第１に、画素数が大きくピクセルが非常に精細な（例えば、〜５μｍサイズ）マイクロディスプレイを本発明で使うと、従来のＩｎＩディスプレイに使用される大ピクセル（〜２００−５００μｍピクセルサイズ）の表示装置の代わりに使って、空間分解能に少なくとも５０倍の向上をもたらすことができる（図７）。第２に、ＨＭＤシステムの性質上、観視ゾーンは十分限定されているため、大型自動立体ディスプレイよりはるかに少ない数の要素画像群でも、限定された観視ゾーン用に全方向視差ライトフィールドを生成するには十分である。第３に、深度範囲が４０ｃｍ〜５ｍと知覚される３Ｄ体積をＩｎＩ−ＨＭＤシステムで生成するには、マイクロＩｎＩユニットにより再構築される中間３Ｄシーンの場合、非常に狭い深度範囲（例えば、Ｚ_０〜３．５ｍｍ）で十分であり、使用できるようにするには少なくとも５０ｃｍの深度範囲を要する従来のスタンドアロンＩｎＩディスプレイシステムより、著しく妥当な価格になる（図７）。最後に、マイクロレンズおよびＨＭＤ観視光学系を一体的に最適化することにより、全体的なＩｎＩ−ＨＭＤシステムの深度分解能を大幅に改善して、スタンドアロンＩｎＩシステムのイメージング限界を克服することができる。

マイクロＩｎＩユニットにより再構築される小型３Ｄシーンのライトフィールドは、アイピース光学部品により眼へとリレーされて観視される。そのアイピース光学部品は、３Ｄライトフィールドを眼の（出射）瞳へ効果的に結合するだけでなく、３Ｄシーンを拡大して仮想３Ｄ表示が観視者から有限距離にあると見えるようにすることもできる。

その一例として、図５では、マイクロＩｎＩユニット５３０と従来のアイピース光学部品５４０の統合を概略的に例示している。このマイクロＩｎＩユニット５３０には、マイクロディスプレイ５１０およびマイクロレンズアレイ５２０を含めることができ、これらは図３に例示したものと同様な態様で構成できる。このマイクロＩｎＩユニット５３０は、前記アイピース光学部品５４０の後部焦点の近くで小型３Ｄシーン（図５でＡＯＢに位置する）を再構築する。前記アイピース光学部品５４０を通じ、前記小型シーンは、Ａ′Ｏ′Ｂ′で拡張３Ｄディスプレイへと拡大でき、前記アイピース光学部品５４０の出射瞳により制約された小さなゾーンから見られるようにできる。再構築されたシーン３Ｄの性質により、前記出射瞳内の異なる位置では、異なる観視斜視図が見られる。

ＨＭＤ設計の各種方法の中でも、自由曲面光学技術は、小型ＨＭＤシステムの設計において大きな可能性を示している。図６Ａは、本発明に係るウェアラブル３Ｄ拡張現実ディスプレイ６００の例示的構成の概略図を例示したものである。このウェアラブル３Ｄ拡張現実ディスプレイ６００は、３Ｄ ＩｎＩユニット６３０および自由曲面アイピース６４０を含む。このマイクロＩｎＩユニット６３０には、マイクロディスプレイ６１０およびマイクロレンズアレイ６２０を含めることができ、これらは図３に例示したものと同様な態様で構成できる。この構成６００では、楔（くさび）形の自由曲面プリズムをアイピース６４０として採用しており、前記マイクロＩｎＩユニット６３０により再構築された３Ｄシーンは当該アイピース６４０を通して拡大され、観視される。このようなアイピース６４０は、それぞれ１、２、および３と示された３つの自由曲面光学表面により形成され、これらの表面は回転非対称な面である。前記出射瞳は、拡大された３Ｄシーンを見るために眼が配置される場所であり、前記３Ｄ ＩｎＩユニット６３０の基準面と共役な仮想基準面に位置する。中間シーンにある３Ｄ点（例えば、Ａ）から発せられた光線は、まず前記基準面の最も近くにある前記自由曲面アイピース６４０の表面３により屈折する。次に、この光線は前記表面１′および２で連続して２回反射され、最後に、前記表面１を透過して当該システムの前記出射瞳に達する。同じ物体点から出た複数の光線方向（例えば、点Ａからの３本の光線の各々）は、それぞれ当該物体の異なるビューを表し、前記出射瞳の異なる位置に当たって、仮想３Ｄ点（例えば、Ａ′）を眼前で再構築する。

複数の要素を要する代わりに、光路は、前記アイピース６４０の３つの表面を伴うプリズム構造内で自然に折り畳まれるため、回転対称な要素を使用する設計と比べて、この光学部品の全体的な体積および重量を著しく低減する上で役立つ。

ＡＲシステムのシースルー能力を実現するため、前記アイピース６４０の表面２は、ビームスプリッターミラーとしてコーティングできる。自由曲面の補正レンズ６５０を加えると、改善されたシースルー性能を有したウェアラブル３Ｄ拡張現実ディスプレイ６９０を提供することができる。この補正レンズ６５０は、２つの自由曲面表面を含むようにでき、それらを前記アイピース６４０の表面２に取り付けによることにより、前記自由曲面プリズムアイピース６４０により実世界シーンに導入される観視軸のずれおよび望ましくない収差を補正できる。前記３Ｄ ＩｎＩユニット６３０により生成される仮想ライトフィールドからの光線は、前記プリズムアイピース６４０の表面２により反射される一方、実世界シーンからの光線は、前記自由曲面アイピース６４０および補正レンズ６５０を透過する（図６Ｃ）。図６Ｃは、ウェアラブル３Ｄ拡張現実ディスプレイ６９０全体の一体化とレイトレーシングを概略的に例示したものである。前記自由曲面補正レンズ６５０の正面は、前記プリズムアイピース６４０の表面２の形状に合致する。前記補正レンズ６５０の表面４の裏面は、前記補正レンズ６５０を前記プリズムアイピース６４０と組み合わせる際、実世界シーンから光線に導入されるシフトおよび歪曲を最小限に抑えるよう最適化する。この付加的な補正レンズ６５０は、当該システム６９０全体のフットプリントおよび重量を顕著に増大させないものと予測される。

このように、本発明の装置では、前記自由曲面アイピース６４０が、２Ｄ画像面の代わりに３Ｄ表面ＡＯＢのライトフィールドの画像を生成する。このようなＩｎＩ−ＨＭＤシステム６００、６９０では、前記自由曲面アイピース６４０が実際の物体のライトフィールドと光学的に共役な位置で仮想３Ｄ物体Ａ′Ｏ′Ｂ′のライトフィールドを再構築する一方、従来のＨＭＤシステムでは、アイピースが、２Ｄマイクロディスプレイ表面と光学的に共役な拡大された２Ｄ仮想表示を生成する。

本発明は、その別の態様において３Ｄ拡張現実光学シースルー型ＨＭＤ ７００を提供でき、その場合は仮想基準面の位置が調整可能である（図６Ｄ）。前記仮想基準面の位置を調整する能力は、特に、観視者が観察している実世界シーンの物体の位置と相対的な拡張現実情報を含む仮想基準面の位置を選択することにより焦点距離と輻輳距離の不一致に対処する場合に有益である。この場合、図６Ｄは、本発明に係る３Ｄ拡張現実光学シースルー型ＨＭＤ ７００の代替構成を概略的に例示しており、これは可変焦点要素７２８をマイクロＩｎＩモジュール７３０の光路内に統合している。図６Ｃの設計と同様、このＨＭＤ ７００は、アイピース６４０と、補正レンズ６５０と、マイクロディスプレイ７１０およびマイクロレンズアレイ７２０を備えたマイクロＩｎＩユニット７３０とを含むことができ、これらは図６Ｃで使用されるものと同一であってよい。

前記可変焦点要素７２８（ｖａｒｉ−ｆｏｃａｌ ｅｌｅｍｅｎｔ：ＶＦＥ）の光学倍率は、当該要素に電圧をかけることにより変更可能である。使用可能な可変焦点要素７２８の例としては、液晶レンズ、液体レンズ、メンブレンミラー（ｍｅｍｂｒａｎｅ ｍｉｒｒｏｒ）、または複屈折レンズなどがある。前記マイクロＩｎＩユニット７３０の光学倍率を動的に変化させる能力を有することにより、再構築される３Ｄシーンの基準面の軸方向位置を動的に制御できるようになるだけでなく、再構築されるシーンの視野角を動的に調整することが可能となる。例えば、ＶＦＥ ７２８にかける電圧を変化させることにより、機械的な変化を必要とせずに、２５ｃｍもの近距離（例えば、Ｏ′）または無限遠といった遠距離（例えば、Ｏ″）、あるいはその逆に前記仮想基準面を配置することが可能となる。また、前記ＶＦＥ ７２８の光学倍率を変更すると、３Ｄシーンを再構築する光の光線角度の動的制御、ひいては視角制御が可能になる。前記ＶＦＥ ７２８により実現される上記能力により、長手方向の分解能が改善され、また、被写界深度が拡大され、視角を広げることが可能となる。前記ＶＦＥ ７２８の光学倍率変更は、レンダリングすべき３Ｄシーンの深度に関する認識、または利用者の関心領域に関する認識により制御できる。例えば、再構築される仮想シーン（例えば、Ａ′Ｏ′Ｂ′）の観視者からの絶対深度、およびそのシーンの深度範囲の認識により、当該システムは、最適な長手方向の分解能および視角を有する仮想基準面を適切に配置することができる。あるいは、観視者の関心領域を眼の動きを追跡する装置により検出可能なため、観視者の関心領域を動的に取得して、仮想基準面の位置決めに適宜利用することもできる。前記ＶＦＥ ７２８および前記マイクロディスプレイ７１０がどちらも高速で動作する場合には（例えば、人間の視覚システムの臨界フリッカ周波数の少なくとも２倍）、異なる深度の３Ｄシーンを時系列的にレンダリングしながらこれらの深度に基準面を重ね合わせて配置することにより、深度体積を拡大することができる。時系列的にレンダリングされたシーンは、スピードの利点から連続的な３Ｄ体積として観視される。液晶レンズ７２８を使用すると、前記インテグラルイメージングディスプレイの被写界深度を変化させることができる。他種の空間的光変調器、例えば高速変調用の変形可能な鏡装置を使用してもよい。

本発明は、さらに別の態様において、３次元（３Ｄ）または２Ｄの物体認識能力を統合する３Ｄ拡張現実光学シースルー型ＨＭＤ ８００を提供できる（図６Ｅ）。例えば、図６Ｅは、本発明に係る３Ｄ拡張現実光学シースルー型ＨＭＤ ８００の代替構成を概略的に例示しており、これは３次元（３Ｄ）または２Ｄ物体認識能力を拡張現実（ＡＲ）と統合している。図６Ｃの設計と同様、このＨＭＤ ８００は、アイピース６４０と、補正レンズ６５０と、マイクロディスプレイ８１０およびマイクロレンズアレイ８２０を備えたマイクロＩｎＩユニット８３０とを含むことができ、これらは図６Ｃで使用されるものと同一であってよい。このＨＭＤ ８００は、少なくとも１つのカメラ８１５を当該ＨＭＤ ８００に取り付けることにより、インテグラルイメージング光学３Ｄ表示方法を、２Ｄまたは３Ｄ物体認識能力と組み合わせることができる（図６Ｅ）。現在の技術的現状では、１ミリメートル平方ほどの小型軽量メガピクセルカメラが利用可能である。（Ｓｏｎｙ製９６０Ｈ Ｍｉｃｒｏ Ｐｉｎｈｏｌｅ Ｃｏｖｅｒｔ Ｃａｍｅｒａ Ｎｏ．２０−１００。）前記カメラ８１５は通常のビデオカメラであってよいが、より重要な点として、３Ｄインテグラルイメージング画像キャプチャシステムとすることができ、その場合、撮像光学系でマイクロ小型レンズアレイを利用して実世界シーン１０の３Ｄライトフィールドがキャプチャされる。このようなカメラ８１５でキャプチャされた画像を使うと、２Ｄイメージング取得または３Ｄインテグラルイメージング取得のどちらか、数値的視覚化、２Ｄまたは３Ｄ物体認識、分割、ならびに前記シーン１０における物体の位置推定を実施できる。実際のシーン１０は利用者により前記自由曲面光学部品６４０、６５０を通じて直接観察されるが、キャプチャユニット８５０が実現する物体認識能力により、検出された物体およびシーンと、各々の記述、各々の位置、（インテグラルイメージングの３Ｄイメージング特性を使った）各々の距離範囲、当該シーンにおける各々の他物体との関係などに関する情報のインテリジェントな抽出が可能になり、そのような情報は現実の拡張を通じて観視者に提示できる。例えば、観視者が混雑したシーンの中で特定の物体を探している場合、前記認識能力は、この物体を検出し、その位置も含めて、ＡＲで観視者に提示するのを可能にする。３Ｄ物体視覚化は、種々のアーキテクチャを使って行うことができ、汎用コンピュータで実行して、前記キャプチャユニット８５０を提供することが可能である。（Ｓ．Ｈｏｎｇ、Ｊ．Ｊａｎｇ、およびＢ．Ｊａｖｉｄｉ、「Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｖｏｌｕｍｅｔｒｉｃ ｏｂｊｅｃｔ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｓｉｎｇ ｃｏｍｐｕｔａｔｉｏｎａｌ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ，」（計算インテグラルイメージングを使った３次元体積物体の再構築）（Ｊｏｕｒｎａｌ ｏｆ Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ， ｏｎ−ｌｉｎｅ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ、Ｖｏｌ．１２、Ｎｏ．３、ｐｐ．４８３−４９１、２００４年２月９日）。Ｒ．Ｓｃｈｕｌｅｉｎ、Ｍ．ＤａｎｅｓｈＰａｎａｈ、およびＢ．Ｊａｖｉｄｉ「３Ｄ ｉｍａｇｉｎｇ ｗｉｔｈ ａｘｉａｌｌｙ ｄｉｓｔｒｉｂｕｔｅｄ ｓｅｎｓｉｎｇ」（軸方向に分散された検出による３Ｄイメージング）（Ｊｏｕｒｎａｌ ｏｆ Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ、Ｖｏｌ．３４、Ｉｓｓｕｅ １３、ｐｐ．２０１２−２０１４、２００９年７月１日）または認識。（Ｓ．ＫｉｓｈｋおよびＢ．Ｊａｖｉｄｉ「Ｉｍｐｒｏｖｅｄ Ｒｅｓｏｌｕｔｉｏｎ ３Ｄ Ｏｂｊｅｃｔ Ｓｅｎｓｉｎｇ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｔｉｍｅ ｍｕｌｔｉｐｌｅｘｅｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｇｒａｌ Ｉｍａｇｉｎｇ」（時間多重化計算インテグラルイメージングを使って改善された解像度の３Ｄ物体検出および認識）（Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ、オンラインＪｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ、ｖｏｌ．１１、Ｎｏ．２６、ｐｐ．３５２８−３５４１、２００３年）。Ｒ．Ｓｃｈｕｌｅｉｎ、Ｃ．Ｄｏ、およびＢ．Ｊａｖｉｄｉ「Ｄｉｓｔｏｒｔｉｏｎ−ｔｏｌｅｒａｎｔ ３Ｄ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｕｎｄｅｒｗａｔｅｒ ｏｂｊｅｃｔｓ ｕｓｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ」（ニューラルネットワークを使った水中物体の耐歪曲性３Ｄ認識）（Ｊｏｕｒｎａｌ ｏｆ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ、ｖｏｌ．２７、Ｎｏ．３、ｐｐ ４６１−４６８、２０１０年３月）。Ｃ．Ｍａｎｈ Ｄｏ、Ｒ．Ｍａｒｔiｎｅｚ−Ｃｕｅｎｃａ、およびＢ．Ｊａｖｉｄｉ「Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｏｂｊｅｃｔ−ｄｉｓｔｏｒｔｉｏｎ−ｔｏｌｅｒａｎｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｏｒ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ｕｓｉｎｇ ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ」（独立構成要素解析を使ったインテグラルイメージングのための３次元物体の耐歪曲性認識）（Ｊｏｕｒｎａｌ ｏｆ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ Ａ ２６、ｉｓｓｕｅ ２、ｐｐ．２４５−２５１、２００９年２月１日）。Ｓ．Ｈｏｎｇ ａｎｄ Ｂ．Ｊａｖｉｄｉ「Ｄｉｓｔｏｒｔｉｏｎ−ｔｏｌｅｒａｎｔ ３Ｄ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｏｃｃｌｕｄｅｄ ｏｂｊｅｃｔｓ ｕｓｉｎｇ ｃｏｍｐｕｔａｔｉｏｎａｌ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ」（計算インテグラルイメージングを使った、他物体に一部隠された物体の耐歪曲性３Ｄ認識）（Ｊｏｕｒｎａｌ ｏｆ Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ、Ｖｏｌ．１４、Ｉｓｓｕｅ ２５、ｐｐ．１２０８５−１２０９５、２００６年１２月１１日））。２Ｄまたは３Ｄ物体認識には、種々のアルゴリズムが使用できる。（Ｆ．ＳａｄｊａｄｉおよびＢ．Ｊａｖｉｄｉ「Ｐｈｙｓｉｃｓ ｏｆ Ａｕｔｏｍａｔｉｃ Ｔａｒｇｅｔ Ｒｅｃｏｇｎｉｔｉｏｎ」（自動ターゲット認識の物理学）（Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ， Ｎｅｗ Ｙｏｒｋ、２００７年）。Ｒ．Ｊ．Ｓｃｈａｌｋｏｆｆ『Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ： Ｓｔａｔｉｓｔｉｃａｌ， Ｓｔｒｕｃｔｕｒａｌ ａｎｄ Ｎｅｕｒａｌ Ａｐｐｒｏａｃｈｅｓ』（パターン認識：統計的かつ構造的なニューラルアプローチ）（Ｗｉｌｅｙ、１９９１年）。Ｃｈｒｉｓｔｏｐｈｅｒ Ｍ．Ｂｉｓｈｏｐ「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ」（パターン認識のためのニューラルネットワーク）（Ｏｘｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，Ｉｎｃ．、Ｎｅｗ Ｙｏｒｋ，ＮＹ、１９９５年）。Ａ．Ｋ．Ｊａｉｎ「Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」（デジタル画像処理の基礎）（Ｐｒｅｎｔｉｃｅ Ｈａｌｌ）。Ｍ．Ｄａｎｅｓｈｐａｎａｈ、Ｂ．Ｊａｖｉｄｉ、およびＥ．Ｗａｔｓｏｎ「Ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ｗｉｔｈ ｒａｎｄｏｍｌｙ ｄｉｓｔｒｉｂｕｔｅｄ ｓｅｎｓｏｒｓ」（無作為に分散配置したセンサーによる３次元インテグラルイメージング）（Ｊｏｕｒｎａｌ ｏｆ Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ、Ｖｏｌ．１６、Ｉｓｓｕｅ ９、ｐｐ．６３６８−６３７７、２００８年４月２１日）。Ｒ．Ｓｃｈｕｌｅｉｎ、Ｍ．ＤａｎｅｓｈＰａｎａｈ、およびＢ．Ｊａｖｉｄｉ「３Ｄ ｉｍａｇｉｎｇ ｗｉｔｈ ａｘｉａｌｌｙ ｄｉｓｔｒｉｂｕｔｅｄ ｓｅｎｓｉｎｇ」（軸方向に分散された検出による３Ｄイメージング）（Ｊｏｕｒｎａｌ ｏｆ Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ、Ｖｏｌ．３４、Ｉｓｓｕｅ １３、ｐｐ．２０１２−２０１４、２００９年７月１日）。観視者が動いている場合は、単一のカメラ８１５を使って、３Ｄ物体認識能力を有することができる。あるいは、観視者が物体へ向かって動いている場合は、視差ゼロの単一カメラ８１５を使って、軸方向に分散された検出により、３Ｄ物体認識能力を有することができる。

図６Ｃの構成に係るＩｎＩＯＳＴ−ＨＭＤの概念実証単眼プロトタイプを、市販の光学部品を使って実施した（図８）。焦点距離３．３ｍｍでピッチ０．９８５ｍｍのマイクロレンズアレイ（ＭＬＡ）を利用した。（これらのタイプのマイクロレンズは、Ｄｉｇｉｔａｌ Ｏｐｔｉｃｓ Ｃｏｒｐ、ＳＵＳＳ Ｍｉｃｒｏｏｐｔｉｃｓ等から購入できる。）マイクロディスプレイは０．８"有機発光ディスプレイ（ＯＬＥＤ）とし、１９２０×１２００色ピクセルを９．６μｍのピクセルサイズで提供するものであった。（ｅＭａｇｉｎ Ｃｏｒｐ社（米国ワシントン州Ｂｅｌｌｅｖｕｅ）のＥＭＡ−１００８２０。）自由曲面アイピースをシースルー補正レンズと併せたものは、国際特許出願第ＰＣＴ／ＵＳ２０１３／０６５４２２号で開示されたタイプで使用されており、この参照によりその全体が本明細書に組み込まれる。前記アイピース６４０および補正レンズ６５０の仕様を以下の表に示す。このアイピースでは、４０度の視野と約６．５ｍｍのアイボックス（ｅｙｅｂｏｘ）が提供された。当該アイピース設計の厳密なテレセントリシティにより、クロストークが妥当に低く観視ゾーンが狭いＩｎＩ設定になっている。特筆すべき点は、この特定の自由曲面アイピース設計が、本発明において説明する光学方法に必須ではないことである。この目的で、代替アイピースを設計および最適化することもできる。

ディスプレイ経路用のシステム調整
表１において、表面２〜４は、自由曲面アイピース６４０を指定している。表１の表面２および４は同じ物理表面を表し、図６Ａ〜６Ｃのアイピース表面１に対応する。表１の表面３は、図６Ａ〜６Ｃのアイピース表面２に対応し、表１の表面５は、アイピース表面３に対応する。

光学シースルー経路用のシステム調整
表２において、表面２および３は、ディスプレイ経路と同じくモデル化したアイピース表面１および３である。表面４、５は、前記自由曲面補正レンズ６５０を指定する。表面４は、表面３（アイピース表面２）の厳密な複製である。

前記システム調整表、例えば表１または表２における用語「ＸＹ多項式面」（ＸＹ Ｐｏｌｙ）とは、次式により表される表面をいう。

式中、ｚは局所的なｘｙｚ座標系のＺ軸に沿って測定された自由曲面のサグ量、ｃは頂点曲率（ｖｅｒｔｅｘ ｃｕｒｖａｔｕｒｅ：ＣＵＹ）ｃ、ｒは半径方向の距離、ｋは円錐定数、Ｃ_ｊはｘ^ｍｙ^ｎの係数である。

実証のため、数字「３」と文字「Ｄ」を含む３Ｄシーンをシミュレートした。視覚空間において、オブジェクト（物体）「３」および「Ｄ」は、眼の位置からそれぞれ〜４メートルおよび３０ｃｍ離れたところに設置された。焦点効果を明確に実証するため、これらの文字オブジェクトは、無地塗りつぶしを使用する代わりに、質感のある黒色線でレンダリングした。それぞれ１０２×１０２のカラーピクセルから成る、３Ｄシーンの１８×１１要素画像群アレイをシミュレートした（図９）。マイクロＩｎＩユニットにより再構築された３Ｄシーンは、ＭＬＡから約１０ｍｍ離れており、再構築された２つのターゲット間の深度間隔は、中間再構築空間で約３．５ｍｍであった。

図１０Ａ〜１０Ｄは、眼の位置に配置されたデジタルカメラで撮影された画像セットを示したものである。焦点効果およびシースルービューを実世界ビューで実証するため、スネレン視力表および白黒格子を印刷したターゲットを、それぞれオブジェクト「３」および「Ｄ」の位置に対応する、観視者からそれぞれ〜４メートルおよび３０ｃｍのところに配置した。

図１０Ａおよび１０Ｂは、カメラの焦点をスネレン視力表および格子ターゲットにそれぞれ合わせた際の効果を示している。物体「３」は、カメラの焦点を遠位のスネレン視力表に合わせたときにはっきり焦点が合うが、物体「Ｄ」は、カメラの焦点を近位の格子ターゲットに合わせたときに焦点が合う。図１０Ｃおよび１０Ｄは、カメラの焦点を近位の格子ターゲットに合わせながら、当該カメラの位置を前記アイボックスの左側から右側にシフトさせた際の効果を示している。予測どおり、これら２つのビュー間にわずかな視点の変化が認められた。確かにアーチファクトが見られ、いっそうの開発が必要であるものの、この結果は、提案されたＡＲ表示方法が、大きな深度範囲で適正な焦点キューおよび真の３Ｄ表示を生成できることを明らかに実証している。

本明細書において説明し特許請求の範囲に記載した本発明は、本明細書に開示した特定の実施形態が本発明の数態様の例示を目的としたものであるため、これらの実施形態に範囲を限定されるものではない。いかなる等価な実施形態も、本発明の範囲を逸脱しないよう意図される。実際、当業者であれば、以上の説明から、本明細書で示し説明した実施形態に加え、本発明の種々の修正形態が明確に理解されるであろう。そのような修正形態も、添付の請求項の範囲に含まれるよう意図されている。

本明細書には多数の特許および非特許文献が引用されており、この参照によりこれら各文献の全体が本明細書に組み込まれる。

参考文献
［１］Ｙａｎｏ， Ｓ．， Ｅｍｏｔｏ， Ｍ．， Ｍｉｔｓｕｈａｓｈｉ， Ｔ．， ａｎｄ Ｔｈｗａｉｔｅｓ， Ｈ．， "Ａ ｓｔｕｄｙ ｏｆ ｖｉｓｕａｌ ｆａｔｉｇｕｅ ａｎｄ ｖｉｓｕａｌ ｃｏｍｆｏｒｔ ｆｏｒ ３Ｄ ＨＤＴＶ／ＨＤＴＶ ｉｍａｇｅｓ，" Ｄｉｓｐｌａｙｓ， ２３（４）， ｐｐ． １９１−２０１， ２００２．
［２］Ｓ．Ｊ． Ｗａｔｔ， Ｋ． Ａｋｅｌｅｙ， Ｍ．Ｏ． Ｅｒｎｓｔ， ａｎｄ Ｍ．Ｓ． Ｂａｎｋｓ， "Ｆｏｃｕｓ Ｃｕｅｓ Ａｆｆｅｃｔ Ｐｅｒｃｅｉｖｅｄ Ｄｅｐｔｈ，" Ｊ． Ｖｉｓｉｏｎ， ５（１０）， ８３４−８６２， （２００５）．
［３］Ｄ．Ｍ． Ｈｏｆｆｍａｎ， Ａ．Ｒ． Ｇｉｒｓｈｉｃｋ， Ｋ． Ａｋｅｌｅｙ， ａｎｄ Ｍ．Ｓ． Ｂａｎｋｓ， "Ｖｅｒｇｅｎｃｅ−Ａｃｃｏｍｍｏｄａｔｉｏｎ Ｃｏｎｆｌｉｃｔｓ Ｈｉｎｄｅｒ Ｖｉｓｕａｌ Ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ Ｃａｕｓｅ Ｖｉｓｕａｌ Ｆａｔｉｇｕｅ，" Ｊ． Ｖｉｓｉｏｎ， ８（３）， １−３０， （２００８）．
［４］Ｇ． Ｌｉｐｐｍａｎｎ， "Ｅｐｒｅｕｖｅｓ ｒｅｖｅｒｓｉｂｌｅｓ ｄｏｎｎａｎｔ ｌａ ｓｅｎｓａｔｉｏｎ ｄｕ ｒｅｌｉｅｆ，" Ｊｏｕｒｎａｌ ｏｆ Ｐｈｙｓｉｃｓ （Ｐａｒｉｓ） ７， ８２１-８２５ （１９０８）．
［５］Ｃ． Ｂ． Ｂｕｒｃｋｈａｒｄｔ， "Ｏｐｔｉｍｕｍ ｐａｒａｍｅｔｅｒｓ ａｎｄ ｒｅｓｏｌｕｔｉｏｎ ｌｉｍｉｔａｔｉｏｎ ｏｆ ｉｎｔｅｇｒａｌ ｐｈｏｔｏｇｒａｐｈｙ，" Ｊ． Ｏｐｔ． Ｓｏｃ． Ａｍ． ５８， ７１-７６ （１９６８）．
［６］Ｔ． Ｏｋｏｓｈｉ， "Ｏｐｔｉｍｕｍ ｄｅｓｉｇｎ ａｎｄ ｄｅｐｔｈ ｒｅｓｏｌｕｔｉｏｎ ｏｆ ｌｅｎｓ−ｓｈｅｅｔ ａｎｄ ｐｒｏｊｅｃｔｉｏｎ−ｔｙｐｅ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｐｌａｙｓ，" Ａｐｐｌ． Ｏｐｔ． １０， ２２８４-２２９１ （１９７１）．
［７］Ｆ． Ｏｋａｎｏ， Ｈ． Ｈｏｓｈｉｎｏ， Ｊ． Ａｒａｉ ｙ Ｉ． Ｙｕｙａｍａ， "Ｒｅａｌ−ｔｉｍｅ ｐｉｃｋｕｐ ｍｅｔｈｏｄ ｆｏｒ ａ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｉｍａｇｅ ｂａｓｅｄ ｏｎ ｉｎｔｅｇｒａｌ ｐｈｏｔｏｇｒａｐｈｙ，" Ａｐｐｌ． Ｏｐｔ． ３６， １５９８-１６０３ （１９９７）．
［８］Ｊ． Ａｒａｎ， "Ｄｅｐｔｈ−ｃｏｎｔｒｏｌ ｍｅｔｈｏｄ ｆｏｒ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ，" Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ， ３３（３）： ２７９−２８２， ２００８．
［９］Ｈ． Ｈｕａ， "Ｓｕｎｇｌａｓｓ−ｌｉｋｅ ｄｉｓｐｌａｙｓ ｂｅｃｏｍｅ ａ ｒｅａｌｉｔｙ ｗｉｔｈ ｆｒｅｅｆｏｒｍ ｏｐｔｉｃａｌ ｔｅｃｈｎｏｌｏｇｙ，" ＳＰＩＥ Ｎｅｗｓｒｏｏｍ， ２０１２．
［１０］Ｈ． Ｈｕａ ａｎｄ Ｃ． Ｇａｏ， Ａ ｃｏｍｐａｃｔ， ｅｙｅ−ｔｒａｃｋｅｄ ｏｐｔｉｃａｌ ｓｅｅ−ｔｈｒｏｕｇｈ ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ， Ｐｒｏｃ． ＳＰＩＥ ８２８８， ｐ． ８２８８１Ｆ， ２０１２．
［１１］Ｈ． Ｈｕａ， Ｘ． Ｈｕ， ａｎｄ Ｃ． Ｇａｏ， "Ａ ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ ｏｐｔｉｃａｌ ｓｅｅ−ｔｈｒｏｕｇｈ ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ ｗｉｔｈ ｅｙｅｔｒａｃｋｉｎｇ ｃａｐａｂｉｌｉｔｙ，" Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ， Ｎｏｖｅｍｂｅｒ ２０１３．
［１２］Ｄ． Ｃｈｅｎｇ， Ｙ．Ｗａｎｇ， Ｈ． Ｈｕａ， ａｎｄ Ｍ． Ｍ． Ｔａｌｈａ， Ｄｅｓｉｇｎ ｏｆ ａｎ ｏｐｔｉｃａｌ ｓｅｅ−ｔｈｒｏｕｇｈ ｈｅａｄｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ ｗｉｔｈ ａ ｌｏｗ ｆ−ｎｕｍｂｅｒ ａｎｄ ｌａｒｇｅ ｆｉｅｌｄ ｏｆ ｖｉｅｗ ｕｓｉｎｇ ａ ｆｒｅｅ−ｆｏｒｍ ｐｒｉｓｍ， Ａｐｐ． Ｏｐｔ． ４８ （１４）， ｐｐ． ２６５５-２６６８， ２００９．
［１３］Ｄ． Ｃｈｅｎｇ， Ｙ．Ｗａｎｇ， Ｈ． Ｈｕａ， ａｎｄ Ｊ． Ｓａｓｉａｎ， Ｄｅｓｉｇｎ ｏｆ ａ ｗｉｄｅ−ａｎｇｌｅ， ｌｉｇｈｔｗｅｉｇｈｔ ｈｅａｄｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ ｕｓｉｎｇ ｆｒｅｅ−ｆｏｒｍ ｏｐｔｉｃｓ ｔｉｌｉｎｇ， Ｏｐｔ． Ｌｅｔｔ． ３６ （１１）， ｐｐ． ２０９８-２１００， ２０１１．
［１４］Ａ． Ｏｋｕｙａｍａ ａｎｄ Ｓ． Ｙａｍａｚａｋｉ， Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ ａｎｄ ｉｍａｇｅ ｏｂｓｅｒｖｉｎｇ ａｐｐａｒａｔｕｓ ａｎｄ ｉｍａｇｅ ｐｉｃｋｕｐ ａｐｐａｒａｔｕｓ ｕｓｉｎｇ ｉｔ， ＵＳ Ｐａｔｅｎｔ ５，７０６，１３６， １９９８．
［１５］Ｓ． Ｙａｍａｚａｋｉ， Ｋ． Ｉｎｏｇｕｃｈｉ， Ｙ． Ｓａｉｔｏ， Ｈ． Ｍｏｒｉｓｈｉｍａ， ａｎｄ Ｎ． Ｔａｎｉｇｕｃｈｉ， Ｔｈｉｎ ｗｉｄｅｆｉｅｌｄ−ｏｆ−ｖｉｅｗ ＨＭＤ ｗｉｔｈ ｆｒｅｅ−ｆｏｒｍ−ｓｕｒｆａｃｅ ｐｒｉｓｍ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ， Ｐｒｏｃ． ＳＰＩＥ ３６３９，ｐ． ４５３， １９９９．
［１６］Ａ． Ｊｏｎｅｓ， Ｉ． ＭｃＤｏｗａｌｌ， Ｙａｍａｄａ Ｈ．， Ｍ． Ｂｏｌａｓ， Ｐ． Ｄｅｂｅｖｅｃ， Ｒｅｎｄｅｒｉｎｇ ｆｏｒ ａｎ Ｉｎｔｅｒａｃｔｉｖｅ ３６０o Ｌｉｇｈｔ Ｆｉｅｌｄ Ｄｉｓｐｌａｙ ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ （ＴＯＧ） -Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨ ２００７， ２６（３）， ２００７．
［１７］Ｔｉｂｏｒ Ｂａｌｏｇｈ， "Ｔｈｅ ＨｏｌｏＶｉｚｉｏ Ｓｙｓｔｅｍ，" Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ， ＶＯｌ ６０５５， ２００６．
［１８］Ｙ． Ｔａｋａｋｉ， Ｙ． Ｕｒａｎｏ， Ｓ． Ｋａｓｈｉｗａｄａ， Ｈ． Ａｎｄｏ， ａｎｄ Ｋ． Ｎａｋａｍｕｒａ， "Ｓｕｐｅｒ ｍｕｌｔｉ−ｖｉｅｗ ｗｉｎｓｈｉｅｌｄ ｄｉｓｐｌａｙ ｆｏｒ ｌｏｎｇ−ｄｉｓｔａｎｃｅ ｉｍａｇｅ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｅｓｅｎｔａｔｉｏｎ，" Ｏｐｔ． Ｅｘｐｒｅｓｓ， １９， ７０４−１６， ２０１１．
［１９］Ｂｌｕｎｄｅｌｌ， Ｂ． Ｇ．， ａｎｄ Ｓｃｈｗａｒｚ， Ａ． Ｊ．， "Ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｖｏｌｕｍｅｔｒｉｃ ｄｉｓｐｌａｙ ｓｙｓｔｅｍｓ： ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ａｎｄ ｐｒｅｄｉｃｔａｂｉｌｉｔｙ ｏｆ ｔｈｅ ｉｍａｇｅ ｓｐａｃｅ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， ８（１）， ｐｐ． ６６−７５， ２００２．
［２０］Ｐ． Ａ． Ｂｌａｎｃｈｅ， ｅｔ ａｌ， "Ｈｏｌｏｇｒａｐｈｉｃ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｔｅｌｅｐｒｅｓｅｎｃｅ ｕｓｉｎｇ ｌａｒｇｅ−ａｒｅａ ｐｈｏｔｏｒｅｆｒａｃｔｉｖｅ ｐｏｌｙｍｅｒ"， Ｎａｔｕｒｅ， ４６８， ８０−８３， Ｎｏｖ． ２０１０．
［２１］Ｒｏｌｌａｎｄ， Ｊ． Ｐ．， Ｋｕｒｅｇｅｒ， Ｍ．， ａｎｄ Ｇｏｏｎ， Ａ．， "Ｍｕｌｔｉｆｏｃａｌ ｐｌａｎｅｓ ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙｓ，" Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ， ３９（１９）， ｐｐ． ３２０９−１４， ２０００．
［２２］Ａｋｅｌｅｙ， Ｋ．， Ｗａｔｔ， Ｓ．， Ｇｉｒｓｈｉｃｋ， Ａ．， ａｎｄ Ｂａｎｋｓ， Ｍ．， "Ａ ｓｔｅｒｅｏ ｄｉｓｐｌａｙ ｐｒｏｔｏｔｙｐｅ ｗｉｔｈ ｍｕｌｔｉｐｌｅ ｆｏｃａｌ ｄｉｓｔａｎｃｅｓ，" Ｐｒｏｃ． ｏｆ ＳＩＧＧＲＡＰＨ， ｐｐ． ８０４−８１３， ２００４．
［２３］Ｓｃｈｏｗｅｎｇｅｒｄｔ， Ｂ． Ｔ．， ａｎｄ Ｓｅｉｂｅｌ， Ｅ． Ｊ．， "Ｔｒｕｅ ３−Ｄ ｓｃａｎｎｅｄ ｖｏｘｅｌ ｄｉｓｐｌａｙｓ ｕｓｉｎｇ ｓｉｎｇｌｅ ｏｒ ｍｕｌｔｉｐｌｅ ｌｉｇｈｔ ｓｏｕｒｃｅｓ，" Ｊｏｕｒｎａｌ ｏｆ ＳＩＤ， １４（２）， ｐｐ． １３５−１４３， ２００６．
［２４］Ｓ． Ｌｉｕ， Ｈ． Ｈｕａ， Ｄ． Ｃｈｅｎｇ， "Ａ Ｎｏｖｅｌ Ｐｒｏｔｏｔｙｐｅ ｆｏｒ ａｎ Ｏｐｔｉｃａｌ Ｓｅｅ−Ｔｈｒｏｕｇｈ Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ ｗｉｔｈ Ａｄｄｒｅｓｓａｂｌｅ Ｆｏｃｕｓ Ｃｕｅｓ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， １６（３）， ３８１−３９３， （２０１０）．
［２５］Ｓ． Ｌｉｕ ａｎｄ Ｈ． Ｈｕａ， "Ａ ｓｙｓｔｅｍａｔｉｃ ｍｅｔｈｏｄ ｆｏｒ ｄｅｓｉｇｎｉｎｇ ｄｅｐｔｈ−ｆｕｓｅｄ ｍｕｌｔｉ−ｆｏｃａｌ ｐｌａｎｅ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｐｌａｙｓ，" Ｏｐｔ． Ｅｘｐｒｅｓｓ， １８， １１５６２−１１５７３， （２０１０）
［２６］Ｘ． Ｈｕ ａｎｄ Ｈ． Ｈｕａ， "Ｄｅｓｉｇｎ ａｎｄ ａｓｓｅｓｓｍｅｎｔ ｏｆ ａ ｄｅｐｔｈ−ｆｕｓｅｄ ｍｕｌｔｉ−ｆｏｃａｌ−ｐｌａｎｅ ｄｉｓｐｌａｙ ｐｒｏｔｏｔｙｐｅ，" Ｊｏｕｒｎａｌ ｏｆ Ｄｉｓｐｌａｙ Ｔｅｃｈｎｏｌｏｇｙ， Ｄｅｃｅｍｂｅｒ ２０１３．
［２７］Ｓｕｙａｍａ， Ｓ．， Ｏｈｔｓｕｋａ， Ｓ．， Ｔａｋａｄａ， Ｈ．， Ｕｅｈｉｒａ， Ｋ．， ａｎｄ Ｓａｋａｉ， Ｓ．， "Ａｐｐａｒｅｎｔ ３Ｄ ｉｍａｇｅ ｐｅｒｃｅｉｖｅｄ ｆｒｏｍ ｌｕｍｉｎａｎｃｅ−ｍｏｄｕｌａｔｅｄ ｔｗｏ ２Ｄ ｉｍａｇｅｓ ｄｉｓｐｌａｙｅｄ ａｔ ｄｉｆｆｅｒｅｎｔ ｄｅｐｔｈｓ，" Ｖｉｓｉｏｎ Ｒｅｓｅａｒｃｈ， ４４： ７８５−７９３， ２００４．
［２８］Ｊ． Ｈｏｎｇ， Ｓ． Ｍｉｎ， ａｎｄ Ｂ． Ｌｅｅ， "Ｉｎｔｅｇｒａｌ ｆｌｏａｔｉｎｇ ｄｉｓｐｌａｙ ｓｙｓｔｅｍｓ ｆｏｒ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ，" Ａｐｐｌｉｘｅｄ Ｏｐｔｉｃｓ， ５１（１８）：４２０１−９， ２０１２．
［２９］Ａ． Ｍａｌｍｏｎｅ， ａｎｄ Ｈ． Ｆｕｃｈｓ， "Ｃｏｍｐｕｔａｔｉｏｎａｌ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｅｙｅｇｌａｓｓｅｓ，" Ｐｒｏｃ． ｏｆ ＩＳＭＡＲ ２０１２．
［３０］Ｒｏｌｌａｎｄ， Ｊ． Ｐ．， ａｎｄ Ｈｕａ， Ｈ．， "Ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ ｓｙｓｔｅｍｓ，" ｉｎ Ｅｎｃｙｃｌｏｐｅｄｉａ ｏｆ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ （Ｅｄｉｔｏｒｓ： Ｒ． Ｂａｒｒｙ Ｊｏｈｎｓｏｎ ａｎｄ Ｒｏｎａｌｄ Ｇ． Ｄｒｉｇｇｅｒｓ）， Ｎｅｗ Ｙｏｒｋ， ＮＹ： Ｍａｒｃｅｌ Ｄｅｋｋｅｒ， ｐｐ． １−１３， ２００５．
［３１］Ｈ． Ｍｕｋａｗａ， Ｋ． Ａｋｕｔｓｕ， Ｉ． Ｍａｔｓｕｍｕｒａ， Ｓ． Ｎａｋａｎｏ， Ｔ． Ｙｏｓｈｉｄａ， Ｍ． Ｋｕｗａｈａｒａ， ａｎｄ Ｋ． Ａｉｋｉ， Ａ ｆｕｌｌ−ｃｏｌｏｒ ｅｙｅｗｅａｒ ｄｉｓｐｌａｙ ｕｓｉｎｇ ｐｌａｎａｒ ｗａｖｅｇｕｉｄｅｓ ｗｉｔｈ ｒｅｆｌｅｃｔｉｏｎ ｖｏｌｕｍｅ ｈｏｌｏｇｒａｍｓ， Ｊ． Ｓｏｃ． Ｉｎｆ． Ｄｉｓｐｌａｙ １９ （３）， ｐｐ． １８５-１９３， ２００９．
［３２］ｈｔｔｐ：／／ｗｗｗ．ｌｕｍｕｓ−ｏｐｔｉｃａｌ．ｃｏｍ／
［３３］ｈｔｔｐ：／／ｗｗｗ．ｉｎｎｏｖｅｇａ−ｉｎｃ．ｃｏｍ
［３４］ｈｔｔｐ：／／ｗｗｗ．ｅｐｓｏｎ．ｃｏｍ／ｃｇｉ−ｂｉｎ／Ｓｔｏｒｅ／ｊｓｐ／Ｍｏｖｅｒｉｏ／Ｈｏｍｅ．ｄｏ
［３５］ｈｔｔｐ：／／ｗｗｗ．ｇｏｏｇｌｅ．ｃｏｍ／ｇｌａｓｓ／ｓｔａｒｔ／
［３６］Ｍ． Ｍａｒｔｉｎｅｚ−Ｃｏｒｒａｌ， Ｈ． Ｎａｖａｒｒｏ， Ｒ． Ｍａｒｔｉｎｅｚ−Ｃｕｅｎｃａ， Ｇ． Ｓａａｖｅｄｒａ， ａｎｄ Ｂ． Ｊａｖｉｄｉ， "Ｆｕｌｌ ｐａｒａｌｌａｘ ３−Ｄ ＴＶ ｗｉｔｈ ｐｒｏｇｒａｍｍａｂｌｅ ｄｉｓｐｌａｙ ｐａｒａｍｅｔｅｒｓ，" Ｏｐｔ． Ｐｈｏｔ． Ｎｅｗｓ ２２， ５０−５０ （２０１１）．
［３７］Ｊ． Ｓ． Ｊａｎｇ ａｎｄ Ｂ． Ｊａｖｉｄｉ， "Ｌａｒｇｅ ｄｅｐｔｈ−ｏｆ−ｆｏｃｕｓ ｔｉｍｅ−ｍｕｌｔｉｐｌｅｘｅｄ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ｂｙ ｕｓｅ ｏｆ ｌｅｎｓｌｅｔｓ ｗｉｔｈ ｎｏｎ−ｕｎｉｆｏｒｍ ｆｏｃａｌ ｌｅｎｇｔｈｓ ａｎｄ ａｐｅｒｔｕｒｅ ｓｉｚｅｓ，" Ｏｐｔ． Ｌｅｔｔ． ｖｏｌ． ２８， ｐｐ． １９２４−１９２６ （２００３）．
［３８］Ｃｈｉｈ−Ｗｅｉ Ｃｈｅｎ， Ｍｙｕｎｇｊｉｎ Ｃｈｏ， Ｙｉ−Ｐａｉ Ｈｕａｎｇ， ａｎｄ Ｂａｈｒａｍ Ｊａｖｉｄｉ， "Ｉｍｐｒｏｖｅｄ ｖｉｅｗｉｎｇ ｚｏｎｅｓ ｆｏｒ ｐｒｏｊｅｃｔｉｏｎ ｔｙｐｅ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ３Ｄ ｄｉｓｐｌａｙ ｕｓｉｎｇ ａｄａｐｔｉｖｅ ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｐｒｉｓｍ ａｒｒａｙ，" ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｄｉｓｐｌａｙ Ｔｅｃｈｎｏｌｏｇｙ， ２０１４．
［３９］Ｘｉａｏ Ｘｉａｏ， Ｂａｈｒａｍ Ｊａｖｉｄｉ， Ｍａｎｕｅｌ Ｍａｒｔｉｎｅｚ−Ｃｏｒｒａｌ， ａｎｄ Ａｄｒｉａｎ Ｓｔｅｒｎ ， "Ａｄｖａｎｃｅｓ ｉｎ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｉｎｔｅｇｒａｌ Ｉｍａｇｉｎｇ： Ｓｅｎｓｉｎｇ， Ｄｉｓｐｌａｙ， ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，" Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ， ５２（４）：． ５４６-５６０，２０１３．
［４０］Ｊ． Ｓ． Ｊａｎｇ， Ｆ． Ｊｉｎ， ａｎｄ Ｂ． Ｊａｖｉｄｉ， "Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ｗｉｔｈ ｌａｒｇｅ ｄｅｐｔｈ ｏｆ ｆｏｃｕｓ ｂｙ ｕｓｅ ｏｆ ｒｅａｌ ａｎｄ ｖｉｒｔｕａｌ ｉｍａｇｅ ｆｉｅｌｄｓ，" Ｏｐｔ． Ｌｅｔｔ． ２８：１４２１−２３， ２００３．
［４１］Ｓ． Ｂａｇｈｅｒｉ ａｎｄ Ｂ． Ｊａｖｉｄｉ， "Ｅｘｔｅｎｓｉｏｎ ｏｆ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｕｓｉｎｇ Ａｍｐｌｉｔｕｄｅ ａｎｄ Ｐｈａｓｅ Ｍｏｄｕｌａｔｉｏｎ ｏｆ ｔｈｅ Ｐｕｐｉｌ Ｆｕｎｃｔｉｏｎ，" Ｊｏｕｒｎａｌ ｏｆ Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ， ｖｏｌ． ３３， ｎｏ． ７， ｐｐ． ７５７−７５９， １ Ａｐｒｉｌ ２００８．

Claims (21)

1. ３Ｄ拡張現実ディスプレイであって、
   利用者に表示するための仮想３Ｄ画像を提供するマイクロディスプレイと、
   前記マイクロディスプレイから照射光を受け取るように構成された可変焦点ディスプレイ光学部品であって、当該可変焦点光学部品により変更される位置において、前記受け取った照射光の３Ｄ体積を有する３Ｄライトフィールドを生成するように構成されているものである、前記可変焦点ディスプレイ光学部品と、
   前記ディスプレイ光学部品と光学的に通信するアイピースであって、前記可変焦点ディスプレイ光学部品から前記３Ｄライトフィールドの前記３Ｄ体積を受け取って、所定の仮想基準面において、拡大された３Ｄ体積を有する、前記３Ｄライトフィールドの拡大された仮想画像を生成し、当該仮想画像の拡大された３Ｄ体積を前記３Ｄ拡張現実ディスプレイの出射瞳へ伝達するように構成されているものである、前記アイピースと
   を有する３Ｄ拡張現実ディスプレイ。
2. 請求項１記載の３Ｄ拡張現実ディスプレイにおいて、前記可変焦点ディスプレイ光学部品は、液晶レンズ、液体レンズ、メンブレンミラー（ｍｅｍｂｒａｎｅ ｍｉｒｒｏｒ）、または複屈折レンズのうち１若しくはそれ以上を含むものである３Ｄ拡張現実ディスプレイ。
3. 請求項１または２記載の３Ｄ拡張現実ディスプレイにおいて、
   シーン（ｓｃｅｎｅ）から情報を受け取るように構成されたイメージング装置を有するものである３Ｄ拡張現実ディスプレイ。
4. ３Ｄ拡張現実ディスプレイであって、
   利用者に表示するための仮想３Ｄ画像を提供するマイクロディスプレイと、
   前記マイクロディスプレイの３Ｄ体積を有する照射光を受け取り、当該受け取った照射光から３Ｄライトフィールドを生成するように構成されたディスプレイ光学部品と、
   前記ディスプレイ光学部品と光学的に通信するアイピースであって、前記ディスプレイ光学部品から前記生成された３Ｄライトフィールドの３Ｄ体積を受け取って、所定の仮想基準面において、拡大された３Ｄ体積を有する、前記３Ｄライトフィールドの拡大された仮想画像を生成し、当該仮想画像の拡大された３Ｄ体積を前記３Ｄ拡張現実ディスプレイの出射瞳へ伝達するように構成されているものである、前記アイピースと、
   シーンから情報を受け取るように構成されたイメージング装置と
   を有する３Ｄ拡張現実ディスプレイ。
5. 請求項３または４記載の３Ｄ拡張現実ディスプレイにおいて、前記イメージング装置は、カメラを有するものである３Ｄ拡張現実ディスプレイ。
6. 請求項３〜５のいずれか１つに記載の３Ｄイメージング拡張現実ディスプレイにおいて、前記イメージング装置は、インテグラルイメージング画像キャプチャシステムを有するものである３Ｄイメージング拡張現実ディスプレイ。
7. 請求項３〜６のいずれか１つに記載の３Ｄイメージング拡張現実ディスプレイにおいて、前記イメージング装置は、軸方向に分散されたイメージングを使った３Ｄイメージングキャプチャシステムを有するものである３Ｄイメージング拡張現実ディスプレイ。
8. 請求項３〜７のいずれか１つに記載の３Ｄ拡張現実ディスプレイにおいて、前記イメージング装置は、当該イメージング装置が受け取った情報を解析し、当該解析した情報について物体認識を実行する情報キャプチャユニットを含むものである３Ｄ拡張現実ディスプレイ。
9. 請求項３〜８のいずれか１つに記載の３Ｄ拡張現実ディスプレイにおいて、前記イメージング装置は、前記マイクロディスプレイと通信可能に設けられ、前記マイクロディスプレイに前記解析結果を提供するものである３Ｄ拡張現実ディスプレイ。
10. 請求項１〜９のいずれか１つに記載の３Ｄイメージング拡張現実ディスプレイおよび物体認識において、前記画像キャプチャ装置は、被写界深度に関して強化された性能を提供する可変焦点距離光学部品を含むものである３Ｄイメージング拡張現実ディスプレイおよび物体認識。
11. 請求項１〜１０のいずれか１つに記載の３Ｄ拡張現実ディスプレイにおいて、前記ディスプレイ光学部品は、インテグラルイメージング光学部品を有するものである３Ｄ拡張現実ディスプレイ。
12. 請求項１〜１１のいずれか１つに記載の３Ｄ拡張現実ディスプレイにおいて、前記アイピースは選択された表面を有し、この選択された表面は、前記ディスプレイ光学部品から前記３Ｄライトフィールドを受け取り、前記受け取った照射光を前記出射瞳へ反射するように構成され、かつ、当該選択された表面は、前記マイクロディスプレイ以外の光源から照射光を受け取り、前記出射瞳に前記照射光を伝達するように構成されるものである３Ｄ拡張現実ディスプレイ。
13. 請求項１〜１２のいずれか１つに記載の３Ｄ拡張現実ディスプレイにおいて、前記アイピースは、自由曲面プリズム形状を有するものである３Ｄ拡張現実ディスプレイ。
14. 請求項１〜１３のいずれか１つに記載の３Ｄ拡張現実ディスプレイにおいて、前記アイピースは、前記ディスプレイ光学部品から照射光を受け取り、当該照射光を屈折させるように構成された第１の表面を有し、かつ、前記第１の表面から屈折した照射光を受け取るように構成された第２の表面を有し、当該第２の表面は前記アイピースの第３の表面へ前記照射光を反射するように構成され、当該第３の表面は前記第２の表面から反射された照射光を前記出射瞳へ反射するように構成されるものである３Ｄ拡張現実ディスプレイ。
15. 請求項１４記載の３Ｄ拡張現実ディスプレイにおいて、
    前記アイピースの前記第２の表面に隣接して設けられた補正レンズを有するものである３Ｄ拡張現実ディスプレイ。
16. 請求項１〜１５のいずれか１つに記載の３Ｄ拡張現実ディスプレイにおいて、前記アイピースの前記表面のうち１若しくはそれ以上は、回転非対称な表面を有するものである３Ｄ拡張現実ディスプレイ。
17. 請求項１〜１６のいずれか１つに記載の３Ｄ拡張現実ディスプレイにおいて、前記アイピースは、ウェッジ形状を有するものである３Ｄ拡張現実ディスプレイ。
18. 請求項１〜１７のいずれか１つに記載の３Ｄ拡張現実ディスプレイにおいて、前記アイピースは、次式で表される表面を有し、
    

    

    式中、ｚは局所的なｘ、ｙ、ｚ座標系のＺ軸に沿って測定された自由曲面のサグ量、ｃは頂点曲率（ｖｅｒｔｅｘ ｃｕｒｖａｔｕｒｅ：ＣＵＹ）ｃ、ｒは半径方向の距離、ｋは円錐定数、Ｃｊはｘ^ｍｙ^ｎの係数である３Ｄ拡張現実ディスプレイ。
19. 請求項１〜１８のいずれか１つに記載の３Ｄ拡張現実ディスプレイにおいて、前記ディスプレイ光学部品は、ホログラムディスプレイ、多層計算ライトフィールドディスプレイ、および体積ディスプレイとのうち１若しくはそれ以上を有するものである３Ｄ拡張現実ディスプレイ。
20. 請求項１〜１９のいずれか１つに記載の３Ｄイメージング拡張現実ディスプレイにおいて、前記３Ｄライトフィールドは、全方向視差を提供するものである３Ｄイメージング拡張現実ディスプレイ。
21. 請求項１〜２０のいずれか１つに記載の３Ｄイメージング拡張現実ディスプレイにおいて、前記３Ｄライトフィールドは、部分的な視差を提供するものである３Ｄイメージング拡張現実ディスプレイ。

Images