JP2019534717A - 医療処置における感覚増強のためのシステム - Google Patents

Abstract

本発明は、処理ユニット（１０２）、ディスプレイジェネレータ（２０４）、および少なくとも１つのカメラ（２０６）を有するセンサ群（２１０）を有する表示装置（１０４）と、手術器具（６０８）に固定して取り付けらてる少なくとも１つのマーカー（６００）を含む複合現実外科手術ナビゲーションシステム（１０）を提供しており、システム（１０）は、関心のある解剖学的対象（６０４）の部分的に露出された表面の三次元表面をマッピングし、手術器具（６０８）の６自由度の姿勢を追跡し、ユーザ（１０６）の視野内に、手術器具（６０８）の所望の特徴と解剖学的対象（６０４）の所望の特徴の立体虚像を含む複合現実感ユーザ・インターフェースを提供する。本発明は、様々な医療処置においてシステムを使用する方法を提供する。【選択図】図３６Ａ

Description

出願日の利益を主張
本出願は、２０１６年８月１６日に出願された「医療処置における感覚増強のためのシステムおよび方法」という名称の米国仮出願第６０／３７５、４８３号の利益を主張する。

本発明は、外科的、診断的、治療的および麻酔的処置を含むがこれらに限定されない医療処置中の位置決め、位置特定、状況認識のための新規の視覚化および感覚増強デバイス、システム、方法および装置に関する。

患者の変化に影響を与える必要なツールを除いては、ほとんど、またはまったくアシスタンスなしで、現在の医療処置は、通常、外科医または医療専門家によって行われている。例えば、整形外科医は、いくつかの測定器具（例えば定規または類似物）および切断器具（例えば鋸またはドリル）を有してもよいが、外科医への視覚的、聴覚的および触覚的な入力は、アシストされない。つまり、外科医は、手術しているもの以外何も見えず、手術室の他のアシスタントからの通常のコミュニケーション言語以外は何も聞こえず、握っているツールからの通常のフィードバックまたは処置において興味のある他のアイテムを除いて、何も感じない。あるいは、ディスプレイおよびカメラが、外科医から離れた無菌領域の外側に配置される大型コンソール型ナビゲーションまたはロボットシステムが使用される。上記により、外科医は、手術部位と二次元ディスプレイとの間で視線を繰り返しずらす必要がある。ドレープ、人員または器具が無菌領域のマーカーのカメラの視界を遮る場合、カメラから離れた場所では、視線の問題が生じ、カメラの視点は、外傷内のイメージングには役立たない。解剖学的登録は、通常、マーカーがカメラから見えるように、探査するマーカーを備えたスタイラスを用いて行われる。

本発明は、外部スクリーンを見るための不自然な動きまたはユーザの頭の回転を必要としない処置を、視覚的にユーザの視野に入れるために必要なフィードバックの投影を提供する。増強された又は仮想のディスプレイは、ユーザの視覚の自然な拡張または強化として、ユーザに明示される。ユーザのヘッドピースに配置されるセンサとカメラは、ユーザと同じ視点をもっており、それにより、外部カメラに関連するラインオブサイトの不明瞭問題が最小限に抑えられる。本発明の解剖学的表面砂特徴の３Ｄマッピングおよびそれらを術前スキャンからのモデルと照合することは、現在のスタイラスポイントクラウドアプローチより早く、手術中の解剖学的構造を登録するためのより正確な方法を表す。

本発明は、新規な感覚増強デバイスまたは装置を備え、該デバイスまたは装置は、一般にユーザの視覚的、聴覚的、または触覚的感覚のための、医療処置の実施をアシストする少なくとも１つの増強からなる。視覚支援は、拡張現実の形態でのユーザの視野上のリアルタイム視覚オーバーレイの形態で、または仮想現実の形態での視覚シーンの代替として提供することができる。聴覚支援は、単純なビープ音やトーン、または会話や指導のようなより複雑な音の形態で提供できる。触覚支援は、ユーザをガイドする目的で、単純な警告触覚フィードバックまたはより複雑な触覚生成の形態で提供される。好ましい実施形態において、視覚的な（増強されたまたは仮想の）支援は、音声フィードバックまたは触覚フィードバック、あるいは音声フィードバックおよび触覚フィードバックの両方によって補足されるであろう。

本発明は、複合現実外科手術ナビゲーションシステムを提供し、該システムは、処理ユニット、ディスプレイジェネレータ、および少なくとも１つの追跡カメラを有するセンサ群を有する、手術中にユーザ（例えば外科医）によって着用される頭部装着型表示装置（例えばヘッドセットなど）を備え、手術器具に固定して取り付けられた、カメラによって追跡可能な少なくとも１つの視覚的マーカー、処理ユニットは、関心のある解剖学的対象の部分的に露出された表面の三次元表面を、センサ群から受信したデータを使用してマッピングし、処理ユニットは、三次元表面を解剖学的対象の三次元モデルに一致させることによって、解剖学的対象に対する基準フレームを確立し、処理ユニットは、センサ群から受信したデータを用いて、手術器具の６自由度の姿勢を追跡し、処理ユニットは、ディスプレイと通信して、手術器具の所望の特徴およびユーザの視野内の解剖学的対象の所望の特徴の立体虚像を含む複合現実感ユーザ・インターフェースを提供する。

本発明は、さらに、医療処置のために複合現実外科手術ナビゲーションシステムを使用する方法を提供し、該方法は、（ａ）（ｉ）処理ユニット、ディスプレイ、および少なくとも１つの追跡カメラを有するセンサ群を有する頭部装着型表示装置および（ｉｉ）カメラによって追跡可能な少なくとも１つの視覚的マーカーを有する、複合現実外科手術ナビゲーションシステムを提供することと、（ｂ）表示装置をユーザの頭に取り付けることと、（ｃ）マーカーを有する手術器具を提供することと、（ｄ）解剖学的対象の所望の特徴の三次元表面のデータを得るために、センサ群を用いて、関心のある解剖学的対象をスキャンすることと、（ｅ）解剖学的対象の所望の特徴の仮想三次元モデルの登録のために、三次元表面のデータを処理ユニットに送信することと、（ｆ）処理ユニットに送信するためのデータを取得するために、センサ群を使用して、手術器具の６自由度の姿勢を追跡することと、（ｇ）ユーザの視野内に、手術器具の特徴および解剖学的対象の特徴の立体虚像を備える複合現実感ユーザ・インターフェースを表示することを備える。

本発明は、更に、手術ナビゲーションシステム用の複合現実感ユーザ・インターフェースを提供し、該ユーザ・インターフェースは、複合現実外科手術ナビゲーションシステムによって提供される、ユーザの視野内の手術器具の所望の特徴および関心のある解剖学的対象の所望の特徴の立体虚像を備え、該ナビゲーションシステムは、（ｉ）処理ユニット、ディスプレイ、および少なくとも１つの追跡カメラを有するセンサ群を有する頭部装着型表示装置と、（ｉｉ）カメラによって追跡可能な少なくとも１つの視覚的マーカーを有し、複合現実感ユーザ・インターフェースは、以下のプロセスによって得られる：（ａ）頭部装着型表示装置をユーザの頭に装着することと、（ｂ）マーカーを有する手術器具を提供することと、（ｃ）解剖学的対象の部分的に露出された表面の三次元表面のデータを得るために、センサ群を使用して、所望の解剖学的対象をスキャンすることと、（ｄ）解剖学的対象の特徴の仮想三次元モデルの登録のために、三次元表面のデータを処理ユニットに送信することと、（ｅ）処理ユニットに送信するためのデータを取得するために、センサ群を使用して、手術器具の６自由度の姿勢を追跡することと、（ｆ）ユーザの視野内に手術器具の特徴および解剖学的対象の特徴の立体虚像を備える複合現実感ユーザ・インターフェースを表示すること。

本発明のいくつかの実施形態は例として図示されており、添付の図面の図によって限定されず、同様の参照符号は同様の要素を示す。
図１は、本発明の原理による増強システムの概略図である。 図２Ａは、図１のシステムの表示装置の概略図の斜視正面図である。 図２Ｂは、図２Ａの表示装置の背面斜視図である。 図３は、図１のシステムの表示装置の別の実施形態の概略図である。 図４は、図１のシステムの電気ハードウェア構成の概略図である。 図５は、図１のシステムのマーカーおよびカメラの概略図である。 図６は、仮想骨盤を示す股関節置換術における寛骨臼殻の位置決め中の図１のシステムにより提供される複合現実感ユーザ・インターフェース画像（「ＭＸＵＩ」）の概略図である。 図７は、仮想骨盤および仮想寛骨臼インパクターを示す股関節置換術における寛骨臼殻の位置決め中の、図１のシステムによって提供されるＭＸＵＩを示す概略図である。 図８は、医療処置中の図１のシステムの操作プロセスを示すフローチャートである。 図９は、本発明の原理による股関節置換術を実施するための図１のシステムを使用する方法を示すフローチャートである。 図１０は、本発明の原理による一般的な医療処置を実施するための図１のシステムを使用する方法を示すフローチャートである。 図１１は、寛骨臼殻と光学マーカーを含む股関節インパクターアセンブリの概略図の斜視図を示す。 図１２は、図１１に示す股関節インパクターアセンブリの分解図である。 図１３Ａは、図１のシステムに任意に含まれる解剖学的マーカーセンブリの概略図の斜視図である。 図１３Ｂは、図１３Ａに示される解剖学的マーカーのクランプアセンブリの斜視図である。 図１４は、図１３Ａに示される解剖学的マーカーセンブリの分解図である。 図１５は、図１のシステムに任意に含まれるキャリブレーションアセンブリの概略図の斜視図である。 図１６は、図１５に示されるキャリブレーションアセンブリの分解正面図である。 図１７は、図１６に示されるキャリブレーションアセンブリの分解背面図である。 図１８は、様々なキャリブレーションステップ中に；図１のシステムによって提供されるＭＸＵＩの概略図を示す。 図１９は、股関節置換術の骨盤登録ステップ中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図２０は、股関節置換術の骨盤へのピンの挿入中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図２１は、股関節置換術の骨盤登録ステップ中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図２２は、股関節置換術の大腿骨登録ステップ中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図２３は、股関節置換術の大腿骨頸部の切除中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図２４は、股関節置換術における寛骨臼殻の位置決め中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図２５は、股関節置換術における寛骨臼殻の位置決め中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図２６は、股関節置換術における大腿骨の再配置中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図２７は、股関節置換術中にＣアームを使用する、図１のシステムによって提供されるＭＸＵＩの概略図である。 図２８は、本発明の原理による外科手術におけるＣアームと関連して、図１のシステムがどのように使用されるかを示すフローチャートである。 図２９は、図１のシステムに任意に含まれる機器識別および追跡ラベルの概略図の正面図である。 図３０は、本発明の原理による図１のシステムを使用して、医療機器を登録、共有および追跡するための方法のフローチャートである。 図３１は、脊椎固定術における超音波プローブを使用しての、脊椎の登録中の図１のシステムによって提供されるＭＸＵＩの概略図である。 図３２は、オープン脊椎固定術におけるスタイラスを使用しての、脊椎の登録中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図３３は、図３２の外科用露出部分の拡大正面図である。 図３４は、脊椎固定術における椎弓根の穿孔中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図３５は、図３４の仮想ドリルおよびターゲット部分の拡大図である。 図３６Ａは、図１のシステムのＡＲヘッドセットを装着しているユーザの概略図の斜視正面図である。 図３６Ｂは、保護フェイスシールドを有する図１のシステムのＡＲヘッドセットを装着しているユーザの概略図の背面斜視図である。 図３７Ａは、手術用ヘルメットを有する図１のシステムのＡＲヘッドセットを装着しているユーザの概略図の斜視正面図である。 図３７Ｂは、図３７Ａに示されるアイテムの背面斜視図である。 図３８Ａは、図１のシステムの様々なコンポーネントの概略図の斜視正面図である。 図３８Ｂは、図３７Ａに示される手術用ヘルメットの背面斜視図である。 図３９は、図３６Ａに示されるＡＲヘッドセットの斜視正面図である。 図４０は、図３７Ａに示される手術用ヘルメットの分解図である。 図４１Ａは、図４０に示される電気機械結合板の底面透視図である。 図４ＩＢは、図４０に示される電気機械結合板の上面斜視図である。 図４２は、膝関節置換術において使用される、図３７Ａに示されるシステムのコンポーネントの斜視正面図である。 図４３は、膝関節置換術における大腿遠位の登録中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図４４は、膝関節置換術における切除面計画中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図４５は、膝関節置換術における切断ブロックの位置決めのためのピンの配置中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図４６は、膝関節置換術における脛骨切除中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図４７は、膝関節置換術中に使用される、図１のシステムに任意に含まれる膝バランシングデバイスの概略図の斜視正面図である。 図４８は、膝関節置換術におけるバランス評価；中の、図１のシステムによって提供されるＭＸＵＩの概略図である。 図４９は、図４７に示される膝バランシングデバイスの斜視正面図である。

本明細書で使用される用語は、特定の実施形態を説明することのみを目的としており、本発明を限定することを意図するものではない。本明細書で使用されるとき、用語「および／または」は、関連する記載されているアイテムのうちの一つ以上のありとあらゆる組合せを含む。本明細書で使用されるとき、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明らかに他を示さない限り、複数形および単数形を含むことを意図している。本明細書で使用されるとき、用語「備える」（ｃｏｍｐｒｉｓｅｓ）および／または「備える」（ｃｏｍｐｒｉｓｉｎｇ）は、述べられた特徴、ステップ、動作、要素、および／または構成要素、および／またはそれらのグループの存在を特定することがさらに理解されるであろう。

他に定義されない限り、本明細書で使用される全ての用語（技術的および科学的用語を含む）は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書で定義されているような用語は、関連技術および本開示と関連する意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、用語は理想的な意味または過度に形式的な意味で解釈されることはないことを理解されたい。

本発明を説明するにあたり、多数の技術およびステップが開示されていることが理解されよう。これらの各々は個々の利益を有し、そして各々はまた、他の開示された技術のうちの１つ以上、または場合によってはすべてと併せて使用され得る。したがって、明確にするために、この説明は、個々のステップのあらゆる可能な組み合わせを不必要な方法で繰り返すことを控える。それにもかかわらず、明細書および特許請求の範囲は、そのような組み合わせが完全に本発明および特許請求の範囲内にあることを理解して読まれるべきである。

医療処置を補助するためのデータを提供するための新しい感覚増強デバイス、装置、および方法が本明細書に記載されている。以下の説明では、説明の目的で、本発明の完全な理解を提供するために多数の具体的な詳細が述べられている。しかしながら、本発明を特定の詳細なしに実施できることは当業者に明らかであろう。
Ｉ．感覚増強システム

図１、２Ａ、２Ｂ、および３を参照すると、本発明の感覚増強システム１０は、医療処置における使用のために提供されている。システム１０は、一つ以上の視覚的マーカー（１００、１０８、１１０）と、処理ユニット１０２と、一つ以上の追跡カメラ２０６を有するセンサ群２１０と、ユーザ１０６が見るために、表示装置１０４上に視覚的表示を生成するディスプレイジェネレータ２０４を有する表示装置１０４を含む。表示装置１０４がユーザの視覚入力を増強できるよう、表示装置１０４は、ユーザ１０６に取り付けられる。好ましい一実施形態において、表示装置１０４は、ユーザ１０６の頭に取り付けられる。あるいは、依然として視覚シーンを増強しながら、表示装置１０４は、ユーザ１０６とは別に配置される。一実施形態において、マーカー（１００、１０８、および１１０）のそれぞれは、互いに視覚的に区別され、異なるので、マーカーはそれぞれカメラ２０６によって追跡することができる。

図２Ａおよび２Ｂ参照すると、表示装置１０４の他の例示的な実施形態は、ディスプレイジェネレータ２０４のビデオディスプレイの焦点をユーザ１０６の目に合わせることを可能にする光学系２０２を有するバイザーハウジング２００を有する。センサ群２１０は、表示装置１０４に取り付けられているか、表示装置１０４の一部となっている。バイザーハウジング２００は、ユーザ１０６の視線に対する表示装置１０４の位置合わせが一定で再現可能であるように、ユーザ１０６の頭または顔への取り付けを可能にする取り付け機構２０８を含む。

図３を参照すると、表示装置１０４の他の例示的な実施形態は、ディスプレイジェネレータ３０２からユーザ１０６の目の視界内にデータおよびイメージを重ね合わせるシールド３００への投影を可能にするクリアフェイスシールド３００を含む。センサ群３０６は表示装置１０４に取り付けられているか、表示装置１０４の一部である。表示装置１０４は、更に、取り付け機構３０４を含む。センサ群３０６および取り付け機構３０４は、センサ群２１０と上記の取り付け機構２０８と同じ機能を果たす。

システム１０の電子ハードウェア構成を図示する図４を参照すると、センサ群（２１０、３０６）は、一つ以上の追跡カメラ４０２、４０４、４０６（２０６と同じ）を含むだけでなく、任意に、慣性測定ユニット（「ＩＭＵ」）４０８、他のセンサまたは制御装置と通信するための無線機４１０、明確な視野のために全ての表示されたアイテムを除去することを含むがこれに限定されず、異なる表示モードでの音声起動のためのマイクロフォン４１６、可聴警告および他の目的のための一つ以上のスピーカー４１８、および振動モータ、圧電ブザー、または他の実施形態の形態の触覚フィードバック４２０を含む。ＩＭＵ４０８は、視覚的に基づいていないオブジェクトについての、追加方向およびローカリゼーションデータを提供する。ＩＭＵ４０８は、それらに限定されないが、関心のあるオブジェクトの表面マップの位置特定および生成をアシストする非マーカー特定ルーム特徴を決定するために、カメラ追跡およびＦＭＵ４０８データから同時位置特定およびマッピング（「ＳＬＡＭ」）データの生成に使用できる。さらに、センサ群（４００、２１０、および３０６）は、有線、無線または記憶されたメモリによって中継される外部データ４１４を含む。外部データ４１４は、任意に、Ｘ線透視画像、コンピュータ断層撮影（「ＣＡＴ」または「ＣＴ」）スキャン、陽電子放出断層撮影（「ＰＥＴ」）スキャンまたは磁気共鳴画像（「ＭＲＩ」）データなどの形態であり得る。増強画像を作成するために、そのようなデータは、センサ群（４００、２１０、および３０６）によって収集された他のデータと組み合わせることができる。

システム１０の動作中、ディスプレイジェネレータ４１２（２０４および３０２と同じ）および処理ユニット４０１（１０２と同じ）は、センサ群（２１０、３０６）について、上記のコンポーネントと電子通信する。処理ユニット４０１は、表示管理およびアルゴリズム実行を制御する中央処理装置（「ＣＰＵ」）である。図４を参照すると、システム１０は、任意に、一つ以上の遠隔センサ群４２２を含む。遠隔センサ群は、物理的に表示装置１０４から離れて配置される。遠隔センサ群４２２のそれぞれは、センサ群（２１０、３０６）について、上記のコンポーネントのいくつかまたはすべてを含む。遠隔センサ群４２２はまた、任意に、別個の遠隔処理ユニットを含んでもよい。遠隔センサ群４２２は、データを外部データ４１４に提供し、外部データ４１４は、必要に応じて、処理ユニット４０１によってさらに処理されてもよい。別の実施形態において、ユーザ１０６に関して、視野内のオブジェクトをローカライズするために、システム１０は、遠隔群４２２を使用して、視野に配置されているマーカーだけでなく、ユーザ１０６が装着している表示部１０４に取り付けられた任意のマーカーも追跡する。

例示的な一実施形態において、システム１０は、センサ群（４２２、２１０、３０６）を使用して、ワークスペース内のオブジェクトを表すデータの三次元点群を作成する。このデータは、後の追跡、視覚化、または再生に使用するために、既にモデル化されているオブジェクトを作成または一致させるために使用できる。

さらに、関心のある領域およびアイテムの強調をアシストするための処置の対象ではない露出周辺の開創器または軟組織を含むが、これに限らない、視野内のオブジェクトを覆い隠すために、システム１０は、任意で、技術的に開示された手段を使用して、イメージおよびマスクを重ね合わせることができる。一実施形態において、オーバーレイを使用して、拡張現実（「ＡＲ」）モードで、外部画像を投影することができる。別の実施形態において、外部画像は無視されてもよく、仮想現実（「ＶＲ」）モードでユーザ１０６にデータを表示するために、コンピュータ生成グラフィックのみが使用されてもよい。外部の視覚データを遮断するために、表示装置１０４またはその一部が不透明にされている場合、あるいは、集中すべきはイメージで、外部画像ではないことをユーザ１０６に強調するために他の何らかの方法が使用される場合、ＶＲモードは、サポートされる。

表示装置１０４の他の代替実施形態は、ユーザ１０６の視野へのホログラフィックまたは疑似ホログラフィック・ディスプレイ投影を含むが、それに限定されない。さらに、表示装置は、任意に、ユーザ１０６の視野に関する最適な表示画像の決定を可能にする視標追跡の技術的に開示された手段を提供してもよい。

システム１０は、任意に、視野内のアイテム間を区別するためのアルゴリズムを使用して、現在のタスクに重要ではないオブジェクトに対して、何が関心のあるオブジェクトを構成するかを識別する。比較のために使用される股関節寛骨臼上の骨の目印の識別、および同じ視野で見ることができる軟組織およびツールにも関わらず、術前スキャンとの併合を含むが、これに限定さらない。

図５を参照すると、センサ群（４００、４２２、２１０、および３０６）の一つ以上のカメラ５００、５０６および一つ以上の視覚的マーカー５０２、５０４を使用して、個別のオブジェクト（例えば、手術器具、解剖学的対象内の所望の場所など）を視覚的に追跡し、ユーザ１０６に対する姿勢および位置を決定する。一実施形態において、一つ以上のマーカーのそれぞれは、区別され、視覚的に互いに異なる。独立した物体認識および機械視覚技術を、マーカー認識のために使用することができる。あるいは、本発明は、マーカー５０２、５０４を含むが、これに限られない一つ以上の関心のあるオブジェクトのために、ＩＭＵ４０８を使用した支援追跡を提供する。一つ以上のカメラ５００、５０６はユーザ１０６から遠隔に配置されてもよく、追跡および位置特定のためにＸ線画像データを提供することができることに留意されたい。

最適なフィルタリングアルゴリズムを任意に使用して、利用可能なすべてのソースからのデータを組み合わせて、視野内のアイテムのために、最も正確な位置および方向のデータを提供する。このフィルタ方式は、イ通気口を収容することができ、イ通気口は、カメラの視野の閉塞、血液、組織、または関心のある所望の領域のその他の有機的な一時的閉塞、カメラの視野を関心のある領域から遠ざける、頭の動きまたは他のカメラの動き、データドロップアウト、およびバッテリ／電源の消耗またはその他の機器の損失を含むが、これらに限定されない。

図３６Ａ、３６Ｂ、３７Ａ、３７Ｂ、３８Ａ、３８Ｂ、３９、４１Ａおよび４１Ｂを参照すると、表示装置１０４の他の例示的な実施形態は、ＡＲヘッドセット３６００である。ＡＲヘッドセット３６００は、様々な滅菌外科手術に使用される（例えば、脊椎固定術、股関節形成術および膝関節形成術など）。サムホイール３６０６を回転してヘッドストラップ３６０４を調整することにより、ＡＲヘッドセット３６００は、外科医３６０２（即ち、ユーザ１０６）の頭に固定されている。透明な保護フェイスシールド３６０８は、マジックテープ３６１０への取り付けにより、任意にデバイス３６００に取り付けられる。あるいは、取り付けは、接着剤、磁気、留め金または他の技術開示の取り付け手段を介してもよい。手術用ヘルメット３７００のＡＲヘッドセット３６００への機械的および電気的な取り付けのために、結合機構３６１２は存在する。手術用ヘルメット３７００は、外科医３６０２のための全身カバーを提供する外科用フード（図示せず）に任意に接続されている。全身カバーは、股関節形成術および膝関節形成術などの特定の外科手術に有用である。手術用ヘルメット３７００を外科用フードへ取り付ける場合、ファンが外科用フードを通して、吸気口３７０２に空気を吸い込み、外科用フードおよびヘルメット下を循環して、外科医３６０２を冷却し、光学部品の曇りを防止する。顎当て３７０４は、外科医３６０２の顔からヘルメット３７００を離す（および該当する場合には、取り付けられた外科用フード）。ＡＲヘッドセット３６００に対する手術用ヘルメット３７００の位置は、外科医３６０２および全てのカメラおよびセンサが手術部位を遮るものなく見ることを可能にするように設計されている。手術用ヘルメット３７００は、外科用フードに取り付けられ、外科用フードとインターフェースをとるのに必要な特徴を含む。可撓性コード３７０６は、ＡＲヘッドセット３６００を、外科医３６０２のベルトに着用できる股関節モジュール３７０８に接続する。交換式バッテリ３８００が、股関節モジュール３７０８に挿入されている。

図３９を参照すると、ＡＲヘッドセット３６００は、視覚増強用の一対のシースルー光学ディスプレイ３９０２を有する表示部３９００と、追跡および２次元デジタルズーム機能および３次元デジタルズーム機能を有する立体撮像機能を実行するための二つの追跡カメラ３９０４を有する。表示部３９００は、深度センサ３９０６と構造化された光投影機３９０８を有する。深度センサ３９０６と投影機３９０８は、表示部３９００の中央に配置されるのが好ましい。その明るさが、音声コマンドによるものを含むＡＲヘッドセット３６００のソフトウェアによって制御されることを可能にするために、外科用ヘッドライト３９０９は、任意に表示部３９００に取り付けられ、ＡＲヘッドセット３６００に電気的に接続されてもよい。明るい背景に対する仮想コンテンツのより良い視覚化を可能にする複合現実感モードにあるとき、例えば、外科用ヘッドライトを薄暗くするまたは外科用ヘッドライトのスイッチを切るために、この特徴が展開されてもよい。対象の高コントラスト照明または低い周囲照明によって時々損なわれる光学追跡を最適化するするためにライトが調整されてもよい。他の例示的な実施形態において、同じ理由で、手術室の照明は、ＡＲヘッドセット３６００のソフトウェアによって無線で制御されてもよい。

図３９と４０を参照すると、ＡＲヘッドセット３６００の後部３９１０は、任意に、マイクロプロセッサや内蔵電池などの電気回路の発熱部品および他の部品を含んでもよい。ＡＲヘッドセット３６００のアーチ形のブリッジ部３９１２およびヘッドストラップ３６０４は、後部３９１０を表示部３９００へ機械的に接続する。ブリッジ部３９１２の一部は、サイズの調節に柔軟に対応する。表示部３９００と後部３９１０の間の電気的接続を提供するために、ブリッジ部３９１２は、配線またはフレキシブル回路基板を含んでもよい。ブリッジ部３９１２は、結合機構３６１２を含み、結合機構３６１２は、複数の位置決め穴３９１４および手術用ヘルメット３７００のファンに電力を供給するための、２つの電気接点３９１６へのアクセスを提供する開口部３９１８を有する強磁性板である。代替実施形態において、結合機構３６１２は、マジックテープ、ラッチまたはねじ部品などの他の技術開示の手段であってもよい。結合機構３６１２は、任意に、追跡性能に有害となる手術用ヘルメット３７００のファンからＡＲヘッドセット３６００へ伝わる機械騒音を最小限に抑える防振マウントを有してもよい。ファン４００４をソフトウェア制御して、機械騒音の発生を最小限に抑えるために、ファンの速度を落としたりシャットダウンしたりできる。ファンは、音声コマンドを使用して外科医３６０２によって制御されてもよい。可撓性コード３７０６は、後部３９１０を股関節モジュール３７０８に接続する。

図４０を参照すると、手術用ヘルメット３７００は、中空シェル４００２をふくみ、その中で、ファン４００４は、冷却空気を外科医に提供するために、シェル内の様々な通気口を通して排出される空気を吸い込む。つば付き通気口４００６は、外科用フードのバイザー上に空気流を提供し、後部通気口４００８は、ＡＲヘッドセット３６００の後部３９１０を含む後部へ冷却空気を提供する。

図４１Ａおよび４１Ｂを参照すると、連結板３８０２は、ＡＲヘッドセット３６００内の穴３９１４と位置を合わせるための複数のボス４１０２を含む。連結板３８０２はまた、ファン４００４に電力を供給するために、ＡＲヘッドセット３６００の電気接点３９１６と接続するバネ付き電気接点４１０４を有する。連結板３８０２は、さらに、連結板３８０２と結合機構３６１２との間の機械的な保持力を提供する磁石４１０６を有する。

例示的な実施形態において、ＡＲヘッドセット３６００は、デバイスの苦情または設計機能要求を報告するためのシステムとして、任意に使用される。ユーザ・インターフェースは、報告が発生したときに報告を開始するためのメニューオプションまたは音声コマンドを有することができる。これにより、音声およびビデオカメラの記録が作動し、問題が発生している間に、ユーザ１０６が３Ｄで苦情をとらえてナレーションをすることを可能にする。音声またはオプションの選択で、ユーザ１０６は苦情を終結させる。苦情記録は圧縮され、会社にインターネットを介して無線で送信され、より良い診断のために、状況を直接「思い起こ」せるように、優れたデータが苦情処理スタッフに提供される。人工知能を使用して、苦情資料を解析および集計して、パターンを確立して、統計分析を行える。データストリームがリアルタイムで送信されることを除いて、処置の間に、同じシーケンスを使用中のテクニカルサポートに接続されるために使用できる。
ＩＩ．術前処置

本発明は、手術前の作業および外科手術に適用できる。例えば、可能な術前活動を含む代替の一般的な外科手術が記載される。第１に、ＣＴまたはＭＲＩのような患者の関心領域のスキャンを得る。可能であれば、患者は、手術中の位置決めに近い方法で位置決めされるべきである。第２に、これらに限定されないが、歯および骨構造、関心のある静脈および動脈、神経、腺、腫瘍または塊、インプラントおよび皮膚表面を含む、関心のあるアイテムの三次元モデルにデータを変換するために、スキャンデータのセグメンテーションが実行される。後で表示され、ラベル付けされ、独立して操作できるよう、モデルは分離されている。これらは、術前モデルと称される。第３に、これらに限定されないが、解剖学的基準フレーム、切除面の対象、切り取られる量、切除のための面とレベル、使用するインプラントのサイズと最適配置、対象組織にアクセスするための経路および軌道、ガイドワイヤの軌道と深さ、ドリル、ピン、ネジまたは器具を含むアイテムを識別するために、モデルを使用して術前計画が行われる（任意にモデルの視覚化と操作にＶＲを使用）。第４に、モデルおよび術前計画データは、手術前または手術時に表示装置１０４のメモリにアップロードされる。このアップロードプロセスは、無線機を介して無線で最も便利に実行されるであろう。

第５に、患者は手術のために準備され位置づけられている。手術中、手術部位は、理想的にはその後の登録目的のために、皮膚表面の視覚化を最大にする方法で、ドレープされる。これは、Ｉｏｂａｎ（商標）の十分な使用により達成することができる。広い照明、点または投影パターの特定のＬＥＤまたは可視光エミッターの対象となる場合、異なるように蛍光を発し、反射するＩｏｂａｎのようなフィルムを使用することが有益である。このフィルムはまた、ヘッドピースの光学カメラのよる容易な認識を可能にする光学的特徴、マーカーまたはパターンを有してもよい。

第６に、患者が手術のために準備され、配置されたあと、システム１０は（例えば、ＡＲヘッドセット３６００を介して）現在の皮膚エンベロープをスキャンして、その現在の輪郭を確立し、ユーザ１０６が表示装置１０４で見ることができる術前３Ｄモデルを作成する。好ましい方法は、既知の画像の計算されたワープ／スキュー／スケールから皮膚エンベロープの決定を可能にする赤外線（「ＩＲ」）域で格子または市松模様を投影することである。別の方法は、露出した皮膚に沿って、マーカーが付いたスタイラスタイプのオブジェクトを前後に動かすことであり、スタイラスの位置と方向の追跡と、次の皮膚エンベロープの生成が可能になる。任意に、皮膚モデルは、スキャンされた露出した皮膚の一般的な領域の輪郭を描くユーザ１０６に表示される。手術前の皮膚モデルの最適な位置および方向は、現在の皮膚表面と一致するように計算される。適切な術前モデルは、表示装置１０４を介して、ユーザ１０６に３Ｄで表示される。任意に、正確な追跡のために、ユーザ１０６は、光学マーカーを患者の骨に挿入してもよい。マーカーの配置は、術前モデルの人間の視覚化によって知らされてもよい。術前モデルの位置および方向は、これに限定されないが超音波を含む代替のプロービングまたはイメージングによってさらに精緻化することができる。

第７に、手術中に、表示装置１０４を含むシステム１０を使用しているユーザ１０６は、術前計画情報を見ることができ、器具およびインプラントを追跡することができ、これに限定されないが、解剖学的構造に対するドリルまたはネジの深さ、器具の角度、骨切りの角度などを含む種々の術中測定値を提供する。

図８を参照すると、システム１０を使用した処置中の動作フローの例示的な実施形態が提示されている。この実施形態において、ＣＰＵ４０１は起動し（８００）、一つ以上のカメラ４０２、４０４、４０６が初期化される（８０２）。カメラ４０２、４０４、４０６の視野内にあるとき、第１のマーカー１００が配置され、識別され（８０４）、後に、次のマーカー１０８、１１０が続く（８０６）。これらのマーカー１００、１０８、１１０の追跡は、互いに対する位置および方向ならびに主カメラの位置を提供する（８０８）。ＩＭＵなどのセンサからの代替センサデータおよび遠隔センサ群４２２からのカメラ（８１０）は、任意に、データ収集に組み込むことができる。更に、患者、対象、ツール、または環境の他の部分に関する外部支援データ（８１２）が、アルゴリズムで使用するために任意に組み込まれてもよい。本発明で使用されるアルゴリズムは、特定の処置およびデータ収集に合わせて調整されている。アルゴリズム（８１４）は、表示装置（８１６）で使用するための所望の支援データを出力する。
ＩＩＩ．股関節置換術

本発明の例示的な一実施形態において、図６を参照すると、システム１０は、股関節置換手術に使用されており、第１のマーカー６００は、固定具６０２を介して、骨盤６０４に取り付けられており、第２のマーカー６０６は、インパクター６０８に取り付けられている。ユーザ１０６は、表示装置１０４を介して、図６に示される複合現実感ユーザ・インターフェース画像（「ＭＸＵＩ」）を見ることができる。ＭＸＵＩは、股関節置換術中に、ユーザの視野内の骨盤６０４およびインパクター６０４の立体虚像を提供する。

前処理と特定のアルゴリズムに組み合わせられた、これらの物理的なオブジェクト上のマーカー（６００、６０６）の組み合わせは、寛骨臼殻６１２の正確な配置のための骨盤６０４に対するインパクター６０８のリアルタイムバージョンおよび傾斜角度を含む、ユーザ１０６が関心のある尺度の計算を可能にする。さらに、これに限定されないが、全体的な脚の長さの変化を含む、術前から術後の状態への物理パラメータの測定値が提示できる。データの提示は、可読形式６１０またはこれに限定されないが、ツールの３Ｄ表現または他のガイダンス形式を含む、画像の形式であってもよい。

図７は、図６で以前に示されたＭＸＵＩの代替図を示しており、所望のバージョンおよび傾斜を達成する際に、容易に使用できるよう、仮想ターゲット７００および仮想ツール７０２がユーザ１０６に示されている。この実施形態において、完全に見える実際のツール７０２を有する仮想ターゲット７００または完全に見える仮想ターゲットを含む仮想ツール（図示せず）を有することによって、ユーザにとって自然な感じの経験を最適化するために、仮想現実の組み合わが使用される。実画像と仮想画像の他の組み合わせを任意に提供することができる。データの提示は、可読形式７０４またはこれに限定されないが、ツールの３Ｄ表現または他のガイダンス形式を含む画像の形式であってもよい。

図９を参照すると、本発明は、さらに、システム１０を使用して、股関節の骨は、広げられたソケットを有しており、交換用カップが、患者の脚と共に使用するために挿入されている、股関節置換術（９００）を実行する方法を提供している。この実施形態において第１のマーカー（例えば１００、１０８、または１１０など）は、マーカーに関して既知の寸法の固定具に取り付けられ、この固定具は、患者の股関節の骨に取り付けられる（９０２）。第２の別個のマーカー（例えば１００、１０８、または１１０など）は、第１のマーカー（９０４）に関して既知の寸法のポインティングデバイスに取り付けられる。股関節の固定具に対する骨の目印または他の解剖学的目印の位置および方向は、光学マーカーと股関節とポインタの間の位置／方向の違いを使用して、登録される（９０６）。これらの点は、局所座標系を決定するために使用される（９０８）。大腿骨が脱臼する前に、ポインタを使用して、大腿骨の位置および方向を決定し、交換用シェル用のスペースを確保するために股関節の骨の寛骨臼が広げられる（９１０）。交換用シェルが取り付けられたインパクターは、既知の寸法のインパクターが取り付けられた第３の別個のマーカーを有する（９１２）。シェルを有するインパクターは、ヒップマーカーに関して前述のアルゴリズムによって追跡される（９１４）。ヒップマーカーとインパクターとの間の相対位置および配向を使用して、ＡＲまたはＶＲディスプレイを介して、シェルの外科的配置を、患者に対する医療上の要求によって、所望の位置および角度でソケットにガイドする（９１６）。置換された大腿骨のマーカー位置および方向を使用して、処置のこの時点で、脚の長さの変化を計算することができる（９１８）。別の実施形態は、部品位置決めを決定するために、手術前のＣＴデータを使用して、この処置を増強する。別の実施形態は、ＡＲまたはＶＲ方式で表示出力を使用して、大腿骨頭の切断を決定する。別の実施形態は、データを使用して、寛骨臼にネジを配置する。

患者が横たわっているテーブルまたはサポートの座標参照系が、いくつかの実装においいて望ましい。地面、特に重力に関するテーブルの位置合わせは、次のように実現できる。ＥＶＩＵは（ＡＲヘッドセット３６００内に配置されているものなどセンサ群のそれぞれから）は、任意のある瞬間の重力に対する表示装置１０４のピッチおよびロールの方向を提供する。あるいは、ＳＬＡＭまたは類似の環境追跡アルゴリズムは、重力に対する表示装置１０４のピッチおよびロールの方向を提供し、ほとんどの壁とそれらに関連する特徴が、重力ベクトルと平行に構築されると仮定される。重力と表示装置１０４の関係とは別に、テーブルの向きをスタイラスを使用して決定し、テーブル上の３つの独立した点を登録することができる。表示装置１０４の座標枠内でこれらの３つの点が選択された状態で、重力に関するテーブルのロール角およびピッチ角も決定することができる。あるいは、重力に対する向きを決定するために、機械視覚アルゴリズムを使用して、テーブルは、識別および認識されてもよい。ピッチおよびロールにおける、表示装置１０４に対する患者の脊椎の位置合わせ、したがってヒップマーカーによって定義されるような他の任意の目標座標系が知られている。ヨー基準を提供するために、スタイラスをヒップマーカーと組み合わせて使用し、患者の頭がどこに配置されているかを画定し、患者の頭に対する脊椎の方向を提供してもよい。あるいは、自動決定のために、患者の頭部の画像認識を使用することができる。最終的には、テーブルのロール、ピッチ、ヨーおよび／または患者の脊椎は、表示装置１０４および全ての関連する座標系内においてに完全に画定されいる。

図１１および図１２を参照すると、システム１０は、任意に、股関節形成術処置で使用するための股関節インパクターアセンブリ１１００を含んでもよい。アセンブリは、寛骨臼殻１１０２と、寛骨臼インパクター１１０６に組み立てられた光学マーカー１１０４（上記の１００、１０８、１１０、５０２、５０４、６００、６０６、８０４、８０６、９０４、９１２と同じ）を有する。図１２は、アセンブリ１１００の分解図であり、インデックス付きポスト１２００をインデックス付き孔１２０２に挿入することにより、再現可能な方法で、どのように光学マーカー１１０４がインパクター１１０６に取り付けられるかを示している。インパクターのねじ付き遠位端１２０４にねじ込みそして、肩部１２０６に着座することによって、寛骨臼殻１１０２は、再現可能にインパクター１１０６と組み立てる。マーカー１１０４は、第１の基準点１１０８、第２の基準点１１１０および第３の基準点１１１２を有し、それぞれは黒と白の隣接領域を有し、それらの境界は、交差する直線を形成する。ＡＲヘッドセット３６００内のアルゴリズムを使用して、立体カメラからの画像を処理し（３９０４）、それぞれの基準点（１１０８、１１１０、１１１２）の交点を計算し、それによって、マーカー１１０４の６自由度姿勢を決定する。本明細書の目的のために、「姿勢」は、オブジェクトの位置および方向の組み合わせと定義される。自己粘着ステッカーに印刷することによって、黒色の領域を白色のプラスチック材料の表面上にレーザーエッチングすることによって、または別の方法によって、基準点（１１０８、１１１０、および１１１２）を作成することができる。シェルは固定孔１１１４を含み、固定孔１１１４を通して、ネジを任意に使用して、シェル１１０２を寛骨臼の骨に固定する。

他の例示的な実施形態において、図１３Ａ、図１３Ｂ、および図１４を参照すると、システム１０は、任意に、クランプアセンブリ１３０２と光学マーカー１３０４とからなる解剖学的マーカーセンブリ１３００を含む。クランプアセンブリ１３０２は、基部１４００、第１の涙滴形の穴１４０２、および第２の涙滴形の穴１４０４を含む。骨に固定された固定ピン（図示せず）を、涙滴形の穴（１４０２、１４０４）を通して挿入し、締め付け金具１４０６と本体１４００との間に固定することができ、それによって、クランプアセンブリ１３０２を、ピンに、したがって、骨に固定する。クランプねじ１４０８は、ジョーのねじ山と係合し、アセンブリ１３０２をピンに締め付けるために使用される。六角形の穴１４１０は、六角形ドライバを使用して、アセンブリ１３０２を締め付けることを可能にする。第１の保持ピン１４１２および第２の保持ピン１４１４は、クランプアセンブリ１３０２の分解を防止する。マーカー本体１４１６は、第２の位置決めポスト１４２０としての第１の位置決めポスト１４１８と、２つの位置決めポストを、基部の位置決め穴１４２４と位置決めスロット１４２６と係合させることによって、基部１４００に位置を提供する第３の位置決めポスト１４２２を有する。設計は、最適な追跡のために、表示装置１０４（例えば、ＡＲヘッドセット３６００）内のカメラ（例えば、３９０４）に対してマーカー１３０４を向けることを可能にするマーカー１３０４の２つの可能な回転位置を提供する。マーカー本体１４１６は、基部１４００に、充分な保持力を提供する磁石（図示せず）を封入する。

図１５から図１７を参照すると、システム１０は、任意に、プレート１５０２と、プレートとマーカー（１５０２、１５０４）を結合するための舌と溝のアセンブリ機能を有するマーカー１５０４を含む、キャリブレーションアセンブリ１５００を含んでもよい。舌と溝のアセンブリ機能は、金属部品を、金属部品とは異なる熱膨張率を有するプラスチック部品に正確に組み立てるのに特に有用である。プレート１５０２は、様々なインパクタータイプを受け入れるために、複数のねじタイプを有する複数の穴１５０６を有する。マーカー１５０４は、窪み１５０８を有し、窪み内で、スタイラスの先端が、登録のために挿入されてもよい。マーカー１５０４は、複数の基準点１５１０を有する。

図１８は、表示装置１０４（例えば、ＡＲヘッドセット３６００）を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示し、ＭＸＵＩは、様々なキャリブレーションステップに使用されているキャリブレーションアセンブリ１５００を示す。第１に、股関節インパクターアセンブリ１１００を、プレート１５０２の適切な穴にねじ込み、肩部１２０６をプレート１５０２の表面に当たることなくまっすぐに着座させる。ＡＲヘッドセット３６００のカメラ３９０４は、寛骨臼殻が着座するインパクターの肩部と、股関節インパクターアセンブリ１１００のマーカー１１０４との間の関係を決定するために、アルゴリズムによって処理された画像を取り込むことができる。追跡のための複数の基準点１８０２を含むスタイラス１８００が示されている。スタイラス１８００の先端１８０４は、プレート１５０２の窪み１５０８に挿入されてもよく、スタイラス１８００のマーカーに対する先端１８０４の座標を決定することが可能になる。マーカー１５０４に対して、特定の位置で、ユーザ１０６の視野内に投影される仮想ガイドポイント１８０６が示されている。ユーザ１０６は、実際のスタイラス１８００の先端１８０４を、ユーザ１０６の奥行き知覚に従って、仮想ガイドポイント１８０６が位置するところに配置し、それにより、患者の実際のビューを、仮想ガイドポイントによって表わされる仮想ビューと接続する。アルゴリズムは、ユーザ１０６の眼内距離などの変数を考慮するために、補正係数を適用する。仮にユーザの奥行き知覚が、ツールまたはインプラントの正確な位置のために、複合現実状態で頼られるのであれば、上記は有益である。

図１９は、股関節置換術の開始時に患者１９００の表示装置１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す。追跡のための複数の基準点１９０４を有する大腿骨マーカー１９０２、ローバンなどの粘着テープで、患者１９００の太ももの皮膚に取り付けられている。あるいは、図１３Ｂに示すようなピンおよびクランプアセンブリを使用して、大腿骨マーカー１９０２を、大腿骨の骨に直接固定することができる。ユーザ１０６は、スタイラス１８００の先端１８０４を使用して、骨盤の前方の目印を登録し、大腿骨マーカー１９０２の基準フレーム内の骨盤の位置を決定し、一時的な骨盤の基準フレームを確立する。別の実施形態において、この登録は、患者の目に見える表面のＳＬＡＭ走査によって定義される本体基準フレーム内にあり得る。別の実施形態において、ＳＬＡＭを使用して表面マップを生成し、頭の動きによって、各目印上に仮想点１９１０を順番に位置決めすることにより、ユーザ１０６にそれぞれの点を識別させることによって、骨盤の前方の目印を登録することができる。別の実施形態において、単一の基準点１９０６を、登録されるべき場所に配置することができる。仮想円１９０８を使用して、ユーザ１０６の視線によって位置が制御されるマスクを定義できる。機械視覚アルゴリズムは、仮想円１９０８内の単一の基準点１９０６のみを探す。登録ステップは、「登録ポイント」などのユーザ１０６の音声コマンドによって始まる。ユーザ１０６は、膝蓋骨の中央または上顆の内側と外側などの大腿遠位を表す点を登録してもよい。各点が登録されると、小球などの仮想マーカーを配置して、登録時およびそれ以降に、先端の位置に留まり、ユーザ１０６に視覚的確認を提供し、登録の質を確認してもよい。

図２０は、股関節置換術中に仮想骨盤２０００および仮想大腿骨２００２の表示装置１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す。仮に、患者固有のモデルが表示装置１０４にアップロードされている場合、これらのモデルの仮想モデルは、神経血管構造などの関心のある他の仮想機能と共に表示される。アップロードされていない場合、仮想骨盤と仮想大腿骨は、性別特有のモデルであり得、それらは登録された目印の間隔の最も一致するように拡大縮小される。２つの固定ピンのそれぞれについての第１の仮想軌道２００４および第２の仮想軌道２００６が表示されている。他の実施形態において、これらは管状または円錐形であり得る。複数の表面上のマーカーを画定する複数の基準点２０１０を含むドリル２００８が示されおり、様々な視点からの姿勢の追跡を可能にする。ドリルが追跡されない場合、仮想軌道２００４と実際のピン２０１２を並べるか、または、ドリルが追跡される場合、仮想軌道と仮想ピン（図示せず）を並べることにより、各ピンの挿入をガイドすることができる。ドリルが追跡されている場合、骨盤の基準フレームに対するドリルの角度は、Ｘ線画像増強のために数値で表示される。仮想テキスト２０１４は、実際のドリルの表面２０１６に配置され、仮想テキストによって表される角度が関連付けられているオブジェクトをユーザにとって直感的にするドリルで移動する。

図２１は、解剖学的マーカー１３００を、腸骨稜に挿入されたピン２１０６に締め付けることによって、患者の骨盤に取り付けた状態で、股関節置換術中に、表示装置１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す。この時点で、骨盤の追跡に関連する基準フレームは、前の基準フレームから、解剖学的マーカー１３００の基準フレームに転送される。必要に応じて、骨盤を再登録して、精度を上げることができる。大腿骨の股関節と首を露出させるための筋肉と関節包の切開剥離の位置のためのガイドとして、仮想骨盤２１０２、仮想大腿骨２１０４および仮想神経血管構造（図示せず）を使用して、ユーザ１０６は、切開を行い、大腿骨を露出させる。この時点で、ユーザ１０６は、骨盤に対してほぼ中立の外転、屈曲および回転を有する基準位置に脚を置く。

図２２は、大腿骨股関節置換術の登録中に、表示装置１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す。スタイラス１８００の先端は、近位大腿骨上の基準点２２００上に配置される。この時点で、マーカー１９０２と１３００との間の関係によって定義される骨盤に対する大腿骨のベースライン方向が決定され、記録される。さらに、骨盤の基準フレーム内の基準点２２００の座標が記録される。外科用ペンで印を付けること、骨に小さな穴を開けること、または小さなタックを挿入することによって、基準点２２００を強化することができる。図２２に示されるように、登録の精度を上げるために、スタイラスの先端を中心とする拡大された立体画像２２０２が表示される。処置の後半で基準点を見つける際にユーザ１０６を助けるために、ベースライン画像またはスタイラスの点の周囲の領域の画像は、登録時に記録されてもよい。これらは、立体画像であってもよい。スタイラス１８００の先端１８０４を使用して、ユーザ１０６は、大腿骨頸部切断の所望の位置に点を登録する。これは通常、大腿骨頸部の最も優れた／外側の点である。適切な外転角およびバージョン角でこの点を通過する最適切除面が計算される。

図２３は、仮想切除ガイド２３００を用いた股関節置換術の大腿骨頸部の切除中に、表示装置１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す。マーカーを画定する複数の基準点２３０４を有するサジタル鋸２３０２が示されており、サジタル鋸２３０２の姿勢の追跡が可能になる。ドリルが追跡されない場合、実際の鋸刃２３０６を仮想切除ガイド２３００と並べること、或いは、のこぎり２３０２が追跡される場合、仮想の鋸刃（図示せず）を仮想切除ガイド２３００と並べることにより、大腿骨頸部の切除をガイドすることができる。図２０に示される追跡ドリルと同様に、のこぎり２３０２が追跡される場合、のこぎり２３０２の角度が数値で表示されてもよい。これらの角度は、骨盤の基準フレームまたは大腿骨の基準フレームに対して表示され得る。

図２４は、股関節置換術の寛骨臼殻の位置決め中に、表示装置１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示し、寛骨臼インパクターアセンブリ１１００用の仮想ターゲット２４００および仮想シェル２４０２が示されている。寛骨臼インパクターアセンブリ１１００の配置は、仮想ターゲット２４００と整列するするようにそれを操作することによってガイドされる。仮想ターゲットのシェル部分の後部／外側の四分円は、異なる色で表示されてもよく、さもなければ、シェル２４０２の他の部分とは視覚的に区別されて、寛骨臼へのネジの安全な配置のための対象をユーザ１０６に画定してもよい。寛骨臼インパクターの数値角度と、広げられた、または広げられていない寛骨臼に対する挿入の深さは、仮想テキスト２４０４として、数値で表示される。インパクターの先端を中心とする立体画像２２０２に類似の拡大された立体画像（図示せず）が表示されており、仮想シェルが、仮想骨盤２１０２の寛骨臼とどのようにとインターフェースをとるかを示している。

図２５は、股関節置換術の寛骨臼殻の位置決め中に、表示装置１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示しており、寛骨臼インパクターの仮想軸２５００および仮想ターゲット２４００が示されている。寛骨臼インパクターの配置は、それを操作して、仮想軸２５００を仮想ターゲット２４００と整列させることによってガイドされる。

図２６は、股関節置換術の大腿骨の再配置および登録中に、表示装置１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す。ベースライン大腿骨登録中の骨盤に対する大腿骨の術前の向きを表す仮想大腿骨ターゲット２６００が示されている。この上頂部を近位大腿骨上の基準点の近くに置く。大腿骨の現在の向きを表す仮想大腿骨フレーム２６０２が示されている。大腿骨が動かされると、仮想大腿骨フレーム２６０２は、仮想大腿骨ターゲット２６００の上頂部を中心に回転する。大腿骨を操作して、外転、屈曲および回転方向に、仮想大腿骨フレーム２６０２を、仮想大腿骨ターゲット２６００に整列させることによって、ベースライン方向への大腿骨の再配置は達成される。大腿骨がベースライン方向に再配置された状態で、ユーザは、スタイラス１８００の先端１８０４を使用して、近位大腿骨上の基準点を再登録して、ベースライン測定から、脚の長さと横方向のオフセットの変化を決定する。ベースライン大腿骨登録中に、より早く記録されたベースライン画像２６０４は、同じ基準点を正確に再登録するのを助けるために表示されてもよい。
ＩＶ．Ｃアームシステムと関連したシステムの使用

図２７は、Ｃアームを用いた患者の撮像中に、表示装置１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す。Ｘ線源２７０２、撮像部２７０４、および表示部２７０６を有するＣアーム撮像システム２７００が示されている。追跡可能ラベル２７０８が、Ｃアーム２７００に取り付けられている。仮想股関節アライメントガイド２７１０および仮想骨盤アライメントガイド２７１２が示されている。これらは、前部骨盤平面に垂直で、それぞれ股関節および恥骨結合の中心にある。適切な仮想位置合わせガイドと整列するよう撮像部２７０４の表面を調整することによって、Ｃアーム２７００の配置は、ガイドされる。Ｃアーム２７００が追跡可能である場合、仮想Ｃアームアラインメントガイド２７１４が表示されてもよい。この場合、適切な仮想位置合わせガイド２７１０または２７１２と整列するように仮想Ｃアームアラインメントガイド２７１４を調整することにより、Ｃアーム２７００の配置はガイドされる。対象に対する位置および角度のずれも、仮想テキスト２７１８として、数値で表示できる。

図２８は、外科手術において、どのようにシステム１０およびその表示装置１０４（例えば、ＡＲヘッドセット３６００）をＣアーム２７００と共に使用できるかを示すフローチャートである。ＡＲヘッドセット３６００に組み込まれるカメラ３９０４（例えば、高精細カメラなど）を使用して、Ｃアームモニタに表示される画像を取り込むことができる（２８００）。画像は、「四角くする」ように調整でき、それは、カメラ３９０４がモニタ上の画像に対して完全に中心合わせされ、かつそれに対して垂直である場合に見られるものと一致する（２８０２）。撮像されている解剖学的構造に対する撮像装置および線源の位置に関する知識を使用して、線源からのＸ線ビームの発散による倍率および視差歪みについて画像を補正する（２８０４）。補正された画像をＡＲヘッドセット３６００に表示することができる（２８０６）。次に、これを使用して、ユーザ１０６が、寛骨臼カップの配置または脚の長さなどの処置に関連する測定を行うことを可能にする（２８０８）。他の画像を、同時に、表示、オーバーレイ、ミラーリングまたはその他操作され、ユーザ１０６が比較を行うことを可能にする（２８１０）。

別の実施形態において、例えばＤＩＣＯＭフォーマットのファイルの転送による、Ｃアーム２７００とＡＲヘッドセット３６００との間の無線通信によって、画像キャプチャを達成することができる。あるいは、マシンビジョンを組み込んだアルゴリズムを使用して、自動的に、寛骨臼殻の傾斜およびバージョンなどの測定を行う。エッジ検出を使用して、シェルの輪郭をトレースできる。輪郭に最適に一致する楕円のパラメータを決定し、最適な楕円の短軸と長軸の長さの比からシェルの前傾を計算するために使用できる。例えば、恥骨枝の最も劣った側面に接線を引き、シェル楕円の長軸とこの線との間の角度を計算することにより、傾斜を計算することができる。同様に、大腿骨の相対的な脚の長さと横方向のオフセットを決定し、大腿骨頭またはシェルの球状部の中心からの回転中心を認識し、拉致角度に一致するようにこの点を中心に仮想回転を実行することによる、大腿骨の外転の変化または違について、補正することができる。この種の計算は、はほぼ瞬時に実行され、追加のＸ線画像を撮る時間または必要性を節約することができる。さらに、別の実施形態において、閉鎖孔を表す放射線透過部の幅およびアスペクト比を一致させるために仮想回転を行うことにより、骨盤の位置ずれが、シェルの見かけの傾斜と前傾に及ぼす影響をアルゴリズムで修正できる。

さらに別の実施形態において、Ｃアームイメージングを使用して、骨盤などの解剖学的構造の位置を登録することができる。このため、解剖学的マーカー１３００は、既知の幾何学的形状の放射線不透過性の特徴を、既知のパターンで組み込むであろう。Ｃアーム画像は、既知のマーカーの特徴に基づいて、取り込まれ、スケーリングされて、ＡＲヘッドセット３６００に表示される。以前のＣＴスキャンから生成された解剖学的構造の仮想モデルが、ユーザ１０６に表示される。ユーザ１０６は、仮想モデルを操作して、モデルの輪郭がＣアーム画像と一致するようにモデルを配置することができる。この操作は、ＳＬＡＭを使用して、ユーザ１０６の手の位置および動きを追跡することによって実行されることが好ましい。あるいは、ユーザ１０６は、物理的なオブジェクトを操作することができ、オブジェクトは、物理的なオブジェクトと共に移動する仮想モデルに、マーカーを組み込むことができる。仮想モデルが、Ｃアーム画像と正しく位置合わせされていると、患者の解剖学的構造と解剖学的マーカー１３００との間の関係を計算することができる。これらのステップおよび操作は、エッジ検出を使用して、ＣＴから生成されたモデルのプロファイルの投影にそれを一致させることにより、ソフトウェアを使用して、計算的に実行することができる。
Ｖ．脊椎手術

図３１は、超音波による脊椎の登録中に表示装置１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す。解剖学的マーカー１３００は、手術部位に隣接する椎骨に固定される。マーカーを画定する複数の基準点３１０６を含む超音波プローブ３１０４が提供される。一実施形態において、超音波プローブ３１０４ｉｓ電池式でコードレスであり、無線機を介してＡＲヘッドセット３６００と通信できる。ソフトウェアは、マーカー１３００の位置に対して、２Ｄ超音波画像を位置付け、スケールすることができるために必要な幾何学的および他の情報を有する。超音波プローブ３１０４を患者３１００の表面上で移動させて、関心領域をスキャンする。ソフトウェアは、２Ｄ画像データを、解剖学的マーカー１３００に対する超音波プローブ３１０４の６自由度姿勢情報と組み合わせ、関心のある椎骨の表面を表す仮想モデル３１０８を生成する。超音波プローブ３１０４を、関心のある解剖学的構造に対して回転し、より完全な３Ｄ画像を得ることができる。棘状突起および左右の乳頭状突起の後方輪郭は、椎骨のＣＴ生成３Ｄモデルの同じ特徴と一致させることができ、複合現実感ビューで椎骨の仮想モデルを登録してその後、配置することができる。あるいは、超音波スキャンで見える任意の適切な特徴を利用することができ、仮想モデルの位置は、ＳＬＡＭによって決定されるように、患者の表面に対して相対的であり得る。後者は、関心のある患者の解剖学的構造が処置の期間中静止している処置に適しており、マーカーの取り付けは、不必要に侵襲的または煩わしい。超音波も同様にこのように使用して、これらに限定されないが、骨構造、神経および血管などの関心のある解剖学的構造のモデルを生成することができる。任意の解剖学的構造の登録を達成することができる。例えば、超音波を用いて、骨盤の基準フレームを確立し、左右のＡＳＩＳと恥骨の近位頂点を配置することができる。同じ方法を使用して、ツールまたはインプラントの位置を経皮的に追跡する。

図３２は、スタイラス１８００による脊椎の登録中に、表示装置１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す。解剖学的マーカー１３００は、手術部位に隣接する椎骨に固定されている。術前撮像から生成された患者の椎骨の仮想モデル３２００が表示される。仮想モデルは、第１の目印３２０２、第２の目印３２０４および第３の目印３２０６を含む。図３３は、図３２に示される露出された解剖学的構造の拡大図を示す。患者の軟組織は、十分に解剖され、３つの目印を含む第１の骨突起３３００、第２の骨突起３３０２および第３の骨突起３３０４が露出される。仮想モデル上に示されている目印の位置に最も一致する実際の椎骨上の点にスタイラス先端１８０４を配置することによって、ユーザ１０６は、３つの目印を登録する。これらの点を最もよく合わせるために、ソフトウェアは、仮想モデル３２００をユーザの視野内に再配置する。仮想モデルと、椎骨の実際の露出領域との比較によって、ユーザ１０６は登録の質を視覚的に確認する。必要であれば、ユーザ１０６は、スタイラス１８００の先端１８０４を使用して、調整を行い、仮想モデルを再配置する。代替実施形態において、目印は、各プロセスの最も後の側面をトレースする円弧である。別の実施形態において、露出されたプロセスの輪郭はＳＬＡＭで確立され、これらの輪郭に一致するように、ソフトウェアは、仮想モデルの位置上に最良適合を行う。

図３４は、脊椎固定術中に表示装置１０４を介してユーザ１０６に示されるＭＸＵＩの例示的な実施形態を示す。ドリルビットおよび仮想ドリルビット３４０２のための仮想ターゲット３４００が示されている。仮想ターゲット３４００および仮想ドリルビット３４０２に対して透明になるようレンダリングされる仮想椎骨３４０４が示されている。ドリルビットの数値角度および貫通深さ、またはドリルビットの先端から最大安全挿入深さまでの距離が、仮想テキスト３４０６として数値で表示される。図３５は、図３４に示される仮想ターゲット３４００および仮想ドリルビット３４０２の拡大図を示す。近位十字線３５０２および遠位十字線３５０４を有するロッド３５００の形態で、仮想ターゲット３４００が示されている。安全な目標軌道で実際のドリルビットを維持するために、ユーザは、仮想ドリルビット３４０２が、仮想ターゲット３４００の両方の十字線のリングを通過する位置を維持しなければならない。仮想ドリルビット３４０２が、両方の十字線の中心を通過するとき、理想的な軌道は達成される。実際のドリルビットが、安全な目標軌道の外側に移動した場合、仮想ターゲット３４００の色が変化して、ユーザに警告し、可聴警告が発せられる。遠位十字線３５０４は、骨の表面上の計画された開始点に配置される。仮想ターゲット３４００および仮想ドリルビット３４０２の軸方向長さが拡大縮小され、ドリルが最大計画深度に達したとき、近位端が一致する。仮想ターゲット３４００から遠い場合、仮想ドリルビット３４０２の変位の動きに対するスケーリングは１：１であるが、近いほど精度が上がるため、より高い精度のために、より高い倍率に拡大される。

ドリルビットを使った穴あけに関連して説明されているが、この複合現実感ビューは、複数のステップに使用することができ、ステップは、椎弓根スクリューの運河を見つけるために、椎弓根をタップすること、または、椎弓根スクリューを打ち込むこと、あるいは、追跡可能な突き錐を使用することを含む。ドリル先端の軸方向位置を再調整するための迅速な手段として、タップまたはネジを交換し、ユーザは、先端をマーカーの窪みに配置する。インプラントは、ＡＲガイダンスにより、低侵襲的に導入可能であり、例えば、椎体間ケージは、ＰＬＩＦ、ＸＬＩＦまたはＴＬＩＦ処置中に位置することができる。

別の実施形態において、外科用ドリルは、双方向通信を提供するためにヘッドセットと無線で通信するように装備され得る。これにより、さまざまな安全性と使いやすさが促進され、下記を含む機能を強化する。ドリルが安全な目標軌道内にないか、或いは、最大安全深度に達した場合、ドリルを自動的に停止し、または操作を回避すること。便利なユーザ・インターフェースを提供して、トルク制限用途のために適切なトルク設定パラメータを指定すること。例えば、所与のサイズの椎弓根スクリューまたは椎弓根スクリューのセットスクリューの着座トルクのための最大挿入トルクである。使用される実際の値は、文書化または研究目的のために患者記録と一緒に記録することができ、例えば、穿孔中のトルク曲線、椎弓根スクリューまたはセットスクリューの最終着座トルク、椎弓根スクリューまたは使用される特定のインプラントの移植位置である。

別の実施形態において、ＡＲヘッドセット３６００は、神経監視／神経位置特定システムに無線で接続され、特に、ＸＬＩＦのような最小侵襲的処置の間に、ユーザ１０６（例えば脊椎外科医）にユーザの視野内でリアルタイムの警告および測定を提供することができる。患者の実際の神経が撮像されて３Ｄモデルに再構築されている術前撮像と組み合わせて使用されるとき、そして、システムが、特定の神経が刺激されたこと、または刺激プローブによって接近されていることを検出した場合、その神経構造を表すホログラムは、神経構造との接触または損傷を回避することをより容易にするために、ユーザ１０６に強調される。
ＶＩ．膝関節置換術

本発明の他の例示的な実施形態において、図４２を参照すると、システム１０は、膝関節置換手術に使用される。図４２は、膝関節置換患者の骨盤４２０２、大腿骨４２０４、および脛骨４２０６を示しており、ＡＲヘッドセット３６００を装着している外科医４２０８（即ち、ユーザ１０６）が示されている。大腿骨マーカー４２１０および脛骨マーカー４２１２は、それぞれ、大腿骨および脛骨にピンで固定される。大腿骨は、可動域を通って移動し、大腿骨マーカー４２１０の基準フレーム内の股関節の中心に対する代理として、回転中心を決定する。膝は可動域を通して曲げられ、ベースライン、術前の膝の屈曲軸を決定する。外科医４２０８は膝関節を露出させるために切開をする。滑車溝の最遠位点のような目印に基づいて、大腿遠位の中心を登録するためにスタイラス１８００が使用される。ＡＣＬのフットプリントをスタイラスの先端に合わせることによって、脛骨の近位中心が定義される。特定の最小侵襲的処置ではスタイラスを１つのポートを通して関節包に挿入し、第２のポートを通して挿入された関節鏡４２１４でそれを視覚化することによって、骨の目印を、関節鏡的に登録することができる。さらに、関節鏡からの関節鏡画像４２１６は、ＡＲヘッドセット３６００に無線で通信され、ＭＲＵの一部として表示されてもよい。代替実施形態において、スタイラス先端を追跡可能な関節鏡に組み込み、目印登録を単一のポートを通して実行できる。スタイラス１８００を使用して、内側と外側のくるぶしを登録し、これらの点の補間によって、脛骨マーカー４２１２の基準フレーム内の足首の中心を決定する。この時点で、第１の軸が股関節の中心に向かって延びていて、第２の軸が膝の屈曲軸により定義され、第３の軸が第１および第２の軸の法線として定義される状態で、大腿骨の基準フレームは、その起点が大腿遠位の中心にあるように確立される。第１の軸が足首の中心に向かって延び、第２の軸が膝の屈曲軸で定義され、第３の軸が、第１および第２の軸の法線として定義される状態で、脛骨基準フレームは、その起点が近位脛骨の中心にあると定義される。これらの基準フレームは、ＭＲＵ内に虚像として提示されてもよい。

図４３は、膝を露出させた膝関節置換手術中に、ＡＲヘッドセット３６００を介して外科医４２０８に示されているＭＸＵＩの例示的実施形態を示す。ＡＲヘッドセット３６００内の深度センサ３９０６で走査することによって、または立体カメラ３９０４およびＳＬＡＭを使用することによって、大腿顆４３０２および脛骨プラトー４３０４の地形図を生成することができる。膝は可動域を通して曲げられて、外科医４２０８は、顆のできるだけ多くの視覚化を可能にするように視点を調整するであろう。視野の中心にある円４３０６は、登録処理中に顆を「ペイント」するために外科医４２０８によって使用され、マッピングアルゴリズムのためのマスクとして使用される。円は、マッピングの速度および精度を高めるために使用される構造化された光投影機の投影視野と一致してもよい。表面がマッピングされると、マッピングされた領域の仮想３Ｄメッシュ４３０８は、関節面に投影されて、外科医４２０８をガイドし、表面登録の質の視覚的確認を提供する。アルゴリズムを使用して、大腿遠位と近位脛骨の関節面の最低点を決定し、大腿遠位および近位脛骨切除の深さを決定する。理想的なインプラントサイズは地形図から決定することができる。

図４４を参照すると、仮想脛骨インプラント４４０２および仮想大腿骨インプラント４４０４は、ＡＲヘッドセット３６００を介して外科医４２０８に示されるＭＸＵＩ内に表示することができる。外科医４２０８は、満足するまで、サイズを切り替えてこれらの仮想モデルの位置を調整することができる。別の実施形態において、仮想脛骨インプラントは、ブローチ作業のための脛骨の準備中に表示されて、脛骨コンポーネントの回転位置合わせのためのガイドを提供する。

図４５を参照すると、脛骨切断ブロックのためのピンの位置のための仮想ガイド４５０２は、ＡＲヘッドセット３６００を介して外科医４２０８に示されるＭＸＵＩ内に表示される。遠位大腿骨切断ブロック用のピンの位置に関する仮想ガイド４５０４が表示されている。切断ブロック用のピンの位置に関する仮想ガイド４５０６が表示されている。実際のピンの配置は、それらのピンを、仮想ガイド４５０２、４５０４または４５０６と位置合わせすることによってガイドされる。これらのピンに切断ブロックを配置することによって、大腿骨４５０８および脛骨４５１０を切除することができる。

図４６は、図４５に示されるＭＸＵＩの代替実施形態を示し、理想的な切除面を表示するために、仮想ガイド４６０２が使用され、実際の鋸刃と仮想ガイド４６０２との位置合わせによって、外科医４２０８は、骨を直接切除することができる。あるいは、追跡鋸４６０４の場合、仮想の鋸刃４６０６を仮想ガイド４６０２と位置合わせすることによって、外科医４２０８は、骨を切除することができる。各切除の内反／外反角度、屈曲角度、及び深さを示す仮想テキスト４６０８は、関連する場合、数値で表示されてもよい。

図４７および図４９は、ベース要素４７０２、バネ４９０２、顆状要素４９０４、および顆状プレート４９０６を有するシステム１０に任意に含まれ得る膝バランシングデバイス４７００を示す。ベース要素４７０２は、ハンドル４９０８、ターゲット４７１４および脛骨プレート４９１０を含む。顆状要素４９０４は、ハンドル４９１２と円筒形のベアリング孔４９１４を含む。顆状プレート４９０６は、円筒形のベアリングシャフト４９１６、ターゲット４７１６および２つのパドル４７０６および４７０７を含む。顆状プレート４９０６は、円筒形ベアリング４９１６を中心に旋回し、それにより、ベースプレート４９１０に対する顆状プレート４９０６の内側／外側傾斜が可能になる。代替実施形態において、ベアリング４９１６は、ボールタイプであってもよく、顆状プレート４９０６の内側／外側および屈曲／伸張の傾斜を可能にする。別の実施形態において、顆状プレート４９０６は、脛骨インプラントの軸受表面のトポグラフィと一致するように輪郭付けられてもよい。別の実施形態において、設計は、各々が堅く一体化された伸延パドルおよびマーカーを有する２つの完全に独立した顆状要素を含み得る。

図４７を参照すると、脛骨プレート４９１０は、切除された脛骨４７０４上に着座し、伸延パドル４７０６および４７０７は、それぞれ、内側大腿骨顆４７０８および外側大腿骨顆４７１２との接触を維持する。伸延パドル４７０６および４７０７は、バネ４９０２によって押されて、前後軸を中心に旋回し、各大腿顆と脛骨との間に、ほぼ等しく一定の伸延力を提供する。各要素は、ソフトウェアが各大腿骨顆の伸延の程度を測定することを可能にする光学マーカー４７１４を含む。

膝が可動域を通って曲げられると、脛骨および大腿骨の姿勢と同様に、各対象の位置が追跡される。このデータを使用して、屈曲角度の関数として、内側および外側弛緩のプロットを生成する。この情報を使用して、遠位大腿骨切断ブロック位置決めピンの理想的な位置を計算し、膝の可動域を通してバランスをとることを達成し、或いは、骨棘の除去や軟部組織の剥離を行い、その可動域を通して膝のバランスを取る際にユーザをガイドする。図４８に示されるように、このプロットは、ＭＸＵＩに表示することができ、膝の可動域にわたって、第１の三次元弧４８０２は、内側弛緩を表し、第２の三次元弧４８０４は、外側弛緩を表す。実際の膝の現在の屈曲角度における数値は、仮想テキスト４８０６として表示できる。
ＶＩＩ．その他の医療処置

図１０を参照すると、本発明は、さらに、システム１０を使用して他の外科手術を実行する方法（具体例を以下に提供する）を提供する。方法は、これに限定されないが、視覚的マーカーおよびＦＭＵの追跡および認識を含むデータ収集を含む（１０００）。このデータを使用して、作業ビュー内の複数のアイテムの相対的および／または絶対的な向きおよび位置を決定する（１００２）。外部データ（１００４）がアルゴリズムに取り込まれる。アルゴリズムを使用して、特定の使用事例のためのデータを処理し（１００６）、必要な出力（１００８）を決定する。このデータは、拡張現実感ＡＲまたは仮想現実感ＶＲ出力ディスプレイ（１０１０）で使用され、医療専門家をアシストする。

例えば、この方法は、完全股関節形成術に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）および股関節および外科手術器具の位置および向きの決定（１００２）のために使用される。アルゴリズム（１００６）を使用して、これに限定されないが、部品位置決め、大腿骨頭の切断、寛骨臼の位置決め、ねじ留め、脚の長さの決定、および修正設定のための寛骨臼内の良好な骨の位置決めを含む解決策を決定する。

この方法を、人工膝関節全置換術のためにも使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）および膝、脛骨および外科手術道具の位置および向きの決定（１００２）のために使用される。アルゴリズム（１００６）を使用して、これに限定されないが、脛骨切断の位置、角度および傾斜、ガイドの配置および微調整、骨髄内ガイドの回避および大腿骨切断の改善を含む解決策を決定する。

この方法を、遠位橈骨骨折の変形治癒のための矯正骨切り術のために使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、、それは、変形治癒および外科用器具の位置および向き（１００２）の決定のために、手術前のＣＴスキャンデータと組み合わせられる。アルゴリズム（１００６）を使用して、これに限定されないが、骨切り術の位置、および切断角度および結果の評価を含む解決策を決定する。

この方法は、複雑で角度および回転補正を伴う、骨折を伴う上腕骨、遠位上腕骨、橈骨および尺骨を含む腕の骨の変形治癒のための矯正骨切り術のために使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、、変形治癒および外科用器具の位置および向き（１００２）の決定のために、それは手術前のＣＴスキャンデータと組み合わせられる。アルゴリズム（１００６）を使用して、これに限定されないが、骨切り術部位の位置、切断角度、矯正の程度および結果の評価を含む解決策を決定する。

この方法を、初期の変形性関節症およびアライメント不良を矯正するための遠位大腿骨および近位脛骨骨切り術に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、、骨切り術の位置および規模ならびに手術道具の位置および方向（１００２）の決定のために、それは手術前のＣＴスキャンデータまたは長脚Ｘ線画像と組み合わせられる。アルゴリズム（１００６）を使用して、これに限定されないが、骨切り術部位の位置、切断角度、矯正の程度および結果の評価を含む解決策を決定する。

この方法を、臼蓋形成不全に対する寛骨臼周囲骨切り術に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、、骨切り術の位置および外科用器具の位置および方向（１００２）の決定のために、それは手術前のＣＴスキャンデータと組み合わせられる。アルゴリズム（１００６）を使用して、それに限定されないが、骨切り術部位の位置、角のある部分、矯正の程度および結果の評価を含む解決策を決定する。

この方法は、前述の実施形態と同様に、小児整形外科用骨切り術に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、、骨切り術の位置および外科用器具の位置および方向（１００２）の決定のために、それは手術前のＣＴスキャンデータと組み合わせられる。アルゴリズム（１００６）を使用して、これに限定されないが、骨切り術部位の位置、切断角度、矯正の程度および結果の評価を含む解決策を決定する。

この方法は、これに限定されないが、橈側側副靭帯再建術（ＲＣＬ）およびＵＣＬ再建術（トミージョン）を含む肘靭帯再建術に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、、靭帯再建と手術器具のための等尺点の位置と方向の決定（１００２）のために、それを、術前ＣＴスキャンまたはＭＲＩデータと組み合わせることができる。アルゴリズム（１００６）を使用して、これに限定されないが、トンネル配置の正確な位置特定および結果の評価を含む解決策を決定する。

この方法を、これに限定されないが、ＭＣＬ、ＬＣＬ、ＡＣＬ、ＰＣＬおよび後外側隅角再建を含む膝靭帯再建に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、、靭帯再建と手術器具のための等尺点の位置と方向の決定（１００２）のために、それを、術前ＣＴスキャンまたはＭＲＩデータと組み合わせることができる。アルゴリズム（１００６）を使用して、これに限定されないが、トンネル配置の正確な位置特定、トンネルの深さ、トンネルの角度、グラフトの配置、および結果の評価を含む解決策を決定する。

この方法を、これに限定されないが、不安定性を矯正するための再構成を含む足首靭帯の再建に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、、靭帯再建と手術器具のための等尺点の位置と方向の決定（１００２）のために、それを、術前ＣＴスキャンまたはＭＲＩデータと組み合わせることができる。アルゴリズム（１００６）を使用して、これに限定されないが、トンネル配置の正確な位置特定、トンネルの深さ、トンネルの角度、および結果の評価を含む解決策を決定する。

この方法を、これに限定されないが、鎖骨にトンネルがない配置を含む肩前鎖骨頸部関節再建術（ＡＣ）に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、、靭帯再建と手術器具のための等尺点の位置と方向の決定（１００２）のために、それを、術前ＣＴスキャンまたはＭＲＩデータと組み合わせることができる。アルゴリズム（１００６）を使用して、これに限定されないが、トンネル配置の正確な位置特定、トンネルの深さ、トンネルの角度、および結果の評価を含む解決策を決定する。

この方法を、改訂ＴＳＡ／ＲＳＡを含む解剖学的および逆方向全肩置換術（ＴＳＡおよびＲＳＡ）の外科的処置に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、上腕頭、関連する目印および手術器具の位置および方向（１００２）を決定するために、それを、術前ＣＴスキャンまたはＭＲＩデータと組み合わせることができる。アルゴリズム（１００６）を使用して、これに限定されないが、上腕骨頭カットの正確な位置特定および関節窩骨の配置、ベースプレートとネジ、および関節窩補正のためのリーマ角およびガイド配置、および結果の評価を含む解決策を決定する。

この方法を、足関節全置換術の外科手術に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、脛骨、腓骨、距骨、舟状窩、他の関連する目印、および手術器具の位置および方向（１００２）を決定するために、それを、術前ＣＴスキャンまたはＭＲＩデータと組み合わせることができる。アルゴリズム（１００６）を使用して、これに限定されないが、脛骨頭の正確な位置特定、解剖学的軸の決定、および結果の評価を含む解決策を決定する。

この方法は、骨盤骨折、脛骨プラトー、寛骨臼および骨盤のための経皮ネジ留置に使用することができるが、これらの分野に限定されない。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、解剖学的およびその他の関連する目印およびネジを含む手術器具の位置および方向（１００２）を決定するために、それを、術前ＣＴスキャンまたはＭＲＩデータと組み合わせることができる。アルゴリズム（１００６）を使用して、これに限定されないが、ネジを受ける骨の正確な位置特定、回避すべき周囲の解剖学的構造および軟組織の特徴、ネジの位置、挿入角度、挿入の深さ、および結果の評価を含む解決策を決定する。

この方法を、これに限定されないが、足首、膝、股関節、肩部および脊椎を含む領域への院内注射に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、関連する目印および手術器具の位置および方向（１００２）を決定するために、それを、術前ＣＴスキャンまたはＭＲＩデータと組み合わせることができる。アルゴリズム（１００６）を使用して、これに限定されないが、効果を最大にし、内臓および解剖学との相互作用を最小にするために、注射位置の正確な位置特定、角のある部分、および深さを含む解決策を決定する。

この方法は、腰椎および胸椎を含む脊椎固定術のための椎弓根スクリューの配置に使用することができるが、これらの領域に限定されない。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、解剖学的およびその他の関連する目印およびネジを含む手術器具の位置および方向（１００２）を決定するために、それを、術前ＣＴスキャンまたはＭＲＩデータと組み合わせることができる。アルゴリズム（１００６）を使用して、これに限定されないが、ネジを受ける骨の正確な位置特定、皮質の開口部、頭蓋−尾側角形成または同様の内側−側傾斜、ねじの挿入軌跡、挿入の深さ、および結果の評価を含む解決策を決定する。

この方法を、これに限定されないが、赤外線、紫外線、足首、膝、股関節、肩部および脊椎を含む代替スペクトル画像の視覚化に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、それは、下記に限定されないが、関連する目印および手術器具、位置、場所、および神経、腫瘍、軟組織、および動脈を含む代替スペクトルでより容易に確認できる解剖学的特徴のタイプの位置および方向（１００２）を決定するための、患者の特徴を強調するための、代替感受性スペクトルおよび／または注入色素を備えたデュアルカラーカメラを含む。アルゴリズム（１００６）を使用して、これに限定されないが、神経、腫瘍、関心のある軟組織、動脈およびこの技術で強化できるその関心のある他の特徴の正確な位置特定を含む解決策を決定する。

この方法を、腫瘍診断、病期分類および根治的外科手術に使用することができる。解剖学的目印およびツールのためのマーカー（例えば、１００、１０８、１１０など）は、データ収集（１０００）のために使用され、腫瘍の位置および手術器具の位置および方向（１００２）を決定するために、それを、術前ＣＴスキャンまたはＭＲＩデータと組み合わせることができる。あるいは診断外科手術中に、解剖学的目印に関して腫瘍の位置を特定することができる。アルゴリズム（１００６）を使用して、これに限定されないが、腫瘍部位の位置および大きさの範囲、切除の手引きおよび結果の評価を含む解決策を決定する。

この方法を、これに限定されないが、骨の目印、神経、腫瘍、および他の有機物および無機物を含む、視野内の関心のある対象物上への可視または不可視だがカメラ可視光の点の投影に使用することができる。マーカー（例えば、１００、１０８、１１０など）は、解剖学的データのために外部データセットを増強または置換するために使用され、前述のように物理的なポインタまたはツールの代わりに使用することができる。光点は、ユーザのヘッドディスプレイまたは他の場所から表示することができる。光点はまた、パターンまたは他の光の配列として明示することもできる。これに限定されないが、蛍光透視法、ＣＴスキャンおよびＭＲＩデータを含むデータセットの増強ならびに関連する目印および手術器具の位置および方向（１００２）を決定するために、これらの光は患者の特徴を強調する。アルゴリズム（１００６）を使用して、代替または追加の選択オプションを使用した前述の解決策を決定する。

この方法を、インプラントの低侵襲的位置決めおよび経皮的な固定ネジの挿入に使用することができる。マーカー（例えば１００、１０８、または１１０など）は、髄内くぎの近位端に取り付けられる。別のマーカー（例えば１００、１０８、または１１０など）がクロススクリュー挿入器具に取り付けられている。固定クロスネジの目標軌道を含むネイルの仮想モデルが表示される。仮想クロスネジを目標軌道と位置合わせすることによって、外科医は、クロスネジを挿入することができる。別の実施形態において、同じ方法を外部固定プレートにも適用することができる。この場合、各穴に一つずつ、複数のロッキングネジ軌跡を有する仮想ロッキングプレートが表示される。
ＶＩＩＩ．追跡可能な器具および機器のデータベース

ＡＲヘッドセット３６００がどの器具が手術野または手術室領域に存在するかを識別することを可能にするために、本発明は、任意に、機器および器具の電子データベースの構築を有する。図２９を参照すると、そのようなデータベースの構築を容易にするために、シリアル化された追跡ラベル２９００がシステムに任意に含まれる。シリアル化された追跡ラベル２９００は、機械読み取り可能なシリアル番号コード２９０２、人間が読み取り可能なシリアル番号２９０４、および複数の基準点２９０６のような６自由度の光学的姿勢追跡を容易にする１組の光学的特徴を有する。一実施形態において、機械可読番号コード２９０２パターンは、ＡＲヘッドセット３６００のカメラ３９０４によって撮像され、機械視覚アルゴリズムを使用して医療機器の姿勢および位置を決定するために単独で使用され得る。別の実施形態において、シリアル番号画像２９０４は、カメラ３９０４によって撮像され、機械視覚アルゴリズムを使用して医療機器の姿勢および位置を決定するために単独で使用され得る。さらに別の実施形態において、追跡ラベル２９００の物理モデル全体は、カメラ３９０４によって撮像され、機械視覚アルゴリズムを使用して医療機器の姿勢および位置を決定するために単独で使用され得る。別の実施形態において、追跡ラベル２９００は、光学的認識を使用して自動的に検証できる、キット内の機器の非光学的識別のための無線ＲＦＩＤタグから構成されても、またはそれらを含んでもよい。

図３０を参照すると、拡張現実ヘッドセットを使用して、手術で使用するために、機器のアイテムタイプおよび物理的パラメータを登録し、このデータを記憶および共有するためのシステムを示すフローチャートが提供される。この例示的な実施形態において、シリアル化された追跡可能なラベルは、耐久性のある自己接着材料に事前に印刷されている。外科的処置の間に最も有利に見られる場所で、処置（すなわちバックテーブル操作）に至る準備作業において、ラベルは、これらに限定されないが、Ｃアーム、インパクター、ポインタ、または処置で使用される他の機器であり得る機器のアイテム（３０００）に取り付けられる（３００２）。カメラ３９０４で見て、ラベルを識別し、シリアル番号に関連するデータベース記録を開始することによって、ラベルを登録する（３００４）。機器のアイテムに関連する関心のある幾何学的形状もまた登録され（３００６）、追跡可能なステッカーに対して格納され得る。例えば、Ｃアームの場合、登録スタイラスを使用して、撮像装置の面の周囲の３点とＸ線ビーム源の原点を表す１点を登録する。これにより、ＡＲヘッドセット３６００のアルゴリズムによって使用される、ＡＲヘッドセット３６００の座標枠に対する、Ｘ線ビーム源の座標枠、向き（姿勢）データ、および位置データが提供される。一代替実施形態において、カメラ３９０４は、ステレオカメラであり、撮像装置の円筒形または長方形の表面などの重要な特徴の認識により、Ｃアームの幾何学的形状を走査し認識するために使用される。機器のアイテムに関する追加の関連仕様（３００８）を記録に入れることができ、下記に限定されないが、機器のタイプとモデル、校正期限、電子インタフェースパラメータ、およびワイヤレス接続パスワードを含む。デバイスの画像は、カメラ３９０４を用いて取り込まれる３０１０。デバイスの機器ラベル（３０１２）の画像が取り込まれる。これらの全てのアイテムは、現在ＡＲヘッドセット３６００にローカルである完成した記録（３０１４）に追加される。記録はタイムスタンプを押され、中央データベースと共有される（３０１６）。これを、病院システム内のローカルサーバまたはインターネットを介した任意のクラウドベースのストレージを含む任意のリモートサーバに配置することができる。データベースのアップロードは、Ｗｉ−Ｆｉ共通ネットワークプロトコルまたは他の技術開示の手段を介して行われてもよい。上記の行動は、会社の代表者、病院で雇用されている技術者、または他の訓練を受けた個人によって行われてもよい。登録が不十分な機器がデータベースに入ることを防止するために、レコードをキャプチャするために管理者権限が必要とされてもよい。

機器のアイテムが手術で使用されている場合、カメラ３９０４を使用してラベルを、機器の追跡可能なアイテムとして認識し、シリアル番号を読み取る（３０１８）。次いで、ＡＲヘッドセット３６００はデータベースに接続し（３０２０）、機器記録をダウンロードすることができる（３０２２）。したがって、手術中に機器を６自由度追跡可能な方法で使用することができる（３０２４）。該当する場合には、データラベルを有する機器に対して、記録（３０２６）も機器自体に固有のデータで更新されてもよく、例えば、手術中に機器によって取り込まれた画像をアップロードしたり、ログ内の手術中の機器の活動のログを取り込んでもよい。手術における機器の使用を記述するログエントリは、データベースおよび機器の利用を示す患者記録に追加することができる。このようにして生成されたデータベースは、欠陥のある機器の使用を検索するなどのさまざまな理由でマイニングできる。

このシステムは、外科手術中に遭遇する外科手術器具およびインプラントを認識するために使用され得る。計測する器具や機器のＣＡＤモデルのデータベースが、メモリに保持される。処置中、ＳＬＡＭまたは同様の機械視覚アルゴリズムは、シーン内のアイテムのトポグラフィを取り込んで、器具や機器に関するデータベースと比較できる。一致が見つかった場合、システムは、患者および手術に使用されている他の器具に対する器具の位置および配向を追跡するか、またはその器具の使用に関連するモードに入るなどの適切な行動をとることができる。例えば、股関節置換術において、寛骨臼インパクターが検出された場合、カップ配置ナビゲーションのモードに入る。

本発明は、好ましい実施形態およびその特定の実施例を参照して本明細書で例示および記載されてきたが、他の実施形態および実施例が同様の機能を実行し、および／または同様の結果を達成することができることは、当業者には容易に明らかであろう。全てのそのような同等の実施形態および実施例は、本発明の精神および範囲内にあり、それによって企図され、添付の特許請求の範囲によって網羅されることを意図している。

特に明記しない限り、本明細書に示されているさまざまな構造の寸法および形状は、本発明を限定することを意図したものではなく、他の寸法または形状も可能である。複数の構成要素を、単一の一体構造により提供することが可能である。あるいは、単一の統合構造を別々の複数のコンポーネントに分割することができる。さらに、本発明の特徴を図示の実施形態のうちの１つのみに関連して記載したが、例えば、そのような特徴は、任意の所与の用途について、他の実施形態の１つまたは複数の他の特徴と組み合わせることができる。本明細書における独特の構造の製造およびその操作もまた本発明による方法を構成することも上記から理解されるであろう。

Claims (21)

1. 処理ユニット、ディスプレイジェネレータ、および少なくとも１つの追跡カメラを有するセンサ群を有する手術中にユーザが装着する頭部装着型表示装置と、手術器具に固定して取り付けられた、前記カメラによって追跡可能な少なくとも１つの視覚的マーカーを備える複合現実外科手術ナビゲーションシステムであって、
   前記処理ユニットは、関心のある解剖学的対象の部分的に露出された表面の三次元表面を、前記センサ群から受信したデータでマッピングし、
   前記処理ユニットは、前記三次元表面を前記解剖学的対象の三次元モデルに一致させることによって、前記解剖学的対象に対する基準フレームを確立し、
   前記処理ユニットは、前記センサ群から受信したデータを用いて、前記手術器具の６自由度の姿勢を追跡し、
   前記処理ユニットは、前記ディスプレイと通信して、前記手術器具の所望の特徴および前記ユーザの視野内の前記解剖学的対象の所望の特徴の立体虚像を含む複合現実感ユーザ・インターフェースを提供する、複合現実外科手術ナビゲーションシステム。
2. 前記センサ群は、さらに深度センサを有し、前記所望の解剖学的対象の三次元表面をマッピングするために、前記深度センサは、データを前記処理ユニットに提供する請求項１に記載のシステム。
3. 前記センサ群は、さらに慣性測定ユニットを有する請求項１に記載のシステム。
4. 前記センサ群は、さらにマイクロフォンおよびスピーカーを有する請求項１に記載のシステム。
5. 前記システムは、前記ユーザの音声コマンドにより制御できる請求項４に記載のシステム。
6. 外科用フードに取り外し可能に取り付けることができるように構成されている手術用ヘルメットをさらに備える請求項１に記載のシステム。
7. 前記システムの画像表示として機能するフェイスシールドをさらに備える請求項１に記載のシステム。
8. 前記センサ群は、触覚フィードバック手段をさらに有する請求項１に記載のシステム。
9. 前記システムは、さらに前記表示装置から離れて位置する第２のセンサ群を有し、
   前記第２のセンサ群は、前記処理ユニットと通信する請求項１に記載のシステム。
10. 前記中央処理装置は、前記立体虚像の生成のために、Ｘ線透視画像、コンピュータ断層撮影スキャン、磁気共鳴画像データ、陽電子放出断層撮影スキャン、およびそれらの組み合わせからなる群から選択される外部データを組み込む請求項１に記載のシステム。
11. 解剖学的対象の前記部分的に露出された表面は、椎骨の前記後部および乳頭突起、骨盤の前記寛骨臼、肩甲骨の前記関節窩、大腿骨の前記関節面、大腿骨の前記首、および脛骨の前記関節面からなる群から選択される請求項１に記載のシステム。
12. 手術ナビゲーションシステム用の複合現実感ユーザ・インターフェースであって、前記複合現実感ユーザ・インターフェースは、複合現実外科手術ナビゲーションシステムによって提供される、ユーザの視野内の手術器具の所望の特徴および関心のある解剖学的対象の所望の特徴の立体虚像を備え、前記複合現実外科手術ナビゲーションシステムは（ｉ）処理ユニット、ディスプレイ、および少なくとも１つの追跡カメラを有するセンサ群を有する頭部装着型表示装置、および（ｉｉ）前記カメラによって追跡可能な少なくとも１つの視覚的マーカーを有し、
    前記複合現実感ユーザ・インターフェースは、以下のプロセスによって得られる：
    ａ前記頭部装着型表示装置をユーザの頭に装着することと、
    ｂ前記マーカーを有する前記手術器具を提供することと、
    ｃ解剖学的対象の部分的に露出された表面の三次元表面のデータを得るために、前記センサ群を使用して、前記所望の解剖学的対象をスキャンすることと、
    ｄ前記解剖学的対象の前記特徴の仮想三次元モデルの登録のために、前記三次元表面の前記データを前記処理ユニットに送信することと、
    ｅ前記処理ユニットに送信するためのデータを取得するために、前記センサ群を使用して、前記手術器具の６自由度の姿勢を追跡することと、
    ｆ前記ユーザの視野内に前記手術器具の前記特徴および前記解剖学的対象の前記特徴の立体虚像を備える複合現実感ユーザ・インターフェースを表示すること、である前記複合現実感ユーザ・インターフェース。
13. Ｘ線透視画像、コンピュータ断層撮影スキャン、磁気共鳴画像データ、陽電子放出断層撮影スキャン、およびそれらの組み合わせからなる群から選択される外部データを、前記複合現実感ユーザ・インターフェースに組み込むことをさらに備える請求項１２に記載の複合現実感ユーザ・インターフェース。
14. 前記センサ群は、さらに深度センサを有し、
    三次元表面の前記マッピングのために、前記深度センサは、データを、前記処理ユニットに提供する請求項１２に記載の複合現実感ユーザ・インターフェース。
15. 前記センサ群は、深度センサ、慣性測定ユニット、マイクロフォン、スピーカー、および触覚フィードバック手段からなる群から選択される少なくとも１つのコンポーネントをさらに有する請求項１２に記載の複合現実感ユーザ・インターフェース。
16. 前記ユーザが所望のバージョンおよび傾斜を達成するのをさらに支援するために、対象、手術器具、およびそれらの組み合わせからなる群から選択される少なくとも１つの仮想オブジェクトを前記複合現実感ユーザ・インターフェースに組み込むことをさらに備える請求項１２に記載の複合現実感ユーザ・インターフェース。
17. 前記解剖学的対象、第２の解剖学的対象、第３の解剖学的対象、スタイラス、超音波プローブ、ドリル、のこぎり、ドリルビット、寛骨臼インパクター、椎弓根スクリュー、Ｃアーム、およびそれらの組み合わせからなる群から選択される前記オオブジェクトの少なくとも１つに視覚的マーカーを取り付けることと、
    前記複合現実感ユーザ・インターフェースに組み込むために、前記処理ユニットに送信するためのデータを取得するために、各オブジェクトが６自由度の姿勢を持つ前記オブジェクトのうちの前記少なくとも１つを前記センサ群で追跡すること、とをさらに備える請求項１２に記載の複合現実感ユーザ・インターフェース。
18. 前記複合現実感ユーザ・インターフェースは、ドリルの目標軌道、のこぎりの目標切除面、椎弓根スクリューの目標軌道、寛骨臼インパクターの目標位置、大腿骨の目標基準位置、および股関節置換術における前記大腿骨頸部の目標切除面からなる群から選択される少なくとも１つのオブジェクトの虚像を提供する請求項１７に記載の複合現実感ユーザ・インターフェース。
19. 前記医療処置は、股関節置換手術、膝関節置換手術、脊椎固定術、腕の骨の癒合に対する矯正骨切り術、遠位大腿骨および近位脛骨骨切り術、寛骨臼周囲骨切り術、肘靭帯再建術、膝靭帯再建、足首靭帯の再建、肩側鎖端関節再建術、肩関節全置換術、肩関節逆置換術、足関節全置換術、腫瘍の診断手順、腫瘍の除去手順、解剖学的対象への経皮ネジ留置、Ｃアームと患者の解剖学的構造との位置合わせ、および解剖学的対象への注射からなる群から選択される請求項１２に記載の複合現実感ユーザ・インターフェース。
20. 前記手術器具は、超音波プローブであり、
    前記解剖学的対象は、所望の手術部位に隣接する椎骨であり、
    前記プロセスは、さらに下記を有する：
    前記超音波プローブを使用して、関心のある任意の椎骨を含む前記所望の手術部位を囲む領域を走査することと、
    前記超音波プローから受信した画像データを前記処理ユニットに送信することと、
    前記椎骨の三次元表面を生成するために、前記超音波から受信した前記画像データを、前記センサ群から受信した前記超音波の前記姿勢データと組み合わせることと、
    前記所望の手術部位の前記立体虚像を登録するために、前記処理ユニットによって、前記椎骨の前記三次元表面を、前記複合現実感ユーザ・インターフェースに組み込むこと、である請求項１２に記載の複合現実感ユーザ・インターフェース。
21. 器具の先端を中心とした三次元拡大立体虚像と重ね合わされた前記器具および周囲環境の画像を示す手術ナビゲーションシステム用の複合現実感ユーザ・インターフェースであって、
    前記画像は、前記器具の動きをリアルタイムで示す、手術ナビゲーションシステム用の複合現実感ユーザ・インターフェース。