JP2019520859A

JP2019520859A - 無線超音波追跡および通信のためのウルトラワイドバンドの位置決め

Info

Publication number: JP2019520859A
Application number: JP2018548168A
Authority: JP
Inventors: ラシュワンマフホウズ，モハメド
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-03-14
Filing date: 2017-03-14
Publication date: 2019-07-25
Anticipated expiration: 2037-03-14
Also published as: BR132020025325E2; EP3827777A3; JP2024156960A; US11723724B2; US12213743B2; EP3821842A1; US20190167352A1; JP2022096663A; CN116650106A; CN112386302A; US12232816B2; US20170367766A1; US20210015559A1; EP4394703A3; EP3429497A1; US20210022810A1; EP3878391A1; WO2017160889A1; JP7071480B2; JP2021013833A

Abstract

整形外科用インプラントを設計する方法であって、（ａ）実際の解剖学的形状の考察および運動学的形状の考察を使用して、動的整形外科用インプラントの可能な形状を反復的に評価することと、（ｂ）可能な形状のうちの１つから動的整形外科用インプラント形状を選択することとを含み、選択される動的整形外科用インプラント形状が所定の運動学的制約および解剖学的制約を満たす、方法。
【選択図】図９３

Description

関連出願の相互参照
本出願は、２０１６年３月１４日に出願された「Ｕｌｔｒａ−ｗｉｄｅｂａｎｄｐｏｓｉｔｉｏｎｉｎｇｆｏｒｗｉｒｅｌｅｓｓｕｌｔｒａｓｏｕｎｄｔｒａｃｋｉｎｇａｎｄｃｏｍｍｕｎｉｃａｔｉｏｎ」と題する米国特許仮出願第６２／３０８，１７６号、２０１６年９月７日に出願された「Ｕｌｔｒａ−ｗｉｄｅｂａｎｄｐｏｓｉｔｉｏｎｉｎｇｆｏｒｗｉｒｅｌｅｓｓｕｌｔｒａｓｏｕｎｄｔｒａｃｋｉｎｇａｎｄｃｏｍｍｕｎｉｃａｔｉｏｎ」と題する米国特許仮出願第６２／３８４，５２１号の利益を主張し、これらの各々の開示が、参照により本明細書に組み込まれる。

技術分野
本開示は、動的整形外科用インプラント、その作成方法、その製造方法、および外科手順の一部としての動的インプラントを装着すること、ならびに外科用器具、インプラント、患者の解剖学的構造、および外科用ナビゲーションの一部として患者、外科用用具、およびインプラントの実世界画像上に拡張現実シーンを表示することを含み得る外科計画を実施する一環としての外科医を追跡するために使用されるデバイスを追跡することを対象とする。

本発明の第１の態様は、整形外科用インプラントを設計する方法であって、（ａ）実際の解剖学的形状の考察および運動学的形状の考察を使用して、動的整形外科用インプラントの可能な形状を反復的に評価することと、（ｂ）可能な形状のうちの１つから動的整形外科用インプラント形状を選択することとを含み、選択される動的整形外科用インプラント形状が所定の運動学的制約および解剖学的制約を満たす、方法を提供することである。

第１の態様のより詳細な実施形態では、整形外科用インプラントは、脛骨インプラントおよび大腿骨インプラントのうちの少なくとも１つを含む。さらに別のより詳細な実施形態では、方法は、動的整形外科用インプラントの可能な形状を反復的に評価する前に、動的撮像データを収集することをさらに含む。さらなる詳細な実施形態では、動的撮像データは、蛍光透視データである。さらに別の詳細な実施形態では、動的撮像データを画像補正プロセスに供して歪を低減する。より詳細な実施形態では、動的撮像データを特徴抽出プロセスに供して骨の辺縁を確立する。より詳細な実施形態では、動的撮像データを初期化プロセスに供して骨の姿勢を推定する。別のより詳細な実施形態では、動的撮像データを逐次形状および姿勢推定プロセスに供して、骨の三次元仮想モデルを生成する。さらに別のより詳細な実施形態では、逐次形状および姿勢推定プロセスは、統計学的形状モデル作成プロセスからの入力を利用する。また別のより詳細な実施形態では、動的撮像データが形状および姿勢推定プロセスの一部としてセグメント化および分類される。

第１の態様のさらに別のより詳細な実施形態では、動的撮像データを利用して、運動の範囲にわたって互いに対して位置を変化させる複数の骨モデルを生成する。さらに別のより詳細な実施形態では、方法は、動的撮像データを使用して仮想解剖学的モデルを構築することをさらに含む。さらなる詳細な実施形態では、仮想解剖学的モデルは、少なくとも２つの骨を備える解剖学的関節を備える。さらに別の詳細な実施形態では、解剖学的関節は、肩関節、膝関節、股関節、および足関節のうちの少なくとも１つを含む。より詳細な実施形態では、解剖学的モデルは、軟組織を含む。より詳細な実施形態では、軟組織は、靭帯を含む。別の詳細な実施形態では、所定の運動学的制約は、正常な運動学を予測することから得られる。さらに別のより詳細な実施形態では、正常な運動学は、運動学的データベースから抽出される。また別のより詳細な実施形態では、方法は、整形外科用インプラントのためにインプラントの幾何学的制約を確立することをさらに含む。

第１の態様のより詳細な実施形態では、方法は、整形外科用インプラントのために製造上の制約を確立することをさらに含む。さらに別のより詳細な実施形態では、方法は、整形外科用インプラントの移植を実現するための外科計画を確立することをさらに含む。さらなる詳細な実施形態では、外科計画は、外科用ナビゲーションシステムが所定の骨切断を行うことをガイドするための命令を含む。さらに別の詳細な実施形態では、命令は、患者の骨に対して所定の骨切断の向きを示す向き情報を含む。より詳細な実施形態では、命令は、患者の骨に対して所定の骨切断の位置を示す位置情報を含む。より詳細な実施形態では、命令は、患者の骨への位置トラッカーの付着を含む。別のより詳細な実施形態では、命令は、患者への位置トラッカーの付着を含む。さらに別のより詳細な実施形態では、外科計画は、外科用ナビゲーションシステムが一連の所定の骨切断を行うことをガイドするための命令を含む。

本発明の第２の態様は、患者の解剖学的形状のために最適化された軸受表面を備える患者特異的整形外科用インプラントであって、軸受表面が、製造前に仮想的に生成され、運動学的に評価されている、患者特異的整形外科用インプラントを提供することである。

第２の態様のより詳細な実施形態では、整形外科用インプラントは、脛骨インプラントおよび大腿骨インプラントのうちの少なくとも１つを含む。さらに別のより詳細な実施形態では、患者の解剖学的形状は、患者の運動に応答して生成された動的撮像データを使用して収集された。さらなる詳細な実施形態では、動的撮像データは、蛍光透視データである。さらに別の詳細な実施形態では、動的撮像データを画像補正プロセスに供して歪を低減する。より詳細な実施形態では、動的撮像データを特徴抽出プロセスに供して骨の辺縁を確立する。より詳細な実施形態では、動的撮像データを初期化プロセスに供して骨の姿勢を推定する。別のより詳細な実施形態では、動的撮像データを逐次形状および姿勢推定プロセスに供して、骨の三次元仮想モデルを生成する。さらに別のより詳細な実施形態では、逐次形状および姿勢推定プロセスは、統計学的形状モデル作成プロセスからの入力を利用する。また別のより詳細な実施形態では、動的撮像データが形状および姿勢推定プロセスの一部としてセグメント化および分類される。

第２の態様のさらに別のより詳細な実施形態では、動的撮像データを利用して、運動の範囲にわたって互いに対して位置を変化させる複数の骨モデルを生成する。さらに別のより詳細な実施形態では、インプラントは、動的撮像データを使用して仮想解剖学的モデルを構築することをさらに含む。さらなる詳細な実施形態では、仮想解剖学的モデルは、少なくとも２つの骨を備える解剖学的関節を備える。さらに別の詳細な実施形態では、解剖学的関節は、肩関節、膝関節、股関節、および足関節のうちの少なくとも１つを含む。より詳細な実施形態では、解剖学的モデルは、軟組織を含む。より詳細な実施形態では、軟組織は、靭帯を含む。

本発明の第３の態様は、外科用ナビゲーションシステムであって、（ａ）第１のウルトラワイドバンドおよび慣性計測ユニットと、（ｂ）第２のウルトラワイドバンドおよび慣性計測ユニットと、（ｃ）第１のウルトラワイドバンドおよび慣性計測ユニットと第２のウルトラワイドバンドおよび慣性計測ユニットとに通信可能に連結されたプロセッサと、（ｄ）プロセッサに通信可能に連結されたグラフィカルディスプレイと、を備え、グラフィカルディスプレイは、第１のウルトラワイドバンドおよび慣性計測ユニットと第２のウルトラワイドバンドおよび慣性計測ユニットとのうちの少なくとも１つに対してグラフィックディスプレイが再度位置決めされるときに位置および向きのうちの少なくとも１つにおいて変更可能である拡張現実画像を表示するように構成されている、外科用ナビゲーションシステムを提供することである。

第３の態様のより詳細な実施形態では、第２のウルトラワイドバンドおよび慣性計測ユニットと、プロセッサと、グラフィカルディスプレイとが、ユーザウェアラブルヘルメットの一部として統合されている。さらに別のより詳細な実施形態では、ヘルメットは、バイザであって、そこにグラフィカルディスプレイが拡張現実画像を投影する、バイザを含む。さらなる詳細な実施形態では、システムは、カメラをさらに含む。さらに別の詳細な実施形態では、拡張現実画像は、プロジェクタによって生成される。より詳細な実施形態では、プロジェクタは、レーザプロジェクタを備える。

本発明の第４の態様は、外科手順を計画する方法であって、方法が、（ａ）動的整形外科用インプラントの生成を可能にする命令を生成することであって、動的整形外科用インプラントが、実際の解剖学的形状の考察および運動学的形状の考察を使用して、可能な表面軸受形状を反復的に評価することの結果として生成される、生成することと、（ｂ）触知可能なガイドおよび仮想ガイドのうちの少なくとも１つを生成するための命令を生成することであって、命令が患者特異的である、生成することと、（ｃ）動的整形外科用インプラントの移植を容易にするナビゲーション命令を生成することであって、ナビゲーション命令が、ウルトラワイドバンドおよび慣性計測ユニットの組み合わせを使用して、患者および外科用用具の少なくとも一部を同時に追跡することを含む、生成することとを含む、方法を提供することである。

本開示による、追跡されたＵＷＢ対応超音波プローブの一例の構成要素のブロック図である。位置精度低下率（ＰＤＯＰ：ＰｏｓｉｔｉｏｎＤｉｌｕｔｉｏｎｏｆＰｒｅｃｉｓｉｏｎ）を使用して参照ユニットの位置を最適化するためのフロー図である。本開示による、ＵＷＢおよびＩＭＵハイブリッド追跡システムの例示的な設計を示す一対の図である。ＵＷＢシステムおよびＩＭＵシステムの処理および融合アルゴリズムのためのブロック図である。任意選択でモバイルプラットフォームに堅く固定されたＵＷＢシステムおよびＩＭＵシステムのイラストである。本開示による、関節形成術のための拡張現実のワークフローである。本開示によるＵＷＢ／ＩＭＵ対応外科用ナビゲーションシステムのワークフローである。本開示による拡張現実およびＵＷＢ／ＩＭＵ対応外科用ナビゲーションシステムのワークフローである。本開示による、ＡＲシステムと、ＩＭＵおよびＵＷＢなどのハイブリッド追跡システムとを使用した関節形成術のための仮想ガイドを作成するための術前および術中ワークフローの一例示的実施形態のブロック図である。本開示による、拡張現実システム、ＵＷＢシステム、およびＩＭＵシステム間のレジストレーション関係を示す図である。協同的な外科計画の一部として、拡張現実システムに対する別のユーザの位置を示すオレンジ色の３Ｄモデルを示す仮想骨切断計画の例示的な写真である。協同的な外科計画の一部として、拡張現実システムに対する別のユーザの位置を示すオレンジ色の３Ｄモデルを示す仮想インプラント配置計画の別の例示的な写真である。拡張現実における異なる座標システムの変換を示す図である。矩形形状ベースのマーカー検出手法のための例示的な方法のブロック図である。二次元特徴一致手法のための例示的な方法のブロック図である。三次元モデルベースの物体検出手法のための例示的な方法のブロック図である。２つのレンダリング工程を含む基本的なフォワードマッピングにおけるレンダリングフレームワークの図である。絶対的な向きの問題において、２組の光線を使用して２つの異なる座標システムを整列させることを示す図である。リアルタイムでＵＷＢおよびＩＭＵハイブリッド追跡システムに基づいて骨を追跡する例示的なプロセスのブロック図である。ＩＭＵシステムおよびＵＷＢシステムと組み合わせて使用する例示的な拡張現実システム、ならびにユーザに情報を表示するための頭部装着型ディスプレイ（ＡＲバイザ）の描写である。ユーザに情報を表示するためにレーザプロジェクタを利用する例示的な拡張現実システムの描写である。光学追跡を位置決めアルゴリズムに統合する能力を提供する例示的な統合型カメラならびにＵＷＢおよびＩＭＵデバイスの描写である。特徴一致手法とハイブリッド追跡システムとを組み込んだ頭部装着型拡張現実システムを登録するための例示的なプロセスのブロック図である。レーザプロジェクタベースのＡＲシステムを登録するための例示的なプロセスのブロック図である。ＵＷＢ／ＩＭＵシステムを伴う拡張現実システムの組み込みを示す図である。術中の運動学をシミュレートおよび評価するための例示的なプロセスのブロック図である。外科用用具へのフィードバックを提供するための例示的なプロセスのブロック図である。下腿の外側の実世界画像上に仮想骨および仮想構成要素（例えば、ピンガイドの位置）を配置する拡張現実システムのイラストである。拡張システムを患者の空間に登録するために、正常な実世界視野、ならびに特別注文の参照デバイスを使用した拡張現実視野を示す一対の写真である。拡張現実外科用ナビゲーションのための、特別注文のレジストレーションデバイスから堅く固定されたマーカーまでの解剖学的追跡の転移を示す写真である。股関節臼蓋を位置決めするために拡張現実を使用した解剖学的構造に対する外科用器具の追跡を示す写真である。股関節ナビゲーションおよび正しい向きの拡張視野を通じてユーザが見るであろうことを表現したものである。ＵＷＢ追跡能力およびＩＭＵ追跡能力を備えた例示的な振動鋸である。複数のサイズおよびインプラント群のために利用され得る機械的に調整可能なフォーインワンの切断ブロックである。全膝置換術において大腿骨切除を遂行するための調整可能な「スマート」切断ブロックである。スマート切断ガイドの例示的な作成および使用プロセスを示すフローチャートであり、スマート切断ガイドは、ＵＷＢ／ＩＭＵ／ＡＲシステムによって能動的に追跡され得、切断ガイドは、事前にプログラムされ得るか、または計画された切断面の位置を無線で受信し得る。さらなる例示的な作成および使用プロセスまたはスマート切断ガイドを示すフローチャートであり、スマート切断ガイドは、ＵＷＢ／ＩＭＵ／ＡＲシステムによって能動的に追跡され得、切断ガイドは、事前にプログラムされ得るか、または計画された切断面の位置を無線で受信し得る。術前計画ごとに遠位切断ガイド（青線）を位置決めするための視覚補助のための例示的な拡張現実ヘルメットを通じた視野の視覚的描写である。遠位切断ブロックを位置決めするための例示的な拡張現実ヘルメットを通じた視野の視覚的描写である。拡張システム内で追跡するために、ＵＷＢセンサおよびＩＭＵセンサを備えた振動鋸を見ている例示的な拡張現実ヘルメットを通じた視野の視覚的描写である。膝表面再建のために、スマート器具を見ている例示的な拡張現実ヘルメットを通じた視野の視覚的描写である。ＵＷＢ追跡ガイドおよび仮想ガイドを用いた超音波ベースの外科用ナビゲーションのための方法を表すフロー図である。拡張ディスプレイを介して適切な針経路と解剖学的構造とを視覚化することができる拡張現実システムのユーザの描写である。解剖学的参照を補助し、オペレータがコンピュータモニタを見る必要性を排除するために、患者の解剖学的構造上で拡張される超音波のＢモード画像を見ることができる、拡張現実システムのユーザの描写である。超音波データから構築され、Ｂモード画像と共に拡張シーン上に表示される解剖学的構造を見ることができる、拡張現実システムのユーザの描写である。拡張現実および超音波の１つの直接的な適用が軟骨下形成術（ｓｕｂｃｈｏｎｄｒｏｐｌａｓｔｙ）の手順をナビゲーションするためのフレームワークを作成することであることを示すフロー図である。再構築された患者の骨を示す外科計画ソフトウェアからのスクリーンショットである。Ｘ線画像に投影された機械的な軸を示す外科計画ソフトウェアからのスクリーンショットである。脛骨インプラントの配置を示す外科計画ソフトウェアからのスクリーンショットである。距骨インプラントの配置を示す外科計画ソフトウェアからのスクリーンショットである。全足関節形成術のＵＷＢ／ＩＭＵ外科用ナビゲーションのためのフローチャートである。全膝置換術においてＵＷＢ追跡システムおよびＩＭＵ追跡システムを使用するためのフロー図である。外科的ケアのエピソードにわたって動的データを利用して、患者特異的インプラントおよび器具を作成し、インプラントを配置し、ならびに術後に性能を監視する例示的なプロセスのフロー図である。動的関節再建の例を示す写真を含む。単一平面デジタル式蛍光板透視への患者特異的形状情報の重畳を示す画像を含む。動的画像データから解剖学的情報を作成する例示的なプロセスを示すフロー図である。辺縁の歪除去前後の幾何学的キャリブレーショングリッドの蛍光板透視画像を含む。蛍光板透視画像の特徴から３Ｄモデルを生成するためのプロセスフローの描写である。ハイブリッド分類手段による初期化を示す図である。膝関節に適用されたＫＰＣＡモデルの変更例を示す図である。姿勢および形状パラメータの最適化のためのプロセスを示す図である。入力空間距離と特徴空間距離との関係を示す図である。ＣＴと比較して、蛍光板透視による大腿骨および脛骨の患者の解剖学的構造の再構築結果を示す一連の画像である。辺縁重畳を有する一連の蛍光板透視画像を含む。Ｘ線蛍光板透視による肩および股関節部の再構築の例示的な画像を含む。部品テンプレートが存在し得る体積として関心体積（ＶＯＩ：ｖｏｌｕｍｅｏｆｉｎｔｅｒｅｓｔ）を抽出することによって、幾何学的空間が最初にどのように分解されるかを示す図である。検出によって関心体積（ＶＯＩ）がどのように決定されるかを示す図である。統計学的形状の変形を使用するのに代わるものは、画像上の特徴を直接特定し、形状の特定および変形に対して、いわゆるＡｎｄ−Ｏｒツリーを使用することであることを示す図である。大腿骨の解剖学的構造をプリミティブ形状に分解した、一連のコンピュータ生成イラストである。撮像データから抽出された靭帯の位置を示す骨モデルである。深い膝の屈曲に対する脛骨および大腿骨の接触分布図を示す図である。どのように静的データと蛍光板透視データとを利用して運動学と形態学とを結合するかを示す図である。動的画像撮影の一部として相対的な軟骨の厚さを示す２つの遠位大腿骨の分布図である。動的データから軟骨の厚さを推定するためのフロー図である。遠位大腿骨および近位脛骨に対する靭帯座位の確率分布図である。靭帯座位の位置および靭帯の長さのエンベロープの変化を予測するために利用される一対のモデルおよびチャートである。予測される軟骨損失量をマッピングする一対の遠位大腿骨モデルである。運動学的パターンを特定するための運動学的トレーニングネットワークを作成し、使用するためのプロセスフロー図である。内側の虚脱を示す膝関節骨モデルである。正常な関節整列の推定および靭帯の長さの変化を示す膝関節骨モデルである。患者特異的靭帯剛性を計算するための例示的なプロセスのフローチャートである。患者特異的動的インプラントを作成するためのプロセスの概要のプロセスフロー図である。患者特異的動的インプラントを作成する一環として、健全な運動学的プロフィールまたは靭帯剛性のいずれかからの推定を利用するための例示的なプロセスを示すチャートである。異なるポリエチレンの矢状湾曲および対応する大腿骨インプラントの描写である。インプラント形状最適化のための例示的なプロセスを示すフローチャートである。受動膝モデルのコンピュータ生成モデルである。作成されるインプラントに適合するようにカスタマイズ可能な靭帯モデルを備えた屈曲駆動型モデルのコンピュータ生成モデルである。運動学的データから回復可能な患者インプラントのための最適なＣＡＤパラメータを定義するためのネットワークを作成し、使用する例示的なプロセスのフロー図である。患者最適化切断ボックスについての初期推測として、線分によるオフセットされたインプラントのＪ曲線の近似の表現である。患者最適化切断ボックスを使用したコンピュータ生成切除大腿骨モデルである。従来の修正インプラント切断ボックスを使用して再切断されたコンピュータ生成切除大腿骨モデルである。従来の修正インプラント切断ボックスを使用して切除された追加の骨の量対患者最適化切断ボックスを使用して切除された追加の骨の量を示すコンピュータ生成骨モデルである。スマート切断ガイドを術中に使用する動的インプラントの作成および外科計画の実行の包括的な概念を概説するフローチャートである。術後の評価の一部としてＵＷＢトラッカーおよびＩＭＵトラッカーを使用するイラストである。患者特異的インプラントおよびインプラントを作成するために使用されるパラメータを列挙する例示的な図である。動的データから患者特異的インプラントを作成するためのプロセスの例示的な概要である。動的データおよび統計学的アトラスから設計パラメータを抽出するための情報フローを示すフロー図である。動的データからの関節の再構築を示すフロー図である。動的関節再構築の例を表すソフトウェアパッケージからのスクリーンショットである。外科的ケアのエピソードにわたって動的データを利用して、患者特異的インプラントおよび器具を作成し、インプラントを配置し、ならびに術後に性能を監視する例示的なプロセスのプロセスフロー図である。動的撮像プロセスによって捕捉されたときの運動学的データを含み、手術室での調整とは対照的に、外科計画を展開するときに靭帯平衡を改善するのに役立つ運動の範囲全体にわたって軟組織エンベロープに関する情報を作成することを可能にする膝計画ソフトウェアアプリケーションからのスクリーンショットである。屈曲駆動型運動学的膝モデルの描写である。動的インプラントの設計プロセスへの入力およびそこからの出力のための患者の運動およびダイナミクスを分析するための一連のシミュレーションモデルを含む。

本開示の例示的な実施形態は、動的整形外科用インプラント、その作成方法、その製造方法、および外科手順の一部としての動的インプラントを装着すること、ならびに外科用器具、インプラント、患者の解剖学的構造、および外科用ナビゲーションの一部として患者、外科用用具、およびインプラントの実世界画像上に拡張現実シーンを表示することを含み得る外科計画を実施する一環としての外科医を追跡するために使用されるデバイスを追跡することを包含するように以下で記載および説明される。当然ながら、以下で論じられる実施形態は本質的に例示的なものであり、本発明の範囲および趣旨から逸脱することなく再構成され得ることは当業者には明らかであろう。しかしながら、明瞭さおよび正確さのために、以下で論じられる例示的な実施形態は、当業者が本発明の範囲内にあたる必要がないと認識すべき任意選択の工程、方法、および特徴を含み得る。

無線超音波追跡および通信のためのウルトラワイドバンドの位置決め
現在、無線超音波プローブは超音波情報を通信し、単一のユニット／パッケージの一部としてリアルタイムの位置情報および向き情報を提供し得る。統合通信による無線超音波プローブを可能にし、ウルトラワイドバンド（ＵＷＢ：ｕｌｔｒａｗｉｄｅｂａｎｄ）技術を組み入れたシステムを本明細書において開示する。例示的なシステムの一部を含む例示的な無線超音波プローブは、超音波無線データストリーミングのための第１のＵＷＢユニットと、リアルタイム位置追跡および無線制御／フィードバックのための第２のＵＷＢユニットとを含む。無線超音波プローブはまた、位置、向き、および超音波データを処理するために、２つのＵＷＢユニットをＩＭＵおよびマイクロコントローラ（ＭＣＵ：ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ）と統合する。

超音波プローブの設計
本開示に従って、例示的な無線超音波プローブは、任意の数（１つまたは複数）の超音波トランスデューサを含み得る。さらなる例として、無線超音波プローブは、位置決め／制御およびリアルタイムデータストリーミングのための１つ以上のアンテナを含む１つ以上のＵＷＢトランシーバユニット、ならびに１つ以上の加速度計、ジャイロスコープ、および磁気計を含む１つ以上の慣性計測ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌｍｅａｓｕｒｅｍｅｎｔｕｎｉｔ）を統合し得る（ｍａｙｉｎｔｅｇｒａｔｅｄ）。図１は、例示的な無線ＵＷＢ対応超音波プローブの例示的な構成要素を示す例示的なブロック図を備える。

さらなる例として、図３に示されるように、例示的なＵＷＢユニットは、（四面体レイアウトなどの）４つ以上のアンテナを含み得る。すべてが互いに同一平面上にない少なくとも４つのアンテナを有することによって、アンテナは、任意の３つのアンテナが三次元（３Ｄ：ｔｈｒｅｅｄｉｍｅｎｓｉｏｎａｌ）空間内に固有の平面および垂直軸を形成することを考慮して、三次元の向きの変化を解決することができるように動作する。アンテナは、１×Ｎの高周波（ＲＦ：ｒａｄｉｏｆｒｅｑｕｅｎｃｙ）スイッチを使用してＵＷＢトランシーバに接続され得、式中、「Ｎ」は、任意の整数である。さらなる例として、ＵＷＢユニットは、ＲＦスイッチの活性化および非活性化、ならびにＲＦスイッチのチャネル切り替えを制御するように動作するＭＣＵを含み得る。この方法で、各アンテナは、アンテナの各々に関連付けられた位置情報および向き情報の導出を可能にする信号を生成する。例示的な形態では、４つのアンテナの各々の位置を決定することは、信号が中央のＵＷＢアンカーユニットから送信され、４つのアンテナの各々によって受信されるのにかかる時間を決定することから生じる。換言すれば、各ＵＷＢ追跡ユニットの位置を決定することは、ＵＷＢ追跡ユニット内の各タグと、視覚表示命令を処理および生成するための中央処理ユニット（ＣＰＵ：ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）に接続され得る中央ＵＷＢアンカーユニットとの間で遂行される。

ＵＷＢの位置決め
本開示による例示的なＵＷＢ追跡ユニットは、複数のアンテナを単一のトランシーバに接続し得、これは、同じＵＷＢトランシーバユニットを利用する複数のＵＷＢアンテナ（標的）を測距すること、位置決めすること、および追跡することを可能にする。例として、ＵＷＢ追跡ユニット内のアンテナは、マスタロール／ユニットまたは周辺ロール／ユニットとして機能し得、マスタロールは、システム内の周辺アンテナのためのタイミング参照を生成するように機能する。各ＵＷＢ追跡ユニット内のアンテナは、４つ以上のアンテナが存在し、これらのアンテナのうちの１つが他の３つのアンテナと同じ平面上に存在しないという条件で任意の構造で配置され得る。例えば、先述のように、四面体アンテナ構造は、前述の条件を満たす。アンテナ構造にかかわらず、４つのアンテナは、単一のＵＷＢトランシーバに接続し得、各アンテナは、位置決めするための参照ポイントとして機能する。単一のタイミング回路と、ＵＷＢパルスを複数のアンテナに供給するための単一のトランシーバとにより、この構造は、ＵＷＢ追跡ユニット内のすべての参照ポイント間のクロック同期を有効にする。この構造は、マスタユニットの設置の柔軟性を大幅に改善し、ならびにキャリブレーション手順を容易にし得る。短い範囲の局所化用途では、単一のマスタユニットが、局所化のための適切な位置決めデータを提供するのに十分であり得る。広い範囲の局所化用途では、複数のマスタユニットを使用することができる。例として、マスタユニットのタイミング回路は、有線または無線のいずれかの方法で、動作中に同期されてもよい。

前述の例示的な四面体設計は、各ＵＷＢユニットの位置および向きの決定を可能にし得る。追加のＩＭＵを使用して、向きを正確に決定することができる。両方のセンサシステムの出力は、ＵＷＢおよびＩＭＵからのエラーが融合技法およびフィルタリング技法によって低減されるように、融合される。方法の一例は、ＵＷＢシステムとＩＭＵシステムとの間で向きの推定を相補するために再帰的ベイズ推定フィルタを使用することであろう。ＩＭＵシステムは、不正確であり、ＵＷＢシステムを使用して補正を提供することができる磁気アーチファクトに供され得る。加えて、ＵＷＢユニットの四面体設計は、アンテナ間で並進推定を監視することと、改善された並進推定とを可能にし得る。

例示的なシステムの一部として、１つ以上のＵＷＢ追跡ユニットは、ユーザ環境（例えば、外科手順中の手術室）内の異なる位置に装着され得るかまたは位置し得る１つ以上の外部参照ユニットと通信し得る。例示的な形態では、参照ユニットは、任意の数の向きおよび構造において１つ以上のアンテナを含み得る。また、参照ユニットは、有線接続または無線接続を介して、他の参照ユニットおよびマスタユニットと通信し得る。例示的な形態では、参照ユニットは、他のＵＷＢ追跡ユニットに対するマスタユニットとして挙動し得、また、受信信号強度、到着時間差、飛行時間、および／または到着角度などの位置決め技法に基づいて、任意の他の参照ユニットまたはＵＷＢ追跡ユニットの位置を決定するように構成され得る。参照ユニットの配置は、任意であってもよいし、または位置精度低下率（ＰＤＯＰ）に基づく推定を使用して最適化されてもよい（図２参照）。ユーザは、対象となる追跡領域、所望の精度、および利用可能な参照ユニットの数を入力することができる。最適化ソフトウェアは、参照ユニットの最適な位置を決定する。ソフトウェアはまた、２Ｄまたは３Ｄにおいて参照ユニット配置を最適化するように構成され得る。

別の代替の例示的な構造では、ＵＷＢ追跡システムおよび／またはＩＭＵ追跡システムを外科用ロボットシステムの形態であり得るモバイルプラットフォームに堅く固定して、外部参照ユニットを手術室の周辺に配置することに頼らずに性能を改善することができる（図５参照）。

ＵＷＢ通信
例示的なシステムの１つの例示的な利点は、超音波プローブの無線位置および向き追跡である。提案されるシステムの第２の例示的な利点は、ＵＷＢ技術を使用した、超音波プローブと中央処理ユニット（ＣＰＵ）との間の無線通信である。ＵＷＢ通信で得られる高いスループットは、提案されるシステムを、リアルタイム超音波取得情報を送信するのに理想的なものにする。Ｂモードデータ、高周波（ＲＦ）データ、Ｉ／Ｑデータ、または任意の他の取得された超音波信号をＣＰＵへリアルタイムで送信することは、データスループット能力、好ましくは、およそ少なくとも６〜７Ｍｂｐｓを有するＵＷＢトランシーバによって遂行される。ＲＦ、ＩＱ、および／またはＢモードのデータの秒当たり少なくとも２０〜３０フレームがリアルタイム処理および表示用に無線で送信され得るように、可逆データ圧縮を利用して、リアルタイムデータストリームを圧縮することができる。

拡張現実およびＩＭＵ追跡による関節置換術のためのリアルタイム仮想ガイド
関節形成術は、関節を備える骨のうちの１つ以上を表面再建することによって、関節の機能を回復させる外科手順である。関節形成術は、正常な四肢整列の回復、正確なインプラントの設計および最適化、確実なインプラントの固定、ならびに／または適切な軟組織の平衡および安定性を提供する外科処置を含み得る。本明細書で以下により詳細に論じられるように、本開示は、ＡＲシステム内に構成された仮想切断ガイドを提供して、手術室内での関節置換術の手順などの外科手順中に外科医をガイドするように、外科医／ユーザの実世界視野上に重畳される１つ以上のコンピュータ生成画像を提供する。拡張現実技術の進展と共に、ＵＷＢ技術およびＩＭＵ技術に基づく自己参照型ハイブリッドナビゲーションモジュールは、外科手順中の外科用用具および外科医／ユーザの同時並進および回転の追跡の精度、ならびに患者の術中および術後の運動学の評価を改善するために使用されている。

例示的な形態では、本明細書に開示される主題は、拡張現実コンテンツを見るための頭部装着型または手持ち型（もしくは身体付着型）ディスプレイ、通常のコンピュータスクリーン、モバイルデバイススクリーン、あるいはこれらの任意の組み合わせを使用する、関節形成術などの外科手順の一部としての拡張現実の医療用途に対応する。具体的には、この例示的な実施形態は、ユーザが実際の物体と仮想物体とをもはや区別することができない状況を提供し得る一貫した方法でユーザの実世界視野の表面上に仮想物体を配置することによって、高精度のコンピュータ生成画像により外科手順をガイドするためのシステムおよび方法を包含する。

拡張現実
拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ）は、コンピュータビジョンおよびコンピュータグラフィックスの分野であり、埋め込まれた合成情報（ｅｍｂｅｄｅｄｓｙｎｔｈｅｔｉｃｉｎｆｏｒｍａｔｉｏｎ）を実世界環境に統合する。拡張現実体験では、エンドユーザは、ユーザの実世界視野の上に重ねられたコンピュータ生成画像から、ユーザの周囲の実世界に関する追加の情報を備えることができる。ユーザを合成環境内のみに熱中させる仮想現実ではなく、拡張現実は、ユーザが実世界環境の上に重ねられた合成世界と情報を交換することを可能にする。本明細書で以下により詳細に論じられるように、例示的な実施形態は、限定なしで、コンピュータゲーム、シミュレーション、エンジニアリング、トレーニング、および様々な他の用途などの外科以外の用途を有する。

本開示による例示的なＡＲシステムは、１つ以上のカラーカメラ、１つ以上の深度カメラ、１つ以上の画像処理ユニット、中央処理ユニット、１つ以上のネットワーク通信システム（Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬＥ、ＵＷＢ、またはＷｉｆｉなど）、および以下のフィードバック機構のうちのいずれかからなり得る。（ａ）情報がバイザの上に重畳される、典型的には頭部装着型ディスプレイである光学シースルーフィードバック（図２０参照）、（ｂ）ディスプレイがカメラによって映像捕捉をレンダリングし、情報が映像の表面上に重畳される手持ち型デバイスであり得る映像重畳フィードバック、および（ｃ）情報が物体の上に直接投影される１つ以上のレーザプロジェクタを介して達成され得る空間投影フィードバック（図２１参照）。本明細書において使用される際、ＡＲビジョン／追跡システムは、概して、コンピュータビジョン、物体認識、追跡、および運動推定を介したユーザの視体積内で物体を追跡するように動作するハードウェアおよびソフトウェアを指す。

拡張現実体験を提供したいときに直面する主な問題の１つは、自然環境に対する投影画像のレジストレーションである。より具体的には、実世界（すなわち、自然環境）内の対応する標的の表面上に仮想物体を正確に位置決めし、この位置決めを自然環境内の物体およびユーザが動くにつれて更新することはこれまで不可能であった。しかし、実世界の物体と拡張現実に投影された物体との正確な整列は、不正確または不安なレジストレーションが骨切断の非整列、インプラントの配置、および外科手順の主要な性能に対する全体的な負の影響を引き起こす可能性があるため、画像ガイド手術にとって不可欠である。

図６を参照すると、左側のフロー図は、拡張現実対応手術の一部として利用される物理的整列ガイド、物理的切断ガイド、仮想整列ガイド、および仮想切断ガイドの作成を含み得る、術前に切断ガイドを作成するためのプロセスを示す。術前工程は、外科手順の対象になるであろう患者特異的解剖学的構造の仮想モデルを作成することを含む。仮想解剖学的モデルは、コンピュータトモグラフィ（ＣＴ：ｃｏｍｐｕｔｅｄｔｏｍｏｇｒａｐｈｙ）、磁気共鳴撮像（ＭＲＩ：ｍａｇｎｅｔｉｃｒｅｓｏｎａｎｃｅｉｍａｇｉｎｇ）、および／もしくはＸ線などの静的撮像様式から、または蛍光板透視もしくはトラッカー対応超音波などの動的撮像様式から作成され得る。例示的な形態では、仮想解剖学的モデルは、膝、股関節部、肩、足首、および／または骨棘部分を含む関節などの任意の骨または骨の群を備え得る。さらに、仮想解剖学的モデルを拡張現実システムで使用して、協同的な外科計画を遂行することができる。

協同的な外科計画は、術前外科計画を作成するために拡張現実ハードウェア（ヘルメット）を介して、ローカルである必要がないネットワーク上に２人以上のユーザを接続させるプロセスに関与し得る。外科計画を作成するユーザは、共通の仮想解剖学的モデルおよびインプラントを見て、所望の外科計画が達成されるまで外科計画のパラメータ（インプラントのサイズおよび位置）を調整することができる。ユーザによって仮想解剖学的モデルへの変更が行われると、これらの変更が他のユーザへネットワーク上で中継され、それに応じて各ユーザの視覚ディスプレイが更新される。同様の方法で、アバタを使用して、ユーザは、本明細書で以下により詳細に論じられるであろうように、解剖学的モデルに関する他のユーザの位置を見ることができる。

ＩＭＵ／ＵＷＢ／ＡＲ補助による動的計画は、１つ以上の撮像様式を介してか、またはＩＭＵおよび／もしくはＵＷＢ位置決めシステムの組み合わせを使用した撮像後に、患者の解剖学的構造の動的データを捕捉することを含み得る。各サブシステム（ＩＭＵ、ＵＷＢ、拡張現実（ＡＲ）間の通信およびデータ送信は、各サブシステムからのデータを他のものまたはＣＰＵによって読み取り可能な形式に変換するアプリケーションプログラムインターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎｐｒｏｇｒａｍｉｎｔｅｒｆａｃｅ）の使用により達成され得る。ソフトウェアＡＰＩを介した通信のこのセットは、すべてのＡＲ／ＩＭＵ／ＵＷＢの統合のための共通のフレームワークである。この動的データを、任意選択で、外科計画プロセスに含めて、計画プロセスにおける術前および術後の関節の状態を確立することができる。

仮想ならびに物理的整列ガイドおよび切断ガイドの作成は、術前データと外科計画に関する合意との組み合わせを使用して作成されてもよい。各物理的整列ガイドは、切断ガイドである必要はないが、患者の固有の骨表面に適合または整列するように構成された１つ以上の表面を有する配置ガイドであり得る。物理的整列ガイドを使用して、整列ガイドの患者適合形状に基づいて、患者の固有の位置に配置することによって、手術室内の患者にＡＲシステムを登録することができる。物理的ガイドとは別に、切断平面の仮想パラメータ、外科用の軸またはピンの位置に関する軸、患者の幾何学的形成、およびインプラントのパラメータからなる仮想切断ガイドは、外科計画の一部として作成され得る。仮想切断ガイドのパラメータは、別様に物理的切断ガイドのために必要になり得る物理的製造プロセスを必要とすることなく、電子的に格納および送信され得る。

図６に戻って参照すると、右側のフロー図は、拡張現実型外科用切断ガイドまたは物理的切断ガイドを利用する一環としての術中ワークフローのプロセスを示す。この例示的なワークフローは、ＡＲ、ＵＷＢ、もしくはＩＭＵ、またはこれらの任意の組み合わせであり得る適用可能な追跡システムのレジストレーションおよびキャリブレーションを含む。レジストレーション工程は、すべての追跡システムが同じ座標システムに同期することを保証する。種々の追跡システム間のレジストレーション工程のより詳細な説明を、図１０に関してより詳細に説明する。

例示的な構造では、光学追跡システムは、ＵＷＢ参照ユニットと統合され得、ＵＷＢ参照ユニットは、各適用可能な追跡システムが同期するための参照の標準フレームを補助および／または提供し得る（図２２参照）。

ＡＲシステムは、光学追跡システムと同様の限定を有し、光学追跡システムは、その視野の領域および／またはその視体積ならびに視線制限内の物体のみを追跡し得ることも理解されたい。ＡＲシステムは、ＵＷＢ／ＩＭＵシステムとの組み合わせで動作する場合（図２０参照）、これらの限定を回避し得、かつ同時に動作中の２つ以上のＡＲシステムが存在し得ることが理解される。ＵＷＢ／ＩＭＵシステムは、患者、器具、または任意の他の物体の位置を、それらがＡＲシステムのビジョン追跡体積（ｖｉｓｉｏｎｔｒａｃｋｉｎｇｖｏｌｕｍｅ）の外側であっても無線で追跡することができるように、患者、器具、または任意の他の物体に付着されてもよい（図２５参照）。外科医および外科助手は各々、各システムによって捕捉された情報が無線で共有されるＡＲシステムを有し得る。例えば、外科医のＡＲビジョン追跡システムが患者の関節のより良好な視野を有する場合、その追跡情報を、ビジョン追跡体積内に患者の関節を有していない他のＡＲシステムに中継することができる。

ＡＲ情報ディスプレイ／フィードバックは、情報がＡＲバイザに中継される頭部装着型ディスプレイの形態で実装され得るか（図２０参照）、または情報が患者の上に直接投影されるレーザ投影システムとして実装され得る（図２１参照）ことをさらに理解されたい。頭部装着型ディスプレイについては、ＡＲシステムの視体積の外側に現在ある物体に対して、ＡＲバイザに重畳されたインジケータが存在することがある。

レジストレーションおよびキャリブレーション後、１つ以上の参照トラッカーを患者および／または適用可能な外科用用具に付着させることができる。例示的な参照トラッカーは各々、ＩＭＵおよび／またはＵＷＢを備え、患者の骨または他の問題の組織の位置を動的に追跡するように患者に付着され得る。物体がＡＲカメラの視体積内にある限り、患者の骨（または対象となる他の外科組織）および適用可能な外科用器具を追跡するためにビジョン追跡システムを利用することができるため、本開示のＡＲ対応システムは、参照トラッカーを必要としないことに留意されたい（図１５および図１６参照）。それにもかかわらず、参照トラッカーの利用は、ＡＲシステムの追跡体積の外側であっても患者の骨（複数可）が常に監視されるという追加の保証を提供する（図２５参照）。参照トラッカーの使用は、コンピュータビジョンに必要な計算負荷を低減し、それに伴って計算の負担を緩和し、ＡＲシステムの性能を改善し得る。

患者への参照トラッカーの付着後、患者レジストレーション工程は、患者の解剖学的構造に対して物理的ガイドを整列させることを含み得る。先に論じられるように、本例示的プロセスは、手術中に患者の解剖学的構造に特異的な座標に登録され得る、術前計画後の物理的ガイドの作成を提供し得る。例えば、膝関節形成術のための例示的なレジストレーション方法は、大腿骨レジストレーションのための前方皮質ポイント、側方顆および／または医療顆、ならびに脛骨レジストレーションのための脛骨の上方前方部分、側方顆および／または側方脛骨顆などを含み得るが、これらに限定されない、患者の骨（複数可）の解剖学的特徴の組み合わせの上に位置する固有のガイドを使用し得る。この例示的な実施形態では、ＩＭＵユニットおよびＵＷＢユニットのうちの少なくとも１つを含む位置および向きトラッカーが物理的ガイドに付着されている。固有の既知の位置の骨の上に物理的ガイドを位置決めした後、ガイドの位置および／または向きを使用して、適用可能な追跡システムの座標内の患者の骨の位置を計算する物理的ガイドの相対的な位置および／または向きを決定するように、読み取りがトラッカーから行われる。ＡＲシステムを使用する場合、コンピュータビジョンを使用して、視野空間内で物理的ガイドを認識および追跡することができる。ＡＲシステムをＵＷＢ／ＩＭＵトラッカーとの組み合わせで使用することもできる（図１９、図２９、図３０参照）。

代替的にまたは追加として、例示的な実施形態は、仮想レジストレーションの一部として追跡されたスタイラスまたはコンピュータビジョンを使用する患者レジストレーション工程を含み得る。例示的な形態では、仮想配置ガイドは、ＵＷＢユニットおよびＩＭＵユニットのうちの少なくとも１つを含むトラッカーを使用して、患者に登録され得る。トラッカーは、外科医／ユーザが解剖学的ランドマークを登録し得、および／または患者の骨表面をマッピングするスタイラスの一部として移植され得る。追跡データは、患者の骨を代表する特異的な解剖学的ランドマークまたはポイントクラウドであり得、これを使用して術前の外科計画に患者を登録することができる。ＡＲシステムが使用される状況では、ＡＲシステムをスタンドアローン型追跡システムとして使用して、コンピュータビジョン（図１５、図１６参照）を介して、または前述のトラッカーとの組み合わせ（図１９参照）で患者レジストレーションを遂行することができる。

図６および図７を参照して、患者レジストレーション後のＵＷＢ／ＩＭＵ対応外科用ナビゲーションの実施形態に関する例示的なワークフローをより詳細に示す。図６において、参照番号８は、図７でより完全に説明されるＵＷＢ／ＩＭＵ対応外科用ナビゲーションの実施形態に対応する。図７に示されるように、術前外科計画と一致して、外科手順の一部として追跡された外科用器具を用いて、参照番号１１に対応して患者の骨が切除／切断される。追跡された器具のフィードバック情報は、スタンドアローン型ディスプレイユニット上に表示され得る。例として、例示的なプロセスは、セクション内のＵＷＢ／ＩＭＵベースの外科ガイダンスを使用する足関節形成術のワークフローに関して説明されるであろう。しかし、このプロセスは、しかしながら、全膝関節形成術を含むが、これに限定されない他の外科手順においても使用され得ることも理解されたい。

実際の物理的切断ガイドが利用される状況では、切断ガイドは、（スマート切断ガイドを備えるように）ＵＷＢおよび／またはＩＭＵトラッカーを組み込んで、切断ガイドに関するユーザに位置情報および向き情報を提供することができる。物理的切断ガイドが位置および／または向きトラッカーとの組み合わせで利用される場合、ユーザに対する情報は、関節切除の一部として有用なガイダンス情報を含み得る。この例示的な実施形態では、物理的切断ガイドは、単一または複数の調整可能な切断スロットを有し得、切断スロットの各々を、患者の骨の所望の切除を生み出すための外科計画に基づいて、切断スロットの一連の予めプログラムされたまたは予め決定された位置および向きを制御するように、手動で（図３３および図３５参照）または電動ハードウェアを介して（図３４、図３６参照）調整することができる。代替の例示的な実施形態では、現在の切除面が術前外科計画の面と整合しない場合、手動で調整可能な切断スロットを、ロボット工学またはメカトロニクスの実装を介してブロックまたは排除することができる。

トラッカーが組み込まれた物理的切断ガイドに加えて、限定するものではないが、フィードバック機構を組み込むための外科用鋸などの外科用器具に関する開示の範囲内でもある。例示的な形態では、フィードバック機構は、現在の／投影された切除が術前外科計画から逸脱しているかどうかを外科医／ユーザに通知し得る。例として、外科用器具は、位置データおよび向きデータのうちの少なくとも１つを中央コンピュータに無線で送信し得る、ＵＷＢユニットおよびＩＭＵユニットのうちの少なくとも１つを含むトラッカーを含み得る（図３３参照）。この方法で、外科用用具トラッカーとの組み合わせで、図６に関して論じられる患者参照トラッカー６を使用すると、患者の解剖学的構造および術前計画に対する現在の切除の向きおよび深さを決定することができる。コンピュータは、切除の向きおよび深さが外科計画による所定の公差を逸脱する場合にフィードバック信号を器具に送信し得、コンピュータは、外科用用具に対して、現在の向きおよび／または深さが外科計画の公差外であるため、外科医／ユーザが外科用用具を許容可能な公差内に到達するように再度位置決めすべきであることを示す情報（すなわち、フィードバック）を送信し得る。外科用器具に対する情報／フィードバックは、電動ハードウェアへの電力を低減または無効にするように実装され得るか、または器具内に埋め込まれている単一もしくは複数の触覚モータをトリガし、それによって、外科医に触覚フィードバックを提供し得る。代替的にまたは追加として、器具は、術前計画と一致する外科手順の一部を実現するように外科用器具を再度位置決めするために必要な補正行為について外科医に命令を提供する視覚ディスプレイを組み込み得る。例として、外科用器具は、器具の向きをわずかにそらすための電動ジャイロを含み、追加的に、器具を特定の方向に傾斜するように外科医に触覚方向フィードバックを提供し得る。

例示的な実施形態の一部として、インプラントを受容する患者組織の調製後に、工程１６の一部として、各々が位置および向き追跡性能を含む１つ以上の整形外科用インプラント試行を利用することができる。先に論じられるように、各試行は、インプラント試行の位置および向きのうちの少なくとも１つに関するフィードバックを無線で提供するＵＷＢユニットおよびＩＭＵユニットのうちの１つ以上を含み得る。この様式では、中央コンピュータは、インプラント試行トラッカーから情報を受信し、（物理的トラッカーまたはビジョントラッカーによる骨の追跡を使用するときに）インプラントの位置決めを検証するか、またはインプラント試行が患者の骨に対して位置がずれているという情報を提供し得る。最終的に、患者に適合し、術前計画と一致する運動学および靱帯のバランスを提供するインプラント試行が利用され、その時点で外科医はインプラント配置工程に移る。

図７の参照番号１８で特定されるインプラント配置工程は、有用寿命にわたって移植される整形外科の選択および配置を含む。例として、各インプラントは、インプラントの位置および向きのうちの少なくとも１つに関するフィードバックを無線で提供するＵＷＢユニットおよびＩＭＵユニットのうちの１つ以上を含み得る。この様式では、中央コンピュータは、インプラントトラッカーから情報を受信し、（物理的トラッカーまたはビジョントラッカーによる骨の追跡を使用するときに）インプラントの位置決めを検証するか、またはインプラントが患者の骨に対して位置がずれているという情報を提供し得る。最終的に、インプラントは、患者の解剖学的構造に正確に位置決めされ、固設される。

インプラントが患者の解剖学的構造に固設された後、外科医は、運動の範囲内でインプラントを試すことができる。インプラントに関連付けられたトラッカー（複数可）のために、中央コンピュータは、トラッカーから出力された位置情報および／または向き情報を記録し、これを相関させてインプラントの位置を計算する。このインプラント追跡を、術前の運動学および／または術前の運動学的計画と比較して、インプラントの運動範囲が意図された限度内にあるかどうかを評価することができる。

図６および図８に移って、患者レジストレーション後のＡＲおよびＵＷＢ／ＩＭＵ対応外科用ナビゲーションの実施形態に関する例示的なワークフローをより詳細に示す。図６において、参照番号１０は、図８でより完全に説明されるＡＲおよびＵＷＢ／ＩＭＵ対応外科用ナビゲーションの実施形態に対応する。図８に示されるように、物理的切断ガイドの文脈において、切断ガイドは、ＵＷＢユニットおよびＩＭＵユニットのうちの少なくとも１つを組み込んで、切断ガイドに対して位置データおよび向きデータを提供することができ、切削ガイドを患者の骨の上で参照トラッカーと共に利用して、外科手順中にガイダンスを提供することができる。切断ガイドは、単一または複数の調整可能な切断スロットを有し得、切断スロットは、手動で（図３４および図３６参照）、または所望の切除を生み出すように切断スロットの位置および向きを制御する電動ハードウェアを介して（図３５および図３７参照）調整され得る。別の代替的な例示的な実施形態では、現在の切除面が術前外科計画によって要求される面の所定の公差に整合しないかまたは当該公差内にあたらない場合、手動で調整可能な切断スロットをブロック／閉鎖することができる。ＡＲシステムは、図３４に説明されるようにユーザが切断ガイドの切断スロットを手動で調整し得るＡＲバイザ上に仮想切除面を提供することによって、切除を補助し得る。

図８の工程１３では、骨鋸などの例示的な外科用器具は、多数のフィードバック機構を組み込んで、現在の切除が外科計画から逸脱したことを外科医に通知することができる。例示的な器具は、データを中央コンピュータに無線で送信し得る、ＵＷＢユニットおよびＩＭＵユニットのうちの少なくとも１つを含むトラッカーを含み得る。図６の参照トラッカー６と組み合わせて使用すると、現在の切除の向きおよび深さを決定することができる。切除の向きおよび深さが術前外科計画の所定の公差から一脱する場合、コンピュータは、フィードバックを器具に送信し得る。フィードバックは、電動ハードウェアへの電力を低減または無効にするように実装され得るか、または単一もしくは複数の触覚モータをトリガして、外科医に触覚フィードバックを提供し得る。加えてまたは代替的に、術前外科計画と一致する適切な向きおよび／または位置に到達するように器具を再度位置決めする際に、フィードバックを外科用器具に関連付けられたディスプレイ上に表示して、外科医をガイドすることができる。器具はまた、器具の向きをわずかにそらすための電動ジャイロを含み、器具を傾斜するように外科医に触覚方向フィードバックを提供し得る。この例示的な実施形態では、ＡＲシステムは、前述の技術との組み合わせで、ＡＲバイザもしくはコンピュータスクリーンの上、または患者および器具に投影されたレーザに重畳されている、切除面の向きおよび切除の深さに関する警告、フィードバック、および／または方向の情報を提供することによって、補助し得る（図２７参照）。

図８において工程１４として示されるように、ＡＲシステムは、関節の切除および／または表面再建が必要とされ得る領域の位置および向きを示す仮想の切除および／または表面再建のガイダンスを提供し得る。例えば、膝インプラントは、患者の遠位大腿骨関節および近位脛骨関節への複数の切除切断部を必要とし得る。ＡＲシステムは、外科医が任意の骨を切除する前に調整を遂行することができるように、必要なすべての切除面を示し得る。ＡＲシステムは、それが各切除工程中に外科医をガイドするように、必要な切除を手順通りに表示し得る（図４０参照）。

物理的切断ガイドを利用することができる場合、例示的なＡＲシステムは、ピン位置穴を切断する際に、ＡＲバイザもしくはコンピュータスクリーンの視覚ディスプレイ、または患者に投影されるレーザの一部として仮想ピン位置を提供して、外科医を補助することができる。この例示的な実施形態では、切断ガイドは一般的であっても、患者特異的であってもよい。いずれの場合においても、ＡＲバイザは、外科医が骨を切除する前に調整を遂行することができるように、現在のピン配置によって生み出される切除を仮想的に表示し得る。ＡＲシステムはまた、各手順の間に必要な各切断ガイドに対するピン位置を手順通りに表示し得る（図２８、図３８、図３９参照）。

患者の骨（複数可）の切除後に、例示的なプロセスのフローは、ＡＲシステムがＵＷＢユニットおよびＩＭＵユニットのうちの少なくとも１つで有効にされる試行構成要素との組み合わせで動作し、および／または患者の骨（複数可）の上で参照トラッカーを利用して、整形外科用インプラント試行配置を可能にすることができる工程１７に進む。ＡＲは、運動中の試行構成要素の配置、患者の運動の範囲、およびインプラントの接触領域に関する情報を重畳し得る（図２６参照）。

インプラント試行配列が完成し、インプラントの運動範囲および接触が検証されると、ＡＲシステムは、（ＵＷＢユニットおよびＩＭＵユニットのうちの少なくとも１つによって有効にされる）１つ以上の外科用器具および骨参照トラッカーとの組み合わせで作用して、ＡＲバイザまたはコンピュータスクリーン上に、または患者に投影されたレーザでインプラントに関する配置情報を仮想的に提供することができる。例えば、ＡＲシステムは、患者の骨および外科用器具の上のトラッカーからの位置情報および向き情報を利用して、全股関節形成術の文脈における、仮想骨および仮想寛骨臼蓋を患者の上に重畳することによってインプラントの配置の視覚化を提供し得る（図２９〜図３２参照）。

整形外科用インプラントの移植後、外科医は、図８の参照番号２０で特定されるように、運動の範囲内でインプラントを試すことができる。ＡＲシステムは、患者の骨およびインプラントの上の参照トラッカーとの組み合わせで動作して、外科医が骨および／または関節を手動で操作し得る運動学的検証を遂行することができる。ＡＲは、運動中のインプラントの配置、インプラントの運動の範囲、およびインプラントの接触領域に関する情報を重畳し得る（図２６参照）。

図９に移ると、ブロック図は、ＡＲシステムと、ＩＭＵおよびＵＷＢなどのハイブリッド追跡システムとを使用する関節形成術のための仮想治具を作成するための、図６に示されるものよりも詳細に術前および術中のワークフローに関する例示的な実施形態を示す。術前のワークフローでは、患者特異的解剖学的構造は、コンピュータトモグラフィ（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、二重平面Ｘ線撮影（ｄｕａｌｐｌａｎｅＸ−Ｒａｙｒａｄｉｏｇｒａｐｈ）、単一平面蛍光板透視、またはこれらの組み合わせなどのいくつかの撮像様式を使用することによって抽出または構築されなければならない。キャリブレーションプロセス終了後、再構築された３Ｄの患者特異的解剖学的構造の仮想モデルが作成される。再構築された仮想骨モデルを使用して、仮想切断ガイドおよびインプラントを事前計画プロセスにて作成することができる。

術中のワークフロー構成要素では、患者を、患者の解剖学的構造に付着された複数の剛性ユニットでタグ付けすることができる。例示的な実施形態において「ユニット」という用語は、ＩＭＵ技術およびＵＷＢ技術に基づく自己参照型ハイブリッドナビゲーションシステムに無線で接続されている標的の位置および向きを計測するための１つ以上のセンサとして理解され得る。１つ以上の剛性ユニットを患者に位置付けた後、カメラキャリブレーションを遂行して、実世界とＡＲによって提供される仮想世界との間にレジストレーションを提供することができる。換言すると、カメラレジストレーションプロセスは、以下のトラッカー、マーカー検出、特徴一致、３Ｄモデルベースの物体検出、自己参照型ハイブリッドナビゲーションシステム、またはこれらの任意の組み合わせのうちの１つから選択され得る標的トラッカーを使用して、仮想座標システムおよび実世界座標システムの異なる座標間のレジストレーションを含み得る。レジストレーション後および仮想ガイド作成後に、仮想ガイドを、１つ以上の拡張現実モジュールを使用してレンダリングして、実世界の患者の解剖学的構造と整列した仮想ガイドの描写を可能にする。この方法で、仮想ガイドは、頭部装着型または手持ち型（もしくは身体付着型）ディスプレイ上の重畳画像、または仮想ガイドを重ねるためのレーザまたはプロジェクタからなり得るプロジェクションシステムを介した重畳画像のいずれかにより患者の解剖学的構造に視覚的に重ねられてもよい。インプラント構成要素がサイズ分類され、ソフトウェアの仮想骨モデル上に配置される場合、仮想インプラントを使用して、術中および術後の運動学を評価することができる。

図１０を参照して、追跡ユニットとＡＲシステムとの間でレジストレーション関係を確立するために利用される技法のより詳細な説明を開示する。ＩＭＵユニットとＵＷＢユニットとのレジストレーションは、外科医／ユーザが既知の向きでトラッカーを回転させるか、あるいは十分な情報が収集されるまでユニットを任意の向きに回転させるか、またはロボット工学もしくはメカトロニクスにより回転させることができる、レジストレーションに整合する運動を介して達成され得、中央コンピュータ上で実行中のレジストレーションソフトウェアは、ＵＷＢとＩＭＵとの座標が互いに整合するように変換を決定することができる。ＵＷＢとＡＲシステムとのレジストレーションは、ＡＲ座標システムをＵＷＢ座標システムに登録するか、またはその逆のいずれかにより達成されてもよい。

追跡ユニットをＡＲシステムに登録するための第１の例示的な方法では、ＡＲシステムは、移動性であり、ＡＲシステムに関連付けられたカメラを自由に位置決めすることができると仮定する。レジストレーションプロセスの一部として、ＡＲシステムの各カメラは、画像または物体であり得る単一または複数のレジストレーション標的を捕捉し得る。但し、各カメラの位置がＵＷＢ座標で以前に計測されていることを条件とする。ＵＷＢユニットおよびＡＲシステムのレジストレーションは、レジストレーション標的の座標を整合させることによって完了され得る。代替の例示的な実施形態では、ＡＲシステムによって認識可能なスタイラスなどの物体は、ＵＷＢユニットおよび／またはＩＭＵユニットを組み込み得、ユーザはＡＲシステムのカメラの前でポインタを任意に操作してもよいし、またはユーザはスタイラスを使用して、既知の物体からのポイントを収集する一方で、ＡＲシステムのカメラで活動を捕捉してもよいし、あるいは活動がＡＲシステムのカメラによって捕捉されている間に、ポインタをロボット工学またはメカトロニクスを介して操作することができる。これらの活動中にＡＲシステムおよびＵＷＢユニットを介して収集された３Ｄポイントまたは３Ｄポイントクラウドとして表すことができるスタイラスの位置を一緒に使用して、２つの追跡システムの座標間の変換を決定することができる。別の代替の例示的な実施形態では、デバイスは、一緒に堅く付着されたＡＲシステムと、ＵＷＢユニットおよび／またはＩＭＵユニットとを有し得る。ユーザは、デバイスを操作するか、もしくはデバイスと共に歩き回ってもよいし、またはデバイスの位置を３Ｄポイントもしくは３Ｄポイントクラウドなどとして確立して表して、２つの追跡システムの座標間の変換を決定することができるように、デバイスがロボット工学もしくはメカトロニクスを介して操作されてもよい。

追跡ユニットをＡＲシステムに登録するための第１の例示的な方法では、ＡＲシステムは、無道性であり、ＡＲシステムの各カメラは固定されていると仮定する。この例示的な方法では、ＡＲシステムによって認識可能なスタイラスなどの物体は、ＵＷＢユニットおよび／またはＩＭＵユニットを組み込み得、ユーザがＡＲシステムのカメラの前でスタイラスを任意に操作してもよいし、またはユーザがスタイラスを使用して、既知の物体からのポイントを収集する一方で、ＡＲシステムのカメラで活動を捕捉してもよいし、あるいは活動がＡＲシステムのカメラによって捕捉されている間にスタイラスがロボット工学またはメカトロニクスを介して操作されてもよい。これらの活動中にＡＲシステムならびにＵＷＢユニットおよび／またはＩＭＵユニットを介して収集された３Ｄポイントまたは３Ｄポイントクラウドとして表すことができるスタイラスの位置を一緒に使用して、２つの追跡システムの座標間の変換を決定することができる。別の代替の例示的な実施形態では、スタイラスが、第２の画像を提供するＡＲシステムによって認識可能ではないことがあるか、または物体が認識可能である。この場合、ユーザは、画像または物体上の特異的なレジストレーションポイントを「ペイント」または収集することができる。これらの活動中にＡＲシステムならびにＵＷＢユニットおよび／またはＩＭＵユニットを介して収集された３Ｄポイントまたは３Ｄポイントクラウドとして表すことができるスタイラスの位置を一緒に使用して、２つの追跡システムの座標間の変換を決定することができる。

最後に、ＩＭＵユニットとＡＲシステムとの間のレジストレーションは、ＡＲシステムによって認識可能な物体内にＩＭＵユニットを埋め込むことによって達成され得る。ユーザがＡＲシステムのカメラの前で物体を任意に操作してもよいし、またはユーザがＡＲシステムのカメラで活動を捕捉している間に異なる向きに物体を位置決めするように求められてもよいし、あるいは活動がＡＲシステムのカメラによって捕捉されている間に物体がロボット工学またはメカトロニクスを介して操作されてもよい。これらの活動中にＡＲシステムおよびＩＭＵユニットを介して収集された、オイラー角、方向余弦行列、または四元数などの任意の向き表現として表すことができる物体の向きを一緒に使用して、２つの追跡システムの座標間の変換を決定することができる。

図６に戻って、協同的な外科計画の工程６のより詳細な説明を本明細書で以下に提供する。協同的な外科計画は、拡張現実のコンテンツを見るためにアプリケーションが各デバイス上で実行中である場合に、同じ部屋にいるかまたは遠隔で作業しているかもしれない他のユーザと共に術前外科計画を作成するという観点から、ホログラフィックアプリケーションを同時に共有し通信することを可能にする。協同的な外科計画用のアプリケーションは、手持ち型タブレットもしくは携帯電話、頭部装着型の拡張現実デバイス、ラップトップ、またはデスクトップなどの複数のデバイスで作用し得る。ネットワーク通信技術に基づく協同的なフレームワークは、インターネットまたはローカルネットワークに接続されている異なるデバイス上の複数のプラットフォームのサポートを可能にする。外科計画を遂行するための協同的なプロセスの１つの例示的な実施形態は、サーバおよびクライアントアーキテクチャ上に構築され得る。バックエンドコンピュータとしてサーバ構成要素は、追跡接続および切断クライアントを管理し、クライアント間でメッセージを同期させ得る。サーバに接続されたすべてのデバイスとのリアルタイム通信のために、使用され得る例示的な通信プロトコルは、デバイス間のすべてのメッセージを中継するユーザデータグラムプロトコル（ＵＤＰ：ｕｓｅｒｄａｔａｇｒａｍｐｒｏｔｏｃｏｌ）である。この例示的な実施形態では、特定の形式を有するいくつかのバイトからなるメッセージパケットは、制御情報およびユーザデータ（すなわち、特定番号、位置、向き、入力など）を含み得る。クライアントとして、各デバイス上で実行中のアプリケーションは、同期されたネットワークを介して他のユーザとの間で有益なメッセージを中継することによって外科計画のためのタスクを通信して、リアルタイムで位置付けられた視覚化をシームレスにレンダリングする。外科的適用の文脈におけるタスクとしては、標的骨の参照ポイントの位置、典型的な全関節置換術時の骨切断、インプラントのサイズおよび位置、インプラントの整列などが挙げられ得る。

図１１および図１２に示されるように、骨切断のタスクは、標的骨に関連付けられた所望の切除面を特定し、骨構造に関する固有の位置および向きにインプラントを適合させるように設計される。他のユーザとの通信を向上させるために、例示的な実施形態は、他のユーザの位置を追跡して、アンカーとして解剖学的モデルに対するユーザの位置決めを表す３Ｄアバタモデルを表示することを可能にする。他のユーザと直接通信する態様によれば、グループ音声チャット機能がサポートされ得る。計算性能を高めるために、考慮されるタスクにおける位置付けられた視覚化のためのグラフィカルモデルは、単に各デバイスで管理およびレンダリングされ、次いで、現在の視野内の任意の変更と共にネットワーク上でメッセージを受信することによって更新され得る。

図１３を参照すると、ＡＲの異なる座標システムの変換は実に重要である。本開示によるＡＲシステムでは、実世界は、シーンフレームＦ_ｓおよびカメラフレームＦ_ｃを含む実世界と、仮想シーンフレームＦ_ｖｓおよび仮想カメラフレームＦ_ｖｃを含む仮想世界とを含む。一般性を損失することなく、Ｆ_ｓとＦ_ｖｓとが等価である、すなわち、Ｆ_ｓ＝Ｆ_ｖｓであると仮定する。仮想物体を現在の世界フレームに正確に投影するために、Ｆ_ｃとＦ_ｖｃとが同じ位置に位置し、同じカメラパラメータ（例えば、焦点距離、視野角、スキューなど）を共有しなければならない。実際の環境に重ねされた仮想ガイドならびに医療用用具などの仮想モデルを正確に見るために、Ｆ_ｃとＦ_ｖｃとが拡張現実ディスプレイを生成する合成工程前に正確に整列される。このために、Ｆ_ｃに関する世界フレームＦ_ｓ内の姿勢を定義する変換Ｅの未知のパラメータを推定する必要がある。世界フレームにおけるカメラ姿勢推定のプロセス（例えば、レジストレーション）では、不正確または不安な姿勢推定（位置および向き）は、（手術の場合、外科手順そのものに関する）性能に対する全体的な悪影響を引き起こす可能性がある。以下の節において、仮想ガイドなどの仮想物体を実世界環境に正確に挿入するためのいくつかの開発された手法の包括的な説明を提供する。

カメラとプロジェクタとを利用するＡＲシステムの文脈において、プロジェクタに対してカメラをキャリブレーションするための例示的なプロセスを本明細書で以下に説明する。この例示的なプロセスは、ピンホールカメラモデルに基づいて、３×４の三次元透視投影行列によって定義され得るカメラモデルに近似させることに関与する。二次元投影ピクセルがｍ＝［ｕ、ｖ］^Ｔで表され、三次元ポイントがＭ＝［Ｘ、Ｙ、Ｚ］^Ｔで表されると考慮すると、同次座標における以下の対応するポイント

は、

および

でそれぞれ表される。世界座標システムとカメラ座標システムとの間の３×４の変換行列Ｅは、以下のように定義され、

式中、Ｒおよびｔはそれぞれ、回転行列および並進行列である。Ｅは、カメラＰの位置を定義する外来性とも称される。三次元ポイントＭとその画像投影ピクセルｍとの関係は、以下によって与えられ、

式中、ｓは、任意のスケール因子であり、Ｋは、ピクセル単位の焦点距離ｆ_ｘおよびｆ_ｙ、主要なポイント（ｕ_０、ｖ_０）の座標、ならびにスキューパラメータγを有する３×３のカメラの内因性行列として知られている。スキューパラメータγは、これを、たいていの通常のカメラに関する現代の製造技法が無視できるものにするため、ここではゼロに設定されている。内因性パラメータおよび外因性パラメータの両方を混合する３×４のカメラ投影行列は、

によって与えられる。以下の集中したカメラ投影行列

を使用すると、方程式（２）を以下のように再定義することができる。

深さ値を計算することを考慮して、３×４のカメラ投影行列に１つの行を追加することによって、４×４のカメラ投影行列を用いることができる。

ＡＲシステムを使用する際の術中ワークフローの先行工程として、カメラ（または複数のカメラ）が、キャリブレーションされるべき頭部装着型または手持ち型（もしくは身体付着型）ディスプレイデバイスに組み込まれる。概して、カメラキャリブレーションを利用して、カメラの内因性（内部パラメータとも称される）を見出す。このルーチンでは、キャリブレーションは、多くの個々のポイントおよび特定可能なポイントを有する既知の構造のカメラを標的とする。この構造を異なる角度から見ることによって、各画像ならびにカメラの内因性に関するカメラの相対的な位置および向きを計算することができる。複数の視野を提供するために、異なる向きおよび距離の多様な画像セットが取得される。頭部装着型または手持ち型のＡＲシステムに特有なこととして、（標的を移動させる代わりに）ディスプレイデバイスを回転させ、前後に移動させることを伴って、既知の平面物体（例えば、チェスボード）の複数の視野が取得される。次に、既知の平面物体上の検出されたポイントを使用して、各視野に関する個々の並進および回転の両方を計算することに関連するホモグラフィ行列と、内因性がすべての視野に関して同じパラメータのセットとして定義される内因性パラメータを計算する。内因性パラメータと外因性パラメータとを精密化することによって、カメラをキャリブレーションすることができる。本明細書においてキャリブレーションされる内因性パラメータは、メタデータとしてサーバ、コンピュータ、スマートフォン、またはタブレットに格納され得る。特殊なケースでは、光学シースルー方式の頭部装着型ディスプレイが、写真または映像が撮影されるときに、世界座標内のカメラの位置にアクセスする有効性とカメラの透視投影とを提供する場合、カメラキャリブレーションのすべての工程が無視されることがある。例示的な形態では、ピンホールプロジェクタモデルに基づくプロジェクタモデルの透視投影行列は、ピンホールカメラモデルと同じパラメータのセットによって定義される。このため、プロジェクタモデルの透視投影行列を、カメラキャリブレーションと同じ手順を遂行することによって見出すことができる。

本開示に従って、以下の説明は、二次元ポイントの投影のセットから三次元物体の姿勢を推定する姿勢推定の未解決問題を解決するためのプロセスおよび構造を提供する。姿勢推定の課題はまた、カメラの外因性パラメータを推定することとして知られている。カメラの姿勢を、透視平面上のポイントのセットの可逆的なマッピングであるホモグラフィを推定することによって回復することができる。姿勢推定の適用は、参照としての格納された物体および標的としての現在のシーン内の物体から、三次元の幾何学的形状およびカメラ姿勢の両方を同時に推定する能力を提供し得る。加えて、ＡＲシステムの一部として埋め込まれたＵＷＢユニットおよび／またはＩＭＵユニットは、医療手順への適用時に、手術室内の外科医の局所化を最初に特定することを可能にし得る。例として、実世界における静的参照の位置ならびに参照の任意の他の幾何的形状は、レンダリングフレームワーク内のＡＲ座標システムに外部追跡座標システムを整列させるように予め決定される。

本明細書で以下により詳細に論じられるように、二次元マーカー検出、二次元特徴一致、および三次元モデルベースの物体検出を含むが、これらに限定されない様々な例示的な手法を利用して、カメラの姿勢を推定することができる。これらの例示的な手法を使用して、仮想ガイドまたは仮想注釈がＡＲディスプレイを通じて標的面の表面上に重ねられるＡＲ用途における標的物体または参照の位置および向きを追跡することもできる。

図１４に示されるように、ブロック図は、実世界および仮想世界の座標システムを変換する矩形形状ベースのマーカー検出手法に関する例示的なプロセスを示す。カラーの入力画像を考慮すると、１つの例示的なプロセスは、入力画像を白黒のカラー画像に変換する。ノイズを除去するために基本的な画像処理アルゴリズムを適用した後、プロセスは、二値化画像内の線または辺縁を検出して、マーカーの好ましい形状を順序付けられていない境界ポイントの各クラスターに適合させる。次に、プロセスは、マーカーの各辺に線を適合させるための４つの候補コーナーを見出す。このプロセスの一部として、明らかな非マーカー領域上の望ましくないコーナーを除去するために一部の追加のフィルタリングが行われる。個々のマーカーを特定するために、プロセスは、各マーカー内の検出されたコードを復号化する。プロセスの最後の工程として、カメラ姿勢の推定を生成して、ユーザの実世界視野と共に標的面の表面上の対応する標的の任意の仮想モデルをレンダリングする。

代替的に、円形形状ベースのマーカー検出手法を利用して、実世界および仮想世界の座標システムを変換することができる。マーカー検出アルゴリズムに応じて、異なるマーカーが参照の各々にタグ付けされる。マーカーは、二進化カラーパターンの組み合わせからなる固有のテクスチャを有する円形形状として設計され得る。マーカー内のテクスチャを使用して、マーカーを特定する。マーカー検出のコアでは、マーカー上の基準（例えば、辺縁）を使用して、異なる視野内の複数のフレームを介してカメラ姿勢を推定する。具体的には、マーカー検出の例示的な方法は、以下のプロセス工程のいくつかまたはすべてを遂行し得る。（１）カラー入力画像を二値化すること、（２）非マーカーを除去すること、（３）マーカー内の検出されたコードを復号化してマーカーを特定すること、および（４）カメラの姿勢を推定すること。カラー入力画像を二値化する一環として、カラー入力画像から変換された後、ピクセル単位の特定の次元のタイルに分割されるグレースケール画像のタイル内の最小値と最大値とを使用する適応型閾値化手法を用いることができる。

図１５を参照すると、ブロック図は、実世界および仮想世界の座標システムを変換する二次元特徴一致手法に関する例示的なプロセスを示す。参照画像および標的画像における特徴（例えば、コーナー、曲線、線、辺縁、または領域）間の一致が、ある画像から別の画像にマッピングするホモグラフィ行列を推定するために確立される。ホモグラフィはまた、同次座標上で動作する透視変換としても知られている。両方の入力画像において、例示的なプロセスは、標的画像内のすべてのピクセルの中から候補特徴を検出する。次に、プロセスは、各候補特徴を、その特徴の位置周りのローカル情報で記述し、次いで、プロセスは、検出された各特徴のローカル情報を特徴記述子として知られるベクトルに符号化する。すべての特徴を記述すると、プロセスは、マルチスケールで整合している特徴記述子を検索し、次いで、プロセスは、ホモグラフィ行列のパラメータを揃えることによってカメラ姿勢を推定する。例として、参照画像内の特徴記述子が定義されると、これらの特徴記述子を、実施形態において、サーバ、コンピュータ、スマートフォン、またはタブレット内に、テキストもしくはテーブルファイルとして埋め込むかまたは格納して、特徴一致手法の総処理時間を改善することができる。

図１６に移ると、ブロック図は、実世界および仮想世界の座標システムを変換する三次元モデルベースの物体検出手法に関する例示的なプロセスを示す。三次元モデルベースの物体検出手法のプロセスは、困難な非テクスチャ物体のセット（例えば、三次元プリンタまたは急速なプロトタイピング機械からの金属もしくは出力）を扱う。非テクスチャ物体におけるこれらの困難な問題に取り組むために、この例示的なプロセスは、ｘ、ｙ、およびｚ軸の回転変動に対するモデル変更の外観として、非テクスチャ標的物体のポリゴンメッシュモデルからの前処理として、最初にエッジテンプレートを生成し得る。次に、プロセスは、異なる視野内のエッジテンプレートの各々をラスター化する。カラー入力画像を考慮して、プロセスは、カラー入力画像をグレースケール画像に変換するための基本的な画像処理アルゴリズムを遂行する。次いで、プロセスは、グレースケール画像上のすべての候補の辺縁または線を検出し、エッジテンプレートを画像平面上の辺縁または線にラスター化した結果のサンプルラターポイント（ｒａｔｅｒｐｏｉｎｔ）のセットを投影する。投影が完了すると、プロセスは、エッジテンプレートと入力画像内で検出された辺縁または線との間の最小距離で整合しているエッジテンプレートをマルチスケールで検索する。最後の工程として、プロセスは、ホモグラフィを推定して、画像平面上にモデルを正確に配置する。すべてのエッジテンプレートおよびサンプルラスターポイントのセットを、実施形態において、サーバ、コンピュータ、スマートフォン、またはタブレット内に、テキストもしくはテーブルファイルとして埋め込むかまたは格納することができる。

図１７に移って、基本的なフォワードマッピングプロセスにおけるレンダリングフレームワークの一例を示す。例示的なプロセスは、２つのレンダリング工程を含む。第１の工程では、光線ＴＶが斜視図の錐台の任意の投影面上の２つのパラメータを使用してユーザＴと共に記述される。これは、その投影面上のユーザ位置Ｔから仮想物体Ｖの画像を計算することに関する。投影は、画像平面Π＿ｐｌａｎｅ上のｍ＿Ｔが投影ピクセルである投影行列Ｐ＿Ｔによって表される。ディスプレイフレームＤ上の中間ポイントＭがピクセルｍ＿Ｔをピクセルｍ＿ｐに伝達する必要がある。光線Ｔｍ＿Ｔに沿ってディスプレイフレームＤ上の最も近いポイントにピクセルｍ＿Ｔを伝達した後、Π＿ｐｌａｎｅから投影中心Ｔを通って伝達されたＶの画像は、ディスプレイフレームＤ上で拡張される。第２の工程では、カメラまたはプロジェクタ投影行列を介してポイントＭをピクセルｍ＿Ｐに伝達することによって、拡張ディスプレイの画像が発見される。

以下の説明では、三次元（３Ｄ）モデルをＡＲディスプレイの一部としてレンダリングするためのプロセスおよび技術を説明する。ＡＲディスプレイの仮想世界座標における標的の一部として３Ｄモデルをレンダリングするために、ピンホールカメラまたはプロジェクタモデルに基づく幾何学的フレームワークを考慮することができる。三次元仮想物体の画像をレンダリングするためのこの例示的なプロセスの各構成要素の様々な構造は、以下を含む。（１）ユーザＴは、移動していても静的であってもよい。（２）ディスプレイ上にコンピュータ生成画像を作成するためのプロジェクタまたはカメラＰを、頭部装着型または手持ち型（もしくは身体付着型）ディスプレイデバイスまたは周辺環境の任意の位置に埋め込むことができる。（３）ディスプレイ面Ｄは、平面であっても非平面であってもよい。幾何学的フレームワークは、ユーザＴ、カメラＰ、仮想世界フレームＦ_ｖｓ、および実世界フレームＦ_ｓの間の幾何学的関係を定義し得る。フレームＦ_ｖｓおよびＦ_ｓは、本明細書ではディスプレイフレームＤとして簡略化されている。幾何学的構成要素間のかかる幾何学的関係は、仮想物体上の任意の三次元ポイントＶについて、三次元仮想物体空間から二次元カメラ画像空間へのマッピングを、ディスプレイフレームＤ上の中間ポイントを使用して表すことができるためのものであり、仮想ポイントＶの投影ピクセルｍ_ｐは、光線Ｐ_ＣＭによってカメラ画像平面Ｐ_{ｐｌａｎｅ}と交差し、式中、Ｐ_ｃは、カメラの中心であり、Ｍは、光線ＴＶとディスプレイフレームＤとの交点である。

ＴＭ＝ｋＴＶである場合、ユーザＴ、以下のカメラ投影行列

およびディスプレイフレームＤなどの幾何学的構成要素に関する仮想ポイントＶとその投影ピクセルｍ_ｐとの関係は、以下のように定義され、

式中、以下の作動因子

は、光線ＴＶとディスプレイフレームＤの交点を示し、〜はスケールまでの等価を示す。ｋ＞０の場合、それはディスプレイと仮想物体とがＴと同じ側にあることを保証する。条件０＜ｋ≦１は、ユーザに対して仮想物体がディスプレイフレームの後ろにあることを示し、ｋ＞１である場合、仮想物体はディスプレイフレームの前にある。

基本的なフォワードマッピングまたはバックワードマッピングの好ましい態様によれば、２つの後続の工程の順序を逆にすることができる。例示的な形態では、工程は、ＡＲアプリケーションの任意の構造に対して有効であり得る。第１の工程では、光線ＴＶが斜視図の錐台の任意の投影面上の２つのパラメータを使用してユーザＴと共に表される。これは、その投影面上のユーザ位置Ｔから仮想物体Ｖの画像を計算することに対応する。投影は、画像ＩＩ_{ｐｌａｎｅ}上の投影行列Ｐ_Ｔおよびｍ_Ｔによって表され、投影ピクセルを示す。ディスプレイフレーム上の中間ポイントＭがピクセルｍ_Ｔをピクセルｍ_ｐに伝達する必要がある。光線Ｔｍ_Ｔに沿ってディスプレイフレームＤ上の最も近いポイントにピクセルｍ_Ｔが伝達されると、ＩＩ_{ｐｌａｎｅ}から投影中心Ｔを通って伝達されたＶの画像は、ディスプレイフレームＤ上で拡張される。第２の工程では、方程式（３）のカメラの内部パラメータおよび外部パラメータを定義するカメラ投影行列を使用してポイントＭをピクセルｍ_Ｐに伝達することによって、拡張ディスプレイの画像が見出される。三次元コンピュータグラフィックスでは、Ｔ_ＰおよびＰ_Ｐなどの２つの変換行列は、ピクセル投影、視感度、および視錐台動作を定義するために必要である場合がある。この例示的なプロセスでは、アプリケーション特異的座標システムと両方の変換行列とをメタデータとして埋め込むことができ、実世界で撮影された画像を探し出すことを可能にする。

図２０に示されるように、頭部装着型ＡＲデバイスに組み込まれた光学シースルーディスプレイ上に３Ｄ仮想モデルをレンダリングするための例示的な実施形態では、標的トラッカーから抽出された基準ポイント、マーカー検出、特徴一致、３Ｄモデルベースの物体検出、外部追跡システム、またはこれらの任意の組み合わせを使用することができる。バックワードマッピングを用いることによって、以下の最適なポイント

に近似させるための姿勢推定プロセスは、以下の工程の一部またはすべてを遂行することができる。（１）以下の投影ピクセル

をカメラ画像平面Ｐ_{ｐｌａｎｅ}上に見出すことであって、これは、トラッカーによって推定された基準ピクセルｆ_ｉに対応し、式中、ｉおよびｋはそれぞれ、基準ピクセルの指数であり、異なる視野内の捕捉画像である、見出すこと。（２）以下の投影ピクセル

を、ポイントＭ_ｉ，ｋが光線Ｔ_ｋＶ_ｉと交差するカメラ投影モデルＰ_Ｐを介してディスプレイフレームＤに投影することによって、三次元モデルの各頂点の投影ポイントＭ_ｉ，ｋの位置を計算すること。（３）基本的なフォワードマッピングにおいて記載されるように、ユーザ位置ＴからＶの画像を計算し、

の位置を更新するという点で、第１の工程を使用することによって、複数の光線Ｔ_ｋＶ_ｉの近似交差を解くこと。および（４）以下の条件のうちの１つが満たされるまで前の工程を反復すること。（ｉ）複数の光線の近似交差がもはや更新されない、（ｉｉ）反復の最大回数に到達した、または（ｉｉｉ）収束公差に達成した。このプロセスにおいて、投影ピクセルｍ_ｉ，ｋが、変換された画像座標内で正規化されることがある。整列プロセスの間に、仮想世界座標において

によって形成された仮想モデルは、標的物体の現在の位置ならびにユーザに対する整列品質をリアルタイムで視覚的に示し得る。

以下の説明では、複数の光線の交差を近似させるための例示的な解を提供する。ポイントが二次元のｐ＝（ｘ、ｙ）であるか、または三次元のｐ＝（ｘ、ｙ、ｚ）であると考慮すると、ユニットベクトルｕは、以下の座標軸の各々に関するベクトルｖの余弦のベクトルであり、

式中、ｅ_ｊは、座標軸ｊのユニットベクトルである。ユニットベクトルｕは、ベクトルｖの向きを示す。線については、パラメトリック方程式は、以下によって与えることができ、
ｐ（ｔ）＝ｔｕ＋ｐ_０，（６）
式中、ｐ_０は、−∞≦ｔ≦∞の線を通過するポイントを表す。ｔのドメインが０≦ｔ≦∞内に限定される場合、光線（例えば、半開線）は、ポイントｐ_０および方向ｕのポイントで開始するベクトルとして示されるであろう。ｖ_１＝ｐ_１−ｐ_０およびｖ_２＝ｐ_２−ｐ_０であると仮定すると、３つの同一線上にないポイントｐ_０、ｐ_１、およびｐ_２は、２つの別個のベクトルｖ_１およびｖ_２を定義し得る。２つのベクトルは空間内の平面上にあるため、平面の法線を以下のように定義することができ、
ｎ＝ｖ_１×ｖ_２．（７）
式中、×は、ベクトルｖ_１およびｖ_２のクロス積である。平面については、ｎと直交するポイントｐのセットは以下によって与えられ、
ｎ・（ｐ−ｐ_０）＝０，（８）
式中、平面内のポイントｐ_０は、原点からのオフセットである。ポイントから線までの最短距離を計算するために、二乗垂直距離の手法を用いることができる。二乗垂直距離Ｄを以下によって与えることができ、

式中、ｌは、恒等行列であり、（ｌ−ｕ^Ｔｕ）は、（ｌ−ｕ^Ｔｕ）^２＝（ｌ−ｕ^Ｔｕ）^Ｔ（ｌ−ｕ^Ｔｕ）＝（ｌ−ｕ^Ｔｕ）となるように冪等性である。複数のＲ光線を考慮すると、Ｒのセットの交差に対する最小二乗法における固有の解を見出して、二乗距離の和を最小にすることができる。

ｐの二次形式では、最小二乗距離の目標を以下のように定義することができる。

二乗距離の和の最小値を見出すために、方程式（１０）は以下のようにｐに対して分化される。

したがって、

式中、†はムーア−ペンローズ擬似逆行列である。実質的な割合の外れ値を排除する複数のＲ光線の最小のセットを推定するための例示的な方法は、以下の工程の一部またはすべてを含み得る。（１）ランダムに２つの光線を選択して、それらの間の最短距離を有する初期ポイントｐ_ｓを見出す。（２）ｐ_ｓとｒ_Ｒ内の各光線ｒ_ｌとの間の距離を計算する。（３）光線数τ_{ｃｕｒｒｅｎｔ}をカウントし、あらかじめ定義された公差εに適合させて、ｐ_ｓおよびｒ_ｌからの許容可能な距離で正常値を観察する。（４）τ_ｍａｘ＜τ_{ｃｕｒｒｅｎｔ}である場合、最も近いポイントｐ_{ｃｌｏｓｅｓｔ}＝ｐ_ｓと最大光線数τ_ｍａｘ＝τ_{ｃｕｒｒｅｎｔ}とを更新する。（５）最大反復数に到達するまで、工程１〜５を繰り返す（５ｅｐｅａｔ）。および（７）方程式（１３）において、

を、最も近いポイントｐ_{ｃｌｏｓｅｓｔ}と光線ｒ_ｌとの間の距離がε未満であるすべての特定された正常値を用いて推定する。

本開示はまた、ＡＲシステムを使用する文脈において、２つの異なる座標システムを整列させるときの絶対的な向きの問題に対する解を提供する。２つの異なる座標システムは、実世界座標システムと、仮想座標システムまたは拡張座標システムとを指す。以下の例示的なプロセスを使用して、仮想世界座標システム内の整列された参照ポイントと、実世界座標システム内の対応する事前定義された参照ポイントとの間の絶対的な向きの問題を解くことができる。

異なる座標システムを位置決めする三次元内の２つのポイントｐ_１とｐ_２との間の剛体変換を、ｐ_２＝Ｒｐ_１＋ｐ_０として定義することができ、式中、Ｒは、回転の３×３の正規直交行列であり、ｐ_０は、並進のベクトルである。以下

およびｐ_ａ＝（ｘ_ａ、ｙ_ａ、ｚ_ａ）を考慮すると、これらは、仮想世界座標内の整列された参照ポイントの座標と、実世界座標内の事前定義されたポイントの座標とをそれぞれ示し、絶対的な向きの問題の入力は、以下の共役対

のセットとして称され得る。絶対的な向きの問題を解くために、以下のポイント

とｐ_ａとの間の剛体変換行列を、以下の方程式（１４）のＲおよびｔを使用することによって精密化することができ、

式中、１２個の未知のパラメータ（すなわち、回転行列の９つの要素および並進行列の３つの要素）が存在する。各共役対は３つの方程式を生成するため、１２個の未知のパラメータを見出すために４つの共役対が少なくとも必要とされる。この実施形態では、４つ以上の共役対を用いて、結果のより良好な精度を遂行することができる。単純な行列形式では、仮想世界座標内の各ポイントの座標を実世界座標に変換する剛体変換を以下のように定義することができ、

式中、Ｒ（ｑ）は、ユニット四元数ｑと

とに対する回転行列を示し、世界座標システム内の整列された参照ポイントの原点の位置である。ユニット四元数ｑは、

として定義されるベクトルである。以下のポイントの２つのセット

およびＰａ＝｛ｐ_ａ，１、ｐ_ａ，２、．．．、ｐ_ａ，ｎ｝をそれぞれ仮想世界座標内の整列された参照および実世界座標内の対応する事前定義された参照において考慮すると、絶対的な向きの問題は、図１０に示されるように、空間内でこれらのポイントの２つのセットを整列させることである。以下

およびＰ_ａに関するポイントクラウドの幾何中心は、最初に以下のように計算される。

次いで、各ポイントが幾何中心から減算される。

回転を決定する際の問題は、光線が共役対のセットから得られる光線座標内の幾何中心に対して光線の２つのセットを整列させることに関する。回転Ｒ（ｑ）が各光線対のスカラー積に対して最大になるように計算することによって、最小二乗法における最善の整列が近似される。

四元数表記法を使用して、方程式（１８）を以下のようにあらわすことができる。

二次形式の表記法を使用することによって、方程式（１９）を精密化することができるため、

式中、ｑは、列ベクトルである。最も正の固有値に対して固有ベクトルを使用すると、ユニット四元数をこの二次形式で最大化することができる。以下

およびｒ_ａ，ｉ＝（ｘ_ａ，ｉ、ｙ_ａ，ｉ、ｚ_ａ，ｉ）を考慮すると、行列

およびＮ_ａ，ｉは、以下によって与えられる。

行列Ｎを単純化するために、整列されたポイントおよび対応する事前定義されたポイントにおける座標ｋおよびｌの積のすべての共役対に関する和はそれぞれ、以下のように定義され得る。

α_ｋｌを使用すると、行列Ｎは、以下によって与えられる。

これらの計算は、光線束を整列させる回転を示すためのユニット四元数をもたらす。ユニット四元数の要素から、回転行列を以下のように見出すことができる。

回転が決定されると、方程式（１５）の変換の並進部分を以下によって与えることができる。

図１８を参照して、絶対的な向きで光線の２つのセットを使用する２つの異なる座標システムを整列させる例を示す。例えば、ポイントの２つのセットＰ＿Ｍ＾＝｛ｐ＿（Ｍ＾，１）、ｐ＿（Ｍ＾，２）、．．．、ｐ＿（Ｍ＾，ｎ）｝およびＰ＿ａ＝｛ｐ＿（ａ，１），ｐ＿（ａ，２）、．．．、ｐ＿（ａ，ｎ）｝をそれぞれ仮想世界座標内の整列された参照および実世界座標内の対応する事前定義された参照において考慮すると、回転を決定する際の問題は、光線が共役対のセット｛（ｐ＿（Ｍ＾，１）、ｐ＿（ａ，１））、．．．、（ｐ＿（Ｍ＾，ｎ）、ｐ＿（ａ，ｎ））｝から得られる光線座標内の幾何中心に対して光線の２つのセットを整列させることに関する。回転が各光線対のスカラー積に対して最大になるように計算することによって、最小二乗法における最善の整列が近似される。回転が決定されると、変換の並進部分を、世界座標システム内の整列された参照ポイントの原点の位置を計算することによって推定することができる。

図１９に移って、リアルタイムでＵＷＢおよびＩＭＵハイブリッド追跡システムを使用して骨を追跡する１つの例示的なプロセスのブロック図を示す。患者を、患者の解剖学的構造に固定された複数の「ユニット」でタグ付けすることができる。実施形態は、最初に、外部追跡システムから、外部追跡システムのユニットの座標が事前定義される仮想世界座標システムにユニットを登録し得る。仮想世界座標システムでは、コンピュータ生成モデルまたは画像は、ディスプレイデバイス（例えば、プロジェクタ、ヘッドアップディスプレイなど）を介して患者の解剖学的構造の表面上にレンダリングされ、重ねられる。レジストレーション後、外部追跡システムは、連続的に、リアルタイムでユニットの位置および向きを推定および追跡し、標的ユニットの推定座標を、標的ユニットの座標と共に拡張情報を更新およびレンダリングするシステムのソフトウェアアプリケーションに送信し得る。

図２０は、本開示によるＡＲシステムの例示的なユーザデバイスを示す。例として、ユーザデバイスは、統合型カメラと、バイザ上に示されるヘッドアップディスプレイとを有するヘルメットを備える。例示的なユーザデバイスはまた、ヘルメットの頂上に装着されたＩＭＵユニットと、一連のＵＷＢユニットとを含む。示されていないが、カメラ、ＵＷＢユニット、ＩＭＵユニット、およびヘッドアップディスプレイに動力を供給するために搭載型バッテリが含まれている。

図２１は、例示的なＡＲシステムの一部として使用され得るものに対する代替の例示的な構造を示す。より具体的には、構造は、カラーカメラに関連付けられている複数のレーザプロジェクタを含む。各カメラおよびレーザプロジェクタはまた、ＩＭＵユニットおよびＵＷＢユニットに関連付けられている。ＩＭＵユニットおよびＵＷＢユニットからの情報を使用して、ＡＲシステムは、カメラおよびレーザプロジェクタの相対的な位置を知り、患者の解剖学的構造に装着されたレーザプロジェクタならびにＩＭＵユニットおよびＵＷＢユニットの位置を考慮して、レーザプロジェクタによって表示される画像を更新する。

図２２は、カメラと共にＩＭＵユニットおよびＵＷＢユニットを組み込む例示的な構造を示す。この方法で、図２２の構造は、光学追跡を位置決めアルゴリズムに統合することを可能にする。この統合は、精度を精密化し、アンカーの望ましくない運動を検出し、位置決めアルゴリズムを高速化するのに役立ち得る。

図２３を参照して、特徴一致手法とハイブリッド追跡システムとを組み込んだ頭部装着型ＡＲシステムを登録するための例示的なプロセスのブロック図を提供する。この例示的なプロセスでは、特徴を、標的画像上のコーナー、曲線、線、辺縁、または領域として表すことができる。特徴整合から、前の画像および現在の画像の両方における特徴のセット間の一致を確立して、ホモグラフィまたは幾何学的変換を推定することができる。少なくとも４つの一致が画像平面内に見出される場合、線形方程式によりホモグラフィを推定することができる。高精度なレジストレーションの正確さ、ならびにリアルタイム処理での運動中のユーザおよび患者の解剖学的構造の追跡を改善するために、ＩＭＵユニットおよびＵＷＢユニットを頭部装着型ＡＲシステムに統合して、ディスプレイデバイス内の拡張情報を見る。

図２４を参照して、レーザプロジェクタベースのＡＲシステムを登録するための例示的なプロセスのブロック図を提供する。各カメラをキャリブレーションするために、多くの個々のポイントおよび特定可能なポイントを有する既知の構造を使用することができる。この構造を異なる角度から見ることによって、各画像ならびにカメラの内因性に関するカメラの相対的な位置および向きを計算することができる。カメラの内因性のパラメータを見出した後、複数のカメラによる頑強な複数視野追跡手法を遂行して、咬合に対する頑強さを提供することができる。重なり合う視野を有するキャリブレーションされた複数のカメラによって網羅される手術室内の移動する標的を追跡することは、異なるカメラ間の一致を見出すことによって確立され得る。このために、移動する標的を追跡するための例示的なプロセスは、マーカー検出、特徴一致、３Ｄモデルベースの物体検出、ハイブリッド追跡システム、またはこれらの組み合わせを含む標的トラッカーを用いることができる。標的トラッカーとハイブリッド追跡システムとの組み合わせにより、患者の解剖学的構造の位置を、ＩＭＵ技術およびＵＷＢ技術を使用するハイブリッド追跡システムによって提供することができる。解像度の潜在的な問題に対する解を、外科医の運動を局所化し、手術室の周りに配置された複数のレーザプロジェクタの中から最適なレーザプロジェクタを探すことによって見出すことができる。

図２５を移って、ＵＷＢ／ＩＭＵシステムを伴うＡＲシステムの例示的な統合をグラフィカルに示す。ＡＲカメラは、視体積が点線で示されるコンピュータビジョン追跡システムからなり得る。ＡＲカメラは、ＡＲカメラの位置および向きを知り、同様にこの位置および向きを全体座標に登録することを可能にするために（図２５では「トラッカー」として特定される）ＵＷＢユニットおよびＩＭＵユニットのうちの少なくとも１つを含み得る。このイラストでは、ＡＲカメラ１は、その視体積内でトラッカーＣを追跡することができるであろう。トラッカーＣはまた、その位置および向きをＡＲシステムに送信し得、ＡＲビジョン追跡システムと共にセンサ融合アルゴリズムを使用して、追跡精度を改善することができる。トラッカーＢは、ＡＲカメラ２の追跡体積内にあるが、ＡＲカメラ１には見えない。ＡＲカメラ２は、トラッカーＢの位置および向きを追跡し、そのデータをＡＲカメラ１に無線で送信し得る。代替的に、トラッカーＢは、その位置および向きをＡＲカメラ１に直接送信し得る。トラッカーＡは、両方のＡＲカメラの視体積の外側に配置されていても追跡され得る。トラッカーＡの位置および向きは、それ自体のＵＷＢユニットおよびＩＭＵユニットの両方によって追跡され、その位置および向きのデータをＡＲカメラの両方に送信することができる。ＡＲシステムは、その視体積内で複数の物体を追跡することに限定され得るため、位置決めシステムはＵＷＢ／ＩＭＵトラッカーを代わりに使用し得ることが理解される。ＵＷＢ／ＩＭＵユニット／トラッカーの使用は、ＡＲシステムのピュータービジョンに必要な計算負荷を低減し、それに伴って計算の負担を緩和し、ＡＲシステムの性能を改善し得る。

ＡＲシステムは、ＡＲシステムがヘルメットに対してローカルである場合、ヘルメットの一部としてローカルでトラッカーと通信し得るが、トラッカーから遠隔に位置するＡＲソフトウェアアプリケーションを実行中のＡＲＣＰＵを有することも本開示の範囲内である。かかる事例では、ＡＲシステムは、有線ネットワークもしくは無線ネットワーク（または有線ネットワークおよび無線ネットワークの組み合わせ）を介してトラッカーと通信する必要がある。例示的な形態では、ＡＲソフトウェアアプリケーションは、プライベートネットワークを介してトラッカーに通信可能に連結されたサーバ上で実行される。無線トラッカーは、サーバとＡＲアプリケーションとの間のプロトコルを管理するのに好適であるべきである。プロトコルのための例示的な方法は、ネットワークを介したデータ送信中にエラーを効率的に処理するために、以下の機能または部品（１）データ配列決定、（２）データルーティング、（３）フロー制御、および（４）エラー制御のすべてを提供し得る。トラッカーが、ディスプレイ上に仮想物体の三次元モデルを作成するＡＲアプリケーションを実行中のサーバに接続するように構成されると、サーバは、連続的に、トラッカーからＡＲアプリケーションに位置および向きのデータを供給し得る。例として、トラッカーは、連続的かつ同時に、１つ以上の外科手順に関連付けられた複数の外部外科用用具、ならびにユーザおよび患者の解剖学的構造を追跡し得る。ＡＲアプリケーションは、追跡された標的の推定座標および方程式（１５）の変換を使用して、ユーザが見ることができる対応する実世界画像に重ねられる三次元仮想モデルをレンダリングする。

先述のように、トラッカーは、ＡＲシステムのユーザ（例えば、外科医）の運動を追跡し得る。例示的な形態では、トラッカーは、ＩＭＵセンサ、ＵＷＢセンサ、深さ計測センサ（例えば、範囲カメラ、双眼ステレオカメラ、もしくは飛行時間カメラ）、撮像センサ、相対計測センサ（例えば、三軸ジャイロスコープ、加速度計、および磁気計）、またはこれらの任意の組み合わせのうちの１つを含み得る。先に論じられるように、ＡＲビジョンシステムを装着中のユーザの運動を正確に追跡する能力は、ユーザが見る実世界の画像に、表示された仮想画像が正しく整列されることを保証するために重要である。例として、例示的なＡＲシステムは、光学シースルーディスプレイを有するヘルメットの一部として組み込まれてもよいし、またはユーザの視野（ＦＯＶ：ｆｉｅｌｄｏｆｖｉｅｗ）内にモバイルデバイススクリーンの一部として組み込まれてもよい。ＡＲシステムの高精度なレジストレーションは、好ましくは６つの自由度（ＤＯＦ：ｄｅｇｒｅｅｓｏｆｆｒｅｅｄｏｍ）、（１）位置に関する３つの変数（ｘ、ｙ、およびｚ）、ならびに（２）向きに関する３つの角度（偏揺れ、ピッチ、および横揺れ）でユーザの相対運動を適切に追跡することによって達成され得る。

先に論じられるように、ＡＲシステムは、実世界画像の表面上に仮想画像を表示するように動作する。想像されるように、仮想画像の実用性は、仮想画像を実世界画像に登録することを前提としている。例として、仮想画像は、患者の骨（複数可）の１つ以上の画像を備え得る。したがって、以下の説明は、実際の患者の骨に対する仮想患者骨モデルのレジストレーションに関与する。

追跡される各物体は、物体に堅く固定される、ＩＭＵ技術およびＵＷＢ技術（図２〜図４およびこれらの図に関する上記の説明を参照）に基づく外部追跡システム（トラッカー）と統合されてもよい。仮想骨モデルを実際の患者の骨に登録するために、（１）ＩＭＵ技術とＵＷＢ技術との混合を使用して、「ペイント」（実際の骨の表面上の複数のポイントを選択）し、選択されたポイントを、医用画像から再構築される仮想骨モデルに登録することができる手法、（２）患者特異的レジストレーションデバイスを使用して、患者の解剖学的構造に対するデバイスの向きが分かっているレジストレーションを遂行することができる手法、および（３）仮想骨モデル上のランドマークに対応する特定の参照ランドマークを選択することができる手法が遂行され得る。

外部追跡システムを使用することによって、仮想骨モデルが実際の患者の骨に登録されると、図２０の頭部装着型ＡＲシステムは、ハイブリッド追跡システムによって推定された解剖学的な位置を、そのＩＭＵセンサ、ＵＷＢセンサ、深さセンサ、および撮像センサなどのセンサと組み合わせることによって登録され得る。ＡＲシステムを実世界視野に正確に登録するために、単一のカメラおよびＩＭＵセンサを有する標的トラッカー（例えば、マーカー検出、特徴一致、３Ｄモデルベースの物体検出、またはこれらの組み合わせ）を使用して、手術室における外科医の位置および向きを決定すること、ならびに標的を特定することができる。本明細書に記載される標的トラッカーベースのレジストレーションは、頭部装着型または手持ち型（もしくは身体付着型）システムに直接統合または組み込まれたハイブリッド追跡システムと置き換えられてもよい。

図２１に示されるように、複数のカメラ、レーザプロジェクタ、ならびにＩＭＵ技術およびＵＷＢ技術からなり得る頭部装着型または手持ち型ディスプレイデバイスを備えないＡＲシステムの別の例示的な実施形態では、同時複数視野追跡手法を遂行して、不十分な照明、静的もしくは移動する周囲環境光源、または制約のない室内環境下での咬合を処理することができる。複数のカメラを容易にするためには２つの理由が存在し得る。（ａ）１つのカメラは、視野が限定されるため、標的環境の適切な網羅範囲を提供することに限定される。（ｂ）複数のカメラは、咬合に対する頑強さを提供し得る。本明細書に記載される複数視野追跡手法を標的物体の位置および向きの推定および特定に適用して、ユーザの実世界視野と共に、手術室における実際の患者の骨の表面上に仮想ガイド／画像を重ねることができる。重なり合う視野を有するキャリブレーションされた複数のカメラによって網羅される手術室内の移動する標的を一貫して正確に追跡する問題は、異なるカメラで同じ物体のトラッカー間で一致を確立することによって対処され得る。一致は、標的物体の優先情報を回復することであり得る。異なるカメラ間で一致を見出すために、マーカー検出、特徴一致、３Ｄモデルベースの物体検出、外部追跡システム、またはこれらの組み合わせを含む、本明細書に記載の標的トラッカーを用いることができる。したがって、咬合における潜在的な問題は、リアルタイムで外科医の運動を局所化し、手術室の周りに配置されている複数のレーザプロジェクタの中から最適なレーザプロジェクタを探すことによって解くことができる。

考慮されたＡＲシステムが登録された後、レンダリングモジュールは、推定姿勢を使用して、ＡＲシステム内のカメラセンサにより撮影された入力画像と仮想ガイドとを組み合わせ、次いで、拡張画像をディスプレイ上にレンダリングする。次に、外科手順に関するすべての切除が、解剖学的構造上に提案された切断位置および向きを重畳させることによって視覚的に補助される。追加的に、切断用に使用される外科用器具を追跡することができ、切断の正確な向きおよび位置が、リアルタイムでＡＲ重畳において更新される。

手術中、ハイブリッド追跡システムおよびＡＲシステム内の多くの異なるセンサから患者の解剖学的な位置と外科医の運動とを追跡する能力を仮想ガイドの局所化にフィードバックして、仮想シーンを外科医の視点に正確に重畳することができる。加えて、咬合およびＡＲシステム内の追跡障害によって引き起こされる潜在的なレジストレーションエラーを説明するために、患者の骨に装着されたトラッカー（例えば、ＩＭＵユニットおよび／またはＵＷＢユニット）を使用して、患者の解剖学的な位置およびハイブリッド追跡システム内の全体参照としての中央ユニットを追跡することができる。ＡＲシステムのＣＰＵ上で実行中の追跡アプリケーションのソフトウェアは、トラッカーがリアルタイムでユーザ／外科医の位置を特定するデータを提供するように、プライベートネットワークの更新を介してトラッカー／ユニットと無線で通信し得る。

例示的な外科手順の一部として必要な切断を完了した後、例えば、ＡＲシステムを使用して、以下の態様、（１）運動の範囲、（２）伸展および屈曲時の弛緩（インプラントの並進）、（３）靭帯の距離、および（４）任意の他の臨床的に関連する運動学的情報、における術中の運動学を評価することができる。ＡＲシステムによる術中の運動学の評価は、（１）いったん手術前に、切断器具をハイブリッド追跡システムに登録し、次いで、手術中に切断の位置および向きを推定するように器具を追跡することによって、（２）手術中に、埋め込まれた患者のインプラントの幾何学的変換を推定した後、仮想インプラントを切除された骨に正確に重ねるために、患者の解剖学的構造に装着されたトラッカー／ユニットと共に物体認識手法を使用することによって、および（３）計画通りに遂行された切断を前提とすることによって、シミュレートすることができる。術後の運動学の評価については、ＩＭＵ技術およびＵＷＢ技術を用いて、身体の運動を追跡し、筋活性を分析することができる。ハイブリッド追跡システムと組み合わされたＡＲシステム技法はまた、ケアポイントの術後の運動学の視覚化を可能にし得る。

図２６に移って、術中の運動学をシミュレートおよび評価するための例示的なプロセスのブロック図を示す。この例示的なプロセスは、関節置換術用に切断が計画通り手術室内で適切に遂行されていると仮定する。ハイブリッド追跡システムのために設計された複数のユニットは、患者の解剖学的構造の任意の位置に堅く固定され得る。リアルタイム処理で切断器具などの外科用用具の位置および向きを追跡するために、ハイブリッド追跡システムに無線で通信する複数のセンサが標的用具に装着されている。３Ｄモデルを使用して非テクスチャ物体を検出および局所化するための前述の例示的なプロセスを使用して、一般に金属製である患者のインプラントを追跡および特定することができる。このプロセスでは、特徴が線または辺縁で示されるべきである。特徴を整合させる工程においてロードされるすべてのエッジテンプレートおよびサンプルラターポイント（ｒａｔｅｒｐｏｉｎｔ）のセットを、サーバ、コンピュータ、スマートフォン、またはタブレット内に、テキストもしくはテーブルファイルとして埋め込むかまたは格納することができる。切断器具、患者のインプラント、および患者の解剖学的構造を含むすべての標的の姿勢を推定した後に、対応する標的の仮想モデルならびに事前計画から構成された仮想構成要素と組み合わせられた切断のレンダリングを遂行して、着手される拡張現実システムにおいてディスプレイデバイス上で拡張情報を見ることができる。前述のプロセスは、拡張現実モジュールを介して術中および術後の運動学をシミュレートおよび評価することができる。

図２７を参照して、本開示による外科用ナビゲーションの一部として、外科用用具へのフィードバックを提供するための例示的なプロセスのブロック図を示す。例として、ＣＰＵ／プロセッサは、ＵＷＢおよびＩＭＵ対応外科用器具から位置データおよび向きデータを収集する。ＩＭＵシステム、ＵＷＢシステム、およびＡＲシステムの統合は、各システムからのメッセージをプロセッサによって読み取り可能な形式に変換するように設計されているソフトウェアアプリケーションプログラムインターフェイスを使用して達成される。処理結果を、同じソフトウェアツールを使用してフレームワーク内の各システムに返信して、プロセッサ情報を各システムに対して読み取り可能な形式に変換することができる。患者の骨またはＡＲのビジョンシステムに堅く付着されているＵＷＢおよびＩＭＵユニット／トラッカーによって患者の位置を追跡することができる。外科用用具へのフィードバックは、バッテリを外科用用具の電子機器に接続することを可能にするか、または禁止するものとして実装されてもよい。代替的にまたは追加として、フィードバックは、触覚フィードバック（例えば、先に論じられるような、タンブリング感を作り出す触覚モータ）を可能にするものとして実装されてもよい。フィードバックはまた、ＡＲヘルメットまたは外科用器具内の視覚的要素上に表示される警告メッセージとして実装されてもよい。

図２８に移って、ＡＲシステムのユーザウェアラブルデバイスの例示的なイラストを示す。ユーザウェアラブルデバイスは、仮想骨画像および仮想構成要素（例えば、ピンガイド位置）を実世界の患者の解剖学的構造に配置するように動作するグラフィカルプロジェクタを含む。ユーザウェアラブルデバイスはまた、投影された切除レベルおよびインプラントの仮想配置を実世界の患者の解剖学的構造に表示し得る。

図２９は、（「正常」と示される）触知可能な患者の骨盤の骨モデルの実世界視野、および本開示のＡＲシステムが仮想画像を骨モデルに投影しているのを示す第２の視野を示す。見られ得るように、ＡＲシステムは、画像を触知可能な骨モデルに対して整列させ、術前外科計画と一致する寛骨臼蓋をリーミングする、示される仮想リーマーの画像を含む。

図３０は、ＡＲ外科用ナビゲーションのための、特別注文のレジストレーションデバイスから堅く固定されたマーカーまでの解剖学的追跡の転移を示す写真である。

図３１を参照して、股関節臼蓋を位置決めするためにＡＲを使用した解剖学的構造に対する外科用器具の追跡を示す写真である。この例示的な写真では、視覚的フィードバックが、触知可能な骨盤モデルに隣接するコンピュータスクリーンモニタ上、ならびにＡＲヘルメットの一部としてＡＲヘッドアップディスプレイによって直接ユーザに提供されている。

図３２を参照すると、二重画像表現が、左手側に、全股関節置換術の外科手順の文脈における本開示によるＡＲシステムのユーザの相対的な位置を示す。右手の表現は、左手側の表現に示されるＡＲヘルメットのバイザ上にヘッドアップディスプレイを介してユーザが見るであろうものである。この例示的な描写では、外科医が、ＡＲシステムと共にＵＷＢユニットおよびＩＭＵユニットを使用して、全股関節形成術を遂行している。ＵＷＢ／ＩＭＵスタイラスは、外科医が、患者の骨を適用可能な追跡システムの残部に登録することを可能にする用具である。先に論じられるように、外科医は、骨表面をペイントしてもよいし、またはスタイラスで特異的な解剖学的ランドマークを精選してもよい。ＵＷＢ／ＩＭＵ外科用器具は、位置および向きが外科用ナビゲーションおよびガイダンスソフトウェアに対して既知である、ＵＷＢユニット／ＩＭＵユニットによって有効にされる外科用器具を表す。ＡＲヘルメットは、局所化を補助し、追跡システムの精度を改善し得、かつＡＲヘルメットはまた、ＡＲヘルメットのバイザを介して仮想物体を実世界画像に重畳させることによって情報を外科医に中継し得る。

図３３は、ＵＷＢ追跡ユニットおよびＩＭＵ追跡ユニットを備えた外科用振動鋸を示す。

図３４は、本開示による、複数のサイズおよびインプラント群のために利用され得る機械的に調整可能なフォーインワンの切断ブロック（物理的な実施形態）を示す。この切断ガイドの機械的な態様は、図３５の切断ブロックのプログラム可能な追跡された態様と組み合わされてもよい。例として、この切断ブロックにおける切断スロットは、切断ガイドに装着されたＵＷＢ追跡ユニットおよびＩＭＵ追跡ユニットからのデータ出力を介して術前計画によって決定されるときに、スロットが正しい位置にあるようなときまで閉鎖されたままであってもよい。代替的に、スロットは、手動で開閉されてもよい。

図３５に移って、全膝置換術において大腿骨切除を遂行するための調整可能な「スマート」切断ブロックを示す。切断ブロックは、切断ブロックの４つ（またはそれ以上）の位置が２つのレールに沿って並進し、後部切断、前部切断、および面取り切断の向きに整合するように回転する電動システムによって指示されるように設計されている。器具は、インプラントのサイズがデバイス上に格納され、切断スロットの位置がインプラントサイズの切断ボックスによって指示されるように、ＵＷＢ、ＢＬＥ、ＢｌｕｅＴｏｏｔｈ（登録商標）、または他の通信プロトコルを介して無線でプログラム可能である。デバイスの初期配置は、特別注文の計測手段を使用するか、またはいわゆる仮想ガイドの使用により遂行されてもよい。代替の例示的な実施形態では、切断スロットを移動させるためのモータをハードウェアから離し、外側のモータまたは標準的な外科用ドライバの付着により遂行することができる。例示的な切断ブロックは少なくとも４つの切断位置を示すように説明されているが、切断スロットの実際の位置は、患者特異的であり、任意の数の切断からなり得る。「スマート」ブロックのプログラム可能な態様は、各停止位置が定義された切断面によって指示されるように、停止位置のカスタム化を可能にする。

図３６を参照すると、例示的なフローチャートは、図３５のスマート切断ガイドを利用するためのプロセスを示しており、スマート切断ガイドがＵＷＢ／ＩＭＵ／ＡＲシステムによって能動的に追跡され得る。例示的な形態では、切断ガイドは、事前にプログラムされてもよいし、または患者の実際の解剖学的構造の仮想モデルを使用して術前計画の一部として生成された計画切断面の位置を無線で受信してもよい。切断ガイドは、ＵＷＢ／ＩＭＵ／ＡＲシステムによって能動的に追跡され得、かつこの方法で、ガイドが骨の切断のために正しい位置および向きにある場合のみ切断ブレードがスロットを貫通し得るように、切断スロットを自動的に開閉する。

図３７は、図３５のスマート切断ガイドを利用するためのプロセスの代替の例示的なフローチャートを示しており、スマート切断ガイドがＵＷＢ／ＩＭＵ／ＡＲシステムによって能動的に追跡され得る。例示的な形態では、切断ガイドは、事前にプログラムされてもよいし、または患者の実際の解剖学的構造の仮想モデルを使用して術前計画の一部として生成された計画切断面の位置を無線で受信してもよい。切断ガイドは、ＵＷＢ／ＩＭＵ／ＡＲシステムによって能動的に追跡され得、自動的に切断ブロックを再度位置決めし、切断スロットを開閉するように動作する。例として、術前の骨の切除面は、一連の逐次骨切断を含む。図３５の例示的なスマート切断ガイドは、切断ブロックを各進行性の骨切断に再度位置決めし、ブロックが各特定の骨切断用に正しい位置および向きにある場合のみ切断スロットを開くようにプログラムされている。

図３８を参照して、術前計画に従って骨の実世界画像に対して実世界切断ガイドを位置決めするためのＡＲヘッドアップディスプレイの視覚的描写を示す。切断ブロックを拡張仮想補助に整列させることによって、追加の計測手段を必要とせずに、患者特異的手順を追従することができる。この例示的な実施形態では、ＡＲヘルメットのバイザ上のヘッドアップディスプレイは、実世界の患者の骨に対する実世界切断ガイドの位置の偏差に関するフィードバックを提供する。

ここで図３９に移り、ＡＲヘッドアップディスプレイを介して見ることができる仮想ガイドピンを使用した実世界切断ブロック／ガイドの位置決めの視覚的描写を示す。例示的な形態では、仮想ピンは、追跡位置に対する適切な位置を定義する。計画位置および追跡位置の情報は、ＡＲディスプレイ内でレンダリングされ、それに伴って更新される。この場合、切断ブロックは、切断ブロックの位置がＡＲシステムに対して既知であるかもしくは未知であるように、受動的（電子機器なし）であってもよいし、または通信システムおよび追跡システムを含んでもよい。切断ブロックはまた、術前計画または術中の好みによって決定されるときに、ガイドが正しい位置に位置するようなときまで、スロットを通る切断を防止する機械的な停止手段を含み得る。

図４０に移ると、例示的な振動鋸は、ＡＲシステム内で追跡するためのＵＷＢユニットおよびＩＭＵユニットを装備している。図４０はまた、ユーザによって着用されたＡＲヘルメットのバイザに関連付けられたヘッドアップディスプレイを介したユーザの視野を示す。例示的な形態では、ヘッドアップディスプレイは、ユーザの視野のＡＲ構成要素を示すが、バイザは、ユーザが患者の骨および触知可能な鋸などの実世界要素を視覚化することを可能にするために透明である。鋸および計画切断の経路を、ＡＲヘルメットのバイザに関連付けられたヘッドアップディスプレイの一部として拡張して、切断パラメータに関する正確な情報を提供することができる。切断ブレードの位置および向きならびにその経路は、視線が決して問題にならないように、患者に対してリアルタイムで更新される。

図４１を参照すると、膝の表面再建手順中のＡＲシステムヘルメットのバイザの例示的な視覚的表現が表示されている。例示的な形態では、バイザのヘッドアップディスプレイは、拡張されていない患者の骨の実世界画像の表面上に計画表面再建位置を示す。表面再建位置は、患者の骨の実世界画像と視覚的に区別できる、バイザスクリーン上にまたはホログラフィックディスプレイを介してユーザに能動的に表示される。骨表面再建のための標準的な外科技法の一部として、整形外科用インプラントの接合／付着の準備が整った表面を作成するために、電動バリ取り機（ｍｏｔｏｒｉｚｅｄｂｕｒｒ）またはルータを使用して、軟骨および骨を除去する。例示的な形態では、電動バリ取り機またはルータ外科用器具は、接続された器具であってもよく、器具の向きおよび位置をＣＰＵもしくは中央ナビゲーションコンピュータにリアルタイムで通信するＩＭＵ／ＵＷＢユニット追跡デバイスを含むか、または当該デバイスと共に構成されていてもよい。ＣＰＵまたは中央ナビゲーションコンピュータはまた、骨に堅く固定された参照ＩＭＵ／ＵＷＢデバイス、または視覚的追跡のいくつかの態様もしくはこれらの方法の組み合わせによって、解剖学的構造に関する追跡データを受信する。この情報は、患者に対して外科用器具がどこに位置するかを決定するのに十分である。ＡＲディスプレイを介した除去のために強調表示されている領域内でバリ取り機が移動されると、オペレータは、通常通りバリ取りをすることができる。例として、バリ取り機の位置が、定義された領域の外側で検出される場合、スイッチは、モータの作動を防止し得る。これは、偶発的な過度の切除または不正確なインプラントの配置を防止する。この方法で、スマート器具のための真に無線非視線フィードバックシステムが表面再建手順に適用される。ＩＭＵ／ＵＷＢシステムは、バリ取り機の向きおよびバリ取りの深さのリアルタイムフィードバックを提供する。

外科用ナビゲーションのための超音波およびＵＷＢ
図４２を参照して、本開示に従って、以下は、ＵＷＢ追跡ガイドおよび仮想ガイドを使用した超音波ベースの外科用ナビゲーションのための例示的な方法である。この例示的な実施形態では、術前の撮像工程は必要ない。代わりに、追跡された超音波プローブを有するＢモード超音波システムを手術室で使用して、但し、切開前に、骨の表面の幾何的形状に関するデータを収集する。この事前切開情報は、Ｂモード、ＲＦ、もしくはＩＱ超音波データ（または前述の任意の組み合わせ）の形態をとることができ、当業者に既知の信号処理技法を使用して超音波から３Ｄポイントクラウドに変換される。すべての超音波データが収集されると、患者の骨モデルは、超音波データから再構築され、以前にキャリブレーションされた拡張現実処理システムにインポートされる。骨モデル、および任意選択で、超音波システムによって得られた靭帯および軟組織の情報から、外科チームによって任意選択で変更することができる初期設定の外科計画が作成される。外科計画は、切除の深さおよび向き、ならびにインプラントのサイズ分類を含む。並行して、患者の解剖学的構造は、追跡されたプローブからのポイントクラウドのレジストレーションまたはＡＲシステムカメラによる視覚的物体認識を含む、多くの選択肢のうちの１つを使用してＡＲシステムに登録される。レジストレーションの前に、参照基準マーカーまたは追跡されたプローブは、外科手順全体を通して追跡するために実世界の解剖学的構造に堅く固定される。登録された解剖学的構造および外科計画から仮想切断ガイドが作成される。ＡＲシステムは、実世界画像の表面上に解剖学的構造と切断ガイドとの組み合わせをレンダリングすることによって、外科医への仮想切断ガイドを表示する。切断ガイドによって規定された切除を遂行する場合、最終的な切除の位置および向きがシステムによって検証され得るように、追跡された外科用器具を使用することができる。切除後、ＡＲシステムを使用して、整形外科用試行インプラント評価を視覚化し、不十分だと考えられる場合には、さらなる精密化のために仮想切断ガイドを更新するために使用され得る、インプラントの運動学的性能を計算することができる。配置および性能が十分であると考えられる場合、手術は最終的な移植に進むことができる。

図４３に移ると、前述のＡＲシステムは、ＵＷＢ追跡ガイドおよび仮想ガイドを使用する外科用針注入手順の一部として利用され得る。この例示的な実施形態では、術前撮像を行って、患者の解剖学的構造（例えば、膝関節）のモデルを生成する。代替的に、当業者には既知であるように、ユーザは、超音波プローブを利用して、患者の解剖学的構造の超音波データ表現を生成し、かつポイントクラウドであって、そこから患者の解剖学的構造の仮想モデルが生成され得る、ポイントクラウドを生成することができる。どちらの方法でも、ユーザ／オペレータは、ＩＭＵユニットおよび／またはＵＷＢユニットを使用して３Ｄで各々が追跡される、患者の骨および針の仮想画像を生成するヘッドアップディスプレイを含むＡＲヘルメットを装着している。より具体的には、オペレータは、左手で、患者の下腿の外側に固設された骨追跡デバイスを保持し、同時に右手で、患者の膝関節の内部に送達される針を保持している。オペレータがＡＲヘルメットのバイザ通して見ているとき、膝関節および針の患者の骨の仮想表現が、登録され、整列された様式で患者の脚の実世界画像に重畳される。患者の脚および針が同時に追跡されることを考慮すると、位置および向きの任意の変更は、患者の骨および針の実世界視野と仮想画像とを介してリアルタイムで同時に更新されるであろう。この様式では、針挿入後、オペレータは、針が関節にどの程度遠くまで注射されているか、それがどこに位置しているかを正確に知るための直接的で仮想的な視線を有する。この様式では、オペレータは、拡張ディスプレイによって適切な針経路および解剖学的構造を視覚化することができる。解剖学的構造は、超音波データの再構築によって作成され、ヘルメットを超音波追跡システムに登録した後、適切な位置において眼鏡の上にレンダリングされ得る。

図４４に示されるように、解剖学的参照を補助し、オペレータがコンピュータモニタを見る必要性を排除するために、前述のＡＲシステムを利用して、超音波画像のＢモード画像を患者の解剖学的構造に重畳させることができる。

図４５を参照すると、前述のＡＲシステムを利用して、超音波データから構築され、さらなる超音波スキャンに基づいて更新される仮想解剖学的構造を生成することができる。これは、オペレータが困難な解剖学的ランドマークを見出し／探し出すために超音波撮像を使用するか、または再構築された解剖学的構造の近くに位置する特徴を視覚化するのを補助する際に特に有用であり得る。

図４６に示されるように、ＡＲおよび超音波の１つの直接的な適用は、軟骨下形成術の手順をナビゲーションするためのフレームワークを作成することである。術前ＭＲＩを使用して、正確な解剖学的モデルを作成し、ならびに処置される肋軟骨下の欠損の位置を特定することができる。手術室において、超音波を使用して、骨の境界の特定によってＭＲＩデータを患者に登録することができる。この情報を使用して、手順をナビゲーションするために拡張システムを患者および超音波データに登録することもできる。最後に、軟骨下形成術器具の針経路および固定位置は、ＡＲディスプレイ（バイザ上のヘルメットのヘッドアップディスプレイなど）を介して患者の上にレンダリングされ、ＵＷＢユニット、ＩＭＵユニット、または軟骨下形成術材料を注入する際に外科医を補助するための電磁センサによる追跡によってリアルタイムで更新される。

全足関節形成術の非視線外科用ナビゲーションのためのＵＷＢおよびＩＭＵ
全足関節形成術の外科手順は、多くの複雑な器具および技法を必要とする。この手順は、無線追跡およびカスタム化されたレジストレーションを使用して簡略化することができる。以下の例示的なシステムは、既知の術前外科計画および患者の解剖学的構造に対して、ウルトラワイドバンド通信を介して、外科用器具およびインプラントの構成要素の無線追跡を遂行するためのソフトウェアおよびハードウェアの構成要素を含む。

この例示的なプロセスの一部としての最初の工程は、術前の患者の撮像である。これは、ＭＲＩもしくはＣＴなどの３Ｄ撮像技法、またはＸ線、超音波、もしくは蛍光板透視などの複数の２Ｄ画像からなり得る。結果画像を、仮想の患者特異的解剖学的モデルの作成のために使用することができる。足首については、一般に、腓骨、脛骨、および距骨が完全な外科計画のために再構築されることが必要とされる。場合によっては、視覚的参照を提供し得るが、特異的な計画パラメータのために必要とされない腓骨、踵骨、および他の骨性構造を適切にスケールすることで十分である。

外科計画は、患者特異的仮想表面モデルによる構成要素のサイズ分類、向き、および位置決めを含み得る術前仮想外科計画を生成するプロセスである。外科計画は、計画アプリケーションから術中のナビゲーションプラットフォーム、ならびに術中に仮想計画を患者に登録するための特別注文の特許解剖学的マッピング手段（ＰＡＭ：ｐａｔｅｎｔａｎａｔｏｍｉｃａｌｍａｐｐｅｒ）を作成するための任意選択のプラットフォームへと伝えられる（図４７〜図５０参照）。

この例示的な外科手順の一部として使用され得る例示的なナビゲーションシステムは、最低でも２つの追跡デバイスを必要とすることがある。各追跡デバイスは、複数のＵＷＢアンテナ（例えば、４つ以上）と、加速度計、ジャイロスコープ、および磁気計を含み得る慣性計測ユニットとを含み得る。したがって、追跡デバイスの完全な位置および向きは、ＩＭＵおよびＵＷＢデータの融合によって第２の追跡デバイスに対して既知であり得る。

例示的なナビゲーションシステムの一部として、ＵＷＢ追跡ユニットは、複数のアンテナを単一のトランシーバに接続し得、これは、同じＵＷＢトランシーバユニットを利用する複数のＵＷＢアンテナ（標的）を測距および追跡する能力を可能にする。例示的な構造では、ＵＷＢ追跡ユニット内のアンテナは、マスタロールまたは周辺ロールのいずれかとして機能し得、マスタユニットは、システム内の周辺ユニットのためのタイミング参照として機能する。さらなる例として、ＵＷＢ追跡ユニット内のアンテナは、４つ以上のアンテナが存在し、アンテナのうちの１つが他の３つのアンテナと同じ平面上に存在しないという条件で任意の構造で配置され得る。例えば、四面体構造は、この条件を満たすであろう。この構造では、４つのアンテナは、単一のＵＷＢトランシーバに接続し得、各アンテナは、位置決めするための参照ポイントとして機能するであろう。単一のタイミング回路と、ＵＷＢパルスを複数のアンテナに供給するための単一のトランシーバとにより、この構造は、ユニット内のすべての参照ポイント間のクロック同期を有効にする。この構造は、マスタユニットの設置の柔軟性を大幅に改善し、ならびにキャリブレーション手順を容易にし得る。短い範囲の局所化用途では、単一のマスタシステムが、局所化のための適切な位置決めデータを提供するのに十分である。広い範囲の局所化用途では、複数のマスタシステムを使用することができる。マスタユニットのタイミング回路は、有線または無線のいずれかの方法で、動作中に同期される。

四面体設計は、各ＵＷＢユニットの位置および向きの決定を可能にする。１つ以上のＩＭＵを追加で使用して、向きをより正確に決定することができる。両方のセンサシステムの出力は、ＵＷＢおよびＩＭＵ（複数可）からのエラーが融合技法およびフィルタリング技法によって低減されるように、融合される（図４参照）。エラーを低減させるための１つの例示的な方法としては、ＵＷＢユニット／システムとＩＭＵユニット／システムとの間で向きの推定を相補するために再帰的ベイズ推定フィルタを使用することが挙げられる。ＩＭＵシステムは、不正確であり、ＵＷＢシステムを使用して補正を提供することができる磁気アーチファクトに供され得る。加えて、ＵＷＢシステムのマルチアンテナ設計を使用して、アンテナ間の並進推定を監視および改善することができる。

別の構造では、ＵＷＢ追跡システムは、位置決め精度を改善するために動作環境（例えば、手術室）内の異なる位置に装着または配置され得る単一または複数の外部参照ユニットを使用し得る。参照ユニットは、異なる構造で単一または複数のアンテナを使用し得る。参照ユニットは、有線または無線の接続を介して互いに通信し得る。参照ユニットは、他のＵＷＢ追跡ユニットに対するマスタユニットとして挙動し得、それらはまた、到着時間差、飛行時間、到着角度の技法に基づいて、任意の他の参照ユニットまたはＵＷＢ追跡ユニットに対する位置決めを遂行するように構成され得る。参照ユニットの配置は、任意であってもよいし、または位置精度低下率（ＰＤＯＰ）に基づく推定を使用して最適化されてもよい（図２参照）。また、ＰＤＯＰの計算は、２Ｄまたは３Ｄにおいて参照ユニット配置を最適化するように構成され得る。

別の構造では、ＵＷＢ追跡システムおよび／またはＩＭＵ追跡システムを外科用ロボットシステムの形態であり得るモバイルプラットフォームに堅く固定して、外部参照ユニットを手術室の周辺に配置することに頼らずに性能を改善することができる（図５参照）。この例示的な実施形態では、システムは、参照ＵＷＢ−ＩＭＵトラッカーを骨に最初に堅く固着することによって、単一の骨の解剖学的構造に登録され得る。第２のトラッカーは、参照トラッカーに対して追跡され得る。このローカル座標システムへの患者の解剖学的構造のレジストレーションは、多様な方法で遂行され得る。

１つの方法は、患者の解剖学的構造の「陰性」に整合する少なくとも１つの表面を有する、患者の解剖学的マッピング手段（ＰＡＭ：ｐａｔｉｅｎｔａｎａｔｏｍｉｃａｌｍａｐｐｅｒ）を作成することであり、患者の解剖学的構造に整合するように配置されたときに、ＰＡＭ上のトラッカーの位置および向きが既知であり、解剖学的構造上のＰＡＭの位置および向きが既知であるように、第２のトラッカーに堅く付着される方法である。整合された位置および向きに配置されると、システムは、患者の解剖学的構造をローカル座標システム内に登録する。

第２の方法は、追跡デバイスで解剖学的表面を触診またはデジタル化することである。この方法の有点は、ＰＡＭの欠如である。これは、患者の解剖学的構造に堅く固定された１つの参照トラッカーを必要とする。第２のトラッカーを使用して、解剖学的構造の表面ポイントをサンプリングする。十分な数の表面ポイントがポイントクラウドを得るために必要とされる。このポイントクラウドは、正確な解剖学的表面のデジタル化を表し、以前に作成された仮想表面モデルに登録される。１つのかかるポイントクラウド−モデルのレジストレーション方法は、反復最近接ポイントと称される。

図５１は、例示的な全足関節形成術の手順に関するプロセスフロー図を提供する。最初に、ＣＴ、ＭＲＩ、Ｘ線、超音波、および蛍光板透視を含むが、これらに限定されない任意の数の撮像様式を使用して、患者の足首が撮像される。足首撮像後、足関節の骨の仮想モデルが足首の画像から脛骨および距骨を得ることによって作成される一方で、腓骨、踵骨、および舟状骨の平均スケールモデルが登録される。次に、骨ピンを使用して、脛骨参照アダプタが脛骨の近位部分に固定される。参照アダプタは、それに装着されたＵＷＢおよびＩＭＵポッド／ユニットを有する。その後、ＩＭＵおよびＵＷＢポッドが装着されたスタイラスを使用して脛骨関節が触診される。次いで、骨ピンを使用して、距骨参照アダプタを近位脛骨に固定し、その後、ＩＭＵおよびＵＷＢポッドを距骨参照アダプタに装着する。その後、ＩＭＵおよびＵＷＢポッドが装着されたスタイラスを使用して距骨が触診される。触診後、ＵＷＢユニットおよびＩＭＵユニットを装備した距骨切断ガイドが脛骨上に位置決めされる。次に、外科医は、骨ピンを設置して、適所に距骨切断ガイドを固設することができる。その後、距骨が正しい屈曲角度（例えば、２０度）および正しい内側−外側位置にナビゲーションされる。次いで、骨ピンを距骨切断ガイドの距骨スルーホールに装着して、足関節の角度を係止する。その後、距骨が距骨切断ガイド内のスロットを通って切除され、その後に距骨切断ガイドを除去することができる。以前に脛骨に付着された同じ骨ピンを使用して、脛骨切断ガイドが脛骨に装着され、切断ガイド内のスロットを使用して脛骨が切除される。最終的に、以前に脛骨および距骨に装着されたピンと同様に、脛骨および距骨の骨の断片が除去される。レジストレーションは脛骨と距骨とに関して別々に遂行されてもよいことに留意されたい。手順中に追跡されるのは、術前外科計画と整合する距骨および脛骨の切除を遂行するために必要な切断ブロックである。

全膝関節形成術の非視線外科用ナビゲーションのためのＵＷＢおよびＩＭＵ
図５２を参照すると、前述の例示的なナビゲーションシステムを利用して、ナビゲーションされた全膝置換術／全膝関節形成術を遂行することもできる。

このプロセスの一部として、患者の撮像が術前に撮影される。これは、ＭＲＩもしくはＣＴなどの３Ｄ撮像技法、またはＸ線、超音波、もしくは蛍光板透視などの複数の２Ｄ画像からなり得る。これらの画像は、仮想の患者特異的解剖学的モデルの作成のために使用される。膝については、最低でも、関節の膝部分（遠位大腿骨および近位脛骨）が作成されることが必要とされことがある。

画像取得後、外科計画を遂行することができる。外科計画は、患者特異的仮想表面モデルによる構成要素のサイズ分類、向き、および位置決めを含み得る仮想外科計画を生成するプロセスである。外科計画は、計画アプリケーションから術中のナビゲーションプラットフォーム、ならびに術中に仮想計画を患者に登録するための特別注文の特許解剖学的マッピング手段（ＰＡＭ：ｐａｔｅｎｔａｎａｔｏｍｉｃａｌｍａｐｐｅｒ）を作成するための任意選択のプラットフォームへと伝えられる。

例示的なナビゲーションシステムは、最低でも２つの追跡デバイスを必要とすることがある。各追跡デバイスは、複数のＵＷＢアンテナ（少なくとも４つ）と、加速度計、ジャイロスコープ、および磁気計を含み得る慣性計測ユニットとを含み得る。したがって、追跡デバイスの完全な位置および向きは、ＩＭＵおよびＵＷＢの測距データの融合によって第２の追跡デバイスに対して既知であり得る。

この例示的なプロセスおよび装置では、ＵＷＢ追跡ユニットは、複数のアンテナを単一のトランシーバに接続し得、これは、同じＵＷＢトランシーバユニットを利用する複数のＵＷＢアンテナ（標的）を測距および追跡する能力を可能にする。一構造例では、ＵＷＢ追跡ユニット内のアンテナは、マスタロールまたは周辺ロールのいずれかとして機能し得、マスタユニットは、システム内の周辺ユニットのためのタイミング参照として機能する。ＵＷＢ追跡ユニット内のアンテナは、４つ以上のアンテナが存在し、アンテナのうちの１つが他の３つのアンテナと同じ平面上に存在しないという条件で任意の構造で配置され得る。例えば、四面体構造は、この条件を満たすであろう。この構造では、４つのアンテナは、単一のＵＷＢトランシーバに接続し得、各アンテナは、位置決めするための参照ポイントとして機能するであろう。単一のタイミング回路と、ＵＷＢパルスを複数のアンテナに供給するための単一のトランシーバとにより、この構造は、ユニット内のすべての参照ポイント間のクロック同期を可能にする。この構造は、マスタユニットの設置の柔軟性を大幅に改善し、ならびにキャリブレーション手順を容易にし得る。短い範囲の局所化用途では、単一のマスタシステムが、局所化のための適切な位置決めデータを提供するのに十分である。広い範囲の局所化用途では、複数のマスタシステムを使用することができる。マスタユニットのタイミング回路は、有線または無線のいずれかの方法で、動作中に同期される。

複数のアンテナを単一のトランシーバに接続することによって、同じＵＷＢユニット内に複数のアンカーまたはタグを作成する能力を有効にする。中央ユニットおよび周辺ユニットの両方のＵＷＢアンテナアレイは、アンテナのうちの１つが他の３つのアンテナと同じ平面上に存在しないという条件で任意の構造で配置され得る。例えば、四面体構造は、この条件を満たすであろう。中央ユニットのＵＷＢアンテナアレイは、システムのためのアンカーとして機能する。例えば、四面体構造は、単一のＵＷＢトランシーバに接続された４つのアンテナを有するであろう。これは、中央ユニット内に４つのアンカーを作成する。単一のクロックと、ＵＷＢパルスを複数のアンテナに供給するための単一のトランシーバとにより、この構造は、ユニット内のすべてのアンカー間のクロック同期を有効にする。この構造は、アンカーの設置の柔軟性を大幅に改善し、ならびにユニットのキャリブレーション手順を容易にし得る。短い範囲の局所化用途では、単一の中央システムが、局所化のための適切なアンカーを提供するのに十分である。広い範囲の局所化用途では、複数の中央システムを使用することができる。中央ユニットのクロックは、有線または無線のいずれかの方法で、動作中に同期される。

代替の例示的な構造では、ＵＷＢ追跡システムは、位置決め精度を改善するために手術室内の異なる位置に装着または配置され得る単一または複数の外部参照ユニットを使用し得る。参照ユニットは、異なる構造で単一または複数のアンテナを使用し得る。参照ユニットは、有線または無線の接続を介して互いに通信し得る。参照ユニットは、他のＵＷＢ追跡ユニットに対するマスタユニットとして挙動し得、それらはまた、到着時間差、飛行時間、到着角度の技法に基づいて、任意の他の参照ユニットまたはＵＷＢ追跡ユニットに対する位置決めを遂行するように構成され得る。参照ユニットの配置は、任意であってもよいし、位置精度低下率（ＰＤＯＰ）に基づく推定を使用して最適化されてもよい（図２）。また、ＰＤＯＰの計算は、２Ｄまたは３Ｄにおいて参照ユニット配置を最適化するように構成され得る。

さらなる代替の例示的な構造では、ＵＷＢ追跡システムおよび／またはＩＭＵ追跡システムを外科用ロボットシステムの形態であり得るモバイルプラットフォームに堅く固定して、外部参照ユニットを手術室の周辺に配置することに頼らずに性能を改善することができる（図５参照）。提案される発明では、システムは、参照ＵＷＢ−ＩＭＵトラッカーを骨に最初に堅く固着することによって、単一の骨の解剖学的構造に登録される。第２のトラッカーは、参照トラッカーに対して追跡される。このローカル座標システムへの患者の解剖学的構造のレジストレーションは、多様な方法で遂行され得る。

システムは、参照ＵＷＢ−ＩＭＵトラッカーを骨に最初に堅く固着することによって、単一の骨の解剖学的構造に登録される。第２のトラッカーは、参照トラッカーに対して追跡される。このローカル座標システムへの患者の解剖学的構造のレジストレーションは、多様な方法で遂行され得る。

特に図５２を参照して、ＵＷＢトラッカーおよびＩＭＵトラッカーを利用するための例示的な手順を示す。工程１は、外科プロセスによる膝関節の露出で始まる。工程２は、参照トラッカー／ユニットを大腿骨に堅く固着すること、および大腿骨を追跡システムに登録することを含む。画像レジストレーションは、露出された関節の表面をデジタル化することによって遂行される。代替の例示的な実施形態では、レジストレーションは、術前に既知である、大腿骨（骨）上の固有の位置および向きで整合するように、形状決めされた特別注文のデバイスで遂行され得る。トラッカーは、患者の解剖学的構造上に配置されたときに、トラッカーの位置および向きが患者の解剖学的構造に対して既知であるように、既知の位置および向きで特別注文のレジストレーションデバイスに付着される。工程３は、遠位膝切断を行うために使用される既存の外科用デバイスにトラッカーを付着させることに関与する。システムは、患者の大腿骨に対して器具の位置および向きを追跡し、予期した切除の深さおよび向きに関して外科医にフィードバックを提供する。切断ブロックの位置が外科計画に整合する場合、ブロックは患者の解剖学的構造にピン留めされる。代替的に、トラッカーを切断器具または骨ピンに直接縛着することができる。工程４は、遠位切断後に遂行され、工程３と同様であり、その違いは、解剖学的構造に対して追跡されている外科用器具が、後部切除、前部切除、および面取り切除を遂行するための切断ブロックであるということである。大腿骨切除が遂行された後、工程５は、工程２に開示されるのと同様の様式で遂行される脛骨のレジストレーションに関与する。工程６は、脛骨切断器具の位置および向きを追跡すること、およびこれを所望の位置でピン留めし、その後に切除が行われることに関与する。工程７は、切除後に脛骨インプラントの回転を決定し、サイズ分類するために追跡システムを使用する。これは、脛骨上のランドマークまたは大腿骨の解剖学的構造に結合され得る運動学的ランドマークに対する回転を設定することに関与し得る。適切に配置された後、工程８のように、インプラントまたは患者の解剖学的構造に堅く固定されたトラッカーと共に試行インプラントを使用して、運動学または弛緩などの理想的な手順の成果について試験することができる。レジストレーションは大腿骨と脛骨とに関して別々に遂行されることに留意されたい。手順中に追跡されるのは、術前外科計画と整合する大腿骨および脛骨の切除を遂行するために必要な切断ブロックである。記載される手順の代替としては、（ｉ）レジストレーション後に、追跡されたプローブで適切なサイズ分類ランドマークを選択することによって、サイズ分類情報を決定または検証することができる手順と、（ｉｉ）追跡プローブのために特別に作られた特別注文の外科用器具を従来の計測手段の代わりに使用することができる手順とが挙げられるが、これらに限定されない。

動的患者特異的インプラント：形態学と運動学の結合
図５３を参照して、外科的ケアのエピソードにわたって動的データを利用して、患者特異的インプラントおよび器具を作成し、ならびにインプラントを配置し、術後に性能を監視するための例示的なプロセスを説明する。プロセスは、蛍光板透視または（従来の静的撮像とは対照的な）他の動的撮像様式を使用して行われ得る運動学的評価を含み、これを処理ＣＰＵにアップロードして、撮像データからの運動および解剖学的構造を再構築する。運動学的構造および解剖学的構造は、最適な再構築形状および正常な運動学を決定するための予測モデルへの入力として使用される。出力された形状パラメータを使用して、動的に作成された患者特異的インプラントおよび関連付けられた器具を構築する。インプラントおよび器具は、正確な配置を達成するように製造され、外科計画および手術室内のスマート計測手段に連結される。最後に、性能を監視するために、運動学および運動の範囲などの術後データは、患者の報告された成果と共に、ＩＭＵ、ＵＷＢ、またはこれらの組み合わせを含む任意の数のセンサによって収集される。次いで、このデータを予測エンジンによるフィードバックループにおいて利用して、さらなる患者のインプラントパラメータを最適化することができる。この様式では、ケアの全エピソードからのデータを利用して、インプラントおよび器具の設計を駆動させることができる。

図５３に示される動的インプラント作成プロセスにおいて紹介の工程、工程２１は、動的患者撮像である。動的患者撮像は、ＭＲＩもしくはＣＴなどの静的３Ｄ撮像技法の使用、その後の運動捕捉システム（例えば、光学、ＥＭ、ＵＷＢ、および／またはＩＭＵ）によって取集される能動的および受動的な運動学的活動によって達成され得る。撮像を、図５４に示されるような超音波動的患者撮像および関節再構築を使用して遂行することもできる。図５４に示されるように、３Ｄ骨情報を、超音波画像（ＲＦデータ、Ｂモード画像、もしくはＩＱデータ）または他の撮像様式から捕捉することができる。撮像デバイスを患者に関する追跡センサと連結することで、解剖学的構造をさらに再構築し、ならびに記載されるインプラント設計方法のために使用される患者特異的運動学および軟組織エンベロープを作成するのに必要な動的情報を捕捉するための能力を提供する。

動的撮像のための別の方法は、蛍光板透視撮像を使用することである。次いで、患者の関節モデルが、この映像配列から再構築される。患者の関節モデルを再構築するための、単一平面デジタル式蛍光板透視（図５５左上）への患者特異的形状情報の重畳。活動中の接触領域を追跡して、関節湾曲および軟組織の情報を抽出する。蛍光板透視から抽出された３Ｄポイントおよび湾曲情報の例が、図５５の右上の画像に見られる。ポイントは、大腿骨の３Ｄ表面幾何学的形状を表しており、関節連結領域の脛骨湾曲に連結されている。関節連結領域内で、形状および運動学のデータベースとの比較により正常な湾曲を抽出し、データベースから最も近い出力を使用して、正常なプロフィールに整合させるように、製造された構成要素を最適化することができる。図５５の下の画像は、膝蓋大腿の運動学が最適な膝蓋大腿の追跡のためにいかに膝蓋骨の関節連結面および溝の向きから特別注文の膝蓋大腿溝湾曲を駆動させ得る（同様に蛍光板透視または超音波データから抽出される）かを説明している。

動的撮像後、骨および軟組織の再構築工程２２が遂行される。例として、骨および軟組織の再構築工程は、蛍光板透視を利用してもよいし、図５６に示されるように、以下を含むが、これらに限定されない４つの部分からなってもよい。（ｉ）蛍光板透視画像から特徴を抽出する画像処理。（ｉｉ）ｋ近傍法（ＫＮＮ：ｋ−ｎｅａｒｅｓｔｎｅｉｇｈｂｏｒ）およびサポートベクトルマシン（ＳＶＭ：ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ）を統合したハイブリット分類手段を使用して３Ｄモデルの初期姿勢を推定する初期化。（ｉｉｉ）２ＤのＸ線蛍光板透視と再構築された３Ｄ表面メッシュモデルとの間の類似計測を最大化することによって３Ｄモデルの最適な姿勢および形状を決定する最適化。類似計測は、辺縁スコア、領域スコア、均質性スコア、および多体レジストレーションスコアを含む新規のエネルギー関数として設計される。および（ｉｖ）カーネル主成分分析（ＫＰＣＡ：ｋｅｒｎｅｌｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ）と称される非線形統計学的形状モデルを用いた３Ｄ表面メッシュモデルのトレーニング用データセットを表す、３Ｄ形状分析。

図５６に示されるように、動的蛍光板透視画像データからの解剖学的情報の作成は、蛍光板透視画像の取得で始まる。この画像取得の一部として、対象／患者を、深い膝の屈曲および反対の歩行運動の最後のポイントを含む任意の数の位置で観察することができる。画像取得後、画像処理のサブ工程が行われる。

キャリブレーション標的を使用すると、歪を推定し、それを画像処理のサブ工程の一部として後続の画像から除去することができる。この手順の例示的な第１の工程は、任意の２Ｄ画像の幾何学的な歪を推定することである。金属ビーズの既知の長方形グリッドのＸ線を撮影することによって、４つのビーズによって仕切られている小さな正方形のサブ画像の各々について２Ｄ空間変換を推定することができる。幾何学的な歪の除去における標準的な技法の使用では、ローカル双線形モデルを使用して、空間的マッピングならびにグレーレベル補間をモデル化することができる。２Ｄの歪が除去されると、有効なソース−画像間の平面距離（焦点距離）を、平面間の既知の置換を伴う二面キャリブレーショングリッドによって計算することができる。

図５７は、幾何学的な歪の除去前後の幾何学的キャリブレーショングリッドの蛍光板透視画像を示す。このサブ工程の一部として、左の画像のビーズの画像位置を右の規則的な間隔のグリッド位置に変換する４つのグリッドポイントの各セットに関する双線形変換を計算することができる。明らかに、キャリブレーション手順は、グリッドポイントが直線に沿って位置するように、糸巻き型歪を除去する。

画像処理後、初期化のサブ工程を遂行して、平均モデルの初期姿勢を決定することができる。初期化は、図５９に示されるように、ｋ近傍法とサポートベクトルマシンとを組み合わせたハイブリット分類手段に基づく。

図５６に示されるように、再構築の２つの主な方法が、蛍光板透視画像から３Ｄの患者の解剖学的構造を構築するために開発されている。第１の方法である方法１は、逐次形状および姿勢推定を含む一方、第２の方法である方法２は、Ａｎｄ−Ｏｒツリー（ＡｏＴ：Ａｎｄ−Ｏｒ−Ｔｒｅｅ）を使用する再構築を含む。これらの方法の各々のより詳細な説明が続く。

逐次形状および姿勢推定の３Ｄ再構築は、非線形統計学的形状モデル、すなわち、カーネル主成分分析（ＫＰＣＡ：ｋｅｒｎｅｌｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ）に基づく。図６０に示されるように、トレーニング用データを高次元カーネル空間に投影することによって、３Ｄモデルの形状を形状パラメータのベクトルによって表すことができる。図６１に示されるように、この第１の方法の一部として、最適化プロセスが行われ、この最適化は、単一平面（ｍｏｎｏｐｌａｎｅ）蛍光板透視Ｘ線画像の配列から３Ｄモデルの形状および姿勢のパラメータを決定する。表１に示されるように、最適化は、辺縁、領域、均質性、および多体レジストレーションスコアを組み合わせて、３Ｄモデルと２ＤのＸ線画像との間の類似を計測する新規のエネルギー関数に基づく。ハイブリットエネルギー関数は、時間を要するＤＲＲ生成も、エラーが出やすい２Ｄのセグメント化も必要としない。

その後、３Ｄモデルは、入力空間ポイントと特徴空間ポイントとの間の分布図が必ずしも既知ではないため、事前画像の近似によって再構築される。入力空間内の距離制約に基づいて、対応する試験ポイントの事前画像を再構築することが好ましい。これは、図６２に示されるように、入力空間距離と特徴空間距離との関係を確立することによって達成される。

代替的に、図６５に示されるように、再構築を、ＡＯＴ技法を用いて遂行することができる。最初に、部品テンプレートが存在し得る体積として関心体積（ＶＯＩ）を抽出することによって、幾何学的空間が分解される。各ＶＯＩは、部品テンプレートの配置のための仕切られた体積として使用される重なり合うサブ体積のセットにさらに分割される。サブ体積の例は、図６５の左側のノード上に示されている。「Ａｎｄ−Ｏｒツリー」は、体積を分割し、Ａｎｄ−Ｏｒノードの対による分割を表すことによって再帰的に生成され得る。「Ｏｒノード」は、この「Ｏｒノード」によって表される体積を２つのサブ体積にスライスするすべての「Ａｎｄノード」に接続する。「Ｏｒノード」はまた、内接する体積または深さ方向に垂直な表面のいずれかによって各ノードの上に表面が配置されるリーフノードの２つのセットに接続する。各「Ａｎｄノード」は、２つのＯｒノードを接続し、その各々は、現在のサブ体積を占有する２つのより小さいサブ体積のうちの１つを表す。このツリーは、関心体積（ＶｏＩ）を表すルート「Ｏｒノード」から始まり、サブ体積が限定サイズに分割されるまで成長を続ける。表面を仕切られたボックスとして使用すると、部品テンプレートの外観をさらに定義することができる。各部品テンプレートに関する可能な外観はまた、「Ａｎｄ−Ｏｒツリー」によって表され、「Ａｎｄ」は組成を表し、「Ｏｒ」は変形を表す。「Ａｎｄノード」の層は、部品テンプレートを曲線セグメントに分解する。これらの曲線は、画像平面に投影される。３Ｄの物体テンプレートを、画像平面内の物体の外観に似ているべきである能動的曲線からなる２Ｄの物体テンプレートに変換することができる。次いで、変形した能動的曲線が、再構築された３Ｄモデルとして物体空間に再度投影される。

図６６に示されるように、関心体積（ＶｏＩ）は、検出によって決定される。一般的なモデルの形状は、得られた情報を最適化することによって異なる既知の姿勢から学習される。次いで、テンプレートが画像平面内で変形する能動的輪郭として２Ｄの画像平面に投影される。外観「Ａｎｄ−Ｏｒツリー」のリーフは、能動的輪郭として２Ｄの画像平面に投影される。部品レベルでは、テンプレートは、３Ｄ変形と称される面内並進、回転を遂行し得る。投影された能動的曲線を２Ｄで変形させることもできる。２Ｄおよび３Ｄの変形の両方は、得られた情報を最大化することによってガイドされる。変形した能動的曲線を物体平面に再度投影することによって、３Ｄモデルが再構築される。

図６７〜図６９に示されるように、統計学的形状の変形を使用するのに代わるものは、画像上の特徴を直接特定し、形状の特定および変形に対して、いわゆるＡｎｄ−Ｏｒツリーを使用することである（Ｈｕ、Ｗｅｎｚｅ、およびＳｏｎｇ−ＣｈｕｎＺｈｕの「Ｌｅａｒｎｉｎｇ３ｄｏｂｊｅｃｔｔｅｍｐｌａｔｅｓｂｙｑｕａｎｔｉｚｉｎｇｇｅｏｍｅｔｒｙａｎｄａｐｐｅａｒａｎｃｅｓｐａｃｅｓ」参照。パターン分析および機械知能に関するＩＥＥＥトランザクション３７．６（２０１５）：１１９０−１２０５であって、その開示内容が参照により本明細書に組み込まれる）。前述の出版物では、骨の解剖学的構造に関する形状パラメータは、ＡｏＴの構造およびこれらの構造の蛍光板透視フレームにおける特定によって規定されている。

膝については、最低でも、関節の膝部分（遠位大腿骨および近位脛骨）が作成されることが必要とされることは記述する価値がある。しかしながら、同じ手法を任意の関節に適用することができる。

図５３に戻って参照すると、骨および軟組織の再構築のサブ工程２２は、軟組織および正常な解剖学的構造を、サブ工程２１で得られた動的画像を使用して予測することを含む。標準的なインプラント設計または患者特異的インプラントおよび器具の一部として、静的ＣＴまたはＭＲＩに依存して関節の形態を抽出する。しかしながら、形態は、通常、疾患または変形によって変化する。膝の変形性関節症の場合、軟骨が失われ、存在する骨棘が膝の形態を変化させることがある。静的ＣＴおよびＭＲＩの使用では、関節の靭帯の状態を正確に説明することはできない。例えば、骨棘の成長の存在に加えて膝の内側コンパートメントの崩壊は、内側側副靭帯（ＭＣＬ：ＭｅｄｉａｌＣｏｌｌａｔｅｒａｌＬｉｇａｍｅｎｔ）および外側側副靭帯（ＬＣＬ：ＬａｔｅｒａｌＣｏｌｌａｔｅｒａｌＬｉｇａｍｅｎｔ）の動的挙動を変化させる。軟組織および骨に対するこれらの大きな変化を考慮すると、骨の輪郭の抽出は困難、不正確、時には不可能になる。この状況では、特定の集団の統計学的アトラスを使用して、靭帯の位置を正確に予測し、次いで、この特定の患者に関する設計パラメータおよび湾曲を動的に抽出することに加えて、元の変形した骨の形状を予測することができる。本実施形態は、静的画像に依存して患者特異的インプラントおよび器具を生成するのではなく、運動学的データ（動的データ）に加えて静的画像を使用して、患者の解剖学的構造および運動学の両方を複製するために最適化されているインプラントおよび器具を生成する。先行技術の患者特異的インプラントおよび器具は、せいぜい患者の解剖学的構造を複製するためだけに最適化されるが、運動学を無視するか、または整形外科用インプラントの最終的な形状の要素として運動学を使用できない。

図７０に移ると、仮想骨モデルに関連付けられた軟組織を再構築する一環として、靭帯の位置が撮像データから抽出される。特に、骨および靭帯の表面モデルがＭＲＩから再構築される。骨モデルは統計学的アトラスに追加され、各頂点は靭帯表面モデルまでの距離に基づいて付着部位に属するか、またはそうでないかのいずれかとしてフラグ付けされる。この工程を複数の対象に対して遂行することにより、（図７０のＡＣＬおよびＰＣＬの大腿骨付着部位の一番上の行に示される）各靭帯付着部位のための確率分布図の作成が可能になる。分布図では、各骨のアトラスの頂点には、付着部位に属する確率が割り当てられる。

図７１を参照すると、骨および軟組織の再構築のサブ工程２２のさらなる部分として、大腿骨および脛骨の接触分布図が深い膝の屈曲中に作成される。単一の対象については、大腿骨および脛骨の両方に、それぞれの骨のアトラスに対応する頂点が割り当てられる。脛骨に対する大腿骨の姿勢は、各屈曲角度において更新される。各姿勢において、接触領域に属する大腿骨および脛骨の頂点は、関節連結している骨への近接に基づいて決定される。この分析を複数の対象にわたって遂行することにより、各屈曲角度における接触領域の各骨に関する確率分布図の作成が可能になる。

図７２は、（図５３の動的撮像のサブ工程２１中に記録されるような）深い膝の屈曲中に接触領域内の軟骨の厚さを決定するための例示的な方法に関連付けられた入力および出力を示す。この方法を使用して、接触領域をマッピングし、正確な患者特異的な厚さを決定し、この情報を以前に作成された正常な統計学的アトラスに再度結び付ける。この方法で、運動学が形態学に連結される。

図７３は、内側コンパートメント内の重篤な軟骨損失を示す（図５３の運動学的分析のサブ工程２１から得られた）患者特異的軟骨分布図を示す。この情報のみで患者特異的インプラントを作成すると、不十分なインプラントの機能性をもたらすことになる。代わりに、本実施形態は、統計学的方法を使用して、変形が作成される前の形態学を推定し、それによって（病理学前の）正確な患者特異的湾曲を抽出させる。そして、この推定された形態学は、より優れたインプラントの機能性をもたらす。

図７４を参照して、本開示に従って動的データから軟骨の厚さを推定するためのフロー図を示す。関節連結面、例えば、膝の複数の姿勢を考慮すると、各姿勢の接触が決定される。接触は、主に、各モデル間の最も近いポイントの小さなパーセンテージを使用して決定される。各接触ポイントについては、ポイントと関節連結モデルとの間の距離が決定される。次いで、軟骨の厚さを、２つの厚さ値の合計が表面間の総距離に等しくなるように、モデル１のＸ％、モデル２のＹ％として推定することができる。各姿勢での各接触頂点における厚さの計算は、推定手順の間に一定に維持されるべき「既知」の厚さのセットを提供する。このセットを、凸セットへの投影（ＰＯＣＳ：ｐｒｏｊｅｃｔｉｏｎｏｎｃｏｎｖｅｘｓｅｔ）アルゴリズム内の凸セット１と考慮することができる。凸セット２は、先験的なデータセットから以前に計算された軟骨アトラスであり、これらの軟骨アトラスは、正常な解剖学的構造、特異的な病理学的コホート（膝の内反、外反の場合）またはこれらの組み合わせを含み得る。ＰＯＣＳアルゴリズムに従って、凸セット１は凸セット２に投影され、その結果は凸セット１に再度投影され、結果が収束するまでこれが繰り返される。記載されるアルゴリズムでは、アトラス上の投影は、軟骨に属するすべての頂点を更新する。結果が収束していない場合、軟骨に属する頂点は、凸セット１（「既知」の厚さ）に設定され、収束が到達されるまでアトラスに再度投影される。収束すると、各関節連結骨モデルの軟骨の表面がエクスポートされる。このルーチンは、動的データを使用して完全な接触情報を捕捉することによって、軟骨の正確な推定を可能にする。

図５３に戻って参照すると、骨の形状の再構築の際に、靭帯の位置が靱帯の形状アトラスを使用して予測され、形状アトラスは、各ポイントの確率が図７４に示される靭帯座位であることを伴って、集団を横切って軟組織の座位を捕捉する能力を有する。次いで、計算された靱帯の挿入ポイントを使用して、図７５に示されるように、運動学的活動の間に靭帯の長さのエンベロープを計算する。

軟骨推定の基礎は、平均軟骨テンプレートを含み、セグメント化された大腿骨モデルおよび脛骨モデルからの情報を使用して、平均軟骨テンプレートを局所的に変形させる統計学的モデルである。平均軟骨テンプレートは、手動でセグメント化された軟骨モデルのデータベースから計算された平均軟骨厚さである。各厚さ値は、それに関連付けられた指数を有し、その値を局所化するために使用される骨のアトラス上のポイントに対応する。平均テンプレートを新しい骨モデルに追加するとき、骨の上の各ポイントは、その位置のテンプレートからの平均厚さに対応する距離だけ法線方向に沿って外側に偏向される。平均軟骨テンプレートは、大腿軟骨と脛骨軟骨とが重畳している場合にのみ調整される。この場合、軟骨の厚さは、全体的には小さな因子によって、および重畳領域ではより大きな因子によって低減される。このプロセスは、重畳領域がなくなるまで反復される。

図７６に示されるように、推定された軟骨分布図を計測された関節変形と共に使用することにより、軟骨損失の位置が決定され、患者の軟骨を正常な軟骨モデルに投影することによって軟骨損失量を推定することができる。軟骨損失量を補正することによって、関節をその正常な整列に戻すことができる。関節の整列におけるこの変化は、靭帯の長さおよび弛緩に直接影響を及ぼす。例えば、図７８に示されるように、内側の軟骨の損失は、内側側副靭帯における弛緩および外側側副靭帯帯における張力の増加をもたらすであろう。靭帯の長さにおける正常な関節の整列変化の回復を計算することができる（図７９参照）。軟組織および形態学的情報を使用すると、正常な運動学的データベースから最も近い運動学的モデルが選択される。

例として、正常で健全な運動学を決定することは、ネットワークが健全な関節によって遂行される運動によってトレーニングされ得る深い神経系細胞のネットワークの使用によるものであってもよい。深い神経系細胞のネットワークは、病理学的運動入力を取り、最適で健全な運動学を決定し得る（図７３参照）。

図８０を参照して、図５３の正常な運動学的予測要素の一部として、患者特異的靱帯剛性を計算するための例示的なプロセスを示すフローチャートを提供する。例示的な形態では、運動、運動の速度、運動の加速度、および運動中の靭帯の長さを含むが、これらに限定されない一連の受動的な運動学的運動の態様が記録される。これらの態様は、受動的な運動モデルのための入力として使用され、受動的な運動モデルはまた、運動中に移動された組織の靭帯剛性および質量に関する入力を受信する。これらの入力を使用して、受動的な運動モデルは、組織を移動させるのに必要な力を予測する。そして、この予測された力を計測された力と比較して、予測された力が計測された力に等しくなるように、靭帯剛性の値が調整されるべきかどうかを分析する。予測された力と計測された力とが等しくないか、または非常によく似ている状況では、靭帯剛性の値および／または質量入力は、後続の予測された力の計算を可能にするように最適化され、更新される。このプロセスは、予測された力および計測された力が互いに許容可能な公差内に入るまで繰り返され得る。計測された力がいかに生成されるかについてのより詳細な説明を以下で論じる。

力アクチュエーターの付着部を足首近くの脛骨の遠位端に接続し、それによって脛骨を、蛍光板透視監視中に大腿骨に対して約９０度の屈曲から全伸展まで受動的に伸展させることができる。アクチュエーターの力は、全活動中、一定であってもよい。この活動の間、大腿骨は移動しないが、脛骨のみが伸展するように、ケアは行われるべきである。各試行において一定力の量を変化させることによって、複数の受動的試行を行うことができる。患者が平衡失調の感覚を感じず、自身の筋肉を緊締して活動を妨げないように、活動が遅い速度で行われるように、ケアは行われるべきである。大腿骨に対する脛骨および膝蓋骨の運動学を、２Ｄから３Ｄへの再構築を使用した蛍光板透視画像から計算することができる。下肢の逆動的モデルは、受動的な足上げ活動をシミュレートするように作成されるべきである。このモデルは、大腿骨、脛骨、および膝蓋骨、ならびに関節にまたがる主要な靭帯（膝蓋靱帯、ＡＣＬ、ＰＣＬ、ＭＣＬ、ＬＣＬ）を組み込むべきである。再構築された骨モデルを軟組織の座位の位置と共に使用して、モデルの幾何学的形状を設定することができる。モデルは、以前に公表された値に基づいて、靭帯の初期剛性の値、質量、構成要素の慣性から開始し得、活動を遂行するために必要な力の量を予測することができる。最後に、これらのパラメータの患者特異的値を、複数の試行の間に記録されたアクチュエーターの力に予測された力を整合させる最適化アルゴリズムを使用することによって計算することができる。

図５３に戻ると、正常な運動学的予測のサブ工程２３からの出力を、患者特異的動的作成工程２４および器具作成工程２〜４のための入力として利用することができる。

図８１に示されるように、フロー図を提供して、患者特異的動的インプラントを作成するための例示的なプロセスを説明する。患者特異的動的インプラントを生成するための少なくとも３つの潜在的な経路が存在し得、これらのすべては、プロフィール、運動学、および軟組織の特性を含む健全な関節のデータを含むデータベースに依存し得る。経路のうちの１つは、健全な運動学的データベースとの組み合わせで患者によって遂行される能動的な運動を利用して、患者特異的で健全な運動学的プロフィール２３−Ｂを推定し、軟組織の特性２３−Ｃを利用することができる。サブ工程２３−Ｂおよび２３−Ｃからの出力をインプラント形状最適化のサブ工程２８に入力して、インプラントの運動学および形状を最適化することができる。別の経路は、２３−Ｂに記載される患者特異的で健全な運動学的プロフィールの推定を利用し、それをサブ工程２７で深いニューロンネットワークのモデルに入力することができ、インプラント形状を直接作成することができる。

図８２は、健全な運動学的プロフィールまたは靭帯剛性のいずれかからの推定を使用した患者特異的インプラントの作成に関する例示的なプロセスフローを示す。

図８１に関して説明されるように以前に得られた靭帯剛性の値を使用し、外科医からのフィードバックに基づいて、患者がどのようなタイプのインプラントを有する必要があるかに関する決定がなされる。例えば、膝置換術の文脈では、その決定は、患者が十字保持型、後部安定型、ＢＣＳ、またはＢＣＲインプラントを受容するかどうかであってもよい。特別注文のポリエチレン軸受構成要素を製造することは常にコスト効率の高いビジネスモデルであるとは限らないので、正常な膝の解剖学的構造の統計学的形状の変化を捕捉するために、幅広い群のポリエチレン幾何学的テンプレートおよび対応する大腿骨テンプレートを有することが提案される。特定の形状に対応する異なるサイズの骨を説明するために、一群内に異なるサイズのインプラントを有するインプラントのタイプごとに異なる群が存在するべきである。関節の関節連結（軟骨、メニスカス）に関与する複数の組織の特性に完全に整合させ、さらに信頼性の高い構成要素を得ることは不可能であるため、関節連結面の形状は、運動を適切に制約するように最適化される一方で、負荷を分散させて構成要素の寿命を最適化するべきである。現在のインプラント群は、矢状および冠状のポリエチレン湾曲に依存して、大腿骨湾曲を整合させることによって運動を制約（超合同）するか、または湾曲を低減するかもしくは完全に平らな関節連結面を作成することによって制約を低減（制約なし）する。後者は、部分的な関節において、または靭帯が保持されている場合、これらの軟組織が運動学を部分的に制約するので、より一般的である。

状況に応じて、動的に設計された脛骨表面を、大腿骨テンプレート群に対応する運動の範囲全体にわたる接触について最適化することができる。これは、長寿命の追加および性能の改善のための、表面と予期した負荷との正確な整合を可能にする。患者の予測される正常な解剖学的構造の湾曲に基づいて、最初にインプラント群、次いで、郡内の大腿骨およびポリエチレンのテンプレートの最善のサイズがベースモデルとして選択される。この観念は、患者の解剖学的構造に適合し、患者の中立整列を保つ最善のモデルを有することである。

図８３に示される、一対の異なるポリエチレン矢状湾曲の例（一番上は大腿骨湾曲）。左上は、少ない制約の合同の湾曲。この設計により、屈曲を通じたより多くの後部−前部並進が可能になる。右上には超合同設計があり、これは、接触面積を増加させつつ、大腿骨湾曲をより綿密にミラーリングした湾曲ゆえに並進を制約する。特別注文の設計は、静的な非体重軸受画像データに基づいて最適化されるべきである。本明細書に開示される動的インプラントは、予期したインプラントの負荷、接触面、および所望の術後の運動学に基づいて正しい湾曲を定義するために使用される体重軸受運動学の分析を可能にする撮像を利用する。

図８１および図８４を参照すると、運動学的プロフィールおよび軟組織モデルが特定されると、インプラント形状最適化のサブ工程２８は、下肢のフォワード動的屈曲駆動型シミュレーションを含み得る。インプラントのタイプに基づいて、関連する軟組織をモデル内に保持することができ、テンプレートのインプラントが自然な関節整列を使用して骨に適合される。このシミュレーションについては、残りの５つの自由度（３つの並進、軸回転、外転／内転）が予測される間に、脛骨に対する大腿骨の屈曲が規定されるべきである。以前に患者に適していると特定された参照としての正常なデータに基づいて、所望の自由度と観察される自由度との間の差が最小限に抑えられるように、最適化を遂行して、大腿骨インプラント顆（および適用可能なカム）の矢状および冠状の湾曲を変更することができる。最善のテンプレートモデルが最適化される（ダブルチェックとして、シミュレーションが、ポリエチレン幾何学的テンプレートごとに最適な大腿骨プロフィールを生成するために、より低いサイズおよびより高いサイズに対応する２つのインプラントで繰り返される）と、最終的な設計を、正常な膝の幾何学的形状の最善の複製を与え、摩耗の低減と長寿命の改善を保証するためにポリエチレン軸受との十分な接触面積を維持するものの重み付けされた組み合せに基づいて選択することができる。

図８５を参照すると、ニュートンの運動方程式から、Ｆ＝ｍａ（力＝質量×加速度）である。したがって、関連する構成要素の加速度（運動学）が既知である場合、運動を駆動している力を予測することができ、これは、逆ダイナミクスとして既知のプロセスである。図８５に示される受動的なモデルの場合、幾何学的形状は、大腿骨と脛骨とを接続する適切な靭帯（ＡＣＬ、ＰＣＬ、ＭＣＬ、ＬＣＬ）ならびに伸展機構（四頭筋および膝蓋靭帯）を有する剛体として仮定される大腿骨、脛骨、および膝蓋骨からなるであろう。大腿骨は静止しているので、システムは１２個の自由度（脛骨に対して６つ、膝蓋骨に対して６つ）を有し、１２個の出力を計算することができる。モデルへの入力は、大腿骨に対する脛骨と膝蓋骨の並進および回転の運動学、靱帯のばね剛性、および仮定された慣性パラメータからなり得る。したがって、靭帯は、伸展されたときにのみ負荷を発生させる質量のない非線形ばねとしてモデル化されるべきであり、それらにおける力は、それらが示す伸長量に基づいて入力として指定されるべきである。四頭筋および膝蓋靱帯は、質量のないシステムとしてモデル化されてもよく、それらにおける力を予測することができる。最後に、力を遠位脛骨に加えて、アクチュエーターの力をシミュレートすることができる。モデルからの出力は、大腿脛骨関節および膝蓋大腿関節における遠位のアクチュエーターの力および接触力の予測であってもよい。この場合、関節接触力は対象外のものであり、試行ごとの入力運動学も計測される。したがって、多変量の最適化を遂行して、アクチュエーターの力を最も正確に予測する最善のばね剛性パラメータおよび慣性の値を特定することができる。

図８６を参照すると、運動学的な駆動型モデルの一実施形態は、屈曲駆動型モデルである。このモデルは、フォワードダイナミクスモデルであり、本質的に、すぐ上で論じられる受動的なモデルとは正反対である。この観念は、力および慣性の値がわかると、加速度を予測することである。幾何学的形状は、大腿骨と脛骨とを接続する適切な靭帯（ＡＣＬ、ＰＣＬ、ＭＣＬ、ＬＣＬ）ならびに伸展機構（四頭筋および膝蓋靭帯）を有する剛体として仮定される大腿骨、大腿骨インプラント、脛骨、脛骨インプラント、および膝蓋骨からなり得る。インプラント構成要素は、骨に堅く固定されると仮定されてもよい。このモデルは、境界条件駆動型である。足関節に対応する脛骨の遠位端上のポイントは保持固定されるべきであり、膝の屈曲をシミュレートするために大腿骨頭の頭部は一定速度で押し下げられるべきである。システムは、１８個の方程式（脛骨に対して６つ、大腿骨に対して６つ、および膝蓋骨に対して６つ）を生成する。大腿脛骨の運動学のみが対象であると考慮すると、脛骨に対する大腿骨の５つの自由度（軸回転、３つの並進、および外転／内転）を解くことができる。他のすべての方程式は、好適に制約されるべきである。大腿骨の運動学は、インプラント顆の接触している幾何学的形状によって影響され得る。大腿骨およびインプラントの矢状および冠状の湾曲は、観察された運動学を脛骨に対する大腿骨の標的の運動学と整合させようとする多変量の最適化アルゴリズムを使用して更新されるべきである。

図８１および図８７に移ると、深層学習モデルのサブ工程２７のより詳細な説明が続く。例示的な形態では、運動学的データから回復可能な患者インプラントのための最適なＣＡＤパラメータを定義するためのネットワークを作成し、使用するプロセスを利用することができる。深い神経系細胞のネットワークへの入力としては、患者の幾何学的形状、軟組織データ、および運動学的データが挙げられ得、これらのすべては、患者の解剖学的構造を回復させ、最適な術後の運動学を達成するのを補助する患者特異的インプラントの最善の形状を決定するために、ネットワークによって処理される。当業者は、神経系細胞のネットワーに精通しているため、神経系細胞のネットワーの詳細な説明は、簡潔さの促進の点から省略されている。

図５３に戻ると、インプラント作成後、プロセスは製造のサブ工程２５に進むことができる。患者特異的動的膝の製造プロセスは、患者特異的インプラント、患者特異的器具、および患者特異的切除切断ガイドの生成または作成を包含し得る。最適化された膝インプラントは、手術中に実行される（先に記載の）スマート切断ガイドに情報を渡すことができる患者特異的切除面を作成することによって、手術中の骨損失に従事し得る。

図８９〜図９２を参照すると、大腿骨インプラントの切断ボックスの幾何学的形状は、患者の解剖学的構造およびインプラントの湾曲に基づいて、切除される骨の量（または修正の場合に再度切断される骨の量）を最小限に抑えるように設計されている。インプラントの切断ボックスの設計のための入力としては、インプラントＪ曲線、患者の解剖学的構造、および最も近い従来のインプラントの切断ボックスなどが挙げられ得る。従来のインプラント切除面とは異なる固有の切除面ゆえ、（先に論じられる）スマート切断ガイドを使用して、手術室内での切除を最適化し実行することができる（図３４〜図３７参照）。

図５３に戻ると、製造のサブ工程２５からの出力は、術中ナビゲーションのサブ工程５〜１０に対する入力を提供する。

図９３に示されるように、例示的なフローチャートは、スマート切断ガイドを術中に使用する動的インプラントの作成および外科計画の実行の包括的な概念を概説する。図５６（患者の解剖学的構造の作成）で既に概説されるように、術前に動的撮像データを収集および使用して、患者の解剖学的構造を作成する。次いで、図８１〜図８４（動的インプラントの作成）で既に概説されるように、解剖学的および運動学的データを、動的インプラント関節連結を作成するために使用する。この作成は、製造および承認されたインプラントの幾何学的制約によって仕切られる。図８８〜図９１（患者特異的切断ボックスの作成）に概説される患者特異的切断ボックスの作成。この患者特異的切断ボックスの設計は、先に論じられるスマート切断ブロックを術中に使用して、計画された外科的切断を実行することをより容易にさせる。切断ボックスの設計は、限定はしないが、インプラントの厚さ、およびスマート切断ブロックの運動によって駆動される制約などのボックス設計の製造上の制約によって仕切られてもよい。次いで、設計患者特異的インプラントが製造のために調整され、術前外科計画（切断の位置および向き）を使用してスマート切断ガイドを構成することができる。インプラント配置情報および術前外科計画は、スマート切断ガイドを使用して切断を容易にすることができ、外科用ナビゲーションおよびガイダンスシスムがインプラント配置ナビゲーションおよび運動範囲の検証のために使用される術中ナビゲーションシステムに格納または送信され得る。

図５３に戻ると、術中ナビゲーションのサブ工程５〜１０および外科手順が完了した後、例示的なＡＲシステムを術後に利用して、患者の状態を評価することができる。

図９４に示されるように、前述の例示的なＡＲシステムを、ＵＷＢおよび／またはＩＭＵ追跡システムと組み合わせて術後に利用して、運動の範囲、インプラントの接触面積、および運動中の筋活性の分析などの定量的メトリクスによって患者の回復プロセスを調査、監視、および評価することができる。例示的な形態では、ＵＷＢトラッカーおよびＩＭＵトラッカーのセットを術後評価のために関節の両側に配置することができる。ＡＲシステムは、患者の運動に基づいてインプラントの位置を重畳し、筋活性を分析し、リアルタイムで医師に評価を提供する。この例示的な適用では、ＵＷＢおよび／またはＩＭＵ追跡システム（複数可）は、ベルト固定式デバイスまたは身体適合性衣類として実装されてもよい。

図９５に移って、インプラントを作成するために使用される患者特異的インプラントおよびパラメータの例示的なリストを示す。膝に特に関連するものは、互いに異なる大腿骨の内側外側顆の湾曲、大腿骨の膝蓋溝（および膝蓋ボタンの湾曲）、ならびに正確な患者特異的大腿脛骨（ｆｅｍｏｒｔｉｂｉａｌ）の追跡に不可欠である脛骨プラトーの外側唇である。これらの骨性構造を患者特異的軟組織および先に論じられる病理学的回復技法と連結させて、正確な患者特異的膝インプラントおよび手順を作成することができる。フローチャートの下部の部分では、術前撮像、およびインプラントパラメータの作成を駆動させるために使用される関節再構築のための工程が概説されている。これらのパラメータから、インプラントおよび計画が作成され、手術室に実装される。

図９６に移って、動的データから患者特異的インプラントを作成するための例示的なプロセスの概要を示す。術前撮像を使用して、患者特異的な設計パラメータを抽出し、次いで、これらを正常な患者および移植患者の運動学的分析を含むデータベースと比較する。この比較により、先に論じられる動的インプラントプロセスの一部として、動的データの補正推定値の作成と、回復された解剖学的湾曲の導出とが可能になる。

図９７を参照して、先に論じられる動的インプラントプロセスに従って動的データおよび統計学的アトラスから設計パラメータ（湾曲など）を抽出するための例示的な情報フローを示す。

図９８を参照して、動的データから関節インプラントを構築するための例示的なプロセスのフロー図を示す。ここでは、患者特異的形状は、単一平面デジタル式蛍光板透視画像の分析より構築される。この患者特異的データを動的データにフィードバックして、先に論じられる動的インプラントプロセスに従って単一の画像捕捉からインプラントを作成するための患者特異的接触および軟組織エンベロープを抽出することができる。

図９９に移って、動的関節再構築の別の例を示す。ここでは、３Ｄ骨情報を超音波画像（ＲＦデータ、Ｂモード画像、またはＩＱデータ）から捕捉することができる。写真は、膝または肩の再構築である。撮像デバイスを患者に関するトラッカーと連結することで、解剖学的構造をさらに再構築するための能力を提供し、ならびに先に論じられる動的インプラントプロセスに従って、記載されるインプラント設計方法捕捉のために使用される患者特異的運動学および軟組織エンベロープを作成するのに必要な動的情報を捕捉する。

図１００に進んで、外科的ケアのエピソードにわたって動的データを利用して、患者特異的インプラントおよび器具を作成し、インプラントを配置し、ならびに術後に性能を監視するための例示的なプロセスを説明する。プロセスは、蛍光板透視または（従来の静的撮像とは対照的な）他の動的撮像様式を使用する運動学的評価で始まり、これを処理ＣＰＵにアップロードして、撮像データからの運動および解剖学的構造を再構築する。運動学的構造および解剖学的構造は、最適な再構築形状および正常な運動学を決定するための予測モデルへの入力として使用される。出力された形状パラメータを使用して、動的に作成された患者特異的インプラントおよび関連付けられた器具を構築する。インプラントおよび器具は、正確な配置を達成するように製造され、外科計画および手術室内のスマート計測手段に連結される。最後に、性能を監視するために、運動学および運動の範囲などの術後データは、患者の報告された成果と共に、ＩＭＵ、ＵＷＢ、またはこれらの組み合わせを含む任意の数のセンサによって収集される。次いで、このデータを予測エンジンによるフィードバックループにおいて利用して、さらなる患者のインプラントパラメータを最適化することができる。かかる方法では、ケアの全エピソードからのデータを利用して、インプラントおよび器具の設計を駆動させることができる。

図１０１は、動的撮像プロセスによって捕捉されたときの運動学的データを含み、手術室での調整とは対照的に、外科計画を展開するときに靭帯平衡を改善するのに役立つ運動の範囲全体にわたって軟組織エンベロープに関する情報を作成することを可能にする膝計画ソフトウェアアプリケーションからの例示的なスクリーンショットを示す。

図１０２および図１０３を参照すると、別のシミュレーション工程を遂行して、術前フルオロと共に捕捉され、シミュレートされた術後の性能を駆動させるために使用され得る体重軸受および非体重軸受の活動を含む、先に論じられる術前シナリオ中に患者について観察された元のデータとの比較のために格納された深い膝の屈曲および結果をモデル化することができる。インプラントが摩耗の低減と長寿命の改善とを保証するためにポリエチレン軸受との十分な接触面積を有することを保証するように、シミュレーションに基づいて、大腿骨形状をさらに最適化することができる。このモデルは、患者の運動学、軟組織付着、提案されたインプラント設計、および解剖学的構造を入力として使用して確立され得る。インプラントの装填を含む、推定される移植された運動学およびダイナミクスを達成するための入力に基づいて、出力は屈曲全体を通じて最適化されるべきである。達成された結果が弛緩または不適切な装填ゆえに許容できない場合、形状またはより具体的には湾曲パラメータを所望の結果が達成されるまで反復的に最適化することができる。かかる方法では、大腿骨、脛骨、または膝蓋骨のインプラント形状パラメータを複数の患者の活動に基づいて最適化することができる。

上記の説明から、本明細書に記載される方法および装置は、本発明の例示的な実施形態を構成するが、本明細書に記載される発明は、いかなる正確な実施形態にも限定されず、特許請求の範囲によって定義される本発明の範囲から逸脱することなく、変更をかかる実施形態に行うことができることは当業者には明らかなはずである。追加的に、本発明は特許請求の範囲によって定義されることを理解すべきであり、本明細書に記載される例示的な実施形態を説明する任意の限定または要素は、かかる限定または要素が明示的に述べられていない限り、任意の請求項の要素の解釈に組み込まれることを意図するものではない。同様に、本発明は特許請求の範囲によって定義されるものであり、かつ本発明の固有のおよび／または予期しない利点は、それらが本明細書において明示的に論じられていないかもしれない場合でも存在し得るため、任意の請求項の範囲内に入るように、本明細書に開示される発明の特定された利点または目的のいずれかまたはすべてを満たす必要はないことが理解される。

Claims

整形外科用インプラントを設計する方法であって、
実際の解剖学的形状の考察および運動学的形状の考察を使用して、動的整形外科用インプラントの可能な形状を反復的に評価することと、
前記可能な形状のうちの１つから動的整形外科用インプラント形状を選択することと、を含み、
選択される前記動的整形外科用インプラント形状が所定の運動学的制約および解剖学的制約を満たす、方法。
前記整形外科用インプラントが、脛骨インプラントおよび大腿骨インプラントのうちの少なくとも１つを含む、請求項１に記載の方法。
動的整形外科用インプラントの可能な形状を反復的に評価する前に、動的撮像データを収集することをさらに含む、請求項１に記載の方法。
前記動的撮像データが、蛍光透視データである、請求項３に記載の方法。
前記動的撮像データを画像補正プロセスに供して歪を低減する、請求項４に記載の方法。
前記動的撮像データを特徴抽出プロセスに供して骨の辺縁を確立する、請求項４に記載の方法。
前記動的撮像データを初期化プロセスに供して骨の姿勢を推定する、請求項４に記載の方法。
前記動的撮像データを逐次形状および姿勢推定プロセスに供して、骨の三次元仮想モデルを生成する、請求項４に記載の方法。
前記逐次形状および姿勢推定プロセスが、統計学的形状モデル作成プロセスからの入力を利用する、請求項８に記載の方法。
前記動的撮像データが前記形状および姿勢推定プロセスの一部としてセグメント化および分類される、請求項８に記載の方法。
前記動的撮像データを利用して、運動の範囲にわたって互いに対して位置を変化させる複数の骨モデルを生成する、請求項４に記載の方法。
前記動的撮像データを使用して仮想解剖学的モデルを構築することをさらに含む、請求項１に記載の方法。
前記仮想解剖学的モデルが、少なくとも２つの骨を備える解剖学的関節を備える、請求項１２に記載の方法。
前記解剖学的関節が、肩関節、膝関節、股関節、および足関節のうちの少なくとも１つを含む、請求項１３に記載の方法。
前記解剖学的モデルが、軟組織を含む、請求項１２に記載の方法。
前記軟組織が、靭帯を含む、請求項１５に記載の方法。
前記所定の運動学的制約が、正常な運動学を予測することから得られる、請求項１に記載の方法。
前記正常な運動学が、運動学的データベースから抽出される、請求項１７に記載の方法。
前記整形外科用インプラントのためにインプラントの幾何学的制約を確立することをさらに含む、請求項１に記載の方法。
前記整形外科用インプラントのために製造上の制約を確立することをさらに含む、請求項１に記載の方法。
前記整形外科用インプラントの移植を実現するための外科計画を確立することをさらに含む、請求項１に記載の方法。
前記外科計画が、外科用ナビゲーションシステムが所定の骨切断を行うことをガイドするための命令を含む、請求項２１に記載の方法。
前記命令が、患者の骨に対して前記所定の骨切断の向きを示す向き情報を含む、請求項２１に記載の方法。
前記命令が、患者の骨に対して前記所定の骨切断の位置を示す位置情報を含む、請求項２１に記載の方法。
前記命令が、患者の骨への位置トラッカーの付着を含む、請求項２１に記載の方法。
前記命令が、患者への位置トラッカーの付着を含む、請求項２１に記載の方法。
前記外科計画が、前記外科用ナビゲーションシステムが一連の所定の骨切断を行うことをガイドするための命令を含む、請求項２１に記載の方法。
前記患者の解剖学的形状のために最適化された軸受表面を備える患者特異的整形外科用インプラントであって、前記軸受表面が、製造前に仮想的に生成され、運動学的に評価されている、患者特異的整形外科用インプラント。
前記整形外科用インプラントが、脛骨インプラントおよび大腿骨インプラントのうちの少なくとも１つを含む、請求項２８に記載の患者特異的整形外科用インプラント。
前記患者の前記解剖学的形状が、前記患者の運動に応答して生成された動的撮像データを使用して収集された、請求項２８に記載の患者特異的整形外科用インプラント。
前記動的撮像データが、蛍光透視データである、請求項３０に記載の患者特異的整形外科用インプラント。
前記動的撮像データを画像補正プロセスに供して歪みを低減する、請求項３１に記載の患者特異的整形外科用インプラント。
前記動的撮像データを特徴抽出プロセスに供して骨の辺縁を確立する、請求項３１に記載の患者特異的整形外科用インプラント。
前記動的撮像データを初期化プロセスに供して骨の姿勢を推定する、請求項３１に記載の患者特異的整形外科用インプラント。
前記動的撮像データを逐次形状および姿勢推定プロセスに供して、骨の三次元仮想モデルを生成する、請求項３１に記載の患者特異的整形外科用インプラント。
前記逐次形状および姿勢推定プロセスが、統計学的形状モデル作成プロセスからの入力を利用する、請求項３５に記載の患者特異的整形外科用インプラント。
前記動的撮像データが前記形状および姿勢推定プロセスの一部としてセグメント化および分類される、請求項３５に記載の患者特異的整形外科用インプラント。
前記動的撮像データを利用して、運動の範囲にわたって互いに対して位置を変化させる複数の骨モデルを生成する、請求項３１に記載の患者特異的整形外科用インプラント。
前記動的撮像データを使用して仮想解剖学的モデルを構築することをさらに含む、請求項３０に記載の患者特異的整形外科用インプラント。
前記仮想解剖学的モデルが、少なくとも２つの骨を備える解剖学的関節を備える、請求項３９に記載の患者特異的整形外科用インプラント。
前記解剖学的関節が、肩関節、膝関節、股関節、および足関節のうちの少なくとも１つを含む、請求項４０に記載の患者特異的整形外科用インプラント。
前記解剖学的モデルが、軟組織を含む、請求項３９に記載の患者特異的整形外科用インプラント。
前記軟組織が、靭帯を含む、請求項４２に記載の患者特異的整形外科用インプラント。
外科用ナビゲーションシステムであって、
第１のウルトラワイドバンドおよび慣性計測ユニットと、
第２のウルトラワイドバンドおよび慣性計測ユニットと、
前記第１のウルトラワイドバンドおよび慣性計測ユニットと前記第２のウルトラワイドバンドおよび慣性計測ユニットとに通信可能に連結されたプロセッサと、
前記プロセッサに通信可能に連結されたグラフィカルディスプレイと、を備え、
前記グラフィカルディスプレイは、前記第１のウルトラワイドバンドおよび慣性計測ユニットと前記第２のウルトラワイドバンドおよび慣性計測ユニットとのうちの少なくとも１つに対して前記グラフィックディスプレイが再度位置決めされるときに位置および向きのうちの少なくとも１つにおいて変更可能である拡張現実画像を表示するように構成されている、外科用ナビゲーションシステム。
前記第２のウルトラワイドバンドおよび慣性計測ユニットと、前記プロセッサと、前記グラフィカルディスプレイとが、ユーザウェアラブルヘルメットの一部として統合されている、請求項４４に記載の外科用ナビゲーションシステム。
前記ヘルメットが、バイザであって、そこに前記グラフィカルディスプレイが前記拡張現実画像を投影する、バイザを含む、請求項４５に記載の外科用ナビゲーションシステム。
カメラをさらに備える、請求項４４の記載の外科用ナビゲーションシステム。
前記拡張現実画像が、プロジェクタによって生成される、請求項４４に記載の外科用ナビゲーションシステム。
前記プロジェクタが、レーザプロジェクタを備える、請求項４８に記載の外科用ナビゲーションシステム。
外科手順を計画する方法であって、前記方法が、
動的整形外科用インプラントの生成を可能にする命令を生成することであって、前記動的整形外科用インプラントが、実際の解剖学的形状の考察および運動学的形状の考察を使用して、可能な表面軸受形状を反復的に評価することの結果として生成されることと、
触知可能なガイドおよび仮想ガイドのうちの少なくとも１つを生成するための命令を生成することであって、前記命令が患者特異的であることと、
前記動的整形外科用インプラントの移植を容易にするナビゲーション命令を生成することであって、前記ナビゲーション命令が、ウルトラワイドバンドおよび慣性計測ユニットの組み合わせを使用して、患者および外科用用具の少なくとも一部を同時に追跡することを含むものである、
こととを含む、方法。