JP7216768B2 - 三次元のエクステンデットリアリティアプリケーションでの医療画像における二次元のデジタル撮像の活用および通信 - Google Patents

Description

本開示は、医療デバイスおよびシステム、より具体的には、外科手術中のコンピュータ支援ナビゲーションに使用されるカメラ追跡システムに関する。

外科手術におけるコンピュータ支援ナビゲーションは、患者の解剖学的構造の放射線写真画像に関して、外科医に外科用器具の拡張された視覚化を実現する。ナビゲート下での手術は、通常、単一のステレオカメラシステムを使用して、ディスクまたは球のアレイを介して外科用器具の位置および向きを追跡するためのコンポーネントを含む。このシナリオでは、（１）精度、（２）堅牢性、および（３）人間工学という、最適化について共同で競合している３つのパラメータがある。

既存のナビゲーションシステムを使用したナビゲート下での外科的処置は、追跡される対象がカメラシステムの追跡領域外に移動したり、介入する人員および／または機器によってカメラの画面から遮られたりすると、断続的な一時停止を引き起こすイベントを起こしやすい。ナビゲーションシステムの追跡能力を改善する必要がある。

実施形態により、外科用システムが提供される。ＸＲヘッドセットとＸＲヘッドセットコントローラを含む外科用システムである。ＸＲヘッドセットは、外科的処置中に使用者によって着用されるように構成され、使用者が見るためにＸＲ画像を表示するように構成されたシースルーの表示画面を含む。ＸＲヘッドセットコントローラは、患者の解剖学的構造に関連する複数の二次元（「２Ｄ」）画像データを受信するように構成される。ＸＲヘッドセットコントローラは、ＸＲヘッドセットのポーズに基づいて、複数の２Ｄ画像データから第１の２Ｄ画像を生成するようにさらに構成される。ＸＲヘッドセットコントローラは、ＸＲヘッドセットのポーズに基づいて、複数の２Ｄ画像データから第２の２Ｄ画像を生成するようにさらに構成される。ＸＲヘッドセットコントローラは、使用者の第１の眼の視野に第１の２Ｄ画像を表示し、使用者の第２の眼の視野に第２の２Ｄ画像を表示することによってＸＲ画像を生成するようさらに構成される。

外科用システムによる関連方法および関連するコンピュータプログラム製品が開示される。

以下の図面および詳細な説明を検討することにより、実施形態による他の外科用システム、方法、およびコンピュータプログラム製品が、当業者に明らかになる。このような外科用システム、方法、およびコンピュータプログラム製品すべてが、この説明に含まれ、また本開示の範囲内にあり、添付の特許請求の範囲によって保護されることが、意図されている。さらに、本明細書に開示されるすべての実施形態が別々に実装されても、任意の方法および／または組み合わせで組み合わされてもよいことが意図される。

本開示のさらなる理解を実現するために含まれ、かつ本願に組み込まれてその一部を構成する添付の図面は、本発明の概念の特定の非限定的な実施形態を例示する。図面にあるのは、以下の事柄である。

本開示のいくつかの実施形態にかかる外科用システムの実施形態を示している。 本開示のいくつかの実施形態にかかる、図１の外科用システムの外科用ロボットコンポーネントを示している。 本開示のいくつかの実施形態にかかる、図１の外科用システムのカメラ追跡システムのコンポーネントを示している。 本開示のいくつかの実施形態にかかる、図１の外科用システムとともに使用させることができる別のカメラ追跡システムコンポーネントの正面図を示している。 本開示のいくつかの実施形態にかかる、図１の外科用システムとともに使用させることができる別のカメラ追跡システムコンポーネントの等角図を示している。 ロボットアームに接続可能であり、かつ本開示のいくつかの実施形態にしたがって構成されたエンドエフェクタの実施形態を示している。 外科用ロボットおよびカメラシステムが患者の周りに配設されている医療手術を示している。 医療手術に使用される図５の外科用システムのコンポーネントのブロック図を示している。 外科用システムのナビゲーション機能を使用するときに図５および図６のディスプレイに表示させることができる様々な表示画面を示している。 本開示のいくつかの実施形態にかかる、外科用ロボットのいくつかの電気的コンポーネントのブロック図を示している。 本開示のいくつかの実施形態にかかる、カメラ追跡システムおよび／または外科用ロボットに動作可能に接続できるコンピュータプラットフォームに接続された撮像デバイスを含む外科用システムのコンポーネントのブロック図を示している。 本開示のいくつかの実施形態にしたがって外科用ロボットと組み合わせて使用できる、Ｃアーム撮像デバイスの実施形態を示している。 本開示のいくつかの実施形態にしたがって外科用ロボットと組み合わせて使用できる、Ｏアーム撮像デバイスの実施形態を示している。 本開示のいくつかの実施形態にしたがって動作する１対のＸＲヘッドセットおよび補助的な追跡バーを含む外科用システムのコンポーネントのブロック図を示している。 本開示のいくつかの実施形態にしたがって構成されたＸＲヘッドセットを示している。 本開示のいくつかの実施形態にしたがってコンピュータプラットフォーム、撮像デバイス、および／または外科用ロボットに動作可能に接続できるＸＲヘッドセットの電気的コンポーネントを示している。 本開示のいくつかの実施形態にかかる、ＸＲヘッドセットの光学部品の配置を示すブロック図を示している。 本開示のいくつかの実施形態にかかる、医療処置中に外科用器具を操作するためにナビゲーション支援をもたらすためのＸＲヘッドセットの表示画面を介した例示的な図を示している。 本開示のいくつかの実施形態にしたがって構成された２対のステレオカメラを有する補助的な追跡バーの例示的な構成を示している。 本開示のいくつかの実施形態による、解剖学的構造の幾何学的な不完全性を伴う３Ｄ再構成メッシュを示す。 本開示のいくつかの実施形態による、患者のＣＴスキャンからの３Ｄ最大強度の投影図を示す。 本開示のいくつかの実施形態による、ステレオＡＲヘッドセットにおいて２Ｄ投影がどのように３Ｄを作成するかについての概略図を示す。 本開示のいくつかの実施形態による、２つの異なるウィンドウの値での解剖学的構造の一対のスキャンを示す。 本開示のいくつかの実施形態による、２つの異なるウィンドウの値での解剖学的構造の一対のスキャンを示す。 本開示のいくつかの実施形態による、外科用システムによってなされる動作の例を示す。 本開示のいくつかの実施形態による、外科用システムによってなされる動作の例を示す。

これより、本発明の概念の例示的な実施形態が示されている添付の図面を参照して、本発明の概念を以下でより十全に説明する。ただし、発明の概念は、多くの様々な形態で具体化でき、本明細書に記載される実施形態に限定されると解釈されるべきではない。むしろ、本開示が徹底的かつ完全なものになり、当業者に様々な本発明の概念の範囲を完全に伝えるように、これらの実施形態が提示されている。これらの実施形態が相互排他的ではないことにも留意されたい。１つの実施形態からのコンポーネントが、別の実施形態に存在するか、または別の実施形態で使用されると暗に想定され得る。

本明細書に開示される様々な実施形態は、外科手術の間でのコンピュータ支援ナビゲーションの改善を対象とする。エクステンデットリアリティ（ＸＲ）ヘッドセットは、外科用システムに動作可能に接続され、外科医、助手、および／または他の従事者が患者の画像を視認し、患者の画像の中から選択し、コンピュータで生成された外科用ナビゲーション情報を視認し、外科用ナビゲーション情報の中から選択し、および／または手術室内の外科用機器を制御することができるインタラクティブな環境を実現するように構成されている。以下に説明するように、ＸＲヘッドセットは、コンピュータで生成されたＸＲ画像によって、実世界の場面を拡張するように構成させることができる。ＸＲヘッドセットは、使用者が組み合わせて視認するために、実世界の場面からの光が通過することを可能にするシースルーの表示画面に、コンピュータで生成されたＸＲ画像を表示することにより、拡張現実（ＡＲ）表示環境を実現するように構成させることができる。あるいは、ＸＲヘッドセットは、使用者がコンピュータで生成されたＡＲ画像を表示画面上で視認している間、実世界の場面からの光が使用者により直接視認されるのを防止または実質的に防止することによって、仮想現実（ＶＲ）表示環境を実現するように構成させることができる。ＸＲヘッドセットは、ＡＲおよびＶＲ表示環境の双方を提供するように構成させることができる。ある実施形態においては、高不透明度帯域と位置の揃ったＸＲ画像にＶＲ表示環境がもたらされ、低不透明度帯域と位置の揃ったＸＲ画像にＡＲ表示環境がもたらされるように、シースルーの表示画面と実世界の場面との間に配置された実質的に不透明度が異なる横方向帯域によって、ＡＲおよびＶＲ両方の表示環境がもたらされる。別の実施形態では、ＡＲおよびＶＲの表示環境の両方が、使用者が見るＸＲ画像と組み合わせるために実世界の場面からの光がシースルーの表示画面をどのくらい透過するかを可変的に抑制する不透明フィルタのコンピュータ調整式制御によって、もたらされている。したがって、ＸＲヘッドセットはまた、ＡＲヘッドセットまたはＶＲヘッドセットと呼ばれることもある。

図１は、本開示のいくつかの実施形態による、外科用システム２の一実施形態を示す。整形外科用または他の外科的処置の実施前に、例えば、図１０のＣアーム撮像デバイス１０４または図１１のＯアーム撮像デバイス１０６を使用して、またはコンピュータ断層撮影（ＣＴ）画像もしくはＭＲＩなどの別の医療撮像デバイスから、患者の計画された外科手術領域の三次元（「３Ｄ」）画像スキャンを取得することができる。このスキャンは、術前（例えば、最も一般的には処置の数週間前）または術中に行うことができる。しかし、外科用システム２の様々な実施形態にしたがって、任意の既知の３Ｄまたは２Ｄ画像スキャンを使用することができる。画像スキャンは、カメラ追跡システムコンポーネント６、外科用ロボット４（例えば、図１のロボット２）、撮像デバイス（例えば、Ｃアーム１０４、Ｏアーム１０６など）、および患者の画像スキャンを保存するための画像データベース９５０を含むことができる外科用システム９００（図９）のコンピュータプラットフォーム９１０などの、外科用システム２と通信するコンピュータプラットフォームに送信される。コンピュータプラットフォーム９１０（図９）のディスプレイデバイス上で画像スキャンを概観する外科医は、患者の解剖学的構造に対する外科的処置の間に使用される外科用器具の目標のポーズを定義する外科手術計画を生成する。器具とも呼ばれる例示的な外科用器具として、ドリル、スクリュードライバ、開創器、および、スクリュー、スペーサ、椎体間固定デバイス、プレート、ロッドなどのインプラントを挙げることができるが、これらに限定されるものではない。いくつかの実施形態では、目標の平面を定義する外科手術計画は、ディスプレイデバイスに表示される３Ｄ画像スキャンで計画される。

本明細書で使用される場合、「ポーズ」という用語は、別の対象および／または定義された座標系に対する、ある対象（例えば、動的参照アレイ、エンドエフェクタ、外科用器具、解剖学的構造など）の位置および／または回転角度を指す。したがって、ポーズは、ある対象の別の対象に対するおよび／または定義された座標系に対する多次元的な位置のみに基づいてか、対象の別の対象に対するおよび／または定義された座標系に対する多次元的な回転角のみに基づいてか、あるいは多次元的な位置と多次元的な回転角との組み合わせに基づいて、定義され得る。したがって、「ポーズ」という用語は、位置、回転角、またはそれらの組み合わせを指すために使用される。

図１の外科用システム２は、例えば、使用するために器具を保持すること、器具を位置合わせすること、器具を使用すること、器具を誘導すること、および／または器具を位置決めすることによって、医療処置中に外科医を支援することができる。実施形態によっては、外科用システム２は、外科用ロボット４およびカメラ追跡システムコンポーネント６を含む。外科用ロボット４とカメラ追跡システムコンポーネント６とを機械的に結合する機能により、外科用システム２を単一のユニットとして操作し、移動することが可能になり、外科用システム２は、面積の小さいフットプリントを有することが可能になり、狭い通路および曲がり角を通る動きをより容易にすることが可能になり、ならびにより狭い領域内での保管を可能にすることができる。

外科的処置は、外科用システム２を医療ストレージから医療処置室まで移動させることで開始することができる。外科用システム２は、出入口、ホール、およびエレベータを通り、医療処置室に達するように動かされ得る。医療処置室の内部で、外科用システム２は、２つの別個の異なるシステム、外科用ロボット４とカメラ追跡システムコンポーネント６とに物理的に分けられ得る。外科用ロボット４は、医療従事者を正しく補助するのに適したいずれの場所でも、患者に隣接して位置付けられ得る。カメラ追跡システムコンポーネント６は、患者の基部に、患者の肩に、または外科用ロボット４および患者の追跡部分のその時のポーズと、ポーズの動きとを追跡するのに適した他のいずれの場所にも、位置付けされ得る。外科用ロボット４およびカメラ追跡システムコンポーネント６は、オンボード電源によって電力供給させることができ、および／または外部の壁のコンセントに差し込むことができる。

外科用ロボット４を使用して、医療処置中に器具を保持および／または使用することによって、外科医を支援することができる。器具を正しく利用し、保持するのに、外科用ロボット４は、複数のモータ、コンピュータ、および／またはアクチュエータが正しく機能することに頼る場合がある。図１に示されるロボット本体８は、複数のモータ、コンピュータ、および／またはアクチュエータが外科用ロボット４内で固定され得る構造体として機能し得る。ロボット本体８はまた、伸縮式ロボット支持アーム１６に支持を与えることができる。ロボット本体８のサイズは、取り付けられたコンポーネントを支持する強固なプラットフォームを提供することができ、かつ取り付けられたコンポーネントを動作させることができる複数のモータ、コンピュータ、および／またはアクチュエータを収容し、隠し、かつ保護することができる。

ロボット基部１０は、外科用ロボット４の下部の支持として作用することができる。いくつかの実施形態では、ロボット基部１０は、ロボット本体８を支持することができ、ロボット本体８を複数の動力付与車輪１２に取り付けることができる。車輪へのこの取り付けにより、ロボット本体８が空間を効率良く動くことが可能になる。ロボット基部１０は、ロボット本体８の長さおよび幅に延在し得る。ロボット基部１０は、約２インチ～約１０インチの高さであり得る。ロボット基部１０は、動力付与車輪１２を被覆、保護、および支持することができる。

いくつかの実施形態では、図１に示されるように、少なくとも１つの動力付与車輪１２をロボット基部１０に取り付けることができる。動力付与車輪１２は、ロボット基部１０のいずれの場所に取り付けてもよい。それぞれの個々の動力付与車輪１２は、いずれの方向にも、垂直軸を中心として回転することができる。モータは、動力付与車輪１２の上に、中に、またはそれに隣接して配置され得る。このモータによって、外科用システム２は、いずれの場所にも移動し、外科用システム２を安定化させる、および／または水平にすることができる。動力付与車輪１２の内部またはそれに隣接して位置するロッドは、モータによって表面に押し込められ得る。ロッドは、描かれていないが、外科用システム２を持ち上げるのに適したいずれの金属からも作られ得る。ロッドは、外科用システム２を持ち上げることができる動力付与車輪１２を、患者との関係で外科用システム２の向きを水平にする、またはそうでなければ固定するのに必要ないずれの高さにも、持ち上げることができる。各車輪のロッドによって小さな接触範囲にわたって支持される、外科用システム２の重さが、外科用システム２が医療処置中に動くことを防ぐ。この堅固な位置決めは、対象および／または人が偶発的に外科用システム２を移動させることを阻止することができる。

外科用システム２の移動は、ロボットレール材１４を使用して容易にすることができる。ロボットレール材１４は、人に、ロボット本体８をつかむことなく、外科用システム２を動かせるようにする。図１に示されるように、ロボットレール材１４は、ロボット本体８の長さに延びていても、ロボット本体８よりも短くても、および／またはロボット本体８の長さより長く延びていてもよい。ロボットレール材１４は、ロボット本体８に対する保護をさらに備え、物体および／または従事者がロボット本体８に接触すること、ぶつかること、または衝突することを阻止することができる。

ロボット本体８は、以後「スカラ」と称する水平多関節ロボットのための支持を設けることができる。スカラ２４は、ロボットアームの同時再現性およびコンパクトさゆえに、外科用システム２内で使用するのに有益であり得る。スカラのコンパクトさは、医療処置の内部に追加の空間を実現することができ、それにより、医療専門家は、過度な乱雑さと制限された領域なしに、医療処置を実施することが可能になる。スカラ２４は、伸縮式ロボット支持体１６、ロボット支持アーム１８、および／またはロボットアーム２０で構成され得る。伸縮式ロボット支持体１６は、ロボット本体８に沿って配置され得る。図１に示されるように、伸縮式ロボット支持体１６は、スカラ２４およびディスプレイ３４に支持を与えることができる。いくつかの実施形態では、伸縮式ロボット支持体１６は、垂直方向に伸縮することができる。伸縮式ロボット支持体１６の本体は、本体に加えられる応力および重量を支持するように構成された任意の幅および／または高さとすることができる。

いくつかの実施形態では、医療従事者は、医療従事者によって出されたコマンドを介してスカラ２４を移動させることができる。コマンドは、以下にさらに詳細に説明するように、ディスプレイ３４、タブレット、および／またはＸＲヘッドセット（例えば、図９のヘッドセット９２０）で受信された入力から発信させることができる。ＸＲヘッドセットは、医療従事者がディスプレイ３４またはタブレットなどの任意の他のディスプレイを参照する必要性を排除することができ、これにより、ディスプレイ３４および／またはタブレットなしで、スカラ２４を構成することが可能になる。コマンドは、スイッチの押し下げおよび／または複数のスイッチの押し下げによって生成されることができ、および／または以下にさらに詳細に説明するように、ＸＲヘッドセットによって感知される手のジェスチャコマンドおよび／またはボイスコマンドに基づいて生成され得る。

図５に示されるように、起動組立体６０は、スイッチおよび／または複数のスイッチを含むことができる。起動組立体６０は、術者がスカラ２４を手で巧みに操るのを可能にする動きのコマンドをスカラ２４に送信するように使用可能であり得る。１つのスイッチまたは複数のスイッチが押されると、医療従事者は、適用された手の動きを通してスカラ２４を動かせるようになり得る。代替としてまたは追加として、術者は、以下に、より詳細に説明するように、ＸＲヘッドセットによって感知されるハンドジェスチャコマンドおよび／または音声コマンドを通して、スカラ２４の動きを制御することができる。さらに、動くことを求めるコマンドをスカラ２４が受信していない場合、スカラ２４は、従事者および／または他の物体による偶発的な移動を防ぐように、所定の位置にロックされ得る。所定の位置にロックすることにより、スカラ２４は、エンドエフェクタ２６が医療処置中に外科用器具を誘導することができる堅固なプラットフォームを設ける。

ロボット支持アーム１８は、様々な機構によって伸縮式ロボット支持体１６に接続させることができる。実施形態によっては、図１および図２で一番よく分かるが、ロボット支持アーム１８は、伸縮式ロボット支持体１６に対していずれの方向にも回転する。ロボット支持アーム１８は、伸縮式ロボット支持体１６を中心として３６０度回転することができる。ロボットアーム２０は、ロボット支持アーム１８の適切ないずれの場所にも、またロボット支持アーム１８に対していずれの方向にも回転することを可能にする様々な機構によって、接続することができる。ある実施形態において、ロボットアーム２０は、ロボット支持アーム１８に対して３６０度回転することができる。この自由回転により、術者は、外科手術計画にしたがってロボットアーム２０を位置決めすることができる。

図４および図５に示されるエンドエフェクタ２６は、任意の適切な場所でロボットアーム２０に取り付けられることができる。エンドエフェクタ２６は、外科用ロボット４によって位置付けられたロボットアーム２０のエンドエフェクタカプラ２２に取り付けるように構成され得る。例示的なエンドエフェクタ２６は、外科的処置が実施される解剖学的構造に対して、挿入された外科用器具の移動を誘導する管状ガイドを含む。

いくつかの実施形態では、動的参照アレイ５２は、エンドエフェクタ２６に取り付けられている。本明細書では「ＤＲＡ」とも呼ばれる動的参照アレイは、患者の解剖学的構造（例えば、骨）、手術室内で従事者が装着する１つ以上のＸＲヘッドセット、エンドエフェクタ、外科用ロボット、ナビゲート下での外科的処置における外科用器具の上に配置され得る剛体である。カメラ追跡システムコンポーネント６または他の３Ｄ位置特定システムと組み合わせたコンピュータプラットフォーム９１０は、ＤＲＡのポーズ（例えば、位置および回転方向）をリアルタイムで追跡するように構成されている。ＤＲＡは、図示されたボールの配置など、基準を含み得る。ＤＲＡの３Ｄ座標のこの追跡により、外科用システム２は、図５の患者５０の目標の解剖学的構造に関連する任意の多次元空間におけるＤＲＡのポーズを判定することができる。

図１に示されるように、光表示器２８は、スカラ２４の頂部に位置決めさせることができる。光表示器２８は、外科用システム２がその時働いている「状態」を示すように、任意のタイプの光として照らすことができる。実施形態によっては、光は、光表示器２８の周りに環を形成し得る、ＬＥＤ電球によって生み出され得る。光表示器２８は、光表示器２８の全体にわたり光を輝かせることができる完全透過性の材料を含み得る。光表示器２８は、下部ディスプレイ支持体３０に取り付けられ得る。下部ディスプレイ支持体３０は、図２に示されるように、術者が、適切ないずれの場所にもディスプレイ３４をうまく移動させるのを可能にし得る。下部ディスプレイ支持体３０は、任意の好適な機構によって光表示器２８に取り付けることができる。実施形態によっては、下部ディスプレイ支持体３０は、光表示器２８を中心として回転し得るか、または光表示器２８に堅固に取り付けられ得る。上部ディスプレイ支持体３２は、任意の好適な機構によって下部ディスプレイ支持体３０に取り付けられることができる。

いくつかの実施形態では、タブレットをディスプレイ３４と併せて、および／またはディスプレイ３４なしで使用することができる。タブレットは、ディスプレイ３４の代わりに、上部ディスプレイ支持体３２に配置され得、医療手術中、上部ディスプレイ支持体３２から取り外し可能であり得る。さらに、タブレットは、ディスプレイ３４と通信することができる。タブレットは、任意の適切な無線接続および／または有線接続によって、外科用ロボット４に接続することが可能であり得る。実施形態によっては、タブレットは、医療手術中、外科用システム２をプログラムし、および／または制御することが可能であり得る。タブレットで外科用システム２を制御する際、すべての入力コマンドおよび出力コマンドがディスプレイ３４にて再現され得る。タブレットの使用により、術者は、患者５０の周りを移動し、および／または外科用ロボット４まで移動する必要なしに、外科用ロボット４を操作することができるようになり得る。

以下に説明するように、いくつかの実施形態では、外科医および／または他の従事者は、ディスプレイ３４および／またはタブレットと組み合わせて使用させることができるＸＲヘッドセットを着用することができるか、またはＸＲヘッドは、ディスプレイ３４および／またはタブレットの使用の必要性を排除することができる。

図３Ａおよび図５に示されるように、カメラ追跡システムコンポーネント６は、有線または無線の通信ネットワークを介して外科用ロボット４と協働する。図１、図３、および図５を参照すると、カメラ追跡システムコンポーネント６は、外科用ロボット４と類似した構成要素をいくつか含み得る。例えば、カメラ本体３６は、ロボット本体８に見られる機能性をもたらすことができる。ロボット本体８は、カメラ４６が据え付けられる補助的な追跡バーを設けることができる。ロボット本体８内の構造もまた、カメラ追跡システムコンポーネント６を働かせるのに使用される、電子機器、通信デバイス、および電力源に支持を与えることができる。カメラ本体３６は、ロボット本体８と同じ材料で作られている可能性がある。カメラ追跡システムコンポーネント６は、無線および／または有線のネットワークによってＸＲヘッドセット、タブレット、および／またはディスプレイ３４と直接通信して、ＸＲヘッドセット、タブレット、および／またはディスプレイ３４が、カメラ追跡システムコンポーネント６の機能を制御することを可能にすることができる。

カメラ本体３６は、カメラ基部３８によって支持される。カメラ基部３８は、ロボット基部１０として機能し得る。図１の実施形態では、カメラ基部３８は、ロボット基部１０よりも幅が広くなり得る。カメラ基部３８の幅は、カメラ追跡システムコンポーネント６が外科用ロボット４と接続するのを可能にし得る。図１に示されるように、カメラ基部３８の幅は、外側ロボット基部１０を固定するのに十分に広くすることができる。カメラ追跡システムコンポーネント６と外科用ロボット４とが接続されているとき、カメラ基部３８の追加の幅は、外科用システム２の追加の操作性と外科用システム２の支持を可能にすることができる。

ロボット基部１０と同様に、複数の動力付与車輪１２がカメラ基部３８に取り付けられ得る。動力付与車輪１２は、ロボット基部１０および動力付与車輪１２の働きと同様に、カメラ追跡システムコンポーネント６が患者５０に対して固定された向きを安定化し、水平にするかまたはそれを設定するのを可能にし得る。この安定化により、カメラ追跡システムコンポーネント６が医療処置中に動くのを防ぐことができ、補助的な追跡バーにあるカメラ４６が、ＸＲヘッドセットおよび／または外科用ロボット４に接続されたＤＲＡの軌跡を見失わないように、かつ／または図３Ａおよび図５に示されるような指示範囲５６内の解剖学的構造５４および／または器具５８に接続された１つ以上のＤＲＡ５２の軌跡を見失わないようにすることができる。追跡のこの安定性および維持は、カメラ追跡システムコンポーネント６と効果的に動作する外科用ロボット４の能力を高める。さらに、幅広のカメラ基部３８は、カメラ追跡システムコンポーネント６にさらなる支持を与えることができる。具体的には、図３Ａおよび図５に示されるように、幅広のカメラ基部３８により、カメラ４６が患者の上に配設されたときに、カメラ追跡システムコンポーネント６が転倒するのを防止することができる。

カメラ伸縮式支持体４０は、補助的な追跡バー上のカメラ４６を支持することができる。いくつかの実施形態では、伸縮式支持体４０は、垂直方向にカメラ４６を上げるまたは下げることができる。カメラハンドル４８が、カメラ伸縮式支持体４０の適切ないずれの場所にも取り付けられ、術者が、医療手術の前に、カメラ追跡システムコンポーネント６を予定の位置に動かすことを可能にするように構成され得る。実施形態によっては、カメラハンドル４８は、カメラ伸縮式支持体４０を上げ下げするのに使用される。カメラハンドル４８は、ボタン、スイッチ、レバー、および／またはそれらの任意の組み合わせの押し下げによって、カメラ伸縮式支持体４０の上昇および下降を実施することができる。

下部カメラ支持アーム４２は、任意の適切な場所でカメラ伸縮式支持体４０に取り付けることができ、実施形態では、図１に示されるように、下部カメラ支持アーム４２は、伸縮式支持体４０の周りで３６０度回転することができる。この自由回転により、術者は、適切ないずれの場所にでもカメラ４６を位置付けることができる。下部カメラ支持アーム４２は、任意の好適な機構によって伸縮式支持体４０に接続することができる。下部カメラ支持アーム４２を使用して、カメラ４６に支持を与えることができる。カメラ４６は、任意の好適な機構によって下部カメラ支持アーム４２に取り付けられ得る。カメラ４６は、カメラ４６と下部カメラ支持アーム４２との間の取り付け個所でいずれの方向にも枢動することができる。実施形態では、湾曲レール４４は、下部カメラ支持アーム４２上に配設させることができる。

湾曲レール４４は、下部カメラ支持アーム４２の任意の適切な場所に配設させることができる。図３Ａに示されるように、湾曲レール４４は、任意の好適な機構によって下部カメラ支持アーム４２に取り付けることができる。湾曲レール４４は、適切ないずれの形状であってもよく、適切な形状は、三日月形、円形、卵形、楕円形、および／またはそれらの任意の組み合わせであり得る。カメラ４６は、湾曲レール４４に沿って移動可能に配置され得る。カメラ４６は、例えば、ローラ、ブラケット、ブレース、モータ、および／またはそれらの任意の組み合わせによって湾曲レール４４に取り付けることができる。モータおよびローラは、図示されていないが、湾曲レール４４に沿ってカメラ４６を動かすのに使用され得る。図３Ａに示されるように、医療処置中、ある物体により、カメラ４６が、追跡される１つ以上のＤＲＡを見るのを妨げられる場合、モータが、これに反応して、湾曲レール４４に沿ってカメラ４６を動かすことができる。このモータ駆動式の動きにより、カメラ４６は、カメラ追跡システムコンポーネント６を動かすことなく、物体によってもはや邪魔されない新しい位置に移動することができる。カメラ４６が１つ以上の追跡対象ＤＲＡを表示することを妨げられている間、カメラ追跡システムコンポーネント６は、停止信号を、外科用ロボット４、ＸＲヘッドセット、ディスプレイ３４、および／またはタブレットに送信することができる。停止信号は、カメラ４６が追跡対象ＤＲＡ５２を再取得するかつ／または術者にＸＲヘッドセットを装着するようかつ／またはディスプレイ３４および／またはタブレットを見るよう注意喚起することができるようになるまで、スカラ２４が動かないようにすることができる。このスカラ２４は、カメラ追跡システムがＤＲＡの追跡を再開することができるまで、ベースおよび／またはエンドエフェクタカプラ２２のさらなる移動を停止することによって、停止信号の受信に応答するように構成させることができる。

図３Ｂおよび図３Ｃは、図１の外科用システムとともに使用させることができるか、または外科用ロボットとは独立して使用させることができる、別のカメラ追跡システムコンポーネント６’の正面図および等角図を示している。例えば、カメラ追跡システムコンポーネント６’が、ロボットガイダンスの使用なしにナビゲート式外科手術を実現するのに使用され得る。図３Ｂおよび図３Ｃのカメラ追跡システムコンポーネント６’と図３Ａのカメラ追跡システムコンポーネント６との違いのうちの１つは、図３Ｂおよび図３Ｃのカメラ追跡システムコンポーネント６’がコンピュータプラットフォーム９１０を運ぶハウジングを含むことである。コンピュータプラットフォーム９１０は、ＤＲＡを追跡するカメラ追跡作業を行い、ディスプレイデバイス、例えばＸＲヘッドセットおよび／または他のディスプレイデバイスに外科ナビゲーション情報を提供する、ナビゲーション下での外科手術を行い、また本明細書に開示されている他の計算演算を行うように構成され得る。したがって、コンピュータプラットフォーム９１０は、図１４の１つ以上のナビゲーションコンピュータなどのナビゲーションコンピュータを含むことができる。

図６は、医療手術に使用される図５の外科用システムのコンポーネントのブロック図を示している。図６を参照すると、補助的な追跡バーの追跡カメラ４６は、ナビゲーション視野６００を有し、この場合、患者に取り付けられた参照アレイ６０２のポーズ（例えば、位置および向き）、外科用器具に取り付けられた参照アレイ６０４、およびロボットアーム２０が、追跡される。追跡カメラ４６は、以下に記載される動作を実行するように構成されたコンピュータプラットフォーム９１０を含む、図３Ｂおよび図３Ｃのカメラ追跡システムコンポーネント６’の一部とすることができる。参照アレイは、既知のパターンで光を反射することによって追跡を可能にし、それがデコードされて、外科用ロボット４の追跡サブシステムによってそれぞれのポーズを判定する。患者の参照アレイ６０２と補助的な追跡バーの追跡カメラ４６との間の視線が（例えば、医療従事者、器具などによって）遮断された場合、外科用器具のさらなるナビゲーションを実行することができない可能性があり、応答通知は、ロボットアーム２０および外科用ロボット４のさらなる移動を一時的に停止し、ディスプレイ３４に警告を表示し、および／または医療従事者に可聴警告を与えることができる。ディスプレイ３４は、外科医６１０および助手６１２がアクセス可能であるが、視認するには、患者から頭部の向きを逸らし、眼の焦点を異なる距離および場所に変化させる必要がある。ナビゲーションソフトウェアは、外科医からの音声指示に基づいて、技術従事者６１４によって制御させることができる。

図７は、外科用システム２のナビゲーション機能を使用するときに、外科用ロボット４によって図５および図６のディスプレイ３４に表示させることができる様々な表示画面を示している。表示画面は、展開される外科手術計画に基づいて、および／または追跡される参照アレイのポーズに基づいて、解剖学的構造に対して表示画面に位置決めされた器具のモデルのグラフィック表現がオーバーレイされた患者の放射線写真、外科的処置の異なる段階および仮想的に投影されたインプラントの寸法パラメータ（例えば、長さ、幅、および／または直径）を制御するための様々な使用者が選択可能なメニューを含むことができるが、これに限定されるものではない。

ナビゲート下での外科手術のために、外科的処置の術前計画、例えば、インプラントの配置、および計画された外科的処置の最中に１人または複数の使用者にナビゲーション情報を提供するためのコンピュータプラットフォーム９１０への計画の電子転送を可能にする、以下に記載される様々な処理コンポーネント（例えば、コンピュータプラットフォーム９１０）および関連付けられたソフトウェアが実現される。

ロボットナビゲーションのために、外科的処置の術前計画、例えば、インプラントの配置、および外科用ロボット４への計画の電子転送を可能にする、以下に記載される様々な処理コンポーネント（例えば、コンピュータプラットフォーム９１０）および関連付けられたソフトウェアが実現される。外科用ロボット４は、計画を使用して、ロボットアーム２０および接続されたエンドエフェクタ２６を誘導して、計画された外科的処置のステップのための患者の解剖学的構造に対する外科用器具の目標のポーズを実現する。

以下の様々な実施形態は、外科医６１０、助手６１２、および／または他の医療従事者が着用できる１つ以上のＸＲヘッドセットを使用して、外科用ロボット、カメラ追跡システムコンポーネント６／６’、および／または手術室の他の医療機器から情報を受信し、および／またはこれらに制御コマンドを与えるための改善されたユーザインターフェイスを提供することを対象とする。

図８は、本開示のいくつかの実施形態にかかる、外科用ロボット４のいくつかの電気的コンポーネントのブロック図を示している。図８を参照すると、ロードセル（図示せず）は、エンドエフェクタカプラ２２に加えられた力を追跡するように構成され得る。実施形態によっては、ロードセルは、複数のモータ８５０、８５１、８５２、８５３、および／または８５４と通信することができる。ロードセルが力を感知すると、加えられた力の程度に関する情報が、１つのスイッチアレイおよび／または複数のスイッチアレイからコントローラ８４６に分配され得る。コントローラ８４６は、ロードセルから力の情報を取り出し、それをスイッチアルゴリズムで処理することができる。スイッチアルゴリズムは、モータドライバ８４２を制御するのにコントローラ８４６によって使用される。モータドライバ８４２は、モータ８５０、８５１、８５２、８５３、および８５４のうちの１つ以上の働きを制御する。モータドライバ８４２は、特定のモータに、例えば、モータを通してロードセルによって測定された同じ程度の力を生み出すよう指示することができる。実施形態によっては、生み出される力は、コントローラ８４６によって指示される通りに、複数のモータ、例えば８５０～８５４に由来する可能性がある。さらに、モータドライバ８４２は、コントローラ８４６から入力を受信することができる。コントローラ８４６は、ロードセルによって感知された力の方向に関する情報をロードセルから受信することができる。コントローラ８４６は、この情報を、モーションコントローラアルゴリズムを使用して処理することができる。このアルゴリズムは、特定のモータドライバ８４２に情報を提供するのに使用され得る。力の方向を再現するために、コントローラ８４６は、特定のモータドライバ８４２を起動および／または停止することができる。コントローラ８４６は、１つ以上のモータ、例えば８５０～８５４のうちの１つ以上を制御して、ロードセルによって感知された力の方向にエンドエフェクタ２６の運動を誘起することができる。この力によって制御される運動により、術者は、スカラ２４およびエンドエフェクタ２６を楽に、および／またはほとんど抵抗なく移動させることができる。エンドエフェクタ２６の移動は、医療従事者が使用するために、エンドエフェクタ２６を任意の好適なポーズ（すなわち、規定された三次元（３Ｄ）直交基準軸に対する場所および角度の向き）に位置決めするように実行させることができる。

図５に最もよく例示されている起動組立体６０は、エンドエフェクタカプラ２２を包むブレスレットの形態をなすことができる。起動組立体６０は、スカラ２４のいずれの部分にでも位置し得、エンドエフェクタカプラ２２の任意の部分が医療従事者によって装着され（また無線で通信する）得て、かつ／またはそれらの組み合わせであり得る。起動組立体６０は、一次ボタンおよび二次ボタンを備えることができる。

一次ボタンを押し下げることにより、術者は、スカラ２４およびエンドエフェクタカプラ２２を移動させることが可能になり得る。ある実施形態によれば、所定の位置に設定されると、スカラ２４およびエンドエフェクタカプラ２２は、術者がスカラ２４およびエンドエフェクタカプラ２２を動かすように外科用ロボット４をプログラムするまで動かないようにしてもよく、または一次ボタンを使用して動かされる。例によっては、スカラ２４およびエンドエフェクタカプラ２２が術者のコマンドに応答するようになる前に、少なくとも２つの非隣接の一次起動スイッチの押し下げが必要となり得る。少なくとも２つの一次起動スイッチを押し下げることにより、医療処置中のスカラ２４およびエンドエフェクタカプラ２２の偶発的な移動を防止することができる。

一次ボタンによって起動されると、ロードセルは、術者、すなわち、医療従事者によってエンドエフェクタカプラ２２に及ぼされる力の大きさおよび／または方向を測定することができる。この情報は、スカラ２４およびエンドエフェクタカプラ２２を移動させるために使用させることができる、スカラ２４内の１つ以上のモータ、例えば８５０～８５４のうちの１つ以上に転送させることができる。ロードセルによって測定された力の大きさおよび方向に関する情報は、１つ以上のモータ、例えば８５０～８５４のうちの１つ以上に、ロードセルによって感知されるのと同じ方向にスカラ２４およびエンドエフェクタカプラ２２を移動させることができる。術者がスカラ２４およびエンドエフェクタカプラ２２を移動させるのと同時に、モータがスカラ２４およびエンドエフェクタカプラ２２を移動させるため、この力制御型の動きにより、術者は、楽に、かつ大きな労力なしに、スカラ２４およびエンドエフェクタカプラ２２を移動することが可能になり得る。

いくつかの例では、二次ボタンは、「選択」デバイスとして術者によって使用させることができる。医療手術中、外科用ロボット４は、ＸＲヘッドセット９２０、ディスプレイ３４および／または光表示器２８によって、医療従事者に特定の状態を通知することができる。ＸＲヘッドセット９２０は、それぞれ、シースルーの表示画面上に画像を表示して、シースルーの表示画面を通して見ることができる実世界の対象に重ね合わせられるエクステンデットリアリティの画像を形成するように構成されている。医療従事者は、機能、モードを選択するよう、かつ／または外科用システム２の状態を見極めるよう、外科用ロボット４によって促される可能性がある。二次ボタンを１回押すと、特定の機能、モード、および／またはＸＲヘッドセット９２０、ディスプレイ３４および／または光表示器２８を通して医療従事者に伝えられる認識情報を作動させることができる。さらに、迅速に連続して二次ボタンを複数回押すと、追加の機能、モード、および／またはＸＲヘッドセット９２０、ディスプレイ３４および／または光表示器２８を通して医療従事者に伝えられる選択情報を作動させることができる。

図８をさらに参照すると、外科用ロボット４の電気的コンポーネントは、プラットフォームサブシステム８０２、コンピュータサブシステム８２０、モーション制御サブシステム８４０、および追跡サブシステム８３０を含む。プラットフォームサブシステム８０２は、バッテリ８０６、配電モジュール８０４、コネクタパネル８０８、および充電ステーション８１０を含む。コンピュータサブシステム８２０は、コンピュータ８２２、ディスプレイ８２４、およびスピーカ８２６を含む。モーション制御サブシステム８４０は、ドライバ回路８４２、モータ８５０、８５１、８５２、８５３、８５４、安定化装置８５５、８５６、８５７、８５８、エンドエフェクタコネクタ８４４、およびコントローラ８４６を含む。追跡サブシステム８３０は、位置センサ８３２およびカメラコンバータ８３４を含む。外科用ロボット４はまた、取り外し可能なフットペダル８８０、および取り外し可能なタブレットコンピュータ８９０を含むことができる。

入力電力は、配電モジュール８０４に供給させることができる電源を介して外科用ロボット４に供給される。配電モジュール８０４は、入力電力を受け取り、外科用ロボット４の他のモジュール、コンポーネント、およびサブシステムに供給される様々な電源電圧を起こすように構成されている。配電モジュール８０４は、例えば、モータ８５０～８５４およびエンドエフェクタカプラ８４４に給電するために、コンピュータ８２２、ディスプレイ８２４、スピーカ８２６、ドライバ８４２などの他の構成要素に提供され得、またカメラコンバータ８３４および外科用ロボット４用の他のコンポーネントに供給され得る、様々な電圧供給を、コネクタパネル８０８に、もたらすように構成され得る。配電モジュール８０４はまた、配電モジュール８０４が入力電力から電力を受け取らない場合、一時的な電力源としての役割を果たすバッテリ８０６に接続され得る。他の場合には、配電モジュール８０４は、バッテリ８０６を充電するのに役立つ場合がある。

コネクタパネル８０８は、異なるデバイスおよびコンポーネントを外科用ロボット４および／または関連付けられたコンポーネントおよびモジュールに接続するのに役立つことができる。コネクタパネル８０８は、様々な構成要素からのラインまたは接続を受け取る１つ以上のポートを含み得る。例えば、コネクタパネル８０８は、外科用ロボット４を他の機器に接地させることができる接地端子ポート、フットペダル８８０を接続するポート、位置センサ８３２、カメラコンバータ８３４、およびＤＲＡ追跡カメラ８７０を含み得る追跡サブシステム８３０に接続するポートを備え得る。コネクタパネル８０８は、コンピュータ８２２などの他の構成要素へのＵＳＢ通信、イーサネット通信、ＨＤＭＩ通信を可能にする他のポートも含み得る。いくつかの実施形態によれば、コネクタパネル８０８は、１つ以上のＸＲヘッドセット９２０を追跡サブシステム８３０および／またはコンピュータサブシステム８２０に動作可能に接続するための有線および／または無線インターフェイスを含むことができる。

制御パネル８１６は、外科用ロボット４の動作を制御し、および／または術者が観察するための外科用ロボット４からの情報を提供する、様々なボタンまたは表示器を設けることができる。例えば、制御パネル８１６は、外科用ロボット４の電源をオンオフするボタン、垂直柱１６を上げ下げするボタン、キャスタ１２に係合して外科用ロボット４が物理的に動かないようにするように設計され得る安定化装置８５５～８５８を上げ下げするボタンを含み得る。他のボタンは、すべてのモータ電源を取り外し、機械式ブレーキを掛けて、すべての動きが起こらないようにし得る、緊急時に、外科用ロボット４を止めることができる。制御パネル８１６はまた、配線電力表示器またはバッテリ８０６の充電状態などの特定のシステムの状況を術者に通知する表示器を有することができる。いくつかの実施形態によれば、１つ以上のＸＲヘッドセット９２０は、例えばコネクタパネル８０８を介して通信して、外科用ロボット４の動作を制御し、および／またはＸＲヘッドセット９２０を装着している人による観察のために外科用ロボット４によって生成された情報を受信および表示することができる。

コンピュータサブシステム８２０のコンピュータ８２２は、外科用ロボット４の割り当てられた機能を動作させるためのオペレーティングシステムおよびソフトウェアを含む。コンピュータ８２２は、術者に情報を表示するために、他のコンポーネント（例えば、追跡サブシステム８３０、プラットフォームサブシステム８０２、および／またはモーション制御サブシステム８４０）からの情報を受信し、処理することができる。また、コンピュータサブシステム８２０は、スピーカ８２６を通して術者に出力を提供することができる。スピーカは、外科用ロボットの一部、ＸＲヘッドセット９２０の一部、または外科用システム２の別の構成要素内であり得る。ディスプレイ８２４は、図１および図２に示されるディスプレイ３４に対応することができる。

追跡サブシステム８３０は、位置センサ８３２、およびカメラコンバータ８３４を含むことができる。追跡サブシステム８３０は、図３のカメラ追跡システムコンポーネント６に対応し得る。ＤＲＡ追跡カメラ８７０は、ＤＲＡ５２のポーズを判定するように、位置センサ８３２とともに働く。この追跡は、ＬＥＤまたは反射マーカなどのＤＲＡ５２の能動的または受動的な要素の場所をそれぞれ追跡する赤外線または可視光の技術の使用を含む、本開示に矛盾しない様式で、行うことができる。

追跡サブシステム８３０およびコンピュータサブシステム８２０の機能的動作は、図３Ａおよび図３Ｂのカメラ追跡システムコンポーネント６’によって運搬できるコンピュータプラットフォーム９１０に含めることができる。追跡サブシステム８３０は、追跡対象のＤＲＡのポーズ、例えば場所および角度の向きを判定するように構成され得る。コンピュータプラットフォーム９１０は、判定されたポーズを使用して、予定の外科的処置中に位置決め・位置合わせされた患者の画像および／または追跡対象の解剖学的構造に対して追跡対象の器具のそれらの動きを誘導する、ナビゲーション情報を使用者に提供するように構成されている、ナビゲーションコントローラも含み得る。コンピュータプラットフォーム９１０は、図３Ｂおよび図３Ｃのディスプレイ上に、かつ／または１つ以上のＸＲヘッドセット９２０に情報を表示することができる。コンピュータプラットフォーム９１０は、外科用ロボットとともに使用される場合、コンピュータサブシステム８２０および図８の他のサブシステムと通信して、エンドエフェクタ２６の移動を制御するように構成させることができる。例えば、以下に説明するように、コンピュータプラットフォーム９１０は、１つ以上の追跡されるＤＲＡの判定されたポーズに基づいて制御される、表示されるサイズ、形状、色、および／またはポーズである、患者の解剖学的構造、外科用器具、使用者の手などのグラフィック表現を生成することができ、表示されるそのグラフィック表現を動的に修正して、判定されたポーズの経時的な変化を追跡することができる。

モーション制御サブシステム８４０は、垂直柱１６、上部アーム１８、下部アーム２０を物理的に移動させるか、またはエンドエフェクタカプラ２２を回転させるように構成させることができる。物理的な移動は、１つ以上のモータ８５０～８５４の使用を通して行われ得る。例えば、モータ８５０は、垂直柱１６を垂直に上げるまたは下げるように構成され得る。モータ８５１は、図２に示されるように、垂直柱１６との係合箇所の周りに、上部アーム１８を横方向に動かすように構成され得る。モータ８５２は、図２に示されるように、上部アーム１８との係合箇所の周りに下部アーム２０を横方向に動かすように構成され得る。モータ８５３および８５４は、三次元軸の周りに沿った並進の動きおよび回転をもたらすように、エンドエフェクタカプラ２２を動かすように構成され得る。図９に示されるコンピュータプラットフォーム９１０は、エンドエフェクタカプラ２２の移動を誘導するコントローラ８４６に制御入力を提供して、接続された受動的なエンドエフェクタを、計画された外科的処置中に手術される解剖学的構造に対して、計画されたポーズ（すなわち、定義された３Ｄ直交基準軸に対する場所および角度の向き）で位置決めすることができる。モーション制御サブシステム８４０は、統合された位置センサ（例えば、エンコーダ）を使用して、エンドエフェクタカプラ２２および／またはエンドエフェクタ２６の位置を測定するように構成させることができる。

図９は、本開示のいくつかの実施形態にかかる、カメラ追跡システムコンポーネント６（図３Ａ）または６’（図３Ｂ、図３Ｃ）、および／または外科用ロボット４に動作可能に接続できるコンピュータプラットフォーム９１０に接続された撮像デバイス（例えば、Ｃアーム１０４、Ｏアーム１０６など）を含む外科用システムのコンポーネントのブロック図を示している。これに代えて、コンピュータプラットフォーム９１０によって実行されるものとして本明細書に開示される少なくともいくつかの動作は、追加的または代替的に、外科用システムのコンポーネントによって実行させることができる。

図９を参照すると、コンピュータプラットフォーム９１０は、ディスプレイ９１２、少なくとも１つのプロセッサ回路９１４（簡潔にするためにプロセッサとも呼ばれる）、コンピュータ可読プログラムコード９１８を内包する少なくとも１つのメモリ回路９１６（簡潔にするためにメモリとも呼ばれる）、および少なくとも１つのネットワークインターフェイス９０２（簡潔にするためにネットワークインターフェイスとも呼ばれる）を含む。ディスプレイ９１２は、本開示のいくつかの実施形態による、ＸＲヘッドセット９２０の一部であり得る。ネットワークインターフェイス９０２は、図１０のＣアーム撮像デバイス１０４、図１１のＯアーム撮像デバイス１０６、別の医療撮像デバイス、患者の医療画像を内包する画像データベース９５０、外科用ロボット４のコンポーネント、および／または他の電子機器に接続するように構成させることができる。

外科用ロボット４とともに使用される場合、ディスプレイ９１２は、図２のディスプレイ３４、および／または図８のタブレット８９０、および／または外科用ロボット４に動作可能に接続されたＸＲヘッドセット９２０に対応することができ、ネットワークインターフェイス９０２は、図８のプラットフォームネットワークインターフェイス８１２に対応することができ、プロセッサ９１４は、図８のコンピュータ８２２に対応することができる。ＸＲヘッドセット９２０のネットワークインターフェイス９０２は、有線ネットワーク、例えば、シンワイヤイーサネットを介して、および／または１つ以上の無線通信プロトコル、例えば、ＷＬＡＮ、３ＧＰＰ ４Ｇおよび／または５Ｇ（新無線）セルラー通信規格などにしたがって、無線ＲＦ送受信リンクを介して、通信するように構成させることができる。

プロセッサ９１４は、汎用および／または専用プロセッサ、例えば、マイクロプロセッサおよび／またはデジタル信号プロセッサなどの１つ以上のデータ処理回路を含むことができる。プロセッサ９１４は、メモリ９１６内のコンピュータ可読プログラムコード９１８を実行して、外科手術計画、ナビゲート下での外科手術、および／またはロボット外科手術のために実行されるものとして本明細書に記載される動作の一部またはすべてを含むことができる動作を実行するように構成されている。

コンピュータプラットフォーム９１０は、外科手術用の計画の機能性を提供するように構成することができる。プロセッサ９１４は、撮像デバイス１０４および１０６のうちの一方から、かつ／またはネットワークインターフェイス９０２を通して画像データベース９５０から受信した解剖学的構造、例えば椎骨の画像を、ディスプレイデバイス９１２に、かつ／またはＸＲヘッドセット９２０に、表示するように働くことができる。プロセッサ９１４は、例えば、術者が接触して予定の処置のためのディスプレイ９１２の場所を選択することによって、またはマウスベースのカーソルを使用して予定の処置ための場所を定義することによって、１つ以上の画像に示される解剖学的構造が、外科的処置、例えばねじの配置を経るべき場所に関する術者の定義を受信する。画像がＸＲヘッドセット９２０に表示される場合、ＸＲヘッドセットは、着用者によって形成されたジェスチャベースのコマンドで感知するように、および／または着用者によって発せられたボイスベースのコマンドを感知するように構成させることができ、これを使用してメニュー項目間の選択を制御し、および／または以下にさらに詳述するように、ＸＲヘッドセット９２０に対象がどのように表示されるかを制御することができる。

コンピュータプラットフォーム９１０は、股関節の中心、角度の中心、自然に備わっている目印（例えば、ｔｒａｎｓｅｐｉｃｏｎｄｙｌａｒ ｌｉｎｅ、Ｗｈｉｔｅｓｉｄｅｓ ｌｉｎｅ、後顆線など）などを決定する様々な角度の測定のような、膝の外科手術に特に有用であり得る解剖学的測定を可能にするように構成させることができる。いくつかの測定を自動とすることができる一方で、いくつかの他の測定は、人間の入力または支援を伴うことができる。コンピュータプラットフォーム９１０は、術者が、サイズおよび整列の選択を含む、患者のための正しいインプラントの選択を入力することを可能にするように構成させることができる。コンピュータプラットフォーム９１０は、ＣＴ画像または他の医療画像に対して自動または半自動（人間の入力を伴う）のセグメント化（画像処理）を行うように構成され得る。患者の外科用計画は、外科用ロボット４による検索のために、データベース９５０に対応することができるクラウドベースのサーバに記憶させることができる。

例えば、整形外科手術の間に、外科医は、コンピュータ画面（例えば、タッチスクリーン）または例えばＸＲヘッドセット９２０を介したエクステンデットリアリティ（ＸＲ）インタラクション（例えば、手のジェスチャベースのコマンドおよび／またはボイスベースのコマンド）を使用して、どの切断をするか（例えば、後部大腿骨、近位脛骨など）を選択することができる。コンピュータプラットフォーム９１０は、外科的処置を実行するために外科医に視覚的ガイダンスを提供するナビゲーション情報を生成することができる。外科用ロボット４とともに使用される場合、コンピュータプラットフォーム９１０は、外科用ロボット４がエンドエフェクタ２６を目標のポーズに自動的に移動させて、外科用器具が目標の場所に整列されて解剖学的構造に対する外科的処置を実行し得るようにするガイダンスを提示することができる。

いくつかの実施形態では、外科用システム９００は、２つのＤＲＡを使用して、患者の脛骨に接続されたもの、および患者の大腿骨に接続されたものなど、患者の解剖学的構造の位置を追跡することができる。システム９００は、位置合わせおよび確認のための標準のナビゲート器具（例えば、脊椎外科手術のためにＧｌｏｂｕｓ ＥｘｃｅｌｓｉｕｓＧＰＳシステムで使用されるものと同様のポインタ）を使用することができる。

ナビゲート下での外科用で特に難しい作業は、３Ｄの解剖学的構造の２Ｄの表現であるコンピュータ画面上で、外科医が作業を実行するのに苦労する脊椎、膝、および他の解剖学的構造におけるインプラントの位置を、いかに計画するかである。システム９００は、ＸＲヘッドセット９２０を使用して、解剖学的構造およびインプラントデバイス候補のコンピュータで生成された三次元（３Ｄ）の表現を表示することによって、この問題に対処することが可能である。コンピュータで生成された表現は、コンピュータプラットフォーム９１０のガイダンスの下で、表示画面上で互いに対してスケーリングおよびポーズ決めされ、ＸＲヘッドセット９２０を介して視認される間、外科医によって操作させることができる。外科医は、例えば、ＸＲヘッドセット９２０によって感知されるハンドジェスチャベースのコマンドおよび／またはボイスベースのコマンドを使用して、解剖学的構造、インプラント、外科用器具などの、表示された、コンピュータで生成された表現を、操作することができる。

例えば、外科医は、仮想インプラント上の表示された仮想ハンドルを視認することができ、仮想ハンドルを操作して（例えば、つかんで移動させて）、仮想インプラントを所望のポーズに移動させ、解剖学的構造のグラフィック表現に対する計画されたインプラントの配置を調整することができる。その後、外科手術の間に、コンピュータプラットフォーム９１０は、外科医が、インプラントを挿入するための外科手術計画に、より正確にしたがい、かつ／または解剖学的構造に対して別の外科的処置を行えるよう促進するナビゲーション情報を、ＸＲヘッドセット９２０を通して表示することができる。外科的処置が骨の除去を伴う場合、骨の除去の進行、例えば切込みの深さが、ＸＲヘッドセット９２０を介してリアルタイムで表示され得る。ＸＲヘッドセット９２０を介して表示させることができる他の特徴として、関節運動の範囲に沿った間隙または靭帯のバランス、関節運動の範囲に沿ったインプラントの線状の接触、色または他のグラフィックレンダリングによる靭帯の緊張および／または弛緩などを挙げることができるが、これらに限定されるものではない。

いくつかの実施形態では、コンピュータプラットフォーム９１０は、標準の外科用器具および／またはインプラント、例えば、後方安定化インプラントおよび十字型保持インプラント、セメント固定およびセメントレスインプラント、例えば膝関節全置換もしくは部分置換術、および／または股関節置換術、および／または外傷に関連した外科手術のために、改定されたシステムを使用することを計画するのを可能にし得る。

自動撮像システムをコンピュータプラットフォーム９１０と連携して使用して、解剖学的構造の術前、術中、術後、および／またはリアルタイムの画像データを取得することができる。例示的な自動撮像システムが、図１０および図１１に例示されている。いくつかの実施形態では、自動撮像システムは、Ｃアーム１０４（図１０）撮像デバイスまたはＯアーム（登録商標）１０６（図１１）である。（Ｏアーム（登録商標）は、米国コロラド州ルイスビルに事業所を置くＭｅｄｔｒｏｎｉｃ Ｎａｖｉｇａｔｉｏｎ，Ｉｎｃ．が著作権を所有している）。Ｘ線システムで必要とされることがある、患者の手による頻繁な再度の位置決めを必要とすることなく、いくつかの異なる位置から患者のＸ線を撮像することが望ましい場合がある。Ｃアーム１０４Ｘ線診断機器は、頻繁な手作業による再度の位置決めの問題を解決することができ、外科的および他の介入処置の医療分野でよく知られている可能性がある。図１０に示されるように、Ｃアームは、「Ｃ」という形状の対向する遠位端１１２で終端する細長いＣ形状の部材を含む。Ｃ形状の部材は、Ｘ線源１１４および画像受信器１１６に取り付けられている。アームのＣアーム１０４内にある空間は、Ｘ線支持構造体からの干渉が実質的にない状態で医師が患者に従事する余地を設ける。

Ｃアームは、２つの自由度における（すなわち、球面運動における２つの直交軸を中心とする）アームの回転の動きを可能にするように装着されている。Ｃアームは、Ｘ線支持構造体にスライド可能に据え付けられ、これにより、Ｃアームの曲率中心を中心とした周回回転運動が可能になり、Ｘ線源１１４および画像受信器１１６を、垂直方向にかつ／または水平方向に選択的に向けるのを可能にすることができる。Ｃアームはまた、横方向（すなわち、患者の幅および長さの両方に対するＸ線源１１４および画像受信器１１６の選択的に調節可能な位置付けを可能にする、周回方向に対して直角の方向）に回転可能であり得る。Ｃアームの装置の球面回転の態様により、医師は、撮像されている特定の解剖学的状況に関して決定された、最適な角度で、患者のＸ線を撮像することができる。

図１１に示されているＯアーム（登録商標）１０６は、例示されていない画像取り込み部分を取り囲むことができるガントリハウジング１２４を含む。画像取り込み部分は、Ｘ線源および／またはＸ線放出部分と、Ｘ線受光および／または画像受信部分とを含み、これらは、互いに約１８０度離れて配設され、画像取り込み部分の軌道に対してロータ（図示せず）上に据え付けられ得る。画像取り込み部分は、画像取得中に３６０度回転するように動作可能であり得る。画像取り込み部分は、中心点および／または軸を中心として回転することができ、患者の画像データが複数の方向から、または複数の平面で取得されることを可能にする。

ガントリハウジング１２４を備えたＯアーム（登録商標）１０６は、撮像される対象の周りに位置決めするための中央開口部と、ガントリハウジング１２４の内部で回転可能な放射線源とを有し、放射線源は、複数の異なる投影角度から放射線を投影するように適合させることができる。検出器システムは、投射角ごとに放射線を検出して、対象の画像を、複数の投射平面から、擬似同時的に取得するように適合されている。ガントリは、カンチレバー様式で、車輪を備えた車輪付き移動式カートなどの支持構造Ｏアーム（登録商標）支持構造体に取り付けられ得る。位置付けユニットは、好ましくはコンピュータ化されたモーション制御システムの制御下で、ガントリを予定の位置および向きに並進させかつ／または傾斜させる。ガントリは、ガントリ上で互いに対向して配設された供給源と検出器とを含み得る。供給源および検出器は、供給源および検出器を互いに協調する状態で、ガントリの内部を中心として回転させることができるモータ付きロータに、固定され得る。供給源は、ガントリの内側に位置する目標対象の多平面撮像のために、部分的および／または完全な３６０度の回転にわたって、複数の位置および向きでパルス化され得る。ガントリは、ロータが回転するにしたがってロータを誘導するためのレールおよび軸受けシステムをさらに備え得、このシステムは、供給源および検出器を担持することができる。Ｏアーム（登録商標）１０６およびＣアーム１０４の双方および／またはいずれかを自動撮像システムとして使用して、患者をスキャンし、情報を外科用システム２に送ることができる。

撮像システムによって取り込まれた画像は、ＸＲヘッドセット９２０および／またはコンピュータプラットフォーム９１０の別のディスプレイデバイス、外科用ロボット４、および／または外科用システム９００の別のコンポーネントに表示させることができる。ＸＲヘッドセット９２０は、例えばコンピュータプラットフォーム９１０を介して、撮像デバイス１０４および／または１０６のうちの１つ以上に、かつ／または画像データベース９５０に接続されて、それらからの画像を表示し得る。使用者は、ＸＲヘッドセット９２０を介して制御入力、例えば、ジェスチャおよび／またはボイスベースのコマンドを与えて、撮像デバイス１０４および／または１０６および／または画像データベース９５０のうちの１つ以上の動作を制御することができる。

図１２は、図１３に示されるＸＲヘッドセット９２０に対応し、かつ本開示のいくつかの実施形態にしたがって動作することができるＸＲヘッドセット１２００および１２１０（ヘッドマウントディスプレイＨＭＤ１およびＨＭＤ２）の対を含む外科用システムの構成要素のブロック図を示している。

図１２の例示的なシナリオを参照すると、助手６１２および外科医６１０は、双方とも、それぞれＸＲヘッドセット１２１０および１２１０を着用している。助手６１２がＸＲヘッドセット１２１０を装着することは任意である。ＸＲヘッドセット１２００および１２１０は、以下でさらに説明するように、装着者が外科的処置に関係する情報を見て、それと相互作用することができる、双方向の環境をもたらすように構成されている。この双方向ＸＲベースの環境は、技術従事者６１４が手術室にいる必要性をなくすことができ、図６に示されるディスプレイ３４の使用の必要性をなくすことができる。各ＸＲヘッドセット１２００および１２１０は、器具、解剖学的構造、エンドエフェクタ２６、および／または他の機器に取り付けられたＤＲＡまたは他の参照アレイの追加の追跡源を設けるように構成された１つ以上のカメラを含むことができる。図１２の例では、ＸＲヘッドセット１２００は、ＤＲＡおよび他の対象を追跡するための視野（ＦＯＶ）１２０２を有し、ＸＲヘッドセット１２１０は、ＤＲＡおよび他の対象を追跡するためのＦＯＶ１２０２と部分的に重なるＦＯＶ１２１２を有し、追跡カメラ４６は、ＤＲＡおよび他の対象を追跡するために、ＦＯＶ１２０２および１２１２と部分的に重複する別のＦＯＶ６００を有する。

１つ以上のカメラが、追跡される対象、例えば外科用器具に取り付けられたＤＲＡを視認するのを妨げられているが、ＤＲＡが１つ以上の他のカメラを視野に入れている場合、追跡サブシステム８３０および／またはナビゲーションコントローラ８２８は、ナビゲーションを喪失せずにシームレスに対象を追跡し続けることができる。加えて、１つのカメラの観点からＤＲＡの部分的なオクルージョンがあるが、ＤＲＡ全体が複数のカメラ供給源を介して視認可能である場合、カメラの追跡入力を統合して、ＤＲＡのナビゲーションを続けることができる。ＸＲヘッドセットおよび／または追跡カメラ４６のうちの１つは、ＸＲヘッドセットの別の１つでＤＲＡを表示および追跡して、コンピュータプラットフォーム９１０（図９および図１４）、追跡サブシステム８３０、および／または別のコンピューティングコンポーネントを有効にし、１つ以上の定義された座標系、例えば、ＸＲヘッドセット１２００／１２１０、追跡カメラ４６、および／または患者、テーブル、および／または部屋に対して定義された別の座標系に対するＤＲＡのポーズを判定することができる。

ＸＲヘッドセット１２００および１２１０は、神経モニタリング、顕微鏡、ビデオカメラ、および麻酔システムを含むがこれらに限定されない手術室内の様々な機器から受信されたビデオ、写真、および／または他の情報を表示するように、および／またはこれらの機器を制御するコマンドを与えるように動作可能に接続させることができる。様々な機器からのデータは、例えば、患者のバイタルサインまたは顕微鏡フィードの表示など、ヘッドセット内で処理および表示させることができる。

例示的なＸＲヘッドセットコンポーネントと、ナビゲートされた外科用、外科用ロボット、およびその他の機器への統合
図１３は、本開示のいくつかの実施形態にしたがって構成されているＸＲヘッドセット９２０を示す。ＸＲヘッドセットは、ＸＲヘッドセットを装着者の頭に固定するように構成されたヘッドバンド１３０６、ヘッドバンド１３０６によって支持された電子部品筐体１３０４、および電子部品筐体１３０４から横方向にわたって下向きに延在する表示画面１３０２を含む。表示画面１３０２は、シースルーのＬＣＤディスプレイデバイスか、またはディスプレイデバイスによって装着者の目に向けて投射された画像を反射する半反射レンズであり得る。ヘッドセットの片側または両側に配置された既知の間隔を空けて、例えばドットなどのＤＲＡ基準のセットがペイントされるかまたは取り付けられる。ヘッドセットのＤＲＡは、補助的な追跡バーの追跡カメラがヘッドセット９２０のポーズを追跡することを可能にし、および／または別のＸＲヘッドセットがヘッドセット９２０のポーズを追跡することを可能にする。

表示画面１３０２は、ディスプレイデバイスのディスプレイパネルから使用者の眼に向けて光を反射する、コンバイナとも呼ばれるシースルーの表示画面として動作する。ディスプレイパネルは、電子部品筐体と使用者の頭との間に位置し得、使用者の眼に向ける反射のために、表示画面１３０２に向けて仮想コンテンツを投射するように角度付けされ得る。表示画面１３０２が、半透明かつ半反射であることにより、使用者は、実世界の場面の使用者のビューに重ね合わされた反射仮想コンテンツを見ることができる。表示画面１３０２は、下部横方向帯域よりも高い不透明度を有する図示の上部横方向帯域など、様々な不透明度の領域を有し得る。表示画面１３０２の不透明度は、実世界の場面からの光がどれくらい使用者の眼を透過するかを調節するように、電子的に制御され得る。表示画面１３０２の高不透明度の構成は、実世界の場面の薄暗いビューに重ねられた高コントラストの仮想画像をもたらす。表示画面１３０２の低不透明度の構成は、実世界の場面のより鮮明なビューに重ねられたよりぼんやりとした仮想画像をもたらし得る。不透明度は、表示画面１３０２の表面に不透明な材料を適用することによって制御することができる。

いくつかの実施形態によれば、外科用システムは、ＸＲヘッドセット９２０およびＸＲヘッドセットコントローラ、例えば、図１４のコントローラ１４３０または図３４のコントローラ３４１０を含む。ＸＲヘッドセット９２０は、外科的処置の間に使用者が着用するように構成されており、ＸＲ画像を表示するように、かつ実世界の場面の少なくとも一部分が、使用者による視認のために通過できるように構成されたシースルーの表示画面１３０２を有する。ＸＲヘッドセット９２０は、使用者がシースルーの表示画面１３０２を見るときに、使用者の眼のうちの少なくとも１つと実世界の場面との間に位置付けられた不透明フィルタも含む。不透明フィルタは、実世界の場面からの光に対する不透明性を与えるように構成されている。ＸＲヘッドセットコントローラは、ナビゲーションコントローラ、例えば、図１４のコントローラ８２８Ａ、８２８Ｂ、および／または８２８Ｃと通信して、解剖学的構造に対する外科的処置中に使用者にガイダンスを提示するナビゲーションコントローラからナビゲーション情報を受信するように構成されており、シースルーの表示画面１３０２に表示するためのナビゲーション情報に基づいてＸＲ画像を生成するようにさらに構成されている。

表示画面１３０２の不透明度は、表示画面１３０２の上部から下向きの距離でより連続的に変化する不透明性を有するグラジエントとして構成させることができる。グラジエントの最も暗い点は、表示画面１３０２の上部に位置付けることができ、不透明な所が透明になるかまたはなくなるまで、表示画面１３０２でさらに沿って徐々に不透明性が低くなる。さらなる例示的な実施形態では、グラジエントは、表示画面１３０２のほぼ眼の中央のレベルで、約９０％の不透明度から完全な透明に変化し得る。ヘッドセットが正しく較正され、位置付けられている場合、眼の中央のレベルは、使用者が真っ直ぐ外を見る場合の点に対応し、グラジエントの端は、目の「水平」線に位置し得る。グラジエントの暗い部分は、仮想コンテンツの鮮明でクリアなビジュアルを可能にし、頭上の邪魔な輝度の手術室のライトを遮断するのに役立つ。

このように不透明フィルタを使用することにより、ＸＲヘッドセット９２０は、表示画面１３０２の上部に沿って実世界の場面からの光を実質的または完全に遮断することによって、仮想現実（ＶＲ）の能力を与え、かつ表示画面１３０２の中央または下部に沿ってＡＲ能力を与えることが可能になる。これにより、使用者は、必要に応じてＡＲを半透明にできるようになり、処置の最中において患者のクリアな光学系の解剖学的構造が可能になる。表示画面１３０２を、より一定の不透明性バンドに代えてグラジエントとして構成することにより、着用者は、実世界の場面の輝度と、上向きのビューと下向きのビューとの間のより急速なシフト中などに、別様であれば眼を緊張させ得る被写界深度の急峻な変化を経験することなく、よりＶＲタイプのビューからよりＡＲタイプのビューへとより自然な移行を経ることができるようになる。

ディスプレイパネルおよび表示画面１３０２は、広視野のシースルーＸＲディスプレイシステムを提供するように構成させることができる。例示的な一構成では、それらは、使用者が仮想コンテンツを視認するための５５°の垂直範囲の８０°の対角視野（ＦＯＶ）をもたらす。他の対角ＦＯＶ角度および垂直カバレッジ角度は、異なるサイズのディスプレイパネル、異なる曲率のレンズ、および／またはディスプレイパネルと湾曲する表示画面１３０２との間の異なる距離および角度の向きを介して設けることができる。

図１４は、コンピュータプラットフォーム９１０に、Ｃアーム撮像デバイス１０４、Ｏアーム撮像デバイス１０６などの撮像デバイスのうちの１つ以上および／または画像データベース９５０に、および／または本開示の様々な実施形態にかかる外科用ロボット８００に動作可能に接続させることができるＸＲヘッドセット９２０の電気的コンポーネントを例示している。

ＸＲヘッドセット９２０は、ナビゲート下での外科的処置を実行するための改善されたヒューマンインターフェイスを提供する。ＸＲヘッドセット９２０は、例えば、コンピュータプラットフォーム９１０を介して、ハンドジェスチャベースのコマンドおよび／または音声ベースのコマンドの識別、ディスプレイデバイス１４５０のＸＲグラフィカル対象のうちのいずれか１つ以上を含むが、これらに限定されるわけではない、機能性をもたらすように構成され得る。ディスプレイデバイス１４５０は、表示されたＸＲグラフィカル対象を表示画面１３０２に投影するビデオプロジェクタ、フラットパネルディスプレイなどとすることができる。使用者は、ＸＲグラフィカル対象を、表示画面１３０２（図１３）を介して見られる特定の実世界の対象に固定されたオーバーレイとして見ることができる。ＸＲヘッドセット９２０は、追加的または代替的に、１つ以上のＸＲヘッドセット９２０に取り付けられたカメラおよび他のカメラからのビデオフィードを、表示画面１４５０に表示するように構成させることができる。

ＸＲヘッドセット９２０の電気的コンポーネントは、複数のカメラ１４４０、マイクロフォン１４４２、ジェスチャセンサ１４４４、ポーズセンサ（例えば、慣性測定ユニット（ＩＭＵ））１４４６、ディスプレイデバイス１４５０を含むディスプレイモジュール１４４８、および無線／有線通信インターフェイス１４５２を含むことができる。以下に説明するように、ＸＲヘッドセットのカメラ１４４０は、可視光取り込みカメラ、近赤外線取り込みカメラ、または双方の組み合わせとすることができる。

カメラ１４４０は、カメラ１４４０の視野内部で実行される使用者の手のジェスチャの識別のために取り込むことによって、ジェスチャセンサ１４４４として動作するように構成させることができる。これに代えて、ジェスチャセンサ１４４４は、近接センサ、および／またはジェスチャセンサ１４４４に近接して実行される手のジェスチャを感知し、および／または物理的接触、例えばセンサまたは筐体１３０４をタッピングすることを感知するタッチセンサとすることができる。ポーズセンサ１４４６、例えばＩＭＵは、１つ以上の定義された座標軸に沿ったＸＲヘッドセット９２０の回転および／または加速度を感知することができる多軸加速度計、傾斜センサ、および／または別のセンサを含むことができる。これらの電気的コンポーネントのいくつかまたはすべては、コンポーネント筐体１３０４に内包させることができるか、または腰もしくは肩などの他の箇所で着用されるように構成された別の筐体に内包させることができる。

上で説明したように、外科用システム２は、カメラ追跡システムコンポーネント６／６’と、コンピュータプラットフォーム９１０の一部とすることができる追跡サブシステム８３０とを含む。外科用システムは、撮像デバイス（例えば、Ｃアーム１０４、Ｏアーム１０６、および／または画像データベース９５０）、および／または外科用ロボット４を含むことができる。追跡サブシステム８３０は、解剖学的構造、エンドエフェクタ、外科用器具などに取り付けられたＤＲＡのポーズを判定するように構成される。ナビゲーションコントローラ８２８は、例えば、解剖学的構造上で外科用器具を使用して、また追跡サブシステム８３０によって判定された解剖学的構造のポーズに基づいて、外科的処置がどこで実行されるかを定義する、図９のコンピュータプラットフォーム９１０によって実行される外科的計画機能からの外科手術計画に基づいて、解剖学的構造に対する外科用器具の目標のポーズを判定するように構成される。ナビゲーションコントローラ８２８は、さらに、外科用器具の目標のポーズ、解剖学的構造のポーズ、および外科用器具および／またはエンドエフェクタのポーズに基づいて操舵情報を生成するように構成させることができ、この場合、操舵情報は、外科手術計画を実行するために外科用器具および／または外科用ロボットのエンドエフェクタを移動させるべきである場合を示す。

ＸＲヘッドセット９２０の電気的コンポーネントは、有線／無線インターフェイス１４５２を介してコンピュータプラットフォーム９１０の電気的コンポーネントに動作可能に接続させることができる。ＸＲヘッドセット９２０の電気的コンポーネントは、例えば、様々な撮像デバイス、例えば、Ｃアーム撮像デバイス１０４、Ｉ／Ｏアーム撮像デバイス１０６、画像データベース９５０に、および／または有線／無線インターフェイス１４５２を介して他の医療機器に対して、コンピュータプラットフォーム９１０を介して動作可能に接続させることができるか、または直接接続させることができる。

外科用システム２は、さらに、ＸＲヘッドセット９２０、コンピュータプラットフォーム９１０、および／または有線ケーブルおよび／または無線通信リンクで接続された別のシステムコンポーネントに常在することができる少なくとも１つのＸＲヘッドセットコントローラ１４３０（簡潔にするために「ＸＲヘッドセットコントローラ」とも呼ばれる）を含む。様々な機能性は、ＸＲヘッドセットコントローラ１４３０によって実行されるソフトウェアによって与えられている。ＸＲヘッドセットコントローラ１４３０は、解剖学的構造に対する外科的処置中に使用者にガイダンスを提示するナビゲーションコントローラ８２８からナビゲーション情報を受信するように構成されており、シースルーの表示画面１３０２での投影のためのディスプレイデバイス１４５０での表示のために、ナビゲーション情報に基づいてＸＲ画像を生成するように構成されている。

表示画面（「シースルーの表示画面」とも呼ばれる）１３０２に対するディスプレイデバイス１４５０の構成は、ＸＲヘッドセット９２０を装着している使用者が、実世界にあるように見えるＸＲ画像を、表示画面１３０２を介して見るようにＸＲ画像を表示するように構成されている。表示画面１３０２は、使用者の眼の前のヘッドバンド１３０６によって位置決めさせることができる。

ＸＲヘッドセットコントローラ１４３０は、表示画面１３０２を視認する間、使用者の頭または使用者の体の他の箇所に着用されるように構成されたハウジング内にあることができるか、または表示画面１３０２に通信可能に接続されている間に、表示画面１３０２を視認している使用者から遠隔に位置することができる。ＸＲヘッドセットコントローラ１４３０は、カメラ１４４０、マイクロフォン１４２、および／またはポーズセンサ１４４６からの信号伝達を動作可能に処理するように構成させることができ、表示画面１３０２で視認する使用者のためにディスプレイデバイス１４５０にＸＲ画像を表示するように接続されている。したがって、ＸＲヘッドセット９２０内の回路ブロックとして例示されるＸＲヘッドセットコントローラ１４３０は、ＸＲヘッドセット９２０の他の例示されるコンポーネントに動作可能に接続されているが、必ずしも共通のハウジング（例えば、図１３の電子部品筐体１３０４）内に存在しないか、または使用者によって運搬可能ではないことを理解されたい。例えば、ＸＲヘッドセットコントローラ１４３０は、ひいては図３Ｂおよび図３Ｃに示されるコンピュータ追跡システムコンポーネント６’のハウジング内に存在することができるコンピュータプラットフォーム９１０の内部に存在することができる。

ＸＲヘッドセットを介した使用者のビューの例
ＸＲヘッドセットの動作は、２Ｄ画像および３Ｄモデルの両方を表示画面１３０２に表示することができる。２Ｄ画像が、表示画面１３０２のより不透明な帯域（上部帯域）に表示され得るのが好ましく、３Ｄモデルが、環境領域として別に知られている、表示画面１３０２のより透明な帯域（下部帯域）に表示され得るのが、より好ましい。表示画面１３０２が終わる下部帯域の下方で、装着者は、手術室の遮るもののないビューを得る。ＸＲコンテンツが表示画面１３０２に表示される場所が、流動的である可能性があることに留意されたい。コンテンツに対するヘッドセットの位置によっては、３Ｄコンテンツが表示される場所が不透明帯域に移動し、２Ｄコンテンツが表示される場所が透明帯域に置かれ、実世界に対して安定することができることがあり得る。さらに、表示画面１３０２全体を電子制御下で暗くして、ヘッドセットを外科手術計画では仮想現実に変換し、または医療処置の最中に完全に透明に変換することができる。上で説明したように、ＸＲヘッドセット９２０および関連付けられた動作は、ナビゲートされる処置をサポートするだけでなく、ロボットにより支援される処置と組み合わせて実行させることができる。

図１６は、本開示のいくつかの実施形態にかかる、医療処置中に外科用器具１６０２を操作している使用者にナビゲーション支援をもたらすためのＸＲヘッドセット９２０の表示画面１３０２を介した例示的な図を示している。図１６を参照すると、外科用器具１６０２に接続された動的参照アレイ１６３０および１６３２がカメラ１４４０（図１５）および／または４６（図６）の視野内部になるように、外科用器具１６０２が追跡される解剖学的構造の近傍に来ると、器具のグラフィック表現１６００は、解剖学的構造のグラフィック表現１６１０に関連して２Ｄおよび／または３Ｄ画像で表示させることができる。使用者は、表示されたグラフィック表現を使用して、器具のグラフィック表現２０００から解剖学的構造のグラフィック表現１６１０を通って延在するものとして例示させることができる外科用器具１６０２の軌跡１６２０を調整することができる。ＸＲヘッドセット９２０は、テキスト情報および他の対象１６４０も表示することができる。表示された表示画面を横切って延びる破線１６５０は、異なる不透明度のレベルの上側および下側帯域との間の例示的な分割を表す。

表示画面１３０２に表示させることができる他のタイプのＸＲ画像（仮想コンテンツ）は、これらに限定されるものではないが、以下のいずれか１つ以上を含むことができる：
Ｉ）患者の解剖学的構造の２Ｄの軸方向、矢状、および／または冠状のビュー、
２）予定の追跡対象ツール対、その時の追跡対象のツールと、外科インプラント場所との重ね合わせ、
３）術前画像のギャラリー、
４）顕微鏡および他の同様のシステム、またはリモートビデオ会議からのビデオフィード、
５）オプションおよびコンフィグレーションの設定およびボタン
６）外科手術計画情報による患者の解剖学的構造体の浮遊３Ｄモデル、
７）浮遊する患者の解剖学的構造に対する外科用器具のリアルタイム追跡、
８）命令およびガイダンスによる患者の解剖学的構造の拡張された重ね合わせ、および
９）外科用機器の拡張されたオーバーレイ。

追跡システムコンポーネント用のカメラの例示的な構成
図１７は、本開示のいくつかの実施形態にしたがって構成された２対のステレオ追跡カメラを有する補助的な追跡バー４６の例示的な構成を示している。補助的な追跡バー４６は、図３Ａ、図３Ｂ、および図３Ｃのカメラ追跡システムコンポーネントの一部である。一実施形態にかかる、ステレオ追跡カメラは、間隔を置いて配置された可視光取り込みカメラのステレオ対と、間隔を空けて配置された近赤外線取り込みカメラの別のステレオ対とを含む。あるいは、可視光取り込みカメラの１つのステレオ対のみ、または近赤外線取り込みカメラの１つのステレオ対のみ、補助的な追跡バー４６において使用させることができる。任意の複数の近赤外線および／または可視光カメラを使用することができる。

ポーズ測定連鎖
上で説明したように、ナビゲートされた外科手術は、例えば、既知の方法で配置されたディスクまたは球などの、間隔を空けた基準を含む取り付けられたＤＲＡのポーズを判定することなどによる、外科用器具のコンピュータビジョン追跡およびポーズ（例えば、６自由度座標系における位置および向き）の判定を含むことができる。コンピュータビジョンは、近赤外線および／または可視光を取り込むように構成された、間隔を空けて配置された追跡カメラ、例えばステレオカメラを使用する。このシナリオでは、（１）精度、（２）堅牢性、および（３）外科的処置間の人間工学という、最適化について共同で競合している３つのパラメータがある。

本開示のいくつかのさらなる態様は、１つ以上のＸＲヘッドセットに取り付けられた追加の追跡カメラを組み込むことによって、上記の３つのパラメータの１つ以上の最適化を改善することができる方法で測定されたポーズを組み合わせる（連鎖する）コンピュータ動作を対象とする。図１７に示されるように、本開示のいくつかの実施形態にしたがって、可視光追跡カメラのステレオ対および近赤外線追跡カメラの別のステレオ対を、カメラ追跡システムコンポーネントの補助的な追跡バーに、取り付けることができる。完全に観察された、または部分的に観察された（例えば、ＤＲＡのすべてよりも少ない基準が、１対のステレオカメラによって見られる場合）ＤＲＡのポーズを分析し、観察されたポーズまたは部分的なポーズを、ナビゲート下での外科手術の間の精度、堅牢性、および／または人間工学を向上させることができる方法で組み合わせる、動作アルゴリズムが開示される。

上で説明したように、ＸＲヘッドセットは、コンピュータで生成されたＸＲ画像によって、実世界の場面を拡張するように構成させることができる。ＸＲヘッドセットは、使用者が組み合わせて視認するために、実世界の場面からの光が通過することを可能にするシースルーの表示画面に、コンピュータで生成されたＸＲ画像を表示することにより、ＸＲ表示環境を実現するように構成させることができる。あるいは、ＸＲヘッドセットは、実世界の場面からの光が、表示されたＸＲ画像の表示経路に沿って使用者により直接視認されるのを防止または実質的に防止することによって、ＶＲ表示環境を実現するように構成させることができる。ＸＲヘッドセットは、ＡＲおよびＶＲ表示環境の双方を提供するように構成させることができる。ある実施形態においては、高不透明度帯域と位置の揃ったＸＲ画像にＶＲ表示環境がもたらされ、低不透明度帯域と位置の揃ったＸＲ画像にＡＲ表示環境がもたらされるように、シースルーの表示画面と実世界の場面との間に配置された実質的に不透明度が異なる横方向帯域によって、ＡＲおよびＶＲ両方の表示環境がもたらされる。別の実施形態では、ＡＲおよびＶＲの表示環境の両方が、使用者が見るＸＲ画像と組み合わせるために実世界の場面からの光がシースルーの表示画面をどのくらい透過するかを可変的に抑制する不透明フィルタのコンピュータ調整式制御によってもたらされている。したがって、ＸＲヘッドセットはまた、ＡＲヘッドセットまたはＶＲヘッドセットと呼ばれることもある。

上でも説明したように、ＸＲヘッドセットは、外科用器具、患者の解剖学的構造、他のＸＲヘッドセット、および／またはロボットエンドエフェクタに接続されたＤＲＡの基準を追跡するように構成された近赤外線追跡カメラおよび／または可視光追跡カメラを含むことができる。ＸＲヘッドセットで近赤外線追跡および／または可視光追跡を使用すると、単一の補助的な追跡バーのカメラが提示することができるものを超える追加の追跡ボリュームカバレッジが提示される。既存の補助的な追跡バーに近赤外線追跡カメラを追加すると、ヘッドセットの位置を可視光よりも堅牢に追跡することができるが、精度は低くなる。可視光追跡座標系および近赤外線追跡座標系を機械的に較正することにより、ステレオマッチングを使用して３ＤのＤＲＡ基準三角測量作業を行うように座標系を十分に位置合わせし、可視光追跡座標系と近赤外線追跡座標系との間のＤＲＡ基準のポーズを、共同で特定することができるようになる。可視光追跡座標系および近赤外線追跡座標系の両方を使用すると、（ａ）座標系を１つ使用すると特定されない器具を特定すること、（ｂ）ポーズ追跡精度の向上、（ｃ）外科用器具、患者の解剖学的構造、および／またはロボットエンドエフェクタの追跡を見失うことなく、より広い範囲の動きを可能にすること、および（ｄ）ナビゲート下の外科用器具と同じ座標系でＸＲヘッドセットを自然に追跡すること、のうちのいずれか１つ以上が可能になり得る。

３Ｄエクステンデットリアリティアプリケーションでの２ＤＤＩＣＯＭ画像の活用
ＣＴスキャンを表示する既存の方法は、主に従来のコンピュータモニターで表示するように設計されている。多くの場合、これらのビューには、（ａ）特定の視点（軸、矢状、冠状など）からのスキャンボリュームのスライス、および（ｂ）ボリューム全体の透視レンダリング（最大強度投影、ＭＩＰ、ビューなど）が含まれる。エクステンデットリアリティ（「ＸＲ」）のアプリケーションでは、これらのプロセスのいずれも、スキャンのステレオ３Ｄビューを提示しない。ＭＩＰビューは依然として平面への投影であるため、このビューをＸＲアプリケーションにドロップしても奥行きは得られない－むしろ、使用者には３Ｄ対象の画像が、仮想モニターに表示されているかのように表示される。

スキャンを使用してメッシュを構築することにより、スキャンの３Ｄ表現を作成できるが、３Ｄメッシュの構築は脊椎の完全な構築ではなく、正しくない場合は外科医を誤解させる可能性がある。さらに、既存のＤＩＣＯＭレンダリングソフトウェアは、通常のモニターで表示可能な２Ｄディスプレイに対応しているため、スキャンからメッシュを生成するプロセスはまだ堅牢ではない。本明細書に記載の様々な実施形態は、既存のスキャンビューのみを使用する没入型ＸＲ体験を提供する。それぞれの眼に個別のＭＩＰビューを使用することにより、スキャンの有益な３Ｄ表現をＸＲアプリケーションで奥行き知覚とともに表示できる。

ＸＲでは、３Ｄ対象は、対象の様々なビューを使用者のそれぞれの眼に示すことによって表示する。いくつかの例では、これは、それぞれの眼をシミュレートする仮想カメラから幾何学的表面メッシュ（例えば、図１８）を表示し、次いでそれらの画像をそれぞれのディスプレイに示すことによって行われる。スキャンされた画像の場合、骨を骨ではない解剖学的構造から完全に分離することは困難であるため、３Ｄメッシュの構築には問題がある。誤分類があると、解剖学的構造を正確に表していない誤ったメッシュが生成される可能性がある。さらに、スキャンで表示される骨でない解剖学的構造は、任意のメッシュ生成アルゴリズムが削除する貴重な情報である。事実上、元の「グラジエント」はすべて失われ、不完全な境界のみが保持される。

図１９に示すように、不正確な可能性のあるメッシュを表示する代わりに、既存のＭＩＰビューを使用してスキャンを３Ｄで表示できる。実際のスキャンを使用することにより、情報が失われることはなく、解剖学的構造の誤分類によってエラーが発生することもない。

ＭＩＰビューは、任意の視点（回転行列で定義）から生成できるため、各々の眼の視点から１つずつ個別のビューを生成することにより、スキャンのステレオビューをＸＲで表示できる。図２０は、スキャンのステレオ対を形成する、眼に固有のビューのモックアップを示している。

その結果、スキャンのステレオ対をＸＲの３Ｄ対象であるかのように観察できる。使用者が頭や眼を動かすと、２つのＭＩＰビューを更新して、元の２Ｄスキャンが世界に固定されたままの単一の３Ｄ対象のように動作するように、新しい位置を考慮することができる。

一連の２Ｄスキャンから３Ｄ表面メッシュを生成すると、必然的に少なくともある程度のエラーが発生するが、生データの３Ｄ視覚化には、いくつかの利点がある。ステレオ拡張および／または仮想現実システムにより、使用者は、例えば、元のスキャンデータを奥行きを伴って見ることができる。

３Ｄ表面メッシュは潜在的に重大なエラーを引き起こすが、他の３Ｄの医療画像処理技術は、優れた信頼性を提供する。例えば、解剖学的目印の位置を３Ｄで非常に正確に特定し、ステレオで明確に表示できる。

３Ｄデスクトップと拡張現実システムはどちらも、オクルージョンをサポートするコンピュータグラフィックスを提示する。オクルージョンとは、１つの対象がそこから出現し、その背後にある対象を「ブロック」する機能を指す。様々な視点で２Ｄの画像スライスから３Ｄを生成する場合、自然なオクルージョンステップは、ネジ、ガイダンス矢印、インプラント、その他のユーザインターフェイス要素などの既存の３Ｄコンテンツでは機能しない。３Ｄ要素は、ＭＩＰコンテンツまたは既存の３Ｄメッシュコンテンツの見かけの深さに関係なく、２Ｄスキャンの前（つまり完全なオクルージョン）または２Ｄスキャンの後ろ（つまり非表示）のいずれかにある。いくつかの実施形態では、医療画像処理パイプラインの一部として、元の２Ｄドメインですべてのコンテンツの相互作用を実行することによって、オクルージョンの問題を回避することができる。このようにして、ステレオヘッドマウントディスプレイや外部モニターで適切に表示されるように、オクルージョンを事前に計算することができる。

いくつかの実施形態は、既存のスキャンデータの収集および表示技術を使用して、拡張、仮想、または混合／エクステンデットリアリティ表示システムで、内側画像の３Ｄバージョンを表示することを可能にする。

いくつかの実施形態は、単一の３Ｄ表面メッシュの作成において導入されたエラーを含まない元の医療画像を描写するため、生成されたメッシュよりも解剖学的構造のより正確な表現を表示する。例えば、すべての画像のグラジエントが維持される。

いくつかの実施形態では、元の２Ｄスキャンデータのレベルでの医療画像への修正および強化は、奥行き感および仮想オクルージョンを適切に管理することを可能にするが、表面のメッシュを介するよりも意味があり、情報が豊富な方法である。

いくつかの実施形態では、既存のナビゲーションカートに精通している外科医は、ＤＩＣＯＭスキャンのウィンドウとレベルの調整にも精通している。これらのパラメータは、表示される強度を制御するため、２Ｄ画像として表示されたときに、スキャンがどのように表示されるかを制御する。ＤＩＣＯＭスキャンを使用してメッシュを生成する場合、表示するウィンドウとレベルについていくつかの仮定をする必要がある。その結果、メッシュが生成されると、これらの値を調整できなくなる。メッシュの構築に使用されたウィンドウとレベルはすべて固定されている。いくつかの実施形態では、外科医は、外科医が現在２Ｄビューで行うのと同じ方法で、３Ｄビューのウィンドウとレベルを動的に変更することができる。図２１～図２２は、ウィンドウとレベルを変更できるＸＲ画像の例を示している。

図２３～図２４は、いくつかの実施形態による外科用システムによって実行されるプロセスの例を示すフローチャートである。図２３～図２４は、外科用システム９００のプロセッサ９１４によって実行されるものとして以下に説明されるが、プロセスは、外科用システム９００の任意の適切なプロセッサによって実行され得る。

図２３は、２Ｄ画像データを使用してＸＲ画像を生成する操作を示している。ブロック２３１０で、プロセッサ９１４は、ＸＲヘッドセットのポーズを生成するＸＲヘッドセットのポーズを追跡する。いくつかの実施形態では、外科用器具のポーズも追跡される。

ブロック２３２０で、プロセッサ９１４は、患者の解剖学的構造に関連する２Ｄ画像データを受信する。いくつかの実施形態では、２Ｄ画像データは、解剖学的構造の複数のスキャンを行う解剖学的撮像デバイスから受信される。

ブロック２３３０で、プロセッサ９１４は、患者の解剖学的構造に関連する２Ｄ画像データから第１の２Ｄ画像を生成する。第１の２Ｄ画像は、ＸＲヘッドセットのポーズに基づいている。いくつかの実施形態では、２Ｄ画像データから第１の２Ｄ画像を生成することは、解剖学的撮像デバイスによって測定された２Ｄ画像データからのデータのみを使用することを含む。追加または代替の実施形態では、複数の２Ｄ画像データから前記第１の２Ｄ画像を生成することは、前記複数の２Ｄ画像データの第１の部分を選択して、前記ＸＲヘッドセットの前記ポーズに基づいて前記第１の２Ｄ画像を、前記第１の部分の前記２Ｄ画像データのいずれかを修正することなく形成することを含む。追加または代替の実施形態では、２Ｄ画像データから第１の２Ｄ画像を生成することは、解剖学的構造の三次元（「３Ｄ」）モデリング計算中に得られたいずれかの推定データを回避することを含む。追加または代替の実施形態では、複数の２Ｄ画像データから第１の２Ｄ画像を生成することは、複数の２Ｄ画像データから解剖学的構造の３Ｄ再構成メッシュを生成することなく、第１の２Ｄ画像を生成することを含む。

ブロック２３４０で、プロセッサ９１４は、患者の解剖学的構造に関連する２Ｄ画像データから第２の２Ｄ画像を生成する。第２の２Ｄ画像は、ＸＲヘッドセットのポーズに基づいている。いくつかの実施形態では、２Ｄ画像データから第２の２Ｄ画像を生成することは、解剖学的撮像デバイスによって測定された２Ｄ画像データからのデータのみを使用することを含む。追加または代替の実施形態では、複数の２Ｄ画像データから第２の２Ｄ画像を生成することは、複数の２Ｄ画像データの第２の部分を選択して、ＸＲヘッドセットのポーズに基づいて第２の２Ｄ画像を、第２の部分の２Ｄ画像データのいずれかを修正することなく形成することを含む。追加または代替の実施形態では、２Ｄ画像データから第２の２Ｄ画像を生成することは、解剖学的構造の３Ｄモデリング計算中に得られたいずれかの推定データを回避することを含む。追加または代替の実施形態では、複数の２Ｄ画像データから第２の２Ｄ画像を生成することは、複数の２Ｄ画像データから解剖学的構造の３Ｄ再構成メッシュを生成することなく、第２の２Ｄ画像を生成することを含む。

ブロック２３５０で、プロセッサ９１４は、使用者の第１の眼の視野に第１の２Ｄ画像を表示し、使用者の第２の眼の視野に第２の２Ｄ画像を表示することにより、ＸＲ画像を生成する。いくつかの実施形態では、ＸＲ画像は、使用者には３Ｄであるように見える。追加または代替の実施形態では、ＸＲ画像は、解剖学的構造に対する外科用器具のポーズに基づいた外科用器具の仮想表現を含む。

ブロック２３６０で、プロセッサ９１４は、ＸＲ画像のウィンドウまたはレベルを調整する。いくつかの実施形態では、ＸＲ画像のウィンドウまたはレベルは、第１の２Ｄ画像および／または第２の２Ｄ画像のウィンドウまたはレベルを調整することによって調整される。追加または代替の実施形態では、ＸＲ画像のウィンドウまたはレベルは、ＸＲ画像が使用者に表示されることに応答して、使用者からの入力に応答して調整される。

図２４は、ＸＲヘッドセットのポーズの変化に基づいてＸＲ画像を調整する追加の操作を示している。ブロック２４３０で、プロセッサ９１４は、患者の解剖学的構造に関連する２Ｄ画像データから改訂された第１の２Ｄ画像を生成する。改訂された第１の２Ｄ画像は、ＸＲヘッドセットの新たなポーズに基づいている。ブロック２４４０で、プロセッサ９１４は、患者の解剖学的構造に関連する２Ｄ画像データから改訂された第２の２Ｄ画像を生成する。改訂された２Ｄ画像は、ＸＲヘッドセットの新たなポーズに基づいている。ブロック２４５０で、プロセッサ９１４は、使用者の第１の眼の視野に改訂された第１の２Ｄ画像を表示し、使用者の第２の眼の視野に改訂された第２の２Ｄ画像を表示することにより、ＸＲ画像を調整する。

いくつかの実施形態では、図２３～図２４の操作の一部のみを実行することができ、操作は別の順序で実行することができる。追加または代替の実施形態では、外科用システム内の他の処理回路が、図２３～図２４の操作の一部またはすべてを実行することができる。

さらなる定義および実施形態：
本発明の概念の様々な実施形態の上記の説明において、本明細書において使用される用語は、特定の実施形態を説明することのみを目的とし、本発明の概念を限定することを意図しないことを理解されたい。別段に定義されない限り、本明細書で使用されるすべての用語（技術用語および科学用語を含む）は、本発明の概念が属する当技術分野の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されるような用語は、本明細書および関連する技術分野の文脈におけるそれらの意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書で明確にそのように定義された理想化された、または過度に形式的な意味では解釈されないことがさらに理解されよう。

ある要素が別の要素に対して「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変形であるように参照される場合、その要素は、他の要素に直接接続、結合、もしくは応答することができるか、または介在する要素が存在してもよい。対照的に、ある要素が別の要素に対して「直接接続された（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ）」、「直接結合された（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ）」、「直接応答する（ｄｉｒｅｃｔｌｙ ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変形であるように参照される場合、介在する要素は存在しない。同様の符号は、全体を通して同様の要素を指す。さらにまた、本明細書において使用される場合、「結合された（ｃｏｕｐｌｅｄ）」、「接続された（ｃｏｎｎｅｃｔｅｄ）」、「応答する（ｒｅｓｐｏｎｓｉｖｅ）」、またはそれらの変形は、無線で結合、接続、または応答することを含むことができる。本明細書において使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈がそうでないことを明確に示さない限り、複数形も含むことを意図している。周知の機能または構造は、簡潔さおよび／または明確さのために詳細に説明されない場合がある。「および／または」という用語は、関連する列挙された項目のうちの１つ以上のいずれかおよびすべての組み合わせを含む。

本明細書では、第１、第２、第３などの用語を使用して様々な要素／動作を説明することがあるが、これらの要素／動作は、これらの用語によって限定されるべきではないことが理解される。これらの用語は、ある要素／動作を他の要素／動作から区別するためにのみ使用される。したがって、いくつかの実施形態における第１の要素／動作は、本発明の概念の教示から逸脱することなく、他の実施形態における第２の要素／動作と呼ぶことができる。同じ参照番号または同じ参照符号は、明細書全体を通して同じまたは類似の要素を示す。

本明細書において使用される場合、「備える（ｃｏｍｐｒｉｓｅ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｅ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｖｅ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」という用語、またはそれらの変形は、限定がなく、１つ以上の記された特徴、整数、要素、ステップ、コンポーネント、または機能を含むが、１つ以上の他の特徴、整数、要素、ステップ、コンポーネント、機能、またはそれらのグループの存在もしくは追加を排除するものではない。さらにまた、本明細書において使用される場合、ラテン語の「例えば（ｅｘｅｍｐｌｉ ｇｒａｔｉａ）」から派生した一般的な略語「例えば（ｅ．ｇ．）」は、前述の項目の全般的な例（複数可）を紹介または指定するために使用されている場合があり、かかる項目を限定することを意図するものではない。ラテン語の「すなわち（ｉｄ ｅｓｔ）」から派生した一般的な略語「すなわち（ｉ．ｅ．）」は、より全般的な列挙から特定の項目を指定するために使用されてもよい。

例示的な実施形態は、コンピュータ実装方法、装置（システムおよび／またはデバイス）、ならびに／またはコンピュータプログラム製品を示すブロック図および／またはフローチャート図を参照して、本明細書において説明される。ブロック図および／またはフローチャート図のブロック、ならびにブロック図および／またはフローチャート図におけるブロックの組み合わせは、１つ以上のコンピュータ回路によって実行されるコンピュータプログラム命令によって実装させることができることが理解される。これらのコンピュータプログラム命令を汎用コンピュータ回路、専用コンピュータ回路、および／または他のプログラム可能なデータ処理回路のプロセッサ回路に提供して機械を生成することができ、それにより、コンピュータのプロセッサおよび／または他のプログラム可能なデータ処理装置を介して実行される命令は、トランジスタ、メモリの場所に記憶された値、およびかかる回路網内の他のハードウェアコンポーネントを変換および制御して、ブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装し、かつそれによって、ブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装するための手段（機能）および／または構造を作り出す。

これらのコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶された命令がブロック図および／またはフローチャートブロック（複数可）において指定された機能／作用を実装する命令を含む製造物品を製造するように、コンピュータまたは他のプログラム可能なデータ処理装置が特定の方法で機能するように指示することができる有形のコンピュータ可読媒体に記憶されてもよい。したがって、本発明の概念の実施形態は、集合的に「回路網」、「モジュール」、またはそれらの変形と称することができる、デジタル信号プロセッサなどのプロセッサで動作するハードウェアおよび／またはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）で具体化させることができる。

また、いくつかの代替実装形態では、ブロックに記載されている機能／作用が、フローチャートに記載されている順序とは異なる順序で発生する場合があることにも留意されたい。例えば、連続して示されている２つのブロックは、関与する機能／作用に応じて、実際には実質的に同時に実行されてもよいか、または時にはブロックが逆の順序で実行されてもよい。さらに、フローチャートおよび／またはブロック図の所与のブロックの機能は、複数のブロックに分離されてもよく、および／またはフローチャートおよび／またはブロック図の２つ以上のブロックの機能は、少なくとも部分的に統合されてもよい。最後に、本発明の概念の範囲から逸脱することなく、図示されているブロックの間に他のブロックが追加／挿入されてもよく、および／またはブロックまたは動作が省かれてもよい。さらに、いくつかの図は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生する場合があることを理解されたい。

本発明の概念の原理から実質的に逸脱することなく、実施形態に対して多くの変更および修正を行うことができる。すべてのこのような変更および修正は、本発明の概念の範囲内で本明細書に含まれることが意図されている。したがって、上で開示された発明の対象は、限定的ではなく例示的であると見なされるべきであり、付け加えられた実施形態の例は、本発明の概念の趣旨および範囲内にあるすべてのこのような修正、強化、および他の実施形態に及ぶことが意図されている。したがって、法律で許容される最大限の範囲で、本発明の概念の範囲は、以下の実施形態の例およびそれらの均等物を含む本開示の最も広い許容可能な解釈によって決定されるべきであり、前述の詳細な説明によって制限または限定されるべきではない。

Claims (17)

1. 外科用システムであって、
   外科的処置中に使用者によって着用されるように構成され、前記使用者が見るためにＸＲ画像を表示するように構成されたシースルーの表示画面を含むエクステンデットリアリティ（「ＸＲ」）ヘッドセットと、
   ＸＲヘッドセットコントローラであって、
   医療撮像デバイスからスキャンされた画像であって、患者の解剖学的構造の三次元ボリュームを定義する複数の二次元（「２Ｄ」）画像データを含む画像を受信し、各２Ｄ画像データは、前記解剖学的構造の２Ｄの画像スライスを示しており、
   前記ＸＲヘッドセットのポーズに基づいて、前記複数の２Ｄ画像データから第１の２Ｄ画像を生成し、
   前記ＸＲヘッドセットの前記ポーズに基づいて、前記複数の２Ｄ画像データから第２の２Ｄ画像を生成し、
   前記使用者の第１の眼の視野に第１の２Ｄ画像を表示し、前記使用者の第２の眼の視野に前記第２の２Ｄ画像を表示することにより、前記ＸＲ画像を生成するように構成される、ＸＲヘッドセットコントローラを含み、
   前記ＸＲヘッドセットの前記ポーズの変化に応答して、前記ＸＲヘッドセットの新たなポーズに基づいて、前記複数の２Ｄ画像データから、改訂された第１の２Ｄ画像を生成し、
   前記ＸＲヘッドセットの新たなポーズに基づいて、前記複数の２Ｄ画像データから改訂された第２の２Ｄ画像を生成し、前記新たなポーズは、前記三次元ボリュームに対する前記ＸＲヘッドセットの三次元の向きの変化を含んでおり、
   前記使用者の前記第１の眼の前記視野に前記改訂された第１の２Ｄ画像を表示し、前記使用者の前記第２の眼の前記視野に前記改訂された第２の２Ｄ画像を表示することにより、前記ＸＲ画像を調整する、外科用システム。
2. 前記複数の２Ｄ画像データから前記第１の２Ｄ画像を生成することは、前記複数の２Ｄ画像データの第１の部分を選択して、前記ＸＲヘッドセットの前記ポーズに基づいて前記第１の２Ｄ画像を、前記第１の部分の前記２Ｄ画像データのいずれかを修正することなく形成することを含み、
   前記複数の２Ｄ画像データから前記第２の２Ｄ画像を生成することは、前記複数の２Ｄ画像データの第２の部分を選択して、前記ＸＲヘッドセットの前記ポーズに基づいて前記第２の２Ｄ画像を、前記第２の部分の前記２Ｄ画像データのいずれかを修正することなく形成することを含む、請求項１に記載の外科用システム。
3. 前記複数の２Ｄ画像データから前記第１の２Ｄ画像を生成することは、前記複数の２Ｄ画像データから解剖学的構造の３Ｄ再構成メッシュを生成することなく、前記第１の２Ｄ画像を生成することを含み、
   前記複数の２Ｄ画像データから前記第２の２Ｄ画像を生成することは、前記複数の２Ｄ画像データから前記解剖学的構造の３Ｄ再構成メッシュを生成することなく、前記第２の２Ｄ画像を生成することを含む、請求項１に記載の外科用システム。
4. 前記ＸＲヘッドセットコントローラが、
   前記第１の２Ｄ画像の生成に応じて、前記第１の２Ｄ画像のウィンドウまたはレベルを調整するようにさらに構成される、請求項１に記載の外科用システム。
5. 前記ＸＲヘッドセットコントローラが、
   前記ＸＲ画像の生成に応じて、前記使用者からの入力に基づいて前記ＸＲ画像のウィンドウまたはレベルを調整するようにさらに構成される、請求項１に記載の外科用システム。
6. 前記ＸＲヘッドセットの前記ポーズを追跡して前記ＸＲヘッドセットの前記ポーズを生成するように構成されたカメラ追跡システムをさらに含む、請求項１に記載の外科用システム。
7. 前記カメラ追跡システムが、さらに、外科用器具のポーズを追跡するよう構成され、
   前記ＸＲヘッドセットコントローラは、前記解剖学的構造に対する前記外科用器具の前記ポーズに基づいて前記外科用器具の仮想表現を含むように前記ＸＲ画像を生成するようにさらに構成される、請求項６に記載の外科用システム。
8. 前記ＸＲヘッドセットコントローラが、
   解剖学的撮像デバイスによる解剖学的部分の複数のスキャンとして前記複数の２Ｄ画像データを受信するようにさらに構成される、請求項１に記載の外科用システム。
9. 外科用システムにおいてＸＲヘッドセットを操作する方法であって、
   医療撮像デバイスからスキャンされた画像であって、患者の解剖学的構造の三次元ボリュームを定義する複数の二次元（「２Ｄ」）画像データを含む画像を受信し、各２Ｄ画像データは、前記解剖学的構造の２Ｄの画像スライスを示しており、
   ＸＲヘッドセットコントローラによって、前記ＸＲヘッドセットのポーズに基づいて、前記複数の２Ｄ画像データから第１の２Ｄ画像を生成し、
   前記ＸＲヘッドセットコントローラによって、前記ＸＲヘッドセットの前記ポーズに基づいて、前記複数の２Ｄ画像データから第２の２Ｄ画像を生成し、
   前記ＸＲヘッドセットコントローラによって、使用者の第１の眼の視野に第１の２Ｄ画像を表示し、前記使用者の第２の眼の視野に前記第２の２Ｄ画像を表示することにより、ＸＲ画像を生成し、
   前記ＸＲヘッドセットの前記ポーズの変化に応答して、前記ＸＲヘッドセットの新たなポーズに基づいて、前記複数の２Ｄ画像データから、改訂された第１の２Ｄ画像を前記ＸＲヘッドセットコントローラによって生成し、
   前記ＸＲヘッドセットの新たなポーズに基づいて、前記複数の２Ｄ画像データから改訂された第２の２Ｄ画像を前記ＸＲヘッドコントローラによって生成し、
   前記使用者の前記第１の眼の前記視野に前記改訂された第１の２Ｄ画像を表示し、前記使用者の前記第２の眼の前記視野に前記改訂された第２の２Ｄ画像を表示することにより、前記ＸＲ画像を前記ＸＲヘッドセットコントローラによって調整することを含む、方法。
10. 前記複数の２Ｄ画像データから前記第１の２Ｄ画像を生成することは、前記複数の２Ｄ画像データの第１の部分を選択して、前記ＸＲヘッドセットの前記ポーズに基づいて前記第１の２Ｄ画像を、前記第１の部分の前記２Ｄ画像データのいずれかを修正することなく形成することを含み、
    前記複数の２Ｄ画像データから前記第２の２Ｄ画像を生成することは、前記複数の２Ｄ画像データの第２の部分を選択して、前記ＸＲヘッドセットの前記ポーズに基づいて前記第２の２Ｄ画像を、前記第２の部分の前記２Ｄ画像データのいずれかを修正することなく形成することを含む、請求項９に記載の方法。
11. 前記複数の２Ｄ画像データから前記第１の２Ｄ画像を生成することは、前記複数の２Ｄ画像データから解剖学的構造の３Ｄ再構成メッシュを生成することなく、前記第１の２Ｄ画像を生成することを含み、
    前記複数の２Ｄ画像データから前記第２の２Ｄ画像を生成することは、前記複数の２Ｄ画像データから前記解剖学的構造の３Ｄ再構成メッシュを生成することなく、前記第２の２Ｄ画像を生成することを含む、請求項９に記載の方法。
12. 前記第１の２Ｄ画像の生成に応じて、前記ＸＲヘッドセットコントローラによって、前記第１の２Ｄ画像のウィンドウまたはレベルを調整することをさらに含む、請求項９に記載の方法。
13. 前記ＸＲ画像の生成に応じて、前記ＸＲヘッドセットコントローラによって、前記使用者からの入力に基づいて前記ＸＲ画像のウィンドウまたはレベルを調整することをさらに含む、請求項９に記載の方法。
14. 前記ＸＲヘッドセットの前記ポーズを生成する前記ＸＲヘッドセットの前記ポーズを、カメラ追跡システムによって追跡することをさらに含む、請求項９に記載の方法。
15. 前記カメラ追跡システムにより、外科用器具のポーズを追跡すること、をさらに含み、
    前記ＸＲ画像を生成することは、前記解剖学的構造に対する前記外科用器具の前記ポーズに基づいて前記外科用器具の仮想表現の前記ＸＲ画像を生成することを含む、請求項１４に記載の方法。
16. 前記ＸＲヘッドセットコントローラによって、解剖学的撮像デバイスにより取得される前記解剖学的構造の複数のスキャンとして前記複数の２Ｄ画像データを受信することをさらに含む、請求項９に記載の方法。
17. ＸＲヘッドセットコントローラのプロセッサによって実行可能であり、前記ＸＲヘッドセットコントローラに動作を実行させる命令を格納する非一時的なコンピュータ可読媒体であって、前記動作が、
    医療撮像デバイスからスキャンされた画像であって、患者の解剖学的構造の三次元ボリュームを定義する複数の二次元（「２Ｄ」）画像データを含む画像を受信し、各２Ｄ画像データは、前記解剖学的構造の２Ｄの画像スライスを示しており、
    前記ＸＲヘッドセットコントローラによって、ＸＲヘッドセットのポーズに基づいて、前記複数の２Ｄ画像データから第１の２Ｄ画像を生成し、
    前記ＸＲヘッドセットコントローラによって、前記ＸＲヘッドセットの前記ポーズに基づいて、前記複数の２Ｄ画像データから第２の２Ｄ画像を生成し、
    前記ＸＲヘッドセットコントローラによって、使用者の第１の眼の視野に第１の２Ｄ画像を表示し、前記使用者の第２の眼の視野に前記第２の２Ｄ画像を表示することにより、三次元（「３Ｄ」）ＸＲ画像を生成し、
    前記複数の２Ｄ画像データを、解剖学的撮像デバイスによって行われた前記解剖学的構造の複数のスキャンとして前記ＸＲヘッドセットコントローラによって受信し、
    前記ＸＲヘッドセットの前記ポーズを、カメラ追跡システムによって追跡し、
    前記カメラ追跡システムにより、外科用器具のポーズを追跡し、
    前記ＸＲ画像の生成に応じて、前記ＸＲヘッドセットコントローラによって、前記使用者からの入力に基づいて、前記ＸＲ画像のウィンドウまたはレベルを前記ＸＲヘッドセットコントローラによって調整すること、
    前記ＸＲヘッドセットの前記ポーズの変化に応答して、前記ＸＲヘッドセットコントローラによって、前記ＸＲヘッドセットの新たなポーズに基づいて、前記複数の２Ｄ画像データから、改訂された第１の２Ｄ画像を生成し、
    前記ＸＲヘッドセットコントローラによって、前記ＸＲヘッドセットの新たなポーズに基づいて、前記複数の２Ｄ画像データから改訂された第２の２Ｄ画像を生成し、
    前記使用者の前記第１の眼の前記視野に前記改訂された第１の２Ｄ画像を表示し、前記使用者の前記第２の眼の前記視野に前記改訂された第２の２Ｄ画像を表示することにより、前記ＸＲヘッドセットコントローラによって、前記ＸＲ画像を調整し、
    前記複数の２Ｄ画像データから前記第２の２Ｄ画像を生成することは、前記解剖学的撮像デバイスによって測定された前記複数の２Ｄ画像データからのデータのみを使用することを含み、
    前記ＸＲ画像を生成することは、前記解剖学的構造に対する前記外科用器具の前記ポーズにさらに基づいている、非一時的なコンピュータ可読媒体。
    

Images