JP7371026B2 - 管状網の経路ベースのナビゲーション - Google Patents

Description

（関連出願の相互参照）
本願は、参照によりその全体が本明細書に組み込まれる、２０１８年５月３１日出願の米国仮特許出願第６２／６７８，９７０号の利益を主張するものである。

（発明の分野）
本明細書に開示されるシステム及び方法は、外科用ロボット工学に関し、より具体的には、経路に少なくとも部分的に基づく、患者の身体の管状網内における医療器具のナビゲーションに関する。

気管支鏡検査は、医師が気管支及び細気管支などの患者の肺気道の内部状態を検査することを可能とする医療処置である。肺気道は、導管又は気管から肺に空気を運ぶ。医療処置の間、気管支鏡として知られる薄い可撓性の管状ツールを患者の口に挿入して、患者の喉からその肺気道内まで通すことができ、患者は、医療処置中の外科的検査及び手術のためにその喉及び肺空洞を弛緩させるため、一般には麻酔される。

関連技術において、気管支鏡は、医師が患者の気管及び気道を検査することを可能にする光源及び小型カメラを含んでもよく、例えば、患者の肺内に大量の出血が存在する場合、又は大きな物体が患者の喉を閉塞している場合は、剛性管を外科的な目的で気管支鏡と共に用いてもよい。剛性管が使用される場合、患者は麻酔されることが多い。他の先進的医療装置の台頭と共に、ロボット気管支鏡の使用はますます現実に近づいている。ロボット気管支鏡は、管状網を通したナビゲーションにおける多大な利点を提供する。これらは、使用が容易であり、気管支鏡検査段階の間であっても治療及び生検の投与を簡便にすることを可能にする。

機械的装置又はプラットフォーム、例えば、上述のロボット気管支鏡とは別に、様々な方法及びソフトウェアモデルを使用して外科手術を支援することができる。一例として、患者の肺のコンピュータ断層撮影（ＣＴ）スキャンは、多くの場合、外科的検査の予備作業中に行われる。ＣＴスキャンからのデータを用いて、患者の肺の気道の三次元（３Ｄ）モデルを生成することができ、生成された３Ｄモデルは、外科的検査の手術処置中に有用であり得る視覚的基準に医師がアクセスすることを可能にする。

しかしながら、管状網のナビゲーションのための従来技術は、医療用装置（例えば、ロボット気管支鏡）を使用する場合、及び既存の方法（例えば、ＣＴスキャンを実行し、３Ｄモデルを生成すること）を用いる場合であっても、依然として課題を有する。一例として、患者の身体内の医療装置（例えば、気管支鏡ツール）の動作の推定は、装置の位置及び配向の変化に基づいて正確でない場合があり、その結果、装置のポジションは、患者の身体内で、リアルタイムで正確又は適切に特定されない場合がある。こうした器具の不正確な位置情報は、医療手術手順の間、３Ｄモデルを視覚的参照として使用する医師に誤解を与える情報を提供する場合がある。

したがって、管状構造体の網を通してナビゲートするための改善された技術が必要とされている。

本開示のシステム、方法及び装置はそれぞれ、いくつかの革新的な態様を有し、そのうちの１つも、本明細書に開示される望ましい属性を単独で司るものではない。

一態様では、医療用ロボットシステムであって、１つ以上のプロセッサのセットと、プロセッサのセットと通信し、かつ患者の管腔網のモデルと、モデルに対する標的のポジションと、モデルの少なくとも一部分に沿った、アクセス点から標的までの経路と、を記憶した少なくとも１つのコンピュータ可読メモリであって、メモリに記憶されたコンピュータ実行可能命令を更に有し、コンピュータ実行可能命令は、プロセッサのセットに、位置センサのセット及びロボットコマンド入力のセットのうちの少なくとも一方から位置データを受信することであって、位置データは、管腔網を通って駆動されるように構成されている器具の位置を示す、ことと、位置データに基づいて第１の時間における器具の位置の第１の推定値を判定することと、経路に基づいて第１の時間における器具の位置の第２の推定値を判定することと、第１の推定値及び第２の推定値に基づいて第１の時間における器具の位置を判定することと、を行わせる、少なくとも１つのコンピュータ可読メモリと、を備える、医療用ロボットシステムが提供される。

別の態様では、非一時的コンピュータ可読記憶媒体であって、非一時的コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体に記憶された命令を有し、命令は、実行されると、少なくとも１つのコンピューティング装置に、位置センサのセット及びロボットコマンド入力のセットのうちの少なくとも一方から位置データを受信することであって、位置データは、患者の管腔網を通って駆動されるように構成されている器具の位置を示す、ことと、位置データに基づいて第１の時間における器具の位置の第１の推定値を判定することと、少なくとも１つのコンピュータ可読メモリに記憶された経路に基づいて第１の時間における器具の位置の第２の推定値を判定することであって、非一時的コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体に記憶された管腔網のモデルと、モデルに対する標的のポジションと、経路と、を更に有し、経路は、モデルの少なくとも一部分に沿ってアクセス点から標的まで画定される、ことと、第１の推定値及び第２の推定値に基づいて第１の時間における器具の位置を判定することと、を行わせる、非一時的コンピュータ可読記憶媒体が提供される。

更に別の態様では、器具の位置を推定する方法であって、位置センサのセット及びロボットコマンド入力のセットのうちの少なくとも一方から位置データを受信することであって、位置データは、患者の管腔網を通って駆動されるように構成されている器具の位置を示す、ことと、位置データに基づいて第１の時間における器具の位置の第１の推定値を判定することと、少なくとも１つのコンピュータ可読メモリに記憶された経路に基づいて第１の時間における器具の位置の第２の推定値を判定することであって、少なくとも１つのコンピュータ可読メモリは、少なくとも１つのコンピュータ可読メモリに記憶された管腔網のモデルと、モデルに対する標的のポジションと、経路と、を有し、経路は、モデルの少なくとも一部分に沿ってアクセス点から標的まで画定される、ことと、第１の推定値及び第２の推定値に基づいて第１の時間における器具の位置を判定することと、を含む、方法が提供される。

また更なる態様では、医療用ロボットシステであって、１つ以上のプロセッサのセットと、プロセッサのセットと通信し、かつ患者の管腔網のマッピングされた部分のモデルと、モデルに対する標的のポジションと、モデルの少なくとも一部分に沿った、アクセス点から標的までの経路と、を記憶した少なくとも１つのコンピュータ可読メモリであって、メモリに記憶されたコンピュータ実行可能命令を更に有し、コンピュータ実行可能命令は、プロセッサのセットに、経路が標的に到達する前に管腔網のマッピングされた部分を離れると判定することと、少なくとも第１のモダリティを介して器具の現在位置を表示することであって、第１のモダリティは、１つ以上の位置センサのセットから受信した位置データ、及びモデルのマッピングされた部分に基づいて位置を導出し、器具は、管腔網を通って駆動されるように構成されている、ことと、現在位置に基づいて、器具の遠位端は、経路が管腔網のマッピングされた部分を離れる点の閾値範囲内にあると判定することと、器具の遠位端が点の閾値範囲内にあると判定することに応答して、第１のモダリティに与えられた重みの低減に基づいて器具の現在位置を更新することと、を行わせる、少なくとも１つのコンピュータ可読メモリと、を備える、医療用ロボットシステムが提供される。

なお別の態様では、非一時的コンピュータ可読記憶媒体であって、非一時的コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体に記憶された命令を有し、命令は、実行されると、少なくとも１つのコンピューティング装置に、経路が標的に到達する前に患者の管腔網のマッピングされた部分を離れると判定することであって、少なくとも１つのコンピュータ可読メモリは、少なくとも１つのコンピュータ可読メモリに記憶された管腔網のマッピングされた部分のモデルと、モデルに対する標的のポジションと、モデルの少なくとも一部分に沿った、アクセス点から標的までの経路と、を有する、ことと、少なくとも第１のモダリティを介して器具の現在位置を表示することであって、第１のモダリティは、１つ以上の位置センサのセットから受信した位置データ、及びモデルのマッピングされた部分に基づいて位置を導出し、器具は、管腔網を通って駆動されるように構成されている、ことと、現在位置に基づいて、器具の遠位端は、経路が管腔網のマッピングされた部分を離れる点の閾値範囲内にあると判定することと、器具の遠位端が点の閾値範囲内にあると判定することに応答して、第１のモダリティに与えられた重みの低減に基づいて器具の現在位置を更新することと、を行わせる、非一時的コンピュータ可読記憶媒体が提供される。

別の態様では、器具の位置を判定する方法であって、経路が標的に到達する前に患者の管腔網のマッピングされた部分を離れると判定することであって、少なくとも１つのコンピュータ可読メモリは、少なくとも１つのコンピュータ可読メモリに記憶された管腔網のマッピングされた部分のモデルと、モデルに対する標的のポジションと、モデルの少なくとも一部分に沿った、アクセス点から標的までの経路と、を有する、ことと、少なくとも第１のモダリティを介して器具の現在位置を表示することであって、第１のモダリティは、１つ以上の位置センサのセットから受信した位置データ、及びモデルのマッピングされた部分に基づいて位置を導出し、器具、管腔網を通って駆動されるように構成されている、ことと、現在位置に基づいて、器具の遠位端は、経路が管腔網のマッピングされた部分を離れる点の閾値範囲内にあると判定することと、器具の遠位端が点の閾値範囲内にあると判定することに応答して、第１のモダリティに与えられた重みの低減に基づいて器具の現在位置を更新することと、を含む、方法が提供される。

開示される態様は、以下、添付の図面と併せて説明され、開示された態様を例示するが、限定するものではなく、同様の指定は同様の要素を示す。
一実施形態による例示的な外科用ロボットシステムを示す。 一実施形態による、図１Ａに示される外科用ロボットシステムに連結されたロボットプラットフォームの様々な斜視図を示す。 一実施形態による、図１Ａに示される外科用ロボットシステムに連結されたロボットプラットフォームの様々な斜視図を示す。 一実施形態による、図１Ａに示される外科用ロボットシステムに連結されたロボットプラットフォームの様々な斜視図を示す。 一実施形態による、図１Ａに示される外科用ロボットシステムに連結されたロボットプラットフォームの様々な斜視図を示す。 一実施形態による、図１Ａに示される外科用ロボットシステムに連結されたロボットプラットフォームの様々な斜視図を示す。 一実施形態による、例示的な外科用ロボットシステムのための例示的なコマンドコンソールを示す。 一実施形態による、図１Ａに示す器具装置マニピュレータ（ＩＤＭ）の例示的な独立駆動機構の等角図を示す。 一実施形態による、図３Ａに示される独立駆動機構のひずみゲージによって力がどのように測定され得るかを示す概念図を示す。 一実施形態による、例示的な内視鏡の上面図を示す。 一実施形態による、図４Ａに示す内視鏡の例示的な内視鏡先端部を示す。 一実施形態による、外科用ロボットシステムに含まれるＥＭ追跡システムの例示的な概略設定を示す。 一実施形態による、例示的な解剖学的内腔、及び解剖学的内腔の例示的な３Ｄモデルを示す。 一実施形態による、例示的な解剖学的内腔、及び解剖学的内腔の例示的な３Ｄモデルを示す。 一実施形態による、解剖学的空間を表すコンピュータ生成３Ｄモデルを示す。 一実施形態による、管状網を通る経路の３Ｄモデルに対するＥＭシステムのオンザフライ位置合わせを示す例示的なグラフを示す。 一実施形態による、管状網を通る経路の３Ｄモデルに対するＥＭシステムのオンザフライ位置合わせを示す例示的なグラフを示す。 一実施形態による、管状網を通る経路の３Ｄモデルに対するＥＭシステムのオンザフライ位置合わせを示す例示的なグラフを示す。 一実施形態による、管状網を通る経路の３Ｄモデルに対するＥＭシステムのオンザフライ位置合わせを示す例示的なグラフを示す。 一実施形態による、分枝状管状網の３Ｄモデルに対するＥＭシステムの例示的な位置合わせの効果を示す。 一実施形態による、分枝状管状網の３Ｄモデルに対するＥＭシステムの例示的な位置合わせの効果を示す。 一実施形態による、ナビゲーション構成システムの例示的なブロック図の高レベルな概要を示す。 一実施形態による、状態推定器に含まれる推定状態データストアの例示的なブロック図を示す。 本開示の態様による、経路ベースのアルゴリズムモジュールの例示的なブロック図を示す。 本開示の態様による、管状網の経路ベースのナビゲーションのための、ロボットシステム又はその構成要素（複数可）によって動作可能な例示的な方法を示すフローチャートである。 経路ベースの位置推定に関連する本開示の態様を説明するための、管腔網の一部分の簡略化された例示的モデルである。 本開示の態様による、管腔網にオーバレイされたモデルの例示的な図である。 本開示の態様による、管状網の経路ベースのナビゲーションのための、ロボットシステム又はその構成要素（複数可）によって動作可能な別の例示的な方法を示すフローチャートである。 本開示の態様による、マッピングされた部分及びマッピングされていない部分を含む、図１３の管腔網の部分を示す。 本開示の態様による、器具の遠位端の追跡された位置を含む３Ｄモデルの図である。 様々な実施形態による、例示的な管状網を通ってナビゲートする外科用器具（例えば、器具先端部）の調製のための例示的な手術前法を示す。

ここで、いくつかの実施形態を詳細に参照し、それらの実施例が添付の図に示される。可能である場合は、類似又は同様の参照番号が図において使用され得、これらの参照番号は、類似又は同様の機能性を示し得ることに留意されたい。図は、例示のみを目的として、説明されるシステム（又は方法）の実施形態を示すものである。当業者であれば、本明細書に記載の原理から逸脱することなく、本明細書に例示した構造及び方法の代替の実施形態を採用できることを以下の説明から容易に理解するであろう。

Ｉ．外科用ロボットシステム
図１Ａは、一実施形態による例示的な外科用ロボットシステム１００を示す。外科用ロボットシステム１００は、１つ以上のロボットアーム（例えばロボットアーム１０２）に連結された基部１０１を含む。基部１０１は、コマンドコンソールに通信可能に連結されている。なお、コマンドコンソールについては、セクションＩＩで図２を参照しながら更に説明する。コマンドコンソール。基部１０１は、ロボットアーム１０２が患者に対して外科処置を実行するためのアクセスを有するように配置され得るが、一方で、医師などのユーザは、コマンドコンソールから快適に、外科用ロボットシステム１００を制御し得る。いくつかの実施形態では、基部１０１は、患者を支持するための外科手術台又はベッドに連結されてもよい。明確さのために図１には示されていないが、基部１０１は、例えば、制御電子機器、空圧系、電源、光源などのサブシステムを含んでもよい。ロボットアーム１０２は、ジョイント１１１で連結された複数のアームセグメント１１０を含み、そのことにより、ロボットアーム１０２に、複数の自由度、例えば７つのアームセグメントに対応する７つの自由度を提供する。基部１０１は、電源１１２、空気圧源１１３、制御系及びセンサ電子機器１１４（中央処理ユニット、データバス、制御回路、及びメモリなどの構成要素を含む）、並びに関連するアクチュエータ（例えばロボットアーム１０２を移動させるためのモータなど）を含んでもよい。基部１０１内の電子機器１１４はまた、コマンドコンソールから伝達される制御信号を処理及び送信してもよい。

いくつかの実施形態では、基部１０１は、外科用ロボットシステム１００を輸送するためのホイール１１５を含む。外科用ロボットシステム１００が可動性を有するので、外科手術室における空間制約に順応する助けとなり、かつ外科用機器の適切な配置及び移動を容易にする助けとなる。更に、この可動性により、ロボットアーム１０２が、患者、医師、麻酔科医、又はいかなる他の装置とも干渉しないように、ロボットアーム１０２を構成することが可能となる。手術中、ユーザは、コマンドコンソールなどの制御装置を使用して、ロボットアーム１０２を制御し得る。

いくつかの実施形態では、ロボットアーム１０２は、ロボットアーム１０２のポジションを維持するためにブレーキとカウンタバランスとの組み合わせを使用するセットアップジョイントを含む。カウンタバランスは、ガスばね又はコイルばねを含んでもよい。ブレーキ、例えば、フェイルセーフブレーキは、機械部品及び／又は電気部品を含んでもよい。更に、ロボットアーム１０２は、重力支援型の受動的支持型ロボットアームであってもよい。

各ロボットアーム１０２は、機構交換インターフェース（ＭＣＩ）１１６を使用して、器具装置マニピュレータ（ＩＤＭ）１１７に連結されてもよい。ＩＤＭ１１７は、取り外して異なるタイプのＩＤＭと交換されてもよく、例えば、第１のタイプのＩＤＭは内視鏡を操作し、一方で第２のタイプのＩＤＭは腹腔鏡を操作する。ＭＣＩ１１６は、空気圧、電力、電気信号、及び光信号をロボットアーム１０２からＩＤＭ１１７に伝達するためのコネクタを含む。ＭＣＩ１１６は、止めねじ又は基部プレートコネクタであり得る。ＩＤＭ１１７は、直接駆動、高調波駆動、ギア駆動、ベルト及びプーリ、磁気ドライブなどを含む技術を使用して、内視鏡１１８などの外科用器具を操作する。ＭＣＩ１１６は、ＩＤＭ１１７のタイプに基づいて交換可能であり、特定のタイプの外科処置のためにカスタマイズされ得る。ＫＵＫＡ ＡＧ（登録商標）ＬＢＲ５ロボットアームなどのロボットアーム１０２は、ジョイントレベルトルク感知器及び遠位端における手首部を含むことができる。

内視鏡１１８は、解剖学的構造（例えば、身体組織）の画像をキャプチャするために患者の解剖学的構造内に挿入される、管状かつ可撓性の外科用器具である。具体的には、内視鏡１１８は、画像をキャプチャする１つ以上の撮像装置（例えば、カメラ又はその他のタイプの光学センサ）を含む。撮像装置は、光ファイバ、ファイバアレイ、又はレンズなどの１つ以上の光学部品を含み得る。光学部品は、内視鏡１１８の先端部と共に移動するため、内視鏡１１８の先端部の移動により撮像装置によってキャプチャされた画像が変化する。内視鏡１１８を、セクションＩＶで図３Ａ～４Ｂを参照しながら更に説明する。内視鏡。

外科用ロボットシステム１００のロボットアーム１０２は、細長い運動部材を使用して内視鏡１１８を操作する。細長い運動部材は、プルワイヤ若しくはプッシュワイヤ、ケーブル、ファイバ、又は可撓性シャフトとも呼ばれるプルワイヤを含んでもよい。例えば、ロボットアーム１０２は、内視鏡１１８に連結された複数のプルワイヤを作動させて、内視鏡１１８の先端を偏向させる。プルワイヤは、例えば、ステンレス鋼、ケブラー、タングステン、炭素繊維などの、金属材料及び非金属材料の両方を含んでもよい。内視鏡１１８は、細長い運動部材によって印加される力に応答して、非直線的挙動を呈し得る。非直線的挙動は、内視鏡１１８の剛性及び圧縮性、並びに異なる細長い運動部材間の緩み又は剛性の変動性に基づくものであり得る。

図１Ｂ～１Ｆは、様々な実施形態による、ロボットプラットフォーム１５０（又は外科用ベッド）に連結された外科用ロボットシステム１００の様々な斜視図を示す。具体的には、図１Ｂは、ロボットアーム１０２が内視鏡１１８を操作して内視鏡を患者の体内に挿入する外科用ロボットシステム１００の側面図を示し、患者はロボットプラットフォーム１５０上に横臥している。図１Ｃは、外科用ロボットシステム１００及びロボットプラットフォーム１５０の上面図を示し、ロボットアームによって操作される内視鏡１１８が患者の体内に挿入される。図１Ｄは、外科用ロボットシステム１００及びロボットプラットフォーム１５０の斜視図を示し、内視鏡１１８はロボットプラットフォームと水平方向で平行に配置されるように制御される。図１Ｅは、外科用ロボットシステム１００及びロボットプラットフォーム１５０の別の斜視図を示し、内視鏡１１８はロボットプラットフォームに対して比較的垂直に配置されるように制御される。より詳細には、図１Ｅでは、ロボットプラットフォーム１５０の水平面と内視鏡１１８との間の角度は７５度である。図１Ｆは、図１Ｅで示される外科用ロボットシステム１００及びロボットプラットフォーム１５０の斜視図を示し、より詳細には、内視鏡１１８と、内視鏡の一方の端部１８０及びロボットプラットフォームから比較的遠くに配置されたロボットアーム１０２を接続する仮想線１６０との間の角度は９０度である。

ＩＩ．コマンドコンソール
図２は、一実施形態による、例示的な外科用ロボットシステム１００のための例示的なコマンドコンソール２００を示す。コマンドコンソール２００は、コンソール基部２０１、ディスプレイモジュール２０２（例えば、モニタ）、及び制御モジュール（例えば、キーボード２０３及びジョイスティック２０４）を含む。いくつかの実施形態では、コマンドコンソール２００の機能のうちの１つ以上は、外科用ロボットシステム１００の基部１０１、又は外科用ロボットシステム１００に通信可能に連結された別のシステムに統合されてもよい。ユーザ２０５（例えば、医師）は、コマンドコンソール２００を使用して人間工学的ポジションから外科用ロボットシステム１００を遠隔制御する。

コンソール基部２０１は、カメラ撮像データ及び追跡センサデータなどの信号（例えば、図１に示される内視鏡１１８からのデータ）の解釈及び処理に関与する、中央処理ユニット、メモリユニット、データバス、及び関連データ通信ポートを含んでもよい。いくつかの実施形態では、コンソール基部２０１及び基部１０１はどちらも、負荷平衡化のための信号処理を実行する。コンソール基部２０１はまた、ユーザ２０５によって制御モジュール２０３及び２０４を通じて提供されるコマンド及び命令を処理してもよい。図２に示すキーボード２０３及びジョイスティック２０４に加えて、制御モジュールは、他の装置、例えば、コンピュータマウス、トラックパッド、トラックボール、制御パッド、ビデオゲームコントローラ、並びにハンドジェスチャ及び指ジェスチャをキャプチャするセンサ（例えば、モーションセンサ又はカメラ）を含んでもよい。

ユーザ２０５は、コマンドコンソール２００を速度モード又はポジション制御モードで使用して、内視鏡１１８などの外科用器具を制御することができる。速度モードでは、ユーザ２０５は、制御モジュールを使用した直接手動制御に基づいて、内視鏡１１８の遠位端のピッチ及びヨー動作を直接制御する。例えば、ジョイスティック２０４の動作は、内視鏡１１８の遠位端におけるヨー及びピッチ動作にマッピングされ得る。ジョイスティック２０４は、ユーザ２０５に触覚フィードバックを提供することができる。例えば、ジョイスティック２０４は、振動して、内視鏡１１８が特定の方向にそれ以上並進又は回転することができないことを示す。コマンドコンソール２００はまた、内視鏡１１８が最大限の並進又は回転に達したことを示すために、視覚的フィードバック（例えば、ポップアップメッセージ）及び／又は聴覚的フィードバック（例えば、ビープ音）を提供することができる。

ポジション制御モードでは、コマンドコンソール２００は、患者の三次元（３Ｄ）マップ及び患者の所定のコンピュータモデルを使用して、外科用器具、例えば、内視鏡１１８を制御する。コマンドコンソール２００は、外科用ロボットシステム１００のロボットアーム１０２に制御信号を提供して、内視鏡１１８を標的位置まで操作する。３Ｄマップへ依拠するため、ポジション制御モードは、患者の解剖学的構造の正確なマッピングを必要とする。

いくつかの実施形態では、ユーザ２０５は、コマンドコンソール２００を使用せずに、外科用ロボットシステム１００のロボットアーム１０２を手動で操作することができる。外科手術室での設定中、ユーザ２０５は、ロボットアーム１０２、内視鏡１１８、及び他の外科用機器を動かして、患者にアクセスすることができる。外科用ロボットシステム１００は、ユーザ２０５からの力フィードバック及び慣性制御に依存して、ロボットアーム１０２及び装置の適切な構成を決定してもよい。

ディスプレイモジュール２０２は、電子モニタ、仮想現実閲覧装置（例えば、ゴーグル又は眼鏡）、及び／又はディスプレイ装置の他の手段を含んでもよい。いくつかの実施形態では、ディスプレイモジュール２０２は、例えば、タッチスクリーンを有するタブレット装置として、制御モジュールに統合される。更に、ユーザ２０５は、統合ディスプレイモジュール２０２及び制御モジュールを使用して、データ及び、外科用ロボットシステム１００への入力コマンドの両方を見ることができる。

ディスプレイモジュール２０２は、立体視装置（例えば、バイザー又はゴーグル）を使用して、３Ｄ画像を表示することができる。３Ｄ画像は、患者の解剖学的構造を示すコンピュータ３Ｄモデルである「エンドビュー」（すなわち、内視鏡ビュー）を提供する。「エンドビュー」は、患者の内部の仮想環境、及び患者の内部における内視鏡１１８の予想される位置を提供する。ユーザ２０５は、「エンドビュー」モデルを、カメラによってキャプチャされた実際の画像と比較して、内視鏡１１８が患者の体内の正しい、又は概ね正しい位置にあるように、頭の中において方向付けし確認する助けとする。「エンドビュー」は、内視鏡１１８の遠位端周囲の解剖学的構造、例えば、患者の腸又は結腸の形状に関する情報を提供する。ディスプレイモジュール２０２は、内視鏡１１８の遠位端周囲の解剖学的構造の３Ｄモデルとコンピュータ断層撮影（ＣＴ）スキャンとを同時に表示することができる。更に、ディスプレイモジュール２０２は、内視鏡１１８の既に決定されたナビゲーション経路を、３Ｄモデル、及び手術前モデルデータ（例えば、ＣＴスキャン）に基づいて生成されたスキャン／画像にオーバレイすることができる。

いくつかの実施形態では、内視鏡１１８のモデルが３Ｄモデルと共に表示され、外科処置の状態を示す助けとなる。例えば、ＣＴスキャンにより、生検が必要であり得る解剖学的構造にある病変が識別される。動作中、ディスプレイモジュール２０２は、内視鏡１１８の現在の位置に対応する、内視鏡１１８によってキャプチャされた基準画像を示すことができる。ディスプレイモジュール２０２は、ユーザ設定及び特定の外科処置に応じて、内視鏡１１８のモデルの異なるビューを自動的に表示することができる。例えば、ディスプレイモジュール２０２は、内視鏡１１８が患者の手術領域に接近する際のナビゲーション工程中には、内視鏡１１８の頭上からのＸ線透視図を示す。

ＩＩＩ．器具装置マニピュレータ
図３Ａは、一実施形態による、図１に示すＩＤＭ１１７の例示的な独立駆動機構の等角図を示す。独立駆動機構は、ＩＤＭ１１７の出力シャフト３０５、３０６、３０７、及び３０８をそれぞれ回転させることによって、内視鏡のプルワイヤ３２１、３２２、３２３、及び３２４を締める又は緩めることができる（例えば、互いから独立して）。出力シャフト３０５、３０６、３０７、及び３０８が、角動作を介して、それぞれプルワイヤ３２１、３２２、３２３、及び３２４に力を伝達するのと同じように、プルワイヤ３２１、３２２、３２３、及び３２４は、出力シャフトに力を伝達して戻す。ＩＤＭ１１７及び／又は外科用ロボットシステム１００は、センサ、例えば、以下に更に記載されるひずみゲージを使用して、伝達された力を測定することができる。

図３Ｂは、一実施形態による、図３Ａに示される独立駆動機構のひずみゲージ３３４によって力がどのように測定され得るかを示す概念図を示す。力３３１は、モータ３３７のモータマウント３３３に連結された出力シャフト３０５から離れるように方向付けられてもよい。したがって、力３３１は、モータマウント３３３の水平方向の変位をもたらす。更に、モータマウント３３３に水平に連結されたひずみゲージ３３４は、力３３１の方向にひずみを受ける。ひずみは、ひずみゲージ３３４の先端部３３５の水平方向変位とひずみゲージ３３４の水平幅３３６全体との比として測定され得る。

いくつかの実施形態では、ＩＤＭ１１７は、ＩＤＭ１１７の配向を判定するために、追加のセンサ、例えば、傾斜計又は加速度計を含む。追加のセンサ及び／又はひずみゲージ３３４からの測定値に基づいて、外科用ロボットシステム１００は、重力負荷効果を考慮するようにひずみゲージ３３４からの測定値を較正することができる。例えば、ＩＤＭ１１７がＩＤＭ１１７の水平側面上で配向される場合、ＩＤＭ１１７の特定の構成要素の重量が、モータマウント３３３にひずみを引き起こす場合がある。したがって、重力負荷効果を考慮することなく、ひずみゲージ３３４は、出力シャフト上のひずみに起因していなかったひずみを測定することができる。

ＩＶ．内視鏡
図４Ａは、一実施形態による、例示的な内視鏡１１８の上面図を示す。内視鏡１１８は、シース４１１の管状構成要素の内側で入れ子状又は部分的に入れ子状にされ、かつシース４１１の管状構成要素と長手方向に整列した、リーダ４１５の管状構成要素を含む。シース４１１は、近位シース区画４１２と遠位シース区画４１３とを含む。リーダ４１５は、シース４１１よりも小さな外径を有し、近位リーダ区画４１６及び遠位リーダ区画４１７を含む。シース基部４１４及びリーダ基部４１８は、例えば、外科用ロボットシステム１００のユーザからの制御信号に基づいて、遠位シース区画４１３及び遠位リーダ区画４１７をそれぞれ作動させる。シース基部４１４及びリーダ基部４１８は、例えば、図１に示されるＩＤＭ１１７の一部である。

シース基部４１４及びリーダ基部４１８は両方とも、シース４１１及びリーダ４１５に連結されたプルワイヤを制御するための駆動機構（例えば、セクションＩＩＩの器具装置マニピュレータで図３Ａ～Ｂを参照しながら更に説明される独立駆動機構）を含む。例えば、シース基部４１４は、シース４１１に連結されたプルワイヤ上に引張荷重を発生させて、遠位シース区画４１３を偏向させる。同様に、リーダ基部４１８は、リーダ４１５に連結されたプルワイヤ上に引張荷重を発生させて、遠位リーダ区画４１７を偏向させる。シース基部４１４及びリーダ基部４１８の両方は、空気圧、電力、電気信号、又は光信号を、ＩＤＭからシース４１１及びリーダ４１４へとそれぞれルーティングするためのカップリングを更に含んでもよい。プルワイヤは、シース４１１又はリーダ４１５内のプルワイヤの長さに沿ってスチールコイルパイプを含んでもよく、このスチールコイルパイプは、軸方向圧縮を、荷重の起点、例えば、シース基部４１４又はリーダ基部４１８のそれぞれに伝達して戻す。

内視鏡１１８は、シース４１１及びリーダ４１５に連結されたプルワイヤによって提供される多自由度のために、患者の解剖学的構造を容易にナビゲートすることができる。例えば、シース４１１及び／又はリーダ４１５のいずれかに４つ以上のプルワイヤを用いて、８つ以上の自由度を提供することができる。その他の実施形態では、最大で３つのプルワイヤを用いて、最大で６つの自由度を提供することができる。長手方向軸４０６に沿ってシース４１１及びリーダ４１５を最大で３６０度回転させて、より多くの動作度を提供することができる。回転角度と多自由度との組み合わせによって、外科用ロボットシステム１００のユーザに、使いやすく直感的な内視鏡１１８の制御が提供される。

図４Ｂは、一実施形態による、図４Ａに示す内視鏡１１８の例示的な内視鏡先端部４３０を示す。図４Ｂでは、内視鏡先端部４３０は、撮像装置４３１（例えば、カメラ）、照明光源４３２、及びＥＭコイル４３４の端部を含む。照明光源４３２は、解剖学的空間の内部を照明するための光を提供する。提供された光によって、撮像装置４３１がその空間の画像を記録することが可能となり、続いてこの画像を、本明細書に記載される処理のために、コマンドコンソール２００などのコンピュータシステムに送信することができる。先端部４３０上に位置する電磁（ＥＭ）コイル４３４は、ＥＭ追跡システムと共に使用されて、内視鏡先端部４３０が解剖学系内に配置されている間にそのポジション及び配向を検出することができる。いくつかの実施形態では、コイルは、異なる軸に沿ってＥＭ場に感度を提供するように角度付けされて、６つの自由度（３つのポジション自由度及び３つの角度自由度）の全てを測定する能力を付与することができる。他の実施形態では、単一のコイルのみが内視鏡先端部４３０内に配置されて、その軸が内視鏡１１８の内視鏡シャフトに沿って配向されてもよく、こうしたシステムの回転対称性に起因して、その軸を中心にロールすることは感度が悪いため、こうした場合においては５つの自由度だけが検出され得る。内視鏡先端部４３０は作業チャネル４３６を更に備え、これを通して生検針などの外科用器具を内視鏡シャフトに沿って挿入して、内視鏡先端部付近の領域へのアクセスを可能にすることができる。

Ｖ．３Ｄモデルに対するＥＭシステムの位置合わせ変換
Ｖ．Ａ．ＥＭ追跡システムの概略的な設定
図５は、一実施形態による、外科用ロボットシステム５００に含まれるＥＭ追跡システム５０５の例示的な概略設定を示す。図５では、ＥＭ追跡システム５０５には、複数のロボット構成要素（例えば、後述する窓磁場発生器、基準センサ）が含まれる。ロボット外科システム５００は、患者の身体を保持するための外科用ベッド５１１を含む。ベッド５１１の下に、ＥＭコイルのセット（例えば、図４Ｂに示されるＥＭコイル４３４）を順次作動させるように構成された窓磁場発生器（ＷＦＧ）５１２がある。ＷＦＧ５１２は、広い容積にわたって交流（ＡＣ）磁場を発生させ、例えば、いくつかの場合、約０．５×０．５×０．５ｍの容積にＡＣ磁場を生成することができる。

体内で器具を追跡するのを助けるために、更なる磁場発生器によって追加の磁場が適用されてもよい。例えば、平面磁場発生器（ＰＦＧ）を、患者に隣接するシステムアームに取り付け、傾斜したＥＭ場を提供するように配向してもよい。基準センサ５１３を患者の身体上に配置して、局所ＥＭ場を提供して、追跡精度を更に上げてもよい。基準センサ５１３のそれぞれは、ケーブル５１４によってコマンドモジュール５１５に取り付けられてもよい。ケーブル５１４は、インターフェースユニット５１６を介してコマンドモジュール５１５に接続され、インターフェースユニット５１６は、それらのそれぞれの装置との通信、並びに電力の供給を取り扱う。インターフェースユニット５１６は、上述の様々なエンティティのための全体的なインターフェースコントローラとして機能するシステム制御ユニット（ＳＣＵ）５１７に連結される。ＳＣＵ５１７はまた、磁場発生器（例えばＷＦＧ５１２）を駆動し、のみならず、インターフェースユニット５１６からのセンサデータを収集し、このセンサデータから、体内のセンサのポジション及び配向を計算する。ＳＣＵ５１７は、ユーザのアクセス及び制御を可能とするためにパーソナルコンピュータ（ＰＣ）５１８に連結されてもよい。

コマンドモジュール５１５はまた、本明細書に記載されるように外科用ロボットシステム５００に連結された様々なＩＤＭ５１９に接続される。ＩＤＭ５１９は、典型的には、単一の外科用ロボットシステム（例えば、外科用ロボットシステム５００）に連結され、これらのそれぞれの接続されたロボット構成要素、例えばロボット内視鏡ツール又はロボットアームからのデータを制御し、かつこのデータを受信するために使用される。上述したように、一例として、ＩＤＭ５１９は、外科用ロボットシステム５００の内視鏡ツール（本明細書では図示せず）に連結される。

コマンドモジュール５１５は、内視鏡ツールから渡されたデータを受信する。受信されるデータの種類は、取り付けられた対応する器具のタイプに依存する。例えば、受信されるデータの例としては、センサデータ（例えば、画像データ、ＥＭデータ）、ロボットデータ（例えば、内視鏡及びＩＤＭ物理動作データ）、制御データ、及び／又はビデオデータが挙げられる。ビデオデータをより良好に取り扱うために、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）５２０が、画像処理を取り扱うように構成されてもよい。様々なセンサ、装置、及び磁場発生器から得られたデータを比較することにより、ＳＣＵ５１７が、外科用ロボットシステム５００の異なる構成要素の運動、並びに例えばこれらの構成要素のポジション及び配向を正確に追跡することが可能となる。

患者の解剖学的構造を通してセンサを追跡するために、ＥＭ追跡システム５０５は、「位置合わせ」として知られるプロセスを必要とする場合があり、ここで、システムは、異なる座標系の間で単一の物体を整列させる幾何学的変換を発見する。例えば、患者の特定の解剖学的部位は、３Ｄモデル座標及びＥＭセンサ座標における２つの異なる表現を有する。これらの２つの異なる座標系間で一貫性及び共通言語を確立することができるように、ＥＭ追跡システム５０５は、これらの２つの表現をリンクさせる変換、すなわち位置合わせを発見する必要がある。例えば、対応する３Ｄモデル内の位置を特定するために、ＥＭ場発生器のポジションに対するＥＭトラッカのポジションが３Ｄ座標系にマッピングされ得る。

Ｖ．Ｂ ３Ｄモデル表現
図６Ａ～６Ｂは、一実施形態による、例示的な解剖学的内腔６００、及び解剖学的内腔の例示的な３Ｄモデル６２０を示す。より具体的には、図６Ａ～６Ｂは、実際の解剖学的内腔６００とその３Ｄモデル６２０との間の中心線座標、直径測定値、及び解剖学的空間の関係を示す。図６Ａでは、解剖学的内腔６００は、中心線座標６０１、６０２、６０３、６０４、６０５、及び６０６によって長手方向に概ね追跡され、各中心線座標は、内腔の断層撮影スライスの中心に概ね近似する。中心線座標は、中心線６０７によって接続され可視化される。内腔の体積は、各中心線座標で内腔の直径を測定することによって更に可視化することができ、例えば、座標６０８、６０９、６１０、６１１、６１２、及び６１３は、座標６０１、６０２、６０３、６０４、６０５、及び６０６に対応する内腔６００の測定値を表す。

図６Ｂは、一実施形態による、図６Ａに示す解剖学的内腔６００の例示的な３Ｄモデル６２０を示す。図６Ｂでは、解剖学的内腔６００は、最初に、中心線６０７に基づいて３Ｄ空間内の中心線座標６０１、６０２、６０３、６０４、６０５、及び６０６を配置することによって、３Ｄ空間内で可視化される。一例として、各中心線座標において、内腔の直径は、直径６０８、６０９、６１０、６１１、６１２、及び６１３を備える２Ｄ円形空間（例えば、２Ｄ円形空間６３０）として可視化される。これらの２Ｄ円形空間を接続して３Ｄ空間を形成することによって、解剖学的内腔６００は、３Ｄモデル６２０として近似化及び可視化される。より正確な近似値は、中心線座標及び測定値の分解能を増加させること、すなわち、所定の内腔又は小区画の中心線座標及び測定値の密度を増加させることによって判定することができる。中心線座標はまた、病変を含む医師の関心点を示すためのマーカを含んでもよい。

いくつかの実施形態では、生成された解剖学的空間の３Ｄモデルに基づいて、ナビゲーション経路を分析及び算出するために、術前ソフトウェアパッケージも使用される。例えば、ソフトウェアパッケージは、単一の病変（中心線座標によってマークされる）又はいくつかの病変に至る最短のナビゲーション経路を算出することができる。このナビゲーション経路は、手術中に、操作者の好みに応じて二次元又は三次元のいずれかで操作者に提示され得る。特定の実装形態では、下記で説明するように、ナビゲーション経路（又はその一部）は、手術前に操作者によって選択されてもよい。経路選択は、患者の解剖学的構造内の１つ以上の標的位置（単に「標的」とも称される）の識別を含み得る。

図７は、一実施形態による、解剖学的空間を表すコンピュータ生成３Ｄモデル７００を示す。図６Ａ～６Ｂで上述したように、３Ｄモデル７００は、手術前に生成されたＣＴスキャンを精査することによって得られた中心線７０１を使用して生成され得る。いくつかの実施形態では、コンピュータソフトウェアは、３Ｄモデル７００内の手術部位７０３（又は他の標的）にアクセスするために、管状網内のナビゲーション経路７０２をマッピングすることが可能であり得る。いくつかの実施形態では、手術部位７０３は、個々の中心線座標７０４にリンクされてもよく、これにより、コンピュータアルゴリズムが、管状網内の最適経路７０２を求めて３Ｄモデル７００の中心線座標内をトポロジ検索することが可能となる。特定の実施形態では、経路７０２のトポロジ検索は、１つ以上の標的の位置、１つ以上の中間点（waypoints）などといった、特定の操作者によって選択されたパラメータによって制約され得る。

いくつかの実施形態では、患者の解剖学的構造内の内視鏡ツールの遠位端が追跡され、また患者の解剖学的構造内の内視鏡ツールの追跡された位置がコンピュータモデル内でマッピング及び配置され、これによって管状網のナビゲーション能力が向上する。内視鏡ツールの遠位作業端、すなわち、作業端の位置及び配向を追跡するために、単独で又は組み合わせてのいずれかで、多数のアプローチが採用され得る。

位置特定に対するセンサベースのアプローチにおいては、電磁（ＥＭ）トラッカなどのセンサを内視鏡ツールの遠位作業端に連結して、内視鏡ツールの進行のリアルタイム表示を提供することができる。ＥＭベースの追跡においては、内視鏡ツールに埋め込まれたＥＭトラッカが、１つ以上のＥＭ送信機によって生成された電磁場の変動を測定する。送信機（又は磁場発生器）は、低強度磁場を生成するために、（例えば、外科用ベッドの一部として）患者に近接して配置されてもよい。これにより、ＥＭトラッカ内のセンサコイル内に小さな電流が誘導され、この電流はセンサと発生器との間の距離及び角度に相関する。続いて、電気信号が、インターフェースユニット（オンチップ又はＰＣＢ）によってデジタル化され、ケーブル／配線を介してシステムカートに戻され、続いてコマンドモジュールに送られてもよい。続いて、データを処理して、電流データを解釈し、送信機に対するセンサの正確な位置及び配向を計算することができる。それら構成要素の個々のポジションを計算するために、複数のセンサが、内視鏡ツール内、例えばリーダ及びシース内の様々な位置で用いられてもよい。したがって、人工的に生成されたＥＭ場からの測定値に基づいて、ＥＭトラッカは、患者の解剖学的構造を通って移動するときに、電界強度の変化を検出することができる。

Ｖ．Ｃ．オンザフライＥＭ位置合わせ
図８Ａ～８Ｄは、一実施形態による、管状網を通る経路の３Ｄモデルに対するＥＭシステムのオンザフライ位置合わせを示す例示的なグラフ８１０～８４０を示す。本明細書に記載されるナビゲーション構成システムは、内視鏡処置に先立って独立した位置合わせを必要とすることなく、３Ｄモデル座標に対するＥＭ座標のオンザフライ位置合わせを可能にする。より詳細には、図８Ａは、ＥＭ追跡システム及び３Ｄモデルの座標系が最初は互いに位置合わせされていないことを示し、図８Ａのグラフ８１０は、分枝状管状網（本明細書では図示せず）を通って計画されたナビゲーション経路８０２に沿って移動する内視鏡先端部８０１の位置合わせされた（又は予測された）位置を示し、位置合わせされた器具先端部８０１の位置、及び計画された経路８０２は３Ｄモデルから算出される。先端部の実際のポジションはＥＭ追跡システム５０５によって繰り返し測定され、ＥＭデータに基づく複数の測定位置データ点８０３がもたらされる。図８Ａに示すように、ＥＭ追跡から算出されたデータ点８０３は、最初は、３Ｄモデルから予測される内視鏡先端部８０１の位置合わせされた位置から遠く離れて位置し、ＥＭ座標と３Ｄモデル座標との間の位置合わせの欠如を反映している。これには、例えば、内視鏡先端部が管状網を通って比較的円滑に移動されている場合であっても、患者の肺の呼吸運動のために、ＥＭ測定値におけるいくらかの可視散乱が依然として存在し得ることなど、いくつかの理由がある場合がある。

３Ｄモデル上の点も、３Ｄモデル自体と、光学センサ（例えば、カメラ）から受信した画像データと、ロボットコマンドからのロボットデータとの間の相関に基づいて判定及び調節され得る。これらの点と収集されたＥＭデータ点との間の３Ｄ変換により、３Ｄモデル座標系に対するＥＭ座標系の初期位置合わせが決定される。

図８Ｂは、一実施形態による、グラフ８１０と比較した、後の時間段階におけるグラフ８２０を示す。より具体的には、グラフ８２０は、経路に沿った図８Ａに示される器具先端部８０１の元の予測ポジションから図８Ｂに示すポジションへのシフトによって示されるように、３Ｄモデルから予測された内視鏡先端部８０１の予測位置が、予め計画されたナビゲーション経路８０２に沿ってより遠くに移動したことを示す。グラフ８１０の生成とグラフ８２０の生成との間におけるＥＭ追跡の間に、ＥＭ追跡システムによって追加のデータ点８０３が記録されているが、新たに収集されたＥＭデータに基づく位置合わせはまだ更新されていない。結果として、図８Ｂのデータ点８０３は、可視経路８１４に沿ってクラスタ化されるが、その経路は、内視鏡先端部が、それに沿って移動するように操作者によって方向付けられる計画されたナビゲーション経路８０２とは位置及び配向が異なる。最終的に、十分なデータ（例えば、ＥＭデータ）が蓄積されると、３Ｄモデルのみ又はＥＭデータのみを使用することと比較して、ＥＭ座標を３Ｄモデルの座標と位置合わせするために必要とされる変換から比較的より正確な推定値を算出することができる。十分なデータの判定は、蓄積された合計データ又は方向の変化数などの閾値基準によってなされ得る。例えば、気管支管網などの分枝状管状網では、２つの分枝点に到着した後に十分なデータが蓄積されたと判断され得る。

図８Ｃは、一実施形態による、ナビゲーション構成システムがＥＭから３Ｄモデル座標への位置合わせ変換を推定するのに十分な量のデータを蓄積した直後のグラフ８３０を示す。図８Ｃのデータ点８０３は、ここでは、位置合わせ変換の結果として、図８Ｂに示すそれらの以前のポジションからシフトされている。図８Ｃに示すように、ＥＭデータから算出されたデータ点８０３は、ここでは、３Ｄモデルから算出された計画されたナビゲーション経路８０２に沿って置かれ、データ点８０３間の各データ点は、ここでは、３Ｄモデルの座標系中の内視鏡先端部８０１の予測ポジションの測定値を反映している。いくつかの実施形態では、更なるデータが収集されると、位置合わせ変換を更新して精度を高めることができる。場合によっては、位置合わせ変換を判定するために用いられるデータは、移動窓によって選択されるデータのサブセットであってもよく、その結果、位置合わせは経時的に変化することができ、これによって、例えば患者の動きに起因するＥＭ及び３Ｄモデルの相対座標の変化を考慮する能力が与えられる。

図８Ｄは、一実施形態による、内視鏡先端部８０１の予測位置が計画されたナビゲーション経路８０２の端部に到達して、管状網の標的位置に達する、例示的なグラフ８４０を示す。図８Ｄに示されるように、記録されたＥＭデータ点８０３は、ここでは、処置全体にわたる内視鏡先端部の追跡を表す、計画されたナビゲーション経路８０２に沿って概ね追跡する。各データ点は、３Ｄモデルに対するＥＭ追跡システムの更新された位置合わせに起因して、変換された位置を反映する。

いくつかの実施形態では、図８Ａ～８Ｄに示されるグラフのそれぞれは、内視鏡先端部が管状網内を前進すると、ユーザに可視であるディスプレイ上に連続的に示され得る。いくつかの実施形態では、ユーザが、固定された基準系を維持し、かつ、ディスプレイ上に示されるモデル上及び計画された経路上で視覚的に配向された状態を維持することができるように、プロセッサは、ディスプレイ上に示される測定された経路のシフトによって測定されたデータ点がディスプレイに位置合わせされたときに、ディスプレイ上に示されたモデルが実質的に一定の状態を維持するように、ナビゲーション構成システムからの命令で構成され得る。

図８Ｅ～８Ｆは、一実施形態による、分枝状管状網の３Ｄモデルに対するＥＭシステムの例示的な位置合わせの効果を示す。図８Ｅ～８Ｆでは、電磁追跡データ８５２及び患者の気管支系８５４のモデルを示す３Ｄグラフが、位置合わせ変換を伴わずに（図８Ｅに示される）、及び位置合わせ変換を伴って（図８Ｆに示す）、例示されている。位置合わせを伴わない図８Ｅでは、追跡データ８６０は、気管支系８５４を通る経路に対応する形状を有するが、その形状は任意のオフセット及び回転を受けている。図８Ｆでは、位置合わせを適用することによって、追跡データ８５２は、気管支系８５４を通る経路に対応するようにシフト及び回転される。

ＶＩ．ナビゲーション構成システム
ＶＩ．Ａ．ナビゲーション構成システムの高レベルな概要
図９Ａ～図９Ｂは、一実施形態による、ナビゲーション構成システム９００の例示的なブロック図を示す。より具体的には、図９Ａは、一実施形態による、ナビゲーション構成システム９００の例示的なブロック図の高レベルな概要を示す。図９Ａでは、ナビゲーション構成システム９００は、複数の入力データストアと、複数の入力データストアから様々な種類の入力データを受信するナビゲーションモジュール９０５と、複数の入力データストアから様々な種類の入力データを受信する外部セグメンテーションナビゲーションモジュール９０５と、ナビゲーションモジュールから出力ナビゲーションデータを受信する出力ナビゲーションデータストア９９０と、を含む。図９Ａに示すナビゲーション構成システム９００のブロック図は単なる一例であり、図示されない代替的な実施形態では、ナビゲーション構成システム９００は、異なる及び／又は追加のエンティティを含むことができる。同様に、システム９００の様々なエンティティによって実行される機能は、異なる実施形態に従って異なり得る。ナビゲーション構成システム９００は、その全体が参照により本明細書に組み込まれる、２０１７年３月２３日公開の米国特許出願公開第２０１７／００８４０２７号に記載されるナビゲーションシステムと同様であってもよい。

本明細書で使用するとき、入力データとは、内視鏡の推定状態情報及び出力ナビゲーションデータを生成するために、入力装置（例えば、コマンドモジュール、光学センサ、ＥＭセンサ、ＩＤＭ）から集められ、且つ／又は入力装置によって処理される生データを指す。複数の入力データストア９１０～９４５は、画像データストア９１０、ＥＭデータストア９２０、ロボットデータストア９３０、３Ｄモデルデータストア９４０、及び経路データストア９４５を含む。入力データストア９１０～９４５のそれぞれのタイプは、ナビゲーションモジュール９０５によるアクセス及び使用のための、名前が指定されるタイプのデータ（name-indicated type of data）を記憶する。画像データは、器具先端部で撮像装置によってキャプチャされた１つ以上の画像フレーム、並びにフレームのペアの間で経過した時間の判定を可能にするフレームレート又はタイムスタンプなどの情報を含んでもよい。ロボットデータは、管状網内における医療器具又は医療器具の一部（例えば、器具先端部又はシース）の物理的移動に関連するデータを含んでもよい。例示的なロボットデータとしては、器具先端部に対して、管状網内の特定の解剖学的部位に到達するように、かつ／又はその配向を変更するように（例えば、リーダ及びシースのうちの一方又は両方の、特定のピッチ、ロール、ヨー、挿入、及び後退を用いて）指示するコマンドデータ、医療器具の一部の挿入運動を表す挿入データ（例えば、器具先端部又はシース）、ＩＤＭデータ、並びに医療器具の細長い部材の機械的移動、例えば、管状網内で内側器具（medial instrument）の実際の動きを駆動する内視鏡の１つ以上のプルワイヤ、腱、又はシャフトの動作を表す機械的データが挙げられる。ＥＭデータは、上述のＥＭセンサ及び／又はＥＭ追跡システムによって収集され得る。３Ｄモデルデータは、上記の２Ｄ ＣＴスキャンから算出され得る。経路データは、管状網のトポロジ検索によって１つ以上の標的へと生成され得る、計画されたナビゲーション経路（例えば、ナビゲーション経路７０２）を含む。複数の入力データストアもまた、任意のポジションセンサデータストア９４７などの他の種類のデータストアを含んでもよい。特定の実装形態では、ポジションセンサデータストア９４７は、器具内に配置された形状感知ファイバから受信した形状センサデータを記憶してもよい。ナビゲーションモジュール９０５及び／又は外部セグメンテーションナビゲーションモジュール９０７は、実施形態に応じて、ポジションセンサデータストア９４７からポジションセンサデータを受信するように構成されてもよい。

出力ナビゲーションデータストア９９０は、ナビゲーションモジュール９０５及び／又は外部セグメンテーションナビゲーションモジュール９０７によって提供された出力ナビゲーションデータを受信して記憶する。以下でより詳細に説明するように、システム９００は、管腔網のマッピングされた部分に対する器具のポジションに基づいて、ナビゲーションモジュール９０５及び外部セグメンテーションナビゲーションモジュール９０７によって生成された出力ナビゲーションデータに与えられる重みを調整してもよい。出力ナビゲーションデータは、管状網内の特定の行き先に到達するように管状網を通して医療器具を方向付けることを支援する情報を示し、また、各瞬時における医療器具の推定状態情報に基づいており、推定状態情報は、管状網内の医療器具の位置及び配向を含む。一実施形態では、医療器具が管状網内で移動すると、医療器具の移動及び位置／配向情報の更新を示す出力ナビゲーションデータがリアルタイムで提供され、これが、管状網を通したそのナビゲーションをより良好に支援する。

出力ナビゲーションデータを判定するために、ナビゲーションモジュール９０５及び／又は外部セグメンテーションナビゲーションモジュール９０７は、管状網内の医療器具の推定状態を位置特定（又は判定）する。図９Ａに示すように、ナビゲーションモジュール９０５は、ＥＭベースのアルゴリズムモジュール９５０、画像ベースのアルゴリズムモジュール９６０、ロボットベースのアルゴリズムモジュール９７０、及び経路ベースのアルゴリズムモジュール９７５などの様々なアルゴリズムモジュールを更に含み、それぞれが、主に特定のタイプの入力データを消費し、かつ異なるタイプのデータを状態推定器９８０に提供し得る。図９Ａに示されるように、これらのモジュールによって出力される異なる種類のデータ、標識されたＥＭベースのデータ、画像ベースのデータ、ロボットベースのデータ、及び経路ベースのデータは、一般に、説明のために「中間データ」と称され得る。各アルゴリズムモジュール及び状態推定器９８０の詳細な構成を、以下でより詳細に説明する。

ＶＩ．Ｂ．ナビゲーションモジュール
図９Ａで示したナビゲーションモジュール９０５を参照すると、ナビゲーションモジュール９０５は、状態推定器９８０、並びに管状網を通ってナビゲートするための異なるアルゴリズムを用いる複数のアルゴリズムモジュールを含む。説明を明確にするために、状態推定器９８０を最初に説明し、その後、状態推定器９８０とデータを交換する様々なモジュールの説明が続く。

ＶＩ．Ｂ．１ 状態推定器
ナビゲーションモジュール９０５に含まれる状態推定器９８０は、様々な中間データを受信して、時間の関数として器具先端部の推定状態を提供し、推定状態は、管状網内の器具先端部の推定位置及び配向の情報を示す。推定状態データは、状態推定器９８０に含まれる推定データストア９８５に記憶される。

図９Ｂは、一実施形態による、状態推定器９８０に含まれる推定状態データストア９８５の例示的なブロック図を示す。推定状態データストア９８５は、分岐データストア１０８６、ポジションデータストア１０８７、深さデータストア１０８８、及び配向データストア１０８９を含んでもよいが、このデータストレージの特定の細分化は単なる一例であり、示されていない代替的な実施形態では、異なる及び／又は追加のデータストアが推定状態データストア９８５に含まれてもよい。

上記で紹介された様々なストアは、様々な方法で推定状態データを表す。具体的には、分岐データは、管状網内の分枝のセット（例えば、二分岐、三分岐、又は３つを超える分枝）に関する医療器具の位置を指す。例えば、分岐データは、例えば、管状網の全体をマッピングする３Ｄモデルによって提供される利用可能な分枝のより大きなセットに基づいて、器具が管状網内を横断する際に器具によって選択される分枝選択のセットであることができる。分岐データは、器具先端部が近位にあるが、まだ横断されていないものの、例えば、３Ｄモデルに対する先端部の現在のポジション情報に基づいて、又は次の分岐をキャプチャした画像に基づいて検出されていてもよいという、分枝（分岐）などの器具先端部の位置の前部の情報を更に含むことができる。

ポジションデータは、管状網内の医療器具の一部、又は管状網自体の一部の三次元ポジションを示す。ポジションデータは、例えば、管状網の３Ｄモデルに対する絶対位置又は相対位置の形態であり得る。一例として、ポジションデータは、器具の位置のポジションが特定の分枝内にあるという指示を含むことができる。特定の分枝の識別はまた、器具先端部が位置するモデルの特定のセグメントを一意に識別するセグメント識別（ＩＤ）として記憶されてもよい。

深さデータは、管状網内の器具先端部の深さ情報を示す。深さデータの例としては、患者内への医療器具の合計挿入（絶対）深さ、並びに特定された分枝（例えば、ポジションデータストア１０８７によって識別されたセグメント）内の（相対的）深さが挙げられる。深さデータは、管状網及び医療器具の両方に関するポジションデータに基づいて決定され得る。

配向データは、器具先端部の配向情報を示し、また、３Ｄモデルに関連した全体的なロール、ピッチ、及びヨー、並びに識別された分枝内のピッチ、ロール、ヨーを含み得る。

再び図９Ａを参照すると、状態推定器９８０は、推定状態データをアルゴリズムモジュールに戻してより正確な中間データを生成し、状態推定器はこの中間データを使用して、改善された及び／又は更新された推定状態などを生成して、フィードバックループを形成する。例えば、図９Ａに示すように、ＥＭベースのアルゴリズムモジュール９５０は、タイムスタンプ「ｔ－１」に関連付けられたデータとも称される、以前のＥＭベース推定状態データを受信する。状態推定器９８０は、このデータを使用して、タイムスタンプ「ｔ－１」に関連付けられた「推定状態データ（以前）」を生成する。続いて、状態推定器９８０は、データをＥＭベースのアルゴリズムモジュールに戻す。「推定状態データ（以前」は、異なるアルゴリズムモジュールから生成及び受信されたとおりのタイムスタンプ「ｔ－１」に関連付けられた、異なる種類の中間データ（例えば、ロボットデータ、画像データ）の組み合わせに基づいてもよい。次に、ＥＭベースのアルゴリズムモジュール９５０は、推定状態データ（以前）を使用してそのアルゴリズムを実行して、状態推定器９８０に改善及び／又は更新されたＥＭベースの推定状態データを出力し、これは、本明細書では「ＥＭベース推定状態データ（現在）」によって表され、またタイムスタンプｔに関連付けられる。このプロセスは継続して、将来のタイムスタンプに対しても繰り返される。

状態推定器９８０は、いくつかの異なる種類の中間データを使用して、管状網内の医療器具の状態のその推定値に到達することができるため、状態推定器９８０は、測定及び分析の両方において様々な異なる種類の誤差及び不確実性を考慮するように構成されており、各タイプの基礎データ（ロボット、ＥＭ、画像、経路）及び各タイプのアルゴリズムモジュールが、推定状態の判定における考慮のために使用される中間データを生成又は完成させることができる。これらに対処するために、確率分布及び信頼値の２つの概念が論じられる。

本明細書で使用するとき、「確率分布」の「確率」とは、医療器具の可能な位置及び／又は配向の推定値が正確である尤度を指す。例えば、異なる確率は、医療器具が管状網内のいくつかの異なる可能な分枝のうちの１つにあることの相対尤度を示すアルゴリズムモジュールのうちの１つによって計算され得る。一実施形態では、確率分布のタイプ（例えば離散分布又は連続分布）は、推定状態の特徴と一致するように選択される（例えば推定状態のタイプ、例えば、連続ポジション情報対離散分枝選択肢）。一例として、三分岐のために医療器具がどのセグメント内にあるかを識別するための推定状態は、離散確率分布によって表されてもよく、また、アルゴリズムモジュールのうちの１つによって決定されるように、３つの分枝のそれぞれの内側の位置にある可能性を表す２０％、３０％、及び５０％の３つの離散値を含んでもよい。別の例として、推定状態は、４０±５度の医療器具のロール角を含んでもよく、分枝内の器具先端部のセグメント深さは４±１ｍｍであってよく、これらはそれぞれ連続確率分布の１つのタイプであるガウス分布によって表される。異なる方法又はモダリティを使用して確率を生成することができるが、これは、後続の図を参照して以下でより詳細に説明されるように、アルゴリズムモジュールによって変化する。

対照的に、本明細書で使用するとき、「信頼値」は、１つ以上の因子に基づいてアルゴリズムのうちの１つによって提供される状態の推定における信頼性の尺度を反映する。ＥＭベースのアルゴリズムの場合、ＥＭ場に対する歪み、ＥＭ位置合わせにおける不正確性、患者のシフト又は動き、及び患者の呼吸などの因子が、状態の推定における信頼性に影響を及ぼし得る。特に、ＥＭベースのアルゴリズムによって提供される状態の推定における信頼値は、患者の特定の呼吸周期、患者又はＥＭ場発生器の動き、及び器具先端部が位置する解剖学的構造内の位置に依存し得る。画像ベースのアルゴリズムの場合、状態の推定において信頼値に影響を及ぼし得る例示的な因子としては、画像がキャプチャされる解剖学的構造内の位置の照明条件、画像をキャプチャする光学センサに対する、又はその前面にある、流体、組織、又はその他の障害物の存在、患者の呼吸、管状網内の一般的な流体及び管状網の閉塞などの患者自体（例えば、肺）の管状網の状態、並びに、例えば、ナビゲート又は画像キャプチャに使用される特定の操作技術が挙げられる。

例えば、ある因子は、特定のアルゴリズムが、気道開口部に比較的近位であるような、患者の肺内の異なる深さで異なるレベルの精度を有し、特定のアルゴリズムが、医療器具の位置及び配向の推定において高い信頼性を有し得るが、医療器具が肺の底部へと更に移動すると、その信頼値が低下し得るようであり得る。一般に、信頼値は、それによって結果が判定されるプロセスに関する１つ以上の全身性因子に基づくものであり、一方で、確率は、基礎データに基づいて単一のアルゴリズムを用いて、複数の可能性から正しい結果を決定しようと試みるときに生じる相対的な尺度である。

一例として、離散確率分布（例えば、関与する推定状態の３つの値を伴う三分岐の分枝／セグメント識別）によって表される推定状態の結果を計算するための数学的方程式は、以下のとおりであり得る。
Ｓ_１＝Ｃ_ＥＭ ^＊Ｐ_１，ＥＭ＋Ｃ_画像 ^＊Ｐ_１，画像＋Ｃ_ロボット ^＊Ｐ_{１，ロボット}；
Ｓ_２＝Ｃ_ＥＭ ^＊Ｐ_２，ＥＭ＋Ｃ_画像 ^＊Ｐ_２，画像＋Ｃ_ロボット ^＊Ｐ_{２，ロボット}；
Ｓ_３＝Ｃ_ＥＭ ^＊Ｐ_３，ＥＭ＋Ｃ_画像 ^＊Ｐ_３，画像＋Ｃ_ロボット ^＊Ｐ_{３，ロボット}。

上記の例示的な数学的方程式において、Ｓ_ｉ（ｉ＝１，２，３）は、３つの可能なセグメントが３Ｄモデル内で識別されるか又は存在する場合の、推定状態の可能な例示値を表し、Ｃ_ＥＭ、Ｃ_画像、及びＣ_ロボットは、ＥＭベースのアルゴリズム、画像ベースのアルゴリズム、及びロボットベースのアルゴリズムに対応する信頼値を表し、また、Ｐ_ｉ，ＥＭ、Ｐ_ｉ，画像、及びＰ_{ｉ，ロボット}は、セグメントｉの確率を表す。

推定状態に関連付けられた確率分布及び信頼値の概念をより良く例示するために、本明細書で詳細な例を提供する。本実施例では、ユーザは、器具先端部が管状網の中央気道（予測領域）内の特定の三分岐内に位置するセグメントを識別することを試みており、またＥＭベースのアルゴリズム、画像ベースのアルゴリズム、及びロボットベースのアルゴリズムを含む３つのアルゴリズムモジュールが用いられる。本実施例では、ＥＭベースのアルゴリズムに対応する確率分布は、第１の分枝内で２０％、第２の分枝内で３０％、及び第３の（最後の）分枝内で５０％であり得、このＥＭベースのアルゴリズム及び中央気道に適用される信頼値は８０％である。同じ実施例では、画像ベースのアルゴリズムに対応する確率分布は、第１、第２、及び第３の分枝の場合で４０％、２０％、４０％であってもよく、またこの画像ベースのアルゴリズムに適用される信頼値は３０％であり、一方で、ロボットベースのアルゴリズムに対応する確率分布は、第１、第２、及び第３の分枝の場合で１０％、６０％、３０％であってもよく、またこの画像ベースのアルゴリズムに適用される信頼値は２０％である。ＥＭベースのアルゴリズム及び画像ベースのアルゴリズムに適用される信頼値の差は、ＥＭベースのアルゴリズムが、画像ベースのアルゴリズムと比較して、中央気道におけるセグメント識別のより良い選択であり得ることを示す。最終推定状態の例示的な数学的計算は、以下のものであり得る。

第１の分枝の場合、２０％×８０％＋４０％×３０％＋１０％×２０％＝３０％；第２の分枝の場合、３０％×８０％＋２０％×３０％＋６０％×２０％＝４２％；第３の分枝の場合、５０％×８０％＋４０％×３０％＋３０％×２０％＝５８％。

この実施例では、器具先端部の出力推定状態は、結果値（例えば、結果として得られる３０％、４２％、及び５８％）、又は、器具先端部が第３の分枝にあるという判定などの、これらの結果値からの微分値であり得る。この実施例は、ＥＭベースのアルゴリズム、画像ベースのアルゴリズム、及びロボットベースのアルゴリズムを含むアルゴリズムモジュールの使用について説明しているが、器具先端部の状態の推定値も、経路ベースアルゴリズムを含む様々なアルゴリズムモジュールの異なる組み合わせに基づいて提供され得る。

上記のように、推定状態は、多数の異なる方法で表されてもよい。例えば、推定状態は、気道から器具の先端部の位置までの絶対深さ、並びに管状網内の器具によって横断される分枝のセットを表すデータセットを更に含んでもよく、このセットは、例えば、患者の肺の３Ｄモデルによって提供される分枝のセット全体のサブセットである。推定状態に対する確率分布及び信頼値の適用は、管状網内の器具先端部の位置及び／又は配向の推定精度の改善を可能にする。

ＶＩ．Ｂ．２ 経路ベースのナビゲーションの概要
図９Ａに示すように、アルゴリズムモジュールは、ＥＭベースのアルゴリズムモジュール９５０、画像ベースのアルゴリズムモジュール９６０、ロボットベースのアルゴリズムモジュール９７０、及び経路ベースのアルゴリズムモジュール９７５を含む。図９Ａに示されるアルゴリズムモジュールは単なる一例であり、代替的な実施形態では、異なる及び／又は追加のナビゲーションアルゴリズムを伴う、異なる及び／又は追加のアルゴリズムモジュールもナビゲーションモジュール９０５に含まれてもよい。ＥＭベースのアルゴリズムモジュール９５０、画像ベースのアルゴリズムモジュール９６０、及びロボットベースのアルゴリズムモジュール９７０の更なる詳細及び例示的実施形態は、上記で参照した米国特許出願公開第２０１７／００８４０２７号で説明されている。

図１０は、本開示の態様による、経路ベースのアルゴリズムモジュール９７５の例示的なブロック図を示す。経路ベースのアルゴリズムモジュール９７５は、入力として、推定状態データストア９８５からの推定状態データ（以前）（例えばポジションデータ及び／又は深さデータ）、３Ｄモデルデータストア９４０からの３Ｄモデルデータ、及び経路データストア９４５からの経路データを受信する。受信したデータに基づいて、経路ベースのアルゴリズムモジュール９７５は、管状網の３Ｄモデルに対する器具先端部のポジションの推定値を判定し、状態推定器９８０に経路ベースの推定状態データ（現在）を提供し、これは推定状態データストア９８５に記憶され得る。一例として、経路ベースの推定状態データは、３Ｄモデルの複数の識別されたセグメント間の確率分布（例えば、分岐部で接合された２つのセグメントに対する３０％及び７０％の離散分布）として表すことができる。

ナビゲーション構成システム９００は、推定状態データストア９８５から受信した推定状態データ（以前）に基づいて定義され得る器具先端部の現在位置に応じて、複数のモダリティのうちの１つで動作することができる。具体的には、ナビゲーション構成システム９００は、器具先端部の現在位置が、３Ｄモデルデータストア９４０に記憶された３Ｄモデルデータによって画定され得る管腔網のマッピングされた部分内にあると判定された場合、１つのモダリティで（例えば、ナビゲーションモジュール９０５を使用して）動作することができる。更に、特定の実施態様では、経路ベースのアルゴリズムモジュール９７５は、器具先端部の現在位置が、管腔網のマッピングされた部分の外側にあるか、又は、管腔網のマッピングされていない部分の閾値距離内にあると判定された場合は、別のモダリティで（例えば外部セグメンテーションナビゲーションモジュール９０７を使用して）動作することができる。以下でより詳細に説明するとおり、ナビゲーション構成システム９００は、器具の現在位置から管腔網のマッピングされた部分の縁部までの距離などの特定の閾値の検出に基づいて、第１のモダリティと第２のモダリティとの間を移行することができる。

ＶＩ．Ｂ．２．Ｉ．経路ベースのナビゲーション－管腔網のマッピングされた部分内
図１１は、本開示の態様による、管状網の経路ベースのナビゲーションのための、ロボットシステム又はその構成要素（複数可）によって動作可能な例示的な方法を示すフローチャートである。例えば、図１１に示される方法１１００の工程は、プロセッサ（複数可）、及び／又は医療用ロボットシステム（例えば、外科用ロボットシステム５００）などのその他の構成要素（複数可）、若しくは関連するシステム（複数可）（例えば、ナビゲーション構成システム９００の経路ベースのアルゴリズムモジュール９４５）によって実施され得る。便宜上、方法１１００は、方法１１００の説明に関連して単に「システム」とも称されるナビゲーション構成システムによって実施されるものとして説明される。

方法１１００は、ブロック１１０１において開始する。ブロック１１０５において、システムは、位置センサのセット及びロボットコマンド入力のセットのうちの少なくとも一方から位置データを受信することができる。位置データは、患者の管腔網を通って駆動されるように構成されている器具の位置を示すことができる。上述のように、システムは、少なくとも１つのコンピュータ可読メモリに記憶された管腔網のモデル（例えば、３Ｄモデルデータストア９４０に記憶された３Ｄモデルデータ）と、モデルに対する標的のポジションと、モデルの少なくとも一部分に沿った、アクセス点から標的までの経路と、を含むことができる。特定の実施形態では、経路及び標的のポジションは、経路データストア９４５内の経路データとして記憶され得る。

ブロック１１１０において、システムは、位置データに基づいて第１の時間における器具の位置の第１の推定値を判定することができる。器具の位置の第１の推定値は、例えば、画像データストア９１０、ＥＭデータストア９２０、ロボットデータストア９３０、及び／又は３Ｄモデルデータストア９４０のうち１つ以上から受信したデータに基づいてもよい。

ブロック１１１５において、システムは、経路に基づいて第１の時間における器具の位置の第２の推定値を判定することができる。特定の実装形態では、経路ベースの推定状態データは、経路に沿ったセグメント（例えば、経路データストア９４５から受信された経路データ）及び識別されたセグメントに関連付けられた重みの表示を含み得る。したがって、システムは、経路ベースの位置推定値に関連付けられた重みを判定することができる。

実施形態に応じて、システムは、推定状態データストア９８５の深さデータストア１０８８から受信した深さデータに基づいて、器具の推定位置として、経路に沿った管腔網のセグメントを選択してもよい。システムは、深さ情報を使用して、深さデータから判定された経路に沿った距離（例えば、管腔網のアクセス点から開始する深さデータによって画定される距離）に基づいて器具の位置を推定することができる。

システムは、複数の方法又はモダリティのうちの１つを用いて、経路ベースの推定値に関連付けられた重みを判定することができる。特定の実施形態では、システムは、管腔網内の器具の位置に基づいて（例えば、推定状態データストア９８５から受信した推定状態データ（以前）に基づいて）、重みを判定してもよい。以下に詳細に記載されるように、経路ベースの位置推定値に関連する重みは、操作者が器具を駆動している間に経路から逸脱する確率に基づいてもよい。様々な要因が、経路の一部ではない管腔網のセグメントに操作者が器具を駆動させる確率に影響を及ぼし得る。これらの要因の例としては、器具を前進させるための正しいセグメントを視覚的に識別することの難しさ、管腔網の分枝系の複雑さ、経路の外側の管腔網の部分を探索する操作者の判定などが挙げられる。これらの要因のいくつか又は全てが、管腔網への器具の挿入深さに応じて操作者が経路から逸脱する確率を増加させ得る。重みの適切な選択により、システムは、状態推定器９８０が、器具の推定状態をベースとするデータ源として、経路ベースの位置推定を確実に使用する能力を増加させることができる。

関連する態様において、ブロック１１１５に関する更なる詳細及び例示的なモデルを、図１２を参照して以下で説明する。

引き続き図１１を参照すると、ブロック１１２０において、システムは、第１の推定値及び第２の推定値に基づいて第１の時間における器具の位置を判定することができる。この判定は、例えば、経路ベースのアルゴリズムモジュール９７５、並びにＥＭベースのアルゴリズムモジュール９５０、画像ベースのアルゴリズムモジュール９６０、及びロボットベースのアルゴリズムモジュール９７０のうちの少なくとも１つから受信した推定状態データに基づいて、器具の状態を判定する状態推定器９８０によって実施され得る。システムが、経路ベースの位置推定値に関連付けられた重みを判定する実施形態では、システムは、ブロック１１２０において器具の位置を判定する際に重みを更に使用することができる。方法１１１０は、ブロック１１２５において終了する。

図１２は、経路ベースの位置推定に関連する本開示の態様を説明するための、管腔網の一部分の簡略化された例示的モデルである。具体的には、図１２は、管腔網の中心線によって画定され得る構造線（skeleton）１２０５、及びモデル１２００の一部分を横断するナビゲーション経路１２１０を含む簡略化された管腔網のモデル１２００を示す。構造線１２０５からオフセットされて示されているが、特定の実施形態では、ナビゲーション経路１２１０は構造線１２０５に沿って画定され得る。モデル１２００は、第１世代セグメント１２２１と、第１世代セグメント１２２１から分枝する２つの第２世代セグメント１２３１及び１２３５と、４つの第３世代セグメント１２４１、１２４３、１２４５、及び１２４７と、を更に含む。器具の遠位端の２つの例示的な位置１２５１及び１２５５も図１２に示されている。

一実施態様では、器具の位置は、器具の遠位端が現在位置しているセグメントを識別することによって画定され得る。この実施態様では、モデルは、複数のセグメント（例えば、図１２に示すセグメント１２２１～１２４７）を含んでもよく、ここで各セグメントは、世代カウント又は世代指定に関連付けられる。所与のセグメントの世代カウントは、所与のセグメントと、器具が管腔網内にアクセスすることを可能にする患者のアクセス点との間に位置する管腔網内の分枝の数に基づいて決定又は定義されてよい。図１２の実施形態では、セグメント１２２１～１２４７への世代カウントの例示的な割り当ては、世代カウント１を有する第１世代セグメント１２２１と、世代カウント２を有する第２世代セグメント１２３１及び１２３５と、世代カウント３を有する第３世代セグメント１２４１、１２４３、１２４５、及び１２４７と、を含み得る。当業者であれば、世代カウント及び／又は世代指定を管腔網のセグメントに割り当てるためにその他の番号付けスキームを用いてもよいことが理解されよう。

特定の実装形態では、システムは、経路ベースの位置推定値を用いて器具が位置する現在のセグメントを推定し、現在のセグメントの世代カウントに基づいて、経路ベースの位置推定値に関連付けられた重みを判定することができる。例えば、器具が第１の位置１２５１に配置されているとき、現在のセグメント１２３１のセグメントカウントは２であり得る。システムは、特定の実施形態では、世代カウントが増加するにつれて、経路ベースの位置推定値の重みを減少させることができる。換言すると、経路ベースの推定値に与えられる重みは、現在のセグメントの世代カウントが増加するにつれて減少する（例えば、単調に）ことができる。図１２の例を参照すると、この実装形態では、第２の位置１２５５における経路ベースの推定値に割り当てられた重みは、第１の位置１２５１における経路ベースの推定値に割り当てられた重みよりも小さくてよい。重みを判定するためにシステムによって使用される特定の機能は、特に限定されない。１つの例示的な実施態様では、特定のセグメントに与えられる重みは、セグメントの世代カウントに反比例し得る。

器具が管腔網内の十分な距離を前進した後で、システムは、経路ベースの位置推定値に割り当てられる重みをゼロ又は別の最小値まで低減することができる。特定の実装形態では、システムは、器具が位置する現在のセグメントの世代カウントに基づいて重みをゼロ又は最小値まで減少させるかどうかを判定することができる。例えば、システムは、第１のセグメントの世代カウントが閾値世代カウントよりも大きいと判定することに応答して、現在のセグメントの世代カウントが閾値世代カウントよりも大きいと判定して、重みをゼロ又は最小値に設定することができる。

実施形態によっては、経路ベースの位置推定値に関連付けられた重みは、推定値に関連付けられた信頼値に対応し得る。上述のように、信頼値は、経路ベースのアルゴリズムモジュール９７５によって提供される状態の推定値における信頼性の尺度を反映し得る。システムは、ロボットシステムの操作者がナビゲーション経路から逸脱する尤度に基づいて信頼値を判定することができる。操作者がナビゲーション経路から逸脱する尤度は、実際の医療処置中の器具の位置の追跡に基づいて経験的に判定され得る。一実施例では、操作者が気管支鏡処置中に気管から主気管支のうちの１つに移行するときなどの処置の開始付近で、操作者がナビゲーション経路から逸脱する尤度は、実質的にゼロであり得る。しかしながら、器具が気道内を更に前進すると、操作者が、例えばカメラから受信した画像に基づいて、網の正しいセグメントを識別して、器具を中へと駆動することはより困難になる場合がある。あるいは、操作者は、管腔網の一部分を調査するために、又は複雑なナビゲーション操作を実施する（例えば、管腔網内の緊密な湾曲の周りで器具を関節動作させる）ために、器具が標的に接近するときに、経路から逸脱するように決定することができる。したがって、器具が更に管腔網内を前進するにつれて操作者がナビゲーション経路から離れる確率の増加と一致するように、経路ベースの位置推定値の信頼性レベルを下げることが有利であり得る。

ＶＩ．Ｂ．２．ＩＩ．経路ベースのナビゲーション－管腔網のマッピングされた部分の外側
管腔網のマッピングされた部分内にあるときに器具の位置を推定する際の経路の使用に加えて、経路は、器具が管腔網のマッピングされた部分の外側に位置するときにおけるデータ源として使用されてもよい。具体的には、所与の管腔網のモデルは、管腔網の全体を完全にマッピングしない場合がある。図１３は、本開示の態様による、管腔網１３１０上にオーバレイされたモデル１３００（例えば、３Ｄモデルデータストア９４０内に記憶された３Ｄモデルデータ）の例示的な図である。場合によっては、モデル１３００を生成するために使用される撮像及びマッピング技術における制約が、管腔網１３１０全体に対応するモデルの生成を妨げる場合がある。例えば、管腔網内の特定の分枝状の内腔は、一般的な撮像及びマッピング技術で明確に描写及び分析することができないほど小さい場合がある。したがって、モデル１３００は、管腔網１３１０の完全な表現を提供せずに、例えば、管腔網１３１０の様々な部分をマッピングされていないままにする、かつ／又はモデル１３００中で表現されていないままにする場合がある。

例えば、図１３に示すように、モデル１３００は、管腔網１３１０のマッピングされた部分１３２０に対応することができる。モデル１３００によって表現されない場合のある管腔網１３１０のマッピングされていない部分１３３０は、マッピングされた部分１３２０を越えて延在する場合がある。管腔網１３１０のマッピングされた部分１３２０のセクションと管腔網１３１０のマッピングされていない部分１３３０のセクションとを含むモデル１３００の部分１３５０は、図１５で拡大されており、これは以下で説明する。

器具の位置を推定するための特定のアルゴリズムは、器具の位置を表す推定状態データを生成するために、３Ｄモデルデータストアから受信した３Ｄモデルデータを利用することができる。例えば、ＥＭベースのアルゴリズムモジュール９５０、画像ベースのアルゴリズムモジュール９６０、及びロボットベースのアルゴリズムモジュール９７０のそれぞれは、状態データを推定する際に、３Ｄモデルデータストア９４０から受信した３Ｄモデルデータを使用することができる。したがって、器具が、管腔網のマッピングされていない部分（例えば、図１３のマッピングされていない部分１３３０）へと駆動される場合、３Ｄモデルデータストア９４０は、器具の位置の推定に使用することができる３Ｄモデルデータを有さない場合がある。したがって、本開示の態様は、器具位置を推定するために使用される３Ｄモデルデータの欠如に対処するための、経路データ（例えば、経路データストア９４５に記憶される）の使用に関する。

図１４は、本開示の態様による、管状網の非セグメント化部分の外部におけるナビゲーションに経路ベースのデータを使用するために、ロボットシステム又はその構成要素（複数可）によって動作可能な別の例示的な方法を示すフローチャートである。例えば、図１４に示される方法１４００の工程は、プロセッサ（複数可）、及び／又は医療用ロボットシステム（例えば、外科用ロボットシステム５００）などのその他の構成要素（複数可）、若しくは関連するシステム（複数可）（例えば、ナビゲーション構成システム９００の経路ベースのアルゴリズムモジュール９４５）によって実施され得る。便宜上、方法１４００は、方法１４００の説明に関連して単に「システム」とも称されるナビゲーション構成システムによって実施されるものとして説明される。

方法１４００は、ブロック１４０１において開始する。ブロック１４０５において、システムは、経路が標的に到達する前に患者の管腔網のマッピングされた部分を離れると判定することができる。方法１４００を実施する際、システムは、少なくとも１つのコンピュータ可読メモリに記憶された管腔（luminal）のマッピングされた部分のモデルと、モデルに対する標的のポジションと、モデルの少なくとも一部分に沿った、アクセス点から標的までの経路と、を含むことができる。したがって、ブロック１４０５は、プロセッサが、経路の少なくとも一部分が管腔網のマッピングされていない部分を通って標的まで延在すると判定することを伴い得る。

関連する態様において、ブロック１４０５に関する更なる詳細を、図１５を参照して以下で説明する。具体的には、図１５に関連する以下の説明は、経路が管腔網のマッピングされた部分を離れたことをシステムがどのように判定し得るかを詳述する、いくつかの実施形態に関する更なる詳細を提供する。

ブロック１４１０において、システムは、少なくとも第１のモダリティ（例えば、図９Ａのナビゲーションモジュール９０５）を介して器具の現在位置を表示することができる。第１のモダリティは、１つ以上の位置センサのセットから受信した位置データ、及びモデルのマッピングされた部分に基づいて器具位置を導出するシステムを含み得る。位置データの例としては、画像データ、ＥＭデータ、及びロボットデータが挙げられる。実施形態によっては、第１のモダリティは、ＥＭベースのアルゴリズムモジュール９５０、画像ベースのアルゴリズムモジュール９６０、及びロボットベースのアルゴリズムモジュール９７０のうちの１つ以上を介した器具の位置の推定値を含み得る。

ブロック１４１５において、システムは、器具の現在位置に基づいて、器具の遠位端が、経路が管腔網のマッピングされた部分を離れた点の閾値範囲内にあると判定することができる。

一実施形態では、システムは、図１５の実施例に示されるように、器具が最後から２番目のセグメント１５２５内に位置していると判定することに基づいて、器具が、経路が管腔網のマッピングされた部分を離れる点の閾値範囲内にあると判定することができる。システムは、最後から２番目のセグメント１５２５を、最後のセグメント１５２０に隣接し、かつ経路１５０５に沿って位置するモデル１３００の１つのセグメントとして識別することができる。

別の実施形態では、管腔網１３１０の最後のセグメント１５２０と１つ以上のマッピングされていないセグメント１５３０との間のより多くのマッピングされていない交差点のうちの１つの位置（複数可）を識別することに基づいて、システムは、器具の遠位端が、経路が管腔網のマッピングされた部分を離れる点の閾値範囲内にあると判定することができる。一実装形態では、システムは、器具の遠位端又はその近くに位置するカメラを使用してキャプチャされた画像を使用することができる。システムは、管腔網１３１０内の交差点（例えば、分岐）を表す画像内の視覚的オブジェクトを識別するように構成され得る。システムは、検出された視覚的オブジェクトを使用して、最後のセグメント１５２０とマッピングされていないセグメント（複数可）１５３０との交差点の位置を推定することができる。

システムはまた、器具の現在位置と交差点の位置との間の距離に基づいて、器具の遠位端が、経路が管腔網のマッピングされた部分を離れる点の閾値範囲内にあると判定することができる。特定の実施形態では、システムは、器具の現在位置が、より多くのマッピングされていない交差点のうちの１つの位置から規定された距離内にあると判定することができる。

ブロック１４２０において、システムは、器具の遠位端が点の閾値範囲内にあると判定することに応答して、第１のモダリティに与えられた重みの低減に基づいて器具の現在位置を更新することができる。閾値範囲に基づいて第１のモダリティに与えられる重みを低減することに加えて、又はその代わりに、システムはまた、第１のモダリティに与えられた重みを低減するための１つ以上の他の条件を使用してもよい。例えば、こうした条件の１つとしては、器具が、最後から２番目のセグメント（例えば、図１５の最後から２番目のセグメント１５２５）内に位置すると判定することが挙げられ得る。別の条件としては、器具が最後から２番目のセグメント１５２５から閾値距離内にあると判定することが挙げられ得る。別の態様では、条件としては、器具の現在位置が、最後のセグメント１５２０中に存在するより多くのマッピングされていない交差点のうちの１つの位置から規定された距離内にあると判定することが挙げられ得る。

システムはまた、器具が管腔網のマッピングされた部分に戻ることに応答して、第１のモダリティに与えられる重みを増加させるように構成されてもよい。第１のモダリティに与えられる重みのこの増加は、ブロック１４２０において重みを低減する前に、重みを元の値に戻すことを含んでもよい。

特定の実装形態では、システムは、器具の現在位置に基づいて、器具の遠位端が、管腔網のマッピングされた部分の外側から（例えば、管腔網のマッピングされていない部分から）管腔網のマッピングされた部分に戻ったと判定することができる。器具の遠位端が管腔網のマッピングされた部分に戻ったと判定することに応答して、システムは、第１のモダリティに与えられた重みの増加に基づいて、器具の現在位置を更新することができる。すなわち、システムは、ＥＭベースのアルゴリズムモジュール９５０、画像ベースのアルゴリズムモジュール９６０、及びロボットベースのアルゴリズムモジュール９７０のうちの１つ以上における３Ｄモデルデータストア９４０からの３Ｄモデルデータの使用に戻ることができる。

器具が管腔網のマッピングされた部分に戻ったという判定はまた、器具が管腔網のマッピングされた部分を離れた位置の表示をシステムが記憶することを伴い得る。例えば、システムは、第１のモダリティに与えられた低減した重みに基づいて、器具の位置の推定が最初に行われた器具の位置を判定することができる。器具が上述の位置まで後退したと判定することに応答して、システムは、器具が管腔網のマッピングされた部分内に後退したと判定することができる。

いくつかの実装形態では、第１のモダリティに与えられる重みの低減は、経路追跡モードに入ることを含み得る。経路追跡モードは、例えば、システムが、モデルに対する器具の以前の位置を示す視覚的しるしをユーザディスプレイ上に表示することを含んでもよい。経路追跡モードはまた、新しい視覚的しるしが規則的な間隔でユーザディスプレイ上に表示される「ブレッドクラム」モードと称され得る。特定の実装形態では、視覚的しるしは、管腔網内、及び特に管腔網のマッピングされていない部分内における器具の履歴ポジションを示し得る。実施形態によっては、システムは、経路追跡モードにあるときに、画像データ、ＥＭデータ、及びロボットデータのうち少なくとも１つを参照することなく、器具の位置を判定することができる。ＥＭデータに対するオフセットを計算及び適用するために使用され得る特定の実施形態は、それぞれが参照によりその全体が本明細書に組み込まれる、２０１７年１０月１３日出願の米国特許出願第６２／５７２，２８５号、及び２０１８年９月２６日出願の米国特許出願第１６／１４３，３６２号に記載されている。

その他の実装形態において、第１のモダリティに与えられる重みの低減は、器具の遠位端の位置を判定するために第２のモダリティに入ることを含み得る。再び図９Ａを参照すると、第２のモダリティでは、システム９００は、ナビゲーションモジュール９０５の代わりに外部セグメンテーションナビゲーションモジュール９０７を使用して、出力ナビゲーションデータストア９９０に提供された出力ナビゲーションデータを判定することができる。外部セグメンテーションナビゲーションモジュール９０７は、ＥＭデータストア９２０、ロボットデータストア９３０、３Ｄモデルデータストア９４０、及び経路データストア９４５のうち少なくとも１つから受信した入力データに基づいて管状網内の医療器具の推定状態を位置特定（又は判定）することができる。上述したように、システム９００は、経路データストア９４５から受信した経路データに基づいて第２のモダリティに入ることを判定してもよい。

システムは、例えば、モデル（例えば、３Ｄモデルデータ）のマッピングされた部分には依存せずに、位置データ（例えば、ＥＭデータ、及びロボットデータ）に基づいて器具の位置を導出することによって、第２のモダリティ内の器具の位置を判定することができる。具体的には、外部セグメンテーションナビゲーションモジュール９０７は、ＥＭデータストア９２０、ロボットデータストア９３０、及び３Ｄモデルデータストア９４０のそれぞれから受信したデータを使用して、ＥＭデータの位置合わせを判定することができる。加えて、外部セグメンテーションナビゲーションモジュール９０７は、ロボットデータを使用して、器具の挿入及び／又は後退の量を追跡してもよい。外部セグメンテーションナビゲーションモジュール９０７は、挿入及び／又は後退データを使用して、器具が第２のモダリティに入り、かつ第１のモダリティにスイッチバックする点まで後退したことに基づいて、器具がこの点まで後退したか否かを判定することができる。

外部セグメンテーションナビゲーションモジュール９０７はまた、ナビゲーションモジュール９０５の使用から外部セグメンテーションナビゲーションモジュール９０７に移行するとき、３Ｄモデルデータを用いて、位置合わせされたＥＭデータにオフセットを適用することができる。オフセットは、さもなければ移行中に生じ得る、出力ナビゲーションデータの突然のジャンプを防止することができる。ＥＭデータに対するオフセットを計算及び適用するために使用され得る特定の実施形態は、それぞれが参照によりその全体が本明細書に組み込まれる、２０１７年１２月１８日出願の米国特許出願第６２／６０７，２４６号、及び２０１８年１２月１４日出願の米国特許出願第１６／２２１，０２０号に記載されている。特定の実装形態では、外部セグメンテーションナビゲーションモジュール９０７は、位置合わせされたＥＭデータを使用して出力ナビゲーションデータを生成することができる。したがって、外部セグメンテーションナビゲーションモジュール９０７は、出力ナビゲーションデータを判定する前に、ＥＭデータの位置合わせを最初に判定し得る。いくつかの実装形態では、システム９００は、器具が管腔網内（例えば、第３世代セグメント内）を所定の距離駆動されることに基づいて、位置合わせを判定することができる。したがって、外部セグメンテーションナビゲーションモジュール９０７は、器具が第３世代セグメント（例えば図１２の第３世代セグメント１２４１、１２４３、１２４５、及び１２４７）内に駆動されることに応答して、出力ナビゲーションデータの生成を開始することができる。方法１４００は、ブロック１４２５において終了する。

経路が管腔網のマッピングされた部分を離れるか否かを判定するために使用され得るいくつかの例示的な実施形態を、図１５に関連して論じる。図１５は、本開示の態様による、マッピングされた部分１３２０及びマッピングされていない部分１３３０を含む、図１３の管腔網１３１０の部分１３５０を示す。図１５の実施例で示すように、標的１５１０は、管腔網１３１０のマッピングされていない部分１３２０内に位置していてもよい。したがって、経路１５０５は、管腔網１３１０のマッピングされた部分１３２０から、標的１５１０に到達する前に、管腔網１３１０のマッピングされていない部分１３２０内に延在し得る。経路１５１０を選択するとき（例えば、以下の図１７に関連して論じられる手術前経路の計画中に）、管腔網１３１０のマッピングされていない部分１３２０が操作者によって閲覧することができない場合があるため、経路１５０５は、管腔網１３１０のマッピングされていない部分１３２０内の内腔に必ずしも沿うことができない。いくつかの実施形態では、経路１５０５は、経路１５０５の最終セグメント１５２０と標的１５１０との間の実質的な直線に沿うことができる。

図１５に示すように、モデル１３００は、第１のセグメント１５２０及び第２のセグメント１５２５を含む複数のセグメントを含む。第１のセグメント１５２０は、経路１５０５が管腔網１３１０のマッピングされた部分１３２０を離れる前のモデル１３００の最終セグメント１５２０を表すことができ、一方で、第２のセグメント１５２５は、経路１５０５が管腔網１３１０のマッピングされた部分１３２０を離れる前のモデル１３００の最後から２番目の（「終わりから２番目（penultimate）」とも称される）セグメント１５２５を表すことができる。システムは、例えば、図１４に示すブロック１４０５において、最終セグメント１５２０及び／又は最後から２番目のセグメント１５２５の識別に基づいて、経路が管腔網のマッピングされた部分１３２０を離れると判定することができる。

特定の実施形態では、システムは、最後及び／又は最後から２番目のセグメント１５２０及び／又は１５２５の識別に基づいて、経路１５０５が管腔網１３１０のマッピングされた部分１３２０を離れる点を判定することができる。したがって、システムは、経路１５０５がモデル１３００の最後のセグメント１５２０から管腔網１３１０のマッピングされた部分１３２０を離れるとの判定に基づいて、経路１５０５が標的１５１０に到達する前に管腔網１３１０のマッピングされた部分１３２０を離れると判定することができる。

別の実施形態では、システムは、器具が第２のセグメント１５２５から閾値距離内にあるという判定に基づいて、器具が標的１５１０に到達する前に管腔網１３１０のマッピンされたグ部分１３２０を離れると判定することができる。したがって、システムは、器具の現在位置と、経路が管腔網１３１０のマッピングされた部分１３２０を離れる点との間の距離を判定し、距離を閾値距離と比較することができる。一実施形態では、システムは、器具の現在位置と経路１５０５が管腔網１３１０のマッピングされた部分１３２０を離れる点との間の距離を、器具の現在位置と経路１５０５が管腔網１３１０のマッピングされた部分１３２０を離れる点との間の経路１５０５の長さとして判定することができる。その他の実施形態では、システムは、器具の現在位置と経路１５０５が管腔網１３１０のマッピングされた部分１３２０を離れる点との間のユークリッド距離を判定することができる。

図１６は、本開示の態様による、器具の遠位端の追跡された位置を含む３Ｄモデルの図である。図１６の実施例では、図は、管腔網１６００の３Ｄモデルと、器具の追跡された推定位置１６０５の第１のセットと、器具の追跡された推定位置１６１０の第２のセットと、を含む。管腔網１６００のマッピングされた部分及びマッピングされていない部分は、図１６に示されていない。

追跡された推定位置１６０５の第１のセットは、第１のモダリティに与えられる重みに一切の変更を加えない、上記で図１４に関連して説明された第１のモダリティによって推定される器具の遠位端の推定位置を表す。対照的に、追跡された推定位置１６１０の第２のセットは、ブロック１４２０で実施される第１のモダリティに与えられた重みの低減を含む、上記で図１４に関連して説明された第１のモダリティによって推定される器具の遠位端の推定位置を表す。

図１６の実施例では、器具は、管腔網１６００のマッピングされた部分の外側に駆動された。第１のモダリティがそれに与えられた重みに対する変化を加えずに使用されたため、追跡された推定位置１６０５の第１のセットは、器具が管腔網１６００のマッピングされた部分を離れた後であっても、３Ｄモデルデータストア９４０からの手術前３Ｄモデルデータを使用し続けた。したがって、追跡された推定位置１６０５の第１のセットは、管腔網１６００のマッピングされていない部分の位置と厳密に一致しておらず、そのため器具位置の不正確な推定値を提供する。追跡された推定位置１６１０の第２のセットは、第１のモダリティに与えられる重みが低減され、器具がモデルのマッピングされた部分の最後から２番目のセグメントに位置するときに経路追跡モードに入ることを含み得る一実施形態を示す。ここでは、第１のモダリティから第２のモダリティへの切り替えに起因して、追跡された推定位置１６１０の第２のセットが、追跡された推定位置１６０５の第１のセットよりも管腔網１６００の実際の位置を厳密に追跡する。

ＶＩＩ．ナビゲーション準備のための手術前経路計画
患者の身体の管状網内の特定の点までナビゲートすることは、管状網の３Ｄモデルを作成し、ナビゲーション経路を判定するために用いられる情報を生成するための手術前の特定の工程を取ることを伴い得る。図１７は、様々な実施形態による、例示的な管状網を通ってナビゲートする外科用器具（例えば、器具先端部）の調製のための例示的な手術前法を示す。具体的には、図１７は、管状網内の特定の部位まで器具先端部をナビゲートするための例示的な手術前方法１７００を示す。方法１７００の各工程と並んで、経路を計画し、管状網を通ってナビゲートするための関連データの表現を示すための対応する画像が示される。

最初に、ブロック１７０５において、管状網の手術前モデルデータ（例えば、ＣＴスキャン）に基づいて生成されたスキャン／画像が得られ、ＣＴスキャンからのデータは、管状網の構造及び接続性に関する３Ｄ情報を提供する。例えば、ブロック１７０５における画像は、患者の肺のトモグラフィスライスを示す。

ブロック１７１０において、得られたＣＴスキャンデータに基づいて３Ｄモデルが生成され、生成された３Ｄモデルは、管状網の各分枝に固有の識別情報を割り当てて、網内での便利なナビゲーションを可能にするために用いられ得る。例えば、ブロック１７１０における画像は、患者の気管支網の３Ｄモデルを示す。

ブロック１７１５において、標的１７１６が選択され、この標的は、例えば、生検に対する病変、又は外科的に修復するための臓器組織の一部分であってもよい。一実施形態では、システムは、マウスをクリックするか又はタッチスクリーンにタッチすることなどにより、３Ｄモデルを表示することができるコンピュータディスプレイとインターフェースすることによって、標的の位置を選択するための能力をユーザに提供する。続いて、選択された標的は、ユーザに表示され得る。例えば、標的１７１６は、工程１７１０から生成された３Ｄ気管支モデル内にマークされる。

ブロック１７２０において、経路１７２１は、標的１７１６への入口点１７２２から自動的に計画され、経路１７２１は、標的１７１６に到達するように、それを通して移動する網内の分枝のシーケンスを識別する。一実施形態では、管状網は樹枝状であってもよく、経路１７２１は、管状網の構造によって一意に判定されてもよく、別の実施形態では、管状網は環状であってもよく、経路は、最短経路アルゴリズムなどの適切なアルゴリズムによって見出されてもよい。

経路１７２１が判定されると、仮想内視鏡１７２５を実施して、ユーザに内視鏡処置のプレビューを与えることができる。工程１７１０から生成された３Ｄモデルを使用して、あたかも３Ｄモデルに対応する網をナビゲートする間に内視鏡先端部によって見られるような２Ｄ画像のシーケンスを生成する。経路１７２１は、辿ることにより入口点１７２２から標的１７１６へと到達することができる曲線として示され得る。

仮想内視鏡先端部が標的１７１６に到達したら、仮想ツール整列手順１７３０を実施して、標的において外科処置を実施するために内視鏡ツールを操作する方法をユーザに例示することができる。例えば、図では、仮想内視鏡生検針１７３１は、気管支の表面の下に位置する病変１７３２を生検するためにユーザによって操作される。病変の位置は、ユーザが針をそれと整列させ、続いて針を使用して気管支の表面を穿孔し、その下の病変にアクセスすることができるようにハイライトされる。これは、実際の外科処置中に行われる工程を模倣して、手術を実施する前にユーザが練習することを可能にする。

ＶＩＩＩ．システム及び用語の実装
本明細書に開示される実装形態は、管状網の経路ベースのナビゲーションのためのシステム、方法、及び機器を提供する。

本明細書で使用するとき、用語「連結する」、「連結している」、「連結された」、又は単語結合の他の変形は、間接的接続又は直接的接続のいずれかを示し得ることに留意されたい。例えば、第１の構成要素が第２の構成要素に「連結される」場合、第１の構成要素は、別の構成要素を介して第２の構成要素に間接的に接続される、又は第２の構成要素に直接的に接続される、のいずれかであってもよい。

本明細書に記載の経路ベースのナビゲーション機能は、プロセッサ可読媒体又はコンピュータ可読媒体上の１つ以上の命令として記憶されてもよい。用語「コンピュータ可読媒体」は、コンピュータ又はプロセッサによってアクセスすることができる任意の利用可能な媒体を指す。一例として、限定するものではないが、こうした媒体は、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読み出し専用メモリ（read-only memory、ＲＯＭ）、電気的消去可能プログラム可能読み出し専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、フラッシュメモリ、コンパクトディスク読み出し専用メモリ（compact disc read-only memory、ＣＤ－ＲＯＭ）を含んでもよく、あるいは他の光ディスク記憶装置は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＣＤ－ＲＯＭ、若しくはその他の光ディスク記憶装置、磁気ディスク記憶装置、若しくは他の磁気記憶装置、又は命令若しくはデータ構造の形態で所望のプログラムコードを記憶するために使用することができ、コンピュータによってアクセスすることができる任意の他の媒体を含んでもよい。コンピュータ可読媒体は、有形であり、非一時的であってもよいことに留意されたい。本明細書で使用するとき、用語「コード」は、コンピューティング装置又はプロセッサによって実行可能であるソフトウェア、命令、コード、又はデータを指してもよい。

本明細書に開示される方法は、記載される方法を達成するための１つ以上の工程又は行為を含む。方法工程及び／又は行為は、特許請求の範囲から逸脱することなく互いに交換されてもよい。換言すれば、記載されている方法の適切な動作のために特定の順序の工程又は行為が必要とされない限り、特許請求の範囲から逸脱することなく、特定の工程及び／又は行為の順序及び／又は使用を修正してもよい。

本明細書で使用するとき、用語「複数」は、２つ以上を示す。例えば、複数の構成要素は、２つ以上の構成要素を示す。用語「判定する」は、多種多様な行為を包含し、したがって、「判定する」は、計算する、演算する、処理する、算出する、調査する、ルックアップする（例えば、テーブル、データベース又は別のデータ構造を見ること）、確認することなどを含むことができる。また、「判定する」は、受け取る（例えば、情報を受信すること）、アクセスする（例えば、メモリ内のデータにアクセスすること）などを含むことができる。また、「判定する」は、解決する、選択する、選出する、確立するなどを含むことができる。

語句「基づく」は、別途明示的に指定されない限り、「のみに基づく」ことを意味しない。換言すれば、語句「基づく」は、「のみに基づく」及び「少なくとも基づく」の両方を記載する。

開示される実装形態の前述の説明は、任意の当業者が本発明を製造すること、又は使用することを可能にするために提供される。これらの実装形態に対する種々の修正は、当業者には容易に明らかになり、かつ、本明細書で規定される一般的な原理は、本発明の範囲から逸脱することなく、他の実装形様に適用され得る。例えば、当業者であれば、締結、装着、連結、又は係合ツール構成要素の均等の方法、特定の作動運動を生み出すための均等の機構、及び電気エネルギーを送達するための均等の機構など、多くの対応する代替的かつ均等の構造的詳細を使用することができると理解されるであろう。したがって、本発明は、本明細書に示される実装形態に限定されることを意図するものではなく、本明細書に開示される原則及び新規な特徴と一致する最も広い範囲が与えられるものである。

〔実施の態様〕
（１） 医療用ロボットシステムであって、
１つ以上のプロセッサのセットと、
前記プロセッサのセットと通信し、かつ患者の管腔網のモデルと、前記モデルに対する標的のポジションと、前記モデルの少なくとも一部分に沿った、アクセス点から前記標的までの経路と、を記憶した少なくとも１つのコンピュータ可読メモリであって、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
位置センサのセット及びロボットコマンド入力のセットのうちの少なくとも一方から位置データを受信することであって、前記位置データは、前記管腔網を通って駆動されるように構成されている器具の位置を示す、ことと、
前記位置データに基づいて第１の時間における前記器具の前記位置の第１の推定値を判定することと、
前記経路に基づいて前記第１の時間における前記器具の前記位置の第２の推定値を判定することと、
前記第１の推定値及び前記第２の推定値に基づいて前記第１の時間における前記器具の前記位置を判定することと、を行わせる、少なくとも１つのコンピュータ可読メモリと、を備える、医療用ロボットシステム。
（２） 前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
前記第２の推定値に関連付けられた重みを判定することを行わせ、
前記器具の前記位置の前記判定は、前記重みに更に基づいている、実施態様１に記載のシステム。
（３） 前記モデルは複数のセグメントを含み、各セグメントは、対応する前記セグメントと前記アクセス点との間に位置する前記管腔網内の分枝の数に基づいて判定された世代カウントに関連付けられ、
前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
前記器具が位置している前記セグメントのうちの第１のセグメントを識別することと、
前記第１のセグメントの前記世代カウントに基づいて前記第２の推定値の前記重みを判定することと、を行わせる、実施態様２に記載のシステム。
（４） 前記第２の推定値の前記重みは、前記世代カウントが増加するにつれて値が減少する、実施態様３に記載のシステム。
（５） 前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
前記第１のセグメントの前記世代カウントが閾値世代カウントよりも大きいと判定することと、
前記第１のセグメントの前記世代カウントが前記閾値世代カウントよりも大きいと判定することに応答して前記重みをゼロに設定することと、を行わせる、実施態様３に記載のシステム。

（６） 前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
前記器具の前記位置と前記アクセス点との間の距離を判定することと、
前記距離に基づいて前記第２の推定値の前記重みを判定することと、を行わせる、実施態様２に記載のシステム。
（７） 前記モデルは複数のセグメントを含み、
前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
前記器具が位置している前記セグメントのうちの第１のセグメントを識別することと、
前記第１のセグメントの直径を判定することと、
前記第１のセグメントの前記直径に基づいて前記第２の推定値の前記重みを判定することと、を行わせる、実施態様２に記載のシステム。
（８） 前記位置センサのセットは、
前記器具の遠位端に位置し、画像データを生成するように構成されているカメラと、
前記器具の前記遠位端に位置し、電磁（ＥＭ）データを生成するように構成されている１つ以上のＥＭセンサのセットと、を備え、
前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、前記ロボットコマンド入力に基づいて前記器具の前記位置を示すロボットデータを判定することを行わせ、
前記器具の前記位置の前記第１の推定値の前記判定は、前記画像データ及び前記ＥＭデータに更に基づいている、実施態様１に記載のシステム。
（９） 非一時的コンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を有し、前記命令は、実行されると、少なくとも１つのコンピューティング装置に、
位置センサのセット及びロボットコマンド入力のセットのうちの少なくとも一方から位置データを受信することであって、前記位置データは、患者の管腔網を通って駆動されるように構成されている器具の位置を示す、ことと、
前記位置データに基づいて第１の時間における前記器具の前記位置の第１の推定値を判定することと、
少なくとも１つのコンピュータ可読メモリに記憶された経路に基づいて前記第１の時間における前記器具の前記位置の第２の推定値を判定することであって、前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された前記管腔網のモデルと、前記モデルに対する標的のポジションと、前記経路と、を更に有し、前記経路は、前記モデルの少なくとも一部分に沿ってアクセス点から前記標的まで画定される、ことと、
前記第１の推定値及び前記第２の推定値に基づいて前記第１の時間における前記器具の前記位置を判定することと、を行わせる、非一時的コンピュータ可読記憶媒体。
（１０） 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記第２の推定値に関連付けられた重みを判定することを行わせ、
前記器具の前記位置の前記判定は、前記重みに更に基づいている、実施態様９に記載の非一時的コンピュータ可読記憶媒体。

（１１） 前記モデルは複数のセグメントを含み、各セグメントは、対応する前記セグメントと前記アクセス点との間に位置する前記管腔網内の分枝の数に基づいて判定された世代カウントに関連付けられ、
前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記器具が位置している前記セグメントのうちの第１のセグメントを識別することと、
前記第１のセグメントの前記世代カウントに基づいて前記第２の推定値の前記重みを判定することと、を行わせる、実施態様１０に記載の非一時的コンピュータ可読記憶媒体。
（１２） 前記第２の推定値の前記重みは、前記世代カウントが増加するにつれて値が減少する、実施態様１１に記載の非一時的コンピュータ可読記憶媒体。
（１３） 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記第１のセグメントの前記世代カウントが閾値世代カウントよりも大きいと判定することと、
前記第１のセグメントの前記世代カウントが前記閾値世代カウントよりも大きいと判定することに応答して前記重みをゼロに設定することと、を行わせる、実施態様１１に記載の非一時的コンピュータ可読記憶媒体。
（１４） 前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記器具の前記位置と前記アクセス点との間の距離を判定することと、
前記距離に基づいて前記第２の推定値の前記重みを判定することと、を行わせる、実施態様１０に記載の非一時的コンピュータ可読記憶媒体。
（１５） 前記モデルは複数のセグメントを含み、
前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記器具が位置している前記セグメントのうちの第１のセグメントを識別することと、
前記第１のセグメントの直径を判定することと、
前記第１のセグメントの前記直径に基づいて前記第２の推定値の前記重みを判定することと、を行わせる、実施態様１０に記載の非一時的コンピュータ可読記憶媒体。

（１６） 前記位置センサのセットは、
前記器具の遠位端に位置し、画像データを生成するように構成されているカメラと、
前記器具の前記遠位端に位置し、電磁（ＥＭ）データを生成するように構成されている１つ以上のＥＭセンサのセットと、を備え、
前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、前記ロボットコマンド入力に基づいて前記器具の前記位置を示すロボットデータを判定することを行わせ、
前記器具の前記位置の前記第１の推定値の前記判定は、前記画像データ及び前記ＥＭデータに更に基づいている、実施態様９に記載の非一時的コンピュータ可読記憶媒体。
（１７） 器具の位置を推定する方法であって、
位置センサのセット及びロボットコマンド入力のセットのうちの少なくとも一方から位置データを受信することであって、前記位置データは、患者の管腔網を通って駆動されるように構成されている器具の位置を示す、ことと、
前記位置データに基づいて第１の時間における前記器具の前記位置の第１の推定値を判定することと、
少なくとも１つのコンピュータ可読メモリに記憶された経路に基づいて前記第１の時間における前記器具の前記位置の第２の推定値を判定することであって、前記少なくとも１つのコンピュータ可読メモリは、前記少なくとも１つのコンピュータ可読メモリに記憶された前記管腔網のモデルと、前記モデルに対する標的のポジションと、前記経路と、を有し、前記経路は、前記モデルの少なくとも一部分に沿ってアクセス点から前記標的まで画定される、ことと、
前記第１の推定値及び前記第２の推定値に基づいて前記第１の時間における前記器具の前記位置を判定することと、を含む、方法。
（１８） 前記第２の推定値に関連付けられた重みを判定することを更に含み、
前記器具の前記位置の前記判定は、前記重みに更に基づいている、実施態様１７に記載の方法。
（１９） 前記モデルは複数のセグメントを含み、各セグメントは、対応する前記セグメントと前記アクセス点との間に位置する前記管腔網内の分枝の数に基づいて判定された世代カウントに関連付けられ、
前記方法は、
前記器具が位置している前記セグメントのうちの第１のセグメントを識別することと、
前記第１のセグメントの前記世代カウントに基づいて前記第２の推定値の前記重みを判定することと、を更に含む、実施態様１８に記載の方法。
（２０） 前記第２の推定値の前記重みは、前記世代カウントが増加するにつれて値が減少する、実施態様１９に記載の方法。

（２１） 前記第１のセグメントの前記世代カウントが閾値世代カウントよりも大きいと判定することと、
前記第１のセグメントの前記世代カウントが前記閾値世代カウントよりも大きいと判定することに応答して前記重みをゼロに設定することと、を更に含む、実施態様１９に記載の方法。
（２２） 前記器具の前記位置と前記アクセス点との間の距離を判定することと、
前記距離に基づいて前記第２の推定値の前記重みを判定することと、を更に含む、実施態様１８に記載の方法。
（２３） 前記モデルは複数のセグメントを含み、
前記方法は、
前記器具が位置している前記セグメントのうちの第１のセグメントを識別することと、
前記第１のセグメントの直径を判定することと、
前記第１のセグメントの前記直径に基づいて前記第２の推定値の前記重みを判定することと、を更に含む、実施態様１８に記載の方法。
（２４） 前記位置センサのセットは、
前記器具の遠位端に位置し、画像データを生成するように構成されているカメラと、
前記器具の前記遠位端に位置し、電磁（ＥＭ）データを生成するように構成されている１つ以上のＥＭセンサのセットと、を備え、
前記方法は、前記ロボットコマンド入力に基づいて前記器具の前記位置を示すロボットデータを判定することを更に含み、
前記器具の前記位置の前記第１の推定値の前記判定は、前記画像データ及び前記ＥＭデータに更に基づいている、実施態様１７に記載の方法。
（２５） 医療用ロボットシステムであって、
１つ以上のプロセッサのセットと、
前記プロセッサのセットと通信し、かつ患者の管腔網のマッピングされた部分のモデルと、前記モデルに対する標的のポジションと、前記モデルの少なくとも一部分に沿った、アクセス点から前記標的までの経路と、を記憶した少なくとも１つのコンピュータ可読メモリであって、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れると判定することと、
少なくとも第１のモダリティを介して器具の現在位置を表示することであって、前記第１のモダリティは、１つ以上の位置センサのセットから受信した位置データ、及び前記モデルの前記マッピングされた部分に基づいて位置を導出し、前記器具は、前記管腔網を通って駆動されるように構成されている、ことと、
前記現在位置に基づいて、前記器具の前記遠位端は、前記経路が前記管腔網の前記マッピングされた部分を離れる点の閾値範囲内にあると判定することと、
前記器具の前記遠位端が前記点の前記閾値範囲内にあると判定することに応答して、前記第１のモダリティに与えられた重みの低減に基づいて前記器具の前記現在位置を更新することと、を行わせる、少なくとも１つのコンピュータ可読メモリと、を備える、医療用ロボットシステム。

（２６） 前記モデルは複数のセグメントを含み、
前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れるという前記判定は、前記経路が前記モデルの第１のセグメントから前記管腔網の前記マッピングされた部分を離れると判定することを含み、
前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、前記器具が、前記第１のセグメントに隣接しかつ前記経路に沿って位置する第２のセグメント内に位置していると判定することを行わせ、
前記第１のモダリティに与えられた低減した前記重みに基づいて前記器具の前記現在位置を更新することは、前記器具が前記第２のセグメント内に位置していると判定することに更に応答したものである、実施態様２５に記載のシステム。
（２７） 前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れるという前記判定は、前記器具が前記第２のセグメントから閾値距離内にあると判定することを更に含み、
前記第１のモダリティに与えられた前記低減した重みに基づいて前記器具の前記現在位置を更新することは、前記器具が前記第２のセグメントから前記閾値距離内にあると判定することに更に応答したものである、実施態様２６に記載のシステム。
（２８） 前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
前記現在位置に基づいて、前記器具の前記遠位端が前記管腔網の前記マッピングされた部分の外側から前記管腔網の前記マッピングされた部分に戻ったと判定することと、
前記器具の前記遠位端が前記管腔網の前記マッピングされた部分の外側から前記管腔網の前記マッピングされた部分に戻ったと判定することに応答して、前記第１のモダリティに与えられた前記重みの増加に基づいて前記器具の前記現在位置を更新することと、を行わせる、実施態様２６に記載のシステム。
（２９） 前記器具の前記遠位端が前記管腔網の前記マッピングされた部分の外側から前記管腔網の前記マッピングされた部分に戻ったと判定することは、
前記器具の前記現在位置を更新することが最初は前記第１のモダリティに与えられた前記低減した重みに基づいていた、前記器具の第１の位置を判定することと、
前記器具が前記第１の位置に後退していると判定することと、を含む、実施態様２８に記載のシステム。
（３０） 前記モデルは複数のセグメントを含み、
前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れると判定することは、前記経路が前記モデルの第１のセグメントから前記管腔網の前記マッピングされた部分を離れると判定することを含み、
前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
前記第１のセグメントと前記管腔網の１つ以上のマッピングされていないセグメントとの間の、より多くのマッピングされていない交差点のうちの１つの位置を識別することと、
前記器具の前記現在位置が、前記より多くのマッピングされていない交差点のうちの１つの前記位置から規定された距離内にあると判定することと、を行わせ、
前記第１のモダリティに与えられた低減した前記重みに基づいて前記器具の前記現在位置を更新することは、前記器具の前記現在位置が、前記より多くのマッピングされていない交差点のうちの１つの前記位置から前記規定された距離内にあると判定することに更に応答したものである、実施態様２５に記載のシステム。

（３１） 前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
前記器具の前記現在位置が前記点の前記閾値範囲内にあると判定することに応答して、経路追跡モードに入ることと、
前記経路追跡モードにあるときに、ユーザディスプレイ上に、前記モデルに対する前記器具の以前の位置を示す視覚的しるしを表示することと、を行わせる、実施態様２５に記載のシステム。
（３２） 前記視覚的しるしは、前記管腔網内の前記器具の履歴ポジションを示している、実施態様３１に記載のシステム。
（３３） 前記第１のモダリティは、前記経路追跡モードではないときに、画像データ、電磁（ＥＭ）データ、及びロボットデータに基づいて前記器具の前記位置を導出する、実施態様３１に記載のシステム。
（３４） 前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
前記経路追跡モードにあるときに、前記画像データ、前記ＥＭデータ、及び前記ロボットデータのうち少なくとも１つを参照することなく、前記器具の前記位置を判定することを行わせる、実施態様３３に記載のシステム。
（３５） 前記メモリは、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
前記器具の前記遠位端が前記点の前記閾値範囲内にあると判定することに応答して、少なくとも第２のモダリティを介して前記器具の前記現在位置を更新することであって、前記第２のモダリティは、前記位置データに基づいて、前記モデルの前記マッピングされた部分に依存せずに、前記位置を導出する、ことを行わせる、実施態様２５に記載のシステム。

（３６） 非一時的コンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を有し、前記命令は、実行されると、少なくとも１つのコンピューティング装置に、
経路が標的に到達する前に患者の管腔網のマッピングされた部分を離れると判定することであって、少なくとも１つのコンピュータ可読メモリは、前記少なくとも１つのコンピュータ可読メモリに記憶された前記管腔網の前記マッピングされた部分のモデルと、前記モデルに対する前記標的のポジションと、前記モデルの少なくとも一部分に沿った、アクセス点から前記標的までの前記経路と、を有する、ことと、
少なくとも第１のモダリティを介して器具の現在位置を表示することであって、前記第１のモダリティは、１つ以上の位置センサのセットから受信した位置データ、及び前記モデルの前記マッピングされた部分に基づいて位置を導出し、前記器具は、前記管腔網を通って駆動されるように構成されている、ことと、
前記現在位置に基づいて、前記器具の前記遠位端は、前記経路が前記管腔網の前記マッピングされた部分を離れる点の閾値範囲内にあると判定することと、
前記器具の前記遠位端が前記点の前記閾値範囲内にあると判定することに応答して、前記第１のモダリティに与えられた重みの低減に基づいて前記器具の前記現在位置を更新することと、を行わせる、非一時的コンピュータ可読記憶媒体。
（３７） 前記モデルは複数のセグメントを含み、
前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れるという前記判定は、前記経路が前記モデルの第１のセグメントから前記管腔網の前記マッピングされた部分を離れると判定することを含み、
前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、前記器具が、前記第１のセグメントに隣接しかつ前記経路に沿って位置する第２のセグメント内に位置していると判定することを行わせ、
前記第１のモダリティに与えられた低減した前記重みに基づいて前記器具の前記現在位置を更新することは、前記器具が前記第２のセグメント内に位置していると判定することに更に応答したものである、実施態様３６に記載の非一時的コンピュータ可読記憶媒体。
（３８） 前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れるという前記判定は、前記器具が前記第２のセグメントから閾値距離内にあると判定することを更に含み、
前記第１のモダリティに与えられた前記低減した重みに基づいて前記器具の前記現在位置を更新することは、前記器具が前記第２のセグメントから前記閾値距離内にあると判定することに更に応答したものである、実施態様３７に記載の非一時的コンピュータ可読記憶媒体。
（３９） 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記現在位置に基づいて、前記器具の前記遠位端が前記管腔網の前記マッピングされた部分の外側から前記管腔網の前記マッピングされた部分に戻ったと判定することと、
前記器具の前記遠位端が前記管腔網の前記マッピングされた部分の外側から前記管腔網の前記マッピングされた部分に戻ったと判定することに応答して、前記第１のモダリティに与えられた前記重みの増加に基づいて前記器具の前記現在位置を更新することと、を行わせる、実施態様３７に記載の非一時的コンピュータ可読記憶媒体。
（４０） 前記器具の前記遠位端が前記管腔網の前記マッピングされた部分の外側から前記管腔網の前記マッピングされた部分に戻ったと判定することは、
前記器具の前記現在位置を更新することが最初は前記第１のモダリティに与えられた前記低減した重みに基づいていた、前記器具の第１の位置を判定することと、
前記器具が前記第１の位置に後退していると判定することと、を含む、実施態様３９に記載の非一時的コンピュータ可読記憶媒体。

（４１） 前記モデルは複数のセグメントを含み、
前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れると判定することは、前記経路が前記モデルの第１のセグメントから前記管腔網の前記マッピングされた部分を離れると判定することを含み、
前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記第１のセグメントと前記管腔網の１つ以上のマッピングされていないセグメントとの間の、より多くのマッピングされていない交差点のうちの１つの位置を識別することと、
前記器具の前記現在位置が、前記より多くのマッピングされていない交差点のうちの１つの前記位置から規定された距離内にあると判定することと、を行わせ、
前記第１のモダリティに与えられた低減した前記重みに基づいて前記器具の前記現在位置を更新することは、前記器具の前記現在位置が、前記より多くのマッピングされていない交差点のうちの１つの前記位置から前記規定された距離内にあると判定することに更に応答したものである、実施態様３６に記載の非一時的コンピュータ可読記憶媒体。
（４２） 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記器具の前記現在位置が前記点の前記閾値範囲内にあると判定することに応答して、経路追跡モードに入ることと、
前記経路追跡モードにあるときに、ユーザディスプレイ上に、前記モデルに対する前記器具の以前の位置を示す視覚的しるしを表示することと、を行わせる、実施態様３６に記載の非一時的コンピュータ可読記憶媒体。
（４３） 前記視覚的しるしは、前記管腔網内の前記器具の履歴ポジションを示している、実施態様４２に記載の非一時的コンピュータ可読記憶媒体。
（４４） 前記第１のモダリティは、前記経路追跡モードではないときに、画像データ、電磁（ＥＭ）データ、及びロボットデータに基づいて前記器具の前記位置を導出する、実施態様４２に記載の非一時的コンピュータ可読記憶媒体。
（４５） 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記経路追跡モードにあるときに、前記画像データ、前記ＥＭデータ、及び前記ロボットデータのうち少なくとも１つを参照することなく、前記器具の前記位置を判定することを行わせる、実施態様４４に記載の非一時的コンピュータ可読記憶媒体。

（４６） 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記器具の前記遠位端が前記点の前記閾値範囲内にあると判定することに応答して、少なくとも第２のモダリティを介して前記器具の前記現在位置を更新することであって、前記第２のモダリティは、前記位置データに基づいて、前記モデルの前記マッピングされた部分に依存せずに、前記位置を導出する、ことを行わせる、実施態様３６に記載の非一時的コンピュータ可読記憶媒体。
（４７） 器具の位置を判定する方法であって、
経路が標的に到達する前に患者の管腔網のマッピングされた部分を離れると判定することであって、少なくとも１つのコンピュータ可読メモリは、前記少なくとも１つのコンピュータ可読メモリに記憶された前記管腔網の前記マッピングされた部分のモデルと、前記モデルに対する前記標的のポジションと、前記モデルの少なくとも一部分に沿った、アクセス点から前記標的までの前記経路と、を有する、ことと、
少なくとも第１のモダリティを介して器具の現在位置を表示することであって、前記第１のモダリティは、１つ以上の位置センサのセットから受信した位置データ、及び前記モデルの前記マッピングされた部分に基づいて位置を導出し、前記器具は、前記管腔網を通って駆動されるように構成されている、ことと、
前記現在位置に基づいて、前記器具の前記遠位端は、前記経路が前記管腔網の前記マッピングされた部分を離れる点の閾値範囲内にあると判定することと、
前記器具の前記遠位端が前記点の前記閾値範囲内にあると判定することに応答して、前記第１のモダリティに与えられた重みの低減に基づいて前記器具の前記現在位置を更新することと、を含む、方法。
（４８） 前記モデルは複数のセグメントを含み、
前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れるという前記判定は、前記経路が前記モデルの第１のセグメントから前記管腔網の前記マッピングされた部分を離れると判定することを含み、
前記方法は、前記器具が、前記第１のセグメントに隣接しかつ前記経路に沿って位置する第２のセグメント内に位置していると判定することを更に含み、
前記第１のモダリティに与えられた低減した前記重みに基づいて前記器具の前記現在位置を更新することは、前記器具が前記第２のセグメント内に位置していると判定することに更に応答したものである、実施態様４７に記載の方法。
（４９） 前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れるという前記判定は、前記器具が前記第２のセグメントから閾値距離内にあると判定することを更に含み、
前記第１のモダリティに与えられた前記低減した重みに基づいて前記器具の前記現在位置を更新することは、前記器具が前記第２のセグメントから前記閾値距離内にあると判定することに更に応答したものである、実施態様４８に記載の方法。
（５０） 前記現在位置に基づいて、前記器具の前記遠位端が前記管腔網の前記マッピングされた部分の外側から前記管腔網の前記マッピングされた部分に戻ったと判定することと、
前記器具の前記遠位端が前記管腔網の前記マッピングされた部分の外側から前記管腔網の前記マッピングされた部分に戻ったと判定することに応答して、前記第１のモダリティに与えられた前記重みの増加に基づいて前記器具の前記現在位置を更新することと、を更に含む、実施態様４８に記載の方法。

（５１） 前記器具の前記遠位端が前記管腔網の前記マッピングされた部分の外側から前記管腔網の前記マッピングされた部分に戻ったと判定することは、
前記器具の前記現在位置を更新することが最初は前記第１のモダリティに与えられた前記低減した重みに基づいていた、前記器具の第１の位置を判定することと、
前記器具が前記第１の位置に後退していると判定することと、を含む、実施態様５０に記載の方法。
（５２） 前記モデルは複数のセグメントを含み、
前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れると判定することは、前記経路が前記モデルの第１のセグメントから前記管腔網の前記マッピングされた部分を離れると判定することを含み、
前記方法は、
前記第１のセグメントと前記管腔網の１つ以上のマッピングされていないセグメントとの間の、より多くのマッピングされていない交差点のうちの１つの位置を識別することと、
前記器具の前記現在位置が、前記より多くのマッピングされていない交差点のうちの１つの前記位置から規定された距離内にあると判定することと、を更に含み、
前記第１のモダリティに与えられた低減した前記重みに基づいて前記器具の前記現在位置を更新することは、前記器具の前記現在位置が、前記より多くのマッピングされていない交差点のうちの１つの前記位置から前記規定された距離内にあると判定することに更に応答したものである、実施態様４７に記載の方法。
（５３） 前記器具の前記現在位置が前記点の前記閾値範囲内にあると判定することに応答して、経路追跡モードに入ることと、
前記経路追跡モードにあるときに、ユーザディスプレイ上に、前記モデルに対する前記器具の以前の位置を示す視覚的しるしを表示することと、を更に含む、実施態様４７に記載の方法。
（５４） 前記視覚的しるしは、前記管腔網内の前記器具の履歴ポジションを示している、実施態様５３に記載の方法。
（５５） 前記第１のモダリティは、前記経路追跡モードではないときに、画像データ、電磁（ＥＭ）データ、及びロボットデータに基づいて前記器具の前記位置を導出する、実施態様５３に記載の方法。

（５６） 前記経路追跡モードにあるときに、前記画像データ、前記ＥＭデータ、及び前記ロボットデータのうち少なくとも１つを参照することなく、前記器具の前記位置を判定することを更に含む、実施態様５５に記載の方法。
（５７） 前記器具の前記遠位端が前記点の前記閾値範囲内にあると判定することに応答して、少なくとも第２のモダリティを介して前記器具の前記現在位置を更新することであって、前記第２のモダリティは、前記位置データに基づいて、前記モデルの前記マッピングされた部分に依存せずに、前記位置を導出する、ことを更に含む、実施態様４７に記載の方法。

Claims (13)

1. 医療用ロボットシステムであって、
   １つ以上のプロセッサのセットと、
   前記プロセッサのセットと通信し、かつ患者の管腔網のマッピングされた部分のモデルと、前記モデルに対する標的のポジションと、前記モデルの少なくとも一部分に沿った、アクセス点から前記標的までの経路と、を記憶した少なくとも１つのコンピュータ可読メモリであって、前記少なくとも１つのコンピュータ可読メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
   前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れると判定することと、
   少なくとも第１のモダリティを介して器具の現在位置を表示することであって、前記第１のモダリティは、１つ以上の位置センサのセットから受信した位置データ、及び前記モデルの前記マッピングされた部分に基づいて位置を導出し、前記器具は、前記管腔網を通って駆動されるように構成されている、ことと、
   前記現在位置に基づいて、前記器具の遠位端は、前記経路が前記管腔網の前記マッピングされた部分を離れる点の閾値範囲内にあると判定することと、
   前記器具の前記遠位端が前記点の前記閾値範囲内にあると判定することに応答して、前記第１のモダリティに与えられた重みの低減に基づいて前記器具の前記現在位置を更新することと、
   前記器具の前記遠位端が前記点の前記閾値範囲内にあると判定することに応答して、少なくとも第２のモダリティを介して前記器具の前記現在位置を更新することであって、前記第２のモダリティは、前記位置データに基づいて、前記モデルの前記マッピングされた部分に依存せずに、前記位置を導出することと、を行わせる、少なくとも１つのコンピュータ可読メモリと、を備える、医療用ロボットシステム。
2. 前記モデルは複数のセグメントを含み、
   前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れるという前記判定は、前記経路が前記モデルの第１のセグメントから前記管腔網の前記マッピングされた部分を離れると判定することを含み、
   前記少なくとも１つのコンピュータ可読メモリは、前記少なくとも１つのコンピュータ可読メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、前記器具が、前記第１のセグメントに隣接しかつ前記経路に沿って位置する第２のセグメント内に位置していると判定することを行わせ、
   前記第１のモダリティに与えられた低減した前記重みに基づいて前記器具の前記現在位置を更新することは、前記器具が前記第２のセグメント内に位置していると判定することに更に応答したものである、請求項１に記載の医療用ロボットシステム。
3. 前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れるという前記判定は、前記器具が前記第２のセグメントから閾値距離内にあると判定することを更に含み、
   前記第１のモダリティに与えられた低減した前記重みに基づいて前記器具の前記現在位置を更新することは、前記器具が前記第２のセグメントから前記閾値距離内にあると判定することに更に応答したものである、請求項２に記載の医療用ロボットシステム。
4. 前記少なくとも１つのコンピュータ可読メモリは、前記少なくとも１つのコンピュータ可読メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
   前記現在位置に基づいて、前記器具の前記遠位端が前記管腔網の前記マッピングされた部分の外側から前記管腔網の前記マッピングされた部分に戻ったと判定することと、
   前記器具の前記遠位端が前記管腔網の前記マッピングされた部分の外側から前記管腔網の前記マッピングされた部分に戻ったと判定することに応答して、前記第１のモダリティに与えられた前記重みの増加に基づいて前記器具の前記現在位置を更新することと、を行わせる、請求項２に記載の医療用ロボットシステム。
5. 前記器具の前記遠位端が前記管腔網の前記マッピングされた部分の外側から前記管腔網の前記マッピングされた部分に戻ったと判定することは、
   前記第１のモダリティに与えられた低減した前記重みに基づいて、前記器具の前記現在位置の更新が最初に行われた前記器具の第１の位置を判定することと、
   前記器具が前記第１の位置に後退していると判定することと、を含む、請求項４に記載の医療用ロボットシステム。
6. 前記モデルは複数のセグメントを含み、
   前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れると判定することは、前記経路が前記モデルの第１のセグメントから前記管腔網の前記マッピングされた部分を離れると判定することを含み、
   前記少なくとも１つのコンピュータ可読メモリは、前記少なくとも１つのコンピュータ可読メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
   前記第１のセグメントと前記管腔網の１つ以上のマッピングされていないセグメントとの間の、より多くのマッピングされていない交差点のうちの１つの位置を識別することと、
   前記器具の前記現在位置が、前記より多くのマッピングされていない交差点のうちの１つの前記位置から規定された距離内にあると判定することと、を行わせ、
   前記第１のモダリティに与えられた低減した前記重みに基づいて前記器具の前記現在位置を更新することは、前記器具の前記現在位置が、前記より多くのマッピングされていない交差点のうちの１つの前記位置から前記規定された距離内にあると判定することに更に応答したものである、請求項１に記載の医療用ロボットシステム。
7. 前記少なくとも１つのコンピュータ可読メモリは、前記少なくとも１つのコンピュータ可読メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
   前記器具の前記現在位置が前記点の前記閾値範囲内にあると判定することに応答して、経路追跡モードに入ることと、
   前記経路追跡モードにあるときに、ユーザディスプレイ上に、前記モデルに対する前記器具の以前の位置を示す視覚的しるしを表示することと、を行わせる、請求項１に記載の医療用ロボットシステム。
8. 前記視覚的しるしは、前記管腔網内の前記器具の履歴ポジションを示している、請求項７に記載の医療用ロボットシステム。
9. 前記第１のモダリティは、前記経路追跡モードではないときに、画像データ、電磁（ＥＭ）データ、及びロボットデータに基づいて前記器具の前記位置を導出する、請求項７に記載の医療用ロボットシステム。
10. 前記少なくとも１つのコンピュータ可読メモリは、前記少なくとも１つのコンピュータ可読メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令は、前記プロセッサのセットに、
    前記経路追跡モードにあるときに、前記画像データ、前記ＥＭデータ、及び前記ロボットデータのうち少なくとも１つを参照することなく、前記器具の前記位置を判定することを行わせる、請求項９に記載の医療用ロボットシステム。
11. 非一時的コンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を有し、前記命令は、実行されると、少なくとも１つのコンピューティング装置に、
    経路が標的に到達する前に患者の管腔網のマッピングされた部分を離れると判定することであって、少なくとも１つのコンピュータ可読メモリは、前記少なくとも１つのコンピュータ可読メモリに記憶された前記管腔網の前記マッピングされた部分のモデルと、前記モデルに対する前記標的のポジションと、前記モデルの少なくとも一部分に沿った、アクセス点から前記標的までの前記経路と、を有する、ことと、
    少なくとも第１のモダリティを介して器具の現在位置を表示することであって、前記第１のモダリティは、１つ以上の位置センサのセットから受信した位置データ、及び前記モデルの前記マッピングされた部分に基づいて位置を導出し、前記器具は、前記管腔網を通って駆動されるように構成されている、ことと、
    前記現在位置に基づいて、前記器具の遠位端は、前記経路が前記管腔網の前記マッピングされた部分を離れる点の閾値範囲内にあると判定することと、
    前記器具の前記遠位端が前記点の前記閾値範囲内にあると判定することに応答して、前記第１のモダリティに与えられた重みの低減に基づいて前記器具の前記現在位置を更新することと、
    前記器具の前記遠位端が前記点の前記閾値範囲内にあると判定することに応答して、少なくとも第２のモダリティを介して前記器具の前記現在位置を更新することであって、前記第２のモダリティは、前記位置データに基づいて、前記モデルの前記マッピングされた部分に依存せずに、前記位置を導出することと、を行わせる、非一時的コンピュータ可読記憶媒体。
12. 前記モデルは複数のセグメントを含み、
    前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れるという前記判定は、前記経路が前記モデルの第１のセグメントから前記管腔網の前記マッピングされた部分を離れると判定することを含み、
    前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、前記器具が、前記第１のセグメントに隣接しかつ前記経路に沿って位置する第２のセグメント内に位置していると判定することを行わせ、
    前記第１のモダリティに与えられた低減した前記重みに基づいて前記器具の前記現在位置を更新することは、前記器具が前記第２のセグメント内に位置していると判定することに更に応答したものである、請求項１１に記載の非一時的コンピュータ可読記憶媒体。
13. 前記経路が前記標的に到達する前に前記管腔網の前記マッピングされた部分を離れるという前記判定は、前記器具が前記第２のセグメントから閾値距離内にあると判定することを更に含み、
    前記第１のモダリティに与えられた低減した前記重みに基づいて前記器具の前記現在位置を更新することは、前記器具が前記第２のセグメントから前記閾値距離内にあると判定することに更に応答したものである、請求項１２に記載の非一時的コンピュータ可読記憶媒体。

Images