[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6716538B2 - 多数のインターベンショナル処置を計画するシステム及び方法 - Google Patents

多数のインターベンショナル処置を計画するシステム及び方法 Download PDF

Info

Publication number
JP6716538B2
JP6716538B2 JP2017505232A JP2017505232A JP6716538B2 JP 6716538 B2 JP6716538 B2 JP 6716538B2 JP 2017505232 A JP2017505232 A JP 2017505232A JP 2017505232 A JP2017505232 A JP 2017505232A JP 6716538 B2 JP6716538 B2 JP 6716538B2
Authority
JP
Japan
Prior art keywords
target
target area
determining
location
interventional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017505232A
Other languages
English (en)
Other versions
JP2017522975A (ja
Inventor
キュー ドンホウィ,ケイトリン
キュー ドンホウィ,ケイトリン
ザオ,タオ
バルバグリ,フェデリコ
ドゥインダム,ヴィンセント
ディー ソーパー,ティモシー
ディー ソーパー,ティモシー
Original Assignee
インテュイティブ サージカル オペレーションズ, インコーポレイテッド
インテュイティブ サージカル オペレーションズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテュイティブ サージカル オペレーションズ, インコーポレイテッド, インテュイティブ サージカル オペレーションズ, インコーポレイテッド filed Critical インテュイティブ サージカル オペレーションズ, インコーポレイテッド
Publication of JP2017522975A publication Critical patent/JP2017522975A/ja
Application granted granted Critical
Publication of JP6716538B2 publication Critical patent/JP6716538B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Leader-follower robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00694Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods
    • A61B2017/00743Type of operation; Specification of treatment sites
    • A61B2017/00809Lung operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/305Details of wrist mechanisms at distal ends of robotic arms
    • A61B2034/306Wrists with multiple vertebrae
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • A61B2034/741Glove like input devices, e.g. "data gloves"
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • A61B2034/742Joysticks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3614Image-producing devices, e.g. surgical cameras using optical fibre
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/71Manipulators operated by drive cable mechanisms

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

(関連出願の参照)
この特許出願は、2014年7月28日に出願された「SYSTEMS AND METHODS FOR PLANNING MULTIPLE INTERVENTIONAL PROCEDURES」という名称の米国仮特許出願第62/029,942号の優先権及び出願日の利益を主張し、その全文を本明細書中に参照として援用する。
本開示は、患者解剖学的構造を誘導して最小侵襲的な処置を行うシステム及び方法に向けられており、より具体的には、インターベンショナル器具の多数の配置のための手順を計画するシステム及び方法に関する。
最小侵襲的な医療技法は、インターベンショナル処置中に傷付けられる組織の量を減少させ、それにより、患者の回復時間、不快感、及び有害な副作用を減少させることに向けられている。そのような最小侵襲的な技法は、患者解剖学的構造にある自然開口部を通じて或いは1つ又はそれよりも多くの外科切開部を通じて行われることがある。これらの自然開口部又は切開部を通じて、臨床医は(外科器具、診断器具、治療器具、又は生検器具を含む)インターベンショナル器具を挿入して、標的組織場所に達する。標的組織場所に達するために、最小侵襲的なインターベンショナル器具は、肺、結腸、腸、腎臓、心臓、消化器系、又は同等の器官のような、解剖学的システム内の自然の又は外科的に創られる通路を進むことがある。臨床医が通路を通じて器具を誘導するのを助けるために、術前撮像又は術中撮像を用いて、通路のモデルが準備される。インターベンショナル器具を配置するための現在のシステムは、器具配置場所を標的組織場所に最も近いモデル化された通路内の地点として特定する。標的組織場所は、様々な理由により正確でないことがある。例えば、動いている患者における解剖学的構造の場所は、静止的な術前画像ベースのモデルにおける解剖学的構造の場所と異なる。位置センサ誤差及び位置合わせ技法の正確性も、標的組織場所を決定するときの不正確さに寄与することがある。最小侵襲的な処置を行って標的組織場所にアクセスする可能性を増大させる改良されたシステム及び方法が必要とされる。
本発明の実施態様は、本記述に続く請求項によって要約される。
1つの実施態様において、インターベンショナル器具を配置する方法は、解剖学的基準系における標的構造を特定することを含む。方法は、インターベンショナル器具の現在位置に対する解剖学的基準系における標的領域を決定すること及び標的領域内のインターベンショナル器具の第1の係合場所を記録することを更に含む。
他の実施態様において、インターベンショナル処置を行う方法は、インターベンショナル器具を配置する標的領域の画像を含むグラフィカルユーザーインターフェース(GUI)を生成することを含む。インターベンショナル器具の第1の係合に応答して、GUIは第1の係合場所マーカを含むように更新される。インターベンショナル器具の第1の係合に応答して、GUIは第1の修正標的領域の画像を含むように更新される。
他の実施態様において、多数のインターベンショナル処置を計画する方法は、解剖学的フレーム内の標的構造を特定すること及び解剖学的フレーム内の標的領域を決定することを含む。標的構造は、標的領域内に位置する。方法は、インターベンショナル器具を配置するために標的領域内の第1の係合場所を特定すること及びインターベンショナル器具を配置するために第2の係合場所を特定することを更に含む。
他の実施態様において、システムは、カテーテルと、該カテーテルから配置可能なツールとを含む、インターベンショナル器具を含む。システムは、制御システムを更に含み、制御システムは、解剖学的基準系内の標的構造を特定し、且つインターベンショナル器具の現在場所に対する解剖学的基準系内の標的領域を特定するように、構成される。標的構造は、標的領域内に位置する。制御システムは、標的領域内のインターベンショナル器具の第1の係合場所を記録し、且つ標的領域内の前記インターベンショナル器具の第2の係合場所を記録するように、更に構成される。
本開示の特徴は、添付の図面と共に判読されるとき、以下の詳細な説明から最良に理解されるであろう。業界における標準的な慣行に従って、様々な構成は原寸通りに描かれない。実際には、様々な構成の寸法は、議論の明瞭性のために任意に増大させられ或いは減少させられる。加えて、本開示は、様々な実施例において参照番号及び/又は文字を繰り返すことがある。この繰返しは単純性及び明瞭性の目的のためであり、それ自体は議論する様々な実施態様及び/又は構成の間の関係を決定しない。
本開示の実施態様に従った遠隔操作インターベンショナルシステムである。
本開示の特徴を利用するインターベンショナル器具システムを例示している。
延出させられたインターベンショナル器具を備える図2のインターベンショナル器具システムの遠位端を例示している。
インターベンショナル器具を配置する方法を記載するフローチャートである。
標的場所に近い患者の解剖学的領域を例示しており、インターベンショナル器具の遠位端は配置場所にある。
インターベンショナル処置を行う方法を記載するフローチャートである。
本開示の実施態様に従った患者解剖学的構造内の標的領域の画像である。
標的領域を修正する方法を記載するフローチャートである。
患者解剖学的構造内の修正標的領域の画像である。
コード化された標的領域マーカを備える標的領域の画像である。
本開示の他の実施態様に従った患者解剖学的構造内の標的領域の画像である。 本開示の他の実施態様に従った患者解剖学的構造内の標的領域の画像である。
本発明の特徴の以下の詳細な記述では、開示する実施態様の網羅的な理解をもたらすために、様々な特定の詳細を示す。しかしながら、これらの特定の詳細がなくても、この開示の実施態様が実施されることがあることは、当業者に明らかである。他の場合には、本発明の実施態様の特徴を不必要に曖昧にしないために、周知の方法、手順、コンポーネント(構成部品)、及び回路を詳細に記載しない。そして、不要な記述上の繰返しを避けるために、1つの例示的な実施態様に従って記載した1つ又はそれよりも多くのコンポーネント又は行為を他の例示的な実施態様から適用可能であるとして用い或いは省略し得る。
以下の実施態様は、様々な器具及び器具の部分を三次元空間内のそれらの状態に関して記載する。本明細書中で用いるとき、「位置」という用語は、三次元空間(例えば、デカルトX,Y,Z座標に沿う3つの自由度)内の物体又は物体の部分の場所を指す。本明細書中で用いるとき、「向き」という用語は、物体又は物体の部分の回転的な配置(3つの回転自由度−例えば、ロール、ピッチ、及びヨー)を指す。本明細書中で用いるとき、「姿勢」という用語は、少なくとも1つの並進自由度における物体又は物体の部分の位置及び少なくとも1つの回転自由度(最大で全部で6つの自由度)における物体又は物体の部分の向きを指す。本明細書中で用いるとき、「形状」という用語は、物体に沿って測定される姿勢、位置、又は向きのセットを指す。
図面の図1を参照すると、例えば、外科処置、診断処置、治療処置、又は生検処置における使用のための、遠隔操作インターベンショナルシステムが、概ね参照番号100によって示されている。図1に示すように、遠隔操作システム100は、一般的に、患者Pに対して様々な処置を行うに際してインターベンショナル器具104を操作するためのインターベンショナルマニピュレータアセンブリ102を含む。アセンブリ102は、手術台Oに又はその付近に取り付けられる。マスタアセンブリ106は、臨床医又は外科医Sが、インターベンショナル部位を見て、スレーブマニピュレータアセンブリ102を制御するのを可能にする。
マスタアセンブリ106は、手術台Oと同じ室内に配置されるのが普通である外科医コンソールに配置されてよい。しかしながら、外科医Sは、患者Pと異なる室内又は完全に異なる建物内に位置し得ることが理解されるべきである。マスタアセンブリ106は、一般的に、マニピュレータアセンブリ102を制御するための1つ又はそれよりも多くの制御デバイスを含む。制御デバイスは、ジョイスティック、トラックボール、データグローブ、トリガガン、手動コントローラ、音声認識デバイス、身体動作若しくは存在センサ、又は同等物のような、任意の数の様々な入力デバイスを含んでよい。幾つかの実施態様において、制御デバイスは、関連するインターベンショナル器具104と同じ自由度を備えて、外科医にテレプレゼンス又は外科医が器具104を直接的に制御しているという強い感覚を有するよう制御デバイスが器具104と一体であるという知覚をもたらす。他の実施態様において、制御デバイスは、関連するインターベンショナル器具104よりも多い又は少ない自由度を有して、外科医に依然としてテレプレゼンスをもたらしてよい。幾つかの実施態様において、制御デバイスは、(例えば、把持ジョーを閉じるために、電極に電位を印加するために、医療処置を提供するために、又は同等のことのために)器具を作動させる作動可能なハンドルを含んでもよい、6つの自由度で動く、手動入力デバイスである。
遠隔操作アセンブリ102は、医療器具システム104をサポートし、遠隔操作マニピュレータ及び1つ又はそれよりも多くの非サーボ制御リンク(例えば、一般的にセットアップ構造と呼ばれる、手動で位置付けられて所定の場所に係止されてよい1つ又はそれよりも多くのリンク)の運動学的構造を含んでよい。遠隔操作アセンブリ102は、制御システム(例えば、制御システム112)からの命令に応答して医療器具システム104上の入力を駆動させる、複数のアクチュエータ又はモータを含む。モータは、医療器具システム104に連結されるときに、医療器具を自然に又は外科的に創られる解剖学的開口部内に前進させてよい、駆動システムを含む。他の電動駆動システムは、3つの線形自由度(例えば、X,Y,Zデカルト軸に沿う線形運動)及び3つの回転自由度(例えば、X,Y,Zデカルト軸についての回転)を含んでよい多数の自由度において、医療器具の遠位端を動かしてよい。加えて、モータを用いて、生検デバイス又は同等物のジョー内で組織を掴むために器具の関節作動エンドエフェクタを作動させ得る。
遠隔操作医療システム100は、遠隔操作アセンブリの器具についての情報を受信するための1つ又はそれよりも多くのサブシステムを備えるセンサシステム108も含む。そのようなサブシステムは、位置センサシステム(例えば、電磁(EM)センサシステム)、カテーテル先端の及び/又は器具システム104のフレキシブルな本体に沿う1若しくはそれよりも多くのセグメントの位置、向き、速さ、速度、姿勢、及び/又は形状を決定する形状センサシステム、並びに/或いはカテーテルシステムの遠位端から画像を取り込むための視覚化システムを含んでよい。
視覚化システム(例えば、図2の視覚化システム231)は、手術部位の同時の又は実時間の画像が臨床医又は外科医Sに提供されるよう(以下により詳細に記載する)視認スコープアセンブリを含んでよい。同時画像は、例えば、手術部位内に位置付けられる内視鏡によって取り込まれる二次元画像又は三次元画像であってよい。しかしながら、代替的な実施態様において、別個のマニピュレータアセンブリに取り付けられる別個の内視鏡を医療器具と共に用いて、手術部位を撮像してよい。視覚化システムは、1つ又はそれよりも多くのコンピュータプロセッサと相互作用する或いは1つ又はそれよりも多くのコンピュータプロセッサによってその他の方法で実行される、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせとして実施されてよく、1つ又はそれよりも多くのコンピュータプロセッサは、(以下に記載する)制御システム112のプロセッサを含んでよい。
遠隔操作医療システム100は、センサシステム108のサブシステムによって生成される手術部位及び(複数の)医療器具システム104の画像又は表現を表示するディスプレイも含む。ディスプレイ110及び操作者入力システム106は、操作者が医療器具システム104及び操作者入力システム106をテレプレゼンスの知覚を伴って制御し得るように、方向付けられてよい。
ディスプレシステム110は、視覚化システムによって取り込まれる手術部位及び医療器具の画像も表示してよい。操作者が、恰も実質的に真実な実在(true presence)において作業空間を見ているかのように、医療器具104及び手動制御装置を操作し得るよう、ディスプレイ110及び制御デバイスは、医療器具及びスコープアセンブリ内の撮像デバイスの相対的な位置が、外科医の両眼及び両手の相対的な位置と類似するように、方向付けられてよい。真実な存在とは、画像の提示が、器具104を物理的に操作している操作者の視点を擬態する真実の視点画像(perspective image)であることを意味する。
代替的に又は追加的に、ディスプレイ110は、コンピュータ断層撮影法(CT)、磁気共鳴映像法(MRI)、蛍光透視法、サーモグラフィ、超音波、光コヒーレンストモグラフィ(OCT)、熱映像法、インピーダンス映像法、レーザ映像法、又はナノチューブX線映像法のような、撮像技術からのデータを用いて術前に記録され且つ/或いはモデル化される手術部位の画像を提示してよい。提示される術前画像は、二次元、三次元、又は四次元の画像を含んでよい。提示される術中画像は、二次元、三次元、又は(例えば、時間ベース又は速度ベースの情報を含む)四次元の画像及び画像を再現するための関連する画像データを含んでよい。
幾つかの実施態様において、ディスプレイ110は、臨床医又は外科医Sに器具104の先端の場所の視点からの内部手術部位の仮想画像を提示するよう、医療器具104の実際の場所が術前又は同時画像と位置合わせされる(即ち、動的に参照される)、仮想ナビゲーション画像を表示してよい。器具104の先端の画像又は他の図式的な若しくは英数字式の表示を仮想画像の上に重ね合わせて、外科医が医療器具を制御するのを助けてよい。代替的に、器具104は、仮想画像中で見えなくてよい。
他の実施態様において、ディスプレイ110は、臨床医又は外科医Sに外部視点からの手術部位内の医療器具の仮想画像を提示するよう、医療器具の実際の場所が術前画像又は同時画像と位置合わせされる、仮想ナビゲーション画像を表示してよい。医療器具の部分の画像又は他の図式的な若しくは英数字式の表示を仮想画像の上に重ね合わせて、外科医が医療器具を制御するのを助けてよい。
遠隔操作医療システム100は、制御システム112も含む。制御システム112は、少なくとも1つのメモリ及び少なくとも1つのプロセッサ(図示せず)を含み、そして、典型的には、医療器具システム104と、操作者入力システム106と、センサシステム108と、ディスプレイシステム110との間の制御をもたらす、複数のプロセッサとを含む。制御システム112は、本明細書中に開示する特徴に従って記載される方法の一部又は全部を実施するようプログラムされる指令(例えば、指令を格納するコンピュータ可読媒体)も含む。制御システム112は図1の簡略図中に単一のブロックとして示されているが、システムは、1つ又はそれよりも多くのデータ処理回路を含んでよく、処理の一部は、遠隔操作アセンブリ102上で或いは遠隔操作アセンブリに隣接して任意的に行われ、処理の他の部分は、操作者入力システム106で行われるなどである。多種多様な集中型又は分散型のデータ処理アーキテクチャのうちの何れかを利用してよい。同様に、プログラムされる指令は、多数の別個のプログラム又はサブルーチンとして実施されてよく、或いは、プログラムされる指令は、本明細書中に記載する遠隔操作システムの他の特徴に統合されてよい。他の実施態様において、制御システム112は、Bluetooth(登録商標)、IrDA、HomeRF、IEEE 802.11、DECT、及びWireless Telemetryのような、無線通信プロトコルをサポートする。
幾つかの実施態様において、制御システム112は、医療器具システム104から力及び/又はトルクフィードバックを受信する1つ又はそれよりも多くのサーボコントローラを含んでよい。フィードバックに応答して、サーボコントローラは、操作者入力システム106に信号を送信する。(複数の)サーボコントローラは、身体の開口を介して患者の体内の内部手術部位に延びる(複数の)医療器具システム104を動かすよう遠隔操作アセンブリ102に指示する信号を送信してもよい。任意の適切な従来的な又は特殊なサーボコントローラが用いられてよい。サーボコントローラは、遠隔操作アセンブリ102と別個であってよく或いは一体であってよい。幾つかの実施態様において、サーボコントローラ及び遠隔操作アセンブリは、患者の体に近接して位置付けられる遠隔操作アームカートの部分として設けられる。
制御システム112は、(複数の)医療器具システム104にナビゲーション支援をもたらす仮想視覚化システムを更に含んでよい。仮想視覚化システムを用いる仮想ナビゲーションは、解剖学的通路の三次元構造と関連付けられる取得されるデータセットの参照に基づく。より具体的には、仮想視覚化システムは、コンピュータ断層撮影法(CT)、磁気共鳴映像法(MRI)、蛍光透視法、サーモグラフィ、超音波、光コヒーレンストモグラフィ(OCT)、熱映像法、インピーダンス映像法、レーザ映像法、ナノチューブX線映像法、又は同等の方法のような、撮像技術を用いて撮像される、手術部位の画像を処理する。ソフトウェアを単独で或いは手動入力との組み合わせにおいて用いて、記録される画像を、解剖学的器官全体又は解剖学的領域(region)のセグメント化された二次元又は三次元複合表現に変換する。画像データセットは、複合表現と関連付けられる。複合表現及び画像データセットは、通路の様々な場所及び形状並びにそれらの接続性を記載する。複合表現を生成するために用いられる画像は、術前に或いは臨床処置の間に術中に記録されてよい。代替的な実施態様において、仮想視覚化システムは、標準的な表現(即ち、患者特異的でない表現)又は標準的な表現及び患者特殊データの混成物を用いてよい。複合表現及び複合表現によって生成されるあらゆる仮想画像は、運動の1つ又はそれよりも多くの位相の間の(例えば、肺の吸息/呼息サイクルの間の)変形可能な解剖学的領域の静止姿勢を提示することがある。
仮想ナビゲーション処置の間に、センサシステム108を用いて、患者解剖学的構造に対する器具のおおよその場所を計算してよい。その場所を用いて、患者解剖学的構造のマクロレベルトラッキング画像及び患者解剖学的構造の仮想内部画像の両方を生成し得る。光ファイバセンサを用いて、例えば、仮想視覚化システムからの、術前に記録される外科画像と共に、医療器具を位置合わせし且つ表示する、様々なシステムが知られている。例えば、2011年5月13日に出願された)(「Medical System Providing Dynamic Registration of a Model of an Anatomical Structure for Image-Guided Surgery」を開示する)米国特許出願第13/107,562号は、1つのそのようなシステムを開示しており、その全文を本明細書中に参照として援用する。
遠隔操作医療システム100は、照明システム、操縦制御システム、洗浄システム、及び/又は吸引システムのような、任意的な作業及びサポートシステム(図示せず)を更に含んでよい。代替的な実施態様において、遠隔操作システムは、1つよりも多くの遠隔操作アセンブリ及び/又は1つよりも多くの操作者入力システムを含んでよい。マニピュレータアセンブリの正確な数は、数ある要因の中でも、手術室内の空間制約及び外科処置に依存する。操作者入力システムは並置されてよく、或いはそれらは別個の場所に位置付けられてよい。多数の操作者入力システムは、1人よりも多くの操作者が1つ又はそれよりも多くのマニピュレータアセンブリを様々な組み合わせにおいて制御するのを可能にする。
図2は、遠隔操作医療システム100の医療器具システム104として用いられてよい、医療器具システム200を例示している。代替的に、医療器具システム200は、非遠隔操作診査処置のために或いは内視鏡のような従来的な手動操作医療器具を含む処置において用いられてよい。
器具システム200は、器具本体204に連結されるカテーテルシステム202を含む。カテーテルシステム202は、近位端217と、遠位端又は先端部分218とを有する、細長い可能なフレキシブルなカテーテル本体216を含む。1つの実施態様において、フレキシブルな本体216は、約3mmの外径を有する。他のフレキシブルな本体の外径は、より大きくてもより小さくてもよい。カテーテルシステム202は、任意的に、遠位端218でのカテーテル先端の及び/又は本体216に沿う1つ又はそれよりも多くのセグメント224の位置、向き、速さ、速度、姿勢、及び/又は形状を決定するための、形状センサ222を任意的に含んでよい。遠位端218と近位端217との間の本体216の全長は、セグメント224に効果的に分割されてよい。器具システム200が、遠隔操作医療システム100の医療器具システム104であるならば、形状センサ222は、センサシステム108のコンポーネントであってよい。器具システム20が、手動動作される又はその他の方法において非遠隔操作のために用いられるならば、形状センサ222は、形状センサ222に呼び掛けて、受信する形状データを処理する、トラッキングシステム230に連結されてよい。
形状センサ222は、フレキシブルなカテーテル本体216と整列させられる(例えば、内部通路(図示せず)内に設けられ或いは外部的に取り付けられる)任意的な光ファイバを含んでよい。1つの実施態様において、光ファイバは、約200μmの直径を有する。代替的な実施態様において、寸法はより多くてもより小さくてもよい。形状センサシステム222の光ファイバは、カテーテルシステム202の形状を決定するための光ファイバ曲げセンサを形成する。1つの代替では、ファイバブラッググレーティング(FBGs)を含む光ファイバが用いて、1つ又はそれよりも多くの次元における構造のひずみ測定値を提供する。光ファイバの三次元における形状及び相対位置をモニタリングする様々なシステム及び方法が、(2005年7月13日に出願された)(「Fiber optic position and shape sensing device and method relating thereto」を開示する米国特許出願第11/180,389号、(2004年7月16日に出願された)(「Fiber optic shape and relative position sensing」を開示する)米国特許出願第12/047,056号、及び(1998年6月17日に出願された)(「Optical Fibre Bend Sensor」を開示する)米国特許第6,389,187号に記載されており、それらの全文を参照として本明細書中に援用する。代替的な実施態様におけるセンサは、レイリー散乱、ラマン散乱、ブリユアン散乱、及び蛍光散乱のような、他の適切なひずみ検知技法を利用してよい。他の代替的な実施態様では、カテーテルの形状は、他の技法を用いて決定されてよい。例えば、カテーテルの遠位先端の姿勢の履歴を用いて、時間の間隔に亘るデバイスの形状を再構築し得る。他の実施例として、履歴的な姿勢、位置、又は向きデータは、呼吸のような、代替的な運動の周期に沿う器具システムの既知の地点のために、格納されてよい。この格納データを用いて、カテーテルについての形状情報を発展させてよい。代替的に、カテーテルに沿って位置付けられるEMセンサのような一連の位置センサを形状検知のために用い得る。代替的に、特に解剖学的通路が概ね静止的であるならば、処置中の器具システム上のEMセンサのような位置センサからのデータの履歴を用いて、器具の形状を提示してよい。無線デバイスの位置の履歴を用いて、誘導される通路についての形状を決定してよい。
この実施態様において、光ファイバは、単一のクラッディング内に多数のコアを含んでよい。各コアは、各コア内の光が他のコア内で搬送される光と有意に相互作用しないような、コアを分離する十分な距離及びクラッディングを備える単一モードであってよい。他の実施態様において、コアの数は異なってよく、或いは各コアは別個の光ファイバ内に含められてよい。
幾つかの実施態様では、FBGsのアレイ(配列)が各コア内に設けられてよい。各FBGは、屈折率における空間周期性を生成するために、コアの屈折率の一連の変調(modulations)を含む。間隔は、各屈折率変化からの部分的な反射が、狭い帯域の波長について固有に増大し、従って、この狭い帯域の波長のみを反射するが、より広い帯域を通過するように、選択される。FBGsの製造中、変調は、器銀尾距離だけ離間させられ、それにより、既知の帯域の波長の反射を引き起こす。しかしながら、ファイバコアで歪みが誘発されると、コア内のひずみの量に依存して、変調の間隔は変化する。代替的に、後方散乱又は光ファイバの曲げの故に変化する他の光学的現象を用いて、各コア内のひずみを決定し得る。
よって、ひずみを測定するために、光がファイバに下行され、戻る光の特性が測定される。例えば、FBGsは、ファイバの温度及びファイバ上のひずみ及びの関数である反射波長を生成する。このFBG技術は、Bracknell, EnglandのSmart Fibres Ltd.のような、様々なソースから商業的に入手可能である。遠隔操作手術用の位置センサにおけるFBG技術の使用は、(2006年7月20日に出願された)(「Robotic Surgery System Including Position Sensors Using Fiber Bragg Gratings」を開示する)米国特許第7,930,065号に記載されており、その全文を本明細書中に参照として援用する。光ファイバを用いて、カテーテルシステム202の少なくとも部分の形状をモニタリングしてよい。より具体的には、光ファイバを通過する光を処理して、カテーテルシステム202の形状を検出し、その情報を利用して外科処置を助ける。センサシステム(例えば、センサシステム108)は、カテーテルシステム202の形状を決定するために用いられる光を生成し且つ検出する呼掛けシステム(interrogation system)を含んでよい。次に、この情報を用いて、医療器具システムの部分の速度及び加速度のような、他の関連する変数を決定し得る。検知することは、遠隔操作システムによって作動させられる自由度にのみ限定されてよく、或いは、検知することは、受動的な自由度(例えば、ジョイントの間の剛性部材の作動させられない曲げ)及び能動的な自由度(例えば、器具の作動させられる動き)の両方に適用されてよい。
医療器具は、任意的に、位置センサシステム220を含んでよい。位置センサシステム220は、EMセンサシステムのコンポーネントであってよく、センサ220は、外部的に生成される電磁場に晒されることがある1つ又はそれよりも多くの導電性コイルを含む。次に、EMセンサシステム220の各コイルは、外部的に生成される電磁場に対するコイルの位置及び向きに依存する特性を有する誘導電気信号を生成する。1つの例示的な実施態様において、EMセンサシステムは、6つの自由度、例えば、3つの位置座標X,Y,Z、並びに、ベース地点のピッチ、ヨー、及びロールを示す3つの配向角度、或いは、5つの自由度、例えば、3つの位置座標X,Y,Zと、並びに、ベース地点のピッチ及びヨーを示す2つの配向角度を測定するように、構成され且つ位置付けられてよい。EMセンサシステムの更なる記述は、(1999年8月11日に出願された)(「Six-Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked」を開示する)米国特許第6,380,732号に提供されており、その全文を本明細書中に参照として援用する。
トラッキングシステム230は、器具200に沿う1つ又はそれよりも多くのセグメント224の及び遠位端218の位置、向き、速さ、姿勢、及び/又は形状を決定するために、位置センサシステム220及び形状センサシステム222を含んでよい。トラッキングシステム230は、制御システム116のプロセッサを含んでよい1つ又はそれよりも多くのコンピュータプロセッサと相互作用する或いはその他の方法で実行される、ハードウェア、ファームウェア、又はそれらの組み合わせにおいて実施されてよい。
フレキシブルなカテーテル本体216は、インターベンショナル器具226を受け入れる大きさ及び形状とされる通路2212を含む。インターベンショナル器具は、例えば、画像取込みプローブ、生検器具、レーザアブレーションファイバ、又は他の外科的、診断的、若しくは治療的ツールを含んでよい。インターベンショナルツールは、メス、鈍らブレード(blunt blade)、光ファイバ、又は電極のような、単一の作業部材を有する、エンドエフェクタを含んでよい。電気的に作動されるエンドエフェクタの実施例は、電気外科電極、トランスデューサ、センサ、及び同等物を含む。様々な実施態様において、インターベンショナルツール226は、表示のために視覚化システム231によって処理される(ビデオ画像を含む)画像を取り込むためにフレキシブルなカテーテル本体216の遠位端218にある或いはその付近にある立体視又は平面視カメラを備える遠位部分を含む、画像取込みプローブであってよい。画像取込みプローブは、取込み画像データを送信するためにカメラに連結されるケーブルを含んでよい。代替的に、画像取込み器具は、視覚化システムに繋がるファイバスコープのような光ファイバのバンドル(束)であってよい。画像取込み器具は、例えば、可視スペクトル、赤外スペクトル、又は紫外スペクトルのうちの1つ又はそれよりも多くにおいて画像データを取り込む、単スペクトル又は多スペクトルであってよい。
インターベンショナル器具226は、器具の遠位端を制御可能に曲げるよう、器具の近位端と遠位端との間に延びる、ケーブル、リンケージ、又は他の作動制御装置(図示せず)を収容してよい。操縦可能な器具は、(2005年10月4日に出願された)(「Articulated Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity」を開示する)米国特許第7,316,681号及び(2008年9月30日に出願された)(「Passive Preload and Capstan Drive for Surgical Instruments」を開示する)米国特許出願第12/286,644号に詳細に記載されており、それらの全文を本明細書中に参照として援用する。
フレキシブルなカテーテル本体216は、例えば、遠位端の二点破線によって図示するように、遠位端218を制御可能に曲げるよう、ハウジング204と遠位端218との間に延びる、ケーブル、リンケージ、又は他の操縦制御装置(図示せず)を収容してもよい。操縦可能なカテーテルは、(2011年10月14日に出願された)(「Catheter with Removable Vision Probe」を開示する)米国特許出願第13/274,208号に詳細に記載されており、その全文を本明細書中に参照として援用する。器具システムが遠隔操作アセンブリによって作動させられる実施態様において、ハウジング204は、遠隔操作アセンブリの電動駆動要素に取り外し可能に連結して、遠隔操作アセンブリの電動駆動要素から電力を受け取る、駆動入力を含んでよい。器具システム200が手動操作される実施態様において、ハウジング204は、把持構成、手動アクチュエータ、又は器具システムの動きを手動制御するための他のコンポーネントを含んでよい。カテーテルシステムは、操縦可能であってよく、或いは、代替的に、カテーテルシステムは、器具曲げの操作者制御装置のための統合的な機構を備えないで、操縦不能であってよい。同様に或いは代替的に、1つ又はそれよりも多くの管腔が、フレキシブルな本体216の壁に定められてよく、管腔を通じて医療器具を配置して、標的手術場所で用い得る。
様々な実施態様において、医療器具システム200は、肺の検査、診断、生検、又は治療における使用のための、気管支鏡又は気管支カテーテルのような、フレキシブルな気管支器具を含んでよい。システム200は、結腸、腸、腎臓、脳、心臓、消化器系、及び同等の器官を含む、様々な解剖学系統のうちのいずれかにおいて、自然に又は外科的に創られる接続通路を介した、他の組織のナビゲーション及び治療にも適する。
トラッキングシステム230からの情報はナビゲーションシステム232に送られてよく、それはナビゲーションシステムで視覚化システム231からの情報及び/又は術前に得られるモデルと組み合わされて、器具200の制御装置における使用のためのディスプレイシステム110上の実時間位置情報を外科医又は他の操作者に提供する。制御システム116は、器具200を位置決めするためのフィードバックとして位置情報を利用してよい。手術器具を手術画像と位置合わせして表示するために光ファイバセンサを用いるための様々なシステムが、(2011年5月13日に出願された)(「Medical System Providing Dynamic Registration of a Model of an Anatomical Structure for Image-Guided Surgery」を開示する)米国特許出願第13/107,562号に提供されており、その全文を本明細書中に参照として援用する。
図2の実施態様において、器具200は、遠隔操作医療システム100内で遠隔操作される。代替的な実施態様において、遠隔操作アセンブリ102は、直接操作者制御装置と置換されてよい。直接操作の代替では、様々なハンドル及び操作者インターフェースが、器具の手持ち式の操作のために含められてよい。
代替的な実施態様において、遠隔操作システムは、1つよりも多くのスレーブマニピュレータアセンブリ及び/又は1つよりも多くのマスタアセンブリを含んでよい。マニピュレータアセンブリの正確な数は、数ある要因の中でも、手術室内の空間制約及びインターベンショナル処置に依存する。マスタアセンブリは並置されてよく、或いはそれらは別個の場所に位置付けられてよい。多数のマスタアセンブリは、1人よりも多くの操作者が1つ又はそれよりも多くのマニピュレータアセンブリを様々な組み合わせにおいて制御するのを可能にする。
図3により詳細に示すように、手術、生検、アブレーション、照明、洗浄、又は吸引のような処置のための、インターベンショナルツール228を、フレキシブルな本体216の通路221を通じて配置して、解剖学的構造内の標的場所で用い得る。インターベンショナルツール228は、画像取込みプローブであってもよい。インターベンショナルツール228を通路221の開口から前進させて処置を行い、次に、処置が完了したときに、通路から後退させて戻してよい。インターベンショナルツール228は、カテーテルのフレキシブルな本体の近位端217から或いはフレキシブルな本体に沿う他の任意的な器具部分(図示せず)から取り外されてよい。
使用中、臨床医又は制御システムは、インターベンショナル器具の遠位端を停めて標的構造に対してインターベンショナル処置を行うために、解剖学的通路内の計画される配置場所を選択してよい。インターベンショナル処置を計画し、計画された配置場所まで進める(navigating)様々なシステム及び方法が、2013年12月30日に出願された「Systems and Methods for Interventional Procedure Planning」を開示する米国特許出願第14/144,186号に記載されており、その全文を本明細書中に参照として援用する。標的構造の場所と関連付けられる、患者モデル及び患者解剖学的構造の位置合わせに関連付けられる、並びにインターベンショナル器具のナビゲーションと関連付けられる不確実性及び誤差は、計画される配置場所の特定及び処置の有効性に影響を及ぼす。以下に記載するように、ナビゲーション及び標的場所の不確実性の故に標的構造を見失う危険性は、標的構造の場所を標的地点の集合(collection)又はクラウド(cloud)を含む確率的標的領域として表現することによって軽減されることがある。臨床医又は制御システムは、解剖学的通路内にカテーテルを停め、次に、ツールを配置して標的領域からの多数の標的地点に係合させる(engage)、1つ又はそれよりも多くの配置場所を選択してよい。標的領域内の多数の標的地点に関与させることによって、標的構造に1回又はそれよりも多く関与する確率は増大させられることがある。
図4は、処置配置場所を特定し、インターベンショナル器具を配置場所まで進める、方法250を例示している。プロセス252は、患者解剖学的構造の解剖学的モデルを得ることを含む。解剖学的モデルは、解剖学的通路の三次元構造と関連付けられる取得データセットから発展させられてよい。より具体的には、解剖学的モデルは、CT、MRI、蛍光透視法、サーモグラフィ、超音波、OCT、DOT、熱映像法、インピーダンス映像法、レーザ映像法、ナノチューブX線映像法、又は同等の映像法のような、撮像技術を用いて記録される、インターベンショナル部位の画像を処理することによって得られてよい。ソフトウェアを用いて、記録した画像を部分的な又は全体的な解剖学的器官又は解剖学的領域の二次元又は三次元モデルに変換してよい。モデルは、通路の様々な場所及び形状及びそれらの接続性を記述する。モデルを生成するために用いられる画像は、術前に又は臨床処置の間の術中に記録されてよい。代替的な実施態様では、標準的なモデル(即ち、患者特異的でないモデル)又は標準的なモデルと患者特異的なモデルとの混成物を用いてよい。モデル及びモデルによって生成されるあらゆる仮想画像は、運動の1つ又はそれよりも多くの位相の間の(例えば、肺の吸息/呼息周期の間の)変形可能な解剖学的領域の静止的な姿勢を表現することがある。モデルは、基準系(frame of reference)及び関連するモデル座標系を有する。
プロセス254で、モデル内に特定される解剖学的構造の場所を、実際の患者及びインターベンショナル器具が存在する患者基準系に転換し得るよう、モデル基準系は、患者基準系と位置合わせされる。同様に、モデル化される解剖学的構造に対する器具の移動をトラッキングし得るよう、患者基準系内のインターベンショナル器具の場所及び向きをモデル基準系に転換し得る。プロセス356で、標的構造がモデル基準系内で特定され、患者基準系内の場所に転換される。図5に示すように、モデルからの仮想画像300は、腫瘍のような標的構造302及び付近の解剖学的通路304を描写する。通路は、通路壁306と、竜骨308(carina)とを含む。この実施態様において、解剖学的通路は、肺の気管支通路であるが、この開示のシステム及び方法は、結腸、腸、腎臓、心臓、又は消化器系のような解剖学的系統内の、他の自然に又は外科的に創られる通路における使用に適することがある。仮想画像300は、解剖学的構造の画像と位置合わせされたインターベンショナル器具307を更に描写している。インターベンショナル器具307は、(フレキシブルな本体216と実質的に類似する)フレキシブルな本体309と、延出させられたインターベンショナルツール310とを含む。患者基準系内のインターベンショナル器具307の画像の位置及び向きは、前述のセンサシステムに基づき決定されてよい。
様々な誤差要因が、器具307に対する標的構造302の真実の場所についての不確実性に寄与する。例えば、誤差要因は、モデル基準系及び患者基準系が位置合わせされた後の患者の動きと関連付けられることがある。位置合わせ後の動きの結果、実際の患者解剖学的構造は、モデルによって予測された同じ場所又は向きに最早ないことがある。他の誤差要因は、例えば、患者の呼吸又は心臓の動きによって引き起こされる、周期的な患者の動作と関連付けられることがある。例えば、モデルが呼吸の呼息周期の間に得られる画像から得られるならば、器具に対する標的構造の真実の場所は、器具が呼吸の吸息周期の間に配置されるならば、異なる場所にあるであろう。誤差要因は、センサシステムにおける誤差、(例えば、他のインターベンショナル処置又は疾病進行に起因する)撮像の時とインターベンションの時との間の解剖学的構造の変化、及び器具を進めるために用いられる制御アルゴリズムについての推定の誤差と関連付けられることもある。
図4を再び参照すると、プロセス258は、標的地点の確率的集合又はクラウドとしての器具に対する標的構造302の場所を表す標的領域を決定することを含む。標的領域は、患者基準系における三次元区域(area)であってよい。標的領域311の画像が図5に示されている。標的領域311は複数の標的地点312で構成される。標的地点312の分布、よって、標的領域の三次元形状は、上述のような様々な要因に基づくことがある。例えば、患者基準系における標的構造の場所の確率的分布は、地点分布に寄与することがある。患者基準系内の標的構造の場所は、例えば、術前撮像の時とインターベンショナル処置の時との間の動き、心臓運動、呼吸運動、呼吸通門(respiration gating)又は検知と関連付けられる誤差、及びインターベンショナル器具によって解剖学的構造に適用される力によって引き起こされる運動の故に、異なることがある。患者基準系におけるインターベンショナル器具(カテーテル及び/又は拡張可能ツール)の遠位端の姿勢の確率的分布も、標的地点分布に寄与することがある。例えば、センサシステムと関連付けられる誤差分布は、器具姿勢における誤差を引き起こすことがある。患者基準系における標的構造の確率的分布に対して他に寄与する物は、術前撮像の時とインターベンショナル処置の時との間の動き、ナビゲーションアルゴリズムにおいて行われる推定と関連付けられる偏差、インターベンショナルツールの長さの不確実性及び可変性、並びにインターベンショナルツールの検知された向きと比較したインターベンショナルツールの向きの変化と関連付けられる不確実性及び可変性を含むことがある。術前モデル及び画像と比較するときの実際の標的構造の容積形状における変化又は変動も、患者基準系における標的構造の確率的分布に寄与することがある。
これらの要因の各々が患者基準系における標的構造の確率的分布に寄与する量は、患者解剖学的構造及び器具についての情報を測定し或いは受信することによって経験的に導出されることがある。例えば、経験的データは、術前画像における吸息と呼息との間の呼吸運動について或いは呼吸モデリング及び呼吸保持の精度について得られることがある。経験的データは、器具の検知場所と器具が存在すると推定される特定の解剖学的通路との間の不一致について得られることもある。器具が多数の呼吸又は心臓周期に亘って静止的である(例えば、軸方向に前進させられず或いは回転させられない)ときの器具の検知場所についての統計を用いて、確率的分布を決定してもよい。異なる荷重条件(例えば、異なる量の張力)に晒されるときの器具の検知場所についての統計を用いて、確率的分布を決定してもよい。器具及びインターベンショナルツールの形状並びに器具及び/又はツールが受ける曲げの量についての経験的データを用いて、確率的分布を決定してよい。経験的情報は、標的構造が位置する解剖学的構造の場所(例えば、周囲組織の堅さ又は弾性、骨、脈管構造、及び接続組織の相対的な場所)について測定され或いはその他の方法で得られてよい。器具及びインターベンショナルツールの物理学に基づくモデリングから経験的データを収集して、周囲組織で引き起こされる変形の量を決定してよい。経験的データは、器具及びインターベンショナルツールの物理的特性について測定され或いはその他の方法で得られてよい。経験的データは、光学視覚化システム、超音波、CT、又は蛍光透視法のような、術中撮像源によって得られる解剖学的構造及び標的構造の画像から導出されてもよい。
標的領域を決定するプロセス258は、多数の標的地点を含む単一の標的領域を決定することを含んでよいが、他の実施態様では、1つよりも多くの点群(point cloud)が決定されてよい。例えば、骨又は他の剛性組織のような構造が標的構造の領域内にあるならば、2つの標的領域−剛性組織の両側に1つずつ−が決定されてよい。多数の標的領域は完全に別個であってよく、或いは交差してもよい。
標的領域311は、標的構造の理論的場所(即ち、標的地点)の周りの境界付きボリューム(bounded volume)として例示されてよい。代替的に、標的領域は、標的地点の周りに境界付きボリュームのない標的地点の集合であってよい。標的地点雲及び/又は境界付きボリュームは、標的構造の理論的な場所の周りの確率的分布と一致する、球形、楕円体、又は他の形状の二次元又は三次元ボリュームとして表示されてよい。標的領域の大きさ及び形状は、標的構造の解剖学的構造内の具体的な場所の特性に依存することがある。異なる特性が、解剖学的構造の異なる部分に当て嵌まることがある。例えば、肺の周辺区域は、より中心区域よりも、周期的な解剖学的運動に起因するより大きな動きを受けることがある。よって、周辺区域における標的構造と関連付けられる誤差分布及び標的領域の大きさは、主気管支付近の標的構造と関連付けられる分布及び標的領域の大きさよりも大きいことがある。標的領域の大きさ及び形状は、インターベンショナル処置を行うときに回避されるべき区域も考慮に入れなければならないことがある。回避されるべき区域は、インターベンショナル処置を行うことが患者又はアクセス不能であることがある区域にとって危険であることがある区域を含むことがある。回避されるべき区域は、血管、骨、肺の境界(例えば、胸膜又は隔膜付近)、又は敏感な器官を含むことがあり、従って、これらの解剖学的構成の存在は、標的領域の大きさ及び形状に影響を及ぼすことがある。標的領域の大きさ及び形状は、成功裡の処置の可能性によっても影響を受けることがある。例えば、成功裡の生検は、接近している気道とほぼ平行な軌跡を備える標的地点を回避することに依存することがある。何故ならば、そのようなアプローチは、インターベンショナルツールが壁を穿孔して生体を得る代わりに、インターベンショナルツールが気道内に偏向する危険性を増大させるからである。1つの実施態様では、気道通路又は解剖学的画像内の他の構造を特定するセグメント化プロセスを用いて、標的構造をモデル化し、セグメント化表面を修正して(例えば、成長させて)、標的構造の場所の確率的分布を考慮してよい。換言すると、標的構造の大きさ及び形状は、標的構造の場所の確率的分布を含むよう拡大され或いはその他の方法で変更されてよい。
幾つかの実施態様において、標的構造場所は、下位場所(sublocations)に分割されてよく、各々の下位場所は、関連付けられる確率的標的領域を備える。幾つかの実施態様において、標的構造場所又は下位場所は、生検器具が配置される間のカテーテル運動又はカテーテル若しくは生検器具の他の既知の可撓性(flexibility characteristics)に順応するように生成される人工的な場所であってよい。例えば、生検処置が、実際の標的場所を使うときのカテーテル動作の故に不成功であるならば、1つ又はそれよりも多くの人工的な標的場所を創って、カテーテル動作を補償してよい。
図4を再び参照すると、プロセス260は、インターベンショナル処置を行う標的領域内の特定の標的地点を特定することを含む。例えば、標的領域内の特定の地点は、組織をサンプリングするための生検場所であってよい。具体的な標的地点の選択は、行われるべき処置の総数によって更に影響を及ぼされることがある。例えば、2つだけの生検が標的領域内で計画されるならば、選択される標的地点は、6つの生検が6つの異なる標的地点で計画される場合よりも、更に離れる。具体的な標的地点の選択は、従前の処置の結果によっても影響を及ぼされることがある。例えば、標的領域内のもっと後のセットの生検のための標的地点の選択は、より前の生検の結果に基づくことがある。標的地点は、例えば、成功裡の生検結果の確率に基づき、患者の安全性に基づき(例えば、付近の脆弱な構造を考慮して)、或いは満足な組織学サンプルの可能性に基づき、順序付けられ或いはランク付けられてよい。
図4を再び参照すると、プロセス262は、インターベンショナルツールを配置してよい、計画されるカテーテル停止場所を特定することを含む。1つの実施態様では、制御システム112のナビゲーション計画モジュールが、計画される配置場所を、標的領域に或いは(複数の)標的領域内の特定の標的地点に近い又は最も近い解剖学的通路の壁に沿う場所314として特定する。1つよりも多くの標的領域が特定されるならば、1つよりも多くの配置場所が決定されてよい。異なる配置場所が、そのような標的地点のために特定されてもよい。
専ら標的領域への近接性に基づき配置場所を選択することは、インターベンショナル器具がアクセスし得ない或いは容易にアクセスし得ない、選択される配置場所をもたらす。例えば、インターベンショナル器具は、近接性に基づく配置場所にアクセスするために通路内で十分に曲がり得ないことがある。加えて、選択される配置場所又は配置場所へのナビゲーション経路は、避けるべき傷痕又は疾患組織のような、解剖学的制約を考慮しないことがある。他の例として、組織変形の量、よって、組織損傷の危険性を最小にするよう、配置場所を選択し得る。任意的に、1つ若しくはそれよりも多くの配置場所又は標的地点は、生検サンプルの所望の大きさに基づき選択されてよい。例えば、第1の生検は、数個の細胞だけに基づきポジティブな細胞学サンプルをもたらすことがある。ポジティブな細胞学サンプルに基づき、新しい(複数の)標的地点又は(複数の)配置場所を選択して、組織学サンプルのための生検を行うために、より大きな直径の標的構造にアクセスしてよい。
他の実施態様において、ナビゲーション計画モジュールは、複数の要因に基づき配置場所を選択し、複数の要因は、幾つかの場合、標的領域までの距離及び/又は他の解剖学的構成に対する標的領域の位置のような、処置特性であってよい。他の実施態様において、ナビゲーション計画モジュールは、追加的に又は代替的に、インターベンショナル器具の動作能力についての情報を受信し且つ用いて、配置場所を決定してよい。例えば、カテーテル材料の可撓性及び弾性、カテーテル又はカテーテルの通路を通過するツールの予形成される形状のあらゆる剛性、カテーテル又はツールの遠位端の操縦性(例えば、カテーテルの遠位端がカテーテルの主軸に対して湾曲することがある程度)、及びカテーテルの長さに沿う曲率のような、器具の曲げ能力の既知の特性に関する情報が考慮されてよい。インターベンショナル器具の他の既知の特性を用いて、カテーテルの直径、ツールの直径、カテーテルから延出させられるときのツールの(例えば、湾曲した、直線の)軌跡、ツールの(例えば、掃引(sweeping)、回転(spinning)、線形)動作、カテーテルの軸に対するツールの軸の最大角度、カテーテルから延出させ得るツールの最大長さ、及び通路壁との摩擦接触をもたらすカテーテルの遠位先端でのあらゆる固着構造を含む、配置場所を決定してもよい。曲げ能力に関する情報及び/又はインターベンショナル器具の特性に関する情報は、解剖学的通路内のインターベンショナル器具の動作能力を決定するために用い得る例示的な要因である。
ナビゲーション計画モジュールは、同様に又は代替的に、患者解剖学的構造についての情報を受信し且つ用いて、配置場所を決定してよい。そのような情報は、例えば、標的領域に最も近い解剖学的通路の竜骨の場所及び標的領域に最も近い通路の大きさを含んでよい。他の解剖学的情報は、あらゆる疾病処置が通路の弾性に対して有することがある影響を含む解剖学的通路の弾性を含んでよい。ナビゲーション計画モデルは、周囲の解剖学的組織を考慮して、例えば、周囲組織への危険性を減少させる配置場所を選択してよい。一例として、配置場所は、配置されるツールを(肺壁に向かうよりもむしろ)肺壁と概ね平行に延びるようにさせる。これは配置されるツールで肺を穿孔する危険性を最小にすることがある。ナビゲーション計画モデルは、標的構造の解剖学的構造を考慮して、標的領域の好適な場所にアクセスしてもよい。例えば、配置場所は、生検ツールが腫瘍の石灰化部分を避けるように選択されてよい。標的領域の形状は、腫瘍の石灰化部分の区域が低確率的区域として特定されて、確率的領域内に含められないよう、標的構造の解剖学的構造に基づき決定されてもよい。
ナビゲーション計画モジュールは、カテーテルの端からの標的領域又は標的領域内の特定の標的地点の距離のような、インターベンショナル器具と患者解剖学的構造との間の関係についての情報も考慮してよい。ナビゲーション計画モジュールは、インターベンショナルツールと通路壁との間のアプローチ角度も考慮してよい。例えば、90°のアプローチ角度は、通路の小さな大きさ及びカテーテルの遠位先端の曲げ性の故に、実行不能であることがある。1°のアプローチ角度も、インターベンショナルツールが通路壁を穿孔せずに通路壁の表面を擦ることがあるという危険性の故に適さないことがある。これらの理由のために、ナビゲーション計画モジュールは、アプローチ角度が約30°〜90°の間であるように、配置場所を選択してよい。ナビゲーション計画モジュールがインターベンショナル器具及び患者解剖学的構造に関連する要因を評価した後に、解剖学的通路の壁の上の配置場所314が特定される。
プロセス264で、ナビゲーション計画モジュールは、計画された配置場所への提案されたナビゲーション経路についての指令を提供してよい。次に、臨床医は、インターベンショナル器具の遠位端を配置場所に向け得る。臨床医は、仮想の又は現実の画像誘導に基づきインターベンショナル器具のナビゲーションを手動制御してよい。代替的に、臨床医は、提案されたナビゲーション経路に沿ってインターベンショナル器具のナビゲーションを遠隔操作制御し或いはインターベンショナル器具のコンピュータ支援ナビゲーションを可能にし得る。
図6は、配置場所に停められたカテーテルからインターベンショナルツールを配置する方法400を例示している。プロセス402で、インターベンショナルツール(例えば、ツール310)が、配置場所に停められたカテーテルから標的領域内の標的地点に向かって延出される。幾つかの状況において、標的構造が解剖学的通路内に位置するとき、配置場所は、通路の壁の上よりもむしろ、通路の管腔内に位置してよい。標的地点は、臨床医又は制御システムによって予め選択されてよい。代替的に、標的地点は、インターベンショナル処置を行うときにツールが係合する標的領域内のあらゆる係合地点であってよい。プロセス404で、標的領域内の第1の係合地点が記録されてよい。例えば、第1の係合地点は、第1の生検場所であってよい。第1の係合地点は、予め選択される標的地点と同じ場所であってよい。代替的に、記録される第1の係合地点は、予め選択される標的地点と異なる場所でよい。プロセス406で、インターベンショナルツールは、第2の係合地点に再配置され、標的領域内の第2の係合地点が記録されてよい。器具の再配置は、初期的な配置位置から起こってよい。任意的に、カテーテルを停めるための配置場所は、器具を第2の係合地点に再配置する前に変更されてよい。任意的に、インターベンショナルツールの連続的な再配置のプロセスは、計画した数又は臨床医が決定した数の所要の係合処置が完了するまで、繰り返されてよい。任意的なプロセス408で、標的領域及び係合場所は、グラフィカルユーザーインターフェース(GUI)上に表示されてよい。
図7は、標的構造(例えば、標的構造302)の確率的分布を表す標的領域452を描写するディスプレイ(例えば、ディスプレイ110)上の表現のためのGUI450を例示している。標的構造は、複数の標的地点454を含む。第1の係合地点P1は、第1の処置の場所(例えば、第1の生検場所)であり、第2の係合地点P2は、第2の処置の場所(例えば、第2の生検場所)である。係合地点P1,P2は、標的地点454のうちの予め選択された標的地点と同じ場所であってよい。代替的に、係合地点P1,P2は、標的領域境界付きボリュームを備えてよいが、予め選択される標的地点に対応しなくてよい。係合地点は、全て同じ記号で記されてよいし、或いは、各係合地点は、異なる記号で記されてよい。異なる記号が用いられるならば、記号の各々は、生検処置が起こる順序又は各々の特定の係合地点についての生検の結果のような、情報を示してよい。
図8は、配置場所で停められるカテーテルからインターベンショナルツールを配置する方法500を例示している。プロセス502で、インターベンショナルツール(例えば、ツール310)が、配置場所で停められるカテーテルから標的領域内の標的地点に向かって延出される。標的地点は、臨床医又は制御システムによって予め選択されてよい。代替的に、標的地点は、インターベンショナル処置を行うときにツールが係合する標的領域内のあらゆる係合地点であってよい。プロセス504で、標的領域内の第1の係合地点が記録されてよい。例えば、第1の係合地点は、第1の生検場所であってよい。第1の係合地点は、予め定められる標的地点と同じ場所であってよい。代替的に、記録される第1の係合地点は、予め選択される標的地点と異なる場所にあってよい。プロセス506で、修正標的領域が、第1の係合地点に基づき創り出される。例えば、第1の係合地点が特定の標的地点と同じであることが意図されたが、外れたならば、標的領域は動的に修正されてよい。よって、記録された第1の係合地点からの情報を用いて、標的領域を実際の解剖学的構成に最良に調節し得る。修正標的領域は、サンプリングされる組織の種類に基づき創り出されてもよい。例えば、第1の係合地点からの組織サンプルが標的構造からの組織を含まなかったならば、この情報は修正標的領域を生成するための確率分布を調節するフィードバックとして働いてよい。生検処置における誤りの故に組織が得られなかったならば、同じ場所が再びサンプリングされてよい。修正標的領域は、第1の係合地点で生検処置の間に行われる追加的な術中撮像(例えば、光学撮像、蛍光透視撮像)に基づき創り出されてもよい。プロセス508で、インターベンショナルツールは、修正標的領域内の第2の係合地点に再配置され、修正標的領域内の第2の係合地点は、記録されてよい。器具の再配置は、初期配置場所から生じてよい。任意的に、プロセス506及び508は、計画した数又は臨床医が決定した数の所要の係合処置が完了するまで、繰り返されてよい。任意的に、カテーテルを停める配置場所は、器具を第2の係合地点に再配置する前に変更されてよい。任意的なプロセス510で、動的に調節する標的領域及び係合場所がグラフィカルユーザーインターフェース(GUI)上に表示されてよい。
図9は、図8の方法を概ね例示している。図9は、標的構造(例えば、標的構造302)の初期的な確率的分布を表す初期的な標的領域552を描写するディスプレイ(例えば、ディスプレイ110)上の表現のためのGUI550を例示している。第1の係合地点P1が、第1の処置(例えば、生検)の場所である。係合地点P1での処置(例えば、生検)の間に集められる情報に基づき、修正標的領域554及び修正標的地点556が決定される。第2の係合地点P2が、修正標的領域内で取られる第2の処置の場所(例えば、第2の生検場所)である。係合地点P1,P2は、初期的な標的領域又はいずれかの修正標的領域内で予め選択される標的地点と同じであってよい。代替的に、係合地点P1,P2は、標的領域境界付けボリュームを備えてよいが、予め選択される標的地点に対応しなくてよい。係合地点は、全て同じ記号で記されてよいし、或いは、各係合地点は、異なる記号で記されてよい。異なる記号が用いられるならば、各々の記号は、処置を行うためにどの標的領域が用いられたか、生検処置が行われる順序、又は各々の特定の係合地点のための生検の結果のような、情報を示してよい。
インターベンショナルツールを配置する方法の結果は、様々な方法において提示され或いは視覚化されてよい。例えば、図10に示すように、標的構造確率を示すコード付き標的地点をもたらす、GUI600が提示されてよい。標的地点は、色、記号、又は他の識別マーカでコード付けられてよい。この実施例では、標的領域が第1の記号コーディングを有する標的地点604及び第2の記号コーティングを有する標的地点606含む。コード付き標的地点604は、コード付き標的地点606と異なる(例えば、より高い又はより低い)成功裡の生検の可能性を示してよい。コード付き標的地点は、インターベンショナルツールが以前にサンプリングされた場所及びサンプルが標的構造組織を成功裡に収集した場所を示してもよい。コーディング(coding)は、各係合からの結果に基づき動的に変化してよい。標的地点コーディングを用いて、ゲーテッド(gated)生検のために基準位相に対する呼吸位相の測定値を表示してもよい。例えば、呼吸の状態がゲーテッド生検位相と異なるとき、標的地点の色は変化してよい。
図11は、領域インジケータ624,626を備える標的領域622を例示するGUI620を例示している。領域624は、成功裡の生検が行われた場所を示してよい。領域626は、不成功の生検が行われた場所を示してよい。領域マーキングは、各係合からの結果に基づき動的に変化してよい。
図12は、複数の画素(voxels)で構成される標的領域642を例示するGUI640を例示している。画素に対応する係合地点が係合される(例えば、生検される)とき、取得される情報は、標的領域が実際の標的構造に近似する形状に形作られるのを可能にする。例えば、その場所が訪問され、その結果が不成功であった(即ち、標的構造が係合されなかった)ことを示すよう、画素646が標的領域642から消去される。その場所が訪問され、その結果が成功した(即ち、標的構造が係合された)ことを示すよう、画素644が標的領域642内で印される。代替的な実施態様において、生検される組織の実際の大きさ及び形状は、臨床医入力、術前セグメント化、又は術中セグメント化に基づき、表示されてよい。
一連の多数のインターベンショナル係合の結果は、同じ標的構造又は解剖学的構造の区域での後続のインターベンショナル処置のために格納され且つ表示されてよい。
この開示のシステム及び方法は、肺の接続された気管支通路における使用のために記載されたが、それらは、結腸、腸、腎臓、脳、心臓、消化器系、又は同等の器官を含む、様々な解剖学的系統のいずれかにおける、自然の又は外科的に創り出された連結通路を介した、他の組織のナビゲーション及び治療にも適する。この開示の方法及び実施態様は、非インターベンショナル用途にも適する。
本発明の実施態様における1つ又はそれよりも多くの要素は、制御システム112のようなコンピュータシステムのプロセッサ上で実行するソフトウェア内で実施されてよい。ソフトウェアにおいて実施されるとき、本発明の実施態様の要素は、本質的に、所要のタスクを行うコードセグメントである。プログラム又はコードセグメントは、送信媒体又は通信リンクを通じて搬送波内に具現されるコンピュータデータ信号によってダウンロードされてよいプロセッサ可読記憶媒体又はデバイス内に格納されてよい。プロセッサ可読記憶デバイスは、光媒体、半導体媒体、及び磁気媒体を含む、情報を格納し得るあらゆる媒体を含んでよい。プロセッサ可読記憶デバイスの実施例は、電子回路、半導体デバイス、半導体メモリデバイス、読出し専用記憶装置(ROM)、フラッシュメモリ、消去可能なプログラム可能読出し専用記憶装置(EPROM)、フロッピーディスク、CD−ROM、光ディスク、ハードディスク、又は他の確動デバイスを含む。コードセグメントは、インターネット、イントラネット等のような、コンピュータネットワークを介してダウンロードされてよい。
提示されるプロセス及びディスプレイは、いずれの特定のコンピュータ又は他の装置にも本質的に関連しないでよいことに留意のこと。様々なこれらのシステムのための所要の構造は、請求項中に構成要素として現れる。加えて、本発明の実施態様は、いずれの特定のプログラミング言語を参照しても記載されない。様々なプログラミング言語を用いて本明細書中に記載するような本発明の教示を実施してよいことが理解されるであろう。
本発明の特定の例示的な実施態様を記載し且つ添付の図面中に示したが、そのような実施態様は例示に過ぎず、広い発明を限定しないこと、並びに、様々な他の変更が当業者の心に思い浮かぶことがあるので、本発明の実施態様は、図示し且つ記載する具体的な構造及び構成に限定されないことが、理解されるべきである。

Claims (20)

  1. コンピューティングシステムによって実行されるインターベンショナル器具を配置するシステムの作動方法であって、
    解剖学的基準系における標的構造を特定すること、
    前記インターベンショナル器具の現在場所に対する前記解剖学的基準系における標的領域を決定すること、及び
    前記標的領域内の前記インターベンショナル器具の第1の係合場所を記録することを含み、
    前記標的領域は、複数の標的地点を含み、前記標的領域は、前記複数の標的地点の確率的集合によって決定され、前記標的領域を決定することは、前記インターベンショナル器具の前記現在場所に対する前記標的構造の場所の確率的分布を決定することを含む、
    作動方法。
  2. 前記標的構造の少なくとも部分は、前記標的領域内に位置する、請求項1に記載の作動方法。
  3. 前記解剖学的基準系は、三次元解剖学的基準系であり、前記標的構造を特定することは、三次元モデル基準系においてモデル標的構造を特定すること及び前記三次元モデル基準系を前記三次元解剖学的基準系に位置合わせすることを含む、請求項1に記載の作動方法。
  4. 前記標的領域を決定することは、術前撮像時とインターベンショナル処置時との間の患者解剖学的構造の姿勢の変化を決定すること、解剖学的運動周期についての誤差分布を決定すること、前記インターベンショナル器具内のセンサについての誤差分布を決定すること、標的解剖学的構造の形状と関連付けられる誤差値を決定すること、前記標的構造を取り囲む組織の特性と関連付けられる誤差値を決定すること、及び撮像デバイスで標的解剖学的構造を視覚化することのうちの少なくとも1つを含む、請求項1に記載の作動方法。
  5. 前記インターベンショナル器具は、カテーテル及びツールを含み、前記標的領域を決定することは、前記カテーテルから延出する前記ツールの既知の特性についての不確実性値を決定することを含む、請求項1に記載の作動方法。
  6. 周期的解剖学的運動状態に基づき前記第1の係合場所での第1の係合処置の行為を時間調節する指令を提供することを更に含む、請求項1に記載の作動方法。
  7. 前記標的領域内の前記インターベンショナル器具の第2の係合場所を記録することを更に含む、請求項1に記載の作動方法。
  8. 前記第1の係合場所から得られる情報に基づき前記第2の係合場所で第2の係合処置を行う指令を提供することを更に含む、請求項7に記載の作動方法。
  9. 前記第1の係合場所を記録する前に前記インターベンショナル器具のための第1の配置場所を決定すること、及び
    前記第2の係合場所を記録する前に前記インターベンショナル器具のための第2の配置場所を決定することを更に含み、
    前記第1の配置場所は、前記第2の配置場所と異なる、
    請求項7に記載の作動方法。
  10. コンピューティングシステムによって実行されるインターベンショナル処置を行うシステムの作動方法であって、
    インターベンショナル器具を配置するための決定される標的領域の画像を含むグラフィカルユーザーインターフェース(GUI)を生成すること、
    前記インターベンショナル器具の第1の係合に応答して、第1の係合場所マーカを含むように前記GUIを更新すること、及び
    前記インターベンショナル器具の前記第1の係合に応答して、第1の修正標的領域の画像を含むように前記GUIを更新することを含み、
    前記標的領域は、複数の標的地点を含み、前記標的領域は、前記複数の標的地点の確率的集合によって決定される
    作動方法。
  11. コンピューティングシステムによって実行される多数のインターベンショナル処置を計画するシステムの作動方法であって、
    解剖学的フレームにおける標的構造を特定すること、
    前記解剖学的フレームにおける標的領域を決定すること、
    インターベンショナル器具を配置するために前記標的領域内の第1の係合場所を特定すること、及び
    前記インターベンショナル器具を配置するために第2の係合場所を特定することを含み、
    前記標的構造は、前記標的領域内に位置し、前記標的領域は、複数の標的地点を含み、前記標的領域は、前記複数の標的地点の確率的集合によって決定される
    作動方法。
  12. カテーテルと、該カテーテルから配置可能なツールとを含む、インターベンショナル器具と、
    制御システムとを含み、
    該制御システムは、
    解剖学的基準系にける標的構造を特定し、
    前記インターベンショナル器具の現在場所に対する前記解剖学的基準系における標的領域を決定し、
    前記標的領域内の前記インターベンショナル器具の第1の係合場所を記録し、且つ
    前記標的領域内の前記インターベンショナル器具の第2の係合場所を記録するように、
    構成され、
    前記標的領域は、複数の標的地点を含み、前記標的領域は、前記複数の標的地点の確率的集合によって決定され、前記標的領域を決定することは、前記インターベンショナル器具の前記現在場所に対する前記標的構造の場所の確率的分布を決定することを含む、
    システム。
  13. 前記標的構造の少なくとも部分は、前記標的領域内に位置する、請求項12に記載のシステム。
  14. 前記解剖学的基準系は、三次元解剖学的基準系であり、前記標的構造を特定することは、三次元モデル基準系内でモデル標的構造を特定すること及び前記三次元モデル基準系を前記三次元解剖学的基準系に位置合わせすることを含む、請求項12に記載のシステム。
  15. 前記三次元モデル基準系は、患者解剖学的構造の術前画像から生成される、請求項14に記載のシステム。
  16. 前記標的領域を決定することは、術前撮像時とインターベンショナル処置時との間の患者解剖学的構造の姿勢の変化を決定すること、解剖学的運動周期を決定すること、前記インターベンショナル器具内のセンサについての誤差分布を決定すること、前記カテーテルから延出させられる前記ツールの特性についての不確実性値を決定すること、標的解剖学的構造の形状と関連付けられる誤差値を決定すること、及び撮像デバイスで標的解剖学的構造を視覚化することのうちの少なくとも1つを含む、請求項12に記載のシステム。
  17. 前記解剖学的運動周期は、呼吸周期であり、前記標的領域を決定することは、術前撮像時の呼吸状態及びインターベンショナル処置時の呼吸状態の比較に基づき誤差値を決定することを更に含む、請求項16に記載のシステム。
  18. 前記制御システムは、周期的な解剖学的運動状態に基づき前記第1の係合場所での第1の係合処置をいつ行うかについての指令を提供するように更に構成される、請求項12に記載のシステム。
  19. 前記制御システムは、前記第1の係合場所から得られる情報に基づき前記第2の係合場所で第2の係合処置を行うことについての指令を提供するように更に構成される、請求項12に記載のシステム。
  20. 前記制御システムは、前記標的構造を表す標的マーカと前記標的領域を表すマーカのセットとを含むグラフィカルユーザーインターフェース(GUI)を生成するように更に構成される、請求項12に記載のシステム。
JP2017505232A 2014-07-28 2015-07-17 多数のインターベンショナル処置を計画するシステム及び方法 Active JP6716538B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462029942P 2014-07-28 2014-07-28
US62/029,942 2014-07-28
PCT/US2015/040994 WO2016018648A1 (en) 2014-07-28 2015-07-17 Systems and methods for planning multiple interventional procedures

Publications (2)

Publication Number Publication Date
JP2017522975A JP2017522975A (ja) 2017-08-17
JP6716538B2 true JP6716538B2 (ja) 2020-07-01

Family

ID=55218186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017505232A Active JP6716538B2 (ja) 2014-07-28 2015-07-17 多数のインターベンショナル処置を計画するシステム及び方法

Country Status (6)

Country Link
US (3) US11351000B2 (ja)
EP (1) EP3174490B1 (ja)
JP (1) JP6716538B2 (ja)
KR (1) KR102419094B1 (ja)
CN (1) CN106714724B (ja)
WO (1) WO2016018648A1 (ja)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7930065B2 (en) * 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US9962066B2 (en) 2005-12-30 2018-05-08 Intuitive Surgical Operations, Inc. Methods and apparatus to shape flexible entry guides for minimally invasive surgery
US20080071288A1 (en) 2006-06-13 2008-03-20 Intuitive Surgical, Inc. Minimally invasive surgery guide tube
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US8746252B2 (en) 2010-05-14 2014-06-10 Intuitive Surgical Operations, Inc. Surgical system sterile drape
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US10646280B2 (en) 2012-06-21 2020-05-12 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US12133699B2 (en) 2012-06-21 2024-11-05 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US10842461B2 (en) 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US11963755B2 (en) 2012-06-21 2024-04-23 Globus Medical Inc. Apparatus for recording probe movement
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US10874466B2 (en) 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
JP6716538B2 (ja) * 2014-07-28 2020-07-01 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 多数のインターベンショナル処置を計画するシステム及び方法
US9974525B2 (en) 2014-10-31 2018-05-22 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
GB2537686A (en) * 2015-04-24 2016-10-26 Vision Rt Ltd Patient positioning training apparatus
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US11819284B2 (en) 2016-06-30 2023-11-21 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
KR102420386B1 (ko) 2016-06-30 2022-07-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
US20180049808A1 (en) * 2016-08-17 2018-02-22 Covidien Lp Method of using soft point features to predict breathing cycles and improve end registration
US11547318B2 (en) * 2017-01-03 2023-01-10 Koninklijke Philips N.V. Medical navigation system using shape-sensing device and method of operation thereof
DE102017103198A1 (de) * 2017-02-16 2018-08-16 avateramedical GmBH Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
CN110621252B (zh) * 2017-04-18 2024-03-15 直观外科手术操作公司 用于监测图像引导程序的图形用户界面
WO2018195221A1 (en) * 2017-04-18 2018-10-25 Intuitive Surgical Operations, Inc. Graphical user interface for planning a procedure
EP3621520A4 (en) * 2017-05-12 2021-02-17 Auris Health, Inc. BIOPSY APPARATUS AND SYSTEM
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
CN111163697B (zh) 2017-10-10 2023-10-03 柯惠有限合伙公司 用于在荧光三维重构中识别和标记目标的系统和方法
US11471217B2 (en) 2017-12-11 2022-10-18 Covidien Lp Systems, methods, and computer-readable media for improved predictive modeling and navigation
EP3510927A1 (en) * 2018-01-10 2019-07-17 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US11364004B2 (en) 2018-02-08 2022-06-21 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10489943B2 (en) 2018-02-28 2019-11-26 General Electric Company System and method for sparse image reconstruction
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US12089902B2 (en) 2019-07-30 2024-09-17 Coviden Lp Cone beam and 3D fluoroscope lung navigation
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US12059281B2 (en) 2019-08-19 2024-08-13 Covidien Lp Systems and methods of fluoro-CT imaging for initial registration
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US12102298B2 (en) 2019-12-10 2024-10-01 Covidien Lp Lymphatic system tracking
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11514624B2 (en) * 2020-03-16 2022-11-29 GE Precision Healthcare LLC Methods and systems for biopsy needle reconstruction error assessment
US12064191B2 (en) 2020-06-03 2024-08-20 Covidien Lp Surgical tool navigation using sensor fusion
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
CN116669651A (zh) 2020-11-30 2023-08-29 直观外科手术操作公司 用于缩回和调节细长柔性装置的系统和相关方法
CN215192193U (zh) * 2020-12-31 2021-12-17 杭州堃博生物科技有限公司 体内导航装置、体内导航系统与医疗处理系统
CN112862955B (zh) * 2021-02-03 2024-06-28 北京百度网讯科技有限公司 建立三维模型的方法、装置、设备、存储介质和程序产品
CN114343899B (zh) * 2021-12-03 2024-07-23 苏州微创畅行机器人有限公司 呼吸道流体吸取装置及使用方法及牙科机器人及存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4984575A (en) 1987-04-16 1991-01-15 Olympus Optical Co., Ltd. Therapeutical apparatus of extracorporeal type
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6380732B1 (en) 1997-02-13 2002-04-30 Super Dimension Ltd. Six-degree of freedom tracking system having a passive transponder on the object being tracked
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
US6501981B1 (en) * 1999-03-16 2002-12-31 Accuray, Inc. Apparatus and method for compensating for respiratory and patient motions during treatment
US20040152971A1 (en) 2003-02-03 2004-08-05 Markus Kukuk Optimal k-needle placement strategy considering an approximate initial needle position
JP4323288B2 (ja) * 2003-10-31 2009-09-02 オリンパス株式会社 挿入支援システム
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
JP4875416B2 (ja) * 2006-06-27 2012-02-15 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
US20080161687A1 (en) 2006-12-29 2008-07-03 Suri Jasjit S Repeat biopsy system
US20090156895A1 (en) 2007-01-31 2009-06-18 The Penn State Research Foundation Precise endoscopic planning and visualization
US7942829B2 (en) 2007-11-06 2011-05-17 Eigen, Inc. Biopsy planning and display apparatus
US9521961B2 (en) * 2007-11-26 2016-12-20 C. R. Bard, Inc. Systems and methods for guiding a medical instrument
US9259274B2 (en) 2008-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Passive preload and capstan drive for surgical instruments
JP5528083B2 (ja) 2009-12-11 2014-06-25 キヤノン株式会社 画像生成装置、画像生成方法、及び、プログラム
CN102858229B (zh) * 2010-02-18 2015-11-25 皇家飞利浦电子股份有限公司 采用受到跟踪的支气管镜检查进行肿瘤运动模拟和运动补偿的系统和方法
EP2575611B1 (en) * 2010-05-28 2021-03-03 C. R. Bard, Inc. Apparatus for use with needle insertion guidance system
WO2011161684A2 (en) * 2010-06-24 2011-12-29 Uc-Care Ltd. Focused prostate cancer treatment system and method
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
US9058647B2 (en) * 2012-01-16 2015-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
WO2014097300A1 (en) * 2012-12-20 2014-06-26 Shlomo Ben-Haim Multi point treatment probes and methods of using thereof
US20140188440A1 (en) * 2012-12-31 2014-07-03 Intuitive Surgical Operations, Inc. Systems And Methods For Interventional Procedure Planning
JP6716538B2 (ja) * 2014-07-28 2020-07-01 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 多数のインターベンショナル処置を計画するシステム及び方法

Also Published As

Publication number Publication date
US20170265952A1 (en) 2017-09-21
CN106714724A (zh) 2017-05-24
CN106714724B (zh) 2019-10-25
US11957424B2 (en) 2024-04-16
KR20170039703A (ko) 2017-04-11
EP3174490A4 (en) 2018-03-14
US11351000B2 (en) 2022-06-07
WO2016018648A1 (en) 2016-02-04
US20240245476A1 (en) 2024-07-25
EP3174490A1 (en) 2017-06-07
JP2017522975A (ja) 2017-08-17
KR102419094B1 (ko) 2022-07-11
US20220233265A1 (en) 2022-07-28
EP3174490B1 (en) 2020-04-15

Similar Documents

Publication Publication Date Title
US11957424B2 (en) Systems and methods for planning multiple interventional procedures
US11871898B2 (en) Systems and methods for interventional procedure planning
JP7072603B2 (ja) 手術中のセグメンテーションについてのシステム及び方法
US20220343504A1 (en) Systems and methods of registration for image-guided surgery
US20240293189A1 (en) Systems and methods of registration for image-guided surgery
EP3576598B1 (en) System of registration for image-guided procedures
KR102540633B1 (ko) 정위 데이터를 필터링하기 위한 시스템 및 방법
US20210100627A1 (en) Systems and methods related to elongate devices
US20190320878A1 (en) Systems and methods for registering elongate devices to three dimensional images in image-guided procedures

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170403

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200610

R150 Certificate of patent or registration of utility model

Ref document number: 6716538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250