[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111417354B - 用于机器人辅助手术的方法及系统 - Google Patents

用于机器人辅助手术的方法及系统 Download PDF

Info

Publication number
CN111417354B
CN111417354B CN201780079459.7A CN201780079459A CN111417354B CN 111417354 B CN111417354 B CN 111417354B CN 201780079459 A CN201780079459 A CN 201780079459A CN 111417354 B CN111417354 B CN 111417354B
Authority
CN
China
Prior art keywords
patient
robotic arm
robotic
boundary surface
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780079459.7A
Other languages
English (en)
Other versions
CN111417354A (zh
Inventor
E·格雷格森
T·弗朗
S·科庞
J·贝克
S·怀特
R·斯坦顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobius Imaging LLC
Original Assignee
Mobius Imaging LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobius Imaging LLC filed Critical Mobius Imaging LLC
Publication of CN111417354A publication Critical patent/CN111417354A/zh
Application granted granted Critical
Publication of CN111417354B publication Critical patent/CN111417354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3417Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
    • A61B17/3421Cannulas
    • A61B17/3423Access ports, e.g. toroid shape introducers for instruments or hands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/32Surgical robots operating autonomously
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/76Manipulators having means for providing feel, e.g. force or tactile feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3417Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
    • A61B17/3421Cannulas
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072Reference field transducer attached to an instrument or patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363Use of fiducial points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966Radiopaque markers visible in an X-ray image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05Surgical care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Manipulator (AREA)

Abstract

用于执行机器人辅助手术的方法及系统包含用于界定针对机器人手术系统的边界表面的方法,用于在图像引导手术系统中操作机器人臂的方法,用于在机器人辅助手术期间向用户提供触觉反馈的方法及系统,以及用于机器人辅助手术的机器人臂。

Description

用于机器人辅助手术的方法及系统
相关申请案
本申请案主张2016年10月25日申请的第62/412,422号美国临时申请案的优先权的权益,所述申请案的全部内容以引用的方式并入本文中。
背景技术
近年来,可包含图像引导手术及机器人手术的计算机辅助手术程序引起越来越多的关注。这些程序包含将患者的解剖结构的“虚拟”三维数据集(通常使用术前或术中医学成像(例如,x射线计算机断层扫描(CT)或磁共振(MR)成像)获得)集成到手术区域中的患者及/或其它物体(例如,手术器械、机器人操纵器或末端执行器)的实际位置。这些程序可用于帮助外科医生规划手术程序及也可在手术程序的进程期间向外科医生提供相关反馈。一直需要改进计算机辅助手术系统的安全性及易用性。
发明内容
各种实施例包含用于执行机器人辅助手术的方法及系统。
实施例包含一种用于界定机器人手术系统的边界表面的方法,其包含:识别患者的解剖结构的图像数据集中的患者的皮肤表面的至少一部分;基于所识别皮肤表面而产生边界表面;在患者坐标系内配准所述图像数据集及所述边界表面;以及控制机器人臂以防止所述机器人臂的至少一部分越过所述边界表面。
进一步实施例包含一种用于在图像引导手术系统中操作机器人臂的方法,其包含:在所述图像引导手术系统中界定患者身体内的目标位置;相对于所述患者移动机器人臂;以及当所述机器人臂相对于所述患者移动时,控制所述机器人臂以维持所述机器人臂的末端执行器沿与所述目标位置相交的轨迹指向。
进一步实施例包含一种机器人辅助手术系统,其包含:机器人臂;运动跟踪系统,其经配置以监测所述机器人臂相对于患者的位置;及次级感测装置,其用于检测所述患者相对于所述机器人臂的移动。
进一步实施例包含一种用于防止机器人臂与患者碰撞的方法,其包含:使用运动跟踪系统跟踪机器人臂相对于患者的位置及定向中的至少一者;使用次级感测装置检测所述患者相对于所述机器人臂的移动;以及控制所述机器人臂以基于使用所述次级感测装置检测到的所述患者的移动来采取补救行动。
进一步实施例包含一种在手术机器人系统中操作机器人臂的方法,其包含:在图像引导手术系统的患者坐标系内界定所述患者的所述手术区域上方的虚拟三维体积;跟踪所述机器人臂在所述患者坐标系内的位置;确定所述机器人臂的一部分是否位于所述虚拟三维体积内;以及基于所述确定所述机器人臂的一部分是否位于所述虚拟三维体积内来修改所述机器人臂的操作模式。
进一步实施例包含一种用于机器人臂的末端执行器,其包含:套管,其具有用于将侵入性手术工具插入通过所述套管并进入患者的身体中的开口;及检测器装置,其经配置以检测工具何时位于所述套管内。
进一步实施例包含一种用于执行机器人辅助手术的方法,其包含:将机器人臂的末端执行器定位在患者上方,其中所述末端执行器包括套管,所述套管具有用于将侵入性手术工具插入通过所述套管并进入患者的身体内的开口;检测工具是否位于所述套管中;以及控制所述机器人臂以防止所述臂在横向于由所述套管界定的轨迹的方向上移动。
进一步实施例包含一种用于执行机器人辅助手术的方法,其包含:在所述患者的解剖结构的图像数据集中识别患者的身体内的解剖特征的表面;在患者坐标系内配准所述图像数据集;在所述患者坐标系内产生对应于所述患者的身体外部的所述患者的所述解剖特征的所述表面的虚拟三维表面;以及当所述机器人臂的一部分在所述虚拟三维表面上方移动时,控制机器人臂以向用户提供触觉反馈。
进一步实施例包含一种机器人臂,其具有:端对端耦合的多个重复区段,其中每一区段包含:第一端部分;第二端部分;及中央部分,其具有位于所述第一端部分与所述第二端部分之间的大体上球状外表面,所述第一端部分及所述第二端部分的直径小于所述中央部分的直径,且其中每一区段提供至少两个旋转自由度,使得纵向延伸通过所述第二端部分的轴线可关于纵向延伸通过所述第一端部分的轴线在两个相互垂直方向上旋转。
附图说明
结合附图,从本发明的以下详细描述,本发明的其它特征及优点将变得显而易见,其中:
图1是根据实施例的用于执行机器人辅助图像引导手术的系统的透视图。
图2展示用于执行机器人辅助图像引导手术的系统的替代实施例,所述手术具有用于从成像系统的机架延伸的臂上的运动跟踪系统的光学感测装置。
图3是说明用于执行用于图像引导手术的患者图像数据的配准的方法的过程流程图。
图4是示意性地说明根据实施例的用于机器人辅助图像引导手术的系统的框图。
图5说明根据实施例的图像引导手术系统中的显示装置的显示屏。
图6A到6C示意性地说明控制机器人臂的方法,使得机器人臂的末端执行器维持与患者的身体内的预定目标位置相交的轨迹。
图7是说明用于界定机器人臂可能不进入的三维边界表面的实施例方法的过程流程图。
图8A示意性地说明手术机器人系统中患者的皮肤表面上方的虚拟边界表面。
图8B示意性地说明根据实施例的用于避免机器人臂与患者碰撞的冗余系统。
图8C示意性地说明用于在手术区域之上界定虚拟三维体积以控制机器人臂的操作模式的方法。
图9说明用于检测机器人臂的末端执行器内的侵入式手术工具的存在的系统。
图10是说明用于界定对应于手术机器人系统中的患者内的解剖特征的表面的患者外部的虚拟表面的方法的过程流程图。
图11示意性地说明患者身体内的解剖特征及位于患者外部的对应虚拟表面。
图12A到12C说明根据实施例的机器人臂。
图13示意性地说明可用于执行各种实施例的计算装置。
具体实施方式
将参考附图详细描述各种实施例。只要有可能,贯穿图式将使用相同参考数字来指代相同或相似部分。对特定实例及实施方案的参考是出于说明性目的,并且不希望限制本发明或权利要求书的范围。
图1说明根据各种实施例的用于执行机器人辅助图像引导手术的系统100。此实施例中的系统100包含成像装置103、运动跟踪系统105及用于执行机器人辅助手术程序的机器人臂101。机器人臂101可包括多关节臂,其包含通过具有致动器及任选编码器的关节连接的多个连杆,以使连杆能够响应于来自机器人控制系统的控制信号而相对于彼此旋转、弯曲及/或平移。机器人臂101可在一端处固定到支撑结构,并且可在机器人臂101的另一端处具有末端执行器102。
成像装置103可用于获得患者200的诊断图像,患者200可为人或动物患者。在实施例中,成像装置103可为x射线计算机断层扫描(CT)成像装置。患者200可定位在成像装置103的中央孔107内,并且x射线源及检测器可围绕孔107旋转,以获得患者200的x射线图像数据(例如,原始x射线投影数据)。可使用合适处理器(例如,计算机)处理所收集图像数据,以执行物体的三维重建。在其它实施例中,成像装置103可包括x射线荧光透视成像装置、磁共振(MR)成像装置、正电子发射断层扫描(PET)成像装置、单光子发射计算机断层扫描(SPECT)或超声成像装置中的一或多者。在实施例中,可通过将患者200定位在成像装置103的孔107内来在手术前(即,在执行手术程序之前)或手术中(即,在手术程序期间)获得图像数据。在图1的系统100中,这可通过在患者200可保持静止的同时在患者200上方移动成像装置103以执行扫描来实施。
可根据各种实施例使用的x射线CT成像装置的实例在例如第8,118,488号美国专利、第2014/0139215号美国专利申请案公开案、第2014/0003572号美国专利申请案公开案、第2014/0265182号美国专利公开案申请案及第2014/0275953号美国专利公开案申请案中描述,所述全部文献的全部内容以引用的方式并入本文中。在图1中所展示的实施例中,患者200可位于其上的患者支撑件60(例如,手术台)固定到成像装置103,例如经由安装到成像装置103的基部20的柱50。包含至少一个成像组件的成像装置103(例如,O形成像机架40)的一部分可在轨道23上沿基部20的长度平移以执行患者200的成像扫描,并且可远离患者200平移到避让位置以用于对患者200执行手术程序。
可在各种实施例中使用的实例成像装置103是由莫比乌斯成像技术有限责任公司(Mobius Imaging,LLC)制造并由博医来公司(Brainlab,AG)分销的手术中CT系统。也可利用其它成像装置。举例来说,成像装置103可为未附接到患者支撑件60的移动CT装置,并且可在患者200及支撑件60上方轮转或以其它方式移动以执行扫描。移动CT装置的实例包含来自三星电子有限公司(Samsung Electronics Co.,Ltd)的Body/>CT扫描仪及来自美敦力公司(Medtronic,plc)的/>手术成像系统。成像装置103也可为C臂x射线荧光透视装置。在其它实施例中,成像装置103可为固定孔成像装置,并且患者200可移动到装置的孔中,在如图1中所展示的手术支撑件60上或在经配置以滑入及滑出孔的单独患者台上。此外,尽管图1中所展示的成像装置103在手术室内接近患者200定位,但成像装置103可远离手术室定位,例如在另一房间或建筑物中(例如,在医院放射科中)。
图1中所展示的运动跟踪系统105包含多个标记装置119、202、115及光学传感器装置111。存在用于在物体在三维空间内移动时跟踪物体的位置(包含位置及/或定向)的各种系统及技术。此类系统可包含固定到待跟踪的物体的多个有源或无源标记,以及检测由标记发射或从标记反射的辐射的感测装置。可基于由感测装置检测到的信号在软件中构建空间的3D模型。
图1的实施例中的运动跟踪系统105包含多个标记装置119、202及115以及包含两个或更多个照相机(例如,IR照相机)的立体光学传感器装置111。光学传感器装置111可包含一或多个辐射源(例如,二极管环),其将辐射(例如,IR辐射)引导到手术视野中,其中辐射可由标记装置119、202及115反射并由照相机收。标记装置119、202、115可各自包含三个或更多个(例如,四个)反射球体,运动跟踪系统105可使用所述反射球体来构建针对标记装置119、202及115中的每一者的坐标系。计算机113可耦合到传感器装置111,并且可使用例如三角测量技术确定标记装置119、202、115中的每一者与照相机之间的变换。可使用由计算机113实施的运动跟踪软件产生并连续更新共同坐标系中的手术空间的3D模型。在实施例中,计算机113还可从成像装置103接收图像数据并且可使用所属领域中已知的图像配准技术将图像数据配准到与运动跟踪系统105共同的坐标系。在实施例中,参考标记装置115(例如,参考弧)可刚性地附接到所关注解剖区中的界标(例如,夹紧或以其它方式附接到患者的解剖结构的骨部分)以使所关注解剖区能够由运动跟踪系统105连续地跟踪。可将额外标记装置119附接到手术工具104,以使工具104能够在共同坐标系内被跟踪。另一标记装置202可刚性地附接到机器人臂101,例如在机器人臂101的末端执行器102上,以使得能够使用运动跟踪系统105来跟踪机器人臂101及末端执行器102的位置。计算机113还可包含经配置以执行机器人臂101的关节坐标与运动跟踪系统105的共同坐标系之间的变换的软件,其可使机器人臂101的末端执行器102的位置及定向能够关于患者200而被控制。
除上文描述的无源标记装置之外,运动跟踪系统105可交替地利用可包含可发射由光学传感器装置111检测到的辐射的辐射发射器(例如,LED)的有源标记装置。附接到特定物体的每一有源标记装置或多组有源标记装置可以预定选通脉冲图案(例如,具有调制脉冲宽度、脉冲速率、时隙及/或振幅)及/或波长发射辐射,这可使不同物体能够由运动跟踪系统105唯一地识别及跟踪。一或多个有源标记装置可相对于患者固定,例如经由粘合膜或面罩固定到患者的皮肤。额外有源标记装置可固定到手术工具104及/或机器人臂101的末端执行器102,以允许相对于患者跟踪这些物体。
在进一步实施例中,标记装置可为包含莫尔图案的无源标记装置,其可使用使用莫尔相位跟踪(MPT)技术的单个照相机在三维空间中跟踪其位置及定向。每一莫尔图案标记还可包含唯一标识符或代码,其可使得能够唯一地识别及跟踪照相机的视场内的不同物体。基于MPT的跟踪系统的实例可从威斯康星州密尔沃基的Metria创新公司(MetriaInnovation Inc.of Milwaukee,Wisconsin)获得。也可利用其它跟踪技术,例如计算机视觉系统及/或基于磁的跟踪系统。
系统100还可包含如图1中示意性说明的显示装置119。显示装置119可显示由成像装置103获得的患者的解剖结构的图像数据。显示装置119可促进规划手术程序,例如通过使外科医生能够在患者身体内界定一或多个目标位置及/或进入患者身体内的路径或轨迹,以用于插入手术工具以到达目标位置,同时最小化对患者的其它组织或器官的损伤。由运动跟踪系统105跟踪的一或多个物体的位置及/或定向可展示在显示器119上,并且可覆盖图像数据而显示。在图1的实施例中,显示器119位于移动推车120上。用于控制显示器119的操作的计算机113也可容纳在推车120内。在实施例中,计算机113可耦合到光学传感器装置111并且可还可执行针对运动跟踪系统105处理(例如,跟踪计算)的全部或一部分。替代地,一或多个单独计算机可执行运动跟踪处理,并且可经由有线或无线通信链路将跟踪数据发送到推车120上的计算机130。举例来说,用于运动跟踪系统105的一或多个单独计算机可位于成像系统103上。
图2说明替代实施例,其中光学传感器装置111包含安装到在患者200手术区域之上延伸的臂209的多个照相机207。臂209可安装到成像装置103或安装在成像装置103上方。臂209还可使传感器装置111能够关于臂209及/或成像装置103枢转(例如,经由一或多个球窝接头213)。臂209可使用户能够调整传感器装置111的位置,以向照相机207提供手术视野的清晰视图,同时避免障碍物。臂209可使传感器装置111的位置及/或定向能够被调整,然后在成像扫描或手术程序期间锁定在适当的地方。光学传感器装置111在臂209上的定位还可使照相机207能够更容易地观察及跟踪可位于成像装置103上的标记211(参见图1),例如在机架40的外表面上,标记211可在患者图像的自动配准期间使用,如下文进一步描述。
图2还说明可包括手持式显示装置401的显示装置。如本文所使用,“手持式计算装置”及“手持式显示装置”可互换地用于指代平板计算机、智能电话、悬挂式控制器、蜂窝电话、个人数字助理(PDA)、上网本、电子阅读器、膝上型计算机、掌上计算机、可穿戴计算机以及类似便携式电子装置中的任一者或全部,其包含耦合到显示屏的可编程处理器及存储器,并且可包含硬件及/或软件以使能够在显示屏上显示包含患者信息及/或图像的信息。手持式计算装置通常还包含耦合到电路(例如,收发器)的天线,以实现通过网络的无线通信。手持式计算或显示装置的特征在于足够紧凑及轻质的结构,以使用户能够使用一只或两只手容易地抓握、操纵及操作所述装置。
一或多个手持式显示装置401可安装到在患者手术区域之上延伸的臂209,如图2所展示。臂209还可支撑用于运动跟踪系统105的光学感测装置111,如上文描述。一或多个显示装置119可从臂209上悬挂,并且显示装置119的位置可沿臂209的长度调整。显示装置119可位于无菌盒或支架内,例如在2017年9月11日申请的第15/701,063号美国申请案中所描述,所述申请案以引用的方式并入本文中。在其它实施例中,手持式显示装置119可安装到患者支撑件60或柱50或成像系统103的任何部分,或安装到手术室中的任何墙壁、天花板或地板,或安装到单独推车。除常规显示装置(例如图1中所展示的安装在推车上的监测器显示装置119)之外或作为其替代,可使用一或多个手持式显示装置401。
如图1及2中所展示,机器人臂101可固定到成像装置103,例如在支撑元件215(例如,弯曲轨道)上,支撑元件215可在成像装置103的O形机架40的外表面上方同心地延伸。在实施例中,光学感测装置111安装到其的臂209可安装到与机器人臂101相同或类似的支撑元件215(例如,弯曲轨道)。机器人臂101及/或臂209的位置可沿支撑元件215的长度调整。在其它实施例中,机器人臂101可固定到成像装置103的任何其它部分,例如直接安装到机架40。替代地,机器人臂101可安装到患者支撑件60或柱50,安装到手术室中的任何墙壁、天花板或地板,或安装到单独推车。在进一步实施例中,机器人臂101及/或光学感测装置111可安装到单独移动穿梭机,如2017年9月15日申请的第15/706,210号美国申请案中所描述,所述申请案以引用的方式并入本文中。尽管图1及2中展示单个机器人臂101,但将理解可利用两个或更多个机器人臂101。
图3是说明配准患者图像的方法300的过程流程图。计算机辅助手术技术通常利用将表示待进行手术的患者的解剖结构的一部分的数据集与手术治疗时患者的位置相关联的过程。可基于第二图像数据集确定患者的位置,所述第二图像数据集可包含来自如上文描述的运动跟踪系统105的实时照相机图像。这些数据集之间的关联可使用软件以计算方式实现,并且可被称为“患者配准”。可使用例如图1中所展示的计算机113的一或多个计算装置来实施图3的配准方法300。
在方法300的框301中,可使用例如图1及2中所展示的成像装置103的成像装置获得患者的解剖结构的第一图像数据集。第一图像数据集可为表示患者的解剖结构的至少一部分的三维数据集(例如,3D CT断层扫描重建,3D MRI数据集等),所述解剖结构包含待对其进行手术的内部解剖结构及/或结构(即,患者的解剖结构的手术相关部分)。第一图像数据集可以电子方式存储在存储器中。第一图像数据集可为任何合适的格式,例如符合医学数字成像及通信(DICOM)标准的文件格式。
在方法300的框303中,可使用运动跟踪系统(例如图1及2中所展示的运动跟踪系统105)获得患者及周围患者空间的第二图像数据集。第二图像数据集可指示患者的当前位置及/或定向。第二图像数据集可包含可使用光学感测装置111(例如,照相机207)获得的标记装置的至少一个图像。由光学感测装置111检测的标记装置(例如,参考弧115)可与患者的解剖结构的手术相关部分成已知固定关系。运动跟踪系统105可确定标记装置115与光学感测装置111之间的变换(例如,使用众所周知的三角测量技术),并且可借此确定感测装置111(例如,照相机207位置)与患者的解剖结构的手术相关部分之间的变换。运动跟踪系统105可类似地确定其它标记装置(例如,图1中的标记装置119及202)中的每一者与光学感测装置111之间的变换。被跟踪的标记115、119及202中的每一者可接着被放置在共同坐标系内。在实施例中,共同坐标系可具有原点或零点,其可被认为相对于患者的解剖结构的手术相关部分是固定的,并且还可被称为患者坐标系。
在方法300的框305中,第一图像数据集可配准到与第二图像数据集共同的坐标系(例如,患者坐标系)。此可包含执行刚性变换以将第一图像数据集的每一像素或体素映射到共同坐标系的对应3D坐标(即,x、y、z坐标)中。可利用数种技术来配准多个图像数据集。在用于x射线CT成像数据的配准过程的一个非限制性实例中,可使用预扫描校准过程来精确地计算(例如,在1mm及/或1°内)x射线机架40的等中心与光学感测装置111之间的变换。一组标记211(例如,3个或更多个,例如4到6个标记)可提供在机架40的表面上,如图1所展示。标记211可在光学感测装置111的视场内,以使机架40位置能够由运动跟踪系统105跟踪。具有固定到其的标记装置(例如,类似于图1中的标记装置115)的校准体模(为清楚起见未展示)可放置在患者支撑件60上,使得标记装置也在光学感测装置111的视场内。运动跟踪系统105可确定由标记211界定的机架40坐标系与光学感测装置111坐标系之间的变换,以及由体模上的标记装置界定的体模坐标系与光学感测装置111坐标系之间的变换。这些变换可用于确定机架到体模变换。然后可使用成像装置103扫描体模。可从成像数据容易地识别的一组元素(例如,x射线可见珠子)可位于体模中,其中这些元素在体模坐标系内的几何形状可为先前已知的。可使用算法来分析x射线图像数据以关于对应于机架40的等中心的图像数据的中心点识别x射线可见元素。因此,x射线可见元素可位于具有在x射线机架40的等中心处的原点的坐标系中,并且可计算等中心与体模之间以及等中心与机架40上的标记211之间的变换。
在患者200的后续扫描期间,可确定患者200关于成像装置103的等中心的位置及定向(即,通过跟踪机架40上的标记211的位置(其关于等中心已知)以及患者参考弧115(其关于患者解剖结构的手术相关部分是已知的)。此可使得在扫描期间获得的图像数据能够被配准到患者坐标系中。
在替代实施例中,光学感测装置111的位置可相对于成像系统103以足够准确度知晓,使得使用成像系统103获得的患者的解剖结构的图像数据集可在患者的共同坐标中配准,而无需运动跟踪系统105跟踪成像系统103的位置或定向。在实施例中,可能不需要或使用如图2中所展示的成像系统103的机架40上的单独标记211。在一些实施例中,光学感测装置111的位置(例如,如图1及2中所展示的照相机207中的每一者的位置)可相对于成像系统103的机架40的等中心是已知的,例如经由可在工厂处或在系统的安装或预校准期间执行的校准过程。机架40及/或光学感测装置111可包含键控特征(例如,高精度螺栓图案),其中光学感测装置111附接到机架40以确保感测装置111在机架40上的位置保持准确固定。在照相机207可相对于机架40移动的实施例中,高精度编码器可精确地记录及校正相对于机架40的等中心的照相机位置/定向的任何变化。在成像扫描期间,光学感测装置111可跟踪患者200关于照相机位置的位置及定向,其与成像装置103的等中心成已知固定几何关系。因此,在扫描期间获得的图像数据可经配准到患者的共同坐标系中,而无需首先对体模执行校准扫描,如上文描述。
在方法300的框307中,可在共同坐标系统中显示来自第一图像数据集的患者的解剖结构的图像与从第二图像数据集导出的一或多个特征的叠加。图像可显示在合适显示装置上,例如图1中所展示的显示器119。患者的解剖结构的图像可包含三维图像数据集的2D切片(例如,断层扫描重建)及/或图像数据集的全部或一部分的3D体积呈现。在实施例中,使用多个成像装置或成像模态获得的图像可融合并显示在共同坐标系中。举例来说,患者的内部解剖结构的第一图像数据集可为x射线CT扫描。患者的内部解剖结构的另一图像数据集(例如MRI扫描)可与x射线CT数据组合并显示在显示器119上。可使用如上文描述的类似配准过程将MRI扫描数据配准到共同坐标系中。可替代地或另外,可使用用于匹配从可两个图像数据集识别的界标或基准点的算法来合并数据集以供显示。
可覆盖患者的解剖结构的图像而显示的从第二图像数据集导出的一或多个特征可包含工具104、末端执行器102或由运动跟踪系统105跟踪的另一物体的图形描绘。图形描绘可基于工具104、末端执行器102或另一物体的已知几何形状。图形描绘可为物体的实际大小及形状的呈现,或者可为物体的选择特征的描绘,例如物体的尖端的位置及/或物体的定向。图形描绘还可指示由物体界定的轨迹(例如,从物体的尖端延伸到患者中的射线)及/或可基于被跟踪的一或多个物体的位置及/或定向而界定的患者的解剖结构内的目标点。在各种实施例中,工具104可为指针。工具104还可为手术器械,例如针、套管、扩张器、用于夹持或切割的工具、电极、植入物、钻头、螺钉、螺丝刀、辐射源、药物及内窥镜。在实施例中,机器人臂101的末端执行器102可包含中空管或套管,其可经配置以固持一或多个工具,例如手术器械,并且可用于在器械插入患者的身体中时引导器械。替代地,末端执行器102自身可为或可包含可插入患者身体内的器械。
运动跟踪系统105可重复地从光学感测装置111获取新图像,并且可在每次从光学感测装置111获取新图像时更新光学感测装置111的视场内的物体的相对位置及/或定向。可更新显示器119以反映共同坐标系内的物体的位置及/或定向的任何改变(例如,相对于患者参考弧115),其可包含添加额外图形元素以描绘在光学感测装置111的视场内移动的新物体,并且当物体不再位于光学感测装置111的视场内时移除物体的图形描绘。在一些实施例中,光学感测装置111可包含机动化系统,以使照相机207的位置及/或定向能够移动以将手术区域维持在照相机207的视场中心。
图4是根据实施例的图像引导手术系统400的组件框图。系统400可使用一或多个计算装置来实施,例如图1中所展示的计算机113。系统400可以可操作地耦合到第一显示装置119,第一显示装置119可包含固定到推车120或手术室内的其它结构(例如,墙壁、天花板、地板、成像装置等)的监测器。系统400还可以可操作地耦合到至少一个额外显示装置401,其可为手持式计算装置,如上文描述。系统400还可包含音频输入/输出组件403,其可包含扬声器或用于输出可听信号(例如,音频指令、警报等)的其它输出组件,及/或麦克风或用于接收可由系统400解译的音频输入(例如,语音命令)的其它输入组件。系统400可至少部分地以软件实施,并且可基于图像引导手术工具包(IGSTK)、可视化工具包(VTK)及视野分割及配准工具包(Insight Segmentation and Registration Toolkit)(ITK)开发框架中的一或多者。
系统400可经配置以接收及存储由成像装置103收集的成像数据407(例如,DICOM数据)。成像数据407可直接从成像装置103接收或者可从另一源(例如远程服务器)检索。成像数据407可为在手术程序之前获得的成像数据(例如,术前图像数据)及/或在手术程序期间获得的成像数据(例如,术中图像数据)。在实施例中,系统400可经配置以显示由成像装置103收集的最新图像数据407。图像数据407可根据例如上文参考图3描述的方法300的配准方法被配准到与来自运动跟踪系统105的跟踪数据409共同的坐标系。
系统400还可从运动跟踪系统105接收跟踪数据409。系统400可经配置以重复读取来自运动跟踪系统105的跟踪数据,其指示由运动跟踪系统105跟踪的患者及任何其它物体的当前位置/定向。系统400可以大于100Hz(例如,240Hz)的频率(例如,刷新速率)读取跟踪数据。在实施例中,来自运动跟踪系统105的跟踪数据可包含使系统400能够从跟踪数据内识别特定物体的数据。举例来说,每一标记装置(例如,图1中的标记装置115、202及119)可包含独特特性(例如,反射标记的独特几何图案、活动标记的独特闪光图案等)以使得标记装置能够被识别。标记装置的这些独特特性可由系统400与特定物体或工具配准(例如,与数据库中的特定物体或工具相关联)。标记装置的独特特性可在系统400中预先配准及/或可在手术程序的进程中配准到特定物体或工具。系统400还可包含可与特定物体或工具相关联的图形元素库(例如,在数据库中)。系统400可在共同坐标系中显示与由运动跟踪系统105跟踪的物体或工具相关联的图形元素与显示器119、401上的图像数据。
系统400可包含用户接口组件,其可控制系统信息及/或图形用户接口元件在显示器119及401上的显示。系统400可进一步处理及实施从用户接口装置接收的用户命令。用户接口装置可包括例如可与显示装置119、401集成的触摸屏用户接口。在实施例中,用户接口装置可替代地或额外地包含按钮、键盘、操纵杆、鼠标、触摸板等中的一或多者,其可位于显示装置119、401及/或工作站(例如,位于推车120上的工作站)上。在实施例中,用户接口装置还可包含麦克风(例如,音频输入/输出组件403),其可接收可由系统解释的语音命令(例如,使用语音识别软件)。经由一或多个用户输入装置接收的用户命令可使用户能够控制系统400的各种功能,例如改变显示器119、401上展示的内容(例如,显示不同图像数据集、显示不同切片及/或图像数据集内的不同3D呈现、放大或缩小图像、显示不同菜单选项、返回主屏幕等)。在实施例中,用户命令可使用户能够在患者的解剖结构内设置一或多个轨迹及/或目标位置。系统400可存储共同坐标系内的用户界定轨迹或目标位置的位置及/或定向,并且可在显示器119、401上显示此类轨迹或目标位置的图形表示。
由系统400接收的用户命令还可包含用于控制其它组件(例如成像装置103、运动跟踪系统105及/或机器人臂101)的操作的命令。举例来说,针对机器人辅助手术程序,用户命令可包含将机器人臂101移动到特定位置及/或定向的指令。移动机器人臂101的指令可基于用户与显示在显示装置119、401上的患者的解剖结构的图像数据的交互。举例来说,用户可使用显示装置119、401来界定关于患者的解剖结构的特定轨迹,并可发送使机器人臂101移动的指令,使得机器人臂101的末端执行器102沿界定轨迹定位。
机器人控制系统405可控制一或多个机器人臂101的移动。机器人控制系统405可接收指示机器人臂101的当前参数(例如,机器人位置、关节角度、测量轴线力、电动机电流)的传感器数据,并且可发送电动机控制信号以驱动臂101的移动。在实施例中,运动跟踪系统105可跟踪机器人臂101的位置(例如,经由图1中所展示的末端执行器102上的标记装置202)以确定末端执行器102在患者的共同坐标系内的位置。可使用图像引导手术系统400、运动跟踪系统105及/或机器人控制系统405执行的控制回路可连续地读取跟踪数据及机器人参数数据,并且可向机器人控制系统405发送指令以致使机器人臂101移动到期望的位置及定向。
在各种实施例中,显示装置119可为主显示装置(例如,监视器),其可通过有线或无线链路连接到图像引导手术系统400。在一个实施例中,系统400可通过合适视频数据接口(例如,HDMI接口)将视频数据流式传输到显示装置119,并且还可通过单独数据连接(例如,USB连接)与显示装置交换其它信号。
在各种实施例中,显示装置401可为手持式计算装置。手持式显示装置401通常可比主显示装置119(例如,监视器)更小及更轻,并且在某些实施例中可被称为次级显示装置。在一些实施例中,显示装置401可为显示装置119的镜像,并且可显示与显示装置119上所展示信息相同的信息的全部或一部分。替代地,显示装置401可显示与显示装置119上展示的信息不同的信息。在一些实施例中,可省略显示装置119,并且手持式显示装置401可为可操作地连接到图像引导手术系统400的唯一显示装置。在此类情况下,显示装置401可被称为主显示装置。此外,尽管图4中展示单个手持式显示装置401(即,平板计算机),将理解,多个手持式显示装置401可同时连接到系统400并与系统400一起使用。
手持式显示装置401可通过有线或无线通信链路耦合到图像引导手术系统400。在一个实施例中,手持式显示装置401可通过无线通信接口与系统400通信。系统400可流式传输数字视频数据(例如,高清视频)以在手持式显示装置401上显示,例如通过无线局域网(WLAN)连接,包含IEEE 801.11(例如,WiFi)连接。系统400还可通过无线连接与手持式显示装置401交换其它信号(例如,来自系统400的控制信号及/或在显示装置401上的例如触摸屏的用户接口处接收的用户命令)。系统400及显示装置401可通过任何合适无线协议或标准进行通信,例如通过IEEE 802.15x(例如,)连接。
根据各种实施例的图像引导手术系统400可提供用于显示患者信息的多种模式。举例来说,第一显示模式可包含在对应于横切患者的解剖平面(例如,轴向、矢状、冠状平面)的多个二维切片中显示3D图像数据集(例如,x射线CT、MRI、声波图、PET或SPECT图像数据集)。这在图5中所展示的显示装置的屏幕截图中说明。显示装置可为如图1中所展示的显示装置119(例如,监视器)或如图2及4中所展示的手持式显示装置。此实例中的显示屏500说明显示屏500的四个象限中的四个不同的患者图像。象限中的三者(即,显示屏500的左上、右上及左下象限)描绘CT图像数据的不同二维切片501、503、505。第四象限(即,显示屏500的左下象限)包含3D体积呈现507,其说明解剖特征的“虚拟”视图(例如,骨结构或其它离散内部解剖特征)。二维切片501、503、505分别对应于沿通过患者200的轴向、矢状及冠状平面截取面的视图。
显示屏500还可显示说明每一切片501、503、505相对于显示屏500上展示的其它切片的关系的图形元素。举例来说,如图5中所展示,轴向切片501图像数据可包含交叉图案515的叠加,其展示轴向切片501与对应于显示屏500上展示的矢状及冠状切片503及505的平面的交会。类似交叉图案515可显示为覆盖矢状及冠状切片503及505中图像数据的显示。显示屏500还可包含由运动跟踪系统105跟踪的其它物体或工具的图形表示或呈现。在图5的实例中,工具509的图形表示在显示屏500的右下象限中展示。工具509的图形表示可说明工具相对于3D体积呈现507中描绘的解剖特征的位置及定向。可在2D切片图像501、503及505中显示类似图形元素以说明一或多个物体关于患者的位置及/或定向。
将理解,图5中所展示的四象限视图是在显示装置119、401上显示患者信息的一种可能的实施方案。其它可能的显示模式是可能的。举例来说,不是说明来自患者图像数据集(例如,重建的体积)的多个不同图像(例如,切片),而是显示屏500可仅展示单个图像(例如,单个轴向、矢状或冠状切片501、503、505或单个3D体积呈现507)。显示屏500可仅说明对应于不同解剖平面的两个切片(例如,轴向及矢状,轴向及冠状,或矢状及冠状切片),或者可说明单个切片以及3D体积呈现。在一些实施例中,显示屏500可说明对应于相同解剖平面的多个二维切片(例如,沿通过重建体积的不同区段截取的多个轴向、矢状及/或冠状切片)及/或从不同角度观看的多个3D体积呈现。可基于用户选择来定制显示屏500的不同图像及显示模式,这可经由用户输入装置及/或用户语音命令来进行。在实施例中,用户可能能够选择(例如,滚动通过)不同的患者图像,例如循序地说明沿通过重建体积的不同区段截取的多个轴向、矢状及/或冠状切片,或循序地说明从不同角度观看的多个3D体积呈现。显示屏500还可沿通过重建体积截取的倾斜平面显示切片。用户还可具有控制图像放大率的能力,例如通过放大或缩小显示屏500中展示的图像的特定部分。用户可使用用户输入装置、语音命令及/或经由例如指针装置的单独工具控制选择患者图像以供显示。在一些实施例中,显示面板500上展示的三个图像平面(即,轴向、矢状及冠状)的交会可与患者身体内的目标位置重合。外科医生可使用显示面板500作为“虚拟切割工具”来移动通过患者图像体积的各种切片/视图,并识别及选择用于手术治疗的目标区。
用户(例如,外科医生)可能能够在患者200内设置一或多个目标位置及/或轨迹。可存在多种方式来设置轨迹或目标位置。举例来说,外科医生可通过在患者200上方操纵工具(例如,指针/触笔装置及/或机器人臂的末端执行器)来移动通过患者图像数据的不同视图,其中工具可界定进入病人的独特轨迹。可使用运动跟踪系统105在患者坐标系内跟踪工具。在一些实施例中,从工具的尖端向前投射的假想射线可界定进入患者的独特轨迹,其可在显示屏500上以图形描绘。可基于距工具尖端的预定偏移距离来界定沿独特轨迹的目标位置。替代地,外科医生可直接操纵显示图像数据并与之交互以识别特定目标或轨迹,例如使用工作站计算机。响应于输入事件,可由系统400设置特定目标点或轨迹,所述输入事件可包含例如语音命令,触摸屏接口上的触摸事件及/或用户接口装置上的输入(例如,键盘键入、鼠标点击、按钮按压等)。在实施例中,外科医生可通过与显示装置(例如显示装置119及/或401)上显示的图像数据交互来设置目标位置及/或轨迹。举例来说,外科医生可通过选择显示装置119、401的显示屏500上的一或多个点来界定患者200中的目标点及/或轨迹(例如,使用触笔、光标或鼠标指针或触摸屏用户接口上的触摸来标记点)。例如,为界定轨迹,用户可选择图像数据中的两个或更多个点(例如,患者皮肤上的目标点及入口点)。在实施例中,用户可能能够使用任何合适用户接口装置对选定目标点及/或轨迹进行精细调整。可设置多个目标点及/或轨迹并将其保存在存储器中(例如,在如图4所说明的图像引导手术系统400中),其中每一目标点及/或轨迹可与唯一标识符(例如,文件名)的关联地保存。
在实施例中,显示屏500可显示覆盖对应于由用户设置的一或多个目标位置及/或轨迹的图像数据的图形元素。举例来说,经界定目标位置可被说明为图像数据中的可识别圆点或点,其可在显示屏500上进行颜色编码及/或示踪以使得能够容易地可视化。替代地或另外,可将经界定轨迹描绘为图像数据中的可识别线或线段,其可类似地进行颜色编码及/或示踪。如上文论述,显示屏500还可显示与由运动跟踪系统105跟踪的包含侵入式手术工具或器械的特定工具或物体相关联的图形元素。在实施例中,显示屏500可描绘在手术器械插入患者200中时手术器械的至少一部分(例如,尖端),这可使外科医生能够在器械沿界定轨迹及/或朝向患者200中的界定目标位置前进时跟踪器械的前进。
至少一个机器人臂101可辅助执行手术程序,例如微创脊柱手术程序或各种其它类型的整形外科、神经,心胸及一般手术程序。在各种实施例中,机器人臂101可以数种不同的操作模式操作。举例来说,机器人臂101可以手引导模式操作,其中机器人臂101的移动可基于由用户施加到臂的力来控制(例如,使用到如图4中所展示的机器人控制系统405的扭矩及/或力感测反馈)。机器人臂101还可以自主模式操作,其中机器人臂101响应于来自机器人控制系统405的控制信号而移动到特定姿势(例如,根据机器人运动规划算法及/或响应于来自例如操纵杆控制器的单独用户控制器装置的信号)。机器人臂101还可以静态或制动模式操作,其中机器人臂101可保持特定姿势并且不移动。在一些实施例中,机器人臂101还可以可为上文描述的模式的组合的各种额外模式操作。举例来说,机器人臂101可以混合模式操作,其中机器人臂101(或其一部分)可针对臂的某些移动通过手引导来移动(例如,沿某些方向或定向),但是可为刚性的(例如,制动)及/或提供对臂的其它移动的增加阻力。
在一些实施例中,外科医生可以手引导模式在患者200上方移动机器人臂以致使显示屏500显示患者图像体积的各种视图或切片,其可基于机器人臂101的末端执行器102在患者坐标系内的跟踪位置。基于显示在显示屏500上的图像数据,用户可使用如上文描述的语音命令或另一输入事件来设置特定目标位置及/或轨迹。在一些实施例中,响应于用户设置目标位置或轨迹,机器人臂101可经配置以保持其当前姿势,其中末端执行器102的尖端沿预定轨迹指向患者的身体内的目标位置。替代地,可使用另一种方法(例如,使用指针装置或经由用户与显示装置119、401的交互)来界定目标位置及/或轨迹及/或目标位置/轨迹可经先前设置并存储在存储器中。响应于使机器人臂101到达目标位置或轨迹的用户命令,机器人臂101可经配置以自主地移动到其中末端执行器的尖端沿预定轨迹指向目标位置的姿势。
在一些实施例中,当机器人臂101沿设置轨迹指向目标位置时,机器人臂101可维持刚性或固定姿势以使外科医生能够通过沿与预界定轨迹一致的矢量布置的套管将器械或工具插入患者200的身体中。套管可为机器人臂101的末端执行器102的一部分,或者其可为由末端执行器102固持的单独组件。套管可由机器人臂101定位,使得套管的中央轴线与进入患者200的预界定轨迹共线。替代地或另外,机器人臂101可以混合或顺应模式操作,使得机器人臂101可在有限运动范围内(例如,沿朝向或远离患者200的设置轨迹)手引导,而所有其它运动可被制动。在一些实施例中,机器人臂101可在初始设置轨迹周围以增加阻力及/或减小速度手引导,以使外科医生能够对轨迹的位置及/或定向进行细微调整。在其它实施例中,机器人臂101可响应于在臂上的施加力而关于设置轨迹实现一定程度的顺应性或移动,但是可经配置以当施加力释放时“弹回”到初始设置轨迹。
图6A及6B示意性地说明机器人臂101的操作模式,其中机器人臂101经移动以便于维持末端执行器102的尖端601沿与在患者200的身体内的经界定目标位置TL相交的轨迹指向。可以如上文描述的任何方式界定目标位置TL并将其存储在患者坐标系内。如图6A中所展示,机器人臂101可处于第一姿势,其中末端执行器102的尖端601沿与目标位置TL相交的第一轨迹603指向。机器人臂101可相对于患者200移动到第二姿势(例如,在患者200的皮肤表面上方横向及/或轴向地移动),同时维持末端执行器102的尖端601沿与目标位置TL相交的轨迹指向。如图6B中所展示,末端执行器102沿与目标位置TL相交的第二轨迹605指向。机器人臂101的移动可为手引导移动(例如,响应于施加到用户的力)或自主移动(例如,基于机器人运动规划算法)。在任一种情况下,机器人控制系统405可控制机器人臂101的运动,使得末端执行器102的尖端601维持沿与目标位置TL相交的轨迹指向。在实施例中,这可包含执行重复读取机器人臂101的关节参数同时监测指示末端执行器102关于患者坐标系中的目标位置的当前位置及定向的跟踪数据并发送控制信号到机器人臂101以控制臂101的运动以维持末端执行器102的尖端601指向目标位置TL的控制回路。
在一个示范性实施例中,外科医生可在患者内设置目标位置TL,而无需指定用于到达目标位置的特定轨迹。机器人臂101可使得能够在至少有限的运动范围内进行手引导,使得末端执行器102的尖端始终沿与患者的身体中的设置目标位置TL相交的轨迹指向。这可使外科医生能够使末端执行器102在患者200的表面上方移动,以找到进入患者以到达目标位置的优选进入点及/或通路。机器人臂101可在至少有限的运动范围内手引导机器人臂的至少一部分,而机器人控制系统405可控制机器人臂101以进行补偿移动(例如,基于机器人臂101的反向运动学)以维持末端执行器102的尖端601指向目标位置TL。举例来说,这可使外科医生能够使机器人臂101的一部分给他或她让路,同时维持末端执行器102指向目标位置TL。
在一些实施例中,可操作机器人臂101以便于补偿患者200的任何移动。举例来说,响应于患者200关于机器人臂101的移动(其可经由运动跟踪系统105检测),机器人臂101可自动地进行补偿移动以维持末端执行器102的尖端601沿与目标位置TL相交的轨迹指向。
在一些实施例中,可限制机器人臂101的运动范围,使得机器人臂101的末端执行器102仅可在具有与目标位置TL重合的顶点的假想圆锥体或圆锥形截头锥体内移动(经由手引导、自主运动或两者)。在假想圆锥体或圆锥形截头锥体内,可移动末端执行器102,以便于维持末端执行器102的尖端601沿与目标位置TL相交的轨迹指向。图6B示意性地说明圆锥形截头锥体(由虚线607以横截面展示),末端执行器102的运动限于圆锥形截头锥体内。末端执行器102限于其内的圆锥体或圆锥形截头锥体607的几何形状(例如,圆锥体/截头锥体的顶部及/或基部的倾斜高度、半径)可由用户调整。
在机器人臂101的操作模式的进一步实施例中,机器人臂101的运动可被限制,使得末端执行器102的尖端601不可在距在患者200的身体内部的经界定目标位置TL的预定偏移距离内移动。换句话说,偏移距离可充当末端执行器102朝向目标位置TL的运动的止动件。止动件可位于患者身体外部,使得可防止末端执行器接触患者。在一些实施例中,机器人臂101可在有限的运动范围内移动(例如,经由手引导、自主地或两者),使得末端执行器102仅可沿朝向或远离患者200的特定轨迹移动,并且可能不会移动到距离目标位置TL的偏移距离更近的位置。这由图6C说明,图6C示意性地说明距目标位置TL的偏移距离d。在此实施例中,末端执行器102可经约束以在与轨迹611重合的朝向或远离患者200的方向上(由箭头608指示)移动,但是可不移动得比偏移距离d更近。偏移距离可为默认参数及/或可由用户调整。
在一些情况下,可基于可通过由末端执行器102形成或附接到末端执行器102的套管609插入的侵入式手术器械的已知几何形状来选择偏移距离d。器械可为例如针、套管、扩张器、用于夹持或切割的工具、电极、植入物、钻头、螺钉、螺丝刀、辐射源、药物及内窥镜。器械及/或套管609可包含一或多个特征,当器械前进通过套管时,所述一或多个特征作为机械止动件操作,使得器械不会前进超过于机械止动件。举例来说,器械可在其远端附近具有凸缘或类似特征,其抵靠套管609的远端(即,与套管609的尖端相对)接触,以防止器械在套管609内进一步前进。可选择偏移距离d以防止器械的尖端在套管609内被推进超过患者的身体内的目标位置TL。特定来说,偏移距离d可基于器械的长度来选择,使得当器械在套管609内被完全推进时,包含套管609及器械的末端执行器102可能不被推进超过患者200外部的点,其将允许器械的尖端被推进到比患者200内的目标位置TL更远。
在进一步实施例中,机器人臂101可在有限的运动范围内移动(例如,通过手引导、自主地或两者),使得末端执行器102可维持末端执行器102的尖端601沿与患者200的身体内的界定目标位置TL相交的轨迹指向,并且不可移动到比离目标位置TL的预定偏移距离d更近。这在图6C中说明,图6C展示末端执行器102沿箭头613的方向上的运动。类似于图6A到6B的实施例,机器人控制系统405可控制机器人臂101的运动,使得末端执行器102的尖端601维持沿与目标位置TL相交的轨迹611、612指向。另外,机器人控制系统405可控制机器人臂101的运动,使得尖端601不可移动到距离目标位置T比偏移距离d更近。换句话说,末端执行器102的尖端601可经约束以在以目标位置TL为中心的“虚拟”球形表面上方移动,并且具有等于偏移距离d的半径。图6C示意性地说明虚拟球形表面(由虚线615以横截面描绘),在所述虚拟球形表面上方,末端执行器102的尖端601的运动受到约束。在一些实施例中,末端执行器102可朝向及远离表面615(在箭头609及610的方向上)移动,同时维持套管609与相应轨迹611、612对准。在其它实施例中,可控制机器人臂101的运动,使得末端执行器102的尖端601经约束以仅能够在虚拟球形表面615上方移动。在一些实施例中,虚拟表面615可包括在所有维度上环绕目标位置TL的完全球形表面。替代地,表面615可仅对应于球形表面的一部分,例如可涵盖手术区域的全部或一部分的球形圆顶或盖。
进一步实施例包含用于界定机器人臂101不可进入的三维边界表面的方法。边界表面可对应于患者200在三维空间中的位置,并且可防止机器人臂101或其任何部分与患者200碰撞。图7是说明用于避免手术机器人系统中的患者碰撞的方法700的过程流程图。可使用例如图1中所展示的计算机113的一或多个计算装置来实施图7的方法700。
在方法700的框701中,可在患者的解剖结构的图像数据集中识别患者的皮肤表面的至少一部分。可使用例如图1及2中所展示的成像装置103的成像装置获得患者的解剖结构的图像数据集。图像数据集可为表示患者的解剖结构(其包含待进行手术的内部解剖结构及/或结构(即,患者的解剖结构的手术相关部分))的至少一部分的三维数据集(例如,3DCT断层扫描重建、3D MRI数据集等)。图像数据集可以电子方式存储在存储器中。图像数据集可为任何合适格式,例如符合医学数字成像及通信(DICOM)标准的文件格式。
在实施例中,可使用具有相对较宽视场的成像装置103来获得患者的解剖结构的图像数据集,以使得能够对需要手术治疗的患者的解剖结构的部分及患者周围皮肤表面的至少一部分两者进行成像。举例来说,在图像数据集包括CT数据集的情况下,重建体积可具有大于约20cm的直径,例如50cm或更多,并且可轴向延伸(即,沿患者200的长度)至少约15cm,包含超过30cm,并可延伸多达约1m或更多。在一些实施例中,图像数据集可涵盖围绕需要手术治疗的患者的解剖结构的部分周向延伸的患者的皮肤表面的至少约20%,例如30到100%(例如,至少50%)。图像数据集可额外地涵盖在轴向方向上延伸的皮肤表面的至少约15cm。
在实施例中,可通过将图像分割过程应用于图像数据集来识别患者200的皮肤表面的至少一部分。此类过程通常用于医学成像中以区别图像数据中的不同组织类型或其它解剖特征。识别皮肤表面可包括例如对收集图像数据集执行阈值化操作。在x射线图像数据的情况下,阈值化操作可包含利用算法来分析与图像数据集中的个别像素/体素相关联的辐射密度值(例如,豪恩斯菲尔德单位)并且基于所述分析,识别对应于患者200的皮肤表面的图像数据内的像素/体素。也可利用其它技术。举例来说,如图5中所说明,可在显示x射线CT数据内清楚地区分患者的皮肤表面511。
在方法700的框703中,可基于患者200的经识别皮肤表面产生边界表面。边界表面可与图像数据内识别的皮肤表面直接对应,或可为可从实际皮肤表面偏移某个量(例如,0到2cm)的“虚拟”三维表面。在一些实施例中,可通过从图像数据外推来产生边界表面的一部分。举例来说,边界表面可包含第一部分,其大体上对应于患者皮肤表面的可从图像数据集识别的部分的三维轮廓。边界表面还可包含第二部分,其可经外推超越患者皮肤表面的可从图像数据集直接识别的部分。在一个实施例中,外推第二部分可从第一部分在一或多个方向上(例如,关于患者轴向及/或横向)延伸,并且可基于患者大小/形状的建模,其中此建模可基于关于患者大小的经验或统计数据,并且可基于患者特定数据(例如,身高、体重,性别等)以及可从图像数据集识别的患者皮肤表面的尺寸。替代地,外推第二部分可包括平坦表面,其可平行于在其上支撑患者200的表面(例如,患者台60)延伸。平坦表面可在支撑表面之上的高度处延伸,所述高度是基于从图像数据集识别的皮肤表面的部分。举例来说,平坦表面可在患者支撑件之上的高度处延伸,所述高度等于经识别皮肤表面的最高部分的高度。
在一些实施例中,可产生边界表面以涵盖在患者的皮肤表面之上延伸的一或多个物体。举例来说,患者参考标记装置115可被夹紧或以其它方式附接到患者(例如,到患者的解剖结构的骨部分),并且可包含刚性框架,所述刚性框架具有在皮肤表面之上延伸的粘附到刚性框架的多个标记。可从患者图像数据集直接识别标记装置115的位置(例如,经由如上文描述的图像分割过程)。替代地,可基于可从图像数据集容易地识别的标记装置上的基准元件(例如,一组x射线不透明元件或标签(beebees))的位置来确定标记装置115。可知道在图像数据集中识别的基准元件与从患者延伸的标记装置115的外边缘之间的几何关系,这可使所产生的边界表面能够涵盖标记装置115。这可防止机器人臂101与标记装置115碰撞。
在框705中,图像数据集及边界表面可在患者坐标系内配准。可使用例如上文参考图3所描述的方法来执行配准。特定来说,图像数据集及所产生边界表面可与可使用如上文描述的运动跟踪系统105来确定的患者位置相关联。图像引导手术系统可将边界表面定位在以患者为中心的坐标系内,其可基于可刚性地附接到患者200的所关注解剖区的一或多个参考标记装置115的跟踪位置。
在框707中,可控制机器人臂以防止臂的任何部分越过边界表面。在实施例中,这可包含执行重复读取机器人臂的关节参数同时监测指示机器人臂在患者坐标系内的当前位置及定向的跟踪数据的控制回路。可通过跟踪固定到机器人臂的一或多个标记装置(例如,图1中的标记装置202)来确定机器人臂的位置及定向。控制回路可将机器人臂的关节坐标变换为患者坐标系中的空间坐标,并且可确定臂的每一关节关于边界表面的位置。机器人控制系统可控制机器人臂的运动以防止臂的任何部分越过边界表面。举例来说,在机器人臂的特定运动或姿势的运动计划期间,机器人控制系统可利用机器人臂的反向运动学来计算避免越过边界表面的运动路径。另外,当在手引导模式下操作时,机器人控制系统可制动机器人臂的全部或一部分以便防止臂的任何部分越过边界表面。
图8A是患者200及在患者的至少一部分上方延伸的三维“虚拟”边界表面801的示意性横截面视图。在此实施例中,边界表面801包含对应于患者200的皮肤表面802的三维轮廓的第一部分803。在此实施例中,边界表面801从皮肤表面802偏移,但是在其它实施例中,边界表面801可与皮肤表面802重合。边界表面801的第二部分805可从第一部分803外推,并且在此实施例中包含平行于患者台60延伸的平坦表面。机器人臂101可经控制使得机器人臂101的任何部分(例如末端执行器102及臂101的关节807)都不会越过边界表面801。
如上所述,“虚拟”边界表面801可在患者坐标系内界定,所述患者坐标系可基于患者标记装置115的跟踪位置及定向。可控制机器人臂101以便于自动地补偿患者200的任何运动并进行适当的移动以将机器人臂101维持在虚拟边界表面801之外。
在一些实施例中,可控制机器人臂101以根据与边界表面801的接近度来修改机器人臂101的速度、加速度及扭矩中的至少一者。特定来说,当机器人臂101或者其一部分接近边界表面801时,机器人控制系统405可降低机器人臂101的一或多个关节807处的速度、加速度及/或扭矩。这可实现对机器人臂101相对于患者200的位置的更精确控制,并且可提供改进安全性以防臂101与患者200之间意外接触。
将理解,图7的方法700是用于界定边界表面以防止机器人臂与患者碰撞的一种可能方法。可使用其它技术作为上文描述的方法的替代或补充。举例来说,用户可使用由运动跟踪系统105跟踪的工具或器械(例如,指针装置)来触摸或追踪可由图像引导手术系统使用的患者皮肤表面上的一组位置以产生机器人臂不能进入的边界表面。类似方法可包含以手引导模式操作机器人臂101以跨越接着可用来产生虚拟边界表面的表面追踪。其它方法可包含在患者的皮肤表面上方(例如,直接在皮肤表面上或在手术单上)提供一组标记装置,并使用运动跟踪系统跟踪标记。可外推检测到的标记的位置及定向以界定针对机器人臂101的边界表面。除界定边界表面以避免患者碰撞之外,这些方法还可用于界定边界表面以避免机器人与其它潜在障碍物碰撞,所述障碍物例如患者台50、成像装置103,推车、托盘或其它手术装备以及可能在患者200旁边工作的其它个体(例如,外科医生、擦洗护士)。
图8B说明用于防止机器人臂101与患者200碰撞的实施例方法及系统,其包括用于检测患者移动的多个感测装置。感测装置可利用多种不同的感测模态来检测患者移动。在一个实施例中,第一感测装置可为运动跟踪系统105的光学感测装置111,其可接收从固定到患者200的一或多个标记装置115反射或发射的辐射,如上文描述。来自感测装置111的跟踪数据可用于控制机器人臂101以防止机器人臂101与患者200碰撞,如上文参考图8A描述。第二感测装置可为次级或冗余感测装置,并且可帮助改进系统的安全性,例如在涉及主感测装置的故障或错误条件的情况下。举例来说,运动跟踪系统105可能无法区分患者200的移动及标记装置115相对于患者200的移动,例如在标记装置115变松或被意外撞击而导致其改变其位置/定向的情况下。类似地,光学感测装置111的意外撞击或移动可能被运动跟踪系统105错误地解释为患者200的移动。在其它情况下,运动跟踪系统105可能无法立即检测到患者200的实际移动,例如如果患者标记装置115与光学感测装置111之间的视线被暂时阻挡或者归因于系统延迟问题。在此类条件下,机器人臂101可能意外地移动到与患者200碰撞的位置。
在图8B的实施例中,第二感测装置可包含第二光学感测装置809,例如LIDAR装置或用于检测到目标的距离的类似非接触式基于光学的系统。已知用于使用光学信号测量关于目标的距离及相对位移的各种装置及技术,并且可基于(但不限于)例如三角测量、飞行时间、干涉测量或共焦色度测量技术。在一些实施例中,第二光学感测装置809可位于机器人臂101上,并且可经配置以检测机器人臂101与患者200的距离。
在一些实施例中,处理器(例如,图1中的计算机113)可将由第二感测装置809测量的机器人臂101与患者200之间的距离与根据第一感测装置(例如,运动跟踪系统105)的机器人臂101与患者200之间的预期距离进行比较。在距离彼此不一致超过阈值量的情况下,这可指示来自运动跟踪系统105的跟踪数据不准确。响应于确定距离不一致超过阈值量,处理器可向机器人控制系统405发送信号以采取补救行动。补救行动可包含:举例来说,立即停止机器人臂101的所有当前/计划移动,“制动”机器人臂101以防止机器人臂101的手引导,触发可听及/或视觉警报,控制机器人臂101远离患者/手术区域移动,例如通过移动机器人臂101以维持由第二感测装置809测量的与患者200的最小分离距离或者通过将机器人臂101移动到预定“主(home)”姿势,其中不可能接触患者200或其它障碍物,及/或进入“顺应”模式,其中机器人臂101可支撑其自身重量,但是可以其它方式高度敏感并且通过在施加力的方向上移动机器人而响应于施加力。
在其它实施例中,处理器可确定由第二感测装置809测量的机器人臂101与患者200之间的距离是否小于阈值量,并且可在测量距离小于阈值时向机器人控制系统405发送信号以采取补救行动。阈值距离可为默认参数或用户可调整参数。在一些实施例中,阈值距离可等于或小于皮肤表面802与如参考图8A所描述的预界定的“虚拟”边界表面801之间的偏移距离。当距第二感测装置809的测量距离小于阈值距离时,这可指示机器人臂101已经越过“虚拟”边界表面801,并且可采取适当补救行动。
在进一步实施例中,处理器可基于来自第二感测装置809的数据来确定患者200及机器人臂101是否朝向彼此移动大于预定速度或加速度,并且可响应于此确定而采取适当补救行动。
除如上文描述的光学传感器之外,第二感测装置809可包含用于监测机器人臂101与患者200之间的距离的任何类型的感测装置。举例来说,第二感测装置809可包含基于磁或RF的传感器、计算机视觉系统、电容传感器及/或声学(例如,超声波)传感器。
在一个实施例中,第二感测装置可包含可设置在患者200上的一或多个惯性传感器911,例如加速度计。一或多个惯性传感器911可经配置以检测患者200相对于机器人臂101的移动。如果检测到的移动与由运动跟踪系统105确定的跟踪数据不一致,那么可将信号发送到机器人控制系统405以采取如上文描述的一或多个补救行动。
在进一步实施例中,运动跟踪系统105可包含附接到患者200的多个标记装置115,例如在2017年9月11日申请的第15/701,063号美国申请案(“‘063申请案”)中所描述,所述申请案先前以引用的方式并入本文中。如‘063申请案中论述,运动跟踪系统105可检测标记装置115的相对移动,其可指示标记装置105中的一或多者已被撞击或变松且患者配准可变得不准确。在实施例中,响应于运动跟踪系统105检测到标记装置115之间的相对移动超过阈值量,可将信号发送到机器人控制系统405以采取如上文描述的补救行动。
图8C说明基于机器人臂相对于患者的位置来控制手术机器人系统中的机器人臂的方法。如图8C中所展示,可在图像引导手术系统的患者坐标系内在患者200的手术区域上方界定虚拟三维体积811。体积811的一个表面可包括在患者200的皮肤表面上方的机器人臂101不能进入的边界表面801。边界表面801可使用任何方法来界定,例如上文描述的方法。虚拟体积811可从边界表面801远离患者200延伸。虚拟体积811可具有任何大小及形状,并且可具有例如大体上圆柱形、长方体形、圆锥形、金字塔形或不规则形状。
可跟踪机器人臂101的位置以确定机器人臂101的一部分是否位于虚拟体积811内。在实施例中,这可包含执行重复读取机器人臂的关节参数同时监测指示患者坐标系内的机器人臂的当前位置及定向的跟踪数据的控制回路。可通过跟踪固定到机器人臂的一或多个标记装置202来确定机器人臂的位置及定向。控制回路可将机器人臂的关节坐标变换为患者坐标系中的空间坐标,并且可确定臂的每一关节关于虚拟体积811的边界的位置。在一些实施例中,确定机器人臂101的特定部分(例如末端执行器102)是否在虚拟体积811内部。在其它实施例中,确定机器人臂101的任何部分是否位于虚拟体积811内部,或者机器人臂101的每一个部分是否位于虚拟体积811内部。
可基于确定机器人臂101的一部分是否在虚拟体积811内部来修改机器人臂101的操作模式。举例来说,在一个实施例中,机器人臂101的控制系统405不能启用机器人臂101的自主运动,除非确定机器人臂101的至少一部分(例如,末端执行器102)位于患者手术区域之上的虚拟体积811内。在实施例中,当臂在虚拟体积811的内部及外部两者时,控制系统405可实现机器人臂101的手引导运动。将机器人臂101的自主运动限制到当机器人臂101的至少一部分在虚拟体积811内部时可通过最小化机器人臂101可能与医务人员或手术室中的其它障碍物碰撞的可能性来帮助改进系统的安全性。在实施例中,机器人臂101可首先通过手引导移动到虚拟体积811内部的位置,且自主运动(例如将机器人臂101移动到手术程序中的预界定轨迹或目标位置)仅可在机器人臂101移动进入虚拟体积811中之后实现。可在显示装置119、401上或机器人臂101自身上设置的指示器(例如,LED指示器)可指示机器人臂101关于虚拟体积811的位置。
在实施例中,虚拟体积811的尺寸及/或形状可由用户调整。用户可基于机器人臂101在手术期间可能碰撞的潜在障碍物(包含医疗人员在手术期间的优选位置及工作区域)的位置来调整虚拟体积811的尺寸及/或形状。
进一步实施例包含基于机器人臂101的末端执行器102内的工具104的存在来控制机器人臂101的操作。如上文论述,机器人臂101的末端执行器102可包含中空管或套管609,其可经配置以固持一或多个工具104,例如手术器械。套管609可用于在工具104插入患者的身体内时引导工具104。如图9所展示,末端执行器102的套管609可包含检测器装置901,其经配置以检测工具104何时位于套管609内。
在一个实施例中,检测器装置901可包含位于套管609中的感应线圈903,其耦合到AC电源905、感应监测电路907及控制电路909(例如,微处理器)。感应线圈903可围绕套管609的开口,以便于使工具104能够行进通过感应线圈903。在实施例中,控制电路909可选择性地将感应线圈903连接到AC电源905以在感应线圈903上感应磁场。电感监测电路907可测量感应线圈903的电感并将测量电感传达到控制电路909。控制电路909可基于测量电感来确定工具104是否位于套管609内。在一个实施例中,确定可基于测量电感相对于基线电感值的相对改变,所述基线电感值可在没有工具104位于套管609内时测量。高于阈值的测量电感的相对改变可指示工具104位于套管609内。在一些实施例中,可校准检测器装置901以基于测量电感值来提供套管609内的工具104的估计位置。检测器装置901可确定工具104已经插入通过套管609的整个长度,且因此工具104的一部分可在患者200的内部。
控制电路909可向机器人控制系统405(参见图4)发送信号,其指示在套管609内检测到工具104。作为响应,机器人控制系统405可控制机器人臂101以防止机器人臂101相对于患者200移动。当器械插入通过套管609并进入患者200的身体内时,这可通过防止机器人臂101及套管609的运动来改进系统的安全性。在一些实施例中,机器人控制系统405可禁止机器人臂101的某些移动,例如在横向于由套管609界定的轨迹的方向上的任何移动,但是可实现机器人臂101沿轨迹的移动。机器人控制系统405可在从控制电路909接收指示工具104已经从套管609移除的另一信号时恢复机器人臂101的正常操作。
在其中机器人臂101安装到成像系统103或在成像系统103之上并且可结合成像系统103的至少一部分的移动相对于患者200移动的实施例中,控制电路909也可在套管609内检测到工具104时向成像系统103发送信号以防止系统103相对于患者200的移动。
将理解,包含感应线圈903的检测器装置901是用于检测套管609内工具104的存在的一种技术。在其它实施例中,检测器装置901可利用其它机制来检测存套管609内工具104的存在,例如压力传感器、光学传感器、电容传感器、声学传感器及/或机械开关。
进一步实施例包含用于界定患者的身体外部的对应于位于患者身体内的解剖特征的表面的虚拟表面的方法。在实施例中,虚拟表面可为在图像引导手术系统的患者坐标系内界定的三维表面。当用户在虚拟三维表面上方移动机器人臂101的一部分(例如机器人臂101的末端执行器102的尖端)时,可控制机器人臂101以向用户提供触觉反馈。
图10是说明用于在手术机器人系统中界定虚拟表面的方法1000的过程流程图。可使用一或多个计算装置(例如图1中所展示的计算机113)来实施图10的方法1000。在方法700的框1001中,可在患者的解剖结构的图像数据集中识别患者身体内的解剖特征的表面。可使用成像装置(例如图1及2中所展示的成像装置103)获得患者的解剖结构的图像数据集。图像数据集可为表示患者的解剖结构的至少一部分的三维数据集(例如,3D CT断层扫描重建,3D MRI数据集等),所述解剖结构包含待进行手术的内部解剖结构及/或结构(即患者的解剖结构的手术相关部分)。图像数据集可电子方式存储在存储器中。图像数据集可为任何合适的格式,例如符合医学数字成像及通信(DICOM)标准的文件格式。
在实施例中,患者身体内的解剖特征可包括骨或骨骼特征,例如患者脊柱的至少一部分。在其它实施例中,解剖特征可为内部器官或组织部分,包含组织的异常部分,例如肿瘤。可通过将图像分割过程应用于图像数据集来识别解剖特征的表面。举例来说,在x射线图像数据的情况下,这可包含校准与不同组织类型(例如,骨与软组织)相关联的辐射密度值(例如,豪恩斯菲尔德(Hounsfield)单位)并且将阈值化算法应用于图像数据集以识别所关注组织类型与周围解剖结构之间的过渡点。举例来说,如图5所说明,可在显示的x射线CT数据内清楚地区分患者脊柱513的表面。可在图像数据集内识别对应于所关注解剖特征的表面的三维表面。
在框1003中,可在患者坐标系内配准图像数据集。可使用例如上文参考图3所描述的方法来执行配准。特定来说,图像数据集可与可使用上文描述的运动跟踪系统105来确定的患者位置相关。
在框1005中,可在患者坐标系内在患者身体外部产生对应于患者的解剖特征的表面的虚拟三维表面。产生虚拟三维表面可包含将在图像数据集内识别的解剖特征的表面移位或投射到患者200的身体外部的第二位置。这在图11中说明,图11示意性地展示患者200的身体内的解剖特征1105(例如,脊柱的一部分)的表面1103移位距离d以在患者200外部提供“虚拟”表面1107。距离d可为用户可调整参数。“虚拟”表面1107可位于图像引导手术系统的患者坐标系内。如上文论述,患者坐标系可基于一或多个参考标记装置115的跟踪位置,参考标记装置115可刚性地附接到患者200的所关注解剖区。“虚拟”表面1107可结合患者200的任何移动而移动。
在方法1000的框1007中,可控制机器人臂以在机器人臂的一部分在虚拟表面1107上方移动时向用户提供触觉反馈。在虚拟表面1107上方移动的机器人臂101的部分可为末端执行器102的尖端601,如图11中所说明。在实施例中,控制机器人臂101可包含执行重复读取机器人臂的关节参数同时监测指示患者坐标系内的末端执行器102的当前位置及定向的跟踪数据的控制回路。可通过相对于患者参考标记装置115跟踪机器人臂101上的一或多个标记装置(例如,图11中的标记装置202)来确定末端执行器102在患者坐标系内的位置及定向。当用户在虚拟表面1107上方移动末端执行器102的尖端601(即,在手引导模式中)时,机器人控制系统可控制机器人臂101的操作以向用户提供触觉反馈。在一些实施例中,当用户将末端执行器102向下推动而抵靠在虚拟表面1107时,可控制机器人臂101以提供增加的阻力及/或臂的振动。在一些实施例中,机器人臂101可修改末端执行器102的定向,使得当末端执行器102在表面1107上方横向移动时(例如,经由手引导或自主机器人运动),末端执行器102的尖端601可在虚拟表面1107的轮廓上方“追踪”)。在一些实施例中,当尖端601在虚拟表面1107的三维轮廓上方“追踪”时,末端执行器102相对于虚拟表面1107的角度可保持恒定。
上文描述的方法1000的各种实施例可使得用户(例如,外科医生)能够在在患者200身体外部移动机器人臂101的同时虚拟地且非侵入式地感知所关注内部解剖特征的轮廓。实施例可向用户提供患者内部解剖结构的触觉反馈,并且可辅助规划手术程序。举例来说,外科医生可在虚拟表面1107上方操纵机器人臂101以确定患者的解剖结构的特定部分是否具有平坦、弯曲或成角度的表面。在一些实施例中,可校准由机器人臂101提供的触觉反馈以模拟下伏解剖特征的物理特性(例如,刚性、顺应性、弹性等)。
在实施例中,用户可基于末端执行器102关于虚拟表面1107的位置及/或定向来选择“虚拟”轨迹或目标位置。响应于选择“虚拟”轨迹或者目标位置,图像引导手术系统可在患者200的身体内设置对应轨迹及/或目标位置。然后,可控制机器人臂101以移动到预设轨迹及/或在患者身体内部的目标位置上方移动。
图12A到12C说明根据一个实施例的机器人臂1201。如图12A到12C中所展示的机器人臂1201可用于本文描述的实施例方法及系统中的任何者。将理解,在上文描述的系统及方法中也可利用其它类型的机器人臂。
图12A是根据实施例的机器人臂1201的示意性侧视图。机器人臂1201可包含可端对端耦合的多个重复区段1203a、1203b。图12A中展示两个区段1203a、1203b。根据各种实施例的机器人臂1201可包含任何数目个区段,例如2、3、4、5、6个区段或更多。
每一区段1203a、1203b可包含第一端部分1205a、1205b,第二端部分1209a、1209b,以及具有大体上球形外表面(例如截头球形)的中央部分1207a、1207b。第一及第二端部分1205、1209可具有比大体上球形中央部分1207小的外直径。第一及第二端部分1205、1209可具有弯曲外表面并且可为大体上圆柱形的。在实施例中,端部分1205、1209可具有远离中央部分1207延伸的渐缩直径,如图12A中所展示。
如图12A中所展示的机器人臂1201可具有带有平滑过渡的圆化外表面,并且可没有可撕裂设置在机器人臂1201上方的无菌覆盖物(例如手术单)的尖锐的角或边缘。机器人臂1201可特别有利地用于机器人辅助手术。
邻近区段1203a、1203b可沿轴线1211耦合,如图12A中所展示。轴线1211可纵向延伸通过区段1203a的第一端部分1205a及邻近区段1203b的第二端部分1209b。每一区段1203a、1203b可提供至少两个旋转自由度,使得纵向延伸通过区段1203a的第二端部分1209a的第二轴线1213可关于轴线1211在两个相互垂直方向上旋转。举例来说,如图12A中所展示,轴线1213可在俯仰方向上(即,在图12A中的页面的平面内向上及向下)及在偏转方向上(即,进入及离开图12A中的页面)关于轴线1211旋转。在实施例中,轴线1213可在俯仰及偏转方向上关于轴线1211旋转至少约±15度,例如±20度、±30度、±45度及±100度或更大。区段1203a的第二端部分1209a可耦合到机器人臂1201的额外区段1203,或在区段1203a是臂1201的最后区段的情况下耦合到机器人臂1201的末端执行器。
在图12A的实施例中,每一区段1201的中央部分1207可包含一对嵌套球形部分,其包含耦合到第一端部分1205的外球形部分1215及耦合到第二端部分1209的内球形部分1217。内球形部分1217及第二端部分1209可在箭头1220的方向上关于外球形部分1215及第一端部分1205旋转。位于中央部分1207内的电动机1221可驱动内球形部分1217相对于内球形部分1217的旋转。中央部分1207内的编码器(未说明)可确定内球形部分1217相对于外球形部分1215的旋转位置。
另外,在图12A的实施例中,区段1203a的第一端部分1205a可经由旋转轴承耦合到邻近区段1203b的第二端部分1209b,所述旋转轴承使得区段1203a能够在箭头1223的方向上关于区段1203b旋转。电动机1225可位于第一端部分1205a中以驱动区段1203a关于区段1203b的旋转。编码器(未说明)可确定区段1203a的第一端部分1205a相对于区段1203b的第二端部分1209b的旋转位置。
可控制电动机1225及1221以提供区段1203a在箭头1223及1220的方向上的协调运动。在图12A的实施例中,第二端部分1209在箭头1220的方向上的旋转结合整个区段1203在箭头1223的方向上的旋转可提供第二端部分1209关于轴线1211的俯仰及偏转旋转。
机器人臂1201的不同区段1203可以菊花链配置连接,使得电力及数据(例如,控制信号)可循序地向下传递通过臂1201的每一区段1203,且数据(例如,编码器数据)可通过区段1203传递回到机器人控制系统。可位于区段1203a、1203b的第二端部分1209a、1209b上的滑环1227a、1227b可用于在区段1203a、1203b之间传递电力及数据。此配置可在箭头1223的方向上实现邻近区段之间的连续(即>360°)旋转。
在实施例中,每一区段1203可包含惯性传感器(例如,加速度计),其可用于每一区段1203处的动态重力校准(例如,不必在机器人基座处输入重力矢量)。惯性传感器还可用于冗余运动控制(例如,除每一段1203中的编码器之外)。
图12B及12C说明包含移动到不同姿势的五个区段1203的机器人臂1201。在实施例中,机器人臂1201可卷曲成相对紧密配置及半径而不会达到关节限制。举例来说,机器人臂1201可能够进入及/或通过成像系统103的孔107。还可控制机器人臂1201以按相对平滑的弧度接近患者200,例如图12B所展示。可控制机器人臂1201,使得弧远离患者200向上指向。可通过改变弧的半径来实现机器人臂1201的末端执行器朝向及远离臂的基端移动。
图13是用于执行及实施上文描述的各种实施例的计算装置1300的系统框图。举例来说,计算装置1300可执行图像引导手术系统400及/或机器人控制系统405的功能。虽然计算装置1300被说明为膝上型计算机,但是提供计算机装置1300的功能能力的计算装置可被实施为工作站计算机、嵌入式计算机、桌上型计算机、服务器计算机或手持式计算机(例如,平板计算机、智能手机等)。典型计算装置1300可包含耦合到电子显示器1304的处理器1301,扬声器1306及存储器1302,其可为易失性存储器以及非易失性存储器(例如,磁盘驱动器)。当实施为膝上型计算机或桌上型计算机时,计算装置1300还可包含耦合到处理器1301的软盘驱动器、光盘(CD)或DVD盘驱动器。计算装置1300可包含天线1310、多媒体接收器1312、收发器1318及/或耦合到处理器1301的通信电路以用于发送及接收电磁辐射,连接到无线数据链路,以及接收数据。另外,计算装置1300可包含耦合到处理器1301的网络访问端口1324以用于与网络(例如,耦合到服务提供商网络的LAN等)建立数据连接。膝上型计算机或桌上型计算机1300通常还包含用于接收用户输入的键盘1314及鼠标垫1316。
前述方法描述仅作为说明性实例提供,并且不希望要求或暗示必须以所呈现的顺序执行各种实施例的步骤。如所属领域的技术人员将了解,可以任何顺序执行前述实施例中的步骤的顺序。例如“之后”、“然后”、“接下来”等的词语不一定希望限制步骤的顺序;这些词语可用于通过对方法的描述引导读者。此外,举例来说,使用冠词“一”或“所述”对单数形式的主张元素的任何参考不应被解释为将所述元素限制为单数。
结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块、电路及算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件及软件的此可互换性,上文已经在其功能性方面对各种说明性组件、块、模块、电路及步骤进行总体描述。将此功能性实施为硬件还是软件取决于特定应用及强加于总体系统的设计约束。技术人员可针对每一特定应用以不同方式实施所描述的功能性,但是此类实施决策不应被解释为导致脱离本发明的范围。
用于实施结合本文揭示的方面描述的各种说明性逻辑、逻辑块、模块及电路的硬件可用经设计以执行本文描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行。通用处理器可为微处理器,但是在替代方案中,处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如DSP及微处理器的组合,多个微处理器,结合DSP内核的一或多个微处理器,或任何其它此配置。替代地,一些步骤或方法可由特定于给定功能的电路执行。
在一或多个示范性方面中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施,那么可将功能作为一或多个指令或代码存储在非暂时性计算机可读媒体上。本文揭示的方法或算法的步骤可体现在执行的处理器可执行软件模块中,所述处理器可执行软件模块可驻留在非暂时性计算机可读媒体上。非暂时性计算机可读媒体包含促进将计算机程序从一个地方转移到另一地方的计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。作为实例而非限制,此非暂时性计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储器装置或其它磁存储装置,或者可用于以指令或数据结构的形式携载或存储所需程序代码并且可由计算机存取的任何其它媒体。本文使用的磁盘及光盘包含光盘(CD)、激光光盘、光盘、数字通用光盘(DVD)、软盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘通过激光光学地再现数据。上述的组合也应包含在非暂时性计算机可读存储媒体的范围内。另外,方法或算法的操作可作为代码及/或指令的一个或任何组合或集合驻留在机器可读媒体及/或计算机可读媒体上,所述机器可读媒体及/或计算机可读媒体可并入计算机程序产品中。
提供所揭示方面的前述描述是为使所属领域的技术人员能够制作或使用本发明。对于所属领域的技术人员来说,对这些方面的各种修改是显而易见的,并且在不脱离本发明的范围的情况下,本文界定的一般原理可应用于其它方面。因此,不希望本发明限于本文所展示的方面,而是与符合本文揭示的原理及新颖特征的最宽范围相一致。

Claims (9)

1.一种用于界定机器人手术系统的边界表面的方法,其包括:
识别患者的解剖结构的图像数据集中的患者的皮肤表面的至少一部分,其中所述图像数据集包括三维x射线CT重建及三维MRI数据集中的至少一者;
基于所识别皮肤表面而产生边界表面,其中所述边界表面包括在所述患者的所述皮肤表面上方的虚拟三维表面;
在患者坐标系内配准所述图像数据集及所述边界表面;以及
界定位于所述边界下方的目标位置;并且
控制机器人臂以:
维持所述机器人的末端执行器沿与所述目标位置相交的轨迹指向;
允许所述机器人臂移动以沿所述轨迹朝向所述目标位置推进所述末端执行器;并且
防止所述末端执行器越过所述边界表面,所述末端执行器被配置为套管,所述套管被配置为允许一或多个器械沿所述轨迹朝向所述目标位置可移除地穿过所述套管。
2.根据权利要求1所述的方法,其中识别皮肤表面的至少一部分包括将图像分割过程应用于所述图像数据集。
3.根据权利要求2所述的方法,其中应用图像分割过程包括基于与所述图像数据集的不同部分相关联的辐射密度值来执行阈值化操作。
4.根据权利要求1所述的方法,其中从在所述图像数据集中识别的所述皮肤表面的至少一部分外推所述边界表面的至少一部分。
5.根据权利要求1所述的方法,其中配准所述图像数据集及所述边界表面包括将所述图像数据集及所述边界表面与使用运动跟踪系统确定的患者位置相关联。
6.根据权利要求5所述的方法,其中控制所述机器人臂包括通过跟踪固定到所述机器人臂的一或多个标记装置来确定所述机器人臂在所述患者坐标系内的位置及定向中的至少一者。
7.根据权利要求1所述的方法,其中控制所述机器人臂包括使用所述机器人臂的反向运动学来计算针对所述机器人臂的避免越过所述边界表面的运动路径。
8.根据权利要求1所述的方法,其中控制所述机器人臂包括:
使用运动跟踪系统监测所述患者的位置;以及
响应于由所述运动跟踪系统检测到的所述患者的移动,移动所述机器人臂以将所述机器人臂维持在所述边界表面之外。
9.根据权利要求1所述的方法,其进一步包括:
根据与所述边界表面的接近度,修改所述机器人臂的一或多个关节处的速度、加速度及扭矩中的至少一者。
CN201780079459.7A 2016-10-25 2017-10-24 用于机器人辅助手术的方法及系统 Active CN111417354B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662412422P 2016-10-25 2016-10-25
US62/412,422 2016-10-25
PCT/US2017/058105 WO2018081136A2 (en) 2016-10-25 2017-10-24 Methods and systems for robot-assisted surgery

Publications (2)

Publication Number Publication Date
CN111417354A CN111417354A (zh) 2020-07-14
CN111417354B true CN111417354B (zh) 2023-12-12

Family

ID=62025417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780079459.7A Active CN111417354B (zh) 2016-10-25 2017-10-24 用于机器人辅助手术的方法及系统

Country Status (4)

Country Link
US (2) US11751948B2 (zh)
EP (1) EP3531954A4 (zh)
CN (1) CN111417354B (zh)
WO (1) WO2018081136A2 (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10512511B2 (en) 2013-07-24 2019-12-24 Centre For Surgical Invention And Innovation Multi-function mounting interface for an image-guided robotic system and quick release interventional toolset
US10723025B2 (en) * 2017-07-10 2020-07-28 Hypertherm, Inc. Computer-implemented methods and systems for generating material processing robotic tool paths
JP7046599B2 (ja) * 2017-12-28 2022-04-04 キヤノンメディカルシステムズ株式会社 医用画像診断装置、周辺機器及び撮影システム
EP3518059B1 (de) * 2018-01-24 2020-04-01 Siemens Aktiengesellschaft Verfahren zur rechnergestützten benutzerassistenz bei der in-betriebnahme eines bewegungsplaners für eine maschine
TWI822729B (zh) 2018-02-06 2023-11-21 美商即時機器人股份有限公司 用於儲存一離散環境於一或多個處理器之一機器人之運動規劃及其改良操作之方法及設備
PL3769174T3 (pl) * 2018-03-21 2022-10-24 Realtime Robotics, Inc. Planowanie przemieszczania robota do różnych środowisk i zadań oraz jego ulepszone działanie
WO2020015836A1 (en) 2018-07-20 2020-01-23 Brainlab Ag Method for automatic detection of instrument orientation for robotic surgery
US11166649B2 (en) * 2018-07-31 2021-11-09 Joseph Luciano Feigned injury detection systems and methods
JP7457692B2 (ja) * 2018-08-01 2024-03-28 ブレイン ナビ バイオテクノロジー カンパニー リミテッド 手術を実行するためにロボットアームアセンブリの手術経路を更新するためのシステムの作動方法及びそのシステム、並びに記憶媒体
EP3628225B1 (de) * 2018-09-26 2021-03-31 Siemens Healthcare GmbH Verfahren zur aufnahme von bilddaten und medizinisches bildgebungssystem
EP3837697B1 (en) * 2018-10-12 2024-05-08 Sony Group Corporation Haptic barriers for avoiding collision with robotic surgery devices
US11497566B2 (en) * 2018-10-26 2022-11-15 Biosense Webster (Israel) Ltd. Loose mode for robot
JP7400494B2 (ja) * 2019-01-23 2023-12-19 ソニーグループ株式会社 医療用アームシステム、制御装置、制御方法、及びプログラム
US11065065B2 (en) * 2019-02-22 2021-07-20 Warsaw Orthopedic, Inc. Spinal implant system and methods of use
US11980432B2 (en) * 2019-03-08 2024-05-14 Moskowitz Family Llc Systems and methods for autonomous robotic surgery
US11278361B2 (en) 2019-05-21 2022-03-22 Verb Surgical Inc. Sensors for touch-free control of surgical robotic systems
US11504193B2 (en) * 2019-05-21 2022-11-22 Verb Surgical Inc. Proximity sensors for surgical robotic arm manipulation
JP7331462B2 (ja) * 2019-05-24 2023-08-23 京セラドキュメントソリューションズ株式会社 ロボットシステム、ロボット制御方法及び電子装置
EP3976322A1 (en) * 2019-05-29 2022-04-06 Universal Robots A/S Detection of change in contact between robot arm and an object
WO2021058087A1 (en) * 2019-09-24 2021-04-01 Brainlab Ag Method and system for projecting an incision marker onto a patient
CN114174009B (zh) * 2019-09-30 2023-07-21 西门子(中国)有限公司 控制机器人的方法、装置、系统、存储介质和终端
US20220414934A1 (en) * 2019-11-21 2022-12-29 Banyan Technologies AG Method for Obtaining a Spatial Pattern of an Anatomical Structure of a Subject, Related System and Markers
WO2021146339A1 (en) * 2020-01-14 2021-07-22 Activ Surgical, Inc. Systems and methods for autonomous suturing
EP4093314A1 (en) * 2020-01-23 2022-11-30 Promaxo, Inc. Mri-guided robotic systems and methods for biopsy
US12114935B2 (en) * 2020-02-12 2024-10-15 Medtech S.A. Robotic guided 3D structured light-based camera
DE102020205091A1 (de) * 2020-04-22 2021-10-28 Siemens Healthcare Gmbh Verfahren zum Erzeugen eines Steuersignals
EP4171890A1 (en) * 2020-06-30 2023-05-03 Mazor Robotics Ltd. Time-spaced robotic reference frames
US11529738B2 (en) * 2020-07-02 2022-12-20 NDR Medical Technology Pte. Ltd. Control system and a method for operating a robot
CN111870348B (zh) * 2020-07-23 2022-01-28 武汉联影智融医疗科技有限公司 手术机器人辅助定位方法、手术机器人及存储介质
US11308644B2 (en) * 2020-08-28 2022-04-19 Weta Digital Limited Multi-presence detection for performance capture
CN116075276A (zh) * 2020-09-02 2023-05-05 奥瑞斯健康公司 机器人碰撞边界确定
CN112237478B (zh) * 2020-09-04 2022-01-14 北京工业大学 医疗微机器人的实时导航控制方法和装置
WO2022066710A1 (en) 2020-09-22 2022-03-31 Mobius Imaging, Llc Mount assemblies for use with navigated surgical systems
JP2023542706A (ja) * 2020-09-25 2023-10-11 オーリス ヘルス インコーポレイテッド ロボットアームを位置合わせするための触覚フィードバック
CN112353461B (zh) * 2020-10-08 2024-11-01 王洪奎 Ct实时定位精准穿刺机器人
TW202214403A (zh) * 2020-10-14 2022-04-16 達明機器人股份有限公司 具有手拉功能的機器人系統
CN112263332B (zh) * 2020-10-23 2022-08-05 上海微创医疗机器人(集团)股份有限公司 手术机器人的调整系统、方法、介质及终端
US12035979B2 (en) * 2020-11-30 2024-07-16 Mazor Robotics Ltd. Autonomous robot tracking
CN112515695B (zh) * 2020-12-02 2024-05-10 上海西门子医疗器械有限公司 Ct机系统及其状态监测方法
US11980415B2 (en) 2020-12-11 2024-05-14 Nuvasive, Inc. Robotic surgery
CN112884829A (zh) * 2020-12-17 2021-06-01 深圳市高创自动化技术有限公司 一种世界坐标映射到实时图像中的图形化辅助方式
CN112617986A (zh) * 2020-12-31 2021-04-09 青岛大学附属医院 一种穿刺锥设备
US20240225747A9 (en) 2021-02-26 2024-07-11 Mobius Imaging, Llc Rotational Tracker Adapter With Biasing Mechanism
WO2022180610A2 (en) 2021-02-26 2022-09-01 Stryker European Operations Limited Tracker and related accessories for a surgical navigation system
CN113040915B (zh) * 2021-03-12 2024-06-04 杭州柳叶刀机器人有限公司 机器人安全边界控制装置及方法、电子设备和存储介质
CN112998863B (zh) * 2021-03-12 2022-05-06 杭州柳叶刀机器人有限公司 机器人安全边界交互装置、电子设备和存储介质
WO2022234566A1 (en) * 2021-05-03 2022-11-10 Mazor Robotics Ltd. Devices, methods, and systems for robot-assisted surgery
US20220346882A1 (en) * 2021-05-03 2022-11-03 Mazor Robotics Ltd. Devices, methods, and systems for robot-assisted surgery
US11779423B2 (en) 2021-08-20 2023-10-10 Ix Innovation Llc Real-time adjustment of haptic feedback in surgical robots
EP4162893A1 (en) * 2021-10-06 2023-04-12 Ecential Robotics Method for defining a prohibited volume for a surgical robotic system
US12133690B2 (en) 2021-10-08 2024-11-05 Medtronic Navigation, Inc. Systems and methods for matching images of the spine in a variety of postures
CN113977602B (zh) * 2021-10-27 2023-03-21 华南理工大学 一种力反馈末端夹持器导纳控制方法
EP4440477A1 (en) * 2021-11-30 2024-10-09 Endoquest Robotics, Inc. Patient console 5-degree of freedom positioning systems
WO2023154301A2 (en) 2022-02-08 2023-08-17 Mobius Imaging, Llc Resilient drape assemblies with guides for use with surgical robots
CN118695928A (zh) * 2022-02-22 2024-09-24 发那科株式会社 线条体固定部件、线条体增设用固定部件以及线条体安装方法
CN118804822A (zh) * 2022-03-01 2024-10-18 爱尔康公司 具有基于速度的碰撞规避模式的机器人成像系统
AU2023256596A1 (en) 2022-04-22 2024-10-24 Mako Surgical Corp. Sterilizable surgical device with battery switch.
CN116965937A (zh) * 2022-04-23 2023-10-31 深圳市精锋医疗科技股份有限公司 手术机器人系统及其控制装置
WO2024006413A1 (en) 2022-06-29 2024-01-04 Mobius Imaging, Llc Mount assemblies with anchors for use with navigated surgical systems
WO2024086763A2 (en) * 2022-10-21 2024-04-25 Giddu Phutana, Inc. System and method of using surgical navigation and planning tools
WO2024112791A1 (en) * 2022-11-21 2024-05-30 Virtual Incision Corporation Surgical robot positioning system and related devices and methods
GB2625151A (en) * 2022-12-09 2024-06-12 Cambridge Entpr Ltd System and method for control of robot manipulators
WO2024129671A1 (en) 2022-12-12 2024-06-20 Mobius Imaging, Llc Stabilization assembly for a mobile medical system
GB2627451A (en) * 2023-02-21 2024-08-28 Cmr Surgical Ltd Control system for a surgical robotic system
WO2024182799A1 (en) * 2023-03-02 2024-09-06 Neuro42 Inc. A system and method of merging a co-operative mr-compatible robot and a low-field portable mri system

Family Cites Families (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
DE29521895U1 (de) 1994-10-07 1998-09-10 St. Louis University, St. Louis, Mo. Chirurgisches Navigationssystem umfassend Referenz- und Lokalisationsrahmen
US5799055A (en) 1996-05-15 1998-08-25 Northwestern University Apparatus and method for planning a stereotactic surgical procedure using coordinated fluoroscopy
US5921992A (en) 1997-04-11 1999-07-13 Radionics, Inc. Method and system for frameless tool calibration
US6149592A (en) 1997-11-26 2000-11-21 Picker International, Inc. Integrated fluoroscopic projection image data, volumetric image data, and surgical device position data
US7799036B2 (en) 1998-08-20 2010-09-21 Zimmer Spine, Inc. Method and apparatus for securing vertebrae
US20010025183A1 (en) * 2000-02-25 2001-09-27 Ramin Shahidi Methods and apparatuses for maintaining a trajectory in sterotaxi for tracking a target inside a body
US7056321B2 (en) 2000-08-01 2006-06-06 Endius, Incorporated Method of securing vertebrae
US6533455B2 (en) 2000-08-31 2003-03-18 Siemens Aktiengesellschaft Method for determining a coordinate transformation for use in navigating an object
EP1208808B1 (de) 2000-11-24 2003-06-18 BrainLAB AG Vorrichtung und Verfahren zur Navigation
US6785572B2 (en) 2001-11-21 2004-08-31 Koninklijke Philips Electronics, N.V. Tactile feedback and display in a CT image guided robotic system for interventional procedures
ATE261274T1 (de) 2002-01-18 2004-03-15 Brainlab Ag Verfahren und einrichtung zur zuordnung einer digitalen bildinformation zu den navigationsdaten eines medizinischen navigationssystems
US7251522B2 (en) 2002-09-12 2007-07-31 Brainlab Ag X-ray image-assisted navigation using original, two-dimensional x-ray images
US7194120B2 (en) 2003-05-29 2007-03-20 Board Of Regents, The University Of Texas System Methods and systems for image-guided placement of implants
FR2871363B1 (fr) 2004-06-15 2006-09-01 Medtech Sa Dispositif robotise de guidage pour outil chirurgical
US8016835B2 (en) 2004-08-06 2011-09-13 Depuy Spine, Inc. Rigidly guided implant placement with control assist
KR100731052B1 (ko) 2006-01-23 2007-06-22 한양대학교 산학협력단 미세침습 수술을 위한 컴퓨터통합 수술 보조시스템
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
EP1857070A1 (de) 2006-05-18 2007-11-21 BrainLAB AG Kontaktfreie medizintechnische Registrierung mit Distanzmessung
CN101448467B (zh) * 2006-05-19 2014-07-09 马科外科公司 用于控制触觉设备的方法和装置
WO2008038282A2 (en) 2006-09-25 2008-04-03 Mazor Surgical Technologies Ltd. System for positioning of surgical inserts and tools
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
FR2917598B1 (fr) 2007-06-19 2010-04-02 Medtech Plateforme robotisee multi-applicative pour la neurochirurgie et procede de recalage
US8457790B2 (en) 2007-09-14 2013-06-04 Zimmer, Inc. Robotic calibration method
DE102008022924A1 (de) 2008-05-09 2009-11-12 Siemens Aktiengesellschaft Vorrichtung und Verfahren für einen medizinischen Eingriff
US8126114B2 (en) 2008-09-12 2012-02-28 Accuray Incorporated Seven or more degrees of freedom robotic manipulator having at least one redundant joint
DE102008052680A1 (de) 2008-10-22 2010-04-29 Surgitaix Ag Vorrichtung zur kontrollierten Einstellung einer chirurgischen Positioniereinheit
US8118488B2 (en) 2009-01-05 2012-02-21 Mobius Imaging, Llc Mobile medical imaging system and methods
CN101579269B (zh) 2009-06-12 2011-04-27 北京天智航技术有限公司 一种新型骨科复位装置
CN201422918Y (zh) 2009-06-12 2010-03-17 北京天智航技术有限公司 一种新型骨科复位装置
WO2011060315A2 (en) 2009-11-13 2011-05-19 Intuitive Surgical Operations, Inc. Surgical tool with a compact wrist
CN201542641U (zh) 2009-11-26 2010-08-11 北京天智航技术有限公司 骨科机器人导航装置及定位系统
CN101700184B (zh) 2009-11-26 2011-01-12 北京天智航技术有限公司 骨科机器人导航装置及定位系统
US8454583B2 (en) 2010-01-30 2013-06-04 Mi4Spine, Llc Robotic surgical device implant system
CN101853333B (zh) 2010-05-26 2012-11-07 中国科学院遥感应用研究所 医疗机器人导航定位图像中的标记拾取方法
FR2963693B1 (fr) 2010-08-04 2013-05-03 Medtech Procede d'acquisition automatise et assiste de surfaces anatomiques
US8974372B2 (en) * 2010-08-25 2015-03-10 Barry M. Fell Path-following robot
US20120071794A1 (en) * 2010-09-20 2012-03-22 Alma Lasers Ltd. Robotic System for Delivering Energy for Treatment of Skin of a Subject
WO2012131660A1 (en) 2011-04-01 2012-10-04 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system for spinal and other surgeries
KR101322030B1 (ko) 2011-09-05 2013-10-28 주식회사 모바수 구형 부품을 포함하는 관절부를 갖는 최소 침습 수술 기구
US9550299B2 (en) 2011-11-29 2017-01-24 Technion Research & Development Foundation Ltd. Robotic mechanism with two degrees of freedom
FR2983059B1 (fr) 2011-11-30 2014-11-28 Medtech Procede assiste par robotique de positionnement d'instrument chirurgical par rapport au corps d'un patient et dispositif de mise en oeuvre.
EP2785267B1 (en) 2011-11-30 2022-01-12 Titan Medical Inc. Apparatus and method for supporting a robotic arm
EP3488894B1 (en) * 2012-02-15 2023-04-05 Intuitive Surgical Operations, Inc. Low friction cannula seals for minimally invasive robotic surgery
US10383765B2 (en) * 2012-04-24 2019-08-20 Auris Health, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
US9545233B2 (en) 2012-05-22 2017-01-17 Mazor Robotics Ltd. On-site verification of implant positioning
WO2013188617A1 (en) 2012-06-14 2013-12-19 Gregerson Eugene A Vertical scan imaging system
US20170172669A1 (en) 2012-06-21 2017-06-22 Globus Medical, Inc. System and method for a surveillance marker in robotic-assisted surgery
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US20170258535A1 (en) 2012-06-21 2017-09-14 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US10646280B2 (en) 2012-06-21 2020-05-12 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
WO2013192598A1 (en) 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform
US20190000569A1 (en) 2012-06-21 2019-01-03 Globus Medical, Inc. Controlling a surgical robot to avoid robotic arm collision
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US20190029765A1 (en) 2012-06-21 2019-01-31 Globus Medical, Inc. Surgical robotic systems providing transfer of registration and related methods and computer program products
US10874466B2 (en) 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
WO2014005049A1 (en) 2012-06-28 2014-01-03 Gregerson Eugene A Method and system for x-ray ct imaging
JP6293777B2 (ja) 2012-12-10 2018-03-14 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 画像キャプチャ装置及び操作可能な装置可動アームの制御された動作の間の衝突回避
CA2897873A1 (en) 2013-03-13 2014-10-09 Stryker Corporation Systems and methods for establishing virtual constraint boundaries
EP2967476B1 (en) 2013-03-15 2020-05-20 Mobius Imaging, Llc Mobile x-ray imaging system
WO2014143890A1 (en) 2013-03-15 2014-09-18 Mobius Imaging, Llc Caster system for mobile apparatus
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
US10076385B2 (en) 2013-12-08 2018-09-18 Mazor Robotics Ltd. Method and apparatus for alerting a user to sensed lateral forces upon a guide-sleeve in a robot surgical system
EP3096704B1 (en) 2014-01-22 2021-03-10 KB Medical SA Sterile drape and adapter for covering a robotic surgical arm and preventing contamination of a sterile field
KR101506486B1 (ko) 2014-01-28 2015-03-27 주식회사 고영테크놀러지 척추용 수술로봇 시스템
US20150279084A1 (en) * 2014-04-01 2015-10-01 Yu Deuerling-Zheng Guided Noise Reduction with Streak Removal for High Speed C-Arm CT
CN106659537B (zh) 2014-04-24 2019-06-11 Kb医疗公司 结合机器人手术系统使用的手术器械固持器
EP3157446B1 (en) 2014-06-19 2018-08-15 KB Medical SA Systems for performing minimally invasive surgery
DE102014214935A1 (de) 2014-07-30 2016-02-04 Siemens Aktiengesellschaft Verfahren zum Betreiben eines medizinisch-robotischen Geräts
CN104398272B (zh) 2014-10-21 2017-09-19 无锡海斯凯尔医学技术有限公司 选择检测区域的方法及装置及弹性检测系统
CN107072725B (zh) 2014-10-27 2019-10-01 直观外科手术操作公司 用于集成手术台的系统和方法
DE102014226467B4 (de) 2014-12-18 2023-06-15 Siemens Healthcare Gmbh Medizinische Bildgebungsvorrichtung mit einem Rahmenelement zur Anordnung einer Komponente
WO2016131903A1 (en) 2015-02-18 2016-08-25 KB Medical SA Systems and methods for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
US10959783B2 (en) 2015-04-15 2021-03-30 Mobius Imaging, Llc Integrated medical imaging and surgical robotic system
CN109938839B (zh) 2015-08-31 2024-03-26 北京天智航医疗科技股份有限公司 一种用于导航手术的光学跟踪工具
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
FR3043970B1 (fr) 2015-11-25 2019-06-21 Medtech Sa Systeme mecanique de stabilisation au sol pour vehicules a roulettes
WO2017117369A1 (en) * 2015-12-31 2017-07-06 Stryker Corporation System and methods for performing surgery on a patient at a target site defined by a virtual object
KR102650270B1 (ko) 2016-01-11 2024-03-21 메이저 로보틱스 엘티디. 수술용 로봇 시스템
FR3048872B1 (fr) 2016-03-21 2018-04-13 Medtech Sa Procede et dispositif de recalage automatise pour un robot chirurgical
CA3027964C (en) 2016-06-16 2021-05-25 Medtech S.A. Robotized system for femoroacetabular impingement resurfacing
US10136952B2 (en) 2016-06-16 2018-11-27 Zimmer, Inc. Soft tissue balancing in articular surgery
CN109862845B (zh) 2016-09-16 2022-12-30 莫比乌斯成像公司 用于在手术机器人系统中安装机器人臂的系统和方法
US11039893B2 (en) 2016-10-21 2021-06-22 Globus Medical, Inc. Robotic surgical systems
CA3042097A1 (en) 2016-10-28 2018-05-03 Orthosoft Inc. Robotic cutting workflow
US20180125597A1 (en) 2016-11-04 2018-05-10 Emily Gogarty Sterile boundary between a robot and a surgical field
WO2018102926A1 (en) 2016-12-07 2018-06-14 Orthosoft Inc. Torque sensor sawblade anti-skiving system
CA3053633A1 (en) 2017-02-22 2018-08-30 Orthosoft Inc. Bone and tool tracking in robotized computer-assisted surgery
WO2018185729A1 (en) 2017-04-07 2018-10-11 Orthosoft Inc. Non-invasive system and method for tracking bones
US10675094B2 (en) 2017-07-21 2020-06-09 Globus Medical Inc. Robot surgical platform
US10292774B2 (en) 2017-07-28 2019-05-21 Zimmer, Inc. Bone and tool tracking with optical waveguide modeling system in computer-assisted surgery using patient-attached multicore optical fiber
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking

Also Published As

Publication number Publication date
EP3531954A4 (en) 2020-09-16
EP3531954A2 (en) 2019-09-04
US11751948B2 (en) 2023-09-12
US20200078097A1 (en) 2020-03-12
US20230363833A1 (en) 2023-11-16
WO2018081136A3 (en) 2018-07-26
CN111417354A (zh) 2020-07-14
WO2018081136A2 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
CN111417354B (zh) 用于机器人辅助手术的方法及系统
US20230355347A1 (en) Methods And Systems For Display Of Patient Data In Computer-Assisted Surgery
US11877808B2 (en) Methods and systems for setting trajectories and target locations for image guided surgery
US11896318B2 (en) Methods and systems for controlling a surgical robot
US11950858B2 (en) Systems for performing computer assisted surgery
US20230021298A9 (en) Surgical robot platform
US11857269B2 (en) Integrated medical imaging and surgical robotic system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20200629

Address after: Massachusetts, USA

Applicant after: MOBIUS IMAGING, LLC

Address before: Massachusetts, USA

Applicant before: Gys Technology Co.,Ltd. (Business Name Cartan robot)

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant