CN110584783B - 外科手术导航系统 - Google Patents
外科手术导航系统 Download PDFInfo
- Publication number
- CN110584783B CN110584783B CN201910972990.8A CN201910972990A CN110584783B CN 110584783 B CN110584783 B CN 110584783B CN 201910972990 A CN201910972990 A CN 201910972990A CN 110584783 B CN110584783 B CN 110584783B
- Authority
- CN
- China
- Prior art keywords
- image
- navigation system
- projection
- focus
- projector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 32
- 230000003902 lesion Effects 0.000 claims abstract description 17
- 238000013519 translation Methods 0.000 claims description 8
- 238000005481 NMR spectroscopy Methods 0.000 claims description 5
- 239000003026 cod liver oil Substances 0.000 claims description 5
- 235000012716 cod liver oil Nutrition 0.000 claims description 5
- 239000002245 particle Substances 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 claims description 4
- 206010028980 Neoplasm Diseases 0.000 description 42
- 238000000034 method Methods 0.000 description 18
- 210000003128 head Anatomy 0.000 description 14
- 238000002271 resection Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000001356 surgical procedure Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 210000005013 brain tissue Anatomy 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000011065 in-situ storage Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 210000004761 scalp Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 201000007983 brain glioma Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000002073 fluorescence micrograph Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 208000003174 Brain Neoplasms Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000007428 craniotomy Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001991 pathophysiological effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000004080 punching Methods 0.000 description 2
- 208000002847 Surgical Wound Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 231100000225 lethality Toxicity 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种外科手术导航系统,本发明技术方案将相机组件和投影仪组件一体集成为同轴光路系统的信息采集与投影设备,可以用于采集位置标定组件的图像信息以及在患者待手术部位投影病灶图像,可以通过上位机对所述图像信息进行数据处理,以确定所述患者体内病灶位置,确定投影位置,基于所述投影位置,控制所述投影仪组件在所述待手术部位的设定位置投影所述病灶图像。这样,在手术过程中通过所述外科手术导航系统,可以直接在患者待手术部位投影病灶图像,无需医生术中比对显示器中的图像,使用更为方便,可以更为准确的定位病灶位置。
Description
技术领域
本发明涉及医疗影像和医疗器械技术领域,更具体的说,涉及一种外科手术导航系统。
背景技术
颅脑恶性肿瘤,如脑胶质瘤等,是致死率很高的一种原发肿瘤,外科手术切除是最有效的治疗手段之一。过去由于电脑硬件、显像设备以及图像处理技术等因素的限制,手术中外科医生只能通过计算机断层扫描技术(CT、MRI等)获得的断层切片判断患者脑内肿瘤的具体大小和位置,然后再进行手术切除。这种通过观察断层扫描切片定位并切除颅脑肿瘤的方式有很多缺点:首先由于肿瘤部位和正常脑组织的颜色、触感差别不大,故肿瘤的定位很大程度上取决于外科医生对神经解剖和临床手术的经验,其次肿瘤与正常脑组织的边界难以确定,不能完全切除肿瘤会显著增大复发率,若切除过多则会损伤正常脑组织,故手术成功率和预后状况并不理想。
随着计算机硬件、医学图像处理、断层扫描三维重建等技术的发展,上世纪九十年代脑外科手术的方式发生了巨大变化,一些基于现代计算机和显示器的神经外科导航系统逐渐出现。这些系统可以将重建的三维肿瘤模型以二维图像的方式显示在显示器上,术中医生助手可以通过键鼠操作改变三维模型的观察视角,极大提升了导航定位的直观性。医生不需要仅凭借断层切片和临床经验判断肿瘤的大小和位置,而是可以借助三维重建的肿瘤模型判断切除范围。
但是,现有外科手术导航系统只能由显示器上的图像单向传递给外科医生,仍然需要医生术中调整视角参考显示器显示图像,显示器显示的图像无法直观在患者当前待手术部位形成直观的比对,不便于使用。
发明内容
有鉴于此,本申请提供了一种外科手术导航系统,可以直接在患者待手术部位投影病灶图像,无需医生术中调整视角比对显示器中的图像,使用更为方便,可以更为准确的定位病灶位置。
一种外科手术导航系统,所述外科手术导航系统包括:
位置标定组件;
信息采集与投影设备,所述信息采集与投影设备包括一体集成的相机组件以及投影仪组件,所述相机组件用于通过镜头组件采集所述位置标定组件的图像信息,所述投影仪组件用于通过所述镜头组件在患者待手术部位投影病灶图像;
上位机,所述上位机用于获取所述图像信息,基于所述图像信息确定所述患者在当前姿态下体内病灶的位置,确定投影位置,基于所述投影位置,控制所述投影仪组件在所述待手术部位的设定位置投影所述病灶图像。
优选的,在上述外科手术导航系统中,所述相机组件至少包括相机CMOS芯片;
所述投影仪组件至少包括投影仪DMD芯片;
所述镜头组件包括多个共光轴的光学透镜;
所述相机CMOS芯片的光路与所述投影仪DMD芯片的光路通过一分光片耦合到同一所述镜头组件的光轴。
优选的,在上述外科手术导航系统中,所述分光片与所述镜头组件的光轴具有预设夹角;
所述镜头组件采集的表征所述图像信息的光线透过所述分光片后,沿着相同传播方向入射至所述相机CMOS芯片;
所述投影仪DMD芯片出射的表征所述病灶图像的光线通过所述分光片的反射,改变传播方向后,沿着所述镜头组件的光轴照射到所述待手术部位的设定位置。
优选的,在上述外科手术导航系统中,所述分光片与所述镜头组件的光轴具有预设夹角;
所述镜头组件采集的表征所述图像信息的光线通过所述分光片的反射,改变传播方向后,入射至所述相机CMOS芯片;
所述投影仪DMD芯片出射的表征所述病灶图像的光线透过所述分光片后,以相同传播方向,沿着所述镜头组件的光轴照射到所述待手术部位的设定位置。
优选的,在上述外科手术导航系统中,所述位置标定组件包括:
用于贴合在所述待手术部位上的多个反光贴;多个所述反光贴设置在所述病灶的四周;
用于设置在手术台上的多个反光球,所述反光球通过支架放置在手术台上;
其中,所述上位机用于基于所述图像信息中所述反光贴的图像以及所述反光球的图像之间的空间位置关系,确定投影位置,绘制术前采集的所述病灶三维图像在当前投影位置视角下的二维图像,将所述二维图像作为所述病灶图像投影到所述待手术部位的设定位置。
优选的,在上述外科手术导航系统中,述反光贴用于通过反光贴底座贴合在所述待手术部位上,所述反光贴底座表面贴有鱼肝油颗粒,用于核磁共振显影;
基于核磁共振扫描设备,术前获取所述病灶三维图像。
优选的,在上述外科手术导航系统中,所述外科手术导航系统还包括:
可调节的安装平台,所述信息采集与投影设备安装在所述安装平台上;
其中,所述上位机还用于基于所述投影位置计算平移向量以及旋转向量,根据所述平移向量以及所述旋转向量调节所述安装平台进行平移以及转动,以使得所述镜头组件正对所述投影位置进行投影。
优选的,在上述外科手术导航系统中,所述上位机包括存储器,所述存储器存储有所述患者的病灶三维图像;所述上位机用于基于所述三维图像确定所述病灶图像。
优选的,在上述外科手术导航系统中,所述上位机还用于控制所述投影仪以明暗交替光线投影所述病灶图像,以展示所述病灶与所述患者机体的边缘。
通过上述描述可知,本发明技术方案提供的外科手术导航系统中,将相机组件和投影仪组件一体集成为同轴光路系统的信息采集与投影设备,可以用于采集位置标定组件的图像信息以及在患者待手术部位投影病灶图像,可以通过上位机对所述图像信息进行数据处理,以确定所述患者体内病灶位置,确定投影位置,基于所述投影位置,控制所述投影仪组件在所述待手术部位的设定位置投影所述病灶图像。这样,在手术过程中通过所述外科手术导航系统,可以直接在患者待手术部位投影病灶图像,无需医生术中比对显示器中的图像,使用更为方便,可以更为准确的定位病灶位置。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种外科手术导航系统;
图2为本发明实施例提供的一种信息采集与投影设备的结构示意图;
图3为本发明实施例提供的另一种信息采集与投影设备的结构示意图;
图4为本发明实施例提供的又一种信息采集与投影设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
现有技术中虽然有不依赖于物理框架的颅脑肿瘤立体定位技术,但是基于该技术的手术导航系统不能使用导航棒(一种外科医生手持的定位工具),图像信息仍然是只能由显示器上的图像单向传递给外科医生,医生没有工具可以定位颅脑部的某一点(如切缘)和肿瘤的位置关系,缺少互动。
而随着计算机视觉的不断发展,人们对上述手术导航系统进行了改进,加入了导航棒,改进后的手术前导航系统通过扫描患者面部信息或头部一组标志点,注册患者模型和导航反光球的位置关系,术中相机通过捕捉导航棒与反光球的位置,就能间接计算出导航棒与患者的位置关系并实时地显示在显示器上。这一方法提升了外科医生与导航系统的互动性,外科医生可以主动获取任意点和肿瘤的位置关系,提升了神经外科导航系统的精确度与实用性。基于上述原理的神经外科导航系统目前已经商业化,研发了成熟的基于双目相机-反光球-导航棒-显示器的导航系统。
近年来,随着相机-投影系统技术的发展,以及一些开源计算机图形库(如VisualTool Kit)、计算机视觉库(如Open CV)的不断完善,出现了一种新的外科导航方式,即,用投影仪将重要的病理、生理信息投射在患者体表,指导外科医生进行手术。基于投影技术的导航方式比基于导航棒-显示器的导航方式更加直观、方便,术中不需要医生反复在手术部位和显示器之间切换视角,且投射在体表的信息沿投影仪光轴与体表深部的病灶或生理结构重合,可以不间断地为外科医生导航,不需要医生中断手术过程抬头看显示器。投影式手术导航系统主要有如下三种。
第一种是相机与投影仪分离的导航系统,该分离式系统工作时,相机同时捕捉患者和投影设备的空间位置,电脑主机计算出投影仪相对于患者的相对位置关系和空间姿态,并绘制该姿态下三维模型(术前建立的包含重要病理生理信息的模型)的二维图像。投影仪将该图像投到患者体表,辅助外科医生进行手术。该系统的创新点在于改变了先前用显示器与医生交互的方式,使用更为直观明了的投影方式,但是在系统设计上仍存在不足。首先相机与投影设备分离,且相机必须和投影设备、患者保持一定距离才能同时定位二者,增大了该系统的占地面积。其次电脑主机、相机、投影设备之间的通讯均通过有线电缆,使手术室的环境更加拥挤复杂。并且通过三个反光球进行空间定位存在一定误差,该系统分别定位患者和投影设备,二者的空间定位误差会叠加,极大影响了该分离式投影导航系统的导航精度。
第二种是非同轴投影系统,该系统的相机和投影仪封装在一起,但二者的光路不同轴,所以只能在某个工作距离下导航。若距离过远或过近,由于光路的非同轴设计,投影的病理生理信息就会产生偏差。
第三种投影式导航系统是共光轴式导航系统,该系统通过光学设计使得相机和投影仪的光轴重合,弥补了分离式投影系统和非同轴投影系统的缺陷。该系统的相机、投影设备、电脑主机和显示器被设计封装为一个整体,且设备底部装有滚轮,方便移动,占手术室空间小,系统可维护性高。但该系统目前的功能仅限于基于荧光影像的原位投影导航,不能计算患者和相机的三维相对位置信息,所以不能用于三维导航。
为了解决上述问题,本发明实施例提供了一种实时三维同轴投影外科手术导航系统,所述导航系统不仅可以用于神经外科肿瘤切除手术导航,也可用于其他刚性生理结构区域的手术,如骨科手术、上颌面部手术、口腔手术等。
本发明实施例提供的外科手术导航系统中,将相机组件和投影仪组件一体集成为同轴光路系统的信息采集与投影设备,可以用于采集位置标定组件的图像信息以及在患者待手术部位投影病灶图像,可以通过上位机对所述图像信息进行数据处理,以确定所述患者体内病灶位置,确定投影位置,基于所述投影位置,控制所述投影仪组件在所述待手术部位的设定位置投影所述病灶图像。这样,在手术过程中通过所述外科手术导航系统,可以直接在患者待手术部位投影病灶图像,无需医生术中比对显示器中的图像,使用更为方便,可以更为准确的定位病灶位置。
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
参考图1和图2,图1为本发明实施例提供的一种外科手术导航系统,图2为本发明实施例提供的一种信息采集与投影设备的结构示意图,所述外科手术导航系统包括:位置标定组件11;信息采集与投影设备12,所述信息采集与投影设备12包括一体集成的相机组件以及投影仪组件,所述相机组件用于通过镜头组件采集所述位置标定组件11的图像信息,所述投影仪组件用于通过所述镜头组件在患者待手术部位投影病灶图像15;上位机13,所述上位机13用于获取所述图像信息,基于所述图像信息确定所述患者在当前姿态下病灶14的位置,确定投影位置,基于所述投影位置,控制所述投影仪组件在所述待手术部位的设定位置投影所述病灶图像15。
其中,所述信息采集与投影设备12与所述上位机13可以无线通信连接或是有线通信连接,以便于所述相机组件以及所述投影仪组件与所述上位机13进行数据交互。
所述信息采集与投影设备12如图2所示,所述相机组件至少包括相机CMOS芯片21;所述投影仪组件至少包括投影仪DMD芯片22;所述镜头组件包括多个共光轴的光学透镜24;所述相机CMOS芯片21的光路与所述投影仪DMD芯片22的光路通过一分光片23耦合到同一所述镜头组件的光轴L。实现所述相机组件采集光线与所述投影仪组件投影光线共用同一镜头组件设计,使得所述相机组件采集光线与所述投影仪组件投影光线在患者、镜头组件以及分光片23的光路实现同光轴设计。
所述分光片与所述镜头组件的光轴具有预设夹角β,优选的,设计该预设夹角β为45°。在图2所示方式中,所述镜头组件采集的表征所述图像信息的光线透过所述分光片23后,沿着相同传播方向入射至所述相机CMOS芯片21;所述投影仪DMD芯片22出射的表征所述病灶图像15的光线通过所述分光片23的反射,改变传播方向后,沿着所述镜头组件的光轴L照射到所述待手术部位的设定位置。
所述信息采集与投影设备12还可以如图3所示,图3为本发明实施例提供的另一种信息采集与投影设备的结构示意图,图3所示方式中,同样,所述分光片与所述镜头组件的光轴具有预设夹角β,优选的设计该预设夹角β为45°。在图3所示方式与图2所示方式不同在于,所述镜头组件采集的表征所述图像信息的光线通过所述分光片23的反射,改变传播方向后,入射至所述相机CMOS芯片21;所述投影仪DMD芯片22出射的表征所述病灶图像15的光线透过所述分光片23后,以相同传播方向,沿着所述镜头组件的光轴L照射到所述待手术部位的设定位置。
如图1所示,所述位置标定组件11包括:用于贴合在所述待手术部位上的多个反光贴113,多个所述反光113设置在所述病灶14的四周;用于设置在手术台上的多个反光球111,所述反光球通过支架放置在手术台上。
其中,所述上位机13用于基于所述图像信息中所述反光贴113的图像以及所述反光球111的图像之间的空间位置关系,确定投影位置,绘制术前采集的所述病灶三维图像在当前投影位置视角a下的二维图像,将所述二维图像作为所述病灶图像15投影到所述待手术部位的设定位置。
所述反光贴113用于通过反光贴底座112贴合在所述待手术部位上,所述反光贴底座112表面贴有鱼肝油颗粒,用于核磁共振显影;基于核磁共振扫描设备,术前获取所述病灶三维图像。
所述信息采集与投影设备12还可以如图4所示,图4为本发明实施例提供的又一种信息采集与投影设备的结构示意图,图4所示方式在图3所示方式基础上进一步包括一个红外激光模块25,用于出射红外光,以辅助定位反光球111。所述红外激光模块25置于所述信息采集与投影设备12的同轴光路旁,其出射的红外光照射所述反光球111,被反光球111反射的红外光被所述信息采集与投影设备12采集,大大提升反光球111的亮度,易于与背景区分,从而增强反光球的实时追踪效果。图4仅是以图3所示方式为基础设置红外激光模块25,也可以基于图2所示方式增加红外激光模块25,原理与图4相同,在此不再赘述。
在术前,通过核磁共振扫描设备形成的所述患者的所述病灶三维图像,基于所述病灶三维图像可以确定所述病灶与所述待手术部位的相对位置关系。贴合在患者待手术部位的所述反光贴113的图像位置可以表征所述患者在当前姿态下的图像位置。基于所述外科手术导航系统,可以获取所述患者在当前姿态下,所述反光贴113的图像以及所述反光球111的图像的相对位置,基于已知的所述病灶与所述待手术部位的相对位置关系,可以确定所述患者在当前姿态下的投影位置。且可以基于投影位置以及所述病灶三维图像,可以将所述病灶三维图像在当前视角下进行二维平面化处理,获取需要的二维图像。
用于头部肿瘤切除手术时,本发明实施例所述外科手术导航系统通过相机组件观察患者头部反光贴113和反光球111的相对位置,计算患者和反光球111的空间位置关系,完成术前位置注册。术中导航时,相机组件实时观察反光球111并计算所述信息采集与投影设备12相对于反光球111的空间位置关系,然后绘制当前位置视角a下术前核磁扫描并重建的三维肿瘤模型的二维图像,并用同轴投影仪组件进行原位投影,从各个角度辅助医生定位肿瘤位置、大小和边缘。
所述外科手术导航系统还包括:可调节的安装平台,图1中未示出所述安装平台。所述信息采集与投影设备安装在所述安装平台上。其中,所述上位机13还用于基于所述投影位置计算平移向量以及旋转向量,根据所述平移向量以及所述旋转向量调节所述安装平台进行平移以及转动,以使得所述镜头组件正对所述投影位置进行投影。
所述上位机13包括存储器,所述存储器存储有所述患者的病灶三维图像;所述上位机13用于基于所述三维图像确定所述病灶图像。
所述上位机13还用于控制所述投影仪以明暗交替光线投影所述病灶图像15,以展示所述病灶与所述患者机体的边缘。
本发明实施例所述外科手术导航系统具有图像识别系统以及空间定位系统用于图像识别以及空间位置定位。可以基于设定的反光贴113与反光球111识别定位方法、基于多点识别匹配的患者-反光球111注册方法、基于原位投影技术的三维结构信息绘制与投影方法执行手术导航。
信息采集与投影设备可以采集视场内图像信息,并且通过投影仪组件投影所需信息(如术前重建的肿瘤形貌或重要生理结构等)。位置标定组件的识别定位方法可以在一张二维图像中提取一个或多个强对比度的圆形图案,给出该图案中心点的像素坐标。基于多点识别匹配的患者-反光球注册方法可以根据已识别的多个反光点(包括患者头部的四个反光贴113和四个反光球111)的像素坐标和三维空间坐标,计算出病灶和反光球的相对位置关系,包括一个平移向量和一个旋转向量。基于多点识别匹配的信息采集与投影设备空间定位技术、四个反光球的像素坐标和三维空间坐标实时计算出相机组件相对于反光球的空间位置关系,包括一个平移向量和一个旋转向量。基于原位投影技术的三维结构信息绘制与投影方法可以根据当前信息采集与投影设备的位置与姿态绘制任意空间位置三维模型的二维图像,并将该二维图像原位投影至该三维模型所在的空间位置。
本发明实施例所述外科手术导航系统相比于传统的基于显示器的神经外科手术导航系统,投影的方式与医生交互更加直观、方便,不需要医生反复在显示器和患者手术部位切换视角。同时,所述外科手术导航系统突破了传统外科手术的限制,增加了术中医生获取的信息,发展了外科手术与外科手术器械的概念,对于增加手术精度减少手术创伤有重大意义。
所述外科手术导航系统可以从任意位置投影当前视角下病灶(如头部肿瘤)位置与轮廓的二维图像信息,允许医生从多视角观察肿瘤在待手术部位(如头皮)的投影信息,有助于术前规划手术路径,也可用于手术教学。所述外科手术导航系统可用于确定手术切口的位置。无论信息采集与投影设备12在任何位置,都能将术前规划的切口的位置信息和形状信息准确投影到患者待手术部位(如头皮)表面,辅助医生确定切口的位置、大小与形状。
用于头部肿瘤切除手术时,所述外科手术导航系统可用于确定开颅打孔的方向。术中切口时,可以通过移动该装置,使得投影的肿瘤图像与切口图像重合,当前系统光轴所指的方向即为医生开颅打孔的方向。术中导航时,所述外科手术导航系统可以将各个角度的肿瘤二维形貌信息投影到脑组织上,并通过明暗交替投影的方式加强了信息对比度,有利于医生在术中确定肿瘤位置和肿瘤边缘,增加手术速度与肿瘤切除的精度。
如上述,本装置不仅可用于神经外科肿瘤切除手术导航,也可用于其他刚性生理结构区域的手术,如骨科手术、上颌面部手术、口腔手术等。
所述外科手术导航系统,可以通过信息采集与投影设备多次采集患者头部反光贴与反光球在同一张图像中的像素坐标,然后计算患者与反光球的空间位置关系,并输出重投影误差,用于评估反光球-患者注册精度。
导航中,信息采集与投影设备也用于采集反光球的像素坐标,实时计算信息采集与投影设备与反光球的空间位置关系,并输出重投影误差用于评估信息采集与投影设备的定位精度。
所述外科手术导航系统的一个重点应用为神经外科脑胶质瘤或硬脑膜瘤的切除手术。术前利用患者头部的反光贴和反光球完成注册后,相机组件根据反光球实时定位该系统,并根据当前位置和术前建立的肿瘤三维模型绘制出下患者肿瘤的二维图像并投射至患者头皮或颅骨、脑组织等表面,辅助外科医生进行手术。
下面以通过本发明实施例所述外科手术导航系统针对脑胶质瘤或硬脑膜瘤的切除过程进行详细说明:
1. 手术前三个小时在患者头皮上贴四个反光贴底座,大致分布在肿瘤周围;
2. 在反光贴底座表面贴鱼肝油颗粒,用于核磁共振显影;
3. 患者进行核磁共振扫描,医生在扫描的切片上划出肿瘤范围和鱼肝油颗粒位置;
4. 将扫描数据进行三维重建,获得患者肿瘤的三维模型以及该模型与头部四个反光贴的空间位置关系;
5. 医生在三维模型中规划手术路径和切口,将切口信息存储于三维模型中;
6. 手术前五分钟,将四个反光贴贴于底座表面,并将顶部具有反光球的参考架放置于手术床患者头部旁边;
7. 启动系统,该系统自动搜索相机组件视野范围内的反光球和患者头部反光贴;
8. 系统根据反光球和患者头部反光贴的位置自动完成患者位置注册,并显示注册的重投影误差;
9. 系统开始导航,根据当前信息采集与投影设备的位置和术前建立的肿瘤三维模型,绘制肿瘤二维图形与手术切口二维图形,并投影至患者头部表面;
10. 医生开始手术,术中根据投射的肿瘤和切口确定手术路径;
11. 肿瘤切除后,可参考投射的肿瘤图像确认肿瘤残余;
当医生进行手术时,移动信息采集与投影设备,投出的荧光图像会根据该系统的位置和角度同时移动;医生根据所投出的荧光图像,可以判定肿瘤的位置和大小,进行相应的切除或其他操作;当调整信息采集与投影设备与头部的距离时,投影出的肿瘤图像仍能实时地与肿瘤的真实轮廓重合。
在一些实施过程中,如果导航时信息采集与投影设备移动过快,则相机组件因图像模糊而不能识别反光球,系统会自动重新搜索反光球的位置并继续导航。
在一些实施过程中,如果电力中断或电脑死机,则重启软件后,仍能根据上一次注册的患者-反光球位置关系继续导航,不需要重新注册。
本说明书中各个实施例采用递进、或并列、或递进和并列结合的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种外科手术导航系统,其特征在于,所述外科手术导航系统包括:
位置标定组件;
信息采集与投影设备,所述信息采集与投影设备包括一体集成的相机组件以及投影仪组件,所述相机组件用于通过镜头组件采集所述位置标定组件的图像信息,所述投影仪组件用于通过所述镜头组件在患者待手术部位投影病灶图像;
上位机,所述上位机用于获取所述图像信息,基于所述图像信息确定所述患者在当前姿态下体内病灶的位置,确定投影位置,基于所述投影位置,控制所述投影仪组件在所述待手术部位的设定位置投影所述病灶图像;
所述位置标定组件包括:用于贴合在所述待手术部位上的多个反光贴;多个所述反光贴设置在所述病灶的四周;用于设置在手术台上的多个反光球,所述反光球通过支架放置在手术台上;
其中,所述上位机用于基于所述图像信息中所述反光贴的图像以及所述反光球的图像之间的空间位置关系,确定投影位置,绘制术前采集的病灶三维图像在当前投影位置视角下的二维图像,将所述二维图像作为所述病灶图像投影到所述待手术部位的设定位置。
2.根据权利要求1所述的外科手术导航系统,其特征在于,所述相机组件至少包括相机CMOS芯片;
所述投影仪组件至少包括投影仪DMD芯片;
所述镜头组件包括多个共光轴的光学透镜;
所述相机CMOS芯片的光路与所述投影仪DMD芯片的光路通过一分光片耦合到同一所述镜头组件的光轴。
3.根据权利要求2所述的外科手术导航系统,其特征在于,所述分光片与所述镜头组件的光轴具有预设夹角;
所述镜头组件采集的表征所述图像信息的光线透过所述分光片后,沿着相同传播方向入射至所述相机CMOS芯片;
所述投影仪DMD芯片出射的表征所述病灶图像的光线通过所述分光片的反射,改变传播方向后,沿着所述镜头组件的光轴照射到所述待手术部位的设定位置。
4.根据权利要求2所述的外科手术导航系统,其特征在于,所述分光片与所述镜头组件的光轴具有预设夹角;
所述镜头组件采集的表征所述图像信息的光线通过所述分光片的反射,改变传播方向后,入射至所述相机CMOS芯片;
所述投影仪DMD芯片出射的表征所述病灶图像的光线透过所述分光片后,以相同传播方向,沿着所述镜头组件的光轴照射到所述待手术部位的设定位置。
5.根据权利要求1所述的外科手术导航系统,其特征在于,所述反光贴用于通过反光贴底座贴合在所述待手术部位上,所述反光贴底座表面贴有鱼肝油颗粒,用于核磁共振显影;
基于核磁共振扫描设备,术前获取所述病灶三维图像。
6.根据权利要求1所述的外科手术导航系统,其特征在于,所述外科手术导航系统还包括:
可调节的安装平台,所述信息采集与投影设备安装在所述安装平台上;
其中,所述上位机还用于基于所述投影位置计算平移向量以及旋转向量,根据所述平移向量以及所述旋转向量调节所述安装平台进行平移以及转动,以使得所述镜头组件正对所述投影位置进行投影。
7.根据权利要求1所述的外科手术导航系统,其特征在于,所述上位机包括存储器,所述存储器存储有所述患者的病灶三维图像;所述上位机用于基于所述三维图像确定所述病灶图像。
8.根据权利要求1所述的外科手术导航系统,其特征在于,所述上位机还用于控制所述投影仪以明暗交替光线投影所述病灶图像,以展示所述病灶与所述患者机体的边缘。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910972990.8A CN110584783B (zh) | 2019-10-14 | 2019-10-14 | 外科手术导航系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910972990.8A CN110584783B (zh) | 2019-10-14 | 2019-10-14 | 外科手术导航系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110584783A CN110584783A (zh) | 2019-12-20 |
CN110584783B true CN110584783B (zh) | 2021-03-09 |
Family
ID=68867084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910972990.8A Active CN110584783B (zh) | 2019-10-14 | 2019-10-14 | 外科手术导航系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110584783B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111588999B (zh) * | 2020-05-25 | 2022-07-08 | 李硕 | 手术导向模型、头戴可穿戴设备辅助手术导航系统 |
CN111603140B (zh) * | 2020-06-04 | 2021-12-21 | 北京瀚丞医用设备有限公司 | 生物目标原位可视的定位方法及系统 |
CN111839730B (zh) * | 2020-07-07 | 2022-02-11 | 厦门大学附属翔安医院 | 一种用于引导肿瘤切除的光声成像手术导航平台 |
WO2022067608A1 (zh) * | 2020-09-30 | 2022-04-07 | 中国科学技术大学 | 一种远程手术指导和教学装置及其方法与医疗设备 |
CN112168392A (zh) * | 2020-10-21 | 2021-01-05 | 雅客智慧(北京)科技有限公司 | 牙科导航手术配准方法及系统 |
CN112991457B (zh) * | 2021-02-22 | 2023-05-26 | 北京理工大学 | 手术导航中投影仪空间位置和内外参标定方法、装置 |
CN113349927B (zh) * | 2021-05-19 | 2022-11-22 | 上海交通大学 | 面部自体脂肪移植手术导航系统及虚拟刻度提示方法 |
WO2023273013A1 (zh) * | 2021-06-29 | 2023-01-05 | 南京微纳科技研究院有限公司 | 手术导航装置及系统 |
WO2024067753A1 (zh) * | 2022-09-29 | 2024-04-04 | 武汉联影智融医疗科技有限公司 | 一种配准方法、配准系统、导航信息确定方法和导航系统 |
CN118078443B (zh) * | 2024-04-23 | 2024-08-06 | 南京诺源医疗器械有限公司 | 手术导航系统的处理方法、软件系统和手术导航系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103908345A (zh) * | 2012-12-31 | 2014-07-09 | 复旦大学 | 一种基于平板电脑的手术导航用的体数据可视化方法 |
CN107468337A (zh) * | 2017-08-03 | 2017-12-15 | 苏州医视医疗科技有限公司 | 基于智能眼镜的手术导航平台 |
CN108186117A (zh) * | 2018-02-28 | 2018-06-22 | 安徽大中润科技有限公司 | 一种分布式光学定位跟踪系统及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10089737B2 (en) * | 2013-11-27 | 2018-10-02 | Children's National Medical Center | 3D corrected imaging |
US10052162B2 (en) * | 2015-08-24 | 2018-08-21 | Synaptive Medical (Barbados) Inc. | Medical imaging system for illuminating tissue samples using three-dimensional structured illumination microscopy |
US11058495B2 (en) * | 2016-04-27 | 2021-07-13 | Biomet Manufacturing, Llc | Surgical system having assisted optical navigation with dual projection system |
CN106344151B (zh) * | 2016-08-31 | 2019-05-03 | 北京市计算中心 | 一种手术定位系统 |
CN207837634U (zh) * | 2017-05-16 | 2018-09-11 | 合肥新迈美克医疗科技有限公司 | 一种共光轴式病变部位显像投影导航装置 |
CN109674532A (zh) * | 2019-01-25 | 2019-04-26 | 上海交通大学医学院附属第九人民医院 | 基于mr的手术导航系统及其设备、方法和存储介质 |
CN109758231A (zh) * | 2019-03-05 | 2019-05-17 | 钟文昭 | 基于混合现实的胸腔内手术导航方法及系统 |
-
2019
- 2019-10-14 CN CN201910972990.8A patent/CN110584783B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103908345A (zh) * | 2012-12-31 | 2014-07-09 | 复旦大学 | 一种基于平板电脑的手术导航用的体数据可视化方法 |
CN107468337A (zh) * | 2017-08-03 | 2017-12-15 | 苏州医视医疗科技有限公司 | 基于智能眼镜的手术导航平台 |
CN108186117A (zh) * | 2018-02-28 | 2018-06-22 | 安徽大中润科技有限公司 | 一种分布式光学定位跟踪系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110584783A (zh) | 2019-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110584783B (zh) | 外科手术导航系统 | |
US12137985B2 (en) | System and methods for intraoperative guidance feedback | |
US12029527B2 (en) | Method, system and apparatus for tracking surgical imaging devices | |
CA2948257C (en) | Operating room safety zone | |
Gavaghan et al. | A portable image overlay projection device for computer-aided open liver surgery | |
US10543045B2 (en) | System and method for providing a contour video with a 3D surface in a medical navigation system | |
US9392258B2 (en) | Imaging system and method | |
US6690960B2 (en) | Video-based surgical targeting system | |
JP4500913B2 (ja) | ロケーションを同定するための方法及び装置 | |
von Atzigen et al. | HoloYolo: A proof‐of‐concept study for marker‐less surgical navigation of spinal rod implants with augmented reality and on‐device machine learning | |
EP2438880A1 (en) | Image projection system for projecting image on the surface of an object | |
EP1011424A1 (en) | Imaging device and method | |
US12053247B1 (en) | System for multi-directional tracking of head mounted displays for real-time augmented reality guidance of surgical procedures | |
CN111936074A (zh) | 监视手术室中的移动物体 | |
Ferguson et al. | Toward image-guided partial nephrectomy with the da Vinci robot: exploring surface acquisition methods for intraoperative re-registration | |
CN110720985A (zh) | 一种多模式引导的手术导航方法和系统 | |
CN110037808A (zh) | 基于结构光扫描的术中肝脏表面信息实时采集方法及系统 | |
CN213030699U (zh) | 一种成像系统 | |
Gard et al. | Image-based measurement by instrument tip tracking for tympanoplasty using digital surgical microscopy | |
US20240206988A1 (en) | Graphical user interface for a surgical navigation system | |
EP4409595A1 (en) | Anatomical scanning, targeting, and visualization | |
Watson | Development of an interactive image-guided neurosurgical system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |