CN115105207A - 基于混合现实的手术全息导航方法及系统 - Google Patents
基于混合现实的手术全息导航方法及系统 Download PDFInfo
- Publication number
- CN115105207A CN115105207A CN202210740351.0A CN202210740351A CN115105207A CN 115105207 A CN115105207 A CN 115105207A CN 202210740351 A CN202210740351 A CN 202210740351A CN 115105207 A CN115105207 A CN 115105207A
- Authority
- CN
- China
- Prior art keywords
- patient
- navigation
- mixed reality
- image
- holographic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000003287 optical effect Effects 0.000 claims abstract description 41
- 230000003902 lesion Effects 0.000 claims abstract description 33
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 238000001356 surgical procedure Methods 0.000 claims abstract description 11
- 238000002591 computed tomography Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims description 3
- 238000010882 preoperative diagnosis Methods 0.000 abstract description 3
- 210000001519 tissue Anatomy 0.000 description 37
- 230000008901 benefit Effects 0.000 description 4
- 230000006378 damage Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Robotics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Pulmonology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于混合现实的手术全息导航方法及系统，所述方法包括：基于获取的CT断层图像数据对病人病灶组织进行三维模型重建；将导航所需病人数据导入全息导航系统；全息导航系统通过光学追踪设备进行位置数据采集，对手术工具位置进行动态追踪；加载病人数据，规划手术路径；病人图像显示空间与病人现实空间配准；由混合现实设备将虚拟的模型图像空间与病人现实空间配准，并将虚拟图像精准叠加到病人身上，实现全息可视化导航；所述系统包括导航工作站子系统、混合现实子系统和病人病灶组织数据库系统。本发明同时兼容了术前诊断规划和术中全息导航，可以与用户实现更精准有效的交互，降低手术风险，缩短手术时间，提高手术成功率。
Description
技术领域
本发明涉及医疗器械技术领域，尤其涉及一种基于混合现实的手术全息导航方法及系统。
背景技术
近年来，我国手术导航系统在医疗领域蓬勃发展，大部分产品主要针对硬组织或相对固定的软组织，如骨科、神经外科、腹腔镜手术等。而传统的医学导航方法中，医生通过X射线计算机断层成像(CT)或核磁共振(MRI)图像根据诊断经验在自己脑海中想象出病灶的三维位置，因此在术前无法对病灶位置进行准确的定位；在手术中，对于如何避开重要的功能区、神经及血管，找到一条通往病灶的捷径，并深入病灶也是十分困难的。例如，传统头部三叉神经穿刺手术及腰部椎体成形术(PVP，PKP)需要医生在CT引导下完成。医生在手术中需要通过CT影像判定穿刺角度位置等信息，因此患者在手术中需要接受多次CT照射，对患者和医生身体造成损害，同时医生在非实时CT影像引导下需要凭经验完成手术，对医生的技能要求较高，且手术时间长，风险高，易对患者造成二次伤害。
混合现实技术(MR)是虚拟现实技术(VR)的进一步发展,该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，打破了数字的虚拟世界与物理的真实世界的界限；近年来，该技术在医疗领域的应用也得到了极大的发展，但大多数都是只对病灶组织进行三维的呈现，只能用作指导术前的手术诊断规划，无法与用户进行交互在术中形成实时精准的全息可视化导航，无法在术中产生实际的医疗益处。
具体存在的问题及缺陷可归纳为：
(1)传统的医学的导航方法医生在非实时CT影像引导下需要凭经验完成手术，对医生的技能要求较高，且手术时间长，风险高，易对患者造成二次伤害；
(2)现有基于混合现实的医疗导航方法，大多数都只对病灶组织进行三维的呈现，只能用作指导术前的手术诊断规划，无法与用户进行有效实时交互在术中形成实时精准的全息可视化导航，无法在术中产生实际的医疗益处。
发明内容
针对现有技术存在的问题，本发明提供了一种基于混合现实的手术全息导航方法及系统，同时兼容了术前诊断规划和术中全息导航，可以与用户实现更精准有效的实时交互，在在手术中提供实时的全息可视化导航。
本发明是这样实现的，一种基于混合现实的手术全息导航方法，所述方法包括以下步骤：
S1，获取病人CT断层图像数据；
S2，基于获取的CT断层图像数据对病人病灶组织进行三维模型重建得到病人模型；
S3，将病人CT断层图像数据、三维重建模型等导航所需数据导入全息导航系统；
S4，全息导航系统通过光学追踪设备进行位置数据采集，对手术工具位置进行动态追踪；
S5，加载病人数据，规划手术路径；
S6，病人图像显示空间与病人现实空间配准；
S7，由混合现实设备将虚拟的模型图像空间与病人现实空间配准，并将虚拟模型图像精准叠加到病人身上，实现全息可视化导航。
进一步，所述步骤S3具体还包括：
将病人CT断层图像数据、三维模型等导航所需数据集成到单个系统可加载的文件中；
将所述文件导入导航系统。
进一步，所述步骤S6具体包括：
采用三维扫描仪扫描病人特定身体组织获取其三维信息，将病人身体某一个部位作为特征标记点；
根据术前扫描三维图像与术中病人实时三维图像的特征点匹配关系，实现扫描仪获得病人病灶参考坐标系与虚拟影像坐标系间的转换关系；
通过坐标系的转换关系，完成病人虚拟图像显示空间与其病灶组织现实空间配准。
进一步，所述所述步骤S7具体包括：
在二维图像空间通过主动形状模型识别图像中的鼻尖与眼睛特征点，获取病人空间特征点的三维坐标；
在模型空间利用三维多尺度不变性和面部特征几何约束计算对应特征点的三维坐标，求解刚性变换矩阵作为粗略配准结果；
粗略注册的结果作为迭代就近点算法(IterativeClosestPoints，ICP)精确注册的输入，最终得到最优的空间变换矩阵，达到虚拟的模型图像空间与病人现实空间精确配准；
将虚拟模型图像精准叠加到病人身上并进行显示，实现全息可视化导航。
本发明的另一目的在于提供一种基于混合现实的手术全息导航系统包括：
导航工作站子系统，用于术前规划部分的手术路径创建，病灶组织三维模型重建以及术中导航部分的图像显示空间与其病灶组织空间配准和手术工具位置进行动态追踪；
混合现实子系统，用于混合现实显示，接收导航工作站子系统的数据进行相关的手术器械位置实时更新，病人模型与病人实际组织部位配准及显示；
病人病灶组织数据库系统：存储病人的CT扫描数据，以及根据CT扫描数据通过三维重建技术获得的不同病人病灶组织的三维模型数据，并根据不同病人、不同病灶甚至不同年龄段进行分类，并加入数据库统一管理，达到快速查找、快速复用的目的。
进一步，所述导航工作站子系统包括：
三维重建模块：根据病人CT图像数据对病灶组织进行三维模型重建；
光学追踪模块：获取手术工具位置信息并对手术工具位置进行动态追踪；
手术路径规划模块：根据病人病灶位置情况，规划手术路径；
导航注册模块：用于病人图像显示空间和病人现实空间配准。
进一步，所述混合现实子系统包括：
空间配准模块：用于混合现实设备虚拟的图像与病人病灶组织空间配准。
混合现实交互模块：显示导航图像，提供手势交互方法，用于用户与图像交互。
进一步，所述系统需配置的硬件设备包括混合现实显示设备，光学导航相机、导航工作站以及光学球和手术工具，所述混合现实显示设备通过WiFi与导航工作站无线连接并进行数据传输，所述光学导航相机通过有线网口与导航工作站连接，所述手术工具上设置有光学球,根据光学球反射红外光的特性，光学导航相机发射红外光识别到光学球从而确定手术工具位置；
进一步，所述全息导航系统以导航工作站作为数据转换及传输枢纽，光学导航相机通过手术工具上光学球识别追踪到手术工具的坐标位置并传送到导航工作站，导航工作站对拿到的坐标进行坐标系转换得到基于显示空间坐标系的坐标，并传输给混合现实显示设备，达到手术工具位置实时追踪显示。
混合现实显示设备拿到人体病灶组织部位三维重建模型，通过空间配准技术，将虚拟图像和人体部位准确叠加，达到全息导航显示效果。
进一步，所述光学导航相机应放置在可扫描到病人特定组织部位以及手术工具上光学球的位置，并且该放置位置还应不易被移动遮挡。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于混合现实的手术全息导航方法及系统，同时兼容了术前诊断规划和术中全息导航，通过对病灶组织三维模型的重建，然后通过空间配准，将虚拟模型图像精准叠加到病人身上并对手术工具位置进行实时追踪，在显示窗口进行显示与用户进行精准有效的实时交互，在手术中提供实时的全息可视化导航，本发明既能完成术前对手术路径的精准规划，也能在术中提供实时的全息可视化导航，极大的缩短了手术时间，提高手术的成功率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于混合现实的手术全息导航方法的流程示意图；
图2是本发明实施例提供的病人图像显示空间与病人现实空间配准方法的流程示意图；
图3是本发明实施例提供的虚拟的模型图像空间与病人现实空间配准及叠加显示方法的流程示意图；
图4是本发明实施例提供的基于混合现实的手术全息导航系统的组织架构图；
图5是本发明实施例提供的基于混合现实的手术全息导航系统硬件设备的连接结构示意图；
图中：1、导航工作站子系统；2、混合现实子系统；3、病人病灶组织数据库子系统；4、导航工作站；5、混合现实设备；6、光学导航相机；7、手术工具；11、三维重建模块；12、光学追踪模块；13、手术路径规划模块；14、导航注册模块；21、空间配准模块；22、混合现实交互模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于混合现实的手术全息导航方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明是这样实现的，一种基于混合现实的手术全息导航方法，所述方法包括以下步骤：
S1，获取病人CT断层图像数据；
S2，基于获取的CT断层图像数据对病人病灶组织进行三维模型重建得到病人模型；
S3，将病人CT断层图像数据、三维重建模型等导航所需数据导入全息导航系统；
S4，全息导航系统通过光学追踪设备进行位置数据采集，对手术工具位置进行动态追踪；
S5，加载病人数据，规划手术路径；
S6，病人图像显示空间与病人现实空间配准；
S7，由混合现实设备将虚拟的模型图像空间与病人现实空间配准，并将虚拟模型图像精准叠加到病人身上，实现全息可视化导航。
为了使导入全息导航系统的数据加载时更加方便，所述步骤S3具体还包括：先将病人CT断层图像数据、三维模型等导航所需数据集成到单个系统可加载的文件中(如mitk格式文件)，然后再将该数据文件导入导航系统，如此在数据调取或加载更加的方便。
如图2所示，病人图像显示空间与病人现实空间配准具体是为了将病人重建三维模型图像及手术器械位置图像和病人实际位置进行配准，如此才能实现实时的动态追踪，所述步骤S6具体包括：
S601,采用三维扫描仪扫描病人特定身体组织获取其三维信息，将病人身体某一个部位作为特征标记点；
S602,根据术前扫描三维图像与术中病人实时三维图像的特征点匹配关系，实现扫描仪获得病人病灶参考坐标系与虚拟影像坐标系间的转换关系；
S603,通过坐标系的转换关系，完成病人虚拟图像显示空间与其病灶组织现实空间配准。
如图3所示，在完成步骤病人图像显示空间与病人现实空间配准步骤后，进行步骤S7，步骤S7是为了完成在混合现实设备上的模型图像和病人实际位置配准，并在混合现实设备上实现全息显示，具体包括如下步骤：
S701,在二维图像空间通过主动形状模型识别图像中的鼻尖与眼睛特征点，获取病人空间特征点的三维坐标；
S702,在模型空间利用三维多尺度不变性和面部特征几何约束计算对应特征点的三维坐标，求解刚性变换矩阵作为粗略配准结果；
S703,粗略注册的结果作为迭代就近点算法(IterativeClosestPoints，ICP)精确注册的输入，最终得到最优的空间变换矩阵，达到虚拟的模型图像空间与病人现实空间精确配准；
S704,将虚拟模型图像精准叠加到病人身上并进行显示，实现全息可视化导航。
如图4所示，本发明的另一目的在于提供一种基于混合现实的手术全息导航系统包括导航工作站子系统1、混合现实子系统2和病人病灶组织数据库子系统3，导航工作站子系统1用于术前规划部分的手术路径创建，病灶组织三维模型重建以及术中导航部分的图像显示空间与其病灶组织空间配准和手术工具位置进行动态追踪；混合现实子系统2用于混合现实显示，接收导航工作站子系统1的数据进行相关的手术器械位置实时更新，病人模型与病人实际组织部位配准及显示；病人病灶组织数据库子系统3存储病人的CT扫描数据，以及根据CT扫描数据通过三维重建技术获得的不同病人病灶组织的三维模型数据，并根据不同病人、不同病灶甚至不同年龄段进行分类，并加入数据库统一管理，达到快速查找、快速复用的目的。
导航工作站子系统包括三维重建模块11、光学追踪模块12、手术路径规划模块13和导航注册模块14：三维重建模块11根据病人CT图像数据对病灶组织进行三维模型重建，光学追踪模块12获取手术工具位置信息并对手术工具位置进行动态追踪，手术路径规划模块13根据病人病灶位置情况，规划手术路径，导航注册模块14用于病人模型图像空间和病人现实空间配准。
混合现实子系统2包括空间配准模块21和混合现实交互模块22，空间配准模块21用于混合现实设备虚拟的图像与病人病灶组织空间配准，混合现实交互模块22用于显示导航图像，提供手势交互方法，用户可以通过手势与图像交互。
接下来，结合硬件设备对本发明的原理进行详细描述：
如图5所述，所述系统需配置的硬件设备主要包括混合现实显示设备5，光学导航相机6、导航工作站4以及光学球和手术工具7，所述混合现实显示设备5通过WiFi与导航工作站4无线连接并进行数据传输，所述光学导航相机6通过有线网口与导航工作站4连接，所述手术工具7上设置有光学球，根据光学球反射红外光的特性，光学导航相机7发射红外光识别到光学球从而确定手术工具7位置；
首先通过CT设备进行病人CT断层图像数据扫描，三维重建模块基于CT断层图像数据对病人的病灶组织进行三维模型重建，将病人CT断层图像数据、三维模型等导航所需数据集成到单个系统可加载的文件中，然后在将该数据文件导入病人病灶组织数据库子系统3以便能够在其他模块需要时随时调用；光学追踪模块12通过光学导航相机6获取手术工具7位置信息，具体为光学导航相机6通过手术工具7上光学球识别追踪到手术器械的坐标位置并传送到导航工作站4，导航工作站4对拿到的坐标通过导航注册模块14进行坐标系转换得到基于显示空间坐标系的坐标，完成病人重建三维模型及手术工具7和病人实际位置的配准，并将配准后的坐标数据传输给混合现实显示设备5，达到手术工具7位置实时追踪显示，为了使光学导航相机6采集手术工具位置信息更加便利，光学导航相机6应放置在可扫描到病人特定组织部位以及手术工具7上光学球的位置，并且该放置位置还应不易被移动遮挡；同时导航工作站4加载病人的数据信息，通过手术路径规划模块13根据病人病灶位置情况，规划出最为合理手术路径；
混合现实显示设备5拿到人体病灶组织部位三维重建模型及由导航注册模块14配准后的坐标数据，通过空间配准模块21将虚拟的模型图像与病人病灶组织空间配准实现虚拟图像空间和病人现实空间的精准叠加，最终通过混合现实交互模块22在混合显示设备5上显示实时动态导航图像，并且混合现实交互模块22还提供手势交互方法，用户可以通过手势与图像进行交互；混合现实显示设备达到实时全息导航显示效果，该显示能够直观的显示病灶组织的三维模型，并且能够对手术工具的位置进行实时追踪，构建出了逼真的手术环境，用户还可以与图像进行交互，模拟手术沉浸感、体验感好，不但在术中进行全息可视化导航，还可再术前进行多次无任何手术危险的重复模拟训练。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于混合现实的手术全息导航方法，其特征在于，所述方法包括以下步骤：
S1，获取病人CT断层图像数据；
S2，基于获取的CT断层图像数据对病人病灶组织进行三维模型重建得到病人模型；
S3，将病人CT断层图像数据、三维重建模型等导航所需数据导入全息导航系统；
S4，全息导航系统通过光学追踪设备进行位置数据采集，对手术工具位置进行动态追踪；
S5，加载病人数据，规划手术路径；
S6，病人图像显示空间与病人现实空间配准；
S7，由混合现实设备将虚拟的模型图像空间与病人现实空间配准，并将虚拟模型图像精准叠加到病人身上，实现全息可视化导航。
2.如权利要求1所述的基于混合现实的手术全息导航方法，其特征在于，所述步骤S3具体还包括：
将病人CT断层图像数据、三维模型等导航所需数据集成到单个系统可加载的文件中；
将所述文件导入导航系统。
3.如权利要求1所述的基于混合现实的手术全息导航方法，其特征在于，所述步骤S6具体包括：
采用三维扫描仪扫描病人特定身体组织获取其三维信息，将病人身体某一个部位作为特征标记点；
根据术前扫描三维图像与术中病人实时三维图像的特征点匹配关系，实现扫描仪获得病人病灶参考坐标系与虚拟影像坐标系间的转换关系；
通过坐标系的转换关系，完成病人虚拟图像显示空间与其病灶组织现实空间配准。
4.如权利要求1所述基于混合现实的手术全息导航方法，其特征在于，所述所述步骤S7具体包括：
在二维图像空间通过主动形状模型识别图像中的鼻尖与眼睛特征点，获取病人空间特征点的三维坐标；
在模型空间利用三维多尺度不变性和面部特征几何约束计算对应特征点的三维坐标，求解刚性变换矩阵作为粗略配准结果；
粗略注册的结果作为迭代就近点算法(IterativeClosestPoints，ICP)精确注册的输入，最终得到最优的空间变换矩阵，达到虚拟的模型图像空间与病人现实空间精确配准；
将虚拟模型图像精准叠加到病人身上并进行显示，实现全息可视化导航。
5.一种基于混合现实的手术全息导航系统，其特征在于，包括：
导航工作站子系统，用于术前规划部分的手术路径创建，病灶组织三维模型重建以及术中导航部分的图像显示空间与其病灶组织空间配准和手术工具位置进行动态追踪；
混合现实子系统，用于混合现实显示，接收导航工作站子系统的数据进行相关的手术器械位置实时更新，病人模型与病人实际组织部位配准及显示；
病人病灶组织数据库系统：存储病人的CT扫描数据，以及根据CT扫描数据通过三维重建技术获得的不同病人病灶组织的三维模型数据，并根据不同病人、不同病灶甚至不同年龄段进行分类，并加入数据库统一管理，达到快速查找、快速复用的目的。
6.如权利要求5所述的基于混合现实的手术全息导航系统，其特征在于，所述导航工作站子系统包括：
三维重建模块：根据病人CT图像数据对病灶组织进行三维模型重建；
光学追踪模块：获取手术工具位置信息并对手术工具位置进行动态追踪；
手术路径规划模块：根据病人病灶位置情况，规划手术路径；
导航注册模块：用于病人图像显示空间和病人现实空间配准。
7.如权利要求5所述的基于混合现实的手术全息导航系统，其特征在于，所述混合现实子系统包括：
空间配准模块：用于混合现实设备虚拟的图像与病人病灶组织空间配准；
混合现实交互模块：显示导航图像，提供手势交互方法，用于用户与图像交互。
8.如权利要求5所述的基于混合现实的手术全息导航系统，其特征在于，所述系统需配置的硬件设备包括混合现实显示设备，光学导航相机、导航工作站以及光学球和手术工具，所述混合现实显示设备通过WiFi与导航工作站无线连接并进行数据传输，所述光学导航相机通过有线网口与导航工作站连接，所述手术工具上设置有光学球，根据光学球反射红外光的特性，光学导航相机发射红外光识别到光学球从而确定手术工具位置。
9.如权利要求8所述的基于混合现实的手术全息导航系统，其特征在于，所述全息导航系统以导航工作站作为数据转换及传输枢纽，光学导航相机通过手术工具上光学球识别追踪到手术工具的坐标位置并传送到导航工作站，导航工作站对拿到的坐标进行坐标系转换得到基于显示空间坐标系的坐标，并传输给混合现实显示设备，达到手术工具位置实时追踪显示；
混合现实显示设备拿到人体病灶组织部位三维重建模型，通过空间配准技术，将虚拟图像和人体部位准确叠加，达到全息导航显示效果。
10.如权利要求8所述的基于混合现实的手术全息导航系统，其特征在于，所述光学导航相机应放置在可扫描到病人特定组织部位以及手术工具上光学球的位置，并且该放置位置还应不易被移动遮挡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210740351.0A CN115105207A (zh) | 2022-06-28 | 2022-06-28 | 基于混合现实的手术全息导航方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210740351.0A CN115105207A (zh) | 2022-06-28 | 2022-06-28 | 基于混合现实的手术全息导航方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115105207A true CN115105207A (zh) | 2022-09-27 |
Family
ID=83330671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210740351.0A Pending CN115105207A (zh) | 2022-06-28 | 2022-06-28 | 基于混合现实的手术全息导航方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115105207A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115830112A (zh) * | 2022-11-25 | 2023-03-21 | 之江实验室 | 一种基于手持实物的混合现实交互方法和系统 |
| CN116370072A (zh) * | 2023-03-31 | 2023-07-04 | 普朗克(广州)医疗科技有限公司 | 手术辅助方法、装置、设备及存储介质 |
| CN116392247A (zh) * | 2023-04-12 | 2023-07-07 | 深圳创宇科信数字技术有限公司 | 一种基于混合现实技术的手术定位导航方法 |
| CN116492052A (zh) * | 2023-04-24 | 2023-07-28 | 中科智博(珠海)科技有限公司 | 一种基于混合现实脊柱三维可视化手术导航系统 |
| CN116563379A (zh) * | 2023-07-06 | 2023-08-08 | 湖南卓世创思科技有限公司 | 一种基于模型融合的标志物定位方法、装置及系统 |
| CN117598782A (zh) * | 2023-09-28 | 2024-02-27 | 杭州盛星医疗科技有限公司 | 用于经皮穿刺手术的手术导航方法、装置、设备及介质 |
| WO2024067753A1 (zh) * | 2022-09-29 | 2024-04-04 | 武汉联影智融医疗科技有限公司 | 一种配准方法、配准系统、导航信息确定方法和导航系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2913019A1 (en) * | 2014-02-21 | 2015-09-02 | Covidien LP | Instrument for optically detecting tissue attributes |
| CN108272502A (zh) * | 2017-12-29 | 2018-07-13 | 战跃福 | 一种ct三维成像引导的消融针导向手术方法及系统 |
| CN109925057A (zh) * | 2019-04-29 | 2019-06-25 | 苏州大学 | 一种基于增强现实的脊柱微创手术导航方法及系统 |
| US10420577B2 (en) * | 2014-03-31 | 2019-09-24 | Covidien Lp | Apparatus and method for tissue thickness sensing |
| CN114532965A (zh) * | 2022-03-01 | 2022-05-27 | 广西国际壮医医院 | 一种胸腔镜下实时肺癌病灶识别系统 |
-
2022
- 2022-06-28 CN CN202210740351.0A patent/CN115105207A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2913019A1 (en) * | 2014-02-21 | 2015-09-02 | Covidien LP | Instrument for optically detecting tissue attributes |
| US10420577B2 (en) * | 2014-03-31 | 2019-09-24 | Covidien Lp | Apparatus and method for tissue thickness sensing |
| CN108272502A (zh) * | 2017-12-29 | 2018-07-13 | 战跃福 | 一种ct三维成像引导的消融针导向手术方法及系统 |
| CN109925057A (zh) * | 2019-04-29 | 2019-06-25 | 苏州大学 | 一种基于增强现实的脊柱微创手术导航方法及系统 |
| CN114532965A (zh) * | 2022-03-01 | 2022-05-27 | 广西国际壮医医院 | 一种胸腔镜下实时肺癌病灶识别系统 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024067753A1 (zh) * | 2022-09-29 | 2024-04-04 | 武汉联影智融医疗科技有限公司 | 一种配准方法、配准系统、导航信息确定方法和导航系统 |
| CN115830112A (zh) * | 2022-11-25 | 2023-03-21 | 之江实验室 | 一种基于手持实物的混合现实交互方法和系统 |
| CN115830112B (zh) * | 2022-11-25 | 2023-09-22 | 之江实验室 | 一种基于手持实物的混合现实交互方法和系统 |
| CN116370072A (zh) * | 2023-03-31 | 2023-07-04 | 普朗克(广州)医疗科技有限公司 | 手术辅助方法、装置、设备及存储介质 |
| CN116392247A (zh) * | 2023-04-12 | 2023-07-07 | 深圳创宇科信数字技术有限公司 | 一种基于混合现实技术的手术定位导航方法 |
| CN116392247B (zh) * | 2023-04-12 | 2023-12-19 | 深圳创宇科信数字技术有限公司 | 一种基于混合现实技术的手术定位导航方法 |
| CN116492052A (zh) * | 2023-04-24 | 2023-07-28 | 中科智博(珠海)科技有限公司 | 一种基于混合现实脊柱三维可视化手术导航系统 |
| CN116492052B (zh) * | 2023-04-24 | 2024-04-23 | 中科智博(珠海)科技有限公司 | 一种基于混合现实脊柱三维可视化手术导航系统 |
| CN116563379A (zh) * | 2023-07-06 | 2023-08-08 | 湖南卓世创思科技有限公司 | 一种基于模型融合的标志物定位方法、装置及系统 |
| CN116563379B (zh) * | 2023-07-06 | 2023-09-29 | 湖南卓世创思科技有限公司 | 一种基于模型融合的标志物定位方法、装置及系统 |
| CN117598782A (zh) * | 2023-09-28 | 2024-02-27 | 杭州盛星医疗科技有限公司 | 用于经皮穿刺手术的手术导航方法、装置、设备及介质 |
| CN117598782B (zh) * | 2023-09-28 | 2024-06-04 | 苏州盛星医疗器械有限公司 | 用于经皮穿刺手术的手术导航方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115105207A (zh) | 基于混合现实的手术全息导航方法及系统 | |
| US11426254B2 (en) | Method and apparatus for virtual endoscopy | |
| Gsaxner et al. | The HoloLens in medicine: A systematic review and taxonomy | |
| US10881353B2 (en) | Machine-guided imaging techniques | |
| CN103371870B (zh) | 一种基于多模影像的外科手术导航系统 | |
| CN103735312B (zh) | 多模影像超声引导手术导航系统 | |
| KR20210104715A (ko) | 광학 코드를 이용한 증강 현실 디스플레이 | |
| CN111529063A (zh) | 基于三维重建的多模态融合的手术导航系统及方法 | |
| CN107847289A (zh) | 现实增强的形态学手术 | |
| CN101797182A (zh) | 一种基于增强现实技术的鼻内镜微创手术导航系统 | |
| CN111588464B (zh) | 一种手术导航方法及系统 | |
| Shahidi et al. | Clinical applications of three-dimensional rendering of medical data sets | |
| CN103479431A (zh) | 非介入式微创手术导航系统 | |
| CN112168346A (zh) | 三维医学影像与患者实时重合的方法及手术辅助系统 | |
| CN113229937A (zh) | 一种利用实时结构光技术实现手术导航的方法和系统 | |
| CN116313028A (zh) | 医疗辅助设备、方法及计算机可读存储介质 | |
| Alam et al. | A review on extrinsic registration methods for medical images | |
| Esposito et al. | Multimodal US–gamma imaging using collaborative robotics for cancer staging biopsies | |
| CN115105204A (zh) | 一种腹腔镜增强现实融合显示方法 | |
| Harders et al. | Multimodal augmented reality in medicine | |
| CN112132976A (zh) | 一种基于混合现实技术的肝脏穿刺培训系统 | |
| KR102213412B1 (ko) | 기복모델 생성방법, 장치 및 프로그램 | |
| CN214157490U (zh) | 一种应用三维医学影像与患者实时重合方法的手术辅助系统 | |
| CN115375595A (zh) | 图像融合方法、装置、系统、计算机设备和存储介质 | |
| Cotin et al. | Augmented Reality for Computer-Guided Interventions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |