[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116492052B - 一种基于混合现实脊柱三维可视化手术导航系统 - Google Patents

一种基于混合现实脊柱三维可视化手术导航系统 Download PDF

Info

Publication number
CN116492052B
CN116492052B CN202310450119.8A CN202310450119A CN116492052B CN 116492052 B CN116492052 B CN 116492052B CN 202310450119 A CN202310450119 A CN 202310450119A CN 116492052 B CN116492052 B CN 116492052B
Authority
CN
China
Prior art keywords
image
dimensional
data
spine
mixed reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310450119.8A
Other languages
English (en)
Other versions
CN116492052A (zh
Inventor
吕海
张伟聪
黄成颉
苏志海
陈子扬
王云飞
范荣爱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Zhibo Zhuhai Technology Co ltd
Original Assignee
Zhongke Zhibo Zhuhai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Zhibo Zhuhai Technology Co ltd filed Critical Zhongke Zhibo Zhuhai Technology Co ltd
Priority to CN202310450119.8A priority Critical patent/CN116492052B/zh
Publication of CN116492052A publication Critical patent/CN116492052A/zh
Application granted granted Critical
Publication of CN116492052B publication Critical patent/CN116492052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供了一种基于混合现实脊柱三维可视化手术导航系统，包括：设置有第一导航单元的混合现实设备、设置有第二导航单元的C臂成像设备、光学手术定位导航仪以及跨模态图像生成模块；其中，光学手术定位导航仪用于根据第一导航单元的坐标信息和第二导航单元的坐标信息并建立三维空间坐标系，以及用于对混合现实设备的三维空间坐标进行动态追踪；跨模态图像生成模块用于生成三维脊柱病灶融合图像数据并发送至混合现实设备，混合现实设备用于根据实时坐标信息、位置信息、真实场景图像和三维脊柱病灶融合图像进行配准处理，得到混合现实三维图像。该系统能够减少人为配准误差，提高导航精度，从而提高缩短操作时间、降低医患辐射危害。

Description

一种基于混合现实脊柱三维可视化手术导航系统
技术领域
本发明涉及但不限于数据处理技术领域，尤其涉及一种基于混合现实脊柱三维可视化手术导航系统。
背景技术
腰椎间盘突出症是最常见的骨科疾病，发病率约20％，其中10-15％的病人需要手术治疗。随着人口老龄化和现代人工作、生活习惯的改变，需要手术的病人数量以每年20％的速度增加。目前外科治疗方法多需要在病变部位的皮肤上切口，分离肌肉、筋膜，再不同程度地切除组成椎管的部分结构(如：椎板、关节突、关节囊、韧带等)，在椎管壁上打开一个窗口，最终显露、切除椎管内的病变椎间盘。这种方法会对腰椎的结构造成不同程度破坏，导致腰椎退变、腰椎不稳等后遗症，甚至还要通过融合内固定的方法重建术后脊柱的稳定性。脊柱手术导航系统因其精准、微创等诸多优点近年来逐渐被应用于临床，但其本身具有一定的局限性：传统屏幕式手术导航系统一般以病变位置横断位、矢状位、冠状位不同二维界面呈现给外科医生，各组织结构间以及与手术器械的相对位置对术者来说缺乏直观的三维空间展示与感受,需要术者自行在脑海进行三维图像重建，对手术医师空间想象能力提出了极高要求，技术学习曲线对年轻术者来说非常陡直；另外由于导航系统界面与手术操作区域分离，术者视线需经常在导航屏幕与术区间来回切换，降低手术效率的同时很容易因手眼协调不当降低导航手术的精确度，影响手术效果。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例的主要目的在于提出一种基于混合现实脊柱三维可视化手术导航系统，能够减少人为配准误差，提高导航精度，从而提高腰椎间盘突出症提高治疗效果、减少并发症发生、缩短操作时间、降低医患辐射危害。
第一方面，本发明实施例提供了一种基于混合现实脊柱三维可视化手术导航系统，包括：
混合现实设备，包括第一导航单元；
C臂成像设备，包括第二导航单元，所述C臂成像设备用于在手术过程中获取患者脊柱的射线图像数据；
光学手术定位导航仪，用于根据所获取对患者脊椎扫描过程中的所述第一导航单元的坐标信息和所述第二导航单元的坐标信息并建立三维空间坐标系，以及用于对所述混合现实设备的三维空间坐标进行动态追踪，得到所述混合现实设备在手术过程中的实时坐标信息；
跨模态图像生成模块，用于生成三维脊柱病灶融合图像数据并将所述三维脊柱病灶融合图像数据发送至所述混合现实设备，其中所述三维脊柱病灶融合图像数据包括三维脊柱病灶融合图像以及所述三维脊柱病灶融合图像中的位置信息，所述三维脊柱病灶融合图像为对所述射线图像数据和第一图像数据所配准融合得到的图像，所述第一图像数据为对手术前获取的患者脊柱的CT图像和/或MRI图像进行腰椎病变部位进行三维重建后的图像，所述位置信息根据所述C臂成像设备的坐标信息以及所述三维脊柱病灶融合图像得到；
所述混合现实设备还用于获取真实场景图像，并根据所述实时坐标信息、所述位置信息、所述真实场景图像和所述三维脊柱病灶融合图像进行配准处理，得到混合现实三维图像。
在一些可选的实施例中，所述第一导航单元包括第一导航空间架体和设置在所述第一导航空间架体上的多个红外反射球，所述第二导航单元包括第二导航空间架体和设置在所述第二导航空间架体上的多个红外反射球。
在一些可选的实施例中，所述混合现实设备还用于对所述真实场景图像和所述三维脊柱病灶融合图像进行点云配准处理，得到混合现实脊柱三维图像；
所述混合现实设备还用于根据所述实时坐标信息、所述位置信息以及混合现实脊柱三维图像，得到混合现实三维图像。
在一些可选的实施例中，所述混合现实设备还用于获取点云配准算法模型的第一迭代输出数据、源点云数据和目标点云数据，所述源点云数据为从所述三维脊柱病灶融合图像的患者皮肤区域图像中所提取的点云数据，所述目标点云数据为从所述真实场景图像的患者皮肤区域图像中所提取的点云数据；
所述混合现实设备还用于将所述第一输出数据、所述源点云数据和所述目标点云数据输入至所述点云配准算法模型，以通过所述点云配准算法模型输出第二迭代输出数据，直至所述第二迭代输出数据符合预设的收敛性判断标准，所述第一迭代输出数据为所述第二迭代输出数据的上一次输出数据；
其中，所述点云配准算法模型包括第一刚体变换单元、第二刚体变换单元、第一特征提取单元、第二特征提取单元和计算匹配矩阵单元，所述第一刚体变换单元用于对所述第一迭代输出数据和所述源点云数据进行第一刚体变换处理得到刚体变换后的源点云数据，所述第二刚体变换单元用于对所述刚体变换后的源点云数据和所述目标点云数据进行第二刚体变化处理得到刚体变换后的目标点云数据，所述第一特征提取单元用于对所述刚体变换后的源点云数据进行特征提取得到源点云特征数据，所述第二特征提取单元用于对所述目标点云数据进行特征提取得到目标点云特征数据，所述计算匹配矩阵单元用于根据所述刚体变换后的目标点云数据、所述源点云特征数据和所述目标点云特征数据进行计算处理得到匹配矩阵，所述计算匹配矩阵单元还用于通过所述匹配矩阵对所述目标点云数据进行配准处理，得到第二迭代输出数据。
在一些可选的实施例中，所述跨模态图像生成模块还包括手术路径计算单元，所述手术路径计算单元用于对第一图像数据进行识别处理得到神经压迫靶点，并根据所述神经压迫靶点在所述第一图像数据中计算得到穿刺路径。
在一些可选的实施例中，所述跨模态图像显示模块还包括图像融合模块单元和数据传输单元，所述图像融合模块单元用于将手术前获取的患者脊柱的所述CT图像和/或所述MRI图像进行椎骨分割识别处理，得到所述第一图像数据；
所述图像融合模块单元还用于将手术过程中获取的患者脊柱的射线图像数据和第一图像数据进行对称对齐与质心对齐处理，得到对齐后的初步融合图像数据；
所述图像融合模块单元还用于利用点云精配准ICP算法对所述将初步融合图像数据进行融合处理得到三维脊柱病灶融合图像；
所述数据传输单元用于将所述图像融合模块单元所生成的所述三维脊柱病灶融合图像数据传输至所述混合现实设备。
在一些可选的实施例中，所述第一图像包括CT图像和MRI图像；
所述图像融合模块单元还用于将所述CT图像和所述MRI图像分别椎骨定位网络进行第一定位处理，得到所述CT图像的每个椎骨对应的定位点信息和所述MRI图像中的每个椎骨对应的定位点信息；
通过所述定位点信息分别分割所述CT图像和所述MRI图像中的每个椎骨，得到所述CT图像中每个椎骨的第一椎骨图像数据和所述MRI图像中每个椎骨的第二椎骨图像数据；
根据所述CT图像中每个椎骨的第一椎骨图像数据和所述MRI图像中每个椎骨的第二椎骨图像数据得到椎骨分割后的所述CT图像和所述MRI图像；
将椎骨分割后的所述CT图像和所述MRI图像进行配准处理，得到所述第一图像数据。
在一些可选的实施例中，所述图像融合模块单元还用于：
提取椎骨分割后的所述CT图像的l andmark点和所述MRI图像的l andmark点；
依次取所述CT图像的l andmark点与所述MRI图像的l andmark点数量相同的点；
将所述CT图像的l andmark点与所述MRI图像的l andmark点依次进行质心对齐，得到初始对齐图像；
对所述初始对齐图像进行刚体变换和基于金字塔的非刚体配准处理，得到所述第一图像数据。
第二方面，本发明实施例提供了一种混合现实脊柱三维可视化显示方法，其特征在于，应用于第一方面所述的基于混合现实脊柱三维可视化手术导航系统，所述混合现实脊柱三维可视化显示方法包括：
获取手术前的患者脊柱的CT图像和/或MRI图像；
对所述CT图像和/或所述MRI图像进行腰椎病变部位进行三维重建，得到第一图像数据；
通过所述C臂成像设备获取射线图像数据；
将所述射线图像数据与所述第一图像数据进行配准融合得到的三维脊柱病灶融合图像；
分别通过所述第一导航单元和所述第二导航单元获取所述混合现实设备的坐标信息和所述C臂成像设备的坐标信息；
通过光学手术定位导航仪根据所获取对患者脊椎扫描过程中的所述第一导航单元的坐标信息和所述第二导航单元的坐标信息并建立三维空间坐标系，并对所述混合现实设备的三维空间坐标进行动态追踪，得到所述混合现实设备在手术过程中的实时坐标信息；
根据所述C臂成像设备的坐标信息以及所述三维脊柱病灶融合图像处理得到所述三维脊柱病灶融合图像中的位置信息；
通过所述混合现实设备获取真实场景图像；
根据所述实时坐标信息、所述位置信息、所述真实场景图像和所述三维脊柱病灶融合图像进行配准处理，得到混合现实三维图像。
第三方面，本发明实施例提供了一种控制器，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现第二方面所述的混合现实脊柱三维可视化显示方法。
第四方面，一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行第二方面所述的混合现实脊柱三维可视化显示方法。
本发明有益效果包括：一种基于混合现实脊柱三维可视化手术导航系统，该系统包括：混合现实设备、C臂成像设备、光学手术定位导航仪以及跨模态图像生成模块；其中，混合现实设备包括第一导航单元；C臂成像设备包括第二导航单元，C臂成像设备用于在手术过程中获取患者脊柱的射线图像数据；光学手术定位导航仪用于根据所获取对患者脊椎扫描过程中的第一导航单元的坐标信息和第二导航单元的坐标信息并建立三维空间坐标系，以及用于对混合现实设备的三维空间坐标进行动态追踪，得到混合现实设备在手术过程中的实时坐标信息；跨模态图像生成模块用于生成三维脊柱病灶融合图像数据并将三维脊柱病灶融合图像数据发送至混合现实设备，其中三维脊柱病灶融合图像数据包括三维脊柱病灶融合图像以及三维脊柱病灶融合图像中的位置信息，三维脊柱病灶融合图像为对射线图像数据和第一图像数据所配准融合得到的图像，第一图像数据为对手术前获取的患者脊柱的CT图像和/或MRI图像进行腰椎病变部位进行三维重建后的图像，位置信息根据C臂成像设备的坐标信息以及三维脊柱病灶融合图像得到；混合现实设备还用于获取真实场景图像，并根据实时坐标信息、位置信息、真实场景图像和三维脊柱病灶融合图像进行配准处理，得到混合现实三维图像。在本实施的技术方案中，基于混合现实脊柱三维可视化手术导航系统，能够将手术前的第一图像数据(患者脊柱的CT图像和/或MRI图像)和在手术中通过C臂成像设备获取的射线图像数据进行融合得到三维脊柱病灶融合图像，再通过混合现实设备将三维脊柱病灶融合图像配准到真实场景图像对应位置，从而可以在混合现实设备实现虚拟腰椎三维可视化模型与患者真实解剖位置的精准快速自动配准，动态地在患者真实解剖位置上显示出患者脊柱中的重要结构(如包括骨骼、神经、血管、韧带及病变椎间盘等)，医生在手术的过程中能够直接准确地在混合现实设备看到患者真实解剖位置上显示出患者脊柱中的重要结构，从而能够减少人为配准误差，提高导航精度，从而提高腰椎间盘突出症提高治疗效果、减少并发症发生、缩短操作时间、降低医患辐射危害。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本发明一个实施例提供的基于混合现实脊柱三维可视化手术导航系统的示意图；
图2是本发明一个实施例提供的基于混合现实脊柱三维可视化手术导航系统的跨模态图像显示模块中的控制器的示意图；
图3是本发明一个实施例提供的应用于基于混合现实脊柱三维可视化手术导航系统的混合现实脊柱三维可视化显示方法的流程图；
图4是本发明一个实施例提供的CT图像的示意图；
图5是本发明一个实施例提供的MRI图像的示意图；
图6是本发明一个实施例提供的对CT图像、MRI图像进行椎骨分割处理的椎骨定位网络的示意图；
图7是本发明一个实施例提供的射线图像数据的示意图；
图8是本发明一个实施例提供的三维脊柱病灶融合图像的示意图；
图9是本发明一个实施例提供的混合现实脊柱三维可视化手术导航系统的工作原理示意图；
图10是本发明一个实施例提供的混合现实脊柱三维可视化显示方法中的点云配准算法模型的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
腰椎间盘突出症是最常见的骨科疾病，发病率约20％，其中10-15％的病人需要手术治疗。随着人口老龄化和现代人工作、生活习惯的改变，需要手术的病人数量以每年20％的速度增加。目前外科治疗方法多需要在病变部位的皮肤上切口，分离肌肉、筋膜，再不同程度地切除组成椎管的部分结构(如：椎板、关节突、关节囊、韧带等)，在椎管壁上打开一个窗口，最终显露、切除椎管内的病变椎间盘。这种方法会对腰椎的结构造成不同程度破坏，导致腰椎退变、腰椎不稳等后遗症，甚至还要通过融合内固定的方法重建术后脊柱的稳定性。脊柱手术导航系统因其精准、微创等诸多优点近年来逐渐被应用于临床，但其本身具有一定的局限性：传统屏幕式手术导航系统一般以病变位置横断位、矢状位、冠状位不同二维界面呈现给外科医生，各组织结构间以及与手术器械的相对位置对术者来说缺乏直观的三维空间展示与感受,需要术者自行在脑海进行三维图像重建，对手术医师空间想象能力提出了极高要求，技术学习曲线对年轻术者来说非常陡直；另外由于导航系统界面与手术操作区域分离，术者视线需经常在导航屏幕与术区间来回切换，降低手术效率的同时很容易因手眼协调不当降低导航手术的精确度，影响手术效果。
为解决上述存在的问题，本发明实施例提供了一种基于混合现实脊柱三维可视化手术导航系统，该系统包括：混合现实设备、C臂成像设备、光学手术定位导航仪以及跨模态图像生成模块；其中，混合现实设备包括第一导航单元；C臂成像设备包括第二导航单元，C臂成像设备用于在手术过程中获取患者脊柱的射线图像数据；光学手术定位导航仪用于根据所获取对患者脊椎扫描过程中的第一导航单元的坐标信息和第二导航单元的坐标信息并建立三维空间坐标系，以及用于对混合现实设备的三维空间坐标进行动态追踪，得到混合现实设备在手术过程中的实时坐标信息；跨模态图像生成模块用于生成三维脊柱病灶融合图像数据并将三维脊柱病灶融合图像数据发送至混合现实设备，其中三维脊柱病灶融合图像数据包括三维脊柱病灶融合图像以及三维脊柱病灶融合图像中的位置信息，三维脊柱病灶融合图像为对射线图像数据和第一图像数据所配准融合得到的图像，第一图像数据为对手术前获取的患者脊柱的CT图像和/或MRI图像进行腰椎病变部位进行三维重建后的图像，位置信息根据C臂成像设备的坐标信息以及三维脊柱病灶融合图像得到；混合现实设备还用于获取真实场景图像，并根据实时坐标信息、位置信息、真实场景图像和三维脊柱病灶融合图像进行配准处理，得到混合现实三维图像。
在本实施例的技术方案中，在手术中，首先通过C臂成像设备对患者脊柱进行扫描，获取患者脊柱的射线图像数据，跨模态图像显示模块会将射线图像数据和第一图像数据进行配准融合处理生成三维脊柱病灶融合图像，并通过光学手术定位导航仪根据所获取对患者脊椎扫描过程中的第一导航单元的坐标信息和第二导航单元的坐标信息并建立三维空间坐标系，并对混合现实设备的三维空间坐标进行动态追踪，得到混合现实设备在手术过程中的实时坐标信息，由于三维脊柱病灶融合图像是根据C臂成像设备所获取的射线图像数据，C臂成像设备获取图像时的坐标信息能够与三维脊柱病灶融合图像上的坐标匹配上，而且还对患者脊椎扫描过程中的第一导航单元的坐标信息和C臂成像设备上的第二导航单元的坐标信息并建立三维空间坐标系，那么可以根据混合现实设备的实时坐标信息与三维空间坐标系实现将三维脊柱病灶融合图像与真实场景图像匹配上。在本实施的技术方案中，基于混合现实脊柱三维可视化手术导航系统，能够将手术前的第一图像数据(患者脊柱的CT图像和/或MRI图像)和在手术中通过C臂成像设备获取的射线图像数据进行融合得到三维脊柱病灶融合图像，再通过混合现实设备将三维脊柱病灶融合图像配准到真实场景图像对应位置，从而可以在混合现实设备实现虚拟腰椎三维可视化模型与患者真实解剖位置的精准快速自动配准，动态地在患者真实解剖位置上显示出患者脊柱中的重要结构(如包括骨骼、神经、血管、韧带及病变椎间盘等)，医生在手术的过程中能够直接准确地在混合现实设备看到患者真实解剖位置上显示出患者脊柱中的重要结构，从而能够减少人为配准误差，提高导航精度，从而提高腰椎间盘突出症提高治疗效果、减少并发症发生、缩短操作时间、降低医患辐射危害。
下面结合附图，对本发明实施例作进一步阐述。
参照图1，图1为本发明一个实施例提供的一种基于混合现实脊柱三维可视化手术导航系统，包括：混合现实设备110、C臂成像设备120、光学手术定位导航仪130以及跨模态图像生成模块140，其、其中，混合现实设备110包括第一导航单元111，C臂成像设备120包括第二导航单元，该C臂成像设备120用于在手术过程中获取患者脊柱的射线图像数据，光学手术定位导航仪130用于获取的第一导航单元111的坐标信息和第二导航单元的坐标信息，并根据所获取的第一导航单元111的坐标信息和第二导航单元的坐标信息建立三维空间坐标系，以通过三维空间坐标系对混合现实设备110的三维空间坐标进行动态追踪，得到混合现实设备110的实时坐标信息。跨模态图像生成模块140用于生成三维脊柱病灶融合图像数据并将三维脊柱病灶融合图像数据发送至混合现实设备110，其中三维脊柱病灶融合图像数据包括三维脊柱病灶融合图像以及三维脊柱病灶融合图像中的位置信息，三维脊柱病灶融合图像为对射线图像数据和第一图像数据所配准融合得到的图像，第一图像数据为对手术前获取的患者脊柱的CT图像和/或MRI图像进行腰椎病变部位进行三维重建后的图像，位置信息根据C臂成像设备120的坐标信息以及三维脊柱病灶融合图像得到。
在一些可选的实施例中，第一导航单元111包括第一导航空间架体和设置在第一导航空间架体上的多个红外反射球，第二导航单元包括第二导航空间架体和设置在第二导航空间架体上的多个红外反射球，光学手术定位导航仪130为NDIVEGA光学定位仪，可以通过NDI VEGA光学定位仪对混合现实设备110的位置进行动态追踪，得到混合现实设备110的实时坐标信息，从而可以根据混合现实设备110的实时坐标信息和三维脊柱病灶融合图像的位置信息确定混合现实设备110所获取的真实场景图像和与由C臂成像设备120获取的射线图像数据所融合生成三维脊柱病灶融合图像的相对关系。可以理解的是，多个红外反射球表示至少三个红外反射球，本实施例对其不作具体限定。
在一些可选的实施例中，将红外线反射装置(第一导航单元111)与MicrosoftHoloLens2头戴式MR设备(混合现实设备110)，简称HoloLens2眼镜进行连接组装，采用NDIVEGA光学定位仪(光学手术定位导航仪130)对HoloLens2眼镜(混合现实设备110)三维空间坐标进行动态追踪，调用HoloLens2中的惯性追踪系统、加速度计、陀螺仪来确保MR视野中全息图像呈现的内容能随手术医生头部移动MR视角转换发生相应改变的同时，虚拟腰椎三维模型空间位置不发生剧烈移动，在光学跟踪下始终保持与真实解剖位置的高度重合，防止术中因术者头部大幅度移动产生影像漂移导致导航手术精度下降的发生。进一步可尝试将光学追踪设备，即相关红外线发射与接收装置完全集成于头戴式MR设备上，这样可脱离传统双目摄像仪，减少导航设备占用的手术室空间，实现混合现实与导航定位更加智能一体化的整合操作。
需要说明的是，在选用Microsoft HoloLens2作为混合现实MR技术部署设备的情况下，通过UWP平台建立基于ARM64架构的电脑工作站，在工作站上部署相应开发软件；安装Win10 SDK 10.0.18362.0，将腰椎多模态融合图像及规划的手术路径数据进行格式转换并导入至Unity 2019.4环境进行MR场景搭建，利用MRTK(Mixed Reality ToolKit)2.4.0工具包编译并生成C#项目，将生成的C#解决方案经过Microsoft Visual Studio 2019部署到Microsoft HoloLens2上，操作者佩戴Microsoft HoloLens2并启动部署的应用程序即可看到虚拟腰椎三维可视化模型，进行虚拟-现实空间实体交互。
在一些可选的实施例中，混合现实设备110还用于先对真实场景图像和三维脊柱病灶融合图像进行点云配准处理，得到混合现实脊柱三维图像；然后根据实时坐标信息、位置信息以及混合现实脊柱三维图像，得到混合现实三维图像。在实际使用场景中，由于混合现实设备110是医护人员佩戴的，在手术的过程中会移动，那么通过实时坐标信息、位置信息以及混合现实脊柱三维图像所得到混合现实三维图像，其图像中的混合现实脊柱三维图像的位置可以不随混合现实设备110的移动而变化，三维脊柱病灶融合图像能够固定在真实场景图像中患者的目标脊椎区域上，从而能够提高配准的精准度，在手术过程中还不会因为佩戴混合现实设备110的医护人员头部移动而导致真实场景图像和三维脊柱病灶融合图像进行点云配准出现偏差的问题。
具体地，点云配准处理的方法包括：获取点云配准算法模型的第一迭代输出数据、源点云数据和目标点云数据，源点云数据为从三维脊柱病灶融合图像的患者皮肤区域图像中所提取的点云数据，目标点云数据为从真实场景图像的患者皮肤区域图像中所提取的点云数据；混合现实设备还用于将第一输出数据、源点云数据和目标点云数据输入至点云配准算法模型，以通过点云配准算法模型输出第二迭代输出数据，直至第二迭代输出数据符合预设的收敛性判断标准，第一迭代输出数据为第二迭代输出数据的上一次输出数据；其中，点云配准算法模型包括第一刚体变换单元、第二刚体变换单元、第一特征提取单元、第二特征提取单元和计算匹配矩阵单元，第一刚体变换单元用于对第一迭代输出数据和源点云数据进行第一刚体变换处理得到刚体变换后的源点云数据，第二刚体变换单元用于对刚体变换后的源点云数据和目标点云数据进行第二刚体变化处理得到刚体变换后的目标点云数据，第一特征提取单元用于对刚体变换后的源点云数据进行特征提取得到源点云特征数据，第二特征提取单元用于对目标点云数据进行特征提取得到目标点云特征数据，计算匹配矩阵单元用于根据刚体变换后的目标点云数据、源点云特征数据和目标点云特征数据进行计算处理得到匹配矩阵，计算匹配矩阵单元还用于通过匹配矩阵对目标点云数据进行配准处理，得到第二迭代输出数据。
在一些可选的实施例中，跨模态图像生成模块140用于将手术前获取的患者脊柱的CT图像和/或MRI图像进行椎骨分割识别处理，得到第一图像数据；然后将手术过程中获取的患者脊柱的射线图像数据和第一图像数据并进行对称对齐与质心对齐处理，得到对齐后的初步融合图像数据；再利用点云精配准ICP算法对将初步融合图像数据进行融合处理得到三维脊柱病灶融合图像并将三维脊柱病灶融合图像传输至混合现实设备。
在一些可选的实施例中，第一图像包括CT图像和MRI图像；由于每节椎骨之间形状及灰度差异较小，椎骨自动分割时难以区分，尽管骨骼可以通过阈值处理提取，但是每块椎骨之间空间上连通，难以分开，因此对椎骨的分割归结为椎骨的多类分割，目标是将每块椎骨(包括腰骨和骶骨)及椎骨之间的关节囊独立的分割出来，为后续的穿刺规划、导航及CT、MRI融合提供支持，那么图像融合模块单元还可以用于将CT图像和MRI图像分别椎骨定位网络进行第一定位处理，得到CT图像的每个椎骨对应的定位点信息和MRI图像中的每个椎骨对应的定位点信息；然后通过定位点信息分别分割CT图像和MRI图像中的每个椎骨，得到CT图像中每个椎骨的第一椎骨图像数据和MRI图像中每个椎骨的第二椎骨图像数据；再根据CT图像中每个椎骨的第一椎骨图像数据和MRI图像中每个椎骨的第二椎骨图像数据得到椎骨分割后的CT图像和MRI图像；接着将椎骨分割后的CT图像和MRI图像进行配准处理，得到第一图像数据。
在一些可选的实施例中，由于多模态图像的测度难以定义，在CT图像及MRI图像的脊椎骨分割的基础上，进一步对CT/MRI多模态图像进行自动配准，那么图像融合模块单元还可以用于先提取椎骨分割后的CT图像的l andmark点和MRI图像的l andmark点；然后依次取CT图像的l andmark点与MRI图像的l andmark点数量相同的点；再将CT图像的landmark点与MRI图像的l andmark点依次进行质心对齐，得到初始对齐图像；接着对初始对齐图像进行刚体变换和基于金字塔的非刚体配准处理，得到第一图像数据。其中，配准网络采用拉普拉斯网络，该网络已在多项计算机视觉任务如超分辨率图像重建、光流场估计能够获得较好的性能。该网络由特征编码、多个残差模块及特征解码三个部分组成。先将两个3*3的卷积层作为特征提取层，接着进行一次步长为2的卷积作为下采样，然后是五个残差模块，再通过一次反卷积和连续的两次卷积作为特征解码层，并加入了长连接，输出和输入尺寸大小一样的三通道形变向量场。
在一些可选的实施例中，跨模态图像生成模块140还包括手术路径计算单元，手术路径计算单元用于对第一图像数据进行识别处理得到神经压迫靶点，并根据神经压迫靶点在第一图像数据中计算得到穿刺路径，并将穿刺路径发送至显示屏单元，通过显示屏单元进行显示。通过本实施例中的手术路径计算单元，导航系统的智能穿刺路径规划模块需依靠智能算法自动识别出病变的突出腰椎间盘及其附近骨骼、韧带、压迫的神经或血管等结构，在不损伤重要组织前提下给出安全有效的穿刺路径方案以供操作医生参考和选择。即利用人工智能深度学习算法自动学习分割出腰椎间孔周围椎骨、椎间盘、神经、血管等结构，以腰椎间盘突出部分为中心，分析计算出不同手术路径靶点中心与邻近重要神经血管、关节突关节距离和相应Kambin三角面积等参数，记录相关经皮穿刺角度与深度，经卷积神经网络不断迭代训练，最终给出最优的一个或数个手术路径方案供手术医生参考选择。
如图2所示，图2是本申请一个实施例提供的用于执行混合现实脊柱三维可视化显示方法的控制器的示意图，控制器设置在图1的基于混合现实脊柱三维可视化手术导航系统的跨模态图像显示模块中。
在图2的示例中，该控制器100设置有处理器110和存储器120，其中，处理器110和存储器120可以通过总线或者其他方式连接，图1中以通过总线连接为例。
存储器120作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器120可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至该控制器100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
控制器可以是可编程控制器，或者可以是其他控制器，本实施例对其不作具体限定。
本领域技术人员可以理解的是，图2中示出的控制器并不构成对本申请实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
基于上述控制器，下面提出本发明的应用于基于混合现实脊柱三维可视化手术导航系统的混合现实脊柱三维可视化显示方法的各个实施例。
参照图3，图3为本发明一个实施例提供的混合现实脊柱三维可视化显示方法的流程图，本发明实施例的混合现实脊柱三维可视化显示方法可以包括但不限于包括步骤S100、步骤S200、步骤S300、步骤S400、步骤S500、步骤S600、步骤S700、步骤S800和步骤S900。
步骤S100，获取手术前的患者脊柱的CT图像和/或MRI图像。
具体地，如图4所示的CT图像可清晰显示骨组织，如图5所示的MRI图像可以细腻显示骨骼肌、病变的椎间盘或韧带、被压迫的神经或血管等软组织，能够识别得到超声检测无法检测得到的病变情况。
步骤S200，对CT图像和/或MRI图像进行腰椎病变部位进行三维重建，得到第一图像数据。
具体地，将CT图像和MRI图像进行三维重建得到的融合图像能够使得医生在术前辨认得到骨骼、气体等不易被术中超声检出的病变，被重新识别出来，在CT和MRI的融合图像里能够同时看到同一平面内超声扫描显示不到的其余区域。该跨模态图像融合技术得到的第一图像数据相比于超声有更佳的分辨率和更大的视野。
在一些可选的实施例中，将CT图像和MRI图像通过椎骨定位网络进行第一定位处理，得到CT图像的每个椎骨对应的定位点信息和MRI图像中的每个椎骨对应的定位点信息；然后通过定位点信息分别分割CT图像和MRI图像中的每个椎骨，得到CT图像中每个椎骨的第一椎骨图像数据和MRI图像中每个椎骨的第二椎骨图像数据；再根据CT图像中每个椎骨的第一椎骨图像数据和MRI图像中每个椎骨的第二椎骨图像数据得到椎骨分割后的CT图像和MRI图像；接着将椎骨分割后的CT图像和MRI图像进行配准处理，得到第一图像数据。
在一些可选的实施例中，对于将椎骨分割后的CT图像和MRI图像进行配准处理，得到第一图像数据的步骤，可以先对于将椎骨分割后的CT图像和MRI图像进行配准处理，得到第一图像数据的步骤中，可以先提取椎骨分割后的CT图像的l andmark点和MRI图像的landmark点；然后依次取CT图像的l andmark点与MRI图像的l andmark点数量相同的点；再将CT图像的l andmark点与MRI图像的l andmark点依次进行质心对齐，得到初始对齐图像；接着对初始对齐图像进行刚体变换和基于金字塔的非刚体配准处理，得到第一图像数据。
在一些可选的实施例中，参照图6，椎骨定位网络由两部分组成，第一部分是椎骨的自动定位网络，第二部分是通过自动定位点分割出定位点所在的椎骨。在椎骨定位网络中通过一个语义分割网络回归出每个定位点热图。热图的生成是,首先计算第i个脊椎骨的质心xi，根据质心采用高斯模糊函数生成金标准热图：
表示越靠近目标点xi，灰度值越大，其中σi为可学习参数，这样热图就类似于一个光斑图像，初始生成的热图HLA是一个粗糙的热图，可能会出来多个光斑或者光斑比较模糊，将光斑图像输入到几个连续的卷积核中(绿色所示)，目标是排除掉那些虚假的光斑，并使用较大的卷积核尺度提高特征的感受野，从全局的角度进一步提取目标点，得到一个更加精确的热图HSC。HLA的优势是视野较小，提取局部特征，可以预测出较多的位置精确的目标点，缺点是针对具体的目标点假阳性高，HSC的优势在于感受野大，假阳性低，但是预测位置不精确，因此结合两者的优点，通过相乘的方式得到目标热图：
目标函数采用L2损失函数：
那么最终的定位点取热图中灰度值最大的点的坐标：
根据得到的热图点，通过裁剪的方式提取局部的椎骨原始灰度图像，将热图与灰度图作为分割网络U-Net的输入，进一步专注于分割定位点所在的脊椎骨，损失函数采用交叉熵和DSC损失函数：
步骤S300，通过C臂成像设备获取射线图像数据。
具体地，由于CT图像和MRI图像融合的第一图像数据虽然能够识别到病变情况，但是并不能获取到患者的实时情况，在手术过程中，需要通过C臂成像设备对患者脊柱进行扫描，得到实时的如图7所示的射线图像数据。
步骤S400，将射线图像数据与第一图像数据进行配准融合得到的三维脊柱病灶融合图像。
具体地，将射线图像数据与第一图像数据进行配准融合得到的如图8所示的三维脊柱病灶融合图像，三维脊柱病灶融合图像能够实时得到患者脊柱的实时图像的情况下，还能够通过手术前得到CT图像和MRI图像中获取到患者的病灶情况。通过跨模态图像融合技术得到的三维脊柱病灶融合图像具有以下优势：1、射线图像数据与MRI/CT图像叠合相当于变相增加术中超声的清晰度与扫描范围；2、实时快速成像使术前和术中影像的配准调整更加简捷，这对于引导介入性的检查治疗非常有利。
在一些可选的实施例中，先将手术过程中获取的患者脊柱的射线图像数据和第一图像数据进行对称对齐与质心对齐处理，得到对齐后的初步融合图像数据；图像融合模块单元还用于利用点云精配准ICP算法对将初步融合图像数据进行融合处理得到三维脊柱病灶融合图像并将三维脊柱病灶融合图像传输至显示屏单元。
步骤S500，分别通过第一导航单元和第二导航单元获取混合现实设备的坐标信息和C臂成像设备的坐标信息。
具体地，当完成三维脊柱病灶融合图像生成以后，为了能够在手术的过程中使得在混合现实设备移动的情况下，能够确保三维脊柱病灶融合图像配准至真实场景图像，那么需要分别通过第一导航单元和第二导航单元获取混合现实设备的坐标信息和C臂成像设备的坐标信息。
步骤S600，通过光学手术定位导航仪根据所获取对患者脊椎扫描过程中的第一导航单元的坐标信息和第二导航单元的坐标信息并建立三维空间坐标系，并对混合现实设备的三维空间坐标进行动态追踪，得到混合现实设备在手术过程中的实时坐标信息。
具体地，当获取到第一导航单元的坐标信息和第二导航单元的坐标信息之后，通过光学手术定位导航仪对所获取对患者脊椎扫描过程中的第一导航单元的坐标信息和第二导航单元的坐标信息建立混合现实设备和C臂成像设备的三维空间坐标系，然后基于该三维空间坐标系对混合现实设备进行动态追踪，从而得到混合现实设备的实时坐标信息，从而可以根据混合现实设备的实时坐标信息和C臂成像设备的坐标信息确定真实场景图像和三维脊柱病灶融合图像的相对位置关系。
步骤S700，根据C臂成像设备的坐标信息以及三维脊柱病灶融合图像处理得到三维脊柱病灶融合图像中的位置信息。
具体地，根据C臂成像设备的坐标信息和三维脊柱病灶融合图像进行处理能够得到三维脊柱病灶融合图像中的位置信息，该位置信息表征三维脊柱病灶融合图像中的每个像素点在三维空间坐标系中的对应的位置信息，由于三维脊柱病灶融合图像是基于C臂成像设备所获取的射线图像数据所融合得到的图像，使得三维脊柱病灶融合图像中的位置信息能够与混合现实设备所获取图像的位置关系相关联。
步骤S800，通过混合现实设备获取真实场景图像。
具体地，为了能够将三维脊柱病灶融合图像配准至医护人员所佩戴的混合现实设备所面向的真实场景中，先通过混合现实设备获取真实场景图像。在一些可选的实施例中，在步骤S500中获取混合现实设备的坐标信息的同时，混合现实设备也会同步获取真实场景图像、C臂成像设备也会同步获取射线图像数据，以该时间点所获取的第一导航单元的坐标信息和第二导航单元的坐标信息建立三维空间坐标系，那么可以得到该真实场景图像每个像素点在该三维空间坐标系下的坐标信息，那么同理也能够得到该C臂成像设备所同步获取射线图像数据的每个像素点在该三维空间坐标系下的坐标信息，使得混合现实设备所获取的真实场景图像的坐标信息与能够在三维空间射线图像数据的坐标信息关联起来，即混合现实设备所获取的真实场景图像的坐标信息能够与三维脊柱病灶融合图像的位置信息能够关联起来。
步骤S900，根据实时坐标信息、位置信息、真实场景图像和三维脊柱病灶融合图像进行配准处理，得到混合现实三维图像。
具体地，先对真实场景图像和三维脊柱病灶融合图像进行点云配准处理，得到混合现实脊柱三维图像；然后根据实时坐标信息、位置信息以及混合现实脊柱三维图像，得到混合现实三维图像。
在一些可选的实施例中，如图9-10所示，真实场景图像和三维脊柱病灶融合图像进行点云配准处理，得到混合现实脊柱三维图像的过程具体如下：获取点云配准算法模型的第一迭代输出数据、源点云数据和目标点云数据，源点云数据为从三维脊柱病灶融合图像的患者皮肤区域图像中所提取的点云数据，目标点云数据为从真实场景图像的患者皮肤区域图像中所提取的点云数据；混合现实设备还用于将第一输出数据、源点云数据和目标点云数据输入至点云配准算法模型，以通过点云配准算法模型输出第二迭代输出数据，直至第二迭代输出数据符合预设的收敛性判断标准，第一迭代输出数据为第二迭代输出数据的上一次输出数据；其中，点云配准算法模型包括第一刚体变换单元、第二刚体变换单元、第一特征提取单元、第二特征提取单元和计算匹配矩阵单元，第一刚体变换单元用于对第一迭代输出数据和源点云数据进行第一刚体变换处理得到刚体变换后的源点云数据，第二刚体变换单元用于对刚体变换后的源点云数据和目标点云数据进行第二刚体变化处理得到刚体变换后的目标点云数据，第一特征提取单元用于对刚体变换后的源点云数据进行特征提取得到源点云特征数据，第二特征提取单元用于对目标点云数据进行特征提取得到目标点云特征数据，计算匹配矩阵单元用于根据刚体变换后的目标点云数据、源点云特征数据和目标点云特征数据进行计算处理得到匹配矩阵，计算匹配矩阵单元还用于通过匹配矩阵对目标点云数据进行配准处理，得到第二迭代输出数据。
在一些可选的实施例中，如图9所示，(1)先针对病人患者手术前扫描的CT和MRI图像，对其分割建模、得到病人脊柱手术区域的模型数据，包括骨骼、血管、神经、目标病灶区域等，并将其导入至Ho loLens2内置的操作系统中；(2)然后术中采用Ho loLens2，利用其自身的三维重建模块，得到待手术区域的术中三维模型数据。(3)再根据步骤(1)和(2)得到的模型数据，将这两个数据作配准，获得术前多模态图像空间和术中病人物理空间之间的对应变换关系；(4)在得到术前、术中之间的空间变换关系后，将术前分割所得的病灶、神经、血管等重要的模型数据，经配准的空间变换以后，映射到术中病人的物理空间(即真实场景图像)中；(5)接着外科医生术中时佩戴Ho loLens2(混合现实设备)，利用Ho loLens2的混合现实渲染功能，即可在病人真实手术区域的背景下叠加可视术前脊柱多组织三维模型，从而能够达到混合现实导航下进行精准外科手术的目的。
在上述可选的实施例的技术方案中，最为重要的是术前和术中数据之间的配准。为此引入点云配准算法来获取术前与术中坐标空间之间的变换关系。如图10所示，点云配准的实质是把不同的坐标系中得到的点云数据进行坐标系的变换，问题的关键是其中一个坐标系中的点云数据经坐标变换参数R(旋转矩阵)和T(平移向量)，变换至另一个坐标系后，测得的对应点之间的距离最小，同时考虑到配准算法的运行效率的问题，可采用基于深度学习框架的点云配准算法进行解决。其中，一对点云数据的配准问题是两两配准，通常通过应用一个表示平移和旋转的4×4刚体变换矩阵来使得一个点云的数据集精确的与另一个点云数据集(目标数据集)进行完美的配准，具体实现步骤如下：先从两个数据集中按照同样的关键点选取标准，提取关键点；然后对所选择的所有关键点分别计算其特征描述子；接着结合特征描述子在两个数据集中的坐标位置，以两者之间的特征和位置的相似度为基础，来估算它们的对应关系，初步的估计对应点对；那么假设数据是有噪声，则需要除去对配准有影响的错误点对；再利用剩余的正确对应关系来估算刚体变换，完成配准。
需要说明的是，在提取关键点的步骤中，从点云数据获得的两组特征向量(源点云和目标点云)，需要找到相似特征再确定数据的重叠部分，然后进行配准。根据特征的类型使用不同的方法来搜索特征之间的对应关系。常用的处理策略有穷举法、KD树最近邻搜索，本实施例对其不作具体限定。
需要说明的是，在对应关系的去除的相关步骤中，由于噪声的影响，通常并不是所有估计的对应关系都是正确的，错误的对应关系对于最终的刚体变换矩阵的估算会产生负面的影响，所以采用随机采样一致性估计剔除错误的对应关系，最终对应关系数量只使用一定比例的对应关系，既能提高变换矩阵的估计精度也提高了配准点的速度。
需要说明的是，对于变换矩阵的估算方法，先在对应关系的基础上评估一些错误的度量标准；然后在摄像机位姿(运动估算)和最小化错误度量标准下估算一个刚体变换；接着优化点的结构；再使用刚体变换把点云旋转平移到与目标所在的同一坐标系下，用所有点、点的一个子集或关键点运算一个内部的ICP循环；接着再进行迭代，直到符合收敛性判断标准为止。其中，收敛性判断标准可以根据实际情况设置，本实施例对其不作具体限定。
在上述实施例中的技术方案中，能够达到的技术效果如下：
(1)采用脊柱术前CT、MRI，术中三维C臂扫描等多模态图像融合技术，建立包含病变部位骨骼、肌肉、神经、血管、椎间盘、病变组织的三维可视化模型，呈现神经受压位点，作为射频治疗靶点，为术中引导射频刀头对压迫神经的病变组织进行精准治疗提供基础。
(2)通过对临床腰椎间盘突出症患者大数据的收集整理，采用人工智能分析辅助确定手术指征、自动识别病变靶点、计算最佳手术路径，在不损伤破坏重要神经血管组织和腰椎原有稳定结构的前提下，能够精准射频解除神经压迫。
(3)利用混合现实技术在实际手术区域生成虚拟腰椎全息三维可视化模型，在术野可见的情况下立体清晰展示突出椎间盘及附近骨骼、神经、血管等相关结构，术者更加清楚治疗靶点与周围重要结构之间相对位置与距离关系，同时实现MR模型与患者真实解剖位置的自动配准，并采用光学导航系统实时跟踪患者体位及手术器械动态位置变化，对压迫神经病变组织真正做到精准射频靶点治疗。
(4)整套混合现实脊柱三维可视化手术导航系统预计达到智能、精准、微创、安全、高效的治疗目的，实现皮肤切口仅为1-2mm，患者术后当天即可行走、出院，将微创手术、数字手术导航技术、人工智能技术、精准外科技术、混合现实技术同时引入腰椎间盘突出症手术中，为腰椎手术建立一个新的技术平台。
此外，本申请的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，当计算机可执行指令用于执行上述混合现实脊柱三维可视化显示方法，例如，执行以上描述的图3中的方法步骤S100至S900。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。需要说明的是，计算机可读存储介质可以是非易失性，也可以是易失性。
以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本申请权利要求所限定的范围内。

Claims (6)

1.一种基于混合现实脊柱三维可视化手术导航系统，其特征在于，包括：
混合现实设备，包括第一导航单元；
C臂成像设备，包括第二导航单元，所述C臂成像设备用于在手术过程中获取患者脊柱的射线图像数据；
光学手术定位导航仪，用于根据所获取对患者脊椎扫描过程中的所述第一导航单元的坐标信息和所述第二导航单元的坐标信息并建立三维空间坐标系，以及用于对所述混合现实设备的三维空间坐标进行动态追踪，得到所述混合现实设备在手术过程中的实时坐标信息；
跨模态图像生成模块，用于生成三维脊柱病灶融合图像数据并将所述三维脊柱病灶融合图像数据发送至所述混合现实设备，其中所述三维脊柱病灶融合图像数据包括三维脊柱病灶融合图像以及所述三维脊柱病灶融合图像中的位置信息，所述三维脊柱病灶融合图像为对所述射线图像数据和第一图像数据所配准融合得到的图像，所述第一图像数据为对手术前获取的患者脊柱的CT图像和/或MRI图像进行腰椎病变部位进行三维重建后的图像，所述位置信息根据所述C臂成像设备的坐标信息以及所述三维脊柱病灶融合图像得到；
所述混合现实设备还用于获取真实场景图像，并根据所述实时坐标信息、所述位置信息、所述真实场景图像和所述三维脊柱病灶融合图像进行配准处理，得到混合现实三维图像；
所述跨模态图像生成模块还包括图像融合模块单元和数据传输单元，所述图像融合模块单元用于将手术前获取的患者脊柱的所述CT图像和/或所述MRI图像进行椎骨分割识别处理，得到所述第一图像数据；
所述图像融合模块单元还用于将手术过程中获取的患者脊柱的射线图像数据和第一图像数据进行对称对齐与质心对齐处理，得到对齐后的初步融合图像数据；
所述图像融合模块单元还用于利用点云精配准ICP算法对所述初步融合图像数据进行融合处理得到三维脊柱病灶融合图像；
所述数据传输单元用于将所述图像融合模块单元所生成的所述三维脊柱病灶融合图像数据传输至所述混合现实设备；
所述第一图像包括CT图像和MRI图像，所述图像融合模块单元还用于将所述CT图像和所述MRI图像分别椎骨定位网络进行第一定位处理，得到所述CT图像的每个椎骨对应的定位点信息和所述MRI图像中的每个椎骨对应的定位点信息；
通过所述定位点信息分别分割所述CT图像和所述MRI图像中的每个椎骨，得到所述CT图像中每个椎骨的第一椎骨图像数据和所述MRI图像中每个椎骨的第二椎骨图像数据；
根据所述CT图像中每个椎骨的第一椎骨图像数据和所述MRI图像中每个椎骨的第二椎骨图像数据得到椎骨分割后的所述CT图像和所述MRI图像；
将椎骨分割后的所述CT图像和所述MRI图像进行配准处理，得到所述第一图像数据；
其中，在所述椎骨定位网络中通过语义分割网络回归出每个定位点的热图，热图的生成方法通过以下公式处理得到：
；
xi为第i个脊椎骨的质心，σi为可学习参数：
；
HLA为初始热图，HSC为对HLA中的虚假光斑进行排除，使用卷积核尺度提高特征的感受野，从全局的角度提取目标点所得到的热图，通过相乘的方式得到目标热图；
目标函数采用L2损失函数：
；
定位点取热图中灰度值最大的点的坐标：
；
根据得到的热图的点的坐标，通过裁剪的方式提取局部的椎骨原始灰度图像，将热图与灰度图作为分割网络U-Net的输入，专注于分割定位点所在的脊椎骨，其中，损失函数采用交叉熵和DSC损失函数：
。
2.根据权利要求1所述的基于混合现实脊柱三维可视化手术导航系统，其特征在于，所述第一导航单元包括第一导航空间架体和设置在所述第一导航空间架体上的多个红外反射球，所述第二导航单元包括第二导航空间架体和设置在所述第二导航空间架体上的多个红外反射球。
3.根据权利要求1所述的基于混合现实脊柱三维可视化手术导航系统，其特征在于，
所述混合现实设备还用于对所述真实场景图像和所述三维脊柱病灶融合图像进行点云配准处理，得到混合现实脊柱三维图像；
所述混合现实设备还用于根据所述实时坐标信息、所述位置信息以及混合现实脊柱三维图像，得到混合现实三维图像。
4.根据权利要求3所述的基于混合现实脊柱三维可视化手术导航系统，其特征在于，
所述混合现实设备还用于获取点云配准算法模型的第一迭代输出数据、源点云数据和目标点云数据，所述源点云数据为从所述三维脊柱病灶融合图像的患者皮肤区域图像中所提取的点云数据，所述目标点云数据为从所述真实场景图像的患者皮肤区域图像中所提取的点云数据；
所述混合现实设备还用于将所述第一迭代输出数据、所述源点云数据和所述目标点云数据输入至所述点云配准算法模型，以通过所述点云配准算法模型输出第二迭代输出数据，直至所述第二迭代输出数据符合预设的收敛性判断标准，所述第一迭代输出数据为所述第二迭代输出数据的上一次输出数据；
其中，所述点云配准算法模型包括第一刚体变换单元、第二刚体变换单元、第一特征提取单元、第二特征提取单元和计算匹配矩阵单元，所述第一刚体变换单元用于对所述第一迭代输出数据和所述源点云数据进行第一刚体变换处理得到刚体变换后的源点云数据，所述第二刚体变换单元用于对所述刚体变换后的源点云数据和所述目标点云数据进行第二刚体变化处理得到刚体变换后的目标点云数据，所述第一特征提取单元用于对所述刚体变换后的源点云数据进行特征提取得到源点云特征数据，所述第二特征提取单元用于对所述目标点云数据进行特征提取得到目标点云特征数据，所述计算匹配矩阵单元用于根据所述刚体变换后的目标点云数据、所述源点云特征数据和所述目标点云特征数据进行计算处理得到匹配矩阵，所述计算匹配矩阵单元还用于通过所述匹配矩阵对所述目标点云数据进行配准处理，得到第二迭代输出数据。
5.根据权利要求1所述的基于混合现实脊柱三维可视化手术导航系统，其特征在于，所述跨模态图像生成模块还包括手术路径计算单元，所述手术路径计算单元用于对第一图像数据进行识别处理得到神经压迫靶点，并根据所述神经压迫靶点在所述第一图像数据中计算得到穿刺路径。
6.根据权利要求1所述的基于混合现实脊柱三维可视化手术导航系统，其特征在于，所述图像融合模块单元还用于：
提取椎骨分割后的所述CT图像的landmark点和所述MRI图像的landmark点；
依次取所述CT图像的landmark点与所述MRI图像的landmark点数量相同的点；
将所述CT图像的landmark点与所述MRI图像的landmark点依次进行质心对齐，得到初始对齐图像；
对所述初始对齐图像进行刚体变换和基于金字塔的非刚体配准处理，得到所述第一图像数据。
CN202310450119.8A 2023-04-24 2023-04-24 一种基于混合现实脊柱三维可视化手术导航系统 Active CN116492052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310450119.8A CN116492052B (zh) 2023-04-24 2023-04-24 一种基于混合现实脊柱三维可视化手术导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310450119.8A CN116492052B (zh) 2023-04-24 2023-04-24 一种基于混合现实脊柱三维可视化手术导航系统

Publications (2)

Publication Number Publication Date
CN116492052A CN116492052A (zh) 2023-07-28
CN116492052B true CN116492052B (zh) 2024-04-23

Family

ID=87322465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310450119.8A Active CN116492052B (zh) 2023-04-24 2023-04-24 一种基于混合现实脊柱三维可视化手术导航系统

Country Status (1)

Country Link
CN (1) CN116492052B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116942317B (zh) * 2023-09-21 2023-12-26 中南大学 一种手术导航定位系统
CN117598782B (zh) * 2023-09-28 2024-06-04 苏州盛星医疗器械有限公司 用于经皮穿刺手术的手术导航方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7280710B1 (en) * 2002-05-24 2007-10-09 Cleveland Clinic Foundation Architecture for real-time 3D image registration
CN106846330A (zh) * 2016-12-22 2017-06-13 浙江大学宁波理工学院 人体肝脏特征建模及血管模型空间归一方法
CN109925057A (zh) * 2019-04-29 2019-06-25 苏州大学 一种基于增强现实的脊柱微创手术导航方法及系统
CN109925058A (zh) * 2017-12-18 2019-06-25 吕海 一种脊柱外科微创手术导航系统
CN111932533A (zh) * 2020-09-22 2020-11-13 平安科技（深圳）有限公司 Ct图像椎骨定位方法、装置、设备及介质
CN112990373A (zh) * 2021-04-28 2021-06-18 四川大学 基于多尺度特征融合的卷积孪生点网络叶片轮廓拼接系统
CN215937645U (zh) * 2020-03-31 2022-03-04 吴昀效 一种新型混合现实技术脊柱手术节段定位装置
CN115105207A (zh) * 2022-06-28 2022-09-27 北京触幻科技有限公司 基于混合现实的手术全息导航方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107595387B (zh) * 2017-07-28 2020-08-07 浙江大学 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统
US20210346093A1 (en) * 2020-05-06 2021-11-11 Warsaw Orthopedic, Inc. Spinal surgery system and methods of use
US20220370146A1 (en) * 2021-05-19 2022-11-24 Globus Medical, Inc. Intraoperative alignment assessment system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7280710B1 (en) * 2002-05-24 2007-10-09 Cleveland Clinic Foundation Architecture for real-time 3D image registration
CN106846330A (zh) * 2016-12-22 2017-06-13 浙江大学宁波理工学院 人体肝脏特征建模及血管模型空间归一方法
CN109925058A (zh) * 2017-12-18 2019-06-25 吕海 一种脊柱外科微创手术导航系统
CN109925057A (zh) * 2019-04-29 2019-06-25 苏州大学 一种基于增强现实的脊柱微创手术导航方法及系统
CN215937645U (zh) * 2020-03-31 2022-03-04 吴昀效 一种新型混合现实技术脊柱手术节段定位装置
CN111932533A (zh) * 2020-09-22 2020-11-13 平安科技（深圳）有限公司 Ct图像椎骨定位方法、装置、设备及介质
CN112990373A (zh) * 2021-04-28 2021-06-18 四川大学 基于多尺度特征融合的卷积孪生点网络叶片轮廓拼接系统
CN115105207A (zh) * 2022-06-28 2022-09-27 北京触幻科技有限公司 基于混合现实的手术全息导航方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于ICP算法的手术导航三维配准技术;王君臣;王田苗;徐源;方礼明;;北京航空航天大学学报;20090415(第04期);45-49 *

Also Published As

Publication number Publication date
CN116492052A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US11304680B2 (en) Spinal image generation system based on ultrasonic rubbing technique and navigation positioning system for spinal surgery
CN116492052B (zh) 一种基于混合现实脊柱三维可视化手术导航系统
CN111494009B (zh) 用于手术导航的图像配准方法、装置和手术导航系统
Gueziri et al. The state-of-the-art in ultrasound-guided spine interventions
US20180153620A1 (en) Spinal Navigation Method, Spinal Navigation System and Computer Program Product
TWI836491B (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
US20230008386A1 (en) Method for automatically planning a trajectory for a medical intervention
WO2014117806A1 (en) Registration correction based on shift detection in image data
CN116421313A (zh) 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法
US20210330250A1 (en) Clinical diagnosis and treatment planning system and methods of use
CN109771052B (zh) 基于多目成像和多偏振态成像的三维图像建立方法及系统
CN115105204A (zh) 一种腹腔镜增强现实融合显示方法
CN116570370B (zh) 一种脊柱针刀穿刺导航系统
KR101988531B1 (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
Maharjan et al. A novel visualization system of using augmented reality in knee replacement surgery: Enhanced bidirectional maximum correntropy algorithm
CN113907879A (zh) 一种个性化颈椎内镜定位方法及系统
US11564767B2 (en) Clinical diagnosis and treatment planning system and methods of use
CN117836776A (zh) 医疗手术期间的成像
Naik et al. Feature-based registration framework for pedicle screw trajectory registration between multimodal images
Sun A Review of 3D-2D Registration Methods and Applications based on Medical Images
EP3800617B1 (en) A computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an artificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
JP2024541438A (ja) 二次元画像データセットと関心部位の三次元画像データセットを登録する方法及びナビゲーションシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant