CN117836776A - 医疗手术期间的成像 - Google Patents

Abstract

本发明提供了一种系统，该系统可被配置为促进医疗手术。一些实施方案可以：获取对应于感兴趣区域(ROI)的扫描；实时捕获患者的图像；经由经训练的机器学习(ML)模型使用所获取的扫描和所捕获的图像来识别Kambin三角；以及将所识别的Kambin三角的表示叠加在所捕获的图像上。

Description

医疗手术期间的成像

技术领域

本公开整体涉及用于通过识别神经结构的预测位置并对其建模来减少与手术相关联的神经并发症的系统和方法。本公开还涉及基于所学习的解剖关联来预测性地定位解剖结构的机器学习网络和模型的创建、使用和应用。

本公开还涉及用于预测身体内不同方面的存在以随后识别目标和/或确定到其的路径的系统和方法。

背景技术

围手术期神经损伤是已知的与择期脊柱手术相关联的并发症。当在外科手术期间与神经结构发生接触时，可能导致神经损伤。可由脊柱手术引起的围手术期神经并发症的一些示例包括血管损伤、硬脊膜切开、神经根损伤以及在脊柱器械操作期间对脊髓或神经根的直接机械压迫。由于患者的解剖结构差异很大，因此可能使得难以准确地预测或识别特定患者的脊柱区域中的神经结构的位置。

根据来自美国国家科学研究所(National Institute of Science)的数据，由择期脊柱手术引起的围手术期神经损伤的发生率增加54.4％，在1999和2011之间从0.68％增加到1％。另外，择期脊柱手术中的围手术期神经并发症与更长的住院时间(9.68天对比2.59天)、更高的总费用($110,326.23对比$48,695.93)和增加的住院死亡率(2.84％对比0.13％)相关联。

虽然微创脊柱手术(MISS)具有许多已知的益处，但腰椎手术的患者结果数据的多研究分析表明，与传统的“开放式”手术技术(0％-2％)相比，MISS具有显著更高的神经根损伤率(2％-23.8％)。对于MISS规程，进入脊柱或目标手术区域通常涉及导航外科器械穿过包括肌肉、脂肪组织和神经结构的患者解剖结构。当前的术中成像装置并未充分地显示操作区域中的神经结构。例如，通常在手术中使用计算机断层摄影(CT)和锥形束计算机断层摄影(CBCT)成像技术来使患者解剖结构的操作区域中的肌肉骨骼结构可视化。然而，CT和CBCT图像并未显示神经结构。此外，当前实践是使用CT成像来进行手术入路的术前计划。由于神经结构在CT图像体积中不可见，因此无法优化手术入路来避免或减少与神经结构的接触。虽然磁共振成像(MRI)成像示出了所扫描患者解剖结构的肌肉骨骼和神经结构两者，但MRI成像通常仅用于对患者进行诊断，而不用于术前手术计划或术中使用。

尽管在MISS规程中围手术期神经损伤的发生率大于传统的开放式手术技术，但MISS对于需要手术的脊柱病症仍然是有吸引力的治疗选择。与开放式手术相比，MISS的益处包括更短的恢复时间、更少的术后疼痛和更小的切口。

因此，需要用于降低脊柱手术中神经并发症的发生率的系统和方法，并且具体地，需要用于降低微创脊柱手术中神经并发症的发生率的系统和方法。

在MISS手术期间，即使对于有经验的从业人员，也难以识别解剖结构，并且因此通常利用多种技术。CT无创扫描包括X射线，以产生身体或患者(例如，人或动物)的感兴趣区域(ROI)的详细三维(3D)图像。MRI包括无创地使用磁体来产生强磁场以及无创地使用脉冲来产生目标或ROI的3D图像。内窥镜实时提供手术部位上的视觉信息。可将CT和MRI扫描叠加在相机的图像上，并且可经由增强现实(AR)或虚拟现实(VR)来执行可视化。

发明内容

本发明公开了用于识别医疗器械的插入位置(例如，在医疗手术期间，诸如微创经椎间孔入路腰椎椎间融合(TLIF)手术)，此后当在其中推进器械时不与神经或骨接触的系统和方法。因此，本公开的一个或多个方面涉及一种方法，该方法用于：获取对应于ROI的扫描；实时捕获患者的图像；经由经训练的机器学习模型使用所获取的扫描和所捕获的图像来识别Kambin三角；以及将所识别的三角的表示叠加在所捕获的图像上。

该方法由包括由机器可读指令和/或其他部件配置的一个或多个硬件处理器的系统实现。该系统包括一个或多个处理器以及例如可在其上执行机器可读指令的其他部件或介质。所述技术和架构中的任一者的具体实施可包括方法或过程、装置、设备、机器、系统或存储在计算机可读存储设备上的指令。

上述特征或变型中的任一者能够以多种不同的组合应用于本公开的任何特定方面或实施方案。没有明确叙述任何特定的组合仅仅是为了避免赘述。

附图说明

特定具体实施的细节在以下附图和描述中阐述。在本说明书通篇中，相同的附图标号可指代相同的元件。根据包括附图和权利要求在内的以下描述，其他特征将显而易见。然而，附图仅用于说明和描述的目的，并非旨在作为对本公开的限制的定义。

图1示出了本发明的图像分析工具的示例性3D模型输出。

图2示出了本发明的经训练的图像分析工具的部署方案的示例性实施方案。

图3是使用本发明的图像分析工具来创建患者专用手术计划的示例性方法。

图4是本发明的图像分析工具的术中使用的示例性方法。

图5是图4的方法的步骤的示例性图示。

图6是图4的方法的步骤的示例性图示。

图7是图4的方法的步骤的示例性图示。

图8是图4的方法的步骤的示例性图示。

图9是图4的方法的步骤的示例性图示。

图10是图4的方法的步骤的示例性图示。

图11是本发明的图像分析工具的示例性示意图。

图12示出了脊柱解剖结构的融合MRI样本。

图13是本发明的分割算法的示意图。

图14是训练和部署本发明的分割算法的示例性方法。

图15示出了输入到本发明的分割算法的示例性图像体积。

图16示出了输入到本发明的分割算法的另一示例性图像体积。

图17示出了现有技术的U-net架构。

图18示出了根据一个或多个实施方案的在其中辅助MISS的系统的示例。

图19A包括根据现有技术的脊柱的一部分的后立视图和侧立视图。

图19B包括根据现有技术的椎骨的俯视图。

图20A至图20B是根据一个或多个实施方案的所识别的Kambin三角的示意图。

图21示出了根据一个或多个实施方案的用于提高医疗手术的准确性的过程。

图22示出了根据一个或多个实施方案的用于促进态势感知医疗手术的过程。

具体实施方式

如在本专利申请通篇中所使用的那样，以允许的意义(即，意味着具有可能性)而非强制的意义(即，意味着必须)使用字词“可”。词语“包括”、“包含”和“含有”等意指包括但不限于。如本文所用，除非上下文另有明确说明，否则单数形式“一个”、“一种”和“该”包括复数指代。如本文所采用，术语“数量”应意指一或大于一(即，多个)的整数。

如本文所用，两个或更多个部分或部件“联接”的表述应意指这些部分直接地或间接地(即，通过一个或多个中间部分或部件)接合在一起或一起操作，只要发生连接即可。如本文所用，“直接联接”意指两个元件彼此直接接触。本文使用的方向性短语，诸如，例如但不限于顶部、底部、左侧、右侧、上部、下部、前侧、后侧及其派生词，与附图中所示的元件的取向相关，而不是对权利要求的限制，除非在其中明确地陈述。

这些附图可能未按比例绘制，并且可能未精确地反映任何给定实施方案的结构或性能特性，并且不应当被解释为限定或限制由示例性实施方案涵盖的值或属性的范围。

除非另有明确说明，否则如根据所述讨论显而易见的是，应当理解，在本说明书通篇中，利用诸如“处理”、“计算”、“计算出”、“确定”等术语的讨论是指诸如专用计算机或类似的专用电子处理/计算设备的特定装置的动作或过程。

现在将描述某些示例性实施方案以从整体上理解本文所公开的装置、系统和方法的结构、功能、制造和使用的原理。这些实施方案的一个或多个示例在附图中示出。本领域技术人员将理解，本文具体描述且附图中示出的装置、系统和方法是非限制性的示例性实施方案。结合一个示例性实施方案示出或描述的特征部可与其他实施方案的特征部进行组合。此类修改和变型旨在被包括在本公开的范围内。

另外，就在公开的装置和方法的描述中使用线性或圆形尺寸而言，此类尺寸并非旨在限制可与此类装置和方法结合使用的形状的类型。本领域中技术人员将认识到，针对任何几何形状可容易地确定此类线性和圆形尺寸的等效尺寸。更进一步地，装置及其部件的尺寸和形状可至少取决于将在其中将使用该装置的受试者的解剖结构、将与该装置一起使用的部件的尺寸和形状、以及将在其中使用该装置的方法和手术。

虽然所例示的实施方案和所附描述特别参考脊柱外科手术，并且具体地，参考微创脊柱外科手术中的应用，但本文所述的设备、系统和方法不限于这些应用。

现在将提供关于成像和神经网络的一些背景信息。如上文所讨论的，在医疗领域中存在用于降低与择期脊柱手术相关联的神经并发症的发生率的需求。在当前实践中，MRI成像可使患者解剖结构的扫描区域中的肌肉骨骼和神经结构或组织两者可视化。然而，MRI成像并不优选用于术前手术计划或术中计划或反馈。CT成像和CBCT成像可用于显示患者解剖结构的扫描区域中的肌肉骨骼结构。然而，神经结构在CT或CBCT图像体积中不可见。CT或CBCT成像通常由外科医生用于术前手术计划和/或术中手术导航、计划或分析。具体地，对于微创脊柱外科手术，CT或CBCT图像体积可在术前用于计划手术入路以供外科器械跟随进入目标脊柱区域。在使用计算机辅助导航环境的一些外科手术中，CT或CBCT成像可在手术中用于显示患者解剖结构的手术区域。如果在手术期间调整了患者位置，则CT或CBCT成像可随之更新。

对于MRI以及CT或CBCT成像，可对所得图像体积进行注释、标记或分割以识别不同的解剖结构。识别图像体积中的结构的过程可被称为注释、标记或分割图像体积，并且这些术语在本文的公开内容通篇中可互换地使用。另选地，所得图像体积可保持为未分割体积。就未分割体积而言，所得图像体积不包括将在图像体积中可见的结构彼此区分的数据。

机器学习算法的最新发展包括U-Net的发展，其是应用于生物医学图像分割的(深度)卷积神经网络(CNN)。一般来讲，CNN是在输入层与输出层之间具有多个层的深度神经网络。CNN可被训练为分解输入图像，识别跨输入图像的所有样本存在的趋势，以及在没有人工输入的情况下使用所识别的趋势对未标记输入图像进行分类。这样，CNN可学习在传统算法中手动设计的图像过滤器。

在最近的研究中，已经建立了已知的U-net架构来创建基于U-net的深度网络，该深度网络学习仅从几个注释的2D切片生成密集体积分割。半自动深层网络可使在注释的2D输入切片中存在的分割致密化。在全自动设置中，存在代表性稀疏注释的训练数据集，并且可输入该训练数据集以训练神经网络从而密集地分割新的体积图像。在这两种情况下，深度神经网络使用U-net架构来生成在输入图像中示出但未被密集分割的解剖结构的密集分割。

图17示出了已知的U-net架构1700的图示，其包括用于分析整个图像的收缩编码器部分和用于产生全分辨率分割的连续扩展解码器部分。图17的u-net架构采用3D体积作为输入并且使用对应的3D操作(具体地，3D卷积、3D最大池化以及3D上卷积层)来处理它们。u-net架构具有分析和合成路径，每个路径具有四个解析步骤。在分析路径中，每个层包含两个3×3×3卷积，每个卷积之后是整流线性单元(ReLu)，然后是2×2×2最大池化，其中在每个维度中步幅为二。在合成路径中，每个层由2×2×2的上卷积组成，在每个维度中步幅为二，之后是两个3×3×3的卷积，每个卷积之后是ReLu。来自分析路径中的相等分辨率的层的快捷连接向合成路径提供基本的高分辨率特征。在最后一层中，1×1×1卷积将输出通道的数量减少到标记的数量，就图17而言其数量为3。图17所示的架构总共具有19,069,955个参数。通过在最大池化之前已经使通道数量加倍来避免瓶颈。在合成路径中进行相同的操作。

继续参考图17，到网络的输入是具有3个通道的图像的132×132×116体素图块。最后一层中的输出分别是x、y和z方向上的44×44×28体素。在体素大小为1.76×1.75×2.04μm3的情况下，对于预测分割中的每个体素，近似感受野变为155×155×180μm3。因此，每个输出体素具有足够的上下文来有效地学习。在每个ReLu之前引入批次归一化。每个批次在训练期间使用其平均和标准偏差进行归一化，并且使用这些值更新全局统计。这之后是用于明确地学习缩放和偏差的层。u-net架构包括加权softmax损失函数。未标记像素的权重可被设置为零，使得可仅从标记像素学习并且推广到整个体积。

本文所公开的系统和方法可包括图像分析工具，该图像分析工具在u-net架构上扩展以有效地和预测性地识别、标记、建模和可视化来自未标记输入体积的解剖结构。

一般地，现在将呈现用于脊柱手术的神经解剖结构的预测建模和可视化的公开内容。本发明整体涉及用于预测性地定位、建模和可视化来自患者解剖结构的未分割或未标记图像体积的神经组织的方法、系统和设备。本文所述的方法、系统和设备特别适合与脊柱外科手术结合使用，并且尤其适合在微创脊柱外科手术中使用。可训练本发明的图像分析工具以预测性地定位、建模和可视化来自患者脊柱区域的未标记图像体积的患者脊柱附近的神经结构。本发明的图像分析工具可被配置为机器学习系统。在一个实施方案中，图像分析工具可包括多个卷积神经网络。在一个实施方案中，图像分析工具可包括被配置为经训练的预测模型的第一卷积神经网络和将第一卷积神经网络用作真值(ground truth)像素标记分类的第二卷积神经网络。本发明的第一卷积神经网络和第二卷积神经网络也可分别称为第一U-Net和第二U-Net。

本发明的图像分析工具可接收脊柱区域的未标记CT或CBCT扫描体积作为输入，并且可使用经训练的神经网络来预测与所扫描脊柱区域相关联的至少一个神经结构的位置以及识别与所扫描的脊柱区域相关联的至少一个神经结构。图像分析工具可以一定程度的置信度输出所扫描的脊柱区域的分割或标记图像。在一个实施方案中，图像分析工具可输出来自未分割患者扫描的脊柱附近的标记神经结构的3D模型。图像分析工具输出可提供初始的患者专用“神经路线图”，用于基于患者专用解剖结构来优化手术入路以避免与神经结构接触。图像分析工具可依赖于神经和肌肉骨骼解剖结构的基于深度学习的协变模型来进行关联，从而以一定程度的置信度预测性地建模和识别神经组织。根据本发明，不需要附加的患者成像(诸如使用MRI或超声的成像)来识别患者脊柱附近的神经组织的位置。

在一个实施方案中，本发明的图像分析工具可用作计算机辅助导航环境的一部分，该计算机辅助导航环境可包括例如术中CBCT和工具跟踪。本发明的图像分析工具可与任何已知的计算机辅助导航环境结合或结合使用。将本发明的图像分析工具与计算机辅助导航环境结合可允许对神经结构的预测建模和可视化和/或患者专用手术计划进行术中调整和更新。计算机辅助导航环境可接收关于正在执行的外科手术的术中反馈。例如，术中反馈可包括有关患者、神经结构或外科器械的位置的信息，并且可与由本发明生成的神经结构的模型结合使用以减少与神经结构的不必要接触。由图像分析工具生成的神经结构的预测建模和可视化可通过来自神经监测探针、关节镜相机等的反馈在术中验证。

在本发明中生成的患者专用手术计划也可用作计算机辅助导航或机器人外科系统的一部分，以帮助避免在进入脊柱时接触神经组织。另选地，本发明的系统、方法和设备可用作独立的术前计划系统。例如，本发明的图像分析工具连同本文所述的系统和方法一起可用作与术前CT扫描结合的术前计划系统。无论是单独使用还是结合到术中环境中使用，本发明的图像分析工具都可单独依赖于CT或CBCT图像来识别和分割所扫描手术区域中的患者的神经组织，并且不需要出于识别和定位手术区域中的神经组织的目的而对患者执行诸如MRI或超声的附加成像。

本发明的图像分析工具可使用神经和肌肉骨骼解剖结构的基于深度学习的协变模型来生成和输出患者脊柱附近的预测神经组织的3D模型。图1示出了本发明的图像分析工具的示例性3D模型输出10。3D模型10可以是由图像分析工具计算的分割数据的视觉表示。如将在下文更详细讨论的，可使用分割到表面模型转换算法(诸如移动立方体算法)将图像分析工具的数据输出转换成表面模型。应当理解，可使用将分割数据转换成视觉模型的任何已知方法，并且该方法在本发明的范围内。

示例性输出10是使患者的脊柱区域可视化的3D模型，该脊柱区域已经由图像分析工具自动分割以识别脊柱区域中的神经结构。图1所示的3D模型输出10显示了两个相邻的椎骨20和30，其中对脊柱区域的预测神经组织40进行了可视化。在一个实施方案中，图像分析工具可在3D模型10内识别和输出至少一个置信区间50。置信区间可考虑神经的预测位置中的预期误差来源。例如，自然患者变化或测量误差可能导致计算误差。图像分析工具的置信区间可以是表示神经组织位置的置信区间的等值面。

现在将提供本发明的图像分析工具的简要概述，之后对使用本发明的图像分析工具的方法进行描述。最后，将详细讨论本发明的图像分析工具本身。

本发明的图像分析工具可包括分割算法，该分割算法能够接收未标记CT或CBCT扫描数据作为输入，并且能够可预测地定位和识别扫描区域中的神经结构。分割算法可依赖于神经组织与解剖结构之间的经训练的深度学习协变模型。协变模型包括完整的数据，即分割的骨骼、肌肉和神经解剖结构，并且可用于预测缺失的数据标记，即来自CT或CBCT扫描的神经解剖结构。图像分析工具接收未标记患者CT或CBCT扫描作为输入，并且使用分割算法来定位和识别扫描区域中的神经组织。图像分析工具能够生成和输出识别标记神经结构的输入扫描区域的3D模型体积。另外，图像分析工具可被配置为输出在未标记CT或CBCT输入扫描中存在的标记肌肉骨骼结构。

本发明的协变模型最初在图像分析工具的离线训练阶段期间创建。如将在下文详细讨论的，训练阶段使用标记MRI体积的输入数据来构建解剖协变模型。训练阶段还可包括从MRI体积生成的附加训练数据以训练模型。该协变模型然后被用于针对第二组输入训练数据训练图像分析工具。第二组输入训练数据可被标记为CT或CBCT体积，即包括分割的肌肉骨骼结构的CT或CBCT体积。图像分析工具然后可使用协变模型来输出对应于标记肌肉骨骼解剖结构的神经结构。在离线训练阶段之后，图像分析工具可部署在本发明的各种系统和方法中，以识别来自未标记CT或CBCT扫描体积的患者的手术区域中的神经组织。

转到本发明的图像分析工具的部署或使用阶段，图2示出了经训练的图像分析工具200的部署方案。图像分析工具200可接收患者扫描210作为输入。输入患者扫描210可以是完全未标记或未分割图像体积。输入患者扫描可以是术前患者扫描或术中患者扫描。在一个实施方案中，图像分析工具200可接收CBCT体积的灰度数据、CT体积的体素数据、或表示使用本领域已知的任何成像技术扫描的患者解剖结构的等效未标记或未分割图像数据。在图2所示的示例中，经训练的图像分析工具200接收患者脊柱区域的灰度数据CBCT体积210。

图像分析工具200可使用分割算法来自动分割所接收的输入数据的肌肉骨骼组织和神经组织。例如，图像分析工具200的输出220可显示分割的肌肉骨骼组织，诸如椎体、椎间盘、腰大肌和竖脊肌；以及神经组织，诸如神经、脊髓和马尾神经。例如，图2的输出220示出了分割的肌肉骨骼组织、椎骨222和224以及腰大肌226和228，以及神经结构(出口神经根230和232)。本发明的图像分析工具可基于统计分析和协变模型以及患者表型信息来显示所识别的神经结构的多个区域。患者表型信息可包括例如患者性别、体重指数、椎孔空间等。

如上文所讨论的，本发明的图像分析工具的输出220可以是具有被识别和标记的至少一个神经结构的3D表面模型。可使用分割到表面模型转换算法来实现该3D表面模型。图像分析工具或结合本发明的图像分析工具的系统可显示所识别的神经结构并且将该神经结构叠加在输入扫描体积(即，未标记CT或CBCT扫描)上。

图3示出了使用本发明的图像分析工具来创建患者专用手术计划的示例性方法300。患者专用手术计划可以是经优化以降低接触神经组织的风险的计划。使用方法300创建的患者专用手术计划可用作独立的术前计划工具，或者可在执行外科手术时将其结合在术中。在第一步骤310中，由图像分析工具获取手术区域的CT或CBCT体积。如前文所讨论的，由图像分析工具获取的CT或CBCT体积可以是未标记的。接着，在步骤320中，图像分析工具可自动分割和识别所获取的患者扫描输入体积的神经结构。另外，图像分析工具可自动分割和识别输入体积的肌肉骨骼结构。在步骤330处，所识别的神经结构然后可被显示和叠加在CT或CBCT输入体积上。

在一个实施方案中，在步骤340中，图像分析工具可基于患者位置的预期变化来考虑神经结构的预期移动。例如，患者位置的预期变化可以是患者成像位置与患者操作位置之间的变化。例如，如果以仰卧位进行输入CT扫描并且将以俯卧位执行操作，则系统可考虑这种位置变化并且更新神经结构的预测位置。所显示的神经结构可被更新、调整，或其初始反映患者位置的预期变化。可在初始识别神经结构之前或之后将有关患者位置变化的信息加载到系统中。可使用任何已知的数据输入方法将位置信息输入到系统中，例如通过从下拉列表中选择患者位置，通过以数据输入形式直接输入患者位置信息，或者通过图像分析工具系统从存储在连接的网络、服务器或其他数据位置上的信息中自动检索位置信息。在步骤350处，神经组织模型可由图像分析工具系统输出，从而反映患者专用脊柱手术区域中的神经组织的预测和可视化位置。应当理解，可在基于患者位置的变化对神经组织的预测位置进行调整之前、之后或这两者输出神经组织模型。

在步骤360处，可根据由图像分析工具输出的神经结构的预测建模来生成患者专用最佳手术计划。在一个实施方案中，患者专用最佳手术计划可以是用于进入椎间盘空间或脊柱同时避免与神经组织接触的计划。在一个实施方案中，图像分析工具可识别推荐的安全进入区。安全进入区可以是神经存在概率小于预定阈值的一个或多个区域，因此其表示供外科器械在手术期间通过的安全路径。在一个实施方案中，最佳手术计划可与手术所需的特定工具一起叠加显示。例如，最佳手术计划可显示入口、椎弓根螺钉或计划用于在预测神经组织附近的外科手术中使用的任何其他器械。

由本发明的图像分析工具与预测建模相关联地生成的患者专用最佳手术计划然后可用于执行具有降低的神经并发症风险的外科手术，步骤370。在一个实施方案中，最佳手术计划可用作机器人外科系统的输入以协助计划工具路径，从而避免在进入脊柱、执行骨切割、椎间盘切除术等时损伤神经解剖结构。另选地，或除了与机器人外科系统一起使用之外，还可在术中结合神经监测探针或相机来使用患者专用最佳手术计划，以验证神经结构的位置。所生成的患者专用最佳手术计划还可用作具有CT成像的独立术前计划系统，以准备外科手术。

在另一个示例性实施方案中，本发明的图像分析工具系统可在手术中用作计算机辅助导航环境的一部分。计算机辅助导航环境可包括用于辅助外科手术的附加技术，诸如，例如CBCT成像技术、工具跟踪、神经定位探针、相机等。图4表示本发明的图像分析工具的术中使用的示例性方法400，而图5至图10示出了图4的图像分析工具的示例性术中使用的步骤。

在第一步骤410中，图像分析工具可获取未标记的患者扫描体积作为输入。在一个实施方案中，患者扫描可以是患者脊柱的术中CT或CBCT扫描。另选地或附加地，患者扫描可以是患者脊柱的术前扫描。可在患者处于仰卧位、俯卧位或半俯卧位的情况下进行患者扫描，具体取决于外科手术和手术入路的细节。图5示出了对处于俯卧位的患者500的术中CBCT扫描。在通过图像分析工具获取未标记的患者扫描体积之后，图像分析工具可自动分割扫描体积以识别和标记未标记输入扫描中的标记神经组织，步骤420。图像分析工具还可分割未标记输入扫描中的肌肉骨骼组织。例如，图像分析工具可自动分割和标记输入图像体积中的神经组织、椎体和其他肌肉骨骼组织，诸如竖脊肌和腰大肌。图6示出了已经由图像分析工具自动标记的示例性患者扫描。如将在下文详细描述的，图像分析工具可使用基于深度学习的解剖协变模型来识别和标记未分割图像体积上的神经组织和肌肉骨骼组织。图6示出了由本发明的图像分析工具输出的3D体积的切片。具体地，神经结构610(即，出口神经根610)可被识别和叠加在现在自动分割的输入扫描体积600上。图像分析工具还可识别肌肉骨骼组织620并对其建模。在一个实施方案中，诸如切片600的分割输出可显示在计算机辅助导航环境的屏幕或显示器上。

接着，可在步骤430中根据分割图像分析工具输出来创建优化的患者专用手术计划。优化的患者专用计划可考虑患者解剖结构以及手术目标和手术限制。例如，对于侧向经腰大肌外科手术，可计划优化的轨迹，该优化的轨迹最大化到椎间盘空间和相关骨结构的进入，同时最小化与周围神经根和嵌入特别是特定患者的腰大肌中的神经轨迹的接触。对应于所扫描手术区域的神经结构可被图像分析工具识别，并且在创建优化的手术计划时被考虑。应当理解，可在术前、术中或者术前和术中的组合执行步骤410-430。

图7示出了示例性患者专用优化手术计划。具体地，图7示出了用于进入特定患者的椎体空间的优化的台轨迹。3D模型700是图像分析工具系统的输出，并且其可显示由图像分析工具生成的自动分割。例如，3D模型700可包括从患者的脊柱区域发出的第一神经束或神经分支710以及第二神经束或神经分支712。具体地，可以看到神经分支710、712从两个相邻椎骨720和722附近的区域发出。脊柱区域中的肌肉组织，诸如腰大肌730和732，也可由图像分析工具分割和标记。然后可使用系统和标记的3D体积来计划用于特定外科手术的最佳轨迹740。最佳轨迹740可表示供外科器械进入手术区域的最佳路径。在图7所示的示例性实施方案中，最佳轨迹740示出了进入椎间空间750以避开神经结构710的进入路径。也可由图像分析工具系统生成安全进入区742。安全进入区可表示神经组织的存在低于预定阈值的区域。换句话讲，所识别的安全进入区可表示外科器械可在接触神经结构的风险降低的情况下安全地通过的预测区域。

在步骤440中，可将患者专用手术计划示出为计算机辅助导航环境显示的一部分。本发明的图像分析工具可与手术导航环境通信。另选地，图像分析工具可最初被编程到手术导航设备中或者使用手术导航设备创建。手术导航环境可包括用于相对于术中CBCT图像体积来跟踪工具(诸如Jamshidi型针)的患者和器械阵列两者。手术导航环境可显示患者和外科手术中使用的工具两者的定位的实时反馈。患者和器械阵列反馈可被显示为与CBCT图像体积输出和/或优化的手术计划叠加或集成。图8示出了对患者100执行的外科手术的示例，其中使用多个外科器械来利用微创技术进入患者的脊柱。需注意，可通过例如手术导航系统来跟踪多个器械，以使得能够配准到图7中示出的手术的3D模型并且基于该3D模型来执行手术。

在步骤450中，可在执行外科手术的同时向计算机辅助导航环境提供术中反馈。例如，可遵循优化的患者专用手术入路计划来将外科器械导航到椎间盘空间中。在一个实施方案中，外科器械可包括用于将位置信息传输回计算机辅助导航环境的工具跟踪阵列或传感器。作为进一步的非限制性示例，外科器械可向计算机辅助导航环境提供关于神经结构、外科器械、附加患者解剖结构等的位置的反馈，诸如视觉反馈、超声反馈等。

在一个实施方案中，基于超声的神经定位探针可提供有关手术区域中的至少一个神经结构的定位的术中反馈。可基于术中反馈来更新或调整所显示的患者扫描体积。在其他实施方案中，可利用其他神经定位器械来代替超声探针，包括例如肌动描记(MMG)、肌电描记(EMG)和用于检测神经组织的存在的其他已知器械。

在步骤460中，可将术中反馈传送给用户。例如，可更新、修改或调整标记神经结构的所显示患者扫描以反映术中反馈。这样，被配置用于与计算机辅助导航环境一起在手术中使用的本发明的实施方案可提供有关手术区域中的神经组织的位置、外科器械与预先计划的路径的偏离、外科器械与神经结构的相对位置等中的至少一者的视觉反馈。在一个实施方案中，与本发明的图像分析工具相结合的计算机辅助导航环境可基于从辅助外科器械获得的信息来连续地细化和更新神经图。作为非限制性示例，辅助外科器械可包括辅助神经定位系统，诸如触发式MMG、光学或基于超声的手持式神经定位系统。如果基于患者移动来更新CT或CBCT扫描，则还可更新神经图。

如图9和图10中可见，计算机辅助导航环境可提供有关外科手术的实时或近实时的视觉反馈。例如，反馈可显示在手术导航环境上，从而反映器械到最近神经结构的距离或与计划的最佳轨迹或最佳器械路径的偏离。图9和图10示出了手术导航环境的两个示例性显示，该手术导航环境将实时手术反馈与由本发明的图像分析工具生成的输出相结合。在图9中，示出了示例性手术导航环境显示900，其包括四个不同的视图，这些视图示出了相对于患者解剖结构的探针905。作为非限制性示例，手术导航环境可显示患者解剖结构和外科器械的3D模型，诸如显示901，以及来自不同取向的患者解剖结构和外科器械的若干2D视图，例如视图902-904。具体地，可在相对于图像分析工具输出体积的自动标记部分(即，标记骨体积920和922、标记肌肉体积930和932以及标记神经组织910和912)生成的视图中看到探针905。当在成像手术区域内操纵探针905时，运动和伴随的位置变化可被反映在计算机辅助导航环境的显示上。

图10示出了包括本发明的图像分析工具的手术导航环境系统的另一示例性显示。例如，手术导航环境可生成和显示外科器械在手术区域内相对于所优化轨迹和/或所识别神经结构的运动。例如，显示1000可向神经组织1010提供有关探针1020的位置的实时反馈。显示1000可示出在最佳轨迹路径1050上向下看时的手术区域的俯视图或鸟瞰图。所显示的最佳轨迹路径1050可从如上所述的图像分析工具系统生成。在一个实施方案中，显示1000还可示出围绕最佳轨迹1050的安全进入区1040。还可显示探针1020的轨迹1030。在一个实施方案中，手术导航环境可使用图像分析工具的预测建模和由工具跟踪阵列或传感器提供的实时反馈来计算从探针1020到最近的神经结构(在这种情况下为神经组织1010)的最短距离。屏幕上的可视化可指示探针与最近的神经组织之间的最短距离。在图10的示例性实施方案中，该距离可由箭头1060和距离1070的指示表示，例如4mm。

现在将讨论图像分析工具。现在转到本发明的图像分析工具的构造和训练，图11示出了示例性图像分析的示意性表示。图像分析工具可包括用于接收、处理、传送和/或存储与外科手术、患者等相关的图像数据和信息的一个或多个部件。如图11示意性示出的，示例性图像分析工具1100可包括处理器1110、存储器1120和通信接口1130，它们全部可彼此通信。另外，尽管这些部件中的每个部件以单数形式被提及，但本领域的技术人员应当理解，被描述为由这些部件中的一个部件执行的各种功能实际上可由那些部件中的多个部件执行，例如，被描述为由处理器1110执行的功能可由多个处理器执行。

处理器1110可包括微控制器、微型计算机、可编程逻辑控制器(PLC)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、在本领域中通常被称为计算机的集成电路以及其他可编程电路，并且这些术语在本文中可互换地使用。处理器1110可被配置为生成识别、定位、建模和/或可视化患者解剖结构的成像区域中的解剖结构(例如神经结构)的信息，并且/或者基于经由通信接口1130从外部设备接收的信息、由用户直接输入到通信接口1130中的信息和/或存储在存储器1120中的信息来执行各种计算。作为非限制性示例，处理器可被配置为识别和定位未标记图像体积中的神经组织、生成识别神经解剖结构的手术区域的3D体积、构建深度学习的解剖协变模型等。

处理器1110可耦接到存储器1120，该存储器可包括随机存取存储器(RAM)、只读存储器(ROM)、闪存存储器、非暂态计算机可读存储介质，等等。存储器1120可存储用于由处理器1110执行以实现本文所公开的系统或执行本文所公开的方法的指令。附加地或另选地，存储器1120可存储由处理器1110生成或计算，以及/或者从外部设备接收或通过通信接口1130直接输入的信息。

通信接口1130可被配置为接收和传输来自或去往处理器1110、存储器1120、直接输入模块1140以及一个或多个外部设备1150(例如，传感器、外科器械、成像设备、计算机辅助导航环境系统、机器人外科系统、计算机或处理设备等)中的任一者的信息。通信接口1130可以是无线的(例如，近场通信(NFC)、Wi-Fi、蓝牙、蓝牙LE等)或有线的(例如，USB或以太网)。在一个实施方案中，通信接口1130可被配置为满足医学数字成像和通信(DICOM)标准以接收、传送和管理医学成像信息和相关数据。在另一示例性实施方案中，通信接口1130可与传感器、外科器械、成像技术等通信，以接收术中反馈。作为非限制性示例，通信接口1130可从外部设备接收有关外科器械、神经组织、患者定位等中的至少一者的位置信息的实时术中位置数据。

如上文所讨论的，本发明的图像分析工具可用于定位和识别患者的扫描图像体积中的神经组织，以帮助导航外科器械并且减少脊柱手术期间神经损伤的机会。图像分析工具可被配置为依赖于至少一个基于深度学习的模型的机器学习工具，该模型可被训练以便预测性地定位和可视化解剖结构。处理器1110可包含分割算法1112。分割算法1112可被配置为接收不显示神经解剖结构的未标记的患者扫描体积，并且可基于经训练的解剖协变模型来自动分割和识别扫描体积中存在的神经结构。分割算法还可被配置为识别在成像体积中示出的未标记结构，诸如肌肉骨骼结构。在一个实施方案中，分割算法1112可以是在输入层与输出层之间具有多个层的深度神经网络。可训练分割算法以分解训练数据的图像，识别跨所有样本图像存在的趋势，以及通过依赖于所学习的训练数据在没有人工输入的情况下对新图像进行分类。

分割算法1112可基于通常在CT或CBCT图像中不可见的神经组织与在CT或CBCT图像中可见的肌肉骨骼结构之间的解剖协变关联。在以脊柱区域为重点的应用中，例如，脊柱CT或CBCT图像中的可见肌肉骨骼结构可包括椎体、骨赘、腰大肌、竖脊肌等，另一方面，MRI图像体积示出了肌肉骨骼结构和神经结构两者。因此，MRI图像体积可帮助说明脊柱区域中神经结构与肌肉骨骼结构之间的解剖协变的概念。此外，MRI图像体积可被用作训练数据集以训练分割算法112的协变模型。

图12示出了来自三个配准的或融合的患者MRI样本的腰椎区域中的神经解剖结构的受试者间变化的可视化。通过将迭代最近点仿射变换应用于L4和L5椎体以校正三个患者之间的尺寸、姿势和各向异性形状差异来配准数据集。然后将所得变换应用于从椎间空间发出的神经。所得融合MRI图像体积在图12中以冠状平面视图1210和矢状平面视图1220示出。肌肉骨骼结构和神经结构两者被示出为在融合MRI图像体积中被分割，因为MRI图像成功地捕获两种类型的解剖结构。例如，图12的融合MRI体积已经被注释为示出第一椎体1230和第二椎体1240。在从第一椎体1230发出的MRI图像体积1210和1220中可以看到三束出口神经根1250、1260和1270。每个出口神经根束表示一个患者在融合MRI体积中的解剖结构。

如图12所示，在考虑L4和L5椎体中的解剖和位置变化之后，在冠状平面中的出口神经的路径中存在比在矢状平面中更大的变化。冠状平面中的这种增加的变化可能是由于出口神经行进穿过的腰大肌的解剖结构中的受试者间变化引起的。因此，通过使用患者解剖结构的完整数据集对解剖结构(即，肌肉、骨骼和神经组织)之间的协变进行建模，深度学习神经网络可学习解剖关联并且预测患者解剖结构的缺失组成部分的版本。可以这种方式分析任何脊柱节段或患者解剖结构以训练本发明的图像分析工具。本文公开的系统和方法不限于L4和L5脊柱区域的分析。此外，本文公开的系统和方法不限于识别神经结构。

图13示出了本发明的图像分析工具的分割算法1312的示例性实施方案的视觉表示。分割算法1312可包括第一U-Net 1320和第二U-Net 1350。第一U-Net 1320和第二U-Net1350一起可使得图像分析工具能够预测性地定位、识别和可视化来自未标记CT或CBCT图像体积的神经结构。第一U-Net 1320可被配置为解剖协变模型训练器。如将在下文描述的，第一U-Net1320可被训练为接收分割的CT或CBCT图像体积作为输入1322。输入1322可被标记为显示脊柱区域的肌肉骨骼解剖结构。例如，输入1322可包括标记肌肉组织，诸如腰大肌1324和1326；和骨组织，诸如第一椎体1328和第二椎体1330。第一U-Net 1320然后可生成输出1332，从而识别不可见的或在输入体积1322中捕获但与成像解剖结构相关联的至少一个神经结构。例如，如图13所示，第一U-Net 1320的输出1332可标记输入1322的成像区域中的第一神经束或分支1334以及第二神经束或分支1336。输入1322和输出1332两者可包括位置参考以向用户传送信息。例如，输入1322可显示矢状参考平面1338、冠状参考平面1340和轴向参考平面1342。类似地，可在输出图像体积1332上显示矢状参考平面1344、冠状参考平面1346和轴向参考平面1348。

现在将参考图14来描述训练本发明的第一U-Net。图14的方法1400表示本发明的分割算法的训练阶段和部署阶段两者。步骤1410-1440可表示被配置为协变模型训练器的第一U-Net的训练。步骤1460-1470可表示分割算法的部署，即，使用第二U-net或预测模型来对未标记图像体积进行分类。训练第一U-Net可包括输入来自代表性患者群体的分割的高质量MRI体积的训练数据库，以教授分割的MRI体积分量之间的第一U-Net关联。具体地，U-Net可学习MRI图像体积的各种分割的肌肉骨骼结构和神经结构之间的关联。训练第一U-Net还可包括输入已经从高质量MRI体积生成的附加训练数据。

在第一步骤1410中，可注释或分割MRI训练体积的第一数据集以识别每个体积中的神经结构和肌肉骨骼结构两者。在一个实施方案中，结构的每种类型可进一步细分为子类。例如，MRI体积的肌肉骨骼组织可进一步被识别为椎体、椎间盘、腰大肌、竖脊肌等。类似地，MRI体积的神经组织可被分成子类，诸如出口神经根、神经分支、脊髓、马尾神经、腰丛等。优选地，医生、外科医生、护士、健康护理专业人员、研究人员或其他人员可手动注释本发明的输入训练量。第一数据集可包括至少一个高质量MRI体积。在一个实施方案中，第一数据集可由对脊柱区域成像的多个MRI体积组成。可针对每个体积的每种组织类型(肌肉骨骼和神经)产生三维标记图。

在图15和图16中可以看到作为训练本发明的第一U-Net的训练体积输入的注释的MRI体积的示例。图15示出了输入训练MRI体积的示例性3D注释的肌肉骨骼图。三维注释的MRI体积1510示出了具有完全分割的肌肉骨骼结构的脊柱区域，包括腰大肌1512、1514以及第一椎体1516和第二椎体1518。还可在MRI体积1520的二维切片中看到注释的肌肉骨骼结构。例如，沿轴向平面截取的切片1520示出了腰大肌1512和1514以及第二椎体1518。在沿着冠状平面截取的切片1530、沿着矢状平面截取的切片1540和沿着轴向平面截取的切片1560中，也可以看到MRI体积1510的注释的肌肉骨骼结构。每个切片可示出MRI体积1510的分割的肌肉骨骼解剖结构的视图。

类似地，图16示出了图15的相同MRI体积的示例性三维注释的神经图。在该示例性实施方案中，四个神经结构1612、1614、1616和1618已经在MRI体积1610中被识别和分割。可沿着MRI体积1610的不同取向截取二维切片。例如，可沿轴向平面截取切片1620；可沿着冠状平面截取切片1630；并且可沿着矢状平面截取切片1640，以示出在MRI体积1610中识别的分割的神经结构的不同视图。

第一训练数据集还可包括通过增加用作第一训练数据集中的输入的MRI体积数据而创建的附加训练样本数据。诸如，可将基于物理学的生物医学变形变换应用于表示不同条件的MRI体积数据，以生成附加的训练数据，该不同条件例如是患者位置的变化以及脊柱的曲率和/或配准的变化等。附加训练数据集然后可如上文相对于MRI体积所描述的那样被注释并且用于训练第一U-Net。

返回图14，在步骤1420中，可使用注释的第一训练数据集来训练第一神经网络(即，第一U-Net)，以学习成像区域(即，脊柱区域)的肌肉骨骼结构与神经结构之间的解剖协变的模式。所学习的解剖协变模式可创建深度学习的解剖协变模型。深度学习的解剖协变模型可以是使用基于U-Net架构的深度学习神经网络生成的预测模型。U-Net架构的基本结构在本领域中是已知的。本发明的图像分析工具以创造性的方式利用U-Net的概念来开发一种工具，该工具可使用一起工作的多个U-Net，使得本发明的图像分析工具能够接收未分割图像体积，诸如CT或CBCT扫描，并且输出具有标记神经结构的相同区域的图像体积，该标记神经结构未在输入图像体积中示出但对应于图像体积区域。

在步骤1420中，通过接收由标记MRI体积和/或任何另外创建的数据样本组成的注释的第一训练数据集，在脊柱区域的肌肉骨骼结构和对应神经结构之间的模式上训练第一神经网络，如上文所述。当注释的图像体积被输入到第一U-Net中时，该U-Net可使MRI图像体积的标记肌肉骨骼像素与相同MRI图像体积的对应标记神经结构相关。这样，当第一神经网络接收到附加的注释数据时，该第一神经网络可创建和更新解剖协变模型以学习新的模式和变化。本领域的普通技术人员应当理解，注释训练数据集和训练第一神经网络的过程可以是持续进行的过程。例如，在第一神经网络的初始训练之后，附加MRI体积可被注释并且被输入到第一神经网络中。

在步骤1430中准备第二训练数据集。该第二训练集可包括CT或CBCT图像体积。如本领域中已知的，CT或CBCT图像体积能够显示肌肉骨骼结构，但它们不能对患者解剖结构中的神经结构成像。第二训练集的图像体积可包括与第一训练数据集的MRI图像体积相同的分割的肌肉骨骼组织。换句话讲，第二数据集的图像体积可对应于与第一数据集相同的患者解剖结构的成像区域。第二训练集的图像体积可被注释以识别或分割成像体积中存在的肌肉骨骼结构。

在步骤1440中，第一神经网络可使用解剖协变模型作为预测模型，以对未标记像素进行分类并且生成对应于第二训练数据集的标记肌肉骨骼结构的神经结构的神经结构标记。将具有标记肌肉骨骼结构的CT或CBCT图像体积输入到第一神经网络中。第一神经网络然后可分解或过滤图像数据，并且将分割的肌肉骨骼像素与经训练的解剖协变模型进行比较，以识别和标记对应于分割的肌肉骨骼像素的神经结构像素。第一神经网络然后可输出图像体积，其中现在分类的对应神经结构叠加在CT或CBCT输入体积的先前分类的肌肉骨骼像素上。这可以在图13中看到，其中输入图像体积1322具有分割的肌肉骨骼组织。第一U-Net 1320可接收输入1322并且产生具有标记的对应神经结构的输出1332。该

现在转到本发明的图像分析工具的部署，在步骤1450中，可使用第二预测模型来生成和学习原始图像体积与对应神经结构之间的关联。第二预测模型优选地可以是第二神经网络，并且优选地是第二U-Net。第二预测模型可被配置为自动灰度标记器。本领域的普通技术人员将认识到，第二预测模型不限于从灰度CBCT数据生成和标记CBCT体积。而是，只要本发明的第一神经网络或第一U-Net在相同类型的图像格式上被训练，本发明的第二预测模型就可采用任何已知的未标记图像格式作为输入，并且使用本文公开的系统和方法来生成和标记成像体积中存在的解剖结构。

参考图13，其示意性地示出了第二预测模型或第二U-Net 1350。第二预测模型或U-Net可接收未标记图像体积1352作为输入。未标记图像体积可以是灰度CBCT扫描、未标记CT扫描等。第二预测模型1350可使用从第一预测模型或U-Net 1320的预测和输入生成的真值像素标记分类。换句话讲，第二预测模型可接收未标记图像体积，并且使用经训练的第一预测模型来分析未标记图像体积，以对与成像解剖区域中存在的神经结构相关联的像素进行分类。附加地或另选地，第二预测模型或第二U-Net还可识别和标记未标记输入体积的肌肉骨骼结构。

最后，在步骤1460中，可将第二预测模型的输出转换为用于分析和使用的表面模型。在图13中可以看到第二预测模型的转换输出，作为自动分割的体积输出1362。第二预测模型可分割神经结构和肌肉骨骼结构两者。例如，如图13所示，第二U-Net 1350可自动识别第一腰大肌1364和第二腰大肌1368、第一椎体1370和第二椎体1372以及第一神经结构1374和第二神经结构1376并对其建模。在一个实施方案中，诸如分割到表面模型转换算法(例如，移动立方体)可用于将第二预测模型输出转换为表面模型。如上文所讨论的，可以多种不同的方式来使用表面模型。例如，本发明的图像分析工具的表面模型输出，并且更具体地，第二预测模型的表面模型输出可与计算机辅助导航环境或机器人外科系统结合使用。另选地，具有所识别神经结构的表面模型可由外科医生在术前计划中使用。

在一些实施方案中，所显示的标记图像体积根据关于至少一个神经结构的位置的术中反馈而更新。

在一些实施方案中，外科器械可用于提供关于至少一个神经结构的位置的术中反馈。

在一些实施方案中，外科器械是辅助神经定位系统、计算机辅助导航系统、监测探针或相机中的一者。

在一些实施方案中，可执行术中CT或CBCT患者扫描以提供关于至少一个神经结构的位置的术中反馈。

在一些实施方案中，可将患者专用手术计划输入到机器人外科系统中。

在一些实施方案中，可识别所识别的至少一个神经结构周围的安全进入区。

在一些实施方案中，图像分析工具基于预测模型和患者表型信息来识别至少一个神经结构。

在一些实施方案中，一种训练图像分析工具以从未分割图像识别至少一个神经结构以供在外科手术中使用的方法可包括：注释第一训练数据集以识别肌肉骨骼结构和神经结构；将第一训练数据集输入到第一神经网络中以训练解剖协变模型；注释第二训练数据集以识别肌肉骨骼结构；以及将第二训练数据集输入到第一神经网络中，使得第一神经网络输出对应于第二训练数据集的所识别肌肉骨骼结构的至少一个神经结构。

在一些实施方案中，第一训练数据集包括至少一个高质量MRI体积，并且第二训练数据集包括至少一个CT或CBCT体积。

在一些实施方案中，该至少一个CT或CBCT体积包括与至少一个高质量MRI体积相同的肌肉骨骼结构。

在一些实施方案中，可执行对第一训练数据集的变换以生成附加训练数据集；可注释该附加训练数据集以识别肌肉骨骼结构和神经结构；并且可将附加训练数据集输入到第一神经网络中以训练解剖协变模型。

在一些实施方案中，一种执行微创外科手术的方法可包括：获取手术区域的未分割患者扫描；使用图像分析工具从未分割扫描识别手术区域中的神经结构；使用所识别的神经结构来创建患者专用手术入路计划；以及根据该患者专用入路计划来执行手术入路规程。

在一些实施方案中，可从至少一个外科器械接收有关所识别神经结构的定位的术中反馈；并且可更新患者专用手术入路计划。

在一些实施方案中，可显示所识别的神经结构、外科器械和患者位置中的至少一者的实时定位。

现在参考图18至图22，一般来讲，术语人工神经网络(ANN)和神经网络在本文中可互换使用。ANN可被配置为基于输入图像或其他感测信息来确定分类(例如，对象的类型)。ANN是人工神经元或节点的网络或电路，并且其可用于预测建模。

预测模型可以是和/或包括一个或多个神经网络(例如，深度神经网络、人工神经网络或其他神经网络)、其他机器学习模型或其他预测模型。

本发明所公开的人工神经网络的具体实施可应用权重并且通过应用函数来变换输入数据，该变换是神经层。该函数可以是线性的，或者更优选地，是非线性激活函数，诸如逻辑sigmoid、Tanh或ReLU函数。一个层的中间输出可用作下一层的输入。通过重复变换的神经网络学习多个层，这些层可被组合成进行预测的最后一层。可通过改变权重或参数来执行该学习(即，训练)以最小化预测值与预期值之间的差异。在一些实施方案中，信息可从一个层被前馈到下一层。在这些或其他实施方案中，神经网络可具有形成例如神经网络的记忆或反馈回路。一些实施方案可致使例如经由反向传播来调整参数。

ANN由其模型的特征来表征，该特征包括激活函数、损失或成本函数、学习算法、优化算法，等等。ANN的结构可由多个因素确定，包括隐藏层的数量、每个隐藏层中所包括的隐藏节点的数量、输入特征向量、目标特征向量，等等。超参数可包括需要初始设置用于学习的各种参数，非常类似于模型参数的初始值。模型参数可包括旨在通过学习确定的各种参数。并且在学习之前设置超参数，并且可通过学习来设置模型参数以指定ANN的架构。

ANN的学习率和准确性不仅依赖于ANN的结构和学习优化算法，而且依赖于其超参数。因此，为了获得良好的学习模型，重要的是不仅为ANN选择适当的结构和学习算法，而且为其选择适当的超参数。

超参数可包括节点之间的权重和偏差的初始值、小批次大小、迭代次数、学习速率，等等。此外，模型参数可包括节点之间的权重、节点之间的偏差，等等。

一般来讲，首先通过将超参数实验性地设置为各种值来训练ANN，并且基于训练的结果，超参数可被设置为提供稳定的学习率和准确性的最佳值。

图18中描绘的系统5中的模型64的一些实施方案可包括CNN。CNN可包括输入层和输出层，以及多个隐藏层。CNN的隐藏层通常包括与乘法或其他点积卷积的一系列卷积层。激活函数通常是ReLU层，并且随后跟随有诸如池化层、完全连接层和归一化层的附加卷积，这些附加卷积被称为隐藏层，因为它们的输入和输出被激活函数和最终卷积掩蔽。

CNN通过将特定函数应用于来自前一层中的感受野的输入值来计算输出值。应用于输入值的函数由权重向量和偏差(通常为实数)确定。在神经网络中，通过对这些偏差和权重进行迭代调整来进行学习。权重向量和偏差被称为滤波器，并且表示输入的特定特征(例如，特定形状)。

在一些实施方案中，模型64的学习可以是强化、监督、半监督和/或无监督类型。例如，可存在使用这些类型中的一种类型来学习的用于某些预测的模型，但也可使用这些类型中的另一类型来学习用于其他预测的另一模型。

监督学习是学习基于示例性输入-输出对来将输入映射到输出的函数的机器学习任务。其可从包括一组训练示例的标记训练数据推断函数。在监督学习中，每个示例是由输入对象(通常是向量)和期望输出值(监督信号)组成的对。监督学习算法分析训练数据并且产生推断函数，该推断函数可用于映射新的示例。并且该算法可正确地确定未见实例的类别标记。

无监督学习是在没有预先存在的标记的情况下在数据集中寻找先前未检测到的模式的一类机器学习。与通常利用人类标记的数据的监督学习相比，无监督学习不经由主成分(例如，用于预处理和减小高维数据集的维度，同时保留原始数据集固有的原始结构和关系)和聚类分析(例如，其识别数据中的共性并且基于每个新数据片中此类共性的存在或不存在来作出反应)。

半监督学习利用监督和无监督技术。

模型64可根据被称为验证集的参考数据集来分析所做出的预测。在一些使用情况下，从根据验证集做出的预测的评估得到的参考输出可被提供为预测模型的输入，预测模型可利用该输入来确定其预测是否准确、确定关于验证集数据的准确性或完整性水平、或者作出其他确定。预测模型可利用此类确定来提高其预测的准确性或完整性。在另一使用情况下，可将关于预测模型的预测的准确性或完整性指示提供给预测模型，该预测模型继而可利用该准确性或完整性指示来提高其关于输入数据的预测的准确性或完整性。例如，标记训练数据集可使得能够进行模型改进。即，训练模型可使用数据的验证集来在模型参数上迭代，直到它到达在模型中使用的最终参数/权重集的点为止。

在一些实施方案中，图18中描绘的训练部件32可实现用于构建和训练一个或多个深度神经网络的算法。所使用的模型可遵循该算法并且已经在数据上被训练。在一些实施方案中，在使用这些或其他算法的成功测试被执行之后并且在模型被提供足够大的数据集之后，训练部件32可在图18中描绘的训练数据62上训练深度学习模型，从而提供甚至更高的准确性。

可使用存储器/数据库62的训练数据来训练实现神经网络的模型。训练数据可包括许多解剖属性。例如，从图18的预测数据库60获得的该训练数据可包括描述尸体或活体的部分的数百、数千或甚至数百万条信息(例如，图像、扫描或其他感测数据)，以提供患者的群体或其他分组的充分表示。可以任何合适的方式在训练集、验证集和测试集之间分割数据集。例如，一些实施方案可使用约60％或80％的图像或扫描来进行训练或验证，并且其他约40％或20％可用于验证或测试。又如，训练部件32可随机地分割标记图像，训练与测试数据的精确比率在整个过程中变化。当找到令人满意的模型时，训练部件32可在训练数据的95％上对其进行训练并且在剩余的5％上进一步对其进行验证。

验证集可以是训练数据的子集，其对模型保持隐藏以测试模型的准确性。测试集可以是数据集，其对于模型而言是新的以测试模型的准确性。用于训练预测模型64的训练数据集可经由训练部件32利用SQL服务器和Pivotal Greenplum数据库以用于数据存储和提取目的。

在一些实施方案中，训练部件32可被配置为例如经由预测数据库60、电子存储装置22、外部资源24(例如，其可包括传感器、扫描仪或另一设备)、网络70和/或UI设备18从任何合适的源获得训练数据。训练数据可包括捕获的图像、气味、光/颜色、形状尺寸、噪声或其他声音、和/或感测信息的其他离散实例。

在一些实施方案中，训练部件32可使得一个或多个预测模型能够被训练。神经网络的训练可经由几次迭代来执行。对于每个训练迭代，可确定神经网络的分类预测(例如，层的输出)并将其与对应的已知分类进行比较。例如，可在训练或验证期间将已知捕获包括动态和/或静态对象的封闭环境的感测数据输入到神经网络中，以确定预测模型是否能正确地预测用户到达或避开所述对象的路径。因此，神经网络被配置为接收训练数据的至少一部分作为输入特征空间。一旦经过训练，模型便可被存储在预测数据库60的数据库/存储装置64中，如图18所示，并且然后被用于基于可见属性对图像或扫描的样本进行分类。

图18的电子存储装置22包括以电子方式存储信息的电子存储介质。电子存储装置22的电子存储介质可包括与系统5一体地(即，基本上不可移除地)提供的系统存储装置和/或能够经由例如端口(例如，USB端口、firewire端口等)或驱动器(例如，磁盘驱动器等)可移除地连接到系统5的可移除存储装置。电子存储装置22可以(整体地或部分地)是系统5内的单独部件，或者电子存储装置22可以(整体地或部分地)与系统5的一个或多个其他部件(例如，用户界面(UI)设备18、处理器21等)一体地提供。在一些实施方案中，电子存储装置22可与处理器21一起位于服务器中、位于作为外部资源24的一部分的服务器中、位于UI设备18中和/或位于其他位置中。电子存储装置22可包括存储器控制器以及光学可读存储介质(例如，光盘等)、磁性可读存储介质(例如，磁带、磁性硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如，EPROM、RAM等)、固态存储介质(例如，闪存驱动器等)和/或其他电子可读存储介质中的一者或多者。电子存储装置22可存储软件算法、由处理器21获得和/或确定的信息、经由UI设备18和/或其他外部计算系统接收的信息、从外部资源24接收的信息、和/或使得系统5能够如本文所述起作用的其他信息。

外部资源24可包括信息源(例如，数据库、网站等)、参与系统5的外部实体、系统5外部的一个或多个服务器、网络、电子存储装置、与Wi-Fi技术相关的装备、与技术相关的装备、数据输入设备、电源(例如，电池供电或线路供电连接，诸如直接连接到110伏AC或经由AC/DC转换间接连接)、发射/接收元件(例如，被配置为发射和/或接收无线信号的天线)、网络接口控制器(NIC)、显示控制器、图形处理单元(GPU)和/或其他资源。在一些具体实施中，本文中归因于外部资源24的一些或全部功能可由系统5中所包括的其他部件或资源提供。处理器21、外部资源24、UI设备18、电子存储装置22、网络和/或系统5的其他部件可被配置为经由以下各项彼此通信：有线和/或无线连接，诸如网络(例如，局域网(LAN)、互联网、广域网(WAN)、无线电接入网(RAN)、公共交换电话网(PSTN)等)、蜂窝技术(例如，GSM、UMTS、LTE、5G等)、Wi-Fi技术、另一无线通信链路(例如，射频(RF)、微波、红外线(IR)、紫外线(UV)、可见光、cm波、mm波等)、基站和/或其他资源。

系统5的UI设备18可被配置为在一个或多个用户与系统5之间提供接口。UI设备18被配置为向一个或多个用户提供信息和/或从其接收信息。UI设备18包括UI和/或其他部件。UI可以是和/或包括图形UI，该图形UI被配置为呈现被配置为接收关于系统5的特定功能的输入和/或选择、以及/或者提供和/或接收其他信息的视图和/或字段。在一些实施方案中，UI设备18的UI可包括与处理器21和/或系统5的其他部件相关联的多个单独的接口。适于包括在UI设备18中的接口设备的示例包括触摸屏、小键盘、触敏和/或物理按钮、开关、键盘、旋钮、控制杆、显示器、扬声器、麦克风、指示灯、可听警报、打印机和/或其他接口设备。本公开还设想UI设备18包括可移动存储接口。在该示例中，可将信息从使用户能够定制UI设备18的具体实施的可移动存储装置(例如，智能卡、闪存驱动器、可移动磁盘)加载到UI设备18中。

在一些实施方案中，UI设备18被配置为向系统5提供UI、处理能力、数据库和/或电子存储。因此，UI设备18可包括处理器21、电子存储装置22、外部资源24和/或系统5的其他部件。在一些实施方案中，UI设备18连接到网络(例如，互联网)。在一些实施方案中，UI设备18并不包括处理器21、电子存储装置22、外部资源24和/或系统5的其他部件，而是经由专用线路、总线、交换机、网络或其他通信手段与这些部件通信。该通信可以是无线的或有线的。在一些实施方案中，UI设备18是膝上型计算机、台式计算机、智能电话、平板计算机和/或其他UI设备。

可使用多种通信协议中的任一种通信协议通过通信接口和通信路径在系统5的各种部件之间交换数据和内容。在一个示例中，可采用用于使用例如互联网协议组(也被称为TCP/IP)跨分组交换互联网络传送数据的协议来交换数据。数据和内容可仅基于它们的地址使用数据报(或分组)从源主机递送到目的地主机。为此，互联网协议(IP)定义了用于数据报封装的寻址方法和结构。当然，也可使用其他协议。互联网协议的示例包括互联网协议版本4(IPv4)和互联网协议版本6(IPv6)。

在一些实施方案中，处理器21可形成用户设备、消费电子设备、移动电话、智能电话、个人数据助理、数字平板/掌上计算机、可佩戴设备(例如，手表)、AR护目镜、VR护目镜、反射式显示器、个人计算机、膝上型计算机、笔记本计算机、工作站、服务器、高性能计算机(HPC)、交通工具(例如，嵌入式计算机，诸如在仪表板中或在汽车或飞机的乘员的前面)、游戏或娱乐系统、机顶盒、监视器、电视(TV)、面板、航天器或任何其他设备的一部分(例如，在相同或单独的外壳中)。在一些实施方案中，处理器21被配置为在系统5中提供信息处理能力。处理器21可包括数字处理器、模拟处理器、设计用于处理信息的数字电路、设计用于处理信息的模拟电路、状态机和/或用于以电子方式处理信息的其他机构中的一者或多者。尽管处理器21在图18中被示出为单个实体，但这仅是出于说明性目的。在一些实施方案中，处理器21可包括多个处理单元。这些处理单元可物理地位于相同设备(例如，服务器)内，或者处理器21可表示协调地操作的多个设备(例如，一个或多个服务器、UI设备18、作为外部资源24的一部分的设备、电子存储装置22和/或其他设备)的处理功能。

如图18所示，处理器21经由机器可读指令被配置为执行一个或多个计算机程序部件。该计算机程序部件可包括信息部件31、训练部件32、预测部件34、注释部件36、轨迹部件38和/或其他部件中的一者或多者。处理器21可被配置为通过以下各项执行部件31、32、34、36和/或38：软件；硬件；固件；软件、硬件和/或固件的某种组合；和/或用于配置处理器21上的处理能力的其他机制。

应当理解，尽管部件31、32、34、36和38在图18中被示出为共同位于单个处理单元内，但在处理器21包括多个处理单元的实施方案中，部件31、32、34、36和/或38中的一者或多者可远离其他部件定位。例如，在一些实施方案中，处理器部件31、32、34、36和38中的每一者可包括单独且相异的处理器的集合。下文描述的由不同部件31、32、34、36和/或38提供的功能的描述是出于说明性目的，并非旨在进行限制，因为部件31、32、34、36和/或38中的任一者都可提供比所描述的更多或更少的功能。例如，部件31、32、34、36和/或38中的一者或多者可被去除，并且其功能中的一些或全部可由其他部件31、32、34、36和/或38提供。又如，处理器21可被配置为执行一个或多个附加部件，该一个或多个附加部件可执行下文归因于部件31、32、34、36和/或38中的一者的功能中的一些或全部。

本发明所公开的方法涉及用于使用临床相关信息(诸如神经和骨结构)来实时增强相机图像的先进成像解决方案和系统。系统5的输出可以是已经叠加在实时相关结构中的相机图像。用户可以选择可能需要什么级别的信息/细化。可基于解剖结构的ROI的置信区间来执行叠加。置信区间可基于在进入之前可用的信息来确定，并且然后随着新信息在手术中变得可用(例如，随着相机在端口中推进)而被更新以收紧估计的ROI。图20A是将在系统监视器上显示的示例性输出。

在一些实施方案中，置信区间可与上述置信区间50相似或相同。并且每个置信区间都可编码系统5有多确信解剖结构确实是所预测的解剖结构。例如，注释部件36可覆盖过渡区或边界，或者其可注释颜色编码的靶心，其中绿色指示最高置信度。并且，当注释相机图像中的Kambin三角53的存在时，随着三角的边界向外延伸，其可变得更红。红色部分可表示，虽然仍然在Kambin三角53附近，但这种情况的置信度可能较小。当指示神经根或其他结构时，可执行相同或类似的方法。例如，注释部件36可指示神经中心在何处具有100％置信度；但当向外延伸时，边界的外观可能发生改变，从而指示增加的可疑性。

图19A是脊柱的侧视图，该脊柱包括一系列椎体或另选的椎骨和纤维椎间盘，它们为身体的上部部分提供轴向支撑和移动。脊柱通常包括三十三块椎骨11，分别为七块颈椎(C1-C7)、十二块胸椎(T1-T12)、五块腰椎(L1-L5)、五块融合骶椎(S1-S5)和四块融合尾椎。

图20B是Kambin三角53的示意图。Kambin三角53可以是任何多边形或形状(例如，三角形或通过概括或近似仅为三角形)。Kambin三角53可以是用于脊柱手术的后外侧进入的部位。其可被定义为从背侧观察的椎间盘上方的直角三角形。斜边可以是出口神经根19，底边可以是下椎骨的上边界或终板，并且高可以是穿越神经根23或SAP 52。可通过执行椎间孔成形术穿过该区域进入椎间盘，在该椎间孔成形术中，下椎骨的一部分被去除，使得可在脊柱的该区处引入外科器械或植入物。例如，系统5可用于进入Kambin三角53并通过其植入可膨胀植入物。在这种手术中，通常期望保护出口神经19和穿越神经根23。

可通过Kambin三角53进入椎间盘，例如通过执行内窥镜椎间孔成形术同时保护神经。与如本领域中通常进行的从后部或从前部进入椎间盘相比，利用椎间孔成形术通过Kambin三角53进入椎间盘可具有若干优点(例如，对患者的创伤更小或减少)。具体地，涉及后部进入的外科手术通常需要去除关节突关节。例如，TLIF通常涉及去除一个关节突关节以形成通向椎间盘的膨胀的进入路径。去除关节突关节对于患者来说可能是非常疼痛的，并且与增加的恢复时间相关联。相比之下，通过Kambin三角53进入椎间盘可有利地避免去除关节突关节的需要。

内窥镜椎间孔成形术可提供通向椎间盘的膨胀入路，而无需去除关节突关节。保留关节突关节可减少患者疼痛和与外科手术相关联的失血。另外，保留关节突关节可有利地允许使用利用关节突关节进行支撑的某些后部固定设备(例如，经小平面螺钉、经椎弓根螺钉和/或椎弓根螺钉)。这样，这种后部固定设备可与通过Kambin三角53插入的椎间设备组合使用。

在示例性腰椎中，膜囊可以是圆形的。在一些患者中，膜囊可形成Kambin三角53的垂直边，例如，上关节突可能在此处。并且上终板椎骨可形成所述三角形的水平边或底边。膜囊可填充有脑脊液，其中脊髓和马尾神经根以及一些游离的蛛网膜下血管自由漂浮。

椎骨终板可以是椎体和椎间盘彼此交接的过渡区域。形成直角的Kambin三角53的部分可以是椎间孔成形术的边界(例如，SAP 52可能所在的位置)。

在一些实施方案中，注释部件36可指示所捕获的图像的每个像素关于其是否表示神经、Kambin三角或其他结构。例如，预测部件34可指示像素表示Kambin三角53的概率为90％并且像素表示神经根19的概率为60％。在该示例中，注释部件36然后可在确定将该像素或区域肯定地注释为Kambin三角时采用这两个概率中的最大值。另选地，可存在混合颜色(例如，红色和绿色)以在视觉上表示预测是准确的置信水平的颜色代码。不管该注释方法如何，都可在获得访问时以及当在其中推进相机51时实时更新表示。

在一些实施方案中，模型64可以是输出以下三项的单个CNN或另一神经网络：(i)椎体和椎孔、(ii)神经根以及(iii)骨标志。在其他实施方案中，可存在三个网络，这三个网络中的每个网络输出这三种不同类型的解剖结构中的一者。因此，语义分割是设想的方法。可为所述三种不同类型的每个结构预测类别概率。对于每个像素，可能存在这样的概率，例如在该概率中，80％为Kambin三角53，10％为上关节突(SAP)52，并且10％为出口神经根19，并且然后注释将指示Kambin三角。可通过利用形状先验来进一步增强检测，例如，可将表示Kambin三角的像素分组以类似于三角形。

在一些具体实施中，来自图18中所描绘的CT 55和/或MRI 56的术前扫描可能已经提前一段时间(例如，一个月)进行，这可能是重要的，因为ROI可能已经改变并且/或者手术期间的患者位置可能不同于扫描期间的患者位置，从而使得扫描有些过时。并且然后，当工具和/或医疗从业人员访问场景时，ROI被操纵。因此，从相机51捕获的图像可充当在ROI处的实际情况的锚点，这与CT和/或MRI扫描仅显示该处的预期情况相反。

在一些实施方案中，预测部件34可基于患者来调整预测，例如，通过仅使用CT扫描进行预测并且然后基于从相机51实时捕获的图像来调整预测或进行重新预测。因此，这些图像可与先前获得的患者扫描一起使用。例如，来自CT 55的扫描可帮助确定ROI；并且然后，当开始使用相机51时，可实时更新Kambin三角53的位置的预测。在该示例或另一示例中，取向可被改变。可通过此类术前扫描获得更多的信息，这些信息可被用于识别Kambin三角53以及/或者调整其上可安装有相机51和/或植入物的推进器械的轨迹。

在一些实施方案中，轨迹部件38可确定推进的轨迹是否满足标准。并且然后，响应于确定轨迹不满足标准，该部件可调整轨迹使得标准被满足。

尽管本文设想了仅从相机图像识别或检测解剖结构的实施方案，但CT和/或MRI扫描通过提供可用于增强所述识别或检测的准确性的更多信息来提供帮助(例如，使用相对取向和尺寸)。例如，可使用对应于所捕获的图像的MRI扫描来识别神经根19、23，使用训练数据来训练模型64，该训练数据包括基于在先前获得的MRI扫描中识别的神经根结构标记的真值。

在第一组实施方案中，预测部件34可仅使用相机51和CNN或U-Net来预测一个或多个解剖结构(例如，Kambin三角、神经结构和/或骨结构)的存在。在第二组实施方案中，可使用来自MRI 56和CT 55中的至少一者的至少一个术前扫描来执行解剖结构的预测。并且，在具有导航相机的第三组实施方案中，可使用来自二维(2D)CT(例如，C形臂54)的输出来执行预测。在第三组实施方案中，预测部件34可使用2D到3D图像重建来识别Kambin三角和/或骨标志。注释部件36然后可将该识别的表示叠加在相机图像上。因此，校准目标或导航C形臂可用于根据患者表型基于图谱或统计形状模型来预测Kambin三角。

在这些实施方案中的一个或多个实施方案中，具有先验知识的专家或外科医生可预先注释或标记训练数据的图像(例如，外科医生已经构建的指示解剖结构的位置的图像)并且直接学习，例如从其他样本的统计集合学习以随后在其上构建。注释的图像可具有各种水平的组织穿透性或生物利用率。在经受训练时，这些实施方案的模型64可用于预测这些结构在所捕获的图像中的存在，每一者具有围绕这些结构的对应置信区间。当在访问期间有更多图像可用时，这些结构的边界可能收紧。

在一些实施方案中，轨迹部件38可使用相机图像和各种标志来提供取向信息和校正(例如，当非导航时)。例如，如果在医疗手术期间改变相机取向，则该部件可通过分析图像的标志的旋转并且维持恒定姿势来保持相同的视场。当相机转动时，预测部件34可检测其他地方的结构；然后，轨迹部件38可推断将相机51转动多少以保持该姿势。在相机被导航的实施方案中，然后轨迹部件38已获知有多少场景被旋转以执行合适的校正。

在一些实施方案中，信息部件31可存储关于如何访问ROI然后从其学习的信息(例如，作为模型参数或用于超参数调整)。在这些或其他实施方案中，3D CT扫描可使得能够使用先前的骨解剖信息来执行模型64的训练。由模型64实现的CNN可执行分割。这种分割可以是经由CT扫描的脊柱结构。分割有助于检测这些结构，例如，当怀疑Kambin三角53低于或高于特定结构时。这样，可确定相机51的图像中的内容的情境，从而增加改进所述三角形的检测的概率。

在一些实施方案中，可经由训练部件32和/或预测部件34获得患者人口统计信息(例如，尺寸、体重、性别、骨健康或另一属性)以及腰椎可能所属的水平(例如，L1、L2与L4、L5)。这些属性可用作模型参数或用于超参数调整，以帮助改善性能。

如所提及的，模型64的CNN的一些实施方案可仅将相机图像作为输入(即，用于训练以及部署时)，例如，在外科医生执行真值注释的情况下。但其他实施方案可具有用于所述输入的相机图像、一些高级信息和CT扫描(并且甚至可能进一步使用MRI扫描)，例如使用3D CT扫描分割结果作为真值。来自这些实施方案的叠加输出(例如，如图20A所示)可以是类似的，但对于后者，由于具有分割信息，其他实施方案具有更准确的预测而不再需要外科医生进行标记。换句话讲，CT扫描可能足以经由CNN自动检测Kambin三角53，以随后使用相机图像将该学习传输到CNN。

在一些实施方案中，使用CT扫描执行的用于学习的注释可以是有监督的、无监督的或半监督的。

在一些实施方案中，注释部件36可向医疗从业人员提供UI，该UI基于来自相机51的一组(例如，一个或多个)图像(例如，在接近Kambin三角53期间获得)来指示解剖结构位于何处(例如，在图20A的示例中显示的区域中或另一ROI中)。在这些或其他实施方案中，轨迹部件38可确定(例如，用于通知医疗从业人员)需要在轨迹中作出何种改变；因此，可实现朝向Kambin三角53的改进的轨迹。在任一实施方案中，本发明所公开的人工智能的具体实施可经由识别Kambin三角53时的改进的准确性来改进手术装备的效率和安全性。例如，可避免危及患者(例如，当接触神经时)的外科器械的不必要的和错误的移动。

在一些实施方案中，轨迹部件38可确定并且连续地更新从捕获图像的设备到所识别三角形的当前距离。在这些或其他实施方案中，轨迹部件38可确定朝向所识别三角形推进的扩张器的位置。可经由安装在扩张器的侧面上的相机、电荷耦合器件(CCD)和光学传感器中的至少一者来捕获图像。

在一些实施方案中，注释部件36可近实时地指示Kambin三角53、SAP 52和神经19中的至少一者。如图20A的示例中所示，可在相机图像上用粗线表示边界，并且也可在其上注释指示这些结构中的每个结构的文本。另选地，可使用像素或其他标记来区分这些结构。用户可经由UI设备18来选择应当强调的内容以及应当如何执行这种代表性强调。例如，这种用户可配置的注释可使得SAP边界(或者神经或Kambin三角的边界)和/或对应文本是可选的。

在一些实施方案中，轨迹部件38可基于SAP 52、上终板椎骨和/或可充当解剖标志的ROI中的另一结构的相对位置来识别使工具朝向或穿过Kambin三角53推进而不接触神经的方式。根据CT扫描，可预测SAP 52的存在、脊髓水平和/或其他骨标志，它们中的每一者在一组特定位置处被预测。并且，根据MRI扫描，神经根19、23可被预测为存在于特定位置处。为了识别Kambin三角53，可预测三条边的存在，例如包括神经19、SAP 52和上终板椎骨。

在一些实施方案中，相机51可执行超光谱或多光谱成像(即，针对除仅白光之外的波长)以用于在视觉上获得关于血液供应、动脉、神经等的信息。叠加关于这些其他波长的信息对于用户而言也是可选的。

在一些实施方案中，轨迹部件38可在扩张器朝向Kambin三角53推进时识别扩张器的位置，并且基于这些图像给予医疗从业人员反馈。在本文中，医疗从业人员可指基于人的手术、计算机使用和人手术的组合、或纯自动化。

在一些实施方案中，相机51可安装在牵开器(例如，福克斯伸缩器或另一器械)的尖端处，用于识别或发现解剖结构，包括Kambin三角53和神经。

在一些实施方案中，相机51可安装或集成在作为牵开器的进入管上。并且在其尖端处可存在灌注抽吸装置，使得当插入另一内窥镜或另一器械时不占用工作空间。因此，相机51可内置在端口本身中。如相对于图20A可论证的，相机51可能已经在牵开器固定装置上并且嵌入其侧面。在图20A中，相机位于中下部并向上观察。

在一个具体实施中，扩张器和进入插管可被向上插入到Kambin三角53，但它们可不穿过该三角。盘清洁器可通过此处并且然后清洁盘。探针的一个或多个方面或其他结构可停靠在扩张器端口或Kambin三角53周围的骨骼上。

在一些实施方案中，相机51可被导航(例如，CT扫描和端口/相机被配准)。例如，可实时跟踪相机的导航，以获知端口在空间中的位置。即，这可被配准到术前图像以获知一切事物相对于彼此的位置以及获知视点来自何处。如所提及的，相机51可在端口的侧面上或者在扩张器的侧面上。如果工作通道将在之后偏离相机(例如偏离几毫米)，则可对其进行补偿。例如，这些偏离可为约30度。可能有0度和30度的内窥镜，其中30度的内窥镜围绕拐角示出。

在向前看时，可能会有一些失真，如果准确知道角度并对工作距离有所了解，就可进行校正。因此，从相机51提供的图像可基于偏斜的相机位置，使得图像的中心实际上穿过工作通道；并且可能存在经由成像处理流水线执行的一些软件校正。在一些具体实施中，当从侧面观察时，受角度的影响，相机越远离，用户可在顶部(例如，图20A的上部部分)上获得失真越大。但这种情况的大部分可被校正。在校正后，用户可能会觉得其全部居中。当不校正时，可能由于偏离中心而存在透镜效应。这可能不会导致信息的丢失，而只是不同的像素表示不同的区域。这被称为鱼眼失真并且可被校正。

在包括CT 55的具体实施中，患者可在扫描时躺在台上。然后，数天或数周后，到了手术时间，患者可在放入相机51时躺在不同的位置。例如，可在附近放入小型设备，并且然后在腰椎区域(例如，L5-S1区域)拧入。可执行快速CT扫描，并且然后所插入器械可具有在CT扫描中弹出的反射器；在手术室中还可存在相机，其准确地知道器械在空间中的位置。因此，可例如通过将相机的图像与来自先前获得的扫描的坐标系对准来配准患者、图像或设备。还可使用扫描仪和参考阵列或标记来执行配准。脊柱的柔性性质可增加移动的风险，并且由此增加不准确性，从而使得导航对于改进准确性而言是重要的。

在相机51被导航并且当使用3D CT扫描时的实施方案中，预测部件34可自动地分割CT扫描(例如，使用深度学习)以识别椎体和椎孔；椎孔是存在于动物体内以允许肌肉、神经、动脉、静脉或其他结构将身体的一部分与另一部分连接的开孔。根据这些识别，预测部件34可推断出Kambin三角53。然后可将Kambin三角的表示叠加在相机51的图像上。在这些或其他实施方案中，预测部件34可自动分割CT扫描(例如，使用通过共同获取的MRI CT扫描训练的深度学习)以识别出口神经根19。注释部件36然后可将该神经结构叠加在图像上。在这些或其他实施方案中，预测部件34可自动分割CT扫描(例如，使用深度学习)以将此类骨标志识别为椎骨、椎弓根、横突(TP)、棘突(SP)和/或SAP 52。然后，注释部件36可将骨结构叠加在相机的图像上。因此，注释部件36可将Kambin三角53、神经结构19、23和骨结构52中的至少一者同时叠加在图像上，任选地供用户细化所显示的信息的量。

在一些实施方案中，机器学习模型可被输入3D扫描以预测Kambin三角53在每个扫描中的位置(经由监督或无监督学习)；并且然后可基于这些预测使用标记来训练另一机器学习模型，使得该另一模型使用2D相机的图像来进行Kambin三角的预测。在其他实施方案中，Kambin三角的人工标记可用于训练机器学习模型；并且然后可将2D相机和3D扫描两者输入到该模型中，以实时预测当前患者的所述三角形。这些实施方案实现了蒸馏学习或学生-教师模型。

在一些实施方案中，相机51可以是非导航的，即使3D CT扫描可能可用时也是如此。例如，当相机51的术中图像被实时馈送到该预测模型中时，可执行深度学习以直接从2D相机图像识别各种骨标志。在其他实施方案中，用户可能必须等待一段时间(例如，10秒)来获得对Kambin三角53的识别的预测；在该时间段期间没有事物能够移动。在一些具体实施中，预测可能不如相机馈送自身快，但其可在事物移动时近实时地更新自身。例如，可旋转端口(或移动工具)以从特定角度观察。

当未导航时，可基于找到的标志实时地执行与3D CT扫描的配准。然后，可将Kambin三角、神经结构和骨结构的置信区间叠加在相机图像上。由于未执行配准，用户可能不知道相机正在观察的位置与CT扫描仪正在观察的位置。当被导航和配准时，用户将准确地知道相机图像的2D切片在3DCT扫描内正在观察的位置。当不使用导航相机时，用户可知道患者的骨解剖结构看起来如何，但他们将无法将此链接到相机图像。因此，这种非导航方法可涉及从相机图像获得骨的预测，并且然后将其配准回3D CT扫描，这也可用于预测骨的存在，以随后估计用户正在观察哪个2D切片。

在一些实施方案中，CT 55是XT(锥形束CT)。在没有可用的CT扫描的其他实施方案中，然后预测部件34可能必须依赖于一些视觉部件，除非使用神经定位器设备或一些其他装置(诸如超声或Sentio)来提供进一步的成像输入以叠加在相机图像上。在一个示例中，集成设备可用于通过探针或端口发送电流以获得关于设备与神经有多近的信息。

图21至图22示出了根据一个或多个实施方案的用于使用增强成像进行精确手术的方法100和150。这些方法可使用包括一个或多个计算机处理器和/或其他部件的计算机系统来执行。这些处理器由机器可读指令配置以执行计算机程序部件。以下呈现的这些方法的操作旨在是说明性的。在一些实施方案中，方法100和150可各自使用未描述的一个或多个附加操作和/或不通过所讨论的一个或多个操作来完成。另外，这些方法中的每个方法的操作的顺序在图21至图22中示出。在一些实施方案中，方法100和150中的每个方法可在一个或多个处理设备(例如，数字处理器、模拟处理器、设计用于处理信息的数字电路、设计用于处理信息的模拟电路、状态机和/或用于以电子方式处理信息的其他机构)中实现。这些处理设备可包括响应于以电子方式存储在电子存储介质上的指令来执行这些方法的一些或全部操作的一个或多个设备。这些处理设备可包括通过专门设计用于执行这些操作中的一个或多个操作的硬件、固件和/或软件配置的一个或多个设备。

在方法100的操作102处，可获取对应于患者的ROI的一个或多个扫描。例如，所获得的患者扫描可以是未分割的并且对应于手术区域或计划的手术区域。在一些实施方案中，由与信息部件31和C形臂54、CT 55和/或MRI 56(在图18中示出并且在本文中描述)相同或类似的处理器部件来执行操作102。

在方法100的操作104处，可实时捕获患者的ROI中的图像。例如，相机51可实时获得身体或患者体内的一组图像，该一组图像的捕获在手术期间执行。方法100可一次使用一个或多个图像来执行。在一些实施方案中，由与信息部件31和相机51(在图18中示出并且在本文中描述)相同或类似的处理器部件来执行操作104。

在方法100的操作106处，可获得训练数据，该训练数据包括基于在先前获得的扫描和先前医疗手术期间实时捕获的对应图像中识别的结构而标记的真值。在一些实施方案中，由与训练部件32(在图18中示出并且在本文中描述)相同或类似的处理器部件来执行操作106。

在方法100的操作108处，可使用所获得的训练数据来训练模型。例如，可获得经训练的CNN、或模型64中的另一模型，以执行图像和/或扫描中的解剖结构的识别或检测。即，在训练部件32训练神经网络之后，所得的经训练的模型可被存储在预测数据库60的模型64中。在一些实施方案中，由与训练部件32相同或类似的处理器部件来执行操作108。

在方法100的操作110处，可从椎体和椎孔、神经根以及骨标志中选择(例如，经由UI设备18手动地进行或基于预定配置自动地进行)ROI之中、附近和/或周围的多个不同结构。在一些实施方案中，由与信息部件31(在图18中示出并且在本文中描述)相同或类似的处理器部件来执行操作110。

在方法100的操作112处，可经由经训练的ML模型使用所获取的扫描和所捕获的图像来识别Kambin三角和/或每个所选结构；这些识别中的每个识别可满足置信度标准，Kambin三角的识别基于所选结构的相对位置。例如，通过使用图像分析工具从未分割扫描识别至少一个神经结构的存在来执行预测，该图像分析工具接收未分割扫描作为输入并且输出识别至少一个神经结构的标记图像体积。在一些实施方案中，预测部件34可经由U-Net进行预测，该U-Net可包括为生物医学图像分割开发的CNN和/或全卷积网络。在一些实施方案中，由与预测部件34(在图18中示出并且在本文中描述)相同或类似的处理器部件来执行操作112。

在方法100的操作114处，可将所识别的三角形和/或每个所选结构的表示叠加在所捕获的图像上。例如，区分、强调、突出显示或以其他方式指示解剖结构的信息可将图像叠加在接近Kambin三角53的路径上。在一些实施方案中，由与注释部件36(在图18中示出并且在本文中描述)相同或类似的处理器部件来执行操作114。

在方法100的操作116处，可随后实时捕获患者的ROI中的另一图像。在一些实施方案中，由与信息部件31和相机51相同或类似的处理器部件来执行操作116。

在方法100的操作118处，可经由经训练的模型使用所获取的扫描和另一图像来重新识别Kambin三角。例如，随后对Kambin三角53的识别可满足改进的置信度标准，例如用于基于随后捕获的图像来生长表示所识别的三角的区域。在一些实施方案中，由与预测部件34相同或类似的处理器部件来执行操作118。

在方法100的操作120处，可更新与所重新识别的三角相关联的置信度标准。例如，可基于相机51的馈送来实时更新置信区间。在一些实施方案中，注释部件36可确定置信区间，例如，当相机52接近ROI和/或Kambin三角53时。置信区间可指示预测解剖结构存在于一组位置(例如，2D、3D或另一合适数量的维度)中的每个位置处的程度。在一些实施方案中，可通过基于已知手段改进的程度来满足置信度标准，从而获得Kambin三角53确实在预测的位置处(例如，用于朝向所述三角推进)的更高保证。在一些实施方案中，由与预测部件34或注释部件36相同或类似的处理器部件来执行操作120。

在方法100的操作122处，可将所重新识别的三角的更新表示叠加在另一图像上。例如，叠加可在与用于进行预测的图像相同或不同的图像上。在一些实施方案中，由与注释部件36相同或类似的处理器部件来执行操作122。

在如图22所描绘的方法150的操作152处，可获得手术室的配置。例如，可确定来自2D CT、3D CT和MRI的输出是否可用。在该示例或另一示例中，可确定相机51是可导航的还是可配准的。在仅提供患者的CT扫描的具体实施中，训练部件32可使用其他患者的MRI扫描来训练能够从CT扫描检测神经的方法，如本文所讨论的。因此，通过获知某些骨结构或标志所处的位置，预测部件34可预测神经所处的位置。可基于特定工具和技术的可用性来确定算法方法本身。例如，系统5可因此使用某些输入和/或条件，并且然后调整自身以挑选合适的方法。在一些实施方案中，由与信息部件31相同或类似的处理器部件来执行操作152。

在方法150的操作154处，通过确定所获得的配置是否指示导航和/或3D CT扫描，可基于该配置来选择经训练的机器学习模型。在一些实施方案中，由与训练部件32或预测部件34相同或类似的处理器部件来执行操作154。

在方法150的操作156处，响应于确定该配置指示导航和3D CT扫描，3D CT扫描可与端口和/或相机配准(例如，通过在多个不同的坐标系与所捕获的图像之间对准)，并且可获取对应于患者的区域的3D CT扫描。在一些实施方案中，由与轨迹部件38(在图18中示出并且在本文中描述)相同或类似的处理器部件来执行操作156。

在方法150的操作158处，可实时捕获图像。

在方法150的操作160处，可经由所选模型使用所获取的3D CT扫描和所捕获的图像来识别Kambin三角。在一些实施方案中，由与预测部件34相同或类似的处理器部件来执行操作160。

本文所述的技术可在数字电子电路中，或在计算机硬件、固件、软件中或它们的组合中实现。这些技术可被实现为计算机程序产品，即，有形地体现在信息载体中的计算机程序，例如，体现在机器可读存储设备中、机器可读存储介质中、计算机可读存储设备中或计算机可读存储介质中，以由数据处理装置(例如，可编程处理器、一个计算机或多个计算机)执行或控制该数据处理装置的操作。计算机程序可以包括编译和解释语言在内的任何形式的编程语言来编写，并且其可以任何形式部署，包括作为独立程序或者作为模块、部件、子例程或适于在计算环境中使用的其他单元。计算机程序可被部署成在一个计算机上或在一个站点处或分布在多个站点上并且通过通信网络互连的多个计算机上执行。

所述技术的方法步骤可由执行计算机程序的一个或多个可编程处理器执行以通过对输入数据进行操作并且生成输出来执行所述技术的功能。这些方法步骤还可由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且所述技术的装置可被实现为该专用逻辑电路。

以举例的方式，适于执行计算机程序的处理器包括通用和专用微处理器两者，以及任何种类的数字计算机的任何一个或多个处理器。一般来讲，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。一般来讲，计算机还将包括用于存储数据的一个或多个大容量存储设备(诸如，磁盘、磁光盘或光盘)或可操作地耦接到该一个或多个大容量存储设备以从其接收数据或向其传输数据或两者。适于体现计算机程序指令和数据的信息载体包括：所有形式的非易失性存储器，例如包括半导体存储器设备，诸如EPROM、EEPROM和闪存存储器设备；磁盘，诸如内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或结合在该专用逻辑电路中。

本文具体地示出和/或描述了本公开的若干实施方案。然而，应当理解，考虑了各种修改和变型并且其在所附权利要求的范围内。

美国专利8,518,087号的公开内容据此全文以引用方式并入本文，并且应被视为是本说明书的一部分。

Claims (20)

1.一种外科方法，包括：

获取对应于手术区域或计划的手术区域的未分割患者扫描；

使用图像分析工具从所述未分割扫描识别所述手术区域或计划的手术区域中的至少一个神经结构，所述图像分析工具接收所述未分割扫描作为输入并且输出识别所述至少一个神经结构的标记图像体积；

创建结合有所识别的至少一个神经结构的患者专用手术计划；

以及根据所述患者专用计划来执行外科手术。

2.根据权利要求1所述的外科方法，其中，所述未分割患者扫描是CT或CBCT扫描，并且其中识别所述至少一个神经结构还包括自动分割所述未分割扫描以识别所述至少一个神经结构。

3.根据权利要求1所述的外科方法，其中，所述图像分析工具使用深度学习模型来自动分割所述未分割患者扫描中的所述至少一个神经结构，所述方法还包括基于所述患者的位置变化来估计所识别的至少一个神经结构的预期移动。

4.根据权利要求3所述的外科方法，其中，所述患者的所述位置变化是从成像位置到操作位置。

5.根据权利要求3所述的外科方法，还包括根据所述至少一个神经结构的所述预期移动来调整所述患者专用手术计划。

6.根据权利要求1所述的外科方法，其中，所述未分割患者扫描是术前患者扫描，其中所述患者专用手术计划是经优化以避免与所识别的至少一个神经结构冲突的患者专用手术入路计划，并且其中所输出的标记图像体积在所述外科手术期间被显示。

7.一种计算机实现的方法，包括：

获取对应于感兴趣区域(ROI)的扫描；

实时捕获患者的图像；

经由经训练的机器学习模型使用(i)所获取的扫描和(ii)所捕获的图像来识别Kambin三角；以及

将所识别的Kambin三角的表示叠加在所捕获的图像上。

8.根据权利要求7所述的方法，还包括：

获得训练数据，所述训练数据包括基于在(i)先前获得的扫描和(ii)先前医疗手术期间实时捕获的对应图像中识别的结构而标记的真值；以及

使用所获得的数据来训练所述模型。

9.根据权利要求7所述的方法，还包括：

捕获所述患者的另一图像；

经由经训练的模型使用(i)所获取的扫描和(ii)另一所捕获的图像来重新识别所述Kambin三角；

更新与所重新识别的Kambin三角相关联的置信度标准；以及

将所重新识别的Kambin三角的更新表示叠加在所述另一所捕获的图像上。

10.根据权利要求8所述的方法，还包括：

从(i)椎体和椎孔、(ii)神经根以及(iii)骨标志中选择所述ROI中的结构；

经由所述经训练的机器学习模型使用(i)所获取的扫描和(ii)所捕获的图像来识别各自满足置信度标准的所选结构，其中所述Kambin三角的所述识别基于所选结构的相对位置；以及

经由用户界面将所选结构中的每个结构的表示叠加在一个或多个所捕获的图像上。

11.根据权利要求7所述的方法，其中，所述机器学习模型是卷积神经网络。

12.根据权利要求7所述的方法，还包括：

确定从捕获所述图像的设备到所识别的Kambin三角的当前距离。

13.根据权利要求10所述的方法，其中，使用对应的MRI扫描来识别所述神经根，使用训练数据来进一步训练所述模型，所述训练数据包括基于在多个先前获得的MRI扫描中识别的神经根结构标记的真值。

14.根据权利要求7所述的方法，还包括：

朝向所识别的Kambin三角微创地推进器械的至少一部分或植入物；

确定所述推进的轨迹是否满足标准；以及

响应于确定所述轨迹不满足所述标准，调整所述轨迹使得所述标准被满足。

15.根据权利要求7所述的方法，其中，所获取的扫描包括三维(3D)计算机断层摄影(CT)扫描。

16.根据权利要求14所述的方法，还包括：

在配准时，对所述器械或植入物进行导航；以及

通过在所述扫描的多个不同坐标系与所捕获的图像之间对准来执行所述扫描与端口和/或相机的配准。

17.根据权利要求7所述的方法，还包括：

确定朝向所识别的Kambin三角推进的扩张器的位置，其中经由安装在所述扩张器的侧面上的相机、电荷耦合器件(CCD)和光学传感器中的至少一者来捕获所述图像。

18.根据权利要求10所述的方法，其中，所述表示通过使用颜色和/或符号对所选结构的所述置信度标准进行编码，来在视觉上区分所识别的Kambin三角。

19.一种用于态势感知医疗手术的方法，所述方法包括：

获得手术室的配置；

基于所获得的配置来选择经训练的机器学习模型，所述选择是通过确定所述配置是否指示导航和3D CT扫描来执行的；

响应于确定所述配置指示导航和3D CT扫描，(i)通过在所述扫描的多个不同坐标系与所捕获的图像之间对准来将3D CT扫描与端口和/或相机配准，以及(ii)获取对应于患者的区域的所述3D CT扫描；

实时捕获所述图像；以及

经由所选模型使用(i)所获取的3DCT扫描和(ii)所捕获的图像来识别Kambin三角。

20.根据权利要求19所述的方法，还包括：

经由用户界面获得被配置为导致显示所识别的Kambin三角的表示的选择；以及

经由用户界面获得被配置为导致用于所述图像的所述捕获的多光谱成像的选择。