CN117752414A - 用于医疗程序中的感觉增强系统和方法 - Google Patents

Abstract

本发明的名称是用于医疗程序中的感觉增强系统和方法。本发明提供一种由用户在外科手术程序期间佩戴的混合现实外科手术导航系统，其包括：显示装置，显示装置由用户在外科手术程序期间佩戴，显示装置包括处理器单元、显示生成器、传感器套件，传感器套件具有至少一个相机或深度传感器，其中处理单元用从传感器套件接收的数据创建解剖对象的暴露表面的参考表面图；处理单元针对参考表面图建立相对于传感器套件的参考系；参考系的朝向通过创建解剖对象的其它解剖学特征的另外的表面图来建立；处理单元通过以下操作跟踪解剖对象相对于系统的姿态：创建暴露表面的移位表面图并且使移位表面图和参考系旋转和平移，以实现与参考表面图的最佳拟合。

Description

用于医疗程序中的感觉增强系统和方法

本申请为分案申请，原申请的申请日是2018年2月15日、申请号是201880050889.0、发明名称为“用于医疗程序中的感觉增强系统和方法”。

申请日权益的要求

本申请是于2017年8月11日提交的美国申请第15/674,749号以及于2017年8月11日提交的专利合作条约申请第PCT/US2017/046438号的部分继续申请，所述两个申请均要求于2016年8月16日提交的、题为“用于医疗程序中感觉增强的系统和方法(Systems andMethods of Sensory Augmentation in Medical Procedures)”的美国临时申请序列号60/375,483的优先权；出于所有目的，所有申请均通过引用整体并入。

技术领域

本发明涉及用于医疗程序期间的定位、本地化和态势感知的新型可视化和感觉增强装置、系统、方法和设备，所述医疗程序包含但不限于外科手术程序、诊断程序、治疗程序和麻醉程序。

背景技术

当前的医疗程序通常由外科医生或医学专业人员在除了所需工具之外具有很少辅助或没有辅助的情况下执行，以影响患者的变化。例如，矫形外科医生可以具有一些测量工具(例如，标尺或类似工具)和切割工具(例如，锯或钻)，但是不辅助外科医生进行视觉、听觉和触觉输入。换句话说，外科医生除了他或她正在操作的东西之外什么也看不到，除了来自手术室中的其它参与者的正常沟通之外什么也听不到，并且除了来自程序中所关注的抓握工具或其它物品的正常反馈之外什么也感觉不到。可替代地，利用大型控制台型导航或机器人系统，其中显示器和相机定位在远离外科医生的无菌区域之外。这些需要外科医生将他或她的目光在手术部位与二维显示器之间反复移动。同样，当帘、人员或仪器阻碍了相机查看无菌区域中的标记，并且相机的有利位置不能让其自身在伤口内成像时，相机的远程定位会引起视线问题。通常使用带有标记的触针执行解剖配准，从而以标志对相机可见的这种方式进行探测。

发明内容

本发明提供了将一个或多个程序所需的反馈以视觉方式投射到用户的视野中，所述投射不需要使用户的头部不自然地运动或转动来查看外部屏幕。增强的显示或虚拟显示对用户表现为用户的视觉感知自然延伸或加强。进一步地，定位在用户的头组件中的传感器和相机具有与用户相同的有利位置，这最小化了一系列与外部相机相关联的视线模糊问题。与当前的触针点云方法相比，用本发明对解剖表面和特征进行3D映射并将其与来自术前扫描的模型相匹配更快，并且代表在外科手术期间以对解剖体进行配准的更准确的方式。

本发明包括新颖的感觉增强装置或设备，所述感觉增强装置或设备通常由对用户的视觉、听觉或触觉中的至少一个的增强组成，所述增强帮助进行医疗程序。可以以增强现实的形式提供用户的视野上的实时视觉覆盖形式的视觉辅助或者以虚拟现实的形式提供作为视觉场景的替代的供视觉辅助。可以提供简单的哔哔声和音调或更复杂的声音(如语音和指令等)形式的听觉辅助。可以提供简单的警告触觉反馈或更复杂的触觉生成形式的触觉辅助，目的是引导用户。在优选的实施例中，视觉(增强或虚拟)辅助将由音频反馈或触觉反馈或音频和触觉反馈两者来补充。

本发明提供混合现实外科手术导航系统，所述混合现实外科手术导航系统包括：头戴式显示装置(例如，头戴设备等)，所述头戴式显示装置由用户(例如，外科医生)在外科手术期间佩戴，所述头戴式显示装置包括处理器单元、显示生成器、传感器套件，所述传感器套件具有至少一个跟踪相机；以及至少一个视觉标记，所述至少一个视觉标记可由相机跟踪，所述至少一个视觉标记固定连接到外科手术工具上；其中所述处理单元用从所述传感器套件接收的数据映射所关注的解剖对象的部分暴露表面的三维表面；所述处理单元通过将所述三维表面映射到所述解剖对象的三维模型来为所述解剖对象建立参考系；所述处理单元用从所述传感器套件接收的数据跟踪所述外科手术工具的六自由度姿态(包含定位和朝向)；所述处理单元与所述显示器通信以提供混合现实用户界面，所述混合现实用户界面包括所述外科手术工具的期望特征和所述解剖对象的期望特征在所述用户的视野中的立体虚拟图像。

本发明进一步提供了使用混合现实外科手术导航系统进行医疗程序的方法，所述方法包括：(a)提供混合现实外科手术导航系统，所述混合现实外科手术导航系统包括(i)头戴式显示装置，所述头戴式显示装置包括处理器单元、显示器、传感器套件，所述传感器套件具有至少一个跟踪相机；以及(ii)至少一个视觉标记，所述至少一个视觉标记可由所述相机跟踪；(b)将所述显示装置附接到用户的头部；(c)提供具有所述标记的外科手术工具；(d)用所述传感器套件扫描所关注的解剖对象，以获得所述解剖对象的期望特征的三维表面的数据；(e)将所述三维表面的所述数据传输到所述处理器单元，用于对所述解剖对象的所述期望特征的虚拟三维模型进行配准；(f)用所述传感器套件跟踪具有六自由度姿态的所述外科手术工具，以获得用于传输到所述处理器单元的数据；以及(g)显示混合现实用户界面，所述混合现实用户界面包括所述外科手术工具的所述特征和所述解剖对象的所述特征在所述用户的视野中的立体虚拟图像。

本发明进一步提供了用于外科手术导航系统的混合现实用户界面，所述外科手术导航系统包括：由混合现实外科手术导航系统提供的外科手术工具的期望特征和所关注的解剖对象的期望特征在用户的视野中的立体虚拟图像，所述混合现实外科手术导航系统包括：(i)头戴式显示装置，所述头戴式显示装置包括处理器单元、显示器、传感器套件，所述传感器套件具有至少一个跟踪相机；以及(ii)至少一个视觉标记，所述至少一个视觉标记可由所述相机跟踪；其中混合现实用户界面通过以下过程获得：(a)将所述头戴式显示装置附接到用户的头部；(b)提供具有所述标记的外科手术工具；(c)用所述传感器套件扫描期望的解剖对象，以获得所述解剖对象的部分暴露表面的三维表面的数据；(d)将所述三维表面的所述数据传输到所述处理器单元，用于对所述解剖对象的所述特征的虚拟三维模型进行配准；(e)用所述传感器套件跟踪具有六自由度姿态的所述外科手术工具，以获得用于传输到所述处理器单元的数据；以及(f)显示混合现实用户界面，所述混合现实用户界面包括所述外科手术工具的所述特征和所述解剖对象的所述特征在所述用户的视野中的立体虚拟图像。

附图说明

本发明的一些实施例被展示为实例并且不受附图的限制，在附图中，相似的附图标记可以指示类似的元件，并且在附图中：

图1是根据本发明的原理的增强系统的图解性描绘；

图2A示出了图1的系统的显示装置的图解性描绘的前透视图；

图2B示出了图2A的显示装置的后透视图；

图3是图1的系统的显示装置的另一个实施例的图解性描绘；

图4是图1的系统的电气硬件配置的示意图；

图5是图1的系统的标记和相机的图解性描绘；

图6是在髋关节置换程序中由图1的系统提供的髋臼壳定位期间的混合现实用户界面图像(“MXUI”)的图解性描绘，所述MXUI示出了虚拟骨盆；

图7是在髋关节置换程序中由图1的系统提供的髋臼壳定位期间的MXUI的图解性描绘，所述MXUI示出了虚拟骨盆和虚拟髋臼撞击器；

图8是示出了图1的系统在医疗程序期间的操作过程的流程图；

图9是示出了根据本发明的使用图1的原理的系统来执行髋关节置换程序的方法的流程图；

图10是示出了根据本发明的使用图1的原理的系统来执行一般医疗程序的方法的流程图；

图11示出了关节撞击器的图解性描绘的透视图，所述髋关节撞击器包含髋臼壳和光学标记；

图12示出了图11中示出的髋关节撞击器组合件的分解视图；

图13A示出了解剖标记组合件的图解性描绘的透视图，所述解剖标记组合件任选地包含在图1的系统中；

图13B示出了图13A中示出的解剖标记的夹具组合件的透视图；

图14示出了图13A中示出的解剖标记组合件的分解视图；

图15示出了校准组合件的图解性描绘的透视图，所述校准组合件任选地包含在图1的系统中；

图16示出了图15中示出的校准组合件的分解前视图；

图17示出了图16中示出的校准组合件的分解后视图；

图18示出了由图1的系统提供的各个校准步骤期间的MXUI的图解性描绘；

图19是在髋关节置换程序由图1的系统提供的骨盆配准步骤期间的MXUI的图解性描绘；

图20是在髋关节置换程序中由图1的系统提供的将销插入骨盆期间的MXUI的图解性描绘；

图21是在髋关节置换程序中由图1的系统提供的骨盆配准步骤期间的MXUI的图解性描绘；

图22是在髋关节置换程序由图1的系统提供的股骨配准步骤期间的MXUI的图解性描绘；

图23是在髋关节置换手中由图1的系统提供的切除股骨颈期间程序MXUI的图解性描绘；

图24是在髋关节置换程序中由图1的系统提供的髋臼壳定位期间的MXUI的图解性描绘；

图25是在髋关节置换程序中由图1的系统提供的髋臼壳定位期间的MXUI的图解性描绘；

图26是在髋关节置换程序中由图1的系统提供的股骨定位期间的MXUI的图解性描绘；

图27是在髋关节置换手术期间由图1的系统提供的使用C型臂的MXUI的图解性描绘；

图28是示出了根据本发明的原理如何可以结合外科手术中的C型臂使用图1的系统的流程图；

图29示出了设备标识和跟踪标签的图解性描绘的前视图，所述设备标识和跟踪标签任选地包含在图1的系统中；

图30是根据本发明的原理的使用图1的系统对医疗设备进行配准、共享和跟踪的方法的流程图；

图31是在脊柱融合程序中由图1的系统提供的用超声探针对脊柱进行配准期间的MXUI的图解性描绘；

图32是在开放的脊柱融合程序中由图1的系统提供的用触针对脊柱进行配准期间的MXUI的图解性描绘；

图33是图32的手术暴露部分的特写前视图；

图34是在脊柱融合程序中由图1的系统提供的椎弓根钻孔期间的MXUI的图解性描绘；

图35是图34的虚拟钻和目标部分的近视图；

图36A示出了用户佩戴图1的系统的AR头戴设备的图解性描绘的前透视图；

图36B示出了用户佩戴图1的系统的具有防护面罩的AR头戴设备的图解性描绘的后透视图；

图37A是用户佩戴图1的系统的具有外科手术头盔的AR头戴设备的图解性描绘的前透视图；

图37B是图37A中示出的物品的后透视图；

图38A是图1的系统的各个组件的图解性描绘的前透视图；

图38B是图37A中示出的外科手术头盔的后透视图；

图39示出了图36A中示出的AR头戴设备的前透视图；

图40是图37A中示出的外科手术头盔的分解视图；

图41A是图40中示出的机电联接板的底部透视图；

图41B是图40中示出的机电联接板的顶部透视图；

图42是图37A中示出的系统的用于膝关节置换程序的组件的前透视图；

图43是在膝关节置换程序中由图1的系统提供的远端股骨配准期间的MXUI的图解性描绘；

图44是在膝关节置换程序中由图1的系统提供的切除平面计划期间的MXUI的图解性描绘；

图45是膝关节置换程序中由图1的系统提供的将销放置用于对切割块进行定位期间的MXUI的图解性描绘；

图46是在膝关节置换程序中由图1的系统提供的胫骨切除期间的MXUI的图解性描绘；

图47是在膝关节置换程序期间使用的膝关节平衡装置的图解性描绘的前透视图，所述膝关节平衡装置任选地包含在图1的系统中；

图48是在膝关节置换程序中由图1的系统提供的平衡评估期间的MXUI的图解性描绘；并且

图49是在图47中示出的膝关节平衡装置的前透视图。

图50A是髋臼和近端股骨上的处于参考位置的暴露表面的图解性描绘。

图50B是髋臼和近端股骨上的处于移位位置的暴露表面的图解性描绘。

图51是髋关节和腿关节的图解性描绘，其示出了用于计算股骨倒转的参考轴和参考平面。

图52是具有植入组件的髋关节的图解性描绘。

图53是髋关节撞击器和壳的图解性描绘，其示出了映射在撞击器上的表面。

图54是示出了根据本发明的原理的可以如何使用图1的系统分析髋关节运动学的流程图。

图55是示出了对膝关节置换程序进行导航的示例性方法的流程图。

图56是具有单髁植入物的膝关节的图解性描绘。

图57是具有单髁植入物的胫骨的图解性描绘。

图58A是膝关节的图解性描绘，其示出了用于在参考位置中进行表面映射的示例性区域。

图58B是膝关节的图解性描绘，其示出了用于在移位位置中进行表面映射的示例性区域。

图58C是膝关节的图解性描绘，其示出了用于表面映射的示例性区域。

图59是示出了对髋关节置换程序进行导航的示例性方法的流程图。

具体实施方式

本文所使用的术语仅用于描述特定实施例的目的，而不旨在限制本发明。如本文所使用的，术语“和/或”包含相关联的所列项中的一个或多个的任何和所有组合。如本文所使用的，单数形式“一个(a)”、“一种(an)”和“所述(the)”旨在包含复数形式以及单数形式，除非上下文另有明确指出。应进一步理解的是，当在本说明书中使用时，术语“包括(comprises和/或comprising)”指定所陈述的特征、步骤、操作、元件和/或组件和/或其组的存在。

除非另有定义，否则本文所使用的所有术语(包含技术术语和科学术语)均具有与本发明所属领域的普通技术人员通常理解的相同含义。应进一步理解的是，如在常用词典中限定的那些术语等术语应被解释为具有与其在相关领域和本公开的背景下的含义一致的含义，并且除非本文中明确地如此定义，否则将不会在理想化的或过度正式的意义上进行解释。

在描述本发明中，应理解的是，公开了许多技术和步骤。这些技术和步骤中的每一个技术和步骤具有单独的益处，并且每个技术和步骤还可以与其它所公开的技术和步骤中的一个或多个或者在一些情况下所有技术和步骤结合使用。因此，为了清楚起见，本描述将避免以不必要的方式重复单独步骤的每种可能的组合。尽管如此，应在理解此类组合完全处于本发明和权利要求书的范围内的情况下阅读本说明书和权利要求书。

本文讨论了用于提供数据以辅助医疗程序的新的感觉增强装置、设备和方法。在以下描述中，出于解释的目的，阐述了许多具体细节以提供对本发明的透彻理解。然而，对于本领域的普通技术人员来说明显的是，可以在没有具体细节的情况下实践本发明。

I.感觉增强系统

参考图1、2A-B和3，提供了本发明的感觉增强系统10，用于在医疗程序中使用。系统10包含一个或多个视觉标记(100，108，110)；处理单元102；传感器套件210，所述传感器套件具有一个或多个跟踪相机206；以及显示装置104，所述显示装置具有显示生成器204，所述显示生成器在显示装置104上生成视觉显示，以供用户106查看。显示装置104附接到用户106，使得显示装置104可以增强其视觉输入。在一个优选的实施例中，显示装置104附接到用户106的头部。可替代地，在仍增强视觉场景的同时，显示装置104与用户106分开定位。在一个实施例中，标记(100，108和110)中的每一个标记是独特的并且彼此在视觉上不同，因此所述标记可以由一个或多个相机206单独跟踪。

参考图2A-2B，显示装置104的另一个示例性实施例包含具有光学器件202的遮光板壳体(visor housing)200，所述光学器件允许将显示生成器204的视频显示聚焦到用户106的眼部。传感器套件210附接到显示装置104或者被制造成显示装置的一部分。遮光板壳体200包含附接机构208，所述附接机构允许附接到用户106的头部或面部，使得显示装置104到用户106的视觉路径的对准一致并且可重复。

参考图3，显示装置104的另一个示例性实施例包含清晰面罩300，所述清晰面罩允许从显示生成器302投射到罩300，所述面罩覆盖处于用户106的眼部的视觉路径内的数据和图像。传感器套件306附接到显示装置104或者被制造成显示装置的一部分。显示装置104进一步包含附接机构304。传感器套件306和附接机构304充当与上述传感器套件210和附接机构208相同的功能。

参考图4，其示出了系统10的电子硬件配置，传感器套件(210，306)不仅包含一个或多个跟踪相机402、404、406(与206相同)，其可以任选地包含惯性测量单元(“IMU”)408；无线电410，所述无线电用于与其它传感器或控制单元通信；麦克风416，所述麦克风用于语音激活不同的显示模式，包含但不限于移除所有所显示的物品，以获得清晰的视野；一个多个扬声器418，所述一个多个扬声器用于可听警报和其它目的；以及触觉反馈420，所述触觉反馈呈振动电机、压电蜂鸣器或其它实施例形式。IMU 408为不基于视觉的对象提供添加的朝向和定位数据。IMU 408可以用于但不限于根据相机跟踪数据和IMU 408的数据生成同时定位和映射(“SLAM”)数据，以确定辅助对所关注的对象的表面图进行定位并生成所关注的对象的表面图的非标记特定的空间特征。此外，一个或多个传感器套件(400，210和306)包含外部数据414，所述外部数据如由有线存储器、无线电存储器或所存储的存储器中继。外部数据414可以任选地处于荧光透视成像、计算机轴向断层(“CAT或CT”)扫描、正电子发射断层(“PET”)扫描或磁共振成像(“MRI”)数据等形式。此类数据可以与由传感器套件(400，210和306)收集的其它数据组合，以创建增强图像。

在系统10的操作期间，显示生成器412(与204和302相同)和处理单元401(与102相同)与传感器套件(210，306)的上述组件进行电子通信。处理单元401是控制显示管理和算法执行的中央处理单元(“CPU”)。参考图4，系统10可以任选地包含一个或多个远程传感器套件422。这些远程传感器套件物理上定位成远离显示装置104。这些远程传感器套件422中的每一个远程传感器套件包含传感器套件(210，306)的上述组件中的一些或所有组件。所述远程传感器套件也可以任选地包含单独处理单元和远程处理单元。远程传感器套件422将数据贡献给外部数据414，所述外部数据在需要时可以由处理单元401进一步处理。在另一个实施例中，系统10使用一个或多个远程套件422，以跟踪定位在能视域中的标记和附接到用户106佩戴的显示单元104的任何一个或多个标记，以便定位能视域中的关于用户106的对象。

在一个示例性实施例中，系统10使用一个或多个传感器套件(422，210，306)创建表示工作空间中的对象的三维点数据云。此数据可以用于创建或匹配到已建模对象，用于在以后的时间进行后续跟踪、可视化或回放。

此外，系统10可以任选地使用本领域所公开的装置覆盖图像和掩模，从而使视野中的对象模糊，以辅助突出所关注的区域和物品，所述对象包含但不限于曝露周围的非程序的对象的牵开器或软组织。在一个实施例中，可以在增强现实(“AR”)模式下用覆盖物投射外部图像。在另一个实施例中，可以忽略外部图像，并且只有计算机生成的图形可以用于在虚拟现实(“VR”)模式下向用户106显示数据。如果显示装置104或其部分被制成不透明的以阻挡外部视觉数据，或者如果使用一些其它方法向用户106强调应该集中在图像上而非外部图像上，则支持VR模式。

显示装置104的其它替代性实施例将包含但不限于将全息或伪全息显示投射到用户106的能视域。此外，显示装置可以任选地提供本领域所公开的眼部跟踪装置，所述眼部跟踪装置允许确定关于用户106的视觉视野的最佳显示图像。

系统10可以任选地使用算法在视野中的物品之间进行区分，以标识是什么构成了所关注的对象与对手头的任务不重要的对象。所述标识可以包含但不限于标识髋臼上用于与术前扫描进行比较和合并的骨骼界标，尽管软组织和工具在同一能视域中是可见的。

参考图5，传感器套件(400，422，210和306)的一个或多个相机500、506和一个或多个视觉标记502、504用于视觉跟踪独特的对象(例如，手术工具、解剖对象内期望的位置等)，并确定关于用户106的姿态和位置。在一个实施例中，一个或多个标记中的每一个标记是独特的并且彼此在视觉上不同。独立对象识别和机器视觉技术可以用于标记识别。可替代地，本发明还提供了使用IMU 408对一个或多个所关注的对象进行辅助跟踪，所述一个或多个所关注的对象包含但不限于标记502、504。请注意，一个或多个相机500、506可以离用户106远程定位，并且提供另外的数据，用于跟踪和定位。

最佳过滤算法任选地用于组合来自所有可用来源的数据，从而提供能视域中的物品的最准确的位置和朝向数据。此过滤方案将能够适应以下事件，所述事件包含但不限于一个或多个相机的一个或多个视野的阻塞、所关注的期望区域的血液、组织或其它器官的临时阻塞、使一个或多个相机的一个或多个视野移动远离所关注的区域的头部移动或其它相机移动、数据丢失以及电池/电源耗尽或设备的其它损失。

参考图36A-B、37A-B、38A-B和39-41A-B，显示装置104的另一个示例性实施例是AR头戴设备3600。AR头戴设备3600用于各种无菌外科手术程序(例如，脊柱融合、髋关节和膝关节成形术等)。通过转动拇指轮3606调节头部条带3604，以将AR头戴设备3600夹在外科医生3602(即，用户106)的头部。通过附接到维可牢(Velcro)条带3610将透明防护面罩3608任选地附接到装置3600。可替代地，可以通过粘合剂、磁、钩或其它本领域所公开的附接装置进行附接。存在联接特征3612，用于将外科手术头盔3700通过机械方式和电方式两者附接到AR头戴设备3600。外科手术头盔3700任选地连接到为外科医生3602提供全身覆盖的外科手术罩(未示出)。全身覆盖可用于某些外科手术程序，如髋关节和膝关节成形术等。如果要将外科手术头盔3700附接到外科手术罩上，则风扇将空气吸入穿过外科手术罩进入空气入口3702，并且在外科手术罩和头盔下循环，以使外科医生3602凉爽并防止光学组件起雾。下颌件3704将头盔3700(以及(如果适用的话)所附接的外科手术罩)与外科医生3602的面部隔开。外科手术头盔3700相对于AR头戴设备3600的定位被设计成允许外科医生3602和所有的相机以及传感器不受阻碍地查看外科手术部位。外科手术头盔3700包含用于附接到外科手术罩并且与外科手术罩界接的必要特征。软线3706将AR头戴设备3600连接到髋部模块3708，所述髋部模块可以佩戴在外科医生3602的皮带上。将可更换的电池3800插入髋部模块3708。

参考图39，AR头戴设备3600包含显示区段3900，所述显示区段具有用于视觉增强的一对透视光学显示器3902；以及两个跟踪相机3904，所述两个跟踪相机用于执行跟踪和立体成像功能，所述跟踪和立体成像功能包含二维和三维数字变焦功能。深度传感器3906和结构化光投影仪3908包含在显示区段3900中。优选的是，深度传感器3906和投影仪3908定位在显示区段3900的中间。外科手术头灯3909任选地安装到显示区段3900并且可以电连接到AR头戴设备3600，以允许AR头戴设备3600的软件(包含通过语音命令)控制其亮度。此特征可以用于例如当处于混合现实的模式时调暗或关闭外科手术头灯，以允许在明亮的背景下使虚拟内容更好地可视化。该特征还可以调整以优化光学跟踪，所述光学跟踪有时会被目标的高对比度照明或低环境照明削弱。在另一个示例性实施例中，出于相同的原因，可以通过AR头戴设备3600的软件无线控制手术室灯。

参考图39-40，AR头戴设备3600的后部区段3910可以任选地含有电路系统的热产生组件和其它组件，如微处理器和内部电池。AR头戴设备3600的拱型桥接区段3912和头部条带3604将后部区段3910机械连接到显示区段3900。桥接区段3912的一部分是柔性的以适应大小调整。桥接区段3912可以包含布线电路板或柔性电路板，以提供显示区段3900与后部区段3910之间的电连接。桥接区段3912包含联接特征3612，所述联接特征是具有多个定位孔洞3914和孔口3918的铁磁板，所述孔口提供进入用于给外科手术头盔3700的风扇供电的两个电触点3916的途径。在替代性实施例中，联接特征3612可以是其它本领域所公开的装置，如维可牢、闩锁、螺纹紧固件等。联接特征3612可以任选地包含震动隔离座，以最小化从外科手术头盔3700的风扇到AR头戴设备3600的机械噪声的传输，所述机械噪声可能不利于跟踪性能。风扇4004可以是软件控制的，以允许其减速或关闭来最小化机械噪声的产生。风扇还可以由外科医生3602使用语音命令来控制。软线3706将后部区段3910连接到髋部模块3708。

参考图40，外科手术头盔3700包含空心壳4002，风扇4004将通过壳中的各个通风口排出的空气吸入所述空心壳中，从而为外科医生提供冷风。帽沿通风口4006在手术罩的遮光板上提供气流，并且后部通风口4008向后部(包含向AR头戴设备3600的后部区段3910)提供冷风。

参考图41A-B，联接板3802包含多个凸台4102，用于使用孔3914定位在AR头戴设备3600中。联接板3802也包含弹簧加载的电触点4104，所述弹簧加载的电触点与AR头戴设备3600的电触点3916连接以向风扇4004供电。联接板3802进一步包含磁体4106，所述磁体提供联接板3802与联接特征3612之间的机械保持力。

在一个示例性实施例中，AR头戴设备3600被任选地用作报告装置投诉或设计特征请求的系统。用户界面可以具有菜单选项或语音命令，以在问题发生时启动报告。这样会激活语音和视频相机的记录，从而允许用户106在问题发生时捕获和叙述3D形式的投诉。用户106通过语音或选择选项来终止投诉。投诉记录被压缩并通过互联网以无线方式传输到公司，为投诉处理人员提供良好的数据，从而能够“重现”第一手情况，以进行更好的诊断。可以使用人工智能来解析和汇总投诉材料，以确立图案并执行统计分析。在程序期间，除了数据流是实时传输的之外，可以使用相同的顺序连接到现场技术支持。

II.术前程序

本发明可以用于术前任务和外科手术程序。例如，现在描述了包含可能的术前活动的可替代通用外科手术程序。首先，获得对患者的所关注的区域的扫描，如CT或MRI。如果可能，应以在外科手术期间接近定位的方式使患者定位。第二，执行对扫描数据的分割，以将其转换成所关注的物品的三维模型，所述三维模型包含但不限于：牙齿和骨骼结构、所关注的静脉和动脉、神经、腺体、肿瘤或肿块、植入物和皮肤表面。模型是分离的，使得以后可以独立地显示、标记或操纵模型。这些模型将被称为术前模型。第三，使用模型执行术前计划(任选地使用用于模型的可视化和操纵的VR)以标识物品，所述物品包含但不限于：解剖参考系、切除平面的目标、待切除的体积、切除的平面和水平、待使用的植入物的大小和最佳定位、进入靶组织的路径和轨迹、导丝、钻、销、螺钉或仪器的轨迹和深度。第四，在外科手术之前或外科手术时，将模型和术前计划数据上传到显示装置104的存储器中。此上传过程将通过无线电以无线方式最方便地执行。

第五，使患者为外科手术做准备并进行定位。在手术期间，以最大化皮肤表面的可视化的方式理想地覆盖手术部位，用于随后配准目的。这可以通过自由使用Ioban来实现。这对使用像Ioban等膜将是有益的，所述膜在被特定的LED或可见光发射器以宽照明的点状图案或投射图案瞄准时，以不同方式发出荧光或反射。这种膜也可以具有光学特征、标记或图案，所述光学特征、标记或图案允许头部件的光学相机进行容易识别。

第六，在患者已经为外科手术做好准备并且定位之后，系统10(例如，通过AR头戴设备3600)扫描目前的皮肤包络以确立其目前的轮廓，并创建可供用户106在显示装置104上看到的术前3D模型。优选的方法是在使网格图案或棋盘图案在红外(“IR”)波段投射，所述网格图案或棋盘图案允许根据计算出的已知图像的翘曲/倾斜/缩放确定皮肤包络。替代性方法是使附有标记的触针类型的对象沿暴露的皮肤前后移动，从而允许对触针的位置和朝向进行跟踪并且和随后产生皮肤包络。任选地，向用户106显示皮肤模型，所述用户然后概述已扫描的暴露皮肤的大体区域。计算术前皮肤模型的最佳位置和朝向，以匹配目前的皮肤表面。通过显示装置104以3D形式向用户106显示适当的术前模型。任选地，然后，用户106可以将光学标记插入患者的骨骼中用于精确跟踪。通过其对术前模型的可视化来通知对此标记的放置。可以通过替代性探测或成像(包含但不限于超声)进一步细化术前模型的位置和朝向。

第七，在外科手术期间，使用具有显示装置104的系统10的用户106可以看到术前计划信息，并且可以跟踪仪器和植入物并提供各种各样的术中测量，所述术中测量包含但不限于钻或螺钉相对于解剖体的深度、仪器的角度、骨骼切割的角度等。

参考图8，呈现了在程序期间使用系统10的操作流程的示例性实施例。在本实施例中，CPU 401启动(800)并初始化一个或多个相机402、404、406(802)。当处于一个或多个相机402、404、406的视野中时，对第一标记100进行定位和标识(804)，之后对后续标记108、110进行定位和标识(806)。对这些标记100、108、110的跟踪提供了相对于彼此的位置和朝向以及对主相机的定位(808)。来自如IMU等传感器和相机(来自远程传感器套件422)的替代性传感器数据(810)可以任选地并入数据集。进一步地，可以任选地并入关于患者、目标、工具或环境的其它部分的外部辅助数据(812)，用于在算法中使用。本发明中使用的算法是为特定的程序和所收集的数据定制的。算法输出(814)期望的辅助数据，用于在显示装置中使用(816)。

III.髋关节置换程序

在本发明的一个示例性实施例中并且参考图6，系统10用于髋关节置换外科手术，其中第一标记600通过固定器602附接到骨盆604，并且第二标记606附接到撞击器608。用户106可以通过显示装置104看到图6中示出的混合现实用户界面图像(“MXUI”)。MXUI在髋关节置换程序期间提供骨盆604和撞击器604在用户的视野中的立体虚拟图像。

这些物理对象上的标记(600，606)的组合与先前的处理和特定算法组合允许对用户106所关注的量度进行计算，以便于准确放置髋臼壳612，所述量度包含撞击器608相对于骨盆604的实时倒转角和倾斜角。进一步地，可以呈现对从术前状态到术后状态的物理参数的测量，所述测量包含但不限于总体腿部长度的变化。可以以可读形式610或图像形式呈现数据，所述呈现包含但不限于工具的3D呈现或其它引导形式。

图7描绘了先前图6中示出的MXUI的替代性视图，其中向用户106呈现了虚拟目标700和虚拟工具702，以便于在实现期望的倒转和倾斜中容易使用。在此实施例中，虚拟现实的进一步组合用于通过使具有实际工具702的虚拟目标700完全可视或使具有虚拟目标的虚拟工具(未示出)完全可视来优化用户的自然感觉体验。可以任选地提供现实图像和虚拟图像的其它组合。可以以可读形式704或图像形式呈现数据，所述呈现包含但不限于工具的3D呈现或其它引导形式。

参考图9，本发明进一步提供了一种使用系统10执行髋关节置换程序(900)的方法，其中髋骨具有铰出的臼，并且插入置换杯以与患者的腿部一起使用。在此实施例中，第一标记(例如，100，108或110等)相对于所述标记安装在已知尺寸的固定器上，并且此固定器安装在患者的髋骨上(902)。第二独特的标记(例如100，108或110等)相对于第一标记安装在已知尺寸的指向装置上(904)。使用光学标记和髋关节与指针之间的位置/朝向的差异对骨骼界标或其它解剖界标相对于髋关节固定器的位置和朝向(906)进行配准。这些点用于确定局部坐标系(908)。指针用于在股骨脱位之前确定股骨的位置和方向，并且对髋骨的髋臼进行铰孔来为置换壳留出空间(910)。其上安装有置换壳的撞击器具有安装有已知尺寸的撞击器的第三独特的标记(912)。根据先前描述的关于髋关节标记的算法对具有壳的撞击器进行跟踪(914)。髋关节标记与撞击器之间的相对位置和朝向用于引导根据患者的医疗需要通过AR或VR显示器将壳以期望的位置和角度放置到臼中(916)。此时，在程序中，还可以使用经置换的股骨的标记位置和朝向计算腿部长度的变化(918)。另一个实施例用术前CT数据来增强此程序，以确定组件的定位。另一个实施例使用AR方式或VR方式的显示输出确定股骨头切割。另一个实施例使用数据将螺钉放置到髋臼中。

在一些实施方案中，患者所躺的台面或支架的坐标参考系是期望理想的。如下可以实现台面相对于地面、特别是相对于重力的对准。EVIU(来自传感器套件中的每一个传感器套件，如定位在AR头戴设备3600中的一个传感器套件)提供显示装置104在任何给定时刻相对于重力的俯仰朝向和滚动朝向。可替代地，假设大多数壁和与其相关的特征是平行于重力矢量构建的，则SLAM或类似的环境跟踪算法将提供显示装置104相对于重力的俯仰朝向和滚动朝向。与显示装置104与重力的关系分开，可以通过使用触针确定台面的方向，将三(3)个独立点在台面上配准。用选自显示装置104的坐标系中的这三个点，然后也可以确定台面相对于重力的滚动角和俯仰角。可替代地，可以使用机器视觉算法来确定相对于重力的朝向，从而对台面进行标识和识别。患者的脊柱在俯仰和滚动中相对于显示装置104以及因此如由髋关节标记所界定的任何其它目标坐标系的对准现在是已知的。为了提供偏摆参考，触针可以与髋关节标记结合使用，以限定患者头部定位在哪里，所述定位提供了脊柱相对于其的方向。可替代地，患者头部的图像识别可以用于自动确定。最终，台面和/或患者脊柱的滚动、俯仰和偏摆现在完全限定在显示装置104和所有相关联的坐标系中。

参考图11-12，系统10可以任选地包含用于髋关节成形程序的髋关节撞击器组合件1100。所述组合件包含髋臼壳1102和组装到髋臼撞击器1106的光学标记1104(与上述100、108、110、502、504、600、606、804、806、904、912相同)。图12描绘了组合件1100的分解视图，其展示了通过将分度柱1200插入分度孔1202如何以可再现的方式将光学标记1104附接到撞击器1106。髋臼壳1102通过拧紧到撞击器的螺纹远端1204并且就位于肩部1206上而与撞击器1106可再现地组装在一起。标记1104包含第一基准1108、第二基准1110和第三基准1112；每个基准具有相邻的黑色和白色区域，其中其边界形成相交的直线。AR头戴设备3600中的算法用于处理来自立体相机(3904)的图像，以计算每个基准(1108，1110，1112)的相交点，并且从而确定标记1104的六自由度姿态。出于本说明书的目的，“姿态”被定义为对象的位置与朝向的组合。基准(1108，1110和1112)可以通过在自粘贴纸上印刷、通过将黑色区域激光蚀刻到白色塑料材料的表面上或替代性方法产生。壳含有固定孔1114，螺钉任选地用于通过所述固定孔将壳1102固定到髋臼的骨骼上。

在另一个示例性实施例中并且参考图13A-B和14，系统10任选地包含解剖标记组合件1300，所述解剖标记组合件包含夹具组合件1302和光学标记1304。夹具组合件1302包含基座1400、第一泪珠形孔1402和第二泪珠形孔1404。已经固定到骨骼上的固定销(未示出)可以通过泪珠形孔(1402，1404)插入并且夹在夹爪1406与主体1400之间，从而将夹具组合件1302固定到销上，并且因此固定到骨骼上。夹紧螺钉1408接合爪中的螺纹，并且用于将组合件1302收紧到销上。六边型孔1410允许将六角驱动器用于收紧组合件1302。第一保持销1412和第二保持销1414防止夹具组合件1302拆卸。标记主体1416具有第一定位柱1418、第二定位柱1420和第三定位柱1422，所述定位柱通过将两个定位柱与基座中的定位孔1424和定位槽1426接合来提供到基座1400的定位。设计提供了标记1304的两种可能的旋转位置，这允许标记1304相对于显示装置104(例如，AR头戴设备3600)中的相机(例如，3904)朝向，以便于进行最佳跟踪。标记主体1416包封磁体(未示出)，所述磁体向基座1400提供充足的保持力。

参考图15-17，系统10可以任选地包含校准组合件1500，所述校准组合件包括板1502和标记1504，所述板和标记具有用于联接其(1502，1504)的榫舌和凹槽组合件特征。榫舌和凹槽组合件特征对于将金属组件精确地组装到塑料组件特别有用，所述塑料组件的热膨胀速率与金属组件的热膨胀速率不同。板1502具有多个孔1506，所述多个孔具有用于接受各种撞击器类型的多种螺纹类型。标记1504具有陷窝1508，触针的尖端可以插入所述陷窝以进行配准。标记1504具有多个基准1510。

图18描绘了通过显示装置104(例如，AR头戴设备3600)向用户106显示的MXUI的示例性实施例，其示出了用于各个校准步骤的校准组合件1500。首先，髋关节撞击器组合件1100可以旋拧到板1502的适当的孔中，使得肩部1206成方形地就位，而不会与板1502的表面碰撞。然后，AR头戴设备3600的相机3904可以捕获图像，所述图像由算法处理，以确定撞击器的髋臼壳将就位在其上的肩部与髋关节撞击器组合件1100的标记1104之间的关系。触针1800被示出含有用于跟踪的多个基准1802。可以将触针1800的尖端1804插入板1502的陷窝1508中，以允许确定尖端1804相对于触针1800的标记的坐标。示出了虚拟引导点1806，所述虚拟引导点在相对于标记1504的具体位置处投射到用户106的视野中。用户106放置实际触针1800的尖端1804，其中虚拟引导点1806根据用户106的深度感知定位，从而将其实际视图与由虚拟引导点表示的虚拟视图连接。算法然后应用校正因子来解释如用户106的眼内距离等变量。如果在混合现实的状态下依靠用户的深度感知对工具或植入物进行精确定位，这是有益的。

图19描绘了在髋关节置换程序开始时通过患者1900的显示装置104向用户106显示的MXUI的示例性实施例。用如Ioban等胶带将具有用于跟踪的多个基准1904的股骨标记1902附接到患者1900大腿的皮肤上。可替代地，可以通过使用如图13B所描绘的销和夹具组合物将股骨标记1902直接固定到股骨的骨骼上。用户106使用触针1800的尖端1804对骨盆的前界标进行配准，以确定骨盆在股骨标记1902的参考系中的定位，从而建立临时骨盆参考系。在另一个实施例中，这种配准可以处于通过对患者的可见表面进行SLAM扫描所界定的主体参考系中。在另一个实施例中，可以通过用SLAM生成表面图，并且通过将虚拟点1910依次通过其头部的运动定位在每个界标上使用户106标识每个点，来对骨盆的前界标进行配准。在另一个实施例中，单个基准1906可以放置在待配准的定位处。虚拟圈1908可以用于限定其位置通过用户106的目光来控制的掩模。机器视觉算法仅在虚拟圈1908内寻找单个基准1906。配准步骤可以由用户106用如“配准点”等语音命令触发。用户106也可以对表示远端股骨的点(如髌骨或内侧上髁和外侧上髁的中心)进行配准。当每个点被配准时，如小球等虚拟标记可以在配准时和之后被定位并保持在尖端的定位处，以向用户106提供视觉确认并检查配准的质量。

图20描绘了在髋关节置换程序期间通过虚拟骨盆2000和虚拟股骨2002的显示装置104向用户106显示的MXUI的示例性实施例。如果患者特定的模型已经上传到显示装置104，则这些模型的虚拟模型将连同如神经血管结构等所关注的任何其它虚拟特征一起显示。如果未上传，那么虚拟骨盆和虚拟股骨可以是性别特定的模型，所述模型已经被缩放以最佳匹配所配准的界标的间隔。显示了两个固定销中的每一个固定销的第一虚拟轨迹2004和第二虚拟轨迹2006。在其它实施例中，这些轨迹可以呈管状或锥形。钻2008被示出包含将标记限定在多个表面上的多个基准2010，所述基准允许从各种有利位置跟踪钻头的姿态。可以通过在钻未被跟踪的情况下将实际销2012与虚拟轨迹2004对齐或者在通过钻被跟踪的情况下将虚拟销(未示出)与虚拟轨迹对准来引导插入每个销。如果钻被跟踪，则钻相对于骨盆参考系的角度以数字方式显示，以便于进行另外的增强。虚拟文本2014定位在实际钻的表面2016上，并且随着钻移动，使得与由虚拟文本所表示的角度相关联的对象对用户而言是直观的。

图21描绘了在髋关节置换程序期间通过显示装置104向用户106显示的MXUI的示例性实施例，其中解剖标记1300通过夹到插入髂嵴的销2106上而附接到患者的骨盆。此时，将与跟踪骨盆相关的参考系从先前的参考系转移到解剖标记1300的参考系。如果需要，可以将骨盆重新配准，以增加准确性。用户106然后使用虚拟骨盆2102、虚拟股骨2104和虚拟神经血管结构(未示出)制造切口并使股骨暴露，以作为对切口定位和肌肉切除以及关节囊分离的引导，以使髋关节和股骨颈暴露。此时，用户106将腿部放置在相对于骨盆的、具有近似中性外展、屈曲和旋转的参考位置。

图22描绘了在髋关节置换程序的股骨配准期间通过显示装置104向用户106显示的MXUI的示例性实施例。触针1800的尖端放置在近端股骨上的参考点2200上。此时，确定并记录如由标记1902与1300之间的关系所限定的股骨相对于骨盆的基线朝向。另外，记录参考点2200在骨盆参考系中的坐标。可以通过用外科手术笔进行标记、在骨骼上钻小孔或插入小的方针来加强参考点2200。为了提高配准的精度，显示了以触针的尖端为中心的经放大的立体图像2202，如图22所示。为了帮助用户106之后在程序中找到参考点，可以在配准时记录基线图像或触针的点周围区域的图像。这些图像可以是立体图像。然后，用户106使用触针1800的尖端1804将点配准在股骨颈切割的期望定位上。这个点通常是股骨颈的最上面的点/横向点。计算最佳切除平面，所述切除平面以适当的外展角和倒转角穿过这个点。

图23描绘了在用虚拟切除引导器2300切除髋关节置换程序的股骨颈期间通过显示装置104向用户106显示的MXUI的示例性实施例。矢状锯2302被示出具有限定标记的多个基准2304，其允许矢状锯2302的姿态被跟踪。可以通过在钻未被跟踪的情况下将实际锯片2306与虚拟切除引导器2300对准或者在钻2302被跟踪的情况下将虚拟锯片(未示出)与虚拟切除引导器2300对准来引导切除股骨颈。与图20中示出的跟踪钻一样，如果锯2302被跟踪，则锯2302的角度可以以数字方式显示。这些角度可以相对于骨盆参考系或股骨参考系显示。

图24描绘了在对髋关节置换程序的髋臼壳定位期间通过显示装置104向用户106显示的MXUI的示例性实施例，其中示出了髋臼撞击器组合件1100的虚拟目标2400以及虚拟壳2402。髋臼撞击器组合件1100的放置通过操纵髋臼撞击器组合件以与虚拟目标2400对准来引导。虚拟目标的壳部分的后象限/侧象限可以以不同的颜色显示，或者以其它方式在视觉上与壳2402的其余部分区分，从而向用户106标定目标，用于将螺钉安全放置到髋臼中。髋臼撞击器的数值角和相对于铰孔或未铰孔髋臼的插入深度以数字方式显示为虚拟文本2404。可以显示类似于以撞击器的尖端为中心的2202的经放大的立体图像(未示出)，所述经放大的立体图像示出了虚拟壳如何与虚拟骨盆2102的髋臼界接。

图25描绘了在对髋关节置换程序的髋臼壳定位期间通过显示装置104向用户106显示的MXUI的示例性实施例，其中示出了髋臼撞击器的虚拟轴2500以及虚拟目标2400。髋臼撞击器的放置通过操纵髋臼撞击器以使虚拟轴2500与虚拟目标2400对准来引导。

图26描绘了在对髋关节置换程序的股骨重新定位和重新配准期间通过显示装置104向用户106显示的MXUI的示例性实施例。虚拟股骨目标2600被示出表示在基线股骨配准期间股骨相对于骨盆的术前朝向。虚拟股骨目标的上顶点放置在靠近近端股骨上的参考点。虚拟股骨框架2602被示出表示股骨的当前朝向。随着股骨移动，虚拟股骨框架2602围绕虚拟股骨目标2600的上顶点旋转。通过操纵股骨使虚拟股骨框架2602与虚拟股骨目标2600在外展、屈曲和旋转中对准，来实现将股骨重新定位到基线朝向。随着股骨重新定位在基线朝向中，用户然后使用触针1800的尖端1804对近端股骨上的参考点进行重新配准，以确定腿部长度的变化和从基线测量的横向偏移。可以显示基线股骨配准期间较早记录的基线图像2604，以帮助精确地对相同的参考点进行重新配准。

参考图50-52，系统10可以任选地包含用于在没有固定到解剖体的外部基准的情况下跟踪解剖结构的装置。图50A-B描绘了示例性实施例，其中股骨5002脱位，允许系统10使用传感器套件210来创建小转子5010的暴露表面的参考3维表面图5014。小转子的表面在整个程序中保持不变，并且可以被系统10用于在没有另外的基准的情况下跟踪股骨。参考3维表面图5014的边界可以任选地由用户通过使用光标或指向装置跟踪曲线来指示，所述光标或指向装置可以通过跟踪用户的视线来操作。系统10可以将参考3维图5014作为点云、作为数学表面或通过其它方式存储。系统10可以创建相对于传感器套件210的参考系5016，并且将所述表面图5014的初始姿态记录在参考系5016中。用户106可以在如股骨头5006、股骨颈5008和髋臼5012等同一骨骼或刚性体上对另外的参考点或结构进行配准。系统可以分别为股骨头、股骨颈和髋臼创建另外的3维表面图5020、5022、5024，系统10记录所述表面图相对于参考系5016的姿态。系统10使用传感器套件210连续地重新扫描小转子5010，并且生成解剖体的移位的3维表面图5018。然后将移位的3维表面图5018与为同一表面创建的参考3维表面图5014进行比较，系统10确定为了最佳拟合而将移位表面图5018与参考表面图5014对准所需的几何旋转和平移。系统10然后将相同的旋转和平移应用于股骨5002的刚性体上的所有存储的参考点和结构，以计算所有此类点和结构相对于传感器套件210的参考系的当前姿态。系统10可以计算股骨头5006或髋臼5012的直径，并将所述直径显示给用户106，作为选择髋臼铰刀大小的引导。系统10可以计算股骨头5006相对于参考表面图5014的中心。系统10也可以计算髋臼5012相对于骨盆5004的中心的位置。然后，用户106将所附基准5104的拉刀或铰刀5102插入股骨的管道中，以标识股骨轴5106。系统10计算股骨头5006与股骨轴5106之间的股骨颈轴5118。随着膝关节5110弯曲到大约90°，相机206扫描小腿5112，标识小腿的近似中心轴5114，所述近似中心轴与股骨轴5106一起用于限定参考平面5116，天然股骨颈轴5118的倒转角根据所述参考平面计算。在程序过程中，天然股骨头5006和髋臼5012分别被股骨植入物5202和髋臼植入物5204替代。系统10可以检测所植入的髋臼壳5204和股骨头5208的中心，允许系统10计算和显示从股骨轴5106到股骨头5208的距离(股骨偏移)的变化，或髋臼5208的中心位置在每个结构的相应的天然状态与植入状态之间的变化。在股骨头5006置换之后，但在髋臼5012置换之前，系统10可以使用经置换的股骨头5208基于股骨颈轴5206的新的计算来计算和显示股骨倒转。系统10可以计算和显示髋臼植入物5204中所需的另外的前倾，以实现股骨植入物5202与髋臼植入物5204所组合的前倾的目标。系统10可以计算和显示由于程序的结果而引起的股骨5002与骨盆5004之间的距离的变化。

图53描绘了通过其暴露表面5302的一部分的3维图而非通过补充基准的方式跟踪的髋关节撞击器5300的示例性实施例。系统10可以通过使用相机206同时扫描壳5304和撞击器表面将髋臼壳5304配准到此表面。

图59描绘了流程图，其示出了系统10和其传感器套件210可以如何使用以在髋关节置换程序中进行导航。传感器套件210可以扫描小转子5010(5902)。根据此扫描，可以存储参考3维表面图5014(5904)。然后，系统10可以建立股骨5002相对于传感器套件210的参考系5016(5906)。然后，重复扫描所暴露的小转子5010，系统10针对每次扫描生成移位的3维表面图5018(5908)。在每次连续扫描时，系统可以将移位表面图5018与小转子5010上的同一区域的参考表面图5014进行比较。基于此比较，系统10可以通过确定使移位表面图5018与参考表面图5014最佳拟合所需的平移和旋转来跟踪股骨5002相对于传感器套件210的姿态(5910)。

图54描绘了流程图，其示出了系统10和其传感器套件210可以如何使用以分析髋关节运动学。传感器套件210可以扫描患者的解剖体的暴露表面，所述解剖体包含天然股骨头5006和髋臼5012(5400)。根据这些表面，可以存储每个结构的3维图5020、5024(5402)。然后，系统10可以使表面旋转到所期望的站立患者中的朝向，并且使其沿身体重量方向一起平移(5404)。然后，系统10可以计算两个表面之间的接触点或接触面，所述接触点或接触面与近似球形表面的中心相比可以是更适当的旋转中心(5406)。在用股骨植入物5202和髋臼植入物5204置换天然解剖体之后，系统10可以以类似方式标识植入物的接触点(5408)。使用植入物的几何形状，系统10可以扰动髋关节角度，以计算在植入物之间或植入物与骨骼之间发生撞击之前在每个方向上所允许的运动的角度范围(5410)。可以在显示装置104中突出限制运动的范围的第一撞击的定位(5412)。例如，股骨颈5008可以撞击在髋臼5012的暴露边缘上或髋臼植入物5204上。如果撞击表面中的至少一个撞击表面位于天然骨骼上，用户106可以选择修整骨骼以增加运动范围。如果撞击表面中的至少一个撞击表面位于植入物上，用户106可以选择调整植入物的位置或角度。

IV.系统结合C型臂系统的使用

图27描绘了在用C型臂对患者进行成像期间通过显示装置104向用户106显示的MXUI的示例性实施例。C型臂成像系统2700被示出具有x射线源2702、成像单元2704和显示器单元2706。可跟踪标签2708已附接到C型臂2700。示出了虚拟髋部对准引导器2710和虚拟骨盆对准引导器2712。这些引导器垂直于前骨盆平面，并且分别以髋关节和耻骨联合为中心。C型臂2700的放置通过调整成像单元2704的表面以与适当的虚拟对准引导器对准来引导。如果C型臂2700是可跟踪的，则虚拟C型臂对准引导器2714可以显示。在此情况下，C型臂2700的放置通过调整虚拟C型臂对准引导器2714以与适当的虚拟对准引导器2710或2712对准来引导。相对于目标的位置不对准和角度不对准也可以以数字形式显示为虚拟文本2718。

图28描绘了流程图，其示出了在外科手术程序中系统10和其显示装置104(例如，AR头戴设备3600)可以如何与C型臂2700结合使用。并入AR头戴设备3600中的相机3904(例如，高清晰度相机等)可以用于捕获显示在C型臂监测器上的图像(2800)。可以将图像调整成“摆正”，使得如果相机3904已经完全位于监测器上的图像的中心并且与所述图像垂直，则图像与将看到的图像相匹配(2802)。可以使用关于相对于正在成像的解剖体的成像器位置和源的了解来校正用于放大的图像和由于来自源的X射线束的发散导致的视差失真(2804)。然后可以使经校正的图像显示在AR头戴设备3600中(2806)。所述经校正的图像然后可以用于允许用户106进行与如髋臼杯的放置或腿部长度等程序相关的测量(2808)。可以将其它图像同时显示、覆盖、镜像或以其它方式操纵，以允许用户106进行比较(2810)。

在另一个实施例中，还可以通过C型臂2700与AR头戴设备3600之间的无线通信(例如通过以DICOM格式传输文件)实现图像捕获。可替代地，可以采用结合机器视觉的算法以自动进行如髋臼壳的倾斜和倒转等测量。可以使用边缘检测来跟踪壳的轮廓。可以确定与轮廓最佳匹配的椭圆的参数，并且所述椭圆的参数可以用于根据最佳椭圆的短轴和长轴的长度比来计算壳的前倾。可以例如通过放置与耻骨支最下面相切的线并且计算壳的椭圆的长轴与这条线之间的角度来计算倾斜。类似地，通过识别从股骨头旋转的中心或壳的球形区段的中心，并且围绕此点执行虚拟旋转以匹配外展角，可以确定股骨的对比腿部长度和横向偏移，并且可以针对股骨的外展的变化和差异对其进行校正。这种类型的计算几乎可以立即执行，并且节省时间或节省提取另外的射线图像的需要。此外并且在另一个实施例中，算法可以通过执行虚拟旋转以匹配表示闭孔的射线可透过区域的宽度和纵横比来校正骨盆的错误定位对壳的表观倾斜和前倾的影响。

在又另一个实施例中，C型臂成像可以用于对如骨盆等解剖体的位置进行配准。为此，解剖标记1300将已知几何形状的不透射线特征并入已知图案中。基于已知的标记特征捕获和缩放C型臂图像，并将其显示在AR头戴设备3600中。向用户106显示解剖体的从先前的CT扫描生成的虚拟模型。用户106可以操纵虚拟模型从而以其轮廓匹配C型臂图像的方式将所述虚拟模型定位。优选地，此操纵通过使用SLAM跟踪用户106的手的位置和运动来执行。可替代地，用户106可以操纵物理对象，所述物理对象将标记与随着物理对象移动的虚拟模型结合。当虚拟模型与C型臂图像正确对准时，可以计算患者的解剖体与解剖标记1300之间的关系。这些步骤和操纵还可以由软件通过使用边缘检测并将其匹配到从CT生成的模型的轮廓的投射以计算方式执行。

V.脊柱程序

图31描绘了在用超声对脊柱进行配准期间通过显示装置104向用户106显示的MXUI的示例性实施例。将解剖标记1300固定到手术部位邻近的椎骨上。提供了超声探针3104，所述超声探针包含限定标记的基准3106。在一个实施例中，超声探头3104是电池操作的、无绳的，并且可以通过无线电与AR头戴设备3600通信。软件具有能够相对于标记1300的位置对2D超声图像进行定位和缩放所需的几何信息和其它信息。超声探针3104在患者3100的表面上移动，以扫描所关注的区域。软件将2D图像数据与超声探头3104相对于解剖标记1300的六自由度姿态信息组合，以生成表示所关注的椎骨的表面的虚拟模型3108。超声探头3104可以相对于所关注的解剖体旋转以获得更加完整的3D图像。可以将脊柱棘突和左右侧乳状突的后部轮廓与椎骨的CT生成的3D模型的相同特征匹配，以在混合现实视图中对椎骨的虚拟模型进行配准和随后定位。可替代地，可以利用超声扫描中可见的任何适当的特征，或者虚拟模型的位置可以相对于如SLAM所确定的患者的表面。后者适用于所关注的患者解剖体对于程序持续时间是静止的并且标记的附接将不必是侵入性或负担时的程序。超声可以类似地以此方式使用，以生成所关注的解剖体的模型，所述解剖体如但不限于骨结构、神经和血管。可以实现任何解剖体的配准。例如，可以使用超声建立骨盆参考系，以定位左侧和右侧ASIS和耻骨的近端顶点。可以使用相同的方法经皮跟踪工具或植入体的位置。

图32描绘了在用触针1800对脊柱进行配准期间通过显示装置104向用户106显示的MXUI的示例性实施例。将所述解剖标记1300固定到手术部位邻近的椎骨上。显示从术前成像生成的患者的椎骨的虚拟模型3200。此虚拟模型包含第一界标3202、第二界标3204和第三界标3206。图33描绘了图32中所示的暴露解剖体的近视图。患者的软组织已经充分切开以使含有三个界标的第一骨突3300、第二骨突3302和第三骨突3304暴露。用户106通过将触针尖端1804放置在与虚拟模型上显示的界标的位置最匹配的实际椎骨上的点处来对三个界标进行配准。然后，软件在用户的视图中重新定位虚拟模型3200，以使这些点最佳对准。用户106通过将虚拟模型与椎骨的实际暴露区域进行比较，从视觉上验证配准的质量。如果需要，用户106可以通过使用触针1800的尖端1804进行调整，以重新定位虚拟模型。在替代性实施例中，界标是在每个突的最后面之上追踪的弧。在另一个实施例中，所暴露的突的轮廓用SLAM建立，并且软件对虚拟模型的位置执行最佳拟合以匹配这些轮廓。

图34描绘了在脊柱融合程序期间通过显示装置104向用户106显示的MXUI的示例性实施例。示出了钻头的虚拟目标3400和虚拟钻头3402。示出了虚拟椎骨3404，所述虚拟椎骨被渲染为相对于虚拟目标3400和虚拟钻头3402是透明的。钻头的数值角和穿透深度或者从钻头的尖端到最大安全插入深度的距离以数字方式显示为虚拟文本3406。图35描绘了图34中所示的虚拟目标3400和虚拟钻头3402的近视图。虚拟目标3400被示出为处于杆3500形式，所述杆具有近端十字准线3502和远端十字准线3504。为了将实际钻头保持在安全目标轨迹中，用户必须保持虚拟钻头3402穿过虚拟目标3400的两个十字准线的环的位置。当虚拟钻头3402穿过两个十字准线的中心时，实现了理想轨迹。如果实际钻头移动到安全目标轨迹之外，则虚拟目标3400的颜色发生变化以警告用户，并且发出可听警告。将远端十字准线3504定位在骨骼的表面上的计划起点。缩放虚拟目标3400和虚拟钻头3402的轴长，使得当钻达到其最大计划深度时，所述虚拟目标和所述虚拟钻头的近端是重合的。虚拟钻头的位移运动的缩放比例在虚拟钻头3402远离虚拟目标3400时为1:1，但是在更接近允许更大的精度时扩大到用于更大精度的更高的放大率。

尽管这是在用钻头钻孔的背景下描述的，但是此混合现实视图可以用于多个步骤，包含对椎弓根进行攻丝或在椎弓根螺钉中进行驱动或使用可跟踪锥子寻找椎弓根螺钉的管道。作为在钻、丝锥或螺钉被换出时对其尖端的轴向位置重新校准的快速方法，用户将尖端放置到标记的陷窝中。可以以侵入性较少的方式通过AR引导引入植入物，例如可以在PLIF、XLIF或TLIF程序期间对椎间融合器定位。

在另一个实施例中，外科手术钻可以被配备成与头戴设备无线通信，以提供双向通信。这可以促进各种安全性和可用性增强特征，所述特征包含以下特征。如果钻不在安全目标轨迹内或达到了最大安全深度，则自动停止钻孔或阻止操作。提供方便的用户界面，为扭矩限制应用指定适当的扭矩设置参数。例如，给定大小的椎弓根螺钉的最大插入扭矩或椎弓根螺钉的固定螺钉的固定扭矩。出于文件记录或研究的目的，可以将所使用的实际值与患者记录一起记录，例如，钻孔期间的扭矩曲线、椎弓根螺钉或固定螺钉的最终座合扭矩、椎弓根螺钉或所使用的特定植入物的植入位置。

在另一个实施例中，AR头戴设备3600可以无线连接到神经监测/神经定位系统，以(特别是在如XLIF等微创程序期间)向用户106(例如脊柱外科医生)提供其视野内的实时警告和测量。进一步地，当与其中已经对患者的实际神经进行成像并将其重构为3D模型的术前成像结合使用时，如果系统检测到刺激探针已经刺激或正在靠近特定神经，则可以向用户106突出表示该神经结构的全息图，以使其更易于避免与神经结构的接触或对神经结构的损伤。

VI.膝关节置换程序

在本发明的另一个示例性实施例中并且参考图42，系统10用于膝关节置换程序。图42中示出了膝关节置换患者的骨盆4202、股骨4204和胫骨4206，外科医生4208(即，用户106)被示出为佩戴AR头戴设备3600。用销将股骨标记4210和胫骨标记4212分别固定到股骨和胫骨。使股骨在运动的范围内移动，以确定旋转中心，作为在股骨标记4210的参考系中髋关节中心的代表。然后，使膝关节在运动的范围内弯曲，以确定膝关节的基线、术前屈曲轴。然后，外科医生4208制造切口以使膝关节暴露。触针1800用于基于如滑车的沟的最远端点等界标对远端股骨的中心进行配准。通过将ACL的足迹与触针的尖端进行配准来界定胫骨的近端中心。对于某些微创程序，可以通过使触针穿过一个端口插入关节囊并用通过第二端口插入的关节镜4214使其可视化，以在关节镜下对骨骼界标进行配准。进一步地，可以将来自关节镜的关节镜图像4216无线地传送到AR头戴设备3600，并且使其显示为MRU！的一部分。在一个替代性实施例中，可以将触针尖端并入可跟踪关节镜，以允许通过单个端口进行界标配准。然后，触针1800可以用于对内踝和外踝进行配准，并且通过内插这些点来确定踝关节在胫骨标记4212的参考系中的中心。此时，建立股骨参考系，所述股骨参考系的原点位于远端股骨的中心，第一轴朝向髋关节的中心延伸，第二轴由膝关节的屈曲轴限定，并且第三轴被限定成垂直于第一轴和第二轴。对胫骨参考系进行限定，所述胫骨参考系的原点位于近端胫骨的中心，第一轴朝向踝关节的中心延伸，第二轴由膝关节的屈曲轴限定，并且第三轴被限定成垂直于第一轴和第二轴。这些参考系可以呈现为MRU！中的虚拟图像。

图43示出了在用暴露的膝关节进行膝关节置换外科手术期间通过AR头戴设备3600向外科医生4208显示的MXUI的示例性实施例。可以通过用AR头戴设备3600中的深度传感器3906进行扫描或者通过使用立体相机3904和SLAM来生成股骨髁4302和胫骨坪4304的形貌图。可以使膝关节在运动的范围内弯曲，并且外科医生4208将调整其有利位置以允许使髁尽可能地可视化。外科医生4208在配准过程期间使用视野的中心处的圈4306“画”髁，并且将所述圈用作用于映射算法的掩模。此圈可以与用于增加映射的速度和精度的结构化光投影仪的投影场重合。在映射表面时，可以将映射区域的虚拟3D网格4308投射到关节表面上，以引导外科医生4208并且提供对表面配准的质量的视觉确认。然后，使用算法来确定远端股骨和近端胫骨的关节表面的最低点，从而确定远端股骨切除和近端胫骨切除的深度。可以根据形貌图确定理想的植入物大小。

在另一个示例性实施例中，系统10可以使用股骨4204和胫骨4206的形貌图来跟踪相应的骨骼(4204，4206)的姿态，而非将基准标记附接到骨骼(4204，4206)。在优选的实施例中，用户106可以选择当膝关节弯曲和伸展时将保持可见的骨骼区域(4204，4206)。参考图58A-C，用户106可以选择映射胫骨5808的前内侧，或者远端股骨5806的前内侧，分别创建参考3维表面图5802和5804。这些区域通过典型的皮肤切口是可见的。可以使用常规的缩回仪器和技术来保持可视性。系统10可以将参考3维图5802和5804作为点云、数学表面或通过其它方式存储。系统10可以创建相对于传感器套件210的胫骨参考系5812和股骨参考系5810，并且将表面图5802和5804的初始姿态分别记录在参考系5812和5810中。用户106可以在同一骨骼或刚性体上对另外的参考点或结构进行配准，系统10记录所述骨骼或刚性体相对于参考系5812或参考系5810的姿态。系统10使用传感器套件210连续重新扫描解剖体的相同区段，并且针对胫骨和股骨分别创建移位3维表面图5816和5814。然后将每个移位表面图5816、5814与针对相同的表面创建的相应的参考表面图5802、5804进行比较，系统10确定为了最佳拟合而将移位表面图与参考表面图对准所需的几何旋转和平移。系统10然后将相同的旋转和平移应用于股骨4204和胫骨4206的刚性体上的所有存储的参考点和结构，以计算所有此类点和结构相对于传感器套件210的参考系的当前姿态。

图55描绘了流程图，其示出了使用系统对膝关节置换程序进行导航的示例性方法。用户(106)首先使膝关节暴露，以使骨骼解剖体(5500)可视化。然后，传感器套件210扫描远端股骨5806的前内侧和近端胫骨5808的前内侧(5502)。根据这些表面，可以存储参考3维表面图5802、5804(5504)。系统可以任选地扫描和映射股骨髁5818、滑车5820、胫骨平台5822、后髁5824或上髁5826中较大的区域。分别根据这些扩展的表面图5828、5830、5832、5834、5836，并且任选地使用外部解剖学数据，系统10标识远端股骨4204的中心和近端胫骨4206的中心(5506)。在扫描远端股骨5806的同时股骨在运动的范围内移动，以确定股骨绕髋关节旋转的中心，作为髋关节相对于经映射的远端股骨解剖体5804的代表(5508)。然后，用户106通过将小腿5112布置成大约垂直于股骨4204，将膝关节定位成以90°屈曲。在膝关节弯曲的情况下，系统10使用其传感器套件210扫描远端股骨5806和小腿5112，标识其近似中心轴5114。可替代地，当膝关节在90度运动范围内弯曲时，系统10使用其传感器套件210扫描远端股骨5806和近端胫骨5808，以标识膝关节的平均屈曲轴。然后，系统10建立针对股骨4204的相对于传感器套件210的参考系5810，所述参考系的原点位于远端股骨的中心，第一轴朝向髋关节的中心延伸，第二轴平行于下肢5114的轴，并且第三轴被限定成垂直于第一轴和第二轴(5510)。可替代地，系统建立针对股骨4204的相对于传感器套件210的参考系5810，所述参考系的原点位于远端股骨的中心，第一轴朝向髋关节的中心延伸，第二轴平行于膝关节的屈曲轴，并且第三轴被限定成垂直于第一轴和第二轴。记录后髁相对于胫骨的定位，并且在后髁与胫骨之间构建轴。系统10生成脚的背侧表面的区段的表面图，用于跟踪脚的姿态的目的。在替代性实施例中，可以通过贴附到皮肤或覆盖帘、包裹物或靴的标记对脚进行跟踪。脚在运动的范围内移动，以确定其旋转中心，作为踝关节相对于经映射的近端胫骨解剖体的中心的代表(5512)。然后，在近端胫骨中心与踝关节中心之间构建胫骨的机械轴，并且建立针对胫骨4206的相对于传感器套件210的参考系5812，所述参考系的原点位于近端胫骨的中心，第一轴朝向髋关节的中心延伸，第二轴平行于下肢5114的轴，并且第三轴被限定成垂直于第一轴和第二轴(5514)。可替代地，系统建立针对胫骨4206的相对于传感器套件210的参考系5812，所述参考系的原点位于近端胫骨的中心，第一轴朝向踝关节的中心延伸，第二轴平行于膝关节的屈曲轴，并且第三轴被限定成垂直于第一轴和第二轴。然后，重复扫描所暴露的远端股骨5806和近端胫骨5808，系统10针对每次扫描生成移位表面图5814和5816(5516)。在每次连续扫描的情况下，系统可以针对远端股骨5806和近端胫骨5808上的相应的区域将移位表面图5814和5816分别与原始表面图5804和5802进行比较。基于此对比，系统10可以通过确定将移位表面图5814和5816与参考表面图5804和5802对准所需的平移和旋转来跟踪股骨4204和胫骨4206相对于传感器套件210的姿态(5518)。然后，系统10通过同时跟踪相应的经映射的解剖表面和切割工具或引导器来计算和显示远端股骨和近端胫骨上的切除角度和深度(5520)。然后，系统10可以显示虚拟引导器，以辅助用户106将切割工具或引导器与用户限定的目标角度或深度对准(5522)。系统10可以基于外部植入物数据向用户106建议植入物的大小(5524)。在放置植入物或试验植入物之后，系统10可以在整个屈曲范围内跟踪股骨和胫骨，并且测量股骨和胫骨绕一个或多个轴的表示例如轴向旋转或内翻/外翻旋转的相对旋转(5526)。

任选地，系统10可以使用经映射的形貌图来自动确定远端股骨5804(例如，通过标识滑车上的最远端点或穿过髁的最宽部分的线的中心)或近端胫骨5802(例如，通过计算坪的质心)的相应的中心。任选地，中心点的标识可以通过如已经对中心进行标识的解剖形貌图的库等外部数据补充，从而允许系统10在解剖体部分模糊的情况下计算中心点，以防止整个表面的映射。

图56描绘了具有植入单髁组件的膝关节。已经切除股骨5602和胫骨5604中的每一个的一个隔室。已经植入股骨植入物5606和胫骨植入物5608。在一个示例性实施例中，系统10跟踪并记录天然股骨5602和胫骨5604的相对运动。然后，使用相机206对植入物(5606，5608)的表面进行扫描和映射，系统10可以在所记录的胫骨-股骨运动之后计算植入物表面的路径。系统10还可以对剩余的暴露骨骼5610进行映射，并且检测植入物(5606，5608)与骨骼5610之间的碰撞。可以将表示干扰体之间的重叠的体积作为显示装置104中的虚拟模型来计算和覆盖。系统10还可以突出显示装置104中的撞击部位。例如，股骨植入物5606可以在邻近矢状切除平面5610的胫骨脊上撞击，或者此脊可以在邻近股骨植入物5606的股骨上撞击。如果至少一个接触表面是骨骼，则用户106可以选择修整骨骼以改变接触点。如果至少一个接触表面处于植入物上，则用户106可以选择调整植入物的位置以减少撞击。

参考图57，已经记录了天然胫股-股骨运动学的系统10可以向用户106显示植入物间的接触点5702的轨迹和投射到植入物的表面上的预定义安全区5704。

参考图44，可以在通过AR头戴设备3600向外科医生4208显示的MXUI中显示虚拟胫骨植入物4402和虚拟股骨植入物4404。外科医生4208可以切换大小并调整这些虚拟模型的位置，直到满意为止。在另一个实施例中，可以在准备胫骨以进行拉削期间显示虚拟胫骨植入物，以提供用于将胫骨组件旋转对准的引导器。

参考图45，在通过AR头戴设备3600向外科医生4208显示的MXUI中显示用于对胫骨切割块的销进行定位的虚拟引导器4502。显示了用于对远端股骨切割块的销进行定位的虚拟引导器4504。显示了用于对4合1切割块的销进行定位的虚拟引导器4506。通过将实际销与虚拟引导器4502、4504或4506对准来引导其放置。然后可以通过将这些销放置在切割块上来切除股骨4508和胫骨4510。

图46描绘了图45中所示的MXUI的替代性实施例，其中虚拟引导器4602用于显示切除的理想平面，并且外科医生4208可以通过将实际锯片与虚拟引导器4602对准来直接切除骨骼。可替代地，在所跟踪的锯4604的情况下，外科医生4208可以通过将虚拟锯片4606与虚拟引导器4602对准来切除骨骼。示出每次切除的内翻/外翻角度、屈曲角度和深度的虚拟文本4608可以在相关时以数字形式显示。

图47和49描绘了膝关节平衡装置4700，所述膝关节平衡装置可以任选地包含在具有基座元件4702、弹簧4902、髁元件4904和髁板4906的系统10中。基座元件4702包含手柄4908、目标4714以及胫骨板4910。髁元件4904包含手柄4912和圆柱形轴承孔4914。髁板4906包含圆柱形轴承轴4916、目标4716和两个桨叶4706和4707。髁板4906绕圆柱形轴承4916枢转，这允许髁板4906相对于基板4910向内侧/外侧倾斜。在替代性实施例中，轴承4916可以是球式的，允许髁板4906向内侧/外侧倾斜以及屈曲/延伸倾斜。在另一个实施例中，髁板4906可以是波状的，以匹配胫骨植入物的轴承表面的形貌。在另一个实施例中，设计可以包含两个完全独立的髁元件，每个髁元件各自具有刚性集成的牵引桨和标记。

参考图47，胫骨板4910就位在切除的胫骨4704上，并且牵引桨4706和4707保持分别与内侧股骨髁4708和外侧股骨髁4712的接触。通过弹簧4902推动牵引桨4706和4707，并且牵引桨绕前后轴枢转，以在每个股骨髁(4708，4712)与胫骨4704之间提供几乎相等且恒定的牵引力。基座元件4702和牵引桨(4706，4704)包含光学标记(4714，4716)，所述光学标记允许软件测量每个股骨髁(4708，4712)的牵引程度。

当膝关节在运动范围内弯曲时，每个目标的位置都会被跟踪，胫骨和股骨的姿态也会被跟踪。此数据用于生成内侧和外侧松弛度的曲线图作为屈曲角度的函数。此信息用于计算远端股骨切割块定位销的理想定位，以实现膝关节的运动范围内的平衡，或引导用户去除骨赘或执行软组织释放，从而使膝关节在其运动范围内平衡。此曲线图可以如图48所示显示在MXUI中，其中第一三维弧4802表示在膝关节的运动范围内的内侧松弛，并且第二三维弧4804表示在膝关节的运动范围内的外侧松弛。实际膝关节的当前屈曲角度的数值可以显示为虚拟文本4806。

VII.其它医疗程序

参考图10，本发明进一步提供了一种使用系统10执行其它外科手术程序的方法(下面提供了具体实例)。所述方法包含数据收集(1000)，所述数据收集包含但不限于跟踪和识别视觉标记和IMU。此数据用于确定多个物品在工作视图中的相对和/或绝对朝向和位置(1002)。将外部数据(1004)引入算法。使用算法来处理特定用例的数据(1006)并且确定所需的输出(1008)。将此数据用于增强现实AR或虚拟现实VR输出显示器(1010)中，以辅助医学专业人员。

例如，所述方法可以用于全髋关节成形术。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)和确定髋关节以及外科手术工具的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于用于修改设置的组件定位、股骨头切割、髋臼定位、螺钉放置、腿部长度确定以及良好的骨骼在髋臼中的定位。

所述方法还可以用于全膝关节成形术。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)和确定膝关节、胫骨以及外科手术工具的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于胫骨切割的定位、角度和斜率、引导器的放置和微调、避免髓内引导以及股骨切割的改善。

所述方法可以用于远端桡骨骨折的畸形愈合的校正型切骨术。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描数据组合以确定畸形愈合以及外科手术工具的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于切骨术的定位、切割角度和结果评估。

所述方法可以用于具有骨折的臂骨的畸形愈合的校正型切骨术，所述臂骨包含肱骨、远端肱骨、桡骨和尺骨，所述骨折可能是复杂的并且涉及角度校正和旋转校正。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描数据组合以确定畸形愈合以及外科手术工具的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于切骨部位的定位、切割角度、校正程度和结果评估。

所述方法可以用于远端股骨切骨术和近端胫骨切骨术，以校正早期骨关节炎和错位。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描数据或长腿x射线图像组合，以确定切骨术定位的位置和朝向(1002)以及比例和外科手术工具。算法(1006)用于确定解决方案，所述解决方案包含但不限于切骨部位的定位、切割角度、校正程度和结果评估。

所述方法可以用于髋臼发育不良的髋臼周围切骨术。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描数据组合以确定切骨术定位以及外科手术工具的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于切骨部位的定位、测角、校正程度和结果评估。

所述方法可以用于类似于先前的实施例的儿科矫形切骨术。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描数据组合以确定切骨术定位以及外科手术工具的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于切骨部位的定位、切割角度、校正程度和结果评估。

所述方法可以用于肘部韧带重构，所述肘部韧带重构包含但不限于桡骨侧副韧带重构(RCL)和UCL重构(Tommy-John)。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合以确定韧带重构以及外科手术工具的等距点的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于通道放置的精确定位和结果评估。

所述方法可以用于膝关节韧带重构，所述膝关节韧带重构包含但不限于MCL、LCL、ACL、PCL和后外侧角的重构。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合以确定韧带重构以及外科手术工具的等距点的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于通道放置的精确定位、通道深度、通道角度、植骨放置以及结果评估。

所述方法可以用于踝关节韧带重构，所述踝关节韧带重构包含但不限于用于校正不稳定性的重构。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合以确定韧带重构以及外科手术工具的等距点的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于通道放置的精确定位、通道深度、通道角度以及结果评估。

所述方法可以用于肩锁(AC)关节重构外科手术程序，所述肩锁关节重构外科手术程序包含但不限于在锁骨内而非通道内放置。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合以确定韧带重构以及外科手术工具的等距点的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于通道放置的精确定位、通道深度、通道角度以及结果评估。

所述方法可以用于包含修正TSA/RSA的解剖和反向全肩关节置换(TSA和RSA)外科手术程序。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合以确定肱骨头、相关界标以及外科手术工具的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于肱骨头切割的精确定位和关节窝骨的放置、基板和螺钉，以及铰孔角和用于关节窝的校正的引导器的放置以及结果评估。

所述方法可以用于全踝关节成形术外科手术程序。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合以确定胫骨、腓骨、距骨、舟骨以及其它相关界标和外科手术工具的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于胫骨头切割的精确定位、解剖轴确定以及结果评估。

所述方法可以用于针对骨盆骨折、胫骨坪、髋臼和骨盆(但不限于这些区域)的经皮螺钉放置。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合以确定解剖和其它相关界标以及包含螺钉的外科手术工具的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于骨骼收纳螺钉的精确定位、要避免的周围解剖体和软组织特征、螺钉的定位、插入角度、插入深度以及结果评估。

所述方法可以用于对包含但不限于踝关节、膝关节、髋关节、肩部和脊柱的区域进行室内注射。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合以确定相关界标和外科手术工具的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于注射位置的精确定位、测角和深度，以使效果最大化并最小化与内部器官和解剖体的相互作用。

所述方法可以用于包含腰椎和胸椎(但不限于这些区域)的脊柱融合程序的椎弓根螺钉放置。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合以确定解剖和其它相关界标以及包含螺钉的外科手术工具的位置和朝向(1002)。算法(1006)用于确定解决方案，所述解决方案包含但不限于骨骼收纳螺钉的精确定位、皮层的打开、颅尾测角或类似测角、中外侧倾斜、螺钉插入轨迹、插入深度以及结果评估。

所述方法可以用于使频谱交替光谱图像可视化，所述交替光谱图像包含但不限于红外线、紫外线、踝关节、膝关节、髋关节、肩部和脊柱。

解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以包含但不限于一个或多个双色相机，所述一个或多个双色相机具有交替光谱灵敏度和/或用于突出患者的特征的注射染料，以确定相关界标和外科手术工具的位置和朝向(1002)；以及在包含神经、肿瘤、软组织和动脉的交替光谱中更容易可见的解剖特征的位置、定位和类型。算法(1006)用于确定解决方案，所述解决方案包含但不限于可以通过此技术增强的神经、肿瘤、所关注的软组织、动脉和所关注的其它特征的精确定位。

所述方法可以用于肿瘤诊断程序、分期程序以及治愈性外科手术程序。解剖界标和工具的标记(例如，100，108，110等)用于数据收集(1000)，所述数据收集可以与术前CT扫描或MRI数据组合以确定肿瘤定位和外科手术工具的位置和朝向(1002)。可替代地，在诊断性外科手术期间，可以执行肿瘤相对于解剖界标的定位。算法(1006)用于确定解决方案，所述解决方案包含但不限于肿瘤部位的定位和大小范围、移除指南以及结果评估。

所述方法可以用于将可见或不可见的但相机可见的光点投射到能视域中所关注的对象上，所述对象包含但不限于骨骼界标、神经、肿瘤以及其它器官对象和非器官对象。标记(例如，100，108，110等)用于增加或取代解剖数据的外部数据集，并且可以如之前已经描述的用于代替物理指针或工具。光点可以从用户的头部显示器或其它位置显示。光点也可以表现为光的图案或其它阵列。这些光使显示患者上的特征突出，以确定相关界标和外科手术工具的位置和朝向(1002)，以及增强数据集，所述数据集包含但不限于荧光透视、CT扫描和MRI数据。算法(1006)用于确定先前描述的但具有替代性的或增加的选择项的解决方案。

所述方法可以用于以微创方式定位植入物并且经皮插入锁紧螺钉。标记(例如，100，108或110等)安装在髓内钉的近端。另一个标记(例如，100，108或110等)安装在十字螺钉插入工具上。钉的虚拟模型显示为包含锁定十字螺钉的目标轨迹。外科医生通过将虚拟十字螺钉与目标轨迹对准能够插入十字螺钉。在另一个实施例中，相同的方法可以应用于外部固定板。在这种情况下，将显示具有多个锁定螺钉轨迹的虚拟锁定板，每个孔一个虚拟锁定螺钉轨迹。

VIII.可跟踪仪器和设备的数据库

本发明任选地包含构建仪器和设备的电子数据库，以允许AR头戴设备3600标识那些仪器存在于外科手术领域或手术室区域。参考图29，序列化跟踪标签2900任选地包含在系统中以促进此类数据库的构建。序列化跟踪标签2900包含机器可读序列号代码2902、人类可读序列号2904以及一组光学特征(如多个基准2906)，所述一组光学特征促进六自由度光学姿态跟踪。在一个实施例中，机器可读数字代码2902图案可以通过AR头戴设备3600的一个或多个相机3904成像，并且单独用于使用机器视觉算法确定医疗仪器的姿态和位置。在另一个实施例中，序列号图像2904可以通过一个或多个相机3904成像，并且单独用于使用机器视觉算法确定医疗仪器的姿态和定位。在又另一个实施例中，跟踪标签2900的整个物理模型可以通过一个或多个相机3904成像，并且单独用于使用机器视觉算法确定医疗仪器的姿态和定位。在另一个实施例中，跟踪标签2900可以包含或含有RFID标签，所述无线RFID标签用于对套件中的然后可以使用光学识别自动验证的设备进行非光学标识。

参考图30，提供了示出了系统的流程图，所述系统用于使用增强现实头戴设备对设备的物品类型与物理参数进行配准并且存储和共享此数据，以用于在外科手术所中使用。在此示例性实施例中，序列化跟踪标签预打印在耐用自粘材料上。在外科手术程序期间或程序的准备工作(即，后台操作)中最有利地进行查看的定位中，将标签附接(3002)到设备(3000)的物品上，所述物品可以是但不限于C型臂、撞击器、指针或在程序中使用的任何其它设备。然后，通过用一个或多个相机3904查看、标识标签并且启动与此序列号相关联的数据库记录来对标签(3004)进行配准。还可以对与设备的物品相关联的所关注的几何形状(3006)进行配准，并且将其相对于可追踪贴纸存储。例如，在C型臂的情况下，可以使用配准触针对成像器的表面周边的三个点和代表X射线束源的原点的点进行配准。所述配准提供了X射线束源相对于AR头戴设备3600坐标系的坐标系、朝向(姿态)数据和位置数据，以供AR头戴设备3600的算法使用。在另一个替代性实施例中，相机3904是立体相机，并且用于通过识别如成像器的圆柱形表面或矩形表面等关键特征来扫描和识别C型臂的几何形状。设备的物品的另外的相关规格(3008)可以输入到记录中，并且所述规格包含但不限于设备类型和型号、校准到期日、电子接口参数以及无线连接密码。使用一个或多个相机3904捕获装置的图像3010。捕获装置的设备标签的图像(3012)。将所有这些物品都添加到完成的记录中(3014)，所述记录当前在AR头戴设备3600的本地。然后，为记录加时间戳并且将其与中央数据库共享(3016)。此记录可以通过互连网定位在医院系统内的本地服务器上，或者位于包含任何基于云的存储的任何远程服务器中。数据库的上传可以通过Wi-Fi公共网络协议或其它本领域所公开的装置来进行。上述行动可以由公司代表、医院雇用的技术人员或任何其它经过培训的个人执行。为了防止配准不良的设备进入数据库，可能需要管理员权限来捕获记录。

当在外科手术中使用设备的物品时，利用一个或多个相机3904对标签进行识别作为设备的可跟踪物品并且读取序列号(3018)。然后，AR头戴设备3600可以连接到数据库(3020)并且下载设备记录(3022)。因此，在外科手术期间，可以以六自由度的可跟踪方式使用设备(3024)。如果适用，对于具有数据标签的设备而言，还可以用特定于设备本身的数据更新记录(3026)，例如，上传外科手术期间由设备捕获的图像，或捕获日志中的在外科手术期间的设备活动的日志。可以将描述设备在外科手术中的使用的日志条目添加到数据库和示出设备的利用情况的患者记录中。可以对因此生成的数据库进行挖掘，用于各种原因，如检索缺陷设备的使用。

系统也可以用于识别外科手术仪器和在外科手术期间遇到的植入物。将仪器和设备的用于缩放的CAD模型的数据库保持在存储器中。在程序期间，SLAM或类似的机器视觉算法可以捕获物品在场景中的形貌，并且与仪器和设备上的数据库进行比较。如果找到匹配，那么系统可以采取适当的措施，如跟踪仪器相对于患者和外科手术中正在使用的其它仪器的位置和朝向，或进入与此仪器的使用相关的模式。例如，在髋关节置换程序中，如果检测到髋臼撞击器，则进入杯放置导航模式。

尽管本文已经参考优选实施例以及其具体实例说明和描述本发明，但是对于本领域的普通技术人员而言将显而易见的是，其它实施例和实例可以执行类似的功能和/或实现类似的结果。所有此类等同的实施例和实例都处于本发明的精神和范围内，由此被设想，并且旨在被以下权利要求书所覆盖。

除非另有说明，否者本文描绘的各个结构的尺寸和几何形状不旨在限制本发明，并且其它尺寸或几何形状是可能的。可以通过单个集成结构提供多个结构组件。可替代地，单一集成结构可以被分成单独的多个组件。此外，虽然本发明的特征可能已经仅在所示实施例之一的上下文中进行描述，但是对于任何给定的应用，这种特征可以与其它实施例的一个或多个其它特征组合。还可以从上文理解，本文的独特结构的制造以及其操作还构成根据本发明的方法。

Claims (15)

1.混合现实外科手术导航系统，用于跟踪解剖结构的所述系统包括：

头戴式显示装置，所述头戴式显示装置由用户在外科手术程序期间佩戴，所述头戴式显示装置包括：

显示生成器，

传感器套件，所述传感器套件具有至少一个跟踪相机和至少一个深度传感器，和

处理器单元，所述处理器单元配置为：

在所述外科手术程序期间从所述传感器套件接收解剖对象的暴露表面的形貌数据；

使用从所述传感器套件接收的所述形貌数据生成代表所述解剖对象的所述暴露表面的三维表面的图；

通过匹配所述三维表面与所述解剖对象的三维模型建立所述解剖对象的参考系；

在所述外科手术程序期间相对于所述头戴式显示装置跟踪所述解剖对象；

匹配所映射的三维表面的选择的特征与所述解剖对象的三维模型的对应特征；

根据所述选择的特征的匹配，生成虚拟图像，所述虚拟图像描绘覆盖在所述解剖对象的暴露表面上的所述三维模型；和

与所述显示生成器通信以提供混合现实用户界面，所述混合现实用户界面包括操作所述头戴式显示装置的用户的视野中的所述解剖对象的所述选择的特征的虚拟图像。

2.根据权利要求1所述的系统，其中：

所述解剖对象包括骨骼；并且

所述选择的特征包括所述骨骼的表面和邻近所述骨骼的外科手术植入物，其中所述植入物相对于所述头戴式显示装置进行跟踪和定位。

3.根据权利要求1所述的系统，其中所述传感器套件进一步包括惯性测量单元(IMU)，其中所述IMU获得所述解剖对象的额外的朝向和定位数据，用于同时定位和映射数据技术，以确定与所述外科手术程序相关的空间中的非标记特定的特征并在所述混合现实用户界面中生成用于显示的增强的图像。

4.根据权利要求1所述的系统，其中：

所述传感器套件还包括麦克风和扬声器；和

所述系统进一步包括面罩，其起到用于系统的图像显示的功能。

5.根据权利要求4所述的系统，其中：

所述系统可通过语音命令控制；和

所述传感器套件进一步包括触觉反馈装置。

6.根据权利要求1所述的系统，其中所述系统进一步包括离所述头戴式显示装置远程定位的第二传感器套件，其中所述第二传感器套件与所述处理器单元通信。

7.根据权利要求1所述的系统，其中匹配所映射的三维表面的选择的特征与所述解剖对象的三维模型的对应特征采用边缘检测以匹配所述选择的特征与所述三维模型的轮廓的投射。

8.根据权利要求1所述的系统，其中所述解剖对象的暴露表面选自脊椎的后乳头突、骨盆的髋臼、肩胛骨的关节臼、股骨的关节面、股骨颈、胫骨的关节面。

9.用于外科手术导航系统的混合现实用户界面，所述混合现实用户界面包括：外科手术工具的期望特征和目标解剖对象的期望特征在用户的视野中的立体虚拟图像，所述立体虚拟图像由混合现实外科手术导航系统提供，所述混合现实外科手术导航系统包括：

头戴式显示装置，所述头戴式显示装置包括处理器单元、显示器、具有至少一个跟踪相机和至少一个深度传感器的传感器套件，其中所述混合现实用户界面通过以下过程获得：

将所述头戴式显示装置附接到用户的头部；

提供所述外科手术工具；

用所述传感器套件扫描期望的解剖对象，以获得代表所述解剖对象的部分暴露表面的三维表面的数据；

基于代表所述三维表面的数据配准所述解剖对象的多个特征的虚拟三维模型；

用所述传感器套件跟踪所述外科手术工具的六自由度姿态；和

基于所述配准和所述跟踪，显示混合现实用户界面，所述混合现实用户界面包括所述外科手术工具的所述期望特征和所述解剖对象的所述期望特征在所述用户的视野中的立体虚拟图像并且将相机可见和图案化的光点的叠加投射所述外科手术工具的所述期望特征和所述解剖对象的所述期望特征，以突出所述解剖对象的所述期望特征。

10.根据权利要求9所述的混合现实用户界面，其进一步包括：

将至少一个虚拟对象结合到所述混合现实用户界面以助于所述用户实现期望的倒转和倾斜，所述至少一个虚拟对象选自：目标、外科手术工具和其组合。

11.根据权利要求9所述的混合现实用户界面，其进一步包括：

将视觉标记附接到所述解剖对象、第二解剖对象、第三解剖对象、触针、超声探头、钻、锯、钻头、髋关节撞击器、椎弓根螺钉或C形臂中的至少一个；和

利用所述传感器套件以六自由度姿态跟踪所述解剖对象、所述第二解剖对象、所述第三解剖对象、所述触针、所述超声探头、所述钻、所述锯、所述钻头、所述髋关节撞击器、所述椎弓根螺钉或所述C形臂中的至少一个，以获得用于结合所述混合现实用户界面的数据。

12.根据权利要求9所述的混合现实用户界面，其中所述混合现实用户界面进一步提供目标切除平面的虚拟图像，供所述外科手术工具使用。

13.根据权利要求9所述的混合现实用户界面，其中所述混合现实用户界面被配置为用于医疗程序中，所述医疗程序选自髋关节置换手术、膝关节置换术、脊柱融合手术、臂骨畸形矫正截骨、股骨远端和胫骨近端截骨、髋臼周围截骨、肘部韧带重构、膝关节韧带重构、踝关节韧带重构、肩锁关节重构、全肩关节置换、反向肩关节置换、全踝关节置换、肿瘤诊断程序、肿瘤切除程序、经皮螺钉在解剖对象上的放置、C臂与患者解剖结构的对准以及注射到解剖对象中。

14.根据权利要求9所述的混合现实用户界面，其中：

所述外科手术工具是超声探针；

所述解剖对象是邻近期望手术部位的椎骨；和

所述过程进一步包括：

用所述超声探针扫描包括任何目标椎骨的期望手术部位周围的区域，以获得图像；

组合所获得图像与姿态以生成所述椎骨的三维表面；和

将所述椎骨的三维表面结合到所述混合现实用户界面，用于配准所述期望手术部位的所述立体虚拟图像。

15.根据权利要求9所述的用于外科手术导航系统的混合现实用户界面，

其中所述混合现实用户界面进一步包括与以所述外科手术工具的尖端为中心的三维经放大的立体虚拟图像重叠的所述外科手术工具和周围环境的图像，其中所述图像显示了所述外科手术工具的实时移动。