CN117177711A - 用于医学成像中的自动规划的虚拟基准标记 - Google Patents

Abstract

本文公开了一种医学系统(100、300、500、600)，包括：医学成像系统(102、302)，其被配置为采集描述对象(110)的医学成像数据(136)；相机系统(114)，其被配置为采集所述对象的对象图像(138)；存储器(126)，其存储机器可执行指令(130)、医学成像系统命令(134)、和坐标系映射、以及图像标记神经网络(132)。由计算系统(120)对所述机器可执行指令的运行使所述计算系统：通过利用所述医学成像系统命令控制所述医学成像系统来采集(200)所述医学成像数据；在所述医学成像数据的采集期间重复地(202)控制所述相机系统采集所述对象图像；通过将所述对象图像输入到所述图像标记神经网络中来重复地(204)接收所述虚拟基准标记物的相机系统坐标(142)；以及通过使用所述坐标系映射将所述虚拟基准标记物的所述相机系统坐标重复地转换为所提供的虚拟基准标记物的成像系统坐标来重复地(206)提供一组虚拟基准标记物的成像系统坐标。

Description

用于医学成像中的自动规划的虚拟基准标记

技术领域

本发明涉及基准标记在医学成像中的使用。

背景技术

诸如磁共振成像(MRI)、计算机断层摄影、正电子发射断层摄影和单光子发射断层摄影的各种断层摄影医学成像技术使得能够实现对象的解剖结构的详细可视化。所有这些成像模态的共同特征是需要大量的时间来采集重建医学图像所需的医学成像数据。在医学成像数据的采集期间，对象可能自主地或不自主地移动，从而导致图像损坏或伪影。可以跟踪对象的运动以减少对象运动的影响。前瞻性运动校正医学成像系统被调整以补偿在医学成像数据的采集期间的对象运动。回顾性运动校正是另一类技术，其中，在医学成像数据的采集期间记录对象的运动，并且使用该记录的对象运动来校正医学成像数据以重建经校正的医学图像。

众所周知的技术是使用基准标记物。基准标记物是应用于对象表面的标记物。在一些示例中，然后可以使用相机来测量基准标记物的位置。在其他示例中，基准标记物的位置由医学成像扫描器直接记录。在磁共振成像中，存在可以经由磁共振成像测量直接检测定位的基准标记物。基准标记物的缺点是它必须被应用于对象的表面或者被穿戴。

Slipsager,Jakob M.等人的期刊文章"Markerless motion tracking andcorrection for PET,MRI,and simultaneous PET/MRI"(Plos one 14.4(2019)：e0215524)公开了一种用于脑成像的运动校正(MC)的与PET、MRI和同时PET/MRI系统兼容的无标记物运动跟踪器。PET和MRI兼容性是通过定位膛内视觉扩展器和通过将所有电子部件放置在膛外来实现的。运动跟踪器在儿科PET/MRI研究期间的临床设置中演示，包括94个儿科患者扫描。使用多采集帧方法的定制版本针对这些扫描中的两个呈现PET MC。使用运动感知MRI序列证明了两个健康对象的MRI采集的前瞻性MC。实时运动估计伴有跟踪有效性参数以改进跟踪可靠性。

I.Frosio等人在‘A Neural Network Based Method for Optical Patient Set-up Registration in Breast Radiotherapy’(Annals of Biomedical Engineering,vol.34,no.4,pages 677-686(2006))中公开了一种具有运动补偿神经网络算法的放射治疗系统，该运动补偿神经网络算法分析由患者上的激光斑点形成的标记物的位置。

发明内容

本发明提供了独立权利要求中的医学系统、计算机程序和方法。在从属权利要求中给出了实施例。

实施例可以提供在由医学成像系统采集医学成像数据期间的对象跟踪的改进的手段。代替将基准标记物放置在对象的表面上，使用图像标记神经网络来在相机系统的坐标系中提供一组虚拟基准标记物。然后使用坐标系映射将该组虚拟基准标记物的位置转换到医学成像系统的坐标系。这可以具有各种潜在的优点。首先，避免了将基准标记物应用于对象。另一个潜在的优点是，使用物理基准标记物的大量算法和技术可以以最小的修改来使用。虚拟基准标记物的坐标可以被馈送到这些现有算法中。

另一个潜在的优点是，使用各种人工智能(AI)系统的现有系统(诸如上面引用的Slipsinger文章)使用神经网络来直接提供刚体平移。这对于成像诸如器官位于颅骨内的脑的区域可能是有效的。然而，Slipsinger中公开的技术可能通常不适用于其他类型的成像。相反，提供虚拟基准标记物使得能够更有可能处理不同类型的运动。例如，由于对象的呼吸和心脏运动引起的胸部的扩张和收缩可以通过基准标记物来处理，而不是利用刚体平移来处理。

在Slipsinger等人的文章中，TCL2运动跟踪软件包(TracSuite)使用迭代最近点(ICP)算法估计患者头部姿态。以30Hz的频率(足以用于大多数运动校正目的的该采样率)计算头部姿态。ICP对齐算法采用跟踪刚性表面的假设。遮挡、快速运动或面部运动可能违反这种刚性假设。此外，如果患者移动到视场(FOV)之外，则准确的跟踪是不可能的。因此，针对参考点云分析估计的姿态，以便确定跟踪结果有多可靠。ICP对齐算法采用跟踪刚性表面的假设。遮挡、快速运动或面部运动可能违反这种刚性假设。此外，如果患者移动到视场(FOV)之外，则准确的跟踪是不可能的。因此，针对参考点云分析估计的姿态，以便确定跟踪结果有多可靠。

在本发明中，作为跟踪器的虚拟基准标记物可以是一组可变的标记，可以消除对将点云与患者配准的依赖性。这可以具有移除自由度依赖性失败的益处，并且帮助我们的系统在三种方式校正的情况下更鲁棒——通知患者他的移动、回顾性校正和前瞻性校正。

在一个方面中，本发明提供了一种包括医学成像系统的医学系统。所述医学成像系统被配置为从成像区采集描述对象的医学成像数据。所述医学成像系统可以例如是断层医学成像系统。所述医学成像系统具有图像系统坐标系。也就是说，相对于属于医学图像系统的一组坐标采集数据。所述医学系统还包括相机系统，所述相机系统被配置为在所述医学成像数据的采集期间采集所述对象的对象图像。所述相机系统具有相机坐标系。

在不同的示例中，取决于所使用的相机系统的类型，相机系统坐标可以具有不同的含义。相机系统可以例如是光学相机系统或红外相机系统。通常，可以使用可以与所使用的特定类型的医学成像系统兼容的大多数3D或2D相机系统来实现所述相机系统。

在二维相机的情况下，相机坐标可以例如是按照图像上的位置的。在其他示例中，相机系统可以是三维相机或立体相机。然后，三维图像内的图像可以指示空间中的位置。立体相机可以由两个二维相机构建。在医学成像系统是组合式磁共振成像(MRI)系统和正电子发射断层摄影(PET)系统的情况下，相机也可以是与磁共振成像和正电子发射断层摄影两者兼容的三维相机。这可以包括将相机定位为使得它不干扰由PET环进行的测量。

所述医学系统还包括存储机器可执行指令的存储器。所述存储器还存储医学成像系统命令。所述存储器还存储坐标系映射。所述存储器还存储图像标记神经网络。坐标系映射是系统坐标系与相机坐标系之间的映射。在不同的示例中，这例如可以以不同的方式实现。在一个示例中，它可以是查找表或在它们中的两者之间进行计算的公式。

图像标记神经网络是被配置为接收描述对象的预定解剖区域的输入图像的神经网络。因此，图像标记神经网络是被配置用于对图像中的物体进行定位或用于对图像进行分割的神经网络。可以使用各种类型的神经网络。在医学成像中，具有U-Net架构的神经网络通常用于图像分割，并且对于实现图像标记神经网络是有用的。

在一个示例中，可以使用U-Net架构与关键点检测神经网络的组合来形成对虚拟基准标记物的更鲁棒的预测。与Mask-RCNN类似的该网络可以具有3个不同的块-分割、回归和关键点位置/选择(虚拟基准标记物选择)。这可以有助于在可能发生的患者运动的情况下增加选择替代点(替代基准标记物)的附加鲁棒性。基于分割、关键点检测和标志识别/选择在网络中构建这种冗余可以帮助保持算法灵活，并且可以用交替的基准点操作，从而适应患者移动。

所述图像标记神经网络还被配置为输出一组虚拟基准标记物的相机系统坐标。所述一组虚拟基准标记物的坐标是关于输入图像给出的，并且响应于接收到输入图像而被产生。换句话说，输入图像被输入到图像标记神经网络中，并且作为输出，在相机坐标系统中提供所述一组虚拟基准标记物的坐标。

所述医学成像系统命令被配置为控制所述医学成像系统采集所述医学成像数据。在不同的示例中，这些医学成像系统命令可以例如采取不同的形式。在所述医学成像系统是磁共振成像系统的情况下，所述医学成像系统命令可以是脉冲序列命令。所述医学系统还包括被配置用于控制所述医学系统的计算系统。

所述机器可执行指令的运行使所述计算系统通过利用所述医学成像系统命令控制所述医学成像系统来采集医学成像数据。所述机器可执行指令的运行还使所述计算系统在所述医学成像数据的采集期间重复地控制所述相机系统采集所述对象图像。所述机器可执行指令的运行还使所述计算系统通过将对象图像输入到图像标记神经网络中来重复地接收虚拟基准标记物的相机系统坐标。所述机器可执行指令的运行还使所述计算系统通过使用所述坐标系映射将所述虚拟基准标记物的相机系统坐标重复地转换为所提供的所述虚拟基准标记物的成像系统坐标来重复地提供所述一组虚拟基准标记物的成像系统坐标。

换句话说，当采集医学成像数据时，相机在该医学成像数据的采集期间采集图像或对象图像。所述图像或对象图像然后被输入到图像标记神经网络中，该图像标记神经网络在相机系统的坐标系中产生所述一组虚拟基准标记物的坐标。然后使用坐标系映射将这些坐标转换为医学成像系统的坐标系。

基准标记物的使用在各种医学成像模态中是常见的，特别是在磁共振成像中。使用基准标记物的众所周知的缺点是它们需要应用于被成像的对象的表面或衣服，并且然后需要检测这些基准标记物的位置。实施例可以具有以下优点：它们能够在医学成像系统的坐标系中提供虚拟基准标记物的坐标，而无需实际使用基准标记物。这例如使得能够使用现有的算法和程序来补偿待使用的对象的运动而无需大的修改。

在不同的示例中，所述虚拟基准标记物可以采取不同的形式。在一种情况下，它们可以是被识别为在图像中具有特定位置的标记物。这些可以由图像标记神经网络定位。图像标记神经网络中的术语“图像标记”是用于识别特定神经网络的标签。在一个示例中，所述一组虚拟基准标记物是在眼睛接触、唇角或面部轮廓周围检测到的一组点云。在其他示例中，它们可以是在对象的表面上可见的各种解剖标志。在其他示例中，所述一组虚拟基准标记物可以使其位置由多个解剖标志之间的关系确定。

可以以各种方式训练图像标记神经网络。可以准备对象的图像，并且这些图像也可以用手或用机器标记，以指示基准标记物的位置。然后可以使用例如深度学习训练算法来训练图像标记神经网络。

在一个示例中，神经网络可以利用现有图像、基于自动分割算法来训练，以预测器官的自动3D深度分割标签并且还在现场利用先前的类似标签。使用这种分割作为注意，即使它们正在移动，也可以估计可能的基准标记物。可以使用再执行学习算法来跟踪位置，并且在未为特定虚拟基准点标记提供或未找到位置的情况下，选择替代的最近基准点或标记。该两阶段网络可以在工厂和现场两者中进行训练，以使得能够利用站点数据进行连续的现场学习。这例如可以应用于具有上述关键点检测神经网络的U-Net架构。

神经网络也可以被训练为使得虚拟基准标记物具有可变行为。例如，利用物理基准标记物，当一个人转动一个头时，不同的基准标记物在不同的时间可以是可见的。在训练期间，可以构建对象的不同视图，使得在不同的视角下，不同的虚拟基准标记物是可见的。在这种情况下，由图像标记神经网络提供的基准标记物的数量可以是可变的。

在另一实施例中，所述一组虚拟基准标记物是一组预定的虚拟基准标记物。例如，虚拟基准标记物可以与对象的表面解剖结构的位置具有预定义的关系，而不是作为一组点云。可以通过提供已经由医学技术人员或医师用预定的一组虚拟基准标记物手动标记的对象的图像来训练图像标记神经网络。这将适用于如头部的结构以及诸如对象的胸部区域的其他解剖结构。

在另一实施例中，所述机器可执行指令的运行还使所述计算系统在开始采集所述医学成像数据之前接收初始医学图像。所述初始医学图像可以描述对象的解剖区域。这可以例如是对象的预定解剖区域或与对象相邻或在对象内。所述机器可执行指令的运行还使所述计算系统接收在所述初始医学图像中识别的所选择的视场。所选择的视场可以用于示例是期望由医师成像的区域。所述机器可执行指令的运行还使所述计算系统计算所述虚拟基准标记物的所述图像系统坐标与所述初始医学图像之间的配准。然后，这提供了成像系统坐标与初始医学图像之间的参考。这例如可以用作对所选择的视场进行成像的手段。

所述机器可执行指令的运行还使所述计算系统配置所述脉冲序列命令以使用所述配准来从所选择的视场采集所述医学成像数据。该实施例可以是有益的，因为通过使用虚拟基准标记物来确定要由对象成像的区域。这可以使得能够在不使用先前的侦察扫描的情况下采集数据。这可以提供在正确操作医学系统以采集诸如磁共振图像的初始医学图像方面的减轻的负担。

在另一实施例中，所述初始医学图像是解剖图集图像。该实施例可以是有益的，因为医师例如可以坐在她或他的办公室中并准备期望成像以对对象执行诊断的指示区域。医师能够使用解剖图集图像来这样做，并且这然后使用配准而被转换以适当地执行成像。

在另一实施例中，所述初始医学图像是对象的侦察扫描。该实施例可以是有益的，因为然后可以使用侦察扫描来自动配置医学系统以便采集医学成像数据。

在另一实施例中，所述医学成像系统是磁共振成像系统，并且所述初始医学图像不是侦察扫描。然后，医学系统被实现为无标记且无侦察磁共振成像系统。

在另一实施例中，所述初始医学图像是所述对象的先前医学图像。例如，在先前的医学检查中，即使使用不同的成像模态，医师也可以指示期望执行更多或不同的成像协议的区域。然后，即使不同成像模态的该先前医学图像也可以被配准到基准标记物，并且使得能够对所选择的视场进行适当的成像。

在另一实施例中，所述机器可执行指令的运行还使所述计算系统响应于所述虚拟基准标记物的所述成像系统坐标的变化而重复地调整所述医学成像系统命令以使用所述配准从所选择的视场采集所述医学成像数据。虚拟基准标记物的坐标的变化可以指示对象已经移动。通过将其配准到成像系统坐标，可以推断应该如何调整所选择的视场，使得它能够补偿对象的运动。这可以是有益的，因为它可以减少对象运动对成像过程的影响。

在另一实施例中，调整医学成像系统命令，使得所选择的视场与虚拟基准标记物的最近成像系统坐标匹配。例如，如果对象已经移动，则可以修改所选择的视场的位置，使得它匹配最近的坐标。这将具有减少运动对成像过程的影响的效果。

在另一实施例中，调整脉冲序列命令，使得所选择的视场与使用虚拟基准标记物的成像系统坐标的速度确定的虚拟基准标记物的成像系统坐标的预测坐标匹配。例如，可以在一段时间内跟踪虚拟基准标记物的位置。在特定时间处，然后可以使用虚拟基准标记物的速度来预测虚拟基准标记物未来的位置。这可以进一步具有减少运动影响的效果。

在另一实施例中，所述医学系统还包括被配置用于提供描述对象运动的陀螺仪数据的对象安装的陀螺仪。所述机器可执行指令的运行还使所述计算系统重复地从所述对象安装的陀螺仪接收所述陀螺仪数据。所述机器可执行指令的运行还使所述计算系统根据所述陀螺仪数据重复地确定对象加速度。所述机器可执行指令的运行还使所述计算系统使用所述对象加速度来重复地计算预测的虚拟基准标记物速度。所述机器可执行指令的运行还使所述计算系统使用所述虚拟基准标记物的最新成像系统坐标和所述预测的虚拟基准标记物速度来重复地计算预测的虚拟基准标记物位置。然后，该预测的基准标记物速度位置可以用于基于该估计或预测的基准标记物位置来校正所选择的视场的位置。这还可以具有减少对象运动对图像质量的影响的效果。

在另一实施例中，所述医学系统还包括显示器。所述机器可执行指令的运行还使所述计算系统在开始采集所述医学成像数据时接收所述一组虚拟基准标记物的相机系统坐标。所述机器可执行指令的运行还使所述计算系统在采集开始时使用所述一组虚拟基准标记物的相机系统坐标来计算初始对象位置指示物的位置。所述机器可执行指令的运行还使所述计算系统在所述显示器上持久地绘制所述初始对象位置指示物。所述机器可执行指令的运行还使所述计算系统使用所述一组虚拟基准标记物的相机系统坐标重复地计算当前位置指示物的位置。

Slipsager等人描述的系统的一个缺点是该系统即使在扫描完成之前也不利用该系统来通知患者他的位置校正，并且高度依赖于刚性点云模板，这容易出现许多故障。该实施例可以通过提供上述显示器来克服该缺点。

所述机器可执行指令的运行还使所述计算系统在所述显示器上重复地绘制所述当前对象位置指示物。该实施例可以是有利的，因为它为人们提供了非常好的视觉提示或工具以监测对象的位置在检查过程的过程中如何变化。初始对象位置指示物示出对象的初始位置，并且然后当前对象位置指示物表示对象的当前位置。这可以在几种不同的情况下使用。所述显示器可以被提供给所述对象，使得所述对象能够看到所述对象她或他自己已经如何移动。当前对象位置指示物和初始对象位置指示物两者的显示也可以帮助对象将自己重新定位回到初始位置。还可以在医学系统的操作期间向操作者提供显示器，作为操作者理解对象在检查期间移动了多少或多么一点的帮助。

在另一实施例中，所述初始对象位置指示物是在采集开始时使用输出相机系统坐标定位的叠加在对象图像上的所述一组虚拟基准标记物的绘制。所述当前对象位置指示物是使用相机系统坐标定位的叠加在当前或最近对象图像上的所述一组虚拟基准标记物(当前或最近)的绘制。

在另一实施例中，所述初始对象指示物是在采集开始时使用所述一组虚拟基准标记物和相机系统坐标的组合定位的第一物体。所述当前对象位置指示物是使用所述一组虚拟基准标记物和相机系统坐标的组合定位的第二物体。在这种情况下，可以定位各种不同的物体。例如，它不需要是对象和虚拟基准标记物的实际图像。在这种情况下，它可以例如是通常表示对象的卡通图像。在其他情况下，指示物可以是被旋转和/或平移的物体。

在另一实施例中，所述显示器示出了所述初始医学图像或所述临床医学图像连同所述虚拟基准标记物的叠加。初始医学图像或临床医学图像可以例如显示解剖学异常或异常。叠加的显示可以帮助对象或操作者更好地掌握异常(如果存在的话)的位置和程度。

在另一实施例中，所述医学成像数据是分部分采集的。所述机器可执行指令的运行还使所述计算系统在采集所述医学成像数据的所述部分中的每个部分时使用所述虚拟基准标记物的所述相机系统坐标来校正所述医学成像数据的所述部分中的每个部分。该实施例可以是有益的，因为它可以提供关于对象的位置和/或移动的医学成像数据的各个部分的记录。这可以用于追溯地校正医学成像数据。

在另一实施例中，使用以下方法中的任何一种来校正对医学成像数据的位置的校正：通过执行刚体旋转和/或平移，并且还使用医学成像数据校正神经网络，所述医学成像数据校正神经网络被配置为响应于接收到医学成像数据的部分中的一个和在采集医学成像数据的每个位置时的虚拟基准标记物的输出坐标而输出经校正的医学成像数据。在这两种情况下，通过使用平移校正原始医学成像数据来执行一种情况。神经网络也可以用于此。可以通过获取正确的医学成像数据并且然后将它划分为多个部分并模拟移动的影响来训练医学成像数据校正神经网络。例如，在k空间中平移测量结果和/或旋转它们。用于训练的参考数据可以用于校正正确或具有正确k空间数据的图像，并且然后使用人工转换的数据用于训练。

在另一实施例中，所述机器可执行指令的运行还使所述计算系统根据所述医学成像数据来重建临床医学图像。

在另一实施例中，所述医学系统还包括被配置用于辐照处置区的放射治疗系统。所述处置区在所述成像区内。所述机器可执行指令的运行还使所述计算系统接收被配置为控制所述放射治疗系统辐照所述处置区的放射治疗控制命令。所述机器可执行指令的运行还使所述计算系统将所述虚拟基准标记物的所述成像系统坐标配准到所述临床医学图像。所述机器可执行指令的运行还使所述计算系统接收所述临床医学图像中的所述处置区域的位置。所述机器可执行指令的运行还使所述计算系统使用所述临床医学图像中的所述处置区的位置以及所述虚拟基准标记物的所述成像系统坐标到所述临床医学图像的配准来修改所述放射治疗控制命令。该实施例可以是有益的，因为它可以提供放射治疗系统的更准确使用。该实施例可以具有减少放射治疗处置规划设置时间的益处。由于可以使用3D实时相机数据和先前的CT和/或MRI扫描来完成对齐，因此可能消除了进行CT和/或MRI扫描以便患者对齐的需要。先前的CT和/或MRI扫描可以用作初始医学图像。

在另一实施例中，所述医学成像系统是磁共振成像系统。

在另一实施例中，所述医学成像系统是组合式正电子发射断层摄影系统和计算机断层摄影系统。

在另一实施例中，所述医学成像系统是正电子发射断层摄影系统。

在另一实施例中，所述医学成像系统是单光子发射断层摄影系统。

在另一实施例中，所述医学成像系统是组合式正电子发射断层摄影和计算机断层摄影系统。

在另一实施例中，所述医学成像系统是组合式磁共振成像和正电子发射断层摄影系统。

在另一方面中，本发明提供了一种操作医学系统的方法。所述医学系统被配置为从成像区采集描述所述对象的医学成像数据。所述医学成像系统具有图像系统坐标系。所述医学系统还包括相机系统，所述相机系统被配置为在所述医学成像数据的采集期间采集所述对象的对象图像。所述相机系统具有相机系统坐标系。所述方法包括通过利用所述医学成像系统命令控制所述医学成像系统来采集医学成像数据。

所述方法还包括在所述医学成像数据的采集期间重复地控制所述相机系统采集所述对象图像。所述方法还包括通过将对象图像输入到图像标记神经网络中来重复地接收所述虚拟基准标记物的相机系统坐标。所述图像标记神经网络被配置为接收描述对象的预定解剖区域的输入图像作为输入。所述图像标记神经网络还被配置为响应于接收到输入图像而输出如在输入图像中的所述一组虚拟基准标记物的相机系统坐标。所述方法还包括通过使用坐标系映射将所述一组虚拟基准标记物的相机系统坐标重复地转换为所提供的虚拟基准标记物的图像系统坐标来重复地提供虚拟基准标记物的成像系统坐标。所述坐标系映射是所述系统坐标系与所述机坐标系之间的映射。

在另一方面中，本发明提供了一种计算机程序，所述计算机程序包括用于由控制所述医学系统的计算系统执行的机器可执行指令。所述医学系统包括医学成像系统，所述医学成像系统被配置为从成像区采集描述对象的医学成像数据。所述医学成像系统具有图像系统坐标系。所述医学系统还包括相机系统，所述相机系统被配置为在所述医学成像数据的采集期间采集对象的对象图像。所述相机系统具有相机坐标系。所述计算机程序还可以包括图像标记神经网络、医学成像系统命令和/或坐标系映射。

所述机器可执行指令的运行使所述计算系统通过利用所述医学成像系统命令控制所述医学成像系统来采集医学成像数据。所述机器可执行指令的运行还使所述计算系统在所述医学成像数据的采集期间重复地控制所述相机系统采集所述对象图像。所述机器可执行指令的运行还使所述计算系统通过将所述对象图像输入到所述图像标记神经网络中来重复地接收所述虚拟基准标记物的相机系统坐标。所述图像标记神经网络被配置为接收描述对象的预定解剖区域的输入图像。所述图像标记神经网络还被配置为响应于接收到输入图像而输出输入图像中的虚拟基准标记物的相机系统坐标。

所述机器可执行指令的运行还使所述计算系统通过使用坐标系映射将所述一组虚拟基准标记物的相机系统坐标重复地转换为所提供的所述虚拟基准标记物的成像系统坐标来重复地提供所述虚拟基准标记物的成像系统坐标。所述坐标系映射是所述成像系统坐标系与所述相机坐标系之间的映射。

应理解，只要组合的实施例不相互排斥，就可以组合本发明的前述实施例中的一个或多个。

如本领域技术人员将认识到的，本发明的各个方面可以被实现为装置、方法或计算机程序产品。相应地，本发明的各个方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例的形式，这些方面在本文中全部可以统称为“电路”、“模块”或“系统”。此外，本发明的各个方面可以采取实现在一个或多个计算机可读介质中的计算机程序产品的形式，所述一个或多个计算机可读介质具有实现在其上的计算机可执行代码。

可以使用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。如在本文中使用的“计算机可读存储介质”涵盖可以存储指令的任何有形存储介质，所述指令能够由计算设备的处理器或计算系统运行。可以将所述计算机可读存储介质称为计算机可读非瞬态存储介质。也可以将所述计算机可读存储介质称为有形计算机可读介质。在一些实施例中，计算机可读存储介质还可以能够存储能够由所述计算设备的计算系统访问的数据。计算机可读存储介质的示例包括，但不限于：软盘、磁性硬盘驱动器、固态硬盘、闪速存储器、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁光盘以及计算系统的寄存器文件。光盘的示例包括压缩光盘(CD)和数字多用光盘(DVD)，例如CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。术语计算机可读存储介质还指代能够由所述计算机设备经由网络或通信链路访问的各种类型的记录介质。例如，可以通过调制解调器、通过因特网或通过局域网络来检索数据。实现在计算机可读介质上的计算机可执行代码可以使用任何适当的介质来传输，包括但不限于无线、有线、光纤线缆、RF等，或上述各项的任何合适的组合。

计算机可读信号介质可以包括具有实现在其中的例如在基带内或作为载波的部分的计算机可执行代码的传播的数据信号。这样的传播信号可以采取各种形式中的任一种，包括但不限于，电磁的、光学的、或其任何合适的组合。计算机可读信号介质可以是这样的任何计算机可读介质：其不是计算机可读存储介质并且能够传递、传播或传输程序用于由指令运行系统、装置或设备使用或与其结合使用。

“计算机存储器”或“存储器”是计算机可读存储介质的示例。计算机存储器是计算系统能直接访问的任何存储器。“计算机存储设备”或“存储设备”是计算机可读存储介质的另一示例。计算机存储设备是任何非易失性计算机可读存储介质。在一些实施例中，计算机存储设备也可以是计算机存储器或反之亦然。

如本文中所使用的“计算系统”涵盖能够运行程序或机器可执行指令或计算机可执行代码的电子部件。对包括“计算系统”的示例的计算系统的引用应当被解读为可能包含超过一个计算系统或处理核。所述计算系统例如可以是多核计算系统。计算系统还可以是指单个计算机系统之内或被分布在多个计算机系统之中的计算系统的集合。术语计算系统也应该被解释为可能指的是计算系统的集合或网络，每个计算系统包括一个或多个计算系统。所述机器可执行代码或指令可以由多个计算系统或处理器运行，所述多个计算系统可以处在相同的计算系统内或甚至可以跨多个计算系统分布。

机器可执行指令或计算机可执行代码可以包括令处理器或其他计算系统执行本发明的方面的指令或程序。用于执行针对本发明的各个方面的操作的计算机可执行代码可以以一种或多种编程语言的任何组合来编写并且被编译为机器可执行指令，所述编程语言包括诸如Java、Python、Smalltalk、C++等的面向对象的编程语言以及诸如C编程语言或类似编程语言的常规过程编程语言。在一些实例中，所述计算机可执行代码可以采取高级语言的形式或预编译的形式并且结合生成运行中的所述机器可执行指令的解释器来使用。在其他情况下，机器可执行指令或计算机可执行代码可以是以用于可编程逻辑门阵列的编程的形式。

所述计算机可执行代码可以作为独立软件包全部地在所述用户的计算机上、部分地在用户的计算机上、部分地在用户的计算机上并且部分地在远程计算机上、或全部地在远程计算机或服务器上运行。在后者情形下，所述远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或可以对外部计算机做出连接(例如，使用因特网服务提供商通过因特网)。

本发明的各个方面参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述。将理解，流程图、图示和/或框图的每个框或框的部分能够在适用时通过计算机可执行代码的形式的计算机程序指令来实施。还应理解，当不相互排斥时，不同流程图、图示和/或框图中的框的组合可以被组合。这些计算机程序指令可以被提供到通用计算机、专用计算机的计算系统或其他可编程数据处理装置以生产机器，使得经由计算机的计算系统或其他可编程数据处理装置运行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的模块。

这些机器可执行指令或计算机程序指令还可以被存储在计算机可读介质中，其能够引导计算机、其他可编程数据处理装置或其他设备以特定的方式工作，使得被存储在所述计算机可读介质中的所述指令产生包括实施在流程图和/或框图的一个或多个框中指定的功能/动作的指令的制品。

所述机器可执行指令或计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上以令一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实施的过程，使得在计算机或其他可编程装置上运行的指令提供用于实施在流程图和/或框图的一个或多个框中指定的功能/动作的过程。

如在本文中所使用的“用户接口”是允许用户或操作者与计算机或计算机系统进行交互的接口。“用户接口”也可以指“人机接口设备”。用户接口可以向操作者提供信息或数据，和/或从操作者接收信息或数据。用户接口可以使得来自操作者的输入能够被计算机接收，并且可以将来自计算机的输出提供给用户。换句话说，用户接口可以允许操作者控制或操纵计算机，并且所述接口可以允许计算机指示操作者的控制或操纵的效果。数据或信息在显示器或图形用户接口上的显示是向操作者提供信息的示例。通过键盘、鼠标、跟踪球、触摸板、指点杆、图形输入板、操纵杆、游戏板、网络摄像头、头戴件、踏板、有线手套、远程控制以及加速度计对数据的接收全部是实现从操作者接收信息或数据的用户接口部件的示例。

如在本文中所使用的“硬件接口”涵盖使得计算机系统的计算系统能够与外部计算设备和/或装置进行交互或对其进行控制的接口。硬件接口可以允许计算系统将控制信号或指令发送到外部计算设备和/或装置。硬件接口也可以使得计算系统能够与外部计算设备和/或装置交换数据。硬件接口的示例包括但不限于：通用串行总线、IEEE1394端口、并行端口、IEEE1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口和数字输入接口。

如本文中所使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和触觉数据。显示器的示例包括但不限于：计算机监视器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、向量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子显示面板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影仪和头戴式显示器。

医学成像数据在本文中被定义为由医学成像系统进行的描述对象的记录的测量。医学成像数据可以被重建为医学图像，该医学图像可以被称为临床医学图像。医学图像在本文中被定义为包含在医学成像数据内的解剖数据的经重建的二维或三维可视化。这种可视化能够使用计算机来执行。

K空间数据在本文中被定义为在磁共振成像扫描期间使用磁共振装置的天线对由原子自旋发射的射频信号记录的测量结果。K空间是医学成像数据的示例。

磁共振成像(MRI)图像或MR图像在本文中被定义为包含在磁共振成像数据内的解剖数据的经重建的二维或三维可视化。这种可视化能够使用计算机来执行。

附图说明

在下文中，将仅通过示例并且参考附图描述本发明的优选实施例，在附图中：

图1图示了医学系统的示例；

图2图示了使用图1的医学系统的方法；

图3图示了医学系统的另一示例；

图4图示了可以在医学成像系统的采集期间提供给医学成像系统的操作者和/或对象的显示的示例；

图5图示了医学成像系统的另一示例；

图6图示了医学系统的另一示例；

图7图示了虚拟基准标记物到初始医学图像的配准；

图8示出了图示另一方法的流程图；

图9示出了图示另一方法的流程图；

图10示出了图示另一方法的流程图；

图11示出了图示另一方法的流程图；

图12示出了图示另一方法的流程图；并且

图13图示了医学系统的另一示例。

附图标记列表

100 医学系统

102 医学成像系统

104 计算机

106 成像区

108 视场

110 对象

112 对象支撑件

114 相机系统

120 计算系统

122 硬件接口

124 用户接口

126 存储器

130 机器可执行指令

132 图像标记神经网络

134 医学成像系统命令

136 医学成像数据

138 对象图像

140 坐标系映射

142 一组虚拟基准标记物的相机系统坐标

144 一组虚拟基准标记物的图像系统坐标

146 临床图像

200 通过利用医学成像系统命令控制医学成像系统来采集医学成像数据

202 在医学成像数据的采集期间重复地控制相机系统采集对象图像

204 通过将对象图像输入到图像标记神经网络中来重复地接收虚拟基准标记物的相机系统坐标

206 通过使用坐标系映射将虚拟基准标记物的相机系统坐标重复地转换为所提供的虚拟基准标记物的成像系统坐标来重复地提供该组虚拟基准标记物的成像系统坐标

207 采集完成？

208 根据医学成像数据重建临床医学图像

300 医学系统

302 磁共振成像系统

304 磁体

306 磁体的膛

310 磁场梯度线圈

312 磁场梯度线圈电源

314 射频线圈

316 收发器

322 胸部区域

330 显示器

332 对象安装的陀螺仪

340 初始医学图像

342 所选择的视场

344 配准

400 第一物体

402 第二物体

500 医学系统

502 放射治疗系统

504 处置区

506 放射治疗控制命令

508 到临床图像的配准

600 医学系统

602 梯度系统

604 脉冲序列服务器

606 数据采集服务器

608 采集控制器

610 患者定位系统

612 视觉探头

614 运动探头

616 跟踪和规划控制系统

700 第一列

702 第二列

704 第三列

706 第四列

708 虚拟基准标记物

710 所选择的视场

712 侦察图像或初始医学图像

800 开始

802 拍摄头部3D光学图像

804 对所采集的光学图像运行规划和定位算法

806 发送到调整梯度场并开始扫描的采集控制器的视场

808 使用光学和陀螺仪反馈的前瞻性运动校正

810 扫描完成？

812 回顾性运动校正

814 结束

900 开始

902 采集感兴趣区域3D光学图像

904 采集3D侦察图像

906 使用AI识别所采集的图像上的重要关键点

908 使用预测的关键点信息来估计视场

910 将视场参数发送到扫描器定位系统

912 结束

1000 开始

1002 输入：当前视场参数

1004 使用当前视场参数初始化用于跟踪光学系统

1006 采集陀螺仪数据

1008 检测到运动？

1010 检测到运动？

1012 使用陀螺仪数据和光学数据来估计新视场

1014 更新当前视场并调整扫描器位置参数

1100 开始

1102 MRI图像扫描

1104 将MR图像转换为k空间表示

1106 随机选择数字n。随机地将刚性变换n次应用于磁共振图像扫描和光学扫描，并且以图来描绘与从经变换的图像到原始k空间的变换的时刻相对应的k空间

1108 利用该修改的k空间数据训练神经网络以重建MR图像扫描

1110 在运行时使用该训练的神经网络用于重建图像

1112 结束

1200 开始

1202 输入：来自620的扫描器结果和3D光学图像

1204 输入：来自616的虚拟标记位置和运动检测结果

1206 运行叠加算法以将扫描结果叠加在患者光学图像上

1208 将叠加的图像与原始结果一起发送到显示/打印设备。

1210 结束

1212 如果检测到显著运动，则将指令发送到患者的MR音频系统。

1214 叠加在光学扫描上的虚拟标记被显示给放射科医师，并且可以被发送到用于患者的任何可用的显示系统。

1300 医学系统

1302 本地控制器

1304 云或互联网连接

1306 用户接口

具体实施方式

这些附图中的类似编号的元件是等价元件或执行相同功能。如果功能是等价的，则将没有必要在后面的附图中讨论先前已经讨论过的元件。

图1图示了医学系统100的示例。医学系统100被示出为包括医学成像系统102和计算机104。计算机104旨在表示位于一个或多个位置或分布的一个或多个计算机。医学成像系统102旨在表示不同类型的医学成像系统。医学成像系统可以例如是磁共振成像系统、正电子发射断层摄影系统、单光子发射断层摄影系统、组合式正电子发射断层摄影和计算机断层摄影系统、以及组合式磁共振成像和正电子发射断层摄影系统。医学成像系统102具有成像区106，其中，可以采集医学成像数据以对对象110进行成像。对象110被示出为搁置在对象支撑件112上并且至少部分地在成像区106内。在该示例中，医学成像系统102具有可控视场108。医学成像系统102内的相机系统114对对象110的解剖区域进行成像。在该示例中，它是胸部区域。

计算机104被示出为包括计算系统120。计算系统120旨在表示位于一个或多个位置处的一个或多个处理核或计算系统。例如，计算机可以集成到医学成像系统中，或它可以以可拆卸的方式定位。例如，它可以被实现为使得它可以与现有的运动检测和校正系统集成为即插即用接口。

计算系统120被示出为与硬件接口122、可选的用户接口124和存储器126通信。

存储器126被示出为包含机器可执行指令130。机器可执行指令130由计算系统120使用，并且使得它能够执行各种控制和数据处理以及图像处理任务。存储器126还被示出为包含图像标记神经网络132。图像标记神经网络132接收对象图像138，并且输出一组虚拟基准标记物在相机系统114的坐标中的一组坐标。

存储器126还被示为包含一组医学成像系统命令134。医学成像系统命令134是由计算系统120用来控制医学成像系统102采集医学成像数据136的一组命令。在医学成像系统102是磁共振成像系统的情况下，医学成像系统命令134将是脉冲序列命令，并且医学成像数据136将是k空间数据。

存储器126还被示为包含已经利用相机系统114采集的对象图像138。存储器126还被示为包含能够将相机坐标系中的坐标映射到医学成像系统102的坐标系的坐标的坐标系映射140。存储器126还被示出为包含响应于接收到对象图像138作为输入而从图像标记神经网络132接收的该组虚拟基准标记物142的一组相机系统坐标。存储器126还被示出为包含通过使用坐标系映射140转换该组虚拟基准标记物142的相机系统坐标来计算的该组虚拟基准标记物144的图像系统坐标。存储器146还被示为包含根据医学成像数据136重建的临床图像146。该组虚拟基准标记物144的系统坐标可以例如用于以若干不同的方式改进临床图像146的质量。它可以用于通过跟踪对象110的运动来修改医学成像数据136的采集，并且它还可以用于在重建期间追溯地校正临床图像146。

图2示出了图示操作图1的医学成像系统100的方法的流程图。首先，在步骤200中，通过利用医学成像系统命令134控制医学成像系统102来采集医学成像数据136。接下来，在步骤202中，计算系统120在医学成像数据的采集期间重复地控制相机系统114采集对象图像138。步骤200被认为至少与步骤202同时发生。步骤200也可以与步骤204和206同时发生。在步骤204中，通过将对象图像138输入到图像标记神经网络132中来重复地接收该组虚拟基准标记物142的相机系统坐标。接下来，在步骤206中，通过使用坐标系映射140将该组虚拟基准标记物的相机系统坐标142转换为图像系统坐标144来重复地获得该组虚拟基准标记物的图像系统坐标144。接下来，该方法进行到步骤207，步骤207是决策框，并且问题是“采集是否完成？”如果答案为“是”，则该方法进行到步骤208，其中，重建临床图像146。如果答案为“否”，则该方法重复回到步骤202，并且重复步骤202、204和206，直到采集完成。只要重复步骤202、204和206，在步骤200中开始的采集就继续。

图3图示了医学系统300的另一示例。在该示例中，医学成像系统是磁共振成像系统302。磁共振成像系统302包括磁体304。磁体304是具有通过其的膛306的超导圆柱形磁体。不同类型的磁体的使用也是可能的，例如，使用分裂式圆柱形磁体和所谓的开放式磁体两者也是可能的。分裂式圆柱形磁体类似于标准的圆柱形磁体，除了低温恒温器已经分成两部分以允许进入所述磁体的等平面，这样的磁体可以例如与带电粒子束治疗相结合地使用。开放式磁体具有两个磁体部分，一个在另一个上方，它们之间具有足够大的空间以接收对象：两部分区域的布置类似于亥姆霍兹线圈的布置。开放式磁体是受欢迎的，因为对象受更少的约束。在圆柱形磁体的低温恒温器内部有超导线圈的集合。

在圆柱形磁体304的膛306内，存在磁场足够强且足够均匀以执行磁共振成像的成像区106。视场108被示出在成像区106内。k空间数据(医学成像数据136)是针对视场108采集的。对象110被示为由对象支撑件112支撑，使得对象110的至少部分在成像区106内。

磁体的膛306内还有一组磁场梯度线圈310，其用于采集初步磁共振数据，以在磁体304的成像区106内对磁自旋进行空间编码。磁场梯度线圈310连接到磁场梯度线圈电源312。磁场梯度线圈310旨在为代表性的。通常，磁场梯度线圈310包含用于在三个正交空间方向上空间地编码的三组分离的线圈。磁场梯度电源将电流供应到磁场梯度线圈。供应到磁场梯度线圈310的电流根据时间来控制并且可以是斜变的或脉冲的。

与成像区106相邻的是射频线圈314，所述射频线圈用于操纵成像区106内的磁自旋的取向，并且用于接收来自也在成像区106内的自旋的无线电发射。射频天线可以包含多个线圈元件。射频天线也可称为通道或天线。射频线圈314连接到射频收发器316。射频线圈314和射频收发器316可以由独立的发送线圈和接收线圈以及独立的发射器和接收器替代。应理解，射频线圈314和射频收发器316是代表性的。射频线圈314旨在还表示专用的发送天线和专用的接收天线。同样，收发器316也可以表示分离的发射器和接收器。射频线圈314也可以具有多个接收/发射元件，并且射频收发器316可以具有多个接收/发射通道。例如，如果并行成像技术(诸如SENSE)被执行，则射频线圈314将具有多个线圈元件。

相机114正在对对象110的感兴趣区域进行成像。在该特定示例中，对对象110的胸部区域322进行成像。如果诸如头部或膝盖的另一区域正在被成像，则相机将对这些区域进行成像。磁体的膛306还具有显示器330，显示器330可以可选地被提供给对象110以显示初始对象位置指示物和对于对象110在移动之后正确地定位她或他自己可以有用的后续位置指示物。对象110还穿戴可选的对象安装的陀螺仪332。这能够跟踪对象110的运动，并且可以用于预测速度并且因此预测虚拟基准标记物的路径。

对象110已经被定位在磁体106的膛内，使得对象110的胸部区域被定位在成像区106内。然而，这仅是示例性的。对象110的其他区域(诸如对象头部)也可以被定位成由相机系统114和磁共振成像系统302进行成像。

收发器316、梯度控制器312、相机系统114和显示器330被示出为连接到计算机系统104的硬件接口1122。医学系统300也可以用于规划。存储器126还被示为包含初始医学图像340和对所选择的视场342的选择。初始医学图像340可以被配准344到虚拟基准标记物，并且这可以用于控制视场108的定位。

图4图示了实现显示器330的一种方式。在该示例中，存在第一物体400，其表示当检查开始时对象的位置。在检查的过程期间，在相机114的坐标系中跟踪虚拟基准标记物的位置。代替在图4中显示基准标记物的初始和后续位置，第一物体400和第二物体402表示基准标记物在开始时和当前的位置。当对象移动时，第二物体402被旋转和平移。这例如对于希望重新定位她自己或他自己的对象可以是有用的。第一物体400和第二物体402对于对象在狭窄的位置中可以更容易理解。当对象移回到正确位置时，第二物体402返回到第一物体400的位置。

图5图示了医学系统500的另一示例。图5中的医学系统500类似于图1中描绘的医学系统，除了它另外包括放射治疗系统502。放射治疗系统502被配置用于辐照处置区504并且可使用放射治疗控制命令506来控制。放射治疗控制命令506可以例如被配准508到临床图像146。处置区504的位置可以在临床医学图像146中详述，并且然后用于修改放射治疗控制命令506以更好地控制处置区504的辐照。医学系统500包括如图1中描绘的计算机104和相机114。可以以在其他实施例中指定FOV的相同方式在医学图像中指定处置区504的位置和任何3D器官分割。

初始医学图像(在本文中也被称为侦察图像)可以用于规划用于医学成像系统检查(诸如MRI检查)的图像。侦察结果是图像，事实上，它通常是三个平面中的3-5个低分辨率图像(2D侦察)或3D低分辨率图像。扫描也可以用于覆盖我们计划扫描的解剖结构。侦察图像例如用于确定诸如PET、MR、CT等医学设备的诊断序列的视场。对侦察的规划是有根据的猜测；一旦具有一些侦察图像，就可以有把握地规划更高分辨率图像(临床医学图像)，并且所有后续图像可以参考相同的坐标系。

磁共振成像(MRI)/PET/CT期间的对象运动是获得良好的更高分辨率扫描的另一个问题，这是由于在一些序列中更长的MRI扫描时间并且由于患者疼痛，使得操作者重新进行扫描。所提出的解决方案提出了一种例如自动规划并跟踪患者移动从而自动校正运动的无标记物的基于AI的解决方案。此外，所提出的无标记物的解决方案自动导出标记物(虚拟基准标记物)，因为它可以例如将这些外部运动传感器输入(如3D RGBD相机输入)的基于形状模型的标志与自动检测到的侦察图像标志配准。此外，一些示例使用回顾性地进行较小器官运动校正并且使用上述输入在运行时前瞻性地校正大的患者身体移动的跟踪和规划控制系统(TPCS)。此外，该解决方案在运行中分析各种输入(如光学、压力等)，在运行中估计鲁棒的患者姿态，并且在运行中向患者和显示器提供反馈。此外，由于这种基于人工智能的运动校正可以是实时的，因此它不仅可以改进图像质量，而且可以是快速且准确的。

磁共振成像(MRI)和正电子发射断层扫描(PET)在许多神经疾病的诊断和处置中是非常重要的。这些模态以长图像采集持续时间为代价提供独特的组织对比度，使患者头部运动成为关键问题。由患者运动引起的图像质量的劣化可能潜在地导致临床相关特征的检测减少，从而负面地影响诊断和处置。据估计，患者运动每年每个扫描器增加MRI检查的成本115000美元。目前，没有迹象表明MRI检查期间的对象运动问题将通过硬件改进来解决。加速成像的潜力似乎越来越受到生物约束的限制：外周神经刺激限制梯度切换速度；比吸附速率(SAR)限制了RF激发脉冲的使用；并且T1和T2弛豫时间约束序列重复和回波时间，这取决于所需的对比度。

该问题在儿科扫描中特别严重，其中，经常使用镇静和麻醉，这可能导致不良反应。为了最小化这种头部运动的负面结果，已经针对MRI和PET重建提出了用于运动校正(MC)的各种方法。对于MRI，已经使用各种跟踪技术证明了前瞻性MC，其中，成像视场(FOV)坐标系在采集期间被连续更新。回顾性MRI MC回顾性地使用运动信息来调整重建以补偿运动引起的误差。与前瞻性MC不同，回顾性校正使得能够在具有和不具有运动校正图像的情况下进行重建。PET仅允许回顾性MC，因为采集不能动态地调整补偿运动。然而，MC可以发生在PET重建的不同阶段，从原始列表模式数据的MC到重建图像帧的MC。这些MC方法通常基于在扫描期间知道准确的头部姿态(位置和取向)的假设。

运动信息可以使用不同的源来采集，直接来自所采集的成像数据或使用附加的运动跟踪系统两者。每种方法在准确性、实现复杂性和对附加硬件的需求方面具有其自身的权衡。估计来自成像设备本身的运动不需要额外的硬件，但是可能对数据的采集和重建施加额外的复杂性，并且可能同时具有有限的时间和空间分辨率。在MRI的背景下，运动数据通常通过冗余采样模式来采集，或内置在成像采集中，或作为“运动导航器”交错。相反，已经提出了多种方法来跟踪附着在对象上的标记物。对于MRI，标记物已经包括场探头、有源标记物、梯度传感器和光学靶。

通常，标记(基准标记物)被附接到对象，并且已经为这些标记中的每一个呈现了不同的附接策略以解决该挑战。还已经研究了将印记施加到患者的头部作为避免标记脱离风险的手段。然而，仅从印记或面部特性提取特征可能在计算上是昂贵的或不稳定的，并且已经被证明仅用于回顾性校正。

PET中的数据驱动运动检测显示出有希望的结果。然而，可能难以将运动引起的变化与随时间推移的示踪剂分布的功能变化区分开。这些方法类似于运动估计的有限时间分辨率。光学标记跟踪在PET中稍微简单一些，因为到对象的视线不像在MRI中那样被接收线圈遮挡，从而允许更灵活的标记物设计。最后，同时PET/MRI系统还可以使用MRI数据中固有的运动信息来估计两个系统的运动。

到目前为止，还没有外部运动跟踪装置被设计成与PET和MRI扫描器兼容。用于MRI的现有解决方案通常需要附接到接收线圈，并且不考虑PET探测器的位置。相反，用于PET扫描器的运动跟踪器未被设计成与作用在MRI环境中的强磁力兼容。

在一个示例中，运动跟踪器基于使用结构光表面扫描器(相机系统114)的计算机视觉技术，使用同步光调制器和相机连续扫描患者的面部或其他解剖区域。该方法不需要附接光学标记物，与基于标记物的解决方案相比，减少了临床准备时间。此外，不需要患者交互，并且因此它不会损害患者舒适度。此外，它消除了由于滑动的标记物引起的跟踪失败。该系统能够对真实患者进行运动跟踪，并且使用跟踪有效性参数(TVP)来确保跟踪是可靠的，并且不正确的跟踪不用于运动校正。与校正图像相比，使用不正确的跟踪进行运动校正可能使图像劣化，这对于临床使用(特别是对于前瞻性MC)是不可接受的，其中，不存在没有校正的图像。针对每个运动估计结果来计算TVP以实时接受或拒绝估计结果，从而确保跟踪鲁棒性。

其他示例可以使用内置在如上面解释的在强化学习的帮助下不断地从环境学习的算法中的替代标记物选择(替代虚拟基准标记物选择)。因此，这种方法可以消除由Sager文章引起的限制并减少对TVP的需要。

PET、SPECT和CT脑扫描期间的头部运动可能导致伪影并降低图像质量。虽然运动补偿可以显著减少这种劣化，但是运动补偿的脑成像协议不在常规临床使用中——可能是由于缺乏可以容易地集成到繁忙的临床工作流程中的实际头部跟踪方法。

光学跟踪提供高准确性运动信息，但大多数光学系统是基于标记物的，需要将标记物附接到患者的头部。附接的标记物可以相当容易地与下面的刚性头部运动分离，并且更刚性的固定是侵入性的。

在示例中，无标记物跟踪系统包括在相对侧成对布置并指向面部的四个CCD相机。在数据采集期间，以30Hz连续收集包括四个同步图像的帧。对于每个帧，跨图像检测和匹配区别特征以确定3D头部标志。当特征被匹配时，系统构建标志及其相关联的描述符的数据库。跟踪算法使用在整个扫描中稳定增长的该数据库来估计变化的头部姿态。

为了将无标记物的跟踪与经验证的基于标记物的系统进行比较，对象可以穿戴附接有大标记物的泳帽或头带。为了从诸如颈部、衣服和头发的区域去除背景特征，可以使用各种背景掩蔽方法：条带掩蔽，通过拒绝图像边缘周围的固定边缘而形成的初步掩蔽；以及使用16个面部标志确定的面部掩蔽。

使用条带掩蔽，50-70个面部标志可以用于姿态计算。特征匹配过程极其可靠，其中记录了非常少的错误匹配。并且尽管由于通常更低的对比度，系统在更暗的皮肤上发现更少的特征，但是它能够跟踪运动。

示例可以与先前的方法不同；通过潜在地使用具有运动传感器信息(例如，来自视觉传感器的RGBD)的组合侦察标志来规划MR检查。可以依赖于跟踪配准的特征，其中，使用相机的对人的现场AI患者的外部特征的知识，并且使用该方法暗示对人的规划解剖结构特征的影响。这将类似于解剖结构相对于图像的配准，但是将更快(实时)，这可以用作给定相机图像的解剖结构的先验估计，这将减少总扫描时间，并且还作为用于扫描(MR等)的运动校正机制向患者和技术人员两者提供反馈。这还可以通过利用由其他传感器(如放置在患者上的陀螺仪)提供的信息来增强无标记物方法的准确性。患者可能不容易理解各种解剖结构的位置。将MR扫描与患者的3D光学扫描叠加可以促进更好的患者参与。

图6图示了包括磁共振成像系统302的医学系统600的另一示例。磁共振成像系统具有梯度系统602、脉冲序列服务器604、数据采集服务器606、采集控制器608和患者定位系统610。存在将数据馈送到跟踪和规划控制系统616的视觉探头612和运动探头614。跟踪和规划控制系统616将数据馈送到采集控制器608以调整磁共振成像数据的采集。跟踪和规划控制系统616还用于控制梯度系统以便进行正确的3D成像。跟踪和规划控制系统616还以虚拟标记物反馈的形式将数据馈送到显示和反馈系统618。跟踪和规划控制系统616还将数据馈送到重建磁共振图像的重建系统620。显示和反馈系统618可以例如控制显示器330，或它还可以控制向对象110给出指令的音频系统620。重建系统620还向显示和反馈系统618提供图像，以及向数据服务器622提供数据，数据服务器622将数据馈送到解剖图集624。解剖图集624可以用于向跟踪和规划控制系统616提供参考形状模型。

图6图示了作为医学成像系统的MRI系统302。然而，这纯粹是说明性的。其他类型的医学成像系统可以代替磁共振成像系统302。整个医学系统600是独立的，并且可以与可以包括以下特征中的一个或多个的多模态和多供应商系统一起工作：

·跟踪和规划控制系统(多模态和多供应商系统)

·跟踪和规划控制系统616：

·624向处理器(计算系统)提供视觉和运动输入。

·强化学习系统用合适的初始解剖模型初始化，这将创建视觉、运动输入与初始解剖形状模型之间的映射

·在磁体坐标系中提供FOV的输出。

·输出被馈送到采集控制器608，采集控制器608进而前瞻性地调整患者位置系统610、梯度系统602并且回顾性地调整重建系统604

·重建系统620

·回顾性运动校正

·解剖结构形状模型624：

·使用数据服务器622中的患者数据，应当匹配合适的解剖模型，以用于初始化初始计划。

·显示和反馈系统618

图7在四列(第一列700、第二列702、第三列704和第四列706)中示出了若干不同图像。在第一列700中示出了具有虚拟基准标记物708的对象图像138。在第二列702中显示了初始医学图像340。它们还包含基准标记物708，并且在它们中的两个之间存在配准344。存在也标记在初始医学图像340上的所选择的视场710。列700中的图像中的基准标记物的位置可以用于将所选择的视场定位在第三列704中的图像上。在该列中，所选择的视场710被叠加在对象图像138上。在列706中，存在针对列704中的对应视场710采集的多个侦察图像712。

图8图示了使用图6中描绘的医学系统600的方法。该方法在框800中开始，并且然后进行到步骤802，其中，采集头部的3D光学图像。该方法然后使用框616，框616是跟踪和规划控制系统。跟踪和规划控制系统首先在步骤804中对所采集的光学图像运行规划和定位算法。接下来，在步骤806中，视场被发送到采集控制器，采集控制器调整梯度场并开始扫描。然后，该方法进行到步骤808，其中，发生使用光学和/或陀螺仪反馈的前瞻性运动校正。然后，该方法进行到判定框810。“扫描是否完成？”是框810的问题，如果答案为否，则该方法返回到步骤808并且重复该过程直到扫描完成。一旦扫描完成，该方法继续使用重建系统620，其中，执行回顾性运动校正812。在框812之后，该方法继续使用来自图6的框618，框618是显示和反馈系统。例如，可以向对象110提供音频命令或视觉命令。来自框806的视场也被发送到反馈系统618中的显示器。然后，该方法在步骤814中结束。

图9示出了更详细地图示对所采集的光学图像运行规划和定位算法的框804的流程图。该方法在步骤900中开始。然后，该方法进行到步骤902并且可选地同时进行到步骤904。在步骤902中，采集头部的3D光学图像区域。然后，该方法进行到框906。在可选步骤904中，采集三维侦察图像或侦察医学图像。在步骤906处，使用人工智能来识别所采集的图像上的重要关键点。这等同于使用图像标记神经网络132来识别该组虚拟基准标记物。接下来，该方法进行到步骤908，其中，使用预测的关键点或虚拟基准标记物作为信息来估计视场。该方法接着进行到步骤910，并且将视场参数发送到扫描器定位系统。然后，该解释在框912中结束。

图10是更详细地图示图8的框806的细节的流程图。该方法在框1000中开始并进行到框1002，在框1002中输入当前视场参数。然后将该数据提供给框1004和1006。在框1004中，初始化用于使用当前视场参数进行跟踪的光学系统。在框1006中，采集陀螺仪数据。框1004进行到框1008，并且是确定是否检测到运动的问题框。如果没有检测到运动，则该方法继续在框1004和1006中再次执行。如果使用陀螺仪检测到运动，则该方法进行到框1012。

框1006进行到框1010。这也是使用陀螺仪是否检测到运动的问题框。如果没有检测到运动，则该方法再次返回到步骤1004和1006。如果检测到运动，则该方法也进行到框1012，框1008也进行到框1012。在框1012中，使用陀螺仪数据以及光学数据来估计新的视场。在框1014中，更新当前视场并调整扫描器位置参数。在执行框1014之后，该方法然后返回到框1004和1006。

图11图示了回顾性运动校正，并且是对图8的框812的更深入的解释。首先，该方法在框1100中开始。这然后进行到框1102，框1102是MRI图像扫描。在框1104中，磁共振图像被转换为k空间表示。在框1106中，随机选择数字n，然后随机地将刚性变换应用于磁共振图像扫描和光学扫描n次，并且以图来描绘与从经变换的图像到原始k空间的变换的时刻相对应的k空间。然后，该方法进行到框1108，其中，利用该修改的k空间训练神经网络以重建磁共振图像扫描。在框1110中，该经训练的神经网络用于在运行中重建图像。然后，该方法在框1112中结束。因此，图11中的方法图示了训练用于回顾性运动校正的神经网络的一种方式。

图12示出了更详细地图示图6的框618的流程图。这是对显示和反馈系统的解释。图12所示的方法开始于框1200，并且然后遵循框1202和1204两者。在框1202中，提供来自重建系统620的扫描结果的输入和3D光学图像。接下来，框1202进行到框1206。在该步骤中，运行叠加算法以将扫描结果叠加在患者的光学图像上。然后，该框进行到步骤1208。叠加的图像与原始结果一起被发送到显示或打印设备。在框1208之后，该方法进行到框1210，在框1210中，该方法结束。并行步骤1204将提供来自跟踪和规划控制系统616的虚拟标记位置和运动检测结果的输入。在框1204完成之后，它进行到框1212，在框1212中，如果检测到显著运动，则将指令发送到患者或对象110的磁共振音频系统620。然后，该方法进行到框1214，在框1214中，虚拟标记叠加在光学扫描上，显示给放射科医师，并且可选地，对象可以被发送到患者的任何可用显示系统。

下面再次解释图8至12：

A.下面解释图8所示的无标记物跟踪、无侦察规划系统。

·在MR扫描开始之前。拍摄3D光学图像，该3D光学图像被馈送到规划子系统804。

·规划子系统将FOV参数输出到采集控制器，并且相应地调整梯度场608

·启动扫描，并且前瞻性运动校正子系统808向采集控制器发送反馈以在运动发生时调整FOV。

·该监测和反馈过程继续直到扫描完成

·使用812重建扫描输出

·扫描输出被发送到显示系统618，显示系统618叠加扫描和3D光学图像以使输出对患者友好B.下面解释如图9所示的规划系统804。

a.规划系统从相机系统和侦察扫描904接收所采集的3D光学图像902。

b.从光学图像和侦察扫描中识别重要关键点，并且将它们共同配准906。

c.使用关键点估计FOV，并且在光学图像上标记该区域，从而创建虚拟标记物908。

d.估计的FOV被发送到调整梯度场910的采集控制器系统。

C.如图10所示的前瞻性运动校正系统808。

1.从采集控制器1002获取当前FOV参数作为输入

2.这些参数用于初始化光学跟踪系统和陀螺仪跟踪系统(1004、1006)

3.当任一系统检测到运动时，光学和陀螺仪数据用于计算新的FOV参数，并且这正在更新调整梯度场的采集控制器。

4.然后根据新的FOV参数重新初始化跟踪系统。

5.该过程一直持续直到扫描完成

D.回顾性运动校正系统812

a.使用光学信号作为附加输入。

b.该算法在重建期间对扫描进行去噪，因此它通过移除重建后的去噪步骤来节省时间

i.重建算法由神经网络代替

ii.神经网络被训练为对由刚体变换引起的k空间失真是鲁棒的

iii.在训练过程期间通过模拟刚体变换将这种鲁棒性引入到神经网络中。模拟如下：

1.原始图像被转换为其k空间表示

2.将刚体变换应用于原始图像和对应的光学扫描。

3.经变换的图像被转换为其k空间表示。

4.新的光学扫描在特定#个切片之后代替了原始的光学扫描。这指示在特定时间t之后的患者移动。

5.在时间t之后采样的所有K个空间点用从经变换的图像获得的k空间。

6.步骤2-5重复随机次数#(2-10)。这些指示没有移动。每次动作都是连续的。

iv.神经网络的重建图像将具有类似于标准配准图像的取向。

E.下面解释如图12所示的显示和反馈系统618。

a.显示路径(扫描后)：

i.从MR系统采集扫描输出，并且从光学系统采集3D光学图像1202

ii.使用叠加算法来叠加扫描解剖结构和3D图像1206。

iii.将该叠加图像和扫描图像发送到监测器或打印设备以便进行实际查看/打印1208

b.患者反馈：可以使用MR设备和音频系统将虚拟标记叠加与将帮助患者在扫描期间保持适当取向的指令一起反馈给患者(1204、1212、1214)。可选地，将来可以使用MR兼容的患者商业设备，如google眼镜、apple air pods。

3.以下特征可以是算法的一部分：

·包括MR、CT、PET在内的各种模态的光学侦察配准扫描：

·从MR兼容的常规相机(3D)找到参考坐标系中的关键点，然后预测对应于图像(类似于MR图像)的解剖结构特征，并且在常规相机几何结构上进行规划。

·一个点是不同坐标系之间的变换。可以将相机坐标、患者坐标和MRI坐标系变换为将求解的单个坐标系。

·患者运动估计和校正(前瞻性和回顾性两者)

·光学侦察配准的规划。

·单独包括陀螺仪或包括与相机耦合的陀螺仪以用于准确的运动估计

·MRI使能的手术规划——(先前完成的MR扫描应该在来自相机的实时图像上查看/配准，使得手术更平滑且更好)

·不同区域(脑和其他身体部位两者)的实际图像上的智能计划——在建模中也覆盖服装方面(也可以使用IR相机)——耦合IR相机和3D相机。

·相机可以定位在不同的位置：固定到工作台，或附接到线圈

示例可以包含以下特征中的一个或多个：

1.使用相机和陀螺仪进行光学侦察配准的规划和运动校正扫描，将MR扫描与3D光学扫描叠加以便更好的患者理解。使用与侦察图像配准的光学扫描用于规划

2.基于光学图像创建用于跟踪的虚拟标记

a.使用与侦察图像配准的光学扫描用于规划。联合姿态估计算法实现了虚拟标记的创建。

b.然后使用光学系统跟踪所创建的虚拟标记物。这是通过使用图像处理技术将创建的虚拟标记物与光学扫描叠加来完成的。

c.通过来自运动探头的信息进一步增强了用于运动检测的光学系统，这进一步增强了准确性。

3.将基于光学图像的回顾性运动校正与重建组合的算法

a.为了避免过多的调整，通过回顾性运动校正系统来补充前瞻性运动校正。前瞻性运动校正系统处理大的偏差。在遇到大的偏差时，前瞻性运动校正系统改变梯度场的定位参数以与初始FOV重新对齐，也根据此来重新调整光学扫描。更小的变化由回顾性运动校正系统解决。

b.将基于光学图像的回顾性运动校正与重建组合的新算法有助于减少总时间，并且还形成了对无标记跟踪和运动校正算法的良好补充

4.叠加的显示和反馈系统帮助患者、操作者和放射科医师更好地掌握异常(如果存在的话)的位置和范围。帮助外行患者识别问题存在于何处的用户友好的显示/语音系统(例如，如google眼镜/apple air pods的MR兼容设备)

5.此外，使用基于AI的模型，可以训练数据以将脑与解剖位置映射，这可以帮助创建无缝调查，这可以减少总扫描时间并且可以改变MRI扫描采集的工作流程。

6.可以使用针对肿瘤或异常的基于3D相机的耦合的MRI扫描来对外科手术规划进行大量修改。就我们的知识而言，这项工作尚未在医学扫描中完成，特别是对于无侦察的调查规划。

F.示例可以包含以下特征和/或益处中的一个或多个。

·在运行中一起连续学习次要器官运动校正和主要患者物理移动，并将它应用于在扫描中执行校正(由616、812解决)

·不使用患者不可知学习的能力以准确地检测和跟踪所规划的下层解剖结构上的关键点(由624解决)

·附加标记物设备以及传感器的使用增加了整体运动校正成本(由804解决)

·在本发明中使用虚拟标记物消除了由于标记设备引起的患者不适(由804解决)

·通过将其使用限制为仅校正大的运动，在前瞻性运动校正中避免了不必要的校正。使用回顾性运动校正系统来校正更小的运动(由616和620解决)。

·将运动校正参数与重建组合可以改进总体重建时间(在620、812中解决)

·叠加的显示帮助患者在患者引导下更好地掌握异常(如果存在的话)的位置和范围(由618解决)

G.本发明的应用可以包括以下中的一个或多个：

下面详述本发明的应用，

·使用光学成像以及侦察图像来执行FOV规划，从而使整个过程更鲁棒并促进随后的运动跟踪。

·虚拟标记物可以用于扫描期间的后续光学跟踪。

·使用可穿戴陀螺仪来改进光学系统的运动估计的性能。

·基于光学扫描的改进的回顾性运动校正，其将与重建同时发生，从而减少时间。这可以提供使用相机坐标的前瞻性运动校正。

·叠加的显示器帮助患者、操作者和放射科医师更好地掌握异常(如果存在的话)的位置和范围。

图13图示了医学系统1300的另一示例。图13的医学系统1300类似于图1的医学系统100，具有若干配置改变。医学系统1300适合于远程医学。医学成像系统102由本地控制器1302控制。本地控制器被示出为经由云计算系统1304(或网络连接)连接到计算机104。

计算机104被示出为还包括用户接口1306。显示初始医学图像340，并且操作者可以选择视场108的位置。使用虚拟基准标记物与初始医学图像304之间的配准或虚拟基准标记物与视场108之间的配准，可以自动执行医学成像数据136的采集。计算机104的存储器126被示出为包含与图1中的计算机104相同的内容。然而，计算机104的功能可以转移到本地控制器1302。

为了辅助医学成像系统102的远程控制。显示器330被提供在对象110的视野内。可以由对象使用以定位她或他自己并在检查期间限制运动时执行自我控制。为了帮助操作者，还在远程位置处提供显示器。然后，操作者可以具有关于对象的当前位置以及对象在检查期间是否正在移动的了解。

尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示例性的而非限制性的；本发明不限于公开的实施例。

本领域技术人员通过研究附图、说明书和权利要求书，在实践要求保护的本发明时能够理解和实现所公开实施例的其他变型。在权利要求书中，“包括”一词不排除其他元件或步骤，词语“一”或“一个”不排除多个。单个处理器或其他单元可以满足权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但这并不指示不能有利地使用这些措施的组合。计算机程序可以存储和/或分布在适当的介质上，所述介质例如是与其他硬件一起供应或作为其他硬件一部分供应的光学存储介质或固态介质，但计算机程序也可以以其他形式分布，例如经由因特网或其他有线或无线的远程通信系统。权利要求书中的任何附图标记都不得被解释为对范围的限制。

Claims (15)

1.一种医学系统(100、300、500、600)，包括：

医学成像系统(102、302)，其被配置为从成像区采集描述对象(110)的医学成像数据(136)，其中，所述医学成像系统具有图像系统坐标系；

相机系统(114)，其被配置为在所述医学成像数据的采集期间采集所述对象的对象图像(138)，其中，所述相机系统具有相机坐标系；

存储器(126)，其存储机器可执行指令(130)、医学成像系统命令(134)、坐标系映射和图像标记神经网络(132)；其中，所述坐标系映射是所述系统坐标系与所述相机坐标系之间的映射；其中，所述图像标记神经网络被配置为接收描述所述对象的预定解剖区域的输入图像，其中，所述图像标记神经网络还被配置为响应于接收到所述输入图像而输出所述输入图像中的一组虚拟基准标记物(708)的相机系统坐标(142)，其中，所述医学成像系统命令被配置为控制所述医学成像系统采集所述医学成像数据；

计算系统(120)，其被配置用于控制所述医学系统，其中，所述机器可执行指令的运行使所述计算系统：

通过利用所述医学成像系统命令控制所述医学成像系统来采集(200)所述医学成像数据；

在所述医学成像数据的采集期间重复地(202)控制所述相机系统采集所述对象图像；

通过将所述对象图像输入到所述图像标记神经网络中来重复地(204)接收所述虚拟基准标记物的所述相机系统坐标；并且

通过使用所述坐标系映射将所述虚拟基准标记物的所述相机系统坐标重复地转换为所提供的所述虚拟基准标记物的成像系统坐标来重复地(206)提供所述一组虚拟基准标记物的成像系统坐标。

2.根据权利要求1所述的医学系统，其中，所述机器可执行指令的运行还使所述计算系统：

在开始采集所述医学成像数据之前接收初始医学图像(712)；

接收在所述初始医学图像中识别的所选择的视场(340、710)；

计算所述虚拟基准标记物的所述成像系统坐标与所述初始医学图像之间的配准(344)；并且

将所述脉冲序列命令配置为使用所述配准来从所选择的视场采集所述医学成像数据。

3.根据权利要求2所述的医学系统，其中，所述初始医学图像是以下中的任何一项：解剖图集图像、所述对象的侦察扫描(710)、以及所述对象的先前医学图像。

4.根据权利要求2或3所述的医学系统，其中，所述机器可执行指令的运行还使所述计算系统响应于所述虚拟基准标记物的所述成像系统坐标的变化而重复地调整所述医学成像系统命令以使用所述配准来从所选择的视场采集所述医学成像数据。

5.根据权利要求4所述的医学系统，其中，进行以下中的任何一项：

调整所述医学成像系统命令，使得所选择的视场与所述虚拟基准标记物的最新成像系统坐标匹配；

调整所述脉冲序列命令，使得所选择的视场与使用所述虚拟基准标记物的成像系统坐标的速度确定的所述虚拟基准标记物的所述成像系统坐标的预测坐标匹配；以及

其组合。

6.根据权利要求4所述的医学系统，其中，所述医学系统还包括对象安装的陀螺仪(322)，所述陀螺仪被配置用于提供描述对象运动的陀螺仪数据，其中，所述机器可执行指令的运行还使所述计算系统：

从所述对象安装的陀螺仪重复地接收所述陀螺仪数据；

根据所述陀螺仪数据重复地确定对象加速度；

使用所述对象加速度重复地计算预测的虚拟基准标记速度；并且

使用所述虚拟基准标记物的最近成像系统坐标和所预测的虚拟基准标记速度来重复地计算所述预测的虚拟基准标记位置。

7.根据前述权利要求中的任一项所述的医学系统，其中，所述医学系统还包括显示器(330)，其中，所述机器可执行指令的运行还使所述计算系统：

在开始采集所述医学成像数据时接收所述一组虚拟基准标记物的所述相机系统坐标；

在所述采集开始时使用所述一组虚拟基准标记物的所述相机系统坐标来计算初始对象位置指示物(400)的位置；

在所述显示器上持久地绘制所述初始对象位置指示物；

使用所述一组虚拟基准标记物的所述相机系统坐标重复地计算当前位置指示物(402)的位置；并且

在所述显示器上重复地绘制所述当前对象位置指示物。

8.根据权利要求7所述的医学系统，其中，以下中的任何一项：

所述初始对象位置指示物是叠加在所述对象图像上的使用所述采集开始时的所述输出相机系统坐标定位的所述一组虚拟基准标记物的绘制，其中，所述当前对象位置指示物是叠加在所述对象图像上的使用所述相机系统坐标定位的所述一组虚拟基准标记物的绘制；并且

所述初始对象位置指示物是在所述采集开始时使用所述相机系统坐标中的所述一组虚拟基准标记物的组合定位的第一物体，其中，所述当前对象位置指示物是使用所述相机系统坐标中的所述一组虚拟基准标记物的组合定位的第二物体。

9.根据前述权利要求中任一项所述的医学系统，其中，所述医学成像数据是分部分采集的，其中，所述机器可执行指令的运行还使所述计算系统在采集所述医学成像数据的所述部分中的每个部分时使用所述虚拟基准标记物的所述相机系统坐标来校正所述医学成像数据的所述部分中的每个部分。

10.根据权利要求9所述的医学系统，其中，对所述医学成像数据的所述部分的校正是使用以下方法中的任何一种来校正的：通过执行刚体旋转和/或平移；以及使用医学图像数据校正神经网络，所述医学图像数据校正神经网络被配置为响应于接收到所述医学成像数据的所述部分中的一个部分和在采集所述医学成像数据的所述部分中的每个部分时的所述虚拟基准标记物的输出坐标而输出经校正的医学成像数据。

11.根据前述权利要求中的任一项所述的医学系统，其中，所述机器可执行指令的运行还使所述计算系统根据所述医学成像数据来重建(208)临床医学图像。

12.根据权利要求11所述的医学系统，其中，所述医学系统还包括放射治疗系统(502)，所述放射治疗系统被配置用于辐照处置区(504)，其中，所述处置区在所述成像区内，其中，所述机器可执行指令的运行还使所述计算系统：

接收放射治疗控制命令(506)，所述放射治疗控制命令被配置为控制所述放射治疗系统来辐照所述处置区；

将所述虚拟基准标记物的所述成像系统坐标配准到所述临床医学图像；

接收所述临床医学图像中的所述处置区的位置；并且

使用所述临床医学图像中的所述处置区的所述位置和所述虚拟基准标记物的所述成像系统坐标到所述临床医学图像的配准来修改所述放射治疗控制命令。

13.根据前述权利要求中的任一项所述的医学系统，其中，所述医学成像数据是以下中的任何一项：磁共振成像系统(302)、计算机断层摄影系统、正电子发射断层摄影系统、单光子发射断层摄影系统、组合式磁共振成像系统和正电子发射断层摄影系统、以及组合式计算机断层摄影系统和正电子发射断层摄影系统。

14.一种操作医学系统(100、300、500、600)的方法，其中，所述医学成像系统被配置为从成像区(106)采集描述对象(110)的医学成像数据(136)，其中，所述医学成像系统具有图像系统坐标系，其中，所述医学系统还包括相机系统(114)，所述相机系统被配置为在所述医学成像数据的采集期间采集所述对象的对象图像(138)，其中，所述相机系统具有相机坐标系，其中，所述方法包括：

通过利用医学成像系统命令控制所述医学成像系统来采集(200)所述医学成像数据；

在所述医学成像数据的采集期间重复地(202)控制所述相机系统采集所述对象图像；

通过将所述对象图像输入到所述图像标记神经网络(132)中来重复地(204)接收所述虚拟基准标记物(708)的相机系统坐标(142)，其中，所述图像标记神经网络被配置为接收描述所述对象的预定解剖区域的输入图像，其中，所述图像标记神经网络还被配置为响应于接收到所述输入图像而输出所述输入图像中的一组虚拟基准标记物的相机系统坐标；并且

通过使用坐标系映射(140)将所述一组虚拟基准标记物的所述相机系统坐标重复地转换为所提供的所述虚拟基准标记物的成像系统坐标来重复地(206)提供所述虚拟基准标记物的成像系统坐标(144)，其中，所述坐标系映射是所述成像系统坐标系与所述相机坐标系之间的映射。

15.一种包括用于由控制医学系统(100、300、500、600)的计算系统运行的机器可执行指令(130)的计算机程序，其中，所述医学系统包括医学成像系统(102、302)，所述医学成像系统被配置为从成像区(106)采集描述对象(110)的医学成像数据(136)，其中，所述医学成像系统具有图像系统坐标系，其中，所述医学系统还包括相机系统(114)，所述相机系统被配置为在所述医学成像数据的采集期间采集对象的对象图像(138)，其中，所述相机系统具有相机坐标系，其中，所述机器可执行指令的运行使所述计算系统：

通过利用医学成像系统命令控制所述医学成像系统来采集(200)所述医学成像数据；

在所述医学成像数据的采集期间重复地(202)控制所述相机系统采集所述对象图像；

通过将所述对象图像输入到所述图像标记神经网络(132)中来重复地(204)接收所述虚拟基准标记物(708)的相机系统坐标(142)，其中，所述图像标记神经网络被配置为接收描述对象的预定解剖区域的输入图像，其中，所述图像标记神经网络还被配置为响应于接收到所述输入图像而输出所述输入图像中的一组虚拟基准标记物的相机系统坐标；并且

通过使用坐标系映射(140)将所述一组虚拟基准标记物的所述相机系统坐标重复地转换为所提供的所述虚拟基准标记物的成像系统坐标来重复地(206)提供所述虚拟基准标记物的成像系统坐标(144)，其中，所述坐标系映射是所述成像系统坐标系与所述相机坐标系之间的映射。