[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN118215851A - 用于加速非笛卡尔磁共振成像重建的双域自监督学习 - Google Patents

用于加速非笛卡尔磁共振成像重建的双域自监督学习 Download PDF

Info

Publication number
CN118215851A
CN118215851A CN202280074251.7A CN202280074251A CN118215851A CN 118215851 A CN118215851 A CN 118215851A CN 202280074251 A CN202280074251 A CN 202280074251A CN 118215851 A CN118215851 A CN 118215851A
Authority
CN
China
Prior art keywords
data
machine learning
learning model
training
spatial frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280074251.7A
Other languages
English (en)
Inventor
J·施伦珀
米哈尔·索夫卡
周波
N·戴伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hepperfina Co ltd
Original Assignee
Hepperfina Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hepperfina Co ltd filed Critical Hepperfina Co ltd
Priority to CN202410781359.0A priority Critical patent/CN118690823A/zh
Publication of CN118215851A publication Critical patent/CN118215851A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4818—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space
    • G01R33/4824—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space using a non-Cartesian trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

提供了用于加速非笛卡尔磁共振成像重建的双域自监督学习的系统和方法。本技术提供了一种用于训练机器学习模型的方法，该机器学习模型用于接收磁共振(MR)数据并生成MR数据的重建。可以基于损失集来训练机器学习模型，该损失集包括与频域相对应的第一损失值和与基于图像的域相对应的第二损失值。训练处理可以是可利用欠采样且非笛卡尔的MR数据的自监督训练处理。通过优化频域中的数据一致性和基于图像的域中的外观一致性这两者来训练机器学习模型。

Description

用于加速非笛卡尔磁共振成像重建的双域自监督学习
相关申请的交叉引用
本申请要求于2021年9月7日提交的美国临时专利申请63/241,238的权益和优先权。
背景技术
可以利用磁共振成像(MRI)系统来生成人体内部的图像。MRI系统可用于响应于所施加的电磁场来检测磁共振(MR)信号。可以处理MRI系统所产生的MR信号以产生图像，这可以使得能够观察内部解剖结构以用于诊断或研究目的。然而，在基于图像的域中准确地重建MRI系统所捕获的MR信号以使得解剖结构足以观察得到是具有挑战性的。
发明内容
本公开的至少一个方面涉及一种用于训练用于MR图像重建的机器学习模型的方法。该方法例如可以由耦接到非暂态存储器的一个或多于一个处理器进行。该方法可以包括训练机器学习模型，该机器学习模型用于接收MR数据并生成该MR数据的重建。该机器学习模型可以基于损失集来训练，该损失集包括与频域相对应的第一损失值以及与基于图像的域相对应的第二损失值。
在一些实现中，损失集可以包括在训练数据的频域中进行操作的分区数据一致性(PDC)损失以及在训练数据的基于图像的域中进行操作的外观一致性(AC)损失。在一些实现中，可以基于图像密度和图像梯度来计算AC损失。在一些实现中，可以基于训练MR数据的至少两个子集来训练机器学习模型。各个子集可以通过将采样函数应用于训练数据的位置集来生成。在一些实现中，两个子集可以是不相交的集合。
在一些实现中，还可以通过将两个子集馈送到变分网络中以获得两个预测子集来训练机器学习模型。在一些实现中，损失集中的至少一个损失可以基于两个子集和两个预测子集。在一些实现中，MR数据可以是使用MR系统所捕获的MR空间频率数据。在一些实现中，MR空间频率数据可以是非笛卡尔的。在一些实现中，MR数据的重建包括MR数据在基于图像的域中的表示。
在一些实现中，机器学习模型可以是生成式对抗性网络(GAN)模型。在一些实现中，可以基于(1)使用输入MR数据的第一子集所生成的机器学习模型的第一输出和(2)使用输入MR数据所生成的机器学习模型的第二输出来计算第一损失值。在一些实现中，还可以基于使用输入MR数据的第二子集所生成的机器学习模型的第三输出来计算第一损失值。在一些实现中，可以基于第一输出的变换的子集和输入MR数据的相应第二子集来计算第二损失值。
在一些实现中，还可以基于(1)使用输入MR数据的相应第二子集所生成的机器学习模型的第三输出的第二变换、以及(2)输入MR数据的第一子集来计算第二损失值。在一些实现中，可以基于第一输出的变换以及输入MR数据来计算第二损失值。在一些实现中，机器学习模型包括多个卷积层和多个数据一致性层。在一些实现中，多个卷积层和多个数据一致性层可以被布置在多个块中，使得多个块中的各个块包括至少一个卷积层和至少一个数据一致性层。
在一些实现中，机器学习模型是双域自监督模型。在一些实现中，机器学习模型在k空间域和基于图像的域这两者中是自监督的。在一些实现中，机器学习模型是用于非笛卡尔MRI数据的重建的自监督模型。在一些实现中，该方法可以包括接收患者MR数据并将患者MR数据馈送到机器学习模型，以基于患者MR数据获得重建图像。在一些实现中，使用低场MRI扫描器来捕获MR患者数据。
本公开的至少一个其他方面涉及一种用于训练机器学习模型以从MR数据重建图像的方法。该方法例如可以由耦接到非暂态存储器的一个或多于一个处理器进行。该方法可以包括基于第一损失值和第二损失值来训练用于从MR空间频率数据生成MR图像的机器学习模型。训练机器学习模型可以包括由一个或多于一个处理器基于使用输入MR空间频率数据的第一分区所生成的机器学习模型的第一输出和使用输入MR空间频率数据所生成的机器学习模型的第二输出来计算第一损失值。训练机器学习模型可以包括基于(1)输入MR空间频率数据和机器学习模型的第一输出的变换或者(2)第一输出的变换的分区和输入MR空间频率数据的第二分区来计算第二损失值。
在一些实现中，该方法可以包括通过选择输入MR空间频率数据的第一子集来生成输入MR空间频率数据的第一分区。在一些实现中，该方法可以包括通过选择输入MR空间频率数据的第二子集来生成输入MR空间频率数据的第二分区。在一些实现中，使用采样函数来生成第一分区和第二分区。在一些实现中，使用输入MR空间频率数据的第二分区的采样函数来生成第一输出的变换的分区。
在一些实现中，输入MR空间频率数据的第一分区和输入MR空间频率数据的第二分区是不相交的集合。在一些实现中，还基于使用输入MR空间频率数据的第二分区所生成的机器学习模型的第三输出来计算第一损失值。在一些实现中，还基于使用输入MR空间频率数据的第二分区所生成的机器学习模型的第三输出的变换来计算第二损失值。在一些实现中，机器学习模型可以包括基于GAN的模型。
在一些实现中，机器学习模型可以包括多个数据一致性层和多个卷积层。在一些实现中，多个卷积层和多个数据一致性层被布置在多个块中，使得多个块中的各个块包括至少一个卷积层和至少一个数据一致性层。在一些实现中，输入MR空间频率数据包括欠采样数据。在一些实现中，输入MR空间频率数据包括非笛卡尔采样数据。
在一些实现中，机器学习模型是双域自监督模型。在一些实现中，机器学习模型在k空间域和基于图像的域这两者中是自监督的。在一些实现中，机器学习模型是用于非笛卡尔MRI数据的重建的自监督模型。在一些实现中，该方法可以包括接收患者MR数据并将患者MR数据馈送到机器学习模型，以基于患者MR数据获得重建图像。在一些实现中，使用低场MRI扫描器来捕获MR患者数据。
本公开的至少一个其他方面涉及一种用于MR图像重建的系统。系统可以包括被配置为生成MR空间频率数据的MR成像系统。系统可以包括一个或多于一个处理器，该一个或多于一个处理器可以通过处理器可执行指令来配置。系统可以使MR成像系统基于非笛卡尔采样模式来生成MR空间频率数据。系统可以执行机器学习模型以基于MR空间频率数据来生成MR图像。机器学习模型可以基于与频域相对应的第一损失值和与基于图像的域相对应的第二损失值来训练。
在一些实现中，机器学习模型是基于GAN的模型。在一些实现中，基于(1)使用MR训练数据的第一子集所生成的机器学习模型的第一输出和(2)使用MR训练数据所生成的机器学习模型的第二输出来计算第一损失值。在一些实现中，还基于使用MR训练数据的第二子集所生成的机器学习模型的第三输出来计算第一损失值。
在一些实现中，基于第一输出的变换的子集和MR训练数据的相应第二子集来计算第二损失值。在一些实现中，还基于(1)使用MR训练数据的相应第二子集所生成的机器学习模型的第三输出的第二变换以及(2)MR训练数据的第一子集来计算第二损失值。在一些实现中，基于第一输出的变换和MR训练数据来计算第二损失值。
在一些实现中，机器学习模型可以包括多个卷积层和多个数据一致性层。在一些实现中，多个卷积层和多个数据一致性层被布置在多个块中，使得多个块中的各个块包括至少一个卷积层和至少一个数据一致性层。在一些实现中，MR成像系统包括便携式低场MR成像装置。
下面详细讨论了这些和其他方面和实现。前述信息和以下详细描述包括各种方面和实现的例示示例，并且提供了用于理解所要求保护的方面和实现的性质和特性的概述或框架。附图提供了对各种方面和实现的例示和进一步理解，并且被并入本说明书中并构成本说明书的一部分。可以组合各方面，并且将容易理解，在本公开的一个方面的上下文中所描述的特征可以与其他方面组合。各方面可以以任何方便的形式实现。例如，通过可以承载在适当的载体介质(计算机可读介质)上的、可以是有形载体介质(例如盘)或无形载体介质(例如通信信号)的适当计算机程序。各方面还可以使用可采取运行被布置为实现该方面的计算机程序的可编程计算机的形式的合适设备来实现。如在说明书和权利要求书中所使用的，除非上下文另有明确指示，否则单数形式的“a”、“an”和“the”包括复数指示物。
附图说明
附图不旨在按比例绘制。各种附图中相同的附图标记和名称指示相同的元素。为了清楚起见，并非每个组件都可以在每个附图中标记。在附图中：
图1A示出根据一个或多于一个实现的磁共振成像系统的示例组件；
图1B示出根据一个或多于一个实现的用于使用双域自监督学习技术来训练和利用用于MR图像重建的机器学习模型的示例系统；
图2A描绘了根据一个或多于一个实现的用于从输入MR空间频率数据生成MR图像的机器学习模型的示例架构的图；
图2B描绘了根据一个或多于一个实现的数据一致性块的示例架构的图，该数据一致性块可以是图2A所示的示例架构的一部分；
图2C描绘了根据一个或多于一个实现的卷积神经网络块的示例架构的图，该卷积神经网络块可以是图2A所示的示例架构的一部分；
图3描绘了根据一个或多于一个实现的可被利用以训练用于生成重建MR图像的机器学习模型的双域自监督学习处理的示例数据流图；
图4示出根据一个或多于一个实现的使用双域自监督学习技术来训练用于生成重建MR图像的机器学习模型的示例方法的流程图；
图5描绘了根据一个或多于一个实现的使用监督、单域自监督(KDSS)和双域自监督(DDSS)方式的示例非笛卡尔MRI重建的可视化；
图6描绘了根据一个或多于一个实现的根据从低场(64mT)MRI系统获取的数据的FSE-T2w和FLAIR重建的定性评估的可视化；
图7A和图7B描绘了根据一个或多于一个实现的迭代次数在用于双域自监督(DDSS)重建的非笛卡尔重建网络中的影响；
图8描绘了根据一个或多于一个实现的使用完全监督模型和在模拟数据上训练的DDSS模型的FSE-T2w和FLAIR的MR图像重建的可视化；
图9描绘了根据一个或多于一个实现的本DDSS技术与替代主干(backbone)重建网络方式的定性比较的可视化；
图10描绘了根据一个或多于一个实现的可被利用以训练用于生成重建MR图像的机器学习模型的替代双域自监督学习处理的示例数据流图；
图11示出根据一个或多于一个实现的使用替代双域自监督学习技术来训练用于生成重建MR图像的机器学习模型的示例方法的流程图；
图12示出根据一个或多于一个实现的使用传统方法与本文所述的利用模拟数据集的双域自监督技术的MR图像重建的示例视觉比较；
图13示出根据一个或多于一个实现的使用传统方法与本文所述的利用模拟数据集的双域自监督技术的MR图像重建的另一示例视觉比较；
图14示出根据一个或多于一个实现的来自真实临床数据的FSE-T2重建和FLAIR重建的可视化；
图15示出根据一个或多于一个实现的来自真实临床数据的FSE-T2重建和FLAIR重建的附加可视化；
图16示出根据一个或多于一个实现的用于指示对使用本文所述的技术和替代方式所生成的重建进行的读者研究的结果的图表；以及
图17是根据一个或多于一个示例实现的适合于在本文所述的各种布置中使用的示例计算系统的框图。
具体实施方式
磁共振成像(MRI)系统生成用于健康评估的图像。在MRI系统向患者施加磁场并捕获特定数据期间，通过“扫描”该患者来生成MRI图像。MRI扫描产生原始扫描数据，该原始扫描数据可以被变换或以其他方式处理成图像，该图像然后可以被分析或检查以更好地评估患者的健康。通常花费较长时间的MRI扫描可以捕获可用于产生图像的较多原始数据，而要求患者在MRI系统中持续显著较少时间的较快MRI扫描可以从较少的原始扫描数据产生图像。为了使得能够进行具有高图像质量的较快扫描，MRI数据被不同地处理。
机器学习可以用于在不必专门对计算机进行编程以进行诸如将原始扫描数据变换成图像等的任务的情况下教导计算机进行这些任务。这在例如要根据可能从一个患者到下一个患者极大地变化的快速原始扫描数据构建图像时尤其有用。这提供了已经学习进行特定任务的机器学习模型，但是该模型在不同情形下的有效性可能根据如何训练模型而极大地变化。通常，机器学习方式通过向模型示出当模型接收到某个输入时该模型应提供什么特定输出(结果)来训练模型。也就是说，为了训练机器学习模型以从原始MRI扫描数据生成图像，向模型“示出”从特定原始MRI扫描数据期望的输出，因此模型可以学习应从这样的原始MRI扫描数据产生什么图像。
然而，这要求这样的“期望”图像可用于训练机器学习模型。假想地，这样的数据可以例如通过使大量患者(例如，数百个患者)各自同时经历快速扫描和慢速扫描这两者而可获得，并且来自快速扫描的原始数据可以与从慢速扫描得到的图像配对，因此模型可以学习如果使用慢速扫描捕获来自快速扫描的图像则这些图像将看起来如何。这是非常昂贵且不切实际的，并且本公开提供了不需要这样的广泛训练数据的有效且高效的替代方案。本文所述的方式可以提供(在不需要来自较慢扫描的扫描数据的情况下)使用来自较快MRI机器的扫描数据来训练的机器学习模型。这可以通过使得机器学习模型能够结合从原始数据生成的图像从原始数据本身学习来实现。如下面更详细地讨论的，机器学习模型可以在不需要更广泛的扫描数据的情况下通过从以原始形式和基于图像的形式这两者的扫描数据的子集(“分区”)学习来有效地学习以“填充间隙(fill in the gaps)”。
下面是与用于加速非笛卡尔磁共振成像重建的双域自监督学习的技术、方式、方法、设备和系统相关的各种概念和实现的详细描述。上面介绍和下面详细讨论的各种概念可以以多个方式中的任意方式来实现，这是因为所描述的概念不限于任何特定的实现方式。主要出于例示性目的而提供了特定实现及应用的示例。
MRI是用于疾病诊断的常见医学成像模态。然而，MRI由于其由物理和生理约束引起的缓慢获取，因而固有地具有挑战性。例如，传统MRI技术需要耗时的扫描(例如，根据协议的范围为15分钟到多于一小时的扫描时间)来获得患者的解剖结构的高分辨率图像。延长的MR成像会话(MR imaging session)是不切实际的，这是因为它们导致了患者不适增加以及图像中运动伪影和系统瑕疵的累积增加。加速MRI系统的使用是解决这些问题的一个方式。然而，加速MRI系统具有一些局限性。
使用加速MRI系统所捕获的数据点包括空间频域中的数据点(在本文中有时被称为“k空间”数据)。在笛卡尔MRI系统中，可以对k空间网格进行均匀采样，并且可以直接应用傅立叶逆变换来重建图像(假设满足了奈奎斯特采样率)。然而，加速或快速MRI系统可以利用诸如螺旋、径向、可变密度和优化采样模式等的非均匀或非笛卡尔采样模式。这些非笛卡尔采样模式提供了许多优点，包括更高效地覆盖k空间以及增强对患者运动的鲁棒性。然而，与传统MRI系统相比时，这样的快速扫描通常会导致可以重建MRI图像的数据点较少。如本文所使用的，“非均匀”指示所采样的k空间点是非等距的。如本文所使用的，“非笛卡尔”指示所采样的k空间点偏离笛卡尔网格，并且可以是均匀的或非均匀的。
在获得比空间奈奎斯特准则所要求的数据点少的数据点(在本文中被称为“欠采样”k空间数据)时，通过傅立叶逆变换从所收集的数据点生成的MR图像可能包括伪影或不一致。这些伪影可能降低图像质量可解释性，从而使得这样的方式在没有附加重建处理的情况下不是所期望的。机器学习技术(包括深度学习)可以用于从欠采样k空间数据重建MR图像。传统的深度学习方式利用诸如神经网络等的机器学习模型，该机器学习模型在监督学习处理中是使用均匀且全采样的数据(例如，满足空间奈奎斯特准则的数据)作为训练数据来训练的。然而，全采样MRI的获取是过度耗时的，并且特别期望非笛卡尔采样模式，因为它们更易于加速并且示出改进的运动鲁棒性。另外，非笛卡尔采样可以更好地适合于压缩感知(compressed sensing，CS)和深度学习(DL)重建技术，因为来自非笛卡尔采样的混叠伪影可以示出比均匀采样更高的类噪声不相干。
两种MR图像重建技术包括基于CS的重建和基于DL的重建。基于CS的重建方法可以使用具有应用特定的正则化器(例如，总变差)的变换域(例如，小波等)中的稀疏系数来以迭代方式求解不适定反演问题。然而，迭代稀疏优化方式易于重建过度平滑的解剖结构，并且可能导致不期望的图像伪影，尤其是在加速因子高时(例如，在加速因子大于3时)。此外，基于迭代优化的重建是耗时的，需要跨不同扫描器和协议的仔细的参数调谐，并且可能需要对象特定的调谐。
传统的基于DL的重建方法证明了对基于CS的方法的改进，但是通常依赖于大规模MRI数据集。另外，传统的基于DL的重建方法限于均匀采样模式并且是有监督的，因而需要配对的全采样获取以用于监督学习。这些要求是不切实际的，这是因为现实世界的MRI用例可能没有时间或资源对k空间进行全采样以用于监督训练，或者可能由于其运动鲁棒性优点而优选非笛卡尔采样，等等。例如，对于数据获取时段受限的实时心脏MRI和功能性脑部MRI，全稠密的k空间采样也许是不可能的。
各种基于DL的MR重建方式包括：训练三层卷积网络以将加速的零填充重建映射到全采样重建，迭代优化过程以训练深度重建网络，利用具有数据一致性层的深度级联网络来近似迭代重建的封闭解，使用具有递归分量的这样的深度级联网络，将迭代优化步骤展开到变分网络中，对抗性学习技术，利用双倍频程(dual-octave)卷积网络来聚合空间频率上下文，利用深度模型恢复缺失的k空间测量结果，学习欠采样k空间测量结果到基于图像的域之间的映射，以及使用向重建网络中的多模态MRI输入。示例基于图像的域可以包括图像梯度、图像特征空间、小波域等。
然而，前述的基于DL的技术在要求均匀采样模式的情况下进行MRI重建。用于应对非笛卡尔采样模式的一些方式包括利用基于共轭梯度的数据一致性块来训练变分网络、以及使用基于梯度下降的变分网络。然而，这样的技术需要来自大规模配对的非笛卡尔MRI的监督训练，这要在现实世界扫描器中获得是不切实际的。
用于消除对监督训练和全采样数据的需要的一个方式包括用于训练重建模型的自监督学习技术。可以利用自监督重建方式来使用欠采样非笛卡尔数据训练模型。然而，传统的自监督学习技术限于均匀MRI采样模式，并且无法进行自监督学习以用于加速非笛卡尔MRI重建。这样的技术也完全依赖于k空间数据，因而不在基于图像的域中实现自监督学习。
本文所述的技术通过提供用于加速非笛卡尔MRI重建的完全自监督方式来应对这些和其他问题，该完全自监督方式在k空间和基于图像的域这两者中利用自监督。与仅在单个域中学习重建相比，在双域学习中组合图像域和k空间域可以进一步改进重建。在训练中，欠采样数据可以被分成不相交的k空间域分区。k空间自监督技术包括使用一个分区来预测另一分区，并且反之亦然。基于图像的域自监督技术包括强制执行分区重建与原始欠采样重建之间的一致性。本文所述的技术在示例非笛卡尔MRI数据集上的实验结果表明，DDSS可以在无需依赖于全采样数据集的情况下，生成接近完全监督重建的准确性的准确重建。本文所述的技术可以在表明与传统重建方式相比改进的感知质量的同时，在没有数据可用于监督训练的情况下扩展以适应在便携式低场(例如，小于约0.5T、小于约0.2T、在约100mT和约400mT之间、在约200mT和约300mT之间、在约1mT和100mT之间、在约50mT和约100mT之间、在约40和约80mT之间、为约64mT等的)MRI系统上获取的具有挑战性的临床MRI重建。本文所述的技术的优点包括如下的自监督学习方式，该自监督学习方式使得能够在无需访问全采样数据的情况下训练用于非笛卡尔MRI重建的深度网络，并且使得能够进行k空间域和基于图像的域这两者中的自监督重建。因此，本文所述的系统和方法提供了优于传统MRI图像重建方式的技术改进。
可以利用DDSS技术来训练可由MRI系统(包括便携式MRI系统)执行的机器学习重建模型。图1A示出可以与使用本文所述的DDSS技术训练的重建模型一起使用的示例MRI系统。在图1A中，MRI系统100可以包括计算装置104、控制器106、脉冲序列储存库108、电力管理系统110和磁性组件120。MRI系统100是例示性的，并且除了图1A所示的组件之外或代替图1A所示的组件，MRI系统还可以具有任何合适类型的一个或多于一个其他组件。附加地，用于特定MRI系统的组件的实现可以与本文所述不同。低场MRI系统的示例可以包括便携式MRI系统，该便携式MRI系统可以具有例如小于或等于0.5T、小于或等于0.2T、在1mT至100mT的范围内、在50mT至0.1T的范围内、在40mT至80mT的范围内、约64mT等的场强。
磁性组件120可以包括B0磁体122、垫片124、射频(RF)发送和接收线圈126以及梯度线圈128。B0磁体122可以用于生成主磁场B0。B0磁体122可以是可以生成期望的主磁场B0的任何合适类型或组合的磁性组件。在一些实施例中，B0磁体122可以是一个或多于一个永磁体、一个或多于一个电磁体、一个或多于一个超导磁体、或者包括一个或多于一个永磁体和一个或多于一个电磁体或一个或多于一个超导磁体的混合磁体。在一些实施例中，B0磁体122可以被配置为生成具有小于或等于0.2T或在50mT至0.1T的范围内的场强的B0磁场。
在一些实现中，B0磁体122可以包括第一B0磁体和第二B0磁体，其可以各自包括围绕公共中心布置成同心环的永磁体块。第一B0磁体和第二B0磁体可以以双平面配置来布置，使得成像区域位于第一B0磁体和第二B0磁体之间。在一些实施例中，第一B0磁体和第二B0磁体可以各自耦接到铁磁轭并由铁磁轭支撑，该铁磁轭被配置为捕获和引导来自第一B0磁体和第二B0磁体的磁通量。
梯度线圈128可以被布置为提供梯度场，并且例如可以被布置为在B0场中在三个基本上正交的方向(X、Y和Z)上生成梯度。梯度线圈128可以被配置为通过系统地改变B0场(由B0磁体122或垫片124生成的B0场)来对所发射的MR信号进行编码，以根据频率或相位来对所接收到的MR信号的空间位置进行编码。例如，梯度线圈128可以被配置为作为沿着特定方向的空间位置的线性函数来改变频率或相位，尽管也可以通过使用非线性梯度线圈来提供更复杂的空间编码分布。在一些实施例中，例如，梯度线圈128可以使用层压板(例如，印刷电路板)来实现。
通过分别使用发送和接收线圈(本文中被称为射频(RF)线圈)激励和检测所发射的MR信号来进行MRI扫描。发送和接收线圈可以包括用于发送和用于接收的单独线圈、用于发送或接收的多个线圈、或者用于发送和接收的相同线圈。因而，发送/接收组件可以包括用于发送的一个或多于一个线圈、用于接收的一个或多于一个线圈、或者用于发送和接收的一个或多于一个线圈。发送/接收线圈可以被称为Tx/Rx或Tx/Rx线圈，以通用地指代MRI系统的发送和接收磁性组件的各种配置。这些术语在本文中可互换使用。在图1A中，RF发送和接收线圈126可以包括可用于生成RF脉冲以感应出振荡磁场B1的一个或多于一个发送线圈。(一个或多于一个)发送线圈可被配置为生成任何类型的合适RF脉冲。
电力管理系统110包括用于向MRI系统100的一个或多于一个组件提供操作电力的电子器件。例如，电力管理系统110可以包括一个或多于一个电源、能量储存装置、梯度电力组件、发送线圈组件或者提供合适的操作电力以对MRI系统100的组件进行通电和操作所需的任何其他合适的电力电子器件。如图1A所示，电力管理系统110可以包括电源系统112、(一个或多于一个)电力组件114、发送/接收电路系统116，并且可以可选地包括热管理组件118(例如，用于超导磁体的低温冷却装备、用于电磁体的水冷却装备)。
电源系统112可以包括用于向MRI系统100的磁性组件120提供操作电力的电子器件。电源系统112的电子器件例如可以向一个或多于一个梯度线圈(例如，梯度线圈128)提供操作电力，以生成一个或多于一个梯度磁场，从而提供MR信号的空间编码。附加地，电源系统112的电子器件可以向一个或多于一个RF线圈(例如，RF发送和接收线圈126)提供操作电力，以生成或接收来自被检体的一个或多于一个RF信号。例如，电源系统112可以包括被配置为从市电向MRI系统或能量储存装置提供电力的电源。在一些实施例中，电源可以是用于将来自市电的AC电力转换为DC电力以供MRI系统使用的AC到DC电源。在一些实施例中，能量储存装置可以是电池、电容器、超级电容器、飞轮(flywheel)、或者可以双向接收(例如，储存)来自市电的电力并向MRI系统供给电力的任何其他合适的能量储存设备中的任何一个。附加地，电源系统112可以包括附加的电力电子器件，包括但不限于电力转换器、开关、总线、驱动器和用于向MRI系统供给电力的任何其他合适的电子器件。
(一个或多于一个)放大器114可以包括用于放大由一个或多于一个RF接收线圈(例如，线圈126)检测到的MR信号的一个或多于一个RF接收(Rx)前置放大器、被配置为向一个或多于一个RF发送线圈(例如，线圈126)提供电力的一个或多于一个RF发送(Tx)电力组件、被配置为向一个或多于一个梯度线圈(例如，梯度线圈128)提供电力的一个或多于一个梯度电力组件，并且可以向被配置为向一个或多于一个垫片(例如，垫片124)提供电力的一个或多于一个垫片电力组件提供电力。在一些实现中，垫片124可以使用永磁体、电磁体(例如，线圈)或其组合来实现。发送/接收电路系统116可以用来选择正在操作RF发送线圈还是RF接收线圈。
如图1A所示，MRI系统100可以包括控制器106(也被称为控制台)，该控制器106可以包括用于向电力管理系统110发送指令并从电力管理系统110接收信息的控制电子器件。控制器106可以被配置为实现一个或多于一个脉冲序列，使用该一个或多于一个脉冲序列确定被发送到电力管理系统110以按照期望序列(例如，用于操作RF发送和接收线圈126的参数、用于操作梯度线圈128的参数等)操作磁性组件120的指令。脉冲序列可以大体描述RF发送和接收线圈126及梯度线圈128操作以获取所得MR数据的顺序和定时。例如，脉冲序列可以指示发送脉冲、梯度脉冲的顺序和持续时间、以及接收线圈获取MR数据的获取时间。
脉冲序列可以被组织成一系列时段。例如，脉冲序列可以包括预编程数量的脉冲重复时段，并且应用脉冲序列可以包括在预编程数量的脉冲重复时段根据脉冲序列的参数操作MRI系统。在各个时段中，脉冲序列可以包括用于生成RF脉冲的参数(例如，用于标识发送持续时间、波形、振幅、相位等的参数)、用于生成梯度场的参数(例如，用于标识发送持续时间、波形、振幅、相位等的参数)、控制何时生成RF或梯度脉冲或何时将(一个或多于一个)接收线圈配置为检测被检体所生成的MR信号的定时参数、以及其他功能性。如本文所述的，在一些实施例中，脉冲序列可以包括用于指定一个或多于一个导航RF脉冲的参数。
脉冲序列的示例包括零回波时间(ZTE)脉冲序列、平衡稳态自由进动(bSSFP)脉冲序列、梯度回波脉冲序列、反转恢复脉冲序列、扩散加权成像(DWI)脉冲序列、自旋回波脉冲序列(其包括传统自旋回波(CSE)脉冲序列，快速自旋回波(FSE)脉冲序列，涡轮自旋回波(TSE)脉冲序列，或者诸如扩散加权自旋回波脉冲序列、反转恢复自旋回波脉冲序列、动脉自旋标记脉冲序列等的任何多自旋回波脉冲序列)和Overhauser成像脉冲序列等等。
如图1A所示，控制器106可以与可被编程为处理所接收到的MR数据的计算装置104进行通信。例如，计算装置104可以使用任何合适的图像重建处理(包括使用本文所述的DDSS技术训练的机器学习模型的执行)来处理所接收到的MR数据以生成一个或多于一个MR图像。附加地或可替代地，控制器106可以使用任何合适的图像重建处理(包括使用本文所述的DDSS技术所训练的机器学习模型的执行)来处理所接收到的MR数据以生成一个或多于一个MR图像。控制器106可以向计算装置104提供与一个或多于一个脉冲序列有关的信息以用于计算装置对数据的处理。例如，控制器106可以向计算装置104提供与一个或多于一个脉冲序列有关的信息，并且计算装置可以至少部分地基于所提供的信息来进行图像重建处理。
计算装置104可以是被配置为处理所获取的MR数据并生成正被成像的被检体的一个或多于一个图像的任何电子装置。计算装置104可以包括至少一个处理器和存储器(例如，处理电路)。存储器可以存储处理器可执行指令，该处理器可执行指令在由处理器执行时使处理器进行本文所述的操作中的一个或多于一个操作。处理器可以包括微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、张量处理单元(tensorprocessing unit，TPU)等或其组合。存储器可以包括但不限于电子、光学、磁性存储或传输装置或者能够向处理器提供程序指令的任何其他存储或传输装置。存储器还可以包括软盘、CD-ROM、DVD、磁盘、存储器芯片、ASIC、FPGA、只读存储器(ROM)、随机存取存储器(RAM)、电可擦除可编程ROM(EEPROM)、可擦除可编程ROM(EPROM)、闪速存储器、光学介质、或者处理器可从中读取指令的任何其他合适的存储器。指令可以包括从任何合适的计算机编程语言生成的代码。计算装置104可以包括结合图17描述的计算机系统1700的任何或所有组件，并且进行计算机系统1700的任何或所有功能。在一些实现中，计算装置104可以位于与MRI系统100相同的房间中，或者经由有线或无线连接耦接到MRI系统100。
在一些实现中，计算装置104可以是固定电子装置，诸如台式计算机、服务器、机架式计算机、或者可被配置为处理MR数据并生成正被成像的被检体的一个或多于一个图像的任何其他合适的固定电子装置等。可替代地，计算装置104可以是便携式装置，诸如智能电话、个人数字助理、膝上型计算机、平板计算机、或者可被配置为处理MR数据并生成正被成像的被检体的一个或多于一个图像的任何其他便携式装置等。在一些实现中，计算装置104可以包括任何合适类型的多个计算装置，这是因为本文提供的本公开的方面在这方面不受限制。在一些实现中，被描述为由计算装置104进行的操作可以替代地由控制器106进行，或者反之亦然。在一些实现中，某些操作可以由控制器106和计算装置104这两者经由所述装置之间的通信来进行。
MRI系统100可以包括一个或多于一个外部传感器176。该一个或多于一个外部传感器可以辅助检测降低图像质量的一个或多于一个误差源(例如，运动、噪声)。控制器106可以被配置为从一个或多于一个外部传感器176接收信息。在一些实施例中，MRI系统100的控制器106可以被配置为控制一个或多于一个外部传感器176的操作以及从一个或多于一个外部传感器176收集信息。从一个或多于一个外部传感器176收集的数据可以存储在合适的计算机存储器中，并且可以被利用以辅助MRI系统100的各种处理操作。
如本文以上所述的，本文所述的技术实现了用于加速非笛卡尔MRI重建的完全自监督方式，该方式利用k空间域和基于图像的域这两者中的自监督。与仅在单域中学习重建相比，在双域学习中组合图像域和k空间域进一步改进了重建准确性。这使得能够训练接近使用监督技术来训练的模型的准确性的机器学习模型，但不需要大的全采样数据集。本文所述的训练处理使用欠采样且非笛卡尔的MR数据产生准确的模型，这是对其他技术的改进。
图1B示出根据一个或多于一个实现的用于使用DDSS技术训练和利用用于MR图像重建的机器学习模型的示例系统150。例如，系统150可以用于进行结合图4描述的示例方法400的全部或部分或者结合图11描述的示例方法1100的全部或部分以及本文所述的任何其他操作。在一些实现中，系统150形成诸如结合图1A描述的MRI系统100等的MRI系统的一部分。在一些实现中，系统150在MRI系统外部，但是与MRI系统(或其组件)进行通信以进行如本文所述的示例方法400或方法1100。
如图1B所示，示例系统150可以包括控制器106、训练平台160和用户接口174。用户接口174可以呈现或使得能够检查使用本文所述的技术生成的任何重建MR图像。用户接口174可以例如通过接收与训练处理、MR扫描或MR图像重建相关的输入或配置数据，来提供与这样的技术的性能相关的输入。用户接口174可以使得用户能够选择MRI系统所要进行的成像类型(例如，扩散加权成像等)，选择用于MR扫描的采样密度，或者定义与如本文所述的MR成像或模型训练相关的任何其他类型的参数。在一些实现中，用户接口174可以经由与用户接口174进行通信的显示器来显示从MRI系统获取的MR数据所生成的重建图像。用户接口174可以使得用户能够发起MRI系统的成像。
控制器106可以控制示例系统150的各方面，例如以进行结合图4描述的示例方法400或结合图11描述的示例方法1100的至少一部分以及本文所述的任何其他操作。在一些实现中，控制器106可以控制诸如结合图1A描述的MRI系统100等的MRI系统的一个或多于一个操作。附加地或可替代地，图1A的计算装置104可以进行控制器106的功能性中的部分或全部。在这样的实现中，计算装置104可以与控制器106进行通信，以根据需要交换信息来实现期望的结果。
控制器106可以使用软件、硬件或其组合来实现。控制器106可以包括至少一个处理器和存储器(例如，处理电路)。存储器可以存储处理器可执行指令，该处理器可执行指令在由处理器执行时使处理器进行本文所述的操作中的一个或多于一个操作。处理器可以包括微处理器、ASIC、FPGA、GPU、TPU等或其组合。存储器可以包括但不限于电子、光学、磁性存储或传输装置或者能够向处理器提供程序指令的任何其他存储或传输装置。存储器还可以包括软盘、CD-ROM、DVD、磁盘、存储器芯片、ASIC、FPGA、ROM、RAM、EEPROM、EPROM、闪速存储器、光学介质、或者处理器可从中读取指令的任何其他合适的存储器。指令可以包括从任何合适的计算机编程语言生成的代码。控制器106可以包括结合图17描述的计算机系统1700的任何或所有组件，并且进行计算机系统1700的任何或所有功能。
控制器106可以被配置为进行本文所述的一个或多于一个功能。控制器106可以存储或捕获MR空间频率数据168。可以使用诸如结合图1A描述的MR系统100等的MR系统来获得MR空间频率数据168。在一些实现中，MR空间频率数据168可以从外部获得并且经由一个或多于一个通信接口提供给控制器106。可以相对于奈奎斯特采样准则来对MR空间频率数据168进行欠采样。例如，在一些实施例中，空间频域数据可以包括奈奎斯特准则所需的数据样本数量的小于90％(或小于80％、或小于75％、或小于70％、或小于65％、或小于60％、或小于55％、或小于50％、或小于40％、或小于35％、或25％至100％之间的任何百分比)的数据样本数量。类似地，MR空间频率数据168可以是非笛卡尔数据。如本文所述的，MR空间频率数据168可以在k空间域中表示。MR空间频率数据168可以由可利用合适的脉冲序列和采样技术的MR扫描器来生成。在一些实现中，可以使用笛卡尔采样方案来收集MR空间频率数据168。可替代地，可以使用诸如径向、螺旋、玫瑰花式、或Lissajou采样方案等的非笛卡尔采样方案来生成MR空间频率数据168。
控制器106可以包括机器学习模型170。机器学习模型170可以与本文所述的任何重建模型类似，或者可以包括本文所述的任何重建模型。如本文所述的，机器学习模型170可以是或可以包括变分重建网络。控制器106可以使用MR空间频率数据168作为输入来执行机器学习模型170，以生成重建图像172。可以由训练平台中的模型训练组件164例如通过实现图4的示例方法400或图11的示例方法1100来训练机器学习模型170。如本文进一步详细描述的，机器学习模型170可以从MR空间频率数据168生成重建图像172。可以呈现机器学习模型170所生成的重建图像172，例如以供用户在用户接口174处检查。重建图像172在生成时可以存储在控制器106的存储器中的一个或多于一个数据结构中。
训练平台160可以是或可以包括图1A的计算装置104。可替代地，训练平台160(或其任何组件)可以被实现为控制器106的一部分。训练平台160可以包括至少一个处理器和存储器(例如，处理电路)。存储器可以存储处理器可执行指令，该处理器可执行指令在由处理器执行时使处理器进行本文所述的操作中的一个或多于一个操作。处理器可以包括微处理器、ASIC、FPGA、GPU、TPU等或其组合。存储器可以包括但不限于电子、光学、磁性存储或传输装置或者能够向处理器提供程序指令的任何其他存储或传输装置。存储器还可以包括软盘、CD-ROM、DVD、磁盘、存储器芯片、ASIC、FPGA、ROM、RAM、EEPROM、EPROM、闪速存储器、光学介质、或者处理器可从中读取指令的任何其他合适的存储器。指令可以包括从任何合适的计算机编程语言生成的代码。训练平台160可以包括结合图17描述的计算机系统1700的任何或所有组件，并且进行计算机系统1700的任何或所有功能。在一些实现中，训练平台160可以是台式计算机、服务器、机架式计算机、分布式计算环境、或者可被配置为训练机器学习模型170以对本文所述的DDSS训练技术进行签名的任何其他计算系统。训练平台160可以包括任何数量的任何合适类型的计算装置。
训练平台160可以包括MR训练数据储存库162、模型训练组件164和模型测试组件166。模型训练组件164和模型测试组件166可以使用软件或硬件的任何合适的组合来实现。附加地或可替代地，模型训练组件164和模型测试组件166可以由可包括云计算系统的一个或多于一个服务器或分布式计算系统来实现。在一些实现中，模型训练组件164和模型测试组件166可以使用一个或多于一个虚拟服务器或计算系统来实现。模型训练组件164可以实现用于训练机器学习模型170的结合图4描述的示例方法400或结合图11描述的示例方法1100、以及与本文所述的重建模型的训练相关的任何其他操作。这些训练处理可以与结合图3描述的训练处理300或结合图10描述的训练处理1000类似，其中训练处理300和训练处理1000各自可以由模型训练组件164实现以训练机器学习模型170。
模型训练组件164可以利用MR训练数据储存库162中的训练数据来训练机器学习模型170。MR训练数据储存库162可以存储多批MR空间频率数据，该多批MR空间频率数据可以被利用以使用本文所述的DDSS技术来训练机器学习模型170。MR训练数据储存库162中的MR空间频率数据可以由MR扫描器先前生成(例如，包括多个历史MRI扫描)。MR训练数据储存库162中的MR空间频率数据可以在k空间域中表示，并且可能已使用诸如径向、螺旋、玫瑰花式、或Lissajou采样方案等的非笛卡尔采样方案生成。可以例如通过应用仿射变换以创建具有不同定向和大小的图像、通过添加噪声以创建具有不同SNR的图像、引入运动伪影、针对更复杂的序列(如回声列(echo train))并入相位或信号调制、或者对数据的失相(dephasing)进行建模以使模型适应于类序列的扩散加权成像，来增强MR训练数据储存库162中的空间频率数据。
MR训练数据储存库162中的MR空间频率数据可以包括非笛卡尔且欠采样的k空间数据。模型训练组件164可以进行与本文所述DDSS技术相关的功能性中的任一者以训练机器学习模型170。如本文所述的，一旦机器学习模型170已被训练(例如，训练处理已终止)，则训练平台160可以将经训练的机器学习模型170提供给控制器106，使得控制器可以使用机器学习模型170来生成重建图像172。
训练平台160可以包括模型测试组件166，该模型测试组件166可以被配置为在控制器106处的部署之前测试机器学习模型170。例如，在训练期间，模型测试组件166可以进行一个或多于一个测试处理(例如，结合图3描述的测试处理350或结合图10描述的测试处理1050以及替代的模型测试处理)以评估机器学习模型170的准确性。为了测试机器学习模型170的准确性，模型测试组件166可以将机器学习模型的选择输出与其他重建进行比较(例如，以定期地测试模型准确性)。模型测试组件166可以被利用以确定机器学习模型170所生成的重建图像的整体准确性。在一些实现中，一旦确定为机器学习模型170满足准确性阈值，则可以将机器学习模型170提供给控制器106(或用于执行机器学习模型170的其他计算系统)。
图2A示出根据一个或多于一个实现的用于从输入MR空间频率数据生成MR图像的(可被实现为图1B的机器学习模型170、图3的重建模型306或图10的重建模型1006的)机器学习模型200的示例架构的框图。如图2A所示，机器学习模型200通过分级处理输入MR空间频率数据205，来从输入MR空间频率数据205生成输出MR图像215。首先，使用初始化器块210来处理输入MR空间频率数据205，然后通过一系列机器学习块216A、216B、…、216N(在本文中有时被称为“机器学习块216”或“多个机器学习块216”)来处理。
在一些实现中，块216A、216B、…、216N中的一个或多于一个可以在基于图像的域中操作，并且在一些实现中，块216A、216B、…、216N中的一个或多于一个可以将输入数据变换到不同域(包括但不限于空间频域)，在不同域中进行处理(例如，重建处理)，并随后变换回基于图像的域。初始化器块210可以对输入MR空间频率数据205进行变换，以供机器学习模型200进行后续处理。初始化器块210可以以任何合适的方式实现。例如，在一些实施例中，初始化器块210可以对输入MR空间频率数据应用伴随非均匀傅立叶变换，以获得初始图像。伴随算子可以例如利用过采样因子2来植入。作为另一示例，在一些实施例中，初始化器块210可以对输入MR空间频率数据205应用网格化重建。
各个机器学习块216可以包括数据一致性块220和卷积神经网络块250，其中数据一致性块220和卷积神经网络块250各自可以被应用于机器学习块216的各个输入。输入可以是由机器学习模型200在先前块216完成时生成的MR图像重建。如图所示，可以通过将数据一致性块220应用于输入以获得第一结果、将卷积神经网络块250应用于输入以获得第二结果、并且从输入中减去第一结果和第二结果的线性组合，来生成各个块216的输出，其中线性组合是使用块特定权重225来计算的。块特定权重可以是机器学习模型200的可学习参数。
数据一致性块220可以以多种方式中的任何方式来实现。在一些实施例中，数据一致性块220可以通过使用非均匀傅立叶变换将块216的各个输入所表示的输入图像变换到空间频域、将结果与输入MR空间频率数据205进行比较、并且使用非均匀傅立叶变换的伴随将这两者之间的差变换回到基于图像的域中，来进行数据一致性处理。
图2B描绘了根据一个或多于一个实现的数据一致性块220的示例架构的图，该数据一致性块220可以是图2A所示的示例架构的一部分。如图2B所示，通过一系列三个变换224、226和228将基于图像的域输入222(其可以是来自先前块216的中间重建输入)变换到空间频域，其中该系列三个变换224、226和228的组合可以用于实现从基于图像的域到空间频域的非笛卡尔快速傅立叶变换。在该示例中，变换224是去变迹和零填充变换D，变换226是过采样FFT变换，并且变换228是网格化插值变换G。在将基于图像的域输入222变换到空间频域之后，将该输入222与输入MR空间频率数据205进行比较，并且使用变换230、232和234将这两者之间的差变换回到基于图像的域。变换230是网格化插值变换228的伴随。变换232是过采样FFT变换226的伴随。变换234是去变迹变换224的伴随。以这种方式，变换230、232、234的组合可以被写为表示先前变换的伴随。
图2C描绘了根据一个或多于一个实现的卷积神经网络块250的示例架构的图，该卷积神经网络块250可以是图2A所示的示例架构的一部分。卷积神经网络块250可以以多种方式中的任何方式来实现。在一些实现中，卷积神经网络块250可以具有多个卷积层，其包括一个或多于一个卷积层以及一个或多于一个转置卷积层。在一些实现中，例如，如图2C的例示性架构所示，卷积神经网络块250可以具有U-net结构，在U-net结构中，多个卷积层对数据进行下采样，并且后续的转置卷积层对数据进行上采样。尽管图2C示出卷积神经网络可以被作为图2A的机器学习模型200的一部分来利用，但是应当理解，也可以利用附加或替代模型。例如，在一些实现中，块250可以是神经网络、具有一个或多于一个注意力层的变换器网络(transformer network)、或者具有一个或多于一个高斯采样层的神经网络(例如，表示自动编码器模型的扩散)。
如图2C所示，卷积神经网络块250的输入通过下采样路径、然后是上采样路径来处理。在下采样路径中，通过重复应用具有3×3核的两个卷积来处理输入，在这两个卷积各自之后应用非线性(例如，整流线性单元或ReLU)、步幅为2的平均2×2池化操作以进行下采样。在各个下采样步骤处，特征通道的数量加倍，从64到128再到256。在上采样路径中，通过使用将特征通道的数量减半的平均去池化步骤、与来自下采样路径的相应特征图的级联、以及两个3×3卷积(在这两个卷积各自之后应用非线性(例如，ReLU))对特征图进行重复上采样来处理数据。
图3描绘了根据一个或多于一个实现的可被利用以训练生成重建MR图像所用的机器学习模型的双域自监督学习处理的示例数据流图。图3示出训练处理300和测试处理350这两者。在训练处理300中，输入k空间数据y(被称为输入k空间数据302)被随机分区为不相交的集合yp1,2(分别被称为分区304A和304B)并被馈送到重建模型306中以产生图像和k空间域中的xp1,2(分别被称为重建图像308A和308C，其中输入k空间数据302的重建被称为重建图像308B)和ypred1,2(分别被称为预测分区312A和312B)。重建模型306在从这些输出所计算出的双域损失和下被训练。在测试处理350中，经训练的重建模型306可以直接从y重建图像，该图像可以与已知可靠重建图像进行比较以评估重建模型306的整体准确性。
重建模型306可以被用作结合图1B描述的机器学习模型170。在讨论用于重建模型306的DDSS训练处理之前，解释用于图像重建的重建模型306的推导方式可能是有帮助的。用于MR图像重建的重建模型306的推导如下。所要解决的问题是构建复杂的二维(2D)图像。因而，设为要重建的复值2D图像，其中x为具有大小N＝NxNy的向量，并且Nx和Ny是图像的高度和宽度。给定欠采样k空间测量结果目标是通过求解下式1中表示的无约束优化问题来根据y重建x。
在式1中，A是非均匀傅立叶采样算子，并且R是重建的正则项。如果在均匀或笛卡尔采样模式下获取数据，则A＝MF，其中M是具有与A相同的大小的采样掩码，以及F是离散傅立叶变换。然而，如果在非笛卡尔和非笛卡尔采样模式下获取数据，则k空间测量位置将不再位于均匀k空间网格上，因而A的广义定义可以通过非均匀离散傅立叶变换给出，如下式2所示。
在式2中，注意，与笛卡尔采样下的相比，使用非均匀快速傅立叶变换(NUFFT)，式2可以由下式3来近似。
A＝GFsD (3)
在式3中，G是网格化插值核，Fs是具有过采样因子s的快速傅立叶变换(FFT)，以及D是去变迹权重。在全采样情况下的A的反演可以通过网格化重建来近似，这在下式4中进行提供。
x＝AHWy (4)
在式4中，W是用于非笛卡尔测量结果的密度补偿的对角矩阵。然而，在欠采样时，该反演是不适定的，因而需要求解式1。
可以使用变分神经网络(诸如结合图2A、图2B和图2C描述的机器学习模型200等)或者替代类型的神经网络或机器学习模型来近似式1中的优化的解。然而，应当理解，还可以利用替代机器学习模型，其包括神经网络、卷积神经网络、中间层可以是或包括数据一致性层的卷积神经网络、变换器模型或具有注意力机制的其他神经网络、生成式对抗性神经网络、以及去噪扩散概率模型或具有用于将来自噪声空间的高斯分布建模到输入图像空间的一系列层的其他神经网络，等等。上面结合图2A、图2B和图2C描述了变分网络的结构。变分网络是用于近似式1的梯度下降的展开网络。在图2C的卷积神经网络块250中示出示例主干网络，并且在图2B的数据一致性块220中示出数据一致性操作。通过使用梯度下降算法进行训练，可以如下式5那样迭代地计算式1的局部最优解。
式5可以具有下式6中所表示的初始解。
xi＝finit(A,y) (6)
在式6中，finit是初始化函数(例如，表示图2A的初始化器块210的操作)，其被设置为finit(A,y)＝AH。目标函数的梯度在下式7中表示。在下式7中，ai是梯度下降步长，以及是目标函数的梯度。
序列更新步骤被展开并公式化为基于深度学习的前馈模型，其中正则化梯度项由神经网络来近似。在重建模型306中，使用3级U-Net(例如，图2C的卷积神经网络块250的3级U-Net)来近似正则化梯度项因而，如下式8所示，重建模型306包括具有Niter个块的端到端可训练变分网络。
xi＝xi-1-λiAH(Axi-1-y)+fcnn(xi-1|θi) (8)
在式8中，θ和λ是可学习参数。第二项是数据一致性项，以及第三项是CNN项。
重建模型306是使用以下双域自监督学习技术来训练的，其中双域自监督学习技术包括基于图像的域和频域这两者中的损失值的计算。设fvn(A,y)表示前一节中呈现的变分网络，其中A是非均匀傅立叶采样算子，以及y是欠采样k空间测量结果。在DDSS训练处理300中，如式9所示，k空间数据302被分区为两个不相交的集合。
yp1＝S(y,p1)，
yp2＝S(y,p2). (9)
在式9中，S是具有采样位置p1和p2的采样函数。采样位置可以由进行训练处理300的计算系统随机选择，使得所生成的各个分区不相交。一些示例采样函数包括随机均匀采样函数、针对k空间数据302的中心具有较高概率的高斯采样函数、或任何其他合适的采样函数。然后，将分区数据yp1和yp2(即，分区304A和304B)作为输入提供给重建模型306以用于(利用共享权重和其他参数的)并行重建。如下式10所示，使用分区304A和304B作为输入的重建模型306的执行生成了重建图像308A和308C(即，分别为xp1和xp2)。
第一损失值与在k空间中进行操作的分区数据一致性(PDC)损失相对应。如果重建模型306可以从任何欠采样k空间测量结果生成高质量图像，则从第一分区数据yp1预测的图像的k空间数据应当与另一分区yp2一致，并且反之亦然。计算第一损失值(例如，PDC损失值)以训练模型从而相应地产生一致性数据。如图3所示，可以通过分别对重建图像308A和308C的变换310A和310B进行采样函数(例如，分别用于生成分区304A和304B的相同采样函数)来生成预测分区312A和312B。可以使用NUFFT变换从重建图像308A和308B计算变换310A和310B。预测分区312A和312B可以分别表示为Axp1和Axp2。由于重建图像308A和308B中的各个重建图像包括重建模型306所生成的附加信息，因此另一分区可以被用作各个图像的变换的自监督比较。例如，在适当地训练重建模型306时，第一预测分区312A应当非常类似于第二分区304B，并且第二预测分区312B应当非常类似于第一分区304A。预测k空间分区312A和312B可以以等式形式表示为下式11。
PDC损失值可以根据下式12来生成。
在式12中，第一项和第二项可以分别对应于分区304A和304B的数据一致性损失。
可以基于第二损失值来训练重建模型306。第二损失值可以是可在基于图像的域中进行操作的外观一致性(AC)损失。为了计算AC损失，除了生成与第一分区304A和第二分区304B(例如，分别为yp1和yp2)相对应的输出之外，还可以将k空间数据302整体作为输入提供给重建模型以生成第三重建图像308B。第三重建图像308B的生成用下式13表示。
x＝fvn(A,y) (13)
从欠采样数据y的重建应当与分别从分区yp1和yp2的重建一致。可以在图像强度和图像梯度这两者上计算AC损失值，以改进第一重建图像308A和第三重建图像308B以及第二重建图像308C和第三重建图像308B之间的解剖清晰度。AC损失用下式14表示。
在式14中，和分别用下式15和式16表示。
在式14、式15和式16中，和分别是x方向和y方向上的空间强度梯度算子。λimg和λgrad的示例值可以包括λimg＝2和λgrad＝1。
k空间中的PDC损失和基于图像的域中的AC损失的组合提供了总损失值，该总损失值用于训练重建模型306。总损失值用下式17表示。
在式17中，示例值λPDC＝100可以用于平衡k空间损失和基于图像的域损失之间的尺度(scale)。
可以使用包括欠采样和非笛卡尔MR空间频率数据的训练数据集来进行上述训练处理。如本文所述的，上述训练处理300不需要使用先前生成的完全重建图像来训练模型，并且作为替代，在基于图像的域和k空间域这两者中利用完全自监督处理来重建MR图像。可以对包括k空间空间频率数据302的训练数据集迭代地进行训练处理300。各种批大小和时期数量可以用于训练模型(例如，批大小为8且具有200个时期，等等)。可以在训练期间或之后进行测试处理350以评估重建模型306的性能。为此，可以提供输入k空间数据302作为输入，并且可以执行重建模型306以产生重建图像314。
评估重建模型306的性能可以包括：将重建图像314与输入k空间数据302的已知可靠重建图像进行比较，以确定重建图像314与重建模型306的预期输出之间的相似性。重建图像314与预期输出之间的相似性程度可以与模型的准确性成比例。可以使用k空间数据302的测试集来评估重建模型306，其中针对该测试集，可靠重建可用以计算模型的平均(均值)准确性。例如，在已使用预定量的训练数据(例如，批、时期等)来训练模型之后，可以进行测试处理350以迭代地确定模型的准确性。在模型的准确性达到预定阈值时或者在满足预定训练终止条件时(例如，已使用诸如预定数量的时期等的设置量的训练数据来训练重建模型306)。
图4示出根据一个或多于一个实现的使用双域自监督学习技术来训练用于生成重建MR图像的机器学习模型(例如，机器学习模型170、机器学习模型200、重建模型306等)的示例方法400的流程图。可以使用任何合适的计算系统(例如，图1的训练平台160、控制器106或计算装置104、图17的计算系统1700等)来执行方法400。将理解，可以在仍然实现期望结果的同时并行(例如，同时)或顺次地执行方法400的某些步骤。方法400可以迭代地执行来更新或以其他方式训练机器学习模型。
如本文所述的，方法400可以包括动作405，在动作405中，所获得的MR空间频率数据被分区为第一分区和第二分区。可以获得输入MR空间频率数据以用作用于训练机器学习模型的训练数据。输入MR空间频率数据可以是先前由MRI系统获得并存储以供后续分析的数据。在一些实现中，作为方法400的一部分，输入MR空间频率数据可以由MRI系统(包括本文所述的任何MRI系统)获得。MR空间频率数据可以是(例如，使用非笛卡尔采样轨迹所获得的)非笛卡尔空间频率数据。MR空间频率数据可以是非笛卡尔的。可以使用任何合适的采样函数来生成分区。一些示例采样函数包括随机均匀采样函数、(例如，对于输入MR空间频率数据的中心具有较高概率的)高斯采样函数或任何其他合适的采样函数。
方法400可以包括动作410，在动作410中，将第一分区、第二分区和MR空间频率数据各自作为输入提供给机器学习模型，该机器学习模型被执行以针对各个输入生成相应重建图像(例如，重建图像308A、308B和308C)。如本文所述的，生成输出可以包括：将相应输入提供给初始化器块，并且随后将初始化器块的输出作为输入提供给机器学习模型。如本文所述的，机器学习模型的输出可以包括通过机器学习模型的一个或多于一个块或层来传播输入数据。可以针对各个输入使用机器学习模型的相同权重值或其他参数值。
如本文所述的，为了执行机器学习模型，可以通过一个或多于一个数据一致性块来传播输入数据，该一个或多于一个数据一致性块可以包括NUFFT和与作为输入提供给模型的初始MR空间频率的比较。另外，如本文所述的，可以通过一个或多于一个卷积神经网络块来传播输入数据。这可以包括将多个卷积滤波器集应用于输入数据的副本。数据一致性块和卷积神经网络块的结果可以以线性组合来组合。然后，可以将该输出作为输入提供给机器学习模型的下一个块，或者可以在已应用机器学习模型中的所有块的情况下将该输出作为重建图像。
方法400可以包括动作415，在动作415中，基于机器学习模型的输出来计算AC损失值。如本文所述的，AC损失与基于图像的域相对应，并且可以指示使用各个分区所产生的机器学习模型的输出与使用输入MR空间频率数据所产生的机器学习模型的输出之间的视觉相似性。如本文所述的，例如可以使用式14、式15和式16来计算AC损失。如本文所述的，可以在图像强度和图像梯度这两者上计算AC损失值以促进输出之间的改进的解剖清晰度。如下面进一步详细描述的，AC损失值可以被利用以结合一个或多于一个其他损失来训练机器学习模型。将理解，第一损失可以是或可以包括替代损失函数，包括L1损失、L2损失、梯度损失、梯度方向直方图(histogram of oriented gradients，HOG)损失或对比损失等等。
方法400可以包括动作420，在动作420中，在计算第二损失值之前，将从分区生成的机器学习模型的输出(例如，重建图像308A和308C)变换到频域中。为此，可以将NUFFT处理应用于从分区生成的输出，以生成相应变换(例如，变换310A和310B)。然后，可以在方法400的后续步骤中使用变换来计算可以与频域相对应的第二损失。
方法400可以包括动作425，在动作425中，基于在动作405中生成的分区和在动作420中生成的变换来计算数据一致性损失(例如，PDC损失)。如本文所述的，机器学习模型的各个输出包括机器学习模型所生成的附加信息。正因如此，另一分区(例如，除了用于生成相应输出的分区之外的分区)可以用作频域中的各个输出的自监督比较值。如本文所述的，这可以表示为PDC损失，该PDC损失可以使用式12来计算。计算PDC损失可以包括：使用用于在动作405中生成分区的相同采样函数来对在动作420中生成的变换进行分区。可以针对频域计算替代或附加的损失函数，其包括加权数据一致性损失、L1损失、L2损失、Lp损失或掩码损失，等等。
方法400可以包括动作430，在动作430中，可以基于在动作415和425中计算出的损失值来训练和更新机器学习模型。如本文所述的，例如可以基于式17中所表示的总损失值来训练机器学习模型。训练机器学习模型可以包括：使用任何合适的训练技术(诸如随机梯度下降和反向传播等)来更新机器学习模型的权重或其他可训练参数。一旦已根据总损失更新机器学习模型的权重或可训练参数，则方法400可以返回到动作405，以使用不同的输入训练数据来进行方法400。可以迭代地重复方法400，直到达到期望的模型性能(例如，准确性)、或者满足预定的训练终止条件(例如，已使用诸如预定数量的时期等的设置量的训练数据来训练重建模型306)时为止。在一些实现中，可以使用测试处理定期地评估机器学习模型的准确性。
根据各种示例准则评估上述DDSS技术，以示出相对于其他实现的各种改进。之后是示例实验数据，其评估了在模拟和真实非笛卡尔数据这两者上的示例实现。对于模拟研究，从人类连接组项目(HCP)中以没有被检体重叠的方式随机选择505个T1加权的3D脑MR图像和125个T2加权的3D脑MR图像。首先，将体积重新采样到1.5×1.5×5mm3以匹配常见临床分辨率。利用二维非笛卡尔多线圈数据获取协议，在该协议中以分析方式生成八个线圈灵敏度图。为了生成非笛卡尔欠采样数据，使用采样密度以二次率从k空间中心衰减的可变密度采样模式。以目标加速因子R∈{2,4}生成两个采样轨迹设置。使用T1加权的图像和104个T2加权的图像用于训练，并且使用29个T1加权的MR图像和21个T2加权的MR图像用于评估。
对于现实世界的MRI研究，使用场强约为64mT的便携式MRI系统(例如，由海珀菲纳股份有限公司制造的HYPERFINE SWOOP系统)获取106个FLAIR 3D脑MR图像和112个FSE-T2w3D脑MR图像。FLAIR图像和FSE-T2w图像这两者是使用加速因子为2的可变密度采样模式来获取的。分辨率为1.6×1.6×5mm3。
用于产生表1中的数据的示例机器学习模型利用Adam优化器进行优化，Adam优化器具有以下参数：lr＝3×10-5,β1＝0.9以及β2＝0.999。使用批大小8，并且针对200个时期训练机器学习模型。非笛卡尔重建网络中的默认迭代次数被设置为6。在训练期间，欠采样数据分区率在[0.2，0.8]之间随机生成。
作为上限，将DDSS与以完全监督的方式训练相同重建模型的监督策略进行比较。作为消融(ablation)，呈现了来自仅伴随(adjoint-only)模型的结果，并且为了进一步评估双域训练的优点，与仅k空间域PDC损失用于重建模型训练的k空间域自监督模型进行比较。
为了对模拟的非笛卡尔HCP数据进行定量，测量了结构相似性指数(SSIM)、峰值信噪比(PSNR)和均方误差(MSE)。对于使用真实临床数据的评估，真实非笛卡尔数据用于自监督训练并且被定性地评估，这是因为不存在用于定量的可靠重建。下表1中提供了一些示例结果。
下表1提供了使用SSIM、SNR和MSE(MSE按103比例缩放)在两个不同的非笛卡尔信号获取设置下的图像重建的定量比较。
如表1所示，在T1w重建时的加速度R＝2的情况下，DDSS可以实现SSIM＝0.943，这显著高于KDSS的SSIM＝0.925，因而将性能差距(gap)缩小到完全监督上限。对于T2w重建实验可以发现类似的观察结果，其中DDSS通过实现0.945的SSIM(在KDSS中为0.926的SSIM)而优于KDSS。虽然随着加速因子从R＝2增加到R＝4，所有方法的总体性能降低，但是DDSS仍然在PSNR、SSIM和MSE方面在T1w和T2w重建任务这两者上优于KDSS。在图5中可视化了定性比较。
图5描绘了根据一个或多于一个实现的使用监督、KDSS和双域自监督方式的示例非笛卡尔MRI重建的可视化。在图5中，将T1加权结果(顶部)和T2加权结果(底部)这两者连同它们各自的误差图一起示出。在KDSS中，对于重要解剖结构，可以观察到高估。与单域自监督学习(例如，KDSS)相比，DDSS重建导致T1w重建和T2w重建这两者的总体误差较低。尽管在训练期间使用全采样数据的监督模型实现了最佳的定量结果，但是根据监督模型和DDSS的重建在定性上是可比的。
如本文所述的，便携式床旁低成本且低场的MRI可以针对临床环境中的脑疾病诊断贡献有价值的信息。与利用均匀采样模式的传统MRI不同，从低场MRI扫描器获取的数据是非笛卡尔的，其中加速度R＝2。因而，可以在这样的系统所获取的低场MRI数据上评估DDSS方式。为此，使用本文所述的DDSS技术利用这样的数据来训练机器学习模型。将机器学习模型的性能与来自系统的默认网格化重建进行比较。在图6中可视化了定性结果。
图6描绘了根据一个或多于一个实现的根据从低场(64mT)MRI系统获取的数据的FSE-T2w和FLAIR重建的定性评估的可视化。在图6中，将网格化重建与两个中风患者的DDSS重建进行比较。患者1患有伴有腔隙性梗死的出血性中风。患者2患有伴有中线移位的出血性中风。值得注意的是，网格化重建由于加速数据获取协议而导致模糊，而自监督DDSS重建产生更清晰得多的图像质量，从而增强神经解剖结构的可视化。
图7A和图7B描绘了根据一个或多于一个实现的用于DDSS重建的非笛卡尔重建网络中的迭代次数的影响。如图所示，在不同的迭代次数下，DDSS始终优于KDSS，并且实现了与完全监督模型更接近的性能。对于本文所述的DDSS技术，重建性能在四次迭代之后开始渐近地收敛。与T1w和T2w重建有关的实验示出类似的行为。
为了在真实数据方面定性地评估DDSS与完全监督训练模型之间的差距，将在模拟数据上训练的完全监督模型和在(仅具有欠采样数据的)模拟数据上训练的DDSS这两者应用于真实数据。在图8中总结了定性结果。
图8描绘了根据一个或多于一个实现的使用完全监督模型和在模拟数据上训练的DDSS模型的FSE-T2w和FLAIR的MR图像重建的可视化。在第二行中示出完全监督模型的结果，并且在第三行中示出使用本文所述的DDSS技术训练的模型的结果。如图8所示，将在模拟数据上训练的模型应用于真实数据也可以产生与网格化重建相比更清晰的图像质量。根据完全监督模型和DDSS的重建在视觉上显著一致，这指示以完全监督方式训练的模型和以DDSS方式训练的模型可以在真实数据上提供类似的性能。
此外，DDSS是灵活的框架，该框架中，主干重建模型是可更换的，并且不限于本文所述的示例变分网络。作为消融研究，使用本文所述的DDSS技术训练替代深度学习架构(MoDL)以定性地评估真实数据上的重建。在图9中可视化了结果，其中示例是一个健康患者和一个病理患者。
图9描绘了根据一个或多于一个实现的本DDSS技术与替代主干重建网络方式(在该示例中为MoDL)的定性比较的可视化。在图9中，使用FSE-T2w，并且可视化了病理患者和健康患者这两者的示例。MoDL模型中的级联数量被设置为4。如图所示，与网格化重建相比，利用MoDL的DDSS也可以产生更清晰的图像质量。在视觉上讲，根据本文提出的使用DDSS技术和基于MoDL的DDSS训练的示例模型(例如，机器学习模型200)的重建在很大程度上是一致的，这意味着DDSS可以在产生合理重建的同时，与不同的主干非笛卡尔重建网络集成。
总之，本文所述的技术的一些优点包括以自监督方式在图像域和k空间域中的用于非笛卡尔MRI重建网络的训练处理。克服了至少两个主要挑战。第一，本技术使得能够在不使用任何全采样的MRI数据的情况下训练机器学习模型，来代替依赖于大规模的欠采样和全采样的成对数据进行训练处理、这在MRI系统具有加速获取协议的情况下是不可行的。第二，针对非笛卡尔MRI重建而不是均匀MRI重建，可以利用本文所述的技术。因此，这些方式适合于具有非笛卡尔获取协议并且没有全采样数据的MRI系统。
将理解，还设想了前述技术的变型，其包括结合图10描述的以下示例修改和替代训练处理1000。在本文所述的示例中，非笛卡尔重建模型是基于可进一步强制执行数据一致性约束的梯度下降。然而，利用基于共轭梯度的架构可以改进性能。附加地，如本文所述的DDSS的图像和k空间自监督是非笛卡尔重建模型的最终输出。然而，可以实现对各个级联输出的深度监督以潜在地改进性能。可以利用作为本文所述的主干网络的U-Net架构的替代方案，这是因为结合本文所述的DDSS技术使用的特定模型架构是可更换的。例如，可以利用MPR架构、RDN架构或OUCNet架构。附加地，本技术可以从2D框架扩展到3D以潜在地增加重建性能。
图10描绘了根据一个或多于一个实现的可被利用以训练生成重建MR图像用的机器学习模型(例如，机器学习模型170、机器学习模型200、重建模型1006等)的替代双域自监督训练处理1000的示例数据流图。
训练处理1000开始于将输入k空间数据1002随机分区为不相交的集合yp1,2(分别被称为分区1004A和1004B)并馈送到(与本文所述的各种重建模型类似的)重建模型1006中以产生xp1,2(分别被称为重建图像1008A和1008C，其中输入k空间数据1002的重建被称为重建图像1008B)。训练处理1000与训练处理300的不同之处在于，使用不同的损失来训练重建模型1006。如本文所述的，可以使用合适的采样函数来对输入k空间数据进行分区。
分别与第一分区1004A、输入k空间数据1002和第二分区1004B相对应的重建图像1008A、1008B和1008C的表示分别用下式18、式19和式20表示。
xu＝fvn(A,y)
(20)
基于这些输出来计算双域损失函数如下。训练处理1000中的AC损失是基于(上文所描述的)式14来计算的。然而，项和不同，并且用下式21和式22表示。
在式21和式22中，和分别是x方向和y方向上的空间强度梯度算子。在式21和式22中，不是仅考虑输出1008A和1008C与输入数据的重建1008B之间的差，而是项和还包括用于输出1008A和1008C(例如，从分区生成的输出)之间的一致性的附加项。该附加项促进重建模型1006生成与不相交分区一致的图像。
除了修改的AC损失值之外，训练处理1000还计算不同的PDC损失以训练重建模型1006。不是仅生成从分区1004A和1004B生成的输出的(例如，使用NUFFT的)变换，而是计算(例如，由重建模型1006使用k空间数据1002作为输入所生成的)输出数据xu的附加变换。这些变换(例如，变换1010A、1010B和1010C)中的各个变换用下式23、式24和式25表示。
然后，直接根据变换1010A、1010B和1010C以及根据输入k空间数据1002计算PDC损失，而不是对变换进行采样并使用输入分区计算PDC损失。在该方式中，促进重建模型1006的频域输出与初始输入k空间数据1002一致。该替代PDC损失可以根据下式26来计算。
在不需要使用全采样数据来训练重建模型1006的情况下，可以使用包括欠采样且非笛卡尔的MR空间频率数据的训练数据集来进行替代训练处理1000。因此，训练处理1000在频域和基于图像的域这两者中是完全自监督的。可以在包括k空间空间频率数据1002的训练数据集上迭代地进行训练处理1000。可以在训练期间或之后进行测试处理1050以评估重建模型1006的性能。为此，可以提供输入k空间数据1002作为输入，并且可以执行重建模型1006以产生重建图像1012，该重建图像1012可以对照输入数据的合适重建来评估。
图11示出根据一个或多于一个实现的使用结合图10描述的替代双域自监督学习技术来训练用于生成重建MR图像的机器学习模型(例如，机器学习模型170、机器学习模型200、重建模型1006等)的示例方法1100的流程图。可以使用任何合适的计算系统(例如，图1的训练平台160、控制器106或计算装置104、图17的计算系统1700等)来执行方法1100。将理解，可以在仍然实现期望结果的同时并行(例如，同时)或顺次地执行方法1100的某些步骤。方法1100可以迭代地执行来更新或以其他方式训练机器学习模型。
如本文所述的，方法1100可以包括动作1105，在动作1105中，所获得的MR空间频率数据被分区为第一分区和第二分区。可以获得输入MR空间频率数据以用作用于训练机器学习模型的训练数据。输入MR空间频率数据可以是先前由MRI系统获得并存储以供后续分析的数据。在一些实现中，作为方法1100的一部分，输入MR空间频率数据可以由MRI系统(包括本文所述的任何MRI系统)获得。MR空间频率数据可以是(例如，使用非笛卡尔采样轨迹所获得的)非笛卡尔空间频率数据。MR空间频率数据可以是非笛卡尔的。可以使用任何合适的采样函数来生成分区。一些示例采样函数包括随机均匀采样函数、(例如，对于输入MR空间频率数据的中心具有较高概率的)高斯采样函数或任何其他合适的采样函数。
方法1100可以包括动作1110，在动作1110中，将第一分区、第二分区和MR空间频率数据各自作为输入提供给机器学习模型，该机器学习模型被执行以针对各个输入生成相应重建图像(例如，重建图像1008A、1008B和1008C)。生成输出可以包括：将相应输入提供给初始化器块(例如，如结合图2A所描述的初始化器块210)，并随后将初始化器块的输出作为输入提供给(例如，如图2A所示的)机器学习模型。如结合图2A、图2B和图2C所述的，机器学习模型的输出可以包括通过机器学习模型的一个或多于一个块(例如，图2A的块216)来传播输入数据。可以针对各个输入使用机器学习模型的相同权重值或其他参数值。
方法1100可以包括动作1115，在动作1115中，基于机器学习模型的输出(例如，图10的重建图像1008A、1008B或1008C)来计算AC损失值。替代AC损失可以使用与结合图10所述类似的方法来计算。AC损失与基于图像的域相对应。如本文所述的，例如可以使用式21、式22和式16来计算AC损失。如本文所述的，可以在图像强度和图像梯度这两者上计算AC损失值以促进输出之间的改进的解剖清晰度。如本文进一步详细描述的，AC损失值可以被利用以结合一个或多于一个其他损失(诸如替代PDC损失等)来训练机器学习模型。可以计算附加损失值以促进基于图像的域中的一致性，该附加损失值包括但不限于L1损失、L2损失、梯度损失、梯度方向直方图(HOG)损失或对比损失等等。
方法1100可以包括动作1120，在动作1120中，在计算PDC损失值之前，将从分区和输入MR空间频率数据生成的机器学习模型的输出(例如，重建图像1008A、1008B和1008C)变换到频域中。为此，可以将NUFFT处理应用于从机器学习模型生成的输出，以生成相应变换(例如，变换1010A、1010B和1010C)。然后，可以在方法1100的后续步骤中使用变换来计算可以与频域相对应的PDC损失。
方法1100可以包括动作1125，在动作1125中，基于输入MR空间频率数据和在动作1120中生成的各个变换来计算数据一致性损失(例如，PDC损失)。可以使用式26来计算该替代PDC损失。以这种方式计算PDC损失促进了机器学习模型所生成的输出与输入MR空间频率数据之间的一致性。还可以计算替代或附加的损失函数以确保频域中的一致性，该替代或附加的损失函数包括加权数据一致性损失、L1损失、L2损失、Lp损失或掩码损失，等等。
方法1100可以包括动作1130，在动作1130中，可以基于在动作1115和1125中计算出的损失值来训练和更新机器学习模型。为此，可以计算替代AC损失和PDC损失值。例如，可以基于式17中使用结合图10描述的替代AC损失和PDC损失值所表示的总损失值来训练机器学习模型。训练机器学习模型可以包括：使用任何合适的训练技术(诸如随机梯度下降和反向传播等)来更新机器学习模型的权重或其他可训练参数。一旦已根据总损失更新机器学习模型的权重或可训练参数，则方法1100可以返回到步骤1105以使用不同的输入训练数据来进行方法1100。如本文所述的，可以迭代地重复方法1100，直到已满足预定训练条件(例如，已利用预定量的训练数据、已实现预定准确性等)为止。
根据上述相同示例准则评估利用结合图10描述的替代损失的DDSS技术。如上所述，对于模拟研究，以没有被检体重叠的方式从HCP随机选择505个T1加权的3D脑MR图像和125个T2加权的3D脑MR图像。首先，将体积重新采样到1.5×1.5×5mm3以匹配常见临床分辨率。利用二维非笛卡尔多线圈数据获取协议，其中以分析方式生成八个线圈灵敏度图。为了生成非笛卡尔欠采样数据，使用采样密度以二次率从k空间中心衰减的可变密度采样模式。以目标加速因子R∈{2,4}生成两个采样轨迹设置。使用T1加权的图像和104个T2加权的图像用于训练，并且使用29个T1加权的MR图像和21个T2加权的MR图像用于评估。此外，如上所述，使用相同的方式对实现结合图10描述的损失的DDSS技术进行现实世界MRI图像评估。特别地，使用场强为64mT的便携式MRI系统来获取106个FLAIR3D脑MR图像和112个FSE-T2w 3D脑MR图像。FLAIR图像和FSE-T2w图像这两者是使用加速因子为2的可变密度采样模式来获取的。分辨率为1.6×1.6×5mm3。
下表2提供了使用SSIM、SNR和NMSE在两个不同的非笛卡尔信号获取设置下的图像重建的定量比较。
在图12和图13中示出用于反映使用本文所述的具有结合图10描述的替代损失的DDSS技术对模拟数据进行的实验的可视化。图12示出根据一个或多于一个实现的使用传统方法和本文所述的利用模拟数据集的替代双域自监督技术的MR图像重建的示例视觉比较。如图12所示，将实现图10的替代损失的DDSS技术所产生的重建图像与传统方法和替代自监督方式这两者进行比较。基于这些可视化，清楚的是，与传统方法和其他自监督方法(例如，SSDU和KDSS)这两者相比，DDSS得到了总体更少的视觉一致性误差以及接近完全监督方式的准确性。如本文所述的，在图13中示出类似结果，该图13示出使用传统方法和利用图10的替代损失的双域自监督技术的MR图像重建的另一示例视觉比较。
在图14和图15中示出用于反映使用本文所述的具有结合图10描述的替代损失的DDSS技术对真实临床数据进行的实验的可视化。图14示出根据一个或多于一个实现的来自真实临床数据的FSE-T2重建和FLAIR重建的可视化。如图所示，对于FSE-T2和FLAIR这两者，在与诸如网格化、CG-SENSE和L1-小波等的其他方式相比时，利用替代损失的DDSS技术得到了改进的视觉澄清。图15中也示出类似结果，其示出与替代方式相比、使用本文所述的DDSS方式的来自真实临床数据的FSE-T2重建和FLAIR重建的附加可视化。
图16示出用于指示对使用本文所述的技术和替代方式所生成的重建进行的读者研究的结果的图表。使用真实临床数据的重建进行读者研究。如图16的图表所示，本文所述的DDSS方式得到了与替代重建方式相比显著更好的清晰度、噪声水平和总体质量。
总之，该技术方案的系统和方法提供了用于双域自监督学习的若干方式，这些方式使得能够在不使用任何全采样数据的情况下训练非笛卡尔MRI重建深度模型。自监督用于k空间域和基于图像的域这两者中，其示出为导致改进的MR图像重建。本文所述的与非笛卡尔数据集有关的实验结果表明，DDSS可以生成接近完全监督重建的保真度的高度准确的重建，但是不需要全采样或完全均匀的数据。附加地，使用本文所述的DDSS技术来训练的机器学习模型可以用于重建具有挑战性的来自便携式低场MRI扫描器的真实MRI数据，其中全采样数据不可用。
图17是根据示例实现的适合于在本文所述的各种实现中使用的示例计算系统的组件图。例如，计算系统1700可以实现图1的计算装置104或控制器106、或本公开中描述的各种其他示例系统和装置。
计算系统1700包括用于通信信息的总线1702或其他通信组件以及耦接到总线1702的用于处理信息的处理器1704。计算系统1700还包括耦接到总线1702的用于存储信息以及处理器1704所要执行的指令的主存储器1706，诸如RAM或其他动态存储装置等。主存储器1706还可以用于存储在处理器1704执行指令期间的位置信息、临时变量或其他中间信息。计算系统1700还可以包括耦接到总线1702的用于存储静态信息和处理器1704所用的指令的ROM 1708或其他静态存储装置。诸如固态装置、磁盘或光盘等的存储装置1710耦接到总线1702以用于持久地存储信息和指令。
计算系统1700可以经由总线1702耦接到诸如液晶显示器或有源矩阵显示器等的用于向用户显示信息的显示器1714。诸如包括字母数字键和其他键的键盘等的输入装置1712可以耦接到总线1702，以用于向处理器1704通信信息和命令选择。在另一实现中，输入装置1712具有触摸屏显示器。输入装置1712可以包括诸如鼠标、轨迹球或光标方向键等的任何类型的生物传感器或光标控件，以用于向处理器1704通信方向信息和命令选择以及用于控制显示器1714上的光标移动。
在一些实现中，计算系统1700可以包括诸如网络适配器等的通信适配器1716。通信适配器1716可以耦接到总线1702，并且可以被配置为使得能够与计算或通信网络或者其他计算系统进行通信。在各种例示性实现中，可以使用通信适配器1716来实现任何类型的网络配置，诸如有线(例如，经由Ethernet(以太网))、无线(例如，经由Wi-Fi、Bluetooth(蓝牙))、预配置的卫星(例如，经由GPS)、ad-hoc、LAN和WAN等。
根据各种实现，本文所描述的例示性实现的处理可以由计算系统1700响应于处理器1704执行主存储器1706中所包含的指令的实现来实现。这样的指令可以从诸如存储装置1710等的另一计算机可读介质读取到主存储器1706中。主存储器1706中所包含的指令的实现的执行使得计算系统1700进行本文所述的例示性处理。也可以采用多处理实现中的一个或多于一个处理器来执行主存储器1706中所包含的指令。在替代实现中，可以使用硬接线电路系统来替代软件指令或者与软件指令组合来实现例示性实现。因而，实现不限于硬件电路系统和软件的任何特定组合。
潜在实施例包括但不限于：
实施例AA：一种方法，包括：由耦接到非暂态存储器的一个或多于一个处理器来训练机器学习模型，所述机器学习模型用于接收磁共振数据即MR数据并生成所述MR数据的重建，所述机器学习模型是基于损失集来训练的，所述损失集包括与频域相对应的第一损失值以及与基于图像的域相对应的第二损失值。
实施例AB：根据实施例AA所述的方法，其中，所述损失集包括：在训练数据的频域中进行操作的分区数据一致性损失即PDC损失以及在所述训练数据的基于图像的域中进行操作的外观一致性损失即AC损失。
实施例AC：根据实施例AA或实施例AB所述的方法，其中，所述损失集包括AC损失，其中，所述AC损失是基于图像密度和图像梯度来计算的。
实施例AD：根据实施例AA至AC中任一项所述的方法，其中，基于训练MR数据的两个子集来训练所述机器学习模型，各个子集是通过将采样函数应用于所述训练数据的位置集来生成的。
实施例AE：根据实施例AA至AD中任一项所述的方法，其中，基于训练MR数据的两个子集来训练所述机器学习模型，其中，所述两个子集是不相交的集合。
实施例AF：根据实施例AA至AE中任一项所述的方法，其中，通过将训练MR数据的两个子集馈送到变分网络中以获得两个预测子集来训练机器学习模型。
实施例AG：根据实施例AA至AF中任一项所述的方法，其中，所述损失集中的至少一个损失是基于训练MR数据的两个子集和两个预测子集。
实施例AH：根据实施例AA至AG中任一项所述的方法，其中，所述MR数据是使用MR系统所捕获的MR空间频率数据。
实施例AI：根据实施例AA至AH中任一项所述的方法，其中，所述MR空间频率数据是非笛卡尔的。
实施例AJ：根据实施例AA至AI中任一项所述的方法，其中，所述MR数据的重建包括基于图像的域中的MR数据的表示。
实施例AK：根据实施例AA至AJ中任一项所述的方法，其中，所述机器学习模型是生成式对抗性网络模型即GAN模型。
实施例AL：根据实施例AA至AK中任一项所述的方法，其中，基于(1)使用输入MR数据的第一子集所生成的所述机器学习模型的第一输出和(2)使用所述输入MR数据所生成的所述机器学习模型的第二输出来计算所述第一损失值。
实施例AM：根据实施例AL所述的方法，其中，还基于使用所述输入MR数据的第二子集所生成的所述机器学习模型的第三输出来计算所述第一损失值。
实施例AN：根据实施例AL或实施例AM所述的方法，其中，基于所述第一输出的变换的子集和所述输入MR数据的相应第二子集来计算所述第二损失值。
实施例AO：根据实施例AN所述的方法，其中，还基于(1)使用所述输入MR数据的相应第二子集所生成的所述机器学习模型的第三输出的第二变换以及(2)所述输入MR数据的第一子集来计算所述第二损失值。
实施例AP：根据实施例AL至AO中任一项所述的方法，其中，基于所述第一输出的变换以及所述输入MR数据来计算所述第二损失值。
实施例AQ：根据实施例AA至AP中任一项所述的方法，其中，所述机器学习模型包括多个卷积层和多个数据一致性层。
实施例AR：根据实施例AQ所述的方法，其中，所述多个卷积层和所述多个数据一致性层被布置在多个块中，使得所述多个块中的各个块包括至少一个卷积层和至少一个数据一致性层。
实施例AS：根据实施例AA至AR中任一项所述的方法，其中，所述机器学习模型是双域自监督模型。
实施例AT：根据实施例AA至AS中任一项所述的方法，其中，所述机器学习模型在k空间域和基于图像的域这两者中是自监督的。
实施例AU：根据实施例AA至AT中任一项所述的方法，其中，所述机器学习模型是用于非笛卡尔MRI数据的重建的自监督模型。
实施例AV：根据实施例AA至AU中任一项所述的方法，还包括：接收患者MR数据并将所述患者MR数据馈送到所述机器学习模型，以基于所述患者MR数据获得重建图像。
实施例AW：根据实施例AV所述的方法，其中，使用低场MRI扫描器来捕获所述MR患者数据。
实施例BA：一种方法，包括：由耦接到非暂态存储器的一个或多于一个处理器基于第一损失值和第二损失值来训练机器学习模型，所述机器学习模型用于从磁共振空间频率数据即MR空间频率数据生成MR图像，其中，训练所述机器学习模型包括：由所述一个或多于一个处理器基于使用输入MR空间频率数据的第一分区所生成的所述机器学习模型的第一输出和使用所述输入MR空间频率数据所生成的所述机器学习模型的第二输出来计算所述第一损失值；以及由所述一个或多于一个处理器基于(1)所述输入MR空间频率数据和所述机器学习模型的第一输出的变换或者(2)所述第一输出的变换的分区和所述输入MR空间频率数据的第二分区来计算所述第二损失值。
实施例BB：根据实施例BA所述的方法，还包括：由所述一个或多于一个处理器通过选择所述输入MR空间频率数据的第一子集来生成所述输入MR空间频率数据的第一分区；以及由所述一个或多于一个处理器通过选择所述输入MR空间频率数据的第二子集来生成所述输入MR空间频率数据的第二分区。
实施例BC：根据实施例BA或BB所述的方法，其中，所述第一分区和所述第二分区是使用采样函数生成的。
实施例BD：根据实施例BA至BC中任一项所述的方法，其中，使用所述输入MR空间频率数据的第二分区的采样函数来生成所述第一输出的变换的分区。
实施例BE：根据实施例BA至BD中任一项所述的方法，其中，所述输入MR空间频率数据的第一分区和所述输入MR空间频率数据的第二分区是不相交的集合。
实施例BF：根据实施例BA至BE中任一项所述的方法，其中，还基于使用所述输入MR空间频率数据的第二分区所生成的所述机器学习模型的第三输出来计算所述第一损失值。
实施例BG：根据实施例BA至BF中任一项所述的方法，其中，还基于使用所述输入MR空间频率数据的第二分区所生成的所述机器学习模型的第三输出的变换来计算所述第二损失值。
实施例BH：根据实施例BA至BG中任一项所述的方法，其中，所述机器学习模型是基于GAN的模型。
实施例BI：根据实施例BA至BH中任一项所述的方法，其中，所述机器学习模型包括多个数据一致性层和多个卷积层。
实施例BJ：根据实施例BI所述的方法，其中，所述多个卷积层和所述多个数据一致性层被布置在多个块中，使得所述多个块中的各个块包括至少一个卷积层和至少一个数据一致性层。
实施例BK：根据实施例BA至BJ中任一项所述的方法，其中，所述输入MR空间频率数据包括欠采样数据。
实施例BL：根据实施例BA至BK中任一项所述的方法，其中，所述输入MR空间频率数据包括非笛卡尔采样数据。
实施例BM：根据实施例BA至BL中任一项所述的方法，其中，所述机器学习模型是双域自监督模型。
实施例BN：根据实施例BA至BM中任一项所述的方法，其中，所述机器学习模型在k空间域和基于图像的域这两者中是自监督的。
实施例BO：根据实施例BA至BN中任一项所述的方法，其中，所述机器学习模型是用于非笛卡尔MRI数据的重建的自监督模型。
实施例BP：根据实施例BA至BO中任一项所述的方法，还包括：接收患者MR数据并将所述患者MR数据馈送到所述机器学习模型，以基于所述患者MR数据获得重建图像。
实施例BQ：根据实施例BP所述的方法，其中，使用低场MRI扫描器来捕获所述MR患者数据。
实施例CA：一种系统，包括：磁共振成像系统即MR成像系统，其被配置为生成MR空间频率数据；以及一个或多于一个处理器，其被配置为：使所述MR成像系统基于非笛卡尔采样模式来生成所述MR空间频率数据；以及执行机器学习模型以基于所述MR空间频率数据来生成MR图像，所述机器学习模型是基于与频域相对应的第一损失值和与基于图像的域相对应的第二损失值来训练的。
实施例CB：根据实施例CA所述的系统，其中，所述机器学习模型是基于GAN的模型。
实施例CC：根据实施例CA或CB所述的系统，其中，所述第一损失值是基于(1)使用MR训练数据的第一子集所生成的所述机器学习模型的第一输出和(2)使用所述MR训练数据所生成的所述机器学习模型的第二输出来计算的。
实施例CD：根据实施例CC所述的系统，其中，还基于使用所述MR训练数据的第二子集所生成的所述机器学习模型的第三输出来计算所述第一损失值。
实施例CE：根据实施例CC或CD所述的系统，其中，所述第二损失值是基于所述第一输出的变换的子集和所述MR训练数据的相应第二子集来计算的。
实施例CF：根据实施例CE所述的系统，其中，还基于(1)使用所述MR训练数据的相应第二子集所生成的所述机器学习模型的第三输出的第二变换以及(2)所述MR训练数据的第一子集来计算所述第二损失值。
实施例CG：根据实施例CC至CF中任一项所述的系统，其中，所述第二损失值是基于所述第一输出的变换以及所述MR训练数据来计算的。
实施例CH：根据实施例CA至CG中任一项所述的系统，其中，所述机器学习模型包括多个卷积层和多个数据一致性层。
实施例CI：根据实施例CH所述的系统，其中，所述多个卷积层和所述多个数据一致性层被布置在多个块中，使得所述多个块中的各个块包括至少一个卷积层和至少一个数据一致性层。
实施例CJ：根据实施例CA至CI中任一项所述的系统，其中，所述MR成像系统包括低场MR成像装置。
实施例CK：根据实施例CA至CJ中任一项所述的系统，其中，所述MR成像系统包括便携式低场MR成像装置。
参考附图描述了本文所述的实现。附图示出了实现本文所述的系统、方法和程序的特定实现的某些细节。然而，用附图描述实现不应被解释为对本公开施加可能存在于附图中的任何限制。
应当理解，除非使用短语“用于…的部件”明确限定元素，否则本文中的权利要求元素不应在美国法典第35编第112(f)款的规定下解释。
如本文所使用的，术语“电路”可以包括被构造为执行本文所述的功能的硬件。在一些实现中，各个相应“电路”可以包括用于配置硬件以执行本文所述的功能的机器可读介质。电路可以体现为一个或多于一个电路系统组件，包括但不限于处理电路系统、网络接口、外围装置、输入装置、输出装置、传感器等。在一些实现中，电路可以采取一个或多于一个模拟电路、电子电路(例如，集成电路(IC)、分立电路、片上系统(SOC)电路)、电信电路、混合电路和任何其他类型的“电路”的形式。在这方面，“电路”可以包括用于完成或促进实现本文所述的操作的任何类型的组件。例如，如本文所描述的电路可以包括一个或多于一个晶体管、逻辑门(例如，NAND、AND、NOR、OR、XOR、NOT、XNOR)、电阻器、多路复用器、寄存器、电容器、电感器、二极管和配线等等。
“电路”还可以包括通信地耦接到一个或多于一个存储器或存储器装置的一个或多于一个处理器。在这方面，一个或多于一个处理器可以执行存储在存储器中的指令，或者可以执行一个或多于一个处理器以其他方式可访问的指令。在一些实现中，一个或多于一个处理器可以以各种方式体现。一个或多于一个处理器可以以足以至少执行本文所述的操作的方式来构造。在一些实现中，一个或多于一个处理器可以由多个电路共享(例如，电路A和电路B可以包括或以其他方式共享相同的处理器，在一些示例实现中，该处理器可以执行经由存储器的不同区域存储或以其他方式访问的指令)。可替代地或附加地，一个或多于一个处理器可以被构造为与一个或多于一个协处理器独立地进行或以其他方式执行某些操作。
在其他示例实施例中，两个或多于两个处理器可以经由总线耦接以使得能够进行独立、并行、管线或多线程指令执行。各个处理器可以被实现为一个或多于一个通用处理器、ASIC、FPGA、GPU、TPU、数字信号处理器(DSP)或被构造为执行存储器所提供的指令的其他合适的电子数据处理组件。一个或多于一个处理器可以采取单核处理器、多核处理器(例如，双核处理器、三核处理器、或四核处理器)、微处理器等的形式。在一些实现中，一个或多于一个处理器可以在设备外部，例如，一个或多于一个处理器可以是远程处理器(例如，基于云的处理器)。可替代地或附加地，一个或多于一个处理器可以在设备内部或本地。在这方面，给定电路或其组件可以本地(例如，作为本地服务器、本地计算系统的一部分)或者远程地(例如，作为诸如基于云的服务器等的远程服务器的一部分)布置。为此，如本文所述的“电路”可以包括跨一个或多于一个位置分布的组件。
用于实现整个系统或实现的一部分的示例性系统可以包括计算机形式的通用计算装置，其包括处理单元、系统存储器、以及用于将包括系统存储器的各种系统组件耦接到处理单元的系统总线。各个存储器装置可以包括非暂态易失性存储介质、非易失性存储器介质、非暂态存储介质(例如，一个或多于一个易失性或非易失存储器)等。在一些实现中，非易失性介质可以采取ROM、闪速存储器(例如，诸如NAND、3D NAND、NOR、3D NOR等的闪速存储器)、EEPROM、MRAM、磁存储部、硬盘、光盘等的形式。在其他实现中，易失性存储介质可以采取RAM、TRAM、ZRAM等的形式。以上的组合也包括在机器可读介质的范围内。在这方面，机器可执行指令例如包括使得通用计算机、专用计算机或专用处理机进行某些功能或功能组的指令和数据。根据本文描述的示例实现，各个相应存储器装置可以可操作来维持或以其他方式存储与一个或多于一个相关电路所进行的操作有关的信息，该信息包括处理器指令和相关数据(例如，数据库组件、对象代码组件、脚本组件)。
还应注意，如本文所述的，术语“输入装置”可以包括任何类型的输入装置，包括但不限于键盘、小键盘、鼠标、操纵杆或进行类似功能的其他输入装置。相比之下，如本文所述的，术语“输出装置”可以包括任何类型的输出装置，包括但不限于计算机监视器、打印机、传真机或进行类似功能的其他输出装置。
应当注意，尽管本文的图可以示出方法步骤的特定顺序和组成，但是应当理解，这些步骤的顺序可以与所描绘的不同。例如，可以同时或部分同时地进行两个或多于两个步骤。此外，可以组合作为离散步骤进行的一些方法步骤，可以将作为组合步骤进行的步骤分成离散步骤，可以颠倒或以其他方式变化某些处理的序列，并且可以更改或变化离散处理的性质或数量。根据替代实现，任何元素或设备的顺序或序列可以变化或替换。因此，所有这样的变型旨在被包括在如所附权利要求书中定义的本公开的范围内。这样的变化将取决于所选择的机器可读介质和硬件系统以及设计者选择。应当理解，所有这样的变化都在本公开的范围内。同样，本公开的软件和web实现可以利用具有基于规则的逻辑和其他逻辑的标准编程技术来完成，以完成各种数据库搜索步骤、相关性步骤、比较步骤和决策步骤。
虽然本说明书包含许多特定实现细节，但是这些不应当被解释为对任何发明或可以要求保护的内容的范围的限制，而是作为对特定于本文所述的系统和方法的特定实现的特征的描述。在本说明书中在单独实现的上下文中描述的某些特征也可以在单个实现中组合实现。相反，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实现中实现。此外，尽管上面可以将特征描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下，来自要求保护的组合的一个或多于一个特征可以从组合中去除，并且要求保护的组合可以涉及子组合或子组合的变化。
在某些情况下，多任务和并行处理可以是有利的。此外，上述实现中的各种系统组件的分离不应被理解为在所有实现中需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或封装到多个软件产品中。
现在描述了一些例示性实现和实现，显然，已通过示例的方式呈现的前述内容是例示性的而非限制性的。特别地，尽管本文呈现的许多示例涉及方法动作或系统元素的特定组合，但是这些动作和元素可以以其他方式组合来完成相同目标。仅结合一个实现讨论的动作、元素和特征不旨在从其他实现中的类似角色中排除。
本文使用的措辞和术语是出于描述的目的，并且不应被视为限制。本文中使用“包括”、“含有”、“具有”、“包含”、“涉及”、“由……表征”、“特征在于”及其变化旨在涵盖此后列出的项、其等同物和附加项、以及由此后列出的项排他地组成的替代实现。在一个实现中，本文所述的系统和方法由所描述的元素、动作或组件中的一个、多于一个的各个组合、或全部组成。
对本文中以单数提及的系统和方法的实现或元素或动作的任何引用也可以包含包括多个这些元素的实现，并且对本文中的任何实现或元素或动作的任何复数引用也可以包含仅包括单个元素的实现。单数或复数形式的引用不旨在将当前公开的系统或方法、它们的组件、动作或元素限制为单个或复数配置。对基于任何信息、动作或元素的任何动作或元素的引用可以包括动作或元素至少部分地基于任何信息、动作或元素的实现。
本文公开的任何实现可以与任何其他实现组合，并且对“实现”、“一些实现”、“替代实现”、“各种实现”或“一个实现”等的引用不必一定是相互排斥的，并且旨在指示结合实现描述的特定特征、结构或特性可以包括在至少一个实现中。如本文所使用的这样的术语不必一定都指代相同的实现。任何实现可以以与本文公开的方面和实现一致的任何方式与任何其他实现包括性地或排他性地组合。
对“或”的引用可以被解释为包括性的，使得使用“或”描述的任何术语可以指示单个、多于一个和全部所描述的术语中的任一个。
在附图、详细描述或任何权利要求中的技术特征之后是附图标记的情况下，仅出于增加附图、详细描述和权利要求的可理解性的目的而包括了附图标记。因此，附图标记及其缺失都不会对任何权利要求元素的范围具有任何限制效果。
出于例示和描述的目的呈现了实现的前述描述。前述描述不旨在是穷举性的或将本公开限制于所公开的精确形式，并且鉴于以上教导，变型和变化是可能的，或者可以从本公开获得变型和变化。选择并描述实现以解释本公开的原理及其实际应用，从而使得本领域技术人员能够利用各种实现并且具有适合于预期的特定用途的各种变型。在不脱离如所附权利要求书中所表达的本公开的范围的情况下，可以在实现的设计、操作条件和实现中进行其他替换、变型、改变和省略。

Claims (15)

1.一种方法，包括：由耦接到非暂态存储器的一个或多于一个处理器来训练机器学习模型，所述机器学习模型用于接收磁共振数据即MR数据并生成所述MR数据的重建，所述机器学习模型是基于损失集来训练的，所述损失集包括与频域相对应的第一损失值以及与基于图像的域相对应的第二损失值。
2.根据权利要求1所述的方法，其中，所述损失集包括：在训练数据的频域中进行操作的分区数据一致性损失即PDC损失以及在所述训练数据的基于图像的域中进行操作的外观一致性损失即AC损失。
3.根据权利要求1所述的方法，其中，基于训练MR数据的两个子集来训练所述机器学习模型，各个子集是通过将采样函数应用于所述训练数据的位置集来生成的。
4.根据权利要求3所述的方法，其中，还通过将所述两个子集馈送到变分网络中以获得两个预测子集来训练所述机器学习模型，以及其中，所述损失集中的至少一个损失是基于所述两个子集和所述两个预测子集。
5.根据权利要求1所述的方法，其中，所述MR数据是使用MR系统所捕获的非笛卡尔MR空间频率数据。
6.根据权利要求1所述的方法，其中，基于(1)使用输入MR数据的第一子集所生成的所述机器学习模型的第一输出和(2)使用所述输入MR数据所生成的所述机器学习模型的第二输出来计算所述第一损失值，以及其中，基于所述第一输出的变换的子集和所述输入MR数据的相应第二子集来计算所述第二损失值。
7.根据权利要求1所述的方法，其中，所述机器学习模型是双域自监督模型。
8.根据权利要求1所述的方法，还包括：接收患者MR数据并将所述患者MR数据馈送到所述机器学习模型，以基于所述患者MR数据获得重建图像。
9.一种方法，包括：
由耦接到非暂态存储器的一个或多于一个处理器基于第一损失值和第二损失值来训练机器学习模型，所述机器学习模型用于从磁共振空间频率数据即MR空间频率数据生成MR图像，其中，训练所述机器学习模型包括：
由所述一个或多于一个处理器基于使用输入MR空间频率数据的第一分区所生成的所述机器学习模型的第一输出和使用所述输入MR空间频率数据所生成的所述机器学习模型的第二输出来计算所述第一损失值；以及
由所述一个或多于一个处理器基于(1)所述输入MR空间频率数据和所述机器学习模型的第一输出的变换或者(2)所述第一输出的变换的分区和所述输入MR空间频率数据的第二分区来计算所述第二损失值。
10.根据权利要求9所述的方法，还包括：
由所述一个或多于一个处理器通过选择所述输入MR空间频率数据的第一子集来生成所述输入MR空间频率数据的第一分区；以及
由所述一个或多于一个处理器通过选择所述输入MR空间频率数据的第二子集来生成所述输入MR空间频率数据的第二分区。
11.根据权利要求9所述的方法，其中，所述机器学习模型包括多个数据一致性层和多个卷积层，以及其中，所述多个卷积层和所述多个数据一致性层被布置在多个块中，使得所述多个块中的各个块包括至少一个卷积层和至少一个数据一致性层。
12.根据权利要求9所述的方法，其中，所述机器学习模型是双域自监督模型，其中，所述机器学习模型在k空间域和基于图像的域这两者中是自监督的，以及其中，所述机器学习模型用于非笛卡尔MRI数据的重建。
13.根据权利要求9所述的方法，还包括：接收患者MR数据并将所述患者MR数据馈送到所述机器学习模型，以基于所述患者MR数据获得重建图像。
14.一种系统，包括：
磁共振成像系统即MR成像系统，其被配置为生成MR空间频率数据；以及
一个或多于一个处理器，其被配置为：
使所述MR成像系统基于非笛卡尔采样模式来生成所述MR空间频率数据；以及
执行机器学习模型以基于所述MR空间频率数据来生成MR图像，所述机器学习模型是基于与频域相对应的第一损失值和与基于图像的域相对应的第二损失值来训练的。
15.根据权利要求14所述的系统，其中，所述第一损失值是基于(1)使用MR训练数据的第一子集所生成的所述机器学习模型的第一输出和(2)使用所述MR训练数据所生成的所述机器学习模型的第二输出来计算的，以及其中，所述第二损失值是基于所述第一输出的变换的子集和所述MR训练数据的相应第二子集来计算的。
CN202280074251.7A 2021-09-07 2022-09-06 用于加速非笛卡尔磁共振成像重建的双域自监督学习 Pending CN118215851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410781359.0A CN118690823A (zh) 2021-09-07 2022-09-06 用于加速非笛卡尔磁共振成像重建的双域自监督学习的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163241238P 2021-09-07 2021-09-07
US63/241,238 2021-09-07
PCT/US2022/042665 WO2023038910A1 (en) 2021-09-07 2022-09-06 Dual-domain self-supervised learning for accelerated non-cartesian magnetic resonance imaging reconstruction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410781359.0A Division CN118690823A (zh) 2021-09-07 2022-09-06 用于加速非笛卡尔磁共振成像重建的双域自监督学习的系统和方法

Publications (1)

Publication Number Publication Date
CN118215851A true CN118215851A (zh) 2024-06-18

Family

ID=85507740

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202280074251.7A Pending CN118215851A (zh) 2021-09-07 2022-09-06 用于加速非笛卡尔磁共振成像重建的双域自监督学习
CN202410781359.0A Pending CN118690823A (zh) 2021-09-07 2022-09-06 用于加速非笛卡尔磁共振成像重建的双域自监督学习的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410781359.0A Pending CN118690823A (zh) 2021-09-07 2022-09-06 用于加速非笛卡尔磁共振成像重建的双域自监督学习的系统和方法

Country Status (4)

Country Link
US (1) US20240290011A1 (zh)
EP (1) EP4399537A1 (zh)
CN (2) CN118215851A (zh)
WO (1) WO2023038910A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788344B (zh) * 2024-02-26 2024-05-07 北京飞渡科技股份有限公司 一种基于扩散模型的建筑纹理图像修复方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5591493B2 (ja) * 2008-07-17 2014-09-17 株式会社東芝 磁気共鳴イメージング装置
US10133964B2 (en) * 2017-03-28 2018-11-20 Siemens Healthcare Gmbh Magnetic resonance image reconstruction system and method
US11300645B2 (en) * 2018-07-30 2022-04-12 Hyperfine Operations, Inc. Deep learning techniques for magnetic resonance image reconstruction
US11344219B2 (en) * 2019-03-14 2022-05-31 Hyperfine Operations, Inc. Deep learning techniques for alignment of magnetic resonance images

Also Published As

Publication number Publication date
CN118690823A (zh) 2024-09-24
EP4399537A1 (en) 2024-07-17
US20240290011A1 (en) 2024-08-29
WO2023038910A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
Knoll et al. Deep-learning methods for parallel magnetic resonance imaging reconstruction: A survey of the current approaches, trends, and issues
Hammernik et al. Physics-Driven Deep Learning for Computational Magnetic Resonance Imaging: Combining physics and machine learning for improved medical imaging
US10996306B2 (en) MRI system and method using neural network for detection of patient motion
US11372066B2 (en) Multi-resolution quantitative susceptibility mapping with magnetic resonance imaging
US9430854B2 (en) System and method for model consistency constrained medical image reconstruction
KR20210129050A (ko) 예측 모델을 사용한 모델 매개변수 결정
Lv et al. Which GAN? A comparative study of generative adversarial network-based fast MRI reconstruction
US20110241670A1 (en) Accelerated dynamic magnetic resonance imaging system and method
KR20220070502A (ko) 맥스웰 병렬 이미징
US20200337591A1 (en) System and method for correcting for patient motion during mr scanning
US12067652B2 (en) Correction of magnetic resonance images using multiple magnetic resonance imaging system configurations
US20240290011A1 (en) Dual-domain self-supervised learning for accelerated non-cartesian magnetic resonance imaging reconstruction
US11493585B2 (en) Medical information processing apparatus and medical information processing method
CN106137199B (zh) 扩散磁共振成像中的广义球面去卷积
EP4088129A1 (en) Accelerated time domain magnetic resonance spin tomography
Chang et al. Group feature selection for enhancing information gain in MRI reconstruction
JP6618786B2 (ja) 磁気共鳴イメージング装置及び画像処理装置
Zhang et al. fast GPU implementation of a scan-specific deep learning reconstruction for accelerated magnetic resonance imaging
Lee et al. Accelerated 3D myelin water imaging using joint spatio‐temporal reconstruction
Xue et al. DARCS: Memory-Efficient Deep Compressed Sensing Reconstruction for Acceleration of 3D Whole-Heart Coronary MR Angiography
Martín González Parallelization and deep learning techniques for the registration and reconstruction of dynamic cardiac magnetic resonance imaging
Duan et al. Non‐local low‐rank constraint‐based self‐consistent PMRI reconstruction using eigenvector maps
Lam Motion compensation from limited data for reference-constrained image reconstruction
Tang Deep Learning Aided Accelerated MR Acquisition Reconstruction and Evaluation
Kaimal Deep Sequential Compressed Sensing for Dynamic MRI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination