CN110945564B - 基于混合上下文cnn模型的医学图像分割 - Google Patents

Abstract

通过2D卷积神经网络(CNN)分割由多个解剖学图像形成的体积图像，每个解剖学图像具有不同成像模态的多个图像切片。通过在没有任何估计的图像切片的情况下结合来自两个相邻解剖学图像的所选择的图像切片来预处理单个解剖学图像以形成混合上下文图像。2D CNN利用关于多模态上下文的边信息和3D空间上下文来提高分割准确性，同时避免由于估计的图像切片中的伪像导致的分割性能降低。2D CNN通过具有从最高层级到最低层级的多个层级的BASKET‑NET模型来实现。层级的大多数多通道特征图中的通道数量从最高层级到最低层级单调减少，从而允许最高层级富含低层级特征细节，以帮助更精细地分割单个解剖学图像。

Description

基于混合上下文CNN模型的医学图像分割

缩写词列表

2D 二维

3D 三维

BN 批标准化

CNN 卷积神经网络

CT 计算机断层扫描

DSC 戴斯相似性系数

ELU 指数线性单元

FCN 完全卷积神经网络

FLAIR 流体衰减反转恢复

IR 反转恢复

MRI 磁共振成像

PET 正电子发射断层扫描

技术领域

本发明总体上涉及通过使用CNN(卷积神经网络)的自动图像分割。特别地，本发明涉及使用2D(二维)CNN来分割通过在医学应用中的不同成像模态下对受试者的身体部位进行成像而获得的体积图像。

背景技术

将MRI(磁共振成像)考虑为用于说明一般医学成像所考虑的技术问题的示例。

MRI广泛用于非侵入性地对受试者的身体部位成像的医疗应用。MRI的一个重要医学应用是对人脑进行成像以进行医学诊断，例如检测大脑中可能的肿瘤和表征阿尔茨海默病。在分析获得的MRI图像时，最经常需要将MRI图像分割成不同的类别或区域，例如脑中的灰质区域和白质区域。在对大脑进行成像时，通常生成体积图像，该体积图像是在大脑中的不同位置获得的多个解剖学图像。此外，在MRI中激励大脑时，大脑组织可能对不同的MRI序列作出不同的响应，从而通过用不同的MRI序列激励大脑来增强不同大脑组织之间的对比度。可以在不同的MRI模态下(即，用不同的MRI序列)对大脑成像，以更准确地区分大脑的不同区域。得到的MRI图像是具有多个图像切片(可以称为MRI切片)的多通道图像。在实践中通常会遇到分割多通道MRI图像的需要。

基于深度学习的分割方法(主要基于使用CNN)已被证明显著优于常规的自动分割方法，例如基于直方图的方法，并且避免了在常规方法中通常需要的需要大的领域知识数据库的需要。自从体积图像被分割以来，3D(三维)CNN已经示出在分割中实现比2D CNN更高的准确性。参见，例如，Q.DOU等人的“通过3D卷积神经网络从MR图像自动检测脑微出血(Automatic Detection of Cerebral Microbleeds from MR Images via 3DConvolutional Neural Networks)”，IEEE医学成像汇刊(IEEE Transactions on MedicalImaging)，第35卷，第1182-1195页，2016年5月，其公开内容通过引用整体并入本文。

然而，通过3D CNN的MRI体积图像分割遇到技术问题。如果被成像的连续身体部位位置间隔太远，例如6mm，则3D CNN的分割性能显著降低。相邻的身体部位位置之间的距离称为切片间隙(slice gap)。在临床实践中使用较长的切片间隙用于脑成像有时是不可避免的，这是由于例如需要在短时间内对大量患者成像，或者需要通过缩短固定被成像患者的时间来避免图像模糊。

为了演示，图10绘制了在通过使用3D CNN将大脑的体积图像分割成灰质(曲线1010)、白质(曲线1020)和脑脊液(曲线1030)时，在DSC(戴斯相似性系数)对于不同切片间隙方面的性能曲线。3D CNN被实现为VoxResNet，并在IBSR数据集上进行了训练和测试。IBSR数据集中图像的切片间隙为1.5mm。随后，3D CNN被用于分割MRBrainS数据集中的体积图像，切片间隙为3mm。很明显，分割性能下降是显著的，特别是在识别大脑中的脑脊液时。在识别灰质和白质方面也存在分割性能下降。还测试了具有6mm的切片间隙的第三方数据库。观察到更显著的性能下降。特别是，DSC下降到0.3，表明分割性能差。

期望开发一种基于CNN的分割技术，以解决上述分割性能下降的问题。所开发的技术可用于分割脑部体积图像，并且可用于分割对其他身体部位(例如心脏、肝脏等)成像的MRI体积图像。

在使用不限于MRI模态的一般成像模态的成像时也遇到上述问题。这些成像模态包括例如CT(计算机断层扫描)扫描、PET(正电子发射断层扫描)扫描和3D超声成像。如果切片间隙大，则通过3D CNN分割一般体积图像(该一般体积图像由多个解剖学图像形成，其中每个解剖学图像均为具有在不同成像模态下被成像的图像切片的多通道图像)的性能显著下降。所开发的技术还可用于分割一般体积图像。

另外，在切片间隙小的情况下，期望该技术还可以相对于常规技术提高分割性能。

发明内容

这里，提供了一种计算机实现的方法，所述方法用于分割由在身体部位的连续位置的序列被成像的多个解剖学图像形成的体积图像。单个解剖学图像是多通道图像，其包括在多个预先选择的MRI模态下在相同位置被成像的多个成像切片。

本公开的第一方面提供一种在所公开的体积图像分割方法中预处理多个解剖学图像的技术。

该方法包括从多个解剖学图像生成多个混合上下文图像。针对位置序列中除了其两个终端位置之外的所考虑位置生成的单个混合上下文图像是多通道图像，该多通道图像包括在所考虑位置被成像的对应的解剖学图像的多个图像切片、在第一位置被成像的一个或多个图像切片的第一集合和在第二位置被成像的一个或多个图像切片的第二集合。第一和第二位置分别紧接在位置序列中的所考虑位置之前和之后，从而避免单个混合上下文图像包括针对在第一位置和所考虑位置之间或者在第二位置和所考虑位置之间的中间位置所估计的任何成像切片。该方法还包括在2D CNN被训练之后用2D CNN分别处理多个混合上下文图像。通过2D CNN处理单个混合上下文图像以分割对应的解剖学图像，使得2D CNN能够利用关于多模态上下文的边信息和体积图像的3D空间上下文，以提高分割对应的解剖学图像的准确性，同时避免由于估计的图像切片中的伪像导致的分割性能降低的来源。在该方法中，相应地分割多个混合上下文图像中的所有不同图像，从而分割体积图像。

优选地，第一和第二图像切片集合中的每一个具有相同数量的图像切片，并且在从多个预先选择的成像模态中选择的同一组成像模态下被成像。在一个选项中，图像切片的所述相同数量是对应的解剖学图像中的图像切片的总数，使得第一和第二图像切片集合中的每一个在多个预先选择的成像模态下被成像。也就是说，第一图像切片集合是在第一位置被成像的第一相邻解剖学图像中的多个图像切片，并且第二图像切片集合是在第二位置被成像的第二相邻解剖学图像中的多个图像切片。在另一选项中，图像切片的所述相同数量小于对应的解剖学图像中的图像切片的总数。也就是说，第一图像切片集合是第一相邻解剖学图像中的多个图像切片的第一真子集，并且第二图像切片集合是第二相邻解剖学图像中的多个图像切片的第二真子集。在又一选项中，图像切片的所述相同数量是一个。

身体部位可以是受试者的头部。对应的解剖学图像被分割成多个类别。多个类别可以包括背景、灰质、白质和脑脊液。

多个预先选择的成像模态可以包括MRI模态，包括T1 MRI模态；IR MRI模态；和FLAIR MRI模态。

注意，在2D CNN被训练之后利用2D CNN分别处理多个混合上下文图像包括利用2DCNN处理单个混合上下文图像以分割对应的解剖学图像。利用2D CNN处理单个混合上下文图像可以包括：对单个混合上下文图像进行网格化以形成多个多通道图块；和通过2D CNN将多通道图块中的每一个处理为接收的输入图像，以获得分割的对应解剖学图像。

本公开的第二方面提供一种新颖的CNN模型，其可用于实现在所公开的体积图像分割方法中使用的2D CNN。提供的CNN模型命名为BASKET-NET。

由BASKET-NET模型实现的2D CNN用于通过在其间生成多个特征图来从接收的输入图像生成输出分割图。接收的输入图像、输出分割图和特征图中的每一个是具有多个通道的多通道图。2D CNN包括从最高层级到最低层级顺序布置的多个层级。2D CNN被配置为满足以下四个条件。第一，单个层级从输入图生成输出图，其中通过在其间生成一系列特征图将单个层级的输入图变换为其输出图。第二，最高层级的输入图是接收的输入图像，并且最高层级的输出图是输出分割图。第三，对于直接低于该单个层级的下一个较低层级，通过下采样单个层级的第一预先选择的特征图来获得下一个较低层级的输入图。第四，对下一个较低层级的输出图进行上采样，然后与单个层级的第二预先选择的特征图级联，以生成与单个层级中的第二预先选择的特征图相邻的下一个特征图。有利地，单个层级的第二预先选择的特征图中的通道的第一数量大于或等于下一个较低层级的第二预先选择的特征图中的通道的第二数量，使得与在下一个较低层级中相比，更多特征细节可包含在该单个层级中，从而允许最高层级的第二预先选择的特征图富含低层级特征细节，以在生成输出分割图时帮助更精细地分割接收的输入图像。

优选地，2D CNN还被配置为使得在单个层级中，利用一个或多个隐藏层处理除了第二预先选择的特征图之外的单个特征图以生成后续特征图。一个或多个隐藏层包括卷积层。在某些实施例中，一个或多个隐藏层包括卷积层、ELU层、丢弃层和BN层。

还优选的是，2D CNN还被配置为使得在单个层级中，使用一个或多个隐藏层来从第一预先选择的特征图生成第二预先选择的特征图。

在使用或不使用上述预处理多个解剖学图像的技术的情况下，2D CNN均可用于所公开的体积图像分割方法。

在使用上述预处理技术的情况下，接收的输入图像是单个混合上下文图像的一部分，并且输出分割图是与混合上下文图像的该一部分对应的分割的对应解剖学图像的一部分。

在不使用上述预处理技术的情况下，在2D CNN被训练之后，用2D CNN分割单个解剖学图像以形成分割的单个解剖学图像。对于多个解剖学图像中的所有不同解剖学图像，重复用2D CNN对单个解剖学图像的分割，从而对体积图像进行分割。对于2D CNN，接收的输入图像是单个解剖学图像的一部分，并且输出分割图是与单个解剖学图像的该一部分对应的分割的单个解剖学图像的一部分。

在不使用上述预处理技术的情况下，利用2D CNN对单个解剖学图像进行分割还可以包括：对单个解剖学图像进行网格化以形成多个多通道图块；和通过2D CNN将多通道图块中的每一个处理为接收的输入图像，以获得分割的单个解剖学图像。

本公开的第三方面提供一种网格化单个混合上下文图像或单个解剖学图像的技术，以进一步改善分割体积图像的性能。

在使用上述预处理技术的情况下，在2D CNN被训练之后利用2D CNN分别处理多个混合上下文图像包括利用2D CNN处理单个混合上下文图像以分割对应的解剖学图像。利用2D CNN对单个混合上下文图像进行处理包括：选择多个网格，每个网格用于对单个混合上下文图像进行网格化，其中网格在几何上彼此偏移；对于从网格中选择的候选网格，根据候选网格对单个混合上下文图像进行网格化以形成多个多通道图块；通过2D CNN将多通道图块中的每一个处理为接收的输入图像，以获得对应的解剖学图像的候选分割图像；对于所有网格重复单个混合上下文图像的网格化和每个多通道块的处理，从而获得多个候选分割图像；和根据逐像素多数表决，从多个候选分割图像形成分割的对应解剖学图像。

在不使用上述预处理技术的情况下，利用2D CNN对单个解剖学图像进行分割包括：选择多个网格，每个网格用于对单个解剖学图像进行网格化，其中网格在几何上彼此偏移；对于从网格中选择的候选网格，根据候选网格对单个解剖学图像进行网格化以形成多个多通道图块；通过2D CNN将多通道图块中的每一个处理为接收的输入图像，以获得单个解剖学图像的候选分割图像；对于所有网格重复单个解剖学图像的网格化和每个多通道图块的处理，从而获得多个候选分割图像；和根据逐像素的多数表决，从多个候选分割图像形成分割的单个解剖学图像。

这里，另外提供有一种计算机实现的方法，其用于重新训练在计算机执行的推断过程中使用的2D CNN。2D CNN具有一组CNN模型权重。推断过程用于分割由在身体部位的连续位置的序列被成像的多个解剖学图像形成的体积图像。单个解剖学图像是多通道图像，其包括在多个预先选择的成像模态下在相同位置被成像的多个图像切片。

在该方法中，执行推断过程一次或多次以分割一个或多个相应的体积图像以创建一个或多个第一多个标记解剖学图像。(等效地，每个标记的解剖学图像可以形成为具有用于定位在原始解剖学图像上识别的不同类别的标签的原始解剖学图像。)根据所公开的体积图像分割方法的任何实施例来布置推断过程。在分割之后从对应的解剖学图像创建单个标记的解剖学图像，以识别对应的解剖学图像中的不同类别或区域。

在单独的第一多个标记的解剖学图像中，一个或多个标记的解剖学图像被相同数量的一个或多个重新标记的解剖学图像替换，所述一个或多个重新标记的解剖学图像具有在对应的一个或多个标记的解剖学图像上的校正的分割，使得单独的第一多个标记的解剖学图像的一部分由第二多个标记的解剖学图像替换。从而，从一个或多个第一多个标记的解剖学图像生成一个或多个相应的第二多个标记的解剖学图像。

利用一个或多个相应的第二多个标记的解剖学图像来进一步训练2D CNN，以从前一组CNN模型权重更新CNN模型权重组。

通过在2D CNN采用更新的CNN模型权重组的条件下重复用于分割验证数据集的多个测试体积图像的推断过程来验证更新的CNN模型权重组。计算通过使用2D CNN中的更新的CNN模型权重组而获得的验证损失。验证损失表示在分割验证数据集的多个测试体积图像时的总体分割损失程度。

响应于发现通过更新的CNN模型组获得的验证损失小于通过前一组CNN权重获得的对应验证损失，采用更新的CNN模型权重组进行推断过程。否则，使用前一组CNN模型权重来恢复2D CNN。

如下文中的实施例所示，还公开了本公开的其他方面。

附图说明

图1A描绘了通过使用MRI对人头部成像而获得的体积图像。

图1B描绘了被分割成不同区域或类别的示例性解剖学图像。

图2描绘了用于示出根据本公开的某些实施例的在分割MRI体积图像时使用2DCNN的不同阶段的流程图。

图3描绘了示出根据本公开的某些实施例的体积图像分割方法的示例性步骤的流程图。

图4描绘了通过包括在所考虑位置被成像的解剖学图像的MRI切片以及两个相邻解剖学图像的MRI切片的所考虑位置的混合上下文图像的一个示例。

图5描绘了混合上下文图像的其他示例。

图6描绘了用于实现2D CNN的示例性BASKET-NET模型。

图7描绘了示例性地示出用于从输入图像获得输出的分割图像的方法的流程图，其中多个网格被单独地用于对输入图像进行网格化。

图8描绘了三个网格的示例，每个网格用于对输入图像进行网格化以形成多个图块(patch)。

图9描绘了示出根据本公开的某些实施例的在重新训练2D CNN时使用的示例性步骤的流程图。

图10绘制了在通过使用3D CNN将大脑的体积图像分割成灰质、白质和脑脊液时，在DSC对于不同切片间隙方面的性能曲线，表明当切片间隙增加时经历了显著的性能下降。

具体实施方式

本说明书和所附权利要求书中使用以下定义。除非另有说明，否则“受试者”是指动物或人。“CNN”表示具有多个隐藏层的神经网络，多个隐藏层中的至少一些是卷积层，其中每个卷积层用于执行与提供给该层的输入的卷积或点积。“2D CNN”表示其单独的卷积层适于执行与2D输入的2D卷积的CNN。“3D CNN”表示其单独的卷积层适于执行与3D输入的3D卷积的CNN。“MRI模态”是指在进行MRI以对受试者的身体部位成像时激励该身体部分的方案。该方案通过使用MRI序列来实现，该MRI序列是RF脉冲和梯度的特定设置，用于产生具有特定外观的图像，例如通过增强图像的对比度。MRI序列的细节可以在以下文献中找到，例如G.WIDMANN、B.HENNINGER、C.KREMSER和W.JASCHKE的“头部和颈部放射学中的MRI序列-现有技术(MRI Sequences in Head&Neck Radiology–State of the Art)”，

(2017)，第189卷，第413-422页，以及A.PATEL、C.SILVERBERG、D.BECKER-WEIDMAN、C.ROTH和S.DESHMUKH的“理解身体MRI序列及其表征组织的能力(Understanding Body MRI Sequences and Their Ability to CharacterizeTissues)”，“环球医学杂志”，第1期，第4卷，第1-9页，2016年，这两篇文献的公开内容通过引用结合在此。“成像模态”是指能够对身体部位进行3D扫描的一种成像形式。例如，成像模态可以是CT扫描、PET扫描、3D超声扫描、在一种MRI模态下的MRI扫描等。

本公开涉及用于分割体积图像的实施例。每个体积图像具有通过对受试者的身体部位进行成像而获得的解剖学多通道图像。每个多通道图像包括在不同成像模态下被成像的多个图像切片。例如，当使用MRI时，每个多通道图像的图像切片是在不同MRI模态下被成像的MRI切片。在另一个示例中，当如在PET-CT扫描中同时使用CT和PET来扫描身体部位时，每个多通道图像包括从CT扫描获得的一个图像切片和从PET扫描获得的另一个图像切片。除PET-CT扫描外，PET-MRI是另一种临床应用的混合成像技术。在又一示例中，每个多通道图像的图像切片包括从PET扫描获得的一个图像切片，以及在不同MRI模态下被成像的多个MRI切片。造影(contrast)CT常用于临床实践。在有和没有射线造影(radiocontrast)的情况下拍摄CT图像。在另一示例中，每个多通道图像的图像切片包括造影前CT图像切片和造影后CT图像切片。在目标造影增强的超声成像中，注射到身体部位中的选定器官的微泡造影剂用于对所选择器官成像时增强对比度。在另外的示例中，每个多通道图像的图像切片包括从具有和不具有微泡造影剂的超声成像获得的图像切片。尽管给出了许多示例，但这些示例是非限制性的并且并非详尽无遗。

示例性地，在下文中通过特别地考虑MRI体积图像来解释、描述和说明用于分割体积图像的实施例，在MRI体积图像中，每个解剖学多通道图像包括在不同MRI模态下被成像的MRI切片。本领域技术人员将理解，通过总结下文中公开的用于分割MRI体积图像的教导，可以以直接的方式导出用于分割一般体积图像的实施例。

在本文中，在实施例的开发中采用以下四个特征。

·使用2D CNN来分割单个图像卷而不是使用3D CNN来降低计算要求。在由2D CNN处理之前，利用预处理算法对每个解剖学多通道图像进行预处理，以结合由多模态上下文提供的边信息(side information)和单个体积图像中固有的3D空间上下文，从而产生混合上下文图像。尽管使用2D CNN以分割混合上下文图像，但是边信息在不使用3D CNN的情况下增强了分割性能。此外，混合上下文图像不包括估计的任何MRI切片。估计的MRI切片中的伪像是分割性能降低的来源。混合上下文图像包括最初仅从单独的体积图像获得的MRI切片。

·名为BASKET-NET的新颖CNN模型用于实现2D CNN_。该CNN模型有利地被配置为保留比高级特征更多的低级特征，以在生成输出分割图时帮助更精细地分割所接收的输入图像。

·多个网格分别用于对每个解剖学图像进行网格化以产生不同的多个2D图块。通过2D CNN处理每多个2D图块以产生一个分割图像。从得到的多个分割图像，使用逐像素多数表决来生成最终的分割图像。

·在发现分割体积图像中的一些分割图像被错误地分割的情况下_，手动校正这些分割图像。校正的图像替换分割体积图像中的原始分割图像(即，标记图像)以形成重新标记的体积图像。重新标记的体积图像用于通过从现有CNN模型权重更新CNN模型权重来重新训练2D CNN。这种重新训练方法是半自动重新训练方法。它在分割后续体积图像时提高了分割性能，同时避免了手动重建训练数据集并基于重建的训练数据集确定一组全新的CNN模型权重的常规方法。

这里，通过考虑神经成像中的示例性应用来解释本公开。尽管如此，本公开不仅限于对大脑成像的应用；本公开还可用于分割从对受试者的其他身体部位(例如心脏、肝脏、胸部、腹部、肌肉等)成像而获得的解剖学图像。

图1A描绘了通过对人头部10进行成像而获得的体积图像100。体积图像100由通过MRI技术而被成像的多个解剖学图像形成。在没有模糊不清的情况下，多个解剖学图像也由数字100表示。多个解剖学图像100在人头部10的连续位置108a-g的序列107单独被成像。即，头部10在位置108a-g连续地被成像。虽然为了说明的目的在图1A中描绘了七个位置108a-g，但是并不意味着本公开中考虑的任何体积图像仅限于该数量的位置，或该数量的解剖学图像。被成像的身体部位位置108a-g沿着参考方向(即沿着z轴13的方向(或简称为z方向13))在大多数情况下均匀地分布，如图1A所示。两个连续的身体部位位置(例如，位置108e和108f)之间的距离是切片间隙105。

解剖学图像110在下文中用于示出体积图像100的示例性解剖学图像。解剖学图像110示出了在z轴13上的所考虑位置108c被成像的人头部10的横截面。位置序列107是有序序列并且具有沿z方向13或沿与z方向13相反的方向顺序地布置的连续位置。在不失一般性的情况下，考虑由位置108a、108b、108c、...、108g给出的位置序列107。位置108a、108g是位于位置序列107的两端的两个终端位置。在位置序列107中，第一位置108b紧接在所考虑位置108c之前。类似地，在位置序列107中，第二位置108d紧接在所考虑位置108c之后。解剖学图像110具有分别在第一和第二位置108b、108d被成像的两个相邻解剖学图像131、132。

图1B描绘了解剖学图像110被分割成不同的类别或区域121-124，如分割的解剖学图像120中所示。解剖学图像110是多通道图像，该多通道图像包括用于存储在多个预先选择的MRI模态下在相同位置(即，所考虑位置108c)被成像的多个MRI切片111-113的多个通道。在如图1B所示的一个实用选择中，多个预先选择的MRI模态包括T1 MRI模态、IR MRI模态和FLAIR MRI模态。MRI切片111、112、113分别示出了在T1 MRI模态、IR MRI模态和FLAIRMRI模态下获得的MRI图像。在获得解剖学图像110时使用这些MRI模态增强了将大脑分割成灰质、白质和脑脊液的对比度。预先选择的MRI模态由成像中使用的MRI序列确定。通常，适当的MRI序列的选择取决于待被成像的身体部位和待被识别的身体组织的类型。MRI序列和特定地响应于相应的MRI序列的身体组织的概述在本领域中是可获得的，例如在上述G.WIDMANN等人以及PATEL等人的公开内容中。

在分割解剖学图像110之前，首先移除MRI切片111-113中的头骨的图像，因为头骨在分割解剖学图像110时不提供信息。用于头骨剥离的技术在本领域中是已知的，例如在下述文献中：P.KALAVATHI和V.B.S.PRASATH的“关于MRI头部扫描图像的头骨剥离的方法-评论(Methods on Skull Stripping of MRI Head Scan Images—a Review)”，数字成像杂志(Journal of Digital Imaging)(2016)29:365-379，其公开内容通过引用结合在此。去移除头骨后的MRI切片111-113共同用于分割解剖学图像110，从而产生分割的解剖学图像120。大脑上的三个区域121-123定位灰质、白质和脑脊液。大脑外是背景124。

在本公开中，2D CNN被用于体积图像分割。2D CNN的特征在于网络模型结构和应用于该网络模型结构的一组CNN模型权重。图2描绘了根据本公开的某些实施例的操作2DCNN以分割MRI体积图像的流程图。首先开始训练阶段210。在训练阶段210中，使用已经被分割的多个标记的体积图像来训练2D CNN。作为训练的结果而确定该组CNN模型权重。在2DCNN中使用所确定的一组CNN模型权重来执行推断阶段220。在推断阶段220中，通过经训练2D CNN来分割不同的体积图像。在推断阶段220中获得的一些分割的体积图像被发现分割不正确的情况下，开始重新训练阶段230并且重新训练2D CNN以获得新的一组CNN模型权重。此后，重新训练的2D CNN被用于体积图像分割。

本文公开了一种用于分割由多个解剖学图像形成的体积图像的计算机实现的方法。多个解剖学图像在身体部位的连续位置的序列被成像。单个解剖学图像是多通道图像，其包括在多个预先选择的成像模态下在相同位置被成像的多个图像切片。本文还公开了一种用于重新训练2D CNN的计算机实现的方法。

分割MRI体积图像的特定情况用于示例性地说明所公开的两种方法。这样，多个图像切片成为多个MRI切片，并且多个预先选择的成像模态成为多个预先选择的MRI模态。本领域技术人员将能够通过将针对在不同MRI模态下被成像的MRI切片所解决的细节来应用直接扩展到在不同成像模态下被成像的一般图像切片，来导出用于处理一般体积图像的两种公开方法的细节。

本公开的第一方面提供一种在所公开的体积图像分割方法中预处理多个解剖学图像的技术。

图3描绘了示出根据本公开的某些实施例的采用所公开的预处理技术的体积图像分割方法的示例性步骤的流程图。特别地，图3的流程图描绘了推断阶段220的一种实现方式。本领域技术人员将理解，训练阶段210的细节可以根据本文所公开的关于推断阶段220的教导和现有技术中与从训练数据估计一组CNN模型权重(例如，使用用于这样估计的反向传播训练算法)相关的知识体系中导出。

在步骤310中，通过预处理算法处理多个解剖学图像，以生成多个混合上下文图像，以结合关于多模态上下文的边信息和体积图像的3D空间上下文。

在描述步骤310的细节之前，值得一提的是，使用3D CNN来分割具有大切片间隙的体积图像的分割性能下降可能是由于在估计不在位置序列107中的位置的MRI切片时产生的伪像而导致的。在分割具有大切片间隙的体积图像时，对于两个相邻身体部位位置之间的中间位置估计的MRI切片通常用作3D CNN的输入，因为体积图像的切片间隙与训练3DCNN中所使用的训练体积图像的对应切片间隙不匹配。估计的MRI切片是通过对在位置序列107中的身体部位位置被成像的原始MRI切片插值而获得的计算的MRI切片。伪像通常被结合到估计的MRI切片中，形成分割性能下降的来源。因此，期望并且有利的是不将估计的MRI切片包括在多个混合上下文图像的生成中。

在用于从多个解剖学图像生成多个混合上下文图像的预处理算法中，针对位置序列中除了其两个终端位置之外的所考虑位置生成的单个混合上下文图像是多通道图像，该多通道图像包括在所考虑位置被成像的对应的解剖学图像的多个图像切片、在第一位置被成像的一个或多个图像切片的第一集合和在第二位置被成像的一个或多个图像切片的第二集合。第一位置紧接在位置序列中的所考虑位置之前。第二位置紧接在位置序列中的所考虑位置之后。因此，单个混合上下文图像包含要被分割的对应的解剖学图像。通过整体包含对应的解剖学图像，将多模态上下文嵌入在单个混合上下文图像中。此外，选择两个相邻解剖学图像中的每一个中的一个或多个MRI切片并将其引入到单个混合上下文图像中。这两个相邻的解剖学图像实际上反映了对应解剖学图像中不同对象之间的真实结构的变化。由此得出，体积图像的3D空间上下文被包含在单个混合上下文图像中。关于多模态上下文的边信息和3D空间上下文有利地可由2D CNN利用，以提高分割对应的解剖学图像的准确性，而无需使用更加计算密集的3D CNN。由于相邻解剖学图像中的原始MRI切片被用于形成单个混合上下文图像，因此有利地，避免了单个混合上下文图像包括针对第一位置和所考虑位置之间或者第二位置和所考虑位置之间的中间位置所估计的任何MRI切片。

为了说明单个混合上下文图像的生成，图4描绘了针对位置序列107中的所考虑位置108c生成混合上下文图像410的示例。所考虑位置108c不是两个终端位置108a、108g之一。混合上下文图像包含解剖学图像110，其在所考虑位置108c被成像。解剖学图像110包括分别在T1 MRI模态、IR MRI模态和FLAIR MRI模态下被成像的第一、第二和第三MRI切片111、112、113。在图4的示例中，在第一位置108b(即，在位置序列107中紧接在所考虑位置180c之前的位置)被成像的第一相邻解剖学图像131，以及在第二位置108d(即，在位置序列107中紧接在所考虑位置180c之后的位置)被成像的第二相邻解剖学图像132被结合到混合上下文图像410中。(如果解剖学图像110被视为体积图像100中的第k个解剖学图像，则第一和第二相邻解剖学图像131、132分别是第(k-1)和第(k+1)个解剖学图像。)等效地，第一相邻解剖学图像131的所有MRI切片421-423和第二相邻解剖学图像132的所有MRI切片431-433都被结合。也就是说，第一MRI切片集合包括第一相邻解剖学图像131中的MRI切片421-423，并且第二MRI切片集合包括第二相邻解剖学图像132中的MRI切片431-433。第一和第二MRI切片集合中的每一个中的MRI切片的数量是解剖学图像110中的MRI切片的总数，使得第一和第二MRI切片集合中的每一个在多个预先选择的MRI模态下被成像。

将来自两个相邻解剖学图像131、132的所有MRI切片421-423、431-433包括在混合上下文图像410中可能最大化分割性能。尽管如此，通过仅包括MRI切片421-423、431-433的一部分可以减少运行2D CNN所涉及的计算量，仅具有不显著的分割性能损失。优选地，第一和第二MRI切片集合分别仅包括MRI切片421-423的第一真子集和MRI切片431-433的第二真子集，使得第一和第二MRI切片集合分别是第一相邻解剖学图像131的一部分和第二相邻解剖学图像132的一部分。更优选地，第一和第二MRI切片集合中的每一个具有相同数量的MRI切片，并且在从多个预先选择的MRI模态中选择的同一组MRI模态下被成像。在该配置中，由于解剖学图像110位于三个连续位置的中间，所以在相同的MRI模态下获得并在位置序列107中的三个连续位置108b、108c、108d被成像的三个MRI切片的存在使得解剖图像110的分割更加准确。在一个实施选项中，第一和第二MRI切片集合中的每一个仅具有在相同MRI模态下被成像的一个MRI切片。

在实践中，包括在T1 MRI模态下在三个连续位置108b、108c、108d被成像的MRI切片的混合上下文图像是优选的，因为T1 MRI模态提供高的软组织辨别。结合在第一和第二位置108b、108d在T1 MRI模态下被成像的MRI切片增强了混合上下文图像的3D空间上下文。图5描绘了具有第一和第二MRI切片集合的不同选择的这种优选混合上下文图像的一些示例。除了解剖学图像110之外，第一混合上下文图像510a还包括在T1MRI模态下在第一和第二位置108b、108d被成像的两个MRI切片。第二混合上下文图像510b包括解剖学图像110的三个MRI切片111-113、在T1和IR MRI模态下的第一相邻解剖学图像131的第一对MRI切片以及也在T1和IR MRI模态下的第二相邻解剖学图像132的第二对MRI切片。第三混合上下文图像510c包括解剖学图像110的三个MRI切片111-113、在T1和FLAIR MRI模态下的第一相邻解剖学图像131的第一对MRI切片以及也在T1和FLAIR MRI模态下的第二相邻解剖学图像132的第二对MRI切片。

对于分别在体积图像100的两个终端位置108a、108g被成像的解剖学图像133、134中的每一个，在形成对应的混合上下文图像时缺失一个相邻的解剖学图像。在不失一般性的情况下，考虑生成解剖学图像133的对应的混合上下文图像。可以通过在生成对应的混合上下文图像时假设空白图像是该缺失的相邻解剖学图像来补救一个相邻解剖学图像的缺失。该补救措施实际上是可接受的，因为在位置108a，通常不存在软组织，并且解剖学图像133在临床上不重要。还可以假设解剖学图像133是缺失的相邻解剖学图像。这种补救措施实际上也是可以接受的，因为针对由不匹配引起的图像噪声2D CNN通常是稳健的。

作为评论，US2018/0240235A1公开了使用多切片FCN来处理目标2D切片和一个或多个最近邻2D切片以分割目标2D切片。然而，目标2D切片和一个或多个最近邻2D切片不是多通道图像。不同地，本文针对步骤310公开的预处理算法通过重新布置或重新组织在解剖学图像101和两个相邻的解剖学图像131、132中的MRI切片来从多个解剖学图像100创建单个混合上下文图像。

参考图3，在步骤310中生成多个混合上下文图像之后，使用经训练2D CNN分别处理多个混合上下文图像，以在步骤325中生成分割体积图像。在步骤325中，通过2D CNN处理单个混合上下文图像以分割对应的解剖学图像，使得2D CNN能够利用边信息来增强分割准确性。此外，由于单个混合上下文图像没有任何估计的MRI切片，因此避免了由于估计的MRI切片中的伪像导致的分割性能降低的来源。针对多个混合上下文图像中的所有不同混合上下文图像重复使用2D CNN的对单个混合上下文图像的分割，直到所有混合上下文图像被分割(步骤345)。

有利地并且优选地，2D CNN是如本文所公开的BASKET-NET。尽管如此，其他类型的2D CNN也可以适用于处理单个混合上下文图像，例如，CN109087318A、CN108537793A和WO2017091833A1以及O.RONNEBERGER、P.FISCHER和T.BROX的“U-Net：用于生物医学图像分割的卷积网络(U-Net:Convolutional Networks for Biomedical Image Segmentation)”(2015)(载于：Navab N.、Hornegger J.、Wells W.、Frangi A.(编辑)，医学图像计算和计算机辅助干预(Medical Image Computing and Computer-Assisted Intervention)-MICCAI2015，计算机科学讲义(Lecture Notes in Computer Science)，第9351卷，Springer)中所公开的U-NET及其变体，其公开内容通过引用结合到本文中。

在执行步骤325时，由于CNN实现方式的考虑，通常首先将单个混合上下文图像网格化以形成多个多通道图块(步骤320)，并且通过2D CNN逐个地处理多通道图块(步骤330)直到所有图块都被处理(步骤340)。在一个实施例中，单个图块具有80×80像素的大小。虽然通常在CNN处理之前使用通过网格化将单个混合上下文图像变换为图块，但是本公开不限于需要使用网格化。有可能实现2D CNN以直接处理单独的混合上下文图像而无需网格化。

在步骤325中获得分割的体积图像之后，可选地，在步骤350中对分割的体积图像进行后处理。后处理包括标记的体积图像重建、边界切割等。在使用2D CNN处理多个多通道图块之后，组装所有经处理的图块以形成分割图像，其可以比原始解剖学图像大。边界切割用于将分割图像的大小减小到原始解剖学图像的大小。在标记体积图像重建中，分割图像中的每个像素用数字(例如0、1、2)标记，以表示像素的类别或像素被分类到区域。

步骤310的一个重要特征是直接从体积图像100获得单个混合上下文图像中的所有MRI切片，而不需要如使用3D CNN时通常所需的那样进行任何插值。计算的MRI切片会引入伪像，这可能会导致大的误差。为了证明在存在大切片间隙的情况下使用步骤310的所公开方法相对于使用3D CNN的现有方法的稳健性，获得了在切片间隙从3mm增加到6mm的情况下用于将MRI体积图像分割成灰质、白质和脑脊液的实验结果。所使用的3D CNN被实现为VoxResNet。对于所公开的方法，使用BASKET-NET作为2D CNN。通过DSC测量分割性能。DSC的计算由L.R.戴斯(DICE)的“物种之间的生态关联量的测量(Measures of the amount ofecologic association between species)”(生态学(Ecology)，1945；26:297-302)给出，其公开内容通过引用结合到本文中。下表列出了当切片间隙从3mm增加到6mm时，根据DSC百分比下降的性能损失。考虑使用步骤310的所公开方法和使用3D CNN的方法。

表中的数据显示，虽然当切片间隙从3mm增加到6mm时通过使用3D CNN存在显著的性能下降，但是所公开的方法的对应性能下降很小。结果证明了所公开的方法对于切片间隙的增加的稳健性。

还要注意，多个混合上下文图像与切片间隙105不相关。即使被成像的连续身体部位位置间隔太远，或者即使要被分割的不同MRI体积图像之间存在切片间隙的变化，所公开的体积图像分割方法也是有用的。由于在步骤310中详述的预处理算法也用于训练阶段210，因此预处理算法也不考虑训练数据集中的每个标记体积图像中使用的对应切片间隙。

本公开的第二方面提供BASKET-NET，其为一种用于实现2D CNN的新颖CNN模型。

BASKET-NET模型具有通过图6中示出的示例实现方式示例性地示出为如下的网络模型结构。图6描绘了根据BASKET-NET模型600的2D CNN的实现方式，BASKET-NET模型600适于处理从图5中所示的第一混合上下文图像510a获得的多通道图块中的每一个。第一混合上下文图像510a是五通道图像，因为它具有5个MRI切片。

由BASKET-NET模型600实现的2D CNN用于通过在其间生成多个特征图(例如，特征图618的序列)从接收的输入图像611生成输出分割图612。接收的输入图像611、输出分割图612和特征图中的每一个是具有多个通道的多通道图。

类似于O.RONNEBERGER、P.FISCHER和T.BROX所公开的U-NET模型，BASKET-NET模型600是包括从最高层级610到最低层级650顺序地布置的多个层级的多层级模型。作为图6所示的示例，BASKET-NET模型600具有五个层级，即最高层级610、三个中间层级620、630、640和最低层级650。通常，BASKET-NET模型可以具有大于2(例如，4和6)的任何数量的层级。

BASKET-NET模型600或多个层级610、620、630、640、650被配置为包括以下四个特性。

第一，单个层级从输入图生成输出图。通过在其间生成一系列特征图，将单个层级的输入图变换为其输出图。如图6所示，层级610、620、630、640、650分别具有输入图611、621、631、641、651和输出图612、622、632、642、652。考虑层级620进行说明。输入图621被变换为输出图622，其间生成一系列特征图。该系列特征图包括特征图623、624、628。

第二，最高层级610的输入图和输出图也分别是接收的输入图像611和输出分割图612。

第三，对于直接低于单个层级的下一个较低层级，通过下采样单个层级的第一预先选择的特征图来获得下一个较低层级的输入图。例如，直接低于层级620的下一个较低层级是层级630。通过下采样，减小第一预先选择的特征图中的每个通道的2D图像大小。在下采样时通道的数量保持不变，使得单个层级的第一预先选择的特征图和下一个较低层级的输入图具有相同数量的通道。层级610、620、630、640分别具有第一预先选择的特征图613、623、633、643。注意，最低层级650不具有第一预先选择的特征图。对各个层级610、620、630、640的第一预先选择的特征图613、623、633、643进行下采样，以形成各个下一个较低层级620、630、640、650的输入图621、631、641、651。在某些实施例中，通过使用具有步长2的卷积层或池化层来实现下采样。“步长(stride)”是滤波器从一个位置跳到紧接的下一个位置的像素的数量。

第四，对下一个较低层级的输出图进行上采样，然后与单个层级的第二预先选择的特征图级联(concatenate)，以生成与单个层级中的第二预先选择的特征图相邻的下一个特征图。通过上采样，增加下一较低层级的输出图中的每个通道的2D图像大小以形成上采样输出图。在上采样时，通道数保持不变，因此输出图和上采样输出图具有相同数量的通道。通过将第二预先选择的特征图添附到上采样输出图的通道来将第二预先选择的特征图与上采样输出图级联，以形成下一个特征图。层级610、620、630、640分别具有第二预先选择的特征图614、624、634、644和下一个特征图615、625、635、645。注意，最低层级650没有第二预先选择的特征图。分别对各个层级650、640、630、620的输出图652、642、632、622进行上采样，然后与各个层级640、630、620、610的第二预先选择的特征图644、634、624、614级联，从而分别形成各个层级640、630、620、610的下一个特征图645、635、625、615。

发明人进行以下观察，其导致BASKET-NET模型600的独特特征。2D CNN用于通过特征分类来分割解剖学图像或混合上下文图像。在最高层级610中，特征图(例如，连续特征图618的序列)旨在提取或识别低层级特征。低层级特征是可以通过卷积滤波器提取的图像的精细细节，例如线、边缘或点。高层级特征构建在低层级特征之上，以检测图像中的对象和较大的形状。因此，最低层级650中的特征图旨在提取或识别高层级特征。从而，低层级特征从最高层级610到最低层级650逐渐变换为高层级特征。在分割解剖学图像或混合上下文图像时，目标是识别图像中的精细细节，因为精细细节对于医师执行的医疗诊断而言，比大细节更有价值。如果第一特征图的通道多于第二特征图，则第一特征图具有比第二特征图更多的用于包含特征的存储容量。这样，如果较高层级在大多数特征图中(更优选地在每个特征图中)具有比较低层级更多的通道，则是有利的。发明人观察到不同的是，U-NET在较低层级的特征图中具有比在较高层级的特征图中更多的通道。

有利地，BASKET-NET模型600还被如下配置。在单个层级的第二预先选择的特征图中的通道的第一数量大于或等于下一个较低层级的第二预先选择的特征图中的通道的第二数量。结果，在该单个层级中可以包含比在下一个较低层级中更多的特征细节，从而允许最高层级的第二预先选择的特征图富含低层级特征细节，以在生成输出分割图612时帮助更精细地分割接收的输入图像611。

在以上讨论中，将所考虑的层级的第二预先选择的特征图中的通道的数量选择为表示在该层级中的大多数特征图中采用的通道的数量。替代地，在该层级中的大多数特征图中的通道的数量可以全面地(inclusively)由在第一和第二预先选择的特征图之间的特征图当中的最小通道数量来表示。如果使用后一种表示，则BASKET-NET模型600被配置成使得单个层级的全面地在第一和第二预先选择的特征图之间的特征图中的通道的第一最小数量大于或等于下一个较低层级的全面地在第一和第二预先选择的特征图之间的特征图当中的通道的第二最小数量。

在图6中，每个图的通道数显示在图的顶部。示出了最高层级610的大多数特征图中的通道的数量是128。特别地，示出了对于全面地在第一和第二预先选择的特征图613、614之间的特征图存在128个通道。在层级620、630、640、650中，大多数特征图中的对应通道数量分别是128、64、32和32。显然，大多数特征图中的通道数量从最高层级610到最低层级650单调减少。还显然的是，对于层级610、620、630、640，第二预先选择的特征图614、624、634、644中的通道数量分别是128、128、64和32。

还要注意，如图6所示，接收的输入图像611具有5个通道，并且输出分割图612具有4个通道。这是因为图6中所示的BASKET-NET模型600适于处理作为接收的输入图像611的具有5个MRI切片的第一混合上下文图像510a。第一混合上下文图像510a被分割成4个类别，即，背景、灰质、白质和脑脊液。

在单个层级中，优选地，使用一个或多个隐藏层处理除了第二预先选择的特征图之外的单个特征图以生成后续特征图，其中，一个或多个隐藏层包括卷积层。在某些实施例中，一个或多个隐藏层包括卷积层、ELU层、丢弃(dropout)层和BN层。例如，在最高层级610中，通过使用包括卷积层、ELU层、丢弃层和BN层的隐藏层619a的序列进行处理，从第一预先选择的特征图613生成后续特征图613a。ELU是激活函数。ELU的细节可以在下述文献中找到：C.NivankPA、W.IJOMAH、A.GACHAGAN和S.MARSHALL的“激活函数：深度学习的实践和研究趋势的比较(Activation Functions:Comparison of trends in Practice and Researchfor Deep Learning)”，arXiv：1811.03378，其公开内容通过引用结合于此。丢弃层的细节可以在下述文献中找到：N.SRIVASTAVA、G.HINTON、A.KRIZHEVSKY、I.SUTSKEVER和R.SALAKHUTDINOV的“丢弃：防止神经网络过度拟合的简单方法(Dropout:A Simple Way toPrevent Neural Networks from Overfitting)”(15(六月)：1929-1958年，2014年)，其公开内容通过引用结合于此。BN层的细节可以在下述文献中找到：S.IOFFE和C.SZEGEDY的“批标准化：通过减少内部协变量移位来加速深度网络训练(Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shift)”，arXiv：1502.03167，其公开内容通过引用结合于此。

在单个层级中，优选地，使用一个或多个隐藏层来从第一预先选择的特征图生成第二预先选择的特征图。例如，在最高层级610中，通过隐藏层619a-f的多个序列从第一预先选择的特征图613生成第二预先选择的特征图614。

在将BASKET-NET模型600实现为用于体积图像分割方法的2D CNN时，接收的输入图像611是单个混合上下文图像的一部分，并且输出分割图612是与混合上下文图像的该一部分对应的分割的对应解剖学图像的一部分。如果2D CNN被实现为直接处理单个混合上下文图像而不进行网格化，则接收的输入图像611是单个混合上下文图像，并且输出分割图612是分割的对应解剖学图像。

将利用混合上下文图像和BASKET-NET模型600的所公开方法实现的分割性能与基于使用普通解剖学图像和U-NET模型来分割体积图像的性能进行比较。由MRBrainS18(MICCAI 2018上关于MR大脑分割的大挑战)提供的多模态MRI数据用于在测试中进行体积图像分割。在T1加权、T1加权反转恢复和T2-FLAIR MRI模态(分别对应于本文使用的T1、IR和FLAIR MRI模态)下获得多模态MRI数据。在测试所公开的方法时，每个混合上下文图像的格式遵循如图5中所示的第一混合上下文图像510a的格式。获得DSC的平均值，其用作分割性能的指标。获得的平均DSC值显示在下表中。

结果表明，所公开的使用混合上下文图像和BASKET-NET模型的方法实现了比使用普通解剖学图像和U-NET模型的早期方法更好的分割性能。

尽管优选的是将通过BASKET-NET模型600实现的2D CNN用于处理多个混合上下文图像，但是仍然有利的是使用BASKET-NET模型作为2D CNN来通过利用在生成输出分割图时帮助更精细地分割接收的输入图像的优点，直接处理多个解剖学图像100。然后，接收的输入图像611是单个解剖学图像(例如，解剖学图像110)的一部分，并且输出分割图612是分割的解剖学图像的对应部分。如果2D CNN被实现为直接处理单个解剖学图像而不进行网格化，则接收的输入图像611是单个解剖学图像，并且输出分割图612是分割的解剖学图像。

本公开的第三方面提供一种网格化单个混合上下文图像或单个解剖学图像的技术，以进一步改善分割体积图像100的性能。该技术适用于所公开的体积图像分割方法，不管具有或不具有预处理步骤310。该技术基于选择多个网格，使用每个网格作为候选网格来对输入图像进行网格化以形成相应的多个图块，通过2D CNN分割相应的多个图块以生成候选分割图像，并通过逐像素多数表决从所生成的多个候选分割图像形成输出分割图像。

借助于图7更详细地描述该技术。图7描绘了用于示例性地示出用于从输入图像获得输出分割图像的方法的流程图，其中使用了上述网格化技术。输入图像可以是单个混合上下文图像或单个解剖学图像。用作输入图像的单个混合上下文图像给出分割的对应解剖学图像作为输出分割图像。如果单个解剖学图像是输入图像，则输出分割图像就是在通过适当的2D CNN分割之后的单个解剖学图像。

在步骤710中，选择多个网格，每个网格均用于对输入图像进行网格化，其中网格在几何上彼此偏移。借助于图8示例性地示出了对网格的选择。

图8描绘了用作用于对输入图像810进行网格化的候选网格的三个网格(第一网格821、第二网格822和第三网格823)的示例。第一网格821是用于图块生成的常规网格，其覆盖整个输入图像810。用第一网格821对输入图像810进行网格化导致第一多个图块。第二网格822通过使第一网格821沿着与x轴11相反的方向移位dx并沿着与y轴12相反的方向移位dy而形成，其中dx和dy是以像素数量测量的距离。第三网格823以类似的方式形成，但是用于形成第三网格823的(dx，dy)(即，dx和dy的有序值对)与用于形成第二网格822的(dx，dy)不同。由此得出，第二和第三网格822、823在几何上与第一网格821偏移。类似地，第二网格822和第三网格823彼此相互偏移。注意，在常规网格的特殊情况下，即第一网格821，使用(dx，dy)＝(0，0)。

在一个示例中，考虑网格化之后的得到图块具有80×80像素的大小。第二网格822和第三网格823分别从第一网格821生成，其中，分别地，(dx，dy)＝(16，16)和(dx，dy)＝(48，48)。在该示例中，第二网格822的dx和dy各自被选择为80(即图块长度)的20％。对于第三网格823，相应的百分比是60％。

在步骤710中选择网格之后，从网格中选择候选网格。在步骤720中，根据候选网格对输入图像进行网格化以形成多个图块。由于输入图像是多通道图像，因此在步骤720中获得的单个图块是多通道图块。参见图8。观察到第二和第三网格822、823大于输入图像810。在一般情况下，如果候选网格大于输入图像，则在生成图块期间图块不覆盖输入图像的区域是零填充的。在获得图块之后，在步骤730中通过2D CNN处理每个图块，以便获得候选分割图像。对所有网格重复步骤720、730(步骤740)。由此得到多个候选分割图像。

在步骤750中，根据逐像素多数表决，从多个候选分割图像形成输出分割图像，这将在下面阐述。基于用于图块生成的相应网格而形成的每个候选分割图像首先在几何上移位，移位的量与从常规网格形成相应的网格时引入的移位的量相同。考虑图8中所示的第二网格822进行说明。输入图像810的最左上角沿着x轴11与第二网格822的最左上角偏移dx并且沿y轴12偏移dy，其中(dx，dy)＝(16，16)。在分割之后，由于第二网格822而获得的候选分割图像也在几何上分别沿着x轴11和y轴12与第二网格822偏移dx和dy。为了将候选分割图像的最左上角带到第二网格822的最左上角，候选分割图像分别沿x轴11和y轴12移位-dx和-dy。在移位所有候选分割图像之后，形成多个几何上对齐的候选分割图像。每个这样的图像中的单个像素具有表示单个像素被分类到的类别或区域的值。输出分割图像中的特定(x，y)坐标上的像素的类别通过在多个几何上对齐的候选分割图像中的相同(x，y)坐标上的像素类别的多数表决来确定。对于如图8所示的三格网情况，如果在所有三个几何上对齐的候选分割图像中的特定(x，y)坐标处的三个像素的类别分别是白质、白质和灰质，则输出分割图中的该(x，y)坐标处的对应像素被指定为白质的类别。

上述使用多个网格然后通过逐像素多数表决形成输出分割图像的技术仅应用于推断阶段220，以便获得分割性能的改善。该技术不适用于训练阶段210和重新训练阶段230。

进行了测试以确认通过使用多个网格的上述技术所实现的性能改进。在测试中使用所公开的使用混合上下文图像和BASKET-NET模型的方法。由MRBrainS18(MICCAI 2018上关于MR大脑分割的大挑战)提供的多模态MRI数据用于在测试中进行体积图像分割。对于将体积图像分割成白质、灰质和脑脊液的DSC的值在下表中在使用单个网格进行网格化和使用多个网格的两个测试条件下列出。

	脑脊液的DSC	灰质的DSC	白质的DSC
				单网格	0.847	0.848	0.889
多网格	0.852	0.850	0.890

结果表明，所公开的使用多个网格的技术在生成用于CNN处理的多个图块时实现了比使用单个网格的常规技术更好的分割性能。

本公开的第四方面提供一种用于重新训练2D CNN的方法。2D CNN用于计算机执行的推断过程，其中推断过程用于分割体积图像，并且根据如本文所公开的体积图像分割方法的任何实施例来布置。如上所述，2D CNN的特征在于网络模型结构和应用于网络模型结构的一组CNN模型权重。重新训练2D CNN是为了寻找更好的CNN模型权重组以改善分割性能。

图9描绘了示出2D CNN重新训练方法的示例性步骤的流程图。

在步骤910中，执行推断过程一次或多次以分割一个或多个相应体积图像，从而创建一个或多个第一多个标记的解剖学图像。每个体积图像被分割并产生多个标记的解剖学图像。在分割之后从对应的解剖学图像创建单个标记的解剖学图像。在单个标记的解剖学图像上标记或表示不同的类别。等效地，每个标记的解剖学图像也可以形成为原始解剖学图像，其中位于各个文档中的标签用于定位在原始解剖学图像上识别的不同类别。

在步骤910中获得一个或多个第一多个标记的解剖学图像之后，在步骤920中从一个或多个第一多个标记的解剖学图像生成一个或多个第二多个标记的解剖学图像。特别地，每第二多个标记的解剖学图像是从对应的第一多个标记的解剖学图像生成的。在单独的第一多个标记的解剖学图像中，一个或多个标记的解剖学图像被相同数量的一个或多个重新标记的解剖学图像替换，所述重新标记的解剖学图像具有在对应的一个或多个标记的解剖学图像上的校正的分割，使得作为整体，单独的第一多个标记的解剖学图像被第二多个标记的解剖学图像替换。结果，从一个或多个第一多个标记的解剖学图像生成一个或多个相应的第二多个标记的解剖学图像。

在准备一个或多个重新标记的解剖学图像时，首先对单独的第一多个标记的解剖学图像中的所有标记的解剖学图像进行评分。标记的解剖学图像的分数表示标记的解剖学图像被正确分割的置信度。由于分割结果包括分割标签和各个像素的分数，因此在像素上计算的平均分数可以用作标记的解剖学图像的分数。由例如医学专业人员手动校正一个或多个低分数的标记的解剖学图像，以形成一个或多个重新标记的解剖学图像。

还要注意，单独的第一多个标记的解剖学图像具有至少一个不正确分割的图像。在实际中，大量体积图像被分割。对每个分割的体积图像进行评分。在对所有分割的体积图像进行评分和检查之后，识别需要分割校正的一个或多个第一多个标记的解剖学图像，或者发现所有分割的体积图像被正确地分割。

注意，在执行步骤910时，已经训练了2D CNN。所公开的重新训练方法的主要优点在于从已经在推断阶段220中使用的先前CNN模型权重组来更新CNN模型权重。与重新进行训练以确定全新的一组CNN模型权重(训练阶段210)的常规方法相比，重新训练2D CNN可能减少所需的计算工作量/时间量。此外，在所公开的重新训练方法中，不需要常规方法所需的手动重建训练数据集。

在执行步骤920之后，使用一个或多个相应的第二多个标记的解剖学图像来进一步训练2D CNN，以从前一组CNN模型权重更新CNN模型权重组(步骤930)。从而，获得更新的CNN模型权重组。

在步骤940中，通过在2D CNN采用更新的CNN模型权重组的条件下重复用于分割验证数据集的多个测试体积图像的推断过程来验证更新的CNN模型权重组。基于对多个测试体积图像进行分割并评估每个分割中的分割准确性，计算通过使用2D CNN中的更新的CNN模型权重组而获得的验证损失。验证损失表示在分割验证数据集的多个测试体积图像时的总体分割损失程度。例如，验证损失可以被计算为1减去对于多个测试体积图像的分割所计算的平均DSC。

在步骤950中，将通过更新的CNN模型权重组获得的验证损失(下文中称为第一损失)与通过前一组CNN权重获得的对应验证损失(下文称为第二损失)进行比较。如果发现第一损失小于第二损失，则2D CNN采用更新的CNN模型权重组以用于推断过程的后续执行(步骤960)。另一方面，如果第一次损失不小于第二次损失，则使用前一组CNN模型权重恢复2DCNN(步骤970)。

注意，步骤910处于推断阶段220，而步骤920、930、940、950、960和970处于重新训练阶段230。

这里公开的实施例可以使用计算设备来实现，例如计算机、计算服务器、通用处理器、专用计算处理器、数字信号处理器、专用于计算图像的卷积或相关的处理器、可编程逻辑设备和现场可编程门阵列，其中根据本公开的教导来配置或编程计算设备。基于本公开的教导，软件或电子领域的技术人员可以容易地准备在计算设备中运行的计算机指令或软件代码。

在不脱离本发明的精神或基本特征的情况下，本发明可以以其他具体形式实施。因此，本实施例在所有方面都被认为是说明性的而非限制性的。本发明的范围由所附权利要求而不是前面的描述表示，因此在权利要求的等同物的含义和范围内的所有变化都包含在其中。

Claims (20)

1.一种计算机实现的方法，所述方法用于分割由在身体部位的连续位置的序列被成像的多个解剖学图像形成的体积图像，单个解剖学图像是多通道图像，所述多通道图像包括在多个预先选择的成像模态下在相同位置被成像的多个图像切片，所述方法包括：

从所述多个解剖学图像生成多个混合上下文图像，其中，针对位置序列中除了其两个终端位置之外的所考虑位置生成的单个混合上下文图像是多通道图像，该多通道图像包括在所考虑位置被成像的对应的解剖学图像的多个图像切片、在第一位置被成像的一个或多个图像切片的第一集合和在第二位置被成像的一个或多个图像切片的第二集合，并且其中，所述第一位置和第二位置在位置序列中分别紧接在所考虑位置之前和紧接在所考虑位置之后，从而避免所述单个混合上下文图像包括针对所述第一位置和所考虑位置之间或所述第二位置和所考虑位置之间的中间位置估计的任何成像切片；和

在二维(2D)卷积神经网络(CNN)被训练之后，使用该二维卷积神经网络分别处理所述多个混合上下文图像，其中，通过所述二维卷积神经网络处理单个混合上下文图像以分割对应的解剖学图像，使得所述二维卷积神经网络能够利用关于多模态上下文的边信息和体积图像的三维(3D)空间上下文，以提高分割对应的解剖学图像的准确性，同时避免由于估计的图像切片中的伪像导致的分割性能降低的来源。

2.根据权利要求1所述的方法，其中，所述一个或多个图像切片的第一集合是在所述第一位置被成像的第一相邻解剖学图像中的所述多个图像切片，并且所述一个或多个图像切片的第二集合是在所述第二位置被成像的第二相邻解剖学图像中的所述多个图像切片。

3.根据权利要求1所述的方法，其中，所述一个或多个图像切片的第一集合是在所述第一位置被成像的第一相邻解剖学图像中的所述多个图像切片的第一真子集，并且所述一个或多个图像切片的第二集合是在所述第二位置被成像的第二相邻解剖学图像中的所述多个图像切片的第二真子集。

4.根据权利要求3所述的方法，其中，所述一个或多个图像切片的第一集合和一个或多个图像切片的第二集合中的每一个具有相同数量的图像切片，并且在从所述多个预先选择的成像模态中选择的同一组成像模态下被成像。

5.根据权利要求4所述的方法，其中，图像切片的所述相同数量是一个。

6.根据权利要求1所述的方法，其中：

所述身体部位是受试者的头部；和

对应的解剖学图像被分割成多个类别，所述多个类别包括背景、灰质、白质和脑脊液。

7.根据权利要求1所述的方法，其中，所述多个预先选择的成像模态包括：磁共振成像MRI模态，包括T1磁共振成像模态；反转恢复IR磁共振成像模态；和流体衰减反转恢复FLAIR磁共振成像模态。

8.根据权利要求1所述的方法，其中：

所述二维卷积神经网络用于通过在其间生成多个特征图来从接收的输入图像生成输出分割图，其中，所述接收的输入图像、所述输出分割图和所述特征图中的每一个是具有多个通道的多通道图；

所述接收的输入图像是单个混合上下文图像的一部分，由此，所述输出分割图是与该混合上下文图像的该一部分对应的分割的对应解剖学图像的一部分；

所述二维卷积神经网络包括从最高层级到最低层级顺序地布置的多个层级，所述二维卷积神经网络被配置为使得：

单个层级从输入图生成输出图，通过在其间生成一系列特征图，将所述单个层级的输入图变换为其输出图；

所述最高层级的输入图是所述接收的输入图像，并且所述最高层级的输出图是所述输出分割图；

对于直接低于所述单个层级的下一个较低层级，通过下采样所述单个层级的第一预先选择的特征图来获得该下一个较低层级的输入图；和

所述下一个较低层级的输出图被上采样，然后与所述单个层级的第二预先选择的特征图级联，以生成与所述单个层级中的所述第二预先选择的特征图相邻的下一个特征图；

并且

在所述单个层级的第二预先选择的特征图中的通道的第一数量大于或等于所述下一个较低层级的第二预先选择的特征图中的通道的第二数量，使得与在所述下一个较低层级中相比，在所述单个层级中能够包含更多的特征细节，从而允许所述最高层级的第二预先选择的特征图富含低层级特征细节，以在生成输出分割图时帮助更精细地分割所述接收的输入图像。

9.根据权利要求8所述的方法，其中，所述二维卷积神经网络还被配置为使得在所述单个层级中，使用一个或多个隐藏层处理除所述第二预先选择的特征图之外的单个特征图，以生成后续特征图，所述一个或多个隐藏层包括卷积层。

10.根据权利要求9所述的方法，其中，所述一个或多个隐藏层包括所述卷积层、指数线性单元(ELU)层、丢弃层和批标准化(BN)层。

11.根据权利要求8所述的方法，其中，所述二维卷积神经网络还被配置为使得在所述单个层级中，一个或多个隐藏层被用于从所述第一预先选择的特征图生成所述第二预先选择的特征图。

12.根据权利要求8所述的方法，其中：

在所述二维卷积神经网络被训练之后，使用所述二维卷积神经网络分别处理所述多个混合上下文图像包括：使用所述二维卷积神经网络处理所述单个混合上下文图像以分割对应的解剖学图像；并且

使用所述二维卷积神经网络处理所述单个混合上下文图像包括：

对所述单个混合上下文图像进行网格化以形成多个多通道图块；和

通过所述二维卷积神经网络将所述多通道图块中的每一个处理为接收的输入图像，以获得分割的对应解剖学图像。

13.根据权利要求8所述的方法，其中：

在所述二维卷积神经网络被训练之后，使用所述二维卷积神经网络分别处理所述多个混合上下文图像包括：使用所述二维卷积神经网络处理所述单个混合上下文图像以分割对应的解剖学图像；并且

使用所述二维卷积神经网络处理所述单个混合上下文图像包括：

选择多个网格，每个网格用于对所述单个混合上下文图像进行网格化，其中，所述网格在几何上彼此偏移；

对于从所述网格中选择的候选网格，根据所述候选网格对所述单个混合上下文图像进行网格化以形成多个多通道图块；

通过所述二维卷积神经网络将所述多通道图块中的每一个处理为接收的输入图像，以获得对应的解剖学图像的候选分割图像；

对于所有网格重复对单个混合上下文图像进行网格化和所述多通道图块中的每一个的处理，从而获得多个候选分割图像；和

根据逐像素多数表决从所述多个候选分割图像形成分割的对应解剖学图像。

14.一种计算机实现的方法，所述方法用于重新训练用于计算机执行的推断过程的二维(2D)卷积神经网络(CNN)，所述二维卷积神经网络具有一组卷积神经网络模型权重，所述推断过程用于分割由在身体部位的连续位置的序列被成像的多个解剖学图像形成的体积图像，单个解剖学图像是多通道图像，所述多通道图像包括在多个预先选择的成像模态下在相同位置被成像的多个图像切片，所述方法包括：

执行所述推断过程一次或多次以分割一个或多个相应的体积图像从而创建一个或多个第一多个标记的解剖学图像，其中，所述推断过程根据权利要求1所述的方法布置，并且其中，在分割后从对应的解剖学图像创建单个标记的解剖学图像，以识别对应的解剖学图像中的不同类别；

在单独的第一多个标记的解剖学图像中，使用相同数量的一个或多个重新标记的解剖学图像替换一个或多个标记的解剖学图像，所述一个或多个重新标记的解剖学图像具有在对应的一个或多个标记的解剖学图像上的校正的分割，使得单独的第一多个标记的解剖学图像被第二多个标记的解剖学图像替换，从而从所述一个或多个第一多个标记的解剖学图像生成一个或多个相应的第二多个标记的解剖学图像；

使用所述一个或多个相应的第二多个标记的解剖学图像进一步训练所述二维卷积神经网络，以从前一组卷积神经网络模型权重更新所述一组卷积神经网络模型权重；

通过在所述二维卷积神经网络采用更新的卷积神经网络模型权重组的条件下重复用于分割验证数据集的多个测试体积图像的推断过程来验证更新的卷积神经网络模型权重组，由此计算通过使用所述二维卷积神经网络中更新的卷积神经网络模型权重组而获得的验证损失，所述验证损失表示在分割所述验证数据集的多个测试体积图像时总体分割损失的程度；和

响应于发现通过更新的卷积神经网络模型权重组而获得的验证损失小于通过前一组卷积神经网络权重而获得的对应验证损失，采用更新的卷积神经网络模型权重组用于所述推断过程，否则使用前一组卷积神经网络模型权重恢复所述二维卷积神经网络。

15.一种计算机实现的方法，所述方法用于分割由在身体部位的连续位置的序列被成像的多个解剖学图像形成的体积图像，单个解剖学图像是多通道图像，所述多通道图像包括在多个预先选择的成像模态下在相同位置被成像的多个图像切片，所述方法包括：

在二维(2D)卷积神经网络(CNN)训练之后，使用所述二维卷积神经网络分割单个解剖学图像以形成分割的单个解剖学图像；和

对于所述多个解剖学图像中的所有不同的解剖学图像，使用所述二维卷积神经网络重复分割单个解剖学图像，从而分割所述体积图像；

其中：

所述二维卷积神经网络用于通过在其间生成多个特征图来从接收的输入图像生成输出分割图，其中，所述接收的输入图像、所述输出分割图和所述特征图中的每一个是具有多个通道的多通道图；

所述接收的输入图像是单个解剖学图像的一部分，由此，所述输出分割图是与该解剖学图像的该一部分对应的分割的单个解剖学图像的一部分；

所述二维卷积神经网络包括从最高层级到最低层级顺序地布置的多个层级，所述二维卷积神经网络被配置为使得：

单个层级从输入图生成输出图，通过在其间生成一系列特征图，将所述单个层级的输入图变换为其输出图；

所述最高层级的输入图是所述接收的输入图像，并且所述最高层级的输出图是所述输出分割图；

对于直接低于所述单个层级的下一个较低层级，通过下采样所述单个层级的第一预先选择的特征图来获得该下一个较低层级的输入图；和

所述下一个较低层级的输出图被上采样，然后与所述单个层级的第二预先选择的特征图级联，以生成与所述单个层级中的所述第二预先选择的特征图相邻的下一个特征图；

并且

在所述单个层级的第二预先选择的特征图中的通道的第一数量大于或等于所述下一个较低层级的第二预先选择的特征图中的通道的第二数量，使得与在所述下一个较低层级中相比，在所述单个层级中能够包含更多的特征细节，从而允许所述最高层级的第二预先选择的特征图富含低层级特征细节，以在生成输出分割图时帮助更精细地分割所述接收的输入图像。

16.根据权利要求15所述的方法，其中，所述二维卷积神经网络还被配置为使得在所述单个层级中，使用一个或多个隐藏层处理除所述第二预先选择的特征图之外的单个特征图，以生成后续特征图，所述一个或多个隐藏层包括卷积层。

17.根据权利要求16所述的方法，其中，所述一个或多个隐藏层包括所述卷积层、指数线性单元(ELU)层、丢弃层和批标准化(BN)层。

18.根据权利要求15所述的方法，其中，所述二维卷积神经网络还被配置为使得在所述单个层级中，一个或多个隐藏层被用于从所述第一预先选择的特征图生成所述第二预先选择的特征图。

19.根据权利要求15所述的方法，其中，使用所述二维卷积神经网络分割所述单个解剖学图像包括：

对所述单个解剖学图像进行网格化以形成多个多通道图块；和

通过所述二维卷积神经网络将所述多通道图块中的每一个处理为接收的输入图像，以获得分割的单个解剖学图像。

20.根据权利要求15所述的方法，其中，使用所述二维卷积神经网络分割所述单个解剖学图像包括：

选择多个网格，每个网格用于对所述单个解剖学图像进行网格化，其中，所述网格在几何上彼此偏移；

对于从所述网格中选择的候选网格，根据所述候选网格对所述单个解剖学图像进行网格化以形成多个多通道图块；

通过所述二维卷积神经网络将所述多通道图块中的每一个处理为接收的输入图像，以获得单个解剖学图像的候选分割图像；

对于所有网格重复对单个解剖学图像进行网格化和所述多通道图块中的每一个的处理，从而获得多个候选分割图像；和

根据逐像素多数表决从所述多个候选分割图像形成分割的单个解剖学图像。

Images