CN110163877A

CN110163877A - 一种mri心室结构分割的方法与系统

Info

Publication number: CN110163877A
Application number: CN201910446810.2A
Authority: CN
Inventors: 张远; 杨欣雨; 南衫; 许文耀; 卢贝尼
Original assignee: University of Jinan
Current assignee: University of Jinan
Priority date: 2019-05-27
Filing date: 2019-05-27
Publication date: 2019-08-23

Abstract

本公开公开了一种MRI心室结构分割的方法与系统，包括：输入待分割的心脏MRI；对输入的待分割的心脏MRI进行预处理；将预处理后的待分割的心脏MRI输入到预先训练好的神经网络模型；完成心室结构分割，输出左心室、右心室和心肌分割结果。通过Dice系数与霍斯多夫距离来评定分割所得的左心室、右心室和心肌是否精准。评定结果显示此方法能够获得高精度分割图像，进而能够提高医生诊断效率。

Description

一种MRI心室结构分割的方法与系统

技术领域

本公开涉及医学图像处理领域，特别是涉及一种MRI心室结构分割的方法与系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

心脏是人体重要的器官，同时，心脏疾病也是致死率最高的疾病之一。对于心脏疾病的诊治一直都是医学界的难题。在医学影像手段应用到临床诊断中之前，医生主要通过测量患者的心电图，以及观察病人的病情表现来对病情进行诊断。这种方法常常会出现疾病诊断不及时，病情估计错误等情况。而随着医学图像技术的发展，医生可以使用非侵入的手段来获取病人体内器官的影像数据。由此，医学影像技术凭借其安全方便、对人体的伤害小的优势，被广泛应用到现代医学诊治中。所以，如何对获得的医学影像进行处理，使其更好地服务于医疗工作者，对患者进行病情的诊断与估计显得尤为重要。

磁共振图像(Magnetic Resonance Imaging，MRI)是利用一定频率的电磁波对放置于磁场中的物质进行激发使其原子产生共振，再按一定的数学方法将这种共振信号转化为图像输出的一种技术。磁共振成像将人体内含水量不同的组织用不同的灰度级来显示，具有以下特点：(1)没有电离辐射，对人体不产生损害。(2)良好的软组织对比度。(3)具有任意平面成像的能力，这是其他扫描方式所不能做到的。(4)能进行血管和血流成像。(5)可以进行多组织参数成像。随着磁共振技术的不断发展，包括相控线圈技术和心电门控技术(Eeg-triggered imaging)等，MRI的成像速度与成像质量得到了巨大的提高。与其他成像方式相比MRI对人体内软组织器官的成像效果佳，这使得MRI逐步成为临床上心脏功能测定的金标准。

心脏的心室是肌肉泵,主要完成射血功能，在心脏功能中起着重要的作用。同时，心室也是心脏中容易病变的区域，因此心室形态和运动异常被视为心血管疾病临床诊断的重要依据。为帮助患者进行心血管疾病的诊断，医生致力于根据心脏MRI确定患者的心室容积、心肌壁厚度、射血分数和管壁增厚性质的变化。为确定上述心功能指数，医生需要心室心肌的正确分割，因此，左心室、右心室和心肌的分割在心脏MRI中受到了广泛的关注。

目前，计算临床指标依赖于医生精确地手动分割左右心室与心肌，但是手动分割费时费力，而且不同医生分割结果不一致，同一个医生也可能在两次分割中结果不一样。因此，快速精确的MRI心室结构自动分割方法将帮助医生更好地进行心血管疾病的诊断，具有极大的价值和意义。

当前，已有少量关于心室自动分割的文献。

比如，已有专利提出运用V-Net来实现心脏CT自动分割的方法。这种方法是基于3D卷积对3D图像进行端到端的分割，采用了Dice系数作为目标函数。由于这种方法是对3D数据进行自动分割，所以存在计算量过大，参数过多等缺点。而且此方法是针对CT图像，在心脏这种软组织成像能力上CT图像要逊于MRI。

已有专利提出运用水平集来分割左心室的方法。首先，选取需要处理图像，之后采用优化Mean Shift聚类算法对左心室图像进行预处理。然后用改进hough变换圆检测算法，对左心脏内腔定位，得到内外膜分割初始轮廓，最后用双水平模型分割图像内外膜，并用双水平集模型能量函数公式收敛性检查。通过以上步骤，得到分割内外膜轮廓分割效果图。这种方法解决了人为设置分割初始位置问题，但由于使用了水平集这种方法，会存在受参数影响过大，分割速度较慢等缺点。

已有文献提出通过使用区域生长法来自动分割左心室包含乳头肌等结构的血池区域。此方法首先通过用户手工截取心脏图像切片中心脏区域的窗口，选取左室血池内的像素点作为种子点，并计算血池内像素的均值和方差。这种方法能够有效分割出左心室，但是需要手动选取种子点，并不是全自动的分割方法。

综上所述，目前的心室分割算法大多是只限于分割左心室，而且还存在部分需要手动干预的半自动分割算法。少有的能够同时分割左心室、右心室和心肌的算法还是针对CT图像。

发明内容

为了解决现有技术的不足，本公开提供了一种MRI心室结构分割的方法与系统；这种方法能够自动分割MRI中的左心室、右心室和心肌。该方法对MRI分割非常有效，具有实现简单，准确率高等优点，丰富和发展了医学图像处理。

第一方面，本公开提供了MRI心室结构分割方法；

MRI心室结构分割方法，包括：

输入待分割的心脏MRI；

对输入的待分割的心脏MRI进行预处理；

调用已训练好的神经网络模型，对预处理后的心脏MRI进行分割，完成心室结构分割，输出左心室、右心室和心肌分割结果。

第二方面，本公开还提供了MRI心室结构分割系统；

MRI心室结构分割系统，包括：

输入模块，其被配置为输入待分割的心脏MRI；

预处理模块，其被配置为对输入的待分割的心脏核磁共振图像MRI进行预处理；

分割模块，其被配置为调用已训练好的神经网络模型，对预处理后的心脏MRI进行分割，完成心室结构分割，输出左心室、右心室和心肌分割结果。

与现有技术相比，本公开的有益效果是：

1构建神经网络模型，实现端到端的分割，使用该方法能解决当前精度低的问题，为计算机辅助诊断提供技术支持。

2能够同时分割左心室、右心室和心肌，为临床诊断提供了便利。

3在神经网络中添加了残差连接，能够有效抑制梯度消失问题。

4在心脏这类软组织成像上MRI的成像效果是要好于CT的。因此，针对MRI进行左心室、右心室和心肌的全自动分割方法不但可以将医生从海量的分割工作中解放出来，而且能够获得客观、准确的心室分割结果。对提高医生的诊断效率，降低误诊率具有重要意义。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为第一个实施例的方法流程图；

图2是本发明所构建的神经网络结构图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一，本实施例提供了MRI心室结构分割方法；

如图1所示，MRI心室结构分割方法，包括：

输入待分割的心脏MRI；

对输入的待分割的心脏MRI进行预处理；

作为一个或多个实施例，所述预处理，包括：

对输入的待分割的心脏MRI逐帧切片，将三维的待分割的心脏MRI转化成若干个二维图像；

将尺寸大小不一的所有二维图像，进行尺寸标准化处理，统一图像尺寸；

针对尺寸标准化处理后的图像，通过图像旋转的方式对数据集进行扩充；

对扩充后的图像，分别进行灰度值标准化处理。

应理解的，临床中计算心脏功能指数只需要心脏收缩间期和舒张间期的数据，因此分割用MRI数据是三维数据。将三维图像转化成二维图像处理的好处是可以减少模型训练时的参数，提升训练速度，提升运算速度。

作为一个或多个实施例，所述三维的待分割的心脏MRI是在Python3.5的环境下导入NiBabel数据包，通过NiBabel数据包获取得到的nifty格式的三维MRI数据，之后再对已读取的nifty格式数据逐帧提取，进而将三维数据转化为二维数据。

应理解的，在临床上MRI采集设备或采集协议的不同会导致MRI数据的尺寸大小不一，统一尺寸的数据以batch的形式输入进神经网络，可以加速神经网络的训练，提升训练效率，增加本专利的泛用性。

作为一个或多个实施例，将尺寸大小不一的所有二维图像，进行尺寸标准化处理，统一图像尺寸；具体步骤包括：

对于尺寸不满256*256的图像，利用其图像像素最小值将其填充至256*256。对于尺寸大于256*256的图像，对其裁剪以使其尺寸降至256*256。

应理解的，采用图像旋转的方式对数据集进行扩充的好处是可以有效防止过拟合现象发生。

应理解的，构建神经网络训练分割模型属于监督学习，对于监督学习标签是必不可少的。在图像分割领域监督学习的标签就是Ground Truth。医学图像的Ground Truth需要专业的医生手动标注，往往是难以大量获取的，这也就造成了训练数据不够充分。在神经网络模型训练中如果训练数据不够充分，就会造成过拟合。过拟合即训练所得的模型对训练数据过度拟合，只能够精确分割训练集，对于其他数据不能做到精确分割。

作为一个或多个实施例，所述针对尺寸标准化处理后的图像，通过图像旋转的方式对数据集进行扩充，具体步骤包括：

将尺寸标准化处理后的图像分别旋转0°、15°、30°、45°、60°、75°、90°、105°和120°。

应理解的，不同的MRI采集仪器和不同的采集协议会使得MRI数据产生灰度不均衡的情况，产生灰度值极高或极低的灰度值离群现象。为解决这一问题，对二维图像数据进行灰度标准化。对有超出取值范围的离群数据有比较好的效果。

作为一个或多个实施例，灰度值标准化采用Z-SCORE模型进行处理。

作为一个或多个实施例，采用Z-SCORE模型进行处理，具体包括：

计算图像所有像素灰度值的均值，计算图像所有像素灰度值的标准差，利用每个像素的灰度值减去均值得到差值，将得到的差值与标准差相比，得到灰度值标准化后的灰度值。

应理解的，Z-SCORE模型的公式为：

其中，y表示经过灰度标准化的灰度值，x表示原始的灰度值。μ表示所有灰度值的均值，σ表示所有灰度值的标准差。通过对二维图像数据进行标准化，抑制灰度值离群现象。

作为一个或多个实施例，所述神经网络模型，包括：

依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层、第六反卷积层、第六卷积层和输出层。

其中，所述输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层为神经网络模型的下采样通道；

其中，所述第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层、第六反卷积层、第六卷积层和输出层为神经网络模型的上采样通道。

作为一个或多个实施例，所述神经网络模型的工作原理，包括：

输入层，接收预处理后的待分割的心脏MRI，并将接收的图像送入第一卷积层进行卷积处理，然后第一卷积层的输出值送入第一池化层进行池化操作，得到第一特征图；

第一池化操作的输出值第一特征图，送入第二卷积层进行卷积处理，然后第二卷积层的输出值送入第二池化层进行池化操作，得到第二特征图；

第二池化操作的输出值第二特征图，送入第三卷积层进行卷积处理，然后第三卷积层的输出值送入第三池化层进行池化操作，得到第三特征图；

第三池化操作的输出值第三特征图，送入第四卷积层进行卷积处理，然后第四卷积层的输出值送入第四池化层进行池化操作，得到第四特征图；

第四池化操作的输出值第四特征图，送入第五卷积层进行卷积处理，然后第五卷积层的输出值送入第五池化层进行池化操作，得到第五特征图；

第五池化操作的输出值第五特征图，送入第一反卷积层进行反卷积处理，以扩大特征图尺寸；将第一反卷积层处理得到的第六特征图与第四池化层输出的第四特征图进行融合，得到第一融合特征图；

第二反卷积层对第一反卷积层输出值进行反卷积处理，即对第一融合特征图进行反卷积处理；将第二反卷积层处理得到的第七特征图与第三池化层输出的第三特征图进行融合，得到第二融合特征图；

第三反卷积层对第二反卷积层输出值进行反卷积处理，即对第二融合特征图进行反卷积处理，得到第八特征图；

第四反卷积层对第一池化层输出的第一特征图进行反卷积处理，得到第九特征图；

第五反卷积层对第二池化层输出的第二特征图进行反卷积处理，得到第十特征图；

第六反卷积层对第三池化层输出的第三特征图进行反卷积处理，得到第十一特征图；

将第八、九、十和十一特征图进行级联操作，得到第十二特征图；

第六卷积层，对第十二特征图在进行卷积操作，实现对像素的分类，得到分割特征图，分为左心室、右心室、心肌和非目标对象四类；

在对分割特征图进行argmax处理，得到最终的分割图像。

作为一个或多个实施例，所述预先训练好的神经网络模型的训练步骤，包括：

构建训练集，所述训练集，包括：若干个预处理后的心脏核磁共振图像，每个预处理后的心脏核磁共振图像均有医学影像专家手动标注的心脏左心室、右心室和心肌边界框像素点坐标集合；

将训练集输入到神经网络模型中，对神经网络模型进行训练，当神经网络模型的损失函数收敛时，停止训练，得到训练好的神经网络模型。

步骤5-1：首先将经过预处理的二维MRI读入，以batch size＝5的数量输入进所构建的改良型神经网络模型之中。图像首先进入卷积层，进行卷积操作。卷积核大小为3×3，步长为1，padding＝same。之后再通过ReLU函数。经过此卷积层输出的特征图通维度为256×256×64。

步骤5-2：将经过卷积层的特征图输入到最大池化层之中，进行池化操作。池化步长为2。这样经过此池化层的特征图尺寸减半，输出的特征图通维度为128×128×64。

步骤5-3：进行卷积操作，参数如同步骤5-1，输出的特征图通维度为128×128×128。

步骤5-4：进行池化操作，参数如同步骤5-2，输出的特征图通维度为64×64×128。

步骤5-5：进行卷积操作，参数如同步骤5-1，输出的特征图通维度为64×64×256。

步骤5-6：进行池化操作，参数如同步骤5-2，输出的特征图通维度为32×32×256。

步骤5-7：进行卷积操作，参数如同步骤5-1，输出的特征图通维度为32×32×512。

步骤5-8：进行池化操作，参数如同步骤5-2，输出的特征图通维度为16×16×512。

步骤5-9：进行卷积操作，参数如同步骤5-1，输出的特征图通维度为16×16×1024。

步骤5-10：进行池化操作，参数如同步骤5-2，输出的特征图通维度为8×8×1024。

步骤5-11：对步骤5-10输出的特征图进行2倍反卷积使其输出特征图维度为16×16×512，与步骤5-8第四层池化层输出特征图尺寸等大，再将其与第四层池化层输出的特征图在像素级别上进行融合，得到新的特征图。

步骤5-11：对步骤5-11输出的特征图进行2倍反卷积使其输出特征图维度为32×32×256，与步骤5-6第三层池化层输出特征图尺寸等大。再将其与第三层池化层输出的特征图在像素级别上进行融合，得到新的特征图。

步骤5-12：对步骤5-11输出的特征图进行8倍反卷积，得到256×256×4的特征图。

步骤5-13：对步骤5-2第一层池化层输出的特征图进行2倍反卷积，得到256×256×4的特征图。

步骤5-14：对步骤5-4第二层池化层输出的特征图进行4倍反卷积，得到256×256×4的特征图。

步骤5-15：对步骤5-6第三层池化层输出的特征图进行8倍反卷积，得到256×256×4的特征图。

步骤5-16：将步骤5-12，步骤5-13，步骤5-14，步骤5-15所输出的特征图在最后一维度，也就是通道这一维度进行级联，得到256×256×12的新特征图。在本步骤中的级联即残差连接。经过残差连接的新特征图不仅包含丰富的神经网络上下文信息，而且还能有效抑制梯度消失问题。

步骤5-17：对步骤5-16输出的特征图再进行卷积操作，卷积核尺寸为1×1，步长为1，padding＝same。此卷积层起一个像素分类的作用。最终得到256×256×4的分割特征图。

步骤5-18：对步骤5-17所得的分割特征图进行argmax操作，经过argmax，的得到256×256×1的最终分割图。

因为心脏MRI会有灰度分布不均，图像特征复杂，出现伪影等问题，运用传统的卷积神经网络会产生参数过多，特征应用不够充分等情况。针对MRI，本专利构建了一种改良版神经网络模型用于心室结构分割，这种神经网络模型能够同时分割左心室、右心室和心肌。

卷积层是对图像进行卷积操作，其目的是为了提取图像有效特征。池化层是为了对卷积层提取的特征进行浓缩，提炼出更有效的特征，并使参数减少，提高模型训练效率。在本专利中，我们采用了最大池化的方式，相较其他池化方式，最大池化能够更有效的保存图像的纹理信息，以便于高精度分割。

在卷积层之后，采用ReLU作为激活函数。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。

ReLU的公式为：

ReLU＝max(0,x)

使用ReLU作为激活函数，能够在一定程度上遏制梯度消失问题。相较于其他激活函数，ReLU还具有计算速度快，使得神经网络收敛快的优点，这对本专利所构建的深度神经网络意义非凡。

在经过多层卷积层与池化层之后，特征图会越来越小。通过上采样通道扩张特征图尺寸，能够实现特征图的融合，进而更加充分地利用多层上下文信息。

对第五层池化层输出的特征图进行2倍的反卷积，得到与第四层池化层输出等尺寸的特征图，之后进行融合。之后再对经过融合的特征图进行2倍的反卷积，与第三层池化层的输出进行融合，再对第二次融合所得的特征图进行8倍的反卷积，这样就可以得到与输入图像等大的特征图。

经过下采样通道的特征图有可能会随着多层最大池化滤掉有用的特征。为了能够更加充分地利用图像特征，本专利在上采样通道之后添加了残差连接。残差连接使得神经网络在训练的过程中能够充分利用到各级特征，并能够抑制深度神经网络所存在的梯度消失问题。本专利所应用的残差连接是对第一层，第二层和第三层池化层的输出进行反卷积操作，使它们能够获得与输入图像等大的尺寸，之后将它们与上采样通道的输出级联，得到新的特征图。此特征图包含多层图像信息。

最后，对残差连接的输出进行1×1的卷积，此卷积操相当于像素分类。之后再将此卷积层的输出进行argmax操作，便可以得到分割图像。具体神经网络结构图如图2所示。

本专利所构架的神经网络结构应用多类交叉熵为损失函数，采用Adam优化器来优化损失函数。

本专利采用平均Dice系数和霍斯多夫距离来评价测试数据分割效果。

Dice的公式为：

其中S_R代表分割图，S_GT代表Ground Truth。这一指标主要评价了像素重叠率。

霍斯多夫距离的公式为：

其中C_R表示分割图的轮廓，C_GT表示Ground Truth轮廓，d(x,y)表示两点间的距离。霍斯多夫距离表示是一个点从一个轮廓到另一个轮廓点的最长距离。分割效果评价如表1所示，此神经网络结构可获得高精度的分割图像。

表1分割效果评价表

实施例二，本实施例还提供了MRI心室结构分割系统；

MRI心室结构分割系统，包括：

输入模块，其被配置为输入待分割的心脏MRI；

预处理模块，其被配置为对输入的待分割的心脏MRI进行预处理；

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.MRI心室结构分割方法，其特征是，包括：

输入待分割的心脏MRI；

对输入的待分割的心脏MRI进行预处理；

调用预先训练好的神经网络模型，对经过与处理的心脏MRI进行分割，完成心室结构分割，输出左心室、右心室和心肌分割结果。

2.如权利要求1所述的方法，其特征是，所述预处理，包括：

对扩充后的图像，分别进行灰度值标准化处理。

3.如权利要求2所述的方法，其特征是，所述三维的待分割的心脏MRI是在Python3.5的环境下导入NiBabel数据包，通过NiBabel数据包获取得到的nifty格式的三维MRI数据，之后再对已读取的nifty格式数据逐帧提取，进而将三维数据转化为二维数据。

4.如权利要求2所述的方法，其特征是，将尺寸大小不一的所有二维图像，进行尺寸标准化处理，统一图像尺寸；具体步骤包括：

对于尺寸不满256*256的图像，利用其图像像素最小值将其填充至256*256；对于尺寸大于256*256的图像，对其裁剪以使其尺寸降至256*256。

5.如权利要求2所述的方法，其特征是，所述针对尺寸标准化处理后的图像，通过图像旋转的方式对数据集进行扩充，具体步骤包括：

6.如权利要求2所述的方法，其特征是，灰度值标准化采用Z-SCORE模型进行处理；采用Z-SCORE模型进行处理，具体包括：

7.如权利要求1所述的方法，其特征是，所述神经网络模型，包括：

8.如权利要求7所述的方法，其特征是，所述神经网络模型的工作原理，包括：

在对分割特征图进行argmax处理，得到最终的分割图像。

9.如权利要求1所述的方法，其特征是，所述预先训练好的神经网络模型的训练步骤，包括：

10.MRI心室结构分割系统，其特征是，包括：

输入模块，其被配置为输入待分割的心脏MRI；

分割模块，其被配置为调用预先训练好的神经网络模型，对经过与处理的心脏MRI进行分割，完成心室结构分割，输出左心室、右心室和心肌分割结果。