CN112686902B - 核磁共振影像中脑胶质瘤识别与分割的两阶段计算方法 - Google Patents

Abstract

本发明公开了一种核磁共振影像(Magnetic Resonance Imaging，MRI)中脑胶质瘤识别与分割的两阶段计算方法，其步骤为：1.对网格化处理的图像采用卷积神经网络进行疑似肿瘤区域的识别和粗定位；2.提取104×4个一阶及二阶影像组学特征并融合通过卷积神经网络获取的128维高阶特征形成特征集合；3.通过L1正则化进行特征选择，产生178维的特征向量；4.采用集成学习方法在疑似肿瘤区域进行像素级分类和肿瘤边界标注，获得脑胶质瘤分割结果。本方法通过肿瘤识别和疑似区域粗定位以及像素级细定位两阶段运算来提高整体计算效率，通过融合影像组学特征及由卷积神经网络获取的高阶信息来形成更全面的特征集合，通过特征选择产生更有效的特征向量，整体提高了识别准确率。

Description

核磁共振影像中脑胶质瘤识别与分割的两阶段计算方法

技术领域

本发明属于计算机视觉和模式识别领域，具体涉及一种针对核磁共振影像(MRI)进行脑胶质瘤识别和分割的两阶段计算方法，所述方法能够通过两阶段计算将MRI图像中脑胶质瘤进行快速识别和粗定位以及精准分割，并且清晰标注脑胶质瘤中的不同肿瘤组织，为脑胶质瘤的自动化识别和分割提供更为精准快速的方案。

背景技术

胶质母细胞瘤是一种脑部常见的具有侵润性的肿瘤，也是脑部死亡率最高的肿瘤，脑胶质瘤可以以任何形态、在任何时间出现在大脑的任何位置，由于大脑的不同区域组织结构差异较大，所以给脑胶质瘤的精准分割带来较大困难。同时，传统的手动分割方法需要消耗大量的人力和时间，而且对分割人员的师资水平有较高的要求。所以，实现脑胶质瘤的自动化精准分割有利于弥补传统手动分割方法的缺点，并且有利于早期筛查以及肿瘤后期治疗与恢复。因此，对脑胶质瘤的自动化精准分割能够有效提高医疗辅助诊断过程的自动化能力，也是提高诊断效率和准确率的重要手段。

目前针对脑胶质瘤的分割方法大致可分为两类：一类是基于图像灰度信息的分割方法，如基于区域生长和水平集技术的分割方法等，但这类方法不适合处理高级别的胶质瘤，对非增强的肿瘤图像可能会失效。另一类主要基于卷积神经网络(Convolutionalneural network，CNN)的方法。CNN能够直接从卷积核中获得图像信息，在图像分类、图像分割和目标检测等方面取得了重大突破。但是此类方法更侧重对图像纹理信息的处理，且大都从图像全局考虑分割结果，缺乏在像素级别上做区分的能力。本发明通过提取图像的影像组学信息并融合通过CNN获取的图像高阶信息来构造更为丰富的特征集，同时通过基于两阶段计算的集成学习过程来提高整体的图像识别效率和肿瘤分割准确率。

发明内容

针对传统方法在分割过程需要人工干预以及分割结果易受图像噪声和强度不均匀性影响等问题，本文提出了一种新的脑胶质瘤分割方法，该方法结合了卷积神经网络和集成学习的优势，将网格化后的MRI图像通过卷积神经网络模型进行肿瘤识别并粗定位肿瘤的位置，再采用集成学习方法在多模态核磁共振图像中进行精细化肿瘤分割。为此，需要解决的关键技术问题包括：肿瘤快速识别、特征提取、融合与选择、精细化分割。

为实现上述目的，本发明的具体技术方案如下：

核磁共振影像(Magnetic Resonance Imaging，MRI)中脑胶质瘤识别与分割的两阶段计算方法，所述方法包括以下步骤：

步骤1：数据准备，具体为：

将病例数据按下述结构进行准备，一个病例的MRI数据包含四种序列的图像：Flair，T1，Tlce和T2，其结构可表示为：

I＝{I¹，I²，I³，...，I^N}

其中，N表示MRI图像分层序列的总层数，Iⁿ为第n层图像集合，其大小为4×240×240，

分别表示Iⁿ中Flair、T1、T1ce和T2四个序列的图像；

步骤2：肿瘤快速识别方法的初始化过程，具体为：

步骤2.1：MRI图像网格化处理，将MRI图像在Flair、T1、Tlce和T2序列中分别划分成多个等距矩形区域，设矩形区域大小为g_l×g_l，若一张MRI图像的大小为t×t，从原图像的(0，0)点作为起点，采用

的步长将原图划分成等距矩形区域，边缘区域不足一个矩形区域时进行补0处理，变为一个完整的矩形区域；记矩形区域为p_x，y，即p_x，y为由点(x，y)和点(x+g_l，y+g_l)所确定的矩形区域，记矩形区域的集合为Ω(P)，则每个矩形区域的数据可表示为：

经实验对g_l进行搜索，发现g_l取26时模型定位准确率最高，故p_x，y大小为4×26×26；

步骤2.2：训练快速识别网络，具体为：

步骤2.2.1：构建双通道卷积神经网络，双通道中每个通道的输入均为4×26×26，通道A由13×13的卷积层和丢弃率为0.5的Dropout层组成，该通道仅进行了单层卷积计算；通道B由典型的网络结构组成：5×5的卷积层、5×5卷积层、4×4池化层、3×3卷积层、2×2池化层和丢弃率为0.5的Dropout层，通道B使用了多个小的卷积核，保证模型能够获得图像的细节信息，最终通过融合通道将两个通道的特征图合并完成分类模型；

步骤2.2.2：训练模型，根据分割标准将训练样本中每个MRI图像划分为肿瘤区域和非肿瘤区域，随机地从训练数据集中采样4×26×26的矩形区域进行训练，并给每个矩形区域加上相应的标签，训练时批处理参数为16，数据迭代次数取20，使用Adam优化器，其中Adam的参数为学习率取0.005，学习率衰减因子取0.1，冲量取0.9；

步骤3：MRI图像中肿瘤的识别与疑似区域的粗定位，具体为：

步骤3.1：疑似肿瘤区域的识别，输入数据图像Iⁿ，从切片图像的(0，0)点作为起点，采用

的步长遍历矩形区域集合Ω(P)，搜索每个矩形区域p_x，y，即利用卷积神经网络模型对每个矩形区域进行是否包含肿瘤区域的分类判断；如果分类结果为0，表明输入的整个区域块内没有发现疑似肿瘤组织；如果分类结果为1，表明输入的整个区域块内有疑似肿瘤组织，则初始化标记矩阵Mask，并在其上的相应矩形区域中标记1，其中，标记矩阵Mask的大小为240×240，初始值为0，并划分为多个大小与p_x，y相同的对应矩形区域；

步骤3.2：标记疑似肿瘤区域边界，首先，将标记矩阵Mask中标记为1的区域汇总形成完整的疑似肿瘤区域；接着，在Iⁿ中找到对应的p_x，y；最后，用队列L记录所有的p_x，y区域坐标，L中存放的数据可表示如下：

L＝{L₁，L₂，...，L_k}

其中，k表示Iⁿ中粗定位区域总个数，L_i表示第i个粗定位区域的边界坐标集合，

表示第i个区域的边界坐标个数；

步骤4：确定像素搜索中的特征提取区域，具体为：

由于从单个像素中仅能提取强度等低阶特征，为获取更丰富的特征信息，需从所处理像素点为中心的一个较小局部区域内来提取更多样的特征信息，该特征提取域是以待处理像素点(x，y)为中心所形成的大小为g_s×g_s的采样区域G_x，y，即G_x，y是由点

和点

确定的矩形区域，可表示为：

经实验，发现g_s取10时准确率最高，故G_x，y大小为4×10×10；

步骤5：构造分割模型，具体为：

步骤5.1：训练卷积神经网络提取高阶特征，具体为：

步骤5.1.1：构建卷积神经网络，卷积神经网络特征主要使用卷积神经网络特征提取器进行提取，其卷积神经网络结构为：包含两个卷积层，卷积层大小分别为16×10×10和32×5×5，并在每个卷积层后跟一个最大池化层，池化层大小分别为和16×5×5和32×2×2，最后加上全连接层代表最后的输出特征；

步骤5.1.2：训练过程，随机将图像中所提取的G_x，y矩形区域进行训练，训练时批处理参数为16，数据迭代次数取20，使用SGD优化器，其中SGD的参数为学习率取0.005，学习率衰减因子取0.0，冲量取0.9，训练模型的准确率需达到85％以上；

步骤5.1.3：特征提取，通过该卷积神经网络计算，从G_x，y中每一层图像提取128维卷积神经网络特征F_CNN；

步骤5.2：提取影像组学特征，具体为：

对G_x，y中每一层图像进行影像组学特征提取，提取的影像组学特征104个，合并Flair、T1、T1ce和T2四个序列的特征

和

形成影像组学特征集F_radiomics；

步骤5.3：特征融合形成特征集合，将影像组学特征和卷积神经网络特征进行融合，以提高特征集合对病灶信息的表达能力，则原始总体特征集合可表示为：

F＝F_radiomics+F_CNN

其中，F_CNN表示128维卷积神经网络特征，F_radiomics表示4×104维四个序列上的影像组学特征，则F共包含544维特征；

步骤5.4：L1正则化特征选择，采用L1正则化套索算法(Lasso)进行特征选择，减少两个特征集合之间可能存在的冗余特征，最终特征集合F_fin只包含178个特征，其中包含影像组学一阶特征和二阶特征共32个以及82维卷积神经网络特征，最终特征集合F_fin可表示为：

F_fin＝F_{fin-radiomics}+F_fin-CNN

其中，F_fin-CNN表示经过特征选择后的卷积神经网络特征，F_{fin-radiomics}表示经过特征选择后的四个序列上影像组学特征；

步骤5.5：训练像素级分类模型，具体为：

此步骤的分类模型采用XGBoost算法，参数为学习率取O.1，每棵树的最大深度为6，决策树个数取125，最小叶子结点样本权重和取1，节点分裂所需的最小损失函数下降值取0.1，控制每棵树随机采样的比例取0.8，控制每棵树随机采样的特征的比例取0.8，正样本权重取1，叶节点允许的最小样本数取10，训练后分类准确率需达到95％以上；

步骤6：对疑似肿瘤区域进行精细化分割，具体为：

步骤6.1：若已获得的疑似肿瘤区域位置队列L非空，则从L中随机取出一新坐标点c(x，y)，并令其为当前处理点C；否则，结束计算；

步骤6.2：若当前处理点已计算且相邻八个方向上的像素点都已判断完毕，则返回步骤6.1；否则，利用坐标c(x，y)通过步骤4得到特征提取区域G_x，y，并通过步骤5构造的分割模型得到该特征提取区域G_x，y的分类结果；

步骤6.3：如果经分类后，G_x，y的标签为肿瘤周围水肿区、非增强肿瘤区或增强肿瘤区域，则标记G_x，y区域中心像素点c(x，y)的所属类别为相应标签，同时依次从0度、45度、90度、135度、180度、225度、270度、315度等八个方向中选择一新方向作为移动方向，并在该方向上移动一个像素，得到一个新的像素坐标c，返回步骤6.2；如果经分类后得到G_x，y的标签为非肿瘤标签，则标记G_x，y区域中心像素点的类别为非肿瘤标签，同时将坐标点退回到当前处理点C，令c(x，y)＝C，返回步骤6.2；

步骤7：精细化标记肿瘤边界及不同组织，具体为：

根据每个像素点所得到的分类标记，将得到相同分类结果的像素点(x，y)汇总，形成肿瘤边界以及不同肿瘤组织的标注，并用I_seg记录肿瘤组织精细化的分割结果。

本发明的有益效果：本发明针对磁共振成像(Magnetic Resonance Imaging，MRI)影像进行脑胶质瘤的自动识别及分割，能够有效地定位肿瘤，并提取和整合多维图像特征信息，同时可以实现自动化的肿瘤分割。此外，本发明在识别分割时计算效率及识别准确率高，节省了大量人力物力。经验证，本发明在BRATS2017数据集可以完成肿瘤的粗定位并进行精细化的肿瘤组织分割。

附图说明

图1为本发明实施例中使用到的MRI图像的四个序列信息；

图2为本发明实施例中MRI图像经网格化的结果；

图3为本发明实施例中使用到的双通道卷积神经网络；

图4为本发明实施例中疑似肿瘤区域结果；

图5为本发明实施例中确定特征提取区域；

图6为本发明实施例中使用到的卷积神经网络；

图7为本发明实施例中使用到的特征融合及选择方法；

图8为本发明实施例中最终精细化分割结果；

图9为本发明的总体流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

步骤1：输入一例MRI数据影像，参照图1，该MRI影像按该方式组织；

步骤2：对每层MRI数据影像网格化，每层图像网格化结果参照图2；

步骤3：参照图3，构建双通道卷积神经网络，并训练分类模型。

步骤4：通过构建的分类模型，对MRI影像网格化后的所有等距矩形区域进行分类，并汇总所有矩形区域的结果，输出疑似肿瘤区域的粗定位结果，结果参照图4；

步骤5：遍历疑似肿瘤区域边界坐标，对每个像素坐标从八个方向进行像素级搜索。参照图5，每搜索一个新像素坐标，就以该像素坐标为中心构造矩形区域，确定特征提取区域。

步骤6：参照图6，训练卷积神经网络。利用该网络对步骤5所构造的矩形区域提取卷积神经网络特征，并对相应矩形区域提取影像组学特征，参照图7，对提取的卷积神经网络特征和影像组学特征进行特征选择及融合，输出最终的特征向量；

步骤7：采用XGBoost分类模型利用融合后的特征向量对特征提取区域进行分类，通过确定该区域的分类标签，从而确定该区域中心像素的标签。

步骤8：汇总相同分类标签的像素点，形成肿瘤边界以及不同肿瘤组织的标注，结果参照图8。

Claims (1)

1.一种针对核磁共振影像MRI中脑胶质瘤识别及分割的两阶段计算装置，所述装置使用如下方法步骤实现核磁共振影像中的脑胶质瘤识别及分割：

步骤1：数据准备，具体为：

将病例数据按下述结构进行准备，一个病例的MRI数据包含四种序列的图像：Flair，T1，T1ce和T2，其结构可表示为：

I＝{I¹,I²,I³,...,I^N}

其中，N表示MRI图像分层序列的总层数，Iⁿ为第n层图像集合，其大小为4×240×240，

分别表示Iⁿ中Flair、T1、T1ce和T2四个序列的图像；

步骤2：肿瘤快速识别方法的初始化过程，具体为：

步骤2.1：MRI图像网格化处理，将MRI图像在Flair、T1、T1ce和T2序列中分别划分成多个等距矩形区域，设矩形区域大小为g_l×g_l，若一张MRI图像的大小为t×t，从原图像的(0,0)点作为起点，采用

的步长将原图划分成等距矩形区域，边缘区域不足一个矩形区域时进行补0处理，变为一个完整的矩形区域；记矩形区域为p_x,y，即p_x,y为由点(x,y)和点(x+g_l,y+g_l)所确定的矩形区域，记矩形区域的集合为Ω(P)，则每个矩形区域的数据可表示为：

经实验对g_l进行搜索，发现g_l取26时模型定位准确率最高，故p_x,y大小为4×26×26；

步骤2.2：训练快速识别网络，具体为：

步骤2.2.1：构建双通道卷积神经网络，双通道的每个通道的输入均为4×26×26，通道A由13×13的卷积层和丢弃率为0.5的Dropout层组成，该通道仅进行了单层卷积计算；通道B由典型的网络结构组成：5×5的卷积层、5×5卷积层、4×4池化层、3×3卷积层、2×2池化层和丢弃率为0.5的Dropout层，通道B使用了多个小的卷积核，保证模型能够获得图像的细节信息，最终通过融合通道将两个通道的特征图合并完成分类模型；

步骤2.2.2:训练模型，根据分割标准将训练样本中每个MRI图像划分为肿瘤区域和非肿瘤区域，随机地从训练数据集中采样4×26×26的矩形区域进行训练，并给每个矩形区域加上相应的标签，训练时批处理参数为16，数据迭代次数取20，使用Adam优化器，其中Adam的参数为学习率取0.005，学习率衰减因子取0.1，冲量取0.9；

步骤3：MRI图像中肿瘤的识别与疑似区域的粗定位，具体为：

步骤3.1：疑似肿瘤区域的识别，输入数据图像Iⁿ，从切片图像的(0,0)点作为起点，采用

的步长遍历矩形区域集合Ω(P)，搜索每个矩形区域p_x,y，即利用卷积神经网络模型对每个矩形区域进行是否包含肿瘤区域的分类判断；如果分类结果为0，表明输入的整个区域块内没有发现疑似肿瘤组织；如果分类结果为1，表明输入的整个区域块内有疑似肿瘤组织，则初始化标记矩阵Mask，并在其上的相应矩形区域中标记1，其中，标记矩阵Mask的大小为240×240，初始值为0，并划分为多个大小与p_x,y相同的对应矩形区域；

步骤3.2：标记疑似肿瘤区域边界，首先，将标记矩阵Mask中标记为1的区域汇总形成完整的疑似肿瘤区域；接着，在Iⁿ中找到对应的p_x,y；最后，用队列L记录所有的p_xy区域坐标，L中存放的数据可表示如下：

L＝{L₁,L₂,...,L_k}

其中，k表示Iⁿ中粗定位区域总个数，L_i表示第i个粗定位区域的边界坐标集合，

表示第i个区域的边界坐标个数；

步骤4:确定像素搜索中的特征提取区域，具体为：

由于从单个像素中仅能提取强度低阶特征，为获取更丰富的特征信息，需从所处理像素点为中心的一个较小局部区域内来提取更多样的特征信息，该特征提取域是以待处理像素点(x,y)为中心所形成的大小为g_s×g_s的采样区域G_x,y，即G_x,y是由点

和点

确定的矩形区域，可表示为：

经实验，发现g_s取10时准确率最高，故G_x,y大小为4×10×10；

步骤5:构造分割模型，具体为：

步骤5.1：训练卷积神经网络提取高阶特征，具体为：

步骤5.1.1：构建卷积神经网络，卷积神经网络特征主要使用卷积神经网络特征提取器进行提取，其卷积神经网络结构为：包含两个卷积层，卷积层大小分别为16×10×10和32×5×5，并在每个卷积层后跟一个最大池化层，池化层大小分别为和16×5×5和32×2×2，最后加上全连接层代表最后的输出特征；

步骤5.1.2：训练过程，随机将图像中所提取的G_x,y矩形区域进行训练，训练时批处理参数为16，数据迭代次数取20，使用SGD优化器，其中SGD的参数为学习率取0.005，学习率衰减因子取0.0，冲量取0.9，训练模型的准确率需达到85％以上；

步骤5.1.3：特征提取，通过该卷积神经网络计算，从G_x,y中每一层图像提取128维卷积神经网络特征F_CNN；

步骤5.2：提取影像组学特征，具体为：

对G_x,y中每一层图像进行影像组学特征提取，提取的影像组学特征104个，合并Flair、T1、T1ce和T2四个序列的特征

和

形成影像组学特征集F_radiomics；

步骤5.3：特征融合形成特征集合，将影像组学特征和卷积神经网络特征进行融合，以提高特征集合对病灶信息的表达能力，则原始总体特征集合可表示为：

F＝F_radiomics+F_CNN

其中，F_CNN表示128维卷积神经网络特征，F_radiomics表示4×104维四个序列上的影像组学特征，则F共包含544维特征；

步骤5.4：L1正则化特征选择，采用L1正则化套索算法Lasso进行特征选择，减少两个特征集合之间可能存在的冗余特征，最终特征集合F_fin只包含178个特征，其中包含影像组学一阶特征和二阶特征共32个以及82维卷积神经网络特征，最终特征集合F_fin可表示为：

F_fin＝F_{fin-radiomics}+F_fin-CNN

其中，F_fin-CNN表示经过特征选择后的卷积神经网络特征，F_{fin-radiomics}表示经过特征选择后的四个序列上影像组学特征；

步骤5.5：训练像素级分类模型，具体为：

此步骤的分类模型采用XGBoost算法，参数为学习率取0.1，每棵树的最大深度为6，决策树个数取125，最小叶子结点样本权重和取1，节点分裂所需的最小损失函数下降值取0.1，控制每棵树随机采样的比例取0.8，控制每棵树随机采样的特征的比例取0.8，正样本权重取1，叶节点允许的最小样本数取10,训练后分类准确率需达到95％以上；

步骤6：对疑似肿瘤区域进行精细化分割，具体为：

步骤6.1：若已获得的疑似肿瘤区域位置队列L非空，则从L中随机取出一新坐标点c(x,y)，并令其为当前处理点C；否则，结束计算；

步骤6.2：若当前处理点已计算且相邻八个方向上的像素点都已判断完毕，则返回步骤6.1；否则，利用坐标c(x,y)通过步骤4得到特征提取区域G_x,y，并通过步骤5构造的分割模型得到该特征提取区域G_x,y的分类结果；

步骤6.3：如果经分类后，G_x,y的标签为肿瘤周围水肿区、非增强肿瘤区或增强肿瘤区域，则标记G_x,y区域中心像素点c(x,y)的所属类别为相应标签，同时依次从0度、45度、90度、135度、180度、225度、270度、315度八个方向中选择一新方向作为移动方向，并在该方向上移动一个像素，得到一个新的像素坐标c，返回步骤6.2；如果经分类后得到G_x,y的标签为非肿瘤标签，则标记G_x,y区域中心像素点的类别为非肿瘤标签，同时将坐标点退回到当前处理点C，令c(x,y)＝C，返回步骤6.2；

步骤7：精细化标记肿瘤边界及不同组织，具体为：

根据每个像素点所得到的分类标记，将得到相同分类结果的像素点(x,y)汇总，形成肿瘤边界以及不同肿瘤组织的标注，并用I_seg记录肿瘤组织精细化的分割结果。

Images