CN113344933A

CN113344933A - 一种基于多层次特征融合网络的腺体细胞分割方法

Info

Publication number: CN113344933A
Application number: CN202110608183.5A
Authority: CN
Inventors: 饶云波; 王艺霖
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2021-06-01
Filing date: 2021-06-01
Publication date: 2021-09-03
Anticipated expiration: 2041-06-01
Also published as: CN113344933B

Abstract

本发明公开了一种基于多层次特征融合网络的腺体细胞分割方法，属于医学图像处理技术领域。本发明所提供的腺体细胞分割网络模型包括编码器和解码器，在编码器阶段，将输入端的特征图通过下采样生成不同尺度的特征图，然后将它们与编码器中最大池化生成的相应比例的特征图进行拼接实现多层次特征输入，加强图像特征的传播；在解码器阶段，根据下采样所保留的不同层次的特征图信息，在进行解码器阶段中的上采样操作时与相对应尺寸大小的特征图进行拼接，再一次的结合浅层图像特征，补偿像素位置的损失，减少在解码过程中预测定位特征图像素位置时的误差，实现高效的腺体细胞图像分割任务。

Description

一种基于多层次特征融合网络的腺体细胞分割方法

技术领域

本发明属于医学图像处理技术领域，具体涉及一种用于腺体细胞图像的分割方法。

背景技术

正常的腺体是由管状结构的管腔区域和围绕细胞质的上皮细胞核组成，由腺上皮细胞产生的恶性肿瘤，称为腺癌。常规的治疗计划往往取决于腺癌所处的分级和阶段。而对组织病理学图像中腺形态进行注释和分割是医学专家判断结肠、乳腺和前列腺等癌症分级的重要步骤和手段。这项工作对病人病情的治疗是非常重要的，因为准确的腺体分割有助于针对性的、个性化的治疗设计，进而提高患者的治愈率。但是通过医学专家进行手动注释、分割腺体细胞是需要高度集中的，同时是非常辛苦和耗时的。不仅如此，由于对腺体细胞形态的判断会受到医学专家主观的影响，如果长时间疲劳作业会大大增加专家的失误率，从而增大给患者带来生命危险的概率。因此，在临床治疗中对腺体细胞图像的自动化分割方法提出了很高的要求，以高效率、高精度和高可靠性为前提，减少医学专家的工作量。

计算病理学的兴起导致了自动化的腺体分割方法的发展，旨在克服手工分割的挑战。然而，这项任务具备很大的挑战，因为腺体细胞的外观有很大的可变性，且很难区分某些腺和非腺的组织结构。此外，不确定性的测量对于诊断决策是必不可少的。因此，自动化的腺体分割对在提高临床工作的效率和可靠性以及减少病理学家工作量等方面具有至关重要的意义。在以往的研究工作中，难以对腺体细胞进行高精度、高效率的分割主要有两个原因：

(1)良恶性之间的腺体形态差异很大，良性腺体一般呈圆形结构，恶行腺体则呈不规则结构，且随着癌症级别的不同，恶行腺体的形态差异会更大，从而加大了从组织中准确勾画出单个腺体细胞的难度；

(2)相邻腺体细胞之间的间隙狭小，对于各个腺体细胞边界的划分需要较高的分辨率，从而加大了将各个腺体细胞准确分割开的难度；

对腺体细胞进行自动的、精准的分割可以使医学专家能方便、快速地从大规模腺体组织中提取重要的形态学特征。对于腺体组织进行分割的传统方法在执行过程中需要大量的人机交互过程，并且达到的精确度较低、同时存在泛化能力和抗干扰能力较弱等问题。

与传统的医学图像分割算法相比，基于深度学习的医学图像分割方法在准确性和效率上都取得了很好的成绩，比如FCN，U-Net，SegNet，和ResU-Net等神经网络。这些基于神经网络的算法特点是通过滤波器的卷积操作对医学图像中的像素信息进行多次非线性变化，以此提取图像中高低不同层次、不同强度的抽象特征，再结合这些特征信息对原始图像中的感兴趣的目标对象进行分析和判定，最终得到想要的结果。在基于深度学习的医学图像分割算法中，最具代表性的便是U-Net网络，它具有对称式的编码-解码的拓扑结构，同时由于它独特的跳跃连接结构使得高层次的图像特征可以和低层次的图像特征相结合，从而使网络在解码过程中获得更多的图像细节特征，进而到达更佳的分割效果。但是，U-Net在编码器阶段利用卷积核提取特征时，会在一定程度上过滤或丢失图像中有价值的位置信息，导致其在解码器阶段恢复像素的位置不准确，使得分割边界不理想。

针对图像特征的提取和分类，越来越多的神经网络算法出现在大家的视野中，其中脱颖而出的有ResNeXt网络和Squeeze-and-Excitation Networks(以下简称SE-Net)。ResNeXt网络是ResNet网络和Inception网络的结合体。ResNet认为加深网络可以提高网络质量，Inception认为加宽网络可以带来深度网络性能的改善。为了同时具备两者的优点，ResNeXt使用了分组卷积并提出了一个新概念，称之为Cardinality。在分组卷积中，不同的分组属于不同的子空间，各个子空间能学到不同样的特征表示，这样一来，ResNeXt便可以获取到更加丰富的特征信息。Cardinality则表示分组卷积的数量，类似Inception块，但是里面的每个小块又是相同的结构，即采用相同的卷积参数，通过堆叠这样的ResNeXt块来构建出ResNeXt网络。同时整个分组卷积结合了残差网络提出的核心思想：恒等映射，进一步提高了网络对图像特征进行提取和分类的能力。

滤波器作为卷积神经网络的核心，它针对每层网络所覆盖的局部感受野，将图像空间上的特征信息进行处理和分析，以此来构建图像的信息特征。为了增强网络提取信息的能力，研究者们往往采用加强图像空间的编码质量等方式。但是，这并没有考虑特征通道与神经网络性能之间的关系，SE-Net打破了传统思想，区别于从图像空间和维度上提取特征，转而从特征通道上进行研究，探索图像特征和特征通道之间的关系。顾名思义，SE-Net包含了两个非常关键的操作，分别是特征压缩(Squeeze)和特征激励(Excitation)。这是一个新的学习策略，通过Squeeze和Excitation，建立了特征通道之间的相互依赖关系，再通过学习的方式，自适应地学习和标定每个特征通道的权重。将这些模块堆叠在一起便形成了SE-Net神经网络。

在本发明的技术方案的实现过程中，发明人发现：为了提高神经网络对腺体细胞分割的精确度，应该关注和优化以下两个方面：首先，在编码器阶段，如何在下采样过程中提取更有效的图像特征，使得像素分类更加准确；其次，在解码器阶段，当需要将高层次的特征图扩充到与原始图像相同大小时，如何在上采样过程中有效的将像素点定位到原始图像对应的位置，使得像素预测更加精准。不管在哪一方面，想要达到理想的效果，都是极大的挑战。

发明内容

本发明提供了一种基于多层次特征融合网络的腺体细胞分割方法，用于实现对腺体细胞图像中实例对象的精准分割。

本发明提供了一种基于多层次特征融合网络的腺体细胞分割方法，所述方法包括：

设置腺体细胞分割网络模型，所述腺体细胞分割网络模型采用U型结构的编码器和解码器结构；

所述编码器包括M+1个编码器子块，第一个编码器子块包括顺次连接的一个卷积块和至少一个EBA1，第二至第M个编码器子块的结构相同，包括顺次连接的一个拼接层，至少一个EBA1和一个最大值池化层，第M+1个编码器子块包括顺次连接的一个拼接层和至少一个EBA1；上一编码器子块的输出接入下一编码器子块的拼接层，且该拼接层还还分别接入一个下采样层，所述下采样层用于将编码器的输入图像生成不同尺寸的下采样特征图，以实现与对应子块的最大值池化层生成的对应比例的特征图进行通道拼接；

其中，卷积块包括依次连接的卷积层、批量归一化层和激活函数层；

所述解码器包括M(M大于1)个解码器子块，第一个至第M-1个解码器子块的结构相同，包括依次连接的拼接层和至少一个EBA2，第M个解码器子块包括依次连接的拼接层、至少一个EBA2、一个滤波器为1×1的卷积层和一个采用Sigmoid激活函数的输出层；上一个解码器子块的输出通过一个上采样层接入下一个解码器子块的拼接层，且该拼接层还分别与其所在解码器子块的对称位置的编码器子块的输出相连，所述第一个解码器子块的拼接层的输入通过上采样层与第M+1个编码器子块的输出相连，以及直接与第M个编码器子块的输出相连，以实现对于解码器在上采样过程中产生的各个特征图将于编码器在下采样过程中每个EBA1所提取和保留的特征图相对应的进行通道拼接；

其中，EBA1包括多个卷积组，每个卷积组包括的滤波器数量相同，定义卷积组包括的滤波器数量为N，在第一个卷积组之后顺次连接一个滤波器数量为N/2的降维卷积块和滤波器数量为N的升维卷积块，在最后一个卷积组之后连接一个基于特征通道学习的SE模块，SE模块输出的特征图与EBA1的输入特征图相融合得到EBA1的输出特征图；其中，所述降维卷积块和升维卷积块的结构相同，依次包括卷积层、批量归一化层和激活函数层；

EBA2包括多个卷积组，在第一个卷积组之后顺次连接一个滤波器数量为N/4的降维卷积块和滤波器数量为N/2的升维卷积块，在最后一个卷积组之后连接一个基于特征通道学习的SE模块，EBA2的输入特征图在经过一个滤波器数量为N/2的降维卷积块后再与SE模块输出的特征图相融合得到EBA2的输出特征图；

对原始腺体细胞图像进行灰度转换处理得到训练图，以及对原始腺体细胞图像的标签图像进行像素增强处理得到训练标签图，获取训练数据集；并基于所述训练数据集对腺体细胞分割网络模型进行深度学习训练，直到满足预置的训练结束条件，得到训练好的腺体细胞分割网络模型；

对待分割的原始腺体细胞图像进行灰度转换处理得到待分割图，将待分割图输入训练好的腺体细胞分割网络模型，基于其输出获取待分割图的分割结果。

进一步的，每个编码器子块包括两个顺次连接的EBA1，每个解码器子块包括一个EBA2。

进一步的，所述SE模块包括依次连接的全局平均池化层、第一全连接层和第二全连接层和逐通道加权层，且逐通道加权层的输入还包括SE模块的输入特征图，第一全连接层用于降低特征图的通道数，第二全连接层用于增加特征图的通道数。

进一步的，SE模块的第一全连接层采用的激活函数为ReLU，第二全连接层采用的激活函数为Sigmoid。

进一步的，EBA1和EBA2的具体网络结构分别为：

EBA1包括两组卷积组，每组卷积组的数量为32，卷积核为3×3，且第一组卷积组的激活函数为ReLU，第二组卷积组的激活函数为Linear，EBA1的降维卷积块的卷积核为1×1，激活函数为Linear，EBA1的升维卷积块的卷积核为3×3，激活函数为Linear；

EBA2包括两组卷积组，每组卷积组的数量为32，卷积核为3×3，且第一组卷积组的激活函数为ReLU，第二组卷积组的激活函数为Linear，EBA2的滤波器数量为N/4的降维卷积块的卷积核为1×1，激活函数为Linear，EBA2的滤波器数量为N/2的降维卷积块的卷积核为1×1，激活函数为ReLU，EBA2的滤波器数量为N/2的升卷积块的卷积核为1×1，激活函数为ReLU。

进一步的，基于训练数据集对腺体细胞分割网络模型进行深度学习训练时采用二进制交叉熵作为损失函数。

进一步的，采用全连接条件随机场(Dense Conditional Random Fields,DCRF)对待分割图的分割结果进行后处理优化。

另一方面，本发明还提供了一种多层次特征融合网络的腺体细胞分割装置，包括用于接收原始腺体细胞图像的计算机，所述计算机被编程以执行上述任一所述的腺体细胞分割方法。

本发明提供的技术方案至少带来如下有益效果：

本发明采用的用于分割的网络模型由编码器和解码器组成，通过编码器尽可能多地提取目标对象特征并将其准确分类，然后通过解码器在低分辨率特征图的基础上对像素进行恢复和定位，最终实现对腺体细胞图像中实例对象的精准分割。设置了两种具有不同功能的高效的瓶颈架构(Efficient Bottleneck Architectures，以下简称EBAs)贯穿于整个编码-解码过程，同时在EBAs中引入特征像素逐点相加的方式实现多层次特征融合，加大图像特征向更深层网络传播的能力，使整个分割网络对特征信息地提取更加细致，对特征信息的学习能力更加强大。在编码器阶段，将输入端的特征图通过下采样生成不同尺度的特征图，然后将它们与编码器中最大池化生成的相应比例的特征图进行拼接实现多层次特征输入，加强图像特征的传播；在解码器阶段，根据下采样所保留的不同层次的特征图信息，在进行解码器阶段中的上采样操作时与相对应尺寸大小的特征图进行拼接，再一次的结合浅层图像特征，补偿像素位置的损失，减少在解码过程中预测定位特征图像素位置时的误差，实现高效的腺体细胞图像分割任务。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种基于多层次特征融合网络的腺体细胞分割方法的处理过程示意图；

图2为本发明实施例采用的原始腺体细胞图像的示意图；

图3为本发明实施例中，对腺体细胞图像数据集预处理过程示意图；

图4为本发明实施例中，所涉及的两种高效的瓶颈结构示意图；

图5为本发明实施例中采用的SE模块结构示意图；

图6为本发明实施例中采用的编码器结构示意图；

图7为本发明实施例中采用的解码器结构示意图；

图8为本发明实施例中采用的基于多层次特征融合的神经网络架构图；

图9为本发明实施例中采用的DCRF对腺体细胞图像的后处理优化结果示意图；

图10为本发明实施例中对良性腺体细胞图像的分割结果；

图11为本发明实施例中对恶性腺体细胞图像的分割结果；

图6至图8中，位于矩形框上方的数字表示特征图的通道数。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

针对腺体细胞图像分割中存在的挑战任务，本发明实施例提出了一个基于多层次特征融合的网络模型。在该网络模型中，结合了图像不同层次的特征图信息，并聚集了多种感受野上的特征，嵌入了图像多层次的特征信息，通过掌握全局和局部的空间上下文信息，以提高对特征提取的能力，这就是多层次特征融合的思想。该网络模型由编码器和解码器组成，通过编码器尽可能多地提取目标对象特征并将其准确分类，然后通过解码器在低分辨率特征图的基础上对像素进行恢复和定位，最终实现对腺体细胞图像中实例对象的精准分割。

本发明的具体做法是，首先设计了两种具有不同功能的高效的瓶颈架构(EBAs)，将其贯穿于整个编码-解码过程，同时在EBAs中引入特征像素逐点相加的方式实现多层次特征融合，加大图像特征向更深层网络传播的能力，使整个网络对特征信息地提取更加细致，对特征信息的学习能力更加强大。在编码器阶段，将输入端的特征图通过下采样生成不同尺度的特征图，然后将它们与编码器中最大池化生成的相应比例的特征图进行拼接实现多层次特征输入，加强图像特征的传播；在解码器阶段，根据下采样所保留的不同层次的特征图信息，在进行解码器阶段中的上采样操作时与相对应尺寸大小的特征图进行拼接，再一次的结合浅层图像特征，补偿像素位置的损失，减少在解码过程中预测定位特征图像素位置时的误差，实现高效的腺体细胞图像分割任务。

参见图1，以腺体细胞为例，本发明实施例提出的基于多层次特征融合的分割方法的具体实现步骤包括：

步骤1、腺体细胞图像预处理。

由于医学影像数据的特殊性，无法直接使用医学成像设备输出的图像数据，必须对这些数据进行预处理之后才能用于神经网络的训练和实验。本发明实施例中，原始腺体细胞图像使用2015年MICCAI(Medical Image Computing and Computer AssistedIntervention Society)腺体分割挑战赛的官方数据集。此数据集中一共具有165对原图和相对应标签图。其数据格式为BMP文件，属于标准图像文件格式，尺寸大小均为775×522，其中原图的位深度为24，经过专家标注的标签图的位深度为8，但是原始标签图像素对比度不显著，不易于人眼识别。整个数据集包含从良性腺体到恶性腺体各种等级，并且包含了差异较大的案例，如图2所示，从左到右(图中的第a列、b列、c列至第d列)表示从良性腺体形态到一般恶性的腺体形态再到更加恶劣的腺体形态。通过对多种形态的数据进行实验，可以更好地评价本发明实施例所提供的分割方法的性能(健壮性和鲁棒性)。

为了适应本发明实施例所提出的基于多层次特征融合的神经网络模型训练，同时针对专家标注的标签图中像素对比度低导致人眼识别困难的问题，分别对原始图像和标签图像进行预处理和调整。首先，对原始图像进行灰度化操作，例如将原始图像的位图深度从24调整为8，即将原始彩色图转化为灰度图。然后，对原始标签图像进行像素增强的操作，例如将每一个像素乘以255，增大像素之间的对比度，这样一来人眼便能清晰得分辨出标签图像中的腺体细胞。腺体细胞图像预处理过程及结果如图3所示。

经过对腺体细胞原始数据集的预处理，得到了可用于本发明的神经网络使用的数据。

步骤2、高效的瓶颈结构设计。

针对腺体细胞图像，为了在编码器阶段对目标对象进行精确的特征提取和分类以及在解码器阶段对目标对象的轮廓和边缘进行精准定位和细化边界，进而完成对腺体细胞图像的精准分割，本实施例中，设计并实现了两种EBAs，并分别应用于编码器和解码器之中，其结构设计如图4所示。

图4即为本发明实施例提出的高效的瓶颈结构，左侧为EBA 1，右侧为EBA 2。EBAs主要采用的是分组卷积的思想，即多个卷积组并行计算，各个卷积组之间是相互独立的，通过各个卷积组可以获取不同空间的特征信息，进而获取到更多的图像特征。与ResNeXt不同，EBAs做了很大的改进，具体为：

首先，EBAs采用卷积组数量为32，滤波器大小为3x3的分组卷积，这与传统瓶颈结构使用一个1x1卷积不同，这是为了对更具表现力的空间信息进行编码。对于分组卷积中的各个卷积来说，它们的拓扑结构是完全相同的，首先采用滤波器大小为3x3的卷积，步长为1，同时采用same padding的策略(在输入周围填充0，以使卷积操作后输入输出大小相同)来保证网络在前向传播的过程中保持特征图大小不变。紧跟在3x3卷积之后采用批量归一化的操作来正态调整卷积输出的结果，保证后面的激活函数能最大限度的进行非线性变换，以此来提高网络的训练速度和收敛速度，同时防止学习过程中的梯度消失。之后再使用ReLU作为激活函数执行非线性学习。

与普通卷积相比，假定输入的特征图宽、高和维度分别为W、H和N，滤波器个数为F，滤波器尺寸为K×K×N，那么输出特征图尺寸为W×H×F，则普通卷积的总参数量为：

Parameter_普通＝K×K×N×F

在分组卷积中，同样令输入的特征图宽、高和维度分别为W、H和N，滤波器个数为F，滤波器尺寸为K×K×N，卷积组数量为G，那么每组滤波器尺寸为

每组卷积输入的特征图尺寸为

对应的滤波器尺寸为

每组输出的特征图尺寸为

再将G组特征图的输出进行拼接，得到最终输出特征图尺寸为W×H×G，则分组卷积的总参数量为：

当G＝N时，分组卷积的总参数量为：

由以上公式可以看出，在同等情况下，分组卷积的参数量是普通卷积的1/G。由此可以得出，分组卷积可以减少参数量。特别的是，当卷积组数量G等于输入的特征图维度N时，参数量会进一步减少，这大大优化了网络模型，降低了网络模型的计算量。

然后，在第一个分组卷积之后，EBA使用一个滤波器大小为1x1的卷积，同时将滤波器数量减半，在1x1卷积之后使用批量归一化和激活函数Linear。紧接着，再使用一个将滤波器数量加倍的1x1的卷积来恢复特征图的分辨率，同时使用批量归一化和激活函数ReLU。

接下来，使用卷积组数量为32的分组卷积，和一开始的分组卷积不一样的是，在使用3x3卷积和批量归一化之后，这里使用Linear作为激活函数。

在此之后，在EBAs中使用基于特征通道学习的SE(Squeeze-and-Exci tat ionNetworks)模块，通过对特征图中特征通道的学习来加强有用特征信息的传播，进一步提高网络对腺体细胞图像中实例对象的特征提取能力，其结构如图5所示。首先顺着特征图的空间维度，使用全局平均池化对每个特征通道进行压缩，生成与特征图的各个通道相对应的多维特征向量，因为使用了全局平均池化，所以每一维特征向量都具备对应通道的全局感受野。

假定输入特征图为M＝{m₁,m₂,...,m_n}，其中m_n表示第n维上的特征图，大小为W×H，那么经过全局平均池化后输出O＝{o₁,o₂,...,o_n}，其中第k维上的特征向量o_k为：

其中，m_k(i,j)表示特征图m_k的特征值。

然后使用由两个全连接组成的瓶颈结构对这个多维特征向量进行学习，获得一组与多维特征向量想对应的介于0到1之间的权重值，这个权重值是通过一定参数学习到的，用来显示的表明各个特征向量之间的关系并展示特征图各通道之间的相关性，即每个特征通道的重要程度。

令两个全连接的权重分别为ω₁,ω₂，那么第一个全连接的输出F₁＝{f₁₁,f₁₂,...f_1n}为：

F₁＝ReLU[f(o_k,ω₁)],k∈[1,n]

其中，f_1n表示第一个全连接在第n维上的输出结果，f()表示全连接运算。

第二个全连接的输出F₂＝{f₁₁,f₁₂,...f_1n}为：

F₂＝Sigmoid[f(F₁,ω₂)]

＝Sigmoid{f[ReLU(f(o_k,ω₁)),ω₂]},k∈[1,n]

其，中f_2n表示第一个全连接在第n维上的输出结果。

在由两个全连接组成的瓶颈结构中，第一个全连接层是为了降低特征图的通道数，即起降维的作用，其参数R为一个超参数，降低维度之后的特征图维度为N/R，其中N为输入特征图的维度，在第一个全连接层之后再使用ReLU激活函数对(第一个全连接层输出的)特征图进行非线性传播和学习。第二个全连接层是为了增加特征图的通道数，即起升维的作用，将特征图直接恢复到原始维度N，并使用Sigmoid激活函数。使用两个连续的全连接层的原因是因为SE模块前面的全局平均池化是对某一个特征通道的像素信息进行操作，而每个通道又是互相隔离的、独立的，所以这两个全连接层的作用是融合各通道的特征图信息，提升网络模型的泛化能力。SE模块最后将学习到的与各个通道对应的权重值，通过乘法逐通道地加权到SE模块一开始输入的特征图上，完成对特征图的重标定。

令对特征图逐通道乘法加权函数为scale()，那么经过“特征重标定”策略之后的输出Output为：

Output＝scale(m_k,f_2k),k∈[1,n]

通过SE模块对特征图中的通道进行重标定，学习到特征图中各通道对应的权重值，再根据这个权重值掌握每个通道的重要程度，进而增强有用的、更具表现力的特征通道，抑制无用的、变现力差的特征通道。

最后，在EBA 1中，将一开始的输入与SE模块的输出相融合，实现了残差网络提出核心思想，恒等映射。用以解决神经网络训练退化和梯度消失或爆炸的问题，同时实现了多层次的特征融合，促进了特征的重用，进一步加强了特征的传播和提取。在EBA 2中，由于输入和输出的特征通道数不同，所以没有采用恒等映射，而是使用一个步长为1，滤波器大小为1x1的卷积，紧接着再使用批量归一化和激活函数ReLU，这条路径被称为捷径(Shortcut)。

两种EBAs贯穿在整个神经网络中，经过EBAs模块中这一系列非比寻常的卷积运算和操作，不仅可以使编码器能高效地提取腺体细胞图像中感兴趣对象的详细特征信息，生成精细化的特征图，从而提高像素与像素之间的分类精度，而且可以使解码器能够精准地预测目标对象的位置信息，对其轮廓进行精准定位，最大限度地提高对腺体细胞图像分割的精确度。

步骤3、编码器结构设计。

为了更好地提取腺体细胞图像的特征，对编码器进行了设计，如图6所示。在本编码器中，针对腺体细胞，为了对其进行高效的特征提取和分类，应用了第一种高效的瓶颈架构。除此之外，在编码器阶段，根据整个网络的输入图像，通过不同的下采样操作生成不同尺寸的特征图并记录保留，然后在编码器过程中与最大池化层生成的相对应比例的特征图以通道拼接的方式进行融合，实现多层次特征融合以增强对图像特征的提取和分类。

整个编码器由一个步长为1，滤波器大小为3x3的卷积层和十个EBA 1、四个最大池化层以及四个负责下采样的卷积层组成。其中，在第一个卷积和每个最大池化操作之后，使用连续多个(优选为两个)相同的EBA 1，这是为了加深网络深度，提高网络对特征的提取能力。因为该任务偏向于分割感兴趣对象地纹理、轮廓等特征，所以在编码器阶段使用最大池化操作，可以帮助网络降低复杂度和计算量，同时过滤掉一些无用信息。但是，最大池化操作也有可能过滤对网络有用的特征信息。针对最大池化的缺点，本发明巧妙地利用多层次特征融合的思想，将整个网络初始的特征图输入进行多次卷积下采样操作，生成不同比例和尺寸的特征图，分别对应第一、二、三、四次最大池化操作生成的特征图，再与之进行通道拼接，作为后面的卷积操作的输入。这样的做法不仅解决了由于最大池化造成的有用特征信息丢失的问题，而且实现了多层次特征融合，提高图像特征的提取。

步骤4、解码器结构设计。

在解码器阶段，为了实现对腺体细胞的精准分割，对解码器进行了设计，如图7所示。针对腺体细胞，为了更好地预测和定位目标对象的轮廓和边界，在解码器中应用了第二种高效的瓶颈架构。除此之外，对于解码器在上采样过程中产生的各个特征图，将与编码器在下采样过程中每个EBA 1所提取和保留的特征图相对应地进行通道拼接，以实现多层次特征融合。这样一来，将浅层编码层产生的低级特征与深层解码层产生的高级特征相结合，以获取更具代表性的特征信息，通过对多层次的图像特征进行分析，提高像素预测的结果，进而实现更好的分割效果。

整个解码器由一个步长为1，滤波器大小为1x1的卷积层和四个上采样卷积层以及四个EBA 2组成。在解码器扩大并恢复特征图的分辨率这个步骤中，本发明使用了上采样加卷积的组合操作，而不是直接使用反卷积来实现。经过研究发现，反卷积容易造成像素的不均匀重叠，表现为某些区域的特征信息比其它区域更加抽象，特别是在当滤波器大小无法被步长整除时，这种现象就会更加明显，从而导致整个特征图出现伪影的问题，严重影响到最终的分割结果。由于本发明提出的神经网络在编码器阶段记录并保留了像素的位置信息，所以在解码器阶段，上采样就可以借助这些位置信息将像素信息还原到原始位置，对低分辨率的特征图进行精准恢复，这也弥补了在编码器中由于卷积和池化操作所造成的细节和像素信息丢失的问题，从而以较高的分割精度保留住边缘细节。

在解码器末尾，也是整个神经网络最后，使用了一个步长为1，滤波器大小为1x1的卷积层，最后再使用Sigmoid激活函数得到分割概率图。

步骤5、搭建基于多层次特征融合的神经网络模型。

本发明实施例中，基于多层次特征融合的神经网络模型由编码器和解码器组成，如图8所示。整个网络以编码器开始，经过拥有四次最大池化层的下采样之后图像分辨率缩小16倍，然后经过四次上采样将特征图扩充16倍恢复图像，最后使用一个1x1的卷积和Sigmiod激活函数实现最终的分类预测。

在本发明实施例中所采用的神经网络中，多次体现了多层次特征融合思想。首先，在高效的瓶颈结构中，EBAs巧妙地使用恒等映射和Shortcut(“直连”或“捷径”)，通过像素叠加的方式实现了多层次特征融合。其次，在编码器阶段，对神经网络最开始输入的特征图进行多次下采样得到多种不同比例的特征图，分别对应编码器过程中最大池化层产生的同比例大小的特征图，再使用通道拼接的方式实现多层次特征融合。最后，在解码器阶段，将编码器中下采样阶段提取和保留的特征图与对应上采样产生的同比例特征图进行通道拼接，以实现多层次特征融合。

在本发明实施例提出的神经网络训练过程中，不仅能促进图像特征的传播和重用，结合并掌握全局和局部上下文特征信息，而且能缓解由于卷积和池化操作带来的有用特征信息丢失的问题，进而提高对图像特征的提取和分类能力以及强化对低分辨率特征图的预测和定位能力，最终实现对腺体细胞图像的精准分割。

步骤6、训练网络模型并优化网络模型参数。

为了提高本发明实施例所提供的神经网络的鲁棒性并减少过拟合，将训练图像和对应的标签图像以相同的命名分别置于两个文件夹，使用平移、裁剪、旋转和弹性变形等数据增强策略来扩大训练数据集。

本实施例中，训练过程中未加载预训练模型，滤波器初始化参数为0-1随机正态分布，网络模型优化器使用Adam，初始学习率设置为0.0001，在训练过程中批量输入图像的数量为4，同时使用二进制交叉熵作为损失函数，损失函数计算方式如下所示：

其中，

表示像素类别预测值，y_i表示像素类别标签，n表示像素点数量。

本发明实施例提出的神经网络经过反向传播不断迭代和优化网络参数和模型，训练完成网络参数和模型被保存为HDF5格式文件。由此，得到训练好的基于多层次特征融合的神经网络模型。

将经预处理的待分割图像输入训练好的基于多层次特征融合的神经网络模型中，基于其输出得到各像素点的类别预测值，基于类别所对应的分割对象，得到分割结果。

进一步的，还包括步骤7、使用全连接条件随机场(Dense Conditional RandomFields,DCRF)对分割结果进行后处理优化。

图像上下文信息表示像素类别标签之间的空间关系，在结构化预测任务中有着重要作用。结合图像上下文信息和高层次的语义信息是图像分割的关键。由于腺体细胞图像中噪声组织与目标对象极为相似，且噪声繁多，在这种情况下，DCRF模型非常适合对其进行后处理优化，它的结构化预测能力可以发挥重要作用。针对腺体细胞图像的特点，本发明实施例中，将基于多层次特征融合网络的输出结果(分割结果)映射为概率图谱，再使用DCRF构建随机场模型，然后对这个概率图谱中的像素与像素之间进行建模。利用腺体细胞图像的灰度强度和欧氏距离建立一元势和二元势能量函数，掌握局部和全局空间信息，充分结合图像的上下文信息，探测各像素之间的耦合关系，将同类像素尽可能聚合在一起，实现对整个概率图谱进行优化。

使用DCRF模型建模优化的结果如图9所示，每一行表示一组腺体细胞图像，共展示两组。其中第一列为原始输入图像，第二列为本发明提出的基于多层次特征融合网络输出的概率图谱，第三列为使用DCRF建模优化之后的分割结果。

从图9中可以发现，第二列概率图谱中的腺体细胞周边和内部存在较多的噪声区域，这是因为腺体细胞图像中噪声信息太多，噪声区域表示该区域有成为腺体细胞的可能，通过建立一元势和二元势能量函数之后，将腺体细胞区域和噪声区域的像素建立双边关系，对像素进行类别判定，将噪声区域中属于腺体细胞类别对象的像素划分为腺体细胞，去除冗余的像素和孤立的像素，提高分割效果和精确度。

使用预处理好的腺体细胞图像数据对本发明实施例进行实验并做出针对腺体细胞图像分割的评估结果，使用的测试数据包括良性腺体细胞图像和恶行腺体细胞图像两种类别。使用良性腺体细胞测试数据的实验结果如图10所示，共展示了四组腺体细胞图像分割结果。其中左边两列分别为原始图、原始标签图，右边为分割结果。对于良性腺体细胞图像，面对细胞周边的噪声组织非常相似且繁多而导致的腺体细胞与周边组织的对比度低的现象以及腺体细胞粘连的情况，本发明实施例通过利用图像多层次特征融合算法的优势，并学习结合不同空间和不同特征维度的特征，对腺体细胞对象的特征进行的丰富地提取和预测。观察实验结果可以发现，本发明实施例能够精准地将腺体细胞对象分割出来。

除了使用良性腺体细胞测试数据，还使用恶性腺体细胞图像进行实验测试，以验证本发明实施例对腺体细胞图像分割的泛化性和鲁棒性。良性腺体细胞一般边界清晰，形态光滑且规则，多呈现为椭圆形和圆形。而恶性腺体细胞通常没有薄膜包裹，导致细胞向周边扩散，这样一来腺体细胞不仅体积大，而且形态不规则，使得腺体细胞与周边组织相似度更高，细胞边界更加难以识别，导致对恶行腺体细胞图像进行精准分割的难度极大。本发明实施例对恶性腺体细胞进行分割的实验结果如图11所示。由实验结果可以看出，即使恶性腺体细胞具有更多的噪声组织，而且其形态结构各不相同且差异巨大，本发明也能凭借其优秀的特征空间信息提取能力，能够将恶性腺体细胞清晰地分割出来。

分别使用良性腺体细胞图像和恶性腺体细胞图像对本发明进行定性评估实验。通过实验证明，对于良性和恶性腺体细胞来说，即使腺体细胞周边存在更多的噪声组织，以及与周边噪声组织有更高的相似度，本发明实施例依旧能保证对单个腺体细胞分割很高的精确性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims

1.一种基于多层次特征融合网络的腺体细胞分割方法，其特征在于，所述方法包括：

所述编码器包括M+1个编码器子块，其中，M为大于1的正整数，且第一个编码器子块包括顺次连接的一个卷积块和至少一个EBA1，第二至第M个编码器子块的结构相同，包括顺次连接的一个拼接层，至少一个EBA1和一个最大值池化层，第M+1个编码器子块包括顺次连接的一个拼接层和至少一个EBA1；上一编码器子块的输出接入下一编码器子块的拼接层，且该拼接层还还分别接入一个下采样层，所述下采样层用于将编码器的输入图像生成不同尺寸的下采样特征图，以实现与对应子块的最大值池化层生成的对应比例的特征图进行通道拼接；

所述解码器包括M个解码器子块，第一个至第M-1个解码器子块的结构相同，包括依次连接的拼接层和至少一个EBA2，第M个解码器子块包括依次连接的拼接层、至少一个EBA2、一个滤波器为1×1的卷积层和一个采用Sigmoid激活函数的输出层；上一个解码器子块的输出通过一个上采样层接入下一个解码器子块的拼接层，且该拼接层还分别与其所在解码器子块的对称位置的编码器子块的输出相连，所述第一个解码器子块的拼接层的输入通过上采样层与第M+1个编码器子块的输出相连，以及直接与第M个编码器子块的输出相连，以实现对于解码器在上采样过程中产生的各个特征图将于编码器在下采样过程中每个EBA1所提取和保留的特征图相对应的进行通道拼接；

2.如权利要求1所述的方法，其特征在于，每个编码器子块包括两个顺次连接的EBA1，每个解码器子块包括一个EBA2。

3.如权利要求1或2所述的方法，其特征在于，所述SE模块包括依次连接的全局平均池化层、第一全连接层和第二全连接层和逐通道加权层，且逐通道加权层的输入还包括SE模块的输入特征图，第一全连接层用于降低特征图的通道数，第二全连接层用于增加特征图的通道数。

4.如权利要求3所述的方法，其特征在于，SE模块的第一全连接层采用的激活函数为ReLU，第二全连接层采用的激活函数为Sigmoid。

5.如权利要求1所述的方法，特征在于，EBA1和EBA2的具体网络结构分别为：

6.如权利要求1所述的方法，特征在于，基于训练数据集对腺体细胞分割网络模型进行深度学习训练时采用二进制交叉熵作为损失函数。

7.如权利要求1所述的方法，特征在于，采用全连接条件随机场(Dense ConditionalRandom Fields,DCRF)对待分割图的分割结果进行后处理优化。