CN112164077B - 基于自下而上路径增强的细胞实例分割方法 - Google Patents
基于自下而上路径增强的细胞实例分割方法 Download PDFInfo
- Publication number
- CN112164077B CN112164077B CN202011019366.5A CN202011019366A CN112164077B CN 112164077 B CN112164077 B CN 112164077B CN 202011019366 A CN202011019366 A CN 202011019366A CN 112164077 B CN112164077 B CN 112164077B
- Authority
- CN
- China
- Prior art keywords
- network
- mask
- branch
- feature
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000012795 verification Methods 0.000 claims abstract description 27
- 238000010276 construction Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 18
- 230000004931 aggregating effect Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims 1
- 238000004321 preservation Methods 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 33
- 210000004872 soft tissue Anatomy 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 210000002919 epithelial cell Anatomy 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000004969 inflammatory cell Anatomy 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000004881 tumor cell Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 210000005170 neoplastic cell Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种基于自下而上路径增强的细胞实例分割方法，由数据预处理、构建实例分割网络、训练实例分割网络、保存模型、验证实例分割网络、测试实例分割网络步骤组成。采用构建实例分割网络步骤中的主干网分支来提取图片中的特征，预测头分支生成实例的定位、分类、掩码系数信息，原型掩码分支生成原型掩码，通过线性结合掩码系数与原型掩码，对图片中的细胞进行实例分割。本发明与现有的Yolact方法相比，通过改进构建实例分割网络中的特征融合部分，充分利用了图片中信息，提高了物体的定位、分类的准确率，可用于细胞的定位、分类与实例分割。
Description
技术领域
本发明属于计算机视觉技术领域，具体地涉及到图片中的细胞分类、定位与实例分割。
背景技术
实例分割是目标检测和语义分割的结合，在图像中将目标检测出来，然后对每个像素打上标签；随着互联网的发展和个人智能移动设备的大量增加，人们正产生、存储和使用大量的图片；实例分割技术在计算机视觉中是基础而又具有挑战性的。由于其广泛的应用场景和研究价值，该技术在学术界和工业界均引起了越来越多的关注。
目前主流的物体实例分割方法可以分成两大类别：基于ROI的自上而下的方法(如Mask R-CNN)和基于逐像素聚类、自下而上的方法，这些方法存在的主要问题是多阶段、多超参数、分割结果不够精细等问题。
在细胞实例分割技术领域，当前需解决的一个技术问题是提供一种方法简单、定位速度快、定位精度高的细胞实例分割方法。
发明内容
本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种方法简单、定位速度快、定位精度高的基于自下而上路径增强的细胞实例分割方法。
解决上述技术问题所采用的技术方案是由下述步骤组成：
(1)数据预处理
从PanNuke数据集中取原始图片分为验证集、测试集、训练集，验证集与测试集、训练集的数量比为1：1：4，训练集、验证集、测试集中的图片大小为550×550像素，将训练集、验证集、测试集图片中的每个细胞提取出来生成新的包含单个细胞的掩码图片，掩码图片的大小为550×550像素，用pycocotools工具将训练集、验证集、测试集中的图片和对应数据集的掩码图片转化为标签文件。
(2)构建实例分割网络
实例分割网络由主干网分支(1)、预测头分支(2)、原型掩码分支(3)连接构成，主干分支(1)的输出与预测头分支(2)和原型掩码分支(3)中的输入相连，主干网分支(1)、预测头分支(2)、原型掩码分支(3)的构建方法如下：
1)构建主干网分支
a特征金字塔网络提取特征图
将训练集中的每张图片输入到特征金字塔网络的基础特征提取网络(1-1)中提取特征图，得到基础特征图集合{C1，C2，C3，C4，C5}。
b融合特征图
将基础特征图集合{C1，C2，C3，C4，C5}输入到特征金字塔网络(1-2)中，进行特征融合，得到融合特征图集合{P3，P4，P5，P6，P7}，用最近邻上采样法进行上采样，得到256通道的特征图集合，在特征金字塔网络输出的特征图上依次连接5个卷积核大小为3×3、步长为2的卷积层，构成路径增强网络(1-3)，由下式得到路径增强网络特征图集合{N3，N4，N5，N6，N7}，构建成主干网分支(1)。
式中R为rule激活函数，C3为卷积核大小为3×3、步长为2的卷积层，U为矩阵相加，i∈{3，4，5，6，7}。
2)构建预测头分支
预测头分支包括定位分支、分类分支、掩码系数分支。
a构建定位分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经2次卷积核大小为3×3、步长为1的卷积操作，得到(A×S，Lj，Lj)的特征图，将(A×S，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×S)的特征图，再将(Lj，Lj，A×S)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，S)的预测结果，其中A为每个像素点设置的3个锚，S为锚的中心点和左上角点的坐标；将得到的(Lj×Lj×A，S)预测结果的第一维进行列拼接操作，得到(C，S)的定位结果，其中C由下式确定：
式中Lj∈{69,35,18,9,5}，j∈{1,2,3,4,5}，构建成定位分支(2-3)。
b构建分类分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×D，Lj，Lj)的特征图，将(A×D，Lj，Lj)特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×D)的特征图，再将(Lj，Lj，A×D)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，D)的预测结果，其中D表示训练集中离体的细胞类别数，将得到的(Lj×Lj×A，D)预测结果的第一维进行列拼接操作，得到(C，D)的分类结果，构建成分类分支(2-4)。
c构建掩码系数分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×K，Lj，Lj)的特征图，将(A×K，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj,A×K)的特征图，再将(Lj，Lj，A×K)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，K)的预测结果，其中K是生成掩码系数的个数，K为32或64；将得到的(Lj×Lj×A，K)预测结果的第一维进行列拼接操作，得到(C，K)的掩码系数，构建成掩码系数分支(2-5)。
3)构建原型掩码分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的N3输入卷积层(3-1)、卷积层3-2)，经卷积核大小为3×3、步长为1的卷积操作，用最近邻上采样法将卷积后的N3上采样到原始图片尺寸的1/4，经2次重复的卷积层(3-3)、(3-4)，得到(32,138,138)的特征图，将(32,138,138)的特征图的第一维与第三维进行位置交换，得到(138，138，32)的原型掩码P，构建成原型掩码分支(3)；
(3)训练实例分割网络
(a)确定损失函数
损失函数Loss包括类别损失、预测框回归损失、掩码损失，损失函数loss由下式确定：
Loss＝αLcls+βLbox+θLmask
式中α、β、θ为三个损失的不同权重，分别为1、1.5、6.125。
(b)训练实例分割网络
将训练集、对应的标签文件、ImageNet网络上的预训练模型输入到实例分割网络中进行训练，在训练过程中，设定实例分割网络的学习率γ为0.0001，优化器设定为自适应矩估计优化器，迭代M次，每次迭代使用图片的数量为B，M和B为有限正整数，训练至实例分割网络的损失函数Loss收敛。
(4)保存权重文件
每迭代F次保存1次权重文件，其中F≤M，得到保存权重文件。
(5)验证实例分割网络
将验证集和对应的标签文件输入到实例分割网络中进行验证，网络每F次进行一次验证。
(6)测试实例分割网络
将保存权重文件、测试数据集以及对应的标签文件输入到实例分割网络中进行测试，按下式得到实例掩码Q：
Q＝σ(PWT)
式中P为原型掩码，W为经过非极大值抑制和得分阈值处理后保留N×K大小的掩码系数，N为保留的掩码系数的个数，T为矩阵的转置，σ为sigmoid非线性激活函数，用构建预测头分支步骤(2)得到的(C，S)的定位结果对实例掩码Q进行裁剪和阈值为0.5的阈值化处理，得到细胞的实例分割。
在本发明的训练实例分割网络步骤(3)中，所述的迭代次数M最佳为200000，B最佳为8。
在本发明的保存权重文件步骤(4)中，所述的F最佳为10000。
由于本发明采用了将图片数据集分割成训练集、验证集、测试集，并采用了实例分割网络，实例分割网络是在特征金字塔网络上添加了路径增强网络构成，训练集在实例分割网络中进行训练，验证集在训练过程中进行验证，测试集利用保存训练过程中的权重文件进行测试，将图片中的细胞进行实例分割，充分地利用了图片中浅层信息，对图片中的细胞进行实例分割，解决了密集图片实例分割精度低，速度慢的问题。与现有技术相比，本发明具有方法简单、定位速度快、定位精度很高等优点，可对密集图片中的细胞进行实例分割。
附图说明
图1是本发明实施例1的流程图。
图2是本发明实施例1实例分割网络的结构示意图。
图3是PanNuKe数据集中一张医学病理图片。
图4是采用实例1方法对图3的分割结果图。
图5是本发明实施例1方法与Yolact网络的对比实验结果图。
具体实施方式
下面结合附图和实例对本发明进一步详细说明，但本发明不限于下述实施例。
实施例1
以在图片来自PanNuke数据集中取8160张离体的医学病理图片为例，本实施例的基于自下而上路径增强的细胞实例分割方法由下述步骤组成(参见图1)。
(1)数据预处理
从PanNuke数据集中取8160离体的医学病理原始图片，分为验证集、测试集、训练集，验证集与测试集、训练集的数量比为1：1：4，训练集、验证集、测试集中的图片大小为550×550像素，将训练集、验证集、测试集图片中的每个细胞提取出来生成新的包含单个细胞的掩码图片，掩码图片的大小为550×550像素，用pycocotools工具将训练集、验证集、测试集中的图片和对应数据集的掩码图片转化为标签文件。
(2)构建实例分割网络
在图2中，本实施例的实例分割网络由主干网分支(1)、预测头分支(2)、原型掩码分支(3)连接构成，主干分支(1)的输出与预测头分支(2)和原型掩码分支(3)中的输入相连，主干网分支(1)、预测头分支(2)、原型掩码分支(3)的构建方法如下：
1)构建主干网分支
a特征金字塔网络提取特征图
将训练集中的每张图片输入到特征金字塔网络的基础特征提取网络(1-1)中提取特征图，得到基础特征图集合{C1，C2，C3，C4，C5}。
b融合特征图
将基础特征图集合{C1，C2，C3，C4，C5}输入到特征金字塔网络(1-2)中，进行特征融合，得到融合特征图集合{P3，P4，P5，P6，P7}，用最近邻上采样法进行上采样，得到256通道的特征图集合，在特征金字塔网络输出的特征图上依次连接5个卷积核大小为3×3、步长为2的卷积层，构成路径增强网络(1-3)，由下式得到路径增强网络特征图集合{N3，N4，N5，N6，N7}，构建成主干网分支(1)：
式中R为rule激活函数，C3为卷积核大小为3×3、步长为2的卷积层，U为矩阵相加，i∈{3，4，5，6，7}。
2)构建预测头分支
预测头分支包括定位分支、分类分支、掩码系数分支。
a构建定位分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经2次卷积核大小为3×3、步长为1的卷积操作，得到(A×S，Lj，Lj)的特征图，将(A×S，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×S)的特征图，再将(Lj，Lj，A×S)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，S)的预测结果，其中A为每个像素点设置的3个锚，S为锚的中心点和左上角点的坐标；将得到的(Lj×Lj×A，S)预测结果的第一维进行列拼接操作，得到(C，S)的定位结果，其中C由下式确定：
式中Lj∈{69,35,18,9,5}，j∈{1,2,3,4,5}，构建成定位分支(2-3)。
b构建分类分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×D，Lj，Lj)的特征图，将(A×D，Lj，Lj)特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×D)的特征图，再将(Lj，Lj，A×D)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，D)的预测结果，其中D表示训练集中离体的细胞类别数，将得到的(Lj×Lj×A，D)预测结果的第一维进行列拼接操作，得到(C，D)的分类结果，构建成分类分支(2-4)；本实施例的D为5，具体分为：肿瘤细胞(Neoplastic cells)、炎症细胞(Inflammatory)、软组织细胞(Soft tissue cells)、死细胞(Dead Cells)、上皮细胞(Epithelial)。
c构建掩码系数分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×K，Lj，Lj)的特征图，将(A×K，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj,A×K)的特征图，再将(Lj，Lj，A×K)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，K)的预测结果，其中K是生成掩码系数的个数，本实施例的K为32。将得到的(Lj×Lj×A，K)预测结果的第一维进行列拼接操作，得到(C，K)的掩码系数，构建成掩码系数分支(2-5)。
3)构建原型掩码分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的N3输入卷积层(3-1)、卷积层3-2)，经卷积核大小为3×3、步长为1的卷积操作，用最近邻上采样法将卷积后的N3上采样到原始图片尺寸的1/4，经2次重复的卷积层(3-3)、(3-4)，得到(32,138,138)的特征图，将(32,138,138)的特征图的第一维与第三维进行位置交换，得到(138，138，32)的原型掩码P，构建成原型掩码分支(3)。
本发明采用了实例分割网络，是在特征金字塔网络上添加了路径增强网络构成，充分地利用了图片中浅层信息，对图片中的细胞进行实例分割，解决了密集图片实例分割精度低，速度慢的问题。
(3)训练实例分割网络
(a)确定损失函数
损失函数Loss包括类别损失、预测框回归损失、掩码损失，损失函数loss由下式确定：
Loss＝αLcls+βLbox+θLmask
式中α、β、θ为三个损失的不同权重，分别为1、1.5、6.125。
(b)训练实例分割网络
将训练集、对应的标签文件、ImageNet网络上的预训练模型输入到实例分割网络中进行训练，在训练过程中，设定实例分割网络的学习率γ为0.0001，优化器设定为自适应矩估计优化器，迭代M次，每次迭代使用图片的数量为B，M和B为有限正整数，训练至实例分割网络的损失函数Loss收敛。
(4)保存权重文件
每迭代F次保存1次权重文件，其中F≤M，得到保存权重文件；本实施例中F为10000。
(5)验证实例分割网络
将验证集和对应的标签文件输入到实例分割网络中进行验证，网络每F次进行一次验证。
(6)测试实例分割网络
将保存权重文件、测试数据集以及对应的标签文件输入到实例分割网络中进行测试，按下式得到实例掩码Q：
Q＝σ(PWT)
式中P为原型掩码，W为经过非极大值抑制和得分阈值处理后保留N×K大小的掩码系数，N为保留的掩码系数的个数，T为矩阵的转置，σ为sigmoid非线性激活函数，用构建预测头分支步骤(2)得到的(C，S)的定位结果对实例掩码Q进行裁剪和阈值为0.5的阈值化处理。完成对细胞实例分割，图3，图4是PanNuKe数据集中一张医学病理图片，图4是图3的实例分割结果图。由图3、4可见，本发明对离体图片中的混合细胞进行实例分割，分割成肿瘤细胞(Neoplastic cells)、炎症细胞(Inflammatory)、软组织细胞(Soft tissue cells)、死细胞(Dead Cells)、上皮细胞(Epithelial)五种细胞。
由于本发明采用了将图片数据集分割成训练集、验证集、测试集，并采用了实例分割网络，实例分割网络是在特征金字塔网络上添加了路径增强网络构成，训练集在实例分割网络中进行训练，验证集在训练过程中进行验证，测试集采用保存训练过程中的权重文件进行测试，充分地利用了图片中浅层信息，对图片中的细胞进行实例分割，解决了密集图片实例分割精度低，速度慢的技术问题。与现有技术相比，本发明具有方法简单、定位速度快、定位精度很高等优点，可对密集图片中的细胞进行实例分割。
实施例2
以在图片来自PanNuke数据集中取8160张离体的医学病理图片为例，本实施例的基于自下而上路径增强的细胞实例分割方法由下述步骤组成。
(1)数据预处理
该步骤与实施例1相同。
(2)构建实例分割网络
实例分割网络由主干网分支(1)、预测头分支(2)、原型掩码分支(3)连接构成，主干分支(1)的输出与预测头分支(2)和原型掩码分支(3)中的输入相连，主干网分支(1)、预测头分支(2)、原型掩码分支(3)的构建方法如下：
1)构建主干网分支
该步骤与实施例1相同。
2)构建预测头分支
预测头分支包括定位分支、分类分支、掩码系数分支。
a构建定位分支
该步骤与实施例1相同。
b构建分类分支
该步骤与实施例1相同。
c构建掩码系数分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×K，Lj，Lj)的特征图，将(A×K，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj,A×K)的特征图，再将(Lj，Lj，A×K)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，K)的预测结果，其中K是生成掩码系数的个数，本实施例的K为64。将得到的(Lj×Lj×A，K)预测结果的第一维进行列拼接操作，得到(C，K)的掩码系数，构建成掩码系数分支(2-5)。
3)构建原型掩码分支
该步骤与实施例1相同。
其它步骤与实施例1相同，完成对细胞实例分割。
为了验证本发明的有益效果，采用本发明实施例1的方法与yolact网络进行了对比实验，用训练后的模型在PanNuke数据集同样的测试集上使用给定的评估代码测试模型精度，采用非极大值抑制不同交并比阈值的平均正确率mAP作为评价指标，实验结果见图5，在图5中，横坐标表示实例分割的目标定位mAP和实例掩码的mAP评估指标，纵坐标表示不同交并比阈值的平均正确率mAP值。由图5可见，yolact网络的目标定位mAP和实例掩码的mAP分别为32.77％和32.83％，本发明的目标定位mAP和实例掩码的mAP分别为34.03％和34.05％。
Claims (3)
1.一种基于自下而上路径增强的细胞实例分割方法，其特征在于由下述步骤组成；
(1)数据预处理
从PanNuke数据集中取原始图片分为验证集、测试集、训练集，验证集与测试集、训练集的数量比为1：1：4，训练集、验证集、测试集中的图片大小为550×550像素，将训练集、验证集、测试集图片中的每个细胞提取出来生成新的包含单个细胞的掩码图片，掩码图片的大小为550×550像素，用pycocotools工具将训练集、验证集、测试集中的图片和对应数据集的掩码图片转化为标签文件；
(2)构建实例分割网络
实例分割网络由主干网分支(1)、预测头分支(2)、原型掩码分支(3)连接构成，主干网分支(1)的输出与预测头分支(2)和原型掩码分支(3)中的输入相连，主干网分支(1)、预测头分支(2)、原型掩码分支(3)的构建方法如下：
1)构建主干网分支
a特征金字塔网络提取特征图
将训练集中的每张图片输入到特征金字塔网络的基础特征提取网络(1-1)中提取特征图，得到基础特征图集合{C1，C2，C3，C4，C5}；
b融合特征图
将基础特征图集合{C1，C2，C3，C4，C5}输入到特征金字塔网络(1-2)中，进行特征融合，得到融合特征图集合{P3，P4，P5，P6，P7}，用最近邻上采样法进行上采样，得到256通道的特征图集合，在特征金字塔网络输出的特征图上依次连接5个卷积核大小为3×3、步长为2的卷积层，构成路径增强网络(1-3)，由下式得到路径增强网络特征图集合{N3，N4，N5，N6，N7}，构建成主干网分支(1)；
式中R为rule激活函数，C3为卷积核大小为3×3、步长为2的卷积层，U为矩阵相加，i∈{3，4，5，6，7}；
2)构建预测头分支
预测头分支包括定位分支、分类分支、掩码系数分支；
a构建定位分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经2次卷积核大小为3×3、步长为1的卷积操作，得到(A×S，Lj，Lj)的特征图，将(A×S，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×S)的特征图，再将(Lj，Lj，A×S)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，S)的预测结果，其中A为每个像素点设置的3个锚，S为锚的中心点和左上角点的坐标；将得到的(Lj×Lj×A，S)预测结果的第一维进行列拼接操作，得到(C，S)的定位结果，其中C由下式确定：
式中Lj∈{69,35,18,9,5}，j∈{1,2,3,4,5}，构建成定位分支(2-3)；
b构建分类分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，将锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×D，Lj，Lj)的特征图，将(A×D，Lj，Lj)特征图的第一维与第三维位置进行交换，得到(Lj，Lj，A×D)的特征图，再将(Lj，Lj，A×D)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，D)的预测结果，其中D表示训练集中离体的细胞类别数，将得到的(Lj×Lj×A，D)预测结果的第一维进行列拼接操作，得到(C，D)的分类结果，构建成分类分支(2-4)；
c构建掩码系数分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的每个特征图上的每个像素点设置面积依次为[24,48,96,192,384]，长与宽比分别为1、1/2、2的锚，构成锚特征图，锚特征图输入卷积层(2-1)、卷积层(2-2)，经卷积核大小为3×3、步长为1的卷积操作，得到(A×K，Lj，Lj)的特征图，将(A×K，Lj，Lj)的特征图的第一维与第三维位置进行交换，得到(Lj，Lj,A×K)的特征图，再将(Lj，Lj，A×K)的特征图第一维、第二维、第三维中的A进行相乘，得到(Lj×Lj×A，K)的预测结果，其中K是生成掩码系数的个数，K为32或64；将得到的(Lj×Lj×A，K)预测结果的第一维进行列拼接操作，得到(C，K)的二维掩码系数，构建成掩码系数分支(2-5)；
3)构建原型掩码分支
将路径增强网络特征图集合{N3，N4，N5，N6，N7}中的N3输入卷积层(3-1)、卷积层(3-2)，经卷积核大小为3×3、步长为1的卷积操作，用最近邻上采样法将卷积后的N3上采样到原始图片尺寸的1/4，经2次重复的卷积层(3-3)、(3-4)，得到(32,138,138)的特征图，将(32,138,138)的特征图的第一维与第三维进行位置交换，得到(138，138，32)的原型掩码P，构建成原型掩码分支(3)；
(3)训练实例分割网络
(a)确定损失函数
损失函数Loss包括类别损失Lcls、预测框回归损失Lbox、掩码损失Lmask，损失函数loss由下式确定：
Loss＝αLcls+βLbox+θLmask
式中α、β、θ为三个损失的不同权重，分别为1、1.5、6.125；
(b)训练实例分割网络
将训练集、对应的标签文件、ImageNet网络上的预训练模型输入到实例分割网络中进行训练，在训练过程中，设定实例分割网络的学习率γ为0.0001，优化器设定为自适应矩估计优化器，迭代M次，每次迭代使用图片的数量为B，M和B为有限正整数，训练至实例分割网络的损失函数Loss收敛；
(4)保存权重文件
每迭代F次保存1次权重文件，其中F≤M，得到保存权重文件；
(5)验证实例分割网络
将验证集和对应的标签文件输入到实例分割网络中进行验证，网络每F次进行一次验证；
(6)测试实例分割网络
将保存权重文件、测试数据集以及对应的标签文件输入到实例分割网络中进行测试，按下式得到实例掩码Q：
Q＝σ(PWT)
式中P为原型掩码，W为经过非极大值抑制和得分阈值处理后保留N×K大小的掩码系数，T为矩阵的转置，σ为sigmoid非线性激活函数，用构建预测头分支步骤(2)得到的(C，S)的定位结果对实例掩码Q进行裁剪和阈值为0.5的阈值化处理，得到细胞的实例分割。
2.根据权利要求1所述的基于自下而上路径增强的细胞实例分割方法，其特征在于：在训练实例分割网络步骤(3)中，所述的迭代次数M为200000，B为8。
3.根据权利要求1所述的基于自下而上路径增强的细胞实例分割方法，其特征在于：在保存权重文件步骤(4)中，所述的F为10000。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011019366.5A CN112164077B (zh) | 2020-09-25 | 2020-09-25 | 基于自下而上路径增强的细胞实例分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011019366.5A CN112164077B (zh) | 2020-09-25 | 2020-09-25 | 基于自下而上路径增强的细胞实例分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112164077A CN112164077A (zh) | 2021-01-01 |
| CN112164077B true CN112164077B (zh) | 2023-12-29 |
Family
ID=73862959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011019366.5A Active CN112164077B (zh) | 2020-09-25 | 2020-09-25 | 基于自下而上路径增强的细胞实例分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112164077B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112484B (zh) * | 2021-04-19 | 2021-12-31 | 山东省人工智能研究院 | 一种基于特征压缩和噪声抑制的心室图像分割方法 |
| CN113569860B (zh) * | 2021-07-29 | 2024-02-27 | 北京地平线信息技术有限公司 | 实例分割方法和实例分割网络的训练方法及其装置 |
| CN114639102B (zh) * | 2022-05-11 | 2022-07-22 | 珠海横琴圣澳云智科技有限公司 | 基于关键点与尺寸回归的细胞分割方法和装置 |
| CN116681892B (zh) * | 2023-06-02 | 2024-01-26 | 山东省人工智能研究院 | 基于多中心PolarMask模型改进的图像精准分割方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007076893A1 (en) * | 2005-12-30 | 2007-07-12 | Telecom Italia S.P.A. | Edge-guided morphological closing in segmentation of video sequences |
| CN101371273A (zh) * | 2005-12-30 | 2009-02-18 | 意大利电信股份公司 | 视频序列的分割 |
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN109584248A (zh) * | 2018-11-20 | 2019-04-05 | 西安电子科技大学 | 基于特征融合和稠密连接网络的红外面目标实例分割方法 |
| CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
| CN110378345A (zh) * | 2019-06-04 | 2019-10-25 | 广东工业大学 | 基于yolact实例分割模型的动态场景slam方法 |
| US10467500B1 (en) * | 2018-12-31 | 2019-11-05 | Didi Research America, Llc | Method and system for semantic segmentation involving multi-task convolutional neural network |
| CN110619632A (zh) * | 2019-09-18 | 2019-12-27 | 华南农业大学 | 一种基于Mask R-CNN的芒果实例对抗分割方法 |
| CN111091095A (zh) * | 2019-12-19 | 2020-05-01 | 华中科技大学 | 一种遥感图像中船只目标的检测方法 |
| US10713794B1 (en) * | 2017-03-16 | 2020-07-14 | Facebook, Inc. | Method and system for using machine-learning for object instance segmentation |
| CN111461114A (zh) * | 2020-03-03 | 2020-07-28 | 华南理工大学 | 一种基于分割的多尺度特征金字塔文本检测方法 |
| CN111552300A (zh) * | 2020-06-09 | 2020-08-18 | 南开大学 | 一种基于实例分割和路径规划的农作物采摘系统 |
| CN111553414A (zh) * | 2020-04-27 | 2020-08-18 | 东华大学 | 一种基于改进Faster R-CNN的车内遗失物体检测方法 |
| CN111597920A (zh) * | 2020-04-27 | 2020-08-28 | 东南大学 | 一种自然场景下的全卷积单阶段的人体实例分割方法 |
-
2020
- 2020-09-25 CN CN202011019366.5A patent/CN112164077B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101371273A (zh) * | 2005-12-30 | 2009-02-18 | 意大利电信股份公司 | 视频序列的分割 |
| WO2007076893A1 (en) * | 2005-12-30 | 2007-07-12 | Telecom Italia S.P.A. | Edge-guided morphological closing in segmentation of video sequences |
| US10713794B1 (en) * | 2017-03-16 | 2020-07-14 | Facebook, Inc. | Method and system for using machine-learning for object instance segmentation |
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN109584248A (zh) * | 2018-11-20 | 2019-04-05 | 西安电子科技大学 | 基于特征融合和稠密连接网络的红外面目标实例分割方法 |
| CN109711413A (zh) * | 2018-12-30 | 2019-05-03 | 陕西师范大学 | 基于深度学习的图像语义分割方法 |
| US10467500B1 (en) * | 2018-12-31 | 2019-11-05 | Didi Research America, Llc | Method and system for semantic segmentation involving multi-task convolutional neural network |
| CN110378345A (zh) * | 2019-06-04 | 2019-10-25 | 广东工业大学 | 基于yolact实例分割模型的动态场景slam方法 |
| CN110619632A (zh) * | 2019-09-18 | 2019-12-27 | 华南农业大学 | 一种基于Mask R-CNN的芒果实例对抗分割方法 |
| CN111091095A (zh) * | 2019-12-19 | 2020-05-01 | 华中科技大学 | 一种遥感图像中船只目标的检测方法 |
| CN111461114A (zh) * | 2020-03-03 | 2020-07-28 | 华南理工大学 | 一种基于分割的多尺度特征金字塔文本检测方法 |
| CN111553414A (zh) * | 2020-04-27 | 2020-08-18 | 东华大学 | 一种基于改进Faster R-CNN的车内遗失物体检测方法 |
| CN111597920A (zh) * | 2020-04-27 | 2020-08-28 | 东南大学 | 一种自然场景下的全卷积单阶段的人体实例分割方法 |
| CN111552300A (zh) * | 2020-06-09 | 2020-08-18 | 南开大学 | 一种基于实例分割和路径规划的农作物采摘系统 |
Non-Patent Citations (5)
| Title |
|---|
| CenterMask: Real-Time Anchor-Free Instance Segmentation;Youngwan Lee 等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200805;13903-13912 * |
| YOLACT: Real-Time Instance Segmentation;Daniel Bolya 等;《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》;20200227;9156-9165 * |
| 卷积神经网络在炮兵对抗训练系统中的应用;陈栋 等;《兵工自动化 》;20200731;第39卷(第7期);24-28 * |
| 基于二级改进LeNet-5的交通标志识别算法;党倩 等;《陕西师范大学学报(自然科学版)》;20171231;第45卷(第2期);24-28 * |
| 基于猫群优化算法的图像多阈值分割方法;高烨 等;《中国体视学与图像分析》;20181231;第23卷(第2期);125-132 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112164077A (zh) | 2021-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112164077B (zh) | 基于自下而上路径增强的细胞实例分割方法 | |
| CN109977918B (zh) | 一种基于无监督域适应的目标检测定位优化方法 | |
| CN109299274B (zh) | 一种基于全卷积神经网络的自然场景文本检测方法 | |
| CN108171701B (zh) | 基于u网络和对抗学习的显著性检测方法 | |
| CN111242288B (zh) | 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN111340814A (zh) | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 | |
| CN110032925B (zh) | 一种基于改进胶囊网络与算法的手势图像分割与识别方法 | |
| CN106228512A (zh) | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 | |
| CN110782420A (zh) | 一种基于深度学习的小目标特征表示增强方法 | |
| CN113743269A (zh) | 一种轻量化识别视频人体姿态的方法 | |
| CN114627290A (zh) | 一种基于改进DeepLabV3+网络的机械零部件图像分割算法 | |
| CN113034506A (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
| US11587345B2 (en) | Image identification device, method for performing semantic segmentation, and storage medium | |
| CN114092467A (zh) | 一种基于轻量化卷积神经网络的划痕检测方法及系统 | |
| CN111738295A (zh) | 图像的分割方法及存储介质 | |
| CN117152438A (zh) | 一种基于改进DeepLabV3+网络的轻量级街景图像语义分割方法 | |
| CN117173409A (zh) | 一种实时的交互式图像分割方法 | |
| CN114782355B (zh) | 基于改进vgg16网络的胃癌数字病理切片检测方法 | |
| CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN115471718A (zh) | 基于多尺度学习的轻量级显著性目标检测模型的构建和检测方法 | |
| CN118212415A (zh) | 一种基于混合卷积和多尺度注意力门的图像分割方法 | |
| CN109583406B (zh) | 基于特征关注机制的人脸表情识别方法 | |
| TWI809957B (zh) | 物件偵測方法及電子裝置 | |
| CN117912058A (zh) | 一种牛脸识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |