CN109903282A - 一种细胞计数方法、系统、装置和存储介质 - Google Patents

Abstract

本发明公开了一种细胞计数方法、系统、装置和存储介质。所述方法包括将待计数细胞图像输入到深度学习网络中，返回所述深度学习网络输出的细胞计数值等步骤，所述深度学习网络经过使用训练数据集进行的训练。本发明使用卷积神经网络来对待计数细胞图像进行处理，可以避免待计数细胞图像中的细胞出现的相互粘连和遮挡等情况产生的干扰，从而准确快速地输出细胞计数值。所使用的卷积神经网络所用的训练数据集的一部分是通过生成式对抗网络生成的，可以避免完全依靠人工标记来建立训练数据集导致的效率低下和数据集规模过小造成训练效果不佳的缺点，使得卷积神经网络可以得到良好的训练，具有较高的识别准确度。本发明广泛应用于图像识别技术领域。

Description

一种细胞计数方法、系统、装置和存储介质

技术领域

本发明涉及图像识别技术领域，尤其是一种细胞计数方法、系统、装置和存储介质。

背景技术

在临床医疗和生物学研究等领域，经常需要对样本中的细胞进行计数。传统的细胞计数技术是通过人工进行的，即通过人眼观察生物样本的显微图像来对细胞进行计数，显然这种技术效率低且差错率高。通过应用计算机执行基于图像法的细胞计数方法，可以减少人工的参与，大幅提高效率和准确率。基于图像法的细胞计数方法包括图像获取、图像处理、图像分割和图像计数等步骤，它的大致流程包括：使用图像采集设备对细胞进行成像，对所成的图像进行去噪、增强等处理，随后利用图像分割技术对细胞进行二值化分割，对分割的区域进行计数。由于细胞之间经常有粘连，有些还存在着遮挡，很难分割出孤立的细胞，这使得基于图像法的细胞计数的精度大为降低。另外，不同种类的细胞因形态、大小等存在显著差异，使得手工设计图像处理及图像分割算法的难度增加。

使用深度学习网络可以在训练过程中学习细胞图像中细胞的形态特征，从而具有识别细胞并进行计数的能力。在深度学习网络的训练过程中，需要用到细胞图像组成的训练集，训练集中的这些细胞图像已被进行细胞位置标记和数量统计。但由于训练集的规模庞大，通过人工拍摄细胞图像并进行位置标记和数量统计的方法来生成训练集，将很难获得满足训练要求的训练集。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种细胞计数方法、系统、装置和存储介质。

一方面，本发明实施例包括一种细胞计数方法，包括以下步骤：

将待计数细胞图像输入到深度学习网络中，返回所述深度学习网络输出的细胞计数值；所述细胞计数值用于表示所述待计数细胞图像中所包含的细胞数量；所述深度学习网络经过使用训练数据集进行的训练；所述训练数据集包括人工生成的多组标准细胞实体图像、标准细胞位置图像、标准细胞密度图像、标准标记细胞数目以及使用生成式对抗网络生成的多组细胞实体图像、细胞位置图像、细胞密度图像和标记细胞数目。

进一步地，所述深度学习网络包括第一分支、第二分支、卷积层和全连接层，所述第一分支和第二分支均由卷积层组成；所述深度学习网络用于执行以下操作：

接收待计数细胞图像，然后输出与所述待计数细胞图像相应的细胞位置分布；

接收待计数细胞图像，然后输出与所述待计数细胞图像相应的细胞密度分布；

对细胞位置分布和细胞密度分布进行特征串联；

根据特征串联后的结果，输出细胞计数值。

进一步地，所述生成式对抗网络包括判别网络和生成网络，所述生成网络用于生成训练数据集，所述判别网络和生成网络经过多轮包括以下步骤的交替学习：

生成灰度图像并对灰度图像进行随机选点和二值化处理，将经过处理的灰度图像作为细胞位置图像进行返回；所述随机选点用于在所述灰度图像上随机选择像素点，并将被选择的像素点的数量作为标记细胞数目进行记录；所述二值化处理用于将被选择的像素点设为第一灰度值，将未被选择的像素点设为第二灰度值；

使用生成网络根据细胞位置图像生成细胞实体图像；所述细胞实体图像中包括多个细胞实体，各所述细胞实体的中心与细胞位置图像上的具有第一灰度值的像素点一一对应；

将所述细胞位置图像与细胞实体图像串联输入至判别网络，从而输出判别结果。

进一步地，所述细胞密度图像是通过以下步骤生成的：

以所述细胞位置图像上的具有第一灰度值的各像素点为中心，使用高斯窗口函数对细胞位置图像进行平滑化处理。

进一步地，所述第一灰度值为255，所述第二灰度值为0。

进一步地，各所述窗口为圆形。

另一方面，本发明实施例还包括一种细胞计数系统，包括第一模块和第二模块；

所述第一模块用于使用深度学习网络接收待计数细胞图像进行处理，返回所述深度学习网络输出的细胞计数值；所述细胞计数值用于表示所述待计数细胞图像中所包含的细胞数量；

所述第二模块用于提供深度学习网络训练所需的训练数据集；所述训练数据集包括使用生成式对抗网络生成的多组细胞实体图像、细胞位置图像、细胞密度图像和标记细胞数目。

所述深度学习网络包括第一分支、第二分支、卷积层和全连接层，所述第一分支和第二分支均由卷积层组成；所述深度学习网络用于执行以下操作：

接收待计数细胞图像，然后输出与所述待计数细胞图像相应的细胞位置分布；

接收待计数细胞图像，然后输出与所述待计数细胞图像相应的细胞密度分布；

对细胞位置分布和细胞密度分布进行特征串联；

根据特征串联后的结果，输出细胞计数值。

另一方面，本发明实施例还包括一种细胞计数装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行本发明细胞计数方法。

另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本发明细胞计数方法。

本发明的有益效果是：本发明使用卷积神经网络来对待计数细胞图像进行处理，可以避免待计数细胞图像中的细胞出现的相互粘连和遮挡等情况产生的干扰，从而准确快速地输出细胞计数值。对卷积神经网络的训练所使用的训练数据集一部分通过人工采集和标记建立，另一部分通过生成式对抗网络生成，通过生成式对抗网络生成训练数据集，可以避免完全依靠人工标记来建立训练数据集导致的效率低下和数据集规模过小造成训练效果不佳的缺点，使得卷积神经网络可以得到良好的训练，具有较高的识别准确度。

附图说明

图1为本发明实施例所使用的卷积神经网络的结构图；

图2为本发明实施例所使用的生成式对抗网络的工作原理图；

图3为本发明实施例中生成式对抗网络所生成的细胞位置图像；

图4为本发明实施例中生成式对抗网络所生成的细胞实体图像；

图5为本发明实施例中生成式对抗网络所生成的细胞密度图像。

具体实施方式

本实施例中的一种细胞计数方法，是将待计数细胞图像输入到深度学习网络中，所述深度学习网络输出细胞计数值，实现对待计数细胞图像中所包含的细胞的计数。其中，所述待计数细胞图像可以通过显微镜等仪器对生物样本进行拍摄获取。

本实施例中所用的深度学习网络为卷积神经网络，它的结构图如图1所示，包括第一分支和第二分支，所述第一分支和第二分支均包含一个或多个卷积层。输入到卷积神经网络的待计数细胞图像分别被第一分支和第二分支接收。第一分支中的卷积层用于执行如下操作：对待计数细胞图像进行处理，输出与待计数细胞对应的细胞位置图像。第二分支中的卷积层用于执行如下操作：对待计数细胞图像进行处理，输出与待计数细胞对应的细胞密度图像。细胞位置图像与细胞密度图像进行特征串联后输入到卷积层中，经过卷积层与全连接层依次进行的处理，最终输出细胞计数值，该细胞计数值反映了输入到卷积神经网络的待计数细胞图像中所包含的细胞的个数。

本实施例所述的卷积神经网络的结构如表1所示。

表1

本实施例中，使用卷积神经网络来对待计数细胞图像进行处理，可以避免待计数细胞图像中的细胞出现的相互粘连和遮挡等情况产生的干扰，从而准确快速地输出细胞计数值。

本实施例中，卷积神经网络的处理能力，即对待计数细胞图像进行处理输出细胞位置分布的能力、对待计数细胞图像进行处理输出细胞密度分布的能力以及对特征串联结果进行处理输出细胞计数值的能力，是通过训练过程获得的。

训练过程中所使用的训练数据集包含了多组细胞实体图像、细胞位置图像、细胞密度图像和标记细胞数目等内容，即一组训练数据包括一个细胞实体图像、一个相应的细胞位置图像、一个相应的细胞密度图像以及相应的标记细胞数目，该标记细胞数目是指同组中的细胞实体图像中所包含的细胞数量。其中，细胞实体图像相当于卷积神经网络所要处理的数据待计数细胞图像，细胞位置图像相当于第一分支的输出结果即细胞位置分布，细胞密度图像相当于第二分支的输出结果即细胞密度分布，标记细胞数目相当于卷积神经网络的最终输出结果即细胞计数值。

本实施例中，所述用的训练数据集包含了多组细胞实体图像、细胞位置图像、细胞密度图像和标记细胞数目，其中有若干组训练数据是通过人工在拍摄到的细胞图像上进行标记和计数的方式获取的，其他部分的训练数据是使用生成式对抗网络生成的。

训练数据集的生成原理如图2所示。图2中，通过真实拍摄等方式采集细胞图像作为标准细胞实体图像，然后通过人工的方式，对标准细胞实体图像中的各细胞实体的位置进行标记，得到标准细胞位置图像，同时统计标准细胞实体图像中所包含的细胞实体的数量作为与该标准细胞实体图像对应的标准标记细胞数目，以及生成与该标准细胞实体图像对应的标准细胞密度图像。通过人工的方式生成的标准细胞实体图像和标准细胞位置图像，具有标记精度高的特点，因此标准细胞实体图像和标准细胞位置图像可以用来对生成式对抗网络进行训练。经过训练后的生成式对抗网络可以生成大量的细胞实体图像和细胞位置图像，从而得到较大规模的训练数据集，使得卷积神经网络可以得到良好的训练。

本实施例中所使用的生成式对抗网络包括判别网络和生成网络，其中生成网络用于生成细胞实体图像和细胞位置图像等来组建训练数据集以供卷积神经网络进行训练。在使用生成网络生成训练数据集之前，通过判别网络和生成网络之间的多轮交替学习，来对生成式对抗网络进行训练。对生成式对抗网络的训练可以采用现有技术进行。本实施例中，每轮学习的过程包括：

首先，生成灰度图像，该灰度图像的所有像素点的灰度值均为0。在该灰度图像上随机选择一些像素点，并将选择到的像素点的灰度值设为255，这样，该灰度图像就被二值化，得到如图3所示的细胞位置图像，图3中灰度值为0的像素点为黑色，灰度值为255的像素点为白色。图3中白色的点将被作为细胞实体的中心来生成细胞实体图像。在此过程中，还记录灰度值为255的像素点的个数，由于细胞实体的中心的个数与细胞实体的个数是相等的，因此灰度值为255的像素点的个数就是相应的标记细胞数目。

生成网络根据图3所示的细胞位置图像所确定的细胞实体的中心位置，生成多个细胞实体单元，从而得到如图4所示的细胞实体图像。

将图3所示的细胞位置图像与图4所示的细胞实体图像串联输入至判别网络。判别网络将生成网络生成的细胞实体图像与人工拍摄的标准细胞实体图像进行对比，以及将算法生成的细胞位置图像与人工标记的标准细胞位置图像进行对比，从而输出判别结果。

判别网络的作用可以直观地理解为判断所输入的细胞实体图像和细胞位置图像是“真实拍摄和标记”还是“算法生成”的。对生成式对抗网络的训练目标是经过多轮学习使得生成网络产生的图像让判别网络无法区分真假，此时完成对生成式对抗网络的训练。

在对生成式对抗网络的训练完成后，通过使用生成式对抗网络执行多次细胞位置图像、细胞实体图像、细胞密度图像与标记细胞数目的生成过程，可以生成多组训练数据，组成训练数据集。

优选地，对于每组训练数据中的细胞位置图像，还进行高斯平滑化处理。

本实施例中，所述细胞密度图像是通过以下步骤生成的：

以所述细胞位置图像上的具有第一灰度值的各像素点为中心，使用高斯窗口函数对细胞位置图像进行平滑化处理。优选地，各所述窗口为圆形。针对图3所示的细胞位置图像，分别以各灰度值为255的像素点为中心建立多个具有一定大小的圆形窗口，将各圆形窗口内的像素点的灰度值通过高斯窗口函数进行平滑，从而得到图5所示的细胞密度图像。

参照图1，本实施例中，在对卷积神经网络进行训练时，还分别针对卷积神经网络输出的细胞位置分布、细胞密度分布和细胞计数值计算损失函数loss1、loss2和loss3，所述损失函数均采用L2距离。

其中，loss1用于表示第一分支输出的细胞位置分布与训练集中的细胞位置图像之间的距离。

设第一分支输出的细胞位置分布为O_p，训练集中的细胞位置图像为L_p，则loss1的计算公式为：

loss1＝||O_p-L_p||₂

loss2用于表示第二分支输出的细胞密度分布与训练集中的细胞密度图像之间的距离。

设第二分支输出的细胞密度分布为O_t，训练集中的细胞密度图像为L_t，则loss2的计算公式为：

loss2＝‖O_t-L_t‖₂

Loss3用于表示全连接层输出的细胞计数值与训练集中的标记细胞数目之间的距离。

设深度学习网络最终输出的细胞计数值为O_n，标记细胞数目为L_n，则loss3的计算公式为：

loss3＝‖O_n-L_n‖₂

本实施例还包括一种细胞计数系统，包括第一模块和第二模块；

所述第一模块用于使用深度学习网络接收待计数细胞图像进行处理，返回所述深度学习网络输出的细胞计数值；所述细胞计数值用于表示所述待计数细胞图像中所包含的细胞数量；

所述第二模块用于提供深度学习网络训练所需的训练数据集；所述训练数据集包括使用生成式对抗网络生成的多组细胞实体图像、细胞位置图像、细胞密度图像和标记细胞数目。

所述深度学习网络包括第一分支、第二分支、卷积层和全连接层，所述第一分支和第二分支均由卷积层组成；所述深度学习网络用于执行以下操作：

接收待计数细胞图像，然后输出与所述待计数细胞图像相应的细胞位置分布；

接收待计数细胞图像，然后输出与所述待计数细胞图像相应的细胞密度分布；

对细胞位置分布和细胞密度分布进行特征串联；

根据特征串联后的结果，输出细胞计数值。

本实施例还包括一种细胞计数装置，包括图像获取装置、存储器和处理器，所述图像获取装置用于获取待计数细胞图像并将所述待计数细胞图像传送到处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行本发明细胞计数方法。

本实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本发明细胞计数方法。

本实施例中的细胞计数系统、装置和存储介质，可以执行本发明的细胞计数方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

以上是对本发明的较佳实施进行了具体说明，但对本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种细胞计数方法，其特征在于，包括以下步骤：

将待计数细胞图像输入到深度学习网络中，返回所述深度学习网络输出的细胞计数值；所述细胞计数值用于表示所述待计数细胞图像中所包含的细胞数量；所述深度学习网络经过使用训练数据集进行的训练；所述训练数据集包括人工生成的多组标准细胞实体图像、标准细胞位置图像、标准细胞密度图像、标准标记细胞数目以及使用生成式对抗网络生成的多组细胞实体图像、细胞位置图像、细胞密度图像和标记细胞数目。

2.根据权利要求1所述的一种细胞计数方法，其特征在于，所述深度学习网络包括第一分支、第二分支、卷积层和全连接层，所述第一分支和第二分支均由卷积层组成；所述深度学习网络用于执行以下操作：

接收待计数细胞图像，然后输出与所述待计数细胞图像相应的细胞位置分布；

接收待计数细胞图像，然后输出与所述待计数细胞图像相应的细胞密度分布；

对细胞位置分布和细胞密度分布进行特征串联；

根据特征串联后的结果，输出细胞计数值。

3.根据权利要求1或2所述的一种细胞计数方法，其特征在于，所述生成式对抗网络包括判别网络和生成网络，所述生成网络用于生成训练数据集，所述判别网络和生成网络经过多轮包括以下步骤的交替学习：

生成灰度图像并对灰度图像进行随机选点和二值化处理，将经过处理的灰度图像作为细胞位置图像进行返回；所述随机选点用于在所述灰度图像上随机选择像素点，并将被选择的像素点的数量作为标记细胞数目进行记录；所述二值化处理用于将被选择的像素点设为第一灰度值，将未被选择的像素点设为第二灰度值；

使用生成网络根据细胞位置图像生成细胞实体图像；所述细胞实体图像中包括多个细胞实体，各所述细胞实体的中心与细胞位置图像上的具有第一灰度值的像素点一一对应；

将所述细胞位置图像与细胞实体图像串联输入至判别网络，从而输出判别结果。

4.根据权利要求3所述的一种细胞计数方法，其特征在于，所述细胞密度图像是通过以下步骤生成的：

以所述细胞位置图像上的具有第一灰度值的各像素点为中心，使用高斯窗口函数对细胞位置图像进行平滑化处理。

5.根据权利要求4所述的一种细胞计数方法，其特征在于，所述第一灰度值为255，所述第二灰度值为0。

6.根据权利要求4所述的一种细胞计数方法，其特征在于，各所述窗口为圆形。

7.一种细胞计数系统，其特征在于，包括第一模块和第二模块；

所述第一模块用于使用深度学习网络接收待计数细胞图像进行处理，返回所述深度学习网络输出的细胞计数值；所述细胞计数值用于表示所述待计数细胞图像中所包含的细胞数量；所述第二模块用于提供深度学习网络训练所需的训练数据集；所述训练数据集包括人工生成的多组标准细胞实体图像、标准细胞位置图像、标准细胞密度图像、标准标记细胞数目以及使用生成式对抗网络生成的多组细胞实体图像、细胞位置图像、细胞密度图像和标记细胞数目。

8.根据权利要求7所述的一种细胞计数系统，其特征在于，所述深度学习网络包括第一分支、第二分支、卷积层和全连接层，所述第一分支和第二分支均由卷积层组成；所述深度学习网络用于执行以下操作：

接收待计数细胞图像，然后输出与所述待计数细胞图像相应的细胞位置分布；

接收待计数细胞图像，然后输出与所述待计数细胞图像相应的细胞密度分布；

对细胞位置分布和细胞密度分布进行特征串联；

根据特征串联后的结果，输出细胞计数值。

9.一种细胞计数装置，其特征在于，包括图像获取装置、存储器和处理器，所述图像获取装置用于获取待计数细胞图像并将所述待计数细胞图像传送到处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-6所述方法。

10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-6所述方法。