CN114332855A - 一种基于明场显微成像的无标记白细胞三分类方法 - Google Patents
一种基于明场显微成像的无标记白细胞三分类方法 Download PDFInfo
- Publication number
- CN114332855A CN114332855A CN202111599585.XA CN202111599585A CN114332855A CN 114332855 A CN114332855 A CN 114332855A CN 202111599585 A CN202111599585 A CN 202111599585A CN 114332855 A CN114332855 A CN 114332855A
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- leukocyte
- classification
- bright field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种基于明场显微成像的无标记白细胞三分类方法。该分类方法的具体步骤如下：一、构建带有细胞类别标签的白细胞数据集。二、构建无批归一化的无标记白细胞分类网络。三、利用步骤一中构建的白细胞数据集对步骤二构建的分类网络进行训练。四、利用训练后的分类网络对白细胞的类型进行识别。本发明对无标记白细胞进行分类，与现有基于染色的分类方法相比，样品的预处理步骤更加简便，同时克服了染色剂对细胞活性和生理状态的影响。此外，本发明使用自主设计的网络结构，实现了对无标记白细胞的三分类。与现有的网络结构相比，本发明提出的方法能够提高模型的收敛速度，获得更好的测试准确率，对无标记白细胞的分类效果更好。
Description
技术领域
本发明涉及医学图像处理领域以及深度学习细胞分类领域，具体涉及一种基于明场显微图像的无标记白细胞三分类方法。
背景技术
细胞是人体构成的基本单位，血液中白细胞的种类及其含量体现了个体的健康状况，临床诊断中通常将白细胞分为三类，即粒细胞、淋巴细胞和单核细胞。各种亚类型白细胞形态和含量的变化与疾病的诊断密切相关，例如对于白血病以及贫血症的临床诊断。因此研究白细胞分类方法，对白细胞进行准确地分类可以有效地提高疾病检测与筛查的效率。
细胞检测的传统做法是人工镜检或者采用细胞检测仪检测。前一种方法需要专业人士耗费大量时间进行检测并且该方法的准确率严重依赖于检测人员的专业知识和经验，容易产生误差。后一种以流式细胞仪为主的细胞检测设备的检测方法，利用荧光染色后细胞的光电信号来进行分类。虽然这种方法具有高通量和高准确率的特点，但是流式细胞仪的成本较高、体积较大，这些缺点限制了它的普及。这两种方法在检测之前都需要对血液样品进行荧光染色，然而荧光具有一定的光毒性，染色剂会使白细胞的生理状态发生变化，例如中性粒细胞由非激活态转变为激活态等，所以这种方法并不是最好的细胞检测方法。
为了克服前述白细胞分类方法需要对待检测白细胞进行染色的缺点，本发明提出了一种基于明场显微成像的无标记白细胞三分类方法。该方法可以对明场白细胞显微图像进行分类，降低了对待检测样本的预处理要求，有效地避免了荧光染色对待检测白细胞的损伤。同时，该方法摒弃了以往卷积神经网络中广泛采用的批归一化操作，加入了自适应梯度裁剪策略，与现有的模型相比，有效地提高了分类模型的分类准确率与收敛速度。
发明内容
本发明的目的在于提供一种无标记白细胞的分类方法，旨在解决使用明场显微图像对无标记白细胞的三分类问题。
该分类方法的具体步骤如下：
步骤一、构建带有细胞类别标签的白细胞数据集。
步骤二、构建无批归一化的无标记白细胞分类网络。
无批归一化的无标记白细胞数分类网络包括依次连接输入层、卷积堆叠层、隐藏层和输出层。卷积堆叠层包括四个卷积部分。卷积堆叠层用于对输入图像进行特征提取，形成用于分类的特征图。特征图输入到隐藏层。所述卷积部分中的残差块包括依次相连的调整层、卷积层和激活层。将输入调整层的特征记为特征xl。调整层对特征xl的通道、高度和宽度三个维度中的所有元素求取方差σ；将特征xl更新为特征
卷积层中卷积核参数经过更新；更新后的卷积核参数
其中，W为原始卷积核参数，μW和σW分别为W在fan-in维度上的均值和方差，N为W在fan-in维度上的参数个数。单个残差块的输出xo＝xl+fl(xl)；其中，fl(·)为输入残差块的特征xl依次经过残差块内所有层级结构处理后得到的特征。
步骤三、利用步骤一中构建的白细胞数据集对步骤二构建的分类网络进行训练。
步骤四、利用训练后的分类网络对白细胞的类型进行识别。
作为优选，所述白细胞的类型包括粒细胞、淋巴细胞和单核细胞。
作为优选，四个卷积部分的残差块数量分别为3、8、36、3个。
作为优选，所述的隐藏层中的隐藏神经元个数为2048个。
作为优选，所述激活层中的激活函数采用修正线性单元。
作为优选，分类网络预测类别概率的过程如下：
(1)设定输出层原始输出为xi，其中i＝0,1,2。
(2)对输出xi进行softmax计算，得到各类别的预测概率
(3)计算预测类别
作为优选，步骤一的具体步骤如下：
采集无标记白细胞图像并将其分为训练集、验证集和测试集用于分类网络的训练、验证与测试工作。采集显微图像并进行分割和预处理的具体操作流程如下：
(1)使用多维双螺旋微流控芯片将白细胞从全血样本中分离。
(2)将分离得到的纯净白细胞溶液滴加到薄盖玻片上，在细胞达到稳定状态后，使用油浸物镜进行光学显微成像。同时，捕获每一个视野的明场和荧光场图像。通过移动视野和更换样品的方法获得多组图像数据。
(3)对图像进行二值化操作对所有的单个细胞进行定位并裁剪相应的图像。
(4)剔除掉不完整的细胞图像和重叠的细胞图像，保证每张图像中有且仅有一个完整的白细胞。
(5)根据荧光场图像判定图像中的细胞类别，并以该细胞类别作为对应的明场图像的标签。
(6)使用包括水平翻转、垂直翻转和旋转等数据增强方法对原始数据集中的各图像进行数据增强操作。数据增强操作之后粒细胞、淋巴细胞和单核细胞图像的数量依次为10266、10392和10400张。
作为优选，步骤三中的步骤如下：
(1)训练阶段，使用交叉熵损失函数作为目标优化函数；目标优化函数L＝-∑logys；其中，ys为真实类别s所对应的预测概率值。
(2)训练阶段使用Adam优化器最小化目标函数，学习率为1×10-4，用于计算梯度及梯度平方的运行平均值系数分别为0.9和0.999。不采用权重衰减策略，设置随机丢弃的概率为0.5，设置批次大小为32，训练100轮次。
(3)训练期间使用自适应梯度裁剪方法。具体的梯度裁剪策略设计如下：
其中，||·||F为Frobenius范数，
为网络中第l层的第i个待训练的参数，
为目标优化函数L关于
的梯度，定义
λ为标量超参数代表梯度裁剪的阈值。
(4)保存验证准确率最佳的模型进行模型性能测试。
本发明的有益效果在于：
1.本发明的在残差块中使用自主设计的调整层，利用特征xl的通道、高度和宽度三个维度中的所有元素求取的方差对输入特征进行更新，能够有效抑制了层内方差增长。此外，残差块中使用自主设计的卷积核，该卷积核的参数以原始卷积核参数为基础，结合W在fan-in维度上的均值、方差和参数个数调整得到，能够有效抑制层内均值增长。
2.本发明提出一种对白细胞明场显微图像进行分类的方法。明场显微镜相比于流式细胞仪，体积更小，价格更便宜，分布更广泛。解决了流式细胞仪体积庞大，价格昂贵，难以普及的问题。
3.本发明对无标记白细胞进行分类，与现有基于染色的分类方法相比，样品的预处理步骤更加简便，同时克服了染色剂对细胞活性和生理状态的影响。
4.本发明使用自主设计的网络结构，实现了对无标记白细胞的三分类。与现有的网络结构相比，本发明提出的方法能够提高模型的收敛速度，获得更好的测试准确率，对无标记白细胞的分类效果更好。
附图说明
图1是本发明的整体流程图。
图2是本发明步骤一的处理流程图。
图3是本发明提供的无批归一化的无标记白细胞分类网络的设计结构图。
图4是本发明中残差块的设计结构图。
图5是本发明中调整层的设计结构图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，下面结合附图说明本发明的具体实施方式。
如图1所示，一种基于明场显微成像的无标记白细胞三分类方法，具体步骤以下：
步骤一、无标记白细胞数据集的构建。
如图2所示，采集无标记白细胞图像并将其分为训练集、验证集和测试集用于分类网络的训练、验证与测试工作。采集显微图像并进行分割和预处理的具体操作流程如下：
(1)使用多维双螺旋微流控芯片将白细胞从全血样本中分离。该微流控芯片能够以全自动和无标记的方式有效地从稀释的血液样本中分离白细胞。
(2)将分离得到的纯净白细胞溶液滴加到24×50mm的薄盖玻片上，在细胞达到稳定状态后，使用100倍的油浸物镜进行光学显微成像。光学显微成像的视野范围为960×720像素。同时，捕获每一个视野的明场和荧光场图像。通过移动视野和更换样品的方法获得多组图像数据。
(3)使用基于大津法的自适应阈值分割算法对图像进行二值化操作对所有的单个细胞进行定位并裁剪相应的图像，裁剪大小为200×200像素。其中，大津法分割阈值k＝σb×σf×(μb-μf)2，参数σb和σf分别表示背景像素占比和前景像素占比，μb和μf分别表示背景平均灰度值和前景平均灰度值。
(4)手动剔除掉不完整的细胞图像和重叠的细胞图像，保证每张200×200像素的图像中有且仅有一个完整的白细胞。
(5)根据荧光场图像判定图像中的细胞类别，并以该细胞类别作为对应的明场图像的标签，即确定明场图像中的细胞属于粒细胞、淋巴细胞和单核细胞中的哪一类。
(6)将带有标签的各明场图像分为原始训练集、原始验证集和原始测试集三部分，各部分占比依次为70％、10％和20％。
(7)使用包括水平翻转、垂直翻转和旋转等数据增强方法对原始数据集中的各图像进行数据增强操作。数据增强操作之后粒细胞、淋巴细胞和单核细胞图像的数量依次为10266、10392和10400张。
步骤二、构建无批归一化的无标记白细胞分类网络
如图3所示，无批归一化的无标记白细胞数分类网络包括依次连接输入层1、卷积堆叠层2、隐藏层4和输出层5。
其中，输入层1接收明场无标记白细胞显微图像作为输入；卷积堆叠层2包括四个卷积部分，各部分由不同数量的残差块组成。四个卷积部分的残差块数量分别为3、8、36、3个。卷积堆叠层2用于对输入图像进行特征提取，形成用于分类的特征图3。特征图3将输入到隐藏层4。隐藏层4中的隐藏神经元个数为2048个，其用于对特征图进行进一步处理。输出层5分别输出图像中具有粒细胞、淋巴细胞、单核细胞的概率，概率最大值对应的类别即为分类网络的预测类别。
分类网络预测类别概率的过程如下：
(1)假设输出层原始输出为xi，其中i＝0,1,2。
(2)对输出xi进行softmax计算，得到各类别的预测概率
计算公式为
(3)计算预测类别
s为预测概率最大值对应的i值；s＝0,1,2分别对应于粒细胞、淋巴细胞和单核细胞。
如图4所示，卷积部分中的残差块包括依次相连的调整层、卷积层和激活层。调整层结构如图5所示，其结构为：
(1)将输入调整层的特征记为特征xl。
(2)对特征xl的通道、高度和宽度三个维度中的所有元素求取方差σ；将特征xl更新为特征xt，计算公式为
从而，消除同一批次不同样本之间的相互关联，抑制层内的方差增长。
为了抑制层内均值增长，需对卷积层中卷积核进行重新设计。其计算公式为
其中，W为原始卷积核参数，W'为更新后的卷积核参数，μW和σW分别为W在fan-in维度上的均值和方差，N为W在fan-in维度上的参数个数。
激活层中的激活函数采用修正线性单元，激活层的输出特征ReLU(x)＝max(0,x)。
单个残差块的输出xo＝xl+fl(xl)；其中，fl(·)为残差分支的计算函数，即输入残差块的特征xl依次经过残差块内所有层级结构处理后得到的特征。
步骤三、模型的训练与测试。
(1)训练阶段，使用交叉熵损失函数作为目标优化函数，具体计算方法为目标优化函数
其中，ys为真实类别s所对应的预测概率值。
(2)训练阶段使用Adam优化器最小化目标函数，学习率为1×10-4，用于计算梯度及梯度平方的运行平均值系数分别为0.9和0.999。不采用权重衰减策略，设置随机丢弃的概率为0.5，设置批次大小为32，训练100轮次。
(3)训练期间使用自适应梯度裁剪方法。具体的梯度裁剪策略设计如下：
其中，||·||F为Frobenius范数，
为网络中第l层的第i个待训练的参数，
为目标优化函数L关于
的梯度，定义
以防止初始化为0的参数的梯度被裁剪为0，λ为标量超参数代表梯度裁剪的阈值。
(4)保存验证准确率最佳的模型进行模型性能测试。
步骤四、利用经过训练后的模型对带有细胞的明场无标记图像进行识别，获取图像中细胞的类别。
Claims (8)
1.一种基于明场显微成像的无标记白细胞三分类方法，其特征在于：步骤一、构建带有细胞类别标签的白细胞数据集；
步骤二、构建无批归一化的无标记白细胞分类网络；
无批归一化的无标记白细胞数分类网络包括依次连接输入层、卷积堆叠层、隐藏层和输出层；卷积堆叠层包括四个卷积部分；卷积堆叠层用于对输入图像进行特征提取，形成用于分类的特征图；特征图输入到隐藏层；所述卷积部分中的残差块包括调整层、卷积层和激活层；将输入调整层的特征记为特征xl；调整层对特征xl的通道、高度和宽度三个维度中的所有元素求取方差σ；将特征xl更新为特征
卷积层中卷积核参数经过更新；更新后的卷积核参数
其中，W为原始卷积核参数，μW和σW分别为W在fan-in维度上的均值和方差，N为W在fan-in维度上的参数个数；单个残差块的输出xo＝xl+fl(xl)；其中，fl(·)为输入残差块的特征xl依次经过残差块内所有层级结构处理后得到的特征；
步骤三、利用步骤一中构建的白细胞数据集对步骤二构建的分类网络进行训练；
步骤四、利用训练后的分类网络对白细胞的类型进行识别。
2.根据权利要求1所述的一种基于明场显微成像的无标记白细胞三分类方法，其特征在于：所述白细胞的类型包括粒细胞、淋巴细胞和单核细胞。
3.根据权利要求1所述的一种基于明场显微成像的无标记白细胞三分类方法，其特征在于：四个卷积部分的残差块数量分别为3、8、36、3个。
4.根据权利要求1所述的一种基于明场显微成像的无标记白细胞三分类方法，其特征在于：所述的隐藏层中的隐藏神经元个数为2048个。
5.根据权利要求1所述的一种基于明场显微成像的无标记白细胞三分类方法，其特征在于：所述激活层中的激活函数采用修正线性单元。
6.根据权利要求1所述的一种基于明场显微成像的无标记白细胞三分类方法，其特征在于：分类网络预测类别概率的过程如下：
(1)设定输出层原始输出为xi，其中i＝0，1，2；
(2)对输出xi进行softmax计算，得到各类别的预测概率
计算预测类别
7.根据权利要求1所述的一种基于明场显微成像的无标记白细胞三分类方法，其特征在于：步骤一的具体步骤如下：
采集无标记白细胞图像并将其分为训练集、验证集和测试集用于分类网络的训练、验证与测试工作；采集显微图像并进行分割和预处理的具体操作流程如下：
(1)使用多维双螺旋微流控芯片将白细胞从全血样本中分离；
(2)将分离得到的纯净白细胞溶液滴加到薄盖玻片上，在细胞达到稳定状态后，使用油浸物镜进行光学显微成像；同时，捕获每一个视野的明场和荧光场图像；通过移动视野和更换样品的方法获得多组图像数据；
(3)对图像进行二值化操作对所有的单个细胞进行定位并裁剪相应的图像；
(4)剔除掉不完整的细胞图像和重叠的细胞图像，保证每张图像中有且仅有一个完整的白细胞；
(5)根据荧光场图像判定图像中的细胞类别，并以该细胞类别作为对应的明场图像的标签；
使用包括水平翻转、垂直翻转和旋转等数据增强方法对原始数据集中的各图像进行数据增强操作；数据增强操作之后粒细胞、淋巴细胞和单核细胞图像的数量依次为10266、10392和10400张。
8.根据权利要求1所述的一种基于明场显微成像的无标记白细胞三分类方法，其特征在于：步骤三中的步骤如下：
(1)训练阶段，使用交叉熵损失函数作为目标优化函数；目标优化函数L＝-∑log ys；其中，ys为真实类别s所对应的预测概率值；
(2)训练阶段使用Adam优化器最小化目标函数，学习率为1×10-4，用于计算梯度及梯度平方的运行平均值系数分别为0.9和0.999；不采用权重衰减策略，设置随机丢弃的概率为0.5，设置批次大小为32，训练100轮次；
(3)训练期间使用自适应梯度裁剪方法；具体的梯度裁剪策略设计如下：
其中，||·||F为Frobenius范数，
为网络中第l层的第i个待训练的参数，
为目标优化函数L关于
的梯度，定义
λ为标量超参数代表梯度裁剪的阈值；
(4)保存验证准确率最佳的模型进行模型性能测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111599585.XA CN114332855A (zh) | 2021-12-24 | 2021-12-24 | 一种基于明场显微成像的无标记白细胞三分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111599585.XA CN114332855A (zh) | 2021-12-24 | 2021-12-24 | 一种基于明场显微成像的无标记白细胞三分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332855A true CN114332855A (zh) | 2022-04-12 |
Family
ID=81013645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111599585.XA Pending CN114332855A (zh) | 2021-12-24 | 2021-12-24 | 一种基于明场显微成像的无标记白细胞三分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332855A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012838A (zh) * | 2022-12-30 | 2023-04-25 | 创芯国际生物科技(广州)有限公司 | 基于人工智能的类器官活性识别方法及系统 |
| CN116453116A (zh) * | 2023-06-20 | 2023-07-18 | 杭州济扶科技有限公司 | 一种高适应性的明场细胞活死分类算法 |
| CN116665210A (zh) * | 2023-07-28 | 2023-08-29 | 珠海横琴圣澳云智科技有限公司 | 基于多通道信息融合的细胞分类方法和装置 |
-
2021
- 2021-12-24 CN CN202111599585.XA patent/CN114332855A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012838A (zh) * | 2022-12-30 | 2023-04-25 | 创芯国际生物科技(广州)有限公司 | 基于人工智能的类器官活性识别方法及系统 |
| CN116012838B (zh) * | 2022-12-30 | 2023-11-07 | 创芯国际生物科技(广州)有限公司 | 基于人工智能的类器官活性识别方法及系统 |
| CN116453116A (zh) * | 2023-06-20 | 2023-07-18 | 杭州济扶科技有限公司 | 一种高适应性的明场细胞活死分类算法 |
| CN116453116B (zh) * | 2023-06-20 | 2023-09-08 | 杭州济扶科技有限公司 | 一种高适应性的明场细胞活死分类算法 |
| CN116665210A (zh) * | 2023-07-28 | 2023-08-29 | 珠海横琴圣澳云智科技有限公司 | 基于多通道信息融合的细胞分类方法和装置 |
| CN116665210B (zh) * | 2023-07-28 | 2023-10-17 | 珠海横琴圣澳云智科技有限公司 | 基于多通道信息融合的细胞分类方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114332855A (zh) | 一种基于明场显微成像的无标记白细胞三分类方法 | |
| CN111079620B (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
| Parab et al. | Red blood cell classification using image processing and CNN | |
| Rawat et al. | Review of leukocyte classification techniques for microscopic blood images | |
| CN110473167B (zh) | 一种基于深度学习的尿沉渣图像识别系统及方法 | |
| US20230066976A1 (en) | Systematic characterization of objects in a biological sample | |
| CN112784767A (zh) | 基于白细胞显微图像的细胞实例分割算法 | |
| CN114283407A (zh) | 一种自适应的白细胞自动分割、亚类检测方法及系统 | |
| CN114494197A (zh) | 一种复杂性小样本脑脊液细胞识别与分类方法 | |
| CN113408480B (zh) | 基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统 | |
| Simon et al. | Shallow cnn with lstm layer for tuberculosis detection in microscopic images | |
| Sipes et al. | Using convolutional neural networks for automated fine grained image classification of acute lymphoblastic leukemia | |
| KR102624956B1 (ko) | 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법 | |
| CN112183237A (zh) | 基于颜色空间自适应阈值分割的白细胞自动分类方法 | |
| CN113435493A (zh) | 一种基于深度迁移学习的无标记白细胞分类系统及方法 | |
| Navya et al. | Classification of blood cells into white blood cells and red blood cells from blood smear images using machine learning techniques | |
| Remya et al. | A comprehensive study on convolutional neural networks for chromosome classification | |
| Shwetha et al. | Automatic detection of bacilli bacteria from ziehl-neelsen sputum smear images | |
| Diouf et al. | Convolutional neural network and decision support in medical imaging: case study of the recognition of blood cell subtypes | |
| Sharma et al. | Deep Learning-Based Blood Cell Disease Classification: A CNN-Enhanced Approach for Accurate Hematological Diagnosis and Treatment | |
| Sapna et al. | Techniques for segmentation and classification of leukocytes in blood smear images-a review | |
| CN117496258A (zh) | 基于骨髓细胞形态特征的人工智能急性白血病分型装置 | |
| Karthikeyan et al. | Machine Learning based Algorithmic approach for Detection and Classification of Leukemia | |
| Khalid et al. | Urine sediment analysis by using convolution neural network | |
| Sreelekshmi et al. | Leukemia classification using a fusion of transfer learning and support vector machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |