CN109800631A - 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法 - Google Patents
基于掩膜区域卷积神经网络的荧光编码微球图像检测方法 Download PDFInfo
- Publication number
- CN109800631A CN109800631A CN201811495516.2A CN201811495516A CN109800631A CN 109800631 A CN109800631 A CN 109800631A CN 201811495516 A CN201811495516 A CN 201811495516A CN 109800631 A CN109800631 A CN 109800631A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- candidate region
- frame
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000011325 microbead Substances 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 239000004005 microsphere Substances 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 230000008901 benefit Effects 0.000 claims abstract description 5
- 238000011478 gradient descent method Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 25
- 239000000523 sample Substances 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000028993 immune response Effects 0.000 claims description 3
- 239000007791 liquid phase Substances 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 239000000725 suspension Substances 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000013039 cover film Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002189 fluorescence spectrum Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011806 microball Substances 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉的图像处理领域，为在悬浮芯片技术基础上，针对分析方法中存在的成本较高、准确度不足等问题，结合显微图像采集技术，可准确检测待检物种类与浓度，具有操作简单、灵活、成本低等优点，本发明，基于掩膜区域卷积神经网络的荧光编码微球图像检测方法,步骤如下：步骤1：微球图像获取；步骤2：图像裁剪与标注；步骤3：训练样本集与测试集建立；步骤4：掩膜区域卷积神经网络搭建；步骤5：网络训练和验证，利用随机梯度下降法进行训练掩膜区域卷积神经网络；步骤6：图像采集与分析。本发明主要应用于计算机图像处理场合。
Description
技术领域
本发明涉及计算机视觉的图像处理领域，尤其涉及一种基于掩膜区域卷积神经网络(Mask Region Convolutional Neural Network,Mask R-CNN)的荧光编码微球图像检测方法。
背景技术
自深度学习技术出现以来，其已经在很多领域，特别是计算机视觉、语音识别领域表现出强大的能力。卷积神经网络是一种前馈神经网络，由一个或多个卷积层及顶端的全连接层组成，在大型图像处理领域有出色的表现。相比于其他深度前馈神经网络结构如全连接神经网络，卷积神经网络的参数更少，训练计算量更小，使其可以具有更深的深度，因而可以提取到图像中更深层次的高维特征。目前卷积神经网络已经在影像识别、视讯分析、自然语言处理等诸多领域中进行了应用。
区域卷积神经网络(Region Convolutional Neural Network,R-CNN)是利用深度学习进行目标检测的开山之作，由Ross Girshick于2014年首先提出。相比于传统的可变型部件模型算法(Deformable Parts Models,DPM)，在PASCAL视觉物体分类(Visual ObjectClasses,VOC)竞赛中将检测率提高了20％以上。其主要流程包括四个步骤：候选区域生成、特征提取、类别判断、区域修正。在区域卷积神经网络的基础上，各变种算法包括快速区域卷积神经网络、Mask R-CNN等将区域神经网络的训练和应用速度大幅提高。
随着生命科学的不断发展，人们对生物检测技术的精度和速度提出了更高的要求。荧光编码微球是一种性质稳定、荧光灵敏度高的固相球体，已被广泛应用于生物标志物检测领域。典型的荧光编码微球应用手段包括免疫层析试纸分析技术和悬浮阵列技术。对于前者，不仅需要针对不同种类的荧光编码微球制备相应的试纸条，还需要设计对应的试纸分析仪以获取标志物工作曲线进而检测待检物浓度；而后者目前存在无法检测荧光光谱完整信息的局限性，且需要完成液态悬浮芯片仪及相关软、硬件设备的设计。因此需提出一种分析准确度高、速度快、成本较低的荧光编码微球分析方法。
发明内容
为克服现有技术的不足，本发明旨在提出一种基于掩膜区域卷积神经网络的荧光编码微球图像检测方法，在悬浮芯片技术基础上，针对分析方法中存在的成本较高、准确度不足等问题，结合显微图像采集技术，利用本发明对荧光编码微球图像进行定性和定量分析，可准确检测待检物种类与浓度，与传统方法相比具有操作简单、灵活、成本低等优点。为此，本发明采取的技术方案是，基于掩膜区域卷积神经网络的荧光编码微球图像检测方法,步骤如下：
步骤1：微球图像获取：将多种携带已知编码荧光信息的微球和对应待检物质置入同一液相反应体系中，令微球表面探针分子与对应待检物发生免疫反应相结合，反应一段时间后，利用陷阱芯片俘获微球，将微球固定在陷阱芯片上，首先使用980nm波长激光对陷阱芯片进行扫描，激发微球内部荧光物质，利用电荷耦合器件(Charge-coupled Device,CCD)图像传感器获得待检物定性图像；然后使用激光激发微球表面待检物结合的荧光分子，利用CCD图像传感器获得待检物定量图像；反复重复实验过程，获得多对定性和定量图像，将定性图像和定量图像分开，分别构成荧光编码微球定性图像集和定量图像集；
步骤2：图像裁剪与标注：对步骤1中获得的荧光编码微球定性图像集进行剪裁处理，剪裁成指定大小的图像组成未标注定性图像集，然后由专业人士对未标注图像集进行标注，标注信息包括每个微球轮廓多边形的所有顶点坐标和微球种类，标注结果保存，微球图像和标注信息共同构成有标注定性图像集；
步骤3：训练样本集与测试集建立，将有标注定性图像集按比例随机划分为两部分，其中一部分作为训练样本集，用于模型训练；另一部分作为验证样本集，用于模型评估；
步骤4：掩膜区域卷积神经网络搭建：掩膜区域卷积神经网络由特征提取骨干网络、候选区域提案网络、候选区域分类网络、掩膜生成网络四部分构成，首先一幅输入图像被送入特征提取骨干网络用于提取整幅图像的图像特征；得到的特征图被送入候选区域提案网络中生成待检测框，并对生成的待检测框进行第一次修正；最后将候选区域提案网络的输出，分别送入候选区域分类网络和掩膜生成网络，对候选区域进行分类，进一步修正目标框范围，预测掩膜区域；
步骤5：网络训练和验证，利用随机梯度下降法进行训练掩膜区域卷积神经网络；
步骤6：图像采集与分析，利用CCD图像传感器采集一对定性和定量图像，将定性图像输入Mask R-CNN网络，得到输出掩膜，使用输出掩膜作为定量图像的分类准则，提取出定量图像中属于各种类待检物的像素，各种类像素灰度值取平均后作为该种类待检物浓度分析指标。
特征提取骨干网络采用深度残差网络结构ResNet(Deep Residual Network)，候选区域提案网络采用卷积神经网络结构，由两条分支构成，一条分支网络判断生成的候选区域内容为前景还是背景，另一条分支用于修正候选区域框范围，输出特征图将首先进行感兴趣区域ROI(Region of Interest)区域校准，校准后的特征图将被分别输入至候选区域分类网络和掩膜生成网络中，候选区域分类网络由全连接神经网络构成，也有两条分支分别用于区域分类和区域框回归，掩膜生成网络由全卷积神经网络构成，会为每一个目标种类生成一个掩膜。
掩膜区域卷积神经网络网络的损失函数为
Lfinal＝L({pi},{ti})+(Lcls+Lbox+Lmask)
其由两部分构成，前半部分为候选区域提案网络的损失函数
包括分类层损失
框回归损失
上述公式中，Ncls表示训练批次中样本个数，Nreg表示回归候选框数量；表示分类层损失，表示框回归损失；pi表示由网络计算出候选框为前景的预测概率，表示候选框的真实标签，如果框内容为前景则为1，框为背景则为0；ti表示网络计算的框回归坐标，表示框真实坐标；λ为权重，用于平衡两部分损失比重；x,y,w,h表示候选框的四个顶点；
网络损失函数的后半部分为候选区域分类网络和掩膜生成网络损失，其中Lcls与分类层损失相同，Lbox与框回归损失相同，掩膜生成网络损失采用平均二值交叉熵损失函数。
特征提取骨干网络采用ResNet网络，由两种残差模块恒等块Identity Block和卷积块Conv Block构成，两种残差模块的具体结构如图3所示，ResNet网络具体结构如图4所示，包含五个Stage网络，其中Stage1为基本CNN结构，实现输入图像的补0扩展和卷积池化操作；Stage2～Stage5分别由1个Conv Block和不同数量的Identity Block构成。
ROI校准过程具体是，首先保持浮点数ROI边界不做量化，然后将ROI区域均匀分割为N×N个矩形单元，采用双线性内插方法对每个矩形单元中4个固定采样坐标位置进行数值计算，进行最大池化操作，结果作为该矩形单元的输出值，最终将每个ROI区域转换为N×N大小的特征图。
网络的训练和验证由四个步骤构成：
1.使用预训练模型初始化特征提取骨干网络，并训练候选区域提案网络；
2.利用训练好的候选区域提案网络预测候选框位置，使用预训练模型重新初始化特征提取骨干网络，训练候选区域分类网络和掩膜生成网络；
3.将特征提取骨干网络、候选区域分类网络和掩膜生成网络的网络参数固定，再次训练候选区域提案网络；
4.特征提取骨干网络和候选区域提案网络参数固定，训练候选区域分类网络和掩膜生成网络。
训练具体流程包含4个步骤：
1.使用候选区域提案网络生成20000个候选区域，然后对这些区域进行边框修正；
2.对候选区域边框进行处理，截取在图像范围内的候选区域，并筛选掉长或宽过小的候选区域；
3.按照前景分数对候选区域从高到低依次排序，选取其中最高的12000个，然后利用非极大值抑制算法筛选掉重叠程度大的候选区域；
4.把筛选出的候选区域中分数最大的前2000个候选区域输入后半部分网络进行进一步分类和第二次边框修正，并生成掩膜。
本发明的特点及有益效果是：
利用本发明所提出的基于深度学习的荧光编码微球图像检测方法，结合基于CCD图像传感器的显微图像采集方法，可以有效降低荧光编码微球检测所需成本，简化检测复杂度，并具有较高的检测准确度和较快的分析速度。
附图说明：
图1本发明的整体流程示意图。
图2掩膜区域卷积神经网络整体结构示意图。
图3残差模块内部结构示意图。
图4特征提取骨干网络ResNet结构示意图。
图5区域提案网络结构示意图。
图6 ROI区域校准过程示意图。
图7候选区域分类网络和掩膜生成网络结构示意图。
图2中：
掩膜区域卷积神经网络由四个部分构成，包括特征提取网络ResNet、候选区域提案网络(Region Proposal Network,RPN)、候选区域分类网络以及掩膜生成网络。
图3中：
残差模块分为恒等块和卷积块两种。图中conv表示卷积层，n1、n2、n3分别表示各卷积层的卷积核个数，1*1/3*3表示对应卷积核大小，卷积层的输出函数均使用线性整流单元(Rectified Linear Unit，ReLU)。
图4中：
图中ResNet残差网络包含5个阶段(Stage)网络，其中阶段1中ZeroPadding为补0操作，conv表示卷积层，maxpooling表示最大池化层，阶段2～5中，conv表示图3中卷积块、identity表示恒等块。
图5中：
图中输入特征图来自ResNet输出，conv表示卷积层，anchor表示待定候选区域，对于特征图内每个特征点均设置K个1:1/1:2/2:1三种宽长比的anchor，每个anchor通过卷积核大小为1×1的cls_layer(分类层)后进行Softmax分类判断anchor属于前景还是背景，和卷积核大小为1×1的reg_layer(回归层)进行边界框回归优化边界框，两个卷积层的输出将输入proposal_layer(生成层)中进行筛选，和真实边界框重叠度小于0.7的anchor、超过图像边界的anchor和面积小于等于2×2的anchor将被筛除，剩余的anchor被称为ROI区域输入至后端网络。
图6中：
ROI区域校准过程将不同大小的ROI区域特征图通过最大池化方式转换为固定尺寸，将每个ROI区域特征图平均分割为7×7和14×14个子区域，每个子区域中设置4个采样点，采样点数值通过双线性插值方法计算，然后对4个采样点数值进行最大值池化，得到等大特征图分别输入给候选区域分类网络和掩膜生成网络。
具体实施方式
本发明荧光编码微球图像检测流程如图1所示，具体实施方案如下：
步骤1：微球图像获取。将多种携带已知编码荧光信息的微球和对应待检物质置入同一液相反应体系中，令微球表面探针分子与对应待检物发生免疫反应相结合。反应一段时间后，利用陷阱芯片俘获微球，将微球固定在陷阱芯片上。首先使用980nm波长激光对陷阱芯片进行扫描，激发微球内部荧光物质，利用CCD图像传感器获得待检物定性图像；然后使用488nm波长激光激发微球表面待检物结合的荧光分子，利用CCD图像传感器获得待检物定量图像。反复重复实验过程，获得多对定性和定量图像，将定性图像和定量图像分开，分别构成荧光编码微球定性图像集和定量图像集。
步骤2：图像裁剪与标注。对步骤1中获得的荧光编码微球定性图像集进行剪裁处理，剪裁成256*256大小的图像组成未标注定性图像集。然后由专业人士对未标注图像集进行标注，标注信息包括每个微球轮廓多边形的所有顶点坐标和微球种类。标注结果保存于.json文件中，微球图像和标注信息共同构成有标注定性图像集。
步骤3：训练样本集与测试集建立。将有标注定性图像集以0.8:0.2比例随机划分为两部分，其中0.8比例部分作为训练样本集，用于模型训练；0.2比例部分作为验证样本集，用于模型评估。
步骤4：掩膜区域卷积神经网络搭建。掩膜区域卷积神经网络由特征提取骨干网络、候选区域提案网络、候选区域分类网络、掩膜生成网络四部分构成。如图2所示，首先一幅输入图像被送入特征提取骨干网络用于提取整幅图像的图像特征；得到的特征图被送入候选区域提案网络中生成待检测框，并对生成的待检测框进行第一次修正；最后将候选区域提案网络的输出，分别送入候选区域分类网络和掩膜生成网络，对候选区域进行分类，进一步修正目标框范围，预测掩膜区域。特征提取骨干网络采用ResNet网络，由两种残差模块恒等块Identity Block和卷积块Conv Block构成，两种残差模块的具体结构如图3所示，ResNet网络具体结构如图4所示，包含五个Stage网络，其中Stage1为基本CNN结构，实现输入图像的补0扩展和卷积池化操作；Stage2～Stage5分别由1个Conv Block和不同数量的Identity Block构成，Identity Block数量分别为2、3、22、2。候选区域提案网络采用卷积神经网络结构，由两条分支构成，一条分支网络判断生成的候选区域内容为前景还是背景，另一条分支用于修正候选区域框范围，具体结构如图5所示。输出特征图将首先进行ROI区域校准，校准过程如图6所示，首先保持浮点数ROI边界不做量化，然后将ROI区域均匀分割为N×N个矩形单元，采用双线性内插方法对每个矩形单元中4个固定采样坐标位置进行数值计算，进行最大池化操作，结果作为该矩形单元的输出值，最终将每个ROI区域转换为N×N大小的特征图。校准后的特征图将被分别输入至候选区域分类网络和掩膜生成网络中。候选区域分类网络由全连接神经网络构成，也有两条分支分别用于区域分类和区域框回归，掩膜生成网络由全卷积神经网络构成，会为每一个目标种类生成一个掩膜，具体结构如图7所示。
掩膜区域卷积神经网络网络的损失函数为
Lfinal＝L({pi},{ti})+(Lcls+Lbox+Lmask)
其由两部分构成，前半部分为候选区域提案网络的损失函数
包括分类层损失
框回归损失
上述公式中，Ncls表示训练批次中样本个数，Nreg表示回归候选框数量；表示分类层损失，表示框回归损失；pi表示由网络计算出候选框为前景的预测概率，表示候选框的真实标签，如果框内容为前景则为1，框为背景则为0；ti表示网络计算的框回归坐标，表示框真实坐标；λ为权重，用于平衡两部分损失比重；x,y,w,h表示候选框的四个顶点。
网络损失函数的后半部分为候选区域分类网络和掩膜生成网络损失，其中Lcls与分类层损失相同，Lbox与框回归损失相同。掩膜生成网络损失采用平均二值交叉熵损失函数。
步骤5：网络训练和验证。网络利用随机梯度下降法进行训练。训练目标利用梯度下降法使Lfinal下降至收敛，图中所有种类微球的平均识别准确度最高。训练方式采用交替训练方式，将整个网络分为两个部分，前半部分为特征提取骨干网络和候选区域提案网络，后半部分为候选区域分类网络和掩膜生成网络。网络的训练和验证由四个步骤构成：
1.使用预训练模型初始化特征提取骨干网络，并训练候选区域提案网络；
2.利用训练好的候选区域提案网络预测候选框位置，使用预训练模型重新初始化特征提取骨干网络，训练候选区域分类网络和掩膜生成网络；
3.将特征提取骨干网络、候选区域分类网络和掩膜生成网络的网络参数固定，再次训练候选区域提案网络；
4.特征提取骨干网络和候选区域提案网络参数固定，训练候选区域分类网络和掩膜生成网络。
训练具体流程包含4个步骤：
1.使用候选区域提案网络生成20000个候选区域，然后对这些区域进行边框修正；
2.对候选区域边框进行处理，截取在图像范围内的候选区域，并筛选掉长或宽过小的候选区域；
3.按照前景分数对候选区域从高到低依次排序，选取其中最高的12000个，然后利用非极大值抑制算法筛选掉重叠程度大的候选区域；
4.把筛选出的候选区域中分数最大的前2000个候选区域输入后半部分网络进行进一步分类和第二次边框修正，并生成掩膜。
验证具体过程与训练过程类似，区别在于在步骤3中选取6000个前景分数最高候选区域，在步骤4中选取前300个前景分数最高候选区域，其他步骤相同。
步骤6：图像采集与分析。利用CCD图像传感器采集一对定性和定量图像，将定性图像输入Mask R-CNN网络，得到输出掩膜。使用输出掩膜作为定量图像的分类准则，提取出定量图像中属于各种类待检物的像素，各种类像素灰度值取平均后作为该种类待检物浓度分析指标。
通过以上六步，便可利用本发明实现荧光编码微球图像的检测，进而完成待检生物质的定性与定量分析。
输入数据方面，作为输入的裁剪后的荧光编码微球图像大小统一设置为256*256，以减少网络参数，降低训练计算量；网络超参数方面，每次训练的批大小设置为8，候选区域提案网络ROI数阈值被设置为32，anchor数量K设置为9；掩膜生成网络中，输出掩膜采用28*28分辨率的灵活掩膜，掩膜权重使用浮点数格式代替二值格式，以使掩膜中包含更多细节。
Claims (7)
1.一种基于掩膜区域卷积神经网络的荧光编码微球图像检测方法，其特征是，步骤如下：
步骤1：微球图像获取：将多种携带已知编码荧光信息的微球和对应待检物质置入同一液相反应体系中，令微球表面探针分子与对应待检物发生免疫反应相结合，反应一段时间后，利用陷阱芯片俘获微球，将微球固定在陷阱芯片上，首先使用980nm波长激光对陷阱芯片进行扫描，激发微球内部荧光物质，利用电荷耦合器件(Charge-coupled Device,CCD)图像传感器获得待检物定性图像；然后使用激光激发微球表面待检物结合的荧光分子，利用CCD图像传感器获得待检物定量图像；反复重复实验过程，获得多对定性和定量图像，将定性图像和定量图像分开，分别构成荧光编码微球定性图像集和定量图像集；
步骤2：图像裁剪与标注：对步骤1中获得的荧光编码微球定性图像集进行剪裁处理，剪裁成指定大小的图像组成未标注定性图像集，然后由专业人士对未标注图像集进行标注，标注信息包括每个微球轮廓多边形的所有顶点坐标和微球种类，标注结果保存，微球图像和标注信息共同构成有标注定性图像集；
步骤3：训练样本集与测试集建立，将有标注定性图像集按比例随机划分为两部分，其中一部分作为训练样本集，用于模型训练；另一部分作为验证样本集，用于模型评估；
步骤4：掩膜区域卷积神经网络搭建：掩膜区域卷积神经网络由特征提取骨干网络、候选区域提案网络、候选区域分类网络、掩膜生成网络四部分构成，首先一幅输入图像被送入特征提取骨干网络用于提取整幅图像的图像特征；得到的特征图被送入候选区域提案网络中生成待检测框，并对生成的待检测框进行第一次修正；最后将候选区域提案网络的输出，分别送入候选区域分类网络和掩膜生成网络，对候选区域进行分类，进一步修正目标框范围，预测掩膜区域；
步骤5：网络训练和验证，利用随机梯度下降法进行训练掩膜区域卷积神经网络；
步骤6：图像采集与分析，利用CCD图像传感器采集一对定性和定量图像，将定性图像输入Mask R-CNN网络，得到输出掩膜，使用输出掩膜作为定量图像的分类准则，提取出定量图像中属于各种类待检物的像素，各种类像素灰度值取平均后作为该种类待检物浓度分析指标。
2.如权利要求1所述的基于掩膜区域卷积神经网络的荧光编码微球图像检测方法，其特征是，特征提取骨干网络采用深度残差网络结构ResNet(Deep Residual Network)，候选区域提案网络采用卷积神经网络结构，由两条分支构成，一条分支网络判断生成的候选区域内容为前景还是背景，另一条分支用于修正候选区域框范围，输出特征图将首先进行感兴趣区域ROI(Region of Interest)区域校准，校准后的特征图将被分别输入至候选区域分类网络和掩膜生成网络中，候选区域分类网络由全连接神经网络构成，也有两条分支分别用于区域分类和区域框回归，掩膜生成网络由全卷积神经网络构成，会为每一个目标种类生成一个掩膜。
3.如权利要求1所述的基于掩膜区域卷积神经网络的荧光编码微球图像检测方法，其特征是，掩膜区域卷积神经网络网络的损失函数为：
Lfinal＝L({pi},{ti})+(Lcls+Lbox+Lmask)
其由两部分构成，前半部分为候选区域提案网络的损失函数
包括分类层损失
框回归损失
上述公式中，Ncls表示训练批次中样本个数，Nreg表示回归候选框数量；表示分类层损失，表示框回归损失；pi表示由网络计算出候选框为前景的预测概率，表示候选框的真实标签，如果框内容为前景则为1，框为背景则为0；ti表示网络计算的框回归坐标，表示框真实坐标；λ为权重，用于平衡两部分损失比重；x,y,w,h表示候选框的四个顶点；
网络损失函数的后半部分为候选区域分类网络和掩膜生成网络损失，其中Lcls与分类层损失相同，Lbox与框回归损失相同，掩膜生成网络损失采用平均二值交叉熵损失函数。
4.如权利要求1所述的基于掩膜区域卷积神经网络的荧光编码微球图像检测方法，其特征是，特征提取骨干网络采用ResNet网络，由两种残差模块恒等块Identity Block和卷积块Conv Block构成，两种残差模块的具体结构如图3所示，ResNet网络具体结构如图4所示，包含五个Stage网络，其中Stage1为基本CNN结构，实现输入图像的补0扩展和卷积池化操作；Stage2～Stage5分别由1个Conv Block和不同数量的Identity Block构成。
5.如权利要求1所述的基于掩膜区域卷积神经网络的荧光编码微球图像检测方法，其特征是，ROI校准过程具体是，首先保持浮点数ROI边界不做量化，然后将ROI区域均匀分割为N×N个矩形单元，采用双线性内插方法对每个矩形单元中4个固定采样坐标位置进行数值计算，进行最大池化操作，结果作为该矩形单元的输出值，最终将每个ROI区域转换为N×N大小的特征图。
6.如权利要求1所述的基于掩膜区域卷积神经网络的荧光编码微球图像检测方法，其特征是，网络的训练和验证由四个步骤构成：
1)使用预训练模型初始化特征提取骨干网络，并训练候选区域提案网络；
2.)利用训练好的候选区域提案网络预测候选框位置，使用预训练模型重新初始化特征提取骨干网络，训练候选区域分类网络和掩膜生成网络；
3)将特征提取骨干网络、候选区域分类网络和掩膜生成网络的网络参数固定，再次训练候选区域提案网络；
4)特征提取骨干网络和候选区域提案网络参数固定，训练候选区域分类网络和掩膜生成网络。
7.如权利要求1所述的基于掩膜区域卷积神经网络的荧光编码微球图像检测方法，其特征是，训练具体流程包含4个步骤：
1)使用候选区域提案网络生成20000个候选区域，然后对这些区域进行边框修正；
2)对候选区域边框进行处理，截取在图像范围内的候选区域，并筛选掉长或宽过小的候选区域；
3)按照前景分数对候选区域从高到低依次排序，选取其中最高的12000个，然后利用非极大值抑制算法筛选掉重叠程度大的候选区域；
4)把筛选出的候选区域中分数最大的前2000个候选区域输入后半部分网络进行进一步分类和第二次边框修正，并生成掩膜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811495516.2A CN109800631B (zh) | 2018-12-07 | 2018-12-07 | 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811495516.2A CN109800631B (zh) | 2018-12-07 | 2018-12-07 | 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109800631A true CN109800631A (zh) | 2019-05-24 |
| CN109800631B CN109800631B (zh) | 2023-10-24 |
Family
ID=66556543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811495516.2A Active CN109800631B (zh) | 2018-12-07 | 2018-12-07 | 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109800631B (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263679A (zh) * | 2019-06-03 | 2019-09-20 | 西安交通大学 | 一种基于深度神经网络的细粒度车辆检测方法 |
| CN110296990A (zh) * | 2019-07-08 | 2019-10-01 | 浙江圣兆药物科技股份有限公司 | 一种检测微球制剂中聚乙烯醇含量的装置及方法 |
| CN110619632A (zh) * | 2019-09-18 | 2019-12-27 | 华南农业大学 | 一种基于Mask R-CNN的芒果实例对抗分割方法 |
| CN110738254A (zh) * | 2019-10-15 | 2020-01-31 | 哈尔滨工业大学（深圳） | 一种基于深度几何特征谱的显微图像目标检测方法及系统 |
| CN110796117A (zh) * | 2019-11-11 | 2020-02-14 | 湖南伊鸿健康科技有限公司 | 血细胞自动分析方法、系统、血细胞分析仪及存储介质 |
| CN110874593A (zh) * | 2019-11-06 | 2020-03-10 | 西安电子科技大学 | 基于掩膜的遥感图像旋转目标检测方法 |
| CN111046950A (zh) * | 2019-12-11 | 2020-04-21 | 北京迈格威科技有限公司 | 一种图像处理方法、装置、存储介质和电子装置 |
| CN111160085A (zh) * | 2019-11-19 | 2020-05-15 | 天津中科智能识别产业技术研究院有限公司 | 一种人体图像关键点姿态估计方法 |
| CN111161290A (zh) * | 2019-12-27 | 2020-05-15 | 西北大学 | 一种图像分割模型的构建方法、图像分割方法及系统 |
| CN111311561A (zh) * | 2020-02-10 | 2020-06-19 | 浙江未来技术研究院(嘉兴) | 一种基于显微手术成像系统的术区自动测光方法及装置 |
| CN111581568A (zh) * | 2020-03-25 | 2020-08-25 | 中山大学 | 一种网页端人物换背景的方法 |
| CN111597920A (zh) * | 2020-04-27 | 2020-08-28 | 东南大学 | 一种自然场景下的全卷积单阶段的人体实例分割方法 |
| CN111652296A (zh) * | 2020-05-21 | 2020-09-11 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的铁路货车下拉杆折断故障检测方法 |
| CN111739035A (zh) * | 2020-06-30 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
| CN111757149A (zh) * | 2020-07-17 | 2020-10-09 | 商汤集团有限公司 | 视频剪辑方法、装置、设备及存储介质 |
| CN112712529A (zh) * | 2020-12-25 | 2021-04-27 | 明峰医疗系统股份有限公司 | 一种pet探测器晶体位置查找表的生成方法及系统、pet设备 |
| CN113076972A (zh) * | 2021-03-04 | 2021-07-06 | 山东师范大学 | 一种基于深度学习的两阶段Logo图像检测方法及系统 |
| CN113392861A (zh) * | 2020-03-12 | 2021-09-14 | 北京京东乾石科技有限公司 | 模型训练方法、地图绘制方法、装置、计算机设备和介质 |
| CN113533276A (zh) * | 2021-07-02 | 2021-10-22 | 苏州拉索生物芯片科技有限公司 | 一种基于荧光信号强度值的生物芯片解码方法 |
| CN113674292A (zh) * | 2021-08-17 | 2021-11-19 | 厦门理工学院 | 一种基于部分实例标注的半监督骨髓瘤细胞实例分割方法 |
| CN113945548A (zh) * | 2021-10-14 | 2022-01-18 | 广州浩宇生物科技有限公司 | 一种样品中叶酸含量检测方法 |
| CN114540469A (zh) * | 2022-01-11 | 2022-05-27 | 深圳大学 | 一种基于非均一体积液滴和图像处理的数字核酸定量方法 |
| CN115170809A (zh) * | 2022-09-06 | 2022-10-11 | 浙江大华技术股份有限公司 | 图像分割模型训练、图像分割方法、装置、设备及介质 |
| WO2022252565A1 (zh) * | 2021-06-04 | 2022-12-08 | 浙江智慧视频安防创新中心有限公司 | 一种目标检测系统、方法、装置、设备及介质 |
| CN115902227A (zh) * | 2022-12-22 | 2023-04-04 | 巴迪泰（广西）生物科技有限公司 | 一种免疫荧光试剂盒的检测评估方法及系统 |
| WO2023070662A1 (zh) * | 2021-11-01 | 2023-05-04 | 深圳华大生命科学研究院 | 基于磁珠的检测方法、存储介质和检测设备 |
| WO2024001140A1 (zh) * | 2022-06-28 | 2024-01-04 | 北京大学第三医院（北京大学第三临床医学院） | 一种椎体亚区域分割方法、装置及存储介质 |
| US12142066B2 (en) | 2020-06-30 | 2024-11-12 | Tencent Technology (Shenzhen) Company Limited | Artificial intelligence-based image processing method, apparatus, device, and storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150043809A1 (en) * | 2013-08-09 | 2015-02-12 | Siemens Medical Solutions Usa, Inc. | Automatic Segmentation of Articulated Structures |
| CN106198496A (zh) * | 2015-04-30 | 2016-12-07 | 德必碁生物科技（厦门）有限公司 | 一种高通量的电化学发光检测方法 |
| US20170109880A1 (en) * | 2015-10-16 | 2017-04-20 | General Electric Company | System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging |
| CN107356515A (zh) * | 2017-07-20 | 2017-11-17 | 上海睿钰生物科技有限公司 | 一种荧光图像的荧光强度确定方法和系统 |
| CN108615236A (zh) * | 2018-05-08 | 2018-10-02 | 上海商汤智能科技有限公司 | 一种图像处理方法及电子设备 |
| CN108875732A (zh) * | 2018-01-11 | 2018-11-23 | 北京旷视科技有限公司 | 模型训练与实例分割方法、装置和系统及存储介质 |
| CN108896526A (zh) * | 2018-05-18 | 2018-11-27 | 清华大学深圳研究生院 | 拉曼光谱编码的液相生物芯片的检测方法及装置 |
-
2018
- 2018-12-07 CN CN201811495516.2A patent/CN109800631B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150043809A1 (en) * | 2013-08-09 | 2015-02-12 | Siemens Medical Solutions Usa, Inc. | Automatic Segmentation of Articulated Structures |
| CN106198496A (zh) * | 2015-04-30 | 2016-12-07 | 德必碁生物科技（厦门）有限公司 | 一种高通量的电化学发光检测方法 |
| US20170109880A1 (en) * | 2015-10-16 | 2017-04-20 | General Electric Company | System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging |
| CN107356515A (zh) * | 2017-07-20 | 2017-11-17 | 上海睿钰生物科技有限公司 | 一种荧光图像的荧光强度确定方法和系统 |
| CN108875732A (zh) * | 2018-01-11 | 2018-11-23 | 北京旷视科技有限公司 | 模型训练与实例分割方法、装置和系统及存储介质 |
| CN108615236A (zh) * | 2018-05-08 | 2018-10-02 | 上海商汤智能科技有限公司 | 一种图像处理方法及电子设备 |
| CN108896526A (zh) * | 2018-05-18 | 2018-11-27 | 清华大学深圳研究生院 | 拉曼光谱编码的液相生物芯片的检测方法及装置 |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263679B (zh) * | 2019-06-03 | 2021-08-13 | 西安交通大学 | 一种基于深度神经网络的细粒度车辆检测方法 |
| CN110263679A (zh) * | 2019-06-03 | 2019-09-20 | 西安交通大学 | 一种基于深度神经网络的细粒度车辆检测方法 |
| CN110296990A (zh) * | 2019-07-08 | 2019-10-01 | 浙江圣兆药物科技股份有限公司 | 一种检测微球制剂中聚乙烯醇含量的装置及方法 |
| CN110296990B (zh) * | 2019-07-08 | 2021-07-13 | 浙江圣兆药物科技股份有限公司 | 一种检测微球制剂中聚乙烯醇含量的装置及方法 |
| CN110619632A (zh) * | 2019-09-18 | 2019-12-27 | 华南农业大学 | 一种基于Mask R-CNN的芒果实例对抗分割方法 |
| CN110619632B (zh) * | 2019-09-18 | 2022-01-11 | 华南农业大学 | 一种基于Mask R-CNN的芒果实例对抗分割方法 |
| CN110738254B (zh) * | 2019-10-15 | 2022-03-25 | 哈尔滨工业大学（深圳） | 一种基于深度几何特征谱的显微图像目标检测方法及系统 |
| CN110738254A (zh) * | 2019-10-15 | 2020-01-31 | 哈尔滨工业大学（深圳） | 一种基于深度几何特征谱的显微图像目标检测方法及系统 |
| CN110874593A (zh) * | 2019-11-06 | 2020-03-10 | 西安电子科技大学 | 基于掩膜的遥感图像旋转目标检测方法 |
| CN110874593B (zh) * | 2019-11-06 | 2022-03-22 | 西安电子科技大学 | 基于掩膜的遥感图像旋转目标检测方法 |
| CN110796117A (zh) * | 2019-11-11 | 2020-02-14 | 湖南伊鸿健康科技有限公司 | 血细胞自动分析方法、系统、血细胞分析仪及存储介质 |
| CN110796117B (zh) * | 2019-11-11 | 2022-04-15 | 湖南伊鸿健康科技有限公司 | 血细胞自动分析方法、系统、血细胞分析仪及存储介质 |
| CN111160085A (zh) * | 2019-11-19 | 2020-05-15 | 天津中科智能识别产业技术研究院有限公司 | 一种人体图像关键点姿态估计方法 |
| CN111046950B (zh) * | 2019-12-11 | 2023-09-22 | 北京迈格威科技有限公司 | 一种图像处理方法、装置、存储介质和电子装置 |
| CN111046950A (zh) * | 2019-12-11 | 2020-04-21 | 北京迈格威科技有限公司 | 一种图像处理方法、装置、存储介质和电子装置 |
| CN111161290B (zh) * | 2019-12-27 | 2023-04-18 | 西北大学 | 一种图像分割模型的构建方法、图像分割方法及系统 |
| CN111161290A (zh) * | 2019-12-27 | 2020-05-15 | 西北大学 | 一种图像分割模型的构建方法、图像分割方法及系统 |
| CN111311561B (zh) * | 2020-02-10 | 2023-10-10 | 浙江未来技术研究院(嘉兴) | 一种基于显微手术成像系统的术区自动测光方法及装置 |
| CN111311561A (zh) * | 2020-02-10 | 2020-06-19 | 浙江未来技术研究院(嘉兴) | 一种基于显微手术成像系统的术区自动测光方法及装置 |
| CN113392861A (zh) * | 2020-03-12 | 2021-09-14 | 北京京东乾石科技有限公司 | 模型训练方法、地图绘制方法、装置、计算机设备和介质 |
| CN111581568A (zh) * | 2020-03-25 | 2020-08-25 | 中山大学 | 一种网页端人物换背景的方法 |
| CN111581568B (zh) * | 2020-03-25 | 2023-04-18 | 中山大学 | 一种网页端人物换背景的方法 |
| CN111597920A (zh) * | 2020-04-27 | 2020-08-28 | 东南大学 | 一种自然场景下的全卷积单阶段的人体实例分割方法 |
| CN111652296A (zh) * | 2020-05-21 | 2020-09-11 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的铁路货车下拉杆折断故障检测方法 |
| US12142066B2 (en) | 2020-06-30 | 2024-11-12 | Tencent Technology (Shenzhen) Company Limited | Artificial intelligence-based image processing method, apparatus, device, and storage medium |
| CN111739035A (zh) * | 2020-06-30 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
| CN111739035B (zh) * | 2020-06-30 | 2022-09-30 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像处理方法、装置、设备及存储介质 |
| CN111757149A (zh) * | 2020-07-17 | 2020-10-09 | 商汤集团有限公司 | 视频剪辑方法、装置、设备及存储介质 |
| CN112712529A (zh) * | 2020-12-25 | 2021-04-27 | 明峰医疗系统股份有限公司 | 一种pet探测器晶体位置查找表的生成方法及系统、pet设备 |
| CN113076972A (zh) * | 2021-03-04 | 2021-07-06 | 山东师范大学 | 一种基于深度学习的两阶段Logo图像检测方法及系统 |
| WO2022252565A1 (zh) * | 2021-06-04 | 2022-12-08 | 浙江智慧视频安防创新中心有限公司 | 一种目标检测系统、方法、装置、设备及介质 |
| CN113533276A (zh) * | 2021-07-02 | 2021-10-22 | 苏州拉索生物芯片科技有限公司 | 一种基于荧光信号强度值的生物芯片解码方法 |
| CN113674292B (zh) * | 2021-08-17 | 2023-08-01 | 厦门理工学院 | 一种基于部分实例标注的半监督骨髓瘤细胞实例分割方法 |
| CN113674292A (zh) * | 2021-08-17 | 2021-11-19 | 厦门理工学院 | 一种基于部分实例标注的半监督骨髓瘤细胞实例分割方法 |
| CN113945548A (zh) * | 2021-10-14 | 2022-01-18 | 广州浩宇生物科技有限公司 | 一种样品中叶酸含量检测方法 |
| WO2023070662A1 (zh) * | 2021-11-01 | 2023-05-04 | 深圳华大生命科学研究院 | 基于磁珠的检测方法、存储介质和检测设备 |
| CN114540469A (zh) * | 2022-01-11 | 2022-05-27 | 深圳大学 | 一种基于非均一体积液滴和图像处理的数字核酸定量方法 |
| WO2024001140A1 (zh) * | 2022-06-28 | 2024-01-04 | 北京大学第三医院（北京大学第三临床医学院） | 一种椎体亚区域分割方法、装置及存储介质 |
| CN115170809B (zh) * | 2022-09-06 | 2023-01-03 | 浙江大华技术股份有限公司 | 图像分割模型训练、图像分割方法、装置、设备及介质 |
| CN115170809A (zh) * | 2022-09-06 | 2022-10-11 | 浙江大华技术股份有限公司 | 图像分割模型训练、图像分割方法、装置、设备及介质 |
| CN115902227A (zh) * | 2022-12-22 | 2023-04-04 | 巴迪泰（广西）生物科技有限公司 | 一种免疫荧光试剂盒的检测评估方法及系统 |
| CN115902227B (zh) * | 2022-12-22 | 2024-05-14 | 巴迪泰（广西）生物科技有限公司 | 一种免疫荧光试剂盒的检测评估方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109800631B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109800631A (zh) | 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法 | |
| CN113705478B (zh) | 一种基于改进YOLOv5的红树林单木目标检测方法 | |
| CN113989662B (zh) | 一种基于自监督机制的遥感图像细粒度目标识别方法 | |
| CN109711288A (zh) | 基于特征金字塔和距离约束fcn的遥感船舶检测方法 | |
| CN107909109B (zh) | 基于显著性和多尺度深度网络模型的sar图像分类方法 | |
| CN103528617B (zh) | 一种座舱仪表自动识别和检测方法及装置 | |
| CN110363746B (zh) | 一种基于卷积神经网络的超声无损检测信号分类方法 | |
| CN109325395A (zh) | 图像的识别方法、卷积神经网络模型的训练方法及装置 | |
| CN109117883A (zh) | 基于长短时记忆网络的sar影像海冰分类方法及系统 | |
| CN109948415A (zh) | 基于背景过滤和尺度预测的光学遥感图像目标检测方法 | |
| CN109902715A (zh) | 一种基于上下文聚合网络的红外弱小目标检测方法 | |
| CN106355579A (zh) | 烟条表面褶皱的缺陷检测方法 | |
| CN110490842A (zh) | 一种基于深度学习的带钢表面缺陷检测方法 | |
| CN108229551A (zh) | 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法 | |
| CN115953666B (zh) | 一种基于改进Mask-RCNN的变电站现场进度识别方法 | |
| CN116363521B (zh) | 一种遥感影像语义预测方法 | |
| CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
| CN110298410A (zh) | 基于深度学习的低对比度图像中弱目标检测方法及装置 | |
| CN104537356A (zh) | 利用瑞士轮排序进行步态识别的行人再标识方法和装置 | |
| CN109948527A (zh) | 基于集成深度学习的小样本太赫兹图像异物检测方法 | |
| Barman et al. | Prediction of soil pH using smartphone based digital image processing and prediction algorithm | |
| CN116863271A (zh) | 一种基于改进yolo v5的轻量级红外火焰检测方法 | |
| CN117495836A (zh) | 一种素色织物疵点检测方法 | |
| CN112183640B (zh) | 一种基于不规则物体的检测和分类方法 | |
| Huang et al. | A deep learning approach to detecting ships from high-resolution aerial remote sensing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |