CN117649415A - 基于光流图检测的细胞均衡度分析方法 - Google Patents

Abstract

本发明提供了一种基于光流图检测的细胞均衡度分析方法，包括以下步骤：获取细胞组织的水平光流图和垂直光流图；对细胞组织原图和所述水平光流图和垂直光流图进行边缘检测，并根据边缘检测结果进行椭圆拟合；将三次的椭圆拟合区域进行合并，并去除重复和错误椭圆；统计每个椭圆大小，进行均衡度分析。本发明通过光流图模型和原图相结合去拟合椭圆评估细胞组织的均衡度。光流图模型能够提取到语义信息，对原图上的一些噪声进行过滤。并且结合原图上的细节信息，提高椭圆拟合的召回率与准确率。

Description

基于光流图检测的细胞均衡度分析方法

技术领域

本发明涉及细胞均衡度检测技术领域，具体涉及一种基于光流图检测的细胞均衡度分析方法。

背景技术

细胞均衡度是评估卵裂期胚胎优劣的重要的评估指标。细胞面积往往能反映细胞大小，通过对比各细胞的面积能基本体现细胞大小的差距，实现对胚胎均衡度的评估。时差培养箱不仅可以稳定控制胚胎的发育环境，提供适宜的温度和湿度。同时，还能监控胚胎的发育过程，周期性的拍摄胚胎发育过程中的图片，上传到服务器中。胚胎学家可以针对胚胎发育的周期性图像实现对胚胎发育全过程监控，筛除出细胞发育不均衡等异常的胚胎进行，选择更优质的胚胎进行移植，进而提高妊娠率。近年来，由于人工智能和计算机视觉技术的发展，如何利用人工智能技术实现时差培养箱中胚胎细胞均匀度自动化识别评估成为一个重要问题。

在现有技术中，一般用canny算子对图像进行边缘检测，对进行边缘检测之后的图像应用霍夫变换进行椭圆拟合。最后引入细胞均衡度计量标准筛选出不均衡的细胞。但是由于图像中往往会产生噪声，导致计算机视觉技术面对细胞均衡度检测问题仍然会存在下列问题：

（1）使用canny算子检测细胞边缘进行椭圆拟合往往会受到胚胎中的气泡、碎片、颗粒细胞等杂质的干扰，导致最后的结果出现较大的误差；

（2）使用深度学习方法分割细胞，统计细胞面积，根据各细胞的面积比值可以量化胚胎细胞的均衡度，但是由于细胞分裂过程中细胞之间往往会存在重叠现象，导致拍摄图像中的细胞暴露不完全，不能准确统计细胞面积，进而影响了均衡度的评估结果。

发明内容

本发明提出了一种基于光流图检测的细胞均衡度分析方法，以解决现有边缘检测方法对于图片中的气泡和光圈干扰难以去除的技术问题。

为解决上述技术问题，本发明提供了一种基于光流图检测的细胞均衡度分析方法，包括以下步骤：

步骤S1：获取胚胎ROI区域的水平光流图和垂直光流图；

步骤S2：对胚胎ROI区域原图、所述水平光流图和垂直光流图进行边缘检测；并根据边缘检测结果分别进行椭圆拟合；

步骤S3：将所述胚胎ROI区域原图、所述水平光流图和所述垂直光流图的椭圆拟合的区域进行合并，并去除重复和错误椭圆；

步骤S4：统计每个椭圆大小，进行均衡度分析。

优选地，步骤S1中所述胚胎ROI区域通过目标检测网络进行提取。

优选地，所述目标检测网络进行提取的方法包括：

步骤S111：通过特征提取网络进行特征提取；

步骤S112：通过区域提取网络判断设定的区域是否和细胞组织吻合，并对预设区域回归出一个偏移值来获得精确位置；

步骤S113：通过区域池化网络收集特征提取网络输出的全局特征和区域提取网络输出的区域信息；

步骤S114：将区域池化网络输出的特征进行回归调整和约束，得到细胞组织。

优选地，步骤S1中光流图通过光流图提取网络获取，所述光流图提取网络包括编码层、中间层和解码层；

所述编码层包括若干个卷积层和池化层，用于提取特征；

所述中间层由卷积层构成，对提取的特征进行卷积；

所述编码层对中间层的特征进行上采样，将特征恢复到原始输入图像的分辨率。

优选地，所述光流图提取网络通过跳跃连接，将所述编码层的其中一层和解码器对应层的特征图相连接。

优选地，步骤S2中依次通过高斯滤波、梯度计算、非极大值抑制和利用上下阈值来进行边缘检测。

优选地，步骤S2中通过将边缘检测后的图像进行霍夫变换以进行椭圆拟合。

优选地，步骤S3中通过对圆心、倾斜角/>、长轴/>和短轴/>进行分析，去除重复椭圆：

；

式中，、/>、/>、/>分别代表随机选定两个椭圆的圆心位置、倾斜角度数、长轴长度和短轴长度，/>、/>、/>、和/>分别表示圆心位置、倾斜角度数、长轴长度和短轴长度差值的阈值；

当均小于设定阈值时，采用四个参数的平均值作为新的椭圆。

优选地，步骤S3中当两个椭圆的圆心距离小于设定阈值且重叠比例大于设定阈值时，对椭圆进行评分，剔除评分较低的椭圆，对椭圆进行评分的表达式s包括：

；

；

；

；

式中，表示长短轴得分，/>表示曲率得分，/>表示长轴和短轴的比值，/>表示标准曲率，/>是偏离标准曲率的惩罚，/>和/>分别表示根据细胞分裂周期设定的标准短轴的长度和长轴长度，/>是偏离标准长度的惩罚。

优选地，步骤S4中进行均衡度分析的方法包括：计算所述椭圆的拟合面积；根据平均/>求得正态分布的参数/>，令/>如果所有/>结果落在/>之间，则该细胞组织是均衡的，其中，/>表示椭圆的长轴，/>表示椭圆的短轴，/>表示第i个椭圆。

本发明的有益效果至少包括：本发明通过光流图模型和原图相结合去拟合椭圆评估细胞组织的均衡度。光流图模型能够提取到语义信息，对原图上的一些噪声进行过滤，并且结合原图上的细节信息，提高椭圆拟合的召回率与准确率。

作为附加技术特征，提出了一种拟合椭圆的合并和去除算法，对于重拟合的细胞进行合并，对于错误拟合或者不满足标准的冗余拟合椭圆进行去除，并且本算法可以依托这个机制在将来融入更多算法对原图进行处理，将这些算法拟合的椭圆进行合并和去除，以提高细胞均衡度分析的效果和准确度。

附图说明

图1为本发明实施例的方法流程示意图；

图2为本发明实施例的目标检测网络的结构示意图；

图3为本发明实施例的光流图提取网络结构示意图；

图4为本发明实施例的胚胎ROI区域的提取示意图；

图5为本发明实施例的水平光流图和垂直光流图的示意图；

图6为本发明实施例的水平光流图、垂直光流图和胚胎ROI区域的椭圆拟合结果示意图；

图7为本发明实施例的三个图像的椭圆拟合后的叠加结果示意图；

图8为本发明实施例经过合并、去重和剔除错误椭圆后的结果示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示本发明实施例提供了一种基于光流图检测的细胞均衡度分析方法，包括以下步骤：

步骤S1：获取胚胎ROI区域的水平光流图和垂直光流图。

示例性地，细胞组织的胚胎ROI区域提取，运用人工智能技术提取细胞的高层次特征，检测图像中细胞簇的位置，对显微镜图像进行预处理。由于细胞均衡度评价问题仅需关注胚胎ROI区域，通过深度学习的目标检测算法，能够有效的排除胚胎区域外的噪声，实现对拍摄图像的预处理。将设定拍摄细胞的图像张数为n，分别对应于第i张图像所对应的细胞分裂图像。具体步骤如下：

1）收集细胞分裂全过程中的细胞图像，标注每一张图像中细胞中心的位置，将标注好的图像划分为训练集、验证集和测试集，对训练集中的细胞图像进行翻转、旋转、平移等预处理操作，扩充数据集；

2）采用标注的训练集对模型进行训练；

3）根据模型在验证集上的准确率变化，调整模型的超参数，最终保存在测试集上表现最佳的网络模型；

4）运用保存的模型检测拍摄的第张图像，输出对图像各细胞中心的预测结果。

本发明实施例采用通用的目标检测网络作为网络框架，包括yolo、FastRCNN等，检测图像中胚胎区域。以下采用FasterRCNN为例进行说明，其网络结构如图2所示。

具体地，将细胞图像输入FasterRCNN网络中，进行胚胎区域的选定，去除图像中的碎片，颗粒细胞等杂质的干扰。FasterRCNN主要由四个网络部分组成，分别是特征提取网络、区域提取网络、区域池化网络和分类网络构成：

1）特征提取网络：使用ResNet50作为特征提取网络。ResNet通过引入残差块的结构，从而有效地训练更深层次的神经网络。主要由3×3的卷积层和池化层用于对输入图像进行特征提取；残差连接层用来增加网络的深度，提取更多的语义信息；

2）区域提取网络：区域提取网络主要用来判断预先设定的区域是否和胚胎区域吻合，对预设区域回归一个偏移值获得精确的位置。

3）区域池化网络：区域池化网络收集特征提取网络输出的全局特征和区域提取网络输出的区域信息，综合这些信息之后得到新的特征。

4）分类网络：由于细胞组织检测是单类别检测问题。最后将特征输入分类网络再进行一次回归调整和约束，并输出检测的结果。

通过上述示例即可获得胚胎ROI区域的原图，如图4所示，在此不作过多赘述。

在获取了胚胎ROI区域原图的情况下，获取胚胎ROI区域原图水平光流图和垂直光流图即可进行后续操作，水平光流图和垂直光流图如图5所示。

本发明实施例中采用提出了一种光流图提取网络进行光流图的提取，其网络结构如图3所示，整体网络结构是沙漏型的形状。主要分为编码层，中间层和解码层。

其中编码层负责从图像中提取特征。它包括多个卷积层和池化层，通过这些层逐渐降低特征图的空间分辨率，同时增加特征的抽象级别。这一过程使得网络能够捕获图像中的全局信息。

中间层是网络中间的瓶颈状结构，由卷积层构成。这一层在节省的卷积计算量保留图像语义信息的同时，还减少了计算量。

解码器对中间层的特征进行上采样，将提取到包含图像语义信息的高级特征恢复到原始输入图像的分辨率，同时保留图像周围和全局的语义信息，输出最后的结果。同时为了克服在编码层可能会损失部分细节的问题，引入了跳跃连接。这些连接直接将编码器的某一层的特征图与解码器对应层的特征图相连接。跳跃连接的操作使得神经网络对细节的感知能力更加强大，有利于局部特征和全局特征的融合。

通过光流图提取网络即可以得到垂直方向的光流图和水平方向的光流图。由于图像经过神经网络能够有效地去除气泡等噪声的影响，得到较为干净的图像进行椭圆拟合。

步骤S2：对胚胎ROI区域原图、水平光流图和垂直光流图进行边缘检测；并根据边缘检测结果分别进行椭圆拟合。

具体地，在进行椭圆拟合之前先要进行canny边缘检测对边缘信息进行提取，一共包含四个步骤：高斯滤波、计算梯度、非极大值抑制和利用上下阈值来检测边缘。高斯滤波运用在第一步是为了降低图像的噪声。使得图像变得平滑，同时在这个过程中也加宽了边缘的宽度。对于一个点的像素值经过前后滤波值入下列公式所示：

；

式中，是正态分布的标准差，/>是像素的坐标，/>代表/>坐标上的像素值，/>表示经过滤波之后的像素值。

经过高斯滤波之后需要计算图像的梯度和梯度的方向，通过点乘Sobel梯度算子得到水平方向的梯度和垂直方向的梯度和/>，总的梯度值/>和方向/>，公式如下所示：

；

；

在高斯滤波之后，边缘有可能被放大了。需要用到非极大值抑制控制边缘尽可能为一个像素：

；

其中表示经过非极大值抑制控制之后图片的灰度值，/>表示与当前计算位置相邻且方向一致的位置集合，通过计算/>的差来确定方向，如果/>的差值在一定范围之内，则认为方向一致。

之后，对于边缘检测后的图像进行霍夫变换椭圆拟合。霍夫变换通过计算椭圆的参数，并且对累加器数组进行更新来计算椭圆。并且设定阈值，如果阈值大于设定阈值，那么认为这个椭圆被检测出来。本发明通过分别对水平方向光流图、垂直方向光流图和原图来进行椭圆拟合，得到三次拟合的结果，如图6所示。

步骤S3：将胚胎ROI区域原图、水平光流图和垂直光流图的椭圆拟合的区域进行合并，并去除重复和错误椭圆。

具体地，本发明将得到的所有椭圆先需要进行合并操作，避免重复检测操作，合并后的结果如图7所示。需要比较椭圆的四个参数分别是圆心、倾斜角/>、长轴/>和短轴/>。

如果满足以下公式：

；

其中、/>、/>、/>代表随机选定两个椭圆的圆心位置、倾斜角度数、长轴长度和短轴长度，/>、/>、/>、和/>是圆心位置、倾斜角度数、长轴长度和短轴长度差值的阈值，如果两个椭圆的4个属性均小于设定的阈值，则认为两个椭圆为同一个椭圆，重合椭圆的上述四个参数取平均值得到新的椭圆。

接下来根据细胞的性质对椭圆进行评分，在本发明中用两个标准对椭圆进行评分：椭圆的形状，如长轴与短轴大小，根据不同的分裂时期，设定不同的阈值，符合此长度的则得到高分；另外，由于本组织细胞在形态上比较趋于圆形，故细胞的曲率必落在一定范围之内，本发明使用长轴与短轴的比值代替曲率计算以加快计算速度：

；

曲率得分如下：

；

长短轴得分如下：

；

总分如下：

；

其中是标准曲率，/>是偏离标准曲率的惩罚；/>与/>分别表示根据细胞分裂周期设定的标准短轴长度和长轴长度，/>是偏离标准长度的惩罚。

经过合并之后的椭圆还存在着一些重复和错误拟合的椭圆，根据上述标准将这些椭圆去除，结果如图8所示。

本发明中首选根据椭圆之间圆心的距离进行判断，当两个椭圆圆心的距离小于设定阈值后，再判断两个细胞的重叠区域，如果一个细胞与另一细胞的重叠区域达到其中一个细胞总面积的设定比例时，则提出通过上述公式计算得到的评分较小的椭圆。

步骤S4：统计每个椭圆大小，进行均衡度分析。

具体地，评价细胞组织的均衡度需要设定均衡度评价指标，在本发明中计算椭圆的拟合面积；根据平均/>求得正态分布的参数/>，令/>如果所有结果落在/>之间，则该细胞组织是均衡的，其中，/>表示椭圆的长轴，表示椭圆的短轴，/>表示第i个椭圆。

通过对实施例中所采用的细胞对象进行最后融合结果的椭圆内面积进行计算，椭圆所占像素面积分别为分别10304、9821、10521、13203，经过计算的=11212.25，求得/>=2242.45，满足所有面积均在/>之内，因此该细胞为均衡细胞。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，仅表达了本发明的较佳实施例而已，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于光流图检测的细胞均衡度分析方法，其特征在于：包括以下步骤：

步骤S1：获取胚胎ROI区域的水平光流图和垂直光流图；

步骤S2：对胚胎ROI区域原图、所述水平光流图和垂直光流图进行边缘检测；并根据边缘检测结果分别进行椭圆拟合；

步骤S3：将所述胚胎ROI区域原图、所述水平光流图和所述垂直光流图的椭圆拟合的区域进行合并，并去除重复和错误椭圆；

步骤S4：统计每个椭圆大小，进行均衡度分析。

2.根据权利要求1所述的一种基于光流图检测的细胞均衡度分析方法，其特征在于：步骤S1中所述胚胎ROI区域通过目标检测网络进行提取。

3.根据权利要求2所述的一种基于光流图检测的细胞均衡度分析方法，其特征在于：所述目标检测网络进行提取的方法包括：

步骤S111：通过特征提取网络进行特征提取；

步骤S112：通过区域提取网络判断设定的区域是否和细胞组织吻合，并对预设区域回归出一个偏移值来获得精确位置；

步骤S113：通过区域池化网络收集特征提取网络输出的全局特征和区域提取网络输出的区域信息；

步骤S114：将区域池化网络输出的特征进行回归调整和约束，得到细胞组织。

4.根据权利要求1所述的一种基于光流图检测的细胞均衡度分析方法，其特征在于：步骤S1中光流图通过光流图提取网络获取，所述光流图提取网络包括编码层、中间层和解码层；

所述编码层包括若干个卷积层和池化层，用于提取特征；

所述中间层由卷积层构成，对提取的特征进行卷积；

所述编码层对中间层的特征进行上采样，将特征恢复到原始输入图像的分辨率。

5.根据权利要求4所述的一种基于光流图检测的细胞均衡度分析方法，其特征在于：所述光流图提取网络通过跳跃连接，将所述编码层的其中一层和解码器对应层的特征图相连接。

6.根据权利要求1所述的一种基于光流图检测的细胞均衡度分析方法，其特征在于：步骤S2中依次通过高斯滤波、梯度计算、非极大值抑制和利用上下阈值来进行边缘检测。

7.根据权利要求6所述的一种基于光流图检测的细胞均衡度分析方法，其特征在于：步骤S2中通过将边缘检测后的图像进行霍夫变换以进行椭圆拟合。

8.根据权利要求1所述的一种基于光流图检测的细胞均衡度分析方法，其特征在于：步骤S3中通过对圆心、倾斜角/>、长轴/>和短轴/>进行分析，去除重复椭圆：

；

式中，、/>、/>、/>分别代表随机选定两个椭圆的圆心位置、倾斜角度数、长轴长度和短轴长度，/>、/>、/>、和/>分别表示圆心位置、倾斜角度数、长轴长度和短轴长度差值的阈值；

当均小于设定阈值时，采用四个参数的平均值作为新的椭圆。

9.根据权利要求1所述的一种基于光流图检测的细胞均衡度分析方法，其特征在于：步骤S3中当两个椭圆的圆心距离小于设定阈值且重叠比例大于设定阈值时，对椭圆进行评分，剔除评分较低的椭圆，对椭圆进行评分的表达式s包括：

；

；

；

；

式中，表示长短轴得分，/>表示曲率得分，/>表示长轴和短轴的比值，/>表示标准曲率，/>是偏离标准曲率的惩罚，/>与/>分别表示根据细胞分裂周期设定的标准短轴长度和长轴长度，/>是偏离标准长度的惩罚，/>是偏离标准长度的惩罚。

10.根据权利要求1所述的一种基于光流图检测的细胞均衡度分析方法，其特征在于：步骤S4中进行均衡度分析的方法包括：计算所述椭圆的拟合面积；根据平均求得正态分布的参数/>，令/>如果所有/>结果落在/>之间，则该细胞组织是均衡的，其中，/>表示椭圆的长轴，/>表示椭圆的短轴，/>表示第i个椭圆。