CN111402320A - 一种基于深度学习的纤维截面直径检测方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的纤维截面直径检测方法，包括：利用预训练参数创建卷积神经网络模型；其中，卷积神经网络模型为Mask R‑CNN模型，其卷积核为长度不等的矩形卷积核；获取纤维图片的训练集及验证集，通过纤维图片的训练集及验证集对卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；确定待检测纤维图片，根据训练后的卷积神经网络模型对待检测纤维图片进行识别，得到纤维图片中各个纤维截面的形状掩码；其中，训练、验证集及待识别纤维图片均为1024×1024大小的纤维图片；基于纤维截面的形状掩码，计算各个截面掩码轮廓的参数；所述参数包括截面掩码轮廓的面积、周长、直径。本发明能够自动确定纤维特征，准确计算纤维截面的直径。

Description

一种基于深度学习的纤维截面直径检测方法

技术领域

本发明属于纤维检测技术领域，具体涉及一种基于深度学习的纤维截面直径检测方法。

背景技术

目前，现有技术对纤维截面直径的测量方法，是将待测纤维束切成毫米级的小段，再利用分散装置将纤维段分散散落在玻片上，放在显微镜头下通过摄像头成像。利用经典数字图像方法，对图像中的大量纤维段分别测量其直径，这个过程在纺织领域内习惯叫做纵面法测量。这里有一个比较关键的问题是，大量纤维段散落在玻片上，其中存在着非常多的交叉、弯曲和部分重叠的情况，经典图像算法并不能很好的应对，会存在非常多的重复测量(因为交叉纤维被分成多段，而这多段并不一定被归结为同一根纤维)和合并测量(并在一起的两根算成了一根)，这些其实都是伪数据。这样的系统测试出的数据有一定的随机性，尤其对纤维直径离散较大的样本误差会较大。另一方面，分散纤维采集测量通常一个视场内可测的纤维数量平均10根左右，要达到数千根的大容量测试，要对应数百个视场的移动采集，效率较低。另外，对于截面形状不接近圆形的纤维，其测得直径也有一定偏差。

因此，如何准确高效地检测大量纤维的直径，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于深度学习的纤维截面直径检测方法，利用Mask-RCN模型自动确定纤维特征，准确计算纤维截面的直径(面积)。

本发明的实施例提供了一种基于深度学习的纤维截面直径检测方法，包括如下步骤：

步骤1，利用预训练参数创建卷积神经网络模型；其中，所述卷积神经网络模型为Mask R-CNN模型，其卷积核为长度不等的矩形卷积核；

步骤2，获取纤维图片的训练集及验证集，通过所述纤维图片的训练集及验证集对所述卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；

步骤3，确定待检测纤维图片，根据所述训练后的卷积神经网络模型对所述待检测纤维图片进行识别，得到纤维图片中各个纤维截面的形状掩码；其中，所述训练、验证集及待识别纤维图片均为1024×1024大小的纤维图片；

步骤4，基于纤维截面的形状掩码，计算各个截面掩码轮廓的参数；所述参数包括截面掩码轮廓的面积、周长、直径。

与现有技术相比本发明的有益效果是：

1、无论纤维截面形状如何，都可以准确获取其截面面积，从而计算出准确的当量直径。

2、截面方式下的视场内纤维不存在交叉问题，因而也不存在重复测量的问题。

3、视场内纤维数量密度高，通常一个视场内有数百根纤维可供测量，效率较纵面法有大幅提升。

4、基于AI神经网络算法，很好地解决了传统数字图像算法难以解决的相邻截面难以准确分割的问题，为截面计算奠定了基础。

附图说明

图1是本发明基于深度学习的纤维截面直径检测方法的流程图；

图2是本发明Mask R-CNN结构简化图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

参图1所示，本实施例提供了一种基于深度学习的纤维截面直径检测方法，包括：

步骤S1，利用ImageNet上的预训练参数创建卷积神经网络模型；其中，所述卷积神经网络模型为Mask R-CNN模型，其卷积核为长度不等的矩形卷积核；

步骤S2，获取纤维图片的训练集及验证集，通过所述纤维图片的训练集及验证集对所述卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；

步骤S3，确定待检测纤维图片，根据所述训练后的卷积神经网络模型对所述待检测纤维图片进行识别，得到纤维图片中各个纤维截面的形状掩码；其中，所述训练、验证集及待识别纤维图片均为1024×1024大小的纤维图片；

步骤S4，基于纤维截面的形状掩码，计算各个截面掩码轮廓的参数；所述参数包括截面掩码轮廓的面积、周长、直径。

Mask R-CNN模型由5个部分组成，分别是特征提取网络、特征组合网络、区域提交网络(RPN)、区域特征聚集网络(ROIAlign)和功能性网络，如图2所示。

特征提取网络是深度神经网络的骨干网络，是整个模型计算量最大的部分。根据不同的应用需求，可以选择不同的特征提取网络。以ResNet50为例，取其4个ResidualBlock输出的4个特征图，记为C₂,C_3,C_4,C_5,分别代表图像不同深度的特征。特征组合网络的作用是将不同深度的特征进行重新组合，新生成的特征图中同时包含不同深度的特征信息。Mask R-CNN中使用FPN来组合特征图C₂,C_3,C_4,C₅成为新的特征图P₂,P₃,P₄,P₅,P₆.对于i＝5,4,3,2,U₆＝0,特征组合处理过程如式(1)所示：P’_i

其中：conv代表卷积操作,sum代表逐元素的对位求和操作，upsample代表使得特征长宽变为2倍的上采样操作，pooling代表步长(stride)为2的最大池化操作。

区域提交网络的作用是利用特征图计算出能表示物体在图像中位置的候选框，采用锚点(Anchor)技术来完成区域提交功能。Mask R-CNN中RPN基于P₂,P₃,P₄,P₅,P₆这5个特征图，对每一个特征图中的每一个特征向量回归得出一个5n维的向量，用以描述n个Anchor的修正值，每个Anchor的修正值包括△x、△y、△h、△w、p。其中p为前后景置信度。Anchor是一个预先设定好的Box。对于P₂,P₃,P₄,P₅,P₆中的每个点，都会以其坐标为中心，以不同的宽、高来预设多个Anchor。然后，根据RPN网络回归得出的修正值对每个Anchor的中心和宽、高进行修正，从而得到新的Box。式(2)给出了Anchor修正计算过程。

其中：x、y代表Anchor的中心的坐标，w、h分别代表Anchor的宽和高。

当Anchor修正完成后，会产生大量的Box，这时再根据每个Box的p值，利用非极大抑制(NMS)即可过渡出较为精确的候选框。

获取候选框之后，传统方法会根据每个候选框的位置从原图中裁剪出对应的区域，再对该区域进行分类和分割。然而，考虑到这些功能性网络所需要的输入都来源于特征图P₂,P₃,P₄,P₅,P₆，因此采用ROIAlign算法直接从特征图中裁剪出候选框对应位置的特征,并加以双线性插值和池化,将特征变换为统一的尺，ROIAlign算法可以看作是一个引入了双线性插值的池化过程,它将原先离散的池化变为连续。

得到每个候选框对应区域同一尺寸的特征后,将其作为一些被称为头部的功能性网络的输入参与后续计算。对于分类头部,采用全连接层和Softmax层的固定搭配.对于候选框的二阶段修正,MaskRCNN对每个类别都回归得出一个5维向量的修正值,修正过程与式(2)一致。

本实施例中Mask-RCNN网络有两个主要部分。

第一是区域提案网络，该网络每个图像生成大约2000个区域提案。在训练期间，这些提案(ROI)中的每一个都经过第二部分，即对象检测和mask预测网络。由于掩码预测分支与标签和框预测分支并行运行，因此对于每个给定的ROI，网络都会预测属于所有类别的掩码。

第二是在推理过程中，区域提议经过非最大抑制，并且掩码预测分支仅处理得分最高的1000个检测框。因此，在具有1000个ROI和2个对象类别的情况下，网络的蒙版预测部分将输出尺寸为1000×2×28×28的4D张量，其中每个蒙版的尺寸为28×28。

需要说明的是，由于本方案所需要进行检测的纤维主要以羊毛绒为例，其他纤维使用本发明可能会有一定差别。

本方案，设定纤维图片的尺寸为1024×1024，因此，本方案中纤维图片的训练集、验证集中的纤维图片、以及待识别纤维图片的尺寸均为1024×1024，以便保证图片长度能被32整除。由于图片较大，而且纤维图片上每一个地方可能存在羊绒毛截面，所以设定Anchor为[64，128，256，512，1024]，每张纤维图片能够检测出来的最大数量设定为1000。并且，在训练时，由于纤维图片上羊毛绒前景超过90％以上，造成正负样本严重的不平衡，需要在模型上调整损失函数，故而使用Focal Loss函数来减少正负样本的不平衡造成的损失。另外，模型使用Adam算法来进行梯度计算，保证找到梯度最优解。

具体过程是：通过专用装置采集到纤维图片，Mask-RCNN通过FCN分割网络，以14×14的ROIAlign输出特征图为输入,通过4个3×3的卷积层,保持14×14的尺寸不变,再通过1个2×2的反卷积层将输出尺寸升采样为28×28最后再经过一个1×1的卷积层和sigmoid激活层获得一个28×28的输出,该输出中每个点代表候选框某个类别的形状的前后景置信度。最后,用0.5作为置信度阈值获取物体形状掩码.对于显示的图像，网络需要检测到多个对象。对于每个对象，它输出一个数组，该数组包含预测的类别得分(指示该对象属于预测的类别的概率)，检测到的对象在框中的边界框的左，上，右和下位置。来自此数组的类id用于从掩码预测分支的输出中提取相应的掩码。

对于显示的图像，网络需要检测到多个对象。对于每个对象，它输出一个数组，该数组包含预测的类别得分(指示该对象属于预测的类别的概率)，检测到的对象在框中的边界框的左，上，右和下位置。来自此数组的类id用于从掩码预测分支的输出中提取相应的掩码。

在本方案MaskRCNN中，基于ResNet50模型结构，其中包括有50多个由conv、BatchNorm组成的运算块。在网络模型训练完成后,只用作前向运算的网络模型存在一些冗余的计算步骤,可以采用参数合并的方式预先完成。另外，对模型的导数、参数数量和参数值进行了调整，提出了更适合的纤维截面直径(面积)检测的模型。

在本方案中选取的模型输入图像为1024×1024的3通道彩色图像，输出有类别、回归和其对应的掩码值，再根据这些值计算出纤维图像中羊毛绒的截面直径(面积)。最后，MaskRCNN运用FPN技术,每一张输入图片经过FPN的特征组合之后都会生成深度、规模不同的多张特征图.MaskRCNN会根据候选框的大小来选择其中一张特征图进行ROIAlign操作.选择的原则是针对面积越大的候选框,选择深度越大的特征图。

本实施例搭建的系统的输入为光学显微镜下的绒毛纤维截面图像，输出为图像中各个纤维截面的形状掩码，然后再根据经典图像算法，计算各个截面掩码轮廓的面积、周长、直径等参数。图像采用Mask R-CNN作前向计算，获取图像中主要图像的具体信息，然后利用模型输出的纤维截面掩码结果，计算出图像纤维的直径，各个环节均不需要人员参与。与传统截面计算方法相比，在精度上和速度上都有很大提高。本方案将深度学习运用于纤维截面直径(面积)测试检测领域，使得纤维截面直径(面积)检测变得简单，不再需要人工设置提取大量特征，而是可以自主学习纤维特征，既能实现高效和分析运算，提高效率，又能极大地降低运算成本。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (1)

1.一种基于深度学习的纤维截面直径检测方法，其特征在于，包括如下步骤：

步骤1，利用预训练参数创建卷积神经网络模型；其中，所述卷积神经网络模型为MaskR-CNN模型，其卷积核为长度不等的矩形卷积核；

步骤2，获取纤维图片的训练集及验证集，通过所述纤维图片的训练集及验证集对所述卷积神经网络模型进行训练，得到训练后的卷积神经网络模型；

步骤3，确定待检测纤维图片，根据所述训练后的卷积神经网络模型对所述待检测纤维图片进行识别，得到纤维图片中各个纤维截面的形状掩码；其中，所述训练、验证集及待识别纤维图片均为1024×1024大小的纤维图片；

步骤4，基于纤维截面的形状掩码，计算各个截面掩码轮廓的参数；所述参数包括截面掩码轮廓的面积、周长、直径。

Images