CN110930383A - 基于深度学习语义分割和图像分类的注射器缺陷检测方法 - Google Patents
基于深度学习语义分割和图像分类的注射器缺陷检测方法 Download PDFInfo
- Publication number
- CN110930383A CN110930383A CN201911138597.5A CN201911138597A CN110930383A CN 110930383 A CN110930383 A CN 110930383A CN 201911138597 A CN201911138597 A CN 201911138597A CN 110930383 A CN110930383 A CN 110930383A
- Authority
- CN
- China
- Prior art keywords
- layer
- output
- step length
- convolution
- characteristic graphs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 55
- 230000007547 defect Effects 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000004519 manufacturing process Methods 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims description 30
- 230000002950 deficient Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 241000872198 Serjania polyphylla Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 6
- 238000013145 classification model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供基于深度学习语义分割和图像分类的注射器缺陷检测方法，包括以下步骤，S1注射器图像采集和分割数据集{TrainX1、Y1、TestX1}的制作；S2训练注射器分割网络模型，得到N1；S3利用N1对真实图片进行处理，得到注射器分割图M1并将其处理成图像X2；S4将X2进行缺陷标记后输入到分类网络中进行训练，迭代得到收敛的分类网络N2；S5联合N1和N2对注射器图像进行检测，判断是否有缺陷。本检测方法具有较好的鲁棒性，降低了背景环境对图像的干扰，在较为复杂的场景中也能表现良好，相较于传统人工检测，更加快速和准确，提高制造过程的自动化程度，大大降低企业成本，提高生产率。
Description
技术领域
本发明涉及及其视觉技术领域，特别涉及一种基于深度学习语义分割和图像分类的注射器缺陷检测方法。
背景技术
在注射器在制造过程中，不可避免的会有残次品，所以加工厂需要将这些残次品挑选出来，而注射器制造商以往都是利用人眼来判断其制造缺陷，由于注射器制造数量十分庞大，完全靠人来检测制造缺陷，不仅检测效率低，而且成本高，人工检测还具有不稳定性。需要采用智能检测的方法来代替人工，提高检测效率。
因此，有必要提供一种基于深度学习语义分割和图像分类的注射器缺陷检测方法来克服此难题。
发明内容
本发明提供一种基于深度学习语义分割和图像分类的注射器缺陷检测方法，利用深度学习的语义分割和图像检测模型进行实时注射器的缺陷检测，可用于无损、无接触检测。描述采集的注射器图像被制作为注射器数据集输入到语义分割网络进行训练，接着进行图像处理后，再输入到图形分类网络进行训练，最终得到两个训练好的网络模型，结合模型后端的预测，可实现智能缺陷检测，达到高效率和高精度的检测目的。
为解决上述技术问题，本发明提出的一种基于深度学习语义分割和图像分类的注射器缺陷检测方法，包括以下步骤：
步骤S1：注射器图像采集，对采集的图像利用软件进行标记得到分割图像，和训练测试数据集{TrainX1、Y1、TestX1}的制作；
步骤S2：构建全卷积神经网络模型，将训练数据集{TrainX1、Y1}输入到语义分割网络中，迭代模型参数后得到收敛的分割模型N1；
步骤S3：利用分割模型N1对真实图片进行处理，得到注射器分割图M1以及注射器的坐标信息，对注射器原图进行分割和旋转处理，并将其缩放成(224，224×4)的图像X2；
步骤S4：将图像X2进行缺陷标记后输入到分类网络中进行训练，通过训练迭代得到收敛的分类网络N2；
步骤S5：联合分割和分类网络(N1和N2)就能对采集的注射器图像进行预测，当输出Y为[1，1，1，1]时为无缺陷图像，其他情况均为有缺陷。
优选地，在步骤S1中进行图像标注，采用labelme软件进行标注，用外接矩形框标注出注射器所在位置，然后导出标记json文件，接着将json文件用代码转换成二值灰度图像，框选中的注射器为前景，将其像素值涂成255白色，其余地方涂成像素值0的黑色，修改后的图片是真实值掩膜{Y1}。
优选地，在步骤S2中采用语义分割网络，所述语义分割网络的具体结构为：
第一、二层，卷积层，卷积核大小为3，步长为1，输出64个特征图；
第三层，池化核大小为2、步长为2的池化层；
第四、五层，卷积层，卷积核大小为3，步长为1，输出128个特征图；
第六层，池化核大小为2、步长为2的池化层；
第七、八层，卷积层，卷积核大小为3，步长为1，输出256个特征图；
第九层，池化层，池化核大小为2、步长为2；
十一层，卷积层，卷积核大小为3，步长为1，输出512个特征图；
第十二层，池化层，池化核大小为2、步长为2的池化层；
十四层，卷积层，卷积核大小为3，步长为1，输出1024个特征图；
第十五层，上采样卷积层，上采样核大小为2，步长为2，卷积核2，步长为2，输出512个特征图；
第十六层，以第三维度拼接第十二层和十五层；
十八层，卷积层，卷积核大小为3，步长为1，输出512个特征图；
第十九层，上采样卷积层，上采样核大小为2，步长为2，卷积核2，步长为2，输出256个特征图；
第二十层，以第三维度拼接第八层和十九层；
第二十一、二十二层，卷积层，卷积核大小为3，步长为1，输出256个特征图；
第二十三层，上采样卷积层，上采样核大小为2，步长为2，卷积核2，步长为2，输出128个特征图；
第二十四层，以第三维度拼接第五层和二十三层；
第二十五、二十六层，卷积层，卷积核大小为3，步长为1，输出128个特征图；
第二十七层，上采样卷积层，上采样核大小为2，步长为2，卷积核2，步长为2，输出64个特征图；
第二十八层，以第三维度拼接第二层和二十七层；
第二十九、三十层，卷积层，卷积核大小为3，步长为1，输出64个特征图；
第三十一层，卷积层，卷积核大小为3，步长为1，输出2个特征图；
第三十二层、卷积层(输出层)，卷积核大小为1，步长为1，输出1个特征图；
损失函数定义为交叉熵
优化算法采用Adam优化器。
优选地，在步骤S2中，将原图和对应的掩膜进行数据增强操作获得更多的训练数据，让模型参数迭代更多次，以获得精度更高的模型。
优选地，在步骤S2中预测后可获得分割的注射器前景的外接矩形的四个顶点的坐标，然后在步骤S3中可以计算出注射器旋转角度，然后利用OpenCV图像处理，将注射器图像进行切割然后旋转到水平位置，再将每个注射器缩放到[224，224×4]大小，最后将其分从左往右分割成四块。其中旋转角度θ计算公式如下：
优选地，在步骤S4中，所述分类网络的具体结构：
第一层：卷积层，核大小为7，步长为2，输出64个特征图；
第二层：池化层，核大小为3，步长为2；
第三层：卷积层，核大小为3，步长为1，输出64个特征图；
第四层：卷积层，核大小为3，步长为1，输出64个特征图；
第五层：处理层，第二层的输出加上第四层的输出；
第六层：卷积层，核大小为3，步长为1，输出64个特征图；
第七层：卷积层，核大小为3，步长为1，输出64个特征图；
第八层：处理层，第五层的输出加上第七层的输出；
第九层：卷积层，核大小为3，步长为1，输出64个特征图；
第十层：卷积层，核大小为3，步长为1，输出64个特征图；
第十一层：处理层，第八层的输出加上第十层的输出；
第十二层：卷积层，核大小为3，步长为2，输出128个特征图；
第十三层：卷积层，核大小为3，步长为1，输出128个特征图；
第十四层：处理层，第十一层的输出卷积(1×1×128)后加上第十三层的输出；
第十五层：卷积层，核大小为3，步长为1，输出128个特征图；
第十六层：卷积层，核大小为3，步长为1，输出128个特征图；
第十七层：处理层，第十四层的输出加上第十六层的输出；
第十八层：卷积层，核大小为3，步长为1，输出128个特征图；
第十九层：卷积层，核大小为3，步长为1，输出128个特征图；
第二十层：处理层，第十七层的输出加上第十九层的输出；
第二十一层：卷积层，核大小为3，步长为1，输出128个特征图；
第二十二层：卷积层，核大小为3，步长为1，输出128个特征图；
第二十三层：处理层，第二十层的输出加上第二十二层的输出；
第二十四层：卷积层，核大小为3，步长为2，输出256个特征图；
第二十五层：卷积层，核大小为3，步长为1，输出256个特征图；
第二十六层：处理层，第二十三层的输出卷积(1×1×256)后加上第二十四层的输出；
第二十七层：卷积层，核大小为3，步长为1，输出256个特征图；
第二十八层：卷积层，核大小为3，步长为1，输出256个特征图；
第二十九层：处理层，第二十六层的输出加上第二十八层的输出；
第三十层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十一层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十二层：处理层，第二十九层的输出加上第三十一层的输出；
第三十三层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十四层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十五层：处理层，第三十二层的输出加上第三十四层的输出；
第三十六层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十七层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十八层：处理层，第三十五层的输出加上第三十七层的输出；
第三十九层：卷积层，核大小为3，步长为1，输出256个特征图；
第四十层：卷积层，核大小为3，步长为1，输出256个特征图；
第四十一层：处理层，第三十八层的输出加上第四十层的输出；
第四十二层：卷积层，核大小为3，步长为2，输出512个特征图；
第四十三层：卷积层，核大小为3，步长为1，输出512个特征图；
第四十四层：处理层，第四十一层的输出卷积(1×1×512)后加上第四十三层的输出；
第四十五层：卷积层，核大小为3，步长为1，输出512个特征图；
第四十六层：卷积层，核大小为3，步长为1，输出512个特征图；
第四十七层：处理层，第四十一层的输出加上第四十三层的输出；
第四十八层：卷积层，核大小为3，步长为1，输出512个特征图；
第四十九层：卷积层，核大小为3，步长为1，输出512个特征图；
第五十层：处理层，第四十七层的输出加上第四十九层的输出；
第五十一层：池化层，核大小为7；
第五十二层：处理层，降维1×512；
第五十三层：全连接层，输入1×512，输出为1×200；
第五十四层：全连接层，输入1×200，输出为1×50；
第五十五层：全连接层，输入1×50，输出为1×10；
第五十六层：全连接层，输入1×10，输出为1×2。
与相关技术相比较，本发明提供的基于深度学习语义分割和图像分类的注射器缺陷检测方法具有如下有益效果：
本发明较传统的方法有较大提升，通过两种网络的结合，先从原图中的将注射器分割出来，然后经过图像变换后，利用图像分类模型进行判断是否为缺陷注射器。并且在由于加入图像分割的作用下，让该检测方法具有较好的鲁棒性，降低了背景环境对图像的干扰，在较为复杂的场景中也能表现良好，相较于直接进行图像分类的缺陷检测方法有很大的提升。相较于传统的人工检测，更加快速和准确，提高制造过程的自动化程度，能大大降低企业成本，同时提高生产率。
附图说明
图1为本发明例举的注射器原图；
图2为本发明例举的注射器分割图；
图3为本发明的技术方案的流程图；
图4为本发明步骤S3中旋转角度计算的公式原理图；
图1与图2中：黑色墨迹即待检测缺陷。
具体实施方式
下面结合附图和实施方式对发明作进一步说明。
请结合参阅图1、图2与图3，其中，图1与图2分别为本发明例举的注射器原图和注射器分割图，用以更直观地阐述本发明，图中黑色墨迹即待检测缺陷；图3为本发明基于深度学习语义分割和图像分类的注射器缺陷检测方法的技术方案的流程图；图4为本发明步骤S3中旋转角度计算的公式原理图。
基于深度学习语义分割和图像分类的注射器缺陷检测方法，包括以下步骤：
步骤S1：注射器图像采集，对采集的图像利用软件进行标记得到分割图像，和训练测试数据集{TrainX1、Y1、TestX1}的制作；
步骤S2：构建全卷积神经网络模型，将训练数据集{TrainX1、Y1}输入到语义分割网络中，迭代模型参数后得到收敛的分割模型N1；
步骤S3：利用分割模型N1对真实图片进行处理，得到注射器分割图M1以及注射器的坐标信息，对注射器原图进行分割和旋转处理，并将其缩放成(224，224×4)的图像X2；
步骤S4：将图像X2进行缺陷标记后输入到分类网络中进行训练，通过训练迭代得到收敛的分类网络N2；
步骤S5：联合分割和分类网络(N1和N2)就能对采集的注射器图像进行预测，当输出Y为[1，1，1，1]时为无缺陷图像，其他情况均为有缺陷。
在步骤S1中进行图像标注，采用labelme软件进行标注，用外接矩形框标注出注射器所在位置，然后导出标记json文件，接着将json文件用代码转换成二值灰度图像，框选中的注射器为前景，将其像素值涂成255白色，其余地方涂成像素值0的黑色，修改后的图片是真实值掩膜{Y1}，联合。
在步骤S2中采用语义分割网络，所述语义分割网络的具体结构为：
第一、二层，卷积层，卷积核大小为3，步长为1，输出64个特征图；
第三层，池化核大小为2、步长为2的池化层；
第四、五层，卷积层，卷积核大小为3，步长为1，输出128个特征图；
第六层，池化核大小为2、步长为2的池化层；
第七、八层，卷积层，卷积核大小为3，步长为1，输出256个特征图；
第九层，池化层，池化核大小为2、步长为2；
十一层，卷积层，卷积核大小为3，步长为1，输出512个特征图；
第十二层，池化层，池化核大小为2、步长为2的池化层；
十四层，卷积层，卷积核大小为3，步长为1，输出1024个特征图；
第十五层，上采样卷积层，上采样核大小为2，步长为2，卷积核2，步长为2，输出512个特征图；
第十六层，以第三维度拼接第十二层和十五层；
十八层，卷积层，卷积核大小为3，步长为1，输出512个特征图；
第十九层，上采样卷积层，上采样核大小为2，步长为2，卷积核2，步长为2，输出256个特征图；
第二十层，以第三维度拼接第八层和十九层；
第二十一、二十二层，卷积层，卷积核大小为3，步长为1，输出256个特征图；
第二十三层，上采样卷积层，上采样核大小为2，步长为2，卷积核2，步长为2，输出128个特征图；
第二十四层，以第三维度拼接第五层和二十三层；
第二十五、二十六层，卷积层，卷积核大小为3，步长为1，输出128个特征图；
第二十七层，上采样卷积层，上采样核大小为2，步长为2，卷积核2，步长为2，输出64个特征图；
第二十八层，以第三维度拼接第二层和二十七层；
第二十九、三十层，卷积层，卷积核大小为3，步长为1，输出64个特征图；
第三十一层，卷积层，卷积核大小为3，步长为1，输出2个特征图；
第三十二层、卷积层(输出层)，卷积核大小为1，步长为1，输出1个特征图；
损失函数定义为交叉熵
优化算法采用Adam优化器。
在步骤S2中，将原图和对应的掩膜进行数据增强操作获得更多的训练数据，让模型参数迭代更多次，以获得精度更高的模型。
在步骤S2中预测后可获得分割的注射器前景的外接矩形的四个顶点的坐标，然后在步骤S3中可以计算出注射器旋转角度，然后利用OpenCV图像处理，将注射器图像进行切割然后旋转到水平位置，再将每个注射器缩放到[224，224×4]大小，最后将其分从左往右分割成四块。结合图4，旋转角度计算的公式原理图，其中旋转角度θ计算公式如下：
在步骤S4中，所述分类网络的具体结构：
第一层：卷积层，核大小为7，步长为2，输出64个特征图；
第二层：池化层，核大小为3，步长为2；
第三层：卷积层，核大小为3，步长为1，输出64个特征图；
第四层：卷积层，核大小为3，步长为1，输出64个特征图；
第五层：处理层，第二层的输出加上第四层的输出；
第六层：卷积层，核大小为3，步长为1，输出64个特征图；
第七层：卷积层，核大小为3，步长为1，输出64个特征图；
第八层：处理层，第五层的输出加上第七层的输出；
第九层：卷积层，核大小为3，步长为1，输出64个特征图；
第十层：卷积层，核大小为3，步长为1，输出64个特征图；
第十一层：处理层，第八层的输出加上第十层的输出；
第十二层：卷积层，核大小为3，步长为2，输出128个特征图；
第十三层：卷积层，核大小为3，步长为1，输出128个特征图；
第十四层：处理层，第十一层的输出卷积(1×1×128)后加上第十三层的输出；
第十五层：卷积层，核大小为3，步长为1，输出128个特征图；
第十六层：卷积层，核大小为3，步长为1，输出128个特征图；
第十七层：处理层，第十四层的输出加上第十六层的输出；
第十八层：卷积层，核大小为3，步长为1，输出128个特征图；
第十九层：卷积层，核大小为3，步长为1，输出128个特征图；
第二十层：处理层，第十七层的输出加上第十九层的输出；
第二十一层：卷积层，核大小为3，步长为1，输出128个特征图；
第二十二层：卷积层，核大小为3，步长为1，输出128个特征图；
第二十三层：处理层，第二十层的输出加上第二十二层的输出；
第二十四层：卷积层，核大小为3，步长为2，输出256个特征图；
第二十五层：卷积层，核大小为3，步长为1，输出256个特征图；
第二十六层：处理层，第二十三层的输出卷积(1×1×256)后加上第二十四层的输出；
第二十七层：卷积层，核大小为3，步长为1，输出256个特征图；
第二十八层：卷积层，核大小为3，步长为1，输出256个特征图；
第二十九层：处理层，第二十六层的输出加上第二十八层的输出；
第三十层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十一层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十二层：处理层，第二十九层的输出加上第三十一层的输出；
第三十三层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十四层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十五层：处理层，第三十二层的输出加上第三十四层的输出；
第三十六层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十七层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十八层：处理层，第三十五层的输出加上第三十七层的输出；
第三十九层：卷积层，核大小为3，步长为1，输出256个特征图；
第四十层：卷积层，核大小为3，步长为1，输出256个特征图；
第四十一层：处理层，第三十八层的输出加上第四十层的输出；
第四十二层：卷积层，核大小为3，步长为2，输出512个特征图；
第四十三层：卷积层，核大小为3，步长为1，输出512个特征图；
第四十四层：处理层，第四十一层的输出卷积(1×1×512)后加上第四十三层的输出；
第四十五层：卷积层，核大小为3，步长为1，输出512个特征图；
第四十六层：卷积层，核大小为3，步长为1，输出512个特征图；
第四十七层：处理层，第四十一层的输出加上第四十三层的输出；
第四十八层：卷积层，核大小为3，步长为1，输出512个特征图；
第四十九层：卷积层，核大小为3，步长为1，输出512个特征图；
第五十层：处理层，第四十七层的输出加上第四十九层的输出；
第五十一层：池化层，核大小为7；
第五十二层：处理层，降维1×512；
第五十三层：全连接层，输入1×512，输出为1×200；
第五十四层：全连接层，输入1×200，输出为1×50；
第五十五层：全连接层，输入1×50，输出为1×10；
第五十六层：全连接层，输入1×10，输出为1×2。
结合图3与图4进行更进一步的说明，本发明提供的基于深度学习语义分割和图像分类的注射器缺陷检测方法，包括以下实施步骤(此步骤与上述S1-S5步骤不冲突，是为提取关键描述并进行更详尽释义)：
步骤S1：注射器图像采集和训练测试数据集{TrainX1、TestX1}的制作。
步骤S1-1：在生产线上进行拍摄采集注射器图片，将采集到的图片进行统一尺寸为512×512(长×宽)，接着进行标注，利用标记软件labelme，用矩形框外接框选到图中注射器的位置，然后生成标记后文件。
步骤S1-2：将标记后生成的json文件利用代码转换成掩膜图片{M1}，掩膜图片定义为注射器部分为白色，其余部分为黑色，其作为分割的目标图像。
步骤S1-3：转换完后，然后将标记过的原图作为训练数据集{TrainX1}，再采集一部分训练集以外的注射器图片作为测试数据集{TestX1}，加上上一步的掩膜图{M1}，这三个类图片即用来训练注射器分割网络模型。
步骤S2，训练注射器分割网络模型。
步骤S2-1，设计语义分割模型，按照网络顺序训练依次经过：输入层512*512*3。初始化模型的各项参数和权重值，然后将上一步制作的数据集{TrainX1，M1}输入依次输入到语义分割模型中进行训练。
步骤S2-2，模型每次读取到一批图像后，计算预测值和标准值之间的误差，然后利用梯度下降法减小误差；
步骤S2-3，迭代完所有的测试集图片之后导出训练完的分割模型，利用训练好的模型来测试图片{TestX1}，然后观察分割效果，如果每张图片都能达到比较好的分割效果，那么就完成了分割模型的训练，如果没有达到所要求的精度，那么就继续可能需要增加训练数据集的大小后，继续训练达到更高的精度。
步骤S3，对分割后的图片进行处理。
步骤S3-1，利用分割模型得到注射器在图片中的几何坐标，然后用opencv将注射器方向矫正，得到水平放置注射器图像；
步骤S3-2，缩放图像的比例变为[224]，接着每个注射器被分成四部分[224，224]，用于分类模型的训练；
步骤S3-3，将处理好的图像作为图像分类网络的的训练数据{TrainX2}，并且制作对应的标签{label2}，每个注射器分为四块，无缺陷是定义为1，有缺陷定义为0，所以一个无缺陷的注射器的标签定义为Y2[1，1，1，1]，如果向量中含有0，则视为有缺陷的图像。
步骤S4，缺陷分类网络模型的训练。
步骤S4-1，设计图像分类网络，初始化权重，然后设置迭代次数，将训练数据和对应标签{TrainX2，label2}输入到网络中进行训练；
步骤S4-2，当迭代完之后，导出注射器缺陷分类模型N2，进行测试计算出该模型在新的测试集上准确率，达到要求之后，将其保存为最后的分类网络模型，否则继续重复上一步骤。
步骤S5，将前面训练好的分割模型N1和分类模型N2组合起来实现将摄像头采集到的注射器图片进行实时的检测，得到输出的结果判断是否含有缺陷。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.基于深度学习语义分割和图像分类的注射器缺陷检测方法，其特征在于，包括以下步骤：
步骤S1：注射器图像采集，对采集的图像利用软件进行标记得到分割图像，和训练测试数据集{TrainX1、Y1、TestX1}的制作；
步骤S2：构建全卷积神经网络模型，将训练数据集{TrainX1、Y1}输入到语义分割网络中，迭代模型参数后得到收敛的分割模型N1；
步骤S3：利用分割模型N1对真实图片进行处理，得到注射器分割图M1以及注射器的坐标信息，对注射器原图进行分割和旋转处理，并将其缩放成(224，224×4)的图像X2；
步骤S4：将图像X2进行缺陷标记后输入到分类网络中进行训练，通过训练迭代得到收敛的分类网络N2；
步骤S5：联合分割和分类网络(N1和N2)就能对采集的注射器图像进行预测，当输出Y为[1，1，1，1]时为无缺陷图像，其他情况均为有缺陷。
2.根据权利要求1所述的基于深度学习语义分割和图像分类的注射器缺陷检测方法，其特征在于，在步骤S1中进行图像标注，采用labelme软件进行标注，用外接矩形框标注出注射器所在位置，然后导出标记json文件，接着将json文件用代码转换成二值灰度图像，框选中的注射器为前景，将其像素值涂成255白色，其余地方涂成像素值0的黑色，修改后的图片是真实值掩膜{Y1}。
3.根据权利要求1所述的基于深度学习语义分割和图像分类的注射器缺陷检测方法，其特征在于，在步骤S2中采用语义分割网络，所述语义分割网络的具体结构为：
第一、二层，卷积层，卷积核大小为3，步长为1，输出64个特征图；
第三层，池化核大小为2、步长为2的池化层；
第四、五层，卷积层，卷积核大小为3，步长为1，输出128个特征图；
第六层，池化核大小为2、步长为2的池化层；
第七、八层，卷积层，卷积核大小为3，步长为1，输出256个特征图；
第九层，池化层，池化核大小为2、步长为2；
十一层，卷积层，卷积核大小为3，步长为1，输出512个特征图；
第十二层，池化层，池化核大小为2、步长为2的池化层；
十四层，卷积层，卷积核大小为3，步长为1，输出1024个特征图；
第十五层，上采样卷积层，上采样核大小为2，步长为2，卷积核2，步长为2，输出512个特征图；
第十六层，以第三维度拼接第十二层和十五层；
十八层，卷积层，卷积核大小为3，步长为1，输出512个特征图；
第十九层，上采样卷积层，上采样核大小为2，步长为2，卷积核2，步长为2，输出256个特征图；
第二十层，以第三维度拼接第八层和十九层；
第二十一、二十二层，卷积层，卷积核大小为3，步长为1，输出256个特征图；
第二十三层，上采样卷积层，上采样核大小为2，步长为2，卷积核2，步长为2，输出128个特征图；
第二十四层，以第三维度拼接第五层和二十三层；
第二十五、二十六层，卷积层，卷积核大小为3，步长为1，输出128个特征图；
第二十七层，上采样卷积层，上采样核大小为2，步长为2，卷积核2，步长为2，输出64个特征图；
第二十八层，以第三维度拼接第二层和二十七层；
第二十九、三十层，卷积层，卷积核大小为3，步长为1，输出64个特征图；
第三十一层，卷积层，卷积核大小为3，步长为1，输出2个特征图；
第三十二层、卷积层(输出层)，卷积核大小为1，步长为1，输出1个特征图；
损失函数定义为交叉熵
优化算法采用Adam优化器。
4.根据权利要求1所述的基于深度学习语义分割和图像分类的注射器缺陷检测方法，其特征在于，在步骤S2中，将原图和对应的掩膜进行数据增强操作获得更多的训练数据，让模型参数迭代更多次，以获得精度更高的模型。
5.根据权利要求1所述的基于深度学习语义分割和图像分类的注射器缺陷检测方法，其特征在于，在步骤S2中预测后可获得分割的注射器前景的外接矩形的四个顶点的坐标，然后在步骤S3中可以计算出注射器旋转角度，然后利用OpenCV图像处理，将注射器图像进行切割然后旋转到水平位置，再将每个注射器缩放到[224，224×4]大小，最后将其分从左往右分割成四块。其中旋转角度θ计算公式如下：
6.根据权利要求1所述的基于深度学习语义分割和图像分类的注射器缺陷检测方法，其特征在于，在步骤S4中，所述分类网络的具体结构：
第一层：卷积层，核大小为7，步长为2，输出64个特征图；
第二层：池化层，核大小为3，步长为2；
第三层：卷积层，核大小为3，步长为1，输出64个特征图；
第四层：卷积层，核大小为3，步长为1，输出64个特征图；
第五层：处理层，第二层的输出加上第四层的输出；
第六层：卷积层，核大小为3，步长为1，输出64个特征图；
第七层：卷积层，核大小为3，步长为1，输出64个特征图；
第八层：处理层，第五层的输出加上第七层的输出；
第九层：卷积层，核大小为3，步长为1，输出64个特征图；
第十层：卷积层，核大小为3，步长为1，输出64个特征图；
第十一层：处理层，第八层的输出加上第十层的输出；
第十二层：卷积层，核大小为3，步长为2，输出128个特征图；
第十三层：卷积层，核大小为3，步长为1，输出128个特征图；
第十四层：处理层，第十一层的输出卷积(1×1×128)后加上第十三层的输出；
第十五层：卷积层，核大小为3，步长为1，输出128个特征图；
第十六层：卷积层，核大小为3，步长为1，输出128个特征图；
第十七层：处理层，第十四层的输出加上第十六层的输出；
第十八层：卷积层，核大小为3，步长为1，输出128个特征图；
第十九层：卷积层，核大小为3，步长为1，输出128个特征图；
第二十层：处理层，第十七层的输出加上第十九层的输出；
第二十一层：卷积层，核大小为3，步长为1，输出128个特征图；
第二十二层：卷积层，核大小为3，步长为1，输出128个特征图；
第二十三层：处理层，第二十层的输出加上第二十二层的输出；
第二十四层：卷积层，核大小为3，步长为2，输出256个特征图；
第二十五层：卷积层，核大小为3，步长为1，输出256个特征图；
第二十六层：处理层，第二十三层的输出卷积(1×1×256)后加上第二十四层的输出；
第二十七层：卷积层，核大小为3，步长为1，输出256个特征图；
第二十八层：卷积层，核大小为3，步长为1，输出256个特征图；
第二十九层：处理层，第二十六层的输出加上第二十八层的输出；
第三十层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十一层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十二层：处理层，第二十九层的输出加上第三十一层的输出；
第三十三层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十四层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十五层：处理层，第三十二层的输出加上第三十四层的输出；
第三十六层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十七层：卷积层，核大小为3，步长为1，输出256个特征图；
第三十八层：处理层，第三十五层的输出加上第三十七层的输出；
第三十九层：卷积层，核大小为3，步长为1，输出256个特征图；
第四十层：卷积层，核大小为3，步长为1，输出256个特征图；
第四十一层：处理层，第三十八层的输出加上第四十层的输出；
第四十二层：卷积层，核大小为3，步长为2，输出512个特征图；
第四十三层：卷积层，核大小为3，步长为1，输出512个特征图；
第四十四层：处理层，第四十一层的输出卷积(1×1×512)后加上第四十三层的输出；
第四十五层：卷积层，核大小为3，步长为1，输出512个特征图；
第四十六层：卷积层，核大小为3，步长为1，输出512个特征图；
第四十七层：处理层，第四十一层的输出加上第四十三层的输出；
第四十八层：卷积层，核大小为3，步长为1，输出512个特征图；
第四十九层：卷积层，核大小为3，步长为1，输出512个特征图；第五十层：处理层，第四十七层的输出加上第四十九层的输出；
第五十一层：池化层，核大小为7；
第五十二层：处理层，降维1×512；
第五十三层：全连接层，输入1×512，输出为1×200；
第五十四层：全连接层，输入1×200，输出为1×50；
第五十五层：全连接层，输入1×50，输出为1×10；
第五十六层：全连接层，输入1×10，输出为1×2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911138597.5A CN110930383A (zh) | 2019-11-20 | 2019-11-20 | 基于深度学习语义分割和图像分类的注射器缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911138597.5A CN110930383A (zh) | 2019-11-20 | 2019-11-20 | 基于深度学习语义分割和图像分类的注射器缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110930383A true CN110930383A (zh) | 2020-03-27 |
Family
ID=69850350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911138597.5A Pending CN110930383A (zh) | 2019-11-20 | 2019-11-20 | 基于深度学习语义分割和图像分类的注射器缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930383A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462120A (zh) * | 2020-06-17 | 2020-07-28 | 熵智科技(深圳)有限公司 | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 |
| CN112634219A (zh) * | 2020-12-17 | 2021-04-09 | 五邑大学 | 一种金属表面缺陷检测方法、系统、装置和存储介质 |
| CN112734742A (zh) * | 2021-01-19 | 2021-04-30 | 上海微亿智造科技有限公司 | 用于提高工业质检准确率的方法和系统 |
| CN114332075A (zh) * | 2022-01-21 | 2022-04-12 | 广州大学 | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102788801A (zh) * | 2012-08-14 | 2012-11-21 | 深圳先进技术研究院 | 一种在线检测系统及其检测方法 |
| CN107392896A (zh) * | 2017-07-14 | 2017-11-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和系统 |
| WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
| US20180218502A1 (en) * | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
| CN108830832A (zh) * | 2018-05-15 | 2018-11-16 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于机器视觉的塑料筒表面缺陷检测算法 |
| CN108985337A (zh) * | 2018-06-20 | 2018-12-11 | 中科院广州电子技术有限公司 | 一种基于图像深度学习的产品表面划痕检测方法 |
| CN109325947A (zh) * | 2018-09-20 | 2019-02-12 | 北京航空航天大学 | 一种基于深度学习的sar图像铁塔目标检测方法 |
| CN109446933A (zh) * | 2018-10-12 | 2019-03-08 | 浙江科技学院 | 一种基于卷积神经网络的道路场景语义分割方法 |
| US20190164290A1 (en) * | 2016-08-25 | 2019-05-30 | Intel Corporation | Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation |
| CN110060251A (zh) * | 2019-04-26 | 2019-07-26 | 福州大学 | 一种基于U-Net的建筑物表面裂纹检测方法 |
| CN110246145A (zh) * | 2019-06-21 | 2019-09-17 | 福州大学 | 一种腹部ct图像的分割方法 |
| CN110287777A (zh) * | 2019-05-16 | 2019-09-27 | 西北大学 | 一种自然场景下的金丝猴躯体分割算法 |
| CN110309343A (zh) * | 2019-06-28 | 2019-10-08 | 南京大学 | 一种基于深度哈希的声纹检索方法 |
-
2019
- 2019-11-20 CN CN201911138597.5A patent/CN110930383A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102788801A (zh) * | 2012-08-14 | 2012-11-21 | 深圳先进技术研究院 | 一种在线检测系统及其检测方法 |
| WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
| US20190164290A1 (en) * | 2016-08-25 | 2019-05-30 | Intel Corporation | Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation |
| US20180218502A1 (en) * | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
| CN107392896A (zh) * | 2017-07-14 | 2017-11-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和系统 |
| CN108830832A (zh) * | 2018-05-15 | 2018-11-16 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于机器视觉的塑料筒表面缺陷检测算法 |
| CN108985337A (zh) * | 2018-06-20 | 2018-12-11 | 中科院广州电子技术有限公司 | 一种基于图像深度学习的产品表面划痕检测方法 |
| CN109325947A (zh) * | 2018-09-20 | 2019-02-12 | 北京航空航天大学 | 一种基于深度学习的sar图像铁塔目标检测方法 |
| CN109446933A (zh) * | 2018-10-12 | 2019-03-08 | 浙江科技学院 | 一种基于卷积神经网络的道路场景语义分割方法 |
| CN110060251A (zh) * | 2019-04-26 | 2019-07-26 | 福州大学 | 一种基于U-Net的建筑物表面裂纹检测方法 |
| CN110287777A (zh) * | 2019-05-16 | 2019-09-27 | 西北大学 | 一种自然场景下的金丝猴躯体分割算法 |
| CN110246145A (zh) * | 2019-06-21 | 2019-09-17 | 福州大学 | 一种腹部ct图像的分割方法 |
| CN110309343A (zh) * | 2019-06-28 | 2019-10-08 | 南京大学 | 一种基于深度哈希的声纹检索方法 |
Non-Patent Citations (6)
| Title |
|---|
| KAIMING HE 等: "Deep Residual Learning for Image Recognition", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| OLAF RONNEBERGER 等: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《ARXIV》 * |
| 于志洋: "基于全卷积神经网络的表面缺陷检测方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 樊翔: "一次性注射器胶管瑕疵在线检测系统", 《中国医疗器械信息》 * |
| 罗俊丽 等: "基于卷积神经网络和迁移学习的色织物疵点检测", 《上海纺织科技》 * |
| 韩志艳 著, 东北大学出版社 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462120A (zh) * | 2020-06-17 | 2020-07-28 | 熵智科技(深圳)有限公司 | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 |
| CN112634219A (zh) * | 2020-12-17 | 2021-04-09 | 五邑大学 | 一种金属表面缺陷检测方法、系统、装置和存储介质 |
| CN112634219B (zh) * | 2020-12-17 | 2024-02-20 | 五邑大学 | 一种金属表面缺陷检测方法、系统、装置和存储介质 |
| CN112734742A (zh) * | 2021-01-19 | 2021-04-30 | 上海微亿智造科技有限公司 | 用于提高工业质检准确率的方法和系统 |
| CN112734742B (zh) * | 2021-01-19 | 2021-11-16 | 上海微亿智造科技有限公司 | 用于提高工业质检准确率的方法和系统 |
| CN114332075A (zh) * | 2022-01-21 | 2022-04-12 | 广州大学 | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930383A (zh) | 基于深度学习语义分割和图像分类的注射器缺陷检测方法 | |
| CN109816725B (zh) | 一种基于深度学习的单目相机物体位姿估计方法及装置 | |
| CN110992317B (zh) | 一种基于语义分割的pcb板缺陷检测方法 | |
| CN108399649B (zh) | 一种基于级联回归网络的单张图片三维人脸重建方法 | |
| CN110910368B (zh) | 基于语义分割的注射器缺陷检测方法 | |
| CN110084817B (zh) | 基于深度学习的数字高程模型生产方法 | |
| CN113822284B (zh) | 一种基于边界注意力的rgbd图像语义分割方法 | |
| CN112766136B (zh) | 一种基于深度学习的空间车位检测方法 | |
| Tao et al. | Industrial weak scratches inspection based on multifeature fusion network | |
| CN112967271B (zh) | 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法 | |
| CN111951232A (zh) | 一种金属粉末注射成型外观缺陷检测方法及系统 | |
| CN115330734A (zh) | 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统 | |
| CN114494276A (zh) | 一种两阶段多模态三维实例分割方法 | |
| CN115908793A (zh) | 一种基于位置注意力机制的编解码结构语义分割模型 | |
| CN113420776B (zh) | 一种基于模型融合的多侧面联合检测物品分类方法 | |
| CN114882524A (zh) | 一种基于全卷积神经网络的单目三维手势估计方法 | |
| CN117456356A (zh) | 一种基于深度学习的城市内涝视频识别预警方法 | |
| CN112418235A (zh) | 一种基于膨胀最近邻特征增强的点云语义分割方法 | |
| CN112700426A (zh) | 一种复杂环境下的显著性物体检测方法 | |
| CN115661097A (zh) | 一种物体表面缺陷检测方法及系统 | |
| CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
| CN114037684B (zh) | 一种基于yolov5和注意力机制模型的疵点检测方法 | |
| CN105654474A (zh) | 基于视觉引导的机械臂定位方法及装置 | |
| CN113205136A (zh) | 一种用于电源适配器外观缺陷的实时高精度检测方法 | |
| WO2024045963A1 (zh) | 外观缺陷的检测方法、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200327 |
|
| RJ01 | Rejection of invention patent application after publication |