CN110120036A - 一种多尺度的轮胎x光病疵检测方法 - Google Patents
一种多尺度的轮胎x光病疵检测方法 Download PDFInfo
- Publication number
- CN110120036A CN110120036A CN201910310408.1A CN201910310408A CN110120036A CN 110120036 A CN110120036 A CN 110120036A CN 201910310408 A CN201910310408 A CN 201910310408A CN 110120036 A CN110120036 A CN 110120036A
- Authority
- CN
- China
- Prior art keywords
- training
- model
- tire
- fpn
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 229910000831 Steel Inorganic materials 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000220317 Rosa Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003490 calendering Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000004073 vulcanization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明属于图像识别和检测技术领域，具体公开了一种多尺度的轮胎X光病疵检测方法。本发明检测方法的步骤包括数据标注、图像预处理、图像裁剪、搭建FPN(特征金字塔网络)融合Faster R‑CNN网络模型、初始化模型、将图像数据集分为训练集、验证集和测试集、基于所述测试集进行测试，得到测试结果。其与传统方法相比优势如下：本发明采用多尺度的轮胎X光病疵检测方法，通过提取图像多层的特征，进行多尺度的融合，可以提高检测轮胎X光病疵的准确度；采用FPN融合Faster R‑CNN的网络模型进行目标识别的，大大提高多尺度检测的准确性，从而对轮胎质量进行准确监督，非常具有实用意义。
Description
技术领域
本发明属于计算机视觉和工业检测技术领域，具体说是一种多尺度的轮胎X光病疵检测方法。
背景技术
随着经济和社会的快速发展，轮胎工业在生活中扮演了越来越重要的角色，从2004年开始，我国的轮胎产量一直居世界第一位。轮胎的种类多样，一般分为斜交和子午线轮胎，子午线轮胎又分为半钢和全钢子午线轮胎，全钢子午线轮胎具有复杂的内部结构，对生产过程要求极其苛刻。生产过程中一旦出现操作不当、成型、压延和硫化大小不合理，又或者说设备老化，都会影响轮胎的最后质量。而轮胎的质量对汽车的安全起着至关重要的作用，所以对轮胎质量的把控十分关键。
检测轮胎质量的重要监测环节就是对轮胎拍摄X光图像，然后根据X 光图像判别当前轮胎是否有某种病疵，最开始是由人工判别，现在已经提出使用深度神经网络模型进行自动判别，通过基于神经网络模型的轮胎X光病疵检测方法，可以检测到病疵的位置和类型。
但并不是所有的深度神经网络模型都对轮胎X光病疵的检测有很好的效果，Faster R-CNN(基于区域候选网络的实时目标检测)网络可以同时定位病疵并且分类出病疵类型，但是Faster R-CNN是在得到的最后一层特征图上进行特征提取，从而进行目标识别的。但是这样做存在的弊端在于，顶层特征中忽略了小物体的一些信息，因此只根据顶层特征进行目标识别，不能完整地反映小目标物体的信息。如果可以结合多层级的特征，就可以大大提高目标检测的准确性。所以需要一种融合多层特征的、多尺度的轮胎X光病疵检测方法。
发明内容
鉴于上述，本发明提供了一种多尺度的轮胎X光病疵检测方法，可以大大提高病疵检测的准确性。
提供了一种多尺度的轮胎X光病疵检测方法，包括步骤如下：
S1、数据标注：将收集到的轮胎X光检测图片用LabelImg工具进行标注，标注出病疵位置、病疵类型，所述病疵位置标注时用方框标出，所述病疵类型可分为多种，标注文件的类型为xml文件；
S2、图像预处理：将所述轮胎X光检测图片进行锐化处理得到预处理后的大图片；
S3、图像裁剪：将大小是20000×1900的所述预处理后的大图片分为 11张1900×1900的小图，将相应的坐标位置进行变换，改写记录所述病疵类型以及坐标的xml文件；
S4、搭建FPN(特征金字塔网络)融合Faster R-CNN网络模型：；
S5、初始化模型：设置参数，所述参数包括输入图片后统一的大小、模型在SearchSelective(选择性搜索)阶段方框的大小与个数、模型训练的周期数；
S6、将图像数据集分为训练集、验证集和测试集：划分原则是所述训练集占70％，所述验证集和所述测试集各占15％；
S7、重复上述步骤S5、S6，可以训练得到多个模型，对所述多个模型进行测试分析，基于所述测试集进行测试，得到测试结果。
进一步的，步骤S4中Faster R-CNN网络原模型主要包括四部分：
1)Conv layers(卷积层)提取特征图，使用一组基础的conv+relu+pooling (卷积+修正线性单元+池化)层提取输入图像的feature maps(特征图)，该feature maps会用于后续的RPN层和全连接层；
2)RPN(Region Proposal Networks，区域选择网络)，用于生成region proposals(候选区域)，首先生成一堆Anchor box(锚盒)，对其进行裁剪过滤后通过softmax(归一化指数函数)判断anchors(锚)属于前景(foreground) 或者后景(background)；同时，另一分支bounding box regression(边框回归) 修正anchor box，形成较精确的proposal(侯选框)；
3)Roi Pooling(侯选区域池化)层，利用RPN生成的所述proposals(侯选框)和VGG16(目视图像生成器16)最后一层得到的feature map，得到固定大小的proposalfeature map(侯选框特征图)，进入到后面可利用全连接操作来进行目标识别和定位；
4)Classifier(分类器)，将所述Roi Pooling层形成固定大小的所述feature map进行全连接操作，利用Softmax进行具体类别的分类，同时，利用L1 Loss (L1损失函数)完成bounding box regression(边框回归)回归操作获得物体的精确位置。
进一步的，步骤S4中FPN(特征金字塔网络)具体操作方法为：
1)自底向上路径，由多个卷积模块组成，每个所述卷积模块包含多个卷积层，自底向上的过程中，空间维度逐模块减半，每个所述卷积模块的输出将在自顶向下的路径中使用；
2)自顶向下路径，FPN使用一个1x1的卷积过滤器将最上面的卷积模块的频道深度降至256维，得到图像M5，接着应用一个3x3的卷积得到图像P5，所述图像P5用于目标预测的第一个特征映射；沿着自顶向下的路径往下，FPN对之前的层应用最近邻上采样，同时，FPN对自底向上通路中的相应特征映射应用1x1卷积，接着应用分素相加，应用3x3卷积得到目标检测的特征映射。
进一步的，步骤S6中包括：基于所述训练集进行模型的训练，基于验证集进行参数的调整，所述训练进行多次迭代，并采用K交叉验证方法进行参数配置的调整，所述训练到一定的周期，需要检查当前的所述参数配置是否是正确的，具体步骤如下：
1)在所述模型的训练过程中，获取所述模型在所述训练集和所述验证集上面的损失函数的函数值；
2)所述训练到一定的周期之后，暂时停止所述训练，并将当前的模型保存下来，方便以后继续所述训练；
3)画出所述训练集和所述验证集的损失函数值，横轴为周期数，纵轴为所述损失函数值，观察所述训练集和所述验证集上的所述损失函数值是否是一个正确的下降趋势；
4)如果步骤3)中是呈正确下降趋势，则不必调节参数，这时导入在步骤2)中保存的所述模型继续训练直至达到模型收敛；否则进入步骤5)；
5)如果损失函数的函数值没有呈正确的下降趋势，就找到原因，并调节所述参数，所述参数确定好之后回到步骤S5中。
本发明的有益效果在于：
(1)本发明采用多尺度的轮胎X光病疵检测方法，通过提取图像多层的特征，进行多尺度的融合，可以提高检测轮胎X光病疵的准确度；
(2)采用FPN融合Faster R-CNN的网络模型，Faster R-CNN提供了目标检测和识别的框架，但它是在得到的最后一层特征图上进行特征提取，从而进行目标识别的。但是这样做存在的弊端在于，顶层特征中忽略了小物体的一些信息，因此只根据顶层特征进行目标识别，不能完整地反映小目标物体的信息。如果可以结合多层级的特征，就可以大大提高多尺度检测的准确性，FPN实现了这一点，所以FPN融合Faster R-CNN的网络模型非常适用于X光病疵检测；
(3)轮胎作为汽车上的重要零部件，其生产质量关系到人的生命安全，轮胎X光病疵判别作为轮胎质量检测的最后一道关口，国内目前普遍采用质检人员进行质量监督，这种方式具有效率低，成本高，可靠性低以及对质检人员眼睛有损害等缺点。本发明通过多尺度的轮胎X光病疵检测方法自动检测判别轮胎病疵，从而对轮胎质量进行准确监督，非常具有实用意义。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明的一种多尺度的轮胎X光病疵检测流程示意图。
图2是本发明的FPN融合Faster R-CNN模型结构图。
图3是本发明的FPN数据流结构图。
图4是本发明的FPN具体操作流程示意图。
具体实施方式
以下将配合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本实例旨在按本方法实施得到一个多尺度的轮胎X光病疵检测系统。该实现过程包括收集轮胎X光检测图片、对图片进行标注、预处理图片、FPN 融合Faster R-CNN模型搭建与训练、模型装载等步骤，具体实现过程如下：
(1)数据标注，用LabelImg工具标注X光图像，标注出病疵的位置、类型，标注文件类型为xml文件，标注病疵时，位置用方框标出，类型的标注形式是A、B、C、D......，K，具体类型见表1：
表1病疵类型说明
(2)图像预处理。将原始图像进行锐化处理，原始图片有不清晰的地方，使用工具对这些部分进行锐化处理，使图片纹路更加清楚、病疵部分更加突出；
(3)图像裁剪。将大小是20000×1900的原始图片分为11张1900× 1900的小图，将相应的坐标位置进行变换，改写记录病疵类型以及坐标的 xml文件；
(4)搭建FPN融合Faster R-CNN网络模型，Faster R-CNN网络原模型主要包括四部分：
1)Conv layers(卷积层)提取特征图：作为一种CNN网络目标检测方法，Faster R-CNN首先使用一组基础的conv+relu+pooling(卷积+修正线性单元+池化)层提取输入图像的feature maps(特征图)，该feature maps会用于后续的RPN层和全连接层；
2)RPN(Region Proposal Networks，区域选择网络):RPN网络主要用于生成region proposals(候选区域)，首先生成一堆Anchor box(锚盒)，对其进行裁剪过滤后通过softmax(归一化指数函数)判断anchors(锚)属于前景(foreground)或者后景(background)，即是物体or不是物体，所以这是一个二分类；同时，另一分支bounding boxregression(边框回归)修正anchor box，形成较精确的proposal(侯选框)(注：这里的较精确是相对于后面全连接层的再一次box regression而言)；
3)Roi Pooling(侯选区域池化)层：该层利用RPN生成的proposals(侯选框)和VGG16(目视图像生成器16)最后一层得到的feature map，得到固定大小的proposalfeature map(侯选框特征图)，进入到后面可利用全连接操作来进行目标识别和定位；
4)Classifier(分类器)：会将Roi Pooling层形成固定大小的feature map 进行全连接操作，利用Softmax进行具体类别的分类，同时，利用L1 Loss (L1损失函数)完成bounding box regression(边框回归)回归操作获得物体的精确位置。
将上述FPN融合Faster R-CNN网络模型中的Conv layers部分替换为基于ResNet(深度残差网络)的FPN网络，替换后的模型结构如附图2所示。
FPN由自底向上和自顶向下两个路径组成。自底向上的路径是通常的提取特征的卷积网络(此处用ResNet网络)。自底向上，空间分辨率递减，检测更多高层结构，网络层的语义值相应增加。自顶向下的路径，基于语义较丰富的层构建分辨率较高的层。尽管重建的层语义足够丰富，但经过这些下采样和上采样过程，目标的位置不再准确了。因此FPN在重建层和相应的特征映射间增加了横向连接，以帮助检测器更好地预测位置。这些横向连接同时起到了跳跃连接(skip connection)的作用(类似残差网络的做法)。FPN 数据流结构如附图3所示。
FPN网络具体操作如附图4所示，包括：1)自底向上路径，由很多卷积模块组成，每个模块包含许多卷积层。自底向上的过程中，空间维度逐模块减半(步长翻倍)。每个卷积模块的输出将在自顶向下的路径中使用。2) 自顶向下路径，附图4中，FPN使用一个1x1的卷积过滤器将C5(最上面的卷积模块)的频道深度降至256维，得到M5。接着应用一个3x3的卷积得到P5，P5正是用于目标预测的第一个特征映射。沿着自顶向下的路径往下，FPN对之前的层应用最近邻上采样(x2)。同时，FPN对自底向上通路中的相应特征映射应用1x1卷积。接着应用分素相加。最后同样应用3x3卷积得到目标检测的特征映射。这一过滤器减轻了上采样的混叠效应。这一过程在P2后停止，因为C1的空间维度太高了。如果不停，依法炮制得到P1的话，会大大拖慢进程。
(5)初始化模型，设置好参数，包括输入图片后统一的大小(在本实施方式中，图片的长边可以是任意尺寸，但是短的一边为600pix)、模型在Search Selective(选择性搜索)阶段方框的大小与个数、模型训练的周期数；
(6)将图像数据集分为训练集、验证集和测试集。划分原则是训练集 70％，验证集和测试集各占15％。训练集中病疵的分布保持每种病疵原始的分布，测试集和验证集中也符合原始的病疵类型和等级的分布。基于训练集进行模型的训练，基于验证集进行参数的调整，训练进行多次迭代，并采用K交叉验证方法进行模型参数的调整。训练到一定的周期，需要检查当前的参数配置是否是正确的，具体步骤如下：
1)在模型的训练过程中，获取模型在训练集和验证集上面的损失函数的函数值。
2)训练到一定的周期之后，暂时停止训练，并将当前的模型保存下来，方便以后继续训练。
3)画出训练集和验证集损失函数的函数值，横轴为周期数，纵轴为损失函数的函数值；损失函数值可能没有下降，有可能下降的比较慢，有可能开始下降后来反而上升，需要观察训练集和验证集上的损失函数值是否是一个正确的下降趋势。
4)如果步骤3)中是呈正确下降趋势，则不必调节参数，这时导入在步骤2)中保存的模型继续训练直至达到模型收敛；否则进入步骤5)。
5)如果损失函数的函数值没有呈健康的下降趋势，就找到可能的原因，并调节参数，参数确定好之后回到上述步骤(5)。
(7)重复上述步骤(5)、(6)，可以训练得到多个模型，对多个模型进行测试分析，基于测试集进行测试，对测试结果不能用MAP(Mean Average Precision，平均准确度)作为评价指标，因为在轮胎X光检测这个实际问题上，我们并不需要病疵位置特别准确，重点是不能漏掉病疵。
评价结果的重心放在两方面，第一个方面是正常图片与病疵图片判断的准确性，首先要能够分类出哪些是病疵图片；第二个问题是在图片为病疵图片的情况下，该轮胎X光图片属于哪一种具体的病疵类型。因此我们采用的衡量指标主要是正常图片的查全率与查准率，以及病疵图片的具体病疵类型和等级判别的查准率和查全率。
对比所有的模型的查全率、查准率，选在在查全率和查准率都较高(查全率和查准率都大于85％)的模型作为最后的模型，这样的模型是泛化能力比较好的模型；如果没有这样的模型，则说明模型不可用，需要回到步骤(5) 初始化模型，并且重新训练模型。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (4)
1.一种多尺度的轮胎X光病疵检测方法，包括步骤如下：
S1、数据标注：将收集到的轮胎X光检测图片用LabelImg工具进行标注，标注出病疵位置、病疵类型，所述病疵位置标注时用方框标出，所述病疵类型可分为多种，标注文件的类型为xml文件；
S2、图像预处理：将所述轮胎X光检测图片进行锐化处理得到预处理后的大图片；
S3、图像裁剪：将大小是20000×1900的所述预处理后的大图片分为11张1900×1900的小图，将相应的坐标位置进行变换，改写记录所述病疵类型以及坐标的xml文件；
S4、搭建FPN(特征金字塔网络)融合Faster R-CNN网络模型：；
S5、初始化模型：设置参数，所述参数包括输入图片后统一的大小、模型在SearchSelective(选择性搜索)阶段方框的大小与个数、模型训练的周期数；
S6、将图像数据集分为训练集、验证集和测试集：划分原则是所述训练集占70％，所述验证集和所述测试集各占15％；
S7、重复上述步骤S5、S6，可以训练得到多个模型，对所述多个模型进行测试分析，基于所述测试集进行测试，得到测试结果。
2.根据权利要求1所述的多尺度的轮胎X光病疵检测方法，其特征在于，步骤S4中Faster R-CNN网络原模型主要包括四部分：
1)Conv layers(卷积层)提取特征图，使用一组基础的conv+relu+pooling(卷积+修正线性单元+池化)层提取输入图像的feature maps(特征图)，该feature maps会用于后续的RPN层和全连接层；
2)RPN(Region Proposal Networks，区域选择网络)，用于生成region proposals(候选区域)，首先生成一堆Anchor box(锚盒)，对其进行裁剪过滤后通过softmax(归一化指数函数)判断anchors(锚)属于前景(foreground)或者后景(background)；同时，另一分支bounding box regression(边框回归)修正anchor box，形成较精确的proposal(侯选框)；
3)Roi Pooling(侯选区域池化)层，利用RPN生成的所述proposals(侯选框)和VGG16(目视图像生成器16)最后一层得到的feature map，得到固定大小的proposal featuremap(侯选框特征图)，进入到后面可利用全连接操作来进行目标识别和定位；
4)Classifier(分类器)，将所述Roi Pooling层形成固定大小的所述feature map进行全连接操作，利用Softmax进行具体类别的分类，同时，利用L1 Loss(L1损失函数)完成bounding box regression(边框回归)回归操作获得物体的精确位置。
3.根据权利要求1或2所述的多尺度的轮胎X光病疵检测方法，其特征在于，步骤S4中FPN(特征金字塔网络)具体操作方法为：
1)自底向上路径，由多个卷积模块组成，每个所述卷积模块包含多个卷积层，自底向上的过程中，空间维度逐模块减半，每个所述卷积模块的输出将在自顶向下的路径中使用；
2)自顶向下路径，FPN使用一个1x1的卷积过滤器将最上面的卷积模块的频道深度降至256维，得到图像M5，接着应用一个3x3的卷积得到图像P5，所述图像P5用于目标预测的第一个特征映射；沿着自顶向下的路径往下，FPN对之前的层应用最近邻上采样，同时，FPN对自底向上通路中的相应特征映射应用1x1卷积，接着应用分素相加，应用3x3卷积得到目标检测的特征映射。
4.根据权利要求1所述的多尺度的轮胎X光病疵检测方法，其特征在于，步骤S6中包括：基于所述训练集进行模型的训练，基于验证集进行参数的调整，所述训练进行多次迭代，并采用K交叉验证方法进行参数配置的调整，所述训练到一定的周期，需要检查当前的所述参数配置是否是正确的，具体步骤如下：
1)在所述模型的训练过程中，获取所述模型在所述训练集和所述验证集上面的损失函数的函数值；
2)所述训练到一定的周期之后，暂时停止所述训练，并将当前的模型保存下来，方便以后继续所述训练；
3)画出所述训练集和所述验证集的损失函数值，横轴为周期数，纵轴为所述损失函数值，观察所述训练集和所述验证集上的所述损失函数值是否是一个正确的下降趋势；
4)如果步骤3)中是呈正确下降趋势，则不必调节参数，这时导入在步骤2)中保存的所述模型继续训练直至达到模型收敛；否则进入步骤5)；
5)如果损失函数的函数值没有呈正确的下降趋势，就找到原因，并调节所述参数，所述参数确定好之后回到步骤S5中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910310408.1A CN110120036A (zh) | 2019-04-17 | 2019-04-17 | 一种多尺度的轮胎x光病疵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910310408.1A CN110120036A (zh) | 2019-04-17 | 2019-04-17 | 一种多尺度的轮胎x光病疵检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110120036A true CN110120036A (zh) | 2019-08-13 |
Family
ID=67521121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910310408.1A Pending CN110120036A (zh) | 2019-04-17 | 2019-04-17 | 一种多尺度的轮胎x光病疵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110120036A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110660049A (zh) * | 2019-09-16 | 2020-01-07 | 青岛科技大学 | 一种基于深度学习的轮胎缺陷检测方法 |
| CN110852558A (zh) * | 2019-09-24 | 2020-02-28 | 连云港耀科铝业有限公司 | 一种车轮彀生产数据的计算机辅助质量控制方法 |
| CN111179239A (zh) * | 2019-12-24 | 2020-05-19 | 浙江大学 | 一种利用背景特征进行重排名的轮胎x光瑕疵检测方法 |
| CN111460926A (zh) * | 2020-03-16 | 2020-07-28 | 华中科技大学 | 一种融合多目标跟踪线索的视频行人检测方法 |
| CN111476165A (zh) * | 2020-04-07 | 2020-07-31 | 同方赛威讯信息技术有限公司 | 基于深度学习的电子文档中标题印章指纹特征检测方法 |
| CN111582073A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 一种基于ResNet101特征金字塔的变电站违规行为识别方法 |
| CN112132804A (zh) * | 2020-09-22 | 2020-12-25 | 苏州巨能图像检测技术有限公司 | 一种用于集卡轮毂的防吊起检测方法 |
| CN112150434A (zh) * | 2020-09-22 | 2020-12-29 | 霍尔果斯奇妙软件科技有限公司 | 一种轮胎缺陷的检测方法、装置、设备及存储介质 |
| CN112418170A (zh) * | 2020-12-11 | 2021-02-26 | 法赫光学科技(成都)有限公司 | 基于3d扫描的口腔检查识别方法 |
| CN112613375A (zh) * | 2020-12-16 | 2021-04-06 | 中国人寿财产保险股份有限公司 | 一种轮胎受损检测识别方法和设备 |
| CN112668531A (zh) * | 2021-01-05 | 2021-04-16 | 重庆大学 | 一种基于动作识别的运动姿态矫正方法 |
| CN112686152A (zh) * | 2020-12-30 | 2021-04-20 | 广西慧云信息技术有限公司 | 一种多尺寸输入和多尺寸目标的农作物病虫害识别方法 |
| CN112819748A (zh) * | 2020-12-16 | 2021-05-18 | 机科发展科技股份有限公司 | 一种带钢表面缺陷识别模型的训练方法及装置 |
| CN113486782A (zh) * | 2021-07-02 | 2021-10-08 | 苏州雷泰医疗科技有限公司 | 放射治疗病人隐私保护监控方法、系统和存储介质 |
| CN114078106A (zh) * | 2020-08-06 | 2022-02-22 | 沈阳中科数控技术股份有限公司 | 基于改进Faster R-CNN的疵点检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108288075A (zh) * | 2018-02-02 | 2018-07-17 | 沈阳工业大学 | 一种改进ssd的轻量化小目标检测方法 |
| CN108564563A (zh) * | 2018-03-07 | 2018-09-21 | 浙江大学 | 一种基于Faster R-CNN的轮胎X光病疵检测方法 |
| CN108734705A (zh) * | 2018-05-17 | 2018-11-02 | 杭州电子科技大学 | 基于深度学习的数字乳腺断层影像钙化簇自动检测方法 |
| CN108764462A (zh) * | 2018-05-29 | 2018-11-06 | 成都视观天下科技有限公司 | 一种基于知识蒸馏的卷积神经网络优化方法 |
| CN109376681A (zh) * | 2018-11-06 | 2019-02-22 | 广东工业大学 | 一种多人姿态估计方法及系统 |
-
2019
- 2019-04-17 CN CN201910310408.1A patent/CN110120036A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108288075A (zh) * | 2018-02-02 | 2018-07-17 | 沈阳工业大学 | 一种改进ssd的轻量化小目标检测方法 |
| CN108564563A (zh) * | 2018-03-07 | 2018-09-21 | 浙江大学 | 一种基于Faster R-CNN的轮胎X光病疵检测方法 |
| CN108734705A (zh) * | 2018-05-17 | 2018-11-02 | 杭州电子科技大学 | 基于深度学习的数字乳腺断层影像钙化簇自动检测方法 |
| CN108764462A (zh) * | 2018-05-29 | 2018-11-06 | 成都视观天下科技有限公司 | 一种基于知识蒸馏的卷积神经网络优化方法 |
| CN109376681A (zh) * | 2018-11-06 | 2019-02-22 | 广东工业大学 | 一种多人姿态估计方法及系统 |
Non-Patent Citations (11)
| Title |
|---|
| JIANGMIAO PANG等: "Libra R-CNN: Towards Balanced Learning for Object Detection", 《ARXIV:1904.02701V1 [CS.CV]》 * |
| LIXIN WANG等: "Vehicle Detection Based on Drone Images with the Improved Faster R-CNN", 《RESEARCHGATE》 * |
| SHAOQING REN等: "Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks", 《ARXIV:1506.01497V3 [CS.CV]》 * |
| TSUNG-YI LIN等: "Feature Pyramid Networks for Object Detection", 《ARXIV:1612.03144V2 [CS.CV]》 * |
| 周孝佳等: "基于分块的有遮挡人脸识别算法", 《计算机应用与软件》 * |
| 宋兰霞: "《新一代多媒体系统中的关键技术》", 31 December 2018 * |
| 张杰等: "复杂环境的车牌定位方法设计与实现", 《通信技术》 * |
| 王飞: "基于深度学习的行人检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 许婷婷等: "基于联合分类器的非自然图像检索", 《计算机应用与软件》 * |
| 贾永红等: "《数字图像处理技巧》", 31 January 2017 * |
| 郭文强等: "《数字图像处理》", 31 May 2009 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110660049A (zh) * | 2019-09-16 | 2020-01-07 | 青岛科技大学 | 一种基于深度学习的轮胎缺陷检测方法 |
| CN110852558A (zh) * | 2019-09-24 | 2020-02-28 | 连云港耀科铝业有限公司 | 一种车轮彀生产数据的计算机辅助质量控制方法 |
| CN111179239B (zh) * | 2019-12-24 | 2022-04-26 | 浙江大学 | 一种利用背景特征进行重排名的轮胎x光瑕疵检测方法 |
| CN111179239A (zh) * | 2019-12-24 | 2020-05-19 | 浙江大学 | 一种利用背景特征进行重排名的轮胎x光瑕疵检测方法 |
| CN111460926A (zh) * | 2020-03-16 | 2020-07-28 | 华中科技大学 | 一种融合多目标跟踪线索的视频行人检测方法 |
| CN111460926B (zh) * | 2020-03-16 | 2022-10-14 | 华中科技大学 | 一种融合多目标跟踪线索的视频行人检测方法 |
| CN111476165A (zh) * | 2020-04-07 | 2020-07-31 | 同方赛威讯信息技术有限公司 | 基于深度学习的电子文档中标题印章指纹特征检测方法 |
| CN111582073A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 一种基于ResNet101特征金字塔的变电站违规行为识别方法 |
| CN114078106B (zh) * | 2020-08-06 | 2024-08-02 | 沈阳中科数控技术股份有限公司 | 基于改进Faster R-CNN的疵点检测方法 |
| CN114078106A (zh) * | 2020-08-06 | 2022-02-22 | 沈阳中科数控技术股份有限公司 | 基于改进Faster R-CNN的疵点检测方法 |
| CN112132804B (zh) * | 2020-09-22 | 2023-10-31 | 苏州巨能图像检测技术有限公司 | 一种用于集卡轮毂的防吊起检测方法 |
| CN112150434A (zh) * | 2020-09-22 | 2020-12-29 | 霍尔果斯奇妙软件科技有限公司 | 一种轮胎缺陷的检测方法、装置、设备及存储介质 |
| CN112132804A (zh) * | 2020-09-22 | 2020-12-25 | 苏州巨能图像检测技术有限公司 | 一种用于集卡轮毂的防吊起检测方法 |
| CN112418170A (zh) * | 2020-12-11 | 2021-02-26 | 法赫光学科技(成都)有限公司 | 基于3d扫描的口腔检查识别方法 |
| CN112418170B (zh) * | 2020-12-11 | 2024-03-01 | 法赫光学科技(成都)有限公司 | 基于3d扫描的口腔检查识别方法 |
| CN112613375A (zh) * | 2020-12-16 | 2021-04-06 | 中国人寿财产保险股份有限公司 | 一种轮胎受损检测识别方法和设备 |
| CN112819748A (zh) * | 2020-12-16 | 2021-05-18 | 机科发展科技股份有限公司 | 一种带钢表面缺陷识别模型的训练方法及装置 |
| CN112613375B (zh) * | 2020-12-16 | 2024-05-14 | 中国人寿财产保险股份有限公司 | 一种轮胎受损检测识别方法和设备 |
| CN112819748B (zh) * | 2020-12-16 | 2023-09-19 | 机科发展科技股份有限公司 | 一种带钢表面缺陷识别模型的训练方法及装置 |
| CN112686152A (zh) * | 2020-12-30 | 2021-04-20 | 广西慧云信息技术有限公司 | 一种多尺寸输入和多尺寸目标的农作物病虫害识别方法 |
| CN112686152B (zh) * | 2020-12-30 | 2023-06-09 | 广西慧云信息技术有限公司 | 一种多尺寸输入和多尺寸目标的农作物病虫害识别方法 |
| CN112668531A (zh) * | 2021-01-05 | 2021-04-16 | 重庆大学 | 一种基于动作识别的运动姿态矫正方法 |
| CN113486782A (zh) * | 2021-07-02 | 2021-10-08 | 苏州雷泰医疗科技有限公司 | 放射治疗病人隐私保护监控方法、系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110120036A (zh) | 一种多尺度的轮胎x光病疵检测方法 | |
| CN102854191B (zh) | 高速铁轨表面缺陷的实时视觉检测与识别方法 | |
| CN110378869B (zh) | 一种样本自动标注的钢轨扣件异常检测方法 | |
| CN109344905A (zh) | 一种基于集成学习的输电设备自动故障识别方法 | |
| CN108711148B (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
| CN113763312B (zh) | 使用弱标记检测半导体试样中的缺陷 | |
| CN109064461A (zh) | 一种基于深度学习网络的钢轨表面缺陷检测方法 | |
| CN111489339B (zh) | 高速铁路定位器螺栓备母缺陷的检测方法 | |
| CN109086756A (zh) | 一种基于深度神经网络的文本检测分析方法、装置及设备 | |
| CN102332089B (zh) | 一种基于人工神经网络的铁路货车闸瓦钎窜出故障识别方法 | |
| CN106408015A (zh) | 基于卷积神经网络的岔路口识别及深度估计方法 | |
| CN110136101A (zh) | 一种基于孪生距离比对的轮胎x光病疵检测方法 | |
| CN103324937A (zh) | 标注目标的方法和装置 | |
| CN114399672A (zh) | 一种基于深度学习的铁路货车闸瓦故障检测方法 | |
| CN107085696A (zh) | 一种基于卡口图像的车辆定位及型号识别方法 | |
| CN108564563A (zh) | 一种基于Faster R-CNN的轮胎X光病疵检测方法 | |
| CN111862029A (zh) | 一种铁路动车组垂向减震器螺栓部件故障检测方法 | |
| CN108596203A (zh) | 并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法 | |
| CN113506269B (zh) | 一种基于深度学习的道岔与非道岔轨道紧固件定位方法 | |
| CN110287806A (zh) | 一种基于改进ssd网络的交通标志识别方法 | |
| CN110246134A (zh) | 一种钢轨伤损分类装置 | |
| CN110032935A (zh) | 一种基于深度学习级联网络的交通信号标识检测识别方法 | |
| CN111353377A (zh) | 一种基于深度学习的电梯乘客数检测方法 | |
| CN110544253A (zh) | 基于图像金字塔和列模板的织物瑕疵检测方法 | |
| CN115294033A (zh) | 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211203 Address after: 310000 room 604-605, building 16, No. 57, Science Park, Baiyang street, Hangzhou Economic and Technological Development Zone, Zhejiang Province Applicant after: HANGZHOU YINGGE INFORMATION TECHNOLOGY CO.,LTD. Address before: 310026 station 9, room 1213-1218, building 17, No. 57, kekekeyuan Road, Baiyang street, Hangzhou Economic and Technological Development Zone, Zhejiang Province Applicant before: Hangzhou Data Point Gold Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190813 |
|
| RJ01 | Rejection of invention patent application after publication |