[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113989196A - 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法 - Google Patents

一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法 Download PDF

Info

Publication number
CN113989196A
CN113989196A CN202111167524.6A CN202111167524A CN113989196A CN 113989196 A CN113989196 A CN 113989196A CN 202111167524 A CN202111167524 A CN 202111167524A CN 113989196 A CN113989196 A CN 113989196A
Authority
CN
China
Prior art keywords
defect
image
product
silica gel
earphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111167524.6A
Other languages
English (en)
Other versions
CN113989196B (zh
Inventor
张立兴
毛亮
孟春婵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bokeshi Suzhou Technology Co ltd
Original Assignee
Bokeshi Suzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bokeshi Suzhou Technology Co ltd filed Critical Bokeshi Suzhou Technology Co ltd
Priority to CN202111167524.6A priority Critical patent/CN113989196B/zh
Publication of CN113989196A publication Critical patent/CN113989196A/zh
Application granted granted Critical
Publication of CN113989196B publication Critical patent/CN113989196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法,包括:建立表面缺陷检测模型,使用训练好的模型从产品表面缺陷图像中提取缺陷区域图像,提取HOG特征向量输入支持向量机建立缺陷区域复检模型。检测阶段,对采集到的耳机硅胶垫圈表面缺陷图像先使用传统算法进行姿态判定,接下来使用训练好的表面缺陷检测模型检测和定位表面缺陷,通过返回的缺陷定位框提取缺陷区域。将提取到的区域提取HOG特征输入到复检模型中复检,若仍是缺陷则在图中标记缺陷,判定产品不合格。本发明的方法适用于多种类型的外观缺陷,提高了检测方法的通用性。通过复检模型对检测结果进行复检,降低了误检的概率,提高了耳机硅胶垫圈表面缺陷检测的准确率。

Description

一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法
技术领域
本发明涉及计算机视觉识别技术领域,尤其涉及一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法。
背景技术
硅胶垫圈作为一种工业基础元件在军民领域均有广泛应用。硅胶垫圈的生产工艺决定了其在生产过程中会出现毛边、缺少胶料、堵孔等缺陷。这些次品在使用时会产生安全隐患,可能会带来经济甚至生命财产的损失,因此需要及时挑选出,防止其进入市场销售。当前,制造企业对于耳机硅胶垫圈表面缺陷的检测主要采用人工方式检测,存在依赖人工经验、误检漏检率高,检测效率低等问题。
现有技术中对产品表面缺陷进行计算机视觉识别的方法包括:
张伟等人针对复杂纹理缺陷提出利用总变分模型和共轭矩阵法进行纹理抑制后再通过Roberts边缘检测获取缺陷轮廓进而定位缺陷的位置。
孙世凡等人首先采用霍夫变换和各向异性扩散滤波对图像进行预处理,然后采用基于超像素分割的简单线性迭代聚类(Simple Linear Iterative Clustering SLIC)算法提取缺陷轮廓,最后通过随机森林算法对缺陷进行识别和分类。
沈琦等人把不同尺度,不同方向的Gabor滤波器提取的图像特征进行基础,并与支持向量机(SVM)相结合,辅以图像预处理技术和特征降维,训练出能够识别O型橡胶密封圈表面缺陷分类器。
现有的技术依赖人工提取特征,提取特征的过程依赖先验知识,主观性强,检测的准确率受设计者的个人经验影响;人工提取特征的步骤繁琐,在检测环境发生变化时需要比较繁琐的参数设置或者直接导致特征不可用,算法的鲁棒性和泛用性不佳。
发明内容
为解决上述技术问题,本发明实施例提供一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法。
一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法,包括如下步骤:
采集待测耳机硅胶垫圈的上下宽面和两个孔面的产品图像;
对采集的产品图像进行预处理;
提取产品图像中耳机硅胶垫圈的外轮廓,检验产品面积是否在设定区间,对不在设定区间的产品进行回收;
对产品面积在设定区间的产品图像,提取其宽轮廓的最小外接矩形,检验产品角度是否在设定区间,对不在设定区间的产品进行回收;
对产品角度在设定区间的产品图像,将对应的待测产品的表面缺陷图像输入到预训练好的耳机硅胶垫圈表面缺陷检测模型,输出缺陷的类型和边界框;
根据边界框在产品表面缺陷图像上剪切提取缺陷区域的图像;
使用HOG方法提取缺陷区域图像的特征向量,将特征向量输入到训练好的缺陷复检模型中进行复检,若复检结果为仍为缺陷,则在产品表面缺陷图像上标注出缺陷的类型和位置,并判定产品不合格,若复检为非缺陷,则继续进行其余缺陷边界框的复检,所有缺陷边界框复检为非缺陷,则判定产品合格。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述上下宽面的产品图像包括宽面明场图像和宽面暗场图像。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的对采集的产品图像进行预处理包括:
对采集得到的待测耳机硅胶垫圈的上下宽面和两个孔面的四张产品图像进行图像融合,得到产品不同表面的缺陷图像。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的检验产品面积是否在设定区间包括:
根据轮廓面积判断图像中是否存在产品、产品在图像中是否完整,是否仅有一个产品出现在图像中。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的检验产品角度是否在设定区间包括:
对提取的产品宽面轮廓的最小外接矩形,计算其长轴和水平方向的夹角,判断夹角是否处在设定的区间范围内。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的耳机硅胶垫圈表面缺陷检测模型的预训练过程包括如下步骤:
从耳机硅胶垫圈产品的上下宽面和两侧孔面各采集一张表面图像,共计四张图像,经预处理后得到产品不同表面缺陷图像;
对产品表面缺陷图像上的缺陷的类型和位置进行标注,将产品表面缺陷图像和标注图像作为数据集,得到共计四个面的数据集;
将产品表面缺陷图像数据集作为输入,通过YOLO V3算法建立的不同面的耳机硅胶垫圈表面缺陷检测模型;
将产品表面缺陷图像数据输入到训练好的对应面耳机硅胶垫圈表面缺陷检测模型,输出缺陷类型和边界框,根据边界框信息在产品表面缺陷图像上剪切提取对应的缺陷区域,按类型输出缺陷区域图像;
对同种类型的缺陷区域图像进行人工分类,分为检测正确的缺陷区域图像和检测错误的缺陷区域图像两类,制作对应的标签文件,将缺陷区域图像和标签文件作为缺陷区域图像分类数据集;
将得到的缺陷区域图像数据分类数据集作为输入,使用方向梯度直方图HOG提取特征向量;
将缺陷区域图像的HOG描述特征作为特征向量和标签文件一同作为输入,按缺陷类型建立缺陷复检的支持向量机SVM的缺陷复检模型。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的将产品表面缺陷图像数据集作为输入,通过YOLO V3算法建立的不同面的耳机硅胶垫圈表面缺陷检测模型,包括步骤:
网络以卷积方式进行特征提取,得到13*13,26*26,52*52三种尺度的特征图,并对三个特征图进行特征融合,输出三个张量用于预测缺陷目标的边界框;
设置置信度阈值对预测的边界框做非极大值抑制处理,表达式为:
Figure BDA0003292006780000041
其中,i表示类别标号,M为置信得分大的候选框,bi为被比较的预测框,I为交并比,Nt为阈值;
设置损失函数,损失函数主要包括边界框坐标损失、目标置信度损失和目标分类损失,设定最大迭代i代,直至损失函数值不大于阈值或达到最大迭代次数,损失函数的表达式为:
Figure BDA0003292006780000042
其中,Loss表示均方和误差,一种损失代价计算方式;CoorErr表示坐标误差,计算bounding box与实际标签的误差累计;IOUErr表示有无目标误差,用于累计没有目标时box的置信度权值以及包含object的box的置信度权值;classErr表示分类误差,分类器的计算值与标签值的误差,激活函数的输出;
将产品表面缺陷图像数据输入到训练好的对应面耳机硅胶垫圈表面缺陷检测模型,输出的缺陷类型和边界框,根据边界框信息在产品表面缺陷图像上剪切提取对应的缺陷区域,按类型输出缺陷区域图像;
对同种类型的缺陷区域图像进行人工分类,分为检测正确的缺陷区域图像和检测错误的缺陷区域图像两类,制作对应的标签文件,将缺陷区域图像和标签文件作为缺陷区域图像分类数据集;
将得到的缺陷区域图像数据分类数据集作为输入,提取HOG特征,建立支持向量机SVM的缺陷复检模型。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的提取HOG特征,建立支持向量机SVM的缺陷复检模型,包括步骤:
使用Gamma校正将图像对比度进行归一化处理,降低局部光照和阴影的影响;
使用公式计算梯度的幅值和方向;
将图像划分成小的单元,统计得到梯度方向直方图,以梯度方向直方图作为每个单元的描述子;
将每几个单元组成一个块,将一个块中所有单元的描述子串联得到该块的特征描述子;
将缺陷区域图像中所有块的特征描述子串联得到缺陷区域的HOG描述子;
将缺陷区域图像的HOG描述子作为特征向量和标签文件一同作为输入,按缺陷类型建立缺陷复检的支持向量机SVM的缺陷复检模型。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的梯度的幅值和方向表示为:
Gx(x,y)=H(x+1,y)-H(x-1,y),
Gy(x,y)=H(x,y+1)-H(x,y-1);
Figure BDA0003292006780000051
Figure BDA0003292006780000052
其中,式中,Gx(x,y),Gy(x,y),H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值,
Figure BDA0003292006780000061
表示梯度的幅值,θ(x,y)表示梯度的方向。
本发明的有益效果为:本发明的外观缺陷检测方法提供一套通用的训练过程,算法能够从训练数据中“学习”到各类缺陷的特征,免去人工提取特征的步骤,保证了算法的准确率,提高了缺陷检测方法的通用性和智能化程度。通过增加复杂环境下的训练样本还能适应复杂的检测环境,提高了算法的鲁棒性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明在检测阶段的流程图;
图2为本发明模型训练阶段的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明的实施例提出的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法,包括如下步骤:
采集待测耳机硅胶垫圈的上下宽面和两个孔面的产品图像;
对采集的产品图像进行预处理;
提取产品图像中耳机硅胶垫圈的外轮廓,检验产品面积是否在设定区间,对不在设定区间的产品进行回收;
对产品面积在设定区间的产品图像,提取其宽轮廓的最小外接矩形,检验产品角度是否在设定区间,对不在设定区间的产品进行回收;
对产品角度在设定区间的产品图像,将对应的待测产品的表面缺陷图像输入到预训练好的耳机硅胶垫圈表面缺陷检测模型,输出缺陷的类型和边界框;
根据边界框在产品表面缺陷图像上剪切提取缺陷区域的图像;
使用HOG方法提取缺陷区域图像的特征向量,将特征向量输入到训练好的缺陷复检模型中进行复检,若复检结果为仍为缺陷,则在产品表面缺陷图像上标注出缺陷的类型和位置,并判定产品不合格,若复检为非缺陷,则继续进行其余缺陷边界框的复检,所有缺陷边界框复检为非缺陷,则判定产品合格。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述上下宽面的产品图像包括宽面明场图像和宽面暗场图像。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的对采集的产品图像进行预处理包括:
对采集得到的待测耳机硅胶垫圈的上下宽面和两个孔面的四张产品图像分别进行包括但不限于灰度化、直方图均衡化和高斯平滑,得到四张具有高信噪比的图像,得到产品不同表面的缺陷图像。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的检验产品面积是否在设定区间包括:
根据轮廓面积判断图像中是否存在产品、产品在图像中是否完整,是否仅有一个产品出现在图像中。其中,通过判断图像中是否仅有一个产品,是为了确保单个成像面上有且仅有一个产品,否则算法逻辑会判回收而不是检测缺陷。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的检验产品角度是否在设定区间包括:
对提取的产品宽面轮廓的最小外接矩形,计算其长轴和水平方向的夹角,判断夹角是否处在设定的区间范围内。
进一步地,如图2所示,所述的耳机硅胶垫圈表面缺陷检测模型的预训练过程包括如下步骤:
从耳机硅胶垫圈产品的上下宽面和两侧孔面各采集一张表面图像,共计四张图像,经预处理后得到产品不同表面缺陷图像;
对产品表面缺陷图像上的缺陷的类型和位置进行标注,将产品表面缺陷图像和标注图像作为数据集,得到共计四个面的数据集;
将产品表面缺陷图像数据集作为输入,通过YOLO V3算法建立的不同面的耳机硅胶垫圈表面缺陷检测模型;
将产品表面缺陷图像数据输入到训练好的对应面耳机硅胶垫圈表面缺陷检测模型,输出缺陷类型和边界框,根据边界框信息在产品表面缺陷图像上剪切提取对应的缺陷区域,按类型输出缺陷区域图像;
对同种类型的缺陷区域图像进行人工分类,分为检测正确的缺陷区域图像和检测错误的缺陷区域图像两类,制作对应的标签文件,将缺陷区域图像和标签文件作为缺陷区域图像分类数据集;
将得到的缺陷区域图像数据分类数据集作为输入,使用方向梯度直方图HOG提取特征向量;
将缺陷区域图像的HOG描述特征作为特征向量和标签文件一同作为输入,按缺陷类型建立缺陷复检的支持向量机SVM的缺陷复检模型。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的将产品表面缺陷图像数据集作为输入,通过YOLO V3算法建立的不同面的耳机硅胶垫圈表面缺陷检测模型,包括步骤:
网络以卷积方式进行特征提取,得到13*13,26*26,52*52三种尺度的特征图,并对三个特征图进行特征融合,输出三个张量用于预测缺陷目标的边界框;
设置置信度阈值对预测的边界框做非极大值抑制处理,表达式为:
Figure BDA0003292006780000081
其中,i表示类别标号,M为置信得分大的候选框,bi为被比较的预测框,I为交并比,Nt为阈值;
设置损失函数,损失函数主要包括边界框坐标损失、目标置信度损失和目标分类损失,设定最大迭代i代,直至损失函数值不大于阈值或达到最大迭代次数,损失函数的表达式为:
Figure BDA0003292006780000091
其中,Loss表示均方和误差,一种损失代价计算方式;CoorErr表示坐标误差,计算bounding box与实际标签的误差累计;IOUErr表示有无目标误差,用于累计没有目标时box的置信度权值以及包含object的box的置信度权值;classErr表示分类误差,分类器的计算值与标签值的误差,激活函数的输出;
将产品表面缺陷图像数据输入到训练好的对应面耳机硅胶垫圈表面缺陷检测模型,输出的缺陷类型和边界框,根据边界框信息在产品表面缺陷图像上剪切提取对应的缺陷区域,按类型输出缺陷区域图像;
对同种类型的缺陷区域图像进行人工分类,分为检测正确的缺陷区域图像和检测错误的缺陷区域图像两类,制作对应的标签文件,将缺陷区域图像和标签文件作为缺陷区域图像分类数据集;
将得到的缺陷区域图像数据分类数据集作为输入,提取HOG特征,建立支持向量机SVM的缺陷复检模型。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的提取HOG特征,建立支持向量机SVM的缺陷复检模型,包括步骤:
使用Gamma校正将图像对比度进行归一化处理,降低局部光照和阴影的影响;
使用公式计算梯度的幅值和方向;
将图像划分成小的单元,统计得到梯度方向直方图,以梯度方向直方图作为每个单元的描述子;
将每几个单元组成一个块,将一个块中所有单元的描述子串联得到该块的特征描述子;
将缺陷区域图像中所有块的特征描述子串联得到缺陷区域的HOG描述子;
将缺陷区域图像的HOG描述子作为特征向量和标签文件一同作为输入,按缺陷类型建立缺陷复检的支持向量机SVM的缺陷复检模型。
优选地,在上述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法中,所述的梯度的幅值和方向表示为:
Gx(x,y)=H(x+1,y)-H(x-1,y),
Gy(x,y)=H(x,y+1)-H(x,y-1);
Figure BDA0003292006780000101
Figure BDA0003292006780000102
其中,式中,Gx(x,y),Gy(x,y),H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值,
Figure BDA0003292006780000103
表示梯度的幅值,θ(x,y)表示梯度的方向。
本发明提出的一种新的耳机硅胶垫圈表面缺陷检测方法,提高了耳机硅胶垫圈外观缺陷检测的准确率和通用性。该方法提供一套通用的训练过程,算法能够从训练数据中“学习”到各类缺陷的特征,免去人工提取特征的步骤,提高了缺陷检测方法的通用性和智能化程度。通过增加复杂环境下样本的学习能够提高复杂环境下的检测精度。在检测过程中,无需复杂的人工特征提取步骤,对于所有的缺陷类型都可以使用一套通用的训练过程来建立模型,通用性更强。本方法能够在一张图像上检测多种缺陷,不仅能够检测缺陷的类型,更能在图像上定位缺陷的位置,检测的精度更高。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法,其特征在于,包括如下步骤:
采集待测耳机硅胶垫圈的上下宽面和两个孔面的产品图像;
对采集的产品图像进行预处理;
提取产品图像中耳机硅胶垫圈的外轮廓,检验产品面积是否在设定区间,对不在设定区间的产品进行回收;
对产品面积在设定区间的产品图像,提取其宽轮廓的最小外接矩形,检验产品角度是否在设定区间,对不在设定区间的产品进行回收;
对产品角度在设定区间的产品图像,将对应的待测产品的表面缺陷图像输入到预训练好的耳机硅胶垫圈表面缺陷检测模型,输出缺陷的类型和边界框;
根据边界框在产品表面缺陷图像上剪切提取缺陷区域的图像;
使用HOG方法提取缺陷区域图像的特征向量,将特征向量输入到训练好的缺陷复检模型中进行复检,若复检结果为仍为缺陷,则在产品表面缺陷图像上标注出缺陷的类型和位置,并判定产品不合格,若复检为非缺陷,则继续进行其余缺陷边界框的复检,所有缺陷边界框复检为非缺陷,则判定产品合格。
2.根据权利要求1所述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法,其特征在于,所述上下宽面的产品图像包括宽面明场图像和宽面暗场图像。
3.根据权利要求1所述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法,其特征在于,所述的对采集的产品图像进行预处理包括:
对采集得到的待测耳机硅胶垫圈的上下宽面和两个孔面的四张产品图像分别进行包括但不限于灰度化、直方图均衡化和高斯平滑,得到四张具有高信噪比的图像,得到产品不同表面的缺陷图像。
4.根据权利要求1所述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法,其特征在于,所述的检验产品面积是否在设定区间包括:
根据轮廓面积判断图像中是否存在产品、产品在图像中是否完整,是否仅有一个产品出现在图像中。
5.根据权利要求1所述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法,其特征在于,所述的检验产品角度是否在设定区间包括:
对提取的产品宽面轮廓的最小外接矩形,计算其长轴和水平方向的夹角,判断夹角是否处在设定的区间范围内。
6.根据权利要求1所述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法,其特征在于,所述的耳机硅胶垫圈表面缺陷检测模型的预训练过程包括如下步骤:
从耳机硅胶垫圈产品的上下宽面和两侧孔面各采集一张表面图像,共计四张图像,经预处理后得到产品不同表面缺陷图像;
对产品表面缺陷图像上的缺陷的类型和位置进行标注,将产品表面缺陷图像和标注图像作为数据集,得到共计四个面的数据集;
将产品表面缺陷图像数据集作为输入,通过YOLO V3算法建立的不同面的耳机硅胶垫圈表面缺陷检测模型;
将产品表面缺陷图像数据输入到训练好的对应面耳机硅胶垫圈表面缺陷检测模型,输出缺陷类型和边界框,根据边界框信息在产品表面缺陷图像上剪切提取对应的缺陷区域,按类型输出缺陷区域图像;
对同种类型的缺陷区域图像进行人工分类,分为检测正确的缺陷区域图像和检测错误的缺陷区域图像两类,制作对应的标签文件,将缺陷区域图像和标签文件作为缺陷区域图像分类数据集;
将得到的缺陷区域图像数据分类数据集作为输入,使用方向梯度直方图HOG提取特征向量;
将缺陷区域图像的HOG描述特征作为特征向量和标签文件一同作为输入,按缺陷类型建立缺陷复检的支持向量机SVM的缺陷复检模型。
7.根据权利要求6所述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法,其特征在于,所述的将产品表面缺陷图像数据集作为输入,通过YOLO V3算法建立的不同面的耳机硅胶垫圈表面缺陷检测模型,包括步骤:
网络以卷积方式进行特征提取,得到13*13,26*26,52*52三种尺度的特征图,并对三个特征图进行特征融合,输出三个张量用于预测缺陷目标的边界框;
设置置信度阈值对预测的边界框做非极大值抑制处理,表达式为:
Figure FDA0003292006770000031
其中,i表示类别标号,M为置信得分大的候选框,bi为被比较的预测框,I为交并比,Nt为阈值;
设置损失函数,损失函数主要包括边界框坐标损失、目标置信度损失和目标分类损失,设定最大迭代i代,直至损失函数值不大于阈值或达到最大迭代次数,损失函数的表达式为:
Figure FDA0003292006770000032
其中,Loss表示均方和误差,一种损失代价计算方式;coorErr表示坐标误差,计算bounding box与实际标签的误差累计;IOUErr表示有无目标误差,用于累计没有目标时box的置信度权值以及包含object的box的置信度权值;classErr表示分类误差,分类器的计算值与标签值的误差,激活函数的输出;
将产品表面缺陷图像数据输入到训练好的对应面耳机硅胶垫圈表面缺陷检测模型,输出的缺陷类型和边界框,根据边界框信息在产品表面缺陷图像上剪切提取对应的缺陷区域,按类型输出缺陷区域图像;
对同种类型的缺陷区域图像进行人工分类,分为检测正确的缺陷区域图像和检测错误的缺陷区域图像两类,制作对应的标签文件,将缺陷区域图像和标签文件作为缺陷区域图像分类数据集;
将得到的缺陷区域图像数据分类数据集作为输入,提取HOG特征,建立支持向量机SVM的缺陷复检模型。
8.根据权利要求7所述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法,其特征在于,所述的提取HOG特征,建立支持向量机SVM的缺陷复检模型,包括步骤:
使用Gamma校正将图像对比度进行归一化处理,降低局部光照和阴影的影响;
使用公式计算梯度的幅值和方向;
将图像划分成小的单元,统计得到梯度方向直方图,以梯度方向直方图作为每个单元的描述子;
将每几个单元组成一个块,将一个块中所有单元的描述子串联得到该块的特征描述子;
将缺陷区域图像中所有块的特征描述子串联得到缺陷区域的HOG描述子;
将缺陷区域图像的HOG描述子作为特征向量和标签文件一同作为输入,按缺陷类型建立缺陷复检的支持向量机SVM的缺陷复检模型。
9.根据权利要求8所述的一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法,其特征在于,所述的梯度的幅值和方向表示为:
Gx(x,y)=H(x+1,y)-H(x-1,y),
Gy(x,y)=H(x,y+1)-H(x,y-1);
Figure FDA0003292006770000041
Figure FDA0003292006770000042
其中,式中,Gx(x,y),Gy(x,y),H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值,
Figure FDA0003292006770000051
表示梯度的幅值,θ(x,y)表示梯度的方向。
CN202111167524.6A 2021-10-07 2021-10-07 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法 Active CN113989196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111167524.6A CN113989196B (zh) 2021-10-07 2021-10-07 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111167524.6A CN113989196B (zh) 2021-10-07 2021-10-07 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法

Publications (2)

Publication Number Publication Date
CN113989196A true CN113989196A (zh) 2022-01-28
CN113989196B CN113989196B (zh) 2024-10-29

Family

ID=79737634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111167524.6A Active CN113989196B (zh) 2021-10-07 2021-10-07 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113989196B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565771A (zh) * 2022-04-29 2022-05-31 广东粤港澳大湾区硬科技创新研究院 一种道路两侧设施的缺陷检测方法及装置
CN116030061A (zh) * 2023-03-29 2023-04-28 深圳市捷超行模具有限公司 一种基于视觉的硅胶成型效果检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160364849A1 (en) * 2014-11-03 2016-12-15 Shenzhen China Star Optoelectronics Technology Co. , Ltd. Defect detection method for display panel based on histogram of oriented gradient
CN109447949A (zh) * 2018-09-29 2019-03-08 南京理工大学 基于巡检机器人的绝缘端子缺陷识别方法
CN111812106A (zh) * 2020-09-15 2020-10-23 沈阳风驰软件股份有限公司 一种无线耳机外观面溢胶检测方法和检测系统
CN111982912A (zh) * 2020-07-31 2020-11-24 东莞领杰金属精密制造科技有限公司 自动光学外观检测机
CN112712513A (zh) * 2021-01-05 2021-04-27 歌尔股份有限公司 产品缺陷检测方法、装置、设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160364849A1 (en) * 2014-11-03 2016-12-15 Shenzhen China Star Optoelectronics Technology Co. , Ltd. Defect detection method for display panel based on histogram of oriented gradient
CN109447949A (zh) * 2018-09-29 2019-03-08 南京理工大学 基于巡检机器人的绝缘端子缺陷识别方法
CN111982912A (zh) * 2020-07-31 2020-11-24 东莞领杰金属精密制造科技有限公司 自动光学外观检测机
CN111812106A (zh) * 2020-09-15 2020-10-23 沈阳风驰软件股份有限公司 一种无线耳机外观面溢胶检测方法和检测系统
CN112712513A (zh) * 2021-01-05 2021-04-27 歌尔股份有限公司 产品缺陷检测方法、装置、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周仿荣;方明;马御棠;潘浩;: "基于YOLO v3的输电线路缺陷快速检测方法", 云南电力技术, no. 04, 15 August 2020 (2020-08-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565771A (zh) * 2022-04-29 2022-05-31 广东粤港澳大湾区硬科技创新研究院 一种道路两侧设施的缺陷检测方法及装置
CN116030061A (zh) * 2023-03-29 2023-04-28 深圳市捷超行模具有限公司 一种基于视觉的硅胶成型效果检测方法
CN116030061B (zh) * 2023-03-29 2023-08-22 深圳市捷超行模具有限公司 一种基于视觉的硅胶成型效果检测方法

Also Published As

Publication number Publication date
CN113989196B (zh) 2024-10-29

Similar Documents

Publication Publication Date Title
CN108830188B (zh) 基于深度学习的车辆检测方法
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN111611874B (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN114972356B (zh) 塑料制品表面缺陷检测识别方法及系统
CN105184265A (zh) 一种基于自学习的手写表格数字字符串快速识别的方法
CN109344768A (zh) 基于巡检机器人的指针式断路器识别方法
CN113989196B (zh) 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法
CN111242899A (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN111612747A (zh) 产品表面裂缝快速检测方法及检测系统
CN109685030A (zh) 一种基于卷积神经网络的马克杯杯口缺陷检测分类方法
CN113870202A (zh) 一种基于深度学习技术的远端芯片缺陷检测系统
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN108932471B (zh) 一种车辆检测方法
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN114841920A (zh) 基于图像处理的火焰识别方法、装置及电子设备
CN112381140B (zh) 一种基于新特征参数的磨粒图像机器学习识别方法
CN110619336A (zh) 基于图像处理的货品识别算法
CN111950556A (zh) 一种基于深度学习的号牌印刷质量检测方法
CN113781483B (zh) 工业产品外观缺陷检测方法和装置
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN110879985A (zh) 一种抗噪声数据的人脸识别模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant