一种产品外观检测方法和系统
技术领域
本申请涉及自动化检测技术领域,尤其涉及一种产品外观检测方法和系统。
背景技术
在产品外观自动化检测中,因为脏污、灰尘等干扰物的影响,导致自动化检测设备不能准确判定产品外观是否合格,造成误判,从而极大降低了产品外观自动化检测的准确率。
当前主要采取两种方法解决因为干扰物存在造成的产品外观自动化检测误判问题,一种方法是依据干扰物与真实缺陷的特征信息不同。产品外观自动化检测后,可通过特殊光学设备提取信息,识别疑似缺陷是否为真实缺陷。也可通过算法提取干扰物与真实缺陷的特征信息予以区分。但对于干扰物与真实缺陷十分相似的情况,采用上述方法无法将干扰物与真实缺陷区分开,依然存在误判问题。
另一种方法是先对产品清洁处理,再进行产品外观自动化检测,但是这种方法很难完全清洁干净,且极易引入二次干扰物,还是存在误判问题。
因此,在产品外观自动化检测中,如何减少误判,提高产品外观自动化检测的准确率成为技术人员亟待解决的关键问题。
发明内容
本申请提供了一种产品外观的检测方法和系统,以解决产品外观自动化检测中存在的误判问题。
第一方面,为实现上述目的,本申请提供了一种产品外观检测方法,包括以下步骤:
采集被测产品待检测区域的图像作为一次图像;
清洁被测产品;
采集被测产品待检测区域的图像作为二次图像;
提取一次图像中的疑似缺陷作为第一疑似缺陷,提取二次图像中的疑似缺陷作为第二疑似缺陷;
通过比对第一疑似缺陷和第二疑似缺陷是否变化,判断所述第一疑似缺陷是否为真实缺陷;如果第二疑似缺陷相对于第一疑似缺陷不变化,则第一疑似缺陷为真实缺陷。
结合第一方面,在第一方面第一种可能的实现方式中,所述采集一次图像前,还包括:
收集被测产品的潜在缺陷,根据所述潜在缺陷设置外观检测参数,所述外观检测参数包括采集图像参数、清洁参数和比对图像参数。
结合第一方面,在第一方面第二种可能的实现方式中,判断所述第一疑似缺陷是否为真实缺陷后,还包括:
判断被测产品是否合格,如果所述第一疑似缺陷为真实缺陷,则被测产品为不合格品,所述不合格品分料至下料处。
结合第一方面,在第一方面第三种可能的实现方式中,所述提取一次图像中的疑似缺陷作为第一疑似缺陷,提取二次图像中的疑似缺陷作为第二疑似缺陷,包括:
调取标准图像;
所述标准图像与所述一次图像定位匹配,切分定位匹配后的图像,形成至少一个对应区域块,作为第一区域块,所述一次图像相对于所述标准图像对应区域块中的不同点均记为疑似缺陷,获取第一疑似缺陷;
所述标准图像与所述二次图像定位匹配,切分定位匹配后的图像,形成至少一个对应区域块,作为第二区域块,所述二次图像相对于所述标准图像对应区域块中的不同点均记为疑似缺陷,获取第二疑似缺陷。
结合第一方面,在第一方面第四种可能的实现方式中,所述提取一次图像中的疑似缺陷作为第一疑似缺陷,提取二次图像中的疑似缺陷作为第二疑似缺陷,包括:
调取标准图像;
所述标准图像与所述一次图像对比,所述一次图像相对于所述标准图像的不同点均记为疑似缺陷,获取第一疑似缺陷;
所述标准图像与所述二次图像对比,所述二次图像相对于所述标准图像的不同点均记为疑似缺陷,获取第二疑似缺陷。
结合第一方面,在第一方面第五种可能的实现方式中,所述获取第一疑似缺陷和第二疑似缺陷后,还包括:
提取出第一疑似缺陷的特征信息作为第一特征信息;
提取出第二疑似缺陷的特征信息作为第二特征信息;
通过比对所述第一特征信息和所述第二特征信息是否变化,判断第一疑似缺陷是否为真实缺陷,如果第二特征信息相对于第一特征信息不变化,则第一疑似缺陷为真实缺陷。
结合第一方面,在第一方面第六种可能的实现方式中,判定被测产品是否合格品后,还包括:
判断被测产品是否符合返回所述清洁被测产品步骤的规则,如果符合,则返回清洁被测产品步骤。
结合第一方面,在第一方面第七种可能的实现方式中,在采集被测产品待检测区域的图像前,还包括,
调整被测产品或者图像采集装置的位置,使得采集的一次图像或者二次图像为被测产品待检区域的图像。
第二方面,为实现上述目的,本申请提供了一种产品外观的检测系统,包括:
第一图像采集装置,采集被测产品待检测区域的一次图像;
清洁装置,用于清洁被测产品;
第二图像采集装置,采集被测产品待检测区域的二次图像;
比对装置,与第一图像采集装置、第二图像采集装置和清洁装置连接,用于接收、储存一次图像和二次图像、并通过比对一次图像和二次图像的疑似缺陷,判断被测产品是否合格,输出结果。
结合第二方面,在第二方面第一种可能的实现方式中,所述比对装置包括:
图像获取模块:用于接收第一图像采集装置采集的一次图像和第二图像采集装置采集的二次图像;
图像定位切分模块:用于图像的定位匹配,切分定位匹配后的图像,形成至少一个对应区域块;
图像分割模块:用于分割一次图像和二次图像的疑似缺陷,提取出疑似缺陷的特征信息;
图像比对模块:用于比对一次图像和二次图像,判断被测产品是否合格;
检测结果生成模块:生成被测产品外观检测结果;
控制模块:与第一图像采集装置、清洁装置和第二图像采集装置分别连接,发送执行命令给所述第一图像采集装置、清洁装置和第二图像采集装置。
与现有技术相比,本发明实施例提供的一种产品外观检测方法和系统具有以下优点:
1、从根本上符合外观检测的缺陷判定原理,只要疑似缺陷在清洁前后发生了某种变化,例如消失、移动、面积变化、灰度变化等,则可判定其为干扰物,而真实缺陷是不会发生变化的,是一种从根本上解决外观检测的方法。
2、应用性好,降低了对清洁的苛刻要求,并不要求100%清洁干净,清洁的目的变为使干扰物发生变化。
3、不需要额外的光学成像装置,只需要普通的、能将疑似缺陷成像出的光学装置即可。
4、能大幅降低被测产品外观检测的误判率,在实际生产中能将可清洁干扰物造成的误判率控制在接近于零的范围内,极大提高了自动化检测的效率,使自动外观检测实用化成为了可能。
5、适用范围广,是一种通用的方法,只要进行外观检测的产品可清洁,都可以采用本方法进行检测。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种产品外观检测方法的流程示意图;
图2为手机显示屏的一次图像;
图3为手机显示屏的二次图像;
图4为手机显示屏的标准图像;
图5为一种判断疑似缺陷是否为真实缺陷的流程示意图;
图6为另一种判断疑似缺陷是否为真实缺陷的流程示意图;
图7为本发明实施例提供的一种产品外观检测系统的结构示意图;
图8为比对装置的结构示意图。
具体实施方式
下面通过对本发明进行详细说明,本发明的特点和优点将随着这些说明而变得更为清楚、明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在本发明的描述中,需要说明的是,术语“上”、“下”、“内”、“外”、“前”、“后”、“左”和“右”等指示的方位或位置关系为基于本发明工作状态下的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”和“第四”仅用于描述目的,而不能理解为指示或暗示相对重要性。
以下详述本发明。
本发明人发现外观检测主要用于识别产品的外观缺陷,如划伤、凹坑、裂纹、翘曲、缝隙、污渍、沙粒、毛刺、气泡、颜色不均匀等。产品外观检测一般采用人工肉眼识别的方式,存在人为因素导致衡量标准不统一,以及长时间检测视觉疲劳导致的误判情况,人工检测产品外观存在着成本高,检测效率低,漏检率高的问题。更为重要的一点是,如果产品外观检测没有实现自动化,则意味着无法实现无人全自动化生产线,因此,产品外观自动化检测成为横亘在全自动化生产上的一道巨大障碍,成为一个重要的,必须攻克的领域。
目前,产品外观检测自动化方式主要是利用机器视觉技术,用视觉组件代替人眼,用计算机算法代替人的大脑,自动判定缺陷。在产品外观自动化检测中,因为脏污、灰尘等干扰物的影响,导致自动化检测设备,不能准确判别上述干扰物是否为真实缺陷。比较极端的情况是,只要有干扰物,就被判定为不合格品,误判率非常高,在环境较差,污染较严重的情况下,被测物甚至100%被判定为不合格品。在这种误判率非常高的情况下,自动化检测是无法工程化,不能实际使用的。
在产品外观自动化检测检测中,判断标准是疑似缺陷能否被清洁掉,如果疑似缺陷能被清洁掉,则认为是干扰物;如果疑似缺陷不能被清洁掉的,则认为是真实缺陷。
根据以上判断准则,本发明实施例提供了一种产品外观检测方法和系统,采用检测、清洁、再检测的方式,通过清洁前后的成像进行检测比对,区分干扰物和真实缺陷。干扰物的认定标准是在清洁前后发生了变化,例如消失,移动等,而真实缺陷是指在清洁前后没有发生变化的目标。通过判断真实缺陷,判断被测产品是否合格。整个产品外观自动化检测过程无需人工参与,保证了产品外观检测的高精度和高效率。
另外,需要说明的是本发明实施例提供的产品外观检测方法和系统,主要针对能够进行清洁的工业产品,如果不能进行清洁,则本方法不再适用。
具体来讲,目前主要可应用在:
1.电子行业:电子产品整机外观(手机、pad、电子书等)、电子产品部件外观(后壳、面板等)、液晶屏(CELL、CG玻璃、模组)等;
2.制造行业:零件外形检测、表面划痕检测、表面毛刺检测等;
3.印刷行业:印刷质量检测、印刷字符检测等;
4.汽车行业:面板印刷质量检测、表面检测、字符检测等;
5.医疗行业:药瓶封装缺陷监测、胶囊封装质量检测等;
6.五金行业:零件表面检测等;
7.食品行业:外观封装检测、外观和内部质量检测、颜色质量检测等。
本发明的方法对应的实施例。
如图1所示,为本发明实施例提供的一种产品外观检测方法的流程示意图,所述产品外观的检测方法包括:
步骤S100:收集被测产品的潜在缺陷,根据所述潜在缺陷设置检测参数。
在实际生产过程中,不同的产品、不同的生产工艺导致产品表面的潜在缺陷并不固定。为了保证自动化检测的准确率,在采集图像前,针对被测产品特性,收集其潜在缺陷,再相应设置采集参数、清洁参数和比对参数。例如手机显示屏在生产过程中潜在缺陷有划痕、异物、气泡、脏污或油墨针孔等,其中表面的可清洁脏污、异物为干扰物,为了将其清洁掉可以利用浸渍酒精的无尘布进行擦拭。
步骤S200:采集被测产品待检测区域的图像作为一次图像。
为了保证被测产品图像的清晰度,所述第一图像采集装置可以为线扫描工业相机或面阵工业相机等。线扫描相机的传感器仅是由一行或者多行感光芯片构成,成像时需要通过机械运动,形成相对运动,得到想要的图像。面阵相机的传感器是一个面的,通常为矩形。通常用的数码相机与一般工业相机均为面阵。光源可以为可见光或红外光。所述第一图像采集装置可以拍摄被测产品的整体或局部。例如手机显示屏进行外观自动化检测时,选择线扫描相机(12线CMOS TDI Piranha XL 16K,黑白图像),光源为高亮度线扫描光源,所述第一图像采集装置可以从显示屏的正上方、将显示屏4条边缘都纳入所述第一图像采集装置的视场进行拍照,以获取显示屏的完整图像。
所述第一图像采集装置获取的一次图像可以为黑白图像或者彩色图像;对于彩色图像,可以进行灰度化处理,即将彩色图像转换为灰度图像,也可以直接处理彩色图像。灰度是指黑白图像中像素点的颜色深浅,范围从0到255,白色为255,黑色为0;彩色图像是由红绿蓝三原色组成,彩色图像的灰度化处理为将原彩色图像中各像素点对应的红绿蓝三原色的亮度值,以一定的算法如浮点算法、整数方法以及平均值法等调整为相等,即得到灰度图像。
当然,在实际生产过程中,可以根据被测产品类型及其潜在缺陷,预先设定第一图像采集装置的参数,例如对手机显示屏外观自动化检测,第一图像采集装置的参数相应设置为扫描15000行,曝光时间30us,获取黑白图像,一次图像实时传送至比对装置并储存,从而不必通过采样或遍历的方式确定所述扫描方向。
可选地,在采集一次图像前,调整被测产品或第一图像采集装置的位置,使得采集的一次图像为被测产品待检区域的图像。
步骤S300:清洁被测产品。
能够去除产品表面干扰物的方法都可以用来作为清洁方式使用。目前可用的清洁手段主要包括但不限于:清洁材料擦拭,例如:无尘布、棉签擦拭;清洁材料加有机溶剂擦拭;粘尘辊轮粘尘;毛刷清洁;例如利用风刀或离子风等流动气体除尘、超声清洗或纯水清洗等。在实际生产过程中,可以根据被测产品类型及其潜在缺陷,预先设定清洁装置的参数,例如对手机显示屏外观自动化检测,清洁方式采用浸有酒精的无尘布往复运动擦拭手机显示屏,清洁次数2-3次。清洁次数的是经过测试的,能清洁干净又不浪费时间。又例如PCB印制电路板的外观检测,其主要干扰物为表面的污物,采用防静电毛刷旋转进行清洁。
步骤S400:采集被测产品待检测区域的图像作为二次图像。
清洁后的被测产品进行图像的再次采集,为了保证被测产品图像的清晰度,所述第二图像采集装置可以为线扫描工业相机或面阵工业相机等。所述第二图像采集装置获取的二次图像可以为黑白图像或者彩色图像。例如手机显示屏进行外观自动化检测时,选择线扫描相机(12线CMOS TDI Piranha XL 16K,黑白图像),光源为高亮度线扫描光源,所述第一图像采集装置可以从手机显示屏的正上方、将显示屏4条边缘都纳入所述第一图像采集装置的视场进行拍照,以获取显示屏的完整图像。
在实际生产过程中,第二图像采集装置与第一图像采集装置为同一设备或不同设备,例如对手机显示屏外观自动化检测中,第二图像采集装置和第一图像采集装置不是同一设备,但与第一图像采集装置的设备型号一致,第二图像采集装置的图像采集参数也设置为扫描15000行,曝光时间30us,获取黑白图像,二次图像实时传送至比对装置并储存。此参数根据产品大小设置,若产品增大,则增加扫描行数。
可选地,在采集二次图像前,调整被测产品或第二图像采集装置的位置,使得采集的二次图像为被测产品待检区域的图像。
步骤S500:提取图像中的疑似缺陷,通过比对疑似缺陷是否变化,判断疑似缺陷是否为真实缺陷。
通过采集被测产品清洁前后的图像进行检测比对,区分干扰物和真实缺陷。干扰物的认定标准是在清洁前后发生了变化,例如消失,移动等,而真实缺陷是指在清洁前后没有发生变化的目标。通过判断真实缺陷,进而判断被测产品是否合格。
通过所述步骤S200和步骤S400获取清洁前后被测产品的图像,如图2、3所示,为本发明实施例提供的手机显示屏清洁前后采集的黑白图像,图4所示为手机显示屏的标准图像。通过与标准图像对比,所述步骤S200采集的一次图像,往往包括多个疑似缺陷。
可选地,如图5所示,为本发明实施例提供的一种判断疑似缺陷是否为真实缺陷的流程示意图,具体包括以下步骤:
S510:调取标准图像;
S520:所述标准图像与所述一次图像定位匹配,切分定位匹配后的图像,形成至少一个对应区域块,作为第一区域块;
S530:所述标准图像与所述二次图像定位匹配,切分定位匹配后的图像,形成至少一个对应区域块,作为第二区域块;
S540:对所述第一区域块与所述第二区域块进行逻辑运算,如果所述第一区域块与所述第二区域块均有疑似缺陷,则判定对应的所述第一区域块与所述第二区域块有真实缺陷。
出现真实缺陷区域块,则判定被测产品为不合格品,此方法适用于被测产品外观复杂,疑似缺陷在清洁后消失或移动的情况。
例如,手机显示屏外观检测:一次图像、二次图像都分别与标准图像定位匹配,两组图像都切分为若干区域,并进行编号,一次图像各区域编号为1-1,1-2,1-3,……,二次图像各区域编号为2-1,2-2,2-3……,1-1与2-1对应,1-2与2-2对应,以此类推,形成一一对应关系;对每一对应区域块进行缺陷判定,判定有无疑似缺陷,有疑似缺陷标记为0,没有疑似缺陷则标记为1;两组图像编号对应区域块的标记进行逻辑或运算,运算结果为0,则判定为此区域块有真实缺陷;若有区域块被判定为真实缺陷,则被测产品为不合格品,否则为合格品。
可选地,如图6所示,为本发明实施例提供的另一种判断疑似缺陷是否为真实缺陷的流程示意图,具体包括以下步骤:
S550:调取标准图像;
S560:所述标准图像与所述一次图像对比,所述一次图像相对于所述标准图像的不同点均记为疑似缺陷,分割出第一疑似缺陷;
S570:所述标准图像与所述二次图像对比,所述二次图像相对于所述标准图像的不同点均记为疑似缺陷,分割出第二疑似缺陷;
S580:提取出第一疑似缺陷的特征信息作为第一特征信息;提取出第二疑似缺陷的特征信息作为第二特征信息;
S590:通过比对对应的所述第一特征信息和所述第二特征信息是否变化,判断第一疑似缺陷是否为真实缺陷,如果第二特征信息相对于第一特征信息不变化,则第一疑似缺陷为真实缺陷。
实际生产中,所述的特征信息可以为灰度特征、大小特征、形状特征、颜色特征、纹理特征、方向梯度直方图(HOG)特征、局部二值模式(LBP)特征或边缘特征、线型特征、中心特征和对角线特征(Haar)等。
此方法适用于表面均匀的产品,把疑似缺陷从背景中分割出来,并提取出疑似缺陷的特征信息,速度快,执行简单,适应范围大。
例如,手机显示屏外观检测:一次图像、二次图像都分别与标准图像对比,分割出某一像素点的第一疑似缺陷和第二疑似缺陷;提取出第一疑似缺陷的灰度值15作为第一特征信息;提取出第二疑似缺陷的灰度值5作为第二特征信息;像素点的灰度值发生变化,则判定这一像素点为干扰物。
当然,本领域技术人员可以采用其他图像比对方法判断疑似缺陷是否为真实缺陷。例如机器深度学习:
获取500枚合格产品样本,200枚真实缺陷产品样本,对这700枚产品样本分别进行小区域块切分,形成合格产品训练集与真实缺陷产品训练集,利用深度学习算法进行监督学习训练,训练得到的分类器具备了对小区域块的分类能力;
将一次图像和二次图像分别进行切分,切分为与训练分类器时同样大小的区域块,例如:128*128大小;
利用训练好的分类器对每个小区域块进行分类,每一小区域块输出两种分类结果:有真实缺陷和无真实缺陷;有真实缺陷的被测产品为不合格品,分料至下料处,合格品则进入工艺流程的下一步。
步骤S600:判断被测产品是否合格,如果所述第一疑似缺陷为真实缺陷,则被测产品为不合格品,所述不良品分料至下料处。
优选地,判断被测产品是否符合返回所述清洁被测产品步骤的规则,如果符合,则返回清洁被测产品步骤。对于特殊产品,需要多次清洁对比,减少后续程序的控制。
本发明实施例提供基于清洁比对的外观检测方法,通过图像采集装置获取被测产品清洁前后的图像,获取图像中的疑似缺陷或疑似缺陷的特征信息,判断疑似缺陷是否为真实缺陷,进而判断被测产品是否合格。在整个外观检测过程中,具有极高的准确率,而且对清洁的要求没有那么苛刻,装置也不需要特别复杂,全程无需人工参与,有效保证外观检测的效率。
本发明的系统对应的实施例。
与本发明提供的一种产品外观的检测方法实施例相对应,本发明还提供了一种产品外观的检测系统的实施例。参见图7,为本发明实施例提供的产品外观检测系统的结构示意图,包括:
第一图像采集装置710,用于采集被测产品待检测区域的一次图像;
清洁装置720,用于清洁被测产品;
第二图像采集装置730,采集被测产品待检测区域的二次图像;
比对装置740,与第一图像采集装置710、第二图像采集装置730和清洁装置720连接,用于接收、储存一次图像和二次图像,并通过比对一次图像和二次图像的疑似缺陷,判断被测产品是否合格,输出结果。
所述比对装置可选择高性能的工业PC机。
可选地,所述第一图像采集装置710和第二图像采集装置730为同一装置或不同装置。
可选地,还包括光源750,所述光源750包括可见光或红外光。
可选地,如图8所示,所述比对装置740包括:
图像获取模块741:用于接收第一图像采集装置采集的一次图像和第二图像采集装置采集的二次图像;
图像定位切分模块742:用于图像的定位匹配,切分定位匹配后的图像,形成至少一个对应区域块;
图像分割模块743:用于分割一次图像和二次图像中的疑似缺陷,并提取出疑似缺陷的特征信息;
图像比对模块744:用于比对一次图像和二次图像,判断被测产品是否合格;
检测结果生成模块745:生成被测产品外观检测结果;
控制模块746:与第一图像采集装置710、清洁装置720和第二图像采集装置730分别连接,发送执行命令给所述第一图像采集装置710、清洁装置720和第二图像采集装置730。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和\或硬件中实现。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。