一种基于螺旋相衬滤波算法的光度立体瑕疵检测方法
技术领域
本发明涉及相位成像领域的螺旋相衬滤波算法、机器视觉中的光度立体算法领域,尤其涉及一种基于螺旋相衬滤波算法的光度立体瑕疵检测方法。
背景技术
上个世纪,为了能够对物体进行无标记成像,泽尼克发展了相衬显微成像技术,Gabor提出全息术,研究人员将相衬显微,全息术结合发展出了螺旋相衬滤波成像方法,这种无标记技术产生的图像中包含了物体厚度和表面结构的折射率信息,增强并突出了物体表面结构边缘,去除并均衡了表面背景,使表面结构边缘与背景具有较高的对比度,同时也避免了强背景所带来的背景干扰。
近年来,从图像中捕捉物体的“外观”已经变得越来越重要。所谓“外观”,一般指的是一个模型,它能够预测物体在所有可能的视野和照明条件下的图像。要充分采样一个物体的外观,因为它在形状和反射率上确实是任意变化的,需要从各种视图和光源组合的图像,这在大多数情况下是不切实际的。幸运的是,现实世界中的对象通常表现出规律性,可以利用这些规律性大幅减少所需图像的数量。因此,选择有效的(或接近有效的)约束条件,并且强大到足以在实际系统中使用,这对于外观捕获至关重要。目前,有光度立体视觉检测工作已经表明,在已知的光照条件下,相机视角确定,从变化的图像中恢复一个明确的外观模型是可行的。这是一个重要的特殊情况下的外观捕捉,因为它仅依靠光度线索,避免解决对应问题。这也很重要,因为这种明确的外观模型已经被证明对视觉任务很有用,比如瑕疵检测。然而在瑕疵检测领域,通过光度立体方法处理后的图像所需求的是背景消除且均衡平滑,只突出瑕疵位置,背景与瑕疵位置形成最鲜明的对比度。为实现这一目的的一般做法是通过设置阈值来分离背景与瑕疵,但这种方式有时会由于背景与瑕疵的像素值相近而造成误判,将背景与瑕疵不能完整分离。因此,迫切需要一种基于螺旋相衬滤波算法的光度立体瑕疵检测方法,以解决现有技术中存在的这一问题。
为了解决上述技术问题,特提出一种新的技术方案。
发明内容
本发明的目的在于提供一种基于螺旋相衬滤波算法的光度立体瑕疵检测方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种基于螺旋相衬滤波算法的光度立体瑕疵检测方法,包含数据采集部分和数据处理部分;
所述数据采集部分包含下述步骤:
步骤a,将光源发出的光倾斜入射到朗伯反射物体表面;
步骤c,入射的光在物体表面形成漫反射;
步骤c,统计物体瑕疵需求分辨率,根据需求的分辨率,计算所需镜头倍率及相机像素数;
步骤d,将镜头与相机组合放置在物体的正上方形成正交投影收集携带物体表面结构信息的反射光;
步骤e,将相机与计算机相连接,通过计算机上的相机软件拍摄并保存反射光的强度图;
步骤f,将光源分别放置在物体的多个方位上倾斜照射物体,重复多次步骤a至步骤e,采集得到多个方位上相应的多幅反射光强度图。
优选地,所述数据处理部分包含下述步骤:
步骤1,光源方向标定:先在正交投影场景中放置一个光滑的球,并在4个不同光源方向条件下拍摄反射光强度图,将4幅强度图放进MATLAB中计算并拟合出光滑球体的圆边界,并定位出圆心坐标(xci,yci),i为4幅图像的索引;
步骤2,分别定位4幅图上球体的表面高亮处,高亮处的坐标表示为(hxci,hyci),并以表面高亮处来反映光源的方向;
步骤3,根据下述公式计算光滑球体表面法向量:
n:n
x=hxc
i-xc
i,n
y=hyc
i-yc
i,
步骤4,估算光照强度:以下述公式定义一个光照参数cost函数:
其中,N是每张强度图上的像素数,j是强度图上的像素索引,I是每张强度图上的强度值(像素值),ρ是物体的反射率,
是第i个光源方向的单位矢量,λ
i是第i个光照强度,λ
i=||e
i||;
步骤5,执行光度立体求得的物体表面结构反射率ρ
j和法向量n
j:ρ
j=||b
j||,
步骤6,根据仅需要二维图像来判断瑕疵类型及其在图像中的位置的特点,求得的法向量取其第三个通道数据n(3);
步骤8,写一个4f系统,将n(3)作为对象放置于4f系统的物平面位置,做螺旋相衬成像,并在像平面求复函数U:
F表示傅里叶变换;
步骤10,将得到的幅值A进行伽马压缩得最终物体瑕疵图像Iout:Iout=BAγ。B为常数,γ为校正参数,取小于1的分数,称作编码伽马值。
优选地,所述光源的方向公式为:L=2nz*n-R,其中,R表示相机方向为(0,0,1),若从相机视角看则坐标为(0,0,-1);
优选地,cost函数的最小化公式为:
优选地,
是一个非线性最小二乘问题,可以通过Levenberg-Marquardt算法来求解。
优选地,对于所有的ei有Ij=LTbj,则根据最小二乘法能够求得bj=(LLT)-1LIj。
优选地,所述步骤f中物体的多个方位是指在物体的360°方向上选取多个角度,按0°、90°、180°、270°四个角度为例。
优选地,所述步骤f的多幅是指3幅以上,其中,优选为4幅。
优选地,所述步骤f具体为,将光源分别放置在物体的前后左右4个方位上倾斜照射物体,重复四次上述步骤a至步骤e,采集得到4个方位上相应的4幅反射光强度图。
与现有技术相比,本发明的有益效果是:
1、在光度立体算法中加入螺旋相称滤波,瑕疵位置边缘得到增强,去除了物体表面背景,避免了背景干扰,增强了图像对比度。
2、相比现有的阈值分割背景与瑕疵方法,本发明具有更明显的去除背景效果。
3、引入了伽马压缩对图像进行处理,图像更平滑,补偿人类视觉特性。
附图说明
图1为提供的从相机视角观测的光源在物体上方0°位置倾斜照明的光度立体成像光学组件示意图。
图2为提供的从相机视角观测的光源在物体上方90°位置倾斜照明的光度立体成像光学组件示意图。
图3为提供的从相机视角观测的光源在物体上方180°位置倾斜照明的光度立体成像光学组件示意图。
图4为提供的从相机视角观测的光源在物体上方270°位置倾斜照明的光度立体成像光学组件示意图。
图5为朗伯反射特性示意图。
图6为光源方向标定示意图。
图7为螺旋相位片示意图。
图8为光源在0°位置照射汽车门钢材相机拍摄强度图。
图9为光源在90°位置照射汽车门钢材相机拍摄强度图。
图10为光源在180°位置照射汽车门钢材相机拍摄强度图。
图11为光源在270°位置照射汽车门钢材相机拍摄强度图。
图12为图8至图11的4幅拍摄强度图经光度立体算法处理后的图像。
图13为图12经过螺旋相衬滤波算法处理后的图像。
图14为图13经伽马压缩后的图像。
图15为光源在0°位置照射铁环相机拍摄强度图。
图16为光源在90°位置照射铁环相机拍摄强度图。
图17为光源在180°位置照射铁环相机拍摄强度图。
图18为光源在270°位置照射铁环相机拍摄强度图。
图19为图15至18的4幅拍摄强度图经光度立体算法处理后的图像。
图20为图19经过螺旋相衬滤波算法处理后的图像。
图21为图20经伽马压缩后的图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅说明书附图,本发明提供一种技术方案:一种基于螺旋相衬滤波算法的光度立体瑕疵检测方法,包含以下步骤:
一、数据采集部分。
1.将光源发出的光倾斜入射到朗伯反射物体表面。
2.入射光在物体表面形成漫反射。
3.统计物体瑕疵需求分辨率,根据需求的分辨率,计算所需镜头倍率及相机像素数。
4.将镜头与相机组合放置在物体的正上方形成正交投影收集携带物体表面结构信息的反射光。
5.将相机与计算机相连接,通过计算机上的相机软件拍摄并保存反射光的强度图。
6.将光源分别放置在物体的前后左右4个方位上倾斜照射物体,重复四次上述步骤1至步骤5,采集得到4个方位上相应的4幅反射光强度图(如果有必要的话,也可采集多幅,但至少应采集3幅,均衡分布在物体的360°方位上)。
二、数据处理部分。
8.光源方向标定:先在正交投影场景中放置一个光滑的球,并在4个不同光源方向条件下拍摄反射光强度图,将4幅强度图放进MATLAB中计算并拟合出光滑球体的圆边界,并定位出圆心坐标(xci,yci),i为4幅图像的索引。
9.分别定位4幅图上球体的表面高亮处,高亮处的坐标表示为(hxci,hyci),并以表面高亮处来反映光源的方向。
10.计算光滑球体表面法向量n:n
x=hxc
i-xc
i,n
y=hyc
i-yc
i,
11.光源方向L=2nz*n-R,R表示相机方向为(0,0,1),若从相机视角看则坐标为(0,0,-1)。
12.估算光照强度:定义一个光照参数cost函数,
N是每张强度图上的像素数,j是强度图上的像素索引,I是每张强度图上的强度值(像素值),ρ是物体的反射率,
是第i个光源方向的单位矢量,λ
i是第i个光照强度,λ
i=||e
i||。
13.cost函数的最小化为
14.
这是一个非线性最小二乘问题,可以通过Levenberg-Marquardt算法来求解。
15.对于所有的ei有Ij=LTbj,则根据最小二乘法能够求得bj=(LLT)-1LIj。
16.执行光度立体求得的物体表面结构反射率ρ
j和法向量n
j:ρ
j=||b
j||,
17.由于仅需要二维图像来判断瑕疵类型及其在图像中的位置,故求得的法向量取其第三个通道数据n(3)。
19.写一个4f系统,将n(3)作为对象放置于4f系统的物平面位置,做螺旋相衬成像,并在像平面求复函数U:
F表示傅里叶变换。
21.将得到的幅值A进行伽马压缩得最终物体瑕疵图像Iout:Iout=BAγ。B为常数,γ为校正参数,取小于1的分数,称作编码伽马值。
本发明的成像装置包括:4个光强一致的光源,待测物体,物镜和工业相机组,电脑
其中物镜和工业相机连接成组合,工业相机的传感器位于物镜的焦面位置。电脑与工业相机通过数据线连接,用来将相机拍摄的4幅反射强度图保存到电脑中,并在电脑上对采集图进行算法处理。
如图1所示,包括如下步骤:
S1.从相机视角看,4个光强一致的光源分别放置在待测物体的0°,90°,180°,270°四个方位上进行照明。4个光源依次打开照射待测物体,一次只开一个光源。
S2.4个光源发出的光依次入射在待测的物体表面形成漫反射。
S3.物镜和相机组位于待测物体的正上方依次收集从物体上传来的反射光,并在相机上依次形成4个信号。
S4.相机上的4个信号依次经数据线传输到电脑上形成4幅图像。
在使用的时候,本发明:1、在光度立体算法中加入螺旋相称滤波,瑕疵位置边缘得到增强,去除了物体表面背景,避免了背景干扰,增强了图像对比度。2、相比现有的阈值分割背景与瑕疵方法,本发明具有更明显的去除背景效果。3、引入了伽马压缩对图像进行处理,图像更平滑,补偿人类视觉特性。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。