CN115953459B - 一种复杂光照条件下的激光条纹中心线提取方法 - Google Patents

Abstract

本发明提供了一种复杂光照条件下的激光条纹中心线提取方法，属于数据处理领域，该方法包括：步骤1：对采集的激光条纹原图像分别进行边缘检测和顶帽运算；步骤2：对顶帽运算后的光条纹图像进行二值化和轮廓检测；步骤3：粗提取激光条纹中心点；步骤4：裁剪ROI；步骤5：精确提取激光条纹中心点。该发明能够去除干扰光照和环境噪声等多种干扰共存时对中心线提取的影响，从而准确的提取激光条纹中心线。

Description

一种复杂光照条件下的激光条纹中心线提取方法

技术领域

本发明属于数据处理领域，具体涉及一种复杂光照条件下的激光条纹中心线提取方法。

背景技术

线结构光条纹中心提取，是指相机拍摄投射在工件上的激光条纹图像，并经过图像处理得到光条纹的中心点像素坐标的过程，应用于工业加工中工件的曲面重构，其提取速度和误差直接决定着重构的速度和精度，是整个重构过程中比较关键的一步。在实际应用过程中，受室外环境光或室内灯光、噪声、以及工件表面材质等因素的影响，获取有效的光条纹中心线是提取过程中的最大难点。

传统的光条纹中心线提取方法包括边缘法、几何中心法、细化法、极值法、灰度重心法、Steger算法、方向模板法，其中，边缘法、几何中心法和细化法速度快，但精度低，易受噪声的影响；极值法和灰度重心法在激光条纹灰度满足高斯分布时效果较佳；Steger算法和方向模板法精度相对来说较高，但运算量大、提取时间长，难以实现实时性提取。在存在光照干扰时，上述方法都无法准确的提取激光条纹中心线，须得先将干扰光照去除。

专利CN202011334449.3公开了一种复杂环境下的线结构光中心线提取方法，通过预处理去除图像中外部光照和背景环境的影响，其次裁剪感兴趣区域并进行距离变换得到光条粗提取图像，最后采用Pavlidis算法细化光条纹并平滑凸起和毛刺，得到光条中心线，该方法得到的中心线精度没有达到亚像素级且考虑的光照干扰情况单一。

发明内容

为了解决上述问题，本申请提供了一种复杂光照条件下的激光条纹中心线提取方法，其目的在于去除干扰光照和环境噪声等多种干扰共存时对中心线提取的影响，从而准确的提取激光条纹中心线。

本发明公开了如下技术方案：

本发明实施例提供了一种复杂光照条件下的激光条纹中心线提取方法，该方法包括：

步骤1：对采集的激光条纹原图像分别进行边缘检测和顶帽运算；

步骤2：对顶帽运算后的光条纹图像进行二值化和轮廓检测；

步骤3：粗提取激光条纹中心点；

步骤4：裁剪ROI；

步骤5：精确提取激光条纹中心点。

进一步的，步骤1中通过边缘检测，得到激光条纹和非激光条纹的边缘检测值。

进一步的，步骤2中对顶帽运算后的光条纹图像进行自适应二值化，白色为前景像素，黑色为背景像素，得到了二值化阈值；对二值化后的图像检测轮廓，设置面积阈值，将面积小于阈值的轮廓去除；将二值化阈值/>作为轮廓检测阈值，计算每个轮廓中轮廓点对应的Sobel边缘检测值/>大于阈值/>的个数占该轮廓中总轮廓点的比值，保留比值最大的轮廓作为激光条纹所对应的轮廓。

进一步的，步骤3采用Rosenfeld细化算法得到激光条纹骨架作为初始中心点。

进一步的，步骤4通过计算激光条纹轮廓的最小外接矩形，并向四周扩展50个像素，得到此矩形在原始图像上对应的位置作为ROI。

进一步的，步骤5的具体实现过程包括：

在ROI内进行中值滤波和高斯滤波去除噪声；

以初始中心点为基点，以激光条纹轮廓的最小外接矩形的宽度作为激光条纹的宽度/>，尺度因子为/>，根据二维高斯函数的可分离性和对称性，计算初始中心点的Hessian矩阵/>，其中，/>为二维高斯函数的二阶偏导数，/>为激光条纹图像，r_xx表示激光条纹图像f(x,y)与二维高斯函数二阶偏导数Gxx（x,y）的核卷积；r_xy表示激光条纹图像f(x,y)与二维高斯函数二阶偏导数Gxy（x,y）的核卷积；r_yy表示激光条纹图像f(x,y)与二维高斯函数二阶偏导数Gyy（x,y）的核卷积；

计算Hessian矩阵最大特征值所对应的特征向量/>为光条初始中心点的法向量，沿法线方向将初始中心点的灰度分布函数进行二阶泰勒级数展开，表示为：

其中，t为需要求得的未知参数，r_x为激光条纹图像f(x,y)与二维高斯函数的一阶偏导数Gx(x,y)的核卷积；r_y为激光条纹图像f(x,y)与二维高斯函数的一阶偏导数Gy(x,y)的核卷积；n为初始中心点的法向量(n_x,n_y)；

令，则有/>，并且同时满足/>、/>，最终得到线结构光条纹初始中心点/>的亚像素级坐标为/>。

本发明的有益效果：

相比于现有技术中仅仅只能针对单一干扰的情况，本发明提出先采用顶帽运算和Sobel边缘检测对采集到的图像进行处理，在顶帽运算的基础上再采用Ostu二值化和轮廓检测的方式去除激光条纹图像背景中的直接光照和反射光，使背景光照均匀，在激光条纹中心线提取时不受背景光照的影响；考虑到提取的速度和精度，先采用Rosenfeld方法细化在去除干扰光时保留的激光条纹轮廓，得到初始中心点作为基点，而后设置ROI并进行滤波去噪、采用Hessian矩阵的方法得到亚像素中心点，在保证提取精度的同时缩短了时间。本方法对于复杂光照条件下的中心线采用先去除复杂光照、再精确提取中心线的方式，能够克服室外环境光或室内灯光、噪声、以及工件表面材质等多种因素的影响，有效区分出激光条纹和其他干扰光照，所提取的中心线无毛刺、精度高、速度满足要求。

附图说明

图1是本发明提供的线结构光条纹中心提取方法的流程示意图。

图2是实施例中相机采集到的原始激光条纹灰度图像。

图3是实施例中对原图像进行Sobel边缘检测后的图像。

图4是实施例中对原图像顶帽运算后的激光条纹图像。

图5是实施例中激光条纹所对应的轮廓图像。

图6是实施例中提取的初始中心点图像。

图7是实施例中裁剪的ROI图像。

图8是实施例中提取的精确中心点图像。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本发明的保护范围的理解。

图1提供了本申请实施例的激光条纹中心线提取方法，包括以下实现步骤：

步骤1：对采集的激光条纹图像进行边缘检测和顶帽运算，得到边缘检测值和顶帽运算后的光条纹图像。

结合具体采集图像说明具体过程如下：

相机采集到的光条纹原图像如图2所示，除了激光条纹外，还存在干扰灯光、物体表面的反光、噪声。

首先，对原图像进行Sobel边缘检测，得到激光条纹和非激光条纹的边缘检测值，用于后续的轮廓提取。

需要注意的是，由于激光条纹是水平方向的，且干扰光和反射光的边缘方向具有随机性，所以本实施例采用竖直方向的Sobel算子，处理后的图像如图3所示。

其次，对原图像进行顶帽运算，可以消除背景中的干扰灯光，即原图像减去开运算后的图像，公式为：

式中，表示相机采集到的激光条纹原始图像，/>表示用于开运算的结构元素。

顶帽运算后的光条纹图像如图4所示，此时，干扰光照被去除，但是反射光被当作激光条纹保留下来。

步骤2：对顶帽运算后的光条纹图像进行二值化和轮廓检测。

具体过程包括：

（1）采用Ostu算法对图像进行自适应二值化，其原理在于：采用遍历的方法得到使类间方差最大的阈值/>，灰度值大于/>的像素为前景，灰度值小于/>的像素为背景，公式为：

式中，为前景的像素点数占整幅图像的比例，/>为前景像素的平均灰度，/>为背景的像素点数占整幅图像的比例，/>为背景像素的平均灰度。

（2）对二值化后的图像检测轮廓，设置面积阈值为1000，面积小于设置阈值的轮廓当作噪声去除。

（3）由于反射光的灰度值整体较小，且步骤1中顶帽运算会削弱其灰度，和激光条纹相比边缘不明显，故将Ostu算法得到的阈值作为轮廓检测阈值，计算每个轮廓中轮廓点对应的Sobel边缘检测值/>大于阈值/>的个数占该轮廓中总轮廓点的比值，保留比值最大的轮廓，即为激光条纹所对应的轮廓，如图5所示，白色为前景像素，黑色为背景像素。

上述步骤先通过顶帽运算消除图像背景中的干扰光，然后通过Sobel边缘检测、Ostu二值化和轮廓检测相结合消除图像中存在的反射光，从而将图像中所有影响激光条纹中心线提取的光照因素消除，接下来在提取激光条纹中心线时不会受到光照的影响。

步骤3：粗提取激光条纹中心点，具体过程包括：

通过步骤1、2得到激光条纹轮廓，由激光条纹轮廓计算初始中心线，如图6所示，首先填充激光条纹轮廓，该过程提取的激光条纹轮廓是一条宽度大于1个点的线，再采用Rosenfeld细化算法进一步提取激光条纹骨架作为初始中心点，Rosenfeld细化效果锐利，计算得到的激光条纹线会出现离散情况，在此过程中孤立点和端点不能删除，本发明以图像左上角为原点，水平方向为x轴，竖直方向为y轴。

此步骤操作简单，不涉及到像素灰度值和条纹形状（直线和弯曲），无毛刺。此时初始中心点坐标为像素级，为提高提取精度，需要二次提取中心点。

步骤4：裁剪ROI（感兴趣区域），具体过程包括：

为了使激光条纹特征点最大程度的保留且减少计算量，计算激光条纹轮廓的最小外接矩形，并向四周扩展50个像素，得到此矩形在原始图像上对应的位置作为ROI，如图7所示。

步骤5：精确提取激光条纹中心点，具体过程包括：

（1）在ROI内进行中值滤波和高斯滤波去除噪声。

（2）以步骤3得到的激光条纹骨架线上的所有点作为初始中心点，设其中一个点为，以初始中心点/>为基点，以激光条纹轮廓的最小外接矩形的宽度作为激光条纹的宽度/>，二维高斯函数的尺度因子σ的确定与条纹宽度有关，确定为/>，根据二维高斯函数/>的可分离性和对称性，计算初始中心点的Hessian矩阵，式中，/>为二维高斯函数的二阶偏导数，/>为激光条纹图像；r_xx表示激光条纹图像f(x,y)与二维高斯函数二阶偏导数Gxx（x,y）的核卷积；r_xy表示激光条纹图像f(x,y)与二维高斯函数二阶偏导数Gxy（x,y）的核卷积；r_yy表示激光条纹图像f(x,y)与二维高斯函数二阶偏导数Gyy（x,y）的核卷积。

计算Hessian矩阵的特征值和特征向量，最大特征值所对应的特征向量/>为光条初始中心点的法向量，沿法线方向将初始中心点的灰度分布函数进行二阶泰勒级数展开，表示为：

其中，t为需要求得的未知参数，r_x为激光条纹图像f(x,y)与二维高斯函数的一阶偏导数Gx(x,y)的核卷积；r_y为激光条纹图像f(x,y)与二维高斯函数的一阶偏导数Gy(x,y)的核卷积；n为初始中心点的法向量(n_x,n_y)；

令的一阶导数为零即/>，则有/>，并且同时满足/>、/>，以保证亚像素级中心点恰好落在当前像素点的范围内，最终得到线结构光条纹初始中心点/>的亚像素级坐标为/>。最终提取的效果图如图8所示。

该步骤在去除所有影响中心线提取的光照因素和只保留激光条纹轮廓的情况下，采用设置ROI以及将Rosenfeld细化和Hessian矩阵相结合的方法得到亚像素级中心线，操作简单、运行时间短、精度高、无毛刺。

应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明的具体结构，但不以任何方式限制本发明创造。因此，尽管说明书及附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换；而一切不脱离本发明创造的精神和范围的技术方案及其改进，其均涵盖在本发明创造专利的保护范围当中。

Claims (4)

1.一种复杂光照条件下的激光条纹中心线提取方法，其特征在于：所述的方法包括如下步骤：

步骤1：对采集的激光条纹原图像分别进行边缘检测和顶帽运算；

步骤2：对顶帽运算后的光条纹图像进行二值化和轮廓检测；

步骤3：粗提取激光条纹中心点；

步骤4：裁剪ROI；

步骤5：精确提取激光条纹中心点；

所述步骤1的具体过程包括：

对采集到的原图像采用Sobel算子进行边缘检测，得到激光条纹和非激光条纹的边缘检测值，所述的Sobel算子采用竖直方向的Sobel算子；

对采集到的原图像进行顶帽运算，即原图像减去开运算后的图像，公式为：

式中，表示相机采集到的激光条纹原始图像，/>表示用于开运算的结构元素；

所述步骤2的具体实现过程包括：

采用Ostu算法对顶帽运算后的光条纹图像进行自适应二值化，白色为前景像素，黑色为背景像素，得到二值化阈值；

其原理在于：采用遍历的方法得到使类间方差最大的阈值/>，灰度值大于/>的像素为前景，灰度值小于/>的像素为背景，公式为：

式中，为前景的像素点数占整幅图像的比例，/>为前景像素的平均灰度，/>为背景的像素点数占整幅图像的比例，/>为背景像素的平均灰度；

对二值化后的图像检测轮廓，设置面积阈值，将面积小于阈值的轮廓去除；

将二值化阈值作为轮廓检测阈值，计算每个轮廓中轮廓点对应的Sobel边缘检测值/>大于阈值/>的个数占该轮廓中总轮廓点的比值，保留比值最大的轮廓作为激光条纹所对应的轮廓。

2.根据权利要求1所述的一种复杂光照条件下的激光条纹中心线提取方法，其特征在于：所述步骤3的具体实现过程包括：

填充激光条纹轮廓，采用Rosenfeld细化算法得到激光条纹骨架作为初始中心点。

3.根据权利要求1所述的一种复杂光照条件下的激光条纹中心线提取方法，其特征在于：所述步骤4的具体实现过程包括：

计算激光条纹轮廓的最小外接矩形，并向四周扩展50个像素，得到此矩形在原始图像上对应的位置作为ROI。

4.根据权利要求1所述的一种复杂光照条件下的激光条纹中心线提取方法，其特征在于：所述步骤5的具体实现过程包括：

在ROI内进行中值滤波和高斯滤波去除噪声；

以初始中心点为基点，以激光条纹轮廓的最小外接矩形的宽度作为激光条纹的宽度/>，尺度因子为/>，根据二维高斯函数的可分离性和对称性，计算初始中心点的Hessian矩阵/>，其中，/>为二维高斯函数的二阶偏导数，/>为激光条纹图像，r_xx表示激光条纹图像f(x,y)与二维高斯函数二阶偏导数Gxx（x,y）的核卷积；r_xy表示激光条纹图像f(x,y)与二维高斯函数二阶偏导数Gxy（x,y）的核卷积；r_yy表示激光条纹图像f(x,y)与二维高斯函数二阶偏导数Gyy（x,y）的核卷积；

计算Hessian矩阵最大特征值所对应的特征向量/>为光条初始中心点的法向量，沿法线方向将初始中心点的灰度分布函数进行二阶泰勒级数展开，表示为：

其中，t为需要求得的未知参数，r_x为激光条纹图像f(x,y)与二维高斯函数的一阶偏导数Gx(x,y)的核卷积；r_y为激光条纹图像f(x,y)与二维高斯函数的一阶偏导数Gy(x,y)的核卷积；n为初始中心点的法向量(n_x,n_y)；

令，则有/>，并且同时满足/>、/>，最终得到线结构光条纹初始中心点/>的亚像素级坐标为/>。