CN104331896B

CN104331896B - 一种基于深度信息的系统标定方法

Info

Publication number: CN104331896B
Application number: CN201410673908.9A
Authority: CN
Inventors: 耿磊; 叶琨; 肖志涛; 张芳; 张洋; 甘鹏; 刘洋; 苏静静; 袁菲
Original assignee: Tianjin Polytechnic University
Current assignee: Tianjin Polytechnic University
Priority date: 2014-11-21
Filing date: 2014-11-21
Publication date: 2017-09-08
Anticipated expiration: 2034-11-21
Also published as: CN104331896A

Abstract

本发明涉及一种基于深度信息的系统标定方法，该方法首先利用圆形平面靶标，采用自适应阈值的边缘检测和多项式拟合算法提取特征点亚像素轮廓，并利用椭圆拟合得到中心坐标；然后根据带有畸变的非线性成像几何模型，采用最小二乘法计算摄像机参数的最优解，获得靶标的位姿；最后提出被测物表面与靶标平面之间的深度信息作为摄像机模型修正项，校正测量平面位姿，利用成像原理和直线与零件表面交点确定零件尺寸，本设计成功解决了在大尺寸平面零件尺寸测量系统中标定精度不高的问题，值得推广使用。

Description

一种基于深度信息的系统标定方法

技术领域

本发明涉及机器视觉测量技术，特别涉及一种基于深度信息的系统标定方法，该方法提出了利用激光测距传感器确定单相机测量系统的深度信息，并将其作为系统标定的约束条件，为测量平面的姿态转换提供先验信息，属于机器视觉领域，可应用于测量不同厚度物体时的系统标定。

背景技术

机器视觉测量技术具有非接触、高精度、易于实现自动化优点，其中单目视觉测量系统结构简单，操作方便，已逐渐成为零件尺寸高精度测量领域的重要测量手段。

高精度尺寸测量的关键是摄像机标定，目前小尺寸薄片零件标定方法能达到很高的精度，而由于现场环境、光源、系统分辨率等的影响，大尺寸物体的高精度标定方法精度不高，直接影响尺寸测量精度。首先，大尺寸的靶标图像畸变较大，需要合适的靶标特征点提取算法。其次，零件厚度变化使得测量位姿与标定位姿不一致，影响测量精度。

现有的典型摄像机标定算法是张正友提出的基于平面模板的标定方法，精度高且不需要模板的运动信息，但是该方法需要人工提取图像角点进行匹配，不利于标定自动化的实现。在此基础上，针对靶标图像特征提取，采用螺旋排序的特征匹配定位方法和单应性矩阵进行角点检测，但是需要手动框选初始角点，受人为因素干扰。针对物体高度小范围变化对系统标定准确度的影响，传统方法是利用对焦模型对像素当量进行修正，但是由于镜头的畸变在镜头空间位置分布不均，修正精度受到影响。

针对大尺寸厚度不一的平面零件视觉测量中的标定精确低的问题，需要设计一种不同于现有技术的系统标定方法来提高大尺寸厚度不一的平面零件视觉测量中的标定精确；然而，目前国内文献中尚未见相关报道。如何解决这个问题就成为了本领域的技术人员所要研究和解决的课题。

发明内容

本发明的目的就是为克服现有技术的不足，提出一种阈值自适应的圆形靶标特征点提取方法；在摄像机透视成像模型的基础上，引入被测物表面与平面靶标之间的深度信息改进视觉测量系统的数学模型；通过实验分析了系统的标定和测量精度。

本发明是通过这样的技术方案实现的：一种基于深度信息的系统标定方法，其特征在于：采用基于深度约束的零件尺寸测量系统标定方法，首先精确提取平面标靶特征点，通过最小二乘法求取摄像机模型参数，然后结合非接触式的激光测厚技术，引入测量平面与靶标平面之间的深度信息建立了位姿测量模型；所述方法，包括如下次序步骤：

步骤1.由VA-8MC型CCD黑白工业相机获取圆形平面靶标图像；

步骤2.采用自适应阈值的边缘检测和多项式拟合算法提取特征点亚像素轮廓；

步骤3.利用最小平方拟合算法拟合椭圆，得到特征点中心坐标，建立图像中特征点与实物标靶特征点的拓扑关系；

步骤4.利用像平面上靶标特征点坐标与图像处理得到的特征点图像坐标之间的距离构建数学模型进行非线性优化，采用最小二乘法实现内外参数的优化求解；

步骤5.利用激光三角法测量物体的厚度；

步骤6.利用测量平面与靶标平面的高度差校正测量平面的位姿；

步骤7.采用CCD相机采集零件的图像，在标定得到的姿态的基础上利用深度方向的约束，得到零件的尺寸。

本发明的有益效果：系统对大视场像面照度不均匀的靶标能快速准确的获取靶标特征点，进而提高了摄像机标定精度，加入深度约束后，物体厚度对测量精度基本无影响。在1×0.75m²的测量视场内，对不同厚度的平面零件进行了实测，系统测量精度达到了0.05mm。

1.方法简单，易于实施。本发明采用自适应阈值的边缘检测和多项式拟合算法，算法简单，易于实现，且不需要高精度的仪器设备，方法简单实用。

2.准确性高。本发明标定过程中，引入测量平面与靶标平面之间的深度信息建立了位姿测量模型，保证了后续工作的准确性。

3.对不同厚度的零件都可以进行高精度标定，测量精度基本不受物体厚度影响。

附图说明

图1：本发明的方法流程图。

图2：激光三角法原理图。

图3：测量平面校正原理图。

具体实施方式

为了更清楚的理解本发明，结合附图和实施例详细描述本发明：

本发明的流程图如图1所示，首先采用自适应阈值的边缘检测和多项式拟合算法提取特征点亚像素轮廓，利用椭圆拟合算法得到中心坐标，建立其与三维世界坐标的准确对应，采用最小二乘法得到摄像机参数，得到靶标的平面方程。再通过点结构光方法测量零件厚度，在标定得到的姿态基础上利用深度方向的约束，得到实际零件尺寸。下面结合附图，对本发明技术方案的具体实施过程加以说明。

1.提取特征点亚像素边缘

利用自适应阈值的Canny算子获取图像边缘，在边缘附近取一系列的点，拟合成多项式并且在梯度方向上求出了最大值的位置，得到亚像素精度轮廓。其中，获取Canny高阈值的迭代算法描述如下：设置迭代的初始阈值，将该阈值下的边缘记为候选轮廓。在此基础上经过面积、形状因子、直径等特征约束剔除非特征点，得到符合约束特征的椭圆个数和位置信息，判断是否满足实际靶标特征。若满足则迭代结束；若不满足则将本次阈值减少T_p，得到新的阈值，重复以上步骤，最终得到的M就是期望的阈值。具体步骤如下：

(1)通过统计灰度直方图得到初始阈值T₀。

(2)选用Canny算子作为整像素级边缘定位函数，进行整像素级边缘提取，通过抑制梯度方向上所有非屋脊峰值的幅值来细化边缘，最后进行双阈值分割时，选用T_k作为高阈值，当k＝0时，T_k＝T₀，得到的点作为候选轮廓。

(3)在候选轮廓的基础上经过直径、形状因子特征约束剔除非标识点，得到经过特征约束的椭圆边缘的图像。形状因子定义为：

其中，S是图形面积，定义为封闭轮廓包含的像素总数，n₁是图像边缘中4邻域像素数，n₂是图像边缘中8邻域像素数。

(4)确定评价函数为轮廓个数和轮廓中心点位置关系。若与靶标数据一致，则迭代结束，否则k＝k+1，计算新的阈值T_k＝T_k-T_p，T_p为阈值步长，转步骤2。

2.计算特征点中心坐标

靶标圆形特征点投影后为椭圆图像，用最小平方算法拟合椭圆，椭圆曲线可以由一个二次多项式来表示：

其中，G为系数矩阵，X为变量矩阵，F(G,Xi)为点(xi,yi)到曲线F(G,Xi)＝0的“代数距离”，通过最小化N个数据点Xi到曲线的代数距离平方和实现椭圆拟合：

其中，F(Xi)是数据点Xi到曲线的代数距离。

根据Bookstein理论，加入约束条件，就可得到对应的唯一的椭圆，进而确定中心点坐标，建立图像与实物标靶特征点的拓扑关系。

3.计算摄像机参数

摄像机模型是光学成像几何关系的简化，选用带有透镜畸变的小孔透视模型。设P为空间中一点，在世界坐标系和摄像机坐标系中的坐标分别为(x_w,y_w,z_w)和(x_c,y_c,z_c)，图像坐标为(r,c)。理想成像下P点的成像坐标为(u,v)，实际成像位置为

根据透视成像模型，图像坐标系与世界坐标系之间的关系可以用3×4投影矩阵M来表示，M＝A[R|T]，[R|T]表示从世界坐标系上点P_w到摄像机坐标系点P_c的刚性变换，A是摄像机内部参数矩阵。

式中，T＝(t_x,t_y,t_z)^T是平移向量，R＝(α,β,γ)是旋转矩阵，S_x、S_y分别表示在x和y方向上像点的物理坐标到图像坐标的比例系数，C_x、C_y表示光轴与像平面交点的图像坐标。

由于世界坐标系的x_wy_w平面与靶标平面重合，即靶标平面的方程为：z_w＝0，可以得到理想透视数学模型，考虑径向畸变前三项和切向畸变，靶标上的特征点经透视变换投影到像面上得到的坐标与图像处理得到的特征点图像坐标存在偏差，以二者之间距离最小构建数学模型进行非线性优化，采用最小二乘法实现内外参数的优化求解。

4.利用激光三角法测量物体的高度

采用激光三角法获得高度h，其过称为：点激光器发出的光线聚焦在π₁上，放置被测物后，光斑由标定平面移动到了物体表面，其所成的像在CCD上会相应移动，如图2所示。其中，α是激光束光轴与透镜光轴的夹角，β是CCD光敏面与透镜光轴的夹角，h为物体表面的偏移。设物距和像距分别为s和s’，传感器上的成像点的偏移为d，h可由下式得到：

5.校准测量平面

在实际应用中，平面零件薄厚不一，零件上表面即测量平面与标定平面存在高度差，导致标定的相机外参不是实际测量平面的参数。本文利用测量平面与靶标平面的高度差校正测量平面的位姿，其中高度差采用点结构光测厚的方法获得。

如图3所示，测量平面π₁与标定平面π₀平行，在两个平面上分别建立标定平面坐标系(x_w,y_w,z_w)和测量平面坐标系(x¹ _w,y¹ _w,z¹ _w)，两平面之间的距离为h。标定平面π₀与摄像机坐标系的对应关系M₁已由步骤3给出，此时，若已知π₀与π₁间距h，测量平面坐标系(x¹ _w,y¹ _w,z¹ _w)到摄像机坐标系的转换由下式得到：

T′＝R×(0,0,h)^T+T

6.计算零件尺寸

采用CCD相机采集零件图像并利用多项式拟合法亚像素边缘，反求边缘点的世界坐标确定零件尺寸。定义光线L_c的两个点分别为摄像机的投影中心和图像坐标系中的(r,c)^T点，根据透视模型，得到光线L_c在摄像机坐标系中的方程：

L_C＝(0,0,0)^T+λ(u,v,f)^T

其中，R^-1＝R^T是旋转矩阵R的逆矩阵，(u,v)是摄像机的投影中心坐标，f是摄像机焦距，λ是直线方程参数。

根据步骤4可得：

P_W＝R^-1(P_C-T)＝R^T(P_C-T)

O_W＝R^T((0,0,0)^T-T)＝-R^TT

I_W＝R^T((u,v,f)^T-T)

由此可推出光线L_c在世界坐标系下的方程：

L_W＝O_W+λ(I_W-O_W)＝O_W+λD_W

其中，Pw是边缘点在世界坐标系中的坐标，Pc是边缘点在摄像机坐标系中的坐标，Ow为转换后光心点的世界坐标，Iw是转换到成像平面上点的世界坐标，Dw是光线的方向向量。

计算光线与测量平面z＝0的交点坐标，即可得到目标点的世界坐标：

P_W＝(o_x-o_zd_x/d_z,o_y-o_zd_y/d_z,0)

式中，O_w＝(o_x,o_y,o_z)^T，D_w＝(d_x,d_y,d_z)^T。

本发明提出一种基于深度约束的零件尺寸测量系统标定方法。该方法提出将被测物表面与靶标平面之间的深度信息作为摄像机模型修正项，校正测量平面位姿，最终实现了系统的高精度标定。

根据上述说明，结合本领域技术可实现本发明的方案。

Claims

1.一种基于深度信息的系统标定方法，其特征在于：采用基于深度约束的零件尺寸测量系统标定方法，首先精确提取平面标靶特征点，通过最小二乘法求取摄像机模型参数，然后结合非接触式的激光测厚技术，引入测量平面与靶标平面之间的深度信息建立了位姿测量模型；所述方法，包括如下次序步骤：

步骤1、由VA-8MC型CCD黑白工业相机获取圆形平面靶标图像；

步骤2、采用自适应阈值的边缘检测和多项式拟合算法提取特征点亚像素轮廓；

步骤3、利用最小平方拟合算法拟合椭圆，得到特征点中心坐标，建立图像中特征点与实物标靶特征点的拓扑关系；

步骤4、利用像平面上靶标特征点坐标与图像处理得到的特征点图像坐标之间的距离构建数学模型进行非线性优化，采用最小二乘法实现内外参数的优化求解；

步骤5、利用激光三角法测量物体的厚度；

步骤6、利用测量平面与靶标平面的高度差校正测量平面的位姿；

在实际应用中，平面零件薄厚不一，零件上表面即测量平面与标定平面存在高度差，导致标定的相机外参不是实际测量平面的参数，本文利用测量平面与靶标平面的高度差校正测量平面的位姿，其中高度差采用点结构光测厚的方法获得；

测量平面π₁与标定平面π₀平行，在两个平面上分别建立标定平面坐标系(x_w,y_w,z_w)和测量平面坐标系(x¹ _w,y¹ _w,z¹ _w)，两平面之间的距离为h，标定平面π₀与摄像机坐标系的对应关系M₁已由步骤3给出，此时，若已知π₀与π₁间距h，测量平面坐标系(x¹ _w,y¹ _w,z¹ _w)到摄像机坐标系的转换由下式得到：

T′＝R×(0,0,h)^T+T；

步骤7、采用CCD相机采集零件的图像，在标定得到的姿态的基础上利用深度方向的约束，得到零件的尺寸；

采用CCD相机采集零件图像并利用多项式拟合法亚像素边缘，反求边缘点的世界坐标确定零件尺寸，定义光线L_c的两个点分别为摄像机的投影中心和图像坐标系中的(r,c)^T点，根据透视模型，得到光线L_c在摄像机坐标系中的方程：

L_C＝(0,0,0)^T+λ(u,v,f)^T

其中，R^-1＝R^T是旋转矩阵R的逆矩阵，(u,v)是摄像机的投影中心坐标，f是摄像机焦距，λ是直线方程参数，

根据步骤4可得：

P_W＝R^-1(P_C-T)＝R^T(P_C-T)

O_W＝R^T((0,0,0)^T-T)＝-R^TT

I_W＝R^T((u,v,f)^T-T)

由此可推出光线L_c在世界坐标系下的方程：

L_W＝O_W+λ(I_W-O_W)＝O_W+λD_W

其中，Pw是边缘点在世界坐标系中的坐标，Pc是边缘点在摄像机坐标系中的坐标，Ow为转换后光心点的世界坐标，Iw是转换到成像平面上点的世界坐标，Dw是光线的方向向量，

P_W＝(o_x-o_zd_x/d_z,o_y-o_zd_y/d_z,0)

式中，O_w＝(o_x,o_y,o_z)^T，D_w＝(d_x,d_y,d_z)^T。

2.如权利要求1所述一种基于深度信息的系统标定方法，其特征在于：步骤2的具体步骤包括：

(1)通过统计灰度直方图得到初始阈值T₀；

(2)选用Canny算子作为整像素级边缘定位函数，进行整像素级边缘提取，通过抑制梯度方向上所有非屋脊峰值的幅值来细化边缘，最后进行双阈值分割时，选用T_k作为高阈值，当k＝0时，T_k＝T₀，得到的点作为候选轮廓；

(3)在候选轮廓的基础上经过直径、形状因子特征约束剔除非标识点，得到经过特征约束的椭圆边缘的图像；形状因子定义为：

其中，S是图形面积，定义为封闭轮廓包含的像素总数，n₁是图像边缘中4邻域像素数，n₂是图像边缘中8邻域像素数；

(4)确定评价函数为轮廓个数和轮廓中心点位置关系；若与靶标数据一致，则迭代结束，否则k＝k+1，计算新的阈值T_k＝T_k-T_p，T_p为阈值步长，转步骤2。

3.根据权利要求1所述的系统标定方法，其特征在于，步骤5、步骤6中采用点结构光的方法获得测量零件的厚度，并且利用厚度信息校正测量平面的位姿；设测量平面为π₁，标定平面为π₀，在两个平面上分别建立标定平面坐标系(x_w,y_w,z_w)和测量平面坐标系(x¹ _w,y¹ _w,z¹ _w)，两平面之间的距离为h；标定平面π₀与摄像机坐标系的对应关系M₁已由步骤4给出，此时，若已知π₀与π₁间距h，测量平面坐标系(x¹ _w,y¹ _w,z¹ _w)到摄像机坐标系的转换由下式得到：

T′＝R×(0,0,h)^T+T

被测物表面与靶标平面之间的深度信息作为摄像机模型修正项，校正测量平面位姿，最终实现了系统的高精度标定。