CN1259542C - 一种空间圆几何参数的视觉测量方法 - Google Patents

Abstract

本发明属于测量技术领域，涉及对空间圆几何参数非接触测量方法的改进。本发明基于立体视觉的空间圆多几何参数的非接触高精度同时测量方法，利用极线约束求出圆边缘的实际三维空间坐标，采用基于空间圆最优拟合求取空间圆几何参数。本发明方法减小了空间圆透视投影形状畸变引起的测量误差，提高了基于视觉方法的圆几何参数的测量精度。当被测空间圆所在平面与摄像机图像平面成角度大于50°时，空间圆几何中心测量的3σ重复性精度优于±0.01mm。

Description

一种空间圆几何参数的视觉测量方法

技术领域

本发明属于测量技术领域，涉及对空间圆几何参数非接触测量方法的改进。

背景技术

圆是物体的基本几何形状，如各种工件、零部件上的定位孔等，这些圆孔的几何中心的三维空间位置和圆半径的精度对零部件的成功安装，以及物体的整体定位，有着重要的意义。一般的圆孔空间几何参数可以采用三坐标测量机进行测量，三坐标测量机的精度能够满足大多数场合对圆的测量精度要求，但受地点的限制，测量只能在安装有三坐标测量机的场所进行测量，不能满足安装现场尤其是大型圆孔的测量的需要。而视觉检测技术是精密测试技术领域内最具有发展潜力的新技术，它综合运用了电子学、光电探测、图像处理和计算机技术，将机器视觉引入到工业检测中，实现对物体(产品或零件)三维尺寸或位置的快速测量，具有非接触、速度快、柔性好以及自动化程度高等突出优点，在现代制造业中有着重要的应用前景。天津大学精密测试计量技术及仪器国家重点实验室的张健新采用基于椭圆拟合求取圆孔中心对应点，直接测量圆孔中心的空间三维坐标。参见张健新著《双目立体视觉技术在工业检测中的应用研究》，天津大学博士学位论文，1996年。该方法在理想情况下获得较高精度。但当圆孔所在平面与组成立体视觉的传感器的两个图像平面成较大角度时，由于圆透视投影存在形状畸变，采用这种方法存在较大误差，而且没有实现圆半径以及圆所在平面的法向矢量的测量。

发明内容

本发明所要解决的技术问题是：提供一种空间圆多几何参数(包括圆心三维坐标、圆半径以及圆所在平面的法向矢量)的非接触高精度立体视觉测量方法，减小被测圆所在平面与摄像机图像平面相互位置对测量精度的影响，拓宽立体视觉测量的应用范围，提高空间圆测量手段的自动化程度。

本发明的技术解决方案是：一种空间圆多几何参数非接触高精度立体视觉测量方法，其特征在于，测量过程分为标定阶段和测量阶段，进行一次标定后可连续测量，具体步骤如下：

1、标定阶段：

1.1、设定靶标，靶标为一个二维平面，靶面上有预先设置的特征点，靶标面为下述结构之一：

A、靶标甲，在靶标平面上布满黑白相间的棋盘格，黑白方块的边长为(3～50)mm，其边长精度为(0.001～0.01)mm，黑方块与白方块公有的顶点称为格点，选取靶面上格点作为标定特征点，特征点的数量为16～400个；

B、靶标乙，在靶标平面上有成矩阵排列的黑色方块，方块数量为4～100个，方块的边长为(3～50)mm，其边长精度为(0.001～0.01)mm，方块间距为3～50mm，其间距精度为(0.001～0.01)mm，选取每个方块的顶点为特征点；

1.2、固定好由左摄像机和右摄像机组成的双目立体视觉传感器，打开立体视觉传感器两个CCD摄像机的电源；

1.3、在两个摄像机的公共视场范围内，自由、非平行地移动靶标至少5个位置，每移动一个位置，左摄像机、右摄像机分别拍摄一幅图像并存储到计算机，靶标的标定特征点应包含在图像内，左摄像机拍摄的图像称为左摄像机标定图像，右摄像机拍摄的图像称为右摄像机标定图像；

1.4、提取所有左摄像机标定图像中标定特征点的图像坐标，这些坐标称为左摄像机标定特征点图像坐标，提取所有右摄像机标定图像中标定特征点的图像坐标，这些坐标称为右摄像机标定特征点图像坐标，将所有左摄像机标定特征点图像坐标以及其对应的右摄像机标定特征点图像坐标和世界坐标存储到计算机中；

1.5、利用左摄像机标定特征点图像坐标和对应的世界坐标标定左摄像机内部参数并存储到计算机中；

1.6、利用右摄像机标定特征点图像坐标和对应的世界坐标标定右摄像机内部参数并存储到计算机中；

1.7、根据标定的左右摄像机内部参数，分别计算左右标定特征点的归一化图像坐标；

1.8、利用对应的左右摄像机标定特征点归一化图像坐标，求出双目视觉传感器的本质矩阵以及结构参数并存储到计算机中；

2、测量阶段：

2.1、将被测圆孔置于双目立体视觉传感器的测量空间内；

2.2、由左右摄像机分别采集包括同一空间圆的图像，左摄像机采集的称为左摄像机测量图像，右摄像机采集的称为右摄像机测量图像；

2.3、根据左右摄像机的畸变模型，分别校正左右摄像机测量图像的畸变，获得无畸变左、右摄像机测量图像；

2.4、在无畸变左、右摄像机测量图像中，采用图像处理算法，分别自动探取出左右摄像机投影椭圆，并拟合椭圆，存储基本模型参数到计算机中；

2.5、选取分别过两个椭圆中心的20～100条均匀分布的极线，保证每条极线与椭圆图像边缘交于两点，由极线约束和顺序一致性原则，建立每对边缘对应点的对应匹配关系；

2.6、根据所建的边缘对应匹配点，由点的立体视觉三维测量模型，求出空间圆边缘点的三维空间坐标，拟合空间圆，由拟合的空间圆求出空间圆的几何中心、半径以及圆所在平面的法向矢量并存储到计算机中。

本发明的优点是：本方法提供了一种基于立体视觉的空间圆多几何参数的非接触高精度同时测量方法，利用极线约束求出圆边缘的实际三维空间坐标，采用基于空间圆最优拟合求取空间圆几何参数。该方法减小了空间圆透视投影形状畸变引起的测量误差，提高了基于视觉方法的圆几何参数的测量精度。当被测空间圆所在平面与摄像机图像平面成角度大于50°时，空间圆几何中心测量的3σ重复性精度优于±0.01mm。该方法减小了被测圆所在平面与摄像机图像平面相互位置对测量精度的影响，拓宽了立体视觉测量的应用范围，提高了空间圆测量手段的自动化程度。

附图说明

图1是平面靶标示意图。

图2是双目立体视觉传感器数学模型。

图3是采用立体视觉传感器获取的空间圆的左测量图像。

图4是采用立体视觉传感器获取的空间圆的右测量图像。

图5是左测量图像中的被测边缘。

图6是右测量图像中的被测边缘。

图7是左测量图像中的被测边缘点的图像坐标。

图8是右测量图像中的被测边缘点的图像坐标。

图9是圆边缘的三维空间坐标。

具体实施方式

下面对本发明方法做进一步详细说明。本发明提供了一种基于立体视觉的空间圆多几何参数的非接触高精度同时测量方法，利用极线约束求出圆边缘的实际三维空间坐标，采用基于空间圆最优拟合求取空间圆几何参数。

点的空间三维坐标的立体视觉测量模型。

由两个摄像机组成的空间点三维测量传感器的数学模型和相应的各种坐标系如图2所示。假设左摄像机三维坐标系为oXYZ，图像坐标系为O_lRX_lRY_lR。右摄像机三维坐标系为o_rcX_rcY_rcZ_rc，图像坐标系为o_rRX_rRY_rR。传感器坐标系与左摄像机坐标系一致。

两个摄像机的内部参数矩阵为：

$A_l=\left(\begin{array}{ccc}{f}_{\mathrm{lx}}& 0& u_{l0}\\ 0& f_{\mathrm{ly}}& v_{l0}\\ 0& 0& 1\end{array}\right)$ $A_r=\left(\begin{array}{ccc}{f}_{\mathrm{rx}}& 0& u_{r0}\\ 0& f_{\mathrm{ry}}& v_{r0}\\ 0& 0& 1\end{array}\right)$

(f_lx，f_ly)为左摄像机在x，y方向的有效焦距，(u_l0，v_l0)为左摄像机主点坐标。(f_rx，f_ry)为右摄像机在x，y方向的有效焦距，(u_r0，v_r0)为右摄像机主点坐标。设空间任意一点P的左摄像机齐次图像坐标为x_l1＝(x_l1，y_l1，1)^T，归一化坐标为x_nl＝(x_nl，y_nl，1)^T，右摄像机齐次图像坐标为x_rl＝(x_rl，y_rl，1)^T，归一化坐标为x_nr＝(x_nr，y_nr，1)^T，则有：

${\mathrm{\λ}}_l{x}_{\mathrm{nl}}=A_l^{-1}{x}_{l1},{\mathrm{\λ}}_r{x}_{\mathrm{nr}}=A_r^{-1}{x}_{\mathrm{rl}},{\mathrm{\λ}}_l,{\mathrm{\λ}}_r\≠0---\left(1\right)$

由透视投影得到：

$\left\{\begin{array}{c}{x}_{\mathrm{nl}}={(x/z,y/z,1)}^T\\ x_{\mathrm{nr}}={(x_{\mathrm{rc}}/z_{\mathrm{rc}},y_{\mathrm{rc}}/z_{\mathrm{rc}},1)}^T\end{array}\right.---\left(2\right)$

传感器测量坐标系oXYZ(左摄像机坐标系)与右摄像机坐标系o_rcX_rcY_rcZ_rc之间的欧氏变换可通过3×4矩阵M表示为：

$\left(\begin{array}{c}{x}_{\mathrm{rc}}\\ y_{\mathrm{rc}}\\ z_{\mathrm{rc}}\end{array}\right)=M\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)=\begin{array}{c}\left(\begin{array}{cccc}{r}_1& r_2& r_3& t_x\\ r_4& r_5& r_6& t_y\\ r_7& r_8& r_9& t_z\end{array}\right)\end{array}\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)---\left(3\right)$

则点的三维空间坐标视觉测量数学模型可以表示为：

$\left\{\begin{array}{c}x={\mathrm{zx}}_{\mathrm{nl}}\\ y={\mathrm{zy}}_{\mathrm{nl}}\\ z=\frac{t_x-x_{\mathrm{nr}}{t}_z}{x_{\mathrm{nr}}(r_7{x}_{\mathrm{nl}}+r_8{y}_{\mathrm{nl}}+r_9)-(r_1{x}_{\mathrm{nl}}+r_2{y}_{\mathrm{nl}}+r_3)}\\ =\frac{t_y-y_{\mathrm{nr}}{t}_z}{y_{\mathrm{nr}}(r_7{x}_{\mathrm{nl}}+r_8{y}_{\mathrm{nl}}+r_9)-(r_4{x}_{\mathrm{nl}}+r_5{y}_{\mathrm{nl}}+r_6)}\end{array}\right.---\left(4\right)$

已知两个摄像机的内部参数，并通过图像处理求出空间点在左右摄像机中对应的图像坐标，根据公式(4)就可以得到被测物体点的三维空间坐标。

根据双目立体视觉传感器的数学模型，测量空间圆分为两个阶段：传感器参数的标定和根据模型进行测量两个阶段。

本发明方法的具体步骤如下：

标定阶段：

1、设定靶标，靶标为一个二维平面，靶面上有预先设置的特征点，靶标面为下述结构之一：

A、靶标甲，在靶标平面上布满黑白相间的棋盘格，黑白方块的边长为(3～50)mm，其边长精度为(0.001～0.01)mm，黑方块与白方块公有的顶点称为格点。选取靶面上格点作为标定特征点，特征点的数量为16～400个；

B、靶标乙，在靶标平面上有成矩阵排列的黑色方块，方块数量为4～100个，方块的边长为(3～50)mm，其边长精度为(0.001～0.01)mm，方块间距为3～50mm，其间距精度为(0.001～0.01)mm，选取每个方块的顶点为特征点；

2、固定好由左摄像机和右摄像机组成的双目立体视觉传感器，打开立体视觉传感器两个CCD摄像机的电源。

3、在两个摄像机的公共视场范围内，自由地、非平行地移动平面靶标至少5个位置。所谓非平行，即两个位置的靶标有一定的扭转角度。每移动一个位置，左摄像机、右摄像机分别拍摄一幅图像，将拍摄的图像分别称为左摄像机标定图像和右摄像机标定图像，并将图像存储到计算机。要求平面靶标的特征点包含在图像内。

4、提取所有左摄像机标定图像中特征点的图像坐标，称之为左摄像机标定特征点图像坐标。同时提取所有右摄像机标定图像中特征点的图像坐标，称之为右摄像机标定特征点图像坐标。将所有左摄像机标定特征点图像坐标以及其对应的右摄像机标定特征点图像坐标和世界坐标存储到计算机中。标定特征点图像坐标自动提取算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

5、利用左摄像机标定特征点图像坐标和对应的世界坐标标定左摄像机内部参数(包括左摄像机的有效焦距、主点以及畸变系数)并存储到计算机中。标定算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

6、利用右摄像机标定特征点图像坐标和对应的世界坐标标定右摄像机内部参数(包括右摄像机的有效焦距、主点以及畸变系数)并存储到计算机中。标定算法与5相同。

7、根据标定的左右摄像机内部参数，按照公式(1)分别计算左右标定特征点的归一化图像坐标。

8、利用对应的左右摄像机标定特征点归一化图像坐标，求出双目视觉传感器的本质矩阵以及结构参数并存储到计算机中。求本质矩阵的算法和标定结构参数算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

完成标定以后，只要不调整左右摄像机的镜头和光圈以及不改变两个摄像机之间的相对位置，可以对不同的测量对象进行连续测量。

测量阶段：

9、将被测圆孔置于双目立体视觉传感器的测量空间内。

10、由左、右摄像机分别采集包括同一空间圆的图像，分别称为左、右摄像机测量图像。

11、根据左右摄像机畸变模型，分别校正左右摄像机测量图像的畸变，获得无畸变左、右摄像机测量图像。畸变校正算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

12、在无畸变左、右摄像机测量图像中，采用图像处理算法，分别自动探取出左、右摄像机投影椭圆，并拟合椭圆，存储基本模型参数到计算机中。椭圆自动提取算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

13、选取分别过两个椭圆中心的20～100条均匀分布的极线，保证每条极线与椭圆图像边缘交于两点，由极线约束和顺序一致性原则，建立每对边缘对应点的对应匹配关系。求取对应点的算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。

14、根据所建的边缘对应匹配点，由点的立体视觉三维测量模型，求出空间圆边缘点的三维空间坐标，拟合空间圆，由拟合的空间圆求出空间圆的几何中心、半径以及圆所在平面的法向矢量并存储到计算机中。三维空间圆非线性优化拟合算法参见Craig M.Shakarji的文章“NIST(美国国家标准与技术研究院)算法测试系统的最小二乘拟合算法”[Least-Squares Fitting Algorithms of the NIST Algorithm TestingSystem]，NIST研究期刊，第103卷第6期，第633～641页，11月～12月，1998年。[Journal of Research of the National Institute of Standardsand Technology，Vol.103，No.6，1998]。非线性优化方法选取Levenberg-Marquardt算法，其初值选取方法为：空间圆的圆心坐标为所有边缘数据点的质心；圆的半径为质心到边缘的平均距离；圆所在的平面的方向余弦由所有边缘数据点的三维空间中的最小二乘平面拟合求得。通过实验验证，这种初值选择方法是相当合理的，它能保证优化过程的计算速度和收敛性。利用立体视觉求出边缘点空间坐标后，通过空间圆最优拟合，就可以测量出空间圆的几何参数。Levenberg-Marquardt算法，参见《最优化理论与方法》，(袁亚湘、孙文瑜著，科学出版社，1999年)。

实施例

按照上面叙述的步骤，用两个敏通368P CCD摄像机、25mm日本精工镜头组成一个双目立体视觉传感器，对一个直径为D＝45.50mm的圆孔进行测量。首先利用图1所示的平面标定靶标对CCD摄像机和结构光视觉传感器进行了标定，平面靶标中相邻特征点的间距为9±0.005mm。获得的标定参数为：

左摄像机内部参数： $A_l=\left(\begin{array}{ccc}4215.176& 0& 253.506\\ 0& 4203.932& 383.968\\ 0& 0& 1\end{array}\right)\mathrm{pixel}$

左摄像机畸变系数为：

(k₁，k₂，p₁，p₂)＝(-3.579658×10^-1，1.941033×10¹，1.911845×10^-4-2.724081×10^-2)

右摄像机内部参数： $A_r=\left(\begin{array}{ccc}4181.797& 0& 424.283\\ 0& 4165.147& 381.197\\ 0& 0& 1\end{array}\right)\mathrm{pixel}$

右摄像机畸变系数为：

(k₁，k₂，p₁，p₂)＝(2.390095×10^-1，-7.079636×10⁰，5.048423×10^-3 1.410062×10^-3)

本质矩阵为：

$E=\left(\begin{array}{ccc}2.185041\×{10}^{-8}& -7.989935\×{10}^{-8}& -1.021872\×{10}^{-3}\\ -8.831008\×{10}^{-8}& 6.117309\×{10}^{-10}& 6.913408\×{10}^{-5}\\ 1.078292\×{10}^{-3}& 5.989455\×{10}^{-5}& 4.589199\×{10}^{-3}\end{array}\right)$

传感器结构参数：旋转矩阵为 $R=\left(\begin{array}{ccc}0.993507& 0.041199& -0.106045\\ -0.096552& 0.798354& -0.594397\\ 0.060173& 0.600777& 0.797148\end{array}\right)$

平移矢量为T＝(-57.453-432.348-134.136)^T

标定的双目立体视觉传感器测量物体空间两点距离的RMS(测量62点)误差为：E_RMS＝0.023mm。

图3、4分别为采用立体视觉传感器获取的同一空间圆的两幅立体图像。图5、6为所建立的边缘对应点。获得边缘对应点后，利用立体视觉求出的边缘点空间坐标后，通过空间圆最优拟合后，就可以测量出圆孔的几何参数。测量的部分边缘点的图像坐标如图7、8所示，圆边缘的三维空间坐标如图9所示。实验中的圆孔所在平面与摄像机的图像平面成约50°的角度，测量的空间圆参数为：

圆心坐标：(-1.5949.972-713.863)mm

圆所在平面的法向矢量：(-0.213-0.343-0.915)

圆半径：r＝22.778mm，与圆实际半径相差0.028mm。

Claims (1)

1、一种空间圆多几何参数非接触高精度立体视觉测量方法，其特征在于，测量过程分为标定阶段和测量阶段，进行一次标定后可连续测量，具体步骤如下：

1.1、标定阶段：

1.1.1、设定靶标，靶标为一个二维平面，靶面上有预先设置的特征点，靶标面为下述结构之一：

A、靶标甲，在靶标平面上布满黑白相间的棋盘格，黑白方块的边长为3～50mm，其边长精度为0.001～0.01mm，黑方块与白方块公有的顶点称为格点，选取靶面上格点作为标定特征点，特征点的数量为16～400个；

B、靶标乙，在靶标平面上有成矩阵排列的黑色方块，方块数量为4～100个，方块的边长3～50mm，其边长精度为0.001～0.01mm，方块间距为3～50mm，其间距精度0.001～0.01mm，选取每个方块的顶点为特征点；

1.1.2、固定好由左摄像机和右摄像机组成的双目立体视觉传感器，打开立体视觉传感器两个CCD摄像机的电源；

1.1.3、在两个摄像机的公共视场范围内，自由、非平行地移动靶标至少5个位置，每移动一个位置，左摄像机、右摄像机分别拍摄一幅图像并存储到计算机，靶标的标定特征点应包含在图像内，左摄像机拍摄的图像称为左摄像机标定图像，右摄像机拍摄的图像称为右摄像机标定图像；

1.1.4、提取所有左摄像机标定图像中标定特征点的图像坐标，这些坐标称为左摄像机标定特征点图像坐标，提取所有右摄像机标定图像中标定特征点的图像坐标，这些坐标称为右摄像机标定特征点图像坐标，将所有左摄像机标定特征点图像坐标以及其对应的右摄像机标定特征点图像坐标和世界坐标存储到计算机中；

1.1.5、利用左摄像机标定特征点图像坐标和对应的世界坐标标定左摄像机内部参数并存储到计算机中；

1.1.6、利用右摄像机标定特征点图像坐标和对应的世界坐标标定右摄像机内部参数并存储到计算机中；

1.1.7、根据标定的左右摄像机内部参数，分别计算左右标定特征点的归一化图像坐标；

1.1.8、利用对应的左右摄像机标定特征点归一化图像坐标，求出双目视觉传感器的本质矩阵以及结构参数并存储到计算机中；

1.2、测量阶段：

1.2.1、将被测圆孔置于双目立体视觉传感器的测量空间内；

1.2.2、由左右摄像机分别采集包括同一空间圆的图像，左摄像机采集的称为左摄像机测量图像，右摄像机采集的称为右摄像机测量图像；

1.2.3、根据左右摄像机的畸变模型，分别校正左右摄像机测量图像的畸变，获得无畸变左、右摄像机测量图像；

1.2.4、在无畸变左、右摄像机测量图像中，采用图像处理算法，分别自动探取出左右摄像机投影椭圆，并拟合椭圆，存储基本模型参数到计算机中；

1.2.5、选取分别过两个椭圆中心的20～100条均匀分布的极线，保证每条极线与椭圆图像边缘交于两点，由极线约束和顺序一致性原则，建立每对边缘对应点的对应匹配关系；

1.2.6、根据所建的边缘对应匹配点，由点的立体视觉三维测量模型，求出空间圆边缘点的三维空间坐标，拟合空间圆，由拟合的空间圆求出空间圆的几何中心、半径以及圆所在平面的法向矢量并存储到计算机中。

Images