CN107270826A - 一种孔的视觉测量方法 - Google Patents

Abstract

本发明公开了一种孔的视觉测量方法，本发明所采用的技术方案是，一种孔的视觉测量方法，具体为：步骤1，采用自然光或者结构光投射孔，使孔内柱面上产生一条投影曲线，使用相机在不同位置采集同一孔的两幅图像；步骤2，将采集的两幅图像进行图像处理，并提取每幅孔图像中孔端面边缘曲线及孔内柱面投影曲线；步骤3，采用极线匹配的方法，立体视觉计算孔端面边缘曲线上点的三维坐标和孔内柱面投影曲线上点的三维坐标；步骤4，根据步骤3计算的孔端面边缘曲线上点的三维坐标，计算孔轴线方程，然后计算孔端面边缘上各点和孔内柱面投影曲线上各点到孔轴线的距离，然后求得平均值，即为孔径大小。本发明的方法测量操作方便、测量精度高。

Description

一种孔的视觉测量方法

技术领域

本发明属于视觉测量方法技术领域，涉及一种孔的视觉测量方法。

背景技术

孔测量广泛存在于工业领应。现有对孔测量，多是对孔位置、孔径和孔 轴线分散测量，难以适应自动化装配，尤其是机器人自主装配。

机器视觉的应用，使得完全自主装配成为可能。孔视觉测量主要集中在 孔位置、孔径测量或间接孔轴线测量，缺乏一种集成测量孔的方法，且少有 同时能适应斜孔测量的方法。

发明内容

本发明的目的是提供一种孔的视觉测量方法，本发明的方法测量操作方 便、测量精度高。

本发明所采用的技术方案是，一种孔的视觉测量方法，具体按照以下步 骤实施：

步骤1，采用自然光或者结构光投射孔，使孔内柱面产生一条投影曲线， 使用相机在不同位置采集同一孔的两幅图像，分别记为Image 1和Image 2；

步骤2，对步骤1采集的两幅图像进行图像处理，并提取每幅孔图像中 孔端面边缘曲线及孔内柱面投影曲线；

步骤3，采用极线匹配的方法，立体视觉计算孔端面边缘曲线上点的三 维坐标和孔内柱面投影曲线上点的三维坐标；

步骤4，根据步骤3计算的孔端面边缘曲线上点的三维坐标，计算孔轴 线方程，然后计算孔端面边缘上各点和孔内柱面投影曲线上各点到孔轴线的 距离，然后求得平均值，即为孔径大小。

本发明的特点还在于，

步骤3具体按照以下步骤实施：

步骤3.1，计算孔端面边缘曲线上点的三维坐标，具体为：

在Image 1中，任意取孔端面边缘曲线上n个点，n≥5，然后再在Image 2中，分别作前面点所对应的极线，每条极线均与Image 2中孔端面边缘曲 线相交于2点，通过在孔端面边缘曲线上所取的点在曲线上的相对位置和结 合拍摄两幅图像时相机两处位姿关系选出1点，即为极线匹配对应点，根据 立体视觉计算孔端面边缘曲线上n个点的三维坐标；

步骤3.2，计算孔内柱面投影曲线上点的三维坐标，具体为：

在Image 1中，取孔内柱面投影曲线上任意m个点，m≥3，在Image 2 中分别作前面点所对应的极线，每条极线均与Image 2中孔内柱面投影曲线 相交于1点，即为极线匹配对应点，根据立体视觉计算孔内柱面投影曲线上 m个点的三维坐标。

步骤4具体按照以下步骤实施：

步骤4.1，根据孔端面边缘曲线上的点的三维坐标，拟合孔端面平面， 得到孔端面的法向，计算对孔端面的坐标变换矩阵，使得孔端面法向与Z轴 平行，得到变换后的孔端面平面方程z＝z₀；

根据孔内柱面投影曲线上m个点的三维坐标，采用对孔端面相同的坐标 变换矩阵进行坐标变换，得到变换后孔内柱面投影曲线上m个点的三维坐 标；

步骤4.2，根据步骤4.1中变换后孔端面边缘点的数据，采用直接最小二 乘法拟合变换后的孔端面边缘曲线方程，计算出孔端面的中心坐标(x_c,y_c,z₀)；

步骤4.3，设定孔轴线方向为t(m,n,1)^T，根据步骤4.2中获取的孔端面边 缘曲线方程，分别过经步骤4.1中变换后的孔内柱面投影曲线上的点 p_i(x_i,y_i,z_i)，i为点个数，以设定的孔轴线方向矢量l″(0,0,1)^T作母线，母线交变 换后孔端面平面于点q_i(x′_i,y′_i,z₀)，优化各点q_i(x′_i,y′_i,z₀)到变换后孔端面边缘曲 线的距离平方和，使得各点q_i(x′_i,y′_i,z₀)到变换后孔端面边缘曲线的距离平方和 越来越小，此时，各母线不断接近真实母线，真实母线的方向即为孔轴线方 向；

步骤4.4，由步骤4.2、步骤4.3得到孔端面的中心坐标(x_c,y_c,z₀)和孔轴 线方向，根据步骤4.1中对孔端面的坐标变换矩阵逆变换，得到实际孔端面 中心点坐标和孔轴线方向，从而得到到实际孔轴线方程；

步骤4.5，根据步骤4.4得到的孔轴线方程和步骤3得到的孔端面边缘曲 线上的点和孔内柱面投影曲线上的点，计算各点到孔轴线的距离，求得平均 距离值，即为孔径。

步骤4.3中分别过经步骤4.1中变换后的孔内柱面投影曲线上的i个点 p_i(x_i,y_i,z_i)，其中i≥2。

步骤2中的图像处理过程为灰度化、中值滤波去噪、Canny边缘检测、 二值图像孔洞填充、剔除小面积块，然后得到处理后的孔图像。

本发明的有益效果是：(1)本发明在孔端面边缘点匹配过程先找对应曲 线再通过极线约束来匹配，避免了常规特征点误匹配；(2)对寻找孔内柱面 上点通过孔内柱面投影曲线上的点来替代，该曲线可由光在孔内形成明暗分 界线或线结构光产生，简便经济有效；(3)本发明，同时可测量出孔位置、 孔径和孔轴线，精度高，在孔检测和自动化装配具有广泛前景；(5)本发明， 不仅适用于直孔，还适用于斜孔及其他封闭准线的柱面孔测量，通用性强。

附图说明

图1是本发明一种孔的视觉测量方法的整体流程图；

图2是本发明一种孔的视觉测量方法的孔端面边缘曲线和孔内柱面投影 曲线成像示意图；

图3是本发明一种孔的视觉测量方法中极线约束示意图；

图4是本发明一种孔的视觉测量方法的孔边缘点和孔内柱面上点匹配原 理图；

图5是本发明一种孔的视觉测量方法的孔轴线计算原理图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的一种孔的视觉测量方法，其测量流程如图1所示，具体按照以 下步骤实施：

步骤1，采用自然光或者结构光投射孔，使孔内柱面产生一条投影曲线， 使用相机在不同位置采集同一孔的两幅图像，分别记为Image 1和Image 2；

步骤2，对步骤1采集的两幅图像进行图像处理，并提取每幅孔图像中 孔端面边缘曲线及孔内柱面投影曲线；

步骤3，采用极线匹配的方法，立体视觉计算孔端面边缘曲线上点的三 维坐标和孔内柱面投影曲线上点的三维坐标；具体按照以下步骤实施：

步骤3.1，计算孔端面边缘曲线上点的三维坐标，具体为：

在Image 1中，任意取孔端面边缘曲线上n个点，n≥5，然后再在Image 2中，分别作前面点所对应的极线，每条极线均与Image 2中孔端面边缘曲 线相交于2点，通过在孔端面边缘曲线上所取的点在曲线上的相对位置和结 合拍摄两幅图像时相机两处位姿关系选出1点，即为极线匹配对应点，根据 立体视觉计算孔端面边缘曲线上n个点的三维坐标；

步骤3.2，计算孔内柱面投影曲线上点的三维坐标，具体为：

在Image 1中，取孔内柱面投影曲线上任意m个点，m≥3，在Image 2 中分别作前面点所对应的极线，每条极线均与Image 2中孔内柱面投影曲线 相交于1点，即为极线匹配对应点，根据立体视觉计算孔内柱面投影曲线上 m个点的三维坐标。

步骤4，根据步骤3计算的孔端面边缘曲线上点的三维坐标，计算孔轴 线方程，然后计算孔端面边缘上各点和孔内柱面投影曲线上各点到孔轴线的 距离，然后求得平均值，即为孔径大小；具体按照以下步骤实施：

步骤4.1，根据孔端面边缘曲线上的点的三维坐标，拟合孔端面平面， 得到孔端面的法向，计算对孔端面的坐标变换矩阵，使得孔端面法向与Z轴 平行，得到变换后的孔端面平面方程z＝z₀；

根据孔内柱面投影曲线上m个点的三维坐标，采用对孔端面相同的坐标 变换矩阵进行坐标变换，得到变换后孔内柱面投影曲线上m个点的三维坐 标；

步骤4.2，采集经步骤4.1中变换后孔端面边缘点的数据，采用直接最小 二乘法拟合变换后的孔端面边缘曲线方程，计算出孔端面的中心坐标 (x_c,y_c,z₀)；

步骤4.3，设定孔轴线方向为t(m,n,1)^T，根据步骤4.2中获取的孔端面边 缘曲线方程，分别过经步骤4.1中变换后的孔内柱面投影曲线上的点 p_i(x_i,y_i,z_i)，i为点个数，i≥2，以设定的孔轴线方向矢量l″(0,0,1)^T作母线，母 线交孔端面平面于点q_i(x′_i,y′_i,z₀)，优化各点q_i(x′_i,y′_i,z₀)到变换后孔端面边缘曲 线的距离平方和，使得各点q_i(x′_i,y′_i,z₀)到变换后孔端面边缘曲线的距离平方和 越来越小，此时，各母线不断接近真实母线，真实母线的方向即为孔轴线方 向；

步骤4.4，由步骤4.2、步骤4.3得到孔端面的中心坐标(x_c,y_c,z₀)和孔轴 线方向，根据步骤4.1中对孔端面的坐标变换矩阵逆变换，得到实际孔端面 中心点坐标和孔轴线方向，从而得到到实际孔轴线方程；

步骤4.5，根据步骤4.4得到的孔轴线方程和步骤3得到的孔端面边缘曲 线上的点和孔内柱面投影曲线上的点，计算各点到孔轴线的距离，求得平均 距离值，即为孔半径。

步骤2中的图像处理过程为灰度化、中值滤波去噪、Canny边缘检测、 二值图像孔洞填充、剔除小面积块，然后得到处理后的孔图像。

实施例

步骤1，采用自然光或者结构光投射孔，使孔内柱面产生一条投影曲线， 使用相机在不同位置采集同一孔的两幅图像，分别记为Image 1和Image 2；

孔图像可由同一相机不同位置或两相机采集，并要求相机已标定过，本 实施例中采用两相机，如图2所示，即已知两相机内参数K、K′和两处拍 摄位置相机的相对位姿已知[R|t]_3×4，对应的基础矩阵可表示为 F＝K′^TRK^T[KR^Tt]_×，[·]_×为矢量反对称矩阵形式；孔内柱面产生的投影曲线， 即为明暗交界线。

步骤2，对步骤1采集的两幅图像进行灰度化、中值滤波去噪、Canny 边缘检测、二值图像孔洞填充、剔除小面积块，然后得到处理后的孔图像， 并提取每幅幅处理后的孔图像中孔端面边缘曲线及孔内柱面投影曲线；通过 处理后的孔图像和Canny边缘检测图像操作，获取Canny边缘检测后的孔图 像中各边缘，删除拥有较少点的边缘弧线，再对各边缘弧线上点数量阈值分 割，可分别得到孔端面边缘曲线的点和孔内柱面投影曲线上的点；最后对孔 端面边缘曲线点进行拟合得到孔端面边缘曲线，而对孔内柱面投影曲线上的 点二次拟合得到对应曲线；

步骤3，采用极线匹配的方法，立体视觉计算孔端面边缘曲线上点的三 维坐标和孔内柱面投影曲线上点的三维坐标；极限极线匹配的方法，如图3 所示，图中，p、p′分别为空间点P在图像中成像点，e、e′为图像极点，l′ 为p点在另一图像中对应的极线，极线约束匹配为Image 1中点p对应于 Image 2中一条极线l′＝Fp，F为步骤1中对应的基础矩阵，Image 2中与p对 应点p′在极线l′上；

具体过程如下：

步骤3.1，计算孔端面边缘曲线上点的三维坐标，具体为：

在Image 1中，过孔端面中心作0°、90°、45°和-45°方向直线，各 交孔端面边缘曲线于2点，在Image 2中，分别作前面各点对应的极线，每 条极线交Image 2中孔端面边缘曲线于2点，通过在孔端面边缘曲线上所取 的点在曲线上的相对位置和结合拍摄两幅图像时相机两处位姿关系可选出1 点，即为极线匹配对应点；根据立体视觉计算孔端面边缘曲线8点三维坐标； 如图4所示，图4只给出了-45°一条直线交曲线p₁、p₂两点，即在孔端面 边缘曲线上取了p₁、p₂两点，在另一幅图中分别对应的极线为和两极 线分别交Image 2中孔端面边缘曲线于2点，通过p₁、p₂在曲线上的位置以 及结合拍摄两幅图像时相机两处位姿可找到p₁和p₂的匹配点p′₁、p′₂；

步骤3.2，计算孔内柱面投影曲线上点的三维坐标，具体为：

在Image 1中取孔内柱面投影曲线上3点，分别在Image 2中作对应极 线，每条极限与Image 2中孔内柱面投影曲线交点即为匹配对应点，根据立 体视觉计算孔内柱面上曲线3点三维坐标。如图4所示，图4中对孔内柱面 投影曲线上点极线匹配给出了一个示意图，q₁为Image1中孔内柱面投影曲 线上1点，为对应极线，交Image2中孔内柱面投影曲线上的1点即为q₁匹配点；

步骤4，据步骤3计算的孔端面边缘曲线上点的三维坐标，计算孔轴线 方程，然后计算孔端面边缘上各点和孔内柱面投影曲线上各点到孔轴线的距 离，然后求得平均值，即为孔径大小；具体按照以下步骤实施：如图5所示， 图中p₁、p₂和p₃分别为孔内柱面上点，s₁、s₂和s₃分别为过p₁、p₂和p₃的孔 母线，q₁、q₂和q₃分别为s₁、s₂和s₃与孔端面交点；

步骤4.1，根据孔端面边缘曲线上的点的三维坐标，拟合孔端面平面， 得到孔端面的法向，计算对孔端面的坐标变换矩阵，使得孔端面法向与Z轴 平行，得到变换后的孔端面平面方程z＝z₀；

根据孔内柱面投影曲线上3个点的三维坐标，采用对孔端面相同的变换 矩阵进行坐标变换，得到变换后孔内柱面投影曲线上3点的三维坐标；

步骤4.1中坐标变换使得孔端面法向与Z轴平行在变换时，将孔端面法 向与其他坐标轴平行亦可。

步骤4.2，采集经步骤4.1中变换后孔端面边缘点的数据，采用直接最小 二乘法拟合变换后的孔端面边缘曲线方程，孔端面边缘曲线为椭圆，其方程 为f(a,u)＝a·u＝a₁x²+a₂xy+a₃y²+a₄x+a₅y+a₆＝0，计算出孔端面的中心坐标 (x_c,y_c,z₀)，

步骤4.3，设定孔轴线方向为t(m,n,1)^T，根据步骤4.2中获取的孔端面边 缘曲线方程，分别过经步骤4.1中变换后的孔内柱面投影曲线上2个或3个 点p_i(x_i,y_i,z_i)，以设定的孔轴线方向矢量l″(0,0,1)^T作母线，母线交孔端面平面 于点q_i(x′_i,y′_i,z₀)，优化各点q_i(x′_i,y′_i,z₀)到变换后孔端面边缘曲线的距离平方和， 使得各点q_i(x′_i,y′_i,z₀)到变换后孔端面边缘曲线的代数距离平方和越来越小，此 时，母线不断接近真实母线，真实母线的方向即为孔轴线方向；

x′_i＝x_i+m(z₀-z_i)，y′_i＝y_i+n(z₀-z_i)；

代数距离：

目标函数：

目标函数优化采用Levenberg-Marquardt法即可；

步骤4.4，由步骤4.2、步骤4.3得到孔端面的中心坐标(x_c,y_c,z₀)和孔轴 线方向，根据步骤4.1中对孔端面的坐标变换矩阵逆变换，得到实际孔端面 中心点坐标和孔轴线方向，从而得到到实际孔轴线方程；

步骤4.5，根据步骤4.4得到的孔轴线方程和步骤3得到的孔端面边缘曲 线上的点和孔内柱面投影曲线上的点，计算各点到孔轴线的距离，求得平均 距离值，即为孔径。

本发明步骤4.3中，分别过经步骤4.1中变换后的孔内柱面投影曲线上i 个点p_i(x_i,y_i,z_i)，其中i个点p_i(x_i,y_i,z_i)为变换后的孔内柱面投影曲线上m个 点中的i个，因此m≥i。

Claims (5)

1.一种孔的视觉测量方法，其特征在于，具体按照以下步骤实施：

步骤1，采用自然光或者结构光投射孔，使孔内柱面上产生一条投影曲线，使用相机在不同位置采集同一孔的两幅图像，分别记为Image 1和Image 2；

步骤2，对步骤1采集的两幅图像进行图像处理，并提取每幅孔图像中孔端面边缘曲线及孔内柱面投影曲线；

步骤3，采用极线匹配的方法，立体视觉计算孔端面边缘曲线上点的三维坐标和孔内柱面投影曲线上点的三维坐标；

步骤4，根据步骤3计算的孔端面边缘曲线上点的三维坐标，计算孔轴线方程，然后计算孔端面边缘上各点和孔内柱面投影曲线上各点到孔轴线的距离，然后求得平均值，即为孔径大小。

2.根据权利要求1所述的一种孔的视觉测量方法，其特征在于，所述步骤3具体按照以下步骤实施：

步骤3.1，计算孔端面边缘曲线上点的三维坐标，具体为：

在Image 1中，任意取孔端面边缘曲线上n个点，n≥5，然后再在Image 2中，分别作前面点所对应的极线，每条极线均与Image 2中孔端面边缘曲线相交于2点，通过在孔端面边缘曲线上所取的点在曲线上的相对位置和结合拍摄两幅图像时相机两处位姿关系选出1点，即为极线匹配对应点，根据立体视觉计算孔端面边缘曲线上n个点的三维坐标；

步骤3.2，计算孔内柱面投影曲线上点的三维坐标，具体为：

在Image 1中，取孔内柱面投影曲线上任意m个点，m≥3，在Image 2中分别作前面点所对应的极线，每条极线均与Image 2中孔内柱面投影曲线相交于1点，即为极线匹配对应点，根据立体视觉计算孔内柱面投影曲线上m个点的三维坐标。

3.根据权利要求2所述的一种孔的视觉测量方法，其特征在于，所述步骤4具体按照以下步骤实施：

步骤4.1，根据孔端面边缘曲线上的点的三维坐标，拟合孔端面平面，得到孔端面的法向，计算对孔端面的坐标变换矩阵，使得孔端面法向与Z轴平行，得到变换后的孔端面平面方程z＝z₀；

根据孔内柱面投影曲线上m个点的三维坐标，采用对孔端面相同的坐标变换矩阵进行坐标变换，得到变换后孔内柱面投影曲线上m个点的三维坐标；

步骤4.2，采集经步骤4.1中变换后孔端面边缘点的数据，采用直接最小二乘法拟合变换后的孔端面边缘曲线方程，计算出孔端面的中心坐标(x_c,y_c,z₀)；

步骤4.3，设定孔轴线方向为t(m,n,1)^T，根据步骤4.2中获取的孔端面边缘曲线方程，分别过经步骤4.1中变换后的孔内柱面投影曲线上的i个点p_i(x_i,y_i,z_i)，以设定的孔轴线方向矢量l″(0,0,1)^T作母线，母线交孔端面平面于点q_i(x′_i,y′_i,z₀)，优化各点q_i(x′_i,y′_i,z₀)到变换后孔端面边缘曲线的距离，使得各点q_i(x′_i,y′_i,z₀)到变换后孔端面边缘曲线的距离平方和越来越小，此时，母线不断接近真实母线，真实母线的方向即为孔轴线方向；

步骤4.4，由步骤4.2、步骤4.3得到孔端面的中心坐标(x_c,y_c,z₀)和孔轴线方向，根据步骤4.1中对孔端面的坐标变换矩阵逆变换，得到实际孔端面中心点坐标和孔轴线方向，从而得到到实际孔轴线方程；

步骤4.5，根据步骤4.4得到的孔轴线方程和步骤3得到的孔端面边缘曲线上的点和孔内柱面投影曲线上的点，计算各点到孔轴线的距离，求得平均距离值，即为孔半径。

4.根据权利要求3所述的一种孔的视觉测量方法，其特征在于，所述步骤4.3中分别过经步骤4.1中变换后的孔内柱面投影曲线上的i个点p_i(x_i,y_i,z_i)，其中i≥2。

5.根据权利要求1所述的一种孔的视觉测量方法，其特征在于，步骤2中所述的图像处理过程为灰度化、中值滤波去噪、Canny边缘检测、二值图像孔洞填充、剔除小面积块，然后得到处理后的孔图像。