CN106996748A - 一种基于双目视觉的轮径测量方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的轮径测量方法。该方法首先采用Bouguet算法对轮对双目图像平面进行重投影实现立体校正，并应用简化的NCC算法实现特征点的立体匹配。通过三维重建和坐标变换将提取得到的轮对边缘特征点映射到二维平面内并最终拟合出轮径参数，通过轮对轮缘半径检测试验，验证了该方法的误差小于0.1mm，具有较好的检测精度，该发明解决了当前测量方法特征点立体匹配误差较大和难以三维拟合的问题，满足实际现场快速测量的要求。

Description

一种基于双目视觉的轮径测量方法

所属技术领域

本发明属于视觉检测领域，涉及线结构光引导的双目识别和匹配技术，特别是能够通过Bouguet算法对轮径双目图像平面进行重投影实现立体校正，并应用简化的NCC算法实现特征点匹配，最终拟合得到的参数误差较小。

背景技术

轮对是轨道车辆重要的走行部件，轮对部件结构参数的准确性测量对转向架设计制造和特性性能分析都有着重要意义，在实际运行过程中，由于可能存在轨道不平顺、轨道外形及其材质匹配不恰当和牵引力太大等多种原因，致使轮对各部分的磨损加快，影响了轨道车辆的正常运行。

我国对轮对结构参数测量的主要手段是机械式测量，这种测量方法效率低且测量较不准确。随着机器视觉技术的发展，基于CCD摄像机的图像处理方法测量已经取得了一定的进展，这类方法具有非接触、检测速度快的优点，但当前测量方法可能因为轮对表面光滑度高，反光强烈以及测量时摄像机光轴不可能垂直于轮对表面，使得边缘特征点提取及立体匹配困难，最终的计算得到的轮径参数存在较大误差。

为解决以上难题，通过设计一种基于线结构光的双目视觉非接触检测技术，通过图像的立体校正和简化的NCC算法实现特征点的立体匹配，再引入坐标变换思想将特征点变换到二维平面内实现轮径参数的拟合和计算。

发明内容

本发明能够有效的实现图像的特征点提取以及立体匹配，经过实证表明该算法不仅测量精准而且能够满足实际现场快速检测的要求。

本发明解决上述技术问题的技术方案是，提出一种基于线结构光的双目视觉非接触检测技术。其具体过程如下：

步骤一、利用预先制作好的标定板，对左右相机进行内参数标定，得到左右相机的内参数和立体标定参数。

步骤二、调节已经预先固定好的拍摄装备，使左右摄像机分别对线结构光照射的轮对进行拍照，在实证中拍摄5幅图像，并将拍摄得到的数字图像传输给图像处理器。

步骤三、对工业相机所采集的轮径图像进行图像预处理工作，其具体步骤包括：

步骤3-1：对图像进行中值滤波，通过中值滤波的滤波窗口沿图像进行顺次扫描，使得与周边像素灰度差较大的像素接近周边像素值，以此消除大部分噪声。

步骤3-2：对两幅图像进行立体校正，通过Bouguet算法对两台摄像机的图像平面进行重投影，使得它们精确的落在同一个平面上，而且图像的行完全地对准到前向平行的结构上。

步骤3-3：对特征点进行立体匹配，利用简化的NCC算法，根据双目轮对校正图像的特点，采用沿行方向搜索轮对边缘特征点的方法，完成轮对外径特征点的立体匹配。

步骤四、通过立体匹配得到轮对左右相机匹配的特征点坐标后，结合摄像机立体标定，根据Bouguet算法，像素点可以通过重投影映射到三维中，再根据双目摄像机立体标定的结果，得到重投影矩阵Q。

步骤4-1：通过立体匹配可以得到特征点关联的视差d。

步骤4-2：根据特征点关联的视差d，通过坐标变换将特征点投影到相对于左摄像机的三维坐标空间当中，由于安装时的误差，左右相机不可能保证完全平行，也不可能保证完全垂直于轮对平面，因此轮对所在平面相对于摄像机坐标系{O_c-X_cY_cZ_c}(以下简称为{C})为空间平面，为此，建立新的拟合坐标{O_L-X_LY_LZ_L}(以下简称为{L})。

步骤4-3：根据已经得到的在左摄像机坐标下的三维坐标(X/W，Y/W，Z/W)，通过坐标变换式^LP_i＝(^CR_L)^T·P_i+P₁，(i＝1…n)映射到拟合坐标系，实现二维平面化。

步骤五、根据已经得到的轮对外径特征点提取的三维数据进行平面拟合，并得到轮对相对于摄像机坐标系的拟合平面π(a，b，c，d)。

步骤5-1：根据已经得到的拟合平面参数，进一步得到拟合坐标系相对于左摄像机坐标系的变换矩阵^CT_L。

步骤5-2：在轮径特征点所在的二维平面内进行参数拟合，并以P₁为原点O_L，P₁指向P_n的方向为X_L，以π平面的法线方向为Z_L，Y_L＝Z_L×X_L，于是其中将P₁，P₂…P_n通过式^LP_i＝(^CR_L)^T·P_i+P₁，(i＝1…n)，可由{C}转换到{L}，由于^LP_i均在π内，故可在该平面内进行圆拟合求出最终的轮对半径R。

本发明提供了一种基于线结构光的双目视觉轮径测量方法，该方法能够有效的实现图像的特征点提取以及立体匹配，经过实证表明该发明不仅定位准确而且能够满足实际现场快速检测的要求。

附图说明

图1为轮对参数的测量步骤流程框图。

图2为NCC匹配示意图。

图3为轮对外径边缘特征点的三维重建。

图4为轮对半径计算示意图。

图5为检测装置示意图。

具体实施方式

如图1所示为基于线结构的双目视觉检测方法流程框图，下面根据附图及具体实例对本发明的实施作进一步说明。

步骤一：利用预先制作好的标定板，对左右相机进行内参数标定，得到左右相机的内参数和立体标定参数矩阵，在实证中左右摄像机的内参数矩阵以及左右摄像机的相对位姿矩阵分别为：

步骤二：调节已经预先固定好的拍摄装备，如图5所示，使左右摄像机分别对线结构光照射的轮对进行拍照，从S₁处拍摄到S_n处。轮对外轮廓上的一些列点P₁，P₂…P_n在左右相机上分别形成对应的成像点a₁，a₂…a_n和b₁，b₂…b_n，如附图中的图2所示。在实证中拍摄5幅图像，并将拍摄得到的数字图像传输给图像处理器。

步骤三：对工业相机所采集的轮径图像进行图像预处理工作，其具体步骤包括：

步骤3-1：对图像进行中值滤波，通过中值滤波的滤波窗口沿图像进行顺次扫描，在实证中采用5×5的滤波窗口，使得与周边像素灰度差较大的像素接近周边像素值，以此消除大部分噪声。

步骤3-2：对两幅图像进行立体校正，通过Bouguet算法对两台摄像机的图像平面进行重投影，使得它们精确的落在同一个平面上，而且图像的行完全地对准到前向平行的结构上。

步骤3-3：对特征点进行立体匹配，利用简化的NCC算法，根据双目轮对校正图像的特点，采用沿行方向搜索轮对边缘特征点的方法，完成轮对外径特征点的立体匹配，匹配方法如图3所示，对于双目轮对校正的图像I₁和I₂，其同一行上图像点的灰度相关值可用归一化的相关函数测度度量：

在匹配过程中，首先设置一定阈值，当计算一点相关值大于阈值时，可以认为是一个候选匹配点，接着倒过来求取图像I₂上该匹配点在I₁中的候选匹配点。

步骤四、通过立体匹配得到轮对左右相机匹配的特征点坐标后，结合摄像机立体标定，根据Bouguet算法，像素点可以通过重投影映射到三维中，再根据双目摄像机立体标定的结果，得到重投影矩阵

其中(c_x，c_y)是左图像的主点，c′_x是右图像主点的x坐标，f为左图像焦距，T_x为两台摄像机投影中心平移向量x分量，上述数值均可以通过双目摄像机的立体标定得到。

步骤4-1：通过立体匹配可以得到特征点关联的视差，若第v₁行得到的匹配点为m₁(u₁，v₁)和m₂(u₂，v₁)，则匹配点之间的视差为d₁＝u₂-u₁。

步骤4-2：根据特征点关联的视差d，通过坐标变换将特征点投影到相对于左摄像机的三维坐标空间当中，由于安装的误差，左右相机不可能保证完全平行，也不可能保证完全垂直于轮对平面，因此轮对所在平面相对于摄像机坐标系{C}为空间平面，为此，建立新的拟合坐标系{L}。

步骤4-3：根据已经得到的在左摄像机坐标下的三维坐标(X/W，Y/W，Z/W)，通过坐标变换式^LP_i＝(^CR_L)^T·P_i+P₁，(i＝1…n)映射到拟合坐标系，实现二维平面化。

步骤五：根据已经得到的轮对外径特征点提取的三维数据进行平面拟合，并得到轮对相对于摄像机坐标系的拟合平面π(0.2680x-0.3176y-z-347.9605＝0)。

步骤5-1：根据已经得到的拟合平面参数，进一步得到拟合坐标系相对于左摄像机坐标系的变换矩阵，在实测中的变换矩阵数据如下：

步骤5-2：在轮径特征点所在的二维平面内进行参数拟合，如图4所示，以P₁为原点O_L，P₁指向P_n的方向为X_L，以π平面的法线方向为Z_L，Y_L＝Z_L×X_L，于是^CR_L＝将P₁，P₂…P_n通过式^LP_i＝(^CR_L)^T·P_i+P₁，(i＝1…n)，可由{C}转换到{L}，由于^LP_i均在π内，故可在该平面内进行圆拟合求出最终的轮对半径R。

上述基于线结构光的双目视觉面向于转向架轮对参数的测量技术，可以使用快速高效的NCC算法实现特征点的立体匹配，并采用Bouguet算法对轮对双目图像平面进行重投影实现立体校正。通过三维重建和坐标变换将提取得到的轮对边缘特征点映射到二维平面内并最终拟合出轮径参数，通过轮对轮缘半径检测试验，验证了该方法的误差小于0.1mm，具有较好的检测精度，该发明解决了当前测量方法特征点立体匹配误差较大和难以三维拟合的问题，对于推动自动化产业的发展具有十分重要的意义。

Claims (11)

1.一种基于双目视觉的轮径测量方法，其步骤如下：

步骤一、对结构光视觉传感器进行标定，获取摄像机的内参数和立体标定参数；

步骤二、利用已经固定好的拍摄装备对轮径进行图像采集；

步骤三、对工业相机所采集的轮径图像进行图像预处理工作，

步骤3-1：对图像进行中值滤波；

步骤3-2：对两幅图像进行立体校正；

步骤3-3：对特征点进行立体匹配；

步骤四、利用步骤三求取得到的特征点图像坐标进行三维重建和二维平面化；

步骤五、对轮对参数进行拟合和计算。

2.根据权利要求1所述的方法，其特征在于，在步骤一中，通过Matlab自标定算法以及立体标定算法，得到左右摄像机的内参数以及立体标定参数。

3.根据权利要求1所述的方法，其特征在于，在步骤二中，通过自制的拍摄装备对轮径进行连续拍摄，获取轮径的图像信息。

4.根据权利要求1所述的方法，其特征在于，在步骤三中所采集的轮对双目原始图像大小为768×576像素，良好的图像处理方法可以降低特征点提取的复杂度，提高提取结果的准确性，其关键步骤如下：步骤3-1：采用5×5的滤波窗口，该窗口沿图像顺次扫描，使得与周边像素灰度差较大的像素接近周边像素值，从而在较大程度上消除噪声；步骤3-2：通过Bouguet算法对两台摄像机的图像平面进行重投影，使得他们精确的落在同一平面上，完成立体校正的效果；步骤3-3：在步骤3-2的基础上，沿行方向搜索轮对边缘特征点，其特征在于利用NCC算法，在高效率情况下完成特征点立体匹配。

5.根据权利要求1所述的方法，其特征在于，在步骤四中，通过立体匹配得到轮对左右相机匹配的特征点坐标后，利用三维重建获取特征点相对于左相机的三维坐标，结合摄像机立体标定，根据Bouguet算法，像素点可以通过重投影映射到三维中，再根据双目摄像机立体标定的结果，得到重投影矩阵。

6.根据权利要求1所述的方法，其特征在于，在步骤四中，通过立体匹配也可以得到特征点关联的视差。

7.根据权利要求1所述的方法，其特征在于，在步骤四中，根据特征点关联的视差，通过坐标变换将特征点投影到相对于左摄像机的三维坐标空间当中。

8.根据权利要求1所述的方法，其特征在于，在步骤四中，根据已经得到的在左摄像机坐标下的三维坐标，通过坐标变换式映射到拟合坐标系，实现二维平面化。

9.根据权利要求1所述的方法，其特征在于，在步骤五中，根据已经得到的轮对外径特征点提取的三维数据进行平面拟合，并得到轮对相对于摄像机坐标系的拟合平面。

10.根据权利要求1所述的方法，其特征在于，在步骤五中，根据已经得到的拟合平面参数，进一步得到拟合坐标系相对于左摄像机坐标系的变换矩阵。

11.根据权利要求1所述的方法，其特征在于，在步骤五中，在轮径特征点所在的二维平面内进行参数拟合，得到拟合值。