CN106289106B - 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法 - Google Patents

Abstract

本发明公开了一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法，视觉传感器可实现物体图像灰度和深度信息的同步获取，该传感器主要包括一个线阵相机，一个面阵相机、一个激光器和其它附件。线阵相机通过线激光器照明获得清晰图像，并与面阵相机构成立体视觉传感器，这时线激光器又作为面阵相机图像中特征，配合极线约束实现线阵相机与面阵相机图像的对应匹配，最后通过立体视觉测量模型实现三维坐标重建。该传感器可通过推扫方式同时获得物体的图像信息和每个像素对应的空间深度信息。本发明可广泛应用于物体识别和故障诊断等领域。

Description

一种线阵相机和面阵相机相结合的立体视觉传感器及标定 方法

技术领域

本发明涉及一种机器视觉领域的三维测量传感器、测量方法及标定方法，尤其涉及一种新的可实现物体图像灰度及对应深度信息同步测量的立体视觉传感器、测量方法及其标定方法。

背景技术

面阵相机在拍摄高速运动物体时，由于现有面阵光源发光不均匀导致面阵相机拍摄的图像亮度不均匀，或由于光源角度和物体形貌等原因造成图像阴影。线激光器具有亮度高、单色性好、直线性强等优点，作为线阵摄像机的照明光源，可以保障线阵相机在极低曝光时间条件下获取高速运动物体的清晰图像，且图像阴影小。

在使用二维图像进行故障识别时，由于污泥、油渍等影响容易出现故障识别错误。如果同步得到图像中每个像素对应的深度信息，就可以大大提高故障识别的准确率。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种结合线阵相机与面阵相机的立体视觉传感器及其标定方法，该传感器可实现物体灰度图及每个像素对应的深度值的同步获取，可以提高故障识别的准确率。

本发明技术解决方案：一种线阵相机和面阵相机结合的立体视觉传感器，包括：线激光器，面阵相机，线阵相机，图像存储及处理单元，测速及控制单元；线激光器安装在一个调节机构上，该调节机构放置在线阵相机下部，通过调节机构将激光器投射出的光平面与线阵相机的光学中心与线阵CCD构成的平面重合，保证线激光器给线阵相机提供良好的照明；面阵相机放置在线阵相机一侧，线阵相机和面阵相机连接到图像存储及处理单元上，测速及控制单元用于测量物体速度，并给线阵相机和面阵相机发出触发信号，用于图像采集。

一种线阵相机与面阵相机结合的立体视觉传感器测量方法，实现步骤如下：

步骤1：通过调节机构2将光平面与线阵相机3的光学中心和线阵CCD构成的平面调成一个平面，保证在线阵相机3测量范围内线激光器都可以为其提供高质量照明；另外，调节面阵相机4的拍摄角度，保证面阵相机4与线阵相机3的视场范围一致；

步骤2：完成面阵相机4内部参数标定；线阵相机3内部参数标定；线阵相机3坐标系O_c1x_c1y_c1z_c1到面阵相机4坐标系O_c2x_c2y_c2z_c2之间转换矩阵标定；

步骤3：将线阵相机3与面阵相机4形成的立体视觉传感器放置在合适位置，用于测量在其前面通过的运行物体。测速及控制单元6实时测量物体速度，并根据物体速度给线阵相机3和面阵相机4发出触发信号，保证物体每向前运动一个固定距离，给出对应的触发信号用于线阵相机3和面阵相机4拍摄运动物体的图像；

步骤4：线阵相机3和面阵相机4接到触发信号采集灰度图像数据传输到图像存储及处理单元5；

步骤5：根据步骤2中标定结果，通过图像存储及处理单元5确定线阵相机3与面阵相机4灰度图像中的对应点，求解出线阵相机3中每个灰度图像点在线阵相机3坐标下的三维坐标中的y，z分量，其中，x分量为0；

步骤6：测速单元6每发出一次触发信号，通过步骤5得到运动物体上一点在线阵相机坐标系下的y，z分量，这些点三维坐标的x分量为0，现根据触发信号序号定义x分量为dn，其中d为触发间隔时间内运动物体移动的单位距离，n为触发信号序号；线阵相机3的每一个像素都将对应一个三维坐标，每个像素对应的深度值为该点的z方向分量；

步骤7：重复步骤3-6，以推扫方式连续拍摄运动物体；线阵相机3连续拍摄得到运动物体的灰度图像，同时根据步骤5计算出每个灰度图像点的三维坐标。每个像素对应的深度值为该点三维坐标的z方向分量，进而可以获取对应的深度图。

所述步骤2中的线阵相机3内部参数标定如下：

(1)使用棋盘格平面靶标放置在线阵相机3和面阵相机4的共同测量范围内，同时采集棋盘格平面靶标的灰度图像；提取线阵相机3拍摄到的灰度图像特征点a、b、c、d、e、f，根据交比不变性求解出对应点A、B、C、D、E、F在棋盘格平面靶标坐标系下的二维坐标；

(2)提取面阵相机4拍摄到的灰度图像特征点，根据已标定出的面阵相机内部参数计算出平面靶标坐标系O_Tx_Ty_Tz_T到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵和平移矢量，得到A、B、C、D、E、F，即线阵相机3拍摄到的灰度图像特征点a、b、c、d、e、f所对应的点的在面阵摄像机坐标系O_c2x_c2y_c2z_c2下三维坐标；

(3)在靶标摆放多次后，通过拟合确定线阵相机投影平面在面阵相机坐标系下平面方程，并在线阵相机投影平面上建立线阵相机投影平面坐标系O_Lx_Ly_Lz_L，其中线阵相机投影平面坐标系的O_Ly_Lz_L与线阵摄像机坐标系的O_c1y_c1z_c1共面。。求解出线阵相机投影平面坐标系O_Lx_Ly_Lz_L到面阵摄像机坐标系O_c2x_c2y_c2z_c2坐标系下的旋转矩阵R₂和平移矢量t₂，并将A、B、C、D、E、F坐标转换到O_Lx_Ly_Lz_L下，再根据线阵相机数学模型求解出来线阵相机3内部参数r₁₁,r₁₂,r₂₁,r₂₂,t_y,t_z,v_L0,f_L，其中r₁₁,r₁₂,r₂₁,r₂₂为线阵相机投影平面坐标系O_Lx_Ly_Lz_L到线阵摄像机坐标系O_c1x_c1y_c1z_c1的旋转矩阵的相应元素，t_y,t_z为线阵相机投影平面坐标系O_Lx_Ly_Lz_L到线阵摄像机坐标系O_c1x_c1y_c1z_c1的平移矢量t₁＝[0 t_y t_z]^T的相应元素(因为线阵相机投影平面坐标系的O_Ly_Lz_L与线阵摄像机坐标系的O_c1y_c1z_c1共面，所以t_x＝0)，v_L0,f_L为线阵相机内部参数矩阵的相应元素。

所述步骤2中，线阵摄像机坐标系O_c1x_c1y_c1z_c1到面阵摄像机坐标系O_c2x_c2y_c2z_c2标定如下：

(1)根据已求解出的线阵相机投影平面坐标系O_Lx_Ly_Lz_L到线阵摄像机坐标系O_c1x_c1y_c1z_c1的旋转矩阵R₁和平移矢量t₁，线阵相机投影平面坐标系O_Lx_Ly_Lz_L到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵R₂和平移矢量t₂，采用下式公式(1)，求解得到线阵摄像机坐标系O_c1x_c1y_c1z_c1到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵R₁₂和平移矢量t₁₂；

(2)在整个立体视觉传感器标定过程中可建立非线性优化目标函数，采用非线性优化方法(例如LM非线性优化方法)求解出所有标定参数K₂,K₁,R₁₂,t₁₂的最优解。

所述步骤5实现如下：

步骤51：根据步骤2中标定结果，求解出线阵相机3中任意一个图像点p_l在面阵相机4图像中的极线l_r；

步骤52：面阵相机4图像中，沿着极线l_r搜索极线上图像灰度变化，当极线上存在图像灰度大于阈值，且呈近似高斯分布的区域时，该区域即为极线l_r与面阵相机4图像中光条相交的区域，通过简单的图像处理方法即确定极线l_r与光条的相交点p_r；

步骤53：将相交点p_r代入由线阵相机3和面阵相机4构成的双目立体视觉传感器的数学模型中，求解出每个线阵相机3图像的三维坐标，设z方向分量为该像素的深度值；

其中，v₁,v₂分别为线阵相机和面阵相机图像坐标系下无畸变图像坐标和的相应参数；f_L,v_L0和f_Fy,v_F0分别为线阵相机和面阵相机内部参数矩阵和的相应参数；r₂₂,r₂₃,r₃₂,r₃₃和t_y,t_z分别为线阵摄像机坐标系O_c1x_c1y_c1z_c1到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵及平移矢量和t₁₂＝[t_x t_y t_z]^T的相应参数。

由此看出在K₁、K₂、R₁₂、t₁₂已知的情况下，由线阵相机与面阵相机图像中的对应点和通过式(2)就能够计算出线阵相机图像中的每个像素在线阵相机坐标系下的三维坐标中y,z分量，其中，x分量为0。

一种线阵相机与面阵相机结合的立体视觉传感器标定方法，实现步骤如下：

步骤1：采用张正友在2000年11月发表的文章“A flexible new technique forcamera calibration[J].IEEE Trans.on Pattern Analysis and MachineIntelligence”中提到的摄像机标定方法完成面阵相机4内部参数矩阵K₂标定。

步骤2：使用棋盘格平面靶标放置在线阵相机3和面阵相机4的共同测量范围内，同时采集棋盘格平面靶标的灰度图像；提取线阵相机3拍摄到的灰度图像特征点a、b、c、d、e、f，根据交比不变性求解出对应点A、B、C、D、E、F在棋盘格平面靶标坐标系下的二维坐标；

提取面阵相机4拍摄到的灰度图像特征点，根据已标定出的面阵相机内部参数可以计算出平面靶标坐标系O_Tx_Ty_Tz_T到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵和平移矢量，进而得到面阵相机4坐标系下，A、B、C、D、E、F(线阵相机3拍摄到的灰度图像特征点a、b、c、d、e、f所对应的点)的三维坐标；

在靶标摆放多次后，通过拟合确定线阵相机投影平面在面阵相机坐标系下平面方程，并在线阵相机投影平面上建立线阵相机投影平面坐标系O_Lx_Ly_Lz_L，其中线阵相机投影平面坐标系的O_Ly_Lz_L与线阵摄像机坐标系的O_c1y_c1z_c1共面。

求解出线阵相机投影平面坐标系O_Lx_Ly_Lz_L到面阵相机O_c2x_c2y_c2z_c2的旋转矩阵R₂和平移矢量t₂，并将A、B、C、D、E、F坐标转换到线阵相机投影平面坐标系O_Lx_Ly_Lz_L下。再根据线阵相机数学模型求解出来线阵相机3内部参数r₁₁,r₁₂,r₂₁,r₂₂,t_y,t_z,v_L0,f_L，其中r₁₁,r₁₂,r₂₁,r₂₂为线阵相机投影平面坐标系O_Lx_Ly_Lz_L到线阵相机坐标系O_c1x_c1y_c1z_c1的旋转矩阵的相应元素，t_y,t_z为O_Lx_Ly_Lz_L到O_c1x_c1y_c1z_c1的平移矢量t₁＝[0 t_y t_z]^T的相应元素(因为线阵相机投影平面坐标系的O_Ly_Lz_L与线阵相机坐标系的O_c1y_c1z_c1共面，所以t_x＝0)，v_L0,f_L为线阵相机内部参数矩阵的相应元素；

步骤3：根据已求解出的线阵相机投影平面坐标系O_Lx_Ly_Lz_L到线阵摄像机坐标系O_c1x_c1y_c1z_c1的旋转矩阵R₁和平移矢量t₁，线阵相机投影平面坐标系O_Lx_Ly_Lz_L到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵R₂和平移矢量t₂，采用下式公式(3)，求解得到线阵摄像机坐标系O_c1x_c1y_c1z_c1到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵R₁₂和平移矢量t₁₂；

最后采用非线性优化方法(例如LM非线性优化方法)求解出K₂,K₁,R₁₂,t₁₂的最优解。至此完成了视觉传感器全部参数标定。

本发明与现有技术相比的优点在于：

(1)本发明的立体视觉传感器主要包括：线激光器，面阵相机，线阵相机，图像存储及处理单元，测速及控制单元，系统软件和其他相关机械及电气附件等。该立体视觉传感器的线阵相机在线激光器照明下拍摄图像，并与面阵相机构成立体视觉传感器，通过光条与极线几何约束可以确定线阵相机每个像素在面阵相机图像中的对应匹配点，再将对应匹配点代入立体视觉测量模型实现三维重建。该传感器可通过推扫方式同时获得物体的图像信息和每个像素对应的空间深度信息，本发明可广泛应用于物体识别和故障诊断等领域。

现有技术中存在面阵光源发光不均匀导致面阵相机拍摄的图像存在中间过亮，两边亮度不足的问题。而本发明中的线阵相机具有帧频快，结构简单等优点，以线激光器为线阵摄像机的照明光源时，可以保障线阵相机在极低曝光时间条件下获取被测物体的清晰图像。

(2)本发明的线阵相机与面阵相机结合的立体视觉传感器测量方法，通过光条与极线几何约束确定线阵相机每个像素在面阵相机图像中的对应匹配点，再将对应匹配点代入立体视觉测量模型实现三维重建。该传感器可通过推扫方式同时获得物体的图像信息和每个像素对应的空间深度信息。每个像素对应的深度值为该点三维坐标的z方向分量，进而可以获取对应的深度图。

现有技术大多需要采用线阵相机获取图像数据，再通过结构光视觉传感器获取三维数据。结构光视觉传感器中的面阵相机需要进行整幅图像处理，处理时间长、效率低。同时结构光视觉传感器获取的三维数据数据量大，导致数据传输、处理困难。另外，在故障识别时需要二维图像和三维数据分别处理，无法确定每个像素对应的深度信息。

而本发明根据立体视觉的极线几何约束关系，找到线阵相机像素在面阵图像中的对应特征区域，进而提取对应匹配点。由于该立体视觉传感器测量方法不需要对整幅图像进行二维图像处理，这大大减少了处理速度。同时，本发明可以得到每个像素对应的深度信息，这样数据量小，便于传输，而且更有利于后期故障识别。

(3)本方法的标定方法仅需要最常用的平面棋盘格靶标，不需要现有方法使用的齿状靶标和高精度移动台。在标定过程中，棋盘格靶标可以灵活摆放没有位置要求，并且不需要高精度的移动台。该方法具有标定过程方便简单，灵活性强，精度高等优点。

附图说明

图1为本发明实施例中立体视觉传感器结构示意图；

图2为本发明实施例立体视觉传感器测量模型示意图；

图3为本发明实施例立体视觉传感器标定过程示意图。

具体实施方式

图1为本发明实施例中立体视觉传感器结构示意图。如图1所示，在立体视觉传感器中，线激光器1安装在一个三自由度调节机构2上，该调节机构2放置在线阵相机3下部，通过调节机构2将激光器1投射出的光平面与线阵相机3的光学中心与线阵CCD构成的平面重合，保证线激光器1给线阵相机3提供良好的照明。面阵相机4放置在线阵相机3一侧。面阵相机4与线阵相机3构成立体视觉传感器。线阵相机3和面阵相机4通过图像采集装置连接到图像存储及处理单元5上。测速及控制单元6用于测量物体速度，并给线阵相机3和面阵相机4发出触发信号，用于图像采集。

下面介绍该立体视觉传感器的数学模型：

设和Q₁＝[0 y z 1]^T分别为空间点在线阵相机图像坐标系下无畸变图像坐标和线阵相机坐标系O_c1x_c1y_c1z_c1下坐标式1为线阵相机的数学模型：

式中ρ₁为非零常数；为线阵相机内部参数矩阵，其中f_L为线阵相机焦距，v_L0为线阵相机图像中心。根据经验，我们选镜头二阶径向畸变，畸变系数为k_L1和k_L2，根据镜头畸变校正模型可求解出线阵相机的无畸变图像坐标。

Q₁在面阵相机图像坐标系下无畸变图像坐标为面阵摄像机数学模型如式2的方程组：

式中ρ₂为非零常数；为面阵相机的内部参数矩阵，其中f_Fx,f_Fy为面阵相机的等效焦距，u_F0,v_F0为面阵相机图像中心；和t₁₂＝[t_x t_y t_z]^T分别为线阵摄像机坐标系O_c1x_c1y_c1z_c1到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵及平移矢量。根据经验，选镜头二阶径向畸变，畸变系数为和根据镜头畸变校正模型可求解出面阵相机的无畸变图像坐标。

故线阵相机与面阵相机构成的立体视觉传感器数学模型为：

通过整理可得：

由此可看出在K₁、K₂、R₁₂、t₁₂已知的情况下，由线阵相机与面阵相机图像中的对应点和通过式(4)就可以计算出线阵相机每个像素在线阵相机坐标系下的y,z分量。

下面介绍该立体视觉传感器的测量原理：

线阵相机3和激光器1构成物体灰度图像采集单元，并与面阵相机4构成立体视觉测量单元。图2为本发明实施例立体视觉传感器测量模型示意图。在图2中，空间中一点Q在线阵相机和面阵相机的图像平面上的投影点分别是如图2所示，在测量过程中根据极线约束关系可以确定每个线阵相机3图像像素在面阵相机4图像中的一条极线，该极线与面阵相机4图像中光条的交点为线阵相机3中像素在面阵相机4图像中的对应点。将该对应点代入立体视觉传感器数学模型就可以求解出线阵相机3图像点的在线阵相机坐标系下的y，z方向坐标，x方向坐标可由事先确定的推扫间隔距离和触发信号序号决定。因此根据以上方法就可以不但得到运动物体的灰度图像也可以得到每个像素点的三维坐标，其中z方向分量为该像素点的深度值。

下面介绍该立体视觉传感器的测量流程为：

步骤1：通过调节机构2将光平面与线阵相机3的光学中心与线阵CCD构成的平面调成一个平面。保证在线阵相机3测量范围内线激光器都可以为其提供高质量照明。这时，线激光器的线宽越宽调节越容易，但精度越低；线激光器的线宽越窄，调节越难，但精度越高。另外，调节面阵相机4的拍摄角度，保证面阵相机4与线阵相机3的视场范围一致。

步骤2：完成该立体视觉传感器标定。该标定主要包括面阵相机4内部参数标定；线阵相机3内部参数标定；线阵相机3坐标系到面阵相机4坐标系之间转换矩阵标定。

设O_c1x_c1y_c1z_c1为线阵相机坐标系，O_c2x_c2y_c2z_c2为面阵相机坐标系，O_Tx_Ty_Tz_T为平面靶标坐标系。π为线阵摄像机像素与线阵相机光心所确定的平面，称为线阵相机投影平面。A、B、C、D、E、F为线阵相机投影平面与棋盘靶标的交点。

下面详细介绍三个标定过程的具体细节。

步骤21：面阵相机4内部参数矩阵K₂标定

采用张正友在2000年11月发表的文章“A flexible new technique for cameracalibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence”中提到的摄像机标定方法完成面阵相机4内部参数矩阵K₂标定。

步骤22：线阵相机3内部参数标定和线阵相机3坐标系到面阵相机4坐标系之间转换矩阵标定

图3为本发明实施例立体视觉传感器标定过程示意图。在图3中，a、b、c、d、e、f分别是A、B、C、D、E、F在线阵相机图像线阵上的成像点。

采用图像处理方法提取出a、b、c、d、e、f在线阵相机图像坐标系下图像坐标，根据交比不变性可知：

根据以上原理就可以全部求解出A、B、C、D、E、F在靶标坐标系下坐标。面阵相机拍摄靶标图像，提取靶标图像特征点，根据已标定出的面阵相机内部参数可以计算出平面靶标坐标系O_Tx_Ty_Tz_T到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵和平移矢量，进而得到面阵摄像机坐标系O_c2x_c2y_c2z_c2下A、B、C、D、E、F的三维坐标。

将平面靶标移动n次(至少两次以上)，可以得出A_(i)、B_(i)、C_(i)、D_(i)、E_(i)、F_(i)(i＝1，2…n)在面阵相机坐标下三维坐标。通过拟合确定线阵相机投影平面在O_c2x_c2y_c2z_c2下平面方程，并在线阵相机投影平面上建立线阵相机投影平面坐标系O_Lx_Ly_Lz_L(其中线阵相机投影平面坐标系的O_Ly_Lz_L与线阵摄像机坐标系的O_c1y_c1z_c1共面。)。将A_(i)、B_(i)、C_(i)、D_(i)、E_(i)、F_(i)坐标转换到O_Lx_Ly_Lz_L下，A_(i)、B_(i)、C_(i)、D_(i)、E_(i)、F_(i)在线阵相机图像上的投影点分别为a_(i)、b_(i)、c_(i)、d_(i)、e_(i)、f_(i)，这样就可以得到在线阵摄像机坐标系O_c1x_c1y_c1z_c1下多个空间点与线阵相机图像点的对应点对集合Q。

在集合Q中选取任意一点在O_Lx_Ly_Lz_L下坐标Q＝(0，y_A，z_A，1)^T，在线阵相机图像坐标系下该点为这两点符合式6的对应关系。在集合Q中选取多点代入式6，并整理可以求解出r₁₁,r₁₂,r₂₁,r₂₂,t_z,t_y,v_L0,f_L。

式中ρ₃为非零常数；和t₁＝[0 t_y t_z]^T分别为线阵相机投影平面坐标系O_Lx_Ly_Lz_L到线阵摄像机坐标系O_c1x_c1y_c1z_c1的旋转矩阵及平移矢量。

根据已求解出的线阵相机投影平面坐标系O_Lx_Ly_Lz_L到线阵摄像机坐标系O_c1x_c1y_c1z_c1的旋转矩阵R₁和平移矢量t₁，线阵相机投影平面坐标系O_Lx_Ly_Lz_L到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵R₂和平移矢量t₂，采用下式公式(7)，求解得到线阵摄像机坐标系O_c1x_c1y_c1z_c1到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵R₁₂和平移矢量t₁₂；

至此完成了视觉传感器全部参数标定。

步骤23：立体视觉传感器标定参数整体优化

在整个立体视觉传感器标定过程中建立以靶标特征点反投影图像误差最小的非线性优化目标函数，采用非线性优化方法(例如LM非线性优化方法)求解出K₂,K₁,R₁₂,t₁₂的最优解。

步骤3：测速单元6测量物体速度，并根据物体速度给线阵相机3和面阵相机4发出触发信号，保证物体每向前运动一个固定距离，立体视觉传感器就测量一次。

设线阵相机3的图像分辨率为m像素，希望得到的空间分辨率为n米，则线阵相机每个像素对应空间距离为d＝n/m米。为了保证线阵相机3在推扫测量时横纵方向分辨率一致，线阵相机3每帧测量间距也应该是d米。

测速单元6测量出的物体速度为米/秒，则线阵相机3每帧之间的间隔时间为t＝d/v秒。测速单元6实时测量物体运动速度，计算出线阵相机3每帧之间理想的间隔时间，给出对应的触发信号用于线阵相机3图像采集。

步骤4：线阵相机3和面阵相机4接到触发信号采集图像数据传输到图像存储及处理单元5。

步骤5：根据步骤2中标定结果，通过图像存储及处理单元5确定线阵相机3与面阵相机4图像中的对应点，代入式4求解出线阵相机3中每个图像点在线阵相机坐标下的三维坐标。

步骤51：根据步骤2中标定结果，求解出线阵相机3中任意一个图像点p_l在面阵相机4图像中的极线l_r。

步骤52：面阵相机4图像中，沿着l_r搜索极线上图像灰度变化。当极线上存在图像灰度大于阈值，且呈近似高斯分布的区域时，该区域即为极线l_r与面阵相机4图像中光条的相交的区域，通过简单的图像处理方法既可以确定极线l_r与光条的相交点p_r。

步骤53：将p_r代入式2就可以求解出线阵相机3中任意一个图像点p_l在线阵相机3坐标系下三维坐标，其中该点x坐标轴分量为0。

步骤53中将p_r代入式2求解出每个线阵相机3图像的三维坐标，其中式2是结构光视觉传感器数学模型。因为在步骤52中已经找到了线阵相机3每个像素点在面阵相机4图像中的对应点，因此也可以将这一对对应点代入由线阵相机3和面阵相机4构成的双目立体视觉传感器的数学模型(如式3)，求解出每个线阵相机3图像的三维坐标，设z方向分量为该像素的深度值。

步骤6：测速单元6每发出一次触发信号，通过步骤5可以得到运动物体上一点在线阵相机坐标系下的y，z分量，这些点三维坐标的x分量为0，现根据触发信号序号定义x分量为dn，其中n为触发信号序号。以此类推，线阵相机3的每一个像素都将对应一个三维坐标。每个像素对应的深度值为该点的z方向分量。

步骤7：重复步骤3-6，以推扫方式连续拍摄运动物体；线阵相机3连续拍摄得到运动物体的灰度图像，同时根据步骤5测量出整个运动物体的灰度图像和每个像素对应的深度值。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (4)

1.一种线阵相机与面阵相机结合的立体视觉传感器测量方法，所述采用的线阵相机和面阵相机结合的立体视觉传感器，包括线激光器，面阵相机，线阵相机，图像存储及处理单元，测速及控制单元；线激光器安装在一个三自由度调节机构上，该调节机构放置在线阵相机下部，通过调节机构将激光器投射出的光平面与线阵相机的光学中心与线阵CCD构成的平面重合，保证线激光器给线阵相机提供良好的照明；面阵相机放置在线阵相机一侧，线阵相机和面阵相机连接到图像存储及处理单元上，测速及控制单元用于测量物体速度，并给线阵相机和面阵相机发出触发信号，用于图像采集；

其特征在于所述测量方法实现步骤如下：

步骤1：通过调节机构将光平面与线阵相机的光学中心和线阵CCD构成的平面调成一个平面，保证在线阵相机测量范围内线激光器都可以为其提供高质量照明；另外，调节面阵相机的拍摄角度，保证面阵相机与线阵相机的视场范围一致；

步骤2：完成面阵相机内部参数标定；线阵相机内部参数标定；线阵相机坐标系到面阵相机坐标系之间转换矩阵标定；

步骤3：将线阵相机与面阵相机形成的立体视觉传感器放置在合适位置，用于测量在其前面通过的运行物体；测速及控制单元实时测量物体速度，并根据物体速度给线阵相机和面阵相机发出触发信号，保证物体每向前运动一个固定距离，给出对应的触发信号用于线阵相机和面阵相机拍摄运动物体的图像；

步骤4：线阵相机和面阵相机接到触发信号采集灰度图像数据传输到图像存储及处理单元；

步骤5：根据步骤2中标定结果，通过图像存储及处理单元确定线阵相机与面阵相机灰度图像中的对应点，求解出线阵相机中每个灰度图像点在线阵相机坐标下的三维坐标中的y，z分量，其中，x分量为0；

步骤6：测速单元每发出一次触发信号，通过步骤5得到运动物体上一点在线阵相机坐标系下的y，z分量，这些点三维坐标的x分量为0，现根据触发信号序号定义x分量为dn，其中d为触发间隔时间内运动物体移动的单位距离，n为触发信号序号；线阵相机的每一个像素都将对应一个三维坐标，每个像素对应的深度值为该点的z方向分量；

步骤7：重复步骤3-6，以推扫方式连续拍摄运动物体；线阵相机连续拍摄得到运动物体的灰度图像，同时根据步骤5计算出每个灰度图像点的三维坐标；

所述步骤5实现如下：

步骤51：根据步骤2中标定结果，求解出线阵相机中任意一个图像点p_l在面阵相机图像中的极线l_r；

步骤52：面阵相机图像中，沿着极线l_r搜索极线上图像灰度变化，当极线上存在图像灰度大于阈值，且呈近似高斯分布的区域时，该区域即为极线l_r与面阵相机图像中光条相交的区域，通过简单的图像处理方法即确定极线l_r与光条的相交点p_r；

步骤53：将相交点p_r代入由线阵相机和面阵相机构成的双目立体视觉传感器的数学模型中，求解出每个线阵相机图像的三维坐标，设每个像素对应的深度值为该点三维坐标的z方向分量，进而可以获取对应的深度图；

其中，v₁,v₂分别为线阵相机和面阵相机图像坐标系下无畸变图像坐标和 的相应参数；f_L,v_L0和f_Fy,v_F0分别为线阵相机和面阵相机内部参数矩阵和的相应参数；r₂₂,r₂₃,r₃₂,r₃₃和t_y,t_z分别为线阵摄像机坐标系O_c1x_c1y_c1z_c1到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵及平移矢量和t₁₂＝[t_x t_y t_z]^T的相应参数；

由此看出在线阵相机的内参矩阵K₁、面阵相机的内参矩阵K₂、线阵摄像机坐标系O_c1x_c1y_c1z_c1到面阵摄像机坐标系O_c2x_c2y_c2z_c2坐标系下的旋转矩阵R₁₂、O_c1x_c1y_c1z_c1坐标系到O_c2x_c2y_c2z_c2坐标系下的平移矢量t₁₂已知的情况下，由线阵相机与面阵相机图像中的对应点和通过式(2)就能够计算出线阵相机图像中的每个像素在线阵相机坐标系下的三维坐标中y，z分量，其中，x分量为0。

2.根据权利要求1所述的一种线阵相机与面阵相机结合的立体视觉传感器测量方法，其特征在于：所述步骤2中的线阵相机内部参数标定如下：

(1)使用棋盘格平面靶标放置在线阵相机和面阵相机的共同测量范围内，同时采集棋盘格平面靶标的灰度图像；提取线阵相机拍摄到的灰度图像特征点a、b、c、d、e、f，根据交比不变性求解出对应点A、B、C、D、E、F在棋盘格平面靶标坐标系下的二维坐标；

(2)提取面阵相机拍摄到的灰度图像特征点，根据已标定出的面阵相机内部参数计算出平面靶标坐标系O_Tx_Ty_Tz_T到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵和平移矢量，得到面阵相机坐标系下，A、B、C、D、E、F，即线阵相机拍摄到的灰度图像特征点a、b、c、d、e、f所对应的点的三维坐标；

(3)在靶标摆放多次后，通过拟合确定线阵相机投影平面在面阵相机坐标系下平面方程，并在线阵相机投影平面上建立线阵相机投影平面坐标系O_Lx_Ly_Lz_L，其中线阵相机投影平面坐标系的O_Ly_Lz_L与线阵摄像机坐标系的O_c1y_c1z_c1共面；求解出线阵相机投影平面坐标系O_Lx_Ly_Lz_L到面阵相机O_c2x_c2y_c2z_c2坐标系下的旋转矩阵R₂和平移矢量t₂，并将A、B、C、D、E、F坐标转换到O_Lx_Ly_Lz_L下，再根据线阵相机数学模型求解出来线阵相机内部参数r₁₁,r₁₂,r₂₁,r₂₂,t_y,t_z,v_L0,f_L，其中r₁₁,r₁₂,r₂₁,r₂₂为线阵相机投影平面坐标系O_Lx_Ly_Lz_L到O_c1x_c1y_c1z_c1坐标系下的旋转矩阵的相应元素，t_y,t_z为线阵相机投影平面坐标系O_Lx_Ly_Lz_L到线阵摄像机坐标系O_c1x_c1y_c1z_c1的平移矢量t₁＝[0 t_y t_z]^T的相应元素；因为O_Ly_Lz_L与O_c1y_c1z_c1共面，t_x＝0；v_L0,f_L为线阵相机内部参数矩阵的相应元素。

3.根据权利要求1所述的一种线阵相机与面阵相机结合的立体视觉传感器测量方法，其特征在于：所述步骤2中，线阵相机坐标系到面阵相机坐标系之间转换矩阵标定如下：

(1)根据已求解出的线阵相机投影平面坐标系O_Lx_Ly_Lz_L到线阵摄像机坐标系O_c1x_c1y_c1z_c1的旋转矩阵R₁和平移矢量t₁，线阵相机投影平面坐标系O_Lx_Ly_Lz_L到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵R₂和平移矢量t₂，采用下式公式(1)，求解得到线阵摄像机坐标系O_c1x_c1y_c1z_c1到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵R₁₂和平移矢量t₁₂；

(2)在整个立体视觉传感器标定过程中建立非线性优化目标函数，采用非线性优化方法求解出所有标定参数K₂,K₁,R₁₂,t₁₂的最优解。

4.一种线阵相机与面阵相机结合的立体视觉传感器标定方法，其特征在于实现步骤如下：

步骤1：采用摄像机标定方法完成面阵相机内部参数矩阵K₂标定；

步骤2：使用棋盘格平面靶标放置在线阵相机和面阵相机的共同测量范围内，同时采集棋盘格平面靶标的灰度图像；提取线阵相机拍摄到的灰度图像特征点a、b、c、d、e、f，根据交比不变性求解出对应点A、B、C、D、E、F在棋盘格平面靶标坐标系下的二维坐标；

提取面阵相机拍摄到的灰度图像特征点，根据已标定出的面阵相机内部参数可以计算出平面靶标坐标系O_Tx_Ty_Tz_T到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵和平移矢量进而得到面阵相机坐标系下，A、B、C、D、E、F，即线阵相机拍摄到的灰度图像特征点a、b、c、d、e、f所对应的点的三维坐标；

在靶标摆放多次后，通过拟合确定线阵相机投影平面在面阵相机坐标系下平面方程，并在线阵相机投影平面上建立线阵相机投影平面坐标系O_Lx_Ly_Lz_L，其中线阵相机投影平面坐标系的O_Ly_Lz_L与线阵摄像机坐标系的O_c1y_c1z_c1共面；求解出线阵相机投影平面坐标系O_Lx_Ly_Lz_L到面阵摄像机坐标系O_c2x_c2y_c2z_c2坐标系下的旋转矩阵R₂和平移矢量t₂，并将A、B、C、D、E、F坐标转换到线阵相机投影平面坐标系O_Lx_Ly_Lz_L下。再根据线阵相机数学模型求解出来线阵相机内部参数r₁₁,r₁₂,r₂₁,r₂₂,t_y,t_z,v_L0,f_L，其中r₁₁,r₁₂,r₂₁,r₂₂为线阵相机投影平面坐标系O_Lx_Ly_Lz_L到线阵摄像机坐标系O_c1x_c1y_c1z_c1的旋转矩阵的相应元素，t_y,t_z为线阵相机投影平面坐标系O_Lx_Ly_Lz_L到线阵摄像机坐标系O_c1x_c1y_c1z_c1的平移矢量t₁＝[0 t_yt_z]^T的相应元素，因为O_Ly_Lz_L与O_c1y_c1z_c1共面，t_x＝0，v_L0,f_L为线阵相机内部参数矩阵的相应元素；

步骤3：根据已求解出的线阵相机投影平面坐标系O_Lx_Ly_Lz_L到线阵摄像机坐标系O_c1x_c1y_c1z_c1的旋转矩阵R₁和平移矢量t₁，线阵相机投影平面坐标系O_Lx_Ly_Lz_L到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵R₂和平移矢量t₂，采用下式公式(3)，求解得到线阵摄像机坐标系O_c1x_c1y_c1z_c1到面阵摄像机坐标系O_c2x_c2y_c2z_c2的旋转矩阵R₁₂和平移矢量t₁₂；

最后采用非线性优化方法求解出K₂,K₁,R₁₂,t₁₂的最优解，至此完成了视觉传感器全部参数标定。