CN101149836B - 一种三维重构的双摄像机标定方法 - Google Patents

Abstract

本发明涉及一种三维重构的双摄像机标定方法，其特征是：以空间标定点的三维重建误差最小为目标函数，对双摄像机的相对位姿进行标定，包括如下步骤：1)打开两个摄像机，同时获取关于标定物点的一系列图像，采用传统的单摄像机标定方法，分别对两个摄像机进行标定；2)以双摄像机视线的公垂线的中点为三维重构的空间物点，建立三维重构的代数表达式，以物点的三维重构误差最小为目标函数，以上一步获得的内、外参数为初值，通过迭代求解，对双摄像机的相对位姿进行标定；对第2)步建立的立体标定模型进行数值化求解，完成双摄像机标定过程。本发明具有标定准确、误差最小的有益效果。

Description

一种三维重构的双摄像机标定方法

技术领域

本发明涉及一种三维重构的双摄像机标定方法，是一种以三维重构为应用背景的双摄像机标定方法。属于视觉检测技术领域。

背景技术

视觉检测系统中，为了从图像的象素点计算出空间物点的三维坐标，需要进行摄像机标定。摄像机标定就是根据选定的摄像机模型，求解摄像机内部的几何和光学特性，即内参数，以及摄像机坐标系相对世界坐标系的位姿变化，即外参数。

对于精度要求较高的领域均采用非线性摄像机模型，文献“J.Weng，P.Cohen and M.Herniou.Calibration of stereo camerasusing a non-linear distortion model.Proc.Int.Confer.onPattern Recognition，p246～253，1990.”对非线性摄像机的镜头畸变进行了较为完善的描述。众多的学者针对非线性摄像机的标定展开了研究，例如文献“Roger Y.Tsai.A versatile cameracalibration technique for high-accuracy 3d machine visionmetrology using off-the-shelf TV cameras and lenses.IEEEjournal of Robotics and Automation，1987 3(4)，323～343.”在只考虑摄像机镜头的径向几何畸变情况下，提出了著名的两步法；文献“G.Q.Wei and S.D.Ma.Implicit and explicit cameracalibration：theory and experiment.PRMI，1994，16(5).”提出一种双平面摄像机模型，该方法将线性参数和非线性参数组合成中间参数，然后进行线性求解，简化了计算过程；文献“Zhengyou Zhang.A flexible new technique for camera calibration.TechnicalReport MSR-TR-98-71.”提出一种平面模板标定方法，通过获取平面标定板在任意不同方位的几幅图像来进行摄像机内外参数的标定。

这些方法在一定程度上解决了摄像机的标定问题，但它们主要是针对单摄像机标定，以空间点重投影的误差最小为标定计算的目标函数(如图1中所示的直线p₁q₁)，或目标函数没有明显的几何意义。由于标定误差的存在，用两个单独标定的摄像机在进行立体视觉测量时，其外参数的标定误差必然会引起较大的测量误差。

发明内容

本发明的目的，是为了克服现有技术用用两个单独标定的摄像机在进行立体视觉测量标定存在较大的测量误差的缺点，提供一种三维重构误差最小的双摄像机标定方法。

本发明的目的可以通过采取如下措施达到：

一种三维重构的双摄像机标定方法，其特点是：以空间标定点的三维重建误差最小为目标函数，对双摄像机的相对位姿进行标定，包括如下步骤：

1)获得摄像机内参数和外参数的初值

打开两个摄像机，同时获取关于标定物点的一系列图像，采用传统的单摄像机标定方法，分别对两个摄像机进行标定；

2)建立双摄像机的立体标定模型

以双摄像机视线的公垂线的中点为三维重构的空间物点，建立三维重构的代数表达式，以物点的三维重构误差最小为目标函数，以上一步获得的内、外参数为初值，通过迭代求解，对双摄像机的相对位姿进行标定；

3)对第2)步建立的立体标定模型进行数值化求解，完成双摄像机标定过程。

本发明的目的还可以通过采取如下措施达到：

本发明的一种实施方式是：采用如下两种标定方法来获得摄像机内参数和外参数初值；

1)采用Tsai的两步法，要求所有的标定点不能共面；

2)采用Zhang的平面模板标定方法，要求处于不同位姿的图像数量不能少于3幅。

本发明的一种实施方式是：在整个图像采集的过程中，双摄像机之间的相对位姿不能改变；在双摄像机采集每一对图像的过程中，标定物点的位姿不能改变。

对获得的图像进行特征提取和特征识别，建立空间物点与图像象素点之间的对应关系，然后根据选择的标定方法进行计算，获得摄像机内、外参数的初值；利用摄像机标定获得的内参数，对标定图像进行几何畸变校正。

本发明的一种实施方式是：所建立的双摄像机的立体标定模型由如下方程式表达：

$\stackrel{\→}{O_1{P}_1}=z_1\stackrel{\→}{O_1{p}_1}=\stackrel{\→}{O_1{O}_2}+z_2\stackrel{\→}{O_2{p}_2}+\mathrm{\λ}(\stackrel{\→}{O_1{p}_1}\×\stackrel{\→}{O_2{p}_2})---\left(1\right)$

$\stackrel{\→}{P_1}=T+R\stackrel{\→}{P_2}+\mathrm{\λ}\·(\stackrel{\→}{P_1}\×R\stackrel{\→}{P_2})---\left(2\right)$

本发明的一种实施方式是：立体标定模型进行数值化求解方法为，采取以下策略进行数值求解：

1)直接基于矩阵代数方程推导出线性迭代公式；

2)线性化过程中利用矩阵方程的所有信息，构造出矛盾线性方程组，然后采取矛盾方程组的求解技术进行求解。

采本发明具有如下有益效果：

本发明是利用双摄像机以三维重构为应用背景，采用一种以三维重构误差最小为误差评判准则的双摄像机标定方法。本发明首先利用传统的摄像机标定方法，如Tsai方法、Zhang方法等，对单摄像机进行标定，获得摄像机内外参数的初值；然后以双摄像机视线的公垂线的中点为三维重构的空间物点，以物点的三维重构误差最小为误差评判准则，对双摄像机的相对位置进行标定。本发明克服现有技术用用两个单独标定的摄像机在进行立体视觉测量标定存在较大的测量误差的缺点，具有标定准确、误差最小的突出的有益效果。

附图说明

图1对单摄像机标定时，以标定物点重投影误差最小为目标函数。

图2对双摄像机标定时，本发明以空间点三维重构的误差最小为目标函数。

图3对双摄像机标定时，本发明以双摄像机视线垂线的中点为对应的空间标定点。

具体实施方式

下面结合实例对本发明进行详细描述：

(1)图像采集与摄像机初值获取

如前所述，可以采用不同的标定方法来获得摄像机内参数和外参数初值。根据所选择方法的不同，对标定点的空间分布、图像数量等有不同的要求，例如：采用Tsai的两步法，要求所有的标定点不能共面；Zhang的平面模板标定方法要求处于不同位姿的图像数量不能少于3幅等。对于这部分具体的要求，根据选用方法的不同，可参考相关的参考文献。

在整个图像采集的过程中，双摄像机之间的相对位姿不能改变；在双摄像机采集每一对图像的过程中，标定物点的位姿不能改变。

对获得的图像进行特征提取和特征识别，建立空间物点与图像象素点之间的对应关系，然后根据选择的标定方法进行计算，获得摄像机内、外参数的初值；利用摄像机标定获得的内参数，对标定图像进行几何畸变校正。

(2)双摄像机的立体标定模型

由于各种误差的存在，直线R₁，R₂并不能真正相交，其几何关系为异面的空间直线。可以建立一条线段同时垂直R₁，R₂，并分别交两直线于点P₁，P₂，这条线段的中点P是最靠近直线R₁，R₂点，可以把它作为像点p₁，p₂对应的标定点，如图3所示。点P₁，P₂，O₁，O₂之间的关系可以表示为：

$\stackrel{\→}{O_1{P}_1}=z_1\stackrel{\→}{O_1{p}_1}=\stackrel{\→}{O_1{O}_2}+z_2\stackrel{\→}{O_2{p}_2}+\mathrm{\λ}(\stackrel{\→}{O_1{p}_1}\×\stackrel{\→}{O_2{p}_2})---\left(1\right)$

以单摄像机标定的内、外参数为初值，将式(1)改写为第一个摄像机坐标系中的方程：

$\stackrel{\→}{P_1}=T+R\stackrel{\→}{P_2}+\mathrm{\λ}\·(\stackrel{\→}{P_1}\×R\stackrel{\→}{P_2})---\left(2\right)$

其中

为空间点P在第一个摄像机坐标系中的坐标向量，

为空间点P在第二个摄像机坐标系中的坐标向量，这两个坐标值可以用单摄像机标定的结果作为初值，通过坐标变化获得。R，T表示第二个摄像机相对第一个摄像机的旋转、平移矩阵，λ为对应空间点P的未知量。式(2)是一个关于旋转矢量(α，β，γ)、平移矢量(t_x，t_y，t_z)和λ的非线性方程，用矩阵形式表示为：

$\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]=\begin{array}{c}\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]\end{array}+\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\end{array}\right]\left[\begin{array}{c}{x}_2\\ y_2\\ z_2\end{array}\right]+\mathrm{\λ}\·\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]\×\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\end{array}\right]\left[\begin{array}{c}{x}_2\\ y_2\\ z_2\end{array}\right]---\left(3\right)$

其中，(x₁，y₁，z₁)，(x₂，y₂，z₂)分别表示标定物点在第一、第二个摄像机坐标系中的坐标。由等式的第三行，可以得到λ的表达式：

$\mathrm{\λ}=(z_1-t_z-r_3\·\stackrel{\→}{p_2})/(x_1{r}_2\·\stackrel{\→}{p_2}-y_1{r}_1\·\stackrel{\→}{p_2})$ (4)

简记为：λ＝λ(α，β，λ，t_x，t_y，t_z)

将上式(4)带入式(3)，可得：

$\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]=\left[\begin{array}{c}{t}_x\\ t_y\\ t_z\end{array}\right]+\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\end{array}\right]\left[\begin{array}{c}{x}_2\\ y_2\\ z_2\end{array}\right]+\mathrm{\λ}(\mathrm{\α},\mathrm{\β},\mathrm{\λ},t_x,t_y,t_z)\·\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right]\×\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\end{array}\right]\left[\begin{array}{c}{x}_2\\ y_2\\ z_2\end{array}\right]---\left(5\right)$

对于给定的n个空间点，组成非线性方程组：

X⁽ⁱ⁾＝A⁽ⁱ⁾

(6)

i＝1，...，n

其中，X⁽ⁱ⁾为第i个点对应式(5)的左边部分，A⁽ⁱ⁾为第i个点对应式(5)的右边部分。

(3)模型的数值化求解

式(6)是一个矩阵形式菲线性方程组，由该方程很难直接寻找到有效代数方程，因此，采取以下策略进行数值求解：1)直接基于矩阵代数方程推导出线性迭代公式；2)线性化过程中利用矩阵方程的所有信息，构造出矛盾线性方程组，然后采取矛盾方程组的求解技术进行求解。

为讨论方便，将旋转矢量(α，β，γ)、平移矢量(t_x，t_y，t_z)中的变量统一记为x，对之作一阶泰勒展开：

$X^{\left(i\right)}\≅{\tilde{A}}^{\left(i\right)}+\underset{k=1}{\overset{6}{\mathrm{\Σ}}}\frac{\∂{\tilde{A}}_i}{{\∂x}_k}{\mathrm{dx}}_k---\left(7\right)$

由高斯-塞德尔迭代法(李庆扬.等数字分析.华中理工大学出版社，1986.)求解上式，获得全部的旋转矢量(α，β，γ)、平移矢量(t_x，t_y，t_z)。理论上，当n≥3可完成立体标定，在实际标定中应该使方程的个数远远超过误差的个数，以降低误差造成的影响。

在标定实践中，对于两个单独标定的摄像机，在标定的过程中只考虑了单摄像机相对标定物点的内、外参数，标定的结果是对单摄像机内、外参数的最优。而立体视觉测量需要用到两个摄像机的内、外参数，单摄像机的内、外参数最优，并不能保证最后测量的结果最优，原因如下：

对于两个单独标定的摄像机，两个摄像机之间的相对位姿是通过标定物点建立的一种间接的几何位姿关系，由于单摄像机标定存在误差，因此所建立的几何位姿关系也是存在误差的。而立体视觉测量是一个误差放大的过程，特别是外参数的标定误差对测量精度的影响尤为明显，因此，两个单独标定的摄像机在进行立体视觉测量时必然会一起较大的测量误差。

三维重建就是针对一个具体的实物模型，采用某种方法，获得大量的关于模型几何外形的点数据，然后根据这些点数据，在计算机中建立一个数字模型。

本发明所提出的立体视觉标定方法，在标定过程中以三维重构的误差最小为摄像机标定的目标函数，通过对外参数的优化，来有效的减小立体视觉测量的误差。

本发明是利用标定物点，同时对两个摄像机进行标定。

摄像机内参数主要包括：焦距、中心点位置以及像素的比例因子等，外参数主要是指摄像机坐标系相对参考坐标系的旋转、平移等位姿变换。

Claims (6)

1.一种三维重构的双摄像机标定方法，其特征是：以空间标定点的三维重建误差最小为目标函数，对双摄像机的相对位姿进行标定，包括如下步骤：

1)获得摄像机内参数和外参数的初值

打开两个摄像机，同时获取关于标定物点的一系列图像，采用传统的单摄像机标定方法，分别对两个摄像机进行标定；

2)建立双摄像机的立体标定模型

以两个摄像机视线的公垂线的中点为三维重构的空间物点，建立三维重构的代数表达式，以物点的三维重构误差最小为目标函数，以第1)步获得的内、外参数为初值，通过迭代求解，对两个摄像机的相对位姿进行标定；

3)对第2)步建立的立体标定模型进行数值化求解，完成两个摄像机标定过程。

2.根据权利要求1所述一种三维重构的双摄像机标定方法，其特征是：采用Tsai的两步法来获得摄像机内参数和外参数初值，要求所有的标定物点不能共面；或者采用Zhang的平面模板标定方法来获得摄像机内参数和外参数初值，要求处于不同位姿的图像数量不能少于3幅。

3.根据权利要求1所述一种三维重构的双摄像机标定方法，其特征是：在整个图像采集的过程中，两个摄像机之间的相对位姿不能改变；在两个摄像机采集每一对图像的过程中，标定物点的位姿不能改变。

4.根据权利要求1所述一种三维重构的双摄像机标定方法，其特征是：对获得的图像进行特征提取和特征识别，建立空间物点与图像象素点之间的对应关系，然后根据选择的标定方法进行计算，获得摄像机内、外参数的初值；利用第1)步摄像机标定获得的内参数，对标定图像进行几何畸变校正。

5.根据权利要求1所述一种三维重构的双摄像机标定方法，其特征是：所建立的双摄像机的立体标定模型由如下方程式表达：

$1)\stackrel{\→}{O_1{P}_1}=z_1\stackrel{\→}{O_1{p}_1}=\stackrel{\→}{O_1{O}_2}+z_2\stackrel{\→}{O_2{p}_2}+\mathrm{\λ}(\stackrel{\→}{O_1{p}_1}\×\stackrel{\→}{O_2{p}_2})$

$2)\stackrel{\→}{P_1}=T+R\stackrel{\→}{P_2}+\mathrm{\λ}\·(\stackrel{\→}{P_1}\×R\stackrel{\→}{P_2})$

其中，

为空间点P在第一个摄像机坐标系中的坐标向量，

为空间点P在第二个摄像机坐标系中的坐标向量，R，T表示第二个摄像机相对第一个摄像机的旋转、平移矩阵，λ为对应空间点P的未知量。

6.根据权利要求1所述一种三维重构的双摄像机标定方法，其特征是：立体标定模型进行数值化求解方法为，采取以下策略进行数值求解：

1)直接基于矩阵代数方程推导出线性迭代公式；

2)线性化过程中利用矩阵方程的所有信息，构造出矛盾线性方程组，然后采取矛盾方程组的求解技术进行求解。

Images