CN104167001A - 基于正交补偿的大视场摄像机标定方法 - Google Patents

Abstract

本发明公开了一种基于正交补偿的大视场摄像机标定方法，属于计算机视觉检测和图像处理领域，涉及大型锻件尺寸测量系统中摄像机内、外参数的标定方法。通常主动视觉标定过程中电控平台两平移导轨并非完全正交，而标定只是盲目选择精度高的电控平台近似认为其正交，因此提出一种基于正交补偿的摄像机标定方法通过分别求取主点和尺度因子、平移向量和旋转矩阵获取摄像机内、外参数。本发明考虑在标定过程中加入导轨正交度因素，即引入正交补偿，以降低导轨正交度对标定结果带来的误差。

Description

基于正交补偿的大视场摄像机标定方法

技术领域

本发明属于计算机视觉检测和图像处理领域，涉及大型锻件尺寸测量系统中摄像机内、外参数的标定方法，具体是指一种基于正交补偿的大视场摄像机标定方法。

背景技术

大锻件尺寸视觉测量的基本任务之一是根据锻造过程中大锻件的二维图像信息恢复三维几何信息，求取实时尺寸参数。要实现利用图像点求取相应的空间物体表面点的任务，需要确定摄像机成像几何模型，该几何模型的参数称为摄像机参数。摄像机内参数为摄像机自身的与几何和光学特性有关的参数，外参数为摄像机相对于某一世界坐标系的三维位置和方向。

影响摄像机标定精度的主要因素包括：标定特征点的精确、鲁棒提取。确定摄像机内、外参数的过程称为摄像机标定，标定方法的精度直接影响到计算机视觉测量的精度。因此，对摄像机进行快速、简捷、精准标定的研究无疑具有重大的意义。

目前根据摄像机标定方式的不同，可以分为传统标定法、摄像机自标定法和基于主动视觉的摄像机标定方法；基于主动视觉标定方法稳定性和鲁棒性高的优点，而通常主动视觉标定过程中电控平台两平移导轨并非完全正交，而标定只是盲目选择精度高的电控平台近似认为其正交。针对这一问题，考虑在标定过程中加入导轨正交度因素，即引入正交补偿，以降低导轨正交度对标定结果带来的误差。

发明内容

本发明的基于正交补偿的大视场摄像机标定方法，首先利用变焦距求主点技术获取主点坐标，然后利用四组正交运动获取12张图像，在考虑四维电控平台的正交度的情况下利用12张图像求取尺度因子，至此，内部参数已经标定完毕；最后，结合求取的内部参数求取外部参数。

本发明采取的技术方案是：

一种基于正交补偿的大视场摄像机标定方法，通常主动视觉标定过程中电控平台两平移导轨并非完全正交，而标定只是盲目选择精度高的电控平台近似认为其正交，因此提出一种基于正交补偿的摄像机标定方法通过分别求取主点和尺度因子、平移向量和旋转矩阵获取摄像机内、外参数；具体步骤如下：

步骤1：变焦距法求主点

用摄像机在不同焦距下拍摄二维靶标，当焦距改变时，光心沿光轴移动，在摄像机视场中二维靶标将会等比例扩缩，得到不同视场下靶标图像，不同图像中有一点的图像保持不变，叫做扩缩中心，在不同视场的图像中扩缩中心即为主点，因此将靶标各个特征点在不同焦距下的连线的最小二乘意义下的交点即为主点。

步骤2：利用四维电控平台的主动视觉标定方法获取靶标图像

控制四维电控平台带动摄像机做四组平面内的正交运动，每组正交运动含有两次平移，摄像机在每次正交运动中停留三个位置，进而得到三张图像，而且在确保靶标在视场内的前提下，每组正交运动之间摄像机均有不小于5度的俯仰角度或扫视角度，通过四组的两次纯平移运动得到共12张靶标图像。

步骤3：求取尺度因子

平行直线与无穷远平面相交于同一个无穷远点，即隐消点，将畸变校正后的12张图像分组进行消隐点估计，每组3张图像中对应点连线得到2个消隐点，4组共8个消隐点；将得到的8个消隐点坐标、主点坐标以及导轨间角度带入下式中：

$\cos \mathrm{\θ}=\frac{v_{i1}^T{\mathrm{wv}}_{i2}}{\sqrt{v_{i1}^T{\mathrm{wv}}_{i1}}\sqrt{v_{i2}^T{\mathrm{wv}}_{i2}}},i=\mathrm{1,2,3,4}---\left(1\right)$

其中，θ为电控平台两根平移导轨之间的角度，v_i1、v_i2为第i组正交运动下的两次平移运动获取的消隐点对的像素坐标(齐次形式)，w＝K^-TK^-1是绝对二次曲线的图像，其具体形式如下：

$w=\left[\begin{array}{ccc}1/f_x^2& 0& -u_0/f_x^2\\ 0& 1/f_y^2& -v_0/f_y^2\\ -u_0/f_x^2& -v_0/f_y^2& u_0^2/f_x^2+v_0^2/f_y^2+1\end{array}\right]---\left(2\right)$

通过上述两个式子以及八个消隐点坐标可以得到包含四个非线性方程的二元方程组，用非线性最小二乘法迭代求解出尺度因子f_x和f_y。

步骤4：标定外参数

一组对应像点的齐次坐标即可获得一个线性方程，如下：

uu′f₁₁+vu′f₁₂+u′f₁₃+uv′f₂₁+vv′f₂₂+v′f₂₃+uf₃₁+vf₃₂+f₃₃＝0   (3)

其中，f_ij为基本矩阵的第i行、第j列上的元素；

[uu′,vu′,u′,uv′,vv′,v′,u,v,1]f＝0   (4)

其中，f＝[f₁₁,f₁₂,f₁₃,f₂₁,f₂₂,f₂₃,f₃₁,f₃₂,f₃₃]^T为9维列向量；

如果给出n组点对应{m_i,m′_i}，则有如下齐次线性方程组

$\mathrm{Af}=\left[\begin{array}{ccccccccc}{u}_1{u}_1^{\′}& v_1{u}_1^{\′}& u_1^{\′}& u_1{v}_1^{\′}& v_1{v}_1^{\′}& v_1^{\′}& u_1& v_1& 1\\ \·& \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·& \·\\ u_n{u}_n^{\′}& v_n{u}_n^{\′}& u_n^{\′}& u_n{v}_n^{\′}& v_n{v}_n^{\′}& v_n^{\′}& u_n& v_n& 1\end{array}\right]f=0---\left(5\right)$

给定至少8组对应像点即可在相差一未知非零比例因子下线性求解上述齐次线性方程组，在此施加约束‖f‖＝1，当对应像点精确匹配时，可以仅利用8组对应点求取基本矩阵；进而可以获取相差一个非零比例因子下的本质矩阵其中s为相差的比例因子；利用E^*＝Udiag((σ₁+σ₂)/2,(σ₁+σ₂)/2,0)V^T作为的近似，其中特征值σ₁≥σ₂≥σ₃。

从本质矩阵E^*可以估计出摄像机间的外部参数具有下述4种可能的组合形式：

[UWV^T|u₃]；[UWV^T|-u₃]；[UW^TV^T|u₃]；[UW^TV^T|-u₃].   (6)

其中， $W=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],$ u₃为U的第3列向量，

通过Chirality约束、偏航角为一个锐角且为正值以及平移向量的X_C向分量为负值来判断正确参数组合；利用获得的摄像机内部参数和相差一比例因子下的摄像机间外部参数重建距离信息精确已知的两个特征点，重建距离与实际距离的比值即为比例因子s。

附图说明

图1为变焦距求主点原理图。

图2为本发明的装置结构示意图。

图3为双目立体视觉中对极几何原理图。

图中：1平台；2左摄像机电控平台；3右摄像机电控平台；4左摄像机；

5右摄像机；6二维棋盘格标定板。

具体实施方式

下面结合附图和技术方案进一步详细说明本发明的具体实施方式。

摄像机标定通常采用经典的小孔成像模型，该模型的表达式如下：

其中，(X_w,Y_w,Z_w,1)^T为空间点在世界坐标系中的齐次坐标，(u,v,1)^T为对应的图像像点像素坐标系o₀uv中的齐次坐标，α_x＝f/dx为o₀uv坐标系内u轴上的尺度因子，α_y＝f/dy为o₀uv坐标系内v轴上的尺度因子，f为摄像机镜头焦距，dx与dy分别为像元的横、纵物理尺寸，(u₀,v₀)为主点坐标，ρ_c为比例系数，K为摄像机内部参数矩阵，[R|t]为摄像机的外部参数矩阵，其中，R为旋转矩阵，t为平移向量。

摄像机内部参数包括主点坐标(u₀,v₀)、尺度因子α_x、α_y，径向畸变系数k₁、k₂与切向畸变系数p₁、p₂。摄像机外部参数为摄像机坐标系相对于世界坐标系的方位，包括旋转矩阵R与平移向量t。

步骤1：变焦距法求主点；

用摄像机在不同焦距下拍摄二维靶标，如图1所示，当焦距改变时，光心沿光轴移动，在摄像机视场中二维靶标将会等比例扩缩，得到不同视场下靶标图像，不同图像中有一点的图像保持不变，叫做扩缩中心，在不同视场的图像中扩缩中心即为主点，因此将靶标各个特征点在不同焦距下的连线的最小二乘意义下的交点即为主点。

步骤2：利用四维电控平台的主动视觉标定方法获取靶标图像；

如图2搭建实验设备，将两台摄像机固定在两台四维电控平台上，控制四维电控平台带动摄像机做四组平面内的正交运动，每组正交运动含有两次平移，摄像机在每次正交运动中停留三个位置，进而得到三张图像，而且在确保靶标在视场内的前提下，每组正交运动之间摄像机均有不小于5度的俯仰角度或扫视角度，通过四组的两次纯平移运动得到共12张靶标图像。

步骤3：求取尺度因子；

平行直线与无穷远平面相交于同一个无穷远点，即隐消点，将畸变校正后的12张图像分组进行消隐点估计，每组3张图像中对应点连线得到2个消隐点，4组共8个消隐点；将得到的8个消隐点坐标、主点坐标以及导轨间角度带入下式中：

$\cos \mathrm{\θ}=\frac{v_{i1}^T{\mathrm{wv}}_{i2}}{\sqrt{v_{i1}^T{\mathrm{wv}}_{i1}}\sqrt{v_{i2}^T{\mathrm{wv}}_{i2}}},i=\mathrm{1,2,3,4}---\left(1\right)$

其中，θ为电控平台两根平移导轨之间的角度，v_i1、v_i2为第i组正交运动下的两次平移运动获取的消隐点对的像素坐标(齐次形式)，w＝K^-TK^-1是绝对二次曲线的图像，其具体形式如下：

$w=\left[\begin{array}{ccc}1/f_x^2& 0& -u_0/f_x^2\\ 0& 1/f_y^2& -v_0/f_y^2\\ -u_0/f_x^2& -v_0/f_y^2& u_0^2/f_x^2+v_0^2/f_y^2+1\end{array}\right]---\left(2\right)$

通过上述两个式子以及八个消隐点坐标可以得到包含四个非线性方程的二元方程组，用非线性最小二乘法迭代求解出尺度因子f_x和f_y。

步骤4：标定外参数；

图3为双目立体视觉中对极几何原理图。

每一组对应像点的齐次坐标即可获得一个线性方程，如下：

uu′f₁₁+vu′f₁₂+u′f₁₃+uv′f₂₁+vv′f₂₂+v′f₂₃+uf₃₁+vf₃₂+f₃₃＝0   (3)

其中，f_ij为基本矩阵的第i行、第j列上的元素；

[uu′,vu′,u′,uv′,vv′,v′,u,v,1]f＝0   (4)

其中，f＝[f₁₁,f₁₂,f₁₃,f₂₁,f₂₂,f₂₃,f₃₁,f₃₂,f₃₃]^T为9维列向量；

如果给出n组点对应{m_i,m′_i}，则有如下齐次线性方程组

$\mathrm{Af}=\left[\begin{array}{ccccccccc}{u}_1{u}_1^{\′}& v_1{u}_1^{\′}& u_1^{\′}& u_1{v}_1^{\′}& v_1{v}_1^{\′}& v_1^{\′}& u_1& v_1& 1\\ \·& \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·& \·\\ u_n{u}_n^{\′}& v_n{u}_n^{\′}& u_n^{\′}& u_n{v}_n^{\′}& v_n{v}_n^{\′}& v_n^{\′}& u_n& v_n& 1\end{array}\right]f=0---\left(5\right)$

给定至少8组对应像点即可在相差一未知非零比例因子下线性求解上述齐次线性方程组，在此施加约束‖f‖＝1，当对应像点精确匹配时，可以仅利用8组对应点求取基本矩阵；进而可以获取相差一个非零比例因子下的本质矩阵其中s为相差的比例因子；利用E^*＝Udiag((σ₁+σ₂)/2,(σ₁+σ₂)/2,0)V^T作为的近似，其中特征值σ₁≥σ₂≥σ₃；

从本质矩阵E^*可以估计出摄像机间的外部参数具有下述4种可能的组合形式：

[UWV^T|u₃]；[UWV^T|-u₃]；[UW^TV^T|u₃]；[UW^TV^T|-u₃].   (6)

其中， $W=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],$ u₃为U的第3列向量，

通过Chirality约束、偏航角为一个锐角且为正值以及平移向量的X_C向分量为负值来判断正确参数组合；利用获得的摄像机内部参数和相差一比例因子下的摄像机间外部参数重建距离信息精确已知的两个特征点，重建距离与实际距离的比值即为比例因子s。

Claims (1)

1.一种基于正交补偿的标定过程，其特征在于如下步骤：

步骤1：变焦距法求主点

用摄像机在不同焦距下拍摄二维靶标，当焦距改变时，光心沿光轴移动，在摄像机视场中二维靶标将会等比例扩缩，得到不同视场下靶标图像，不同图像中有一点的图像保持不变，叫做扩缩中心，在不同视场的图像中扩缩中心即为主点，因此将靶标各个特征点在不同焦距下的连线的最小二乘意义下的交点即为主点；

步骤2：利用四维电控平台的主动视觉标定方法获取靶标图像

控制四维电控平台带动摄像机做四组平面内的正交运动，每组正交运动含有两次平移，摄像机在每次正交运动中停留三个位置，进而得到三张图像，而且在确保靶标在视场内的前提下，每组正交运动之间摄像机均有不小于5度的俯仰角度或扫视角度，通过四组的两次纯平移运动得到共12张靶标图像；

步骤3：求取尺度因子

平行直线与无穷远平面相交于同一个无穷远点，即隐消点，将畸变校正后的12张图像分组进行消隐点估计，每组3张图像中对应点连线得到2个消隐点，4组共8个消隐点；将得到的8个消隐点坐标、主点坐标以及导轨间角度带入下式中：

$\cos \mathrm{\θ}=\frac{v_{i1}^T{\mathrm{wv}}_{i2}}{\sqrt{v_{i1}^T{\mathrm{wv}}_{i1}}\sqrt{v_{i2}^T{\mathrm{wv}}_{i2}}},i=\mathrm{1,2,3,4}---\left(1\right)$

其中，θ为电控平台两根平移导轨之间的角度，v_i1、v_i2为第i组正交运动下的两次平移运动获取的消隐点对的像素坐标，w＝K^-TK^-1是绝对二次曲线的图像，其具体形式如下：

$w=\left[\begin{array}{ccc}1/f_x^2& 0& -u_0/f_x^2\\ 0& 1/f_y^2& -v_0/f_y^2\\ -u_0/f_x^2& -v_0/f_y^2& u_0^2/f_x^2+v_0^2/f_y^2+1\end{array}\right]---\left(2\right)$

通过上述两个式子以及八个消隐点坐标得到包含四个非线性方程的二元方程组，用非线性最小二乘法迭代求解出尺度因子f_x和f_y；

步骤4：标定外参数；

一组对应像点的齐次坐标即可获得一个线性方程，如下：

uu′f₁₁+vu′f₁₂+u′f₁₃+uv′f₂₁+vv′f₂₂+v′f₂₃+uf₃₁+vf₃₂+f₃₃＝0   (3)

其中，f_ij为基本矩阵的第i行、第j列上的元素；

[uu′,vu′,u′,uv′,vv′,v′,u,v,1]f＝0   (4)

其中，f＝[f₁₁,f₁₂,f₁₃,f₂₁,f₂₂,f₂₃,f₃₁,f₃₂,f₃₃]^T为9维列向量；

如果给出n组点对应{m_i,m′_i}，则有如下齐次线性方程组

$\mathrm{Af}=\left[\begin{array}{ccccccccc}{u}_1{u}_1^{\′}& v_1{u}_1^{\′}& u_1^{\′}& u_1{v}_1^{\′}& v_1{v}_1^{\′}& v_1^{\′}& u_1& v_1& 1\\ \·& \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·& \·\\ u_n{u}_n^{\′}& v_n{u}_n^{\′}& u_n^{\′}& u_n{v}_n^{\′}& v_n{v}_n^{\′}& v_n^{\′}& u_n& v_n& 1\end{array}\right]f=0---\left(5\right)$

给定至少8组对应像点即可在相差一未知非零比例因子下线性求解上述齐次线性方程组，在此施加约束‖f‖＝1，当对应像点精确匹配时，仅利用8组对应点求取基本矩阵；进而获取相差一个非零比例因子下的本质矩阵其中s为相差的比例因子；利用E^*＝Udiag((σ₁+σ₂)/2,(σ₁+σ₂)/2,0)V^T作为的近似，其中特征值σ₁≥σ₂≥σ₃；

从本质矩阵E^*估计出摄像机间的外部参数具有下述4种可能的组合形式：

[UWV^T|u₃]；[UWV^T|-u₃]；[UW^TV^T|u₃]；[UW^TV^T|-u₃].   (6)

其中， $W=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],$ u₃为U的第3列向量，

通过Chirality约束、偏航角为一个锐角且为正值以及平移向量的X_C向分量为负值来判断正确参数组合；利用获得的摄像机内部参数和相差一比例因子下的摄像机间外部参数重建距离信息精确已知的两个特征点，重建距离与实际距离的比值即为比例因子s。