CN113160333B - 参数优化相机标定方法 - Google Patents

Abstract

本发明涉及视觉测量，为提出新的相机标定方法。为此，本发明采取的技术方案是，参数优化相机标定方法，利用相机的透视变换模型建立约束方程，并引入相机切向畸变和薄透镜畸变，然后利用做小二乘法求解物体坐标和图像坐标之间的数学模型。本发明主要应用于相机标定、视觉测量场合。

Description

参数优化相机标定方法

技术领域

本发明涉及视觉测量，具体涉及参数优化相机标定方法。

背景技术

视觉测量是一种摄像机为传感器的非接触式测量技术，随着视觉测量理论的发展以及有关相机成像精度等硬件性能的提升，视觉测量技术被广泛地应用在各种工业测量当中，并且具有非接触，速度快，精度高的特点。视觉测量的基本原理利用图像传感器获取目标的信息，建立物体坐标和图像坐标之间的数学模型，通过求解模型当中的参数，确定物体坐标和图像坐标的映射关系，由图像坐标求得物体坐标，进而确定物体的实际尺寸。模型的求解过程即为相机的标定，因而标定精度直接影响到测量的精度。

相机的标定方式有传统标定法：优点是标定精度高，但是需要记结构尺寸精确的标定物，并且标定过程计算较为复杂；基于主动视觉测的标定：不需高精度的参，这种标定方法需要控制摄像机做某些特殊运动，如摄像机做相互正交的平移运动，在平台坐标系下朝某一方向平移，摄像机仅作纯平移或旋转运动等。该方法的算法相对简单，参数可以通过线性求解，鲁棒性较高。但该方法需要使用高精度视觉平台进行摄像机标定，系统成本较高，且不适用于摄像机运动未知或无法控制的场合。摄像机自标定法：利用摄像机在运动过程中图像与图像之间对应点的关系，直接对摄像机进行标定。该方法采用的是针孔摄像模型，通过摄像机内部参数的自身约束关系进行求解，该方法不需标定参照物，方便灵活，但是精度较低不适用于视觉测量领域。介于传统和自标定之间的张氏标定法：张正友基于棋盘格的标定法，该方法利用相机的内参数约束分别求取相机初始内参和外参数，然后引入径向畸变，利用最优化方法进行全局优化，该方法不需要高精度参照物，标定精度较高，但是在镜头畸变较大的情况下易使求解陷入局部最优，并且没有考虑镜头的切向畸变。

发明内容

为克服现有技术的不足，本发明旨在提出新的相机标定方法。为此，本发明采取的技术方案是，参数优化相机标定方法，利用相机的透视变换模型建立约束方程，并引入相机切向畸变和薄透镜畸变，然后利用做小二乘法求解物体坐标和图像坐标之间的数学模型。

具体步骤如下：

1.建立无畸变的理想成像模型

相机的成像模型包括从世界坐标系—相机坐标系—成像面坐标系—像素坐标系的转换矩阵，转换矩阵如下：

其中：(X_w，Y_w，Z_w)为世界坐标系中的点，(u，v)为像素坐标系中的点，Z_c为成像距离，

为相机内参矩阵，

为外参矩阵，

为像素坐标平面上的尺度因子，也称等效焦距，f为相机焦距，dx、dy为像素平面上单位像素对应的物理距离。

为旋转矩阵，r₁₁、r₁₂......r₃₃为由旋转角度计算得到的矩阵参数；

T_3,1＝[T_x T_y T_z]为平移矩阵，T_x、T_y、T_z为X方向、Y方向、Z方向的平移距离。

2.初始参数求解

在忽略透镜存在畸变等因素的情况下，以平面的单应性为约束条件求解相机的初始内外参数，采用基于单平面棋盘格张正友标定法求解，得到f、dx、dy、r、u₀、v₀、R_3,3、T_3,1的值。

3.求解畸变参数

选用迭代逐步逼近求解的方式，首先通过多畸变模型校正像点坐标，假定经校正后像点的成像坐标与该点在摄像机坐标系下的位置满足透视原理，然后利用相机的初始内外参数值求解出畸变系数，在此畸变系数在畸变模型上迭代更新相机的内外参数。

求解畸变参数和全局优化具体过程如下：

(1)设(x,y)是理想图像坐标，(x_r,y_r)是实际的图像坐标，(x_c，y_c，z_c)为相机坐标系中的对应点，k₁、k₂为径向畸变系数，p₁、p₂为切向畸变系数，s₁、s₂为薄透镜畸变系数；

则根据畸变校正和透视变换模型得到：

利用上节得到的外参矩阵和内参矩阵初始值，可计算x_c,y_c,z_c的值，(x_r,y_r)的值根据下式计算得到：

至此，式中只剩下畸变参数k₁,k₂,p₁,p₂,s₁,s₂，在标定图像中任意选取n>6个点，通过最小二乘法求出畸变系数。

(2)迭代优化R，T，f的值

由世界坐标系和图像坐标系的转换关系：

写成线性方程的形式为：

其中f.r₁₁/T_z,f.r₁₂/T_z,f.T_x/T_z,f.r₂₁/T_z,f.r₂₂/T_z,f.T_y/T_z,r₃₁/T_z,r₃₂/T_z通过最小二乘算法求解。由旋转矩阵R的正交性，有：

解出f/T_z，r₁₁,r₁₂,r₂₁,r₂₂,T_x,T_y，根据正交矩阵的性质，可求出r₁₃、r₂₃、r₃₁、r₃₂、r₃₃，最后有r₃₁/T_z可求出T_z的值，由f/T_z求出f的值；

(3)设ΔR为两次迭代中R的差值，ΔT为两次迭代T的差值，Δf为两次迭代中f的差值；重复步骤3-(1)和3-(2)直到|ΔR|、|ΔT|、|Δf|的值小于一个极小的正值ε，迭代结束。

本发明的特点及有益效果是：

本发明选用迭代逐步逼近的方式，利用相机的初始内外参数值求解出畸变系数，进一步以此畸变系数在畸变模型上迭代更新相机的内外参数。因而本发明标定精度较高，能够清除镜头的切向畸变影响。

附图说明：

图1参数优化相机标定方法流程。

图2相机小孔成像模型。

图3标定板在CCD中的成像。

图4经畸变校正的图像。

图5标定误差。

具体实施方式

如图1所示，展示了本发明实施方式的流程。本发明传统张氏标定的基础上，在求得初始解之后，对于参数优化过程进行改进，利用相机的透视变换模型建立约束方程，并引入相机切向畸变和薄透镜畸变，然后利用做小二乘法求解。实验表明标定方法稳定可靠，标定精度较张氏标定高。

本发明步骤如下：

1.建立无畸变的理想成像模型

相机的成像模型包括从世界坐标系—相机坐标系—成像面坐标系—像素坐标系的转换矩阵，如图1所示。

根据常用的小孔成像模型可得到下面的转换矩阵

其中：(X_w，Y_w，Z_w)为世界坐标系中的点，(u，v)为像素坐标系中的点，Z_c为成像距离；

为相机内参矩阵，

为外参矩阵；

为像素坐标平面上的尺度因子，也称等效焦距，f为相机焦距，dx、dy为像素平面上单位像素对应的物理距离；

为旋转矩阵，r₁₁、r₁₂......r₃₃为由旋转角度计算得到的矩阵参数；

T_3,1＝[T_x T_y T_z]为平移矩阵，T_x、T_y、T_z为X方向，Y方向，Z方向的平移距离。

2.初始参数求解

在忽略透镜存在畸变等因素的情况下，以平面的单应性为约束条件求解相机的初始内外参数，采用基于单平面棋盘格张正友标定法求解，得到f、dx、dy、r、u₀、v₀、R_3,3、T_3,1的值。

3.求解畸变参数和全局优化

上述的内外参数是根据线性模型求出的，未引入成像过程中的相机畸变，为此还需对结果进行优化。张氏标定法的优化方法是最大似然估计方法，其优化过程可能会陷入局部最优解。为此本文选用迭代逐步逼近的方式，首先通过多畸变模型校正像点坐标，假定经校正后像点的成像坐标与该点在摄像机坐标系下的位置满足透视原理，然后利用相机的初始内外参数值求解出畸变系数，进一步以此畸变系数在畸变模型上迭代更新相机的内外参数，具体过程如下：

(1)利用透视约束和初始成像参数求解畸变系数

设(x,y)是理想图像坐标，(x_r,y_r)是实际的图像坐标，(x_c，y_c，z_c)为相机坐标系中的对应点，k₁、k₂为径向畸变系数，p₁、p₂为切向畸变系数，s₁、s₂为薄透镜畸变系数；

则根据畸变校正和透视变换模型得到：

利用上节得到的外参矩阵和内参矩阵初始值，可计算x_c,y_c,z_c的值，(x_r,y_r)的值可根据下式计算：

至此，式中只剩下畸变参数k₁,k₂,p₁,p₂,s₁,s₂，在标定图像中任意选取n>6个点即可通过最小二乘法求出畸变系数。

(2)迭代优化R，T，f的值

由世界坐标系和图像坐标系的转换关系：

写成线性方程的形式为：

其中f.r₁₁/T_z,f.r₁₂/T_z,f.T_x/T_z,f.r₂₁/T_z,f.r₂₂/T_z,f.T_y/T_z,r₃₁/T_z,r₃₂/T_z可通过最小二乘法算法求解。由R的正交性，有：

解出f/T_z，r₁₁,r₁₂,r₂₁,r₂₂,T_x,T_y，根据正交矩阵的性质，可求出r₁₃,r₂₃,r₃₁,r₃₂,r₃₃，最后有r₃₁/T_z可求出Tz的值，由f/T_z求出f的值。

(3)设ΔR为两次迭代中R的差值，ΔT为两次迭代T的差值，Δf为两次迭代中f的差值；重复步骤(3)和(4)直到|ΔR|、|ΔT|、|Δf|的值小于一个极小的正值ε，迭代结束。

二.实验验证

为验证本文标定方法的有效性，实验中所用的标定板为刻印在菲林板上的9x12的黑白棋盘格，单个棋盘格大小为0.5x0.5mm，镜头型号为图像分辨率744x480黑白CCD相机，为提高标定精度又不使计算量过大，通过平移和转动图像，使标定板在视野中的不同位置成像，实验中共选取了11张不同方位的图像，成像效果如图3所示。

标定的步骤如下

1)调节相机光圈和焦距，将标定板以合适的距离安装在三角架安装板上，调整好双相机的角度、焦距、光圈，使标定板清晰明亮可见；然后将双相机的位置、焦圈、光圈等都加以固定。

2)转动和倾斜标定板，使标定板在图像中的不同位置成像，记录图像并保存。

3)按本发明中1-3的步骤对相机参数进行求解和优化。

4)分析标定误差。

标定结果如下所示：

(1)内参矩阵

(2)部分外参矩阵:

(3)畸变系数

K1＝0.00026,K2＝-0.00023

P1＝-0.01765,P2＝0.02153

S1＝-0.00061S2＝-0.0331

(4)图4为角点识别和畸变校正之后的图像，对比原图，图像四周的枕形畸变明显减小。

(5)图5为利用标定参数经重映射之后计算的标定误差，平均重映射误差为0.18个像素，证明标定结果较好。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种参数优化相机标定方法，其特征是，利用相机的透视变换模型建立约束方程，并引入相机切向畸变和薄透镜畸变，然后利用最小二乘法求解物体坐标和图像坐标之间的数学模型；具体步骤如下：

1)建立无畸变的理想成像模型

相机的成像模型包括从世界坐标系—相机坐标系—成像面坐标系—像素坐标系的转换矩阵，转换矩阵如下：

其中：(X_w，Y_w，Z_w)为世界坐标系中的点，(u，v)为像素坐标系中的点，Z_c为成像距离，

为相机内参矩阵，

为外参矩阵，

为像素坐标平面上的尺度因子，也称等效焦距，f为相机焦距，dx、dy为像素平面上单位像素对应的物理距离；

为旋转矩阵，r₁₁、r₁₂......r₃₃为由旋转角度计算得到的矩阵参数；

T_3,1＝[T_x T_y T_z]为平移矩阵，T_x、T_y、T_z为X方向、Y方向、Z方向的平移距离，

2)初始参数求解

在忽略透镜存在畸变等因素的情况下，以平面的单应性为约束条件求解相机的初始内外参数，采用基于单平面棋盘格张正友标定法求解，得到f、dx、dy、r、u₀、v₀、R_3,3、T_3,1的值；

3)求解畸变参数

选用迭代逐步逼近求解的方式，首先通过多畸变模型校正像点坐标，假定经校正后像点的成像坐标与该点在摄像机坐标系下的位置满足透视原理，然后利用相机的初始内外参数值求解出畸变系数，在此畸变系数在畸变模型上迭代更新相机的内外参数。

2.如权利要求1所述的参数优化相机标定方法，其特征是，求解畸变参数和全局优化具体过程如下：

(1)设(x,y)是理想图像坐标，(x_r,y_r)是实际的图像坐标，(x_c，y_c，z_c)为相机坐标系中的对应点，k₁、k₂为径向畸变系数，p₁、p₂为切向畸变系数，s₁、s₂为薄透镜畸变系数；

则根据畸变校正和透视变换模型得到：

利用上节得到的外参矩阵和内参矩阵初始值，可计算x_c,y_c,z_c的值，(x_r,y_r)的值根据下式计算得到：

至此，式中只剩下畸变参数k₁,k₂,p₁,p₂,s₁,s₂，在标定图像中任意选取n>6个点，通过最小二乘法求出畸变系数；

(2)迭代优化R，T，f的值

由世界坐标系和图像坐标系的转换关系：

写成线性方程的形式为：

其中f.r₁₁/T_z,

通过最小二乘算法求解，由旋转矩阵R的正交性，有：

解出f/T_z，r₁₁,r₁₂,r₂₁,r₂₂,T_x,T_y，根据正交矩阵的性质，可求出r₁₃、r₂₃、r₃₁、r₃₂、r₃₃，最后有r₃₁/T_z可求出T_z的值，由f/T_z求出f的值；

(3)设ΔR为两次迭代中R的差值，ΔT为两次迭代T的差值，Δf为两次迭代中f的差值；重复步骤3-(1)和3-(2)直到|ΔR|、|ΔT|、|Δf|的值小于一个极小的正值ε，迭代结束。

Images