CN111667536A - 一种基于变焦相机深度估计的参数标定方法 - Google Patents

Abstract

本发明提供了一种基于变焦相机深度估计的参数标定方法。针对利用变焦相机进行立体视觉深度估计需要提前确定镜头畸变参数以及相机内部参数两部分参数的问题，首先根据棋盘格之间的平行直线簇形成的灭点几何约束求解出若干焦距下的畸变参数，然后利用LS‑SVR训练估计出镜头焦距段下任意焦距值的畸变系数；再基于径向畸变分离模型以及角点亚像素坐标分布状况，根据标定棋盘格三维标志点与其形成的图像点之间的映射关系计算出单应性矩阵，然后通过单应性矩阵分解出相机内外参数；最终实现变焦镜头的畸变系数以及相机的内参数之间的解耦求解。该方法计算精度以及计算速度都比较高，适合于变焦镜头工业应用中高精度快速标定的需求，具有好的应用前景。

Description

一种基于变焦相机深度估计的参数标定方法

技术领域

本发明属于测量技术与机器视觉领域，具体涉及一种用于实现变焦相机深度估计所需参数的标定方法。

背景技术

立体视觉技术在最近几十年取得了飞速的发展，由于它具有非接触、速度快、精度高等特点，己经被大量应用在无损检测、场景感知、机器人导航、医学辅助、虚拟现实、军事探测等需要深度恢复，三维目标重建与描述等工作的领域。其中单目立体视觉是指采用一个图像采集设备或者采用同一条光路上两个独立的图像采集设备，在同一个方位上对空间物体进行立体图像采集，再对两幅或多幅单目图像进行立体处理分析，根据空间点在不同图像上像点的矢量位移、像素灰度值等的不同，计算空间点的深度估计信息，实现三维描述的一种新技术。与传统的双目深度测量方法相比，单目立体视觉有效改善了双目立体视觉中存在的大基线下体积增大，立体图像对的测量覆盖范围小，受环境光照影响图像对的纹理等特征信息影响立体匹配等问题。利用单目变焦相机实现深度估计需要提前获取镜头的畸变系数以及相机的内部参数，但对于变焦镜头在而言存在无数组焦距设置，在使用过程中随着焦距的改变而反复标定这些参数极为繁琐，严重阻碍了变焦相机的工业现场应用。

发明内容

本发明旨在克服现有技术中存在的诸多缺陷与制约，设计一种用于实现变焦相机深度估计所需参数的快速高精度标定方法。本发明通过如下技术方案实现：

一种基于变焦相机深度估计的参数标定方法，包括：

(1)建立一个基于变焦相机的深度估计系统。

(2)构建变焦镜头全焦距畸变参数预测模型。

(3)建立变焦相机畸变参数与内外参数解耦标定方法。

一个基于变焦相机的深度估计系统，包括：

CCD相机，用于深度估计系统中图像的拍摄；变焦镜头，用于根据目标物体远近而调整焦距；支架，用于固定CCD相机；标准光源箱，一种用于模拟多种环境灯光的照明箱；棋盘格标定板，用于标定镜头的畸变参数以及相机的内外参数；光学试验台，用于承载整个系统。

利用单目变焦相机实现目标物体的深度估计需要提前确定镜头畸变参数以及相机内部参数。本发明首先利用棋盘格之间的平行直线簇形成的灭点约束求解出若干焦距下的畸变参数，然后利用LS-SVR训练估计出镜头焦距段下任意焦距值的畸变系数；再基于径向畸变分离模型以及角点亚像素坐标分布状况，根据标定棋盘格三维标志点与其形成的图像点之间的映射关系计算出单应性矩阵，然后通过单应性矩阵分解出相机内外参数；最终实现变焦镜头的畸变系数以及相机的内参数之间的解耦求解。

构建变焦镜头全焦距畸变参数预测模型可通过下列步骤实现：

1、构建平行直线簇形成的灭点几何约束：

空间上平行的三条直线l₁、l₂、l₃投影到图像平面分别形成三个交点v₁、v₂、v₃。假设此方向上平行直线在无畸变情况下形成的实际灭点坐标为v(x_v,y_v)，取直线l₃上的任意两点 A(x_A,y_A)、B(x_B,y_B)，连接A,v两点形成的直线l_Av数学式可以表示为：

这时点B与直线l_Av之间的距离可表示为：

式中，S_Av表示线段Av的长度。如果相机不存在任何畸变，A,B,v这3点应该处于同一条直线上，此时距离d也会等于0。假设A、B两点在原始畸变图像上形成的投影点的图像坐标分别为(x_A’,y_A’)、(x_B’,y_B’)，r_A′、r_B′分别为畸变点(x_A’,y_A’)、(x_B’,y_B’)到畸变中心e(e_u0,e_v0)的畸变半径。如果标定棋盘格存在j＝1,2,……,m条直线，在每条直线上又存在i＝1,2,……,n 对标志点，它们所形成的灭点坐标令为v(x_v,y_v)。

由于相机镜头存在相应的畸变，相机畸变过程可由除式模型表示为：

采用一阶径向畸变除式模型，将式(3)代入式(2)可得到点B到直线l_Av的距离如式(4)所示:

2、利用Levenberg-Marquardt算法进行迭代优化：

对于(4)式中的F_ij而言，它的数值应该接近于0。由此，可以构建目标函数如下：

式(5)是一个关于(x_v,y_v,k₁)三个参数的非线性方程，利用Levenberg-Marquardt算法对此方程进行迭代优化可以求出(x_v,y_v,k₁)的数值解。选择任意两条直线的交点(x_v,y_v)作为参数求解的初始迭代值，参数k₁的初始值可令为0。迭代优化后，可以求出灭点的坐标(x_v,y_v)和径向畸变系数k₁。

3、利用LS-SVR训练估计出镜头任意焦距值对应的畸变系数：

求解出若干焦距组下对应的畸变系数后，将这些焦距值以及与之对应的畸变系数作为训练数据集，采用LS-SVR对数据集进行回归训练即可预测出该变焦镜头任意焦距值对应的畸变系数，最终对任意焦距下的畸变图像进行畸变校正。

建立变焦相机畸变参数与内外参数解耦标定方法可通过如下步骤计算确定：

1)估计单应性矩阵：

令P_i(x_iw,y_iw,1)^T为平面棋盘格角点世界坐标，p_i’(x_id,y_id,1)^T为与之对应的图像点坐标，而相应的理想未畸变点坐标为p_i(x_iu,y_iu,1)^T。可以写作如下对应关系：

当存在n对投影点

时，可化简得到下面的方程组：

Uf＝0 (7)

其中:

f＝(F₁₁,F₁₂,F₁₃,F₂₁,F₂₂,F₂₃,F₃₁,F₃₂,F₃₃)^T (8)

当n≥8时，方程组的解f即为矩阵U^TU最小特征值对应的特征向量。由此，可计算得到矩阵F_r的最小二乘解。

令

则有，

又因

且

则有：

令

其中

为矩阵

的第i行，

为矩阵

第i行。理想的未畸变图像点坐标为

由平面投影成像模型可得：

由径向畸变除式模型可得：

将式(13)代入式(12)可得：

化简后可得：

已知

代入式(15)，则有：

2)相机内外参数标定

我们已经计算得到了

于是通过式(17)就可获得原图像对应的单应性矩阵H。

假设单应性矩形H＝[h₁h₂h₃]，其中h_i是H的第i列。

H＝[h₁ h₂ h₃]＝A(r₁ r₂ t) (18)

可得:

由旋转矩阵R的正交性可知：

由于内部参数有以下两个约束，

其中，A为相机内参矩阵，r₁和r₂为旋转向量，t为平移向量。由此，就可从中计算出相机的内外参数。

本发明提供了一种用于实现变焦相机深度估计所需参数精确快速的标定方法。为了确定镜头任意焦距下的畸变参数，本发明首先在若干焦距下分别采集一幅可以形成灭点的棋盘格标定图像，再依据平行直线簇之间的灭点几何约束利用Levenberg-Marquardt算法对目标函数进行最大似然估计求解出每组焦距下对应的畸变系数，然后采用LS-SVR回归训练预测其他任意焦距值下的畸变系数，最后利用求得的畸变系数对相机图像进行畸变校正。为了确定相机的内参，本发明基于径向畸变分离模型以及角点亚像素坐标分布状况，根据标定棋盘格三维标志点与其形成的图像点之间的映射关系计算出单应性矩阵，通过单应性矩阵分解出相机内外参数。最终实现变焦镜头的畸变系数以及相机的内参数之间的解耦求解。通过对实验结果进一步分析可知，本发明所提出的基于变焦相机深度估计所需参数的标定方法能取得快速精确的标定结果，适合于变焦镜头工业应用中的需求。

附图说明

图1为变焦相机标定系统实验模型

图2为本发明所采集的带灭点的棋盘格标定图

图3为本发明所标定出的变焦距镜头畸变参数与焦距的关系图

图4为本发明所标定出的相机参数与张正友标定法标定出的相机参数所形成的重投影误差误差分布对比图。

图5为本发明所提出的标定方法与张正友标定法标定不同图像数所需的时间对比图。

具体实施方法

以下结合附图对本发明的具体实施作详细描述

如图1所示，实验基于Microsoft Visual Studio平台的Open CV函数库以及MATLAB R2017b软件平台，选用GS2-GE-20S4C-C型号的CCD相机(分辨率1624pixel×1224pixel) 配备FUJINON 12.5-50mm变焦镜头，搭建基于单台CCD相机与二维棋盘格平面靶标(规格为9×13，20mm×20mm)的相机标定系统。

采集不同焦距下的棋盘格标定图像各一幅(f＝12.5mm,14.0mm,15.9mm,17.9mm,20.2mm,22.3mm,25.2mm,27.5mm,32.6mm,41.2mm)，利用harris亚像素角点提取算法提取棋盘格中的角点坐标位置，对处于同一直线上的角点进行直线方程拟合，其中一幅的拟合效果如图2所示，再考虑灭点约束：

利用棋盘格上的9条横向，每条横向上存在13个角点可以构建目标函数如下：

利用Levenberg-Marquardt算法对此方程进行迭代优化可以求出(x_v,y_v,k₁)的数值解。选择任意两条直线的交点(x_v,y_v)作为参数求解的初始迭代值，参数k₁的初始值可令为0。

对于10组焦距采用上述算法得到的畸变系数与焦距之间的关系如图3所示，通过图3 (a)，(b)可以发现，畸变中心e(e_u0,e_v0)、畸变系数k₁与焦距f的关系大致满足一次函数关系。

考虑到LS-SVR在分类与回归问题上效果显著，因此可将以上10个焦距值以及与之对应的畸变系数作为训练数据集，采用LS-SVR对数据集进行回归训练即可预测出该变焦镜头任意焦距值对应的畸变系数，最终对任意焦距下的畸变图像进行畸变校正。

棋盘格角点三维世界坐标与其形成的图像点之间存在如下映射关系：

当存在n对投影点

时，可化简得到下面的方程组：

Uf＝0 (25)

当n≥8时，方程组的解f即为矩阵U^TU最小特征值对应的特征向量。由此，可计算得到矩阵F_r的最小二乘解。

令

则有，

又因

且

则有：

已知

则有：

计算得到

可以通过下式就可获得原图像对应的单应性矩阵H。

假设单应性矩形H＝[h₁h₂h₃]，其中h_i是H的第i列。

H＝[h₁ h₂ h₃]＝A(r₁ r₂ t) (30)

其中，A为相机内参矩阵，r₁和r₂为旋转向量，t为平移向量。由此，就可从中计算出相机的内外参数。

图4给出了五幅图像在两种标定方法下得到的重投影误差，其中张正友标定法得到的五幅图像平均重投影误差为0.2835像素，本发明得到的五幅图像平均重投影误差为0.2985像素，可知本发明提出的方法在测量精度上大致与张正友标定法相当。

本发明选取了6组不同数量的标定图像进行标定实验。实验在MATLAB2017b软件上对计算效率进行比较。本发明提出的标定方法和张正友标定法是在Windows7系统搭载2.3GHz Intel core i5的PC机上运行实现的。标定结果的平均误差以及时间消耗情况如图5 所示。从中可以发现本发明的方法在精度与张正友标定法大致相当的情况下所消耗的时间大大低于张正友标定法。本发明提出的方法计算精度以及计算速度都比较高，适合于变焦镜头工业应用中高精度快速标定的需求，具有好的应用前景。

Claims (1)

1.用于实现变焦相机深度估计所需参数的标定方法，其特征在于，包括：

(1)建立一个基于变焦相机的深度估计实验系统，包括CCD相机、变焦镜头、支架、标准光源箱、光学试验台以及棋盘格标定板，将装配变焦镜头的CCD相机固定于光学试验台上的支架上，内部放置了棋盘格标定板的标准光源箱置于其前方。

(2)求解变焦镜头任意焦距下的畸变系数，在若干焦距下分别拍摄一幅可以计算灭点的棋盘格图像，基于灭点约束特性采用Levenberg-Marquardt算法估计出该组焦距下每个焦距对应的畸变系数，再采用LS-SVR线性回归训练估计出镜头其他任意焦距值的畸变系数，最后利用求得的畸变系数对相机图像进行畸变校正。所述方法通过如下步骤计算确定：

1)构建平行直线簇形成的灭点几何约束：

空间上平行的三条直线l₁、l₂、l₃投影到图像平面分别形成三个交点v₁、v₂、v₃。假设此方向上平行直线在无畸变情况下形成的实际灭点坐标为v(x_v,y_v)，取直线l₃上的任意两点A(x_A,y_A)、B(x_B,y_B)，连接A,v两点形成的直线l_Av数学式可以表示为：

这时点B与直线l_Av之间的距离可表示为：

式中，S_Av表示线段Av的长度。如果相机不存在任何畸变，A,B,v这3点应该处于同一条直线上，此时距离d也会等于0。假设A、B两点在原始畸变图像上形成的投影点的图像坐标分别为(x_A’,y_A’)、(x_B’,y_B’)，r_A′、r_B′分别为畸变点(x_A’,y_A’)、(x_B’,y_B’)到畸变中心e(e_u0,e_v0)的畸变半径。如果标定棋盘格存在j＝1,2,……,m条直线，在每条直线上又存在i＝1,2,……,n对标志点，它们所形成的灭点坐标令为v(x_v,y_v)。

由于相机镜头存在相应的畸变，相机畸变过程可由除式模型表示为：

采用一阶径向畸变除式模型，将式(3)代入式(2)可得到点B到直线l_Av的距离如式(4)所示:

2)利用Levenberg-Marquardt算法进行迭代优化：

对于(4)式中的F_ij而言，它的数值应该接近于0。由此，可以构建目标函数如下：

式(5)是一个关于(x_v,y_v,k₁)三个参数的非线性方程，利用Levenberg-Marquardt算法对此方程进行迭代优化可以求出(x_v,y_v,k₁)的数值解。选择任意两条直线的交点(x_v,y_v)作为参数求解的初始迭代值，参数k₁的初始值可令为0。迭代优化后，可以求出灭点的坐标(x_v,y_v)和径向畸变系数k₁。

3)利用LS-SVR训练估计出镜头任意焦距值对应的畸变系数：

求解出若干焦距组下对应的畸变系数后，将这些焦距值以及与之对应的畸变系数作为训练数据集，采用LS-SVR对数据集进行回归训练即可预测出该变焦镜头任意焦距值对应的畸变系数，最终对任意焦距下的畸变图像进行畸变校正。

(3)在利用灭点迭代优化出相机畸变中心以及一阶径向畸变系数后，可以进行相机参数的标定。首先，利用图像点与标定棋盘格标志点的映射关系计算出单应性矩阵，然后通过单应性矩阵解出相机内外参数。所述方法通过如下步骤计算确定：

1)估计单应性矩阵：

令P_i(x_iw,y_iw,1)^T为平面棋盘格角点世界坐标，p_i’(x_id,y_id,1)^T为与之对应的图像点坐标，而相应的理想未畸变点坐标为p_i(x_iu,y_iu,1)^T。可以写作如下对应关系：

当存在n对投影点

时，可化简得到下面的方程组：

Uf＝0 (7)

其中:

f＝(F₁₁,F₁₂,F₁₃,F₂₁,F₂₂,F₂₃,F₃₁,F₃₂,F₃₃)^T (8)

当n≥8时，方程组的解f即为矩阵U^TU最小特征值对应的特征向量。由此，可计算得到矩阵F_r的最小二乘解。

令

则有，

又因

且

则有：

令

其中

为矩阵

的第i行，

为矩阵

第i行。

理想的未畸变图像点坐标为

由平面投影成像模型可得：

由径向畸变除式模型可得：

将式(13)代入式(12)可得：

化简后可得：

已知

代入式(15)，则有：

2)相机内外参数标定

我们已经计算得到了

于是通过式(17)就可获得原图像对应的单应性矩阵H。

假设单应性矩形H＝[h₁ h₂ h₃]，其中h_i是H的第i列。

H＝[h₁ h₂ h₃]＝A(r₁ r₂ t) (18)

可得:

由旋转矩阵R的正交性可知：

由于内部参数有以下两个约束，

其中，A为相机内参矩阵，r₁和r₂为旋转向量，t为平移向量。由此，就可从中计算出相机的内外参数。

Images