CN101425181B - 一种全景视觉辅助泊车系统的标定方法 - Google Patents

Abstract

本发明公开了一种全景视觉辅助泊车系统的标定方法，用安装在汽车四周至少两个广角鱼眼摄像机产生的图像生成汽车顶部某一高度的虚拟鸟瞰图像。该方法包括：鱼眼广角相机的模型参数求取；标记公共视场中某条直线作为拼接缝隙；标记非公共视场中世界坐标系的位置；固定虚拟鸟瞰相机的位置；基于地平面的单映性变换矩阵计算；拼接缝隙的位置全局优化；虚拟鸟瞰坐标系下各个图像之间位置参数计算。本方法对设备要求低，过程简单；不依赖于摄像机之间的相对位置和精确的姿态参数，从而降低了系统集成的复杂性；只需标定一次即可提供实时工作的计算参数；具有良好的汽车四周全景鸟瞰效果。

Description

一种全景视觉辅助泊车系统的标定方法

技术领域

本发明涉及数字图像处理和计算机视觉技术，特别地，涉及全景视觉辅助泊车系统的标定方法。

背景技术

我国是一个交通事故严重的国家，每年的死亡人数和致死率都不容乐观。减少交通事故不仅要在主观上增强安全意识，客观上更要提高汽车本身安全驾驶的可靠性。现存的各式各样的辅助驾驶工具就是为了解决这个问题。汽车安全保障系统大体可以分为被动和主动系统，前者主要包括安全带、安全气囊等，虽然能降低事故伤亡程度，但并不能防止事故的发生。后者则主要利用各类传感器如，超声波、雷达、红外热传感器和摄像机等。它们能够为驾驶员决策提供障碍物等路况信息。同时，主动安全保障系统也构成了智能交通系统的重要组成部分。在上述所有的方法中，摄像机具有低成本、易维护和高集成性等优点，因此得到了广泛的应用。

随着图像处理和计算机视觉的快速发展，越来越多的先进技术被应用到汽车电子领域。传统的基于图像的辅助驾驶，只在汽车车尾安装倒车摄像头，只能覆盖汽车周围有限的区域，而车两侧和前方的视觉盲区无疑增加了安全驾驶的隐患。为了扩大驾驶员的视野范围，就必须感知汽车四周360°环境，这就需要多个视觉传感器之间信息融合和配准。多个视觉传感器之间的相互位置和姿态关系参数从特定的测量传感器获得，这就使融合配准的结果严重依赖于精确的位置和姿态参数。

发明内容

本发明的目的是提供一种全景视觉辅助泊车系统的标定方法，它不依赖摄像机之间的相互位置和姿态关系，能够有效获得图像之间的拼接关系。根据这些关系，能够产生虚拟的全景鸟瞰图像，从而最大限度扩大了驾驶员的视野范围。

本发明的全景视觉辅助泊车系统的标定方法，包括以下步骤：

步骤1)：采用鱼眼广角摄相机的标定算法，计算摄相机的内部参数和鱼眼镜头的失真系数；

步骤2)：用至少两个步骤1)描述的摄像机拍摄汽车周围不同区域的图像，所说的摄像机之间具有一定的公共区域；

步骤3)：在步骤2)的摄像机的公共区域内标记两点，确定各个图像之间的拼接缝隙。

步骤4)：在步骤2)的摄像机的非公共区域内沿地面平铺标定模板，同时指定每个模板世界坐标系的坐标原点和x，y方向。

步骤5)：测量汽车的长和宽，确定虚拟鸟瞰摄相机对地面垂直投影的位置，测量该位置在步骤4)中的每个世界坐标系下的相对位置。

步骤6)：根据步骤1)得到的摄像机内部参数和失真系数，对步骤2)中采集的图像进行失真去除处理，得到失真校正后图像。

步骤7)：根据步骤6)得到的无失真图，计算从原始摄像机位置到虚拟鸟瞰位置的单映性变换矩阵。利用该矩阵，将步骤6)中的无失真图像变换到虚拟鸟瞰摄相机视角图像。

步骤8)：根据步骤7)得到虚拟鸟瞰视角的图像，利用非线性最小二乘法计算拼接缝隙方向，以补偿步骤4)中标定模板之间的对齐误差。

步骤9)：根据步骤8)中的拼接缝隙方向，对步骤7)中的虚拟鸟瞰视角图像进行旋转和平移变换，直到得到全景拼接图像，记录此时的平移参数。

步骤10)：输出标定参数：摄相机内部参数，鱼眼镜头失真系数，单映性矩阵，拼接缝隙方向和平移参数。

本发明中，所述的采用鱼眼广角摄相机的标定算法，计算摄相机的内部参数和鱼眼镜头的失真系数，包括以下步骤：

1)摄相机用针孔模型表示：

λu＝K(XR+T)

其中 $K=\left[\begin{array}{ccc}{f}_u& \mathrm{\α}& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]$ 为摄相机内部参数，f_u和f_v为用图像行和列像素表示的相机焦距，u₀，v₀为投影中心，α为倾斜度；X为世界坐标系中的三维点；R和T为世界坐标系到摄相机坐标系的旋转和平移；u为X对应的图像点坐标。

2)用高阶径向模型近似鱼眼镜头的径向和切向失真

u^dist＝u+(u-u₀)[k₁r²+k₂r⁴+k₃r⁶+k₄(r²/u+2u)]

v^dist＝v+(v-v₀)[k₁r²+k₂r⁴+k₃r⁶+k₅(r²/v+2v)]

$r=\sqrt{u^2+v^2}$

其中k₁，k₂，k₃为径向失真系数，k₄，k₅为切向失真系数。

3)分别拍摄标定模板不同姿态的一系列图像，标记模板在每个图像上的对应点，以及图像之间的对应关系。

4)初始计算摄相机内部参数K_i和鱼眼镜头的失真系数k_i＝[k₁，k₂，k₃，k₄，k₅]，再根据标定模板在图像上的投影点与实际图像中的对应观测点之间的欧氏距离最短原则，用非线性最小二乘法优化计算K_i和k_i。

本发明借助简单的标定模板，对安装在汽车四周多个摄像机产生的图像进行一系列变换，从而得到可以用来实时全景图像拼接的各种参数。它的主要步骤包括：鱼眼广角摄相机的模型参数求取；标记公共视场中某条直线作为拼接缝隙；标记非公共视场中世界坐标系的位置；固定虚拟鸟瞰相机的位置；基于地平面的单映性变换计算；拼接缝隙的位置全局优化；虚拟鸟瞰坐标系下各个图像之间位置参数计算。该方法过程简单；对设备要求低，不依赖于摄像机之间的相对位置和精确的姿态参数，从而降低了系统集成的复杂性；只需标定一次即可提供实时工作的计算参数；具有良好的汽车四周全景鸟瞰效果。

附图说明

图1是全景视觉辅助泊车系统的标定流程图

图2是标定模板示意图

图3是安装四个鱼眼摄像机的汽车鸟瞰示意图

图4是本发明中单个鱼眼摄相机到虚拟鸟瞰视角变换过程示意图，(a)为鱼眼失真图像，(b)为去除鱼眼失真后的普通透视图像，(c)为鸟瞰图像。

图5是拼接缝隙方向的全局优化示意图

具体实施方式

图1给出了全景视觉辅助泊车系统的标定流程图，它主要包括以下步骤：

步骤1：采用鱼眼广角摄相机的标定算法，计算摄相机的内部参数和鱼眼镜头的失真系数；

1)摄相机用针孔模型表示：

λu＝K(XR+T)

其中 $K=\left[\begin{array}{ccc}{f}_u& \mathrm{\α}& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]$ 为相机内部参数，f_u和f_v为用图像行和列像素表示的相机焦距，u₀，v₀为投影中心，α为倾斜度；X为世界坐标系中的三维点；R和T为世界坐标系到相机坐标系的旋转和平移；u为X对应的图像点坐标.

2)用高阶径向模型近似鱼眼镜头的径向和切向失真

u^dist＝u+(u-u₀)[k₁r²+k₂r⁴+k₃r⁶+k₄(r²/u+2u)]

v^dist＝v+(v-v₀)[k₁r²+k₂r⁴+k₃r⁶+k₅(r²/v+2v)]

$r=\sqrt{u^2+v^2}$

其中k₁，k₂，k₃为径向失真系数，k₄，k₅为切向失真系数。

3)分别拍摄如图2所示的标定模板不同姿态的一系列图像，(图例中采集了10帧图像，每帧图像上取5x5＝25个点)，标记世界坐标系中模板上三维点A_j ⁱ以及在每帧图像上的对应点a_j ⁱ，此处i与j表示图像序列数目索引与每个标定模板上点的个数索引。

4)采用与Zhang，Z.Y：A flexible new technique for camera calibration.IEEETransactions on Pattern Analysis and Machine Intelligence 22(11)，1330-1334(2000).相似的方法，初始计算摄相机内部参数K_i和鱼眼镜头的失真系数k_i＝[k₁，k₂，k₃，k₄，k₅]。再根据标定模板在图像上的投影点与实际图像中的对应点之间的欧氏距离最短原则，用非线性最小二乘法优化下式，计算K_i和k_i。

$[K_i,k_i]=\arg \underset{K_i,k_i}{\min }\underset{i=1}{\overset{10}{\mathrm{\Σ}}}\underset{j=1}{\overset{25}{\mathrm{\Σ}}}\left|\right|a_j^i-\mathrm{\Ψ}(A_j^i,K_i,k_i)\left|\right|$

其中Ψ为三维到二维的投影函数

步骤2：本实例中采用四个摄像机C_i，i＝1，...4如图3所示，它们相互之间有一定的公共区域1，所有摄像机能够覆盖汽车周围的区域，并拍摄这些不同区域的图像I_i。

步骤3：根据步骤1.4)所得参数K_i和k_i，对所拍摄的汽车四周的图像I_i进行去除失真处理，得到失真校正后图像I_i ^undist。具体地，假设图4a为标定模板在鱼眼摄相机中的图像，经过失真校正后，得到如图4b的普通透视图，原来的曲线变成直线。

步骤4.在每两个摄像机之间的公共地面区域内标记两点，如图3中的区域1。用经过两点的直线确定图像之间的拼接缝隙(l_ij，i＝1，...4和j＝1，2分别为摄相机和拼接缝隙的索引)。

步骤5：在摄像机的非公共地面区域内沿地面平铺标定模板，如图3中的区域2。使得模板上的格子方向与汽车的长和宽方向基本平行。指定每块模板的世界坐标系原点O_i和x，y方向。

步骤6：测量汽车的长L和宽W，确定虚拟鸟瞰摄相机的位置，如图3中P(L/2，W/2，H)所示，对地面垂直投影的位置P^v(L/2，W/2，0)，测量P^v在步骤4)中的每个世界坐标系O_i下的相对位置(X_i，Y_i)。

步骤7：根据步骤3得到的无失真图I_i ^undist，计算从原始摄相机C_i位置到虚拟鸟瞰位置P的单映性变换矩阵H_i。利用该矩阵，将无失真图像I_i ^undist变换到虚拟鸟瞰摄相机视角图像I_i ^grd。主要包括以下步骤：

1)标记步骤3中所述标定模板在无失真图像I_i ^undist上至少四个不共线的点p_i，s(x_i，s，y_i，s，1)，s为所标记的点的数目。

2)计算p_i，s(x_i，s，y_i，s，1)的对应点在各自世界坐标系O_i中的三维位置P_i，s(X_i，s，Y_i，s，0)。

3)计算P_i，s(X_i，s，Y_i，s，0)在虚拟鸟瞰图像上的投影位置如下：

q_i，s＝K_i{RP_i，s ^T+[X_i，Y_i，H]^T}

4)线性最小二乘法计算单映性变换矩阵H_i：

$H_i=\arg \underset{A}{\min }\left|\right|p_{i,s}-{\mathrm{Aq}}_{i,s}\left|\right|$

5)无失真图像I_i ^undist经单映性矩阵H_i变换到虚拟鸟瞰视角图像I_i ^grd。如图4b到4c表示了单映性矩阵对标定模板变换的结果。

步骤8：根据步骤7)得到虚拟鸟瞰视角的图像I_i ^grd，利用非线性最小二乘法计算拼接缝隙方向，以补偿步骤5)中标定模板之间的对齐误差。如图5中表示了拼接缝隙之间的旋转误差，目的就是使得相邻缝隙尽量平行。主要包括以下步骤：

1)标记步骤4所述公共区域内拼接缝隙l_i，j在图像I_i ^grd上的位置，计算对应直线的斜率m_i，j.

2)最小化如下函数，补偿图像I_i ^grd对应的旋转角度Θ＝[θ₁，θ₂...θ_M]：

$\mathrm{\Φ}\left(\mathrm{\Θ}\right)=\underset{i=1}{\overset{M-1}{\mathrm{\Σ}}}{\left|\right|m_{i,1}\left(\mathrm{\Θ}\right)-m_{i+\mathrm{1,2}}\left(\mathrm{\Θ}\right)\left|\right|}^2+{\left|\right|m_{M,1}\left(\mathrm{\Θ}\right)-m_{\mathrm{1,2}}\left(\mathrm{\Θ}\right)\left|\right|}^2$

不失一般性，初始参数Θ＝0，M表示所用摄相机的个数。

步骤9：根据步骤8中的最优化拼接方向，对步骤7)中所得的虚拟鸟瞰视角图像I_i ^grd进行平移变换，直到得到满意的全景拼接图像，记录此时的平移参数T_i＝[Δx_i，Δy_i]。

步骤10输出标定参数：每个鱼眼摄相机内部参数矩阵K_i和镜头失真系数k_i，每个视角的单映性矩阵H_i，补偿标定模板对齐旋转参数θ_i和平移参数T_i。

到此，实现了全景视觉辅助泊车系统的标定。

Claims (2)

1.一种全景视觉辅助泊车系统的标定方法，其特征在于：该方法包括如下步骤：

步骤1)：采用鱼眼广角摄像机的标定算法，计算摄像机的内部参数和鱼眼镜头的失真系数；

步骤2)：用四个步骤1)描述的摄像机拍摄汽车周围不同区域的图像，所说的摄像机能覆盖汽车周围区域；

步骤3)：在步骤2)的每两个摄像机之间的公共地面区域内标记两点，用经过两点的直线确定图像之间的拼接缝隙；

步骤4)：在步骤2)的摄像机的非公共区域内沿地面平铺标定模板，使得模板上的格子方向与汽车的长和宽方向基本平行，同时指定每个模板世界坐标系的坐标原点和x，y方向；

步骤5)：测量汽车的长和宽，确定虚拟鸟瞰摄像机对地面垂直投影的位置，测量该位置在步骤4)中的每个世界坐标系下的相对位置；

步骤6)：根据步骤1)得到的摄像机内部参数和失真系数，对步骤2)中采集的图像进行失真去除处理，得到失真校正后图像；

步骤7)：根据步骤6)得到的失真校正后图像，计算从原始摄像机位置到虚拟鸟瞰摄像机位置的单映性变换矩阵，利用该矩阵，将步骤6)中的失真校正后图像变换到虚拟鸟瞰摄像机视角图像；

步骤8)：根据步骤7)得到虚拟鸟瞰摄像机视角图像，利用非线性最小二乘法计算拼接缝隙方向，以补偿步骤4)中标定模板之间的对齐误差；

步骤9)：根据步骤8)中的拼接缝隙方向，对步骤7)中的虚拟鸟瞰摄像机视角图像进行旋转和平移变换，直到得到全景拼接图像，记录此时的平移参数；

步骤10)：输出标定参数：摄像机内部参数，鱼眼镜头失真系数，单映性变换矩阵，拼接缝隙方向和平移参数。

2.根据权利要求1所述的全景视觉辅助泊车系统的标定方法，其特征在于：采用鱼眼广角摄像机的标定算法，计算摄像机的内部参数和鱼眼镜头的失真系数，包括以下步骤：

1)摄像机用针孔模型表示：

λu＝K(XR+T)

其中为摄像机内部参数，f_u和f_v为用图像行和列像素表示的相机焦距，u₀，v₀为投影中心，α为倾斜度；X为世界坐标系中的三维点；R和T为世界坐标系到摄像机坐标系的旋转和平移；u为X对应的图像点坐标；

2)用高阶径向模型近似鱼眼镜头的径向和切向失真

u^dist＝u+(u-u₀)[k₁r²+k₂r⁴+k₃r⁶+k₄(r²/u+2u)]

v^dist＝v+(v-v₀)[k₁r²+k₂r⁴+k₃r⁶+k₅(r²/v+2v)]

$r=\sqrt{u^2+v^2}$

其中k₁，k₂，k₃为径向失真系数，k₄，k₅为切向失真系数；

3)分别拍摄标定模板不同姿态的一系列图像，标记模板在每个图像上的对应点，以及图像之间的对应关系；

4)初始计算摄像机内部参数K_i和鱼眼镜头的失真系数k_i＝[k₁，k₂，k₃，k₄，k₅]，再根据标定模板在图像上的投影点与实际图像中的对应观测点之间的欧氏距离最短原则，用非线性最小二乘法优化计算K_i和k_i。

Images