CN108898638A - 一种车载摄像头在线自动标定方法 - Google Patents

Abstract

本发明公开了一种车载摄像头在线自动标定方法，首先构建摄像头、世界坐标系和摄像机外部参数矩阵，接着检测虚线车道线构成平行四边形的四个角点，然后计算双平行线消失点在图像像素坐标系下理论坐标和实际坐标，联立理论消失点的数学表达式和实际消失点坐标，求解摄像机外部参数，完成外部参数在线标定。该方法标定准确度高，更重要的是标定全程无需人工参与，自动化程度极高，对于基于机器视觉的驾驶辅助系统功能实现具有重要意义。

Description

一种车载摄像头在线自动标定方法

技术领域

本发明属于信息电子、自动化领域，面向行业为汽车电子、智能车辆及智能交通。

背景技术

目前，视觉传感器及机器视觉技术被广泛应用到了各类先进辅助驾驶系统中。其中，行车环境的感知是基于机器视觉的先进辅助驾驶系统的重要组成部分之一。行车环境的感知主要是依靠视觉技术感知车辆行驶时的道路信息、路况信息和驾驶员状态，为辅助驾驶系统提供决策所必需的基础数据。为了使车载视觉系统有效发挥，对车载摄像机参数的准确标定是车辆自主驾驶中本车定位和图像理解的重要基础。传统车载摄像机参数标定方法有以下两种：1.在车辆静止状态下通过预先放置的标靶等标识进行外参数的离线标定，但是该方法无法解决车辆运行过程中摄像机参数改变的问题；2.通过在车辆行驶过程中人为的将车载摄像头的某些旋转角调整为零来进行在线标定，但该方法需要一定的人工参与，大大增加了标定的复杂度，在实际使用中难以被一般驾驶员掌握，也难以满足未来无人驾驶的要求。

由此可见，目前需要一种自动化程度高、无需人工干预的外部参数在线自动标定方法。

发明内容

针对现有技术中存在的问题，本发明提出了一种仅利用道路虚线、直线车道线信息的在线摄像头外部参数自动标定方法，可以解决现有车载视觉系统在运行过程中出现外部参数变化时，无法无需人工参与的在线实时的对其进行再标定的问题。

一种车载摄像头在线自动标定方法，其特征在于，包括以下步骤：

步骤1)：构建车载摄像头从图像像素坐标系到世界坐标系的转换关系；

其中，Z_c是常系数，为某点在图像像素坐标系的坐标,N₁·N₂·N₃两坐标系间的转换矩阵，为世界坐标系下某点坐标，f为相机焦距，每一个像素在X轴与Y轴方向上的物理尺寸为d_x、d_y，α_x＝f/d_x，α_y＝f/d_y，u₀、v₀为图像中心坐标，矩阵A为内部参数矩阵，矩阵[Rt]为外部参数矩阵。

步骤2)：依照车辆道路状态定义具体的世界坐标系，使世界坐标系和车体相关联；

世界坐标系的原点O_w处于车体下的地平面上，Z_w轴指向道路前进方向，Y_w轴垂直于地平面指向车体上方，X_w、Y_w、Z_w满足右手螺旋法则；摄像机坐标系原点O_c处于Y_w轴上，摄像机坐标系的坐标轴X_c、Y_c、Z_c和坐标轴X_w、Y_w、Z_w之间的待测姿态用三个欧拉角θ、ψ表示。

步骤3)：构建图像像素坐标系点和世界坐标系点的数学关系；

其中外部参数矩阵h为摄像头安装高度。

步骤4)：令车辆行驶于一条满足国标的虚线车道线的车道上，通过边缘检测法或车道线拟合法分别检测车道线内侧两条边缘直线，由Harris角点检测算法提取边缘直线所有角点，在角点中，提取出图像像素坐标系下四个角点p_A、p_B、p_C、p_D，使其在世界坐标系下的对应点P_A、P_B、P_C、P_D满足线段

步骤5)：在图像平面下，定义角点连线的消失点为：在世界坐标系下的两条无穷远平行线在图像坐标系下相交并终止于一点，通过几何计算，得到图像中实际消失点的坐标；

步骤6)：计算出直线上的点在图像上的理论消失点V₁(u_V1、v_V1)、直线上的点在图像上的理论消失点V₂(u_V2、v_V2)的数学表达式，将理论消失点的数学表达式和实际消失点坐标联立，得到方程组，求解该方程组，获得外部参数；相应的坐标：

u_V1＝(u_B-u_A)(v_V1-v_A)/(v_B-v_A)+u_A，

u_V2＝(u_C-u_A)(v_V2-v_A)/(v_C-v_A)+u_A，

其中x、y、z是世界坐标系下四个角点坐标，u、v是图像像素坐标系四个角点坐标；

直线P_AP_B上的点在图像上的理论消失点直线P_AP_C上的点在图像上的理论消失点的数学表达式：

其中a均为常系数；

联立的方程组：

即可求解。

本发明的有益效果为：

本发明利用虚线车道线角点构成两组平行线，通过两组平行线消失点在图像及世界坐标系下位置关系，构建包含摄像机外部参数的消失点坐标方程组，并求解获得外部参数。该方法标定准确度高，更重要的是标定全程无需人工参与，自动化程度极高，可以解决现有车载视觉系统在运行过程中出现外部参数变化时，在线实时的对其进行再标定的问题；对于基于机器视觉的驾驶辅助系统功能实现具有重要意义。

附图说明

图1为摄像机坐标系定义；

图2为世界坐标系下四个点的示意图；

图3为图像像素坐标系下四个点及消失点的示意图；

图4为本发明方法流程图。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

设备要求：该标定方法所涉及的设备是车辆上安装一个摄像头，车辆行驶于具有两条及以上虚线车道线的高速路或快速路。

车载摄像头在线自动标定方法，具体步骤如下：

步骤1)：以传统的针孔模型作为摄像机模型，先得到车载摄像头从图像像素坐标系到世界坐标系的转换关系：

式中，Zc是常系数，对外部参数不产生影响；为世界坐标系下某点坐标，为该点在图像坐标系下的坐标,N₁·N₂·N₃两坐标系间的转换矩阵，f为摄像机焦距，每一个像素在X轴与Y轴方向上的物理尺寸为d_x、d_y，α_x＝f/d_x，α_y＝f/d_y，u₀、v₀为图像中心坐标，由于α_x、α_y、u₀、v₀完全和摄像机内部结构有关，因此称它们为摄像机内部参数，矩阵A称为内部参数矩阵，矩阵A设计的四个参数和摄像头本身物理机构相关，一般为固定值，不随摄像头姿态变化而变，因此可以采用实验室环境下利用棋盘等靶标进行标定；不同摄像机内部参数不同，本实施例的摄像机内部参数是α_x＝1333，α_y＝1333，u₀＝360，v₀＝240；矩阵[R t]称为外部参数矩阵，矩阵[R t]和摄像头位姿相关，安装于车辆上后会因为车辆运动等发生变化，需要下一步的动态在线标定。

步骤2)：依照车辆道路状态定义具体的世界坐标系，使世界坐标系和车体相关联，世界坐标系的原点O_w处于车体下的地平面上，Z_w轴指向道路前进方向，Y_w轴垂直于地平面指向车体上方，X_w、Y_w、Z_w满足右手螺旋法则；摄像机坐标系原点O_c处于Y_w轴上，令摄像机坐标系的坐标轴X_c、Y_c、Z_c和X_w、Y_w、Z_w之间的待测姿态用三个欧拉角表示：θ、ψ；实质上，此处对车载摄像机外部矩阵的标定就是求得三个旋转欧拉角θ、ψ。

步骤3)：在图1坐标系下，步骤1)中的矩阵R：

则外部参数矩阵其中，h为摄像头安装高度，一般在车辆运动过程中变化极小，可视为已知量，而θ、ψ则为本实施例中外部参数中的待求量；

通过式(1)和式(2)，可得图像像素坐标系点(u,v)和世界坐标系点(X_w,Y_w,Z_w)有如下具体的数学关系：

步骤4)：令车辆行驶于一条满足国标的虚线车道线的车道上，通过边缘检测、车道线拟合等方法获得本车所处车道线内侧两条边缘直线，在此基础上采用Harris角点检测算法，分别在两条边缘直线上提取出所有角点，在所找到的角点中，提取出图像像素坐标系下四个角点p_A、p_B、p_C、p_D，使其世界坐标系下对应点P_A、P_B、P_C、P_D满足世界坐标系下的线段(以图2为例)，即四个角点构成平行四边形。

步骤5)：根据摄像机针孔模型的射影几何性质可知，在世界坐标系下的两条无穷远平行线在图像坐标系下相交并终止于一点，该点称为消失点；因此图像坐标系下的直线以及直线必然分别相交于消失点V₁、V₂(V₁、V₂为图像像素坐标系下点)，如图3所示；令世界坐标系下点P_A、P_B、P_C、P_D以及图像像素坐标系下点p_A、p_B、p_C、p_D坐标分别为：P_A＝[x_A y_A z_A]^T、P_B＝[x_B y_B z_B]^T、P_C＝[x_C y_C z_C]^T、P_D＝[x_D y_D z_D]^T及p_A＝[u_A v_A]^T、p_B＝[u_B v_B]^T、p_C＝[u_C v_C]^T、p_D＝[u_D v_D]^T，(x、y、z是世界坐标系下点P的坐标；u、v是图像像素坐标系点p的坐标)；

在图像平面下，通过几何计算，可以得到图像中实际消失点V₁(u_V1、v_V1)、V₂(u_V2、v_V2)的坐标：

u_V1＝(u_B-u_A)(v_V1-v_A)/(v_B-v_A)+u_A (4)

u_V2＝(u_C-u_A)(v_V2-v_A)/(v_C-v_A)+u_A (6)

步骤6)：世界坐标系下，设道路平面直线上某点P₁坐标为P₁＝[d₁ 0 s]^T，设道路平面直线上某点P₂坐标为P₂＝[d₂ 0 ad₂+b]^T；(直线上的点是落在垂直于横轴的直线上，因此用d、s的通用形式表达；直线在图中是斜直线，因此其上的点用ax+b的通用形式表达)。

通过式(3)，可以计算出直线上的点在图像上的理论消失点

直线上的点在图像上的理论消失点

步骤7)：步骤5)获得的图像消失点实际坐标和步骤6)获得的图像消失点理论坐标应当相同，依据此联立摄像机模型下的直线消失点和实际像素坐标系下得到的理论消失点方程组：

上述方程组中有4个未知数θ、ψ、a和四个方程，通过数值法等方法可求解方程组(10)，得到4个未知数θ、ψ、a，其中θ、ψ即为摄像头外部参数；至此就完成了摄像头外部参数标定，该过程全过程无人人工，全自动在线完成，所需条件仅为两条虚线车道线。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.一种车载摄像头在线自动标定方法，其特征在于，包括以下步骤：

步骤1)：构建车载摄像头从图像像素坐标系到世界坐标系的转换关系；

步骤2)：依照车辆道路状态定义具体的世界坐标系，使世界坐标系和车体相关联；

步骤3)：构建图像像素坐标系点和世界坐标系点的数学关系；

步骤4)：令车辆行驶于一条满足国标的虚线车道线的车道上，分别检测车道线内侧两条边缘直线，提取边缘直线所有角点，在角点中，提取出图像像素坐标系下四个角点p_A、p_B、p_C、p_D，使其在世界坐标系下的对应点P_A、P_B、P_C、P_D满足线段

步骤5)：在图像平面下，定义角点连线的消失点，通过几何计算，得到图像中实际消失点的坐标；

步骤6)：计算出直线上的点在图像上的理论消失点、直线上的点在图像上的理论消失点的数学表达式，将理论消失点的数学表达式和实际消失点坐标联立，得到方程组，求解该方程组，获得外部参数。

2.根据权利要求1所述的一种车载摄像头在线自动标定方法，其特征在于，所述图像像素坐标系到世界坐标系的转换关系为：

其中，Z_c是常系数，为某点在图像像素坐标系的坐标,N₁·N₂·N₃两坐标系间的转换矩阵，为世界坐标系下某点坐标，f为相机焦距，每一个像素在X轴与Y轴方向上的物理尺寸为d_x、d_y，α_x＝f/d_x，α_y＝f/d_y，u₀、v₀为图像中心坐标，矩阵A为内部参数矩阵，矩阵[R t]为外部参数矩阵。

3.根据权利要求1所述的一种车载摄像头在线自动标定方法，其特征在于，所述世界坐标系的原点O_w处于车体下的地平面上，Z_w轴指向道路前进方向，Y_w轴垂直于地平面指向车体上方，X_w、Y_w、Z_w满足右手螺旋法则；摄像机坐标系原点O_c处于Y_w轴上，摄像机坐标系的坐标轴X_c、Y_c、Z_c和坐标轴X_w、Y_w、Z_w之间的待测姿态用三个欧拉角θ、ψ表示。

4.根据权利要求1-3任意一项权利要求所述的一种车载摄像头在线自动标定方法，其特征在于，所述图像像素坐标系点和世界坐标系点的数学关系为：

其中外部参数矩阵h为摄像头安装高度。

5.根据权利要求1所述的一种车载摄像头在线自动标定方法，其特征在于，所述车道线内侧两条边缘直线是通过边缘检测法或车道线拟合法获得的。

6.根据权利要求1所述的一种车载摄像头在线自动标定方法，其特征在于，所述角点是由Harris角点检测算法获得。

7.根据权利要求1所述的一种车载摄像头在线自动标定方法，其特征在于，所述消失点的定义为：在世界坐标系下的两条无穷远平行线在图像坐标系下相交并终止于一点。

8.根据权利要求1所述的一种车载摄像头在线自动标定方法，其特征在于，所述图像中实际消失点分别为V₁(u_V1、v_V1)、V₂(u_V2、v_V2)，相应的坐标：u_V1＝(u_B-u_A)(v_V1-v_A)/(v_B-v_A)+u_A u_V2＝(u_C-u_A)(v_V2-v_A)/(v_C-v_A)+u_A，x、y、z是世界坐标系下四个角点坐标，u、v是图像像素坐标系四个角点坐标。

9.根据权利要求4所述的一种车载摄像头在线自动标定方法，其特征在于，直线P_A P_B上的点在图像上的理论消失点直线P_A P_C上的点在图像上的理论消失点的数学表达式：

其中a、d、s均为常系数。

10.根据权利要求8-9所述的一种车载摄像头在线自动标定方法，其特征在于，联立的方程组：