CN113375687B - 基于平行约束的车道线消失点补偿的方法及系统、装置 - Google Patents

Abstract

本发明的基于平行约束的车道线消失点补偿的方法，属于车辆辅助驾驶方法的技术领域，解决现有技术的方法无法在弯道处进行补偿，致使图像在世界坐标系中的位置坐标映射不准确的技术问题。包括获取相机采集路面的图像信息，在左车道线和右车道线上选取多个特征点；建立世界坐标系并预设初始消失点，确定左右车道线各个特征点在世界坐标系中的坐标；判断左、右车道线的每个特征点在世界坐标系中是否具有平行特性，如是，不对预设初始消失点进行补偿，否，利用双线约束对左、右车道线的特征点进行约束双线拟合，确定初始消失点坐标的动态补偿值以补偿。本发明用以完善图像坐标与世界坐标相互转换的功能，满足弯道场景补偿相机参数的要求。

Description

基于平行约束的车道线消失点补偿的方法及系统、装置

技术领域

本发明属于车辆辅助驾驶方法的技术领域，尤其涉及一种基于平行约束的车道线消失点补偿的方法及系统、装置。

背景技术

汽车高级驾驶辅助系统(Advanced Driving Assistance System，ADAS)在应用时，车载相机在弯道行驶中由于自身或道路原因造成相机消失点上下抖动而无法得到动态补偿。

现有技术中的方法采用静态标定或是利用平行直线进行标定，其中：静态标定方法使用标定板来对相机进行标定，方法简单，其通用型不强，需要制作特殊的标定板，且标定后标定数据不会根据车辆的抖动来进行补偿，在车辆行驶过程中由于车辆自身的抖动相机真实参数与标定结果相差较大；

平行直线标定的方法利用车道线相互平行的特征，通过车道线检测完成相机标定，该方法的特点是无需使用标定板且可以动态补偿相机参数，但该方法仅限于直线车道线，对弯道场景无法补偿相机参数。

有鉴于此，特提出本发明。

发明内容

本发明的目的在于提供一种基于平行约束的车道线消失点补偿的方法，解决现有技术的方法无法在弯道处进行补偿，致使图像在世界坐标系中的映射位置坐标不准确的技术问题。本案的技术方案有诸多技术有益效果，见下文介绍：

一方面本案提供一种基于平行约束的车道线消失点补偿的方法，用于车载驾驶辅助系统，所述车载包括相机，所述方法包括：

所述车道线包括左车道线和右车道线，所述方法包括：

获取相机采集路面的图像信息，确定所述图像信息中的左车道线和右车道线，并在左车道线和右车道线上选取多个特征点；

建立世界坐标系并预设相机初始消失点，确定左车道线和右车道线各个特征点在所述世界坐标系中的坐标；

判断左、右车道线的每个特征点在所述世界坐标系中是否具有平行特性，如是，不对预设相机初始消失点进行补偿，如否，利用双线约束对左、右车道线的特征点进行约束双线拟合，以确定所述初始消失点坐标的动态补偿值并进行补偿。

在一个优选或可选的实施方式中，选用多项式方程中采用三次多项式进行拟合，也可采用二次多项式拟合或更高次多项式拟合，一般的，三次多项式拟合通用性好，能满足绝大多数道路场景，且不易造成车道线过拟合，具体的：所述左、右车道线上的每个所述特征点的拟合系数为分别为：

X_L＝A0_L+A1_L*y+A2*y^2+A3*y^3

X_R＝A0_R+A1_R*y+A2*y^2+A3*y^3；

所述动态补偿值Det_y＝f*h*(A1_L-A1_R)/(A0_L-A0_R)，其中：A0_L、A1_L为左车道线系数的截距与斜率，A0_R、A1_R为右车道线系数的截距与斜率，相机焦距为f和相机安装高度h；

修正相机消失点的位置坐标，并重新计算修正所述左、右车道线的各个特征点在世界坐标系中的坐标，满足Vanishing_y_cor＝Vanishing_y_src-Det_y，其中：Vanishing_y_cor为修正后的消失点y坐标位置，Vanishing_y_src为修正前的消失点y坐标位置。

另一方面提供一种基于平行约束的车道线消失点补偿的系统，所述系统包括：

车道线检测模块，用于获取相机采集路面的图像信息，确定所述图像信息中的车道线并在所述车道线上选取多个特征点；

坐标转换模块，用于建立世界坐标系并预设相机初始消失点，确定所有所述车道线的特征点在所述世界坐标系中的坐标；

车道线约束拟合模块，用于判断左、右车道线的每个特征点在所述世界坐标系中是否具有平行特性，如是，不对预设相机初始消失点进行补偿，如否，利用双线约束对左、右车道线的特征点进行约束双线拟合，以确定所述初始消失点坐标的动态补偿值并进行补偿。

其次提供一种基于平行约束的车道线消失点补偿的，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，并被配置为

获取相机采集路面的图像信息，确定所述图像信息中的左车道线和右车道线，并在左车道线和右车道线上选取多个特征点；

建立世界坐标系并预设相机初始消失点，及确定左车道线和右车道线各个特征点在所述世界坐标系中的坐标；

判断左、右车道线的每个特征点在所述世界坐标系中是否具有平行特性，如是，不对所述初始消失点的坐标进行补偿，如否，利用双线约束对左、右车道线的特征点进行约束双线拟合，确定所述相机初始消失点坐标的动态补偿值并进行补偿。

与现有技术相比，本发明提供的技术方案包括以下有益效果：

本申请的方法相较于传统的平行直线标定方法而言，通用性强，能够满足的场景更多，其不仅满足平行直线场景下消失点的估计，也解决了平行直线标定车辆行驶到弯道场景中由于自车的抖动造成消失点变化而消失点方向无法估计的问题，利用双线约束对左、右车道线进行拟合，根据拟合系数对初始消失点的坐标进行动态补偿，从而满足图像在世界坐标系中位置的精确性，提高了图像坐标与世界坐标相互转换的精度，尤其是对车辆、行人等目标距离和车道线方程的计算，消失点补偿精度直接影响着其检测距离的准确性与有效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明车道线消失点补偿方法的流程示意图；

图2是本发明实施例提供的具体车道线消失点补偿方法的流程示意图；

图3是本发明实施例提供的双线约束拟合在消失点Y方向数值偏大及其补偿后的效果示意图与补偿后的示意图；

图4是本发明实施例提供的双线约束拟合在消失点Y方向数值偏小及其补偿后的效果示意图与补偿后的示意图；

图5是本发明实施例提供的含噪声消失点位置偏大及其补偿后效果示意图；

图6是本发明实施例提供的含噪声消失点位置偏小及其补偿后效果示意图；

图7是本发明实施例提供的基于平行约束的车道线消失点补偿系统的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本发明，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

消失点，平行线的视觉相交点。当沿着铁路线去看两条铁轨，沿着公路线去看两边排列整齐的树木时，两条平行的铁轨或两排树木连线交与很远很远的某一点，这点在透视图中叫做消失点，可由现有的图像软件进行预设或选取。

如图1至图6所示的基于平行约束的车道线消失点补偿的方法，用于车载驾驶辅助系统，车载包括相机，车道线包括左、右车道线，所述方法包括：

S101:获取相机采集路面的图像信息，确定图像信息中的车道线并在车道线上选取多个特征点。车载相机采集路面图像，利用车道线检测算法检测车道线提取车道线特征点，并结合相机内参、高度与消失点位置对特征点进行转换；

具体的：

获取相机的内参数据、相机在车载的安装高度数据(地面至相机摄像头的距离)和相机确定初始消失点位置坐标或消失点的初始坐标位置，确定每个特征点在世界坐标系的坐标位置，在选取过程中，对于清晰度高的车道线选取特征点的数量多于清晰度较低车道线的特征点数量，清晰度高也便于特征点的选取。

S102:建立世界坐标系并预设相机初始消失点的坐标，利用坐标转换法确定所有车道线的特征点在世界坐标系中的坐标；

S103:判断左、右车道线的每个特征点在所述世界坐标系中是否具有平行特性，如是，不对相机初始消失点的坐标进行补偿，如否，利用双线约束对左、右车道线的特征点进行约束双线拟合，确定相机初始消失点坐标的动态补偿值并进行补偿，最终得到的左、右车道线上所选取的各个特征点在世界坐标系中具有平行特性，即为，将最后补偿的消失点位置作为消失点的最终位置。

具体的：

车道线包括左车道线和右车道线，若相机消失点估计正确，求取的车道线坐标点世界坐标也是具有平行特征的，无需对相机初始消失点进行补偿，但由于相机自身的抖动或在弯道场景中消失点无法得到及时的补偿，从而造成车道线到不到正确映射，导致左车道线上的各车道线特征点的世界坐标与右车道线上的各车道线特征点的世界坐标不具有平行特性，利用不具有平行特性的特性求取相机消失点Y坐标补偿消失点位置，Y坐标是指在平面系的纵轴坐标系，如，在进行双线约束拟合后，若消失点的位置偏大(实际图片中的线道映射在世界坐标系中存在偏差)，则约束拟合得到的曲线会呈现‘内八’的特性，相反若消失点的位置偏小，则约束拟合得到的曲线会呈现‘外八’的特性，利用这一特性即可对消失点位置进行可以修正，如下：

左车道线和右车道线上的所有特征点进行约束双线拟合，获取拟合后的拟合系数、相机的焦距和安装高度初始消失点坐标的动态补偿值。双线约束是以多项式方程进行展开计算，在实际应用中，多次项的拟合相对于残差计算或是迭代求解，能够实现快速输出结果且精度可保持一致，本案的核心也是将双线约束拟合应用与车道线拟合中，该方法大大提高拟合算法的鲁棒性。由于左右车道线拟合时相互约束，降低了拟合时高次项的抖动，提高车道线的拟合精度，并且根据拟合系数修正相机消失点位置，大大提高图像坐标与世界坐标相互转换的精度，例如，对左车道线和右车道线进行双线约束拟合，并获取相机的相机焦距f和在车载相机的安装高度h(测量可获取)，其中：安装高度以地面到相机镜头的距离为准，是预先的测量的数据。左车道线和右车道线的双线约束为三次多项式拟合，其结果为：左车道线上的每个特征点的拟合系数为X_L＝A0_L+A1_L*y+A2*y^2+A3*y^3；右车道线上的每个特征点的拟合系数为X_R＝A0_R+A1_R*y+A2*y^2+A3*y^3；

动态补偿值为Det_y＝f*h*(A1_L-A1_R)/(A0_L-A0_R)，其中：

A0_L、A1_L为左车道线系数的截距与斜率，A0_R、A1_R为右车道线系数的截距与斜率；

通过调整消失点位置，对特征点重新投影，直至所投影的特征点呈现出平行的特征，即得到补偿后的消失点坐标位置。通过双线约束拟合得到三次多项式拟合系数，并结合车道线系数的截距与斜率可对弯道场景中相机消失点进行补偿，避免现有技术中的平行直线标定的方法，对弯道场景无法补偿相机参数；

其次，通过多项式系数计算相机消失点的动态补偿值，避免迭代求解出现的死循环或是计算时间过长并且对计算机硬件装置要求过高的缺陷；

最后，修正相机消失点，并重新计算修正所述左、右车道线的各个特征点在世界坐标系中的坐标，满足Vanishing_y_cor＝Vanishing_y_src-Det_y，其中：Vanishing_y_cor为修正后的消失点y坐标位置，Vanishing_y_src为修正前的消失点y坐标位置。

本申请的方法相较于传统的平行直线标定方法而言，通用性强，能够满足的场景更多，其不仅满足平行直线场景下消失点的估计，也解决了平行直线标定车辆行驶到弯道场景中由于自车的抖动造成消失点变化而消失点方向无法估计的问题，利用双线约束对左右车道线进行拟合，根据拟合系数计算相机消失点坐标的动态补偿值，从而对车道线的特征点进行补偿，提高了图像坐标与世界坐标相互转换的精度，尤其是对车辆、行人等目标距离和车道线方程的计算，消失点补偿精度直接影响着其检测距离的准确性与有效性。

补偿结果对比，参见图3至图6，其中每幅图中的左图为补偿前的示意图，右图为补偿后的示意图，分别对内八形状、外八形状和带有噪声的内八和外八进行补偿，参见3至图6的右图，在弯道场景补偿相机参数，输出修正后精确的特征点坐标，图像映射在世界坐标系中的位置坐标精度能够保证，从而提高车载系统的使用功能。

如图7所示，另一方面提供一种基于平行约束的车道线消失点补偿的系统，系统包括：

车道线检测模块，用于获取相机采集路面的图像信息，确定图像信息中的车道线并在车道线上选取多个特征点；

坐标转换模块，用于建立世界坐标系并预设初始消失点，确定所有车道线的特征点在世界坐标系中的坐标；

判断左、右车道线的每个特征点在所述世界坐标系中是否具有平行特性，如是，不对所述初始消失点的坐标进行补偿，如否，利用双线约束对左、右车道线的特征点进行约束双线拟合，确定所述相机初始消失点坐标的动态补偿值并进行补偿。

作为本申请提供的部分实施方式，坐标转换模块还用于获取相机的内参数据和相机在车载的安装高度数据，相机的内参数据和相机在车载的安装高度数据均为已知量，可测量获取，能够确定每个特征点在世界坐标系中的坐标位置。

作为本申请提供的部分实施方式，车道线包括左车道线和右车道线，车道线约束拟合模块还用于左车道线和右车道线上的所有特征点进行约束双线拟合，获取拟合后的拟合系数、相机的焦距和安装高度初始消失点坐标的动态补偿值。

作为本申请提供的部分实施方式，按上述方法进行计算，最终确定相机初始消失点的动态补偿值Det_y＝f*h*(A1_L-A1_R)/(A0_L-A0_R)，其中：A0_L、A1_L为左车道线系数的截距与斜率，A0_R、A1_R为右车道线系数的截距与斜率；

确定修正后消失点的位置，满足：Vanishing_y_cor＝Vanishing_y_src-Det_y，其中：Vanishing_y_cor为修正后的消失点y坐标，Vanishing_y_src为修正前的消失点y坐标，并确定出修正后的左、右车道线的各个特征点的坐标，在弯道处实时，由于弯道角度发生实时变化，计算相机消失点的也是时刻发生变换，通过对相机消失点的实时补偿，使映射的左、右车道线的特征点始终具有平行性，以确保图像数据在世界坐标系中的精度，特征点不会映射成外八或内八形状。

其次提供一种基于平行约束的车道线消失点补偿的，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行计算机可读指令，并被配置为

获取相机采集路面的图像信息，确定图像信息中的车道线并在车道线上选取多个特征点；

建立世界坐标系并预设相机初始消失点，确定所有车道线的特征点在世界坐标系中的坐标；

判断左、右车道线的每个特征点在所述世界坐标系中是否具有平行特性，如是，不对所述初始消失点的坐标进行补偿，如否，利用双线约束对左、右车道线的特征点进行约束双线拟合，确定所述相机初始消失点坐标的动态补偿值并进行补偿。

以上对本发明所提供的方法及其产品进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离发明创造原理的前提下，还可以对发明进行若干改进和修饰，这些改进和修饰也落入发明权利要求的保护范围。

Claims (5)

1.一种基于平行约束的车道线消失点补偿的方法，用于车载驾驶辅助系统，所述车载安装有相机，其特征在于，所述车道线包括左车道线和右车道线，所述方法包括：

获取相机采集路面的图像信息，确定所述图像信息中的左车道线和右车道线，并在左车道线和右车道线上选取多个特征点；

建立世界坐标系并预设相机初始消失点的坐标，及确定左车道线和右车道线各个特征点在所述世界坐标系中的坐标；

判断左、右车道线的每个特征点在所述世界坐标系中是否具有平行特性，如是，不对所述预设相机初始消失点的坐标进行补偿，如否，利用双线约束对左、右车道线的特征点进行约束双线拟合，确定所述相机初始消失点坐标的动态补偿值并进行补偿，包括所述左车道线和右车道线上的所有特征点进行约束双线拟合，获取拟合后的拟合系数确定所述相机初始消失点的动态补偿值，其中：

所述左车道线和右车道线的双线约束为三次多项式拟合，并获取相机焦距f和安装高度h；

所述左、右车道线上的每个所述特征点的拟合系数为分别为X_L＝A0_L+A1_L*y+A2*y^2+A3*y^3，X_R＝A0_R+A1_R*y+A2*y^2+A3*y^3；

所述动态补偿值Det_y＝f*h*(A1_L-A1_R)/(A0_L-A0_R)，其中：A0_L、A1_L为左车道线系数的截距与斜率，A0_R、A1_R为右车道线系数的截距与斜率；

确定修正后消失点的位置坐标，Vanishing_y_cor＝Vanishing_y_src-Det_y，其中：Vanishing_y_cor为修正后的消失点y坐标，Vanishing_y_src为修正前的消失点y坐标，并重新计算修正所述左、右车道线的所有特征点在世界坐标系中的坐标。

2.根据权利要求1所述的方法，其特征在于，确定左车道线和右车道线各个特征点在所述世界坐标系中的坐标的方法包括：

获取相机的内参数据、相机在车载的安装高度数据和相机初始消失点位置坐标，确定每个特征点在世界坐标系中的坐标位置。

3.一种基于平行约束的车道线消失点补偿的系统，其特征在于，车道线包括左、右车道线，所述系统包括：

获取相机采集路面的图像信息，确定所述图像信息中的左车道线和右车道线，并在左车道线和右车道线上选取多个特征点；

建立世界坐标系并预设相机初始消失点，及确定左车道线和右车道线各个特征点在所述世界坐标系中的坐标；

判断左、右车道线的每个特征点在所述世界坐标系中是否具有平行特性，如是，不对所述初始消失点的坐标进行补偿，如否，利用双线约束对左、右车道线的特征点进行约束双线拟合，确定所述相机初始消失点坐标的动态补偿值并进行补偿，包括所述车道线约束拟合模块还用于所述左车道线和右车道线上的所有特征点进行约束双线拟合，获取拟合后的拟合系数确定所述相机初始消失点的动态补偿值，其中：所述车道线约束拟合模块用于双线约束拟合求取左右车道线方程，并根据获取的相机焦距f对消失点y坐标进行补偿；

所述左、右车道线上的每个所述特征点的拟合系数为分别为X_L＝A0_L+A1_L*y+A2*y^2+A3*y^3，X_R＝A0_R+A1_R*y+A2*y^2+A3*y^3；

所述动态补偿值Det_y＝f*h*(A1_L-A1_R)/(A0_L-A0_R)，其中：A0_L、A1_L为左车道线系数的截距与斜率，A0_R、A1_R为右车道线系数的截距与斜率；

修正相机消失点，并重新计算修正所述左、右车道线的各个特征点在世界坐标系中的坐标，满足Vanishing_y_cor＝Vanishing_y_src-Det_y，其中：Vanishing_y_cor为修正后的消失点y坐标位置，Vanishing_y_src为修正前的消失点y坐标位置。

4.根据权利要求3所述的系统，其特征在于，所述坐标转换模块还用于获取相机的内参数据、相机在车载的安装高度数据和相机初始消失点位置坐标，确定每个特征点在世界坐标系中的坐标位置。

5.一种基于平行约束的车道线消失点补偿的装置，其特征在于，包括：

存储器，用于存储非暂时性计算机可读指令；以及，

处理器，用于运行所述计算机可读指令，并被配置为

获取相机采集路面的图像信息，确定所述图像信息中的左车道线和右车道线，并在左车道线和右车道线上选取多个特征点；

建立世界坐标系并预设相机初始消失点，及确定左车道线和右车道线各个特征点在所述世界坐标系中的坐标；

判断左、右车道线的每个特征点在所述世界坐标系中是否具有平行特性，如是，不对所述初始消失点的坐标进行补偿，如否，利用双线约束对左、右车道线的特征点进行约束双线拟合，确定所述相机初始消失点坐标的动态补偿值并进行补偿，包括所述左车道线和右车道线上的所有特征点进行约束双线拟合，获取拟合后的拟合系数确定所述相机初始消失点的动态补偿值，其中：

所述左车道线和右车道线的双线约束为三次多项式拟合，并获取相机焦距f和安装高度h；

所述左、右车道线上的每个所述特征点的拟合系数为分别为X_L＝A0_L+A1_L*y+A2*y^2+A3*y^3，X_R＝A0_R+A1_R*y+A2*y^2+A3*y^3；

所述动态补偿值Det_y＝f*h*(A1_L-A1_R)/(A0_L-A0_R)，其中：A0_L、A1_L为左车道线系数的截距与斜率，A0_R、A1_R为右车道线系数的截距与斜率；

确定修正后消失点的位置坐标，Vanishing_y_cor＝Vanishing_y_src-Det_y，其中：Vanishing_y_cor为修正后的消失点y坐标，Vanishing_y_src为修正前的消失点y坐标，并重新计算修正所述左、右车道线的所有特征点在世界坐标系中的坐标。

Images