CN109409202A - 基于动态感兴趣区域的鲁棒性车道线检测方法 - Google Patents

Abstract

本发明涉及一种基于动态感兴趣区域的鲁棒性车道线检测方法，包括如下步骤：S10、进行车道动态感兴趣区域初始化；S20、将当前帧中的车道线感兴趣区域由近到远划分成直线识别区域和曲线识别区域；S30、针对所述直线识别区域和曲线识别区域进行车道线边缘特征点预提取，再通过拟合算法获得直线识别区域的直线车道参数以及曲线识别区域的曲线车道参数，绘画拟合车道线；S40、根据当前帧的拟合车道线参数,利用卡尔曼滤波预测下一帧图像中的动态感兴趣区域DROI。本发明基于DROI，采用RANSAC算法，可以有效地提取复杂工况下的车道线内侧边缘信息，该方法的抗干扰性、准确性相有着明显的改善与提高；同时利用卡尔曼预测及帧间关联约束，可实现实时、鲁棒的车道线跟踪。

Description

基于动态感兴趣区域的鲁棒性车道线检测方法

技术领域

本发明涉及智能驾驶以及ADAS智能辅助驾驶系统领域，特别涉及一种基于动态感兴趣区域的鲁棒性车道线检测方法。

背景技术

智能交通系统（Intelligent Transportation System，ITS）及高级驾驶辅助系统（Advanced Driver Assistance System，ADAS）的飞速发展，为驾驶人员的行车安全提供了重要的保障。车道线检测作为ADAS系统中的一项关键技术，在辅助行车安全方面扮演者不可或缺的角色，进而也吸引着国内外学者对其进行了深入的研究。然而，针对夜间能见度低，阴影、灯光、障碍物干扰等复杂工况下的车道线检测，其仍然存在鲁棒性低，实时性差等难题。

因此，提出一种快速、鲁棒的车道线检测方法，将有利于在面对复杂的行车路况下，提高驾乘人员的行车安全性。

发明内容

本发明为了解决上述技术问题，提供一种基于动态感兴趣区域的鲁棒性车道线检测方法。

一种基于动态感兴趣区域的鲁棒性车道线检测方法，包括如下步骤：

S10、获得当前帧的待识别图像数据，进行车道感兴趣区域初始化；

S20、将当前帧中的车道线感兴趣区域由近到远划分成相连的第一区域、第二区域以及第三区域，并将第一区域和第二区域组成直线识别区域，将第二区域和第三区域组成曲线识别区域；

S30、针对所述直线识别区域和曲线识别区域进行车道线边缘特征点预提取，再通过拟合算法获得直线识别区域的直线车道参数以及曲线识别区域的曲线车道参数，绘画拟合车道线；

S40、根据当前帧的拟合车道线利用卡尔曼滤波预测下一帧图像中第一区域、第二区域以及第三区域的位置。

进一步的，所述车道线感兴趣区域初始化中，图像预处理的初始检测区域根据车道线线宽、车道线实线、虚线类型以及车道线直线、曲线分布特点确定。

进一步的，所述直线识别区域的拟合方法包括如下子步骤：

S301、获取直线区域车道线边缘特征点；

S302、通过RANSAC算法（Random Sample Consensus，随机抽样一致算法）计算当前帧车道直线参数以及消失点坐标。

进一步的，所述曲线识别区域的拟合方法包括如下子步骤：

S311、获取曲线区域车道线边缘特征点；

S312、利用三次曲线模型，完成曲线拟合，并求解三次曲线函数的系数及曲率半径均值。

进一步的，所述步骤S30中的绘画拟合车道线的步骤包括：

S331、根据当前帧车道直线参数绘制直线车道线；

S332、获取上一帧图像中的直线车道线的底部像素点，并以该点作为定点参数，融合到曲线车道线拟合求解中，绘画曲线车道线。

进一步的，执行所述步骤S40前还包括如下子步骤：判断求解的车道线、消失点及曲线半径均值是否满足如下所有条件，若满足则执行步骤S40；若不满足，则不输出，并返回步骤S10，处理下一帧图像。

条件包括：

1）判断拟合车道线中，车道两侧拟合直线斜率乘积小于0；

2）计算车道宽度与实际车道宽度的宽度差小于第一阈值；

3）消失点坐标处于当前帧图像内。

进一步的，所述步骤S40包括如下子步骤：

S41、获取当前帧的直线车道线所对应的斜率和截距；

S42、获取当前帧的消失点坐标同时当前帧图像消失点与上帧图像消失点的距离小于第三阈值；

S43、将步骤S41以及步骤S42的数据作为输入参数，利用卡尔曼滤波进行预测，获得下一帧直线车道线所对应的斜率、截距以及消失点的预测值；

S44、根据步骤S43的预测值确定下一帧的第一区域、第二区域以及第三区域。

进一步的，执行所述步骤S43后还包括预测校验步骤：

S51、判断下一帧直线车道线的斜率、截距的预测值与当前帧的斜率、截距之差是否超过第二阈值，若是则执行步骤S53，否则执行步骤S52；

S52、判断预测的下一帧消失点与当前帧消失点的距离是否超过第三阈值，若是则执行步骤S53，否则执行步骤S44；

S53、根据上一帧所预测的结果对下一帧的第一区域、第二区域以及第三区域进行确定。

进一步的，在步骤S30中，在绘画拟合车道线前还包括校验步骤：

S321、判断所预测下一帧的消失点与当前帧消失点的距离是否小于第四阈值，若是则执行步骤S322，否则输出结果但是不执行车道线绘画步骤；

S322、判断当前帧的曲率半径均值是都大于第五阈值，若是则输出结果并执行车道线绘画步骤，否则输出结果但是不执行车道线绘画步骤。

可选的，所述第一阈值为0.15m；

所述第二阈值为（0.1, 50），其中数列内第一项为斜率误差值，第二项为截距误差值，单位为像素；

所述第三阈值为30，单位为像素；

所述第四阈值为30，单位为像素；

所述第五阈值为150m。

本发明的基于动态感兴趣区域的鲁棒性车道线检测方法所起到的有益效果包括：

1、基于DROI，利用车道线内侧边缘梯度特性，可以有效地提取复杂工况下的车道线内侧边缘信息，该方法的抗干扰性、准确性相比于最大类间方差（OTSU）、Canny算子等有着明显的改善与提高。

2、通过建立DROI，可降低对复杂车道线识别算法的要求，同时可达到车道线区域跟踪的目的。

3、利用卡尔曼预测及帧间关联法，可实现实时、鲁棒的车道线跟踪。

4、针对复杂工况，基于道路消失点的候选直线样本，利用RANSAC算法进行车道直线检测，可提高其算法准确性，鲁棒性；利用三次曲线模型，结合RANSAC算法，可实现准确的曲线拟合，也可解决拟合车道线“甩动”问题。

附图说明

图1为本发明的方法流程原理图。

图2为本发明对帧图像识别的DROI区域划分原理图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征更易被本领域技术人员理解，从而对本发明的保护范围作出更为清楚的界定。

实施例1：

一种基于动态感兴趣区域的鲁棒性车道线检测方法，如图1所示。附图1介绍一个本发明的整体流程，包括如下步骤：

S10、获得当前帧的待识别图像数据，进行车道感兴趣区域初始化，在初始化过程中，车道线感兴趣区域初始化中，图像预处理的初始检测区域根据车道线线宽、车道线实线、虚线类型以及车道线直线、曲线分布特点确定。

S20、如图2所示，为了更加准确地进行动态感兴趣区域识别，首先将当前帧中的车道线感兴趣区域由近到远划分成相连的第一区域DROI1、第二区域DROI2以及第三区域DROI3。可以理解的，为了便于区分左车道线感兴趣区域和右车道线感兴趣区域，附图2中分别以L和R来表示左右关系，如LDROI1、RDROI1分别表示第一区域DROI1的左车道线感兴趣区域和右车道线感兴趣区域。

之后根据车道的图像识别特性，由于在图像识别过程中，距离车辆较近的车道线其曲率通常较小，因此将第一区域DROI1和第二区域DROI2组成直线识别区域；而在距离车辆较远的车道线由于在图像识别上，弯道曲率特性被放大，因此将第二区域DROI2和第三区域DROI3组成曲线识别区域。在三个区域中，第二区域是共同识别区域，便于完成直线识别区域和曲线识别区域的拟合。

S30、在确定直线识别区域和曲线识别区域确定后，针对直线识别区域和曲线识别区域进行车道线边缘特征点预提取。

本实施例中，车道线边缘特征点预提取是在感兴趣区域DROI内，利用像素点平均梯度强度及梯度方向的车道边缘提取方法。具体通过约束车道边缘点梯度方向，以车道边缘像素灰度值的标准差作为分割阈值，以像素点的平均梯度强度作为间接分割对象，进行车道边缘提取，然后进行车道线边缘细化，获取车道线内侧唯一边缘点，该方法简单易行，实时性好。

在获得车道线边缘特征点后，通过拟合算法获得直线识别区域的直线车道参数以及曲线识别区域的曲线车道参数，绘画拟合车道线。

具体的，本实施所提供的直线识别区域的拟合方法包括如下子步骤：

S301、获取第一区域DROI1和第二区域DROI2组成的直线区域车道线边缘特征点；

S302、通过RANSAC算法计算当前帧车道直线参数以及消失点坐标。具体的，首先对直线参数进行计算，本实施例通过直线参数的斜率K以及截距b来确定直线参数。利用消失点的位置，在第一区域和第二区域确定多条候选执行，进而利用RANSAC算法进行车道直线参数拟合及消失点位置计算。可以理解的，车道线的直线包括两条，分别是左车道线以及右车道线，两个车道线相交之处则确定为消失点，其坐标可以通过（v_vp, u_vp）来表示。

本实施例中，对改进RANSAC算法进行了一定的改进，主要体现在, 算法在样本选取上，界定了样本容量及样本范围，如图2所示的直线样本，其仅在DROI区域内范围内提供多个样本值供后续拟合步骤选择，提高了计算效率，缩小了误检范围。

完成直线参数计算后，针对曲线识别区域的拟合方法包括如下子步骤：

S311、获取第二区域DROI2和第三区域DROI3组成的曲线区域车道线边缘特征点；

S312、利用三次曲线模型，完成左车道线和右车道线的曲线拟合，并求解三次曲线函数的系数及曲率半径均值。拟合方法是多种的，其旨在求解三次曲线系数。同时基于此确定曲率半径均值。由此即可完成曲线拟合以及车道线绘制。

进一步的，本实施例还提供绘画拟合车道线的步骤：

S331、根据当前帧车道直线参数绘制直线车道线，

S332、为了防止在车道虚线部分，进行车道曲线拟合而出现的拟合曲线“甩动”现象，获取上一帧图像中的直线车道线的底部像素点，并以该点座位定点参数，融合到曲线车道线拟合求解中，绘画曲线车道线，进而可确保拟合曲线的稳定性。利用上述方法，可以鲁棒地提取车道直线、曲线。

S40、根据当前帧的拟合车道线利用卡尔曼滤波求得下一帧图像中车道线的直线信息，即下一帧图像中直线车道线的斜率Kr、截距br以及道路消失点位置（v_vr, u_vr）。进而，根据该信息获得下一帧图像中的一区域DROI1、第二区域DROI2以及第三区域DROI3的位置。

具体步骤S40包括如下子步骤：

S41、获取当前帧的直线车道线所对应的斜率和截距；

S42、获取当前帧的消失点坐标；

S43、将步骤S41以及步骤S42的数据作为输入参数，利用卡尔曼滤波进行预测，获得下一帧直线车道线所对应的斜率、截距以及消失点的预测值；

S44、根据步骤S43的预测值确定下一帧的第一区域、第二区域以及第三区域。

如此，即可实现实时的动态检测以及车道线的拟合。

本步骤实质为了实现车道跟踪，其车道线跟踪是利用卡尔曼滤波算法来实现。为了避免突变状况带入无效信息，将当前帧的车道线及消失点观测信息，与经过卡尔曼滤波预测后得出的信息作比较，若发生突变，抛弃当前帧信息，将上一帧的卡尔曼滤波预测所得信息作为当前帧的车道线信息，从而用于作为下一帧的计算基础，若没有发生突变则按顺序执行，最终可有效地避免，由于障碍物遮挡车道线，而出现的车道线误检现象发生。

实施例2：

作为实施例1的优化，本实施例与实施例1 的区别在于：为了对计算所得的车道线进行准确性认证，本实施例在执行步骤S40前还包括如下子步骤：判断求解的车道线、消失点及曲线半径均值是否满足如下所有条件，若满足条件则将相关参数输出并进行卡尔曼滤波预测计算；若不满足，则不输出，并返回步骤S10，处理下一帧图像。

具体条件包括：

1）判断拟合车道线中，车道两侧拟合直线斜率乘积小于0，确定所拟合的车道线是否符合典型的梯形状，如果左右车道线的斜率乘积大于0则明显不符合图像识别中的车道线特性。

2）计算车道宽度与实际车道宽度的宽度差小于第一阈值。优选的，本实施例中，该第一阈值可以但不仅限于为0.15m。该条件用于判断所识别的车道宽度是否符合车道线特性，车道宽度均有标准， 因此当偏差较大时也可以判定检测错误。

3）消失点坐标处于当前帧图像内。可以理解的，消失点必定在图像内，若不出现在图像内则说明检测错误。判断消失点的方法可以判断其纵横坐标值是否小于图像的像素值。

实施例3：

作为实施例1的优化，本实施例与实施例2的区别在于：为了防止绘画的车道线出现“甩飞”或者明显不拟合实际车道线的情况，本实施在步骤S30中，在绘画拟合车道线前还包括校验步骤：

S321、判断所预测下一帧的消失点与当前帧消失点的距离是否小于第四阈值，若是则执行步骤S322，否则输出结果但是不执行车道线绘画步骤；

S322、判断当前帧的曲率半径均值是都大于第五阈值，若是则输出结果并执行车道线绘画步骤，否则输出结果但是不执行车道线绘画步骤。

其中，第四阈值按照图像像素距离来判断，第五阈值则计算出实际值，第四阈值优选为30，第五阈值优选为150m。

实施例4：

作为实施例1的优化，本实施例与实施例1的区别在于：本实施提供具体的预测校验步骤：

S51、判断下一帧直线车道线的斜率、截距的预测值与当前帧的斜率、截距之差是否超过第二阈值，若是则执行步骤S53，否则执行步骤S52；

其中，第二阈值包括两个参数，分别是斜率误差值和截距误差值，斜率误差值优选为0.1像素，截距误差值优选为50。

S52、判断预测的下一帧消失点与当前帧消失点的距离是否超过第三阈值，若是则执行步骤S53，否则执行步骤S44；本步骤中第三阈值优选为30像素。

S53、根据上一帧所预测的结果对下一帧的第一区域、第二区域以及第三区域进行确定。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种基于动态感兴趣区域的鲁棒性车道线检测方法，其特征在于：包括如下步骤：

S10、获得当前帧的待识别图像数据，进行车道感兴趣区域初始化；

S20、将当前帧中的车道线感兴趣区域由近到远划分成相连的第一区域、第二区域以及第三区域，并将第一区域和第二区域组成直线识别区域，将第二区域和第三区域组成曲线识别区域；

S30、针对所述直线识别区域和曲线识别区域进行车道线内侧边缘特征点预提取，再通过拟合算法获得直线识别区域的直线车道参数以及曲线识别区域的曲线车道参数，绘画拟合车道线；

S40、根据当前帧的拟合车道线利用卡尔曼滤波预测下一帧图像中第一区域、第二区域以及第三区域的位置。

2.根据权利要求1所述的鲁棒性车道线检测方法，其特征在于，所述车道线感兴趣区域初始化中，图像预处理的初始检测区域根据车道线线宽、车道线实线、虚线类型以及车道线直线、曲线分布特点确定。

3.根据权利要求1所述的鲁棒性车道线检测方法，其特征在于，所述直线识别区域的拟合方法包括如下子步骤：

S301、获取直线区域车道线边缘特征点；

S302、通过RANSAC算法计算当前帧车道直线参数以及消失点坐标。

4.根据权利要求1所述的鲁棒性车道线检测方法，其特征在于，所述曲线识别区域的拟合方法包括如下子步骤：

S311、获取曲线区域车道线边缘特征点；

S312、利用三次曲线模型，完成曲线拟合，并求解三次曲线函数的系数及曲率半径均值。

5.根据权利要求3所述的鲁棒性车道线检测方法，其特征在于，所述步骤S30中的绘画拟合车道线的步骤包括：

S331、根据当前帧车道直线参数绘制直线车道线；

S332、获取上一帧图像中的直线车道线的底部像素点，并以该点作为定点参数，融合到曲线车道线拟合求解中，绘画曲线车道线。

6.根据权利要求1所述的鲁棒性车道线检测方法，其特征在于，执行所述步骤S40前还包括如下子步骤：判断求解的车道线、消失点及曲线半径均值是否满足如下所有条件，若满足则执行步骤S40；若不满足，则不输出，并返回步骤S10，处理下一帧图像；

条件包括：

1）判断拟合车道线中，车道两侧拟合直线斜率乘积小于0；

2）计算车道宽度与实际车道宽度的宽度差小于第一阈值；

3）消失点坐标处于当前帧图像内，同时当前帧图像消失点与上帧图像消失点的距离小于第三阈值。

7.根据权利要求1所述的鲁棒性车道线检测方法，其特征在于，所述步骤S40包括如下子步骤：

S41、获取当前帧的直线车道线所对应的斜率和截距；

S42、获取当前帧的消失点坐标；

S43、将步骤S41以及步骤S42的数据作为输入参数，利用卡尔曼滤波进行预测，获得下一帧直线车道线所对应的斜率、截距以及消失点的预测值；

S44、根据步骤S43的预测值确定下一帧的第一区域、第二区域以及第三区域。

8.根据权利要求7所述的鲁棒性车道线检测方法，其特征在于，执行所述步骤S43后还包括预测校验步骤：

S51、判断下一帧直线车道线的斜率、截距的预测值与当前帧的斜率、截距之差是否超过第二阈值，若是则执行步骤S53，否则执行步骤S52；

S52、判断预测的下一帧消失点与当前帧消失点的距离是否超过第三阈值，若是则执行步骤S53，否则执行步骤S44；

S53、根据上一帧所预测的结果对下一帧的第一区域、第二区域以及第三区域进行确定。

9.根据权利要求7所述的鲁棒性车道线检测方法，其特征在于，在步骤S30中，在绘画拟合车道线前还包括校验步骤：

S321、判断所预测下一帧的消失点与当前帧消失点的距离是否小于第四阈值，若是则执行步骤S322，否则输出结果但是不执行车道线绘画步骤；

S322、判断当前帧的曲率半径均值是都大于第五阈值，若是则输出结果并执行车道线绘画步骤，否则输出结果但是不执行车道线绘画步骤。

10.根据权利要求1所述的鲁棒性车道线检测方法，其特征在于，

所述第一阈值为0.15m；

所述第二阈值为（0.1, 50），其中数列内第一项为斜率误差值，第二项为截距误差值，单位为像素；

所述第三阈值为30，单位为像素；

所述第四阈值为30，单位为像素；

所述第五阈值为150m。