CN110929655B - 一种行驶过程中车道线识别方法、终端设备及存储介质 - Google Patents

Abstract

本发明涉及一种行驶过程中车道线识别方法、终端设备及存储介质，该方法中包括：S1：采集车辆前方道路的图像信息，并将其进行二值化处理，处理完成后将图像通过透视变换还原为鸟瞰图；S2：通过鸟瞰图对其中的车道线像素进行拟合；S3：判定拟合的车道线是否符合要求，如果是，设定拟合的车道线为当前时刻的车道线；否则，进入S4；S4：利用前一时刻的车道线和车辆的行驶信息对当前时刻的车道线进行预测，将预测的车道线作为当前时刻的车道线。本发明针对不同的路面情况设定不同的识别方案，避免大曲率弯道和含有障碍物等复杂道路的误识别和无法识别，增加了车道线识别的准确率。

Description

一种行驶过程中车道线识别方法、终端设备及存储介质

技术领域

本发明涉及车道线识别领域，尤其涉及一种行驶过程中车道线识别方法、终端设备及存储介质。

背景技术

车道保持系统(LKAS)是一种能够有效提高交通效率和驾驶舒适度的智能交通技术，它利用传感器识别车道信息，通过提示驾驶员或者直接控制转向器、制动器等车辆设备使车辆保持在车道中行驶。

车道线的识别技术是车道保持系统的关键，对于普通标准化车道，其曲率较小，可以将近处的图像内容近似的认为是直线，然后通过检测图像中的直线识别车道线。

检测直线等方案识别车道线在路面复杂情况容易失效，尤其是，对于含有大曲率弯道的道路以及有其他标识线的情况下容易误识别或无法识别。同时，在复杂环境，例如车道线被遮挡、光照不充分、相机镜头前有障碍物等情况下也容易出错。

发明内容

为了解决上述问题，本发明提出了一种行驶过程中车道线识别方法、终端设备及存储介质。

具体方案如下：

一种行驶过程中车道线识别方法，包括以下步骤：

S1：采集车辆前方道路的图像信息，并将其进行二值化处理，处理完成后将图像通过透视变换还原为鸟瞰图；

S2：通过鸟瞰图对其中的车道线像素进行拟合；

S3：判定拟合的车道线是否符合要求，如果是，设定拟合的车道线为当前时刻的车道线；否则，进入S4；

S4：利用前一时刻的车道线和车辆的行驶信息对当前时刻的车道线进行预测，将预测的车道线作为当前时刻的车道线。

进一步的，步骤S1具体包括以下步骤：

S11：通过双目摄像头采集车辆前方道路的图像信息，并将其转换为深度图；

S12：通过深度图识别车辆前方道路中的障碍物，进而计算深度图中车辆前方道路被障碍物遮挡住的面积；

S13：判断深度图中被障碍物遮挡住的面积所占车辆前方道路总面积的比例是否大于比例阈值，如果大于，则判定采集的图像不符合需求，返回S1重新采集；否则，进入S14；

S14：将深度图中被障碍物遮挡住的部分像素进行删除后，进行二值化处理，处理完成后将图像通过透视变换还原为鸟瞰图。

进一步的，根据二值化图像的亮度分布情况选择二值化算法进行处理，当二值化图像亮度分布不均时，采用NiBlack二值化方法；否则，采用OTSU二值化方法。

进一步的，二值化图像亮度分布不均为：像素亮度值大于亮度上限阈值的像素个数占所有像素的百分比大于上限占比阈值，且像素亮度值小于亮度下限阈值的像素个数占所有像素的百分比小于下限占比阈值，或像素亮度值大于亮度上限阈值的像素个数占所有像素的百分比小于下限占比阈值，且像素亮度值小于亮度下限阈值的像素个数占所有像素的百分比打于上限占比阈值。

进一步的，步骤S2中车道线拟合的方法为：提取出二值化的鸟瞰图中所有的车道线像素点，并进行聚类处理，查找出所有车道线像素点集合，将集合中像素点个数大于个数阈值的集合进行车道线拟合。

进一步的，步骤S2还包括，针对每一条拟合的车道线，判断其向左侧或右侧偏移一个车道宽度的位置处是否存在其他拟合的车道线，如果不存在，将该车道线删除。

进一步的，步骤S3中拟合的车道线符合要求为车道线方程中的各参数均符合预设的取值范围。

进一步的，车道线方程为：

y＝a₁x²+a₂x+a₃

则各参数均符合预设的取值范围为：a₁<10^-2、a₂<10、a₃<10³、a₃＝-120.9a₂+c、a₃＝5.83×10⁴a₁+c和c∈[700,1000)。

进一步的，步骤S4中当车辆的运动轨迹为圆周时，当前时刻的车道线预测模型为：

其中，(x_k,y_k)表示前一时刻车辆的坐标，(x_k+1,y_k+1)表示当前时刻车辆的坐标，M为变换矩阵，其计算公式为：

其中，R表示运动轨迹的半径，T表示前一时刻与当前时刻的间隔时间，α表示间隔时间T内车辆转过的角度，θ表示车辆转向器旋转的角度，λ表示转向器到车轮转角的传动比，L表示车辆的轴距，a表示间隔时间T内车辆的加速度，v₀表示当前时刻车辆的速度。

一种行驶过程中车道线识别终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，针对不同的路面情况设定不同的识别方案，避免大曲率弯道和含有障碍物等复杂道路的误识别和无法识别，增加了车道线识别的准确率。

附图说明

图1所示为本发明实施例一的流程图。

图2所示为该实施例中双目摄像头拍摄原理示意图。

图3所示为该实施例中车道线拟合公式中a₂与a₃之间关系示意图。

图4所示为该实施例中车道线拟合公式中a₁与a₃之间关系示意图。

图5所示为该实施例中前方道路图像示意图。

图6所示为该实施例中二值化处理后的图像。

图7所示为该实施例中当前时刻与前一时刻的位置参数示意图。

图8所示为该实施例中通过前一时刻的预测结果示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明实施例提供了一种行驶过程中车道线识别方法，如图1所示，所述方法包括以下步骤：

S1：采集车辆前方道路的图像信息，并将其进行二值化处理，处理完成后将图像通过透视变换还原为鸟瞰图。

进一步的，由于前方道路中可能存在障碍物，当图像中障碍物过多时，可能会导致车道线的识别不准确，因此，该实施例中还包括剔除图像中的障碍物信息。具体过程包括：

S11：通过双目摄像头采集车辆前方道路的图像信息，并将其转换为深度图。

该实施例中通过安装于车辆正前方的左右两侧的两个摄像头分别同步进行采集，将两个摄像头采集的图像信息合成为包含距离信息的深度图。

参考图2，由于两个摄像头之间的距离是固定且已知的，通过三角测距原理可以得出采集的图像信息中的物体与车辆的距离信息，进而合成包含距离信息的深度图。

S12：通过深度图识别车辆前方道路中的障碍物，进而计算深度图中车辆前方道路被障碍物遮挡住的面积。

该实施例中，深度图以不同的颜色表示不同的距离，对于正常空旷的道路来说，其深度图中的颜色应该是平滑过渡的，当有车辆或者障碍物出现在道路上时，其距离和路面距离不一致，能够通过深度图的不同颜色体现出来，对比深度图和采集的图像信息中的内容，就可以知道哪些图像区域是有被障碍物遮挡的。

S13：判断深度图中被障碍物遮挡住的面积所占车辆前方道路总面积的比例是否大于比例阈值，如果大于，则判定采集的图像不符合需求，返回S1重新采集；否则，进入S14。

由于摄像头拍摄的车辆前方道路的图像不仅包含地面部分，还包含天空部分，由于待识别的车道线只存在于地面部分，只对地面部分感兴趣，因此，识别的障碍物和进行比例计算时对比的对象均只包含图像中的地面道路部分。

该实施例中设定的比例阈值为三分之二，当障碍物的面积超过三分之二时，说明道路大部分被障碍物所占据，可供识别的部分较小，识别的车道线结果不准确，从而引起误识别，因此，对应的采集的图像不符合要求。所述比例阈值本领域技术人员可以根据相机的实际视角进行相应设定。

S14：将深度图中被障碍物遮挡住的部分像素进行删除后，进行二值化处理，处理完成后将图像通过透视变换还原为鸟瞰图。

该实施例中二值化处理方式采用以下优选方式，即根据深度图剔除障碍物遮挡区域像素后的亮度分布情况进行选择，具体为：

统计各像素亮度的分布情况，当像素亮度值大于亮度上限阈值(170)的像素个数占所有像素的百分比大于上限占比阈值(40％)，且像素亮度值小于亮度下限阈值(80)的像素个数占所有像素的百分比小于下限占比阈值(10％)时，认为图像处于强光照情况；当像素亮度值大于亮度上限阈值(170)的像素个数占所有像素的百分比小于下限占比阈值(10％)，且像素亮度值小于亮度下限阈值(80)的像素个数占所有像素的百分比打于上限占比阈值(170％)时，认为图像处于弱光照情况。

在上述两种情况均为光照不均的情况，因此在上述两种情况即强光照和弱光照情况下均采用NiBlack二值化方法。Niblack为一种局部阈值化方法，用一定尺寸的小窗口对图像各个部分分别进行二值化处理，窗口内的二值化处理的亮度阈值T的计算公式为：

T＝m+kv

其中，m为区域内像素亮度的平均值，v为标准差，k为常系数，该实施例中取0.2。

设定上述两种情况之外的情况为光照均匀的情况，在光照均匀的情况下采用OTSU二值化方法。OTSU是一种全局阈值化方法，通过假设亮度阈值将图像像素分成的明暗两类，用这两类里面的像素值计算方差。从0开始到255遍历假设的亮度阈值，找出方差最大的那个亮度阈值作为实际亮度阈值进行使用。

S2：通过二值化处理后的鸟瞰图对其中的车道线像素进行拟合。

该实施例中车道线拟合的方法为：提取出二值化的鸟瞰图中所有的车道线像素点，并进行聚类处理，查找出所有车道线像素点集合，将集合中像素点个数大于个数阈值的集合进行车道线拟合。通过聚类处理可以排除一些车道线之外的干扰点。

由于道路上除了车道线之外还可能存在其他线条，如停车位线条，为了排除其他线条的干扰，该实施例中还包括：针对每一条拟合的车道线，判断其向左侧或右侧偏移一个车道宽度的位置处是否存在其他拟合的车道线，如果不存在，将该车道线删除。车道宽度为已知参数，结合摄像头的标定参数可以实现车道线的偏移量计算。

S3：判定拟合的车道线是否符合要求，如果是，设定拟合的车道线为当前时刻的车道线；否则，进入S4。

该实施例中车道线拟合方程为：

y＝a₁x²+a₂x+a₃

通过实现采集的已知的车道线进行测试，得到方程中的各参数的取值如表1所示。

表1

通过测试结果统计得到个参数的取值范围符合下列条件：

a₁<10^-2，a₂<10，a₃<10³

参考图3和图4，对a₂与a₃、a₃与a₁分别进行线性方程拟合，可以得到：

a₃＝-120.9a₂+c

a₃＝5.83×10⁴a₁+c

其中，参数c的取值范围为[700,1000)。

介于上述结果，该实施例中设定车道线拟合结果判定方法为：

判断是否同时满足a₁<10^-2、a₂<10、a₃<10³、a₃＝-120.9a₂+c、a₃＝5.83×10⁴a₁+c，和c∈[700,1000)。如果是，则判定车道线拟合结果符合要求；否则，不符合要求。

如图5和图6所示，其为车道线拟合结果不符合要求的示意图。

S4：利用前一时刻的车道线和车辆的行驶信息对当前时刻的车道线进行预测，将预测的车道线作为当前时刻的车道线。

由于道路是连续的，车辆在行驶时采集到的道路图像也应该是连续没有突变的，因此可以根据前一时刻的车道线和车辆的行驶信息推算出当前时刻的车道线，该实施例中采用的具体方法为：

如图7所示，设前一时刻为k，当前时刻为k+1。设定k时刻车辆的位置在O处，设定坐标为(x_k,y_k)，k+1时刻车辆的位置在O’处，设定坐标为(x_k+1,y_k+1)，设定K时刻与k+1时刻的时间间隔为T，当时间间隔T足够小时，假设车辆的运动轨迹为圆周，则车道跟踪算法的模型为：

M为变换矩阵，其计算公式为：

其中，R表示运动轨迹的半径，α表示两帧间隔时间T内车辆转过的角度，θ表示车辆转向器旋转的角度，λ表示转向器到车轮转角的传动比，L表示车辆的轴距，a表示车辆的加速度，v₀表示车辆当前速度。

上述模型中通过将k+1时刻的坐标变换到k时刻的坐标系中，由此得出k+1时刻图像到k时刻的变换关系。

如图8所示为通过前一时刻的车道线预测的当前时刻的车道线的结果，从图中可以看出，该结果符合真实车道线情况。

上面介绍了车辆的运动轨迹为圆周的车道线计算情况，当运动轨迹为直线时，当前时刻的车道线与前一时刻的车道线方程相同。

实施例二：

本发明还提供一种行驶过程中车道线识别终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述行驶过程中车道线识别终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述行驶过程中车道线识别终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述行驶过程中车道线识别终端设备的组成结构仅仅是行驶过程中车道线识别终端设备的示例，并不构成对行驶过程中车道线识别终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述行驶过程中车道线识别终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述行驶过程中车道线识别终端设备的控制中心，利用各种接口和线路连接整个行驶过程中车道线识别终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述行驶过程中车道线识别终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述行驶过程中车道线识别终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (9)

1.一种行驶过程中车道线识别方法，其特征在于，包括以下步骤：

S1：采集车辆前方道路的图像信息，并将其进行二值化处理，处理完成后将图像通过透视变换还原为鸟瞰图；

S2：通过鸟瞰图对其中的车道线像素进行拟合；

S3：判定拟合的车道线是否符合要求，如果是，设定拟合的车道线为当前时刻的车道线；否则，进入S4；

S4：利用前一时刻的车道线和车辆的行驶信息对当前时刻的车道线进行预测，将预测的车道线作为当前时刻的车道线；当车辆的运动轨迹为圆周时，当前时刻的车道线预测模型为：

其中，(x_k,y_k)表示前一时刻车辆的坐标，(x_k+1,y_k+1)表示当前时刻车辆的坐标，M为变换矩阵，其计算公式为：

其中，R表示运动轨迹的半径，T表示前一时刻与当前时刻的间隔时间，α表示间隔时间T内车辆转过的角度，θ表示车辆转向器旋转的角度，λ表示转向器到车轮转角的传动比，L表示车辆的轴距，a表示间隔时间T内车辆的加速度，v₀表示当前时刻车辆的速度。

2.根据权利要求1所述的行驶过程中车道线识别方法，其特征在于：步骤S1具体包括以下步骤：

S11：通过双目摄像头采集车辆前方道路的图像信息，并将其转换为深度图；

S12：通过深度图识别车辆前方道路中的障碍物，进而计算深度图中车辆前方道路被障碍物遮挡住的面积；

S13：判断深度图中被障碍物遮挡住的面积所占车辆前方道路总面积的比例是否大于比例阈值，如果大于，则判定采集的图像不符合需求，返回S1重新采集；否则，进入S14；

S14：将深度图中被障碍物遮挡住的部分像素进行删除后，进行二值化处理，处理完成后将图像通过透视变换还原为鸟瞰图。

3.根据权利要求1所述的行驶过程中车道线识别方法，其特征在于：根据二值化图像的亮度分布情况选择二值化算法进行处理，当二值化图像亮度分布不均时，采用NiBlack二值化方法；否则，采用OTSU二值化方法。

4.根据权利要求1所述的行驶过程中车道线识别方法，其特征在于：步骤S2中车道线拟合的方法为：提取出二值化的鸟瞰图中所有的车道线像素点，并进行聚类处理，查找出所有车道线像素点集合，将集合中像素点个数大于个数阈值的集合进行车道线拟合。

5.根据权利要求4所述的行驶过程中车道线识别方法，其特征在于：步骤S2还包括，针对每一条拟合的车道线，判断其向左侧或右侧偏移一个车道宽度的位置处是否存在其他拟合的车道线，如果不存在，将该车道线删除。

6.根据权利要求1所述的行驶过程中车道线识别方法，其特征在于：步骤S3中拟合的车道线符合要求为车道线方程中的各参数均符合预设的取值范围。

7.根据权利要求6所述的行驶过程中车道线识别方法，其特征在于：车道线方程为：

y＝a₁x²+a₂x+a₃

则各参数均符合预设的取值范围为：a₁<10^-2、a₂<10、a₃<10³、a₃＝-120.9a₂+c、a₃＝5.83×10⁴a₁+c和c∈[700,1000)。

8.一种行驶过程中车道线识别终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～7中任一所述方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～7中任一所述方法的步骤。

Images