CN113378705B

CN113378705B - 车道线检测方法、装置、设备及存储介质

Info

Publication number: CN113378705B
Application number: CN202110644513.6A
Authority: CN
Inventors: 江志浩; 崔迪潇; 王超; 杨思远
Original assignee: Suzhou Zhijia Technology Co Ltd
Current assignee: Suzhou Zhijia Technology Co Ltd
Priority date: 2021-06-09
Filing date: 2021-06-09
Publication date: 2022-09-16
Anticipated expiration: 2041-06-09
Also published as: CN113378705A

Abstract

本申请公开了一种车道线检测方法、装置、设备及存储介质，属于计算机技术领域。本申请实施例通过单目摄像机的内参以及车道线平行假设，结合检测出的车道线的位置，能够确定出车道线的视差图，以视差图为基准，来将图像中检测到出的二维位置转化为三维位置，则比较准确，由于基于内参确定出视差图的过程，单目摄像机采集的图像也能准确转化到三维空间中，无需多目摄像机，能够克服车道线检测时对摄像机外参的依赖，还能够在减少图像采集成本的基础上，提高单目摄像机采集图像的车道线检测结果的准确性。

Description

车道线检测方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种车道线检测方法、装置、设备及存储介质。

背景技术

随着智能化在汽车行业的深入发展，自动驾驶已成为当下最热门的话题，其中自动驾驶过程中的汽车安全是人们最关心的问题，而稳定的车道线检测对提高自动驾驶的安全性起到了至关重要的作用。

目前，车道线检测方法通常是确定出单目摄像机采集到的二维图像中车道线的位置，然后通过平坦路面假设条件，将其投影到三维空间中，得到车道线在三维空间中的位置。

上述方法基于平坦路面假设条件来将二维的车道线投影到三维空间中，实现条件比较苛刻，当遇到车头颠簸、路面起伏、上下匝道等复杂的道路情况时，上述方法估计出的车道线在三维空间中的位置有偏差，准确性比较差。

发明内容

本申请实施例提供了一种车道线检测方法、装置、设备及存储介质，能够提高车道线检测结果的准确性。所述技术方案如下：

一方面，提供了一种车道线检测方法，所述方法包括：

对单目摄像机采集到的图像进行处理，得到所述图像中多个车道线的位置；

根据车道线平行假设、所述单目摄像机的内参和所述图像中多个车道线的位置，确定所述图像中车道线的视差图；

根据所述图像中车道线的视差图，获取所述图像中多个车道线在三维空间中的位置。

在一些实施例中，所述根据车道线平行假设、所述单目摄像机的内参和所述图像中多个车道线的位置，确定所述图像中车道线的视差图，包括：

根据车道线平行假设、所述单目摄像机在水平方向上的焦距和所述图像中多个车道线的位置，确定所述图像中车道线的视差图。

在一些实施例中，所述根据所述图像中车道线的视差图，获取所述图像中多个车道线在三维空间中的位置，包括：

根据所述视差图进行路面拟合，得到所述车道线所在路面的俯仰角；

根据所述车道线所在路面的俯仰角和所述视差图进行车道线拟合，得到所述车道线的曲率；

响应于所述曲率小于或等于曲率阈值，根据所述图像中车道线的视差图和车道线宽度，获取所述图像中多个车道线在三维空间中的位置。

在一些实施例中，所述所述方法还包括：

响应于所述曲率大于曲率阈值，基于所述曲率，对所述车道线进行俯仰角补偿；

基于俯仰角补偿结果、所述图像中车道线的视差图和所述车道线宽度，获取所述图像中多个车道线在三维空间中的位置。

在一些实施例中，所述车道线宽度的确定过程包括下述任一项：

获取标准车道线宽度；

获取所述图像中车辆前方目标范围内的路面，将所述路面投影到三维空间中，得到所述车道线宽度。

在一些实施例中，所述对单目摄像机采集到的图像进行处理，得到所述图像中车道线的位置，包括：

对单目摄像机采集到的图像进行分割，得到所述图像的分割结果，所述分割结果用于指示所述图像中每个像素的类别，所述类别至少包括车道线和背景；

对所述图像的分割结果进行聚类，得到所述图像中多个车道线的位置。

一方面，提供了一种车道线检测装置，所述装置包括：

处理模块，用于对单目摄像机采集到的图像进行处理，得到所述图像中多个车道线的位置；

确定模块，用于根据车道线平行假设、所述单目摄像机的内参和所述图像中多个车道线的位置，确定所述图像中车道线的视差图；

获取模块，用于根据所述图像中车道线的视差图，获取所述图像中多个车道线在三维空间中的位置。

在一些实施例中，所述确定模块用于：

在一些实施例中，所述获取模块用于：

在一些实施例中，所述装置还包括：

补偿模块，用于响应于所述曲率大于曲率阈值，基于所述曲率，对所述车道线进行俯仰角补偿；

所述获取模块还用于基于俯仰角补偿结果、所述图像中车道线的视差图和所述车道线宽度，获取所述图像中多个车道线在三维空间中的位置。

获取标准车道线宽度；

在一些实施例中，所述处理模块用于：

一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现上述车道线检测方法的各种可选实现方式。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述车道线检测方法的各种可选实现方式。

一个方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得电子设备执行上述任一种可能实施方式的车道线检测方法。

本申请实施例通过单目摄像机的内参以及车道线平行假设，结合检测出的车道线的位置，能够确定出车道线的视差图，以视差图为基准，来将图像中检测到出的二维位置转化为三维位置，则比较准确，由于基于内参确定出视差图的过程，单目摄像机采集的图像也能准确转化到三维空间中，无需多目摄像机，能够克服车道线检测时对摄像机外参的依赖，还能够在减少图像采集成本的基础上，提高单目摄像机采集图像的车道线检测结果的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还根据这些附图获得其他的附图。

图1是本申请实施例提供的一种视差的示意图；

图2是本申请实施例提供的一种车道线检测方法的实施环境的示意图；

图3是本申请实施例提供的一种车道线检测方法的流程图；

图4是本申请实施例提供的一种车道线检测方法的流程图；

图5是本申请实施例提供的一种车道线检测过程中车道线二维和三维位置示意图；

图6是本申请实施例提供的一种车道线检测装置的结构示意图；

图7是本申请实施例提供的一种车道线检测方法的示意图；

图8是本申请实施例提供的一种车道线检测装置的结构示意图；

图9是本申请实施例提供的一种电子设备的结构框图；

图10是本申请实施例提供的一种终端的结构框图；

图11是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如，在不脱离各种该示例的范围的情况下，第一图像被称为第二图像，并且类似地，第二图像被称为第一图像。第一图像和第二图像都是图像，并且在某些情况下，是单独且不同的图像。

本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上，例如，多个数据包是指两个或两个以上的数据包。

应理解，在本文中对各种该示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种该示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”“an”)”和“该”旨在也包括复数形式，除非上下文另外明确地指示。

还应理解，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。术语“和/或”，是一种描述关联对象的关联关系，表示存在三种关系，例如，A和/或B，表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中的字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，在本申请的各个实施例中，各个过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，根据A确定B并不意味着仅仅根据A确定B，还根据A和/或其它信息确定B。

还应理解，术语“包括”(也称“inCludes”、“inCluding”、“Comprises”和/或“Comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。

还应理解，术语“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

下面对本申请涉及到的名词进行说明。

视差：视差就是从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的连线称作基线。只要知道视差角和基线长度，就可以计算出目标和观测者之间的距离。例如，如图1所示，假设有两个观察点：观察点1和观察点2，其中，观察点1和观察点2即为观测者所在位置。观察点1和观察点2分别观察目标时的视线之间夹角α即为视差角。两个观察点之间的直线a即为基线，直线a的长度即为基线长度，该基线长度也即是观察点1和观察点2之间的距离。

视差图是以图像对中任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。该视差图用于表示同一个场景在位置不同的两个相机下成像的像素的位置偏差。对于同一场景得到的两个图像，其中一个图像作为基准图像，另一个图像的像素与该基准图像中对应相素之间的位置差异即为该像素的视差值。因为通常下两个双目相机是水平放置的，所以该位置偏差一般体现在水平方向。比如场景中的X点在左相机是x坐标，那么在右相机成像则是(x+d)坐标。d就是视差图中x坐标点的值。如果是双目摄像机，如果是单目摄像机.

下面对本申请的实施环境进行说明。

图2是本申请实施例提供的一种车道线检测方法的实施环境的示意图。该实施环境包括终端101，或者该实施环境包括终端101和车道线检测平台102。终端101通过无线网络或有线网络与车道线检测平台102相连。

终端101是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器或MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器，膝上型便携计算机，智能机器人，自助支付设备中的至少一种。终端101安装和运行有支持车道线检测的应用程序，例如，该应用程序是系统应用、即时通讯应用、新闻推送应用、购物应用、在线视频应用、社交应用。

示例性地，该终端101具有图像采集功能和图像处理功能，对采集到的图像进行处理，并根据处理结果执行相应的功能。该终端101独立完成该工作，也通过车道线检测平台102为其提供数据服务。本申请实施例对此不作限定。

车道线检测平台102包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。车道线检测平台102用于为支持车道线检测的应用程序提供后台服务。可选地，车道线检测平台102承担主要处理工作，终端101承担次要处理工作；或者，车道线检测平台102承担次要处理工作，终端101承担主要处理工作；或者，车道线检测平台102或终端101分别单独承担处理工作。或者，车道线检测平台102和终端101两者之间采用分布式计算架构进行协同计算。

可选地，该车道线检测平台102包括至少一台服务器1021以及数据库1022，该数据库1022用于存储数据，在本申请实施例中，该数据库1022中存储有样本图像或样本人脸图像，为至少一台服务器1021提供数据服务。

服务器是独立的物理服务器，也是多个物理服务器构成的服务器集群或者分布式系统，还是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。

本领域技术人员知晓，上述终端101、服务器1021的数量更多或更少。比如上述终端101、服务器1021仅为一个，或者上述终端101、服务器1021为几十个或几百个，或者更多数量，本申请实施例对终端或服务器的数量和设备类型不加以限定。

图3是本申请实施例提供的一种车道线检测方法的流程图，该方法应用于电子设备中，该电子设备为终端或服务器，参见图3，以该方法应用于终端为例，该方法包括以下步骤。

301、终端对单目摄像机采集到的图像进行处理，得到该图像中多个车道线的位置。

302、终端根据车道线平行假设、该单目摄像机的内参和该图像中多个车道线的位置，确定该图像中车道线的视差图。

303、终端根据该图像中车道线的视差图，获取该图像中多个车道线在三维空间中的位置。

在一些实施例中，该根据车道线平行假设、该单目摄像机的内参和该图像中多个车道线的位置，确定该图像中车道线的视差图，包括：

根据车道线平行假设、该单目摄像机在水平方向上的焦距和该图像中多个车道线的位置，确定该图像中车道线的视差图。

在一些实施例中，该根据该图像中车道线的视差图，获取该图像中多个车道线在三维空间中的位置，包括：

根据该视差图进行路面拟合，得到该车道线所在路面的俯仰角；

根据该车道线所在路面的俯仰角和该视差图进行车道线拟合，得到该车道线的曲率；

响应于该曲率小于或等于曲率阈值，根据该图像中车道线的视差图和车道线宽度，获取该图像中多个车道线在三维空间中的位置。

在一些实施例中，该该方法还包括：

响应于该曲率大于曲率阈值，基于该曲率，对该车道线进行俯仰角补偿；

基于俯仰角补偿结果、该图像中车道线的视差图和该车道线宽度，获取该图像中多个车道线在三维空间中的位置。

在一些实施例中，该车道线宽度的确定过程包括下述任一项：

获取标准车道线宽度；

获取该图像中车辆前方目标范围内的路面，将该路面投影到三维空间中，得到该车道线宽度。

在一些实施例中，该对单目摄像机采集到的图像进行处理，得到该图像中车道线的位置，包括：

对单目摄像机采集到的图像进行分割，得到该图像的分割结果，该分割结果用于指示该图像中每个像素的类别，该类别至少包括车道线和背景；

对该图像的分割结果进行聚类，得到该图像中多个车道线的位置。

图4是本申请实施例提供的一种车道线检测方法的流程图，参见图4，该方法包括以下步骤。

401、电子设备基于单目摄像机采集图像。

该电子设备可以为车载终端，这样车载终端能够在车辆行驶过程中基于配置的单目摄像机采集图像，进而对采集的图像进行处理，以确定出车道线的位置。得到车道线的位置，即可基于车道线的位置结合路况，为车辆提供自动驾驶辅助，比如为车辆规划行驶路线，在车辆行驶过程中确定要执行的驾驶控制，该驾驶控制包括前行、后退、左转、右转、停车等等。

该步骤401为可选步骤，在另一些实施例中，该终端也可以为服务器，该服务器可以基于终端采集的图像进行后续处理，将处理结果发送至终端，以提供辅助自动驾驶功能。

例如，该单目摄像机安装于车载终端的前端，通过该单目摄像机对该车载终端前方的路况进行拍摄，从而得到包含有当前路面上车道线的图像。

402、电子设备对单目摄像机采集到的图像进行处理，得到该图像中多个车道线的位置。

电子设备获取到图像后，可以对图像进行处理，以确定出车道线的位置。

在一些实施例中，该车道线的位置确定过程为图像分割过程，也即是，从图像中的像素点中确定出哪些像素为车道线所在的像素点。

具体地，电子设备对单目摄像机采集到的图像进行分割，得到该图像的分割结果，该分割结果用于指示该图像中每个像素的类别，该类别至少包括车道线和背景。然后电子设备对该图像的分割结果进行聚类，得到该图像中多个车道线的位置。

在一些实施例中，该图像分割过程可以为二分类任务，也可以为多分类任务。如果为二分类任务，该类别包括车道线和背景。如果为多分类任务，该类别包括车道线的多个类型和背景。

其中，该车道线可以包括多种类型，比如：道路中心线、可变车道、白色车道线、公交线路专用车道线等等。在图像分割时，电子设备可以将车道线的具体类型均识别出来。

该图像分割过程具体可以为：电子设备对图像进行特征提取，得到图像特征，然后基于图像特征，确定图像中每个像素的类别。该像素的类别的数量可以为车道线的类型数量与1之和。也即是，该类别包括多种类型的车道线以及背景。

在一些实施例中，该图像分割过程可以由图像分割网络实现，该图像分割网络可以为二分类网络，也可以为多分类网络。该图像分割网络可以由样本图像和目标分割结果训练得到。该样本图像和目标分割结果可以由相关技术人员通过图像采集和标注得到，也可以从开源数据库中提取得到。

在一些实施例中，电子设备可以将图像的尺寸变换为目标尺寸后，将目标尺寸的图像输入图像分割网络中，由图像分割网络进行语义分割，得到该图像对应的概率图，该概率图中包括每个像素的类别为车道线的概率。如果概率大于概率阈值，则认为该像素的类别为车道线，反之则认为为背景。

在一个具体示例中，可以通过卷积神经网络，对图像进行车道线进行语义分割，得到语义分割结果。

具体地，电子设备可以对摄像机原始图像统一尺寸后，输入到车道线分割的卷积神经网络模型中进行车道线的语义分割，其中，不同类别的车道线分配不同的标签，网络输出车道线分割结果的概率图，概率图的维度对应输出的类别数(车道线类别数+背景)，对于车道线概率图，利用设定的阈值，即认为概率值大于阈值的车道点是真实存在的。

在图像分割后，针对每个像素的类别，能够大概获知车道线的大概位置。电子设备可以通过聚类，将同一类别的像素点聚集在一起，从而输出为各个车道线实例，这样得到了初步处理得到的每条车道线的位置。

在一些实施例中，该聚类过程也可以通过网络模型实现，具体地，可以通过车道线聚类的神经网络，基于车道线的语义分割结果，通过计算同一条车道线中点之间类内距离和不同车道线间点的类间距离，从而聚类得到实例输出。

需要说明的是，上述车道线的位置是指该车道线在图像中的位置，也即是为一个二维位置。后续电子设备还需要将其转化为三维位置，才能获知当前车辆和车道线的相对位置，以辅助车辆自动驾驶。

403、电子设备根据车道线平行假设、该单目摄像机的内参和该图像中多个车道线的位置，确定该图像中车道线的视差图。

电子设备在确定出车道线在图像中的位置之后，可以通过车道线平行假设和单目摄像机的内参，再将车道线的二维位置转化为三维位置。该过程可以理解为是三维建模过程，为二维车道线创建一个三维模型，该三维模型中车道线的三维位置。

在确定三维位置时，电子设备可以先确定车道线的视差图，这样有了车道线上每个像素的视差，以及图像中的位置，即可进行二维-三维的位置转换。

车道线平行假设，是指同方向的两个车道线是平行的，且两个车道线的宽度一般是相等的，也即是每行车道线等宽。

在某个角度对车道线进行拍摄时，同方向的车道线在图像中则并非平行的、且宽度不同。通过这一点，来对图像中不平行、宽度不一致的两条车道线上的点进行分析，则能够分析出观察该车道线的视差。

在一些实施例中，该单目摄像机的内参可以为该单目摄像机在水平方向上的焦距，具体地，上述视差图的确定过程可以为：电子设备根据车道线平行假设、该单目摄像机在水平方向上的焦距和该图像中多个车道线的位置，确定该图像中车道线的视差图。

在一些实施例中，在确定视差图时，考虑到摄像机的成像原理，电子设备还可以结合小孔成像原理确定车道线的视差图。

具体地，电子设备可以根据图像中纵坐标相同、两条车道线上的两个点在图像中的位置，以及该单目摄像机在水平方向上的焦距，来确定出该两个点在三维空间中的候选位置。

例如，如图5中(a)所示，三维坐标系的坐标轴分别为X_c、Y_c、Z_c。图像的二维坐标系的坐标轴分别为X、Y、Z。如图5中(c)所示，针对图像中纵坐标相同的方向相同的两条车道线上两个点p₁和p₂，该两个点在三维坐标系中对应的点为P₁和P₂。这几个点的坐标可以分别表示为P₁(X_c1，Y_c1，Z_c1)，P₂(X_c2，Y_c2，Z_c2)，p₁(x₁，y₁)，p₂(x₂，y₂)。对于图像中一个点，该像素点的位置有两种表示，其中一种为以图像的一个端点为原点的UV坐标系，另一个为该图像的XY坐标系。两个坐标系的坐标存在对应关系，该对应关系如图5中(b)所示，UV坐标系的原点为O₀，XY坐标系的原点为O₁，原点为O₁在UV坐标系中对应的坐标表示为(u₀,v₀)，而在XY坐标系中的坐标表示为(0，0)。

404、电子设备根据该图像中车道线的视差图，获取该图像中多个车道线在三维空间中的位置。

电子设备确定出车道线的视差图后，可以根据车道线的视差图中每个像素的视差值，以及该车道线在图像中的位置，来确定该车道线在三维空间中的位置。

在一些实施例中，电子设备可以根据该视差图进行路面拟合，得到该车道线所在路面的俯仰角，然后根据该车道线所在路面的俯仰角和该视差图进行车道线拟合，得到该车道线的曲率。电子设备可以根据车道线的曲率来确定车道线的三维位置。具体地，响应于该曲率小于或等于曲率阈值，根据该图像中车道线的视差图和车道线宽度，获取该图像中多个车道线在三维空间中的位置。

其中，路面的俯仰角能够确定出路面是否平坦。根据路面的平坦与否，结合视差，则能够对车道线进行拟合，从而能够确定出车道线的大概形状。在这时，电子设备针对车道线的形状进行分析，如果车道线是直线，那么电子设备可以直接基于上述视差图和车道线宽度，将车道线在图像中的位置转化为三维空间中的位置。

在此为车道线的曲率设置有曲率阈值，以此来判定车道线是直道还是弯道。该曲率阈值可以由相关技术人员根据需求进行设置，本申请实施例对此不作限定。

针对弯道，电子设备可以通过另一种车道线位置获取方式确定车道线的三维位置。具体地，响应于该曲率大于曲率阈值，基于该曲率，对该车道线进行俯仰角补偿；基于俯仰角补偿结果、该图像中车道线的视差图和该车道线宽度，获取该图像中多个车道线在三维空间中的位置。

通过俯仰角补偿，可以将弯道假设为直道来进行处理，从而确定出准确的车道线的三维位置。

对于车道线拟合，该拟合过程可以通过路面拟合算法来实现，比如RANSAC方法。

其中，车道线宽度可以通过多种方式来确定。

方式一、获取标准车道线宽度。

该标准车道线宽度可以为国家规定的车道线宽度，一般车道线的宽度均为标准宽度。

方式二、获取该图像中车辆前方目标范围内的路面，将该路面投影到三维空间中，得到该车道线宽度。

可以理解地，图像中车辆前方的路面比较平坦，这部分车道线的宽度比较准确，因而，电子设备可以获取近处平坦路面的车道线宽度。

对于该目标范围可以由相关技术人员根据需求设置，比如，该目标范围为30米范围内。相应地，可以选取车前30米范围内的路面通过平坦的路面假设投影到三维空间内，并结合车道线实例结果计算近处车道宽度。本申请实施例对此不作限定。

针对上述方法，提供一个具体示例，如图6和图7所示，上述方法可以通过三维车道线估计模型实现，该模型可以包括多个感知子图。具体地，该模型包括二维车道线检测模块、二维车道线聚类模块、基于单目摄像机内参构建车道线视差图模块、以及三维车道线位置估计模块。

其中，二维车道线检测模块主要是基于图像数据，设计一种车道线分割的卷积神经网络，利用该网络模型对车道线进行车道线的语义分割。

二维车道线聚类模块主要是基于车道线的语义分割结果，通过计算同一条车道线中点之间类内距离和不同车道线间点的类间距离，设计出一种车道线聚类的神经网络，并利用该网络模型对车道线的语义分割结果进行聚类得到实例输出。

基于单目摄像机内参构建车道线视差图模块：主要通过二维车道线实例结果和车道线平行假设理论，结合小孔成像原理和摄像机的内参，我们可以计算出车道线的视差图。

三维车道线位置估计模块：主要利用车道线的视差图计算路面pitch(俯仰角)和车道线曲率，若曲率大于大弯道曲率阈值，则说明远处车道线不满足车道等宽假设，可以基于平坦路面假设的基础上进行pitch补偿，获取三维车道线的位置；反之，需要先通过平坦路面假设计算近处车道宽度，再结合车道线视差图计算出三维车道线的位置。

上述所有可选技术方案，采用任意结合形成本申请的可选实施例，在此不再一一赘述。

图7是本申请实施例提供的一种车道线检测装置的结构示意图，参见图7，该装置包括：

处理模块801，用于对单目摄像机采集到的图像进行处理，得到该图像中多个车道线的位置；

确定模块802，用于根据车道线平行假设、该单目摄像机的内参和该图像中多个车道线的位置，确定该图像中车道线的视差图；

获取模块803，用于根据该图像中车道线的视差图，获取该图像中多个车道线在三维空间中的位置。

在一些实施例中，该确定模块802用于：

在一些实施例中，该获取模块803用于：

在一些实施例中，该装置还包括：

补偿模块，用于响应于该曲率大于曲率阈值，基于该曲率，对该车道线进行俯仰角补偿；

该获取模块803还用于基于俯仰角补偿结果、该图像中车道线的视差图和该车道线宽度，获取该图像中多个车道线在三维空间中的位置。

获取标准车道线宽度；

在一些实施例中，该处理模块801用于：

需要说明的是：上述实施例提供的车道线检测装置在车道线检测时，仅以上述各功能模块的划分进行举例说明，实际应用中，根据需要而将上述功能分配由不同的功能模块完成，即将车道线检测装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的车道线检测装置与车道线检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图9是本申请实施例提供的一种电子设备的结构示意图，该电子设备900可因配置或性能不同而产生比较大的差异，包括一个或一个以上处理器(Central ProcessingUnits，CPU)901和一个或一个以上的存储器902，其中，该存储器902中存储有至少一条计算机程序，该至少一条计算机程序由该处理器901加载并执行以实现上述各个方法实施例提供的车道线检测方法。该电子设备还包括其他用于实现设备功能的部件，例如，该电子设备还具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出。本申请实施例在此不做赘述。

上述方法实施例中的电子设备实现为终端。例如，图10是本申请实施例提供的一种终端的结构框图。该终端1000可以是便携式移动终端，比如：智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1000包括有：处理器1001和存储器1002。

处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的车道线检测方法。

在一些实施例中，终端1000还可选包括有：外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地，外围设备包括：射频电路1004、显示屏1005、摄像头组件1006、音频电路1007、定位组件1008和电源1009中的至少一种。

外围设备接口1003可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1004用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1004包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1004还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1005用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时，显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时，显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1005可以为一个，设置在终端1000的前面板；在另一些实施例中，显示屏1005可以为至少两个，分别设置在终端1000的不同表面或呈折叠设计；在另一些实施例中，显示屏1005可以是柔性显示屏，设置在终端1000的弯曲表面上或折叠面上。甚至，显示屏1005还可以设置成非矩形的不规则图形，也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。

摄像头组件1006用于采集图像或视频。可选地，摄像头组件1006包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1001进行处理，或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1007还可以包括耳机插孔。

定位组件1008用于定位终端1000的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1008可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于：加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。

加速度传感器1011可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号，控制显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1012可以检测终端1000的机体方向及转动角度，陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1013可以设置在终端1000的侧边框和/或显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时，可以检测用户对终端1000的握持信号，由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在显示屏1005的下层时，由处理器1001根据用户对显示屏1005的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1014用于采集用户的指纹，由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份，或者，由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1001授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置在终端1000的正面、背面或侧面。当终端1000上设置有物理按键或厂商Logo时，指纹传感器1014可以与物理按键或厂商Logo集成在一起。

光学传感器1015用于采集环境光强度。在一个实施例中，处理器1001可以根据光学传感器1015采集的环境光强度，控制显示屏1005的显示亮度。具体地，当环境光强度较高时，调高显示屏1005的显示亮度；当环境光强度较低时，调低显示屏1005的显示亮度。在另一个实施例中，处理器1001还可以根据光学传感器1015采集的环境光强度，动态调整摄像头组件1006的拍摄参数。

接近传感器1016，也称距离传感器，通常设置在终端1000的前面板。接近传感器1016用于采集用户与终端1000的正面之间的距离。在一个实施例中，当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时，由处理器1001控制显示屏1005从亮屏状态切换为息屏状态；当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时，由处理器1001控制显示屏1005从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图10中示出的结构并不构成对终端1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

上述方法实施例中的电子设备实现为服务器。例如，图11是本申请实施例提供的一种服务器的结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，包括一个或一个以上处理器(Central Processing Units，CPU)1101和一个或一个以上的存储器1102，其中，该存储器1102中存储有至少一条计算机程序，该至少一条计算机程序由该处理器1101加载并执行以实现上述各个方法实施例提供的车道线检测方法。当然，该服务器还具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出，该服务器还包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条计算机程序的存储器，上述至少一条计算机程序由可由处理器执行以完成上述实施例中的车道线检测方法。例如，计算机可读存储介质是只读存储器(Read-Only Memory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、只读光盘(Compact Disc Read-OnlyMemory，简称：CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或该计算机程序包括一条或多条程序代码，该一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器从计算机可读存储介质中读取该一条或多条程序代码，该一个或多个处理器执行该一条或多条程序代码，使得电子设备执行上述车道线检测方法。

在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。

本领域普通技术人员理解实现上述实施例的全部或部分步骤通过硬件来完成，也通过程序来指令相关的硬件完成，该程序存储于一种计算机可读存储介质中，上述提到的存储介质是只读存储器，磁盘或光盘等。

以上描述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种车道线检测方法，其特征在于，所述方法包括：

根据所述视差图进行路面拟合，得到所述车道线所在路面的俯仰角，所述路面的俯仰角用于确定出路面是否平坦；根据所述车道线所在路面的俯仰角和所述视差图进行车道线拟合，得到所述车道线的曲率；响应于所述曲率小于或等于曲率阈值，确定所述车道线为直道，根据所述图像中车道线的视差图和车道线宽度，获取所述图像中多个车道线在三维空间中的位置；

响应于所述曲率大于曲率阈值，确定所述车道线为弯道，基于所述曲率，对所述车道线进行俯仰角补偿；

2.根据权利要求1所述的方法，其特征在于，所述根据车道线平行假设、所述单目摄像机的内参和所述图像中多个车道线的位置，确定所述图像中车道线的视差图，包括：

3.根据权利要求1所述的方法，其特征在于，所述车道线宽度的确定过程包括下述任一项：

获取标准车道线宽度；

4.根据权利要求1所述的方法，其特征在于，所述对单目摄像机采集到的图像进行处理，得到所述图像中车道线的位置，包括：

5.一种车道线检测装置，其特征在于，所述装置包括：

获取模块，用于根据所述视差图进行路面拟合，得到所述车道线所在路面的俯仰角，所述路面的俯仰角用于确定出路面是否平坦；根据所述车道线所在路面的俯仰角和所述视差图进行车道线拟合，得到所述车道线的曲率；响应于所述曲率小于或等于曲率阈值，确定所述车道线为直线，根据所述图像中车道线的视差图和车道线宽度，获取所述图像中多个车道线在三维空间中的位置；

所述装置还包括补偿模块，用于响应于所述曲率大于曲率阈值，确定所述车道线为弯道，基于所述曲率，对所述车道线进行俯仰角补偿；

所述获取模块，还用于基于俯仰角补偿结果、所述图像中车道线的视差图和所述车道线宽度，获取所述图像中多个车道线在三维空间中的位置。

6.根据权利要求5所述的装置，其特征在于，所述确定模块用于：

7.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求4任一项所述的车道线检测方法。

8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求4任一项所述的车道线检测方法。