CN112434591A - 车道线确定方法、装置 - Google Patents

Abstract

本申请的实施例提供了一种车道线确定方法、装置。该方法包括：获取包含有车道线的目标图像；通过深度学习模型对所述目标图像进行特征提取，得到至少一个车道线特征向量；根据每一个车道线特征向量，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置；根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置。本申请实施例的技术方案能够降低在车道线识别过程中的计算量。

Description

车道线确定方法、装置

技术领域

本申请涉及计算机及智能驾驶技术领域，具体而言，涉及一种车道线确定方法、装置。

背景技术

在车道线识别的交通场景中，比如在智能驾驶中的车道线识别场景，通常是通过判断输入图片中的每一个像素是否是车道线像素来识别出每一个属于车道线的像素，然后再对这些像素点进行拟合，以识别出车道线。然而，这种方案需要经过编码以及解码两个步骤，计算量较大。基于此，如何能够降低车道线在识别过程中的计算量是亟待解决的技术问题。

发明内容

本申请的实施例提供了一种车道线确定方法、装置、计算机程序产品或计算机程序、计算机可读介质及电子设备，进而至少在一定程度上可以降低车道线在确定过程中的计算量。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种车道线确定方法，包括：获取包含有车道线的目标图像；通过深度学习模型对所述目标图像进行特征提取，得到至少一个车道线特征向量；根据每一个车道线特征向量，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置；根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置。

根据本申请实施例的一个方面，提供了一种车道线确定装置，包括：第一获取单元，被用于获取包含有车道线的目标图像；提取单元，被用于通过深度学习模型对所述目标图像进行特征提取，得到至少一个车道线特征向量；第一确定单元，被用于根据每一个车道线特征向量，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置；拟合单元，被用于根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置。

在本申请的一些实施例中，基于前述方案，所述车道线特征向量包括：车道线置信度、至少两个车道线参考点坐标、以及与所述至少两个车道线参考点坐标一一对应的车道线参考点置信度；其中，所述车道线置信度用于表征所述目标图像中存在车道线的概率，所述车道线参考点置信度用于表征所述车道线上存在所述车道线参考点的概率，所述车道线参考点坐标用于表征所述车道线参考点在所述目标图像中的位置。

在本申请的一些实施例中，基于前述方案，所述第一确定单元配置为：在所述车道线特征向量中的车道线置信度大于或等于第一预定阈值时，将所述车道线参考点置信度大于或等于第二预定阈值的车道线参考点确定为目标车道线参考点；基于所述目标车道线参考点的车道线参考点坐标，确定所述目标车道线参考点在所述目标图像上的位置。

在本申请的一些实施例中，基于前述方案，所述第一确定单元配置为：在所述车道线特征向量中的车道线置信度小于第一预定阈值时，确定所述车道线置信度对应的车道线为无效车道线；在所述车道线特征向量中的车道线置信度大于或等于第一预定阈值，且车道线参考点置信度小于第二预定阈值时，确定所述车道线参考点置信度对应的车道线参考点为无效车道线参考点。

在本申请的一些实施例中，基于前述方案，所述装置还包括：训练单元，被用于获取原始训练图像；根据所述原始训练图像中的车道线分布，在所述原始训练图像中标注车道线信息，其中，所述车道线信息包括车道线置信度、至少两个车道线参考点坐标、以及与所述至少两个车道线参考点坐标一一对应的车道线参考点置信度；通过所述原始训练图像对初始深度学习模型进行训练，得到所述深度学习模型。

在本申请的一些实施例中，基于前述方案，所述训练单元配置为：对标注有车道线信息的原始训练图像进行数据增强，得到衍生训练图像，所述衍生训练图像中标注有车道线信息；通过所述原始训练图像和所述衍生训练图像对初始深度学习模型进行训练，得到所述深度学习模型。

在本申请的一些实施例中，基于前述方案，所述提取单元配置为：确定所述目标图像中各个像素点在三个图像通道上的通道值；针对每一个图像通道，对所述目标图像中各个像素点在所述图像通道上的通道值进行归一化处理，得到预处理的目标图像；通过深度学习模型对所述预处理的目标图像进行至少两个连续的卷积操作，以及全局平均池化操作，以对所述目标图像进行特征提取。

在本申请的一些实施例中，基于前述方案，所述装置还包括：第二获取单元，被用于在根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置之后，获取所述目标图像在被摄像机拍摄时的相机内参数和相机外参数；投影单元，被用于基于所述相机内参数和所述相机外参数，将所述目标图像投影为三维图像；第二确定单元，被用于根据所述车道线在所述目标图像上的位置，在所述三维图像中确定目标车道。

在本申请的一些实施例中，基于前述方案，所述装置还包括：第三获取单元，被用于在根据所述车道线在所述目标图像上的位置，在所述三维图像中确定目标车道之后，获取车辆在所述目标车道上的驾驶决策；渲染单元，被用于在所述三维图像中渲染与所述驾驶决策相对应的交通引导标识。

根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如上述实施例中所述的车道线确定方法。

根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的车道线确定方法。

根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的车道线确定方法。

在本申请的一些实施例所提供的技术方案中，通过对包含有车道线的目标图像进行特征提取，得到至少一个车道线特征向量，然后根据每一个车道线特征向量，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置，并进一步拟合车道线在所述目标图像上的位置，由于通过在目标图像中提取的车道线特征向量确定车道线在所述目标图像上的位置，因此可以降低车道线在检测过程中的计算量，进而在车道线检测时能够稳定实时地运行在计算性能差的车载设备上，增强方案的适用性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了根据本申请实施例的技术方案的实施环境图；

图2示出了根据本申请的一个实施例的车道线确定方法的应用场景图；

图3示出了根据本申请的一个实施例的车道线确定方法的流程图；

图4示出了根据本申请的一个实施例的确定车道线位置的可视化图；

图5示出了根据本申请的一个实施例的确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置的细节流程图；

图6示出了根据本申请的一个实施例的确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置的细节流程图；

图7示出了根据本申请的一个实施例的训练深度学习模型的方法流程图；

图8示出了根据本申请的一个实施例的训练深度学习模型的演示图

图9示出了根据本申请的一个实施例的通过所述原始训练图像对初始深度学习模型进行训练的细节流程图；

图10示出了根据本申请的一个实施例的通过深度学习模型对所述目标图像进行特征提取的细节流程图；

图11示出了根据本申请的一个实施例的深度学习模型对预处理目标图像进行特征提取的过程模拟图；

图12示出了根据本申请的一个实施例的在拟合车道线在所述目标图像上的位置之后的方法流程图；

图13示出了根据本申请的一个实施例的在三维图像中确定目标车道的可视化图；

图14示出了根据本申请的一个实施例的在所述三维图像中确定目标车道之后的方法流程图；

图15示出了根据本申请的一个实施例的在三维图像中渲染交通引导标识的可视化图；

图16示出了根据本申请的一个实施例的车道线确定方法的整体流程图；

图17示出了根据本申请的一个实施例的车道线确定装置的框图；

图18示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了根据本申请实施例的技术方案的实施环境图。

如图1所示，本申请实施例的技术方案的实施环境可以包括终端设备。例如，包括如图1中所示智能手机101、平板电脑102、触摸显示器103和便携式计算机104中的任意一种，当然也可以是其它具有触摸显示功能的电子设备等等。

在本申请的一个实施例中，用户可以利用具有触摸显示功能的智能手机实施本申请实施例的技术方案，例如图1中所示的智能手机101。具体的，所述智能手机可以获取包含有车道线的目标图像，并通过深度学习模型对所述目标图像进行特征提取，得到至少一个车道线特征向量，然后根据每一个车道线特征向量，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置，最后根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置。

为了让本领域技术人员更直观的理解本申请，这里将以一个具体的示例加以说明。

在一个实施例的具体示例中，可以参照图2的所示出应用场景应用本申请的技术方案，图2示出了根据本申请的一个实施例的车道线确定方法的应用场景图。

如图2，车辆201行驶在道路200中，其中，道路200包括A、B、C、D、E、F六条车道线，在一些场景中，例如在智能驾驶的场景中，车辆201需要对车道线进行识别。具体的，可以由车辆201上的车载设备(例如车载电脑)获取包含有车道线的目标图像，其中，包含有车道线的目标图像可以由设置在车辆上的摄像机进行拍摄之后，车载设备通过深度学习模型对所述目标图像进行特征提取，得到至少一个车道线特征向量，然后根据每一个车道线特征向量，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置，最后根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置。

需要说明的是，本申请实施例所提供的车道线确定方法一般由设置在车辆上的车载设备执行，相应地，车道线确定装置一般设置于车载设备中。但是，在本申请的其它实施例中，通过网络与车载设备相连接的服务器也可以与车载设备具有相似的功能，从而执行本申请实施例所提供的车道线确定方案。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图3示出了根据本申请的一个实施例的车道线确定方法的流程图，该车道线确定方法可以由具有计算处理功能的设备来执行，比如可以由图1中所示的智能手机101来执行。参照图3所示，该车道线确定方法至少包括步骤310至步骤370，详细介绍如下：

在步骤310中，获取包含有车道线的目标图像。

在本申请中，包含有车道线的目标图像可以由设置在车辆上的车载摄像机拍摄得到。

在步骤330中，通过深度学习模型对所述目标图像进行特征提取，得到至少一个车道线特征向量。

在本申请的一个实施例中，所述车道线特征向量包括：车道线置信度、至少两个车道线参考点坐标、以及与所述至少两个车道线参考点坐标一一对应的车道线参考点置信度。

其中，所述车道线置信度用于表征所述目标图像中存在车道线的概率，所述车道线参考点置信度用于表征所述车道线上存在所述车道线参考点的概率，所述车道线参考点坐标用于表征所述车道线参考点在所述目标图像中的位置。

为了使本领域技术人员更好的理解车道线特征向量，下面将参照图4对车道线特征向量作进一步阐述：

如图4，示出了根据本申请的一个实施例的确定车道线位置的可视化图。

在本申请中，通过对包含有车道线的目标图像进行特征提取，可以得到至少一个车道线特征向量，其中，车道线特征向量为车道线在所述目标图像中位置的一种数学表达，一个车道线特征向量可以用于描述一条车道线在目标图像中的位置。

具体的，在一个示例中，如图4所示，道路400中包括与A、B、C、D、E、F共六条车道线，图像402为目标图像，其可以通过设置在车辆401上的摄像机拍摄得到。

在对目标图像402进行特征提取之后，可以得到六个车道线特征向量，分别为[aA1 A2 A3 a1 a2 a3]、[b B1 B2 B3 b1 b2 b3]、[c C1 C2 C3 c1 c2 c3]、[d D1 D2 D3 d1d2 d3]、[e E1 E2 E3 e1 e2 e3]、[f F1 F2 F3 f1 f2 f3]。其中，每一个车道线特征向量用于描述一条车道线在目标图像中的位置，例如车道线特征向量[a A1 A2 A3 a1 a2 a3]用于描述车道线A在目标图像中的位置，车道线特征向量[b B1 B2 B3 b1 b2 b3]用于描述车道线B在目标图像中的位置。

进一步的，a、b、c、d、e、f可以分别是车道线A、B、C、D、E、F的车道线置信度。“a1、a2、a3”，“b1、b2、b3”，“c1、c2、c3”，“d1、d2、d3”，“e1、e2、e3”，“f1、f2、f3”可以分别是车道线A、B、C、D、E、F上的三个车道线参考点的坐标(横向坐标)。“A1、A2、A3”，“B1、B2、B3”，“C1、C2、C3”，“D1、D2、D3”，“E1、E2、E3”，“F1、F2、F3”可以分别是与车道线A、B、C、D、E、F上的三个车道线参考点一一对应的车道线参考点置信度。

例如，a是车道线A的车道线置信度，可以用来表示目标图像中存在车道线A的概率，a1是车道线A上一个车道线参考点的坐标(横向坐标)，可以用来表示该车道线参考点在所述目标图像中的(横向)位置，A1该车道线参考点的车道线参考点置信度，可以用来表示车道线A上存在该车道线参考点的概率。

在本申请中，车道线参考点的坐标可以为一个0-1的值，其中，“0”和“1”分别代表目标图像横向两个边缘的坐标。

需要说明的是，在上述示例中，若输出的a1是一个0-1的值，比如a＝0.35，那a1对应的横向坐标也可以为1280*0.35＝448，在这里“1280”为目标图像的宽度。还需要说明是，车道线特征向量的形式不限于如上示例中所述的一维向量，在其它示例中，也可以是多维向量，例如，车道线A的车道线特征向量也可以通过如下表示：

其中，a是车道线A的车道线置信度，“a1、a2、a3”是车道线A上的三个车道线参考点的坐标，“A1、A2、A3”是与车道线A上的三个车道线参考点一一对应的车道线参考点置信度。

还需要说明的是，车道线特征向量中的车道线参考点坐标并不限于上述示例中的三个，在其它示例中，也可以是两个，四个，或者更多数量的车道线参考点坐标，例如，车道线A的车道线特征向量也可以是：[a A1 A2 A3 A4 A5 a1 a2 a3 a4 a5]，其中，a是车道线A的车道线置信度，“a1、a2、a3、a4、a5”是车道线A上的五个车道线参考点的坐标，“A1、A2、A3、A4、A5”是与车道线A上的五个车道线参考点一一对应的车道线参考点置信度。在本申请的一个实施例中，所述深度学习模型可以按照如图7所示的步骤进行训练。

参照图7，示出了根据本申请的一个实施例的训练深度学习模型的方法流程图。具体包括步骤341至343：

步骤341，获取原始训练图像。

步骤342，根据所述原始训练图像中的车道线分布，在所述原始训练图像中标注车道线信息，其中，所述车道线信息包括车道线置信度、至少两个车道线参考点坐标、以及与所述至少两个车道线参考点坐标一一对应的车道线参考点置信度。

步骤343，通过所述原始训练图像对初始深度学习模型进行训练，得到所述深度学习模型。

为了使本领域技术人员更好的理解深度学习模型的训练过程，下面将参照图8进行说明：

如图8，示出了根据本申请的一个实施例的训练深度学习模型的演示图。

具体的，可以通过将标注有车道线置信度、车道线参考点置信度、以及车道线参考点坐标的原始训练图像输入初始深度学习模型，其中，车道线置信度和车道线参考点置信度可以通过二值交叉熵损失进行训练，而车道线参考点坐标则可以通过均方差损失进行训练。

其中，对于二值交叉熵损失，在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别预测得到的概率为p和1-p其表达式为：

其中，y_i表示样本i的标记，正类为1，负类为0；p_i表示样本i预测为正的概率。

此外，对于均方差损失，定义如下：

其中，y_i表示一批数据中第i个数据的正确答案，y_i’表示神经网络给出的第i个数据的预测值，MSE表示求一批数据的平均误差的函数。

在本实施例中，通过所述原始训练图像对初始深度学习模型进行训练可以按照如图9所示的步骤执行。

参照图9，示出了根据本申请的一个实施例的通过所述原始训练图像对初始深度学习模型进行训练的细节流程图。具体包括步骤3431至3432：

步骤3431，对标注有车道线信息的原始训练图像进行数据增强，得到衍生训练图像，所述衍生训练图像中标注有车道线信息。

步骤3432，通过所述原始训练图像和所述衍生训练图像对初始深度学习模型进行训练，得到所述深度学习模型。

在本申请中，数据增强能够通过让有限的数据产生更多的等价数据来人工扩展训练数据集，其能克服训练数据不足的技术问题，使得具有更好的训练效果。

在本申请中，数据增强可以有多种方式，例如几何变换、颜色变换、缩放变换、随机擦除、翻转变换、移动和裁剪等等。

在本申请的一个实施例中，通过深度学习模型对所述目标图像进行特征提取可以按照如图10所示的步骤执行。

参照图10，示出了根据本申请的一个实施例的通过深度学习模型对所述目标图像进行特征提取的细节流程图。具体包括步骤331至333：

步骤331，确定所述目标图像中各个像素点在三个图像通道上的通道值。

步骤332，针对每一个图像通道，对所述目标图像中各个像素点在所述图像通道上的通道值进行归一化处理，得到预处理的目标图像。

步骤333，通过深度学习模型对所述预处理的目标图像进行至少两个连续的卷积操作，以及全局平均池化操作，以对所述目标图像进行特征提取。

具体的，请参照图11，示出了根据本申请的一个实施例的深度学习模型对预处理目标图像进行特征提取的过程模拟图。

如图11所示，首先将经过归一化的图像数据经过至少两个连续的卷积操作，得到中间特征层数据，其中下采样倍数为16，然后对中间特征层数据进行全局平均池化，得到一维的车道线特征向量。

在后续处理过程中，可以对特征向量进行解析得到目标图像中的车道线参考点的坐标。

在本申请中，对目标图像中各个像素点在所述图像通道上的通道值进行归一化处理，可以让对目标图像进行特征提取的模型能更快地收敛，降低车道线在检测过程中的计算复杂度，提高运算速度，降低对计算资源的消耗，进而在车道线检测时能够稳定实时地运行在计算性能差的车载设备上。

继续参见图3，在步骤350中，根据每一个车道线特征向量，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置。

在本申请中，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置，可以按照如图5所示的步骤执行。

参见图5，示出了根据本申请的一个实施例的确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置的细节流程图。具体包括步骤351至352：

步骤351，在所述车道线特征向量中的车道线置信度大于或等于第一预定阈值时，将所述车道线参考点置信度大于或等于第二预定阈值的车道线参考点确定为目标车道线参考点。

请参照上述图4中示例，在车道线特征向量中的车道线置信度大于或等于第一预定阈值时，则说明在目标图像402中存在该车道线置信度对应的车道线，例如目标图像402中的车道线A、B、C、D、E。在车道线参考点置信度大于或等于第二预定阈值时，则说明在目标图像402中存在车道线参考点置信度对应的车道线参考点，例如目标图像402中的车道线参考点a1、a2、b1、b2、b3、c1、c2、c3、d1、d2、d3、e1、e2。

步骤352，基于所述目标车道线参考点的车道线参考点坐标，确定所述目标车道线参考点在所述目标图像上的位置。

在本申请中，在通过特征提取得到的车道线特征向量中，车道线参考点的坐标可以是指车道线参考点的横向坐标，若指车道线参考点的横向坐标为一个0-1的值，则车道线参考点在目标图像中的实际横向坐标可以为：

a×图像宽度

在一个车道线特征向量中，包括有至少两个车道线参考点，例如可以包括三个车道线参考点，也可以包括四个车道线参考点。

需要注意的是，各个车道线特征向量中包括的车道线参考点数量一致，且在每一个车道线特征向量中的某一个车道线参考点同在目标图像中的一条横向等分线上，例如图4，“a1、b1、c1、d1、e1、f1”在等分线“L1”上，“a2、b2、c2、d2、e2、f2”在等分线“L2”上，“a3、b3、c3、d3、e3、f3”在等分线“L3”上。

在本申请中，车道线参考点在目标图像中的实际纵向坐标则可以根据车道线特征向量中包括的车道线参考点数量来确定，具体的，例如，车道线参考点数量为6，图像高度为420，那么车道线参考点固定纵坐标坐标可以分别为60，120，180，240，300，360。

基于上述过程，则可以根据目标车道线参考点的车道线参考点坐标，确定目标车道线参考点在所述目标图像上的位置，例如，上述示例中a1点对应的图像上的位置坐标为(60，448)。

在本申请中，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置，还可以按照如图6所示的步骤执行。

参见图6，示出了根据本申请的一个实施例的确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置的细节流程图。具体包括步骤353至354：

步骤353，在所述车道线特征向量中的车道线置信度小于第一预定阈值时，确定所述车道线置信度对应的车道线为无效车道线。

请参照上述图4中示例，在所述车道线特征向量中的车道线置信度小于第一预定阈值时，则说明在目标图像402中该车道线置信度对应的车道线为无效车道线，例如目标图像402中的车道线F。

步骤354，在所述车道线特征向量中的车道线置信度大于或等于第一预定阈值，且车道线参考点置信度小于第二预定阈值时，确定所述车道线参考点置信度对应的车道线参考点为无效车道线参考点。

在所述车道线特征向量中的车道线置信度大于或等于第一预定阈值，且车道线参考点置信度小于第二预定阈值时，则说明在目标图像402中存在车道线但车道线参考点置信度对应的车道线参考点为无效车道线参考点，例如目标图像402中的车道线参考点a3和e3。

继续参见图3，在步骤370中，根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置。

在本申请中，提出的车道线确定方案可以用于AR导航。

具体的，在本申请的一个实施例中，在根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置之后，还可以执行如图12所示的步骤。

参见图12，示出了根据本申请的一个实施例的在拟合车道线在所述目标图像上的位置之后的方法流程图。具体包括步骤381至383：

步骤381，获取所述目标图像在被摄像机拍摄时的相机内参数和相机外参数。

在本申请中，相机内参数是与相机自身特性相关的参数，比如相机的焦距、像素大小等；相机外参数是在世界坐标系中的参数，比如相机的位置、旋转方向等。

步骤382，基于所述相机内参数和所述相机外参数，将所述目标图像投影为三维图像。

步骤383，根据所述车道线在所述目标图像上的位置，在所述三维图像中确定目标车道。

如图13，示出了根据本申请的一个实施例的在三维图像中确定目标车道的可视化图。

在本实施例中，在根据所述车道线在所述目标图像上的位置，在所述三维图像中确定目标车道之后，还可以执行如图14所示的步骤。

参见图14，示出了根据本申请的一个实施例的在所述三维图像中确定目标车道之后的方法流程图。具体包括步骤391至392：

步骤391，获取车辆在所述目标车道上的驾驶决策。

步骤392，在所述三维图像中渲染与所述驾驶决策相对应的交通引导标识。

如图15，示出了根据本申请的一个实施例的在三维图像中渲染交通引导标识的可视化图，可见，在图15中，根据驾驶决策给出了向右变道的交通引导标识。

为了使本领域技术人员更好的理解本申请，下面将结合图16对本申请的整体流程进行阐述。

参见图16，示出了根据本申请的一个实施例的车道线确定方法的整体流程图。

在深度学习模型的训练阶段，包括步骤1601至1605：

步骤1601，采集训练图像数据。

步骤1602，在训练图像中进行数据标注。

步骤1603，对训练图像数据进行数据增强处理。

步骤1604，对初始深度学习模型进行训练。

步骤1605，得到深度学习模型。

在深度学习模型的应用阶段，包括步骤1610至1650：

步骤1610，输入目标图像。

步骤1620，对目标图像进行预处理。

步骤1630，通过训练好的深度学习模型对目标图像进行特征提取。

步骤1640，对车道线特征向量进行处理。

步骤1650，确定车道线位置。

在本申请的一些实施例所提供的技术方案中，通过对包含有车道线的目标图像进行特征提取，得到至少一个车道线特征向量，然后根据每一个车道线特征向量，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置，并进一步拟合车道线在所述目标图像上的位置，由于通过在目标图像中提取的车道线特征向量确定车道线在所述目标图像上的位置，因此可以降低车道线在检测过程中的计算量，进而在车道线检测时能够稳定实时地运行在计算性能差的车载设备上，增强方案的适用性。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的车道线确定方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的车道线确定方法的实施例。

图17示出了根据本申请的一个实施例的车道线确定装置的框图。

参照图17所示，根据本申请的一个实施例的车道线确定装置1700，包括：第一获取单元1701、提取单元1702、第一确定单元1703和拟合单元1704。

其中，第一获取单元1701，被用于获取包含有车道线的目标图像；提取单元1702，被用于通过深度学习模型对所述目标图像进行特征提取，得到至少一个车道线特征向量；第一确定单元1703，被用于根据每一个车道线特征向量，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置；拟合单元1704，被用于根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置。

在本申请的一些实施例中，基于前述方案，所述车道线特征向量包括：车道线置信度、至少两个车道线参考点坐标、以及与所述至少两个车道线参考点坐标一一对应的车道线参考点置信度；其中，所述车道线置信度用于表征所述目标图像中存在车道线的概率，所述车道线参考点置信度用于表征所述车道线上存在所述车道线参考点的概率，所述车道线参考点坐标用于表征所述车道线参考点在所述目标图像中的位置。

在本申请的一些实施例中，基于前述方案，所述第一确定单元1703配置为：在所述车道线特征向量中的车道线置信度大于或等于第一预定阈值时，将所述车道线参考点置信度大于或等于第二预定阈值的车道线参考点确定为目标车道线参考点；基于所述目标车道线参考点的车道线参考点坐标，确定所述目标车道线参考点在所述目标图像上的位置。

在本申请的一些实施例中，基于前述方案，所述第一确定单元1703配置为：在所述车道线特征向量中的车道线置信度小于第一预定阈值时，确定所述车道线置信度对应的车道线为无效车道线；在所述车道线特征向量中的车道线置信度大于或等于第一预定阈值，且车道线参考点置信度小于第二预定阈值时，确定所述车道线参考点置信度对应的车道线参考点为无效车道线参考点。

在本申请的一些实施例中，基于前述方案，所述装置还包括：训练单元，被用于获取原始训练图像；根据所述原始训练图像中的车道线分布，在所述原始训练图像中标注车道线信息，其中，所述车道线信息包括车道线置信度、至少两个车道线参考点坐标、以及与所述至少两个车道线参考点坐标一一对应的车道线参考点置信度；通过所述原始训练图像对初始深度学习模型进行训练，得到所述深度学习模型。

在本申请的一些实施例中，基于前述方案，所述训练单元配置为：对标注有车道线信息的原始训练图像进行数据增强，得到衍生训练图像，所述衍生训练图像中标注有车道线信息；通过所述原始训练图像和所述衍生训练图像对初始深度学习模型进行训练，得到所述深度学习模型。

在本申请的一些实施例中，基于前述方案，所述提取单元1702配置为：确定所述目标图像中各个像素点在三个图像通道上的通道值；针对每一个图像通道，对所述目标图像中各个像素点在所述图像通道上的通道值进行归一化处理，得到预处理的目标图像；通过深度学习模型对所述预处理的目标图像进行至少两个连续的卷积操作，以及全局平均池化操作，以对所述目标图像进行特征提取。

在本申请的一些实施例中，基于前述方案，所述装置还包括：第二获取单元，被用于在根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置之后，获取所述目标图像在被摄像机拍摄时的相机内参数和相机外参数；投影单元，被用于基于所述相机内参数和所述相机外参数，将所述目标图像投影为三维图像；第二确定单元，被用于根据所述车道线在所述目标图像上的位置，在所述三维图像中确定目标车道。

在本申请的一些实施例中，基于前述方案，所述装置还包括：第三获取单元，被用于在根据所述车道线在所述目标图像上的位置，在所述三维图像中确定目标车道之后，获取车辆在所述目标车道上的驾驶决策；渲染单元，被用于在所述三维图像中渲染与所述驾驶决策相对应的交通引导标识。

图18示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图18示出的电子设备的计算机系统1800仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图18所示，计算机系统1800包括中央处理单元(Central Processing Unit，CPU)1801，其可以根据存储在只读存储器(Read-Only Memory，ROM)1802中的程序或者从储存部分1808加载到随机访问存储器(Random Access Memory，RAM)1803中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1803中，还存储有系统操作所需的各种程序和数据。CPU 1801、ROM 1802以及RAM 1803通过总线1804彼此相连。输入/输出(Input/Output，I/O)接口1805也连接至总线1804。

以下部件连接至I/O接口1805：包括键盘、鼠标等的输入部分1806；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1807；包括硬盘等的储存部分1808；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1809。通信部分1809经由诸如因特网的网络执行通信处理。驱动器1810也根据需要连接至I/O接口1805。可拆卸介质1811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1810上，以便于从其上读出的计算机程序根据需要被安装入储存部分1808。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1809从网络上被下载和安装，和/或从可拆卸介质1811被安装。在该计算机程序被中央处理单元(CPU)1801执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的方法。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种车道线确定方法，其特征在于，所述方法包括：

获取包含有车道线的目标图像；

通过深度学习模型对所述目标图像进行特征提取，得到至少一个车道线特征向量；

根据每一个车道线特征向量，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置；

根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置。

2.根据权利要求1所述的方法，其特征在于，所述车道线特征向量包括：车道线置信度、至少两个车道线参考点坐标、以及与所述至少两个车道线参考点坐标一一对应的车道线参考点置信度；

其中，所述车道线置信度用于表征所述目标图像中存在车道线的概率，所述车道线参考点置信度用于表征所述车道线上存在所述车道线参考点的概率，所述车道线参考点坐标用于表征所述车道线参考点在所述目标图像中的位置。

3.根据权利要求2所述的方法，其特征在于，所述根据每一个车道线特征向量，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置，包括：

在所述车道线特征向量中的车道线置信度大于或等于第一预定阈值时，将所述车道线参考点置信度大于或等于第二预定阈值的车道线参考点确定为目标车道线参考点；

基于所述目标车道线参考点的车道线参考点坐标，确定所述目标车道线参考点在所述目标图像上的位置。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在所述车道线特征向量中的车道线置信度小于第一预定阈值时，确定所述车道线置信度对应的车道线为无效车道线；

在所述车道线特征向量中的车道线置信度大于或等于第一预定阈值，且车道线参考点置信度小于第二预定阈值时，确定所述车道线参考点置信度对应的车道线参考点为无效车道线参考点。

5.根据权利要求1所述的方法，其特征在于，所述深度学习模型通过如下步骤训练得到：

获取原始训练图像；

根据所述原始训练图像中的车道线分布，在所述原始训练图像中标注车道线信息，其中，所述车道线信息包括车道线置信度、至少两个车道线参考点坐标、以及与所述至少两个车道线参考点坐标一一对应的车道线参考点置信度；

通过所述原始训练图像对初始深度学习模型进行训练，得到所述深度学习模型。

6.根据权利要求5所述的方法，其特征在于，通过所述原始训练图像对初始深度学习模型进行训练，包括：

对标注有车道线信息的原始训练图像进行数据增强，得到衍生训练图像，所述衍生训练图像中标注有车道线信息；

通过所述原始训练图像和所述衍生训练图像对初始深度学习模型进行训练，得到所述深度学习模型。

7.根据权利要求1所述的方法，其特征在于，所述通过深度学习模型对所述目标图像进行特征提取，包括：

确定所述目标图像中各个像素点在三个图像通道上的通道值；

针对每一个图像通道，对所述目标图像中各个像素点在所述图像通道上的通道值进行归一化处理，得到预处理的目标图像；

通过深度学习模型对所述预处理的目标图像进行至少两个连续的卷积操作，以及全局平均池化操作，以对所述目标图像进行特征提取。

8.根据权利要求1所述的方法，其特征在于，在根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置之后，所述方法还包括：

获取所述目标图像在被摄像机拍摄时的相机内参数和相机外参数；

基于所述相机内参数和所述相机外参数，将所述目标图像投影为三维图像；

根据所述车道线在所述目标图像上的位置，在所述三维图像中确定目标车道。

9.根据权利要求8所述的方法，其特征在于，在根据所述车道线在所述目标图像上的位置，在所述三维图像中确定目标车道之后，所述方法还包括：

获取车辆在所述目标车道上的驾驶决策；

在所述三维图像中渲染与所述驾驶决策相对应的交通引导标识。

10.一种车道线确定装置，其特征在于，所述装置包括：

第一获取单元，被用于获取包含有车道线的目标图像；

提取单元，被用于通过深度学习模型对所述目标图像进行特征提取，得到至少一个车道线特征向量；

第一确定单元，被用于根据每一个车道线特征向量，确定与每一个车道线相关的至少两个车道线参考点在所述目标图像上的位置；

拟合单元，被用于根据所述至少两个车道线参考点在所述目标图像上的位置，拟合车道线在所述目标图像上的位置。

Images