CN114005098A - 高精地图车道线信息的检测方法、装置和电子设备 - Google Patents

Abstract

本公开提供了一种高精地图车道线信息的检测方法、装置和电子设备，涉及高精地图等自动驾驶技术领域。具体实现方案为：在进行车道线信息检测时，可以先获取待检测区域内的多帧原始图像，以及多帧原始图像对应的点云数据；并对多帧原始图像分别进行语义分割，得到多帧原始图像各自对应的语义分割图像；再基于点云数据和多帧原始图像各自对应的语义分割图像，生成待检测区域对应的道路俯视图。这样可以将道路俯视图作为车道线信息的检测依据，对待检测区域进行车道线信息检测，更有助于车道线信息检测，从而提高了车道线信息检测的准确度。

Description

高精地图车道线信息的检测方法、装置和电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种高精地图车道线信息的检测方法、装置和电子设备，具体可用于高精地图等自动驾驶技术领域。

背景技术

车道线信息作为高精地图中的重要信息，准确地检测车道线信息，能够有效的支持城市场景车道线建模和道路拓扑的生成，对于提高高精地图的制作效率是至关重要的。

因此，如何准确地检测道路中的车道线信息，是本领域技术人员亟待解决的问题。

发明内容

本公开提供了一种高精地图车道线信息的检测方法、装置和电子设备，可以基于待检测区域对应的道路俯视图进行车道线信息检测，提高了车道线信息检测结果的准确度。

根据本公开的第一方面，提供了一种高精地图车道线信息的检测方法，该高精地图车道线信息的检测方法可以包括：

获取待检测区域内的多帧原始图像，以及所述多帧原始图像对应的点云数据。

对所述多帧原始图像分别进行语义分割，得到所述多帧原始图像各自对应的语义分割图像。

基于所述点云数据和所述多帧原始图像各自对应的语义分割图像，生成所述待检测区域对应的道路俯视图。

基于所述道路俯视图，对所述待检测区域进行车道线信息检测。

根据本公开的第二方面，提供了一种高精地图车道线信息的检测装置，该高精地图车道线信息的检测装置可以包括：

获取单元，用于获取待检测区域内的多帧原始图像，以及所述多帧原始图像对应的点云数据。

分割单元，用于对所述多帧原始图像分别进行语义分割，得到所述多帧原始图像各自对应的语义分割图像。

生成单元，用于基于所述点云数据和所述多帧原始图像各自对应的语义分割图像，生成所述待检测区域对应的道路俯视图。

检测单元，用于基于所述道路俯视图，对所述待检测区域进行车道线信息检测。

根据本公开的第三方面，提供了一种电子设备，该电子设备可以包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的高精地图车道线信息的检测方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面所述的高精地图车道线信息的检测方法。

根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的高精地图车道线信息的检测方法。

根据本公开的技术方案，可以基于待检测区域对应的道路俯视图进行车道线信息检测，提高了车道线信息检测结果的准确度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例提供的高精地图车道线信息的检测方法的流程示意图；

图2是本公开实施例提供的一种原始图像和其对应的语义分割图像的示意图；

图3是本公开实施例提供的一种道路俯视图的示意图；

图4是根据本公开第二实施例提供的生成待检测区域对应的道路俯视图的方法的流程示意图；

图5是本公开实施例提供的一种地面点云的示意图；

图6是根据本公开第三实施例提供的对待检测区域进行车道线信息检测的方法的流程示意图；

图7是本公开实施例提供的一种包括双线车道线的道路俯视图的示意图；

图8是本公开实施例提供的一种双线车道线以及中心线的示意图；

图9是本公开实施例提供的一种双线车道线信息检测结果的示意图；

图10是本公开实施例提供的一种进行车道线信息检测的框架示意图；

图11是根据本公开第五实施例提供的高精地图车道线信息的检测装置的结构示意图；

图12是本公开实施例提供的一种电子设备120的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的访问关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本公开的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。此外，在本公开实施例中，“第一”、“第二”、“第三”、“第四”、“第五”以及“第六”只是为了区分不同对象的内容而已，并无其它特殊含义。

本公开实施例提供的技术方案可以应用于车道线信息的检测场景。车道线信息作为高精地图中的重要信息，准确地检测车道线信息，能够有效的支持城市场景车道线建模和道路拓扑的生成，对于提高高精地图的制作效率是至关重要的。因此，如何准确地检测道路中的车道线信息，是本领域技术人员亟待解决的问题。

现有技术中，在进行车道线信息检测时，是先采集待检测区域的单帧正视图图像，并基于该单帧正视图图像进行车道线信息检测。具体过程为：采用目标检测或图像分割的方式，先在该单帧正视图图像中检测单车道线的几何位置、线型、以及颜色，这样可以检测出单车道线；再进一步判断检测出的多个单车道线中任意相邻的两条车道线的距离，若两条车道线的距离小于或等于距离阈值，则确定该两条车道线为双线车道线；若两条车道线的距离大于距离阈值，且该两条车道线均与各自相邻的另一条车道线的距离也大于距离阈值，则确定该两条车道线为单线车道线，从而实现车道线信息检测。

但是，采用现有的车道线信息检测方法，相机成像存在透视作用，通过单帧图像上的车道线尺度并不固定，距离相机镜头仅的位置尺度较大，距离相机镜头远的位置尺度较小，这样会使得车道线信息检测的复杂度较高；而且，在交通拥挤的情况下，由于车道线信息会被车辆遮挡，则难以在单帧正视图图像上较好地进行车道线信息检测。

为了可以较好地进行车道线信息检测，考虑到相比于正视图图像而言，道路俯视图不存在透视作用，而且车道线信息以及其他地面要素的尺度均是固定的，这样可以较大程度地降低由于车道线尺度不固定导致的检测复杂度较高的问题。此外，通过采集的多帧原始图像共同确定道路俯视图，这样即使在交通拥挤的情况下，可以结合多帧原始图像共同进行车道线信息检测，相比于单帧正视图图像进行车道线信息检测，可以提高车道线信息检测的准确度。

基于上述技术构思，本公开实施例提供了一种高精地图车道线信息的检测方法，下面，将通过具体的实施例对本公开提供的高精地图车道线信息的检测方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

实施例一

图1是根据本公开第一实施例提供的高精地图车道线信息的检测方法的流程示意图，该高精地图车道线信息的检测方法可以由软件和/或硬件装置执行，例如，该硬件装置可以为终端或者服务器。示例的，请参见图1所示，该高精地图车道线信息的检测方法可以包括：

S101、获取待检测区域内的多帧原始图像，以及多帧原始图像对应的点云数据。

示例的，原始图像可以为正视图图像。其中，多帧原始图像的采集视角可以相同，也可以不同，也可以部分相同，部分不同，具体可以根据实际需要进行设置。

示例的，获取待检测区域内的多帧原始图像时，可以通过相机直接采集该待检测区域内的多帧原始图像，也可以接收其它电子设备发送的待检测区域内的多帧原始图像，也可以从本地存储中获取待检测区域内的多帧原始图像，也可以通过其它方式获取待检测区域内的多帧原始图像，具体可以根据实际需要进行设置。

示例的，获取多帧原始图像对应的点云数据时，可以通过点云数据采集设备直接采集多帧原始图像对应的点云数据，也可以接收其它电子设备发送的多帧原始图像对应的点云数据，也可以从本地存储中获取多帧原始图像对应的点云数据，也可以通过其它方式获取多帧原始图像对应的点云数据，具体可以根据实际需要进行设置。

在获取到多帧原始图像后，就可以执行下述S102：

S102、对多帧原始图像分别进行语义分割，得到多帧原始图像各自对应的语义分割图像。

在对原始图像进行语义分割处理，示例的，可以采用现有的图像语义分割算法，对原始图像进行语义分割处理，也可以采用深度图像语义分割模型，对原始图像进行语义分割处理，具体可以根据实际需要进行设置，在此，对于语义分割处理的具体方法，本公开实施例不做具体限制。

以多帧原始图像为两帧原始图像为例，示例的，可参见图2所示，图2是本公开实施例提供的一种原始图像和其对应的语义分割图像的示意图，在对该两帧原始图像分别进行语义分割处理后，就可以得到该两帧原始图像各自对应的语义分割图像。

在获取到多帧原始图像各自对应的语义分割图像后，就可以结合多帧原始图像对应的点云数据，共同生成待检测区域对应的道路俯视图，即执行下述S103：

S103、基于点云数据和多帧原始图像各自对应的语义分割图像，生成待检测区域对应的道路俯视图。

其中，道路俯视图，可以理解为待检测区域内整个道路的道路俯视图。

结合上述图2所示的原始图像和其对应的语义分割图像，根据该语义分割图像和点云数据，生成的道路俯视图可参见图3所示，图3是本公开实施例提供的一种道路俯视图的示意图，结合图3可以看出，图3所示的道路俯视图中仅包括车道线信息和地面信息，不包括路面障碍物等无效要素，仅保留道路要素信息。

S104、基于道路俯视图，对待检测区域进行车道线信息检测。

其中，车道线可以为单线车道线，也可以为双线车道线。车道线信息包括车道线的几何位置、线型以及颜色。

示例的，单线车道线的几何类型包括实线和虚线两种，针对两种类型的车道线，颜色可以为黄色或者白色。双线车道线的几何类型包括双实线、双虚线、左实右虚、左虚右实四种，针对每一种双线类型，颜色可以为黄色和白色两种颜色任意组合。

可以理解的是，在本公开实施例中，基于点云数据和多帧原始图像各自对应的语义分割图像，生成待检测区域对应的道路俯视图，并将道路俯视图作为车道线信息的检测依据，至少存在两个好处：

好处1：道路俯视图不存在透视作用，而且车道线信息以及其他地面要素的尺度均是固定的，这样可以较大程度地降低由于车道线尺度不固定导致的检测复杂度较高的问题。

好处2：通过采集的多帧原始图像，即使在交通拥挤的情况下，可以结合多帧原始图像共同进行车道线信息检测，可以提高车道线信息检测的准确度；并且，基于点云数据和多帧原始图像各自对应的语义分割图像，生成道路俯视图，使得在道路俯视图生成过程中，利用语义分割图像的图像语义信息，生成的道路俯视图中不包括路面障碍物等无效要素，仅保留道路要素信息，这样能保证车道线等要素的检测召回率以及准确率。

可以看出，本公开实施例中，在进行车道线信息检测时，可以先获取待检测区域内的多帧原始图像，以及多帧原始图像对应的点云数据；并对多帧原始图像分别进行语义分割，得到多帧原始图像各自对应的语义分割图像；再基于点云数据和多帧原始图像各自对应的语义分割图像，生成待检测区域对应的道路俯视图。这样可以将道路俯视图作为车道线信息的检测依据，对待检测区域进行车道线信息检测，更有助于车道线信息检测，从而提高了车道线信息检测的准确度。

基于上述图1所示的实施例，为了便于理解在上述S103中，如何基于点云数据和多帧原始图像各自对应的语义分割图像，生成待检测区域对应的道路俯视图，下面，将通过下述图4所示的实施例二进行详细描述。

实施例二

图4是根据本公开第二实施例提供的生成待检测区域对应的道路俯视图的方法的流程示意图，该法同样可以由软件和/或硬件装置执行，例如，该硬件装置可以为终端或者服务器。示例的，请参见图4所示，该生成待检测区域对应的道路俯视图的方法可以包括：

S401、从点云数据中提取待检测区域对应的地面点云。

其中，地面点云为三维的路面平面。

示例的，从点云数据中提取待检测区域对应的地面点云时，可以采用地面点云提取算法，从点云数据中提取待检测区域对应的地面点云；也可以采用深度地面点云提取模型从点云数据中提取待检测区域对应的地面点云；具体可以根据实际需要进行设置，在此，对于地面点云的提取方法，本公开实施例不做具体限制。

示例的，可结合图5所示，图5是本公开实施例提供的一种地面点云的示意图，结合图5可以看出，地面点云中包括多个点，在后续的描述中，针对该地面点云中的任意一个点，可记为目标点。

在提取出待检测区域对应的地面点云后，就可以结合多个语义分割图像上共同生成道路俯视图，即执行下述S402：

S402、将地面点云分别投影至多个语义分割图像上，根据多个投影结果生成道路俯视图。

示例的，将地面点云分别投影至多个语义分割图像上，可以分别从多个语义分割图像中，确定与地面点云中各目标点匹配的像素点，得到多个像素点。换言之，针对地面点云中的每一个目标点，均会从多个语义分割图像中，确定与该目标点匹配的多个像素点。针对每一个目标点，判断该目标点对应的多个像素点中是否存在要素类型为地面像素点类型或者车道线像素点类型的目标像素点，得到该目标点对应的判断结果，并结合各目标点对应的判断结果生成道路俯视图路。

示例的，结合各目标点对应的判断结果生成道路俯视图时，针对各目标点，若该目标点对应的判断结果指示存在目标像素点，则基于目标像素点对应的距离，更改该目标点的颜色；其中，目标像素点对应的距离为采集目标原始图像时相机所处位置与目标点之间的距离，目标原始图像为目标像素点所属的语义分割图像对应的原始图像；若该目标点对应的判断结果指示不存在目标像素点，说明该目标点为路面障碍物等无效要素，则从地面点云中删除目标点；这样可以得到更新后的地面点云，再根据更新后的地面点云生成道路俯视图。

示例的，在根据更新后的地面点云生成道路俯视图时，可以从更新后的地面点云，提取其来自于目标像素点的颜色值RGB，忽略目标点Z方向的值，仅利用其X，Y值，即可生成道路俯视图。具体的生成方法：统计X，Y最大值与最小值，得到max_x,max_y,min_x,min_y，根据需求，控制道路俯视图每个像素分辨率为w厘米，则图像宽度image_width为(max_x-min_x)*100/w，图像高度image_height为(max_y-min_y)*100/w，最终X，Y对应像素点为pixel_x＝(X-min_x)/(max_x-min_x)*image_width，pixel_y＝(Y-min_y)/(max_y-min_y)*image_height，从而生成道路俯视图。

结合上述描述，示例的，在基于目标像素点对应的距离，更改目标点的颜色时，可以包括两种情况：

一种情况下，若目标像素点的数量为一个，且目标像素点对应的距离小于预设距离阈值，则确定第一原始图像中与目标像素点匹配的第一像素点，并将目标点的颜色更改为第一像素点的颜色，即将第一像素点的颜色赋值给目标点。其中，第一原始图像为目标像素点所属的语义分割图像对应的原始图像。

其中，预设距离阈值的取值可以根据实际需要进行设置，在此，对于预设距离阈值的取值，本公开实施例不做具体限制。

另一种情况下，若目标像素点的数量为至少两个，即存在至少两个目标像素点要素类型为地面像素点类型或者车道线像素点类型，则根据至少两个目标像素点各自对应的距离，从至少两个目标像素点中选择最小距离对应的目标像素点，并确定第二原始图像中与目标像素点匹配的第二像素点，并将目标点的颜色更改为第二像素点的颜色，即将第二像素点的颜色赋值给目标点。其中，第二原始图像为最小距离对应的目标像素点所属的语义分割图像对应的原始图像。

可以理解的是，在为地面点云中目标点的颜色赋值时，除了考虑目标像素点要素类型为地面像素点类型或者车道线像素点类型之外，之所以考虑目标像素点对应的距离，是因为距离太大的话，会有更多畸变的影响，会影响最终的车道线信息的检测结果，因此，需要结合目标像素点对应的距离，共同为地面点云中目标点的颜色赋值。

可以看出，本公开实施例中，在基于点云数据和多帧原始图像各自对应的语义分割图像，生成待检测区域对应的道路俯视图，可以先从点云数据中提取待检测区域对应的地面点云；再将地面点云分别投影至多个语义分割图像上，根据多个投影结果生成道路俯视图，这样在道路俯视图生成过程，可以利用语义分割图像的图像语义信息，使得生成的道路俯视图中不包括路面障碍物等无效要素，仅保留道路要素信息，这样后续将道路俯视图作为车道线信息的检测依据，对待检测区域进行车道线信息检测，更有助于车道线信息检测，从而提高了车道线信息检测的准确度。

结合上述任一实施例，在基于点云数据和多帧原始图像各自对应的语义分割图像，生成待检测区域对应的道路俯视图后，就可以将该道路俯视图作为车道线信息检测的依据，对待检测区域进行车道线信息检测。为了便于理解在本公开实施例中，如何基于道路俯视图，对待检测区域进行车道线信息检测，下面，将通过下述图6所示的实施例三进行详细描述。

实施例三

图6是根据本公开第三实施例提供的对待检测区域进行车道线信息检测的方法的流程示意图，该法同样可以由软件和/或硬件装置执行，例如，该硬件装置可以为终端或者服务器。示例的，请参见图6所示，该对待检测区域进行车道线信息检测的方法可以包括：

S601、对道路俯视图进行语义分割，得到道路俯视图中的双线车道线，并确定双线车道线的中心线。

示例的，在对道路俯视图进行语义分割时，可以采用针对俯视图的图像语义分割算法，对道路俯视图进行语义分割；也可以采用针对俯视图对应的深度图像语义分割模型，对道路俯视图进行语义分割，具体可以根据实际需要进行设置。

在对道路俯视图进行语义分割后，可以得到该道路俯视图中的所有车道线，包括单线车道线和双线车道线。针对单线车道线，可以进行常规的单线车道线信息检测；针对双线车道线，则可以进一步确定该双线车道线的中心线，并结合下述S602，进行双线车道线信息检测。

示例的，可参见图7所示，图7是本公开实施例提供的一种包括双线车道线的道路俯视图的示意图，其中，道路俯视图中包括一个双线车道线和多个单线车道线，针对该双线车道线，可以进一步确定该双线车道线的中心线，示例的，可参见图8所示，图8是本公开实施例提供的一种双线车道线以及中心线的示意图。其中，双线车道线是由两个单车道线构成的，两个单车道线中处于左侧位置的可记为左侧车道线，处于右侧位置的可记为右侧车道线，需要结合下述S602确定。

S602、基于双线车道线所在区域和中心线，对待检测区域进行车道线信息检测。

示例的，基于双线车道线所在区域和中心线，对待检测区域进行车道线信息检测时，可以先对双线车道线所在区域进行分割，提取双线车道线中的两个单车道线；需要说明的是，此处对于分割时采用的分割算法，本公开实施例不做具体限制。在提取出双线车道线中的两个单车道线后，就可以根据两个单车道线和中心线的位置关系，对待检测区域进行车道线信息检测。

示例的，根据两个单车道线和中心线的位置关系，对待检测区域进行车道线信息检测时，可以先根据两个单车道线和中心线的位置关系，确定双线车道线中的左侧车道线和右侧车道线；其中，两个单车道线中位置中心线左侧的单车道线可以记为左侧车道线，位置中心线右侧的单车道线可以记为右侧车道线，这样在分别确定出左侧车道线和右侧车道线后，可以结合道路俯视图，将道路俯视图中与左侧车道线对应的车道线的颜色确定为左侧车道线的颜色，并将道路俯视图中与右侧车道线对应的车道线的颜色确定为右侧车道线的颜色，从而确定出双线车道线的颜色，实现了对待检测区域进行车道线信息检测。示例的，可参见图9所示，图9是本公开实施例提供的一种双线车道线信息检测结果的示意图，可以看出，图9所示的检测结果中除了双线车道线信息之外，还可以包括了多个单线车道线信息。

可以看出，本公开实施例中，在基于道路俯视图，对待检测区域进行车道线信息检测时，可以先对道路俯视图进行语义分割，得到道路俯视图中的双线车道线，并确定双线车道线的中心线；基于双线车道线所在区域和中心线，对待检测区域进行车道线信息检测，这样将道路俯视图作为车道线信息的检测依据，对待检测区域进行车道线信息检测，更有助于车道线信息检测，从而提高了车道线信息检测的准确度。

实施例四

在实际应用过程中，在进行车道线信息检测时，可参见图10所示，图10是本公开实施例提供的一种进行车道线信息检测的框架示意图，可以先获取待检测区域对应的多帧正视图图像，以及对应的点云数据；分别采用图像语义分割算法，对多帧正视图图像进行语义分割处理，得到多帧正视图图像各自对应的语义分割图像，即多帧语义分割图像；并采用地面点云提取算法，从点云数据中提取地面点云；再结合多帧语义分割图像和地面点云共同生成该待检测区域的道路俯视图。

在得到待检测区域的道路俯视图后，可以将该道路俯视图作为车道线信息的检测依据，进行车道线信息检测。在检测时，可以先对该道路俯视图进行语义分割处理，得到该道路俯视图中的所有车道线，包括单线车道线和双线车道线。针对所有车道线中的各车道线，判断是否为双线车道线，若否，说明该车道线为单线车道线，则进行常规的单线车道线信息检测；若是，则确定该双线车道线的中心线，并根据双线车道线中的两个单车道线和中心线的位置关系，确定两个单车道线各自的颜色，从而实现了对待检测区域进行车道线信息检测。这样将道路俯视图作为车道线信息的检测依据，对待检测区域进行车道线信息检测，更有助于车道线信息检测，从而提高了车道线信息检测的准确度。

此外，可以理解的是，基于本公开实施例提供的基于道路俯视图进行车道线信息检测的方法，在高精地图自动化生产作业中，能够有效的支持城市场景车道线建模和道路拓扑的生成，对于提升高精地图作业效率具有重要的作用，此外，也有助于提高自动驾驶场景下，车辆行驶的安全性。

实施例五

图11是根据本公开第五实施例提供的高精地图车道线信息的检测装置110的结构示意图，示例的，请参见图11所示，该高精地图车道线信息的检测装置110可以包括：

获取单元1101，用于获取待检测区域内的多帧原始图像，以及多帧原始图像对应的点云数据。

分割单元1102，用于对多帧原始图像分别进行语义分割，得到多帧原始图像各自对应的语义分割图像。

生成单元1103，用于基于点云数据和多帧原始图像各自对应的语义分割图像，生成待检测区域对应的道路俯视图。

检测单元1104，用于基于道路俯视图，对待检测区域进行车道线信息检测。

可选的，生成单元1103包括第一生成模块和第二生成模块。

第一生成模块，用于从点云数据中提取待检测区域对应的地面点云。

第二生成模块，用于将地面点云分别投影至多个语义分割图像上，根据多个投影结果生成道路俯视图。

可选的，第二生成模块包括第一生成子模块、第二生成子模块以及第三生成子模块。

第一生成子模块，用于将地面点云分别投影至多个语义分割图像上，以分别从多个语义分割图像中，确定与地面点云中各目标点匹配的像素点，得到多个像素点。

第二生成子模块，用于针对各目标点，判断目标点对应的多个像素点中是否存在要素类型为地面像素点类型或者车道线像素点类型的目标像素点，得到目标点对应的判断结果。

第三生成子模块，用于根据各目标点对应的判断结果生成道路俯视图。

可选的，第三生成子模块，具体用于针对各目标点，若目标点对应的判断结果指示存在目标像素点，则基于目标像素点对应的距离，更改目标点的颜色；其中，目标像素点对应的距离为采集目标原始图像时相机所处位置与目标点之间的距离，目标原始图像为目标像素点所属的语义分割图像对应的原始图像；若目标点对应的判断结果指示不存在目标像素点，则从地面点云中删除目标点，得到更新后的地面点云；并根据更新后的地面点云生成道路俯视图。

可选的，第三生成子模块，具体用于若目标像素点的数量为一个，且目标像素点对应的距离小于预设距离阈值，则确定第一原始图像中与目标像素点匹配的第一像素点，并将目标点的颜色更改为第一像素点的颜色；其中，第一原始图像为目标像素点所属的语义分割图像对应的原始图像。

若目标像素点的数量为至少两个，则根据至少两个目标像素点各自对应的距离，从至少两个目标像素点中选择最小距离对应的目标像素点，并确定第二原始图像中与目标像素点匹配的第二像素点，并将目标点的颜色更改为第二像素点的颜色；其中，第二原始图像为最小距离对应的目标像素点所属的语义分割图像对应的原始图像。

可选的，检测单元1104包括第一检测模块和第二检测模块。

第一检测模块，用于对道路俯视图进行语义分割，得到道路俯视图中的双线车道线，并确定双线车道线的中心线。

第二检测模块，用于基于双线车道线所在区域和中心线，对待检测区域进行车道线信息检测。

可选的，第二检测模块包括第一检测子模块和第二检测子模块。

第一检测子模块，用于对双线车道线所在区域进行分割，提取双线车道线中的两个单车道线。

第二检测子模块，用于根据两个单车道线和中心线的位置关系，对待检测区域进行车道线信息检测。

可选的，第二检测子模块，具体用于根据两个单车道线和中心线的位置关系，确定双线车道线中的左侧车道线和右侧车道线；并将道路俯视图中与左侧车道线对应的车道线的颜色确定为左侧车道线的颜色，并将道路俯视图中与右侧车道线对应的车道线的颜色确定为右侧车道线的颜色，以对待检测区域进行车道线信息检测。

本公开实施例提供的高精地图车道线信息的检测装置110，可以执行上述任一实施例所示的高精地图车道线信息的检测方法的技术方案，其实现原理以及有益效果与高精地图车道线信息的检测方法的实现原理及有益效果类似，可参见高精地图车道线信息的检测方法的实现原理及有益效果，此处不再进行赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图12是本公开实施例提供的一种电子设备120的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图12所示，设备120包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM1203中，还可存储设备120操作所需的各种程序和数据。计算单元1201、ROM1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。

设备120中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备120通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如高精地图车道线信息的检测方法。例如，在一些实施例中，高精地图车道线信息的检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备120上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的高精地图车道线信息的检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行高精地图车道线信息的检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种高精地图车道线信息的检测方法，包括：

获取待检测区域内的多帧原始图像，以及所述多帧原始图像对应的点云数据；

对所述多帧原始图像分别进行语义分割，得到所述多帧原始图像各自对应的语义分割图像；

基于所述点云数据和所述多帧原始图像各自对应的语义分割图像，生成所述待检测区域对应的道路俯视图；

基于所述道路俯视图，对所述待检测区域进行车道线信息检测。

2.根据权利要求1所述的方法，其中，所述基于所述点云数据和所述多帧原始图像各自对应的语义分割图像，生成所述待检测区域对应的道路俯视图，包括：

从所述点云数据中提取所述待检测区域对应的地面点云；

将所述地面点云分别投影至多个语义分割图像上，根据多个投影结果生成所述道路俯视图。

3.根据权利要求2所述的方法，其中，所述将所述地面点云分别投影到多个语义分割图像上，根据多个投影结果生成所述道路俯视图，包括：

将所述地面点云分别投影至所述多个语义分割图像上，以分别从所述多个语义分割图像中，确定与所述地面点云中各目标点匹配的像素点，得到多个像素点；

针对所述各目标点，判断所述目标点对应的多个像素点中是否存在要素类型为地面像素点类型或者车道线像素点类型的目标像素点，得到所述目标点对应的判断结果；

根据所述各目标点对应的判断结果生成所述道路俯视图。

4.根据权利要求3所述的方法，其中，所述根据所述各目标点对应的判断结果生成所述道路俯视图，包括：

针对所述各目标点，若所述目标点对应的判断结果指示存在目标像素点，则基于所述目标像素点对应的距离，更改所述目标点的颜色；其中，所述目标像素点对应的距离为采集目标原始图像时相机所处位置与所述目标点之间的距离，所述目标原始图像为所述目标像素点所属的语义分割图像对应的原始图像；若所述目标点对应的判断结果指示不存在目标像素点，则从所述地面点云中删除所述目标点，得到更新后的地面点云；

根据所述更新后的地面点云生成所述道路俯视图。

5.根据权利要求4所述的方法，其中，所述基于所述目标像素点对应的距离，更改所述目标点的颜色，包括：

若所述目标像素点的数量为一个，且所述目标像素点对应的距离小于预设距离阈值，则确定第一原始图像中与所述目标像素点匹配的第一像素点，并将所述目标点的颜色更改为所述第一像素点的颜色；其中，所述第一原始图像为所述目标像素点所属的语义分割图像对应的原始图像；

若所述目标像素点的数量为至少两个，则根据至少两个目标像素点各自对应的距离，从所述至少两个目标像素点中选择最小距离对应的目标像素点，并确定第二原始图像中与所述目标像素点匹配的第二像素点，并将所述目标点的颜色更改为所述第二像素点的颜色；其中，所述第二原始图像为所述最小距离对应的目标像素点所属的语义分割图像对应的原始图像。

6.根据权利要求1-5任一项所述的方法，其中，所述基于所述道路俯视图，对所述待检测区域进行车道线信息检测，包括：

对所述道路俯视图进行语义分割，得到所述道路俯视图中的双线车道线，并确定所述双线车道线的中心线；

基于所述双线车道线所在区域和所述中心线，对所述待检测区域进行车道线信息检测。

7.根据权利要求6所述的方法，其中，所述基于所述双线车道线所在区域和所述中心线，对所述待检测区域进行车道线信息检测，包括：

对所述双线车道线所在区域进行分割，提取所述双线车道线中的两个单车道线；

根据所述两个单车道线和所述中心线的位置关系，对所述待检测区域进行车道线信息检测。

8.根据权利要求7所述的方法，其中，所述根据所述两个单车道线和所述中心线的位置关系，对所述待检测区域进行车道线信息检测，包括：

根据所述两个单车道线和所述中心线的位置关系，确定所述双线车道线中的左侧车道线和右侧车道线；

将所述道路俯视图中与所述左侧车道线对应的车道线的颜色确定为所述左侧车道线的颜色，并将所述道路俯视图中与所述右侧车道线对应的车道线的颜色确定为所述右侧车道线的颜色，以对所述待检测区域进行车道线信息检测。

9.一种高精地图车道线信息的检测装置，包括：

获取单元，用于获取待检测区域内的多帧原始图像，以及所述多帧原始图像对应的点云数据；

分割单元，用于对所述多帧原始图像分别进行语义分割，得到所述多帧原始图像各自对应的语义分割图像；

生成单元，用于基于所述点云数据和所述多帧原始图像各自对应的语义分割图像，生成所述待检测区域对应的道路俯视图；

检测单元，用于基于所述道路俯视图，对所述待检测区域进行车道线信息检测。

10.根据权利要求9所述的装置，其中，所述生成单元包括第一生成模块和第二生成模块；

所述第一生成模块，用于从所述点云数据中提取所述待检测区域对应的地面点云；

所述第二生成模块，用于将所述地面点云分别投影至多个语义分割图像上，根据多个投影结果生成所述道路俯视图。

11.根据权利要求10所述的装置，其中，所述第二生成模块包括第一生成子模块、第二生成子模块以及第三生成子模块；

所述第一生成子模块，用于将所述地面点云分别投影至所述多个语义分割图像上，以分别从所述多个语义分割图像中，确定与所述地面点云中各目标点匹配的像素点，得到多个像素点；

所述第二生成子模块，用于针对所述各目标点，判断所述目标点对应的多个像素点中是否存在要素类型为地面像素点类型或者车道线像素点类型的目标像素点，得到所述目标点对应的判断结果；

所述第三生成子模块，用于根据所述各目标点对应的判断结果生成所述道路俯视图。

12.根据权利要求11所述的装置，其中，

所述第三生成子模块，具体用于针对所述各目标点，若所述目标点对应的判断结果指示存在目标像素点，则基于所述目标像素点对应的距离，更改所述目标点的颜色；其中，所述目标像素点对应的距离为采集目标原始图像时相机所处位置与所述目标点之间的距离，所述目标原始图像为所述目标像素点所属的语义分割图像对应的原始图像；若所述目标点对应的判断结果指示不存在目标像素点，则从所述地面点云中删除所述目标点，得到更新后的地面点云；并根据所述更新后的地面点云生成所述道路俯视图。

13.根据权利要求12所述的装置，

所述第三生成子模块，具体用于若所述目标像素点的数量为一个，且所述目标像素点对应的距离小于预设距离阈值，则确定第一原始图像中与所述目标像素点匹配的第一像素点，并将所述目标点的颜色更改为所述第一像素点的颜色；其中，所述第一原始图像为所述目标像素点所属的语义分割图像对应的原始图像；

若所述目标像素点的数量为至少两个，则根据至少两个目标像素点各自对应的距离，从所述至少两个目标像素点中选择最小距离对应的目标像素点，并确定第二原始图像中与所述目标像素点匹配的第二像素点，并将所述目标点的颜色更改为所述第二像素点的颜色；其中，所述第二原始图像为所述最小距离对应的目标像素点所属的语义分割图像对应的原始图像。

14.根据权利要求9-13任一项所述的装置，其中，所述检测单元包括第一检测模块和第二检测模块；

所述第一检测模块，用于对所述道路俯视图进行语义分割，得到所述道路俯视图中的双线车道线，并确定所述双线车道线的中心线；

所述第二检测模块，用于基于所述双线车道线所在区域和所述中心线，对所述待检测区域进行车道线信息检测。

15.根据权利要求14所述的装置，其中，所述第二检测模块包括第一检测子模块和第二检测子模块；

所述第一检测子模块，用于对所述双线车道线所在区域进行分割，提取所述双线车道线中的两个单车道线；

所述第二检测子模块，用于根据所述两个单车道线和所述中心线的位置关系，对所述待检测区域进行车道线信息检测。

16.根据权利要求15所述的装置，

所述第二检测子模块，具体用于根据所述两个单车道线和所述中心线的位置关系，确定所述双线车道线中的左侧车道线和右侧车道线；并将所述道路俯视图中与所述左侧车道线对应的车道线的颜色确定为所述左侧车道线的颜色，并将所述道路俯视图中与所述右侧车道线对应的车道线的颜色确定为所述右侧车道线的颜色，以对所述待检测区域进行车道线信息检测。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的高精地图车道线信息的检测方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的高精地图车道线信息的检测方法。

19.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-8中任一项所述的高精地图车道线信息的检测方法的步骤。

Images