CN111750881B - 一种基于路灯杆的车辆位姿的修正方法和装置 - Google Patents

Abstract

本发明实施例公开了一种基于路灯杆的车辆位姿的修正方法和装置，应用于交通标志匮乏路段，该方法包括：基于导航地图中车道当前位置对应的车道线信息，对预设定位装置提供的车辆的高程进行修正；从导航地图中选择与感知图像中相匹配的目标路灯杆；基于目标路灯杆的位置，对导航地图中车辆的位姿进行第一修正处理；根据第一修正处理后车辆的位姿和高程，确定导航地图和感知图像中相匹配的路灯杆之外其他类型的指示标志；基于目标路灯杆和相匹配的其他类型的指示标志的位置，对导航地图中的车辆位姿进行第二修正处理，通过采用上述技术方案，在交通标志匮乏的路段等应用场景下，达到了使用消费级预设定位装置也能进行高精度定位的技术效果。

Description

一种基于路灯杆的车辆位姿的修正方法和装置

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种基于路灯杆的车辆位姿的修正方法和装置。

背景技术

在自动驾驶领域，导航定位至关重要。近年来，深度学习等技术的成果，极大促进了图像语义分割、图像识别领域的发展，这为导航地图及导航定位提供了坚实的基础。

在基于高精度地图的定位方案中，当无人驾驶车辆第一次进入高精度地图时，需要获得一个全局而精准的位置信息进行初始化，继而可以使用高精度地图进行精准定位，即绝对位置精度可达到厘米级。但在消费级设备，例如单点GPS(Global PositioningSystem，全球定位系统)与廉价IMU(Inertial measurement unit，惯性测量单元)的定位方案中，由于单点GPS所提供的定位精度信息的误差较大，利用单点GPS所提供的位置，将高精度地图中的交通标志信息与利用深度学习感知模型感知出图像中的交通标志，一般指交通指示牌，进行重投影匹配时，容易造成车道线左右匹配错误，路灯杆前后向匹配错误等问题。如果利用错误的匹配信息对车体位置进行修正，不仅不能利用高精地图使车体的位置精度达到厘米级，反而可能会使车体的位置与真实位置偏离更大。特别是在导航地图中交通标志相对匮乏的路段，交通标志的匮乏将更加影响了利用交通标志对车辆位姿的修正结果，使得后续车辆的定位出现较大偏差。

发明内容

本发明实施例公开了一种基于路灯杆的车辆位姿的修正方法和装置，解决了使用消费级预设定位装置定位精度不高的问题，在交通标志相对匮乏的路段等应用场景下，达到了使用消费级预设定位装置也能进行高精度定位的技术效果。

第一方面，本发明实施例公开了一种基于路灯杆的车辆位姿的修正，该方法包括：

获取预设定位装置提供的车辆的当前位置，并基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正；

从所述导航地图中选择与感知图像中相匹配的目标路灯杆；

基于所述目标路灯杆的位置，对所述导航地图中车辆的位姿进行第一修正处理；

根据第一修正处理后车辆的位姿和高程，确定所述导航地图和所述感知图像中相匹配的所述路灯杆之外其他类型的指示标志，所述其他类型的指示标志至少包括车道线；

基于所述目标路灯杆和相匹配的其他类型的指示标志的位置，对第一修正处理后的车辆位姿进行第二修正处理，使得所述导航地图中各种类型的指示标志的位置根据所述第二修正处理后的车辆位姿，与所述感知图像中对应类型的指示标志的位置相匹配。

可选的，基于所述目标路灯杆的位置，对所述导航地图中车辆的位姿进行第一修正处理，包括：

基于所述目标路灯杆的位置，通过非线性优化算法对车辆的六自由度中的位置三自由度进行第一修正处理，以使所述导航地图和所述感知图像中的各个路灯杆基于第一修正处理后的车辆位置在预设标准化平面上的投影误差小于第一预设距离。

可选的，基于所述目标路灯杆和相匹配的其他类型的指示标志的位置，对第一修正处理后的车辆位姿进行第二修正处理，使得所述导航地图中各种类型的指示标志的位置根据所述第二修正处理后的车辆位姿，与所述感知图像中对应类型的指示标志的位置相匹配，包括：

基于所述目标交通标志和相匹配的其他类型的指示标志的位置，通过非线性优化算法对对经过第一修正处理后的车辆位姿进行第二修正处理；

基于第二修正处理后车辆的位姿，分别将所述导航地图和感知图像中各种类型的指示标志投影到预设标准化平面；

在所述预设标准化平面上，判断导航地图中各种类型投影后的指示标志与感知图像中对应的指示标志的投影距离是否小于第二预设距离；

如果小于第二预设距离，则确定所述导航地图中各种类型的指示标志的位置根据所述第二修正处理后的车辆位姿，均与所述感知图像中对应类型的指示标志的位置相匹配；

其中，不同类型的指示标志各自所对应的第二预设距离均小于各自所对应的第一预设距离。

可选的，从所述导航地图中选择与感知图像中相匹配的目标路灯杆，包括：

将感知图像中的各路灯杆进行重建，并将重建后的路灯杆与所述导航地图中的路灯杆依次进行相似度比较，并将相似度值达到第一设定阈值的路灯杆作为相匹配的目标路灯杆。

可选的，从所述导航地图中选择与感知图像中相匹配的目标路灯杆，包括：

将所述导航地图中的路灯杆投影到感知图像所在平面，并与所述感知图像中的路灯杆进行相似度比较，并将相似度值达到第二设定阈值的路灯杆作为相匹配的目标路灯杆。

可选的，对于投影到所述感知图像所在平面的导航地图中的各路灯杆，计算投影后导航地图中路灯杆的投影长度与感知图像中路灯杆的投影长度的比值，并将所述比值作为相似度值。

可选的，基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正，包括：

确定导航地图中所述当前位置对应的车道线的高程的平均值；

将所述车道线的高程的平均值作为当前位置处车辆的高程，以对预设定位装置提供的车辆的高程进行修正。

可选的，在对所述导航地图中的车辆位姿进行第二修正处理之后，所述方法还包括：

基于第二修正处理后车辆的位姿更新所述导航地图中的显示内容；

在车辆的行驶过程中，如果在连续设定帧数的感知图像中未获取到指示标志，和/或未获取到所述导航地图中的指示标志，则返回执行获取预设定位装置提供的车辆的当前位置的操作，以对车辆的位姿进行再次修正。

可选的，所述方法还包括：

对于预设定位装置提供的车辆的位置，如果检测出在所述导航地图中不存在对应的覆盖区域，则停止对所述导航地图的初始化操作，并将当前自动驾驶模式切换为手动驾驶模式。

第二方面，本发明实施例还提供了一种基于路灯杆的车辆位姿的修正装置，该装置包括：

高程修正模块，被配置为获取预设定位装置提供的车辆的当前位置，并基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正；

目标路灯杆确定模块，被配置为从所述导航地图中选择与感知图像中相匹配的目标路灯杆；

第一修正模块，被配置为基于所述目标路灯杆的位置，对所述导航地图中车辆的位姿进行第一修正处理；

其他指示标志确定模块，被配置为根据第一修正处理后车辆的位姿和高程，确定所述导航地图和所述感知图像中相匹配的所述路灯杆之外其他类型的指示标志，所述其他类型的指示标志至少包括车道线；

第二修正模块，被配置为基于所述目标路灯杆和相匹配的其他类型的指示标志的位置，对第一修正处理后的车辆位姿进行第二修正处理，使得所述导航地图中各种类型的指示标志的位置根据所述第二修正处理后的车辆位姿，与所述感知图像中对应类型的指示标志的位置相匹配。

可选的，所述第一修正模块具体被配置为：

基于所述目标路灯杆的位置，通过非线性优化算法对车辆的六自由度中的位置三自由度进行第一修正处理，以使所述导航地图和所述感知图像中的各个路灯杆基于第一修正处理后的车辆位置在预设标准化平面上的投影误差小于第一预设距离。

可选的，所述第二修正模块具体被配置为：

基于所述目标交通标志和相匹配的其他类型的指示标志的位置，通过非线性优化算法对对经过第一修正处理后的车辆位姿进行第二修正处理；

基于第二修正处理后车辆的位姿，分别将所述导航地图和感知图像中各种类型的指示标志投影到预设标准化平面；

在所述预设标准化平面上，判断导航地图中各种类型投影后的指示标志与感知图像中对应的指示标志的投影距离是否小于第二预设距离；

如果小于第二预设距离，则确定所述导航地图中各种类型的指示标志的位置根据所述第二修正处理后的车辆位姿，均与所述感知图像中对应类型的指示标志的位置相匹配；

其中，不同类型的指示标志各自所对应的第二预设距离均小于各自所对应的第一预设距离。

可选的，所述目标路灯杆确定模块，具体被配置为：

将感知图像中的各路灯杆进行重建，并将重建后的路灯杆与所述导航地图中的路灯杆依次进行相似度比较，并将相似度值达到第一设定阈值的路灯杆作为相匹配的目标路灯杆。

可选的，所述目标路灯杆确定模块，具体被配置为：

可选的，计算投影后导航地图中路灯杆的投影长度与感知图像中路灯杆的投影长度的比值，并将所述比值作为相似度值。

可选的，所述高程修正模块，具体被配置为：

确定导航地图中所述当前位置对应的车道线的高程的平均值；

将所述车道线的高程的平均值作为当前位置处车辆的高程，以对预设定位装置提供的车辆的高程进行修正。

可选的，所述装置还包括：

在对所述导航地图中的车辆位姿进行第二修正处理之后，基于第二修正处理后车辆的位姿更新所述导航地图中的显示内容；

在车辆的行驶过程中，如果在连续设定帧数的感知图像中未获取到指示标志，和/或未获取到所述导航地图中的指示标志，则返回执行获取预设定位装置提供的车辆的当前位置的操作，以对车辆的位姿进行再次修正。

可选的，所述装置还包括：

对于预设定位装置提供的车辆的位置，如果检测出在所述导航地图中不存在对应的覆盖区域，则停止对所述导航地图的初始化操作，并将当前自动驾驶模式切换为手动驾驶模式。

第三方面，本发明实施例还提供了一种车载终端，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的基于路灯杆的车辆位姿的修正方法的部分或全部步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的基于路灯杆的车辆位姿的修正方法的部分或全部步骤的指令。

第五方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的基于路灯杆的车辆位姿的修正方法的部分或全部步骤。

本发明实施例提供的技术方案，在交通标志等信息匮乏的路段，通过利用导航地图中与感知图像中相匹配的目标路灯杆的位置，完成了对车辆位姿的第一修正处理，即粗略修正。虽然交通标志等信息较为匮乏，但车道线信息一般都存在，因此，利用车道线信息可对粗略修正后的车辆位姿进行第二修正处理，即精确修正，从而得到更加准确的车辆定位精度，解决了使用消费级预设定位装置定位精度不高的问题，使得无车驾驶车辆在交通标志等信息匮乏的应用场景下，消费级预设定位装置也能够提供厘米级的位置精度。

本发明的发明点包括：

1、在交通标志等信息匮乏的路段，利用路灯杆对车辆位姿进行修正，从而完成导航地图的初始化操作，使得消费级的定位设备具有高精度的定位功能，是本发明的发明点之一。

2、在筛选目标路灯杆时，通过将感知图像中的路灯杆进行三维重建，或者将导航地图中的路灯杆投影到感知图像所在平面，并与导航地图中的交通标志的相似度作为判断路灯杆优劣的权重之一，从而筛选出感知图像中与导航地图中位置相匹配的目标路灯杆，是本发明的发明点之一。

3、在对车辆的位置进行修正时，采用了迭代修正的方式，可以得到更加准确的位置精度，是本发明的发明点之一。

4、通过确定导航地图中车辆当前位置周围几米范围内的车道线高程，可将确定出的车辆线高程作为车辆当前位置的高程，以完成对车辆高程的修正，从而增加后续导航地图与感知图像匹配正确的概率，是本发明的发明点之一。

5、在车辆行驶的过程中，如果在设定帧数的感知图像中未获取到如车道线、交通牌或路灯杆等指示标志，和/或未获取到导航地图中的指示标志，则需切换到导航地图的初始化状态，以保证车辆的正常运行，是本发明的发明点之一。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明实施例提供的一种基于路灯杆的车辆位姿的修正方法的流程示意图；

图1b为本发明实施例提供一种导航地图中的路灯杆与重建后感知图像中路灯杆进行匹配的示意图；

图2a为本发明实施例提供的一种基于路灯杆的车辆位姿的修正方法的流程示意图；

图2b为本发明实施例提供的一种对车辆进行高程修正前的投影示意图；

图2c为本发明实施例提供的一种对车辆进行高程修正后的投影示意图；

图2d为本发明实施例提供的一种对车辆进行粗略位姿修正后的投影示意图；

图2e为本发明实施例提供的一种对车辆进行精确位姿修正后的投影示意图；

图3为本发明实施例提供的一种基于路灯杆的车辆位姿的修正装置的结构示意图；

图4为本发明实施例提供的一种车载终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

请参阅图1a，图1a为本发明实施例提供的一种基于路灯杆的车辆位姿的修正方法的流程示意图。该方法典型的是应用于无人驾驶车辆在交通标志等信息匮乏的路段，第一次进入室外高精度地图的场景下，该方法可由基于路灯杆的车辆位姿的修正装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机(Industrial personal Computer，IPC)等车载终端中，本发明实施例不做限定。如图1a所示，本实施例提供的方法具体包括：

110、获取预设定位装置提供的车辆的当前位置，并基于导航地图中当前位置对应的车道线信息，对定位装置提供的车辆的高程进行修正。

其中，预设定位装置为单点GPS或低精度的消费级定位设备。导航地图是指应用于自动驾驶的误差级别为厘米级的高精度地图。

本实施例中，车辆的高程是指消费级定位设备提供的车辆的海拔高度。在利用消费级定位设备对车辆进行定位时，定位精度较低，有时会有几米甚至十几米的误差，但在该误差范围内车道线高度变化不大。虽然无人驾驶车辆行驶在交通标志匮乏的路段，但车道线信息一般都会存在。因此，可根据消费级定位设备提供的车辆当前位置，在导航地图中搜索当前位置附近几米的车道线信息，从而利用该车道线信息对车辆的高程进行修正，以将车辆拉到车道线高度。

具体的，可在导航地图中搜索车辆当前位置周围几米范围内车道线，并计算车道线的平均高度，即车道线的高程。将计算出的车道线的高程作为车辆当前位置的高程，以完成对车辆高程的修正。这样设置可使得后续导航地图与感知图像匹配正确的概率增加。

需要说明的是，本发明实施例对车辆高程和位姿的修正顺序不存在先后之分，可先对车辆的高程进行修正，然后再修正车辆位姿，或者也可以先完成对车辆位姿的修正，然后再修正车辆的高程，本实施例对此不做具体限定。

120、从导航地图中选择与感知图像中相匹配的目标路灯杆。

其中，感知图像是利用预设感知模型对摄像头采集的包含道路信息的图像进行识别后得到的。预设感知模型可以预先采用大量标注有图像语义特征的道路样本图像对感知模型进行训练。其中，图像语义特征可包括交通标志、车道线、车道线虚线端点、棱形线和斑马新等道路信息。通过将包含有道路信息的道路图像输入至训练好的预设感知模型，基于预设感知模型的识别结果，即可得到道路图像中的图像语义特征。其中，预设感知模型可以通过以下方式得到：

构建训练样本集，该训练样本集包括多组训练样本数据，每组训练样本数据包括道路样本图像和对应的标注有图像语义特征的道路感知样本图像；基于训练样本集对搭建的初始神经网络进行训练得到预设感知模型，该预设感知模型使得每组训练样本数据中的道路样本图像与对应的标注有图像语义特征的道路感知样本图像相关联。模型输出的即可称之为感知图像。

本实施例在交通标志匮乏的路段，可从感知图像中可识别出车道线和路灯杆信息。车道线可对车体位置提供上下方向的约束，路灯杆相对于其他指示标志信息更为丰富，可对车体位置提供前后向和左右向的约束，因此，本实施例在完成车辆高程的修正后，可利用路灯杆对车辆的前后左右向进行修正。

示例性的，从导航地图中选择与感知图像中相匹配的目标路灯杆可通过如下方式来实现：

采用三角化算法对感知图像中的各路灯杆进行重建，并将重建后的路灯杆与导航地图中的路灯杆依次进行相似度比较，将相似度值达到第一设定阈值的路灯杆作为相匹配的目标路灯杆。

具体的，图1b为本发明实施例提供一种导航地图中的路灯杆与重建后感知图像中路灯杆进行匹配的示意图，如图1b所示，1表示感知图像中的重建的路灯杆；2表示导航地图中与感知图像中相匹配的路灯杆；3表示导航地图中与感知图像中不匹配的路灯杆；4表示感知图像中的路灯杆；5表示当前车载摄像头所采集的感知图像；6表示当前车载摄像头。如图1b所示，通过三维重建后感知图像中的路灯杆与导航地图中路灯杆的相似度，可选择出类似于1和2这样相似度达到阈值的路灯杆作为相匹配的目标路灯杆。

示例性的，从导航地图中选择与感知图像中相匹配的目标路灯杆还可通过如下方式来实现：

将导航地图中的路灯杆投影到感知图像所在平面，并与感知图像中的路灯杆进行相似度比较，并将相似度值达到第二设定阈值的路灯杆作为相匹配的目标路灯杆。其中，可将投影后导航地图中路灯杆的投影长度与感知图像中路灯杆的投影长度的比值，作为相似度值。

本实施例中，由于在交通标志匮乏路段中，路灯杆信息一般都会存在，因此，采用了导航地图和感知图像中相匹配的目标路灯杆作为修正车辆位姿的指示标志。在筛选目标路灯杆时，将导航地图中的路灯杆与感知图像中路灯杆的相似度作为判断路灯杆优劣的权重之一。对于相似度值不达标的路灯杆，可将其筛选出并删除。这样设置一方面可以提高计算效率，另一方面可排除权重值未能达标的路灯杆，在交通标志匮乏的应用场景下，可以提高后续车辆定位的准确性。

进一步的，由于目标路灯杆的确定说明感知图像中的目标路灯杆已经与导航地图中对应的目标路灯杆建立了一一对应的匹配关系，因此，可基于目标路灯杆的位置，对导航地图中车辆的位姿进行不断修正。在对车辆位姿进行修正时，由于目标路灯杆中包含相似度值符合要求的多组路灯杆，因此，可将其按照相似度值从高到低的顺序进行排序，并按照相似度值的从高到低顺序依次进行下一步车辆位姿的修正环节。130、基于目标路灯杆的位置，对导航地图中车辆的位姿进行第一修正处理。

其中，对车辆的位姿进行修正是为了使车辆的当前位置与车辆实际的正确位置之间的偏差降到最低，具体可采用迭代修正的方式使得车辆的当前位置不断逼近于车辆的真实位置。

本实施例中，在交通标志匮乏路段，导航地图和感知图像中相匹配的目标路灯杆可作为对车辆位姿修正的标准。第一修正处理即是利用目标路灯杆的位置对车辆位姿进行粗略修正，使得在车辆位姿与真实位姿之间的距离误差有所减小。

140、根据第一修正处理后车辆的位姿和高程，确定导航地图和感知图像中相匹配的路灯杆之外其他类型的指示标志。

在步骤130对车辆进行粗略位姿修正后，车辆的位姿发生了改变。因此，基于修正后的车辆位置，导航地图中的显示内容会相应的发生改变。在更新导航地图中的显示内容后，感知地图中与导航地图相匹配的指示标志也应随之得到更新。由于本实施例主要应用于交通标志匮乏的路段，那么在交通标志匮乏的条件下，除路灯杆之外的其他类型的指示标志主要就是指车道线。车道线可对车体位置提供上下和左右方向的约束，因此，利用车道线可对车辆位姿进行进一步的修正处理。

需要说明的是，虽然本实施例是应用于交通标志较为匮乏的路段，但并不能说明在该路段中完成不存在任何交通标志。因此，如果对导航地图的显示内容更新后还显示有交通牌等类型的交通标志，则可利用该交通标志可与车道线一起对车辆的位姿进行继续修正。

150、基于目标路灯杆和相匹配的其他类型的指示标志的位置，对第一修正处理后的车辆位姿进行第二修正处理，使得导航地图中各种类型的指示标志的位置根据第二修正处理后的车辆位姿，与感知图像中对应类型的指示标志的位置相匹配。

示例性的，对车辆的位姿进行第二修正处理时仍然可采用非线性修正算法来实现。车辆位姿的第二修正处理是在对车辆进行粗略位姿修正的基础上，联合交通标志匮乏路段中可识别出的各种类型的指示标志，例如路灯杆和车道线等信息对车辆位姿进行进一步的精确修正。第二修正处理结果的校核方式可以是将导航地图中各种类型的指示标志投影到感知图像所在平面，并判断与感知图像中对应类型的指示标志之间的投影距离，如果该投影距离满足误差收敛的条件，则可说明导航地图中各种类型的指示标志的位置根据第二修正处理后的车辆位姿，与感知图像中对应类型的指示标志的位置相匹配，即车辆精确修正的结果达到预设要求，也即完成了在交通标志匮乏路段对车辆位姿的精确修正。此时，可对导航地图中的显示信息进行更新以完成导航地图的初始化，并可保存导航地图与感知图像之间的匹配关系。本发明实施例提供的技术方案，在交通标志等信息匮乏的路段，通过利用导航地图中与感知图像中相匹配的目标路灯杆的位置，完成了对车辆位姿的第一修正处理，即粗略修正。虽然交通标志等信息较为匮乏，但车道线信息一般都存在，因此，利用车道线信息可对粗略修正后的车辆位姿进行第二修正处理，即精确修正，从而得到更加准确的定位精度，解决了在交通标志等信息匮乏的应用场景下，使用消费级预设定位装置定位精度不高的问题。

进一步的，当导航地图的初始化完成后，在无人驾驶车辆的行驶过程中，如果未获取到连续设定帧数的感知图像中的指示标志，或者未获取到导航地图中的指示标志，或者在感知图像和导航地图中均未获取到指示标志，则返回执行获取预设定位装置提供的车辆的当前位置的操作，以对导航地图中的显示内容进行再次更新，即重新进行初始化过程。但对于预设定位装置提供的车辆的位置，如果检测出导航地图中不存在对应的覆盖区域，则停止对导航地图的初始化操作，并将当前自动驾驶模式切换为手动驾驶模式，即退出初始化状态，以保证车辆系统的稳定性。

实施例二

请参阅图2a，图2a为本发明实施例提供的一种基于路灯杆的车辆位姿的修正方法的流程示意图。本实施例在上述实施例的基础上对车辆位姿修正的过程进行了优化。如图2a所示，该方法包括：

210、获取预设定位装置提供的车辆的当前位置，并基于导航地图中当前位置对应的车道线信息，对预设定位装置提供的车辆的高程进行修正。

图2b为本发明实施例提供的一种对车辆进行高程修正前的投影示意图。图2c为本发明实施例提供的一种对车辆进行高程修正后的投影示意图。其中，1表示感知图像中的路灯杆；2表示导航地图中投影后的路灯杆；3表示车辆的真实位置；4表示车辆在导航地图中的当前位置。如图2b和2c所示，通过对车辆的高程进行修正，可以将车辆拉到车道线高度。

220、从导航地图中选择与感知图像中相匹配的目标路灯杆。

230、基于目标路灯杆的位置，通过非线性优化算法对车辆的六自由度中的位置三自由度进行第一修正处理，以使导航地图和感知图像中的各个路灯杆基于第一修正处理后的车辆位置在预设标准化平面上的投影误差小于第一预设距离。

本实施例中，步骤230即为对车辆进行粗略位姿修正的过程。此过程主要是利用220中识别出的目标路灯杆对车辆的位置进行修正，使得车辆的位置与其真实位置之间的距离有所减小。在对车辆进行粗略位姿修正后，即第一修正处理完成后，可对优化后的位置进行校核，具体可通过导航地图中的路灯杆基于修正后的车辆位姿在预设标准化平面上的投影位置与感知图像中对应的路灯杆在预设标准化平面中的投影位置之间的误差来判断，如果投影误差有所减小，例如，如果该误差值小于20-30像素值，则可进行下一步车辆的精确位姿修正过程。其中，预设标准化平面优选为感知图像所在平面，也可为摄像头的归一化平面，该归一化平面可建立在摄像头坐标系下，且距离摄像头坐标系原点的距离为1米。

具体的，图2d为本发明实施例提供的一种对车辆进行粗略位姿修正后的投影示意图。其中，1表示感知图像中的路灯杆；2表示导航地图中投影后的路灯杆；3表示车辆的真实位置；4表示车辆在导航地图中的当前位置。如图2d所示，在对车辆进行粗略位姿修正后，导航地图和感知图像中相匹配的路灯杆在预设标准化平面上的投影位置相对于图2c而言有所减小，在交通标志匮乏的条件下，利用导航地图和感知图像中相匹配的目标路灯杆的位置，即可将车辆的位置进行修正，使得图2d中车辆的位置也更接近于其真实位置。

240、根据第一修正处理后车辆的位姿和高程，确定导航地图和所述感知图像中相匹配的路灯杆之外其他类型的指示标志，该其他类型的指示标志至少包括车道线。

250、基于目标交通标志和相匹配的其他类型的指示标志的位置，通过非线性优化算法对对经过第一修正处理后的车辆位姿进行第二修正处理。

本实施例中，步骤250即为对车辆进行精确位姿修正的过程。在步骤230对车辆进行粗略位姿修正后，导航地图中车辆的位姿发生了改变。因此，基于修正后的车辆位置，导航地图中的显示内容会相应的发生改变。在更新导航地图中的显示内容后，感知地图中与导航地图相匹配的交通标志也应随之得到更新。在交通标志匮乏路段，对车辆位姿进行精确修正的过程中，可利用导航地图和感知图像中除目标路灯杆之外相匹配的其他指示标志，例如车道线，对车辆的位姿进行进一步优化，即进行第二修正处理，在第二修正处理后，车辆的位置与真实位置更加接近。

260、基于第二修正处理后车辆的位姿，分别将导航地图和感知图像中各种类型的指示标志投影到预设标准化平面。

270、在预设标准化平面上，判断导航地图中各种类型投影后的指示标志与感知图像中对应的指示标志的投影距离是否小于第二预设距离，如果小于第二预设距离，则确定导航地图中各种类型的指示标志的位置根据所述第二修正处理后的车辆位姿，均与感知图像中对应类型的指示标志的位置相匹配。

其中，不同类型的指示标志各自所对应的第二预设距离均小于各自所对应的第一预设距离。

本实施例中，第二修正处理结果的校核方式与第一修正处理结果的校核方式相同，即在归一化平面上或在感知图像所在平面，分别判断导航地图中路灯杆、车道线等指示标志的投影位置与感知图像中对应的路灯杆、车道线等指示标志的投影位置之间的投影误差，如果误差小于第二预设距离，例如小于10-15像素，则说明车辆位姿的修正结果符合误差收敛的条件。示例性的，在该校核过程中，如果投影误差仍然大于第二预设距离，则可继续采用非线性优化算法对车辆位姿进行迭代修正，直到投影误差小于第二预设距离。

具体的，图2e为本发明实施例提供的一种对车辆进行精确位姿修正后的投影示意图。其中，1表示感知图像中的路灯杆；2表示投影后导航地图中的路灯杆；3表示车辆的真实位置；4表示车辆在导航地图中的当前位置；5表示感知图像中的交通牌；6表示投影后导航地图中的交通牌；7表示感知图像中的车道线；8表示投影后导航地图中的车道线。如图2e所示，在交通标志匮乏路段，利用路灯杆和车道线对车辆位姿进行精确位姿修正后，导航地图中的各个交通标志与感知图像中对应的各个交通标志在归一化平面上的投影接近于重合。如果导航地图中存在交通牌，此时投影后导航地图中的交通牌与感知图像中交通牌的位置也近似于重合，此时，可执行对导航地图的显示内容的更新操作，完成对导航地图的初始化过程。

本实施例提供的技术方案，在交通标志匮乏路段，通过利用导航地图和感知图像中的路灯杆信息，可实现对车辆位姿的粗略修正。在粗略修正完成后，通过联合路灯杆和车道线的位置，可对车辆的位姿进行进一步的修正处理，使得修正后车辆的位姿逼近于真实位姿，实现了在交通标志匮乏路段，不使用交通标志也可将车辆位姿的定位误差修正到厘米级别，解决了使用消费级预设定位装置定位精度不高的问题，使得消费级定位装置也具有高精度的定位功能。

实施例三

请参阅图3，图3为本发明实施例提供的一种基于路灯杆的车辆位姿的修正装置的结构示意图。如图3所示，该装置包括：高程修正模块310、目标路灯杆确定模块320、第一修正模块330、其他指示标志确定模块340和第二修正模块350；其中，

高程修正模块310，被配置为获取预设定位装置提供的车辆的当前位置，并基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正；

目标路灯杆确定模块320，被配置为从所述导航地图中选择与感知图像中相匹配的目标路灯杆；

第一修正模块330，被配置为基于所述目标路灯杆的位置，对所述导航地图中车辆的位姿进行第一修正处理；

其他指示标志确定模块340，被配置为根据第一修正处理后车辆的位姿和高程，确定所述导航地图和所述感知图像中相匹配的所述路灯杆之外其他类型的指示标志，所述其他类型的指示标志至少包括车道线；

第二修正模块350，被配置为基于所述目标路灯杆和相匹配的其他类型的指示标志的位置，对第一修正处理后的车辆位姿进行第二修正处理，使得所述导航地图中各种类型的指示标志的位置根据所述第二修正处理后的车辆位姿，与所述感知图像中对应类型的指示标志的位置相匹配。

本发明实施例提供的技术方案，在交通标志等信息匮乏的路段，通过利用导航地图中与感知图像中相匹配的目标路灯杆的位置，完成了对车辆位姿的第一修正处理，即粗略修正。虽然交通标志等信息较为匮乏，但车道线信息一般都存在，因此，利用车道线信息可对粗略修正后的车辆位姿进行第二修正处理，即精确修正，从而得到更加准确的定位精度，解决了在交通标志等信息匮乏的应用场景下，使用消费级预设定位装置定位精度不高的问题。

可选的，所述第一修正模块具体被配置为：

基于所述目标路灯杆的位置，通过非线性优化算法对车辆的六自由度中的位置三自由度进行第一修正处理，以使所述导航地图和所述感知图像中的各个路灯杆基于第一修正处理后的车辆位置在预设标准化平面上的投影误差小于第一预设距离。

可选的，所述第二修正模块具体被配置为：

基于所述目标交通标志和相匹配的其他类型的指示标志的位置，通过非线性优化算法对对经过第一修正处理后的车辆位姿进行第二修正处理；

基于第二修正处理后车辆的位姿，分别将所述导航地图和感知图像中各种类型的指示标志投影到预设标准化平面；

在所述预设标准化平面上，判断导航地图中各种类型投影后的指示标志与感知图像中对应的指示标志的投影距离是否小于第二预设距离；

如果小于第二预设距离，则确定所述导航地图中各种类型的指示标志的位置根据所述第二修正处理后的车辆位姿，均与所述感知图像中对应类型的指示标志的位置相匹配；

其中，不同类型的指示标志各自所对应的第二预设距离均小于各自所对应的第一预设距离。

可选的，所述目标路灯杆确定模块，具体被配置为：

将感知图像中的各路灯杆进行重建，并将重建后的路灯杆与所述导航地图中的路灯杆依次进行相似度比较，并将相似度值达到第一设定阈值的路灯杆作为相匹配的目标路灯杆。

可选的，所述目标路灯杆确定模块，具体被配置为：

可选的，计算投影后导航地图中路灯杆的投影长度与感知图像中路灯杆的投影长度的比值，并将所述比值作为相似度值。

可选的，所述高程修正模块，具体被配置为：

确定导航地图中所述当前位置对应的车道线的高程的平均值；

将所述车道线的高程的平均值作为当前位置处车辆的高程，以对预设定位装置提供的车辆的高程进行修正。

可选的，所述装置还包括：

在对所述导航地图中的车辆位姿进行第二修正处理之后，基于第二修正处理后车辆的位姿更新所述导航地图中的显示内容；

在车辆的行驶过程中，如果在连续设定帧数的感知图像中未获取到指示标志，和/或未获取到所述导航地图中的指示标志，则返回执行获取预设定位装置提供的车辆的当前位置的操作，以对车辆的位姿进行再次修正。

可选的，所述装置还包括：

对于预设定位装置提供的车辆的位置，如果检测出在所述导航地图中不存在对应的覆盖区域，则停止对所述导航地图的初始化操作，并将当前自动驾驶模式切换为手动驾驶模式。

本发明实施例所提供的基于路灯杆的车辆位姿的修正装置可执行本发明任意实施例所提供的基于路灯杆的车辆位姿的修正方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于路灯杆的车辆位姿的修正方法。

实施例四

请参阅图4，图4为本发明实施例提供的一种车载终端的结构示意图。如图4所示，该车载终端可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，执行本发明任意实施例所提供的基于路灯杆的车辆位姿的修正方法。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的基于路灯杆的车辆位姿的修正方法。

本发明实施例公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的基于路灯杆的车辆位姿的修正方法的部分或全部步骤。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于路灯杆的车辆位姿的修正方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于路灯杆的车辆位姿的修正方法，应用于自动驾驶，其特征在于，包括：

获取预设定位装置提供的车辆的当前位置，并基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正；

从所述导航地图中选择与感知图像中相匹配的目标路灯杆；

基于所述目标路灯杆的位置，对所述导航地图中车辆的位姿进行第一修正处理；

根据第一修正处理后车辆的位姿和高程，确定所述导航地图和所述感知图像中相匹配的所述路灯杆之外其他类型的指示标志，所述其他类型的指示标志至少包括车道线；

基于所述目标路灯杆和相匹配的其他类型的指示标志的位置，对第一修正处理后的车辆位姿进行第二修正处理，使得所述导航地图中各种类型的指示标志的位置根据所述第二修正处理后的车辆位姿，与所述感知图像中对应类型的指示标志的位置相匹配。

2.根据权利要求1所述的方法，其特征在于，基于所述目标路灯杆的位置，对所述导航地图中车辆的位姿进行第一修正处理，包括：

基于所述目标路灯杆的位置，通过非线性优化算法对车辆的六自由度中的位置三自由度进行第一修正处理，以使所述导航地图和所述感知图像中的各个路灯杆基于第一修正处理后的车辆位置在预设标准化平面上的投影误差小于第一预设距离。

3.根据权利要求1或2所述的方法，其特征在于，基于所述目标路灯杆和相匹配的其他类型的指示标志的位置，对第一修正处理后的车辆位姿进行第二修正处理，使得所述导航地图中各种类型的指示标志的位置根据所述第二修正处理后的车辆位姿，与所述感知图像中对应类型的指示标志的位置相匹配，包括：

基于所述目标路灯杆和相匹配的其他类型的指示标志的位置，通过非线性优化算法对经过第一修正处理后的车辆位姿进行第二修正处理；

基于第二修正处理后车辆的位姿，分别将所述导航地图和感知图像中各种类型的指示标志投影到预设标准化平面；

在所述预设标准化平面上，判断导航地图中各种类型投影后的指示标志与感知图像中对应的指示标志的投影距离是否小于第二预设距离；

如果小于第二预设距离，则确定所述导航地图中各种类型的指示标志的位置根据所述第二修正处理后的车辆位姿，均与所述感知图像中对应类型的指示标志的位置相匹配；

其中，不同类型的指示标志各自所对应的第二预设距离均小于各自所对应的第一预设距离。

4.根据权利要求1所述的方法，其特征在于，从所述导航地图中选择与感知图像中相匹配的目标路灯杆，包括：

将感知图像中的各路灯杆进行重建，并将重建后的路灯杆与所述导航地图中的路灯杆依次进行相似度比较，并将相似度值达到第一设定阈值的路灯杆作为相匹配的目标路灯杆。

5.根据权利要求1所述的方法，其特征在于，从所述导航地图中选择与感知图像中相匹配的目标路灯杆，包括：

将所述导航地图中的路灯杆投影到感知图像所在平面，并与所述感知图像中的路灯杆进行相似度比较，并将相似度值达到第二设定阈值的路灯杆作为相匹配的目标路灯杆。

6.根据权利要求5所述的方法，其特征在于，计算投影后导航地图中路灯杆的投影长度与感知图像中路灯杆的投影长度的比值，并将所述比值作为相似度值。

7.根据权利要求1所述的方法，其特征在于，基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正，包括：

确定导航地图中所述当前位置对应的车道线的高程的平均值；

将所述车道线的高程的平均值作为当前位置处车辆的高程，以对预设定位装置提供的车辆的高程进行修正。

8.根据权利要求1所述的方法，其特征在于，在对所述导航地图中的车辆位姿进行第二修正处理之后，所述方法还包括：

基于第二修正处理后车辆的位姿更新所述导航地图中的显示内容；

在车辆的行驶过程中，如果在连续设定帧数的感知图像中未获取到指示标志，和/或未获取到所述导航地图中的指示标志，则返回执行获取预设定位装置提供的车辆的当前位置的操作，以对车辆的位姿进行再次修正。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对于预设定位装置提供的车辆的位置，如果检测出在所述导航地图中不存在对应的覆盖区域，则停止对所述导航地图的初始化操作，并将当前自动驾驶模式切换为手动驾驶模式。

10.一种基于路灯杆的车辆位姿的修正装置，应用于自动驾驶，其特征在于，包括：

高程修正模块，被配置为获取预设定位装置提供的车辆的当前位置，并基于导航地图中所述当前位置对应的车道线信息，对所述预设定位装置提供的车辆的高程进行修正；

目标路灯杆确定模块，被配置为从所述导航地图中选择与感知图像中相匹配的目标路灯杆；

第一修正模块，被配置为基于所述目标路灯杆的位置，对所述导航地图中车辆的位姿进行第一修正处理；

其他指示标志确定模块，被配置为根据第一修正处理后车辆的位姿和高程，确定所述导航地图和所述感知图像中相匹配的所述路灯杆之外其他类型的指示标志，所述其他类型的指示标志至少包括车道线；

第二修正模块，被配置为基于所述目标路灯杆和相匹配的其他类型的指示标志的位置，对第一修正处理后的车辆位姿进行第二修正处理，使得所述导航地图中各种类型的指示标志的位置根据所述第二修正处理后的车辆位姿，与所述感知图像中对应类型的指示标志的位置相匹配。

Images