CN115830073A - 地图要素重建方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种地图要素重建方法、装置、计算机设备、存储介质和计算机程序产品。其方法通过获取同一时刻的采集图像和激光雷达点云数据，对采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息，进而根据目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，得到待优化特征点，进而对待优化特征点进行非线性优化处理，从而得到对目标要素重建的三维场景地图。本实施例通过融合激光雷达点云数据和检测的目标要素的二维定位信息而对目标要素进行三维重建，从而不依赖于稠密的雷达点云和三维感知结果，不仅能够降低数据采集成本，提高数据采集效率，且能够提高高精度地图的更新速度。

Description

地图要素重建方法、装置、计算机设备和存储介质

技术领域

本申请涉及地图重建技术领域，特别是涉及一种地图要素重建方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着地图重建技术的发展，高精地图得到了广泛的应用。高精地图在定位、感知以及规划控制等各个领域都有着重要作用，并成为目前自动驾驶技术中不可或缺的重要环节。而空中面状物(例如交通标志牌、交通灯牌等)是高精地图中的重要组成部分。

传统技术中，一般基于搭载高精度传感器的地图采集车对环境信息数据进行外业采集，然后对采集的数据做离线的空中面状物重建和恢复。但是，由于这种空中面状物要素重建方法需要依赖稠密的雷达点云以及3D(3-dimension，三维)感知结果，从而导致地图采集车的成本高昂。通常为节约成本，数据采集方会控制购买地图采集车的数量，如此又会影响对环境信息数据的采集效率，导致高精度地图的更新周期较长，从而无法对现实环境的变化做出快速反应。

发明内容

基于此，有必要针对上述高精度地图的更新周期较长的技术问题，提供一种能够提高地图更新效率的地图要素重建方法、装置、计算机设备、存储介质和计算机程序产品。

第一方面，本申请提供了一种地图要素重建方法。所述方法包括：

获取同一时刻的采集图像和激光雷达点云数据；

对所述采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息；

根据所述目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧；

根据所述关键帧，获取所述目标要素映射到三维坐标系下的待优化特征点；

对所述待优化特征点进行非线性优化处理，得到对所述目标要素重建的三维场景地图。

在其中一个实施例中，所述对所述采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息，包括：对所述采集图像进行视觉感知检测，得到检测的目标要素的二维定位信息和语义信息；根据第一采集设备到达第二采集设备的外参，将所述激光雷达点云数据投影到所述采集图像；所述第一采集设备用于采集所述激光雷达点云数据，所述第二采集设备用于采集所述采集图像；提取投影后的所述采集图像中与所述目标要素对应的雷达点云信息。

在其中一个实施例中，所述根据所述目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧，包括：确定与所述采集图像具有时序关系的候选图像帧，获取所述候选图像帧中与所述目标要素的语义信息匹配的候选要素的二维定位信息和雷达点云信息；根据所述目标要素的二维定位信息、雷达点云信息以及所述候选要素的二维定位信息和雷达点云信息，确定所述目标要素与所述候选要素的相似度；根据所述相似度采用匈牙利算法确定与所述目标要素关联的候选要素，将关联的候选要素所对应的所述候选图像帧确定为关联的关键帧。

在其中一个实施例中，所述根据所述目标要素的二维定位信息、雷达点云信息以及所述候选要素的二维定位信息和雷达点云信息，确定所述目标要素与所述候选要素的相似度，包括：根据所述目标要素的二维定位信息与所述候选要素的二维定位信息，获取第一重叠度；获取所述候选要素的三维点云信息，根据所述目标要素的二维定位信息与所述候选要素的三维点云信息，获取第二重叠度；根据所述目标要素的雷达点云信息与所述候选要素的雷达点云信息，获取第三重叠度；对所述第一重叠度、第二重叠度和第三重叠度进行加权求和，得到所述目标要素与所述候选要素的相似度。

在其中一个实施例中，所述获取所述候选要素的三维点云信息，根据所述目标要素的二维定位信息与所述候选要素的三维点云信息，获取第二重叠度，包括：获取所述候选要素的三维点云信息，对所述三维点云信息进行二维投影，得到所述候选要素的二维投影信息；将所述候选要素的二维投影信息与所述目标要素的二维定位信息之间的重叠度，确定为第二重叠度。

在其中一个实施例中，所述根据所述目标要素的雷达点云信息与所述候选要素的雷达点云信息，获取第三重叠度，包括：对所述目标要素的雷达点云信息进行体素化处理，得到提取的第一体素特征；对所述候选要素的雷达点云信息进行体素化处理，得到提取的第二体素特征；将所述第一体素特征与所述第二体素特征之间的重叠度，确定为第三重叠度。

在其中一个实施例中，所述根据所述关键帧，获取所述目标要素映射到三维坐标系下的待优化特征点，包括：获取所述关键帧的位姿数据和关键要素的定位信息；根据所述位姿数据和关键要素的定位信息，构建局部特征映射地图；根据所述局部特征映射地图，获取对所述目标要素映射后的待优化特征点。

在其中一个实施例中，所述对所述待优化特征点进行非线性优化处理，得到对所述目标要素重建的三维场景地图，包括：对所述目标要素的雷达点云信息进行平面拟合，得到拟合平面，最小化所述待优化特征点与所述拟合平面之间的第一距离；将所述待优化特征点进行二维投影，得到二维投影定位信息，最小化所述二维投影定位信息与所述目标要素的二维定位信息之间的第二距离；获取所述目标要素的参照方向，根据所述参照方向、最小化的第一距离和最小化的第二距离确定优化后的特征点；根据优化后的特征点得到对所述目标要素重建的三维场景地图。

在其中一个实施例中，所述得到对所述目标要素重建的三维场景地图之后，所述方法还包括：对所述重建的三维场景地图进行校验处理，得到校验处理后的目标三维场景地图。

第二方面，本申请还提供了一种地图要素重建装置。所述装置包括：

地图要素重建装置，其特征在于，所述装置包括：

数据获取模块，用于获取同一时刻的采集图像和激光雷达点云数据；

目标检测模块，用于对所述采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息；

目标跟踪模块，用于根据所述目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧；

映射模块，用于根据所述关键帧，获取所述目标要素映射到三维坐标系下的待优化特征点；

优化模块，用于对所述待优化特征点进行非线性优化处理，得到对所述目标要素重建的三维场景地图。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面所述方法的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面所述方法的步骤。

上述地图要素重建方法、装置、计算机设备、存储介质和计算机程序产品，车载设备通过获取同一时刻的采集图像和激光雷达点云数据，对采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息，根据目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧，并根据关键帧，获取目标要素映射到三维坐标系下的待优化特征点，进而对待优化特征点进行非线性优化处理，从而得到对目标要素重建的三维场景地图。本实施例通过融合激光雷达点云数据和检测的目标要素的二维定位信息而对目标要素进行三维重建，从而不依赖于稠密的雷达点云和三维感知结果，不仅能够降低数据采集成本，提高数据采集效率，且能够提高高精度地图的更新速度。

附图说明

图1为一个实施例中地图要素重建方法的流程示意图；

图2为一个实施例中进行目标检测步骤的流程示意图；

图3为一个实施例中进行目标跟踪步骤的流程示意图；

图4为一个实施例中确定相似度步骤的流程示意图；

图5为一个实施例中特征点映射步骤的流程示意图；

图6为一个实施例中优化处理步骤的流程示意图；

图7为另一个实施例中地图要素表达方式的示意图；

图8为一个实施例中地图要素重建装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

由于传统技术中，搭载高精度传感器的地图采集车成本高昂，导致高精度地图的更新周期较长。而现有的空中面状物重建方法主要依赖稠密的雷达点云以及3D感知结果，又由于稠密的激光雷达数据较大，回传需要占用大量流量。而普通车端实时获得的单帧雷达点云往往比较稀疏，空中面状物往往体积较小，导致不利于感知检测。在普通车端在线部署3D感知模型对算力要求也较大，导致实施较为困难。对于没有明显反射值的面状物，缺乏3D点云特征，感知效果较差。

基于此，本申请提供了一种地图要素重建方法，其应用于车载设备，通过在车端对地图要素进行实时重建，从而实现高精度地图的实时更新。本实施例中，如图1所示，该方法可以包括以下步骤：

步骤102，获取同一时刻的采集图像和激光雷达点云数据。

其中，采集图像可以是车辆的图像采集设备实时采集的车辆外部的环境图像。激光雷达点云数据可以是车辆的激光雷达实时采集的点云数据。在本实施例中，车载设备可以通过对采集图像和激光雷达点云数据进行位姿插值、时空同步等处理，从而得到同一时刻的采集图像和激光雷达点云数据。

步骤104，对采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息。

其中，目标要素可以是对采集图像进行目标检测所提取的关键要素。在本实施例中，目标要素可以是空中面状要素，例如，可以是路面上的交通标志牌、交通灯牌等地图要素。

二维定位信息可以是目标要素位于采集图像中的具体定位信息，例如可以包括目标要素的中心点坐标、长及宽等信息。语义信息则可以是识别的目标要素的类别、颜色或材质等描述信息。雷达点云信息则可以是从激光雷达点云数据中提取的目标要素的点云数据。

具体地，车载设备通过对上述获取的同一时刻的采集图像和激光雷达点云数据进行目标检测，从而获取检测的目标要素的二维定位信息、语义信息和雷达点云信息。

步骤106，根据目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧。

其中，目标跟踪是指跟踪给定目标的位置。关键帧则是通过目标跟踪确定的存在目标要素的图像帧。具体地，车载设备根据目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，从而确定关联的关键帧。

步骤108，根据关键帧，获取目标要素映射到三维坐标系下的待优化特征点。

其中，待优化特征点是基于关键帧构建的映射关系，对目标要素进行映射后得到的其在三维坐标系的初始特征点，由于该初始特征点是基于关键帧构建的映射关系得到，因此，还可以通过后续步骤对其进行优化，以提高目标要素重建的准确性。

在本实施例中，车载设备可以根据关键帧，获取目标要素映射到三维坐标系下的待优化特征点。

步骤110，对待优化特征点进行非线性优化处理，得到对目标要素重建的三维场景地图。

其中，非线性优化处理可以是结合多种优化参数对待优化特征点进行联合优化的过程。三维场景地图则是通过上述步骤对目标要素重建后得到的高精地图。在本实施例中，车载设备通过对待优化特征点进行非线性优化处理，从而得到对目标要素重建的三维场景地图。

上述地图要素重建方法中，车载设备通过获取同一时刻的采集图像和激光雷达点云数据，对采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息，根据目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧，并根据关键帧，获取目标要素映射到三维坐标系下的待优化特征点，进而对待优化特征点进行非线性优化处理，从而得到对目标要素重建的三维场景地图。本实施例通过融合激光雷达点云数据和检测的目标要素的二维定位信息而对目标要素进行三维重建，从而不依赖于稠密的雷达点云和三维感知结果，不仅能够降低数据采集成本，提高数据采集效率，且能够提高高精度地图的更新速度。

在一个实施例中，如图2所示，在步骤104中，对采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息，具体可以包括以下步骤：

步骤202，对采集图像进行视觉感知检测，得到检测的目标要素的二维定位信息和语义信息。

其中，视觉感知检测是通过机器视觉对采集图像进行目标检测，以识别目标要素，并得到目标要素的二维定位信息和语义信息。在本实施例中，车载设备通过对采集图像进行视觉感知检测，从而得到检测的目标要素的二维定位信息和语义信息。

步骤204，根据第一采集设备到达第二采集设备的外参，将激光雷达点云数据投影到采集图像。

其中，第一采集设备是用于采集激光雷达点云数据的设备，其具体可以是车辆的激光雷达。第二采集设备是用于采集采集图像的设备，其具体可以是车辆的图像采集设备。

第一采集设备到达第二采集设备的外参用于表征第一采集设备相对于第二采集设备的位姿。由于不同的采集设备其安装的位置与角度均会存在差异，导致其对应的位姿也不同，若直接进行投影，则会有失投影结果的准确性。因此，在本实施例中，车载设备根据第一采集设备到达第二采集设备的外参，将激光雷达点云数据的位姿与采集图像的位姿进行融合，即将激光雷达点云数据的坐标转换为与采集图像的坐标相一致，进而将激光雷达点云数据投影到采集图像上。

步骤206，提取投影后的采集图像中与目标要素对应的雷达点云信息。

在本实施例中，车载设备可以根据上述投影，提取投影后的采集图像中与目标要素对应的雷达点云信息。具体地，车载设备通过将激光雷达点云数据投影到采集图像，进而可以根据目标要素的二维定位信息提取对应的雷达点云信息，从而得到目标要素的雷达点云信息。

在一种场景下，在提取目标要素的雷达点云信息的过程中，还可以根据目标要素的语义信息确定提取条件。由于目标要素的语义信息是识别的目标要素的类别、颜色或材质等描述信息，而对于颜色或材质不同的目标要素，可以设置不同的反射值为提取条件。例如，对于材质为金属的目标要素，可以选取反射值较大的激光雷达点云数据作为目标要素的雷达点云信息，从而实现对目标要素的雷达点云信息的准确提取。

在本实施例中，车载设备通过对采集图像进行视觉感知检测，得到检测的目标要素的二维定位信息和语义信息，并根据第一采集设备到达第二采集设备的外参，将激光雷达点云数据投影到采集图像，以提取投影后的采集图像中与目标要素对应的雷达点云信息，从而为后续目标要素的重建提供了准确的数据支撑。

在一个实施例中，如图3所示，在步骤106中，根据目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧，具体还可以包括：

步骤302，确定与采集图像具有时序关系的候选图像帧，获取候选图像帧中与目标要素的语义信息匹配的候选要素的二维定位信息和雷达点云信息。

其中，时序关系是指时间的先后顺序关系。候选图像帧则可以是与采集图像具有时间顺序关系的图像帧。由于图像采集设备是持续采集图像的，因此，可以将图像采集设备采集的与当前采集图像相邻的前几帧、后几帧或前后几帧作为候选图像帧。

候选要素则是对候选图像帧进行视觉感知检测，得到的检测要素中与目标要素的语义信息匹配的要素。例如，可以是候选图像帧中与目标要素的类别、颜色和材质等描述信息相同或相似的检测要素。

在本实施例中，车载设备根据图像采集设备持续采集的图像，确定与当前采集图像具有时序关系的候选图像帧，并对候选图像帧进行视觉感知检测，得到检测要素的二维定位信息和语义信息。进而将目标要素的语义信息与检测要素的语义信息进行匹配，将语义信息相同或相似的检测要素确定为候选要素。并基于与候选图像帧同一时刻的激光雷达点云数据，而得到候选要素的雷达点云信息。

步骤304，根据目标要素的二维定位信息、雷达点云信息以及候选要素的二维定位信息和雷达点云信息，确定目标要素与候选要素的相似度。

其中，相似度用于表征目标要素与候选要素的相似程度。在本实施例中，当相似度越大时，则表示目标要素与候选要素的关联度越高，即表示同一要素的可能性越大。当相似度越小时，则表示目标要素与候选要素的关联度越低，即表示同一要素的可能性越小。

在本实施例中，车载设备可以根据目标要素的二维定位信息、雷达点云信息以及候选要素的二维定位信息和雷达点云信息，而确定目标要素与候选要素的相似度。

步骤306，根据相似度采用匈牙利算法确定与目标要素关联的候选要素，将关联的候选要素所对应的候选图像帧确定为关联的关键帧。

其中，匈牙利算法是一种寻找最优匹配的算法，即如何寻找与目标要素具有最优匹配的候选要素的方法。关联的候选要素则是与目标要素具有最优匹配的候选要素。例如，当采集图像中存在多个目标要素，候选图像帧中存在多个候选要素时，根据每一个目标要素与每一个候选要素的相似度进行最优匹配，即将与目标要素的相似度最高的候选要素确定为关联的候选要素。

具体地，车载设备可以根据上述步骤确定的相似度，采用匈牙利算法确定与目标要素关联的候选要素，并将关联的候选要素所对应的候选图像帧确定为关联的关键帧。

在本实施例中，车载设备通过确定与采集图像具有时序关系的候选图像帧，获取候选图像帧中与目标要素的语义信息匹配的候选要素的二维定位信息和雷达点云信息，并根据目标要素的二维定位信息、雷达点云信息以及候选要素的二维定位信息和雷达点云信息，确定目标要素与候选要素的相似度，进而根据相似度采用匈牙利算法确定与目标要素关联的候选要素，将关联的候选要素所对应的候选图像帧确定为关联的关键帧，从而实现多帧的关联，为后续目标要素的重建提供了数据支撑。

在一个实施例中，如图4所示，在步骤304中，根据目标要素的二维定位信息、雷达点云信息以及候选要素的二维定位信息和雷达点云信息，确定目标要素与候选要素的相似度，具体可以包括：

步骤402，根据目标要素的二维定位信息与候选要素的二维定位信息，获取第一重叠度。

其中，重叠度也称为交并比(Intersection over Union，简称IOU)，表征两个图形面积的交集与并集的比值。具体地，第一重叠度是指目标要素与候选要素之间的重叠度，即目标要素的二维定位信息与候选要素的二维定位信息的交集与并集的比值。

具体地，车载设备可以根据目标要素的二维定位信息与候选要素的二维定位信息，获取对应的第一重叠度。

步骤404，获取候选要素的三维点云信息，根据目标要素的二维定位信息与候选要素的三维点云信息，获取第二重叠度。

其中，第二重叠度同样是目标要素与候选要素之间的重叠度，其不同之处在于，第二重叠度是根据目标要素的二维定位信息与候选要素的三维点云信息确定的交集与并集的比值。而候选要素的三维点云信息可以通过计算、预测得到，本实施例并不对此进行限制。

具体地，车载设备通过获取候选要素的三维点云信息，并对三维点云信息进行二维投影，从而得到候选要素的二维投影信息，进而将候选要素的二维投影信息与目标要素的二维定位信息之间的重叠度，确定为第二重叠度，即将候选要素的二维投影信息与目标要素的二维定位信息的交集与并集的比值，确定为第二重叠度。

步骤406，根据目标要素的雷达点云信息与候选要素的雷达点云信息，获取第三重叠度。

其中，第三重叠度也是目标要素与候选要素之间的重叠度，不同之处在于，第三重叠度是根据目标要素的雷达点云信息与候选要素的雷达点云信息确定的交集与并集的比值。

具体地，车载设备通过对目标要素的雷达点云信息进行体素化处理，得到提取的第一体素特征；对候选要素的雷达点云信息进行体素化处理，得到提取的第二体素特征；并将第一体素特征与第二体素特征之间的重叠度，确定为第三重叠度，即将第一体素特征与第二体素特征的交集与并集的比值，确定为第三重叠度。其中，体素化处理包括对雷达点云信息进行体素划分，以及对每个体素进行特征点采样的过程。

步骤408，对第一重叠度、第二重叠度和第三重叠度进行加权求和，得到目标要素与候选要素的相似度。

具体地，可以根据每个重叠度的精度分别为其分配相应的权重，进而根据每个重叠度的权重计算加权值，将各加权值相加，即得到得到目标要素与候选要素的相似度。例如，若第一重叠度为A，其相应的权重为r1，第二重叠度为b,其相应的权重为r2，第三重叠度为C，其相应的权重为r3，则加权求和得到(A×r1+B×r2+C×r3)，即得到目标要素与候选要素的相似度。

上述实施例中，车载设备根据目标要素的二维定位信息与候选要素的二维定位信息，获取第一重叠度，并获取候选要素的三维点云信息，根据目标要素的二维定位信息与候选要素的三维点云信息，获取第二重叠度，根据目标要素的雷达点云信息与候选要素的雷达点云信息，获取第三重叠度，通过对第一重叠度、第二重叠度和第三重叠度进行加权求和，从而得到目标要素与候选要素的相似度。本实施例基于不同角度计算目标要素与候选要素之间的不同重叠度，进而对不同重叠度进行加权求和而确定相似度，从而有利于提高相似度的准确性。

在一个实施例中，如图5所示，在步骤108中，根据关键帧，获取目标要素映射到三维坐标系下的待优化特征点，具体可以包括：

步骤502，获取关键帧的位姿数据和关键要素的定位信息。

其中，位姿数据可以是表征关键帧在图像采集设备所在坐标系下的位置和姿态的数据，其可以基于图像采集设备的安装位置以及关键帧被采集时车辆的行驶位置确定。关键要素则是从关键帧中识别的空中面状要素，定位信息则可以是空中面状要素的二维定位信息以及雷达点云信息。在本实施例中，当要对目标要素重建时，车载设备首先需要获取关键帧的位姿数据和关键要素的定位信息。其中，关键帧可以是时序上的多帧图像帧，或者也可以是空间上一定距离内采集的多帧图像帧，且每帧图像帧中具有相同的关键要素。

步骤504，根据位姿数据和关键要素的定位信息，构建局部特征映射地图。

其中，局部特征映射地图是基于关键帧映射得到的三维局部地图，该局部特征映射地图也可以表征相应的映射关系。具体地，车载设备可以基于关键要素对每帧关键帧对应的激光雷达点云数据进行点云提取，从而得到每帧中关键要素的雷达点云信息，并叠加雷达点云信息得到多帧叠加的点云信息。

为了避免多帧叠加点云导致后续计算量大的问题，本实施例还可以对多帧叠加的点云信息进行点云降采样操作，即基于体素滤波器，根据关键要素的大置位置使用不同的体素分辨率(垂直平面方向的划分粒度更细)进行体素采样。例如，可以使得垂直于关键要素的平面方向的划分粒度小于其他方向的划分粒度(如0.2m*0.2m*0.01m，其中0.01m的坐标轴对应的是垂直于平面的方向)，从而基于关键要素的位置的不同而使用不同的体素分辨率。采样的过程中，每个体素中只保留一个点，具体地，可以保留体素内距离关键要素中心最远的点，从而得到构建的局部特征映射地图，且能够实现对关键要素的尺寸无损恢复。

步骤506，根据局部特征映射地图，获取对目标要素映射后的待优化特征点。

由于局部特征映射地图表征的是一种映射关系，因此，车载设备可以根据该映射关系，对目标要素进行映射，从而得到对目标要素映射后的待优化特征点。

在本实施例中，车载设备通过获取关键帧的位姿数据和关键要素的定位信息，并根据位姿数据和关键要素的定位信息，构建局部特征映射地图，进而根据局部特征映射地图，获取对目标要素映射后的待优化特征点，从而实现对目标要素的初步映射。

在一个实施例中，如图6所示，在步骤110中，对待优化特征点进行非线性优化处理，得到对目标要素重建的三维场景地图，具体可以包括：

步骤602，对目标要素的雷达点云信息进行平面拟合，得到拟合平面，最小化待优化特征点与拟合平面之间的第一距离。

其中，平面拟合可以采用随机抽样一致性算法(Random sample consensus，简称RANSAC)实现。具体地，车载设备通过对目标要素的雷达点云信息进行平面拟合，从而得到拟合平面，并最小化待优化特征点与拟合平面之间的第一距离，即将待优化特征点与拟合平面之间的第一距离作为优化项。

步骤604，将待优化特征点进行二维投影，得到二维投影定位信息，最小化二维投影定位信息与目标要素的二维定位信息之间的第二距离。

具体地，车载设备还可以将待优化特征点进行二维投影，从而得到二维投影定位信息，即将待优化特征点投影到图像空间中，从而恢复出一个二维投影定位信息。并最小化二维投影定位信息与目标要素的二维定位信息之间的第二距离，即将该二维投影定位信息与目标要素的二维定位信息之间的第二距离作为优化项。

步骤606，获取目标要素的参照方向，根据参照方向、最小化的第一距离和最小化的第二距离确定优化后的特征点。

由于目标要素在没有角点的感知信息时，存在如图7所示的多种表达方式，如图中的圆形70所示的方式，方形71所示的方式或方形72所示的方式。因此，本实施例可以基于参照方向对目标要素的方向进行约束，即约束目标要素横边的方向。其中，参照方向可以基于目标要素的实际场景而确定。例如，当目标要素为交通标志牌、交通灯牌时，其对应的横边通常与路面平行，因此，可以将路面方向确定为对应的参照方向。

具体地，可以通过图像采集设备与路面的标定，以及实时的位姿数据计算得到路面方向。还可以通过车道线算法中的结果得到路面方向。也可以通过导航地图(HD Map)得到路面方向。本实施例并不对此进行限定。

在本实施例中，车载设备通过获取目标要素的参照方向，从而可以根据参照方向、上述第一距离和第二距离对待优化特征点进行优化。即最小化第一距离和第二距离，并基于参照方向调整待优化特征点的方向，从而得到优化后的特征点。

步骤608，根据优化后的特征点得到对目标要素重建的三维场景地图。

具体地，车载设备根据优化后的特征点即可得到对目标要素重建的三维场景地图。

上述实施例中，车载设备通过对目标要素的雷达点云信息进行平面拟合，得到拟合平面，最小化待优化特征点与拟合平面之间的第一距离，将待优化特征点进行二维投影，得到二维投影定位信息，最小化二维投影定位信息与目标要素的二维定位信息之间的第二距离，并获取目标要素的参照方向，根据参照方向、最小化的第一距离和最小化的第二距离确定优化后的特征点，根据优化后的特征点得到对目标要素重建的三维场景地图，从而实现通过融合激光雷达点云数据和检测的目标要素的二维定位信息而对目标要素进行三维重建。

在一个实施例中，在得到对目标要素重建的三维场景地图之后，上述方法还可以包括：对重建的三维场景地图进行校验处理，得到校验处理后的目标三维场景地图。其中，校验处理可以是基于一定的校验规则或逻辑对三维场景地图中重建的目标要素的正确性进行识别，并删除不正确的要素或异常要素的过程。例如，以目标要素为交通标志牌来说，对于三维场景地图中高度较低的标志牌、尺寸不合理的标志牌、优化时误差较大的标志牌或者朝向与先验不符的标志牌，则可以认为是异常标志牌，因此，可以从三维场景地图中删除该标志牌。而对于具有嵌套关系的标志牌，则可以调整到同一平面中。以得到校验处理后的目标三维场景地图，从而进一步提高重建的准确度。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的地图要素重建方法的地图要素重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个地图要素重建装置实施例中的具体限定可以参见上文中对于地图要素重建方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种地图要素重建装置，包括：数据获取模块801、目标检测模块802、目标跟踪模块803、映射模块804和优化模块805，其中：

数据获取模块801，用于获取同一时刻的采集图像和激光雷达点云数据；

目标检测模块802，用于对所述采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息；

目标跟踪模块803，用于根据所述目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧；

映射模块804，用于根据所述关键帧，获取所述目标要素映射到三维坐标系下的待优化特征点；

优化模块805，用于对所述待优化特征点进行非线性优化处理，得到对所述目标要素重建的三维场景地图。

在一个实施例中，目标检测模块具体可以用于：对所述采集图像进行视觉感知检测，得到检测的目标要素的二维定位信息和语义信息；根据第一采集设备到达第二采集设备的外参，将所述激光雷达点云数据投影到所述采集图像；所述第一采集设备用于采集所述激光雷达点云数据，所述第二采集设备用于采集所述采集图像；提取投影后的所述采集图像中与所述目标要素对应的雷达点云信息。

在一个实施例中，目标跟踪模块具体用于：确定与所述采集图像具有时序关系的候选图像帧，获取所述候选图像帧中与所述目标要素的语义信息匹配的候选要素的二维定位信息和雷达点云信息；根据所述目标要素的二维定位信息、雷达点云信息以及所述候选要素的二维定位信息和雷达点云信息，确定所述目标要素与所述候选要素的相似度；根据所述相似度采用匈牙利算法确定与所述目标要素关联的候选要素，将关联的候选要素所对应的所述候选图像帧确定为关联的关键帧。

在一个实施例中，目标跟踪模块具体还用于：根据所述目标要素的二维定位信息与所述候选要素的二维定位信息，获取第一重叠度；获取所述候选要素的三维点云信息，根据所述目标要素的二维定位信息与所述候选要素的三维点云信息，获取第二重叠度；根据所述目标要素的雷达点云信息与所述候选要素的雷达点云信息，获取第三重叠度；对所述第一重叠度、第二重叠度和第三重叠度进行加权求和，得到所述目标要素与所述候选要素的相似度。

在一个实施例中，目标跟踪模块具体还用于：获取所述候选要素的三维点云信息，对所述三维点云信息进行二维投影，得到所述候选要素的二维投影信息；将所述候选要素的二维投影信息与所述目标要素的二维定位信息之间的重叠度，确定为第二重叠度。

在一个实施例中，目标跟踪模块具体还用于：对所述目标要素的雷达点云信息进行体素化处理，得到提取的第一体素特征；对所述候选要素的雷达点云信息进行体素化处理，得到提取的第二体素特征；将所述第一体素特征与所述第二体素特征之间的重叠度，确定为第三重叠度。

在一个实施例中，映射模块具体用于：获取所述关键帧的位姿数据和关键要素的定位信息；根据所述位姿数据和关键要素的定位信息，构建局部特征映射地图；根据所述局部特征映射地图，获取对所述目标要素映射后的待优化特征点。

在一个实施例中，优化模块具体用于：对所述目标要素的雷达点云信息进行平面拟合，得到拟合平面，最小化所述待优化特征点与所述拟合平面之间的第一距离；将所述待优化特征点进行二维投影，得到二维投影定位信息，最小化所述二维投影定位信息与所述目标要素的二维定位信息之间的第二距离；获取所述目标要素的参照方向，根据所述参照方向、最小化的第一距离和最小化的第二距离确定优化后的特征点；根据优化后的特征点得到对所述目标要素重建的三维场景地图。

在一个实施例中，所述装置还包括校验模块，具体用于：对所述重建的三维场景地图进行校验处理，得到校验处理后的目标三维场景地图。

上述地图要素重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是车载设备，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种地图要素重建方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取同一时刻的采集图像和激光雷达点云数据；

对所述采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息；

根据所述目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧；

根据所述关键帧，获取所述目标要素映射到三维坐标系下的待优化特征点；

对所述待优化特征点进行非线性优化处理，得到对所述目标要素重建的三维场景地图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述采集图像进行视觉感知检测，得到检测的目标要素的二维定位信息和语义信息；根据第一采集设备到达第二采集设备的外参，将所述激光雷达点云数据投影到所述采集图像；所述第一采集设备用于采集所述激光雷达点云数据，所述第二采集设备用于采集所述采集图像；提取投影后的所述采集图像中与所述目标要素对应的雷达点云信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定与所述采集图像具有时序关系的候选图像帧，获取所述候选图像帧中与所述目标要素的语义信息匹配的候选要素的二维定位信息和雷达点云信息；根据所述目标要素的二维定位信息、雷达点云信息以及所述候选要素的二维定位信息和雷达点云信息，确定所述目标要素与所述候选要素的相似度；根据所述相似度采用匈牙利算法确定与所述目标要素关联的候选要素，将关联的候选要素所对应的所述候选图像帧确定为关联的关键帧。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述目标要素的二维定位信息与所述候选要素的二维定位信息，获取第一重叠度；获取所述候选要素的三维点云信息，根据所述目标要素的二维定位信息与所述候选要素的三维点云信息，获取第二重叠度；根据所述目标要素的雷达点云信息与所述候选要素的雷达点云信息，获取第三重叠度；对所述第一重叠度、第二重叠度和第三重叠度进行加权求和，得到所述目标要素与所述候选要素的相似度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取所述候选要素的三维点云信息，对所述三维点云信息进行二维投影，得到所述候选要素的二维投影信息；将所述候选要素的二维投影信息与所述目标要素的二维定位信息之间的重叠度，确定为第二重叠度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述目标要素的雷达点云信息进行体素化处理，得到提取的第一体素特征；对所述候选要素的雷达点云信息进行体素化处理，得到提取的第二体素特征；将所述第一体素特征与所述第二体素特征之间的重叠度，确定为第三重叠度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取所述关键帧的位姿数据和关键要素的定位信息；根据所述位姿数据和关键要素的定位信息，构建局部特征映射地图；根据所述局部特征映射地图，获取对所述目标要素映射后的待优化特征点。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述目标要素的雷达点云信息进行平面拟合，得到拟合平面，最小化所述待优化特征点与所述拟合平面之间的第一距离；将所述待优化特征点进行二维投影，得到二维投影定位信息，最小化所述二维投影定位信息与所述目标要素的二维定位信息之间的第二距离；获取所述目标要素的参照方向，根据所述参照方向、最小化的第一距离和最小化的第二距离确定优化后的特征点；根据优化后的特征点得到对所述目标要素重建的三维场景地图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述重建的三维场景地图进行校验处理，得到校验处理后的目标三维场景地图。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取同一时刻的采集图像和激光雷达点云数据；

对所述采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息；

根据所述目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧；

根据所述关键帧，获取所述目标要素映射到三维坐标系下的待优化特征点；

对所述待优化特征点进行非线性优化处理，得到对所述目标要素重建的三维场景地图。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述采集图像进行视觉感知检测，得到检测的目标要素的二维定位信息和语义信息；根据第一采集设备到达第二采集设备的外参，将所述激光雷达点云数据投影到所述采集图像；所述第一采集设备用于采集所述激光雷达点云数据，所述第二采集设备用于采集所述采集图像；提取投影后的所述采集图像中与所述目标要素对应的雷达点云信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定与所述采集图像具有时序关系的候选图像帧，获取所述候选图像帧中与所述目标要素的语义信息匹配的候选要素的二维定位信息和雷达点云信息；根据所述目标要素的二维定位信息、雷达点云信息以及所述候选要素的二维定位信息和雷达点云信息，确定所述目标要素与所述候选要素的相似度；根据所述相似度采用匈牙利算法确定与所述目标要素关联的候选要素，将关联的候选要素所对应的所述候选图像帧确定为关联的关键帧。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述目标要素的二维定位信息与所述候选要素的二维定位信息，获取第一重叠度；获取所述候选要素的三维点云信息，根据所述目标要素的二维定位信息与所述候选要素的三维点云信息，获取第二重叠度；根据所述目标要素的雷达点云信息与所述候选要素的雷达点云信息，获取第三重叠度；对所述第一重叠度、第二重叠度和第三重叠度进行加权求和，得到所述目标要素与所述候选要素的相似度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述候选要素的三维点云信息，对所述三维点云信息进行二维投影，得到所述候选要素的二维投影信息；将所述候选要素的二维投影信息与所述目标要素的二维定位信息之间的重叠度，确定为第二重叠度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述目标要素的雷达点云信息进行体素化处理，得到提取的第一体素特征；对所述候选要素的雷达点云信息进行体素化处理，得到提取的第二体素特征；将所述第一体素特征与所述第二体素特征之间的重叠度，确定为第三重叠度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述关键帧的位姿数据和关键要素的定位信息；根据所述位姿数据和关键要素的定位信息，构建局部特征映射地图；根据所述局部特征映射地图，获取对所述目标要素映射后的待优化特征点。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述目标要素的雷达点云信息进行平面拟合，得到拟合平面，最小化所述待优化特征点与所述拟合平面之间的第一距离；将所述待优化特征点进行二维投影，得到二维投影定位信息，最小化所述二维投影定位信息与所述目标要素的二维定位信息之间的第二距离；获取所述目标要素的参照方向，根据所述参照方向、最小化的第一距离和最小化的第二距离确定优化后的特征点；根据优化后的特征点得到对所述目标要素重建的三维场景地图。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述重建的三维场景地图进行校验处理，得到校验处理后的目标三维场景地图。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取同一时刻的采集图像和激光雷达点云数据；

对所述采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息；

根据所述目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧；

根据所述关键帧，获取所述目标要素映射到三维坐标系下的待优化特征点；

对所述待优化特征点进行非线性优化处理，得到对所述目标要素重建的三维场景地图。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述采集图像进行视觉感知检测，得到检测的目标要素的二维定位信息和语义信息；根据第一采集设备到达第二采集设备的外参，将所述激光雷达点云数据投影到所述采集图像；所述第一采集设备用于采集所述激光雷达点云数据，所述第二采集设备用于采集所述采集图像；提取投影后的所述采集图像中与所述目标要素对应的雷达点云信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定与所述采集图像具有时序关系的候选图像帧，获取所述候选图像帧中与所述目标要素的语义信息匹配的候选要素的二维定位信息和雷达点云信息；根据所述目标要素的二维定位信息、雷达点云信息以及所述候选要素的二维定位信息和雷达点云信息，确定所述目标要素与所述候选要素的相似度；根据所述相似度采用匈牙利算法确定与所述目标要素关联的候选要素，将关联的候选要素所对应的所述候选图像帧确定为关联的关键帧。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述目标要素的二维定位信息与所述候选要素的二维定位信息，获取第一重叠度；获取所述候选要素的三维点云信息，根据所述目标要素的二维定位信息与所述候选要素的三维点云信息，获取第二重叠度；根据所述目标要素的雷达点云信息与所述候选要素的雷达点云信息，获取第三重叠度；对所述第一重叠度、第二重叠度和第三重叠度进行加权求和，得到所述目标要素与所述候选要素的相似度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述候选要素的三维点云信息，对所述三维点云信息进行二维投影，得到所述候选要素的二维投影信息；将所述候选要素的二维投影信息与所述目标要素的二维定位信息之间的重叠度，确定为第二重叠度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述目标要素的雷达点云信息进行体素化处理，得到提取的第一体素特征；对所述候选要素的雷达点云信息进行体素化处理，得到提取的第二体素特征；将所述第一体素特征与所述第二体素特征之间的重叠度，确定为第三重叠度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述关键帧的位姿数据和关键要素的定位信息；根据所述位姿数据和关键要素的定位信息，构建局部特征映射地图；根据所述局部特征映射地图，获取对所述目标要素映射后的待优化特征点。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述目标要素的雷达点云信息进行平面拟合，得到拟合平面，最小化所述待优化特征点与所述拟合平面之间的第一距离；将所述待优化特征点进行二维投影，得到二维投影定位信息，最小化所述二维投影定位信息与所述目标要素的二维定位信息之间的第二距离；获取所述目标要素的参照方向，根据所述参照方向、最小化的第一距离和最小化的第二距离确定优化后的特征点；根据优化后的特征点得到对所述目标要素重建的三维场景地图。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述重建的三维场景地图进行校验处理，得到校验处理后的目标三维场景地图。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种地图要素重建方法，其特征在于，所述方法包括：

获取同一时刻的采集图像和激光雷达点云数据；

对所述采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息；

根据所述目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧；

根据所述关键帧，获取所述目标要素映射到三维坐标系下的待优化特征点；

对所述待优化特征点进行非线性优化处理，得到对所述目标要素重建的三维场景地图。

2.根据权利要求1所述的方法，其特征在于，所述对所述采集图像和激光雷达点云数据进行目标检测，获取检测的目标要素的二维定位信息、语义信息和雷达点云信息，包括：

对所述采集图像进行视觉感知检测，得到检测的目标要素的二维定位信息和语义信息；

根据第一采集设备到达第二采集设备的外参，将所述激光雷达点云数据投影到所述采集图像；所述第一采集设备用于采集所述激光雷达点云数据，所述第二采集设备用于采集所述采集图像；

提取投影后的所述采集图像中与所述目标要素对应的雷达点云信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标要素的二维定位信息、语义信息和雷达点云信息进行目标跟踪，确定关联的关键帧，包括：

确定与所述采集图像具有时序关系的候选图像帧，获取所述候选图像帧中与所述目标要素的语义信息匹配的候选要素的二维定位信息和雷达点云信息；

根据所述目标要素的二维定位信息、雷达点云信息以及所述候选要素的二维定位信息和雷达点云信息，确定所述目标要素与所述候选要素的相似度；

根据所述相似度采用匈牙利算法确定与所述目标要素关联的候选要素，将关联的候选要素所对应的所述候选图像帧确定为关联的关键帧。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标要素的二维定位信息、雷达点云信息以及所述候选要素的二维定位信息和雷达点云信息，确定所述目标要素与所述候选要素的相似度，包括：

根据所述目标要素的二维定位信息与所述候选要素的二维定位信息，获取第一重叠度；

获取所述候选要素的三维点云信息，根据所述目标要素的二维定位信息与所述候选要素的三维点云信息，获取第二重叠度；

根据所述目标要素的雷达点云信息与所述候选要素的雷达点云信息，获取第三重叠度；

对所述第一重叠度、第二重叠度和第三重叠度进行加权求和，得到所述目标要素与所述候选要素的相似度。

5.根据权利要求4所述的方法，其特征在于，所述获取所述候选要素的三维点云信息，根据所述目标要素的二维定位信息与所述候选要素的三维点云信息，获取第二重叠度，包括：

获取所述候选要素的三维点云信息，对所述三维点云信息进行二维投影，得到所述候选要素的二维投影信息；

将所述候选要素的二维投影信息与所述目标要素的二维定位信息之间的重叠度，确定为第二重叠度。

6.根据权利要求4所述的方法，其特征在于，所述根据所述目标要素的雷达点云信息与所述候选要素的雷达点云信息，获取第三重叠度，包括：

对所述目标要素的雷达点云信息进行体素化处理，得到提取的第一体素特征；

对所述候选要素的雷达点云信息进行体素化处理，得到提取的第二体素特征；

将所述第一体素特征与所述第二体素特征之间的重叠度，确定为第三重叠度。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述关键帧，获取所述目标要素映射到三维坐标系下的待优化特征点，包括：

获取所述关键帧的位姿数据和关键要素的定位信息；

根据所述位姿数据和关键要素的定位信息，构建局部特征映射地图；

根据所述局部特征映射地图，获取对所述目标要素映射后的待优化特征点。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述对所述待优化特征点进行非线性优化处理，得到对所述目标要素重建的三维场景地图，包括：

对所述目标要素的雷达点云信息进行平面拟合，得到拟合平面，最小化所述待优化特征点与所述拟合平面之间的第一距离；

将所述待优化特征点进行二维投影，得到二维投影定位信息，最小化所述二维投影定位信息与所述目标要素的二维定位信息之间的第二距离；

获取所述目标要素的参照方向，根据所述参照方向、最小化的第一距离和最小化的第二距离确定优化后的特征点；

根据优化后的特征点得到对所述目标要素重建的三维场景地图。

9.根据权利要求至1至6任一项所述的方法，其特征在于，所述得到对所述目标要素重建的三维场景地图之后，所述方法还包括：

对所述重建的三维场景地图进行校验处理，得到校验处理后的目标三维场景地图。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。

Images