CN115223146A - 障碍物检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种障碍物检测方法、装置、计算机设备。方法包括：获取原始点云数据和图像数据，基于障碍物点云检测结果对原始点云数据进行第一障碍物检测得到第一障碍物检测结果；基于第一障碍物检测结果对原始点云数据进行过滤和聚类得到待识别物体点云数据，并对待识别物体点云数据进行投影得到图像数据中的待识别物体图像区域；分别提取待识别物体点云数据和待识别物体图像区域的特征得到点云特征和图像区域特征，将点云特征和图像区域特征进行特征融合得到融合特征；基于融合特征进行障碍物识别得到第二障碍物检测结果，将第一障碍物检测结果和第二障碍物检测结果进行合并得到目标障碍物检测结果。采用本方法能够提高障碍物的检测准确性。

Description

障碍物检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及自动驾驶技术领域，特别是涉及一种障碍物检测方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着自动驾驶技术的发展，需要检测自动驾驶车辆周围环境中的动静态障碍物，比如，动态的车、行人等，静态的锥桶等。根据这些障碍物的状态规划自动驾驶车辆的行驶路线和速度。现有的障碍物检测方法是根据激光雷达的点云数据进行三维障碍物检测，通过对点云数据提取特征然后进行检测。然而，现有的方法由于点云数据稀疏，导致距离较远的物体和体积较小的物体的点云数据不能准确反映物体形状，造成障碍物检测准确性低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高障碍物检测准确性的障碍物检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种障碍物检测方法。所述方法包括：

获取原始点云数据和原始点云数据对应的图像数据，基于原始点云数据进行第一障碍物检测，得到第一障碍物检测结果；

基于第一障碍物检测结果对原始点云数据进行过滤，得到已过滤点云数据，对已过滤点云数据进行聚类，得到待识别物体点云数据，并基于待识别物体点云数据进行投影，得到图像数据中与待识别物体点云数据对应的待识别物体图像区域；

分别提取待识别物体点云数据和待识别物体图像区域的特征，得到点云特征和图像区域特征，将点云特征和图像区域特征进行特征融合，得到融合特征；

基于融合特征进行第二障碍物识别，得到第二障碍物检测结果，将第一障碍物检测结果和第二障碍物检测结果进行合并，得到目标障碍物检测结果。

第二方面，本申请还提供了一种障碍物检测装置。所述装置包括：

初始检测模块，用于获取原始点云数据和所述原始点云数据对应的图像数据，基于所述原始点云数据进行第一障碍物检测，得到第一障碍物检测结果；

投影模块，用于基于所述第一障碍物检测结果对所述原始点云数据进行过滤，得到已过滤点云数据，对所述已过滤点云数据进行聚类，得到待识别物体点云数据，并基于所述待识别物体点云数据进行投影，得到所述图像数据中与所述待识别物体点云数据对应的待识别物体图像区域；

特征融合模块，用于分别提取所述待识别物体点云数据和所述待识别物体图像区域的特征，得到点云特征和图像区域特征，将所述点云特征和所述图像区域特征进行特征融合，得到融合特征；

结果合并模块，用于基于所述融合特征进行第二障碍物识别，得到第二障碍物检测结果，将所述第一障碍物检测结果和所述第二障碍物检测结果进行合并，得到目标障碍物检测结果。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取原始点云数据和原始点云数据对应的图像数据，基于原始点云数据进行第一障碍物检测，得到第一障碍物检测结果；

基于第一障碍物检测结果对原始点云数据进行过滤，得到已过滤点云数据，对已过滤点云数据进行聚类，得到待识别物体点云数据，并基于待识别物体点云数据进行投影，得到图像数据中与待识别物体点云数据对应的待识别物体图像区域；

分别提取待识别物体点云数据和待识别物体图像区域的特征，得到点云特征和图像区域特征，将点云特征和图像区域特征进行特征融合，得到融合特征；

基于融合特征进行第二障碍物识别，得到第二障碍物检测结果，将第一障碍物检测结果和第二障碍物检测结果进行合并，得到目标障碍物检测结果。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取原始点云数据和原始点云数据对应的图像数据，基于原始点云数据进行第一障碍物检测，得到第一障碍物检测结果；

基于第一障碍物检测结果对原始点云数据进行过滤，得到已过滤点云数据，对已过滤点云数据进行聚类，得到待识别物体点云数据，并基于待识别物体点云数据进行投影，得到图像数据中与待识别物体点云数据对应的待识别物体图像区域；

分别提取待识别物体点云数据和待识别物体图像区域的特征，得到点云特征和图像区域特征，将点云特征和图像区域特征进行特征融合，得到融合特征；

基于融合特征进行第二障碍物识别，得到第二障碍物检测结果，将第一障碍物检测结果和第二障碍物检测结果进行合并，得到目标障碍物检测结果。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取原始点云数据和原始点云数据对应的图像数据，基于原始点云数据进行第一障碍物检测，得到第一障碍物检测结果；

基于第一障碍物检测结果对原始点云数据进行过滤，得到已过滤点云数据，对已过滤点云数据进行聚类，得到待识别物体点云数据，并基于待识别物体点云数据进行投影，得到图像数据中与待识别物体点云数据对应的待识别物体图像区域；

分别提取待识别物体点云数据和待识别物体图像区域的特征，得到点云特征和图像区域特征，将点云特征和图像区域特征进行特征融合，得到融合特征；

基于融合特征进行第二障碍物识别，得到第二障碍物检测结果，将第一障碍物检测结果和第二障碍物检测结果进行合并，得到目标障碍物检测结果。

上述障碍物检测方法、装置、计算机设备、存储介质和计算机程序产品，通过使用原始点云数据进行第一障碍物检测，得到第一障碍物检测结果。然后根据第一障碍物检测结果对原始点云数据进行过滤、对已过滤点云数据进行聚类，得到待识别物体点云数据，并使用待识别物体点云数据进行投影得到待识别物体图像区域。通过对待识别物体点云数据和待识别物体图像区域进行特征提取，然后将点云特征和图像区与特征进行融合得到融合特征，能够实现多个检测数据的互补，使用融合特征进行障碍物检测能提高对障碍物的检出率，避免漏检，得到的障碍物融合检测结果更准确。进一步地，将第一障碍物检测结果和第二障碍物检测结果进行合并，使得到目标障碍物检测结果更准确和完整，从而提高了对障碍物检测的准确性。

附图说明

图1为一个实施例中障碍物检测方法的应用环境图；

图2为一个实施例中障碍物检测方法的流程示意图；

图3为一个实施例中点云数据处理的流程示意图；

图4为一个实施例中特征融合过程的示意图；

图5为一个实施例中获得目标障碍物检测结果的流程示意图；

图6为一个实施例中障碍物检测的流程示意图；

图7为一个实施例中障碍物检测装置的结构框图；

图8为一个实施例中计算机设备的内部结构图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的障碍物检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信，数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。运动载体的终端获取原始点云数据和原始点云数据对应的图像数据，基于原始点云数据进行第一障碍物检测，得到第一障碍物检测结果；运动载体终端基于第一障碍物检测结果对原始点云数据进行过滤，得到已过滤点云数据，对已过滤点云数据进行聚类，得到待识别物体点云数据，并基于待识别物体点云数据进行投影，得到图像数据中与待识别物体点云数据对应的待识别物体图像区域；运动载体终端分别提取待识别物体点云数据和待识别物体图像区域的特征，得到点云特征和图像区域特征，将点云特征和图像区域特征进行特征融合，得到融合特征；运动载体终端基于融合特征进行第二障碍物识别，得到第二障碍物检测结果，将第一障碍物检测结果和第二障碍物检测结果进行合并，得到目标障碍物检测结果，然后运动载体的终端102从服务器104获取到运动路径，根据运动路径和目标障碍物检测结果确定新的运动路径。其中，终端102可以是自动驾驶终端，在一个实施例中，终端102可以是无人驾驶车辆，或者是具有自动驾驶能力的有人驾驶车辆。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种障碍物检测方法，以该方法应用于图1中的运动载体终端为例进行说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤202，获取原始点云数据和所述原始点云数据对应的图像数据，基于所述原始点云数据进行第一障碍物检测，得到第一障碍物检测结果。

其中，原始点云数据是指采集到的运动载体周围环境的原始的点云数据，周围环境可以包括障碍物。图像数据是指采集到的运动载体周围环境的原始的图像。运动载体是指可运动的对象，该运动载体可以是无人驾驶的运动载体，也可以是有人驾驶的运动载体。第一障碍物检测是指使用原始点云数据进行的障碍物检测。第一障碍物检测结果是指对原始点云数据进行障碍物检测得到的障碍物识别结果，该障碍物识别结果包括检测出的障碍物类别信息和位置信息。

具体地，运动载体装配有点云数据采集设备和图像采集设备，运动载体终端可以通过点云数据采集设备获取运动载体周围环境的原始点云数据，并通过图像采集设备获取运动载体周围的图像数据。运动载体可以是车辆、飞行器、机器人等。然后运动载体终端提取原始点云数据的特征，然后对提取的特征进行障碍物的分类识别，得到原始点云数据的特征对应的障碍物的类别以及障碍物在原始点云数据中的空间位置。运动载体终端将障碍物的类别和障碍物在原始点云数据中的空间位置作为第一障碍物检测结果。然后运动载体终端将第一障碍物检测结果存储到本地，以便后续进行融合处理。

步骤204，基于所述第一障碍物检测结果对所述原始点云数据进行过滤，得到已过滤点云数据，对所述已过滤点云数据进行聚类，得到待识别物体点云数据，并基于所述待识别物体点云数据进行投影，得到所述图像数据中与所述待识别物体点云数据对应的待识别物体图像区域。

其中，已过滤点云数据是指对原始点云数据进行过滤后剩余的点云数据。聚类是指将点云数据进行聚合得到的点云簇。待识别物体点云数据是表征待识别物体的点云簇，不同的点云簇可以表征不同的待识别物体，待识别物体点云数据是原始点云数据中的部分点云数据。投影是指将待识别物体点云数据将第二目标物体点云数据的三维点云数据投影到二维平面来获得点云投影数据的过程，点云投影数据是指点云数据投影到二维平面的数据，点云投影数据以二维数据的形式存在。在一个实施例中，将点云数据投影到图像数据相同的二维坐标系获得对应的点云投影数据。待识别物体图像区域是指图像数据中待识别物体所在的图像区域。

具体地，运动载体终端根据第一障碍物检测结果确定原始点云数据中检测出的障碍物对应的点云数据，然后对原始点云数据中检测出的障碍物的点云数据进行过滤，得到剩余需要进行聚类的已过滤点云数据。运动载体终端使用聚类算法对已过滤点云数据进行聚合，得到点云簇，将点云簇作为待识别物体点云数据。然后运动载体终端根据待识别物体点云数据的三维坐标将待识别物体点云数据投影到图像数据中，得到待识别物体点云数据对应的投影区域，根据投影区域得到图像数据中与待识别物体点云数据对应的待识别物体图像区域。

步骤206，分别提取所述待识别物体点云数据和所述待识别物体图像区域的特征，将点云特征和图像区域特征进行特征融合，得到融合特征。

其中，点云特征是指待识别物体点云数据对应的特征，通过特征向量表示。图像区域特征是指待识别物体图像区域对应的特征，通过特征向量表示。融合特征是将点云特征和图像数据特征进行融合得到的特征特。

具体地，运动载体终端可以使用预先训练好的神经网络模型分别提取待识别物体点云数据和待识别物体图像区域的特征，得到点云特征和图像区域特征。然后运动载体终端将点云特征与图像区域特征进行特征融合，其中，特征融合可以是直接将点云特征对应的特征向量与图像区域特征对应的特征向量进行拼接，也可以对点云特征的向量与图像区域特征的向量进行向量运算，得到融合特征。神经网络模型可以是预先使用训练数据进行训练得到的。训练数据可以是经过标签化得到的点云数据和图像数据。

步骤208，基于融合特征进行第二障碍物识别，得到第二障碍物检测结果，将第一障碍物检测结果和第二障碍物检测结果进行合并，得到目标障碍物检测结果。

其中，第二障碍物识别是指对融合特征进行的障碍物识别。第二障碍物检测结果是指对融合特征进行检测得到的障碍物识别结果。目标障碍物检测结果是指最终得到的运动载体周围环境是否存在障碍物和障碍物识别的检测结果。

具体地，运动载体终端使用对融合特征进行障碍物分类识别，得到融合特征对应的障碍物的类别以及障碍物的空间位置，将障碍物的类别以及障碍物的空间位置作为第二障碍物检测结果。然后运动载体终端将第一障碍物检测结果和第二障碍物检测结果进行融合处理，将第一障碍物检测结果中障碍物的空间位置和第二障碍物检测结果中障碍物的空间位置进行合并，得到运动载体周围环境中对各个障碍物进行检测的目标障碍物检测结果。

上述障碍物检测方法中，通过使用原始点云数据进行第一障碍物检测，得到第一障碍物检测结果。然后根据第一障碍物检测结果对原始点云数据进行过滤、对已过滤点云数据进行聚类，得到待识别物体点云数据，并使用待识别物体点云数据进行投影得到待识别物体图像区域。通过对待识别物体点云数据和待识别物体图像区域进行特征提取，然后将点云特征和图像区与特征进行融合得到融合特征，能够实现多个检测数据的互补，使用融合特征进行障碍物检测能提高对障碍物的检出率，避免漏检，得到的障碍物融合检测结果更准确。进一步地，将第一障碍物检测结果和第二障碍物检测结果进行合并，使得到目标障碍物检测结果更准确和完整，从而提高了对障碍物检测的准确性。

在一个实施例中，如图3所示，提供一种点云数据处理的流程示意图，步骤204，基于障碍物点云检测结果对原始点云数据进行障碍物聚类，得到障碍物点云数据，并基于障碍物点云数据进行投影，得到图像数据中与障碍物点云数据对应的障碍物图像区域，包括：

步骤302，基于所述第一障碍物检测结果在所述原始点云数据中确定第一障碍物点云数据，对所述第一障碍物点云数据进行过滤，得到所述已过滤点云数据；

步骤304，基于已过滤点云数据进行聚类计算，得到待识别物体点云数据；

步骤306，基于预设点云投影标定参数将待识别物体点云数据进行投影计算，得到投影图像，基于投影图像得到图像数据中与待识别物体点云数据对应的待识别物体图像区域。

其中，已过滤点云数据是指对原始点云数据中已经检测出来的障碍物点云数据进行过滤后剩余的点云数据，障碍物点云检测结果中检测出的障碍物点云数据可以包括检测出的障碍物点云数据和地面点云数据。预设点云投影标定参数是指预先设置好的点云数据所在坐标系与图像数据所在坐标系之间的转换参数，用于将待识别物体点云数据投影到图像数据所在的坐标系中。点云数据所在坐标系是三维空间坐标系，图像数据所在坐标系是二维坐标系。投影图像是指待识别物体点云数据在图像数据所在的坐标系中的投影区域。

具体地，运动载体终端可以使用地面点识别算法，比如，点云语义分割模型分割地面点、传统几何方法等识别原始点云数据中的地面点云数据，点云语义分割模型是一个对点云数据进行语义分割的神经网络模型。运动载体终端可以根据障碍物点云检测结果在原始点云数据中确定检测出的障碍物对应的点云数据。运动载体终端也可以使用深度学习算法对原始点云数据进行障碍物和地面的检测，得到障碍物对应的点云数据和地面点云数据。然后运动载体终端对原始点云数据中的地面点云数据和障碍物点云数据进行过滤，得到已过滤点云数据。运动载体终端根据已过滤点云数据中各个三维点数据的坐标距离划分出疑似障碍物区域，然后将划分出的疑似障碍物区域中的点云数据进行聚类计算，可以使用欧式聚类算法等将疑似障碍物区域中的点云数据聚合成点云簇，得到待识别物体点云数据，表示运动载体终端在进行第一障碍物检测时未检测出的可能存在障碍物的点云数据。然后运动载体终端对每个点云簇的三维包围框进行估计，可以使用包围框估计算法，比如主成分分析拟合矩形、基于搜索算法拟合矩形等，得到待识别物体点云数据对应的三维包围框，表示待识别物体点云数据的空间位置。

然后运动载体终端获取预先存储的点云投影标定参数，点云投影标定参数可以包括相机的内参、相机和激光雷达之间的外参。内参和外参可以是预先通过标定算法获得的。运动载体终端可以通过相机采集图像数据，通过激光雷达采集点云数据。然后运动载体终端可以获取待识别物体点云数据对应的三维包围框的八个顶点坐标，通过相机和激光雷达的内参矩阵和外参矩阵将三维包围框的八个顶点坐标投影到图像数据中，然后获取最小、最大的行、列坐标，组成采集到的图像数据中投影后的二维框，将采集到的图像数据中的二维框和二维框中的数据作为待识别物体图像数据区域，运动载体终端也可以获取投影后的二维框内的图像数据，将获取的二维框内的图像数据作为待识别物体图像区域。

本实施例中，通过根据第一障碍物检测结果对原始点云数据中检测出的障碍物的点云数据和地面点云数据进行过滤，然后通过对剩下的点云数据进行聚类，可以得到第一障碍物检测时可能遗漏的障碍物点云数据，从而能够及时将遗漏的障碍物召回，提高了对障碍物检测的准确性。然后使用聚类后的待识别物体点云数据投影到图像数据中，得到待识别物体图像区域，以使后续能够使用待识别物体点云数据和待识别物体图像区域进行特征融合和障碍物检测。并且相比于使用原始点云数据和图像数据进行障碍物检测，能够减少障碍物检测的计算量，从而提高了障碍物检测效率。

在一个实施例中，障碍物点云数据包括至少两个，运动载体终端对已过滤点云数据进行聚类后得到至少两个待识别物体点云数据，通过点云投影标定参数将至少两个待识别物体点云数据分别投影在图像数据中，得到至少两个待识别物体点云数据在图像数据中分别对应的待识别物体图像区域。然后运动载体终端将至少两个待识别物体点云数据分别经过点云特征提取网络得到至少两个点云特征。运动载体终端将至少两个待识别物体图像区域分别经过图像特征提取网络得到至少两个图像区域特征。点云特征提取网络和图像特征提取网络均可以是轻量级神经网络。然后运动载体终端将至少两个点云特征分别与其对应的图像区域特征进行拼接，得到至少两个融合特征。然后运动载体终端使用障碍物检测算法分别对至少两个融合特征进行障碍物检测，得到当前至少两个融合特征对应的第二障碍物检测结果，包括至少两个障碍物对应的类别和空间位置。障碍物检测算法可以是pointnet++模型(处理点云数据的深度学习模型)。然后运动载体终端将第一障碍物检测结果和第二障碍物检测结果进行融合处理，确定障碍物的在运动载体周围环境的空间位置和类别，得到目标障碍物检测结果。

本实施例中，当待识别物体点云数据包括至少两个时，通过使用多个待识别物体点云数据进行投影，得到多个待识别物体图像区域，然后使用多个待识别物体点云数据和多个待识别物体图像区域进行特征融合，然后进行障碍物检测，能够提高障碍物的检出率，包括对小物体和远距离物体的检出率，避免漏检，从而提高了障碍物的检测准确性。

在一个实施例中，步骤206，分别提取待识别物体点云数据和待识别物体图像区域的特征，得到点云特征和图像区域特征，包括：

从已过滤点云数据中获取待识别物体点云数据，并提取待识别物体点云数据对应的特征，得到点云特征；

从图像数据中提取出待识别物体图像区域对应的待识别物体图像数据，并提取待识别物体图像数据对应的特征，得到图像区域特征。

其中，待识别物体图像数据是指待识别物体图像区域中的图像数据，可以是采集的图像数据中的部分图像数据。

具体地，运动载体终端可以对已过滤点云数据中的待识别物体点云数据进行分割，分割出的待识别物体点云数据作为已过滤点云数据的局部点云数据，使用预先训练好的特征提取网络模型对局部点云数据进行特征提取，得到点云特征。然后运动载体终端在图像数据中确定待识别物体点云数据对应的待识别物体图像区域，对采集的图像数据中的待识别物体图像区域进行分割，得到待识别物体图像区域对应的待识别物体图像数据，待识别物体图像数据作为采集的图像数据的局部图像数据，并使用预先训练好的特征提取网络模型对局部图像数据进行特征提取，得到图像区域特征。

在一个具体实施例中，运动载体终端对已过滤点云数据进行聚类，得到待识别物体点云数据，然后提取待识别物体点云数据对应的局部点云数据，对提取的局部点云进行特征提取并进行三维包围框估计，得到局部点云数据对应的点云特征和三维包围框。然后将待识别物体点云数据对应的三维包围框投影到图像数据所在的坐标系中，得到待识别物体点云数据对应的投影区域，根据投影区域在图像数据中确定对应的图像区域，即待识别物体图像区域，然后运动载体终端提取待识别物体图像区域中的待识别物体图像数据，将待识别物体图像数据作为局部图像数据，并对局部图像数据进行特征提取，得到局部图像数据对应图像区域特征。

本实施例中，通过提取局部点云数据和局部图像数据，并使用局部点云数据和局部图像数据进行特征提取以及后续的特征融合，能够降低计算量，节省算力，从而提高对障碍物检测的效率。

在一个实施例中，点云特征包括至少一个三维点特征；步骤206，将点云特征和图像区域特征进行特征融合，得到融合特征，包括：

将图像区域特征对应的图像特征向量分别与点云特征中各个三维点对应的点特征向量进行拼接，得到各个三维点融合特征向量，将各个三维点融合特征向量作为融合特征数据。

其中，三维点特征是指组成点云特征的三维点对应的特征。三维点融合特征是指融合后得到的三维点特征。图像特征向量是指图像区域的图像数据对应的特征向量。点特征向量是指三维点对应的特征向量

具体地，运动载体终端将待识别物体图像区域经过图像特征提取网络得到的图像区域特征可以是特征向量。运动载体终端将障碍物点云数据经过点云特征提取网络得到的点云特征可以是特征向量，包括点云特征中各个三维点的特征向量。然后运动载体终端将图像区域特征的特征向量分别与点云特征中各个三维点的特征向量进行拼接，得到各个三维点融合后的特征向量，即各个三维点融合特征，运动载体终端将各个三维点融合特征作为融合特征数据。

在一个具体实施例中，如图4所示，提供一种特征融合过程的示意图；局部图像为障碍物图像区域，是(H*W)维向量数据，局部点云为障碍物点云数据，是(N*C1)维向量数据，C表示维度。局部图像经过图像特征提取网络后得到的特征表示为1*C3维向量，局部点云经过点云特征提取网络后，点云特征中的每个点都获得特征向量，整体表示为(N*C2)维向量数据。然后将1*C3维向量分别与每个点的特征向量进行拼接，得到每个点融合后的特征向量，整体表示为(N*(C2+C3))维向量数据，比如，两个128维的向量拼接在一起，得到256维的融合向量。然后运动载体终端通过全连接层对(N*(C2+C3))维向量数据进行预测，每个点均预测一个所属的带类别的三维包围框，然后运动载体终端可以去除重叠度高的重复三维包围框，得到了目标检测结果。

本实施例中，通过将局部点云和局部图像分别经过轻量级神经网络提取特征后，进行特征图的深度融合后，得到融合特征，以使后续对融合特征进行障碍物检测，能减少障碍物检测的计算量，并且通过使用点云数据和图像数据进行特征融合能实现障碍物信息互补，从而提高了对障碍物的检测准确性。

在一个实施例中，如图5所示，提供一种获得目标障碍物检测结果的流程示意图；步骤208，将第一障碍物检测结果和第二障碍物检测结果进行合并，得到目标障碍物检测结果，包括：

步骤502，从第一障碍物检测结果中确定点云障碍物框选信息，并从第二障碍物检测结果中确定融合障碍物框选信息；

步骤504，将点云障碍物框选信息和融合障碍物框选信息进行合并，得到目标障碍物框选信息；

步骤506，基于所述目标障碍物框选信息得到目标障碍物检测结果。

其中，点云障碍物框选信息是指根据原始点云数据确定的障碍物在三维空间中的位置，通过三维包围框的形式展示。融合障碍物框选信息是指根据融合特征确定障碍物图在三维空间的位置，通过三维包围框的形式展示。目标障碍物框选信息是指将点云障碍物框选信息和融合障碍物框选信息进行合并得到的所有障碍物对应的框选信息。

具体地，运动载体终端获取第一障碍物检测结果中所有的障碍物的三维包围框作为点云障碍物框选信息，并获取第二障碍物检测结果中所有的障碍物的三维包围框作为融合障碍物框选信息，障碍物的三维包围框均标记有障碍物类别。然后运动载体终端根据将点云障碍物框选信息和融合障碍物框选信息进行合并处理，得到目标障碍物框选信息，表示在运动载体对应的环境点云数据中同时显示点云障碍物框选信息和融合障碍物框选信息，得到运动载体对应的环境点云数据中所有障碍物对应的框选信息。然后运动载体终端根据目标障碍物框选信息生成目标障碍物检测结果，包括对运动载体周围环境中存在的所有的障碍物类别和空间位置。

在一个具体实施例中，当运动载体检测到合并后的障碍物框选信息中存在重叠度较高或重叠度一致的三维包围框时，运动载体终端可以直接使用非极大值抑制方法过滤重叠度高的重复三维包围框，得到目标障碍物框选信息，根据目标障碍物框选信息生成目标障碍物检测结果。然后运动载体终端可以根据目标障碍物检测结果规划运动载体的运动路线和运动速度。

本实施例中，通过将障碍物点云检测结果和障碍物融合检测结果进行合并然后过滤重叠度高的重复三维包围框，能够将障碍物点云检测结果中漏检的障碍物召回，从而提高了对障碍物的检测完整性和准确性。

在一个实施例中，步骤202，获取原始点云数据和原始点云数据对应的图像数据，包括：

在当前时间点通过点云数据采集装置采集目标范围对应的点云数据，得到原始点云数据；

在当前时间点通过图像采集装置采集目标范围对应的图像信息，得到原始点云数据对应的图像数据。

其中，当前时间点是指运动载体进行数据采集的时间点。

具体地，运动载体装配有点云数据采集装置和图像采集装置，点云数据采集装置可以是激光雷达设备，图像采集装置可以是相机设备。在运动载体运动过程中，运动载体终端通过点云数据采集装置采集当前时间点对应的运动载体周围环境的当前帧的原始点云数据，得到原始点云数据。周围环境可以是运动载体360范围的周围环境。运动载体终端通过图像采集装置采集当前时间点对应的运动载体周围环境的图像信息，得到原始点云数据对应的图像数据。

在一个具体的实施例中，可以使用训练好的障碍物检测模型进行障碍物检测，具体来说：

获取原始点云数据和原始点云数据对应的图像数据。将原始点云数据和原始点云数据对应的图像数据输入到障碍物检测模型中，障碍物检测模型通过对原始点云数据进行第一障碍物检测，得到第一障碍物检测结果；基于第一障碍物检测结果对原始点云数据进行过滤，得到已过滤点云数据，对已过滤点云数据进行聚类，得到待识别物体点云数据，并基于待识别物体点云数据进行投影，得到图像数据中与待识别物体点云数据对应的待识别物体图像区域；分别提取待识别物体点云数据和待识别物体图像区域的特征，得到点云特征和图像区域特征，将点云特征和图像区域特征进行特征融合，得到融合特征；基于融合特征进行第二障碍物识别，得到第二障碍物检测结果，将第一障碍物检测结果和第二障碍物检测结果进行合并，得到目标障碍物检测结果。

其中，该障碍物检测模型是使用卷积神经网络建立模型参数初始化的障碍物检测模型，然后使用训练数据和对应的障碍物标签进行训练得到的，具体来说：

将训练数据中的训练原始点云数据和训练原始点云数据对应的训练图像数据输入到模型参数初始化的障碍物检测模型中，通过模型参数初始化的障碍物检测模型对训练原始点云数据进行第一障碍物检测，得到训练第一障碍物检测结果；基于训练第一障碍物检测结果对训练原始点云数据进行过滤，得到训练已过滤点云数据，对训练已过滤点云数据进行聚类，得到训练待识别物体点云数据，并基于训练待识别物体点云数据进行投影，得到训练图像数据中与训练待识别物体点云数据对应的训练待识别物体图像区域；分别提取训练待识别物体点云数据和训练待识别物体图像区域的特征，得到训练点云特征和训练图像区域特征，将训练点云特征和训练图像区域特征进行特征融合，得到训练融合特征；基于训练融合特征进行第二障碍物识别，得到训练第二障碍物检测结果，将训练第一障碍物检测结果和训练第二障碍物检测结果进行合并，得到输出的初始目标障碍物检测结果。

使用损失函数计算初始目标障碍物检测结果与障碍物标签之间的损失信息，基于损失信息反向更新初始化的模型参数，得到更新的障碍物检测模型，并不断进行训练迭代，直到达到训练完成条件，比如，损失信息达到预设损失阈值、模型迭代达到最大迭代次数或者模型参数不再发生变化等，将达到训练完成条件的障碍物检测模型作为最终训练好的障碍物检测模型，并进行部署使用。

在一个具体实施例中，如图6所示，提供一种障碍物检测的流程示意图；

自动驾驶车辆在行驶过程中，车载运动载体终端从激光雷达中获取当前帧360度范围的原始点云数据，从6个相机中获取自动驾驶车辆周围360度的图像数据。车载运动载体终端将采集到的原始点云数据经过卷积神经网络提取特征，然后使用深度学习网络模型对提取的特征进行障碍物检测得到障碍物点云检测结果，深度学习网络模型可以是Birdeye view，Cylinder view，3D voxel，PointNet等可进行全帧点云检测的网络模型。

然后车载运动载体终端过滤原始点云数据中的障碍物点云数据和地面点云数据，然后将剩下的点云数据进行聚类得到多个聚类点云簇，车载运动载体终端提取多个聚类簇并使用包围框估计算法估计每个聚类点云簇的三维包围框，得到多个未分类的待识别物体点云数据对应的局部点云及其对应的三维包围框。车载运动载体终端利用激光雷达和图像的标定参数，将多个聚类后的未分类的局部点云的三维包围框分别投影至图像数据并扣取投影区域的图像数据，得到待识别物体图像区域对应的局部图像。运动载体终端将局部点云和局部图像分别经过轻量级神经网络提取特征后，将提取得到的点云特征和图像区域特征进行深度融合，得到融合特征。运动载体终端使用pointnet++等模型对融合特征进行障碍物检测，得到障碍物融合检测结果。

车载运动载体终端将第一障碍物检测结果和第一障碍物检测结果进行融合，当检测到存在重叠度较高的三维包围框时，使用非极大值抑制等算法对重叠的包围框进行去重，得到目标障碍物框选信息，并得到最终的目标障碍物检测结果。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的障碍物检测方法的障碍物检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个障碍物检测装置实施例中的具体限定可以参见上文中对于障碍物检测方法的限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种障碍物检测装置700，包括：初始检测模块702、投影模块704、特征融合模块706和结果合并模块708，其中：

初始检测模块702，用于获取原始点云数据和原始点云数据对应的图像数据，基于原始点云数据进行第一障碍物检测，得到第一障碍物检测结果；

投影模块704，用于基于第一障碍物检测结果对原始点云数据进行过滤，得到已过滤点云数据，对已过滤点云数据进行聚类，得到待识别物体点云数据，并基于待识别物体点云数据进行投影，得到图像数据中与待识别物体点云数据对应的待识别物体图像区域；

特征融合模块706，用于分别提取待识别物体点云数据和待识别物体图像区域的特征，得到点云特征和图像区域特征，将点云特征和图像区域特征进行特征融合，得到融合特征；

结果合并模块708，用于基于融合特征进行第二障碍物识别，得到第二障碍物检测结果，将第一障碍物检测结果和第二障碍物检测结果进行合并，得到目标障碍物检测结果。

在一个实施例中，投影模块704，包括：

点云处理单元，用于基于第一障碍物检测结果在原始点云数据中确定第一障碍物点云数据，对第一障碍物点云数据进行过滤，得到已过滤点云数据；基于已过滤点云数据进行聚类计算，得到待识别物体点云数据；基于预设点云投影标定参数将待识别物体点云数据进行投影计算，得到与待识别物体点云数据对应的投影图像，基于投影图像得到图像数据中的待识别物体图像区域。

在一个实施例中，障碍物检测装置700，还包括：

局部提取单元，用于从已过滤点云数据中获取待识别物体点云数据，并提取待识别物体点云数据对应的特征，得到点云特征；从图像数据中提取出待识别物体图像区域对应的待识别物体图像数据，并提取待识别物体图像数据对应的特征，得到图像区域特征。

在一个实施例中，特征融合模块706，包括：

特征拼接单元，用于将图像区域特征对应的图像特征向量分别与点云特征中各个三维点特征对应的点特征向量进行拼接，得到各个三维点融合特征向量，将各个三维点融合特征向量作为融合特征。

在一个实施例中，结果合并模块708，包括：

框选信息处理单元，用于从第一障碍物检测结果中确定点云障碍物框选信息，并从第二障碍物检测结果中确定融合障碍物框选信息；将点云障碍物框选信息和融合障碍物框选信息进行合并，得到目标障碍物框选信息；基于所述目标障碍物框选信息得到目标障碍物检测结果。

在一个实施例中，初始检测模块702，包括：

采集单元，用于在当前时间点通过点云数据采集装置采集目标范围对应的点云数据，得到原始点云数据；在当前时间点通过图像采集装置采集目标范围对应的图像信息，得到原始点云数据对应的图像数据。

上述障碍物检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储点云数据、图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的运动载体终端通过网络连接通信。该计算机程序被处理器执行时以实现一种障碍物检测方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是运动载体终端，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的运动载体终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种障碍物检测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8-图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种障碍物检测方法，其特征在于，所述方法包括：

获取原始点云数据和所述原始点云数据对应的图像数据，基于所述原始点云数据进行第一障碍物检测，得到第一障碍物检测结果；

基于所述第一障碍物检测结果对所述原始点云数据进行过滤，得到已过滤点云数据，对所述已过滤点云数据进行聚类，得到待识别物体点云数据，并基于所述待识别物体点云数据进行投影，得到所述图像数据中与所述待识别物体点云数据对应的待识别物体图像区域；

分别提取所述待识别物体点云数据和所述待识别物体图像区域的特征，得到点云特征和图像区域特征，将所述点云特征和所述图像区域特征进行特征融合，得到融合特征；

基于所述融合特征进行第二障碍物识别，得到第二障碍物检测结果，将所述第一障碍物检测结果和所述第二障碍物检测结果进行合并，得到目标障碍物检测结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一障碍物检测结果对所述原始点云数据进行过滤，得到已过滤点云数据，对所述已过滤点云数据进行聚类，得到待识别物体点云数据，并基于所述待识别物体点云数据进行投影，得到所述图像数据中与所述待识别物体点云数据对应的待识别物体图像区域，包括：

基于所述第一障碍物检测结果在所述原始点云数据中确定第一障碍物点云数据，对所述第一障碍物点云数据进行过滤，得到所述已过滤点云数据；

基于所述已过滤点云数据进行聚类计算，得到所述待识别物体点云数据；

基于预设点云投影标定参数将所述待识别物体点云数据进行投影计算，得到与所述待识别物体点云数据对应的投影图像，基于所述投影图像得到所述图像数据中的待识别物体图像区域。

3.根据权利要求1所述的方法，其特征在于，所述分别提取所述待识别物体点云数据和所述待识别物体图像区域的特征，得到点云特征和图像区域特征，包括：

从所述已过滤点云数据中获取所述待识别物体点云数据，并提取所述待识别物体点云数据对应的特征，得到所述点云特征；

从所述图像数据中提取出所述待识别物体图像区域对应的待识别物体图像数据，并提取所述待识别物体图像数据对应的特征，得到所述图像区域特征。

4.根据权利要求1所述的方法，其特征在于，所述点云特征包括至少一个三维点特征；所述将所述点云特征和所述图像区域特征进行特征融合，得到融合特征，包括：

将所述图像区域特征对应的图像特征向量分别与所述点云特征中各个三维点特征对应的点特征向量进行拼接，得到各个三维点融合特征向量，将所述各个三维点融合特征向量作为所述融合特征。

5.根据权利要求1所述的方法，其特征在于，所述将所述第一障碍物检测结果和所述第二障碍物检测结果进行合并，得到目标障碍物检测结果，包括：

从所述第一障碍物检测结果中确定点云障碍物框选信息，并从所述第二障碍物检测结果中确定融合障碍物框选信息；

将所述点云障碍物框选信息和融合障碍物框选信息进行合并，得到目标障碍物框选信息；

基于所述目标障碍物框选信息得到目标障碍物检测结果。

6.根据权利要求1所述的方法，其特征在于，所述获取原始点云数据和所述原始点云数据对应的图像数据，包括：

在当前时间点通过点云数据采集装置采集目标范围对应的点云数据，得到所述原始点云数据；

在所述当前时间点通过图像采集装置采集所述目标范围对应的图像信息，得到所述原始点云数据对应的图像数据。

7.一种障碍物检测装置，其特征在于，所述装置包括：

初始检测模块，用于获取原始点云数据和所述原始点云数据对应的图像数据，基于所述原始点云数据进行第一障碍物检测，得到第一障碍物检测结果；

投影模块，用于基于所述第一障碍物检测结果对所述原始点云数据进行过滤，得到已过滤点云数据，对所述已过滤点云数据进行聚类，得到待识别物体点云数据，并基于所述待识别物体点云数据进行投影，得到所述图像数据中与所述待识别物体点云数据对应的待识别物体图像区域；

特征融合模块，用于分别提取所述待识别物体点云数据和所述待识别物体图像区域的特征，得到点云特征和图像区域特征，将所述点云特征和所述图像区域特征进行特征融合，得到融合特征；

结果合并模块，用于基于所述融合特征进行第二障碍物识别，得到第二障碍物检测结果，将所述第一障碍物检测结果和所述第二障碍物检测结果进行合并，得到目标障碍物检测结果。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images