CN115222815A - 障碍物距离检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种障碍物距离检测方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取原始点云数据和原始点云数据对应的图像数据；基于原始点云数据进行地面点云检测，得到地面点云数据，基于地面点云数据生成目标地面点云区域；基于图像数据进行障碍物与地面的接触线检测，得到障碍物接触线；基于目标地面点云区域进行投影，得到地面点云投影区域，在地面点云投影区域中确定障碍物接触线对应的障碍物投影接触线；在目标地面点云区域中确定障碍物投影接触线对应的障碍物接触线点云数据，基于障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离。采用本方法能够提高障碍物距离检测的准确性。

Description

障碍物距离检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及自动驾驶技术领域，特别是涉及一种障碍物距离检测方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着自动驾驶技术的发展，需要检测自动驾驶车辆周围环境中的障碍物，并需要获得准确的距离信息来规划行驶的路线和速度。现有的障碍物测距通常是通过图像数据进行障碍物检测，但是并不能准确获得障碍物的距离信息；通过激光雷达进行障碍物检测能够获得距离信息，但是由于小物体和远距离物体的点云稀疏，导致存在障碍物距离检测准确性低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高障碍物距离检测准确性的障碍物距离检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种障碍物距离检测方法。所述方法包括：

获取原始点云数据和原始点云数据对应的图像数据；

基于原始点云数据进行地面点云检测，得到地面点云数据，基于地面点云数据生成目标地面点云区域；

基于图像数据进行障碍物与地面的接触线检测，得到障碍物接触线；

基于目标地面点云区域进行投影，得到地面点云投影区域，在地面点云投影区域中确定障碍物接触线对应的障碍物投影接触线；

在目标地面点云区域中确定障碍物投影接触线对应的障碍物接触线点云数据，基于障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离。

第二方面，本申请还提供了一种障碍物距离检测装置。所述装置包括：

获取模块，用于获取原始点云数据和原始点云数据对应的图像数据；

地面检测模块，用于基于原始点云数据进行地面点云检测，得到地面点云数据，基于地面点云数据生成目标地面点云区域；

接触线检测模块，用于基于图像数据进行障碍物与地面的接触线检测，得到障碍物接触线；

投影模块，用于基于目标地面点云区域进行投影，得到地面点云投影区域，在地面点云投影区域中确定障碍物接触线对应的障碍物投影接触线；

计算模块，用于在目标地面点云区域中确定障碍物投影接触线对应的障碍物接触线点云数据，基于障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取原始点云数据和原始点云数据对应的图像数据；

基于原始点云数据进行地面点云检测，得到地面点云数据，基于地面点云数据生成目标地面点云区域；

基于图像数据进行障碍物与地面的接触线检测，得到障碍物接触线；

基于目标地面点云区域进行投影，得到地面点云投影区域，在地面点云投影区域中确定障碍物接触线对应的障碍物投影接触线；

在目标地面点云区域中确定障碍物投影接触线对应的障碍物接触线点云数据，基于障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取原始点云数据和原始点云数据对应的图像数据；

基于原始点云数据进行地面点云检测，得到地面点云数据，基于地面点云数据生成目标地面点云区域；

基于图像数据进行障碍物与地面的接触线检测，得到障碍物接触线；

基于目标地面点云区域进行投影，得到地面点云投影区域，在地面点云投影区域中确定障碍物接触线对应的障碍物投影接触线；

在目标地面点云区域中确定障碍物投影接触线对应的障碍物接触线点云数据，基于障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取原始点云数据和原始点云数据对应的图像数据；

基于原始点云数据进行地面点云检测，得到地面点云数据，基于地面点云数据生成目标地面点云区域；

基于图像数据进行障碍物与地面的接触线检测，得到障碍物接触线；

基于目标地面点云区域进行投影，得到地面点云投影区域，在地面点云投影区域中确定障碍物接触线对应的障碍物投影接触线；

在目标地面点云区域中确定障碍物投影接触线对应的障碍物接触线点云数据，基于障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离。

上述障碍物距离检测方法、装置、计算机设备、存储介质和计算机程序产品，通过在原始点云数据中检测出地面点云数据，并根据地面点云数据生成目标地面点云区域。然后通过图像数据检测出障碍物与地面的接触线，将目标地面点云区域进行投影得到地面点云投影区域，保证了地面点云投影区域中存在障碍物接触线对应的投影数据。通过地面点云投影区域能够根据障碍物接触线准确得到障碍物接触线对应的障碍物投影接触线，进而能通过障碍物投影接触线得到准确的障碍物接触线点云数据，根据障碍物接触线点云数据计算得到准确的障碍物距离，从而提高了对障碍物距离检测的准确性。

附图说明

图1为一个实施例中障碍物距离检测方法的应用环境图；

图2为一个实施例中障碍物距离检测方法的流程示意图；

图3为一个实施例中计算目标障碍物距离的流程示意图；

图4为一个实施例中地面点云划分区域的示意图；

图5为一个实施例中生成填充地面点云数据的流程示意图；

图6为一个实施例中障碍物接触线的示意图；

图7为一个实施例中障碍物距离检测的流程示意图；

图8为一个实施例中障碍物距离检测装置的结构框图；

图9为一个实施例中计算机设备的内部结构图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的障碍物距离检测方法，可以应用于如图1所示的应用环境中。其中，运动载体终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。运动载体终端获取原始点云数据和原始点云数据对应的图像数据；运动载体终端基于原始点云数据进行地面点云检测，得到地面点云数据，基于地面点云数据生成目标地面点云区域；运动载体终端基于图像数据进行障碍物与地面的接触线检测，得到障碍物接触线；运动载体终端基于目标地面点云区域进行投影，得到地面点云投影区域，在地面点云投影区域中确定障碍物接触线对应的障碍物投影接触线；运动载体终端在目标地面点云区域中确定障碍物投影接触线对应的障碍物接触线点云数据，基于障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离。运动载体终端将障碍物距离发送到服务器104并获取运动路径，根据运动路径进行运动。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种障碍物距离检测方法，以该方法应用于图1中的运动载体终端为例进行说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤202，获取原始点云数据和原始点云数据对应的图像数据。

其中，原始点云数据是指采集到的运动载体周围环境的原始的点云数据，周围环境可以包括障碍物。图像数据是指采集到的运动载体周围环境的原始的图像。运动载体是指可运动的对象，该运动载体可以是无人驾驶的运动载体，也可以是有人驾驶的运动载体。

具体地，运动载体装配有点云数据采集设备和图像采集设备，云数据采集设备和图像采集设备预先进行统一坐标系，并采用相同的帧率同步采集数据，即图像数据中的一帧图像数据对应原始点云数据中的一帧点云数据。运动载体终端可以通过点云数据采集设备获取运动载体周围的原始点云数据，并通过图像采集设备获取运动载体周围的图像数据。运动载体可以是车辆、飞行器、机器人等。

步骤204，基于原始点云数据进行地面点云检测，得到地面点云数据，基于地面点云数据生成目标地面点云区域。

其中，地面点云数据是指原始点云数据中表征地面的点云数据。目标地面点云区域是指对原始点云数据中地面区域进行点云数据填充得到的地面点云数据。

具体地，运动载体终端使用预设的地面点分类算法对原始点云数据进行检测，得到原始点云数据中的地面点云数据。然后运动载体终端对地面点云数据进行扫描，检测到地面点云数据之间存在空白区域时，根据已有的地面点云数据对空白区域进行点云数据填充，得到目标地面点云区域。

步骤206，基于图像数据进行障碍物与地面的接触线检测，得到障碍物接触线。

其中，障碍物接触线是指障碍物与地面的接触区域，在图像数据中以线的形式显示。

具体地，运动载体终端使用预设的深度学习网络模型对图像数据与地面的接触区域进行检测，获取模型输出的障碍物接触线。

步骤208，基于目标地面点云区域进行投影，得到地面点云投影区域，在地面点云投影区域中确定障碍物接触线对应的障碍物投影接触线。

其中，投影是指将目标地面点云区域的三维点云数据投影到二维平面来获得点云投影数据的过程，点云投影数据是指点云数据投影到二维平面的数据，点云投影数据以二维数据的形式存在。在一个实施例中，将点云数据投影到图像数据相同的二维坐标系获得对应的点云投影数据。地面点云投影区域是指目标地面点云区域进行投影后得到的点云投影区域。障碍物投影接触线是指地面点云投影区域中与障碍物接触线对应的点云投影数据。

具体地，运动载体终端根据预先设置好的标定参数将目标地面点云区域中的三维坐标转换成水平面坐标，得到目标地面点云区域投影后的点云投影数据，即地面点云投影区域。然后运动载体终端根据障碍物接触线的坐标信息在地面点云投影区域中查找到对应的障碍物投影接触线。

步骤210，在目标地面点云区域中确定障碍物投影接触线对应的障碍物接触线点云数据，基于障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离。

其中，障碍物接触线点云数据是指在目标地面点云区域中与障碍物投影接触线对应的点云数据。水平面坐标信息是指点云数据的三维坐标中表征水平面的二维坐标。障碍物距离是指运动载体与障碍物之间的距离。

具体地，运动载体终端根据目标地面点云区域与地面点云投影区域之间的投影关系，在目标地面点云区域中查找到障碍物投影接触线对应的障碍物接触线点云数据。然后获取碍物接触线点云数据中的水平面坐标进行距离计算，得到运动载体与障碍物之间的距离。

上述障碍物距离检测方法中，通过在原始点云数据中检测出地面点云数据，并根据地面点云数据生成目标地面点云区域。然后通过图像数据检测出障碍物与地面的接触线，将目标地面点云区域进行投影得到地面点云投影区域，保证了地面点云投影区域中存在障碍物接触线对应的投影数据。通过地面点云投影区域能够根据障碍物接触线准确得到障碍物接触线对应的障碍物投影接触线，进而能通过障碍物投影接触线得到准确的障碍物接触线点云数据，根据障碍物接触线点云数据计算得到准确的障碍物距离，从而提高了对障碍物距离检测的准确性。

在一个实施例中，如图3所示，提供一种计算目标障碍物距离的流程示意图；所述方法，还包括：

步骤302，获取障碍物接触线点云数据对应的垂直坐标信息和障碍物接触线对应的坐标信息；

步骤304，基于垂直坐标信息和坐标信息进行点云坐标计算，得到障碍物接触线点云数据对应的目标水平面坐标信息；

步骤306，基于目标水平面坐标信息进行距离计算，得到目标障碍物距离。

其中，垂直坐标信息是指点云数据的三维坐标中垂直方向的坐标。坐标信息是指图像数据对应的二维平面坐标。目标水平面坐标信息是指经过点云坐标计算得到的障碍物接触线点云数据对应的水平面坐标信息，包括点云数据对应的横向坐标信息和纵向坐标信息。目标障碍物距离是指使用目标水平面坐标信息进行距离计算得到的运动载体与障碍物之间的距离。

具体地，运动载体终端对障碍物接触线点云数据进行扫描，检测到障碍物接触线点云数据中存在填充的地面点云数据时，获取障碍物接触线点云数据对应的垂直坐标信息。然后运动载体终端获取障碍物接触线对应的坐标信息，障碍物接触线对应的坐标信息可以是运动载体终端在使用预设的深度学习网络模型对图像数据与地面的接触区域进行检测时得到的。运动载体终端获取预先存储的点云坐标计算公式，使用障碍物接触线点云数据对应的垂直坐标信息和障碍物接触线对应的坐标信息按照点云计算公式进行计算，得到障碍物接触线点云数据对应的水平面坐标信息。运动载体终端将计算得到的障碍物接触线点云数据对应的水平面坐标信息作为目标水平面坐标信息。然后运动载体终端使用目标水平面坐标信息进行距离计算，得到目标障碍物距离。

当运动载体终端检测到障碍物接触线点云数据中未存在填充的地面点云数据时，将障碍物接触线点云数据中已有的地面点云数据对应的水平面坐标信息作为目标水平面坐标信息，并使用目标水平面坐标信息进行距离计算，得到目标障碍物距离。

在一个具体实施例中，点云数据采集设备可以是激光雷达，图像采集设备可以是单目相机，内外参矩阵可以预先通过激光雷达和单目相机的标定算法获得的。点云坐标计算公式是通过内外参矩阵进行推导得到的，内外参矩阵是预先通过标定算法获得的。通过内参矩阵将相机坐标系下的三维坐标投影到图像中的计算公式如公式(1)所示：

其中fx，fy为相机焦距，ox oy为原点偏移，Xc,Yc,Zc为相机坐标系下三维点，U,V为障碍物接触线的中各个点的二维坐标。

通过外参矩阵将激光雷达坐标系下的三维点变换到相机坐标系中的计算公式如公式(2)所示：

其中M为旋转矩阵，tx，ty，tz为平移向量，Xw,Yw,Zw为激光雷达坐标系下的三维点，Xc,Yc,Zc为相机坐标系下的三维点。

使用公式(1)和公式(2)进行推导得到点云坐标计算公式，如公式(3)所示，

Xw＝((M11-(V-oy)*(M21)/fy)*((U-ox)*(M22*Zw+tz)/fx-M02*Zw-tx)-(M01-(U-ox)*(M21)/fx)*((V-oy)*(M22*Zw+tz)/fy-M12*Zw-ty))/((M11-(V-oy)*(M21)/fy)*(M00-(U-ox)*(M20)/fx)-(M01-(U-ox)*(M21)/fx)*(M10-(V-oy)*(M20)/fy))；

Yw＝((M10-(V-oy)*(M20)/fy)*((U-ox)*(M22*Zw+tz)/fx-M02*Zw-tx)-(M00-(U-ox)*(M20)/fx)*((V-oy)*(M22*Zw+tz)/fy-M12*Zw-ty))/((M10-(V-oy)*(M20)/fy)*(M01-(U-ox)*(M21)/fx)-(M00-(U-ox)*(M20)/fx)*(M11-(V-oy)*(M21)/fy))公式(3)，

其中，Xw表示障碍物接触线点云数据对应的横向坐标信息；Yw表示障碍物接触线点云数据对应的纵向坐标信息。运动载体获取障碍物接触线点云数据中对应的垂直坐标信息Zw，并获取障碍物接触线对应的坐标信息(U,V)，使用Zw和(U,V)按照公式(3)进行计算，得到障碍物接触线点云数对应的模板水平面坐标信息(Xw，Yw)，然后使用(Xw，Yw)计算目标障碍物距离。

本实施例中，通过检测到障碍物接触线点云数据中存在填充的地面点云数据时，使用点云坐标计算公式计算障碍物接触线点云数据对应的水平面坐标信息，能够减小填充的地面点云数据的误差，从而提高了对障碍物距离检测的准确性。

在一个实施例中，步骤204，基于地面点云数据生成目标地面点云区域，包括：

基于预设划分规格对地面点云数据进行划分，得到地面点云划分区域，地面点云划分区域包括地面点云区域和待填充区域；

基于地面点云区域中的区域地面点云数据生成待填充区域对应的填充地面点云数据，基于区域地面点云数据和填充地面点云数据生成目标地面点云区域。

其中，预设划分规格是指预先设置好的对地面点云数据进行区域划分的规格。地面点云划分区域是指对地面点云数据进行划分后得到的划分区域，该地面点云划分区域中包括有地面点云数据。地面点云区域是指地面点云划分区域中存在地面点云数据的区域。待填充区域是指地面点云划分区域中需要填充地面点云数据的区域。填充地面点云数据是指填充到待填充区域的地面点云数据。区域地面点云数据是指地面点云区域中已存在的地面点云数据。

具体地，运动载体终端根据预先设置好的划分规格将地面点云数据划分出固定规格的网格，比如，按照3米的划分规格将地面点云数据划分成3*3的正方形网格。然后运动载体终端查找存在地面点云数据的网格，并对查找到的网格中地面点云数据的分布状态进行扫描，将扫描的网格中分布有地面点云数据的区域作为地面点云区域，将扫描的网格中未分布有地面点云数据的区域作为待填充区域。

然后运动载体终端根据地面点云区域中的地面点云数据进行估计，将估计得到地面点云数据作为填充地面点云数据，并将填充地面点云数据填充到待填充区域。运动载体终端可以再次扫描各个存在地面点云数据的网格，检测到未存在待填充区域时，将各个存在地面点云数据的网格作为目标地面点云区域。

在一个具体实施例中，如图4所示，提供一种地面点云划分区域的示意图；框A表示划分得到的地面点云划分区域；框A-a表示地面点云区域；框A-b表示待填充区域。

本实施例中，通过按照预设划分规格对地面点云数据进行划分，得到各个地面点云划分区域，并将地面点云划分区域中待填充区域进行点云数据的填充，能够得到完整的地面点云数据，从而能够保证目标地面点云区域中存在障碍物接触线对应的三维坐标，避免了目标地面点云区域投影时发生数据缺失的情况，从而提高了对障碍物距离检测的准确性。

在一个实施例中，如图5所示，提供一种生成填充地面点云数据的流程示意图；基于地面点云区域中的区域地面点云数据生成待填充区域对应的填充地面点云数据，包括：

步骤502，基于区域地面点云数据建立区域点云坐标关系；

步骤504，获取区域地面点云数据对应的区域水平面坐标信息，基于区域水平面坐标信息和预设水平面坐标间隔信息计算待填充区域对应的填充水平面坐标信息；

步骤506，基于填充平面坐标信息按照区域点云坐标关系进行计算，得到待填充区域对应的填充垂直坐标信息；

步骤508，基于填充水平面坐标信息和填充垂直坐标信息生成待填充区域对应的填充地面点云数据。

其中，区域点云坐标关系是指地面点云划分区域中点云之间存在的客观物理关系。不同的地面点云划分区域对应的区域点云坐标关系不同。区域水平面坐标信息是指地面点云区域中的地面点云数据对应的水平面坐标信息。填充地面点云数据是指根据区域地面点云数据估计的地面点云数据，填充地面点云数据用于填充待填充区域。预设水平面坐标间隔信息是指预先设置好的用于估计填充地面点云数据的水平面坐标之间的间隔值。填充水平面坐标信息是指填充地面点云数据对应的水平面坐标信息。填充垂直坐标信息是指填充地面点云数据对应的垂直坐标信息。

具体地，运动载体终端随机获取至少两个区域地面点云数据，根据至少两个区域地面点云数据建立区域点云坐标关系，运动载体终端可以使用平面方程建立区域点云坐标关系：Ax+By+Cz+D＝0，A、B、C、D表示平面方程的系数，平面方程的系数可以通过采用最小二乘法、RANSAC等算法估计得到。然后运动载体终端扫描地面点云区域中的区域地面点云数据，获取最接近待填充区域的区域地面点云数据对应的区域水平面坐标信息，然后根据预设水平面坐标间隔信息对区域水平面坐标信息进行累加，得到待填充区域对应的多个填充水平面坐标信息，比如，区域地面点云数据对应的区域水平面坐标信息为(1，1)，预设水平面坐标间隔信息为0.1，则填充地面点云数据对应的多个填充水平面坐标信息分别为(1.1，1.1)、(1.2，1.2)、(1.3，1.3)等，也可以按照坐标分别进行累加，比如，(1.1，1.1)、(1.1，1.2)、(1.2，1.3)、(1.3，1.4)等，或者(1.1，1.1)、(1.2，1.1)、(1.3，1.2)、(1.4，1.3)等。运动载体终端使用估计得到的填充水平面坐标信息按照点云坐标关系进行计算，得到填充垂直坐标信息，然后运动载体终端根据填充水平面坐标信息和填充垂直坐标信息得到待填充区域对应的填充地面点云数据，并且对填充地面点云数据进行标记，以便后续对填充地面点云数据进行处理。

本实施例中，根据已有的地面点云数据通过预设水平面坐标间隔信息和区域点云坐标关系进行估计，能够准确得到填充地面点云数据，并且能够得到完整的地面点云数据，从而能够保证目标地面点云区域中存在障碍物接触线对应的三维坐标，避免了目标地面点云区域投影时发生数据缺失的情况，从而提高了对障碍物距离检测的准确性。

在一个实施例中，步骤208，在地面点云投影区域中确定障碍物接触线对应的障碍物投影接触线，包括：

基于障碍物接触线对应的接触线坐标信息在地面点云投影区域中查找与接触线坐标信息相同的投影坐标信息，得到目标投影坐标信息；

基于目标投影坐标信息得到障碍物投影接触线。

其中，接触线坐标信息是指在采集的图像数据中障碍物接触线对应的二维坐标信息。投影坐标信息是指地面点云投影区域对应的图像数据中的二维坐标信息。

具体地，运动载体终端根据障碍物接触线对应的接触线坐标信息对地面点云投影区域中的投影坐标信息进行扫描，获取地面点云投影区域中与接触线坐标信息相同的投影坐标信息，将获取到的投影坐标信息作为目标投影坐标信息。然后运动载体终端根据目标投影坐标信息得到障碍物投影接触线。具体来说，障碍物接触线中的二维点的点数由图像数据对应的像素个数确定，则障碍物投影接触线中的二维点的点数量由障碍物接触线中的二维点的点数确定，进一步地，障碍物接触线点云数据中的三维点的点数量由障碍物投影接触线中的二维点的点数量确定。

在一个具体实施例中，如图6所示，提供一种障碍物接触线的示意图；图中A表示采集到的图像数据中的障碍物；B表示采集到的图像数据中的地面区域；线L表示障碍物与地面的接触线。

本实施例中，通过在地面点云投影区域查找与接触线坐标信息相同的目标投影坐标信息，从而得到障碍物投影接触线，能够提高障碍物投影接触线的坐标准确性，从而提高对障碍物距离检测的准确性。

在一个实施例中，步骤210，基于障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离，包括：

获取障碍物接触线点云数据中各个三维点对应的水平面坐标信息；

基于各个三维点对应的水平面坐标信息分别进行距离计算，得到各个三维点对应的点障碍物距离；

将各个三维点对应的点障碍物距离中最短的点障碍物距离作为障碍物距离。

其中，三维点表示组成点云数据的组成单元。点障碍物距离是指运动载体与障碍物接触线中的三维点之间的距离。

具体地，运动载体终端获取障碍物接触线点云数据中各个三维点对应的水平面坐标信息，包括横向坐标信息和纵向坐标信息。分别使用各个三维点对应的水平面坐标信息进行距离计算，得到多个点障碍物距离。运动载体终端可以使用三角形斜边计算公式计算点障碍物距离：

D表示障碍物距离。

然后运动载体终端将各个点障碍物距离进行比较，将距离最短的点障碍物距离作为障碍物距离。

然后运动载体以运动载体正前方作为0°，逆时针为正方向，根据障碍物距离对应的横向坐标信息和纵向坐标信息进行障碍物方位计算，得到障碍物相对于运动载体的位置方位。运动终端载体可以使用角度计算公式atan2(y,x)计算障碍物的位置。比如，计算得到的障碍物位置为+45°，表示障碍物在运动载体的左前方，障碍物位置为-45°，表示碍物在运动载体的右前方。

本实施例中，通过计算各个三维点的点障碍物距离，并将距离最短的点障碍物距离作为障碍物距离，能够提高障碍物距离的准确性。

在一个具体实施例中，如图7所示，提供一种障碍物距离检测的流程示意图；自动驾驶车辆在行驶过程中，车载终端从激光雷达中获取当前帧360度范围的原始点云数据，从6个相机中获取自动驾驶车辆周围360度的图像数据，对激光雷达和相机的进行内外参数标定。

车载终端使用深度学习、传统几何算法等地面点分类算法在原始点云数据中查找出地面点，得到地面点云数据。然后按照粗分辨率，比如3米每个格子网格划分场景，对具有地面点云数据的网格计算该网格的平面方程。然后确定网格中地面点云数据缺失区域，即待填充区域，车载终端根据地面点云数据缺失区域最近的已有地面点云数据对缺失的地面点云数据进行估计，通过在该网格的x，y平面上以一定间隔，比如0.1，生成填充水平面坐标信息x和y，然后车载终端根据网格的填充水平面坐标信息x和y使用该网格对应的平面方程计算填充垂直坐标信息，得到填充地面点云数据，完成地面点云估计，从而得到目标地面点云区域。

车载终端于YOLO，SSD，CenterNet等目标检测模型对图像采集设备采集的图像数据进行障碍物检测，包括车辆、行人、自行车、锥桶等交通参与障碍物目标，并通过检测模型输出障碍物与地面的接触线。

车载终端将目标地面点云区域进行投影，得到地面点云投影区域，然后在地面点云投影区域中查找与障碍物接触线的坐标信息相同的目标投影坐标信息，得到障碍物投影接触线，并根据投影关系在目标地面点云区域查找到与障碍物投影接触线对应的障碍物接触线点云数据，根据障碍物接触线点云数据中的水平面坐标信息进行距离计算得到障碍物距离。车载终端可以根据障碍物距离重新规划行驶路线和行驶速度。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的障碍物距离检测方法的障碍物距离检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个障碍物距离检测装置实施例中的具体限定可以参见上文中对于障碍物距离检测方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种障碍物距离检测装置800，包括：获取模块802、地面检测模块804、接触线检测模块806、投影模块808和计算模块810，其中：

获取模块802，用于获取原始点云数据和原始点云数据对应的图像数据；

地面检测模块804，用于基于原始点云数据进行地面点云检测，得到地面点云数据，基于地面点云数据生成目标地面点云区域；

接触线检测模块806，用于基于图像数据进行障碍物与地面的接触线检测，得到障碍物接触线；

投影模块808，用于基于目标地面点云区域进行投影，得到地面点云投影区域，在地面点云投影区域中确定障碍物接触线对应的障碍物投影接触线；

计算模块810，用于在目标地面点云区域中确定障碍物投影接触线对应的障碍物接触线点云数据，基于障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离。

在一个实施例中，障碍物距离检测装置800，还包括：

目标障碍物距离计算单元，用于获取障碍物接触线点云数据对应的垂直坐标信息和障碍物接触线对应的坐标信息；基于垂直坐标信息和坐标信息进行点云坐标计算，得到障碍物接触线点云数据对应的目标水平面坐标信息；基于目标水平面坐标信息进行距离计算，得到目标障碍物距离。

在一个实施例中，地面检测模块804，包括：

区域划分单元，用于基于预设划分规格对地面点云数据进行划分，得到地面点云划分区域，地面点云划分区域包括地面点云区域和待填充区域；基于地面点云区域中的区域地面点云数据生成待填充区域对应的填充地面点云数据，基于区域地面点云数据和填充地面点云数据生成目标地面点云区域。

在一个实施例中，地面检测模块804，包括：

填充点云单元，用于基于区域地面点云数据建立区域点云坐标关系；获取区域地面点云数据对应的区域水平面坐标信息，基于区域水平面坐标信息和预设水平面坐标间隔信息计算待填充区域对应的填充水平面坐标信息；基于填充平面坐标信息按照区域点云坐标关系进行计算，得到待填充区域对应的填充垂直坐标信息；基于填充水平面坐标信息和填充垂直坐标信息生成待填充区域对应的填充地面点云数据。

在一个实施例中，投影模块808，包括：

坐标投影单元，用于基于障碍物接触线对应的接触线坐标信息在地面点云投影区域中查找与接触线坐标信息相同的投影坐标信息，得到目标投影坐标信息；基于目标投影坐标信息得到障碍物投影接触线。

在一个实施例中，计算模块810，包括：

距离计算单元，用于获取障碍物接触线点云数据中各个三维点对应的水平面坐标信息；基于各个三维点对应的水平面坐标信息分别进行距离计算，得到各个三维点对应的点障碍物距离；将各个三维点对应的点障碍物距离中最短的点障碍物距离作为障碍物距离。

上述障碍物距离检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始点云数据、图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种障碍物距离检测方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种障碍物距离检测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9-10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种障碍物距离检测方法，其特征在于，所述方法包括：

获取原始点云数据和所述原始点云数据对应的图像数据；

基于所述原始点云数据进行地面点云检测，得到地面点云数据，基于所述地面点云数据生成目标地面点云区域；

基于所述图像数据进行障碍物与地面的接触线检测，得到障碍物接触线；

基于所述目标地面点云区域进行投影，得到地面点云投影区域，在所述地面点云投影区域中确定所述障碍物接触线对应的障碍物投影接触线；

在所述目标地面点云区域中确定所述障碍物投影接触线对应的障碍物接触线点云数据，基于所述障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离。

2.根据权利要求1所述的方法，其特征在于，所述方法，还包括：

获取所述障碍物接触线点云数据对应的垂直坐标信息和所述障碍物接触线对应的坐标信息；

基于所述垂直坐标信息和所述坐标信息进行点云坐标计算，得到所述障碍物接触线点云数据对应的目标水平面坐标信息；

基于所述目标水平面坐标信息进行距离计算，得到目标障碍物距离。

3.根据权利要求1所述的方法，其特征在于，所述基于所述地面点云数据生成目标地面点云区域，包括：

基于预设划分规格对所述地面点云数据进行划分，得到地面点云划分区域，所述地面点云划分区域包括地面点云区域和待填充区域；

基于所述地面点云区域中的区域地面点云数据生成所述待填充区域对应的填充地面点云数据，基于所述区域地面点云数据和所述填充地面点云数据生成所述目标地面点云区域。

4.根据权利要求3所述的方法，其特征在于，所述基于所述地面点云区域中的区域地面点云数据生成所述待填充区域对应的填充地面点云数据，包括：

基于所述区域地面点云数据建立区域点云坐标关系；

获取所述区域地面点云数据对应的区域水平面坐标信息，基于所述区域水平面坐标信息和预设水平面坐标间隔信息计算所述待填充区域对应的填充水平面坐标信息；

基于所述填充平面坐标信息按照所述区域点云坐标关系进行计算，得到所述待填充区域对应的填充垂直坐标信息；

基于所述填充水平面坐标信息和所述填充垂直坐标信息生成所述待填充区域对应的填充地面点云数据。

5.根据权利要求1所述的方法，其特征在于，所述在所述地面点云投影区域中确定所述障碍物接触线对应的障碍物投影接触线，包括：

基于所述障碍物接触线对应的接触线坐标信息在所述地面点云投影区域中查找与所述接触线坐标信息相同的投影坐标信息，得到目标投影坐标信息；

基于所述目标投影坐标信息得到所述障碍物投影接触线。

6.根据权利要求1所述的方法，其特征在于，所述基于所述障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离，包括：

获取所述障碍物接触线点云数据中各个三维点对应的水平面坐标信息；

基于所述各个三维点对应的水平面坐标信息分别进行距离计算，得到所述各个三维点对应的点障碍物距离；

将所述各个三维点对应的点障碍物距离中最短的点障碍物距离作为所述障碍物距离。

7.一种障碍物距离检测装置，其特征在于，所述装置包括：

获取模块，用于获取原始点云数据和所述原始点云数据对应的图像数据；

地面检测模块，用于基于所述原始点云数据进行地面点云检测，得到地面点云数据，基于所述地面点云数据生成目标地面点云区域；

接触线检测模块，用于基于所述图像数据进行障碍物与地面的接触线检测，得到障碍物接触线；

投影模块，用于基于所述目标地面点云区域进行投影，得到地面点云投影区域，在所述地面点云投影区域中确定所述障碍物接触线对应的障碍物投影接触线；

计算模块，用于在所述目标地面点云区域中确定所述障碍物投影接触线对应的障碍物接触线点云数据，基于所述障碍物接触线点云数据中的水平面坐标信息进行距离计算，得到障碍物距离。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images