[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115457496B - 自动驾驶的挡墙检测方法、装置及车辆 - Google Patents

自动驾驶的挡墙检测方法、装置及车辆 Download PDF

Info

Publication number
CN115457496B
CN115457496B CN202211100104.0A CN202211100104A CN115457496B CN 115457496 B CN115457496 B CN 115457496B CN 202211100104 A CN202211100104 A CN 202211100104A CN 115457496 B CN115457496 B CN 115457496B
Authority
CN
China
Prior art keywords
point cloud
target
cloud target
retaining wall
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211100104.0A
Other languages
English (en)
Other versions
CN115457496A (zh
Inventor
刘旭
黄轩
王国军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202211100104.0A priority Critical patent/CN115457496B/zh
Publication of CN115457496A publication Critical patent/CN115457496A/zh
Application granted granted Critical
Publication of CN115457496B publication Critical patent/CN115457496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种自动驾驶的挡墙检测方法、装置及车辆，涉及人工智能领域，尤其涉及自动驾驶、深度学习和计算机视觉技术领域。具体实现方案为：对点云数据进行点云检测，得到点云目标；对点云目标进行特征提取，得到点云目标的特征表示；对特征表示进行二分类，得到分类结果；在分类结果为挡墙类别的情况下，确定点云目标为挡墙。本公开基于点云分割方式，能够稳定准确的识别出点云目标，然后对点云目标进行分类识别能够确定出点云目标是否为挡墙。该方法对场景没有要求，能够处理复杂多变的场景，具有较好的泛化能力。

Description

自动驾驶的挡墙检测方法、装置及车辆
技术领域
本公开涉及人工智能领域，尤其涉及自动驾驶、深度学习和计算机视觉技术领域。
背景技术
在自动驾驶中，挡墙是约束驾驶行为的重要因素。尤其在矿区，当高精地图不准确，或矿区道路发生变化时，需要用挡墙来约束自动驾驶车辆的驾驶边界。所以挡墙检测是矿山自动驾驶感知的基本要求。
发明内容
本公开提供了一种自动驾驶的挡墙检测方法、装置及车辆。
根据本公开的一方面，提供了一种自动驾驶的挡墙检测方法，包括：
对点云数据进行点云检测，得到点云目标；
对点云目标进行特征提取，得到点云目标的特征表示；
对特征表示进行二分类，得到分类结果；
在分类结果为挡墙类别的情况下，确定点云目标为挡墙。
根据本公开的另一方面，提供了一种自动驾驶的挡墙检测装置，包括：
检测模块，用于对点云数据进行点云检测，得到点云目标；
提取模块，用于对点云目标进行特征提取，得到点云目标的特征表示；
分类模块，用于对特征表示进行二分类，得到分类结果；
确定模块，用于在分类结果为挡墙类别的情况下，确定点云目标为挡墙。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中自动驾驶的挡墙检测方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中自动驾驶的挡墙检测方法。
根据本公开的再一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中自动驾驶的挡墙检测方法。
根据本公开的又一方面，提供了一种车辆，包括本公开提供的电子设备。
本公开基于点云分割方式，能够稳定准确的识别出点云目标，然后对点云目标进行分类识别能够确定出点云目标是否为挡墙。该方法对场景没有要求，能够处理复杂多变的场景，具有较好的泛化能力。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一实施例的自动驾驶的挡墙检测方法的流程示意图；
图2(a)是根据本公开一实施例的提取点云目标的点云密度分布特征的场景示意图；
图2(b)是根据本公开另一实施例的提取点云目标的点云密度分布特征的场景示意图；
图3是根据本公开一实施例的挡墙分类场景示意图；
图4是根据本公开一实施例的实现自动驾驶的挡墙检测的流程示意图；
图5是根据本公开一实施例的自动驾驶的挡墙检测装置的结构示意图；
图6是根据本公开另一实施例的自动驾驶的挡墙检测装置的结构示意图；
图7是用来实现本公开实施例的自动驾驶的挡墙检测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本公开第一方面实施例，提供了一种自动驾驶的挡墙检测方法，该挡墙检测方法适用于任何车辆，尤其适用于在矿山上行驶的自动驾驶车辆。如图1所示，该方法包括：
S101，对点云数据进行点云检测，得到点云目标。
其中，在一些实施例中，可以使用激光探测及测距系统(LightDetectionandRanging，LiDAR)获取点云数据。自动驾驶车辆驱动LiDAR扫描周围环境。针对LiDAR中任一束激光而言，当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录反射的激光点信息。由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云，也即点云数据。
在一些其他实施例中，还可以采用双目相机采集周围环境的图像，基于双目相机的深度估计，得到的周围环境的点云数据。
此外，为了实现目标级别的点云检测，可以先基于深度学习方法训练检测模型，得到深度学习检测模型。该模型能够输出目标级别的点云。目标级别的点云可以是行人、机动车、自行车等，其中机动车还可以进一步划分为小车、大车等。对于不属于上述类别的点云目标，可定义为未知类别。
基于此，对点云数据进行点云检测，可实施为将点云数据输入深度学习检测模型进行目标检测；在检测到目标对象的情况下，将点云数据中目标对象对应的点云集合作为点云目标。
该目标对象可以为前述的行人、小车、大车、自行车以及未知等。使用深度学习检测模型将点云数据进行检测，检测出点云数据的所属类别。以行人为例，在检测到行人时，将属于同一行人的点集合作为一个行人的点云目标。也即，在检测到多个行人时，将得到每个行人分别对应的点云目标。针对其他目标对象处理方式雷同，这里不再赘述。
本公开实施例中，深度学习能够自动提取大部分特征，能够消除学习过程中的一些人工干预的操作。还支持使用大型数据集，适用于探索非结构化数据。因此，采用深度学习检测模型能够快速得到适用于检测点云目标的模型，且能够自动准确的提取出点云目标，进而提高挡墙检测的效率。
此外，深度学习属于机器学习的一个分支。在实施时，除了基于深度学习方法得到的检测模型外，还可以采用其他机器学习的方法得到检测模型，以实现目标级的点云检测。具体采用何种方法得到检测模型，本公开实施例对此不作限定。
S102，对点云目标进行特征提取，得到点云目标的特征表示。
本公开实施例中可以采用人工智能的神经网络模型提取点云目标的特征表示。为了简化训练过程，提高提取特征表示的效率，本公开实例中采用统计特征构建特征表示。一些可能的实施例中，该特征表示可包括至少一个子特征，实施时可提取点云目标的以下子特征中的至少一种，作为点云目标的特征表示：
1)点云目标的几何特征。
在一些实施例中，提取点云目标的几何特征可实施为：确定点云目标的中心坐标和尺寸中的至少一种，作为点云目标的几何特征。
在一些实施例中，中心坐标可以记为 为点云目标在三维空间中x坐标均值，/>为点云目标在三维空间中y坐标均值，/>为点云目标在三维空间中z坐标均值。以计算中心坐标/>为例，计算方式/>的方式如公式(1)所示：
在式(1)中，可以使用积分的方式基于xy面获取中心坐标以点云目标在纵轴y的最低点绘制坐标，其中，a，b表示点云目标在x轴的坐标，0，y表示点云目标在y轴的坐标，获取中心坐标的/>方式与获取中心坐标的/>方式相同。
在一些实施例中，获取中心坐标的方式也可以为取中心值的方式。以获取中心坐标上的为例，计算方式如公式(2)所示：
式(2)中，Rmax为点云目标在x轴上取得的最大尺寸，Rmin为点云目标在x轴上取得的最小尺寸。
获取中心坐标的方式与获取中心坐标的方式相同，需注意/>采用何种方式获取，/>也需要使用同样方式。用于获取中心坐标的方案均适用于本实施例，本公开对此不进行限定。
在点云目标的形状不规则的情况下，例如当点云目标为花坛形状或车辆形状时，可以选择式(1)的方式获取中心坐标；在点云目标形状规则的情况下，例如当点云目标为长方体形状等规整的形状时，可以选择式(2)的方式获取中心坐标。
在一些实施例中，可以基于3D目标检测器获取点云目标的尺寸。在3D目标检测器中，候选框提取网络(Region Proposal Network，RPN)接收一个或多个高维鸟瞰图(Bird'sEye View，BEV)作为输入，输出点云目标的3D位置、大小和方向等。其中，可以基于对点云目标进行选取区域，过滤干扰等操作获取BEV。
其中选取点云目标的尺寸作为点云目标的几何特征，可以了解到点云目标的大小，选取点云目标的尺寸作为点云目标的几何特征可以有效区分出形状差距过大的点云目标，有助于提高挡墙检测的准确性。
其中，机动车道周围环境较为单一，一般包括了车道两侧的背景(如绿植、挡墙、建筑物)，车道上一般包括移动障碍物(如行人、车)。由此，自动驾驶车辆周围环境的事物具有各自的特点。而其中挡墙和其他事物之间在统计特征上必然存在差异，这种差异在中心坐标和尺寸上有所体现。因此，选取点云目标的中心坐标和/或尺寸作为点云目标的几何特征，可以提高挡墙检测的准确率，而且中心坐标和尺寸便于提取，能够消耗较少的算力资源获取所需的特征。
为了更为准确的识别出挡墙类别，可以将中心坐标和尺寸二者均作为点云目标的几何特征用于进行挡墙检测。
除了中心坐标和尺寸之外，本公开实施例中还可以使用点云目标的轮廓特征、表面纹理特征等其他几何特征用于挡墙检测。具体选择何种几何特征用于挡墙检测可根据实际需求设置，本公开实施例不作限定。
本公开实施例中，由于挡墙一般多为近长方体，其形状规整，而场景中可能包含多种点云目标，例如，花坛，行人，车辆等，这些点云目标的尺寸和中心坐标与挡墙的点云目标的尺寸和中心坐标具有一定的差异，所以选取点云目标的几何特征作为特征表示，可以有效的提高挡墙识别的准确性。也即，本公开实施例中基于不同点云目标的几何特征存在差异，选取几何特征能够帮助区分出挡墙和其他类别的事物，有助于提高挡墙检测的准确性。
2)点云目标的点云密度分布特征。
在一些实施例中，提取点云目标的点云密度分布特征可实施为：将点云目标的三维取值空间划分为多个区域；分别确定每个区域内的点数量与点云目标包含的总点数的比值，得到点云密度分布特征。
在一种示例中，如图2(a)所示，先将点云数据所占的整体区域基于x轴平均划分为n1个区域(n1为大于1的正整数)，计算每个区域的点数量与点云目标包含的总点数的比值，得到每个区域各自的点云密度。类似的，在y轴上对点云目标进行划分，将点云目标划分为n2个区域(n2为大于1的正整数)。然后确定n2个区域中，每个区域的点数与点云目标的总点数的比值，得到各个区域的点云密度。对z轴的处理方式也相同，在z轴将点云目标划分为n3个区域(n3为大于1的正整数)，进而得到n3个区域中每个区域的点云密度。
最后，将n1、n2和n3各区域的点云密度的集合作为点云目标的点云密度分布特征。例如，n1个区域的点云密度依序排列得到第一向量，n2个区域的点云密度依序排列得到第二向量，n3个区域的点云密度依序排列得到第三向量。点云密度分布特征由这三个向量表示。也即，实施时，能够有效整合各区域点云密度的方式均适用于构建点云密度分布特征。由此，该点云密度分布特征的维度为(n1+n2+n3)。
举例来说，可以先将x轴分为10个区域，计算点云目标在每个区域内的点数量与点目标包含的总点数的比值，将其结果按序排列，作为第一向量；再将y轴分为10个区域，计算点云目标在每个区域内的点数量与点云目标包含的总点数的比值，将其结果按序排列，作为第二向量；z轴以前述方式获取到第三向量。由这三个向量表示点云密度分布特征时，该点云密度分布特征的维度为30维。
当然，需要说明的是，划分x、y、z轴的先后顺序不受限，每个轴划分的区域数量可以相同也可以不同。
在另一种示例中，除了每个轴单独划分，也可以如图2(b)所示，将点云目标所占的整体区域的三维空间进行划分，划分为多个三维网格，每个三维网格为一个立方体或长方体结构，每个三维网格作为一个区域。然后，计算每个区域的点数量与点云目标包含的总点数的比值，得到每个区域的点云密度。如x轴划分为n1份、y轴划分为n2份，z轴划分为n3份，共得到(n1*n2*n3)个区域，每个区域得到一个点云密度，则最终得到的点云密度分布特征的特征维度为(n1*n2*n3)。
举例来说，将点云目标所占的整体区域的三维空间进行划分，x轴划分为10份，y轴划分为10份，z轴划分为10份，则可以获取到1000个三维网格，计算每个三维网格内的点数量与点云目标包含的总点数的比值，得到每个立体结构内的点云密度分布特征。则此方式获取的特征维度为1000维。
前述两个实施例各有优势，第一个示例中分别对每个轴进行划分，最终划分得到的区域总数较少，得到的特征维度也较小，在计算和存储时可以节约计算资源和存储资源，从而提高挡墙检测的效率。
第二个示例中，将点云目标划分的更加精细，对点云目标的密度分布特征的描述更加全面和准确，但对算力和存储资源要求更高。两种方案可以根据需求进行选取，本公开实施例对此不作限定。
第一个示例得到的数据较少，比较适用于决策树，例如随机森林，梯度提升树(Gradient Boosting Decision Tree，GBDT)等；第二个示例中得到的数据较多，比较适用于神经网络模型。由于神经网络模型需要更苛刻的数据准备工作且实现周期较长，所以采用决策树的方式进行后期分类处理时可选用第一种示例中的方式提取点云目标的点云密度分布特征。
在一些实施例中，选取点云密度分布特征作为特征表示，可以反映出点云目标中含有的点的稀疏特性。由于不同事物的点的稀疏特性存在差异，故此，采用点云目标的密度分布特征能够有助于提高挡墙检测的准确性。
3)点云目标的雷达信号的反射强度统计特征。
在一些实施例中，如前文所阐述的，当采用LiDAR获取点云数据时，点云目标的点中会携带雷达信号的反射强度。当基于双目相机确定点云数据时，可以采用LiDAR扫描点云目标得到点云目标的雷达信号反射强度。
相应的，由于点云目标的不同区域的反射强度会存在差异，可以将反射强度分为不同区间，提取点云目标的反射强度统计特征可实施为：将点云目标的反射强度划分为多个强度区间；分别确定每个强度区间内包含的点数量与点云目标包含的总点数的比值，得到反射强度统计特征。
举例来说，可以将点云目标的反射强度划分为11个强度区间，分别确定每个强度区间内包含的点数量与点云目标包含的总点数的比值，得到反射强度统计特征为11维。
本公开实施例中，不同类别的点云目标，由于其表面特性不同，例如形状不同，材质不同，导致对雷达信号的反射信号存在差异。因此，统计分析点云目标的反射强度统计特征，可以实现对点云目标的区分，从而便于提高挡墙检测的准确性。
4)点云目标属于目标类别的概率。
本公开实施例中目标类别可以是基于先验知识筛选出与挡墙检测息息相关的类别，例如篱笆类、地面类等。
实施时，为了能够准确识别点云目标是否属于目标类别，同样可以采用深度学习的方法来训练分类模型，进而得到目标类别。训练得到的深度学习分类模型与前述深度学习检测模型的区别在于，前述深度学习检测模型用于实现目标级的点云检测，而该深度学习分类模型实现的是对点云数据中每个点的类别评估。也即，深度学习分类模型对每个点所属的类别进行预测。
深度学习分类模型能够实现多分类任务。例如可识别的类别可包括篱笆类，地面类，噪声类，天空类，路沿类。当然，需要说明的是，这里列举的几种类别，仅用于举例说明本公开实施例，并不用于限定本公开实施例。除了一些关键的类别如篱笆类、地面类等需要深度学习分类模型学会分类外，其他的类别可减少也可以增加，均适用于本公开实施例。
深度学习分类模型是基于深度学习方法训练得到的模型。在训练得到深度学习分类模型之后，可以基于以下方法确定点云目标所属的目标类别：将点云数据输入深度学习分类模型对各点云进行分类处理；确定点云目标中各点云所属的类别，得到点云目标所属的类别集合；在类别集合中包括预设类别的情况下，将预设类别确定为目标类别。
此外，由于地面上的花坛，路沿，篱笆等不可避免地与地面接触，可能在执行点云分割时会将其混入地面点云目标中。而且，由于大多数点属于地面，因此在对点云数据中每个点进行分类时，为了提高准确性，本公开实施例中可以将深度学习点云分类模型得到的地面类点，进一步采用路面分割算法进行路面分割，将地面类点进一步划分出噪声点，归入噪声类别。因此，本公开实施例在深度学习分类模型进行分类的基础上引进了地面分割算法，对其地面点进行再次分割，将地面点中附着的其他点云目标分割开，使点云目标分类结果更加准确。
在一些实施例中，使用深度学习分类模型对各点进行分类，能够准确描述点云目标中各点的类别分布，在得到点云目标的基础上进一步了解点云目标中各点的类别，有助于确定点云目标的目标类别情况，进而可帮助更准确的识别出挡墙。
在一些实施例中，提取点云目标属于目标类别的概率可实施为：统计点云目标中属于目标类别的点云数量；确定属于目标类别的点数量与点云目标的总点数的比值，得到点云目标属于目标类别的概率。
举例来说，可以将预设类别的未知、地面、篱笆、噪声四种类别分别作为目标类别，所以该点云目标属于目标类别的概率特征为4维。以地面类为例，计算地面类内点云的数量，与点云目标中全部点云数量进行计算。计算方式如式(3)所示：
其中，Cg为点云目标属于地面类的概率，即属于目标类别的概率，m为地面类内点云的数量，M为点云目标中全部点云数量。
针对其他目标类别如未知、篱笆、噪声，各目标类别的处理方式和地面类别类似，这里不再赘述。
本公开实施例中，点云目标中的点涵盖的目标类别的概率，能够在一定程度上描述点云目标的类别属性。由此，基于点云目标属于目标类别的概率进行挡墙检测，能够有助于提高挡墙检测的准确性。
5)点云目标的高度分布特征。
在一些实施例中，提取点云目标的高度分布特征可实施为：将点云目标的高度取值空间划分为多个高度区间；分别统计每个高度区间内的点数量与点云目标包含的总点数的比值，得到点云目标的高度分布特征。
例如，可以基于激光雷达获取点云目标的高度，将点云目标的高度分为不同区间，可以从低到高分为10个区间，由此该点云目标的高度分布特征为10维。
本公开实施例中，不同类别的点云目标，其高度分布存在一定差异，因此基于点云目标的高度分布特征进行挡墙检测，能够提高检测结果的准确性。
本公开实施例中，当采用多种子特征结合的方式表达点云目标的特征表示时，从多个维度对点云目标进行特征描述，有助于提高挡墙检测的准确性。
S103，对特征表示进行二分类，得到分类结果。
其中，二分类即将点云目标分类为挡墙类别或非挡墙类别。
在一些实施例中，可以采用人工智能的神经网络模型对特征表示进行处理，实现对点云目标的二分类。
由于人工智能的神经网络模型需要大量数据进行训练，且模型结构复杂时，对算力要求较高。本公开实施例中为了实现轻量级的二分类，可将点云目标的特征表示输入决策树进行二分类，得到分类结果，其中，决策树用于将点云目标分类为挡墙类别和非挡墙类别。
采用的决策树例如可以为随机森林，梯度提升树(Gradient Boosting DecisionTree，GBDT)等。
因为GBDT具有预测精度高，可以灵活处理各种类型的数据的特点，所以可以选择构建GBDT决策树实现对点云目标的二分类。下面对构建GBDT决策树的方式进行说明：
在一种实施例中，获取样本数据。采用前述方法确定出样本数据中的点云目标，以及各点云目标的特征表示。基于样本数据得到的各点云目标分别作为一个训练样本。对各训练样本进行标注，将其标注为挡墙标签和非挡墙标签。构建决策树时可采用Cart树(classification and regression tree，分类回归树)。Cart树中每个节点预测点云目标样本为挡墙的概率。每种子特征构建一颗Cart树，所有子特征的Cart树依序连接构建了决策树。
为了确定不同子特征的Cart树的先后连接顺序。可以先基于损失值确定出根节点的子特征。损失值的计算方式为：针对每种子特征，该子特征有多个候选切分点，计算出子特征分别在每个候选切分点的损失，然后选择最小损失的候选切分点作为该子特征的切分点，该切分点对应的损失为该子特征的损失值。就每个候选切分点而言，计算其损失的方式举例如下：
如表1所示，假设有M(M＝m+n)个训练样本，每个训练样本包括多个子特征，每个子特征有其对应的特征值。如表1所示，M个训练样本中，包括的子特征为中心坐标Z、点云密度分布特征T以及属于目标类别的概率P。表1中训练样本的真实值为各训练样本的标签。
表1
表1中示例出各子特征的样本取值。每种子特征有多个候选切分点。每个候选切分点将各训练样本集划分到两个集合中。其中将子特征取值小于切分点的训练样本划分到左集合，将子特征取值大于切分点的训练样本划分到右集合。计算左集合中各训练样本的真实值的均值PL1作为该子特征的特征值小于切分点时的预测概率。同理，计算右集合中各训练样本的真实值的均值PL2作为子特征的特征值大于切分点时的预测概率。确定左集合中各训练样本的真实值与均值PL1的差值平方和的累加值得到左集合的损失。例如，样本Ym+1～Ym+n为左集合，样本Y1～Ym为右集合。可如公式(4)所示，计算得到左集合的损失L1。
L1＝(Ym+1-PL1)2+(Ym+2-PL1)2+(Ym+3-PL1)2+...+(Ym+n-PL1)2 (4)
同理，计算右集合中各样本的真实值与均值PL2的差值的平方和的累加值得到右集合的损失L2，如公式(5)所示。
L2＝(Y1-PL2)2+(Y2-PL2)2+(Y3-PL2)2+...+(Ym-PL2)2 (5)
计算左集合的损失与右集合的损失的和值，作为该切分点的损失L，如公式(6)所示。
L＝L1+L2 (6)
以此类推，同一子特征的每个候选切分点都能得到一个损失。每个子特征都找到损失最小的切分点Q，及其损失值。筛选出损失值最小的子特征作为根节点。在决策树中，损失值越小的子特征越排序在前面。假设中心坐标的损失值最小，中心坐标作为根节点，点云密度分布特征的损失值最大，则其作为最末尾的叶子节点，相应的表1中的属于目标类别的概率作为中间节点即第二节点。
以跟节点为例，对cart树的生长过程介绍如下，假设根节点为中心坐标Z：
1)首先设置cart树的停止生长条件，例如cart树的深度不超过三层；左集合和/或右集合的样本数小于样本数阈值；左集合内和/或右集合内的样本的真实值相同；残差小于指定残差等中的至少一种可作为停止生成的条件。
2)cart树的根节点选择损失最小的切分点Q。基于该切分点Q将表1中所有训练样本划分为左集合和右集合。基于左集合进行生长的方式和右集合相同，这里以右集合为例进行说明。假设右集合中的所有训练样本如表2所示。表2中各训练样本的中心坐标值即特征值和表1相同，但是各训练样本的真实值更新为残差值，即样本的标签值和右集合样本的均值PL2的差值。
表2
然后基于右集合中所有训练样本找到新的切分点Q1，基于切分点Q1将右集合再次划分为左集合1和右集合2，切分点Q1得到属于左集合1的预测值PL21和右集合2的预测值PL22。
以此类推，右集合满足生长停止条件时，右集合分支结束生长。类似的左集合满足生长停止条件时，左集合结束生长。假设根节点的cart树最终生长为如图3所示。在图3中，中心坐标和Q切分点进行比对，若小于Q时则输出预测概率PL1，若大于Q时输出预测概率PL2。中心坐标等于Q时，输出预测概率PL1或PL2均可，可根据实际情况确定。
在中心坐标大于Q的情况下，继续确定出残差，该残差和Q1进行比对，若小于Q1时输出预测概率PL21，大于Q1时输出预测概率PL22，同理等于Q1时输出的预测概率可以选择PL21也可以选择PL22，可根据实际情况确定。假设点云目标基于切分点Q输出预测概率PL2，基于切分点Q1输出预测概率PL22，则点云目标经由根节点cart树输出的预测概率为(PL2+PL22)。
在得到跟节点的cart树之后。计算表1中所有样本的残差，用该残差更新表1中的真实值。然后基于表1训练第二个节点。
需要注意的是，除跟节点一开始训练时真实值采用真实标签之外，每个节点在训练时均采用残差。
训练时的残差是基于真实值和预测值确定的，在预测时，由于没有真实值可供参考，则可采用负梯度来拟合残差，即采用伪残差。
需要说明的是，Cart用于基于给定输入的子特征，预测点云目标为挡墙样本的概率。逻辑回归用一个线性模型去拟合这个事件的对数几率。和逻辑回归思想一样，用一系列的梯度提升树去拟合这个对数几率，其分类模型可以表达为如公式(7)所示：
在式(7)中，x为输入的子特征值，FM(X)表示左集合或右集合预测的概率。也即，最终各节点预测的概率是基于公式(7)确定的。
在构建好决策树之后，对点云目标，将各节点的预测概率累加得到点云目标属于挡墙类别的概率，当该概率大于概率阈值时，则确定点云目标为挡墙。
在一些实施例中，使用决策树的方式进行二分类，在大量数据基础之上训练得到模型，能够快速准确的识别出挡墙，提升挡墙检测的鲁棒性，并且决策树的方式对算力要求低，适合在车载终端运行该方法，提高挡墙检测的实时性。
S104，在分类结果为挡墙类别的情况下，确定点云目标为挡墙。
本公开实施例中，基于点云分割能够自动准确的分割出不同的点云目标，然后通过对点云目标进行特征提取，基于提取的特征表示进行二分类，可有效识别出挡墙。本公开实施例提供的方法能够简便高效的实现挡墙识别，作为自动驾驶的参考数据，能够提高自动驾驶的性能。此外，该方法能够处理复杂多变的场景，也具有较好的泛化能力。
在一些实施例中，在多个点云目标均为挡墙类别的情况下，将距离小于距离阈值的多个点云目标进行合并处理，获取到新的挡墙点云目标，将在交通区域数据中对其进行更新。
在一种示例中，由于点云目标中的每个点都具备三维坐标(x，y，z)，可以基于点的三维坐标计算点云目标间的距离，计算两个点云目标中距离最近的点的距离，在此距离小于第一距离阈值的情况下，将这两个点云目标进行合并处理，在此距离不小于第一距离阈值的情况下，对这两个点云目标进行保留处理。
在另一种示例中，可以基于多个点云目标的中心坐标，进行计算其欧氏距离。举例来说，计算两个点云目标间的欧氏距离，在欧式距离小于第二距离阈值的情况下，将这两个点云目标进行合并处理，在欧氏距离不小于第二距离阈值的情况下，对这两个点云目标进行保留处理。本方案对距离检测方式不进行限定，凡可以检测两个点云目标距离的方式均使用本公开实施例。
在一些实施例中，由于是基于多种特征进行的挡墙识别，可能存在将一个挡墙识别为距离相近的多个挡墙的情况，所以为了避免此情况发生，将其多个距离小于阈值的挡墙进行合并处理，本方案对其阈值不进行限定。
本公开实施例中，对距离小于距离阈值的多个点云目标进行合并处理可以避免发生将一个挡墙识别为多个挡墙的情况发生，从而提高识别挡墙的精度。
在一些实施例中，在点云目标为被遮挡的挡墙的情况下，过滤掉该点云目标。
例如，可以基于鸟瞰图(Bird'sEyeView，BEV)进行观测区域内的点云目标，进行识别为挡墙的点云目标是否位于另一挡墙后部。在识别出点云目标的挡墙位于遮挡物后部的情况下，即车辆不可通过的区域，将此挡墙进行过滤，使其不出现在交通区域数据中。在识别出点云目标的挡墙不位于另一挡墙后部的情况下，即不被遮挡的挡墙，将其不被遮挡的挡墙投放到交通区域数据中。
在一些实施例中，将被遮挡的挡墙进行过滤，在自动驾驶控制上，可以不考虑被遮挡的挡墙，提高自动驾驶控制的效率。
本公开实施例中，实现自动驾驶的挡墙检测的方式全流程如图4所示，
S401，获取点云数据。
S402，将点云数据输入深度学习分类模型，获取点云数据中各点的类别。
S403，将点云数据输入深度学习检测模型，获取点云目标。
S404，针对步骤S402的分类结果中属于地面点的点云数据，采用地面分割算法进一步识别出地面点和噪声点。
S405，对点云目标进行特征提取，得到点云目标的特征表示。
S406，将特征表示输入决策树，进行二分类。
S407，将分类结果发送到下游模块处理。
其中，下游模块处理例如包括，将挡墙数据融合到交通区域数据中，进行自动驾驶决策。
还可以包括将挡墙显示在屏幕中。
根据本公开另一方面实施例，提供了一种自动驾驶的挡墙检测装置，该挡墙检测装置适用于任何车辆，尤其适用于在矿山上行驶的自动驾驶车辆。如图5所示，该装置包括：
检测模块501，用于对点云数据进行点云检测，得到点云目标；
提取模块502，用于对点云目标进行特征提取，得到点云目标的特征表示；
分类模块503，用于对特征表示进行二分类，得到分类结果；
确定模块504，用于在分类结果为挡墙类别的情况下，确定点云目标为挡墙。
在一些实施例中，在图5的基础上，如图6所示，检测模块501，包括：
检测单元601，用于将点云数据输入深度学习检测模型进行目标检测；
确定单元602，用于在检测到目标对象的情况下，将点云数据中目标对象对应的点集合作为点云目标。
在一些实施例中，提取模块502，包括：
提取点云目标的以下子特征中的至少一种，作为点云目标的特征表示：
点云目标的几何特征；
点云目标的点云密度分布特征；
点云目标对雷达信号的反射强度统计特征；
点云目标属于目标类别的概率；
点云目标的高度分布特征。
在一些实施例中，在点云目标的特征表示包括点云目标的几何特征的情况下，提取模块502提取点云目标的几何特征，包括：
确定点云目标的中心坐标和尺寸中的至少一种，作为点云目标的几何特征。
在一些实施例中，在点云目标的特征表示包括点云目标的点云密度分布特征的情况下，提取模块502提取点云目标的点云密度分布特征，包括：
将点云目标的三维取值空间划分为多个区域；
分别确定每个区域内的点数量与点云目标包含的总点数的比值，得到点云密度分布特征。
在一些实施例中，在点云目标的特征表示包括点云目标的反射强度统计特征的情况下，提取模块502提取点云目标的反射强度统计特征，包括：
将点云目标的反射强度划分为多个强度区间；
分别确定每个强度区间内包含的点数量与点云目标包含的总点数的比值，得到反射强度统计特征。
在一些实施例中，在点云目标的特征表示包括点云目标属于目标类别的概率的情况下，还包括目标类别识别模块，用于基于以下方法确定点云目标所属的目标类别：
将点云数据输入深度学习分类模型对各点进行分类处理；
确定点云目标中各点所属的类别，得到点云目标所属的类别集合；
在类别集合中包括预设类别的情况下，将预设类别确定为目标类别。
在一些实施例中，在点云目标的特征表示包括点云目标属于目标类别的概率的情况下，提取模块502提取点云目标属于目标类别的概率，包括：
统计点云目标中属于目标类别的点数量；
确定属于目标类别的点数量与点云目标的总点数的比值，得到点云目标属于目标类别的概率。
在一些实施例中，在点云目标的特征表示包括点云目标的高度分布特征的情况下，提取模块502提取点云目标的高度分布特征，包括：
将点云目标的高度取值空间划分为多个高度区间；
分别统计每个高度区间内的点数量与点云目标包含的总点数的比值，得到点云目标的高度分布特征。
在一些实施例中，在图5的基础上，如图6所示，分类模块503，包括：
决策单元603，用于将点云目标的特征表示输入决策树进行二分类，得到分类结果，其中，决策树用于将点云目标分类为挡墙类别和非挡墙类别。
在一些实施例中，在图5的基础上，如图6所示，本公开实施例还包括：
合并模块604，用于在多个点云目标均为挡墙类别的情况下，将距离小于距离阈值的多个点云目标进行合并处理。
在一些实施例中，本公开实施例还包括：
过滤模块605，用于在点云目标为被遮挡的挡墙的情况下，过滤掉点云目标。
本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如自动驾驶的挡墙检测方法。例如，在一些实施例中，自动驾驶的挡墙检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM703并由计算单元701执行时，可以执行上文描述的自动驾驶的挡墙检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行自动驾驶的挡墙检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种自动驾驶的挡墙检测方法，包括：
对点云数据进行目标级的点云检测，得到点云目标；
对所述点云目标进行特征提取，得到所述点云目标的特征表示；在所述点云目标的特征表示包括所述点云目标属于目标类别的概率的情况下，确定所述点云目标属于目标类别的概率，包括：将所述点云数据输入深度学习分类模型对各点进行分类处理；确定所述点云目标中各点所属的类别，得到所述点云目标所属的类别集合；基于所述类别集合确定所述点云目标属于目标类别中每个类别的概率；所述目标类别为与挡墙相关的类别；其中，所述点云目标的特征表示还包括点云目标的点云密度分布特征；所述点云密度分布特征用于反映点云目标中的点的稀疏特性；
对所述特征表示进行二分类，得到分类结果；
在所述分类结果为挡墙类别的情况下，确定所述点云目标为挡墙。
2.根据权利要求1所述的方法，其中，所述对点云数据进行点云检测，得到点云目标，包括：
将所述点云数据输入深度学习检测模型进行目标检测；
在检测到目标对象的情况下，将所述点云数据中所述目标对象对应的点集合作为所述点云目标。
3.根据权利要求1或2所述的方法，其中，所述对所述点云目标进行特征提取，得到所述点云目标的特征表示，还包括：
提取所述点云目标的以下子特征中的至少一种，作为所述点云目标的特征表示：
所述点云目标的几何特征；
所述点云目标对雷达信号的反射强度统计特征；
所述点云目标的高度分布特征。
4.根据权利要求3所述的方法，其中，在所述点云目标的特征表示包括所述点云目标的几何特征的情况下，提取所述点云目标的几何特征，包括：
确定所述点云目标的中心坐标和尺寸中的至少一种，作为所述点云目标的几何特征。
5.根据权利要求3所述的方法，其中，在所述点云目标的特征表示包括所述点云目标的点云密度分布特征的情况下，提取所述点云目标的点云密度分布特征，包括：
将所述点云目标的三维取值空间划分为多个区域；
分别确定每个区域内的点数量与所述点云目标包含的总点数的比值，得到所述点云密度分布特征。
6.根据权利要求3所述的方法，其中，在所述点云目标的特征表示包括所述点云目标的反射强度统计特征的情况下，提取所述点云目标的反射强度统计特征，包括：
将所述点云目标的反射强度划分为多个强度区间；
分别确定每个强度区间内包含的点数量与所述点云目标包含的总点数的比值，得到所述反射强度统计特征。
7.根据权利要求1所述的方法，其中，基于所述类别集合确定所述点云目标属于目标类别中每个类别的概率，包括：
统计所述点云目标中属于所述目标类别的点数量；
确定属于所述目标类别的点数量与所述点云目标的总点数的比值，得到所述点云目标属于所述目标类别的概率。
8.根据权利要求3所述的方法，其中，在所述点云目标的特征表示包括所述点云目标的高度分布特征的情况下，提取所述点云目标的高度分布特征，包括：
将所述点云目标的高度取值空间划分为多个高度区间；
分别统计每个高度区间内的点数量与所述点云目标包含的总点数的比值，得到所述点云目标的高度分布特征。
9.根据权利要求1或2、4-8中任一项所述的方法，其中，所述对所述特征表示进行二分类，得到分类结果，包括：
将所述点云目标的特征表示输入决策树进行二分类，得到分类结果，其中，所述决策树用于将所述点云目标分类为挡墙类别和非挡墙类别。
10.根据权利要求1或2、4-8中任一项所述的方法，还包括：
在多个点云目标均为挡墙类别的情况下，将距离小于距离阈值的多个点云目标进行合并处理。
11.根据权利要求1或2、4-8中任一项所述的方法，还包括：
在所述点云目标为被遮挡的挡墙的情况下，过滤掉所述点云目标。
12.一种自动驾驶的挡墙检测装置，包括：
检测模块，用于对点云数据进行目标级的点云检测，得到点云目标；
提取模块，用于对所述点云目标进行特征提取，得到所述点云目标的特征表示；在所述点云目标的特征表示包括所述点云目标属于目标类别的概率的情况下，所述提取模块提取所述点云目标属于目标类别的概率，包括：将所述点云数据输入深度学习分类模型对各点进行分类处理；确定所述点云目标中各点所属的类别，得到所述点云目标所属的类别集合；基于所述类别集合确定所述点云目标属于目标类别中每个类别的概率；所述目标类别为与挡墙相关的类别；其中，所述点云目标的特征表示还包括点云目标的点云密度分布特征；所述点云密度分布特征用于反映点云目标中的点的稀疏特性；
分类模块，用于对所述特征表示进行二分类，得到分类结果；
确定模块，用于在所述分类结果为挡墙类别的情况下，确定所述点云目标为挡墙。
13.根据权利要求12所述的装置，其中，所述检测模块，包括：
检测单元，用于将所述点云数据输入深度学习检测模型进行目标检测；
确定单元，用于在检测到目标对象的情况下，将所述点云数据中所述目标对象对应的点集合作为所述点云目标。
14.根据权利要求12或13所述的装置，其中，所述提取模块还用于：
提取所述点云目标的以下子特征中的至少一种，作为所述点云目标的特征表示：
所述点云目标的几何特征；
所述点云目标对雷达信号的反射强度统计特征；
所述点云目标的高度分布特征。
15.根据权利要求14所述的装置，其中，在所述点云目标的特征表示包括所述点云目标的几何特征的情况下，所述提取模块提取所述点云目标的几何特征，包括：
确定所述点云目标的中心坐标和尺寸中的至少一种，作为所述点云目标的几何特征。
16.根据权利要求14所述的装置，其中，在所述点云目标的特征表示包括所述点云目标的点云密度分布特征的情况下，所述提取模块提取所述点云目标的点云密度分布特征，包括：
将所述点云目标的三维取值空间划分为多个区域；
分别确定每个区域内的点数量与所述点云目标包含的总点数的比值，得到所述点云密度分布特征。
17.根据权利要求14所述的装置，其中，在所述点云目标的特征表示包括所述点云目标的反射强度统计特征的情况下，所述提取模块提取所述点云目标的反射强度统计特征，包括：
将所述点云目标的反射强度划分为多个强度区间；
分别确定每个强度区间内包含的点数量与所述点云目标包含的总点数的比值，得到所述反射强度统计特征。
18.根据权利要求12所述的装置，其中，在所述点云目标的特征表示包括所述点云目标属于目标类别的概率的情况下，所述提取模块基于所述类别集合确定所述点云目标属于目标类别中每个类别的概率，包括：
统计所述点云目标中属于所述目标类别的点数量；
确定属于所述目标类别的点数量与所述点云目标的总点数的比值，得到所述点云目标属于所述目标类别的概率。
19.根据权利要求14所述的装置，其中，在所述点云目标的特征表示包括所述点云目标的高度分布特征的情况下，所述提取模块提取所述点云目标的高度分布特征，包括：
将所述点云目标的高度取值空间划分为多个高度区间；
分别统计每个高度区间内的点数量与所述点云目标包含的总点数的比值，得到所述点云目标的高度分布特征。
20.根据权利要求12或13、15-19中任一项所述的装置，其中，所述分类模块，包括：
决策单元，用于将所述点云目标的特征表示输入决策树进行二分类，得到分类结果，其中，所述决策树用于将所述点云目标分类为挡墙类别和非挡墙类别。
21.根据权利要求12或13、15-19中任一项所述的装置，还包括：
合并模块，用于在多个点云目标均为挡墙类别的情况下，将距离小于距离阈值的多个点云目标进行合并处理。
22.根据权利要求12或13、15-19中任一项所述的装置，还包括：
过滤模块，用于在所述点云目标为被遮挡的挡墙的情况下，过滤掉所述点云目标。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1-11中任一项所述的方法。
25.一种车辆，包括如权利要求23所述的电子设备。
CN202211100104.0A 2022-09-09 2022-09-09 自动驾驶的挡墙检测方法、装置及车辆 Active CN115457496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211100104.0A CN115457496B (zh) 2022-09-09 2022-09-09 自动驾驶的挡墙检测方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211100104.0A CN115457496B (zh) 2022-09-09 2022-09-09 自动驾驶的挡墙检测方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN115457496A CN115457496A (zh) 2022-12-09
CN115457496B true CN115457496B (zh) 2023-12-08

Family

ID=84303716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211100104.0A Active CN115457496B (zh) 2022-09-09 2022-09-09 自动驾驶的挡墙检测方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN115457496B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118276015A (zh) * 2022-12-30 2024-07-02 华为技术有限公司 一种目标识别方法以及相关装置

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316048A (zh) * 2017-05-03 2017-11-03 深圳市速腾聚创科技有限公司 点云分类方法及装置
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN110344621A (zh) * 2019-06-13 2019-10-18 武汉大学 一种面向智能车库的车轮点云检测方法
CN111626314A (zh) * 2019-02-28 2020-09-04 深圳市速腾聚创科技有限公司 点云数据的分类方法、装置、计算机设备和存储介质
WO2021046716A1 (zh) * 2019-09-10 2021-03-18 深圳市大疆创新科技有限公司 目标对象的检测方法、系统、设备及存储介质
CN112560580A (zh) * 2020-11-20 2021-03-26 腾讯科技（深圳）有限公司 障碍物识别方法、装置、系统、存储介质和电子设备
CN112801022A (zh) * 2021-02-09 2021-05-14 青岛慧拓智能机器有限公司 一种无人驾驶矿卡作业区道路边界快速检测更新的方法
CN112818925A (zh) * 2021-02-26 2021-05-18 清华大学 一种城市建筑和树冠识别方法
CN113807350A (zh) * 2021-09-13 2021-12-17 上海芯物科技有限公司 一种目标检测方法、装置、设备及存储介质
CN113933859A (zh) * 2021-10-09 2022-01-14 江苏徐工工程机械研究院有限公司 一种无人矿卡行驶场景的路面及两侧挡墙检测方法
IL289728A (en) * 2019-07-15 2022-03-01 Promaton Holding Bv Object detection and segmentation of 3D point cloud instances based on deep learning
CN114359381A (zh) * 2020-09-27 2022-04-15 北京极智嘉科技股份有限公司 机器人、障碍物探测方法、装置、计算机设备及存储介质
CN114429631A (zh) * 2022-01-27 2022-05-03 北京百度网讯科技有限公司 三维对象检测方法、装置、设备以及存储介质
WO2022088676A1 (zh) * 2020-10-29 2022-05-05 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN114445667A (zh) * 2022-01-28 2022-05-06 北京百度网讯科技有限公司 图像检测方法和用于训练图像检测模型的方法
WO2022126427A1 (zh) * 2020-12-16 2022-06-23 深圳市大疆创新科技有限公司 点云处理方法、点云处理装置、可移动平台和计算机存储介质
CN114690765A (zh) * 2021-08-23 2022-07-01 青岛慧拓智能机器有限公司 矿卡自适应挡墙卸载停靠方法、装置、系统及计算机设备
WO2022166400A1 (zh) * 2021-02-05 2022-08-11 中国科学院深圳先进技术研究院 一种处理三维点云的方法、装置、设备以及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11733353B2 (en) * 2019-11-14 2023-08-22 Nio Technology (Anhui) Co., Ltd. Object detection using local (ground-aware) adaptive region proposals on point clouds

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316048A (zh) * 2017-05-03 2017-11-03 深圳市速腾聚创科技有限公司 点云分类方法及装置
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN111626314A (zh) * 2019-02-28 2020-09-04 深圳市速腾聚创科技有限公司 点云数据的分类方法、装置、计算机设备和存储介质
CN110344621A (zh) * 2019-06-13 2019-10-18 武汉大学 一种面向智能车库的车轮点云检测方法
IL289728A (en) * 2019-07-15 2022-03-01 Promaton Holding Bv Object detection and segmentation of 3D point cloud instances based on deep learning
WO2021046716A1 (zh) * 2019-09-10 2021-03-18 深圳市大疆创新科技有限公司 目标对象的检测方法、系统、设备及存储介质
CN114359381A (zh) * 2020-09-27 2022-04-15 北京极智嘉科技股份有限公司 机器人、障碍物探测方法、装置、计算机设备及存储介质
WO2022088676A1 (zh) * 2020-10-29 2022-05-05 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN112560580A (zh) * 2020-11-20 2021-03-26 腾讯科技（深圳）有限公司 障碍物识别方法、装置、系统、存储介质和电子设备
WO2022126427A1 (zh) * 2020-12-16 2022-06-23 深圳市大疆创新科技有限公司 点云处理方法、点云处理装置、可移动平台和计算机存储介质
WO2022166400A1 (zh) * 2021-02-05 2022-08-11 中国科学院深圳先进技术研究院 一种处理三维点云的方法、装置、设备以及存储介质
CN112801022A (zh) * 2021-02-09 2021-05-14 青岛慧拓智能机器有限公司 一种无人驾驶矿卡作业区道路边界快速检测更新的方法
CN112818925A (zh) * 2021-02-26 2021-05-18 清华大学 一种城市建筑和树冠识别方法
CN114690765A (zh) * 2021-08-23 2022-07-01 青岛慧拓智能机器有限公司 矿卡自适应挡墙卸载停靠方法、装置、系统及计算机设备
CN113807350A (zh) * 2021-09-13 2021-12-17 上海芯物科技有限公司 一种目标检测方法、装置、设备及存储介质
CN113933859A (zh) * 2021-10-09 2022-01-14 江苏徐工工程机械研究院有限公司 一种无人矿卡行驶场景的路面及两侧挡墙检测方法
CN114429631A (zh) * 2022-01-27 2022-05-03 北京百度网讯科技有限公司 三维对象检测方法、装置、设备以及存储介质
CN114445667A (zh) * 2022-01-28 2022-05-06 北京百度网讯科技有限公司 图像检测方法和用于训练图像检测模型的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Real-Time Curb Detection Method for Vehicle by Using a 3D-LiDAR Sensor;Zhiqiang Du等;《SAE Technical Paper》;第1-10页 *
Traffic Sign Based Point Cloud Data Registration with Roadside LiDARs in Complex Traffic Environments;Zheyuan Zhang等;《electronics》;第1-22页 *
三维激光云扫描技术在变电站电气设备识别中的应用;王菲等;《佳木斯大学学报(自然科学版)》(第04期);全文 *
融合主成分分析和局部邻域的平面点云去噪;陈建华等;《测绘通报》(第5期);第47-50页 *

Also Published As

Publication number Publication date
CN115457496A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN113902897B (zh) 目标检测模型的训练、目标检测方法、装置、设备和介质
CN111968229B (zh) 高精度地图制图方法及装置
CN108509820B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN108470174B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN110390706B (zh) 一种物体检测的方法和装置
CN114596555B (zh) 障碍物点云数据筛选方法、装置、电子设备及存储介质
CN114882198A (zh) 一种目标确定方法、装置、设备及介质
CN115457496B (zh) 自动驾驶的挡墙检测方法、装置及车辆
CN111402160A (zh) 一种点云数据去噪方法、装置、设备和存储介质
CN113096181B (zh) 设备位姿的确定方法、装置、存储介质及电子装置
CN114387293A (zh) 道路边缘检测方法、装置、电子设备及车辆
Li et al. Street tree segmentation from mobile laser scanning data using deep learning-based image instance segmentation
CN113902898A (zh) 目标检测模型的训练、目标检测方法、装置、设备和介质
KR101737889B1 (ko) 데이터 마이닝 기법을 이용한 지상 라이다 데이터의 필터링 및 현황선 추출 방법과 그 장치
CN116434181A (zh) 地面点检测方法、装置、电子设备和介质
CN116543223A (zh) 神经网络优化的下层树木检测方法
CN115909253A (zh) 一种目标检测、模型训练方法、装置、设备及存储介质
CN116863325A (zh) 一种用于多个目标检测的方法和相关产品
CN111340136B (zh) 机载激光雷达点云中建筑物点分类扩张方法和系统
CN114581889A (zh) 一种融合方法、装置、设备、介质及产品
Wakita et al. Multi-scale based extracion of vegetation from terrestrial lidar data for assessing local landscape
Li et al. Filtering algorithm for LiDAR outliers based on histogram and KD tree
CN117392000B (zh) 一种噪点去除方法、装置、电子设备及存储介质
Wu et al. Real-Time Point Cloud Clustering Algorithm Based on Roadside LiDAR
Szutor FFT Based Airborne LIDAR Classification with Open3D and Numpy/Scipy.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant