CN113988197B - 基于多相机、多激光雷达的联合标定及目标融合检测方法 - Google Patents

Abstract

一种基于多相机、多激光雷达的联合标定及目标融合检测方法，提供了多激光雷达的标定办法，多相机同激光雷达的标定办法，解决了多相机共视区域过小而标定困难的问题。标定结束后对于激光点云的滤波、过滤地面、拼接、聚类一系列处理流程，对多个相机图像进行拼接、模型检测，最后，融合模块接收激光雷达点云数据和相机图像的处理结果进行融合，输出目标检测的分类以及位置信息。该流程应用于自动驾驶中，为自动驾驶提供感知模块的必要输出信息，指导后续的预测、规划、控制等具有重要的意义。

Description

基于多相机、多激光雷达的联合标定及目标融合检测方法

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种基于多相机、多激光雷达的联合标定及目标融合检测方法。

背景技术

无人驾驶过程中，环境感知信息主要有：① 周边物体感知，就是可能影响车辆通行性、安全性的静态物体和动态物体的识别，包括车辆，行人以及交通标志的识别，包括红绿灯识别和限速牌识别等；② 行驶路径上的感知，例如车道线以及道路的边缘、道路隔离物以及恶劣路况的识别；对这些环境的感知就需要依赖传感器，激光雷达和相机是较常用的传感器，可以获取周边环境的感知信息。

激光雷达和相机又有各自的优势和弊端。首先，对于激光雷达，是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号（激光束），然后将接收到的从目标反射回来的信号（目标回波）与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对周边环境物体进行探测、跟踪和识别。但是由于激光雷达的点云数据量受线束数量控制，而线束数量较高的成本会较高，在点云数量不够丰富时语义信息也不足。相机成本较低，天然的具有丰富的语义信息，有着比较成熟的目标检测算法及模型，但是由2D图像计算物体的距离位置等信息不够准确，很大程度上受制于物体的原始尺寸很难精准确定。因此结合激光雷达和相机的优点，分别将检测的结果进行融合，便能得到较好的结果。

相机和激光雷达的结果融合是否准确，还受制于两者的标定。激光雷达之间的标定较为成熟，即通过ndt配准算法完成激光雷达的两两标定，使得将多个激光雷达转换至一个目标雷达的坐标系下。多相机的标定较为复杂，可以通过两两相机之间的共视区域进行标定，但是当两相机的共视区域较小时，此项工作较为困难。而激光雷达同相机的标定也较为容易，因此，可以通过每个相机同目标激光雷达进行两两标定，间接的完成多个相机之间坐标位置的确定。

发明内容

本发明为了克服以上技术的不足，提供了一种解决了多相机共视区域过小而标定困难的问题的基于多相机、多激光雷达的联合标定及目标融合检测方法。

本发明克服其技术问题所采用的技术方案是：

一种基于多相机、多激光雷达的联合标定及目标融合检测方法，包括如下步骤：

a)在自动驾驶车辆前端顶部、下部的左右两端分别放置3颗激光雷达，在车辆前后左右分别放置4颗摄像头；

b)对3颗激光雷达进行标定；

c)对3颗激光雷达进行体素滤波；

d)对激光雷达的点云数据进行地面滤波，滤除干扰物体聚类的地面波；

e)将3颗激光雷达基于标定的坐标转换进行点云数据融合拼接；

f)对融合拼接后的点云数据进行欧几里得聚类，输出聚类物体的位置信息；

g)使用4个摄像头分别与顶部的激光雷达进行两两标定，得到摄像头和激光雷达的位置坐标转换关系，计算得到4个摄像头之间的位置关系；

h)采集4个摄像头的数据并进行拼接融合，计算得到融合的拼接输出与顶部的激光雷达坐标系之间的坐标位置关系；

i)将拼接融合的图片输入到目标检测模型中，得到图片的目标检测分类及位置坐标；

j)将激光雷达输出的聚类输出聚类物体的位置信息与摄像头输出的目标检测分类信息及激光雷达与摄像头的坐标转换关系一起输入到融合节点，进行聚类和目标检测分类的两两对应，输出目标检测分类信息、距离信息。

优选的，步骤a)中激光雷达为16线激光雷达。

进一步的，步骤b)中以顶部的激光雷达为基准坐标参考系，采用ndt算法使下部的左右两端的2颗激光雷达与顶部的激光雷达分别进行两两配准。

进一步的，步骤h)中采用硬件同步取样的方式同时采集摄像头的数据。

进一步的，步骤i)中采用yolox目标检测模型。

本发明的有益效果是：提供了多激光雷达的标定办法，多相机同激光雷达的标定办法，解决了多相机共视区域过小而标定困难的问题。标定结束后对于激光点云的滤波、过滤地面、拼接、聚类一系列处理流程，对多个相机图像进行拼接、模型检测，最后，融合模块接收激光雷达点云数据和相机图像的处理结果进行融合，输出目标检测的分类以及位置信息。该流程应用于自动驾驶中，为自动驾驶提供感知模块的必要输出信息，指导后续的预测、规划、控制等具有重要的意义。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图1对本发明做进一步说明。

一种基于多相机、多激光雷达的联合标定及目标融合检测方法，包括如下步骤：

a)在自动驾驶车辆前端顶部、下部的左右两端分别放置3颗激光雷达，在车辆前后左右分别放置4颗摄像头；

b)对3颗激光雷达进行标定；

c)对3颗激光雷达进行体素滤波；

d)对激光雷达的点云数据进行地面滤波，滤除干扰物体聚类的地面波；

e)将3颗激光雷达基于标定的坐标转换进行点云数据融合拼接；

f)对融合拼接后的点云数据进行欧几里得聚类，输出聚类物体的位置信息；

g)使用4个摄像头分别与顶部的激光雷达进行两两标定，得到摄像头和激光雷达的位置坐标转换关系，计算得到4个摄像头之间的位置关系；

h)采集4个摄像头的数据并进行拼接融合，计算得到融合的拼接输出与顶部的激光雷达坐标系之间的坐标位置关系；

i)将拼接融合的图片输入到目标检测模型中，得到图片的目标检测分类及位置坐标；

j)将激光雷达输出的聚类输出聚类物体的位置信息与摄像头输出的目标检测分类信息及激光雷达与摄像头的坐标转换关系一起输入到融合节点，进行聚类和目标检测分类的两两对应，输出目标检测分类信息、距离信息。

提供了多激光雷达的标定办法，多相机同激光雷达的标定办法，解决了多相机共视区域过小而标定困难的问题。标定结束后对于激光点云的滤波、过滤地面、拼接、聚类一系列处理流程，对多个相机图像进行拼接、模型检测，最后，融合模块接收激光雷达点云数据和相机图像的处理结果进行融合，输出目标检测的分类以及位置信息。该流程应用于自动驾驶中，为自动驾驶提供感知模块的必要输出信息，指导后续的预测、规划、控制等具有重要的意义。

实施例1：

步骤a)中激光雷达为16线激光雷达。

实施例2：

步骤b)中以顶部的激光雷达为基准坐标参考系，采用ndt算法使下部的左右两端的2颗激光雷达与顶部的激光雷达分别进行两两配准。

实施例3：

步骤h)中采用硬件同步取样的方式同时采集摄像头的数据。

实施例4：

步骤i)中采用yolox目标检测模型。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多相机、多激光雷达的联合标定及目标融合检测方法，其特征在于，包括如下步骤：

a)在自动驾驶车辆前端顶部、下部的左右两端分别放置3颗激光雷达，在车辆前后左右分别放置4颗摄像头；

b)对3颗激光雷达进行标定；

c)对3颗激光雷达进行体素滤波；

d)对激光雷达的点云数据进行地面滤波，滤除干扰物体聚类的地面波；

e)将3颗激光雷达基于标定的坐标转换进行点云数据融合拼接；

f)对融合拼接后的点云数据进行欧几里得聚类，输出聚类物体的位置信息；

g)使用4个摄像头分别与顶部的激光雷达进行两两标定，得到摄像头和激光雷达的位置坐标转换关系，计算得到4个摄像头之间的位置关系；

h)采集4个摄像头的数据并进行拼接融合，计算得到融合的拼接输出与顶部的激光雷达坐标系之间的坐标位置关系；

i)将拼接融合的图片输入到目标检测模型中，得到图片的目标检测分类及位置坐标；

j)将激光雷达输出的聚类输出聚类物体的位置信息与摄像头输出的目标检测分类信息及激光雷达与摄像头的坐标转换关系一起输入到融合节点，进行聚类和目标检测分类的两两对应，输出目标检测分类信息、距离信息。

2.根据权利要求1所述的基于多相机、多激光雷达的联合标定及目标融合检测方法，其特征在于：步骤a)中激光雷达为16线激光雷达。

3.根据权利要求1所述的基于多相机、多激光雷达的联合标定及目标融合检测方法，其特征在于：步骤b)中以顶部的激光雷达为基准坐标参考系，采用ndt算法使下部的左右两端的2颗激光雷达与顶部的激光雷达分别进行两两配准。

4.根据权利要求1所述的基于多相机、多激光雷达的联合标定及目标融合检测方法，其特征在于：步骤h)中采用硬件同步取样的方式同时采集摄像头的数据。

5.根据权利要求1所述的基于多相机、多激光雷达的联合标定及目标融合检测方法，其特征在于：步骤i)中采用yolox目标检测模型。