[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113947141B - 一种城市路口场景的路侧灯塔感知系统 - Google Patents

一种城市路口场景的路侧灯塔感知系统 Download PDF

Info

Publication number
CN113947141B
CN113947141B CN202111197599.9A CN202111197599A CN113947141B CN 113947141 B CN113947141 B CN 113947141B CN 202111197599 A CN202111197599 A CN 202111197599A CN 113947141 B CN113947141 B CN 113947141B
Authority
CN
China
Prior art keywords
roadside
point cloud
lighthouse
intersection
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111197599.9A
Other languages
English (en)
Other versions
CN113947141A (zh
Inventor
李骏
张新钰
王华男
李志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202111197599.9A priority Critical patent/CN113947141B/zh
Publication of CN113947141A publication Critical patent/CN113947141A/zh
Application granted granted Critical
Publication of CN113947141B publication Critical patent/CN113947141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请提供了一种城市路口场景的路侧灯塔感知系统，涉及自动驾驶技术领域，包括：多个路侧灯塔以及一个路边云平台，每个路侧灯塔上布设一套路侧灯塔感知装置；所述路侧灯塔感知装置，用于对多个传感器同步采集的路口目标场景的数据进行融合处理，得到目标场景感知结果，然后将原始点云以及目标场景感知结果发送至路边云平台；所述路边云平台，用于基于各路侧灯塔的点云配准获得各路侧灯塔之间的空间转换矩阵，对各路侧灯塔的原始点云以及目标场景感知结果分别进行拼接，由此得到路口点云以及路口全要素感知结果。本申请的系统具有硬件成本低以及易扩展的优点，并可以提供高质量多角度的路口目标场景数据。

Description

一种城市路口场景的路侧灯塔感知系统
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种城市路口场景的路侧灯塔感知系统。
背景技术
鲁棒的感知周围环境对于自动驾驶与辅助驾驶任务而言尤为重要。针对物体间存在严重遮挡，且关系极度复杂的大型城市交通路口环境时，由于视野遮挡与算力限制等因素，安装在车端的感知系统不能够即时鲁棒地获得路口场景中所有交通参与者的位置与速度信息，这成为了自动驾驶与辅助驾驶感知任务在场景上的长尾问题，极大的影响着自动驾驶系统的安全性。
现阶段自动驾驶领域常用的感知传感器可以分为三类：相机，激光雷达与毫米波雷达。对于路口场景而言，激光雷达能够提供高精度的距离信息，但对于远距离物体检测效果不佳且成本高昂；相机能够提供可用于目标检测与跟踪的丰富颜色与纹理信息，对于行人等小目标检测有着优于其他传感器的效果，但尚不能够准确地实现距离信息的测量；毫米波雷达有着优于前两者的全天候鲁棒性，且对于金属物体的运动物体的速度检测有着较高的灵敏度于和靠性，但较低的分辨率和低信噪比使得其对静态物体于行人检测的灵敏度较低。
对于算法研究而言，现阶段针对交通监控的二维目标检测算法由于单目图像的限制难以得到准确的物体距离信息，双目相机与激光雷达等测距方法受限于尚不存在开源的真值数据而没有得到广泛研究；三维目标检测算法的路侧实践尚处于探索阶段，没有充分利用路口感知场景的背景不变性，且以图像为输入的算法在路口场景下由于视角多变，检测效果欠佳。
发明内容
有鉴于此，本申请提出了一种城市路口场景的路侧灯塔感知系统，解决现有技术无法充分利用路口场景信息的技术问题。
本申请实施例提供了一种城市路口场景的路侧灯塔感知系统，包括：多个路侧灯塔以及一个路边云平台，多个路侧灯塔布设在一个路口的周围，每个路侧灯塔布设一套路侧灯塔感知装置；
所述路侧灯塔感知装置，用于对多个传感器同步采集的路口目标场景的数据进行融合处理，得到目标场景感知结果，然后将原始点云以及目标场景感知结果发送至路边云平台；
所述路边云平台，用于基于各路侧灯塔的点云配准获得各路侧灯塔之间的空间转换矩阵，基于各路侧灯塔之间的空间转换矩阵，对各路侧灯塔的原始点云以及目标场景感知结果分别进行拼接，由此得到路口点云以及路口全要素感知结果。
进一步的，所述路侧灯塔感知装置包括：无线授时器、触发信号生成器、激光雷达、毫米波雷达、两台工业相机、交换机、融合计算模块和通信模块；所述激光雷达和毫米波雷达位于路侧灯塔的横臂纵臂交汇处；两台工业相机位于横臂两侧；
所述无线授时器，用于接收授时信息以及定位数据，将授时信息发送至触发信号生成器，将定位数据发送至融合计算单元；
所述触发信号生成器，用于接收授时信息，向激光雷达、毫米波雷达和两台工业相机同时输出等间隔的上升沿触发信号；
所述交换机，用于将激光雷达、毫米波雷达和两台工业相机发送的原始测量数据转发至融合计算单元，将激光雷达的原始点云发送至通信单元；
所述融合计算模块，用于基于定位数据计算路侧灯塔坐标系到地心直角坐标系的转换矩阵，还用于对激光雷达、毫米波雷达和两台工业相机发送的原始测量数据进行融合处理，得到目标场景感知结果；
所述通信模块，用于将路侧灯塔坐标系到地心直角坐标系的转换矩阵、原始点云和目标场景感知结果转发至路边云平台。
进一步的，所述路边云平台设置数据接收模块和多源灯塔融合感知模块；
所述数据接收模块，用于接收各个路侧灯塔发送的路侧灯塔坐标系到地心直角坐标系的转换矩阵、原始点云和目标场景感知结果；
所述多源灯塔融合感知模块，用于基于各个路侧灯塔发送的路侧灯塔坐标系到地心直角坐标系的转换矩阵和原始点云，计算得到各个路侧灯塔的空间转换矩阵；基于各个路侧灯塔的空间转换矩阵对各路侧灯塔的原始点云以及目标场景感知结果分别进行拼接，由此得到路口点云以及路口全要素感知结果。
进一步的，所述多源灯塔融合感知模块包括：粗对齐单元，点云预处理单元、空间转换矩阵生成单元以及融合单元；
所述粗对齐单元，用于计算各个路侧灯塔之间的初始转换矩阵；
所述点云预处理单元，用于对各个路侧灯塔的原始点云进行预处理；
所述空间转换矩阵生成单元，用于基于预处理后点云与初始转换矩阵，采用ICP算法计算最终的空间转换矩阵；
所述融合单元，用于根据各路侧灯塔的空间转换矩阵，对各路侧灯塔的原始点云以及目标场景感知结果分别进行拼接，由此得到路口点云以及路口全要素感知结果。
进一步的，所述粗对齐单元具体用于：
第i个路侧灯塔与第j个路侧灯塔的初始转换矩阵
Figure BDA0003303753740000031
为：
Figure BDA0003303753740000032
其中，Oi为第i个路侧灯塔坐标系到地心直角坐标系的转换矩阵；Oj为第j个路侧灯塔坐标系到地心直角坐标系的转换矩阵，1≤i≤N，1≤j≤N，i≠j；N为路侧灯塔的总数。
进一步的，所述点云预处理单元包括：去噪子单元、空间体素化子单元、去除地面点子单元和视角差异阈值化剔除子单元；
所述去噪子单元，用于对原始点云进行去噪处理；
所述空间体素化子单元，用于将去噪后的点云进行了体素化处理，由此实现对点云的降采样；
所述去除地面点子单元，用于对体素化后的点云进行地面点的去除：将地面平面拟合为三元多项式，将其法向量记为
Figure BDA0003303753740000041
带入下式求得所拟合地面平面到路侧灯塔坐标系XY平面的旋转矩阵R：
R＝I+sin(θ)K+(1-cos(θ))K2
其中，I为四阶单位阵，夹角
Figure BDA0003303753740000042
Figure BDA0003303753740000043
Figure BDA0003303753740000044
利用旋转矩阵R将原始点云转换到地面平面，将地面平面的点云中低于第一阈值的点视为地面并进行剔除；
所述视角差异阈值化剔除子单元，用于对去除地面点的点云进行视角差异阈值化剔除：以地面平面坐标系原点为顶点，绘制最小凸多边形，对各点云进行裁剪，仅保留最小凸多边形外的点云，将点云通过矩阵R-1转换回路侧灯塔坐标系的点云。
进一步的，所述空间转换矩阵生成单元具体用于：
将所述点云预处理单元输出的第i个路侧灯塔的点云PCi通过初始转换矩阵
Figure BDA0003303753740000045
转换至第j个路侧灯塔坐标系，转换后的点云为
Figure BDA0003303753740000046
Figure BDA0003303753740000051
利用KD-Tree结构，获取点云
Figure BDA0003303753740000052
中各点在所述点云预处理单元输出的第j个路侧灯塔的点云PCj中的最近邻点，并组成多个点对；通过最小二乘法计算使得多个点对平均距离最小的从
Figure BDA0003303753740000053
到PCj的刚体变换矩阵
Figure BDA0003303753740000054
利用刚体变换矩阵
Figure BDA0003303753740000055
将点云
Figure BDA0003303753740000056
变换为点云
Figure BDA0003303753740000057
迭代上述步骤直到多个点对平均距离小于第二阈值或迭代次数超出第三阈值，得到点云
Figure BDA0003303753740000058
与变换矩阵
Figure BDA0003303753740000059
则第i个路侧灯塔到第j个路侧灯塔的空间转换矩阵
Figure BDA00033037537400000510
为：
Figure BDA00033037537400000511
进一步的，所述融合单元具体用于：
基于空间转换矩阵，对各个路侧灯塔的原始点云进行融合，得到融合后的路口点云PCwhole为：
Figure BDA00033037537400000512
其中，
Figure BDA00033037537400000513
为第i个路侧灯塔的原始点云，并集与
Figure BDA00033037537400000514
操作均为点云的Concat操作；
基于空间转换矩阵，对各个路侧灯塔的目标场景感知结果进行融合，得到融合后的路口全要素感知结果。
进一步的，所述路边云平台还设置V2X模块，用于将路口点云和路口全要素感知结果发送出去
与现有技术相比，本申请实施例的有益效果在于：
本申请实施例通过在路口设置多个路侧灯塔和一个路边云平台，能够实现了路口场景下全要素感知务任务，为通过路口的车辆提供超视距感知信息，从而提高车辆驾驶的安全性。
附图说明
为了更清楚的说明本申请，下面将对本申请中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本申请的一些实施例，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的城市路口场景的路侧灯塔感知系统的结构示意图；
图2为本申请实施例的多源灯塔融合感知模块的结构示意图；
图3为本申请实施例的点云预处理单元的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本申请实施例提供了一种城市路口场景的路侧灯塔感知系统，包括：多个路侧灯塔和一个路边云平台；
在路侧灯塔上设置无线授时器、FPGA触发信号生成器、激光雷达、毫米波雷达、两个工业相机、交换机、融合计算模块和通信模块。
路侧灯塔为T形灯杆，横臂距离地面5.5m，臂长共1.5m。激光雷达与毫米波雷达位于横纵臂交汇处，呈水平放置；两台工业相机位于横臂两侧，并向下倾斜30°角，组成一套基线距为1.5m的双目相机系统；其它设备均位于灯塔中下段，以方便调试工作。
在本实施例中，无线授时器选用GPS无线授时器，但本申请不限定于采用GPS无线授时器，其它类型的无线授时器，例如北斗无线授时器同样适用。
GPS无线授时器，用于接收GPRMC信号与GPSPPS信号，并将GPSPPS信号发送FPGA触发信号生成器，把GPRMC信号发送至融合计算单元；
FPGA触发信号生成器，用于接收1Hz的GPSPPS时间信号，输出等间隔的上升沿触发信号，其中默认输出频率为10Hz，并以1Hz的频率同GPS信息进行校准，校准误差上限为1us。
通过FPGA触发信号生成器，实现了在灯塔内传感器的时间同步。对于相机与毫米波雷达而言，触发信号控制其快门开关，由于双目相机与毫米波雷达间仅存在水平沿横臂向视差，保证了数据采集内容的同步；对于激光雷达而言，触发信号控制其水平旋转的相位角，信号发出时雷达探测头置于0°，该过程通过内部时钟与外部信号同时校准，灯塔内的时间同步通过有线触发方式得以实现。
激光雷达、毫米波雷达和两个工业相机输出的同步测量数据首先进入交换机，交换机将激光雷达、毫米波雷达和两台工业相机发送的原始测量数据转发至融合计算模块，将激光雷达的原始点云发送至通信模块。
对于相机的测量数据，还需要首先将其采集的数据发送至视频转换器，才能进入交换机。优选的，交换机采用千兆网交换机。
融合计算模块，用于接收GPRMC数据并解包得到所在路侧灯塔的初始位置信息，其包括经度半球、纬度半球与精确的经纬度信息对
Figure BDA0003303753740000071
λ其中为经度信息，
Figure BDA0003303753740000072
为纬度信息，均为ddmm.mmmm(度分)格式。根据经纬度计算所在路侧灯塔坐标系到地心直角坐标系的转换矩阵Oi：
Figure BDA0003303753740000081
其中，λi与
Figure BDA0003303753740000082
为第i个路侧灯塔的经纬度信息。
还用于对激光雷达、毫米波雷达和两台工业相机发送的原始测量数据进行融合处理，向通信模块输出包括目标场景感知结果；包括感知结果的时间戳信息与障碍物在对应灯塔坐标系下的位置与姿态。
所述通信模块，用于将转换矩阵Oi、原始点云和目标场景感知结果转发至路边云平台。
路边云平台在接收到各路侧灯塔发送的数据后，通过时空同步技术将感知结果进行比对与强化，最终得到城市路口的全要素感知结果，并通过V2X技术实现向智能车辆端与交通控制中心端的赋能感知，提升城市路口行车的安全性。
各路侧灯塔之间需要实现时间同步，通过GPSPPS信号统一获取GPS时间实现，由于各路侧灯塔均可配备GPS无线授时器，因此各路侧灯塔之间无需硬件连通，具有较强的可扩展性。同时该套时间同步系统有着很高的可靠性，在采集过程中，实测各灯塔各传感器之间数据时间同步误差长期稳定在10ms之内。
路边云平台上设置数据接收模块和多源灯塔融合感知模块；
如图2所示，所述多源灯塔融合感知模块包括：粗对齐单元，点云预处理单元、空间转换矩阵生成单元以及融合单元；
所述粗对齐单元，用于计算各个路侧灯塔之间的初始转换矩阵；具体用于：
计算第i个路侧灯塔与第j个路侧灯塔的初始转换矩阵
Figure BDA0003303753740000083
Figure BDA0003303753740000084
其中，Oi为第i个路侧灯塔坐标系到地心直角坐标系的转换矩阵；Oj为第j个路侧灯塔坐标系到地心直角坐标系的转换矩阵，1≤i≤N，1≤j≤N，i≠j；N为路侧灯塔的总数。
所述点云预处理单元，用于对各个路侧灯塔的原始点云进行预处理；所述点云预处理单元包括：去噪子单元、空间体素化子单元、去除地面点子单元和视角差异阈值化剔除子单元，如图3所示。
所述去噪子单元，用于对原始点云进行去噪处理；
由于各路侧灯塔之间的安装位置间隔大都在70m以上，原始激光点云的重叠度较低，内容相似度较弱，给空间同步带来了严重的噪声干扰。在得到PCD格式的单帧点云后，首先对原始点云进行基于统计学原理的去噪，具体实施过程为：使用KD-Tree结构搜索每个点的邻域空间，将点到其所有近邻的平均空间欧氏距离假定为高斯分布，求取高斯分布的均值与标准差。基于高斯分布的先验，将统计点的领域点个数设置为50，最终求得的高斯分布中将平均距离在一个标准差以上的点定义为测量噪声予以剔除，从而缓解了噪声点对于同步过程的干扰。
所述空间体素化子单元，用于将去噪后的点云进行了体素化处理，由此实现对点云的降采样；
为了缓解点云非结构化特点给同步过程带来的表征难题，本申请实施例将去噪后的空间离散点云进行了体素化处理，即用被体素包围点簇的重心代替该体素中的所有点，经过大量实地数据采集与测试，本方法将体素边长定义为0.3m。在将数据结构化的同时，实现了对点云的降采样。
所述去除地面点子单元，用于对体素化后的点云进行地面点的去除；
地面点去除的设计初衷是由于地面的平面结构使得表征地面点的激光点云呈现以激光雷达为圆心的同心圆，由于空间位置差异使得同心圆心不同，该部分点云在对齐过程中会起到强烈的干扰作用。去除地面点的过程如下：对于单帧点云而言，地面点约占总点数的70％，因此，可以直接使用RANSAC算法将地面平面拟合为三元多项式，将其法向量记为
Figure BDA0003303753740000101
带入下式求得所拟合地面平面到路侧灯塔坐标系XY平面的旋转矩阵R：
R＝I+sin(θ)K+(1-cos(θ))K2
其中，I为四阶单位阵，夹角
Figure BDA0003303753740000102
Figure BDA0003303753740000103
Figure BDA0003303753740000104
利用旋转矩阵R将原始点云转换到地面平面，将地面平面的点云中低于设定阈值的点视为地面并进行剔除。由于路侧灯塔的安装高度为5.5m，故该阈值设置为5.4-5.5m均能得到较好结果。
所述视角差异阈值化剔除子单元，用于对去除地面点的点云进行视角差异阈值化剔除；
针对车辆等交通参与物在两路侧灯塔之间时，激光点云测量为物体的不同视角，如车辆的左侧面和右侧面，空间视角差异会降低点云对齐的精度，因此需要对点云进行视角差异阈值化剔除，具体过程为：以地面平面坐标系原点为顶点，绘制最小凸多边形，对各点云进行裁剪，仅保留最小凸多边形外的点云，将点云通过矩阵R-1转换回路侧灯塔坐标系的点云。
所述空间转换矩阵生成单元，用于基于预处理后点云与初始转换矩阵，采用ICP算法计算最终的空间转换矩阵；具体用于：
将所述点云预处理单元输出的第i个路侧灯塔的点云PCi通过初始转换矩阵
Figure BDA0003303753740000105
转换至第j个路侧灯塔坐标系，转换后的点云为
Figure BDA0003303753740000106
Figure BDA0003303753740000107
利用KD-Tree结构，获取点云
Figure BDA0003303753740000108
中各点在所述点云预处理单元输出的第j个路侧灯塔的点云PCj中的最近邻点，并组成多个点对；通过最小二乘法计算使得多个点对平均距离最小的从
Figure BDA0003303753740000111
到PCj的刚体变换矩阵
Figure BDA0003303753740000112
利用刚体变换矩阵
Figure BDA0003303753740000113
将点云
Figure BDA0003303753740000114
变换为点云
Figure BDA0003303753740000115
迭代上述步骤直到多个点对平均距离小于设定阈值(可取0.01)或迭代次数超出上限(100次)，得到点云
Figure BDA0003303753740000116
与变换矩阵
Figure BDA0003303753740000117
则第i个路侧灯塔到第j个路侧灯塔的空间转换矩阵
Figure BDA0003303753740000118
为：
Figure BDA0003303753740000119
所述融合单元，用于根据各路侧灯塔的空间转换矩阵，对各路侧灯塔的原始点云以及目标场景感知结果分别进行拼接，由此得到路口点云以及路口全要素感知结果，具体用于：
基于空间转换矩阵，对各个路侧灯塔的原始点云进行融合，得到融合后的路口点云PCwhole为：
Figure BDA00033037537400001110
其中，
Figure BDA00033037537400001111
为第i个路侧灯塔的原始点云，并集与
Figure BDA00033037537400001112
操作均为点云的Concat操作；
基于空间转换矩阵，对各个路侧灯塔的目标场景感知结果进行融合，得到融合后的路口全要素感知结果。
由于路侧灯塔感知装置一旦安装完成，其空间相对位置基本保持不变，将路侧灯塔感知装置采集得到的数据帧分为关键帧与普通帧两类，其中关键帧与普通帧等间隔交替设置，比例为1：19，即每2s抽取一帧作为关键帧。对于普通帧而言，路边云平台依次完成时间同步与空间同步两个过程，其中空间同步过程仅计算融合后的统一点云，用于后续感知任务，各路侧灯塔间的转换矩阵采用最近邻关键帧的计算结果。对于关键帧而言，除进行时空同步外，针对可能遇到的由于风力等外力引起的空间对齐累计误差，点云在完成时间同步与空间同步的基础上，进一步根据基于激光点云配准的自动化空间同步算法，更新各路侧灯塔间的空间转换矩阵。
最后所应说明的是，以上实施例仅用以说明本申请的技术方案而非限制。尽管参照实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，对本申请的技术方案进行修改或者等同替换，都不脱离本申请技术方案的精神和范围，其均应涵盖在本申请的权利要求范围当中。

Claims (5)

1.一种城市路口场景的路侧灯塔感知系统，其特征在于，包括：多个路侧灯塔以及一个路边云平台，多个路侧灯塔布设在一个路口的周围，每个路侧灯塔布设一套路侧灯塔感知装置；
所述路侧灯塔感知装置，用于对多个传感器同步采集的路口目标场景的数据进行融合处理，得到目标场景感知结果，然后将原始点云以及目标场景感知结果发送至路边云平台；
所述路边云平台，用于基于各路侧灯塔的点云配准获得各路侧灯塔之间的空间转换矩阵，基于各路侧灯塔之间的空间转换矩阵，对各路侧灯塔的原始点云以及目标场景感知结果分别进行拼接，由此得到路口点云以及路口全要素感知结果；
所述路侧灯塔感知装置包括：无线授时器、触发信号生成器、激光雷达、毫米波雷达、两台工业相机、交换机、融合计算模块和通信模块；所述激光雷达和毫米波雷达位于路侧灯塔的横臂纵臂交汇处；两台工业相机位于横臂两侧；
所述无线授时器，用于接收授时信息以及定位数据，将授时信息发送至触发信号生成器，将定位数据发送至融合计算单元；
所述触发信号生成器，用于接收授时信息，向激光雷达、毫米波雷达和两台工业相机同时输出等间隔的上升沿触发信号；
所述交换机，用于将激光雷达、毫米波雷达和两台工业相机发送的原始测量数据转发至融合计算单元，将激光雷达的原始点云发送至通信单元；
所述融合计算模块，用于基于定位数据计算路侧灯塔坐标系到地心直角坐标系的转换矩阵，还用于对激光雷达、毫米波雷达和两台工业相机发送的原始测量数据进行融合处理，得到目标场景感知结果；
所述通信模块，用于将路侧灯塔坐标系到地心直角坐标系的转换矩阵、原始点云和目标场景感知结果转发至路边云平台；
所述路边云平台设置数据接收模块和多源灯塔融合感知模块；
所述数据接收模块，用于接收各个路侧灯塔发送的路侧灯塔坐标系到地心直角坐标系的转换矩阵、原始点云和目标场景感知结果；
所述多源灯塔融合感知模块，用于基于各个路侧灯塔发送的路侧灯塔坐标系到地心直角坐标系的转换矩阵和原始点云，计算得到各个路侧灯塔的空间转换矩阵；基于各个路侧灯塔的空间转换矩阵对各路侧灯塔的原始点云以及目标场景感知结果分别进行拼接，由此得到路口点云以及路口全要素感知结果；
所述多源灯塔融合感知模块包括：粗对齐单元，点云预处理单元、空间转换矩阵生成单元以及融合单元；
所述粗对齐单元，用于计算各个路侧灯塔之间的初始转换矩阵；
所述点云预处理单元，用于对各个路侧灯塔的原始点云进行预处理；
所述空间转换矩阵生成单元，用于基于预处理后点云与初始转换矩阵，采用ICP算法计算最终的空间转换矩阵；
所述融合单元，用于根据各路侧灯塔的空间转换矩阵，对各路侧灯塔的原始点云以及目标场景感知结果分别进行拼接，由此得到路口点云以及路口全要素感知结果；
所述点云预处理单元包括：去噪子单元、空间体素化子单元、去除地面点子单元和视角差异阈值化剔除子单元；
所述去噪子单元，用于对原始点云进行去噪处理；
所述空间体素化子单元，用于将去噪后的点云进行了体素化处理，由此实现对点云的降采样；
所述去除地面点子单元，用于对体素化后的点云进行地面点的去除：将地面平面拟合为三元多项式，将其法向量记为
Figure FDA0003759192700000021
带入下式求得所拟合地面平面到路侧灯塔坐标系XY平面的旋转矩阵R：
R＝I+sin(θ)K+(1-cos(θ))K2
其中，I为四阶单位阵，夹角
Figure FDA0003759192700000031
Figure FDA0003759192700000032
Figure FDA0003759192700000033
利用旋转矩阵R将原始点云转换到地面平面，将地面平面的点云中低于第一阈值的点视为地面并进行剔除；
所述视角差异阈值化剔除子单元，用于对去除地面点的点云进行视角差异阈值化剔除：以地面平面坐标系原点为顶点，绘制最小凸多边形，对各点云进行裁剪，仅保留最小凸多边形外的点云，将点云通过矩阵R-1转换回路侧灯塔坐标系的点云。
2.根据权利要求1所述的城市路口场景的路侧灯塔感知系统，其特征在于，所述粗对齐单元具体用于：
第i个路侧灯塔与第j个路侧灯塔的初始转换矩阵
Figure FDA0003759192700000034
为：
Figure FDA0003759192700000035
其中，Oi为第i个路侧灯塔坐标系到地心直角坐标系的转换矩阵；Oj为第j个路侧灯塔坐标系到地心直角坐标系的转换矩阵，1≤i≤N，1≤j≤N，i≠j；N为路侧灯塔的总数。
3.根据权利要求2所述的城市路口场景的路侧灯塔感知系统，其特征在于，所述空间转换矩阵生成单元具体用于：
将所述点云预处理单元输出的第i个路侧灯塔的点云PCi通过初始转换矩阵
Figure FDA0003759192700000036
转换至第j个路侧灯塔坐标系，转换后的点云为
Figure FDA0003759192700000037
Figure FDA0003759192700000038
利用KD-Tree结构，获取点云
Figure FDA0003759192700000039
中各点在所述点云预处理单元输出的第j个路侧灯塔的点云PCj中的最近邻点，并组成多个点对；通过最小二乘法计算使得多个点对平均距离最小的从
Figure FDA00037591927000000310
到PCj的刚体变换矩阵
Figure FDA0003759192700000041
利用刚体变换矩阵
Figure FDA0003759192700000042
将点云
Figure FDA0003759192700000043
变换为点云
Figure FDA0003759192700000044
迭代上述步骤直到多个点对平均距离小于第二阈值或迭代次数超出第三阈值，得到点云
Figure FDA0003759192700000045
与变换矩阵
Figure FDA0003759192700000046
则第i个路侧灯塔到第j个路侧灯塔的空间转换矩阵
Figure FDA0003759192700000047
为：
Figure FDA0003759192700000048
4.根据权利要求3所述的城市路口场景的路侧灯塔感知系统，其特征在于，所述融合单元具体用于：
基于空间转换矩阵，对各个路侧灯塔的原始点云进行融合，得到融合后的路口点云PCwhole为：
Figure FDA0003759192700000049
其中，
Figure FDA00037591927000000410
为第i个路侧灯塔的原始点云，并集与
Figure FDA00037591927000000411
操作均为点云的Concat操作；
基于空间转换矩阵，对各个路侧灯塔的目标场景感知结果进行融合，得到融合后的路口全要素感知结果。
5.根据权利要求1-4任一项所述的城市路口场景的路侧灯塔感知系统，其特征在于，所述路边云平台还设置V2X模块，用于将路口点云和路口全要素感知结果发送出去。
CN202111197599.9A 2021-10-14 2021-10-14 一种城市路口场景的路侧灯塔感知系统 Active CN113947141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111197599.9A CN113947141B (zh) 2021-10-14 2021-10-14 一种城市路口场景的路侧灯塔感知系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111197599.9A CN113947141B (zh) 2021-10-14 2021-10-14 一种城市路口场景的路侧灯塔感知系统

Publications (2)

Publication Number Publication Date
CN113947141A CN113947141A (zh) 2022-01-18
CN113947141B true CN113947141B (zh) 2022-09-09

Family

ID=79330416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111197599.9A Active CN113947141B (zh) 2021-10-14 2021-10-14 一种城市路口场景的路侧灯塔感知系统

Country Status (1)

Country Link
CN (1) CN113947141B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117542218B (zh) * 2023-11-17 2024-05-31 上海智能汽车融合创新中心有限公司 一种基于车速-车距引导控制的车路协同系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768642A (zh) * 2019-04-02 2020-10-13 上海图森未来人工智能科技有限公司 车辆的道路环境感知和车辆控制方法、系统、设备及车辆

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694010B (zh) * 2020-05-27 2022-03-25 东南大学 一种基于视觉与激光雷达融合的路侧车辆识别方法
CN112650220B (zh) * 2020-12-04 2022-03-25 东风汽车集团有限公司 一种车辆自动驾驶方法、车载控制器及系统
CN112835037B (zh) * 2020-12-29 2021-12-07 清华大学 一种基于视觉和毫米波融合的全天候目标检测方法
CN112767475B (zh) * 2020-12-30 2022-10-18 重庆邮电大学 一种基于c-v2x、雷达与视觉的智能路侧感知系统
CN113255504B (zh) * 2021-05-19 2022-07-22 燕山大学 一种基于深度学习的路侧视角超视距全域融合感知系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768642A (zh) * 2019-04-02 2020-10-13 上海图森未来人工智能科技有限公司 车辆的道路环境感知和车辆控制方法、系统、设备及车辆

Also Published As

Publication number Publication date
CN113947141A (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
CN110879401B (zh) 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
WO2022206978A1 (zh) 一种基于车载定位装置的路侧毫米波雷达校准方法
CN108955702B (zh) 基于三维激光和gps惯性导航系统的车道级地图创建系统
CN113359097B (zh) 一种毫米波雷达和相机联合标定的方法
CN103176185B (zh) 用于检测道路障碍物的方法及系统
CN112698302B (zh) 一种颠簸路况下的传感器融合目标检测方法
CN102944224B (zh) 一种无人驾驶车的自动环境感知系统的工作方法
CN112946628A (zh) 一种基于雷达与视频融合的道路运行状态检测方法及系统
CN112001958B (zh) 基于有监督单目深度估计的虚拟点云三维目标检测方法
CN112740225B (zh) 一种路面要素确定方法及装置
CN113566833A (zh) 一种多传感器融合的车辆定位方法及系统
CN109547769B (zh) 一种公路交通动态三维数字场景采集构建系统及其工作方法
CN114638909A (zh) 基于激光slam和视觉融合的变电站语义地图构建方法
Fan et al. 4D mmWave radar for autonomous driving perception: a comprehensive survey
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN113791074A (zh) 一种基于多传感器融合的无人机桥梁裂缝巡检系统及方法
CN113850102A (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN108535789A (zh) 一种基于机场跑道的异物识别系统
CN113419235A (zh) 一种基于毫米波雷达的无人机定位方法
CN116958763B (zh) 特征-结果级融合的车路协同感知方法、介质及电子设备
CN114923477A (zh) 基于视觉与激光slam技术的多维度空地协同建图系统和方法
CN113947141B (zh) 一种城市路口场景的路侧灯塔感知系统
Deng et al. Joint calibration of dual lidars and camera using a circular chessboard
CN113790718A (zh) 一种基于无人船的信息共享系统
Xu et al. Surround-view Water Surface BEV Segmentation for Autonomous Surface Vehicles: Dataset, Baseline and Hybrid-BEV Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Li Jun

Inventor after: Zhang Xinyu

Inventor after: Wang Huanan

Inventor after: Li Zhiwei

Inventor before: Li Jun

Inventor before: Zhang Xinyu

Inventor before: Wang Huanan

Inventor before: Li Zhiwei

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant