[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112101128A - 一种基于多传感器信息融合的无人方程式赛车感知规划方法 - Google Patents

一种基于多传感器信息融合的无人方程式赛车感知规划方法 Download PDF

Info

Publication number
CN112101128A
CN112101128A CN202010849407.7A CN202010849407A CN112101128A CN 112101128 A CN112101128 A CN 112101128A CN 202010849407 A CN202010849407 A CN 202010849407A CN 112101128 A CN112101128 A CN 112101128A
Authority
CN
China
Prior art keywords
image
racing car
unmanned
point cloud
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010849407.7A
Other languages
English (en)
Other versions
CN112101128B (zh
Inventor
殷国栋
柏硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010849407.7A priority Critical patent/CN112101128B/zh
Publication of CN112101128A publication Critical patent/CN112101128A/zh
Application granted granted Critical
Publication of CN112101128B publication Critical patent/CN112101128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明基于双电机驱动无人方程式赛车,提出了一种基于多传感器信息融合的无人方程式赛车感知规划方法,以运算控制单元为系统关键信号协调中心。基于对激光雷达点云特征提取、投影降维完成障碍物识别,依据离群值特征滤除离散噪声点,基于图像增强的最大稳定极值区域MSER方法和几何特征进行锥桶检测和识别,采用DBSCAN算法进行聚类,拟合区域边界。利用霍夫变换进行车道标志线的检测,将路面区域分割生成三角形自适应感兴趣区域。采用目标偏向型的双向快速搜索随机树算法,获得道路空间的最优路径。本发明提出的多传感器信息融合感知规划策略能够快速准确地识别赛道环境,实现特定赛道环境下的无人驾驶控制。

Description

一种基于多传感器信息融合的无人方程式赛车感知规划方法
技术领域
本发明涉及一种无人方程式赛车感知规划技术,属于无人驾驶技术领域。
背景技术
中国大学生无人驾驶方程式大赛由中国汽车工程学会主办,该赛事是一项由高等院校汽车工程或汽车相关专业在校大学生组队参加的汽车设计与制造比赛,根据赛事规则和赛车制造标准,参赛车队需要在一年的时间内自行设计和制造出一辆具备自主驾驶能力的无人驾驶方程式赛车并参加比赛。中国大学生无人驾驶方程式大赛融合了无人驾驶车辆的顶尖技术,其中动态赛事分为直线加速测试、8 字绕环测试、操控性测试(有人)以及高速循迹追踪测试,重点测试参赛车辆的感知、规划、决策和控制等各项功能,涵盖了多传感器信息融合、点云障碍物识别、图像目标识别、车道线检测、车辆路径规划与跟踪等关键性技术。无人方程式赛车的多传感器信息融合等关键性技术可用于无人驾驶领域,对驾驶辅助系统具有重要意义,促进新能源汽车技术与智能汽车技术的发展。
因此,针对无人方程式赛车感知规划关键技术问题,本发明提出了一种基于多传感器信息融合的无人方程式赛车感知规划方法,基于点云障碍物识别环境感系统、冗余锥桶检测算法、目标偏向型的双向快速搜索随机树(RRT)算法、车道标志线检测、线控底盘系统和组合导航的多传感融合技术,能够快速准确地识别相应的赛道环境,实现赛道环境下的先进无人驾驶控制,满足了无人方程式赛车的实时性要求。
发明内容
技术问题:
目前无人驾驶技术还未成熟,由于无人方程式赛车需要在预定的赛道上行驶,而道路因素、天气因素等周围环境的不确定性较大,导致无人方程式赛车的感知规划策略稳定性较差。另外,无人方程式大赛涵盖了多传感器信息融合、点云障碍物识别、图像目标识别、车道线检测、车辆路径规划与跟踪等关键性技术,目前感知规划系统协调控制的鲁棒性较差。针对现有技术不足,本发明提出了一种基于多传感器融合的无人方程式赛车感知规划方法,满足了无人方程式赛车的实时性要求,实现了无人方程式赛车在不同赛道环境下的无人驾驶控制。
技术方案:
本发明基于多线激光雷达、机器视觉和组合导航的多传感融合技术,无人方程式赛车采用双电机驱动控制技术方案,结合CPU和GPU进行加速计算,实时规划行驶路径,驱动底层控制器实现车辆驱动、转向以及制动,采用冗余锥桶检测算法保证锥桶识别的准确性,利用目标偏向型快速搜索随机树算法优化路径规划,从而快速准确地通过相应的赛道环境,实现赛道环境下的先进无人驾驶控制。整车感知规划方法具体包含以下内容:
1. 基于多传感器信息融合的无人方程式赛车的感知规划方法
基于多传感器融合的无人方程式赛车的感知规划方法如图1所示,整体感知规划方法以运算控制单元为系统关键信号协调中心。基于无人驾驶传感器系统读取GPS/IMU信号、激光雷达信号、摄像头信号,基于车载接收端读取遥控发射端的“GO”信号和遥控急停信号,无人方程式赛车的车载接收端由无线串口、TTL转RS232模块和继电器模块组成,所读取的信号经运算控制单元分析处理,发送转向系统关闭/激活信号、驱动系统关闭/激活信号、制动系统及紧急制动系统脱离/激活信号等信号控制相应执行机构,最终实现赛车的安全平稳运行。
基于多传感器融信息融合的无人方程式赛车,其整体感知规划策略以运算控制单元为系统关键信号协调中心,主要包含激光雷达、单目摄像头、GPS/IMU传感器以及运算单元控制器硬件。基于激光雷达的初始点云数据,经过特征提取、投影降维等处理,完成障碍物的识别。采用单目摄像头基于颜色特征识别赛道特征点,完成对周围环境的感知识别。通过融合GPS与惯性传感器数据来增强定位的精度,基于GPS/IMU组合导航主要用于判断无人方程式赛车的位置及姿态。运算单元控制器硬主要包含主控器单元、数据处理单元和加速图像计算单元,选用Micro AutoBox II作为无人驾驶控制主控制器,选用ARK-3520P工控机处理雷达点云数据,选用NVIDIA TX2加速图像计算,运算控制单元采用CPU和GPU并行计算,能够满足感知数据处理以及规划算法的实时性要求。
基于激光雷达点云障碍物识别的环境感知算法
本发明提出了基于点云障碍物识别的环境感知算法,具体步骤如下:
(1)根据禾赛激光雷达Pandar40的数据编写UDP协议驱动,利用该驱动获得激光雷达三维目标场景的初始点云数据;
(2)对激光雷达的原始三维点云数据进行投影降维,将三维目标点云正射投影得到目标表面投影图,限制投影在点云感兴趣区域内;
(3)采用霍夫变换查找道路边缘获取道路候选点,采用Canny边缘检测算子进行车道线边缘的提取,取得抑制噪声和边缘检测的平衡,依据道路边缘和路面特征滤除无关区域及路面点云数据,提取三维目标的点云数据;
(4)依据离群值特征滤除离散的噪声点,剔除雷达点云数据中的异常值,采用MAD法作为离群值的判断标准;
(5)基于DBSCAN算法进行聚类,识别桩筒,拟合区域边界,最后建立无人方程式赛车局部地图,确定可通行区域。
基于图像增强的最大稳定极值区域MSER方法和几何特征的锥桶检测算法
基于机器视觉进行锥桶识别,提出基于图像增强的最大稳定极值区域MSER方法和几何特征的锥桶检测,具体步骤如下:
(1)基于颜色特征将锥桶图像进行分割,提取白色分割图像和锥桶颜色分割图像,融合两个模板图像,得到锥桶的二进制图像;
(2)针对赛道锥桶的颜色进行颜色增强,将灰度图像取阈值进行二值化处理,阈值从0到255依次递增,将像素点进行排序;
(3)使用不同灰度阈值对图像进行二值化来得到最稳定区域;
(4)对原图进行反转,再次取阈值进行二值化处理,检测出灰度图像的白色区域,提取最大稳定极值区域MSER得到锥桶的ROI区域并进行轮廓提取;
(5)基于几何特征进行锥桶检测,去除复杂背景的干扰;
(6)基于单目视觉进行锥桶坐标的解算与定位,获取锥桶像素中与地面接触的像素点,以该像素点的世界坐标位置作为实际锥桶的世界坐标,判断像素所处物体的维度。
基于霍夫变换的的车道标志线检测
本发明基于霍夫变换提出了无人方程式赛车的车道标志线检测方法,减小了噪声干扰,满足了无人驾驶赛车的实时性要求,具体步骤如下:
(1)对采集的无人方程式赛道视频进行图像预处理,采用Canny边缘检测算子进行车道线边缘提取,取得抑制噪声和边缘检测的平衡;
(2)分割路面区域生成三角形自适应感兴趣区域,缩小搜索区域;
(3)将道路预处理图像分为左右两部分,依次对左图像和右图像进行Hough变换,获得对应的左右车道线;
(4)对左图像和右图像所有直线的极径和极角分别求平均值,输出两条车道线,获取车道线并叠加到原始图像中。
目标偏向型的双向快速搜索随机树(RRT)算法
目标偏向型的双向快速搜索随机树算法在基本RRT算法的基础上运用状态空间预处理、双向搜索、目标偏向、动态步长、路径寻优等方法进行改进,实现对道路空间的搜索和特定精度下的最优路径,具体改进策略如下:
(1)状态空间预处理:根据无人方程式赛车的体积进行状态空间预处理,扩展状态空间边缘,预留出安全区域防止赛车出现碰撞;
(2)双向搜索:以初始点和目标点为起点分别搜索随机树,相比于以初始点为起点的单向随机树搜索,提高了搜索效率和搜索速度;
(3)目标偏向:在生成新的随机树节点时,让其以一定概率向目标方向拓展,使得随机树在拓展时不断地向终点趋近,从而有效降低了RRT的迭代次数;
(3)动态步长:在随机树的搜索过程中,采用了动态步长算法,采用步长的动态变化来扩展RRT随机数的新节点,在遇到障碍物时能够有效地调整搜索方向,加强了避障能力;
(4)路径寻优:当随机树完成对道路空间的搜索时,算法从终点开始对随机树上的节点进行回溯,通过判断节点之间的连线是否有障碍物,删除多余节点,对路径进行去弯取直,从而得到一条较优的路径。
无人方程式赛车的底盘线控系统
无人方程式赛车的底盘线控系统主要包含线控驱动系统、线控转向系统、线控制动系统,相较于有人驾驶模式控制策略,无人驾驶模式增加了五个控制策略状态,即无人驾驶系统关闭、无人驾驶系统准备、无人驾驶系统行驶、无人驾驶完成和紧急制动,实现有人驾驶模式和无人驾驶模式的切换,底盘线控系统的工作原理如下:
(1)线控驱动系统以运算单元计算输出的速度和扭矩作为输入量驱动电机,采用CAN报文的形式发送给电机驱动器以驱动电机;
(2)线控转向系统以运算单元计算的设定转角为输入量控制转向,主控制器MicroAutoBoxII通过继电器控制转向驱动器的供电线路通断,以PWM波控制模式控制转向驱动器,驱动伺服电机转动,进而精确控制转向角度;
(3)线控制动系统结合运算单元计算结果触发制动信号,控制继电器开闭进而失能/使能制动。线控制动系统的执行部件主要由碳纤维高压气瓶、减压阀、限流阀、电磁阀和气缸组成,线控制动系统控制逻辑如图2所示。
有益效果:
无人方程式赛车采用双电机驱动控制技术方案,基于多线激光雷达、机器视觉和组合导航的多传感器信息融合技术,结合CPU和GPU进行加速计算,驱动底层控制器实现车辆驱动、转向以及制动,实时规划行驶路径,最终实现赛道环境下的无人驾驶控制。本发明主要具有如下优势:
(1)基于投影降维的激光雷达点云障碍物目标识别方法,实现了数据滤波和及分类,利用投影降维有效提高了目标识别的实时性,增加了对周围环境目标的识别准确率。另外,依据离群值特征滤除离散的噪声点对于噪声点的抗干扰能力强,基于DBSCAN的聚类算法对于点云密度的变化具有较强的鲁棒性;
(2)基于图像增强的最大稳定极值区域MSER方法和几何特征的锥桶检测算法保证锥桶识别的准确性,所采用的MSER方法对图像灰度仿射变化具有不变性,对区域支持相对灰度变化具有稳定性,可对不同大小区域进行检测识别;
(3)基于霍夫变换的的车道标志线检测方法将路面区域分割生成三角形自适应感兴趣区域,将路面图像分为左右两部分,可以有效规避噪音的干扰,减少筛选道路边界点的范围,提高了车道线检测算法效率满足车辆的实时性检测;
(4)基于目标偏向型的双向快速搜索随机树算法优化路径规划,提高了搜索效率和搜索速度。采用动态步长扩展RRT随机树,加强了赛车的避障能力,从而有效降低了RRT的迭代次数。通过进行状态空间预处理,预留出赛车的安全区域,回溯路径时对路径进行去弯取直,从而获得赛车的最优路径;
(5)无人方程式赛车的底盘线控系统主要包含线控驱动系统、线控转向系统、线控制动系统,整体感知规划策略以运算控制单元为系统关键信号协调中心,容易实现有人驾驶模式和无人驾驶模式的切换。
附图说明
图1 基于多传感器融合的无人方程式赛车的感知规划方法
图2 线控制动系统的控制逻辑图。
具体实施方式
本发明基于多线激光雷达、机器视觉和组合导航的多传感融合技术,无人方程式赛车采用双电机驱动控制技术方案,结合CPU和GPU进行加速计算,实时规划行驶路径,驱动底层控制器实现车辆驱动、转向以及制动,采用冗余锥桶检测算法保证锥桶识别的准确性,利用目标偏向型快速搜索随机树算法优化路径规划,从而快速准确地通过相应的赛道环境,实现赛道环境下的先进无人驾驶控制。整车感知规划策略具体包含以下内容:
1. 基于多传感器信息融合的无人方程式赛车的感知规划方法
基于多传感器融合的无人方程式赛车的感知规划策略如图1所示,整体感知规划策略以运算控制单元为系统关键信号协调中心。基于无人驾驶传感器系统读取GPS/IMU信号、激光雷达信号、摄像头信号,基于车载接收端读取遥控发射端的“GO”信号和遥控急停信号,所读取的信号经运算控制单元分析处理,发送转向系统关闭/激活信号、驱动系统关闭/激活信号、制动系统及紧急制动系统脱离/激活信号等信号控制相应执行机构,最终实现无人方程式赛车安全平稳运行。
无人方程式赛车的车载接收端由无线串口、TTL转RS232模块和继电器模块组成,车载接收端的原理是遥控发射端对“GO”信号和急停信号进行编码并通过无线串口远程传递信号,无线串口接收到遥控发射端传输的信号之后进行解码并执行相应动作,以TTL信号的形式将信号传给TTL转RS232模块,TTL转RS232模块对信号形式进行转换,以RS232信号的形式将信号发送给主控制器MicroAutoBoxII,主控制器接收到信号指令后进行相应处理,再发送电平信号控制继电器模块通断以决定是否断开安全回路。其中遥控发射端由24V电源供电,车载接收端由5V电源供电。
无人方程式赛车的感知规划硬件系统
基于多传感器融信息融合的无人方程式赛车,其整体感知规划策略以运算控制单元为系统关键信号协调中心,主要包含以下感知规划硬件系统:
(1)激光雷达。激光雷达由发射系统、接收系统、信息处理三部分组成,利用可见和近红外光波发射、反射和接收来探测物体,通过获取激光雷达的初始点云数据,将激光雷达的局部点云数据进行特征提取、投影降维等处理,基于激光雷达点云完成障碍物识别,最终实现激光雷达三维建模的环境感知。由于无人方程式赛车的锥桶赛道定位精度要求较高,因此采用高垂直分辨率的禾赛激光雷达Pandar40作为主环境感知传感器,该激光雷达具有不受环境光影响、测距精度高、扫描范围广等优点,可以获得目标可靠的三维轮廓信息。选取的激光雷达的水平视场角为360°,垂直视场角为-16°to 7°,当扫描频率为10Hz时,激光雷达的水平角分辨率0.2°,当扫描频率为20Hz时,激光雷达的水平角分辨率0.4°,激光雷达由24V电源供电;
(2)单目摄像头。选取型号为MANTA G-504C的单目摄像头,基于颜色特征识别赛道特征点。该摄像头在全分辨率下的最大帧率为9.2fps,单目摄像头由24V电源供电;
(3)GPS/IMU传感器。GPS定位更新不存在误差累积,但是由于GPS更新频率低,因此获得的位置信息误差较大,在车辆快速行驶时难以给出精准的实时定位。惯性传感器IMU是检测加速度与旋转运动的传感器,包含三轴加速度传感器和三轴陀螺仪角速度计,IMU更新频率高。利用加速度传感器测量三维空间的加速度,将加速度积分可以获得物体的速度、位移的位置信息,利用陀螺仪角速度计测量旋转角速度,将角速度积分可以获取物体的姿态信息。由于位置信息和姿态信息是通过对加速度和角速度积分求得的,因此IMU更新过程存在误差累积。
由于无人方程式赛车在复杂的动态环境中行驶,因此需要融合GPS与惯性传感器数据来增强定位的精度,提高无人驾驶对可靠性和安全性。GPS/IMU组合导航主要用于判断无人方程式赛车的位置及姿态,本发明采用NovAtel PwrPak7型号的GPS/IMU传感器,该组合导航采用GNSS网络,带宽为2.046MHz,组合导航由24V电源供电,精度可达到40cm,满足无人方程式赛车的精度要求。
(4)运算单元控制器硬件。运算单元控制器硬主要包含主控器单元、数据处理单元和加速图像计算单元,选用Micro AutoBox II作为无人驾驶控制主控制器,选用ARK-3520P工控机处理雷达点云数据,选用NVIDIA TX2加速图像计算,运算控制单元采用CPU和GPU并行计算,能够满足感知数据处理以及规划算法的实时性要求,运算控制单元由24V电源供电。
基于点云障碍物识别的环境感知算法
本发明提出了基于点云障碍物识别的环境感知算法,具体步骤如下:
(1)根据禾赛激光雷达Pandar40的数据输出UDP协议,编写UDP协议驱动,利用该驱动获得激光雷达三维目标场景的初始点云数据;
(2)对激光雷达的原始三维点云数据进行投影降维,将三维目标点云正射投影得到目标表面投影图,限制投影在点云感兴趣区域内;
(3)采用霍夫变换查找道路边缘获取道路候选点,采用Canny边缘检测算子进行车道线边缘的提取,取得抑制噪声和边缘检测的平衡,依据道路边缘和路面特征滤除无关区域及路面点云数据,提取三维目标的点云数据;
(4)依据离群值特征滤除离散的噪声点,剔除雷达点云数据中的异常值。采用MAD法作为离群值的判断标准,即计算所有因子与平均值之间的距离总和来检测离群值,首先计算出所有因子的中位数,然后得到每个因子与中位数的绝对偏差值,计算得到绝对偏差值的中位数,最后确定因子合理的范围,针对超出合理范围的因子值做出调整;
(5)采用DBSCAN算法进行聚类,基于密度聚类算法识别任意形状的聚类,通过某个点r邻域内样本点的数量来衡量该点所在空间的密度,然后识别桩筒,拟合区域边界,最后建立无人方程式赛车局部地图,确定可通行区域。
基于图像增强的最大稳定极值区域MSER方法和几何特征的锥桶检测算法
基于机器视觉进行锥桶识别,提出基于图像增强的最大稳定极值区域MSER方法和几何特征的锥桶检测,具体步骤如下:
(1)基于颜色特征将锥桶图像进行分割,提取白色分割图像和锥桶颜色分割图像,融合两个模板图像,得到锥桶的二进制图像。
(2)针对赛道锥桶的颜色进行颜色增强,将灰度图像(灰度值为0~255)取阈值进行二值化处理,阈值从0到255依次递增,将像素点进行排序;
(3)使用不同灰度阈值对图像进行二值化来得到最稳定区域,最大稳定极值区域是集合中的像素灰度值总大于或小于其邻域区域像素的灰度值;
(4)对原图进行反转,再次取阈值进行二值化处理,检测出灰度图像的白色区域,提取最大稳定极值区域MSER得到锥桶的ROI区域并进行轮廓提取;
(5)基于几何特征进行锥桶检测,由于基于颜色的图像分割容易受到背景颜色的干扰,因此需要基于几何特征进行锥桶检测,去除复杂背景的干扰。
(6)基于单目视觉进行锥桶坐标的解算与定位,对于提取到的锥桶像素点,需要获取锥桶像素中与地面接触的像素点,以该像素点的世界坐标位置作为实际锥桶的世界坐标,以此判断像素所处物体的维度。
基于霍夫变换的的车道标志线检测
本发明基于霍夫变换提出了无人方程式赛车的车道标志线检测方法,减小了噪声干扰,满足了无人驾驶赛车的实时性要求,具体步骤如下:
(1)对采集的无人方程式赛道视频进行图像预处理,采用Canny边缘检测算子进行车道线边缘提取,取得抑制噪声和边缘检测的平衡;
(2)分割路面区域生成三角形自适应感兴趣区域,缩小搜索区域;
(3)将道路预处理图像分为左右两部分,依次对左图像和右图像进行Hough变换,获得对应的左右车道线;
(4)对左图像和右图像所有直线的极径和极角分别求平均值,输出两条车道线,获取车道线并叠加到原始图像中。
目标偏向型的双向快速搜索随机树(RRT)算法
目标偏向型的双向快速搜索随机树算法通过不断拓展的随机树对道路空间进行搜索,直至找到一条连接起点与终点的可行路径,在基本RRT算法的基础上运用目标偏向、动态步长、路径寻优等方法进行改进,通过回溯搜索优化路径,实现对道路空间的搜索和特定精度下的最优路径,具体改进策略如下:
(1)状态空间预处理:根据无人方程式赛车的体积进行状态空间预处理,扩展状态空间边缘,预留出安全区域防止赛车出现碰撞;
(2)双向搜索:以初始点和目标点为起点分别搜索随机树,相比于以初始点为起点的单向随机树搜索,提高了搜索效率和搜索速度;
(3)目标偏向:在生成新的随机树节点时,让其以一定概率向目标方向拓展,使得随机树在拓展时不断地向终点趋近,若上次随机树向目标方向的拓展成功,则本次产生新的节点时继续向终点方向拓展,如遇到障碍物则重新生成随机点。若始终没有遇到障碍物,则继续沿着目标方向拓展直至到达终点,从而有效降低了RRT的迭代次数;
(3)动态步长:在随机树的搜索过程中,采用了动态步长算法,采用步长的动态变化来扩展RRT随机数的新节点。可变步长使算法具有更大的灵活性,在遇到障碍物时能够有效地调整搜索方向,提高了算法的搜索效率,加强了避障能力;
(4)路径寻优:当随机树完成对道路空间的搜索时,算法从终点开始对随机树上的节点进行回溯,以刚加入路径中节点为基点,计算所有节点与起点之间的距离,选取距离起点最近的节点加入路径。以该点为基点继续回溯直至到达起点,最后通过判断节点之间的连线是否有障碍物,删除多余节点,对路径进行去弯取直,从而得到一条较优的路径。
无人方程式赛车的底盘线控系统
无人方程式赛车的底盘线控系统主要包含线控驱动系统、线控转向系统、线控制动系统,相较于有人驾驶模式控制策略,无人驾驶模式增加了五个控制策略状态,即无人驾驶系统关闭、无人驾驶系统准备、无人驾驶系统行驶、无人驾驶完成和紧急制动,实现有人驾驶模式和无人驾驶模式的切换,底盘线控系统的工作原理如下:
(1)线控驱动系统以运算单元计算输出的速度和扭矩作为输入量驱动电机,采用CAN报文的形式发送给电机驱动器以驱动电机;
(2)线控转向系统以运算单元计算的设定转角为输入量控制转向,主控制器MicroAutoBoxII通过继电器控制转向驱动器的供电线路通断,以PWM波控制模式控制转向驱动器,驱动伺服电机转动,进而精确控制转向角度。无人驾驶转向系统驱动器持续工作扭矩为2.16N·m,持续工作电流700mA,减速比1:1,转动角度为-90°至90°,线控转向系统电机驱动器由24V电源供电,转向系统继电器由5V电源供电;
(3)线控制动系统结合运算单元计算的目标速度触发制动信号,控制继电器开闭进而失能/使能制动。线控制动系统的执行部件主要由碳纤维高压气瓶、减压阀、限流阀、电磁阀和气缸组成,线控制动系统控制逻辑如图2所示,无人线控制动系统工作原理和有人制动和无人制动模式切换工作原理如下:
Figure DEST_PATH_IMAGE001
无人线控制动系统工作原理。高压气瓶内的的压缩空气,经减压阀显示瓶内气压,减压阀联通限流阀,限流阀控制输出气压,输出气压连接电磁阀,电磁阀为24V直流常闭电磁阀,电磁阀的输出端接入气缸,气缸末端连接制动踏板。工作时,电磁阀两端给予24V直流电,电磁阀的输入和输出会导通,限流阀输出气压推动气缸做功,完成制动踏板的制动。
Figure 81814DEST_PATH_IMAGE002
有人制动和无人制动模式切换工作原理。紧急制动系统通过继电器和电磁阀实现制动系统切换及无人制动功能,微型控制模块通过控制三个继电器进而控制五个电磁阀状态,其中两个常闭电磁阀8控制有人制动油壶开关,两个常闭电磁阀7控制无人制动油壶开关,常开电磁阀6控制高压气瓶开关。通过继电器控制电磁阀开关进而控制油壶和高压气瓶开关,能够使赛车合理地在有人制动和无人制动状态下进行切换。
线控制动系统的制动驱动器减速比为4.5,持续工作电流700mA,持续工作速度10cm/s。线控制动系统的制动驱动器和制动系统/紧急制动系统的电磁阀由24V电源供电,制动系统和急制动系统的继电器由5V电源供电,制动驱动器通过电平控制进行驱动器的制动。

Claims (6)

1.一种基于多传感器信息融合的无人方程式赛车的感知规划方法,其特征在于以运算控制单元为信号协调中心,基于传感器系统读取GPS/IMU信号、激光雷达信号、摄像头信号,基于车载接收端读取遥控发射端信号,经运算控制单元分析处理后,发送控制信号给底盘线控系统,实现赛车的安全平稳运行;具体感知方法包括:
基于激光雷达点云进行障碍物识别,实现激光雷达三维建模的环境感知;
基于图像增强的最大稳定极值区域MSER方法和几何特征的锥桶检测算法进行锥桶颜色识别和检测定位;
基于霍夫变换进行车道标志线检测;
基于目标偏向型的双向快速搜索随机树RRT算法进行道路空间搜索和路径优化。
2.如权利要求1所述的基于多传感器信息融合的无人方程式赛车的感知规划方法,其特征在于,基于激光雷达点云障碍物识别的环境感知算法包括以下步骤:
根据激光雷达的点云数据编写UDP协议驱动,利用该驱动获得激光雷达三维目标场景的初始点云数据;
对激光雷达的原始三维点云数据进行投影降维,将三维目标点云正射投影得到目标表面投影图,限制投影在点云感兴趣区域内;
采用霍夫变换查找道路边缘获取道路候选点,采用Canny边缘检测算子进行车道线边缘的提取,取得抑制噪声和边缘检测的平衡,依据道路边缘和路面特征滤除无关区域及路面点云数据,提取三维目标的点云数据;
利用离群值特征滤除离散的噪声点,剔除雷达点云数据中的异常值,采用MAD法作为离群值的判断标准;
基于DBSCAN算法进行聚类,识别桩筒,拟合区域边界,建立无人方程式赛车的局部地图,确定可通行区域。
3.根据权利要求1所述的基于多传感器信息融合的无人方程式赛车的感知规划方法,其特征在于,基于图像增强的最大稳定极值区域MSER方法和几何特征的锥桶检测算法包括以下步骤:
基于颜色特征将锥桶图像进行分割,提取白色分割图像和锥桶颜色分割图像,融合两个模板图像,得到锥桶的二进制图像;
针对赛道锥桶的颜色进行颜色增强,将灰度图像取阈值进行二值化处理,阈值从0到255依次递增,将像素点进行排序;
使用不同灰度阈值对图像进行二值化得到最稳定区域;
对原图进行反转,再次取阈值进行二值化处理,检测出灰度图像的白色区域,提取最大稳定极值区域MSER得到锥桶的ROI区域并进行轮廓提取;
基于几何特征进行锥桶检测,去除复杂背景的干扰;
基于单目视觉进行锥桶坐标的解算与定位,获取锥桶像素中与地面接触的像素点,以该像素点的世界坐标位置作为实际锥桶的世界坐标,判断像素所处物体的维度。
4.根据权利要求1所述的基于多传感器信息融合的无人方程式赛车的感知规划方法,其特征在于,基于霍夫变换的的无人方程式赛车车道标志线检测方法包括以下步骤:
(1)对采集的无人方程式赛道视频进行图像预处理,采用Canny边缘检测算子进行车道线边缘提取,取得抑制噪声和边缘检测的平衡;
(2)分割路面区域生成三角形自适应感兴趣区域,缩小搜索区域;
(3)将道路预处理图像分为左右两部分,依次对左图像和右图像进行Hough变换,获得对应的左右车道线;
(4)对左图像和右图像所有直线的极径和极角分别求平均值,输出两条车道线,获取车道线并叠加到原始图像中。
5.根据权利要求1所述的基于多传感器信息融合的无人方程式赛车的感知规划方法,其特征在于基于目标偏向型的双向快速搜索随机树RRT算法包括以下步骤:
(1)状态空间预处理:根据无人方程式赛车的体积进行状态空间预处理,扩展状态空间边缘,预留出安全区域防止赛车出现碰撞;
(2)双向搜索:以初始点和目标点为起点分别搜索随机树;
(3)目标偏向:在生成新的随机树节点时,让其以一定概率向目标方向拓展,使得随机树在拓展时不断地向终点趋近,降低RRT的迭代次数;
(4)动态步长:在随机树的搜索过程中,采用动态步长算法,采用步长的动态变化来扩展RRT随机数的新节点,在遇到障碍物时能够有效地调整搜索方向,加强避障能力;
(5)路径寻优:当随机树完成对道路空间的搜索时,算法从终点开始对随机树上的节点进行回溯,通过判断节点之间的连线是否有障碍物,删除多余节点,对路径进行去弯取直,从而得到一条较优的路径。
6.一种基于多传感器信息融合的无人方程式赛车的感知系统,其特征在于所述底盘线控系统包括线控驱动系统、线控转向系统、线控制动系统;
所述线控驱动系统响应运算控制单元发送的驱动系统关闭/激活信号,以运算控制单元计算输出的速度和扭矩为输入量驱动电机;
所述线控转向系统响应运算控制单元发送的转向系统关闭/激活信号,以运算控制单元计算输出的设定转角为输入量控制转向;
所述线控制动系统响应运算控制单元发送的制动系统关闭/激活信号,结合运算控制单元计算结果触发制动信号,控制继电器开闭进而失能/使能制动。
CN202010849407.7A 2020-08-21 2020-08-21 一种基于多传感器信息融合的无人方程式赛车感知规划方法 Active CN112101128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010849407.7A CN112101128B (zh) 2020-08-21 2020-08-21 一种基于多传感器信息融合的无人方程式赛车感知规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010849407.7A CN112101128B (zh) 2020-08-21 2020-08-21 一种基于多传感器信息融合的无人方程式赛车感知规划方法

Publications (2)

Publication Number Publication Date
CN112101128A true CN112101128A (zh) 2020-12-18
CN112101128B CN112101128B (zh) 2021-06-22

Family

ID=73753328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010849407.7A Active CN112101128B (zh) 2020-08-21 2020-08-21 一种基于多传感器信息融合的无人方程式赛车感知规划方法

Country Status (1)

Country Link
CN (1) CN112101128B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112562093A (zh) * 2021-03-01 2021-03-26 湖北亿咖通科技有限公司 目标检测方法、电子介质和计算机存储介质
CN112578673A (zh) * 2020-12-25 2021-03-30 浙江科技学院 无人方程式赛车多传感器融合的感知决策与跟踪控制方法
CN112874657A (zh) * 2021-04-13 2021-06-01 北京云迹科技有限公司 一种轮式越障机器人底盘
CN113156932A (zh) * 2020-12-29 2021-07-23 上海市东方海事工程技术有限公司 一种轨道探伤车避障控制方法及系统
CN113467480A (zh) * 2021-08-09 2021-10-01 广东工业大学 一种用于无人驾驶方程式的全局路径规划算法
CN113655498A (zh) * 2021-08-10 2021-11-16 合肥工业大学 一种基于激光雷达的赛道中锥桶信息的提取方法及系统
CN113665591A (zh) * 2021-09-28 2021-11-19 上海焱眼鑫睛智能科技有限公司 无人驾驶控制方法、装置、设备及介质
CN113888621A (zh) * 2021-09-29 2022-01-04 中科海微(北京)科技有限公司 装载率确定方法、装置、边缘计算服务器及存储介质
CN114898319A (zh) * 2022-05-25 2022-08-12 山东大学 基于多传感器决策级信息融合的车型识别方法及系统
CN117636135A (zh) * 2023-10-26 2024-03-01 内蒙古电力(集团)有限责任公司航检分公司 基于边缘计算的激光雷达点云在线数据分类方法及装置
CN118010060A (zh) * 2024-04-10 2024-05-10 菏泽学院 基于图像处理的独轮车道路搜寻规划方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103852265A (zh) * 2014-03-27 2014-06-11 北京联合大学 一种无人驾驶车辆环境分项性能测试系统及测试方法
CN106950964A (zh) * 2017-04-26 2017-07-14 北京理工大学 无人电动大学生方程式赛车及其控制方法
CN108009548A (zh) * 2018-01-09 2018-05-08 贵州大学 一种智能路牌识别方法及系统
CN108519773A (zh) * 2018-03-07 2018-09-11 西安交通大学 一种结构化环境下无人驾驶车辆的路径规划方法
CN108664968A (zh) * 2018-04-18 2018-10-16 江南大学 一种基于文本选取模型的无监督文本定位方法
US10318907B1 (en) * 2015-05-22 2019-06-11 Walgreen Co. Autonomous vehicle for mapping store layout
KR102014097B1 (ko) * 2019-01-16 2019-08-26 주식회사 나노시스템즈 스캐너와 카메라의 캘리브레이션 시스템
CN110379178A (zh) * 2019-07-25 2019-10-25 电子科技大学 基于毫米波雷达成像的无人驾驶汽车智能泊车方法
CN110780305A (zh) * 2019-10-18 2020-02-11 华南理工大学 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法
CN111376970A (zh) * 2020-04-22 2020-07-07 大连理工大学 一种无人方程式赛车转向系统的自动和手动切换装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103852265A (zh) * 2014-03-27 2014-06-11 北京联合大学 一种无人驾驶车辆环境分项性能测试系统及测试方法
US10318907B1 (en) * 2015-05-22 2019-06-11 Walgreen Co. Autonomous vehicle for mapping store layout
US10733661B1 (en) * 2015-05-22 2020-08-04 Walgreen Co. Automatic mapping of store layout using soft object recognition
CN106950964A (zh) * 2017-04-26 2017-07-14 北京理工大学 无人电动大学生方程式赛车及其控制方法
CN108009548A (zh) * 2018-01-09 2018-05-08 贵州大学 一种智能路牌识别方法及系统
CN108519773A (zh) * 2018-03-07 2018-09-11 西安交通大学 一种结构化环境下无人驾驶车辆的路径规划方法
CN108664968A (zh) * 2018-04-18 2018-10-16 江南大学 一种基于文本选取模型的无监督文本定位方法
KR102014097B1 (ko) * 2019-01-16 2019-08-26 주식회사 나노시스템즈 스캐너와 카메라의 캘리브레이션 시스템
CN110379178A (zh) * 2019-07-25 2019-10-25 电子科技大学 基于毫米波雷达成像的无人驾驶汽车智能泊车方法
CN110780305A (zh) * 2019-10-18 2020-02-11 华南理工大学 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法
CN111376970A (zh) * 2020-04-22 2020-07-07 大连理工大学 一种无人方程式赛车转向系统的自动和手动切换装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIANJIAN JIN等: ""STABILIZING VEHICLE LATERAL DYNAMICS WITH CONSIDERATIONS OF STATE DELAY OF AFS FOR ELECTRIC VEHICLES VIA ROBUST GAIN-SCHEDULING CONTROL"", 《ASIAN JOURNAL OF CONTROL》 *
付久鹏等: ""基于双向快速探索随机树的狭窄通道路径规划"", 《计算机应用》 *
徐秉超等: ""一种改进的双向快速搜索随机树算法"", 《科学技术与工程》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578673A (zh) * 2020-12-25 2021-03-30 浙江科技学院 无人方程式赛车多传感器融合的感知决策与跟踪控制方法
CN113156932A (zh) * 2020-12-29 2021-07-23 上海市东方海事工程技术有限公司 一种轨道探伤车避障控制方法及系统
CN112562093A (zh) * 2021-03-01 2021-03-26 湖北亿咖通科技有限公司 目标检测方法、电子介质和计算机存储介质
CN112874657A (zh) * 2021-04-13 2021-06-01 北京云迹科技有限公司 一种轮式越障机器人底盘
CN113467480B (zh) * 2021-08-09 2024-02-13 广东工业大学 一种用于无人驾驶方程式的全局路径规划算法
CN113467480A (zh) * 2021-08-09 2021-10-01 广东工业大学 一种用于无人驾驶方程式的全局路径规划算法
CN113655498A (zh) * 2021-08-10 2021-11-16 合肥工业大学 一种基于激光雷达的赛道中锥桶信息的提取方法及系统
CN113655498B (zh) * 2021-08-10 2023-07-18 合肥工业大学 一种基于激光雷达的赛道中锥桶信息的提取方法及系统
CN113665591A (zh) * 2021-09-28 2021-11-19 上海焱眼鑫睛智能科技有限公司 无人驾驶控制方法、装置、设备及介质
CN113888621A (zh) * 2021-09-29 2022-01-04 中科海微(北京)科技有限公司 装载率确定方法、装置、边缘计算服务器及存储介质
CN114898319A (zh) * 2022-05-25 2022-08-12 山东大学 基于多传感器决策级信息融合的车型识别方法及系统
CN114898319B (zh) * 2022-05-25 2024-04-02 山东大学 基于多传感器决策级信息融合的车型识别方法及系统
CN117636135A (zh) * 2023-10-26 2024-03-01 内蒙古电力(集团)有限责任公司航检分公司 基于边缘计算的激光雷达点云在线数据分类方法及装置
CN117636135B (zh) * 2023-10-26 2024-10-11 内蒙古电力(集团)有限责任公司航检分公司 基于边缘计算的激光雷达点云在线数据分类方法及装置
CN118010060A (zh) * 2024-04-10 2024-05-10 菏泽学院 基于图像处理的独轮车道路搜寻规划方法及系统
CN118010060B (zh) * 2024-04-10 2024-05-31 菏泽学院 基于图像处理的独轮车道路搜寻规划方法及系统

Also Published As

Publication number Publication date
CN112101128B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN112101128B (zh) 一种基于多传感器信息融合的无人方程式赛车感知规划方法
US11593950B2 (en) System and method for movement detection
CN108983781B (zh) 一种无人车目标搜索系统中的环境探测方法
Barth et al. Where will the oncoming vehicle be the next second?
Li et al. Springrobot: A prototype autonomous vehicle and its algorithms for lane detection
CN111551957B (zh) 基于激光雷达感知的园区低速自动巡航及紧急制动系统
CN109166140B (zh) 一种基于多线激光雷达的车辆运动轨迹估计方法及系统
Barth et al. Estimating the driving state of oncoming vehicles from a moving platform using stereo vision
CA3086261A1 (en) Vehicle tracking
CN111788102A (zh) 用于跟踪交通灯的里程计系统和方法
CN101701828A (zh) 基于立体视觉和信息融合的盲人自主导航方法
CN113071518B (zh) 一种自动无人驾驶方法、小巴、电子设备以及存储介质
Aldibaja et al. LIDAR-data accumulation strategy to generate high definition maps for autonomous vehicles
CN114326732B (zh) 一种机器人自主跟随系统及自主跟随控制方法
CN114998276B (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
Fries et al. Autonomous convoy driving by night: The vehicle tracking system
Wang et al. Map-enhanced ego-lane detection in the missing feature scenarios
CN114120075A (zh) 一种融合单目相机和激光雷达的三维目标检测方法
Jun et al. Autonomous driving system design for formula student driverless racecar
CN115923839A (zh) 一种车辆路径规划方法
Tsukiyama Global navigation system with RFID tags
WO2021245515A1 (en) Detection of traffic safety mirrors and navigational response
US12024171B2 (en) Moving object control device, moving object control method, and storage medium
CN116543043A (zh) 用于在行驶期间在环境中定位机动车辆的方法和处理器设备以及相应配备的机动车辆
Liu et al. Campus guide: A lidar-based mobile robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant