CN109085823A - 一种园区场景下基于视觉的低成本自动循迹行驶方法 - Google Patents
一种园区场景下基于视觉的低成本自动循迹行驶方法 Download PDFInfo
- Publication number
- CN109085823A CN109085823A CN201810730918.XA CN201810730918A CN109085823A CN 109085823 A CN109085823 A CN 109085823A CN 201810730918 A CN201810730918 A CN 201810730918A CN 109085823 A CN109085823 A CN 109085823A
- Authority
- CN
- China
- Prior art keywords
- error
- image
- cte
- angle
- lane line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 16
- 230000017105 transposition Effects 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 206010047513 Vision blurred Diseases 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 238000007514 turning Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 241000736199 Paeonia Species 0.000 description 1
- 235000006484 Paeonia officinalis Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B11/00—Automatic controllers
- G05B11/01—Automatic controllers electric
- G05B11/36—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
- G05B11/42—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential for obtaining a characteristic which is both proportional and time-dependent, e.g. P. I., P. I. D.
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/0275—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using fuzzy logic only
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Mathematical Physics (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Fuzzy Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种园区场景下基于视觉的低成本自动循迹行驶方法,使车辆利用低成本的车载摄像头预瞄前方的轨迹线,根据偏移情况调整车轮转角,从而平稳地沿轨迹线自动驾驶,在园区场景下达到低成本自动驾驶的目标,且具有直角转弯、小转弯半径转弯的能力。本发明从限定场景出发,基于普通摄像头,摒弃了更加精准昂贵的激光雷达等传感器,通过结合车道线检测算法、多种颜色空间的滤波算法以及针对观测量的模糊控制算法以低成本的方式实现自动驾驶,既能在技术实际应用并落地实现开始自动驾驶,继而通过快速迭代不断扩展,保证自动驾驶的安全性和可验证性。
Description
技术领域
本发明属于计算机视觉及控制技术领域,具体涉及一种园区场景下基于视觉的低成本自动循迹行驶方法。
背景技术
城市交通拥堵、事故频发、信息不畅通等问题,引发了自动驾驶研究的热潮,基于智能交通的自动驾驶正在成为解决现有交通问题的办法之一;从当前国内外一些大公司所研发的自动驾驶技术来看,当前市面上的的自动驾驶循迹方法有如下特点:
①大公司的研究团队都期望实现全场景(非限定场景)下的自动驾驶,但是实现困难,成本高昂,而低成本才是自动驾驶发展的趋势。
②有些自动驾驶车辆用到了低成本的摄像头作为主要传感器,虽然这些车在实际路测中行驶了上万公里,但是路测的测试场景大多面向路比较宽阔拐弯角度比较缓和的高速公路,而在城市道路、各类景区、园区等场景中存在大量的直角转弯等路况,这些场景下难以用普通的视觉方法解决,会因为拐弯角度的问题丢失所需要的视觉信息,只有依赖激光雷达等更昂贵的传感器才能弥补视觉方法上的缺陷和不足。
③基于机器学习的端到端和神经网络训练模型的方法虽然可以也可以用低成本的摄像头作为主要传感器,在直角拐弯和小角度转弯等更多的场景下训练驾驶模型,但是有如下缺陷:
a.采集数据和训练模型的成本较高;
b.模型与场景的耦合太大,一旦场景有稍微变化或图像加入噪声就会影响自动驾驶,从而影响安全性;
c.模型复杂性较高,实时性较差。
封闭园区包括旅游区、度假区等观光区,也包括校园、社区、工业园区等需要人员接送服务的场区。在这些场景中,有如下特点:(1)道路环境可以人为设计;(2)与公路相比,园区内的行驶路线相对比较固定;(3)存在转弯半径较小的转弯(例如小于10米的转弯);(4)车辆速度较慢或者可以假设匀速。
由于这类园区存在小半径转弯,受摄像头视野范围的限制,不能依靠循车道线的方式行驶,而园区环境可以人为定义,因此在园区的单向道路中沿道路划定轨迹线,车辆在这些单向道路上以循轨迹线的方式行驶;而在多个不同方向的道路的交叉口,则通过其他方式,使车辆先从源道路行驶到目标道路,再在目标道路上循线行驶。
发明内容
鉴于上述,本发明提供了一种园区场景下基于视觉的低成本自动循迹行驶方法,通过低成本的摄像头,摒弃了更加精准昂贵的激光雷达等传感器,通过结合车道线检测算法、多种颜色空间的滤波算法以及针对观测量的模糊控制算法实现低成本的沿轨车道上车辆的自动循迹。
一种园区场景下基于视觉的低成本自动循迹行驶方法,包括如下步骤:
(1)利用车载摄像头采集园区场景下道路前方中央包含车道线的原始图像,并定义所需要变换得到的俯视图像坐标系;
(2)对于原始图像中的任一像素点,通过逆透视变换得到其在世界坐标系中的坐标,进而根据世界坐标系与俯视图像坐标系之间的比例尺关系将像素点在世界坐标系中的坐标转换为对应在俯视图像坐标系中的坐标;
(3)根据步骤(2)中的像素点坐标转换关系将原始图像变换为俯视图像,将所述俯视图像转化为LAB、HSV、HLS三种颜色空间并分别从中选择一个通道,进而通过局部归一化以及阈值化处理将不同通道的结果合并成一张车道线图像;
(4)对车道线图像中的车道线像素点执行滑动窗口搜索,以找到沿图像Y轴不同窗口内的车道线中心,然后对于每个窗口都进行单独的卡尔曼滤波和信噪比检测,排除异常以及不可靠的测量结果,最后对各个窗口检测到的车道线中心进行多项式曲线拟合得到车道线的拟合曲线;
(5)计算拟合曲线预瞄点的偏移距离和偏移角度,进而通过模糊推理计算出车辆的踪迹交叉偏差量;
(6)根据踪迹交叉偏差量计算更新PID(比例-积分-微分)控制对应的输出值perror、ierror、derror,进而加权求得前轮转弯角度steering_angle,将其作为车辆前轮转角的控制量并加以控制。
进一步地,所述步骤(3)中将俯视图像转化为LAB、HSV、HLS三种颜色空间并分别从中选择一个通道,首先利用CLAHE(Contrast Limited Adaptive HistogramEqualization,对比度有限的自适应直方图均衡)算法对三个通道的图像进行局部归一化;然后分别对局部归一化后的三通道图像进行阈值化处理,小于阈值的像素不显示,以显示特定强度以上的车道线像素点;最后将阈值化后的三通道图像合并成一张车道线图像,即通过并集得到一张二值图。
进一步地,所述步骤(3)中对于LAB种颜色空间则选择其中的B通道,对于HSV颜色空间则选择其中的V通道,对于HLS种颜色空间则选择其中的L通道。
进一步地,所述步骤(4)的具体实现过程如下:
4.1在车道线图像内以1/8宽度,1/12高度沿Y轴方向依次设定12个窗口,用以检测道路中央的单条车道线;
4.2对于任一窗口,保持其Y轴位置不变,在图像中沿X轴滑动该窗口,扫描确定窗口能够覆盖车道线像素点数量最多时的X轴位置;
4.3对窗口进行卡尔曼滤波和信噪比检测,排除异常以及不可靠的测量结果;
4.4对下一个窗口进行滑动扫描时,将其搜索区域限制在前一个窗口位置的中心区域附近;
4.5对各个滑动窗口检测到的车道线像素点集的中心进行多项式曲线拟合,得到车道线的拟合曲线。
进一步地,所述步骤(5)中的偏移距离为预瞄点横坐标相对原始图像中心横坐标之差,偏移角度为预瞄点与拟合曲线的切向角度。
进一步地,所述步骤(5)中通过模糊推理计算模糊视觉偏差量的具体过程为:首先对预瞄点的偏移距离和偏移角度通过隶属度函数进行模糊推理,得到两者对应的隶属度;然后利用重心法进行反模糊化,通过以下公式计算出车辆的踪迹交叉偏差量:
其中:cte为踪迹交叉偏差量,Φ为踪迹交叉偏差量U的模糊子集,i为模糊子集Φ中的任一模糊量,ui为模糊量i与对应隶属度函数的积分值,Ki为偏移距离和偏移角度分别通过模糊量i计算得到两个隶属度中的较小值。
进一步地,所述步骤(6)中根据以下公式计算更新PID控制对应的输出值perror、ierror、derror:
perror=cte[n]-cte[n-1]
ierror=cte[n]
derror=cte[n]-2cte[n-1]+cte[n-2]
进而通过以下公式加权求得前轮转弯角度steering_angle:
steering_angle=-(Kp*perror+Ki*ierror+Kd*perror)
其中:cte[n]为n时刻车辆的踪迹交叉偏差量,cte[n-1]为n-1时刻车辆的踪迹交叉偏差量,cte[n-2]为n-2时刻车辆的踪迹交叉偏差量,n为自然数,Kp、Ki、Kd分别为根据预瞄点整定得到的比例增益系数、积分增益参数、微分增益参数。
与现有技术相比,本发明具有以下有益技术效果:
1.本发明以低延时、低成本的方式实现园区场景的自动驾驶,有助于在视野角度小的时候实现平稳转弯。
2.本发明利用多个视觉观测量提高纠偏控制的准确性,视觉检测输出横向偏移的距离量和角度量,基于偏移距离和偏移角度进行横向控制,提高控制的准确性。
3.本发明利用模糊计算降低视觉观测量的精度对控制的影响,从视觉输出到控制输入经过一个模糊变换的过程,减小视觉观测的距离值和角度值的精度要求,减小图像标定的时间成本。
4.本发明位置式PID改成增量式PID,避免累计误差,减小了控制系统故障导致的影响。
附图说明
图1为本发明方法的系统流程框图。
图2(a)为世界坐标系与原始图像坐标系的示意图。
图2(b)为基于世界坐标系和原始图像坐标系下Y坐标的映射示意图。
图2(c)为基于世界坐标系和原始图像坐标系下X坐标的映射示意图。
图2(d)为基于世界坐标系与俯视图像坐标系下的比例尺缩放示意图。
图3为本发明中曲线拟合的滑动窗口搜索示意图。
图4(a)为偏移距离的隶属度函数示意图。
图4(b)为偏移角度的隶属度函数示意图。
图4(c)为踪迹交叉偏差量的隶属度函数示意图。
图4(d)为模糊输出的积分计算示意图。
具体实施方式
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本发明中对运营自动驾驶车辆的园区场景给出如下定义:(1)固定场景:场景设置在固定园区,道路平坦,单向道路的路面有白色或黄色的轨迹线;(2)直角转弯:场景内存在小转弯半径的转弯;(3)低速:设置车辆速度在30km/h以下;(4)低成本:车辆以低成本的普通摄像头为主要传感器;(5)车辆:场景内所有车辆都是统一规格和参数的自动驾驶车辆,并搭载摄像头;(6)摄像头:使用视野角度60度的普通摄像头作为前视摄像头,高度0.8米左右。如图1所示,本发明在指定园区场景下基于视觉的低成本自动循迹方法,包括如下步骤:
步骤1:利用车载摄像头采集园区场景下道路两侧环境(包含车道线)的图像,定义世界坐标系W(图2(a)中的XYZ)和摄像头原始图像平面I(图2(a)中MN所在平面)以及所需要变换得到的俯视图像坐标系平面I'(图2(a)中的XOY平面)。
完成后接下去进行逆透视变换时,需要知道相机的内部参数:相机焦距,相机光学中心、相机高度、相机的俯仰角、相机的偏航角、相机拍摄出的图像尺寸,其中偏航角和俯仰角就是计算逆透视变换的旋转矩阵所需要的参考角度值,相机焦距和相机光学中心是可以从相机标定后得出,相机高度需要自己测量,图像尺寸是拍出图像的尺寸。
步骤2:给定一个在指定的摄像头图像空间中得到的像点,根据逆透视变换得到其在世界坐标系W上的Y坐标和X坐标;通过真实世界坐标系W和俯视图像坐标系I'之间的比例尺关系,将计算得到的世界坐标系下的坐标X、Y转化为俯视图像坐标系下的坐标,其中比例尺分为横向比例尺和纵向比例尺,单位为毫米/像素,通过比例尺放缩计算原始像点(u0,v0)在俯视图像坐标系下的坐标(u,v)。
如图2(a)所示,XYZ描述世界坐标系W,MN在原始图像平面I上,XY位于地平面,Z垂直地面,Y为视觉方向,X轴正向指向纸面;相机位于OZ轴,离地h的C处;相机光轴CP位于YOZ平面,光轴俯仰角θ;沿光轴CP,离C点f(焦距)的点A定义为原始图像平面MN的中心;图2(a)中两虚线的夹角为相机的纵向视角,定义为2α。
求世界坐标系W上的Y坐标:如图2(b)所示,在逆透视变换的平面上任意点Q(X,Y),其Y轴对应点为B,该点在图像上的像点为b,像点b在图像坐标系I下的y坐标为t,根据几何关系可以得到Q的Y坐标为:
如图2(c)所示,像点q在图像坐标系下的坐标(s,t),同理可得在世界坐标系W上Q的X坐标为:
如图2(d)所示,俯视图像坐标系I'用uv表示,原点位于左上角,u沿水平向右,v垂直向下;u方向m像素,v方向n像素;世界坐标系W用xy表示,原点像素坐标为(u0,v0),x平行于u,与u同向;y平行于v,与v反向。
W与I'的坐标的比例尺关系:u向像素的物理长度为Dx毫米/像素点,即横向比例尺;v向像素的物理长度为Dy毫米/像素点,即纵向比例尺;因此可推算得:
x=(u-u0)*Dx,y=(v0-v)*Dy
等价于:
即可求得像点经过逆透视变换后的视觉俯视图空间的坐标。
步骤3:分别将俯视图像转化为LAB、HSV、HLS颜色空间并选择指定通道,通过使用CLAHE进行局部归一化,然后分别在三种颜色空间进行阈值处理,以筛选特定强度以上的车道线像素点,最后将不同通道的结果合并成一个结果,即一张像素点的二值图像;具体使用了LAB空间的B通道HSV的Value通道以及HLS空间的Lightness通道。
直方图均衡化HE是一种很常用的直方图类方法,基本思想是通过图像的灰度分布直方图拟合一条映射曲线,然后对整个图像进行灰度映射,以达到提高图像对比度的目的,该映射曲线其实就是图像的累计分布直方图CDF(严格来说是呈正比例关系);HE是对图像全局进行调整的方法,不能有效地提高局部对比度,而且某些场合效果会非常差。为了解决这个问题,可以将图像分成若干子块,对子块进行HE处理,这便是AHE(自适应直方图均衡化),这样处理后局部对比度得到了提高,而且视觉效果要优于HE。
但新的问题是,AHE对局部对比度提高过大。为了解决这个问题,我们必须对局部对比度进行限制,限制对比度即限制CDF的斜率,又因累计分布直方图CDF是灰度直方图Hist的积分,也就是说限制CDF的斜率就相当于限制Hist的幅度。我们需要对子块中统计得到的直方图进行裁剪,使其幅值低于某个上限,裁剪部分的幅值不能舍弃,需要均匀地分布在整个灰度区间上,以保证直方图总面积不变。
CLAHE和AHE方法中另一个重要的问题——插值,即将图像进行分块处理后,若每块中的像素点直接通过该块中的映射函数进行变换,则会导致最终图像呈块状效应(不连续)。为了解决这个问题,我们需要利用插值运算,也就是每个像素点出的值由它周围4个子块的映射函数值进行双线性插值得到,即所谓的双线性插值法。
步骤4:在识别出点之后,考虑车辆循迹行驶的时间连续性和动作连续性,对步骤3中所选的车道线像素点执行滑动窗口搜索,以找到沿Y轴的不同点处车道线的中心,对于每个窗口都进行单独的卡尔曼滤波和信噪比检测,排除异常的测量结果,最终对滑动窗口得到的车道线像素点点集的中心进行多项式曲线拟合,得到拟合的曲线函数;具体步骤如下:
4.1窗口定义为每一帧图像的1/8宽度,1/10高度,窗口的数量定义为10,用来检测每一帧图像中道路中央的车道线。
4.2在图像上扫描窗口,保持其y坐标固定,从x方向移动窗口,并找到窗口覆盖最多车道线像素(根据高斯内核函数)时窗口中心所在的x坐标。
4.3使用卡尔曼滤波器和信噪比,确定测量结果是否是异常的:如果是异常的,则不更新窗口位置,直到进行新的可靠测量,然后再次运行更新。
4.4使用下一个窗口进行搜索时,根据连续性,可以将搜索的x坐标范围限制在当前窗口位置的中心所在区域附近。
4.5最后,在每一帧图像上对多个过滤的滑动窗口进行多项式拟合,得到车道线即说要遵循的轨迹线的拟合曲线。
如图3所示,结果图像沿着高度方向被分成12个部分,并且在每个二等分中设置宽度为W的窗口。在每个二等分中,基于该二等分中的线像素的分布和上次窗口的位置,使用卡尔曼滤波器方法来更新窗口的位置。卡尔曼滤波方法不仅避免了噪声点的影响,而且预测了轨迹线暂时消失时窗口的位置,从而保证了窗口在时间上的连续性和动作的连续性,更新所有窗口后,应用多项式拟合创建曲线。
步骤5:根据拟合后的曲线函数,计算曲线在预瞄点(车前侧视野中某个目标点)的左右偏移距离(error of distance)和偏移角度(error of angle),然后根据偏移距离和偏移角度,通过模糊推理计算踪迹交叉偏差量cross track error;具体步骤如下:
5.1计算原始输入量X1、X2。根据拟合的曲线函数,计算曲线在预瞄点的左右偏移距离EOD和偏移角度EOA,EOD定义为预瞄点的横坐标与图像中心点的横坐标之间的差值,EOA定义为预瞄点与拟合曲线的切线角度。
预瞄点是根据给定的预瞄距离结合真实坐标系和图像坐标系的比例尺,在图像中计算出来的某个标定点,比如预瞄距离是10m,代表每次车都以前前方方向上距离车重心10m处的点为预瞄点;预瞄点是根据人工设定预瞄距离后计算出来的已知点,改变以后影响的是PID控制中的三个参数Kp,Ki,Kd,需要重新调整参数。
5.2输入量模糊化。基于视觉信息计算的左右偏移位置和偏移角度存在误差,为了降低视觉观测量精度问题对控制的影响,对观测量做模糊变换。
5.3建立模糊规则。假设预瞄位置的左右偏移距离EOD和偏移角度EOA的模糊子集均为{NB,NM,NS,ZO,PS,PM,PB},隶属度函数分别如图4(a)和图4(b)所示;cross trackerror的模糊子集为{NBX,NB,NMB,NM,NMS,NS,ZO,PS,PMS,PM,PMB,PB,PBX},其隶属度函数如图4(c)所示,模糊推理规则如表1所示:
表1
5.4进行模糊推理求一维隶属度。求原始控制输入量X1、X2,即根据偏移距离和偏移角度,通过隶属度函数进行模糊推理计算其对应的隶属度u(X1)和u(X2);在图4(a)和图4(b)中,即为根据X坐标找寻对应的两个Y坐标,本发明限定一个精确值最多两个隶属度,所以每个u(X)会得到两个隶属度值。
5.5通过反模糊化,计算cte的精确值。根据步骤5.4中计算得到的隶属度和推理表,计算在整个cte隶属度函数分布上的积分值,因为二维映射到一维共有13种结果,所以要基于步骤5.4中u(X)的隶属度去计算13个模糊子集下的模糊输出值,而模糊输出的计算方法即如图4(d)所示,图中仅描述了如何PM和PM子集下的模糊输出,其他子集的模糊输出计算方法同理,采用数学积分对阴影的总面积求解。由于纵轴是0~1的隶属度,所以物理意义上即为基于重心法算cte的加权值,计算公式为:
其中,U为最后输出的精确量,ui为以某个隶属度为上限得到的积分值,即模糊输出,Ki为X1、X2中较小的隶属度,i为13个cte模糊子集的索引。
步骤6:PID控制。PID控制器由比例(P)、积分(I)、微分(D)通过线性组合,从而得到控制量,对被控对象进行控制,它以其结构简单、工作稳定性好、调整方便等优点在实际工程中得到大量应用。
PID主要分为位置式和增量式两种,位置式PID由于存在着累加项,容易产生累积误差,计算过程比较复杂,而且它输出的控制量与过去的每个状态都有关系,如果一旦控制系统出现故障,输出的控制量将大幅度的变化,会对系统造成冲击,甚至产生生产事故;而增量式由于只计算增量,所以误差动作影响小,也不需要累加计算。为了避免累积误差,并减小控制系统故障导致的影响,本发明使用增量式PID控制,先计算Kp,Ki,Kd三个参数,再依次更新perror,ierror,derror,最后加权计算前轮转弯角度steering_angle,作为前轮转角的控制量;具体步骤如下:
6.1整定Kp,Ki,Kd三个参数,其中Kp是比例增益参数,Ki是积分增益参数,Kd是微分增益参数,根据场景可以调适整定。初始化cte[n-1]和cte[n-2]为0,即从某一次时刻[n]输入开始,先清零前两次的cte值,然后开始更新。
6.2对于第n次输入的cte[n],依次更新perror,ierror,derror,分别是比例控制部分的输出值、积分控制部分的输出值、微分控制部分的输出值。
更新的公式为:
perror=cte[n]-cte[n-1]
ierror=cte[n]
derror=cte[n]-2cte[n-1]+cte[n-2]
根据时间的连续性更新新的历史值cte[n-2],cte[n-1]
cte[n-2]=cte[n-1]
cte[n-1]=cte[n]
6.3根据PID控制模型的公式,加权计算前轮转弯角度steering_angle,得到最终的输出结果,在这里作为前轮转角的控制量。
steering_angle=-(Kp*perror+Ki*ierror+Kd*derror)
通过上述PID控制部分将视觉观测量最终转化成了自动驾驶汽车的控制量,控制车辆的转角大小和方向。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (7)
1.一种园区场景下基于视觉的低成本自动循迹行驶方法,包括如下步骤:
(1)利用车载摄像头采集园区场景下道路前方中央包含车道线的原始图像,并定义所需要变换得到的俯视图像坐标系;
(2)对于原始图像中的任一像素点,通过逆透视变换得到其在世界坐标系中的坐标,进而根据世界坐标系与俯视图像坐标系之间的比例尺关系将像素点在世界坐标系中的坐标转换为对应在俯视图像坐标系中的坐标;
(3)根据步骤(2)中的像素点坐标转换关系将原始图像变换为俯视图像,将所述俯视图像转化为LAB、HSV、HLS三种颜色空间并分别从中选择一个通道,进而通过局部归一化以及阈值化处理将不同通道的结果合并成一张车道线图像;
(4)对车道线图像中的车道线像素点执行滑动窗口搜索,以找到沿图像Y轴不同窗口内的车道线中心,然后对于每个窗口都进行单独的卡尔曼滤波和信噪比检测,排除异常以及不可靠的测量结果,最后对各个窗口检测到的车道线中心进行多项式曲线拟合得到车道线的拟合曲线;
(5)计算拟合曲线预瞄点的偏移距离和偏移角度,进而通过模糊推理计算出车辆的踪迹交叉偏差量;
(6)根据踪迹交叉偏差量计算更新PID控制对应的输出值perror、ierror、derror,进而加权求得前轮转弯角度steering_angle,将其作为车辆前轮转角的控制量并加以控制。
2.根据权利要求1所述的自动循迹行驶方法,其特征在于:所述步骤(3)中将俯视图像转化为LAB、HSV、HLS三种颜色空间并分别从中选择一个通道,首先利用CLAHE算法对三个通道的图像进行局部归一化;然后分别对局部归一化后的三通道图像进行阈值化处理,小于阈值的像素不显示,以显示特定强度以上的车道线像素点;最后将阈值化后的三通道图像合并成一张车道线图像,即通过并集得到一张二值图。
3.根据权利要求1所述的自动循迹行驶方法,其特征在于:所述步骤(3)中对于LAB种颜色空间则选择其中的B通道,对于HSV颜色空间则选择其中的V通道,对于HLS种颜色空间则选择其中的L通道。
4.根据权利要求1所述的自动循迹行驶方法,其特征在于:所述步骤(4)的具体实现过程如下:
4.1在车道线图像内以1/8宽度,1/12高度沿Y轴方向依次设定12个窗口,用以检测道路中央的单条车道线;
4.2对于任一窗口,保持其Y轴位置不变,在图像中沿X轴滑动该窗口,扫描确定窗口能够覆盖车道线像素点数量最多时的X轴位置;
4.3对窗口进行卡尔曼滤波和信噪比检测,排除异常以及不可靠的测量结果;
4.4对下一个窗口进行滑动扫描时,将其搜索区域限制在前一个窗口位置的中心区域附近;
4.5对各个滑动窗口检测到的车道线像素点集的中心进行多项式曲线拟合,得到车道线的拟合曲线。
5.根据权利要求1所述的自动循迹行驶方法,其特征在于:所述步骤(5)中的偏移距离为预瞄点横坐标相对原始图像中心横坐标之差,偏移角度为预瞄点与拟合曲线的切向角度。
6.根据权利要求1所述的自动循迹行驶方法,其特征在于:所述步骤(5)中通过模糊推理计算模糊视觉偏差量的具体过程为:首先对预瞄点的偏移距离和偏移角度通过隶属度函数进行模糊推理,得到两者对应的隶属度;然后利用重心法进行反模糊化,通过以下公式计算出车辆的踪迹交叉偏差量:
其中:cte为踪迹交叉偏差量,Φ为踪迹交叉偏差量U的模糊子集,i为模糊子集Φ中的任一模糊量,ui为模糊量i与对应隶属度函数的积分值,Ki为偏移距离和偏移角度分别通过模糊量i计算得到两个隶属度中的较小值。
7.根据权利要求1所述的自动循迹行驶方法,其特征在于:所述步骤(6)中根据以下公式计算更新PID控制对应的输出值perror、ierror、derror:
perror=cte[n]-cte[n-1]
ierror=cte[n]
derror=cte[n]-2cte[n-1]+cte[n-2]
进而通过以下公式加权求得前轮转弯角度steering_angle:
steering_angle=-(Kp*perror+Ki*ierror+Kd*perror)
其中:cte[n]为n时刻车辆的踪迹交叉偏差量,cte[n-1]为n-1时刻车辆的踪迹交叉偏差量,cte[n-2]为n-2时刻车辆的踪迹交叉偏差量,n为自然数,Kp、Ki、Kd分别为根据预瞄点整定得到的比例增益系数、积分增益参数、微分增益参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810730918.XA CN109085823B (zh) | 2018-07-05 | 2018-07-05 | 一种园区场景下基于视觉的自动循迹行驶方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810730918.XA CN109085823B (zh) | 2018-07-05 | 2018-07-05 | 一种园区场景下基于视觉的自动循迹行驶方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109085823A true CN109085823A (zh) | 2018-12-25 |
CN109085823B CN109085823B (zh) | 2020-06-30 |
Family
ID=64836978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810730918.XA Active CN109085823B (zh) | 2018-07-05 | 2018-07-05 | 一种园区场景下基于视觉的自动循迹行驶方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109085823B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685214A (zh) * | 2018-12-29 | 2019-04-26 | 百度在线网络技术(北京)有限公司 | 一种驾驶模型训练方法、装置和终端设备 |
CN109784292A (zh) * | 2019-01-24 | 2019-05-21 | 中汽研(天津)汽车工程研究院有限公司 | 一种用于室内停车场的智能汽车自主寻找停车位的方法 |
CN110032191A (zh) * | 2019-04-28 | 2019-07-19 | 中北大学 | 一种仿人型机器人快速行走循迹避障实现方法 |
CN110058605A (zh) * | 2019-03-22 | 2019-07-26 | 广州中科云图智能科技有限公司 | 无人机电力巡线控制方法 |
CN110398979A (zh) * | 2019-06-25 | 2019-11-01 | 天津大学 | 一种基于视觉与姿态融合的无人驾驶工程作业设备循迹方法及装置 |
CN111369629A (zh) * | 2019-12-27 | 2020-07-03 | 浙江万里学院 | 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法 |
CN111476094A (zh) * | 2020-03-06 | 2020-07-31 | 重庆大学 | 自动循迹修正下的道路检测系统及方法 |
CN112212935A (zh) * | 2020-09-28 | 2021-01-12 | 北京艾克斯智能科技有限公司 | 基于数字图像处理的水体水位测量方法 |
CN112270690A (zh) * | 2020-10-12 | 2021-01-26 | 淮阴工学院 | 一种基于改进clahe和滑窗搜索的自适应夜间车道线检测方法 |
CN112562324A (zh) * | 2020-11-27 | 2021-03-26 | 惠州华阳通用电子有限公司 | 一种自动驾驶车辆路口通行方法及装置 |
CN113343742A (zh) * | 2020-12-31 | 2021-09-03 | 浙江合众新能源汽车有限公司 | 一种车道线检测方法、一种车道线检测系统 |
CN114384902A (zh) * | 2020-10-19 | 2022-04-22 | 中车株洲电力机车研究所有限公司 | 一种自动循迹控制方法及其系统 |
CN114510047A (zh) * | 2022-01-27 | 2022-05-17 | 中国第一汽车股份有限公司 | 一种路径跟踪的原路径返回方法、装置、车辆及介质 |
CN114515058A (zh) * | 2021-12-15 | 2022-05-20 | 深圳市古卡未来科技有限公司 | 一种电动循迹移动桌 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008036805A1 (en) * | 2006-09-22 | 2008-03-27 | Jadi, Inc. | Autonomous vehicle controller |
CN102393744A (zh) * | 2011-11-22 | 2012-03-28 | 湖南大学 | 一种无人驾驶汽车的导航方法 |
CN103065496A (zh) * | 2012-12-20 | 2013-04-24 | 北京时代凌宇科技有限公司 | 一种基于地磁的停车场车辆循迹定位管理系统及方法 |
CN103226354A (zh) * | 2013-02-27 | 2013-07-31 | 广东工业大学 | 基于光电导航的无人驾驶道路识别系统 |
CN104015723A (zh) * | 2014-06-12 | 2014-09-03 | 北京工业大学 | 一种基于智能交通平台的智能车辆控制系统及方法 |
CN107862290A (zh) * | 2017-11-10 | 2018-03-30 | 智车优行科技(北京)有限公司 | 车道线检测方法及系统 |
CN108052002A (zh) * | 2017-11-21 | 2018-05-18 | 杭州电子科技大学 | 一种改进的模糊pid的智能汽车自动循迹方法 |
-
2018
- 2018-07-05 CN CN201810730918.XA patent/CN109085823B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008036805A1 (en) * | 2006-09-22 | 2008-03-27 | Jadi, Inc. | Autonomous vehicle controller |
CN102393744A (zh) * | 2011-11-22 | 2012-03-28 | 湖南大学 | 一种无人驾驶汽车的导航方法 |
CN103065496A (zh) * | 2012-12-20 | 2013-04-24 | 北京时代凌宇科技有限公司 | 一种基于地磁的停车场车辆循迹定位管理系统及方法 |
CN103226354A (zh) * | 2013-02-27 | 2013-07-31 | 广东工业大学 | 基于光电导航的无人驾驶道路识别系统 |
CN104015723A (zh) * | 2014-06-12 | 2014-09-03 | 北京工业大学 | 一种基于智能交通平台的智能车辆控制系统及方法 |
CN107862290A (zh) * | 2017-11-10 | 2018-03-30 | 智车优行科技(北京)有限公司 | 车道线检测方法及系统 |
CN108052002A (zh) * | 2017-11-21 | 2018-05-18 | 杭州电子科技大学 | 一种改进的模糊pid的智能汽车自动循迹方法 |
Non-Patent Citations (3)
Title |
---|
WEIHUA ZHANG,MINGLEI WANG,WUWEI CHEN,ANDREW A. GOLDENBERG: "Application of Integrated Central and Distributed Decisions to Path Tracking Control of A Vision-based Intelligent Vehicle", 《2010 INTERNATIONAL CONFERENCE ON TECHNOLOGIES AND APPLICATIONS OF ARTIFICIAL INTELLIGENCE》 * |
张超: "视觉导航智能车辆的路径跟踪控制研究", 《中国优秀硕士学位论文全文数据库》 * |
陈旭,林国余: "基于计算机视觉的车辆辅助导航定位方法", 《光电工程》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685214A (zh) * | 2018-12-29 | 2019-04-26 | 百度在线网络技术(北京)有限公司 | 一种驾驶模型训练方法、装置和终端设备 |
CN109784292A (zh) * | 2019-01-24 | 2019-05-21 | 中汽研(天津)汽车工程研究院有限公司 | 一种用于室内停车场的智能汽车自主寻找停车位的方法 |
CN109784292B (zh) * | 2019-01-24 | 2023-05-26 | 中汽研(天津)汽车工程研究院有限公司 | 一种用于室内停车场的智能汽车自主寻找停车位的方法 |
CN110058605A (zh) * | 2019-03-22 | 2019-07-26 | 广州中科云图智能科技有限公司 | 无人机电力巡线控制方法 |
CN110032191A (zh) * | 2019-04-28 | 2019-07-19 | 中北大学 | 一种仿人型机器人快速行走循迹避障实现方法 |
CN110398979A (zh) * | 2019-06-25 | 2019-11-01 | 天津大学 | 一种基于视觉与姿态融合的无人驾驶工程作业设备循迹方法及装置 |
CN110398979B (zh) * | 2019-06-25 | 2022-03-04 | 天津大学 | 一种基于视觉与姿态融合的无人驾驶工程作业设备循迹方法及装置 |
CN111369629A (zh) * | 2019-12-27 | 2020-07-03 | 浙江万里学院 | 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法 |
CN111369629B (zh) * | 2019-12-27 | 2024-05-24 | 浙江万里学院 | 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法 |
CN111476094B (zh) * | 2020-03-06 | 2022-04-19 | 重庆大学 | 自动循迹修正下的道路检测系统及方法 |
CN111476094A (zh) * | 2020-03-06 | 2020-07-31 | 重庆大学 | 自动循迹修正下的道路检测系统及方法 |
CN112212935A (zh) * | 2020-09-28 | 2021-01-12 | 北京艾克斯智能科技有限公司 | 基于数字图像处理的水体水位测量方法 |
CN112270690A (zh) * | 2020-10-12 | 2021-01-26 | 淮阴工学院 | 一种基于改进clahe和滑窗搜索的自适应夜间车道线检测方法 |
CN112270690B (zh) * | 2020-10-12 | 2022-04-26 | 淮阴工学院 | 一种基于改进clahe和滑窗搜索的自适应夜间车道线检测方法 |
CN114384902A (zh) * | 2020-10-19 | 2022-04-22 | 中车株洲电力机车研究所有限公司 | 一种自动循迹控制方法及其系统 |
CN114384902B (zh) * | 2020-10-19 | 2024-04-12 | 中车株洲电力机车研究所有限公司 | 一种自动循迹控制方法及其系统 |
CN112562324A (zh) * | 2020-11-27 | 2021-03-26 | 惠州华阳通用电子有限公司 | 一种自动驾驶车辆路口通行方法及装置 |
CN113343742A (zh) * | 2020-12-31 | 2021-09-03 | 浙江合众新能源汽车有限公司 | 一种车道线检测方法、一种车道线检测系统 |
CN114515058A (zh) * | 2021-12-15 | 2022-05-20 | 深圳市古卡未来科技有限公司 | 一种电动循迹移动桌 |
CN114510047A (zh) * | 2022-01-27 | 2022-05-17 | 中国第一汽车股份有限公司 | 一种路径跟踪的原路径返回方法、装置、车辆及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109085823B (zh) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109085823A (zh) | 一种园区场景下基于视觉的低成本自动循迹行驶方法 | |
CN108960183B (zh) | 一种基于多传感器融合的弯道目标识别系统及方法 | |
CN102682292B (zh) | 基于单目视觉的道路边缘检测及粗定位方法 | |
US11270131B2 (en) | Map points-of-change detection device | |
JP6800168B2 (ja) | 走行レーンを推定するための方法 | |
CN109849922B (zh) | 一种用于智能车辆的基于视觉信息与gis信息融合的方法 | |
Huang et al. | Finding multiple lanes in urban road networks with vision and lidar | |
CN105955259B (zh) | 基于多窗口实时测距的单目视觉agv的精确定位方法 | |
Wu et al. | Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement | |
CN107169468A (zh) | 用于控制车辆的方法和装置 | |
CN109386155A (zh) | 面向自动化停车场的无人泊车搬运机器人的对位方法 | |
CN106651953A (zh) | 一种基于交通指示牌的车辆位姿估计方法 | |
CN105654073B (zh) | 一种基于视觉检测的速度自动控制方法 | |
CN109543600A (zh) | 一种实现可行驶区域检测方法及系统和应用 | |
CN108519605A (zh) | 基于激光雷达和摄像机的路沿检测方法 | |
CN109791598A (zh) | 用于识别地面标记的图像处理方法以及地面标记检测系统 | |
CN105511462B (zh) | 一种基于视觉的agv导航方法 | |
CN110531376A (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
DE112020002592T5 (de) | Systeme und verfahren zur fahrzeugnavigation basierend auf bildanalyse | |
CN107479032B (zh) | 用于自动化车辆的对象检测系统 | |
CN108280450A (zh) | 一种基于车道线的高速公路路面检测方法 | |
CN102222236A (zh) | 图像处理系统及位置测量系统 | |
CN103714538A (zh) | 道路边缘检测方法、装置及车辆 | |
CN105700532A (zh) | 基于视觉的变电站巡检机器人导航定位控制方法 | |
CN106682646A (zh) | 一种车道线的识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |