CN107796373B - 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 - Google Patents

Abstract

本发明提供的一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法，利用CCD摄像头采集前方目标车辆图像，利用融合Haar‑like特征与Adaboost算法识别步骤2中获取的前方目标车辆图像中的前方目标车辆，利用粒子滤波法对步骤3中所获取的前方目标车辆进行跟踪，根据上述所得的每一帧图像中前方目标车辆构建该帧图像中车道平面几何的纵向车距测量模型，得到该帧图像中目标靶源纵向感知距离y，根据上述所得的每一帧图像中前方目标车辆构建车辆测距误差动态补偿模型，得到纵向测量误差值z，根据步骤5中所得的目标靶源纵向感知距离y和纵向测量误差值z计算该帧图像中前方目标车辆与本方车辆之间的纵向车距Y_W(P)。

Description

一种基于车道平面几何模型驱动的前方车辆单目视觉的测距 方法

技术领域

本发明属于车辆纵向安全辅助驾驶技术领域，涉及一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法。

背景技术

车辆跟驰是驾驶员在交通活动中一种最基本的驾驶行为，车辆在跟驰阶段面临着主要威胁主要来自纵向车辆追尾碰撞，自车与前车未保持一定的安全车距以及对自车和前车的速度判定不准确而导致车辆追尾碰撞。精确研究自车与前方车辆的车距值对于保持车辆间距以及车辆碰撞预警具有重要意义。

车距测量目前已经研究的方式主要有超声波测距、激光测距、毫米波雷达测距以及机器视觉测距。超声波测距只适用于短距离测距，而激光测距和毫米波雷达测距使用成本过高，相比之下，机器视觉测距方式硬件结构简单、成本也低并且获取信息丰富且容易，因此采用机器视觉测量车距具有更好的实用价值和应用前景。

机器视觉中综合各项测量方式进行比较，因单目视觉测量处理数据时间较短，能满足测距实时性，所以使用单目视觉测量车距的占大多数。

基于单目视觉进行车距自动测量时，对于前方车辆的定位非常重要，定位的准确性直接影响到车距测量的精确度。目前基于车辆阴影的识别方法受外界光线因素影响较大；基于车尾数学模型方法通过对应点标定来获取图像的深度信息，但由于器材限制及标定等原因，无法得到较高精度坐标系之间相互转变的转换矩阵，适用性受到限制；基于单目视觉图像灰度化处理进行前方车辆识别时，往往只能识别出前方车辆尾部轮廓，但由于车辆后悬离地高度的存在，势必会造成很大的测距误差。

发明内容

本发明的目的在于提供一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法，解决了现有技术中存在的受光线影响、高精度坐标系转化以及车辆后悬离地高度存在造成的测距误差的问题和缺陷。

为了达到上述目的，本发明采用的技术方案是：

本发明提供的一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法，包括以下步骤：

步骤1，对CCD摄像头进行标定，得到有效焦距f、CCD摄像头高度h和CCD摄像头俯仰角θ；

步骤2，利用CCD摄像头采集前方目标车辆图像；

步骤3，利用融合Haar-like特征与Adaboost算法识别步骤2中获取的前方目标车辆图像中的前方目标车辆；

步骤4，利用粒子滤波法对步骤3中所获取的前方目标车辆进行跟踪；

步骤5，根据上述所得的每一帧图像中前方目标车辆构建该帧图像中车道平面几何的纵向车距测量模型，得到该帧图像中目标靶源纵向感知距离y；

步骤6，根据上述所得的每一帧图像中前方目标车辆构建车辆测距误差动态补偿模型，得到纵向测量误差值z；

步骤7，根据步骤5中所得的目标靶源纵向感知距离y和纵向测量误差值z计算该帧图像中前方目标车辆与本方车辆之间的纵向车距Y_W(P)。

优选地，步骤3中，利用融合Haar-like特征与Adaboost算法识别步骤2中获取的前方目标车辆图像中的前方目标车辆的具体方法：

S1，根据步骤2中所得的前方目标车辆图像建立样本集，利用Adaboost算法选取样本集中的车辆训练样本的有效Haar-like特征，每个有效Haar-like特征产生对应的弱分类器，将弱分类器加权组合变成强分类器，最后采用瀑布型分类器进行级联，得到特征样本的级联分类器；

S2，取海量的车辆训练样本并对该车辆训练样本进行有效Haar-like特征提取，之后将有效Haar-like特征输入到特征样本的级联分类器进行车辆存在性检测，得到Adaboost级联分类器；

S3，根据CCD摄像头的固定位置，确定前方目标车辆图像中的感兴趣区域，采用S2中所得的Adaboost级联分类器对感兴趣区域进行车辆存在性检测，最终获得前方目标车辆图像中的前方目标车辆。

优选地，步骤5中，通过步骤1中对CCD摄像头进行标定所得，基于车道平面几何的纵向车距测量模型中设CCD摄像头的光心为C点、光心C点在路面上的投影点为世界坐标系原点O点、前方车辆的测距特征点为P、车辆向前行驶的方向为世界坐标系的X_W轴、世界坐标系的Z_W轴垂直于路面朝下、CCD摄像头成像平面为A′B′F′E′、远视角平面为CEF、光轴中心所在平面为CMN和测距特征点所在平面为CC₂D，其中，CCD摄像头的光轴CC₁与成像平面A′B′F′E′的交点为C₀点，则CC₀为CCD传感器的焦距，即CC₀＝f；图像中前方目标车辆的近视场图像下边缘点A与成像平面A′B′F′E′交于G′点，远视场下边缘点B与成像平面A′B′F′E′交于H点；前方车辆的测距特征点P投影到世界坐标系X_W轴的点为P'，其中，目标靶源纵向感知距离即为OP′的长度。

优选地，步骤5中，目标靶源纵向感知距离y的计算公式为：

式中，v₀为光心纵向图像坐标，v(P₀)为特征点纵向图像坐标，dy为单位像元的纵向长度。

优选地，步骤6中，前方目标车辆测距误差动态补偿模型的构建，具体包括以下步骤：

第一步，固定CCD视觉传感器，运用步骤1所述的标定方法进行CCD摄像头的内外参数标定并记录；

第二步，固定目标靶源的离地高度，沿道路纵向每隔5m移动目标靶源，使其在距离CCD视觉传感器[10m,100m]范围内变化，并用CCD摄像头记录目标靶源在各个位置的图像；

第三步，调整目标靶源的离地高度，使其在[0.2m,1m]内变化，重复第二步；

第四步，采用matlab处理第三步所得图像，分析目标靶源在不同离地高度和不同纵向位置的测量误差。

优选地，步骤6中，纵向测量误差值z的计算公式为：

z＝118-1124x-3.133y+3522x²+34.6xy-0.0399y²-4795x³-86.22x²y-0.1845xy²+0.0017y³+2676x⁴+98.62x³y+0.1428x²y²+0.001313xy³-2.077e^-5y⁴+8.835e^-8y⁵-7.658e^-6xy⁴+0.0004x²y³-0.1114x³y²-38.23x⁴y-391.1x⁵

式中，x为目标靶源离地高度。

优选地，步骤7中，前方目标车辆与本方车辆之间的纵向车距Y_W(P)的计算公式为：

与现有技术相比，本发明的有益效果是：

本发明提供的一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法，利用CCD摄像头采集前方目标车辆图像，利用融合Haar-like特征与Adaboost算法识别步骤2中获取的前方目标车辆图像中的前方目标车辆，利用粒子滤波法对步骤3中所获取的前方目标车辆进行跟踪，根据上述所得的每一帧图像中前方目标车辆构建该帧图像中车道平面几何的纵向车距测量模型，得到该帧图像中目标靶源纵向感知距离y，根据上述所得的每一帧图像中前方目标车辆构建车辆测距误差动态补偿模型，得到纵向测量误差值z，根据步骤5中所得的目标靶源纵向感知距离y和纵向测量误差值z计算该帧图像中前方目标车辆与本方车辆之间的纵向车距Y_W(P)；本发明具有硬件结构简单、成本低和软件算法柔性大以及测量精度更高的特点，并且可以避免行车道两侧道路阴影、其它非本车道内的车辆等干扰因素的影响，提高了系统的检测鲁棒性，本发明有效解决了车辆后悬离地高度的存在，提高了前方车辆纵向位置关系的辨识效能。

附图说明

图1是CCD摄像机安装示意图；

图2是本发明车距测量装置的流程方法；

图3是CCD摄像机内部参数标定示意图；

图4是CCD摄像机外部参数标定示意图；

图5是基于Haar-like特征和Adaboost的车辆识别算法结构图；

图6是特征样本级联分类器的构建示意图；

图7是目标图像车辆轮廓提取示意图；

图8是CCD摄像机成像空间几何约束关系图；

图9是车道平面约束测距模型侧视图；

图10是纵向车距测量误差源分析示意图。

具体实施方式

下面结合附图，对本发明进一步详细说明。

如图1所示，本发明提供的一种基于车道平面几何模型驱动的前方车辆单目视觉测距装置，包括CCD摄像头1，CCD摄像头1使用吸盘固定在车辆前挡风玻璃2中间靠上的位置。其中，CCD摄像头1通过BNC视频线和视频采集卡与上位机进行连接。

如图2所示，本发明提供的一种基于车道平面几何模型驱动的前方车辆单目视觉测距方法，具体步骤如下：

步骤1、CCD摄像头的标定：

视觉传感器的标定是机器视觉中需解决的关键问题，标定的目的是为了得到CCD摄像头的内部参数和外部参数，用以完成后续步骤中二维图像到三维立体场景的转换，具体地：

首先，采用MATLAB软件中的Camera Calibration Toolbox模块和平面靶标标定板标定获取CCD摄像头的内部参数；具体实施方式如下(如图3)：变换标定平面靶标的角度，利用CCD摄像头采集20帧不同方位下的平面靶标图像，将其放入MATLAB软件中的CameraCalibrationToolbox模块进行CCD摄像头内部参数的解算，得到CCD摄像头的内部参数有效焦距f；

其次，采用基于道路图像消失点的方法，具体实施方式如下(如图4)：在CCD摄像头获取的平面靶标图像上，标记出左车道线和右车道线，同时记录左车道线和右车道线交点O的像素坐标，且分别在左右车道线上各取一个尽量离交点较远的点，记录下A、B两点的像素坐标，根据CCD摄像头内部参数标定结果及两平行线在三维世界内的实际距离。通过HALCON软件里的标定工具箱中的Calibration模块标定获取CCD摄像头1的外部参数。即可解算获得CCD摄像头1的外部参数CCD摄像头高度h和CCD摄像头俯仰角θ。

步骤2、目标车辆图像的采集与传输：

CCD摄像头1采集前方目标车辆图像，并将采集的前方目标车辆图像经过BNC视频线、视频采集卡传输至上位机系统中的图像处理软件，得到可进行分析处理的前方目标车辆图像。

步骤3、利用融合Haar-like特征与Adaboost算法识别步骤2中获取的前方目标车辆图像中的前方目标车辆，其具体流程(如图5)：

首先，根据步骤2所得的前方目标车辆图像建立样本集，对样本集中的车辆训练样本和非车辆训练样本进行预处理，即：利用Adaboost算法选取车辆训练样本中的有效Haar-like特征，每个有效特征产生对应的弱分类器，将弱分类器加权组合变成强分类器，最后构建特征样本的级联分类器，具体方法如下:

第一步、将前方目标车辆图像转化为积分图：利用积分图法将前方目标车辆图像转化后，转化后得到该目标车辆图像的积分图，积分图中每个点表示转化后图像左上角起点到该点矩形区域内的像素和，如公式1所示。

其中，i(x,y)为(x,y)点在积分图像上的像素积分值，i(x’,y’)为原图中(x,y)点内的像素值。

第二步、采用Adaboost算法对转化后的积分图进行快速有效的类Haar-like特征提取，生成具有特征样本的强分类器，具体地：Adaboost算法通过每次循环提取一个相应的有效的类Haar-like特征，每个有效特征产生对应的弱分类器，将弱分类器加权组合变成强分类器；

第三步、构建特征样本的级联分类器：通常待检测图像中大部分区域都不包含目标车辆，因此采用级联分类器快速排除非车辆区域，提高目标检测速度。本发明采用经典的瀑布型分类器进行级联，每个层为用Adaboost算法训练得到的Adaboost强分类器，每个Adaboost强分类器又包含若干个弱分类器，待识别的样本图被级联分类器一层一层进行检测，如果在任何一层被判为负样本，即非车辆目标图像，后面的强分类器都通不过，这样可以使后面的分类器有更多的时间来识别正样本窗口，即目标车辆图像，具体流程如图6。考虑到车辆目标检测的可信度及算法的实时性，本发明所用级联分类器采用8层分类器，最终的检测率在0.9以上，每一层的误检率为0.5，则每一层的检测率在0.99以上。

其次，对海量测试样本进行Haar-like特征提取，将特征输入到Adaboost级联分类器进行车辆存在性检测，保证检测准确率，检测速率以及算法实时性，前述两大步骤构建了融合Haar-like特征与Adaboost的前方车辆识别算法。

最后，根据CCD摄像头的固定位置，确定本发明前方目标车辆图像的ROI区域为图像的下半部分，对前方目标车辆图像中的感兴趣区域进行处理，得到车辆识别结果，具体方法为：首先利用融合Haar-like特征与Adaboost算法对感兴趣区域(ROI)同上述训练过程一样进行处理，即：对目标图像上的感兴趣区域进行图像预处理和计算积分图；其次用上述训练过程中选择的Haar-like特征信息，包含结构、位置、类型等来提取感兴趣区域的Haar-like特征值，组成特征向量；最后采用海量离线训练得到的Adaboost级联分类器对感兴趣区域进行车辆存在性检测，并输出车辆识别结果，如图7所示。该方法在保证了检测准确率和算法实时性的同时，能够有效地避免行车道两侧道路阴影、其它非本车道内的车辆等干扰因素的影响，提高系统的检测鲁棒性。

步骤4、利用粒子滤波法对前方目标车辆进行跟踪：

实际采集图像时，由于目标车辆背景图像复杂多样，容易导致算法漏检或者出现虚警等问题。因此，为了保证系统的实时性和鲁棒性，本发明采用粒子滤波算法对进行前方车辆跟踪，具体跟踪步骤如下：粒子初始化、时间更新、观测更新步骤、重采样和状态更新。此处设置粒子滤波器的粒子数N设置为100，每次迭代采样数为30。可以保证跟踪算法具有较高的跟踪精度和稳定性，跟踪过程平均耗时20ms，跟踪算法对车辆类型、姿态变化、环境干扰等非确定因素具有较强的免疫能力，能够满足车载系统实时性和鲁棒性要求。

步骤5、构建车道平面几何的纵向车距测量模型：

对上述得到的每一帧可处理图像进行基于车道平面几何的纵向车距测量模型计算，首先根据CCD摄像头的安装位置建立基于车道平面几何的纵向测距模型，如图8所示。其中设CCD摄像头的光心为C点、光心C点在路面上的投影点为世界坐标系原点O点、前方车辆的测距特征点为P、车辆向前行驶的方向为世界坐标系的X_W轴、世界坐标系的Z_W轴垂直于路面朝下、CCD摄像头成像平面为A′B′F′E′、远视角平面为CEF、光轴中心所在平面为CMN和测距特征点所在平面为CC₂D，其中，CCD摄像头的光轴CC₁与成像平面A′B′F′E′的交点为C₀点，则CC₀为CCD传感器的焦距，即CC₀＝f；图像中前方目标车辆的近视场图像下边缘点A与成像平面A′B′F′E′交于G′点，远视场下边缘点B与成像平面A′B′F′E′交于H点；前方车辆的测距特征点P投影到世界坐标系X_W轴的点为P'，其中，目标靶源纵向感知距离即为OP′的长度。

其次根据上述道路平面约束下车辆测距模型推导前方车辆在世界坐标系的位置，如图9所示。已知C₀、CC₀、θ和成像平面A′B′F′E′的各边长，通过以下公式求解测距特征点P的世界坐标的纵坐标值，从图8车道平面约束测距模型的侧视图可以得知：

CC₀＝f,∠OC₁C＝θ,OC＝h (2)

在ΔC₀CP′₀中，

其中P′₀C₀可取正值和负值，又有：

式中，P′₀C₀＝y(C₀)-y(P′₀)＝[v₀-v(P′₀)]×dy＝[v₀-v(P₀)]×dy

在ΔOCP′中，OP'＝OC×tan∠OCP'

则可以推导出，

式中，v₀为光心纵向图像坐标，v(P₀)为特征点纵向图像坐标，dy为单位像元的纵向长度，y为目标靶源纵向感知距离。

步骤6、构建车辆测距误差动态补偿模型：

如图10所示，前方目标车辆尾部区域以车辆轮廓下边缘为界分成区域A和区域B两部分，区域A的垂直高度为目标车辆的后悬高度h_α，点D为车辆尾部区域下边缘中点，点P为车辆尾部区域在路面投影中点，由于前方车辆辨识算法只能检测出前方目标车辆尾部轮廓，因此选取点D作为纵向车距测量特征点使得纵向车距测量值偏大。

为了降低后悬高度对纵向车距测量造成的误差，使纵向车距测量值尽可能准确逼近真实值，本发明采用规格为2m×1m的红色目标靶源作为前方车辆尾部区域仿真对象，目标靶源固定在支架上且离地高度可调，通过分析统计大量车辆样本，确定车辆后悬高度变化范围为[0.2m,1m]。

其具体实施步骤为：

第一步，固定CCD视觉传感器，运用步骤1所述的标定方法进行CCD摄像头的内外参数标定并记录；

第二步，固定目标靶源的离地高度，沿道路纵向每隔5m移动目标靶源，使其在距离CCD视觉传感器[10m,100m]范围内变化，并用CCD摄像头记录目标靶源在各个位置的图像；

第三步，调整目标靶源的离地高度，使其在[0.2m,1m]内变化，重复第二步；

第四步，采用matlab处理第三步所得图像，分析目标靶源在不同离地高度、不同纵向位置的测量误差。依据目标靶源在不同离地高度、不同纵向位置的误差数据，可回归纵向测量误差动态补偿模型为：

依据目标靶源在不同离地高度、不同纵向位置的误差数据，可回归纵向测量误差动态补偿模型为：

其中：式中x为目标靶源离地高度，y为目标靶源纵向感知距离，z为纵向测量误差。

步骤7、车距计算：

根据步骤5中基于车道平面几何的纵向车距测量模型的构建和步骤6中车辆测距误差动态补偿模型的构建对车距进行重构，则重构的纵向车距测量模型为：

Claims (6)

1.一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法，其特征在于，包括以下步骤：

步骤1，对CCD摄像头进行标定，得到有效焦距f、CCD摄像头高度h和CCD摄像头俯仰角θ；

步骤2，利用CCD摄像头采集前方目标车辆图像；

步骤3，利用融合Haar-like特征与Adaboost算法识别步骤2中获取的前方目标车辆图像中的前方目标车辆；

步骤4，利用粒子滤波法对步骤3中所获取的前方目标车辆进行跟踪；

步骤5，根据所得的每一帧图像中前方目标车辆构建该帧图像中车道平面几何的纵向车距测量模型，得到该帧图像中目标靶源纵向感知距离y；

步骤6，根据上述所得的每一帧图像中前方目标车辆构建车辆测距误差动态补偿模型，得到纵向测量误差值z；

步骤7，根据步骤5中所得的目标靶源纵向感知距离y和纵向测量误差值z计算该帧图像中前方目标车辆与本方车辆之间的纵向车距Y_W(P)；

步骤6中，前方目标车辆测距误差动态补偿模型的构建，具体包括以下步骤：

第一步，固定CCD视觉传感器，运用步骤1所述的标定方法进行CCD摄像头的内外参数标定并记录；

第二步，固定目标靶源的离地高度，沿道路纵向每隔5m移动目标靶源，使其在距离CCD视觉传感器[10m,100m]范围内变化，并用CCD摄像头记录目标靶源在各个位置的图像；

第三步，调整目标靶源的离地高度，使其在[0.2m,1m]内变化，重复第二步；

第四步，采用matlab处理第三步所得图像，分析目标靶源在不同离地高度和不同纵向位置的测量误差。

2.根据权利要求1所述的一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法，其特征在于：步骤3中，利用融合Haar-like特征与Adaboost算法识别步骤2中获取的前方目标车辆图像中的前方目标车辆的具体方法：

S1，根据步骤2中所得的前方目标车辆图像建立样本集，利用Adaboost算法选取样本集中的车辆训练样本的有效Haar-like特征，每个有效Haar-like特征产生对应的弱分类器，将弱分类器加权组合变成强分类器，最后采用瀑布型分类器进行级联，得到特征样本的级联分类器；

S2，取海量的车辆训练样本并对该车辆训练样本进行有效Haar-like特征提取，之后将有效Haar-like特征输入到特征样本的级联分类器进行车辆存在性检测，得到Adaboost级联分类器；

S3，根据CCD摄像头的固定位置，确定前方目标车辆图像中的感兴趣区域，采用S2中所得的Adaboost级联分类器对感兴趣区域进行车辆存在性检测，最终获得前方目标车辆图像中的前方目标车辆。

3.根据权利要求1所述的一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法，其特征在于：步骤5中，通过步骤1中对CCD摄像头进行标定所得，基于车道平面几何的纵向车距测量模型中设CCD摄像头的光心为C点、光心C点在路面上的投影点为世界坐标系原点O点、前方车辆的测距特征点为P、车辆向前行驶的方向为世界坐标系的X_W轴、世界坐标系的Z_W轴垂直于路面朝下、CCD摄像头成像平面为A′B′F′E′、远视角平面为CEF、光轴中心所在平面为CMN和测距特征点所在平面为CC₂D，其中，CCD摄像头的光轴CC₁与成像平面A′B′F′E′的交点为C₀点，则CC₀为CCD传感器的焦距，即CC₀＝f；图像中前方目标车辆的近视场图像下边缘点A与成像平面A′B′F′E′交于G′点，远视场下边缘点B与成像平面A′B′F′E′交于H点；前方车辆的测距特征点P投影到世界坐标系X_W轴的点为P'，其中，目标靶源纵向感知距离即为OP′的长度。

4.根据权利要求3所述的一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法，其特征在于：步骤5中，目标靶源纵向感知距离y的计算公式为：

式中，v₀为光心纵向图像坐标，v(P₀)为特征点纵向图像坐标，dy为单位像元的纵向长度。

5.根据权利要求1所述的一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法，其特征在于：步骤6中，纵向测量误差值z的计算公式为：

z＝118-1124x-3.133y+3522x²+34.6xy-0.0399y²-4795x³-86.22x²y-0.1845xy²+0.0017y³+2676x⁴+98.62x³y+0.1428x²y²+0.001313xy³-2.077e^-5y⁴+8.835e^-8y⁵-7.658e^-6xy⁴+0.0004x²y³-0.1114x³y²-38.23x⁴y-391.1x⁵

式中，x为目标靶源离地高度。

6.根据权利要求5所述的一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法，其特征在于：步骤7中，前方目标车辆与本方车辆之间的纵向车距Y_W(P)的计算公式为：

Images