CN108171695A - 一种基于图像处理的高速公路路面检测方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的高速公路路面检测方法，包括：连续采集视频文件的至少一幅视频帧图像,并根据至少一幅视频帧图像获得目标视频帧图像；对目标视频帧图像进行边缘检测，获得包含道路边缘像素点的边缘图像；扫描边缘图像，获得道路区域，并对道路区域进行横向划分得到子区域，并利用概率霍夫变换对每一个子区域进行检测，获得道路边缘线段；根据道路区域顶端的子区域中的所有边缘线段求解灭点，以及根据每一个子区域中斜率最大的直线和斜率最小的直线是否存在交点确定每一个非底端子区域的中间控制点，以及最底端子区域的边界点；根据中间控制点、边界点、灭点，绘制左右车道边缘线。应用本发明的实施例，提高了对弯道场景的适应性。

Description

一种基于图像处理的高速公路路面检测方法

技术领域

本发明涉及路面检测领域，特别涉及一种基于图像处理的高速公路路面检测方法。

背景技术

高速公路的智能视频监控，通常只关注画面中路面区域，但监控图像中常包含天空、树木、建筑物等背景，无疑增加了监控算法的计算开销，同时，非路面区域常伴有树叶晃动、光线变化等，这些干扰因素也影响监控的精确度。因此，有必要将提取视频画面中高速公路路面区域作为视频监控的预处理，滤除与路面无关的背景，减少图像中的冗余数据，提高运算速度，避免无关区域中图像信息给后期图像处理带来的干扰，提高检测精度。

高速公路用清晰的恒定宽度的白色车道线来界定路面区域和划分车道，则高速公路路面区域提取都可归结为定位道路图像中的车道线，先提取路面的车道线，然后利用车道线将道路图像分割为路面区域和非路面区域。

基于上述理念，Wang等人于2004年在《Image and Vision computing》上发表了《Image and Vision computing》假设监控场景中的道路是平行的，用B-snake曲线来拟合车道线，相对样条插值曲线，该方法使得生成的曲线尽量逼近而非通过插值点，拟合出的曲线灵活顺滑但需多次的霍夫变换，不利于控制算法计算量；Jung等人于2005年在《Imageand Vision Computing》上发表了《Lane Following and Lane Departure Using aLinear-parabolic Model》使用分区域的车道线拟合，近处的道路区域采用线性模型拟合车道线，远处的道路区域使用抛物线模型拟合车道线，但是该算法中远近区域是事先划分好的，自适应性差，使用范围受限；Lipski等人于2008年在《In Proceedings of IEEESouthwest Symposium on Image Analysis and Interpretation》发表了《AFast andRobust Approach to Lane Marking Detection and Lane Tracking》计算路面图像的局部直方图，提取路面图像的色彩和道路方向等特征信息，该方法虽受道路的形状变化影响小，但监控环境中路面的光照条件的改变、阴影覆盖及车道线清晰度下降等都会影响检测结果；Lee等人于2009年在《In Proceedings of 4th International Conference onComputer Sciences and Convergence Information Technology》上发表了《Effectivelane detection and tracking method using statistical modeling of color andlane edge-orientation》采用车道线颜色和边缘信息获取路面车道线像素并计算边缘信息和HSV空间颜色信息的直方图，用贝叶斯准则对图像中每个像素进行分类，提取车道线像素，并霍夫变换进行拟合；Kong等人于2010年在《IEEE Trans on Image Processing》发表了《General Road Detection from A Signal Image》利用Gabor滤波来计算出像素点的局部纹理，获取边缘信息，进行霍夫变换，以寻找和定位图像中的路面ROI区域，该方法虽受噪声的影响小但计算复杂度过高。

上述方法中基于模型的方法只需求解较少的模型参数，计算量小，对噪声具有较强的鲁棒性，但提取路面区域的正确与否依赖于模型的选择和求解方法，基于车道线特征的方法提取路面区域正确与否与路面特征的选择有着直接关系，且高速公路会有弯道的存在，对整个画面直接进行车道线拟合在该场景下影响左右车道划分准确性。

发明内容

本发明所要解决的技术问题是提供基于图像处理的高速公路路面检测方法，通过采用分区域线段检测，由于高速公路弯道处弯曲程度平滑，小片段的车道线或道路边缘近似于直线段，故分区域线段检测适用高速公路直道场景的路面检测之外，还增加了对弯道场景的适应性。

为实现上述目的，本发明提供以下的技术方案：

一种基于图像处理的高速公路路面检测方法，包括如下步骤：

连续采集视频文件的至少一幅视频帧图像，并根据所述至少一幅视频帧图像获得目标视频帧图像，其中，所述目标视频帧图像中的任意一个像素点的像素值为所述至少一幅视频帧图像中对应像素点的像素灰度值的平均值；

对所述目标视频帧图像进行边缘检测，获得包含道路边缘像素点的边缘图像；

扫描所述边缘图像，获得道路区域，并对所述道路区域进行横向划分得到子区域，并利用概率霍夫变换对每一个子区域进行检测，获得道路边缘线段；

根据所述道路区域顶端的子区域中的所有边缘线段求解灭点，以及根据每一个子区域中斜率最大的直线和斜率最小的直线是否存在交点确定每一个非底端子区域的中间控制点，以及最底端子区域的边界点；

根据所述中间控制点、所述边界点、所述灭点，绘制左右车道边缘线，并根据所述车到边缘线确定路面区域。

可选的，在所述对所述目标视频帧图像进行图像滤波处理的步骤之前，所述方法还包括：

对所述目标视频帧图像进行图像滤波处理；

所述对所述目标视频帧图像进行边缘检测，获得包含道路边缘像素点的边缘图像的步骤，包括：

对滤波处理后的目标视频帧图像进行边缘检测，获得包含道路边缘像素点的边缘图像。

可选的，所述对所述目标视频帧图像进行边缘检测，获得包含道路边缘像素点的边缘图像的步骤，包括：

采用Canny边缘检测算子对所述目标视频帧图像进行边缘检测，获得包含道路边缘像素点的边缘图像。

可选的，所述扫描所述边缘图像，获得道路区域，并对所述道路区域进行横向划分得到子区域，并利用概率霍夫变换对每一个子区域进行检测，获得道路边缘线段的步骤，包括：

由上至下逐行扫描所述边缘图像，直至在目标行出现白色像素点，将所述目标行以下的区域确认为道路区域；

对所述道路区域进行横向划分为三等分子区域，并利用概率霍夫变换对每一个子区域进行检测，获得道路边缘线段。

可选的，所述利用概率霍夫变换对每一个子区域进行检测，获得道路边缘线段的步骤，包括：

S1：针对每一个子区域，随机选取边缘点绘制参数空间曲线；

S2：判断边缘点集中交于目标点的曲线数量是否达到预设阈值，如果否返回S1，如果是执行S3；

S3：将边缘点之间距离小于预设距离的点连成线段，并计算线段的长度，在且线段的长度大于长度阈值时确定为边缘线段。

可选的，所述方法还包括：

判断所述边缘线段是否只出现在一个子区域中，如果是，删除该边缘线段。

可选的，所述根据所述道路区域顶端的子区域中的所有边缘线段求解灭点的公式具体表达为：

在顶端的区域中检测图像中的灭点，对顶端区域中的所有直线l_i，i＝1…k，，计算直线l_i和灭点v_p的距离d，采用随机样本一致性算法迭代求解，获取图像的灭点v_p，公式如下：

其中，l_i为顶端的子区域中的第i条边缘线段，总共具有k条边缘线段，d为l_i所在的直线与灭点的距离。

可选的，所述根据每一个子区域中斜率最大的直线和斜率最小的直线是否存在交点确定每一个非底端子区域的中间控制点，以及最底端子区域的边界点的步骤，包括：

确定所述顶端的子区域中斜率最大的边缘线段所在的第一直线和斜率最小的边缘线段所在的第二直线，中间子区域中斜率最大的边缘线段所在的第三直线和斜率最小的边缘线段所在的第四直线、底部子区域中斜率最大的边缘线段所在的第五直线和斜率最小的边缘线段所在的第六直线；

在第一直线与第三直线、第二直线与第四直线存在的交点不为两个时，将所述第一直线、所述第二直线与所述中间子区域的上边界的交点作为左右车道边缘线的中间控制点，如果第一直线与第五直线、第二直线与第六直线存在的交点不为两个时，将第一直线、第二支线与底部子区域的交点作为左右车道边缘线的边界点，否则，将第五直线、第六直线与底部子区域的交点作为左右车道边缘线的边界点；

在第一直线与第三直线、第二直线与第四直线存在的交点为两个时，则将两个交点作为左右车道边缘线的中间控制点，并在所述第三直线与所述第五直线、所述第四直线和所述第六直线存在两个交点时，将该两个节点作为左右车道边缘线的边界点，否则，将所述第三直线和所述第四直线与所述底部子区域的图像边界的交点作为左右车道边缘线的边界点。

可选的，所述根据所述中间控制点、所述边界点、所述灭点，绘制左右车道边缘线，并根据所述车到边缘线确定路面区域的步骤，包括：

根据所述中间控制点、所述边界点、所述灭点，采用三次样条插值函数绘制左右车道边缘线，并根据所述车到边缘线确定路面区域。

可选的，所述方法还包括：

根据所述路面区域，采用分水岭算法找出分水岭点，并分区域对所述分水岭点进行概率霍夫变换，利用三次样条曲线拟合完成中间车道分割线的检测。

本发明提供的基于图像处理的高速公路路面检测方法，具有如下有益效果：

1、通过本发明提供的基于图像处理的高速公路路面检测方法，对公路静态背景图像进行差分滤波，利用路面图像中车道线水平像素的灰度分布特点，既能有效削弱道路图像中非道路区域像素点的亮度信息，又能很好地很突出图像中车道线的边缘像素；

2、通过本发明提供的基于图像处理的高速公路路面检测方法，用分区域线段检测，由于高速公路弯道处弯曲程度平滑，小片段的车道线或道路边缘近似于直线段，故分区域线段检测适用高速公路直道场景的路面检测之外，还增加了对弯道场景的适应性；

3、通过本发明提供的基于图像处理的高速公路路面检测方法，采用随机样本一致性算法提取路面图像的灭点，避免了直道场景中平均值法检测灭点的方法不能适应弯道场景的问题，提高了灭点估计对场景的鲁棒性。

附图说明

图1是本发明实施例的基于图像处理的高速公路路面检测方法的示意图；

图2是本发明实施例的目标视频帧图像对应的灰度图；

图3是本发明实施例的图2经过滤波后的灰度图；

图4是本发明实施例的边缘像素的检测效果图；

图5是本发明实施例的概率霍夫变换检测道路边缘线路的流程图；

图6是图5检测到的线段的示意图；

图7是将单车道线剔除后的线段示意图；

图8是本发明实施例中检测的灭点位置示意图；

图9是灭点、中间控制点和边界点的分布示意图；

图10是绘制的左右车道边缘线示意图；

图11是由图10组成的路面区域示意图；

图12是采用分水岭算法获得的左右车道划分线；

图13是在图12的基础上采用三次样条曲线拟合的中间车道分割线；

图14a是基于本发明实施例提出的三条车道线、

图14b中的白色区域为基于左右车道线提取的路面所在区域；

图14c中的白色区域是基于三条车道线提取的左边路面所在的区域；

图14d中的白色区域是基于三车车道线提取的右边路面所在的区域。

具体实施方式

为使发明的目的、技术方案和优点更加清楚明了，下面通过附图中及实施例，对本发明技术方案进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明技术方案，并不用于限制本发明技术方案的范围。

为解决现有技术问题，本发明提供了如图1所示的实施例。

本发明的一种基于图像处理的高速公路路面检测方法：先通过车道线边缘像素提取，对读物的高速公路图像进行背景图像提取后进行差值滤波然后提取道路边缘，然后通过对图像区域划分后对每一个子区域进行概率霍夫(Hough)检测，然后通过灭点估计进行左右边缘线提取从而进行路面区域提取，然后进行左右车道划分。其中，RANSAC为RandomSample Consensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。RANSAC算法经常用于计算机视觉中。例如，在立体视觉领域中同时解决一对相机的匹配点问题及基本矩阵的计算。

本发明实施例提供的一种基于车道线的高速路面检测具体过程为：

1、车道线边缘像素提取：

(11)连续采集视频序列的前N帧图像I₁I₂…I_i…I_N，示例性的，设置N＝20像对应像素值平均值作为高速公路静态背景图像的像素灰度值B(x,y)，计算公式如下：

其中，I_i(x,y)表示第i帧图像在像素点(x,y)处对应的像素灰度值，B(x,y)为背景图像中像素点(x,y)处对应的像素灰度值，即目标视频帧图像在该店对应的像素灰度值的平均值，得到的图像如图2所示。

(12)为有效地突出图像中的车道线水平像素的灰度变化信息，结合车道线呈现白色且有一定的宽度，而旁边的路面亮度值低的特点，对背景图像每个像素的灰度值B(x,y)与其左右距离τ的邻域像素的灰度值进行差值，用它们的差值和来表示滤波后的图像，如式(2):

B_f(x,y)＝2B(x,y)-B(x-τ,y)-B(x+τ,y)-|B(x-τ,y)-B(x+τ,y)| (2)

式中，τ滤波器的步长，根据高速公路车道线区域的宽度，这里τ＝10。经过公式(2)滤波后的图像如图3所示。

(13)对经过滤波后的目标视频帧图像进行边缘检测

本发明实施例中利用Canny算子对图3所示的目标视频帧进行边缘检测，对应的边缘像素图如图4所示。Canny算子求边缘点具体算法步骤如下：用高斯滤波器平滑图像；用一阶偏导有限差分计算梯度幅值和方向；对梯度幅值进行非极大值抑制；用双阈值算法检测和连接边缘。具体的实现过程为现有技术，本发明实施例在此不对其进行赘述。

(2)分区域检测车道线，首先由上至下逐行扫描过滤波后的目标视频帧图像，直到该行出现白色像素点，将该行以上的图像区域划分为天空区域，不予检测，该行以下的区域确定为道路区域，对该道路区域对应的图像进行横向三等分区域划分，然后利用概率霍夫变换来分区域检测道路边缘线段，针对每一个子区域的概率霍夫变换的流程图如图5所示：

(21)针对每一个子区域，判断子区域中边缘点组成的边缘点集是否为空，如果不为空则在子区域边缘图像中随机抽取一个边缘点，判断该点是否在上一循环概率霍夫变换中被标记为目标直线上的点，如果是，则继续在剩下的边缘点中随机抽取一个边缘点，直至所有边缘点都被抽取完；

(22)将这些不位于目标直线点转换到由参数ρ和θ定义的参数空间，其中，ρ表示图像空间中原点到直线的垂直距离，θ表示该垂线与X轴的夹角，计算该边缘点在各个方向θ上的ρ，并相应的A(ρ,θ)累加和计算，A(ρ,θ)表示该方向上直线点的多少；

(23)从边缘点集中删除所取的点，示例性的，如果累加和A(ρ,θ)大于80，则进行步骤4)否则返回到步骤(22)；

(24)根据(23)中A(ρ,θ)对应的参数，如点与点之间距离小于20则连成线段，然后删除这些点，并记录下该线段的起始点和终止点，否则返回(21)；

(25)计算线段的长度，如果大于长度阈值100，则被认为是好的线段输出，并删除边缘集中对应的边缘点，否则返回(21)；

(26)重复(21)至(25)，图6中的实心灰色线段为图4的概率变换提取的直线段。

(3)路面区域提取过程：

(31)对图6中灰色的车道线线段进行判断，如果检测的线段只出现在某个子区域，则其为路面区域划分车道的短车道线或误检，将其在检测的直线集中删除，如图7所示，经过该步判断，将图6中底端区域和顶端区域中各检测到一条短车道线进行了剔除，具体过程如下：

(32)对顶端区域中的所有线段l_i，i＝1…k，计算直线l_i和灭点v_p的距离d，采用随机样本一致性算法迭代求解式(3)，获取最终的灭点v_p，如图8中的白色圆点；

(33)在三个子区域对(31)中的直线进行斜率排序，确定所述顶端的子区域中斜率最大的边缘线段所在的第一直线和斜率最小的边缘线段所在的第二直线，中间子区域中斜率最大的边缘线段所在的第三直线和斜率最小的边缘线段所在的第四直线、底部子区域中斜率最大的边缘线段所在的第五直线和斜率最小的边缘线段所在的第六直线；

在第一直线与第三直线、第二直线与第四直线存在的交点不为两个时，将所述第一直线、所述第二直线与所述中间子区域的上边界的交点作为左右车道边缘线的中间控制点，如果第一直线与第五直线、第二直线与第六直线存在的交点不为两个时，将第一直线、第二支线与底部子区域的交点作为左右车道边缘线的边界点，否则，将第五直线、第六直线与底部子区域的交点作为左右车道边缘线的边界点；

在第一直线与第三直线、第二直线与第四直线存在的交点为两个时，则将两个交点作为左右车道边缘线的中间控制点，并在所述第三直线与所述第五直线、所述第四直线和所述第六直线存在两个交点时，将该两个节点作为左右车道边缘线的边界点，否则，将所述第三直线和所述第四直线与底部子区域的图像边界的交点作为左右车道边缘线的边界点。例如图9，最后确定的中间控制点如图9中顶部区域边界上的两个白色圆点，最终确定得边界点如图9中图像右边界和底端边界上的两个白色圆点；

(34)基于(32)中的灭点，(33)中的中间控制点和边界点，采用三次样条插值函数来绘制左右车道边缘线，如图10中两条黑色的左右车道边缘线，两条车道边缘线界定的区域即为路面区域，如图11所示。

(4)左右车道划分

左右车道划分的过程：在道路区域图像中获取掩膜标记图，左边车道的标记区域的值为1，右边车道的标记区域的值为2，未标记区域的值为0，用分水岭算法寻找分水岭点，如图12中的黑色曲线，并分区域对这些点进行概率霍夫变换，基于步骤(33)中方法提取中间点和边缘点，利用三次样条曲线拟合完成中间车道分割线的检测，如图13中黑色的中间车道分割线，基于左右车道边缘线和中间车道分割线，划分出左右车道区域。

本实例的检测场景是远端有弯道的高速公路，其实施效果如图14所示，图14(a)中黑色的三条车道线为本发明方法提取的车道线，图14(b)中的白色区域为基于左右车道线提取的路面所在区域，图14(c)中的白色区域为基于三条车道线提取的左边路面所在区域，图14(d)中的白色区域为基于三条车道线提取的右边路面所在区域，可以看出本发明的算法能够很好地提取对弯道路段的路面区域和准确分割出左右车道。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种基于图像处理的高速公路路面检测方法，其特征在于，包括：

连续采集视频文件的至少一幅视频帧图像，并根据所述至少一幅视频帧图像获得目标视频帧图像，其中，所述目标视频帧图像中的任意一个像素点的像素值为所述至少一幅视频帧图像中对应像素点的像素灰度值的平均值；

对所述目标视频帧图像进行边缘检测，获得包含道路边缘像素点的边缘图像；

扫描所述边缘图像，获得道路区域，并对所述道路区域进行横向划分得到子区域，并利用概率霍夫变换对每一个子区域进行检测，获得道路边缘线段；

根据所述道路区域顶端的子区域中的所有边缘线段求解灭点，以及根据每一个子区域中斜率最大的直线和斜率最小的直线是否存在交点确定每一个非底端子区域的中间控制点，以及最底端子区域的边界点；

根据所述中间控制点、所述边界点、所述灭点，绘制左右车道边缘线，并根据所述车道边缘线确定路面区域；

所述扫描所述边缘图像，获得道路区域，并对所述道路区域进行横向划分得到子区域，并利用概率霍夫变换对每一个子区域进行检测，获得道路边缘线段的步骤，包括：

由上至下逐行扫描所述边缘图像，直至在目标行出现白色像素点，将所述目标行以下的区域确认为道路区域；

对所述道路区域进行横向划分为三等分子区域，并利用概率霍夫变换对每一个子区域进行检测，获得道路边缘线段；

所述利用概率霍夫变换对每一个子区域进行检测，获得道路边缘线段的步骤，包括：

S1：针对每一个子区域，随机选取边缘点绘制参数空间曲线；

S2：判断边缘点集中交于目标点的曲线数量是否达到预设阈值，如果否返回S1，如果是执行S3；

S3：将边缘点之间距离小于预设距离的点连成线段，并计算线段的长度，在且线段的长度大于长度阈值时确定为边缘线段。

2.根据权利要求1所述的一种基于图像处理的高速公路路面检测方法，其特征在于：所述对所述目标视频帧图像进行边缘检测的步骤之前，所述方法还包括：

对所述目标视频帧图像进行图像滤波处理；

所述对所述目标视频帧图像进行边缘检测，获得包含道路边缘像素点的边缘图像的步骤，包括：

对滤波处理后的目标视频帧图像进行边缘检测，获得包含道路边缘像素点的边缘图像。

3.根据权利要求2所述的一种基于图像处理的高速公路路面检测方法，其特征在于，所述对所述目标视频帧图像进行边缘检测，获得包含道路边缘像素点的边缘图像的步骤，包括：

采用Canny边缘检测算子对所述目标视频帧图像进行边缘检测，获得包含道路边缘像素点的边缘图像。

4.根据权利要求5所述的一种基于图像处理的高速公路路面检测方法，其特征在于，所述方法还包括：

判断所述边缘线段是否只出现在一个子区域中，如果是，删除该边缘线段。

5.根据权利要求1或4所述的一种基于图像处理的高速公路路面检测方法，其特征在于，所述根据所述道路区域顶端的子区域中的所有边缘线段求解灭点的公式具体表达为：

在顶端的区域中检测图像中的灭点，对顶端区域中的所有直线l_i，i＝1…k，，计算直线l_i和灭点v_p的距离d，采用随机样本一致性算法迭代求解，获取图像的灭点v_p，公式如下：

其中，l_i为顶端的子区域中的第i条边缘线段，总共具有k条边缘线段，d为l_i所在的直线与灭点的距离。

6.根据权利要求4所述的一种基于图像处理的高速公路路面检测方法，其特征在于，所述根据每一个子区域中斜率最大的直线和斜率最小的直线是否存在交点确定每一个非底端子区域的中间控制点，以及最底端子区域的边界点的步骤，包括：

确定所述顶端的子区域中斜率最大的边缘线段所在的第一直线和斜率最小的边缘线段所在的第二直线，中间子区域中斜率最大的边缘线段所在的第三直线和斜率最小的边缘线段所在的第四直线、底部子区域中斜率最大的边缘线段所在的第五直线和斜率最小的边缘线段所在的第六直线；

在第一直线与第三直线、第二直线与第四直线存在的交点不为两个时，将所述第一直线、所述第二直线与所述中间子区域的上边界的交点作为左右车道边缘线的中间控制点，如果第一直线与第五直线、第二直线与第六直线存在的交点不为两个时，将第一直线、第二支线与底部子区域的交点作为左右车道边缘线的边界点，否则，将第五直线、第六直线与底部子区域的交点作为左右车道边缘线的边界点；

在第一直线与第三直线、第二直线与第四直线存在的交点为两个时，则将两个交点作为左右车道边缘线的中间控制点，并在所述第三直线与所述第五直线、所述第四直线和所述第六直线存在两个交点时，将该两个节点作为左右车道边缘线的边界点，否则，将所述第三直线和所述第四直线与所述底部子区域的图像边界的交点作为左右车道边缘线的边界点。

7.根据权利要求1所述的一种基于图像处理的高速公路路面检测方法，其特征在于，所述根据所述中间控制点、所述边界点、所述灭点，绘制左右车道边缘线，并根据所述车到边缘线确定路面区域的步骤，包括：

根据所述中间控制点、所述边界点、所述灭点，采用三次样条插值函数绘制左右车道边缘线，并根据所述车到边缘线确定路面区域。

8.根据权利要求2所述的一种基于图像处理的高速公路路面检测方法，其特征在于，所述方法还包括：根据所述路面区域，采用分水岭算法找出分水岭点，并分区域对所述分水岭点进行概率霍夫变换，利用三次样条曲线拟合完成中间车道分割线的检测。