CN105303157A - 延伸用于avm停止线检测的检测范围的算法 - Google Patents

Abstract

公开了延伸用于AVM停止线检测的检测范围的算法。一种用于提供道路上的停止线的延伸的检测范围的车辆上的系统和方法。系统和方法包括提供车辆前面的道路图像的车辆上的前视摄像机和从前视摄像机接收图像的控制器。控制器被编程以提取前视图像的上部，所述上部被重新映射到延伸的鸟瞰视图图像，从而使得检测到停止线的检测范围。

Description

延伸用于AVM停止线检测的检测范围的算法

相关申请的交叉引用

此申请要求2014年7月23日提交的标题为“延伸用于AVM停止线检测的检测范围的算法”的美国临时专利申请序号62/027,953的优先权日期的权益。

技术领域

本发明一般涉及车辆中的延伸的停止线检测范围，并且更具体来说，涉及用于提取前视图像的上部并且将图像的上部重新映射到延伸的鸟瞰视图图像的系统和方法。

背景技术

现代车辆正在变得越来越自主，即，现代车辆能够在驾驶者较少干预的情况下提供驾驶控制。巡航控制系统已经车辆上的许多年，其中车辆操作者可以在该系统设置车辆的特定速度，并且车辆将在无需驾驶者操作节气门的情况下维持那个速度。本领域中近年来开发出自适应巡航控制系统，其中不仅系统维持设定的速度，而且将在使用各种传感器(诸如雷达和摄像机)在主车辆前方检测到较慢移动的车辆的情况下自动将车辆减速。现代车辆控制系统还可以包括自主泊车，其中车辆将自动地提供用于泊车的转向控制，并且其中如果检测到道路中的停止线车辆将停止或警告驾驶者停止。

自主和半自主车辆中的停止线检测和车道标记检测是本领域中已知的。停止线是道路上指示希望沿道路行驶的车辆停止的位置的白色实线。在美国，这些白色实的停止线具有约12至24英寸的宽度。在日本，宽度为约0.3至0.45米，并且在中国，停止线的宽度为约0.2至0.45米。在所有国家，停止线垂直于车道标记线。当使用已知的停止检测系统时，这些系统可能是不可靠的，因为污垢、轮胎光亮剂和不干净的停止线标记可能产生问题。例如，当对抗污垢、光照变化和其他噪音检测候选线时，已知的边缘检测器(诸如索贝尔和坎尼边缘检测)可能是不精确的，由此产生安全风险。此外，在具有或没有相关的车道标记的情况下，已知算法是复杂的。因此，本领域中需要减少处理时间并增加车辆安全的快速且可靠的停止线检测系统。此外，本领域中需要延伸用于停止线检测和追踪的检测距离以进一步增加车辆安全性。

发明内容

根据本发明的教示，披露用于提供道路上的停止线的延伸的检测范围的车辆上的系统和方法。系统和方法包括提供车辆前面的道路图像的车辆上的前视摄像机和从前视摄像机接收图像的控制器。控制器被编程以提取前视图像的上部，所述上部被重新映射到延伸的鸟瞰视图图像，从而使得检测到停止线的检测范围。

本发明包括以下方案：

1.一种提供道路上的停止线的延伸的检测范围的车辆上的系统，所述系统包括：

所述车辆上的前视摄像机，所述前视摄像机提供所述车辆前面的所述道路的图像；以及

控制器，所述控制器被编程以从所述前视摄像机接收所述图像，所述控制器被进一步编程以从所述前视摄像机提取未变形的前视图像的上部，所述上部被重新映射到延伸的鸟瞰视图图像上，从而使得所述停止线的检测范围被延伸。

2.根据方案1所述的系统，其中所述控制器被进一步编程以检测所述未变形的前视图像中的车道标记以计算参考值，所述参考值用来确定将被提取作为所述上部并且重新映射到所述延伸的鸟瞰视图图像上的所述前视摄像机图像的区域。

3.根据方案2所述的系统，其进一步包括如果在来自所述前视摄像机的所述图像中未检测到车道标记，则使用预定安全值作为所述参考值。

4.根据方案1所述的系统，其中所述控制器被进一步编程以从随后提取到的图像中的第一提取到的图像追踪停止线候选位置。

5.根据方案4所述的系统，其中使用在随后提取到的图像中追踪到的所述停止线候选位置来预测所述停止线的位置。

6.根据方案4所述的系统，其中通过二进制方法使用白色线像素并且根据摄像机校准查找表将所述白色线像素重新映射到鸟瞰视图来确定所述停止线候选位置。

7.根据方案1所述的系统，其中所述控制器被进一步编程以从所述前视图像的提取到的上部检测对应于所述停止线的延伸的峰值。

8.根据方案1所述的系统，其中所述控制器被进一步编程以使用移动平均过滤器来从所述图像的提取到的上部检测提取到的峰值。

9.一种提供道路上的停止线的延伸的检测范围的车辆上的系统，所述系统包括：

所述车辆上的前视摄像机，所述前视摄像机能够提供所述车辆前面的道路的图像；以及

控制器，所述控制器被编程以从所述前视摄像机接收所述图像，所述控制器被进一步编程以检测来自所述前视摄像机的所述图像中的车道标记并且使用检测到的车道标记计算所述车道标记上的像素的平均强度的参考值，所述参考值用来提取来自所述摄像机的所述图像的上部并且确定所述图像的提取到的上部中是否存在停止线。

10.根据方案9所述的系统，其中如果在来自所述前视摄像机的所述图像中未检测到车道标记，则使用预定安全值作为所述参考值。

11.根据方案9所述的系统，其中所述控制器被进一步编程以从随后提取到的图像中的第一提取到的图像追踪停止线候选位置。

12.根据方案11所述的系统，其中使用在所述随后提取到的图像中追踪到的所述停止线候选位置来预测所述停止线的位置。

13.根据方案11所述的系统，其中通过二进制方法使用白色线像素并且根据摄像机校准查找表将所述白色线像素重新映射到鸟瞰视图来确定所述停止线候选位置。

14.根据方案9所述的系统，其中所述控制器被进一步编程以使用移动平均过滤器来从所述图像的提取到的上部检测提取到的峰值。

15.一种提供用于道路上的停止线的车辆上的延伸的检测范围的方法，所述方法包括：

提供所述车辆上的前视摄像机，所述前视摄像机提供所述车辆前面的道路的图像；以及

使用控制器，所述控制器被编程以从所述前视摄像机接收所述图像，所述控制器被进一步编程以提取来自所述前视摄像机的未变形的前视图像的上部，所述上部被重新映射到延伸的鸟瞰视图图像上，从而使得所述停止线的检测范围被延伸。

16.根据方案15所述的方法，其中所述控制器被进一步编程以检测所述未变形的前视图像中的车道标记以计算参考值，所述参考值用来确定将被提取作为所述上部并且重新映射到所述延伸的鸟瞰视图图像上的所述前视摄像机图像的区域。

17.根据方案16所述的方法，其进一步包括如果在来自所述前视摄像机的图像中未检测到所述车道标记，则使用预定安全值作为所述参考值。

18.根据方案15所述的方法，其中所述控制器被进一步编程以从所述前视图像的所述提取到的上部检测对应于所述停止线的延伸的峰值。

19.根据方案15所述的方法，其中所述控制器被进一步编程以从随后提取到的图像中的第一提取到的图像追踪停止线候选位置，并且使用追踪到的所述停止线候选位置来预测所述停止线的位置。

20.根据方案15所述的方法，其中所述控制器被进一步编程以使用移动平均过滤器来从所述图像的提取到的上部检测提取到的峰值。

本发明的额外特征将从结合附图进行的以下描述和随附权利要求变得显而易见。

附图说明

图1是道路上在停止线前面的车辆的俯视图的图示，所述车辆包括具有多个摄像机的环视摄像机系统；

图2是靠近停车线的车辆的俯视图的图示；

图3是具有x轴上的x坐标像素值和y轴上的水平线过滤结果的图表；

图4是合成鸟瞰视图图像的俯视图的图示；

图5是快速且可靠地检测停止线的算法的流程图；

图6是来自车辆的前视摄像机的前视图像的图示；

图7是来自前视摄像机的未变形的前视图像的图示；

图8是从未变形的前视图提取出的前视图像的图示；

图9是提供延伸距离停止线检测的算法的流程图；以及

图10是用于提取前视图像的上部区域的算法的一般化的图示。

具体实施方式

针对用于快速且可靠的停止线检测的本发明的实施例的以下论述实质上仅是示例性的，而绝不意欲限制本发明或其应用或使用。例如，本发明具有用于检测地面上的任何线或车道标记的应用。

图1是沿道路车道12行驶的车辆10的俯视图的图示，所述道路车道由漆在或者以其他方式粘附在道路车道12上的车道标记限定，包括外侧车道边界线14和内侧车道中心线16。停止线18在道路车道12上，该停止线指示希望车辆10停止的位置。停止线18由漆在或者以其他方式固定在道路车道12上的线限定。

车辆10包括环视监控系统，所述系统具有前视摄像机20、右侧视摄像机22和左侧视摄像机24。在环视监控系统中还可以包括后置摄像机，然而为了清晰而未示出。摄像机20至24可以是适用于本文描述的目的能够接收光或者其他辐射并且使用例如电荷耦合器件(CCD)将光能转换成像素格式的电信号的任何摄像机，其中许多在汽车领域中是已知的。摄像机20至24产生某个数据帧率下的图像数据的帧，所述帧可以被存储以供随后处理。摄像机20至24可以安装在车辆10内或者安装在作为车辆10的一部分的任何适合的结构上，诸如保险杠、仪表板、护栅、侧视镜、门板等，如本领域技术人员将完全理解和了解。来自摄像机20至24的图像数据被发送到处理器26，该处理器处理图像数据以产生显示在车辆显示器28上的图像，包括鸟瞰视图图像。

当对抗污垢、光照变化和其他噪音检测候选线时，已知的边缘检测器(诸如索贝尔和坎尼边缘检测)可能是不精确的。以下详细描述的控制器26的线过滤算法在存在污垢、变化的光照条件和不干净的标记的情况下检测停止线18时是可靠的。使用本文描述的摄像机20至24和控制器26的线过滤算法，以下详细描述的合成视图能够以快速且可靠的方式同时提取停止线18(即，水平线)和车道标记14和16(即，竖直线)。本文描述的线过滤算法可以仅使用单个摄像机，诸如前置摄像机20，以同样地检测停止线18。

通过假定车辆10正沿道路车道12行驶，使用修改的霍夫变换检测到对应于线14和16的一组平行的竖直道路标记和对应于停止线18的一条垂直线。控制器26的线过滤算法充分利用漆成白色的道路线的特征，诸如停车线、车道标记和/或停止线，因为漆成白色的线比其相邻物更加明亮。具有1x(2n+1)元素的卷积核由如表1中所示的线过滤算法使用：

表1

图2示出靠近漆成白色的线30和32的车辆36。检测线34是与漆成白色的线30和32相交的用于线过滤算法的示例性检测线，其中控制器26的线过滤算法使用以下方程来确定线的存在：

$H(x,y)=\frac{1}{n}{\mathrm{\Σ}}_{i=0}^n(L(x+i,y)-L(x-i,y)),---\left(1\right)$

其中H(x，y)是像素(x，y)上的水平线过滤结果，L是目标图像的像素值，即亮度，x是x轴坐标并且y是y轴坐标。

图3是具有x轴上的x坐标像素值和y轴上的水平线过滤结果的图表，其中420代表竖直方向上的任意数量的像素线。图3中所示的示例性图表对应于使用方程(1)的图2中的示例性检测线34的线过滤结果。当线过滤算法检测图像(诸如图2的图像)中的所有或基本上所有像素时，检测线34是由图3的图表代表的此实例中所关注的线。构成图表中的正和负峰值的第一对对应于图2中所示的与检测线34相交的漆成白色的线30的部分。构成图表中的正峰值和负峰值的第二对对应于如图2中所示的与检测线34相交的漆成白色的线32。当在图3的图表中可以看出小的负峰值时，这对应于在靠近检测线34的左侧的图像中的道路路面的光照改变，诸如阴影(图3中为了清晰而未示出阴影)。因为此负峰值小并且前面没有正峰值，即，算法未检测到构成正和负峰值的一对，所以由于缺乏正峰值而使得算法认识到这并不指示漆成白色的线。构成正和负峰值的给定对中的正峰值与负峰值差异指示漆成白色的线。因此，使用利用表1中所示的线过滤核并且使用方程(1)的控制器26的线过滤算法，实现快速且可靠的漆成白色的线检测算法，该算法产生卷积结果从而使得由控制器26处理的图像中的所有白色线在结果中将具有成对的正和负峰值，如图2和3的实例中所示。

因为停止线检测需要水平(停止线)线和竖直(车道标记)线的提取，所以必须使用以下方程来竖直地过滤以上论述的线过滤以检测停止线：

$V(x,y)=\frac{1}{n}{\mathrm{\Σ}}_{j=0}^n(L(x+i,j)-L(x-i,j)),---\left(2\right)$

其中V(x，y)是像素(x，y)上的竖直线过滤结果。

竖直方向上的典型卷积计算比水平方向上的卷积计算更加耗时，因为水平方向上的计算可以使用加速处理的单指令多数据(SIMD)。为了加速本文描述的竖直车道标记14和16以及水平停止线18的计算，控制器26的算法将原始的鸟瞰视图图像在顺时针或逆时针方向上旋转90°并且将原始图像贴在旋转的图像上以创建合成的鸟瞰视图图像。

图4示出合成图像的俯视图，该合成图像包括具有对应于车道标记的提取出的竖直线40和42的原始的鸟瞰图像和具有对应于图像的停止线的提取出的竖直线44的旋转的鸟瞰视图图像。通过创建包括原始的鸟瞰视图和旋转的鸟瞰视图的合成图像，控制器26的线过滤算法能够仅执行水平线过滤，从而使得提取出确定的成对峰值(即，正峰值接着是负峰值)，其中成对峰值的峰值间的宽度限制对应于车道标记和停止线的宽度。以此方式，使用优化的并行处理方法来以高效的方式快速且可靠地过滤并且确定车道标记和停止线。

使用以上论述的线过滤，可以使用水平线过滤器以通过旋转和贴图像以使得竖直线水平来检测竖直线。同样，如以上所描述，可以使用垂直线过滤器以通过旋转和贴图像以使得水平线竖直来检测水平白色线。最后，对角线过滤器能够通过将图像旋转45°并贴图像以创建如以上论述的合成图像来检测垂直白色线。例如，如果在水平方向上使用线过滤算法，即，使用方程(1)，则也可以检测竖直道路线，因为将所关注的图像旋转90°。或者，可以使用方程(2)通过将包括竖直线的图像旋转90°并贴图像以创建如以上所论述的合成图像来检测水平道路线。为了检测对角线，可以例如将图像旋转45°，并且线过滤算法可以利用卷积矩阵，其中对角元素是{-1，-1，…，0，1，1，…，1}。此线过滤过程的结果是相同的，包括对应于白色线的宽度的正和负峰值的一对(如果在由线过滤算法分析的图像中存在漆成白色的道路线)。或者，线过滤算法可以检测黑色线，这将由包括负峰值接着是正峰值的一对指示。

执行后处理以检查竖直连接性。如果算法在某些行内未能找到邻近的竖直邻近物，则任何候选点将被移除。例如，如果点(x，y)是图像上的候选白色线点，则竖直连接性检查是检查其邻近像素(例如，(x，y-1)、(x，y+1)、(x-1，y-1)、(x-1，y+1)、(x+1，y-1)、(x+1，y+1)和(x，y-2)、(x，y+2))是否也是候选点。如果诸如以上描述的那些的邻居点不是候选点，则候选点(x，y)将由于缺乏竖直连接性而被移除。

最终线提取可以包括霍夫变换算法，该算法限于+/-20度的提取角并且假定车辆沿道路车道行驶。

图5是快速且可靠地检测停止线的算法的流程图46。该算法在框48开始并且在框50建立如以上所描述的鸟瞰视图图像。在框52以所需方式旋转鸟瞰视图图像结果，并且在框54创建合成图像，包括如以上详细描述的原始的鸟瞰视图图像和旋转的鸟瞰视图图像。在框56处理以上描述的水平线过滤器以使得提取出合成图像中的候选点，并且在框58执行竖直连接性检查。例如在框60使用修改的霍夫变换算法以仅提取竖直线，并且在决定菱形框62，算法使用提取出的结果来确定在合成图像的原始的鸟瞰视图图像和旋转的鸟瞰视图图像中是否都检测到候选线。如果是，则在框64输出停止线和道路车道标记。如果否，则在决定菱形框66，算法确定仅在旋转的鸟瞰视图图像中是否检测到候选线。如果是，则在框68输出仅停止线。如果否，则不输出任何结果。

使用如以上描述的环视监控系统具有某些缺点。例如，环视监控系统可能具有有限的停止线检测距离，因为前视摄像机20的安装位置非常低并且还因为车辆前部区域中的鸟瞰视图将在某个距离上模糊。因为检测距离由摄像机位置、镜头特征和其他因素确定，所以用于停止线的一般检测距离将短于约6米。此距离对于自主车辆而言太短而不能停止或警告驾驶者停止。为了克服此问题，控制器26包括投影算法，该投影算法将原始的前视图像的上部以下文详细描述的方式投影到延伸的鸟瞰视图上。

图6示出来自车辆10的前视摄像机20的前视图像。通常，在鸟瞰视图中仅可以观看到前视图像的一部分。虚线的六边形70指示通常在鸟瞰视图图像中看见的前视图像的区域。为了改进停止线检测距离，控制器26的投影算法利用未变形的前视图像数据的上部来建立延伸的停止线检测区域。图7是来自前视摄像机20的未变形的前视图像的图示，其中虚线框72是用来建立延伸的检测区域的图像的上部。图8是从框72提取出的图像的视图。

图9是提供延伸的距离停止线检测的控制器26的算法的流程图80。算法在框82开始。接下来，在决定菱形框84，算法确定在鸟瞰视图中是否成功地检测到车道标记14和16。如果成功地检测到车道标记14和16，则在框86，计算车道标记14和16上的像素的平均强度作为用于上车道标记提取的参考值。如果未检测到车道标记14和16，则在框88，选择预定安全值T_W作为上车道标记提取阈值。T_w＝1.2xI_max，其中I_max是AVW鸟瞰强度直方图的峰值，其对应于路面强度。

接下来，在框90，提取来自前视摄像机20的前视图像的上部区域以用于候选停止线确定。该确定通过简单的二进制方法来使用白色线像素，其中阈值是如以上所描述的提取出的车道标记的平均强度或预定安全值。在框92，根据如本领域技术人员所已知的摄像机校准查找表(LUT)将所有提取出的白色线像素重新映射到鸟瞰视图。

图10是在框90投影算法如何提取上部区域的一般化的图示。框102是如图8中所示的前视图像的提取出的上部区域。在框104，检测车道标记。在框106，根据摄像机校准LUT将提取出的白色线像素重新映射到鸟瞰视图。在框94，投影算法还使用移动平均过滤器检测提取出的峰值。例如，对于每N行而言，添加轮廓值以使得输出平滑。

另外，在框96，控制器26的算法追踪停止线候选位置和随后图像中的当前帧的移动。停止线存在的可能性随着追踪持续而增加。在框98，与追踪到的停止线有关的信息被提供给如图5的流程图中所描述的用于检测停止线的算法，以预测追踪到的停止线的位置。

如本领域技术人员将很好理解，本文论述以描述本发明的几个和各个步骤和过程可以涉及由计算机、处理器或使用电现象操纵和/或变换数据的其他电子计算设备执行的操作。那些计算机和电子设备可以使用各种易失性和/或非易失性存储器，包括具有存储于其上的可执行程序(包括能够由计算机或处理器执行的各种代码或可执行指令)的永久计算机可读媒体，其中存储器和/或计算机可读媒体可以包括任何形式和类型的存储器和其他计算机可读媒体。

以上论述仅披露和描述本发明的示例性实施例。本领域技术人员将从此论述以及从附图和权利要求容易地认识到，在不脱离如以下权利要求中定义的本发明的精神和范围的情况下，可以在其中进行各种改变、修改和变化。

Claims (10)

1.一种提供道路上的停止线的延伸的检测范围的车辆上的系统，所述系统包括：

所述车辆上的前视摄像机，所述前视摄像机提供所述车辆前面的所述道路的图像；以及

控制器，所述控制器被编程以从所述前视摄像机接收所述图像，所述控制器被进一步编程以从所述前视摄像机提取未变形的前视图像的上部，所述上部被重新映射到延伸的鸟瞰视图图像上，从而使得所述停止线的检测范围被延伸。

2.根据权利要求1所述的系统，其中所述控制器被进一步编程以检测所述未变形的前视图像中的车道标记以计算参考值，所述参考值用来确定将被提取作为所述上部并且重新映射到所述延伸的鸟瞰视图图像上的所述前视摄像机图像的区域。

3.根据权利要求2所述的系统，其进一步包括如果在来自所述前视摄像机的所述图像中未检测到车道标记，则使用预定安全值作为所述参考值。

4.根据权利要求1所述的系统，其中所述控制器被进一步编程以从随后提取到的图像中的第一提取到的图像追踪停止线候选位置。

5.根据权利要求4所述的系统，其中使用在随后提取到的图像中追踪到的所述停止线候选位置来预测所述停止线的位置。

6.根据权利要求4所述的系统，其中通过二进制方法使用白色线像素并且根据摄像机校准查找表将所述白色线像素重新映射到鸟瞰视图来确定所述停止线候选位置。

7.根据权利要求1所述的系统，其中所述控制器被进一步编程以从所述前视图像的提取到的上部检测对应于所述停止线的延伸的峰值。

8.根据权利要求1所述的系统，其中所述控制器被进一步编程以使用移动平均过滤器来从所述图像的提取到的上部检测提取到的峰值。

9.一种提供道路上的停止线的延伸的检测范围的车辆上的系统，所述系统包括：

所述车辆上的前视摄像机，所述前视摄像机能够提供所述车辆前面的道路的图像；以及

控制器，所述控制器被编程以从所述前视摄像机接收所述图像，所述控制器被进一步编程以检测来自所述前视摄像机的所述图像中的车道标记并且使用检测到的车道标记计算所述车道标记上的像素的平均强度的参考值，所述参考值用来提取来自所述摄像机的所述图像的上部并且确定所述图像的提取到的上部中是否存在停止线。

10.一种提供用于道路上的停止线的车辆上的延伸的检测范围的方法，所述方法包括：

提供所述车辆上的前视摄像机，所述前视摄像机提供所述车辆前面的道路的图像；以及

使用控制器，所述控制器被编程以从所述前视摄像机接收所述图像，所述控制器被进一步编程以提取来自所述前视摄像机的未变形的前视图像的上部，所述上部被重新映射到延伸的鸟瞰视图图像上，从而使得所述停止线的检测范围被延伸。