CN105291982A - 快速且可靠的停止线检测器 - Google Patents
快速且可靠的停止线检测器 Download PDFInfo
- Publication number
- CN105291982A CN105291982A CN201510475887.4A CN201510475887A CN105291982A CN 105291982 A CN105291982 A CN 105291982A CN 201510475887 A CN201510475887 A CN 201510475887A CN 105291982 A CN105291982 A CN 105291982A
- Authority
- CN
- China
- Prior art keywords
- image
- aerial view
- stop line
- road
- view image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000010422 painting Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 abstract description 5
- 239000002131 composite material Substances 0.000 abstract 2
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 229910003460 diamond Inorganic materials 0.000 description 3
- 239000010432 diamond Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
公开了快速且可靠的停止线检测器。一种用于检测道路上的停止线的系统和方法。系统和方法包括产生道路的图像的前视摄像机。系统和方法还包括接收从前视摄像机产生的图像的控制器,所述图像包括鸟瞰视图图像,所述控制器进一步被编程以提供包括原始的鸟瞰视图图像和旋转的鸟瞰视图图像的合成图像。控制器还被编程以使用该合成图像来确定道路上是否存在停止线。
Description
相关申请的交叉引用
此申请要求2014年7月23日提交的标题为“快速且可靠的停止线检测器”的美国临时专利申请序号62/027,939的优先权日期的权益。
技术领域
本发明一般涉及车辆中的快速且可靠的停止线检测器,并且更具体来说,涉及用于产生包括原始的鸟瞰视图图像和旋转的鸟瞰视图图像的合成图像并且使用快速线过滤算法使用该合成图像来同时提取停止线和车道标记。
背景技术
现代车辆正在变得越来越自主,即,现代车辆能够在驾驶者较少干预的情况下提供驾驶控制。巡航控制系统已经车辆上的许多年,其中车辆操作者可以在该系统设置车辆的特定速度,并且车辆将在无需驾驶者操作节气门的情况下维持那个速度。本领域中近年来开发出自适应巡航控制系统,其中不仅系统维持设定的速度,而且将在使用各种传感器(诸如雷达和摄像机)在主车辆前方检测到较慢移动的车辆的情况下自动将车辆减速。现代车辆控制系统还可以包括自主泊车,其中车辆将自动地提供用于泊车的转向控制,并且其中如果检测到道路中的停止线车辆将停止或警告驾驶者停止。
自主和半自主车辆中的停止线检测和车道标记检测是本领域中已知的。停止线是道路上指示希望沿道路行驶的车辆停止的位置的白色实线。在美国,这些白色实的停止线具有约12至24英寸的宽度。在日本,宽度为约0.3至0.45米,并且在中国,停止线的宽度为约0.2至0.45米。在所有国家,停止线垂直于车道标记线。当使用已知的停止检测系统时,这些系统可能是不可靠的,因为污垢、轮胎光亮剂和不干净的停止线标记可能产生问题。例如,当对抗污垢、光照变化和其他噪音检测候选线时,已知的边缘检测器(诸如索贝尔和坎尼边缘检测)可能是不精确的,由此产生安全风险。此外,在具有或没有相关的车道标记的情况下,已知算法是复杂的。因此,本领域中需要减少处理时间并增加车辆安全的快速且可靠的停止线检测系统。
发明内容
根据本发明的教示,披露用于检测道路上的停止线的系统和方法。系统和方法包括产生道路的图像的前视摄像机。系统和方法还包括接收从前视摄像机产生的图像的控制器,所述图像包括鸟瞰视图图像,所述控制器进一步被编程以提供包括原始的鸟瞰视图图像和旋转的鸟瞰视图图像的合成图像。控制器还被编程以使用该合成图像来确定道路上是否存在停止线。
本发明包括以下方案:
1.一种用于检测道路上的停止线的车辆上的系统,所述系统包括:
前视摄像机,所述前视摄像机能够产生所述道路的图像,包括鸟瞰视图图像;以及
控制器,所述控制器被编程以从所述前视摄像机接收图像,所述图像包括鸟瞰视图图像,所述控制器还被编程以产生包括原始的鸟瞰视图图像和旋转的鸟瞰视图图像的合成图像并且使用所述合成图像来确定所述道路上是否存在停止线。
2.根据方案1所述的系统,其中所述旋转的鸟瞰视图图像是旋转90度的鸟瞰视图图像。
3.根据方案1所述的系统,其中所述控制器被进一步编程以通过使用修改的霍夫变换来提取所述合成图像中的竖直线。
4.根据方案1所述的系统,其中所述控制器被进一步编程以使用包括卷积核的线过滤算法,从而使得当绘制在用于所述合成图像中的车道标记和所述停止线中的每一个的图表中时,卷积结果提供正峰值接着是负峰值。
5.根据方案4所述的系统,其中所述线过滤算法的所述卷积核包括1x(2n+1)元素。
6.根据方案1所述的系统,其中使用来自多个摄像机的所述图像来确定所述道路上是否存在车道标记和停止线。
7.根据方案1所述的系统,其中所述控制器被进一步编程以假定所述车辆正在沿道路车道行驶。
8.根据方案1所述的系统,其中使用漆成白色的道路线来确定所述道路上的车道标记和停止线。
9.根据方案1所述的系统,其中所述前视摄像机是能够接收光能并且将所述光能转换成像素格式的电信号的摄像机。
10.一种用于检测道路上的停止线的车辆上的系统,所述系统包括:
前视摄像机,所述前视摄像机能够产生所述道路的图像,所述图像包括鸟瞰视图图像;以及
车辆控制器,所述车辆控制器被编程以从所述前视摄像机接收图像,所述图像包括所述鸟瞰视图图像,所述控制器被进一步编程以产生包括原始的鸟瞰视图图像和旋转的鸟瞰视图图像的合成图像,所述控制器还被编程以使用线过滤算法来分析所述合成图像并且执行竖直连接性检查以确定所述道路上是否存在车道标记和停止线。
11.根据方案10所述的系统,其中所述控制器被进一步编程以通过使用修改的霍夫变换来提取所述合成图像中的竖直线。
12.根据方案10所述的系统,其中使用线过滤算法包括具有1x(2n+1)元素的卷积核,以便当绘制在用于所述合成图像中的每个白色线的图表上时,提供具有正峰值接着是负峰值的卷积结果。
13.根据方案10述的系统,其中所述前视摄像机是环视监控单元的一部分,所述环视监控单元包括能够接收光能并且将所述光能转换成像素格式的电信号的多个摄像机。
14.根据方案13述的系统,其中使用来自所述环视监控单元的多个摄像机的图像来确定所述道路上的车道标记和停止线。
15.根据方案10所述的系统,其中使用漆成白色的道路线来确定所述道路上的车道标记和停止线。
16.一种用于检测道路上的停止线的方法,所述方法包括:
提供前视摄像机,所述前视摄像机能够产生所述道路的图像,包括鸟瞰视图图像;以及
使用控制器,所述控制器被编程以用于从所述前视摄像机接收图像,所述图像包括所述鸟瞰视图图像,所述控制器还被编程以用于产生包括原始的鸟瞰视图图像和旋转的鸟瞰视图图像的合成图像并且使用所述合成图像来确定所述道路上是否存在停止线。
17.根据方案16所述的方法,其中所述控制器被进一步编程以用于通过使用修改的霍夫变换来提取所述合成图像中的竖直线。
18.根据方案16所述的方法,其中所述控制器被进一步编程以用于使用包括卷积核的线过滤算法,当在所述道路上存在车道标记和停止线的情况下绘制在用于所述合成图像中的车道标记和停止线中的每一个的图表上时,所述线过滤算法提供具有正峰值接着是负峰值的卷积结果。
19.根据方案16所述的方法,其中使用来自多个摄像机的图像来确定所述道路上是否存在车道标记和停止线。
20.根据方案16所述的方法,其中所述前视摄像机是能够接收光能并且将所述光能转换成像素格式的电信号的摄像机。
本发明的额外特征将从结合附图进行的以下描述和随附权利要求变得显而易见。
附图说明
图1是道路上在停止线前面的车辆的俯视图的图示,所述车辆包括具有多个摄像机的环视摄像机系统;
图2是靠近停车线的车辆的俯视图的图示;
图3是具有x轴上的x坐标像素值和y轴上的水平线过滤结果的图表;
图4是合成鸟瞰视图图像的俯视图的图示;
图5是快速且可靠地检测停止线的算法的流程图;
图6是来自车辆的前视摄像机的前视图像的图示;
图7是来自前视摄像机的未变形的前视图像的图示;
图8是从未变形的前视图提取出的前视图像的图示;
图9是提供延伸距离停止线检测的算法的流程图;以及
图10是用于提取前视图像的上部区域的算法的一般化的图示。
具体实施方式
针对用于快速且可靠的停止线检测的本发明的实施例的以下论述实质上仅是示例性的,而绝不意欲限制本发明或其应用或使用。例如,本发明具有用于检测地面上的任何线或车道标记的应用。
图1是沿道路车道12行驶的车辆10的俯视图的图示,所述道路车道由漆在或者以其他方式粘附在道路车道12上的车道标记限定,包括外侧车道边界线14和内侧车道中心线16。停止线18在道路车道12上,该停止线指示希望车辆10停止的位置。停止线18由漆在或者以其他方式固定在道路车道12上的线限定。
车辆10包括环视监控系统,所述系统具有前视摄像机20、右侧视摄像机22和左侧视摄像机24。在环视监控系统中还可以包括后置摄像机,然而为了清晰而未示出。摄像机20至24可以是适用于本文描述的目的能够接收光或者其他辐射并且使用例如电荷耦合器件(CCD)将光能转换成像素格式的电信号的任何摄像机,其中许多在汽车领域中是已知的。摄像机20至24产生某个数据帧率下的图像数据的帧,所述帧可以被存储以供随后处理。摄像机20至24可以安装在车辆10内或者安装在作为车辆10的一部分的任何适合的结构上,诸如保险杠、仪表板、护栅、侧视镜、门板等,如本领域技术人员将完全理解和了解。来自摄像机20至24的图像数据被发送到处理器26,该处理器处理图像数据以产生显示在车辆显示器28上的图像,包括鸟瞰视图图像。
当对抗污垢、光照变化和其他噪音检测候选线时,已知的边缘检测器(诸如索贝尔和坎尼边缘检测)可能是不精确的。以下详细描述的控制器26的线过滤算法在存在污垢、变化的光照条件和不干净的标记的情况下检测停止线18时是可靠的。使用本文描述的摄像机20至24和控制器26的线过滤算法,以下详细描述的合成视图能够以快速且可靠的方式同时提取停止线18(即,水平线)和车道标记14和16(即,竖直线)。本文描述的线过滤算法可以仅使用单个摄像机,诸如前置摄像机20,以同样地检测停止线18。
通过假定车辆10正沿道路车道12行驶,使用修改的霍夫变换检测到对应于线14和16的一组平行的竖直道路标记和对应于停止线18的一条垂直线。控制器26的线过滤算法充分利用漆成白色的道路线的特征,诸如停车线、车道标记和/或停止线,因为漆成白色的线比其相邻物更加明亮。具有1x(2n+1)元素的卷积核由如表1中所示的线过滤算法使用:
表1
图2示出靠近漆成白色的线30和32的车辆36。检测线34是与漆成白色的线30和32相交的用于线过滤算法的示例性检测线,其中控制器26的线过滤算法使用以下方程来确定线的存在:
其中H(x,y)是像素(x,y)上的水平线过滤结果,L是目标图像的像素值,即亮度,x是x轴坐标并且y是y轴坐标。
图3是具有x轴上的x坐标像素值和y轴上的水平线过滤结果的图表,其中420代表竖直方向上的任意数量的像素线。图3中所示的示例性图表对应于使用方程(1)的图2中的示例性检测线34的线过滤结果。当线过滤算法检测图像(诸如图2的图像)中的所有或基本上所有像素时,检测线34是由图3的图表代表的此实例中所关注的线。构成图表中的正和负峰值的第一对对应于图2中所示的与检测线34相交的漆成白色的线30的部分。构成图表中的正峰值和负峰值的第二对对应于如图2中所示的与检测线34相交的漆成白色的线32。当在图3的图表中可以看出小的负峰值时,这对应于在靠近检测线34的左侧的图像中的道路路面的光照改变,诸如阴影(图3中为了清晰而未示出阴影)。因为此负峰值小并且前面没有正峰值,即,算法未检测到构成正和负峰值的一对,所以由于缺乏正峰值而使得算法认识到这并不指示漆成白色的线。构成正和负峰值的给定对中的正峰值与负峰值差异指示漆成白色的线。因此,使用利用表1中所示的线过滤核并且使用方程(1)的控制器26的线过滤算法,实现快速且可靠的漆成白色的线检测算法,该算法产生卷积结果从而使得由控制器26处理的图像中的所有白色线在结果中将具有成对的正和负峰值,如图2和3的实例中所示。
因为停止线检测需要水平(停止线)线和竖直(车道标记)线的提取,所以必须使用以下方程来竖直地过滤以上论述的线过滤以检测停止线:
其中V(x,y)是像素(x,y)上的竖直线过滤结果。
竖直方向上的典型卷积计算比水平方向上的卷积计算更加耗时,因为水平方向上的计算可以使用加速处理的单指令多数据(SIMD)。为了加速本文描述的竖直车道标记14和16以及水平停止线18的计算,控制器26的算法将原始的鸟瞰视图图像在顺时针或逆时针方向上旋转90°并且将原始图像贴在旋转的图像上以创建合成的鸟瞰视图图像。
图4示出合成图像的俯视图,该合成图像包括具有对应于车道标记的提取出的竖直线40和42的原始的鸟瞰图像和具有对应于图像的停止线的提取出的竖直线44的旋转的鸟瞰视图图像。通过创建包括原始的鸟瞰视图和旋转的鸟瞰视图的合成图像,控制器26的线过滤算法能够仅执行水平线过滤,从而使得提取出确定的成对峰值(即,正峰值接着是负峰值),其中成对峰值的峰值间的宽度限制对应于车道标记和停止线的宽度。以此方式,使用优化的并行处理方法来以高效的方式快速且可靠地过滤并且确定车道标记和停止线。
使用以上论述的线过滤,可以使用水平线过滤器以通过旋转和贴图像以使得竖直线水平来检测竖直线。同样,如以上所描述,可以使用垂直线过滤器以通过旋转和贴图像以使得水平线竖直来检测水平白色线。最后,对角线过滤器能够通过将图像旋转45°并贴图像以创建如以上论述的合成图像来检测垂直白色线。例如,如果在水平方向上使用线过滤算法,即,使用方程(1),则也可以检测竖直道路线,因为将所关注的图像旋转90°。或者,可以使用方程(2)通过将包括竖直线的图像旋转90°并贴图像以创建如以上所论述的合成图像来检测水平道路线。为了检测对角线,可以例如将图像旋转45°,并且线过滤算法可以利用卷积矩阵,其中对角元素是{-1,-1,…,0,1,1,…,1}。此线过滤过程的结果是相同的,包括对应于白色线的宽度的正和负峰值的一对(如果在由线过滤算法分析的图像中存在漆成白色的道路线)。或者,线过滤算法可以检测黑色线,这将由包括负峰值接着是正峰值的一对指示。
执行后处理以检查竖直连接性。如果算法在某些行内未能找到邻近的竖直邻近物,则任何候选点将被移除。例如,如果点(x,y)是图像上的候选白色线点,则竖直连接性检查是检查其邻近像素(例如,(x,y-1)、(x,y+1)、(x-1,y-1)、(x-1,y+1)、(x+1,y-1)、(x+1,y+1)和(x,y-2)、(x,y+2))是否也是候选点。如果诸如以上描述的那些的邻居点不是候选点,则候选点(x,y)将由于缺乏竖直连接性而被移除。
最终线提取可以包括霍夫变换算法,该算法限于+/-20度的提取角并且假定车辆沿道路车道行驶。
图5是快速且可靠地检测停止线的算法的流程图46。该算法在框48开始并且在框50建立如以上所描述的鸟瞰视图图像。在框52以所需方式旋转鸟瞰视图图像结果,并且在框54创建合成图像,包括如以上详细描述的原始的鸟瞰视图图像和旋转的鸟瞰视图图像。在框56处理以上描述的水平线过滤器以使得提取出合成图像中的候选点,并且在框58执行竖直连接性检查。例如在框60使用修改的霍夫变换算法以仅提取竖直线,并且在决定菱形框62,算法使用提取出的结果来确定在合成图像的原始的鸟瞰视图图像和旋转的鸟瞰视图图像中是否都检测到候选线。如果是,则在框64输出停止线和道路车道标记。如果否,则在决定菱形框66,算法确定仅在旋转的鸟瞰视图图像中是否检测到候选线。如果是,则在框68输出仅停止线。如果否,则不输出任何结果。
使用如以上描述的环视监控系统具有某些缺点。例如,环视监控系统可能具有有限的停止线检测距离,因为前视摄像机20的安装位置非常低并且还因为车辆前部区域中的鸟瞰视图将在某个距离上模糊。因为检测距离由摄像机位置、镜头特征和其他因素确定,所以用于停止线的一般检测距离将短于约6米。此距离对于自主车辆而言太短而不能停止或警告驾驶者停止。为了克服此问题,控制器26包括投影算法,该投影算法将原始的前视图像的上部以下文详细描述的方式投影到延伸的鸟瞰视图上。
图6示出来自车辆10的前视摄像机20的前视图像。通常,在鸟瞰视图中仅可以观看到前视图像的一部分。虚线的六边形70指示通常在鸟瞰视图图像中看见的前视图像的区域。为了改进停止线检测距离,控制器26的投影算法利用未变形的前视图像数据的上部来建立延伸的停止线检测区域。图7是来自前视摄像机20的未变形的前视图像的图示,其中虚线框72是用来建立延伸的检测区域的图像的上部。图8是从框72提取出的图像的视图。
图9是提供延伸的距离停止线检测的控制器26的算法的流程图80。算法在框82开始。接下来,在决定菱形框84,算法确定在鸟瞰视图中是否成功地检测到车道标记14和16。如果成功地检测到车道标记14和16,则在框86,计算车道标记14和16上的像素的平均强度作为用于上车道标记提取的参考值。如果未检测到车道标记14和16,则在框88,选择预定安全值TW作为上车道标记提取阈值。Tw=1.2xImax,其中Imax是AVW鸟瞰强度直方图的峰值,其对应于路面强度。
接下来,在框90,提取来自前视摄像机20的前视图像的上部区域以用于候选停止线确定。该确定通过简单的二进制方法来使用白色线像素,其中阈值是如以上所描述的提取出的车道标记的平均强度或预定安全值。在框92,根据如本领域技术人员所已知的摄像机校准查找表(LUT)将所有提取出的白色线像素重新映射到鸟瞰视图。
图10是在框90投影算法如何提取上部区域的一般化的图示。框102是如图8中所示的前视图像的提取出的上部区域。在框104,检测车道标记。在框106,根据摄像机校准LUT将提取出的白色线像素重新映射到鸟瞰视图。在框94,投影算法还使用移动平均过滤器检测提取出的峰值。例如,对于每N行而言,添加轮廓值以使得输出平滑。
另外,在框96,控制器26的算法追踪停止线候选位置和随后图像中的当前帧的移动。停止线存在的可能性随着追踪持续而增加。在框98,与追踪到的停止线有关的信息被提供给如图5的流程图中所描述的用于检测停止线的算法,以预测追踪到的停止线的位置。
如本领域技术人员将很好理解,本文论述以描述本发明的几个和各个步骤和过程可以涉及由计算机、处理器或使用电现象操纵和/或变换数据的其他电子计算设备执行的操作。那些计算机和电子设备可以使用各种易失性和/或非易失性存储器,包括具有存储于其上的可执行程序(包括能够由计算机或处理器执行的各种代码或可执行指令)的永久计算机可读媒体,其中存储器和/或计算机可读媒体可以包括任何形式和类型的存储器和其他计算机可读媒体。
以上论述仅披露和描述本发明的示例性实施例。本领域技术人员将从此论述以及从附图和权利要求容易地认识到,在不脱离如以下权利要求中定义的本发明的精神和范围的情况下,可以在其中进行各种改变、修改和变化。
Claims (10)
1.一种用于检测道路上的停止线的车辆上的系统,所述系统包括:
前视摄像机,所述前视摄像机能够产生所述道路的图像,包括鸟瞰视图图像;以及
控制器,所述控制器被编程以从所述前视摄像机接收图像,所述图像包括鸟瞰视图图像,所述控制器还被编程以产生包括原始的鸟瞰视图图像和旋转的鸟瞰视图图像的合成图像并且使用所述合成图像来确定所述道路上是否存在停止线。
2.根据权利要求1所述的系统,其中所述旋转的鸟瞰视图图像是旋转90度的鸟瞰视图图像。
3.根据权利要求1所述的系统,其中所述控制器被进一步编程以通过使用修改的霍夫变换来提取所述合成图像中的竖直线。
4.根据权利要求1所述的系统,其中所述控制器被进一步编程以使用包括卷积核的线过滤算法,从而使得当绘制在用于所述合成图像中的车道标记和所述停止线中的每一个的图表中时,卷积结果提供正峰值接着是负峰值。
5.根据权利要求4所述的系统,其中所述线过滤算法的所述卷积核包括1x(2n+1)元素。
6.根据权利要求1所述的系统,其中使用来自多个摄像机的所述图像来确定所述道路上是否存在车道标记和停止线。
7.根据权利要求1所述的系统,其中所述控制器被进一步编程以假定所述车辆正在沿道路车道行驶。
8.根据权利要求1所述的系统,其中使用漆成白色的道路线来确定所述道路上的车道标记和停止线。
9.一种用于检测道路上的停止线的车辆上的系统,所述系统包括:
前视摄像机,所述前视摄像机能够产生所述道路的图像,所述图像包括鸟瞰视图图像;以及
车辆控制器,所述车辆控制器被编程以从所述前视摄像机接收图像,所述图像包括所述鸟瞰视图图像,所述控制器被进一步编程以产生包括原始的鸟瞰视图图像和旋转的鸟瞰视图图像的合成图像,所述控制器还被编程以使用线过滤算法来分析所述合成图像并且执行竖直连接性检查以确定所述道路上是否存在车道标记和停止线。
10.一种用于检测道路上的停止线的方法,所述方法包括:
提供前视摄像机,所述前视摄像机能够产生所述道路的图像,包括鸟瞰视图图像;以及
使用控制器,所述控制器被编程以用于从所述前视摄像机接收图像,所述图像包括所述鸟瞰视图图像,所述控制器还被编程以用于产生包括原始的鸟瞰视图图像和旋转的鸟瞰视图图像的合成图像并且使用所述合成图像来确定所述道路上是否存在停止线。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462027939P | 2014-07-23 | 2014-07-23 | |
US62/027939 | 2014-07-23 | ||
US14/803714 | 2015-07-20 | ||
US14/803,714 US9811744B2 (en) | 2014-07-23 | 2015-07-20 | Fast and robust stop line detector |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105291982A true CN105291982A (zh) | 2016-02-03 |
CN105291982B CN105291982B (zh) | 2018-05-08 |
Family
ID=55065712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510475887.4A Active CN105291982B (zh) | 2014-07-23 | 2015-07-23 | 快速且可靠的停止线检测器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9811744B2 (zh) |
CN (1) | CN105291982B (zh) |
DE (1) | DE102015111906A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10594934B2 (en) * | 2016-11-17 | 2020-03-17 | Bendix Commercial Vehicle Systems Llc | Vehicle display |
US11430226B2 (en) * | 2019-01-14 | 2022-08-30 | Boe Technology Group Co., Ltd. | Lane line recognition method, lane line recognition device and non-volatile storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090097708A1 (en) * | 2007-10-15 | 2009-04-16 | Masaki Mizuta | Image-Processing System and Image-Processing Method |
CN101630412A (zh) * | 2008-07-18 | 2010-01-20 | 通用汽车环球科技运作公司 | 基于相机的车道标志检测 |
CN103177236A (zh) * | 2011-12-22 | 2013-06-26 | 株式会社理光 | 道路区域检测方法和装置、分道线检测方法和装置 |
CN103383728A (zh) * | 2012-05-02 | 2013-11-06 | 通用汽车环球科技运作有限责任公司 | 使用环视系统的全速车道感测 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5814187B2 (ja) * | 2012-06-07 | 2015-11-17 | 日立建機株式会社 | 自走式産業機械の表示装置 |
DE102012215093A1 (de) * | 2012-08-24 | 2014-02-27 | Robert Bosch Gmbh | Fahrerassistenzsystem und Verfahren zum Betreiben des Fahrerassistenzsystems |
-
2015
- 2015-07-20 US US14/803,714 patent/US9811744B2/en active Active
- 2015-07-22 DE DE102015111906.4A patent/DE102015111906A1/de active Pending
- 2015-07-23 CN CN201510475887.4A patent/CN105291982B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090097708A1 (en) * | 2007-10-15 | 2009-04-16 | Masaki Mizuta | Image-Processing System and Image-Processing Method |
CN101630412A (zh) * | 2008-07-18 | 2010-01-20 | 通用汽车环球科技运作公司 | 基于相机的车道标志检测 |
CN103177236A (zh) * | 2011-12-22 | 2013-06-26 | 株式会社理光 | 道路区域检测方法和装置、分道线检测方法和装置 |
CN103383728A (zh) * | 2012-05-02 | 2013-11-06 | 通用汽车环球科技运作有限责任公司 | 使用环视系统的全速车道感测 |
Also Published As
Publication number | Publication date |
---|---|
DE102015111906A1 (de) | 2016-01-28 |
US9811744B2 (en) | 2017-11-07 |
US20160026877A1 (en) | 2016-01-28 |
CN105291982B (zh) | 2018-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105303157A (zh) | 延伸用于avm停止线检测的检测范围的算法 | |
KR102441085B1 (ko) | 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법 | |
US20210264176A1 (en) | Hazard detection from a camera in a scene with moving shadows | |
Yan et al. | A method of lane edge detection based on Canny algorithm | |
Li et al. | Nighttime lane markings recognition based on Canny detection and Hough transform | |
Prabhakar et al. | Automatic vehicle number plate detection and recognition | |
RU2636120C2 (ru) | Устройство обнаружения трехмерных объектов | |
US9591274B2 (en) | Three-dimensional object detection device, and three-dimensional object detection method | |
TWI607901B (zh) | 影像修補系統及其方法 | |
US8385601B2 (en) | In-vehicle white line recognition apparatus | |
CN103324930A (zh) | 一种基于灰度直方图二值化的车牌字符分割方法 | |
CN104657735A (zh) | 车道线检测方法、系统、车道偏离预警方法及系统 | |
Kum et al. | Lane detection system with around view monitoring for intelligent vehicle | |
Arenado et al. | Monovision‐based vehicle detection, distance and relative speed measurement in urban traffic | |
CA2885019A1 (en) | Robust windshield detection via landmark localization | |
WO2008020544A1 (en) | Vehicle detection device, vehicle detection method, and vehicle detection program | |
Youjin et al. | A robust lane detection method based on vanishing point estimation | |
CN202134079U (zh) | 一种无人驾驶车辆车道标志线识别与报警装置 | |
DE102014012653A1 (de) | Bildverarbeitungsverfahren für Fahrzeugkamera und dieses anwendende Bildverarbeitungsvorrichtung | |
KR101224027B1 (ko) | 영상의 장면 정보를 이용한 전방 차량 검출 방법 | |
CN108198417A (zh) | 一种基于无人机的道路巡检系统 | |
JP2015064752A (ja) | 車両監視装置、および車両監視方法 | |
CN106570487A (zh) | 物体间的碰撞预测方法和装置 | |
CN111046741A (zh) | 车道线识别的方法和装置 | |
CN203020184U (zh) | 一种基于双ccd的纯电动汽车车道标识线检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |