CN104376297A - 道路上的线型指示标志的检测方法和装置 - Google Patents
道路上的线型指示标志的检测方法和装置 Download PDFInfo
- Publication number
- CN104376297A CN104376297A CN201310349606.1A CN201310349606A CN104376297A CN 104376297 A CN104376297 A CN 104376297A CN 201310349606 A CN201310349606 A CN 201310349606A CN 104376297 A CN104376297 A CN 104376297A
- Authority
- CN
- China
- Prior art keywords
- line
- straight line
- road
- end point
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
公开了一种道路上的线型指示标志的检测方法和装置。该检测方法可以包括:获得包括路面区域的U视差图;在U视差图上,确定道路消失点;以由第一预定极点间距和第一预定极角间距表征的第一分辨率,获取道路消失点附近的预定区域的直线的第一分辨率概率分布图;基于物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,判定不同类型的线型指示标志。根据本发明实施例的道路上的线型标志物检测方法和装置,能够检测各种类型的道路上的线型标志物,如斑马线、道路上的箭头、道路上的白字、道路上的车道线,有助于车辆辅助驾驶。
Description
技术领域
本发明涉及图像处理,更具体地涉及道路上的线型指示标志的检测方法和装置。
背景技术
驾驶辅助系统的应用日渐普及。驾驶辅助系统可以包括路面检测功能、行人和车辆检测功能、路上栅栏检测、道路上各种标志物检测功能等等。
道路上存在各种线型标志物,一般是和道路走势平行的,例如白色斑马线、单白线、双白线、三条白线、单黄线、双黄线、白色箭头线等等。
下文描述中,将不区分线型标志物的颜色,统称之为“白线”。不过需要说明的是,这仅是为了描述方便,其实该线可以为其它的颜色。在检测出白线类型之后,可以辅助以例如彩色图的颜色来区分线的颜色。
每种白线类型都有它特定的交通行驶指示含义。对白线类型的检测可以有助于司机的安全驾驶。根据车辆在其上行驶的道路的白线类型的不同,可以给予行人检测或者车辆预警不同的权重。
而且,白线类型信息对于无人驾驶以及辅助驾驶也有重要作用,它可以预测行驶路线,提供自动刹车指导等。
发明内容
需要一种适合于检测各种道路上的线型标志物的方法和装置。
为此,提出了本发明。
根据本发明的一个方面,提供了一种路上的线型指示标志的检测方法,可以包括:获得包括路面区域的U视差图;在U视差图上,确定道路消失点;以由第一预定极点间距和第一预定极角间距表征的第一分辨率,获取道路消失点附近的预定区域的直线的第一分辨率概率分布图;基于物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,判定不同类型的线型指示标志。
根据本发明的另一个方面,提供了一种道路上的线型指示标志的检测装置,可以包括:U视差图获得部件,用于获得包括路面区域的U视差图;道路消失点确定部件,用于在U视差图上,确定道路消失点;第一分辨率概率分布图获得部件,用于以由第一预定极点间距和第一预定极角间距表征的第一分辨率,获取道路消失点附近的预定区域的直线的第一分辨率概率分布图;不同类型线型指示标志区分部件,用于基于物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,判定不同类型的线型指示标志。
根据本发明实施例的道路上的线型标志物检测方法和装置,能够检测各种类型的道路上的线型标志物,如斑马线、道路上的箭头、道路上的白字、道路上的车道线,有助于车辆辅助驾驶。
进一步地,根据本发明实施例的道路上的线型标志物检测方法和装置还可以包括:以由第二预定极点间距和第二预定极角间距表征的第二分辨率,获取道路消失点附近的预定区域的直线的第二分辨率概率分布图,其中第二分辨率高于第一分辨率;对于判定为车道线的线型指示标志,确定其在第二分辨率概率分布图上表现出的对应线的条数;以及根据表现出的对应线的条数,进一步判定该车道线的类型。由此,能够利用第一分辨率(低分辨率)的概率分布图,来实现道路上的线型指示标志的粗分类,而且利用第二分辨率(高分辨率)的概率分布图,基于不同车道线在概率分布图上显现的线的条数,实现车道线的细分类。
附图说明
从下面结合附图对本发明实施例的详细描述中,本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解,其中:
图1示出了根据本发明一个实施例的车辆自动控制系统100的示意图;
图2示出了根据本发明一个实施例的可用于图1中所示的车辆自动控制系统100中的摄像头101和图像处理模块102的组成示例的示意图;
图3示出了根据本发明一个实施例的道路上的线型指示标志检测装置300的基本功能组成示例;
图4示出了根据本发明一个实施例的道路上的线型指示标志检测方法的总体流程图;
图5示意性地示出了包括路面区域的视差图和视差图变换得到的U视差图;
图6(a)示意性示出了U视差图上的一个候选道路消失点CVP,以及示例的用极点b和极角θ来表示的经过该候选道路消失点CVP的一条直线;图6(b)示意性地示出了所有基本点的所有直线的概率分布图;图6(c)示出了图6(b)的概率分布图对应的候选道路消失点CVP(即基本点b)的聚合度分布曲线示意图;图6d)示出了利用聚合度分布曲线确定消失点x0的示意图;图6e)是和图6b)一样的概率分布图,其中临近消失点,包含大多数直线的区域,在图6e)中用矩形框标识出来;图6f)示出了灰度图上的对应白线;
图7示出了通过将图6(e)中的矩形框部分(即道路消失点附近的区域)单独取出得到的某分辨率的概率分布图或角度分布图;
图8a)示出了原始灰度图,图8b)示出了对应的U图,图8c)和图8d)示意性地示出了两个不同分辨率的角度分布图的示例;
图9中的a)和(b)示意性地示出了角度分布图的点和原始灰度图上的直线之间的对应关系;
图10a)示意性地显示了立体视觉原理,图10b)示出了真实世界中两个点P和Q有同样的深度的情况下,真实距离和像素距离之间的关系;
图11示出了在U视差图中两条道路白线间的像素宽度Dwidth与道路白线的倾斜角度之间的关系;
图12中的a)到c)示意性地示出了灰度图上的各种道路上的线型指示标志与第一分辨率的概率分布图上的对应点(或对应曲线)之间的对应关系,图12d)示出了经区分留下的灰度图上的圆圈所显示的车道线部分;
图13示出了根据本发明第三实施例的道路上的线型指示标志检测方法500的总体流程图;
图14a)示意性示出了由不同条数的白线组成的车道线的例子;图14b)示意性示出了灰度图上的不同类型的车道线和高分辨率角度分布图中的对应曲线;
图15a)和b)示出了灰度图上的车道线、高分辨率角度分布图上的对应曲线和灰度图中直线对应的密度列表;以及
图16示出了适于用来实现本发明实施方式的示例性计算系统600的框图。
具体实施方式
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。
本发明各实施例中道路上的线型指示标志检测以视差图和/或U视差图(可选地还包括灰度图或彩色图)为操作对象,下面对视差图以及作为视差图的俯瞰图的U视差图进行简要介绍。
视差图(disparity map)是以任一幅图像为基准,其大小为该基准图像的大小,元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以从双目相机拍摄的左图像和右图像中计算得到,或者通过立体视图中的深度图计算得到。
普通二维视差图中的某点坐标一般以(u,v)表示,其中u为横坐标,v为纵坐标;点(u,v)处的像素的像素值用d(u,v)表示,表示该点(u,v)处的视差。
视差俯瞰图或U-视差图可以从视差图中计算得到。U-视差图中任意一点(u,d)的灰度值是对应视差图的横坐标为u的列中视差值等于d的点的个数。
有关视差图的概念、获得、以及如何从视差图获得U-视差图的详细介绍,可以在本申请人的另一篇题目为“道路分割物检测方法和装置”、申请号为No.201110409269.1的在先申请中得到。
下面,将按如下顺序进行描述:
<1、第一实施例>
<1.1、车辆自动控制系统>
<1.2、摄像头和图像处理模块>
<1.3、道路上的线型指示标志检测装置>
<2、第二实施例:道路上的线型指示标志检测方法>
<3、第三实施例:道路上的线型指示标志检测方法>
<4、第四实施例:检测道路上的线型指示标志的计算系统>
<1、第一实施例>
<1.1、车辆自动控制系统>
图1示出了根据本发明一个实施例的车辆自动控制系统100的示意图。车辆自动控制系统100安装在车辆之上。该车辆自动控制系统100包括例如两个摄像头101、图像处理模块102、车辆控制模块103。摄像头101可以安装在靠近车辆后视镜的位置,用于捕获车辆前方的场景。所捕获的车辆前方场景的图像将作为图像处理模块102的输入。图像处理模块102分析输入的视差图像,进行各种检测处理,例如本发明实施例的道路上的线型指示标志检测,以及其他的路面检测处理、栅栏检测处理、行人检测处理等等。车辆控制模块103接收由图像处理模块102输出的信号,根据检测得到的当前道路上的线型指示标志如各种分道线(诸如,区分各个车道(lane)的线),以及路面、栅栏、行人等信息生成控制信号来控制车辆的行驶方向和行驶速度等。
图中所示的车辆自动控制系统100仅为示例,其还可以包括其他部件,例如GPS导航部分等。
<1.2、摄像头和图像处理模块>
图2示出了根据本发明一个实施例的可用于图1中所示的车辆自动控制系统100中的摄像头101和图像处理模块102的组成示例的示意图。
如图2所示,图中左侧示出了两个摄像头101,摄像头101包括图像传感器201和摄像头数字信号处理器(digital signal processing,DSP)202。图像传感器201将光信号转换为电子信号,将捕获的当前车辆前方的图像转换为模拟图像信号,再将结果传入摄像头DSP202。如果需要,摄像头101还可以进一步包括镜头,滤镜,等等。在本设备中,可以包括两个或多个(未示出)摄像头101,这些摄像头配准后可以同时捕获多幅图像,以便用于双目成像或多目成像。摄像头DSP202将模拟图像信号转换为数字图像信号,并发送到图像处理模块102。
如图像处理模块102的功能框图所示,图像处理模块102可以包括,例如,图像输入部分203、视差图成像部分204、路面检测部分204、行人和车辆检测部分205、道路上的线型指示标志检测部分206等。图像输入部分203可以按规定的时间间隔取得图像。视差图成像部分204利用双目视觉原理,将输入的一对数字图像转换为视差图。路面检测部分204可以例如基于来自视差图成像部分204的视差图(和/或灰度图)而检测路面。行人和车辆检测部分205可以例如基于来自视差图成像部分204的视差图(和/或灰度图)而检测行人和车辆。道路上的线型指示标志检测部分206可以例如基于来自视差图成像部分204的视差图(可选地,还基于灰度图)而检测道路上的线型指示标志。
图2中所示的用于后续获得视差的双目摄像机成像仅为示例,也可以例如采用其他基于红外光飞行速度和基于纹理光的立体摄像机等等设置。另外,车辆上可以不配置摄像设备,而例如通过有线网络或者无线网络连接接收来自外部的图像数据等。
图2中所示的图像处理模块仅为示例,其可以省略其中的某些部分例如省略路面检测部分204,以及可以包括额外的其他部分,例如栅栏检测部分、U视差图获得部分、V视差图获得部分、基于灰度图的对象检测等。
下面将重点介绍本发明所关注的道路上的线型指示标志检测部分的组成和操作过程。
<1.3、道路上的线型指示标志检测装置>
下面将结合图3描述根据本发明一个实施例的道路上的线型指示标志检测装置的基本功能组成示例。
图3示出了根据本发明一个实施例的道路上的线型指示标志检测装置300的基本功能组成示例,该道路上的线型指示标志检测装置300可用于图2中所示的道路上的线型指示标志检测部分206。该道路上的线型指示标志检测装置300输入为图像数据例如双目相机拍摄的左图像和右图像,输出为检测得到的某种或某些道路上的线型指示标志。
如图3所示,根据本发明一个实施例的道路上的线型指示标志检测装置300可以包括:U视差图获得部件310,用于获得包括路面区域的U视差图;道路消失点确定部件320,用于在U视差图上,确定道路消失点;第一分辨率概率分布图获得部件330,用于以由第一预定极点间距和第一预定极角间距表征的第一分辨率,获取道路消失点附近的预定区域的直线的第一分辨率概率分布图;不同类型线型指示标志区分部件340,用于基于物理世界中相互平行的直线之间的距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,判定不同类型的线型指示标志。
需要说明的是,上述道路上的线型指示标志的检测装置300的部件可以用软件程序来实现,例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上,在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外,除了通用计算机上,还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU(微处理单元)、DSP(数字信号处理器)、FPGA(现场可编程门阵列)、ASIC(专用集成电路)等中的至少一个来实现。这样的通用计算机或者专用集成电路等例如可以装载在车辆上,并且与安装在例如车辆上的成像设备例如照相机来通信,以便对照相机拍摄获得的二维图像和/或立体图像进行处理来得到道路上的线型指示标志检测结果,以及可选地还可以根据道路上的线型指示标志检测结果对车辆的驾驶进行控制,例如给出警告信息、自动刹车或启动应急保护装置等。另外,道路上的线型指示标志的检测装置300的各个部件可以用专门的硬件来实现,例如特定的现场可编程门阵列、专用集成电路等。另外,道路上的线型指示标志的检测装置300的各个部件也可以利用软件和硬件的结合来实现。
需要说明的是,图3中所示的箭头只表示两个部件的功能之间存在逻辑关系,两个部件之间可以直接或者间接地操作性地连接。另外,即便图3中的某两个部件之间未示出某方向的箭头连接,但是这并不表明两者之间必然不存在该方向的逻辑关系,相反,两者之间可以存在操作性的连接关系,例如第一分辨率概率分布图获得部件330和不同类型线型指示标志区分部件340和U视差图获得部件310之间可以存在逻辑关联,其中第一分辨率概率分布图获得部件330和不同类型线型指示标志区分部件340在操作过程中可能需要利用U视差图获得部件310所获得的U视差图。
上述道路上的线型指示标志的检测装置300中的各个单元的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例,上述U视差图获得部件310、道路消失点确定部件320、第一分辨率概率分布图获得部件330、不同类型线型指示标志区分部件340可以合并为一个独立的部件来执行和实现相应的功能和操作,或者可以将U视差图获得部件310、道路消失点确定部件320、第一分辨率概率分布图获得部件330、不同类型线型指示标志区分部件340进一步拆分为更小的单元来实现他们各自的功能和操作。
另外,需要说明的是,图3中所示的结构并不是排他式的,相反道路上的线型指示标志的检测装置300可以包括其他部件,例如显示部件,用于例如不同类型线型指示标志区分部件340处理后的结果,以及例如通信部件,用于将有关信息和/或中间处理结果传递到外部等。
下面参考图4-9详细描述道路上的线型指示标志检测装置300的各部件的功能和操作的示例。
<2、第二实施例:道路上的线型指示标志检测方法>
图4示出了根据本发明一个实施例的道路上的线型指示标志检测方法400的总体流程图。
如图4所示,在步骤S410,U视差图获得部件310获得包括路面区域的U视差图。
如前所述,可以通过双目相机、多目相机、立体相机拍摄并计算得到包括道路区域的视差图,由视差图变换得到U视差图;或者从立体视图中获得深度图,根据深度图得到视差图,由视差图变换得到U视差图。
在首先获得包括路面区域的视差图,然后从视差图转换得到U视差图的情况下,关于如何从例如立体相机获得的图像中获得路面区域的视差图,可以采用例如下述几种途径:由手动指定路面区域;也可以例如采用预定高度阈值rh来将视差图中自路面起高度大于rh的所有点移除,因为,高度大于rh的点可能代表路上的车辆、骑自行车的人或者电线杆等噪声等;或者可以采用各种路面估计或检测方法来检测路面从而获得包括路面区域的视差图,例如采用本申请人的题目为“路面检测方法和装置”、申请号为No.201210194074.4中介绍的路面检测方法。
在获得包括路面区域的视差图后,可以获得视差图的俯瞰图,即U视差图。
图5示意性地示出了包括路面区域的视差图(左图)和视差图变换得到的U视差图(右图),其中左图横坐标是x,纵坐标是y,右图中横坐标是x,纵坐标是d。
此外,这里还可以对如此得到的U视差图进行一些后处理,例如去噪,其中一种实现方式是,将所有灰度值小于预定阈值的点都从视差俯瞰图中去除,也即将所有灰度值小于预定阈值的点的灰度值改为零。这是因为,噪声一般是离散点,在视差图的各列中,不会存在很多视差一样的噪声点。另外,为了避免无意地去除诸如白线的分道线,优选地,将预定阈值设置为较小值,例如设置为1。
前文描述的情形是先获得视差图,然后从视差图获得U视差图。不过这仅为示例,也可以通过对例如双目相机获得的图像进行处理或计算,直接获得U视差图。或者,也可以直接从外部通过有线网络或者无线网络通信来接收包括路面区域的U视差图。
回到图4,在步骤S420中在U视差图上,确定道路消失点。
由本领域技术人员公知的射影变换原理可知,原三维空间中相互平行的直线在U视差图中相交于视差值等于零(即d=0)的点,我们将此交点称为道路消失点。在视差俯瞰图中,视差值等于零的点位于一条横线上,我们将视差值等于零的点统称为基本点,也称之为候选道路消失点。如果考察经过各个基本点的各个直线存在的概率的话,那么应该是经过道路消失点的作为道路分割物的直线存在的概率最大,或者说最集中(即最不分散)。
由此可以基于这样的聚合度分布来确定道路消失点。
在一个实施例中,在U视差图上,确定道路消失点可以包括:
(1)在U视差图上,针对各个候选道路消失点,计算经过候选道路消失点的各个直线存在的概率,获得经过各个候选道路消失点的直线的概率分布图,每条直线由对应候选道路消失点作为极点和对应极角来限定,由此获得了各个候选道路消失点的直线的概率分布;
这里,候选道路消失点简称为CVP(candidate vanishing point),图6(a)示出了U视差图上的一个候选道路消失点CVP,该图中的括号显示了待选消失点区间的位置。横坐标是x,纵坐标是d,与图5中的右图相同。候选道路消失点CVP的位置用横坐标b表示(纵坐标为视差d=0),经过该候选道路消失点CVP的一条直线用极点b和极角θ来表示。
图6(b)示意性地示出了所有基本点的所有直线的概率分布图,其中横坐标表示各个CVP点(即横坐标b),纵坐标表示夹角角度Angle(即θ),点(b,θ)处的取值为概率Dis(θ,b),即表示由极点b和夹角θ确定的直线存在的概率,该概率例如可以根据落在该条直线上的U视差图像上的非零点的数目占U视差图像上全部非零点的数目的比率来计算。
从U视差图生成方式可以看出,图6f)中灰度图上的右侧白线,对应着图6a)中的由极点b和夹角θ确定的直线(b,θ),如从图6(a)到图6(f)的箭头曲线所示。也因此,图6b)中的大的黑圆点处的像素点,表示由极点b和夹角θ确定的直线(b,θ)的存在概率,可见其对应着图6f)中的右侧白线,换句话说,一定程度上表征图6f)中的右侧白线存在的概率。
需要说明的是,关于概率分布图,关于各条直线的概率,可以基于极点间预定间距和极角间的预定间距来对各个直线进行概率计算,由此得到了不同分辨率的概率分布图,极点间的间距越小、极角间的间距越小,概率分布图的分辨率越高。
(2)基于经过每个候选道路消失点的各个直线存在的概率,得到表征每个候选道路消失点的直线存在的概率的分布的聚合程度的聚合度,由此得到候选道路消失点的聚合度分布。
针对每个候选道路消失点CVP(也可称为基本点b),改变极角θ,即得到一组相关联的直线。如果这组直线经过的是真正的消失点,那么他们每条直线的概率,要么很大(白线所在直线),要么很小(很少有点的直线)。从信息论的角度来讲,这组直线的概率分布的聚合程度是收敛的。而如果这组直线经过的不是真正的消失点,那么这组直线的概率分布的聚合程度是发散的。为了定量度量每组直线的概率分布的聚合程度(收敛或发散),在一个示例中,可以采用信息熵来计算,例如,用如下的公式(1)来表示候选道路消失点CVP(即基本点b)的聚合度En(b):
其中,一个候选道路消失点CVP(即基本点b)的聚合度En(b)越大,表示该候选道路消失点CVP(即基本点b)相关联的直线存在的概率分布的聚合程度越高,也即分散程度越低。
基于各个候选道路消失点CVP(即基本点b)的聚合度,就获得了候选道路消失点CVP(即基本点b)聚合度分布,图6(c)示出了图6(b)的概率分布图对应的候选道路消失点CVP(即基本点b)的聚合度分布曲线示意图,其中横坐标为各个候选道路消失点CVP(即基本点b)的位置,纵坐标En(b)表示各个候选道路消失点CVP(即基本点b)对应的聚合度。
(3)基于候选道路消失点的聚合度分布曲线,确定道路消失点。
如图6c)所示。En(b)值最大的地方,意味着对应的直线组最收敛,那么其对应的b值,应为U图上道路消失点的位置。如图6d)所示,消失点为x0,对应的熵值如图中过点x0的竖直线与En(b)曲线相交的位置。当确定出道路消失点之后,概率分布图上,经过道路消失点的直线的概率,可以被标识出来,如图6e)中的竖直线所示,此线经过消失点x0并且垂直于x轴。图6e)是和图6b)一样的概率分布图。其中临近消失点,包含大多数直线的区域,在图6e)中用矩形框标识了出来。为便于描述,该矩形框内区域的角度分布也称为角度分布图,其包含了经过消失点的大多数直线的概率。
有关在U视差图上确定道路消失点的方法可以参考同一申请人即株式会社理光的题为“道路转弯类型检测方法和装置”的申请号为CN201210262021.1的专利申请以及如前所述的同一申请人即株式会社理光的题为“道路分割物检测方法和装置”、申请号为No.201110409269.1的在先申请中的内容,通过引用将该专利文献全文合并于本文中。
回到图4,在步骤S430中,以由第一预定极点间距和第一预定极角间距表征的第一分辨率,获取道路消失点附近的预定区域的直线的第一分辨率概率分布图。
当确定道路消失点后,可以根据消失点位置,在道路消失点附近区域,选取不同的极点间的间距步长,以及不同的极角间的间距步长,从而可以得到高低不同分辨率的概率分布图。因为该道路消失点附近区域,主要表示了道路消失点附近的各种角度的直线的概率分布,所以有时也称之为角度分布图,在本文中角度分布图指的是道路消失点附近区域的某种分辨率的概率分布图。
图7示出了通过将图6(e)中的矩形框部分(即道路消失点附近的区域)单独取出而得到的某分辨率的概率分布图或角度分布图。关于道路消失点附近区域范围的大小,可以根据需要设置、根据经验设置或者通过在线学习来确定。
在图7所示的角度分布图中,与图6(b)或6(e)的概率分布图一样,点(θ,b)处的像素值是Dis(θ,b),是0到1之间的一个概率值,度量极点位置为b,极角为θ的直线存在的概率。可以对角度分布图进行过滤,例如仅保留像素值大于预定阈值的点。由此,如果选取不同的阈值,那么图像中留下的点的个数,也会有所不同。图像中的横轴是CVP(即,候选道路消失点的横坐标),横轴上的分辨率取决于每对相邻的待选消失点间的距离,后文中把这个分辨率叫做距离分辨率,步长记作Δd,如图7中所示。图像中的纵轴是角度Angle(即θ),纵轴的分辨率取决于U图中经过相同消失点的每对相邻直线之间的角度,后文中把这个分辨率叫做角度分辨率,步长记作Δθ,如图7中所示。当生成Angle-CVP角度分布图的时候,可以选择不同的距离分辨率、角度分辨率和概率(Dis(θ,b))阈值。
图8中的c)和d)给出了两个不同分辨率的角度分布图的示例,其中用相对低的概率阈值进行了过滤处理。相对而言,图8c)是采用了低的距离分辨率和角度分辨率,得到的是低分辨率的角度分布图的例子;图8d)是采用的高的距离分辨率和角度分辨率,得到的是高分辨率的角度分布图的例子,其中,前者(图8c))的分辨率步长(距离步长/角度步长)取值大体是后者(图8d))的两倍。图8a)是它们对应的原始灰度图,图8b)是其对应的U图。如后文所述,可以借助不同分辨率的角度分布图,用于后面的白线类型判定:用低分辨率的角度分布图来对白线的粗类进行判定;用高分辨率的角度分布图来对白线的细类进行判定。图8a)定位原灰度图像中的左侧白线,分别对应着图8c)和8d)中椭圆区域所示的部分图像,如图中箭头所示。如图8c)和8d)所示,同样的白线,在图8c)中,对应着的是一个粗曲线;在图8d)中,对应的是2条细曲线(即原左侧白线的两条边)。可以利用上述信息,识别白线类型,后文将对此进行详细描述。
优选地,在进行道路上的线型指示标志的粗分类(例如,将车道白线和斑马线、道路上的箭头和道路上的白字区分开)时,选用的概率分布图的分辨率是满足如下条件的分辨率,该分辨率将灰度图上的一条白线(两条边缘)对应到概率分布图上的一个点(较粗的点,图8c)的情况)而不是两个点(较细的两个点,图8d)的情况),或者说,在局部范围看来,实际上表现为灰度图上的一条白线对应到概率分布图上的一段粗曲线而不是对应到两条细曲线。
替代地,在选用的分辨率将灰度图上的一条白线的两个边缘对应到概率分布图上的两个点(较细的两个点,图8d)的情况)的情况下,因为这样的较细小的两个点之间的距离相当近,则可以通过设定阈值,而将两个点之间距离小于阈值的两个细小点当作一个点来处理,以便进行后续的粗分类过程。
回到图4,在步骤S440中,基于物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,判定不同类型的线型指示标志。
发明人发现,在物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间存在着一定的依赖关系,在一个示例中可以根据该相互关系,来确定道路上的线型指示标志的类别。
如前所述,角度分布图上的一个点,代表着原始灰度图上的一条直线,图8中的a)、b)和f)显示了这一关系。图9中的(a)和(b)示意性地示出了角度分布图的点和原始灰度图上的直线之间的这种对应关系。点(β1,x0)和点(β2,x0)在图9b)中,用黑圆点突出标识了出来。这里,x0是道路消失点的横坐标,β1和β2是经过道路消失点的两条直线的角度。如图9a)和9b)中用带箭头的线所指示,图9a)中左边的白线对应着点(β1,x0);图9a)中右边的白线对应于点(β2,x0)。图9a)中Rwidth和关联的双端箭头线标识了两条白线在真实三维空间中的实际距离。
下面推导物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系的一种表达示例。
由图10a)所示的立体视觉原理,对于真实世界中的点P,可以得到如下关系式(2):
其中,base或base(b)表示基线距离,Z表示点P的深度,f表示相机的焦距,d表示点P的视差值,xl和xr分别是左图和右图中对应像素的水平坐标。
如图10b)所示,如果真实世界中有两个点P和Q,它们有同样的深度,那么它们之间的真实距离Rwidth(即真实宽度)与视差图像上对应像素点间的在水平方向上的像素距离(即像素宽度)Dwidth满足如下关系式(3):
如前所述,将视差图像的路面区域进行俯视投影,得到U视差图。如图11所示,在U视差图中视差为d处,两条道路白线间的像素宽度Dwidth与道路白线的倾斜角度(即白线的极角θ,白线与候选道路消失点所在的直线之间所成的角)之间满足如下关系式(4):
其中,θ1表示路边直线l1与水平线在U视差图上的夹角;θ2表示路边直线l2与水平线在U视差图上的夹角。ctg表示反正切。
将关系式(4)与关系式(3)结合,可以得到物理世界中相互平行的直线之间的实际距离Rwidth与该相互平行的直线在第一分辨率概率分布图上的对应极角间(θ1和θ2)的关系式(5)。
如前所述,基线距离base是事先已知的量,各种道路白线之间的实际距离Rwidth一般各不相同,例如可能符合有关道路法规的规定,具有预定的范围。而白线在U视差图上的角度可以在角度分布图(尤其是低分辨率的角度分布图)上在消失点附近容易地获得。由此可以利用上述公式(5)中的关系,区分各种道路上的线型指示标志,从而将行驶道路白线与其他白线类型区别开。
图12中的a)到c)示意性地示出了灰度图上的各种道路上的线型指示标志与第一分辨率的概率分布图上的对应点(或对应曲线)之间的对应关系。
在每个低分辨率的角度分布图上,白线之间的实际距离用两端带箭头的直线标识了出来,白线的边缘用加粗直线标识。白线对应的点,用圆点标识,其对应关系用带箭头的曲线指出。
如图12a)所示,其中左图示出了其上具有斑马线的灰度图,右图示出了对应的低分辨率角度图。可见,与灰度图上的多条斑马线对应,在低分辨率角度分布图上的消失点竖线上,有多个点。按照公式(5)算出的低分辨率角度分布图上的每对相邻点所对应的直线间的实际距离,小于一般车道线间的距离,并且由各对相邻点算出的距离基本相同。依据这些特征,可以判断出这种斑马线类型的白线。
如图12b)所示,其中左图示出了其上具有箭头白线和车道线白线的灰度图,右图示出了对应的低分辨率角度图。当在低分辨率角度分布图上,沿着经过消失点垂直于x轴的直线,计算每对相邻点间的实际距离时,可以先由实际距离确定车道线,再根据确定的车道线和相邻点之间的距离,确定箭头白线。可以发现,箭头白线和车道线白线间的实际距离会小于车道线间的实际距离,且落入预定范围。由此,我们就可以判断出这种箭头类型的白线。
如图12c)所示,其中左图示出了其上具有路面白字和车道线白线的灰度图,右图示出了对应的低分辨率角度图。当在低分辨率角度分布图上,沿着经过消失点垂直于x轴的直线,利用上面的公式(5)计算每对相邻点间的实际距离时,可以先由实际距离确定车道线,再根据确定的车道线和相邻点之间的距离,确定路面白字。得到的路面白字和车道线间的距离会小于车道线间的实际距离且落入预定范围。由此我们就可以判断出这种路面白字。
当斑马线、箭头线、路面白字等类型都被检测出来之后,在各种路况下的车道线就被找到了,如图12d)中所示的灰度图上的圆圈所显示的部分。
基于参考上述图12a)到12c)所示的各种物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,来区分不同类型的线型指示标志的示例方法可以如下进行:
(1)对于第一分辨率概率分布图上的极点位置位于道路消失点、且概率大于预定阈值的各条直线,确定各条直线的极角;以及
(2)基于各条直线的极角和基于物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,计算在第一分辨率概率分布图上的所述各条直线中相邻直线之间在物理世界中的实际距离;以及
(3)至少部分基于计算的各条直线中相邻直线之间在物理世界中的实际距离,判定不同类型的线型指示标志。
在另一个示例中,可以预先建立并存储表示物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系的表格,例如表格的一条数据条目中分别记录公式(5)中左侧的极角的反正切差的数据项和公式(5)右侧的距离除以基线距离的数据项,可选地还可以记录该数据条目向对应的线型指示标志。这样,可以通过计算相互平行的直线在第一分辨率概率分布图上的对应极角间的反正切差,然后查找预存的关系表格,而直接确定对应的道路上的线型指示标志,例如是斑马线、箭头线、道路上的白字还是车道白线等等。
回到图4,在步骤S440结束后,该流程可以结束。
利用上述实施例的道路上的线型指示标志的检测方法,在U视差图确定道路消失点,获得道路消失点附近的预定区域的直线的适当分辨率的概率分布图,基于物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,能够判定不同类型的线型指示标志。
<3、第三实施例:道路上的线型指示标志检测方法>
在图4所示的第二实施例的道路上的线型指示标志检测方法中,对道路上的线型指示标志进行了粗略分类,或者说将大的类别上属于不同类别的道路上的线型指示标志进行了区分,例如区分了斑马线、道路上的白色箭头、道路上的白字和车道白线。但是车道白线本身又可详细分类各种类型,例如单条白线、双条白线、三条白线,同样条数的白线之间又存在虚线和实线的区别等等。
下面参考图13描述在对道路上的线型指示标志进行粗分类的基础上进一步详细区分车道线的类型的方法示例。
图13示出了根据本发明第三实施例的道路上的线型指示标志检测方法500的总体流程图。
图13中的方法500的步骤S510-S540与图4中的方法400的步骤S410-S440基本相同,有关实现和功能可以参考图4中的相应步骤的描述,这里不再赘述。图13中的道路上的线型指示标志检测方法500与图4中的道路上的线型指示标志检测方法400的不同在于添加的步骤S550-S570,由此实现了车道线的类型的细分类,下面将详细描述步骤S550-S570。
车道白线的类型的细分类的思想在于,如前述的8d)所示,在高分辨率的概率分布图上,一条白线的车道白线、两条白线的车道白线和三条白线的车道白线对应地具有不同条数的线,由此对于先前低分辨率概率分布图上判断为车道白线的点(或线),可以根据高分辨率的概率分布图上表现出的对应线的条数,来进一步细分车道线的类型。
在一个示例中,按照组成车道线的白线的条数对车道线进行分类,由此例如分为一条白线的车道线、两条白线的车道线和三条白线的车道线等。
图14a)示出了由不同条数的白线组成的车道线的例子,其中的标号1、2、3指示含有一条白线的车道线、标号4指示含有两条白线的车道线以及标号5和6指示含有三条白线的车道线。
这样的一条白线的车道线、两条白线的车道线和三条白线的车道线在低分辨率的概率分辨图上都表现为一个粗点或一条粗线(参见图8c)),但是在高分辨率的概率分辨图上每条白线的边缘都显现成一个点或一条细线,由此不同条白线组成的车道线也就表现出不同的点的个数或细线条数,从而可以藉此进行不同类型的车道线间的区分。
具体地,例如,如图14b)中的左图所示,含有一条白线的车道线(灰度图中可以参考分别为虚线和实线),对应的高分辨率角度分布图中,是两条曲线,在经过消失点垂直于x轴的直线上,是两个点。
再例如,如图14b)中的中间图所示,含有两条白线的车道线,对应的高分辨率角度分布图中,是三条曲线,在经过消失点垂直于x轴的直线上,是三个点。该含有两条白线的车道线在对应的高分辨率角度分布图中表现为三条曲线而不是四条曲线,这是因为左边白线的右边缘和右边白线的左边缘距离很近,因此它们在角度分布图中显示成了一条曲线。
例如,如图14b)中右图所示,含有三条白线的两类车道线,对应的高分辨率角度分布图中,是四条曲线,在经过消失点垂直于x轴的直线上,是四个点。该含有三条白线的车道线在对应的高分辨率角度分布图中表现为四条曲线而不是六条曲线,原因同样是两条白线相邻的边缘间距离太近,使得在角度分布图中显示成了一条曲线。
因此,根据高分辨率图像上曲线的不同个数,就可以区别出含有不同白线条数的车道线类型,如图14b)中圆圈所示的为相同条数白线的车道线。
基于上述概念,如图13所示,在第三实施例的实现中,在步骤S550中,以由第二预定极点间距和第二预定极角间距表征的第二分辨率,获取道路消失点附近的预定区域的直线的第二分辨率概率分布图,其中第二分辨率高于第一分辨率。这里,第二分辨率应该足够高以便物理世界中的道路上的一条白线的两个边缘能够在第二分辨率的概率分布图上显现成两个点。
在步骤S560中,对于判定为车道线的线型指示标志,确定其在第二分辨率概率分布图上表现出的对应线的条数。
在步骤S570中,根据表现出的对应线的条数,进一步判定该车道线的类型。
由此可以区分开包含不同白线条数的车道线。
在一个示例中,附加地,为了进一步区分包含相同白线条数但是线的虚实不同的车道线,可以对于在第二分辨率概率分布图上表现出形同线的条数的车道线,通过该车道线在灰度图上的特征,来进一步区分该车道线的类型。
显然,虚线道路白线和实线道路白线在灰度图上将表现出不同的连续性特征,由此可以彼此区分。
在另一个实施例中,对于相同白线条数的车道线类型,可以根据其连续性不同的特征来区分虚线和实现。例如,可以计算每条线的密度列表,来表示这种连续性特征。高分辨率角度分布图上的每一点的值,都是原始灰度图上的线的累积。当计算高分辨率角度分布图时,对于要计算的点,记录在累积过程中的这点对应原灰度图的x坐标的值,就得到这点的密度列表,也就是原灰度图中直线对应的密度列表。用密度列表来判断白线的精确类型。如图15a)所示,原始白线的右边缘,对应着高分辨率角度分布图中的一个点,如带箭头的曲线所示。这点的密度列表如图15a)中右图所示。虽然这两种车道线在高分辨率角度分布图上都是一条曲线,但它们的密度列表是不同的,由此可以区分出这两种有着一条白线但是虚实不同的车道线。同理,我们可以区分出同样有着三条白线的另两种车道线,如图15b)所示。它们中间白线的边缘,对应着不同的密度列表。
利用上述第三实施例的道路上的线型指示标志的检测方法,能够利用第一分辨率(低分辨率)的概率分布图,来实现道路上的线型指示标志的粗分类,而且利用第二分辨率(高分辨率)的概率分布图,基于不同车道线在概率分布图上显现的线的条数,实现车道线的细分类。
<4、第四实施例:检测道路上的线型指示标志的计算系统>
本发明还可以通过一种用于检测道路上的线型指示标志的计算系统来实施。图16示出了适于用来实现本发明实施方式的示例性计算系统600的框图。如图16所示,计算系统600可以包括:CPU(中央处理单元)601、RAM(随机存取存储器)602、ROM(只读存储器)603、系统总线604、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608、显示控制器69、硬盘610、键盘611、串行外部设备612、并行外部设备613和显示器614。在这些设备中,与系统总线604耦合的有CPU601、RAM602、ROM603、硬盘控制器605、键盘控制器606、串行控制器607、并行控制器608和显示控制器609。硬盘610与硬盘控制器605耦合,键盘611与键盘控制器606耦合,串行外部设备612与串行接口控制器607耦合,并行外部设备613与并行接口控制器608耦合,以及显示器614与显示控制器609耦合。应当理解,图16所述的结构框图仅仅是为了示例的目的,而不是对本发明范围的限制。在某些情况下,可以根据具体情况增加或减少某些设备。
所属技术领域的技术人员知道,本发明可以实现为系统、装置、方法或计算机程序产品。因此,本发明可以具体实现为以下形式,即:可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等),还可以是硬件和软件结合的形式,本文一般称为“电路”、“模块”、“装置”或“系统”。此外,在一些实施例中,本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
上面参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,这些计算机程序指令通过计算机或其它可编程数据处理装置执行,产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中,这样,存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品(manufacture)。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
前述描述仅为说明性的,可以进行很多修改和/或替换。
例如,在前文的描述中,相机被描述为安装在车辆上,不过这仅为示例,而不是作为本发明的限制,相机可以定位于任何位置,只要能够得到灰度图和相应的视差图,都可以应用本发明来检测道路交通环境中的道路上的线型指示标志。
另外,在前文的描述中,道路上的线型指示标志被表述为白色的,这仅为描述方便而假定的,实际上对道路上的线型指示标志的颜色没有限制。而且在利用本发明区分了道路上的线型指示标志之后,可以进一步借助于灰度图或彩色图上的该线型指示标志的颜色来对其进行区分。
在前文的描述中,该检测方法被应用于区分道路上的线型指示标志,实际上,本发明的检测方法可以用于检测其它在U视差图上相交于道路消失点的直线型对象,例如,路肩石、路边栅栏等。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种道路上的线型指示标志的检测方法,包括:
获得包括路面区域的U视差图;
在U视差图上,确定道路消失点;
以由第一预定极点间距和第一预定极角间距表征的第一分辨率,获取道路消失点附近的预定区域的直线的第一分辨率概率分布图;
基于物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,判定不同类型的线型指示标志。
2.根据权利要求1的道路上的线型指示标志的检测方法,还包括:
以由第二预定极点间距和第二预定极角间距表征的第二分辨率,获取道路消失点附近的预定区域的直线的第二分辨率概率分布图,其中第二分辨率高于第一分辨率;
对于判定为车道线的线型指示标志,确定其在第二分辨率概率分布图上表现出的对应线的条数;以及
根据表现出的对应线的条数,进一步判定该车道线的类型。
3.根据权利要求1的道路上的线型指示标志的检测方法,所述在U视差图上,确定道路消失点包括:
在U视差图上,针对各个候选道路消失点,计算经过候选道路消失点的各个直线存在的概率,获得经过各个候选道路消失点的直线的概率分布图,每条直线由对应候选道路消失点作为极点和对应极角来限定,由此获得了各个候选道路消失点的直线的概率分布;
基于经过每个候选道路消失点的各个直线存在的概率,得到表征每个候选道路消失点的直线存在的概率的分布的聚合程度的聚合度,由此得到候选道路消失点的聚合度分布;以及
基于候选道路消失点的聚合度分布,确定道路消失点。
4.根据权利要求1的道路上的线型指示标志的检测方法,所述基于物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,判定不同类型的线型指示标志包括:
对于第一分辨率概率分布图上的极点位置位于道路消失点、且概率大于预定阈值的各条直线,确定各条直线的极角;以及
基于各条直线的极角和基于物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,计算在第一分辨率概率分布图上的所述各条直线中相邻直线之间在物理世界中的实际距离;以及
至少部分基于计算的各条直线中相邻直线之间在物理世界中的实际距离,判定不同类型的线型指示标志。
5.根据权利要求2的道路上的线型指示标志的检测方法,还包括:
对于在第二分辨率概率分布图上表现出形同线的条数的车道线,通过该车道线在灰度图上的特征,来进一步区分该车道线的类型。
6.根据权利要求1-5中任一项的道路上的线型指示标志的检测方法,还包括:
基于检测到的线型指示标志来给出提示信息或自动控制车辆的行驶。
7.一种道路上的线型指示标志的检测装置,包括:
U视差图获得部件,用于获得包括路面区域的U视差图;
道路消失点确定部件,用于在U视差图上,确定道路消失点;
第一分辨率概率分布图获得部件,用于以由第一预定极点间距和第一预定极角间距表征的第一分辨率,获取道路消失点附近的预定区域的直线的第一分辨率概率分布图;
不同类型线型指示标志区分部件,用于基于物理世界中相互平行的直线之间的距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,判定不同类型的线型指示标志。
8.根据权利要求7的道路上的线型指示标志的检测装置,还包括:
第二分辨率概率分布图获得部件,用于以由第二预定极点间距和第二预定极角间距表征的第二分辨率,获取道路消失点附近的预定区域的直线的第二分辨率概率分布图,其中第二分辨率高于第一分辨率;
车道线对应线条数确定部件,用于对于判定为车道线的线型指示标志,确定其在第二分辨率概率分布图上表现出的对应线的条数;以及
车道线类型判定部件,用于根据表现出的对应线的条数,进一步判定该车道线的类型。
9.根据权利要求7的道路上的线型指示标志的检测装置,所述道路消失点确定部件在U视差图上,确定道路消失点包括:
在U视差图上,针对各个候选道路消失点,计算经过候选道路消失点的各个直线存在的概率,获得经过各个候选道路消失点的直线的概率分布图,每条直线由对应候选道路消失点作为极点和对应极角来限定,由此获得了各个候选道路消失点的直线的概率分布;
基于经过每个候选道路消失点的各个直线存在的概率,得到表征每个候选道路消失点的直线存在的概率的分布的聚合程度的聚合度,由此得到候选道路消失点的聚合度分布;以及
基于候选道路消失点的聚合度分布,确定道路消失点。
10.根据权利要求7的道路上的线型指示标志的检测装置,所述不同类型线型指示标志区分部件基于物理世界中相互平行的直线之间的距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,判定不同类型的线型指示标志包括:
对于第一分辨率概率分布图上的极点位置位于道路消失点、且概率大于预定阈值的各条直线,确定各条直线的极角;
基于各条直线的极角和基于物理世界中相互平行的直线之间的实际距离与该相互平行的直线在第一分辨率概率分布图上的对应极角间的关系,计算在第一分辨率概率分布图上的所述各条直线中相邻直线之间在物理世界中的实际距离;以及
至少部分基于计算的各条直线中相邻直线之间在物理世界中的实际距离,判定不同类型的线型指示标志。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310349606.1A CN104376297B (zh) | 2013-08-12 | 2013-08-12 | 道路上的线型指示标志的检测方法和装置 |
JP2014155953A JP6384182B2 (ja) | 2013-08-12 | 2014-07-31 | 道路上の線形指示標識の検出方法及び装置 |
EP14180659.6A EP2838051A3 (en) | 2013-08-12 | 2014-08-12 | Linear road marking detection method and linear road marking detection apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310349606.1A CN104376297B (zh) | 2013-08-12 | 2013-08-12 | 道路上的线型指示标志的检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104376297A true CN104376297A (zh) | 2015-02-25 |
CN104376297B CN104376297B (zh) | 2017-06-23 |
Family
ID=51359274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310349606.1A Active CN104376297B (zh) | 2013-08-12 | 2013-08-12 | 道路上的线型指示标志的检测方法和装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2838051A3 (zh) |
JP (1) | JP6384182B2 (zh) |
CN (1) | CN104376297B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107305688A (zh) * | 2016-04-15 | 2017-10-31 | 株式会社理光 | 检测道路消失点的方法、装置和系统 |
CN107909017A (zh) * | 2017-11-06 | 2018-04-13 | 余帝乾 | 一种复杂背景下车牌识别的方法、装置以及系统 |
CN107918763A (zh) * | 2017-11-03 | 2018-04-17 | 深圳星行科技有限公司 | 车道线检测方法和系统 |
CN108229406A (zh) * | 2018-01-11 | 2018-06-29 | 海信集团有限公司 | 一种车道线检测方法、装置及终端 |
CN109117825A (zh) * | 2018-09-04 | 2019-01-01 | 百度在线网络技术(北京)有限公司 | 车道线处理方法和装置 |
CN110402310A (zh) * | 2017-03-15 | 2019-11-01 | 3M创新有限公司 | 用于车道识别的道路标记系统 |
CN110741379A (zh) * | 2017-06-06 | 2020-01-31 | 标致雪铁龙汽车股份有限公司 | 用于确定车辆行驶所在的道路的类型的方法 |
CN110843862A (zh) * | 2019-10-09 | 2020-02-28 | 南京铁道职业技术学院 | 一种错办接发列车进路预警方法 |
CN111091038A (zh) * | 2018-10-23 | 2020-05-01 | 三星电子株式会社 | 训练方法、计算机可读介质和检测消失点的方法及装置 |
CN111284487A (zh) * | 2018-12-07 | 2020-06-16 | 星克跃尔株式会社 | 车道线显示方法以及执行该方法的电子设备 |
US10984588B2 (en) | 2018-09-07 | 2021-04-20 | Baidu Online Network Technology (Beijing) Co., Ltd | Obstacle distribution simulation method and device based on multiple models, and storage medium |
US11047673B2 (en) | 2018-09-11 | 2021-06-29 | Baidu Online Network Technology (Beijing) Co., Ltd | Method, device, apparatus and storage medium for detecting a height of an obstacle |
US11126875B2 (en) | 2018-09-13 | 2021-09-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium |
US11205289B2 (en) | 2018-09-07 | 2021-12-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device and terminal for data augmentation |
US11307302B2 (en) | 2018-09-07 | 2022-04-19 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and device for estimating an absolute velocity of an obstacle, and non-volatile computer-readable storage medium |
US11718318B2 (en) | 2019-02-22 | 2023-08-08 | Apollo Intelligent Driving (Beijing) Technology Co., Ltd. | Method and apparatus for planning speed of autonomous vehicle, and storage medium |
US11780463B2 (en) | 2019-02-19 | 2023-10-10 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and server for real-time learning of travelling strategy of driverless vehicle |
TWI846256B (zh) * | 2022-12-30 | 2024-06-21 | 薩摩亞商動見科技股份有限公司 | 取像裝置安裝角度檢測系統及其使用方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106339659A (zh) * | 2015-07-10 | 2017-01-18 | 株式会社理光 | 检测道路分割物的方法和装置 |
CN106228110B (zh) * | 2016-07-07 | 2019-09-20 | 浙江零跑科技有限公司 | 一种基于车载双目相机的障碍物及可行驶区域检测方法 |
CN106355159A (zh) * | 2016-09-07 | 2017-01-25 | 遵义师范学院 | 一种基于垂直投影积分的斑马线快速检测方法 |
CN106529493B (zh) * | 2016-11-22 | 2019-12-20 | 北京联合大学 | 一种基于透视图的鲁棒性多车道线检测方法 |
CN106803073B (zh) * | 2017-01-10 | 2020-05-05 | 江苏信息职业技术学院 | 基于立体视觉目标的辅助驾驶系统及方法 |
US9988048B1 (en) * | 2017-03-03 | 2018-06-05 | GM Global Technology Operations LLC | Lane detection systems and methods |
CN107729814B (zh) * | 2017-09-19 | 2020-06-23 | 浙江大华技术股份有限公司 | 一种检测车道线的方法及装置 |
CN107918775B (zh) * | 2017-12-28 | 2020-04-17 | 聊城大学 | 一种辅助车辆安全驾驶的斑马线检测方法及系统 |
CN108399360B (zh) * | 2018-01-22 | 2021-12-24 | 海信集团有限公司 | 一种连续型障碍物检测方法、装置及终端 |
JP7032280B2 (ja) | 2018-10-11 | 2022-03-08 | トヨタ自動車株式会社 | 横断歩道標示推定装置 |
CN109949389A (zh) * | 2019-03-27 | 2019-06-28 | 百度在线网络技术(北京)有限公司 | 一种路口绘制方法、装置、服务器和存储介质 |
CN112131914B (zh) * | 2019-06-25 | 2022-10-21 | 北京市商汤科技开发有限公司 | 车道线属性检测方法、装置、电子设备及智能设备 |
JP7206172B2 (ja) * | 2019-09-19 | 2023-01-17 | 京セラ株式会社 | 物体検出装置、物体検出システム、移動体及び物体検出方法 |
JP2022037779A (ja) * | 2020-08-25 | 2022-03-09 | トヨタ自動車株式会社 | 路上障害物検出装置、路上障害物検出方法およびプログラム |
WO2022082571A1 (zh) * | 2020-10-22 | 2022-04-28 | 华为技术有限公司 | 一种车道线检测方法和装置 |
EP4224361A4 (en) * | 2020-10-22 | 2023-08-16 | Huawei Technologies Co., Ltd. | LANE LINE DETECTION METHOD AND DEVICE |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030103650A1 (en) * | 2001-11-30 | 2003-06-05 | Hitachi, Ltd. | Lane marker recognition method |
US20040125207A1 (en) * | 2002-08-01 | 2004-07-01 | Anurag Mittal | Robust stereo-driven video-based surveillance |
CN103164851A (zh) * | 2011-12-09 | 2013-06-19 | 株式会社理光 | 道路分割物检测方法和装置 |
CN103177236A (zh) * | 2011-12-22 | 2013-06-26 | 株式会社理光 | 道路区域检测方法和装置、分道线检测方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5204144B2 (ja) * | 2010-03-16 | 2013-06-05 | 株式会社日本自動車部品総合研究所 | 車載白線認識装置 |
-
2013
- 2013-08-12 CN CN201310349606.1A patent/CN104376297B/zh active Active
-
2014
- 2014-07-31 JP JP2014155953A patent/JP6384182B2/ja active Active
- 2014-08-12 EP EP14180659.6A patent/EP2838051A3/en not_active Ceased
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030103650A1 (en) * | 2001-11-30 | 2003-06-05 | Hitachi, Ltd. | Lane marker recognition method |
US20040125207A1 (en) * | 2002-08-01 | 2004-07-01 | Anurag Mittal | Robust stereo-driven video-based surveillance |
CN103164851A (zh) * | 2011-12-09 | 2013-06-19 | 株式会社理光 | 道路分割物检测方法和装置 |
CN103177236A (zh) * | 2011-12-22 | 2013-06-26 | 株式会社理光 | 道路区域检测方法和装置、分道线检测方法和装置 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107305688A (zh) * | 2016-04-15 | 2017-10-31 | 株式会社理光 | 检测道路消失点的方法、装置和系统 |
CN107305688B (zh) * | 2016-04-15 | 2020-10-27 | 株式会社理光 | 检测道路消失点的方法、装置和系统 |
CN110402310A (zh) * | 2017-03-15 | 2019-11-01 | 3M创新有限公司 | 用于车道识别的道路标记系统 |
CN110741379A (zh) * | 2017-06-06 | 2020-01-31 | 标致雪铁龙汽车股份有限公司 | 用于确定车辆行驶所在的道路的类型的方法 |
CN107918763A (zh) * | 2017-11-03 | 2018-04-17 | 深圳星行科技有限公司 | 车道线检测方法和系统 |
CN107909017A (zh) * | 2017-11-06 | 2018-04-13 | 余帝乾 | 一种复杂背景下车牌识别的方法、装置以及系统 |
CN108229406A (zh) * | 2018-01-11 | 2018-06-29 | 海信集团有限公司 | 一种车道线检测方法、装置及终端 |
CN109117825A (zh) * | 2018-09-04 | 2019-01-01 | 百度在线网络技术(北京)有限公司 | 车道线处理方法和装置 |
US11113546B2 (en) | 2018-09-04 | 2021-09-07 | Baidu Online Network Technology (Beijing) Co., Ltd. | Lane line processing method and device |
US11205289B2 (en) | 2018-09-07 | 2021-12-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device and terminal for data augmentation |
US10984588B2 (en) | 2018-09-07 | 2021-04-20 | Baidu Online Network Technology (Beijing) Co., Ltd | Obstacle distribution simulation method and device based on multiple models, and storage medium |
US11307302B2 (en) | 2018-09-07 | 2022-04-19 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and device for estimating an absolute velocity of an obstacle, and non-volatile computer-readable storage medium |
US11047673B2 (en) | 2018-09-11 | 2021-06-29 | Baidu Online Network Technology (Beijing) Co., Ltd | Method, device, apparatus and storage medium for detecting a height of an obstacle |
US11519715B2 (en) | 2018-09-11 | 2022-12-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, device, apparatus and storage medium for detecting a height of an obstacle |
US11126875B2 (en) | 2018-09-13 | 2021-09-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium |
CN111091038A (zh) * | 2018-10-23 | 2020-05-01 | 三星电子株式会社 | 训练方法、计算机可读介质和检测消失点的方法及装置 |
CN111284487A (zh) * | 2018-12-07 | 2020-06-16 | 星克跃尔株式会社 | 车道线显示方法以及执行该方法的电子设备 |
CN111284487B (zh) * | 2018-12-07 | 2024-01-23 | 星克跃尔株式会社 | 车道线显示方法以及执行该方法的电子设备 |
US11780463B2 (en) | 2019-02-19 | 2023-10-10 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and server for real-time learning of travelling strategy of driverless vehicle |
US11718318B2 (en) | 2019-02-22 | 2023-08-08 | Apollo Intelligent Driving (Beijing) Technology Co., Ltd. | Method and apparatus for planning speed of autonomous vehicle, and storage medium |
CN110843862A (zh) * | 2019-10-09 | 2020-02-28 | 南京铁道职业技术学院 | 一种错办接发列车进路预警方法 |
TWI846256B (zh) * | 2022-12-30 | 2024-06-21 | 薩摩亞商動見科技股份有限公司 | 取像裝置安裝角度檢測系統及其使用方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2015036984A (ja) | 2015-02-23 |
EP2838051A2 (en) | 2015-02-18 |
JP6384182B2 (ja) | 2018-09-05 |
CN104376297B (zh) | 2017-06-23 |
EP2838051A3 (en) | 2015-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104376297A (zh) | 道路上的线型指示标志的检测方法和装置 | |
JP7040374B2 (ja) | 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム | |
US8791996B2 (en) | Image processing system and position measurement system | |
US8369577B2 (en) | Vehicle position recognition system | |
JP6519262B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
US8452103B2 (en) | Scene matching reference data generation system and position measurement system | |
US8428362B2 (en) | Scene matching reference data generation system and position measurement system | |
JP6657789B2 (ja) | 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム | |
CN109791598A (zh) | 用于识别地面标记的图像处理方法以及地面标记检测系统 | |
Chong et al. | Integrated real-time vision-based preceding vehicle detection in urban roads | |
TWI493513B (zh) | 車道偏離警示系統與車道辨識裝置以及相關方法 | |
CN103770704A (zh) | 用于识别车辆的停车位标志线的系统和方法 | |
JP2013123221A (ja) | 道路分割体検知方法及び装置 | |
JP4940177B2 (ja) | 交通流計測装置 | |
WO2017145605A1 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
CN113421432A (zh) | 交通限行信息检测方法、装置、电子设备和存储介质 | |
CN109791607B (zh) | 借助单应矩阵从摄像机的一系列图像中探测和验证对象 | |
CN110491127A (zh) | 一种通行引导方法、装置以及可读存储介质 | |
Kühnl et al. | Visual ego-vehicle lane assignment using spatial ray features | |
TWI549102B (zh) | 車道偏離警示系統與車道辨識裝置以及相關方法 | |
CN110660211A (zh) | 使用占用行为异常检测器的停车区域地图改善 | |
CN107886729A (zh) | 车辆识别方法、装置及车辆 | |
KR101706455B1 (ko) | 도로표지판 검출 기반 주행 차로 추정 방법 및 장치 | |
CN104252707A (zh) | 对象检测方法和装置 | |
CN103935293A (zh) | 车道偏离警示系统与车道辨识装置以及相关方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |