[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110770741B - 一种车道线识别方法和装置、车辆 - Google Patents

一种车道线识别方法和装置、车辆 Download PDF

Info

Publication number
CN110770741B
CN110770741B CN201880039256.XA CN201880039256A CN110770741B CN 110770741 B CN110770741 B CN 110770741B CN 201880039256 A CN201880039256 A CN 201880039256A CN 110770741 B CN110770741 B CN 110770741B
Authority
CN
China
Prior art keywords
line segment
line
segments
segment
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880039256.XA
Other languages
English (en)
Other versions
CN110770741A (zh
Inventor
崔健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuoyu Technology Co ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110770741A publication Critical patent/CN110770741A/zh
Application granted granted Critical
Publication of CN110770741B publication Critical patent/CN110770741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种车道线识别方法和装置、车辆。所述车道线识别方法包括:识别道路图像中所有线段;针对每一线段,从其他线段中确定出该线段的关联线段,并计算该线段的关联线段对该线段的贡献度,所述贡献度用于表征关联线段对该线段作为车道线的影响程度大小;根据每一线段的长度及该线段的关联线段对该线段的贡献度,计算该线段的分值,所述分值用于表征该线段为车道线的可能性大小;将分值最高的线段及该分值最高的线段的关联线段确定为车道线。本发明综合考虑了道路图像中每一线段的长度及该线段的关联线段对该线段贡献度判断该线段作为车道线的可能性大小,通过组合优化,让检测出来的车道线结果尽可能符合实际道路线,从而提高车道线检测的鲁棒性。

Description

一种车道线识别方法和装置、车辆
技术领域
本发明涉及图像处理技术领域,尤其涉及一种车道线识别方法和装置、车辆。
背景技术
相关技术中,通过特征提取、直线或曲线检测方法检测道路图像中的车道线。然而,在实际场景中,很多非车道线的东西也呈类似线的形状,通过上述算法会将道路图像中很多非车道线的东西,如道路两侧的护栏、路面标志物上的线状标志物(如箭头文字等)、路面上的车辆或行人边缘等,识别成类似线的形状,而将这些非车道线的东西识别成车道线,可见,基于上述算法识别到的车道线错误率较高。
发明内容
本发明提供一种车道线识别方法和装置、车辆。
具体地,本发明是通过如下技术方案实现的:
根据本发明的第一方面,提供一种车道线识别方法,所述方法包括:
识别道路图像中所有线段;
针对每一线段,从其他线段中确定出该线段的关联线段,并计算该线段的关联线段对该线段的贡献度,所述贡献度用于表征关联线段对该线段作为车道线的影响程度大小;
根据每一线段的长度及该线段的关联线段对该线段的贡献度,计算该线段的分值,所述分值用于表征该线段为车道线的可能性大小;
将分值最高的线段及该分值最高的线段的关联线段确定为车道线。
根据本发明的第二方面,提供一种车道线识别装置,包括:
存储装置,用于存储程序指令;
处理器,调用所述存储装置中存储的程序指令,当所述程序指令被执行时,用于:
识别道路图像中所有线段;
针对每一线段,从其他线段中确定出该线段的关联线段,并计算该线段的关联线段对该线段的贡献度,所述贡献度用于表征关联线段对该线段作为车道线的影响程度大小;
根据每一线段的长度及该线段的关联线段对该线段的贡献度,计算该线段的分值,所述分值用于表征该线段为车道线的可能性大小;
将分值最高的线段及该分值最高的线段的关联线段确定为车道线。
根据本发明的第三方面,提供一种车辆,包括:
车身;
固定在车身上的拍摄装置;以及
处理器,所述处理器与所述拍摄装置电连接;
所述拍摄装置用于拍摄车辆前方的道路图像并发送至所述处理器,所述处理器用于:
识别道路图像中所有线段
针对每一线段,从其他线段中确定出该线段的关联线段,并计算该线段的关联线段对该线段的贡献度,所述贡献度用于表征关联线段对该线段作为车道线的影响程度大小;
根据每一线段的长度及该线段的关联线段对该线段的贡献度,计算该线段的分值,所述分值用于表征该线段为车道线的可能性大小;
将分值最高的线段及该分值最高的线段的关联线段确定为车道线。
根据本发明的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如下步骤:
识别道路图像中所有线段;
针对每一线段,从其他线段中确定出该线段的关联线段,并计算该线段的关联线段对该线段的贡献度,所述贡献度用于表征关联线段对该线段作为车道线的影响程度大小;
根据每一线段的长度及该线段的关联线段对该线段的贡献度,计算该线段的分值,所述分值用于表征该线段为车道线的可能性大小;
将分值最高的线段及该分值最高的线段的关联线段确定为车道线。
由以上本发明实施例提供的技术方案可见,本发明实施例综合考虑了道路图像中每一线段的长度及该线段的关联线段对该线段贡献度判断该线段作为车道线的可能性大小,通过组合优化,让检测出来的车道线结果尽可能符合实际道路线,从而提高车道线检测的鲁棒性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中的一种车道线识别方法的方法流程图;
图2是本发明一实施例中的图1所示的车道线识别方法的一种具体实现方式流程图;
图3是本发明一实施例中的图1所示的车道线识别方法的另一种具体实现方式流程图;
图4是本发明一实施例中的图3所示的车道线识别方法的一种具体实现方式流程图;
图5是本发明一实施例中的一种车道线识别装置的结构框图;
图6是本发明一实施例中的一种车辆的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图,对本发明的车道线识别方法和装置、车辆进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种车道线识别方法的方法流程图。参见图1,所述车道线识别方法可以包括如下步骤:
步骤S101:识别道路图像中所有线段;
在实际中,车道线可包括直线和曲线,故而道路图像中的直线段和曲线段都会被当作疑似车道线。本实施例通过执行步骤S101,可识别出道路图像中所有直线段和/或曲线段,即本实施例的线段可包括直线段和/或曲线段。
具体可选择不同的方式识别道路图像中所有线段,在本实施例中,先分割出道路图像中所有的线段区域,再基于线段检测算法识别所有线段。其中,对道路图像中所有的线段区域进行分割的方式可根据需要选择,例如,在其中一些例子中,基于CNN(Convolutional Neural Network,卷积神经网络)分割出道路图像中所有的线段区域。可选的,基于CNN语义分割出道路图像中所有的线段区域。可选的,利用深度学习算法对大量的道路图像样本进行训练,获得车道线模型,将当前道路图像输入该车道线模型,获得当前道路图像中的所有的线段区域(包括直线段区域和/或曲线段区域)。
在另一些例子中,基于边缘检测算法分割出道路图像中所有的线段区域。具体的,基于边缘检测算法检测道路图像中所有线段的边缘,从而分割出道路图像中所有的线段区域。
本实施例的线段检测算法可以为霍夫变换算法(hough transform),也可以为其他线段检测算法,具体可根据需要选择线段检测算法的类型。在本实施例中,基于线段检测算法能够识别出道路图像中所有线段的一些参数信息,例如,所有线段的长度、所有线段之间的位置关系(如所有线段之间的夹角和/或所有线段之间的间距)。
本实施例的车道线识别方法可应用在车辆上,特别是无人驾驶车辆,道路图像可由车辆上的拍摄装置拍摄到的车辆前方的道路图像,该道路图像一般为前视图。在前视图中,路面标志物箭头、车道线等车道标志物可能会存在扭曲,扭曲的形状与车辆的位置相关,并且前视图中离车辆越远的线段越难被识别,前视图中同种车道标志物一致性较差,难以识别准确。为提高车道线识别的准确性,本实施例在识别道路图像中所有线段之前,对道路图像进行图像矫正。图像矫正的方式可根据需要选择,在一实施例中,基于反透视变换,将道路图像投影至对应的俯视图。本实施例通过将道路图像投影到俯视图,使得车道线和箭头等路面标志物都会被还原成真实尺度和性质,俯视图中的路面标志物更容易被识别;并且,俯视图中路面上的像素点的位置直接对应真实位置,可根据俯视图直接得到某一像素点和车辆的位置关系,从而可以满足基本ADAS功能和自动驾驶功能的需求。
具体的,基于反透视变换,将道路图像投影至对应的俯视图可包括如下步骤:
(1)标定拍摄装置的内参及该拍摄装置对地外参;
其中,拍摄装置的内参fx、fy表征拍摄装置的焦距,cx、cy表征拍摄装置的镜头光轴穿过成像传感器的位置。拍摄装置的内参的标定可使用现有的标定算法,此处不再详述。
拍摄装置对地外参包括旋转矩阵R和平移向量T,分别为拍摄装置相对物体平面的旋转和平移,在本实施例中,该物体平面是车道线所在平面。其中,T可以通过拍摄装置对地高度进行换算。R的标定通过间接标定拍摄装置对地(拍摄装置拍摄到当前道路图像时的地面)俯仰角pitch、拍摄装置对地横滚角roll及拍摄装置对车辆正前方的偏航角yaw来实现,pitch、roll、yaw分别是拍摄装置对自身坐标轴x、y、z的旋转角度,分别为θ、φ,根据3个角度可以计算出三个轴分别对应的旋转矩阵/>Ry(θ)、Rz(φ),然后再根据三个轴分别对应的旋转矩阵计算R。
本实施例中,
(2)计算道路图像中的像素点映射到俯视图的投影矩阵H;
将物体平面坐标系的点映射到图像坐标系上可以表示为:
其中,u、v是道路图像坐标系的像素点;
s为归一化系数;
M为拍摄装置内参;
[r1 r2 r3 t]是拍摄装置对物体平面的外参,即位置关系;
r1、r2、r3为3乘1的列向量,r1、r2、r3构成旋转矩阵R;
t是3乘1的列向量,表示拍摄装置到物体平面的平移;
X、Y表示物体平面上的坐标。
假设物体在一个平面,Z是零,公式(1)可以表示为:
H=sM[r1 r2 t] (3);
(3)根据投影矩阵H,将道路图像投影到俯视图。
将公式(3)代入公式(2),可获得:
如果将X、Y物体平面坐标作为地面坐标,那么,公式(4)就变成地面到道路图像之间映射关系两边乘以H的逆矩阵:
将道路图像上各像素点坐标带入公式(5),即可获得各像素点在俯视图中的坐标。
利用上述反透视变换算法将物体平面的点投影到俯视图只能较为精确地处理在物体平面上的点,非物体平面上的点投影会存在误差,比如护栏上的栏杆在真实俯视视角上离路边的车道线很近,但由于利用上述反透视变换算法投影护栏上的点是不准确的,所以护栏上的点投影到俯视图会和路边上的车道线有一定距离,导致将护栏误检成车道线。本实施例先利用上述反透视变换算法将道路图像投影至俯视图,再对俯视图进行车道线检测,后续利用先验条件的车道线检测方法更容易区分俯视图中的真实车道线和误检的车道线。
本实施例中,识别俯视图中的所有线段,具体的,先分割出俯视图中所有的线段区域,再基于线段检测算法识别所有线段。
步骤S102:针对每一线段,从其他线段中确定出该线段的关联线段,并计算该线段的关联线段对该线段的贡献度,贡献度用于表征关联线段对该线段作为车道线的影响程度大小;
具体的,参见图2,根据该线段与其他线段之间的位置关系和预设的车道线先验条件,从其他线段中确定出该线段的关联线段。可选的,该线段与其他线段之间的位置关系包括该线段与其他线段之间的夹角,或/和该线段与其他线段之间的间距,当然,该线段与其他线段之间的位置关系还可根据真实车道线之间的其他位置关系设定。在一实施例中,该线段与其他线段之间的位置关系包括该线段与其他线段之间的夹角。在另一实施例中,该线段与其他线段之间的位置关系包括该线段与其他线段之间的间距。在又一实施例中,该线段与其他线段之间的位置关系包括该线段与其他线段之间的夹角,及该线段与其他线段之间的间距。
本实施例以该线段与其他线段之间的位置关系包括该线段与其他线段之间的夹角,及该线段与其他线段之间的间距为例进一步说明。
实际道路上的车道线之间尽可能平行,且相邻车道线之间的间距大约位于2.5米至4.2米的范围。然而,由于拍摄角度以及其他一些因素的影响,道路图像中的车道线之间通常会存在一个较小夹角,道路图像中两条线段之间的夹角越小,表明这两条线段在实际道路上越趋向于平行位置关系,这两条线段为车道线的可能性越大,本实施例的预设的车道线先验条件包括车道线之间的夹角位于预设夹角范围内,其中,可根据车道线之间尽可能平行这一条件来设定预设夹角范围大小。
进一步的,预设的车道线先验条件还包括车道线之间的间距为预设间距的整数倍。通常预设间距为相邻车道线之间的间距等比缩小的一个数值或者数值范围,在预设间距确定后,道路图像中两条线段之间的间距与预设间距的比值为整数或越接近整数,则表明这两条线段为车道线的可能性越大。本实施例中,可根据相邻车道线之间的间距大约位于2.5米至4.2米的范围这一条件来设定预设间距的大小。
通过预设的车道线先验条件,对识别出的线段进行初步筛选,滤除一些明显不是车道线的线段,比如,一些箭头或车边缘或护栏和正常车道线间距不符合真实间距的线段、与正常车道线不平行的线段等。
在该步骤中,若当前线段为直线段,确定出的当前线段的关联线段则为直线段。若当前线段为曲线段,确定出的当前线段的关联线段则为曲线段。
在处理时,针对直线段,可直接根据该直线段与其直他线段之间的位置关系和预设的车道线先验条件,从其他直线段中确定出该直线段的关联直线段。而针对曲线段,通常会将曲线段分割成多段处理,每段曲线段近似于一个直线段,再确定每段曲线段的关联曲线段,确定过程近似于直线段,此处不再赘述。对直线段进行处理时,也可以将直线段分割成多段处理。
参见图3,在确定出每一线段的关联线段后,针对每一线段,根据该线段与该线段的关联线段之间的位置关系、该线段的关联线段的长度及该线段的长度,计算该线段的关联线段对该线段的贡献度。其中,该线段与该线段的关联线段之间的位置关系包括该线段与该线段的关联线段之间的夹角,及该线段与该关联线段之间的间距。
针对每一线段,根据该线段与该线段的关联线段之间的位置关系、该线段的关联线段的长度及该线段的长度,计算该线段的关联线段对该线段的贡献度的具体步骤可参见图4:
步骤S401:针对每一线段的每一关联线段,根据该关联线段的长度及该线段的其他关联线段对该关联线段的贡献度,计算该关联线段的分值;
步骤S402:针对每一线段,根据每一关联线段的分值、每一关联线段与该线段的夹角、每一关联线段与该线段的间距与预设间距的比值及该线段的长度,计算每一关联线段对该线段的贡献度。
在一可行的实现方式中,在执行步骤S401时,先根据该线段与该线段的关联线段之间的位置关系,确定位于该线段左侧的左关联线段和位于该线段右侧的右关联线段;接着,针对每一线段的每一左关联线段,根据该左关联线段的长度及该左关联线段的其他左关联线段对该左关联线段的贡献度,计算该左关联线段的分值,并针对每一线段的每一右关联线段,根据该右关联线段的长度及该右关联线段的其他右关联线段对该右关联线段的贡献度,计算该右关联线段的分值。其中,计算该左关联线段的分值和计算该右关联线段的分值可同时执行,也可以按照先后顺序执行。
需要说明的是,本发明实施例中,左关联线段的其他左关联线段是指位于该左关联线段左侧的关联线段,右关联线段的其他右关联线段是指位于该右关联线段右侧的关联线段。例如,针对道路图像中识别出的关联线段:线段1、线段2、线段3、线段4和线段5,其中,线段1、线段2、线段3、线段4和线段5从左至右依次排列,以线段3为例,线段3的左关联线段包括线段1和线段2,右关联线段包括线段4和线段5,线段1无左关联线段,线段2的左关联线段包括线段1,线段4的右关联线段包括线段5,线段5无右关联线段。在执行步骤S402时,针对每一线段,根据每一左关联线段的分值、每一左关联线段与该线段的夹角、每一左关联线段与该线段的间距与预设间距的比值及该线段的长度,计算每一左关联线段对该线段的左贡献度;针对每一线段,根据每一右关联线段的分值、每一右关联线段与该线段的夹角、每一右关联线段与该线段的间距与预设间距的比值及该线段的长度,计算每一右关联线段对该线段的右贡献度。
具体的,针对第i条线段,第j条左关联线段对该第i条线段的左贡献度的计算公式如下:
针对第i条线段,第j条左关联线段对该第i条线段的右贡献度的计算公式如下:
其中,i、j为正整数,i∈(1,n),j∈(1,n),n为线段条数;
Li为第i条线段的长度;
k1为第一预设系数,且k1>0;本实施例中,k1的大小可根据需要设定,k1设置的越大,贡献度受α影响扩大;
α为第i条线段和第j条左线段或第j条右线段之间的夹角;
δ为第i条线段和第j条左线段或第j条右线段之间的间距与预设间距的比值;
k2为第二预设系数,且0<k2<1;本实施例中,k2的大小可根据需要设定,k2设置的越小,贡献度受δ的影响扩大;
为第j条左关联线段的分值;
为第j条右关联线段的分值。
需要说明的是,当第j条左关联线段的左侧不存在关联线段时,当第j条右线段的右侧不存在关联线段时,/>
可以理解的是,计算方式并不限于本实施例列出的公式(6)的计算公式,的计算方式也不限于本实施例列出的公式(7)的计算公式。
步骤S103:根据每一线段的长度及该线段的关联线段对该线段的贡献度,计算该线段的分值,该分值用于表征该线段为车道线的可能性大小;
本实施例中,第i条线段的分值为Si,Si的计算公式如下:
Si=Li+CSi,N (8);
公式(8)中,Li为第i条线段的长度;
CSi,N为该第i条线段的第N条关联线段对该第i条线段的贡献度。
可以理解的是,第i条线段的分值为Si的计算方式并不限于上述公式(8)。
为了简化计算过程,在执行步骤S103时,具体针对每一线段,根据该线段的长度、该线段的左关联线段对该线段的左贡献度中的最大值及该线段的右关联线段对该线段的右贡献度中的最大值/>计算该线段的分值,其中最大值/>和最大值/>也可以通过不同的加权系数处理后用于计算该线段的分值,具体加权系数由具体应用场景而定,在本方案中,二者的加权系数都为1,表征二者对该线段的贡献度相当。可选的,每一线段的分值为该线段的长度、该线段的左关联线段对该线段的左贡献度中的最大值/>及该线段的右关联线段对该线段的右贡献度中的最大值之和。
上述公式(8)简化为:
其中,的计算方式可参见上述步骤S102,此处不再赘述。
通过公式(9)即可计算出第i条线段的分值。
例如,针对道路图像识别出的线段3,确定出线段3的关联线段为线段1、线段2、线段4和线段5,其中,线段1和线段2位于线段3的左侧,线段4和线段5位于线段3的左侧,在计算线段3的分值时,需要分别计算线段1和线段2对线段3以及线段4和线段5对线段3的贡献度。
在计算线段1对线段3的贡献度时,由于线段1的左侧不存在关联线段,故只需根据线段1的长度,确定线段1的分值;再根据线段1的分值、线段1和线段3之间的位置关系(线段1和线段3之间的夹角、线段1和线段3的间距与预设间距的比值)和线段3的长度,确定线段1对线段3的贡献度。
在计算线段2对线段3的贡献度时,首先根据线段2的长度以及线段1对线段2的贡献度,确定线段2的分值;再根据线段2的分值、线段2和线段3之间的位置关系(线段2和线段3之间的夹角、线段2和线段3的间距与预设间距的比值)和线段3的长度,确定线段1对线段3的贡献度。
在计算线段4对线段3的贡献度时,首先根据线段4的长度以及线段5对线段4的贡献度,确定线段4的分值;再根据线段4的分值、线段4和线段3之间的位置关系(线段4和线段3之间的夹角、线段4和线段3的间距与预设间距的比值)和线段4的长度,确定线段4对线段3的贡献度。
在计算线段5对线段3的贡献度时,由于线段5的右侧不存在关联线段,故只需根据线段5的长度,确定线段5的分值;再根据线段5的分值、线段5和线段3之间的位置关系(线段5和线段3之间的夹角、线段5和线段3的间距与预设间距的比值)和线段5的长度,确定线段5对线段3的贡献度。
在计算出线段1、线段2、线段4以及线段5对线段3的贡献度后,根据线段3的长度、线段1对线段3的贡献度及线段2对线段3的贡献度中的最大值、及线段4对线段3的贡献度及线段5对线段3的贡献度中的最大值,计算线段3的分值。
步骤S104:将分值最高的线段及该分值最高的线段的关联线段确定为车道线。
执行完步骤S103后,可获得道路图像中所有线段的分值,接着,确定所有线段中分值最高的线段:
通过公式(10)确定出的分值最高的线段及该分值最高的线段的关联线段即为车道线。
本发明实施例的车道线识别方法,综合考虑了道路图像中每一线段的长度及该线段的关联线段对该线段贡献度判断该线段作为车道线的可能性大小,通过组合优化,让检测出来的车道线结果尽可能符合实际道路线,从而提高车道线检测的鲁棒性。
基于线段的长度、线段之间的夹角以及线段之间的间距与预设间距的比值,能够将一些被错误检测成车道线的线段滤除,如箭头、人行道、路面文字、护栏、车辆边缘等等,并选择出一组最优组合作为车道线,降低了车道线误检率。
实施例二
图5是本发明实施例二提供的一种车道线检测装置的结构框图。参见图5,该车道线检测装置包括:存储装置110以及第一处理器120。
其中,存储装置110,用于存储程序指令。第一处理器120,调用存储装置110中存储的程序指令,当程序指令被执行时,用于识别道路图像中所有线段;并针对每一线段,从其他线段中确定出该线段的关联线段,并计算该线段的关联线段对该线段的贡献度,贡献度用于表征关联线段对该线段作为车道线的影响程度大小;根据每一线段的长度及该线段的关联线段对该线段的贡献度,计算该线段的分值,分值用于表征该线段为车道线的可能性大小;将分值最高的线段及该分值最高的线段的关联线段确定为车道线。
第一处理器120可以实现如本发明图1至图4实施例中所示的相应方法,具体可参见上述实施例一的车道线识别方法对本实施例的车道线识别装置进行说明,此处不再赘述。
在本实施例中,所述存储装置110可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储装置110也可以包括非易失性存储器(non-volatile memory),例如快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储装置110还可以包括上述种类的存储器的组合。
所述第一处理器120可以是中央处理器(central processing unit,CPU)。所述处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logicdevice,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。
实施例三
图6是本发明实施例三提供的一种车辆的结构框图。参见图6,该车辆可包括车身(未显示)、固定在车身上的拍摄装置210及第二处理器220,其中,拍摄装置210与第二处理器220电连接。
本实施例的拍摄装置210用于拍摄车辆前方的道路图像,并发送至第二处理器220。第二处理器220用于识别道路图像中所有线段;并针对每一线段,从其他线段中确定出该线段的关联线段,并计算该线段的关联线段对该线段的贡献度,贡献度用于表征关联线段对该线段作为车道线的影响程度大小;根据每一线段的长度及该线段的关联线段对该线段的贡献度,计算该线段的分值,分值用于表征该线段为车道线的可能性大小;将分值最高的线段及该分值最高的线段的关联线段确定为车道线。
第二处理器220可以实现如本发明图1至图4实施例中所示的相应方法,具体可参见上述实施例一的车道线识别方法对本实施例的车道线识别装置进行说明,此处不再赘述。
本实施例的第二处理器220可以为车辆主控器,也可以为设于车辆上的其他控制器。以第二处理器220为主控器为例进一步说明,本实施例的第二处理器220采用上述方式确定出车道线后,可根据确定出的车道线控制车辆运行,满足基本ADAS功能和自动驾驶功能的需求。
拍摄装置210可以为相机,也可以为图像传感器,具体可根据需要选择拍摄装置210的类型。
实施例四
此外,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例的车道线识别方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明部分实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (46)

1.一种车道线识别方法,其特征在于,所述方法包括:
识别道路图像中所有线段;
针对每一线段,从其他线段中确定出该线段的关联线段,该线段的关联线段包括位于该线段左侧的至少一条左关联线段和位于该线段右侧的至少一条右关联线段;并计算该线段的关联线段对该线段的贡献度,该线段的关联线段对该线段的贡献度包括:该线段的每一左关联线段对该线段的左贡献度及该线段的每一右关联线段对该线段的右贡献度;所述贡献度用于表征关联线段对该线段作为车道线的影响程度大小;
根据每一线段的长度及该线段的关联线段对该线段的贡献度,计算该线段的分值,所述分值用于表征该线段为车道线的可能性大小;
将分值最高的线段及该分值最高的线段的关联线段确定为车道线;
其中,针对每一线段,计算该线段的关联线段对该线段的贡献度,包括:
根据该线段与该线段的关联线段之间的位置关系,确定位于该线段左侧的左关联线段和位于该线段右侧的右关联线段;
针对每一线段的每一左关联线段,根据该左关联线段的长度及该左关联线段的其他左关联线段对该左关联线段的贡献度,计算该左关联线段的分值;
针对每一线段的每一右关联线段,根据该右关联线段的长度及该右关联线段的其他右关联线段对该右关联线段的贡献度,计算该右关联线段的分值;
针对每一线段,根据每一左关联线段的分值、每一左关联线段与该线段的位置关系及该线段的长度,计算每一左关联线段对该线段的左贡献度;
针对每一线段,根据每一右关联线段的分值、每一右关联线段与该线段的位置关系及该线段的长度,计算每一右关联线段对该线段的右贡献度。
2.根据权利要求1所述的方法,其特征在于,所述线段包括:
直线段和/或曲线段。
3.根据权利要求1所述的方法,其特征在于,针对每一线段,从其他线段中确定出该线段的关联线段,包括:
根据该线段与其他线段之间的位置关系和预设的车道线先验条件,从其他线段中确定出该线段的关联线段。
4.根据权利要求3所述的方法,其特征在于,该线段与其他线段之间的位置关系包括:
该线段与其他线段之间的夹角,或/和该线段与其他线段之间的间距。
5.根据权利要求4所述的方法,其特征在于,所述预设的车道线先验条件包括:
车道线之间的夹角位于预设夹角范围内,或/和车道线之间的间距为预设间距的整数倍。
6.根据权利要求1所述的方法,其特征在于,该线段与其他线段之间的位置关系包括:
该线段与其他线段之间的夹角,或/和该线段与其他线段之间的间距。
7.根据权利要求1所述的方法,其特征在于,针对第i条线段,第j条左关联线段对该第i条线段的左贡献度的计算公式如下:
针对第i条线段,第j条左关联线段对该第i条线段的右贡献度的计算公式如下:
其中,i、j为正整数;
Li为第i条线段的长度;
k1为第一预设系数,且k1>0;
α为第i条线段和第j条左线段或第j条右线段之间的夹角;
δ为第i条线段和第j条左线段或第j条右线段之间的间距与预设间距的比值;
k2为第二预设系数,且0<k2<1;
为第j条左关联线段的分值;
为第j条右关联线段的分值。
8.根据权利要求1所述的方法,其特征在于,所述根据每一线段的长度及该线段的关联线段对该线段的贡献度,计算该线段的分值,包括:
针对每一线段,根据该线段的长度、该线段的左关联线段对该线段的左贡献度中的最大值及该线段的右关联线段对该线段的右贡献度中的最大值,计算该线段的分值。
9.根据权利要求8所述的方法,其特征在于,每一线段的分值为该线段的长度、该线段的左关联线段对该线段的左贡献度中的最大值及该线段的右关联线段对该线段的右贡献度中的最大值之和。
10.根据权利要求1所述的方法,其特征在于,所述识别道路图像中所有线段,包括:分割出所述道路图像中所有的线段区域;
基于线段检测算法识别所有线段。
11.根据权利要求10所述的方法,其特征在于,所述分割出所述道路图像中所有的线段区域,包括:
基于CNN分割出所述道路图像中所有的线段区域;或者,
基于边缘检测算法分割出所述道路图像中所有的线段区域。
12.根据权利要求10所述的方法,其特征在于,所述基于线段检测算法识别所有线段,包括:
基于线段检测算法识别所有线段的长度、所有线段之间的夹角和/或所有线段之间的间距。
13.根据权利要求10或12所述的方法,其特征在于,所述线段检测算法为霍夫变换算法。
14.根据权利要求1或10所述的方法,其特征在于,所述识别道路图像中所有线段之前,还包括:
对所述道路图像进行图像矫正。
15.根据权利要求14所述的方法,其特征在于,所述对所述道路图像进行图像矫正,包括:
基于反透视变换,将所述道路图像投影至对应的俯视图。
16.一种车道线识别装置,其特征在于,包括:
存储装置,用于存储程序指令;
处理器,调用所述存储装置中存储的程序指令,当所述程序指令被执行时,用于:
识别道路图像中所有线段;
针对每一线段,从其他线段中确定出该线段的关联线段,该线段的关联线段包括位于该线段左侧的至少一条左关联线段和位于该线段右侧的至少一条右关联线段;并计算该线段的关联线段对该线段的贡献度,该线段的关联线段对该线段的贡献度包括:该线段的每一左关联线段对该线段的左贡献度及该线段的每一右关联线段对该线段的右贡献度;所述贡献度用于表征关联线段对该线段作为车道线的影响程度大小;
根据每一线段的长度及该线段的关联线段对该线段的贡献度,计算该线段的分值,所述分值用于表征该线段为车道线的可能性大小;
将分值最高的线段及该分值最高的线段的关联线段确定为车道线;
其中,针对每一线段,计算该线段的关联线段对该线段的贡献度,包括:
根据该线段与该线段的关联线段之间的位置关系,确定位于该线段左侧的左关联线段和位于该线段右侧的右关联线段;
针对每一线段的每一左关联线段,根据该左关联线段的长度及该左关联线段的其他左关联线段对该左关联线段的贡献度,计算该左关联线段的分值;
针对每一线段的每一右关联线段,根据该右关联线段的长度及该右关联线段的其他右关联线段对该右关联线段的贡献度,计算该右关联线段的分值;
针对每一线段,根据每一左关联线段的分值、每一左关联线段与该线段的位置关系及该线段的长度,计算每一左关联线段对该线段的左贡献度;
针对每一线段,根据每一右关联线段的分值、每一右关联线段与该线段的位置关系及该线段的长度,计算每一右关联线段对该线段的右贡献度。
17.根据权利要求16所述的装置,其特征在于,所述线段包括:
直线段和/或曲线段。
18.根据权利要求16所述的装置,其特征在于,所述处理器,具体用于:
根据该线段与其他线段之间的位置关系和预设的车道线先验条件,从其他线段中确定出该线段的关联线段。
19.根据权利要求18所述的装置,其特征在于,该线段与其他线段之间的位置关系包括:
该线段与其他线段之间的夹角,或/和该线段与其他线段之间的间距。
20.根据权利要求19所述的装置,其特征在于,所述预设的车道线先验条件包括:
车道线之间的夹角位于预设夹角范围内,或/和车道线之间的间距为预设间距的整数倍。
21.根据权利要求16所述的装置,其特征在于,该线段与其他线段之间的位置关系包括:
该线段与其他线段之间的夹角,或/和该线段与其他线段之间的间距。
22.根据权利要求16所述的装置,其特征在于,针对第i条线段,第j条左关联线段对该第i条线段的左贡献度的计算公式如下:
针对第i条线段,第j条左关联线段对该第i条线段的右贡献度的计算公式如下:
其中,i、j为正整数;
Li为第i条线段的长度;
k1为第一预设系数,且k1>0;
α为第i条线段和第j条左线段或第j条右线段之间的夹角;
δ为第i条线段和第j条左线段或第j条右线段之间的间距与预设间距的比值;
k2为第二预设系数,且0<k2<1;
为第j条左关联线段的分值;
为第j条右关联线段的分值。
23.根据权利要求16所述的装置,其特征在于,所述处理器,具体用于:
针对每一线段,根据该线段的长度、该线段的左关联线段对该线段的左贡献度中的最大值及该线段的右关联线段对该线段的右贡献度中的最大值,计算该线段的分值。
24.根据权利要求23所述的装置,其特征在于,每一线段的分值为该线段的长度、该线段的左关联线段对该线段的左贡献度中的最大值及该线段的右关联线段对该线段的右贡献度中的最大值之和。
25.根据权利要求16所述的装置,其特征在于,所述处理器,具体用于:
分割出所述道路图像中所有的线段区域;
基于线段检测算法识别所有线段。
26.根据权利要求25所述的装置,其特征在于,所述处理器,具体用于:
基于CNN分割出所述道路图像中所有的线段区域;或者,
基于边缘检测算法分割出所述道路图像中所有的线段区域。
27.根据权利要求25所述的装置,其特征在于,所述处理器,具体用于:
基于线段检测算法识别所有线段的长度、所有线段之间的夹角和/或所有线段之间的间距。
28.根据权利要求25或27所述的装置,其特征在于,所述线段检测算法为霍夫变换算法。
29.根据权利要求16或25所述的装置,其特征在于,所述处理器识别道路图像中所有线段之前,还用于:
对所述道路图像进行图像矫正。
30.根据权利要求29所述的装置,其特征在于,所述处理器,具体用于:
基于反透视变换,将所述道路图像投影至对应的俯视图。
31.一种车辆,其特征在于,包括:
车身;
固定在车身上的拍摄装置;以及
处理器,所述处理器与所述拍摄装置电连接;
所述拍摄装置用于拍摄车辆前方的道路图像并发送至所述处理器,所述处理器用于:
识别道路图像中所有线段;
针对每一线段,从其他线段中确定出该线段的关联线段,该线段的关联线段包括位于该线段左侧的至少一条左关联线段和位于该线段右侧的至少一条右关联线段;并计算该线段的关联线段对该线段的贡献度,该线段的关联线段对该线段的贡献度包括:该线段的每一左关联线段对该线段的左贡献度及该线段的每一右关联线段对该线段的右贡献度;所述贡献度用于表征关联线段对该线段作为车道线的影响程度大小;
根据每一线段的长度及该线段的关联线段对该线段的贡献度,计算该线段的分值,所述分值用于表征该线段为车道线的可能性大小;
将分值最高的线段及该分值最高的线段的关联线段确定为车道线;
其中,针对每一线段,计算该线段的关联线段对该线段的贡献度,包括:
根据该线段与该线段的关联线段之间的位置关系,确定位于该线段左侧的左关联线段和位于该线段右侧的右关联线段;
针对每一线段的每一左关联线段,根据该左关联线段的长度及该左关联线段的其他左关联线段对该左关联线段的贡献度,计算该左关联线段的分值;
针对每一线段的每一右关联线段,根据该右关联线段的长度及该右关联线段的其他右关联线段对该右关联线段的贡献度,计算该右关联线段的分值;
针对每一线段,根据每一左关联线段的分值、每一左关联线段与该线段的位置关系及该线段的长度,计算每一左关联线段对该线段的左贡献度;
针对每一线段,根据每一右关联线段的分值、每一右关联线段与该线段的位置关系及该线段的长度,计算每一右关联线段对该线段的右贡献度。
32.根据权利要求31所述的车辆,其特征在于,所述线段包括:
直线段和/或曲线段。
33.根据权利要求31所述的车辆,其特征在于,所述处理器,具体用于:
根据该线段与其他线段之间的位置关系和预设的车道线先验条件,从其他线段中确定出该线段的关联线段。
34.根据权利要求33所述的车辆,其特征在于,该线段与其他线段之间的位置关系包括:
该线段与其他线段之间的夹角,或/和该线段与其他线段之间的间距。
35.根据权利要求34所述的车辆,其特征在于,所述预设的车道线先验条件包括:
车道线之间的夹角位于预设夹角范围内,或/和车道线之间的间距为预设间距的整数倍。
36.根据权利要求31所述的车辆,其特征在于,该线段与其他线段之间的位置关系包括:
该线段与其他线段之间的夹角,或/和该线段与其他线段之间的间距。
37.根据权利要求31所述的车辆,其特征在于,针对第i条线段,第j条左关联线段对该第i条线段的左贡献度的计算公式如下:
针对第i条线段,第j条左关联线段对该第i条线段的右贡献度的计算公式如下:
其中,i、j为正整数;
Li为第i条线段的长度;
k1为第一预设系数,且k1>0;
α为第i条线段和第j条左线段或第j条右线段之间的夹角;
δ为第i条线段和第j条左线段或第j条右线段之间的间距与预设间距的比值;
k2为第二预设系数,且0<k2<1;
为第j条左关联线段的分值;
为第j条右关联线段的分值。
38.根据权利要求31所述的车辆,其特征在于,所述处理器,具体用于:
针对每一线段,根据该线段的长度、该线段的左关联线段对该线段的左贡献度中的最大值及该线段的右关联线段对该线段的右贡献度中的最大值,计算该线段的分值。
39.根据权利要求38所述的车辆,其特征在于,每一线段的分值为该线段的长度、该线段的左关联线段对该线段的左贡献度中的最大值及该线段的右关联线段对该线段的右贡献度中的最大值之和。
40.根据权利要求31所述的车辆,其特征在于,所述处理器,具体用于:
分割出所述道路图像中所有的线段区域;
基于线段检测算法识别所有线段。
41.根据权利要求40所述的车辆,其特征在于,所述处理器,具体用于:
基于CNN分割出所述道路图像中所有的线段区域;或者,
基于边缘检测算法分割出所述道路图像中所有的线段区域。
42.根据权利要求40所述的车辆,其特征在于,所述处理器,具体用于:
基于线段检测算法识别所有线段的长度、所有线段之间的夹角和/或所有线段之间的间距。
43.根据权利要求40或42所述的车辆,其特征在于,所述线段检测算法为霍夫变换算法。
44.根据权利要求31或40所述的车辆,其特征在于,所述处理器识别道路图像中所有线段之前,还用于:
对所述道路图像进行图像矫正。
45.根据权利要求44所述的车辆,其特征在于,所述处理器,具体用于:
基于反透视变换,将所述道路图像投影至对应的俯视图。
46.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至15任一项所述的车道线识别方法的步骤。
CN201880039256.XA 2018-10-31 2018-10-31 一种车道线识别方法和装置、车辆 Active CN110770741B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/112894 WO2020087322A1 (zh) 2018-10-31 2018-10-31 车道线识别方法和装置、车辆

Publications (2)

Publication Number Publication Date
CN110770741A CN110770741A (zh) 2020-02-07
CN110770741B true CN110770741B (zh) 2024-05-03

Family

ID=69328785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880039256.XA Active CN110770741B (zh) 2018-10-31 2018-10-31 一种车道线识别方法和装置、车辆

Country Status (2)

Country Link
CN (1) CN110770741B (zh)
WO (1) WO2020087322A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311675B (zh) * 2020-02-11 2022-09-16 腾讯科技(深圳)有限公司 车辆定位方法、装置、设备和存储介质
CN112498342A (zh) * 2020-11-26 2021-03-16 潍柴动力股份有限公司 一种行人碰撞预测方法及系统
CN112347983B (zh) * 2020-11-27 2021-12-14 腾讯科技(深圳)有限公司 车道线检测处理方法、装置、计算机设备和存储介质
JP2022126341A (ja) * 2021-02-18 2022-08-30 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103940434A (zh) * 2014-04-01 2014-07-23 西安交通大学 基于单目视觉和惯性导航单元的实时车道线检测系统
JP2015194397A (ja) * 2014-03-31 2015-11-05 株式会社デンソーアイティーラボラトリ 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
CN105718870A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 自动驾驶中基于前向摄像头的道路标线提取方法
CN107229908A (zh) * 2017-05-16 2017-10-03 浙江理工大学 一种车道线检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
CN102663356B (zh) * 2012-03-28 2015-04-08 柳州博实唯汽车科技有限公司 车道线提取及偏离预警方法
CN103440785B (zh) * 2013-08-08 2015-08-05 华南师范大学 一种快速的车道偏移警示方法
CN104063877B (zh) * 2014-07-16 2017-05-24 中电海康集团有限公司 一种候选车道线混合判断识别方法
CN104700072B (zh) * 2015-02-06 2018-01-19 中国科学院合肥物质科学研究院 基于车道线历史帧的识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015194397A (ja) * 2014-03-31 2015-11-05 株式会社デンソーアイティーラボラトリ 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
CN103940434A (zh) * 2014-04-01 2014-07-23 西安交通大学 基于单目视觉和惯性导航单元的实时车道线检测系统
CN105718870A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 自动驾驶中基于前向摄像头的道路标线提取方法
CN107229908A (zh) * 2017-05-16 2017-10-03 浙江理工大学 一种车道线检测方法

Also Published As

Publication number Publication date
CN110770741A (zh) 2020-02-07
WO2020087322A1 (zh) 2020-05-07

Similar Documents

Publication Publication Date Title
US11062155B2 (en) Monocular cued detection of three-dimensional structures from depth images
CN106407893B (zh) 一种检测车道线的方法、装置和设备
CN110770741B (zh) 一种车道线识别方法和装置、车辆
US10025997B2 (en) Device and method for recognizing obstacle and parking slot to support unmanned autonomous parking function
CN106096525B (zh) 一种复合型车道识别系统及方法
Zhou et al. A novel lane detection based on geometrical model and gabor filter
JP6995188B2 (ja) 車載カメラの姿勢推定方法、装置およびシステムならびに電子機器
CN107895375B (zh) 基于视觉多特征的复杂道路线提取方法
Youjin et al. A robust lane detection method based on vanishing point estimation
CN110211185B (zh) 在一组候选点内识别校准图案的特征点的方法
US20080118149A1 (en) Method and apparatus for partitioning an object from an image
CN112184827B (zh) 校准多个摄像机的方法及装置
CN112257692A (zh) 一种行人目标的检测方法、电子设备及存储介质
CN108256445A (zh) 车道线检测方法及系统
CN111553878A (zh) 基于双目视觉的沥青路面混合料摊铺均匀性的检测方法
CN111080542A (zh) 图像处理方法、装置、电子设备以及存储介质
CN110310335B (zh) 一种相机角度确定方法、装置、设备及系统
CN114543819A (zh) 车辆定位方法、装置、电子设备及存储介质
WO2019167238A1 (ja) 画像処理装置および画像処理方法
US20200193184A1 (en) Image processing device and image processing method
CN110809767B (zh) 高级辅助驾驶系统和方法
WO2016079117A1 (en) Gradient detection based on perspective-transformed image
CN111738035A (zh) 车辆偏航角的计算方法、装置和设备
CN115507815A (zh) 一种目标测距方法、装置及车辆
CN113255405B (zh) 车位线识别方法及其系统、车位线识别设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240515

Address after: Building 3, Xunmei Science and Technology Plaza, No. 8 Keyuan Road, Science and Technology Park Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518057, 1634

Patentee after: Shenzhen Zhuoyu Technology Co.,Ltd.

Country or region after: China

Address before: 518057 Shenzhen Nanshan High-tech Zone, Shenzhen, Guangdong Province, 6/F, Shenzhen Industry, Education and Research Building, Hong Kong University of Science and Technology, No. 9 Yuexingdao, South District, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SZ DJI TECHNOLOGY Co.,Ltd.

Country or region before: China