[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111178245A - 车道线检测方法、装置、计算机设备和存储介质 - Google Patents

车道线检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111178245A
CN111178245A CN201911379944.3A CN201911379944A CN111178245A CN 111178245 A CN111178245 A CN 111178245A CN 201911379944 A CN201911379944 A CN 201911379944A CN 111178245 A CN111178245 A CN 111178245A
Authority
CN
China
Prior art keywords
lane line
image
network
segmentation
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911379944.3A
Other languages
English (en)
Other versions
CN111178245B (zh
Inventor
李宇明
刘国清
郑伟
杨广
敖争光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youjia Innovation Beijing Technology Co ltd
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN201911379944.3A priority Critical patent/CN111178245B/zh
Publication of CN111178245A publication Critical patent/CN111178245A/zh
Application granted granted Critical
Publication of CN111178245B publication Critical patent/CN111178245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种车道线检测方法、装置、计算机设备和存储介质。所述方法包括：接收待检测车道线图像及其帧序列号；调用预先训练好的分割网络，将待检测车道线图像输入至分割网络的主干网络，提取待检测车道线图像的共享特征；当根据帧序列号确定待检测车道线图像不为关键帧图像时，根据帧序列号获取对应关键帧图像的车道线实例聚类图像；将共享特征输入分割网络的语义分割分支网络，通过语义分割分支网络对待检测车道线图像进行语义分割，得到待检测车道线图像对应的二进制车道线图像；根据关键帧图像的车道线实例聚类图像对二进制车道线图像进行实例分类，得到实例车道线图像。采用本方法能够提高精度且减少耗时。

Description

车道线检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及自动驾驶技术领域，特别是涉及一种车道线检测方法、装置、计算机设备和存储介质。
背景技术
随着计算机软硬件能力的不断提升，以及各种传感器精度的普遍提升，自动驾驶技术成为一个重要的研究领域，受到了学术界和工业界广泛的关注。在辅助驾驶系统中，当车辆偏离行驶车道并且未打转向灯时，车道偏离预警系统(Lane Departure WarningSystem，LDWS)会利用车道线检测的结果发出偏离报警信号。而车道保持辅助系统(LaneKeeping Assist System，LKAS)会将车道线检测结果和车辆的基本控制单元联动起来，当车辆偏离行驶车道时，该系统会自动控制方向盘，将车辆矫正回本车道。无论是在辅助驾驶系统还是自动驾驶系统中都发挥着关键性的作用。在自动驾驶系统中，通常会利用车道线检测结果来确认车辆和道路的相对位置关系，并且进一步分析车辆的航向角以确定行驶方向。因此，无论是辅助驾驶系统还是自动驾驶系统，车道线检测是一项基础而重要的任务。
然而，传统的车道线检测通常基于人工特征的车道线提点算法，并通过反投影变换将提取的车道线候选点投影到鸟瞰图中进行车道线的检测。但是，基于人工特征的检测算法通常都不能较好的适应复杂环境，因此无法在真实场景中稳定工作。同时，由于反投影变换非常容易受到外界道路情况的影响，从而容易使得后续处理出现问题，导致降低了检测的精度。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高精度且减少耗时的车道线检测方法、装置、计算机设备和存储介质。
一种车道线检测方法，所述方法包括：
接收待检测车道线图像及其帧序列号；
调用预先训练好的分割网络，将所述待检测车道线图像输入至所述分割网络的主干网络，提取所述待检测车道线图像的共享特征；
当根据所述帧序列号确定所述待检测车道线图像不为关键帧图像时，根据所述帧序列号获取对应关键帧图像的车道线实例聚类图像；其中，所述关键帧图像的车道线实例聚类图像通过所述分割网络的实例分割分支网络根据所述关键帧图像的共享特征检测得到；
将所述共享特征输入所述分割网络的语义分割分支网络，通过所述语义分割分支网络对所述待检测车道线图像进行语义分割，得到所述待检测车道线图像对应的二进制车道线图像；
根据所述关键帧图像的车道线实例聚类图像对所述二进制车道线图像进行实例分类，得到实例车道线结果
在其中一个实施例中，所述方法还包括：
当根据所述帧序列号确定所述待检测车道线图像为关键帧图像时，将所述共享特征输入所述实例分割分支网络，通过所述实例分割分支网络对所述待检测车道线图像进行实例分割，得到所述待检测车道线图像的车道线实例分割图像；
对所述车道线实例分割图像对应的图像矩阵进行聚类，得到所述待检测车道线图像对应的车道线实例聚类图像；
根据所述待检测车道线图像对应的车道线实例聚类图像对所述二进制车道线图像进行实例分类，得到实例车道线结果。
在其中一个实施例中，所述方法还包括：
获取训练数据集；所述训练数据集中包括训练样本以及所述训练样本对应的标注结果；
将所述训练样本输入所述待训练分割网络的待训练主干网络，通过所述待训练主干网络提取所述训练样本的共享特征；
将所述训练样本的共享特征分别输入所述待训练分割网络的待训练语义分支分割网络和待训练实例分割分支网络，通过所述待训练语义分割分支网络和所述待训练实例分割分支网络分别对所述训练样本进行语义分割和实例分割，得到训练结果；
获取损失函数，基于所述损失函数的约束对所述训练结果和所述标注结果进行收敛，直至满足结束条件，得到训练好的分割网络。
在其中一个实施例中，基于所述损失函数的约束对所述训练结果和所述标注结果进行收敛，直至满足收敛条件，得到训练好的分割网络，包括：
基于所述损失函数的约束计算所述训练结果和所述标注结果的损失值；所述损失函数包括背景点的约束，所述背景点为与质心的距离不大于类间的距离边缘的特征点；根据所述损失值对所述待训练分割网络的参数进行调整，迭代训练调整参数后的待训练分割网络，直至满足结束条件，得到训练好的分割网络。
在其中一个实施例中，所述损失函数为：
Lfinal＝a·L+b·Lbk+c·CrossEntropyLoss(lpred,ltruth)；
其中，Lfinal表示损失函数，L表示常规损失函数，a表示常规损失函数的权重，Lbk表示背景点的约束函数，b表示背景点约束函数的权重，c表示车道线分割权重，CrossEntropyLoss为交叉熵，lpred表示待训练语义分割分支网络输出的分割结果，ltruth表示标注结果。
在其中一个实施例中，所述背景点的约束函数Lbk为：
Figure BDA0002342017610000031
其中，C表示真实值中车道线的条数，Y表示符合约束条件的背景点集合，背景点集合里面的背景点yi满足与质心μc的距离小于类间的距离边缘δd，δv表示类内的距离边缘，NY表示每个背景集合点的个数，BK表示所有背景点集合。
在其中一个实施例中，
所述常规损失函数L为：
L＝α·Lva+β·Ldist+γ·Lreg
其中，L表示常规损失函数，α、β和γ表示权重，Lva表示类内拉力函数、Ldist表示类间推力函数，Lreg表示正则项式；
所述类内拉力函数为：
Figure BDA0002342017610000041
所述类间推理函数为：
Figure BDA0002342017610000042
其中，C表示真实值中车道线的条数，Nc表示每条车道线中点的个数，xi表示实例分割分支网络输出的特征向量，μc表示质心，||·||表示L1范数或L2范数距离，[x]+＝max(0,x)表示最大截取函数，δv和δd分别表示类内的距离边缘和类间的距离边缘，CA表示A车道线点的集合，CB表示B车道线点的集合，μCA表示车道线的质心，μCB表示车道线的质心。。
一种车道线检测装置，所述装置包括：
接收模块，用于接收待检测车道线图像及其帧序列号；
提取模块，用于调用预先训练好的分割网络，将所述待检测车道线图像输入至所述分割网络的主干网络，提取所述待检测车道线图像的共享特征；
获取模块，用于当根据所述帧序列号确定所述待检测车道线图像不为关键帧图像时，根据所述帧序列号获取对应关键帧图像的车道线实例聚类图像；其中，所述关键帧图像的车道线实例聚类图像通过所述分割网络的实例分割分支网络根据所述关键帧图像的共享特征检测得到；
分割模块，用于将所述共享特征输入所述分割网络的语义分割分支网络，通过所述语义分割分支网络对所述待检测车道线图像进行语义分割，得到所述待检测车道线图像对应的二进制车道线图像；
分类模块，用于根据所述关键帧图像的车道线实例聚类图像对所述二进制车道线图像进行实例分类，得到实例车道线结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的车道线检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的车道线检测方法的步骤。
上述车道线检测方法、装置、计算机设备和存储介质，在接收到待检测车道线图像及其帧序列之后，利用分割网络的主干网络提取得到待检测车道线图像的共享特征。进而根据帧序列号确定待检测车道线图像不为关键帧图像时获取对应关键帧图像的车道线实例聚类图像，且同时通过语义分割分支网络根据图像特征得到二进制车道线图像之后，直接利用车道线实例聚类图像将二进制车道线图像进行实例分类，得到车道线实例结果。该方法不仅能够利用分割网络进行车道线检测，同时无需对每一帧图像都进行实例聚类的计算就能得到实例车道线结果，在保证检测精度的同时，还可以节省大量计算量从而减少耗时。
附图说明
图1为一个实施例中车道线检测方法的应用环境图；
图2为一个实施例中车道线检测方法的流程示意图；
图3为一个实施例中分割网络的网络结构的结构示意图；
图4为一个实施例中二进制车道线图像的示意图；
图5为另一个实施例中车道线检测方法的流程示意图；
图6为一个实施例中车道线实例聚类图像的示意图；
图7为一个实施例中车道线特征点在网络特征空间中统计特性的示意图；
图8为一个实施例中吸纳背景点的示意图；
图9a为一个实施例中与参考方法输出结果的对比示意图；
图9b为一个实施例中参考方法的定量测评结果的对比示意图；
图10为一个实施例中车道线检测装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的车道线检测方法，可以应用于如图1所示的应用环境中。该应用环境涉及摄像设备102和计算机设备104。其中，摄像设备102通过网络与计算机设备104进行通信。当摄像设备102采集到待检测车道线图像之后，将待检测车道线图像发送给计算机设备104。计算机设备104接收待检测车道线图像及其帧序列号；计算机设备104调用预先训练好的分割网络，将待检测车道线图像输入至分割网络的主干网络，提取待检测车道线图像的共享特征；计算机设备104当根据帧序列号确定待检测车道线图像不为关键帧图像时，根据帧序列号获取对应关键帧图像的车道线实例聚类图像；其中，关键帧图像的车道线实例聚类图像通过分割网络的实例分割分支网络根据关键帧图像的共享特征检测得到；计算机设备104将共享特征输入分割网络的语义分割分支网络，通过语义分割分支网络对待检测车道线图像进行语义分割，得到待检测车道线图像对应的二进制车道线图像；计算机设备104根据关键帧图像的车道线实例聚类图像对二进制车道线图像进行实例分类，得到实例车道线结果。其中，摄像设备102包括但不限于是相机、摄像头或者携带有摄像功能的设备。计算机设备104可以是终端或者服务器，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种车道线检测方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤S202，接收待检测车道线图像及其帧序列号。
其中，待检测车道线图像是当前需要进行车道线检测的图像，由摄像设备采集得到。比如，摄像设备可以是自动驾驶系统中安装于自动驾驶车辆上的摄像设备。帧序列号是待检测车道线图像发送给计算机设备的序号，同时也是计算机设备接收到该待检测车道线图像的序号。关键帧序列号可以理解为是用于确定图像是否为关键帧图像的编号。例如，当该待检测车道线图像为第三张发给计算机设备的图像，其帧序列号为三。
具体地，当驾驶车辆启动自动驾驶时，摄像设备会对行驶道理上的车道线区域进行图像采集，得到待检测车道线图像。然后，摄像设备将采集到待检测车道线图像发送给计算机设备，计算机设备由此接收到待检测车道线图像并获取当前接收到的待检测车道线图像的帧序列号。
步骤S204，调用预先训练好的分割网络，将待检测车道线图像输入至分割网络的主干网络，提取待检测车道线图像的共享特征。
其中，分割网络是结合了语义分割分支网络和实例分割分支网络的目标检测神经网络，包括主干网络、语义分割分支网络和实例分割分支网络。语义分割分支网络和实例分割分支网络的输入为主干网络的输出，将主干网络输出的特征同时输入语义分割分支网络和实例分割分支网络。主干网络输出的特征为语义分割分支网络和实例分割分支网络共享的共享特征。在本实施例中，分割网络为已经预先训练好可以直接进行车道线检测的神经网络。
参考图3，提供一种分割网络的结构示意图。分割网络包括一个多分辨率U型结构的主干网络50和两个分支网络。两个分支网络分别是语义分割分支网络501和实例分割分支网络502。两个分支网络可采用Deconvolution(反卷积)或Pixel Shuffle(像素重组)的方式进行上采样操作。
具体地，当计算机设备获取到待检测车道线图像之后，调用已经训练好的分割网络。将待检测车道线图像输入分割网络的主干网络，由主干网络对待检测车道线图像进行图像特征的提取，得到共享特征图。例如，通过主干网络中各网络层对待检测车道线图像进行卷积池化等操作得到共享特征。
步骤S206，当根据帧序列号确定待检测车道线图像不为关键帧图像时，根据帧序列号获取对应关键帧图像的车道线实例聚类图像；其中，关键帧图像的车道线实例聚类图像通过分割网络的实例分割分支网络根据关键帧图像的共享特征检测得到。
其中，关键帧图像为需要进行实例分割的待检测车道线图像。实例分割分支网络是基于共享特征图进一步提取视觉感知图像中各车道线所在空间位置的特征从而得到车道线实例分割图像。车道线实例聚类图像由分割网络的实例分割分支网络输出的车道线实例分割图像进行聚类后的图像。
具体地，获取预设的非关键帧数量，非关键帧数量用于表示关键帧图像之后多少帧图像为非关键帧图像。例如，假设预设的非关键帧数量为2，那么在任意一帧关键帧图像之后发送过来的连续两帧待检测车道线图像均为非关键帧图像。而第三帧发送过来的待检测车道线图像就不是非关键帧数据，第三帧发送过来的待检测车道线图像为关键帧图像。
通过待检测车道线图像的帧序列号确定待检测车道线图像是否为非关键帧数量内的图像。当待检测车道线图像为非关键帧内的图像时，确定其是非关键帧图像而不是关键帧图像。应当理解的是，由于发送过来的第一帧图像为首帧图像，其前序没有其他的图像，因此第一帧图像必然为关键帧图像。例如，假设非关键帧数量为3，且一共有1-10共10帧待检测车道线图像。那么，可以确定的关键帧图像有第一帧图像、第五帧图像和第九帧图像。而当前接收到的待检测车道线图像的帧序列号为第六帧图像时，即可确定该待检测车道线图像不为关键帧图像。只有当待检测车道线图像为第一帧图像、第五帧图像、第九帧图像时才是关键帧图像。
当确定待检测车道线图像不是关键帧图像时，确定该待检测车道线无需进行实例分割，可以复用前序帧图像的车道线实例聚类图像。因此，获取该待检测车道线图像对应的关键帧图像的车道线实例聚类图像。例如，第二帧图像、第三帧图像和第四帧图像对应的关键帧图像是第一帧图像，获取第一帧图像的车道线实例聚类图像。
步骤S208，将共享特征输入分割网络的语义分割分支网络，通过语义分割分支网络对待检测车道线图像进行语义分割，得到待检测车道线图像对应的二进制车道线图像。
其中，分割网络的语义分割分支网络是基于语义分割对待检测车道线图像中的车道线进行目标检测的网络。语义分割只需要对图像上的所有像素点进行分类，而属于同一物体的不同实例不需要单独区分出来。
具体地，当得到分割网络的主干网络输出的共享特征图后，将共享特征图分别输入至分割网络的语义分割分支网络。语义分割分支网络基于共享特征图进一步提取待检测车道线图像中车道线的特征，从而语义分割得到二进制车道线图像。二进制车道线图像可以理解为是指像素值只有1和0的图像。当待检测车道线图像上的车道线用1表示，其他图像区域用0表示时，那么得到的二进制车道线图像上车道线对应像素点的像素值为1，其他图像区域对应像素点的像素值为0。由此，通过二进制车道线图像能够区分检测出来的车道线和其他区域图像。如图4所示，提供一种二进制车道线图像的示意图。二进制车道线图像的示意图由车道线语义分割分支网络输出，参考图4，车道线上的点像素值为1(白色区域)，其他点像素值为0(黑色区域)。
步骤S210，根据关键帧图像的车道线实例聚类图像对二进制车道线图像进行实例分类，得到实例车道线结果。
具体地，当得到关键帧图像的车道线实例聚类图像之后，根据车道线实例聚类图像对二进制车道线图像进行实例分类。由于车道线实例聚类图像中是根据每条车道线的空间位置关系对空间进行划分。因此利用语义分割分支网络输出的二进制车道线图像结合车道线实例聚类图像，就可以为相同车道线上的点标记同一个标签，同时不同车道线上的点标签不同，从而实现车道线实例分割的目的，得到实例车道线结果。
上述车道线检测方法，在接收到待检测车道线图像及其帧序列之后，利用分割网络的主干网络提取得到待检测车道线图像的共享特征。进而根据帧序列号确定待检测车道线图像不为关键帧图像时获取对应关键帧图像的车道线实例聚类图像，且同时通过语义分割分支网络根据图像特征得到二进制车道线图像之后，直接利用车道线实例聚类图像将二进制车道线图像进行实例分类，得到车道线实例结果。该方法不仅能够利用分割网络进行车道线检测，同时无需每一帧图像都进行实例聚类的计算就能得到实例车道线结果，在保证检测精度的同时，还可以节省大量计算量从而减少耗时。
在一个实施例中，如图5所示，提供另一种车道线检测方法，还包括以下步骤：
步骤S212，当根据帧序列号确定待检测车道线图像为关键帧图像时，将共享特征输入实例分割分支网络，通过实例分割分支网络对待检测车道线图像进行实例分割，得到待检测车道线图像的车道线实例分割图像。
步骤S214，对车道线实例分割图像对应的图像矩阵进行聚类，得到待检测车道线图像对应的车道线实例聚类图像。
具体地，当根据预设的非关键帧数量和待检测车道线图像的帧序列号确定待检测车道线图像为关键帧图像时，确定该待检测车道线图像不能够复用前序帧图像的车道线实例聚类图像。因此，将该待检测车道线图像的共享特征输入分割分支网络进行实例分割，得到待检测车道线图像的车道线实例分割图像。
然后，当得到车道线实例分割图像之后，为了使得属于同一区域的车道线的像素点聚集为一类。利用聚类算法对车道线实例分割图像对应的图像矩阵进行聚类，得到车道线实例聚类图像。聚类算法可采用任意一种，包括但不限于DBSCAN(Density-BasedSpatial Clustering of Applications with Noise，基于密度的聚类算法)、Mean-shift(均值漂移)算法、K均值聚类等。如图6所示，提供一种车道线实例聚类图像的示意图。车道线实例聚类图像为车道线实例分割分支网络输出的车道线实例分割图像进行聚类后得到。参考图6，图中不同灰度值表示聚类后不同的车道线区域。
步骤S216，根据待检测车道线图像对应的车道线实例聚类图像对二进制车道线图像进行实例分类，得到实例车道线结果。
具体地，与关键帧图像对应的车道线实例聚类图像对二进制车道线图像进行实例分类同理，当得到待检测车道线图像的车道线实例聚类图像之后，根据待检测车道线图像的车道线实例聚类图像对二进制车道线图像进行实例分类。由于车道线实例聚类图像中是根据每条车道线的空间位置关系对空间进行划分。因此利用语义分割分支网络输出的二进制车道线图像结合车道线实例聚类图像，就可以为相同车道线上的点标记同一个标签，同时不同车道线上的点标签不同，从而实现车道线实例分割的目的，得到实例车道线结果。
在本实施例中，通过预设的非关键帧数量限制待检测车道线图像是否能够复用前序帧图像的车道线实例聚类图像，可以防止在图像场景变换之后，后序帧图像还复用前序帧图像的车道线实例聚类图像而导致的车道线检测不准确。通过预设的非关键帧数量的限制，确保每一帧图像都能够复用到与本帧图像最相似的车道线实例聚类图像，在缩短计算量的同时还能保证检测的精度。
在一个实施例中，提供一种分割网络的训练方法，包括：获取训练数据集；训练数据集中包括训练样本以及训练样本对应的标注结果；将训练样本输入待训练分割网络的待训练主干网络，通过待训练主干网络提取训练样本的共享特征；将训练样本的共享特征分别输入待训练分割网络的待训练语义分割分支网络和待训练实例分割分支网络，通过待训练语义分割分支网络和待训练实例分割分支网络分别对训练样本进行语义分割和实例分割，得到训练结果；获取损失函数，基于损失函数的约束对训练结果和所述标注结果进行收敛，直至满足结束条件，得到训练好的分割网络。
其中，训练数据集是用于训练分割网络的车道线图像，即训练样本。同时，训练数据集中的训练样本有对应的标注结果，标注可预先由用户操作标注工具对训练样本进行标注得到。标注方式采取多边形标注车道线的方式，同时每条车道线的多边形对应同一个ID(标识号)，不同车道线的多边形对应不同的ID。应当理解的是，为了增加训练样本的多样性保证神经网络的表现能力，训练数据集中的训练样本可以是多种不同条件下不同的车道线图像。例如，不同光照条件、不同场景、摄像设备不同安装角度的图像。其中可以包括晴天、雨天、白天、夜间、高速、城区、大车视角、小车视角等场景下的图像。
具体地，当获取到训练数据集之后，对分割网络进行初始化。例如确定好训练的结束条件和优化器梯度清零等。当初始化完成之后，将训练数据集中的训练样本输入待训练分割网络中进行训练。输入进去的训练样本首先通过待训练主干网络进行特征提取，得到训练样本的共享特征。然后在将共享特征分别输入待训练分割网络的待训练语义分割分支网络和待训练实例分割分支网络，通过待训练语义分割分支网络和待训练实例分割分支网络分别对训练样本进行语义分割和实例分割，得到训练结果。训练结果中包括待训练语义分割分支网络输出的二进制车道线图像以及对应的置信度，以及待训练实例分割分支网络输出的车道线实例分割图像以及对应的置信度。
然后，获取预设的损失函数，基于损失函数的约束对训练结果和标注结果进行收敛，直至满足结束条件，得到训练好的分割网络。其中，结束条件可以是损失函数已经收敛，也可以是达到了迭代次数。具体包括：基于损失函数的约束计算训练结果和标注结果的损失值；损失函数包括背景点的约束，背景点为与质心的距离不大于类间的距离边缘的特征点；根据损失值对待训练分割网络的参数进行调整，迭代训练调整参数后的待训练分割网络，直至满足结束条件，得到训练好的分割网络。
具体地，当得到训练结果之后，基于损失函数的约束计算训练结果和标注结果的损失值，根据损失值调整神经网络的参数后重新获取训练样本进行训练，直到损失函数收敛或达到迭代次数为止，训练停止后得到的网络为训练好的分割网络。其中，损失函数计算公式为：
Lfinal＝a·L+b·Lbk+c·CrossEntropyLoss(lpred,ltruth)；
其中，Lfinal表示损失函数，L表示常规损失函数，a表示常规损失函数的权重，Lbk表示背景点的约束函数，b表示背景点约束函数的权重，c表示车道线分割权重，CrossEntropyLoss为交叉熵，lpred表示待训练语义分割分支网络输出的分割结果，ltruth表示标注结果。
背景点的约束函数Lbk为：
Figure BDA0002342017610000121
其中，C表示真实值中车道线的条数，Y表示符合约束条件的背景点集合，背景点集合里面的背景点yi满足与质心μc的距离小于类间的距离边缘δd，δv表示类内的距离边缘，NY表示每个背景集合点的个数，BK表示所有背景点集合。
常规损失函数L为：
L＝α·Lva+β·Ldist+γ·Lreg
其中，L表示常规损失函数，α、β和γ表示权重，Lva表示类内拉力函数、Ldist表示类间推力函数，Lreg表示正则项式；
类内拉力函数为：
Figure BDA0002342017610000122
类间推理函数为：
Figure BDA0002342017610000123
其中，C表示真实值中车道线的条数，Nc表示每条车道线中点的个数，xi表示实例分割分支网络输出的特征向量，μc表示质心，||·||表示L1范数或L2范数距离，[x]+＝max(0,x)表示最大截取函数，δv和δd分别表示类内的距离边缘和类间的距离边缘，CA表示A车道线上点的集合，CB表示B车道线上点的集合，μCA表示CA车道线的质心，μCB表示CB车道线的质心。
在本实施例中，由于传统训练损失函数大都是利用常规损失函数L进行训练，而本实例通过对利用常规损失函数L训练的实例分割分支网络进行降维可视化分析得出了一些规律。如图7所示，当上述公式中||·||取L2范数距离时，实例分割分支网络输出的特征向量维度为n＝2，可以得到如下结论：
1)车道线特征点的聚类中心并不是随机分布的，而是围绕着一个近似圆形的区域分布，聚类中心近似均匀的分布在圆周上，并且符合一定的分布规律；
2)中心点的位置和车道线的位置相关，如图7所示，左侧的车道线都分布在左侧的象限、右侧的车道线都分布在右侧的象限；同时，左侧从上到下依次是L3、L2、L1等，右侧从上到下依次是R3、R2、R1等。
3)当有一条新的车道线突然出现时，它的质心不会随意分布，而是按照上述规则插值在相应的位置。
4)如果车辆向右变道(如图7所示)，所有质心会向左旋转，反之亦然。
由此可得，既然车道线的质心不会突变，同时波动范围也符合一定的规律，只是在其周边波动。因此我们可以进一步扩大每一个质心的作用范围，吸纳更多的背景进入其控制范围内。这样做的一个优势在于，通过约束背景点的特征向量，可以进一步扩大聚类的范围，从而使得前后帧的相关性更强。加之真实世界的正常车道线也是不会突变的，前后帧的相关性也很强。因此利用这种关系得到的损失函数去训练用于检测车道线图像的分割网络还能得到提高检测的准确性。如图8所示，提供一种吸纳背景点的示意图。参考图8，与质心距离小于类间的边缘距离δd的背景点能够被吸纳到对应的质心的控制范围内，从而扩大了聚类范围，加强了前后帧的相关性。
因此，为了约束处于不可控的随机状态的背景点，并扩大质心的作用范围，对背景点做了强制约束，从而得到背景点的约束函数Lbk。进而将背景点的约束函数Lbk与常规损失函数L进行结合，得到本实施中的损失函数Lfinal。
为了验证背景点的约束函数Lbk可以提升前后帧待检测车道线图像实例聚类结果的相关性，以及跟踪利用本实例损失函数得到分割网络检测车道线的可行性，本实施例设计了如下试验并在标注测试数据集上验证：
(1)当前帧待检测车道线图像与前一帧待检测车道线图像实例聚类相似度实验。该实验比较了前后两帧待检测车道线图像的车道线实例聚类图像的相似度。其中相似度越高，证明前后帧的实例聚类结果相关性越强。
(2)车道线分割相似度实验(当前帧车道线分割+当前帧实例聚类)。该实验比较了都利用当前帧的输出结果得到的车道线实例分割结果与人工标注真实值之间的相似度，以此作为跟踪算法的基准。
(3)车道线分割相似度实验(当前帧待检测车道线分割+前一帧实例聚类)。该实验比较了利用当前帧的车道线语义分割结果结合前一帧的实例聚类的输出结果得到的车道线实例分割结果与人工标注真实值之间的相似度。当相似度越接近(2)中的结果，证明跟踪效果越可靠。这三个实验中提到的相似度测量采用对mIoU(Mean Intersection-over-Union，平均交并比)的方式，即对每个实例分别求IoU(Intersection-over-Union，交并比)再平均的方式。IoU＝TP/(TP+FP+FN)[4]，其中TP，FP和FN分别表示真阳性(TruePositive)、假阳性(False Positive)和假阴性(False Negative)像素点的个数。
利用传统算法作为参考方法和本申请的方法同时进行上述这三项实验。如图9a-9b所示，图9a为本申请的方法和参考方法输出结果对比图，图9b为本申请的方法和参考方法在测试集上的定量评测结果。从实验结果看，通过本申请的方法训练的网络在前后帧实例聚类结果相似度上明显高于参考方法。在(3)车道线分割相似度实验上，本申请的方法比起参考方法更加接近参考值，从而进一步证明本申请方法的确定性和可行性。
应该理解的是，虽然图2、5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种车道线检测装置，包括：接收模块1002、提取模块1004、获取模块1006、分割模块1008和分类模块1010，其中：
接收模块1002，用于接收待检测车道线图像及其帧序列号。
提取模块1004，用于调用预先训练好的分割网络，将待检测车道线图像输入至分割网络的主干网络，提取待检测车道线图像的共享特征。
获取模块1006，用于当根据帧序列号确定待检测车道线图像不为关键帧图像时，根据帧序列号获取对应关键帧图像的车道线实例聚类图像；其中，关键帧图像的车道线实例聚类图像通过分割网络的实例分割分支网络根据关键帧图像的共享特征检测得到。
分割模块1008，用于将共享特征输入分割网络的语义分割分支网络，通过语义分割分支网络对待检测车道线图像进行语义分割，得到待检测车道线图像对应的二进制车道线图像。
分类模块1010，用于根据关键帧图像的车道线实例聚类图像对二进制车道线图像进行实例分类，得到实例车道线结果
在一个实施例中，分割模块1008还用于，当根据帧序列号确定待检测车道线图像为关键帧图像时，将共享特征输入实例分割分支网络，通过实例分割分支网络对待检测车道线图像进行实例分割，得到待检测车道线图像的车道线实例分割图像；对车道线实例分割图像对应的图像矩阵进行聚类，得到待检测车道线图像对应的车道线实例聚类图像；
分类模块1010还用于根据待检测车道线图像对应的车道线实例聚类图像对二进制车道线图像进行实例分类，得到实例车道线结果。
在一个实施例中，车道线检测装置还包括训练模块，用于获取训练数据集；训练数据集中包括训练样本以及训练样本对应的标注结果；将训练样本输入待训练分割网络的待训练主干网络，通过待训练主干网络提取训练样本的共享特征；将训练样本的共享特征分别输入待训练分割网络的待训练语义分割分支网络和待训练实例分割分支网络，通过待训练语义分割分支网络和待训练实例分割分支网络分别对训练样本进行语义分割和实例分割，得到训练结果；获取损失函数，基于损失函数的约束对训练结果和所述标注结果进行收敛，直至满足结束条件，得到训练好的分割网络。
在一个实施例中，训练模块还用于基于损失函数的约束计算训练结果和标注结果的损失值；损失函数包括背景点的约束，背景点为与质心的距离不大于类间的距离边缘的特征点；根据损失值对待训练分割网络的参数进行调整，迭代训练调整参数后的待训练分割网络，直至满足结束条件，得到训练好的分割网络。
关于车道线检测装置的具体限定可以参见上文中对于车道线检测方法的限定，在此不再赘述。上述车道线检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车道线检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现本申请任意一个实施例中提供的车道线检测方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任意一个实施例中提供的车道线检测方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车道线检测方法，所述方法包括：
接收待检测车道线图像及其帧序列号；
调用预先训练好的分割网络，将所述待检测车道线图像输入至所述分割网络的主干网络，提取所述待检测车道线图像的共享特征；
当根据所述帧序列号确定所述待检测车道线图像不为关键帧图像时，根据所述帧序列号获取对应关键帧图像的车道线实例聚类图像；其中，所述关键帧图像的车道线实例聚类图像通过所述分割网络的实例分割分支网络根据所述关键帧图像的共享特征检测得到；
将所述共享特征输入所述分割网络的语义分割分支网络，通过所述语义分割分支网络对所述待检测车道线图像进行语义分割，得到所述待检测车道线图像对应的二进制车道线图像；
根据所述关键帧图像的车道线实例聚类图像对所述二进制车道线图像进行实例分类，得到实例车道线结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当根据所述帧序列号确定所述待检测车道线图像为关键帧图像时，将所述共享特征输入所述实例分割分支网络，通过所述实例分割分支网络对所述待检测车道线图像进行实例分割，得到所述待检测车道线图像的车道线实例分割图像；
对所述车道线实例分割图像对应的图像矩阵进行聚类，得到所述待检测车道线图像对应的车道线实例聚类图像；
根据所述待检测车道线图像对应的车道线实例聚类图像对所述二进制车道线图像进行实例分类，得到实例车道线结果。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练数据集；所述训练数据集中包括训练样本以及所述训练样本对应的标注结果；
将所述训练样本输入所述待训练分割网络的待训练主干网络，通过所述待训练主干网络提取所述训练样本的共享特征；
将所述训练样本的共享特征分别输入所述待训练分割网络的待训练语义分支分割网络和待训练实例分割分支网络，通过所述待训练语义分割分支网络和所述待训练实例分割分支网络分别对所述训练样本进行语义分割和实例分割，得到训练结果；
获取损失函数，基于所述损失函数的约束对所述训练结果和所述标注结果进行收敛，直至满足结束条件，得到训练好的分割网络。
4.根据权利要求3所述的方法，其特征在于，所述基于所述损失函数的约束对所述训练结果和所述标注结果进行收敛，直至满足收敛条件，得到训练好的分割网络，包括：
基于所述损失函数的约束计算所述训练结果和所述标注结果的损失值；所述损失函数包括背景点的约束，所述背景点为与质心的距离不大于类间的距离边缘的特征点；
根据所述损失值对所述待训练分割网络的参数进行调整，迭代训练调整参数后的待训练分割网络，直至满足结束条件，得到训练好的分割网络。
5.根据权利要求3或4任一项所述的方法，其特征在于，所述损失函数为：
Lfinal＝a·L+b·Lbk+c·CrossEntropyLoss(lpred,ltruth)；
其中，Lfinal表示损失函数，L表示常规损失函数，a表示常规损失函数的权重，Lbk表示背景点的约束函数，b表示背景点约束函数的权重，c表示车道线分割权重，CrossEntropyLoss为交叉熵，lpred表示待训练语义分割分支网络输出的分割结果，ltruth表示标注结果。
6.根据权利要求5所述的方法，其特征在于，所述背景点的约束函数Lbk为：
Figure FDA0002342017600000021
其中，C表示真实值中车道线的条数，Y表示符合约束条件的背景点集合，背景点集合里面的背景点yi满足与质心μc的距离小于类间的距离边缘δd，δv表示类内的距离边缘，NY表示每个背景集合点的个数，BK表示所有背景点集合。
7.根据权利要求5所述的方法，其特征在于，所述常规损失函数L为：
L＝α·Lva+β·Ldist+γ·Lreg
其中，L表示常规损失函数，α、β和γ表示权重，Lva表示类内拉力函数、Ldist表示类间推力函数，Lreg表示正则项式；
所述类内拉力函数为：
Figure FDA0002342017600000031
所述类间推理函数为：
Figure FDA0002342017600000032
其中，C表示真实值中车道线的条数，Nc表示每条车道线中点的个数，xi表示实例分割分支网络输出的特征向量，μc表示质心，||·||表示L1范数或L2范数距离，[x]+＝max(0,x)表示最大截取函数，δv和δd分别表示类内的距离边缘和类间的距离边缘，CA表示A车道线上点的集合，CB表示B车道线上点的集合，μCA表示车道线的质心，μCB表示车道线的质心。
8.一种车道线检测装置，其特征在于，所述装置包括：
接收模块，用于接收待检测车道线图像及其帧序列号；
提取模块，用于调用预先训练好的分割网络，将所述待检测车道线图像输入至所述分割网络的主干网络，提取所述待检测车道线图像的共享特征；
获取模块，用于当根据所述帧序列号确定所述待检测车道线图像不为关键帧图像时，根据所述帧序列号获取对应关键帧图像的车道线实例聚类图像；其中，所述关键帧图像的车道线实例聚类图像通过所述分割网络的实例分割分支网络根据所述关键帧图像的共享特征检测得到；
分割模块，用于将所述共享特征输入所述分割网络的语义分割分支网络，通过所述语义分割分支网络对所述待检测车道线图像进行语义分割，得到所述待检测车道线图像对应的二进制车道线图像；
分类模块，用于根据所述关键帧图像的车道线实例聚类图像对所述二进制车道线图像进行实例分类，得到实例车道线结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201911379944.3A 2019-12-27 2019-12-27 车道线检测方法、装置、计算机设备和存储介质 Active CN111178245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911379944.3A CN111178245B (zh) 2019-12-27 2019-12-27 车道线检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911379944.3A CN111178245B (zh) 2019-12-27 2019-12-27 车道线检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111178245A true CN111178245A (zh) 2020-05-19
CN111178245B CN111178245B (zh) 2023-12-22

Family

ID=70655787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911379944.3A Active CN111178245B (zh) 2019-12-27 2019-12-27 车道线检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111178245B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639593A (zh) * 2020-05-28 2020-09-08 东软睿驰汽车技术（沈阳）有限公司 车道线标签处理方法及装置
CN111738310A (zh) * 2020-06-04 2020-10-02 科大讯飞股份有限公司 物料分类方法、装置、电子设备和存储介质
CN111898540A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 车道线检测方法、装置、计算机设备及计算机可读存储介质
CN111986209A (zh) * 2020-06-24 2020-11-24 深圳市自行科技有限公司 基于铁轨实例分割预测列车可行驶区域系统和方法
CN112084988A (zh) * 2020-06-08 2020-12-15 深圳佑驾创新科技有限公司 车道线实例聚类方法、装置、电子设备和存储介质
CN112560637A (zh) * 2020-12-10 2021-03-26 长沙理工大学 一种基于深度学习的服饰解析方法、设备及存储介质
CN112560684A (zh) * 2020-12-16 2021-03-26 北京百度网讯科技有限公司 车道线检测方法、装置、电子设备、存储介质以及车辆
CN112819008A (zh) * 2021-01-11 2021-05-18 腾讯科技（深圳）有限公司 实例检测网络的优化方法、装置、介质及电子设备
CN112949493A (zh) * 2021-03-03 2021-06-11 深圳瑞为智能科技有限公司 一种结合语义分割和注意力机制的车道线检测方法及系统
CN113096079A (zh) * 2021-03-30 2021-07-09 四川大学华西第二医院 图像分析系统及其构建方法
CN113269171A (zh) * 2021-07-20 2021-08-17 魔视智能科技(上海)有限公司 车道线检测方法、电子设备及车辆
CN113344979A (zh) * 2021-06-29 2021-09-03 北京搜狗科技发展有限公司 一种车道线跟踪方法、装置和用于车道线跟踪的装置
CN113569620A (zh) * 2021-05-24 2021-10-29 惠州市德赛西威智能交通技术研究院有限公司 一种基于单目视觉的路面标记实例化识别的方法
CN113705436A (zh) * 2021-08-27 2021-11-26 一汽解放青岛汽车有限公司 一种车道信息确定方法、装置、电子设备及介质
CN113807355A (zh) * 2021-07-29 2021-12-17 北京工商大学 一种基于编解码结构的图像语义分割方法
CN115393595A (zh) * 2022-10-27 2022-11-25 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法和电子装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015078075A1 (zh) * 2013-11-27 2015-06-04 智慧城市系统服务（中国）有限公司 一种车道线检测方法及装置
CN108256506A (zh) * 2018-02-14 2018-07-06 北京市商汤科技开发有限公司 一种视频中物体检测方法及装置、计算机存储介质
CN108921089A (zh) * 2018-06-29 2018-11-30 驭势科技（北京）有限公司 车道线检测方法、装置和系统及存储介质
US20190138816A1 (en) * 2017-07-26 2019-05-09 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for segmenting video object, electronic device, and storage medium
CN109740465A (zh) * 2018-12-24 2019-05-10 南京理工大学 一种基于实例分割神经网络框架的车道线检测算法
CN110008808A (zh) * 2018-12-29 2019-07-12 北京迈格威科技有限公司 全景分割方法、装置和系统及存储介质
CN110197151A (zh) * 2019-05-28 2019-09-03 大连理工大学 一种结合双分支网络和自定义函数网络的车道线检测系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015078075A1 (zh) * 2013-11-27 2015-06-04 智慧城市系统服务（中国）有限公司 一种车道线检测方法及装置
US20190138816A1 (en) * 2017-07-26 2019-05-09 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for segmenting video object, electronic device, and storage medium
CN108256506A (zh) * 2018-02-14 2018-07-06 北京市商汤科技开发有限公司 一种视频中物体检测方法及装置、计算机存储介质
CN108921089A (zh) * 2018-06-29 2018-11-30 驭势科技（北京）有限公司 车道线检测方法、装置和系统及存储介质
CN109740465A (zh) * 2018-12-24 2019-05-10 南京理工大学 一种基于实例分割神经网络框架的车道线检测算法
CN110008808A (zh) * 2018-12-29 2019-07-12 北京迈格威科技有限公司 全景分割方法、装置和系统及存储介质
CN110197151A (zh) * 2019-05-28 2019-09-03 大连理工大学 一种结合双分支网络和自定义函数网络的车道线检测系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴一全;刘莉;: "基于视觉的车道线检测方法研究进展", 仪器仪表学报, no. 12 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639593A (zh) * 2020-05-28 2020-09-08 东软睿驰汽车技术（沈阳）有限公司 车道线标签处理方法及装置
CN111738310A (zh) * 2020-06-04 2020-10-02 科大讯飞股份有限公司 物料分类方法、装置、电子设备和存储介质
CN111738310B (zh) * 2020-06-04 2023-12-01 科大讯飞股份有限公司 物料分类方法、装置、电子设备和存储介质
CN112084988A (zh) * 2020-06-08 2020-12-15 深圳佑驾创新科技有限公司 车道线实例聚类方法、装置、电子设备和存储介质
CN112084988B (zh) * 2020-06-08 2024-01-05 武汉佑驾创新科技有限公司 车道线实例聚类方法、装置、电子设备和存储介质
CN111986209A (zh) * 2020-06-24 2020-11-24 深圳市自行科技有限公司 基于铁轨实例分割预测列车可行驶区域系统和方法
CN111898540B (zh) * 2020-07-30 2024-07-09 平安科技（深圳）有限公司 车道线检测方法、装置、计算机设备及计算机可读存储介质
CN111898540A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 车道线检测方法、装置、计算机设备及计算机可读存储介质
CN112560637B (zh) * 2020-12-10 2024-03-15 长沙理工大学 一种基于深度学习的服饰解析方法、设备及存储介质
CN112560637A (zh) * 2020-12-10 2021-03-26 长沙理工大学 一种基于深度学习的服饰解析方法、设备及存储介质
US11967132B2 (en) 2020-12-16 2024-04-23 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Lane marking detecting method, apparatus, electronic device, storage medium, and vehicle
CN112560684B (zh) * 2020-12-16 2023-10-24 阿波罗智联(北京)科技有限公司 车道线检测方法、装置、电子设备、存储介质以及车辆
CN112560684A (zh) * 2020-12-16 2021-03-26 北京百度网讯科技有限公司 车道线检测方法、装置、电子设备、存储介质以及车辆
CN112819008A (zh) * 2021-01-11 2021-05-18 腾讯科技（深圳）有限公司 实例检测网络的优化方法、装置、介质及电子设备
CN112819008B (zh) * 2021-01-11 2022-10-28 腾讯科技（深圳）有限公司 实例检测网络的优化方法、装置、介质及电子设备
CN112949493A (zh) * 2021-03-03 2021-06-11 深圳瑞为智能科技有限公司 一种结合语义分割和注意力机制的车道线检测方法及系统
CN112949493B (zh) * 2021-03-03 2024-04-09 深圳瑞为智能科技有限公司 一种结合语义分割和注意力机制的车道线检测方法及系统
CN113096079B (zh) * 2021-03-30 2023-12-29 四川大学华西第二医院 图像分析系统及其构建方法
CN113096079A (zh) * 2021-03-30 2021-07-09 四川大学华西第二医院 图像分析系统及其构建方法
CN113569620A (zh) * 2021-05-24 2021-10-29 惠州市德赛西威智能交通技术研究院有限公司 一种基于单目视觉的路面标记实例化识别的方法
CN113344979A (zh) * 2021-06-29 2021-09-03 北京搜狗科技发展有限公司 一种车道线跟踪方法、装置和用于车道线跟踪的装置
CN113344979B (zh) * 2021-06-29 2024-04-16 北京搜狗科技发展有限公司 一种车道线跟踪方法、装置和用于车道线跟踪的装置
CN113269171A (zh) * 2021-07-20 2021-08-17 魔视智能科技(上海)有限公司 车道线检测方法、电子设备及车辆
CN113807355B (zh) * 2021-07-29 2023-08-25 北京工商大学 一种基于编解码结构的图像语义分割方法
CN113807355A (zh) * 2021-07-29 2021-12-17 北京工商大学 一种基于编解码结构的图像语义分割方法
CN113705436A (zh) * 2021-08-27 2021-11-26 一汽解放青岛汽车有限公司 一种车道信息确定方法、装置、电子设备及介质
CN115393595B (zh) * 2022-10-27 2023-02-03 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法、装置和介质
CN115393595A (zh) * 2022-10-27 2022-11-25 福思(杭州)智能科技有限公司 分割网络模型训练方法、车道线检测方法和电子装置

Also Published As

Publication number Publication date
CN111178245B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN111178245B (zh) 车道线检测方法、装置、计算机设备和存储介质
CN111160379B (zh) 图像检测模型的训练方法及装置、目标检测方法及装置
Wu et al. Lane-mark extraction for automobiles under complex conditions
Cai et al. Saliency-based pedestrian detection in far infrared images
CN110490902B (zh) 应用于智慧城市的目标跟踪方法、装置、计算机设备
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
KR101896357B1 (ko) 객체를 검출하는 방법, 디바이스 및 프로그램
US9904868B2 (en) Visual attention detector and visual attention detection method
CN108830240A (zh) 疲劳驾驶状态检测方法、装置、计算机设备和存储介质
Oğuz et al. A deep learning based fast lane detection approach
CN111191533A (zh) 行人重识别的处理方法、装置、计算机设备和存储介质
CN112001378B (zh) 基于特征空间的车道线处理方法、装置、车载终端和介质
CN111950498A (zh) 一种基于端到端实例分割的车道线检测方法及装置
CN112668374A (zh) 图像处理方法、装置、重识别网络的训练方法及电子设备
CN112348116A (zh) 利用空间上下文的目标检测方法、装置和计算机设备
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
US20040131236A1 (en) Method and apparatus for processing an image
Bisht et al. Integration of hough transform and inter-frame clustering for road lane detection and tracking
CN112132025A (zh) 应急车道图像处理方法、装置、计算机设备及存储介质
CN114898306B (zh) 一种检测目标朝向的方法、装置及电子设备
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
KR20230166840A (ko) 인공지능을 이용한 객체 이동 경로 확인 방법
CN115984321A (zh) 测速方法、装置、设备及存储介质
CN114494977A (zh) 一种异常停车检测方法、电子设备及存储介质
CN114299300A (zh) 一种车道线检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230428

Address after: 1201, 12th Floor, Building 1, No. 10 Caihefang Road, Haidian District, Beijing, 100080

Applicant after: Youjia Innovation (Beijing) Technology Co.,Ltd.

Address before: 518051 1101, west block, Skyworth semiconductor design building, 18 Gaoxin South 4th Road, Gaoxin community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant