[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111222417A - 一种用于提高基于车载图像车道线提取精度的方法及装置 - Google Patents

一种用于提高基于车载图像车道线提取精度的方法及装置 Download PDF

Info

Publication number
CN111222417A
CN111222417A CN201911350299.2A CN201911350299A CN111222417A CN 111222417 A CN111222417 A CN 111222417A CN 201911350299 A CN201911350299 A CN 201911350299A CN 111222417 A CN111222417 A CN 111222417A
Authority
CN
China
Prior art keywords
lane line
vehicle
coordinate system
image
world coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911350299.2A
Other languages
English (en)
Inventor
刘春成
周超
陈岩
罗跃军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heading Data Intelligence Co Ltd
Original Assignee
Heading Data Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heading Data Intelligence Co Ltd filed Critical Heading Data Intelligence Co Ltd
Priority to CN201911350299.2A priority Critical patent/CN111222417A/zh
Publication of CN111222417A publication Critical patent/CN111222417A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于提高基于车载图像车道线提取精度的方法及装置，本发明首先获取车辆左右侧传感器采集的图像数据和车载激光雷达采集的世界坐标系下的激光点云数据，并确定图像拼接平面，其次拼接左右侧图像数据，并对所述图像数据中的车道线进行识别，将车道线的图像坐标值变换为世界坐标值，然后根据车道线在世界坐标系下的XY值，利用激光点云数据对车道线进行高程纠正。针对基于车载单张前视图进行车道线提取时，由于景深原因导致车道线提取在距离车辆较远的地方精度不高的问题，考虑到在车辆左右侧的车道线距离车辆比较近，采取对左右侧视图进行拼接的方法对精度进行优化，该方法精度较高，而且基本不受硬件设备的影响，适应性较强。

Description

一种用于提高基于车载图像车道线提取精度的方法及装置
技术领域
本发明涉及自动驾驶高精度地图制作技术领域，具体涉及一种用于提高基于车载图像车道线提取精度的方法及装置。
背景技术
车道线为确定一条行车道范围的左右边线，一般情况下，车道范围由地面印刷的车道线确定，大致分为单虚线、单实线、双实线、双虚线以及虚实线五种类型，确保车辆行驶在正确车道内，为车辆行驶提供安全保障，在自动驾驶高精度地图制作中，是最重要的道路要素。通常在基于车载图像对车道线提取中，是利用单张前视图进行处理，但前视图景深较长，图像中距离车越远的位置，车道线提取精度越差，所以，利用前视图进行车道线提取，如果要保证精度，就需要有一个图像有效范围的限制，这个因素主要与硬件设备和精度要求有关，需要根据经验进行反复测试，从而得到适应当前设备所采集图像的有效范围值，所以适应性较差。
发明内容
本发明针对现有技术中存在的技术问题，提供一种用于提高基于车载图像车道线提取精度的方法及装置，针对基于车载单张前视图进行车道线提取时，由于景深原因导致车道线提取在距离车辆较远的地方精度不高的问题，考虑到在车辆左右侧的车道线距离车辆比较近，采取对左右侧视图进行拼接的方法对精度进行优化，该方法精度较高，而且基本不受硬件设备的影响，适应性较强。
本发明解决上述技术问题的技术方案如下：
第一方面，本发明提供一种用于提高基于车载图像车道线提取精度的方法，包括以下步骤：
S1，获取车辆左右侧传感器采集的图像数据和车载激光雷达采集的世界坐标系下的激光点云数据，并确定图像拼接平面；
S2，拼接左右侧图像数据，并对所述图像数据中的车道线进行识别，将车道线的图像坐标值变换为世界坐标值；
S3，根据车道线在世界坐标系下的XY值，利用激光点云数据对车道线进行高程纠正。
进一步的，在所述步骤S1之前还包括，对车辆左右侧传感器进行标定，获取左右侧车道线在世界坐标系和像素坐标系之间进行变换的单应性矩阵。
进一步的，步骤S2中所述的将车道线的图像坐标值变换为世界坐标值，具体为：
利用所述的左右侧车道线在世界坐标系和像素坐标系之间进行变换的单应性矩阵将车道线的图像坐标值变换为世界坐标值。
进一步的，该方法还包括：
S4，对高程纠正后得到的车道线图像数据进行去噪、抽稀及平滑处理。
第二方面，本发明还提供一种用于提高基于车载图像车道线提取精度的装置，包括：
数据获取模块，用于获取车辆左右侧传感器采集的图像数据和车载激光雷达采集的世界坐标系下的激光点云数据，并确定图像拼接平面；
坐标转换模块，用于拼接左右侧图像数据，并对所述图像数据中的车道线进行识别，将车道线的图像坐标值变换为世界坐标值；
纠正模块，用于根据车道线在世界坐标系下的XY值，利用激光点云数据对车道线进行高程纠正。
进一步的，该装置还包括变换矩阵生成模块，用于根据车辆左右侧传感器的标定结果，获取左右侧车道线在世界坐标系和像素坐标系之间进行变换的单应性矩阵。
进一步的，该装置还包括优化模块，用于对高程纠正后得到的车道线图像数据进行去噪、抽稀及平滑处理。
第三方面，本发明还提供一种电子设备，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器存储的计算机软件程序，用于实现本发明第一方面所述的一种用于提高基于车载图像车道线提取精度的方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，所述存储介质内存储有用于实现本发明第一方面所述的一种用于提高基于车载图像车道线提取精度的方法的计算机软件程序。
本发明极大降低了图像景深长度对车道线提取精度影响，适应性较强，使图像的车道线识别精度整体提高，间接地降低了设备成本。
附图说明
图1为本发明实施例提供的一种用于提高基于车载图像车道线提取精度的方法流程图；
图2为本发明实施例提供的一种用于提高基于车载图像车道线提取精度的装置结构图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例一
本发明实施例提供一种用于提高基于车载图像车道线提取精度的方法，其目的是针对基于车载单张前视图进行车道线提取时，由于景深原因导致车道线提取在距离车辆较远的地方精度不高的问题，考虑到在车辆左右侧的车道线距离车辆比较近，采取对左右侧视图进行拼接的方法对精度进行优化，该方法精度较高，而且基本不受硬件设备的影响，适应性较强。
需要说明的是，本发明所用的数据有图像数据和激光点云数据，图像数据为车载全景相机的左右侧视图，激光点云数据为车载激光雷达采集的世界坐标下的点云数据。
具体的，如图1所示，该方法包括以下步骤：
S1，获取车辆左右侧传感器采集的图像数据和车载激光雷达采集的世界坐标系下的激光点云数据，并确定图像拼接平面，通常选为水平面。
在此之前，还需要对车载全景相机的左右侧传感器进行标定，以分别获取左右侧车道线在世界坐标系和像素坐标系之间进行变换的单应性矩阵，便于后续的图像拼接。
S2，拼接左右侧图像数据，并对所述图像数据中的车道线进行识别，用深度学习或者传统计算机视觉对拼接图像进行车道线识别处理。这里需要对识别结果进行滤波，尽量剔除误检，然后将车道线的图像坐标值变换为世界坐标值。
图像数据所在的像素坐标系与世界坐标系之间的坐标映射关系如下：
Figure BDA0002334493810000041
其中，u、v表示像素坐标系中的坐标，s表示尺度因子，fx、fy、u0、v0、γ表示5个相机内参，r、t表示相机外参，xw、yw、zw表示世界坐标系中的坐标。
单应性矩阵H定义为：
Figure BDA0002334493810000051
坐标映射关系可表示为：
Figure BDA0002334493810000052
S3，根据车道线在世界坐标系下的XY值，利用激光点云的反射强度值对结果进行平面精度优化，利用Z值进行高程纠正。同时利用车道线集合特征再次对结果进行误检剔除。
S4，对高程纠正后得到的车道线图像数据进行去噪、抽稀及平滑处理。
实施例二
如图2所示，本发明实施例提供一种用于提高基于车载图像车道线提取精度的装置，实现实施例一中所提供的方法，具体的该装置包括：
变换矩阵生成模块，用于根据车辆左右侧传感器的标定结果，获取左右侧车道线在世界坐标系和像素坐标系之间进行变换的单应性矩阵。
数据获取模块，用于获取车辆左右侧传感器采集的图像数据和车载激光雷达采集的世界坐标系下的激光点云数据，并确定图像拼接平面；
坐标转换模块，用于拼接左右侧图像数据，并对所述图像数据中的车道线进行识别，将车道线的图像坐标值变换为世界坐标值；
纠正模块，用于根据车道线在世界坐标系下的XY值，利用激光点云数据对车道线进行高程纠正。
优化模块，用于对高程纠正后得到的车道线图像数据进行去噪、抽稀及平滑处理。
需要说明的是，实施例一中所述的方法可以通过计算机软件程序实现，基于此，本发明实施例还提供一种电子设备，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器存储的计算机软件程序，用于实现一种用于提高基于车载图像车道线提取精度的方法。
同时还需说明的是，计算机软件程序中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于提高基于车载图像车道线提取精度的方法，其特征在于，包括以下步骤：
S1，获取车辆左右侧传感器采集的图像数据和车载激光雷达采集的世界坐标系下的激光点云数据，并确定图像拼接平面；
S2，拼接左右侧图像数据，并对所述图像数据中的车道线进行识别，将车道线的图像坐标值变换为世界坐标值；
S3，根据车道线在世界坐标系下的XY值，利用激光点云数据对车道线进行高程纠正。
2.根据权利要求1所述的方法，其特征在于，在所述步骤S1之前还包括，对车辆左右侧传感器进行标定，获取左右侧车道线在世界坐标系和像素坐标系之间进行变换的单应性矩阵。
3.根据权利要求2所述的方法，其特征在于，步骤S2中所述的将车道线的图像坐标值变换为世界坐标值，具体为：
利用所述的左右侧车道线在世界坐标系和像素坐标系之间进行变换的单应性矩阵将车道线的图像坐标值变换为世界坐标值。
4.根据权利要求1所述的方法，其特征在于，还包括：
S4，对高程纠正后得到的车道线图像数据进行去噪、抽稀及平滑处理。
5.一种用于提高基于车载图像车道线提取精度的装置，其特征在于，包括：
数据获取模块，用于获取车辆左右侧传感器采集的图像数据和车载激光雷达采集的世界坐标系下的激光点云数据，并确定图像拼接平面；
坐标转换模块，用于拼接左右侧图像数据，并对所述图像数据中的车道线进行识别，将车道线的图像坐标值变换为世界坐标值；
纠正模块，用于根据车道线在世界坐标系下的XY值，利用激光点云数据对车道线进行高程纠正。
6.根据权利要求5所述的装置，其特征在于，还包括变换矩阵生成模块，用于根据车辆左右侧传感器的标定结果，获取左右侧车道线在世界坐标系和像素坐标系之间进行变换的单应性矩阵。
7.根据权利要求5所述的装置，其特征在于，还包括优化模块，用于对高程纠正后得到的车道线图像数据进行去噪、抽稀及平滑处理。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器存储的计算机软件程序，用于实现权利要求1-4任一项所述的一种用于提高基于车载图像车道线提取精度的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述存储介质内存储有用于实现权利要求1-4任一项所述的一种用于提高基于车载图像车道线提取精度的方法的计算机软件程序。
CN201911350299.2A 2019-12-24 2019-12-24 一种用于提高基于车载图像车道线提取精度的方法及装置 Pending CN111222417A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911350299.2A CN111222417A (zh) 2019-12-24 2019-12-24 一种用于提高基于车载图像车道线提取精度的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911350299.2A CN111222417A (zh) 2019-12-24 2019-12-24 一种用于提高基于车载图像车道线提取精度的方法及装置

Publications (1)

Publication Number Publication Date
CN111222417A true CN111222417A (zh) 2020-06-02

Family

ID=70829163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911350299.2A Pending CN111222417A (zh) 2019-12-24 2019-12-24 一种用于提高基于车载图像车道线提取精度的方法及装置

Country Status (1)

Country Link
CN (1) CN111222417A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881752A (zh) * 2020-06-27 2020-11-03 武汉中海庭数据技术有限公司 一种护栏检测分类方法、装置、电子设备及存储介质
CN112837384A (zh) * 2021-03-01 2021-05-25 东软睿驰汽车技术（沈阳）有限公司 车辆标记方法、装置和电子设备
CN113255619A (zh) * 2021-07-09 2021-08-13 禾多科技（北京）有限公司 车道线识别及定位方法、电子设备和计算机可读介质
WO2021253245A1 (zh) * 2020-06-16 2021-12-23 华为技术有限公司 识别车辆变道趋势的方法和装置
CN117152707A (zh) * 2023-10-31 2023-12-01 武汉未来幻影科技有限公司 一种车辆偏移距离的计算方法、装置以及处理设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036279A (zh) * 2014-06-12 2014-09-10 北京联合大学 一种智能车行进控制方法及系统
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN110163930A (zh) * 2019-05-27 2019-08-23 北京百度网讯科技有限公司 车道线生成方法、装置、设备、系统及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036279A (zh) * 2014-06-12 2014-09-10 北京联合大学 一种智能车行进控制方法及系统
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
CN107463918A (zh) * 2017-08-17 2017-12-12 武汉大学 基于激光点云与影像数据融合的车道线提取方法
CN110163930A (zh) * 2019-05-27 2019-08-23 北京百度网讯科技有限公司 车道线生成方法、装置、设备、系统及可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021253245A1 (zh) * 2020-06-16 2021-12-23 华为技术有限公司 识别车辆变道趋势的方法和装置
CN111881752A (zh) * 2020-06-27 2020-11-03 武汉中海庭数据技术有限公司 一种护栏检测分类方法、装置、电子设备及存储介质
CN112837384A (zh) * 2021-03-01 2021-05-25 东软睿驰汽车技术（沈阳）有限公司 车辆标记方法、装置和电子设备
CN113255619A (zh) * 2021-07-09 2021-08-13 禾多科技（北京）有限公司 车道线识别及定位方法、电子设备和计算机可读介质
CN117152707A (zh) * 2023-10-31 2023-12-01 武汉未来幻影科技有限公司 一种车辆偏移距离的计算方法、装置以及处理设备
CN117152707B (zh) * 2023-10-31 2024-03-22 武汉未来幻影科技有限公司 一种车辆偏移距离的计算方法、装置以及处理设备

Similar Documents

Publication Publication Date Title
CN111222417A (zh) 一种用于提高基于车载图像车道线提取精度的方法及装置
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
US10789719B2 (en) Method and apparatus for detection of false alarm obstacle
CN112348902B (zh) 路端相机的安装偏差角标定方法、装置及系统
CN113988112B (zh) 车道线的检测方法、装置、设备及存储介质
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN114067001B (zh) 车载相机角度标定方法、终端及存储介质
US20200191971A1 (en) Method and System for Vehicle Detection Using LIDAR
CN112733672B (zh) 基于单目相机的三维目标检测方法、装置和计算机设备
CN112146848A (zh) 一种确定摄像头的畸变参数的方法及装置
CN114280582A (zh) 激光雷达的标定校准方法、装置、存储介质及电子设备
CN112348752B (zh) 一种基于平行约束的车道线消失点补偿方法及装置
CN113297958A (zh) 一种自动化标注方法、装置、电子设备和存储介质
CN110310243B (zh) 一种无人机摄影测量的图像校正方法、系统和存储介质
CN114140533A (zh) 摄像头外参标定的方法与装置
CN110796604A (zh) 一种图像校正方法及装置
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
CN116912328A (zh) 一种逆透视变换矩阵的标定方法及装置
CN116630401A (zh) 鱼眼相机测距方法及终端
CN113468955B (zh) 用于估计交通场景中两点间距离的方法、设备及存储介质
CN112654997B (zh) 一种车道线检测方法和装置
CN110827337A (zh) 确定车载相机的姿态的方法、装置和电子设备
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム
CN114842443A (zh) 一种基于机器视觉的目标物识别和测距方法、装置、设备及存储介质
CN117173257B (zh) 3d目标检测及其标定参数增强方法、电子设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200602