[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109859278B - 车载相机系统相机外参的标定方法及标定系统 - Google Patents

车载相机系统相机外参的标定方法及标定系统 Download PDF

Info

Publication number
CN109859278B
CN109859278B CN201910070089.1A CN201910070089A CN109859278B CN 109859278 B CN109859278 B CN 109859278B CN 201910070089 A CN201910070089 A CN 201910070089A CN 109859278 B CN109859278 B CN 109859278B
Authority
CN
China
Prior art keywords
angle
camera
point
correction
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910070089.1A
Other languages
English (en)
Other versions
CN109859278A (zh
Inventor
李方
刘杨
卢金波
胡坤福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Desay SV Automotive Co Ltd
Original Assignee
Huizhou Desay SV Automotive Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Desay SV Automotive Co Ltd filed Critical Huizhou Desay SV Automotive Co Ltd
Priority to CN201910070089.1A priority Critical patent/CN109859278B/zh
Publication of CN109859278A publication Critical patent/CN109859278A/zh
Priority to PCT/CN2019/098633 priority patent/WO2020151212A1/zh
Application granted granted Critical
Publication of CN109859278B publication Critical patent/CN109859278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种车载相机系统相机外参的标定方法，应用于电子设备，包括：获取一帧图像信息，通过车道线检测方法世界识别图像信息中的车道线信息；在每条车道线上随机选取至少两个特征点，计算所述特征点在世界坐标系上的坐标，并结合相机高度利用反三角函数求取角度修正量；利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度。本发明通过前视摄像头获取前方道路图像，提取道路图像中车道线与目标车辆位置信息，利用车道线信息结合静态标定结果和反三角函数动态求解出相机的外参角度，求解出更为准确的相机外参角度，并以此根据图像中目标车辆的位置求解出目标相对于车身的距离。

Description

车载相机系统相机外参的标定方法及标定系统
技术领域
本申请涉及车载相机系统数据处理领域，特别涉及一种车载相机系统相机外参的标定方法及标定系统。
背景技术
相机标定在二维图像中恢复物体的三维信息的过程中至关重要，在相机的成像几何模型中空间点与图像平面上像点之间存在对应关系，这个对应关系是由摄像机参数决定的。通常摄像机包含相机内参与外参，内参为摄像机自身的参数，外参为摄像机安装位置上如俯仰角、旋转角和偏航角等。从广义上来分，目前可将相机标定分为两类，即传统的摄像机标定法与摄像机自标定法。
1、传统的摄像机标定法在相机静止环境下，相机标定通常通过传统的定标方法进行标定，这一过程需要利用标定板在图像平面的成像位置，计算出相机的内外参数。这种方法的缺点是只能用于相机相对静止的环境，在许多应用场景中难以实现。例如，在车载相机系统中，利用视觉实现目标位置估计，由于车辆在行驶过程由于道路原因中会产生振动，从而会导致相机外参发生变化，进而影响摄像机坐标系与世界坐标系的转换矩阵，此时如果相机没有实现实时标定，会进一步影响目标距离位置的准确性，难以安全有效地进行导航决策。
2、摄像机自标定法，该方法无需利用标定板进行标定。目前动态标定的方法有利用车辆与平行线的距离与消失点进行标定的方法，需要的条件较多。只适用于特定道路，通用性较低。
因此，需要提出一种可以准确计算相机外参角度的标定方法，以获得载摄像机实时、准确的外参角度。
申请内容
本专利提供一种车载相机系统相机外参的标定方法及标定系统，利用了车道线结合反三角函数，使得求解出的相机外参角度更为准确。
本专利提供一种车载相机系统相机外参的标定方法，应用于电子设备，包括：
获取一帧图像信息，通过车道线检测方法世界识别图像信息中的车道线信息；
在每条车道线上随机选取至少两个特征点，计算所述特征点在世界坐标系上的坐标，并结合相机高度利用反三角函数求取角度修正量；
利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度。
可选的，所述相机外参角度包括俯仰角、偏航角和滚动角中的至少一种。
可选的，利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度，包括
将上一次修正的外参角度作为输入，并与本次求取的角度修正量相加，或者本次修正的外参角度并输出；
判断本次修正的角度修正量是否小于修正阈值，若是则完成本步骤，否则继续迭代补偿。
可选的，迭代补偿采用牛顿法进行迭代计算。
可选的，所述俯仰角的修正步骤包括：
在当前帧图像信息中选取在左车道线上的任意两点L1、L2，和右车道线上的任意一点R1，并计算各点的世界坐标；
采用如下公式进行修正
其中，pitchi为当前帧图像信息中的第i次修正时的俯仰角角度，h为相机高度，L1.x为点L1的横向坐标值，L1.y为点L1的纵向坐标值，L2.x为点L2的横向坐标值，L2.y为点L2的纵向坐标值，R1.x为点R1的横向坐标值。
可选的，俯仰角迭代修正后还采用光流信息进一步修正，包括：
在本帧图像信息中进行目标识别，并选取目标的至少一个跟踪点的坐标，通过光流信息采集该跟踪点在下一帧图像信息中的坐标，形成一组跟踪点组；
计算出多组跟踪点组之间的像素距离比，并取其中间值S；
通过跟踪点像素距离比中间值S以及当前帧图像信息中与目标的距离Z0，利用小孔成像原理计算下一帧图像信息的距离Z1，同时根据相机外参角度计算出目标距离Zcam；
利用迭代法通过如下公式对俯仰角进行修正
当Zcam与Z1的差值小于修正阈值时，修正结束。
可选的，所述偏航角的修正步骤包括：
在当前帧图像信息中选取在左车道线上的任意两点L1、L2，和右车道线上的任意两点R1、R2，并计算各点的世界坐标；
采用如下公式进行修正
其中，yawi为当前帧图像信息中的第i次修正时的偏航角角度，L1.x为点L1的横向坐标值，L1.y为点L1的纵向坐标值，L2.x为点L2的横向坐标值，L2.y为点L2的纵向坐标值，R1.x为点R1的横向坐标值，R1.y为点R1的纵向坐标值，R2.x为点R2的横向坐标值，R2.y为点R2的纵向坐标值。
可选的，所述滚动角的修正步骤包括：
在当前帧图像信息中选取在左车道线上的任意一点L1、右车道线上的任意一点R1以及邻近车道线的任意一点N1，并计算各点的世界坐标；
采用如下公式进行修正
当邻近车道线为左邻近车道时，其滚动角修正公式如下：
当邻近车道线为右邻近车道时，其滚动角修正公式如下：
其中，rolli为当前帧图像信息中的第i次修正时的滚动角角度，h为相机高度，L1.x为点L1的横向坐标值，R1.x为点R1的横向坐标值，N1.x为点N1的横向坐标值。
可选的，所述修正阈值为0.01°～0.1°之间的任一值，进一步优选为0.05°。
另外，本发明还提供一种车载相机外参标定系统，其特征在于，包括
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行；
所述一个或多个应用程序被配置为用于执行上述任意一项所述的车载相机系统相机外参的标定方法的步骤。
由上可知，本发明通过前视摄像头获取前方道路图像，提取道路图像中车道线与目标车辆位置信息，利用车道线信息结合静态标定结果和反三角函数动态求解出相机的外参角度，运用Opencv提取图像中目标车辆检测框内的光流信息，利用光流信息对计算出的相机外参角度进行调整，求解出更为准确的相机外参角度，并以此根据图像中目标车辆的位置求解出目标相对于车身的距离。
附图说明
图1为本申请实施例提供的车载相机系统相机外参的标定方法的实现流程图。
图2为本申请实施例提供的外参偏差后的车道线示意图。
图3为本申请实施例提供的进行修正时特征点选取的原理图。
图4为本申请实施例提供的利用光流信息修正俯仰角的流程图。
图5为本申请实施例提供的偏航角修正的原理图。
图6为本申请实施例提供的滚动角修正的原理图。
图7为本申请实施例提供的标定系统示意图。
具体实施方式
下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征更易被本领域技术人员理解，从而对本申请的保护范围作出更为清楚的界定。
请参阅图1，图中示出了本申请实施例提供的车载相机系统相机外参的标定方法的实现流程。
该车载相机系统相机外参的标定方法应用于电子设备，该电子设备可以为安装于汽车上的车载电子设备。该车载电子设备可以包括车道线检测模块、世界坐标转换模块和迭代计算修正模块。
该车道线检测模块用于识别当前帧图像中的车道线特征，并对车道线进行识别和标记，供后续修正计算。
该世界坐标转换模块用于将当前帧图像信息从平面二维坐标转换成世界三维坐标。
该迭代计算修正模块用于对转换成三维坐标之后的图像信息计算修正当前相机的外参角度，使其完成标定。
请参阅图1，图中示出了本申请实施例提供的车载相机系统相机外参的标定方法的实现流程。
如图1所示，一种车载相机系统相机外参的标定方法，应用于电子设备中，该电子设备可以为如上实施例所述的电子设备，该方法包括：
101、获取一帧图像信息，通过车道线检测方法世界识别图像信息中的车道线信息。
该帧图像信息中，应当包括车道线信息，由于图像信息由设置在车前方的单目相机获得，其在识别的过程中通常除了识别左车道和右车道信息外，还会根据需要对邻近车道的车道线进行识别。
同时为了避免初次标定出现误差，系统自动将相机外参角度赋初值为0。在计算相机外参的修正之前，系统会通过静态标定的方式，对相机外参进行一次计算，从而确定其相机高度等信息，本专利所重点修正的包括俯仰角、偏航角和滚动角。
其中，俯仰角值得是相机拍摄方向与水平面之间的夹角，偏航角为相机拍摄方向与竖直平面的夹角，滚动角则是相机以其拍摄方向为轴心的旋转角度。
这三个相机外参在将图像信息从二维坐标系转换为三维世界坐标系的过程中起到了重要的作用。在未经过修正而直接通过简单静态标定获得的三维世界坐标系下，车道线会出现如下几种情况，如图2所示。
图2示意出了本专利的三种相机外参出现偏差时，车道线在图像信息转换后出现的偏差情况。其中如果俯仰角偏大或偏小，则车道线在世界坐标系中呈现出如图所示的“内八”或“外八”形状，如图2(a)。同样当偏航角不正确时，车道线中线会向一方倾斜，在世界坐标系中形成如平行四边形的状态，如图2(b)。滚动角不正确时，则其在世界坐标系中两条车道宽度会不相等，如图2(c)。
只有当相机外参角度全部正确时，将图像坐标投影到世界坐标时车道线才会同时出现“平行”、“垂直”、“等距”的情况。因此可以利用上述现象对相机外参角度进行修正，直至车道线投影结果满足以上三种情况，即“平行”、“垂直”、“等距”。
102、在每条车道线上随机选取至少两个特征点，计算所述特征点在世界坐标系上的坐标，并结合相机高度利用反三角函数求取角度修正量。
其中，在特征点的选取过程中，其可以优选地选取车道线的边缘部分，由于与周围能够形成。将图像特征点从平面坐标转换为世界坐标系的方法有很多种，本专利的重点在于通过完成转换的世界坐标系对相机进行外参角度的求取，因此本专利不对坐标系的转换进行赘述。在一些实施例中，转换方法可以但不仅限于采取FPR模型(Fast PerspectiveRemoval，快速去透视)进行转换。
其中，相机高度的获得也可以是多种形式的，本专利的预设条件是相机高度为已知，由于相机高度在运行过程中相对恒定，因此可以但不仅限于采用静态标定的方式进行快速获得，从而减小系统的整体计算量。
本专利实施例中，修正的相机外参均为角度参数，因此修正量也是角度参数。其修正的基本原理是通过左车道、右车道和/或相邻车道线中各个随机特征点之间的坐标位置关系中寻找合适的三角函数关系，计算其与理想工况下的偏差值，并且进一步地对三角函数关系进行反三角函数处理，计算出相应的角度修正量。通过反三角函数进行角度修正量的计算所涉及的计算量相对于其他的计算方式更加小，而且数据转换步骤少，可简单直接地获得。
103、利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度。
其中，本专利实施例中，迭代法优选采用的是牛顿迭代法。其将前一次计算输出的参数作为当前修正的输入参数，并进行一次修正计算，在将该次计算输出的参数作为下一次休整计算的输入参数。从而使外参角度逐渐逼近准确值。
为了减少计算量，在每次修正计算后都会将前一次计算获得的相机外参角度与当前计算所得的相机外参角度进行求差获得修正参数，当两者差值小于预设的修正阈值时，则判定修正完成。可以理解的，该差值即为每次修正的修正量，通常情况下每帧图像只需要进行不超过10次的迭代运算即可以满足条件。
在一些实施例中，俯仰角的修正步骤包括如下子步骤。
请参见图3，其示意出了通过本专利实施例进行修正时特征点选取的原理图。
如图3所示，在当前帧图像信息，通过转换后的世界坐标系中选取在左车道线上的任意两点L1、L2，和右车道线上的任意一点R1。其中，pitchi为当前帧图像信息中的第i次修正时的俯仰角角度，h为相机高度，L1.x为点L1的横向坐标值，L1.y为点L1的纵向坐标值，L2.x为点L2的横向坐标值，L2.y为点L2的纵向坐标值，R1.x为点R1的横向坐标值，R1.y为点R1的纵向坐标值。
理论上，当俯仰角出现偏差时，其转换世界坐标系后会出现车道线不平行的情况，如八字形或者倒八字形，此时根据所选取的特征点之间的三角函数关系会与偏差角相对应，而在俯仰角修正过程中，修正量则是偏差角，因此只需要将特征点的世界坐标获取后，对世界坐标进行一定的计算既可以知道当前俯仰角的偏差值。
可选的本发明实施例采用如下公式对俯仰角进行修正
其中，所求取的是俯仰角偏差值，当俯仰角越接近理想状态时，所有车道线则越趋近于平行，此时在所选取的左车道上两个特征点的横坐标则约相近，及其离右车道上特征点的横坐标之差则与越相近，俯仰角约接近理想值，即0度。
例如，当两车道线平行时，反三角函数则求取出来的结果则约为0，即不需要修正；而当两车道线约接近垂直时，/>越趋近于0，修正量则越大。
在一些实施例中，为了减少计算量，通常当修正量小于一定阈值时即可以认定为完成修正，本实施例所选的修正阈值为0.01°～0.1°之间的任一值，进一步可以优选为0.05°。即当修正量小于0.05°时，即判定为完成修正，将当前外参角度进行输出。
另外，(L2.y-L1.y)则表示修正步长，其与相机高度h相适应。
在一些实施例中，为了进一步修正俯仰角，还会在上述俯仰角修正步骤完成后继续利用光流信息进行进一步修正。
请参阅图4，图中示出了本专利实施例提供的利用光流信息进一步修正俯仰角的流程图。
如图4所示，该俯仰角迭代修正后还采用光流信息进一步修正包括：
401、在本帧图像信息中进行目标识别，并选取目标的至少一个跟踪点的坐标，通过光流信息采集该跟踪点在下一帧图像信息中的坐标，形成一组跟踪点组。
其中目标识别的方法可以是通特征图像识别、人工智能识别等方式进行精准识别，其结合目标的特征点进行轮廓计算，最终确定目标的范围。例如，前方目标为车辆时，其通过对车辆轮廓进行识别，同时在其轮廓内选择合适的特征点作为跟踪点，并计算其坐标信息。
确定该跟踪点后，获取下一帧图像信息，同时找到跟踪点在这一帧图像信息中的坐标位置。由上下两帧中找到的跟踪点共同构成一组跟踪点组。跟踪点组内两跟踪点的相对位置则反映出现实中的
例如，由光流的特性可知，上下两帧之间的跟踪点在实际目标车辆上为同一点，换言之上下两帧中两个跟踪点在目标车辆上的位置没有发生变化，即可得到上下两帧中两个跟踪点在现实生活中的水平宽度相等，假设两跟踪点之间的现实宽度为W，相机焦距为f，w0，w1为两个跟踪点在上下两帧之间图像中水平方向占据的像素宽，Z0，Z1为上下两帧目标车辆的距离。假设S为上下两帧之间的像素宽w1，w0之比，由小孔成像原理可得到如下等式：
402、计算出多组跟踪点组之间的像素距离比，并取其中间值S。
考虑到光流匹配时可能存在某些跟踪点匹配错误的情况，为了去除匹配错误的情况，本方法采用取N组跟踪点组取其中位数为上下两帧的像素宽比，以提高算法的准确性。在本专利实施例中，为了降低噪点，可随机取N组每组两个跟踪点的信息进行比较，求出上下两帧之间的N组跟踪点像素之间距离比，并取其中值S。择优关系是
403、通过跟踪点像素距离比中间值S以及当前帧图像信息中与目标的距离Z0，利用小孔成像原理计算下一帧图像信息的距离Z1，同时根据相机外参角度计算出目标距离Zcam；
404、利用迭代法通过如下公式对俯仰角进行修正
405、利用上述公式没计算一次均对修正阈值进行比较，直至当Zcam与Z1的差值小于修正阈值时，Zcam相当程度上接近Z1调整结束，其中pitch为相机俯仰角。
请参阅图5，图中示意出了通过本专利实施例进行偏航角修正的原理图。
在一些实施例中，如图5所示，在当前帧图像信息，通过转换后的世界坐标系中选取在左车道线上的任意两点L1、L2，和右车道线上的任意两点R1、R2。其中，yawi为当前帧图像信息中的第i次修正时的偏航角角度，L1.x为点L1的横向坐标值，L1.y为点L1的纵向坐标值，L2.x为点L2的横向坐标值，L2.y为点L2的纵向坐标值，R1.x为点R1的横向坐标值，R1.y为点R1的纵向坐标值，R2.x为点R2的横向坐标值，R2.y为点R2的纵向坐标值。
理论上，当偏航角出现偏差时，其转换世界坐标系后会出现车道线倾斜的情况，即会整体向左倾斜或者整体向右倾斜，此时根据所选取的特征点之间的三角函数关系会与偏差角相对应，而在偏航角修正过程中，修正量则是偏差角，因此只需要将特征点的世界坐标获取后，对世界坐标进行一定的计算既可以知道当前俯仰角的偏差值。
可选的本发明实施例采用如下公式对偏航角进行修正
其中，所求取的是以R1和L1的中点、R2和L2的中点连线的倾斜角度，当偏航角越接近理想状态时，所有车道线则越趋近于垂直，所选特征点的中线也将接近垂直。
例如，当偏航角准确时，反三角函数则求取出来的结果则约为0，即不需要修正；而当两车道线约接近垂直时，/>越大，修正量则越大。
在修正偏航角时，需要注意的是当车辆平行车道线驾驶时修正俯仰角、偏航角与滚动角，否则只对俯仰角与滚动角进行调整。
在一些实施例中，会出现俯仰角和偏航角同时修正的情况，因此事需要在两者在修正期间，同时满足俯仰角修正量和偏航角修正量均小于修正阈值，才判定修正步骤完成。
请参阅图6，图中示意出了通过本专利实施例进行滚动角修正的原理图。
在一些实施例中，如图6所示，在滚动角的修正计算中，需要识别图像信息内的三条车道线，分别是当前车道的左车道线、右车道线和邻近车道的车道线。如果当前车道的左侧存在至少一条车道，则可以将左侧邻近车道的左车道线当做邻近车道线；同理的，如果当前车道的右侧存在至少一条车道，则可以将右侧邻近车道的右车道线当做邻近车道线；如果两侧都存至少一条车道时，则随机选取一条。
图中的L’、R’、N’分别为实际路面上的车道线的一点，而L1、R1、N1则分别为在外参角度计算下获得的车道线上的一点，实线与虚线之间的夹角roll为滚动角。在此基础上，进行如下反三角函数处理。
在当前帧图像信息中选取在左车道线上的任意一点L1、右车道线上的任意一点R1以及邻近车道线的任意一点N1，并计算各点的世界坐标。在计算过程中，只需要知道三个点的横坐标即可。其中，rolli为当前帧图像信息中的第i次修正时的滚动角角度，h为相机高度，L1.x为点L1的横向坐标值，R1.x为点R1的横向坐标值，N1.x为点N1的横向坐标值。
在采用公式进行修正时，需要考虑当前车道的邻近车道方位。
当邻近车道线为左邻近车道时，其滚动角修正公式如下：
当邻近车道线为右邻近车道时，其滚动角修正公式如下：
其中，上述公式做了一定的近似设定，由于一般情况下滚动角通常会在5°以内，在该角度下，相机所在车道的实际车道宽度与标定计算车道宽度相差较小，因此可以做如上近似认定：
1、认为通过外参角度计算出来的当前车道宽度即是实际车道宽度。
2、摄像机高度也可以近似认为始终垂直于路面。
基于上述两个近似设定，可知的是在滚动角修正过程中实际上是仅对邻近车道的宽度进行修正，以图6为例，图6示意出的邻近车道为右邻近车道，此时因套用右邻近车道的滚动角修正公式。
在公式中存在两个反三角函数，其实际上是针对不同的两个角度去计算邻近车道与相机这一连线与竖直方向的夹角。
本专利实施例具体采用是正切的反三角函数进行计算，认为相机在路面上的投影为坐标原点。
其中，当滚动角正确时，所计算出来的邻近车道线N1横坐标会与实际车道线N’横坐标相等。而计算出来的N1横坐标通过标定计算所得，是直接获取的，即N1.x。其应该等于R1横坐标加上一个车道线宽度，即R1.x+(R1.x-L1.x)＝2R1.x-L1.x。
因此，在滚动角准确的情况下，2R1.x-L1.x＝N1.x。若出现滚动角不准确时，会出现N1.x＞2R1.x-L1.x或者N1.x＜2R1.x-L1.x，此时两者求出的反三角函数结果的差值即是修正量。
在做迭代补偿的过程中，这个修正量会迭代计算次数增加而减少，最终满足修正阈值的限定，完成滚动角的修正。
请参阅图7，图中示意出了通过本专利实施例标定系统的架构原理图。
如图7所示，该车载相机外参标定系统包括
一个或多个处理器、存储器和一个或多个应用程序，其中所述一个或多个应用程序被存储在存储器中并被配置为由所述一个或多个处理器执行。
一个或多个应用程序被配置为用于上述实施例公开的车载相机系统相机外参的标定方法的步骤。
在一些实施例中，该车载标定系统还包括前视单目摄像头，该单目摄像头用于获取汽车前方的图像信息。
由上可知，本发明的车载相机外参标定方法及系统通过前视摄像头获取前方道路图像，提取道路图像中车道线与目标车辆位置信息，利用车道线信息结合静态标定结果和反三角函数动态求解出相机的外参角度，运用Opencv提取图像中目标车辆检测框内的光流信息，利用光流信息对计算出的相机外参角度进行调整，求解出更为准确的相机外参角度，并以此根据图像中目标车辆的位置求解出目标相对于车身的距离。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
本申请实施例中，车载相机外参标定系统与上文实施例中的一种车载相机系统相机外参的标定方法属于同一构思，在车载相机外参标定系统上可以运行所述车载相机系统相机外参的标定方法实施例中提供的任一方法步骤，其具体实现过程详见车载相机系统相机外参的标定方法实施例，并可以采用任意结合形成本申请的可选实施例，此处不再赘述。
上面结合附图对本申请的实施方式作了详细说明，但是本申请并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。

Claims (9)

1.一种车载相机系统相机外参的标定方法，应用于电子设备，其特征在于，包括：
获取一帧图像信息，通过车道线检测方法识别图像信息中的车道线信息；
在每条车道线上随机选取至少两个特征点，计算所述特征点在世界坐标系上的坐标，并结合相机高度利用反三角函数求取角度修正量；
利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度；
所述相机外参角度包括俯仰角，所述俯仰角的修正步骤包括：
在当前帧图像信息中选取在左车道线上的任意两点L1、L2，和右车道线上的任意一点R1，并计算各点的世界坐标；
采用如下公式进行修正
其中，pitchi为当前帧图像信息中的第i次修正时的俯仰角角度，h为相机高度，L1.x为点L1的横向坐标值，L1.y为点L1的纵向坐标值，L2.x为点L2的横向坐标值，L2.y为点L2的纵向坐标值，R1.x为点R1的横向坐标值。
2.如权利要求1所述的车载相机系统相机外参的标定方法，其特征在于，所述相机外参角度还包括偏航角和滚动角中的至少一种。
3.如权利要求1所述的车载相机系统相机外参的标定方法，其特征在于，利用迭代法将修正角度对相机外参角度进行迭代补偿，获得准确的相机外参角度，包括
将上一次修正的外参角度作为输入，并与本次求取的角度修正量相加，或者本次修正的外参角度并输出；
判断本次修正的角度修正量是否小于修正阈值，若是则完成本步骤，否则继续迭代补偿。
4.如权利要求3所述的车载相机系统相机外参的标定方法，其特征在于，迭代补偿采用牛顿法进行迭代计算。
5.如权利要求1所述的车载相机系统相机外参的标定方法，其特征在于，俯仰角迭代修正后还采用光流信息进一步修正，包括：
在本帧图像信息中进行目标识别，并选取目标的至少一个跟踪点的坐标，通过光流信息采集该跟踪点在下一帧图像信息中的坐标，形成一组跟踪点组；
计算出多组跟踪点组之间的像素距离比，并取其中间值S；
通过跟踪点像素距离比中间值S以及当前帧图像信息中与目标的距离Z0，利用小孔成像原理计算下一帧图像信息的距离Z1，同时根据相机外参角度计算出目标距离Zcam；
利用迭代法通过如下公式对俯仰角进行修正
当Zcam与Z1的差值小于修正阈值时，修正结束。
6.如权利要求2所述的车载相机系统相机外参的标定方法，其特征在于，所述偏航角的修正步骤包括：
在当前帧图像信息中选取在左车道线上的任意两点L1、L2，和右车道线上的任意两点R1、R2，并计算各点的世界坐标；
采用如下公式进行修正
其中，yawi为当前帧图像信息中的第i次修正时的偏航角角度，L1.x为点L1的横向坐标值，L1.y为点L1的纵向坐标值，L2.x为点L2的横向坐标值，L2.y为点L2的纵向坐标值，R1.x为点R1的横向坐标值，R1.y为点R1的纵向坐标值，R2.x为点R2的横向坐标值，R2.y为点R2的纵向坐标值。
7.如权利要求2所述的车载相机系统相机外参的标定方法，其特征在于，所述滚动角的修正步骤包括：
在当前帧图像信息中选取在左车道线上的任意一点L1、右车道线上的任意一点R1以及邻近车道线的任意一点N1，并计算各点的世界坐标；
采用如下公式进行修正
当邻近车道线为左邻近车道时，其滚动角修正公式如下：
当邻近车道线为右邻近车道时，其滚动角修正公式如下：
其中，rolli为当前帧图像信息中的第i次修正时的滚动角角度，h为相机高度，L1.x为点L1的横向坐标值，R1.x为点R1的横向坐标值，N1.x为点N1的横向坐标值。
8.如权利要求3-5中任意一项所述的车载相机系统相机外参的标定方法，其特征在于，所述修正阈值为0.01°～0.1°之间的任一值。
9.一种车载相机外参标定系统，其特征在于，包括
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行；
所述一个或多个应用程序被配置为用于执行权利要求1-7中任意一项所述的车载相机系统相机外参的标定方法的步骤。
CN201910070089.1A 2019-01-24 2019-01-24 车载相机系统相机外参的标定方法及标定系统 Active CN109859278B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910070089.1A CN109859278B (zh) 2019-01-24 2019-01-24 车载相机系统相机外参的标定方法及标定系统
PCT/CN2019/098633 WO2020151212A1 (zh) 2019-01-24 2019-07-31 车载相机系统相机外参的标定方法及标定系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910070089.1A CN109859278B (zh) 2019-01-24 2019-01-24 车载相机系统相机外参的标定方法及标定系统

Publications (2)

Publication Number Publication Date
CN109859278A CN109859278A (zh) 2019-06-07
CN109859278B true CN109859278B (zh) 2023-09-01

Family

ID=66896041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910070089.1A Active CN109859278B (zh) 2019-01-24 2019-01-24 车载相机系统相机外参的标定方法及标定系统

Country Status (2)

Country Link
CN (1) CN109859278B (zh)
WO (1) WO2020151212A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859278B (zh) * 2019-01-24 2023-09-01 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN110378966B (zh) * 2019-06-11 2023-01-06 北京百度网讯科技有限公司 车路协同相机外参标定方法、装置、设备及存储介质
CN111753605B (zh) * 2019-06-11 2024-08-20 北京京东乾石科技有限公司 车道线定位方法、装置、电子设备及可读介质
CN110264525B (zh) * 2019-06-13 2021-08-06 惠州市德赛西威智能交通技术研究院有限公司 一种基于车道线与目标车辆的相机标定方法
CN110363819B (zh) * 2019-06-25 2023-03-03 华为技术有限公司 智能汽车中图像采集设备标定的方法和相关设备
CN112184821B (zh) * 2019-07-01 2023-03-10 上海安亭地平线智能交通技术有限公司 相机翻滚角的调整方法和装置、存储介质、电子设备
CN110490936B (zh) * 2019-07-15 2021-09-07 杭州飞步科技有限公司 车辆摄像头的标定方法、装置、设备及可读存储介质
CN110412603B (zh) * 2019-07-22 2023-07-04 昆山伟宇慧创智能科技有限公司 一种用于车道偏离计算的标定参数自适应更新方法
CN112288821B (zh) * 2019-07-25 2024-04-23 上海高德威智能交通系统有限公司 一种相机外参标定的方法及装置
CN110991232B (zh) * 2019-10-28 2024-02-13 纵目科技（上海）股份有限公司 一种车辆位置修正方法及系统、存储介质及终端
CN113033253B (zh) * 2019-12-24 2024-07-12 北京车和家信息技术有限公司 相机标定方法及装置
CN111223150A (zh) * 2020-01-15 2020-06-02 电子科技大学 一种基于双消失点的车载摄像头外参数标定方法
CN113706624A (zh) * 2020-05-20 2021-11-26 杭州海康威视数字技术股份有限公司 相机外参修正方法、装置及车载环视系统
CN112509054B (zh) * 2020-07-20 2024-05-17 重庆兰德适普信息科技有限公司 一种相机外参动态标定方法
CN111862235B (zh) * 2020-07-22 2023-12-29 中国科学院上海微系统与信息技术研究所 双目相机自标定方法及系统
CN111862234B (zh) * 2020-07-22 2023-10-20 中国科学院上海微系统与信息技术研究所 双目相机自标定方法及系统
CN111862236B (zh) * 2020-07-22 2023-10-20 中国科学院上海微系统与信息技术研究所 定焦双目相机自标定方法及系统
CN111931630B (zh) * 2020-08-05 2022-09-09 重庆邮电大学 一种基于人脸特征点数据增强的动态表情识别方法
CN112115968B (zh) * 2020-08-10 2024-04-19 北京智行者科技股份有限公司 一种智能清扫车垃圾识别方法及系统
CN112444798B (zh) * 2020-11-27 2024-04-09 杭州易现先进科技有限公司 多传感器设备时空外参标定方法、装置以及计算机设备
CN112529966B (zh) * 2020-12-17 2023-09-15 豪威科技(武汉)有限公司 一种车载环视系统的在线标定方法及其车载环视系统
CN112509064B (zh) * 2020-12-22 2024-06-04 阿波罗智联(北京)科技有限公司 显示摄像机标定进度的方法、装置、设备和存储介质
CN112529968A (zh) * 2020-12-22 2021-03-19 上海商汤临港智能科技有限公司 摄像设备标定方法、装置、电子设备及存储介质
CN112614192B (zh) * 2020-12-24 2022-05-17 亿咖通(湖北)技术有限公司 一种车载相机的在线标定方法和车载信息娱乐系统
CN112785653B (zh) * 2020-12-30 2024-06-21 中山联合汽车技术有限公司 车载相机姿态角标定方法
CN112907678B (zh) * 2021-01-25 2022-05-13 深圳佑驾创新科技有限公司 车载相机外参姿态动态估计方法、装置、计算机设备
CN114792341A (zh) * 2021-01-25 2022-07-26 阿里巴巴集团控股有限公司 一种相机参数的获得方法、装置以及电子设备
CN112800986B (zh) * 2021-02-02 2021-12-07 深圳佑驾创新科技有限公司 车载摄像头外参标定方法、装置、车载终端和存储介质
CN112862899B (zh) 2021-02-07 2023-02-28 黑芝麻智能科技(重庆)有限公司 用于图像获取设备的外参标定方法、装置和系统
CN113375687B (zh) * 2021-05-12 2023-06-02 武汉极目智能技术有限公司 基于平行约束的车道线消失点补偿的方法及系统、装置
CN115409875A (zh) * 2021-05-28 2022-11-29 北京字跳网络技术有限公司 图像处理方法、设备及电子设备
CN113432620B (zh) * 2021-06-04 2024-04-09 苏州智加科技有限公司 误差估计方法、装置、车载终端及存储介质
CN113256739B (zh) * 2021-06-28 2021-10-19 所托(杭州)汽车智能设备有限公司 车载bsd摄像头的自标定方法、设备和存储介质
CN113313770A (zh) * 2021-06-29 2021-08-27 智道网联科技(北京)有限公司 行车记录仪的标定方法及其装置
CN113568533B (zh) * 2021-06-30 2024-08-02 惠州市德赛西威智能交通技术研究院有限公司 一种车载摄像头任意样式轨迹线自动化生成系统
CN113674357B (zh) * 2021-08-04 2022-07-29 禾多科技（北京）有限公司 相机外参标定方法、装置、电子设备和计算机可读介质
CN113658268B (zh) * 2021-08-04 2024-07-12 智道网联科技(北京)有限公司 摄像头标定结果的验证方法、装置及电子设备、存储介质
CN113610932B (zh) * 2021-08-20 2024-06-04 苏州智加科技有限公司 双目相机外参标定方法和装置
CN114046889B (zh) * 2021-11-18 2024-04-30 佗道医疗科技有限公司 一种红外相机的自动化标定方法
CN114689043A (zh) * 2021-12-02 2022-07-01 中汽创智科技有限公司 一种车辆定位方法、装置、设备及存储介质
CN114445505A (zh) * 2021-12-28 2022-05-06 中公高科养护科技股份有限公司 一种用于路面检测的相机标定系统及标定方法
CN114708333B (zh) * 2022-03-08 2024-05-31 智道网联科技(北京)有限公司 自动标定相机外参模型的生成方法及装置
CN114782549B (zh) * 2022-04-22 2023-11-24 南京新远见智能科技有限公司 基于定点标识的相机标定方法及系统
CN114998849B (zh) * 2022-05-27 2024-04-16 电子科技大学 一种基于路端单目相机的交通流要素感知与定位方法及其应用
CN115079637B (zh) * 2022-06-29 2024-07-02 歌尔股份有限公司 工件坐标系的建立方法、装置、设备及存储介质
CN115578470B (zh) * 2022-09-22 2024-06-07 虹软科技股份有限公司 一种单目视觉定位方法、装置、存储介质和电子设备
CN116168088B (zh) * 2023-01-10 2024-11-05 武汉微创光电股份有限公司 一种单目的侧角度成像的车辆尺度估计与速度估计方法
CN116681776B (zh) * 2023-05-30 2024-02-23 元橡科技（北京）有限公司 一种双目相机的外参标定方法和系统
CN117061719B (zh) * 2023-08-11 2024-03-08 元橡科技（北京）有限公司 一种车载双目相机视差校正方法
CN117036505B (zh) * 2023-08-23 2024-03-29 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及系统
CN117347960A (zh) * 2023-11-07 2024-01-05 湖南众天云科技有限公司 路侧端雷视融合设备的坐标系自动标定方法、装置及设备
CN118411421A (zh) * 2024-02-02 2024-07-30 武汉环宇智行科技有限公司 一种环视相机外参在线优化方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013222302A (ja) * 2012-04-16 2013-10-28 Alpine Electronics Inc 車載カメラの取付角度補正装置および取付角度補正方法
CN106558080A (zh) * 2016-11-14 2017-04-05 天津津航技术物理研究所 一种单目相机外参在线标定系统及方法
CN106875448A (zh) * 2017-02-16 2017-06-20 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN107133985A (zh) * 2017-04-20 2017-09-05 常州智行科技有限公司 一种基于车道线消逝点的车载摄像机自动标定方法
CN108898638A (zh) * 2018-06-27 2018-11-27 江苏大学 一种车载摄像头在线自动标定方法
CN109191531A (zh) * 2018-07-30 2019-01-11 深圳市艾为智能有限公司 一种基于车道线检测的后方车载相机的自动外参标定方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110115912A1 (en) * 2007-08-31 2011-05-19 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
KR101271639B1 (ko) * 2011-12-13 2013-06-17 (주)팜비젼 휴대 단말 카메라 외부 파라미터 교정 방법 및 시스템
JP2017139612A (ja) * 2016-02-03 2017-08-10 パナソニックＩｐマネジメント株式会社 車載カメラ用校正システム
CN106127787B (zh) * 2016-07-01 2019-04-02 北京美讯美通信息科技有限公司 一种基于逆投影变换的相机标定方法
CN106709956B (zh) * 2016-12-30 2020-05-15 广州汽车集团股份有限公司 全景影像系统的远程标定方法和系统
CN109859278B (zh) * 2019-01-24 2023-09-01 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013222302A (ja) * 2012-04-16 2013-10-28 Alpine Electronics Inc 車載カメラの取付角度補正装置および取付角度補正方法
CN106558080A (zh) * 2016-11-14 2017-04-05 天津津航技术物理研究所 一种单目相机外参在线标定系统及方法
CN106875448A (zh) * 2017-02-16 2017-06-20 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN107133985A (zh) * 2017-04-20 2017-09-05 常州智行科技有限公司 一种基于车道线消逝点的车载摄像机自动标定方法
CN108898638A (zh) * 2018-06-27 2018-11-27 江苏大学 一种车载摄像头在线自动标定方法
CN109191531A (zh) * 2018-07-30 2019-01-11 深圳市艾为智能有限公司 一种基于车道线检测的后方车载相机的自动外参标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于道路特征的车载相机标定动态补偿算法;陈军等;机械工程学报;第46卷(第20期);112-117 *

Also Published As

Publication number Publication date
WO2020151212A1 (zh) 2020-07-30
CN109859278A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN109859278B (zh) 车载相机系统相机外参的标定方法及标定系统
US11763571B2 (en) Monocular cued detection of three-dimensional structures from depth images
CN110264525B (zh) 一种基于车道线与目标车辆的相机标定方法
CN110567469B (zh) 视觉定位方法、装置、电子设备及系统
JP5375958B2 (ja) 画像処理装置および画像処理方法
US9087374B2 (en) Automatic airview correction method
LU502288B1 (en) Method and system for detecting position relation between vehicle and lane line, and storage medium
CN110176038B (zh) 校准车辆的摄像头的方法、系统和存储介质
CN108805934A (zh) 一种车载摄像机的外部参数标定方法及装置
US9336595B2 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
CN112489136B (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
CN112927309A (zh) 一种车载相机标定方法、装置、车载相机及存储介质
CN114972427A (zh) 一种基于单目视觉的目标跟踪方法、终端设备及存储介质
KR101394770B1 (ko) 곡선 차선 모델을 이용한 영상 안정화 방법 및 시스템
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
CN112348752A (zh) 一种基于平行约束的车道线消失点补偿方法及装置
CN112419423B (zh) 一种标定方法、装置、电子设备及存储介质
CN111881878B (zh) 一种环视复用的车道线识别方法
CN116740192A (zh) 一种车载环视系统的标定方法、标定系统及智能汽车
CN111738035A (zh) 车辆偏航角的计算方法、装置和设备
KR102681321B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법
CN113435386B (zh) 一种视觉车位无损滤波方法、装置及存储介质
TWI819928B (zh) 車輛偏移檢測方法及相關設備
CN114998849B (zh) 一种基于路端单目相机的交通流要素感知与定位方法及其应用
RU2780717C1 (ru) Способ калибровки внешних параметров видеокамер

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant