CN114076937A - 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 - Google Patents
激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 Download PDFInfo
- Publication number
- CN114076937A CN114076937A CN202010845149.5A CN202010845149A CN114076937A CN 114076937 A CN114076937 A CN 114076937A CN 202010845149 A CN202010845149 A CN 202010845149A CN 114076937 A CN114076937 A CN 114076937A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- camera
- target
- image
- target frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims abstract description 68
- 238000013507 mapping Methods 0.000 claims abstract description 58
- 238000002372 labelling Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 73
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 239000000463 material Substances 0.000 abstract description 8
- 239000002699 waste material Substances 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 241001464837 Viridiplantae Species 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请涉及一种激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质，包括：获取图像和激光点云数据，根据相机的内参矩阵、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云。计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，点云目标框为基于映射点云在图像上绘制的目标框，图像识别目标框为对图像进行标注所得的目标框。基于重叠面积调整初始联合标定参数，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。通过激光雷达与相机进行自标定，不需要使用标定物，避免了浪费人力物力，因为不需要使用标定物就也提高了该联合标定方法的可复用性。
Description
技术领域
本申请涉及相机标定技术领域，特别是涉及一种激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质。
背景技术
随着自动驾驶或无人驾驶技术的不断发展，自动驾驶或无人驾驶将逐渐步入人们的日常生活中，为人们的生活带来便利。其中，自动驾驶或无人驾驶技术所面临的核心问题是：车辆的视觉感知能力不足，无法形成对整体道路交通坏境的全面感知，使得车辆行驶安全性得不到全面保障。
近些年出现了通过激光雷达与相机一起来提高车辆的视觉感知能力的方案，但是采用传统方法在对激光雷达与相机进行标定时，都需要基于标定物来进行标定，浪费人力物力，且可复用性不强。
发明内容
本申请实施例提供一种激光雷达与相机联合标定方法、装置、服务器、计算机可读存储介质，可以避免浪费人力物力，提高标定过程的可复用性。
一种激光雷达与相机联合标定方法，包括：
获取同一时刻、同一场景下采集的图像和激光点云数据；
根据相机的内参矩阵、激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；
计算同一目标在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述点云目标框为基于所述映射点云在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行标注所得的目标框；
基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数。
在其中一个实施例中，所述基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数，包括：
基于所述重叠面积、所述点云目标框与所述图像识别目标框的类别相似度调整所述初始联合标定参数，直到所述重叠面积大于预设阈值、所述类别相似度大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数。
在其中一个实施例中，所述方法还包括：
计算同一目标在所述图像上的点云目标框与图像识别目标框之间的类别相似度。
在其中一个实施例中，所述计算同一目标在所述图像上的点云目标框与图像识别目标框之间的类别相似度，包括：
对所述激光点云数据进行标注，从所述激光点云数据中获取原始点云目标框及所述原始点云目标框对应的第一目标类别；
对所述图像进行标注，从所述图像上获取图像识别目标框及所述图像识别目标框对应的第二目标类别；
计算同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将所述类别相似度作为所述目标在所述图像上的点云目标框与图像识别目标框之间的类别相似度。
在其中一个实施例中，所述根据所述相机的内参矩阵、所述激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云，包括：
计算所述相机的内参矩阵、所述相机的畸变系数；
获取所述原始点云目标框在世界坐标系中的坐标；
将所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的初始联合标定参数及所述原始点云目标框在世界坐标系中的坐标输入至透射变换矩阵，计算所述原始点云目标框在像素坐标系中的坐标；
从所述图像上提取所述原始点云目标框在像素坐标系中的坐标处的像素点，作为映射点云。
在其中一个实施例中，在所述计算同一目标在所述图像上的点云目标框与图像识别目标框之间的重叠面积之前，还包括：
针对所述图像中的每一个目标，在所述图像上获取所述映射点云的外接框作为点云目标框；
获取同一目标在所述图像上的点云目标框与图像识别目标框。
在其中一个实施例中，所述激光雷达相对于所述相机的初始联合标定参数的计算过程，包括：
获取激光雷达在世界坐标系中的坐标；
将所述相机在相机坐标系中的坐标转换为所述相机在所述世界坐标系中的坐标；
根据所述激光雷达在所述世界坐标系中的坐标、所述相机在所述世界坐标系中的坐标，计算所述激光雷达相对于所述相机的初始联合标定参数。
在其中一个实施例中，所述基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数，包括：
基于所述重叠面积构建第一目标函数，通过所述第一目标函数调整所述初始联合标定参数直到所述第一目标函数的值大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于相机的目标联合标定参数。
一种激光雷达与相机联合标定装置，包括：
数据采集模块，用于获取同一时刻、同一场景下采集的图像和激光点云数据；
点云映射模块，用于根据相机的内参矩阵、激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；
重叠面积计算模块，用于计算同一目标在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述点云目标框为基于所述映射点云在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行标注所得的目标框；
目标联合标定参数输出模块，用于基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数。
一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上方法的步骤。
上述激光雷达与相机联合标定方法、装置、服务器、计算机可读存储介质，获取同一时刻、同一场景下采集的图像和激光点云数据，根据相机的内参矩阵、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云。计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，点云目标框为基于映射点云在图像上绘制的目标框，图像识别目标框为对图像进行标注所得的目标框。基于重叠面积调整初始联合标定参数直到重叠面积大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。通过激光雷达与相机进行自标定，不需要使用标定物，避免了浪费人力物力，因为不需要使用标定物就也提高了该联合标定方法的可复用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中激光雷达与相机联合标定方法的应用场景图；
图2为一个实施例中激光雷达与相机联合标定方法的流程图；
图3为另一个实施例中激光雷达与相机联合标定方法的流程图；
图4为一个实施例中计算同一目标在图像上的点云目标框与图像识别目标框之间的类别相似度方法的流程图；
图5为一个实施例中得到映射点云方法的流程图；
图6为一个具体的实施例中激光雷达与相机联合标定方法的流程图；
图7为一个实施例中激光雷达与相机联合标定装置的结构框图；
图8为另一个实施例中激光雷达与相机联合标定装置的结构框图；
图9为一个实施例中服务器的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。
图1为一个实施例中激光雷达与相机联合标定方法的应用场景图。如图1所示，该应用环境包括激光雷达120、相机140及服务器160。通过相机采集得到图像，通过激光雷达在同一时刻、同一场景下采集得到激光点云数据。服务器获取同一时刻、同一场景下采集的图像和激光点云数据；根据相机的内参矩阵、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云；计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，点云目标框为基于映射点云在图像上绘制的目标框，图像识别目标框为对图像进行标注所得的目标框；基于重叠面积调整初始联合标定参数直到重叠面积大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。其中，相机在提取目标的特征方面有较大优势，却不能准确获取目标的速度和位置。而激光雷达探测距离近，测量精度高，能够准确获取物体的三维信息和速度信息，但成本高，缺少RGB信息，且在恶劣天气下，如雨天、雾天等无法正常工作。因此，将激光雷达与相机两者进行融合，就可以发挥各自的优势。在融合的基础上，进行信息交互，最大限度地获取周边环境信息。
如图2所示，提供了一种激光雷达与相机联合标定方法，应用于服务器，包括步骤220至步骤280。
步骤220，获取同一时刻、同一场景下采集的图像和激光点云数据。
在对激光雷达与相机进行联合标定时，首先，将激光雷达及相机调整至预设角度，并固定激光雷达及相机之间的相对位置。然后，通过相机拍摄得到图像，通过激光雷达在同一时刻、同一场景下采集得到激光点云数据。最后，服务器从相机所采集到的图像及激光雷达所采集到的激光点云数据中，获取同一时刻对应的图像和与图像对应的激光点云数据，组成一对数据。在对激光雷达与相机进行联合标定时，可以是获取多对这样的数据。其中，同一个目标对应多个激光点云数据。
具体的，分别获取到激光雷达与相机的系统时间戳，分别计算激光雷达与工控机的系统时间差值、相机与工控机的系统时间差值。再通过同一台工控机同时采集激光点云数据和图像对应的数据，基于激光雷达与工控机的系统时间差值、相机与工控机的系统时间差值，将激光点云数据和图像对应的数据的系统时间戳转换到工控机的时间轴上，即可获取时间同步(同一时刻)的激光雷达数据和图像对应的数据。
步骤240，根据相机的内参矩阵、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云。
具体的，相机的内参矩阵
其中，(cx,cy)表示图像中心点坐标，fx，fy是以像素为单位表示的焦距。
另外，激光雷达本来就位于世界坐标系中，而相机位于相机坐标系，相机所拍摄出的图像位于像素坐标系中。且相机坐标系能够与世界坐标系相互转换，相机坐标系能够与像素坐标系相互转换。因此，服务器在计算激光雷达相对于相机的初始联合标定参数时，可以通过世界坐标系作为桥梁，根据激光雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，计算激光雷达相对于相机的初始联合标定参数。其中，联合标定参数也可以称之为外参矩阵。
然后，根据相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始外参矩阵，通过透射变换矩阵将激光点云数据对应的点云映射到图像上得到映射点云，如此就建立了激光点云与图像上的像素之间的对应关系。
步骤260，计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，点云目标框为基于映射点云在图像上绘制的目标框，图像识别目标框为对图像进行图像识别所得的目标框。
服务器在将激光点云数据对应的点云映射到图像上得到映射点云之后，获取同一目标在图像上的点云目标框与图像识别目标框。计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，基于重叠面积就可以验证出激光雷达相对于相机的初始外参矩阵的准确性。因为重叠面积越大，则说明激光点云数据对应的点云(下称为激光点云)与相机所拍摄的图像在空间上对齐的准确率越高。
步骤280，基于重叠面积调整初始联合标定参数直到重叠面积满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。
因为重叠面积越大，则说明激光点云数据与图像在空间上对齐的准确率越高。所以，服务器就可以基于重叠面积调整初始外参矩阵直到重叠面积满足预设阈值。预设阈值可以是预先根据实际情况设定的。在重叠面积满足预设阈值之后，输出调整后的外参矩阵作为激光雷达相对于相机的目标外参矩阵，完成激光雷达与相机联合标定的过程。
本申请实施例中，服务器将激光点云数据对应的点云映射到图像上得到映射点云。再计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，基于重叠面积调整初始联合标定参数直到重叠面积满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。因为重叠面积越大，则说明激光点云数据与图像在空间上对齐的准确率越高。所以，服务器就可以基于重叠面积调整初始外参矩阵直到重叠面积满足预设阈值。从而实现通过激光雷达与相机进行自标定，不需要使用标定物，避免了浪费人力物力，因为不需要使用标定物就也提高了该联合标定方法的可复用性。
在一个实施例中，如图3所示，提供了一种激光雷达与相机联合标定方法，基于重叠面积调整初始联合标定参数直到重叠面积大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数，包括：
步骤290，基于重叠面积、点云目标框与图像识别目标框的类别相似度调整初始联合标定参数，直到重叠面积大于预设阈值、类别相似度大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。
具体的，首先，在上述计算出了重叠面积之后，再计算出重叠面积与点云目标框与图像识别目标框的面积之和的比值，基于各个目标的比值构建第一目标函数。其次，基于点云目标框的目标类别CL与图像识别目标框的目标类别CC之间的类别相似度，构建第二目标函数。其中，所构建的第一目标函数LR如下所示：
所构建的第二目标函数LC如下所示：
其中，
在公式(1-3)中，若比值Rj为0，或者比值Rj大于0且点云目标框的目标类别CL与图像识别目标框的目标类别CC的相似度小于或等于预设阈值，即认为CL与CC不相同(CL≠CC)，此时得出lc＝1。若比值Rj大于0，且点云目标框的目标类别CL与图像识别目标框的目标类别CC的相似度大于预设阈值，即认为CL与CC相同(CL＝CC)，此时得出lc＝0。
最终所得的目标函数的计算公式为：L＝LC+LR (1-4)
最后，通过目标函数L对初始外参矩阵不断调整直到目标函数L的值满足预设阈值，输出调整后的外参矩阵作为激光雷达相对于相机的目标外参矩阵。即通过目标函数L对初始外参矩阵不断调整直到重叠面积大于预设阈值、类别相似度大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。
本申请实施例中，因为同一目标在图像上的点云目标框与图像识别目标框之间存在强相关性，所以通过同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积、类别相似度这两个维度，来构建目标函数。再通过目标函数L对初始外参矩阵不断调整直到重叠面积大于预设阈值、类别相似度大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。如此，根据目标函数所得到的激光雷达与相机的联合标定参数的准确性较高。
在一个实施例中，提供了一种激光雷达与相机联合标定方法，还包括：
计算同一目标在图像上的点云目标框与图像识别目标框之间的类别相似度。
具体的，首先，分别对激光点云数据、图像进行标注，从激光点云数据中获取原始点云目标框及原始点云目标框对应的第一目标类别，从图像上获取图像识别目标框及图像识别目标框对应的第二目标类别。然后，就可以计算出同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将类别相似度作为目标在图像上的点云目标框与图像识别目标框之间的类别相似度。
本申请实施例中，计算同一目标在图像上的点云目标框与图像识别目标框之间的类别相似度，便于后续从类别这个维度对联合标定参数进行调整，提高联合标定的精度。
在一个实施例中，如图4所示，计算同一目标在图像上的点云目标框与图像识别目标框之间的类别相似度，包括：
步骤420，对激光点云数据进行标注，从激光点云数据中获取原始点云目标框及原始点云目标框对应的第一目标类别；
步骤440，对图像进行标注，从图像上获取图像识别目标框及图像识别目标框对应的第二目标类别；
步骤460，计算同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将类别相似度作为目标在图像上的点云目标框与图像识别目标框之间的类别相似度。
具体的，在对激光点云数据进行标注时，可以通过人工或计算机来对激光点云数据进行标注，从激光点云数据中标注出目标所对应的原始点云目标框。进而，对原始点云目标框中的目标类别进行标注，得到第一目标类别。此处所标注出的原始点云目标框为三维立体目标框，一般可以通过获取该目标框的各个顶点(8个顶点)的坐标，完成对该目标框的标注。
在对图像进行标注时，可以通过图像识别算法从图像上获取图像识别目标框，并对图像识别目标框中的目标类别进行标注，得到第二目标类别。例如，目标类别包括车辆、行人、路沿、绿植等，当然，本申请并不对此进行限定。此处图像识别目标框为二维目标框，一般可以通过获取该目标框的各个顶点(4个顶点)的坐标，完成对该目标框的标注。
然后，计算同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将类别相似度作为目标在图像上的点云目标框与图像识别目标框之间的类别相似度。
本申请实施例中，分别对激光点云数据、图像进行标注，从激光点云数据中获取原始点云目标框及原始点云目标框对应的第一目标类别，从图像上获取图像识别目标框及图像识别目标框对应的第二目标类别。因为激光点云数据量太大，通过获取原始点云目标框的方式，从大量的激光点云数据中提取出了有用的数据，减小了数据量、提高了计算效率。且同时得到原始点云目标框对应的第一目标类别、图像识别目标框对应的第二目标类别，计算同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将类别相似度作为目标在图像上的点云目标框与图像识别目标框之间的类别相似度。便于后续从类别这个维度对联合标定参数进行调整，提高联合标定的精度。
在一个实施例中，如图5所示，步骤240，根据相机的内参矩阵、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云，包括：
步骤242，计算相机的内参矩阵、相机的畸变系数。
由相机标定得到相机的内参矩阵及相机的畸变系数。其中，相机的内参矩阵
其中，(cx,cy)表示图像中心点坐标，fx，fy是以像素为单位表示的焦距。
其中，相机的畸变系数可以划分为径向畸变、切向畸变。
步骤244，获取原始点云目标框在世界坐标系中的坐标。
对于激光雷达，因为激光雷达本来就使用的是世界坐标系，所以直接就获取到了原始点云目标框在世界坐标系中的坐标。其中，世界坐标系由Xw、Yw、Zw构成。
步骤246，将相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始联合标定参数及原始点云目标框在世界坐标系中的坐标输入至透射变换矩阵，计算原始点云目标框在像素坐标系中的坐标。
经过上述计算分别得到了相机的内参矩阵A、相机的畸变系数K、激光雷达相对于相机的初始外参矩阵[RT]及原始点云目标框的各个顶点在世界坐标系中的坐标(XW,YW,ZW)。联合标定参数也可以称之为外参矩阵。其中，透射变换矩阵为：
其中，
将相机的内参矩阵A、相机的畸变系数K、激光雷达相对于相机的初始外参矩阵[RT]及原始点云目标框的各个顶点在世界坐标系中的坐标(XW,YW,ZW)输入至透射变换矩阵，就可以计算出原始点云目标框的各个顶点在像素坐标系中的坐标(μ,ν)。
计算出原始点云目标框的各个顶点在像素坐标系中的坐标(μ,ν)的过程如下：
x′＝x/z y′＝y/z (1-8)
其中，r2＝x′2+y′2
u＝fx*x″+cx v＝fy*y″+cy
(1-11)
其中，k1,k2,k3,k4,k5,k6表示径向畸变系数，p1,p2表示切向畸变系数。
步骤248，从图像上提取原始点云目标框在像素坐标系中的坐标处的像素点，作为映射点云。
在计算出原始点云目标框的各个顶点在像素坐标系中的坐标(μ,ν)之后，就实现了将原始点云目标框的各个顶点映射到图像上得到映射点云。具体的，从图像上提取原始点云目标框在像素坐标系中的坐标(μ,ν)处的像素点，作为映射点云。
本申请实施例中，首先，获取原始点云目标框在世界坐标系中的坐标。然后，将相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始联合标定参数及原始点云目标框在世界坐标系中的坐标输入至透射变换矩阵，计算原始点云目标框在像素坐标系中的坐标。从图像上提取原始点云目标框在像素坐标系中的坐标处的像素点，作为映射点云。实现了将三维的原始点云目标框转换至二维图像上的映射点云，进而实现了将激光点云与相机所拍摄的图像之间在空间上进行匹配，从而，便于后续进行激光雷达与相机联合标定。且通过透射变换矩阵可以对畸变矫正后的图像数据进行计算，也可以对未经过畸变矫正的图像数据进行计算，适用性更广。
在一个实施例中，在计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积之前，还包括：
针对图像中的每一个目标，在图像上获取映射点云的外接框作为点云目标框；
获取同一目标在图像上的点云目标框与图像识别目标框。
具体的，三维的原始点云目标框具有8个顶点，因此将这原始点云目标框的8个顶点映射到像素坐标系上，也就得到了8个映射点云。将每一个目标的原始点云目标框，映射到图像上均得到了该目标的映射点云。然后，针对图像中的每一个目标，在图像上获取映射点云的外接框作为二维的点云目标框。此处的外接框可以是矩形、圆形等，本申请对此不做限定。例如，对于目标A的8个映射点云，计算这8个映射点云的最小外接矩形框。
预先对图像进行标注，从图像上获取图像识别目标框。同理，此处的图像识别目标框的形状可以为圆形框，也可以为矩形框，本申请并不对目标框的形状进行限制。示例性的，点云目标框与图像识别目标框最好为同一种形状的目标框，便于比较。
因为相机所拍摄的图像上包含了多个目标，所以，需要从图像上获取同一目标对应的点云目标框与图像识别目标框。即将图像上的点云目标框与图像识别目标框，两两之间进行配对，配对得到同一目标对应的点云目标框与图像识别目标框。
本申请实施例中，针对图像中的每一个目标，在图像上获取映射点云的外接框作为点云目标框。获取同一目标在图像上的点云目标框与图像识别目标框。实现了将取同一目标的激光点云对应的二维的点云目标框，与相机所拍摄的图像上同一目标的图像识别目标框之间在空间上进行匹配，从而，便于后续根据目标框匹配的程度进行激光雷达与相机联合标定。
在一个实施例中，激光雷达相对于相机的初始联合标定参数的计算过程，包括：
获取激光雷达在世界坐标系中的坐标；
将相机在相机坐标系中的坐标转换为相机在世界坐标系中的坐标；
根据激光雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，计算激光雷达相对于相机的初始联合标定参数。
具体的，对于激光雷达，因为激光雷达本来就使用的是世界坐标系，所以直接就获取到了激光点云在世界坐标系中的坐标。其中，世界坐标系由Xw、Yw、Zw构成。
相机自身的坐标系是相机坐标系，通过相机坐标系与世界坐标系之间的转换公式，将相机在相机坐标系中的坐标转换为相机在世界坐标系中的坐标。其中，相机坐标系可以用(x,y,z)来表示。
在经过上述前两步的计算之后，得到了激光雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，就可以基于世界坐标系作为中间坐标系来计算激光雷达相对于相机的初始联合标定参数(初始外参矩阵)。其中，联合标定参数也可以称之为外参矩阵。[RT]包括旋转矩阵R3×3、平移向量T3×1，具体为：
本申请实施例中，首先，获取激光雷达在世界坐标系中的坐标；其次，将相机在相机坐标系中的坐标转换为相机在世界坐标系中的坐标；最后，就可以基于世界坐标系作为中间坐标系来计算激光雷达相对于相机的初始外参矩阵。借助于世界坐标系作为中间坐标系，就可以准确地计算出激光雷达相对于相机的初始外参矩阵。
在一个实施例中，基于重叠面积调整初始联合标定参数直到重叠面积大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数，包括：
基于重叠面积构建第一目标函数，通过第一目标函数调整初始联合标定参数直到第一目标函数的值大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。
具体的，目标函数也称之为损失函数(loss function)或代价函数(costfunction)。服务器在将原始点云目标框的各个顶点映射到图像上得到映射点云之后，获取同一目标在图像上的点云目标框与图像识别目标框。计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，再基于重叠面积构建目标函数，通过目标函数对初始外参矩阵不断调整直到目标函数的值满足预设阈值，输出调整后的外参矩阵作为激光雷达相对于相机的目标外参矩阵。
本申请实施例中，因为重叠面积越大，则说明原始点云目标框与图像上的图像识别目标框在空间上对齐的准确率越高。通过重叠面积所构建的目标函数就可以验证出激光雷达相对于相机的初始联合标定参数的准确性，对激光雷达相对于相机的初始联合标定参数进行不断优化直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。实现了通过激光雷达和相机来进行自标定，不需要使用标定物，避免了浪费人力物力。最终提高了标定过程的效率和该联合标定方法的可复用性。
在一个实施例中，基于重叠面积构建目标函数，包括：
计算重叠面积与点云目标框与图像识别目标框的面积之和的比值；
基于各个目标对应的重叠面积与图像识别目标框的面积之和的比值构建目标函数。
具体的，对于同一目标计算在图像上的点云目标框SL与图像识别目标框SC之间的重叠面积SOA，然后，计算该重叠面积与该目标对应的点云目标框与图像识别目标框的面积之和的比值R。例如，假设从图像上共选取了10个目标，则对于每一个目标都计算出了一个重叠面积与该目标对应的点云目标框与图像识别目标框的面积之和的比值R(包括R1-R10的10个数据)。计算比值R的公式如下所示：
在计算出了比值R之后，就可以基于各个目标的比值R构建目标函数。例如，所构建的第一目标函数如下所示：
本申请实施例中，对于每一帧图像计算图像上每一个目标对应的重叠面积与点云目标框与图像识别目标框的面积之和的比值，再基于各个目标的比值构建第一目标函数。如此，则构建第一目标函数的样本数据较丰富，就在一定程度上提高了所构建的第一目标函数的准确性。
在一个实施例中，通过目标函数调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数，包括：
采用梯度下降算法计算目标函数的值；
根据目标函数的值调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。
具体的，最终所得的目标函数如上述公式(1-13)所示，可以同时采用梯度下降算法来计算目标函数的值。其中，梯度下降(gradient descent)算法可以应用到线性回归或非线性回归的问题中，采用梯度下降算法通过迭代找到目标函数的最小值，或者收敛到最小值。
梯度下降是迭代法的一种，可以用于求解最小二乘问题。在求解神经网络的参数时，梯度下降是最常采用的方法之一。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和各项参数的值，也即是步骤501中记载的对该损失函数进行优化，直至该损失函数的值小于该预设阈值。Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络的各项权重，Adam可以为不同的参数设计独立的自适应性学习率。Adam具体公式如下：
其中，其中t表示次数，
为mt的纠正，
为vt的纠正，β1和β2是常数，控制指数衰减，mt是梯度的指数移动均值，通过梯度Gk的一阶矩求得。vt是平方梯度，通过梯度Gk的二阶矩求得，α和∈都是系数。
具体的，采用梯度下降算法计算目标函数的值之后，因为预先对目标函数的值设置了预设阈值，所以，根据目标函数的值调整初始外参矩阵直到目标函数的值满足预设阈值，输出调整后的外参矩阵作为激光雷达相对于相机的目标外参矩阵。其中，联合标定参数也可以称之为外参矩阵。当然，本申请中也可以采用梯度下降算法、自适应学习率算法中的任意一种来计算目标函数的值，或者采用其他的优化算法来计算目标函数的值，本申请对此不做限定。
本申请实施例中，因为同一目标在图像上的点云目标框与图像识别目标框之间存在强相关性，所以通过同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积、类别相似度这两个维度，来构建目标函数。再通过目标函数L对初始外参矩阵不断调整直到重叠面积大于预设阈值、类别相似度大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。如此，根据目标函数所得到的激光雷达与相机的联合标定参数的准确性较高。且同时实现了通过激光雷达和相机来进行自标定，不需要使用标定物，避免了浪费人力物力。
在一个实施例中，提供了一种激光雷达与相机联合标定方法，还包括：将激光雷达及相机调整至预设角度，并固定激光雷达及相机之间的相对位置。
本申请实施例中，在对激光雷达及相机进行标定之前，将激光雷达及相机调整至预设角度，并固定激光雷达及相机之间的相对位置。便于后续将激光雷达的球坐标系通过世界坐标系与相机所在的相机坐标系进行相互转换。且该预设角度指的是激光雷达和相机共同覆盖的重叠区域较多时所对应的角度。例如，将激光雷达水平安装，将相机调整为相对于竖直方向下倾角度在5°-15°之间。当然，本申请并不对此进行限定。
在一个具体的实施例中，如图6所示，提供了一种激光雷达与相机联合标定方法，包括：
步骤602，调整激光雷达和相机到合适角度，组装激光雷达和相机的融合套件；
步骤604，计算激光雷达相对于相机的初始外参矩阵；
步骤606，获取同一时刻、同一场景下采集的图像和与图像对应的激光点云；
步骤608，对激光点云进行标注，从激光点云中获取原始点云目标框及原始点云目标框对应的第一目标类别；
步骤610，对图像进行标注，从图像上获取图像识别目标框及图像识别目标框对应的第二目标类别；
步骤612，根据透射变换矩阵，将原始点云目标框映射到图像上得到映射点云；
步骤614，在图像上获取映射点云的外接框作为点云目标框；
步骤616，计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积及类别相似度；
步骤618，基于重叠面积构建第一目标函数；
步骤620，基于类别相似度构建第二目标函数；
步骤622，将第一目标函数与第二目标函数结合，得到最终的目标函数；
步骤624，采用梯度下降算法优化最终的目标函数，输出最优的联合标定参数作为激光雷达相对于相机的目标联合标定参数。
本申请实施例中，因为同一目标在图像上的点云目标框与图像识别目标框之间存在强相关性，所以通过同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积、类别相似度这两个维度，来构建目标函数。再通过目标函数对初始外参矩阵不断调整直到重叠面积大于预设阈值、类别相似度大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。如此，根据目标函数所得到的激光雷达与相机的联合标定参数的准确性较高。且同时实现了通过激光雷达和相机来进行自标定，不需要使用标定物，避免了浪费人力物力。
在一个实施例中，如图7所示，提供了一种激光雷达与相机联合标定装置700，包括：
数据采集模块720，用于获取同一时刻、同一场景下采集的图像和激光点云数据；
点云映射模块740，用于根据相机的内参矩阵、激光雷达相对于相机的初始联合标定参数，将激光点云数据对应的点云映射到图像上得到映射点云；
重叠面积计算模块760，用于计算同一目标在图像上的点云目标框与图像识别目标框之间的重叠面积，点云目标框为基于映射点云在图像上绘制的目标框，图像识别目标框为对图像进行标注所得的目标框；
目标联合标定参数输出模块780，用于基于重叠面积调整初始联合标定参数直到重叠面积大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。
在一个实施例中，目标联合标定参数输出模块780，还用于基于重叠面积、点云目标框与图像识别目标框的类别相似度调整初始联合标定参数，直到重叠面积大于预设阈值、类别相似度大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。
在一个实施例中，如图8所示，提供了一种激光雷达与相机联合标定装置700，还包括：
类别相似度计算模块790，用于计算同一目标在图像上的点云目标框与图像识别目标框之间的类别相似度。
在一个实施例中，类别相似度计算模块790，包括：
第一目标类别标注单元，用于对激光点云数据进行标注，从激光点云数据中获取原始点云目标框及原始点云目标框对应的第一目标类别；
第二目标类别标注单元，用于对图像进行标注，从图像上获取图像识别目标框及图像识别目标框对应的第二目标类别；
类别相似度生成单元，用于计算同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将类别相似度作为目标在图像上的点云目标框与图像识别目标框之间的类别相似度。
在一个实施例中，点云映射模块740，包括：
相机的内参矩阵、畸变系数计算单元，用于计算相机的内参矩阵、相机的畸变系数；
坐标获取单元，用于获取原始点云目标框在世界坐标系中的坐标；
透射变换单元，用于将相机的内参矩阵、相机的畸变系数、激光雷达相对于相机的初始联合标定参数及原始点云目标框在世界坐标系中的坐标输入至透射变换矩阵，计算原始点云目标框在像素坐标系中的坐标；
映射点云获取单元，用于从图像上提取原始点云目标框在像素坐标系中的坐标处的像素点，作为映射点云。
在一个实施例中，提供了一种激光雷达与相机联合标定装置700，还包括：目标框确定模块，用于针对图像中的每一个目标，在图像上获取映射点云的外接框作为点云目标框；获取同一目标在图像上的点云目标框与图像识别目标框。
在一个实施例中，初始联合标定参数计算模块，用于获取激光雷达在世界坐标系中的坐标；将相机在相机坐标系中的坐标转换为相机在世界坐标系中的坐标；根据激光雷达在世界坐标系中的坐标、相机在世界坐标系中的坐标，计算激光雷达相对于相机的初始联合标定参数。
在一个实施例中，目标联合标定参数输出模块780，还用于基于重叠面积构建第一目标函数，通过第一目标函数调整初始联合标定参数直到第一目标函数的值大于预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。
在一个实施例中，目标联合标定参数输出模块780，还用于采用梯度下降算法计算目标函数的值；根据目标函数的值调整初始联合标定参数直到目标函数的值满足预设阈值，输出调整后的联合标定参数作为激光雷达相对于相机的目标联合标定参数。
在一个实施例中，提供了一种激光雷达与相机联合标定装置700，还包括：激光雷达及相机固定模块，用于将激光雷达及相机调整至预设角度，并固定激光雷达及相机之间的相对位置。
上述激光雷达与相机联合标定装置中各个模块的划分仅用于举例说明，在其他实施例中，可将激光雷达与相机联合标定装置按照需要划分为不同的模块，以完成上述激光雷达与相机联合标定装置的全部或部分功能。
图9为一个实施例中服务器的内部结构示意图。如图9所示，该服务器包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个服务器的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种激光雷达与相机联合标定方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该服务器可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的激光雷达与相机联合标定装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行激光雷达与相机联合标定方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行激光雷达与相机联合标定方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种激光雷达与相机联合标定方法，其特征在于，包括：
获取同一时刻、同一场景下采集的图像和激光点云数据；
根据相机的内参矩阵、激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；
计算同一目标在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述点云目标框为基于所述映射点云在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行标注所得的目标框；
基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数。
2.根据权利要求1所述的方法，其特征在于，所述基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数，包括：
基于所述重叠面积、所述点云目标框与所述图像识别目标框的类别相似度调整所述初始联合标定参数，直到所述重叠面积大于预设阈值、所述类别相似度大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
计算同一目标在所述图像上的点云目标框与图像识别目标框之间的类别相似度。
4.根据权利要求3所述的方法，其特征在于，所述计算同一目标在所述图像上的点云目标框与图像识别目标框之间的类别相似度，包括：
对所述激光点云数据进行标注，从所述激光点云数据中获取原始点云目标框及所述原始点云目标框对应的第一目标类别；
对所述图像进行标注，从所述图像上获取图像识别目标框及所述图像识别目标框对应的第二目标类别；
计算同一目标对应的第一目标类别及第二目标类别之间的类别相似度，将所述类别相似度作为所述目标在所述图像上的点云目标框与图像识别目标框之间的类别相似度。
5.根据权利要求4所述的方法，其特征在于，所述根据所述相机的内参矩阵、所述激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云，包括：
计算所述相机的内参矩阵、所述相机的畸变系数；
获取所述原始点云目标框在世界坐标系中的坐标；
将所述相机的内参矩阵、所述相机的畸变系数、所述激光雷达相对于所述相机的初始联合标定参数及所述原始点云目标框在世界坐标系中的坐标输入至透射变换矩阵，计算所述原始点云目标框在像素坐标系中的坐标；
从所述图像上提取所述原始点云目标框在像素坐标系中的坐标处的像素点，作为映射点云。
6.根据权利要求5所述的方法，其特征在于，在所述计算同一目标在所述图像上的点云目标框与图像识别目标框之间的重叠面积之前，还包括：
针对所述图像中的每一个目标，在所述图像上获取所述映射点云的外接框作为点云目标框；
获取同一目标在所述图像上的点云目标框与图像识别目标框。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述激光雷达相对于所述相机的初始联合标定参数的计算过程，包括：
获取激光雷达在世界坐标系中的坐标；
将所述相机在相机坐标系中的坐标转换为所述相机在所述世界坐标系中的坐标；
根据所述激光雷达在所述世界坐标系中的坐标、所述相机在所述世界坐标系中的坐标，计算所述激光雷达相对于所述相机的初始联合标定参数。
8.根据权利要求7中所述的方法，其特征在于，所述基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数，包括：
基于所述重叠面积构建第一目标函数，通过所述第一目标函数调整所述初始联合标定参数直到所述第一目标函数的值大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于相机的目标联合标定参数。
9.一种激光雷达与相机联合标定装置，其特征在于，包括：
数据采集模块，用于获取同一时刻、同一场景下采集的图像和激光点云数据；
点云映射模块，用于根据相机的内参矩阵、激光雷达相对于所述相机的初始联合标定参数，将所述激光点云数据对应的点云映射到所述图像上得到映射点云；
重叠面积计算模块，用于计算同一目标在所述图像上的点云目标框与图像识别目标框之间的重叠面积，所述点云目标框为基于所述映射点云在所述图像上绘制的目标框，所述图像识别目标框为对所述图像进行标注所得的目标框；
目标联合标定参数输出模块，用于基于所述重叠面积调整所述初始联合标定参数直到所述重叠面积大于预设阈值，输出调整后的联合标定参数作为所述激光雷达相对于所述相机的目标联合标定参数。
10.一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的激光雷达与相机联合标定方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的激光雷达与相机联合标定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010845149.5A CN114076937A (zh) | 2020-08-20 | 2020-08-20 | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010845149.5A CN114076937A (zh) | 2020-08-20 | 2020-08-20 | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114076937A true CN114076937A (zh) | 2022-02-22 |
Family
ID=80282133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010845149.5A Pending CN114076937A (zh) | 2020-08-20 | 2020-08-20 | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114076937A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114076918A (zh) * | 2020-08-20 | 2022-02-22 | 北京万集科技股份有限公司 | 毫米波雷达、激光雷达与相机联合标定方法和装置 |
| CN114792343A (zh) * | 2022-06-21 | 2022-07-26 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像获取设备的标定方法、获取图像数据的方法、装置 |
| CN114820725A (zh) * | 2022-03-15 | 2022-07-29 | 中国科学院自动化研究所 | 目标显示方法、装置、电子设备及存储介质 |
| CN114862968A (zh) * | 2022-05-25 | 2022-08-05 | 中国人民解放军国防科技大学 | 基于注意力机制的激光雷达和相机自动标定方法及装置 |
| CN115082572A (zh) * | 2022-07-22 | 2022-09-20 | 南京慧尔视智能科技有限公司 | 一种雷达和相机联合自动标定方法和系统 |
| CN115471574A (zh) * | 2022-11-02 | 2022-12-13 | 北京闪马智建科技有限公司 | 外参的确定方法、装置、存储介质及电子装置 |
| CN115797401A (zh) * | 2022-11-17 | 2023-03-14 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN117036511A (zh) * | 2023-10-08 | 2023-11-10 | 之江实验室 | 多类型传感器的标定方法、装置、计算机设备和存储介质 |
| CN117129979A (zh) * | 2023-10-25 | 2023-11-28 | 深圳市迅龙软件有限公司 | 一种基于机器学习模型的激光雷达标定方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106908783A (zh) * | 2017-02-23 | 2017-06-30 | 苏州大学 | 基于多传感器信息融合的障碍物检测方法 |
| CN107977997A (zh) * | 2017-11-29 | 2018-05-01 | 北京航空航天大学 | 一种结合激光雷达三维点云数据的相机自标定方法 |
| CN109920011A (zh) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
| CN110188696A (zh) * | 2019-05-31 | 2019-08-30 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
| US20200025935A1 (en) * | 2018-03-14 | 2020-01-23 | Uber Technologies, Inc. | Three-Dimensional Object Detection |
| US20200116867A1 (en) * | 2018-10-12 | 2020-04-16 | Baidu Usa Llc | Automatic lidar calibration based on pre-collected static reflection map for autonomous driving |
| CN111127563A (zh) * | 2019-12-18 | 2020-05-08 | 北京万集科技股份有限公司 | 联合标定方法、装置、电子设备及存储介质 |
| WO2020155616A1 (zh) * | 2019-01-29 | 2020-08-06 | 浙江省北大信息技术高等研究院 | 一种基于数字视网膜的拍摄装置的定位方法 |
-
2020
- 2020-08-20 CN CN202010845149.5A patent/CN114076937A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106908783A (zh) * | 2017-02-23 | 2017-06-30 | 苏州大学 | 基于多传感器信息融合的障碍物检测方法 |
| CN107977997A (zh) * | 2017-11-29 | 2018-05-01 | 北京航空航天大学 | 一种结合激光雷达三维点云数据的相机自标定方法 |
| US20200025935A1 (en) * | 2018-03-14 | 2020-01-23 | Uber Technologies, Inc. | Three-Dimensional Object Detection |
| US20200116867A1 (en) * | 2018-10-12 | 2020-04-16 | Baidu Usa Llc | Automatic lidar calibration based on pre-collected static reflection map for autonomous driving |
| WO2020155616A1 (zh) * | 2019-01-29 | 2020-08-06 | 浙江省北大信息技术高等研究院 | 一种基于数字视网膜的拍摄装置的定位方法 |
| CN109920011A (zh) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
| CN110188696A (zh) * | 2019-05-31 | 2019-08-30 | 华南理工大学 | 一种水面无人装备多源感知方法及系统 |
| CN111127563A (zh) * | 2019-12-18 | 2020-05-08 | 北京万集科技股份有限公司 | 联合标定方法、装置、电子设备及存储介质 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114076918A (zh) * | 2020-08-20 | 2022-02-22 | 北京万集科技股份有限公司 | 毫米波雷达、激光雷达与相机联合标定方法和装置 |
| CN114820725A (zh) * | 2022-03-15 | 2022-07-29 | 中国科学院自动化研究所 | 目标显示方法、装置、电子设备及存储介质 |
| CN114862968A (zh) * | 2022-05-25 | 2022-08-05 | 中国人民解放军国防科技大学 | 基于注意力机制的激光雷达和相机自动标定方法及装置 |
| CN114862968B (zh) * | 2022-05-25 | 2024-10-18 | 中国人民解放军国防科技大学 | 基于注意力机制的激光雷达和相机自动标定方法及装置 |
| CN114792343A (zh) * | 2022-06-21 | 2022-07-26 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像获取设备的标定方法、获取图像数据的方法、装置 |
| CN114792343B (zh) * | 2022-06-21 | 2022-09-30 | 阿里巴巴达摩院(杭州)科技有限公司 | 图像获取设备的标定方法、获取图像数据的方法、装置 |
| CN115082572B (zh) * | 2022-07-22 | 2023-11-03 | 南京慧尔视智能科技有限公司 | 一种雷达和相机联合自动标定方法和系统 |
| CN115082572A (zh) * | 2022-07-22 | 2022-09-20 | 南京慧尔视智能科技有限公司 | 一种雷达和相机联合自动标定方法和系统 |
| CN115471574A (zh) * | 2022-11-02 | 2022-12-13 | 北京闪马智建科技有限公司 | 外参的确定方法、装置、存储介质及电子装置 |
| CN115471574B (zh) * | 2022-11-02 | 2023-02-03 | 北京闪马智建科技有限公司 | 外参的确定方法、装置、存储介质及电子装置 |
| CN115797401A (zh) * | 2022-11-17 | 2023-03-14 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN116594028A (zh) * | 2022-11-17 | 2023-08-15 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN116594028B (zh) * | 2022-11-17 | 2024-02-06 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN115797401B (zh) * | 2022-11-17 | 2023-06-06 | 昆易电子科技(上海)有限公司 | 对齐参数的验证方法、装置、存储介质及电子设备 |
| CN117036511A (zh) * | 2023-10-08 | 2023-11-10 | 之江实验室 | 多类型传感器的标定方法、装置、计算机设备和存储介质 |
| CN117036511B (zh) * | 2023-10-08 | 2024-03-26 | 之江实验室 | 多类型传感器的标定方法、装置、计算机设备和存储介质 |
| CN117129979A (zh) * | 2023-10-25 | 2023-11-28 | 深圳市迅龙软件有限公司 | 一种基于机器学习模型的激光雷达标定方法及系统 |
| CN117129979B (zh) * | 2023-10-25 | 2024-02-13 | 深圳市迅龙软件有限公司 | 一种基于机器学习模型的激光雷达标定方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114076937A (zh) | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 | |
| CN114076918A (zh) | 毫米波雷达、激光雷达与相机联合标定方法和装置 | |
| CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
| CN114076919A (zh) | 毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 | |
| CN110889829A (zh) | 一种基于鱼眼镜头的单目测距方法 | |
| CN115797454B (zh) | 一种鸟瞰图视角下多摄像机融合感知方法及装置 | |
| CN114076936A (zh) | 联合标定参数的精度评估方法和装置、服务器、计算机可读存储介质 | |
| CN111950426A (zh) | 目标检测方法、装置及运载工具 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN111207762B (zh) | 地图生成方法、装置、计算机设备和存储介质 | |
| CN114332494A (zh) | 车路协同场景下基于多源融合的三维目标检测与识别方法 | |
| EP3621041A1 (en) | Three-dimensional representation generating system | |
| CN112037249A (zh) | 一种对摄像装置影像中物体进行跟踪的方法及装置 | |
| CN111246098B (zh) | 机器人拍照方法、装置、计算机设备和存储介质 | |
| CN113139602A (zh) | 基于单目相机和激光雷达融合的3d目标检测方法及系统 | |
| CN111693025A (zh) | 一种遥感影像数据生成方法、系统及设备 | |
| CN113643345A (zh) | 一种基于双光融合的多目道路智能识别方法 | |
| CN112733672A (zh) | 基于单目相机的三维目标检测方法、装置和计算机设备 | |
| CN110782498A (zh) | 一种视觉传感网络的快速通用标定方法 | |
| CN113724387A (zh) | 一种激光与相机融合的地图构建方法 | |
| CN114076935A (zh) | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 | |
| CN112132900A (zh) | 一种视觉重定位方法及系统 | |
| CN114494466A (zh) | 外参标定方法、装置及设备、存储介质 | |
| CN114332796A (zh) | 一种多传感器融合体素特征图生成方法及系统 | |
| CN114972470B (zh) | 基于双目视觉的路面环境获取方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |