CN110865388A - 摄像机与激光雷达的联合标定方法、装置及存储介质 - Google Patents
摄像机与激光雷达的联合标定方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110865388A CN110865388A CN201911189230.6A CN201911189230A CN110865388A CN 110865388 A CN110865388 A CN 110865388A CN 201911189230 A CN201911189230 A CN 201911189230A CN 110865388 A CN110865388 A CN 110865388A
- Authority
- CN
- China
- Prior art keywords
- laser radar
- laser
- point cloud
- target
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
- G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请公开了一种摄像机与激光雷达的联合标定方法、装置及存储介质，属于计算机视觉技术领域。该方法包括：根据激光雷达扫描目标标定靶的激光点云，确定目标标定靶的N个特征点的空间坐标，N由目标标定靶的形状确定得到；通过摄像机检测N个特征点的平面坐标；根据N个特征点的空间坐标和N个特征点的平面坐标，确定激光雷达和摄像机的姿态信息，以实现摄像机和所述激光雷达的联合标定。本申请通过从激光雷达获得的目标标定靶的激光点云，确定特征点的空间坐标，并通过摄像头检测图像中特征点的平面坐标，通过空间坐标和平面坐标确定激光雷达和摄像机的姿态信息，仅需一次就可以完成摄像机与激光雷达的标定，提高了标定的效率与准确性。
Description
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种摄像机的与激光雷达的联合标定方法、装置及存储介质。
背景技术
随着无人驾驶汽车的发展，激光雷达和摄像机作为环境感知重要的一部分，已被应用至无人驾驶汽车的领域中。其中，通过激光雷达和摄像机可以检测图像中行人、车辆等物体，为了保证检测的精度，通常需要事先对激光雷达和摄像机进行标定。
目前，在标定时，可以在由激光雷达获得的点云和摄像机捕获的图像中找到多边形板的顶点，该多边形板可以是棋盘或三角形板，通过构造提取板的点云的凸包来估计顶点，以实现标定。但是，由于顶点仅包括多边形板外轮廓的几何特征，这些特征由扫描线的不连续性形成，从而导致对点云的利用不充分，导致标定不准确。
发明内容
本申请提供了一种摄像机与激光雷达的联合标定方法、装置及存储介质，可以解决相关技术中标定不准确的问题。所述技术方案如下：
一方面，提供了一种摄像机与激光雷达的联合标定方法，所述方法包括：
根据激光雷达扫描目标标定靶的激光点云，确定所述目标标定靶的N个特征点的空间坐标，所述N由所述目标标定靶的形状确定得到；
通过摄像机检测所述N个特征点的平面坐标；
根据所述N个特征点的空间坐标和所述N个特征点的平面坐标，确定所述激光雷达和所述摄像机的姿态信息，以实现所述摄像机和所述激光雷达的联合标定。
在一些实施例中，所述根据激光雷达扫描目标标定靶的激光点云，确定所述目标标定靶的N个特征点的空间坐标之前，还包括：
获取所述激光雷达的激光点云；
根据所述激光点云，对所述激光点云进行水平度标定。
在一些实施例中，所述根据所述激光点云，对所述激光点云进行水平度标定，包括：
将所述激光点云进行投影，得到所述激光点云的俯视图；
在所述激光点云的俯视图中，以所述激光雷达所处位置为中心，确定交叉十字线，所述交叉十字线为以所述激光雷达的位置为中心且相互对称的十字线；
在所述激光点云的俯视图中，当所述激光雷达的任一激光点云穿过所述交叉十字线四个顶点时，确定所述激光雷达与所在路面水平，以完成对所述激光雷达的水平标定。
在一些实施例中，所述根据激光雷达扫描目标标定靶的激光点云，确定所述目标标定靶的N个特征点的空间坐标，包括：
根据沿激光扫描方向的激光点云中各个激光雷达点之间的距离，以及所述激光雷达点方向的变化，将所述激光点云聚类成多个扫描线段；
将所述多个扫描线段聚类成对象段，得到所述目标标定靶的靶平面的激光雷达点集合；
根据所述激光点云的点云强度值和强度阈值，从所述激光雷达点集合中剔除干扰点；
根据所述激光点云中各个激光雷达点的反射强度差值，确定所述目标标定靶中预设区域的N个边界点；
将所述N个边界点对应的边界线的交点的空间坐标确定为所述目标标定靶的N个特征点的空间坐标。
在一些实施例中，所述根据所述激光点云中各个激光雷达点的反射强度差值，确定所述目标标定靶中预设区域的N个边界点，包括：
对于多根扫描激光中第i根扫描激光的激光雷达子集合，确定所述激光雷达子集合中任一相邻两个激光雷达点之间的反射强度差值是否大于差值阈值，所述i为大于或等于1的正整数；
当任一相邻两个激光雷达点之间的反射强度差值大于所述差值阈值时，将所述任一相邻两个激光雷达点的平均坐标值确定为任一边界点的坐标值。
另一方面，提供了一种摄像机与激光雷达的联合标定装置，所述装置包括：
第一确定模块，用于根据激光雷达扫描目标标定靶的激光点云，确定所述目标标定靶的N个特征点的空间坐标，所述N由所述目标标定靶的形状确定得到；
检测模块，用于通过摄像机检测所述N个特征点的平面坐标；
第二确定模块，用于根据所述N个特征点的空间坐标和所述N个特征点的平面坐标，确定所述激光雷达和所述摄像机的姿态信息，以实现所述摄像机和所述激光雷达的联合标定。
在一些实施例中，所述装置还包括：
获取模块，用于获取所述激光雷达的激光点云；
标定模块，用于根据所述激光点云，对所述激光点云进行水平度标定。
在一些实施例中，所述标定模块包括：
投影子模块，用于将所述激光点云进行投影，得到所述激光点云的俯视图；
第一确定子模块，用于在所述激光点云的俯视图中，以所述激光雷达所处位置为中心，确定交叉十字线，所述交叉十字线为以所述激光雷达的位置为中心且相互对称的十字线；
第二确定子模块，用于在所述激光点云的俯视图中，当所述激光雷达的任一激光点云穿过所述交叉十字线四个顶点时，确定所述激光雷达与所在路面水平，以完成对所述激光雷达的水平标定。
在一些实施例中，所述第一确定模块包括：
第一聚类子模块，用于根据沿激光扫描方向的激光点云中各个激光雷达点之间的距离，以及所述激光雷达点方向的变化，将所述激光点云聚类成多个扫描线段；
第二聚类子模块，用于将所述多个扫描线段聚类成对象段，得到所述目标标定靶的靶平面的激光雷达点集合；
剔除子模块，用于根据所述激光点云的点云强度值和强度阈值，从所述激光雷达点集合中剔除干扰点；
第三确定子模块，用于根据所述激光点云中各个激光雷达点的反射强度差值，确定所述目标标定靶中预设区域的N个边界点；
第四确定子模块，用于将所述N个边界点对应的边界线的交点的空间坐标确定为所述目标标定靶的N个特征点的空间坐标。
在一些实施例中，所述第三确定子模块用于：
对于多根扫描激光中第i根扫描激光的激光雷达子集合，确定所述激光雷达子集合中任一相邻两个激光雷达点之间的反射强度差值是否大于差值阈值，所述i为大于或等于1的正整数；
当任一相邻两个激光雷达点之间的反射强度差值大于所述差值阈值时，将所述任一相邻两个激光雷达点的平均坐标值确定为任一边界点的坐标值。
另一方面，提供了一种终端，所述终端包括存储器和处理器，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的计算机程序，以实现上述所述的摄像机与激光雷达的联合标定方法的步骤。
另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述摄像机与激光雷达的联合标定方法的步骤。
另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的摄像机与激光雷达的联合标定方法的步骤。
本申请提供的技术方案至少可以带来以下有益效果：
本申请中，可以通过从激光雷达获得的目标标定靶的激光点云，确定特征点的空间坐标，并通过摄像头检测图像中特征点的平面坐标，通过空间坐标和平面坐标确定激光雷达和摄像机的姿态信息，仅需一次就可以完成摄像机与激光雷达的标定，提高了标定的效率与准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图；
图2是本申请实施例提供的一种摄像机与激光雷达的联合标定方法的流程图；
图3是本申请实施例提供的另一种摄像机与激光雷达的联合标定方法的流程图；
图4是本申请实施例提供的一种目标标定靶的形状示意图；
图5是本申请实施例提供的一种摄像机与激光雷达的联合标定装置的结构示意图；
图6是本申请实施例提供的另一种摄像机与激光雷达的联合标定装置的结构示意图；
图7是本申请实施例提供的一种标定模块的结构示意图；
图8是本申请实施例提供的一种第一确定模块的结构示意图；
图9是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供的摄像机与激光雷达的联合标定方法进行详细的解释说明之前，先对本申请实施例提供的应用场景和实施环境进行介绍。
首先，对本申请实施例涉及的应用场景进行介绍。
为了实现无人驾驶，通常会通过激光雷达和摄像机进行环境感知，为了保证环境感知的精度，还需要事先对激光雷达和摄像机进行标定。
目前，在标定时，可以在由激光雷达获得的点云和摄像机捕获的图像中找到多边形板的顶点，该多边形板可以是棋盘或三角形板，通过构造提取板的点云的凸包来估计顶点，以实现标定。但是，由于顶点仅包括多边形板外轮廓的几何特征，这些特征由扫描线的不连续性形成，而内部信息不使用，从而导致对点云的利用不充分，导致标定不准确。
基于这样的场景，本申请实施例提供了一种提高点云利用的充分性和标定准确性的摄像机与激光雷达的联合标定方法。
接下来，对本申请实施例涉及的系统架构进行介绍。
请参考图1，图1是根据一示例性实施例示出的一种实施环境的示意图。该实施环境包括至少一个终端101，该终端101可以为与汽车102进行通信连接的终端，也可以为安装在汽车102中的车载终端。该通信连接可以为有线或者无线连接，本申请对此不做限定。
其中，终端101可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(PersonalComputer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、智能车机、智能电视、智能音箱等。
汽车102可以是任一汽车，该汽车上安装有激光雷达和摄像机。
本领域技术人员应能理解上述终端101和汽车102仅为举例，其他现有的或今后可能出现的终端或汽车如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
接下来将结合附图对本申请实施例提供的摄像机与激光雷达的联合标定方法进行详细的解释说明。
图2是本申请实施例提供的一种摄像机与激光雷达的联合标定方法的流程图，该方法应用于终端中。请参考图2，该方法包括如下步骤。
步骤201：根据激光雷达扫描目标标定靶的激光点云，确定该目标标定靶的N个特征点的空间坐标，该N由该目标标定靶的形状确定得到。
步骤201：通过摄像机检测该N个特征点的平面坐标。
步骤201：根据该N个特征点的空间坐标和该N个特征点的平面坐标，确定该激光雷达和该摄像机的姿态信息，以实现该摄像机和该激光雷达的联合标定。
在本申请中，通过从激光雷达获得的目标标定靶的激光点云，确定特征点的空间坐标，并通过摄像头检测图像中特征点的平面坐标，通过空间坐标和平面坐标确定激光雷达和摄像机的姿态信息，仅需一次就可以完成摄像机与激光雷达的标定，提高了标定的效率与准确性。
在一些实施例中，根据激光雷达扫描目标标定靶的激光点云，确定该目标标定靶的N个特征点的空间坐标之前，还包括：
获取该激光雷达的激光点云；
根据该激光点云，对该激光点云进行水平度标定。
在一些实施例中，根据该激光点云，对该激光点云进行水平度标定，包括：
将该激光点云进行投影，得到该激光点云的俯视图；
在该激光点云的俯视图中，以该激光雷达所处位置为中心，确定交叉十字线，该交叉十字线为以该激光雷达的位置为中心且相互对称的十字线；
在该激光点云的俯视图中，当该激光雷达的任一激光点云穿过该交叉十字线四个顶点时，确定该激光雷达与所在路面水平，以完成对该激光雷达的水平标定。
在一些实施例中，根据激光雷达扫描目标标定靶的激光点云，确定该目标标定靶的N个特征点的空间坐标，包括：
根据沿激光扫描方向的激光点云中各个激光雷达点之间的距离，以及该激光雷达点方向的变化，将该激光点云聚类成多个扫描线段；
将该多个扫描线段聚类成对象段，得到该目标标定靶的靶平面的激光雷达点集合；
根据该激光点云的点云强度值和强度阈值，从该激光雷达点集合中剔除干扰点；
根据所述激光点云中各个激光雷达点的反射强度差值，确定该目标标定靶中预设区域的N个边界点；
将该N个边界点对应的边界线的交点的空间坐标确定为该目标标定靶的N个特征点的空间坐标。
在一些实施例中，根据所述激光点云中各个激光雷达点的反射强度差值，确定该目标标定靶中预设区域的N个边界点，包括：
对于多根扫描激光中第i根扫描激光的激光雷达子集合，确定该激光雷达子集合中任一相邻两个激光雷达点之间的反射强度差值是否大于差值阈值，所述i为大于或等于1的正整数；
当任一相邻两个激光雷达点之间的反射强度差值大于该差值阈值时，将该任一相邻两个激光雷达点的平均坐标值确定为任一边界点的坐标值。
上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。
图3为本申请实施例提供的一种摄像机与激光雷达的联合标定方法的流程图，参见图3，该方法包括如下步骤。
步骤301：终端对激光雷达进行水平度标定。
需要说明的是，终端在对激光雷达进行水平度标定时，可以将激光雷达安装在三脚架上并把三脚架固定在汽车的车顶上，选择较为平整且较少遮挡物的路面，运行激光雷达，获取激光点云，并将激光点云投影到俯视图上，设置滑动条以调整激光雷达俯视图的大小，同时在俯视图上标记激光雷达所在的位置。
作为一种示例，终端可以通过十字相交法对激光雷达进行水平度标定。也即是，终端可以获取激光雷达的激光点云；根据激光点云，对激光点云进行水平度标定。
作为一种示例，终端根据激光点云，对激光点云进行水平度标定的操作可以为：将激光点云进行投影，得到激光点云的俯视图；在激光点云的俯视图中，以激光雷达所处位置为中心，确定交叉十字线，该交叉十字线为以激光雷达的位置为中心且相互对称的十字线；在激光点云的俯视图中，当激光雷达的任一激光点云穿过交叉十字线四个顶点时，确定激光雷达与所在路面水平，以完成对激光雷达的水平标定。
在一些实施例中，终端不仅可以通过上述方式对激光雷达进行水平度标定，还可以通过其他方式，比如，由于激光雷达会在激光点云的俯视图上生成一圈圈的环形点云，如果环形点云接近圆形，那么表明此时激光雷达与所在路面近似水平。因此，终端可以确定环形点云的形状与圆形的相似度；当环形点云的形状与圆形的相似度大于相似度阈值时，确定激光雷达与所在路面水平，以完成对激光雷达的水平标定。当环形点云的形状与圆形的相似度小于或等于相似度阈值时，确定激光雷达与所在路面不水平，调整激光雷达位置，并返回终端对激光雷达进行水平度标定的操作，直至激光雷达与所在路面水平。
需要说明的是，该相似度阈值可以根据需求事先进行设置，比如，该相似度阈值可以为90％、95％等等。
步骤302：终端根据激光雷达扫描目标标定靶的激光点云，确定目标标定靶的N个特征点的空间坐标，N由目标标定靶的形状确定得到。
需要说明的是，目标标定靶为用于实现标定而事先设置的标定靶，该目标标定靶的形状可以为三角形、镂空三角形、四边形等，比如，目标标定靶可以为如图5所示的四边形。
在一些实施例中，终端可以事先获知目标标定靶的形状，从而确定N的值，或者，通过汽车安装的摄像头对目标标定靶进行图像识别，从而确定N的值。
作为一种示例，终端根据激光雷达的激光点云，确定目标标定靶的N个特征点的空间坐标的操作可以为：根据沿激光扫描方向的激光点云中各个激光雷达点之间的距离，以及激光雷达点方向的变化，将激光点云聚类成多个扫描线段；将多个扫描线段聚类成对象段，得到目标标定靶的靶平面的激光雷达点集合；根据激光点云的点云强度值和强度阈值，从激光雷达点集合中剔除干扰点；根据激光点云中各个激光雷达点的反射强度差值，确定该目标标定靶中预设区域的N个边界点；将N个边界点对应的边界线的交点的空间坐标确定为目标标定靶的N个特征点的空间坐标。
需要说明的是，终端可以采用基于扫描线的分割方法处理点云，也即是上述的终端根据沿激光扫描方向的激光点云中各个激光雷达点之间的距离，以及激光雷达点方向的变化，将激光点云聚类成多个扫描线段，然后将多个扫描线段聚类成对象段，得到目标标定靶的靶平面的激光雷达点集合。
还需要说明的是，各个激光雷达点之间的距离可以是指预设数量个连续点之间的距离，该预设数量可以事先进行设置，比如，该预设数量可以为5、6等等。
作为一种示例，终端可以通过主成分分析法对多个扫描线段中的所有三维点按三个主成分(三个坐标方向)进行分解，并根据相似性聚集成对象段，得到目标标定靶的靶平面的激光雷达点集合
其中，p代表激光雷达点，L代表激光雷达。
在一些实施例中，由于激光雷达点集合中可能存在干扰点，干扰点可能会干扰标定的准确性，因此，终端可以确定强度阈值来排除干扰点。该强度阈值可以是一个强度阈值区域。
由于靶平面中只有黑色和白色两种颜色，终端可以利用反射强度和图案颜色之间的对应关系，可以得到靶平面点云强度图，之后可以根据点云强度图，以点云强度值为横坐标，以对应强度值的点云数为纵坐标，确定坐标系中纵坐标找到左右两边的点云数峰值横坐标(rl,rh)，终端可以根据点云数峰值横坐标(rl,rh)确定强度阈值区域。
作为一种示例，终端可以通过下述第一公式确定强度阈值区域。
需要说明的是，在上述第一公式(1)中，rl为纵坐标左边的点云数峰值对应的低强度值，rl为纵坐标右边的点云数峰值对应的高强度值，τl为最低强度阈值，τh为最高强度阈值。
作为一种示例，终端可以将激光雷达点集合中点的坐标与强度阈值区域进行比较，从而确定是否为干扰点，也即是，当
时，则确定
属于靶平面点，否则为干扰点。当确定为干扰点时，将干扰点进行排除。
由于N个特征点为目标标定靶的各个边界线的交点，因此，终端需要获取边界线，而获取边界线，终端可以确定目标标定靶中预设内外边界点。
需要说明的是，当目标标定靶为如图4所示的标定靶时，该预设区域可以为图4所示的黑色区域。
作为一种示例，终端根据激光点云中各个激光雷达点的反射强度差值，确定目标标定靶中预设区域的N个边界点的操作可以为：对于多根扫描激光中第i根扫描激光的激光雷达子集合，确定激光雷达子集合中任一相邻两个激光雷达点之间的反射强度差值是否大于差值阈值，i为大于或等于1的正整数；当任一相邻两个激光雷达点之间的反射强度差值大于差值阈值时，将任一相邻两个激光雷达点的平均坐标值确定为任一边界点的坐标值。
由于在通过激光雷达扫描时是通过多根扫描激光进行的，那么对于每根扫描激光都可以得到多个点云，因此，激光雷达集合中包括多个激光雷达子集合，每个激光雷达子集合对应一根根扫描激光。对于第i根扫描激光的激光雷达子集合，该激光雷达子集合可以为
终端可以确定激光雷达子集合中任一相邻两个激光雷达点之间的反射强度差值是否大于差值阈值，也即是，终端可以通过下述第二公式确定任一相邻两个激光雷达点之间的反射强度差值是否大于差值阈值，当任一相邻两个激光雷达点之间的反射强度差值大于差值阈值时，说明边界点位于该任一相邻两个激光雷达点之间。因此，可以将任一相邻两个激光雷达点的平均坐标值确定为任一边界点的坐标值。
需要说明的是，在上述第二公式(2)中，
为第j个点的坐标对应的强度值，
为第j+1个点的坐标对应的强度值，τ为差值阈值。
作为一种示例，终端可以通过下述第三公式确定任一相邻两个激光雷达点的平均坐标值。
需要说明的是，在上述第三公式(3)中，mik为平均坐标值，
为第j个点的坐标，
为第j+1个点的坐标。
在一些实施例中，当第i根扫描激光与目标标定靶的预设区域，即黑色区域相交时，可能有两个边界点，此时，N＝2，或者，四个边界点，此时N＝4。当存在两个边界点时，扫描激光分别在目标标定靶的上下部位(镂空区域的上下部分)，当存在四个边界点时，扫描激光在目标标定靶的中间部位(镂空区域处)。终端可以将激光雷达检测出的黑色区域的边界点定义成向量形式，比如，当若存在两个边界点时，定义的向量可以为(mi1,×,×,mi4)，×表示不存在；当存在四个边界点时，定义的向量可以为(mi1,mi2,mi3,mi4)。也即是，将黑色区域边界点写为向量形式后，向量可以包括(m11,×,×,m14)，(m21,m22,m23,m24)，…，(mi1,×,×,mi4)。
需要说明的是，向量(m11,m21,…,mi1),(m14,m24,…,mi4)分别代表左右外边界线点，(×,m22,…,m(i-1)2,×),(×,m23,…,m(i-1)3,×)(此处i>1)分别代表左右内边界线点，终端可以确定内外8条边界线，从而得到八个边界线交点。
在一些实施例中，终端可以将激光雷达坐标系下黑色区域外边界线的交点按逆时针记为pL1,pL2,pL3,pL4，内边界线的交点按逆时针记为p′L1,p′L2,p′L3,p′L4，即得到八个三维特征点。
步骤303：终端通过摄像机检测N个特征点的平面坐标。
需要说明的是，摄像机可以获得一帧包含目标标定靶的图像，并对获取的图像进行预处理，并从预处理后的图像中检测N个特征点的平面坐标。
作为一种示例，终端对图像进行预处理的操作可以为：对图像进行灰度化处理，得到灰度图像；对灰度图像进行二值化，得到二值图像。
作为一种示例，终端从预处理后的图像中检测N个特征点的平面坐标操作可以为：当二值图像中任一像素点的灰度值大于像素阈值时，则确定该任一像素点的灰度值设为像素阈值；否则，确定该任一像素点的灰度值不变。之后，终端可以根据Harri角点检测算法在一个5×5的窗口内进行像素级的角点检测，得到像素级的边缘点；通过Forstner算子在最佳窗口内进行加权中心化的操作，得到亚像素角点，并确定N个特征点的平面坐标。
在一些实施例中，终端可以将特征点数目设置为8，在确定N个特征点的平面坐标后，可以输出精确角点坐标。终端可以将摄像机坐标系下黑色区域外边界线的特征点按逆时针记为pC1,pC2,pC3,pC4，内边界线的特征点按逆时针记为p′C1,p′C2,p′C3,p′C4，即八个特征点的平面坐标。
步骤304：终端根据N个特征点的空间坐标和N个特征点的平面坐标，确定激光雷达和摄像机的姿态信息，以实现摄像机和激光雷达的联合标定。
作为一种示例，终端可以根据N个特征点的空间坐标和N个特征点的平面坐标，通过统一透视n点法确定激光雷达和摄像机的绝对姿态信息，得到激光雷达坐标系到摄像头坐标系的旋转矩阵
和平移向量
在一些实施例中，终端可以根据激光雷达和摄像机的姿态信息，对激光雷达和摄像机进行调整。
在本申请实施例中，终端可以对激光雷达进行水平标定，并通过从激光雷达获得的目标标定靶的激光点云，确定特征点的空间坐标，通过摄像头检测图像中特征点的平面坐标，通过空间坐标和平面坐标确定激光雷达和摄像机的姿态信息，仅需一次就可以完成摄像机与激光雷达的标定，提高了标定的效率与准确性。
在对本申请实施例提供的摄像机与激光雷达的联合标定方法进行解释说明之后，接下来，对本申请实施例提供的摄像机与激光雷达的联合标定装置进行介绍。
图5是本申请实施例提供的一种摄像机与激光雷达的联合标定装置的结构示意图，该摄像机与激光雷达的联合标定装置可以由软件、硬件或者两者的结合实现成为终端的部分或者全部，终端可以为图1所示的终端。请参考图5，该装置包括：第一确定模块501、检测模块502和第二确定模块503。
第一确定模块501，用于根据激光雷达扫描目标标定靶的激光点云，确定所述目标标定靶的N个特征点的空间坐标，所述N由所述目标标定靶的形状确定得到；
检测模块502，用于通过摄像机检测所述N个特征点的平面坐标；
第二确定模块503，用于根据所述N个特征点的空间坐标和所述N个特征点的平面坐标，确定所述激光雷达和所述摄像机的姿态信息，以实现所述摄像机和所述激光雷达的联合标定。
在一些实施例中，参见图6，所述装置还包括：
获取模块504，用于获取所述激光雷达的激光点云；
标定模块505，用于根据所述激光点云，对所述激光点云进行水平度标定。
在一些实施例中，参见图7，所述标定模块505包括：
投影子模块5051，用于将所述激光点云进行投影，得到所述激光点云的俯视图；
第一确定子模块5052，用于在所述激光点云的俯视图中，以所述激光雷达所处位置为中心，确定交叉十字线，所述交叉十字线为以所述激光雷达的位置为中心且相互对称的十字线；
第二确定子模块5053，用于在所述激光点云的俯视图中，当所述激光雷达的任一激光点云穿过所述交叉十字线四个顶点时，确定所述激光雷达与所在路面水平，以完成对所述激光雷达的水平标定。
在一些实施例中，参见图8，所述第一确定模块501包括：
第一聚类子模块5011，用于根据沿激光扫描方向的激光点云中各个激光雷达点之间的距离，以及所述激光雷达点方向的变化，将所述激光点云聚类成多个扫描线段；
第二聚类子模块5012，用于将所述多个扫描线段聚类成对象段，得到所述目标标定靶的靶平面的激光雷达点集合；
剔除子模块5013，用于根据所述激光点云的点云强度值和强度阈值，从所述激光雷达点集合中剔除干扰点；
第三确定子模块5014，用于根据所述激光点云中各个激光雷达点的反射强度差值，确定所述目标标定靶中预设区域的N个边界点；
第四确定子模块5015，用于将所述N个边界点对应的边界线的交点的空间坐标确定为所述目标标定靶的N个特征点的空间坐标。
在一些实施例中，所述第三确定子模块5014用于：
对于多根扫描激光中第i根扫描激光的激光雷达子集合，确定所述激光雷达子集合中任一相邻两个激光雷达点之间的反射强度差值是否大于差值阈值，所述i为大于或等于1的正整数；
当任一相邻两个激光雷达点之间的反射强度差值大于所述差值阈值时，将所述任一相邻两个激光雷达点的平均坐标值确定为任一边界点的坐标值。
在本申请实施例中，终端可以对激光雷达进行水平标定，并通过从激光雷达获得的目标标定靶的激光点云，确定特征点的空间坐标，通过摄像头检测图像中特征点的平面坐标，通过空间坐标和平面坐标确定激光雷达和摄像机的姿态信息，仅需一次就可以完成摄像机与激光雷达的标定，提高了标定的效率与准确性。
需要说明的是：上述实施例提供的摄像机与激光雷达的联合标定装置在标定摄像机与激光雷达时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的摄像机与激光雷达的联合标定装置与摄像机与激光雷达的联合标定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图9是本申请实施例提供的一种终端900的结构框图。该终端900可以是便携式移动终端，比如：智能手机、平板电脑笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。也可以是车载终端。
通常，终端900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的摄像机与激光雷达的联合标定方法。
在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端900还包括有一个或多个传感器910。
本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中摄像机与激光雷达的联合标定方法的步骤。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
值得注意的是，本申请提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的摄像机与激光雷达的联合标定方法的步骤。
以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种摄像机与激光雷达的联合标定方法，其特征在于，所述方法包括：
根据激光雷达扫描目标标定靶的激光点云，确定所述目标标定靶的N个特征点的空间坐标，所述N由所述目标标定靶的形状确定得到；
通过摄像机检测所述N个特征点的平面坐标；
根据所述N个特征点的空间坐标和所述N个特征点的平面坐标，确定所述激光雷达和所述摄像机的姿态信息，以实现所述摄像机和所述激光雷达的联合标定。
2.如权利要求1所述的方法，其特征在于，所述根据激光雷达扫描目标标定靶的激光点云，确定所述目标标定靶的N个特征点的空间坐标之前，还包括：
获取所述激光雷达的激光点云；
根据所述激光点云，对所述激光点云进行水平度标定。
3.如权利要求2所述的方法，其特征在于，所述根据所述激光点云，对所述激光点云进行水平度标定，包括：
将所述激光点云进行投影，得到所述激光点云的俯视图；
在所述激光点云的俯视图中，以所述激光雷达所处位置为中心，确定交叉十字线，所述交叉十字线为以所述激光雷达的位置为中心且相互对称的十字线；
在所述激光点云的俯视图中，当所述激光雷达的任一激光点云穿过所述交叉十字线四个顶点时，确定所述激光雷达与所在路面水平，以完成对所述激光雷达的水平标定。
4.如权利要求1所述的方法，其特征在于，所述根据激光雷达扫描目标标定靶的激光点云，确定所述目标标定靶的N个特征点的空间坐标，包括：
根据沿激光扫描方向的激光点云中各个激光雷达点之间的距离，以及所述激光雷达点方向的变化，将所述激光点云聚类成多个扫描线段；
将所述多个扫描线段聚类成对象段，得到所述目标标定靶的靶平面的激光雷达点集合；
根据所述激光点云的点云强度值和强度阈值，从所述激光雷达点集合中剔除干扰点；
根据所述激光点云中各个激光雷达点的反射强度差值，确定所述目标标定靶中预设区域的N个边界点；
将所述N个边界点对应的边界线的交点的空间坐标确定为所述目标标定靶的N个特征点的空间坐标。
5.如权利要求4所述的方法，其特征在于，所述所述激光点云中各个激光雷达点的反射强度差值，确定所述目标标定靶中预设区域的N个边界点，包括：
对于多根扫描激光中第i根扫描激光的激光雷达子集合，确定所述激光雷达子集合中任一相邻两个激光雷达点之间的反射强度差值是否大于差值阈值，所述i为大于或等于1的正整数；
当任一相邻两个激光雷达点之间的反射强度差值大于所述差值阈值时，将所述任一相邻两个激光雷达点的平均坐标值确定为任一边界点的坐标值。
6.一种摄像机与激光雷达的联合标定装置，其特征在于，所述装置包括：
第一确定模块，用于根据激光雷达扫描目标标定靶的激光点云，确定所述目标标定靶的N个特征点的空间坐标，所述N由所述目标标定靶的形状确定得到；
检测模块，用于通过摄像机检测所述N个特征点的平面坐标；
第二确定模块，用于根据所述N个特征点的空间坐标和所述N个特征点的平面坐标，确定所述激光雷达和所述摄像机的姿态信息，以实现所述摄像机和所述激光雷达的联合标定。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
获取模块，用于获取所述激光雷达的激光点云；
标定模块，用于根据所述激光点云，对所述激光点云进行水平度标定。
8.如权利要求7所述的装置，其特征在于，所述标定模块包括：
投影子模块，用于将所述激光点云进行投影，得到所述激光点云的俯视图；
第一确定子模块，用于在所述激光点云的俯视图中，以所述激光雷达所处位置为中心，确定交叉十字线，所述交叉十字线为以所述激光雷达的位置为中心且相互对称的十字线；
第二确定子模块，用于在所述激光点云的俯视图中，当所述激光雷达的任一激光点云穿过所述交叉十字线四个顶点时，确定所述激光雷达与所在路面水平，以完成对所述激光雷达的水平标定。
9.如权利要求6所述的装置，其特征在于，所述第一确定模块包括：
第一聚类子模块，用于根据沿激光扫描方向的激光点云中各个激光雷达点之间的距离，以及所述激光雷达点方向的变化，将所述激光点云聚类成多个扫描线段；
第二聚类子模块，用于将所述多个扫描线段聚类成对象段，得到所述目标标定靶的靶平面的激光雷达点集合；
剔除子模块，用于根据所述激光点云的点云强度值和强度阈值，从所述激光雷达点集合中剔除干扰点；
第三确定子模块，用于根据所述激光点云中各个激光雷达点的反射强度差值，确定所述目标标定靶中预设区域的N个边界点；
第四确定子模块，用于将所述N个边界点对应的边界线的交点的空间坐标确定为所述目标标定靶的N个特征点的空间坐标。
10.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911189230.6A CN110865388B (zh) | 2019-11-28 | 2019-11-28 | 摄像机与激光雷达的联合标定方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911189230.6A CN110865388B (zh) | 2019-11-28 | 2019-11-28 | 摄像机与激光雷达的联合标定方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110865388A true CN110865388A (zh) | 2020-03-06 |
| CN110865388B CN110865388B (zh) | 2023-10-31 |
Family
ID=69655411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911189230.6A Active CN110865388B (zh) | 2019-11-28 | 2019-11-28 | 摄像机与激光雷达的联合标定方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110865388B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111627072A (zh) * | 2020-04-30 | 2020-09-04 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
| CN111638499A (zh) * | 2020-05-08 | 2020-09-08 | 上海交通大学 | 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法 |
| CN111830526A (zh) * | 2020-09-17 | 2020-10-27 | 上海驭矩信息科技有限公司 | 一种基于多线激光数据融合的集装箱定位方法及装置 |
| CN112378437A (zh) * | 2020-10-27 | 2021-02-19 | 禾多科技（北京）有限公司 | 汽车传感器标定装置 |
| CN112446927A (zh) * | 2020-12-18 | 2021-03-05 | 广东电网有限责任公司 | 激光雷达和相机的联合标定方法、装置、设备及存储介质 |
| CN112782678A (zh) * | 2021-02-03 | 2021-05-11 | 中国地质环境监测院(自然资源部地质灾害技术指导中心) | 激光雷达与空三测量数据融合评测凹型模具及其评测方法 |
| CN112782679A (zh) * | 2021-02-03 | 2021-05-11 | 中国地质环境监测院(自然资源部地质灾害技术指导中心) | 激光雷达与空三测量数据融合组合评估模具及其评测方法 |
| CN113495256A (zh) * | 2020-04-01 | 2021-10-12 | 北京京东乾石科技有限公司 | 确定多个激光雷达之间标定结果的准确度的方法和装置 |
| CN115079126A (zh) * | 2022-05-12 | 2022-09-20 | 探维科技(北京)有限公司 | 点云处理方法、装置、设备及存储介质 |
| WO2023166700A1 (ja) * | 2022-03-04 | 2023-09-07 | パイオニア株式会社 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
| TWI819613B (zh) * | 2022-05-19 | 2023-10-21 | 緯創資通股份有限公司 | 物件的雙感測方法及用於物件感測的運算裝置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101033953A (zh) * | 2007-02-02 | 2007-09-12 | 西安交通大学 | 基于图像处理与图像识别的平整度检测方法 |
| US20100309288A1 (en) * | 2009-05-20 | 2010-12-09 | Roger Stettner | 3-dimensional hybrid camera and production system |
| CN102393524A (zh) * | 2011-11-11 | 2012-03-28 | 铁道第三勘察设计院集团有限公司 | 机载激光雷达点云平面精度检测装置 |
| CN106127113A (zh) * | 2016-06-15 | 2016-11-16 | 北京联合大学 | 一种基于三维激光雷达的道路车道线检测方法 |
| CN107462248A (zh) * | 2017-08-17 | 2017-12-12 | 灵踪科技（深圳）有限公司 | 一种室内光学定位系统及其使用方法 |
| CN110264416A (zh) * | 2019-05-28 | 2019-09-20 | 深圳大学 | 稀疏点云分割方法及装置 |
-
2019
- 2019-11-28 CN CN201911189230.6A patent/CN110865388B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101033953A (zh) * | 2007-02-02 | 2007-09-12 | 西安交通大学 | 基于图像处理与图像识别的平整度检测方法 |
| US20100309288A1 (en) * | 2009-05-20 | 2010-12-09 | Roger Stettner | 3-dimensional hybrid camera and production system |
| CN102393524A (zh) * | 2011-11-11 | 2012-03-28 | 铁道第三勘察设计院集团有限公司 | 机载激光雷达点云平面精度检测装置 |
| CN106127113A (zh) * | 2016-06-15 | 2016-11-16 | 北京联合大学 | 一种基于三维激光雷达的道路车道线检测方法 |
| CN107462248A (zh) * | 2017-08-17 | 2017-12-12 | 灵踪科技（深圳）有限公司 | 一种室内光学定位系统及其使用方法 |
| CN110264416A (zh) * | 2019-05-28 | 2019-09-20 | 深圳大学 | 稀疏点云分割方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王欣宇 等: "图像传感器与空间坐标测量传感器融合综述" * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113495256B (zh) * | 2020-04-01 | 2024-04-05 | 北京京东乾石科技有限公司 | 确定多个激光雷达之间标定结果的准确度的方法和装置 |
| CN113495256A (zh) * | 2020-04-01 | 2021-10-12 | 北京京东乾石科技有限公司 | 确定多个激光雷达之间标定结果的准确度的方法和装置 |
| CN111627072B (zh) * | 2020-04-30 | 2023-10-24 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
| CN111627072A (zh) * | 2020-04-30 | 2020-09-04 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
| CN111638499A (zh) * | 2020-05-08 | 2020-09-08 | 上海交通大学 | 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法 |
| CN111638499B (zh) * | 2020-05-08 | 2024-04-09 | 上海交通大学 | 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法 |
| CN111830526A (zh) * | 2020-09-17 | 2020-10-27 | 上海驭矩信息科技有限公司 | 一种基于多线激光数据融合的集装箱定位方法及装置 |
| CN111830526B (zh) * | 2020-09-17 | 2020-12-29 | 上海驭矩信息科技有限公司 | 一种基于多线激光数据融合的集装箱定位方法及装置 |
| US11841436B2 (en) | 2020-09-17 | 2023-12-12 | Shanghai Master Matrix Information Technology Co., Ltd. | Container positioning method and apparatus based on multi-line laser data fusion |
| WO2022057747A1 (zh) * | 2020-09-17 | 2022-03-24 | 上海驭矩信息科技有限公司 | 一种基于多线激光数据融合的集装箱定位方法及装置 |
| CN112378437A (zh) * | 2020-10-27 | 2021-02-19 | 禾多科技（北京）有限公司 | 汽车传感器标定装置 |
| CN112446927A (zh) * | 2020-12-18 | 2021-03-05 | 广东电网有限责任公司 | 激光雷达和相机的联合标定方法、装置、设备及存储介质 |
| CN112782679A (zh) * | 2021-02-03 | 2021-05-11 | 中国地质环境监测院(自然资源部地质灾害技术指导中心) | 激光雷达与空三测量数据融合组合评估模具及其评测方法 |
| CN112782678A (zh) * | 2021-02-03 | 2021-05-11 | 中国地质环境监测院(自然资源部地质灾害技术指导中心) | 激光雷达与空三测量数据融合评测凹型模具及其评测方法 |
| WO2023166700A1 (ja) * | 2022-03-04 | 2023-09-07 | パイオニア株式会社 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
| CN115079126A (zh) * | 2022-05-12 | 2022-09-20 | 探维科技(北京)有限公司 | 点云处理方法、装置、设备及存储介质 |
| CN115079126B (zh) * | 2022-05-12 | 2024-05-14 | 探维科技(北京)有限公司 | 点云处理方法、装置、设备及存储介质 |
| TWI819613B (zh) * | 2022-05-19 | 2023-10-21 | 緯創資通股份有限公司 | 物件的雙感測方法及用於物件感測的運算裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110865388B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110865388B (zh) | 摄像机与激光雷达的联合标定方法、装置及存储介质 | |
| CN109829456B (zh) | 图像识别方法、装置及终端 | |
| CN111126182B (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
| CN110967024A (zh) | 可行驶区域的检测方法、装置、设备及存储介质 | |
| CN110097576B (zh) | 图像特征点的运动信息确定方法、任务执行方法和设备 | |
| CN109492566B (zh) | 车道位置信息获取方法、装置及存储介质 | |
| CN111104893B (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN112270718B (zh) | 摄像头标定方法、装置、系统及存储介质 | |
| CN112150560B (zh) | 确定消失点的方法、装置及计算机存储介质 | |
| CN111256676B (zh) | 移动机器人定位方法、装置和计算机可读存储介质 | |
| CN109409301B (zh) | 交通信号灯的信息获取方法、装置及存储介质 | |
| WO2023072093A1 (zh) | 虚拟车位确定方法、显示方法、装置、设备、介质及程序 | |
| CN113723136B (zh) | 条码矫正方法、装置、设备及存储介质 | |
| CN110738185B (zh) | 表单对象的识别方法、装置及存储介质 | |
| CN111538009B (zh) | 雷达点的标记方法和装置 | |
| CN114881863B (zh) | 一种图像拼接方法、电子设备及计算机可读存储介质 | |
| CN109754439B (zh) | 标定方法、装置、电子设备及介质 | |
| CN111444749B (zh) | 路面导向标志的识别方法、装置及存储介质 | |
| CN111709993A (zh) | 物体的位姿信息确定方法、装置、终端及存储介质 | |
| CN111664860B (zh) | 定位方法、装置、智能设备及存储介质 | |
| CN111563402B (zh) | 车牌识别方法、装置、终端及存储介质 | |
| CN115205364A (zh) | 对象高度的确定方法、装置及存储介质 | |
| CN114283395A (zh) | 车道线检测的方法、装置、设备及计算机可读存储介质 | |
| CN115180018B (zh) | 测量转向轮转角的方法、装置、设备及存储介质 | |
| CN112241662B (zh) | 一种检测可行驶区域的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |