[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN116205961A - 多镜头组合影像和激光雷达点云的自动配准方法及其系统 - Google Patents

多镜头组合影像和激光雷达点云的自动配准方法及其系统 Download PDF

Info

Publication number
CN116205961A
CN116205961A CN202310217423.8A CN202310217423A CN116205961A CN 116205961 A CN116205961 A CN 116205961A CN 202310217423 A CN202310217423 A CN 202310217423A CN 116205961 A CN116205961 A CN 116205961A
Authority
CN
China
Prior art keywords
point cloud
laser radar
image
sparse
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310217423.8A
Other languages
English (en)
Inventor
葛建飞
金肖枫
肖江剑
卜宁波
许根
徐刚
金天星
吕立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN202310217423.8A priority Critical patent/CN116205961A/zh
Publication of CN116205961A publication Critical patent/CN116205961A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种多镜头组合影像和激光雷达点云的自动配准方法及其系统。该自动配准方法包括：构建多目组合式相机与激光雷达传感器的标定场景；标定多目组合式相机与激光雷达传感器的外参；解算多镜头组合影像的初始位姿；根据序列影像生成与激光雷达点云尺度一致的世界坐标系下的稀疏图像特征点云；通过预设的点云匹配算法配准所述稀疏图像特征点云与所述激光雷达点云，得到所述稀疏图像特征点云到所述激光雷达点云的精确配准结果。本发明有效解决了3D‑3D点云对齐中尺度统一及初值计算的问题，有着更高的配准精度，且能够实现自动化的配准。

Description

多镜头组合影像和激光雷达点云的自动配准方法及其系统
技术领域
本发明涉及一种三维激光雷达与视觉系统之间的跨模态数据融合，特别涉及一种移动激光雷达点云和多镜头组合式影像之间的自动配准方法和系统，属于空间环境感知技术领域。
背景技术
基于多传感器数据融合的移动测量系统(MMS)为BIM建模、城市规划、AR/VR提供了新的技术手段。典型的MMS通常搭载激光雷达以及组合式全景相机等环境感知传感器。系统采集的可见光影像与激光雷达点云数据具有良好的互补性，可见光影像提供了场景中丰富的纹理信息，而激光雷达提供了相机所缺乏的深度信息，将两者数据进行有效的融合能够对物理世界中的场景进行快速的三维重建。
移动激光雷达点云与可见光影像进行配准融合中，遇到的挑战问题主要有两个：(1)传感器的标定误差。尽管多线稀疏激光雷达与可见光相机间的标定方法已被大量的研究，但传感器级别的标定精度依然难以满足更高级别数据融合的任务需求，期望能够达到亚像素精度；同时在数据采集过程中难以避免的机械震动也会对事先标定的传感器间的外参产生影响。(2)传感器间的时钟不同步。数据采集过程中，激光雷达与相机之间、相机与相机之间严格的时钟同步往往是难以做到的，使得基于激光雷达里程计推算的相机的位姿不准确。以上不可避免的因素都要求在后续的数据处理过程中采用数据驱动的配准方法。
国内外学者针对移动测量系统(MMS)激光扫描数据与影像的配准方法开展了大量的研究，现有的配准方法主要分为三类：①2D-2D配准算法；②2D-3D配准算法；③影像特征点云与激光点云配准的3D-3D配准算法。基于2D-2D的方法将图像到点云配准的问题转化为图像到图像配准的过程。基于2D-3D的方法完全保留了来自不同模式的信息，理论上更有利于提高配准的精度。基于3D-3D的方法需要一系列图像进行三维重建，然后进行三维配准。目前文献中已知的配准方法，大多是基于拼接后的全景图与移动激光雷达点云进行配准，不适用于尚未拼接的多目组合式相机影像与移动激光雷达点云间的高精度自动化配准，且难以有效应对上述移动激光雷达点云与可见光影像间配准融合中遇到的两个挑战问题。
发明内容
针对移动测量系统(MMS)在数据采集时传感器之间存在时钟不同步，即使给定激光雷达和相机的初始外参，仍难以实现高精度配准，且大部分基于特征的配准方法往往需要人工参与，对场景具有一定的依赖性，且难以实现鲁棒性的自动化配准的难题，本发明的主要提供一种基于图像初始位姿的多镜头组合影像和激光雷达点云的自动配准方法及其系统，以克服现有技术中存在的上述问题。
为了达到前述发明目的，本发明采用了以下方案：
本发明的一个方面提供了一种基于图像初始位姿的多镜头组合影像和移动激光雷达点云的自动配准方法，其包括以下步骤：
步骤1：构建多目组合式相机与激光雷达传感器的标定场景；
步骤2：标定多目组合式相机与激光雷达传感器的外参，得到多目组合式相机与激光雷达传感器的外参
Figure BDA0004115432040000021
步骤3：解算多镜头组合影像的初始位姿，具体包括：利用稀疏激光雷达采集场景的一帧点云帧数据Ml；确定所述点云帧数据Ml到世界坐标系的初始位姿
Figure BDA0004115432040000022
根据所述多目组合式相机与激光雷达传感器的外参/>
Figure BDA0004115432040000023
和所述初始位姿/>
Figure BDA0004115432040000024
得到影像采集时刻的初始位姿
Figure BDA0004115432040000025
步骤4：根据序列影像生成与激光雷达点云尺度一致的世界坐标系下的稀疏图像特征点云MC，所述序列影像通过移动测量系统中搭载的可见光相机所获取；
步骤5：通过预设的点云匹配算法配准所述稀疏图像特征点云MC与所述激光雷达点云ML，得到所述稀疏图像特征点云MC到所述激光雷达点云ML的精确配准结果。
可以理解的，所述激光雷达点云ML可以理解为多帧点云帧数据Ml的集合。
在一个实施例中，所述构建多目组合式相机与激光雷达传感器的标定场景具体包括：选择一个房间，在房间各墙壁中粘贴与多目组合式相机数量一致的棋盘格。
在一个实施例中，所述标定多目组合式相机与激光雷达传感器的外参具体包括：
步骤2.1：基于架站式激光雷达采集标定场景的全景影像Ip与场景点云Ms，利用组合式镜头采集标定场景的影像
Figure BDA00041154320400000311
其中N为组合式全景相机的镜头数目，确保每幅影像中包含一个完整的棋盘格图案，利用稀疏激光雷达采集场景的点云帧数据Ml；
步骤2.2：计算所述全景影像Ip和所述标定场景的影像
Figure BDA00041154320400000312
中棋盘格角点的2D坐标，根据所述全景影像Ip与场景点云MS的对应关系得到棋盘格角点的3D坐标，再通过预设的位姿估算算法解算出多目组合式相机的位姿/>
Figure BDA0004115432040000031
步骤2.3：在所述场景点云MS和所述点云帧数据Ml中分别选取三个线性无关的平面，通过平面拟合算法得到点云对应的平面方程，进而解算出稀疏激光雷达的位姿
Figure BDA0004115432040000032
初值，再利用预设的点云匹配算法得到所述点云帧数据Ml到所述场景点云MS的精确变换，得到优化后的稀疏激光雷达的位姿/>
Figure BDA0004115432040000033
则多目组合式相机与激光雷达传感器的外参表示为：
Figure BDA0004115432040000034
所述inv()为逆矩阵。
在一个实施例中，所述解算多镜头组合影像的初始位姿具体包括：通过激光雷达SLAM算法得到点云帧数据Ml到世界坐标系的初始位姿记为
Figure BDA0004115432040000035
根据所述多目组合式相机与激光雷达传感器的外参/>
Figure BDA0004115432040000036
和所述初始位姿/>
Figure BDA0004115432040000037
得到影像采集时刻的初始位姿/>
Figure BDA0004115432040000038
Figure BDA0004115432040000039
在一个实施例中，所述步骤5具体包括：以激光雷达点云ML为参考基准，通过最小化稀疏特征点云与激光雷达点云之间的距离实现配置参数精细化；通过ICP方法迭代优化，得到所述稀疏图像特征点云MC到所述激光雷达点云ML的精确配准结果。
本发明的另一个方面提供了一种基于图像初始位姿的多镜头组合影像和移动激光雷达点云的自动配准系统，所述配准系统包括：
场景构建模块，所述场景构建模块用于构建多目组合式相机与激光雷达传感器的标定场景；
外参标定模块，所述外参标定模块用于标定多目组合式相机与激光雷达传感器的外参，得到多目组合式相机与激光雷达传感器的外参
Figure BDA00041154320400000310
初始位姿解算模块，所述初始位姿解算模块用于解算多镜头组合影像的初始位姿，具体包括：利用稀疏激光雷达采集场景的一帧点云帧数据Ml；确定所述点云帧数据Ml到世界坐标系的初始位姿
Figure BDA0004115432040000041
根据所述多目组合式相机与激光雷达传感器的外参/>
Figure BDA0004115432040000042
和所述初始位姿/>
Figure BDA0004115432040000043
得到影像采集时刻的初始位姿/>
Figure BDA0004115432040000044
稀疏图像特征点云生成模块，所述稀疏图像特征点云生成模块用于根据序列影像生成与激光雷达点云尺度一致的世界坐标系下的稀疏图像特征点云MC，所述序列影像通过移动测量系统中搭载的可见光相机所获取；
配准模块，所述配置模块用于通过预设的点云匹配算法配准所述稀疏图像特征点云MC与所述激光雷达点云ML，得到所述稀疏图像特征点云MC到所述激光雷达点云ML的精确配准结果。
在一个实施例中，所述构建多目组合式相机与激光雷达传感器的标定场景具体包括：选择一个房间，在房间各墙壁中粘贴与多目组合式相机数量一致的棋盘格。
在一个实施例中，所述标定多目组合式相机与激光雷达传感器的外参具体包括：
基于架站式激光雷达采集标定场景的全景影像Ip与场景点云MS，利用组合式镜头采集标定场景的影像
Figure BDA0004115432040000045
其中N为组合式全景相机的镜头数目，确保每幅影像中包含一个完整的棋盘格图案，利用稀疏激光雷达采集场景的点云帧数据Ml；
计算所述全景影像Ip和所述标定场景的影像
Figure BDA0004115432040000046
中棋盘格角点的2D坐标，根据所述全景影像Ip与场景点云MS的对应关系得到棋盘格角点的3D坐标，再通过预设的位姿估算算法解算出多目组合式相机的位姿/>
Figure BDA0004115432040000047
在所述场景点云MS和所述点云帧数据Ml中分别选取三个线性无关的平面，通过平面拟合算法得到点云对应的平面方程，进而解算出稀疏激光雷达的位姿
Figure BDA0004115432040000048
初值，再利用预设的点云匹配算法得到所述点云帧数据Ml到所述场景点云MS的精确变换，得到优化后的稀疏激光雷达的位姿/>
Figure BDA0004115432040000049
则多目组合式相机与激光雷达传感器的外参表示为：
Figure BDA00041154320400000410
所述inv()为逆矩阵。
在一个实施例中，所述解算多镜头组合影像的初始位姿具体包括：通过激光雷达SLAM算法得到点云帧Ml到世界坐标系的初始位姿记为
Figure BDA00041154320400000411
根据所述多目组合式相机与激光雷达传感器的外参/>
Figure BDA00041154320400000412
和所述初始位姿/>
Figure BDA00041154320400000413
得到影像采集时刻的初始位姿/>
Figure BDA00041154320400000414
Figure BDA00041154320400000415
在一个实施例中，所述配准模块具体用于：以激光雷达点云ML为参考基准，通过最小化稀疏特征点云与激光雷达点云之间的距离实现配置参数精细化；通过ICP方法迭代优化，得到所述稀疏图像特征点云MC到所述激光雷达点云ML的精确配准结果。
与现有技术相比，本发明至少具有如下优点：本发明提供的多镜头组合影像和激光雷达点云的自动配准方法及其系统有效解决了3D-3D点云对齐中尺度统一及初值计算的问题，有着更高的配准精度，且能够实现自动化的配准。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a、图1b是本发明一实施方式中组合式影像与激光雷达点云的数据采集设备示例图；
图2是本发明一实施方式中标定场景示意图；
图3是本发明一实施方式中室内外四目组合式影像以及LiDAR点云；
图4a、图4b是本发明一实施方式中室内与室外场景配准结果；
图5是本发明一实施方式中误差量化评估结果；
图6是本发明一实施方式中自动配准方法部署示意图。
具体实施方式
针对现有技术的不足，本发明人提出本发明的技术方案，有效解决了3D-3D点云对齐中尺度统一及初值计算的问题，有着更高的配准精度，且能够实现自动化的配准。
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式进行详细说明。这些优选实施方式的示例在附图中进行了例示。附图中所示和根据附图描述的本发明的实施方式仅仅是示例性的，并且本发明并不限于这些实施方式。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
在本申请的一个较为典型的实施方式中，首先，利用高精度的架站式激光雷达作为中间传感器，对多目组合式相机与稀疏激光雷达传感器进行外参标定。然后，利用激光雷达SLAM算法获取里程计，进而得到每幅影像的初始位姿。再通过带影像位姿的SfM算法得到与稀疏激光雷达场景点云尺度一致的稀疏特征点云。最后使用迭代最近点(ICP)算法将激光雷达场景点云与影像特征点云进行对齐。
具体地，构建组合式相机与激光雷达传感器的标定场景的过程可以为：选择一个室内房间，在四周墙壁中间粘贴与组合式相机数量一致的棋盘格，其中棋盘格用A4纸打印，图案阵列为4×5。
多目组合式相机与激光雷达传感器的外参标定过程可以为：基于毫米级精度的架站式激光雷达采集标定场景的全景影像Ip与场景点云MS，利用组合式镜头采集标定场景的影像
Figure BDA0004115432040000061
其中N为组合式全景相机的镜头数目，确保每幅影像中包含一个完整的棋盘格图案，利用稀疏激光雷达采集场景的点云帧数据Ml，所述点云帧数据指的是LiDAR采集的一帧点云数据，用来计算LiDAR与可见光相机之间的外参。利用OpenCV的findChessboardCorners算法，计算影像Ip和/>
Figure BDA0004115432040000062
中棋盘格角点的2D坐标，根据全景影像Ip与场景点云MS的对应关系得到棋盘格角点的3D坐标，再通过PnP算法解算出多目组合式相机的位姿/>
Figure BDA0004115432040000063
所述PnP算法的输入数据包括：图像中检测到的角点2D坐标，以及点云中角点对应的3D坐标。在点云Ms和Ml中分别选取三个线性无关的平面，通过平面拟合算法得到点云对应的平面方程，进而可以解算出稀疏激光雷达的位姿/>
Figure BDA0004115432040000064
初值，再利用ICP算法得到出Ml点云到Ms的精确变换，得到优化后的稀疏激光雷达的位姿/>
Figure BDA0004115432040000065
所述inv()为逆矩阵，即矩阵的逆运算。
多镜头组合影像初始位姿的解算。通过激光雷达SLAM算法得到激光雷达点云帧到世界坐标系的初始位姿记为
Figure BDA0004115432040000066
再由步骤2获得的组合式相机与激光雷达传感器的外参
Figure BDA0004115432040000067
得到影像采集时刻的初始位姿/>
Figure BDA0004115432040000068
同时，利用带影像位姿的SfM方法得到由序列影像生成与LiDAR点云尺度一致的世界坐标系下的稀疏图像特征点云。
对于统一在世界坐标系下的稀疏特征点云与激光雷达点云，以激光雷达点云为参考基准，通过最小化两者之间(即稀疏特征点云与激光雷达点云之间)的距离实现配准参数精细化，激光雷达点云记为ML，这里的点云是LiDAR在一种状态下，通过SLAM算法注册后的密集的场景点云，影像序列通过SfM重建的稀疏特征点云记为MC。经过步骤4后稀疏重建的图像特征点云与激光雷达点云在空间上近似配准，再通过ICP方法迭代优化，得到MC到ML的精确配准结果。
具体地，如图1a、图1b所示，将安装在数据采集系统上。具体实施步骤如下：
1)如图2所示，选择室内标定场景，四面墙上均贴有棋盘格，保证每个相机影像均包含一个棋盘格。然后再用三维扫描仪获取该场景的稠密点云以及全景影像。
2)对于激光雷达和三维扫描仪获取到的点云，同时匹配三个线性独立的平面，获取激光雷达和扫描仪间的外参初值。
3)用整个场景的点云作ICP算法，迭代优化得到精确的外参。
4)对于组合式影像，先用三维扫描仪解算得到棋盘格角点对应的三维坐标，再使用PnP算法优化得到相机与扫描仪的精确外参。
5)基于标定得到的相机与激光雷达间的外参，经过SLAM里程计算法得到每个影像的初始位姿，通过带位姿的SfM算法，得到影像的稀疏特征点云。
6)将影像稀疏特征点云与激光雷达场景点云进行ICP迭代配准。如图3所示，数据采集系统获取点云数据和组合式影像数据。如图4a、图4b所示，将配准后的点云进行着色，通过纹理丰富区域的定性观测，具有较好的着色效果。如图5所示，配准误差均在一个像素以内，图5中横坐标表示精度评估影像的编号，纵坐标为重投影误差，单位是像素。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例的技术方案也可以经适当组合形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于图像初始位姿的多镜头组合影像和移动激光雷达点云的自动配准方法，其特征在于，所述配准方法包括以下步骤：
步骤1：构建多目组合式相机与激光雷达传感器的标定场景；
步骤2：标定多目组合式相机与激光雷达传感器的外参，得到多目组合式相机与激光雷达传感器的外参
Figure FDA0004115432020000011
步骤3：解算多镜头组合影像的初始位姿，具体包括：利用稀疏激光雷达采集场景的一帧点云帧数据Ml；确定所述点云帧数据Ml到世界坐标系的初始位姿
Figure FDA0004115432020000012
根据所述多目组合式相机与激光雷达传感器的外参/>
Figure FDA0004115432020000013
和所述初始位姿/>
Figure FDA0004115432020000014
得到影像采集时刻的初始位姿/>
Figure FDA0004115432020000015
步骤4：根据序列影像生成与激光雷达点云尺度一致的世界坐标系下的稀疏图像特征点云MC，所述序列影像通过移动测量系统中搭载的可见光相机所获取；
步骤5：通过预设的点云匹配算法配准所述稀疏图像特征点云MC与所述激光雷达点云ML，得到所述稀疏图像特征点云MC到所述激光雷达点云ML的精确配准结果。
2.根据权利要求1所述的自动配准方法，其特征在于，所述构建多目组合式相机与激光雷达传感器的标定场景具体包括：选择一个房间，在房间各墙壁中粘贴与多目组合式相机数量一致的棋盘格。
3.根据权利要求1所述的自动配准方法，其特征在于，所述标定多目组合式相机与激光雷达传感器的外参具体包括：
步骤2.1：基于架站式激光雷达采集标定场景的全景影像Ip与场景点云Ms，利用组合式镜头采集标定场景的影像
Figure FDA0004115432020000016
其中N为组合式全景相机的镜头数目，确保每幅影像中包含一个完整的棋盘格图案，利用稀疏激光雷达采集场景的点云帧数据Ml；
步骤2.2：计算所述全景影像Ip和所述标定场景的影像
Figure FDA0004115432020000017
中棋盘格角点的2D坐标，根据所述全景影像Ip与场景点云Ms的对应关系得到棋盘格角点的3D坐标，再通过预设的位姿估算算法解算出多目组合式相机的位姿/>
Figure FDA0004115432020000018
步骤2.3：在所述场景点云Ms和所述点云帧数据Ml中分别选取三个线性无关的平面，通过平面拟合算法得到点云对应的平面方程，进而解算出稀疏激光雷达的位姿
Figure FDA0004115432020000021
初值，再利用预设的点云匹配算法得到所述点云帧数据Ml到所述场景点云Ms的精确变换，得到优化后的稀疏激光雷达的位姿/>
Figure FDA0004115432020000022
则多目组合式相机与激光雷达传感器的外参表示为：
Figure FDA0004115432020000023
所述inv()为逆矩阵。
4.根据权利要求1所述的自动配准方法，其特征在于，所述解算多镜头组合影像的初始位姿具体包括：通过激光雷达SlJAM算法得到点云帧数据Ml到世界坐标系的初始位姿记为
Figure FDA0004115432020000024
根据所述多目组合式相机与激光雷达传感器的外参/>
Figure FDA0004115432020000025
和所述初始位姿/>
Figure FDA0004115432020000026
得到影像采集时刻的初始位姿/>
Figure FDA0004115432020000027
Figure FDA0004115432020000028
5.根据权利要求1所述的配准方法，其特征在于，所述步骤5具体包括：以激光雷达点云ML为参考基准，通过最小化稀疏特征点云与激光雷达点云之间的距离实现配置参数精细化；通过ICP方法迭代优化，得到所述稀疏图像特征点云MC到所述激光雷达点云ML的精确配准结果。
6.一种基于图像初始位姿的多镜头组合影像和移动激光雷达点云的自动配准系统，其特征在于，所述配准系统包括：
场景构建模块，所述场景构建模块用于构建多目组合式相机与激光雷达传感器的标定场景；
外参标定模块，所述外参标定模块用于标定多目组合式相机与激光雷达传感器的外参，得到多目组合式相机与激光雷达传感器的外参
Figure FDA0004115432020000029
初始位姿解算模块，所述初始位姿解算模块用于解算多镜头组合影像的初始位姿，具体包括：利用稀疏激光雷达采集场景的一帧点云帧数据Ml；确定所述点云帧数据Ml到世界坐标系的初始位姿
Figure FDA00041154320200000210
根据所述多目组合式相机与激光雷达传感器的外参/>
Figure FDA00041154320200000211
和所述初始位姿/>
Figure FDA00041154320200000212
得到影像采集时刻的初始位姿/>
Figure FDA00041154320200000213
稀疏图像特征点云生成模块，所述稀疏图像特征点云生成模块用于根据序列影像生成与激光雷达点云尺度一致的世界坐标系下的稀疏图像特征点云MC，所述序列影像通过移动测量系统中搭载的可见光相机所获取；
配准模块，所述配置模块用于通过预设的点云匹配算法配准所述稀疏图像特征点云MC与所述激光雷达点云ML，得到所述稀疏图像特征点云MC到所述激光雷达点云ML的精确配准结果。
7.根据权利要求6所述的自动配准系统，其特征在于，所述构建多目组合式相机与激光雷达传感器的标定场景具体包括：选择一个房间，在房间各墙壁中粘贴与多目组合式相机数量一致的棋盘格。
8.根据权利要求6所述的自动配准系统，其特征在于，所述标定多目组合式相机与激光雷达传感器的外参具体包括：
基于架站式激光雷达采集标定场景的全景影像Ip与场景点云Ms，利用组合式镜头采集标定场景的影像
Figure FDA0004115432020000031
其中N为组合式全景相机的镜头数目，确保每幅影像中包含一个完整的棋盘格图案，利用稀疏激光雷达采集场景的点云帧数据Ml；
计算所述全景影像Ip和所述标定场景的影像
Figure FDA0004115432020000032
中棋盘格角点的2D坐标，根据所述全景影像Ip与场景点云Ms的对应关系得到棋盘格角点的3D坐标，再通过预设的位姿估算算法解算出多目组合式相机的位姿/>
Figure FDA0004115432020000033
在所述场景点云Ms和所述点云帧数据Ml中分别选取三个线性无关的平面，通过平面拟合算法得到点云对应的平面方程，进而解算出稀疏激光雷达的位姿
Figure FDA0004115432020000039
初值，再利用预设的点云匹配算法得到所述点云帧数据Ml到所述场景点云Ms的精确变换，得到优化后的稀疏激光雷达的位姿/>
Figure FDA00041154320200000310
则多目组合式相机与激光雷达传感器的外参表示为：
Figure FDA0004115432020000034
所述inv()为逆矩阵。
9.根据权利要求6所述的自动配准系统，其特征在于，所述解算多镜头组合影像的初始位姿具体包括：通过激光雷达SLAM算法得到点云帧Ml到世界坐标系的初始位姿记为
Figure FDA0004115432020000035
根据所述多目组合式相机与激光雷达传感器的外参/>
Figure FDA0004115432020000036
和所述初始位姿/>
Figure FDA0004115432020000037
得到影像采集时刻的初始位姿/>
Figure FDA0004115432020000038
Figure FDA0004115432020000041
10.根据权利要求6所述的自动配准系统，其特征在于，所述配准模块具体用于：以激光雷达点云M，为参考基准，通过最小化稀疏特征点云与激光雷达点云之间的距离实现配置参数精细化；通过IcP方法迭代优化，得到所述稀疏图像特征点云M，到所述激光雷达点云M，的精确配准结果。
CN202310217423.8A 2023-03-02 2023-03-02 多镜头组合影像和激光雷达点云的自动配准方法及其系统 Pending CN116205961A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310217423.8A CN116205961A (zh) 2023-03-02 2023-03-02 多镜头组合影像和激光雷达点云的自动配准方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310217423.8A CN116205961A (zh) 2023-03-02 2023-03-02 多镜头组合影像和激光雷达点云的自动配准方法及其系统

Publications (1)

Publication Number Publication Date
CN116205961A true CN116205961A (zh) 2023-06-02

Family

ID=86514538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310217423.8A Pending CN116205961A (zh) 2023-03-02 2023-03-02 多镜头组合影像和激光雷达点云的自动配准方法及其系统

Country Status (1)

Country Link
CN (1) CN116205961A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351140A (zh) * 2023-09-15 2024-01-05 中国科学院自动化研究所 融合全景相机和激光雷达的三维重建方法、装置及设备
CN117994309A (zh) * 2024-04-07 2024-05-07 绘见科技(深圳)有限公司 一种基于大模型的slam激光点云与全景影像自动配准方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351140A (zh) * 2023-09-15 2024-01-05 中国科学院自动化研究所 融合全景相机和激光雷达的三维重建方法、装置及设备
CN117351140B (zh) * 2023-09-15 2024-04-05 中国科学院自动化研究所 融合全景相机和激光雷达的三维重建方法、装置及设备
CN117994309A (zh) * 2024-04-07 2024-05-07 绘见科技(深圳)有限公司 一种基于大模型的slam激光点云与全景影像自动配准方法

Similar Documents

Publication Publication Date Title
US10764559B2 (en) Depth information acquisition method and device
CN112367514B (zh) 三维场景构建方法、装置、系统和存储介质
CN110390719B (zh) 基于飞行时间点云重建设备
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
US10237532B2 (en) Scan colorization with an uncalibrated camera
KR101706093B1 (ko) 3차원 좌표 추출 시스템 및 그 방법
WO2021203883A1 (zh) 三维扫描方法、三维扫描系统和计算机可读存储介质
CN101582165B (zh) 基于灰度图像与空间深度数据的摄像机阵列标定算法
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN107917701A (zh) 基于主动式双目立体视觉的测量方法及rgbd相机系统
KR20090055803A (ko) 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
CN103198524A (zh) 一种大规模室外场景三维重建方法
CN116205961A (zh) 多镜头组合影像和激光雷达点云的自动配准方法及其系统
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
CN103971408A (zh) 三维人脸模型生成系统及方法
CN113160327A (zh) 一种点云补全的实现方法和系统
Dias et al. Registration and fusion of intensity and range data for 3D modelling of real world scenes
CN113643436B (zh) 一种深度数据拼接融合方法及装置
CN110738731A (zh) 一种用于双目视觉的3d重建方法和系统
CN114923665B (zh) 波浪三维高度场的图像重构方法及图像重构试验系统
CN110349257B (zh) 一种基于相位伪映射的双目测量缺失点云插补方法
CN115035235A (zh) 三维重建方法及装置
Burkhard et al. Stereovision mobile mapping: System design and performance evaluation
Lanman et al. Surround structured lighting for full object scanning
CN114332373B (zh) 一种克服继电器金属表面反光的磁路落差检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination