CN108171733B

CN108171733B - 使两个或更多个三维3d点云配准的方法

Info

Publication number: CN108171733B
Application number: CN201711260678.3A
Authority: CN
Inventors: 伯恩哈德·麦茨勒; A·韦利赫夫; S·M·B·加切特·托亚
Original assignee: Hexagon Technology Center GmbH
Current assignee: Hexagon Technology Center GmbH
Priority date: 2016-12-07
Filing date: 2017-12-04
Publication date: 2022-04-19
Anticipated expiration: 2037-12-04
Also published as: US20180158200A1; US10535148B2; EP3333538A1; EP3333538B1; CN108171733A

Abstract

本发明涉及一种使两个或更多个三维(3D)点云配准的方法，该方法包括以下步骤：利用测量仪器，获取第一位置处的第一场景的第一3D点云，通过利用由所述测量仪器包括的相机单元捕获所述第一位置处的第一初始图像数据来启动第一同时定位和地图构建(SLAM)处理，其中，所述第一初始图像数据和所述第一3D点云共享第一重叠，通过利用所述相机单元捕获第一最终图像数据来完成在所述第二位置处的所述第一SLAM处理，其中，所述第一最终图像数据由第一图像数据包含，利用所述测量仪器，获取所述第二位置处的第二场景的第二3D点云，并且基于所述第一SLAM处理，使所述第一3D点云和所述第二3D点云相对于彼此配准。

Description

使两个或更多个三维3D点云配准的方法

技术领域

本发明涉及使两个或更多个三维3D点云配准的方法，并且涉及测量仪器。

背景技术

激光扫描被用于测量许多不同场景(setting)，诸如建筑工地、历史建筑、工业设施或任何其它适用场景。通常使用飞行时间(TOF)测量方法，利用3D激光扫描仪对这些景物(场景)进行测量，以便在坐标系内对3D点云进行采样。另外，相机可以与激光扫描仪相关联并且可以被配置成捕获与正被扫描的场景相关联的图像。

利用激光扫描仪的示例性工作流程包括通过从不同位置获得多个点云来扫描整个物体或建筑物的内部。多次扫描被独立获得并且必须被配准以获取总体一致表示。多个点云的配准(registration)通常通过使扫描内的对应目标匹配并由此计算配准变换，或者通过由最优化方法(例如，迭代最接近点(ICP)方法)直接最小化扫描的重叠区域之间的距离来进行。

一方面匹配对应目标并且另一方面最小化重叠区域之间的距离均具有其缺陷。第一种方法要求配准目标之间的一一对应关系，其中，该目标可以是人造的，例如，特殊反光配准标记或球体；或者是像地标、边缘或角落这样的自然物体，它们从不同扫描站点可见。

设立人造目标是一项具有挑战性和耗时的任务，因为其要求规划这些目标的布置和安装，以便实现视觉性约束(至少三个标记应当从每个设置点可见)。利用自然物体目标简化工作流程，因为不需要安装目标，但仍要求进行规划以实现视觉性约束。第二种方法要求扫描的实质和充分结构化重叠以找到配准优化的全局最小值。此外，为了在该迭代处理中实现收敛，良好初始猜测是必须的。

因此，这两种方法都可能要求先进的知识和经验，耗时且通常导致比实际所必须的更多的扫描获得。另外，配准可能不易在现场可用，因为在空中执行配准太耗时或太复杂，尤其是在获得并配准数十或数百个点云的情况下。

从现有技术已知的扫描仪使用诸如2D激光轮廓仪、惯性测量单元(IMU)、或数字罗盘的传感器，以估计设置位置之间的粗略初始平移和旋转。

然而，IMU传感器快速地累积限制两个设置点(setup)之间的距离的漂移。数字罗盘在电气设备干扰磁场的情况下可能给出错误结果。只有当位移发生在平面内时，2D轮廓仪才能正常工作。

所以这些传感器在使激光扫描的配准自动化方面有显著限制，而且通常只能在特定条件下工作。

在EP 2998778中，公开了一种组合图像数据与点云的方法。在该应用中，测量仪器具有内部相机单元，在该仪器在设置点之间移动期间利用该内部相机单元记录图像。结果，这样的处理为设置点之间的相对平移和旋转提供初始“猜测”。将该“猜测”作为起始点，然后处理自动配准。即使初步猜测可用，随后自动配准也可能失败，例如，如果扫描之间的整个重叠区域由平面场景表示。在这种情况下，相对于该平面的变换是不明确的。这种方法的另一缺陷是仅使用视觉信息。该信息仅被鲁棒地处理达到特定程度的给定受限计算能力。移动期间的快速旋转或快速场景变化可能中断从图像的轨迹重建。因此，仪器的处理受限。

EP 3086283提出了一种方法，该方法组合利用测量仪器(例如，地面激光扫描仪或全站仪)测量的基于激光的点云与由利用外部相机单元捕获的图像数据产生的基于图像的点云，以填充间隙或获得更高分辨率的细节。这种方法受激光扫描与来自外部相机单元的一些图像之间的必要重叠限制。

在US 2015/160342中，公开了一种利用图像数据来找出点云之间的对应关系的方法。激光扫描仪装配有相机，并且在该仪器在设置点之间移动期间记录图像。图像中的地标贯穿该序列被匹配，并用于找出扫描之间的对应关系。给出这些对应关系，配准就可以自动完成。该方法的一个缺点是，其需要在第一设置点与第二设置点之间的视觉对应关系，即，在两个设置点处都必须看到足够数量的对应特征。该方法还要求平滑处理，因为该方法仅基于视觉信息。

在DE 102013110581中，公开了一种利用IMU数据来测量两个扫描设置点之间的位移的方法，其中，该位移被用于配准扫描。这种方法的缺点是位移基于惯性测量，其受漂移影响。

另外，从现有技术已知的解决方案(特别是使用视觉方法的那些解决方案)一般只能很差地或根本无法重建轨迹和环境的比例(scale)。同样，惯性信息也仅以相对较低的准确度提供对比例的估计。

发明内容

因此，本发明的目的是提供一种改进方法和装置，特别是允许两个或更多个点云的配准的更精确和鲁棒计算。

本发明提出激光扫描仪和相机单元(并且特别是IMU)的组合，其中，至少一个激光扫描被用于初始化环境的SfM或SLAM点云，以便实现非常精确比例(scale)，特别是用于后方交会(resection)(即，确定沿着轨迹的相机姿态)、用于前方交会(即，确定沿着轨迹的3D点)、以及用于集束调整(BA))(即，使典型SfM方法中的重投影误差最小化的全局优化)。任何其它SfM或SLAM处理中都可以使用相同初始化作为随机过滤或非线性优化方法。

多个激光扫描的3D点云的自动配准提供了总体一致表示。然而，其并不保证完整性。

整个点云中的缺失部分可以通过利用外部相机单元拍摄图像，利用该图像重建密集点云，并将该点云与由测量仪器捕获的至少一个点云配准被覆盖。

本发明提出了一种新解决方案，该新解决方案克服了激光扫描与来自外部相机单元的一些图像之间的必要重叠的限制。这是针对由图像生成的点云相对于来自测量仪器的点云的配准问题的解决方案。该解决方案基于由内部相机单元在仪器在站点之间移动期间记录的图像与由测量仪器捕获的3D点之间的对应关系，并且特别地还基于在前述图像与来自外部相机单元的图像之间的对应关系。

为了生成物体的点云，可以利用激光扫描仪或全站仪扫描该物体。测量仪器需要对具有到该物点的直接视线以测量。测量仪器设置在不同位置处，在那里给出直接视线，以获得整个物体的点云。测量仪器的每次新设置都花费时间并降低用户的生产力。为了将所有激光扫描转换至同一坐标系，执行配准过程。

本发明解决全自动配准的问题。所提出的解决方案包括从不同测量仪器位置进行激光扫描，并且在测量仪器在这些位置之间移动期间记录多个图像或视频。该图像(除了其它感觉信息之外)被用来重建测量仪器的轨迹以及环境的稀疏表示。然后可以使用该重建在公共坐标系中配准激光扫描。另外，可以在相同优化过程(例如，集束调整或迭代最接近点)内使用与激光扫描结合的重建，以将重建和激光扫描合并至总点云。总点云应当与激光扫描和图像数据两者一致，这使得配准解决方案更加可靠且准确。

优选地，利用感觉信息重建轨迹和环境在测量仪器移动期间完成，并且具有这样的准确度，即，对于在现场或办公室中的点云后期处理中的激光扫描的视觉化和注解来说，没有或很少配准努力是必须的。而且，重建的鲁棒性使得能够实现测量装置的几乎不受限制处理，例如，拿起测量装置并携带其在建筑物中上下楼，或者将测量仪器附接至诸如飞行无人机或移动机器人的无人驾驶车辆，以便将其运送至不同地方。通过在已知为从运动恢复结构(structure-from-motion(sFM))或同时定位和地图构建(SLAM)的实时传感器融合过程中唯一地组合视觉信息和惯性信息，实现准确度和鲁棒性。

在激光扫描期间，场景的已经规划为被覆盖的某些部分可能在所得到的总体点云中被遗漏。在这种情况下，需要新仪器设置位置，从该位置可以测量该遗漏场景部分。另选地，可以通过内部相机单元或外部相机单元拍摄附加图像。新点云根据所捕获的图像计算并与由测量仪器记录的点云或由此得到的总点云合并在一起。生成遗漏部分的3D点云可以利用密集匹配技术来完成，例如，半全局匹配(SGM)算法。根据本发明，提出了一种针对从通过相机单元记录的图像生成的点云相对于来自测量仪器的点云的配准问题的新解决方案。来自测量仪器的所述点云又基于在该仪器从第一设置位置移动至第二设置位置期间由内部相机记录的图像与由测量仪器记录的3D点之间的对应关系。

本发明涉及测量仪器(像3D扫描仪或全站仪)，该测量仪器装配有扫描单元、具有足够大视野的一个或更多个相机、陀螺仪以及处理单元。在从第一扫描站点移动至下一个扫描站点之前，借助于其组件，测量仪器获得初始3D密集点云，从由内部相机单元捕获的图像中导出一组初始2D特征位置，从该初始3D密集点云导出初始3D稀疏点云，并用该初始3D稀疏点云初始化重建。

当从第一扫描站点移动至下一个扫描站点时，借助于其组件，测量仪器获得一组图像和角速率数据，根据角速率数据估计角位移，提取并跟踪图像数据中的2D特征位置，以及在随机过滤(例如，Kalman过滤器)中或者在非线性优化中至少利用该2D特征位置和角位移，以便重建稀疏3D点云并且估计扫描仪的姿态。

当到达下一个扫描站点并停止时，借助于其组件，测量仪器计算从第一扫描站点到第二扫描站点的增量姿态(delta pose)，并且在第二扫描站点处获得3D密集点云，其中，给定增量姿态，第二点云与第一点云共享同一坐标系。

另外，以下方面可以进一步特征化该方法：

·利用所估计的角位移(例如，基于陀螺仪读数)来预测2D特征位置，

·基于局部补片优化(举例来说，如由Kanade-Lucas-Tomasi(KLT)特征跟踪器完成)精炼2D特征位置，

·基于局部特征描述符(例如，利用比例不变特征变换(SIFT)或加速鲁棒特征(SURF))使2D特征位置匹配，

·在考虑传感器读数的不确定性的情况下的随机过滤(例如，粒子过滤器)或非线性优化(例如，Levenberg-Marquardt算法)，

·考虑特定时间或空间窗口内的当前与过去信息，其中，信息可以是2D特征位置、角位移、3D稀疏点云、和/或3D扫描仪姿态以及扫描仪姿态速度，

·保持通过边缘化过去某些状态(特别是2D特征位置)而限制的非线性优化，

·包括加速度计(例如，如集成在IMU中)，其中，根据加速度估计平移位移，

·包括气压计，其特别用于测量高度并被包括在随机过滤或非线性优化中，和/或用于调整高度依赖系统参数，例如，重力常数，

·包括罗盘，其特别用于测量前进方向并被包括在随机过滤或非线性优化中，

·包括GNSS传感器或伪GNSS传感器，其特别用于测量位置和/或速度并被包括在随机过滤或非线性优化中，和/或用于调整位置依赖系统参数，例如，重力常数，和/或用于地理参照点云，

·包括倾斜传感器，其特别用于校准加速度计，和/或用于测量第一扫描站点和第二扫描站点处的倾斜，并被包括在随机过滤或非线性优化中，

·利用第一扫描站点与第二扫描站点之间的所估计增量姿态以在获得第二扫描之后立即视觉化来自第一扫描站点和第二扫描站点的3D点云，

·用于估计增量姿态，从第二扫描站点开始向后以验证或重建精炼，

·根据2D特征位置和3D密集点云导出附加稀疏3D点，并将它们包括在非线性优化中，特别地，其中在第二扫描站点处和/或在第一扫描站点与第二扫描站点之间的中间扫描站点处获得3D密集点云，

·利用第一扫描站点与第二扫描站点之间的所估计增量姿态作为扫描配准的初始值，

·利用与相机同步并且可选地每当记录图像时被触发的闪光灯或其它照明方式，以及

·利用基于事件的相机或动态视觉传感器，其中，亮度信息或信息变化按像素被异步获得并处理，以减少带宽需求和功耗，同时增加重建的时间和空间分辨率。

特别地，该方法可以通过两种方式来增强。一种方法是根据共形地图投影来转换图像。另一种方法是使用固有相机单元参数、外部相机单元参数、或角位移测量，来预测用于特征跟踪的特征补片的位置和外观。

如果考虑到相机单元的镜头和透视畸变，那么可以将共形投影应用至该图像，使得特征点的局部邻域中的特征外观对于某些相机单元旋转(特别是上下旋转和左右旋转)来说是不变的。因此，特征补片的外观在某些时刻与上下旋转和左右旋转无关，这改进了随时间的特征跟踪，因此SLAM或SfM处理同样如此。而且，通过在现场可编程门阵列(FPGA)或用于图像信号处理的其它专用硬件上对保角(angle-perserving)变换进行计算，可以将这种保角变换有效地应用于该图像。

一种特殊共形投影是墨卡托(Mercator)投影。利用共形投影，可以处理上下旋转和左右旋转。可以使用利用陀螺仪的角位移测量来解决相机单元的剩余滚动旋转。

一般来说，鲁棒特征跟踪通过精确预测图像对之间的特征位置和外观来实现，其中，多个对可以在时间或空间上被联接。特征位置预测向特征跟踪提供初始位置。然后，基于特征补片(该图像的处于特征位置邻域的一部分)的外观来精炼(refine)初始特征位置。该特征位置精炼可以通过预测特征补片外观来初始化。

特征位置预测至少可以基于角位移读数。

特征外观预测是在精炼之前应用的显式补片变换或者精炼本身的隐式变换部分。该变换考虑下列中的一个或更多个：

1)内在相机参数，特别是相机镜头畸变

2)外在相机参数，特别是相机透视畸变

3)相机单元位移，特别是相机单元平移和旋转

前两个可以通过相机单元校准获取。后面一个通过基于惯性传感器测量相机单元平移和旋转获得。

特征位置精炼可以是优化针对补片外观的位置。因此，上述转换可以是优化的一部分。

因此，初始特征位置和特征外观在特征追踪期间可用，这改进了特征跟踪的精度和鲁棒性。另外，角位移测量可以直接在随机过滤或SLAM或SfM处理的非线性优化中被考虑。视觉信息和惯性信息的这种组合产生非常鲁棒的系统。

本发明涉及一种用于使两个或更多个三维(3D)点云配准的方法，该方法包括以下步骤：

利用测量仪器，获取第一位置处的第一场景的第一3D点云。场景将被理解为测量仪器正特别是通过激光扫描来捕获的场景。测量仪器由用户放置在所述第一位置处，并且同时站立在第一位置处，测量仪器执行扫描以记录该场景的点云。

通过利用由测量仪器包括的相机单元捕获第一位置处的第一初始图像数据来启动第一基于图像的同时定位和地图构建(SLAM)处理，其中，所述相机单元包括一个或更多个相机，并且其中，第一初始图像数据和第一3D点云共享第一重叠。第一图像数据可以是一个或更多个图像。第一图像数据(即，所述一个或更多个图像中的至少一个)至少部分地覆盖第一场景(重叠)。

同时定位和地图构建(SLAM)处理(当仅基于视觉信息时，有时也为VSLAM-用于视觉SLAM，或者如果视觉SLAM处理增加了惯性信息，则为VIS-用于视觉惯性SLAM)包含策略，其中，来自一个或多个相机的图像不仅用于自主地识别图像内的先前未知特征，而且基于图像推导相机位置并且生成成像环境的2D或3D地图。为了使能进行SLAM处理，相机相对于该成像环境移动，这就是为什么从运动恢复结构(SfM)也是被结合使用的术语。

基于第一重叠，第一3D点云与第一初始图像数据在空间上联接。这可以用测量仪器所包括的计算单元来执行，而且如果测量仪器根据相应通信技术被装配，则移动计算(例如，手持装置、平板电脑、或笔记本电脑)或云计算也是一个选项。空间联接应被理解为参照，例如，基于特征检测和第一3D点云中的特征和初始图像数据中的特征的匹配或者基于3D点云坐标系与相机单元坐标系之间的已知关系。该关系可以由相机到激光扫描仪单元校准给予。空间联接的该步骤提供了第一SLAM处理的即时比例(immediate scale)-如通常所知的常规SLAM处理，比例不被先验知晓，而是伴随着在相机原点的一些移动之后处理图像数据。第一SLAM处理的第一3D点云和第一图像数据的空间联接的该步骤的另一个优点是比例的精度，其使得该处理从开始就非常鲁棒和精确。常规SLAM处理无法通过其本身提供这样的精度。

在第一SLAM处理期间，测量仪器沿着从第一位置到第二位置的第一路径移动。在移动时，连续捕获第一SLAM场景的第一图像数据，其中，第一图像数据是包括第一初始图像数据的第一图像数据序列。第一图像数据将被理解为针对第一SLAM处理生成并由第一SLAM处理使用的所有图像数据。第一SLAM场景将被理解为在从第一位置到第二位置的路径期间利用图像数据捕获的景象。

特别是在移动时，可以连续检测和记录测量仪器沿着第一路径的第一姿态序列。为此，例如将测量仪器从第一位置携带到第二位置的用户或者测量仪器通过诸如移动机器人或飞行器的平台移动，其中，该平台可以是自主的。姿态将被理解为描述位置和取向，而姿态序列将被理解为作为SLAM处理的结果的至少两个姿态(第一位置处的第一姿态和第二位置处的最终姿态)。该姿态序列、第一姿态和最后姿态以及可能中间姿态对时间或空间分辨率没有限制。该分辨率可以是连续的或离散的，并且完全取决于所应用的传感器和算法。

当到达第二位置时，测量仪器被放置在第二位置处。在第二位置处通过利用相机单元捕获第一最终图像数据来完成第一SLAM处理，其中，第一最终图像数据也被第一图像数据包含。

利用测量仪器，在第二位置处获取第二场景的第二3D点云。第一3D点云和第二3D点云不必须共享重叠，即，共享对应点。然而，第一最终图像数据(即，第一最终图像数据的一个或更多个图像中的至少一个)至少部分地覆盖第二场景，从而构成第二重叠。

基于第一SLAM处理，使第一3D点云和第二3D点云相对于彼此配准。配准将被理解为在公共坐标系中找到对准两个点云的空间变换。

在第一SLAM处理中，不仅确定测量仪器的第二位置(和取向)，而且确定沿着从第一位置到第二位置的路径(轨迹)拍摄的图像的位置和取向。结果是在公共坐标系中参照的一组参照图像。这些图像连同姿态(位置和取向)信息(特别是连同稀疏点云(SLAM点云))可以被存储在数据库中并且在稍后阶段使用，例如，用于基于具有外部相机的扫描装置的间隙填充目的或者用于利用测量仪器的相机单元在第一位置与第二位置之间的某个位置处开始另一个SLAM处理以与在另一个扫描位置处获得的另一个点云配准。

根据本发明的方法还可以包括以下步骤：将第一3D点云和第二3D点云合并成单一坐标系内的总点云。

根据本发明的方法还可以包括以下步骤：在移动时，连续构建第一SLAM点云(SLAM3D地图)，该第一SLAM点云表示第一SLAM场景。

根据本发明的方法也可以包括以下步骤：将第一3D点云、第一SLAM点云以及第二3D点云合并成单一坐标系内的总点云。

可选的是，利用对应特征，基于第二重叠将第二3D点云与第一最终图像数据空间联接，该第二重叠被第一最终图像数据和第二3D点云共享。另外，通过高度精确激光扫描(第二3D点云)提供比例，该时间在第一SLAM处理“结束”处，即，针对最终图像数据。

在根据本发明的方法的实施方式中，另外基于全局优化来执行配准，特别是，其中，全局优化可以被执行一次或更多次，直到根据给定标准达到收敛为止。该全局优化可以包括集束调整(BA)，集束调整联合地最小化第一图像数据的2D重投影之间的2D到2D距离，以及下列中的至少一个：第一初始图像数据的2D重投影与第一3D点云的3D点之间的2D到3D距离、和第一最终图像数据的2D重投影与第二3D点云的3D点之间的2D到3D距离。

配准另外或另选地可以基于全局优化来执行，该全局优化特别包括迭代最接近点(ICP)优化，该迭代最接近点优化最小化第一3D点云的3D点与第二3D点云的3D点之间的3D到3D距离。

配准另外或另选地可以基于全局优化来执行，该全局优化特别包括迭代最接近点(ICP)优化，该迭代最接近点优化最小化第一SLAM点云的3D点与第一3D点云和第二3D点云中的至少一个的3D点之间的3D到3D距离。

3D到3D距离可以根据任何3D点对应关系来计算，而该对应关系可以通过最接近距离、点到平面的正轴投影、线之间的最接近距离或任何其它有意义的几何关系来定义，但同样可以通过特征检测和匹配来建立。

在根据本发明的方法的另一个实施方式中，根据全局优化执行合并，该全局优化联合地最小化3D点和/或2D重投影之间的2D到2D距离、2D到3D距离以及3D到3D距离中的至少一个，特别是，其中，全局优化可以被执行一次或更多次，直到根据给定标准达到收敛为止。

第一SLAM处理还可以包括：在特征跟踪期间，基于以下中的至少一个来变换特征外观：内在相机参数(特别是相机镜头畸变)、外在相机参数(特别是相机透视畸变)、以及通过利用附加感觉输入(特别是惯性数据、特别是根据惯性数据计算的相机单元的至少取向数据)测量的相机单元位移。

第一SLAM处理还可以包括以下步骤：处理第一SLAM处理的第一图像数据，使得它们特别是通过利用共形投影(特别是通过利用墨卡托投影)以局部保角格式来表示。

所述方法还可以包括以下步骤：在第三位置处(其可以等于第二位置或者可以是新位置，特别是沿着从第一位置到第二位置的路径(轨迹)的新位置)，通过利用相机单元捕获第二初始图像数据来初始化第二SLAM处理，其中，第二初始图像数据与第一SLAM场景共享第三重叠，其中，第二SLAM处理包括：基于第三重叠将总点云与第二初始图像数据在空间上联接，沿着从第三位置到第四位置的第二路径移动测量仪器，在移动时，连续捕获第二图像数据，其中，第二图像数据是包括第二初始图像数据的第二图像数据序列，并且构建表示第二SLAM场景的第二SLAM点云。从而沿着第二路径检测和记录测量仪器的第二姿态序列，通过利用测量仪器捕获第二最终图像数据来完成在第四位置处的第二SLAM处理。利用测量仪器，可以在第四位置处获取第三场景的第三3D点云，并且基于第二SLAM处理，然后可以使第三3D点云和总点云相对于彼此配准。这样，另一个SLAM处理可以“挂钩连接(hook)”到现有总点云，以便填充间隙或扩展总点云。

在根据本发明的方法的另一个实施方式中，进一步可选步骤是：在第五位置处，利用相机单元或外部相机捕获第三图像数据，其中，第三图像数据与SLAM场景中的至少一个共享第四重叠，识别第三图像数据以及SLAM处理(以上被称为第一SLAM处理和第二SLAM处理)的一个或更多个图像数据(以上被称为第一图像数据和第二图像数据)中的对应特征的点，并且通过基于图像的重建，基于第三图像数据来扩展SLAM点云(以上被称为第一SLAM点云和第二SLAM点云)和总点云中的至少一个。对于现场处理来说，外部相机可以被配置成与测量仪器相互通信。对于后处理，所捕获的数据可以从外部相机读出。

本发明还涉及一种具有安装在基部上的主体的测量仪器，特别是激光扫描仪，其中，该主体可绕方位轴相对于基部旋转，并且所述测量仪器包括：用于提供发射束的发射单元；用于检测接收束的接收单元；可绕俯仰轴旋转的引导单元，特别是镜子或棱镜，该引导单元被配置成将来自发射单元的发射束引导至场景，将来自该场景的接收束引导至束接收单元；相机单元，具有一个或更多个相机，特别是具有全景相机；处理单元，处理单元被配置用于至少部分地执行根据在此的说明书的方法的步骤。

该测量仪器还可以包括角速率数据测量装置和线性加速度测量装置中的至少一个，特别是IMU、陀螺仪以及加速度计中的至少一个。该测量仪器还可以包括全球导航卫星系统(GNSS)传感器或伪GNSS传感器。

本发明还涉及一种计算机程序产品，其包括存储在机器可读介质上或者通过包括程序代码段的电磁波来具体实现的程序代码，并且具有特别是当在本文所述的测量仪器上运行时用于执行本文所述方法的步骤的计算机可执行指令。

附图说明

下面，通过参照伴随附图的示例性实施方式，对本发明进行详细描述，其中：

图1：示出根据本发明的实施方式的SfM或SLAM处理到第一扫描的联接；

图2：示出根据本发明的另一实施方式的测量数据与来自SfM或SLAM处理的图像数据的联合配准；

图3：示出根据本发明的另一实施方式的利用另一个扫描站点对测量数据与来自图2的SfM或SLAM处理的图像数据的联合配准；

图4：示出作为本发明的另一实施方式的借助于由外部相机捕获的额外图像对根据本发明的配准过程的间隙填充；

图5：示出根据本发明的具体实现为激光扫描仪的测量仪器。

具体实施方式

轨迹和环境重构

图1示出根据本发明的方法的一个实施方式。从激光扫描仪上的附加传感器配置(诸如一个或更多个相机、陀螺仪和/或加速度计)估计激光扫描仪在从站点1被传送至站点2时的轨迹。陀螺仪测量角速率，而加速度计测量激光扫描仪在移动期间的加速度。这些传感器是本体感受的且易于漂移。相机是外感受性传感器，其可以减少漂移。相机测量角位移。在随机过滤或非线性优化框架中将这些传感器模态组合，以在位移期间以特定时间步长估计激光扫描仪姿态和场景结构。该姿态序列构成激光扫描仪轨迹，并且连贯场景结构构成重建环境。

根据本发明，该估计基于激光扫描被初始化，特别是基于最初激光扫描。该估计包括当前和过去传感器模态，但限于特定时间或空间窗口。该选择优选地以概率方式完成。

高准确度至少通过下列来实现：组合用于姿态估计的惯性和视觉传感器模态，在扫描站点处使用3D点云初始化姿态估计，以及至少部分地使用随机过滤或非线性优化框架来进行姿态估计。

提供某种自动配准的现有方法通常具有扫描仪的移动例如被约束至地平面的缺点。本发明允许不受约束的移动，例如拿起激光扫描仪并在建筑物内楼上楼下携带，或将激光扫描仪安装在无人驾驶车辆上，例如飞行无人机或移动机器人，同时仍然允许对增量姿态的准确估计。

高鲁棒性至少通过下列实现：

·组合用于姿态估计的惯性和视觉传感器模态，

·利用陀螺仪测量作为特征跟踪中的预测，以及

·利用随机过滤或非线性优化框架进行姿态估计。

可选地，本发明还使用下列方面：

·针对上下和左右不变特征外观的图像变换(共形投影，尤其是墨卡托投影)，其改进特征跟踪，

·3D物体的重投影，其用于追踪时的特征预测，这改进了鲁棒性，

·基于惯性测量和/或重建3D点利用关于特征位置的预测，在多相机系统的相机之间进行特征切换，

·特征跟踪中的特征补片的亮度自适应，这改进了鲁棒性，

·通过来自SfM或IMU的信息在特征跟踪中进行约束特征补片优化，

·基于射线的后方交会，这改进了鲁棒性，

·利用特征匹配恢复重建，

·来自在拿起阶段期间的初始点云的特征注入，

·在重建期间的环闭合，

·检测移动以开始和停止重建，

·自适应帧速率以更好地处理快速场景变化，

·利用姿态预测以进行后方交会、前方交会以及在不利条件下的细化

激光扫描和来自内部相机单元的图像数据的联合配准

根据本发明的另一方面，如图2例示，在完全相同的优化过程内使用至少两个激光扫描(点云)和图像数据来解决配准任务。换句话说，最终配准解决方案与所有激光扫描和图像数据一致。这有助于改进配准可靠性和准确度。

在第一步骤中，用户在第一站点处执行激光扫描，然后将扫描仪移动至第二站点(在该移动期间记录图像)，并在第二站点处执行另一扫描。此后，执行全局优化过程，包括使用两种误差类型的总和的成本函数。第一误差类型是图像点和图像空间中的对应3D点的重投影的距离。第二种误差类型是两次扫描的对应点之间的距离。作为这种全局优化的结果，改进了针对激光扫描和所有中间图像的位置和取向。

该图像也可以是全景图像或由多视野相机产生的图像集合。

参照图2和3，根据本发明，包括以下步骤：

1)用户在站点1上执行扫描。

2)用户将扫描仪移动至扫描站点2，并且在移动的同时，在该移动期间记录视频或单个图像。在SfM/SLAM算法内，图像数据实时地或者在随后时间与点云(由扫描仪在站点1处记录的)一起被自动地处理。结果，针对站点2，计算相对于站点1的旋转和平移的初始猜测。

3)在移动之后，从站点2执行扫描处理。

4)在这一点上，图像数据与点云之间的下列对应关系或匹配是可用的：

4a.2D-2D匹配是来自内部相机单元的与物空间中的同一3D点相对应的两个不同图像上的一对点。针对每个2D-2D匹配，利用由2D图像点定义的光线的前向交叉来计算“视觉”3D点。

4b.2D-3D匹配由来自内部相机单元的图像点和来自给定扫描站点上的激光扫描的对应3D点表示。这些匹配根据在同一扫描站点(例如，针对站点1和2)处记录的图像和点云被自动地识别。这是可以的，因为在同一坐标系中记录来自同一站点的图像和点云，因此3D激光点可以直接投影到图像上。针对站点1和站点2独立地识别匹配，并且不要求图像跟踪。

4c.3D-3D匹配由来自不同扫描的与物空间中的重叠区域相对应的两个3D点表示。这些匹配被计算为两次扫描之间的相邻点。该过程要求两次激光扫描的已知位置和取向。激光扫描1被认为是参照，而对激光扫描2来说，使用步骤2)中计算的初始猜测。另外，可以从激光扫描中提取成对的其它几何图元(如3D线、平面或圆柱体)，并且可以被用作附加对应关系。

5)在最后步骤中，以迭代方式执行一个全局优化过程(例如，集束调整)。下列误差在同一优化过程中一起被最小化：

5a.图像点与图像空间中的对应“视觉”3D点的投影之间的距离(基于2D-2D匹配)；

5b.图像点与来自激光扫描和图像空间的对应3D点的投影之间的距离(基于2D-3D匹配)。站点1被视为参照站点，因此来自该站点的所有3D点可以直接用于优化。来自第二站点的3D点利用站点2的位置和取向被转换到站点1的坐标系，站点2的位置和取向可通过优化的当前迭代获得。

5c.3D空间中的对应3D点或来自激光扫描的重叠区域的其它3D图元之间的距离(基于3D-3D匹配)。与标准ICP算法类似，这些对应关系可以在优化过程的每次迭代之后再次被识别。

这种方法可以被视为利用来自扫描仪数据的附加约束的集束调整，或者同样被视为利用来自图像数据的附加约束的ICP算法。优化过程可以针对各对站点进行，或者可以扩展到多个扫描站点的情况。在这种情况下，优化过程包括来自所有扫描站点和图像的对应关系。另外，由内部相机单元在不同站点之间(例如，1-2和2-3)记录的图像序列也可以在彼此之间匹配，并且来自这些图像的附加匹配被包括到优化过程中。来自先前站点(例如，站点1-2之间)的3D点和对应图像点可以另外直接用于在站点之间(例如，针对站点2-3)移动期间计算的SfM或SLAM算法中。

在执行优化过程之后，针对激光扫描和所有中间图像的位置和取向都被优化。关于平移和姿态改变的信息可以被存储在数据库中并且稍后用于配准新扫描。例如，可以在下一天进行新扫描(例如，站点3)，然后自动地进行第三扫描的配准(图2)。为此，执行扫描过程，然后利用特征匹配技术(例如，经由SIFT描述符的匹配)识别在站点3处记录的图像与在站点1、2处记录的图像之间以及1和2之间的图像之间的对应关系。这些对应关系类似于步骤4a、步骤4b、步骤4c，并且可以执行步骤5来计算激光扫描3的位置和取向。激光扫描1和2的位置和取向、以及在测量仪器在这些位置之间移动期间记录的所有图像的位置和取向都可以在优化内被认为是固定的或不固定的。

来自外部或内部相机的附加图像数据相对于来自内部相机单元的激光扫描/图像数据的配准(间隙填充)

此外，扫描仪在站点之间移动期间记录的视频或图像数据可以被用于使来自外部(高分辨率)相机单元或内部相机的附加图像配准。使来自外部相机单元的这种图像配准允许将基于图像的3D点云直接引用至由测量仪器生成的点云。

参照图4，下列步骤例示了根据本发明的来自外部相机单元的图像相对于激光扫描的配准：

1)利用特征匹配技术(例如，利用比例不变特征变换(SIFT)检测器/描述符)识别来自内部和外部相机单元的图像上的2D-2D特征匹配对。

2)利用特征匹配技术(例如，利用SIFT检测器/描述符)来识别在扫描期间获得的来自内部相机单元的图像与由外部相机单元记录的图像之间的匹配。扫描期间获取的来自内部相机单元的图像点也具有由测量仪器测量的对应3D点。所以这些匹配是2D-3D对应关系。

3)执行全局优化过程(例如，集束调整)，以便在同一坐标系中重建来自外部相机和内部相机的姿态。在步骤1)和2)期间识别的匹配被包括到该优化中。

步骤3的优化具有几个选项：

3-1)激光扫描的位置和取向以及内部相机的姿态可以是固定的。

3-2)仅激光扫描的位置和取向是固定的，而内部相机的姿态被优化。

3-3)仅内部相机的姿态是固定的，而激光扫描的位置和取向被优化。

在所有情况3-1)至3-3)下，外部相机的姿态都被优化。选项3-1)可被认为是由来自外部相机单元的图像数据扩展的完整配准框架。

图5示出了作为被配置成执行根据本发明的方法的测量仪器的示例性实施方式的激光扫描仪1。扫描仪包括主体2和可选地安装在三脚架9上的基部3。绕轴V提供主体2与基部3之间的受控机动相对旋转。主体2包括：发射单元4、接收单元5，以及引导单元6，其中，发射单元4和接收单元5在该示例中被组合为一个部分。引导单元6被安装在主体中，使得其可通过马达(未示出)绕俯仰轴H旋转。在旋转时，引导单元6将来自发射单元4的发射束T朝着场景偏转，并将来自该场景的接收束R偏转回至扫描仪。相机单元7包括一个或更多个相机，特别是全景相机或一组相机，其中，每个相机指向不同方向以提供广角视野(高达360度视野)。处理单元8控制测量仪器的所述组件，并至少部分地执行根据本发明的方法的步骤。

尽管上面部分地参照一些优选实施方式例示了本发明，但必须明白，可以实现这些实施方式的许多修改例和不同特征的组合。这些修改例全部落入所附权利要求的范围内。

Claims

1.一种使两个或更多个三维3D点云配准的方法，该方法包括以下步骤：

利用测量仪器，获取第一位置处的第一场景的第一3D点云，

通过利用由所述测量仪器包括的相机单元在所述第一位置处捕获第一初始图像数据来启动第一同时定位和地图构建SLAM处理，并且其中，所述第一初始图像数据和所述第一3D点云共享第一重叠，并且其中，第一SLAM处理包括：

基于所述第一重叠在空间上联接所述第一3D点云与所述第一初始图像数据，

沿着从所述第一位置到第二位置的第一路径移动所述测量仪器，

在移动时，连续地捕获第一SLAM场景的第一图像数据，其中，所述第一图像数据是包括所述第一初始图像数据的第一图像数据序列，

通过利用所述相机单元捕获第一最终图像数据来完成在所述第二位置处的第一SLAM处理，其中，所述第一最终图像数据由所述第一图像数据包含，

利用所述测量仪器，获取所述第二位置处的第二场景的第二3D点云，

基于所述第一SLAM处理，使所述第一3D点云和所述第二3D点云相对于彼此配准，以及

将所述第一3D点云和所述第二3D点云合并成单一坐标系内的总点云，其中，根据全局优化执行合并，所述全局优化联合地最小化3D点和/或2D重投影之间的2D到2D距离、2D到3D距离以及3D到3D距离中的至少一个。

2.根据权利要求1所述的方法，其中

所述第一SLAM处理还包括：

在移动时，连续地

构建表示所述第一SLAM场景的第一SLAM点云。

3.根据权利要求2所述的方法，所述方法包括以下步骤：

将所述第一3D点云、所述第一SLAM点云以及所述第二3D点云合并成所述单一坐标系内的所述总点云。

4.根据权利要求1所述的方法，所述方法包括以下步骤：

基于第二重叠在空间上联接所述第二3D点云与所述第一最终图像数据，所述第二重叠由所述第一最终图像数据和所述第二3D点云共享。

5.根据权利要求1所述的方法，其中

所述第一SLAM处理还包括

在特征跟踪期间，基于以下中的至少一个来变换特征外观：

内在相机参数，

外在相机参数，以及

通过利用附加感觉输入测量的相机单元位移。

6.根据权利要求5所述的方法，其中，所述内在相机参数包括相机镜头畸变。

7.根据权利要求5所述的方法，其中，所述外在相机参数包括相机透视畸变。

8.根据权利要求5所述的方法，其中，所述附加感觉输入是惯性数据。

9.根据权利要求8所述的方法，其中，所述附加感觉输入是根据所述惯性数据计算的所述相机单元的至少取向数据。

10.根据权利要求1所述的方法，其中

所述第一SLAM处理还包括：

处理所述第一SLAM处理的所述第一图像数据，使得所述第一图像数据被表示为局部保角格式。

11.根据权利要求10所述的方法，其中，所述第一SLAM处理的所述第一图像数据通过利用共形投影被表示为局部保角格式。

12.根据权利要求10所述的方法，其中，所述第一SLAM处理的所述第一图像数据通过利用墨卡托投影被表示为局部保角格式。

13.根据权利要求1所述的方法，所述方法包括以下步骤：

在第三位置处，通过利用所述相机单元捕获第二初始图像数据来初始化第二SLAM处理，其中，所述第二初始图像数据与所述第一SLAM场景共享第三重叠，其中，所述第二SLAM处理包括：

基于所述第三重叠在空间上联接所述总点云与所述第二初始图像数据，

沿着从所述第三位置到第四位置的第二路径移动所述测量仪器，

在移动时，连续地

捕获第二SLAM场景的第二图像数据，其中，所述第二图像数据是包括所述第二初始图像数据的第二图像数据序列，并且

构建表示第二SLAM场景的第二SLAM点云，

通过利用所述测量仪器捕获第二最终图像数据来完成在所述第四位置处的所述第二SLAM处理，

利用所述测量仪器，获取在所述第四位置处的第三场景的第三3D点云，

基于所述第二SLAM处理，使所述第三3D点云和所述总点云相对于彼此配准。

14.根据权利要求13所述的方法，所述方法包括以下步骤：

在第五位置处，利用所述相机单元或外部相机捕获第三图像数据，其中，所述第三图像数据至少部分地与所述第一SLAM场景和所述第二SLAM场景中的至少一个共享第四重叠，

识别所述第三图像数据以及所述第一SLAM处理和所述第二SLAM场景的一个或更多个所述图像数据中的对应特征的点，以及

通过基于图像的重建，基于所述第三图像数据来扩展所述第一SLAM点云、所述第二SLAM场景和所述总点云中的至少一个。

15.一种使两个或更多个三维3D点云配准的方法，该方法包括以下步骤：

利用测量仪器，获取第一位置处的第一场景的第一3D点云，

通过利用所述相机单元捕获第一最终图像数据来完成在所述第二位置处的所述第一SLAM处理，其中，所述第一最终图像数据由所述第一图像数据包含，

利用所述测量仪器，获取所述第二位置处的第二场景的第二3D点云，并且

基于所述第一SLAM处理，使所述第一3D点云和所述第二3D点云相对于彼此配准，其中，进一步基于全局优化来执行配准，其中，所述全局优化包括集束调整，所述集束调整联合地最小化

所述第一图像数据的2D重投影之间的2D到2D距离，以及

下列中的至少一个：

所述第一初始图像数据的2D重投影与所述第一3D点云的3D点之间的2D到3D距离，以及

所述第一最终图像数据的2D重投影与所述第二3D点云的3D点之间的2D到3D距离。

16.根据权利要求15所述的方法，其中

所述第一SLAM处理还包括：

在移动时，连续地构建表示所述第一SLAM场景的第一SLAM点云；以及

将所述第一3D点云、所述第一SLAM点云以及所述第二3D点云合并成单一坐标系内的总点云。

17.根据权利要求16所述的方法，所述方法包括以下步骤：

18.一种使两个或更多个三维3D点云配准的方法，该方法包括以下步骤：

利用测量仪器，获取第一位置处的第一场景的第一3D点云，

基于所述第一SLAM处理，使所述第一3D点云和所述第二3D点云相对于彼此配准，其中，进一步基于全局优化来执行配准，其中，所述全局优化包括迭代最接近点优化，所述迭代最接近点优化最小化以下项中的至少两者之间的3D到3D距离：

所述第一3D点云的3D点；

所述第二3D点云的3D点；以及

所述第一SLAM点云的3D点。

19.根据权利要求18所述的方法，其中

所述第一SLAM处理还包括：

20.根据权利要求19所述的方法，所述方法包括以下步骤：