CN106846479B - 基于深度摄像头的隧道三维建模系统及方法 - Google Patents

Abstract

本发明公开了一种基于深度摄像头的隧道三维建模系统及方法，包括深度摄像头装置、旋转装置，所述深度摄像头装置包括麦克风组件、红外摄影机、彩色摄像头和红外摄像头，所述深度摄像头装置搭载在所述旋转装置上，所述旋转装置带动深度摄像头装置进行竖直方向上的180°的旋转，采集隧道上半周的图像；旋转装置上设置有角度传感器，检测旋转装置的旋转角度，同时旋转装置上设置有仰角控制器，控制深度摄像头装置的采集角度。本发明通过对隧道相关彩色信息的分析，也可以观察到隧道中整体的地质状况，如节理、裂隙的走向等，从而进行更有针对性的科学施工。

Description

基于深度摄像头的隧道三维建模系统及方法

技术领域

本发明涉及一种基于深度摄像头的隧道三维建模系统及方法。

背景技术

作为一个科技、经济各方面飞速发展的国家，在城市建造的过程中必然会修建更多的隧道、地铁来满足交通上的需求。当然，为了避免事故的发生，为了更好地预测隧道的情况，让隧道挖掘的过程进展的更加顺利，我们利用深度摄像头对隧道进行三维建模，从而使得整个隧道的情况可以在三维空间上呈现出来，让我们对隧道信息有更为直观的认识，从而避免一些意外事故的发生。

目前来讲，深度摄像头的应用范围比较广泛。它的主要开发原因是用于当下十分流行的体感游戏，能够使用户有更好的体验。然而随着技术的不断进步，深度摄像头在虚拟现实方面也可以有非常新奇的应用，一些时装店将这种虚拟技术运用到试衣间上，客户无需试穿即可观察到真实的试衣效果；在工程上，应用范围主要包括小规模场景(物体)的重建、物体设施的3D扫描打印；以及将低成本的深度摄像头添加到机器人领域中去，并利用机器人进行一些不需要很高精度的危险地区或者地底高空等恶劣环境下的测量和勘察作业；在医学方面，深度摄像头的应用思路也是相当广泛，瑞士Bern大学的研究项目使用开发深度摄像头系统，使用音控和体感软件来代替医生对尸体进行解剖，华盛顿大学实验室则研究出可以通过对深度摄像头的改造来控制外科医生的机械手臂，并利用其灵敏的负反馈功能来控制手臂执行手术，或是通过捕捉术后病人的身体运动情况来获得当前病人的康复状况等等。

在隧道探测方面，超前地质预报主要是使用工程物探方法，即对隧道物性参数进行分析的方法。由于各种物探方法都存在自己的应用范围和探测精度，因此我们常常根据探测对象所具有的不同物理特征采用两种或两种以上有效的物探方法进行探测，并对结果进行综合分析。从多年的工程实践努力和经验来看，在隧道超前地质预报工作的工作物探方法主要有弹性波反射法、电磁波反射法、红外探测法、直流电法等方法，这几种方法都是对全断面隧道掘进机掘进前方和侧前方各方面地质信息进行探测分析，对于全断面隧道掘进机后方的情况基本上兼顾的比较少。隧道三维建模技术可以实现对于复杂隧道表征、断面以及局部断面的处理，同时一些系统设计可以实现对隧道外形的三角网格化，表面积计算以及隧道轮廓线偏离计算，可以展现出红外温度数据，任意横断面截图以及一些局部细节的展示。更进一步地，通过软硬件结合的方式，系统可以对隧道变形进行检测，并对其原因进行分析。检查的准确度也比较高(25m之内+/-2mm)。可以掌握隧道状态劣化动态信息，并且系统操作多是比较简单的，不受检查人员技术水平限制。

综上所述，在隧道场景成像过程中需要克服一些已知的困难，一方面要对大规模的场景进行重建是需要占用相当大的内存，并且重建过程需要耗费相当多的时间，另一方面在隧道恶劣环境中色彩信息并不是很轻易的就可以提取到，由于硬件条件设施的不足，需要在后期色彩信息处理的过程中花费更多的精力。并且隧道中环境比较差，一些比较敏感的装备在隧道中经常使用会不可避免的降低寿命，因此需要增加良好的保护措施。

发明内容

本发明为了解决上述问题，提出了一种基于深度摄像头的隧道三维建模系统及方法，本发明将深度摄像头搭载到全断面隧道掘进机上并加以机械旋转装置和保护装置，在全断面隧道掘进机的掘进过程中，将其前进过程中所经历的隧道断面一一拍摄下来。通过对隧道视觉信息的处理、分析来获取当前隧道中的整体情况。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度摄像头的隧道三维建模系统，包括深度摄像头装置、旋转装置，所述深度摄像头装置包括麦克风组件、红外摄影机、彩色摄像头和红外摄像头，所述深度摄像头装置搭载在所述旋转装置上，所述旋转装置带动深度摄像头装置进行竖直方向上的180°的旋转，采集隧道上半周的图像；

所述旋转装置上设置有角度传感器，检测旋转装置的旋转角度，同时旋转装置上设置有仰角控制器，控制深度摄像头装置的采集角度。

所述深度摄像头装置设置于支架上，所述支架固定于旋转装置上。

所述深度摄像头装置设置有防水外壳。

基于上述系统的建模方法，包括以下步骤：

(1)获取深度摄像头装置采集的深度信息和图像信息；

(2)对采集到的图像进行采样、浮点化、平滑化处理，从图像中获取深度摄像头装置的移动轨迹；

(3)建立大规模虚拟空间，按照采样间隔将采集好的信息融合到虚拟空间中，形成三维模型。

所述步骤(1)中，搭载在全断面隧道掘进机上的深度摄像头随着机器的前进二获取隧道的深度和彩色信息，其中重复拍摄到的部分可作为照片信息的优化，即为不断地添加隧道信息，并不会设置冗余度的下限。

所述步骤(2)中，按照阈值设置对深度影像数据进行转化，在阈值范围之外的数据设置距离为无效。

所述步骤(2)中，将深度数据进行采样处理，增加处理的速度，同时对场景内的重建物体进行处理，对移动的小型物体可以通过平滑化处理优化其重建模型，同时通过平滑算法进行了去噪，也处理了某些场景内的动态变化，原始影像中没有表现出来的任何隔断或者空也会被填充，随着摄像头更接近物体，通过使用新的更高精度的数据，物体表面会被持续优化。

所述步骤(2)中，通过使用交互型的配准算法在摄像头移动时不断获取其姿势，这样系统始终知道当前摄像头相对于起始帧时摄像头的相对姿势。对于姿势追踪一般采用两种配准算法。第一种是使用将从重建对象计算得来的点云与从深度影像数据中获取的点云进行配准，或者单独的使用比如对同一场景的不同视场角的数据进行配准；第二种算法可以在对重建立方体进行处理时能够获得更高精度的追踪结果，但是对于场景内移动的物体该算法可能不够健壮，如果场景中的追踪被中断，那么需要将摄像头的位置和上一次的摄像头位置对齐才能继续进行追踪。

所述步骤(2)中，根据深度摄像装置的移动速度设置平滑化参数的大小。

所述步骤(3)中，将从已知姿势摄像头产生的深度影像数据融合为代表摄像头视野范围内的景物的立方体。这种对深度数据的融合是逐帧，连续进行的，最后，从传感器视点位置对重建立方体进行光线投射，采用光线投影算法计算得到的点云，再计算其法向量，用带法向量的点云和下一帧的输入图像配准，计算下一帧输入图像的位姿。如此是个循环的过程。重建的点阵云能够产生渲染了的三维重建立方体。

所述步骤(3)中，通过设置采样步长的大小来设置模型的精度。注意采样步长的设置范围必须大于0并且小于最小体积轴体素分辨率，超出此范围的采样步长值将会导致重建后的三维模型缺少曲面或曲面上的细节。

所述步骤(3)中，此系统的重点在于实现大规模的场景建模，由于隧道模型的特殊性，因此尝试在隧道挖掘前进的方向上设置比较大范围，因为GPU内存的限制，系统采用利用CPU内存建模。在建模过程中采用离线处理的方式。算法中添加了回环检测和回环优化，根据回环优化的结果，更新点的坐标，使得回环的地方两次重建的可以对齐。当相机旋转或者移动的距离超过一定阈值的时候，将当前帧加入做关键帧并且进行回环检测，回环检测首先通过寻找匹配的关键帧，如果存在匹配的图像，将在内存中存储的匹配图像的SURF特征点和深度图像重新索引出来。给定两帧图像的SURF点描述子Ui和Um，用FLANN查找算法来建立SURF的匹配关系，如果能够匹配上的SURF点数量不超过设定阈值，则认为这不是一个有效的匹配，通过匹配建立SURF的匹配关系，通过上一步建立的SURF间的匹配，用RANSAC算法估计两帧之间的位姿，得到位姿后再用LM算法优化重投影误差优化相机位姿。用ICP再优化上述算法计算得到的位姿，如果匹配点之间的误差小于设定阈值，则认为这是一个有效的回环。

本发明的有益效果为：

(1)可以将隧道三维模型整体呈现出来，让用户对于整个隧道有更直观的认知与感受；

(2)通过对于隧道相关彩色信息的分析，也可以观察到隧道中整体的地质状况，如裂隙的走向等，从而进行更有针对性的科学施工。整体模型对分析岩机关系验证相关参数对于全断面隧道掘进机产生的影响有一定的作用。

附图说明

图1是本发明的示意图剖面图。

图2是本发明的深度摄像头装置图。

图3是本发明设计流程图。

其中，1表示深度摄像头，2表示机械旋转装置，3表示隧道表面，4表示外壳保护装置，9表示麦克风阵列，10表示红外摄影机，11表示彩色摄像头，12表示红外摄像头，13表示仰角控制马达，14表示支架。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

由于场景规模较大，而实时处理的方式是相当耗费GPU内存的，因此我们采用离线处理数据的方法，即先采集到隧道内的所有信息，然后在此基础上对数据进行处理，从而避免内存不够的情况。其中，离线处理也分为两种模式，一种是先将小范围的模型建立起来，然后将所有的小规模场景模型一一拼接起来，另外则是先获取到所有的数据，对数据统一做分析处理，计算出最后的三维模型。我们采用的是后者的方法，因为对于拼接模型来说，其中肯定会存在一些误差，这比后者的精度要差了不少。深度摄像头通过对从多个角度获取到的深度影像数据进行融合，来重建物体的单帧光滑表面模型。当传感器移动的时候，照相机的位置以及姿势信息被记录下来，这些信息包括位置和朝向。由于我们知道了每一帧图像的姿势以及帧与帧之间的关联，多帧从不同角度采集的数据能够融合成单帧重建好的定点立方体。我们可以想象下在空间中的一个巨大的虚拟立方体，里面是我们现实世界的场景，当我们移动传感器的时候，深度数据信息被不断加入。

首先，将深度摄像头搭载到全断面隧道掘进机机器上，并利用硬件旋转装置，在全断面隧道掘进机前进过程中扫描进行180°扫描隧道上半区域全景，因为全断面隧道掘进机的前进速度要远小于深度摄像头的扫描速度，并且深度摄像头的重复扫描更有利于场景的真实信息的重建，且深度摄像头相机的真实移动轨迹在后面也会有算法进行计算，因此我们可以忽略考虑深度摄像头摄像机的真实和移动轨迹是否规则。

进一步地，利用深度摄像头的红外摄像头获取到场景的相关深度信息，此处的深度信息即能体现出当前所拍摄到的物体具体相机的位置，另外获得其彩色信息并存储下来。

进一步地，对照片信息进行处理，按照阈值设置对深度影像数据进行转化，在阈值范围之外的数据设置距离为无效，这样可以将一些特殊的物体排除在三维重建之外。

进一步地，对处理后深度数据进行配准，包括了计算出相机的最新位置，轨迹位置的获取可根据轨迹计算算法来计算，此参数的计算可以使得系统了解摄像头相对于起始帧时摄像头的位置，以及对数据进行平滑化处理的过程，平滑化参数的大小可以根据相机移动的速度来决定，从而能确保信息细节保留的多少。

进一步地，建立虚拟立方体空间，此处的虚拟空间对于Y轴的要求，也即隧道的前进方向比较大。大规模场景建模的难度主要在这个方面，由于实时建模对于内存的要求比较大，因此采用了离线处理的方式。通过将平滑去噪后的深度浮点型数据以及相机位置信息进行处理，当然也处理场景中一些其他微小的动态变化，或是小物体的移动或消失，后从传感器视点位置进行对重建立方体的光线投射，重建后的点着云序列可以渲染出所需要的三维重建模型。

进一步地，通过设置采样步长的大小来设置模型的精度，采样步长的大小要考虑到内存的应用以及程序的运行时间和最后模型的精致程度等方面。

本发明搭载于全断面隧道掘进机上。

如图1、图2所示，全断面隧道掘进机搭载的深度摄像头三维成像系统，包括能够将转动摄像头的机械装置，能够将隧道的整体空间进行三维建模。整个系统包括是深度摄像头可以旋转能够拍摄到隧道上半周的机械旋转装置，保护摄像头的外壳装置，以及可以对隧道场景能够三维建模的深度摄像头。通过设计的三维成像方法进行对隧道场景的三维建模。

转动摄像头的机械装置，可以实现根据全断面隧道掘进机前进的速度来确定自身旋转的速度，确保不会漏掉拍摄隧道空间的某些位置。

由于地下隧道空间多水、潮湿的情况，一般装置搭载在全断面隧道掘进机设施上很容易被恶劣的外界条件所影响，导致使用寿命的减短，因此我们采用保护装置将系统中比较敏感的摄像头装置保护起来，而且此外壳装置并不会影响摄像头的拍摄效果。

通过深度照片成像探测出隧道相对于摄像头的距离从而能够建造出完整的隧道三维模型。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于深度摄像头的隧道三维建模系统，其特征是：包括深度摄像头装置、旋转装置，所述深度摄像头装置包括麦克风组件、红外摄影机、彩色摄像头和红外摄像头，所述深度摄像头装置搭载在所述旋转装置上，所述旋转装置带动深度摄像头装置进行竖直方向上的180°的旋转，采集隧道上半周的图像；

所述旋转装置上设置有角度传感器，检测旋转装置的旋转角度，同时旋转装置上设置有仰角控制器，控制深度摄像头装置的采集角度。

2.如权利要求1所述的一种基于深度摄像头的隧道三维建模系统，其特征是：所述深度摄像头装置设置于支架上，所述支架固定于旋转装置上。

3.如权利要求1所述的一种基于深度摄像头的隧道三维建模系统，其特征是：所述深度摄像头装置设置有防水外壳。

4.基于如权利要求1-3中任一项所述的系统的建模方法，其特征是：包括以下步骤：

(1)获取深度摄像头装置采集的深度信息和图像信息；

(2)对采集到的图像进行采样、浮点化、平滑化处理，从图像中获取深度摄像头装置的移动轨迹；

(3)建立大规模虚拟空间，按照采样间隔将采集的信息融合到虚拟空间中，形成三维模型。

5.如权利要求4所述的建模方法，其特征是：所述步骤(1)中，搭载在全断面隧道掘进机上的深度摄像头随着机器的前进而获取隧道的深度和彩色信息，其中重复拍摄到的部分可作为照片信息的优化，即为不断地添加隧道信息，并不会设置冗余度的下限。

6.如权利要求4所述的建模方法，其特征是：所述步骤(2)中，按照阈值设置对深度影像数据进行转化，在阈值范围之外的数据设置距离为无效。

7.如权利要求4所述的建模方法，其特征是：所述步骤(2)中，通过使用交互型的配准算法在摄像头移动时不断获取其姿势，对于姿势追踪使用将从重建对象计算得来的点云与从深度影像数据中获取的点云进行配准，或者单独的使用对同一场景的不同视场角的数据进行配准。

8.如权利要求4所述的建模方法，其特征是：所述步骤(2)中，根据深度摄像装置的移动速度设置平滑化参数的大小，将从已知姿势摄像头产生的深度影像数据融合为代表摄像头视野范围内的景物的立方体，这种对深度数据的融合是逐帧，连续进行的，最后，从传感器视点位置对重建立方体进行光线投射，采用光线投影算法计算得到的点云，再计算其法向量，用带法向量的点云和下一帧的输入图像配准，计算下一帧输入图像的位姿。

9.如权利要求4所述的建模方法，其特征是：所述步骤(3)中，在建模过程中采用离线处理的方式，采用回环检测和回环优化，根据回环优化的结果，更新点的坐标，使得回环的地方两次重建的结果对齐。

10.如权利要求9所述的建模方法，其特征是：所述步骤(3)中，当相机旋转或者移动的距离超过阈值的时候，将当前帧加入做关键帧并且进行回环检测，回环检测首先通过寻找匹配的关键帧，如果存在匹配的图像，将在内存中存储的匹配图像的SURF特征点和深度图像重新索引出来；给定两帧图像的SURF描述子Ui和Um，用FLANN来建立SURF的匹配关系，如果能够匹配上的SURF点数量不超过设定阈值，则认为这不是一个有效的匹配，通过匹配建立SURF的匹配关系，通过上一步建立的SURF间的匹配，用RANSAC算法估计两帧之间的位姿，得到位姿后再用LM算法优化重投影误差优化相机位姿，用ICP再优化计算得到的位姿，如果匹配点之间的误差小于设定阈值，则认为这是一个有效的回环。