CN105261060A - 基于点云压缩和惯性导航的移动场景实时三维重构方法 - Google Patents

Abstract

本发明涉及一种基于PFH和惯性导航的移动场景实时三维重构方法，分为以下三个阶段：第1阶段，设计一种基于PFH的点云压缩算法；第2阶段，设计了一种基于惯性导航的点云配准算法；第3阶段，完成点云融合。本发明可实现较高压缩比，有效减少ICP算法输入点集的数量，从而节约点云配准、点云融合计算时间；减少ICP算法的迭代次数，提高收敛速度，从而提高整个重构算法的实时性。

Description

基于点云压缩和惯性导航的移动场景实时三维重构方法

技术领域

本发明涉及一种基于点云压缩和惯性导航的移动场景下实时三维重构的方法，属于计算机机器视觉、增强现实领域。

背景技术

三维重构技术是计算机视觉领域中的热点研究方向之一，主要研究如何获取物体在空间中的三维信息，实现在计算机中真实再现客观环境，为机器和人类提供准确的3D场景信息。

三维重构的主要研究方向包括场景重构、地图构建以及模型重建等。周围环境的3D场景信息可以帮助机器人更加清楚的了解自身所处环境并实现与环境的友好交互，在机器人导航、考古勘测、灾害救援等领域中发挥重要作用；此外，3D场景信息也可用在虚拟现实、军事模拟、城市规划、文物保护等领域。在工业产品零件的CAD加工、模具制作、医学整形手术、人脸建模与识别、计算机三维动画等应用中，经常需要物体的三维模型，这也对三维重构技术做出了要求。目前，三维场景重构技术凭借其在这些领域的重要应用，越来越受到各界研究者的青睐，逐渐成为多领域的研究热点。

目前3D场景点云模型的三维重构方法主要分为两大类：基于多幅图像的三维重构方法和基于红外或者激光扫描技术的三维重构方法。前者通过数码摄像机等拍摄的二维图像恢复出建筑物表面的三维信息，如公开号为CN101398937、名称为《基于同一场景散乱照片集的三维重构方法》的专利。这类方法虽然成本低廉，自动化程度较高，且重建的三维模型包含丰富的纹理等信息，但需要对图片信息进行大量的处理，运行速度较慢，适用于小型单一建筑物建模，但对于地貌复杂的大规模场景建模，由于受到计算机处理时间的限制并不适用。

因此，近年来基于红外或者激光扫描的三维重构技术成为了研究热点，红外或者激光扫描仪能够直接获得景物的深度信息，具有速度快，精度高，不受表面复杂度影响等优势。此外，利用激光扫描技术进行三维重构能够有效恢复出具有准确几何信息和照片真实感的三维模型。这些准确的三维模型不仅能够提供场景可视化和虚拟漫游方面的功能，更可以满足数据的存档，测量和分析等更高层次的需求。

发明内容

本发明的目的是提供一种利用传感器在室内场景移动，不断获取不同视角下的点云，并实时重构出整个场景三维模型的方法。

为了达到上述目的，本发明的技术方案是提供了一种基于点云压缩和惯性导航的移动场景实时三维重构方法，其特征在于，包括如下步骤：

第一步、对于场景S，利用Kinect体感控制器的摄像头分别从视角V₁，…，V_k，…V_n依次获取点云集合M₁，…，M_k，…M_n，M_k为k时刻从视觉V_k获取的点云；

第二步、将点云集合{M₁，…，M_k，…M_n}压缩为{P₁，…，P_k，…P_n}，其中，P_k为M_k的一个子集，且满足：式中，ρ为预设比，F_c(□)为特征点数量度量函数，δ为设定的特征点保留率；

第三步、利用惯性导航技术获取场景S内运载体在视角V₁，…，V_k，…V_n下的位置、角度偏移量，转化为ICP算法所需的初始变换矩阵与

第四步、利用初始变换矩阵与对压缩后的点云{P₁，…，P_k，…P_n}进行粗配准，再基于ICP算法确定变换矩阵R_k与T_k，完成精确配准；

第五步、随着Kinect体感控制器的传感器在场景S中的漫游，不断将新获取的每一片点云与局部模型拼接、融合，直到重构出整个三维场景模型。

优选地，所述第三步包括：

步骤3.1、在场景S内运载体上放置Kinect体感控制器的深度摄像头、加速度计和陀螺仪；

步骤3.2、设定一固定坐标系，设运动起始位置为坐标原点，深度摄像头初始方向与X轴正方向重合，利用加速度计和陀螺仪测量运载体在X、Y、Z轴上的加速度，将加速度一次积分得到运载体的速度，将加速度二次积分得到运载体的位置，从而达到对运载体定位的目的，同时，通过陀螺仪获取运载体的旋转角度；

步骤3.3、将运载体在不同位姿间的相对位移、旋转角度信息，转化为两片点云间的初始变换矩阵与

优选地，所述第四步包括：

步骤4.1、将两个不同视角下的压缩点云P_k与P_k-1作为ICP算法的输入集合，将初始变换矩阵与作为ICP算法的初始变换矩阵；

步骤4.2、利用初始变换矩阵与对压缩后的参考点云P_k进行旋转、平移处理，得到P_k′；

步骤4.3、筛选匹配点对：采用最邻近点法在压缩后的目标点云P_k-1中寻找与P_k′中的特征点欧式距离最小的匹配特征点，组成特征点对集合；

步骤4.4、计算误差：计算变换后两组特征点对的距离平方和，记为d_k；

步骤4.5、基于四元数法利用匹配点对求解空间坐标变换的旋转、平移矩阵与再用于参考点云，得到P_k″，重新筛选匹配点对，同时更新d_k；

步骤4.6、迭代步骤4.5中的运算，直到收敛，d_k小于阈值或达到既定的迭代次数

本方法的创新点在于：

(1)使用一种基于PFH特征的点云压缩算法：可实现较高压缩比，有效减少ICP算法输入点集的数量，从而节约点云配准、点云融合计算时间，同时保留了足够多的特征点，为点云配准提供方便。

(2)提出一种基于惯性导航技术的点云配准：点云配准的本质是计算获得不同视角下两片点云间的旋转、平移矩阵R与T，很多实验中使用ICP算法解决这类问题，但传统ICP算法的计算精度依赖于给定的初值。本文试验中，Kinect摄像头随运载体在室内场景中移动，获取不同视角下的点云，如果运载体上的Kinect摄像头位置固定，那么R与T同样也可以由运载体在不同视角间的旋转、平移矩阵表示，通过惯性传感器提供位置和角度偏移量，可以给ICP提供一个近似准确的初值与以此来减少ICP算法的迭代次数，提高收敛速度，从而提高整个重构算法的实时性。

附图说明

图1为三维重构模块介绍图；

图2为三维重构算法流程图；

图3为点云压缩算法流程图；

图4为点云配准算法流程图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

本发明主要研究利用传感器在室内场景移动，不断获取不同视角下的点云，并实时重构出整个场景三维模型的方法研究。

问题的描述：

对于场景S，Kinect摄像头分别从视角{V₁，…，V_k，…V_n}依次获取点云集合{M₁，…，M_k，…M_n}，移动三维重构的目的是通过获取不同视角下的点云数据，在重构算法R(□)的作用下，求取S′＝R(M₁，…，M_k，…M_n)，使得S与S′满足相似性度量函数E(□)的约束：

|E(S)-E(S′)|＜ε

问题的分析：

由于场景中的点云数量庞大，为实现算法的实时性，首先需要对获取的点云进行去噪、压缩等预处理；同时，重构算法R(□)中，最重要的一步是求取M_k与M_k-1配准所需的变换矩阵R_k与T_k，并且配准过程依赖于M_k与M_k-1中的特征点对。因此，压缩算法不仅要有较高的压缩比，还需要保留足够多的特征点。

ICP算法是进行点云配准的经典研究方法，但传统的ICP算法由于缺少配准初值或初值精度较差，很容易陷入局部最优解，影响迭代收敛速度。因此，基于ICP算法实现点云配准的前提条件是具有一个良好的配准初值。

针对以上问题的分析，本发明提出一种基于PFH和惯性导航的移动场景实时三维重构方法，包括如下步骤：

步骤1、启动系统，将传感器信息清零，建立一个固定坐标系；

步骤2、获取初始位姿(即运载体位于坐标原点)下的点云，进行压缩处理后用于建立场景局部点云模型；

步骤3、由惯性元件(加速度计、陀螺仪)实时获取位姿信息(位姿指运载体的位置和角度信息)，当位姿信息变化较大，超出阈值时，获取新视角下的点云，同时进行压缩处理；

步骤4、由位置变化计算当前点云与固定坐标系下的场景局部点云间初始变换矩阵；

步骤5、基于改进的ICP算法(初始变换矩阵作为ICP初值)进行点云配准；

步骤6、将配准后的两片点云融合，重复步骤3到6，直至判断重构完成，停止实验。

如图3所示，为三维重构算法流程中的步骤2，基于PFH的移动场景点云压缩算法流程图。具体操作步骤如下：

(1)从一个点云获取装置中接收点云M_k。

(2)计算每个点的PFH特征算子。

(3)计算PFH特征直方图的标准差，通过观察、分析可知，标准差小的是角点，标准差大的是平面点，因而利用标准差作为分类特征设计精简准则。

(4)确定压缩所需的标准差阈值，选取点云中任意一个点，判断其PFH标准差与阈值的大小关系；如果小于或等于阈值则保留该点，否则剔除该点；重复上述步骤，直至点云中所有点都计算完毕，将压缩后的点保存在集合P_k中，记为压缩后的点云。

基于上述压缩算法，点云压缩率可达95％以上，为后续点云配准、融合过程节约大量计算时间，提高了实时重构的可行性。同时，利用PFH特征算子在不同位置的显著差异，保留了能够完成场景重构的特征点，为后续的点云配准提供方便。上述压缩算法的实现过程和理论依据可以参考作者之前提出过的《基于点特征直方图的移动场景点云精简算法》发明专利。

下面为三维重构算法流程中的步骤4，利用惯性传感信息获取初始变换矩阵的步骤及原理说明：

(1)利用惯性元件(加速度计、陀螺仪)获取不同位姿间相对位移、旋转角度信息：

本实验通过在场景中安放了一辆小车，小车上安装获取信息的传感器，本文所使用的是kinect深度摄像头、加速度计和陀螺仪。

首先，将传感信息清零，设定一固定坐标系，设运动起始位置为坐标原点，摄像头初始方向与X轴正方向重合，利用惯性元件(加速度计、陀螺仪)测量运载体本身在X、Y、Z轴上的加速度，如公式(1)、(2)所示，一次积分得到速度，二次积分得到位置，经过两次积分运算得到运载体本身的速度和位置，从而达到对运载体定位的目的，同时，通过陀螺仪可以获取运载体的旋转角度信息。

式中，分别为加速度、速度及位置。

虽然经过长时间积分后获得的信息会积累一定的误差，但在任意两个间隔较小的位姿下获取小车相对位移、旋转角度信息可以实现很小的误差，且组成定位系统的设备都安装在运载体内，工作时不依赖外界信息，也不向外界辐射能量，因而不易受到干扰。

(2)将小车在不同位姿间的相对位移、旋转角度信息，转化为两片点云间的初始变换矩阵与

如图4所示，为三维重构算法流程中的步骤5，基于惯性导航的点云配准算法流程图：

(1)将两个不同视角下的压缩点云P_k与P_k-1作为ICP算法的输入集合，将初始变换矩阵与作为ICP算法的初始变换矩阵；

(2)利用初始变换矩阵与对压缩后的参考点云P_k进行旋转、平移处理，得到P_k′；

(3)筛选匹配点对：采用最邻近点法在压缩后的目标点云P_k-1中寻找与P_k′中的特征点欧式距离最小的匹配特征点，组成特征点对集合；

(4)计算误差：计算变换后两组特征点对的距离平方和，记为d_k；

(5)基于四元数法利用匹配点对求解空间坐标变换的旋转、平移矩阵与再用于参考点云，得到P_k″，重新筛选匹配点对，同时更新d_k。

(6)迭代步骤(5)中的运算，直到收敛，d_k小于阈值或达到既定的迭代次数。

Claims (3)

1.一种基于点云压缩和惯性导航的移动场景实时三维重构方法，其特征在于，包括如下步骤：

第一步、对于场景S，利用Kinect体感控制器的摄像头分别从视角V₁，…，V_k，…V_n依次获取点云集合M₁，…，M_k，…M_n，M_k为k时刻从视觉V_k获取的点云；

第二步、将点云集合{M₁，…，M_k，…M_n}压缩为{P₁，…，P_k，…P_n}，其中，P_k为M_k的一个子集，且满足：式中，ρ为预设比，F_c(□)为特征点数量度量函数，δ为设定的特征点保留率；

第三步、利用惯性导航技术获取场景S内运载体在视角V₁，…，V_k，…V_n下的位置、角度偏移量，转化为ICP算法所需的初始变换矩阵与

第四步、利用初始变换矩阵与对压缩后的点云{P₁，…，P_k，…P_n}进行粗配准，再基于ICP算法确定变换矩阵R_k与T_k，完成精确配准；

第五步、随着Kinect体感控制器的传感器在场景S中的漫游，不断将新获取的每一片点云与局部模型拼接、融合，直到重构出整个三维场景模型。

2.如权利要求1所述的一种基于点云压缩和惯性导航的移动场景实时三维重构方法，其特征在于，所述第三步包括：

步骤3.1、在场景S内运载体上放置Kinect体感控制器的深度摄像头、加速度计和陀螺仪；

步骤3.2、设定一固定坐标系，设运动起始位置为坐标原点，深度摄像头初始方向与X轴正方向重合，利用加速度计和陀螺仪测量运载体在X、Y、Z轴上的加速度，将加速度一次积分得到运载体的速度，将加速度二次积分得到运载体的位置，从而达到对运载体定位的目的，同时，通过陀螺仪获取运载体的旋转角度；

步骤3.3、将运载体在不同位姿间的相对位移、旋转角度信息，转化为两片点云间的初始变换矩阵与

3.如权利要求1所述的一种基于点云压缩和惯性导航的移动场景实时三维重构方法，其特征在于，所述第四步包括：

步骤4.1、将两个不同视角下的压缩点云P_k与P_k-1作为ICP算法的输入集合，将初始变换矩阵与作为ICP算法的初始变换矩阵；

步骤4.2、利用初始变换矩阵与对压缩后的参考点云P_k进行旋转、平移处理，得到P_k′；

步骤4.3、筛选匹配点对：采用最邻近点法在压缩后的目标点云P_k-1中寻找与P_k′中的特征点欧式距离最小的匹配特征点，组成特征点对集合；

步骤4.4、计算误差：计算变换后两组特征点对的距离平方和，记为d_k；

步骤4.5、基于四元数法利用匹配点对求解空间坐标变换的旋转、平移矩阵与再用于参考点云，得到P_k″，重新筛选匹配点对，同时更新d_k；

步骤4.6、迭代步骤4.5中的运算，直到收敛，d_k小于阈值或达到既定的迭代次数。