CN107862733B - 基于视线更新算法的大规模场景实时三维重建方法和系统 - Google Patents

Abstract

本发明公开一种基于视线更新算法的大规模场景实时三维重建方法和系统，属于计算机视觉和机器人领域。本发明解决的问题是：针对一般算法无法实现激光雷达的大规模点云数据的实时重建问题，提出一种根据当前三维点云生成视线，实现数据更新，从而实时重建的方法。主要包括三维点云获取以及传感器外参数据计算，基于视线算法计算隐式表面的符号距离值，符号距离值加权融合，对体数据进行体绘制并保存，实时显示重建效果。本发明通过引入视线更新算法，实时地更新隐式表面，从而实现基于雷达等深度传感器的大规模场景实时重建，不仅在速度上具有较大优势，在重建质量上也取得了较好的效果。

Description

基于视线更新算法的大规模场景实时三维重建方法和系统

技术领域

本发明属于计算机视觉和机器人领域，涉及一种基于视线更新算法的大规模场景实时三维重建方法和系统。

背景技术

实时三维重建是指实时的处理三维点云或图像数据，并生成三维模型的过程。三维重建在计算机视觉以及机器人领域有着非常重要的作用，是虚拟现实，智能监控，机器人路径规划等应用的基础。由于激光雷达每秒能采集到数十万个点，数据量巨大，同时采集到的数据包含较大噪声，实时地重建出大范围场景的三维模型非常具有挑战性。

三维重建主要分为两类：基于相机图像进行的三维重建以及基于激光雷达的三维重建。基于图像的三维重建主要包括图像的获取、相机的标定、特征点提取、特征点匹配、表面重建等几个步骤。基于图像的三维重建在特征点匹配上的准确率和鲁棒性较差，且无法达到实时三维重建。

目前基于激光雷达的重建算法，采用的方法主要是精简点云后再进行三角化，对于表面模型难以实现增量式更新，同时无法做到每帧三维点云数据的实时处理。除此以外，由于没有充分运用每帧传感器的姿态信息，重建质量较低。为了解决现有技术中存在的问题，需要提出一种新的方法。

发明内容

本发明的主要目的在于解决现有技术存在的问题，提供一种基于视线更新算法的大规模场景实时三维重建方法和系统。

本发明一方面提供一种基于视线更新算法的大规模场景实时三维重建方法，包括如下步骤：

步骤1：三维点云获取以及传感器外参数据计算；

步骤2：基于视线算法计算隐式表面的符号距离值

步骤3：符号距离值加权融合

步骤4：对体数据进行体绘制并保存，实时显示重建效果

进一步地，所述步骤1进一步具体为：激光雷达获取当前环境的三维点云数据，将雷达点云进行特征点匹配，并在具有全球定位系统以及惯性导航元件的条件下，进一步结合全球定位系统以及惯性导航元件，计算当前传感器外参数据。

进一步地，所述步骤2进一步具体为：以当前激光雷达所在空间位置为中心，对一定范围内空间进行体素化。其体数据结构为：

(p_k，n，d_k，n，w_k，n)

其中，p_k，n，代表第k帧体数据结构中第n个体素的三维空间坐标，d_k，n，w_k，n分别是此体素所对应的符号距离值以及权重，开始时d_k，n初始化为Nan，代表此体素未使用，w_k，n初始化为0。

采用视线算法并行计算相关体素的符号距离值。对于第k帧点云，以点云中每个三维点作为终点，当前传感器空间位置o作为起点，计算视线方向向量

x_k，n∈X_k，x_k，n代表第k帧点云X_k中第n个点的三维坐标，o代表当前激光雷达三维坐标。在视线方向上，以x_k，n点为中心，取前后m个点，m∈Z⁺(Z⁺代表正整数的集合，m为系统参数，设置范围在1到10之间)，得到2m个点的三维坐标r，r代表了每一个x_k，n所相关的2m个点。设置体素的单位边长为l(l为系统参数)，l∈R⁺(R⁺代表正数集合)，当l取值较大时，三维重建后获得的细节较少，反之，细节保留较多。对此2m+1个点(包括x_k，n，r)在x，y，z方向上分别以体素边长l为单位进行取整，得到视线方向上相关体素三维坐标p_k，n，计算符号距离值sdf_k，n，得到相关体素所对应的(p_k，n，sdf_k，n)。

其中，计算sdf_k，n的具体方式：

sdf_k，n＝‖x_k，n-p_k，n‖₂

其中，计算r具体方法：

分别代表了向量

在x，y，z方向上的分量，比较

在x，y，z方向上分量的大小，选取最大分量进行归一化，得到

t为方程变量，t的取值为：-m，-m+1，…，0，…，m。通过t对x_k，n进行加减，得到x_k，n相关点r。

上述视线算法既可以串行计算也可以并行计算。在并行计算时，计算得到的sdf_k，n，不直接写入当前体数据结构，而是保存(p_k，n，sdf_k，n)。在等待并行计算完成后，再进行步骤3。在视线算法串行运行时，每得到一次(p_k，n，sdf_k，n)，即可进行步骤3。

进一步地，所述步骤3进一步具体为：根据步骤2所保存的(p_k，n，sdf_k，n)，使用p_k，n索引当前体数据结构中对应的d_k，n，w_k，n。新的符号距离值(d_k，n)_new通过加权平均来得到：

(w_k，n)_new＝w_k，n+1

d_max＝m·l

其中m为步骤2设置的系统参数，l为步骤2设置的体素边长。在获得了相应体素的新的(p_k，n，(d_k，n)_new，(w_k，n)_new)后，直接用它去替换原来的(p_k，n，d_k，n，w_k，n)，实现更新。在对一帧点云每条视线完成加权融合后，此帧体数据完成更新。

进一步地，所述步骤4进一步具体为：对于当前的体数据采用体绘制的方法，如采用光线投射算法实时显示出重建的表面。

根据本发明的另一方面，提供一种基于视线更新算法的大规模场景实时三维重建系统，包括如下模块：

数据采集模块，主要是通过激光雷达获得当前点云数据；

计算机处理模块，包括：a.传感器外参计算子模块，b.视线算法计算符号距离值子模块，c.符号距离值加权融合子模块，d.体数据绘制子模块，e.体数据保存子模块。

a.传感器外参计算子模块：通过全球定位系统、惯性导航元件(IMU)或雷达点云特征点匹配的方法计算此时激光雷达的外参数据。

b.视线算法计算符号距离值子模块：对于当前帧点云并行生成与点数相等的视线，计算体数据中相应的符号距离值并保存，同时保存对应的体素坐标。

c.符号距离值加权融合子模块：根据上一模块计算得到的体素坐标，索引到相关的体素，将新计算得到的符号距离值与体数据中保存的符号距离值进行加权融合。

d.体数据绘制子模块：在完成当前帧的符号距离融合之后，使用体绘制算法如光线投射算法(raycasting)实时显示当前的重建结果。

e.体数据保存子模块：当传感器外参发生较大变化时，将此时的体数据结构保存到文件系统中。

本发明能够实时处理每帧包含数十万个点的点云数据，可以应用于大场景下的三维重建，同时加权融合的方法在去除数据噪声方面具有较大优势。在融合过程中，我们利用了当前传感器的外参数据，提高了表面重建的质量。通过实时重建，可以根据重建效果，对重建质量差的地方进行多次扫描并融合。本发明能够对复杂大场景实现实时高质量的重建。

附图说明

附图说明用于提供对本发明技术方案的进一步理解，并构成说明书的一部分，与本发明的实施一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。附图说明如下：

图1是本发明方法的流程图。图2是本发明系统的硬件组成图。

具体实施方式

如图1所示，本发明基于视线更新算法的大规模场景实时三维重建方法，包括如下步骤：

步骤1：传感器外参计算。

以当前全球定位系统所获得的空间绝对坐标作为初始值，对惯性导航元件(IMU)所获得的加速度进行积分，计算当前的传感器外参数据，或者对每帧雷达点云进行特征点提取与匹配，计算此时激光雷达的外参数据。

步骤2：视线算法计算符号距离值。

以当前激光雷达所在空间位置为中心，对一定范围内空间进行体素化。其体数据结构为：

(p_k，n，d_k，n，w_k，n)

其中，p_k，n，代表第k帧体数据结构中第n个体素的三维空间坐标，d_k，n，w_k，n分别是此体素所对应的符号距离值以及权重，开始时d_k，n初始化为Nan，代表此体素未使用，w_k，n初始化为0。

采用视线算法并行计算相关体素的符号距离值。对于第k帧点云，以点云中每个三维点作为终点，当前传感器空间位置o作为起点，计算视线方向向量

x_k，n∈X_k，x_k，n代表第k帧点云X_k中第n个点的三维坐标，o代表当前激光雷达三维坐标。在视线方向上，以x_k，n点为中心，取前后m个点，m∈Z⁺(Z⁺代表正整数的集合，m为系统参数，设置范围在1到10之间)，得到2m个点的三维坐标r，r代表了每一个x_k，n所相关的2m个点。设置体素的单位边长为l(l为系统参数)，l∈R⁺(R⁺代表正数集合)，当l取值较大时，三维重建后获得的细节较少，反之，细节保留较多。对此2m+1个点(包括x_k，n，r)在x，y，z方向上分别以体素边长l为单位进行取整，得到视线方向上相关体素三维坐标p_k，n，计算符号距离值sdf_k，n，得到相关体素所对应的(p_k，n，sdf_k，n)。

其中，计算sdf_k，n的具体方式：

sdf_k，n＝‖x_k，n-p_k，n‖₂

其中，计算r具体方法：

分别代表了向量

在x，y，z方向上的分量，比较

在x，y，z方向上分量的大小，选取最大分量进行归一化，得到

t为方程变量，t的取值为：-m，-m+1，…，0，…，m。通过t对x_k，n进行加减，得到x_k，n相关点r。

上述视线算法既可以串行计算也可以并行计算。在并行计算时，计算得到的sdf_k，n，不直接写入当前体数据结构，而是保存(p_k，n，sdf_k，n)。在等待并行计算完成后，再进行步骤3。在视线算法串行运行时，每得到一次(p_k，n，sdf_k，n)，即可进行符号距离值的融合。

步骤3：符号距离值加权融合。

根据步骤2所保存的(p_k，n，sdf_k，n)，使用p_k，n索引当前体数据结构中对应的d_k，n，w_k，n。新的符号距离值(d_k，n)_new通过加权平均来得到：

(w_k，n)_new＝w_k，n+1

d_max＝m·l

其中m为步骤2设置的系统参数，l为步骤2设置的体素边长。在获得了相应体素的新的(p_k，n，(d_k，n)_new，(w_k，n)_new)后，直接用它去替换原来的(p_k，n，d_k，n，w_k，n)，实现更新。在对一帧点云每条视线完成加权融合后，此帧体数据完成更新。

步骤4：体数据的绘制。

在完成当前帧的符号距离融合之后，使用体绘制算法如光线投射算法(raycasting)实时显示当前的重建结果。通过当前的重建效果，重建系统可以对指定部分进行扫描，提升重建效果。

步骤5：体数据的保存。

当传感器外参发生较大变化时，将此时的体数据结构保存到文件系统中。

如图2所示。本发明基于视线更新算法的大规模场景实时三维重建系统，包括如下模块：

201数据采集模块，主要是通过激光雷达等获得三维点云，全球定位系统获得空间三维坐标，惯性导航元件(IMU)；

202计算机处理模块，包括：a.传感器外参计算子模块，b.视线算法计算符号距离值子模块，c.符号距离值加权融合子模块，d.体数据绘制子模块，c.体数据保存子模块。

a.传感器外参计算子模块：通过全球定位系统、惯性导航元件(IMU)、雷达点云特征点匹配的方法计算此时激光雷达的外参数据。

b.视线算法计算符号距离值子模块：对于当前帧点云并行生成与点数相等的视线，计算体数据中相应的符号距离值并保存，同时保存对应的体素坐标。

c.符号距离值加权融合子模块：根据上一模块计算得到的体素坐标，索引到相关的体素，将新计算得到的符号距离值与体数据中保存的符号距离值进行加权融合。

d.体数据绘制子模块：在完成当前帧的符号距离融合之后，使用体绘制算法如光线投射算法(raycasting)实时显示当前的重建结果。

e.体数据保存子模块：当传感器外参发生较大变化时，将此时的体数据结构保存到文件系统中。

本领域的技术人员应该明白，上述的本发明的系统结构和各个步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将他们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所示出和描述的实施方式如上，但是所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上以及细节上做任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (3)

1.一种基于视线更新算法的大规模场景实时三维重建方法，其特征在于，包括如下步骤：

步骤1：三维点云获取以及传感器外参数据计算；

步骤2：基于视线算法计算隐式表面的符号距离值；以当前激光雷达所在空间位置为中心，对一定范围内空间进行体素化，其体数据结构为：

(p_k，n，d_k，n，w_k，n)

其中，p_k，n代表第k帧体数据结构中第n个体素的三维空间坐标，d_k，n，w_k，n分别是此体素所对应的符号距离值以及权重，d_k，n开始时初始化为Nan，代表此体素未使用，w_k，n初始化为0；

采用视线算法并行计算相关体素的符号距离值，对于第k帧点云，以点云中每个三维点作为终点，当前传感器空间位置o作为起点，计算视线方向向量

x_k，n∈X_k，x_k，n代表第k帧点云X_k中第n个点的三维坐标，o代表当前激光雷达三维坐标，在视线方向上，以x_k，n点为中心，取前后m个点，m∈Z⁺，Z⁺代表正整数的集合，m为系统参数，设置范围在1到10之间，得到2m个点的三维坐标r，r代表了每一个x_k，n所相关的2m个点，设置体素的单位边长为l，l为系统参数，l∈R⁺，R⁺代表正数集合，当l取值较大时，三维重建后获得的细节较少，反之，细节保留较多，对此2m+1个点在x，y，z方向上分别以体素边长l为单位进行取整，得到视线方向上相关体素三维坐标p_k，n，计算符号距离值sdf_k，n，得到相关体素所对应的(p_k，n，sdf_k，n)；

其中，计算sdf_k，n的具体方式为：

Sdf_k，n＝||x_k，n-p_k，n||₂

计算r的具体方法：

分别代表了向量

在x，y，z方向上的分量，比较

在x，y，z方向上分量的大小，选取最大分量进行归一化，得到

t为方程变量，t的取值为：-m，-m+1，...，0，...，m；通过t对x_k，n进行加减，得到x_k，n相关点r；

上述视线算法既可以串行计算也可以并行计算，在并行计算时，计算得到的sdf_k，n，不直接写入当前体数据结构，而是保存(p_k，n，sdf_k，n)；在等待并行计算完成后，再进行步骤3；在视线算法进行串行运行时，每得到一次(p_k，n，sdf_k，n)，即可进行符号距离值的融合；

步骤3：符号距离值加权融合；

步骤4：对体数据进行体绘制并保存，实时显示重建效果。

2.根据权利要求1所述的一种基于三维点云的隐式表面更新算法，其特征在于，所述步骤3进一步具体为：根据步骤2所保存的(p_k，n，sdf_k，n)，使用p_k，n索引当前体数据结构中对应的d_k，n，w_k，n；新的符号距离值(d_k，n)_new通过加权平均来得到：

(w_k，n)_new＝w_k，n+1

d_max＝m·l

其中m为步骤2设置的系统参数，l为步骤2设置的体素边长，在获得了相应体素的新的(p_k，n，(d_k，n)_new，(w_k，n)_new)后，直接用它去替换原来的(p_k，n，d_k，n，w_k，n)，实现更新，在对一帧点云每条视线完成加权融合后，此帧体数据完成更新。

3.一种基于激光雷达的实时表面重建系统，其特征在于，包括如下模块：

数据采集模块，包括激光雷达得到周围环境的三维点云数据，全球定位系统获得空间坐标，惯性导航元件获得当前加速度；

计算机处理模块，包括传感器外参计算子模块，视线算法计算符号距离值子模块，符号距离值加权融合子模块，体数据绘制子模块，体数据保存子模块；

所述视线算法计算符号距离值子模块用于执行如下步骤：

以当前激光雷达所在空间位置为中心，对一定范围内空间进行体素化，其体数据结构为：

(p_k，n，d_k，n，w_k，n)

其中，p_k，n代表第k帧体数据结构中第n个体素的三维空间坐标，d_k，n，w_k，n分别是此体素所对应的符号距离值以及权重，d_k，n开始时初始化为Nan，代表此体素未使用，w_k，n初始化为0；

采用视线算法并行计算相关体素的符号距离值，对于第k帧点云，以点云中每个三维点作为终点，当前传感器空间位置o作为起点，计算视线方向向量

x_k，n∈X_k，x_k，n代表第k帧点云X_k中第n个点的三维坐标，o代表当前激光雷达三维坐标，在视线方向上，以x_k，n点为中心，取前后m个点，m∈Z⁺，Z⁺代表正整数的集合，m为系统参数，设置范围在1到10之间，得到2m个点的三维坐标r，r代表了每一个x_k，n所相关的2m个点，设置体素的单位边长为l，l为系统参数，l∈R⁺，R⁺代表正数集合，当l取值较大时，三维重建后获得的细节较少，反之，细节保留较多，对此2m+1个点在x，y，z方向上分别以体素边长l为单位进行取整，得到视线方向上相关体素三维坐标p_k，n，计算符号距离值sdf_k，n，得到相关体素所对应的(p_k，n，sdf_k，n)；

其中，计算sdf_k，n的具体方式为：

Sdf_k，n＝||x_k，n-p_k，n||₂

计算r的具体方法：

分别代表了向量

在x，y，z方向上的分量，比较

在x，y，z方向上分量的大小，选取最大分量进行归一化，得到

t为方程变量，t的取值为：-m，-m+1，...，0，...，m；通过t对x_k，n进行加减，得到x_k，n相关点r；

上述视线算法既可以串行计算也可以并行计算，在并行计算时，计算得到的sdf_k，n，不直接写入当前体数据结构，而是保存(p_k，n，sdf_k，n)；在等待并行计算完成后，再进行步骤3；在视线算法进行串行运行时，每得到一次(p_k，n，sdf_k，n)，即可进行符号距离值的融合。

Images