CN113902846B - 一种基于单目深度相机和里程传感器的室内三维建模方法 - Google Patents

Abstract

本发明涉及三维稠密重建技术领域，具体涉及一种基于单目深度相机和里程传感器的室内三维建模方法，包括：采用单目深度相机和里程传感器分别进行室内场景采集，并综合两者采集的场景数据得到多帧单目深度图像；利用所述里程传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，并融合生成多个一段，每个所述一段包括所述多帧单目深度图像中的若干帧；对每个所述一段进行首尾扩展，扩展后对多个所述一段的段与段之间进行首尾帧的彩色点云配准，得到相机位姿；基于所述相机位姿，进行室内三维建模。该方法可以克服目前三维建模系统因为彩色点云配准失效和误配准导致的建模结果不可用的问题。

Description

一种基于单目深度相机和里程传感器的室内三维建模方法

技术领域

本发明涉及三维稠密重建技术领域，具体涉及一种基于单目深度相机和里程传感器的室内三维建模方法。

背景技术

在三维稠密重建领域，常用的输入设备为单目深度相机，传统方法对单目图像进行二维特征匹配，再对深度图像进行三维点云配准，最后逐帧计算相对位姿，进而得到每帧的相机位姿。文章“Open3D:A Modern Library for 3D Data Processing”对单目深度相机生成的彩色点云进行配准，从而实现帧间位姿估计，进一步对重建过程分段，先匹配固定数量的连续帧，组成一段(fragment)，再以段为整体进行段与段之间的彩色点云配准和位姿优化，实现了比较好的细节并保证了建模结果的结构性。

但是，由于单目深度相机会受物体表面材质的影响，容易出现深度值缺失的问题；此外，在使用单目深度相机时，白墙等平面场景的深度缺乏三维信息，存在不可观的自由度；并且，在使用单目深度相机时，图像容易受运动影响而出现运动模糊，白墙、天花板等场景难以提取有效特征。这些都会导致基于彩色点云配准的位姿估计失败。即便是配准成功的场景，由于缺乏对结果的验证，也容易造成段间误配准，导致重建结果不可用。

因此，有必要提供一种室内三维建模的方法，克服目前三维建模系统因为彩色点云配准失效和误配准导致的建模结果不可用的问题。

发明内容

解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种基于单目深度相机和里程传感器的室内三维建模方法，该方法可以克服目前三维建模系统因为彩色点云配准失效和误配准导致的建模结果不可用的问题。

技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供一种基于单目深度相机和里程传感器的室内三维建模方法，包括：

采用单目深度相机和里程传感器分别进行室内场景采集，并综合两者采集的场景数据得到多帧单目深度图像；

利用所述里程传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，并融合生成多个一段，每个所述一段包括所述多帧单目深度图像中的若干帧；

对每个所述一段进行首尾扩展，扩展后对多个所述一段的段与段之间进行首尾帧的彩色点云配准，得到相机位姿；

基于所述相机位姿，进行室内三维建模。

进一步地，所述综合两者采集的场景数据得到多帧单目深度图像，具体为：

采用一棋盘格标定板，对所述单目深度相机和所述里程传感器组成的系统进行标定，得到所述里程传感器的单目相机cam0到所述单目深度相机cam1的外参

根据内置标定已知所述里程传感器输出的位姿odom到所述里程传感器的单目相机cam0的外参由此计算所述里程传感器输出的位姿odom到所述单目深度相机cam1的外参/>

根据所述外参将所述里程传感器采集的位置数据转换到所述单目深度相机的坐标系，并与所述单目深度相机采集的场景数据综合，得到所述多帧单目深度图像及所述相对位置初值。

进一步地，所述根据所述外参将所述里程传感器采集的位置数据转换到所述单目深度相机的坐标系，具体为：

所述单目深度相机以5帧每秒的帧率运行，所述里程传感器以200帧每秒的帧率运行；

根据所述单目深度相机和所述里程传感器发布数据的时间戳，为所述单目深度相机的每一帧匹配时间上最相近的所述里程传感器采集的位置数据作为这一帧的初始位姿，再根据所述外参将所述里程传感器采集的位置数据转换到所述单目深度相机的坐标系。

进一步地，所述利用所述里程传感器提供的位置数据计算得到相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，具体为：

将所述多帧单目深度图像均转化成彩色点云；

通过彩色点云配准算法进行帧与帧之间的彩色点云配准，其中所述点云配准算法使用具有联合优化目标的I CP迭代，优化的目标函数如下：

E(T)＝(1-δ)E_c(T)+δE_G(T)

其中，T是待优化的相对位姿，E_c和E_G分别是光度误差项和几何误差项，δ是经验决定的权重，几何项E_G测量的是点q到点p切平面的距离差：

其中，p,q分别是两个点云的对应匹配点，K是匹配点集合，n_p是点p的法线，颜色项E_C测量的是点q的颜色C(q)与其在点p的切平面的投影的颜色差：

其中，f(·)表示将点q投影到点p的切平面，C_p(·)表示点p切平面上连续定义的预计算函数。

进一步地，所述彩色点云配准还包括对于是否配准正确进行判断，具体为：

对于彩色点云中的每个点，取其邻域点构建协方差矩阵，计算法向量，配准结果包含两个点云间的匹配点对，由此得到多个已知法向量的匹配点对；

约定某一点的法向量方向与所述单目深度相机到该点的向量夹角为负，若所有匹配点对中，法向量夹角小于5°的匹配点对的数量超过匹配点对总数的70％，则判断配准正确，反之为误配准。

进一步地，所述基于所述相机位姿，进行室内三维建模，具体为：

基于所述相机位姿，利用TSDF算法得到三维建模结果，所述TSDF算法包括：

将空间划分为等大的三维网格，根据所述相机位姿和内参，将任意体素x投影到所述单目深度图像中，获取其在所述单目深度图像中的测量距离D_depth(x)，并计算任意体素x到所述单目深度相机的真实距离D_real(x)；定义tsdf_i(x)为对体素x的第i次的观测值，有：

其中，t为截断距离，根据TSDF定义，当D_depth(x)与D_real(x)的距离差小于t，tsdf_i(x)返回(-1,1)之间的值，否则返回±1；

根据下式：

其中，W_i(x)＝W_i-1(x)+w_i(x)，w_i(x)为对体素x的第i次的观测权重；

在每个所述相机位姿处对体素x的TSDF值进行更新；

当所有所述相机位姿更新结束，得到一个全局数据立方体，每一个体素x中的值代表该体素x到重建表面的距离，其中正负交界的位置就是全局数据立方体表面的位置，提取所有的表面得到三维建模结果。

进一步地，每个所述一段包括连续的40帧单目深度图像融合生成的彩色点云。

进一步地，对每个所述一段进行首尾扩展，以使相邻段之间有10帧单目深度图像重叠。

有益效果

本发明提供的技术方案，与已知的公有技术相比，具有如下有益效果：

本发明针对室内三维建模提出了提高彩色点云配准准确率和鲁棒性的算法，避免了配准失效对建模结果的影响，改进了三维建模算法流程，实现了精细鲁棒的室内三维建模。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的基于单目深度相机和里程传感器的室内三维建模方法步骤示意图；

图2为本发明一实施例提供的基于单目深度相机和里程传感器的室内三维建模方法流程示意图；

图3为本发明一实施例提供的基于单目深度相机和里程传感器的室内三维建模方法中生成一段的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，本发明一实施例提供了一种基于单目深度相机和里程传感器的室内三维建模方法，包括：

S100、采用单目深度相机和里程传感器分别进行室内场景采集，并综合两者采集的场景数据得到多帧单目深度图像。

在本实施例中，参阅图2，本实施例采用一个单目深度相机和一个里程传感器组成的双传感器系统，两个传感器采用上下分布。由于单目深度相机和里程传感器都可以提供单目图像，采用一棋盘格标定板，对所述单目深度相机和所述里程传感器组成的系统进行标定，得到所述里程传感器的单目相机cam0到所述单目深度相机cam1的外参

根据内置标定已知所述里程传感器输出的位姿odom到所述里程传感器的单目相机cam0的外参由此计算所述里程传感器输出的位姿odom到所述单目深度相机cam1的外参/>

根据所述外参将所述里程传感器采集的位置数据转换到所述单目深度相机的坐标系，并与所述单目深度相机采集的场景数据综合，得到所述多帧单目深度图像及所述相对位置初值。

S200、利用所述里程传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，并融合生成多个一段，每个所述一段包括所述多帧单目深度图像中的若干帧。

在本实施例中，利用所述里程传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，具体为：

将所述多帧单目深度图像均转化成彩色点云；

通过彩色点云配准算法进行帧与帧之间的彩色点云配准，其中所述点云配准算法使用具有联合优化目标的I CP迭代，优化的目标函数如下：

E(T)＝(1-δ)E_c(T)+δE_G(T)

其中，T是待优化的相对位姿，E_c和E_G分别是光度误差项和几何误差项，δ是经验决定的权重，几何项E_G测量的是点q到点p切平面的距离差：

其中，p,q分别是两个点云的对应匹配点，K是匹配点集合，n_p是点p的法线，颜色项E_C测量的是点q的颜色C(q)与其在点p的切平面的投影的颜色差：

其中，f(·)表示将点q投影到点p的切平面，C_p(·)表示点p切平面上连续定义的预计算函数。

采用上述配准方法在于发明人研究发现彩色点云配准算法对两帧点云的相对位姿初值T较为敏感。在常规的点云配准算法中，T通常被设置为单位矩阵(ident ity matrix)，这假设两帧间相对位姿变化比较小，否则彩色点云配准容易收敛到局部极小值而导致配准失败。

因此，发明人引入里程提供的位姿初值，在配准前，根据当前帧和前一帧的里程数据计算T，这样就能得到更稳定准确的配准结果，即使配准失败，我们依然可以使用T作为配准结果。由于里程传感器融合了视觉信息与非视觉信息如惯性测量单元(I MU)，因此在视觉定位失效的情况下也能够输出鲁棒的相对位姿。获得鲁棒的点云配准结果之后，我们选择连续的40帧作为一个段，使用Open3D提供的位姿图优化算法，对段内部的帧的累计误差进行平均，此时的累计误差小，优化后段内细节得到保留。

在本实施例中，发明人研究发现彩色点云配准存在误配准情况，如图3左边所示，操作员先在墙一侧的房间录制，其后在墙另一侧的房间录制，当进行段配准时，根据前述彩色点云配准方法，彩色点云配准趋向于将两侧的墙融合在一起，这显然是错误的。

因此，发明人引入了在彩色点云配准过程中对于是否配准正确进行判断，具体为：

对于彩色点云中的每个点，取其邻域点构建协方差矩阵，计算法向量，配准结果包含两个点云间的匹配点对，由此得到多个已知法向量的匹配点对；

约定某一点的法向量方向与所述单目深度相机到该点的向量夹角为负，可以使匹配点对中两个点的法向量具有可比性；若所有匹配点对中，法向量夹角小于5°的匹配点对的数量超过匹配点对总数的70％，则判断配准正确，反之为误配准。

S300、对每个所述一段进行首尾扩展，扩展后对多个所述一段的段与段之间进行首尾帧的彩色点云配准，得到相机位姿。

在本实施例中，每个所述一段是连续的40帧单目深度图像融合生成的彩色点云，段配准也属于彩色点云配准。如图3所示，由于连续的扫描一般在空间上是非重复的，对任意两个相邻所述一段，它们的相对位姿主要取决于前一个所述一段的最后一帧和后一个所述一段的第一帧的配准结果。当以所述一段为整体对所有的所述一段进行优化，优化结果容易在段与段之间出现剧变。因此我们对每个所述一段进行首尾扩展，保证相邻所述一段之间有10帧重叠，这样在进行段间位姿图优化时，受重叠帧约束，段与段之间的连接更加平滑，使建模结果连续性更好。

S400、基于所述相机位姿，进行室内三维建模。

在本实施例中，具体为：

基于所述相机位姿，利用TSDF算法得到三维建模结果，所述TSDF算法包括：

将空间划分为等大的三维网格，根据所述相机位姿和内参，将任意体素x投影到所述相机位姿中，获取其在所述相机位姿中的测量距离D_depth(x)，并计算任意体素x到所述单目深度相机的真实距离D_real(x)；定义tsdf_i(x)为对体素x的第i次的观测值，有：

其中，t为截断距离，根据TSDF定义，当D_depth(x)与D_real(x)的距离差小于t，tsdf_i(x)返回(-1,1)之间的值，否则返回±1；

根据下式：

其中，W_i(x)＝W_i-1(x)+w_i(x)，w_i(x)为对体素x的第i次的观测权重；

在每个所述相机位姿处对体素x的TSDF值进行更新；

当所有所述相机位姿更新结束，得到一个全局数据立方体，每一个体素x中的值代表该体素x到重建表面的距离，其中正负交界的位置就是全局数据立方体表面的位置，提取所有的表面得到三维建模结果，该结果具有极高的鲁棒性和准确性。

本发明的优点在于针对室内三维建模提出了提高彩色点云配准准确率和鲁棒性的算法，避免了配准失效对建模结果的影响，改进了三维建模算法流程，实现了精细鲁棒的室内三维建模。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。

Claims (5)

1.一种基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，包括：

采用单目深度相机和里程传感器分别进行室内场景采集，并综合两者采集的场景数据得到多帧单目深度图像；

利用所述里程传感器提供的相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，并融合生成多个一段，每个所述一段包括所述多帧单目深度图像中的若干帧；

对每个所述一段进行首尾扩展，扩展后对多个所述一段的段与段之间进行首尾帧的彩色点云配准，得到相机位姿；

基于所述相机位姿，进行室内三维建模；所述综合两者采集的场景数据得到多帧单目深度图像，具体为：

采用一棋盘格标定板，对所述单目深度相机和所述里程传感器组成的系统进行标定，得到所述里程传感器的单目相机cam0到所述单目深度相机cam1的外参

根据内置标定已知所述里程传感器输出的位姿odom到所述里程传感器的单目相机cam0的外参由此计算所述里程传感器输出的位姿odom到所述单目深度相机cam1的外参/>

根据所述外参将所述里程传感器采集的位置数据转换到所述单目深度相机的坐标系，并与所述单目深度相机采集的场景数据综合，得到所述多帧单目深度图像及所述相对位置初值；

所述利用所述里程传感器提供的位置数据计算得到相对位置初值引导所述多帧单目深度图像进行帧与帧之间的彩色点云配准，具体为：

将所述多帧单目深度图像均转化成彩色点云；

通过彩色点云配准算法进行帧与帧之间的彩色点云配准，其中所述点云配准算法使用具有联合优化目标的ICP迭代，优化的目标函数如下：

E(T)＝(1-δ)E_c(T)+δE_G(T)

其中，T是待优化的相对位姿，E_c和E_G分别是光度误差项和几何误差项，δ是经验决定的权重，几何项E_G测量的是点q到点p切平面的距离差：

其中，p,q分别是两个点云的对应匹配点，K是匹配点集合，n_p是点p的法线，颜色项E_C测量的是点q的颜色C(q)与其在点p的切平面的投影的颜色差：

其中，f(·)表示将点q投影到点p的切平面，C_p(·)表示点p切平面上连续定义的预计算函数；

所述基于所述相机位姿，进行室内三维建模，具体为：

基于所述相机位姿，利用TSDF算法得到三维建模结果，所述TSDF算法包括：

将空间划分为等大的三维网格，根据所述相机位姿和内参，将任意体素x投影到所述单目深度图像中，获取其在所述单目深度图像中的测量距离D_depth(x)，并计算任意体素x到所述单目深度相机的真实距离D_real(x)；定义tsdf_i(x)为对体素x的第i次的观测值，有：

其中，t为截断距离，根据TSDF定义，当D_depth(x)与D_real(x)的距离差小于t，tsdf_i(x)返回(-1,1)之间的值，否则返回±1；

根据下式：

其中，W_i(x)＝W_i-1(x)+w_i(x)，w_i(x)为对体素x的第i次的观测权重；

在每个所述相机位姿处对体素x的TSDF值进行更新；

当所有所述相机位姿更新结束，得到一个全局数据立方体，每一个体素x中的值代表该体素x到重建表面的距离，其中正负交界的位置就是全局数据立方体表面的位置，提取所有的表面得到三维建模结果。

2.根据权利要求1所述的基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，所述根据所述外参将所述里程传感器采集的位置数据转换到所述单目深度相机的坐标系，具体为：

所述单目深度相机以5帧每秒的帧率运行，所述里程传感器以200帧每秒的帧率运行；

根据所述单目深度相机和所述里程传感器发布数据的时间戳，为所述单目深度相机的每一帧匹配时间上最相近的所述里程传感器采集的位置数据作为这一帧的初始位姿，再根据所述外参将所述里程传感器采集的位置数据转换到所述单目深度相机的坐标系。

3.根据权利要求1所述的基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，所述彩色点云配准还包括对于是否配准正确进行判断，具体为：

对于彩色点云中的每个点，取其邻域点构建协方差矩阵，计算法向量，配准结果包含两个点云间的匹配点对，由此得到多个已知法向量的匹配点对；

约定某一点的法向量方向与所述单目深度相机到该点的向量夹角为负，若所有匹配点对中，法向量夹角小于5°的匹配点对的数量超过匹配点对总数的70％，则判断配准正确，反之为误配准。

4.根据权利要求1所述的基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，每个所述一段包括连续的40帧单目深度图像融合生成的彩色点云。

5.根据权利要求4所述的基于单目深度相机和里程传感器的室内三维建模方法，其特征在于，对每个所述一段进行首尾扩展，以使相邻段之间有10帧单目深度图像重叠。