CN105469103A - 基于低质量grb-d数据的场景恢复方法及装置 - Google Patents

Abstract

本发明涉及三维建模技术领域，特别是涉及一种基于低质量GRB-D数据的场景恢复方法及装置。本发明提供的一种基于低质量GRB-D数据的场景恢复方法及装置，通过首先根据语义关系以及点云分类器恢复出场景中的主要物体模型，然后从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓检索方法来帮助恢复细小物体。这样极大提高了从低质量RGB-D图像序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下自动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。

Description

基于低质量GRB-D数据的场景恢复方法及装置

技术领域

本发明涉及三维建模技术领域，特别是涉及一种基于低质量GRB-D数据的场景恢复方法及装置。

背景技术

随着互联网上三维模型数量的增加(例如Google3DWarehouse等模型库)以及模型检索技术的发展，即使是没有任何专业技术背景的普通人也可以通过搜索和摆放模型来构建室内三维场景模型。尤其是在消费级深度相机(如MicrosoftKinect)普及后，室内场景点云采集的成本越来越低，数字化构建虚拟室内场景的需求变得越来越旺盛。

传统的三维重建方法，其目标是精确地恢复出物体的几何结构；而通过模型库中的虚拟三维模型来匹配点云的方法则更强调利用点云检索出语义上正确的、视觉上符合标准的模型。这种新兴的重建方法被成为语义重建。

现有的语义重建方法要么需要大量人工交互，比如“AninteractiveapproachtosemanticmodelingofindoorsceneswithanRGBDcamera(一种从RGBD相机中恢复室内场景的交互方法)”，需要人工的分割，选择和摆放模型；要么对采集设备的精度有着较高的要求，比如“Asearch-classifyapproachforclutteredindoorsceneunderstanding(一种基于“搜索-分类”模式的复杂室内场景理解)”。

发明内容

针对现有技术中需要大量人工交互以及对采集设备精度要求高的缺陷，本发明提供了一种基于低质量GRB-D数据的场景恢复方法及装置。

一方面，本发明提供一种基于低质量GRB-D数据的场景恢复方法，包括：

获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云；

根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器；

提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。

进一步地，在所述获取RGB-D图像的步骤之前，所述方法还包括：

对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系；

针对所述模型库中每一类别的物体模型分别训练出点云分类器。

进一步地，所述对模型库中的模型进行模拟现实世界场景的扰动的步骤，包括：

多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。

进一步地，所述将所述场景点云与所述模型库中的模型进行匹配的步骤，包括：

采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配；

否则，将所述场景点云分割成不可能属于同一物体的两个以上部分；

将分割后得到的场景点云重复执行上述步骤。

进一步地，所述将所述场景点云分割成不可能属于同一物体的两个以上部分的步骤，包括：

采用RANSAC方法检测所述场景点云中的平面，然后将检测得到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过分割。

另一方面，本发明还提供一种基于低质量GRB-D数据的场景恢复装置，包括：

图像处理模块，用于获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云；

点云匹配模块，用于根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器；

轮廓匹配模块，用于提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。

进一步地，所述装置还包括：

语义关系模块，用于对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系；

点云分类器模块，用于针对所述模型库中每一类别的物体模型分别训练出点云分类器。

进一步地，所述语义关系模块具体用于：

多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。

进一步地，所述点云匹配模块，具体用于：

根据语义关系以及点云分类器，采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配；

否则，将所述场景点云分割成不可能属于同一物体的两个以上部分；

将分割后得到的场景点云重复执行上述步骤。

进一步地，所述点云匹配模块，还用于：

采用RANSAC方法检测所述场景点云中的平面，然后将检测得到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过分割。

本发明提供的一种基于低质量GRB-D数据的场景恢复方法及装置，通过首先根据语义关系以及点云分类器恢复出场景中的主要物体模型，然后从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓检索方法来帮助恢复细小物体。这样极大提高了从低质量RGB-D图像序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下自动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明一个实施例中一种基于低质量GRB-D数据的场景恢复方法的流程示意图；

图2是本发明一个实施例中一种基于低质量GRB-D数据的场景恢复方法的过程示意图；

图3是本发明一个实施例中一种基于低质量GRB-D数据的场景恢复方法的效果示意图；

图4是本发明一个实施例中一种基于低质量GRB-D数据的场景恢复装置的结构示意图。

具体实施方式

现结合附图和实施例对本发明技术方案作进一步详细阐述。

图1示出了本实施例中一种基于低质量GRB-D数据的场景恢复方法的流程示意图，如图1所示，本实施例提供的一种基于低质量GRB-D数据的场景恢复方法，包括：

S1，获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云。

举例来说，对于一组目标场景的RGB-D图像，既包括RGB(彩色)图像信息，也包括Depth(深度)图像信息，根据图像的Depth图像信息可以通过计算机将这组图像过分割后拼接成一个完整的场景点云。

S2，根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器。

S3，提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。

在具体实施过程中，对于场景中诸如桌子与椅子、写字台与电脑、沙发与茶几或者床与床头柜之类的大件物体，根据语义关系以及点云分类器可以很容易的在所述模型库中匹配找到相应的物体模型。

但是，由于消费级深度相机采集的深度信息质量较差，深度信息在一些具有反光材质的物体表面常常缺失，分辨率也不足以描述一些小物体，如鼠标、铅笔或小勺等。为此，需要从对应的彩色图像提取出小物体的轮廓，通过轮廓检索方法来帮助恢复细小物体。

优选的，在所述获取RGB-D图像的步骤之前，所述方法还包括：

S01，对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系；

S02，针对所述模型库中每一类别的物体模型分别训练出点云分类器。

事实上，在现实世界场景中的物体之间总是存在着很明显的语义关系，例如，椅子经常出现在桌子周围，笔记本经常放置在写字台上等，而充分利用这些语义关系则可以极大的提高场景中模型的检索正确率。

同时，由于大部分的人造场景模型中物体模型总是跟坐标轴对齐的，导致人造场景模型中的物体大部分都是互相平行或垂直的，不符合现实世界中物体之间位置关系。为此，我们首先需要对模型库中的模型进行模拟现实世界场景的扰动。

如图2所示，是采用本实施例上述方法来实现的一个室内场景恢复的具体过程示意图。

进一步地，在所述步骤S01中，所述对模型库中的模型进行模拟现实世界场景的扰动的步骤，包括：多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。

在具体实施过程中，为了能够使得所述模型库中的物体模型位置关系更接近现实世界场景，可以采用对小物体随机次数迭代更新其位置及其方向的方法进行扰动，这是由于在现实世界场景中，大件的物体位置一般很少发生移动，而小件物体则会经常发生随意的移动或转向。

举例来说，对于一张餐桌与四把椅子的位置关系而言，有可能其中两把椅子靠紧餐桌摆放，另外两把则离餐桌有一定距离，同时对于离餐桌有一定距离的两把椅子其中一把有可能是正对的餐桌摆放，另一把则斜对着餐桌摆放。

并且，从扰动后的模型中提取物体之间的语义关系，采用贝叶斯网络模型表示。

优选的，由于根据所述RGB-D图像获得的场景点云往往是整个场景的整体点云，而在模型库中则为具体单个物体的模型，为了能够准确的找到视觉上逼真的物体模型，则需要对场景点云不断进行匹配、分割、再匹配的操作。所述将所述场景点云与所述模型库中的模型进行匹配方法的步骤，包括：

采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配；

否则，将所述场景点云分割成不可能属于同一物体的两个以上部分；

将分割后得到的场景点云重复执行上述步骤。

举例来说，假如目标场景点云为一张餐桌与四把椅子，在进行第一次匹配后没有找到准确的模型，则将点云分割成一把椅子点云和一张餐桌与三把椅子点云两部分，这样在第二次匹配中即可找到一把椅子的模型相匹配。重复执行上述步骤则最终可将得到一张餐桌与四把椅子的场景模型。

为了能够简化场景点云的分割，本实施例还提供了一种场景点云的分割方法，具体包括：

采用RANSAC方法检测所述场景点云中的平面，然后将检测得到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过分割。

例如在上述一张餐桌与四把椅子的场景点云中，首先采用RANSAC方法检测所述场景点云中的平面，得到最符合条件的平面即是地面，然后将该地面删除，删除地面之后餐桌与四把椅子之间由于没有共同的连通部分，则独立成为五个不同的个体，因此很容易便可得到一张餐桌点云与每把椅子的场景点云。

如图3所示为采用本实施例提供的一种基于低质量GRB-D数据的场景恢复方法获得的室内场景模型的效果示意图

本实施例提供的一种基于低质量GRB-D数据的场景恢复方法，通过首先根据语义关系以及点云分类器恢复出场景中的主要物体模型，然后从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓检索方法来帮助恢复细小物体。这样极大提高了从低质量RGB-D图像序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下自动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。

另一方面，如图4所示，本实施例提供的一种基于低质量GRB-D数据的场景恢复装置，包括：

图像处理模块101，用于获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云；

点云匹配模块102，用于根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器；

轮廓匹配模块103，用于提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。

优选的，所述装置还包括：

语义关系模块，用于对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系；

点云分类器模块，用于针对所述模型库中每一类别的物体模型分别训练出点云分类器。

进一步地，所述语义关系模块具体用于：

多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。

进一步地，所述点云匹配模块，具体用于：

根据语义关系以及点云分类器，采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配；

否则，将所述场景点云分割成不可能属于同一物体的两个以上部分；

将分割后得到的场景点云重复执行上述步骤。

进一步地，所述点云匹配模块，还用于：

采用RANSAC方法检测所述场景点云中的平面，然后将检测得到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过分割。

本发明提供的一种基于低质量GRB-D数据的场景恢复装置，首先通过点云匹配模块，根据语义关系以及点云分类器恢复出场景中的主要物体模型；然后通过轮廓匹配模块，从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓检索方法来帮助恢复细小物体。这样极大提高了从低质量RGB-D图像序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下自动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于低质量GRB-D数据的场景恢复方法，其特征在于，所述方法包括：

获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云；

根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器；

提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。

2.根据权利要求1所述的方法，其特征在于，在所述获取RGB-D图像的步骤之前，所述方法还包括：

对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系；

针对所述模型库中每一类别的物体模型分别训练出点云分类器。

3.根据权利要求2所述的方法，其特征在于，所述对模型库中的模型进行模拟现实世界场景的扰动的步骤，包括：

多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述场景点云与所述模型库中的模型进行匹配的步骤，包括：

采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配；

否则，将所述场景点云分割成不可能属于同一物体的两个以上部分；

将分割后得到的场景点云重复执行上述步骤。

5.根据权利要求4所述的方法，其特征在于，所述将所述场景点云分割成不可能属于同一物体的两个以上部分的步骤，包括：

采用RANSAC方法检测所述场景点云中的平面，然后将检测得到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过分割。

6.一种基于低质量GRB-D数据的场景恢复装置，其特征在于，所述装置包括：

图像处理模块，用于获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云；

点云匹配模块，用于根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器；

轮廓匹配模块，用于提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

语义关系模块，用于对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系；

点云分类器模块，用于针对所述模型库中每一类别的物体模型分别训练出点云分类器。

8.根据权利要求7所述的装置，其特征在于，所述语义关系模块具体用于：

多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述点云匹配模块，具体用于：

根据语义关系以及点云分类器，采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配；

否则，将所述场景点云分割成不可能属于同一物体的两个以上部分；

将分割后得到的场景点云重复执行上述步骤。

10.根据权利要求9所述的装置，其特征在于，所述点云匹配模块，还用于：

采用RANSAC方法检测所述场景点云中的平面，然后将检测得到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过分割。