CN107924571A - 从点云中对人耳进行三维重建 - Google Patents

Abstract

一种用于从图像序列中对对象进行三维重建的方法、一种计算机可读介质以及一种被配置成从图像序列对对象执行三维重建的设备(20、30)。点云生成器(23)从图像序列中生成(10)对象的点云。对准处理器(24)将对象的虚拟网格模型与点云粗对准(11)。变形处理器(25)通过粗对准的虚拟网格模型的弹性变形将对象的虚拟网格模型拟合(12)到点云。

Description

从点云中对人耳进行三维重建

技术领域

本解决方案涉及用于从图像序列中对对象进行三维重建的方法和设备。此外，该解决方案涉及一种计算机可读存储介质，其中存储有能够从一组图像进行三维重建的指令。具体而言，描述了一种使用点云的基于虚拟的网格的三维重建的解决方案。

背景技术

通用三维重建技术难以重建具有挑战性几何特性的对象，诸如难以用视觉系统捕获的裂缝、小特征和凹陷部分。因此，生成的网格通常受到伪影的影响。点云数据通常更可靠，但模型中将会出现孔洞。

具有挑战性几何特性的对象的一个示例是人耳。图1示出了人耳重建的示例。图1a)中描绘了原始耳朵的示例性捕获图像。图1b)示出了从这类捕获图像序列中生成的点云。图1c)示出了通过对点云应用泊松网格算法获得的重建。可以看出，即使点云很好地捕获了细节，应用泊松网格算法也会导致伪影。

文献[1]中描述了一种孔洞填充不完全点云数据的方法。该方法是基于几何形状基元，其考虑到基元的连接使用全局优化拟合。这主要适用于CAD系统。

文献[2]中描述了从扫描数据生成三维人体模型的方法。对准从扫描仪获得的多个点云，并且通过初始对准获得的一组三维数据点与来自点云的平均身体表面精确配准。然后，将现有的网格型身体模型模板拟合到该组三维数据点。该模板模型可以用来填充几何难以重建的缺失细节。

发明内容

期望有一种改进的解决方案用于从图像序列中对对象进行三维重建。

根据本原理，一种用于从图像序列中对对象进行三维重建的方法包括：

-从图像序列中生成对象的点云；

-将对象的虚拟网格模型与点云粗对准；以及

-通过粗对准的虚拟网格模型的弹性变换将对象的虚拟网格模型拟合到点云。

因此，一种计算机可读非暂时性存储介质已经在其中存储了指令，该指令能够从图像序列中对对象进行三维重建，其中该指令在由计算机执行时使该计算机：

-从图像序列中生成对象的点云；

-将对象的虚拟网格模型与点云粗对准；以及

-通过粗对准的虚拟网格模型的弹性变换将对象的虚拟网格模型拟合到点云。

在一个实施例中，一种用于从图像序列中对对象进行三维重建的设备包括：

-输入端，被配置成接收图像序列；

-点云生成器，被配置成从图像序列中生成对象的点云；

-对准处理器，被配置成将对象的虚拟网格模型与点云粗对准；以及

-变换处理器，被配置成通过粗对准的虚拟网格模型的弹性变换将对象的虚拟网格模型拟合到点云。

在另一实施例中，一种用于从图像序列中对对象进行三维重建的设备包括处理装置和存储有指令的存储器装置，该指令在由处理装置执行时使该设备：

-接收图像序列；

-从图像序列中生成对象的点云；

-将对象的虚拟网格模型与点云粗对准；以及

-通过粗对准的虚拟网格模型的弹性变换将对象的虚拟网格模型拟合到点云。

根据本原理，如果已知对象属于共享一些结构特性的一类对象，则执行用于三维重建的多步骤过程。首先生成点云，例如，使用最先进的多视点立体声算法。然后选择捕获已知结构特性的通用虚拟网格模型，并将其与点云数据粗对准。在粗对准之后，虚拟网格模型通过弹性变换拟合到点云。将最新的点云生成方法与三维非刚性网格到点云的拟合技术的这种组合可以提高所得三维模型的精度。与此同时，该解决方案可以全自动地或在很少的用户输入下以半自动的方式实施。

在一个实施例中，将虚拟网格模型与点云粗对准包括确定虚拟网格模型和点云中的对应平面，并将虚拟网格模型的平面与点云的平面对准。当要重建的对象具有大致平面的部分时，通过检测点云数据中的主平面并将网格模型的对应主平面与该平面对准，可以在有限的计算负担下完成粗对准。

在一个实施例中，将虚拟网格模型与点云粗对准还包括确定点云中的显著点，并基于显著点的位置来适配虚拟网格模型相对于点云的方位。显著点可以由用户输入指定来自动确定，并构成用于适配虚拟网格模型方位的有效解决方案。合适的显著点的一个示例是耳朵在耳轮上的顶点，即耳朵的外缘。

在一个实施例中，将虚拟网格模型与点云粗对准进一步包括确定点云中的特征线并且基于特征线适配虚拟网格模型的尺度和虚拟网格模型相对于点云的位置中的至少一个。例如，点云中的特征线是通过检测点云中的边缘来确定的。为此目的，可以使用与点云相关联的深度图。在点云数据中相对容易检测到特征线，例如边缘。因此，它们非常适合于调整虚拟网格模型相对于点云数据的尺度和位置。

在一个实施例中，通过粗对准的虚拟网格模型的弹性变形将对象的虚拟网格模型拟合到点云包括确定点云中的对象的边界线并且将虚拟网格模型的顶点朝向边界线吸引，该顶点位于由边界线限定的对象的外部。优选地，为了减少计算负担，使用点云和边界线的二维投影来确定虚拟网格模型的顶点是否位于对象的外部。在点云数据中相对容易检测到边界线。然而，可以要求用户指定附加约束条件，或者可以使用机器学习技术和数据库来确定这类附加约束条件。

附图说明

图1示出了人耳重建的示例；

图2是图示了从图像序列中进行三维重建的方法的简化流程图；

图3示意性地描绘了被配置成从图像序列中执行三维重建的设备的第一实施例；

图4示意性地示出了被配置成从图像序列中执行三维重建的设备的第二实施例；

图5描绘了用于三维重建的示例性图像序列；

图6示出了从捕获的图像序列获得的点云的表示；

图7描绘了包括耳朵的裁剪点云和示例性虚拟网格模型；

图8示出了具有标记的顶点的裁剪耳朵的示例；

图9图示了示例性裁剪点云的估计头部平面和估计耳平面；

图10示出了从点云提取的属于耳朵的点的示例；

图11图示了从点云中属于耳朵的点提取耳轮线；

图12示出了虚拟网格模型与裁剪点云的对准的示例性结果；

图13描绘了网格模型的选择的耳朵区域的示例；

图14示出了模型耳点在耳朵外部或内部的标记；

图15图示了耳轮线校正的停止标准；

图16示出了配准前的对准结果；以及

图17描绘了配准后的对准结果。

具体实施方式

为了更好地理解本发明的实施例的原理，现在将在以下参照附图的描述中更详细地解释。应该理解的是，本发明不限于这些示例性实施例，并且在不脱离所附权利要求限定的本发明的范围的情况下，还可以方便地组合和/或修改指定的特征。

在图2中描绘了图示从图像序列中进行三维重建的方法的流程图。首先从图像序列中生成10对象的点云。对象的虚拟网格模型然后与点云粗对准11。最后，通过粗对准的虚拟网格模型的弹性变形将对象的虚拟网格模型拟合12到点云上。

图3示意性地示出了从图像序列中进行三维重建的设备20的第一实施例。设备20具有用于例如从网络、相机或外部存储器接收图像序列的输入端21。同样可以从设备20的内部存储器22中获取图像序列。点云生成器23从图像序列中生成10对象的点云。或者，例如，经由输入端21或从内部存储器22获取对象的已有可用点云。对准处理器24将对象的虚拟网格模型与点云粗对准11。变形处理器25通过粗对准的虚拟网格模型的弹性变形将对象的虚拟网格模型拟合12到点云。然后最终的网格模型被存储在内部存储器22上，或者经由输出端26被提供给进一步处理的电路。它也可以被处理以便在显示器上输出，例如，经由输出端26连接到设备的显示器或设备中所包括的显示器27。优选地，设备20进一步具有用于接收用户输入的用户界面28。每个不同的单元23、24、25可以被具体实施为不同的处理器。当然，不同的单元23、24、25同样可以完全或部分地组合成单个单元或者实施为在处理器上运行的软件。而且，输入端21和输出端26同样可以组合成单个双向接口。

图3中示出了用于从图像序列中进行三维重建的设备30的第二实施例。设备30包括处理装置31和存储指令的存储器装置32，所述指令在被执行时使得设备接收图像序列，以从图像序列中生成10对象的点云，将对象的虚拟网格模型与点云粗对准11，并且通过粗对准的虚拟网格模型的弹性变形将对象的虚拟网格模型拟合12到点云。装置30进一步包括例如用于接收指令、用户输入或要处理的数据的输入端33，以及例如用于将处理结果提供给显示器、网络或外部存储器的输出端34。输入端33和输出端34可以同样组合成单个双向接口。

例如，处珲装置31可以是适于执行上述步骤的处理器。在实施例中，所述适配包括配置成执行这些步骤的处珲器。

本文使用的处理器可以包括一个或多个处理单元，诸如微处理器、数字信号处理器或其组合。

存储器装置32可以包括易失性和/或非易失性存储器区域以及诸如硬盘驱动器、DVD驱动器之类的存储装置。存储器的一部分是处理装置31可读的非暂时性程序存储装置，有形地具体实施可由处理装置31执行的指令程序，以根据本发明的原珲执行如本文所述的程序步骤。

在下面，根据本原理的解决方案将在人耳的三维重建的示例中更详细地解释。可靠的耳朵模型对于高质量的音频系统特别有意义，其创建了空间声源的幻觉以增强用户的沉浸感。创建空间音频源幻觉的一种方法是双耳音频。术语“双耳”通常用于试图向每只耳朵输送独立信号的系统。目的是创建两个尽可能靠近由声源对象产生的声音的信号。创建这类系统的瓶颈是每个人都有自己的耳朵/头部/肩部的形状。因此头部相关传递函数(HRTF)对于每个人是不同的。HRTF是表征耳朵如何从空间点接收声音以及哪些频率被衰减或没被衰减的响应。一般来说，不同的个体不能以同样的方式感知声源。因此，非个体化的HRTF双耳系统倾向于增加不同声源定位之间的混淆。对于这类系统，在创建个性化双耳系统之前，必须单独计算HRTF。在HRTF计算中，耳朵形状是人体最重要的部位，并且耳朵的三维模型的质量应该比头部和肩部的质量好。

遗憾的是，由于耳朵具有挑战性的几何形状，因此很难重建。详细的结构被认为是个体独一无二的，但是对于任何人来说，耳朵的总体结构是相同的。因此，对于根据本原理的三维重建来说，这是很好的候选。

重建假定耳朵的图像序列已经可用。在图5中描绘了用于三维重建的示例性图像序列。也可以使用相机位置和方位。例如，可以使用多视点立体声(MVS)方法(例如，文献[3]中描述的方法之一)来估计相机位置和方位。从这些数据中，使用例如文献[4]中Agisoft的PhotoScan工具或文献[5]中Autodesk的123DCatch来确定三维点云。图6给出了利用用于相机设置的PhotoScan工具获得的点云的表示，其中所有相机放置在同一条线上并且彼此非常靠近。模型中有一些孔洞，尤其是在阻隔区域(耳后和内侧)，但总的来说实现了好的模型。

根据本原理，重建开始于将虚拟网格模型与点云数据粗对准。为了简化耳朵模型在后一阶段整合到头部模型中，虚拟网格模型被制备成使得其也包括头部的一部分。头部的网格部分被裁剪，使得它包括粗糙的耳平面，其可以与点云的耳平面匹配。图7a)和图7b)中分别图示了示例性的包括耳朵的裁剪点云和虚拟网格模型。

虚拟网格模型的粗对准分为两个阶段。首先，模型与三维数据对准。然后将模型耳朵的方位和尺度适配成与数据粗匹配。第一阶段优选地从提取耳朵的边界框开始。这可以使用耳朵检测技术来自动完成，例如，文献[6]中描述的方法之一。或者，通过简单的用户交互来实现耳朵边界框提取。从用于重建耳朵的图像之一(其包含人的头部的横向视图)中，用户选择围绕耳朵的矩形。有利的是，用户也标记在耳轮上的耳朵顶点。这些简单的交互避免必须应用所涉及的耳朵检测技术。图8中描绘了具有标记的顶点的裁剪耳朵的示例。从裁剪区域，从点云中提取围绕耳朵的边界框。从该裁剪的点云中估计出两个平面，一个平面HP用于头部的点，一个平面EP用于耳朵上的点。为此目的，使用文献[1]中描述的RANSAC平面拟合算法的修改版本。适配是有益的，因为原始方法假设所有的点都在一个平面上，而在本情况下，该形状在正交方向上实质上偏离。图9示出了示例性裁剪点云的两个估计平面HP、EP。

耳平面主要用于计算将网格模型的耳平面与点云的平面对准所需的变形。该拟合使得能够基于耳朵方位(例如，从用户输入获得的)以及耳平面与头部平面的相对方位来简单地检测点云是示出左耳还是右耳。另外，该拟合进一步允许提取靠近耳平面的点云的那些点。图10中示出了从点云中提取的属于耳朵的点的一个示例。从这些点可以提取外耳轮线，这简化了估计模型的正确尺度和耳中心。为此，从点云的提取点获得耳点的深度图。该深度图通常是相当良好的，但它可能包含一些没有深度信息的像素。为了减少该数目，优选地对深度图进行过滤。例如，对于没有深度信息的每个像素，如果有足够的具有深度信息的周围像素，则可以从周围像素中计算中值。该中值然后将被用作相应像素的深度值。该中值过滤器的有用特性是它不会使深度图中的边缘平滑，这是受关注的信息。图11a)中示出了过滤后的深度图的示例。随后，如图11b)中所示，从过滤后的深度图中提取边缘。这可以使用Canny边缘检测器来完成。从检测到的边缘提取连接线。为了最终提取外耳轮，将左耳/右耳的右侧/左侧上的最长连接线作为起始线。这条线然后被降采样并且只采取最长的部分。只要由三个连续点限定的两个连续边缘之间的角度不超过阈值，就可以通过跟随该线来确定最长部分。图11c)中给出了示例，其中灰色方块表示所选择的线。最佳的降采样因子是通过最大化耳轮线的长度来找到的。作为起点，选择小的降采样因子，然后迭代地增加。只保留给出最长外耳轮的因子。该技术可以使可能会被一些异常值破坏的线“平滑”。进一步假定耳轮是平滑的并且不包含由角度阈值强加的连续边缘的方位的突然改变。取决于数据的质量，耳轮线可能断断续续。因此，第一个选择的线可能不会跨越整个耳轮边界。通过查找具有足够小的相对歪斜并足够接近的线之间的连接，可以连接几条线，如图11d)中所描绘。

利用迄今获得的信息可以计算粗对准。为此，模型耳平面与点云中的耳平面对准。然后通过耳平面中的旋转使模型耳朵的方位与点云耳朵的方位一致。为此目的，优选地使用用户选择的耳朵的顶部位置。在下一步中，估计耳朵的大小和中心。最后，模型被平移并相应地缩放。在图12中示出了将网格耳朵模型适配到裁剪的点云的示例性结果。

在粗对准之后，应用更精细的弹性变形以便将网格模型拟合到数据点。这是非刚性配准技术[7]的具体实例。由于耳朵大致是平面的，因此可以通过其二维结构很好地表征，弹性变形分两步进行。首先根据二维信息(诸如之前检测的耳轮线)对准耳朵。然后应用遵守二维条件的导向三维变形。这两个步骤将在下面更详细地解释。

为了模型制备，例如，由用户输入来选择网格模型的耳朵区域。该选择允许将所有的网格模型顶点分类为属于耳朵或属于头部。在图13中示出了网格模型的选择的耳朵区域的示例，其中耳朵区域由不透明网格来指示。

下面将参考图14解释网格模型的非刚性对准。对于非刚性对准，网格模型可以通过最小化变形能量而变形以匹配数据点，所述变形能量包括：

-模型顶点及其最近数据点的点对点能量；

-模型顶点、其最近数据点及其法线的点到面能量；

-全局刚性变形期限；以及

-局部刚性变形期限。

这允许弹性变形。然而，该能量适用于本解决方案，如下所述。应注意，只考虑了耳平面中所有点的二维位置。

为了利用耳轮线，提取的耳轮边界首先被上采样。针对每个模型耳点Z_ear，然后决定它是在二维平面中的耳朵投影的内部(n_i·(z_ear-P_δB(z_ear))＞0)还是外部(n_i·(z_ear-P_δB(Z_ear))＜0)，其中n_i是与最近耳轮数据点相邻的耳轮线元素的法线。

通过向变形能量增加额外能量，外部点被吸引朝向边界上的最近点。不允许模型点正交地移动到耳平面。这在图14中示出，其中图14a)描绘了模型耳点Z_ear被标记为“在外部”的情况，而图14b)描绘了模型耳点Z_ear被标记为“在内部”的情况。

可能发生的是提取的耳轮在顶部和底部上在耳内继续。这导致模型与数据的较差对准。为了防止这种情况，决策过程从先前识别的顶部耳点开始。当沿线移动时，检查二维点相对于前一点的x偏离。在该偏离变为负值之处切断耳轮，表明耳轮线向内转。这对于底点来说是以相似的方式进行。图15中图示了该停止标准。

除了可用的耳轮线之外，用户可能被要求将另外的二维界标标识为约束条件。在任何情况下，在二维中对准之后，执行完整的三维弹性变形。然而，与二维线和界标的对准如下保持。对于二维线约束条件，在二维对准之后选择“外部”耳模型顶点的子集，然后将其用作二维界标。对于每个界标，添加了将模型界标顶点吸引到二维界标位置的三维变形能量。这使得界标顶点在耳平面上的投影保持在适当位置。

在图16和图17中示出了示例性对准结果，其中图16描绘了配准前的结果，并且图17描绘了配准后的结果。在这两个图中，左侧部分示出了模型耳点和投影的耳轮线，而右侧部分描绘了叠加在点云上的网格耳模型。从图17中显而易见网格耳模型与裁剪点云之间的对准得到改进。在能量最小化之后，外部点与二维中的投影耳轮线良好地对准。网格在耳朵区域已经弹性变形而不影响头部区域。

引用文献

[1]Schnabel等人：“Efficient RANSAC for point-cloud shape detection”，Computer graphics forum，第26(2007)卷，第214到226页。

[2]GB 2 389 500 A。

[3]Seitz等人：“A Comparison and Evaluation of Multi-View StereoReconstruction Algorithms”，2006IEEE计算机学会计算机视觉和模式识别会议(CVPR)，第519到528页。

[4]PhotoScan软件：www.agisoft.com/

[5]123DCatch软件：www.123dapp.com/catch。

[6]Abaza等人：“A survey on ear biometrics ”，ACM计算调查(2013)，第45卷，第22条。

[7]Bouaziz等人：“Dynamic 2D/3D Registration”，Eurographics(教程)2014。

Claims (11)

1.一种用于从图像序列对对象进行三维重建的方法，所述方法包括：

-从所述图像序列生成(10)所述对象的点云；

-将所述对象的虚拟网格模型与所述点云粗对准(11)；以及

-通过对粗对准的虚拟网格模型进行弹性变形来将所述对象的所述虚拟网格模型拟合(12)到所述点云。

2.根据权利要求1所述的方法，其中将所述虚拟网格模型与所述点云粗对准(11)包括：确定所述虚拟网格模型和所述点云中的对应平面，并且将所述虚拟网格模型的平面与所述点云的平面对准。

3.根据权利要求2所述的方法，其中将所述虚拟网格模型与所述点云粗对准(11)还包括：确定所述点云中的显著点，并基于所述显著点的位置来适配所述虚拟网格模型相对于所述点云的方位。

4.根据权利要求2或3所述的方法，其中将所述虚拟网格模型与所述点云粗对准(11)还包括：确定所述点云中的特征线，并且基于所述特征线来适配所述虚拟网格模型的尺度和所述虚拟网格模型相对于所述点云的位置中的至少一个。

5.根据权利要求4所述的方法，其中确定所述点云中的所述特征线包括：检测所述点云中的边缘。

6.根据权利要求4所述的方法，其中检测所述点云中的边缘使用与所述点云相关联的深度图。

7.根据前述权利要求中任一项所述的方法，其中通过对粗对准的虚拟网格模型进行弹性变形来将所述对象的所述虚拟网格模型拟合(12)到所述点云包括：

-确定所述点云中的所述对象的边界线；以及

-将所述虚拟网格模型的顶点向所述边界线吸引，所述顶点位于由所述边界线限定的所述对象的外部。

8.根据权利要求7所述的方法，其中所述点云和所述边界线的二维投影用于确定所述虚拟网格模型的顶点是否位于所述对象的外部。

9.一种存储有指令的计算机可读存储介质，所述指令能够从图像序列对对象进行三维重建，其中所述指令在由计算机执行时使所述计算机：

-从所述图像序列生成(10)所述对象的点云；

-将所述对象的虚拟网格模型与所述点云粗对准(11)；以及

-通过对粗对准的虚拟网格模型进行弹性变形来将所述对象的虚拟网格模型拟合(12)到所述点云。

10.一种用于从图像序列对对象进行三维重建的设备(20)，所述设备(20)包括：

-输入端(21)，被配置为接收图像序列；

-点云生成器(23)，被配置为从所述图像序列生成(10)所述对象的点云；

-对准处理器(24)，被配置为将所述对象的虚拟网格模型与所述点云粗对准(11)；以及

-变形处理器(25)，被配置成通过对粗对准的虚拟网格模型进行弹性变形来将所述对象的所述虚拟网格模型拟合(12)到所述点云。

11.一种用于从图像序列对对象进行三维重建的设备(30)，所述设备(30)包括处理装置(31)和存储有指令的存储器装置(32)，所述指令在由所述处理装置(32)执行时使所述设备(30)：

-接收图像序列；

-从所述图像序列生成(10)所述对象的点云；

-将所述对象的虚拟网格模型与所述点云粗对准(11)；以及

-通过对粗对准的虚拟网格模型进行弹性变形将所述对象的所述虚拟网格模型拟合(12)到所述点云。