CN111727022B - 用于将患者的牙列的三维模型与患者的面部图像对准的方法 - Google Patents

Abstract

一种用于将患者的牙列的三维模型(6)与由照相机(3)记录的患者的面部图像对准的计算机实现的方法，所述图像包括嘴部开口，包括：估计照相机(3)相对于患者面部的定位，获取患者的牙列的三维模型(6)，使用虚拟照相机(8)渲染患者的牙列的二维图像(7)，在由照相机(3)记录的患者的图像(1)的嘴部开口中的牙列区域和渲染的图像(7)中的牙列区域中执行特征检测，计算由照相机(3)拍摄的图像的检测到的特征图像与渲染图像的检测到的特征图像之间的偏差的度量，改变虚拟照相机(8)的定位。

Description

用于将患者的牙列的三维模型与患者的面部图像对准的方法

技术领域

本发明涉及一种用于将患者的牙列的三维模型与由照相机记录的患者的面部图像对准的计算机实现的方法，该图像包括嘴部开口，该方法包括以下步骤：估计在图像记录期间照相机相对于患者面部的定位，以及使用虚拟照相机处理该牙列的三维模型数据来渲染牙列的二维图像，其中该虚拟照相机使用照相机的估计定位来操作。

背景技术

患者的牙列的三维模型是该牙列的数字三维模型，其被生成为代表在计划进行牙齿治疗或任何其他牙齿修改之前的牙列的当前状态的基础。因此，牙列的三维模型对应于由照相机记录的嘴部开口图像中的牙列。牙列的三维模型通常是通过对患者的口腔进行扫描和/或光技术采集，或通过扫描在印模托盘中浇铸复合材料中作为印模的牙列的形状而获得的。

本发明可以用于牙齿增强现实应用中以预览牙齿状况，这是对牙列的当前状态的任何修改的结果，例如，在牙齿位置校正装置就位或包括对牙列的当前状态的任何其他修改的计划好的牙齿治疗之后。在本申请中，将患者的牙列的修改的状态(例如，在牙齿治疗之后)称为牙齿状况。可以使用计算机实现的牙齿治疗设计工具来计划牙齿治疗，该工具从牙列的三维模型开始，然后在治疗之后创建牙齿状况的修改的三维模型。另一个选择是创建牙列的物理模型，并对其进行任何牙齿更改，以获得计划的牙齿状况的物理模型，然后对其进行扫描。计划的牙齿状况可以包括一个或多个新的牙齿假体或其他牙齿修复物，或者由于例如通过使用牙齿矫正器矫正牙齿位置而导致的矫正的牙齿布置。在本申请意义上的牙齿状况还包括当诸如牙齿矫正器和保持器的位置校正装置在牙齿上就位时，在进行牙齿位置校正治疗期间患者的牙列的状态。

对于牙医和患者而言，令其感兴趣的是获得具有修改的牙齿状况的面部外观的视觉印象，即在患者的面部图像中可视化修改的牙齿状况。而且，在决定进行这种治疗之前，在包括诸如牙齿矫正器和保持器的牙齿位置校正装置的牙齿治疗期间的外观对于患者而言可能是重要的。为此，通过牙齿治疗修改的牙列的虚拟预览(虚拟模型)和/或佩戴矫正器/保持器的患者的预览对牙医很有帮助，并且也可以在交互式修改治疗计划的疗程中使用来获得最佳的美学效果。

在该方面，已经在WO 2017/085160 A1中提出了在由照相机拍摄的图像中覆盖牙齿状况的三维模型，其中，在所描述的方法中，生物特征识别面部参考点在由照相机记录的图像中被自动识别，并且对识别出的面部点进行分析，以确定图像中患者头部的方向，并识别图像中嘴部开口的区域。然后对三维模型进行定向和对准，以使其拟合到图像中患者面部的确定方向，并将其覆盖在图像的嘴部开口中。没有公开如何从三维模型生成牙齿状况的二维图像的细节。在实践中，该方法允许进行粗略对准，但虚拟牙列的位置不是非常精确且稳健。

形成权利要求1的前序部分的基础的US 9,775,491 B2公开了一种用于将牙齿状况的三维模型与由照相机记录的患者的面部图像对准的计算机实现的方法。在该方法中，获得了患者的口腔的三维模型。通过施加牙齿修复物在牙齿治疗计划中修改此三维模型，以在施加牙齿修复物之后获得患者牙列的牙齿状况的三维模型。获得包括嘴部开口的患者面部的二维图像。然后，估计记录图像的照相机相对于患者的牙列的定位。在本申请的上下文中，“照相机的定位”包括空间中的三维位置x，y，z以及照相机相对于患者面部的角度定向。使用所估计的定位的虚拟照相机处理牙齿状况的三维模型以获得二维图像，并且选择了牙齿状况的三维模型的对于虚拟照相机是可见的一部分。将由虚拟照相机渲染的图像覆盖并显示在由照相机拍摄的图像中。已经发现，估计照相机的定位通常不会导致令人满意的可视化结果，因为虚拟照相机的定位与真实照相机的定位的已经很小的偏差会导致由照相机记录的图像的嘴部开口中牙列的不真实的可视化效果。牙齿状况的渲染图像的定向与由照相机拍摄的图像中的口腔的定向的已经很小的偏差可能会导致合成图像中的尴尬美学印象。因此，期望能够将患者的牙列的三维模型与患者的面部图像精确对准，该图像显示了在嘴部开口中的牙列的一部分；这样的对准然后还可以用于以正确定位的方式在患者的面部图像中可视化从牙列的三维模型中导出的修改的牙齿状况。

发明内容

本发明的目的是改进一种用于将患者的牙列的三维模型相对于由照相机拍摄的包括嘴部开口的患者面部的二维图像进行对准的方法，其确保精确且可靠的对准。

该目的通过包括权利要求1的特征的计算机实现的方法来实现。本发明的优选实施例在从属权利要求中列出。

在用于将患者的牙列的三维模型与患者的面部图像对准的计算机实现的方法中，获取患者的牙列的三维模型。该模型是通过之前扫描患者的口腔或扫描填充有压模材料的压模托盘所获得的牙列的压模而创建的。当例如通过添加人造牙齿或其他牙齿修复物或通过以例如通过校正牙齿位置的其他方式修改牙齿状况，形成用于开发数字化牙齿治疗计划的基础时，无论如何都已经存在了患者的牙列的这种三维模型。

然后，由虚拟照相机将牙列的三维模型渲染为牙列的二维图像，其中虚拟照相机在假设估计的定位被估计为与真实照相机在记录患者的面部图像时的定位一致的情况下操作。

然后通过在相应的图像中执行边缘检测和/或基于颜色的牙齿似然性确定来进行相应图像中嘴部开口内侧的牙列区域中的特征检测，单独地处理患者的面部图像(该图像不必包括整个面部，嘴部开口的区域就足够了)以及渲染的图像。对于检测到的特征(边缘或牙齿似然性)或对于每个检测到的特征(边缘和牙齿似然性)，这将产生两个检测到的特征图像(一个来自照相机图像，并且另一个来自渲染的图像)，其然后用于计算检测到的特征图像之间的偏差的度量。理想情况下，如果在记录面部图像时估计的定位应该已经与照相机的真实定位一致，则偏差的度量将为零或非常小，因为检测到的特征(边缘或牙齿似然性模式)将在两个图像中处于相同的位置，因此在两个图像中检测到的特征不会有偏差。然而，实际上，当使用虚拟照相机的估计定位时，开始时会有一定的偏差。为此，该方法持续将虚拟照相机的定位改变为新的估计定位，并重复使用具有新的估计位置的虚拟照相机生成新的渲染图像的先前步骤，并计算在该新定位中的偏差的度量。然后，在优化过程中迭代地重复这些步骤：在新的估计定位处渲染新的二维图像，在新渲染的图像中进行特征检测，以及计算偏差的度量，以最小化偏差度量，从而确定虚拟照相机的最佳拟合定位。

存在许多迭代的数值优化算法，其适合在计算机实现的方法中用于优化虚拟照相机的定位，以便在记录患者的面部图像时给出对于真实照相机的定位的最佳拟合。一种选择是使用梯度下降优化算法。由于该领域的技术人员熟悉这种编程的优化算法，因此在该方面不再赘述。

还清楚的是，代替最小化偏差度量，可以最大化与偏差度量相反的量，该量可以被称为匹配分数。无论是偏差(或误差)度量最小化还是匹配分数最大化，仅是同一过程的不同术语的指定。

通过基于颜色的牙齿似然性确定的特征检测是通过确定图形元素的实际颜色值对牙齿的期望颜色范围拟合的程度来将牙齿似然性值(从0到1，或0到100％)分配给图像的每个图形元素。例如，如果图形元素的颜色在牙齿的期望概率分布的核心区域内，则分配值为1的基于颜色的牙齿似然性值，而对于所有其他颜色值，颜色值与期望值之间距离越远，所分配的牙齿似然性越小。有效地，这将1分配给确实属于牙齿的图像中的绝大多数图形元素，将较小的值或0分配给所有其他图形元素，以使得基于颜色的牙齿似然性的检测到的特征图像实际上是黑白牙齿形状图像，属于牙齿的图形元素具有为1或接近1的值，并且牙齿以外的图形元素是0或接近0。通过确定其在所分析的颜色空间中的牙齿颜色概率分布中的位置，还可以将牙齿似然性直接分配给图形元素的颜色值。

在优选实施例中，通过检测患者的面部图像中的内唇线(可见的嘴部内部区域的边界线)，并通过进一步分析仅检测到的唇线内的区域，将牙列区域中的特征检测限制在患者的面部图像的嘴部开口。唇线也覆盖在由牙列的三维模型渲染的二维图像中，并且通过所述特征检测仅分析唇线内侧的区域。这确保了在优化过程中仅利用各个图像中的牙列的特征来找到虚拟照相机的最佳拟合定位，而不是患者面部的任何其他特征。

在优选实施例中，通过仅执行边缘检测来在两个图像中执行特征检测。边缘检测被认为是一种用于人工对象的图像分析方法，该人工对象通常具有数个轮廓分明的整齐的边缘。结合本发明，已经发现可以在人的牙列图像中也识别边缘，其中，在相邻牙齿之间、在牙齿的切缘处、以及在牙龈和牙齿之间的边界线处存在边缘。可以通过图像处理领域中已知的Sobel滤波器或Laplace滤波器执行边缘检测。

在优选实施例中，基于检测到的边缘的平均方向将检测到的边缘划分为水平边缘和垂直边缘，其中，水平方向和垂直方向彼此垂直并且限定图像坐标系。可以基于检测到的边缘的平均方向是更接近于水平方向还是垂直方向来将它们划分为水平边缘和垂直边缘。在优选实施例中，可以在计算由照相机拍摄的图像中的边缘与渲染图像中的边缘的偏差的度量时，以不同的权重处理垂直边缘和水平边缘。此外，在计算偏差的度量时，属于一个图形中的水平边缘但属于另一图形中的垂直边缘(反之亦然)的图形元素的边缘特征不应抵消而是导致该图形元素对偏差的度量的贡献很大。

作为纯边缘检测方法的替代，可以通过执行边缘检测和基于颜色的牙齿似然性确定来在本发明的方法中进行特征检测，其中根据检测到的边缘图像的差异以及根据检测到的牙齿似然性图像的差异，计算出偏差的组合度量，该组合度量然后在迭代最小化过程中被最小化，以找到最佳的拟合定位。例如，对于检测到的边缘图像和基于颜色的牙齿似然性图像，可以首先分别确定两个偏差度量，将其组合成单个偏差度量。

在优选实施例中，通过在由照相机记录的患者面部图像的检测到的特征图像和渲染图像的检测到的特征图像之间形成差值图像，并且通过对差值图像的所有图形元素上的差值图像的绝对值进行积分来计算偏差的度量。如果检测到的特征处于各个图像中的相同位置，则各个检测到的特征在差值图像中彼此抵消，以使得在理想匹配的情况下，差值图像中所有图形元素的强度的绝对值之和为零。

本发明还提供了一种用于在由照相机记录的患者面部图像中可视化来自牙齿状况的三维模型的二维图像的计算机实现的方法，该二维图像通常是通过修改牙齿治疗或任何其他牙齿修改从患者的牙列的三维模型中获得的，该图像包括患者的嘴部开口，其中通过执行根据本发明的上述方法将患者牙列的牙齿状况的三维模型与由照相机记录的患者的面部图像对准。然后，通过使用虚拟照相机的最佳拟合定位将虚拟照相机应用于牙齿状况的三维模型数据来渲染牙齿状况的二维图像，并将渲染的图像覆盖在由照相机拍摄的患者的面部图像中。然后，在显示器上显示具有覆盖的牙齿状况二维图像的由照相机拍摄的患者面部的合成图像。

在优选实施例中，在覆盖牙齿状况的渲染的二维图像之前，由照相机拍摄的患者面部图像的唇线内的区域由口腔背景代替，该口腔背景由上下牙弓之间的区域中的图形元素生成。例如，如果牙齿状况包括缩短的牙齿，则在覆盖牙齿状况的渲染的二维图像之前的中性背景的这种生成是重要的，在牙齿状况包括缩短的牙齿的情况下，如果照相机图像的唇线内的区域在覆盖牙齿状况的渲染的二维图像之前未被口腔背景替代，则由照相机拍摄的图像中的“旧”牙齿在覆盖之后仍然可见。

根据本发明，还提供了一种用于在由照相机记录的患者面部图像中可视化从牙齿状况的三维模型数据渲染的患者的牙齿状况的二维图像的系统，所述图像包括嘴部开口，所述系统包括：照相机；显示器；以及计算装置，其可操作地连接至所述照相机和所述显示器，并且被配置为执行如上限定的用于在由照相机记录的患者面部图像中可视化从牙齿状况的三维模型获得的二维图像的方法。

可以针对单个图像执行根据本发明的方法。可替代地，也可以针对由照相机记录的视频的后续视频帧执行该方法。在后一种情况下，患者可以相对于照相机移动他/她的头部，其中对于每个视频帧，当面部移动(转动)时，可以在患者的面部图像中显示牙齿状况的渲染的二维图像，并且在患者面部图像的嘴部开口内的正确定位中针对图像序列中的每个图像显示了牙齿状况的渲染图像。该方法可以实时执行，以使得患者可以相对于照相机转动面部，并且可以同时在显示器上看到他的面部，其中牙齿状况的渲染图像覆盖在嘴部开口中并针对每个观察点以适当方式定位。

例如，该方法可以在平板计算机上实现，该平板计算机通常还配备有照相机，以使得患者可以握住该平板计算机以允许照相机记录面部，而患者可以看着他/她的脸在平板计算机的显示器上的图形，并且可以相对于平板计算机转动他的面部，以根据需要从所有观察方向可视化嘴部开口内的牙齿状况的渲染二维图像。

附图说明

现在将结合附图参考示例来描述本发明，其中：

图1示出了包括患者的嘴部区域的图像，所记录的图像的嘴部开口区域的检测到的边缘图像，以及由虚拟照相机渲染的嘴部区域的图像、在渲染图像中检测到的边缘、以及由照相机记录的图像中检测到的边缘与在渲染图像中检测到的相应边缘的差异的三次迭代，以及三次迭代的偏差的相应度量的图示；

图2示出了与图1类似的图示，并且除了检测到的边缘图像之外还包括基于颜色的牙齿似然性图像，由照相机记录的图像和由虚拟照相机渲染的图像的牙齿似然性图像的差异；以及

图3示出了包括显示器和用于记录患者的嘴部开口区域的照相机的计算装置的图示，以及患者的牙列的三维模型的示意图，其中，嘴部开口区域内的牙齿状况的二维图像从所述三维模型中渲染。

具体实施方式

现在将首先参考图3总体上描述本发明，图3示出了在执行本发明的方法时使用的组件和元素的示意图。本发明是一种用于将患者的牙列的三维模型与由照相机记录的患者的面部图像对准的计算机实现的方法。第一个重要元素是患者的牙列6的三维模型。这种牙列的三维模型是通过对患者的口腔进行扫描和/或光技术采集，或通过扫描在印模托盘中的塑料材料中作为印模的牙列的形状而获得的。在图3的示意图中，患者的牙齿状况的三维模型由上颌牙列6表示。

从图3的示意图中可以看出，连接到诸如平板计算机的计算装置2的照相机3记录了包括嘴部开口的患者的面部图像。虚拟照相机8在计算装置中使用，并作用于三维模型6上以渲染患者的牙列的二维图像7，其中真实照相机3相对于患者面部的估计位置用作虚拟照相机8的位置的起点。由于照相机3相对于面部的估计位置将偏离真实照相机3相对于面部的真实位置，因此，将会存在由照相机3记录的图像1与由虚拟照相机8渲染的图像7之间的特定偏差。

如下面将更详细解释的，虚拟照相机8的定位在迭代优化过程中变化，该过程一方面利用由照相机记录的图像的嘴部开口中的牙列的检测到的特征，并且另一方面利用虚拟照相机渲染的牙列的三维模型的图像中的检测到的特征。计算各个检测到的特征图像之间的偏差或误差的度量，并在迭代优化过程中将其连续地最小化，以确定虚拟照相机的最佳拟合定位。然后，可以将虚拟照相机的这种最佳拟合定位用于牙列的修改的三维模型，该模型例如通过计划的牙齿治疗进行修改，并且在本申请中被称为牙齿状况的三维模型。以这种方式，从患者的牙列的三维模型中得出并且可以包括替代的人造牙、牙齿修复物或矫正的牙齿位置的牙齿状况的三维模型可以被正确地可视化定位在显示器上所显示的患者的面部图像的嘴部开口中。

图1中示出了在牙列的图像中的特征检测的示例，其中在牙列的相应图像中检测到边缘。在图1中，在左侧的第一行中示出了包括患者的嘴部开口的图像。在该图像中，检测到唇线，并将唇线内侧的区域选择作为嘴部开口区域，其是在该程序中进一步分析的唯一区域。在唇线内侧的嘴部开口的该图像区域中，执行边缘检测，这产生显示在图1左侧顶部的由照相机记录的图像的下方的图形中的检测到的边缘图像。检测到的边缘主要是相邻牙齿之间的边界线、切缘、和牙齿基部与牙龈相交的边界线。图1的第二列在顶部显示了渲染图像，其通过在估计的定位处将虚拟照相机应用于患者的牙列的三维模型而创建，估计的定位是在记录在顶部第一列中患者的嘴部开口的图像时照相机3具有的定位。提取在由照相机记录的图像中检测到的唇线，并将其转移到渲染图像上并覆盖在其中，以选择渲染图像中的牙列的嘴部开口区域。在该所选择的嘴部开口区域中，以与由照相机所记录的图像相同的方式进行边缘检测，这产生显示在第二行的第二列中的检测到的边缘图像。

为了确定在第一列和第二列之间的第二行中的检测到的边缘之间的偏差的度量，形成在由照相机记录的图像的检测到的边缘图像与渲染图像的检测到的边缘图像之间的差值图像，其在第三行的第二列中显示。可以看出存在一些偏差，因为由于照相机的估计定位的不准确性，在两个检测到的边缘图像中未完全以相同的方式定位检测到的边缘。从差值图像计算偏差的度量。在该示例中，偏差的度量是通过对差值图像中所有图形元素的强度的绝对值进行积分来计算的。这种偏差的度量在图1中被指定为误差，并在图1的最低行中以条形图表示。

现在，数值优化过程将虚拟照相机的定位在第一次迭代中改变为新的估计定位。然后，使用新的估计定位从牙列的三维模型中渲染相应的图像、在渲染的图像中进行边缘检测、以及形成在由照相机记录的图像中检测到的边缘与第一次迭代的渲染图像中检测到的边缘之间的差值图像的过程如图1的第三列所示被重复。从第三行可以看出，由照相机拍摄的图像的检测到的边缘图像与渲染图像的检测到的边缘图像之间的差值图像示出了降低的强度，因为各个图像中检测到的边缘已经更好地吻合了。应该注意的是，该示意图是高度简化的，实际上将花费更高次数的迭代；例如如果使用梯度下降优化算法，则如本领域所公知的，定位变量被改变以数值地确定已经需要多次迭代的梯度。

在图1中，在最后一列中显示了第二次迭代。在第三行的差值图像中，积分强度进一步降低，这意味着偏差的度量也同样降低，并且如最低行中所指示的，与估计的初始位置处的误差相比已经显著减小。重复该数值优化过程，直到进一步的迭代没有进一步减小给定或预定的计算精度内的偏差度量。对应于最小化的偏差度量的虚拟照相机的定位被存储为虚拟照相机的最佳拟合定位。

图2是用于迭代优化过程的进一步图示，该迭代优化过程优化虚拟照相机的定位以拟合到记录包括患者的嘴部开口的真实图像的照相机的定位。上面三行显示与图1所示相同的边缘检测图像、以及由照相机记录的图像中与迭代渲染的图像中检测到的边缘之间的差值图像。另外，第四行显示了唇线内的嘴部开口中的各个图像中基于颜色的牙齿似然性确定的结果。在该基于颜色的牙齿似然性确定中，针对每个图形元素的颜色值确定其属于牙齿表面元素的概率。例如，如果可获得用于期望的牙齿颜色值的归一化概率密度函数，则可以直接从颜色值在概率分布中的位置获取该概率。以这种方式，牙齿的颜色与牙龈的颜色和口腔的背景的颜色不同。结果，图像中可见的牙齿保持为黑色或主要是黑色的对象，图像中几乎没有灰色元素。在第五行中，示出了由照相机记录的图像的检测到的基于颜色的牙齿似然性图像与渲染图像的检测到的基于颜色的牙齿似然性图像之间的差值图像。同样，基于颜色的牙齿似然性图像之间的差异在优化过程的连续迭代中变得更不明显。然后可以例如通过如上所述对差值图像的所有图形元素上的强度的绝对值进行积分，将偏差的度量形成为从检测到的边缘的差异得到的偏差的第一度量。可以将相同的程序应用于基于颜色的牙齿似然性图像的差值图像以进行偏差的第二度量，其中然后可以将第一和第二度量偏差组合成在图2的最后一行中指定为误差的单个偏差的度量。

以这种方式，当记录患者的面部图像时，照相机3的定位可以通过渲染患者的牙列的三维模型的虚拟照相机的相应定位来近似以达到最佳对准。然后，可以在其他步骤中使用虚拟照相机的最佳拟合定位。从代表患者牙列的当前状态的牙列的三维模型开始，可以使用牙齿状况的修改的三维模型，该模型不同于牙齿状况的三维模型，例如，以反映可能的牙齿治疗结果。包括有可能的牙齿治疗之后的牙齿状况的三维模型可以例如具有一个或多个代替各自的原始牙齿的人造牙齿或任何其他牙齿修复物。牙齿状况的另一个示例可以是使用牙齿矫正器进行牙齿定位矫正治疗后的所产生的校正牙列。牙齿状况的另一示例可以基于原始牙列，但是包括牙齿位置校正装置，例如在牙列的牙齿上就位的牙齿矫正器和保持器。代表通过牙齿治疗进行任何修改之前的原始状态的牙齿状况的三维模型被保留以进一步与本发明结合使用，而经过治疗后的牙齿状况的修改的三维模型单独保留以进一步使用。修改的三维模型被称为患者的牙齿状况的三维模型。然后，可以使用先前确定的照相机的最佳拟合定位将虚拟照相机应用于牙齿状况的该三维模型，以渲染牙齿状况的图像。可以将该渲染的图像插入或覆盖在由照相机拍摄的图像的嘴部开口区域中，以提供牙齿状况的可视化。

下面给出一个示例，说明如何从检测到的边缘图像的差值图像中计算偏差E的度量，作为差值图像中剩余的强度的积分绝对值：

E：误差(偏差的度量)

i：像素

n：像素数

e(X)：图像X的边缘图像

P：由照相机记录的图像

R：渲染的图像。

除了考虑水平和垂直边缘，还考虑基于颜色的牙齿似然性值的改进的偏差度量可以计算如下：

其中：

w：权重

e_h(X)：图像X的水平边缘图像(P或R)

e_v(X)：图像X的垂直边缘图像(P或R)

t(X)：图像X的牙齿似然性图像，其可以基于颜色分割。

X＝由照相机记录的P图像；X＝R渲染的图像。

在图2的第四行中以简化的方式示出了牙齿似然性图像。

Claims (7)

1.一种用于在由照相机记录的后续图像的视频序列中患者的每个面部图像中可视化从牙齿状况的三维模型获得的二维图像的计算机实现的方法，每个图像包括所述患者的嘴部开口，其中，所述牙齿状况的三维模型基于所述患者的牙列的三维模型，并且与所述牙列的三维模型相比包括因牙齿治疗或任何其他牙齿修改引起的修改，所述方法包括为所述视频序列的每个图像执行以下步骤：

通过执行以下步骤将所述患者的牙列的三维模型与由照相机(3)记录的所述患者的面部图像对准：

估计在记录图像期间所述照相机(3)相对于所述患者的面部的定位，以及

获取所述患者的牙列的三维模型(6)，

使用虚拟照相机(8)在估计定位处处理所述牙列的三维模型来渲染所述患者的牙列的二维图像(7)，

通过在相应的图像中执行边缘检测和/或基于颜色的牙齿似然性确定，并形成针对所述检测到的特征或每个检测到的特征的检测到的特征图像，在由所述照相机(3)记录的所述患者的图像(1)的嘴部开口中的牙列区域中以及在渲染的图像(7)中的牙列区域中执行特征检测，

分析所述面部图像以检测围绕所述嘴部开口的唇线，以及仅选择所述唇线内侧的图形元素以用于确定由所述照相机记录的图像中的偏差的度量，其中，所述唇线也覆盖在从所述牙列的三维模型渲染的二维图像中，并且仅在所述唇线内侧的区域用于确定以下步骤中的偏差的度量，

计算由所述照相机(3)拍摄的图像的检测到的特征图像与所述渲染的图像的检测到的特征图像之间的偏差的度量，

将所述虚拟照相机(8)的定位改变为新的估计定位，并在优化过程中重复之前的四个步骤，以最小化偏差度量，以确定所述虚拟照相机(8)的最佳拟合定位；

使用所确定的所述虚拟照相机的最佳拟合定位，使用所述虚拟照相机(8)从所述牙齿状况的三维模型渲染所述牙齿状况的二维图像(7)；

在下述覆盖步骤之前，

从包括在下牙弓和上牙弓之间的区域中的嘴部开口的图像生成所述唇线内的口腔背景图像区域，并且由所述照相机记录的所述患者的面部图像中所述唇线内的图像区域由所生成的口腔背景图像区域代替，以及

将由所述照相机记录的所述患者的面部图像中检测到的唇线传输到并覆盖在所述渲染的图像中，并且排除了所述渲染的图像中所述唇线外侧的所有图形元素，从而切出了对应于所述嘴部开口的所述渲染的图像的区域；

将使用所述虚拟照相机渲染的所述牙齿状况的二维图像覆盖在由所述照相机记录的所述患者的面部图像中；以及

在显示器(2)上显示具有覆盖的所述牙齿状况的渲染的二维图像的由所述照相机拍摄的所述患者的面部图像。

2.根据权利要求1所述的计算机实现的方法，其特征在于，仅通过执行边缘检测来执行所述特征检测。

3.根据权利要求2所述的计算机实现的方法，其特征在于，基于检测到的边缘的平均方向将其划分为水平边缘和垂直边缘。

4.根据权利要求1所述的计算机实现的方法，其特征在于，通过执行边缘检测和基于颜色的牙齿似然性确定来执行特征检测，并且根据检测到的边缘图像和检测到的基于颜色的牙齿似然性图像来计算偏差的组合度量。

5.根据权利要求1所述的计算机实现的方法，其特征在于，仅通过执行基于颜色的牙齿似然性确定来执行所述特征检测。

6.根据前述权利要求中任一项所述的计算机实现的方法，其特征在于，通过形成由所述照相机(3)拍摄的所述患者的面部图像的检测到的特征图像与所述渲染的图像的检测到的特征图像的差值图像，并且通过对所述差值图像的所有图形元素上的所述差值图像的强度的绝对值进行积分，来计算度量偏差。

7.一种用于在由照相机记录的后续图像的视频序列中患者的每个面部图像中可视化从牙齿状况的三维模型数据渲染的所述患者的牙齿状况的二维图像的系统，每个图像包括嘴部开口，所述系统包括：

照相机(3)；

显示器；以及

计算装置(2)，其可操作地连接至所述照相机(3)和所述显示器，并且被配置为执行根据权利要求1所述的方法。

Images