CN113811952A - 用于以图形方式呈现多个扫描的方法 - Google Patents

Abstract

公开了一种用于呈现随时间推移的患者口腔状况的图形表示的系统和方法。特别地，该系统和方法涉及以保持对患者口腔状况变化的关注的方式呈现随时间推移进行的多个扫描的方法。

Description

用于以图形方式呈现多个扫描的方法

技术领域

本发明总体上涉及用于呈现随时间推移的患者口腔状况的图形表示的系统和方法以及用于选择在这种方法中使用的多个扫描的用户界面。特别地，该系统和方法涉及一种计算机实现的方法，该方法以保持对患者口腔状况变化的关注的方式呈现随时间推移进行的多个扫描。

背景技术

当前公开内容涉及比较随着时间推移对患者口腔状况(例如牙齿、牙龈和软组织)进行的扫描。

特别是随着所谓的口腔内扫描的引入和接受，监测患者口腔健康的新方法已经发展。这尤其是因为可以比较和分析来自不同扫描时段的数据，这为医生提供了一种详细的工具，用于确定随时间推移的甚至是微小的变化，并且从而发起预防动作。

然而，当涉及到以视觉方式呈现此类变化时，例如在监视器上以图形方式呈现时，重要的是所传递的信息与患者的临床变化相关，而作为在不同的患者就诊期间扫描的牙齿的方式的结果而发生的其他变化例如软组织的范围被减少或去除。

发明内容

在一个方面，公开了一种用于呈现随时间推移的患者口腔状况的图形表示的计算机实现的方法，其中该方法包括，

-获得多个扫描，每个扫描表示患者在特定时间的口腔状况，并且其中每个扫描包括定义扫描范围的扫描边界，

-确定至少一个修改的边界，以及

-以时间序列呈现多个扫描，其中相应的多个扫描中的每一个的扫描边界已经基于至少一个修改的边界之一被修改。

通过提供如本文所述的修改的边界，可以提供患者口腔状况随时间推移的变化的图形呈现，其中可以修改不均匀的扫描边缘和冗余的扫描数据，从而可以提供均匀的图形呈现。

这具有以下优点，即健康护理专业人员的关注将保持在与评估患者的历史变化相关的扫描中的临床变化上。

以时间序列呈现多个扫描通常在计算机监视器上完成，例如屏幕、智能电话或数字眼镜上。

扫描可以以序列彼此挨着地显示。可以使用例如滚动功能，以便用户可以滚动通过多个扫描，例如在计算机监视器上。

可以从多个扫描中选择两个扫描，并且用户界面上的滑块功能允许在所选的感兴趣的扫描之间来回快速交换。

在优选实施例中，通过在公共坐标系中对齐扫描来呈现多个扫描，然后以由何时获取扫描确定的时间序列以图形方式呈现它们，其中计算机将显示扫描之间的转变。这提供了动画，其中查看者将能够看到扫描之间的视觉上可辨别的变化。转变还可以包括扫描之间的变形。

对齐扫描可以例如手动完成，通过识别相应扫描上的至少三个公共点和/或使用ICP(迭代最近点)算法。这些对齐方法是本领域公知的，并且经常用于在公共坐标系中布置相似的3D模型以便将它们对齐在一起。

多个扫描可以表示完整的口腔状况，即两个牙弓被完整扫描的上颌和下颌。然而，也可以使用多个部分扫描并如本文所讨论以时间序列图形呈现这些部分扫描。

当前方法的优点如上所述；可以视觉地呈现和比较多个扫描，特别是为了视觉地检查患者的口腔状况如何随时间推移变化。这需要通过多个扫描时段获得多个扫描。在该上下文中，多个扫描不一定必须包括随时间推移进行的所有扫描，而是可以包括选择为适合在所公开的方法中使用的扫描的子集。多个扫描因此可以例如从更大的扫描集合中选择，但可能由于扫描质量、以期望时间间隔进行的扫描或许多其他原因而被选择。

呈现根据不同修改的边界而被修改的扫描之间的平滑转变的一个示例是通过变形(morphing)来完成的。当以时间序列显示时，这个构思将允许小变化之间的平滑转变。

特别是当多个扫描采用表面数据的形式时，例如使用本领域周知的网格，在一个实施例中可以基于网格参数化来完成变形：

关键点是将两个模型映射到公共的简单表面，如平面或球面(sphere)作为公共参考，这里也通常称为基域(base domain)。

一般来说，网格变形是3D图形领域中一个经过充分研究和充分理解的问题。给定两个网格A和B，有许多标准方法生成新的预定网格C，其顶点位置根据区间[0,1]中的系数t变化，以便C0＝A,C1＝B并且网格Ct表示在A和B之间插值的顶点位置的中间状态。通过创建包括n帧并以插值值t＝i/n显示网格C的动画来实现变形可视化，其中“i”是整数，在0到n之间。

然而，在一个实施例中，以时间序列呈现多个扫描的步骤，其中相应的多个扫描中的每一个的扫描边界已经基于至少一个修改的边界之一被修改，包括将修改的边界用作用于以时间序列在多个扫描中的至少两个扫描之间变形的参考。

通过使用修改的边界作为用于变形的参考，提供了一种解决方案，该解决方案特别适用于如本文所公开的牙齿状况的不同扫描之间的变形。

此外，可以应用复杂的变形，这在随着时间的推移观察颌时特别有利，其中牙齿和牙龈以及其他部件(例如托槽放置)随时间推移发生变化。

因此，公开了一种变形算法，其包括参数化过程、特征对齐过程、重新网格化过程和渲染过程。

在一个实施例中，基于至少一个修改的边界来定义基域。这可以例如通过拟合通过至少一个修改的边界的平面、将至少一个修改的边界投影到该平面并将基域定义为由投影的至少一个修改的边界定义的平面来完成。

此外，可将多个扫描的扫描边界设置为至少一个修改的边界。因此，这可以用作将各个扫描与基域对齐的参考。

在一个实施例中，多个扫描中的每一个被映射到基域，并且多个扫描中的每一个可以进一步展平到基域。

为了展平扫描，可以使用不同的约束。例如，扫描上的特定点被约束为被映射到基域中的特定点。此外，在牙齿被分割的一个实施例中，牙齿可以用作进一步的参考，以通过使用一个、多个或所有牙齿作为锚定点或锚定区域/体积来确保适当的展平。

通常，实际的展平是通过拉普拉斯算法完成的，拉普拉斯算法是本领域周知的过程。

在多个扫描布置在基域中的情况下，或者替代地一次一个地处理多个扫描中的每一个，当映射到基域时，可以有利地将预定网格应用于多个扫描中的每一个。这为多个扫描提供了公共结构，其中一个扫描中的一个顶点与其他多个扫描中的每一个中的相应顶点具有一对一的对应关系。

然后可以将多个扫描返回到3D域。在一个实施例中，这是通过将预定网格的顶点返回到3D域中来完成的。

因此，在一个实施例中使用预定网格数据，可以通过在相应多个扫描的预定网格中的对应顶点之间进行线性变换来提供以时间序列的多个扫描之间的变形。

在又另一实施例中，变形算法/方法也被应用于多个扫描的颜色。这在多个扫描的颜色在扫描之间不同的情况下特别有利。例如，这样的颜色差异可能是由于对一些或所有扫描使用不同的扫描仪或不同地校准的扫描仪。这也可能是进行一些或全部扫描时环境照明差异的结果。因此，变形允许以时间序列的多个扫描的图形呈现，其中颜色的变化是平滑的并且视觉上令人愉悦。

在一个实施例中，以时间序列呈现多个扫描的步骤，其中相应的多个扫描中的每一个的扫描边界已经基于至少一个修改的边界之一被修改，包括：相应的多个扫描中的每一个的扫描边界至少部分修改为至少一个修改的边界之一。

这提供了如所讨论的随时间推移的均匀图形呈现，因为相应的扫描边界被修改以将多个扫描的更均匀的形状可视化。

如本文所讨论的，扫描被修改以便能够对随时间推移的口腔状况进行统一的图形呈现，并且特别是正是扫描边界可能是不均匀的并且包括在呈现期间可能在图形和视觉上中断并且不表示患者口腔状况的临床实际情况的数据。

因此，确定至少一个修改的边界并且基于已经确定的一个或多个修改的边界来修改多个扫描。

一个这样的修改的边界可以是预设边界，例如模板边界。然后可以将预设边界用作多个扫描中的一个或多个扫描的切模器(cookie-cutter)，从而确保统一的扫描边界。在当前说明书中，预设边界应理解为修改的边界，其不是基于从多个扫描导出的数据定制的。然而，可以如下所述基于患者的数据来选择预设边界。

该方法可以包含多个预设边界。因此，第一预设边界可用于在童年期间进行的扫描，第二预设边界可用于在青春期进行的扫描，并且第三预设边界可用于在成年期间进行的扫描。在其他实施例中，也可以基于患者的性别来确定预设边界。

在相关示例中，预设边界基于由健康护理专业人员在根据个人偏好获取扫描之后和/或同时执行的优选手动修剪轮廓。这种手动修剪的轮廓可以存储为该特定患者的首选轮廓，并且可以在以下情况下用作默认修剪轮廓。

总体上，使用预设边界具有避免处理多个扫描中的一个或多个以便确定修改的边界的优点。这在具有低计算机处理能力的设置中尤其具有优势。

在另一实施例中，基于从多个扫描中选择的参考扫描来确定至少一个修改的边界。

在其一个实施例中，参考扫描的扫描边界被设置为至少一个修改的边界。这可以是确定修改的边界的简单方式，因为一个扫描的边界可以简单地复制到其他扫描上，因此可以例如在具有低处理能力的计算机系统上实现。

然而，在替代实施例中，可以进一步处理参考扫描以确定修改的边界。例如，通过平滑参考扫描的边界或在将其应用为多个扫描的其余扫描上的边界之前执行孔填充(holefilling)。

在另一实施例中，基于多个扫描中的至少两个来确定至少一个修改的边界。这具有以下优点：来自至少两个扫描的数据可用于确定修改的边界，从而提供对拟合多个扫描中的多个扫描的修改的边界的更好估计。例如，这可能是有利的，因为扫描需要较少的后处理，原因是诸如修剪和填充之类的动作将不那么麻烦。当呈现随时间推移的口腔状况的图形表示时，这提供改进的视觉体验也是一个优点。

在一个示例性实施例中，当基于多个扫描中的至少两个确定至少一个修改的边界时，该方法还可以包括，

-分别确定多个扫描中的至少两个的至少第一和第二扫描边界，以及

-基于至少第一和第二扫描边界的平均边界确定至少一个修改的边界。

在一个实施例中，至少一个修改的边界被进一步处理，例如确定至少一个修改的边界可以进一步包括平滑平均边界的步骤。或者，替代地或附加地，在确定至少一个修改的边界之前平滑至少第一边界和第二边界中的每一个。

多个扫描可以跨越很长的时间段，例如从童年到成年和衰老进行的涵盖许多自然身体变化的扫描。它们还可能涵盖发生了重大物理颌变化的时期，例如手术或其他牙科治疗。在这样的情况下，可以有利地确定包括至少第一和第二修改的边界的多个修改的边界。这些多个修改的边界然后可以更好地拟合相应的扫描。

例如，第一公共边界和第二修改的边界是具有不同大小和/或形状的预设边界。

或者，替代地，在另一实施例中，第一修改的边界基于多个扫描中的至少两个来确定，并且其中第二修改的边界基于多个扫描中的至少两个来确定，其中用于确定第二修改的边界的多个扫描中的两个中的至少一个不同于用于确定第一修改的边界的多个扫描中的至少两个。

在一些实施例中，可以使用不同的方法提供多个修改的边界。例如，第一修改的边界可以是预设边界，而第二修改的边界可以基于多个扫描中的至少两个来确定。

在一个实施例中，多个扫描中的第一组的扫描的扫描边界被修改为第一修改的边界，并且包括不同于多个扫描中的第一组的扫描的第二组的扫描的扫描边界被修改为第二修改的边界。

并且更进一步，在进一步的实施例中，多个修改的边界可以包括第三或更多修改的边界，其包括预设边界或基于多个扫描中的至少两个确定的边界。

因此，当如所公开的那样提供分组时，可以进一步提供第三或更多组，包括与其他组的扫描不同的多个扫描中的多个，其中分别将第三组或更多组的扫描的扫描边界修改到第三或更多修改的扫描边界。

在基于相应组中的扫描的一个或多个时间变量确定第一、第二、第三和/或更多组的实施例中，可以有利地提供这样的分组。

有利地，这样的时间变量可以是进行特定扫描时患者的年龄。

或者，替代地或附加地，时间变量可以是在进行特定扫描时获取的患者大小参数，例如身高和/或体重。

在更进一步的实施例中，时间变量可以是从牙科治疗开始或完成时开始的时间。

附加地或替代地，第一、第二、第三和/或更多组也可以基于一个或多个患者特性例如性别来确定。

因此，如果需要，可以改变扫描边界以适应扫描中的实质性变化，但仍保持关注患者实际变化的图形呈现。

在一个实施例中，至少两个扫描的扫描边界被修改为具有相同的至少一个修改的边界。这具有在扫描的扫描边界中不能观察到变化的优点，因为它们随着时间推移以图形表示呈现。

可以提供一个简单的实施例，其中至少一个修改的边界被设置为多个扫描之一的扫描边界，并且其中多个扫描中的至少第二扫描的扫描边界被修改为至少一个修改的边界。这在确定修改的边界时需要低处理资源。

为了在数字环境中处理扫描和至少修改的边界，至少修改的边界可以有利地表示为数字设计工具。例如，在一个这样的实施例中，至少一个修改的边界是闭合样条(closedspline)。样条通常在CAD(计算机辅助设计)软件中用作表示线(直线或曲线)的工具。它不必是闭合的，例如它也可以是开放的。

样条可例如用作切割样条以去除或掩蔽切割样条外部的扫描数据。样条可以额外地融合到扫描数据中以形成平滑的边界。

或者，可以附加地或替代地将样条用作填充样条，用于将数据添加到填充样条内的扫描数据。

例如，可以通过从模板扫描中导入缺失表面结构的补丁并将其融合到某些区域中数据不足的模型中来完成添加数据。

添加数据也可以例如通过孔闭合来完成，其中许多孔闭合算法在本领域中是已知的。

在一个实施例中，当扫描是表面扫描并且数字地生成为三角形网格时，可以通过使用以下步骤来执行孔闭合：

1.在此应用的上下文中，需要被填充的孔几何形状/区域由样条和模型边界指定。通过引入连接样条和模型边界之间的最近点对的边，可以满足孔边界是单分量曲线的孔闭合要求。

2.孔闭合和清理。孔闭合迭代多达10次，或直到没有更多孔为止。它由耳切(earclipping)算法执行，该算法为所有候选三角形创建堆结构。通过确定每个候选三角形的分数，堆是部分排序的。

在每次迭代中，具有最高正分数的三角形从堆中去除并被引入到孔闭合补丁中。然后更新堆以包括新的候选者。评分函数的设计方式为促进平滑的孔闭合补丁，而没有自相交或其他无效配置。在此应用的上下文中，这将需要强制跨模型边界的表面法向量的连续性，并且可能需要对引入的边的长度的惩罚项。

在每次闭孔迭代结束时，如果顶点处于拾取(pick-up)(非流形)配置，或者如果它们的法向量与相邻小面的法线不一致(指向远离相邻小面的法线)，则执行清理，其中顶点与相邻三角形一起被去除。

3.通过细化、平滑和抽取改进孔闭合补丁。

4.补丁着色：颜色从模型上的最近邻居传播到新顶点，对于该模型已经定义了颜色(最近邻插值)。

在本领域中提供了多种提供数字数据并随后进行视觉表示的方式。例如，可以作为体素数据获得多个扫描。

在其他实施例中，可以作为表面数据获得多个扫描。

在这样的实施例中，可以进一步处理表面数据，使得多个扫描作为体积数据获得。

除了这里描述的处理之外，多个扫描中的至少一个可以在获得扫描和呈现多个扫描之间进行进一步处理。

例如，多个扫描可以被分割以数字地识别扫描的牙齿和扫描的牙龈。这可以进一步帮助系统确定至少一个如本文所公开的修改的边界。

在本文中公开的一个方面是用于促进从随时间推移进行的患者扫描的数据库或库中选择多个扫描的用户界面。

由于在患者就诊时进行口腔内扫描变得更加常见，因此随着在不同时间点进行的3D扫描，患者数字记录正在迅速扩大。因此，用户将不得不选择相关扫描进行处理，以便提供随时间推移的口腔状况的图形呈现。

例如，考虑到用户可能想要查看患者牙齿状况如何随时间演变的不同情况，可以理解相同的扫描不一定有用。例如，在显示过去二十年患者口腔牙列的总体概览中，在时间上适当间隔开的多个扫描将是一个好的起点。但是，使用中期治疗扫描，例如带有制备物或可见种植物的扫描将产生不幸的表现。但是，如果用户希望监视患者的治疗，例如正畸治疗，使用在该治疗过程期间不同时间点上获得的扫描是相关的。

选择扫描子集并仅将特定子集转发到下一个软件模块的能力提供了更有针对性的分析环境，该下一个模块处理扫描分析功能，例如扫描之间的移动模拟和扫描对扫描比较。分析软件模块仅处理和显示相关信息。这提供了更快的处理时间和更干净的呈现平台，其中仅显示病例特定信息。这使健康护理专业人员能够进行注重分析，并能够与患者一起分享、教导和讨论仅与病例相关的信息。一个示例可能是，健康护理专业人员想要告知患者由于磨削而导致的牙磨损的进展量。健康护理专业人员仅选择与牙磨损进展相关的扫描子集，并能够向患者显示信息。此功能为健康护理专业人员和患者可能同意执行的临床评估和最终治疗提供支持。

因此，提供了用于选择多个扫描以用于随着时间的推移以图形方式呈现扫描的用户界面，其中该用户界面包括第一区域，其中示出了多个扫描中的至少两个的图像，以及第二区域，示出时间线，其上示出了进行多个扫描中的至少两个的时间，并且其中时间线至少示出了未在第一区域中显示的多个扫描中的一个附加扫描。

在另一方面，在如本文公开的用于呈现患者的口腔状况随时间推移的图形表示的方法中生成的数据也可以用于训练神经网络。

更进一步，来自用户在用户界面中选择多个扫描的输入也可用于训练神经网络以提供可基于扫描资源中可用的扫描数据随时间推移自动生成图形表示的系统。

如本文所讨论的，应当理解，所公开的方法有利于呈现在不同时间进行的患者的扫描并且提供变化的改进的图形表示。

因此，该方法优选是数字计算机实现的方法，其中在监视器或能够在视觉上显示图形模型的类似输出设备上进行图形表示的呈现。例如，智能电话、平板计算机或计算机监视器。

获得多个扫描的步骤可以通过从本地或云中的数据库加载或访问它们来完成。扫描最初可以通过对患者进行口腔内扫描获得，它们也可以通过牙齿的物理印模提供，牙齿的物理印模提供随后已经被数字化。

确定至少一个修改的边界的步骤也可以在数字设计环境中以不同方式完成。

如所公开的，从菜单中选择模板或预设边界并用作切模器。计算机实施的方法还可以包括半自动或全自动算法，其通过分析如上文关于所公开的方法所述的多个扫描中的一个或多个来确定至少修改的边界。

最后，以时间序列呈现多个扫描将计算机实现方法联系在一起，因为如上所述，这通常例如在监视器或其他显示设备上作为图形表示来完成。

在另外的方面，本文公开的方法是计算机实现的并且可以在计算机上、计算机网络中或其他可编程装置中提供。

附图说明

本发明的上述和/或另外的目的、特征和优点将通过以下对本发明实施例的说明性和非限制性详细描述，并参考附图进一步描述，其中：

图1a和1b示出了在不同时间对患者进行的两个扫描，

图2a-2d示出了如本文公开的用于确定至少一个修改的边界的一个实施例，

图3-3f示出了如本文公开的用于确定至少一个修改的边界以及如何基于修改的边界修改扫描的另一实施例，

图4a-4c示出了如本文公开的用于确定至少一个修改的边界以及如何基于修改的边界修改扫描的又一实施例，

图5a-5h示出了使用修改的边界作为参考在多个扫描之间变形的一个实施例，

图6-25公开了在多个扫描之间变形的另一个实施例，

图26示出了如本文所公开的用户界面，并且

图27公开了用于将所公开的方法实现为计算机实现的方法的处理系统。

具体实施方式

在下面的描述中，参考了附图，这些附图通过说明的方式示出了可以如何实践本发明。

图1a和1b示出了第一扫描101和第二扫描102。第一和第二扫描是在不同时间进行的，并且牙齿位置略有变化。然而，真正引起视觉注意的是相应扫描的扫描边界103、104。可以看出，这些变化很大并且基本上取决于扫描患者的操作者何时停止扫描并且因此不暗示任何种类的任何临床指征。因此，当如本文所讨论的以连续顺序在视觉上呈现扫描时，相应的扫描边界的大变化将从临床相关方面移开关注。

在此讨论的一个实施例示于图2a-2D，其中图2a示出了患者的第一扫描201并且图2b示出了患者的第二扫描202。第一扫描201和第二扫描202在不同的牙医就诊时进行，其中使用口腔内扫描仪扫描患者。

第一和第二扫描的扫描边界被确定为不存在扫描数据的扫描的边缘，这在第一和第二扫描中导致第一扫描201的第一扫描边界205和第二扫描202的第二扫描边界206。

第一和第二扫描随后被变换到公共坐标系，如图2c所示，由此第一扫描201和第二扫描202彼此叠加。这可以例如通过使用所谓的ICP(迭代最近点)算法实际上自动地完成，ICP算法是本领域技术人员公知的对齐数据的方法。替代地或附加地，也可以使用手动对齐。例如，这可能需要用户识别两个扫描中的公共点，例如牙尖或其他牙齿标志。

在第一和第二扫描被布置在公共坐标系的情况下，可以确定修改的边界207，如图2d所示。在当前实施例中，修改的边界207通过平均第一扫描边界205和第二扫描边界206来确定。当这样做时，样条用于定义第一和第二扫描边界并且因此确定定义修改的边界207的样条。该修改的样条207’然后可用作修剪患者的扫描的切割工具或用作定义边界的填充工具，扫描中的孔应由人造牙龈纹理填充到该边界。

当前实施例使用两个扫描示出。当然，如果需要，该方法可以应用于比两个扫描多得多数量的扫描。在这种情况下，然后将基于放置在公共坐标系中的各个扫描的所有扫描边界的平均来创建修改的边界。

图3a至3f示出了呈现患者口腔状况随时间推移的变化的图形表示的另一个实施例。

获得第一扫描301，如图3a所示。第一扫描具有第一扫描边界305，其已被导出到第一扫描样条305’。

第一扫描样条305’是通过将其点投影到插值线而线性化的，这生成第一平滑的样条305”，如图3b所示。

类似于以上附加的第二和第三平滑样条306”和307”，其在图3d中与第一平滑样条305”一起显示，是从在不同牙医就诊时进行的相应第二和第三扫描(未显示)导出的。

第一、第二和第三平滑样条305”、306”和307”现在被平均以确定修改的样条310的形状的修改的边界，如图3d所示。

如图3e和3f所示，修改的样条310可用于切割第一扫描305以及第二和第三扫描(未示出)。这将提供均匀流畅的查看体验，因为扫描以序列呈现以示出患者口腔状况随时间推移的变化。

在图4a-4c中公开的又一实施例中，从多个扫描中选择并处理参考扫描401以确定修改的扫描边界405。公开了如何可以确定修改的边界样条405’并将其用作用于修剪患者牙齿的扫描401的切割样条以提供扫描的修改的扫描边界405，其中多余的扫描数据已被去除。

在当前实施例中，扫描401被分割成牙齿406和牙龈407。分割之后，对于每个牙齿生成边界测量403(为简单起见，图中未全部用附图标记表示)。边界测量403指示从相应牙齿边缘到牙龈的特定度量，如图4a所示。

在当前示例中，边界测量是通过对于每个牙齿找到最大值然后确定顶点403’(为简单起见，图中未全部用附图标记表示)而确定的，该顶点位于距牙齿的最大值到牙龈中3mm。

然后可以确定每个顶点403’之间的最短路径，例如通过使用Dijkstra算法。相邻顶点之间的最短路径一起定义了修改的边界样条405’，如图4b所示。

修改的边界样条405’随后用作用于切割患者扫描401的切割样条，以便去除修改的边界样条405’之外的多余牙龈，从而生成扫描401的修改的边界405。

修改的边界样条405’不仅用作修剪或掩蔽工具，而且用作填充的边界，其中扫描401和修改的边界样条405’之间的间隙被牙龈/软组织纹理填充。在另一个示例中，边界样条不仅用作用于定义切割或填充线的工具，而且还嵌入到表面数据中以形成扫描边界的平滑终止。

在相关示例中，切割样条提供边界，用于在样条和模型之间添加缺失数据以创建多个扫描的统一边界。添加数据可以包括从来自相邻模型(即在紧邻相对于样条缺失一些数据的模型获取的模型)的特定区域传输数据。

在一个示例中，修改的边界样条用于永久去除样条之外的所有数据。

在另一个示例中，修改的边界样条用于定义边界，其中所有外部数据被掩蔽，但可以根据操作者的意愿手动切换为打开和关闭-使得当启用修剪时所有不需要的数据不可见并且在禁用修剪时原始扫描数据可见。

修改的边界样条405’可以用作参考样条，用于修改在不同时间从扫描401从其被进行的同一患者进行的多个扫描的扫描边界。替代地，修改的边界样条405’可用于修改进行的多个扫描中的一组的扫描边界，它仅用于一个特定的扫描401，并且对于多个扫描中的每一个确定新的修改的边界样条。

在另一个实施例(未显示)中，平面被拟合到扫描并被用作该扫描(或来自同一患者的几个扫描)的修改边界。例如，通过确定如图4a-4c中描述的顶点的数量，平面可以使用这些点作为平均被拟合。如果需要，可以在切割完成前使平面移位。

在又另一实施例中，通过使用模板样条(未示出)来确定至少一个修改的边界。然后将模板样条用作用于修剪多个扫描的样条，从而使用模板样条将各个扫描的扫描边界修改到修改的边界。

模板样条可用于多个扫描中的所有扫描、多个扫描的组或多个扫描中的单个扫描。此外，不同的模板样条可用于多个扫描中的不同扫描。

例如，可以将多个扫描分成扫描组，每个组包含当患者处于不同年龄范围内时进行的扫描。因此，考虑到颌随着年龄而改变大小和形状，所以不同的模板样条可用于不同的组，从而考虑到大小的变化。不同的组可以附加地/替代地还依赖于性别、身高、体重或其他患者特定数据以确定优选的模板样条。

应当理解，针对多个扫描中的不同扫描组确定不同的修改的边界并且基于不同参数生成组，不同的参数例如扫描时患者的年龄、当时的大小等，可以对于此处描述的所有实施例这样做。

替代地，可以将相同的修改的边界用于多个扫描的全部。

最后，以时间序列呈现扫描，其中扫描边界已通过从上述过程导出的至少一个修改的边界样条被修改。

在如下参考图5a-5g描述的另一个实施例中，修改的边界被用作多个扫描之间变形的参考，以便以平滑的方式提供一组“n”个分割的颌网格之间的转变的模拟(其中n是多个扫描的数量)。给定n个连续的颌扫描，我们通过使用相同的基域D重新网格化所有颌扫描并生成顶点和小面(facet)连接性相同的新规则网格的序列R1、R2、…、Rk来实现它们之间的变形。需要注意的是，我们使用网格上的分割信息将对应的牙齿映射到基域上完全相同的区域。

可以有利地使用分割扫描，因为可以保持选择的分割结构，例如牙齿，以便它们在映射过程中不会以任何方式形变，从而确保结果会高度可靠。

使用成对的连续规则网格(Ri,Ri+1)，我们通过从规则网格中获取顶点v并使用线性插值post(v)＝(1-t)vi+t vi+1组合来自Ri的顶点位置值vi和来自Ri+1的顶点位置值vi+1来生成[0,1]中值t的插值顶点位置。

具体如下所述，当使用修改的边界来定义基域时，实现了改进的变形结果。

1.使用修改的边界定义基域。

给定患者的n个不同颌扫描(即多个扫描)，我们首先确定修改的边界，如本文先前公开的众多实施例中的一个或多个实施例所公开。图5a和5b示出了相同患者的两个(n＝2)不同的颌扫描501、502，在对应牙齿位置上具有小的位移。

图5c、5d和5e中所示的基域505通过拟合通过修改的边界的平面(在当前实施例中定义为平均样条)并将修改的边界投影到平面上来确定。基域是由投影的修改的边界定义的拟合平面上区域的内部。换言之，基域在当前实施例中是具有由投影的修改的边界定义的边界的2D表面。

2.投影到基域

一旦定义了基域，来自多个扫描的扫描的扫描边界的边界点就被映射到基域上最近的边界点。此外可替代地，可以使用其他约束，例如边界的锚定点或如前所述的牙齿。随后应用拉普拉斯网格处理算法以获得形成如图5f所示的扫描的网格的平坦表示510。

3.使用基域重新网格化

在获得正确的基域和该域上的颌网格的展平后，在基域上生成具有预定义分辨率的规则网格。

对于该规则网格的每个顶点，可以在扫描的平坦网格上找到最近的对应三角形或小面，并因此计算3d空间中的位置，其位于初始颌扫描上。因此，在对于规则网格的每个顶点设置这些空间点的值之后，获得了扫描的规则化表示。

在图5g中，可以看出与应用于基本域中的扫描的图5h的规则网格512相比，直接从扫描511获取的网格是如何非常不规则的。

因此，通过提供多个扫描中的每一个的如上所述的规则化表示，可以为所有多个扫描找到所有顶点的一对一对应关系。这允许通过提供彼此对应的顶点的线性变换来在扫描之间变形。

应用变形的另一个实施例在以下步骤中列出并结合图6-31进行讨论。

变形的概念和原理一般是已知的，例如从电影中一个物体改变形状成为另一个物体。

变形以最简单的形式在形状之间进行插值，没有任何约束。以这样的方式，如果对于一对汽车模型仅使用简单的变形，则汽车轮胎会变形为车门，或者对于动物模型，眼睛会变形为耳朵，这是不正确的。例如，这可以通过使用特征对齐来改进，从而确保一个模型中的特定要素变形为另一个模型中的对应要素，从而使变形看起来更自然。

一般的变形原理在本领域中是周知的。例如在以下博士论文中：

·“边界表示中几何对象的变形(Morphing of geometrical objects inboundary representation)”

作者：Martina Málková，2010年，

捷克共和国比尔森西波西米亚大学

·“网格变形(Morphing of Meshes)”

作者：Jindrich Parus，2005年，

捷克共和国比尔森西波西米亚大学，

·“3D网格变形(3D mesh morphing)”

作者：Bogdan Cosmin Mocanu，2010年

法国巴黎国家电信研究院

讨论了许多变形原理。

然而，正如下面将要解释的，为了优化牙齿设置(例如患者牙齿和牙龈的不同扫描)之间的变形，已经进行了特定的改进。特别是因为我们知道正在变形的是什么，并且我们也知道在大多数情况下变形实际上是在两个相同的牙齿之间进行的，因此该知识可用于创建高度自然的变形，如将解释的那样。

在下文中，变形已经被分为四个过程，如相应的流程图，图9、17、22和25所示，称为参数化过程，图9，特征对齐过程，图17，重新网格化过程，图22，和渲染过程，图25。

变形的实质部分与参数化有关，也将会进行讨论。然而，网格参数化的计算涉及大型稀疏线性方程的迭代解算，这些算法的时间复杂度在顶点数上是三次方的。这实际上意味着对于如图6b所示的具有100.000+顶点的实际扫描，解算线性系统所花费的时间是不可接受的。

因此，虽然对于过程的功能不是必需的，但是为了加快处理速度，可以有利地抽取扫描，将顶点的数量减少到10-15.000，如图6c所示，并对这些低分辨率网格进行参数化操作，其导致低分辨率参数化，如图7b所示。

随后，使用提供图7c所示高分辨率网格的重心映射将参数化转移到原始扫描。这种在解决问题时使用具有不同分辨率的相同网格的两个副本的技术称为多分辨率网格表示。

在图8a中，示出了来自较高分辨率网格的顶点80如何映射到较低分辨率网格的小面81内的点。

图8b示出了重心坐标，其是三角形ABC内的点p作为其边的向量AB和AC的线性组合的表示。基于这些知识，可以执行重心映射，并且可以使用低分辨率网格来执行CPU密集型计算和处理。然后使用重心映射将结果转移到更高分辨率的网格。重心映射也可用于其他处理步骤，这在下文将进行讨论。

过程1，“参数化”

在第一步中，对于所有网格生成由基本公共/基域定义的公共参数化(commonparametrizaiton)。它包括几个参数化子步骤，下面将参考图9中的工作流程和图10-16中的图像进行讨论。

参数化是3D图形学中的一个周知的概念，并且主要涉及映射3D模型以被变形到公共几何域中。例如，这可以通过将3D模型投影到公共球面、圆盘、2D平面或可能的由边界定义的2D平面中的区域来完成。然后使用参数化来找到3D模型的各个顶点之间的对应关系。然后，这些对应关系用于计算在监视器上播放变形时3D模型的中间状态的渲染。

在步骤900中，获得多个扫描，扫描₁…扫描_n(scan₁…scan_n)。每个扫描由网格M表示，网格M由顶点V、边E和面F表示，即分别为M₍₁₎(V,E,F)…M_(n)(V,E,F)。例如，可以使用由3shape TRIOS制造的TRIOS扫描仪通过口腔内扫描获得扫描。图10a示出了由网格M表示的扫描90，尽管该网格在图中没有直观地示出。

为了参数化各个扫描，需要定义控制点(也称为锚定点)。在步骤901中，当从咬合侧观察时，用于扫描₍₁₎…扫描_(n)的控制点C₍₁₎…C_(n)被设置在各个扫描网格的边界上。在图10a中，可以看到当从咬合视图查看扫描时控制点91是如何沿着边界放置的。

在步骤902中，拉普拉斯网格处理用于生成颌网格的简单参数表示L_s(1)(M₍₁₎(V,E,F),C₍₁₎)…L_s(n)(M_(n)(V,E,F),C_(n))。该过程通过使用固定的锚定点91并解算从网格几何形状和锚定点生成的线性最小二乘方程来计算网格顶点的最佳位置。

简单参数化使用颌网格的边界顶点并在它们上拟合平面作为几何域，并将所有边界顶点投影到该平面上。解算这些锚定点的拉普拉斯方程给出简单的平面参数化。

从图10a和10b中可以看出，图9a中的3D颌网格90(M)已被参数化为图9b中的平面(被展平)，生成参数化网格90’(M’)。

这种网格参数化方法非常简单高效，但缺点是由于锚定点的任意性，边界的映射可能会出现问题，这对后续步骤会具有负面影响。

例如，当查看图11a和11b中的网格90和90’时，网格的边界非常相似。然而，由于如上所述使用锚定点91的简单参数化，边界处的网格经常产生冲突，例如图11a中的重叠网格100和/或图11b中所示的高度集中和拉伸的网格101。

这种简单的网格参数化仍然有用，因为在步骤903中确定的每个网格的顶点V_s(1)…V_s(n)坐标用于在步骤904中执行改进的参数化。

为了处理由步骤902中的简单参数化产生的误差，在步骤904中执行使用准共形映射E的改进参数化颌网格，称为自由边界参数化L_F(1)(M₍₁₎(V,E,F),V_s(1),E)…L_F(n)(M_(n)(V,E,F),V_s(n),E)。

颌网格的准共形映射将自由边界参数化生成到几何域中，从而最小化网格的Dirichlet或共形能量。

共形映射是局部地保持角度和取向的函数。在我们的情况中，我们使用最小化角度和长度失真的映射，或者换句话说，尽可能地保持它们。这种类型的共形映射也称为准共形。在当前实施例中，自由边界参数化是通过对网格进行简单参数化(例如步骤902中使用的参数化)并使用修改的约束解算相同的拉普拉斯线性系统来生成的，修改的约束为我们新参数化的梯度向量场“尽可能正交”。

图12a、12b和12c示出了这样的共形映射的示例，其中图12a示出了均匀四边形网格，并且图12b和12c示出了它们的共形映射的示例。

在解算表示准共形约束的线性系统之后，获得了颌模型的自由边界参数化L_F，在给定的意义上，其在平面上具有尽可能自然的边界表示。

例如，图13a中示出了3D颌网格122。然而，如在图13b中可以看到的，区域120中的突起121以自然方式映射在平面上并且防止例如重叠网格数据。

如果需要，现在可以使用这些参数化对于步骤906中讨论的颌扫描生成公共参数化域(基域BD)。然而，由于牙龈边界上的不规则性与模拟无关，因此我们将使用这些参数化在步骤905中从初始模型L_F(1)…L_F(n)中去除/修剪多余的牙龈。这将大大简化处理边界不规则的逻辑，因为我们将能够假设输入模型具有规则和平滑的边界。

在已经获得自由边界参数化之后，从其边界生成样条130，如图14b所示，并在对其运行一系列样条简化和平滑算法。通过丢弃位于该样条130之外的网格小面，获得修剪的参数化131，L_FT(1)…L_FT(n)，如图14c所示。重要的是要注意，如果没有对样条简化算法施加约束，则在某些情况下，生成的样条可以去除一些齿小面，如图14b所示。可以对此进行特定检查，以便保留属于牙齿段的小面。

在步骤906中，并且如图16b所示，确定公共边界150。在处理扫描，扫描₍₁₎…扫描_(n)，之后，如上文所述从步骤900到步骤905，可以确定参数化模型L_FT(1)…L_FT(n)的公共边界150。

参数化模型的自由边界151、152和153用于将公共边界150确定为平均。因此，公共边界150定义了扫描的所有参数化L_FT(1)…L_FT(n)将被拟合到的基域BD的边界。之所以使用此边界进行公共参数化，是因为在数学意义上，它表示用于一次对所有输入模型进行参数化的最自然的公共边界。自然边界的这种选择确保所有模型都映射到相同的公共边界，并且小面的平均失真最小。

参数化网格L_FT(1)…L_FT(n)的边界点随后在步骤907中投影到基域BD的公共边界，从而生成参数化L_FTC(1)…L_FTC(n)，它们都具有相同的边界。

最后，扫描，扫描₍₁₎…扫描_(n)，在步骤908中被重新参数化，其中在步骤907中每个对应参数化L_FTC(1)…L_FTC(n)的投影的边界被用作进行拉普拉斯重新参数化的锚定点C_c(1)…C_c(n)，从而生成重新参数化L_P(1)(M₍₁₎(V,E,F),C_c(1))…L_P(n)(M_(n)(V,E,F),C_c(n))。有了这个输入，算法会产生期望的公共边界参数化，这些参数化的失真最小。

步骤2，“特征对齐”

上面的步骤1基本上是对上面关于图5a-5g的步骤1描述的参数化的替代，其中可以基于参数化执行随后的变形渲染。然而，为了改进变形，可以提供输入，其确保通过使用如本文中关于步骤2公开的特征对齐将相关特征变形为其他扫描中的对应特征。

特别地，鉴于我们正在处理牙齿移动并假设所有扫描都是随着时间的推移从同一患者进行的，我们可以应用变形不是在完全不同的模型之间完成的知识，而是在颌之间完成变形，其中，即使随着时间的推移发生变化，我们也预期找到形状相互对应的牙齿。正如下面将要讨论的，该知识与步骤2中的特征对齐相关，但也与步骤3中的重新网格化和步骤4中的渲染相关，因此形成了与其他变形方法不同的变形过程，因为该过程考虑到牙齿的这种假设知识。

因此，为了获得真实的变形体验，在参数域中对齐和重叠单个牙齿和牙龈的当前实施例中的对应特征。如果牙齿与牙龈对齐，反之亦然，则牙齿会变成牙龈，反之亦然。

为了开始特征对齐，我们从参数化模型L_p(1)…L_p(n)中选择一个参数化模型L_pref作为步骤1700中的参考模型扫描_ref，M_ref(V,E,F)，并将在随后将所有其他模型对齐到这。在当前实施例中我们选择了最近扫描扫描_(n)的参数化模型，L_p(n)作为参考模型，L_pref＝L_p(n)。其他参数化L_p(1)…L_p(n-1)将相应地是将与参考参数化对齐的参数化。

在随后的步骤1701，图18，特征点1600、1601在参考扫描(扫描_ref)的3模型1602中被识别。在当前实施例中，通过在3D模型中寻找两种类型的顶点来识别特征点，

1)牙齿和牙龈之间的边界顶点1600，以及

2)牙齿和牙龈高曲率区域的曲率顶点1601

使用的曲率度量是给定顶点处的平均离散曲率。它是使用顶点上最小和最大离散曲率的平均计算的。

随后，在步骤1702中，我们分割扫描，扫描1…扫描n，中的牙齿。牙齿分割在数字牙科中是周知的，并且可以通过让用户识别牙齿来手动完成，但是，自动分割也变得司空见惯，例如通过使用图像识别和深度学习。

在步骤1703中，分割用于将扫描，扫描₍₁₎…扫描_(n-1)，中的每个牙齿与参考扫描，扫描_ref，中的每个对应牙齿对齐。

对于来自扫描(扫描₍₁₎…扫描_(n-1))的扫描和参考扫描(扫描_ref，)之间的每个牙齿对齐，对应的特征点在步骤1704中从参考扫描中的该牙齿转移到对齐扫描中的对应的对齐牙齿，这通过计算牙齿到牙齿对齐，然后找到最近点，将特征顶点转移到每个模型。

鉴于每个牙齿的移动可能不同，可能有必要如上所述对每个牙齿进行迭代对齐，而不是对齐完整扫描。因此，进行迭代步骤1705，以便将来自所有扫描，扫描₍₁₎…扫描_(n-1)，中的每个牙齿正确地对齐到参考扫描，扫描_ref，如步骤1703中所讨论，并对于每次对齐转移特征点，如步骤1704中所讨论。这确保边界1600顶点单独地被映射到对应的边界顶点和标志(曲率)1601顶点到每个牙齿的对应标志顶点。良好的变形应当以尽可能高的准确度映射这些顶点，以便被感知为真实。否则，模型之间的转变可能会出现不自然的形变。

图19a示出了映射到一个参数化模型L_p(1)上的特征点，并且图19b示出了映射到参考参数化L_pref上的特征点。随着所有识别的特征点1600、1601被转移到扫描(扫描₍₁₎…扫描_(n-1))中的每一个，参数化L_p(1)…L_p(n-1)随后在步骤1705中与参考参数化L_pref对齐并如图19c所示。

在步骤1706中，对于每个参数化生成德劳内网格D_m(1)(L_p(1))…D_m(n)(L_p(n)),D_m(n)＝D_mref(L_pref)。这是通过生成规则的方形网格并使用德劳内三角剖分将所有特征点附加到它来完成的。德劳内三角剖分本身在本领域中是周知的，并且用于最大化三角剖分中三角形的所有角度的最小角度。这将创建由特征点1800组成的平面网格，如图20a和20b所示。

随后，在步骤1707中，生成德劳内网格的位移。这是通过配对每个网格D_m(1)+D_mref…D_m(n-1)+D_mref来完成的。对于每一对，我们使用特征顶点的目标位置在不产生翻转的情况下位移德劳内网格，以确定各个德劳内网格D_m(1)…D_m(n-1)中每个顶点相对于参考网格D_mref的位移V_Δ(1)…V_Δ(n-1)。

由于德劳内网格具有比特征顶点更多的顶点，我们使用拉普拉斯网格处理，以便在给定特征顶点的目标位置作为约束的情况下为所有顶点插值最佳位置。图21a和21b示出了示例性网格的放大部分，示出了这样的位移，其中箭头示出了特征顶点的移动方向。

最后，在步骤1708中通过将位移V_Δ(1)…V_Δ(n-1)转移到参数化网格L_p(1)…L_p(n-1)以生成对齐的参数化L_a(1)(L_p(1),V_Δ(1))…L_a(n-1)(L_p(n-1),V_Δ(n-1))来完成特征对齐。

使用重心映射和成对的两个特征网格，可以生成对齐的参数化模型L_a(1)…L_a(n-1)，其中牙齿投影与参考网格对齐。

这是通过以下方式实现的。来自参数化网格L_p(1)的顶点v被映射到其对应的小面f，并且其重心坐标在德劳内网格D_m(1)中计算。使用顶点位移V_Δ(1)，来自德劳内网格的该小面被位移到其目标位置f’。新位置v’是使用位移的小面f’的重心坐标计算的。通过这种方式，L_a(1)的片段与参考网格L_pref的片段尽可能精确地对齐。

因此，所有参数化现在都已基于其特征被对齐。请记住，由于参数化的性质，即使参数化已被修改，原始3D模型仍通过变换而被保持。这是使用参数化而不是3D模型本身的优势之一，并且在当前实施例中被用于一个优势，以确保将扫描_ref中识别的特征点1600、1601以高准确性转移到扫描(扫描₍₁₎...扫描_(n-1))中的每一个。

在步骤3中，通过以适应性细化生成规则网格来执行重新网格化，如图22所示。鉴于扫描(扫描₍₁₎…扫描_(n))中的每一个具有自己不同的网格，因此在扫描的每个顶点之间不存在一对一的对应关系。

尽管参考模型的网格可以用作其他网格的参考网格，但提供可以使用的规则网格可能是有利的，因为这将提供跨所有模型的更好参考网格，从而也确定最近的对应点。有利地，通过对所有扫描应用相同的调整的规则网格，可以生成更加自然和统一的变形。

在获得了正确的基域和基域中颌网格的展平之后，如图23所示，在基域BD上生成具有预定义分辨率的规则网格2301，M_reg，如步骤2200所示。

在步骤2201中，规则网格M_reg被拟合到扫描，扫描₍₁₎…扫描_(n)。使用如前所述的重心映射，规则网格的顶点被映射到它们在3d空间中对应于扫描的位置。确定对应的纹理u-v坐标并映射纹理。

对于该规则网格的每个顶点，可以确定参数化网格上最近的对应三角形，并且可以计算位于初始颌扫描上的3d空间中的位置。在为规则网格的每个顶点设置这些空间点的值后，所有扫描的规则化表示在一个规则拟合网格M_regfit(scan₍₁₎…scan_(n),M_reg)中获得。

最后，在步骤2202中，执行关于阈值T的基域的适应性细化Mad₍₁₎(M_regfit,T,scan₍₁₎…scan_(n))拟合网格以适应可能仍然存在于对齐的网格L_a(1)…L_a(n)之间的任何不规则性。

简单的规则基础颌不适合高质量的重新网格化，因为它不区分需要较高分辨率的高曲率区域和需要较低分辨率的低曲率区域，其中较低的分辨率没有任何大的差别。

图23示出，规则化网格在高曲率区域与原始网格有很大差异。在上面的测量中，臼齿上的差异为336微米，这对于准确和高质量的模拟显然不能令人满意。

在计算规则化网格顶点的3d位置后，迭代过其小面，找到从中点到原始网格的最近点，并且如果差异大于阈值T，则标记该小面进行细分。通过这种方式，可以迭代地细分规则基础网格的小面，直到达到所需的精度。

在第一自适性细化步骤之后，实现了相当大的改进，因为高曲率区域具有更多小面，如图23c和23d所示，因此规则网格更多地适合于原始网格的几何形状。

在算法的最后一步，所有小面满足到原始模型的最小距离要求。

从图24中可以看出，在每一点上最大距离小于20微米。

最后，扫描已准备好进行渲染，如图25的渲染过程所示。

在输入模型的所有规则网格被生成后，我们在步骤2500中将它们分组成对，(Mad₍₁₎+Mad₍₁₊₁₎)...(Mad_(n-1)+Mad_(n))。我们扩展了标准网格数据结构，将附加数据发送到图形卡，以获得平滑的变形。我们称其为可变形网格。给定两个具有相同拓扑结构的分割颌扫描，我们保存顶点位置vi和对应的v’i，顶点法线ni和对应的n’i，纹理坐标uvi和对应的uv’i，分割UNN编号s＝0,1,…,32，对于每个顶点指示它是属于牙龈还是具有给定UNN的牙齿，并且对于每个UNN，矩阵给出了刚性牙齿到牙齿的变换。对于每一对，此数据将被保存并发送到着色器(shader)，以对模型之间的变形进行动画处理。

步骤2501执行对的实际渲染。

使用成对的连续规则网格(Ri,Ri+1)，我们以特定方式对于[0,1]中的值t生成插值的顶点位置post(v)。

基于先前的分割，分别与牙齿和牙龈相关的顶点已经被识别。因此，特定的牙齿对牙齿对齐矩阵Ts(Ri,Ri+1)＝Ts，可以用于具有unn编号s的每个齿段。将齿段从Ri+1变换为Ri的矩阵T’s由Ts(Ri,Ri+1)的逆矩阵(Ts)-1给出。

在第一步中，我们对于区间t中从Ri到Ri+1的部分对齐和区间1-t中从Ri+1到Ri的部分对齐插值两个不同的矩阵Ts(t)和Ts(t)以及T’s(1-t)。然后我们生成两个中间点值：

alignmentPost(vi)＝(1-t)×vi+t×Ts(t)(vi)

alignmentPos1-t(vi+1)＝(1-t)×T’s(1-t)(vi+1)+t×vi+1

最终的插值由下式给出：

post(v)＝(1-t)×alignmentPost(vi)+t×alignmentPos1-t(vi+1)

＝(1-t)2×vi+t×(1-t)×[Ts(t)×(vi)+T’s(1-t)×(vi+1)]+t×vi+1

以这种方式渲染的变形是两个颌模型之间的平滑转变与刚性牙齿移动的平衡组合。特别地，可以对需要多少刚性变形和多少应当是流体的应用不同的权重。通常较高的百分比，例如70％应当是刚性的，因为可以预期从一个扫描到另一个扫描牙齿都是相同的。然而，一些变形应当是流体的，因为牙齿可能已经碎裂或磨损。

我们使用相同的方法来计算每个顶点处法线的中间值。使用简单的线性插值对纹理进行插值。将所有对的变形数据一次性推送到图形卡。随着动画的运行，我们确定动画中哪对模型处于活动状态，并且只渲染对应对的场景。

最后，可能需要考虑一些特殊情况，以便为用户提供最佳体验。

例如，当牙齿在两个扫描之间被去除时，例如由于拔牙，应考虑将牙齿变形为牙龈。

当某些扫描不完整但包含特定区域的相关数据时，也可以考虑在部分扫描和完全扫描之间进行变形，反之亦然。

在上述两种情况下，应用了使用透明度的转变而不是变形。完整的牙齿消失，并且牙龈慢慢出现在场景上。同样，完整模型使用透明度消失，并且重叠部分变形为部分模型。

此外，可能存在其中一个模型有纹理而另一个没有纹理的情况。在这种情况下，使用预定义的颜色来渲染没有纹理的模型并将其颜色变形为纹理。

在另一方面，图26中示出了用户界面2600，用于帮助用户从诸如数据库、库(libray)或存储或保留有大量扫描的另一资源的扫描资源中选择多个扫描。

扫描资源通常包含患者特定的扫描，以便用户选择来自同一患者的扫描。然而，对于某些用途，选择不同患者或人之间的扫描可能是相关的，例如以比较不同年龄组的牙齿状况。

例如，用户界面可用于选择多个扫描以供在如本文公开的用于呈现图形表示的方法中使用。然而，用户界面也可用于需要选择多个扫描的其他牙科相关应用。

用户界面包括第一图像区域2601，其中多个扫描中的四个2602、2603、2604、2605由2D图像缩略图以图形方式表示。也可以使用其他类型的图形缩略图，例如缩略图3D图像。图形缩略图在当前实施例中水平呈现，然而，它们可以以许多不同的配置呈现，例如以网格视图或垂直地呈现。

缩略图与指示有关扫描的相关信息的其他图标和文本一起呈现，例如指示扫描日期的文本26021，指示扫描在多长时间前进行的文本26022，显示扫描类型的图标26023，显示有关扫描的附加信息的图标26054。

显示扫描类型的图标可以例如指示它是上颌和下颌26023、26033、26043的口腔内扫描或仅对颌之一进行扫描26053。显示附加信息的图标可以例如指示荧光数据26054或颜色数据26055。

由于并非来自扫描资源的所有扫描都适合第一图像区域，因此提供箭头2606、2607用于图像表示之间的水平滚动。

在第二时间线区域2610中，示出了时间线2611，其中放置标记2612。标记表示要从中选择多个扫描的扫描资源中的不同扫描。在本实施例中可以看出，扫描资源中的第一扫描是从2016年的，并且最新的扫描是从2019年10月的。

在当前设置中，用户选择了第一图像区域2601中的两个扫描2604、2605已被选择。这反映在时间线2611中，其中突出示出了两个标记26121和26122以指示时间线中的该选择。

因此，可以理解，时间线给出了扫描资源中所有扫描的良好概览，而第一图像区域提供了更详细的视图，该视图具有用户决定是否应当选择扫描以进行进一步处理所需的信息。

当已经选择了期望的扫描时，用户可以发送这些多个扫描以进行进一步处理，例如在如本文公开的用于以图形方式呈现多个扫描的方法中。

为了进一步帮助用户选择扫描，提供了第三搜索区域2620，其中提供了搜索过滤器2621、2622。这允许用户搜索特定时间段、仅搜索全颌扫描或仅彩色扫描。

用于对扫描进行分组的一个特别有利的特征是时间线视图2622。在图22中，这被设置为时间线视图，其示出了按所进行的时间连续排序的所进行的扫描。但是，也可以选择指示视图，并且扫描将按它们被进行的指示进行排序。例如，如果对用户执行了透明矫正器治疗，则可以选择透明矫正器视图并显示对这样的治疗的所有扫描。其他治疗可以是例如其他正畸治疗，例如托槽治疗，或修复治疗，例如牙冠或牙桥、种植物治疗和许多其他治疗。这样的指示视图对用户非常有利，因为监视特定治疗/适应症类型的治疗进展通常更有意义，而不是从长时间进行的大扫描池中选择任意扫描。

除了搜索和过滤扫描之外，还可以添加附加标签。例如，“基线”标签2630和“新”标签2631已分别添加到扫描2602和2605。这允许用户通过使用第四热键区域2640中的热键之一来进行快速选择。在当前实施例中示出了三个热键2641、2642、2643。第一热键2641一次选择所有扫描。第二热键选择最近的两个扫描进行处理。第三热键获取“基线”扫描和“新”扫描，并将它们发送以进行进一步处理。

此外，可以将不同类型的自定义用户定义标签添加到单独的扫描中，并随后用于过滤目的。这样的自定义标签可以是直接添加到个人扫描元数据的临床观察或评论。智能搜索引擎可以对相关标签进行分组，并在过滤时为用户呈现简化的列表。这样的临床评论可能是：牙龈炎进展、龋齿进展、牙齿侵蚀进展。

为了进一步处理所选择的多个扫描，用户将点击“确认并继续”按钮2650。这里还示出了用户从扫描资源中选择了多少扫描。

此处公开的用于呈现图形表示的方法和用于选择多个扫描的用户界面可以例如在本领域公知的计算机系统2770中实现，如图27所示。

计算机系统包括计算机设备2771，例如标准膝上型或台式PC。计算机设备包括用于存储和读取数据(例如程序代码或表示多个扫描的数据)的计算机可读介质2772。计算机可读介质2772例如可以是硬盘驱动器或RAM。为了执行所公开的方法，微处理器2773将读取程序代码并执行它。

诸如计算机监视器或AR/VR谷歌之类的视觉显示单元2776可用于呈现用于选择多个扫描的用户界面和/或随后基于执行的程序代码如本文公开地呈现患者随时间推移的口腔状况的图形表示。

提供输入设备，例如计算机键盘2774或计算机鼠标2775，以向计算机提供输入。例如，输入可以是为了让用户从数据库中选择和加载多个扫描。替代地，可以激活连接到系统的3D扫描设备2777以获得患者的扫描，该扫描可以被使用并与包括先前扫描的历史记录进行比较。

因此，获得多个扫描的步骤可以例如由从数据库检索扫描的微处理器2773提供。确定至少一个边界的步骤可以由微处理器通过执行存储在计算机可读介质2772上的程序代码来提供。呈现多个扫描的步骤可以例如由视觉显示单元2776完成。

尽管已经详细描述和示出了一些实施例，但本发明不限于它们，而是还可以在所附权利要求限定的主题的范围内以其他方式实施。特别地，应当理解，在不脱离本发明的范围的情况下，可以利用其他实施例并且可以进行结构和功能修改。

在列举若干装置的设备权利要求中，这些装置中的若干可以由一个且相同的硬件项目来体现。某些措施在相互不同的从属权利要求中陈述或在不同实施例中描述的仅仅事实并不表示这些措施的组合不能有利地使用。

权利要求可以指任何前述权利要求，并且“任何”被理解为表示前述权利要求中的“任何一个或多个”。

本说明书中使用的术语“获得”可以指使用医学成像设备物理地获取例如医学图像，但它也可以指例如将先前获取的图像或数字表示加载到计算机中。

应当强调的是，在本说明书中使用的术语“包括/包含”用于指定所述特征、整数、步骤或组件的存在，但不排除一个或多个其他特征、整数、步骤、组件或其组的存在或添加。

上面和下面描述的方法的特征可以在软件中实现并且在数据处理系统或由计算机可执行指令的执行引起的其他处理装置上执行。指令可以是从存储介质或经由计算机网络从另一计算机加载到诸如RAM的存储器中的程序代码装置。替代地，所描述的特征可以通过硬连线电路而不是软件或与软件结合来实现。

实施例

1.一种用于呈现随时间推移的患者的口腔状况的图形表示的计算机实现的方法，其中该方法包括，

-获得多个扫描，每个扫描表示患者在特定时间的口腔状况，并且其中，每个扫描包括定义扫描的范围的扫描边界，

-确定至少一个修改的边界，和

-以时间序列呈现多个扫描，其中，相应的多个扫描中的每一个的扫描边界已经基于至少一个修改的边界之一被修改。

2.根据实施例1的方法，以时间序列呈现多个扫描，其中相应的多个扫描中的每一个的扫描边界已经基于至少一个修改的边界之一被修改的步骤，还包括：至少一个修改的边界被用作用于以时间序列在多个扫描中的至少两个之间变形的参考。

3.根据实施例2的方法，其中基于至少一个修改的边界来定义基域。

4.根据实施例3的方法，其中在至少一个修改的边界内生成规则网格。

5.根据实施例4的方法，其中通过对网格应用多个扫描并通过确定多个扫描中的每一个中从规则网格中的小面的中点到相应小面的最近点来重新网格化来细化规则网格，并且如果差大于阈值则细分小面。

6.根据实施例5的方法，其中细化的规则网格被应用于多个扫描。

7.根据实施例1-6中任一项的方法，其中每个扫描和/或应用的细化的规则网格的至少一些顶点被指定为表示患者的牙龈或牙齿。

8.根据实施例7的方法，其中，如果对应顶点表示牙龈，则根据牙龈变换，如果对应顶点表示牙齿，则根据牙齿变换，渲染多个扫描中的两个的对应顶点之间的变形，其中，牙龈变换和牙齿变换是不同的。

9.根据实施例8的方法，其中牙齿变换比牙龈变换具有更高的刚性变换权重。

10.根据实施例9的方法，其中牙龈变换是流体变换并且其中牙齿变换是组合的刚性和流体变换，其中至少50％是刚性变换，优选至少60％，特别是至少70％。

11.根据实施例10的方法，其中刚性变换包括保持以下网格度量中的一个或多个：边缘之间的角度、面之间的角度和顶点之间的长度。

12.根据实施例11的方法，其中流体变换不保持该变换保持的网格度量中的至少一个。

13.根据实施例3的方法，通过至少一个修改的边界拟合平面，将至少一个修改的边界投影到该平面，并将基域定义为由投影的至少一个修改的边界定义的平面。

14.根据实施例2-13中任一实施例的方法，其中将多个扫描的扫描边界设置为至少一个修改的边界。

15.根据实施例2-14中任一实施例的方法，其中多个扫描中的每一个被映射到基域。

16.根据实施例15的方法，其中多个扫描中的每一个被展平到基域。

17.根据实施例15或16的方法，其中当被映射到基域时，预定网格被应用于多个扫描中的每一个。

18.根据实施例17的方法，其中将多个扫描返回到3D域。

19.根据实施例18的方法，其中通过将预定网格的顶点返回到3D域中来将多个扫描返回到3D域。

20.根据实施例19的方法，其中通过在相应的多个扫描的预定网格中的对应顶点之间线性变换来提供以时间序列的多个扫描之间的变形。

21.根据实施例1的方法，其中以时间序列呈现多个扫描，其中，相应的多个扫描中的每一个的扫描边界已经基于至少一个修改的边界之一修改的步骤，包括：相应的多个扫描中的每一个的扫描边界至少部分地修改为至少一个修改的边界之一。

22.根据实施例21的方法，其中至少一个修改的边界是预设边界。

23.根据实施例21或22的方法，其中基于从多个扫描中选择的参考扫描来确定至少一个修改的边界。

24.根据实施例21、22或23的方法，其中参考扫描的扫描边界被设置为至少一个修改的边界。

25.根据实施例21、22、23或24的方法，其中基于多个扫描中的至少两个来确定至少一个修改的边界。

26.根据实施例25的方法，其中基于多个扫描中的至少两个来确定至少一个修改的边界包括，

-分别确定多个扫描中的至少两个扫描的至少第一扫描边界和第二扫描边界，和

-基于至少第一扫描边界和第二扫描边界的平均边界确定至少一个修改的边界。

27.根据实施例26的方法，其中确定至少一个修改的边界还包括平滑平均边界的步骤。

28.根据实施例26或27的方法，其中在确定至少一个修改的边界之前平滑至少第一边界和第二边界中的每一个。

29.根据实施例1-19中任一实施例的方法，其中确定包括至少第一和第二修改的边界的多个修改的边界。

30.根据实施例29的方法，其中第一公共和第二修改的边界是具有不同大小和/或形状的预设边界。

31.根据实施例29的方法，其中第一修改的边界基于多个扫描中的至少两个确定，并且其中，第二修改的边界基于多个扫描中的至少两个确定，其中，用于确定第二修改的边界的多个扫描中的两个中的至少一个不同于用于确定第一修改的边界的多个扫描中的至少两个。

32.根据实施例29、30或31的方法，其中第一修改的边界是预设边界，并且第二修改的边界基于多个扫描中的至少两个确定。

33.根据实施例29、30、31或32的方法，其中将多个扫描中的第一组的扫描的扫描边界修改为第一修改的边界，并且包括与多个扫描中的第一组不同的扫描的第二组的扫描的扫描边界被修改为第二修改的边界。

34.根据实施例29、30、31、32或33的方法，其中多个修改的边界还包括第三或更多修改的边界，该第三或更多修改的边界包括预设边界或基于多个扫描中的至少两个确定的边界。

35.根据实施例33和34的方法，包括第三或更多组，该第三组或更多组包括与其他组的扫描不同的多个扫描中的数量，其中分别修改第三组或更多组的扫描的扫描边界到第三或更多修改的扫描边界。

36.根据实施例33或35的方法，其中第一、第二、第三和/或更多组是基于各个组中扫描的一个或多个时间变量来确定的。

37.根据实施例36的方法，其中时间变量是进行特定扫描时患者的年龄。

38.根据实施例36或37的方法，其中时间变量是在进行特定扫描时获取的患者大小参数，例如身高和/或体重。

39.根据实施例36、37或38的方法，其中时间变量是从牙科治疗开始或完成时起的时间。

40.根据实施例33-39中任一实施例的方法，其中第一、第二、第三和/或更多组基于一个或多个患者特性例如性别来确定。

41.根据实施例1-40中任一实施例的方法，其中至少两个扫描的扫描边界被修改为具有相同的至少一个修改的边界。

42.根据实施例1-41中任一实施例的方法，其中将至少一个修改的边界设置为多个扫描之一的扫描边界，并且其中多个扫描中的至少第二扫描的扫描边界被修改为至少一个修改的边界。

43.根据实施例1-42中任一实施例的方法，其中至少一个修改的边界是闭合样条。

44.根据实施例43的方法，其中闭合样条用作切削样条，用于去除切削样条外部的扫描数据。

45.根据实施例43或44的方法，其中闭合样条用作填充样条，用于将数据添加到填充样条内的扫描数据。

46.根据实施例1-45中任一实施例的方法，其中多个扫描作为体素数据获得。

47.根据实施例1-46中任一实施例的方法，其中多个扫描作为表面数据被处理/获得。

48.根据实施例47的方法，其中表面数据已经被进一步处理，使得多个扫描作为体积数据被获得/处理。

49.根据实施例1-48中任一实施例的方法，其中在获得扫描和呈现多个扫描之间进一步处理多个扫描中的至少一个。

50.根据实施例1-49中任一项的方法，其中多个扫描被分割以数字地识别扫描的牙齿和扫描的牙龈。

51.一种用于促进从包括随时间推移进行的扫描的扫描资源中选择多个扫描的用户界面，其中用户界面包括第一图像区域，其中显示至少多个扫描的至少图像缩略图，和第二时间线区域，其中为第一图像区域中的至少多个扫描提供视觉标记，并且其中如果通过第一图像区域中的用户交互选择对应的缩略图图像，则用户界面包括时间线中的视觉标记的突出显示。

52.一种用于促进从包括随时间推移进行的扫描的扫描资源中选择多个扫描的用户界面，其中用户界面包括第一图像区域，其中显示至少多个扫描的至少图像缩略图，和第二时间线区域，其中为第一图像区域中的至少多个扫描提供视觉标记，并且其中如果通过时间线中用户交互选择对应的视觉标记，则用户界面包括第一图像区域中缩略图图像的突出显示。

53.根据实施例51或52的用户界面，其中在时间线上为扫描资源中的每个扫描提供视觉标记。

54.根据实施例51、52或53的用户界面，其中扫描以指示排序。

55.根据实施例51-54中任一个的用户界面，其中第一图像区域中的缩略图表示来自扫描资源的扫描的子集。

56.根据权利要求55的用户界面，其中基于由用户通过用户交互确定的过滤要求来选择子集。

57.根据权利要求56的用户界面，其中过滤要求例如可以选自包括以下一个或多个的组：适应症(indication)(矫正治疗、托槽、透明矫正器、修复治疗、牙冠、牙桥、种植物、钻导器、假牙)、牙齿磨损、彩色扫描、荧光扫描、全牙弓扫描、龋齿、手术。

58.根据实施例51-57中任一实施例的用户界面，包括用户交互，其中用户可以将所选择的扫描作为多个扫描转发以进行进一步处理，例如，在根据实施例1-50的计算机实现的方法中。

Claims (16)

1.一种用于呈现随时间推移的患者的口腔状况的图形表示的计算机实现的方法，其中，所述方法包括，

-获得多个扫描，每个扫描表示患者在特定时间的口腔状况，并且其中，每个扫描包括定义扫描的范围的扫描边界，

-确定至少一个修改的边界，和

-以时间序列呈现多个扫描，其中，相应的多个扫描中的每一个的扫描边界已经基于该至少一个修改的边界之一被修改。

2.根据权利要求1所述的方法，其中，以时间序列呈现多个扫描，其中，相应的多个扫描中的每一个的扫描边界已经基于该至少一个修改的边界之一被修改的步骤，还包括：该至少一个修改的边界被用作用于以时间序列在多个扫描中的至少两个之间变形的参考。

3.根据权利要求2所述的方法，其中，基于该至少一个修改的边界来定义基域。

4.根据权利要求1所述的方法，其中，以时间序列呈现多个扫描，其中，相应的多个扫描中的每一个的扫描边界已经基于该至少一个修改的边界之一修改的步骤，包括：相应的多个扫描中的每一个的扫描边界至少部分地修改为该至少一个修改的边界之一。

5.根据权利要求4所述的方法，其中，所述至少一个修改的边界是预设边界。

6.根据权利要求4或5所述的方法，其中，基于从多个扫描中选择的参考扫描来确定该至少一个修改的边界。

7.根据权利要求4、5或6所述的方法，其中，参考扫描的扫描边界被设置为该至少一个修改的边界。

8.根据权利要求4、5、6或7所述的方法，其中，基于多个扫描中的至少两个来确定该至少一个修改的边界。

9.根据权利要求8所述的方法，其中，基于多个扫描中的至少两个来确定该至少一个修改的边界包括，

-分别确定多个扫描中的至少两个扫描的至少第一扫描边界和第二扫描边界，和

-基于该至少第一扫描边界和第二扫描边界的平均边界确定至少一个修改的边界。

10.根据权利要求1-9中任一项所述的方法，其中，确定多个修改的边界，至少包括第一修改的边界和第二修改的边界。

11.根据权利要求10所述的方法，其中，第一公共和第二修改的边界是具有不同大小和/或形状的预设边界。

12.根据权利要求10所述的方法，其中，第一修改的边界基于多个扫描中的至少两个确定，并且其中，第二修改的边界基于多个扫描中的至少两个确定，其中，用于确定第二修改的边界的多个扫描中的两个中的至少一个不同于用于确定第一修改的边界的多个扫描中的至少两个。

13.根据权利要求10、11或12所述的方法，其中，多个扫描中的第一组的扫描的扫描边界被修改为第一修改的边界，并且包括与多个扫描中的第一组不同的扫描的第二组的扫描的扫描边界被修改为第二修改的边界。

14.根据权利要求10、11、12或13所述的方法，其中，多个修改的边界还包括第三或更多修改的边界，该第三或更多修改的边界包括预设边界或基于多个扫描中的至少两个确定的边界。

15.根据权利要求13所述的方法，其中，基于相应组中的扫描的一个或多个时间变量来确定第一组和第二组和/或更多组。

16.根据权利要求1-15中任一项所述的方法，其中，至少两个扫描的扫描边界被修改为具有相同的至少一个修改的边界。

Images