[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN101689309A - 视频数据和三维模型数据的同步视图 - Google Patents

视频数据和三维模型数据的同步视图 Download PDF

Info

Publication number
CN101689309A
CN101689309A CN200880022665A CN200880022665A CN101689309A CN 101689309 A CN101689309 A CN 101689309A CN 200880022665 A CN200880022665 A CN 200880022665A CN 200880022665 A CN200880022665 A CN 200880022665A CN 101689309 A CN101689309 A CN 101689309A
Authority
CN
China
Prior art keywords
images
video
image
skeleton view
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880022665A
Other languages
English (en)
Inventor
雅诺什·罗哈利
罗伯特·N·那扎尔
爱德华·K·塔克安
伊利亚·A·克里夫斯阔
埃里克·B·帕里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3M Innovative Properties Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Priority to CN201510413611.3A priority Critical patent/CN105096372B/zh
Publication of CN101689309A publication Critical patent/CN101689309A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明描述用于制备牙科修复件制备工艺中使用的数字牙科模型的工具,连同描述相关的系统和方法。通过用建模的目标物的静止图像补充三维模型的视图改进牙科建模。在模型扫描期间采集的视频数据提供静止图像的源,该静止图像可随同绘制的三维模型显示,并且可以将两个视图(模型和静止图像)同步,从而得到模型目标物的通用透视图。该方法提供可用的可视信息,以用于在例如标记供修复件所用的制备的牙齿表面的边缘的处理步骤期间消除表面特征的二义性。可以相似地增强交互式建模工具。例如,用于边缘标记的工具可以同步静止图像与模型之间的边缘线的显示,从而用户可与可视表现中的任一者或两者进行交互,并对两个显示中反映的边缘均进行改变。

Description

视频数据和三维模型数据的同步视图
相关专利申请的交叉参考
本申请要求于2007年6月29日提交的序列号为60/947009的美国临时专利申请的优先权。
背景技术
1.技术领域
本发明涉及牙医学,更具体地讲,涉及用于在齿列的三维数字模型上标记边缘的工具和技术。
2.相关技术的描述
牙科技术的最新进展已经使得捕集高度准确的数字牙印模成为可能。目前的扫描技术概念性地提供足够的分辨率,从而直接制备用于各种牙科修复件(例如,牙桥、牙冠等等)以及牙科矫正器、牙科假体等的物理模型。然而,在获得重要区域(例如制备的牙表面的边缘)周围的准确的三维数据方面,口内扫描存在许多物理障碍。这包括制备的牙齿周围的组织壁的伸缩、以及会积聚并模糊一部分边缘的血液、唾液、等等。在这种情形下,仅仅根据所得的三维模型,不能轻易识别或者分辨所得三维扫描中的模糊之处。
需要改进的技术来处理数字牙科模型。例如,需要改进的边缘标记工具来辅助数字制备牙科修复件。
发明内容
通过用建模的目标物的静止图像来补充三维模型的视图,改进了用于牙科修复件的数字制备工艺。在模型扫描期间采集的视频数据提供了静止图像的源,该静止图像可沿着绘制的三维模型显示,并且可以将两个视图(模型和静止图像)同步,从而得到模型目标物的共同的透视图。该方法提供了可用的可视信息,以用于在例如标记供修复件所用的制备的牙齿表面的边缘的处理步骤期间消除表面特征的二义性。可以类似地增强交互式建模工具。例如,用于边缘标记的工具可以将静止图像与模型之间的边缘线显示同步,使得用户可以与可视表现中的任一者或者两者交互作用。
在一个方面,本文所公开的方法包括利用图像集序列生成三维模型,每个图像集包括目标物的多个图像,所述多个图像中的每一个是从不同的光学轴线采集的,所述多个图像包括至少一个视频图像;从所述图像集序列中选择视频图像,所述视频图像包括得自透视图的目标物的视图;在用户界面中显示视频图像;并且在用户界面中利用透视图绘制三维模型。
所述方法可包括从图像集序列中选择不同的视频图像,所述不同的视频图像包括得自第二透视图的目标物的第二视图;并且利用第二透视图绘制三维模型。选择不同的视频图像可包括接收对多个缩略图中的一个的用户选择。选择不同的视频图像可包括从视频时间轴控制器接收用户输入。所述透视图可包括相对于目标物的三维视点。所述透视图可包括距目标物的距离。生成三维模型可包括利用多孔径摄像机采集多个图像集。生成三维模型可包括从多孔径摄像机的中心通道采集视频图像。
本文所公开的计算机程序产品包括在计算机可读介质上体现的计算机可执行代码,当所述计算机可执行代码在一个或多个计算机设备上执行时,执行如下步骤:利用图像集序列生成三维模型,每个图像集包括目标物的多个图像,所述多个图像中的每一个是从不同的光学轴线采集的,所述多个图像包括至少一个视频图像;从所述图像集序列中选择包括得自透视图的目标物的视图;在用户界面中显示视频图像;以及在用户界面中利用透视图来绘制三维模型。
所述计算机程序产品可包括执行如下步骤的计算机可执行代码:从图像集序列中选择不同的视频图像,所述不同的视频图像包括得自第二透视图的目标物的第二视图;以及利用第二透视图绘制三维模型。选择不同的视频图像可包括接收对多个缩略图中的一个的用户选择。选择不同的视频图像可包括从视频时间轴控制器接收用户输入。所述透视图可包括相对于目标物的三维视点。所述透视图可包括距目标物的距离。生成三维模型可包括利用多孔径摄像机采集多个图像集。生成三维模型可包括计算机可执行代码,所述计算机可执行代码可执行如下步骤:从多孔径摄像机的中心通道采集视频图像。
本文所公开的系统包括用于利用图像集序列生成三维模型的生成装置,其中每个图像集包括目标物的多个图像,所述多个图像中的每一个是从不同的光学轴线采集的,所述多个图像包括至少一个视频图像;用于从图像集序列中选择视频图像的选择装置,所述视频图像包括得自透视图的目标物的视图;用于在用户界面中显示视频图像的显示装置;以及用于在用户界面中利用透视图绘制三维模型的绘制装置。
所述系统可包括用于从图像集序列中选择不同的视频图像的第二选择装置,所述不同的视频图像包括得自第二透视图的目标物的第二视图,其中绘制装置利用第二透视图绘制三维模型。选择不同的视频图像可包括接收对多个缩略图中的一个的用户选择。选择不同的视频图像可包括从视频时间轴控制器接收用户输入。所述透视图可包括相对于目标物的三维视点。所述透视图可包括距目标物的距离。生成三维模型可包括利用多孔径摄像机采集多个图像集。采集多个图像集可包括从多孔径摄像机的中心通道采集视频图像。
在另一方面,本文所公开的方法包括利用图像集序列生成三维模型,其中每个图像集包括目标物的多个图像,所述多个图像中的每一个是从不同的光学轴线采集的,所述多个图像包括至少一个视频图像;在用户界面中利用透视图来绘制三维模型;从图像集序列中选择包括与透视图最紧密相关的目标物的视图的视频图像;以及在用户界面中显示视频图像。
所述目标物可包括齿列,所述方法包括提供用于标记齿列边缘的工具。所述方法可包括接收对三维模型的新透视图的用户选择以及从图像集序列中选择不同的视频图像,所述不同的视频图像包括得自第二透视图的目标物的第二视图;以及利用新透视图绘制三维模型。所述方法可包括提供缩放控制器、平移控制器以及旋转控制器中的一种或多种,以便接收用户选择。所述透视图可包括相对于目标物的三维视点。所述透视图可包括距目标物的距离。生成三维模型可包括利用多孔径摄像机采集多个图像集。采集多个图像集可包括从多孔径摄像机的中心通道采集视频图像。所述方法可包括从图像集序列中选择多个视频图像,并且合成复合视频图像(结合了得自所述多个视频图像的数据),以获得目标物的视图。所述复合视频图像的分辨率可高于所述多个视频图像中的任何一个的分辨率。
本文所公开的计算机程序产品包括在计算机可读介质上体现的计算机可执行代码,当所述计算机可执行代码在一个或多个计算机设备上执行时,执行如下步骤:利用图像集序列生成三维模型,其中每个图像集包括目标物的多个图像,所述多个图像中的每一个是从不同的光学轴线采集的,所述多个图像包括至少一个视频图像;在用户界面中利用透视图来绘制三维模型;从图像集序列中选择包括与透视图最紧密相关的目标物的视图的视频图像;以及在用户界面中显示视频图像。
所述目标物可包括齿列,所述计算机程序产品包括提供用于标记齿列边缘的工具。所述计算机程序产品可包括执行以下步骤的计算机可执行代码:接收对三维模型的新透视图的用户选择;从图像集序列中选择不同的视频图像,所述不同的视频图像包括得自第二透视图的目标物的第二视图;以及利用新透视图绘制三维模型。
所述计算机程序产品还可包括执行如下步骤的计算机可执行代码:提供缩放控制器、平移控制器以及旋转控制器中的一种或多种以便接收用户选择。所述透视图可包括相对于目标物的三维视点。所述透视图可包括距目标物的距离。生成三维模型可包括利用多孔径摄像机采集多个图像集。采集多个图像集可包括从多孔径摄像机的中心通道采集视频图像。所述计算机程序产品还可包括执行如下步骤的计算机可执行代码:从图像集序列中选择多个视频图像,并且合成复合视频图像(结合了得自所述多个视频图像的数据),以获得目标物的视图。所述复合视频图像的分辨率可高于所述多个视频图像中的任何一个的分辨率。
本文所公开的系统包括用于利用图像集序列生成三维模型的生成装置,其中每个图像集包括目标物的多个图像,所述多个图像中的每一个是从不同的光学轴线采集的,所述多个图像包括至少一个视频图像;用于在用户界面中利用透视图来绘制三维模型的绘制工具;用于从图像集序列中选择包括与透视图最紧密相关的目标物的视图的选择装置;以及用于在用户界面中显示视频图像的显示装置。
所述目标物可包括齿列,所述系统包括提供用于标记齿列边缘的工具。所述选择装置可包括用于接收对三维模型的新透视图的用户选择以及从图像集序列中选择不同的视频图像的装置,所述不同的视频图像包括得自第二透视图的目标物的第二视图;以及利用新透视图绘制三维模型。所述选择装置可包括用于提供缩放控制器、平移控制器以及旋转控制器中的一种或多种以便接收用户选择的装置。所述透视图可包括相对于目标物的三维视点。所述透视图可包括距目标物的距离。所述生成装置可包括利用多孔径摄像机采集多个图像集的装置。所述生成装置可包括从多孔径摄像机的中心通道采集视频图像的装置。所述系统可包括第二选择装置,其用于从图像集序列中选择多个视频图像,并且合成复合视频图像(结合了得自所述多个视频图像的数据),以获得目标物的视图。所述复合视频图像的分辨率可高于所述多个视频图像中的任何一个的分辨率。
在另一方面,本文所公开的方法包括利用图像集序列生成三维模型,其中每个图像集包括目标物的多个图像,每个图像集中的所述多个图像中的每一个是从不同的光学轴线采集的;在第一窗口中显示所述多个图像中的一个;在第二窗口中绘制三维模型并且使第一窗口和第二窗口同步以提供目标物的通用透视图。
所述方法可包括接收对所述多个图像中的一个不同图像的用户选择,以及旋转三维模型,以保持通用透视图。所述方法可包括接收对所述多个图像中的一个不同图像的用户选择,以及平移三维模型,以保持通用透视图。所述方法可包括接收对所述多个图像中的一个不同图像的用户选择,以及缩放三维模型,以保持通用透视图。所述方法可包括接收对三维模型的不同透视图的用户选择,以及选择所述多个图像中的一个新图像,以保持通用透视图。所述方法可包括接收对三维模型的不同透视图的用户选择以及利用所述多个图像中的两个或更多个生成复合视频图像以提供目标物的通用透视图。
本文所公开的计算机程序产品包括在计算机可读介质上实现的计算机可执行代码,当所述计算机可执行代码在一个或多个计算机设备上执行时,执行如下步骤:利用图像集序列生成三维模型,其中每个图像集包括目标物的多个图像,每个图像集中的所述多个图像中的每一个是从不同的光学轴线采集的;在第一窗口中显示所述多个图像中的一个;在第二窗口中绘制三维模型并且使第一窗口和第二窗口同步以提供目标物的通用透视图。
所述计算机程序产品可包括执行如下步骤的计算机可执行代码:接收对所述多个图像中的一个不同图像的用户选择,以及旋转三维模型,以保持通用透视图。所述计算机程序产品可包括执行如下步骤的计算机可执行代码:接收对所述多个图像中的一个不同图像的用户选择,以及平移三维模型,以保持通用透视图。所述计算机程序产品可包括执行如下步骤的计算机可执行代码:接收对所述多个图像中的一个不同图像的用户选择,以及缩放三维模型,以保持通用透视图。所述计算机程序产品可包括执行如下步骤的计算机可执行代码:接收对三维模型的不同透视图的用户选择,以及选择所述多个图像中的一个新图像,以保持通用透视图。所述计算机程序产品可包括执行如下步骤的计算机可执行代码:接收对三维模型的不同透视图的用户选择以及利用所述多个图像中的两个或更多个生成复合视频图像以提供目标物的通用透视图。
本文所公开的系统包括利用图像集序列生成三维模型的生成装置,其中每个图像集包括目标物的多个图像,每个图像集中的所述多个图像中的每一个是从不同的光学轴线采集的;用于在第一窗口中显示所述多个图像中的一个的显示装置;用于在第二窗口中绘制三维模型的绘制装置;以及用于使第一窗口和第二窗口同步以提供目标物的通用透视图的同步装置。
所述系统可包括用于接收对所述多个图像中的一个不同图像的用户选择,以及旋转三维模型,以保持通用透视图的控制装置。所述系统还可包括用于接收对所述多个图像中的一个不同图像的用户选择,以及平移三维模型,以保持通用透视图的控制装置。所述系统可包括用于接收对所述多个图像中的一个不同图像的用户选择,以及缩放三维模型,以保持通用透视图的控制装置。所述系统可包括用于接收对三维模型的不同透视图的用户选择,以及选择所述多个图像中的一个新图像,以保持通用透视图的控制装置。所述系统可包括用于接收对三维模型的不同透视图的用户选择,以及利用所述多个图像中的两个或更多个生成复合视频图像,以提供目标物的通用透视图的控制装置。
在另一方面,本文所公开的方法包括显示得自透视图的齿列的三维模型;提供齿列的多个视频图像;从多个视频图像中选择示出得自透视图的齿列的一个视频图像;随所述三维模型在用户界面中显示所述多个视频图像中的所述一个,作为视觉确定所述齿列的边缘的辅助手段。
所述方法可包括在多个视频图像中的一个或者三维模型中的一个或多个上显示边缘。显示边缘还可包括接收对边缘的用户修正以及利用修正的边缘更新显示。
本文所公开的系统包括具有用于显示得自透视图的齿列的三维模型的窗口的显示器;提供齿列的多个视频图像的摄像机;用于从多个视频图像中选择示出得自视频图的齿列的选择装置;以及显示器中用于显示所述多个视频图像中的一个以辅助视觉确定齿列边缘的第二窗口。
所述系统可包括用于在多个视频图像中的一个或者三维模型中的一个或多个上显示边缘的边缘显示装置。边缘显示装置可包括用于接收对所述边缘的用户修正以及利用修正的边缘更新显示的边缘修正装置。
本文所公开的计算机程序产品包括计算机可执行代码,当所述计算机可执行代码在一个或多个计算机设备上执行时,执行如下步骤:显示得自透视图的齿列的三维模型;提供齿列的多个视频图像;从多个视频图像中选择示出得自透视图的齿列的一个视频图像;随所述三维模型在用户界面中显示所述多个视频图像中的所述一个,作为视觉确定所述齿列的边缘的辅助手段。
所述计算机程序产品可包括执行如下步骤的计算机可执行代码:在多个视频图像中的一个或者三维模型中的一个或多个上显示边缘。显示边缘可包括执行如下步骤的计算机可执行代码:接收对所述边缘的用户修正以及利用修正的边缘更新显示。
附图说明
通过参照下面的附图,可以理解本发明和下面某些实施例的具体实施方式。
图1示出了牙科图像捕集系统。
图2为用于牙科对象的一般化制备工艺的框图。
图3为牙科对象制造工艺的高级流程图。
图4示出了使用本文所述的工具用于数字牙科模型的一般化工艺。
图5示出了图形模具切削操作。
图6示出了图形模具切削操作。
图7示出了图形边缘标记操作。
图8示出了图形形成沟槽操作。
图9示出了自动边缘标记技术。
图10示出了视觉辅助边缘标记的用户界面。
具体实施方式
本文所述的是根据从口内扫描捕集到的三维数字数据解决用于牙科修复件的边缘的识别、精修、和其它操纵的系统和方法。虽然说明重点放在某些扫描技术和专用于在由这些扫描技术获得的数字牙印模上标记边缘的某些技术,但是应当理解,对于本领域的普通技术人员来说,以下方法和系统的另外的变型形式、适应性改变、和组合(例如没有具体描述的牙科修复件的制造、或下面牙科领域之外的技术的使用)将显而易见。例如,本文所述的技术可以用于精修三维动画模型,其得自扫描物理对象、或机器视觉背景,以标记或评价被扫描的对象。所有这些变型形式、适应性改变、和组合旨在属于本发明的范围内。另外应当理解,本发明所描述的方法和系统可以用于模型的核实和验证、以及任何其它应用,其中可在视频图像和对应的三维模型之间进行有用的比较。
在下面的说明中,术语“图像”通常是指在图像平面内形成对象的二维视图的二维像素集。术语“图像集”通常是指可分解成三维数据的相关二维图像的集。术语“点云”通常是指形成由多个二维视图重新构建的对象的三维视图的三维点集。在三维图像捕集系统中,多个这样的点云另外可以被对准并且组合成由移动摄像机捕集到的图像构造的聚集点云。因此,应当理解,除非另一个含义被具体说明或从上下文来看是清楚的,否则像素通常是指二维数据,并且点通常是指三维数据。
除非不同的含义被明确规定或从上下文来看是清楚的,否则如本文所用的术语“三维表面表示”、“数字表面表示”、“三维表面映射”、等等旨在是指对象(例如表面数据的点云、二维多边形的集)的任何三维表面映射、或表示对象表面的全部或一部分的任何其它数据,如可通过捕集和/或处理三维扫描数据获得的。
除非不同的含义被明确规定或从上下文来看是清楚的,否则“三维表示”可以包括上述任意三维表面表示、以及体积表示和其它表示。
通常,术语“绘制”是指例如用于监视器上显示的三维对象的二维形象化。然而,应当理解,存在三维绘制技术,并且其可以有效地被用于本文所公开的系统和方法。例如,本文所述的系统和方法可以有效地采用全息显示、自动立体显示、用立体影片眼镜观看的显示、头戴式立体显示、或任何其它的二维显示和/或三维显示。由此,本文所述的“绘制”应该以广义的方式解释,除非明确提供较狭义的含义或以其它方式从上下文来看是清楚的。
如本文所用,术语“牙科对象”旨在广义地指专用于牙科的目标物。这可以包括口内结构体,例如齿列,更通常是人类的齿列,例如单颗牙齿、象限、全弓、成对的弓(可以是单独或闭合的多种类型)、软组织、等等,以及骨头和任何其它的支承结构体或环绕结构体。如本文所用,术语“口内结构体”是指如上所述口内的天然结构体和口中可能存在的人造结构体(例如任意的下述牙科对象)牙科对象可以包括“修复件”,其通常可以被理解为包括修复现有齿列的结构或功能的组件(例如牙冠、牙桥、镶面、嵌体、高嵌体、汞合金、复合材料)、和多种结构体(例如顶盖等)、以及在制造永久修复件时所使用的暂时修复件。牙科对象也可以包括用可移除结构或永久结构(例如整副假牙、部分假牙、植入物、固位假牙、等等)替代齿列的“假体”牙科对象也可以包括用于校正、对准、或以其它方式暂时或永久地调整齿列的“器具”,例如可移动正畸器具、手术支架、磨牙器具、阻鼾器、间接支架安置器具、等等。牙科对象也可以包括长时间固定到齿列的“硬件”,例如种植体定位器、种植体基牙、正畸托架和其它正畸组件。牙科对象也可以包括牙科制造中的“临时组件”,例如牙科模具(全部和/或部分的)、蜡形、包埋料模、等等,以及托盘、基座、模具、和修复件、假牙等制造中采用的其它组件。牙科对象另外可以被归类为天然牙科对象,例如牙齿、骨头、和上述其它口内结构体或人工牙科对象,例如修复件、假牙、器具、硬件、和上述牙科制造中的临时组件。
例如“数字牙科模型”、“数字牙印模”、等等的术语旨在是指可以用在采集、分析、处方、和制造的多种方面的牙科对象的三维表示,除非不同的含义被以其它方式明确规定或从上下文来看是清楚的。例如“牙科模具”或“牙印模”的术语旨在是指物理模具,例如铸件、印刷的、或以其它方式加工的牙科对象的物理实例。除非被指定,术语“模型”单独使用时可以是指物理模型和数字模型中的任一者或两者。
还应当理解,例如“工具”或“控制”的术语当用于描述用户界面的方面时通常旨在是指:在图形用户界面或其它用户界面内可以采用多种技术来接收用户输入,该用户输入激励或控制处理,包括(但不限于)下拉列表、单选按钮、光标和/或鼠标操作(点选、区域选、拖放操作、等等)、复选框、命令行、文本输入字段、消息和告警、进度条等。因此,在下面的描述中,除非更具体的含义被以其它方式明确规定或从上下文来看是清楚的,否则术语“工具”、“控制”等等应当被广义地理解。
图1示出了图像捕集系统。通常,系统100可以包括扫描仪102,其从目标物104(例如牙科病人)的表面106捕集图像,并且将图像转送到计算机108,其可以包括显示器110以及一个或多个用户输入装置,例如鼠标112或键盘114。扫描仪102也可以包括输入或输出装置116,例如控制输入件(如,按钮、触摸盘、拇指轮等)或显示器(如,LCD或LED显示器),以提供状态信息。
扫描仪102可以包括适用于捕集图像的任何摄像机或摄像机系统,三维点云可以从图像中恢复。例如,扫描仪102可以采用本发明所公开的多孔系统,例如在美国专利中请No.11/530,413(授予Rohály等人)中所公开的多孔系统,其全部内容以引用方式并入本文。虽然Rohály公开了一种多孔系统,但是应当理解,可以相似地采用适用于由多个二维图像重新构建三维点云的任何多孔系统。在一个多孔实施例中,扫描仪102可以包括多个孔(包括沿着透镜的中心光学轴线设置的中心孔),其与任何相关的成像硬件一道提供用于扫描仪102的中心通道。在这类实施例中,中心通道可以提供被扫描的目标物的常规视频图像。在其它实施例中,可以设置单独的摄像机和/或通道,以用于优选地从相同的透视图或从与扫描仪102的透视图具有固定已知关系的透视图实现相同的结果,即与对象的扫描在时间上对应的对象的视频。扫描仪102也可以(或替代地)包括立体、三维视觉或其它多摄像机或其它构造,在这些构造中,多个摄像机或光程彼此保持固定关系,以从多个略微不同的透视图得到对象的二维图像。扫描仪102可以包括合适的处理,以用于从一个图像集或多个图像集衍生三维点云,或可以将每一个二维图像集发送到外部处理器,例如下述计算机108中所包含的处理器。在其它实施例中,扫描仪102可以采用结构化的光源、激光扫描、直接测距、或适用于采集三维数据、或可分解成三维数据的二维数据的任何其它技术。虽然下述技术可以有效地采用通过基于视频的三维扫描系统采集的视频数据,但是应当理解,捕集与三维数据采集同时期出现、或以其它方式同步出现的合适视频数据的视频采集系统可以补充任何其它三维扫描系统。
在一个实施例中,扫描仪102是手持的可自由定位的探测器,其具有至少一个用户输入装置116,例如按钮、控制杆、拨号盘、拇指轮、开关、等等,以用于供用户控制图像捕集系统100来(例如)开始扫描和停止扫描。在实施例中,扫描仪102可以成形并设置尺寸,以用于牙科扫描。更具体地讲,扫描仪可以成形并设置尺寸,从而通过插入成像对象的口中并且以合适的距离经过口内表面106的上方以采集牙齿、牙龈等的表面数据,以用于口内扫描和数据捕集。通过这样连续的采集过程,扫描仪102可以直接地或通过多种中间处理步骤,捕集表面数据的点云,该点云对于制备例如假体、硬件、器具、等等的牙科对象具有足够的空间分辨率和精确度。在其它实施例中,可以从例如牙科假体的牙科模型采集到表面数据,以确保使用此前对应的齿列(例如为牙科假体制备的牙齿表面)扫描进行正确的匹配。
虽然在图1中没有示出,但是应当理解,在图像采集期间可以有效地采用多个补充照明系统。例如,可以用照明目标物104的一个或多个聚光灯来增强环境照明,以加快图像采集并且提高景深(或空间分辨率的深度)。扫描仪102也可以(或替代地)包括频闪观测器、闪光灯、或其它光源,以在图像采集期间补充对目标物104的照明。
目标物104可以为任何对象、对象的集合、对象的一部分、或其它目标物。更具体地讲,关于本文所讨论的牙科技术,对象104可以包括从牙科病人口的口内采集到的人类齿列。扫描可以根据扫描的特定目的捕集齿列中的一部分或全部的三维表示。因此,扫描可以捕集牙齿、牙齿的象限、或包括两个相对的弓的全副牙齿、以及软组织或任何其它相关口内结构体的数字模型。扫描可以捕集多个表示,例如在制备修复件之前或制备修复件之后的牙齿表面。如以下将说明的,可以采用此数据以用于随后的建模,例如设计修复件或确定修复件的边缘线。在扫描期间,扫描仪102或单独的视频系统的中心通道可以从扫描仪的观测点捕集齿列视频。在其它实施例(例如,完成的制造件针对表面制备而被事实上测试装配到一起)中,扫描可以包括牙科假体,例如嵌体、牙冠、或任何其它牙科假体、牙科硬件、牙科器具等。目标物104也可以(或替代地)包括牙科模型、例如牙齿、软组织的筒形石膏夹、蜡形、印模、或负印模、或这些的一些组合。
计算机108可以是(例如)个人计算机或其它处理装置。在一个实施例中,计算机108可以包括双2.8GHz Opteron中央处理器、2GB随机存取存储器、TYAN Thunder K8WE主板、和250GB、10,000rpm硬盘驱动器。在一个当前实施例中,系统可进行操作,以使用本文所述的技术对每个图像实时捕集五千点以上,并且存储几白万个点的集合点云。当然,还可以(例如)通过抽取点云数据或产生对应的表面数据网格,对这种点云进行进一步处理,以使其适应随后的数据处理。如本文所用,术语“实时”意味着通常在处理和显示之间没有能察觉到的等待时间。在基于视频的扫描系统中,实时更具体地讲是指在视频数据帧之间的时间内的处理,而这根据每秒约十五帧和每秒约三十帧之间的特定视频技术而有差别。更一般地讲,计算机108的处理能力可以根据目标物104的尺寸、图像采集的速度、和所需的三维点的空间分辨率而有差别。计算机108也可以包括外围设备,例如键盘114、显示器110、和鼠标112,供用户与摄像机系统100进行互动。显示器110可以是触摸屏显示器,其能够通过与显示器110的直接物理互动来接收用户输入。在另一方面,显示器可以包括能够显示立体图像的自动立体显示器。
计算机108与扫描仪102之间的通信可以使用任何合适的通信链路,包括(例如)有线连接或根据(例如)IEEE 802.11的无线连接(另外称为无线以太网)、蓝牙、或任何其它合适的使用(如)射频、红外、或其它无线通信介质的无线标准。在医学成像或其它敏感应用中,可以确保从扫描仪102到计算机108的无线图像传输。计算机108可以针对扫描仪102产生控制信号,该控制信号除了包括图像采集指令外,还可以包括常规摄像机控制,例如聚焦或缩放。
在三维图像捕集系统100的一般操作实例中,在扫描仪102经过目标物的表面的上方时,扫描仪102可以在一定的视频速率下采集二维图像集。二维图像集可以转发到计算机108,以用于衍生三维点云。使用多个不同的技术,每一个新采集的二维图像集的三维数据可以衍生并配合或“缝合”至现有的三维数据。这种系统采用了摄像机运动估计,从而不需要对扫描仪102位置的独立追踪。这种技术的一个可用实例在2005年11月9日提交的共同拥有的美国专利申请No.11/270,135中有所描述,其全部内容以引用方式并入本文中。然而,应当理解,该实例不是限制性的,并且本文所述的原理可以应用于三维图像捕集系统的广大范围。
显示器110可以包括适用于以与采集到的数据对应的细节水平进行绘制的视频或其它速率的任何显示器。合适的显示器包括阴极射线管显示器、液晶显示器、发光二极管显示器等等。在一些实施例中,显示器可以包括触摸屏界面,其使用(例如)电容式、电阻式、或表面声波式(另外称为色散信号式)触摸屏技术、或用于感测与显示器110的物理互动的任何其它合适的技术。
图2为用于牙科对象的一般化制造工艺的参与者的概念框图。系统200可以从被扫描仪204扫描的病人202开始(例如上述扫描仪102和图像捕集系统100),以获得一个或多个口内结构体的数字表面表示206。这可以包括在制备了表面来接收牙科修复件或其它牙科对象之前和/或之后进行扫描。因此,(例如)预制备扫描可以用于捕集在生成修复件中可用的初始剖析的形状和任何咬合信息,并且制备的表面扫描可以用作生成修复件的基础,并且特别用于将修复件成形为制备表面。与上弓和下弓的取向和/或相对运动相关的咬合架数据另外可以通过对咬合中的弓进行一个或多个扫描获得,或通过其它技术获得,例如弓在多种取向中的静止图像或视频,或从弓直接捕集到的多种维度的测量,或在薄材料片材上捕集到的物理咬合对准。
可以由一个或多个后处理步骤208来处理数字表面表示206。这可以包括多种数据增强处理、质量控制处理、外观检测、转换成适用于快速原型机制造(或其它制造)的格式等。可以在能够对图像文件进行后处理的远程后处理中心或其它计算机设施(可以是(例如)牙科实验室或快速制造设施)执行后处理步骤。在一些情况下,可以由图像捕集系统100本身进行这个后处理。后处理可以涉及任意数量的清洁步骤,包括填充孔、移除无关项等。
数据增强可以包括(例如)平滑、平截、外推法、内推法、填充(如,表面与体积比)和任何其它合适的处理,以提高数字表面表示206的质量,或提高其用于预期目的的适用性。另外,可以使用多种后处理技术来增强空间分辨率。其它增强可以包括对数据的修改,例如事实上通过为每一个弓提供基座,将数字表面表示206形成为封闭的表面,或以其它方式制备用于后续制造步骤的数字表面表示。
在质量控制处理中,可以分析数字表面表示206是否存在不完整或不充分的扫描数据的区域或孔。另外可以自动检查数字表面表示206是否有针对被扫描的弓的不期望的曲率或不对称性、或采集到的数据中是否有其它明显的缺陷。其它质量控制处理可以包含额外的数据。例如,可以将对同一病人的当前扫描与此前扫描做比较。又如,为了评价表面制备的适用性和用于接纳修复件的任何环绕齿列,可以将牙科修复件的选择与制备用于修复件的牙齿表面扫描一起进行分析。更一般地讲,用于相对于数字表面表示206的质量、内部连贯性或预期使用来评价数字表面表示206中的数据的任何处理都可以用在后处理质量控制处理中。
例如通过在显示器上提供点云或采集到的表面数据网格的透视图绘制,也可以显示数字表面表示206,以供人们检测。例如,采集扫描的牙医或其它个人可以选择牙科模型(例如弓或特定牙齿)的一部分用于后续处理步骤中。手动选择模型和/或扫描的一部分可以显著地减少用于特定处理所需的数据量。另外,手动识别模型部分或视频数据中的任一个,然后可以自动过滤数据。例如,一旦牙医选择了用于后续处理的特定牙齿,就可以将与该牙齿不相关的视频数据或一个或多个相邻的牙齿从进一步处理中排除,并且可以(例如)不传输到下游处理,例如下述边缘标记系统。在此时、或后扫描处理的其它时间,用户可以查看数字表面表示206,以标注用于修复件的边缘。以下将更详细地描述该具体处理的细节。
在任何手动或自动后处理之后,如箭头209所示,可以将所得的数字模型传输到快速制造设施216。另外,可以传输任何合适形式的咬合架数据218,以在后续处理步骤、以及用于制造修复件、器具、硬件、等等的处方或其它说明书中使用。快速制造设施216可以为牙科实验室、牙医诊所的内部牙科实验室、或具有用于由数字模型制造物理模型的机械的任何其它设施。快速制造设施216可以(例如)包括铣削系统210、立体光刻系统212、或三维打印机214、或这些的某些组合。铣削系统210可以包括(例如)CNC铣床。铣削系统可以用于取材料块和生成多种输出品,包括全弓模型、模具、蜡形、包埋料室或最终的修复件或器具。这类块可以包括陶瓷基、颗粒板、蜡、金属或多种其它材料。另外可以使用例如得自Nobel Biocare Inc.的Procera和得自Sirona Inc.的Cerec的牙科铣削系统以生成最终的牙科硬件组件。立体光刻系统212可以包括(例如)3D Systems,Inc.的Viper System。三维打印机214可以包括(例如)得自3DSystems的InVision HR打印机。以下将更详细地描述这些制造技术中的每一个。
快速制造设施216可以使用咬合架数据218和数字模型以生成一个或多个牙科对象,例如一个或多个全弓模型220、一个或多个模具222、一个或多个蜡形224、一个和多个包埋料室226、和/或一个或多个最终的修复件或器具228。一些组件(例如模具222和弓220)可以插入咬合架模具234中,例如具有标准基部230或定制基部232的咬合架。牙科实验室可以采用多种这些组件以完成修复件236,其可以返回到牙医以被放置到牙科病人的齿列中/齿列上。
多个合适的快速制造设施在本领域是已知的,并且可以由本文所述的系统和方法来有效地采用。以下通过举例说明的方式而非限制的方式描述多个这类技术。
一种合适的技术是铣削。铣削通常是削减技术,其中材料从块被削减而不是添加。因此,可以有利地采用接近共同铣削形状的预切削的工件,以减少在铣削工作期间必须移除的材料量,这样在铣削加工过程中可以降低材料成本和/或节约时间。计算机化的数字控制的(CNC)铣削是一种合适的技术。用于牙科制造工艺的另一个可用的铣削技术是仿形铣削系统,其允许将三维形式从物理对象手动或自动转换成铣削目标。CNC铣削技术和其它铣削技术可用于制造牙科模型、牙科模型组件、蜡形、包埋料室、和其它牙科对象。另外,存在专用牙科铣削设备,例如得自SironaDental的Cere系统。可以适于本文所述的牙科应用中的所有铣削系统旨在属于本文所述的快速制造设施的范围内。
另一个合适的技术是使用立体光刻设备(SLA)的立体光刻技术。通常,SLA采用激光来顺序地固化聚合物(通常是光致固化型液态树脂)的层,以使其具有限定三维对象的图案。SLA的一个可用的商业实施例是可得自Sony Corporation的SCS-1000HD。立体光刻非常适于牙科模型和模具的高产量生产,这是因为部件可以在机器上进行批处理以进行快速生产。当被优化时,这些部件可以用于替代牙科石膏模型和其它牙科对象。类似技术采用了数字光处理(DLP)以同时固化聚合物的平面剖面,并且另外可以与本文所述的系统有效地使用。
另一种合适的技术为三维印刷。通常,三维打印机在逐层加成工艺中采用了印刷头以涂覆材料,例如可固化光致聚合物或粉末。三维打印机非常适于快速制造小型部件,例如蜡图案或蜡形、以及模具和其它相对小的牙科对象。适用于三维牙科印刷应用的一个商业系统是得自3D Systems的InVision HR打印机。
应当理解,其它快速原型机制造系统在本领域中是已知的。如本文所用,术语“制造”应理解为是指上述制造技术、以及任何其它的快速原型机制造技术或其它制造技术,其可适于制造定制牙科对象,包括(但不限于)选择性激光烧结(SLS)、熔融沉积建模(FDM)、分层实体制造(LOM)等。相似地,上述技术中的任意技术(单独或组合)都可以作为用于制造、印刷、制备、或以其它方式生成本文所述的牙科对象的装置来操作。应当理解,上述参照特定技术描述的制造步骤之后可以是额外的步骤(例如固化、清洁等),从而得到最终产品。以上所述的制造技术可以以多种方式组合,从而得到多重模态的制造工艺。因此,例如,可以使用CNC铣床以生成用于牙齿的模具,这需要比SLA可提供的细节更多,而SLA可以用于包含模具的牙弓模型。这种多重模态的方法可以在制造技术的不同方面调配多种技术的优点,例如使用立体光刻以用于快速、精密铣削,和三维印刷以用于小型部件的高速制造。
图3为牙科对象制造工艺的高级流程图。该工艺300采用了直接从口内扫描采集的齿列的三维表示,并且可以有利地绕过在常规牙医学中使用的多个处理步骤。
通常,工艺300可以从数据采集开始,如步骤302所示。数据采集可以包括数字表面表示的任何采集、或适用牙科对象制造工艺的齿列的其它三维或其它表示。可以使用(例如)上述参照图1描述的扫描仪102和图像捕集系统来执行数据采集。在某个实施例中,可以采集多个不同的扫描,例如用于创建弓的咬合和咬合架的扫描、或在表面制备之前和制备之后的扫描,这些扫描可以联合使用以生成假体等等。在某些实施例中,扫描可以以不同的分辨率获得,例如用于相对的弓的相对低的分辨率扫描和用于制备的牙齿表面的边缘的相对高的分辨率扫描。
应当理解,虽然下面的说明总体涉及在牙医诊所的外面进行的操作,例如在数字模型上标记了边缘的中心处理位置处或牙科实验室处进行的操作,在扫描时或在将扫描数据传输到远程处理中心之前,本文所述的用户界面、工具、和技术可以以多种方式来有效地采用。
例如,牙医可以采用视频查看工具(单独或与数字模型的同步观看结合),以用于定性地评估特定扫描的适用性。视频图像和/或数字模型的立体绘制可以提供有用的洞察力,临床医生可应用其确定补充扫描或整个新扫描是否合适。
在其它实施例中,在将数据传输到牙科实验室或其它远程部位之前,牙医可以执行边缘标记中的一部分或全部。
在其它实施例中,使用可以与扫描数据传输到远程部位的信息,牙医可以在模型表面上标记视频数据的帧或点。这种能力可以在用于图形用户界面(例如下述用户界面)内设置的注释的工具中体现。这些注释可以包括(例如)处方、边缘信息、边缘标记说明、或与牙科修复件处理中的边缘标记或其它步骤相关的任何其它信息。可以通过选择视频图像或数字模型表面上的点并且进入任何所需的文本、附件、或其它数据或信息来输入该信息。这些注释可以在视觉上显示为标旗或其它可视地标。在一个方面,注释可以设置在视频图像上。在另一方面,注释可以设置在模型上。在另一方面,注释可以设置在一个视图中,并且在两个视图上均显示。
应当理解,其它信息(例如摄像机模型、失真模型、校准数据、等等)可以有效地与处方数据(用于特定病人和/或修复件)一起或作为其一部分来传输。另外,可以传输例如通过扫描仪插入视频数据帧中的标题信息之类的信息。该标题信息(其可以包括特定扫描仪的细节(如,序列号)、用于扫描仪的照明条件、所扫描的齿列区域等)另外可以有效地传输,并且可以用于多种下游用途,例如视频元数据的自动确定(例如当前图像内牙齿的观测(如,面颊、舌面、远中、中间、咬合面等)或识别)。以举例的方式而非限制性的,该信息可以用于标记下述导航技术中所使用的缩略图。在其它实施例中,可以在远程位置处存储摄像机模型(摄像机参数、校准数据、失真数据、等等),其中根据视频元数据中的扫描仪识别来选择特定扫描的摄像机模型。该方法有利地减少了每一次扫描传输的数据量,同时提供全面的信息来表征观测和/或操纵模型的远程位置处的三维模型与视频数据之间的关系。
除了补充上述模型信息之外,牙医或其它扫描创建者可以通过从视频和/或模型数据中移除不需要的材料来制备更紧凑的数据传输。通常,该选择过程应用了一般原理,即,三维模型重建所需的视频数据可以不同于(通常大于)人类视频辅助查看模型或建模操作(例如边缘标记)所需的视频数据。例如,在识别了用于修复件等等的具体牙齿之后,操作者可以删除不需要的视频帧或模型数据,或可以根据什么视频数据与关注的区域相关来引发不需要数据的自动移除。关注的区域可以包括制备的牙齿表面、一个或多个相邻的牙齿、一个或多个相对的牙齿、多个制备的牙齿(例如用于牙桥)等。视频图像和/或对应的模型可以在扫描地点处的用户界面内进行立体绘制,以辅助关注的区域的预传输选择。用户界面可以并入相对于用于边缘标记的用户界面的下述特征的一部分或全部。通常,可以采用多个标准用于选择关注的区域或用于牙科工序(例如边缘标记)的相关图像帧。例如,可以选择视频数据帧用于覆盖图像数据,例如完全覆盖关注的区域或最佳(如,不重叠或重叠预定的量)覆盖关注的区域。相似地,可以根据用于视觉检测或计算出的三维数据的精度中的任一者(或两者)的图像数据取向(例如最佳视角)来选择帧。根据取向的选择还可以包括在每一个表面点或表面区域上具有基本不同的透视图的多帧的选择,以确保或提高每一个表面特征上多个独特透视图的机会。另外应当理解,即使在关注的区域内,扫描仪的视频图像捕集率也可以是只需要少量的视频图像需要用于有意的人类查看。因此,例如,数据减少处理可以自动地每隔一帧消除一个、每五帧消除四个、每十帧消除九个、或被选择以保存足够的视频数据用于本文所述的视频辅助查看的任何其它数量的帧。在手动技术中,用户可以清楚地选择相关的视频图像。在半自动技术中,用户可以从图形上识别关注的点或区域,并且可以处理视频数据以选择满足一个或多个选择标准(例如上述标准)的视频图像。在全自动工序中,用户可以简单地识别相关牙齿或提供处方,并且计算机程序可以处理视频图像,以确定关注的区域并且因此选择视频数据帧。
因此,在一个方面,本文公开了一种技术,其用于通过移除与修复件不相关的视频帧和/或模型数据来减小数字牙科模型的尺寸。在另一方面,本文公开了一种技术,其用于通过移除标记边缘不需要的视频帧和/或模型数据来减小数字牙科模型的尺寸。除了用于所选择区域的详细视频和/或模型数据之外,额外的齿列的较低质量的模型(例如用于物理或实际牙科咬合架中的低质量全弓模型)还可以采用所选择的区域来传输。在另一方面,当在下述用户界面中显示缩略视图时,可以选择视频图像的类似子集。因此,可以选择牙科修复工序(例如边缘标记)中的有意义的图像,以用于在视频导航用户界面(例如下述界面)中显示。这些图像还可以标记有用于例如观测(面颊、舌面、远中、近中等)的用户的取向信息,该取向信息可以通过文本来显示,或通过示例性的图标、示意图、三维罗盘、或任何其它合适的可视化技术来显示。
一旦采集到合适的数据,就可以执行一个或多个建模操作,如步骤304所示。这可以包括建模步骤,例如在数字牙科模型的实际模具中形成沟槽、指定用于处理的牙齿、填充孔或以其它方式校正数据、咬合对准、和/或完全设计修复件、假体、硬件或其它牙科对象、以及牙科环境下可用的任何其它建模或数字模型操纵。使用多种市售的计算机自动设计(CAD)或其它三维建模工具、以及并入以下更详细描述的额外的特征的工具,可以执行建模。
例如,建模可以包括界定表面表示以形成固体,然后在固体内生成空隙空间或空隙空间的集合,这些空隙空间不影响重要的牙科表面,例如齿列或周围的软组织。这可以有利地导致由带空隙的数字模型制造牙科模型所需的材料的大量减少,由此减少了材料成本以及制备牙科模型的时间。建模也可以包括生成或操纵制备的牙齿表面上的边缘。参照以下具体的制造过程来描述多个其它建模步骤。应当理解,如本文所用,术语“建模”可以是指对数字牙科模型的任何处理,包括全自动、半自动、和/或手动处理(例如在整个本说明书中所述的处理)。
如步骤306所示,可以开出处方。这指定了修复件、假体、等等的类型,并且可以包括与制造者、颜色、涂饰剂、模具间距等相关的多种额外的信息。应当理解,可以在建模步骤304之前执行处方步骤306,例如牙医将来自病人的初始数字表面表示与处方一起传输到牙科实验室,并将建模的一部分或全部留给牙科实验室的处理中。
如步骤308所示,可以制造一个或多个牙科对象。可以使用来自上述建模系统中的一个的数据,使用上述制造技术中的任意技术(单独或以多种组合)来进行制造,该数据可以根据需要被重新格式化或修改以用于特定印刷、铣削、或其它制造技术。另外,如从以下实例中的一些将清楚的是,制造可以包括不同制造技术的组合。例如,牙科模型可以以三维的方式印刷有用于模具的空间,并且模具可以由不同的材料铣削而成,以用于随后的加工步骤。因此,如本文所用,除非具体的制造技术被明确指定、或以其它方式从上下文看来是清楚的,术语“制造”旨在是指任何合适的制造技术。以下更详细地讨论了多个具体制造实例。
如步骤310所示,假体或其它牙科对象可以被返回牙医,以用于被放置到病人的齿列中。
应当理解,上述处理、以及下述方法和系统可以通过适用于本文所述的数据采集、建模和制造技术的硬件、软件、或这些的任何组合来实现。这包括在一个或多个微处理器、微控制器、嵌入式微控制器、可编程数字信号处理器或其它可编程装置连同内部和/或外部存储器中的实现。这也可以(或替代地)包括一个或多个具体集成电路、可编程门阵列、可编程阵列逻辑组件、或可以被构造用于处理电子信号的任何其它装置。还应当理解,实现可以包括使用结构化编程语言(例如C)、面向对象的编程语言(例如C++)、或任何其它高级或低级编程语言(包括汇编语言、硬件描述语言、以及数据库编程语言和技术)产生的计算机可执行代码,这些代码可以被存储、编译或翻译以运行上述装置中的一个、以及处理器的异质组合、处理器结构、或不同硬件与软件的组合。同时,可以以多个方式在整个装置(例如摄像机、和/或计算机、和/或制造设备、和/或牙科实验室)上分布该处理,或所有的功能可以集成到专用的独立式装置中。所有这类排列和组合旨在属于本发明的范围内。
另外应当理解,用于执行与上述处理相关的步骤的装置可以包括上述参照图1描述的图像捕集系统100的任何合适的组件,连同适用于控制其操作的任何软件和/或硬件。用于执行本文所公开的处理的所有这类实现方式和装置旨在属于本发明的范围内。
图4示出了使用本文所述的工具用于数字牙科模型的一般化处理,并且更具体地讲,示出了用于制备在牙科修复件(例如牙冠)的制造中使用的模型的一般化处理。
在用户界面、命令行界面、等等中,用户(例如牙科技术人员)可以从数字模型的工作队列中选择模型,如步骤402所示。这可以是(例如)存储在本地系统上的队列、或用于牙科实验室或其他牙科专业人员通过基于网络的入口可以访问的远程位置处存储的队列。应当理解,虽然队列通常包括用于将建模项目分配到系统化基地(例如文件服务器、内容管理系统、等等)上的一个或多个用户,但是数字牙科模型和附随的数据另外可以只是表示为位于本地计算机目录中的文件(或文件组)或在网络上接收的文件(或文件组)。模型可以包括(例如)相关扫描,例如在用于修复件的病人的牙齿表面的制备之前和制备之后采集的数字牙印模。也可以有效地包括其它信息,例如用于指导用户的牙科处方信息和在用于获得数字牙印模的扫描期间采集的视频数据。后者的数据可以用作(例如)边缘标记的辅助,如以下更详细所述。
在选择了具体模型之后,用户可以在模型内标记模具,如步骤404所示。通常,分隔成模具使得在随后的物理(和数字)处理中能够更容易地操纵进行操作的牙齿,并且各个模具将被制造为在牙科实验室中使用的单片。切削成模具可以包括向用户呈现模型连同供用户控制模型显示(如,旋转取向、缩放、平移等)的工具以及供用户在模具内限定一个或多个模具的工具。在一个实施例中,模具切削工具可以使用户能够限定穿过分隔在弓的牙齿的位置处的模型的垂直平面。以下在图5至图6中描述了该操作的实例。
在将模型分隔成模具之后,用户可以标记边缘以用于修复件,如步骤406所示。用户可以被提示以识别需要边缘标记的一个或多个模具。一旦已经指定了一个或多个模具,用户界面就会提供指定模具中的一个的三维绘制,并且可以提供用于在用户界面内沿着预期边缘标记点的图形工具。再者,界面可以包括用于控制模型显示(例如旋转取向、缩放、平移等)的工具,从而用户可在标记期间在模型周围便利地导航。界面中的边缘标记工具可以使得能够沿着模型表面选择点,并且可以通过任何合适的算法来形成边缘线,以用于在牙齿表面上将点连成连续的闭环。该工具可以使得能够添加点、删除点、和/或移动点。该工具另外可以使得能够选择和/或放弃选择点以供组操作,例如连成边缘线、删除、移除等。以下更详细地描述了用于辅助边缘标记的多个可用的界面特征。
一旦已经标记了边缘,就可以在模具中形成沟槽,如步骤408所示。通常,该操作伴随着边缘线下面的模具部分的移除,使得在后续操纵步骤中能够更容易地识别边缘线。可以通过处理模型以移除边缘线下面的材料(或改造只使用了模型的表面表示的表面)来自动地进行沟槽形成步骤。手动形成沟槽另外可以通过使得能够移除模型材料的用户界面工具来支持。另外可以采用自动技术和手动技术的组合。
一旦切削了模具、标记了边缘、以及形成了沟槽模型,模型可以被保存用于进一步处理,如步骤410所示。然后,用户可以返回到工作队列以选择另一个模型,如步骤402所示。更一般地讲,模型及其多个部件(如,模具)可以在处理的任何阶段中存储,从而用户可以保存任何当前的工作并且在随后的时间返回到所保存的项目。虽然没有具体示出,但是应当理解,在完成此前所选择的模型之前,用户可以从工作队列中选择新的模型(步骤402),从而用户可以根据进度安排的需要、个人喜好、或任何其它标准,在完成的多个阶段保持任意数量的模型。
应当理解,上述操作可以在数字牙科工作流程中涉及的多个位置当中被分配。例如,模型可以初始地由牙医使用数字扫描仪(例如上述扫描仪中的任何扫描仪)来生成。被扫描的模型可以通过数据网络(连同处方信息和任何其它的可用数据)传输到中央存储库,其存储扫描数据并且为下游用户提供安全界面。可以通过在牙科实验室或其它设施处的牙科技术人员如上所述以工作队列方式从存储库选择模型,并且牙科技术人员可以根据需要来切削和标记模型。然后,技术人员可以应用任何合适的沟槽形成操作,或切削和标记后的模型可以被返回到中央存储库或一些其它后处理位置,以用于自动形成沟槽。一旦返回到中央存储库,就可以向快速制造设施提供(再次通过安全界面)其它数据,快速制造设施可以制备对应的牙科对象并且将其转发到牙科实验室用于整理。虽然这是有效地根据能力和性能来分配处理步骤的工作流程的一个实例,但是应当理解,许多其它的布置是可以的,并且可以有效地用于本文所述的系统和方法的范围内。
在一个方面,上述方法可以用于制备用于快速构造等等的模型,导致由已被切削、标记(在边缘上)、和形成沟槽的模具的数字模型制造物理模型,如以上一般所述。在一个方面,本文所述方法包括:选择数字牙科模型;从数字牙科模型切削至少一个模具,从而得到模具模型;在模具模型上标记边缘,从而得到标记的模型;沟槽形成操作标记的模型,从而得到已形成沟槽的模型;以及由已形成沟槽的模型制造物理模型。该方法可以包括将形成沟槽的模型传输到远程数据库、传输到牙医用于查看、或传输到快速制造设施用于生成物理模型。
图5和图6示出了可以在用于操纵数字牙科模型的用户界面中采用的图形模具切削操作。如图5所示,通过由所需的透视图绘制模型502,可以在用户界面500中以图形方式示出模型502,例如牙弓的扫描。应当理解,虽然示出了单弓,但是模型502可以包括多重弓,包括相对的弓,或可以包括弓的一部分,例如关注的一个或多个牙齿。如图6所示,图形工具可以使得用户能够在模型502内指定一个或多个切口602,以将模型分成一个或多个部分604,包括一个或多个模具或各个牙齿,其亦称为进行操作的牙齿(用于例如牙桥的修复件,模具可以包括不止一个牙齿)。然后,每一个部分604可以根据需要被单独地处理。虽然切口602被示出为穿过合适取向的模型的线,但是图形切削工具可以采用多个不同的技术以用于分割模型502,其包括线(可限定垂直平面)、平面、等等。凡是平面用于限定模型502的部分604的,工具可以在用户界面内提供平面的任何合适的图形表示,并且可以使得用户能够添加、移除、或调换平面。工具另外可以(根据需要)使用户能够使平面偏离垂直方向,以实现模型502的所需的分段。应当理解,将数字牙科模型切削成区段(例如模具)可以使用多个用户界面工具来执行,并且可以使用多种技术进行数字表示。例如,模型可以被分隔成用于初始模型的每一个区段的多个单独的表面模型,或用于限定区段的切削平面可以与初始模型相关,以表现其多个部分。适用于将初始模型的分割以数字方式表示成多个区段(例如模具)的任何技术可以与本文所述的系统和方法一起使用。
图7示出了可以在用于操纵数字牙科模型的用户界面中采用的图形边缘标记操作。如图7所示,通过从所需的透视图绘制模具702,可以以图形方式在用户界面700中示出上述得自数字牙科模型中的一个的模型702(例如模具)。通过在模型702表面(凡是修复件应符合制备的牙齿表面的)上选择一个或多个点706并且将点706连接成连续闭环的边缘线704,可以在模型702内生成边缘线704。用户界面700可以提供用于控制用于绘制模型702的透视图或视点(例如用于旋转、平移、缩放、等等)的工具。在下面的说明中,术语(例如透视图或视点)可交换地用于指描述由其观测目标物的位置和取向的数据。在三维空间中,这通常包括x坐标、y坐标、和z坐标以及在三个轴上旋转的取向。用户界面700另外可以提供工具以用于操纵点706,例如用于生成、删除、或移动点、以及用于选择和/或取消选择点以用于组操作,例如移动或删除。工具可以包括撤销特征,以用于撤销一个或多个此前的操作。点706可以自动地或手动地连接,或这些方式的某种组合,例如通过使没有手动连接的所有点自动互连的界面700中的工具、或根据对现有点的外推法或内推法建议下一点的工具来连接。边缘线704可以表示为线、线段集、点集、或可以在模型702的坐标系中(并根据扩展,在图5和图6的模型的坐标系中,或由其获得进行操作的牙齿模型的任何其它数字模型)限定的任何其它合适的数据集。通常,虽然在这些附图中示出了二维用户界面,但是本文所述的系统和方法的用户界面700可以采用任何合适的二维绘制技术或三维绘制技术,包括本文所述的多种立体三维界面。
图8示出了在用于操纵数字模型的用户界面800中可以采用的沟槽形成操作图形。一旦已经为模具804限定了边缘线802,就可以手动地或自动地进行模具沟槽形成操作,从而得到牙基806以方便操纵牙科实验室所使用的所得的物理模型,以生成修复件,并制成数字模型和物理模型中更容易看到的边缘线。采用正确制定的边缘线802,模具沟槽形成操作可修正到很高的自动化程度。用户界面800仍然可以提供工具用于指定多种沟槽形成参数(深度、材料移除量等)并用于检测所得的形成沟槽的模具。用户界面800另外可以提供工具以用于手动形成沟槽、和/或用于精修自动形成沟槽的模具。在使用了高度精细的牙科模型的情况下,例如自动形成可以有利地在数字数据中心(例如上述远程数据库)处执行。
图9示出了自动化边缘标记技术。自动化边缘标记的一个可用技术采用了在修复件的制备之前和制备之后牙齿表面的直接比较。如图9所示,在剖视图中,在制备修复件902之前的牙齿表面的模型可以与在制备修复件904之后的牙齿表面的模型对准,其中,预制备模型902包括后制备模型904的体积、以及额外的牙齿结构体。形成在对准模型的外边缘上的线906(在剖面的左边缘和右边缘处,该线上只有两个点在图9中是可见的)限定了用于制备的牙齿表面的边缘线。可以使用对准模型的表面或体积的Boolean XOR、或使用多个其它合适的边缘发现技术中的任何技术在算法上识别线906。
例如,可以应用轮廓评价来在算法上识别三维上的后制备模型904(或相关的预制备模型)上的边缘。相似地,可以将边缘发现技术应用于静止视频图像,并且使用(例如)本文所述的技术将结果映射到三维模型。在另一个实施例中,二维技术和三维技术可以与平均或以其它方式结合的结果结合使用,以衍生单个边缘线。在半自动化的实施例中,可以单独应用基于图像的技术和基于模型的技术,并且可以使用户能够选择哪一个结果用于边缘线,或可以使用户能够从每一个结果中选择边缘线的部分。
图10示出了用于视觉辅助边缘标记的用户界面。上述多个处理对于自动化或计算机辅助建模技术来说是相对简单和可修正的。然而,由于用于边缘的临界扫描区域周围的血液、唾液、或取代的软组织造成在齿列的数字表面扫描中可能存在严重错误,导致边缘标记存在特别的困难。下面的界面通过用扫描期间获得的视频图像补充三维模型的显示,解决了这些困难。该界面特别适于基于视频的扫描技术,例如包括用于捕集视频的中央通道的多孔摄像机,如以上一般所述。
用户界面1000可以包括(例如)视频图像窗口1010、剖视图窗口1020、模型视图窗口1030、和视频控制窗口1040。这些窗口1010-1040中的一个或多个可以被立体绘制,或以其它方式使用可用的数据(例如三维模型、视频图像对、和/或可以被打包从而得到合适的立体图像序列)以三维显示。模型视图窗口1030和剖视图窗口1020采用根据三维模型的二维绘制,所以在这些窗口中的立体绘制是已知立体技术的相对简单的应用。凡是提供了多孔或多摄像机图像序列的,视频图像窗口1010中的静止图像另外可以根据立体图像对、等等中编码的深度信息来立体绘制。在一个方面,可以根据中心通道图像(在可用的情况下)、重建的3D模型、和提供图像与对象空间之间的映射的摄像机模型来合成该立体图像。在一个方面,用户可以在采集的立体图像对与合成的立体图像之间切换,以允许对三维数字模型的定性的评价和/或验证。
视频图像窗口1010可以由目标物的视频来显示静止图像。可以在三维扫描期间已经采集了视频,例如从多孔摄像机的中心通道、或从相对于扫描装置在附近、固定、和已知的位置中的视频摄像机采集了视频。通常,已知多种手持扫描仪采用了用于获得三维图像的多种技术,包括结构化照明或激光技术、渡越时间技术、单摄像机视频技术、多摄像机、多孔或分光瞳技术等。虽然有例外情况,但是这些技术很大程度上依靠三维重建算法,其在处理扫描数据期间需要摄像机路径数据作为输入或衍生摄像机路径数据。换句话讲,对于在扫描期间获得的每一个视频图像,都存在基本上对应的、已知的、同时存在的摄像机位置,其包括相对于被扫描目标物的摄像机位置和旋转取向。因此,对于视频图像窗口1010中显示的静止图像,可以确定图像内容上的扫描仪的透视图或视点--在这种情况下,目标物是制备的牙齿表面。如以下更详细所述,该信息可用于将视图与透视图窗口同步。凡是采用了非视频扫描技术的,可以用同时存在的二维视频来补充数据,该二维视频提供静止图像以补充边缘标记和其它工序(如本文一般所述)。
可以在视频图像窗口1010内(或以其它方式与之相关地)有效地显示取向信息。例如,为了用齿列环境内的图像取向辅助用户,视频图像窗口1010可以显示当前图像的视点(如,面颊、舌面、远中、近中等)和/或距离,而视点和距离中的任一个可以(如上所述)由扫描期间获得的扫描仪位置数据来确定。还可以设置用户控制用于取向的直接选择。例如,用户可以以文本或图形方式选择观察当前牙齿或牙齿表面所需的取向。用户界面可以响应地选择包含目标物取向(最接近地对应于所选择的取向)的图像,并且将该图像在视频图像窗口1010中显示。另外,下述视频控制窗口1040可以响应地更新,例如选择在所选择的牙齿表面上具有多种不同透视图、或具有多个预定的毗邻取向的缩略图1042的组。
在另一方面,多种图像增强技术可以应用于视频图像窗口1010中显示的工作图像,以增强所显示图像的可视质量。例如,显示可以采用局部自适应对比度增强或对比度有限的自适应柱状图均衡、或任何其它合适的技术。显示器也可以(或替代地)采用其它信息,例如与光源的距离或从对应的三维模型得到的信息,以控制用于改进静止视频图像的可视显示的颜色、强度、等等。例如通过掩盖边缘周围的区域或强调高空间对比度的区域,另外可以有利地采用伪着色。应当理解,本文所述的增强技术可以用于辅助边缘标记或其它牙科手术,以及在扫描期间或在扫描之后立即作为扫描操作者的视频观察的辅助方式。
如下所述,在一个方面,系统操作以同步视频图像窗口1010和模型视图窗口1030中目标物的视点或透视图。可以采用多种技术以保持用户界面1000的多个窗口当中的一致的可视信息。例如,视频图像可以不失真,以更接近地匹配立体绘制三维模型中的深度信息表观。在一个实施例中,三维模型精确地反映物理、三维配对物并且并入任何校准数据、摄像机参数、失真模型、等等,所以优选的技术应当用于使视频图像不失真,因此用于使显示不失真。作为显著的优点,该方法允许视频图像控件与数字模型控件之间映射的简单针孔投影表征,其可显著地减少用于在两个表示之间的映射的计算时间。然而,在某些情况下,可能并且会是有利地的是使得三维模型失真,以在空间上对应于立体绘制的视频图像。在任一种情况下,一般可以通过映射用于由视频数据生成三维模型的整个摄像机模型的数据、校准数据、等等来实现空间对应。该调整可以包括用于摄像机系统的失真模型,其可以说明摄像机系统的一个或多个通道中x因变量、y因变量、和/或z因变量失真、以及例如视角等等的情景参数。
用于在多种显示器中贴合图像的其它技术包括:例如通过将视频数据纹理映射到模型上,或包裹、组合或以其它方式处理现有的图像对来合成与模型视图对应的透视图,来将静止图像的显示适应于模型视图中选择的透视图。
多个点1012(可以是用户设置的点或计算机设置的点)在视频图像窗口1010内限定了边缘线1014中的一些或全部(以举例的方式(而不是限制的方式)示出了部分边缘线)。可以由例如光标的用户界面工具连同任何的下拉菜单、列表、滚动条、键击、或适用于添加、删除、和移动点1012的其它控制器来控制点1012。另外,点1012可以被选择或取消选择,以用于组操作,例如连接点的组(以形成边缘中的一些或全部)、移动点的组、删除点的组或、调整点的组以生成较为平滑的边缘线,或根据曲率分析、关于未制备的牙齿表面的数据、或结合本领域已知的多种技术的任何其它可用信息,在算法上将点移动至更可能的边缘位置。另外可以提供其它更处理密集型功能,例如推荐环绕当前光标位置的区域内的点位置、根据一个或多个用户选择的点来完成闭环的边缘线、或在限定边缘线的当前点集中寻找可能的无关项。凡是视频图像窗口1010被立体绘制的,另外可以设置三维光标,以适应绘制的三维空间内的用户导航。可以在采用立体绘制技术或其它三维绘制技术的窗口1010、1020、1030、1040中任一个中相似地采用该三维光标。
多个可用的特征可以并入三维光标。例如,三维光标可以有效地作用,就好像它附接到成像的模型(或立体视频图像)的表面一样,从而二维平面内的用户运动(例如采用鼠标的运动)被投影到立体坐标系中立体绘制图像表面相关的对应图像位置上。该技术很好地用于上述系统,其中视频和模型显示包含用于每一个屏幕位置(例如像素等等)独特的表面位置的投影。然而,在某些实施例中,可以设置未附接到投影表面的额外的三维功能。这可以包括(例如)模型和/或立体图像的验证、根据立体视频图像来编辑模型等。在这类情形下,可以采用例如鼠标滚轮之类的额外的控制,从而得到用于用户输入的额外的自由度。
虽然三维输入可以允许光标在立体绘制的三维空间内无约束地移动,但是第三用户输入(如,滚轮)另外还可以适用于本文所述的边缘标记操作。例如,使用本文所述界面、工具、和三维光标,用户可以直接编辑模型视图窗口1030中的数字模型,例如在视频图像与三维模型之间生成更好的协议。对于这种编辑而言,可以存在许多原因。例如,参照视频,用户可以识别视场内的人造对象,例如腱、唾液、血液等。又如,基于视频的立体绘制和基于模型的立体绘制可以看起来不同。这会出现在如下的情况下:例如,立体视频直接由扫描期间获得的图像对衍生,而使用摄像机模型(如,摄像机参数、校准数据、失真数据、等等)来衍生模型。通过选择立体绘制的模型(或视频图像)表面上的点并且沿着三维自由地移动点,用户可以处理这些变量。例如,滚轮可以控制屏幕z轴内或沿着与表面正交方向的表面点的移动。用户还可以控制环绕点跟随移动的程度。另外可以采用该技术使边缘变得清晰,其中,模型上的边缘看起来被过度倒圆,或以其它方式偏离视频图像(或提供更清晰可视内容的暂时相邻的图像)中示出的边缘。在一个方面,这些工具使得能够直接操纵数字模型和/或立体绘制的视频图像。在另一方面,这些工具能够通过直接与源图像数据进行比较来验证数字模型。在任一种情况下,用户设置的模型修正可以用于修正模型对视频图像的映射,使得在任何后续的模型操作中始终保留用户的改变。另一个可用的应用是分段各个牙齿,其中模型看起来在整个邻间的间隙上以物理的方式连接或桥接相邻的牙齿。
剖视图窗口1020可以包括在用户界面1000内,以辅助用户识别牙齿表面的轮廓,并且特别用于更精确地对边缘进行手动定位。剖视图:该视图示出了当前所选的编辑区域点的剖面,以有助于识别高曲率区域。窗口1020可以显示(例如)在当前编辑点1024(其可以是视频图像窗口1010中显示的点1012中的任何点)处的目标物的剖面1022中的一个或多个剖面、或在包括当前编辑点1024的平面剖面处开始的数字模型1026透视图、或这些的某些组合。穿过目标物的平面剖面的取向可以有差别,但是为了区别轮廓的目的,可以适当选择具有最陡峭或最大差别的取向。另外可以有效地采用与边缘线正交的平面。点(例如当前编辑点1024或边缘线的其它点、以及对其的改变)可以与视频图像窗口1010和/或模型视图窗口1030中显示的点同步,如以上一般所述。
模型视图窗口1030可以包括在用户界面1000内,从而得到更紧密地基于目标物的数字模型1032中的三维数据的边缘标记环境。模型视图窗口1030可以(连同工具和/或控制器)提供数字模型的二维绘制或三维绘制,例如上述用于添加、删除、或以其它方式操纵点1034和/或点的组以在牙齿表面上标记边缘线1036的工具和/或控制器。如上所述,对点1034的每一个改变连同对所得的边缘线1036的改变可以用于更新用户界面1000的其它窗口1010、1020、1040中的点和/或边缘线的显示。
视频控制窗口1040可以包括在用户界面1000内,从而得到用户选择视频图像窗口1010中显示的静止图像,或更一般地讲,用于由摄像机系统捕集的视频流内的导航。使用视频控制窗口1040,用户可以酌情在视频序列内导航,以生成、检查、并且验证边缘线。视频序列可以是得自用于获得用于扫描目标物的三维数据的摄像机系统的视频序列,或是得自相对于摄像机系统和/或扫描目标物具有基本已知关系的相关摄像机的视频序列。
在一个实施例中,控制器可以包括多个缩略图像1042,其示出在扫描期间得自多种摄像机位置的图像。其它视觉提示可以具有缩略图像1042。例如,可以设置箭头1044、或其它突出标记特征,以示出缩略图1042中的哪一个包含模型视图窗口1030中可视的表面区域、或缩略图1042中的哪一个包含边缘线的可视部分。缩略图像1042也可以(或替代地)采用取向信息来显示。例如,通过使用每一个缩略图所包含或相邻显示的文本、图标、或其它视觉提示的注解,缩略图像1042可以提供取向细节(如,面颊、舌面、远中、近中)或距离。视频图像窗口1010中显示的当前视频图像另外可以使用突出标记1046或其它可视标记来识别。虽然在窗口1040的左手侧示出了当前图像,但是当前图像可以替代地位于缩略图像1042的中心或任何其它合适的位置处。应当理解,通常可以根据相关性来选择缩略图像1042和/或将其分组,以协助用户。例如,可以选择缩略图像1042,从而得到当前牙齿的多种视图、或当前编辑的边缘线的一部分。凡是牙医(或其它扫描者)已经识别多个牙齿的,将缩略图分组,使得只有当前牙齿的图像特别有助于下游的技术人员。
虽然在图10中示出了一维缩略图阵列,但是应当理解,许多其它的技术在本领域中是已知用于视频时间轴控制,并且可以与本文所述的系统适当使用。以举例的方式(而不是限制的方式)来说,视频控制窗口1040可以显示二维阵列(即,2×5、3×5、或任何其它合适的维度)。视频控制窗口1040也可以(或替代地)包括滑动器或其它控制器,用于用户沿着整个视频序列导航。在另一方面,缩略图像1042可以是暂时相邻视频数据的帧,或可以以合适的间隔(例如每五帧数据、每十帧数据、等等)分隔开。缩略图像1042也可以(或替代地)包括从可用于边缘标记的多个视点得到的合成图像。在本文所述的视频控制窗口1040内可以有效地采用这些变型和其它变型。
在一个方面,在视频图像窗口1010和模型视图窗口1030之间,透视图或视点可以被同步。例如,用户可以操作视频控制窗口1040内的控制器,以选择用于在视频图像窗口1010中显示的视频图像。为响应对目标物的视频图像的选择,模型视图窗口1030可以由相同的视点或透视图来绘制目标物(根据目标物的数字模型)。为此,用于扫描仪/摄像机的位置数据(例如x位置、y位置和z位置(在参照目标物的任何坐标系中)和旋转取向)可以从扫描期间采集到的数据获得。然后,可以采用该位置数据来合适地绘制数字模型。
用户也可以(或替代地)控制模型视图窗口1030中的数字模型透视图,如以上一般所述。在这种情况下,可以更新视频图像窗口1010,从而得到更紧密地对应模型视图窗口1030中用户所选透视图的视频图像。可以适当采用多个技术以用于从模型视图窗口1030到视频图像窗口1010的同步。例如,用于改变模型视图窗口1030的透视图的用户控制器会受限制,从而用户只可沿着用于得到三维数据的摄像机路径来移动透视图。在该实例中,可以提供平移或缩放的有限的能力以用于留在当前视频图像环境内的视点变型形式。另外,视频图像可以被包裹、修改尺寸、或以其它方式操纵,以适应旋转取向等等中的微小变型形式。又如,通过在整个视频序列(或整个视频序列的一部分)内找到最紧密地对应于用户选择的视点的视频图像,可以选择用于在视频图像窗口1010中显示的新的视频图像。这可以(例如)根据新的用户选择视点和与视频序列内的图像相关的视点的位置和/或旋转取向之间的任何合适距离或其它定量比较来确定。又如,可以使用视频数据、摄像机系统失真模型、三维数字模型数据、和任何其它可用数据来合成新的视频数据,该新的视频数据几乎或精确对应于用户选择的透视图。这可以包括(例如)将视频纹理数据映射到三维模型上,或组合得自多个不同视频图像的视频数据,连同合适的包裹、标度、对准、等等。
在另一个实施例中,系统可以提供单向的同步。即,模型视图可以通过由选择的透视图绘制来响应静止图像的选择。可以随后操纵模型视图从而得到任何合适的透视图,以用于编辑或验证边缘,而视频图像窗口1010中的静止图像保持不变。用户可以设置有复位控制器,以将模型视图返回到静止图像的透视图,并且模型视图可以通过由新图像的透视图重新绘制模型来继续响应新图像选择。因此,视频图像窗口1010中的视图可以控制模型视图窗口1030中的绘制。然而,改变模型视图窗口1030的透视图对视频图像窗口1010中显示的静止图像没有影响。
在另一方面,视频图像窗口1010中的点1012的显示可以与模型视图窗口1030中的点1032的显示同步。因此,用户操纵视频图像窗口1010中的点1012可以用于更新模型视图窗口1030中的同一点1032,并且用户操纵模型视图窗口1030中的点1032可以用于更新视频图像窗口1010中的同一点1012。应当理解,在任一种情况下,用户可以在二维中(对应于用户界面)选择点,并且通过将点的x坐标和y坐标投影到模型的表面或静止图像上来确定点的三维位置。在任一种情况下,可以采用有关摄像机系统的信息(例如用于摄像机通道的失真模型)来精确地转化用于两个窗口1010、1030之间的点的空间信息。更一般地讲,这些窗口1010、1020、1030、1040中的某些或全部可以包括用于操纵点和/或边缘线的工具,并且在所有窗口中任何改变都被更新。应当理解,可以提供许多其它的布置方式。例如,可以可选地在视频控制窗口1040或剖视图窗口1020中不显示点和/或边缘线。又如,可以只在窗口中的一个或两个(例如视频图像窗口1010和模型视图窗口1030)中设置用于控制点的工具。
使用上述用户界面1000和工具,可以采用宽阵列的反复和/或交互式边缘标记处理。现在,以举例的方式(而不是限制的方式)描述了一种这样的操作。用户可以通过选择用于在工作区域(例如视频图像窗口1010)中显示(作为“工作图像”)的视频控制窗口1040中的缩略图像1042来引发边缘标记处理。然后,用户可以使用鼠标在视频图像窗口1010中沿着边缘线来选择点。边缘标记系统可以通过用户界面1000接收这些二维选择,并且将其关联到三维模型的三维空间。使用用于选择的图像的位置/旋转数据,系统另外可以在模型视图窗口1030中绘制数字模型的对应视图,连同在工作区中选择的任何对应点。用户可以查看模型视图窗口1030中的点选择和对应的边缘线。另外,用户可以操纵模型视图,从而在模型上得到任意数量的可用透视图,以用于视觉上验证其所选择的边缘或点。然后,用户可以选择另一个缩略图以获得新的工作图像,并且反复地继续下去,直到已经识别到足够的点来衍生完整的闭环边缘线。
在另一方面,可以设置工具以用于操纵数字模型(通过与模型视图窗口1030中的模型、视频图像窗口1010中的视频图像、或这些的组合进行交互)。例如,上述三维光标技术可以更一般地应用于处理视频图像(根据单个图像对)与模型视图(根据图像对的复合)之间的可能的变型形式。变型形式可以是在目标物清晰度方面的图像-图像变型形式、或由许多不同图像对的合成所引起的模型范围的变型形式引起。另外,上述技术可以用于校正源自初始操作扫描仪的人的错误。例如,皮瓣等等阻碍了边缘的一部分,或颗粒等等在边缘线上产生不连续,这些缺陷可以通过外推法、内推法、或以其它方式合成其它可用的表面数据(自动地、半自动地、或手动地使用上述交互式模型编辑工具)来处理。
虽然已经结合某些优选实施例描述了本发明,但是本领域的普通技术人员可以理解其它实施例,并且本文涵盖其它实施例。

Claims (81)

1.一种方法,包括:
利用图像集序列生成三维模型,每个图像集包括目标物的多个图像,所述多个图像中的每一个是从不同的光学轴线采集的,所述多个图像包括至少一个视频图像;
从所述图像集序列中选择视频图像,所述视频图像包括得自透视图的所述目标物的视图;
在用户界面中显示所述视频图像;以及
在所述用户界面中利用所述透视图绘制所述三维模型。
2.根据权利要求1所述的方法,还包括:
从所述图像集序列中选择不同的视频图像,所述不同的视频图像包含得自第二透视图的所述目标物的第二视图;以及
利用所述第二透视图绘制所述三维模型。
3.根据权利要求2所述的方法,其中选择不同的视频图像包括接收对多个缩略图中的一个的用户选择。
4.根据权利要求2所述的方法,其中选择不同的视频图像包括从视频时间轴控制器接收用户输入。
5.根据权利要求1所述的方法,其中所述透视图包括相对于所述目标物的三维视点。
6.根据权利要求1所述的方法,其中所述透视图包括距所述目标物的距离。
7.根据权利要求1所述的方法,其中生成所述三维模型包括利用多孔径摄像机采集多个图像集。
8.根据权利要求7所述的方法,还包括从所述多孔径摄像机的中心通道采集所述视频图像。
9.一种计算机程序产品,包括在计算机可读介质上实现的计算机可执行代码,当所述计算机可执行代码在一个或多个计算机设备上执行时,执行如下步骤:
利用图像集序列生成三维模型,每个图像集包括目标物的多个图像,所述多个图像中的每一个是从不同的光学轴线采集的,所述多个图像包括至少一个视频图像;
从所述图像集序列中选择视频图像,所述视频图像包括得自透视图的所述目标物的视图;
在用户界面中显示所述视频图像;以及
在所述用户界面中利用所述透视图绘制所述三维模型。
10.根据权利要求9所述的计算机程序产品,还包括可以执行如下步骤的计算机可执行代码:
从所述图像集序列中选择不同的视频图像,所述不同的视频图像包括得自第二透视图的所述目标物的第二视图;以及
利用所述第二透视图绘制所述三维模型。
11.根据权利要求10所述的计算机程序产品,其中选择不同的视频图像包括接收对多个缩略图中的一个的用户选择。
12.根据权利要求10所述的计算机程序产品,其中选择不同的视频图像包括从视频时间轴控制器接收用户输入。
13.根据权利要求9所述的计算机程序产品,其中所述透视图包括相对于所述目标物的三维视点。
14.根据权利要求9所述的计算机程序产品,其中所述透视图包括距所述目标物的距离。
15.根据权利要求9所述的计算机程序产品,其中生成所述三维模型包括利用多孔径摄像机采集多个图像集。
16.根据权利要求15所述的计算机程序产品,还包括执行从所述多孔径摄像机的中心通道采集所述视频图像的步骤的计算机可执行代码。
17.一种系统,包括:
生成装置,所述生成装置利用图像集序列生成三维模利,每个图像集包括目标物的多个图像,所述多个图像中的每一个是从不同的光学轴线采集的,所述多个图像包括至少一个视频图像;
选择装置,所述选择装置用于从所述图像集序列中选择视频图像,所述视频图像包括得自透视图的所述目标物的视图;
显示装置,所述显示装置用于在用户界而中显示所述视频图像;以及
绘制装置,所述绘制装置用于在所述用户界面中利用所述透视图绘制所述三维模型。
18.根据权利要求17所述的系统,还包括用于从所述图像集序列中选择不同的视频图像的第二选择装置,所述不同的视频图像包括得自第二透视图的所述目标物的第二视图,其中所述绘制装置利用所述第二透视图绘制所述三维模型。
19.根据权利要求18所述的系统,其中选择不同的视频图像包括接收对多个缩略图中的一个的用户选择。
20.根据权利要求18所述的系统,其中选择不同的视频图像包括从视频时间轴控制器接收用户输入。
21.根据权利要求17所述的系统,其中所述透视图包括相对于所述目标物的三维视点。
22.根据权利要求17所述的系统,其中所述透视图包括距所述目标物的距离。
23.根据权利要求17所述的系统,其中生成所述三维模型包括利用多孔径摄像机采集多个图像集。
24.根据权利要求23所述的系统,其中采集多个图像集包括从所述多孔径摄像机的中心通道采集所述视频图像。
25.一种方法,包括:
利用图像集序列生成三维模型,每个图像集包括目标物的多个图像,所述多个图像中的每一个是从不同的光学轴线采集的,所述多个图像包括至少一个视频图像;
在用户界面中利用透视图绘制所述三维模型;
从所述图像集序列中选择包括与所述透视图最紧密相关的所述目标物的视图的视频图像;以及
在所述用户界面中显示所述视频图像。
26.根据权利要求25所述的方法,其中所述目标物包括齿列,所述方法包括提供用于标记所述齿列的边缘的工具。
27.根据权利要求25所述的方法,还包括接收对三维模型的新透视图的用户选择以及从所述图像集序列中选择不同的视频图像,所述不同的视频图像包括得自第二透视图的所述目标物的第二视图;以及利用所述的新透视图绘制所述三维模型。
28.根据权利要求27所述的方法,还包括提供缩放控制器、平移控制器以及旋转控制器中的一种或多种来接收用户选择。
29.根据权利要求25所述的方法,其中所述透视图包括相对于所述目标物的三维视点。
30.根据权利要求25所述的方法,其中所述透视图包括距所述目标物的距离。
31.根据权利要求25所述的方法,其中生成三维模型包括利用多孔径摄像机采集多个图像集。
32.根据权利要求31所述的方法,其中采集多个图像集包括从所述多孔径摄像机的中心通道采集所述视频图像。
33.根据权利要求25所述的方法,还包括从所述图像集序列中选择多个视频图像,并且合成结合了得自所述多个视频图像的数据的复合视频图像,以获得所述目标物的视图。
34.根据权利要求33所述的方法,其中所述复合视频图像的分辨率高于所述多个视频图像中的任何一个的分辨率。
35.一种计算机程序产品,包括在计算机可读介质上实现的计算机可执行代码,当所述计算机可执行代码在一个或多个计算机设备上执行时,执行如下步骤:
利用图像集序列生成三维模型,每个图像集包括目标物的多个图像,所述多个图像中的每一个是从不同的光学轴线采集的,所述多个图像包括至少一个视频图像;
在用户界面中利用透视图绘制所述三维模型;
从所述图像集序列中选择包括与所述透视图最紧密相关的所述目标物的视图的视频图像;以及
在所述用户界面中显示所述视频图像。
36.根据权利要求35所述的计算机程序产品,其中所述目标物包括齿列,所述计算机程序产品包括提供用于标记所述齿列的边缘的工具。
37.根据权利要求35所述的计算机程序产品,还包括可以执行如下步骤的计算机可执行代码:
接收对所述三维模型的新透视图的用户选择;
从所述图像集序列中选择不同的视频图像,所述不同的视频图像包括得自第二透视图的所述目标物的第二视图;以及
利用所述的新透视图绘制所述三维模型。
38.根据权利要求37所述的计算机程序产品,还包括可执行如下步骤的计算机可执行代码:提供缩放控制器、平移控制器以及旋转控制器中的一种或多种以便接收所述用户选择。
39.根据权利要求35所述的计算机程序产品,其中所述透视图包括相对于所述目标物的三维视点。
40.根据权利要求35所述的计算机程序产品,其中所述透视图包括距所述目标物的距离。
41.根据权利要求35所述的计算机程序产品,其中生成三维模型包括利用多孔径摄像机采集多个图像集。
42.根据权利要求41所述的计算机程序产品,其中采集多个图像集包括从所述多孔径摄像机的中心通道采集所述视频图像。
43.根据权利要求35所述的计算机程序产品,还包括可执行如下步骤的计算机可执行代码:从所述图像集序列中选择多个视频图像,并且合成结合了得自所述多个视频图像的数据的复合视频图像,以获得所述目标物的视图。
44.根据权利要求43所述的计算机程序产品,其中所述复合视频图像的分辨率高于所述多个视频图像中的任何一个的分辨率。
45.一种系统,包括:
生成装置,所述生成装置利用图像集序列生成三维模型,每个图像集包括目标物的多个图像,所述多个图像中的每一个是从不同的光学轴线采集的,所述多个图像包括至少一个视频图像;
绘制装置,所述绘制装置用于在用户界面中利用透视图绘制所述三维模型;
选择装置,所述选择装置用于从所述图像集序列中选择包括与所述透视图最紧密相关的所述目标物的视图的视频图像;以及
显示装置,所述显示装置用于在所述用尸界面中显示所述视频图像。
46.根据权利要求45所述的系统,其中所述目标物包括齿列,所述系统包括提供用于标记所述齿列的边缘的工具。
47.根据权利要求45所述的系统,其中所述选择装置包括用于接收对三维模型的新透视图的用户选择以及从所述图像集序列中选择不同的视频图像的装置,所述不同的视频图像包括得自第二透视图的所述目标物的第二视图;以及利用所述的新透视图绘制所述三维模型。
48.根据权利要求47所述的系统,其中所述选择装置包括用于提供缩放控制器、平移控制器以及旋转控制器中的一种或多种以便接收用户选择的装置。
49.根据权利要求45所述的系统,其中所述透视图包括相对于所述目标物的三维视点。
50.根据权利要求45所述的系统,其中所述透视图包括距所述目标物的距离。
51.根据权利要求45所述的系统,其中所述生成装置包括用于利用多孔径摄像机采集多个图像集的装置。
52.根据权利要求51所述的系统,其中所述生成装置包括用于从所述多孔径摄像机的中心通道采集所述视频图像的装置。
53.根据权利要求45所述的系统,还包括第二选择装置,所述第二选择装置用于从所述图像集序列中选择多个视频图像,并且合成结合了得自所述多个视频图像的数据的复合视频图像,以获得所述目标物的视图。
54.根据权利要求53所述的系统,其中所述复合视频图像的分辨率高于所述多个视频图像中的任何一个的分辨率。
55.一种方法,包括:
利用图像集序列生成三维模型,每个图像集包括目标物的多个图像,每个图像集中的所述多个图像中的每一个是从不同的光学轴线采集的;
在第一窗口中显示所述多个图像中的一个;
在第二窗口中绘制所述三维模型;以及
使所述第一窗口和所述第二窗口同步以提供所述目标物的通用透视图。
56.根据权利要求55所述的方法,还包括接收对所述多个图像中的一个不同图像的用户选择,以及旋转所述三维模型,以保持所述通用透视图。
57.根据权利要求55所述的方法,还包括接收所述多个图像中的一个不同图像的用户选择,以及平移所述三维模型,以保持所述通用透视图。
58.根据权利要求55所述的方法,还包括接收对所述多个图像中的一个不同图像的用户选择,以及缩放所述三维模型,以保持所述通用透视图。
59.根据权利要求55所述的方法,还包括接收对所述三维模型的不同透视图的用户选择,以及选择所述多个图像中的一个新图像,以保持所述通用透视图。
60.根据权利要求55所述的方法,还包括接收对所述三维模型的不同透视图的用户选择,以及利用所述多个图像中的两个或更多个生成复合视频图像,以提供目标物的通用透视图。
61.一种计算机程序产品,包括计算机可执行代码,当所述计算机可执行代码在一个或多个计算设备上执行时,执行如下步骤:
利用图像集序列生成三维模型,每个图像集包括目标物的多个图像,每个图像集中的所述多个图像中的每一个是从不同的光学轴线采集的;
在第一窗口中显示所述多个图像中的一个;
在第二窗口中绘制所述三维模型;以及
使所述第一窗口和所述第二窗口同步以提供所述目标物的通用透视图。
62.根据权利要求61所述的计算机程序产品,还包括执行如下步骤的计算机可执行代码:接收对所述多个图像中的一个不同图像的用户选择,以及旋转所述三维模型,以保持所述通用透视图。
63.根据权利要求61所述的计算机程序产品,还包括执行如下步骤的计算机可执行代码:接收对所述多个图像中的一个不同图像的用户选择,以及平移所述三维模型,以保持所述通用透视图。
64.根据权利要求61所述的计算机程序产品,还包括执行如下步骤的计算机可执行代码:接收对所述多个图像中的一个不同图像的用户选择,以及缩放所述三维模型,以保持所述通用透视图。
65.根据权利要求61所述的计算机程序产品,还包括执行如下步骤的计算机可执行代码:接收对所述三维模型的不同透视图的用户选择,以及选择所述多个图像中的一个新图像,以保持所述通用透视图。
66.根据权利要求61所述的计算机程序产品,还包括执行如下步骤的计算机可执行代码:接收对所述三维模型的不同透视图的用户选择,以及利用所述多个图像中的两个或更多个生成复合视频图像,以提供所述目标物的通用透视图。
67.一种系统,包括:
生成装置,所述生成装置利用图像集序列生成三维模型,每个图像集包括目标物的多个图像,每个图像集中的所述多个图像中的每一个是从不同的光学轴线采集的;
显示装置,所述显示装置用于在第一窗口中显示所述多个图像中的一个;
绘制装置,所述绘制装置用于在第二窗口中绘制所述三维模型;以及
同步装置,所述同步装置用于使所述第一窗口和所述第二窗口同步以提供所述目标物的通用透视图。
68.根据权利要求67所述的系统,还包括用于接收对所述多个图像中的一个不同图像的用户选择以及旋转所述三维模型以保持所述通用透视图的控制装置。
69.根据权利要求67所述的系统,还包括用于接收对所述多个图像中的一个不同图像的用户选择,以及平移所述三维模型,以保持所述通用透视图的控制装置。
70.根据权利要求67所述的系统,还包括用于接收对所述多个图像中的一个不同图像的用户选择以及缩放所述三维模型以保持所述通用透视图的控制装置。
71.根据权利要求67所述的系统,还包括用于接收对所述三维模型的不同透视图的用户选择,以及选择所述多个图像中的一个新图像,以保持所述通用透视图的控制装置。
72.根据权利要求67所述的系统,还包括用于接收对所述三维模型的不同透视图的用户选择,以及利用所述多个图像中的两个或更多个生成复合视频图像,以提供所述目标物的通用透视图的控制装置。
73.一种方法,包括:
显示得自透视图的齿列的三维模型;
提供所述齿列的多个视频图像;
从所述多个视频图像中选择示出得自所述透视图的所述齿列的一个视频图像;以及
随所述三维模型在用户界面中显示所述多个视频图像中的所述一个,作为视觉确定所述齿列的边缘的辅助手段。
74.根据权利要求73所述的方法,还包括在所述多个视频图像中的所述一个或者所述三维模型中的一个或多个上显示边缘。
75.根据权利要求74所述的方法,还包括接收对所述边缘的用户修正以及利用修正的边缘更新显示。
76.一种系统,包括:
显示器,所述显示器具有用于显示得自透视图的齿列的三维模型的窗口;
摄像机,所述摄像机提供所述齿列的多个视频图像;
选择装置,所述选择装置用于从所述多个视频图像中选择示出得自所述透视图的所述齿列的一个视频图像;以及
所述显示器中的第二窗口,所述第二窗口用于显示所述多个视频图像中的所述一个,以作为视觉确定所述齿列的边缘的辅助手段。
77.根据权利要求76所述的系统,还包括边缘显示装置,所述边缘显示装置用于在所述多个视频图像中的所述一个或者所述三维模型中的一个或多个上显示边缘。
78.根据权利要求77所述的系统,还包括边缘修正装置,所述边缘修正装置用于接收对所述边缘的用户修正以及利用修正的边缘更新显示。
79.一种计算机程序产品,包括计算机可执行代码,当所述计算机可执行代码在一个或多个计算设备上执行时,执行如下步骤:
显示得自透视图的齿列的三维模型;
提供所述齿列的多个视频图像;
从所述多个视频图像中选择示出得自所述透视图的所述齿列的一个视频图像;以及
随所述三维模型在用户界面中显示所述多个视频图像中的所述一个,作为视觉确定所述齿列的边缘的辅助手段。
80.根据权利要求79所述的计算机程序产品,还包括执行如下步骤的计算机可执行代码:在所述多个视频图像中的所述一个或者所述三维模型中的一个或多个上显示边缘。
81.根据权利要求80所述的计算机程序产品,还包括执行如下步骤的计算机可执行代码:接收对所述边缘的用户修正以及利用修正的边缘更新显示。
CN200880022665A 2007-06-29 2008-06-27 视频数据和三维模型数据的同步视图 Pending CN101689309A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510413611.3A CN105096372B (zh) 2007-06-29 2008-06-27 视频数据和三维模型数据的同步视图

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US94700907P 2007-06-29 2007-06-29
US60/947,009 2007-06-29
PCT/US2008/068522 WO2009006273A2 (en) 2007-06-29 2008-06-27 Synchronized views of video data and three-dimensional model data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510413611.3A Division CN105096372B (zh) 2007-06-29 2008-06-27 视频数据和三维模型数据的同步视图

Publications (1)

Publication Number Publication Date
CN101689309A true CN101689309A (zh) 2010-03-31

Family

ID=39790036

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200880022665A Pending CN101689309A (zh) 2007-06-29 2008-06-27 视频数据和三维模型数据的同步视图
CN201510413611.3A Expired - Fee Related CN105096372B (zh) 2007-06-29 2008-06-27 视频数据和三维模型数据的同步视图

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510413611.3A Expired - Fee Related CN105096372B (zh) 2007-06-29 2008-06-27 视频数据和三维模型数据的同步视图

Country Status (5)

Country Link
US (2) US8866883B2 (zh)
EP (1) EP2171689B1 (zh)
JP (1) JP2010533008A (zh)
CN (2) CN101689309A (zh)
WO (1) WO2009006273A2 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014015459A1 (zh) * 2012-07-23 2014-01-30 医百科技股份有限公司 牙科补缀及赝复体数字建档与制作的方法及其教学训练
CN104349710A (zh) * 2011-07-08 2015-02-11 弗朗索瓦·迪莱特 牙科用三维测量设备
CN107690303A (zh) * 2015-06-04 2018-02-13 惠普发展公司, 有限责任合伙企业 生成三维模型
CN108523998A (zh) * 2017-03-02 2018-09-14 西门子保健有限责任公司 图像支持的方法、x射线装置、计算机程序和数据载体
CN109144439A (zh) * 2017-08-15 2019-01-04 北京仁光科技有限公司 屏幕标绘中的多场景同步方法、装置、设备和存储介质
CN109219835A (zh) * 2016-01-06 2019-01-15 维福穿戴产品公司 三维打印的定制可穿戴物件的生成
CN110996748A (zh) * 2018-05-23 2020-04-10 威博外科公司 面向机器学习的外科手术视频分析系统
CN112802083A (zh) * 2021-04-15 2021-05-14 成都云天创达科技有限公司 一种通过三维模型标记点获取对应二维图像的方法
CN114587237A (zh) * 2018-01-26 2022-06-07 阿莱恩技术有限公司 诊断性口内扫描和追踪

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
CN101689309A (zh) * 2007-06-29 2010-03-31 3M创新有限公司 视频数据和三维模型数据的同步视图
US8253831B2 (en) * 2008-11-29 2012-08-28 International Business Machines Corporation Location-aware event detection
US20100186234A1 (en) 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
US9277969B2 (en) * 2009-04-01 2016-03-08 Covidien Lp Microwave ablation system with user-controlled ablation size and method of use
EP2442720B1 (en) 2009-06-17 2016-08-24 3Shape A/S Focus scanning apparatus
US20110149020A1 (en) * 2009-12-17 2011-06-23 Ilya Klebanov Method and system for video post-processing based on 3d data
US9699438B2 (en) * 2010-07-02 2017-07-04 Disney Enterprises, Inc. 3D graphic insertion for live action stereoscopic video
US10776533B2 (en) 2010-07-12 2020-09-15 3Shape A/S 3D modeling of a dental restoration using textural features
ES2884700T3 (es) * 2010-12-21 2021-12-10 3Shape As Compensación de desenfoque de movimiento
US20120188343A1 (en) * 2011-01-24 2012-07-26 Panasonic Corporation Imaging apparatus
DK3401876T4 (da) * 2011-07-15 2022-10-31 3Shape As Detektering af en bevægelig genstand ved 3d-scanning af en stiv genstand
DE102011080682A1 (de) * 2011-08-09 2013-02-14 Siemens Aktiengesellschaft Positionsbestimmung bei einer stereotaktischen Biopsie
US20140018994A1 (en) * 2012-07-13 2014-01-16 Thomas A. Panzarella Drive-Control Systems for Vehicles Such as Personal-Transportation Vehicles
US8948482B2 (en) * 2012-11-01 2015-02-03 Align Technology, Inc. Motion compensation in a three dimensional scan
US10456062B2 (en) * 2013-01-11 2019-10-29 The Cleveland Clinic Foundation Alignment of manipulable sensor assembly
US8903149B1 (en) * 2013-01-18 2014-12-02 Anritsu Company System and method of communicating information about an object concealed by a scanned surface
AU2014211981A1 (en) * 2013-02-04 2015-08-20 D4D Technologies, Llc Intra-oral scanning device with illumination frames interspersed with image frames
DE102013204146A1 (de) * 2013-03-11 2014-09-25 Eos Gmbh Electro Optical Systems Verfahren zur verzugsfreien Herstellung von Objekten mittels eines generativen Schichtbauverfahrens und solchermaßen hergestelltes Dentalmodell
US9104298B1 (en) 2013-05-10 2015-08-11 Trade Only Limited Systems, methods, and devices for integrated product and electronic image fulfillment
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
JP6167703B2 (ja) * 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
US20150097929A1 (en) * 2013-10-09 2015-04-09 United Sciences, Llc. Display for three-dimensional imaging
ES2706749T3 (es) * 2013-11-04 2019-04-01 Cyrill Gyger Método para procesar datos de imagen que representan un volumen tridimensional
CN104636669B (zh) * 2013-11-13 2018-08-14 华为技术有限公司 一种数据管理的方法及设备
US10111714B2 (en) * 2014-01-27 2018-10-30 Align Technology, Inc. Adhesive objects for improving image registration of intraoral images
WO2015118120A1 (en) 2014-02-07 2015-08-13 3Shape A/S Detecting tooth shade
CA2940238C (en) 2014-02-21 2023-01-03 Trispera Dental Inc. Augmented reality dental design method and system
US9911243B2 (en) * 2014-03-15 2018-03-06 Nitin Vats Real-time customization of a 3D model representing a real product
US9510757B2 (en) 2014-05-07 2016-12-06 Align Technology, Inc. Identification of areas of interest during intraoral scans
KR102257621B1 (ko) * 2014-05-19 2021-05-28 엘지전자 주식회사 썸네일 이미지를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
JP5791761B1 (ja) * 2014-05-21 2015-10-07 株式会社モリタ製作所 根管治療用表示装置、根管治療ユニット及び根管治療用表示装置の作動方法
US9724177B2 (en) * 2014-08-19 2017-08-08 Align Technology, Inc. Viewfinder with real-time tracking for intraoral scanning
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
KR101663622B1 (ko) * 2014-12-24 2016-10-07 주식회사 메가젠임플란트 입체물 성형 시스템 및 그 방법
US9737257B2 (en) * 2015-01-30 2017-08-22 3M Innovative Properties Company Estimating and predicting tooth wear using intra-oral 3D scans
US10248756B2 (en) * 2015-02-18 2019-04-02 Siemens Healthcare Gmbh Anatomically specific movie driven medical image review
US10201406B2 (en) 2015-08-18 2019-02-12 International Business Machines Corporation Device and method for facilitating tooth contact adjustment using a pressure device
EP3373845B1 (en) 2015-11-12 2023-04-12 3M Innovative Properties Company A method of and system for building up a dental object
US10410430B2 (en) * 2016-02-12 2019-09-10 3M Innovative Properties Company Synchronization and animation of views showing digital 3D models of teeth
GB2548149A (en) * 2016-03-10 2017-09-13 Moog Bv Model generation for dental simulation
WO2017205144A1 (en) 2016-05-27 2017-11-30 3M Innovative Properties Company Coating compositions having particles with differing refractive indices for use in intraoral scanning methods
WO2017205095A1 (en) 2016-05-27 2017-11-30 3M Innovative Properties Company Coating compositions having hydrophilic and hydrophobic particles for use in intraoral scanning methods
US10304190B2 (en) 2016-06-29 2019-05-28 3M Innovative Properties Company Virtual model of articulation from intra-oral scans
US10157408B2 (en) 2016-07-29 2018-12-18 Customer Focus Software Limited Method, systems, and devices for integrated product and electronic image fulfillment from database
KR101877895B1 (ko) * 2016-10-06 2018-07-12 주식회사 메가젠임플란트 임플란트 진단용 영상 생성 시스템 및 그 생성방법
EP3312800B1 (de) * 2016-10-13 2020-05-13 a.tron3d GmbH Verfahren zum bereinigen von virtuellen repräsentationen von objekten
US10284731B2 (en) 2016-11-29 2019-05-07 Echostar Technologies L.L.C. Apparatus, systems and methods for generating 3D model data from a media content event
US10467815B2 (en) 2016-12-16 2019-11-05 Align Technology, Inc. Augmented reality planning and viewing of dental treatment outcomes
US10695150B2 (en) 2016-12-16 2020-06-30 Align Technology, Inc. Augmented reality enhancements for intraoral scanning
AU2018230391B2 (en) 2017-03-08 2020-11-19 Louis S. Polster Methods and systems for heat treating a food product
WO2018175680A1 (en) * 2017-03-24 2018-09-27 Nxtgen Technology, Inc. Uhd holographic filming and computer generated video process
US11648095B2 (en) 2017-08-10 2023-05-16 D4D Technologies, Llc Intra-oral scanning device
US10248971B2 (en) 2017-09-07 2019-04-02 Customer Focus Software Limited Methods, systems, and devices for dynamically generating a personalized advertisement on a website for manufacturing customizable products
US10614604B2 (en) 2017-12-04 2020-04-07 International Business Machines Corporation Filling in an entity within an image
US10636186B2 (en) 2017-12-04 2020-04-28 International Business Machines Corporation Filling in an entity within a video
CN107901424B (zh) * 2017-12-15 2024-07-26 北京中睿华信信息技术有限公司 一种图像采集建模系统
US11120179B2 (en) * 2018-03-22 2021-09-14 James R. Glidewell Dental Ceramics, Inc. System and method for performing quality control
US11210788B2 (en) * 2018-03-22 2021-12-28 James R. Glidewell Dental Ceramics, Inc. System and method for performing quality control
US11334977B2 (en) * 2018-03-22 2022-05-17 James R. Glidewell Dental Ceramics, Inc. System and method for performing quality control of manufactured models
DE102018107658A1 (de) * 2018-03-29 2019-10-02 SHERA Werkstoff-Technologie GmbH & Co. KG Verfahren zur Herstellung eines Arbeitsmodells für dentalmedizinische Zwecke aus einer digitalisierten Abformung
CN108961422B (zh) * 2018-06-27 2023-02-14 百度在线网络技术(北京)有限公司 三维模型的标记方法和装置
US11553988B2 (en) * 2018-06-29 2023-01-17 Align Technology, Inc. Photo of a patient with new simulated smile in an orthodontic treatment review software
US20200085547A1 (en) * 2018-09-16 2020-03-19 Chung-Pin Huang Method for forming and setting denture
CN109671151B (zh) * 2018-11-27 2023-07-18 先临三维科技股份有限公司 三维数据的处理方法及装置、储存介质、处理器
JP2022522963A (ja) * 2019-01-15 2022-04-21 3シェイプ アー/エス 無線走査装置
DK3705080T3 (da) * 2019-03-08 2021-08-23 Exocad Gmbh Computerimplementeret modellering af en patientindividuel tandprotesedel
JP6936826B2 (ja) * 2019-03-18 2021-09-22 株式会社モリタ製作所 画像処理装置、表示システム、画像処理方法、および画像処理プログラム
US11995839B2 (en) 2019-09-04 2024-05-28 Align Technology, Inc. Automated detection, generation and/or correction of dental features in digital models
WO2021120052A1 (en) * 2019-12-18 2021-06-24 Huawei Technologies Co., Ltd. 3d reconstruction from an insufficient number of images
US10937160B1 (en) * 2019-12-30 2021-03-02 Richard Ricci Dental images processed with artificial intelligence
JP2021133170A (ja) * 2020-02-28 2021-09-13 株式会社根本杏林堂 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
KR102418810B1 (ko) * 2020-08-06 2022-07-12 오스템임플란트 주식회사 마진라인 포인트 선택 방법 및 이를 위한 덴탈 캐드 장치
US11995808B2 (en) 2020-09-04 2024-05-28 Abova, Inc Method for X-ray dental image enhancement
CN112233791B (zh) * 2020-10-16 2023-12-29 东北大学 基于点云数据聚类的乳腺假体制备装置及方法
CN114821401B (zh) * 2022-04-07 2024-08-27 腾讯科技(深圳)有限公司 视频审核方法、装置、设备、存储介质及程序产品
US11633260B1 (en) 2022-06-03 2023-04-25 Sdc U.S. Smilepay Spv Positioning individual three-dimensional model teeth based on two-dimensional images
WO2024137515A1 (en) * 2022-12-20 2024-06-27 Align Technology, Inc. Viewfinder image selection for intraoral scanning

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4846577A (en) * 1987-04-30 1989-07-11 Lbp Partnership Optical means for making measurements of surface contours
US5175616A (en) * 1989-08-04 1992-12-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada Stereoscopic video-graphic coordinate specification system
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US7247021B2 (en) * 1997-06-20 2007-07-24 Align Technology, Inc. Subdividing a digital dentition model
US6409504B1 (en) * 1997-06-20 2002-06-25 Align Technology, Inc. Manipulating a digital dentition model to form models of individual dentition components
US5975893A (en) * 1997-06-20 1999-11-02 Align Technology, Inc. Method and system for incrementally moving teeth
AUPP450598A0 (en) * 1998-07-06 1998-07-30 Palmisano, Richard George A mandibular advancement device
US6674461B1 (en) * 1998-07-07 2004-01-06 Matthew H. Klapman Extended view morphing
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US6958766B2 (en) * 2000-04-06 2005-10-25 Gendex Corporation Dental video imaging system
US6971873B2 (en) * 2000-04-19 2005-12-06 Orametrix, Inc. Virtual bracket library and uses thereof in orthodontic treatment planning
US20020064759A1 (en) * 2000-11-30 2002-05-30 Durbin Duane Milford Method and system for viewing, altering and archiving digital models of dental structures and computer integrated manufacturing of physical models of dental structures
US9421074B2 (en) * 2001-04-13 2016-08-23 Orametrix, Inc. Unified three dimensional virtual craniofacial and dentition model and uses thereof
ATE300250T1 (de) * 2001-04-23 2005-08-15 Cicero Dental Systems B V Herstellungsverfahren für einen künstlichen zahn
JP4584575B2 (ja) * 2001-07-06 2010-11-24 クゥアルコム・インコーポレイテッド 3d画像に表示される3dサーフェイスとインタラクトする画像処理方法
US6990455B2 (en) * 2001-08-08 2006-01-24 Afp Imaging Corporation Command and control using speech recognition for dental computer connected devices
DE10216590B4 (de) * 2002-04-14 2007-06-14 Paul Dr. Weigl Verfahren zur maschinellen Fertigung von zahnärztlichen Restaurationen aus Keramik
US6903736B1 (en) * 2002-06-25 2005-06-07 Tim Stefan Visual display device and method of manufacture
KR100540109B1 (ko) * 2003-02-06 2006-01-10 가부시끼가이샤 도시바 입체 화상 표시 장치
WO2004087000A1 (en) * 2003-04-03 2004-10-14 Cadent Ltd. Method and system for fabricating a dental coping, and a coping fabricated thereby
CA2524213A1 (en) * 2003-04-30 2004-11-18 D4D Technologies, L.P. Intra-oral imaging system
US9642685B2 (en) * 2003-07-17 2017-05-09 Pentron Clinical Technologies, Llc Digital technologies for planning and carrying out dental restorative procedures
US7077646B2 (en) * 2003-08-29 2006-07-18 Jack Keith Hilliard Automated method for producing improved orthodontic aligners
US7474932B2 (en) * 2003-10-23 2009-01-06 Technest Holdings, Inc. Dental computer-aided design (CAD) methods and systems
WO2005059699A2 (en) * 2003-12-15 2005-06-30 Quantum Matrix Holdings, Llc System and method for multi-dimensional organization, management, and manipulation of data
US20050185711A1 (en) * 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
US20050212910A1 (en) * 2004-03-25 2005-09-29 Singhal Manoj K Method and system for multidimensional virtual reality audio and visual projection
JP4440893B2 (ja) * 2004-03-26 2010-03-24 淳 高橋 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム
US8027531B2 (en) * 2004-07-21 2011-09-27 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for capturing a scene using staggered triggering of dense camera arrays
DE102004035970A1 (de) * 2004-07-23 2006-02-16 Sirona Dental Systems Gmbh Verfahren zur Bearbeitung eines digitalisierten Werkstücks, insbesondere von dreidimensionalen Modellen von herzustellenden Zahnersatzteilen und Vorrichtung
US20060238617A1 (en) * 2005-01-03 2006-10-26 Michael Tamir Systems and methods for night time surveillance
US7494338B2 (en) * 2005-01-11 2009-02-24 Duane Durbin 3D dental scanner
CN1686058A (zh) * 2005-04-28 2005-10-26 上海隐齿丽医学技术有限公司 计算机辅助牙齿隐形正畸系统
US9289267B2 (en) * 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US7433505B2 (en) * 2005-11-01 2008-10-07 Ben Yoo Method of dental microscopic procedure
US7605817B2 (en) 2005-11-09 2009-10-20 3M Innovative Properties Company Determining camera motion
US20070183572A1 (en) * 2006-01-13 2007-08-09 Arielle Drummond Apparatus and method for manufacturing a mandibular advancement device
US7698014B2 (en) * 2006-01-20 2010-04-13 3M Innovative Properties Company Local enforcement of accuracy in fabricated models
US7819591B2 (en) 2006-02-13 2010-10-26 3M Innovative Properties Company Monocular three-dimensional imaging
WO2007103918A2 (en) * 2006-03-06 2007-09-13 D4D Technologies, Llc Augmented reality system for a dental laboratory
US8291912B2 (en) * 2006-08-22 2012-10-23 Sonitus Medical, Inc. Systems for manufacturing oral-based hearing aid appliances
CN100569195C (zh) * 2006-09-15 2009-12-16 李晓峰 可描述牙齿咬合关系的精细个性化头颅模型的制造方法
CN101689309A (zh) * 2007-06-29 2010-03-31 3M创新有限公司 视频数据和三维模型数据的同步视图
US8295506B2 (en) * 2008-07-17 2012-10-23 Sonitus Medical, Inc. Systems and methods for intra-oral based communications
US8255071B2 (en) * 2008-11-13 2012-08-28 Innovative Health Technologies, Llc Method and system for forming a dental prosthesis

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349710A (zh) * 2011-07-08 2015-02-11 弗朗索瓦·迪莱特 牙科用三维测量设备
WO2014015459A1 (zh) * 2012-07-23 2014-01-30 医百科技股份有限公司 牙科补缀及赝复体数字建档与制作的方法及其教学训练
US9913701B2 (en) 2012-07-23 2018-03-13 Eped Inc. Method for digital archiving and manufacturing of dental prosthetics and prosthesis, and teaching and training for same
CN107690303A (zh) * 2015-06-04 2018-02-13 惠普发展公司, 有限责任合伙企业 生成三维模型
CN109219835A (zh) * 2016-01-06 2019-01-15 维福穿戴产品公司 三维打印的定制可穿戴物件的生成
CN108523998A (zh) * 2017-03-02 2018-09-14 西门子保健有限责任公司 图像支持的方法、x射线装置、计算机程序和数据载体
CN108523998B (zh) * 2017-03-02 2021-10-29 西门子保健有限责任公司 图像支持的方法、x射线装置、计算机程序和数据载体
CN109144439A (zh) * 2017-08-15 2019-01-04 北京仁光科技有限公司 屏幕标绘中的多场景同步方法、装置、设备和存储介质
CN114587237A (zh) * 2018-01-26 2022-06-07 阿莱恩技术有限公司 诊断性口内扫描和追踪
CN110996748A (zh) * 2018-05-23 2020-04-10 威博外科公司 面向机器学习的外科手术视频分析系统
CN112802083A (zh) * 2021-04-15 2021-05-14 成都云天创达科技有限公司 一种通过三维模型标记点获取对应二维图像的方法
CN112802083B (zh) * 2021-04-15 2021-06-25 成都云天创达科技有限公司 一种通过三维模型标记点获取对应二维图像的方法

Also Published As

Publication number Publication date
US20110050848A1 (en) 2011-03-03
JP2010533008A (ja) 2010-10-21
CN105096372A (zh) 2015-11-25
EP2171689A2 (en) 2010-04-07
US8866883B2 (en) 2014-10-21
US20150002509A1 (en) 2015-01-01
WO2009006273A3 (en) 2009-03-05
WO2009006273A2 (en) 2009-01-08
US9262864B2 (en) 2016-02-16
CN105096372B (zh) 2019-10-29
EP2171689B1 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
CN101686853B (zh) 用于牙科模型的视频辅助边缘标记
CN101689309A (zh) 视频数据和三维模型数据的同步视图
US8457772B2 (en) Method for planning a dental component
EP1979877B1 (en) Visualization of three-dimensional data acquisition
US9191648B2 (en) Hybrid stitching
US7474932B2 (en) Dental computer-aided design (CAD) methods and systems
EP2588021B1 (en) 2d image arrangement
EP3593755B1 (en) Computer program product for planning, visualization and optimization of dental restorations
EP3813027A1 (en) Methods and systems for creating and interacting with three dimensional virtual models
US20220233287A1 (en) Dental restoration assessment using virtual model
CN109414306A (zh) 用于口内扫描的历史扫描参考
CN108992193A (zh) 一种牙齿修复辅助设计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100331