CN101726263B - 关于利用结构光的探头系统 - Google Patents

Abstract

本发明名称为“关于利用结构光的探头系统”。一种探头系统包括成像器和检查光源。探头系统配置成在检查模式和测量模式中操作。在检查模式期间，启用检查光源。在测量模式期间，禁用检查光源，并投射结构光图案。探头系统还配置成捕获至少一个测量模式图像。在所述至少一个测量模式图像中，结构光图案被投射到物体上。探头系统配置成利用来自所述至少一个测量模式图像的像素值以确定所述物体的至少一个几何尺寸。还提供配置成检测多个图像的两个或更多图像的捕获之间探头与所述物体之间的相对移动的探头系统。

Description

关于利用结构光的探头系统

对相关申请的交叉引用

本申请是2008年3月5日提出的名称为“Fringe ProjectionSystem and Method for a Probe Suitable for Phase-Shift Analysis”的美国申请12/042821的部分继续(Continuation-in-Part)，并从其要求优先权，该申请通过引用结合于本文中。 

技术领域

本文所述的主题主要涉及管道镜和内窥镜，并且更具体地说，涉及提供3D表面映射和尺寸测量的管道镜/内窥镜。 

背景技术

管道镜和内窥镜一般用于远端腔的检查。在本文中称为探头的大多数管道镜/内窥镜采用耦合到探头中的光纤束的外部光源来提供远端处的表面或远处物体的照明。在物体被照亮时，内部图像由图像传感器上的透镜系统形成，并且图像被传递到诸如显示屏等连接的显示器。图像传感器可和光学刚性管道镜或纤维镜一样位于探头的近端，或者和视频管道镜或内窥镜一样位于远端。此类系统通常用于检查不可触及位置的损坏或磨损，或者验证部件已正确制造或组装。除其它之外，需要获得尺寸测量以验证损坏或磨损未超过操作限制或者制造的部件或装配件符合其规范。可能也需要产生用于与参考比较的3D模型或表面图、3D观察、逆向工程或详细的表面分析。 

相移技术很适合解决这些测量需要，但其在管道镜或内窥镜中的实现提出了许多系统级难题。需要以产生可靠且易于使用的系统的方式来解决这些难题。 

发明内容

根据本发明的一个实施例，一种探头系统包括成像器和检查光源。探头系统配置成在检查模式和测量模式中操作。在检查模式期间，启用检查光源。在测量模式期间，禁用检查光源，并投射结构光图案(structured-light pattern)。探头系统还配置成捕获至少一个测量模式图像。在所述至少一个测量模式图像中，结构光图案被投射到物体上。探头系统配置成利用来自所述至少一个测量模式图像的像素值以确定所述物体的至少一个几何尺寸。 

在本发明的另一个实施例中，探头系统包括成像器，并且探头系统配置成在检查模式和测量模式中操作。在检查模式期间投射散射照明光，在测量模式期间投射结构光图案。探头系统还配置成捕获至少一个测量模式图像。在所述至少一个测量模式图像中，结构光图案被投射到物体上。探头系统配置成利用来自所述至少一个测量模式图像的像素值以确定所述物体的至少一个几何尺寸。探头系统还配置成检测多个图像的两个或更多图像的捕获之间的探头与所述物体之间的相对移动。 

附图说明

下面的详细描述参照附图进行，其中： 

图1是根据本发明的一个实施例的管道镜/内窥镜系统的示意图。 

图2是示出从FOV的一侧投射的示范投射集的轨线的图。 

图3是示出相对于视野(field of view)的第一和第二示范投射集的每个中一个条纹集(fringe set)的结构线的轨线的图。 

图4是示出在运动检测中涉及的步骤的示范实施例的流程图。 

图5是示出在运动检测中涉及的步骤的示范备选实施例的流程图。 

图6是示出在本发明的图像捕获序列期间涉及的步骤的示范实施例的流程图。 

具体实施方式

图1中所示示出根据本发明的一个实施例的管道镜/内窥镜系统或探头系统10。插入管40包括延长部分46和可分离的末端42。延长部分46包括主要的长柔性部分、弯曲颈部和摄像头。轮廓标线41示出摄像头在延长部分46上何处开始。延长部分46的摄像头一般包括至少成像器12、电子器件13和探头光学器件15。可分离末端42一般附连到上述延长部分46的摄像头。可分离末端42包含观察光学器件44，该光学器件与探头光学器件15组合使用以将从被观察的表面或物体(未示出)接收的光引导和集中到成像器12上。 

末端42中所示的元件能备选位于延长部分46上。这些元件包括观察光学器件44、至少一个发射器模块37、至少一个强度调制元件38及通光元件43。另外，包括多个光发射器的至少一个光发射器模块37能固定附连到插入管40，同时该至少一个强度调制元件放置在可分离末端42上。这种情况下，需要在可分离末端42与延长部分46之间进行精确的和可重复的对齐，但由于允许不同的视野，同时消除了对延长部分46与可分离末端42之间触点的需要，因此，这是有利的。 

如图1所示，成像器12位于插入管40的远端。备选地，成像器12可位于插入管40的近端。该备选配置例如可在刚性管道镜或纤维镜中适用。 

成像器12获得被观察的表面的至少一个图像。成像器12可包括例如响应在每个像素感觉的光级而输出视频信号的光敏像素的二维阵列。成像器12可包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)图像传感器或类似功能的其它器件。视频信号由电子器件13缓冲并经信号线14传输到成像器接口电子器件31。成像器接 口电子器件31可包括例如电源、用于生成成像器时钟信号的时序生成器、用于数字化成像器视频输出信号的模拟前端及用于将数字化的成像器视频数据处理成对视频处理器50更有用的格式的数字信号处理器(DSP)51。 

视频处理器50执行各种功能，不限于图像捕获、图像增强、图形覆盖合并和视频格式转换，并在视频存储器52中存储与那些功能有关的信息。视频处理器50可包括现场可编程门阵列(FPGA)、相机DSP(camera DSP)或其它处理元件，并提供信息到中央处理器(CPU)56并从其接收信息。提供和接收的信息可涉及命令、状态信息、视频、静态图像和/或图形覆盖。视频处理器50也输出信号到各种监视器，如计算机监视器22、视频监视器20和集成显示器21。视频处理器50还包括运动检测模块53和/或条纹对比度确定功能54。备选地，下述的CPU 56或微控制器30或包括相机控制电子器件(未示出)的探头电子器件48可包括运动检测模块53。 

在已连接时，计算机监视器22、视频监视器20和/或集成显示器21的每个通常显示处于检查下的表面或物体的图像、菜单、光标和测量结果。计算机监视器22一般是外部计算机类型监视器。类似地，视频监视器20一般包括外部视频监视器。集成显示器21集成并内置到探头系统10中，并且一般包括液晶显示器(LCD)。 

CPU 56优选使用程序存储器58和非易失性存储器60，其可包括可移动存储装置。CPU 56也可为程序执行和临时存储使用诸如RAM等易失性存储器。小键盘64和操纵杆62将用户输入输送到CPU56以实现诸如菜单选择、光标移动、滑动块调整和清晰度控制(articulation control)等此类功能。计算机I/O接口66提供到CPU 56的各种计算机接口，如USB、火线(Firewire)、以太网、音频I/O及无线收发器。诸如键盘或鼠标等另外的用户I/O装置可连接到计算机I/O接口66以提供用户控制。CPU 56生成用于显示的图形覆盖数据，提供调用功能(recall function)和系统控制，执行相移分析和测量处 理，以及提供图像、视频和音频存储。CPU 56和前面所述视频处理器50可组合成探头系统10的一个元件。另外，包括但不限于CPU 56和视频处理器50的探头系统10的组件可集成并内置到探头系统10中，或备选地位于外部。 

对于至少一个发射器模块37，来自该至少一个发射器模块37的光将至少一个结构光图案投射在适合相移分析的表面上。结构光图案优选地包括包含正弦强度轮廓(sinusoidal intensity profile)的暗线和平行光。在与适当的相移分析一起使用时，具有方形、梯形、三角形或其它轮廓的线条图案也可投射在表面上以确定图案的相位。图案也可包括直线、平行线外的其它线条。例如，可结合适当的分析使用曲线、波浪线、锯齿线或其它此类图案。 

从至少一个发射器模块37投射的结构光图案可以多种方式形成。发射器模块37可包括形成以包括适当的平行光和暗线的至少一个发光元件。来自发光元件的光可通过强度调制元件38。备选地，发射器模块37可包括多个光发射器。多个光发射器可策略性地定位以便在表面上形成结构光图案，和/或来自多个光发射器的光可通过强度调制元件38。在本发明的一个实施例中，强度调制元件38包括线条光栅(line grating)，在来自发射器模块37的光通过到达表面或物体(未示出)时，该光栅形成结构光图案。

多个条纹集从探头投射到被观察的表面或物体上。条纹集包括至少一个结构光图案。一个条纹集的结构光图案展示相对于其它条纹集的结构光图案的空间偏移或相移。结构光图案优选地包括包含正弦强度轮廓的暗线和平行光。在与适当的相移分析一起使用时，具有方形、梯形、三角形或其它轮廓的线条图案也可投射在表面上以确定图案的相位。图案也可包括直线、平行线外的其它线条。例如，可结合适当的分析使用曲线、波浪线、锯齿线或其它此类图案。 

当发射器模块37包括多个光发射器时，条纹集包括在包含一组至少一个光发射器的一个发射器组正在发光时投射的结构光图 案。换而言之，多个光发射器的不同子集发光以投射多个结构光图案的每个图案。发射器模块37的多个光发射器经定位，使得一个发射器组正在发光时投射的结构光图案展示相对于其它发射器组正在发光时投射的结构光图案的空间偏移或相移。 

来自放置在可分离末端42上的多个光发射器的光通过至少一个强度调制元件38以改变光的分布，并且在适合相移分析的被观察的表面上投射至少一个结构光图案。在一个实施例中，包括发射器组的多个光发射器沿垂直于线条光栅上线条的轴间隔分开，分开距离等于线条光栅的周期的整数。结果，在包括一个发射器组的多个光发射器同时发光时，多个发射器的每个产生的结构光图案加在一起。这形成的线条图案将比单个发射器元件生成的更明亮。 

在另一个实施例中，发射器组中的多个光发射器布置在平行于线条光栅上线条的线条中，并且串联地电连接。相对于使用单个发射器将需要的电流而言，此方案减少了实现给定光输出所需的电流。由于发射器功率通常通过具有相当大电阻的小导线供应，并且减少驱动电流减少了在导线中消耗和发射器驱动电路供应的功率，因此这是有益的。 

多个发光二极管(LED)可包括至少一个发射器模块37的多个光发射器。LED在探头系统10中是可行的，这至少是因为LED提供持续、均匀的照明，不会形成斑点，以及在条纹集之间的快速切换。然而，提供上述质量的任何发光源均足以在探头系统10中使用。其它此类光源包括但不限于有机LED、等离子元件(plasma element)、光纤耦合激光器和激光器阵列。 

可分离末端42上的至少一个发射器模块37可还包括用于发射器的控制/定序、感测温度和校准数据的存储/检索的电子器件。该至少一个发射器模块37可包括陶瓷或金属散热器，例如用于降低多个光发射器的温度上升。 

系统10还包括通过摄像头将延长部分46电耦合到可分离 末端42的触点36。触点36可以是弹簧加载的，并且还将电能从驱动导体35提供到发射器模块37。在本发明的一个实施例中，驱动导体35将功率从发射器驱动32运送到放置在插入管40的远端上的多个光发射器。驱动导体35包括一根或多根导线，并且可与信号线14结合在共同的外护层(未示出)中。驱动导体35也可与信号线14共享导体和/或利用插入管40结构来运送电流。发射器驱动32包括例如可调整的电流源，其具有时间上的变量以补偿具有不同功率能力和效率的光发射器。 

如上所述，视频处理器50或CPU 56包括亮度或条纹对比度确定功能54，以确定应为每个发射器组启用一个发射器还是多个发射器。在本发明的一个实施例中，亮度确定功能54与发射器驱动32通信，以选择性地通过连接到发射器模块37的特定导线来传送电流，使每个发射器组适当数量的发射器发光。进一步的亮度控制能通过改变施加到发射器的驱动电平或驱动发射器的时间的持续期而实现。 

在亮度确定功能54与发射器驱动32位于不同位置时，驱动导体35的一个驱动导线将发射器驱动32连接到发射器模块37，并且亮度确定功能54控制的一根或多根控制导线(未示出)也连接到发射器模块37。发射器模块37上包括的电路(未示出)能选择性地将一个或多个发射器连接到驱动导线，以响应控制导线上的信号。备选地，在发射器驱动32包括亮度确定功能54时，驱动导体35包括每发射器一根或多根驱动导线(未示出)。这种情况下，亮度确定功能54选择性地通过驱动导体35的特定驱动导线来传送电流，使每发射器组适当数量的发射器发光。 

在本发明的一个实施例中，至少一个校准光图案被投射到被观察的表面或物体上。来自多个光发射器的至少一个光发射器的投射光可用于在表面或物体上形成至少一个校准光图案。校准光图案可包括至少一个结构光图案，并且将来自多个发发射器的至少一个光发射器的光通过强度调制元件38可在物体上形成至少一个校准光图案。 校准光图案可包括但不限于有角度的线、单线、多线、一个点、多个点及多个平行光和暗线。能理解，条纹集和校准光图案可从同一发射器模块37投射。例如，这可以通过将条纹集发射器和校准图案发射器间隔分开，并将来自它们的光通过强度调制元件38的分开区域来实现。 

在本发明的另一个实施例中，第一投射集和第二投射集被投射在表面上。投射集包括包含至少一个结构光图案的至少一个条纹集。当投射集包括多个条纹集时，第一投射集的一个条纹集的结构光图案展示相对于第一投射集的其它条纹集的结构光图案的相移。类似地，第二投射集的一个条纹集的结构光图案展示相对于第二投射集的其它条纹集的结构光图案的相移。一般情况下，从观察光学器件44的一侧投射第一投射集，并且从观察光学器件44的另一侧投射第二投射集。根据可分离末端42的配置，可备选地从观察光学器件44的顶部投射第一投射集，并且可从观察光学器件44的底部投射第二投射集，或反之亦然。即使插入管40旋转，第一和第二投射集也从相对于FOV的相对位置或角度被投射。因此，可从围绕观察光学器件44的任何位置或角度投射第一投射集，该位置或角度是第二投射集的相对的位置或角度。 

图2的条纹集0、1和2包括示范投射集。在图2的情况下，多个条纹集包括投射集。在投射集包括多个条纹集时，一般从相对于FOV接近的同一原点(origin)投射包括投射集的多个条纹集。 

为了对此做进一步说明，图3示出两个条纹集的图。每个条纹集从FOV的相对侧投射。从FOV的一侧投射的实线表示的图3中的条纹集包括第一投射集，而从FOV的另一侧投射的虚线表示的图3中的条纹集包括第二投射集。关于图3的示范情况，仅示出每投射集一个条纹集；然而，多个条纹集可包括每个投射集。在本发明的一个实施例中，投射集包括多个条纹集，每个条纹集包括结构光图案，其中，一个条纹集的光图案展示相对于其它条纹集的光图案的相移。 在投射第一投射集和第二投射集时，捕获第一图像集和第二图像集。第一图像集包括第一投射集的条纹集图像，并且第二图像集包括第二图像集的条纹集图像，其中，每图像投射一个条纹集到表面或物体上。 

在至少一个结构光图案被投射到表面上时，探头在测量模式中操作。在本发明的一个实施例中，允许发射器模块37在测量模式期间在表面上投射至少一个结构光图案。在测量模式期间，CPU 56或视频处理器50捕获多个测量模式图像，其中，至少一个结构光图案被投射在物体上。测量模式图像可包括条纹集，其中，每测量模式图像投射不多于一个条纹集到物体上。该类的测量模式图像在本文中也称为条纹集图像。随后，可直接在多个条纹集图像上执行相移分析。 

启用检查光源23时，探头在检查模式中操作。光从检查光源23投射到表面或物体上。在检查模式期间，该至少一个结构光图案可不存在。通常，在从检查光源23将光投射到被观察的表面或物体上时，捕获在本文中称为检查模式图像的至少一个图像。检查光源23从插入管40的远端输出相对均匀的光或散射照明光。在检查模式期间产生和输送光的元件可总称为检查光输送系统。在一个实施例中，检查光输送系统包括检查光源23、源纤维束24、快门机构34、探头纤维束25及通光元件43。在其它实施例中，检查光输送系统可包括极不相同的元件，如在白色LED位于远端的情况下，能被禁用或提供可调整的输出电流的LED驱动电路、用于输送功率到LED的导线、LED本身及保护LED的保护元件。在另一个实施例中，检查光输送系统包括耦合到将光输送到插入管40的远端的纤维束的近端LED和LED驱动电路。 

再次讨论测量模式，在测量模式期间自动降低或禁用从检查模式光输送系统输出的、源于光源23的光的强度，以避免降低至少一个投射的结构光图案的对比度。例如，CPU 56可配置成提供原命令，通过对于光源23的启用/禁用输入在投射至少一个结构光图案前以电子方式关闭光源23。随后，在捕获多个测量模式图像后或在退出 测量模式时，例如以电子方式自动启用检查光源23。 

类似地，CPU 56也可配置成提供原命令，通过使用快门机构34打开或关闭检查输送系统的光。快门机构34配置成允许在检查模式或常规检查期间从检查光输送系统的光输出，或者在测量模式期间阻止或以其它方式禁止源于检查光源23的光输出。快门机构34例如包括螺线管或电机驱动机械快门或电光源禁用器(disabler)。在快门机构34允许来自检查光源23的光通过时，快门机构34是在开启位置。在快门机构34阻止来自检查光源23的光时，快门机构34是在闭合位置。在检查模式期间，快门机构34配置成在开启位置。相反，在条纹集投射期间，快门机构34配置成在闭合位置。快门机构34的位置能基于其实现而改变。在本发明的一个实施例中，在快门机构34允许光通过时，探头纤维束25经通光元件43将光输送到表面或检查处。 

检查光源23一般是白光源，但可包括用于探头的任何适当光源，如汞或金属卤化物弧光灯、卤钨灯、激光/磷系统或基于LED的光源，这些光源能位于近端或远端。在使用基于纤维的光源时，在系统10中可包括源纤维束24。源纤维束24包括非相干或半相干光纤束，并且将光传送到快门机构34。备选地，源纤维束24可省略，并且快门机构34可直接位于检查光源23与探头纤维束25之间。探头纤维束25包括非相干光纤束。通光元件43包括玻璃棒、成形纤维(formed fiber)和/或诸如透镜或扩散器等分布控制特征。 

在一些情况下，在捕获的测量模式图像中的投射的光图案会令人分心，并且使操作员更难以看到被观察的物体上的细节。因此，需要让操作员在放置测量光标时观察普通检查模式图像，而不是包括一个或多个结构光图案的测量模式图像。优选的是捕获至少一个对应的检查模式图像和至少一个对应的测量模式图像。该至少一个对应的测量模式图像包括多个测量模式图像中的至少一个图像，并且该至少一个对应的检查模式图像包括在接近该至少一个对应的测量模式图 像的接近时间捕获的至少一个检查模式图像。接近捕获的检查模式图像和测量模式图像在本文中称为对应的图像。理想的情况是对应的图像包括相对于FOV在同一位置的物体的图像。 

在接近的时间捕获对应的图像是有利的，至少是因为在对应图像的捕获之间探头的末端与观察物体之间的相对移动最小。诸如缺损和边缘等几何特征将在对应图像中同一位置显示，以便在检查模式图像上放置的光标的位置对应于测量模式图像中被观察的物体上的相同点。在本发明的一个实施例中，运动检测模块53分析检查模式和测量模式对应的图像。 

运动检测模块53可配置成一旦所有图像已捕获后便分析图像。备选地，运动检测模块53可配置成在每个图像捕获后相继分析图像。运动检测模块53配置成自动检测测量模式图像(在本文中也称为条纹集图像或包括结构光图案的捕获的图像)之间探头和/或表面移动。运动检测模块53可配置成只比较检查模式图像或只比较测量模式图像。此外，运动检测模块53可选择配置成比较至少一个测量模式图像和其对应的检查模式图像。在本发明的一个实施例中，对应的检查模式图像可在其对应的测量模式捕获序列的开始和/或结束时捕获。 

运动检测模块53能进一步配置成比较来自两个或更多个连续测量模式捕获序列的每个的一个或多个捕获的图像，使得存在相同照明和/或结构光图案的图像可得到比较，而不是尝试补偿图案位置或照明方面的差异。在本文中使用的术语“测量模式捕获序列”被定义为多个结构光图像的捕获，每个捕获的图像包括一个投射条纹集。在测量模式捕获序列期间，捕获多个测量模式图像。 

探头系统10配置成检测在多个图像的两个或更多个图像的捕获之间探头与表面或物体之间的相对移动。在本发明的一个实施例中，运动检测模块53配置成分析捕获的图像，并计算指示在多个图像的两个或更多个图像的捕获之间探头的末端与表面或物体之间相 对移动的运动度量。这些图像可包括多个图像的第一图像和最后图像。多个图像的第一图像是检查模式图像或测量模式图像。类似地，多个图像的最后图像是检查模式图像或测量模式图像。如果运动度量指示高移动概率，则多个图像的捕获重复进行，直至运动度量指示低移动概率或预定的超时发生。例如，如果运动度量指示在对应的测量模式与检查模式图像之间的高移动概率，则测量模式和检查模式图像的捕获重复进行，直至运动度量指示低移动概率或预定的超时发生。然而，全部多个图像的重新捕获可能不是始终必需的。 

运动度量的值能取决于运动检测的实现。度量能够是移动的像素，这种情况下，度量可限于一个像素移动，例如，用于指示低移动概率。在该情况下，表示大于一个像素的移动的任何度量将指示高移动概率。对于低移动概率的度量限制也能够通过实验确定。除其它之外，通过实验确定度量限制的一种方法包括使用亮度值之间的均方根(RMS)差。 

图4是示出在运动检测中涉及的步骤的示范实施例的流程图。图1中所示的管道镜/内窥镜或探头系统配置成执行方法400中所示的步骤。探头系统10在检查模式中时，并且CPU 56接收请求测量的命令时，可实现方法400。操作员可通过按探头系统10上的按钮(未示出)或者从集成显示器21选择菜单项来请求测量。 

一旦收到测量命令，在步骤402，CPU 56或视频处理器50便捕获第一检查模式图像。CPU 56随后将命令发送到微控制器30以进入测量模式。微控制器30控制发射器驱动32以执行测量模式捕获序列。在步骤404，CPU 56或视频处理器50捕获测量模式图像。每个结构光图案或条纹集至少捕获一个测量模式图像。操作员可通过从集成显示器21选择菜单项，在方法400的实现前预编程测量模式捕获序列的细节。例如，操作员可能想每结构光图案或条纹集捕获多个测量模式图像。另外，根据所需的分析和/或映射，可在相同的亮度级或不同的亮度级捕获相同结构光图案或条纹集的那些图像。 

在捕获测量模式图像后，微控制器30禁用发射器驱动32，并且微控制器30配置DSP 51用于检查模式。在步骤406后，CPU 56或视频处理器50捕获第二检查模式图像。在步骤408，运动检测模块53随后分析第一和第二检查模式图像以确定运动度量。如果运动度量指示运动程度不可接受，并且预设的时间限制未达到，则步骤402-412重复进行，直至运动度量指示运动程度可接受或预设的时间限制达到。或者，如果在步骤410运动度量指示运动程度不可接受，并且在步骤412预设的时间限制达到，则过程在步骤99结束。如果运动度量指示运动程度可接受，则过程在步骤99结束。 

在本发明的另一个实施例中，运动检测模块53配置成基于例如高频细节位置比较的技术来分析捕获的图像。在序列中的第一图像中能够识别包括亮度快速转变的图像中的点，并且在一个或多个随后的图像中能检验那些点以确定快速转变是否仍在相同的点发生。此方案能适应如在测量模式与检查模式图像之间将存在的照明的差异。例如在对应的测量模式图像之前和之后捕获的检查模式图像的在相同光照条件下捕获的图像能被简单地从彼此减去，以确定图像是否已发生相当大的变化。 

图5是示出在运动检测中涉及的步骤的示范备选实施例的流程图。图1中所示的管道镜/内窥镜或探头系统配置成执行方法500中所示的步骤。探头系统10在检查模式中时，并且CPU 56接收请求测量的命令时，可实现方法500。操作员可通过按探头10上的按钮(未示出)或者从集成显示器21选择菜单项来请求测量。 

一旦收到测量命令，在步骤502，CPU 56或视频处理器50便捕获检查模式图像。在步骤504，CPU 56或视频处理器50识别在步骤502捕获的检查模式图像中明显的亮度转变点。CPU 56随后将命令发送到微控制器30以进入测量模式。在本发明的一个实施例中，微控制器30控制发射器驱动32来使一个发射器组发光以投射第一条纹集。在步骤506，CPU 56或视频处理器50捕获第一条纹集图像。 为第一条纹集捕获至少一个测量模式图像。在步骤508，CPU 56或视频处理器50识别在步骤506捕获的第一条纹集图像的至少一个中的明显亮度转变点。 

运动检测模块53随后在步骤510比较检查模式图像的识别的明显亮度转变点和条纹集图像的那些转变点。在步骤512，运动检测模块53基于该比较确定运动度量。如果在步骤514运动度量指示运动程度不可接受，并且在步骤516时间限制达到，则过程在步骤99结束。 

如果运动度量指示运动程度不可接受，并且预设的时间限制未达到，则步骤502-516重复进行，直至运动度量指示运动程度可接受或预设的时间限制达到。优选的是序列从步骤502重复进行以更新检查模式图像，这是因为测量模式图像将不太可能再次与原检查图像对齐。备选地，序列可从步骤506重复进行以将捕获的条纹集图像或包括相同结构光图案的两个或更多个测量模式图像相互比较，直至它们全部相配，并随后在结束时捕获另一检查模式图像。 

然而，如果运动度量指示运动程度可接受，则步骤506-514为第二条纹集、然后为第三条纹集等重复进行。一旦为最后的条纹集捕获所有条纹集图像并且运动度量指示对于最后的条纹集中的条纹集图像的运动程度可接受，则在为该最后的条纹集顺序通过步骤506-514之后，过程结束。 

回到图1，上述成像器接口电子器件31、发射器驱动32和快门机构34包括在探头电子器件48中。探头电子器件48可与主控单元或CPU 56在物理上分离以提供对探头相关操作的更多本地控制。探头电子器件48还包括校准存储器33。校准存储器33存储可与延长部分46和/或分离末端42的光学系统有关的信息，如放大数据、光学失真数据和图案投射几何数据。 

校准存储器33存储与从光源23投射的光与从发射器模块37投射的光之间的强度关系有关的信息。光源23与发射器模块37投 射的光之间的强度关系能在任何图像捕获前预定。一般情况下，光源23的亮度或强度大于发射器模块37的亮度或强度。因此，在检查模式图像捕获期间应用到成像器12输出的视频信号的成像器12曝光时间和/或模拟增益将与在测量模式图像捕获期间应用的那些不同。 

控制快门34的微控制器30与CPU 56通信，并控制发射器驱动32电路，并且还与成像器接口电子器件31通信以确定和设定增益和曝光设置，并且从校准存储器33读取和存储校准数据。 

探头系统10还包括应用到源于成像器12的图像数据的增益函数、曝光函数、伽马校正函数和边缘增强函数的一个或多个函数。探头系统10配置成在检查模式与测量模式之间切换时自动调整所述函数至少之一的参数。 

在本发明的一个实施例中，检查光输送系统输出的光和结构光图案的相对强度在校准步骤期间被确定并存储在校准存储器33中。在成像器接口电子器件31中包括的DSP 51可配置成自动调整成像器12曝光和前端模拟增益以实现用于检查模式图像捕获的最佳图像亮度。 

微控制器30配置成使用检查模式期间有效的曝光函数和增益函数值，从DSP 51来计算曝光函数和增益函数设置的参数，以便在测量模式期间使用。微控制器30还配置成根据结构光图案的光与来自检查光源23的光之间预定的强度关系，计算曝光和增益函数的参数，并设置DSP 51应用调整的曝光和增益设置以优化测量模式图像捕获的图像亮度。例如，调整曝光和增益函数的参数，使得多个条纹集图像中的亮度类似于检查模式图像中的亮度。如果DSP 51保留在自动曝光和增益调整模式中，则此方案消除了DSP 51在切换后达到适当图像亮度将需要的时间，这对于将图像捕获之间的运动的可能性降到最低是合乎需要的。在捕获测量模式图像后，DSP 51可再次配置用于自动增益和曝光调整以优化用于检查模式图像捕获的图像亮度。 

图6是示出在本发明的图像捕获序列期间涉及的步骤的示范实施例的流程图。在本文中使用的术语“图像捕获序列”被定义为对应的检查模式和测量模式图像的捕获。不要混淆术语“图像捕获序列”和上面定义的术语“测量模式捕获序列”。 

图1中所示的管道镜/内窥镜或探头系统10配置成执行方法600中所示的步骤。当探头系统10在检查模式中、并且CPU 56接收请求测量的命令时，可实现方法600。操作员可通过按探头10上的按钮(未示出)或者从集成显示器21选择菜单项来请求测量。 

一旦收到测量命令，在步骤602，CPU 56或视频处理器50便捕获检查模式图像。在步骤604，CPU 56将命令发送到微控制器30以进入测量模式。在步骤606，微控制器30从DSP 51读取模拟增益和曝光，并且在步骤608，微控制器30调整用于测量模式的增益和曝光。如上所述，测量模式DSP 51设置可根据在检查光输送系统与结构光图案之间的预定强度关系进行调整。接着在步骤608，微控制器30基于调整的值将DSP 51设定为固定增益和曝光。在步骤610，如上所述，由微控制器30或CPU 56禁用检查光。 

在步骤612，微控制器30控制发射器驱动32以执行测量模式捕获序列。在本发明的一个实施例中，执行测量模式捕获序列包括在可能对时间或驱动电平进行调整以补偿不同发射器亮度级的同时，在帧边界上顺序通过发射器组、不同的光发射器的子集。此外，可调整供应到一个子集光发射器的驱动电平以补偿光发射器的该子集与光发射器的另一子集之间的温差。不同的发射器亮度级可能是在序列进展时由于不同的发射器效率或发射器的加热而造成的。例如，如果发射器是LED，则效率一般在温度上升时降低。在第一LED打开时，发射器模块37的温度比当最后LED打开时更低。因此，最后LED需要更多驱动电流以实现与第一LED相同的输出。驱动电平的差异可通过校准步骤来预定。LED正向压降一般还随温度上升而上升。因此，结合发射器驱动32，微控制器30可测量LED正向压降以确定LED 温度，从而更准确地补偿效率变化。 

在步骤614，CPU 56或视频处理器50捕获测量模式图像。每条纹集捕获至少一个测量模式图像。另外，每条纹集可捕获多个测量模式图像，使得在同一亮度级捕获每个条纹集的测量模式图像；此外，每条纹集可捕获多个测量模式图像，使得在不同亮度级捕获至少一个条纹集的多个条纹集图像。 

在步骤616，运动检测模块53分析图像的运动。如果在步骤618检测到运动，并且在步骤620达到预设的时间限制，则过程在步骤99结束。如果检测到运动，并且未达到预设的时间限制，则重复进行步骤612-620，直至未检测到运动或达到预设的时间限制。或者，如果在步骤618未检测到运动，则CPU 56将命令发送到微控制器30以进入检查模式。在步骤624，微控制器30禁用发射器驱动32。在步骤626，微控制器30通过设定DSP 51进行自动增益和曝光调整，配置DSP 51用于检查模式。在步骤628，CPU 56或微控制器30启用检查光输出。在步骤628后，CPU 56或视频处理器50可再次捕获检查模式图像，如在步骤402中一样。这标志着图像捕获序列的结束。方法600可自动重复进行，以顺序通过这些步骤预定的次数。备选地，操作员可通过在每次需要新的图像捕获序列时请求测量，手动命令方法600重复进行。 

回到图6的步骤618，如果在步骤618未检测到运动，则探头系统10不必直接进入检查模式。在本发明的另一个实施例中，如果在步骤618未检测到运动，则用户可选择在步骤622进入检查模式或者进入测量屏幕(未显示)。测量屏幕显示优选地从步骤602捕获的对应的检查模式图像，同时在优选地从步骤614捕获的至少一个对应的测量模式图像上执行分析或测量。测量屏幕允许在对应的检查模式图像上放置测量光标，而实际的分析或测量在表示至少一个对应的测量模式图像的数据上执行。在进入测量屏幕时，可选择禁用发射器驱动，以免投射结构光图案。用户可在步骤622观察测量屏幕以进行 挑选的同时选择在所需的任何点进入检查模式。如果以前禁止发射器驱动进入测量屏幕，则跳过步骤624。序列在步骤626恢复，在该步骤中，微控制器30通过设定DSP 51用于自动增益和曝光调整，配置DSP 51用于检查模式。 

探头系统10配置成当在检查模式与测量模式之间切换时通过DSP 51更改成像器12模拟增益和曝光函数的参数。探头系统10还配置成当在检查模式与测量模式之间切换时自动调整DSP 51的其它处理参数，包括但不限于伽马校正和边缘增强。 

关于伽马校正，一般情况下，成像器12以线性方式响应光。强度或照度值的非线性重新映射通常由DSP 51执行以便为图像显示改进感知的亮度一致性。在检查模式期间捕获的图像的强度值的非线性重新映射可能是合乎需要的。然而，优选的是在表示对光的线性响应的图像上执行相移分析。因此，对光的线性响应必须在测量模式期间从成像器12转入到视频处理器50，这是因为相移分析一般在测量模式期间捕获的结构光图像上执行。探头系统10配置成相对于在检查模式期间应用的伽马校正的程度，降低应用到至少一个测量模式图像的像素的伽马校正的有效程度。例如，在测量模式期间启用或开启线性伽马DSP设置。然而，在检查模式期间，线性伽马DSP设置一般被禁用或设为非线性以改进感知的检查模式图像质量。 

关于边缘增强，启用边缘增强将人为地修改图像的亮度线性。这对于在其上执行相移分析的图像，一般是不合需要的，因为优选的是表示对光的线性响应的图像。因此，为测量模式图像捕获禁用或关闭边缘增强功能，并且可为检查模式观察和检查模式图像捕获启用或打开边缘增强功能。探头系统10配置成相对于在检查模式期间应用的边缘增强的程度，降低应用到至少一个测量模式图像的像素的边缘增强的有效程度。 

还与图像捕获有关的是，优选地在有少量或无随机噪声的图像上执行相移分析以改进测量精确性。为降低随机噪声，探头系统 10可配置成捕获存在相同结构光图像或相同条纹集的多个测量模式图像，并且对那些测量模式图像的两个或更多图像进行平均或求和。结果是多个合成图像，其中，在每个合成图像中只存在一个条纹集。存在有相同结构光图案或相同条纹集的这些多个测量模式图像可在相同或类似的亮度级捕获。在投射条纹集的合成图像是求和而不是平均的结果时，增大了动态范围，并且降低了噪声。无论合成图像是求和还是平均的结果，在合成图像上能执行相移分析和其它处理。 

此外，包括相同结构光图案或相同投射条纹集的测量模式图像可在不同的亮度或强度级捕获。这通过手动或自动更改发射器输出强度或持续时间、成像器12曝光、模拟增益或其一些组合而实现。 

如上所述，条纹对比度确定功能54配置成确定应为每个发射器组启用一个发射器还是多个发射器。例如，为更改光源强度，条纹对比度确定功能54可还配置成在每发射器组启用一个发射器与多个发射器来投射光之间定序。也如上所述，微控制器30与成像器接口电子器件31通信以确定和设定增益和曝光设置。类似地，微控制器30可配置发射器驱动32以改变输送到发射器模块37的功率量，并因此改变投射条纹集的强度。 

在不同亮度或强度级捕获的、包括相同投射条纹集的多个测量模式图像可组合以有效地增加系统的动态范围。例如，可捕获包括结构光图案的明亮金属表面的图像。明亮金属表面的反射性质会阻止暗区中的足够强度级别。因此，可在不同强度级捕获每个条纹集的多个图像，以便在至少一些图像中暗区得到适当照亮。随后，可组合每个条纹集的捕获的图像，从而为每个条纹集产生单个图像，该图像具有跨越比利用每条纹集单个图像能实现的更大的部分的充分强度级。 

CPU 56或视频处理器50可配置成在捕获测量模式图像前分析检查模式图像以确定亮度一致性。通过生成并评估像素照度值的直方图，可执行该分析。在中间亮度范围具有大多数像素的直方图将 指示测量模式图像的单个集合将可能是足够的。具有大部分极亮像素和极暗像素的直方图可指示高反射性表面，其将受益于在不同亮度级捕获的多个测量模式图像序列的合并。 

在本发明的一个实施例中，通过评估包括相同的投射结构光图案或条纹集并且在不同强度级捕获的多个测量模式图像中的每个像素强度，并选择最符合诸如最大调制、亮度值或像素不饱和等标准的集合的像素的集合，组合这些多个图像。来自包括相同结构光图案或条纹集的不止一个测量模式图像的像素值可用于确定物体或表面的至少一个几何尺寸。 

上面的讨论主要涉及探头系统10的图像捕获。下面的讨论主要涉及那些捕获的图像的使用和存储。 

在本发明的一个实施例中，向操作员隐藏了在测量模式期间捕获的包括结构光图案的图像，并且这些图像只用于实际分析和测量。例如，CPU 56或视频处理器50创建包括表示对应的检查模式图像的数据的图像文件，并且在包括表示其至少一个对应的测量模式图像的数据的图像文件内创建隐藏的记录。在操作员定位用于确定被观察的物体的几何测量的覆盖光标时，对应的检查模式图像能被显示，而分析在对应的测量模式图像上执行以确定几何测量结果。因此，在观察检查模式图像时，即使在其对应的一个或多个测量模式图像上执行分析或测量，操作员也可命令分析或测量。这也能在图像存储前进行，例如，如上关于图6所讨论的，其中显示了检查模式图像并处理了测量图像。 

通过允许用户在普通的检查模式图像上放置光标而不必担心立体匹配、垂直性、阴影位置等，降低了操作员技能要求。操作员可使用操纵杆62将光标放置在集成显示器21上显示的检查模式图像上。小键盘64和/或计算机I/O接口66也可与操纵杆62交换，用于放置光标，并且计算机监视器22和/或视频监视器20也可与集成显示器21交换，用于显示检查模式图像。 

一般情况下，当在图像上执行测量，并且保存图像时，诸如光标位置、测量结果、精确性指示符等图形覆盖数据被添加到图像。此图形覆盖必须可去除以实现以后的容易的重新测量，其中要求与图像相关的非图形数据。用于从探头存储图像特定的数据、特别是校准数据的方法从美国专利7262797已知。还需要的是存储例如与相移分析有关的测量数据。测量数据包括但不限于结构光图像的照度部分(照度数据)、测量光标位置、合并的图像数据、测量类型、结果、精确性指示等、校准数据、相位数据及相移分析数据。相位数据可包括表示结构光图案的相位的数据，例如，包裹相位、展开后的相位、相对相位和/或绝对相位。2008年5月5日提交的名称为“Phase-ShiftAnalysis System and Method”的共同未决的美国申请12/042800论述了相移分析中相位数据的实现，该申请通过引用结合于本文中。相移分析数据包括但不限于表面或物体距离数据(对于每个像素的z值，其中，z是与探头的物体距离)和点云数据(对于每个像素的x、y、z值)。正如本领域的技术人员应理解的，美国专利7262797中公开的方法应该包括“将测量数据写入文件”的另外步骤。 

具体而言，系统可包括几何测量模式，其中，对应的检查模式图像被显示，并且操作员在检查模式图像上定位测量光标以标识测量点，并且CPU 56基于通过在对应的测量图像上利用校准数据执行的相移分析得到的3D数据，计算和显示测量结果。当操作员请求图像保存时，CPU 56创建图像文件。它将覆盖数据与检查图像数据合并，并在图像文件中保存结果，使得在文件通过标准图像观察器打开时，检查模式图像和覆盖被显示。CPU 56还在图像文件中创建隐藏的记录。在这些隐藏的记录中，它存储由覆盖数据改写的检查图像数据(称为覆盖替代数据)和测量数据。因此，定制软件应用能完全恢复原检查模式图像，并具有复制现有测量和/或执行另外的测量或分析所需的所有信息。 

使用探头系统10或附带的个人计算机应用捕获的位图和 JPEG图像中的测量数据由CPU 56或视频处理器50保存。这允许图像具有“破坏性”覆盖，使用标准图像观察软件可在图像中见到这些覆盖，但其可由定制应用去除以向观察者或操作员显示干净的图像。干净的图像能够是测量模式图像或其对应的检查模式图像。在图像中存储照度和测量数据还允许使用探头软件或通过诸如基于PC的软件包等定制软件在图像上重复进行测量。 

一旦图像被捕获并可选地由探头系统10存储后，图像数据便能以许多方式使用。例如，来自测量模式图像的像素值能用于确定表面或物体的至少一个几何尺寸。另外，图像数据能用于执行3D几何测量或3D可视化。图像数据还能导出或转换为可结合3D建模软件使用的数据格式，以用于详细的分析或逆向工程。 

如本文中所述和附图中所示的，与图像捕获有关的方法和系统的构造和布置只是说明性的，并且不限于探头。虽然在此公开中只详细描述了本发明的几个实施例，但阅读此公开的本领域技术人员将容易理解，在实质上不脱离所附权利要求中记载的主题的优点和新颖教导的情况下，许多修改是可能的(例如，各种元件的大小、尺寸、结构、形状和比例、参数的值、安装布置、材料的使用、定向等方面的变化)。相应地，所有此类修改旨在包括在如所附权利要求中定义的本发明的范围内。任何过程或方法步骤的次序或顺序可根据备选实施例进行改变或重新定序。在权利要求中，任何部件加功能款项旨在覆盖在本文中描述为执行所记载功能的结构，并且不仅包括结构等效物，而且还包括等效结构。在不脱离如所附权利要求中表达的本发明的实施例的精神的情况下，可在优选和其它示范实施例的设计、操作条件和布置方面进行其它替代、修改、更改和省略。因此，本发明的技术范围不但涵盖上述那些实施例，而且涵盖属于所附权利要求的范围的那些实施例。 

Claims (8)

1.一种探头系统，包括成像器和检查光源，所述探头系统配置成：

在检查模式和测量模式中操作，其中所述检查光源在检查模式期间被启用，并且在测量模式期间被禁用，以及其中在测量模式期间投射结构光图案；

捕获至少一个测量模式图像，其中所述结构光图案被投射到物体上；

在接近所述捕获至少一个测量模式图像的时间捕获至少一个检查模式图像，其中所述至少一个检查模式图像包括投射到所述物体上的来自所述检测光源的光；以及

利用来自所述至少一个测量模式图像的像素值以确定所述物体的至少一个几何尺寸。

2.如权利要求1所述的探头系统，还配置成：

创建包括可视图像的单个图像文件，其中至少一个测量光标已被破坏性地覆盖；以及

创建至少一个隐藏的记录，其中所述可视图像和至少一个测量光标可使用图像观察器软件来观察，所述至少一个隐藏的记录至少包括覆盖替代数据、测量光标位置、校准数据、结构光图像数据、相位数据、点云数据及物体距离数据之一，使得定制程序能在所述可视图像上执行几何测量。

3.如权利要求1所述的探头系统，还包括应用到源于所述成像器的图像数据的增益函数、曝光函数、伽马校正函数及边缘增强函数中的一个或多个函数；

其中所述探头系统配置成在检查模式与测量模式之间切换时自动调整所述函数中至少一个函数的参数。

4.如权利要求1所述的探头系统，其中所述至少一个测量模式图像包括包含相同结构光图案的多个测量模式图像；以及

其中来自包含所述相同结构光图案的所述多个测量模式图像的不止一个图像的像素值用于确定所述物体的所述至少一个几何尺寸。

5.一种包括成像器的探头系统，所述探头系统配置成：

在检查模式和测量模式中操作，其中在检查模式期间投射散射照明光，以及其中在测量模式期间投射结构光图案；

捕获至少一个测量模式图像，其中所述结构光图案被投射到物体上；

在接近所述捕获至少一个测量模式图像的时间捕获至少一个检查模式图像，其中所述至少一个检查模式图像包括投射到所述物体上的来自所述检测光源的光；

利用来自所述至少一个测量模式图像的像素值以确定所述物体的至少一个几何尺寸；以及

检测多个图像的两个或更多图像的捕获之间的探头与所述物体之间的相对移动。

6.如权利要求5所述的探头系统，还包括：

计算指示所述多个图像的所述两个或更多图像的所述捕获之间的所述探头与所述物体之间的所述相对移动的运动度量。

7.如权利要求5所述的探头系统，其中：

所述多个图像的所述两个或更多图像包括在所述至少一个测量模式图像的捕获之前捕获的至少一个检查模式图像和在所述至少一个测量模式图像的捕获之后捕获的至少一个检查模式图像，所述至少一个检查模式图像包括投射到所述物体上的散射照明光。

8.如权利要求5所述的探头系统，其中所述至少一个测量模式图像包括包含相同结构光图案的多个测量模式图像；以及

其中来自包含所述相同结构光图案的所述多个测量模式图像的不止一个图像的像素值用于确定所述物体的所述至少一个几何尺寸。

Images