[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN1621775A - 快速自动对焦机器视觉检查系统的系统和方法 - Google Patents

快速自动对焦机器视觉检查系统的系统和方法 Download PDF

Info

Publication number
CN1621775A
CN1621775A CNA2004100978171A CN200410097817A CN1621775A CN 1621775 A CN1621775 A CN 1621775A CN A2004100978171 A CNA2004100978171 A CN A2004100978171A CN 200410097817 A CN200410097817 A CN 200410097817A CN 1621775 A CN1621775 A CN 1621775A
Authority
CN
China
Prior art keywords
focusing
focus image
automatic
interest
example embodiment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100978171A
Other languages
English (en)
Other versions
CN100430685C (zh
Inventor
R·M·韦瑟曼
P·G·格兰德尼克
K·W·安瑟顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitutoyo Corp
Original Assignee
Mitutoyo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34435803&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1621775(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mitutoyo Corp filed Critical Mitutoyo Corp
Publication of CN1621775A publication Critical patent/CN1621775A/zh
Application granted granted Critical
Publication of CN100430685C publication Critical patent/CN100430685C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

用于机器视觉度量和检查系统的自动对焦系统和方法提供高速和高精度的自动对焦,而使用低成本和灵活的硬件。本发明各种实施例的一个方面是,基于连接所需感兴趣区域确定的简化读取象素集,由摄像机输出的图像帧的部分对自动对焦图像进行最小化。简化读取象素集允许最大化的图像获取速率,这又允许自动对焦图像获取位置之间更快的移动,从而以相应的自动对焦执行速度实现所需自动对焦精度,所述自动对焦执行速度对特定的感兴趣区域近似优化。在各种实施例中,使用频闪照明来进一步提高自动对焦的速度和精度。提供适应和编程各种关联的自动对焦控制参数的方法。

Description

快速自动对焦机器视觉检查系统的系统和方法
技术领域
本发明涉及自动对焦机器视觉检查系统的系统和方法。
背景技术
已存在操作具有摄像机和工作台的机器视觉检查系统的方法,所述摄像机和工作台可相对于彼此进行移动,以对焦并检查工作台上的工件的所选特征。精确机器视觉检查系统可用于获得检查的物件的精确维度测量并检查各种其他的物件特征。这样的系统可以包括计算机、摄像机和光学系统及精确工作台,所述工作台可在多个方向上移动以允许摄像机扫描被检查的工件的特征。现有技术的系统的一个例子,它属于通用“离线”精确视觉系统类型,是由位于伊利诺斯州奥罗拉的三丰美国公司(MAC)在市场上提供的QUICKVISIONTM系列视觉检查机器和QVPAKTM软件。例如,QUICK VISONTM系列的视觉检查机器及QVPAK软件的特性和操作在2003年1月发布的QVPAK 3DCNC视觉测量机器用户指南及1996年9月发布的QVPAK 3D CNC视觉测量机器操作指南中说明,在此完整包括它们中的每一个作为参考。此产品,例如,以QV-302 Pro型号作为例子,能够使用显微镜类型的光学系统以各种放大倍率提供工件的图像。
这样的通用“离线”精确视觉系统通常包括可编程的照明系统和具有各种放大倍率镜头的镜头转塔(turret),例如,以增加它们的通用性并提供快速改变其配置和成像参数以执行多种检查任务的能力。存在使用放大倍率和可编程照明设置的各种组合来检查各种类型的物件或检查工件、或单个工件的各个方面的一般需要。
通用精确机器视觉检查系统,如QUICK VISIONTM系统,一般也是可编程的并用于提供自动的视频检查。通常希望这样的系统包括简化此系统编程和操作的特性和工具,以使得操作和编程可以由“非专家”操作员可靠地执行。例如,美国专利6,542,180包括在此作为参考,它揭示了使用自动视频检查的视觉系统,其中包括基于工件特征的图像中多个选择的区域调整用于照明工件特征的照明设备的操作。
如上述’180专利所揭示,自动视频检查度量仪通常具有允许用户对每个特殊的工件配置定义自动检查事件序列的编程能力。编程能力通常也提供存储和/或输出各种检查操作结果的能力。这样的编程可以通过明确的方式,如基于文本的编程,或存储由用户执行的操作逐步“学习”检查视觉序列的记录模式,或两种方法的组合来实现。这样的记录模式通常称为“学习模式”或“训练模式”。
在任一种方法中,机器控制指令通常作为特定于特殊工件配置的部分程序来存储。创建包含在操作的“运行模式”期间自动执行检查操作预定序列的指令的部分程序的能力提供了几个好处,包括增强的操作可重复性,及对多个兼容的机器视觉检查系统和/或多次自动执行同一部分程序的能力。
上面所示的QUICK VISIONTM系统,及市场上提供的一些其他通用“离线”视觉系统,通常使用常规的基于PC的图像获取附件或组件和常规的基于PC的计算机操作系统,如WindowsTM操作系统,来提供它们的操作方法,包括在自动对焦操作序列中进行操作的方法。
总的来说,在自动对焦操作序列中,摄像机在Z轴上的位置范围中移动并在每个位置捕捉图像。对每个捕捉的图像,计算对焦度量并将其与摄像机在捕捉该图像时在Z轴上的对应位置关联。
一种现有的自动对焦方法在2000年11月的ISIS技术报告系列,卷17,由Jan Mark Geusebroek和Arnold Smeulders所作的“显微镜检查方法中的健壮自动对焦”中讨论,将其完整包括在此作为参考。为了确定摄像机在Z轴上对应于自动对焦图像的位置,所讨论的方法基于在摄像机从Z轴上已知的初始位置以恒定速度沿着Z轴移动,直到获取该图像之间的测量时间量,估计摄像机在Z轴上的位置。在恒定速度移动期间,以40毫秒的间隔(视频速率)捕捉自动对焦图像。在所揭示的方法中,视频硬件以固定速率捕捉帧,且对焦曲线的抽样密度只能通过调整工作台速度来影响。
另一个现有的自动对焦方法和装置在美国专利5,790,710中说明,将其完整包括在此作为参考。在所述’710专利中,连接使用现有的马达驱动移动控制系统和压电定位器来控制Z轴位置。马达驱动移动控制系统在移动的全范围上提供相对粗分辨率的定位,而压电定位器在由马达驱动的系统建立的正常位置附近的有限范围上提供快速和高分辨率的定位。压电定位器提供相对好的自动对焦速度和分辨率。所述’710专利进一步揭示在自动对焦操作期间使用频闪。所述’710专利揭示以60Hz的频率获取自动对焦图像。
在一个实施例中,“在压电对焦已停止在其新位置上之后,在接近视频场的末端处对图像进行频闪”。所述’710专利也揭示了这样的替换方案,其中位置必须以恒定速度移动且用频闪来凝固图像。在每种情况中,由于频闪缩短了摄像机的有效曝光时间,普通集成(integration)期中用于获取摄像机帧的部分可以在该集成期内稍后触发频闪之前用于移动摄像机到新位置。
发明内容
上述自动对焦方法以常规的摄像机帧速率提供自动对焦图像并提供相对快速的自动对焦能力。也在称为“在线”或“内嵌”的各种机器视觉检查系统中提供相对快速的自动对焦能力,这些系统特别设计为实现在特殊操作环境中对特定类型批量生产部件重复执行的检查操作特定集合的高吞吐量。和前面所述的通用精确机器视觉检查系统相比,这样的在线机器视觉检查系统不需要频繁改变和它们的检查操作相关的参数。进一步来说,灵活性通常没有高速操作重要。因此,为了提供高速操作,包括相对快速的自动对焦能力,这样的系统通常依赖于专门的硬件配置和专门的编程。
相关系统和方法的另一个典型问题是当各种视觉机器元件在获取自动对焦图像之前突然停止时发生的机器振动、变形和相关的自动对焦位置测量误差。
上述各种现有的执行自动对焦操作的系统和方法遭受自动对焦速度限制、自动对焦精度限制、高成本的专门和/或相对不灵活的硬件,和/或缺乏简单可靠地对各种不同的工件或工件特征适应和编程自动对焦操作的适合方法的制约,特别是在自动对焦操作包括使用频闪时。需要可以克服这些缺点和限制中的某个或其组合的自动对焦系统和方法。
和上述每个现有的执行自动对焦操作的系统和方法相比,本发明提供适合于通用精确机器机器视觉检查系统的高速和高精度的自动对焦,而使用相对低成本和灵活的硬件。例如,可以和常规的基于PC的计算机操作系统一起使用市场上提供的相对低成本的PC兼容的机器视觉组件和移动组件。在如本发明所述的快速自动对焦图像捕捉设备的系统和方法的各种示范实施例中,提供高精度并不需要专用移动元件(如压电致动器等等)及其相关的控制元件。
可以使用市场上提供的相对低成本的摄像机徕提供如本发明所述的简化读取象素集。简化读取象素集沿着摄像机视场的至少一个维度本质上对应于摄像机完整视场的一部分。图像的简化读取象素集的象素值可以输出到控制系统部分,其所需时间本质上少于输出对应于摄像机完整视场的完整象素集所需的时间。因此,获取图像并存储对应于简化读取象素集的数据的重复速率本质上比获取图像并存储对应于摄像机整个视场的完整象素集数据的速率更快。
常规的基于PC的计算机操作系统和视觉及移动组件通常包含各种未受控制的延时、异步定时操作等等。为了提供足够的时间余量并可靠地提供所需的对焦精度或可重复性水平,用于这样的系统和组件的现有的自动对焦系统和方法通常已经以执行起来相对慢的方式克服了这些各种不可预测的时间关系和变化。另外,现有的自动对焦系统和方法已经接受了相对降低的精度、可重复性或可靠性。这样的自动对焦系统问题未能得到使用这样的基于PC的计算机操作系统和组件实现的现有的自动对焦系统和方法的足够重视,且这样的自动对焦系统和方法在这方面是不足的。因此,在如本发明所述的快速自动对焦图像捕捉设备的系统和方法的各种示范实施例中,能实现足够的时间余量和对焦准确度、精度和可重复性的可靠水平,而快速执行自动对焦操作却不受PC延时的影响。
此外,如本发明所述的系统和方法的各种示范实施例提供可以简单并可靠地适应、操作和编程各种不同的工件或工件特征的自动对焦系统和方法,包括这样的实施例,其中自动对焦操作包括使用频闪。进一步来说,如本发明所述的系统和方法的各种示范实施例提供允许“非专家”操作员在手动检查操作和各种训练模式操作期间可靠地执行这样的适应、操作和编程的系统和方法。
应理解,如本发明所述的快速自动对焦图像捕捉设备的系统和方法对机器视觉度量和检查系统中可用的精确自动对焦操作的使用特别有利。如本发明所述的系统和方法通常提供仅为成像镜头提供的景深的很小百分比的自动对焦精度和可重复性。这对用于度量的精确机器视觉检查系统尤其重要。应理解,由很多其他类型的系统使用的自动对焦系统主要提供清晰的图像并通常在它们相对于成像镜头景深的可重复性方面显得相对粗糙。这是因为清晰的图像是通过景深相对大的部分来提供的。
本发明提供使用简化读取象素集的高速度和高精度自动对焦图像捕捉设备的系统和方法。
本发明还提供定义实际上对一些自动对焦图像输出以提高自动对焦图像获取可实现的速率的简化读取象素集的系统和方法。
本发明还提供使用数量相对有限的非自动确定的设置条件和/或参数提供高速度和高精度的自动对焦图像捕捉设备的系统和方法。
本发明还提供在相对于工件移动摄像机时获取自动对焦图像的系统和方法。
本发明还提供在相对于工件加速摄像机时获取自动对焦图像的系统和方法。
本发明还提供在以不增加潜在的机器振动、变形和/或相关的自动对焦位置测量误差的方式快速移动摄像机和/或工件时获取高速各种自动对焦图像的系统和方法,所述机器振动、变形和/或相关的自动对焦位置测量误差在各种视觉机器元件在自动对焦图像获取之前突然停止时很可能发生。
本发明还提供确定图像帧的简化读取象素集基于工件的感兴趣区域尺寸和位置对一些自动对焦图像实际输出的部分的系统和方法。
本发明还提供确定图像帧对自动对焦图像和工件的感兴趣区域实际输出的部分之间所需的对齐或重叠的系统和方法可用的各种图形用户接口元素。
本发明还提供以基于自动对焦图像获取的可获得重复速率和所需的对焦曲线抽样密度确定的速度相对于工件移动摄像机的系统和方法。
本发明还提供通过频闪照明确定自动对焦图像的有效曝光时间,并选择频闪持续时间以使得在自动对焦图像的有效曝光时间内将移动的摄像机的位移限制在所需范围内的系统和方法。
本发明还提供基于已知可在有效曝光持续时间上产生可接受的图像特征的连续照明功率设置确定在频闪持续时间期间使用的频闪功率水平的系统和方法,所述有限曝光持续时间比频闪持续时间长。
本发明还提供基于感兴趣区域的所需最小尺寸确定图像帧对一些自动对焦图像实际输出的部分的系统和方法,所述感兴趣区域的所需最小尺寸确定对应的最大可实现抽样率。
本发明还提供基于最大可实现抽样率和和所需对焦精度相关的所需的对焦曲线抽样密度确定摄像机最大移动速度的系统和方法。
本发明还提供基于所需的有效自动对焦图像曝光时间内最大允许摄像机位移确定频闪持续时间的系统和方法。
本发明还提供基于已知在有效曝光持续时间上产生可接受图像特征的连续照明功率设置确定在频闪持续时间内使用的照明功率水平,从而以对应的自动对焦执行速度实现所需的自动对焦精度的系统和方法,所述有效曝光持续时间比频闪持续时间长,所述自动对焦执行速度对自动对焦操作的特定感兴趣区域近似优化。
本发明还提供这样的系统和方法,它们提供能简单地连接到各种常规的PC兼容机器视觉组件和接收各种控制信号并对各种自动对焦操作提供控制的照明功率水平、快速操作和可预测时间的频闪照明控制器。
本发明还提供这样的系统和方法,它们提供可用于控制连续照明操作的频闪照明控制器。
本发明还提供这样的系统和方法,它们提供作为改进可安装到各种现有的机器视觉系统,然后它们能够实现如本发明所述的各种改进的自动对焦操作的频闪照明控制器。
在本发明所述的系统和方法的各种示范实施例中,当摄像机在自动对焦图像获取期间进行移动时,相对于自动对焦图像的有效曝光时间至少捕捉一个和该自动对焦图像的成像距离相关的位置值。在各种示范实施例中,这样做以提供高精度、可靠性和/或确定性的自动对焦图像距离。
在本发明所述的系统和方法的各种示范实施例中,将包括本发明所述的各种改进的自动对焦操作的视觉检查系统设置为训练或学习模式,以确定各种参数,如选择的镜头、感兴趣区域的维度和位置、简化读取象素集的维度和位置、照明设置、自动对焦扫描速度和范围等等,以更迅速准确地自动对焦特定工件。
在本发明所述的系统和方法的各种示范实施例中,当视觉检查系统设置为训练或学习模式时,向操作员提供连接定义自动对焦操作使用的图形用户接口(GUI),并定义和/或确定上述参数的部分或全部。在本发明所述的系统和方法的各种示范实施例中,在训练模式中能方便地提供所定义的自动对焦操作结果的展示,以校验该结果。在各种示范实施例中,操作员通过GUI的特性开始该展示。在本发明所述的系统和方法的各种示范实施例中,然后创建部分程序指令以连接零个、一个或多个其他操作使用预定的、定义的、或新确定的参数等等来加速和/或加强操作的健壮性,所述操作自动确定估计最佳对焦位置和/或在工件的感兴趣区域上对焦。
在本发明所述的系统和方法的各种示范实施例中,仅对在各种自动对焦图像的简化读取象素集中捕捉的有限感兴趣区域确定一个或多个对焦值。在各种示范实施例中,这样的对焦值允许使用计算机或机器视觉系统的控制器以高精度和高速度确定估计最佳对焦位置。
在本发明所述的系统和方法的各种示范实施例中,将估计最佳对焦位置用作感兴趣区域特征的检查坐标,且在工件上的另一个位置继续检查操作。
在本发明所述的系统和方法的各种示范实施例中,使用估计最佳对焦位置在感兴趣区域中选择现有的感兴趣区域的自动对焦图像用于检查。
在本发明所述的系统和方法的各种示范实施例中,当可以接受相对低的精度时,估计最佳对焦位置相对近似得好一些,当需要相对高的精度时,估计最佳对焦位置相对近似得差一些。
在本发明所述的系统和方法的各种示范实施例中,机器视觉系统基于在训练模式中确定的部分程序自动检索和/或设置特定工件的各种自动对焦参数、基于所述各种自动对焦参数执行各种自动对焦操作、自动地定位该工件的估计最佳对焦位置,并获取或定义工件对应于所定位的估计最佳对焦位置的至少一个所需检查图像。
在本发明所述的系统和方法的各种示范实施例中,机器视觉系统基于在训练模式中确定的部分程序自动检索和/或设置特定工件的各种自动对焦参数、基于所述各种自动对焦参数执行各种自动对焦操作,包括使用初始频闪照明参数集来获取至少一个图像并基于自动评估所述至少一个图像的至少一个图像特征定义至少一个频闪照明参数、自动定位工件的估计最佳对焦位置,并获取或定义工件的至少一个所需检查图像。
在本发明所述的系统和方法的各种示范实施例中,使用定义的频闪照明参数在定位的估计最佳对焦位置处获取检查图像。
本发明的这些和其他特性和优点通过本发明所述的系统和方法的各种示范实施例的下述详细说明来说明或阐明。
附图说明
将参考下面的附图对本发明所述的系统和方法的各种示范实施例进行详细说明,其中:
图1为示意图,展示示范通用机器视觉检查系统;
图2为方框图,更详细地展示图1的机器视觉检查系统的控制系统部分和视觉组件部分的一个示范实施例;
图3为典型图表,展示对应于密集抽样的对焦曲线数据点集合的对焦曲线;
图4为典型图表,展示对应于稀疏抽样的对焦曲线数据点集合的对焦曲线;
图5为示意图,展示本发明的频闪控制系统的一个示范实施例;
图6为流程图,展示本发明用于确定在工件的感兴趣区域上自动对焦的参数的方法的一个示范实施例;
图7为示意图,展示要检查的示范工件和特征,及可用于确定在本发明的系统和方法的各种实施例中所需的自动对焦照明的示范多区域图像质量工具;
图8为示意图,展示图7中要检查的示范工件和特征,及在本发明的系统和方法的各种实施例中可用的图形用户接口自动对焦工具窗口的两个示范实施例;
图9和10为示意图,展示图7中要检查的示范工件和特征,及图形用户接口自动对焦工具窗口的示范实施例和指示在本发明的系统和方法的各种实施例中可用的窗口的简化读取象素集的示范实施例;
图11为示意图,展示图形用户接口自动对焦工具窗口的一个示范实施例,及可用于选择关联于本发明的训练模式中的自动对焦操作各种模式和操作的各种控制窗口的示范实施例;
图12为示意图,展示本发明可用的示范自动对焦工具的图形用户接口的一个示范实施例;
图13为图表,展示本发明的各种示范实施例中感兴趣区域的尺寸和对焦图像获取速率之间的一般关系;
图14为图表,展示本发明的各种示范实施例中低精度模式和高精度模式下对焦图像获取速率和自动对焦扫描移动速度之间典型的一般关系;
图15为图表,在本发明的各种示范实施例中比较和相对慢的自动对焦图像获取速率及相对快的自动对焦图像获取速率关联的移动特征;
图16为图表,展示本发明在满意的连续照明期间的照明设置(功率设置)和对应的频闪持续时间之间对各种频闪照明功率水平的典型一般关系;及
图17和18为流程图,展示本发明的自动对焦图像捕捉设备的方法的一个示范实施例。
具体实施方式
图1为方框图,展示符合本发明的通用可编程机器视觉检查系统10的一个示范实施例。机器视觉检查系统10包括经连接和控制系统100交换数据和控制信号的视觉测量机器200。控制系统100进一步连接以交换数据和控制信号和一个或多个监视器111、打印机112、操纵杆113、键盘114和/或鼠标115。视觉测量机器200包括可移动的工件工作台210和包括变焦镜头或多个可互换的镜头的光学成像系统205。变焦镜头或可互换的镜头通常对光学成像系统205提供的图像提供各种放大倍率。
操纵杆113通常用于控制可移动工件工作台210在X和Y两个方向,及可移动光学成像系统205的移动方向组件在Z或对焦方向上的移动,X和Y方向通常平行于光学成像系统205的焦平面。通常,控制Z轴偏转的是操纵杆113的手柄或把手的旋转偏转组件。可用以不同于所示之外的形式提供操纵杆113,如监视器111上用作机器视觉检查系统10的“可视移动控制设备”且可通过任何计算机输入设备,如鼠标115等等来控制的任何可视表示或窗口。
图2更详细地展示图1的机器视觉检查系统10、视觉测量机器或视觉组件部分200和控制系统或控制系统部分100的一个示范实施例。如图2所示,控制系统部分100控制视觉组件部分200。视觉组件部分200包括光学装置部分250、光源220、230和240,及具有中央透明部分212的工件工作台210。工件工作台210可在控制下沿着位于通常平行于工作台表面的平面中的X和Y轴移动,工件20放置在工作台表面上。光学装置部分250包括摄像机系统260、可互换物镜252、镜头转塔装置280,和同轴光源230。可通过使用可控制马达294在控制下沿通常与X和Y轴正交的Z轴移动光学装置部分250。机器视觉检查系统10的X、Y和Z轴中的每一个均装备有对应的X、Y和Z轴位置编码器(未示出),所述位置编码器通过适当的信号和/或控制线(未示出)向控制系统部分100提供X、Y和Z位置信息。
要使用机器视觉检查系统10成像的工件20放置在工件工作台210上。一个或多个光源220、230或240各自发出源光222、232或242,它们用于照明工件20。由光源220、230和/或240发出的光照明工件20并作为工件光255反射或传输,工件光穿过可互换物镜252和镜头塔组装280上的镜头286或镜头288中的一个并由摄像机系统260收集。由摄像机系统260捕捉的工件20的图像通过信号和控制线262输出到控制系统部分100。在本发明的各种示范实施例中,摄像机系统260可用于以比输出对应于完整视场的完整象素集所需时间短的时间输出比摄像机整个视场小的简化读取象素集。在各种示范实施例中,这是为了降低本发明自动对焦操作的总体时间。
用于照明工件20的光源220、230和240可以包括工作台光220、同轴光230和表面光240,如环形光或可编程环形光,它们各自通过信号线或总线221、231和241连接到控制系统部分100。在本发明所述的系统和方法的各种示范实施例中,一个或多个光源220-240可在频闪照明工作模式中使用。在这样的示范实施例中,希望能够提供这样的光源,它可用于提供很快的光源响应时间(微秒或亚微秒范围)和适当的光学功率水平的组合。因此,在各种示范实施例中,用于频闪的光源包括高强度LED,如由California,San Jose的Lumileds照明有限责任公司提供的LuxeonTM产品线中的LED。在各种示范实施例中,用于频闪的光源包括波长约470nm的蓝色LED。然而,可在各种示范实施例中使用摄像机传感范围内的任意波长。总的来说,上述的任何光源220-240均可在各种示范实施例中使用这样的LED实现。在本发明的系统和方法的各种示范实施例中,多个光源220-240中的每一个均可在连续照明工作模式和频闪照明工作模式中使用。
作为机器视觉检查系统10的主要光学装置,光学装置部分250除了上述组件还可以包括其他镜头和其他光学元件,如光圈、分光器等等,在提供同轴照明或其他所需的机器视觉检查系统特性时需要这些元件。控制系统部分100基于通过信号线或总线281发送的控制信号沿着轴284在至少第一个和第二个镜头转塔位置之间旋转镜头转塔装置280以提供各种放大倍率。
可以调整工件工作台210和光学装置部分250之间的距离以改变由摄像机系统260捕捉的工件20图像的对焦。特别地,在机器视觉检查系统10的各种示范实施例中,光学装置部分250可相对于工件工作台210在Z轴方向移动。使用驱动致动器的可控制的马达294、连接线缆等等使得光学装置部分250沿着Z轴移动。术语Z轴,如在此所用,指用于对焦由光学装置部分250获取的图像的轴。可控制的马达294在使用时通过信号线296连接到控制系统100。
如图2所示,在各种示范实施例中,控制系统部分100包括控制器120、输入/输出接口110、存储器130、成像控制接口140、移动控制子系统145、照明系统驱动器/控制器150、工件部分程序生成电路、例程或应用155、部分程序执行电路、例程或应用165、自动对焦操作确定电路、例程或应用170,及感兴趣区域对焦值确定和比较电路、例程或应用175,它们通过一个或多个数据和/或控制总线和/或应用编程接口195互连。应理解,这样的电路、例程或应用包括硬连线的电路、软件电路、子例程、对象、操作、应用编程接口、管理器、应用,或任何其他现有的或将来开发的硬件或软件结构。
在各种示范实施例中,存储器部分130存储数据和/或“工具”,这些数据和“工具”可用于操作视觉系统组件部分200以捕捉或获取工件20的图像,以使得获取的工件20图像具有所需的图像特征。存储器部分130可用进一步存储数据和/或视频工具,这些数据和工件可用于操作机器视觉检查系统100手动或自动地对获取的图像执行各种检查和测量操作并经由数据和/或控制总线和/或应用编程接口195通过输入/输出接口130输出结果。存储器部分130也可以包含定义图形用户接口的数据,所述图形用户接口可通过输入/输出接口110经由数据和/或控制总线和/或应用编程接口195来操作。例如,这样的实施例的例子包括上述QUICK VISIONTM系列的视觉检查机器和QVPAKTM软件。
工作台光220、同轴光230和表面光240各自的信号线或总线221、231和241均连接到输入/输出接口110。镜头转塔装置280的控制信号线或总线281也连接到输入/输出接口110。X、Y和Z轴位置编码器(未示出)各自的信号和控制线(未示出)也连接到输入/输出接口110。来自摄像机系统260的信号和控制线262和来自可控制的马达294的信号线296也连接到输入/输出接口110。除了承载图像数据,信号和控制线262也承载来自控制器120的各种信号,在本发明的各种示范实施例中,这些信号设置摄像机的图像获取象素范围、启动图像获取摄像机操作序列等等。
一个或多个显示设备102,如监视器111和打印机112和一个或多个输入设备104,如设备113-115,也可以连接到输入/输出接口110。显示设备102和输入设备104可以用于查看、创建和/或修改部分程序、查看摄像机系统260捕捉的图像,及查看和/或修改可用于监控和控制视觉系统组件部分200和/或直接控制视觉系统组件部分200的各种GUI元件和窗口。在具有预定义的工件程序的全自动系统中,可以省略显示设备102和/或一个或多个输入设备104。
控制系统100可用于确定图像获取设置或参数和/或获取工件20的图像,以使得工件20的输入图像在包含要检查的工件特征的感兴趣区域中具有所需的图像特征。例如,本发明的自动对焦系统和方法的各种示范实施例可连接控制系统部分100使用,以建立所需的图像特征。所需的图像特征取决于包含要检查的工件特征的感兴趣区域中的对焦质量。在各种示范实施例中,当用户使用本发明的机器视觉检查系统10来创建工件20的工件图像获取程序时,用户可以通过自动、半自动或手动地明确编码指令来生成工件程序指令,这可以通过使用工件编程语言来进行,或按图像获取训练序列移动机器视觉检查系统100而生成指令以使得根据所述训练序列来定义工件程序指令捕捉操作和设置来进行。
这些工件成像指令由工件部分编程生成电路、例程或应用155编码,并通过数据和/或控制总线和/或应用编程接口195发送到其他组件。物理移动由移动控制子系统145控制。为了实现例如摄像机260的物理移动的控制,移动控制子系统145接收来自X、Y和Z轴位置编码器的位置信息,并通过数据和/或控制总线和/或应用编程接口195发送位置更改控制信号。总的来说,这些指令使机器视觉检查系统10操作工件工作台210和/或摄像机系统260,以使得工件20的特定部分在摄像机系统260视场内,并提供所需的放大倍率、所需的对焦状态和所需的照明。这些动作通过数据和/或控制总线和/或应用编程接口195由部分程序执行电路、例程或应用165执行。可以对为检查工件捕捉的图像集合中的多个图像重复此处理。
在各种示范实施例中,对本发明的每个自动对焦图像,在此也称为对焦图像,和对生成的所需检查图像,控制系统部分100然后控制摄像机系统260捕捉工件20的图像,并将在捕捉的图像中对应于工件20的感兴趣区域的至少图像部分输出到控制系统部分100。这些功能由图像控制接口140使用在各种组件之间通过数据和/或控制总线和/或应用编程接口195传递的信号来控制。特别地,在各种示范实施例中,摄像机系统260通过输入/输出接口110读取对应于感兴趣区域的部分的至少图像部分的输出象素值,且如果它们还不是数字形式则将其转换为数字值,并在控制器120的控制下将其存储在存储器130中。在各种示范实施例中,感兴趣区域中对应于图像部分的那部分是感兴趣区域的实质部分。在各种示范实施例中,控制器120使捕捉的图像显示在一个显示设备102上。
特别地,在各种示范实施例中,使用摄像机系统260,以输出小于摄像机系统260完整视场的简化读取象素集的至少一个配置。在各种示范实施例中,这样做是为了提供比和对应于摄像机系统260完整视场的一个或多个场相关的标准重复图像获取速率快得多的重复图像获取和输出速率。在各种示范实施例中,摄像机系统260是输出数字象素值的数码摄像机系统。在此类型的各种示范实施例中,使用在市场上由美国加利福尼亚州92121-1010圣地亚哥Sorrento Valley路的Redlake公司提供的ES 310/T型Redlake MEGAPLUS摄像机,或具有类似本发明所述的能力和/或足够能力的CCD摄像机来实现摄像机系统260。同样,在此类型的各种示范实施例中,使用在市场上由加拿大魁北克的Matrox电子系统有限公司提供的Matrox流星-II/数字取帧器,或具有类似本发明所述的能力和/或足够能力的取帧器卡来实现包括在成像控制接口140中的取帧器。
在各种其他示范实施例中,摄像机系统260将象素值作为模拟信号输出且将信号输入到成像控制接口140,该接口包括适合于转换模拟象素值为数字象素值的取帧器或类似设备。在此类型的各种示范实施例中,使用在市场上由美国加利福尼亚94089桑尼维尔,奥尔良Dr.1330的JAI Pulnix公司提供的Pulnix TM6705AN摄像机,或具有类似于本发明所述的能力和/或足够能力的CCD摄像机来实现摄像机系统260。在各种示范实施例中,这样的组件使用在此揭示的各种其他组件的组合,包括参考图5说明的频闪照明控制器,以提供本发明所述的高速和高精度自动对焦系统和方法。
在各种示范实施例中,控制系统部分100进一步用于自动检查在这样的工件检查图像中的工件特征,并存储和/或输出检查结果。在各种示范实施例中,工件检查指令通过工件部分编程生成电路、例程或应用155编码并根据需要通过数据和/或控制总线和/或应用编程接口195发送到其他组件。
在各种示范实施例中,当用户使用本发明的机器视觉检查系统10来创建工件20的至少部分工件图像检查程序时,用户通过使用工件编程语言自动、半自动或手动地明确编码指令,或通过按图像检查训练序列移动和/或控制机器视觉检查系统10而生成指令来生成工件程序指令,以使得工件部分程序生成电路、例程或应用155生成工件程序指令,所述工件程序指令捕捉根据训练序列确定的操作和设置。在本发明的各种示范实施例中,特定的自动对焦操作和设置由自动对焦操作确定电路、应用170的例程来确定,并包括在生成的工件程序指令中。在各种示范实施例中,自动对焦操作确定电路、应用170的例程的操作与工件部分程序生成电路、例程或应用155的操作合并和/或不可区分。在各种示范实施例中,这些检查指令,在由部分程序执行电路、例程或应用165执行时,将使机器视觉检查系统10自动地对图像执行各种检查操作。
在各种示范实施例中,对用于检查工件20的图像集合中的多个图像重复上述各种操作中的一个或多个。在各种示范实施例中,如上所述,各种现有的或未来开发的机器视觉系统“工具”存储在存储器部分130中。在各种示范实施例中,使用这些工具执行上述各种手动或训练序列操作中的一个或多个。视频工件的一些例子可用于在编号09/736,187、09/921,886的美国专利申请和编号6,542,180的美国专利中揭示的各种工件成像和/或检查操作,在此完整包括这些专利申请中的每一个作为参考。
其他可用于确定自动对焦设置和执行自动对焦操作,以获取所需检查图像对焦状态的现有的示范工件和方法,如上所述在如QUICK VISIONTM系列视觉检查机器这样的商业机器视觉检查系统、相关的QVPAKTM软件,和所包括的相关文档中展示。这样的工具包括可在本发明的系统和方法的各种示范实施例使用的各种示范图形化感兴趣区域指示窗口、用户接口和训练模式菜单元素和行为。这样的图形化感兴趣区域指示窗口、用户接口和训练模式菜单元素和行为包括在此作为参考。
如上所述,在本发明的系统和方法的各种示范实施例中,为了控制机器视觉检查系统10的物理移动,移动控制子系统145接收来自X、Y和Z轴位置编码器的位置信息,并通过数据和/或控制总线和/或应用编程接口195发送位置更改控制信号。在本发明的各种示范实施例中,在控制系统部分100的移动控制子系统145中追踪X、Y和Z轴位置值,且移动控制子系统145可用于锁定位置值来响应由控制系统部分100的另一个部分提供的控制信号。
在本发明的各种示范实施例中,关联于对应的自动对焦图像的有效曝光时间向移动控制子系统145提供这样的闭锁控制信号。在各种示范实施例中,至少关联于该自动对焦图像锁定对应的Z轴值并由控制系统部分100存储,以在后面确定本发明的估计最佳对焦位置时使用。
在各种示范实施例中,上述一个或多个操作由移动控制子系统145执行,移动控制子系统145包括在市场上由加利福尼亚Rocklin的Galil移动控制公司提供的Galil移动控制卡#DMC-1730,或具有类似于本发明所述的能力和/或足够能力的移动控制卡。在各种示范实施例中,组合一个或多个在此揭示的其他组件来使用这样的组件,包括参考图5说明的频闪照明控制器,以提供本发明的高速度和高精度自动对焦系统和方法。
在本发明的系统和方法的各种示范实施例中,照明系统驱动器/控制器150控制和驱动机器视觉检查系统10的照明。在各种示范实施例中,照明系统提供相对连续的照明。相对连续的照明特别适用于机器视觉检查系统10的手动操作和训练模式操作。在各种其他示范实施例中,照明系统提供频闪照明能力。在各种其他示范实施例中,照明系统通过相同的光源提供连续照明和频闪能力。在各种示范实施例中,照明系统驱动器/控制器150控制和驱动照明。在本发明的各种示范实施例中,照明系统驱动器/控制器150包括频闪控制系统500,下面参考图5对其进行说明。
在各种示范实施例中,自动对焦操作确定电路、例程或应用170和控制系统部分100的一个或多个其他元件交换数据和/或控制信号。在各种示范实施例中,这样做是为了确定对应于自动对焦速度和精度的所需组合的自动对焦图像获取操作和/或设置的所需组合,所述自动对焦速度和精度用于在可以提供估计最佳对焦位置所需精度的近似最短可能时间内确定工件的感兴趣区域的估计最佳对焦位置。
例如,在各种示范实施例中,本发明的系统和方法确定兼容和/或相关的操作与涉及控制以多快的速度执行本发明的自动对焦操作的三个自动对焦参数或特性的设置。在各种示范实施例中,这些自动对焦参数是自动对焦操作的感兴趣区域的尺寸、获取自动对焦图像的速率,和摄像机在获取自动对焦图像时沿着Z轴方向扫描的速度。
在各种示范实施例中,感兴趣区域的位置和尺寸特别基于特定操作员的输入,例如,对应于感兴趣区域的位置和尺寸,感兴趣区域指示GUI自动对焦工具窗口由操作员定位和指定大小的部分。下面参考图8-11对某些示范GUI自动对焦工具和自动对焦工具GUI窗口和感兴趣区域进行说明。
应理解,在各种示范实施例中,本发明的自动对焦工具除了与该工具关联的各种GUI元素和窗口之外还包括对应于用户输入和/或自动确定和提供对机器视觉检查系统的用户简化各种自动对焦操作的定义和性能的各种操作和/或设置的底层菜单、方法、操作和设置。因此,在本发明的各种示范实施例中,通过和自动对焦工具关联的各种操作半自动或自动地调整和/或最小化用户定义的感兴趣区域实际用于确定对应的估计最佳对焦位置的那部分。例如,在各种示范实施例中,确定用户定义的感兴趣区域实际用于自动对焦操作的部分,以使得它既和摄像机的支持较高自动对焦图像获取速率的可操作简化读取象素集重叠,也提供足够数量的象素来确定对应的具有由操作员输入确定的所需精度水平或缺省精度水平的估计最佳对焦位置。下面更详细地对这样的操作进行说明。
在各种示范实施例中,控制系统部分100包括感兴趣区域或感兴趣区域的部分的尺寸各自的缺省值,它们实际用于各自对应于由操作员指定的所需精度水平的自动对焦操作。在各种示范实施例中,基于对各种工具的体验经验性地建立缺省值,或分析性地建立缺省值。在各种示范实施例中,自动对焦操作确定电路、例程或应用1 70然后在定义涉及由操作员定义的自动对焦感兴趣区域的操作和设置时应用缺省值。例如,在各种示范实施例中,GUI自动对焦工具窗口指示感兴趣区域的部分由操作员定位并额定地指定其大小,且由操作员选择所需精度模式。然后,在各种示范实施例中,如上所述,自动对焦操作确定电路、例程或应用170基于所选的自动对焦精度模式和摄像机的工作简化读取象素集确定由操作员指示的额定自动对焦感兴趣区域内的实际操作象素集。
如上所述,在各种示范实施例中,除了提供对应于完整视场的完整象素集,摄像机系统260还在摄像机帧内选择至少一个简化读取象素集。在各种示范实施例中,所述至少一个简化读取象素集包括100行象素的中央区、具有可选择的可变位置和或范围的象素行区,居中的100×100连续(i,j)象素范围、可选择的具有可变位置的100×100连续(i,j)象素范围,或完全可选择的连续(I,j)象素集,等等。
应理解,在各种示范实施例中,在选择简化读取象素集用于操作时,从摄像机输出简化读取象素集所需的时间比输出摄像机的完整象素集所需的时间要短。因此,摄像机系统260的总体重复图像获取速率和关联于摄像机完整视场的重复图像获取速率相比更快。例如,包括Redlake摄像机的各种示范实施例在从摄像机输出完整帧时提供约125幅图像每秒的图像速率,并在从摄像机输出100×100象素的简化读取象素集时提供约350幅图像每秒的图像速率。进一步来说,对可由本发明使用的各种摄像机,在其他因素等同的情况下,随着简化读取象素集的尺寸减小,摄像机系统260的总体重复图像获取速率增加,如下面参考图13所述。
属于简化读取象素集在此用于强调,对可用于摄像机系统260的各种摄像机,完整图像场由摄像机系统260“并行地”捕捉或获取,因此该图像捕捉或获取时间对捕捉的象素值数量不敏感。通常,相比之下,和从摄像机系统260输出象素值关联的时间,其中象素值通常是串行输出到控制系统部分100的,依赖于输出的象素值数量,并是限制可由摄像机系统260提供的重复图像获取速率的较大时间因素之一。然而,应理解,在各种示范实施例中,由于实际上只在本发明的各种自动对焦操作中使用简化读取象素集,摄像机系统260可选地(而不是必须)限制对简化读取象素集进行其他摄像机操作,如图像捕捉操作等等。
在各种示范实施例中,基于建立的简化读取象素集尺寸(可能及其相对于摄像机帧的位置),和已知的摄像机操作特性等等,自动对焦操作确定电路、例程或应用170确定自动对焦图像获取的工作速率,即,在获取自动对焦图像之间的操作时间。在各种示范实施例中,基于建立的简化读取象素集,使用缺省的摄像机最大空转重复图像获取速率。在各种其他示范实施例中,自动对焦操作确定电路、例程或应用170确定小于最大空转重复图像获取速率的速率,并通过图像控制接口140来实现该确定的速率。
在各种示范实施例中,基于在获取自动对焦图像之间建立的操作时间,和所需的自动对焦曲线抽样密度,如下参考图3和图4所述,自动对焦操作确定电路、例程或应用170确定在获取自动对焦图像期间所需的沿Z轴方向的最大或实用最大移动速度。在各种示范实施例中,自动对焦操作确定电路、例程或应用170然后定义完成用于运行模式自动对焦操作的移动的定义所需的任何其他移动操作和/或设置。类似于确定感兴趣区域实际用于自动对焦操作的部分,在各种示范实施例中,对应于由操作员指定的所需精度水平来确定所需的自动对焦曲线抽样密度,如下面参考图3、4和14进行的更详细的说明所述。
应理解,在各种示范实施例中,实用最大Z轴速度进一步受在自动对焦图像的有效曝光时间内的Z轴移动造成的自动对焦图像模糊的允许量限制。即,当在曝光期间对焦距离改变时,不可能确定哪个特定的对焦距离造成所获取的图像的多数或全部脱焦或模糊特征。因此,在各种示范实施例中,摄像机系统260或频闪照明系统足够地限制自动对焦图像的有效曝光时间,以使得所获取图像的自动对焦特征对应于特定对焦距离达所需的精度水平。
在各种示范实施例中,基于建立的获取自动对焦图像内的最大Z轴操作速度,和确定的对在自动对焦图像的有效曝光时间期间的Z轴位移允许量的限制,自动对焦图像的有效曝光时间也由自动对焦操作确定电路、例程或应用170确定。在各种示范实施例中,当这个有效曝光时间在摄像机系统260的曝光控制能力内时,在自动对焦图像获取期间使用适当的连续照明功率水平,并控制摄像机系统260提供确定的有效曝光时间。
在各种示范实施例中,典型的通用精确机器视觉检查系统根据本发明的上述原理近似地使用下面指标工作:镜头配置对典型的机器金属工件表面提供约14微米的景深和放大倍率2.5,尺寸为100×100象素自动对焦感兴趣区域,约222幅自动对焦图像每秒的工作成像速率,和能够自动对焦连续照明,以便能够在约1.2秒内对使用约为镜头配置景深的5-6%的最大自动对焦图像间距的重复自动对焦尝试提供估计最佳对焦位置,而可重复性优于0.2微米,或小于约镜头配置景深的2%。在各种实施例中,当使用约为镜头配置景深100%的最大自动对焦间距,从而允许更少的自动对焦图像获取和/或更快的Z轴扫描移动速度时,本发明的系统和方法能够自动对焦以在约0.5秒内对重复的自动对焦尝试提供估计最佳对焦位置,而可重复性优于1.7微米,或小于镜头配置景深的15%。下面参考图3和图4说明有关估计最佳对焦位置的自动对焦图像间距和精度的各种考虑。
在各种示范实施例中,当有效曝光时间不在摄像机系统260的曝光控制能力内且在机器视觉检查系统10中包括频闪照明系统时,控制照明系统驱动器/控制器150和/或频闪照明系统,以提供确定的有效曝光时间和对应的频闪照明功率水平。
应理解,在各种示范实施例中,特定的有效曝光时间通常需要特定的照明强度或功率水平,才能对获取自动对焦图像提供所需的总体强度水平。因此,在各种示范实施例中,在训练模式操作期间,操作员使用例如由摄像机提供的连续照明和缺省、已知或标准有效曝光时间来建立各种光源220、230和/或240所需的配置。
在各种示范实施例中,将连续照明手动、半自动或自动地调节到所需强度或功率水平,以提供在用缺省、已知或标准摄像机集成期获取的工件图像中的所需图像特征。应理解,连续照明对操作员使用在操作的训练模式期间执行的各种手动操作来说更加实用和易用。
在各种示范实施例中,至少在自动对焦操作的运行模式期间,光源的所需配置还可以使用如下参考图5所述那样提供的频闪能力。在这样的各种示范实施例中,控制系统部分100包括校正因素、转换因素、查找表等等,它们可由自动对焦操作确定电路、例程或应用170用来确定强度或功率水平以用于对频闪照明系统建立的有效曝光时间。在各种示范实施例中,如上所述,这和连接在操作的训练模式期间使用的缺省、已知或标准摄像机基础期建立的已知的连续照明强度或功率水平提供相同的总体图像曝光。
在各种示范实施例中,已知光源连续功率水平乘以已知或标准相机集成期得到该光源的总曝光照明能量。在各种示范实施例中,为了得到对该光源可用的频闪照明功率水平,用总曝光照明能量除以对该频闪照明系统确定的有效曝光时间,且相应地设置该光源的频闪照明功率水平。应理解,在各种示范实施例中,频闪光源的实际控制水平对光源和/或各种相关光学和电子组件的各种实际操作特性进行调整。在各种示范实施例中,适当的调整通常在时间上是相对稳定的,并因此通过分析和/或试验对特定类型的光源和控制器初始地和/或周期性地进行调整。
在各种示范实施例中,感兴趣区域对焦值确定和比较电路、例程或应用175对由摄像机系统260获取并存储在存储器230中的自动对焦图像或其他图像中的感兴趣区域的至少工作部分确定对焦值。对焦值指示在图像的该部分中提供的对焦的程度。在各种示范实施例中,感兴趣区域对焦值确定和比较电路、例程或应用175也比较对多个图像中的感兴趣区域确定的不同对焦值。因此,在各种示范实施例中,感兴趣区域对焦值确定和比较电路、例程或应用175也确定在感兴趣区域中提供最佳对焦的那一个自动对焦图像。
图3为典型图表,展示对应于一组密集抽样的对焦值点301的对焦曲线,即,在Z轴上数量相对多的位置上进行抽样。图4为典型图表,展示对应于一组稀疏抽样的对焦值点401的对焦曲线,即,在Z轴上数量相对少的位置上进行抽样。如上及在下文中进一步的详细说明所述,本发明的系统和方法的各种示范实施例支持关联于相对更准确的自动对焦操作实现密集抽样对焦曲线,并关联于相对不太准确的自动对焦操作实现稀疏抽样的对焦曲线。在各种示范实施例中,这样做是为了提供适应特殊工件检查图像或特殊应用所需的自动对焦速度和精度组合。
图3的Y轴上的对焦值通常对应于包括在对应的自动对焦图像中工作的自动对焦感兴趣区域中的特征的对焦质量。Y轴上较高的对焦值对应于在自动对焦感兴趣区域中特征的较好的对焦。Y轴上较低的对焦值对应于在自动对焦感兴趣区域中特征的较差的对焦。对焦曲线的形状通常近似于钟形曲线。因此,对大于和小于理想焦距的对焦距离获取的对焦值将低于理想焦距的对焦值。因此,自动对焦搜索最佳对焦位置对应于搜索真实钟形对焦曲线的真实峰值。
应理解,在此所述的自动对焦操作提供对焦值“样本”数据,以用于估计真实对焦曲线和对应的达到所需或足够精度水平的最佳对焦位置。因此,当相对低的精度水平已足够和/或需要相对快的自动对焦操作集合时,对焦曲线数据的抽样更加稀疏,即,Z轴上各种自动对焦图像之间的工作间距更大。在这样的情况下,估计最佳对焦位置相对于对焦曲线真实峰值的估计更粗略。相反,当需要相对高的精度水平时,对焦曲线数据的抽样更加密集,即,Z轴上各种自动对焦图像之间的工作间隔更小。在这样的情况下,估计最佳对焦位置相对应对焦曲线真实峰值的估计不太粗略,或更准确。
在确定对焦曲线峰值的估计位置之后,在图3和图4的横轴上描述的对应的Z轴位置表示估计最佳对焦位置的Z轴位置,估计最佳对焦位置足够对应于工件上的对应感兴趣区域中的特征的足够对焦或最佳对焦图像。总的来说,在各种示范实施例中,估计最佳对焦位置提供作为感兴趣区域中的特征的检查值和/或作为定位坐标使用的坐标值,所述定位坐标用于获取能最佳确定感兴趣区域中的特征的各种维度和其他检查结果的工件图像。
各种对焦值函数,亦称为对焦量度,在本发明的各种示范实施例中使用。在各种示范实施例中,包括在工作自动对焦感兴趣区域中的特征是边缘,且使用适合的边缘对焦量度,如下面更详细地参考图8所述。在各种其他示范实施例中,包括在工作的自动对焦感兴趣区域中的特征仅是由感兴趣区域定义的工件表面的部分,且使用适合的表面对焦量度,如更详细地参考图8所述。表面对焦量度通常提供对应于在自动对焦图像中的自动对焦感兴趣区域内对比的测量的对焦值。下面参考公式1-3对一个示范表面对焦量度进行说明。也在所包括的参考中对各种其他表面对焦量度进行说明,且各种适合的对焦值函数也由具有相关技术普通水平的人所知。因此,这样的函数不需要在此赘述。
如上所述,在此所述的自动对焦操作提供用于以所需或足够的精度水平估计真实对焦曲线并估计对应于最佳对焦位置的真实对焦曲线峰值位置的对焦值“样本”数据。如上所述,用更密集抽样的对焦曲线估计真实对焦曲线和真实对焦曲线峰值位置通常比更稀疏抽样的对焦曲线具有更好的精度和可重复性。也应理解,通过摄像机系统260的自动对焦图像获取速率和在自动对焦图像获取序列期间沿着Z轴的移动速度,以熟悉技术的人所知的方式确定对焦曲线抽样密度,即,Z轴上各种动对焦图像之间的工作间距。这些因素已在上面参考自动对焦操作确定电路、例程或应用170说明。
如图3所示,维度302表示图3的对焦曲线的半幅全宽维度,或FWHM。如图4所示,类似的维度402表示图4的对焦曲线的半幅全宽维度,或FWHM。为了说明,在图3中也展示了维度303,它表示对应于图3的对焦曲线的镜头配置的景深,或DOF。在各种示范实施例中,景深根据基于镜头配置的数值孔径(NA)的一个常规表达来确定。对图3中所示的示范实施例,对焦曲线的FWHM 302约为底层镜头配置的DOF 303的3.25倍。如图4所示,类似的DOF维度403表示对应于图4的对焦曲线的镜头配置的DOF。因此,特殊镜头配置的DOF、镜头配置的NA和对应的对焦曲线的FWHM都以相对可预测和近似恒定的关系近似地关联。
因此,在本发明的各种示范实施例中,对给定的所需精度模式或水平,基于所需精度模式或水平,连接工作或当前镜头配置的镜头特性确定Z轴上各种自动对焦图像之间的工作最大间距,它关联于最小对焦曲线抽样密度,。在各种示范实施例中,镜头特性是直接镜头特性,如镜头的DOF或NA,或间接镜头特性,如期望结果对焦曲线的宽维度,如FWHM等等。
在各种示范实施例中,在自动对焦操作工具以低精度模式工作时,确定自动对焦操作和/或设置,以使得Z轴上各种自动对焦图像之间的最大间距至少为当前镜头配置的期望名义对焦曲线宽度的FWHM的0.2倍。这允许在自动对焦操作期间进行快速移动。在各种其他示范实施例中,在自动对焦操作工具以低精度模式工作时,Z轴上各种自动对焦图像之间的最大间距最多为FWHM的0.5倍。这允许在自动对焦操作期间进行更快的移动,同时对各种低精度自动对焦应用提供足够精度。
在各种其他示范实施例中,类似的最大间距直接通过当前镜头配置的NA来确定。在自动对焦操作工具以低精度模式工作时,确定自动对焦操作和/或设置,以使得Z轴上各种自动对焦图像之间的最大间距的微米数对当前镜头配置的NA至少为0.18/NA2且至多为0.45/NA2。在本发明的各种示范实施例中,上述设置或参数提供具有对应镜头配置DOF的5%-15%量级的精度的估计最佳对焦位置。对相对高放大倍率的镜头,以DOF衡量的精度趋向于在此百分比范围较大的一端,由于这些镜头DOF很小,这仍然能提供微米水平的精度,可能在几个微米或更少(对高放大倍率镜头而言)的量级。相反,对相对低放大倍率的镜头,例如1-2.5倍放大倍率等等,以DOF衡量的精度趋向于在此百分比范围较小的一端,这以几微米的量级提供非常好的精度,可能在约10至100微米的量级,尽管这些低放大倍率镜头的DOF要相对大一些。
在各种示范实施例中,在自动对焦操作工具以高精度模式工作时,确定自动对焦操作和/或设置,以使得Z轴上各种自动对焦图像之间的最大间距最多为当前镜头配置的期望名义对焦曲线宽度的FWHM的0.1倍。这牺牲一些移动速度并增加总体自动对焦时间,以提供更密集的对焦曲线抽样和显著较优的最佳对焦位置估计。在各种示范实施例中,在自动对焦操作工具以高精度模式工作时,确定自动对焦操作和/或设置,以使得Z轴上各种自动对焦图像之间的最大间距至少为FWHM的0.02倍。这进一步牺牲移动速度并进一步增加总体自动对焦时间,以对各种高精度自动对焦应用提供相当于近似的可实现的最佳精度的估计最佳对焦位置精度。
在各种其他示范实施例,在自动对焦操作工具以高精度模式工作时,确定自动对焦操作和/或设置,以使得Z轴上各种自动对焦图像之间的最大间距微米数对当前镜头配置的NA至少为0.018/NA2且至多为0.09/NA2。在本发明的各种示范实施例中,上述设置或参数提供具有对应镜头配置DOF的0.5%-5%量级的精度的估计最佳对焦位置。对相对高放大倍率镜头,以DOF衡量的精度趋向于在此百分比范围的较大一端。由于这些镜头的DOF较小,这仍然提供微米或亚微米水平的精度和可重复性,这可以是几微米或更少(对高放大倍率镜头而言)的量级。相反,对相对低放大倍率的镜头,例如1-2.5倍放大率等等,以DOF衡量的精度趋向于在此百分比范围较小的一端。这提供几微米或更少量级的很好的精度,可以是约10至100微米的量级,尽管这样的低放大倍率镜头的DOF相对较大。
应理解,对上述示范实施例所述的特殊镜头特性和Z轴上最大间距的特殊值仅是演示性的,而非限制性的。各种其他镜头特性和适合于各种机器视觉系统、应用和精度水平的最大间距可用值在此显而易见。
在本发明的系统和方法的各种示范实施例中,使用自动对焦操作的二次处理集来增加自动对焦操作对意外的工具变体等等的健壮性,同时保留自动对焦速度和精度的所需组合。第一次处理设计为尽快通过总的第一次处理Z轴位置范围,或第一次处理自动对焦图像范围,在此也称为自动对焦范围,它肯定包含最佳对焦位置,包括工件上的感兴趣区域的名义Z轴位置的变体或宽容度,及任何附加的工件工作台的名义Z轴定位的变体或宽容度,达到不能通过建立调整的工件坐标系统等等的预操作消除这样的定位变体的程度。总的来说,在本发明的各种示范实施例中,定义总的第一次处理自动对焦图像范围,以使得它基于各种镜头参数、工件CAD数据等等围绕在已由操作员手动,或半自动或自动地确定的名义Z位置周围,以提供近似对焦的感兴趣区域。在各种示范实施例中,进一步考虑当前镜头的景深,及上述工件自动对焦感兴趣区域的位置宽容度等等来定义总的第一次处理自动对焦图像范围。在各种示范实施例中,总的第一次处理自动对焦图像范围在1-4毫米的量级,多数由可能的工件和感兴趣区域位置变体造成,特别是在使用较高放大倍率的镜头时,由于这样的镜头通常具有微米量级的DOF并因此通常和可能的工件感兴趣区域的位置变体相比可以忽略。
预期下述的第二次处理,在各种示范实施例中,第一次处理仅需要支持最佳对焦位置非常粗略的估计。因此,对焦曲线在第一次处理自动对焦操作期间进行稀疏抽样,例如,近似对应于图4,或对上述低精度模式所述,考虑当前镜头的景深、或其他镜头特性。在各种示范实施例中,估计对焦曲线峰值的位置以提供可用于改进第二次处理对焦图像范围以快速确定改进的最佳对焦位置估计的估计最佳对焦位置近似值。
在各种示范实施例中,第二次处理设计为在确定估计最佳对焦位置时提供所需的改进或最终精度水平。因此,在在这些各种示范实施例的第二次处理自动对焦操作期间,对焦曲线在短得多的第二次处理自动对焦图像范围上更密集地抽样,例如,在各种示范实施例中,在DOF的2-5倍的范围上,邻近基于第一次处理自动对焦图像数据确定的名义近似估计最佳对焦位置。例如,在这些各种示范实施例中,第二次处理抽样密度近似对应于图3,或如上对高精度模式所述,考虑所需精度和当前镜头的景深或其他镜头特性。然后在各种示范实施例中,基于第二次处理自动对焦图像数据以所需精度水平估计对焦曲线峰值的位置,即,最佳对焦位置。
应理解,在各种示范实施例中,通过自动对焦确定的估计最佳对焦位置被用来直接确定Z轴方向上的高度,所述高度被用作感兴趣区域中的表面的检查维度,或用于在边缘检测之前沿着Z轴定位摄像机,以最大化图像平面中的边缘的锐度等等,或两者。
应理解,在本发明的系统和方法的各种示范实施例中,使用频闪能力来限制有效曝光时间和各种自动对焦图像的任何相关模糊,如上参考自动对焦操作确定电路、例程或应用170的操作所述。如上所述,在各种示范实施例中,和特定自动对焦图像关联的X、Y和Z位置值是基于信号由移动控制子系统145追踪的位置编码器的。
在各种示范实施例中,对应于用于估计最佳对焦位置的各种自动对焦图像的摄像机和工件工作台或工件之间的相对位置必须具有高可靠性和高精度。因此,在本发明的各种示范实施例中,至少在移动控制子系统145中根据其和对应图像有效曝光时间的已知关系锁定Z轴位置值,并关联于该图像进行存储。因此,在各种示范实施例中,在自动对焦图像获取期间使用连续移动时,使用频闪并触发频闪照明且关联于频闪照明持续时间(例如,关联于频闪照明触发器)在特定时间锁定对应位置值是有利的。在各种示范实施例中,当系统配置对应于在所需自动对焦图像范围上提供所需自动对焦图像间距的自动对焦图像位置时,在控制系统部分100控制下在特定时间启动和重复上述操作。
在各种其他示范实施例中,当Z轴位置在工作对焦图像范围一端时,上述操作由控制系统部分100启动,并根据由图像控制接口140和/或摄像机系统260确定的最大空转速率或重复时间在整个对焦图像范围内重复,以提供对应的自动对焦图像的集合,这些自动对焦图像在整个工作对焦图像范围中的所需最大对焦图像间距内。在各种示范实施例中,自动对焦图像集合基于确定的图像重复数量或检测到位于或超出自动对焦图像范围的末端的位置终止。涉及典型视觉系统组件有关高速成像、成像移动物体、同步问题等等的各种考虑在由CyberOptics Imagination(www.imagenation.com)管理的自动视觉系统公司(www.autovis.com)的Perry C.West在2001年发表的中“高速实时机器视觉”中详细说明,将其完整包含在此作为参考。
图5为示意图,展示本发明的频闪控制系统的一个示范实施例。在各种示范实施例中,频闪控制系统500包括连续照明控制能力。在各种示范实施例中,频闪控制系统500包括在照明系统驱动器/控制器150中。在各种示范实施例中,通常使用现有的常规电路元件和常规电路设计方法来实现照明控制系统500。在各种示范实施例中,选择照明控制系统500的组件,以提供高速、反馈控制的电流驱动器能够以5MHz或更高的速率操作当前光源,如LED或二极管激光器等等。在各种示范实施例中,选择组件以提供约1微秒或更少的感应相位延迟;即,频闪脉冲在接收到输入控制信号EXP 2的前沿之后的约1微秒内启动。在各种示范实施例中,选择组件以对短至500毫微秒、长至40毫秒的频闪模式频闪持续时间提供约1.5A高的峰值电流。
因此,如图5所示,在各种示范实施例中,照明控制系统500包括光源580,如能够提供高强度频闪照明的照明设备220、230或240中的任何一个。在各种示范实施例中,光源580如上所述包括LED。连接能够提供例如约1.5A(2A峰值)的快速响应中等功率晶体管575以根据控制信号AA驱动光源580。光源580提供对应于光源580的输出功率的反馈控制信号583。在各种示范实施例中,可以通过来自光源580的光的部分产生反馈控制信号583。在各种示范实施例中,向缓冲电路部分585提供反馈控制信号583,所述缓冲电路部分传感和/或放大或缩放反馈控制信号583以提供反馈控制信号BB。
在各种示范实施例中,照明控制系统500以两种独立的模式工作。在频闪模式中,控制信号EXP2输入到高速输入缓冲505。信号EXP2由包括在成像控制接口140中的取帧器生成并从其中输出,如下所述。多路复用器512由来自控制系统部分100的控制器120、成像控制接口140或其他组件的一个或多个模式选择信号控制,并通过一个或多个信号线发送控制信号EXP2到高速差分放大器515。差分放大器515也接收来自缓冲电路部分585的反馈控制信号BB。差分信号由差分放大器515输出到高速放大器525,后者放大或缩放差分信号,以提供控制信号AA,控制信号AA输入到中等功率晶体管575以按频闪模式驱动光源580。
在连续照明模式中,将“DAC IN”控制信号输入到输入缓冲510。在各种示范实施例中,DAC IN信号由控制器120产生和输出。由来自控制器120的一个或多个模式选择信号控制的多路复用器512发送DAC IN控制信号到差分放大器520。差分放大器520也从缓冲电路部分585接收反馈控制信号BB。
差分信号由差分放大器520输出到放大器530,后者放大或缩放差分信号以提供控制信号AA输入到中等功率晶体管575,从而按连续照明模式驱动光源580。在连续照明模式中,将控制信号AA控制在最大水平之下,所述最大水平以对那些组件提供较长工作寿命的水平控制中等功率晶体管575和光源580中的电流。
通过具有两种这样的独立工作模式,频闪控制系统500可以用于改进现有的视觉检查机器10,并可以用于希望使用本发明的系统和方法操作具有或没有频闪照明的精确机器视觉检查系统的其他应用,还可以用于使用通常由信号(如DAC IN信号)控制的相对连续的照明的现有的系统和方法。应理解,通过具有两种这样的独立工作模式,频闪控制系统500对于在操作者控制的各种手动训练模式操作期间提供连续照明,和在本发明的系统和方法的各种示范实施例中使用的各种自动运行模式操作中提供频闪照明特别有用,所述频闪照明提供类似于在各种训练模式操作期间所提供的总曝光照明能量。
为了在关联于频闪照明持续时间的特定时间既触发频闪又锁定对应的位置值,上述这些系统元件可以在控制系统部分100中互连。下面连接本发明的运行时间工作方法对与频闪模式操作关联的工作步骤进行说明。
图6为流程图,展示根据本发明确定在运行模式中对工件的感兴趣区域自动对焦的操作和设置的训练模式方法的学习模式的一个示范实施例。方法开始于步骤S100并继续步骤S110,其中将视觉检查系统设置为学习模式。然后,在步骤S120,选择摄像机的当前镜头。接下来,在步骤S130,将要评估的工件定位在所需位置,以使得工件要检查的部分在摄像机的视场中。然后操作继续步骤S140。
在步骤S140,设置工件的照明。应理解,照明可以由用户设置或可以半自动或自动地设置。在各种示范实施例中,设置连续照明。接下来,在步骤S150,基于所设置的照明获取工件的工作视图。在各种示范实施例中,工件在工作视图中可视的部分是放置工件的位置的函数。
在各种示范实施例中,基于所设置的照明获取的工件的工作视图包括使用足够短的频闪持续时间获取的工作视图图像,所述频闪持续时间在连接自动对焦图像获取序列期间使用的任何实用Z轴速度时能提供可接受的自动对焦图像。在步骤S140设置了连续照明的各种示范实施例中,通过连续照明设置得到频闪照明参数。
然后,在步骤S160,评估从摄像机获取的工作视图,以确定照明是否满意。如果照明不满意,则操作继续步骤S170。否则,操作转至步骤S180。
在步骤S170,改进照明设置,例如,基于操作员对各种照明设置修改。然后操作返回步骤S150。相反,在步骤S180,存储当前照明设置。然后操作继续步骤S190。在步骤S170,如果因照明太暗而不满意,则增加照明强度。相反,如果因照明太亮而不满意,则降低照明强度。
在各种示范实施例中,本发明的系统和方法确定三个兼容的和/或相关的自动对焦特征或变量,和/或与其关联的控制参数或设置,它们控制可以用多快的速度执行本发明的自动对焦操作。在各种示范实施例中,这些特征是自动对焦操作的自动对焦感兴趣区域的尺寸,获取自动对焦图像的速率,及摄像机在获取自动对焦图像时沿着Z轴扫描的最大速度。
应理解,在各种示范实施例中,为了建立本发明的高速度和高精度自动对焦所需的组合,以相互关联的方式确定这三个变量或特征。在各种示范实施例中,这样做是为了确定自动对焦图像获取操作和/或设置的所需组合,该组合对应于用于在可以提供估计最佳对焦位置所需的精度近似最短实用时间中确定估计最佳对焦位置的自动对焦速度和精度所需组合。在各种示范实施例中,存在这三个变量之间的各种权衡和关系,及确定它们的值的其他示范方法和序列。然而,更一般地,在各种示范实施例中,首先建立特殊硬件限制或精度需求等等对特殊机器视觉检查系统或特殊自动对焦操作集限制最严格的自动对焦参数或变量,接下来确定由这样的限制和需求限制较少的其他自动对焦参数或变量。
因此,在步骤S190,确定三个变量中的第一个的值。然后,在步骤S200,基于三个变量中的第一个的值确定三个变量中的第二个的值。接下来,在步骤S210,基于已确定的前两个变量的值确定三个变量中的第三个的值。然后操作继续步骤S220。
在步骤S220,通过检查自动对焦结果来确认由自动对焦特征或变量集提供的结果。在各种示范实施例中,此确认由模仿可比较的运行模式操作结果的自动对焦演示提供。即,运行一组演示性的自动对焦操作,它们本质上类似于基于各种学习模式操作和相关的机器配置及在学习模式操作期间确定的自动对焦特征或变量集合确定的运行模式操作。例如,使用类似于或等同于那些由运行模式操作和设置提供的移动、频闪照明和图像获取速率,并基于分布在适当的总的Z轴自动对焦图像范围上的结果自动对焦图像,来确定估计最佳对焦位置。在各种示范实施例中,机器然后定位于估计最佳对焦位置,获取并显示评估图像,且对该评估图像进行评估。在各种示范实施例中,通过手动检查评估图像或通过对评估图像执行检查操作并分析结果来进行这样的操作。在各种示范实施例中,通过操作者使用对应的GUI控制特征来启动自动对焦演示。
然后,在步骤S230,记录所确认的自动对焦操作和设置集合。接下来,在步骤240,生成对应于所确认的自动对焦操作和设置集合和用于生成所确认的自动对焦结果的任何其他设置的部分程序机器控制指令。在各种示范实施例中,此数据包括有关感兴趣区域维度、简化读取象素集规格、图像获取重复速率、在各种实施例中可以包括也可以不包括频闪强度和频闪持续视觉的照明设置、Z轴扫描速度、总的Z轴自动对焦图像范围的名义参数、选择的当前镜头等等的信息。应理解,在各种示范实施例中,步骤S230和S240的操作可以合并和/或不进行区分。然后,在步骤S250中,如果有的话,则产生其他所需部分程序指令。接下来,在步骤S260,退出学习模式并存储生成的部分程序机器控制指令以便将来使用,如在自动运行模式期间。
如上所述,当在步骤S130定位工件时,对该工件建立X轴和Y轴上的坐标。进一步来说,在步骤S150中获取的工作视图可以由用户手动获取或由机器视觉检查系统自动获取。
应理解,在各种示范实施例中,在步骤S140中设置照明包括直接设置频闪图像参数。在各种示范实施例中,在使用频闪来设置照明时,由用户手动控制或建立频闪或自动地控制或建立频闪。下面连接图7说明的双区域对比工具是在各种示范实施例中用于帮助建立频闪或连续照明所需设置的自动曝光评估工具的例子。
在步骤S190或S200中定义自动对焦操作的感兴趣区域时,在各种示范实施例中,使用图形用户接口,或通过例如用户接口窗口直接编辑来定义自动对焦操作的感兴趣区域。在另一个示范实施例中,通过直接编辑和使用图形用户接口的组合来定义自动对焦操作的感兴趣区域。
应理解,在本发明的各种示范实施例中,一起定义如上所述的简化读取象素集和感兴趣区域。在各种示范实施例中,简化读取象素集由控制系统部分100基于在学习模式操作中定义的感兴趣区域自动地定义。在各种示范实施例中,在各种学习模式操作期间使用的GUI显示工作的简化读取象素集的特定位置和/或尺寸特征,以向操作员提供对在各种学习模式操作期间定义感兴趣区域和/或对应的简化读取象素集有用的可视反馈。下面参考图8-11和13对有关在各种示范实施例中感兴趣区域和对应的简化读取象素集之间的关系的各种考虑进行说明。
在步骤S190-S210中的一个定义对焦曲线抽样密度和/或自动对焦图像间距时,在各种示范实施例中,在值的连续范围内选择或确定密度和/或间距。另外,在各种示范实施例中,密度和/或间距相应的预定义缺省值作为关联于操作员确定的设置的离散值来确定,如粗略还是精细、准确还是不太准确,或/和快速还是慢速。
在另一个示范实施例中,对焦图像获取速率定义或确定为优化模式或简化模式之一。在优化模式中,对给定的摄像机,提供对简化读取象素集的给定量的控制。总的来说,连接感兴趣区域确定的简化读取象素集的至少一个维度将用于确定自动对焦图像获取速率,即,摄像机能够对关联所需感兴趣区域的简化读取象素集实现的图像获取速率。在各种示范实施例中,在简化模式中,预先对每个所使用的可选择的镜头确定三个参数值的典型集合,且构成估计最佳对焦位置的低、中和高精度。
在又一个示范实施例中,自动对焦工具以缺省模式运行,所述缺省模式自动缩放自动对焦工件的图像用户接口感兴趣区域指示窗口,以对应具有摄像机的已知相关图像获取速率的假设的典型简化读取象素集。在各种示范实施例中,用户定位感兴趣区域指示窗口并独立控制感兴趣区域的一个维度,而感兴趣区域的其他维度功能上自动取决于假设的典型简化读取象素集的特征。
在其他示范实施例中,包括否决模式,以用于在确定对自动对焦工具的感兴趣区域指示窗口或可用的简化读取象素集配置的限制对于特定要检查的工件特征不可接受时的情况。例如,对要对焦的表面有奇怪形状,如长条形等等的工具,可能需要这样的否决模式。在否决模式中,在某些示范实施例中,可以根据需要在摄像机完整视场的任何地方定义感兴趣区域,不使用简化读取象素集,且相对慢地得到自动对焦操作结果。
在某些示范实施例中,在步骤S190-S210中定义摄像机获取自动对焦图像时沿着Z轴扫描的扫描移动和/或最大速度时,扫描移动和/或最大速度舍入到离散的预定速度选项,或从中进行选择。在各种其他示范实施例中,在对机器视觉系统可用的连续速度范围内确定扫描移动和/或最大速度。在各种其他示范实施例中,扫描移动包括由机器视觉系统提供的缺省或指定的加速,且加速在可连接最大自动对焦图像间距使用的最大速度或之下终止和/或在对机器视觉系统可用的连续速度范围内确定最大速度。
应理解,图6所述的方法可用于确定或定义在高速自动机器视觉检查工件期间自动对焦图像捕捉设备的部分程序指令。一旦完成了训练或学习模式,且存储了结果部分程序,在各种示范实施例中,在操作的运行模式中通过检索和使用生成并存储的部分程序自动检查多个附加的对应工件。
图7展示工件图像701的一个示范实施例及多区域图像质量工具700的一个示范实施例,所述多区域图像质量工具可在各种示范实施例中用于半自动或自动地确定用于本发明的确定估计最佳对焦位置的快速自动对焦系统和方法的所需连续和/或频闪照明设置。对多区域图像质量工具700和相关的照明调节系统可用的各种方法和图形用户接口在美国专利6,542,180和6,239,554中揭示,在此完整包括它们中的每一个作为参考。
在图7中展示的多区域图像质量工具700的示范实施例是双区域图像质量工具。示范的双区域图像质量工具700包括以杆连接的第一个感兴趣区域710和第二个感兴趣区域720。由杆730占据的区域构成通常包括要检查的工件特征的关键区域。如’180专利所述,双区域图像质量工具700用于建立最大化在第一个感兴趣区域710和第二个感兴趣区域720中测量到的平均图像强度之间区别的照明配置和照明水平。以此方式,在各种示范实施例中,在边缘750或关键区域中的其他特征上的强度转换将对关键区域中给定对焦程度带来边缘750或图像701中的其他特征的最精确定义。感兴趣区域710和720定义为矩形。应理解,如’180专利所示,在各种示范实施例中,在多区域图像质量工具700内提供任何数量的具有任何所需形状的感兴趣区域。
也应理解,在多区域图像质量工具的其他各种示范实施例中,可以使用感兴趣区域和连接杆或多个连接杆之间的不同宽度比率。应理解,连接杆的长度可以为0。即,两个感兴趣区域可以紧密邻接于彼此而放置,且正好到关键区域中要检查的特征的边缘,如边缘。
在本发明的系统和方法的各种示范实施例中,所包括的多区域图像质量工具700等等能够以各种方式工作。例如,在各种示范实施例中,多区域图像质量工具在训练模式期间由操作员使用,以评估和/或改进由操作员初始近似定义的照明配置和水平。在各种示范实施例中,由操作员初始定义的照明配置和水平是连续或频闪照明配置和水平。在各种示范实施例中,这使用多区域图像质量工具来改进。在其他各种示范实施例中,由操作员初始近似定义的照明配置和水平是转换为提供近似等价总图像曝光的频闪照明配置的连续照明配置,且使用多区域图像质量工具改进所述频闪照明配置。
在各种其他示范实施例中,多区域图像质量工具包括在部分程序中,并执行它以改进连接各种自动对焦操作使用的各种名义连续或频闪照明水平。例如,在各种示范实施例中,在自动对焦感兴趣区域包括要检查的边缘时,遵循初始自动对焦序列和/或在于估计最佳对焦位置处获取最终检查图像之前运行多区域图像质量工具。在各种示范实施例中,这样做是为了补偿照明系统校正“漂移”、环境照明改变等等的效应,并提供在运行模式中自动检查工件时最实用的边缘自动对焦定义和/或精度。
图8展示图7中要检查的示范工具和特征,以及可在本发明的系统和方法的各种实施例中使用的自动对焦工具GUI窗口的两个示范实施例。对本发明的系统和方法可用的自动对焦工具GUI窗口的两个示范实施例包括边缘对焦工具窗口810和表面对焦工具窗口820。在各种示范实施例中,这些自动对焦工具用于对示范工具图像801自动对焦。在各种示范实施例中,预定义的自动对焦工具有特定的设置。在各种示范实施例中,这些设置由用户调整或重定义,但不需要为了使用该工具而重定义。边缘对焦工具GUI窗口810和表面对焦工具GUI窗口820在各种操作特征在上面包括的QVPAK 3D CNC视觉测量机器用户指南和QVPAK 3D CNC视觉测量机器操作指南中概括地说明。
在各种示范实施例中,边缘对焦工具窗口810作为中间有箭头的方框显示。在各种示范实施例中,窗口810由操作员缩放、定位和旋转,直到该方框指示或定义自动对焦感兴趣区域且箭头指示要检查的边缘,所述边缘也是具有由工作边缘对焦量度评估的特征的边缘。
在各种示范实施例中,边缘对焦量度使用沿着感兴趣区域的边缘的一个或多个常规边缘梯度,且用于每个自动对焦图像的对焦值是边缘梯度的带符号绝对值。在这些各种示范实施例中,箭头的方向在效果上定义关联于边缘梯度的参考方向或极性。应理解,在各种示范实施例中,在需要时,由边缘对焦工具窗口810边界指示的感兴趣区域尺寸上减少,以便只包括边缘上的短线段。
在各种示范实施例中,表面对焦工具GUI窗口820作为中间有“X”的方框显示。在各种示范实施例中,表面对焦工具窗口820由操作员缩放、定位和旋转,直到该方框指示或定义自动对焦感兴趣区域。应理解,在各种示范实施例中,表面对焦工具窗口820的感兴趣区域在尺寸上增加或减小,以便包括近似的适合用于如高度确定,或表面结束评估等等这样的特殊检查操作的表面部分。
如上所述,在本发明的各种示范实施例中,摄像机系统260提供本发明的简化读取象素集。简化读取象素集沿着摄像机系统260的视场的至少一个维度对应于明显小于摄像机系统260的完整视场的部分。因此,对应于简化读取象素集的获取自动对焦图像序列并存储数据的重复速率明显快于对应于摄像机系统260整个视场的完整象素集的获取图像和存储数据速率。在各种示范实施例中,使用摄像机系统260以提供本质上或同等对应于使用边缘对焦工具窗口810或表面对焦工具窗口820定义的感兴趣区域的简化读取象素集。在这些示范实施例中,使用对应于整个感兴趣区域的象素来确定如上所述的对焦值,这在下面进一步说明。
在各种示范实施例中,表面对焦操作提供最大化感兴趣区域中的表面纹理或投射到感兴趣区域中的光滑表面的图案的清晰度或锐度的图像对焦,以提供沿着Z轴方向精确定位表面的坐标值,或在提供用于检查该表面的最清晰图像的坐标处提供检查图像。在各种示范实施例中,用于确定自动对焦图像的对焦值的表面对焦量度指示感兴趣区域中对比的程度。这样的表面对焦量度的一个实施例是感兴趣区域中的象素图像强度或灰度级梯度的平方。当对焦于表面时,在各种示范实施例中,基于感兴趣区域内平均的图像强度或灰度级梯度平方来确定对比。例如,下面的公式展示在这样的示范实施例中计算对焦值的一个示范实施例。对位于四个象素A、B、C和D间隙处的点i,定义:
          对比i=(Ai-Bi)2+(Ai-Ci)2+(Di-Bi)2+(Di-Ci)2    (1)
它可以重写为:
Figure A20041009781700451
对整个自动对焦感兴趣区域(AROI),在各种示范实施例中,代表性的对焦值作为AROI中所有N个这样的点的平均对比确定,即:
图9和图10展示图7中要检查的示范工件和特征,以及各自对应于边缘对焦工具和表面对焦工具的图形用户接口自动对焦工具窗口810’和820’的其他示范实施例。图9亦展示指示窗口870和875的简化读取象素集的两个其他实施例。指示窗口870的简化读取象素集对应于位于视场中央固定位置的100行象素的简化读取象素集。指示窗口875的简化读取象素集对应于位于视场中央固定位置的100×100象素块的简化读取象素集。这些其他示范的简化读取象素集由各种市场上提供的摄像机提供。
因此,在使用这些示范摄像机和简化读取象素集时,在本发明的各种示范实施例中,各自对应于边缘对焦工具和表面对焦工具的自动对焦工具窗口810’和820’包括限制或固定在等于或小于对应的可操作简化读取象素集固定维度尺寸的至少一个维度。这样做是为了提供有助于操作员在要检查的工件特征附近连续地定位和缩放感兴趣区域定义窗口的提示或限制。例如,在本发明的各种示范实施例中,在对应于指示窗口870的简化读取象素集可操作时,这样限制或固定垂直维度,及在对应于指示窗口875的简化读取象素集可操作时,这样限制或固定垂直和水平维度两者。
在各种示范实施例中,因为实际上只有感兴趣区域和简化读取象素集重叠的部分可用于确定对应的对焦值,以提供足够精确和/或可重复的对焦值,应理解,可工作的简化读取象素集最好和感兴趣区域足够大的部分重叠。在各种示范实施例中,特别是当感兴趣区域相对小时,例如,近似地如图9和图10所示,感兴趣区域的大部分最好但不是必须和可工作的简化读取象素集重叠。因此,在使用具有固定位置的简化读取象素集的各种示范实施例中,在显示自动对焦工具感兴趣区域指示窗口,如窗口810’或820’或类似时,显示适当的简化读取象素集指示窗口,如由窗口870或875等等所指示的那样,以在各种训练模式操作期间向操作员提供有用的可视提示或反馈。在这样的实施例中,操作员可以容易地定位至少部分和所指示的简化读取象素集区域重叠的特征或感兴趣区域。
在各种其他示范实施例中,用户在所指示的简化读取象素集区域之外定位感兴趣区域,且机器视觉系统可用于自动或半自动地重定位工件工作台和/或摄像机,以使得移动感兴趣区域,使其至少和简化读取象素集的区域部分重叠。在这样的实施例中,简化读取象素集指示窗口870或875或类似对提供所提供的重叠量的可视确认有用。
除了自动对焦工具感兴趣区域窗口810’和820’,图10还展示了简化读取象素集指示窗口的三个其他实例,即在位置880A、880B和880C所指示各种实例。简化读取象素集指示窗口880A、880B和880C对应于定位于视场中可控制的可变位置的固定或缺省的100×100象素块的简化读取象素集。因此,在使用这样的简化读取象素集时,在各种示范实施例中,用等于或小于对应的可工作的简化读取象素集的固定或缺省尺寸尺寸将自动对焦工具窗口810’和820’初始地呈现在显示屏上。这样做是为了提供有助于操作员在要检查的工件特征附近连续地定位和缩放感兴趣区域定义窗口的提示或限制。
如上所述,因为只有感兴趣区域和简化读取象素集重叠的部分实际可用于确定对应的对焦值,以提供足够精确和/或可重复的对焦值,应理解,可工作的简化读取象素集最好和感兴趣区域足够大的部分重叠。在各种示范实施例中,特别是当感兴趣区域相对小时,例如近似地如图10所示,感兴趣区域的大部分最好但不是必须和可工作的简化读取象素集重叠。因此,在使用具有固定尺寸和可变位置的简化读取象素集的各种示范实施例中,当显示自动对焦工具感兴趣区域指示窗口,如窗口810’或820’等等时,显示适当的简化读取象素集指示窗口,如由窗口880A、880B和880C等等所指示的那样。这在各种训练模式期间向操作员提供有用的可视提供或反馈。
在各种示范实施例中,简化读取象素集和适当的指示窗口,如窗口880,自动地相对于定义的感兴趣区域居中,且在自动对焦工具GUI窗口的感兴趣区域指示部分的边界延伸至所指示的简化读取象素集位置之外时,自动地激活图形用户接口元素以高亮显示该条件。例如,在各种示范实施例中,自动对焦工具窗口820”延伸至所指示的区域简化读取象素集之外的部分在位置880B通过线颜色或宽度改变,或对应的区域高亮等等来高亮显示。在这样的示范实施例中,操作员简单地识别和/或调整感兴趣区域不和所指示的区域简化读取象素集重叠的部分,和/或确定重叠部分是否足够。如果操作员确定重叠区域不够,则在各种示范实施例中执行上述否决模式。
在位置880A,整个感兴趣区域810’和所指示的简化读取象素集重叠。在位置880C,感兴趣区域820’正好和所指示的简化读取象素集重叠,因此所指示的简化读取象素集不是清晰可见。
图11展示表面自动对焦工具GUI窗口820”的示范实施例,及用于在运行模式中选择关联于本发明的自动对焦操作的各种模式和操作的各种控制窗口的示范实施例。在各种示范实施例中,用鼠标点击控制窗口830或激活它以开始自动操作,以使得移动感兴趣区域以至于其至少部分和固定的简化读取象素集的区域重叠,如上所述。
在各种示范实施例中,用鼠标点击控制窗口831的控制按钮832来选择这样的工作模式,其中选择相对小的简化读取象素集,以提供相对快的自动对焦图像获取速率用于较快的自动对焦操作,甚至简化读取象素集仅和定义的感兴趣区域的足够部分重叠。相反,在各种示范实施例中,用鼠标点击控制按钮833或激活它来选择这样的工作模式,其中选择简化读取象素集或,如果需要的话,否决模式,以使得可工作的读取象素集至少足够大,从而和所有定义的感兴趣区域重叠。例如,这样做是为了对奇怪形状或较大的感兴趣区域提供最好可能的估计最佳对焦位置精度。
在各种示范实施例中,用鼠标点击控制窗口834的控制按钮835或激活它来选择这样的自动对焦模式,所述自动对焦模式提供用于确定估计最佳对焦位置的相对低精度的模式,例如类似如上所述的低精度模式。这也提供相对快的自动对焦操作。相反,在各种示范实施例中,用鼠标点击控制按钮836或激活它来选择这样的自动对焦模式,所述自动对焦模式提供用于确定估计最佳对焦位置的最高精度模式,例如近似如上所述的高精度模式。
在各种示范实施例中,用鼠标点击控制窗口837的控制按钮838或激活它以开始模拟可比较的运行模式操作结果的自动对焦学习或训练模式演示,如上所述的那样。在各种示范实施例中,用鼠标点击控制窗口837的控制按钮839或激活它以接受完整定义或训练的自动对焦工具的设置,例如,从而跳过训练模式自动对焦演示,或接受由作为训练模式自动对焦演示结果提供的评估图像指示的结果,并转到附加的训练模式操作。
应理解,在各种示范实施例中,上述自动对焦工具和窗口的各方面可以独立地或以各种组合实现。进一步来说,应理解,在各种示范实施例中,各种GUI窗口和控件显然可以有其他形式。因此,上述实施例仅是演示性的,而非限制性的。
图12展示可用于本发明的示范自动对焦工具的图形用户接口窗口的一个示范实施例。各种示范实施例包括可以连接显示和/或重定义某些关联于自动对焦GUI工具,如上述边缘对焦工具810或表面对焦工具820的缺省自动对焦参数使用的示范对话框901。在各种示范实施例中,用户在机器视觉检查系统的手动或训练模式操作期间的不同时候调用这样的对话框。其后,在各种示范实施例中,用户在任何时候使用缺省参数设置并运行自动对焦GUI工具。
亦应理解,在各种示范实施例中,类似的对话框用于显示和/或重定义用户以如上所述的图形方式或其他方式为特定应用或工件感兴趣区域定制的自动对焦GUI工具的实例的相关自动对焦参数。在表面对焦模式中,对话框901包括指示对焦模式的显示或条目;工具位置和尺寸,即,自动对焦感兴趣区域的名义位置和尺寸;搜索范围,即,总的自动对焦Z扫描范围或对焦图像范围,它在各种示范实施例中是以按照任何可用镜头的景深等等应用的标准化单位;及缺省的搜索类型。即,速度和精度组合的类型,例如,低、中或高精度,它为如上所述关联于各种自动对焦精度和速度考虑的各种其他自动对焦参数的各种选择和/或控制提供基础。
在如图12所示的示范实施例中,用户以数值方式观察和/或改变自动对焦工具设置。亦应理解,在其他示范实施例中,以图形方式观察和/或改变自动对焦工具设置。因此,应理解,在各种示范实施例中,使用各种易用的基于文本和图形的方法,手动、半自动或自动地训练和使用本发明的自动对焦系统和方法,并在各种示范实施例中,类似地由“非专家”用户对各种独立应用和工件特征和感兴趣区域定制或适配所述系统和方法。显然对话框901等等可以有各种附加参数设置或其他有用的另外形式。因此,应理解,上述实施例仅为演示性的,而非限制性的。
图13为图表1000,展示本发明的各种示范实施例中简化读取象素集尺寸和可实现的自动对焦图像获取速率之间的一般关系。在各种示范实施例中,摄像机系统可在摄像机的总的或最大的视场内的多个不同尺寸的简化读取象素集之中进行选择。
在图13中,X轴表示简化读取象素集的尺寸。X轴上右边的点表示按照摄像机象素单位等等具有较大尺寸的简化读取象素集。X轴上左边的点表示按照摄像机象素单位等等具有较小尺寸的简化读取象素集。图13中的Y轴表示对焦图像获取速率。Y轴上较高的点涉及比Y轴上较低的点更快的对焦图像获取速率。
图13中的曲线1001表示在本发明的各种示范实施例中使用的各种摄像机的内在或一般操作特性。示范的理论曲线1001是接近线性的。然而,它不是完全线性的,因为多数摄像机的功能特性由于摄像机操作不因用于特殊图像的简化读取象素集尺寸改变的特定时间“开销”而不是线性的。应理解,可以对根据本发明的原理使用的任何类似类型的单个摄像机建立类似的实际曲线。然而,一个摄像机的实际曲线不一定和另一个摄像机的实际曲线相同。然而,如图13所述,总的来说,在本发明的各种实施例中,其中摄像机系统可以在总的或最大的摄像机视场内的多个不同尺寸的简化读取象素集中进行选择时,较小的简化读取象素集尺寸带来较快的自动对焦图像获取速率。相反,较大的自动对焦简化读取象素集尺寸带来较慢的自动对焦图像获取速率,但这为提供所需精度水平所需要。为了实现最佳对焦位置的高精度估计,在本发明的各种示范实施例中,在高精度模式中,连接以10,000象素的量级包括在区域中的定义的感兴趣区域来选择简化读取象素集尺寸,其中简化读取象素集和感兴趣区域重叠。
考虑在图13中反映的摄像机操作特性总地有助于根据本发明的系统和方法选择自动对焦参数的所需组合,包括选择自动对焦感兴趣区域的所需尺寸,以最好地获取自动对焦速度和精度的所需组合或权衡。
图14为图表1100,展在本发明的各种示范实施例中对应于曲线1001的示范的较低精度自动对焦模式和对应于曲线1102的示范的较高精度自动对焦模式的对焦图像获取速率和自动对焦扫描移动速度之间的示范的一般关系。X轴表示自动对焦图像获取速率,同样的工作特性或参数反映在图13中的Y轴上。因此,在各种示范实施例中,已如图13所述确定了对焦图像获取速率,然后基于图14中所示关系确定可允许的自动对焦扫描移动速度。
图14中的Y轴对应于在获取序列自动对焦图像时使用相对恒定的速度的实施例中沿Z轴方向的平均自动对焦扫描移动速度,且它近似地对应于在使用加速度的实施例中在所需自动对焦图像范围内沿着Z轴方向的最大自动对焦扫描移动速度。在任何一种情况,图14中Y轴上的较高位置对应于较快的自动对焦移动速度,而图14中Y轴上较低的点对应于较慢自动对焦扫描移动速度。
应理解,特定的自动对焦图像获取速率除以所需自动对焦图像范围内的特定的平均或最大自动对焦扫描移动速度各自直接确自动对焦图像抽样密度,或Z轴方向上的最大自动对焦图像间距,这对自动对焦图像的特定集合提供,并确定对应的对焦曲线。因此,相对较高或密集的对焦曲线抽样密度,或相对小的最大自动对焦图像间距出现在图表1100中的曲线的右下,而相对较低或稀疏的对焦曲线抽样密度,或相对较大的最大自动对焦图像间距出现在图表1100中的曲线的左上。对焦曲线抽样密度及其与自动对焦精度的关系已在前面参考图3和图4说明。从上述说明中可以得出,对于在自动对焦图像获取期间使用加速度的实施例,最大自动对焦图像间距的大小确定“非线性”对焦曲线抽样密度,此抽样密度通常对于较小的最大间距更密集,或对于较大的最大间距更稀疏。因此,通过和包括在此的对焦曲线抽样密度和精度的相关说明进行类比,可以理解和最大自动对焦图像间距大小相关的精度效应。相对不密集的对焦曲线抽样密度在估计对焦曲线及关联的估计最佳对焦位置时带来更多不确定性或误差。因此,在图1100中,相对较低精度自动对焦模式曲线1101出现在左上,而相对较高精度自动对焦模式曲线1102出现在右下。
相应的自动对焦模式曲线1101和1102中的每一个反映相应的对焦曲线抽样密度,这在沿着相应的曲线的每个点上是相同的。因此,根据较高精度自动对焦模式曲线1102上的任何点进行的操作通常趋向于产生更具密集抽样的对焦-位置曲线,如在图3中所示的那样。相反,根据较低精度自动对焦模式曲线1101上的任何点进行的操作通常趋向于产生更具稀疏抽样的对焦-位置曲线,如在图4中所示的那样。虽然在图14中只展示两种自动对焦精度模式曲线,应理解存在整个曲线族,对图1100中较低的曲线,表示相对较高精度和较高抽样密度的对焦-位置曲线,而对图表1100中的较高曲线,表示较低精度和较低抽样密度的对焦-位置曲线。
应理解,在其他因素等同的情况下,通常提供可能最快的自动对焦操作是有利的。因此,在本发明的各种示范实施例中,通常最好在朝着任何特殊的自动对焦精度模式曲线左下端的点处操作,这将提供所需自动对焦精度水平。当然,每个摄像机对特殊自动对焦感兴趣区域尺寸本质具有最大对焦图像获取速率。这将在本发明的各种示范实施例中确定最快的允许工作点。图14中的线1104一般性地表示这样的点。给出这样的允许或选择的工作点,可以容易地确定对应的提供所需抽样密度或最大自动对焦图像抽样间距的自动对焦扫描移动速度,并将其用作对应的自动对焦参数。这由例如图14中的线1105和1106指示,这一般性地表示对应于相应的所需抽样密度、最大间距或精度的相应的可允许自动对焦扫描移动平均速度,或最大速度。
亦应理解,上述参考图13和图14做出的分析在各种示范实施例中以不同顺序出现。例如,开始于图14中的Y轴,在各种示范实施例中,在选择或定义自动对焦扫描移动速度或最大速度之后,通过可应用的精度模式曲线确定对焦图像获取速率。使用对焦图像获取速率,在各种示范实施例中,基于在图13中定义的关系确定可允许的简化读取象素集尺寸。
类似地,在各种示范实施例中,从选择所需精度开始。在这些各种实施例中,然后如图14所示确定定义对焦图像获取速率和平均或最大自动对焦扫描移动速度之间函数关系的曲线。在各种示范实施例中,首先选择了所需精度,接下来定义自动对焦扫描移动速度或对焦图像获取速率。然后,在这些各种实施例中,确定其他自动对焦扫描移动速度和对焦图像获取速率。
因此,应理解,在定义三个变量中的两个之后,第三个变量也就确定了。类似地,应理解,在各种示范实施例中,以任何顺序确定三个变量中的任何两个,都将确定三个变量中的最后一个的值。因此,考虑在图13和图14中反映的摄像机操作特性通常有助于选择本发明的自动对焦参数的所需组合,以最好地获取自动对焦速度和精度的所需组合或权衡。
图15为图表,比较可用现有的30幅图像每秒的自动对焦图像获取速率实现的移动曲线1501和可用在本发明的各种示范实施例中使用简化读取象素集提供的200幅图像每秒的相对快速的自动对焦图像获取速率实现的移动曲线1502。
曲线1501和1502对应于具有306微米的DOF及对焦轴方向上0.3*DOF=92微米的最大自动对焦图像间距的的低放大倍率镜头。此最大图像间距可用于提供中等精度估计最佳对焦位置。
曲线1501和1502展示随着时间沿着对焦轴方向移动的累积距离。起初,假设每次移动以0速度在3.0毫米的所需自动对焦图像范围的开始处开始。然后每次移动对应于相同的名义加速度0.1g=980毫米/秒2。这是由精确机器视觉检查系统提供的典型最大加速度。在约0.28秒之后,如曲线1501所示,对现有的30图像每秒的自动对焦图像获取速率来说,速度不能进一步增加。这是因为在该速度已达到对应于所需精度水平的最大的所需图像间距。这约为27.7毫米/秒。因此,由曲线1501指示的移动继续用恒定速度通过3.0毫米的自动对焦图像范围的余下部分。
相反,在整个3.0毫米的所需自动对焦图像范围中,名义加速度0.1g=980毫米/秒2对由曲线1502指示的移动、对在本发明的各种示范实施例中提供的200幅图像每秒的相对快速的自动对焦图像获取速率继续有效。速度在所需自动对焦图像范围的末端达到最大,约77毫米/秒。这比允许的最大速度约184毫米/秒还要短很多。允许的最大速度可用于按200幅图像每秒提供相同的92微米的最大自动对焦图像间距。对移动曲线1502来说几处不同和优点非常明显,它对应于在本发明的各种示范实施例中使用简化读取象素集提供的200幅图像每秒的相对快速的自动对焦图像获取速率,相比之下,移动曲线1501对应于现有的30幅图像每秒的图像获取速率。
应理解,对于在本发明的各种示范实施例中使用简化读取象素集提供的相对快的图像获取速率,需要移动在大部分或全部所需的自动对焦图像获取范围上包括加速度。只要不超过允许的最大速度,这通常将缩短自动对焦操作所需的总体时间。亦应理解,当在图像获取期间使用加速度时,特别是当不能很好地控制和/或得知加速度时,需要使用短的有效曝光时间、关联于有效的图像曝光时间的确定的编码器位置锁定,和/或本发明的各种其他方法,包括那些上述的方法,以便减少图像中由于在图像曝光期间小范围移动造成的非线性模糊,以便精确地确定在名义曝光时间的实际位置,而不需要基于时间和不断改变的不定速度来推断位置。本发明的这种方法提供最佳对焦位置快速、简单和准确的估计,甚至在使用高移动速度和加速度时。应理解,对在很多现有的自动对焦方法中使用的现有的图像获取速率和相应地受限的低速度和恒定速度,由于模糊和位置推断造成的可能的误差明显较小。因此,这样的方法不需要使用上述方法来降低与图像获取期间的较高速度及沿Z轴方向显著的加速度相关的误差。
也应理解,移动曲线1502以约少1/3的时间完成沿着所需自动对焦图像范围进行的自动对焦图像获取。另外,沿着移动曲线1502以200幅图像每秒的速度实际提供的最大图像间距比沿着移动曲线1501以30幅图像每秒的速度提供的最大图像间距约少60%。因此,以200幅图像每秒的速度,自动对焦方法明显更快并明显更准确了。在图15所示的示范实施例中,根据本发明提供的相对快的图像速率在对焦图像范围的至少部分上的移动至少比连接现有的图像获取速率允许的最快移动快2.5倍,以产生沿着对焦轴方向互相间隔所需最大间距的邻接的自动对焦图像。应理解,在各种其他示范实施例中,其中使用根据本发明提供的图像速率的移动包括在进入所需自动对焦图像范围之前的预先加速,以提供沿着所需自动对焦图像范围的较高速度,以根据本发明提供的图像速率在对焦图像范围的至少部分上的移动至少比连接现有的图像获取速率允许的最快移动快0.5倍,以产生沿着对焦轴方向间隔相同的最大间距的邻接的自动对焦图像。在根据本发明进一步提高自动对焦操作速度的各种示范实施例中,这样的预先加速用于提供在对焦图像范围的至少部分上的移动速度至少是和连接根据本发明提供的相对快的图像速率允许的最快移动速度的90%,以产生最大的所需自动对焦图像间距。
应理解,在自动对焦图像曝光时间内存在移动时,摄像机的每个象素将累积对应于当它在曝光时间内沿着Z轴方向遍历某些范围时从工件上的点接收的所有光的集成信号。作为第一个相关的考虑,对于仅提供相对长曝光持续时间的摄像机,这可能导致所有自动对焦图像中出现不可接受的模糊,如上所述,或相反,禁止相对高的自动对焦扫描移动速度和/或相对快的自动对焦操作。
作为第二个相关的考虑,即使在本质上降低了和移动相关的模糊,由于对焦曲线的各部分是相对非线性的,对所需精度并不总是能够简单地确定应和“集成的”自动对焦图像关联的Z轴精确位置。在自动对焦图像获取期间使用加速度,特别是相对不能精确得知或可变的加速度时,此困难倍增。因此某些不确定性和误差与连接Z轴位置和每个集成的自动对焦图像关联,甚至如上所述相对于图像曝光时间锁定编码器位置时。可能存在这样的情况,特别是在使用高放大倍率或小景深镜头,和/或低自动对焦精度需求允许相对低的抽样密度和高移动速度时。
因此,在本发明的各种示范实施例中,通过提供总的来说比可以用合理定价的通用机器视觉摄像机所提供的有效曝光时间短得多的有效曝光持续时间,提供可以处理这些考虑的频闪照明能力。例如,在用于相对高精度应用的一个示范实施例中,照明光源用持续时间进行频闪,以使得工件在频闪持续时间期间的移动达所需的最大量或更少。在用于高精度测量的各种示范实施例中,所需的工件移动最大量处于0.25微米量级。例如,在一个实施例中,在15毫米每秒的移动速度使用16.66微秒的曝光,并当移动速度成比例增加时,成比例地缩短曝光时间,这仅由照明光源和控制器输出在减少的曝光持续时间上提供所需的总的图像曝光能量的足够强度水平的能力限制。
在各种其他示范实施例中,通过将有效自动对焦曝光持续时间期间沿着对焦轴的最大移动限制在最多0.5微米来提供足够的测量精度。在又一个示范实施例中,通过将有效自动对焦曝光持续时间期间沿着对焦轴的最大移动调整为在沿着所需自动对焦图像范围的自动对焦图像集合中提供的最大自动对焦图像间距的最多0.25倍,来提供足够的测量精度。
应理解,对于短的曝光时间,有效图像集成是有限的,在具有较短曝光持续时间的各种示范实施例中,移动带来的图像模糊减少或消除了,且在对应的Z轴位置上的不确定性也降低,而可实现的自动对焦速度和精度两者均增加。
图16为图表1200,展示在参考或标准曝光时间内满意的连续照明期间的照明设置(功率设置),和对应的对一些相应的频闪照明功率水平的相应频闪持续时间之间的典型一般关系。相应的频闪照明功率水平由线1201、1202和1203表示。上面已对建立自动对焦操作的各种所需频闪照明参数的各种方法进行了说明。下面更详细地说明和一种示范方法相关的各种考虑。
图16中的X轴对应于在产生在参考或标准曝光时间,如常规摄像机的帧速率内获取的满意的“静态”工件图像的连续照明期间的照明设置(功率设置)。此照明和曝光方法是常规的,且适合于在涉及机器操作员的手动操作和训练模式操作期间操作视觉机器。如上所述,在各种示范实施例中,已知的光源连续功率设置乘以已知或标准的摄像机集成期得到该光源总的曝光照明能量。图16中的Y轴对应于给定频闪照明功率实现等价于连续照明期间的照明设置(功率设置)的图像强度(即,对该光源实现相同的总的曝光照明能量)所需的频闪持续时间。
应理解,在各种示范实施例中,对第一个近似,特定的总的曝光照明能量(在使用参考或标准曝光时间时,对应于特定的连续照明水平)  除以特定的频闪照明功率水平直接得到对应的所需频闪持续时间。相应的频闪功率曲线1201、1202和1203中的每一个反映相应的频闪功率设置,这在相应曲线上每个点上是相同的。因此,根据较高的功率曲线1203上的任何点进行的操作将比根据(垂直对齐的)较低的功率曲线1202或1201上的点进行的操作支持更短的频闪持续时间,如在图16中所示。虽然在图16中只展示了三条频闪照明功率曲线,应理解,存在表示各种其他频闪照明功率水平的整个曲线族。
亦应理解,在其他因素等同的情况下,通常在本发明的各种示范实施例中,为了提供可能的最短频闪持续时间并产生在对于的Z轴位置上具有最少关联于移动的模糊和可能的最小不确定性的图像,在朝向任何频闪照明功率曲线左下端的点工作是有利的。
应进一步理解,每个频闪照明光源本质上具有最大的允许功率水平,且在不考虑其他摄像机响应情况下,此因素可以在本发明的各种实施例中确定最快的允许频闪持续时间。图16中较高的功率曲线1203通常表示这样的最大功率水平。给定这样的设置为自动对焦参数的最大或选择的功率水平,并给定所需工作点,通常由图16中线1204指示,然后确定提供所需匹配的总的曝光照明能量的对应的频闪持续时间,并将其用作对应的自动对焦参数,如图16中的线1205和1206所示。线1205和1206通常表示对应于相应的频闪照明功率水平的相应的频闪持续时间。
亦应理解,上述参考图16进行的分析在各种示范实施例中以不同顺序出现。例如,在各种示范实施例中,沿Y轴定义所需频闪照明持续时间,然后在图表1200中X轴和Y轴值的交点确定对应的所需频闪照明功率。考虑在图13、14和16中反映的各种自动对焦系统工作特性通常有助于选择本发明的自动对焦参数的所需组合,以最好地获取自动对焦速度和精度的所需组合或权衡。
图17和18为流程图,展示本发明的在例如操作的自动运行模式期间自动对焦图像捕捉设备的方法的示范实施例。开始于步骤S300,方法的操作继续步骤S310,其中将部分程序输入到机器视觉检查系统中。然后,在步骤S320,选择第一个部分程序操作。接下来,在步骤S330中,评估第一个部分程序操作,以确定它是否是自动对焦操作。如果第一个部分程序操作是自动对焦操作,则操作转到步骤S340。如果第一个部分程序操作不是自动对焦操作,则操作转到步骤S580。
在步骤S340,识别完整定义各种运行模式自动对焦操作和设置所需的自动对焦设置或参数。在步骤S340识别的自动对焦设置对应于确认的自动对焦变量或参数集合及在图6中的步骤S230已记录的任何其他设置。连接步骤S230更详细地说明上述的那些设置。应理解,除了有关所选择的镜头的信息,自动对焦设置也可以包括有关各种镜头参数的信息,因为它们涉及和各种自动对焦设置相关的任何特定于镜头的调整或设置操作。接下来,在步骤S350,根据在步骤S340中识别的自动对焦设置来设置各种机器视觉检查系统组件的参数和/或配置。例如,在步骤S350中,对涉及感兴趣区域维度、所需的自动对焦精度和/或抽样密度和/或所需的自动对焦图像范围上的最大的自动对焦图像间距、照明设置、自动对焦扫描移动和/或最大速度和扫描范围、基于所选镜头参数的控制参数、所需的自动对焦图像范围等等的各种设置或控制参数进行设置。然后操作继续步骤S360。
在步骤S360中,选择并在光路中定位对应于在步骤S340识别并在步骤S350中设置的镜头设置的镜头。接下来,在步骤S370,将工件的特殊的感兴趣区域适当地定位于视场中的名义位置。然后,在步骤S380,设置名义照明。在步骤S380中设置的名义照明对应于在上面连接图6说明的步骤S180中存储的名义照明。然后操作转到步骤S390。
在步骤S390,基于在步骤S380中设置的照明获取工件的工作视图。然后,在步骤S400中,评估工作视图以确定照明是否满意。例如,在各种示范实施例中,将自动执行多区域图像质量工具的结果用于评估。如果在步骤S400确定照明不满意,则操作继续步骤S410。否则,操作转到步骤S420。在步骤S410,改进照明。例如,在各种示范实施例中,基于自动执行多区域图像质量工具的结果或通过任何其他可用的现有或将来开发的方法来实现此改进,以改进照明设置。然后操作返回到步骤S390,其中基于改进的照明获取工件的另一个工作视图。
应理解,在各种其他示范实施例中,省略步骤S390-S410。例如,在各种示范实施例中,在几次执行上述方法之后,检查结果或用户观察可能表明在步骤S380中设置的名义照明设置总是带来满意的照明。在这样的情况下,最好省略步骤S390-S410,因为不需要对照明进行确认。因此,在省略步骤S390-S410的那些示范实施例中,操作直接从步骤S380转到步骤S420。
在步骤S420中,将摄像机移动到靠近工作自动对焦图像范围一端的位置。例如,在各种示范实施例中,这对应于从感兴趣区域当前名义Z轴位置到感兴趣区域Z轴位置的最大期望变体或宽容度之外的当前镜头景深的约0.5-2.0倍的位置的位移。然后,在步骤S430,摄像机开始沿着Z轴移动。在各种示范实施例中,摄像机移动包括在工作自动对焦图像范围之外的预先的加速度或速度,且在自动对焦图像获取期间在所需的自动对焦图像范围内以名义恒定速度连续移动。在各种示范实施例中,摄像机移动是连续的并在所需自动对焦图像范围部分或全部中进行加速。在本发明的各种其他实施例中,摄像机移动是不连续的并/或包括其他速度变化,只要能获取工作自动对焦图像。
接下来,在步骤S440,在摄像机不在步骤S420中直接移动到工作自动对焦图像范围的工作开始/结束位置的各种实施例中,例如在提供开始于工作自动对焦图像范围外的预先加速度时,对当前的实际Z轴位置和工作开始/结束位置进行比较,所述工作开始/结束位置控制用于获取自动对焦图像的范围。然后操作继续步骤S450。
在步骤S450中,做出实际Z轴位置和工作开始/结束位置的比较是否表明实际Z轴位置在工作自动对焦图像获取范围内的判断。如果实际的摄像机位置,实际的Z轴位置,不在工作自动对焦图像获取范围内,则操作返回步骤S440,在其中对过去/当前实际摄像机位置和工作开始/结束位置进行比较。否则,一旦当前实际摄像机位置在工作自动对焦图像获取范围内,则操作继续步骤S460,其中发送控制信号以重置摄像机并准备自动对焦图像获取。接下来,在步骤S470中,获取至少包括简化读取象素集的自动对焦图像。应理解,在各种示范实施例中,如上所述,对应于获取的自动对焦图像锁定或获取当前的Z轴位置值。然后操作继续步骤S480。
在步骤S480,输出简化读取象素集到机器视觉系统的控制系统部分并进行存储。在各种示范实施例中,也存储对应的Z轴位置值。然后,在步骤S490中,做出在工作自动对焦图像范围中是否存在更多要获取的自动对焦图像的判断。在各种示范实施例中,这包括确定过去/当前实际摄像机位置是否仍然在工作自动对焦图像范围内。在各种其他示范实施例中,这包括基于例如已知的图像获取速率和已知的自动对焦移动配置文件,确定是否已获取已知跨越工作自动对焦图像范围的预定数量的自动对焦图像。如果在工作自动对焦图像范围中存在更多要获取的自动对焦图像,操作返回步骤S460,在各种示范实施例中,在其中发送控制信号以重置摄像机并准备另一次自动对焦图像获取。否则,操作转到步骤S500,其中摄像机在Z轴上的移动对下一操作停止或转向。
在上面连接步骤S460-S480说明的自动对焦操作的各种示范实施例中,基于发送到摄像机的触发信号获取每个自动对焦图像。在各种示范实施例中,这些信号由Galil移动控制卡#DMC-1730等等基于预定时间提供,所述预定时间与和工作简化读取象素集及工作自动对焦移动兼容的图像获取速率兼容或基于其确定。在各种其他示范实施例中,基于缺省时间或空转时间提供这些信号,所述缺省时间或空转时间和简化读取象素集的工作图像获取速率兼容或基于其确定,且和工作自动对焦移动兼容。在其他示范实施例中,触发信号基于确定的自动对焦图像位置而非时间。在其他示范实施例中,基于“就绪信号”或设计为最大化对焦图像获取速率的缺省时间来获取图像,如上参考图13和14所述。
在各种示范实施例中,在各种触发方法之间进行的确定及对应的控制自动对焦变量或参数的确定基于对在图6的步骤S190-S210中定义和确定的变量的设置。在其他示范实施例中,如连接附图5更详细地所述,基于级联的信号获取自动对焦图像,所述级联的信号由发送到频闪照明控制器的触发信号开始,其中,在各种示范实施例中,也控制对应的实际Z轴位置值的锁定。在任何一种情况中,接下来,在步骤S510中,对包括在感兴趣区域中的象素中至少部分存储的简化读取象素集数据集合确定感兴趣区域对焦值。然后,在步骤S520,分析在步骤S510中确定的感兴趣区域对焦值。
在各种示范实施例中,此分析包括比较对焦值并识别最大确定对焦值。在其他示范实施例中,此分析包括通过任何现有或将来开发的方法拟合估计对焦曲线,或估计对焦曲线的部分等等,以确定对焦值。例如,在各种示范实施例中,用二阶或更高阶的多项式拟合定位于多个位置边界并包括最大确定对焦值的确定的对焦值的至少部分。在各种示范实施例中,该多项式为5阶多项式。
接下来,在步骤S530,确定估计对焦曲线真实峰值的估计最佳对焦位置。在步骤S520确定了最大确定对焦值的各种示范实施例中,将足够精确或相对近似的感兴趣区域对焦位置确定为对应于该对焦值的估计最佳对焦位置。在具有较高精度的其他各种实施例中,其中在步骤S520中拟合估计对焦曲线或估计对焦曲线的部分以确定对焦值,将精确或相对近似的估计最佳对焦位置确定为对应于所拟合的对焦曲线的峰值或对称线的Z轴位置。
通过任何现有或将来开发的方法来确定所拟合的对焦曲线的峰值或对称线。例如,在对确定的对焦值拟合多项式的各种示范实施例中,峰值的位置通过拟合多项式一阶导数的零交叉点等等来确定。应理解,大量其他实施例可用于代替步骤S520和S530的操作,只要对感兴趣区域确定了足够或较高精度的估计最佳对焦位置。然后操作继续步骤S540。
在自动对焦方法的各种示范实施例中,在对任何存储的图像确定感兴趣区域对焦值之前获取所有图像。类似地,在各种示范实施例中,在步骤S520中对任何确定对焦值进行分析之前,先确定所有在步骤S510中确定的感兴趣区域对焦值。然而,在各种其他示范实施例中,步骤S520的操作和步骤S510的操作并行地执行。在各种示范实施例中,这对自动对焦操作提供更快的总体处理能力并以更少时间确定所需检查图像。
类似地,在其他示范实施例中,步骤S510的某些操作出现在步骤S480和S490的操作之间。在此实施例中,在存储图像之后立即对每个存储的图像确定感兴趣区域对焦值,而不等到获取并存储了所有的图像。类似地,在其他示范实施例中,步骤S520的部分操作出现在步骤S480和S490的操作之间。在这样的实施例中,不仅在存储图像之后立即对每个存储的图像确定感兴趣区域对焦值,还在获取和存储后面的图像的过程中开始分析已确定的对焦值。
在步骤S540,如果足够完整和对焦的检查图像未包括在获取的自动对焦图像中,则将摄像机移动到在步骤S530识别的估计最佳对焦位置。然后,在步骤S550,获取至少包括工件感兴趣区域的检查图像。在各种示范实施例中,检查图像包括整个视场。在各种示范实施例中,作为本发明的系统和方法的结果,在步骤S550获取的检查图像对应于对该图像可用的最佳对焦位置。接下来,在步骤S560,评估检查图像以获取检查结果。然后,在步骤S570,记录在步骤S560获取的检查结果。然后操作转到步骤S590。相反,在步骤S580中,接下来,执行部分程序的非自动对焦操作。然后操作继续步骤S590。
在步骤S590,做出是否存在任何余下的要执行的更多部分程序操作的判断。如果存在任何要执行的部分程序操作,则操作返回步骤S320。否则,操作继续步骤S600,其中此方法的操作终止。应理解,在各种示范实施例中,将在步骤S530中确定的估计最佳对焦位置用作对应于自动对焦操作的感兴趣区域中的特征的检查坐标。进一步来说,在各种示范实施例中,需要在感兴趣区域中进行其他检查操作,且在各种实施例中,至少省略步骤S540和S550。
如上所述,在各种其他实施例中,为了执行或替换上面相对步骤S460-S490说明的操作的至少部分,基于由发送到频闪照明控制器的触发信号开始的级联的信号获取一组自动对焦图像。在各种示范实施例中,频闪照明控制器也控制对应的实际Z轴位置值的锁定。
更详细地,在频闪照明模式自动对焦操作的各种示范实施例中,首先使用移动控制卡的内在能力,高频率同时轮询连接到移动控制卡的所有位置编码器的位置。当Z轴位置落在工作自动对焦图像区域内时,例如,当它超出对应于工作自动对焦图像范围的末端的确定的位置值时,移动控制卡输出触发信号。接下来,将输出的触发信号输入到系统取帧器,所述系统取帧器在频闪照明自动对焦操作期间以外部触发模式工作。然后,取帧器提交开始系统摄像机的异步重置的第一个信号。这在摄像机上开始图像集成序列。
在各种示范实施例中,在编程到取帧器之中且基于视觉系统组件的各种现有特性,例如,摄像机集成时间、Z轴扫描移动及各种内在的电路延时所建立的短暂延时之后,取帧器输出具有定义的持续时间的第二个控制信号到频闪照明控制器。为了响应第二个控制信号,频闪照明控制器从一个或多个上述确定的照明光源中启动对应于所定义的持续时间的照明光脉冲。在各种示范实施例中,第二个控制信号定义光脉冲的功率水平和持续时间。在各种其他示范实施例中,第二个控制信号控制持续时间,而光源根据固定或缺省的功率水平来驱动。总的来说,通常组合影响图像特征的各种其他因素来确定频闪照明功率水平和脉冲持续时间。
在各种示范实施例中,第二个控制信号也用于在对应于第二个控制信号时间的时间锁定当前的Z轴位置。因此,在各种示范实施例中,第二个控制信号直接连接到移动控制卡的高速位置捕捉锁定输入,这可以由第二个控制信号的上升边缘或开始来触发。作为响应,移动控制卡锁定光学装置的当前位置值,在各种示范实施例中。这样相对于对应的工件检查图像获取并存储当前位置值,以用于后面的检索和分析。
在其中时间不重要的各种示范实施例中,取帧器输入来自摄像机的结果视频数据,并输出以响应数据读取信号,以使得该数据(即,工件检查图像)相对于对应的Z轴位置值进行存储,以用于后面的检索和分析。应理解,有效图像曝光时间和持续时间当然在在摄像机上的集成序列中的预定时间由频闪脉冲的时间和持续时间控制。因此,在各种示范实施例中,组合在频闪持续时间内已知的Z轴扫描速度相对于Z轴位置的锁定时间使用频闪时间和持续时间。这进一步改进具有特殊对焦值的特殊图像和对应的Z轴位置之间的关系,以便在确定检查图像的估计最佳对焦位置之前最小化该关系中的误差和不确定性。
应理解,在各种示范实施例中,上述级联的各种触发信号和时间持续时间都具有由各种硬连线的连接和/或高速时钟控制的时间,这不受明显的不可预测的软件延时或时间延时的影响。因此,本发明的各种示范实施例允许很好的自动对焦速度和精度组合,即使在通常在机器视觉系统操作的其他不太重复和/或不太重要的方面包括这样的不可预测软件延时或时间延时的机器视觉系统工作环境中。
应理解,可以用比在现有的精确机器视觉检查系统中使用的组件和方法,和关联的方法自动对焦图像捕捉设备可能短得多的曝光时间,及高得多的对一系列图像的图像获取速率来提供根据上述系统和方法的各种实施例获取的工件检查图像。亦应理解,当要以高放大倍率成像和检查一系列工件特征时,使用符合本发明的原理的连续移动,每个高倍放大的视场均具有可以非常快速地穿越和通过的很小的景深。因此,由上述方法提供的短的曝光时间及高图像获取速率对用增加的处理能力获取高倍放大的精确工具自动对焦和检查图像来说特别重要。
类似地,应理解,虽然连接使用频闪照明的示范实施例所述的同步操作使用各种示范系统组件的内在特征,在各种其他示范实施例中,可以通过根据现有的数字定时电路技术实现的独立定时电路提供类似的同步特征和/或信号。在各种示范实施例中,这样的电路可以作为控制器120的部分包括在其中。
类似地,应理解,特定的现有机器视觉检查系统可以使用本发明的系统和方法的各种实施例,而对这样的现有机器只有最小或没有“改进”的修改,且这样机器的自动对焦能力、健壮性和吞吐量仍然根据本发明的原理得到提高。在各种示范实施例中,在改进修改中只包括符合本发明原理的附加的机器视觉检查软件方法和/或修改。
虽然已连接上述示范实施例对本发明进行了说明,各种替换、修改、变体、改进和/或本质等价,无论是现有的还是现在无法预料的,对那些具有相关技术普通水平的人都是显而易见的。因此,本发明如上所述的示范实施例只是演示性的,而非限制性的。可以做出各种改变而不偏离本发明的精神和范围。因此,提交和修改的权利要求旨在包括所有已知或将来开发的替换、修改变体、改进和/或本质等价。

Claims (48)

1.操作精确机器视觉检查系统以确定估计最佳对焦位置的方法,所述估计最佳对焦位置至少是可用于检查工件的感兴趣区域的近似最佳对焦位置,所述精确机器视觉检查系统包括:
成像系统,包括:
具有对应于摄像机完整视场的象素集的摄像机,所述摄像机输出至少一个简化读取象素集配置的象素值,所述至少一个简化读取象素集配置沿着摄像机视场的至少一个维度对应于本质上小于摄像机完整视场的部分;及
至少一个镜头配置;
多个可控制的包括对焦轴的移动轴,所述对焦轴包括对焦轴定位传感器;
控制系统部分;及
承载所述工件的工件工作台,其中工件工作台和成像系统中的至少一个可以移动,以至少沿着对焦轴提供对另一个的相对移动,所述方法包括:
重叠感兴趣区域的至少大部分和在摄像机视场中的简化读取象素集的至少部分;
提供移动,所述移动包括使用连续移动沿着对焦轴方向遍历对焦图像范围;
在连续移动期间输入自动对焦图像到摄像机中,所述自动对焦图像具有相应的有效曝光时间和曝光持续时间;
在连续移动期间输出自动对焦图像的简化读取象素集的象素值到控制系统部分,自动对焦图像的输出象素值沿着摄像机视场的至少一个维度对应于本质上小于摄像机完整视场的部分;
重复输入和输出步骤,以提供对应于沿着对焦图像范围分布的多个自动对焦图像的多个简化读取象素集的数据;
沿着对焦轴确定多个自动对焦图像中的至少部分的各自的位置;及
确定估计最佳对焦位置,它至少是近似最佳对焦位置,所述近似最佳对焦位置可用于基于多个简化读取象素集和对焦轴上多个自动对焦图像的至少部分的相应位置的数据的至少部分检查工件的感兴趣区域,其中:
以本质上少于输出对应于摄像机完整视场的完整象素集所需时间的时间对输出操作的输出象素值进行输出;
在少于对应于对输入图像进行输入和输出对应于摄像机完整视场的象素集的标准时间的减少的时间内,执行重复输入和输出步骤;
多个自动对焦图像以至少部分取决于减少的时间和所提供的移动的方式分布在对焦图像范围上,以使得对焦轴上相邻的自动对焦图像的相应位置之间的最大间距可用于确定至少近似最佳对焦位置达所需精度水平的估计最佳对焦位置;及
在对焦图像范围的至少部分上的移动本质上比标准时间允许假想地产生沿着对焦轴方向由相邻自动对焦图像的对应位置之间按最大间隔分开的相邻自动对焦图像的最快移动更快。
2.如权利要求1所述的方法,其特征在于,所述在对焦图像范围的至少部分上的移动比标准时间允许假想地产生沿着对焦轴方向由相邻自动对焦图像的对应位置之间按最大间隔分开的相邻自动对焦图像的最快移动至少快2.5倍。
3.如权利要求1所述的方法,其特征在于,所述在对焦图像范围的至少部分上的移动比标准时间允许假想地产生沿着对焦轴方向由相邻自动对焦图像的对应位置之间按最大间隔分开的相邻自动对焦图像的最快移动至少快5倍。
4.如权利要求1所述的方法,其特征在于,所述在对焦图像范围的至少部分上的移动速度至少是标准时间允许假想地产生沿着对焦轴方向由相邻自动对焦图像的对应位置之间按最大间隔分开的相邻自动对焦图像的最快移动的90%,所述最大间距等于预定限制。
5.如权利要求4所述的方法,其特征在于,所述方法以至少一个较低精度模式和至少一个较高精度模式工作,且当所述方法以至少一个较低精度模式工作时,预定限制的值等于当前镜头配置的期望的名义对焦曲线宽度的半幅全宽维度的至少0.2倍和至多0.5倍,及,当所述方法以至少一个较高精度模式工作时,预定限制的值等于当前镜头配置的期望的名义对焦曲线宽度的半幅全宽维度的至少0.02倍和至多0.1倍。
6.如权利要求4所述的方法,其特征在于,所述方法以至少一个较低精度模式和至少一个较高精度模式工作,且当所述方法以至少一个较低精度模式工作时,预定限制的值的微米数等于至少(0.18/NA2)和至多(0.45/NA2),其中NA为当前镜头配置的有效数值孔径,及,当所述方法以至少一个较高精度模式工作时,预定限制的值的微米数等于至少(0.018/NA2)和至多(0.09/NA2)。
7.如权利要求1所述的方法,其特征在于,所述感兴趣区域的至少大部分包括所有的感兴趣区域。
8.如权利要求1所述的方法,其特征在于,所述至少一个简化读取象素集配置包括具有摄像机视场的至少一个维度上的可选择位置和可选择范围中的至少一个的象素集,且所述重叠步骤包括根据选择的位置及选择的范围中的一个操作摄像机,所述选择的范围重叠简化读取象素集和感兴趣区域的至少大部分。
9.如权利要求1所述的方法,其特征在于,所述至少一个简化读取象素集配置包括具有在至少一个方向上相对于摄像机视场固定的跨度的象素集,且所述对齐步骤包括,根据重叠感兴趣区域的至少大部分和简化读取象素集的位置,相对于成像系统定位工件。
10.如权利要求1所述的方法,其特征在于,所述在对焦轴上确定相应的位置包括确定对焦轴位置传感器的相应位置输出,所述对焦轴位置传感器对应于多个自动对焦图像的至少部分中的每一个,每个相应位置输出都具有和对应的相应有效曝光时间相关的时间。
11.如权利要求10所述的方法,其特征在于,所述对应于多个自动对焦图像的至少部分的相应位置输出和输出象素值每一个都由控制系统部分存储,且在存储了对应于多个自动对焦图像的至少部分的每一个的所有相应位置输出和输出象素值之后,完成对焦轴位置的确定。
12.如权利要求10所述的方法,其特征在于,相应的第一个控制信号确定每个有效曝光持续时间的开始,及确定相应位置输出包括用相对于相应的第一个控制信号具有确定的时间捕捉相应位置输出。
13.如权利要求12所述的方法,其特征在于,所述相应的第一个控制信号确定a)确定相应的有效曝光持续时间的相应的摄像机的电子快门持续时间,及b)确定相应的有效曝光持续时间的相应的频闪照明持续时间两者之一的开始。
14.如权利要求13所述的方法,其特征在于,提供连续移动和相应的有效曝光持续时间中的至少一个,以使得对每个相应的自动对焦图像,在对焦轴上的最大移动最多等于a)预定的曝光移动限制,b)0.25乘以预定的间距限制,c)0.5微米,和d)0.25微米四者之一。
15.如权利要求14所述的方法,其特征在于,连续相对移动包括加速,且在加速期间输入自动对焦图像的至少部分。
16.如权利要求1所述的方法,其特征在于,连续相对移动包括加速,且在加速期间输入自动对焦图像的至少部分。
17.如权利要求16所述的方法,其特征在于,提供连续移动和相应的有效曝光持续时间中的至少一个,以使得对每个相应的自动对焦图像,在对焦轴上的最大移动最多等于a)预定的曝光移动限制,b)0.25乘以预定的间距限制,c)0.5微米,及d)0.25微米中的至少一个。
18.如权利要求1所述的方法,其特征在于,包括:
第一次在具有相对大的最大间距的相对大的对焦图像范围上至少执行提供、输入、输出、重复、确定相应位置及确定估计最佳对焦位置的步骤,其中确定估计最佳对焦位置包括确定相对更粗略的对焦位置;及
第二次在包含已确定的相对更粗略的对焦位置的具有相对小的最大间距的相对小的对焦图像范围上至少执行提供、输入、输出、重复、确定相应位置及确定估计最佳对焦位置的步骤,其中确定估计最佳对焦位置包括确定相对不太粗略的对焦位置,且所述相对不太粗略的对焦位置用于至少在感兴趣区域中检查工件。
19.如权利要求1所述的方法,其特征在于,在至少是近似最佳对焦位置的已确定的估计最佳对焦位置设置所述对焦轴位置,在该位置获取检查图像,且将该检查图像用于至少在感兴趣区域中检查工件。
20.如权利要求1所述的方法,其特征在于,将所述至少是近似最佳对焦位置的已确定的估计最佳对焦位置用作在感兴趣区域中要检查的特征的特征坐标值,而无需将精确机器视觉检查系统的对焦轴位置实际设置在该位置。
21.如权利要求20所述的方法,其特征在于,将所述具有在对焦轴上最接近至少是近似最佳对焦位置的已确定的估计最佳对焦位置的相应位置的相应的简化读取象素集数据用于检查感兴趣区域中的工件,而无需将精确机器视觉检查系统的对焦轴位置实际设置在该对焦位置。
22.精确机器视觉检查系统的训练模式操作的方法,所述训练模式用于确定可用于自动确定至少是近似最佳对焦位置的估计最佳对焦位置的机器控制指令集,所述估计最佳对焦位置可用于检查工件的感兴趣区域,所述精确机器视觉检查系统包括:
成像系统,包括:
具有对应于摄像机完整视场的象素集的摄像机,所述摄像机输出至少一个简化读取象素集配置的象素值,所述至少一个简化读取象素集配置沿着摄像机视场的至少一个维度对应于本质上小于摄像机完整视场的部分;及
至少一个镜头配置;
多个可控制的包括对焦轴的移动轴,所述对焦轴包括对焦轴定位传感器;
控制系统部分;
承载所述工件的工件工作台,其中工件工作台和成像系统中的至少一个可以移动,以至少沿着对焦轴提供对另一个的相对移动;及
图形用户接口,它包括用于显示工件图像的显示部分,且包括至少一个自动对焦工具的多个用户接口元素,所述方法包括:
定义感兴趣区域及与感兴趣区域的至少大部分重叠的简化读取象素集,其中:
使用和操作自动对焦工具关联的自动对焦窗口至少定义感兴趣区域,所述自动对焦窗口可在显示的工件图像上定位;
输出象素值在摄像机视场的至少一个维度上对应于本质上小于摄像机完整视场的部分;及
可以在本质上小于输出对应于摄像机的完整视场的完整象素集所需时间的时间内,将自动对焦图像的简化读取象素集的象素值输出到控制系统部分;
确定自动对焦参数集,所述自动对焦参数集可用于确定用于感兴趣区域的自动对焦操作的集合;
确定用于感兴趣区域的自动对焦操作的集合,包括:
确定运行模式对焦图像范围;
确定运行模式自动对焦移动;所述自动对焦移动包括使用连续移动沿着对焦轴方向遍历对焦图像范围;及
确定可用于在连续移动期间将自动对焦图像输入到摄像机中的运行模式照明水平和曝光持续时间;
提供操作,以确定对应于在连续移动期间分布在对焦图像范围上的多个自动对焦图像的多个简化读取象素集的相应自动对焦图像的重复输入和相应数据的输出,每个相应的自动对焦图像都包含有效曝光时间和曝光持续时间;
提供操作,以在对焦轴上确定多个自动对焦图像的至少部分的相应位置;及
提供操作,以确定估计最佳对焦位置,它至少是近似最佳对焦位置,所述近似最佳对焦位置可用于基于多个简化读取象素集和对焦轴上多个自动对焦图像的至少部分的相应位置的数据的至少部分检查工件的感兴趣区域,其中:
在少于对应于对输入图像进行输入和输出对应于摄像机完整视场的象素集的标准时间的减少的时间内,执行确定的重复输入和输出步骤;
多个自动对焦图像以至少部分取决于减少的时间和所提供的移动的方式分布在对焦图像范围上,以使得对焦轴上相邻的自动对焦图像的相应位置之间的最大间距可用于确定至少近似最佳对焦位置达所需精度水平的估计最佳对焦位置;及
自动对焦移动本质上比标准时间允许假想地产生相邻自动对焦图像的相应位置之间的最大间距的最快移动更快。
23.如权利要求22所述的方法,其特征在于,所述自动对焦移动比标准时间允许假想地产生相邻自动对焦图像的相应位置之间的最大间距的最快移动至少快2.5倍。
24.如权利要求22所述的方法,其特征在于,所述在至少部分对焦图像范围上的自动对焦移动速度至少是标准时间允许假想地产生沿着对焦轴方向由相邻自动对焦图像的对应位置之间按最大间隔分开的相邻自动对焦图像的最快移动的90%,所述最大间距等于预定限制。
25.如权利要求22所述的方法,其特征在于,所述在对焦轴上相邻自动对焦图像的相应位置之间的最大间距最多等于预定限制。
26.如权利要求25所述的方法,其特征在于,基于当前镜头配置的至少一个镜头特性确定所述预定限制。
27.如权利要求26所述的方法,其特征在于,所述镜头特性包括a)当前镜头配置的期望的名义对焦曲线宽度,及b)至少部分确定当前镜头配置的期望的名义对焦曲线宽度的特性两者之一,且预定限制有效地和当前镜头配置的望的名义对焦曲线宽度近似成正比。
28.如权利要求25所述的方法,其特征在于,所述自动对焦工具包括多个精度模式,且当自动对焦工具以第一个精度模式工作时,预定限制的值等于当前镜头配置的期望的名义对焦曲线宽度的半幅全宽维度的至少0.2倍和至多0.5倍,及,当自动对焦工具以第二个模式工作时,预定限制的值等于当前镜头配置的期望的名义对焦曲线宽度的半幅全宽维度的至少0.02倍和至多0.1倍。
29.如权利要求25所述的方法,其特征在于,所述自动对焦工具包括多个精度模式,且当自动对焦工具以第一个精度模式工作时,预定限制的值的微米数等于至少(0.18/NA2)和至多(0.45/NA2),其中NA为当前镜头配置的有效数值孔径,及,当自动对焦工具以第二个模式工作时,预定限制的值的微米数等于至少(0.018/NA2)和至多(0.09/NA2)。
30.如权利要求22所述的方法,其特征在于,所述控制系统部分自动地定义和感兴趣区域的至少大部分重叠的简化读取象素集。
31.如权利要求30所述的方法,其特征在于,所述简化读取象素集本质上等同于感兴趣区域。
32.如权利要求22所述的方法,其特征在于,所述至少一个简化读取象素集配置包括至少在工件的图像上显示自动对焦工具窗口的时间的部分中具有预定尺寸和形状的简化读取象素集,也显示具有预定尺寸和形状的窗口来指示简化读取象素集的位置。
33.如权利要求32所述的方法,其特征在于,所述自动对焦工具窗口的感兴趣区域指示部分包括感兴趣区域边界的显示,且当感兴趣区域指示部分的边界超出所指示的简化读取象素集位置之外时,自动地激活图形用户接口元素来突出该情况。
34.如权利要求22所述的方法,其特征在于,所述至少一个配置简化读取象素集包括具有在至少一个方向上的范围的配置,所述范围沿所述至少一个方向相对于摄像机视场是固定的,且当感兴趣区域定义在该范围之外时,控制系统部分自动地产生至少一个机器控制指令,所述机器控制指令在该范围内沿着所述至少一个方向定位感兴趣区域的至少大部分。
35.如权利要求34所述的方法,其特征在于,所述图形用户接口显示可由用户操作以触发自动产生至少所述一个机器控制指令的操作的控制窗口,所述机器控制指令在该范围内沿着所述至少一个方向定位感兴趣区域的至少大部分。
36.如权利要求22所述的方法,其特征在于,所述在对焦轴上确定相应位置包括对多个自动对焦图像的至少部分,至少输入对焦轴位置传感器的相应的位置信号到控制系统部分,每个相应位置信号对应于关联于对应的相应有效曝光时间的有效时间。
37.如权利要求36所述的方法,其特征在于,所述连续移动包括加速,且在加速期间输入自动对焦图像的至少部分。
38.如权利要求22所述的方法,其特征在于,所述精度机器视觉检查系统进一步包括至少一个能够以连续照明模式和频闪照明模式工作的可控制照明光源,并确定自动对焦参数集,包括:
在已知的摄像机曝光持续时间内以连续照明模式操作至少一个可控制照明光源以确定可接受的总曝光照明能量,所述总曝光照明能量可用于输入自动对焦图像到摄像机中;及
确定频闪控制参数,所述频闪控制参数确定照明水平和有效曝光持续时间,它们可用于在连续移动期间使用频闪照明输入自动对焦图像到摄像机中,其中所述频闪照明水平和曝光持续时间提供至少和连续照明近似相同的总曝光照明能量。
39.如权利要求38所述的方法,其特征在于,所述控制系统部分基于由连续照明提供的总曝光照明能量自动地确定频闪控制参数。
40.如权利要求39所述的方法,其特征在于,所述控制系统部分自动地确定频闪持续时间,以使得频闪持续时间期间在对焦轴上的移动最多等于a)在对焦轴上的预定的曝光移动限制,b)0.25乘以预定的间距限制,c)0.5微米,及d)0.25微米中的至少一个。
41.如权利要求38所述的方法,其特征在于,进一步包括提供训练模式演示,所述训练模式演示自动执行和所确定的操作本质上功能类似的操作,并显示在至少是近似最佳对焦位置的结果确定的估计最佳对焦位置获取的图像以由用户进行评估。
42.如权利要求22所述的方法,其特征在于,所述方法进一步包括提供这样的操作,所述操作至少部分基于估计最佳对焦位置,自动地:
确定较短的自动对焦图像范围;
确定较短的自动对焦移动;较短的自动对焦移动包括使用连续移动沿对焦轴方向遍历较短的对焦图像范围;
使用确定的照明水平和曝光持续时间,并确定相应自动对焦图像的重复输入和输出对应于在连续移动期间分布在较短对焦图像范围上的多个自动对焦图像的多个简化读取象素集的相应数据,每个相应自动对焦图像包含有效曝光时间和曝光持续时间;
确定分布在较短对焦图像范围上的多个自动对焦图像的至少部分在对焦轴上的相应位置;及
确定至少是近似最佳对焦位置的改进的估计最佳对焦位置,它可用于基于多个简化读取象素集的至少部分数据及分布在较短的对焦图像范围上的多个自动对焦图像的至少部分在对焦轴上的相应位置的至少部分,对工件的感兴趣区域进行检查;
其中在较短对焦图像范围上执行的操作提供较短的最大间距,改进的估计最佳对焦位置相对不太粗略,且改进的估计最佳对焦位置可用于至少在感兴趣区域中检查工件。
43.如权利要求22所述的方法,其特征在于,所述方法进一步包括提供将对焦轴位置设置在估计最佳对焦位置、在该位置获取检查图像,并将该检查图像用于至少在感兴趣区域中检查工件的操作。
44.如权利要求22所述的方法,其特征在于,所述方法进一步包括提供将至少是近似最佳对焦位置的估计最佳对焦位置设置为感兴趣区域中要检查的特征的特征坐标值,而无需将精确机器视觉检查系统的对焦轴位置实际设置在该位置的操作。
45.如权利要求22所述的方法,其特征在于,所述方法进一步包括提供选择所述具有在对焦轴上最接近至少是近似最佳对焦位置的已确定的估计最佳对焦位置的相应位置的相应的简化读取象素集数据,并将其用于检查感兴趣区域中的工件,而无需将精确机器视觉检查系统的对焦轴位置实际设置在该对焦位置的操作。
46.如权利要求22所述的方法,其特征在于,进一步包括基于该方法产生并存储机器控制指令集。
47.如权利要求22所述的方法,其特征在于,进一步包括提供训练模式中的演示序列,所述演示序列自动地执行和所确定的操作本质上功能类似的操作,并显示在结果估计最佳对焦位置获取的图像以由用户进行评估。
48.如权利要求47所述的方法,其特征在于,其中图像用户接口显示可由用户操作以触发演示序列的控制窗口。
CNB2004100978171A 2003-11-24 2004-11-24 快速自动对焦机器视觉检查系统的系统和方法 Expired - Fee Related CN100430685C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/719,210 US7030351B2 (en) 2003-11-24 2003-11-24 Systems and methods for rapidly automatically focusing a machine vision inspection system
US10/719,210 2003-11-24

Publications (2)

Publication Number Publication Date
CN1621775A true CN1621775A (zh) 2005-06-01
CN100430685C CN100430685C (zh) 2008-11-05

Family

ID=34435803

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100978171A Expired - Fee Related CN100430685C (zh) 2003-11-24 2004-11-24 快速自动对焦机器视觉检查系统的系统和方法

Country Status (5)

Country Link
US (1) US7030351B2 (zh)
EP (2) EP1763221A1 (zh)
JP (1) JP2005156554A (zh)
CN (1) CN100430685C (zh)
DE (1) DE602004003882T2 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1905633B (zh) * 2005-07-29 2010-06-16 株式会社三丰 控制闪光照明的系统和方法
CN1967245B (zh) * 2005-09-30 2011-10-12 希森美康株式会社 显微镜及显微镜自动对焦方法
CN102314043A (zh) * 2010-07-09 2012-01-11 华晶科技股份有限公司 人脸区块辅助对焦的方法
CN101762232B (zh) * 2008-12-23 2012-01-25 鸿富锦精密工业(深圳)有限公司 多重表面对焦系统及方法
CN102338972A (zh) * 2010-07-21 2012-02-01 华晶科技股份有限公司 多人脸区块辅助对焦的方法
CN102538669A (zh) * 2010-10-13 2012-07-04 株式会社三丰 精密阻焊剂配准检查方法
CN102706889A (zh) * 2012-05-31 2012-10-03 东莞市新泽谷机械制造股份有限公司 料盘装卸方便的视觉检测设备
CN103105193A (zh) * 2011-11-15 2013-05-15 株式会社三丰 精密机器视觉检测系统和用于操作该系统的方法
CN101738728B (zh) * 2008-11-04 2013-07-17 株式会社三丰 机器视觉检查系统的光学像差校正
CN103836513A (zh) * 2012-11-19 2014-06-04 株式会社三丰 图像测量设备的发光二级管照明方法和装置
CN104731578A (zh) * 2013-12-23 2015-06-24 株式会社三丰 为可编程计量系统生成定制和同步参考注解的远程附件
WO2016112704A1 (zh) * 2015-01-16 2016-07-21 努比亚技术有限公司 调节投影仪焦距的方法和装置、计算机存储介质
CN110441898A (zh) * 2019-08-21 2019-11-12 苏州精濑光电有限公司 一种显微镜及其控制方法
CN110661977A (zh) * 2019-10-29 2020-01-07 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN111095133A (zh) * 2017-07-14 2020-05-01 西门子股份公司 一种用于提供用于部署在目标现场设备上的自适应自学习控制程序的方法和装置
US20200371044A1 (en) * 2019-05-24 2020-11-26 Lawrence Livermore National Security, Llc Fast image acquisition system and method using pulsed light illumination and sample scanning to capture optical micrographs with sub-micron features
CN112284274A (zh) * 2020-10-22 2021-01-29 西北工业大学 一种机械连接孔孔径和窝径检测方法及系统

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6627863B2 (en) * 2000-12-15 2003-09-30 Mitutoyo Corporation System and methods to determine the settings of multiple light sources in a vision system
US7110036B2 (en) * 2002-10-31 2006-09-19 Mitutoyo Corporation Systems and methods for identifying a lens used in a vision system
JP2005017805A (ja) * 2003-06-27 2005-01-20 Mitsutoyo Corp 画像測定装置のフォーカス検出方法、フォーカス検出機構、およびこのフォーカス検出機構を備えた画像測定装置
US7593550B2 (en) 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
US8064647B2 (en) 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
US20050157299A1 (en) * 2004-01-15 2005-07-21 Heffelfinger David M. Optical analysis systems
US7499584B2 (en) * 2004-10-21 2009-03-03 Mitutoyo Corporation Smear-limit based system and method for controlling vision systems for consistently accurate and high-speed inspection
US7590276B2 (en) * 2004-12-20 2009-09-15 Mitutoyo Corporation System and method for programming interrupting operations during moving image acquisition sequences in a vision system
US7627162B2 (en) * 2005-01-31 2009-12-01 Mitutoyo Corporation Enhanced video metrology tool
US7668388B2 (en) * 2005-03-03 2010-02-23 Mitutoyo Corporation System and method for single image focus assessment
EP1888336B1 (en) * 2005-04-25 2013-09-25 Ulvac, Inc. Printable substrate and nozzle alignment system
DE102005024867C5 (de) 2005-05-31 2009-08-27 Leica Microsystems Cms Gmbh Mikroskopsystem und Bildgebungsverfahren
JP4634867B2 (ja) * 2005-06-03 2011-02-16 株式会社ミツトヨ 画像測定システム及び方法
CN101248457B (zh) 2005-07-28 2011-07-27 英国电讯有限公司 图像分析方法
US9234852B2 (en) 2005-07-29 2016-01-12 Mitutoyo Corporation Systems and methods for controlling strobe illumination
JP2008052227A (ja) * 2005-09-15 2008-03-06 Olympus Corp 観察装置
US7724942B2 (en) * 2005-10-31 2010-05-25 Mitutoyo Corporation Optical aberration correction for machine vision inspection systems
EP1798961A1 (en) * 2005-12-19 2007-06-20 BRITISH TELECOMMUNICATIONS public limited company Method for focus control
US7567713B2 (en) * 2006-02-08 2009-07-28 Mitutoyo Corporation Method utilizing intensity interpolation for measuring edge locations in a high precision machine vision inspection system
US8792005B2 (en) * 2006-11-29 2014-07-29 Honeywell International Inc. Method and system for automatically determining the camera field of view in a camera network
KR100803046B1 (ko) * 2007-03-28 2008-02-18 에스엔유 프리시젼 주식회사 비전 검사 시스템 및 이것을 이용한 피검사체의 검사 방법
US8179432B2 (en) * 2007-04-30 2012-05-15 General Electric Company Predictive autofocusing
US7576307B2 (en) * 2007-04-30 2009-08-18 General Electric Company Microscope with dual image sensors for rapid autofocusing
US20080297649A1 (en) * 2007-05-31 2008-12-04 Igor Subbotin Methods and apparatus providing light assisted automatic focus
US7812971B2 (en) * 2007-06-28 2010-10-12 Quality Vision International, Inc. Multi color autofocus apparatus and method
US7969475B2 (en) * 2007-07-17 2011-06-28 Seiko Epson Corporation Low memory auto-focus and exposure system for large multi-frame image acquisition
US7783107B2 (en) * 2007-09-06 2010-08-24 Seiko Epson Corporation Characterization of a printed droplet
KR100863700B1 (ko) * 2008-02-18 2008-10-15 에스엔유 프리시젼 주식회사 비전 검사 시스템 및 이것을 이용한 피검사체의 검사 방법
US8436907B2 (en) 2008-05-09 2013-05-07 Honeywell International Inc. Heterogeneous video capturing system
US8213782B2 (en) * 2008-08-07 2012-07-03 Honeywell International Inc. Predictive autofocusing system
US8090246B2 (en) 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
US8280119B2 (en) * 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
US8111938B2 (en) * 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
CN101782369B (zh) * 2009-01-16 2012-09-19 鸿富锦精密工业(深圳)有限公司 影像量测对焦系统及方法
TWI411862B (zh) * 2009-02-27 2013-10-11 Hon Hai Prec Ind Co Ltd 影像量測對焦系統及方法
DE102009015594B4 (de) * 2009-03-30 2015-07-30 Carl Zeiss Sms Gmbh Verfahren und Vorrichtung zur subpixelgenauen Positionsbestimmung einer Kante einer Markerstruktur in einer Vielzahl von Aufnahmepixeln aufweisenden Aufnahme der Markerstruktur
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
US8630464B2 (en) 2009-06-15 2014-01-14 Honeywell International Inc. Adaptive iris matching using database indexing
JP5390292B2 (ja) * 2009-08-06 2014-01-15 株式会社ミツトヨ 画像測定機
US8111905B2 (en) * 2009-10-29 2012-02-07 Mitutoyo Corporation Autofocus video tool and method for precise dimensional inspection
US8396269B2 (en) * 2010-04-08 2013-03-12 Digital Pathco LLC Image quality assessment including comparison of overlapped margins
JP5525953B2 (ja) * 2010-07-29 2014-06-18 株式会社キーエンス 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム
US8742887B2 (en) 2010-09-03 2014-06-03 Honeywell International Inc. Biometric visitor check system
US9522396B2 (en) 2010-12-29 2016-12-20 S.D. Sight Diagnostics Ltd. Apparatus and method for automatic detection of pathogens
US8866114B2 (en) * 2011-01-20 2014-10-21 Mitutoyo Corporation Vision measuring device
US8766153B2 (en) * 2011-02-17 2014-07-01 Mitutoyo Corporation Vision measuring device and auto-focusing control method
JP5740649B2 (ja) * 2011-02-17 2015-06-24 株式会社ミツトヨ 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
US8908083B2 (en) * 2011-09-28 2014-12-09 Apple Inc. Dynamic autofocus operations
US9223306B2 (en) * 2011-11-15 2015-12-29 Mitutoyo Corporation System and method utilizing an editing initialization block in a part program editing environment in a machine vision system
US20130162806A1 (en) 2011-12-23 2013-06-27 Mitutoyo Corporation Enhanced edge focus tool
US10640807B2 (en) 2011-12-29 2020-05-05 S.D. Sight Diagnostics Ltd Methods and systems for detecting a pathogen in a biological sample
JP5932376B2 (ja) * 2012-02-08 2016-06-08 富士機械製造株式会社 画像転送方法および画像転送装置
WO2013182960A1 (en) 2012-06-08 2013-12-12 Vici & C. - S.R.L. Optical measuring machine and method
ITRN20120029A1 (it) * 2012-06-08 2013-12-09 Vici & C S R L Macchina e metodo di misurazione ottica
US9392158B2 (en) 2012-10-04 2016-07-12 Nvidia Corporation Method and system for intelligent dynamic autofocus search
US9621780B2 (en) * 2012-10-04 2017-04-11 Nvidia Corporation Method and system of curve fitting for common focus measures
US9177222B2 (en) * 2012-11-05 2015-11-03 Mitutoyo Corporation Edge measurement video tool and interface including automatic parameter set alternatives
TWI477123B (zh) * 2013-01-15 2015-03-11 Univ Nat Chiao Tung 多功能控制照明裝置
WO2014188405A1 (en) 2013-05-23 2014-11-27 Parasight Ltd. Method and system for imaging a cell sample
US9143674B2 (en) * 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations
IL227276A0 (en) 2013-07-01 2014-03-06 Parasight Ltd A method and system for obtaining a monolayer of cells, for use specifically for diagnosis
CN103712555B (zh) * 2013-07-10 2016-06-29 湖北工业大学 汽车大梁装配孔视觉在线测量系统及其方法
US9456120B2 (en) 2013-07-11 2016-09-27 Mitutoyo Corporation Focus height repeatability improvement in a machine vision inspection system
JP6102602B2 (ja) 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
WO2015029032A1 (en) * 2013-08-26 2015-03-05 Parasight Ltd. Digital microscopy systems, methods and computer program products
CN104079826A (zh) * 2014-06-27 2014-10-01 广东欧珀移动通信有限公司 一种消除智能照相设备flicker的方法及装置
WO2016030897A1 (en) 2014-08-27 2016-03-03 S.D. Sight Diagnostics Ltd System and method for calculating focus variation for a digital microscope
CN104635607A (zh) * 2014-12-12 2015-05-20 东莞市奥普特自动化科技有限公司 一种机器视觉控制器
CN105067294A (zh) * 2015-07-17 2015-11-18 青岛理工大学 一种采动覆岩离层异速生长试验监测系统及分析方法
EP3350644B1 (en) 2015-09-17 2021-04-28 S.D. Sight Diagnostics Ltd. Methods and apparatus for detecting an entity in a bodily sample
US10188036B2 (en) 2015-10-23 2019-01-29 Carnegie Mellon University System for evaluating agricultural material
US10172285B2 (en) 2015-10-23 2019-01-08 Carnegie Mellon University System for evaluating agricultural material
US11250335B2 (en) * 2015-10-26 2022-02-15 NetraDyne, Inc. Joint processing for embedded data inference
US11733150B2 (en) 2016-03-30 2023-08-22 S.D. Sight Diagnostics Ltd. Distinguishing between blood sample components
EP3455610B1 (en) 2016-05-11 2023-01-04 S.D. Sight Diagnostics Ltd. Sample carrier for optical measurements
CA3022770A1 (en) 2016-05-11 2017-11-16 S.D. Sight Diagnostics Ltd Performing optical measurements on a sample
CN106210226B (zh) * 2016-06-30 2019-06-18 青岛海信移动通信技术股份有限公司 移动终端快速对焦演示设备及演示方法
CN106324795B (zh) * 2016-09-29 2018-10-16 电子科技大学 一种检测仪显微镜多视野自动快速对焦方法
DK3348993T3 (da) * 2017-01-11 2020-03-30 Atten2 Advanced Monitoring Tech S L Overvågningssystem og fremgangsmåde til detektering af strømmende mikroskopiske objekter
CN106895781B (zh) * 2017-01-20 2018-12-21 大连理工大学 一种基于视觉的热态件几何尺寸测量控制系统
US11921272B2 (en) 2017-11-14 2024-03-05 S.D. Sight Diagnostics Ltd. Sample carrier for optical measurements
US10281700B1 (en) 2017-12-21 2019-05-07 Mitutoyo Corporation Variable focal length lens system including a focus state reference subsystem
US10171725B1 (en) 2017-12-21 2019-01-01 Mitutoyo Corporation Variable focal length lens system including a focus state reference subsystem
DE102018206181B4 (de) 2018-04-23 2021-12-09 Carl Zeiss Industrielle Messtechnik Gmbh Verbessertes Autofokusverfahren für ein Koordinatenmessgerät und Koordinatenmessgerät
US10578827B2 (en) 2018-04-27 2020-03-03 Mitutoyo Corporation Variable focal length lens system with quasi-sinusoidal periodic intensity modulated light
DE102018113913A1 (de) * 2018-06-11 2019-12-12 Mühlbauer Gmbh & Co. Kg Kartenmarkiersystem und Verfahren zum automatisierten Ermitteln einer optimierten Einstellung eines Kartenmarkiersystems
US11368614B2 (en) 2018-07-23 2022-06-21 Genemind Biosciences Company Limited Imaging method, device and system
JP7287533B2 (ja) * 2018-11-27 2023-06-06 オムロン株式会社 検査システム、検査方法およびプログラム
JP2020086152A (ja) * 2018-11-27 2020-06-04 オムロン株式会社 検査システム、検査方法およびプログラム
US11125967B2 (en) 2018-12-26 2021-09-21 Mitutoyo Corporation System and method for calibrating variable focal length lens system using calibration object with planar tilted pattern surface
US10520301B1 (en) 2018-12-31 2019-12-31 Mitutoyo Corporation Method for measuring Z height values of a workpiece surface with a machine vision inspection system
US11592653B2 (en) 2019-04-05 2023-02-28 Kla Corporation Automated focusing system for tracking specimen surface with a configurable focus offset
US11480664B2 (en) * 2019-06-05 2022-10-25 Pixart Imaging Inc. Optical detection device of detecting a distance relative to a target object
DE102019134217A1 (de) * 2019-12-12 2021-06-17 Leica Microsystems Cms Gmbh Verfahren zum Konfigurieren eines automatisierten Mikroskops und Mittel zu dessen Durchführung sowie Mikroskopsystem
US10880468B1 (en) 2019-12-19 2020-12-29 Mitutoyo Corporation Metrology system with transparent workpiece surface mode
US11249225B2 (en) 2019-12-20 2022-02-15 Mitutoyo Corporation Tunable acoustic gradient lens system utilizing amplitude adjustments for acquiring images focused at different z-heights
US11119382B2 (en) 2019-12-20 2021-09-14 Mitutoyo Corporation Tunable acoustic gradient lens system with amplitude adjustment corresponding to z-height as indicated by calibration data
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11625916B2 (en) * 2020-07-31 2023-04-11 Zebra Technologies Corporation Automatic identification and presentation of edges, shapes and unique objects in an image used for a machine vision job setup
CN112099217B (zh) * 2020-08-18 2022-10-28 宁波永新光学股份有限公司 一种显微镜自动对焦方法
US11328409B2 (en) 2020-09-30 2022-05-10 Mitutoyo Corporation System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface
US11587246B2 (en) 2020-10-30 2023-02-21 Mitutoyo Corporation Metrology system with projected pattern for points-from-focus type processes
US11486694B2 (en) 2020-12-18 2022-11-01 Mitutoyo Corporation Chromatic range sensor system for measuring workpiece thickness
CN112822483B (zh) * 2021-01-08 2022-10-14 重庆创通联智物联网有限公司 自动对焦测试方法、装置、采样设备及系统
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
CN115546114B (zh) * 2022-09-16 2024-01-23 魅杰光电科技(上海)有限公司 针对关键尺寸量测的聚焦方法
CN116754565B (zh) * 2023-08-04 2024-04-26 哈尔滨工业大学 一种光学元件全口径表面微缺陷光致荧光检测用自动对焦检测方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3828381C2 (de) * 1988-08-20 1997-09-11 Zeiss Carl Fa Verfahren und Einrichtung zur automatischen Fokussierung eines optischen Systems
JP2934706B2 (ja) * 1988-11-28 1999-08-16 株式会社ニコン 自動焦点調節装置
US5790710A (en) 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
JP2696044B2 (ja) * 1992-07-14 1998-01-14 株式会社ミツトヨ 合焦検出方法、これを用いた非接触変位測定方法及び装置
US5557097A (en) * 1994-09-20 1996-09-17 Neopath, Inc. Cytological system autofocus integrity checking apparatus
JPH08226805A (ja) * 1995-02-22 1996-09-03 Mitsutoyo Corp 撮像装置の合焦方式及びこれを用いた非接触測定装置
JPH0943493A (ja) * 1995-07-27 1997-02-14 Sony Corp レンズ駆動装置及び撮像装置
JP4149528B2 (ja) * 1996-01-17 2008-09-10 オリンパス株式会社 自動焦点検出装置
JPH1012516A (ja) * 1996-06-20 1998-01-16 Sony Corp 投影露光方法とそれに用いる投影露光装置
JPH11127313A (ja) * 1997-10-21 1999-05-11 Seiko Epson Corp 画像読み取り装置およびそのフォーカス調整方法
JP2000134560A (ja) * 1998-10-26 2000-05-12 Seiko Epson Corp ライトバルブの位置決め方法、表示ユニットおよび投射型表示装置
JP2000209509A (ja) * 1999-01-19 2000-07-28 Canon Inc 固体撮像装置と撮像システム
DK1190271T3 (da) 1999-06-04 2003-12-22 Janssen Pharmaceutica Nv Robust autofokussystem til mikroskop
JP4477782B2 (ja) * 2000-01-18 2010-06-09 株式会社ミツトヨ 被測定物のイメージにおける複数選択領域該当箇所の照明調整装置及び方法
JP2001296470A (ja) * 2000-04-14 2001-10-26 Hitachi Ltd 電子スチルカメラ
JP2002023049A (ja) * 2000-07-06 2002-01-23 Minolta Co Ltd デジタルカメラおよび記録媒体
WO2002082805A1 (fr) * 2001-03-30 2002-10-17 National Institute Of Advanced Industrial Science And Technology Camera de microscope omnifocale en temps reel
DE10127284A1 (de) * 2001-06-05 2002-12-12 Zeiss Carl Jena Gmbh Autofokussiereinrichtung für ein optisches Gerät
JP2003107335A (ja) * 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
US7003161B2 (en) * 2001-11-16 2006-02-21 Mitutoyo Corporation Systems and methods for boundary detection in images
JP2003161875A (ja) * 2001-11-26 2003-06-06 Tdk Corp 画像処理によるオートフォーカス方法及び装置
DE10217404A1 (de) 2002-04-18 2003-11-06 Leica Microsystems Autofokusverfahren für ein Mikroskop und System zum Einstellen des Fokus für ein Mikroskop

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1905633B (zh) * 2005-07-29 2010-06-16 株式会社三丰 控制闪光照明的系统和方法
CN1967245B (zh) * 2005-09-30 2011-10-12 希森美康株式会社 显微镜及显微镜自动对焦方法
CN101738728B (zh) * 2008-11-04 2013-07-17 株式会社三丰 机器视觉检查系统的光学像差校正
CN101762232B (zh) * 2008-12-23 2012-01-25 鸿富锦精密工业(深圳)有限公司 多重表面对焦系统及方法
CN102314043A (zh) * 2010-07-09 2012-01-11 华晶科技股份有限公司 人脸区块辅助对焦的方法
CN102338972A (zh) * 2010-07-21 2012-02-01 华晶科技股份有限公司 多人脸区块辅助对焦的方法
CN102538669A (zh) * 2010-10-13 2012-07-04 株式会社三丰 精密阻焊剂配准检查方法
CN102538669B (zh) * 2010-10-13 2016-02-03 株式会社三丰 精密阻焊剂配准检查方法
CN103105193B (zh) * 2011-11-15 2016-08-10 株式会社三丰 精密机器视觉检测系统和用于操作该系统的方法
CN103105193A (zh) * 2011-11-15 2013-05-15 株式会社三丰 精密机器视觉检测系统和用于操作该系统的方法
CN102706889A (zh) * 2012-05-31 2012-10-03 东莞市新泽谷机械制造股份有限公司 料盘装卸方便的视觉检测设备
CN102706889B (zh) * 2012-05-31 2015-08-12 东莞市新泽谷机械制造股份有限公司 料盘装卸方便的视觉检测设备
CN103836513A (zh) * 2012-11-19 2014-06-04 株式会社三丰 图像测量设备的发光二级管照明方法和装置
CN104731578A (zh) * 2013-12-23 2015-06-24 株式会社三丰 为可编程计量系统生成定制和同步参考注解的远程附件
CN104731578B (zh) * 2013-12-23 2018-06-05 株式会社三丰 为可编程计量系统生成定制和同步参考注解的远程附件
WO2016112704A1 (zh) * 2015-01-16 2016-07-21 努比亚技术有限公司 调节投影仪焦距的方法和装置、计算机存储介质
CN111095133A (zh) * 2017-07-14 2020-05-01 西门子股份公司 一种用于提供用于部署在目标现场设备上的自适应自学习控制程序的方法和装置
US20200371044A1 (en) * 2019-05-24 2020-11-26 Lawrence Livermore National Security, Llc Fast image acquisition system and method using pulsed light illumination and sample scanning to capture optical micrographs with sub-micron features
US11624710B2 (en) * 2019-05-24 2023-04-11 Lawrence Livermore National Security, Llc Fast image acquisition system and method using pulsed light illumination and sample scanning to capture optical micrographs with sub-micron features
CN110441898A (zh) * 2019-08-21 2019-11-12 苏州精濑光电有限公司 一种显微镜及其控制方法
CN110661977A (zh) * 2019-10-29 2020-01-07 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN110661977B (zh) * 2019-10-29 2021-08-03 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN112284274A (zh) * 2020-10-22 2021-01-29 西北工业大学 一种机械连接孔孔径和窝径检测方法及系统

Also Published As

Publication number Publication date
EP1533996A1 (en) 2005-05-25
EP1763221A1 (en) 2007-03-14
US7030351B2 (en) 2006-04-18
US20050109959A1 (en) 2005-05-26
EP1533996B1 (en) 2006-12-27
DE602004003882D1 (de) 2007-02-08
CN100430685C (zh) 2008-11-05
DE602004003882T2 (de) 2007-06-21
JP2005156554A (ja) 2005-06-16

Similar Documents

Publication Publication Date Title
CN1621775A (zh) 快速自动对焦机器视觉检查系统的系统和方法
CN1218159C (zh) 光学式计量装置
US11099369B2 (en) Fully automatic microscopic scanner having flat light source
CN1306458C (zh) 三维监视装置及系统和三维空间监视方法
CN1249403C (zh) 位移传感器
CN1190757C (zh) 纸片类处理装置
CN1324397C (zh) 摄影装置以及动作处理方法
CN1611975A (zh) 成像设备
CN1812502A (zh) 图像拾取设备、其照相机主体、以及可互换式透镜
CN1288174A (zh) 面部影象摄影装置和面部影象摄影方法
CN1534446A (zh) 信息显示系统及其信息处理装置、指示装置和标记显示法
CN1906520A (zh) 显微镜和试料观察方法
CN1831519A (zh) 光泽测量装置以及光泽测量方法
CN1816275A (zh) 印刷基板的品质管理系统
CN1334913A (zh) 用于测量三维数据的装置和方法
CN1945476A (zh) 生产管理装置、生产管理方法以及生产管理系统
CN1166972C (zh) 倒立型显微镜
CN1755322A (zh) 膜检测装置、检验系统以及检验印刷电路板的方法
CN1320501C (zh) 物体检测方法及物体检测装置
CN1322305A (zh) 显微镜图像观察系统、其控制方法及用记录了控制程序的计算机可读取的记录媒体
CN1501694A (zh) 摄像机装置、摄像机系统及控制摄像机系统的方法
CN1366649A (zh) 真假卡判断装置及真假卡判断系统
CN1295540C (zh) 显微镜系统
CN1167003C (zh) 摄影系统
CN1321257A (zh) 显微镜图象传送系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081105

Termination date: 20151124