CN113483892B - 一种多光谱影像测量系统和方法 - Google Patents
一种多光谱影像测量系统和方法 Download PDFInfo
- Publication number
- CN113483892B CN113483892B CN202110709658.XA CN202110709658A CN113483892B CN 113483892 B CN113483892 B CN 113483892B CN 202110709658 A CN202110709658 A CN 202110709658A CN 113483892 B CN113483892 B CN 113483892B
- Authority
- CN
- China
- Prior art keywords
- multispectral
- image
- module
- light source
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 27
- 238000000691 measurement method Methods 0.000 title claims abstract description 9
- 238000001228 spectrum Methods 0.000 claims abstract description 69
- 238000000701 chemical imaging Methods 0.000 claims abstract description 29
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 23
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 23
- 239000000463 material Substances 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000003993 interaction Effects 0.000 claims abstract description 13
- 230000001360 synchronised effect Effects 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 8
- 230000003595 spectral effect Effects 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000002310 reflectometry Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims 2
- 238000012549 training Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000001816 cooling Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0294—Multi-channel spectroscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0297—Constructional arrangements for removing other types of optical noise or for performing calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/283—Investigating the spectrum computer-interfaced
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/2866—Markers; Calibrating of scan
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供了一种多光谱影像测量系统和方法，包括多光谱光源控制模块根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；多光谱成像模块根据产品CT时间和高速频闪光源保持一致，获取特定光谱下的图像；多光谱图像标定模块对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿；多光谱图像合成模块根据标定的相关参数将不同光谱下的图像进行处理并合成清晰的多光谱图像；软件处理模块，控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互。
Description
技术领域
本发明涉及多光谱影像测量技术，特别是涉及一种多光谱影像测量系统和方法。
背景技术
随着科技发展，对各种工件和零件的测量精度和效率要求越来越高，尤其在半导体制造业中对检测的要求也是越来越苛刻。影像测量将影像测量技术、光学技术、控制技术与软件技术完美结合，实现产品的无接触精准测量，由于其非接触特性，是许多表面要求高的产品检测的首选。全自动影像测量具有高度智能化与自动化特点，让整个测量过程变得简单而轻松。通过简单的编程，自动影像测量可以轻松学会操作员的所有实操过程，具有高精度重复性。从而使操作人员从疲劳的精确目视对位，频繁选点、重复走位、功能切换等单调操作和日益繁重的待测任务中解脱出来，成倍地提高工件批测效率，满足工业抽检与大批量检测的需要。
公开号为CN111999254A的中国发明专利公开了一种基于双通道的增材制造缺陷检测系统，包括缺陷光源控制模块、多光谱光源模块、图像采集模块和图像处理模块；其中，所述多光谱光源模块包括可见光光源模块和红外光光源模块；所述可见光光源模块包括可见光线光光源和水冷系统，该水冷系统用于保持可见光光源模块稳定工作；所述红外光光源模块包括红外光线光光源和水冷系统，该水冷系统用于保持红外光线光光源稳定工作；所述缺陷光源控制模块包括红外光光源频闪控制器和可见光光源频闪控制器，用于控制可见光线光光源和红外光线光光源交替频闪发光；所述图像采集模块包括红外镜头和工业CCD；多光谱光源模块发出的多光谱光波照射到增材制件表面后，工件表面光谱信息反射到达图像采集模块中的红外镜头，然后被工业CCD采集；所述图像处理模块连接图像采集模块；所述图像分析处理模块用于对图像采集模块采集到的增材制件的可见光与红外成像信息进行图像处理和分析，快速识别与评价增材制件的缺陷类别。
公开号为CN102974918A的中国发明专利公开了一种基于多光谱分光摄影的视觉监控系统，它包括一摄像机，所述摄像机的外侧设置一个以上的辅助光源，所述摄像机内包括半透半反镜，第一窄带滤光片、第一减光元件、第一面阵图像传感器、第二窄带滤光片、第二减光元件和第二面阵图像传感器；所述辅助光源发出的光照射一焊接工件，经所述焊接工件反射的光线经所述摄像机的镜头传播到所述半透半反镜，所述半透半反镜的透射光线依次经所述第一窄带滤光片和第一减光元件传播到所述第一面阵图像传感器完成成像，所述第一窄带滤光片的法向与透射光线平行；所述半透半反镜的反射光线依次经所述第二窄带滤光片和第二减光元件传播到第二面阵图像传感器完成成像，所述第二窄带滤光片的法向与反射光线平行；其中，光线从所述半透半反镜的反射面开始，沿透射光路传播到所述第一面阵图像传感器的光程与沿反射光路传播到所述第二面阵图像传感器的光程相等。
现有工件检测技术中并没有对特定光谱下抓取的图片进行标定，计算出相关参数以便后续进行实时补偿以及结合多光谱的标定参数由不同光谱的图片自动合成清晰的多光谱图片的相关技术方案，有必要提出一种对应的技术方案。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种多光谱影像测量系统和方法，对特定光谱下抓取的图片进行标定，计算出相关参数以便后续进行实时补偿以及结合多光谱的标定参数由不同光谱的图片自动合成清晰的多光谱图片，能够避免光源衰减造成的误差。
为了达到上述目的，本发明所采用的具体技术方案如下：
一种多光谱影像测量系统，包括
多光谱光源控制模块，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；
多光谱成像模块，根据产品CT时间和高速频闪光源保持一致，获取特定光谱下的图像；
多光谱图像标定模块，对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿；
多光谱图像合成模块，根据标定的相关参数将不同光谱下的图像进行处理并合成清晰的多光谱图像；
软件处理模块，控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互，向所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块发送控制数据并接收反馈数据。
优选的，所述软件处理模块控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互具体指的是
所述软件处理模块基于软件UI设计、参数设计控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互。
优选的，软件UI是与用户进行信息交互的媒介，用于接收来自用户输入的控制命令，还用于显示多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块的操作界面和运行状况，参数设计用于接收来自用户的自定义参数，还用于显示多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块的运行参数、默认参数和自定义参数。
优选的，还包括云端处理模块，所述云端处理模块与所述软件处理模块连接，为所述软件处理模块提供云计算和云存储支持。
优选的，多光谱图像标定模块对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿具体指的是
多光谱图像标定模块采用神经网络的自适应实时校准算法对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿。
优选的，所述多光谱成像模块包括黑白工业相机和成像控制器，环形LED灯套在黑白工业相机的镜头周边，成像控制器分别与黑白工业相机和环形LED灯连接，控制黑白工业相机和环形LED灯保持高度同步进行工作，在具体实施过程中，黑白工业相机的曝光参数设置为3ms，以抑制环境光的影响；成像控制器控制环形LED灯和黑白工业相机完成快速特定光谱图像的采集和光谱反射率的重建，从黑白相机的输出信号中获得被测产品的光谱反射率，产品表面在时间ti时以相对光谱功率分布为l(λ，ti)的光源照明，黑白工业相机在时间ti时的输出为O(ti)＝∫l(λ,ti)r(λ)s(λ)dλ，r(λ)和s(λ)分别为物体光谱反射率和黑白工业相机的光谱灵敏度。
一种多光谱影像测量方法，具体包括以下步骤：
S1，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；
S2，根据产品CT时间和高速频闪光源保持一致，获取特定光谱下的图像；
S3，对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿；
S4，根据标定的相关参数将不同光谱下的图像进行处理并合成清晰的多光谱图像。
优选的，步骤S3对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿具体指的是
采用神经网络的自适应实时校准算法对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿。
优选的，采用神经网络的自适应实时校准算法在云端进行训练得到。
本发明的有益效果在于：对特定光谱下抓取的图片进行标定，计算出相关参数以便后续进行实时补偿以及结合多光谱的标定参数由不同光谱的图片自动合成清晰的多光谱图片，能够避免光源衰减造成的误差。提高测量范围，达到多光谱测量，实现高速测量，提高机器的测量效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种多光谱影像测量系统的原理框图；
图2是本发明实施例提供的一种多光谱影像测量系统的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“竖直”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
如图1所示，本发明提出了一种多光谱影像测量系统，包括
多光谱光源控制模块，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；CT(Cycle Time)是指一个循环的时间，从某个动作发生到下一次这个动作再次发生之间的时间，是生产线上每相邻两个产品产出的时间差。本发明中的产品CT时间即为产品循环时间。
具体的，根据产品CT时间编程调整高速频闪光源的发光频率，根据产品的表面材质调整高速频闪光源的发光亮度。
高速频闪光源采用合适的方式将光线照射到被测产品表面，增大被测产品与背景的对比度，易于目标的提取与识别。在本实施例中，高速频闪光源采用环形LED灯。
多光谱光源控制模块根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；在此之前，可以预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色LED灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；基于代数融合算法将单色LED灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库。
在具体实施过程中，多光谱光源控制模块根据所需的清晰度、图像对比度、边缘信息，可以从光源数据库中匹配对应的光源。光源为特定光谱的光源。
多光谱成像模块，根据产品CT时间和高速频闪光源保持一致，获取特定光谱下的图像；
所述多光谱成像模块包括黑白工业相机和成像控制器，环形LED灯套在黑白工业相机的镜头周边，成像控制器分别与黑白工业相机和环形LED灯连接，控制黑白工业相机和环形LED灯保持高度同步进行工作。在具体实施过程中，黑白工业相机的曝光参数设置为3ms，以抑制环境光的影响；成像控制器控制环形LED灯和黑白工业相机完成快速多光谱图像的采集和光谱反射率的重建，从黑白相机的输出信号中获得被测产品的光谱反射率，产品表面在时间ti时以相对光谱功率分布为l(λ，ti)的光源照明，黑白工业相机在时间ti时的输出为O(ti)＝∫l(λ,ti)r(λ)s(λ)dλ，r(λ)和s(λ)分别为物体光谱反射率和黑白工业相机的光谱灵敏度。
多光谱图像标定模块，对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿；
多光谱图像标定模块接收来自的特定光谱下的图像，采用四点标定法对图像进行标定，将特定光谱和四点标定法的相关参数作为一个数据组，以便后续的相关处理。
多光谱图像合成模块，根据标定的相关参数将不同光谱下的图像进行处理并合成清晰的多光谱图像；根据数据组对不同光谱下的图像进行旋转、缩放等处理，合并成清晰的多光谱图像。
具体的，图像合并算法包括像素级图像融合算法、特征级图像融合算法和决策级图像融合算法，可根据光源数据库-特定光谱对应的清晰度、图像对比度、边缘信息以及客户需求选择任一像素级图像融合算法。
软件处理模块，控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互，向所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块发送控制数据并接收反馈数据。
优选的，所述软件处理模块控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互具体指的是
所述软件处理模块基于软件UI设计、参数设计控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互。
优选的，软件UI是与用户进行信息交互的媒介，用于接收来自用户输入的控制命令，还用于显示多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块的操作界面和运行状况，参数设计用于接收来自用户的自定义参数，还用于显示多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块的运行参数、默认参数和自定义参数。
优选的，还包括云端处理模块，所述云端处理模块与所述软件处理模块连接，为所述软件处理模块提供云计算和云存储支持。
优选的，多光谱图像标定模块对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿具体指的是
多光谱图像标定模块采用神经网络的自适应实时校准算法对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿。
在其他实施例中，多光谱成像模块还可采用3D相机，在获取特定光谱的图像之前需要对3D相机进行标定，主要标定3D相机的内参数，需要实现图像坐标和空间坐标的转换。3D相机包括两个镜头，分别为两个镜头建立坐标系，P是三维空间中的一点，点p1(X1,Y1)、p2(X2,Y2)分别是P在两个镜头成像平面上的成像点，f是两个镜头的焦距，θ是相机光轴和数字光投影仪投影光束的夹角，d1、d2分别是光源到两个镜头光学中心的距离，设P在第一个镜头对应的坐标系中的坐标为P(x1，y1，z1)，在第二个镜头对应的坐标系中的坐标为P(x2，y2，z2)，那么在图像坐标系中，成像点的坐标(u1，v1)与成像平面坐标(X1，Y1)的关系为/>和/>是镜头在图像坐标上两个方向的像元尺寸，因此，/>同理可求出P(x2，y2，z2)。
本发明融合了计算机视觉、光源控制、智能IO编程等领域的技术，是智能制造领域的发展趋势，可以广泛应用于手机屏幕、五金件、线路板等多种工业产品的在线测量和自动高精度贴合组装。可以为智能手机零部件的检测、贴合和组装提供快速的解决方案，具有非常好的经济和社会效益。
如图2所示，本发明还提出了一种多光谱影像测量方法，具体包括以下步骤：
S1，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；CT(Cycle Time)是指一个循环的时间，从某个动作发生到下一次这个动作再次发生之间的时间，是生产线上每相邻两个产品产出的时间差。本发明中的产品CT时间即为产品循环时间。
具体的，可根据产品CT时间编程调整高速频闪光源的发光频率，根据产品的表面材质调整高速频闪光源的发光亮度。高速频闪光源采用合适的方式将光线照射到被测产品表面，增大被测产品与背景的对比度，易于目标的提取与识别。在本实施例中，高速频闪光源采用环形LED灯。
在其他实施例中，还可以预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色LED灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；基于代数融合算法将单色LED灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库。
在具体实施过程中，多光谱光源控制模块根据所需的清晰度、图像对比度、边缘信息，可以从光源数据库中匹配对应的光源。光源为特定光谱的光源。
S2，根据产品CT时间和高速频闪光源保持一致，获取特定光谱下的图像；
获取特定光谱下的图像可利用黑白工业相机和成像控制器获取多光谱图像，环形LED灯套在黑白工业相机的镜头周边，成像控制器分别与黑白工业相机和环形LED灯连接，控制黑白工业相机和环形LED灯保持高度同步进行工作。在具体实施过程中，黑白工业相机的曝光参数设置为3ms，以抑制环境光的影响。
成像控制器控制环形LED灯和黑白工业相机完成快速多光谱图像的采集和光谱反射率的重建。从黑白相机的输出信号中获得被测产品的光谱反射率。产品表面在时间ti时以相对光谱功率分布为l(λ，ti)的光源照明，黑白工业相机在时间ti时的输出为O(ti)＝∫l(λ,ti)r(λ)s(λ)dλ，r(λ)和s(λ)分别为物体光谱反射率和黑白工业相机的光谱灵敏度。
S3，对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿；
S4，根据标定的相关参数将不同光谱下的图像进行处理并合成清晰的多光谱图像。
优选的，步骤S3对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿具体指的是
采用神经网络的自适应实时校准算法对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿。
优选的，采用神经网络的自适应实时校准算法在云端进行训练得到。
本发明的有益效果在于：对特定光谱下抓取的图片进行标定，计算出相关参数以便后续进行实时补偿以及结合多光谱的标定参数由不同光谱的图片自动合成清晰的多光谱图片，能够避免光源衰减造成的误差。提高测量范围，达到多光谱测量，实现高速测量，提高机器的测量效率。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，本领域技术人员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。本发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求书范围来确定其技术性范围。
Claims (9)
1.一种多光谱影像测量系统，其特征在于，包括
多光谱光源控制模块，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；
多光谱成像模块，根据产品CT时间和高速频闪光源保持一致，获取特定光谱下的图像；
在多光谱成像模块获取特定光谱下的图像之前，预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色LED灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；基于代数融合算法将单色LED灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库；
多光谱光源控制模块根据所需的清晰度、图像对比度、边缘信息，从光源数据库中匹配对应的特定光谱的光源；
多光谱图像标定模块，对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿；
多光谱图像合成模块，根据标定的相关参数将不同光谱下的图像进行处理并合成清晰的多光谱图像；
软件处理模块，控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互，向所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块发送控制数据并接收反馈数据。
2.根据权利要求1所述的一种多光谱影像测量系统，其特征在于，所述软件处理模块控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互具体指的是所述软件处理模块基于软件UI设计、参数设计控制所述多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块之间进行数据交互。
3.根据权利要求2所述的一种多光谱影像测量系统，其特征在于，软件UI是与用户进行信息交互的媒介，用于接收来自用户输入的控制命令，还用于显示多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块的操作界面和运行状况，参数设计用于接收来自用户的自定义参数，还用于显示多光谱光源控制模块、多光谱成像模块、多光谱图像标定模块和多光谱图像合成模块的运行参数、默认参数和自定义参数。
4.根据权利要求1所述的一种多光谱影像测量系统，其特征在于，还包括云端处理模块，所述云端处理模块与所述软件处理模块连接，为所述软件处理模块提供云计算和云存储支持。
5.根据权利要求1所述的一种多光谱影像测量系统，其特征在于，多光谱图像标定模块对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿具体指的是多光谱图像标定模块采用神经网络的自适应实时校准算法对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿。
6.根据权利要求1所述的一种多光谱影像测量系统，其特征在于，所述多光谱成像模块包括黑白工业相机和成像控制器，环形LED灯套在黑白工业相机的镜头周边，成像控制器分别与黑白工业相机和环形LED灯连接，控制黑白工业相机和环形LED灯保持高度同步进行工作，在具体实施过程中，黑白工业相机的曝光参数设置为3ms，以抑制环境光的影响；成像控制器控制环形LED灯和黑白工业相机完成快速特定光谱图像的采集和光谱反射率的重建，从黑白相机的输出信号中获得被测产品的光谱反射率，产品表面在时间ti时以相对光谱功率分布为l(λ,ti)的光源照明，黑白工业相机在时间ti时的输出为O(ti)＝∫l(λ,ti)r(λ)s(λ)dλ，r(λ)和s(λ)分别为物体光谱反射率和黑白工业相机的光谱灵敏度。
7.一种多光谱影像测量方法，其特征在于，具体包括以下步骤：
S1，根据产品CT时间和表面材质可编程控制对应的光谱同步和亮度一致的高速频闪光源；
S2，根据产品CT时间和高速频闪光源保持一致，获取特定光谱下的图像；
在多光谱成像模块获取特定光谱下的图像之前，预先建立针对产品表面材质的光源数据库，首先利用不同波段的单色LED灯照射至产品表面，获取不同光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；然后采用多光谱光源照射至产品表面，获取多光谱下的产品图像，对各个产品图像的清晰度、图像对比度、边缘信息进行量化并记录；基于代数融合算法将单色LED灯获取的产品图像进行融合，得到融合的多光谱图像，对其清晰度、图像对比度、边缘信息进行量化并记录；将多光谱下的产品图像与融合的多光谱图像进行量化、对比并记录；统计并汇总得到针对产品表面材质的光源数据库；
多光谱光源控制模块根据所需的清晰度、图像对比度、边缘信息，从光源数据库中匹配对应的特定光谱的光源；
S3，对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿；
S4，根据标定的相关参数将不同光谱下的图像进行处理并合成清晰的多光谱图像。
8.根据权利要求7所述的一种多光谱影像测量方法，其特征在于，步骤S3对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿具体指的是采用神经网络的自适应实时校准算法对特定光谱下的图像进行标定，计算出相关参数以便后续进行实时补偿。
9.根据权利要求8所述的一种多光谱影像测量方法，其特征在于，采用神经网络的自适应实时校准算法在云端进行训练得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110709658.XA CN113483892B (zh) | 2021-06-25 | 2021-06-25 | 一种多光谱影像测量系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110709658.XA CN113483892B (zh) | 2021-06-25 | 2021-06-25 | 一种多光谱影像测量系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113483892A CN113483892A (zh) | 2021-10-08 |
| CN113483892B true CN113483892B (zh) | 2024-05-17 |
Family
ID=77936186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110709658.XA Active CN113483892B (zh) | 2021-06-25 | 2021-06-25 | 一种多光谱影像测量系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113483892B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114554052A (zh) * | 2022-02-18 | 2022-05-27 | 深圳宇视嘉网络科技有限公司 | 基于多光谱特征的线扫相机成像方法 |
| CN116297496B (zh) * | 2023-05-11 | 2023-08-01 | 征图新视(江苏)科技股份有限公司 | 多光谱智能缺陷检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102645406A (zh) * | 2012-05-17 | 2012-08-22 | 天津理工大学 | 一种基于多光谱特征的在线视觉检测光源 |
| CN111426382A (zh) * | 2020-05-26 | 2020-07-17 | 康佳集团股份有限公司 | 一种多光谱成像系统及方法 |
| CN111999254A (zh) * | 2020-08-09 | 2020-11-27 | 复旦大学 | 基于双通道的增材制造缺陷检测系统 |
| CN112492069A (zh) * | 2020-11-20 | 2021-03-12 | 华东师范大学 | 一种手机频闪的多光谱成像方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10215632B2 (en) * | 2016-09-19 | 2019-02-26 | Zycor Labs Inc. | Method and apparatus for spectral reflectance imaging using digital cameras |
-
2021
- 2021-06-25 CN CN202110709658.XA patent/CN113483892B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102645406A (zh) * | 2012-05-17 | 2012-08-22 | 天津理工大学 | 一种基于多光谱特征的在线视觉检测光源 |
| CN111426382A (zh) * | 2020-05-26 | 2020-07-17 | 康佳集团股份有限公司 | 一种多光谱成像系统及方法 |
| CN111999254A (zh) * | 2020-08-09 | 2020-11-27 | 复旦大学 | 基于双通道的增材制造缺陷检测系统 |
| CN112492069A (zh) * | 2020-11-20 | 2021-03-12 | 华东师范大学 | 一种手机频闪的多光谱成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113483892A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102412170B (zh) | 多方向上反射的光源的采集系统和方法 | |
| EP3431968B1 (en) | System and method for inspecting a wafer | |
| EP2387796B1 (en) | System and method for inspecting a wafer | |
| US9863889B2 (en) | System and method for inspecting a wafer | |
| US10796428B2 (en) | Inspection system and inspection method | |
| US20100183197A1 (en) | Apparatus for inspecting and measuring object to be measured | |
| CN113483892B (zh) | 一种多光谱影像测量系统和方法 | |
| SG173068A1 (en) | Methods for examining a bonding structure of a substrate and bonding structure inspection devices | |
| CN109714535A (zh) | 一种基于色差的自动对焦机器视觉测量装置及方法 | |
| JP5119602B2 (ja) | 周期性パターンの欠陥検査方法及び欠陥検査装置 | |
| JP6791631B2 (ja) | 画像生成方法及び検査装置 | |
| EP3511772B1 (en) | Image processing system | |
| CN114280075A (zh) | 一种管类零件表面缺陷在线视觉检测系统及检测方法 | |
| CN116256366A (zh) | 一种芯片缺陷的检测方法、检测系统及存储介质 | |
| CN111750991B (zh) | 分光照相机以及检查系统 | |
| TW202147050A (zh) | 物件自動檢驗之控制系統及方法 | |
| CN209148564U (zh) | 一种透明构件缺陷检测装置 | |
| CN113465505B (zh) | 一种视觉检测定位系统和方法 | |
| CN109100371A (zh) | 一种激光全反射式的3c透明构件缺陷检测装置及方法 | |
| JP2020165666A (ja) | 分光検査方法および分光検査装置 | |
| JP2006208084A (ja) | 周期性パターンのムラ検査装置 | |
| KR100340013B1 (ko) | 가동거울을 이용한 컴퓨터 비젼 시스템 | |
| JP2008082955A (ja) | 分光測光システム及び該システムの照明光源位置の補正方法 | |
| JP7424074B2 (ja) | 三次元形状計測装置、三次元形状計測方法及びプログラム | |
| WO2021153057A1 (ja) | 三次元形状計測装置、三次元形状計測方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20241014 Address after: 2803, Building 1, Huide Building, North Station Community, Minzhi Street, Longhua District, Shenzhen City, Guangdong Province 518000 Patentee after: Hexacon Manufacturing Intelligent Technology (Shenzhen) Co.,Ltd. Country or region after: China Address before: 518000 the third floor of building 6, building 7, office building of Hetai industry (Hefeng Industrial Park), Heping community, Fuyong street, Bao'an District, Shenzhen City, Guangdong Province Patentee before: SEVEN OCEAN METROLOGY (SHENZHEN) CO.,LTD. Country or region before: China |