CN117456195A - 基于深度融合的异常图像识别方法及系统 - Google Patents
基于深度融合的异常图像识别方法及系统 Download PDFInfo
- Publication number
- CN117456195A CN117456195A CN202311149062.4A CN202311149062A CN117456195A CN 117456195 A CN117456195 A CN 117456195A CN 202311149062 A CN202311149062 A CN 202311149062A CN 117456195 A CN117456195 A CN 117456195A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- fusion
- feature
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 93
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004088 simulation Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000007499 fusion processing Methods 0.000 claims abstract description 15
- 238000010191 image analysis Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000003213 activating effect Effects 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 17
- 230000000875 corresponding effect Effects 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 12
- 238000003708 edge detection Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本申请公开了基于深度融合的异常图像识别方法及系统，涉及图像处理技术领域，所述方法包括：获取目标参数；基于采集设备，结合所述目标参数确定采集方案，根据所述采集方案进行图像采集，获取目标图像集；对所述目标图像集进行图像融合处理，生成融合图像集；激活特征提取器，对所述融合图像集进行特征提取，形成目标特征集，其中所述目标特征集包括深度图像特征、红外图像特征、白光图像特征；深度融合所述目标特征集，获取目标融合特征参数集；基于数字孪生原理，得到目标三维仿真模型，将目标三维仿真模型与目标标准三维模型比对，获得异常图像分析结果。具有提高图像采集质量宽容度、提升异常图像识别准确度与鲁棒性、图像识别准确的技术效果。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及基于深度融合的异常图像识别方法及系统。
技术背景
在现代社会，图像识别技术在各个领域得到了广泛应用，其中异常图像识别作为图像处理的重要分支，在许多领域中都具有重要的应用价值。然而，传统的异常图像识别方法往往受限于单一图像类型的信息，难以对复杂场景中的异常情况进行准确识别。存在对图像采集质量要求高，特征单一导致参数识别准确度差，应对复杂场景鲁棒性低，影响识别结果的技术问题。
发明内容
本申请的目的在于提供基于深度融合的异常图像识别方法及系统。用以解决现有技术中对图像采集质量要求高，特征单一导致参数识别准确度差，应对复杂场景鲁棒性低，影响识别结果的技术问题。
鉴于以上技术问题，本申请提供了基于深度融合的异常图像识别方法及系统
第一方面，本申请提供了基于深度融合的异常图像识别方法，所述方法应用于基于深度融合的异常图像识别系统，所述系统存储于云服务器，其中，所述方法包括：
获取目标参数，所述目标参数包括目标外形参数及目标环境参数；
基于采集设备，结合所述目标参数确定采集方案，根据所述采集方案进行图像采集，获取目标图像集；对所述目标图像集进行图像融合处理，生成融合图像集；激活特征提取器，对所述融合图像集进行特征提取，形成目标特征集，其中所述目标特征集包括深度图像特征、红外图像特征、白光图像特征；深度融合所述目标特征集，获取目标融合特征参数集；基于数字孪生原理，得到目标三维仿真模型，将目标三维仿真模型与目标标准三维模型比对，获得异常图像分析结果。
第二方面，本申请还提供了基于深度融合的异常图像识别系统，其中，所述系统包括：
参数采集模块，所述参数采集模块用于获取目标参数，所述目标参数包括目标外形参数及目标环境参数；图像获取模块，所述图像获取模块用于基于采集设备，结合所述目标参数确定采集方案，根据所述采集方案进行图像采集，获取目标图像集；图像深度融合模块，所述图像融合模块用于对所述目标图像集进行图像融合处理，生成融合图像集；特征采集模块，所述特征采集模块用于激活特征提取器，对所述融合图像集进行特征提取，形成目标特征集，其中所述目标特征集包括深度图像特征、红外图像特征、白光图像特征；特征深度融合模块，所述特征深度融合模块用于深度融合所述目标特征集，获取目标融合特征参数集；异常分析模块，所述异常分析模块用于基于数字孪生原理，得到目标三维仿真模型，将目标三维仿真模型与目标标准三维模型比对，获得异常图像分析结果。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请通过获取包括目标外形参数及目标环境参数的目标参数；基于采集设备，结合目标参数确定采集方案并根据采集方案进行图像采集，获取目标图像集；对目标图像集进行图像融合处理，生成融合图像集；基于特征提取器对融合图像集进行特征提取，形成目标特征集，目标特征集包括深度图像特征、红外图像特征、白光图像特征；深度融合目标特征，获取目标融合特征参数集；基于数字孪生原理，得到目标三维仿真模型，将目标三维仿真模型与目标标准三维模型比对，获得异常图像分析结果。进而实现提高图像采集质量宽容度、提升异常图像识别准确度与鲁棒性、图像识别准确的技术效果。
上述说明仅是本申请技术方案的概述，为了能够更清楚阐明本申请的技术手段，进而可依照说明书的内容予以实施，并且为了让本申请的上述及其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
本发明的实施例及后述简单说明结合图示予以说明，附图说明如下：
图1为本申请基于深度融合的异常图像识别方法的流程示意图；
图2为本申请基于深度融合的异常图像识别方法中基于采集设备，结合所述目标参数确定采集方案的流程示意图；
图3为本申请基于深度融合的异常图像识别系统的结构示意图。
附图标记说明：参数采集模块11、图像获取模块12、图像深度融合模块13、特征采集模块14、特征深度融合模块15、异常分析模块16。
具体实施方式
本申请通过提供基于深度融合的异常图像识别方法和系统，解决了现有技术面临的对图像采集质量要求高，特征单一导致参数识别准确度差，应对复杂场景鲁棒性低，影响识别结果的技术问题。
本技术实施例中的方案，为解决上述问题，所采用的整体思路如下：
通过获取包括目标外形参数及目标环境参数的目标参数；基于采集设备，结合目标参数确定采集方案并根据采集方案进行图像采集，获取目标图像集；对目标图像集进行图像融合处理，生成融合图像集；基于特征提取器对融合图像集进行特征提取，形成目标特征集，目标特征集包括深度图像特征、红外图像特征、白光图像特征；深度融合目标特征，获取目标融合特征参数集；基于数字孪生原理，得到目标三维仿真模型，将目标三维仿真模型与目标标准三维模型比对，获得异常图像分析结果。进而实现提高图像采集质量宽容度、提升异常图像识别准确度与鲁棒性、图像识别准确的技术效果。
为更好理解上述技术方案，下面将结合说明书附图和具体的实施方式来对上述技术方案进行详细的说明，需要说明的是，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部。
实施例一
如图1所示，本申请提供了基于深度融合的异常图像识别方法，其中，所述方法应用于基于深度融合的异常图像识别系统，所述系统存储于云服务器，所述方法包括：
S100：获取目标参数，所述目标参数包括目标外形参数及目标环境参数；
目标参数用于更好地理解和描述目标对象在特定环境中的特征和状态。目标参数包括目标外形参数及目标环境参数。其中，目标外形参数包括目标的三维尺寸、几何特征、复杂程度(面数)等；目标环境参数包括：环境温度、环境亮度、环境压力等。
可选的，目标外形参数的获取方式包括：传感器获取：传感器测量：使用各种传感器(如激光测距仪、摄像头、雷达等)来测量目标对象的尺寸、形状和几何特征；计算机视觉：利用图像处理和计算机视觉技术，对目标的图像进行分析，提取目标的轮廓、边界和形状信息；数据库获取：通过查询目标规格书、设计图等材料，获取目标对象的外形尺寸参数。目标环境参数的获取方式包括：使用环境传感器(包括温度传感器、光线传感器、气压传感器等)监测目标所处环境的物理参数；气象站数据：获取气象站或气象数据源提供的天气状况、风速、温度、湿度等环境参数。
通过获取包括目标外形参数及目标环境参数的目标参数，为后续进行采集方案确定提供了参数依据。
S200：基于采集设备，结合所述目标参数确定采集方案，根据所述采集方案进行图像采集，获取目标图像集；
采集设备是指图像采集设备，用于获取现实中图像数据，通过捕获静态图像或动态图像，并将其转换为数字信号，以便进行处理、分析和存储。可选的，采集设备包括深度图像采集设备、红外图像采集设备、白光图像采集设备。通过多种图像采集设备进行图像采集，实现在复杂环境下对目标对象的多维度采集，提高了所获取的图像信息的多样性，为后续多模态图像的深度融合提供数据基础。
进一步的，如图2所示，所述基于采集设备，结合所述目标参数确定采集方案，步骤S200包括：
S210：获取采集设备性能参数；
S220：基于所述采集设备性能参数结合所述目标参数，定位采集点，形成采集点集；
S230：激活任务分配器，对所述采集点集进行处理，生成所述采集方案，其中，所述采集方案包括关联存储的采集点集对应的采集任务集。
采集设备性能参数反映了采集设备的采集特性，决定了采集设备的适用范围。采集设备性能参数的获取方式包括：查阅设备制造商提供的文档和规格表、实验测试分析等。
其中，深度图像采集设备包括：3D TOF传感器、结构光传感器等；优选的，采用3DTOF传感器作为深度图像采集设备，其性能参数包括：深度分辨率、深度精度、深度范围、深度帧率、角度范围等；
其中，红外图像采集设备包括：红外热像仪(Infrared Thermal Imagers)、红外摄像机(Infrared Cameras)等；优选的，采用红外摄像机作为红外图像采集设备，其性能参数包括：红外灵敏度、红外分辨率、光圈、最小焦距等。
其中，白光图像采集设备包括：CCD传感器(Charge-Coupled Device)、CMOS传感器(ComplementaryMetal-Oxide-Semiconductor)等，优选的，采用CMOS传感器作为白光图像采集设备，对于CMOS传感器的白光图像采集设备，其性能参数包括；
一种可行的实施例中，基于采集设备性能参数结合所述目标参数，定位采集点，形成采集点集：首先，根据采集设备性能参数对确定适当的采集距离，示例性的，根据采集设备的FOV、精度、最小焦距、深度范围等性能参数，结合目标对象三围尺寸，确定采集距离范围；而后，根据目标几何特征、复杂程度(面数)及目标环境参数，确定采集点分布及采集点位置；最后，记录采集点位置及图像采集设备角度，关联存储，形成采集点集。几何特征复杂，面数多的目标对象，采集点分布密集、采集距离近、采集角度多。
一种可行的实施例中，任务分配器用于结合采集点集，对每个采集点分配合适的采集设备及设备对应的采集次数。示例性的，几何特征复杂，面数多一侧的采集点由多种设备同时进行采集；环境光线差、光线复杂条件下，由红外图像采集设备进行采集。通过形成包括关联存储的采集点集与对应的采集任务集的采集方案，实现充分采集细节信息，保证采集图像质量的技术效果。
此外，可选的，图像采集设备具有HDR(高动态对比度)、长曝光、光学防抖、多帧合成、封装DRAM等优化功能和特点。这样可以确保图像在复杂光照条件下依然能够保持细节和清晰度，特别是在室外或有强烈光线的情况下。
S300：对所述目标图像集进行图像融合处理，生成融合图像集；
其中，图像融合处理是一种将多个图像合并成一个单一图像的技术，以获得更丰富的信息、增强图像质量。融合方法包括加权平均、多分辨率融合、小波变换、PCA融合等。可选的，在图像融合处理前，对目标图像集进行必要的预处理，包括图像校正、去噪、增强等，以确保它们在融合时具有一致的质量和特性。
进一步的，对所述目标图像集进行图像融合处理，生成融合图像集，步骤S300包括：
S310：对高频分量与低频分量重采样成一致的空间分辨率后，实施标准的空间配准；
S320：将所述低频分量在RGB空间中自适应地变换至HIS空间，使低频分量能够与RGB空间自动适应，获取强度(S)、色调(D)以及饱和度(B)；
S330：对所述高频分量与所述低频分量的S分量实施直方图匹配，使二者存在一致的均值和方差；
S340：对匹配后的所述高频分量与所述低频分量的S分量依次实施小波分解，所述低频分量和所述高频分量按照局部小波系数特征融合准则实施转换；
S350：将转换后的所述低频分量与每层所述高频分量实施逆转换获取S’；
S360：将所述色调(D)以及所述饱和度(B)分别实施HIS逆转换获取融合结果，生成所述融合图像集。
其中，低频分量(低频信号)代表着图像中亮度或者灰度值变化缓慢的区域，也就是图像中大片平坦的区域，描述了图像的主要部分。高频分量(高频信号)对应着图像变化剧烈的部分，也就是图像的边缘(轮廓)或者噪声以及细节部分。通过图像分割算法，依据目标图像集的多光谱与纹理特征，将目标图像集分割为低频分量与高配分量。示例性的，对于深度图像，检测深度变化梯度，形成深度变化梯度分布，进而进行边缘检测分割图像。具体的，边缘检测算法包括：Roberts算子、Sobel算子、Laplacian算子、Canny边缘检测等。优选的，采用Canny边缘检测。其中Canny边缘检测，首先，用高斯滤波器平滑图像，而后，用一阶偏导有限差分计算梯度幅值和方向，接着，对梯度幅值进行非极大值抑制(NMS)，最后，用双阈值算法检测和连接边缘(滞后边界跟踪)，根据边缘图像分割为低频分量与高配分量。
空间配准(Spatial Registration)是指将不同图像或数据集中的特征点、对象或坐标系统对齐，使它们在空间中对应或重叠。用于整合、分析和比较不同源的图像或数据。示例性的，实施标准的空间配准，将重采样成一致的空间分辨率的高频分量与低频分量统一至统一坐标系中，以获得更全面的信息或更精确的结果。
HIS空间是一种颜色空间，由以下三个分量组成：亮度(L)：表示图像的明暗程度，即图像的亮度信息。在HIS颜色空间中，亮度分量是灰度图像；饱和度(S)：表示颜色的鲜艳程度或纯度。当饱和度较低时，颜色会更接近灰色；色调(H)：表示颜色的种类或基本色调。色调的范围通常为0到360度，对应不同的颜色。
进一步的，本实施例中将所述低频分量在RGB空间中自适应地变换至HIS空间，其中，强度(S)即为HIS空间中的亮度(L)，其获取公式如下：
色调(D)即HIS空间中的色调(H)其获取公式如下：
饱和度(B)即HIS空间中的饱和度(S)其获取公式如下：
进一步的，对所述高频分量与所述低频分量的S分量实施直方图匹配，保证二者对比度一致。
小波分解(Wavelet Decomposition)是一种信号处理技术，用于将信号分解为不同尺度上的频率成分，从而实现信号的多尺度分析。小波分解的主要思想是将信号分解为近似(低频)和细节(高频)两部分，然后可以继续对近似部分进行分解，以获取不同尺度上的频率信息。
其中，将遥感图像低频分量设成k(Ar)，需要融合的高频分量设成KPAN，将k(Ar)和KPAN实施融合操作。融合准则如下：
低频分量融合准则：低频分量融合是为了充分保存遥感图像的光谱特征，并将遥感图像的某些特征导入低分辨率多光谱遥感图像中，融合准则公式为：
生成融合图像新的低频分量B2 -IKNEW，公式为：
式中，o为小波块标准差。
高频分量融合准则：高频分量部分融合可增强遥感图像的细节信息，经小波分解后获取遥感图像的高频分量为和模板位置局部小块中的方差，将运算获取的方差值设成目前模板中心像元，经过小波分解获取新的高频分量和方差中对比/>中相应像素点A的值，值较大的像素点归入像素集Ω里，计算公式为：
循环上述步骤将所获取的新的低频、高频分量实施小波逆转换，重构获取新的分量S’。
其中，HIS逆转换是指由新的分量S’、色调(D)以及饱和度(B)作为新的HIS空间图像，并转换为RGB空间图像的过程。转换形成的新的RGB图像即为融合图像，对目标图像集重复上述HIS转换和小波系数特征的图像融合算法处理，得到多个融合图像，形成融合图像集。
通过将小波变换方法与HIS转换方法相融，将图像的低频分量、高频分量进行小波分解，获取基带数据与每个层次的子带数据。基带数据融合可以充分保护遥感图像的光谱信息完整性，子带数据融合可以优化遥感图像分辨率，实现图像的深度融合，获取高清晰度的融合图像集的技术效果。
S400：激活特征提取器，对所述融合图像集进行特征提取，形成目标特征集，其中所述目标特征集包括深度图像特征、红外图像特征、白光图像特征；
其中，特征提取器用于对融合图像集进行特征提取。特征提取是指从图像中提取出有意义的、描述图像内容的特征表示。常见的特征提取方法包括传统图像特征提取方法和深度学习方法。其中，传统图像特征提取方法包括尺度不变特征变换(SIFT)、方向梯度直方图(HOG)、局部二值模式(LBP)等；深度学习方法包括主成分分析(PCA)、线性判别分析(LDA)、神经网络(NN)等。可选的，特征提取器由基于神经网络模型构成，根据融合图像集中图像类型激活相应类别的子模型，对融合图像集进行特征提取。
进一步的，所述激活特征提取器，对所述融合图像集进行特征提取，形成目标特征集，步骤S400包括：
S410：获取所述特征提取器；
S420：对所述融合图像集进行分类标记，获得标记图像集；
S430：基于所述特征提取器，对所述标记图像集进行特征提取，获得目标特征集。
一种可选的实施例中，对所述融合图像集进行分类标记，使用已有的标注数据或者人工标注来对融合图像集进行分类标记。每张图像将会被赋予一个或多个标签，用以表示图像所属的类别或属性。示例性的，在车辆识别任务中，标签可以是“轿车”、“卡车”、“摩托车”等。
进一步的，获取所述特征提取器，步骤S410还包括：
S411：基于机器学习原理，构建所述特征提取器；
S412：获取历史异常图像信息；
S413：对所述历史异常图像信息进行特征标记，得到历史特征样本集；
S414：基于所述历史特征样本集，训练并验证，获取所述特征提取器。
特征提取器基于神经网络构建，包括多个子模型，多个子模型对应分类标记中的多个标签。特征提取器包括：输入层、激活层、分析层、全连接层，softmax层，输出层。
可选的，历史异常图像可通过图像日志、异常处理结果、异常记录等方式获取，示例性的，对于车辆出厂检测，首先，从系统或设备的监控、记录、存档等数据源中获取异常图像。接着进行数据清洗与整理，包括去除噪音、处理缺失数据、调整图像尺寸和格式等，以便后续分析和处理；而后，对历史异常图像信息进行数据标注和标记：为每个异常图像分配相应的标签或标记，包括特征类型、特征参数值、严重程度等，将多个标签或标记与多个对应的历史异常图像关联存储，得到历史特征样本集。
S500：深度融合所述目标特征集，获取目标融合特征参数集；
其中，对目标特征进行深度融合，是对获取到的多模态特征信息，相互融合增强，提高特征参数的准确性，进而确保异常识别效果。
进一步的，所述深度融合所述目标特征集，获取目标融合特征参数集，步骤S500包括：
S510：获取第一目标区域，提取第一目标区域特征参数集；
S520：对所述第一目标区域特征参数集进行数据转换，获得第一转换特征参数集；
S530：对所述第一转化特征参数集中各特征参数进行相似度分析；
S540：结合相似度分析结果，融合所述第一转化特征参数集，得到目标融合特征参数集。
其中，数据转换是指将深度图像特征、红外图像特征、白光图像特征转化为同一域上的特征，示例性的，将红外图像特征、白光图像特征的色度特征，通过梯度计算，转换为深度特征。优选的，基于一阶偏导有限差分，使用sobel算子进行梯度计算，其公式为：
and/>
其中，Gx是对水平方向求梯度值，Gy是对垂直方向求梯度值。
梯度幅值和方向计算公式如下：
可选的，基于上述图像融合处理相同的变换域的图像融合方法思路，对目标特征集中，深度图像特征、红外图像特征、白光图像特征进行深度融合，为了说明书的简洁，在此处不做重复性的展开。停放融合深度信息，提高特征参数的准确性，同时相比单一类型图像识别技术，对图像质量宽容度高。
可选的，对深度图像特征、红外图像特征、白光图像特征深度融合处理中设置相应的融合系数，进行加权融合。示例性的，首先，技术经过数据转换的深度图像特征、红外图像特征、白光图像特征的算术平均值特征；接着，基于算术平均值，分别计算深度图像特征、红外图像特征、白光图像特征与算术平均值特征的相似度，获取相似度结果。最后，根据相似度结果，确定加权融合系数。
S600：基于数字孪生原理，得到目标三维仿真模型，将目标三维仿真模型与目标标准三维模型比对，获得异常图像分析结果。
目标三维仿真模型是基于目标设备的外形参数、环境参数、融合特征参数集构建。包含目标的几何形状、结构、表面特征等信息。通过3D仿真软件能够将输入的信息转化为具体的设备模型。首先，通过输入外形参数，在三维仿真软件中生成三维仿真模型；而后，利用图像采集结果、融合特征参数集，对三维仿真模型进行细化及纹理的设置；最后，对三维仿真模型进行渲染，包括抗锯齿，透明效果和后处理等。
可选的，将目标三维仿真模型与目标标准三维模型一同输入三维仿真软件中，移动使两者原点坐标相同，分析目标三维仿真模型与目标标准三维模型差异部分，根据特征类型，标记为变形、损坏、缺陷，得到异常图像分析结果。通过三维仿真与数字孪生原理进行异常图像分析，实现对于异常图像的准确分析，并得到量化数据的技术效果。
进一步的，所述将目标三维仿真模型与目标标准三维模型比对，获得异常图像分析结果，步骤S600之前还包括：
S610：预构建标准数据库；所述标准数据库存储于云服务器；
S620：提取所述标准数据库中对应的目标三维模型，设置为目标标准三维模型。
标准数据库基于目标对象的设计资料、标准图集、标准模型构建。代表了目标设备的理想状态或预期的状态。云服务器是一种位于云端的计算设施，提供了强大的计算、存储和网络资源，用于支持各种应用和服务。允许通过互联网访问和利用这些资源，而无需自行采购、维护和管理物理硬件。提供了一种弹性的、按需分配的计算环境，能够满足不同规模和类型的应用需求，同时具有较强的抗风险能力，扩展便捷。
可选的，目标标准三维模型关联存储有标记，包括外形尺寸标记、型号标记、类别标记等，通过上述标记提取标准数据库中对应的目标三维模型，具有匹配效率高、提取准确、便于数据库管理的技术效果。
综上所述，本发明所提供的基于深度融合的异常图像识别方法具有如下技术效果：
通过所述云端处理中心，获取M个边缘节点的属性信息，包括计算能力、存储能力、网络能力，其中，M为大于1的正整数；根据目标任务的属性信息，对所述M个边缘节点进行匹配，获取N个匹配边缘节点，其中，N为正整数，且N≤M；利用节点评估模型对所述N个匹配边缘节点进行评估，获取节点评分；根据所述节点评分对所述N个匹配边缘节点进行排序并筛选，获取目标边缘节点；实时监测所述目标边缘节点的负载情况，根据所述目标边缘节点的负载情况，动态调整节点的调度策略；根据所述调度策略，完成任务的优化调度和分配。由此解决了现有技术面临的节点组织和统一管理难度大，运维成本高的技术问题。实现了动态调度边缘节点，优化任务分配和调度，进而达成提高效率实现资源的最大利用率，降低运维难度和成本的技术效果。
实施例二
基于与所述实施例中基于深度融合的异常图像识别的方法同样的构思，如图3所示，本申请还提供了基于深度融合的异常图像识别的系统，所述系统包括：
参数采集模块11，用于获取目标参数，所述目标参数包括目标外形参数及目标环境参数；
图像获取模块12，用于基于采集设备，结合所述目标参数确定采集方案，根据所述采集方案进行图像采集，获取目标图像集；
图像深度融合模块13，用于对所述目标图像集进行图像融合处理，生成融合图像集；
特征采集模块14，用于激活特征提取器，对所述融合图像集进行特征提取，形成目标特征集，其中所述目标特征集包括深度图像特征、红外图像特征、白光图像特征；
特征深度融合模块15，用于深度融合所述目标特征集，获取目标融合特征参数集；
异常分析模块16，用于基于数字孪生原理，得到目标三维仿真模型，将目标三维仿真模型与目标标准三维模型比对，获得异常图像分析结果。
进一步的，所述图像获取模块12还包括：
采集点定位单元，用于基于所述采集设备性能参数结合所述目标参数，定位采集点，形成采集点集；
任务分配单元，用于对所述采集点集进行处理，生成所述采集方案，其中，所述采集方案包括关联存储的采集点集对应的采集任务集。
进一步的，所述特征深度融合模块15还包括：
数据转换单元，用于对所述第一目标区域特征参数集进行数据转换，获得第一转换特征参数集；
相似度分析单元，用于对所述第一转化特征参数集中各特征参数进行相似度分析。
应当理解的是，本说明书中所提及的实施例重点在其与其他实施例的不同，前述实施例一中的具体实施例，同样适用于实施例二所述的基于深度融合的异常图像识别系统，为了说明书的简洁，在此不做进一步的展开。
应当理解的是，本申请所公开的实施例及上述说明，可以使得本领域的技术人员运用本申请实现本申请。同时本申请不被限制于上述所提到的这部分实施例，对本申请提到的实施例进行显而易见的修改、变种，也属于本申请原理范围之内。
Claims (8)
1.基于深度融合的异常图像识别方法，其特征在于，所述方法应用于基于深度融合的异常图像识别系统，所述系统存储于云服务器，所述方法包括：
获取目标参数，所述目标参数包括目标外形参数及目标环境参数；
基于采集设备，结合所述目标参数确定采集方案，根据所述采集方案进行图像采集，获取目标图像集；
对所述目标图像集进行图像融合处理，生成融合图像集；
激活特征提取器，对所述融合图像集进行特征提取，形成目标特征集，其中所述目标特征集包括深度图像特征、红外图像特征、白光图像特征；
深度融合所述目标特征集，获取目标融合特征参数集；
基于数字孪生原理，得到目标三维仿真模型，将目标三维仿真模型与目标标准三维模型比对，获得异常图像分析结果。
2.根据权利要求1所述方法，其特征在于，基于采集设备，结合所述目标参数确定采集方案，包括：
获取采集设备性能参数；
基于所述采集设备性能参数结合所述目标参数，定位采集点，形成采集点集；
激活任务分配器，对所述采集点集进行处理，生成所述采集方案，其中，所述采集方案包括关联存储的采集点集对应的采集任务集。
3.根据权利要求2所述方法，其特征在于，对所述目标图像集进行图像融合处理，生成融合图像集，包括：
对高频分量与低频分量重采样成一致的空间分辨率后，实施标准的空间配准；
将所述低频分量在RGB空间中自适应地变换至HIS空间，使低频分量能够与RGB空间自动适应，获取强度(S)、色调(D)以及饱和度(B)；
对所述高频分量与所述低频分量的S分量实施直方图匹配，使二者存在一致的均值和方差；
对匹配后的所述高频分量与所述低频分量的S分量依次实施小波分解，所述低频分量和所述高频分量按照局部小波系数特征融合准则实施转换；
将转换后的所述低频分量与每层所述高频分量实施逆转换获取S’；
将所述色调(D)以及所述饱和度(B)分别实施HIS逆转换获取融合结果，生成所述融合图像集。
4.根据权利要求3所述方法，其特征在于，激活特征提取器，对所述融合图像集进行特征提取，形成目标特征集，包括：
获取所述特征提取器；
对所述融合图像集进行分类标记，获得标记图像集；
基于所述特征提取器，对所述标记图像集进行特征提取，获得目标特征集。
5.根据权利要求4所述方法，其特征在于，获取所述特征提取器，还包括：
基于机器学习原理，构建所述特征提取器；
获取历史异常图像信息；
对所述历史异常图像信息进行特征标记，得到历史特征样本集；
基于所述历史特征样本集，训练并验证，获取所述特征提取器。
6.根据权利要求5所述方法，其特征在于，深度融合所述目标特征集，获取目标融合特征参数集，包括：
获取第一目标区域，提取第一目标区域特征参数集；
对所述第一目标区域特征参数集进行数据转换，获得第一转换特征参数集；
对所述第一转化特征参数集中各特征参数进行相似度分析；
结合相似度分析结果，融合所述第一转化特征参数集，得到目标融合特征参数集。
7.根据权利要求6所述方法，其特征在于，将目标三维仿真模型与目标标准三维模型比对，获得异常图像分析结果，之前还包括：
预构建标准数据库；所述标准数据库存储于云服务器；
提取所述标准数据库中对应的目标三维模型，设置为目标标准三维模型。
8.基于深度融合的异常图像识别系统，其特征在于，所述系统包括：
参数采集模块，所述参数采集模块用于获取目标参数，所述目标参数包括目标外形参数及目标环境参数；
图像获取模块，所述图像获取模块用于基于采集设备，结合所述目标参数确定采集方案，根据所述采集方案进行图像采集，获取目标图像集；
图像深度融合模块，所述图像融合模块用于对所述目标图像集进行图像融合处理，生成融合图像集；
特征采集模块，所述特征采集模块用于激活特征提取器，对所述融合图像集进行特征提取，形成目标特征集，其中所述目标特征集包括深度图像特征、红外图像特征、白光图像特征；
特征深度融合模块，所述特征深度融合模块用于深度融合所述目标特征集，获取目标融合特征参数集；
异常分析模块，所述异常分析模块用于基于数字孪生原理，得到目标三维仿真模型，将目标三维仿真模型与目标标准三维模型比对，获得异常图像分析结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311149062.4A CN117456195A (zh) | 2023-09-07 | 2023-09-07 | 基于深度融合的异常图像识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311149062.4A CN117456195A (zh) | 2023-09-07 | 2023-09-07 | 基于深度融合的异常图像识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117456195A true CN117456195A (zh) | 2024-01-26 |
Family
ID=89582427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311149062.4A Pending CN117456195A (zh) | 2023-09-07 | 2023-09-07 | 基于深度融合的异常图像识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117456195A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118310970A (zh) * | 2024-06-11 | 2024-07-09 | 太原理工大学 | 一种机械设备表面缺陷检测方法及系统 |
| CN118379436A (zh) * | 2024-06-21 | 2024-07-23 | 云士康（深圳）智能科技有限公司 | 三维虚拟场景的生成方法、装置、设备及存储介质 |
-
2023
- 2023-09-07 CN CN202311149062.4A patent/CN117456195A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118310970A (zh) * | 2024-06-11 | 2024-07-09 | 太原理工大学 | 一种机械设备表面缺陷检测方法及系统 |
| CN118379436A (zh) * | 2024-06-21 | 2024-07-23 | 云士康（深圳）智能科技有限公司 | 三维虚拟场景的生成方法、装置、设备及存储介质 |
| CN118379436B (zh) * | 2024-06-21 | 2024-08-16 | 云士康（深圳）智能科技有限公司 | 三维虚拟场景的生成方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6305171B2 (ja) | シーン内の物体を検出する方法 | |
| CN110033431B (zh) | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 | |
| CN117456195A (zh) | 基于深度融合的异常图像识别方法及系统 | |
| JP7292979B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN111739003B (zh) | 一种用于外观检测的机器视觉方法 | |
| CN113033385A (zh) | 一种基于深度学习的违章建筑遥感识别方法及系统 | |
| CN113970560B (zh) | 一种基于多传感融合的缺陷三维检测方法 | |
| WO2022153305A1 (en) | Systems and methods for hue based encoding of a digital image | |
| CN116843611A (zh) | 一种基于差分和图神经网络的五金表面瑕疵检测系统 | |
| CN107301421A (zh) | 车辆颜色的识别方法及装置 | |
| CN109241932B (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
| CN118334016B (zh) | 一种公路工程施工质量检测方法 | |
| Qiu et al. | Perception-oriented UAV Image Dehazing Based on Super-Pixel Scene Prior | |
| CN118032789B (zh) | 基于机器视觉的手表外壳表面检测系统及方法 | |
| CN116665051B (zh) | 基于rgb图像重建高光谱图像的垃圾中金属再筛选方法 | |
| CN116977341B (zh) | 一种尺寸测量方法及相关装置 | |
| CN108960285B (zh) | 一种分类模型生成方法、舌体图像分类方法及装置 | |
| US20240265616A1 (en) | Texture mapping to polygonal models for industrial inspections | |
| CN110333185B (zh) | 材质检测方法 | |
| Lin et al. | Towards automated remote sizing and hot steel manufacturing with image registration and fusion | |
| Zhao et al. | Infrared and visible imagery fusion based on region saliency detection for 24-hour-surveillance systems | |
| CN112348823A (zh) | 一种面向对象的高分辨率遥感影像分割算法 | |
| JP2009205695A (ja) | 対象個数検出装置および対象個数検出方法 | |
| CN118644483B (zh) | 一种柔性电路板瑕疵检测方法及系统 | |
| CN117589065B (zh) | 一种针对异形轴接口尺寸的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |