CN116612076B - 基于联合孪生神经网络的机舱微小划痕检测方法 - Google Patents
基于联合孪生神经网络的机舱微小划痕检测方法 Download PDFInfo
- Publication number
- CN116612076B CN116612076B CN202310477398.7A CN202310477398A CN116612076B CN 116612076 B CN116612076 B CN 116612076B CN 202310477398 A CN202310477398 A CN 202310477398A CN 116612076 B CN116612076 B CN 116612076B
- Authority
- CN
- China
- Prior art keywords
- neural network
- data
- residual
- loss
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 26
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000005299 abrasion Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于联合孪生神经网络的机舱微小划痕检测方法，包括以下步骤：数据预处理；构建联合孪生网络；利用预处理得到的数据训练得到性能良好的网络模型。对于微小划痕有较强的检测能力，在数据集采集层面和数据预处理层面解决了因数据量不足而不能得到较高性能的模型，有利于神经网络解决数据中微小划痕样本过少所导致的数据不平衡的问题。在神经网络结构设计上提出的联合孪生神经网络，对于特征提取的质量具有较为明显的改善；在训练过程中设计的目标函数，通过权重交叉熵损失和正则化项的处理，进一步应对数据集中正负样本数量不平衡的问题，提高模型对样本数较少的类别的分类性能。
Description
技术领域
本发明涉及机舱微小划痕检测技术领域，更具体地说，它涉及一种基于联合孪生神经网络的机舱微小划痕检测方法。
背景技术
机舱微小划痕检测是保障飞机安全和性能的重要措施之一，为了检测机身表面的微小划痕和磨损程度，航空公司和维修人员可以使用多种技术和方法，包括光学显微镜、激光干涉仪、红外热成像、非破坏性检测技术和人工智能技术，这些技术和方法各有优缺点，但综合使用可以提高检测效率和准确性，确保飞机表面的完整性和性能，最终保障飞行安全。然而，目前借助密集人工劳动的检测技术存在着人力成本高，检测效率低和检测质量差等问，而随着人工智能和深度学习技术的发展，许多航空公司开始使用机器学习和计算机视觉技术来检测微小划痕和磨损。通过训练神经网络，这些系统可以自动识别和分类表面缺陷，从而提高检测效率和准确性。人工智能作为一项优秀的技术，如果能够在机舱微小划痕检测领域得到应用和推广，将能够创造出极大的价值。
总体而言，当前利用深度学习解决机舱微小划痕检测问题存在以下困难：(1)数据量不足，深度学习需要大量的数据进行训练，但是机舱微小划痕数据难以获取，导致数据量相对较小，不足以训练一个具有较高准确性的模型；(2)数据不均衡，机舱微小划痕的种类繁多，不同种类的划痕数量不同，导致数据不均衡，影响模型的训练和性能；(3)特征提取困难，机舱微小划痕是一种比较细小的缺陷，因此需要对图像进行高质量的特征提取才能准确识别，这对模型的设计和优化提出了更高的要求。因此迫切需要设计一种能够适应复杂背景干扰和数据中所存在的问题的新方法，以实现对于机舱微小划痕的准确检测。
发明内容
本发明要解决的技术问题在于提供一种基于联合孪生神经网络的机舱微小划痕检测方法，解决了现有机舱微小划痕检测领域中因数据量不足而不能得到具有较高性能的模型、数据中微小划痕样本过少所导致的数据不平衡及不能够有效提取机舱微小划痕所对应的特征等问题。
为了解决上述技术问题，本发明通过以下方式来实现：
基于联合孪生神经网络的机舱微小划痕检测方法，包括以下步骤：
S1、数据预处理；
S2、构建联合孪生神经网络；
S3、利用预处理得到的数据训练得到性能良好的神经网络模型。
进一步地，所述步骤S1数据预处理具体包括以下步骤：
S11、通过光学显微镜在实际场景中采集得到数据集，为了保证数据端正负样本的平衡，对于采集的数据集样本以扩充方式增加微小划痕所占比例；
S12、以Lanczos插值的方式将步骤S11中采集得到的数据集图像大小调整为512×512；
S13、将以扩充方式获取得到的数据集进行旋转、平移、缩放和加噪，增加样本数量和多样性，提高模型的泛化能力。
进一步地，所述步骤S2中神经网络的整体结构是针对机舱微小划痕检测的联合孪生神经网络，其具体包括残差结构模块RM、联合孪生注意力模块和多视图自注意力机制模块；所述残差结构模块和联合孪生注意力模块均是多个堆叠在一起的模块，形成不同层次的特征提取器和分类器，每个残差结构模块中含有多个相同残差单元，所述残差单元通过堆叠卷积层和激活函数组成，用于提取并强化特征，每个残差单元都与前一个残差单元相连，以形成深度学习中的残差连接；联合孪生注意力模块包含了两个残差结构模块输入，其利用注意力机制用于精细地聚焦图像的关键区域。
优选的，所述残差结构模块RM，包括采集局部特征并转化通道的输入层、多尺度编码分析的U型结构层和融合输出层；所述U型结构层左半部分为编码结构，通过卷积处理得到多尺度的特征，并利用下采样方法增大感受野，其右半部分为解码结构，通过上采样将特征进行编码为高分辨率的特征图，其中间部分通过跳跃结构将编码结构与解码结构进行级联；
所述联合孪生注意力模块在解码阶段的残差结构模块RM上，进行上采样时引入的通道空间注意力机制，进而增强模型对感兴趣特征的处理能力；所述多视图自注意力机制模块在输出时对于不同尺度的特征采取的自注意力，将多个视图层面的特征进行融合，以更充分地利用提取得到的特征。
进一步地，所述步骤S3具体包括以下步骤：
S31、从预处理后的数据集中选取N＝32个样本作为一个batch；
S32、将步骤S31的每个batch中数据进行裁剪、缩放和拼接，以构建出适用于神经网络训练的batch数据；
S33、设置自监督学习中训练的学习率为5×10-4，神经网络参数更新算法为Adam；
S34、训练过程中目标函数的损失包括像素值损失和权重交叉熵损失，其目标函数损失的计算公式为：
其中，表示模型的目标函数损失，/>表示权重交叉熵函数损失，/>表示像素值函数损失，α表示超参数，其超参数α设置为1.5；
所述像素值函数损失的计算公式为：
其中，F(x)表示联合孪生神经网络的输入，xGT表示经过精心标注的二值化的微小划痕掩膜；
所述权重交叉熵函数损失的计算公式为：
其中，N表示样本总数，C表示类别数，Wc表示第c个类别的权重因子，yi，c表示第i个样本属于第c个类别的标签，pi，c表示第i个样本属于第c个类别的概率；
S35、在训练过程中对神经网络的参数进行L1正则化方式处理，其计算公式为：
其中，λ表示L1正则化项占总损失的比重，其值设置为0.15，θi表示神经网络中不断优化的参数；
S36、神经网络共经过多轮的训练，最终的算法性能以检测微小划痕的准确率和召回率作为评价指标。
与现有技术相比，本发明具有的有益效果：
对于微小划痕有较强的检测能力，在数据集采集层面和数据预处理层面有效地解决了因数据量不足而不能得到较高性能的模型，有利于神经网络解决数据中微小划痕样本过少所导致的数据不平衡的问题。在神经网络结构设计上提出的联合孪生神经网络，对于特征提取的质量具有较为明显的改善；在训练过程中设计的目标函数，通过权重交叉熵损失和正则化项的处理，进一步应对数据集中正负样本数量不平衡的问题，提高模型对样本数较少的类别的分类性能。
附图说明
图1为本发明的微小划痕检测方法流程图：
图2为本发明的微小划痕检测方法神经网络结构图：
图3为本发明的残差结构模块RM结构图。
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式作进一步详细的说明。
如图1～3所示，基于联合孪生神经网络的机舱微小划痕检测方法，包括以下步骤：
S1、数据预处理，具体包括以下步骤：
S11、通过光学显微镜在实际场景中采集得到数据集，为了保证数据端正负样本的平衡，对于采集的数据集样本以扩充方式增加微小划痕所占比例；
S12、以Lanczos插值的方式将步骤S11中采集得到的数据集图像大小调整为512×512，Lanczos插值是基于一个Lanczos核函数对源图像进行卷积的插值方法，通过对卷积结果进行采样来估计目标像素的值；
S13、将以扩充方式获取得到的数据集进行旋转、平移、缩放和加噪，以增加样本数量和多样性，提高模型的泛化能力。
在目标检测任务中，负样本是指不包含要检测目标物的图像区域，在训练模型时，模型往往需要同时学习如何检测目标和如何排除非目标区域，负样本相当于是提供给模型的背景图像，用来训练模型对目标区域进行正确的分类。通常情况下，负样本的数量多于正样本，通过使用大量的负样本，提高模型的识别准确率；通过复制扩充的方式扩充正样本(含有微小划痕图像)所占的比例，从而使得正样本和负样本达到比例近似平衡的状态。
当输入给神经网络用于训练的样本图像的尺寸不一致时，神经网络容易出现不稳定的现象，以Lanczos插值的方式调整图像的大小有利于改善神经网络的稳定性，减少图像中的噪声和不相关的信息，从而提高模型对于真实信息的学习能力；对训练集进行一系列处理将有利于提高神经网络算法的适应性，并期望解决之前的方法所不能解决的实际场景中效果不理想的问题。
S2、构建联合孪生神经网络；
如图2～3所示，神经网络的整体结构是针对机舱微小划痕检测的联合孪生神经网络，其具体包括残差结构模块RM、联合孪生注意力模块和多视图自注意力机制模块；所述残差结构模块和联合孪生注意力模块均是多个堆叠在一起的模块，形成不同层次的特征提取器和分类器，具体来说，每个残差结构模块中含有多个相同残差单元，所述残差单元通过堆叠卷积层和激活函数组成，用于提取并强化特征，每个残差单元都与前一个残差单元相连，以形成深度学习中的残差连接，可有效避免网络深度过大而导致梯度消失问题，每个残差结构模块都具有相同的结构，用于从输入多角度特征中提取信息；联合孪生注意力模块包含了两个残差结构模块输入，它们高度相似但具有不同的权重，用于从两个视角获得不同的信息，联合孪生注意力模块利用注意力机制用于精细地聚焦图像的关键区域。
所述残差结构模块RM，包括采集局部特征并转化通道的输入层、多尺度编码分析的U型结构层和融合输出层；所述U型结构层左半部分为编码结构，通过卷积处理得到多尺度的特征，并利用下采样方法增大感受野，其右半部分为解码结构，通过上采样将特征进行编码为高分辨率的特征图，其中间部分通过跳跃结构将编码结构与解码结构进行级联；
所述联合孪生注意力模块在解码阶段的残差结构模块RM上，进行上采样时引入的通道空间注意力机制，进而增强模型对感兴趣特征的处理能力；所述多视图自注意力机制模块在输出时对于不同尺度的特征采取的自注意力，将多个视图层面的特征进行融合，以更充分地利用提取得到的特征。
残差结构模块RM中引入了跨层连接，使得梯度更加顺畅地传递，从而缓解梯度消失和梯度爆炸问题；联合孪生注意力模块的使用减少模型对于输入中不相关信息的关注，提高模型的泛化能力，帮助模型学习到更具有普适性的特征，从而提高模型在新数据上的表现；多视图自注意力机制模块可以在不同位置上对输入进行加权，从而突出输入中重要的信息，帮助神经网络更好地捕捉输入的关键特征，提高网络的性能；良好的模型结构设计有利于提取机舱微小划痕所对应的特征的问题。
S3、利用预处理得到的数据训练得到性能良好的神经网络模型，具体包括以下步骤：
S31、从预处理后的数据集中选取N＝32个样本作为一个batch；
S32、将步骤S31的每个batch中数据进行裁剪、缩放和拼接，以构建出适用于神经网络训练的batch数据；
S33、设置自监督学习中训练的学习率为5×10-4，神经网络参数更新算法为Adam；
S34、训练过程中目标函数的损失包括像素值损失和权重交叉熵损失，其目标函数损失的计算公式为：
其中，表示模型的目标函数损失，/>表示权重交叉熵函数损失，/>表示像素值函数损失，α表示超参数，其超参数α设置为1.5；
所述像素值函数损失的计算公式为：
其中，F(·)表示联合孪生神经网络，x是输入图像，F(x)表示联合孪生神经网络的输入，xGT表示经过精心标注的二值化的微小划痕掩膜；
所述权重交叉熵函数损失的计算公式为：
其中，N表示样本总数，C表示类别数，Wc表示第c个类别的权重因子，yi，c表示第i个样本属于第c个类别的标签(0表示负样本，1表示正样本)，pi，c表示第i个样本属于第c个类别的概率；
S35、在训练过程中对神经网络的参数进行L1正则化方式处理，其计算公式为：
其中，λ表示L1正则化项占总损失的比重，其值设置为0.15，θi表示神经网络中不断优化的参数，θ是神经网络的总参数；
S36、神经网络共经过多轮的训练，最终的算法性能以检测微小划痕的准确率和召回率作为评价指标。
以上所述仅是本发明的实施方式，再次声明，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进，这些改进也列入本发明权利要求的保护范围内。
Claims (2)
1.基于联合孪生神经网络的机舱微小划痕检测方法，其特征在于：包括以下步骤：
S1、数据预处理；
S2、构建联合孪生神经网络；
S3、利用预处理得到的数据训练得到性能良好的神经网络模型；
所述步骤S2中神经网络的整体结构是针对机舱微小划痕检测的联合孪生神经网络，其具体包括残差结构模块RM、联合孪生注意力模块和多视图自注意力机制模块；所述残差结构模块和联合孪生注意力模块均是多个堆叠在一起的模块，形成不同层次的特征提取器和分类器，每个残差结构模块中含有多个相同残差单元，所述残差单元通过堆叠卷积层和激活函数组成，用于提取并强化特征，每个残差单元都与前一个残差单元相连，以形成深度学习中的残差连接；联合孪生注意力模块包含了两个残差结构模块输入，其利用注意力机制用于精细地聚焦图像的关键区域；
所述残差结构模块RM，包括采集局部特征并转化通道的输入层、多尺度编码分析的U型结构层和融合输出层；所述U型结构层左半部分为编码结构，通过卷积处理得到多尺度的特征，并利用下采样方法增大感受野，其右半部分为解码结构，通过上采样将特征进行编码为高分辨率的特征图，其中间部分通过跳跃结构将编码结构与解码结构进行级联；
所述联合孪生注意力模块在解码阶段的残差结构模块RM上，进行上采样时引入的通道空间注意力机制，进而增强模型对感兴趣特征的处理能力；所述多视图自注意力机制模块在输出时对于不同尺度的特征采取的自注意力，将多个视图层面的特征进行融合，以更充分地利用提取得到的特征；
所述步骤S3具体包括以下步骤：
S31、从预处理后的数据集中选取N＝32个样本作为一个batch；
S32、将步骤S31的每个batch中数据进行裁剪、缩放和拼接，以构建出适用于神经网络训练的batch数据；
S33、设置自监督学习中训练的学习率为5×10-4，神经网络参数更新算法为Adam；
S34、训练过程中目标函数的损失包括像素值损失和权重交叉熵损失，其目标函数损失的计算公式为：
其中，表示模型的目标函数损失，/>表示权重交叉熵函数损失，/>表示像素值函数损失，α表示超参数，其超参数α设置为1.5；
所述像素值函数损失的计算公式为：
其中，F(x)表示联合孪生神经网络的输入，xGT表示经过精心标注的二值化的微小划痕掩膜；
所述权重交叉熵函数损失的计算公式为：
其中，N表示样本总数，C表示类别数，wc表示第c个类别的权重因子，yi，c表示第i个样本属于第c个类别的标签，pi，c表示第i个样本属于第c个类别的概率；
S35、在训练过程中对神经网络的参数进行L1正则化方式处理，其计算公式为：
其中，λ表示L1正则化项占总损失的比重，其值设置为0.15，θi表示神经网络中不断优化的参数；
S36、神经网络共经过多轮的训练，最终的算法性能以检测微小划痕的准确率和召回率作为评价指标。
2.如权利要求1所述的基于联合孪生神经网络的机舱微小划痕检测方法，其特征在于：
所述步骤S1数据预处理具体包括以下步骤：
S11、通过光学显微镜在实际场景中采集得到数据集，为了保证数据端正负样本的平衡，对于采集的数据集样本以人为的方式增加微小划痕所占比例；
S12、以Lanczos插值的方式将步骤S11中采集得到的数据集图像大小调整为512×512；
S13、将以扩充方式获取得到的数据集进行旋转、平移、缩放和加噪，增加样本数量和多样性，提高模型的泛化能力。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310477398.7A CN116612076B (zh) | 2023-04-28 | 2023-04-28 | 基于联合孪生神经网络的机舱微小划痕检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310477398.7A CN116612076B (zh) | 2023-04-28 | 2023-04-28 | 基于联合孪生神经网络的机舱微小划痕检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116612076A CN116612076A (zh) | 2023-08-18 |
| CN116612076B true CN116612076B (zh) | 2024-01-30 |
Family
ID=87673812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310477398.7A Active CN116612076B (zh) | 2023-04-28 | 2023-04-28 | 基于联合孪生神经网络的机舱微小划痕检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116612076B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017182A (zh) * | 2020-10-22 | 2020-12-01 | 北京中鼎高科自动化技术有限公司 | 一种工业级智能表面缺陷检测方法 |
| CN112465790A (zh) * | 2020-12-03 | 2021-03-09 | 天津大学 | 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法 |
| CN112598658A (zh) * | 2020-12-29 | 2021-04-02 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 基于轻量级孪生卷积神经网络的病识别方法 |
| CN112819762A (zh) * | 2021-01-22 | 2021-05-18 | 南京邮电大学 | 一种基于伪孪生密集连接注意力机制的路面裂缝检测方法 |
| CN113065645A (zh) * | 2021-04-30 | 2021-07-02 | 华为技术有限公司 | 孪生注意力网络、图像处理方法和装置 |
| CN113420662A (zh) * | 2021-06-23 | 2021-09-21 | 西安电子科技大学 | 基于孪生多尺度差异特征融合的遥感影像变化检测方法 |
| CN114418956A (zh) * | 2021-12-24 | 2022-04-29 | 国网陕西省电力公司电力科学研究院 | 一种变电站关键电气设备的变化检测方法及系统 |
| WO2022099600A1 (en) * | 2020-11-13 | 2022-05-19 | Intel Corporation | Method and system of image hashing object detection for image processing |
| CN114708496A (zh) * | 2022-03-10 | 2022-07-05 | 三峡大学 | 一种基于改进空间池化金字塔的遥感变化检测方法 |
| WO2022154471A1 (en) * | 2021-01-12 | 2022-07-21 | Samsung Electronics Co., Ltd. | Image processing method, image processing apparatus, electronic device and computer-readable storage medium |
| CN115797694A (zh) * | 2022-12-06 | 2023-03-14 | 哈尔滨工业大学 | 基于多尺度孪生神经网络的显示面板微缺陷分类方法 |
-
2023
- 2023-04-28 CN CN202310477398.7A patent/CN116612076B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017182A (zh) * | 2020-10-22 | 2020-12-01 | 北京中鼎高科自动化技术有限公司 | 一种工业级智能表面缺陷检测方法 |
| WO2022099600A1 (en) * | 2020-11-13 | 2022-05-19 | Intel Corporation | Method and system of image hashing object detection for image processing |
| CN112465790A (zh) * | 2020-12-03 | 2021-03-09 | 天津大学 | 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法 |
| CN112598658A (zh) * | 2020-12-29 | 2021-04-02 | 哈尔滨工业大学芜湖机器人产业技术研究院 | 基于轻量级孪生卷积神经网络的病识别方法 |
| WO2022154471A1 (en) * | 2021-01-12 | 2022-07-21 | Samsung Electronics Co., Ltd. | Image processing method, image processing apparatus, electronic device and computer-readable storage medium |
| CN112819762A (zh) * | 2021-01-22 | 2021-05-18 | 南京邮电大学 | 一种基于伪孪生密集连接注意力机制的路面裂缝检测方法 |
| CN113065645A (zh) * | 2021-04-30 | 2021-07-02 | 华为技术有限公司 | 孪生注意力网络、图像处理方法和装置 |
| CN113420662A (zh) * | 2021-06-23 | 2021-09-21 | 西安电子科技大学 | 基于孪生多尺度差异特征融合的遥感影像变化检测方法 |
| CN114418956A (zh) * | 2021-12-24 | 2022-04-29 | 国网陕西省电力公司电力科学研究院 | 一种变电站关键电气设备的变化检测方法及系统 |
| CN114708496A (zh) * | 2022-03-10 | 2022-07-05 | 三峡大学 | 一种基于改进空间池化金字塔的遥感变化检测方法 |
| CN115797694A (zh) * | 2022-12-06 | 2023-03-14 | 哈尔滨工业大学 | 基于多尺度孪生神经网络的显示面板微缺陷分类方法 |
Non-Patent Citations (4)
| Title |
|---|
| A Method for Classification of Surface Defect on Metal Workpieces Based on Twin Attention Mechanism Generative Adversarial Network;Jinghua Hu等;IEEE Sensors Journal;第21卷(第12期);第13430-13441页 * |
| 基于孪生网络的表征优化自监督医学影像分割研究;钟颖;中国优秀硕士学位论文全文数据库 医药卫生科技辑(第1期);第E060-62页 * |
| 基于改进深度孪生网络的分类器及其应用;沈雁等;计算机工程与应用(第10期);第24-30页 * |
| 基于通道注意力与残差卷积神经网络的变压器故障诊断;王陈恩等;黑龙江电力;第44卷(第1期);第68-74页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116612076A (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368690B (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
| CN113486865B (zh) | 一种基于深度学习的输电线路悬挂异物目标检测方法 | |
| CN115294038A (zh) | 一种基于联合优化与混合注意力特征融合的缺陷检测方法 | |
| CN110610475B (zh) | 一种深度卷积神经网络的视觉缺陷检测方法 | |
| CN109376591B (zh) | 深度学习特征与视觉特征联合训练的船只目标检测方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN112102229A (zh) | 一种基于深度学习的工业ct检测缺陷的智能识别方法 | |
| CN111222519B (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
| CN111768388A (zh) | 一种基于正样本参考的产品表面缺陷检测方法及系统 | |
| CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN112633382A (zh) | 一种基于互近邻的少样本图像分类方法及系统 | |
| CN116485717B (zh) | 一种基于像素级深度学习的混凝土坝表面裂缝检测方法 | |
| CN111382785A (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
| CN114862838A (zh) | 基于无监督学习的缺陷检测方法及设备 | |
| CN115953666B (zh) | 一种基于改进Mask-RCNN的变电站现场进度识别方法 | |
| CN111223087B (zh) | 一种基于生成对抗网络的桥梁裂缝自动检测方法 | |
| CN113837994B (zh) | 一种基于边缘检测卷积神经网络的光伏板缺陷诊断方法 | |
| CN114973032A (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
| CN110599459A (zh) | 基于深度学习的地下管网风险评估云系统 | |
| CN116612106A (zh) | 一种基于yolox算法的光学元件表面缺陷检测方法 | |
| CN109919921B (zh) | 基于生成对抗网络的环境影响程度建模方法 | |
| CN115170816A (zh) | 多尺度特征提取系统、方法和风机桨叶缺陷检测方法 | |
| CN117372410A (zh) | 铝合金铸件的表面图像识别方法及其系统 | |
| CN114549489A (zh) | 一种面向雕花口红质检的实例分割缺陷检测方法 | |
| CN116612076B (zh) | 基于联合孪生神经网络的机舱微小划痕检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |