CN115830403B - 一种基于深度学习的自动缺陷分类系统及方法 - Google Patents
一种基于深度学习的自动缺陷分类系统及方法 Download PDFInfo
- Publication number
- CN115830403B CN115830403B CN202310145818.1A CN202310145818A CN115830403B CN 115830403 B CN115830403 B CN 115830403B CN 202310145818 A CN202310145818 A CN 202310145818A CN 115830403 B CN115830403 B CN 115830403B
- Authority
- CN
- China
- Prior art keywords
- defect
- data set
- image data
- classification
- defect image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 627
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000013145 classification model Methods 0.000 claims abstract description 78
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 230000003287 optical effect Effects 0.000 claims abstract description 40
- 238000012360 testing method Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000004519 manufacturing process Methods 0.000 claims abstract description 25
- 238000003062 neural network model Methods 0.000 claims abstract description 8
- 238000012216 screening Methods 0.000 claims description 95
- 238000012545 processing Methods 0.000 claims description 71
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 12
- 230000008439 repair process Effects 0.000 claims description 8
- 230000010485 coping Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000007405 data analysis Methods 0.000 abstract 2
- 230000009286 beneficial effect Effects 0.000 description 10
- 230000004913 activation Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于深度学习的自动缺陷分类系统及方法，其系统包括数据获取模块，用于基于大数据平台获取自动光学检测设备的缺陷图像数据集；分类模型测试模块，用于基于预设的深度神经网络模型，对缺陷图像数据集进行分类模型训练和测试；缺陷分类判定模块，用于获取自动光学检测设备的待测图像数据集，利用分类模型进行分类判定。本发明以深度学习算法为核心技术，对输入的缺陷图片进行缺陷提取和分类，用于替代人工，对工厂生产线上自动光学检测设备的缺陷检测结果进行二次复判，可有效节省人力，提高产品的优良率。
Description
技术领域
本发明涉及机器视觉自动分类技术领域，尤其涉及一种基于深度学习的自动缺陷分类系统及方法。
背景技术
工厂生产线上自动光学检测设备，其结构和制程复杂，会存在大量多种类的微小缺陷；在进行下一步工序前必须对产品进行缺陷检测，对不合格产品进行淘汰，对可修复缺陷进行修复；若产品缺陷问题没有被检出，流入下一个环节，会造成批量报废，导致更大的经济损失。
通过人工识别产品缺陷不但效率低、耗时多，还会出现漏检、误检问题，影响缺陷的分类识别效率和准确度；传统的分类方法无法实现精确多分类的分类效果；并且人工目检响应速度滞后，异常无法及时反馈，可修复组件无法及时得到修复，会导致产品良率损失及维修机台产能损失，严重影响工厂的生产效益。
因此，有必要提供一种基于深度学习的自动缺陷分类系统及方法。
发明内容
本发明提供了一种基于深度学习的自动缺陷分类系统及方法，以深度学习算法为核心技术，对输入的缺陷图片进行缺陷提取和分类，用于替代人工，对工厂生产线上自动光学检测设备的缺陷检测结果进行二次复判，可有效节省人力，提高产品的优良率。
本发明提供了一种基于深度学习的自动缺陷分类系统，包括：
数据获取模块，用于基于大数据平台获取自动光学检测设备的缺陷图像数据集，经筛选、标注和定级后，生成缺陷图像数据集；
分类模型测试模块，用于基于预设的深度神经网络模型，对缺陷图像数据集进行分类模型训练和测试；
缺陷分类判定模块，用于获取自动光学检测设备的待测图像数据集，利用历史误判缺陷数据集进行匹配初筛，并根据缺陷影响度进行二次判定，获得确定缺陷图像数据集后，利用分类模型进行分类。
进一步地，数据获取模块包括数据筛选单元、数据标注单元和数据处理单元；
数据筛选单元，用于基于大数据平台，按照普遍筛选若干幅不同类型对应的缺陷图像、在单一类型中随机挑选若干幅单一类型图像、在单一类型图像中选取若干幅典型特征图像的顺序，筛选获得自动光学检测设备的初筛缺陷图像数据集；
数据标注单元，用于对初筛缺陷图像数据集中的缺陷图像标注缺陷区域、缺陷轮廓、缺陷特征和缺陷等级，并生成缺陷标签；
数据处理单元，用于对标注后的初筛缺陷图像数据集进行图像处理，按照缺陷标签，基于缺陷等级进行排序，生成缺陷图像数据集。
进一步地，分类模型测试模块包括模型设置单元和模型训练测试单元；
模型设置单元，用于设置分类模型的相关参数；
模型训练测试单元，用于将缺陷图像数据集中的数据输入到分类模型中进行模型训练，将分类模型输出的分类结果与预设的分类项进行分析对比，获得分类模型的分类误差值，根据分类误差值调整分类模型的参数权重值，当分类误差值达到预设的分类误差值阈值时，完成分类模型的训练测试。
进一步地，缺陷分类判定模块包括缺陷初筛单元、缺陷预判单元和缺陷分类单元；
缺陷初筛单元，用于基于预设的初筛分类模型对获取的自动光学检测设备的待测图像数据集进行初筛分类，获得确定缺陷图像数据集和待定缺陷图像数据集；
缺陷预判单元，用于基于预设的评估规则对待定缺陷图像数据集进行图像再分类，获得第一确定缺陷图像数据集和非缺陷图像数据集；
缺陷分类单元，用于对确定缺陷图像数据集和第一确定缺陷图像数据集中的图像进行分类判定，获得缺陷分类结果。
进一步地，缺陷预判单元包括缺陷评估子单元和缺陷预判子单元；
缺陷评估子单元，用于基于历史误判缺陷数据集对待定缺陷图像数据集进行图像匹配，若匹配通过，则获得非缺陷图像数据集，并将剩余图像数据设为第一待定缺陷图像数据集；
缺陷预判子单元，用于基于缺陷图像的特征与完整图像的特征差异大小，以及缺陷图像的特征占确定缺陷图像的特征的比例大小，设置图像的缺陷影响度；基于缺陷影响度对第一待定缺陷图像数据集进行缺陷影响度判定，若缺陷影响度大于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入第一确定缺陷图像数据集，若缺陷影响度小于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入非缺陷图像数据集。
一种基于深度学习的自动缺陷分类方法，包括：
S1：基于大数据平台获取自动光学检测设备的缺陷图像数据集，经筛选、标注和定级后，生成缺陷图像数据集；
S2：基于预设的深度神经网络模型，对缺陷图像数据集进行分类模型训练和测试；
S3：获取自动光学检测设备的待测图像数据集，利用历史误判缺陷数据集进行匹配初筛，并根据缺陷影响度进行二次判定，获得确定缺陷图像数据集后，利用分类模型进行分类。
进一步地，S1包括：
S101：基于大数据平台，按照普遍筛选若干幅不同类型对应的缺陷图像、在单一类型中随机挑选若干幅单一类型图像、在单一类型图像中选取若干幅典型特征图像的顺序，筛选获得自动光学检测设备的初筛缺陷图像数据集；
S102：对初筛缺陷图像数据集中的缺陷图像标注缺陷区域、缺陷轮廓、缺陷特征和缺陷等级，并生成缺陷标签；
S103：对标注后的初筛缺陷图像数据集进行图像处理，按照缺陷标签，基于缺陷等级进行排序，生成缺陷图像数据集。
S2包括：
S201：设置分类模型的相关参数；
S202：将缺陷图像数据集中的数据输入到分类模型中进行模型训练，将分类模型输出的分类结果与预设的分类项进行分析对比，获得分类模型的分类误差值，根据分类误差值调整分类模型的参数权重值，当分类误差值达到预设的分类误差值阈值时，完成分类模型的训练测试。
进一步地，S3包括：
S301：基于预设的初筛分类模型对获取的自动光学检测设备的待测图像数据集进行初筛分类，获得确定缺陷图像数据集和待定缺陷图像数据集；
S302：基于预设的评估规则对待定缺陷图像数据集进行图像再分类，获得第一确定缺陷图像数据集和非缺陷图像数据集；
S303：对确定缺陷图像数据集和第一确定缺陷图像数据集中的图像进行分类判定，获得缺陷分类结果；
S302还包括：
S3021：基于历史误判缺陷数据集对待定缺陷图像数据集进行图像匹配，若匹配通过，则获得非缺陷图像数据集，并将剩余图像数据设为第一待定缺陷图像数据集；
S3022：基于缺陷图像的特征与完整图像的特征差异大小，以及缺陷图像的特征占确定缺陷图像的特征的比例大小，设置图像的缺陷影响度；基于缺陷影响度对第一待定缺陷图像数据集进行缺陷影响度判定，若缺陷影响度大于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入第一确定缺陷图像数据集，若缺陷影响度小于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入非缺陷图像数据集。
进一步地，还包括S4，对分类后的缺陷图像进行网格化分割处理，根据处理后图像中缺陷所在网格区域，按照预设的缺陷应对处理方案进行针对性处理，具体步骤为：
S401：基于图像分割算法，对缺陷图像进行网格化划分，获得网格化处理缺陷图像，并定位缺陷所在的第一级具体网格和具体类型；
S402：判定缺陷所在的第一级具体网格内是否包含多种类型的缺陷，若是，则继续进行分割，直到缺陷所在的第n级具体网格内仅包含单一类型的缺陷；若达到分割级阈值，即缺陷所在的第n级具体网格不能继续分割，并且包含多种类型的缺陷，则标记为缺陷过多图像；
S403：根据预设的缺陷应对处理方案，对网格化处理缺陷图像所对应的设备进行应对处理，将缺陷过多图像对应的设备作报废处理，将实施第m级处理的网格化处理缺陷图像所对应的设备按大修方案处理，其中m大于预设的第一分割级阈值同时小于分割级阈值，将实施第p级处理的网格化处理缺陷图像所对应的设备按小修方案处理，其中p小于预设的第一分割级阈值。
进一步地，还包括S5，对分类后的缺陷设备进行缺陷检测，获得检测数据，并调整生产线的相关设备参数，具体步骤为：
S501：随机选取若干个同一缺陷类型所对应的缺陷设备，利用激光三角测量系统，测量并分析获得缺陷数据；
S502：根据缺陷数据，统计生成缺陷数据分布柱状图，缺陷数据分布柱状图以缺陷数据值为横坐标、以缺陷数据值出现次数为纵坐标；根据缺陷数据分布柱状图最高量柱，获得缺陷数据值出现最多次数和较多次数对应的若干个缺陷数据值；
S503：根据缺陷数据值与正常数据值的偏差范围的大小，判断导致缺陷产生的相关设备的预估数量，若预估数量大于预设的数量阈值，则停止生产线工作，并进行检修；若预估数量小于预设的数量阈值，则设置生产线相关设备参数的调整幅度，对生产线相关设备参数进行调整。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为基于深度学习的自动缺陷分类系统结构示意图；
图2为基于深度学习的自动缺陷分类系统数据获取模块结构示意图；
图3为基于深度学习的自动缺陷分类方法步骤示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供了一种基于深度学习的自动缺陷分类系统，如图1所示，包括：
数据获取模块，用于基于大数据平台获取自动光学检测设备的缺陷图像数据集，经筛选、标注和定级后，生成缺陷图像数据集；
分类模型测试模块，用于基于预设的深度神经网络模型，对缺陷图像数据集进行分类模型训练和测试；
缺陷分类判定模块，用于获取自动光学检测设备的待测图像数据集，利用历史误判缺陷数据集进行匹配初筛，并根据缺陷影响度进行二次判定，获得确定缺陷图像数据集后，利用分类模型进行分类。
上述技术方案的工作原理为：数据获取模块，用于基于大数据平台获取自动光学检测设备的缺陷图像数据集；
分类模型测试模块，用于基于大数据平台获取自动光学检测设备的缺陷图像数据集，经筛选、标注和定级后，生成缺陷图像数据集；
缺陷分类判定模块，用于获取自动光学检测设备的待测图像数据集，利用历史误判缺陷数据集进行匹配初筛，并根据缺陷影响度进行二次判定，获得确定缺陷图像数据集后，利用分类模型进行分类。
上述技术方案的有益效果为：采用本实施例提供的方案，以深度学习算法为核心技术，对输入的缺陷图片进行缺陷提取和分类，用于替代人工，对工厂生产线上自动光学检测设备的缺陷检测结果进行二次复判，可有效节省人力，提高产品的优良率。
在一个实施例中，如图2所示，数据获取模块包括数据筛选单元、数据标注单元和数据处理单元；
数据筛选单元，用于基于大数据平台，按照普遍筛选若干幅不同类型对应的缺陷图像、在单一类型中随机挑选若干幅单一类型图像、在单一类型图像中选取若干幅典型特征图像的顺序，筛选获得自动光学检测设备的初筛缺陷图像数据集；
数据标注单元，用于对初筛缺陷图像数据集中的缺陷图像标注缺陷区域、缺陷轮廓、缺陷特征和缺陷等级，并生成缺陷标签；
数据处理单元，用于对标注后的初筛缺陷图像数据集进行图像处理，按照缺陷标签，基于缺陷等级进行排序，生成缺陷图像数据集。
上述技术方案的工作原理为：数据获取模块包括数据筛选单元、数据标注单元和数据处理单元；
数据筛选单元，用于基于大数据平台，按照普遍筛选若干幅不同类型对应的缺陷图像、在单一类型中随机挑选若干幅单一类型图像、在单一类型图像中选取若干幅典型特征图像的顺序，筛选获得自动光学检测设备的初筛缺陷图像数据集；
数据标注单元，用于对初筛缺陷图像数据集中的缺陷图像标注缺陷区域、缺陷轮廓、缺陷特征和缺陷等级，并生成缺陷标签；
数据处理单元，用于对标注后的初筛缺陷图像数据集进行图像处理，按照缺陷标签，基于缺陷等级进行排序，生成缺陷图像数据集。
上述技术方案的有益效果为：采用本实施例提供的方案，通过对数据的获取，可以保证获得符合要求的缺陷图像数据集，以便于进一步地进行分类研究。
在一个实施例中，分类模型测试模块包括模型设置单元和模型训练测试单元；
模型设置单元，用于设置分类模型的相关参数；
模型训练测试单元，用于将缺陷图像数据集中的数据输入到分类模型中进行模型训练，将分类模型输出的分类结果与预设的分类项进行分析对比，获得分类模型的分类误差值，根据分类误差值调整分类模型的参数权重值，当分类误差值达到预设的分类误差值阈值时，完成分类模型的训练测试。
上述技术方案的工作原理为：分类模型测试模块包括模型设置单元和模型训练测试单元；
模型设置单元，用于设置分类模型的相关参数；包括设置若干个特征提取单元组成的特征提取网络和一个分类子网络，特征提取单元包括卷积层、激活层和最大化池化层；设置卷积层的计算方式，通过将卷积核中元素与其所对应的缺陷图像区域中的元素作乘积运算后累加；设置激活层的激活函数为ReLu； 设置最大化池化层的取值，通过固定像素的领域在激活层的输出结果上滑动，获取每个邻域内的像素最大值；分类子网络包括输入层，隐藏层和输出层的全连接神经网络，其中隐藏层设置为2个并且相连；输入层和隐藏层后连接ReLu激活层，输出层后连接sigmoid层，输出分类概率值；
模型训练测试单元，用于将缺陷图像数据集中的数据输入到分类模型中进行模型训练，将分类模型输出的分类结果与预设的分类项进行分析对比，获得分类模型的分类误差值，根据分类误差值调整分类模型的参数权重值，当分类误差值达到预设的分类误差值阈值时，完成分类模型的训练测试。
上述技术方案的有益效果为：采用本实施例提供的方案， 通过对分类模型的训练和测试，可以保证获得有效且准确地分类模型。
在一个实施例中，缺陷分类判定模块包括缺陷初筛单元、缺陷预判单元和缺陷分类单元；
缺陷初筛单元，用于基于预设的初筛分类模型对获取的自动光学检测设备的待测图像数据集进行初筛分类，获得确定缺陷图像数据集和待定缺陷图像数据集；
缺陷预判单元，用于基于预设的评估规则对待定缺陷图像数据集进行图像再分类，获得第一确定缺陷图像数据集和非缺陷图像数据集；
缺陷分类单元，用于对确定缺陷图像数据集和第一确定缺陷图像数据集中的图像进行分类判定，获得缺陷分类结果。
上述技术方案的工作原理为：缺陷分类判定模块包括缺陷初筛单元、缺陷预判单元和缺陷分类单元；
缺陷初筛单元，用于基于预设的初筛分类模型对获取的自动光学检测设备的待测图像数据集进行初筛分类，获得确定缺陷图像数据集和待定缺陷图像数据集；
缺陷预判单元，用于基于预设的评估规则对待定缺陷图像数据集进行图像再分类，获得第一确定缺陷图像数据集和非缺陷图像数据集；
缺陷分类单元，用于对确定缺陷图像数据集和第一确定缺陷图像数据集中的图像进行分类判定，获得缺陷分类结果。
上述技术方案的有益效果为：采用本实施例提供的方案，通过对缺陷图像的分类判定，可以有效地实现对缺陷图像的筛选，保证实现筛选的效率和质量。
在一个实施例中，缺陷预判单元包括缺陷评估子单元和缺陷预判子单元；
缺陷评估子单元，用于基于历史误判缺陷数据集对待定缺陷图像数据集进行图像匹配，若匹配通过，则获得非缺陷图像数据集，并将剩余图像数据设为第一待定缺陷图像数据集；
缺陷预判子单元，用于基于缺陷图像的特征与完整图像的特征差异大小，以及缺陷图像的特征占确定缺陷图像的特征的比例大小，设置图像的缺陷影响度；基于缺陷影响度对第一待定缺陷图像数据集进行缺陷影响度判定，若缺陷影响度大于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入第一确定缺陷图像数据集，若缺陷影响度小于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入非缺陷图像数据集。
上述技术方案的工作原理为：缺陷预判单元包括缺陷评估子单元和缺陷预判子单元；
缺陷评估子单元，用于基于历史误判缺陷数据集对待定缺陷图像数据集进行图像匹配，若匹配通过，则获得非缺陷图像数据集，并将剩余图像数据设为第一待定缺陷图像数据集；
缺陷预判子单元，用于基于缺陷图像的特征与完整图像的特征差异大小，以及缺陷图像的特征占确定缺陷图像的特征的比例大小，设置图像的缺陷影响度；基于缺陷影响度对第一待定缺陷图像数据集进行缺陷影响度判定，若缺陷影响度大于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入第一确定缺陷图像数据集，若缺陷影响度小于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入非缺陷图像数据集。
上述技术方案的有益效果为：采用本实施例提供的方案，通过对待定缺陷图像的进一步判定，可以精确并且无遗漏地保证缺陷图像的准确分类。
一种基于深度学习的自动缺陷分类方法，如图3所示，包括：
S1：用于基于大数据平台获取自动光学检测设备的缺陷图像数据集，经筛选、标注和定级后，生成缺陷图像数据集；
S2：基于预设的深度神经网络模型，对缺陷图像数据集进行分类模型训练和测试；
S3：获取自动光学检测设备的待测图像数据集，利用历史误判缺陷数据集进行匹配初筛，并根据缺陷影响度进行二次判定，获得确定缺陷图像数据集后，利用分类模型进行分类。
上述技术方案的工作原理为：S1：用于基于大数据平台获取自动光学检测设备的缺陷图像数据集，经筛选、标注和定级后，生成缺陷图像数据集；
S2：基于预设的深度神经网络模型，对缺陷图像数据集进行分类模型训练和测试；
S3：获取自动光学检测设备的待测图像数据集，利用历史误判缺陷数据集进行匹配初筛，并根据缺陷影响度进行二次判定，获得确定缺陷图像数据集后，利用分类模型进行分类。
上述技术方案的有益效果为：采用本实施例提供的方案，以深度学习算法为核心技术，对输入的缺陷图片进行缺陷提取和分类，用于替代人工，对工厂生产线上自动光学检测设备的缺陷检测结果进行二次复判，可有效节省人力，提高产品的优良率。
在一个实施例中，S1包括：
S101：基于大数据平台，按照普遍筛选若干幅不同类型对应的缺陷图像、在单一类型中随机挑选若干幅单一类型图像、在单一类型图像中选取若干幅典型特征图像的顺序，筛选获得自动光学检测设备的初筛缺陷图像数据集；
S102：对初筛缺陷图像数据集中的缺陷图像标注缺陷区域、缺陷轮廓、缺陷特征和缺陷等级，并生成缺陷标签；
S103：对标注后的初筛缺陷图像数据集进行图像处理，按照缺陷标签，基于缺陷等级进行排序，生成缺陷图像数据集。
S2包括：
S201：设置分类模型的相关参数；
S202：将缺陷图像数据集中的数据输入到分类模型中进行模型训练，将分类模型输出的分类结果与预设的分类项进行分析对比，获得分类模型的分类误差值，根据分类误差值调整分类模型的参数权重值，当分类误差值达到预设的分类误差值阈值时，完成分类模型的训练测试。
上述技术方案的工作原理为：S1包括：
S101：基于大数据平台，按照普遍筛选若干幅不同类型对应的缺陷图像、在单一类型中随机挑选若干幅单一类型图像、在单一类型图像中选取若干幅典型特征图像的顺序，筛选获得自动光学检测设备的初筛缺陷图像数据集；
S102：对初筛缺陷图像数据集中的缺陷图像标注缺陷区域、缺陷轮廓、缺陷特征和缺陷等级，并生成缺陷标签；
S103：对标注后的初筛缺陷图像数据集进行图像处理，按照缺陷标签，基于缺陷等级进行排序，生成缺陷图像数据集。
S2包括：
S201：设置分类模型的相关参数；
S202：将缺陷图像数据集中的数据输入到分类模型中进行模型训练，将分类模型输出的分类结果与预设的分类项进行分析对比，获得分类模型的分类误差值，根据分类误差值调整分类模型的参数权重值，当分类误差值达到预设的分类误差值阈值时，完成分类模型的训练测试。
上述技术方案的有益效果为：采用本实施例提供的方案，通过对数据的获取，可以保证获得符合要求的缺陷图像数据集，以便于进一步地进行分类研究；通过对分类模型的训练和测试，可以保证获得有效且准确地分类模型。
在一个实施例中，S3包括：
S301：基于预设的初筛分类模型对获取的自动光学检测设备的待测图像数据集进行初筛分类，获得确定缺陷图像数据集和待定缺陷图像数据集；
S302：基于预设的评估规则对待定缺陷图像数据集进行图像再分类，获得第一确定缺陷图像数据集和非缺陷图像数据集；
S303：对确定缺陷图像数据集和第一确定缺陷图像数据集中的图像进行分类判定，获得缺陷分类结果；
S302还包括：
S3021：基于历史误判缺陷数据集对待定缺陷图像数据集进行图像匹配，若匹配通过，则获得非缺陷图像数据集，并将剩余图像数据设为第一待定缺陷图像数据集；
S3022：基于缺陷图像的特征与完整图像的特征差异大小，以及缺陷图像的特征占确定缺陷图像的特征的比例大小，设置图像的缺陷影响度；基于缺陷影响度对第一待定缺陷图像数据集进行缺陷影响度判定，若缺陷影响度大于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入第一确定缺陷图像数据集，若缺陷影响度小于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入非缺陷图像数据集。
上述技术方案的工作原理为：S3包括：
S301：基于预设的初筛分类模型对获取的自动光学检测设备的待测图像数据集进行初筛分类，获得确定缺陷图像数据集和待定缺陷图像数据集；
S302：基于预设的评估规则对待定缺陷图像数据集进行图像再分类，获得第一确定缺陷图像数据集和非缺陷图像数据集；
S303：对确定缺陷图像数据集和第一确定缺陷图像数据集中的图像进行分类判定，获得缺陷分类结果；
S302还包括：
S3021：基于历史误判缺陷数据集对待定缺陷图像数据集进行图像匹配，若匹配通过，则获得非缺陷图像数据集，并将剩余图像数据设为第一待定缺陷图像数据集；
S3022：基于缺陷图像的特征与完整图像的特征差异大小，以及缺陷图像的特征占确定缺陷图像的特征的比例大小，设置图像的缺陷影响度；基于缺陷影响度对第一待定缺陷图像数据集进行缺陷影响度判定，若缺陷影响度大于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入第一确定缺陷图像数据集，若缺陷影响度小于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入非缺陷图像数据集。
上述技术方案的有益效果为：采用本实施例提供的方案， 通过对缺陷图像的分类判定，可以有效地实现对缺陷图像的筛选，保证实现筛选的效率和质量；通过对待定缺陷图像的进一步判定，可以精确并且无遗漏地保证缺陷图像的准确分类。
在一个实施例中，还包括S4，对分类后的缺陷图像进行网格化分割处理，根据处理后图像中缺陷所在网格区域，按照预设的缺陷应对处理方案进行针对性处理，具体步骤为：
S401：基于图像分割算法，对缺陷图像进行网格化划分，获得网格化处理缺陷图像，并定位缺陷所在的第一级具体网格和具体类型；
S402：判定缺陷所在的第一级具体网格内是否包含多种类型的缺陷，若是，则继续进行分割，直到缺陷所在的第n级具体网格内仅包含单一类型的缺陷；若达到分割级阈值，即缺陷所在的第n级具体网格不能继续分割，并且包含多种类型的缺陷，则标记为缺陷过多图像；
S403：根据预设的缺陷应对处理方案，对网格化处理缺陷图像所对应的设备进行应对处理，将缺陷过多图像对应的设备作报废处理，将实施第m级处理的网格化处理缺陷图像所对应的设备按大修方案处理，其中m大于预设的第一分割级阈值同时小于分割级阈值，将实施第p级处理的网格化处理缺陷图像所对应的设备按小修方案处理，其中p小于预设的第一分割级阈值。
上述技术方案的工作原理为：还包括S4，对分类后的缺陷图像进行网格化分割处理，根据处理后图像中缺陷所在网格区域，按照预设的缺陷应对处理方案进行针对性处理，具体步骤为：
S401：基于图像分割算法，对缺陷图像进行网格化划分，获得网格化处理缺陷图像，并定位缺陷所在的第一级具体网格和具体类型；
S402：判定缺陷所在的第一级具体网格内是否包含多种类型的缺陷，若是，则继续进行分割，直到缺陷所在的第n级具体网格内仅包含单一类型的缺陷；若达到分割级阈值，即缺陷所在的第n级具体网格不能继续分割，并且包含多种类型的缺陷，则标记为缺陷过多图像；
S403：根据预设的缺陷应对处理方案，对网格化处理缺陷图像所对应的设备进行应对处理，将缺陷过多图像对应的设备作报废处理，将实施第m级处理的网格化处理缺陷图像所对应的设备按大修方案处理，其中m大于预设的第一分割级阈值同时小于分割级阈值，将实施第p级处理的网格化处理缺陷图像所对应的设备按小修方案处理，其中p小于预设的第一分割级阈值。
为了更加合理和科学地进行网格化处理，有效分辨缺陷所在具体区域，需要对缺陷图像进行增强处理，通过计算图像缺陷所在的中心点的增强灰度值，根据增强后的灰度值进行判定和分析，有利于提高分析的质量，增强灰度值的计算公式为：
上式中，其中
代表网格内进行图像增强处理后/>
点的增强灰度值，
表示网格内待处理图像/>
点的灰度值，/>
表示整个缺陷图像的平均灰度值，
表示/>
点所在网格内缺陷图像的平均灰度值，/>
表示/>
点进行网格处理后的局部标准差，/>
为四个常规参数,其中/>
,/>
,/>
,/>
；
上述技术方案的有益效果为：采用本实施例提供的方案，通过对分类后的缺陷图像进行网格化分割处理，根据处理后图像中缺陷所在网格区域，按照预设的缺陷应对处理方案进行针对性处理，可以提高缺陷处理的准确性和效率;通过计算图像的增强灰度值，可以进行更好的判定和分析，以便于更加合理和科学地进行网格化处理。
在一个实施例中，还包括S5，对分类后的缺陷设备进行缺陷检测，获得检测数据，并调整生产线的相关设备参数，具体步骤为：
S501：随机选取若干个同一缺陷类型所对应的缺陷设备，利用激光三角测量系统，测量并分析获得缺陷数据；
S502：根据缺陷数据，统计生成缺陷数据分布柱状图，缺陷数据分布柱状图以缺陷数据值为横坐标、以缺陷数据值出现次数为纵坐标；根据缺陷数据分布柱状图最高量柱，获得缺陷数据值出现最多次数和较多次数对应的若干个缺陷数据值；
S503：根据缺陷数据值与正常数据值的偏差范围的大小，判断导致缺陷产生的相关设备的预估数量，若预估数量大于预设的数量阈值，则停止生产线工作，并进行检修；若预估数量小于预设的数量阈值，则设置生产线相关设备参数的调整幅度，对生产线相关设备参数进行调整。
上述技术方案的工作原理为：还包括S5，对分类后的缺陷设备进行缺陷检测，获得检测数据，并调整生产线的相关设备参数，具体步骤为：
S501：随机选取若干个同一缺陷类型所对应的缺陷设备，利用激光三角测量系统，测量并分析获得缺陷数据；
S502：根据缺陷数据，统计生成缺陷数据分布柱状图，缺陷数据分布柱状图以缺陷数据值为横坐标、以缺陷数据值出现次数为纵坐标；根据缺陷数据分布柱状图最高量柱，获得缺陷数据值出现最多次数和较多次数对应的若干个缺陷数据值；
S503：根据缺陷数据值与正常数据值的偏差范围的大小，判断导致缺陷产生的相关设备的预估数量，若预估数量大于预设的数量阈值，则停止生产线工作，并进行检修；若预估数量小于预设的数量阈值，则设置生产线相关设备参数的调整幅度，对生产线相关设备参数进行调整。
上述技术方案的有益效果为：采用本实施例提供的方案，通过对分类后的缺陷设备进行缺陷检测，获得检测数据，并调整生产线的相关设备参数，可以针对性并且有效地处理生产线设备中的问题，避免设备缺陷的再次发生和有效解决。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种基于深度学习的自动缺陷分类系统，其特征在于，包括：
数据获取模块，用于基于大数据平台获取自动光学检测设备的原始缺陷图像数据集，经筛选、标注和定级后，生成缺陷图像数据集；
分类模型测试模块，用于基于预设的深度神经网络模型，对缺陷图像数据集进行分类模型训练和测试；
缺陷分类判定模块，用于获取自动光学检测设备的待测图像数据集，利用历史误判缺陷数据集进行匹配初筛，并根据缺陷影响度进行二次判定，获得确定缺陷图像数据集后，利用分类模型进行分类；
缺陷分类判定模块包括缺陷初筛单元、缺陷预判单元和缺陷分类单元；
缺陷初筛单元，用于基于预设的初筛分类模型对获取的自动光学检测设备的待测图像数据集进行初筛分类，获得确定缺陷图像数据集和待定缺陷图像数据集；
缺陷预判单元，用于基于预设的评估规则对待定缺陷图像数据集进行图像再分类，获得第一确定缺陷图像数据集和非缺陷图像数据集；
缺陷分类单元，用于对确定缺陷图像数据集和第一确定缺陷图像数据集中的图像进行分类判定，获得缺陷分类结果；
缺陷预判单元包括缺陷评估子单元和缺陷预判子单元；
缺陷评估子单元，用于基于历史误判缺陷数据集对待定缺陷图像数据集进行图像匹配，若匹配通过，则获得非缺陷图像数据集，并将剩余图像数据设为第一待定缺陷图像数据集；
缺陷预判子单元，用于基于缺陷图像的特征与完整图像的特征差异大小，以及缺陷图像的特征占确定缺陷图像的特征的比例大小，设置图像的缺陷影响度；基于缺陷影响度对第一待定缺陷图像数据集进行缺陷影响度判定，若缺陷影响度大于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入第一确定缺陷图像数据集，若缺陷影响度小于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入非缺陷图像数据集。
2.根据权利要求1所述的一种基于深度学习的自动缺陷分类系统，其特征在于，数据获取模块包括数据筛选单元、数据标注单元和数据处理单元；
数据筛选单元，用于基于大数据平台，按照普遍筛选若干幅不同类型对应的缺陷图像、在单一类型中随机挑选若干幅单一类型图像、在单一类型图像中选取若干幅典型特征图像的顺序，筛选获得自动光学检测设备的初筛缺陷图像数据集；
数据标注单元，用于对初筛缺陷图像数据集中的缺陷图像标注缺陷区域、缺陷轮廓、缺陷特征和缺陷等级，并生成缺陷标签；
数据处理单元，用于对标注后的初筛缺陷图像数据集进行图像处理，按照缺陷标签，基于缺陷等级进行排序，生成缺陷图像数据集。
3.根据权利要求1所述的一种基于深度学习的自动缺陷分类系统，其特征在于，分类模型测试模块包括模型设置单元和模型训练测试单元；
模型设置单元，用于设置分类模型的相关参数；
模型训练测试单元，用于将缺陷图像数据集中的数据输入到分类模型中进行模型训练，将分类模型输出的分类结果与预设的分类项进行分析对比，获得分类模型的分类误差值，根据分类误差值调整分类模型的参数权重值，当分类误差值达到预设的分类误差值阈值时，完成分类模型的训练测试。
4.一种基于深度学习的自动缺陷分类方法，其特征在于，包括：
S1：基于大数据平台获取自动光学检测设备的原始缺陷图像数据集，经筛选、标注和定级后，生成缺陷图像数据集；
S2：基于预设的深度神经网络模型，对缺陷图像数据集进行分类模型训练和测试；
S3：获取自动光学检测设备的待测图像数据集，利用历史误判缺陷数据集进行匹配初筛，并根据缺陷影响度进行二次判定，获得确定缺陷图像数据集后，利用分类模型进行分类；
S3包括：
S301：基于预设的初筛分类模型对获取的自动光学检测设备的待测图像数据集进行初筛分类，获得确定缺陷图像数据集和待定缺陷图像数据集；
S302：基于预设的评估规则对待定缺陷图像数据集进行图像再分类，获得第一确定缺陷图像数据集和非缺陷图像数据集；
S303：对确定缺陷图像数据集和第一确定缺陷图像数据集中的图像进行分类判定，获得缺陷分类结果；
S302还包括：
S3021：基于历史误判缺陷数据集对待定缺陷图像数据集进行图像匹配，若匹配通过，则获得非缺陷图像数据集，并将剩余图像数据设为第一待定缺陷图像数据集；
S3022：基于缺陷图像的特征与完整图像的特征差异大小，以及缺陷图像的特征占确定缺陷图像的特征的比例大小，设置图像的缺陷影响度；基于缺陷影响度对第一待定缺陷图像数据集进行缺陷影响度判定，若缺陷影响度大于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入第一确定缺陷图像数据集，若缺陷影响度小于预设的缺陷影响度阈值，则将第一待定缺陷图像数据集并入非缺陷图像数据集。
5.根据权利要求4所述的一种基于深度学习的自动缺陷分类方法，其特征在于，S1包括：
S101：基于大数据平台，按照普遍筛选若干幅不同类型对应的缺陷图像、在单一类型中随机挑选若干幅单一类型图像、在单一类型图像中选取若干幅典型特征图像的顺序，筛选获得自动光学检测设备的初筛缺陷图像数据集；
S102：对初筛缺陷图像数据集中的缺陷图像标注缺陷区域、缺陷轮廓、缺陷特征和缺陷等级，并生成缺陷标签；
S103：对标注后的初筛缺陷图像数据集进行图像处理，按照缺陷标签，基于缺陷等级进行排序，生成缺陷图像数据集；
S2包括：
S201：设置分类模型的相关参数；
S202：将缺陷图像数据集中的数据输入到分类模型中进行模型训练，将分类模型输出的分类结果与预设的分类项进行分析对比，获得分类模型的分类误差值，根据分类误差值调整分类模型的参数权重值，当分类误差值达到预设的分类误差值阈值时，完成分类模型的训练测试。
6.根据权利要求4所述的一种基于深度学习的自动缺陷分类方法，其特征在于，还包括S4，对分类后的缺陷图像进行网格化分割处理，根据处理后图像中缺陷所在网格区域，按照预设的缺陷应对处理方案进行针对性处理，具体步骤为：
S401：基于图像分割算法，对缺陷图像进行网格化划分，获得网格化处理缺陷图像，并定位缺陷所在的第一级具体网格和具体类型；
S402：判定缺陷所在的第一级具体网格内是否包含多种类型的缺陷，若是，则继续进行分割，直到缺陷所在的第n级具体网格内仅包含单一类型的缺陷；若达到分割级阈值，即缺陷所在的第n级具体网格不能继续分割，并且包含多种类型的缺陷，则标记为缺陷过多图像；
S403：根据预设的缺陷应对处理方案，对网格化处理缺陷图像所对应的设备进行应对处理，将缺陷过多图像对应的设备作报废处理，将实施第m级处理的网格化处理缺陷图像所对应的设备按大修方案处理，其中m大于预设的第一分割级阈值同时小于分割级阈值，将实施第p级处理的网格化处理缺陷图像所对应的设备按小修方案处理，其中p小于预设的第一分割级阈值。
7.根据权利要求4所述的一种基于深度学习的自动缺陷分类方法，其特征在于，还包括S5，对分类后的缺陷设备进行缺陷检测，获得检测数据，并调整生产线的相关设备参数，具体步骤为：
S501：随机选取若干个同一缺陷类型所对应的缺陷设备，利用激光三角测量系统，测量并分析获得缺陷数据；
S502：根据缺陷数据，统计生成缺陷数据分布柱状图，缺陷数据分布柱状图以缺陷数据值为横坐标、以缺陷数据值出现次数为纵坐标；根据缺陷数据分布柱状图量柱，获得缺陷数据值出现的次数高于预设次数阈值的若干个缺陷数据值；
S503：根据缺陷数据值与正常数据值的偏差范围的大小，判断导致缺陷产生的相关设备的预估数量，若预估数量大于预设的数量阈值，则停止生产线工作，并进行检修；若预估数量小于预设的数量阈值，则设置生产线相关设备参数的调整幅度，对生产线相关设备参数进行调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310145818.1A CN115830403B (zh) | 2023-02-22 | 2023-02-22 | 一种基于深度学习的自动缺陷分类系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310145818.1A CN115830403B (zh) | 2023-02-22 | 2023-02-22 | 一种基于深度学习的自动缺陷分类系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115830403A CN115830403A (zh) | 2023-03-21 |
| CN115830403B true CN115830403B (zh) | 2023-05-30 |
Family
ID=85522035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310145818.1A Active CN115830403B (zh) | 2023-02-22 | 2023-02-22 | 一种基于深度学习的自动缺陷分类系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115830403B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118195422B (zh) * | 2024-05-13 | 2024-09-20 | 中诚华隆计算机技术有限公司 | 一种多芯片的封装缺陷检测方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111833300A (zh) * | 2020-06-04 | 2020-10-27 | 西安电子科技大学 | 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置 |
| CN112557406A (zh) * | 2021-02-19 | 2021-03-26 | 浙江大胜达包装股份有限公司 | 纸品生产质量智能检验方法及其系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111709909B (zh) * | 2020-05-12 | 2024-02-20 | 苏州科亿信息科技有限公司 | 基于深度学习的通用印刷缺陷检测方法及其模型 |
| JP2023528688A (ja) * | 2020-05-22 | 2023-07-05 | ニデック アドバンステクノロジー カナダ コーポレーション | 自動欠陥分類検査装置を訓練する方法及びシステム |
| CN111798419A (zh) * | 2020-06-27 | 2020-10-20 | 上海工程技术大学 | 一种金属喷漆表面缺陷检测方法 |
| CN111784663B (zh) * | 2020-06-30 | 2024-01-23 | 北京百度网讯科技有限公司 | 零部件的检测方法、装置、电子设备及存储介质 |
| CN113269780B (zh) * | 2021-07-21 | 2021-11-09 | 江苏中科云控智能工业装备有限公司 | 基于深度学习的压铸件表面缺陷测量系统 |
| CN115294118A (zh) * | 2022-10-08 | 2022-11-04 | 南通先端精密机械有限公司 | 一种船用钣金焊接缺陷识别方法 |
| CN115601332A (zh) * | 2022-10-20 | 2023-01-13 | 深圳精创视觉科技有限公司（Cn） | 一种基于语义分割的嵌入式指纹模块外观检测方法 |
-
2023
- 2023-02-22 CN CN202310145818.1A patent/CN115830403B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111833300A (zh) * | 2020-06-04 | 2020-10-27 | 西安电子科技大学 | 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置 |
| CN112557406A (zh) * | 2021-02-19 | 2021-03-26 | 浙江大胜达包装股份有限公司 | 纸品生产质量智能检验方法及其系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115830403A (zh) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114937055B (zh) | 基于人工智能的图像自适应分割方法与系统 | |
| US9582872B2 (en) | Optical film defect detection method and system thereof | |
| US5982920A (en) | Automated defect spatial signature analysis for semiconductor manufacturing process | |
| CN116188475B (zh) | 一种外观缺陷自动光学检测的智慧控制方法、系统及介质 | |
| CN111080622A (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
| CN108765412A (zh) | 一种带钢表面缺陷分类方法 | |
| US10636133B2 (en) | Automated optical inspection (AOI) image classification method, system and computer-readable media | |
| CN114359246A (zh) | 输送机皮带检测方法、装置、系统、电子设备及介质 | |
| US9747518B2 (en) | Automatic calibration sample selection for die-to-database photomask inspection | |
| CN113297885A (zh) | 基于卷积神经网络的皮带机表面状态检测方法及装置 | |
| CN115953373B (zh) | 玻璃缺陷检测方法、装置、电子设备及存储介质 | |
| CN117392042A (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN115830403B (zh) | 一种基于深度学习的自动缺陷分类系统及方法 | |
| CN113421223B (zh) | 基于深度学习和高斯混合的工业产品表面缺陷检测方法 | |
| CN111161233A (zh) | 一种用于冲孔皮革缺陷检测方法及系统 | |
| CN114565314B (zh) | 一种基于数字孪生的热轧钢卷端面质量管控系统及方法 | |
| CN110378433A (zh) | 基于pso-svm的桥梁拉索表面缺陷的分类识别方法 | |
| CN108615039A (zh) | 基于计算机视觉的弹壳表面缺陷自动检测方法 | |
| CN206897873U (zh) | 一种基于检测产品特性的图像处理与检测系统 | |
| WO2023282043A1 (ja) | 検査方法、分類方法、管理方法、鋼材の製造方法、学習モデルの生成方法、学習モデル、検査装置及び鋼材の製造設備 | |
| CN117862068A (zh) | 一种瑕疵产品分拣程序验证方法、设备及存储介质 | |
| CN117455917A (zh) | 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 | |
| Prasetio et al. | Design of Defect Classification on Clay Tiles using Support Vector Machine (SVM) | |
| RU2426069C1 (ru) | Способ неразрушающего контроля качества поверхности рельсов | |
| KR20230168640A (ko) | 인공지능을 이용한 소성가공 분야의 툴 상태 및 절단품 검사 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 361000 room 201a, Jinfeng Building, information photoelectric Park, Xiamen Torch hi tech Zone, Xiamen City, Fujian Province Patentee after: Xiamen Weiya Intelligent Technology Co.,Ltd. Address before: 361000 room 201a, Jinfeng Building, information photoelectric Park, Xiamen Torch hi tech Zone, Xiamen City, Fujian Province Patentee before: XIAMEN WEIYA INTELLIGENCE TECHNOLOGY Co.,Ltd. |