[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN117952983B - 一种基于人工智能的智能制造生产过程监控方法和系统 - Google Patents

一种基于人工智能的智能制造生产过程监控方法和系统 Download PDF

Info

Publication number
CN117952983B
CN117952983B CN202410354357.3A CN202410354357A CN117952983B CN 117952983 B CN117952983 B CN 117952983B CN 202410354357 A CN202410354357 A CN 202410354357A CN 117952983 B CN117952983 B CN 117952983B
Authority
CN
China
Prior art keywords
defect
cutter
product
processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410354357.3A
Other languages
English (en)
Other versions
CN117952983A (zh
Inventor
余楷
严梦琪
申林
夏道勋
武晓
梁正华
潘文杰
冯夫健
余正涛
秦舒浩
郭红建
邹蕾
赵林畅
黄于欣
肖书芹
谢真强
董厚泽
代杨
苑建坤
孙丽娟
吴越
陶政坪
石睿
张燕
阳显斌
涂永高
韦克苏
郭宗余
李德仑
赵宇航
武圣江
郭宗智
王庄仆
林辉
李珂
龙兰艳
禹冰雪
陶政鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC Big Data Research Institute Co Ltd
Original Assignee
CETC Big Data Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC Big Data Research Institute Co Ltd filed Critical CETC Big Data Research Institute Co Ltd
Priority to CN202410354357.3A priority Critical patent/CN117952983B/zh
Publication of CN117952983A publication Critical patent/CN117952983A/zh
Application granted granted Critical
Publication of CN117952983B publication Critical patent/CN117952983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种基于人工智能的智能制造生产过程监控方法和系统，用于提高在产品制造生产过程的效率。本申请包括：获取产品加工实时图像和深度学习生产过程监控模型；将产品加工实时图像输入产品缺陷检测卷积模型，生成产品缺陷概率；当产品缺陷概率表示目标产品存在缺陷时，获取已使用的刀具对应的刀具实时图像、刀具初始图像和刀具缺陷图像；将刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合；将刀具缺陷特征集合作为缺陷增强标签和刀具实时图像输入第一生成器进行缺陷特征融合，生成重构图像；将重构图像与刀具初始图像输入刀具缺陷检测卷积模型，生成刀具缺陷分布概率；根据刀具缺陷分布概率生成刀具状态结果。

Description

一种基于人工智能的智能制造生产过程监控方法和系统
技术领域
本申请实施例涉及智能制造领域，尤其涉及一种基于人工智能的智能制造生产过程监控方法和系统。
背景技术
随着机械领域的不断发展，越来越多的自动化技术运用到机械设备的生产制造环节中，例如机械组件之间的焊接、机械组件的运输、机械组件的抓取等，这些环节使用自动化技术之后，不但在精准度上达到要求，而且在效率上也远远超过人工。
尤其是机械零件的生产制造领域，这类机械零件通常需要由一块经过预先处理的原材料进行加工，加工的工具有各式各样的刀具、摩擦搅拌棒等，本申请中主要针对使用刀具加工的机械零件的生产制造。通过数控刀具对原材料进行加工，通常需要设置多种加工参数，例如刀具的位置参数、时间节点参数、变化指令、原材料的位置参数、旋转参数和压力参数等等。通过智能化的自动化生产制造，使得数控刀具加工原材料在精准度和效率上远远超过人工加工。
但是，随着数控机床的自动化程度不断提高，针对刀具和原材料加工环节就进行监控就变得非常有必要。如果不设计针对刀具和原材料加工环节的监控，就有可能出现刀具损坏而未及时察觉的情况发生，这个时候，如果继续加工，不但会出现大量的不合格产品，严重时会引起刀具进一步发生损毁，导致影响数控机床的其他部件的损坏。现有的针对数控机床在制造生产过程中监控的方法有人工实时检查，人工实时检查主要针对成品或者半成品进行，通过观察成品和半成品的状态来判断刀具是否存在缺陷，这种方式对于生产少量的产品的确有效，但是一旦需要生产大量的产品，则很容易造成疲劳，增加人工成本的同时，针对刀具细微的损坏缺陷来说，人工观测对于精密产品上产生的缺陷也无法准确的判断。为了保证监控的精准度，则需要检查人员增加检查时间。
为了解决上述问题，人们开始使用人工智能进行生产制造过程的监控，通过深度学习模型对产品的外形进行缺陷分析，进而判断刀具是否存在缺陷。但是这种方式针对单个刀具加工的制造生产过程是非常合适的。但是，现如今，为了提高制造生产效率，往往会出现多个数控刀具对原材料进行加工，并且不同数控刀具加工区域存在重叠的情况，这几个数控刀具完成加工之后，才能进行图像采集，这就无法确定存在缺陷的刀具是哪一个的情况，并且也无法确定缺陷的种类属于缺块、单裂痕、多裂痕还是磨损等，并且有可能存在多种数控刀具缺陷同时存在的情况。故只能通过人工检测的方式单独查看数控刀具，降低了更换效率，进而降低了产品制造生产过程的效率。
发明内容
本申请公开了一种基于人工智能的智能制造生产过程监控方法和系统，用于提高在产品制造生产过程的效率。
本申请第一方面公开了一种基于人工智能的智能制造生产过程监控方法，包括：
获取产品加工实时图像和深度学习生产过程监控模型，产品加工实时图像为通过至少两个刀具加工的目标产品的拍摄图像，深度学习生产过程监控模型包括产品缺陷检测卷积模型、第一缺陷特征提取卷积模型、第一生成器和刀具缺陷检测卷积模型；
将产品加工实时图像输入产品缺陷检测卷积模型，生成产品缺陷概率；
当产品缺陷概率表示目标产品存在缺陷时，获取已使用的刀具对应的刀具实时图像、刀具初始图像和刀具缺陷图像；
将刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合；
将刀具缺陷特征集合作为缺陷增强标签和刀具实时图像输入第一生成器进行缺陷特征融合，生成重构图像；
将重构图像与刀具初始图像输入刀具缺陷检测卷积模型，生成刀具缺陷分布概率；
根据刀具缺陷分布概率生成刀具状态结果。
可选的，深度学习生产过程监控模型还包括第二生成器；
在获取产品加工实时图像和深度学习生产过程监控模型之后，将产品加工实时图像输入产品缺陷检测卷积模型，生成产品缺陷概率之前，智能制造生产过程监控方法还包括：
获取产品缺陷特征；
将产品缺陷特征作为缺陷增强标签和产品加工实时图像输入第二生成器进行缺陷特征融合。
可选的，深度学习生产过程监控模型还包括第二缺陷特征提取卷积模型；
获取产品缺陷特征，包括：
获取已使用的刀具存在缺陷时目标产品对应的产品缺陷图像；
获取目标产品的原料缺陷图像；
将产品缺陷图像输入第二缺陷特征提取卷积模型，生成第一产品缺陷特征，产品缺陷特征对应刀具缺陷；
将原料缺陷图像输入第二缺陷特征提取卷积模型，生成第二产品缺陷特征；
将第一产品缺陷特征和第二产品缺陷特征进行特征通道叠加，生成产品缺陷特征。
可选的，将产品缺陷特征作为缺陷增强标签和产品加工实时图像输入第二生成器进行缺陷特征融合，包括：
为产品加工实时图像进行区域划分，生成各个刀具对应的加工区域；
将产品缺陷特征作为缺陷增强标签和产品加工实时图像输入第二生成器，根据加工区域进行缺陷特征融合。
可选的，产品缺陷概率为产品缺陷分布概率，产品缺陷分布概率包括至少两种缺陷的概率；
在将刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合之后，智能制造生产过程监控方法还包括：
根据产品缺陷分布概率对刀具缺陷特征集合中的刀具缺陷特征进行筛除处理。
可选的，根据产品缺陷分布概率对刀具缺陷特征集合中的刀具缺陷特征进行筛除处理，包括：
根据产品缺陷分布概率确定大于预设阈值的产品缺陷类型；
根据大于预设阈值的产品缺陷类型反向推导刀具缺陷分布概率；
根据刀具缺陷分布概率对刀具缺陷特征集合中的刀具缺陷特征进行筛除处理。
可选的，将刀具缺陷特征集合作为缺陷增强标签和刀具实时图像输入第一生成器进行缺陷特征融合，生成重构图像，包括：
对第一个刀具缺陷特征进行1*1卷积处理，生成缺陷卷积特征，将刀具缺陷特征和缺陷卷积特征进行通道叠加处理；
对刀具实时图像进行1*1卷积操作，生成刀具实时卷积特征；
对缺陷卷积特征进行区域像素注意力生成处理和通道相乘处理，生成第一处理特征；
将第一处理特征进行1*1卷积处理，生成卷积数据；
将卷积数据和第一处理特征进行通道叠加，生成第二处理特征；
对第二处理特征的特征通道进行向量计算，生成通道向量集合，并根据通道向量集合输出一维通道向量；
根据一维通道向量将第二处理特征按通道对应相乘，生成第三处理特征；
对第三处理特征进行残差提取和残差融合处理，生成融合残差；
将融合残差、刀具实时卷积特征和缺陷卷积特征进行通道叠加，生成第四处理特征；
对第四处理特征进行边缘重构，生成第五处理特征；
为第五处理特征对应的每个神经元分配注意力，并将注意力小于第一预设阈值的神经元进行筛除处理，生成第六处理特征；
对第六处理特征进行边缘重构，生成增强参数；
将增强参数进行还原输出，生成重构图像。
本申请第二方面公开了一种基于人工智能的智能制造生产过程监控系统，包括：
第一获取单元，用于获取产品加工实时图像和深度学习生产过程监控模型，产品加工实时图像为通过至少两个刀具加工的目标产品的拍摄图像，深度学习生产过程监控模型包括产品缺陷检测卷积模型、第一缺陷特征提取卷积模型、第一生成器和刀具缺陷检测卷积模型；
第一生成单元，用于将产品加工实时图像输入产品缺陷检测卷积模型，生成产品缺陷概率；
第二获取单元，用于当产品缺陷概率表示目标产品存在缺陷时，获取已使用的刀具对应的刀具实时图像、刀具初始图像和刀具缺陷图像；
第二生成单元，用于将刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合；
第三生成单元，用于将刀具缺陷特征集合作为缺陷增强标签和刀具实时图像输入第一生成器进行缺陷特征融合，生成重构图像；
第四生成单元，用于将重构图像与刀具初始图像输入刀具缺陷检测卷积模型，生成刀具缺陷分布概率；
第五生成单元，用于根据刀具缺陷分布概率生成刀具状态结果。
可选的，深度学习生产过程监控模型还包括第二生成器；
在第一获取单元之后，在第一生成单元之前，智能制造生产过程监控方法还包括：
第三获取单元，用于获取产品缺陷特征；
特征融合单元，用于将产品缺陷特征作为缺陷增强标签和产品加工实时图像输入第二生成器进行缺陷特征融合。
可选的，深度学习生产过程监控模型还包括第二缺陷特征提取卷积模型；
第三获取单元，包括：
获取已使用的刀具存在缺陷时目标产品对应的产品缺陷图像；
获取目标产品的原料缺陷图像；
将产品缺陷图像输入第二缺陷特征提取卷积模型，生成第一产品缺陷特征，产品缺陷特征对应刀具缺陷；
将原料缺陷图像输入第二缺陷特征提取卷积模型，生成第二产品缺陷特征；
将第一产品缺陷特征和第二产品缺陷特征进行特征通道叠加，生成产品缺陷特征。
可选的，特征融合单元，包括：
为产品加工实时图像进行区域划分，生成各个刀具对应的加工区域；
将产品缺陷特征作为缺陷增强标签和产品加工实时图像输入第二生成器，根据加工区域进行缺陷特征融合。
可选的，产品缺陷概率为产品缺陷分布概率，产品缺陷分布概率包括至少两种缺陷的概率；
在第二生成单元之后，第五生成单元之前，智能制造生产过程监控系统还包括：
筛除单元，用于根据产品缺陷分布概率对刀具缺陷特征集合中的刀具缺陷特征进行筛除处理。
可选的，筛除单元，包括：
根据产品缺陷分布概率确定大于预设阈值的产品缺陷类型；
根据大于预设阈值的产品缺陷类型反向推导刀具缺陷分布概率；
根据刀具缺陷分布概率对刀具缺陷特征集合中的刀具缺陷特征进行筛除处理。
可选的，第三生成单元，包括：
对第一个刀具缺陷特征进行1*1卷积处理，生成缺陷卷积特征，将刀具缺陷特征和缺陷卷积特征进行通道叠加处理；
对刀具实时图像进行1*1卷积操作，生成刀具实时卷积特征；
对缺陷卷积特征进行区域像素注意力生成处理和通道相乘处理，生成第一处理特征；
将第一处理特征进行1*1卷积处理，生成卷积数据；
将卷积数据和第一处理特征进行通道叠加，生成第二处理特征；
对第二处理特征的特征通道进行向量计算，生成通道向量集合，并根据通道向量集合输出一维通道向量；
根据一维通道向量将第二处理特征按通道对应相乘，生成第三处理特征；
对第三处理特征进行残差提取和残差融合处理，生成融合残差；
将融合残差、刀具实时卷积特征和缺陷卷积特征进行通道叠加，生成第四处理特征；
对第四处理特征进行边缘重构，生成第五处理特征；
为第五处理特征对应的每个神经元分配注意力，并将注意力小于第一预设阈值的神经元进行筛除处理，生成第六处理特征；
对第六处理特征进行边缘重构，生成增强参数；
将增强参数进行还原输出，生成重构图像。
本申请第三方面提供了一种电子设备，包括：
处理器、存储器、输入输出单元以及总线；
处理器与存储器、输入输出单元以及总线相连；
存储器保存有程序，处理器调用程序以执行如第一方面以及第一方面的任意可选的智能制造生产过程监控方法。
本申请第四方面提供了一种计算机可读存储介质，计算机可读存储介质上保存有程序，程序在计算机上执行时执行如第一方面以及第一方面的任意可选的智能制造生产过程监控方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请中，实现获取产品加工实时图像和深度学习生产过程监控模型，产品加工实时图像为通过至少两个刀具加工的目标产品的拍摄图像，深度学习生产过程监控模型包括产品缺陷检测卷积模型、第一缺陷特征提取卷积模型、第一生成器和刀具缺陷检测卷积模型。将产品加工实时图像输入产品缺陷检测卷积模型，生成产品缺陷概率。产品缺陷检测卷积模型为深度学习图像识别模型，主要由于判断图像上对应位置是否存在产品缺陷。
当产品缺陷概率表示目标产品存在缺陷时，获取已使用的刀具对应的刀具实时图像、刀具初始图像和刀具缺陷图像。然后将刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合，提取缺陷特征主要是为了获取参考缺陷，增强后续的深度学习识别模型的检测效果。将刀具缺陷特征集合作为缺陷增强标签和刀具实时图像输入第一生成器进行缺陷特征融合，生成重构图像。其目的是为了对于图像进行缺陷增强，当刀具实时图像中存在对应的缺陷时，深度信息识别模型的检测概率会大大上升，当刀具实时图像不存在对应的缺陷时，则检测概率只会稍微提升，该环节的目的是为了对缺陷图像进行两极分化，如此一来便能增加识别的效果，更好的筛除不存在对应特征的图像。将重构图像与刀具初始图像输入刀具缺陷检测卷积模型，生成刀具缺陷分布概率。并最终根据刀具缺陷分布概率生成刀具状态结果。
通过一个深度学习图像识别模型，实现对产品缺陷的判定，以此先推导出数控刀具是否存在缺陷。再提取参考图像的缺陷特征，融入刀具实时图像中，再通过另一个深度信息图像识别模型进行分析判断，得到缺陷刀具和缺陷的种类，无需人工检查刀具的缺陷位置和种类，加快了检修速度，进而提高了在产品制造生产过程的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请基于人工智能的智能制造生产过程监控方法的一个实施例示意图；
图2为本申请基于人工智能的智能制造生产过程监控方法的第一阶段的一个实施例示意图；
图3为本申请基于人工智能的智能制造生产过程监控方法的第二阶段的一个实施例示意图；
图4为本申请基于人工智能的智能制造生产过程监控方法的第三阶段的一个实施例示意图；
图5为本申请基于人工智能的智能制造生产过程监控方法的第四阶段的另一个实施例示意图；
图6为本申请基于人工智能的智能制造生产过程监控系统的一个实施例示意图；
图7为本申请基于人工智能的智能制造生产过程监控方法系统的另一个实施例示意图；
图8为本申请电子设备的一个实施例示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在现有技术中，Micro-LED外观缺陷是指在Micro-LED显示屏制造过程中可能出现的一些不良外观特征或缺陷，如灯珠缺失、偏移、角度旋转、断晶、立晶、划痕、损伤及脏污等，这些缺陷可能会严重影响显示质量。现有技术中，为了检测和纠正这些外观缺陷，通常使用自动化检测系统结合机器视觉、深度学习和其他技术，以在生产过程中及时检测缺陷并将不良产品剔除。
目前，随着数控机床的自动化程度不断提高，针对刀具和原材料加工环节就进行监控就变得非常有必要。如果不设计针对刀具和原材料加工环节的监控，就有可能出现刀具损坏而未及时察觉的情况发生，这个时候，如果继续加工，不但会出现大量的不合格产品，严重时会引起刀具进一步发生损毁，导致影响数控机床的其他部件的损坏。现有的针对数控机床在制造生产过程中监控的方法有人工实时检查，人工实时检查主要针对成品或者半成品进行，通过观察成品和半成品的状态来判断刀具是否存在缺陷，这种方式对于生产少量的产品的确有效，但是一旦需要生产大量的产品，则很容易造成疲劳，增加人工成本的同时，针对刀具细微的损坏缺陷来说，人工观测对于精密产品上产生的缺陷也无法准确的判断。为了保证监控的精准度，则需要检查人员增加检查时间。
为了解决上述问题，人们开始使用人工智能进行生产制造过程的监控，通过深度学习模型对产品的外形进行缺陷分析，进而判断刀具是否存在缺陷。但是这种方式针对单个刀具加工的制造生产过程是非常合适的。但是，现如今，为了提高制造生产效率，往往会出现多个数控刀具对原材料进行加工，并且不同数控刀具加工区域存在重叠的情况，这几个数控刀具完成加工之后，才能进行图像采集，这就无法确定存在缺陷的刀具是哪一个的情况，并且也无法确定缺陷的种类属于缺块、单裂痕、多裂痕还是磨损等，并且有可能存在多种数控刀具缺陷同时存在的情况。故只能通过人工检测的方式单独查看数控刀具，降低了更换效率，进而降低了产品制造生产过程的效率。
基于此，本申请公开了一种基于人工智能的智能制造生产过程监控方法和系统，用于提高在产品制造生产过程的效率。
下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的方法可以应用于服务器、设备、终端或者其它具备逻辑处理能力的设备，对此，本申请不作限定。为方便描述，下面以执行主体为终端为例进行描述。
请参阅图1，本申请提供了一种基于人工智能的智能制造生产过程监控方法的一个实施例，包括：
101、获取产品加工实时图像和深度学习生产过程监控模型，产品加工实时图像为通过至少两个刀具加工的目标产品的拍摄图像，深度学习生产过程监控模型包括产品缺陷检测卷积模型、第一缺陷特征提取卷积模型、第一生成器和刀具缺陷检测卷积模型；
本实施例中，这段获取到产品加工实时图像，这里的产品加工实时图像是指一个原材料在数控机床上经过至少两个数控刀具的切削之后拍摄到的图像，两个数控刀具将原材料切削成目标产品，这里的目标产品并不一定是成品，也可以是半成品。
数控刀具切削的区域可以使重叠区域，也可以是不重叠区域。
深度学习生产过程监控模型是由多个深度学习模块组成，具体包括产品缺陷检测卷积模型、第一缺陷特征提取卷积模型、第一生成器和刀具缺陷检测卷积模型。
产品缺陷检测卷积模型是一个分析图像的卷积神经网络，可以使用图像识别神经网络训练原材料切削后产生的表面的拍摄图像，将正常图像和存在缺陷的图像同时训练，即可得到对应的产品缺陷检测卷积模型，这类图像识别技术为现有技术。需要说明的是，产品缺陷检测卷积模型为使用输出产品缺陷类型的分布式神经网络模型。
第一缺陷特征提取卷积模型为一个包括数个卷积核的结构，其用途为对缺陷图像或者是缺陷图像对应的缺陷区域进行卷积特征提取。
第一生成器为一个由于融合图像与缺陷特征的深度学习模块。
刀具缺陷检测卷积模型同产品缺陷检测卷积模型一样属于图像识别模块，但是刀具缺陷检测卷积模型主要是使用两张图像进行相似度对比，确定差异程度。
102、将产品加工实时图像输入产品缺陷检测卷积模型，生成产品缺陷概率；
本实施例中，终端将产品加工实时图像输入产品缺陷检测卷积模型，生成产品缺陷概率，具体只需要确定产品加工实时图像中存在缺陷特征的概率，如果概率大于预设的参考值，则确定存在缺陷，如不大于，则确定不存在缺陷，直接结束流程，让目标产品进入下一个生产制造环节。
103、当产品缺陷概率表示目标产品存在缺陷时，获取已使用的刀具对应的刀具实时图像、刀具初始图像和刀具缺陷图像；
当产品缺陷概率表示目标产品存在缺陷时，终端获取已使用的刀具对应的刀具实时图像、刀具初始图像和刀具缺陷图像，即将进行了切削的刀具进行全面检查，具体通过拍摄刀具的实时图像得到刀具实时图像，需要说明的是数控刀具的损坏包括自然磨损、缺口、裂缝等，如果存在这些缺陷的程度过大，有时候不需要通过本方法进行检测，只需要采集一下刀具自身的压力数据等运行数据即可判断。例如如果数控刀具存在较大的缺口，则有可能在预定位置无法触碰到原材料，或者是只能触碰到原计划深度中部分深度的原材料，这时数控刀具产生的运行数据会出现较大的差异。
本实施例中，针对的是数控刀具中细微的缺陷，针对精密的机械组件来说，使用的数控刀具要求也更高，这类加密操作可能会使得数控刀具在长时间使用之后产生细微的缺陷，从而使得机械组件表面生成细微的产品缺陷。这类细微的刀具缺陷在运行数据上难以分析，但是其对产品的影响却是巨大的。
需要说明的是，数控刀具之间的加工顺序关系，如果存在某一个数控刀具的加工区域会被另一个数控刀具完全覆盖，即将对应的加工区域修整，这就会使得某一些数控刀具无法采集到对应的加工区域，即漏检。本实施例中获取产品加工实时图像时，需要采取不要措施，如控制一下机床暂停，在加工区域被覆盖前进行该数控刀具的检测。或者是在事先进行加工流程的调整，以使得某一个刀具都能被纳入检测环节中。
104、将刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合；
终端将刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合，今天是通过卷积核进行卷积处理等操作，以生产对应的缺陷。本实施例中，终端需要对刀具缺陷图像进行区域划分，确定刀具的作用部分，再提取缺陷特征，使得计算量得到下降。刀具缺陷图像为已使用过的刀具存在不同缺陷时的拍摄图像，这类图像在事先已经进行样本的收集。
105、将刀具缺陷特征集合作为缺陷增强标签和刀具实时图像输入第一生成器进行缺陷特征融合，生成重构图像；
终端将刀具缺陷特征集合作为缺陷增强标签和刀具实时图像输入第一生成器进行缺陷特征融合，生成重构图像，用于加强刀具实时图像中可能存在的缺陷，具体的，终端会将刀具实时图像与不同的缺陷特征进行特征融合，形成多张重构图像。
106、将重构图像与刀具初始图像输入刀具缺陷检测卷积模型，生成刀具缺陷分布概率；
终端将多张重构图像与刀具初始图像进行对比分析，刀具初始图像是在刀具使用前进行拍摄的图像，该操作是为了保证对比的同源性。获取到多个对比的概率之后，换算成为刀具缺陷分布概率。
107、根据刀具缺陷分布概率生成刀具状态结果。
最后，终端根据刀具缺陷分布概率生成刀具状态结果，即在刀具缺陷分布概率中，确定是否存在高于预设参考值的刀具缺陷，如果存在，则表示对应的刀具存在缺陷，具体是什么缺陷也可以进一步分析。
本实施例中，实现获取产品加工实时图像和深度学习生产过程监控模型，产品加工实时图像为通过至少两个刀具加工的目标产品的拍摄图像，深度学习生产过程监控模型包括产品缺陷检测卷积模型、第一缺陷特征提取卷积模型、第一生成器和刀具缺陷检测卷积模型。将产品加工实时图像输入产品缺陷检测卷积模型，生成产品缺陷概率。产品缺陷检测卷积模型为深度学习图像识别模型，主要由于判断图像上对应位置是否存在产品缺陷。
当产品缺陷概率表示目标产品存在缺陷时，获取已使用的刀具对应的刀具实时图像、刀具初始图像和刀具缺陷图像。然后将刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合，提取缺陷特征主要是为了获取参考缺陷，增强后续的深度学习识别模型的检测效果。将刀具缺陷特征集合作为缺陷增强标签和刀具实时图像输入第一生成器进行缺陷特征融合，生成重构图像。其目的是为了对于图像进行缺陷增强，当刀具实时图像中存在对应的缺陷时，深度信息识别模型的检测概率会大大上升，当刀具实时图像不存在对应的缺陷时，则检测概率只会稍微提升，该环节的目的是为了对缺陷图像进行两极分化，如此一来便能增加识别的效果，更好的筛除不存在对应特征的图像。将重构图像与刀具初始图像输入刀具缺陷检测卷积模型，生成刀具缺陷分布概率。并最终根据刀具缺陷分布概率生成刀具状态结果。
通过一个深度学习图像识别模型，实现对产品缺陷的判定，以此先推导出数控刀具是否存在缺陷。再提取参考图像的缺陷特征，融入刀具实时图像中，再通过另一个深度信息图像识别模型进行分析判断，得到缺陷刀具和缺陷的种类，无需人工检查刀具的缺陷位置和种类，加快了检修速度，进而提高了在产品制造生产过程的效率。
请参阅图2、图3、图4和图5，本申请提供了一种基于人工智能的智能制造生产过程监控方法的一个实施例，包括：
201、获取产品加工实时图像和深度学习生产过程监控模型，产品加工实时图像为通过至少两个刀具加工的目标产品的拍摄图像，深度学习生产过程监控模型包括产品缺陷检测卷积模型、第一缺陷特征提取卷积模型、第一生成器和刀具缺陷检测卷积模型；
本实施例中的步骤201与前述实施例中步骤101类似，此处不再赘述。
202、获取已使用的刀具存在缺陷时目标产品对应的产品缺陷图像；
203、获取目标产品的原料缺陷图像；
204、将产品缺陷图像输入第二缺陷特征提取卷积模型，生成第一产品缺陷特征，产品缺陷特征对应刀具缺陷；
205、将原料缺陷图像输入第二缺陷特征提取卷积模型，生成第二产品缺陷特征；
206、将第一产品缺陷特征和第二产品缺陷特征进行特征通道叠加，生成产品缺陷特征；
本实施例中，为了辨别是原材料缺陷问题还是刀具缺陷问题，不仅需要终端获取已使用的刀具存在缺陷时目标产品对应的产品缺陷图像，还要获取目标产品的原料缺陷图像，因为缺陷的原因还可能是原材料缺陷，以及原材料缺陷加刀具缺陷。这种可能性是很容易存在的，当原材料上存在其他金属杂质，或者是预处理的焊接精度不足，造成原材料本身的缺陷，刀具在切削时，触碰到过硬的杂质，极有可能产生裂缝或者缺口。已经产生缺陷的刀具在处理存在缺陷的焊接区域或者杂质区域时，其原材料缺陷会与刀具加工缺陷重合。这就会使得针对缺陷的检测存在误差。
终端将产品缺陷图像输入第二缺陷特征提取卷积模型，生成第一产品缺陷特征，产品缺陷特征对应刀具缺陷，接下来终端将原料缺陷图像输入第二缺陷特征提取卷积模型，生成第二产品缺陷特征，最后将第一产品缺陷特征和第二产品缺陷特征进行特征通道叠加，生成产品缺陷特征，该产品缺陷特征能够检测刀具缺陷、原材料缺陷，也能够检测二者缺陷的融合。本实施例中，根据不同的原材料缺陷和不同的刀具缺陷机器可以生成多种产品缺陷特征。
207、为产品加工实时图像进行区域划分，生成各个刀具对应的加工区域；
208、将产品缺陷特征作为缺陷增强标签和产品加工实时图像输入第二生成器，根据加工区域进行缺陷特征融合；
终端为产品加工实时图像进行区域划分，生成各个刀具对应的加工区域，并且将产品缺陷特征作为缺陷增强标签和产品加工实时图像输入第二生成器，根据加工区域进行缺陷特征融合，其目的是为了减少计算量因为一般情况下，使用产品加工实时图像对某一种刀具的各个缺陷特征分别进行特征融合，得到多张图像，另一种刀具也需要照此方法进行图像生成。而使用加工区域划分之后，不仅可以在同一张产品加工实时图像上融合缺陷特征，而且在后续的检测过程中，仅仅检测融合了缺陷的价格区域，相较于原图来说，计算区域较少，需要计算的图像也较少了。
209、将产品加工实时图像输入产品缺陷检测卷积模型，生成产品缺陷概率；
210、当产品缺陷概率表示目标产品存在缺陷时，获取已使用的刀具对应的刀具实时图像、刀具初始图像和刀具缺陷图像；
211、将刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合；
本实施例中的步骤209至步骤211与前述实施例中步骤102至步骤104类似，此处不再赘述。
212、根据产品缺陷分布概率确定大于预设阈值的产品缺陷类型；
213、根据大于预设阈值的产品缺陷类型反向推导刀具缺陷分布概率；
214、根据刀具缺陷分布概率对刀具缺陷特征集合中的刀具缺陷特征进行筛除处理；
本实施例中，产品缺陷概率为产品缺陷分布概率，这就使得能够确定产品缺陷的类型，因为不同的刀具对原材料产生的缺陷是不同的，所以可以根据产品缺陷分布概率反推导刀具缺陷的分布概率。例如：根据产品加工区域A（刀具A）的产品缺陷为凹陷，根据这个凹陷结合原材料的自身缺陷原因进行查表或者计算，以此反向推导刀具缺陷分布概率，确定刀具A存在磨损的概率为百分之30，存在缺口的概率为百分之40，存在裂缝的概率为20，存在其他缺陷的概率为百分之10。这时，即可将这三个缺陷进行。最后终端根据刀具缺陷分布概率对刀具缺陷特征集合中的刀具缺陷特征进行筛除处理。
215、对第一个刀具缺陷特征进行1*1卷积处理，生成缺陷卷积特征，将刀具缺陷特征和缺陷卷积特征进行通道叠加处理；
216、对刀具实时图像进行1*1卷积操作，生成刀具实时卷积特征；
217、对缺陷卷积特征进行区域像素注意力生成处理和通道相乘处理，生成第一处理特征；
218、将第一处理特征进行1*1卷积处理，生成卷积数据；
219、将卷积数据和第一处理特征进行通道叠加，生成第二处理特征；
220、对第二处理特征的特征通道进行向量计算，生成通道向量集合，并根据通道向量集合输出一维通道向量；
221、根据一维通道向量将第二处理特征按通道对应相乘，生成第三处理特征；
222、对第三处理特征进行残差提取和残差融合处理，生成融合残差；
223、将融合残差、刀具实时卷积特征和缺陷卷积特征进行通道叠加，生成第四处理特征；
224、对第四处理特征进行边缘重构，生成第五处理特征；
225、为第五处理特征对应的每个神经元分配注意力，并将注意力小于第一预设阈值的神经元进行筛除处理，生成第六处理特征；
226、对第六处理特征进行边缘重构，生成增强参数；
227、将增强参数进行还原输出，生成重构图像；
本实施例中，终端首先对第一个刀具缺陷特征进行1*1卷积处理，生成缺陷卷积特征，将刀具缺陷特征和缺陷卷积特征进行通道叠加处理。对刀具实时图像进行1*1卷积操作，生成刀具实时卷积特征。
终端对缺陷卷积特征进行区域像素注意力生成处理和通道相乘处理，生成第一处理特征，具体的，终端可以使用区域像素注意力模块RPA对缺陷卷积特征进行区域像素注意力生成处理和通道相乘处理，本步骤的区域像素注意力模块RPA，包含一个BatchNorm-DefConv-ReLU、一个BatchNorm-DefConv、一个SigMoid函数模块和一个双线性插值模块。BatchNorm-DefConv-ReLU、BatchNorm-DefConv、SigMoid函数模块和双线性插值模块依次串联。这里的BatchNorm-DefConv-ReLU层和BatchNorm-DefConv层都属于卷积神经网络中常用的特征处理层，SigMoid函数为已知函数，双线性插值运算方法也是已知算法。区域像素注意力模块RPA作为第一重注意力机制，由于给第一采样特征的每块区域像素分配一个权重，使得神经网络对于第一采样特征明显的区域更加关注。
终端将第一处理特征进行1*1卷积处理，生成卷积数据。将卷积数据和第一处理特征进行通道叠加，生成第二处理特征。
本实施例中，终端可以通过通道注意力模块Attention对第二处理特征的特征通道进行向量计算，生成通道向量集合，并根据通道向量集合输出一维通道向量。根据一维通道向量将第二处理特征按通道对应相乘，生成第三处理特征。具体的，通道注意力模块Attention包括一个全局平均池化层、一个1*1Conv-ReLU和一个Conv-Sigmoid，下面详细描述通道注意力模块的运行原理。经过第一通道注意力模块Attention的全局平均池化层(Global Pooling) 生成通道向量集合，再经过1×1卷积核、ReLU激活函数进行通道压缩，再经过1×1卷积核以及Sigmoid激活函数，输出一个维度等于输入特征通道数的一维通道向量，这就是各个特征通道的注意力权重，将其输入特征各个通道相乘。
然后，终端根据一维通道向量将第二处理特征按通道对应相乘，生成第三处理特征。
终端对第三处理特征进行残差提取和残差融合处理，生成融合残差，具体的，终端对第三处理特征进行残差提取，生成第一残差，然后对第一残差进行残差提取，生成第二残差，然后对第二残差进行残差提取，生成第三残差，最后将三个残差按照预设叠加系数进行融合，生成最后的融合残差，这个步骤能够减少对原图的变化。
终端将融合残差、刀具实时卷积特征和缺陷卷积特征进行通道叠加，生成第四处理特征。对第四处理特征进行边缘重构，生成第五处理特征。为第五处理特征对应的每个神经元分配注意力，并将注意力小于第一预设阈值的神经元进行筛除处理，生成第六处理特征。对第六处理特征进行边缘重构，生成增强参数。将增强参数进行还原输出（具体通过输出模块Conv_out进行还原输出），生成重构图像。
228、将重构图像与刀具初始图像输入刀具缺陷检测卷积模型，生成刀具缺陷分布概率；
229、根据刀具缺陷分布概率生成刀具状态结果。
本实施例中的步骤228至步骤229与前述实施例中步骤106至步骤107类似，此处不再赘述。
请参阅图6，本申请提供了一种基于人工智能的智能制造生产过程监控系统的一个实施例，包括：
第一获取单元601，用于获取产品加工实时图像和深度学习生产过程监控模型，产品加工实时图像为通过至少两个刀具加工的目标产品的拍摄图像，深度学习生产过程监控模型包括产品缺陷检测卷积模型、第一缺陷特征提取卷积模型、第一生成器和刀具缺陷检测卷积模型；
第一生成单元602，用于将产品加工实时图像输入产品缺陷检测卷积模型，生成产品缺陷概率；
第二获取单元603，用于当产品缺陷概率表示目标产品存在缺陷时，获取已使用的刀具对应的刀具实时图像、刀具初始图像和刀具缺陷图像；
第二生成单元604，用于将刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合；
第三生成单元605，用于将刀具缺陷特征集合作为缺陷增强标签和刀具实时图像输入第一生成器进行缺陷特征融合，生成重构图像；
第四生成单元606，用于将重构图像与刀具初始图像输入刀具缺陷检测卷积模型，生成刀具缺陷分布概率；
第五生成单元607，用于根据刀具缺陷分布概率生成刀具状态结果。
请参阅图7，本申请提供了一种基于人工智能的智能制造生产过程监控系统的一个实施例，包括：
第一获取单元701，用于获取产品加工实时图像和深度学习生产过程监控模型，产品加工实时图像为通过至少两个刀具加工的目标产品的拍摄图像，深度学习生产过程监控模型包括产品缺陷检测卷积模型、第一缺陷特征提取卷积模型、第一生成器和刀具缺陷检测卷积模型；
第三获取单元702，用于获取产品缺陷特征；
可选的，深度学习生产过程监控模型还包括第二缺陷特征提取卷积模型；
第三获取单元702，包括：
获取已使用的刀具存在缺陷时目标产品对应的产品缺陷图像；
获取目标产品的原料缺陷图像；
将产品缺陷图像输入第二缺陷特征提取卷积模型，生成第一产品缺陷特征，产品缺陷特征对应刀具缺陷；
将原料缺陷图像输入第二缺陷特征提取卷积模型，生成第二产品缺陷特征；
将第一产品缺陷特征和第二产品缺陷特征进行特征通道叠加，生成产品缺陷特征。
特征融合单元703，用于将产品缺陷特征作为缺陷增强标签和产品加工实时图像输入第二生成器进行缺陷特征融合；
可选的，特征融合单元703，包括：
为产品加工实时图像进行区域划分，生成各个刀具对应的加工区域；
将产品缺陷特征作为缺陷增强标签和产品加工实时图像输入第二生成器，根据加工区域进行缺陷特征融合。
第一生成单元704，用于将产品加工实时图像输入产品缺陷检测卷积模型，生成产品缺陷概率；
第二获取单元705，用于当产品缺陷概率表示目标产品存在缺陷时，获取已使用的刀具对应的刀具实时图像、刀具初始图像和刀具缺陷图像；
第二生成单元706，用于将刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合；
筛除单元707，用于根据产品缺陷分布概率对刀具缺陷特征集合中的刀具缺陷特征进行筛除处理；
可选的，筛除单元707，包括：
根据产品缺陷分布概率确定大于预设阈值的产品缺陷类型；
根据大于预设阈值的产品缺陷类型反向推导刀具缺陷分布概率；
根据刀具缺陷分布概率对刀具缺陷特征集合中的刀具缺陷特征进行筛除处理。
第三生成单元708，用于将刀具缺陷特征集合作为缺陷增强标签和刀具实时图像输入第一生成器进行缺陷特征融合，生成重构图像；
可选的，第三生成单元708，包括：
对第一个刀具缺陷特征进行1*1卷积处理，生成缺陷卷积特征，将刀具缺陷特征和缺陷卷积特征进行通道叠加处理；
对刀具实时图像进行1*1卷积操作，生成刀具实时卷积特征；
对缺陷卷积特征进行区域像素注意力生成处理和通道相乘处理，生成第一处理特征；
将第一处理特征进行1*1卷积处理，生成卷积数据；
将卷积数据和第一处理特征进行通道叠加，生成第二处理特征；
对第二处理特征的特征通道进行向量计算，生成通道向量集合，并根据通道向量集合输出一维通道向量；
根据一维通道向量将第二处理特征按通道对应相乘，生成第三处理特征；
对第三处理特征进行残差提取和残差融合处理，生成融合残差；
将融合残差、刀具实时卷积特征和缺陷卷积特征进行通道叠加，生成第四处理特征；
对第四处理特征进行边缘重构，生成第五处理特征；
为第五处理特征对应的每个神经元分配注意力，并将注意力小于第一预设阈值的神经元进行筛除处理，生成第六处理特征；
对第六处理特征进行边缘重构，生成增强参数；
将增强参数进行还原输出，生成重构图像。
第四生成单元709，用于将重构图像与刀具初始图像输入刀具缺陷检测卷积模型，生成刀具缺陷分布概率；
第五生成单元710，用于根据刀具缺陷分布概率生成刀具状态结果。
请参阅图8，本申请提供了一种电子设备，包括：
处理器801、存储器803、输入输出单元802以及总线804。
处理器801与存储器803、输入输出单元802以及总线804相连。
存储器803保存有程序，处理器801调用程序以执行如图1、图2和图3、图4和图5中的智能制造生产过程监控方法。
本申请提供了一种计算机可读存储介质，计算机可读存储介质上保存有程序，程序在计算机上执行时执行如图1、图2和图3、图4和图5中的智能制造生产过程监控方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (9)

1.一种基于人工智能的智能制造生产过程监控方法，其特征在于，包括：
获取产品加工实时图像和深度学习生产过程监控模型，所述产品加工实时图像为通过至少两个刀具加工的目标产品的拍摄图像，所述深度学习生产过程监控模型包括产品缺陷检测卷积模型、第一缺陷特征提取卷积模型、第一生成器和刀具缺陷检测卷积模型；
将所述产品加工实时图像输入所述产品缺陷检测卷积模型，生成产品缺陷概率；
当所述产品缺陷概率表示所述目标产品存在缺陷时，获取已使用的刀具对应的刀具实时图像、刀具初始图像和刀具缺陷图像；
将所述刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合；
对第一个所述刀具缺陷特征进行1*1卷积处理，生成缺陷卷积特征，将所述刀具缺陷特征和所述缺陷卷积特征进行通道叠加处理；
对所述刀具实时图像进行1*1卷积操作，生成刀具实时卷积特征；
对所述缺陷卷积特征进行区域像素注意力生成处理和通道相乘处理，生成第一处理特征；
将所述第一处理特征进行1*1卷积处理，生成卷积数据；
将所述卷积数据和所述第一处理特征进行通道叠加，生成第二处理特征；
对所述第二处理特征的特征通道进行向量计算，生成通道向量集合，并根据通道向量集合输出一维通道向量；
根据一维通道向量将所述第二处理特征按通道对应相乘，生成第三处理特征；
对所述第三处理特征进行残差提取和残差融合处理，生成融合残差；
将所述融合残差、所述刀具实时卷积特征和所述缺陷卷积特征进行通道叠加，生成第四处理特征；
对所述第四处理特征进行边缘重构，生成第五处理特征；
为所述第五处理特征对应的每个神经元分配注意力，并将注意力小于第一预设阈值的神经元进行筛除处理，生成第六处理特征；
对所述第六处理特征进行边缘重构，生成增强参数；
将所述增强参数进行还原输出，生成重构图像；
将所述重构图像与所述刀具初始图像输入所述刀具缺陷检测卷积模型，生成刀具缺陷分布概率；
根据所述刀具缺陷分布概率生成刀具状态结果。
2.根据权利要求1所述的智能制造生产过程监控方法，其特征在于，所述深度学习生产过程监控模型还包括第二生成器；
在获取产品加工实时图像和深度学习生产过程监控模型之后，将所述产品加工实时图像输入所述产品缺陷检测卷积模型，生成产品缺陷概率之前，所述智能制造生产过程监控方法还包括：
获取产品缺陷特征；
将所述产品缺陷特征作为缺陷增强标签和所述产品加工实时图像输入所述第二生成器进行缺陷特征融合。
3.根据权利要求2所述的智能制造生产过程监控方法，其特征在于，所述深度学习生产过程监控模型还包括第二缺陷特征提取卷积模型；
所述获取产品缺陷特征，包括：
获取已使用的刀具存在缺陷时所述目标产品对应的产品缺陷图像；
获取所述目标产品的原料缺陷图像；
将所述产品缺陷图像输入第二缺陷特征提取卷积模型，生成第一产品缺陷特征，所述产品缺陷特征对应刀具缺陷；
将所述原料缺陷图像输入第二缺陷特征提取卷积模型，生成第二产品缺陷特征；
将所述第一产品缺陷特征和所述第二产品缺陷特征进行特征通道叠加，生成产品缺陷特征。
4.根据权利要求2所述的智能制造生产过程监控方法，其特征在于，将所述产品缺陷特征作为缺陷增强标签和所述产品加工实时图像输入所述第二生成器进行缺陷特征融合，包括：
为所述产品加工实时图像进行区域划分，生成各个刀具对应的加工区域；
将所述产品缺陷特征作为缺陷增强标签和所述产品加工实时图像输入所述第二生成器，根据所述加工区域进行缺陷特征融合。
5.根据权利要求1至4中任一项所述的智能制造生产过程监控方法，其特征在于，所述产品缺陷概率为产品缺陷分布概率，所述产品缺陷分布概率包括至少两种缺陷的概率；
在将所述刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合之后，将所述刀具缺陷特征集合作为缺陷增强标签和所述刀具实时图像输入所述第一生成器进行缺陷特征融合，生成重构图像之前，所述智能制造生产过程监控方法还包括：
根据产品缺陷分布概率对所述刀具缺陷特征集合中的刀具缺陷特征进行筛除处理。
6.根据权利要求5所述的智能制造生产过程监控方法，其特征在于，所述根据产品缺陷分布概率对所述刀具缺陷特征集合中的刀具缺陷特征进行筛除处理，包括：
根据所述产品缺陷分布概率确定大于预设阈值的产品缺陷类型；
根据大于预设阈值的产品缺陷类型反向推导刀具缺陷分布概率；
根据所述刀具缺陷分布概率对所述刀具缺陷特征集合中的刀具缺陷特征进行筛除处理。
7.一种基于人工智能的智能制造生产过程监控系统，其特征在于，包括：
第一获取单元，用于获取产品加工实时图像和深度学习生产过程监控模型，所述产品加工实时图像为通过至少两个刀具加工的目标产品的拍摄图像，所述深度学习生产过程监控模型包括产品缺陷检测卷积模型、第一缺陷特征提取卷积模型、第一生成器和刀具缺陷检测卷积模型；
第一生成单元，用于将所述产品加工实时图像输入所述产品缺陷检测卷积模型，生成产品缺陷概率；
第二获取单元，用于当所述产品缺陷概率表示所述目标产品存在缺陷时，获取已使用的刀具对应的刀具实时图像、刀具初始图像和刀具缺陷图像；
第二生成单元，用于将所述刀具缺陷图像输入第一缺陷特征提取卷积模型，生成刀具缺陷特征集合；
第三生成单元，用于将所述刀具缺陷特征集合作为缺陷增强标签和所述刀具实时图像输入所述第一生成器进行缺陷特征融合，生成重构图像；
第三生成单元，包括：
对第一个刀具缺陷特征进行1*1卷积处理，生成缺陷卷积特征，将刀具缺陷特征和缺陷卷积特征进行通道叠加处理；
对刀具实时图像进行1*1卷积操作，生成刀具实时卷积特征；
对缺陷卷积特征进行区域像素注意力生成处理和通道相乘处理，生成第一处理特征；
将第一处理特征进行1*1卷积处理，生成卷积数据；
将卷积数据和第一处理特征进行通道叠加，生成第二处理特征；
对第二处理特征的特征通道进行向量计算，生成通道向量集合，并根据通道向量集合输出一维通道向量；
根据一维通道向量将第二处理特征按通道对应相乘，生成第三处理特征；
对第三处理特征进行残差提取和残差融合处理，生成融合残差；
将融合残差、刀具实时卷积特征和缺陷卷积特征进行通道叠加，生成第四处理特征；
对第四处理特征进行边缘重构，生成第五处理特征；
为第五处理特征对应的每个神经元分配注意力，并将注意力小于第一预设阈值的神经元进行筛除处理，生成第六处理特征；
对第六处理特征进行边缘重构，生成增强参数；
将增强参数进行还原输出，生成重构图像；
第四生成单元，用于将所述重构图像与所述刀具初始图像输入所述刀具缺陷检测卷积模型，生成刀具缺陷分布概率；
第五生成单元，用于根据所述刀具缺陷分布概率生成刀具状态结果。
8.根据权利要求7所述的智能制造生产过程监控系统，其特征在于，所述深度学习生产过程监控模型还包括第二生成器；
在第一获取单元之后，在第一生成单元之前，所述智能制造生产过程监控方法还包括：
第三获取单元，用于获取产品缺陷特征；
特征融合单元，用于将所述产品缺陷特征作为缺陷增强标签和所述产品加工实时图像输入所述第二生成器进行缺陷特征融合。
9.根据权利要求8所述的智能制造生产过程监控系统，其特征在于，所述深度学习生产过程监控模型还包括第二缺陷特征提取卷积模型；
所述第三获取单元，包括：
获取已使用的刀具存在缺陷时所述目标产品对应的产品缺陷图像；
获取所述目标产品的原料缺陷图像；
将所述产品缺陷图像输入第二缺陷特征提取卷积模型，生成第一产品缺陷特征，所述产品缺陷特征对应刀具缺陷；
将所述原料缺陷图像输入第二缺陷特征提取卷积模型，生成第二产品缺陷特征；
将所述第一产品缺陷特征和所述第二产品缺陷特征进行特征通道叠加，生成产品缺陷特征。
CN202410354357.3A 2024-03-27 2024-03-27 一种基于人工智能的智能制造生产过程监控方法和系统 Active CN117952983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410354357.3A CN117952983B (zh) 2024-03-27 2024-03-27 一种基于人工智能的智能制造生产过程监控方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410354357.3A CN117952983B (zh) 2024-03-27 2024-03-27 一种基于人工智能的智能制造生产过程监控方法和系统

Publications (2)

Publication Number Publication Date
CN117952983A CN117952983A (zh) 2024-04-30
CN117952983B true CN117952983B (zh) 2024-07-26

Family

ID=90792496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410354357.3A Active CN117952983B (zh) 2024-03-27 2024-03-27 一种基于人工智能的智能制造生产过程监控方法和系统

Country Status (1)

Country Link
CN (1) CN117952983B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118521965B (zh) * 2024-07-22 2024-10-08 中电科大数据研究院有限公司 一种基于场景智能感知的异常检测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155471A1 (en) * 2018-02-07 2019-08-15 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783906B (zh) * 2018-12-29 2023-07-07 东北大学 一种管道内检测漏磁数据智能分析系统及方法
US12031922B2 (en) * 2019-10-09 2024-07-09 Shandong University Multi-arm robot used for tunnel lining inspection and defect diagnosis in operation period
US11450012B2 (en) * 2019-10-31 2022-09-20 Kla Corporation BBP assisted defect detection flow for SEM images
CN111553929B (zh) * 2020-05-12 2022-08-09 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN112184693B (zh) * 2020-10-13 2023-10-24 东北大学 一种射线工业底片焊缝缺陷智能检测方法
CN112858473B (zh) * 2020-12-25 2022-07-12 杭州浙达精益机电技术股份有限公司 一种基于特征融合的道岔尖轨伤损状态监测方法
CN113034478B (zh) * 2021-03-31 2023-06-06 太原科技大学 一种基于深度学习网络的焊缝缺陷识别定位方法、系统
CN113344475B (zh) * 2021-08-05 2021-12-31 国网江西省电力有限公司电力科学研究院 基于序列模态分解的变压器套管缺陷识别方法及系统
CN113516656B (zh) * 2021-09-14 2021-12-14 浙江双元科技股份有限公司 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法
WO2023050295A1 (zh) * 2021-09-30 2023-04-06 中远海运科技股份有限公司 一种基于多模态异质特征融合的视频密集事件描述方法
CN114119386A (zh) * 2021-10-11 2022-03-01 内蒙古科技大学 一种基于深度卷积对抗网络和泊松融合的数据增强方法及装置
CN113920096B (zh) * 2021-10-14 2024-07-02 广东工业大学 一种集成电路金属封装缺陷检测方法
CN114140398B (zh) * 2021-11-15 2024-07-16 上海大学 一种利用无缺陷图像的少样本缺陷检测方法
CN114419014A (zh) * 2022-01-19 2022-04-29 河北工业大学 基于特征重构的表面缺陷检测方法
CN114972213A (zh) * 2022-05-09 2022-08-30 浙江科技学院 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法
CN115294038A (zh) * 2022-07-25 2022-11-04 河北工业大学 一种基于联合优化与混合注意力特征融合的缺陷检测方法
CN115170548A (zh) * 2022-07-29 2022-10-11 衢州学院 基于无监督学习的皮革缺陷自动检测方法及装置
CN115631127B (zh) * 2022-08-15 2023-09-19 无锡东如科技有限公司 一种工业缺陷检测的图像分割方法
CN115439427A (zh) * 2022-08-26 2022-12-06 常州大学 基于级联yolo-gan的晶圆缺陷检测及定位算法
CN115393333A (zh) * 2022-08-31 2022-11-25 广东工业大学 一种基于注意力生成对抗网络的工业品表面缺陷检测方法
US20240078659A1 (en) * 2022-09-06 2024-03-07 Applied Materials Israel Ltd. Defect examination on a semiconductor specimen
US20230206603A1 (en) * 2022-09-19 2023-06-29 Nanjing University Of Posts And Telecommunications High-precision point cloud completion method based on deep learning and device thereof
CN115564950A (zh) * 2022-09-29 2023-01-03 中北大学 基于深度学习的小样本火箭弹粘接缺陷检测方法
CN115619743A (zh) * 2022-10-20 2023-01-17 华中科技大学 Oled新型显示器件表面缺陷检测模型的构建方法及其应用
CN115760739A (zh) * 2022-11-09 2023-03-07 浙江中烟工业有限责任公司 云边协同场景下基于深度互学习的卷烟包装缺陷检测方法
CN116206104A (zh) * 2022-12-28 2023-06-02 苏州数算人工智能科技有限公司 用于工业外观缺陷检测的人工智能分割分类算法
CN116378951A (zh) * 2023-03-31 2023-07-04 浙江工业大学 一种封闭压缩机制造中产品缺陷在线检测装置及方法
CN116645514A (zh) * 2023-06-25 2023-08-25 西南交通大学 一种改进U2-Net的瓷砖表面缺陷分割方法
CN117218101A (zh) * 2023-09-27 2023-12-12 杭州电子科技大学 一种基于语义分割的复合材料风电叶片缺陷检测方法
CN117541568A (zh) * 2023-11-24 2024-02-09 长春工业大学 一种基于深度学习的汽车刹车盘表面缺陷检测方法
CN117593304B (zh) * 2024-01-19 2024-04-26 山东山科数字经济研究院有限公司 基于交叉局部全局特征的半监督工业品表面缺陷检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155471A1 (en) * 2018-02-07 2019-08-15 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof

Also Published As

Publication number Publication date
CN117952983A (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN101670533A (zh) 基于工件加工表面图像分析的刀具磨损状态评价方法
CN117952983B (zh) 一种基于人工智能的智能制造生产过程监控方法和系统
García-Pérez et al. CNN-based in situ tool wear detection: A study on model training and data augmentation in turning inserts
CN111815555A (zh) 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN112150460B (zh) 检测方法、检测系统、设备和介质
CN112184667A (zh) 缺陷检测、修复方法、装置以及存储介质
Angelone et al. Bio-intelligent selective laser melting system based on convolutional neural networks for in-process fault identification
CN115035092A (zh) 基于图像的瓶体检测方法、装置、设备及存储介质
CN116228651A (zh) 一种布匹缺陷检测方法、系统、设备及介质
CN118521965B (zh) 一种基于场景智能感知的异常检测方法及系统
CN111242924A (zh) 一种产品质量管理系统
Frayman et al. Machine vision system for automatic inspection of surface defects in aluminum die casting
CN116681644B (zh) 基于变分贝叶斯推理的烟支外观缺陷检测方法
CN117689646A (zh) 一种正负样本融合的高精度缺陷检测方法、系统及介质
CN114119562B (zh) 一种基于深度学习的刹车盘外表面缺陷检测方法及系统
CN116309475A (zh) 自动检测滚筒齿座焊接质量的机器视觉检测方法
CN115797326A (zh) 一种基于改进yolox-s算法的金属铸件表面缺陷检测方法
CN117817211B (zh) 基于机器视觉的焊接自动化控制方法及系统
KR102658479B1 (ko) 품질 검사 서버 및 이의 실행 방법
CN118566083B (zh) 一种桑椹脱粒效果与脱粒粒度检测方法、装置及设备
CN117409332B (zh) 基于大数据处理的长材刨花外观数据检测系统及方法
CN117593301B (zh) 基于机器视觉的内存条损伤快速检测方法及系统
KR102609153B1 (ko) 딥러닝 기반 제조 영상의 이상 탐지 장치 및 방법
CN112634236B (zh) 一种基于机器视觉的车门外观检测方法
CN118980694A (zh) 一种涡轮蜗壳加工缺陷在线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant