CN115393779A - 用于激光熔覆金属球制造的控制系统及其控制方法 - Google Patents
用于激光熔覆金属球制造的控制系统及其控制方法 Download PDFInfo
- Publication number
- CN115393779A CN115393779A CN202211341748.9A CN202211341748A CN115393779A CN 115393779 A CN115393779 A CN 115393779A CN 202211341748 A CN202211341748 A CN 202211341748A CN 115393779 A CN115393779 A CN 115393779A
- Authority
- CN
- China
- Prior art keywords
- scale
- characteristic
- feature
- wind field
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002184 metal Substances 0.000 title claims abstract description 146
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 146
- 238000004372 laser cladding Methods 0.000 title claims description 60
- 238000004519 manufacturing process Methods 0.000 title claims description 60
- 238000000034 method Methods 0.000 title claims description 36
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 238000009826 distribution Methods 0.000 claims abstract description 43
- 238000012544 monitoring process Methods 0.000 claims abstract description 38
- 230000004043 responsiveness Effects 0.000 claims abstract description 31
- 238000003062 neural network model Methods 0.000 claims abstract description 26
- 239000002245 particle Substances 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims abstract description 20
- 230000003247 decreasing effect Effects 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 197
- 239000011159 matrix material Substances 0.000 claims description 55
- 238000000465 moulding Methods 0.000 claims description 44
- 238000013527 convolutional neural network Methods 0.000 claims description 37
- 238000010586 diagram Methods 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims 1
- 239000012798 spherical particle Substances 0.000 abstract description 12
- 230000003044 adaptive effect Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 11
- 238000011217 control strategy Methods 0.000 description 5
- 238000000889 atomisation Methods 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000002844 melting Methods 0.000 description 3
- 230000008018 melting Effects 0.000 description 3
- 239000002994 raw material Substances 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/25—Process efficiency
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Feedback Control In General (AREA)
Abstract
公开了一种用于激光熔覆金属球制造的控制系统及其控制方法，其通过多尺度邻域特征提取模块提取预定时间段内多个预定时间点的风场的压强值在不同时间跨度内的分布特征；然后，通过具有多重感受野的双流卷积神经网络模型提取预定时间段的金属球成型监控视频在各个成型关键帧中不同尺寸的图像局部区域的金属球颗粒分布特征，并使用具有三维卷积核的卷积神经网络模型作为特征提取器来捕捉金属球颗粒的状态特征随时间的变化特征；接着利用风场的压强值的分布特征和金属球颗粒的状态特征随时间的变化特征之间的响应性关联对当前时间点的风场的压强值应增大或应减小进行控制。这样，可以提高对于风场的压强值的自适应控制的精准度。
Description
技术领域
本申请涉及智能化控制技术领域，且更为具体地，涉及一种用于激光熔覆金属球制造的控制系统及其控制方法。
背景技术
激光熔融（Selective laser melting）是金属粉末的快速成型技术，能直接成型出完全致密度的金属零件，不需要粘结剂。现有国内生产不锈钢粉末的激光熔融金属加工设备所制备的金属球的圆度低、产品收率低，在使用过程中造成结合不好，影响使用质量。
针对上述技术问题，现有一些厂家通过雾化方案来解决。具体地，在雾化过程中形成一个悬浮风场，通过高压保护气动风刀作用，把融化的高纯铁水打散，在保护气体的风场中，形成微小颗粒。并且，在保护气体的全程保护下，减少了氧化，最终颗粒度更细，氧化更少。
虽然上述方案能够改善金属球成型质量，但在具体实施中，却发现金属球粒度不均匀且每次产品的一致性难以保证，其主要原因为在金属球制备中，风场的压强值是波动的，但因针对不同批次的原料所采用的风场的控制策略是一致的，导致最终金属球粒度不均匀且每次产品的一致性难以保证。
因此，期待一种用于激光熔覆金属球制造的控制方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于激光熔覆金属球制造的控制系统及其控制方法，其通过多尺度邻域特征提取模块提取预定时间段内多个预定时间点的风场的压强值在不同时间跨度内的分布特征；然后，通过具有多重感受野的双流卷积神经网络模型提取预定时间段的金属球成型监控视频在各个成型关键帧中不同尺寸的图像局部区域的金属球颗粒分布特征，并使用具有三维卷积核的卷积神经网络模型作为特征提取器来捕捉金属球颗粒的状态特征随时间的变化特征；接着利用风场的压强值的分布特征和金属球颗粒的状态特征随时间的变化特征之间的响应性关联以对当前时间点的风场的压强值应增大或应减小进行控制。这样，可以提高对于风场的压强值的自适应控制的精准度。
根据本申请的一个方面，提供了一种用于激光熔覆金属球制造的控制系统，其包括：监控模块，用于获取预定时间段内多个预定时间点的风场的压强值以及所述预定时间段的金属球成型监控视频；风场压强编码模块，用于将所述预定时间段内多个预定时间点的风场的压强值排列为压强输入向量后通过多尺度邻域特征提取模块以得到多尺度风场压强特征向量；采样模块，用于从所述金属球成型监控视频提取多个成型关键帧；粒度均匀性特征提取模块，用于将所述多个成型关键帧中各个成型关键帧分别通过具有多重感受野的双流卷积神经网络模型以得到第一尺度特征图和第二尺度特征图，并分别计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图以得到多个差分特征图；粒度变化编码模块，用于将所述多个差分特征图排列为输入张量后通过使用三维卷积核的卷积神经网络模型以得到成型动态特征图；维度调整模块，用于对所述成型动态特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到成型动态特征向量；特征表达优化模块，用于基于所述成型动态特征向量，对所述多尺度风场压强特征向量的特征分布进行优化以得到优化多尺度风场压强特征向量；响应性估计模块，用于计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到分类特征矩阵；以及控制结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的风场的压强值应增大或应减小。
根据本申请的另一方面，提供了一种用于激光熔覆金属球制造的控制方法，其包括：获取预定时间段内多个预定时间点的风场的压强值以及所述预定时间段的金属球成型监控视频；将所述预定时间段内多个预定时间点的风场的压强值排列为压强输入向量后通过多尺度邻域特征提取模块以得到多尺度风场压强特征向量；从所述金属球成型监控视频提取多个成型关键帧；将所述多个成型关键帧中各个成型关键帧分别通过具有多重感受野的双流卷积神经网络模型以得到第一尺度特征图和第二尺度特征图，并分别计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图以得到多个差分特征图；将所述多个差分特征图排列为输入张量后通过使用三维卷积核的卷积神经网络模型以得到成型动态特征图；对所述成型动态特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到成型动态特征向量；基于所述成型动态特征向量，对所述多尺度风场压强特征向量的特征分布进行优化以得到优化多尺度风场压强特征向量；计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到分类特征矩阵；以及将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的风场的压强值应增大或应减小。
与现有技术相比，本申请提供的一种用于激光熔覆金属球制造的控制系统及其控制方法，其通过多尺度邻域特征提取模块提取预定时间段内多个预定时间点的风场的压强值在不同时间跨度内的分布特征；然后，通过具有多重感受野的双流卷积神经网络模型提取预定时间段的金属球成型监控视频在各个成型关键帧中不同尺寸的图像局部区域的金属球颗粒分布特征，并使用具有三维卷积核的卷积神经网络模型作为特征提取器来捕捉金属球颗粒的状态特征随时间的变化特征；接着利用风场的压强值的分布特征和金属球颗粒的状态特征随时间的变化特征之间的响应性关联对当前时间点的风场的压强值应增大或应减小进行控制。这样，可以提高对于风场的压强值的自适应控制的精准度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的用于激光熔覆金属球制造的控制系统的应用场景图。
图2图示了根据本申请实施例的用于激光熔覆金属球制造的控制系统的框图。
图3图示了根据本申请实施例的用于激光熔覆金属球制造的控制系统中所述风场压强编码模块的框图。
图4图示了根据本申请实施例的用于激光熔覆金属球制造的控制系统中所述粒度均匀性特征提取模块的框图。
图5图示了根据本申请实施例的用于激光熔覆金属球制造的控制系统中所述控制结果生成模块的框图。
图6图示了根据本申请实施例的用于激光熔覆金属球制造的控制方法的流程图。
图7图示了根据本申请实施例的用于激光熔覆金属球制造的控制方法的架构示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述：
如上所述，在技术雾化方案的激光熔覆金属球制造工艺中，因针对不同批次的原料所采用的风场的控制策略是一致的，导致最终金属球粒度不均匀且每次产品的一致性难以保证。因此，期待一直用于激光熔覆金属球制造的控制方案。
应可以理解，在本申请的技术方案中，期待风场的压强控制能够基于金属球成型过程特征进行自适应调整，而不是以预定控制策略来机械控制。这里，金属球成型过程特征可基于金属球成型监控视频来表征，例如通过光流法来提取金属球颗粒状态变化特征，但在本申请的技术方案中，因关注金属球成型过程中的颗粒状态变化，而所述金属球在监控图像帧中是极小尺寸对象，难以通过现有的图像特征提取算法来精准检测。
针对上述问题，在本申请的技术方案中，本申请的申请人选择以金属球颗粒状态的相对指标来替代绝对指标来进行特征捕捉。具体地，当金属球颗粒分布均匀且一致时，其在图像帧的不同尺寸的图像局部区域内的分布差异相对较小的，因此，可基于图像帧的不同尺寸的图像局部区域内的金属球颗粒分布特征之间的差异来表示当前图像帧的金属球颗粒状态特征。
相应地，在本申请的技术方案中，在得到金属球成型监控视频后，首先以预定采样算法从所述金属球成型监控视频提取多个成型关键帧；然后，将所述多个成型关键帧中各个成型关键帧分别通过具有多重感受野的双流卷积神经网络模型以得到第一尺度特征图和第二尺度特征图，并分别计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图以得到多个差分特征图。
也就是，在本申请的技术方案中，首先使用卷积神经网络模型作为特征提取器来进行图像特征提取。应可以理解，所述卷积神经网络模型在图像特征提取时，其所使用的卷积核对应着所述各个成型关键帧的图像局部区域，即所述卷积核决定所述卷积神经网络模型的局部特征感受野，当使用相对较大的卷积核时，其特征感受野较大，当使用相对较小的卷积核时，其特征感受野相对较小。因此，使用所述具有多重感受野的双流卷积神经网络模型能够提取各个成型关键帧中不同尺寸的图像局部区域的金属球颗粒分布特征。接着，计算不同特征感受野下的特征图之间的差分特征图就可以基于各个所述成型关键帧的不同尺寸的图像局部区域内的金属球颗粒分布特征之间的差异来表示当前图像帧的金属球颗粒状态特征。
在得到所述多个差分特征图后，将所述多个差分特征图排列为输入张量后通过使用三维卷积核的卷积神经网络模型以得到成型动态特征图。也就是，将各个成型关键帧对应的差分特征图按照时间维度排列为三维输入张量，并使用具有三维卷积核的卷积神经网络模型作为特征提取器来捕捉金属粒度的状态特征随时间的变化特征。这里，所述卷积神经网络模型的三维卷积核具有三个维度：宽度维度、高度维度和时间维度（即，两个空间维度和一个时间维度），因此，在其卷积编码时，其能够提取空间特征在时间维度上的变化特征，即，金属粒度的状态特征随时间的变化特征。
针对所述风场的压强值，在本申请的技术方案中，在得到预定时间段内多个预定时间点的风场的压强值后，将所述预定时间段内多个预定时间点的风场的压强值排列为压强输入向量后通过多尺度邻域特征提取模块以得到多尺度风场压强特征向量。也就是，使用具有多个并行的一维卷积层的多尺度邻域特征提取模块作为特征提取器来提取压强值时间序列在不同时间跨度内的分布模式特征。
应可以理解，在本申请的技术方案中，所述风场的压强值为条件，所述金属球的成型状态为结果，两者存在响应性关联，利用两者的响应性关联，可提高对于风场的自适应控制的精准度。也就是，计算所述多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到分类特征矩阵。进而，使用分类器对所述分类特征矩阵进行分类以得到用于表示当前时间点的风场的压强值应增大或应减小的分类结果。
在本申请的技术方案中，在计算所述多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计时，由于所述多尺度风场压强特征向量是直接通过多尺度邻域特征提取模块得到的，而所述成型动态特征向量是通过双流卷积神经网络模型+使用三维卷积核的卷积神经网络模型的级联模型得到的，因此所述成型动态特征向量相对于所述多尺度风场压强特征向量具有更深层的特征分布。
为了提高响应性估计的计算准确性，期望提高所述成型动态特征向量和所述多尺度风场压强特征向量的特征分布的一致性，因此，基于所述成型动态特征向量对所述多尺度风场压强特征向量进行注意力导向的分层深度联立优化，表示为：
其中
是所述多尺度风场压强特征向量，
是所述成型动态特征向量，
是所述成型动态特征向量
的每个位置的特征值，
是所述成型动态特征向量
的特征值的全局均值，且
是所述多尺度风场压强特征向量
和所述成型动态特征向量
的长度，
是用于所述多尺度风场压强特征向量
的自分布加权的超参数。
这里，以作为深层特征的所述成型动态特征向量
的子维度一致性作为注意力导向权重，对作为浅层特征的所述多尺度风场压强特征向量
施加子维度分布的一致性注意力机制，来在具有深度差的高维流形之间进行体匹配，从而使得所述多尺度风场压强特征向量
和所述成型动态特征向量
在各个子维度上具有高一致性的联立分布，以提高所述多尺度风场压强特征向量
和所述成型动态特征向量
的特征分布的一致性，从而提高响应性估计计算的准确性。这样，提高对于所述风场的压强值的自适应控制的精准度。
基于此，本申请提出了一种用于激光熔覆金属球制造的控制系统，其包括：监控模块，用于获取预定时间段内多个预定时间点的风场的压强值以及所述预定时间段的金属球成型监控视频；风场压强编码模块，用于将所述预定时间段内多个预定时间点的风场的压强值排列为压强输入向量后通过多尺度邻域特征提取模块以得到多尺度风场压强特征向量；采样模块，用于从所述金属球成型监控视频提取多个成型关键帧；粒度均匀性特征提取模块，用于将所述多个成型关键帧中各个成型关键帧分别通过具有多重感受野的双流卷积神经网络模型以得到第一尺度特征图和第二尺度特征图，并分别计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图以得到多个差分特征图；粒度变化编码模块，用于将所述多个差分特征图排列为输入张量后通过使用三维卷积核的卷积神经网络模型以得到成型动态特征图；维度调整模块，用于对所述成型动态特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到成型动态特征向量；特征表达优化模块，用于基于所述成型动态特征向量，对所述多尺度风场压强特征向量的特征分布进行优化以得到优化多尺度风场压强特征向量；响应性估计模块，用于计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到分类特征矩阵；以及，控制结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的风场的压强值应增大或应减小。
图1图示了根据本申请实施例的用于激光熔覆金属球制造的控制系统的应用场景图。如图1所示，在该应用场景中，获取预定时间段内多个预定时间点的风场的压强值（例如，如图1中所示意的U）以及所述预定时间段的金属球成型监控视频（例如，如图1中所示意的M）；然后，将获取的风场的压强值和金属球成型监控视频输入至部署有用于激光熔覆金属球制造的控制算法的服务器（例如，如图1所示意的S）中，其中，所述服务器以用于激光熔覆金属球制造的控制算法对所述风场的压强值和所述金属球成型监控视频进行处理，以生成用于表示当前时间点的风场的压强值应增大或应减小的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统：
图2图示了根据本申请实施例的用于激光熔覆金属球制造的控制系统的框图。如图2所示，根据本申请实施例的用于激光熔覆金属球制造的控制系统100，包括：监控模块110，用于获取预定时间段内多个预定时间点的风场的压强值以及所述预定时间段的金属球成型监控视频；风场压强编码模块120，用于将所述预定时间段内多个预定时间点的风场的压强值排列为压强输入向量后通过多尺度邻域特征提取模块以得到多尺度风场压强特征向量；采样模块130，用于从所述金属球成型监控视频提取多个成型关键帧；粒度均匀性特征提取模块140，用于将所述多个成型关键帧中各个成型关键帧分别通过具有多重感受野的双流卷积神经网络模型以得到第一尺度特征图和第二尺度特征图，并分别计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图以得到多个差分特征图；粒度变化编码模块150，用于将所述多个差分特征图排列为输入张量后通过使用三维卷积核的卷积神经网络模型以得到成型动态特征图；维度调整模块160，用于对所述成型动态特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到成型动态特征向量；特征表达优化模块170，用于基于所述成型动态特征向量，对所述多尺度风场压强特征向量的特征分布进行优化以得到优化多尺度风场压强特征向量；响应性估计模块180，用于计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到分类特征矩阵；以及，控制结果生成模块190，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的风场的压强值应增大或应减小。
具体地，在本申请实施例中，所述监控模块110，用于获取预定时间段内多个预定时间点的风场的压强值以及所述预定时间段的金属球成型监控视频。如前所述，在技术雾化方案的激光熔覆金属球制造工艺中，因针对不同批次的原料所采用的风场的控制策略是一致的，导致最终金属球粒度不均匀且每次产品的一致性难以保证。因此，期待一直用于激光熔覆金属球制造的控制方案。
应可以理解，在本申请的技术方案中，期待风场的压强控制能够基于金属球成型过程特征进行自适应调整，而不是以预定控制策略来机械控制。这里，金属球成型过程特征可基于金属球成型监控视频来表征，例如通过光流法来提取金属球颗粒状态变化特征，但在本申请的技术方案中，因关注金属球成型过程中的颗粒状态变化，而所述金属球在监控图像帧中是极小尺寸对象，难以通过现有的图像特征提取算法来精准检测。
针对上述问题，在本申请的技术方案中，本申请的申请人选择以金属球颗粒状态的相对指标来替代绝对指标来进行特征捕捉。具体地，当金属球颗粒分布均匀且一致时，其在图像帧的不同尺寸的图像局部区域内的分布差异相对较小的，因此，可基于图像帧的不同尺寸的图像局部区域内的金属球颗粒分布特征之间的差异来表示当前图像帧的金属球颗粒状态特征。
相应地，在本申请的技术方案中，首先，获取预定时间段内多个预定时间点的风场的压强值以及所述预定时间段的金属球成型监控视频。
具体地，在本申请实施例中，所述风场压强编码模块120，用于将所述预定时间段内多个预定时间点的风场的压强值排列为压强输入向量后通过多尺度邻域特征提取模块以得到多尺度风场压强特征向量。也就是，在本申请的技术方案中，在得到预定时间段内多个预定时间点的风场的压强值后，将所述预定时间段内多个预定时间点的风场的压强值排列为压强输入向量后通过多尺度邻域特征提取模块以得到多尺度风场压强特征向量。也就是，使用具有多个并行的一维卷积层的多尺度邻域特征提取模块作为特征提取器来提取压强值时间序列在不同时间跨度内的分布模式特征。
更具体地，在本申请实施例中，图3图示了根据本申请实施例的用于激光熔覆金属球制造的控制系统中所述风场压强编码模块的框图，如图3所示，所述风场压强编码模块120，包括：第一时间尺度特征提取单元210，用于将所述压强输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一时间尺度风场压强特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;第二时间尺度特征提取单元220，用于将所述压强输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二时间尺度风场压强特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，多尺度级联单元230，用于将所述第一时间尺度风场压强特征向量和所述第二时间尺度风场压强特征向量进行级联以得到所述多尺度风场压强特征向量。
进一步地，在本申请实施例中，使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述压强输入向量进行一维卷积编码以得到所述第一时间尺度风场压强特征向量；其中，所述公式为：
其中，a为第一卷积核在x方向上的宽度、
为第一卷积核参数向量、
为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，X表示所述压强输入向量。
更进一步地，在本申请实施例中，使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述压强输入向量进行一维卷积编码以得到所述第二时间尺度风场压强特征向量；其中，所述公式为：
其中，b为第二卷积核在x方向上的宽度、
为第二卷积核参数向量、
为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，X表示所述压强输入向量。
具体地，在本申请实施例中，所述采样模块130和所述粒度均匀性特征提取模块140，用于从所述金属球成型监控视频提取多个成型关键帧，以及，用于将所述多个成型关键帧中各个成型关键帧分别通过具有多重感受野的双流卷积神经网络模型以得到第一尺度特征图和第二尺度特征图，并分别计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图以得到多个差分特征图。
相应地，在本申请的技术方案中，在得到金属球成型监控视频后，首先以预定采样算法从所述金属球成型监控视频提取多个成型关键帧；然后，将所述多个成型关键帧中各个成型关键帧分别通过具有多重感受野的双流卷积神经网络模型以得到第一尺度特征图和第二尺度特征图，并分别计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图以得到多个差分特征图。
也就是，在本申请的技术方案中，首先使用卷积神经网络模型作为特征提取器来进行图像特征提取。应可以理解，所述卷积神经网络模型在图像特征提取时，其所使用的卷积核对应着所述各个成型关键帧的图像局部区域，即所述卷积核决定所述卷积神经网络模型的局部特征感受野，当使用相对较大的卷积核时，其特征感受野较大，当使用相对较小的卷积核时，其特征感受野相对较小。因此，使用所述具有多重感受野的双流卷积神经网络模型能够提取各个成型关键帧中不同尺寸的图像局部区域的金属球颗粒分布特征。接着，计算不同特征感受野下的特征图之间的差分特征图就可以基于各个所述成型关键帧的不同尺寸的图像局部区域内的金属球颗粒分布特征之间的差异来表示当前图像帧的金属球颗粒状态特征。
更具体地，在本申请实施例中，图4图示了根据本申请实施例的用于激光熔覆金属球制造的控制系统中所述粒度均匀性特征提取模块的框图，如图4所示，所述粒度均匀性特征提取模块140，包括：第一尺度特征感受单元310，用于使用所述双流卷积神经网络模型的第一卷积分支的各层在层的正向传递中分别对输入数据进行基于第一卷积核的卷积处理、池化处理和非线性激活处理以由所述第一卷积分支的最后一层输出所述第一尺度特征图；第二尺度特征感受单元320，用于使用所述双流卷积神经网络模型的第二卷积分支的各层在层的正向传递中分别对输入数据进行基于第二卷积核的卷积处理、池化处理和非线性激活处理以由所述第二卷积分支的最后一层输出所述第二尺度特征图，其中，所述第二卷积核的尺寸不同于所述第一卷积核的尺寸；以及，差分单元330，用于计算所述第一尺度特征图和所述第二尺度特征图的按位置差分以得到所述差分特征图。
具体地，在本申请实施例中，所述粒度变化编码模块150和所述维度调整模块160，用于将所述多个差分特征图排列为输入张量后通过使用三维卷积核的卷积神经网络模型以得到成型动态特征图；以及，用于对所述成型动态特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到成型动态特征向量。也就是，在得到所述多个差分特征图后，将所述多个差分特征图排列为输入张量后通过使用三维卷积核的卷积神经网络模型以得到成型动态特征图。也就是，将各个成型关键帧对应的差分特征图按照时间维度排列为三维输入张量，并使用具有三维卷积核的卷积神经网络模型作为特征提取器来捕捉金属粒度的状态特征随时间的变化特征。这里，所述卷积神经网络模型的三维卷积核具有三个维度：宽度维度、高度维度和时间维度（即，两个空间维度和一个时间维度），因此，在其卷积编码时，其能够提取空间特征在时间维度上的变化特征，即，金属粒度的状态特征随时间的变化特征。
进一步地，使用所述三维卷积核的卷积神经网络模型的各层在层的正向传递过程中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述三维卷积核的卷积神经网络模型的最后一层的输出为所述成型动态特征图，所述三维卷积核的卷积神经网络模型的第一层的输入为所述多个差分特征图。
接着，对所述成型动态特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到成型动态特征向量。
具体地，在本申请实施例中，所述特征表达优化模块170，用于基于所述成型动态特征向量，对所述多尺度风场压强特征向量的特征分布进行优化以得到优化多尺度风场压强特征向量。应可以理解，在本申请的技术方案中，在计算所述多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计时，由于所述多尺度风场压强特征向量是直接通过多尺度邻域特征提取模块得到的，而所述成型动态特征向量是通过双流卷积神经网络模型+使用三维卷积核的卷积神经网络模型的级联模型得到的，因此所述成型动态特征向量相对于所述多尺度风场压强特征向量具有更深层的特征分布。
为了提高响应性估计的计算准确性，期望提高所述成型动态特征向量和所述多尺度风场压强特征向量的特征分布的一致性，因此，基于所述成型动态特征向量对所述多尺度风场压强特征向量进行注意力导向的分层深度联立优化。也就是，基于所述成型动态特征向量，以如下公式对所述多尺度风场压强特征向量的特征分布进行优化以得到所述优化多尺度风场压强特征向量；其中，所述公式为：
其中
是所述多尺度风场压强特征向量，
是所述成型动态特征向量，
是所述成型动态特征向量
的每个位置的特征值， 
是所述成型动态特征向量
的特征值的全局均值，且
是所述多尺度风场压强特征向量
和所述成型动态特征向量
的长度，
是用于所述多尺度风场压强特征向量
的自分布加权的超参数，
表示按位置加法，
表示按位置点乘，
表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值。
这里，以作为深层特征的所述成型动态特征向量
的子维度一致性作为注意力导向权重，对作为浅层特征的所述多尺度风场压强特征向量
施加子维度分布的一致性注意力机制，来在具有深度差的高维流形之间进行体匹配，从而使得所述多尺度风场压强特征向量
和所述成型动态特征向量
在各个子维度上具有高一致性的联立分布，以提高所述多尺度风场压强特征向量
和所述成型动态特征向量
的特征分布的一致性，从而提高响应性估计计算的准确性。这样，提高对于所述风场的压强值的自适应控制的精准度。
具体地，在本申请实施例中，所述响应性估计模块180，用于计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到分类特征矩阵。应可以理解，在本申请的技术方案中，所述风场的压强值为条件，所述金属球的成型状态为结果，两者存在响应性关联，利用两者的响应性关联，可提高对于风场的自适应控制的精准度。也就是，计算所述多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到分类特征矩阵。进而，使用分类器对所述分类特征矩阵进行分类以得到用于表示当前时间点的风场的压强值应增大或应减小的分类结果。
进一步地，在本申请实施例中，以如下公式计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到所述分类特征矩阵；其中，所述公式为：
其中
表示所述优化多尺度风场压强特征向量，
表示所述成型动态特征向量，
表示所述分类特征矩阵。
具体地，在本申请实施例中，所述控制结果生成模块190，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的风场的压强值应增大或应减小。
更具体地，在本申请实施例中，图5图示了根据本申请实施例的用于激光熔覆金属球制造的控制系统中所述控制结果生成模块的框图，如图5所示，所述控制结果生成模块190，包括：矩阵展开单元410，用于将所述分类特征矩阵按照行向量或列向量展开为分类特征向量；全连接编码单元420，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类单元430，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
在本申请一具体示例中，使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，所述分类结果用于表示当前时间点的风场的压强值应增大或应减小，其中，所述公式为：
综上，基于本申请实施例的用于激光熔覆金属球制造的控制系统100被阐明，其通过多尺度邻域特征提取模块提取预定时间段内多个预定时间点的风场的压强值在不同时间跨度内的分布特征；然后，通过具有多重感受野的双流卷积神经网络模型提取预定时间段的金属球成型监控视频在各个成型关键帧中不同尺寸的图像局部区域的金属球颗粒分布特征，并使用具有三维卷积核的卷积神经网络模型作为特征提取器来捕捉金属球颗粒的状态特征随时间的变化特征；接着利用风场的压强值的分布特征和金属球颗粒的状态特征随时间的变化特征之间的响应性关联对当前时间点的风场的压强值应增大或应减小进行控制。这样，可以提高对于风场的压强值的自适应控制的精准度。
如上所述，根据本申请实施例的用于激光熔覆金属球制造的控制系统100可以实现在各种终端设备中，例如用于激光熔覆金属球制造的控制的服务器等。在一个示例中，根据本申请实施例的用于激光熔覆金属球制造的控制系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该用于激光熔覆金属球制造的控制系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该用于激光熔覆金属球制造的控制系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该用于激光熔覆金属球制造的控制系统100与该终端设备也可以是分立的设备，并且该用于激光熔覆金属球制造的控制系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法：
图6图示了根据本申请实施例的用于激光熔覆金属球制造的控制方法的流程图。如图6所示，根据本申请实施例的用于激光熔覆金属球制造的控制方法，包括：S110，获取预定时间段内多个预定时间点的风场的压强值以及所述预定时间段的金属球成型监控视频；S120，将所述预定时间段内多个预定时间点的风场的压强值排列为压强输入向量后通过多尺度邻域特征提取模块以得到多尺度风场压强特征向量；S130，从所述金属球成型监控视频提取多个成型关键帧；S140，将所述多个成型关键帧中各个成型关键帧分别通过具有多重感受野的双流卷积神经网络模型以得到第一尺度特征图和第二尺度特征图，并分别计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图以得到多个差分特征图；S150，将所述多个差分特征图排列为输入张量后通过使用三维卷积核的卷积神经网络模型以得到成型动态特征图；
S160，对所述成型动态特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到成型动态特征向量；S170，基于所述成型动态特征向量，对所述多尺度风场压强特征向量的特征分布进行优化以得到优化多尺度风场压强特征向量；S180，计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到分类特征矩阵；以及,S180，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的风场的压强值应增大或应减小。
图7图示了根据本申请实施例的用于激光熔覆金属球制造的控制方法的架构示意图。如图7所示，在所述用于激光熔覆金属球制造的控制方法的网络架构中，首先，获取预定时间段内多个预定时间点的风场的压强值以及所述预定时间段的金属球成型监控视频；然后，将所述预定时间段内多个预定时间点的风场的压强值排列为压强输入向量后通过多尺度邻域特征提取模块以得到多尺度风场压强特征向量；接着，从所述金属球成型监控视频提取多个成型关键帧；然后，将所述多个成型关键帧中各个成型关键帧分别通过具有多重感受野的双流卷积神经网络模型以得到第一尺度特征图和第二尺度特征图，并分别计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图以得到多个差分特征图；接着，将所述多个差分特征图排列为输入张量后通过使用三维卷积核的卷积神经网络模型以得到成型动态特征图；然后，对所述成型动态特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到成型动态特征向量；接着，基于所述成型动态特征向量，对所述多尺度风场压强特征向量的特征分布进行优化以得到优化多尺度风场压强特征向量；然后，计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到分类特征矩阵；以及,最后，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的风场的压强值应增大或应减小。
在本申请的一个实施例中，在上述用于激光熔覆金属球制造的控制方法中，所述将所述预定时间段内多个预定时间点的风场的压强值排列为压强输入向量后通过多尺度邻域特征提取模块以得到多尺度风场压强特征向量，包括：将所述压强输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一时间尺度风场压强特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;将所述压强输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二时间尺度风场压强特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，将所述第一时间尺度风场压强特征向量和所述第二时间尺度风场压强特征向量进行级联以得到所述多尺度风场压强特征向量。
在本申请的一个实施例中，在上述用于激光熔覆金属球制造的控制方法中，所述将所述压强输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一时间尺度风场压强特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核，进一步包括：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述压强输入向量进行一维卷积编码以得到所述第一时间尺度风场压强特征向量；其中，所述公式为：
其中，a为第一卷积核在x方向上的宽度、
为第一卷积核参数向量、
为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，X表示所述压强输入向量。
在本申请的一个实施例中，在上述用于激光熔覆金属球制造的控制方法中，所述将所述压强输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二时间尺度风场压强特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度，进一步包括：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述压强输入向量进行一维卷积编码以得到所述第二时间尺度风场压强特征向量；其中，所述公式为：
其中，b为第二卷积核在x方向上的宽度、
为第二卷积核参数向量、
为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，X表示所述压强输入向量。
在本申请的一个实施例中，在上述用于激光熔覆金属球制造的控制方法中，所述将所述多个成型关键帧中各个成型关键帧分别通过具有多重感受野的双流卷积神经网络模型以得到第一尺度特征图和第二尺度特征图，并分别计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图以得到多个差分特征图，包括：使用所述双流卷积神经网络模型的第一卷积分支的各层在层的正向传递中分别对输入数据进行基于第一卷积核的卷积处理、池化处理和非线性激活处理以由所述第一卷积分支的最后一层输出所述第一尺度特征图；使用所述双流卷积神经网络模型的第二卷积分支的各层在层的正向传递中分别对输入数据进行基于第二卷积核的卷积处理、池化处理和非线性激活处理以由所述第二卷积分支的最后一层输出所述第二尺度特征图，其中，所述第二卷积核的尺寸不同于所述第一卷积核的尺寸；以及，计算所述第一尺度特征图和所述第二尺度特征图的按位置差分以得到所述差分特征图。
在本申请的一个实施例中，在上述用于激光熔覆金属球制造的控制方法中，所述将所述多个差分特征图排列为输入张量后通过使用三维卷积核的卷积神经网络模型以得到成型动态特征图，包括：使用所述三维卷积核的卷积神经网络模型的各层在层的正向传递过程中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述三维卷积核的卷积神经网络模型的最后一层的输出为所述成型动态特征图，所述三维卷积核的卷积神经网络模型的第一层的输入为所述多个差分特征图。
在本申请的一个实施例中，在上述用于激光熔覆金属球制造的控制方法中，所述基于所述成型动态特征向量，对所述多尺度风场压强特征向量的特征分布进行优化以得到优化多尺度风场压强特征向量，进一步包括：基于所述成型动态特征向量，以如下公式对所述多尺度风场压强特征向量的特征分布进行优化以得到所述优化多尺度风场压强特征向量；其中，所述公式为：
其中
是所述多尺度风场压强特征向量，
是所述成型动态特征向量，
是所述成型动态特征向量
的每个位置的特征值，
是所述成型动态特征向量
的特征值的全局均值，且
是所述多尺度风场压强特征向量
和所述成型动态特征向量
的长度，
是用于所述多尺度风场压强特征向量
的自分布加权的超参数，
表示按位置加法，
表示按位置点乘，
表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值。
在本申请的一个实施例中，在上述用于激光熔覆金属球制造的控制方法中，所述计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到分类特征矩阵，进一步包括：以如下公式计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到所述分类特征矩阵；其中，所述公式为：
其中
表示所述优化多尺度风场压强特征向量，
表示所述成型动态特征向量，
表示所述分类特征矩阵。
在本申请的一个实施例中，在上述用于激光熔覆金属球制造的控制方法中，所述将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的风场的压强值应增大或应减小，包括：将所述分类特征矩阵按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
这里，本领域技术人员可以理解，上述用于激光熔覆金属球制造的控制方法中的具体功能和操作已经在上面参考图1到图5的用于激光熔覆金属球制造的控制系统描述中得到了详细介绍，并因此，将省略其重复描述。
Claims (10)
1.一种用于激光熔覆金属球制造的控制系统，其特征在于，包括：监控模块，用于获取预定时间段内多个预定时间点的风场的压强值以及所述预定时间段的金属球成型监控视频；风场压强编码模块，用于将所述预定时间段内多个预定时间点的风场的压强值排列为压强输入向量后通过多尺度邻域特征提取模块以得到多尺度风场压强特征向量；采样模块，用于从所述金属球成型监控视频提取多个成型关键帧；粒度均匀性特征提取模块，用于将所述多个成型关键帧中各个成型关键帧分别通过具有多重感受野的双流卷积神经网络模型以得到第一尺度特征图和第二尺度特征图，并分别计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图以得到多个差分特征图；粒度变化编码模块，用于将所述多个差分特征图排列为输入张量后通过使用三维卷积核的卷积神经网络模型以得到成型动态特征图；维度调整模块，用于对所述成型动态特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到成型动态特征向量；特征表达优化模块，用于基于所述成型动态特征向量，对所述多尺度风场压强特征向量的特征分布进行优化以得到优化多尺度风场压强特征向量；响应性估计模块，用于计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到分类特征矩阵；以及控制结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的风场的压强值应增大或应减小。
2.根据权利要求1所述的用于激光熔覆金属球制造的控制系统，其特征在于，所述风场压强编码模块，包括：第一时间尺度特征提取单元，用于将所述压强输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一时间尺度风场压强特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核;第二时间尺度特征提取单元，用于将所述压强输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二时间尺度风场压强特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及多尺度级联单元，用于将所述第一时间尺度风场压强特征向量和所述第二时间尺度风场压强特征向量进行级联以得到所述多尺度风场压强特征向量。
3.根据权利要求2所述的用于激光熔覆金属球制造的控制系统，其特征在于，所述第一时间尺度特征提取单元，进一步用于：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述压强输入向量进行一维卷积编码以得到所述第一时间尺度风场压强特征向量；其中，所述公式为：
其中，a为第一卷积核在x方向上的宽度、
为第一卷积核参数向量、
为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，X表示所述压强输入向量。
4.根据权利要求3所述的用于激光熔覆金属球制造的控制系统，其特征在于，所述第二时间尺度特征提取单元，进一步用于：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述压强输入向量进行一维卷积编码以得到所述第二时间尺度风场压强特征向量；其中，所述公式为：
其中，b为第二卷积核在x方向上的宽度、
为第二卷积核参数向量、
为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，X表示所述压强输入向量。
5.根据权利要求4所述的用于激光熔覆金属球制造的控制系统，其特征在于，所述粒度均匀性特征提取模块，包括：第一尺度特征感受单元，用于使用所述双流卷积神经网络模型的第一卷积分支的各层在层的正向传递中分别对输入数据进行基于第一卷积核的卷积处理、池化处理和非线性激活处理以由所述第一卷积分支的最后一层输出所述第一尺度特征图；第二尺度特征感受单元，用于使用所述双流卷积神经网络模型的第二卷积分支的各层在层的正向传递中分别对输入数据进行基于第二卷积核的卷积处理、池化处理和非线性激活处理以由所述第二卷积分支的最后一层输出所述第二尺度特征图，其中，所述第二卷积核的尺寸不同于所述第一卷积核的尺寸；以及差分单元，用于计算所述第一尺度特征图和所述第二尺度特征图的按位置差分以得到所述差分特征图。
6.根据权利要求5所述的用于激光熔覆金属球制造的控制系统，其特征在于，所述粒度变化编码模块，用于：使用所述三维卷积核的卷积神经网络模型的各层在层的正向传递过程中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征图； 对所述卷积特征图进行池化处理以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述三维卷积核的卷积神经网络模型的最后一层的输出为所述成型动态特征图，所述三维卷积核的卷积神经网络模型的第一层的输入为所述多个差分特征图。
7.根据权利要求6所述的用于激光熔覆金属球制造的控制系统，其特征在于，所述特征表达优化模块，进一步用于：基于所述成型动态特征向量，以如下公式对所述多尺度风场压强特征向量的特征分布进行优化以得到所述优化多尺度风场压强特征向量；其中，所述公式为：
其中 
是所述多尺度风场压强特征向量，
是所述成型动态特征向量，
是所述成型动态特征向量
的每个位置的特征值，
是所述成型动态特征向量
的特征值的全局均值，且
是所述多尺度风场压强特征向量
和所述成型动态特征向量
的长度，
是用于所述多尺度风场压强特征向量
的自分布加权的超参数，
表示按位置加法，
表示按位置点乘，
表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值。
8.根据权利要求7所述的用于激光熔覆金属球制造的控制系统，其特征在于，所述响应性估计模块，进一步用于：以如下公式计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到所述分类特征矩阵；其中，所述公式为：
其中
表示所述优化多尺度风场压强特征向量，
表示所述成型动态特征向量，
表示所述分类特征矩阵。
9.根据权利要求8所述的用于激光熔覆金属球制造的控制系统，其特征在于，所述控制结果生成模块，包括：矩阵展开单元，用于将所述分类特征矩阵按照行向量或列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
10.一种用于激光熔覆金属球制造的控制方法，其特征在于，包括：获取预定时间段内多个预定时间点的风场的压强值以及所述预定时间段的金属球成型监控视频；将所述预定时间段内多个预定时间点的风场的压强值排列为压强输入向量后通过多尺度邻域特征提取模块以得到多尺度风场压强特征向量；从所述金属球成型监控视频提取多个成型关键帧；将所述多个成型关键帧中各个成型关键帧分别通过具有多重感受野的双流卷积神经网络模型以得到第一尺度特征图和第二尺度特征图，并分别计算所述第一尺度特征图和所述第二尺度特征图之间的差分特征图以得到多个差分特征图；将所述多个差分特征图排列为输入张量后通过使用三维卷积核的卷积神经网络模型以得到成型动态特征图；对所述成型动态特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到成型动态特征向量；基于所述成型动态特征向量，对所述多尺度风场压强特征向量的特征分布进行优化以得到优化多尺度风场压强特征向量；计算所述优化多尺度风场压强特征向量相对于所述成型动态特征向量的响应性估计以得到分类特征矩阵；以及将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的风场的压强值应增大或应减小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341748.9A CN115393779B (zh) | 2022-10-31 | 2022-10-31 | 用于激光熔覆金属球制造的控制系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341748.9A CN115393779B (zh) | 2022-10-31 | 2022-10-31 | 用于激光熔覆金属球制造的控制系统及其控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115393779A true CN115393779A (zh) | 2022-11-25 |
| CN115393779B CN115393779B (zh) | 2023-03-24 |
Family
ID=84115234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211341748.9A Active CN115393779B (zh) | 2022-10-31 | 2022-10-31 | 用于激光熔覆金属球制造的控制系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393779B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115641045A (zh) * | 2022-12-23 | 2023-01-24 | 河南新飞电器集团有限公司 | 一种冷链运输远程监控系统 |
| CN115761900A (zh) * | 2022-12-06 | 2023-03-07 | 深圳信息职业技术学院 | 用于实训基地管理的物联网云平台 |
| CN115962340A (zh) * | 2023-03-16 | 2023-04-14 | 杭州鄂达精密机电科技有限公司 | 智能流体控制阀及其控制方法 |
| CN115998752A (zh) * | 2023-01-18 | 2023-04-25 | 南京海鲸药业股份有限公司 | 一种含亚油酸植物油的维生素d类制剂的制备方法 |
| CN116140786A (zh) * | 2023-03-06 | 2023-05-23 | 四川艾庞机械科技有限公司 | 搅拌摩擦焊接方法及其系统 |
| CN116647946A (zh) * | 2023-07-27 | 2023-08-25 | 济宁九德半导体科技有限公司 | 基于半导体的加热控制系统及其方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188239A (zh) * | 2018-12-26 | 2019-08-30 | 北京大学 | 一种基于跨模态注意力机制的双流视频分类方法和装置 |
| CN111325155A (zh) * | 2020-02-21 | 2020-06-23 | 重庆邮电大学 | 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法 |
| CN111666852A (zh) * | 2020-05-28 | 2020-09-15 | 天津大学 | 一种基于卷积神经网络的微表情双流网络识别方法 |
| CN113239822A (zh) * | 2020-12-28 | 2021-08-10 | 武汉纺织大学 | 基于时空双流卷积神经网络的危险行为检测方法及系统 |
| CN114067107A (zh) * | 2022-01-13 | 2022-02-18 | 中国海洋大学 | 基于多粒度注意力的多尺度细粒度图像识别方法及系统 |
| CN115032946A (zh) * | 2022-06-21 | 2022-09-09 | 浙江同发塑机有限公司 | 吹塑机的吹塑控制方法及其系统 |
-
2022
- 2022-10-31 CN CN202211341748.9A patent/CN115393779B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188239A (zh) * | 2018-12-26 | 2019-08-30 | 北京大学 | 一种基于跨模态注意力机制的双流视频分类方法和装置 |
| CN111325155A (zh) * | 2020-02-21 | 2020-06-23 | 重庆邮电大学 | 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法 |
| CN111666852A (zh) * | 2020-05-28 | 2020-09-15 | 天津大学 | 一种基于卷积神经网络的微表情双流网络识别方法 |
| CN113239822A (zh) * | 2020-12-28 | 2021-08-10 | 武汉纺织大学 | 基于时空双流卷积神经网络的危险行为检测方法及系统 |
| CN114067107A (zh) * | 2022-01-13 | 2022-02-18 | 中国海洋大学 | 基于多粒度注意力的多尺度细粒度图像识别方法及系统 |
| CN115032946A (zh) * | 2022-06-21 | 2022-09-09 | 浙江同发塑机有限公司 | 吹塑机的吹塑控制方法及其系统 |
Non-Patent Citations (3)
| Title |
|---|
| XI YANG等: "《A Two-Stream Dynamic Pyramid Representation Model for Video-Based Person Re-Identification》", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 倪苒岩等: "《基于视频时空特征的行为识别方法》", 《计算机应用》 * |
| 王中杰等: "《基于三维卷积神经网络的航运监控事件识别》", 《计算机应用》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115761900A (zh) * | 2022-12-06 | 2023-03-07 | 深圳信息职业技术学院 | 用于实训基地管理的物联网云平台 |
| CN115761900B (zh) * | 2022-12-06 | 2023-07-18 | 深圳信息职业技术学院 | 用于实训基地管理的物联网云平台 |
| CN115641045A (zh) * | 2022-12-23 | 2023-01-24 | 河南新飞电器集团有限公司 | 一种冷链运输远程监控系统 |
| CN115998752A (zh) * | 2023-01-18 | 2023-04-25 | 南京海鲸药业股份有限公司 | 一种含亚油酸植物油的维生素d类制剂的制备方法 |
| CN115998752B (zh) * | 2023-01-18 | 2024-04-26 | 南京海鲸药业股份有限公司 | 一种含亚油酸植物油的维生素d类制剂的制备方法 |
| CN116140786A (zh) * | 2023-03-06 | 2023-05-23 | 四川艾庞机械科技有限公司 | 搅拌摩擦焊接方法及其系统 |
| CN116140786B (zh) * | 2023-03-06 | 2023-07-14 | 四川艾庞机械科技有限公司 | 搅拌摩擦焊接方法及其系统 |
| CN115962340A (zh) * | 2023-03-16 | 2023-04-14 | 杭州鄂达精密机电科技有限公司 | 智能流体控制阀及其控制方法 |
| CN116647946A (zh) * | 2023-07-27 | 2023-08-25 | 济宁九德半导体科技有限公司 | 基于半导体的加热控制系统及其方法 |
| CN116647946B (zh) * | 2023-07-27 | 2023-10-13 | 济宁九德半导体科技有限公司 | 基于半导体的加热控制系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115393779B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115393779B (zh) | 用于激光熔覆金属球制造的控制系统及其控制方法 | |
| US20190228517A1 (en) | Method for separating out a defect image from a thermogram sequence based on feature extraction and multi-objective optimization | |
| CN115965217A (zh) | 用于塑料模型的智能化生产监控方法及其系统 | |
| CN115328228B (zh) | 一种高频开关电源 | |
| CN116680987A (zh) | 石墨坩埚的成型方法及其系统 | |
| CN115647819A (zh) | 车磨一体复合机及其控制方法 | |
| CN114871486A (zh) | 龙门刨床及其加工控制方法 | |
| CN116140786B (zh) | 搅拌摩擦焊接方法及其系统 | |
| CN116890405A (zh) | 塑料颗粒生产用控制系统及其方法 | |
| CN115990983A (zh) | 一种可调节式加工模具及其方法 | |
| CN110751082B (zh) | 一种智能家庭娱乐系统手势指令识别方法 | |
| CN117636908A (zh) | 数字化矿山生产管控系统 | |
| CN118197598A (zh) | 基于人工智能的宫颈癌信息筛查方法及系统 | |
| CN117445367A (zh) | 吹塑模具的自动控制系统及其方法 | |
| CN116375006A (zh) | 碳纳米管物理分散方法 | |
| CN115410004A (zh) | 铁粉智能筛分系统及其方法 | |
| CN115775214A (zh) | 一种基于多阶段分形组合的点云补全方法及系统 | |
| CN115272673A (zh) | 一种基于三维目标上下文表示的点云语义分割方法 | |
| CN116177858A (zh) | 高纯石英坩埚的制备方法及其系统 | |
| CN115049611A (zh) | 一种基于改进yolov5的连铸坯裂纹缺陷识别方法 | |
| CN116258899A (zh) | 一种基于自定义轻量型卷积神经网络玉米种穗分类方法 | |
| CN115723280A (zh) | 厚度可调节的聚酰亚胺薄膜的生产设备 | |
| CN110262457B (zh) | 一种基于张量主元分析的不等长批次数据实时监测方法 | |
| CN113537240A (zh) | 一种基于雷达序列图像的形变区智能提取方法及系统 | |
| CN116835540A (zh) | 一种五氟化磷的制备方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Shi Jian Inventor before: Cai Liang Inventor before: Shi Jian Inventor before: Wu Xiujie Inventor before: Liu Shiwei Inventor before: Wang Han Inventor before: Li Jie |