[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113689040B - 测量模型的控制方法和控制系统及计算机可读介质 - Google Patents

测量模型的控制方法和控制系统及计算机可读介质 Download PDF

Info

Publication number
CN113689040B
CN113689040B CN202110981298.9A CN202110981298A CN113689040B CN 113689040 B CN113689040 B CN 113689040B CN 202110981298 A CN202110981298 A CN 202110981298A CN 113689040 B CN113689040 B CN 113689040B
Authority
CN
China
Prior art keywords
training
prediction
model
control method
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110981298.9A
Other languages
English (en)
Other versions
CN113689040A (zh
Inventor
法提·奥尔梅兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze Memory Technologies Co Ltd
Original Assignee
Yangtze Memory Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze Memory Technologies Co Ltd filed Critical Yangtze Memory Technologies Co Ltd
Priority to CN202110981298.9A priority Critical patent/CN113689040B/zh
Publication of CN113689040A publication Critical patent/CN113689040A/zh
Application granted granted Critical
Publication of CN113689040B publication Critical patent/CN113689040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Molecular Biology (AREA)
  • Development Economics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本公开涉及测量模型的控制方法及控制系统，其中，测量模型包括训练模型和预测模型，其中，经训练的训练模型用于更新预测模型，预测模型用于对一个或多个机台所制造产品进行预测，所述控制方法包括：检测预测模型针对一个或多个机台所制造产品的应用预测误差度、以及预测模型的运行异常度；以及响应于满足以下至少一个条件，发出警报和/或至少部分地改变预测模型的工作状态：应用预测误差度大于参考应用预测误差度，以及运行异常度大于参考运行异常度。

Description

测量模型的控制方法和控制系统及计算机可读介质
技术领域
本申请涉及虚拟测量，更具体地，涉及虚拟测量模型的控制方法和控制系统。
背景技术
在半导体制造中，对生产线各阶段产品的检测是产品良率管理的重要组成部分。在传统的检测方法中，需要在生产线中引入多个测量站点，对产品进行实际测量。这样的实际测量可能会影响生产线的生产，而且在某些阶段无法进行实际测量。虚拟测量是通过使用虚拟测量模型基于从例如生产机台收集的相关数据来对产品质量进行预测或估计的测量手段，利用该技术能够减少测量对生产线的实际生产带来的影响。
在半导体制造工艺中，当虚拟测量技术被用来进行线上或线下产品质量预测或实时批次控制时，产品制造工艺、原料配方、机台运行状况、预测模型与数据库间的连接状况等的微小改变都有可能给预测模型的实际应用带来较大影响。此外，在实际应用中，可能会发生生产机台定期维护、生产机台突发故障、原料状态异常等状况，这些也会对虚拟模型的预测准确度产生影响。因此，虚拟测量的预测模型需要由计算机监控或由工程师直接监控以及时发现并消除或减小这种不良影响。
另一方面，预测模型的训练过程中也可能会出现预测能力底下、训练集陈旧、与数据库通信故障等问题。这些问题会导致预测模型训练不佳，进而影响预测模型的最终预测准确度。因此，预测模型的训练过程也需要被监控，以及时发现并消除以上问题。
因此，需要一种能够监控虚拟测量模型的训练与预测并在虚拟测量模型出现异常时采取相应措施的方法和系统。
应当理解，本背景技术部分旨在部分地为理解本技术提供有用的背景，而并不意味着这些内容在本申请之前已经必然是本领域技术人员已知的相关技术。
发明内容
本公开提供了一种测量模型的控制方法，其中，测量模型包括训练模型和预测模型，其中，经训练的训练模型用于更新预测模型，预测模型用于对一个或多个机台所制造产品进行预测，所述方法包括：检测预测模型针对一个或多个机台所制造产品的应用预测误差度、以及预测模型的运行异常度；以及响应于满足以下至少一个条件，发出警报和/或至少部分地改变预测模型的工作状态：应用预测误差度大于参考应用预测误差度，以及运行异常度大于参考运行异常度。
本公开还提供了一种测量模型的控制方法，测量模型包括训练模型和预测模型，其中，经训练的训练模型用于更新预测模型，预测模型用于对一个或多个机台所制造产品进行预测，所述方法包括：检测训练模型针对训练集的训练预测准确度、以及训练集中样本与制造样本的机台的关联异常度，其中，训练集包括一个或多个机台已制造的产品；以及响应于满足以下至少一个条件，发出警报和/或至少部分地改变预测模型的工作状态：训练预测准确度小于参考训练预测准确度，以及关联异常度大于参考关联异常度。
本公开还提供了一种测量模型的控制系统，所述控制系统包括：处理器；以及存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器执行以下方法：检测预测模型针对一个或多个机台所制造产品的应用预测误差度、以及预测模型的运行异常度；以及响应于满足以下至少一个条件，发出警报和/或至少部分地改变预测模型的工作状态：应用预测误差度大于参考应用预测误差度，以及运行异常度大于参考运行异常度。
本公开还提供了一种测量模型的控制系统，所述控制系统包括：处理器；以及存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器执行以下方法：检测训练模型针对训练集的训练预测准确度、以及训练集中样本与制造样本的机台的关联异常度，其中，训练集包括一个或多个机台已制造的产品；以及响应于满足以下至少一个条件，发出警报和/或至少部分地改变预测模型的工作状态：训练预测准确度小于参考训练预测准确度，以及关联异常度大于参考关联异常度。
本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行以下方法：检测预测模型针对一个或多个机台所制造产品的应用预测误差度、以及预测模型的运行异常度；以及响应于满足以下至少一个条件，发出警报和/或至少部分地改变预测模型的工作状态：应用预测误差度大于参考应用预测误差度，以及运行异常度大于参考运行异常度。
本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行以下方法：检测训练模型针对训练集的训练预测准确度、以及训练集中样本与制造样本的机台的关联异常度，其中，训练集包括一个或多个机台已制造的产品；以及响应于满足以下至少一个条件，发出警报和/或至少部分地改变预测模型的工作状态：训练预测准确度小于参考训练预测准确度，以及关联异常度大于参考关联异常度。
本公开还提供了一种计算机程序产品，其包括计算机程序，所述计算机程序在被处理器执行时实现以下方法：检测预测模型针对一个或多个机台所制造产品的应用预测误差度、以及预测模型的运行异常度；以及响应于满足以下至少一个条件，发出警报和/或至少部分地改变预测模型的工作状态：应用预测误差度大于参考应用预测误差度，以及运行异常度大于参考运行异常度。
本公开还提供了一种计算机程序产品，其包括计算机程序，所述计算机程序在被处理器执行时实现以下方法：检测训练模型针对训练集的训练预测准确度、以及训练集中样本与制造样本的机台的关联异常度，其中，训练集包括一个或多个机台已制造的产品；以及响应于满足以下至少一个条件，发出警报和/或至少部分地改变预测模型的工作状态：训练预测准确度小于参考训练预测准确度，以及关联异常度大于参考关联异常度。
附图说明
通过参考附图详细描述本公开的示例性实施方式，本公开的以上和其他优点和特征将变得更加明显。
图1示出了根据本申请实施例的测量模型的控制方法和控制系统的应用环境的示意图。
图2示出了根据本申请实施例的测量模型的控制方法。
图3示出了根据本申请另一实施例的测量模型的控制方法。
图4示出了用于说明根据本申请实施例的实时预测R2分数的计算方法的示意图。
具体实施方式
现在将在下文中参考附图更全面地描述本发明的示例性实施方式，在附图中示出了本发明的优选实施方式。然而，本发明可以以不同的形式来实施，并且不应被解释为限于本文中阐述的示例性实施方式。相反，提供这些实施方式使得本发明将是透彻的和完整的，并将向本领域技术人员充分传达本发明的范围。
还应当理解，应该理解，当元件或层被称为“在”另一元件或层“上”、“连接到”或者“联接到”另一元件或层时，其可以直接在另一元件或上或者直接连接到另一元件或层，或者在它们之间可以存在元件或层。而当元件或层被称为“直接在”另一元件或层“上”、“直接连接到”或“直接联接到”另一元件或层时，不存在介于中间的元件或层。为此，术语“连接”可以指具有或不具有居间元件的物理连接、电连接和/或流体连接。
在整个说明书中，相同的附图标记表示相同的组件。在附图中，为了清楚起见，夸大了层和区域的厚度。
虽然术语“第一”、“第二”等可以在本文中用来描述各种元件，但是这些元件不应该被这些术语限制。这些术语可用于将一个元件与另一元件区分开。因此，在不脱离一个或多个实施方式的教导的情况下，下面讨论的第一元件可以被称为第二元件。将元件描述为“第一”元件可以不需要或暗示第二元件或其他元件的存在。术语“第一”、“第二”等也可在本文中用于区分不同类或组的元件。为了简明起见，术语“第一”、“第二”等可以分别表示“第一类(或第一组)”、“第二类(或第二组)”等。
本文中所使用的术语仅用于描述特定实施方式的目的，并且不旨在进行限制。如本文中所使用的，术语“和/或”包括相关列出项目中的一个或多个的任何和所有组合。还应理解的是，当在本说明书中使用时，术语“包括”指定所阐述的特征、区域、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、区域、步骤、操作、元件、组件和/或其群组的存在或添加。
此外，可在本文中使用相对术语，诸如“下”或“底”以及“上”或“顶”来描述如图中所示的一个元件与另一元件的关系。应当理解，除了图中描绘的定向之外，相对术语旨在包含设备的不同定向。在示例性实施方式中，当图之一中的设备被翻转时，被描述为在其他元件的“下”侧上的元件将随之被定向在其他元件的“上”侧上。因此，取决于图的特定定向，示例性术语“下”可以包含“下”和“上”两种定向。类似地，当图之一中的设备被翻转时，被描述为在其他元件“下方”或“下面”的元件将随之被定向在其他元件“上方”。因此，示例性术语“下方”或“下面”可以包含上方和下方两种定向。
如本文中所使用的，“约”或“近似”包括所述值以及如由本领域普通技术人员在考虑到所讨论的测量和与特定量的测量相关的误差(即，测量系统的限制)时所确定的特定值的可接受偏差范围内的平均值。例如，“约”可表示在一个或多个标准偏差内。
除非另有定义，否则本文中使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员所通常理解的含义相同的含义。还应理解的是，术语，诸如在常用字典中定义的那些术语，应被解释为具有与其在相关领域和本发明的上下文中的含义一致的含义，并且除非在本文中明确地如此定义，否则将不以理想化或过于形式化的含义进行解释。
如本领域中惯用的那样，针对功能性块、单元和/或模块，附图中描述和示出了一些示例性实施方式。本领域技术人员将理解，这些块、单元和/或模块通过可利用基于半导体的制造技术或其他制造技术形成的、诸如逻辑电路、离散组件、微处理器、硬布线电路、存储器元件、布线连接器等的电气电路(或光学电路)物理上地实现。在块、单元和/或模块通过微处理器或其他相似硬件实现的情况下，可利用软件(例如，微代码)对它们进行编程并控制它们以执行本文所讨论的各种功能，并且可选择性地通过固件和/或软件来驱动它们。还可设想到，每个块、单元和/或模块可通过专用硬件来实现，或者可实现为用于执行一些功能的专用硬件与用于执行其他功能的处理器(例如，一个或多个编程式微处理器和关联的电路)的组合。另外，在没有脱离发明构思的范围的情况下，一些示例性实施方式中的每个块、单元和/或模块可在物理上分离成两个或更多个交互且离散的块、单元和/或模块。此外，在没有脱离发明构思的范围的情况下，一些示例性实施方式中的块、单元和/或模块可在物理上组合成更复杂的块、单元和/或模块。
图1示出了根据本申请实施例的测量模型的控制方法和控制系统的应用环境的示意图。
如图1所示，根据本申请实施例的测量模型(即，虚拟测量模型)的控制方法和控制系统的应用环境可包括机台、控制器120、测量模型130、测量模型控制单元133和数据库140，其中，所述机台可包括一个或多个机台，例如，第一机台111至第N机台112(N为自然数)，测量模型130可包括训练模型131和预测模型132。测量模型130、测量模型控制单元133和数据库140可通过存储于计算机可读介质中的指令实现，例如，在上述指令被计算机处理器执行时可实现测量模型130、测量模型控制单元133和数据库140的功能。
第一机台111至第N机台112可用于生成产品，例如，半导体器件、晶圆等。第一机台111至第N机台112可与数据库140进行通信，以将与机台相关的数据(例如，温度、生产速度等)以及与产品相关的数据(例如，如产品照片、温度等)发送至数据库140。
控制器120可控制第一机台111至第N机台112的运行，例如可以停止第一机台111至第N机台112中的一个或多个的运行。控制器120可以与预测模型132通信，以请求预测模型132对例如第一机台111制造的产品进行预测，或者根据预测模型132的预测结果停止或恢复例如第一机台111的运行。控制器120可包括多个控制器，其中每个控制器可分别与一个机台对应。虽然在图1中将控制器示出为与机台分离，但是本申请的控制器不限于此，其也可以集成在机台中。
训练模型131为用于训练的预测模型。训练模型131在经过训练后可以用于更新预测模型132，例如，可以使用训练好的训练模型131替换预测模型132。本申请对于训练模型131的训练方法没有限制，例如，在基于卷积神经网络构建训练模型131和预测模型132时，可以使用反向传播方法，将训练模型131的预测结果与训练集中样本的参考标签进行比较以得到两者差异，并根据差异调整卷积神经网络的参数，然后进行下一次预测与比较，直到预测结果与参考标签的差异不再减小为止。在训练过程中，训练模型131可以与数据库140进行通信，以获得训练集数据。
预测模型132用于响应于控制器120的预测请求对相应机台生产的产品进行预测，以确定例如产品质量是否合格、是否存在缺陷等。预测模型132可以与数据库140进行通信以获得相应机台和/或产品的相关数据以进行预测。例如，预测模型132可以从数据库140获得机台的各种参数(例如，温度、生产速度等)，也可以获得与产品有关的数据(例如，如产品照片、温度等)。
测量模型控制单元133用于执行测量模型控制方法并可以与训练模型131和预测模型132通信，以根据训练模型对训练集的训练预测准确度、训练过程异常度、训练集中样本与制造其的机台的关联异常度、预测模型对机台所制造产品的应用预测误差度、所述预测模型的运行异常度等对训练模型131和预测模型132进行控制，其中，训练预测准确度反映了训练模型针对训练集中样本的预测准确度，由于训练模型用于更新预测模型，训练预测准确度过低将直接影响预测模型的实际预测准确度；训练过程异常度反映了训练模型的训练过程中出现的异常的严重程度，例如，完成一次训练的时间、两次成功训练间的时间间隔等，这些指标的过大能够反映训练中训练模型或测量模型控制单元与数据库的连接可能存在问题，或者数据本身存在问题；训练集中样本与制造其的机台的关联异常度反映了样本能够代表机台所制造产品的程度，如果关联异常度过低，则反映了所使用的样本不能很好地代表机台所制造产品的整体情况，进而使用该样本训练的模型则不能针对机台所制造的产品做出准确的预测；应用预测误差度反映了预测模型针对实际产品的预测准确度，应用预测误差度过大反映了预测模型无法针对产品做出准确预测；运行异常度反映了预测过程中出现的异常的严重程度，运行异常度过大反映了服务器负载可能过高、预测所用数据出现问题、预测针对各机台的覆盖率不足等。测量模型控制单元133还可以根据以上信息确定是否发出警报、停止训练或停止机台运行等。测量模型控制单元133可以与数据库140进行通信，例如，以读取关于训练模型131和预测模型132的历史数据，或将控制信息等存储至数据库140。
数据库140用于存储数据，例如，可以存储来自机台的关于机台和产品的数据、预测模型的训练集、测量模型控制单元的控制信息、日志等。
下面将结合图2详细说明测量模型的控制方法。
图2示出了根据本申请实施例的测量模型的控制方法。
如图2所示，根据本申请实施例的测量模型的控制方法可包括：检测训练模型针对训练集的训练预测准确度(S211)、以及训练集中样本与制造该样本的机台的关联异常度(S221)；以及响应于满足以下至少一个条件，发出警报和/或至少部分地改变预测模型的工作状态(S250)：训练预测准确度低于参考训练预测准确度(S212)以及关联异常度大于参考关联异常度(S222)。
在步骤S211处，根据本申请实施例的测量模型的控制方法可检测训练模型针对训练集的训练预测准确度。训练预测准确度可以使用R2分数来表示，其中，R2分数可以使用以下等式1来获得：
其中， 为训练模型对训练集中第i个样本的预测值，yi为第i个样本的参考值，∈i表示第i个样本的预测值与参考值之间的差异。R2分数反映了训练模型对样本数据的拟合能力，其值越大表示拟合能力越强，相应的预测准确度越高。通过针对R2分数设置一个参考值(例如，参考R2分数)来作为参考训练预测准确度，可以在训练模型的训练预测准确度低于参考训练预测准确度时，进行相应的操作。例如，当训练模型的R2分数小于参考R2分数时，表示训练模型的拟合能力偏低，可能会影响到预测准确度，这时可以立即通知用户该异常和/或暂停针对所有机台的预测。例如，通过显示装置向用户显示警报信息和/或通过图1中所示的测量模型控制单元133，向预测模型132发出指令以暂停针对所有机台的预测。
在本实施例中，训练模型的R2分数可以包括简单R2分数(也可称为“第一R2分数”)、中值R2分数(也可称为“第二R2分数”)和实时预测R2分数(也可称为“第三R2分数”)中的一种或多种。
简单R2分数可为针对训练集中所有样本计算的R2分数。
中值R2分数可通过以下方法获得：将训练集随机划分为第一训练集和第二训练集；利用第一训练集训练训练模型；利用经训练的训练模型对第二训练集进行预测；获得经训练的训练模型针对所述第二训练集的R2分数；将训练集重新随机划分为新的第一训练集和新的第二训练集；重复以上步骤预定次数，以及将所获得的R2分数中的中值分数作为所述第二R2分数。
例如，可随机将训练集中80％的样本划分为训练样本集，并将剩下的20％的样本划分为测试样本集，利用训练样本集对训练模型进行训练，并使用经训练的训练模型对测试样本集中的样本进行预测，并获得该次训练的训练模型的R2分数。然后，重新将训练集中80％的样本划分为新的训练样本集，并将剩下的20％的样本划分为新的测试样本集，并分别利用新的训练样本集和新的测试样本集替换原来的训练样本集和测试样本集。以上过程可以重复例如1000次，并获得1000个R2分数，最后将该1000个R2分数的中值分数作为训练模型的中值R2分数
实时预测R2分数可通过以下方法获得：将训练集中的产品以生产完成时间由先到后的顺序进行排序；选择预定数量作为选择窗口；从训练集中的第一个样本开始利用选择窗口来选择第三训练集；利用第三训练集训练训练模型；利用经训练的训练模型对训练集中位于选择窗口后一位的样本进行预测；在训练集中将选择窗口向后移动一个样本的步进；利用移动后的选择窗口中的样本更新第三训练集；重复以上步骤，直到训练集中的最后一个样本被预测；以及针对所有预测结果计算R2分数作为实时预测R2分数。
图3示出了用于说明根据本申请实施例的实时预测R2分数的计算方法的示意图。
在本实施例中，训练集中的样本可以是图1所示的第一机台111至第N机台112生产的、经过检测并标注有检测结果的产品。如图3所示，可以将训练集中的样本以生成完成时间由先到后的顺序进行排列，例如，样本301的生成完成时间早于样本305的生成完成时间，样本305的生成完成时间早于样本306的生成完成时间。可以选择例如四个样本作为选择窗口，并从训练集中的第一个样本301开始利用选择窗口来选择第三训练集310。然后，利用经训练的训练模型对训练集中位于选择窗口后一位的样本305进行预测。在完成预测后，可以将选择窗口向后移动一个样本的步进以选择样本301之后的四个样本，并使用该四个样本将第三训练集310更新为第三训练集320，然后利用第三训练集320训练训练模型，并使用经训练的训练模型对样本306进行预测。依次类推，当最后一个样本被预测时，结束训练过程。最后，针对上述过程中所有预测的结果计算R2分数作为实时预测R2分数。
在本实施例中，简单R2分数可大于中值R2分数，并且中值R2分数可大于实时预测R2分数。
在本实施例中，可分别将简单R2分数、中值R2分数和实时预测R2分数作为训练模型的训练预测准确度，并利用分别与第一R2分数、第二R2分数和第三R2分数对应的R2分数参考值作为参考训练预测准确度。测量模型控制方法可包括：当简单R2分数、中值R2分数和实时预测R2分数中的至少一个低于对应的参考训练预测准确度(即，S212，训练预测准确度小于参考训练预测准确度)时，可发出警报和/或暂停针对所有机台的训练模型的训练(S250)。参考训练预测准确度可以通过实验或基于历史数据来确定。
在一些实施例中，测量模型的控制方法还可以包括：检测训练模型针对训练集的训练过程异常度。训练过程异常度反映了训练模型的训练过程中出现的异常的严重程度。
在训练过程中，训练模型与数据库之间的数据流异常或者训练数据本身出现问题都会引起训练模型两次成功训练之间的间隔时间增加，对两次成功训练之间的间隔时间的监控能够及时发现此类问题，并采取相应措施。因此，在一些实施例中，检测训练模型针对训练集的训练过程异常度的方法可包括：检测训练模型的连续的成功训练之间的间隔时间；利用间隔时间表示训练过程异常度，利用对应的间隔时间参考值作为参考训练过程异常度。测量模型控制方法可包括：在间隔时间大于间隔时间参考值且持续超过预定时间的情况下发出警报和/或暂停针对所有机台的训练模型的训练。
例如，可以在训练模型成功完成一次训练时开始计时，直到下一次成功完成训练时停止计时，所计时的时间为所述间隔时间，当该间隔时间大于间隔时间参考值且持续超过预定时间时，可确定训练模型的训练出现异常，此时可以发出警报和/或暂停针对所有机台的训练模型的训练。间隔时间参考值可以通过实验或基于历史数据来确定。
训练模型和数据库之间的数据连接问题可能引起训练模型的训练时间过长，例如，训练模型和数据库之间过长的连接等待时间可能导致训练时间过长，对训练时间的监控能够及时发现此类问题，并采取相应措施。因此，在一些实施例中，检测训练模型的训练过程异常度的方法可包括：检测每次完成对训练模型的训练所用的训练时间；利用训练时间表示训练过程异常度，并利用对应的训练时间参考值作为参考训练过程异常度。测量模型控制方法可包括：在训练时间大于训练时间参考值且持续超过预定时间的情况下发出警报和/或暂停针对所有机台的训练模型的训练。
例如，可以在每次开始对训练模型进行训练时开始计时，并在训练完成时停止计时，所计时的时间为训练时间。当所获得的训练时间中存在超过训练时间参考值的训练时间并且持续超过预定时间时，可以确定训练模型的训练出现异常，此时可发出警报和/或暂停针对所有机台的训练模型的训练。训练时间参考值可以通过实验或基于历史数据来确定
再次参考图2，在步骤S221中，可以检测训练集中样本与制造所述样本的机台的关联异常度。所述关联异常度可以表示训练集中样本与机台之间的相关性的异常程度。
如上文所述，训练集中的样本可以是各机台实际生产的、经过检测的产品，为了保证训练出来的模型能够普适于各个机台，一般期望样本集中来自各个机台的样本数量大体相同，来自各机台样本数量之间的差异能够反映训练集中样本与机台的关联异常度。因此，在一些实施例中，检测训练集中样本与制造所述样本的机台的关联异常度可以包括：检测训练集中来自多个机台中的每个机台的样本数量；计算来自多个机台中的每对机台的样本数量之差；利用样本数量之差中的最大值作为关联异常度，并且利用对应的样本数量之差参考值作为参考关联异常度。测量模型控制方法可包括：当每对机台的样本数量之差中的最大值大于样本数量之差参考值时发出警报和/或暂停针对与所述最大值对应的两个机台中样本数量较大者的训练模型的训练。
例如，可以对训练集中来自每个机台的样本进行计数，并且分别将每个机台的样本数与其它机台的样本数进行比较以获得每对机台之间的样本数之差，然后取其中的最大值作为关联异常度，并且利用对应的样本数之差参考值作为参考关联异常度。当样本数之差中的最大值超过样本数之差参考值时，说明训练集对于某个机台的关联度过大，这会导致训练出来的模型对于某个机台的依赖性过大，进而影响针对其它机台的预测。因此，此时可以发出警报，也可以暂停针对所涉及的机台的训练模型的训练。举例来说，当来自第一机台的样本数量大于来自第二机台的样本数量，且它们之间的差异构成所有机台之间样本数量之差的最大值时，可以停止针对第一机台的训练模型的训练。样本数量之差参考值可以通过实验或基于历史数据来确定。
在一个产品被制造出来后，由于制造机台的状况或者产品配方可能会发生变化，因此随着时间的流失，其与制造机台之间的关联度会下降，尤其是机台经过定期维护或者产品制造配方经过调整后。因此，如果训练集中样本已经被制造完成较长时间，那么其对训练模型的作用可能会比较微弱。因此，在一些实施例中，检测训练集中样本与制造样本的机台的关联异常度可以包括：检测训练集中样本的制造完成时间；利用制造完成时间作为关联异常度，并且利用对应的参考制造完成时间作为参考关联异常度。测量模型控制方法可包括：当制造完成时间早于参考制造完成时间时，发出警报和/或暂停针对对应机台的训练模型的训练，其中，对应机台为制造完成时间早于参考制造完成时间的样本所对应的机台。
例如，可以从数据库中获取训练集中的各样本的制造完成时间，并将其与参考制造完成时间进行比较，当某个样本的制造完成时间大于参考制造完成时间时，说明该样本与对应机台的关联度可能已经较弱，并且可以表示样本与机台的参考关联异常度较高，此时，可以发出警报和/或暂停针对制造该样本的机台的训练模型的训练。参考制造完成时间可以通过实验或基于历史数据来确定。
在训练过程中，如果使用某个训练集进行的训练经历了较大的时间跨度，则也会使该样本集与机台的关联度下降。因此，在一些实施例中，检测训练集中样本与制造样本的机台的关联异常度可以包括：检测训练集的训练时间跨度；利用训练时间跨度作为关联异常度，并且利用对应的参考训练时间跨度作为参考关联异常度。测量模型控制方法可包括：当训练时间跨度大于参考训练时间跨度时发出警报和/或暂停针对所有机台的训练模型的训练。
例如，可以从开始使用某样本集进行训练时计时，所计时的时间作为训练时间跨度。当训练时间跨度大于参考训练时间跨度时，说明书样本集与机台的关联度下降，相应地，关联异常度增加并且已经超过参考关联异常度。此时，可以发出警报和/或暂停针对所有机台的训练模型的训练。
参考图4，根据本申请另一实施例的测量模型的控制方法可包括：检测预测模型针对一个或多个机台所制造产品的应用预测误差度(S231)、以及预测模型的运行异常度(S241)；以及响应于满足以下至少一个条件，发出警报和/或至少部分地改变预测模型的工作状态(S250)：应用预测误差度低于参考应用预测误差度(S232)、以及运行异常度高于参考运行异常度(S242)。
需要说明的是，参考图4描述的测量模型的控制方法与参考图3描述的测量模型的控制方法可以单独使用，也可以结合使用。例如，可以仅使用图3所示的方法监控测量模型以在发生异常时采取相应措施，或者可以仅使用图4所示的方法监控测量模型以在发生异常时采取相应措施，此外，也可以同时使用图3所示的方法和图4所示的方法以同时监控训练模型和测量模型。
在步骤S231中，可以检测预测模型针对机台所制造产品的应用预测误差度。预测准确度可以反映预测模型所预测结果的准确性。
在生产环境中，机台往往需要不定期维护，维护前机台生产的产品与维护后机台生产的产品可能会存在较大差异，此时可能导致预测模型不适用于维护后的机台。在检测数据上可以表现为预测模型预测的结果的误差出现异常值，例如，出现明显过大的误差。如果异常值所占比例较大，则说明预测模型可能不适用于多数机台，进而预测准确度会下降。因此，在一些实施方式中，检测预测模型针对机台所制造产品的应用预测误差度可以包括：检测预测模型所执行的预测的预测误差异常值比率，其中，预测误差异常值比率由预测模型最近做出的预定次数的预测中出现预测误差异常值的比率表示；利用预测误差异常值比率作为应用预测误差度，并且利用对应的参考预测误差异常值比率作为参考应用预测误差度。测量模型控制方法可以包括：当预测误差异常值比率大于参考预测误差异常值比率且维持超过预定时间时，发出警报和/或停止预测模型针对所有机台的预测。
在生成过程中，可以对部分产品进行实际检测，预测模型的预测误差可以通过将产品的实际检测结果与预测模型的预测结果进行比较获得。在本实施例中，可以检测模型最近10次预测中出现预测误差异常值的比率。预测误差异常值可以为超过预定阈值的预测误差，例如，预定阈值为10％，当某一次预测的预测误差为15％时，该预测误差可以被认为是预测误差异常值。当模型最近10次预测中出现预测误差异常值的比率大于对应的参考预测误差异常值比率(例如，20％)时，可以认为预测模型的预测准确度将受到影响。如果预测误差异常值比率超过参考预测误差异常值比率并持续预定时间，则测量模型控制单元可以警报和/或停止预测模型针对所有机台的预测。参考预测误差异常值比率可以通过实验或基于历史数据来确定。
预测误差中值能够反映预测模型的预测误差平均情况，因此，在一些实施方式中，检测预测模型针对机台所制造产品的应用预测误差度可以包括：检测预测模型所执行的预测的预测误差中值；利用预测误差中值作为应用预测误差度，并且利用对应的参考预测误差中值作为参考应用预测误差度。测量模型控制方法可以包括：当预测误差中值大于参考预测误差中值且维持超过预定时间时，发出警报和/或停止预测模型针对所有机台的预测。
例如，可以将预测模型进行的例如最近15次预测的预测误差进行排序，并将位于中间位置(第8位)的预测误差(例如，20％)作为预测模型的预测误差中值。当该预测误差中值大于对应的参考预测误差中值(例如，15％)时，可以认为预测模型的预测准确度将受到影响。如果预测误差中值超过参考预测误差中值并持续预定时间，则测量模型控制单元可以警报和/或停止预测模型针对所有机台的预测。参考预测误差中值可以通过实验或基于历史数据来确定。
预测误差变化率能够反映预测模型的预测误差的变化趋势，对于及时发现预测模型的状态异常是有益的。因此，在一些实施例中，检测预测模型针对机台所制造产品的应用预测误差度可以包括：检测预测模型所执行的预测的预测误差变化率；利用预测误差变化率作为应用预测误差度，并且利用对应的参考预测误差变化率作为参考应用预测误差度。测量模型控制方法可以包括：当预测误差变化率大于参考预测误差变化率且维持超过预定时间时，发出警报和/或停止预测模型针对所有机台的预测。
例如，可以将预测模型进行的最近10次预测的预测误差与其各自的前一次预测的预测误差进行比较来获得10个预测误差变化率，并且将该10个预测误差变化率的平均值作为预测模型的预测误差变化率。在另一实施例中，可以将预测模型进行的最近一次预测的预测误差与前一次预测的预测误差进行比较以获得预测误差变化率，并以此作为预测模型预测误差变化率。当预测模型的预测误差变化率超过参考预测误差变化率并超过预定时间时，表示预测模型的预测误差在持续增加，可以认为将影响预测模型的预测准确度，此时，测量模型控制单元可以警报和/或停止预测模型针对所有机台的预测。参考预测误差变化率可以通过实验或基于历史数据来确定。
再次参考图4，在步骤S241中，可以检测预测模型的运行异常度，运行异常度可以表示预测模型在预测过程中出现异常的程度。
在预测模型运行时，其可能遭遇数据库连接问题或者预测服务器负载过大等问题，这些问题可能导致预测模型完成一次预测的时间过长，进而导致预测模型的运行异常度增加。因此，检测预测模型的运行异常度可以包括：检测预测模型响应于一个或多个机台的控制器的预测请求而完成预测的预测时间；利用预测时间作为运行异常度，并且利用对应的参考预测时间作为参考运行异常度。测量模型控制方法可以包括：当预测时间大于参考预测时间时发出警报。
例如，可以在某个机台的控制器向预测模型发出预测请求时开始计时，在预测模型获得预测结果时结束计时，所计时的时间为预测时间。将预测时间与对应的参考预测时间进行比较，当预测时间大于参考预测时间时，说明预测模型运行出现异常，即，预测模型的运行异常度大于参考运行异常度，此时可以发出警报。参考预测时间可以通过实验或基于历史数据来确定。
在预测模型运行时，其可能遭遇数据库中的数据完整性问题，部分数据的丢失可能导致预测模型失败，进而导致预测模型的预测成功率降低。因此，在一些实施例中，检测预测模型的运行异常度可以包括：检测预测模型响应于一个或多个机台的控制器的预测请求而成功进行预测的预测成功率；利用预测成功率作为运行异常度，并且利用对应的参考预测成功率作为参考运行异常度。测量模型控制方法可以包括：当预测成功率小于参考预测成功率时发出警报。
例如，在参考预测成功率为70％的情况下，在预测模型进行第N此预测时，可以计算预测模型进行的第N-10次预测至第N次预测的成功率，如果该成功率大于70％，则可以认为目前预测模型的运行正常，可以继续检测之后的预测成功率。当预测模型进行下一次预测(即，第N+1次预测时)时，可以检测第N-9次预测至第N+1次预测的预测成功率，如果这时的预测成功率小于70％，则可以认为预测模型运行异常，可以发出警报。换言之，在本实施例中，可以始终检测预测模型最近10次预测的预测成功率，并在预测成功率小于参考预测成功率时发出警报。虽然本实施例中将参考预测成功率描述为70％，并且描述了检测最近10次预测的预测成功率，但是本申请不限于此，也可以将检测次数和参考预测成功率设置为其它值，其中，参考值预测成功率可以通过实验或基于历史数据来确定。
为了充分利用预测模型以及将虚拟测试尽量广泛地应用至各个机台，监控来自各个机台的预测请求次数是有益的。因此，在一些实施例中，检测预测模型的运行异常度可以包括：检测来自一个或多个机台中每个机台的预测请求次数；计算来自一个或多个机台中每对机台的预测请求次数之差；利用预测请求次数之差中的最大值作为运行异常度，并且利用对应的预测请求次数之差参考值作为参考运行异常度。测量模型控制方法可以包括：当预测请求次数之差中的最大值大于预测请求次数之差参考值时发出警报。
例如，可以对来自每个机台的预测请求进行计数，并且分别将每个机台的预测请求次数与其它机台的预测请求次数进行比较以获得每对机台之间的预测请求次数之差，然后取其中的最大值作为运行异常度，并且利用对应的预测请求次数之差参考值作为参考运行异常度。当预测请求次数之差中的最大值超过预测请求次数之差参考值时，说明某机台占用了过大的预测模型资源，这会导致部分机台无法得到充分检测。因此，此时可以发出警报。预测请求次数之差参考值可以通过实验或基于历史数据来确定。
在一些实施方式中，当出现训练预测准确度小于参考训练预测准确度、关联异常度大于参考关联异常度、应用预测误差度大于参考应用预测误差度、以及运行异常度大于参考运行异常度中的至少一种情况时，说明测量模型的状态出现了异常，可能影响预测准确性，进而影响生产线的产品质量检测，此时，可以停止一个或多个机台工作的措施。例如，可以停止测量模型异常可能影响到的机台的工作。停止工作的机台可以在测量模型异常被排出后恢复工作。
上述各种实施例可以实现为包括指令的软件，所述指令可以存储在机器可读存储介质中，所述机器可读存储介质可以由机器(例如，计算机或控制系统)读取。机器(或控制系统)是调用存储在存储介质中的指令的设备，其包括处理器和存储一个或多个程序的存储器，当所述一个或多个程序被处理器执行时，可以执行以上参照图3描述的方法或参照图4描述的方法，或者执行参照图3描述的方法和参照图4描述的方法。
如果该指令由处理器执行，则处理器可通过其自身或通过在处理器的控制下使用其它元件来执行对应于指令的功能。该指令可以包括由编译器或解释器生成或执行的代码。例如，当存储在存储器中的指令由处理器执行时，可以执行上述测量模型的控制方法。
机器可读存储介质可以以非暂时性存储介质的形式提供。
根据实施例，根据上述各种实施例的方法可以被提供为包括在计算机程序产品中。计算机程序产品可以作为卖方和消费者之间的产品进行交易。计算机程序产品可以机器可读存储介质(例如，光盘ROM(CD-ROM))的形式或通过应用商店在线分发。在在线分发的情况下，计算机程序产品的至少一部分可以至少临时存储或临时生成在制造商的服务器、应用商店的服务器或诸如中继服务器的存储器的存储介质中。
虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同限定的本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (43)

1.一种测量模型的控制方法，其中，所述测量模型包括训练模型和预测模型，其中，经训练的所述训练模型用于更新所述预测模型，所述预测模型用于对一个或多个机台所制造产品进行预测，所述方法包括：
检测所述预测模型针对所述一个或多个机台所制造产品的应用预测误差度、以及所述预测模型的运行异常度；
检测所述训练模型针对训练集的训练预测准确度、以及所述训练集中样本与制造所述样本的机台的关联异常度，其中，所述训练集为一个或多个机台已制造的产品；以及
响应于满足以下至少一个条件，发出警报和/或至少部分地改变所述预测模型的工作状态：
所述应用预测误差度大于参考应用预测误差度，
所述运行异常度大于参考运行异常度，
所述训练预测准确度小于参考训练预测准确度，以及
所述关联异常度大于参考关联异常度。
2.如权利要求1所述的控制方法，其特征在于，检测所述预测模型的运行异常度包括：
检测所述预测模型响应于所述一个或多个机台的预测请求而完成预测的预测时间；
利用所述预测时间作为所述运行异常度，并且利用对应的参考预测时间作为所述参考运行异常度。
3.如权利要求2所述的控制方法，其特征在于，所述控制方法还包括：
当所述预测时间大于所述参考预测时间时发出警报。
4.如权利要求1所述的控制方法，其特征在于，检测所述预测模型的运行异常度包括：
检测所述预测模型响应于所述一个或多个机台的预测请求而成功进行预测的预测成功率，其中，所述预测成功率由最近的、预定次数预测的成功率表示；
基于所述预测成功率计算所述运行异常度，并且基于对应的参考预测成功率计算所述参考运行异常度。
5.如权利要求4所述的控制方法，其特征在于，所述控制方法还包括：
当所述预测成功率小于所述参考预测成功率时，确定所述运行异常度大于所述参考运行异常度，并发出警报。
6.如权利要求1所述的控制方法，其特征在于，检测所述预测模型的运行异常度包括：
检测来自所述一个或多个机台中每个机台的预测请求次数；
计算来自所述一个或多个机台中每对机台的预测请求次数之差；
利用所述预测请求次数之差中的最大值作为所述运行异常度，并且利用对应的预测请求次数之差参考值作为所述参考运行异常度。
7.如权利要求6所述的控制方法，其特征在于，所述控制方法还包括：
当所述预测请求次数之差中的最大值大于所述预测请求次数之差参考值时发出警报。
8.如权利要求1所述的控制方法，其特征在于，检测所述预测模型针对所述一个或多个机台所制造产品的应用预测误差度包括：
检测所述预测模型所执行的预测的预测误差异常值比率，其中，所述预测误差异常值比率由所述预测模型最近做出的预定次数的预测中出现预测误差异常值的比率表示，其中，所述预测误差异常值为超过预定阈值的预测误差；
利用所述预测误差异常值比率作为所述应用预测误差度，并且利用对应的参考预测误差异常值比率作为所述参考应用预测误差度。
9.如权利要求8所述的控制方法，其特征在于，所述控制方法还包括：
当所述预测误差异常值比率大于所述参考预测误差异常值比率且维持超过预定时间时，发出警报和/或停止所述预测模型针对所有机台的预测。
10.如权利要求1所述的控制方法，其特征在于，检测所述预测模型针对所述一个或多个机台所制造产品的应用预测误差度包括：
检测所述预测模型所执行的预测的预测误差中值，其中，所述预测误差中值由所述预测模型最近做出的预定次数预测的预测误差的中间值表示；
利用所述预测误差中值作为所述应用预测误差度，并且利用对应的参考预测误差中值作为所述参考应用预测误差度。
11.如权利要求10所述的控制方法，其特征在于，所述控制方法还包括：
当所述预测误差中值大于参考预测误差中值且维持超过预定时间时，发出警报和/或停止所述预测模型针对所有机台的预测。
12.如权利要求1所述的控制方法，其特征在于，检测所述预测模型针对所述一个或多个机台所制造产品的应用预测误差度包括：
检测所述预测模型所执行的预测的预测误差变化率，其中，所述预测误差变化率由所述预测模型最近做出的预定次数预测的预测误差的变化程度表示；
利用所述预测误差变化率作为所述应用预测误差度，并且利用对应的参考预测误差变化率作为所述参考应用预测误差度。
13.如权利要求12所述的控制方法，其特征在于，所述控制方法还包括：
当所述预测误差变化率大于参考预测误差变化率且维持超过预定时间时，发出警报和/或停止所述预测模型针对所有机台的预测。
14.如权利要求1所述的控制方法，其特征在于，检测所述训练模型针对所述训练集的训练预测准确度包括：
利用R2分数表示所述训练预测准确度，其中，所述R2分数包括第一R2分数和第二R2分数，所述第一R2分数为针对所述训练集中的所有样本计算的R2分数，所述第二R2分数为针对所述训练集的多个子集中的样本计算的R2分数的中值分数。
15.如权利要求14所述的控制方法，其特征在于，所述第二R2分数通过以下操作获得：
将所述训练集随机划分为第一训练集和第二训练集；
利用所述第一训练集训练所述训练模型；
利用经训练的训练模型对所述第二训练集进行预测；
获得经训练的训练模型针对所述第二训练集的R2分数；
将所述训练集重新随机划分为新的第一训练集和新的第二训练集；以及
重复以上步骤预定次数，将所获得的R2分数中的中值分数作为所述第二R2分数。
16.如权利要求14所述的控制方法，其特征在于，所述R2分数还包括第三R2分数，所述第三R2分数包括：基于时间上在先生产的样本训练的训练模型，针对时间上在后生产的样本的R2分数。
17.如权利要求16所述的控制方法，其特征在于，所述第三R2分数通过以下操作获得：
将所述训练集中的样本以生产完成时间由先到后的顺序进行排序；
选择预定数量作为选择窗口，所述选择窗口用于在从所述训练集中选择数据时，确定连续的、所述预定数量的数据；
根据所述训练集以及所述选择窗口，确定所述第三R2分数。
18.如权利要求17所述的控制方法，其特征在于，所述根据所述训练集以及所述选择窗口，确定所述第三R2分数，包括：
从所述训练集中的第一个样本开始利用所述选择窗口来选择第三训练集；
利用所述第三训练集训练所述训练模型；
利用经所述第三训练集训练的训练模型对所述训练集中位于所述选择窗口后一位的样本进行预测；
在所述训练集中将所述选择窗口向后移动一个样本的步进；
利用移动后的选择窗口中的样本更新所述第三训练集；
重复以上步骤，直到所述训练集中的最后一个样本被预测；以及
针对所有预测结果计算R2分数作为所述第三R2分数。
19.如权利要求16所述的控制方法，其特征在于，所述第一R2分数大于所述第二R2分数，并且所述第二R2分数大于所述第三R2分数。
20.如权利要求16所述的控制方法，其特征在于，检测所述训练模型针对所述训练集的训练预测准确度还包括：
分别利用所述第一R2分数、所述第二R2分数和所述第三R2分数表示所述训练预测准确度，并且利用分别与所述第一R2分数、所述第二R2分数和所述第三R2分数对应的R2分数参考值作为所述参考训练预测准确度。
21.如权利要求20所述的控制方法，其特征在于，所述控制方法还包括：
当所述第一R2分数、所述第二R2分数和所述第三R2分数中的至少一个低于对应的R2分数参考值时，确定所述训练预测准确度低于所述参考训练预测准确度，并且发出警报和/或暂停针对所有机台的训练模型的训练。
22.如权利要求1所述的控制方法，其特征在于，所述方法还包括：
检测所述训练模型的训练过程异常度；以及
响应于所述训练过程异常度大于参考训练过程异常度，至少部分地改变所述预测模型的工作状态。
23.如权利要求22所述的控制方法，其特征在于，检测所述训练模型的所述训练过程异常度包括：
检测所述训练模型的连续的成功训练之间的间隔时间；
利用所述间隔时间表示所述训练过程异常度，利用对应的间隔时间参考值作为所述参考训练过程异常度。
24.如权利要求23所述的控制方法，其特征在于，所述控制方法还包括：
在所述间隔时间大于所述间隔时间参考值且持续超过预定时间的情况下发出警报和/或暂停针对所有机台的训练模型的训练。
25.如权利要求22所述的控制方法，其特征在于，检测所述训练模型的所述训练过程异常度包括：
检测每次完成对所述训练模型的训练所用的训练时间；
利用所述训练时间表示所述训练过程异常度，并利用对应的训练时间参考值作为所述参考训练过程异常度。
26.如权利要求25所述的控制方法，其特征在于，所述控制方法还包括：
在所述训练时间大于所述训练时间参考值且持续超过预定时间的情况下发出警报和/或暂停针对所有机台的训练模型的训练。
27.如权利要求1所述的控制方法，其特征在于，当所述训练集中的样本来自多个机台时，检测所述训练集中样本与制造所述样本的机台的关联异常度包括：
检测所述训练集中来自所述多个机台中的每个机台的样本数量；
计算来自所述多个机台中的每对机台的样本数量之差；
利用所述样本数量之差中的最大值作为所述关联异常度，并且利用对应的样本数量之差参考值作为所述参考关联异常度。
28.如权利要求27所述的控制方法，其特征在于，所述控制方法还包括：
当所述每对机台的样本数量之差中的最大值大于所述样本数量之差参考值时，发出警报和/或暂停针对与所述最大值对应的两个机台中样本数量较大者的训练模型的训练。
29.如权利要求1所述的控制方法，其特征在于，当所述训练集中的样本来自多个机台时，检测所述训练集中样本与制造所述样本的机台的关联异常度包括：
检测所述训练集中样本的制造完成时间；
利用所述制造完成时间作为所述关联异常度，并且利用对应的参考制造完成时间作为所述参考关联异常度。
30.如权利要求29所述的控制方法，其特征在于，所述控制方法还包括：
当所述制造完成时间早于所述参考制造完成时间时，发出警报和/或暂停针对对应机台的训练模型的训练，其中，所述对应机台为制造所述制造完成时间早于所述参考制造完成时间的样本的机台。
31.如权利要求1所述的控制方法，其特征在于，当所述训练集中的样本来自多个机台时，检测所述训练集中样本与制造所述样本的机台的关联异常度包括：
检测所述训练集的训练时间跨度，所述训练时间跨度表示从所述训练集被用于训练所述训练模型时开始计时的时间；
利用所述训练时间跨度作为所述关联异常度，并且利用对应的参考训练时间跨度作为所述参考关联异常度。
32.如权利要求31所述的控制方法，其特征在于，所述控制方法还包括：
当所述训练时间跨度大于所述参考训练时间跨度时，发出警报和/或暂停针对所有机台的训练模型的训练。
33.如权利要求1-13中的任一项所述的控制方法，其特征在于，发出警报包括：
所述应用预测误差度和所述运行异常度相关的信息。
34.如权利要求1-32中的任一项所述的控制方法，其特征在于，发出警报包括：
通过显示装置显示与所述训练预测准确度和所述关联异常度相关的信息。
35.如权利要求1-13中任一项所述的控制方法，其特征在于，所述控制方法还包括：
响应于满足以下至少一个条件，使所述一个或多个机台中的至少一个机台停止工作：
所述应用预测误差度大于参考应用预测误差度，以及
所述运行异常度大于参考运行异常度。
36.如权利要求1-32中任一项所述的控制方法，其特征在于，所述控制方法还包括：
响应于满足以下至少一个条件，使所述一个或多个机台中的至少一个机台停止工作：
所述训练预测准确度小于参考训练预测准确度，以及
所述关联异常度大于参考关联异常度。
37.一种测量模型的控制方法，其特征在于，所述测量模型包括训练模型和预测模型，其中，经训练的所述训练模型用于更新所述预测模型，所述预测模型用于对一个或多个机台所制造产品进行预测，所述方法包括：
检测所述训练模型针对训练集的训练预测准确度、以及所述训练集中样本与制造所述样本的机台的关联异常度，其中，所述训练集包括所述一个或多个机台已制造的产品；以及
响应于满足以下至少一个条件，发出警报和/或至少部分地改变所述预测模型的工作状态：
所述训练预测准确度小于参考训练预测准确度，以及所述关联异常度大于参考关联异常度。
38.一种测量模型的控制系统，包括：
处理器；以及
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1-36中任一所述的方法。
39.一种测量模型的控制系统，包括：
处理器；以及
存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求37所述的方法。
40.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-36中任一项所述的控制方法。
41.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求37所述的控制方法。
42.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-36中任一项所述的控制方法。
43.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求37所述的控制方法。
CN202110981298.9A 2021-08-25 2021-08-25 测量模型的控制方法和控制系统及计算机可读介质 Active CN113689040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110981298.9A CN113689040B (zh) 2021-08-25 2021-08-25 测量模型的控制方法和控制系统及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110981298.9A CN113689040B (zh) 2021-08-25 2021-08-25 测量模型的控制方法和控制系统及计算机可读介质

Publications (2)

Publication Number Publication Date
CN113689040A CN113689040A (zh) 2021-11-23
CN113689040B true CN113689040B (zh) 2024-03-15

Family

ID=78582440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110981298.9A Active CN113689040B (zh) 2021-08-25 2021-08-25 测量模型的控制方法和控制系统及计算机可读介质

Country Status (1)

Country Link
CN (1) CN113689040B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902832A (zh) * 2018-11-28 2019-06-18 华为技术有限公司 机器学习模型的训练方法、异常预测方法及相关装置
CN112655004A (zh) * 2018-09-05 2021-04-13 赛多利斯司特蒂姆数据分析公司 用于异常检测和/或预测性维护的计算机实现的方法、计算机程序产品以及系统
US11055639B1 (en) * 2020-04-28 2021-07-06 Sas Institute Inc. Optimizing manufacturing processes using one or more machine learning models
CN113255840A (zh) * 2021-06-30 2021-08-13 长江存储科技有限责任公司 故障检测与分类方法、装置、系统及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734585B2 (en) * 2018-12-10 2023-08-22 International Business Machines Corporation Post-hoc improvement of instance-level and group-level prediction metrics
US11645293B2 (en) * 2018-12-11 2023-05-09 EXFO Solutions SAS Anomaly detection in big data time series analysis
KR20190104283A (ko) * 2019-08-20 2019-09-09 엘지전자 주식회사 머신러닝 기반의 세탁기 언밸런스 에러 검출 방법 및 세탁기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112655004A (zh) * 2018-09-05 2021-04-13 赛多利斯司特蒂姆数据分析公司 用于异常检测和/或预测性维护的计算机实现的方法、计算机程序产品以及系统
CN109902832A (zh) * 2018-11-28 2019-06-18 华为技术有限公司 机器学习模型的训练方法、异常预测方法及相关装置
US11055639B1 (en) * 2020-04-28 2021-07-06 Sas Institute Inc. Optimizing manufacturing processes using one or more machine learning models
CN113255840A (zh) * 2021-06-30 2021-08-13 长江存储科技有限责任公司 故障检测与分类方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN113689040A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
US10621545B2 (en) Inventory management system having functions of performing inventory management and preventive maintenance
CN106919141B (zh) 预防维护管理系统、单元控制装置、预防维护管理方法
US11543814B2 (en) Methods of modelling systems or performing predictive maintenance of lithographic systems
CN108572006B (zh) 状态诊断装置
US7395188B1 (en) System and method for equipment life estimation
US20180150066A1 (en) Scheduling system and method
CN110088699A (zh) 信息处理方法、信息处理系统以及信息处理装置
CN108829933A (zh) 一种半导体制造设备的预测性维护与健康管理的方法
US20180031587A1 (en) Diagnostic Device and Method for Monitoring Operation of a Technical System
JP6702297B2 (ja) プロセスの異常状態診断方法および異常状態診断装置
WO2020235581A1 (ja) 基板処理システム
US20230131828A1 (en) Predictive maintenance system and method for intelligent manufacturing equipment
EP4016222B1 (en) Monitoring the remaining useful lifetime of an asset
KR20050109305A (ko) 공정장비의 상태를 모니터링하기 위한 시스템 및 방법
JP6637625B2 (ja) 構造体の余寿命を推定する方法
CN110673515A (zh) 对工业设施的监控
US7177773B2 (en) Method for predicting performance of a future product
CN113689040B (zh) 测量模型的控制方法和控制系统及计算机可读介质
JP2017151962A (ja) 解析装置及び解析システム
CN103092762A (zh) 一种适用于快速软件开发模式的实时软件缺陷检测方法
JPH07105285A (ja) 製造ライン稼動状況モニタリングシステム
CN117313019B (zh) 一种基于深度强化学习的数据异常检测方法
JPH11345752A (ja) 半導体製造方法とそのための電子コントロールカード，半導体製造装置及び半導体検査装置
CN111947350A (zh) 除霜控制方法、除霜控制系统及空气源热泵装置
JP6973544B2 (ja) 状態判定装置、状態判定方法、及び状態判定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant