CN114186771B - 一种混合正则化随机配置网络工业过程运行指标估计方法 - Google Patents
一种混合正则化随机配置网络工业过程运行指标估计方法 Download PDFInfo
- Publication number
- CN114186771B CN114186771B CN202111233201.2A CN202111233201A CN114186771B CN 114186771 B CN114186771 B CN 114186771B CN 202111233201 A CN202111233201 A CN 202111233201A CN 114186771 B CN114186771 B CN 114186771B
- Authority
- CN
- China
- Prior art keywords
- hidden layer
- random configuration
- configuration network
- estimation model
- mixed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 40
- 230000008569 process Effects 0.000 claims abstract description 41
- 230000007246 mechanism Effects 0.000 claims abstract description 39
- 230000008859 change Effects 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000010276 construction Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 9
- 230000009977 dual effect Effects 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Entrepreneurship & Innovation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Primary Health Care (AREA)
- Manufacturing & Machinery (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种混合正则化随机配置网络工业过程运行指标估计方法,包括获取工业过程运行指标历史数据和影响其变化的相关过程变量数据,对混合正则化随机配置网络估计模型的初始参数进行设置,通过建立强约束的监督机制,得到最优隐层节点及对应的最优隐层参数,获得当前模型的隐层输出矩阵,并采用交替方向乘子法确定模型最优输出权值,进而得到当前模型的网络残差,构建混合正则化随机配置网络估计模型,实现目标工业过程的运行指标数据的估计。本发明采用高约束的监督机制并以构造法建立参数最优的运行指标估计模型,利用混合正则化技术自动删除对模型贡献低的隐层节点,从而保证了模型具有紧致的结构和良好的泛化性能。
Description
技术领域
本发明属于工业过程运行指标的软测量技术领域,尤其涉及一种混合正则化随机配置网络工业过程运行指标估计方法。
背景技术
为了节约生产成本,提高工业过程中运行指标测量结果的可靠性,采用软测量技术替代常规的传感器。目前,随着数据挖掘、计算机和数据库技术的发展,机器学习算法已广泛用于建立工业工程运行指标的软测量模型。另外,基于机器学习的软测量模型本质上是一种利用输入输出数据建立的回归拟合模型,然而传统的回归模型在拟合精度方面表现不佳。近年,一种名为随机配置网络的单隐层前馈神经网络被提出,且大量的分类和回归实验表明它在结构紧致、逼近精度和学习速度上较传统的拟合模型有明显提高。然而,由于所采用的随机算法具有随机性,在网络构建过程中容易产生低值、冗余隐层节点,从而使模型的紧致性降低,且存在病态解的风险,导致模型不稳定或者不可行,影响模型估计质量。
发明内容
本发明所要解决的技术问题是已有的工业过程运行指标估计方法存在的拟合问题,提供了一种基于混合正则化随机配置网络的工业过程运行指标估计方法.
为实现上述目的,本发明提供以下的技术方案:
一种混合正则化随机配置网络工业过程运行指标估计方法,基于由输入层、隐含层、输出层组成的混合正则化随机配置网络,执行以下步骤,构建混合正则化随机配置网络估计模型,实现目标工业过程的运行指标数据的估计:
步骤1:获取影响目标工业过程运行指标数据变化的相关过程变量历史数据作为混合正则化随机配置网络估计模型的输入样本,以及相关过程变量历史数据对应的运行指标历史数据作为混合正则化随机配置网络估计模型的输出样本;
步骤2:设置混合正则化随机配置网络估计模型的各初始参数;
步骤3:针对混合正则化随机配置网络估计模型的隐含层建立强约束的监督机制,基于强约束的监督机制,迭代添加混合正则化随机配置网络估计模型的隐含层的各隐层节点,迭代添加的各隐层节点执行步骤3.1至步骤3.3,构建混合正则化随机配置网络估计模型;
步骤3.1:添加当前的隐层节点时通过强约束的监督机制得到该隐层节点对应的最优隐层节点,进而得到该最优隐层节点对应的满足监督机制的最优隐层参数数值;
步骤3.2:基于该最优隐层节点对应的满足监督机制的最优隐层参数数值,得到当前混合正则化随机配置网络估计模型的隐层输出,进而通过交替方向乘子法确定当前混合正则化随机配置网络估计模型的最优输出权值,从而得到当前混合正则化随机配置网络估计模型的网络残差;
步骤3.3:基于当前混合正则化随机配置网络估计模型的网络残差,若当前混合正则化随机配置网络估计模型网络残差不在预设容忍误差范围内,重复步骤3继续添加下一个隐层节点,直至所构建的混合正则化随机配置网络估计模型所包含的隐层节点数达到预先设定的最大隐层节点数,从而得到构建混合正则化随机配置网络估计模型;若当前混合正则化随机配置网络估计模型网络残差在预设容忍误差范围内,则得到构建混合正则化随机配置网络估计模型,实现目标工业过程的运行指标数据的估计。
作为本发明的一种优选技术方案,所述步骤1中,获取目标工业过程的N组影响工业过程运行指标数据变化的相关过程变量历史数据和对应的运行指标历史数据{X,Y},第i组相关过程变量历史数据xi含有D个相关过程变量,其所对应的第i组运行指标历史数据yi含有M个运行指标,其中i=1,...,N,那么输入样本为X={x1,x2,...,xi,...,xN},其第i个输入样本xi是D维的,可表示为{xi1,xi2,...xid...xiD},xid为第i个输入样本第d个相关过程变量数据;输出样本为Y={y1,y2,...,yi,...,yN},其第i个输出样本yi是M维的,可表示为{yi1,yi2,...yim...yiM},yim为第i个输出样本第m个运行指标数据。
作为本发明的一种优选技术方案,所述步骤2中设置混合正则化随机配置网络估计模型的初始参数,其参数包括:激活函数g(x),学习参数r,正则化系数Z1和Z2,最大隐层节点预设数Lmax,可容忍误差ε,隐层参数数值随机选取范围Υ:={λmin:Δλ:λmax},λmin为预先设定的最小参数选择范围所对应的最小参数值,Δλ为变化步长,λmax为预先设定的最大参数选择范围所对应的最大参数值,Tmax为每个参数范围内隐层参数配置次数,混合正则化随机配置网络估计模型初始残差e0=Y,Y=[y1,y2,...,yN]T。
作为本发明的一种优选技术方案,所述步骤3中针对混合正则化随机配置网络估计模型的隐含层建立的强约束的监督机制的公式为:
其中,M为所要估计的运行指标的个数,即估计模型输出变量的个数;ξL,q为第L个隐层节点构建过程中第q个输出所对应的监督值,eL-1,q为具有L-1个隐层节点的混合正则化随机配置网络估计模型第q个输出所对应的网络残差,eL-1=[eL-1,1,eL-1,2,...,eL-1,M],gL为第L个隐层节点的激活函数,Z1和Z2为正则化系数,rL,j和uL,j为添加第L个隐层节点的过程所对应的两个非负序列。
作为本发明的一种优选技术方案,所述步骤3.1中执行的过程如下:
步骤3.1.1:当添加混合正则化随机配置网络隐含层的第L个隐层节点时,给定该迭代添加该隐层节点的过程所对应的两个非负序列
和
其中,λmin为预先设定的最小参数选择范围所对应的最小参数值,Δλ为变化步长,λmax为预先设定的最大参数选择范围所对应的最大参数值,rL,1=r,L为第L个隐层节点,j表示第j轮搜索;当j=1时,并在对称区间[-λmin,λmin]内随机产生Tmax组隐层参数的数值,即Tmax组输入权值wL和偏置bL的数值;
步骤3.1.2:第L个隐层节点当前所配置的隐层输出为
将矩阵HL中的每一列依次代入ξL,q中,若该列所对应的监督值满足min{ξL,1,ξL,2,...,ξL,q,...,ξL,m}≥0,则该列对应的节点选为添加当前隐层节点时的候选隐层节点;
步骤3.1.3:将筛选得到的添加当前隐层节点时的一组候选隐层节点代入第L个隐层节点的监督值进而计算得到该组候选隐层节点的各监督值:K≤Tmax,其中K为添加当前隐层节点时的候选隐层节点的总个数,为第k个候选隐层节点所对应的监督值,k≤K;
步骤3.1.4:基于步骤3.1.3得到该组候选隐层节点的各监督值其中最大的一个监督值对应的候选隐层节点作为添加当前隐层节点时对应的最优隐层节点,进而将该最优隐层节点所对应的隐层参数数值作为满足监督机制的最优隐层参数数值,即最优输入权值和最优偏置
步骤3.1.5:若经过第j轮搜索没有找到满足监督机制的最优隐层参数数值,则需要再返回步骤3.1.1,进行下一轮搜索,采用如下公式更新第L个隐层参数的非负序列,并进一步对监督机制进行修正:
rL,j+1=rL,j+τL,j
并在对称区间[-(λmin+jΔλ),(λmin+jΔλ)]中随机选取Tmax组隐层参数的数值,其中τL,j由区间(0,1-rL,j)内随机产生;
若已经搜索到第轮,则在对称区间[-λmax,λmax]内随机产生Tmax组隐层参数的数值;
如果经过以上轮数仍找不到满足监督机制的最优隐层参数数值,则需进一步加大搜索范围,返回步骤2,加大λmax的数值,重新设置混合正则化随机配置网络估计模型的初始参数中的λmax。
作为本发明的一种优选技术方案,所述步骤3.2执行的过程如下:
步骤3.2.1:将经过监督机制搜索到的最优隐层参数数值代入激活函数g(x),得到当前混合正则化随机配置网络估计模型的隐层输出矩阵:
步骤3.2.2:采用交替方向乘子法确定当前混合正则化随机配置网络估计模型的最优输出权值,当前混合正则化随机配置网络估计模型的代价函数为:
其中,β为当前混合正则化随机配置网络估计模型的输出权值,其迭代求解过程如下:
首先建立当前混合正则化随机配置网络估计模型的代价函数所对应的增广拉格朗日函数Lρ(v,β,u)为:
其中,ρ为惩罚系数,为对偶变量;
采用交替方向乘子法求解如下三个子问题,从而得到当前混合正则化随机配置网络估计模型的代价函数的最优解:
其中,c=1,...,Q为迭代次数,为尺度对偶变量;
将三个子问题中前两个子式分别对各自的待优化变量进行偏导操作,进而求得最优值:
其中,S为软阈值算子,I为单位矩阵:
当交替方向乘子法收敛时,所得到的最优值β,即当前混合正则化随机配置网络估计模型的最优输出权值β*;
步骤3.2.3:基于当前混合正则化随机配置网络估计模型的最优输出权值β*,得到当前混合正则化随机配置网络估计模型的网络残差eL为:
其中,eL=[eL,1,eL,2,...,eL,M]为具有L个隐层节点的混合正则化随机配置网络估计模型所对应的网络残差;eL-1=[eL-1,1,eL-1,2,...,eL-1,M]为具有L-1个隐层节点的混合正则化随机配置网络估计模型所对应的网络残差。
本发明的有益效果是:本发明公开了一种混合正则化随机配置网络工业过程运行指标估计方法,包括获取工业过程运行指标历史数据和影响其变化的相关过程变量数据,对混合正则化随机配置网络估计模型的初始参数进行设置,通过建立强约束的监督机制,得到最优隐层节点及对应的最优隐层参数,获得当前模型的隐层输出矩阵,并采用交替方向乘子法确定模型最优输出权值,进而得到当前模型的网络残差,构建混合正则化随机配置网络估计模型,实现目标工业过程的运行指标数据的估计。本方法在增量构建模型的过程中,采用强约束的监督机制来得到高质量的隐层节点,同时对那些对模型贡献度低的隐层节点自动剔除,以缩减模型规模,由此,最终得到一个结构紧致,且具有良好泛化性能的工业过程运行指标估计模型。
附图说明
图1为混合正则化随机配置网络模型示意图;
图2为通风机切换过程井下供给风量的估计散点图。
具体实施方式
下面结合附图对本发明进行进一步说明。
本实施列为具体通风机切换过程运行指标即井下供给风量的估计来详细说明本发明的具体实施方式。
本发明采用图1所示的网络结构的估计模型,其结构由输入层、隐含层和输出层组成,其中D=7,M=1。所使用估计模型的构建方法包括以下步骤:
步骤1:获取影响目标工业过程运行指标数据变化的相关过程变量历史数据作为混合正则化随机配置网络估计模型的输入样本,以及相关过程变量历史数据对应的运行指标历史数据作为混合正则化随机配置网络估计模型的输出样本;
在通风机切换过程历史数据库中获得通风机切换过程现场测得的1500组历史数据,第i组相关过程变量历史数据xi含有7个相关过程变量,其所对应的第i组运行指标历史数据yi含有1个运行指标,其中每组数据包含影响井下供给风量变化的地下矿井风阻x1,2台通风机压头x2、x3,4个风门风阻x4、x5、x6、x7共七个相关过程变量,并令xi={xi1,xi2,...,xi7}为真实输入数据归一化后的输入数据,和相应的井下供给风量数据ti为。那么输入样本为X={x1,x2,...,xi,...,x1500},其第i个输入样本可表示为{xi1,xi2,...,xi7},xid为第i个输入样本第d个相关过程变量数据,d∈D;输出样本为Y={y1,y2,...,yi,...,y1500},其第i个输出样本{yi1},yi1为第i个输出样本的运行指标数据。选取其中的1400组数据作为训练集,剩下的100组数据作为测试集。那么训练数据为N=1400,训练输入样本为X={x1,x2,...,xi,...,x1400},训练输出样本为Y={y1,y2,...,yi,...,y1400}。
步骤2:设置混合正则化随机配置网络估计模型的各初始参数;其参数包括:激活函数为隐层节点的激活函数,学习参数r=0.9,正则化系数Z1=0.025和Z2=2-20,最大隐层节点预设数Lmax=70,可容忍误差ε=0.01,隐层参数数值随机选取范围Υ:={1:0.1:5},每个参数范围内隐层参数配置次数Tmax=200,混合正则化随机配置网络估计模型初始残差e0=Y,Y=[y1,y2,...,yN]T。
步骤3:针对混合正则化随机配置网络估计模型的隐含层建立强约束的监督机制,基于强约束的监督机制,迭代添加混合正则化随机配置网络估计模型的隐含层的各隐层节点,迭代添加的各隐层节点执行步骤3.1至步骤3.3,构建混合正则化随机配置网络估计模型;
对混合正则化随机配置网络估计模型的隐含层建立的强约束的监督机制的公式为:
其中,gL为第L个隐层节点的激活函数,Z1和Z2为正则化系数,rL,j和uL,j为添加第L个隐层节点的过程所对应的两个非负序列。
步骤3.1:添加当前的隐层节点时通过强约束的监督机制得到该隐层节点对应的最优隐层节点,进而得到该最优隐层节点对应的满足监督机制的最优隐层参数数值;
步骤3.1.1:当添加混合正则化随机配置网络隐含层的第L个隐层节点时,给定该迭代添加该隐层节点的过程所对应的两个非负序列
和
其中,λmin为预先设定的最小参数选择范围所对应的最小参数值,Δλ为变化步长,λmax为预先设定的最大参数选择范围所对应的最大参数值,rL,1=r,L为第L个隐层节点,j表示第j轮搜索;当j=1时,并在对称区间[-λmin,λmin]内随机产生Tmax组隐层参数的数值,即Tmax组输入权值wL和偏置bL的数值;
给定首轮搜索的两个非负序列rL,1=r和uL,1=(1-rL,1)/(L+1);
在对称区间[-1,1]内经随机配置得到200组隐层参数(输入权值wL和偏置bL),并将其全部代入到激活函数g(x)中;
步骤3.1.2:第L个隐层节点当前所配置的隐层输出为
将矩阵HL中的每一列依次代入ξL,q中,若该列所对应的监督值满足min{ξL}≥0,则该列对应的节点选为添加当前隐层节点时的候选隐层节点;
步骤3.1.3:将筛选得到的添加当前隐层节点时的一组候选隐层节点代入第L个隐层节点的监督值进而计算得到该组候选隐层节点的各监督值:K≤200,其中K为添加当前隐层节点时的候选隐层节点的总个数,为第k个候选隐层节点所对应的监督值,k≤K;
步骤3.1.4:基于步骤3.1.3得到该组候选隐层节点的各监督值其中最大的一个监督值对应的候选隐层节点作为添加当前隐层节点时对应的最优隐层节点,进而将该最优隐层节点所对应的隐层参数数值作为满足监督机制的最优隐层参数数值,即最优输入权值和最优偏置此时第L个隐层节点的最佳输出为:
其中T表示转置操作;
步骤3.1.5:若经过第j轮搜索没有找到满足监督机制的最优隐层参数数值,j=1,...,20,则需要再返回步骤3.1.1,进行下一轮搜索,采用如下公式自动更新第L个隐层参数的非负序列,并进一步对监督机制进行修正:
rL,j+1=rL,j+τL,j
并在对称区间[-(λmin+j0.1),(λmin+j0.1)]中随机选取Tmax组隐层参数的数值,其中τL,j由区间(0,1-rL,j)内随机产生;
若已经搜索到第轮,则在对称区间[-λmax,λmax]内随机产生Tmax组隐层参数的数值;
如果经过以上轮数仍找不到满足监督机制的最优隐层参数数值,则需进一步加大搜索范围,返回步骤2,加大λmax的数值,重新设置混合正则化随机配置网络估计模型的初始参数中的λmax。
步骤3.2:基于该最优隐层节点对应的满足监督机制的最优隐层参数数值,得到当前混合正则化随机配置网络估计模型的隐层输出,进而通过交替方向乘子法确定当前混合正则化随机配置网络估计模型的最优输出权值,从而得到当前混合正则化随机配置网络估计模型的网络残差;
步骤3.2.1:将经过监督机制搜索到的最优隐层参数数值代入激活函数g(x),得到当前混合正则化随机配置网络估计模型的隐层输出矩阵:
步骤3.2.2:采用交替方向乘子法确定当前混合正则化随机配置网络估计模型的最优输出权值,当前混合正则化随机配置网络估计模型的代价函数为:
其中,β为当前混合正则化随机配置网络估计模型的输出权值,其迭代求解过程如下:
首先建立当前混合正则化随机配置网络估计模型的代价函数所对应的增广拉格朗日函数Lρ(v,β,u)为:
其中,ρ为惩罚系数,为对偶变量;
采用交替方向乘子法求解如下三个子问题,从而得到当前混合正则化随机配置网络估计模型的代价函数的最优解:
其中,c=1,...,Q为迭代次数,为尺度对偶变量;
将三个子问题中前两个子式分别对各自的待优化变量进行偏导操作,进而求得最优值:
其中,S为软阈值算子,I为单位矩阵:
当交替方向乘子法收敛时,所得到的最优值β,即当前混合正则化随机配置网络估计模型的最优输出权值β*;
步骤3.2.3:基于当前混合正则化随机配置网络估计模型的最优输出权值β*,得到当前混合正则化随机配置网络估计模型的网络残差eL为:
其中,eL为具有L个隐层节点的混合正则化随机配置网络估计模型所对应的网络残差;eL-1为具有L-1个隐层节点的混合正则化随机配置网络估计模型所对应的网络残差。
步骤3.3:基于当前混合正则化随机配置网络估计模型的网络残差,若当前混合正则化随机配置网络估计模型网络残差不在预设容忍误差范围内,重复步骤3继续添加下一个隐层节点,直至所构建的混合正则化随机配置网络估计模型所包含的隐层节点数达到预先设定的最大隐层节点数,从而得到构建混合正则化随机配置网络估计模型;若当前混合正则化随机配置网络估计模型网络残差在预设容忍误差范围内,则得到构建混合正则化随机配置网络估计模型,实现目标工业过程的运行指标数据的估计。
基于测试集,对已训练好的基于混合正则化随机配置网络的井下供给风量估计模型进行性能测试,即使用所建估计模型来估计测试数据的井下供给风量。
为了说明本发明的性能优势,给出了所建模型最终包含的隐层节点数和估计精度,分别为L=41和ε=0.02,可以看出,该模型方法将模型包含的隐层节点数(L=70)缩减为L=41,且得到的模型精度满足工业现场的精度要求。为了显示的说明本发明所建估计模型的估计精度,给出了通风机切换过程井下供给风量估计的测试结果散点图,如图2所示。从图2可以看出,100组井下供给风量的估计值与实际的井下供给风量值基本吻合,误差小,估计精度高。通过本发明建立的估计模型实现了对通风机切换过程井下供给风量的精确估计,具有建模精度高,结构紧致的优点,且能够自动剔除对模型贡献小的冗余节点,降低了模型复杂性,同时有效避免了病态解的问题,预测精度高、易于实现、应用价值高。
上述技术方案设计的一种混合正则化随机配置网络工业过程运行指标估计方法,包括获取工业过程运行指标历史数据和影响其变化的相关过程变量数据,对混合正则化随机配置网络估计模型的初始参数进行设置,通过建立强约束的监督机制,得到最优隐层节点及对应的最优隐层参数,获得当前模型的隐层输出矩阵,并采用交替方向乘子法确定模型最优输出权值,进而得到当前模型的网络残差,构建混合正则化随机配置网络估计模型,实现目标工业过程的运行指标数据的估计。本方法在增量构建模型的过程中,采用强约束的监督机制并以构造法建立参数最优的运行指标估计模型,利用混合正则化技术自动删除对模型贡献低的隐层节点,从而保证了模型具有紧致的结构和良好的泛化性能。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (6)
1.一种混合正则化随机配置网络工业过程运行指标估计方法,其特征在于:基于由输入层、隐含层、输出层组成的混合正则化随机配置网络,执行以下步骤,构建混合正则化随机配置网络估计模型,实现目标工业过程的运行指标数据的估计:
步骤1:获取影响目标工业过程运行指标数据变化的相关过程变量历史数据作为混合正则化随机配置网络估计模型的输入样本,以及相关过程变量历史数据对应的运行指标历史数据作为混合正则化随机配置网络估计模型的输出样本;
步骤2:设置混合正则化随机配置网络估计模型的各初始参数;
步骤3:针对混合正则化随机配置网络估计模型的隐含层建立强约束的监督机制,基于强约束的监督机制,迭代添加混合正则化随机配置网络估计模型的隐含层的各隐层节点,迭代添加的各隐层节点执行步骤3.1至步骤3.3,构建混合正则化随机配置网络估计模型;
步骤3.1:添加当前的隐层节点时通过强约束的监督机制得到该隐层节点对应的最优隐层节点,进而得到该最优隐层节点对应的满足监督机制的最优隐层参数数值;
步骤3.2:基于该最优隐层节点对应的满足监督机制的最优隐层参数数值,得到当前混合正则化随机配置网络估计模型的隐层输出,进而通过交替方向乘子法确定当前混合正则化随机配置网络估计模型的最优输出权值,从而得到当前混合正则化随机配置网络估计模型的网络残差;
步骤3.3:基于当前混合正则化随机配置网络估计模型的网络残差,若当前混合正则化随机配置网络估计模型网络残差不在预设容忍误差范围内,重复步骤3继续添加下一个隐层节点,直至所构建的混合正则化随机配置网络估计模型所包含的隐层节点数达到预先设定的最大隐层节点数,从而得到构建混合正则化随机配置网络估计模型;若当前混合正则化随机配置网络估计模型网络残差在预设容忍误差范围内,则得到构建混合正则化随机配置网络估计模型,实现目标工业过程的运行指标数据的估计。
2.根据权利要求1所述的一种混合正则化随机配置网络工业过程运行指标估计方法,其特征在于:所述步骤1中,获取目标工业过程的N组影响工业过程运行指标数据变化的相关过程变量历史数据和对应的运行指标历史数据{X,Y},第i组相关过程变量历史数据xi含有D个相关过程变量,其所对应的第i组运行指标历史数据yi含有M个运行指标,其中i=1,...,N,那么输入样本为X={x1,x2,...,xi,...,xN},其第i个输入样本xi是D维的,可表示为{xi1,xi2,...xid...xiD},xid为第i个输入样本第d个相关过程变量数据;输出样本为Y={y1,y2,...,yi,...,yN},其第i个输出样本yi是M维的,可表示为{yi1,yi2,...yim...yiM},yim为第i个输出样本第m个运行指标数据。
3.根据权利要求1所述的一种混合正则化随机配置网络工业过程运行指标估计方法,其特征在于:所述步骤2中设置混合正则化随机配置网络估计模型的初始参数,其参数包括:激活函数g(x),学习参数r,正则化系数Z1和Z2,最大隐层节点预设数Lmax,可容忍误差ε,隐层参数数值随机选取范围Υ:={λmin:Δλ:λmax},λmin为预先设定的最小参数选择范围所对应的最小参数值,Δλ为变化步长,λmax为预先设定的最大参数选择范围所对应的最大参数值,Tmax为每个参数范围内隐层参数配置次数,混合正则化随机配置网络估计模型初始残差e0=Y,Y=[y1,y2,...,yN]T。
4.根据权利要求3所述的一种混合正则化随机配置网络工业过程运行指标估计方法,其特征在于:所述步骤3中针对混合正则化随机配置网络估计模型的隐含层建立的强约束的监督机制的公式为:
其中,M为所要估计的运行指标的个数,即估计模型输出变量的个数;ξL,q为第L个隐层节点构建过程中第q个输出所对应的监督值,eL-1,q为具有L-1个隐层节点的混合正则化随机配置网络估计模型第q个输出所对应的网络残差,eL-1=[eL-1,1,eL-1,2,...,eL-1,M],gL为第L个隐层节点的激活函数,Z1和Z2为正则化系数,rL,j和uL,j为添加第L个隐层节点的过程所对应的两个非负序列。
5.根据权利要求2或4所述的一种混合正则化随机配置网络工业过程运行指标估计方法,其特征在于:所述步骤3.1中执行的过程如下:
步骤3.1.1:当添加混合正则化随机配置网络隐含层的第L个隐层节点时,给定该迭代添加该隐层节点的过程所对应的两个非负序列
和
其中,λmin为预先设定的最小参数选择范围所对应的最小参数值,Δλ为变化步长,λmax为预先设定的最大参数选择范围所对应的最大参数值,rL,1=r,L为第L个隐层节点,j表示第j轮搜索;当j=1时,并在对称区间[-λmin,λmin]内随机产生Tmax组隐层参数的数值,即Tmax组输入权值wL和偏置bL的数值;
步骤3.1.2:第L个隐层节点当前所配置的隐层输出为
将矩阵HL中的每一列依次代入ξL,q中,若该列所对应的监督值满足min{ξL,1,ξL,2,...,ξL,q,...,ξL,m}≥0,则该列对应的节点选为添加当前隐层节点时的候选隐层节点;
步骤3.1.3:将筛选得到的添加当前隐层节点时的一组候选隐层节点代入第L个隐层节点的监督值进而计算得到该组候选隐层节点的各监督值:K≤Tmax,其中K为添加当前隐层节点时的候选隐层节点的总个数,为第k个候选隐层节点所对应的监督值,k≤K;
步骤3.1.4:基于步骤3.1.3得到该组候选隐层节点的各监督值其中最大的一个监督值对应的候选隐层节点作为添加当前隐层节点时对应的最优隐层节点,进而将该最优隐层节点所对应的隐层参数数值作为满足监督机制的最优隐层参数数值,即最优输入权值和最优偏置
步骤3.1.5:若经过第j轮搜索没有找到满足监督机制的最优隐层参数数值,则需要再返回步骤3.1.1,进行下一轮搜索,采用如下公式更新第L个隐层参数的非负序列,并进一步对监督机制进行修正:
rL,j+1=rL,j+τL,j
并在对称区间[-(λmin+jΔλ),(λmin+jΔλ)]中随机选取Tmax组隐层参数的数值,其中τL,j由区间(0,1-rL,j)内随机产生;
若已经搜索到第轮,则在对称区间[-λmax,λmax]内随机产生Tmax组隐层参数的数值;
如果经过以上轮数仍找不到满足监督机制的最优隐层参数数值,则需进一步加大搜索范围,返回步骤2,加大λmax的数值,重新设置混合正则化随机配置网络估计模型的初始参数中的λmax。
6.根据权利要求5所述的一种混合正则化随机配置网络工业过程运行指标估计方法,其特征在于:所述步骤3.2执行的过程如下:
步骤3.2.1:将经过监督机制搜索到的最优隐层参数数值代入激活函数g(x),得到当前混合正则化随机配置网络估计模型的隐层输出矩阵:
步骤3.2.2:采用交替方向乘子法确定当前混合正则化随机配置网络估计模型的最优输出权值,当前混合正则化随机配置网络估计模型的代价函数为:
其中,β为当前混合正则化随机配置网络估计模型的输出权值,其迭代求解过程如下:
首先建立当前混合正则化随机配置网络估计模型的代价函数所对应的增广拉格朗日函数Lρ(v,β,u)为:
其中,ρ为惩罚系数,为对偶变量;
采用交替方向乘子法求解如下三个子问题,从而得到当前混合正则化随机配置网络估计模型的代价函数的最优解:
其中,c=1,...,Q为迭代次数,为尺度对偶变量;
将三个子问题中前两个子式分别对各自的待优化变量进行偏导操作,进而求得最优值:
其中,S为软阈值算子,I为单位矩阵;
当交替方向乘子法收敛时,所得到的最优值β,即当前混合正则化随机配置网络估计模型的最优输出权值β*;
步骤3.2.3:基于当前混合正则化随机配置网络估计模型的最优输出权值β*,得到当前混合正则化随机配置网络估计模型的网络残差eL为:
其中,eL=[eL,1,eL,2,...,eL,M]为具有L个隐层节点的混合正则化随机配置网络估计模型所对应的网络残差;eL-1=[eL-1,1,eL-1,2,...,eL-1,M]为具有L-1个隐层节点的混合正则化随机配置网络估计模型所对应的网络残差。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111233201.2A CN114186771B (zh) | 2021-10-22 | 2021-10-22 | 一种混合正则化随机配置网络工业过程运行指标估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111233201.2A CN114186771B (zh) | 2021-10-22 | 2021-10-22 | 一种混合正则化随机配置网络工业过程运行指标估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114186771A CN114186771A (zh) | 2022-03-15 |
CN114186771B true CN114186771B (zh) | 2024-07-02 |
Family
ID=80539589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111233201.2A Active CN114186771B (zh) | 2021-10-22 | 2021-10-22 | 一种混合正则化随机配置网络工业过程运行指标估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114186771B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117332701B (zh) * | 2023-11-30 | 2024-02-02 | 华能吉林发电有限公司长春热电厂 | 一种门式斗轮机斗轮小车的执行器故障诊断方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112926266A (zh) * | 2021-03-02 | 2021-06-08 | 盐城工学院 | 一种基于正则化增量式随机权网络的井下供给风量估计方法 |
CN113191092A (zh) * | 2020-09-30 | 2021-07-30 | 中国矿业大学 | 一种基于正交增量随机配置网络的工业过程产品质量软测量方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11022524B2 (en) * | 2019-11-05 | 2021-06-01 | Dalian University Of Technology | Stochastic configuration network based turbofan engine health parameter estimation method |
-
2021
- 2021-10-22 CN CN202111233201.2A patent/CN114186771B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113191092A (zh) * | 2020-09-30 | 2021-07-30 | 中国矿业大学 | 一种基于正交增量随机配置网络的工业过程产品质量软测量方法 |
CN112926266A (zh) * | 2021-03-02 | 2021-06-08 | 盐城工学院 | 一种基于正则化增量式随机权网络的井下供给风量估计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114186771A (zh) | 2022-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109165664B (zh) | 一种基于生成对抗网络的属性缺失数据集补全与预测方法 | |
CN112580263B (zh) | 基于时空特征融合的涡扇发动机剩余使用寿命预测方法 | |
CN110083125B (zh) | 一种基于深度学习的机床热误差建模方法 | |
CN113297787B (zh) | 一种基于迁移学习的航空发动机剩余寿命预测方法 | |
CN108764568B (zh) | 一种基于lstm网络的数据预测模型调优方法及装置 | |
CN111158237B (zh) | 基于神经网络的工业炉炉温多步预测控制方法 | |
CN111768000A (zh) | 在线自适应微调深度学习的工业过程数据建模方法 | |
CN108876044B (zh) | 一种基于知识增强神经网络的线上内容流行度预测方法 | |
CN110222387B (zh) | 基于混合漏积分crj网络的多元钻井时间序列预测方法 | |
CN103559537B (zh) | 一种乱序数据流中基于误差反向传播的模板匹配方法 | |
CN116680540A (zh) | 一种基于深度学习的风电功率预测方法 | |
CN113012766A (zh) | 一种基于在线选择性集成的自适应软测量建模方法 | |
CN114169091A (zh) | 工程机械部件剩余寿命的预测模型建立方法及预测方法 | |
CN115689070B (zh) | 基于帝王蝶算法优化bp神经网络模型的能源预测方法 | |
CN114707712A (zh) | 一种发电机组备件需求的预测方法 | |
CN115308558A (zh) | Cmos器件寿命预测方法、装置、电子设备及介质 | |
CN116107279A (zh) | 基于注意力深度神经网络的流程工业能耗多目标优化方法 | |
CN114186771B (zh) | 一种混合正则化随机配置网络工业过程运行指标估计方法 | |
CN113780420A (zh) | 基于gru-gcn的变压器油中溶解气体浓度预测方法 | |
CN112926266B (zh) | 一种基于正则化增量式随机权网络的井下供给风量估计方法 | |
CN113836174A (zh) | 基于强化学习dqn算法的异步sql连接查询优化方法 | |
CN118484679A (zh) | 一种高含水期的油田产量预测方法、系统及存储介质 | |
CN113159395A (zh) | 一种基于深度学习的污水处理厂进水流量预测方法及系统 | |
CN111524348A (zh) | 一种长短期交通流预测模型及方法 | |
CN114880930B (zh) | 一种基于在线学习的实体设备数字孪生建模仿真预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |