CN113570161B - 基于宽度迁移学习的搅拌釜反应物浓度预测模型构建方法 - Google Patents

Abstract

基于宽度迁移学习的搅拌釜反应物浓度预测模型构建方法，属于连续搅拌釜反应器中反应物浓度的预测技术领域。它包括以下步骤：(1)数据的获取和整合；(2)模型建立；(3)模型预测。本发明构建的模型将不需要目标域标签的迁移学习方法引入搅拌釜反应物浓度预测领域，可有效解决连续搅拌釜反应器生成过程无法测得足够的反应物浓度来评价产品质量问题；本发明使用的迁移学习方法，选取反应物浓度为预测标签，可以解决一个工况有标签，另一个工况没有标签的域适应问题，并提高了预测性能。

Description

基于宽度迁移学习的搅拌釜反应物浓度预测模型构建方法

技术领域

本发明属于连续搅拌釜反应器中反应物浓度的预测技术领域，具体涉及基于宽度迁移学习的搅拌釜反应物浓度预测模型构建方法。

背景技术

连续搅拌釜反应器(Continuous Stirred Tank Reactor，CSTR)是化工过程进行各种物理反应和化学反应的装置，在塑料、化纤、合成橡胶三大合成材料生产中，CSTR的数量约占合成生产反应器总量的90％。此外，在制药、油漆、燃料、农药等行业，也大量使用。CSTR的反应机理很复杂，具有很强的时变性和非线性性。根据多样化的市场需要，生成过程中需要频繁改变生产操作条件、产品配比等，造成生产过程的多工况现象。在多工况过程中，大多数工况只能获得少量标签数据，甚至没有标签数据，导致大多数工况无法直接建立准确的软测量模型，来预测反应物的浓度。

迁移学习可以在标签数据量有差异的工况之间建立软测量模型，进行关键变量的预测。常见的无监督的迁移算法有迁移主成分分析(Transfer Componet Analysis，TCA)、子空间对齐(Subspace Alignment，SA)、测地流核方法(Geodesic Flow Kernel，GFK)，有监督学习算法有域适应极限学习机(Domain Adaption Extreme Learning Machine，DAELM)、联合分布适配方法(Joint Distribution Adaption，JDA)以及平衡分布适配方法(Balanced Distribution Adaption，BDA)等。

发明内容

针对现有技术中存在的上述问题，本发明的目的在于提供一种以宽度学习网络为框架，引入流形正则化构造拉普拉斯矩阵，构建基于宽度迁移学习网络的搅拌釜反应物浓度预测模型的方法。

本发明提供如下技术方案：

基于宽度迁移学习的搅拌釜反应物浓度预测模型构建方法，包括以下步骤：

(1)数据的获取和整合

通过连续搅拌釜式反应器仿真程序模拟出两种具有不同工况特性的数据，将反应物浓度作为预测的标签，选取反应器温度T和冷却流量q_c作为辅助变量，两个工况分别作为源域和目标域进行训练；源域选取对应工况中的辅助变量及标签作为数据样本；目标域选取对应工况中的辅助变量作为数据样本，将源域及目标域数据进行整合，获得宽度迁移学习网络中的输入特征数据，以对目标域对应工况中的标签数据进行预测；

(2)模型建立

模型基于宽度学习网络，首先用宽度学习网络中的特征节点对数据进行特征提取，由于网络参数的随机性，特征提取存在偏差，故引入稀疏自编码器对输入权重进行调整，然后通过增强层进行特征的再次提取，将宽度学习网络中的特征节点和增强节点共同提取的特征作为隐藏层的最终特征，然后将流行正则化加入到损失函数中，通过学习源域有标签数据和目标域无标签数据之间的流形特征来提高迁移效果，使得模型能够很好的适应于无标签的目标域数据预测上；

(3)模型预测

利用目标域对应工况中的标签数据与模型预测出来的浓度进行对比，计算模型RMSE损失值，作为模型的评价标准。

所述的基于宽度迁移学习的搅拌釜反应物浓度预测模型构建方法，其特征在于所述步骤(1)的过程为：

1.1、数据的获取：通过连续搅拌釜式反应器仿真程序模拟出两种具有不同工况特性的数据，将反应物浓度作为预测的标签，选取反应器温度T和冷却流量q_c作为辅助变量，两个工况分别作为源域和目标域进行训练；源域选取对应工况中的辅助变量及标签作为数据样本；目标域选取对应工况中的辅助变量作为数据样本；

1.2、源域与目标域辅助变量数据整合：将数据X_s作为源域数据，y_s表示源域的输出标签，即反应物浓度，数据X_t作为目标域数据，令X＝[X_s,X_t]，X表示源域与目标域整合后的数据，对整合后的数据进行标准化处理，以消除源域数据与目标域数据之间量纲上的差异，具体计算公式如下：

其中X_new表示进行标准化处理以后的输入数据，X表示未经过处理的原始数据，μ表示原始数据的均值，σ表示原始数据的方差；

1.3、源域据与目标标签数据整合：由源域标签y_s和同目标域大小为N_t×1的零矩阵组成网络输出的总标签y，如下式所示：

其中N_s表示源域数据的数量，N_t表示目标域数据的数量。

所述的基于宽度迁移学习的搅拌釜反应物浓度预测模型构建方法，其特征在于所述步骤(2)中，模型基于流行正则化框架，通过宽度迁移学习网络进行工况之间的迁移来预测目标工况的反应物浓度，具体过程为：

2.1、采用宽度学习网络中的特征节点对数据进行特征提取，宽度学习网络只有一层隐藏层，宽度网络由特征节点和增强节点组成，特征提取公式如下：

Z_i＝φ_i(XW_ei+β_ei)

Zⁿ＝[Z₁,Z₂...Z_n]

其中Z_i表示第i组特征层学习到的特征，Zⁿ表示所有特征组提取到的总的特征，φ_i表示第i组特征层的激活函数，W_ei和β_ei是第i组特征层随机生成的权重和偏置，由于其提取的特征具有随机性，因此使用稀疏自编码器对权重W_ei进行调整，得到最终权重W′_ei，重新对X进行特征提取，得到新的特征Z_i；

2.2、增强节点通过设置随机正交矩阵进行再次特征提取，提取公式如下：

其中H_j表示每个增强节点提取的特征，ζ_j、分别表示增强层的激活函数、随机生成的权重和偏置；

2.3、将宽度学习网络中的特征节点和增强节点共同提取的特征作为隐藏层的最终特征，公式如下：

G＝[Zⁿ|H^m]

其中，G表示隐藏层提取到的最终特征，G∈R^N×(nl+m)，N表示样本数量，n表示每个特征组的节点个数，l表示特征组的组数，m表示增强节点的个数，H^m为整个增强层提取到的总特征，H^m＝[H₁,...,H_m]；

损失函数表示如下：

其中，w表示隐藏层到输出层之间的权重，γ表示模型的正则化系数，Λ_e由经验公式所得：

2.4、将流行正则化加入到损失函数中，通过学习源域有标签数据和目标域无标签数据之间的流形特征来提高迁移效果，流形正则化的优化函数表示为：

其中代表样本x_i、x_j的预测值，w_ij表示两个样本之间的权重，X表示样本数据，y＝Gw表示网络的输出，D是对角矩阵，对角线上元素组成为：

L表示图拉普拉斯矩阵，可由下面公式计算所得：

L＝D-A

其中表示图连接矩阵，由w_ij组成，最终矩阵L表示式为：

所以流形正则化的表达式为：

M(X)＝tr(w^TG^TLGw)

将流形正则化框架作为最小损失函数加入到目标函数中，最终整个网络的最小化损失函数表达式为：

当隐藏层的神经元个数小于输入数据量的大小时，输出权重w为：

w＝(γI+G^TΛ_eG+λG^TLG)^-1(G^TΛ_ey)

否则，隐藏层的神经元个数大于输入数据量的大小时，输出权重w为：

w＝G^T(γI+Λ_eGG^T+λLGG^T)^-1(Λ_ey)。

通过采用上述技术，与现有技术相比，本发明的有益效果如下：

本发明构建的模型将不需要目标域标签的迁移学习方法引入搅拌釜反应物浓度预测领域，可有效解决连续搅拌釜反应器生成过程无法测得足够的反应物浓度来评价产品质量问题；本发明使用的迁移学习方法，选取反应物浓度为预测标签，可以解决一个工况有标签，另一个工况没有标签的域适应问题，并提高了预测性能。

附图说明

图1为本发明实施例中，宽度学习网络的结构图

图2为本发明实施例中，工况1到工况2预测结果图；

图3为本发明实施例中，工况2到工况1预测结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合说明书附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

请参阅图1-3，基于宽度迁移学习的搅拌釜反应物浓度预测模型构建方法，包括以下步骤：

(1)数据的获取和整合

将数据X_s作为源域数据，由辅助变量组成，y_s表示源域的输出标签，即反应物浓度。数据X_t作为目标域数据，也由辅助变量组成。令X＝[X_s,X_t]，X表示两个领域整合后的数据，由于源域数据和目标域数据存在量纲上的差异，因此需要对数据进行标准化处理，具体计算公式如下：

其中X_new表示进行标准化处理以后的输入数据，X表示未经过处理的原始数据，μ表示原始数据的均值，σ表示原始数据的方差。

网络输出的总标签y则由源域标签y_s和同目标域大小为N_t×1的零矩阵组成的。

其中N_s表示源域数据的数量，N_t表示目标域数据的数量。

(2)模型建立：

模型基于宽度学习网络，宽度学习网络是一种随机向量函数连接网络，宽度学习较普通的神经网络，既可以保留深度学习的表征学习能力，又能具备随机网络的高效学习的特点。本发明通过选取反应物浓度为关键变量，基于流行正则化框架，通过宽度学习网络进行工况之间的迁移来预测目标工况的反应物浓度。

宽度学习网络只有一层隐藏层，宽度网络由特征节点和增强节点组成。

Z_i＝φ_i(XW_ei+β_ei)

Zⁿ＝[Z₁,Z₂...Z_n]

其中Z_i表示第i组特征层学习到的特征，Zⁿ表示所有特征组提取到的总的特征。φ_i表示第i组特征层的激活函数，W_ei和β_ei是第i组特征层随机生成的权重和偏置，由于其提取的特征具有随机性，因此使用稀疏自编码器对权重W_ei进行调整，得到最终权重W′_ei。对于第i组特征层，将调整过的权重W′_ei，重新对X进行特征提取，得到新的特征Z_i。

然后增强节点通过设置随机正交矩阵进行再次特征提取。

其中H_j表示第j个增强节点提取的特征，ζ_j、分别表示第j个增强节点的激活函数、随机生成的权重和偏置。

H^m＝[H₁,...,H_m]

其中H^m为增强节点提取到的总特征，m表示增强节点的个数。特征节点和增强节点提取到的总特征为G。

G＝[Zⁿ|H^m]

其中G∈R^N×(nl+m)，其中N表示样本数量，n表示每个特征组的节点个数，l表示特征组的组数，m表示增强节点的个数。然后w表示隐藏层到输出层之间的权重，损失函数如下：

其中γ表示模型的正则化系数，Λ_e由经验公式所得：

流行正则化能够探索数据中的流形特征，进而揭示数据的潜在信息，提升模型的适应能力。在本文中，将流行正则化加入到损失函数中，通过学习源域有标签数据和目标域无标签数据之间的流形特征来提高迁移效果。

流形正则化通过近邻图来构造数据的结构特征，对于数据中的任意点，可以通过k近邻构造近邻图，对每条边进行赋值，样本之间权值w_ij采用高斯核函数计算，流形正则化的优化函数可表示为：

其中代表样本x_i、x_j的预测值，w_ij表示两个样本之间的权重，X表示样本数据，y＝Gw表示网络的输出，D是对角矩阵，对角线上元素组成为：

L表示图拉普拉斯矩阵，可由下面公式计算所得：

L＝D-A

其中表示图连接矩阵，由w_ij组成。最终矩阵L表示式为：

所以流形正则化的表达式为：

M(X)＝tr(w^TG^TLGw)

将流形正则化框架作为最小损失函数加入到目标函数中，所以最终整个网络的最小化损失函数表达式为：

当隐藏层的神经元个数小于输入数据量大小时，输出权重w为：

w＝(γI+G^TΛ_eG+λG^TLG)^-1(G^TΛ_ey)

否则，隐藏层的神经元个数大于输入数据量大小时，输出权重w为：

w＝G^T(γI+Λ_eGG^T+λLGG^T)^-1(Λ_ey)

(3)模型预测：

对于所提出的模型，采用均方根误差(RMSE)作为评价指标，计算公式如下：

其中，表示真实数据，y_i表示模型的输出，k表示测试集的样本个数。一般来说，RMSE越小，意味着模型的预测值越接近真实值，模型预测的效果越好。

通过比较正则化极限学习机(RELM)基于源域有标签数据的预测结果，证明了本发明方法的优势，预测结果如下：

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.基于宽度迁移学习的搅拌釜反应物浓度预测模型构建方法，其特征在于：包括以下步骤：

(1)数据的获取和整合

通过连续搅拌釜式反应器仿真程序模拟出两种具有不同工况特性的数据，将反应物浓度作为预测的标签，选取反应器温度T和冷却流量q_c作为辅助变量，两个工况分别作为源域和目标域进行训练；源域选取对应工况中的辅助变量及标签作为数据样本；目标域选取对应工况中的辅助变量作为数据样本，将源域及目标域数据进行整合，获得宽度迁移学习网络中的输入特征数据，以对目标域对应工况中的标签数据进行预测；

(2)模型建立

模型基于宽度学习网络，首先用宽度学习网络中的特征节点对数据进行特征提取，由于网络参数的随机性，特征提取存在偏差，故引入稀疏自编码器对输入权重进行调整，然后通过增强层进行特征的再次提取，将宽度学习网络中的特征节点和增强节点共同提取的特征作为隐藏层的最终特征，然后将流行正则化加入到损失函数中，通过学习源域有标签数据和目标域无标签数据之间的流形特征来提高迁移效果，使得模型能够很好的适应于无标签的目标域数据预测上；

(3)模型预测

利用目标域对应工况中的标签数据与模型预测出来的浓度进行对比，计算模型RMSE损失值，作为模型的评价标准；

所述步骤(2)中，模型基于流行正则化框架，通过宽度迁移学习网络进行工况之间的迁移来预测目标工况的反应物浓度，具体过程为：

2.1、采用宽度学习网络中的特征节点对数据进行特征提取，宽度学习网络只有一层隐藏层，宽度网络由特征节点和增强节点组成，特征提取公式如下：

Z_i＝φ_i(XW_ei+β_ei)

Zⁿ＝[Z₁,Z₂...Z_n]

其中Z_i表示第i组特征层学习到的特征，Zⁿ表示所有特征组提取到的总的特征，φ_i表示第i组特征层的激活函数，W_ei和β_ei是第i组特征层随机生成的权重和偏置，由于其提取的特征具有随机性，因此使用稀疏自编码器对权重W_ei进行调整，得到最终权重W_e'_i，重新对X进行特征提取，得到新的特征Z_i；

2.2、增强节点通过设置随机正交矩阵进行再次特征提取，提取公式如下：

其中H_j表示每个增强节点提取的特征，ζ_j、分别表示增强层的激活函数、随机生成的权重和偏置；

2.3、将宽度学习网络中的特征节点和增强节点共同提取的特征作为隐藏层的最终特征，公式如下：

G＝[Zⁿ|H^m]

其中，G表示隐藏层提取到的最终特征，G∈R^N×(nl+m)，N表示样本数量，n表示每个特征组的节点个数，l表示特征组的组数，m表示增强节点的个数，H^m为整个增强层提取到的总特征，H^m＝[H₁,...,H_m]；

损失函数表示如下：

其中，w表示隐藏层到输出层之间的权重，γ表示模型的正则化系数，Λ_e由经验公式所得：

2.4、将流行正则化加入到损失函数中，通过学习源域有标签数据和目标域无标签数据之间的流形特征来提高迁移效果，流形正则化的优化函数表示为：

其中代表样本x_i、x_j的预测值，w_ij表示两个样本之间的权重，X表示样本数据，y＝Gw表示网络的输出，D是对角矩阵，对角线上元素组成为：

L表示图拉普拉斯矩阵，可由下面公式计算所得：

L＝D-A

其中表示图连接矩阵，由w_ij组成，最终矩阵L表示式为：

所以流形正则化的表达式为：

M(X)＝tr(w^TG^TLGw)

将流形正则化框架作为最小损失函数加入到目标函数中，最终整个网络的最小化损失函数表达式为：

当隐藏层的神经元个数小于输入数据量的大小时，输出权重w为：

w＝(γI+G^TΛ_eG+λG^TLG)^-1(G^TΛ_ey)

否则，隐藏层的神经元个数大于输入数据量的大小时，输出权重w为：

w＝G^T(γI+Λ_eGG^T+λLGG^T)^-1(Λ_ey)。

2.根据权利要求1所述的基于宽度迁移学习的搅拌釜反应物浓度预测模型构建方法，其特征在于所述步骤(1)的过程为：

1.1、数据的获取：通过连续搅拌釜式反应器仿真程序模拟出两种具有不同工况特性的数据，将反应物浓度作为预测的标签，选取反应器温度T和冷却流量q_c作为辅助变量，两个工况分别作为源域和目标域进行训练；源域选取对应工况中的辅助变量及标签作为数据样本；目标域选取对应工况中的辅助变量作为数据样本；

1.2、源域与目标域辅助变量数据整合：将数据X_s作为源域数据，y_s表示源域的输出标签，即反应物浓度，数据X_t作为目标域数据，令X＝[X_s,X_t]，X表示源域与目标域整合后的数据，对整合后的数据进行标准化处理，以消除源域数据与目标域数据之间量纲上的差异，具体计算公式如下：

其中X_new表示进行标准化处理以后的输入数据，X表示未经过处理的原始数据，μ表示原始数据的均值，σ表示原始数据的方差；

1.3、源域据与目标标签数据整合：由源域标签y_s和同目标域大小为N_t×1的零矩阵组成网络输出的总标签y，如下式所示：

其中N_s表示源域数据的数量，N_t表示目标域数据的数量。