CN108764568A

CN108764568A - 一种基于lstm网络的数据预测模型调优方法及装置

Info

Publication number: CN108764568A
Application number: CN201810520868.2A
Authority: CN
Inventors: 王宏志; 宋扬; 齐志鑫
Original assignee: Harbin Institute of Technology
Current assignee: Harbin Institute of Technology
Priority date: 2018-05-28
Filing date: 2018-05-28
Publication date: 2018-11-06
Anticipated expiration: 2038-05-28
Also published as: CN108764568B

Abstract

本发明涉及一种基于LSTM网络的数据预测模型调优方法，包括预处理：获取所述待预测变量前N小的周期值；提取相关系数之和大于系数阈值的前数个变量在数据集中的数据组成训练集；模型训练：按照周期值从小到大的顺序，共进行N轮训练，求得优化解模型；每轮训练均包括：将所述训练集由时间序列数据转化为监督学习序列；将监督学习序列输入LSTM网络，得到本轮训练模型；利用本轮训练模型得到均方根误差并与上轮训练的均方根误差进行比较，保留其中较小值对应的训练模型为优化解模型。本发明还涉及一种基于LSTM网络的数据预测模型调优装置。本发明提供的调优方法及装置在LSTM网络的基础上优化，可用于数据预测，计算速度快，且预测效果好。

Description

一种基于LSTM网络的数据预测模型调优方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于LSTM网络的数据预测模型调优方法及装置。

背景技术

LSTM(Long Short-Term Memory)长短期记忆网络，是一种特殊的循环神经网络(RNN)，它能够学习序列中的长期依赖关系。传统的LSTM网络主要用于序列的预测，即通过t-1,t-2,…,t-n时刻的真实值对第t时刻的数值进行预测。LSTM在序列建模上很强大，能够记忆上文信息，还具备神经网络拟合非线性的能力。

但LSTM缺点在于训练过程较慢，训练维度较高，模型训练过程复杂，且需要大量的调整参数。尤其是针对于某一具体的问题，例如在工业大数据中，真实产值不仅仅随时间波动，而且与其他的变量变化有很强的关联性，同时由于工业大数据的周期性规律较弱，其移动步长很难依据简单的推断获得，训练时，调整参数的过程复杂且不能保证出现局部最优解，传统的LSTM网络难以获得优秀的数据预测模型。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是解决现有的LSTM网络难以对变量多、模型复杂或周期性规律较弱的大数据集的变量进行有效预测，且计算速度慢，不能保证出现局部最优解的问题。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于LSTM网络的数据预测模型调优方法，包括：

S1、预处理：根据数据集中待预测变量的数据，计算所述待预测变量的周期值，将其周期值从小到大排列，获取所述待预测变量前N小的周期值；计算数据集中各个变量与所述待预测变量的相关系数，并将所述各个变量按照其相关系数从大到小排列，提取相关系数之和大于系数阈值的前数个变量在数据集中的数据组成训练集；

S2、模型训练：利用所述步骤S1中获得的训练集和N个周期值构建模型，按照周期值从小到大的顺序，共进行N轮训练，求得优化解模型；

其中，每轮训练均包括：

S2-1、数据转换：根据周期值将所述训练集由时间序列数据转化为监督学习序列；

S2-2、LSTM建模：将所述步骤S2-1中得到的监督学习序列输入由多个LSTM感知机连接起来组成的LSTM网络，得到本轮训练模型；

S2-3、调优：利用所述步骤S2-2得到的本轮训练模型计算设定时刻的待预测变量的数据，并将其与待预测变量的实际值进行比较，得到均方根误差；将得到的均方根误差与上轮训练的均方根误差进行比较，保留其中的较小值作为本轮训练的均方根误差，保留其对应的训练模型作为优化解模型。

优选地，所述步骤S1中，根据数据集中待预测变量的数据计算所述待预测变量的周期值时，按照时间序列顺序对所述待预测变量的数据进行归一化处理，计算两个过零点的序列值之差，记为所述待预测变量的周期值。

优选地，所述步骤S1获取所述待预测变量前N小的周期值时，N的取值范围为4～7。

优选地，所述N的取值为5。

优选地，所述步骤S1中采用随机森林方法计算数据集中的各个变量与所述待预测变量的相关系数。

优选地，所述步骤S1中提取相关系数之和大于系数阈值的前数个变量在数据集中的数据组成训练集时，系数阈值≥95％。

优选地，所述步骤S2-1中根据周期值将所述训练集由时间序列数据转化为监督学习序列时，以n为单位将时间序列数据分为若干个组，每组时间序列对应一个周期，转化为一个监督学习序列，且转化时，将时间序列数据中，每个周期最后一个序列对应的待预测变量的数据去除；

所述步骤S2-3中利用所述步骤S2-2得到的本轮训练模型计算此去除的待预测变量的数据，并将其与待预测变量的实际值进行比较，得到均方根误差。

本发明还提供了一种基于LSTM网络的数据预测模型调优装置，包括：

预处理单元，所述预处理单元用于根据数据集中待预测变量的数据，计算所述待预测变量的周期值，将其周期值从小到大排列，获取所述待预测变量前N小的周期值；以及计算数据集中各个变量与所述待预测变量的相关系数，将各个变量按照其相关系数从大到小排列，并提取相关系数之和大于系数阈值的前数个变量在数据集中的数据组成训练集；

模型训练单元，所述模型训练单元用于利用所述预处理单元获得的训练集和N个周期值构建模型，按照周期值从小到大的顺序，共进行N轮训练，求得优化解模型；

其中，每轮训练均包括：

S2-3、调优：利用所述步骤S2-2得到的本轮训练模型计算设定时刻的所述待预测变量的数据，并将其与待预测变量的实际值进行比较，得到均方根误差；将得到的均方根误差与上轮训练的均方根误差进行比较，保留其中的较小值作为本轮训练的均方根误差，保留其对应的训练模型作为优化解模型。

优选地，所述预处理单元根据数据集中待预测变量的数据计算所述待预测变量的周期值时，按照时间序列顺序对所述待预测变量的数据进行归一化处理，计算两个过零点的序列值之差，记为所述待预测变量的周期值。

优选地，所述预处理单元中，N的取值为5，系数阈值≥95％。

(三)有益效果

本发明的上述技术方案具有如下优点：本发明提供了一种基于LSTM网络的数据预测模型调优方法，在预处理的步骤中去除了与待预测变量相关性小的变量，降低计算的数据量，并利用LSTM网络进行数据预测模型建模，LSTM非常适合时间序列数据建模，本发明对现有的LSTM方法进行优化，添加了数据转换步骤和调优步骤，其中，数据转换步骤将时间序列数据转化为监督学习序列，调优步骤则根据每一轮建模后求得的均方根误差(RMSE)进行参数的调整，经过多轮训练后，建立优化的模型，得到局部最优解。该方法计算速度快，能够很好的预测时间序列数据的变化趋势，且得到的是近似最优解，不是全局最优解，可在一定程度上消除过度拟合的风险。

本发明还提供了一种基于LSTM网络的数据预测模型调优装置，在LSTM网络的基础上优化，计算速度快，且预测效果好。

附图说明

图1是本发明实施例一中数据预测模型调优方法步骤示意图；

图2是本发明实施例二中时间序列数据转化为监督学习序列的示意图；

图3是本发明实施例二中调优方法与传统LSTM方法结果比较图；

图4是本发明实施例二中调优方法测试效果图；

图5是本发明实施例三中数据预测模型调优装置结构示意图。

图中：100：预处理单元；200：模型训练单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

如图1所示，本发明实施例一提供的一种基于LSTM网络的数据预测模型调优方法，包括：

步骤S1、预处理：

本实施例中，设待预测变量为Y，根据数据集中待预测变量Y的数据，计算待预测变量Y的周期值，将其周期值从小到大排列，获取待预测变量前N小的周期值，即，设Y的周期值为n＝{n₁,n₂,...,n_N}，n₁＜n₂＜...＜n_N。

计算数据集中各个变量与待预测变量的相关系数，将各个变量按照其相关系数从大到小排列，并提取相关系数之和大于系数阈值的前数个变量在数据集中的数据组成训练集。

原始的数据集为矩阵形式的时间序列数据集合，包括若干时间序列，每一行代表一个时刻获得的各个变量的数据，每一列代表一个变量在不同的时刻的数据，数据集中各个变量组成的变量向量集可表示为：X＝{X₁,X₂,X₃,...,X_m}∈R^d×m，其中，R表示实数数据集，d表示数据集的行数，即序列值，m表示数据集的列数，即变量的个数，X_i,i∈1,...,m表示由第i个变量对应的数据组成的向量。计算各个变量X_i与Y的相关系数C_i，并从大到小排列为C₁≥C₂≥C₃≥...≥C_m，选取前数个相关系数之和的变量X′＝{X₁′,X₂′,X₃′,...,X′_m′}∈R^d×m′组成训练集，m'表示选取后的训练集的列数，X_i′,i∈1,...,m'表示根据选取后，第i个变量对应的数据组成的向量。

步骤S1中的预处理过程能够去除数据集中部分与待预测变量相关性小的变量，避免其对后续的建模造成干扰，同时减少训练时的计算量，提升建模的速度。

步骤S2、模型训练：

利用步骤S1中获得的训练集和N个周期值构建模型，按照周期值从小到大的顺序，共进行N轮训练，求得优化解模型。

其中，每轮训练均包括：

步骤S2-1、数据转换：根据周期值将训练集由时间序列数据转化为监督学习序列。

步骤S2-2、LSTM建模：将步骤S2-1中得到的监督学习序列输入由多个LSTM感知机连接起来组成的LSTM网络，得到本轮训练模型。LSTM感知机遗忘门和输入门来控制输出状态，其中遗忘门决定保留多少上一单元的输出状态，而输入门决定保留多少当前的输入，故其可保存较早的信息的影响。可采用一个全面的可扩展框架，例如TensorFlow框架实现该步骤。

步骤S2-3、调优：利用步骤S2-2得到的本轮训练模型计算设定时刻的待预测变量的数据，并将其与该时刻待预测变量的实际值进行比较，得到均方根误差；将得到的均方根误差与上轮训练的均方根误差进行比较，保留其中的较小值作为本轮训练的均方根误差，保留其对应的周期值和训练模型，该训练模型即作为本轮训练的优化解模型。

由于n最优解具有不确定性，且n与均方根误差(RMSE)不服从线性关系，经过N轮训练，通过改变周期值n的大小，直至找到最小的RMSE，最终求得预测值与待预测变量的实际值最为接近的优化解模型，该模型能够很好的预测时间序列数据的变化趋势。且由于该方法得到的为近似最优解，不是全局最优解，可在一定程度上消除过度拟合的风险。

实施例二

本实施例二与实施例一基本相同，相同之处不再赘述，不同之处在于：

步骤S1中，根据数据集中待预测变量的数据计算待预测变量的周期值时，按照时间序列顺序对待预测变量的数据进行归一化处理，记录每次过零点的序列值，取相邻的两个过零点的序列值之差，记为待预测变量的周期值。此处的序列值即数据集的行数。

优选地，获取待预测变量前N小的周期值时，N的取值范围为4～7。进一步优选地，N的取值为5，即按照顺序取前5个较小的周期值，共进行5轮训练。经验证，进行5轮训练即可得到较好的近似最优解模型，继续训练可以提高模型的精度，但同时导致训练时间增长。在实际使用中，可根据具体需求对N的取值进行调整。

优选地，可采用随机森林方法计算数据集中各个变量与待预测变量的相关系数，随机森林方法为较为成熟的现有技术，在此不再赘述。当然，也可以根据实际情况采取其他方法计算相关系数。

进一步优选地，提取相关系数之和大于系数阈值的变量在数据集中的数据组成训练集时，系数阈值≥95％，本实施例中系数阈值为95％，设置系数阈值可确保提取出来变量能够生成较为准确的预测模型。

优选地，步骤S2-1中，根据周期值将训练集由时间序列数据转化为监督学习序列时，以n为单位将时间序列数据分为若干个组，每组时间序列对应一个周期，每组时间序列转化为一个监督学习序列，且转化时，将时间序列数据中，每个周期最后一个序列对应的待预测变量的数据去除，即去除每个周期中最后一个时刻的待预测变量数据。步骤S2-3中利用步骤S2-2得到的本轮训练模型计算此去除的待预测变量的数据，并将其与待预测变量的实际值进行比较，得到均方根误差。

以工业大数据锅炉的数据集(70维数据)为例，对于预处理后得到的训练集X′＝{X₁′,X₂′,X₃′,...,X′_m′}∈R^d×m′，其中训练集X′中的变量X′_m′为待预测变量Y，例如锅炉的产量。根据周期值n，按照以下方式将时间序列数据分为若干组时间序列，每组时间序列包括n行数据，n行时间序列转化为一个监督学习序列。例如，选取第i-n，i-n+1，…i-2，i-1行的时间序列(i>n)，并去除第i-1行的第m个数据后，得到当前周期的监督学习序列。当n＝3，m＝3，i＝4时，其转换方式如图2所示。

以工业大数据锅炉数据集作为数据集对本实施例所提供的方法进行验证，其效果图如图3所示，其中纵坐标表示RMSE，A柱状图表示传统LSTM方法获得的结果，B柱状图表示本实施例中改进后的调优方法获得的结果，可知本实施例所提供的调优方法获得的模型，其RMSE达到13.993，相较于普通的LSTM方法RMSE为19.867，其优化了29.57％。

将工业大数据锅炉数据集分为两部分，一部分作为训练集参与数据预测模型的训练，另一部分作为测试集不参与数据预测模型的训练，在确定优化解模型后，利用测试集进行测试，并将测试结果与训练集进行比较，如图4所示，图中横坐标表示训练次数，纵坐标表示RMSE，R1表示训练集结果，R2表示测试集结果，对比训练集和测试集对应的RMSE随训练次数增加变化曲线，即损失率曲线，可发现两者的损失率在一段时间后趋于一致，且测试集损失率没有低于训练集损失率，测试集与训练集对应的准确率无明显差别，证明数据预测模型未发生过度拟合情况。

实施例三

如图5所示，本发明实施例三提供一种基于LSTM网络的数据预测模型调优装置，包括预处理单元100和模型训练单元200，其中：

预处理单元100用于根据数据集中待预测变量的数据，计算待预测变量的周期值，将其周期值从小到大排列，获取待预测变量前N小的周期值；以及用于计算数据集中各个变量与待预测变量的相关系数，并将各个变量按照其相关系数从大到小排列，并提取相关系数之和大于系数阈值的前数个变量在数据集中的数据组成训练集。

模型训练单元200用于利用预处理单元100获得的训练集和N个周期值构建模型，按照周期值从小到大的顺序，共进行N轮训练，求得优化解模型。

其中，每轮训练均包括：

S2-1、数据转换：根据周期值将训练集由时间序列数据转化为监督学习序列；

S2-2、LSTM建模：将步骤S2-1中得到的监督学习序列输入由多个LSTM感知机连接起来组成的LSTM网络，得到本轮训练模型；

S2-3、调优：利用步骤S2-2得到的本轮训练模型计算设定时刻的待预测变量的数据，并将其与待预测变量的实际值进行比较，得到均方根误差；将得到的均方根误差与上轮训练的均方根误差进行比较，保留其中的较小值作为本轮训练的均方根误差，保留其对应的训练模型作为优化解模型，并保留相应的周期值。

优选地，预处理单元100根据数据集中待预测变量的数据计算待预测变量的周期值时，按照时间序列顺序对待预测变量的数据进行归一化处理，计算两个过零点的序列值之差，记为待预测变量的周期值。

进一步优选地，N的取值范围为4～7，优选为5，系数阈值≥95％，优选为95％。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于LSTM网络的数据预测模型调优方法，其特征在于，包括：

其中，每轮训练均包括：

2.根据权利要求1所述的调优方法，其特征在于：

所述步骤S1中，根据数据集中待预测变量的数据计算所述待预测变量的周期值时，按照时间序列顺序对所述待预测变量的数据进行归一化处理，计算两个过零点的序列值之差，记为所述待预测变量的周期值。

3.根据权利要求1所述的调优方法，其特征在于：

所述步骤S1获取所述待预测变量前N小的周期值时，N的取值范围为4～7。

4.根据权利要求3所述的调优方法，其特征在于：所述N的取值为5。

5.根据权利要求1所述的调优方法，其特征在于：

所述步骤S1中采用随机森林方法计算数据集中的各个变量与所述待预测变量的相关系数。

6.根据权利要求5所述的调优方法，其特征在于：

所述步骤S1中提取相关系数之和大于系数阈值的前数个变量在数据集中的数据组成训练集时，系数阈值≥95％。

7.根据权利要求1所述的调优方法，其特征在于：

所述步骤S2-1中根据周期值将所述训练集由时间序列数据转化为监督学习序列时，以n为单位将时间序列数据分为若干个组，每组时间序列对应一个周期，转化为一个监督学习序列，且转化时，将时间序列数据中，每个周期最后一个序列对应的待预测变量的数据去除；

8.一种基于LSTM网络的数据预测模型调优装置，其特征在于，包括：

其中，每轮训练均包括：

9.根据权利要求8所述的调优装置，其特征在于：

所述预处理单元根据数据集中待预测变量的数据计算所述待预测变量的周期值时，按照时间序列顺序对所述待预测变量的数据进行归一化处理，计算两个过零点的序列值之差，记为所述待预测变量的周期值。

10.根据权利要求8所述的调优装置，其特征在于：

所述预处理单元中，N的取值为5，系数阈值≥95％。