CN109255505B - 一种多模型融合神经网络的短期负荷预测方法 - Google Patents

Abstract

本发明公开一种多模型融合神经网络的短期负荷预测方法，步骤为：数据获取及预处理得到数据集；将数据集分割为训练集和验证集；单独构造基于反向传播算法的多种模型，使用训练集的输入向量序列训练模型；使用多种单独模型的输出作为输入训练一个顶层DNN模型；将单独训练的模型和顶层DNN模型融合，进行精调；用验证集验证训练好的模型，通过对比测试集和验证集的精度和误差，调整模型参数，通过多次训练，选择验证集表现最好的模型作为训练结果；在实际环境中运行模型，当预测值和实际值出现较大偏差时，将最新数据加入训练集再次训练模型。本发明采用单独训练、组合调优的方式，降低了部署的复杂度，精度优于单个模型，具有良好的实用价值。

Description

一种多模型融合神经网络的短期负荷预测方法

技术领域

本发明涉及一种电力系统负荷预测技术，具体为一种多模型融合神经网络的短期负荷预测方法。

背景技术

当前电力行业在开放售电环境下需要精确的短期负荷预测，以实现电力负荷的规划和管理策略的实施。为了提高预测精度，在过去的几十年中已经提出了各种新的电力负荷预测技术。由于电力负荷及其影响因素的非线性和随机性，电力负荷预测已成为电力市场实体面临的最具挑战性的任务之一。

用于电力负荷预测的模型大致可以分为四类：(1)统计模型；(2)基于知识的专家系统；(3)混合模型和(4)基于人工智能的模型。

传统统计模型，诸如自回归模型，研究了电力负荷和其影响因素之间的定性关系，并且易于实现。然而，这些统计模型在很大程度上依赖于当前负荷与历史负荷之间的相关性，在选择适当的非线性函数时面临很大困难并且计算成本高。因为这些局限性，研究人员越来越对人工智能感兴趣。

在所有可用的预测模型中，基于人工神经网络的模型在解决短期负荷预测问题方面吸引力最大。即使在复杂的非线性环境中，神经网络也以其学习能力而闻名。当前常用的神经网络模型包括DNN、LSTM和ResNet等，但DNN的反向传播算法需要搜索庞大的函数空间，容易陷入非优局部极小值，使得模型的精度受到负面的影响；LSTM可以解决长期连续时间步骤之间的依赖问题，然而当时间过长时，模型依然会丢失长期数据中的关键信息；ResNet可以增加模型深度，随着深度的加深，模型学习了更高级的特征，但依然存在边界效应，缺少对整体数据的感知。

发明内容

针对现有技术中电力系统负荷预测模型存在在边界效应，缺少对整体数据的感知、预测精度低等不足，本发明的目的是提供一种可有效提升电力系统短期负荷预测精度的多模型融合神经网络的短期负荷预测方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种多模型融合神经网络的短期负荷预测方法，包括以下步骤：

1)数据获取及预处理，得到数据集；

2)将数据集分割为训练集和验证集两部分：训练集用来训练模型，验证集用来验证训练结果；

3)单独构造基于反向传播算法的多种模型，使用训练集的输入向量序列训练模型；

4)使用多种单独模型的输出作为输入训练一个顶层DNN模型；

5)将单独训练的模型和顶层DNN模型融合，并进行精调；

6)用验证集验证训练好的模型，通过对比测试集和验证集的精度和误差，调整模型参数，通过多次训练，选择验证集表现最好的模型作为训练结果；

7)在实际环境中运行模型，当预测值和实际值出现较大偏差时，将最新数据加入训练集再次训练模型。

步骤1)中，数据获取及预处理为：

101)获取电力系统负荷数据，同时采集对应的气候、节假日数据；

102)对上述各类数据进行预处理，包括但不限于：缺失值均值插补、数据标准化、独热编码、时间戳转换；

103)预处理后的数据依时间先后顺序形成输入向量序列；

104)以任意时刻未来一段时间内的系统负荷作为预测目标。

步骤3)中，多种模型中不同模型分别单独训练并记录预测结果，并满足：

A被选择的模型结构基于反向传播算法；

B被选择的模型之间具有结构上的差异，具有不同特点；

步骤4)中，顶层DNN模型具有三层结构，包括一层输入层、一层隐层及一层输入层，以单独训练的三个模型的训练集输出为输入，以训练集的实际值为回归目标，进行训练。

步骤5)中，将单独训练的模型和顶层DNN模型融合，并进行精调为：

将已经训练好的单独模型并行排列，将各单独模型的输出结点作为顶层DNN模型的输入连接到DNN隐层，最后缩小融合模型的学习率进行精调。

本发明具有以下有益效果及优点：

1.本发明提出了一种基于多模型融合神经网络的短期负荷预测方法，将多种不同的神经网络单独训练；再将单独模型的输出作为输入，训练一个顶层DNN；最后将训练好的模型融合，并进行精调训练，实验结果表明，该方法的精度优于单个模型。说明该方法具有良好的实用价值。

2.本发明采用单独训练、组合调优的方式，降低了部署的复杂度，方便工程实施。

附图说明

图1为本发明实施方式一种多模型融合神经网络的短期负荷预测方法流程图；

图2为本发明实施方式多模型融合示意图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

如图1所示，本发明一种多模型融合神经网络的短期负荷预测方法，以下步骤：

1)数据获取及预处理，得到数据集；

2)将数据集分割为训练集和验证集两部分：训练集用来训练模型，验证集用来验证训练结果；

3)单独构造基于反向传播算法的多种模型，使用训练集的输入向量序列训练模型；

4)使用多种单独模型的输出作为输入训练一个顶层DNN模型；

5)将单独训练的模型和顶层DNN模型融合，并进行精调；

6)用验证集验证训练好的模型，通过对比测试集和验证集的精度和误差，调整模型参数，通过多次训练，选择验证集表现最好的模型作为训练结果；

7)在实际环境中运行模型，当预测值和实际值出现较大偏差时，将最新数据加入训练集再次训练模型。

步骤2)中，数据获取及预处理为：

101)获取电力系统负荷数据，同时采集对应的气候、节假日数据；

本实施例中，使用某地电网负荷数据，精度是每小时的统计。同时搜集了此地区每日最高气温和每日最低气温，以及节假日数据。

102)对上述各类数据进行预处理，包括但不限于：缺失值均值插补、数据标准化、独热编码、时间戳转换；

本实施例中，时间数据转换为数值型数据，对所有数据进行标准化处理，对缺失值进行均值插补处理，节假日数据转换为二值数据。

103)预处理后的数据依时间先后顺序形成输入向量序列；

本实施例依时间先后顺序形成输入向量序列，即每个小时的数据为一个向量，按时间先后顺序排列。

104)以任意时刻未来一段时间内的系统负荷作为预测目标；

本实施例预测目标是任意时刻未来6小时电力系统负荷。

步骤2)中，将数据集分割为两个部分：训练集用来训练模型，验证集用来验证训练结果。本案例采用数据集的前80％作为训练集，后20％作为验证集。

步骤3)中，多种模型中不同模型分别单独训练并记录预测结果，并满足：

A被选择的模型结构基于反向传播算法；

B被选择的模型之间具有结构上的差异，具有不同特点。

本实施例中，步骤301)单独构造DNN、LSTM及ResNet三种模型并训练；然后构造单独3层DNN模型，并使用训练集的输入向量序列训练模型。

单个DNN模型包含一层隐层、输入层和输出层，采用全连接结构和tanh激活函数，可以获取任意输入节点间的相互关系。理论上，只要隐层神经元足够多，3层结构的DNN也可以拟合任意复杂函数。此处采用单隐层结构的主要原因是，使DNN模型更多的获取原始数据整体的信息，而单隐层的每个神经元都连接到输入的每一个节点。

步骤302)中，构造单独LSTM模型，并使用训练集的输入向量序列训练模型；

LSTM模型是循环神经网络的一种。循环神经网络在序列数据建模中非常有效，因为其可以记忆过去的输入中的信息。但是，当序列长度较长时，简单的RNN结构会遇到梯度爆炸或梯度消失的问题。具有门限循环单元的LSTM很好的解决了这个问题。LSTM可以有效避免梯度爆炸或梯度消失的问题，因此在建模具有长期依赖的时间序列方面获得了广泛应用。

RNN将输入序列{x₁,x₂,…,x_n}输入形如以下函数的循环单元：

h_t＝f(h_t-1,x_t)

这里，x_t是t时刻的输入，h_t是隐藏状态，h_t可被认为是到t时刻为止，之前所有输入的表示向量。为了解决梯度爆炸或梯度消失的问题，LSTM在循环单元中引入了多种门结构，其计算如下：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

h_t＝o_t*tanh(C_t)

这里i_t、f_t和o_t分别是输入门、遗忘门和输出门。C_t是单元状态，C％_t代表候选的单元状态，i_t决定是否将其更新到单元状态C_t中。单元状态帮助模型更好的传递梯度信息。W_i、W_f、W_o、W_C和b_i、b_f、b_o、b_C分别是输入门、遗忘门、输出门和单元状态传递的参数和偏置。通过将输入序列{x₁,x₂,…,x_n}输入到LSTM中，得到一列对应的隐藏状态{h₁,h₂,…,h_n}。这些隐藏状态作为序列的特征表示，用于生成输出，同时作为下一个循环的输入。

LSTM可以解决长期连续时间步骤之间的依赖问题，并取得了良好的结果。但是LSTM在面对很长的时间序列时，依然可能丢失长期历史中的关键信息。这使得LSTM在面对很长的输入序列时，依然难以获得历史数据的整体感知，从而影响了精度的提升。

这里为了提升模型的预测精度，本发明采用了3层LSTM单元堆叠的结构。

步骤303)构造单独ResNet模型，并使用训练集的输入向量序列训练模型；

为了获取历史数据中更多的信息，包括数据的周期性、趋势等，电力负荷数据的输入序列一般较长，这就要求卷积模型的顶层神经元应该获得更大的感受域。顶层神经元的感受域受到两个因素的影响：深度和卷积核的大小，且感受域的大小与这两个因素呈线性正相关。一个被普遍接受的事实是，较小的卷积核和更深的网络可以带来更高的精度，因此具有更大深度的ResNet模型就成为自然的选择。

ResNet的提出是深度网络的一场革命，它使深度神经网络模型开始往深度发展。在深度神经网络结构中，如果单纯地增加网络的深度会带来梯度消失或爆炸和准确率退化的问题。

对于梯度消失或爆炸问题，ResNet通过标准化得以解决。对于准确率问题，ResNet通过残差学习来解决。残差块是包含一系列变换F的一个分支，残差连接是将残差块的输出和一个恒等映射的输出相加并激活：

y＝F(x,{W_i})+x

x和y是一个残差块的输入和输出张量，函数F(x,{W_i})代表了需要学习的残差映射。残差连接允许层有效地学习对恒等映射的修改，而不是学习整个变换，这已经被证明对于深度网络非常有用。

ResNet最初被设计用来解决图像识别问题，但是其中采用的残差学习和标准化的思想可以被应用到任意的模型中，用来解决相似的问题。由于恒等映射的存在，梯度信息可以根据需要绕过任意数量的残差块直接传递到较低的层，这相当于模型同时模拟了一个非常宽的网络，可以提取任意深度和宽度的特征。ResNet已被证明可以有效提取输入数据中的特征，其中包括很多高级特征。然而卷积存在边界效应，无法获取输入序列的整体感知。

这里，ResNet使用了32个残差块的基本结构，在ResNet的一个残差块里，包含一维卷积层、标准化和激活函数，激活函数采用整流线性单元(rectifier linear unit，ReLU)。此外，为了防止过拟合及增加模型抗噪能力，加入了一层Dropout。模型使用的卷积核大小为8，因为过大的卷积核会降低细节的分辨率，而过小的卷积核在一维环境下会限制高级特征的作用域，这两种情况都会影响精度的提升。

步骤4)中，顶层DNN模型具有三层结构，包括一层输入层、一层隐层及一层输入层，以单独训练的三个模型的训练集输出为输入，以训练集的实际值为回归目标，进行训练。

步骤5)中，将单独训练的模型和顶层DNN模型融合，并进行精调为：

将已经训练好的单独模型并行排列，将各单独模型的输出结点作为顶层DNN模型的输入连接到DNN隐层，最后缩小融合模型的学习率进行精调，如图2所示。

为了验证本发明的有效性，在本实施例对比了多模型融合方法和单独模型的精度，其结果如下表所示，结果显示，多模型融合神经网络的短期负荷预测方法预测精度在在几种模型中最高，说明本发明可以有效提升短期负荷预测的精度。

短期负荷预测在为电力系统制定经济、可靠和安全的运行策略中起着关键作用。为了提高预测精度，本发明提出了一种基于多模型融合神经网络的短期负荷预测方法。首先将多种不同的神经网络单独训练；再将单独模型的输出作为输入，训练一个顶层DNN；最后将训练好的模型融合，并进行精调训练。短期负荷预测的实验结果表明，该方法的精度优于单个模型，说明该方法具有良好的实用价值。

Claims (4)

1.一种多模型融合神经网络的短期负荷预测方法，其特征在于包括以下步骤：

1)数据获取及预处理，得到数据集；

2)将数据集分割为训练集和验证集两部分：训练集用来训练模型，验证集用来验证训练结果；

3)单独构造基于反向传播算法的多种模型，使用训练集的输入向量序列训练模型；

多种模型中不同模型分别单独训练并记录预测结果，并满足：

A被选择的模型结构基于反向传播算法；

B被选择的模型之间具有结构上的差异，具有不同特点；

4)使用多种单独模型的输出作为输入训练一个顶层DNN模型；

5)将单独训练的模型和顶层DNN模型融合，并进行精调；

6)用验证集验证训练好的模型，通过对比测试集和验证集的精度和误差，调整模型参数，通过多次训练，选择验证集表现最好的模型作为训练结果；

7)在实际环境中运行模型，当预测值和实际值出现较大偏差时，将最新数据加入训练集再次训练模型。

2.根据权利要求1所述的多模型融合神经网络的短期负荷预测方法，其特征在于：步骤1)中，数据获取及预处理为：

101)获取电力系统负荷数据，同时采集对应的气候、节假日数据；

102)对上述各类数据进行预处理，包括但不限于：缺失值均值插补、数据标准化、独热编码、时间戳转换；

103)预处理后的数据依时间先后顺序形成输入向量序列；

104)以任意时刻未来一段时间内的系统负荷作为预测目标。

3.根据权利要求1所述的多模型融合神经网络的短期负荷预测方法，其特征在于：步骤4)中，顶层DNN模型具有三层结构，包括一层输入层、一层隐层及一层输入层，以单独训练的三个模型的训练集输出为输入，以训练集的实际值为回归目标，进行训练。

4.根据权利要求1所述的多模型融合神经网络的短期负荷预测方法，其特征在于：步骤5)中，将单独训练的模型和顶层DNN模型融合，并进行精调为：

将已经训练好的单独模型并行排列，将各单独模型的输出结点作为顶层DNN模型的输入连接到DNN隐层，缩小融合模型的学习率进行精调。

Images