[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN109685290B - 一种基于深度学习的用电量预测方法、装置及设备 - Google Patents

一种基于深度学习的用电量预测方法、装置及设备 Download PDF

Info

Publication number
CN109685290B
CN109685290B CN201910109904.0A CN201910109904A CN109685290B CN 109685290 B CN109685290 B CN 109685290B CN 201910109904 A CN201910109904 A CN 201910109904A CN 109685290 B CN109685290 B CN 109685290B
Authority
CN
China
Prior art keywords
sequence
prediction
training
value
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910109904.0A
Other languages
English (en)
Other versions
CN109685290A (zh
Inventor
赵云
肖勇
何恒靖
钱斌
周密
郑楷洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China South Power Grid International Co ltd
China Southern Power Grid Co Ltd
Original Assignee
China South Power Grid International Co ltd
China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China South Power Grid International Co ltd, China Southern Power Grid Co Ltd filed Critical China South Power Grid International Co ltd
Priority to CN201910109904.0A priority Critical patent/CN109685290B/zh
Publication of CN109685290A publication Critical patent/CN109685290A/zh
Application granted granted Critical
Publication of CN109685290B publication Critical patent/CN109685290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度学习的用电量预测方法，采用包括长短期记忆网络LSTM嵌入块的序列到序列seq2seq模型为预测模型，增强了序列到序列seq2seq模型的可学习型和表达性，利用包括历史时间序列和外源性特征数据的历史用电数据训练得到该预测模型，使预测模型除了时间特征外，还对外源性特征进行学习和表达，增加了对影响用电量趋势的多个因素的约束，从而得到了更贴近用电量实际状况的预测模型，通过该预测模型对用电量进行预测，得到了更为准确的用电量预测结果。本发明还提供一种基于深度学习的用电量预测装置及设备，具有上述有益效果。

Description

一种基于深度学习的用电量预测方法、装置及设备
技术领域
本发明涉及用电计量领域，特别是涉及一种基于深度学习的用电量预测方法、装置及设备。
背景技术
电力系统是一个复杂的实时动态系统，涉及发电、输电、配送电、用电，以及调度管理等诸多环节。其中，电网负荷预测是电力系统调度的一个重要组成部分。
企业的用电量和负荷预测属于时间序列预测类型，即根据历史时间数据来预测未来的值。现有技术中对于时间序列预测的处理，通常采用自回归积分滑动平均(ARIMA)模型，通过对非平稳的时间序列进行差分得到平稳的时间序列，然后通过自相关系数和偏相关系数的分析来得到模型的参数，预测对象随时间推移而形成的数据序列视为一个随机序列，用该模型来近似描述这个序列。但是，由于ARIMA模型仅仅关注时间序列本身的特性，而用电量预测往往会存在除时间之外的其他特征，这种应用ARIMA模型进行用电量预测的方式得到的预测结果与实际用电量偏差较大。
如何提高用电量预测的准确性，是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是提供一种基于深度学习的用电量预测方法、装置及设备，相比于现有技术提高了用电量预测的准确性。
为解决上述技术问题，本发明提供一种基于深度学习的用电量预测方法，包括：
预先根据历史用电数据训练预测模型；
接收输入的电量预测查询时间和外源性特征参数；
将所述电量预测查询时间和所述外源性特征参数输入所述预测模型，输出用电量预测值；
其中，所述历史用电数据包括历史时间序列和所述历史时间序列的外源性特征数据，所述预测模型具体为包括长短期记忆网络LSTM嵌入块的序列到序列seq2seq模型。
可选的，所述预测模型的编码器和解码器均为长短期记忆网络LSTM。
可选的，所述预先根据历史用电数据训练预测模型，具体包括：
根据所述历史时间序列和所述外源性特征数据确定训练输入向量以及与所述训练输入向量对应的标签值；其中，所述训练输入向量包括训练周期参数和特征参数；
将所述训练输入向量输入预设的序列到序列seq2seq模型结构，得到训练值；
按预设规则确定所述训练值与所述标签值的误差最小值；
依据所述误差最小值调整所述序列到序列seq2seq模型结构的模型参数，得到所述预测模型。
可选的，所述按预设规则确定所述训练值与所述标签值的误差最小值，具体包括：
利用Adam梯度下降法计算所述训练值与所述标签值的负梯度方向，以根据所述负梯度方向确定所述误差最小值。
可选的，所述按预设规则确定所述训练值与所述标签值的误差最小值，具体包括：
利用SGD随机梯度下降法计算所述训练值与所述标签值的负梯度方向，以根据所述负梯度方向确定所述误差最小值。
可选的，当所述历史时间序列的长度大于阈值时，在所述将所述训练输入向量输入预设的序列到序列seq2seq模型结构时，还包括：
应用固定权重的滑动窗口记忆机制将滞后数据点引入所述预设的序列到序列seq2seq模型结构。
可选的，所述应用固定权重的滑动窗口记忆机制将所述滞后数据点引入所述预设的序列到序列seq2seq模型结构，具体包括：
将所述滞后数据点的编码器输出值输入全连接层以降低维度，并将降低维度后的编码器输出值加入解码器的输入特征；
对预设的数据点与近邻数据点求均值，以根据所述均值减少噪声并补偿不均匀的间隔。
可选的，所述预先根据历史用电数据训练预测模型，具体包括：
应用多组初始化数据训练得到多个初始预测模型；其中，初始化数据组与所述初始预测模型一一对应；
在各所述初始预测模型中保存检查点；
依据所述检查点计算与所述检查点对应的初始预测模型的预测权值；
根据各所述预测权值对各所述初始预测模型进行模型融合，得到所述预测模型。
为解决上述技术问题，本发明还提供一种基于深度学习的用电量预测装置，包括：
训练单元，用于预先根据历史用电数据训练预测模型；
接收单元，用于接收输入的电量预测查询时间和外源性特征参数；
计算单元，用于将所述电量预测查询时间和所述外源性特征参数输入所述预测模型，输出用电量预测值；
其中，所述历史用电数据包括历史时间序列和所述历史时间序列的外源性特征数据，所述预测模型具体为包括长短期记忆网络LSTM嵌入块的序列到序列seq2seq模型。
为解决上述技术问题，本发明还提供一种基于深度学习的用电量预测设备，包括：
存储器，用于存储指令，所述指令包括上述任意一项所述基于深度学习的用电量预测方法的步骤；
处理器，用于执行所述指令。
本发明所提供的基于深度学习的用电量预测方法，采用包括长短期记忆网络LSTM嵌入块的序列到序列seq2seq模型为预测模型，利用包括历史时间序列和外源性特征数据的历史用电数据训练得到该预测模型，并通过该预测模型对用电量进行预测。现有技术中采用仅关心时间特征的ARIMA模型进行用电量预测，预测结果偏差较大，而由于长短期记忆网络LSTM允许外源性特征注入模型，本方案增加长短期记忆网络LSTM嵌入块增强了序列到序列seq2seq模型的可学习型和表达性，使预测模型除了时间特征外，还对外源性特征进行学习和表达，增加了对影响用电量趋势的多个因素的约束，从而得到了更贴近用电量实际状况的预测模型，进而得到了更为准确的用电量预测结果。本发明还提供一种基于深度学习的用电量预测装置及设备，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1(a)为第一种第一类企业用电量曲线图；
图1(b)为第二种第一类企业用电量曲线图；
图2(a)为第一种第二类企业用电量曲线图；
图2(b)为第二种第二类企业用电量曲线图；
图3(a)为第一种第三类企业用电量曲线图；
图3(b)为第二种第三类企业用电量曲线图；
图4为本发明实施例提供的第一种基于深度学习的用电量预测方法的流程图；
图5为长短期记忆网络LSTM的神经单元结构示意图；
图6为本发明实施例提供的图4中步骤S40的一种具体实施方式的流程图；
图7(a)为本发明实施例提供的一种滞后数据点引入原理示意图；
图7(b)为本发明实施例提供的一种引入滞后数据点后的预测原理示意图；
图8为本发明实施例提供的一种基于深度学习的用电量预测装置的结构示意图；
图9为本发明实施例提供的一种基于深度学习的用电量预测设备的结构示意图。
具体实施方式
本发明的核心是提供一种基于深度学习的用电量预测方法、装置及设备，相比于现有技术提高了用电量预测的准确性。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1(a)为第一种第一类企业用电量曲线图；图1(b)为第二种第一类企业用电量曲线图；图2(a)为第一种第二类企业用电量曲线图；图2(b)为第二种第二类企业用电量曲线图；图3(a)为第一种第三类企业用电量曲线图；图3(b)为第二种第三类企业用电量曲线图；图4为本发明实施例提供的第一种基于深度学习的用电量预测方法的流程图；图5为长短期记忆网络LSTM的神经单元结构示意图。
图1(a)至图3(b)以日期(Day)为横轴，以用电量(Electricity Consumption)为纵轴描述了不同企业的用电量随时间的变化趋势。为了更好地预测企业用电情况，通过对多家重要用电企业的日用电量历史曲线进行分析，根据曲线的自相关系数和偏相关系数对曲线进行分类，发现企业日用电量曲线主要可分为三大类：
(1)平稳型曲线，如图1(a)和图1(b)所示，在大型持续稳定生产的工业电力用户体现明显。
(2)周期型曲线，如图2(a)和图2(b)所示，在具有季节性的产品生产表现明显。
(3)不稳定型曲线，如图3(a)和图3(b)所示，其变化周期大，规律性较差。
可见不同于区域和行业用电预测，企业用电量同时受宏观和微观多种因素共同影响，如果能系统的分析企业电量影响因子，就可以提高企业用电量的预测准确度。然而通过现有技术中采用训练ARIMA模型进行预测的方式无法在预测计算中添加与序列相关的外部特征参数，如节假日、气候条件、商品期货价格等。
因此，本发明实施例采用包括长短期记忆网络LSTM嵌入块的序列到序列seq2seq模型作为预测模型，以便加入外源性特征参数。
如图4所示，本发明实施例提供的基于深度学习的用电量预测方法包括：
S40：预先根据历史用电数据训练预测模型。
其中，历史用电数据包括历史时间序列和历史时间序列的外源性特征数据，预测模型具体为包括长短期记忆网络LSTM嵌入块的序列到序列seq2seq模型。
长短期记忆网络LSTM是循环神经网络RNN的一种。循环神经网络RNN对序列前面的信息记忆并应用于当前输出的计算中，即序列的输出与前一状态的输出相关。而长短期记忆网络LSTM有能力向单元状态中移除或添加信息，通过门结构来管理，包括遗忘门，输入门，输出门，其结构如图5所示。其中，X为输入，t为当前时刻，h为隐含层状态。长短期记忆网络LSTM的算法公式如下：
ft＝σ(Wfxxt+Wfhht-1+bf) (1)
it＝σ(Wixxt+Wihht-1+bi) (2)
gt＝φ(Wgxxt+Wghht-1+bg) (3)
ot＝σ(Woxxt+Wohht-1+bo) (4)
st＝gt⊙it+st-1⊙ft (5)
ht＝φ(st)⊙ot (6)
其中，ft表示遗忘门；it表示输入门；ot表示输出门；gt表示记忆单元；st为传给下一个LSTM block的输出结果；ht为传给下一层神经元的输出结果；σ表示激活函数sigmoid；φ表示激活函数tanh；Wx(包括Wfx、Wix、Wgx、Wox)为输入层的参数；Wh(包括Wfh、Wih、Wgh、Woh)为隐含层输入的参数；xt为输入层输入值；ht-1为上一时刻隐含层输入值；b(包括bf、bi、bg、bo)为常数。
本发明实施例采用序列到序列seq2seq模型作为预测模型对时间序列进行预测。序列到序列seq2seq模型分为编码器和解码器两个部分，输入一段序列及特征到编码器中，编码后的结果输入到解码器中进行解码，得到训练值。
其中，长短期记忆网络LSTM嵌入块在序列到序列seq2seq模型中可以作为编码器应用，也可以作为解码器应用，一种较好的应用方式是预测模型的编码器和解码器均为长短期记忆网络LSTM。
S41：接收输入的电量预测查询时间和外源性特征参数。
S42：将电量预测查询时间和外源性特征参数输入预测模型，输出用电量预测值。
训练得到预测模型后，即可根据输入的电量预测查询时间以及该电量预测查询时间对应的外源性特征参数进行用电量预测，并输出用电量预测值。
本发明实施例提供的基于深度学习的用电量预测方法，采用包括长短期记忆网络LSTM嵌入块的序列到序列seq2seq模型为预测模型，利用包括历史时间序列和外源性特征数据的历史用电数据训练得到该预测模型，并通过该预测模型对用电量进行预测。现有技术中采用仅关心时间特征的ARIMA模型进行用电量预测，预测结果偏差较大，而由于长短期记忆网络LSTM允许外源性特征注入模型，本方案增加长短期记忆网络LSTM嵌入块增强了序列到序列seq2seq模型的可学习型和表达性，使预测模型除了时间特征外，还对外源性特征进行学习和表达，增加了对影响用电量趋势的多个因素的约束，从而得到了更贴近用电量实际状况的预测模型，进而得到了更为准确的用电量预测结果。
图6为本发明实施例提供的图4中步骤S40的一种具体实施方式的流程图。如图6所示，在上述实施例的基础上，在另一实施例中，步骤S40具体包括：
S60：根据历史时间序列和外源性特征数据确定训练输入向量以及与训练输入向量对应的标签值。
其中，训练输入向量包括训练周期参数和特征参数。
在训练预测模型时，训练输入向量可以为三维向量的形式。如输入一个三维向量(1,30,12)，其中，参数30表示训练的天数，参数12包含了当天是第几个工作日、月份、是否为法定假日、期货，以及上一年的这天是第几个工作日、月份、是否为法定假日、期货、日用电量等特征。对应的标签值为当天的日用电量(1,30,1)，设置batch_size为16。序列到序列Seq2seq模型的编码器和解码器的深度可以设为30，长短期记忆网络LSTM的层数设为2层。
根据预先设置的搜索和转换规则，将历史时间序列和外源性特征数据转换为训练输入向量以及与训练输入向量对应的标签值。其中，根据对用户用电量影响最大的因素确定外源性特征，外源性特征可以由工作人员通过分析用户的历史用电量数据得到，也可以应用特定的分析算法分析得到。
S61：将训练输入向量输入预设的序列到序列seq2seq模型结构，得到训练值。
S62：按预设规则确定训练值与标签值的误差最小值。
在具体实施中，确定训练值与标签值的误差最小值，需要先确定训练值与标签值的误差的负梯度方向，以根据负梯度方向确定误差最小值。可以应用Adam梯度下降法计算训练值与标签值的负梯度方向，也可以应用SGD随机梯度下降法计算训练值与标签值的负梯度方向。
其中，Adam梯度下降法的算法原理如下：
Require：步长ε(建议默认为：0.001)
Require：矩估计的指数衰减速率，ρ1和ρ2在区间[0,1)内。(建议默认为：分别为0.9和0.999)
Require：用于数值稳定的小常数δ(建议默认为10@8)
Require：初始参数θ
初始化一阶和二阶矩变量s＝0，r＝0
初始化时间步t＝0
while没有达到停止准则do
从训练集中采包含m个样本{x(1)，…，x(m)}的小批量，对应目标为y(i)。
计算梯度：
Figure BDA0001967692010000081
t←t-1
更新有偏一阶矩估计：s←ρ1s+(1-ρ1)g
更新有偏二阶矩估计：r←ρ2r+(1-ρ2)g⊙g
修正一阶矩的偏差：
Figure BDA0001967692010000082
修正二阶矩的偏差：
Figure BDA0001967692010000083
计算更新：
Figure BDA0001967692010000084
(逐元素应用操作)
应用更新：θ←θ+Δθ
end while
S63：依据误差最小值调整所述序列到序列seq2seq模型结构的模型参数，得到预测模型。
本发明实施例提供了一种训练预测模型的具体实施方式，细化了基于深度学习的用电量预测方法的实现步骤，提高了在实际应用中的实用性和参考性。
图7(a)为本发明实施例提供的一种滞后数据点引入原理示意图；图7(b)为本发明实施例提供的一种引入滞后数据点后的预测原理示意图。
在上述实施例的基础上，在另一实施例中，当历史时间序列的长度大于阈值时，在执行步骤S61时，基于深度学习的用电量预测方法还包括：
应用固定权重的滑动窗口记忆机制将滞后数据点引入预设的序列到序列seq2seq模型结构。
长短期记忆网络LSTM对于相对较短的序列(100-300项以内)具有非常好的记忆效果，但是当想要训练更长的时间序列时，就无法引入同一个预测模型中。因此当历史时间序列的长度大于预设的阈值时，可以应用固定权重的滑动窗口记忆机制将滞后数据点(lagged data)引入预设的序列到序列seq2seq模型结构以加强神经元的记忆力，如在当前时间序列的输入增加对应当前时间前一年时间的用电数据，作为样本特征加入训练。
在具体实施中，应用固定权重的滑动窗口记忆机制将滞后数据点引入预设的序列到序列seq2seq模型结构，具体包括：
将滞后数据点的编码器输出值输入全连接层以降低维度，并将降低维度后的编码器输出值加入解码器的输入特征；
对预设的数据点与近邻数据点求均值，以根据均值减少噪声并补偿不均匀的间隔。
如图7(a)及图7(b)所示，如希望引入上一季度和上一年的数据作为输入数据，则将一年前和一个季度前这两个时间点的数据在编码器输出后，馈送至全连接层以降低维度，并将结果加入到解码器的输入特征中，这里的“特征”即为时间点特征，包括“上一年”、“上一季度”。固定权重的滑动窗口记忆机制是为了两个目的：一是减小处理高维输入数据的计算负担，通过结构化的选取输入的子集，降低数据维度；二是“去伪存真”，让任务处理系统更专注于找到输入数据中显著的与当前输出相关的有用信息，从而提高输出的质量。通过固定权重确定重要数据点(预设的数据点)，将重要数据点与近邻求均值以减少噪声和补偿不均匀的间隔。
本发明实施例提供的基于深度学习的用电量预测方法，通过固定权重的滑动窗口记忆机制将滞后数据点引入预测模型，从而可以对长度超出长短期记忆网络LSTM的记忆能力的时间序列进行学习，得到更为实用的预测模型。
在上述各实施例的基础上，在另一实施例中，为提高模型预测精度，在执行步骤S40训练预测模型时，具体包括：
应用多组初始化数据训练得到多个初始预测模型；其中，初始化数据组与初始预测模型一一对应；
在各初始预测模型中保存检查点；
依据检查点计算与检查点对应的初始预测模型的预测权值；
根据各预测权值对各初始预测模型进行模型融合，得到预测模型。
初始化数据即模型参数的初始值(seed值)。由于不同的初始值的基础上训练得到的预测模型具有不同的表现，可以应用多组不同的初始值训练出多组模型参数，并从每个初始预测模型中保存检查点，依据检查点计算与检查点对应的初始预测模型的预测权值，以根据各预测权值对各初始预测模型进行模型融合，得到预测模型。
本发明实施例提供的基于深度学习的用电量预测方法，先通过不同的初始化数据训练得到不同的初始化预测模型，再根据各初始预测模型中的检查点确定各初始预测模型的预测权值，根据该预测权值进行加权平均求得最终的模型参数，从而提高了预测模型的预测精度。
上文详述了基于深度学习的用电量预测方法对应的各个实施例，在此基础上，本发明还公开了与上述方法对应的基于深度学习的用电量预测装置。
图8为本发明实施例提供的一种基于深度学习的用电量预测装置的结构示意图。如图8所示，基于深度学习的用电量预测装置包括：
训练单元801，用于预先根据历史用电数据训练预测模型；
接收单元802，用于接收输入的电量预测查询时间和外源性特征参数；
计算单元803，用于将电量预测查询时间和外源性特征参数输入预测模型，输出用电量预测值；
其中，历史用电数据包括历史时间序列和历史时间序列的外源性特征数据，预测模型具体为包括长短期记忆网络LSTM嵌入块的序列到序列seq2seq模型。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
图9为本发明实施例提供的一种基于深度学习的用电量预测设备的结构示意图。如图9所示，该基于深度学习的用电量预测设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)910(例如，一个或一个以上处理器)和存储器920，一个或一个以上存储应用程序933或数据932的存储介质930(例如一个或一个以上海量存储设备)。其中，存储器920和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算装置中的一系列指令操作。更进一步地，处理器910可以设置为与存储介质930通信，在基于深度学习的用电量预测设备900上执行存储介质930中的一系列指令操作。
基于深度学习的用电量预测设备900还可以包括一个或一个以上电源940，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口960，和/或，一个或一个以上操作系统931，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述图4及图6所描述的基于深度学习的用电量预测方法中的步骤由基于深度学习的用电量预测装置基于该图9所示的结构实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于深度学习的用电量预测设备及计算机可读存储介质的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置、设备及计算机可读存储介质，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用装置，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本发明所提供的一种基于深度学习的用电量预测方法、装置及设备进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (7)

1.一种基于深度学习的用电量预测方法，其特征在于，包括：
预先根据历史用电数据训练预测模型；
接收输入的电量预测查询时间和外源性特征参数；
将所述电量预测查询时间和所述外源性特征参数输入所述预测模型，输出用电量预测值；
其中，所述历史用电数据包括历史时间序列和所述历史时间序列的外源性特征数据，所述预测模型具体为包括长短期记忆网络LSTM嵌入块的序列到序列seq2seq模型；
所述预先根据历史用电数据训练预测模型，具体包括：
根据所述历史时间序列和所述外源性特征数据确定训练输入向量以及与所述训练输入向量对应的标签值；其中，所述训练输入向量包括训练周期参数和特征参数；
将所述训练输入向量输入预设的序列到序列seq2seq模型结构，得到训练值；
按预设规则确定所述训练值与所述标签值的误差最小值；
依据所述误差最小值调整所述序列到序列seq2seq模型结构的模型参数，得到所述预测模型；
当所述历史时间序列的长度大于阈值时，在所述将所述训练输入向量输入预设的序列到序列seq2seq模型结构时，还包括：
应用固定权重的滑动窗口记忆机制将滞后数据点引入所述预设的序列到序列seq2seq模型结构；
所述应用固定权重的滑动窗口记忆机制将所述滞后数据点引入所述预设的序列到序列seq2seq模型结构，具体包括：
将所述滞后数据点的编码器输出值输入全连接层以降低维度，并将降低维度后的编码器输出值加入解码器的输入特征；
对预设的数据点与近邻数据点求均值，以根据所述均值减少噪声并补偿不均匀的间隔。
2.根据权利要求1所述的用电量预测方法，其特征在于，所述预测模型的编码器和解码器均为长短期记忆网络LSTM。
3.根据权利要求1所述的用电量预测方法，其特征在于，所述按预设规则确定所述训练值与所述标签值的误差最小值，具体包括：
利用Adam梯度下降法计算所述训练值与所述标签值的负梯度方向，以根据所述负梯度方向确定所述误差最小值。
4.根据权利要求1所述的用电量预测方法，其特征在于，所述按预设规则确定所述训练值与所述标签值的误差最小值，具体包括：
利用SGD随机梯度下降法计算所述训练值与所述标签值的负梯度方向，以根据所述负梯度方向确定所述误差最小值。
5.根据权利要求1至4任意一项所述的用电量预测方法，其特征在于，所述预先根据历史用电数据训练预测模型，具体包括：
应用多组初始化数据训练得到多个初始预测模型；其中，初始化数据组与所述初始预测模型一一对应；
在各所述初始预测模型中保存检查点；
依据所述检查点计算与所述检查点对应的初始预测模型的预测权值；
根据各所述预测权值对各所述初始预测模型进行模型融合，得到所述预测模型。
6.一种基于深度学习的用电量预测装置，其特征在于，包括：
训练单元，用于预先根据历史用电数据训练预测模型；
接收单元，用于接收输入的电量预测查询时间和外源性特征参数；
计算单元，用于将所述电量预测查询时间和所述外源性特征参数输入所述预测模型，输出用电量预测值；
其中，所述历史用电数据包括历史时间序列和所述历史时间序列的外源性特征数据，所述预测模型具体为包括长短期记忆网络LSTM嵌入块的序列到序列seq2seq模型；
所述训练单元具体用于：
根据所述历史时间序列和所述外源性特征数据确定训练输入向量以及与所述训练输入向量对应的标签值；其中，所述训练输入向量包括训练周期参数和特征参数；
将所述训练输入向量输入预设的序列到序列seq2seq模型结构，得到训练值；
按预设规则确定所述训练值与所述标签值的误差最小值；
依据所述误差最小值调整所述序列到序列seq2seq模型结构的模型参数，得到所述预测模型；
当所述历史时间序列的长度大于阈值时，在所述将所述训练输入向量输入预设的序列到序列seq2seq模型结构时，还包括：
应用固定权重的滑动窗口记忆机制将滞后数据点引入所述预设的序列到序列seq2seq模型结构；
所述应用固定权重的滑动窗口记忆机制将所述滞后数据点引入所述预设的序列到序列seq2seq模型结构，具体包括：
将所述滞后数据点的编码器输出值输入全连接层以降低维度，并将降低维度后的编码器输出值加入解码器的输入特征；
对预设的数据点与近邻数据点求均值，以根据所述均值减少噪声并补偿不均匀的间隔。
7.一种基于深度学习的用电量预测设备，其特征在于，包括：
存储器，用于存储指令，所述指令包括权利要求1至5任意一项所述基于深度学习的用电量预测方法的步骤；
处理器，用于执行所述指令。
CN201910109904.0A 2019-02-11 2019-02-11 一种基于深度学习的用电量预测方法、装置及设备 Active CN109685290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910109904.0A CN109685290B (zh) 2019-02-11 2019-02-11 一种基于深度学习的用电量预测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910109904.0A CN109685290B (zh) 2019-02-11 2019-02-11 一种基于深度学习的用电量预测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN109685290A CN109685290A (zh) 2019-04-26
CN109685290B true CN109685290B (zh) 2023-06-16

Family

ID=66195775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910109904.0A Active CN109685290B (zh) 2019-02-11 2019-02-11 一种基于深度学习的用电量预测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN109685290B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264251B (zh) * 2019-05-31 2021-08-10 杭州博钊科技有限公司 表征现金流的数据组织形式与基于多任务学习的预测方法
CN112529144B (zh) * 2019-09-17 2023-10-13 中国科学院分子细胞科学卓越创新中心 一种面向短期时间序列预测的预期性学习方法和系统
CN111178611B (zh) * 2019-12-23 2022-09-23 广西电网有限责任公司 一种日电量预测的方法
CN111626536A (zh) * 2019-12-26 2020-09-04 上海理工大学 一种基于数据驱动的居民用电能效评估方法
CN111539841A (zh) * 2019-12-31 2020-08-14 远景智能国际私人投资有限公司 电量预测方法、装置、设备及可读存储介质
CN111667377B (zh) * 2020-04-24 2021-03-09 南方电网能源发展研究院有限责任公司 一种全自动用电量预测方法及其系统
CN111797386A (zh) * 2020-06-28 2020-10-20 四川长虹电器股份有限公司 一种基于物联网用户行为可信的检测方法
CN111861032A (zh) * 2020-07-29 2020-10-30 广州海关技术中心 基于深度学习的大宗资源类矿产品放行风险预测方法
CN112116265A (zh) * 2020-09-25 2020-12-22 国网上海市电力公司 一种电力数据驱动的行业景气指数构建方法
CN113268403B (zh) * 2021-05-25 2023-10-31 中国联合网络通信集团有限公司 时间序列的分析预测方法、装置、设备及存储介质
CN114549095B (zh) * 2022-04-25 2022-08-09 江西师范大学 一种基于时间序列的滑动窗口式售电量预测方法
CN114743072B (zh) * 2022-05-24 2023-01-31 中国科学院计算机网络信息中心 一种短期时间序列预测模型的训练方法
CN115202202B (zh) * 2022-06-20 2024-09-20 山东大学 一种基于人工智能算法的用电设备控制方法及系统
CN116205382B (zh) * 2023-05-05 2023-08-22 南方电网科学研究院有限责任公司 用电量的预测方法、预测装置、电子装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886846A (zh) * 2017-04-26 2017-06-23 中南大学 一种基于长短期记忆循环神经网络的银行网点备付金预测方法
CN107590567A (zh) * 2017-09-13 2018-01-16 南京航空航天大学 一种基于信息熵聚类和注意力机制的循环神经网络短期负荷预测方法
CN108197751A (zh) * 2018-01-23 2018-06-22 国网山东省电力公司电力科学研究院 基于多层Bi-GRU的Seq2seq网络短期电力负荷预测方法
CN108764568A (zh) * 2018-05-28 2018-11-06 哈尔滨工业大学 一种基于lstm网络的数据预测模型调优方法及装置
CN109214592A (zh) * 2018-10-17 2019-01-15 北京工商大学 一种多模型融合的深度学习的空气质量预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11615310B2 (en) * 2016-05-20 2023-03-28 Deepmind Technologies Limited Training machine learning models by determining update rules using recurrent neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886846A (zh) * 2017-04-26 2017-06-23 中南大学 一种基于长短期记忆循环神经网络的银行网点备付金预测方法
CN107590567A (zh) * 2017-09-13 2018-01-16 南京航空航天大学 一种基于信息熵聚类和注意力机制的循环神经网络短期负荷预测方法
CN108197751A (zh) * 2018-01-23 2018-06-22 国网山东省电力公司电力科学研究院 基于多层Bi-GRU的Seq2seq网络短期电力负荷预测方法
CN108764568A (zh) * 2018-05-28 2018-11-06 哈尔滨工业大学 一种基于lstm网络的数据预测模型调优方法及装置
CN109214592A (zh) * 2018-10-17 2019-01-15 北京工商大学 一种多模型融合的深度学习的空气质量预测方法

Also Published As

Publication number Publication date
CN109685290A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109685290B (zh) 一种基于深度学习的用电量预测方法、装置及设备
Weng et al. Gold price forecasting research based on an improved online extreme learning machine algorithm
Hsu et al. Forecasting the turning time of stock market based on Markov–Fourier grey model
Pan et al. A comparison of neural network backpropagation algorithms for electricity load forecasting
Tax Human activity prediction in smart home environments with LSTM neural networks
CN111553543B (zh) 基于TPA-Seq2Seq的电力负荷预测方法及相关组件
CN109871977A (zh) 基于离散小波变换和优化最小支持向量机的负荷预测方法
CN112766078A (zh) 基于emd-svr-mlr与注意力机制的gru-nn的电力负荷层次预测方法
Di Persio et al. Multitask machine learning for financial forecasting
CN114694379B (zh) 一种基于自适应动态图卷积的交通流预测方法及系统
CN112508286A (zh) 一种基于Kmeans-BiLSTM-DMD模型的短期负荷预测方法
CN105184398A (zh) 一种电力最大负荷小样本预测方法
CN111277710A (zh) 话务量预测方法、系统、计算机设备及存储介质
US20210342691A1 (en) System and method for neural time series preprocessing
CN116562454A (zh) 一种应用于bim的长短时注意力机制网络的造价预测方法
Wu et al. A forecasting model based support vector machine and particle swarm optimization
CN105894138A (zh) 一种制造业发货量的最优加权组合预测方法
CN117094431A (zh) 一种多尺度熵门控的DWTformer气象数据时序预测方法及设备
Wang et al. Short-term electricity sales forecasting model based on wavelet decomposition and LSTM
Taveeapiradeecharoen et al. A large dimensional var model with time-varying parameters for daily forex forecasting
CN116206337A (zh) 基于贝叶斯参数更新及权重记忆的正则化持续学习方法
Yahya et al. A genetic algorithm-based Grey model combined with Fourier series for forecasting tourism arrivals in Langkawi Island Malaysia
Doudkin et al. Ensembles of neural network for telemetry multivariate time series forecasting
CN114239934A (zh) 一种基于生成式对抗网络的电网负荷序列预测方法及系统
Salami et al. Shared subscribe hyper simulation optimization (SUBHSO) algorithm for clustering big data–using big databases of Iran electricity market

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant