CN114254828B - 一种基于混合卷积特征提取器和gru的电力负荷预测方法 - Google Patents
一种基于混合卷积特征提取器和gru的电力负荷预测方法 Download PDFInfo
- Publication number
- CN114254828B CN114254828B CN202111575099.4A CN202111575099A CN114254828B CN 114254828 B CN114254828 B CN 114254828B CN 202111575099 A CN202111575099 A CN 202111575099A CN 114254828 B CN114254828 B CN 114254828B
- Authority
- CN
- China
- Prior art keywords
- data
- vector
- feature extractor
- gru
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013277 forecasting method Methods 0.000 title claims description 9
- 239000013598 vector Substances 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims abstract description 36
- 230000004913 activation Effects 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000011176 pooling Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 5
- 230000000717 retained effect Effects 0.000 claims description 4
- 229940050561 matrix product Drugs 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 9
- 238000007418 data mining Methods 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 48
- 238000010586 diagram Methods 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 3
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for AC mains or AC distribution networks
- H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Game Theory and Decision Science (AREA)
- Power Engineering (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于混合卷积特征提取器和GRU的电力负荷预测方法,通过对所收集的数据进行归一化处理,再将归一化处理得到的数据带入到混合卷积特征提取器,混合卷积特征提取器中的卷积块对归一化数据进行一维卷积层、最大池化层以及RELU激活函数处理后得到的输出数据再进行一维向量的转化,再带入到MLP神经网络得到非线性特征。将非线性特征带入到GRU模型进行迭代学习,由全连接层输出预测结果。本发明通过结合卷积特征提取和GRU模型,利用混合卷积特征提取器在数据挖掘领域的优势,提取非线性数据的关系。使用GRU模型可以充分考虑负荷特征的时序特性,具有良好地时序性数据拟合回归能力,有较高的预测效率,也能更精准的预测未来电力负荷预测。
Description
技术领域
本发明申请涉及电力技术领域,尤其涉及一种基于混合卷积特征提取器和GRU的电力负荷预测方法。
背景技术
电力负荷预测是以电力负荷为对象进行一系列预测工作,能够对电力系统中的规划、用电以及调度等部门起到关键性的作用,是电力市场能量管理系统的重要组成部分。对于现有的电力生产情况,对电力负荷预测的准确性和实时性的要求越来越高。但是很多地区在负荷种类结构以及变化因素上的统计分析工作不够深入系统,导致在需要历史数据进行对照时无法展开工作,对于进行负荷特性和相关变化规律的总结工作也十分困难。
电力负荷的变化受所处地区的天气属性、地理环境、社会条件等因素影响,表现出偶然性和周期性的特点,所呈现的波动幅度难以控制,给电力负荷的预测工作带来很大的难度。
目前,国内外负荷预测的方法主要分为基于统计法的电力负荷预测法和人工智能方法。基于统计法的电力负荷预测有时间序列法分为回归分析法、多元线性回归法、傅里叶展开法等,根据一段时间内的负荷数据序列对未来负荷的变化趋势进行预测,具有计算速度快、人为干预性低的优点,然而上述方法对时间序列的平稳性要求较高,在处理非线性负荷数据时候拟合度较差,预测精读不高;人工智能方法具有良好的非线性数据拟合能力及参数学习能力,是目前广泛应用的负荷预测方法,而单一的神经网络方法当有过多的数据、隐含层数和隐含节点很可能导致网络训练的过拟合、梯度消失和爆炸等问题,因此表现出了预测精度不够高等缺点。
发明内容
为了解决现有电力负荷预测方法的不足,本发明提出了一种基于混合卷积特征提取器和GRU的电力负荷预测方法,构建了在包含多样化因素的特征集中,利用混合卷积特征提取器在数据挖掘领域的优势,提取非线性数据的关系。使用GRU循环网络模型可以充分考虑负荷特征的时序特性,具有良好地时序性数据拟合回归能力,有较高的预测效率,也能更精准的预测未来电力负荷预测。
一种基于混合卷积特征提取器和GRU的电力负荷预测方法,包括以下步骤:
收集被预测城市天气属性、历史负荷数据、经济数据,将以上数据以同一时间序列的不同特征进行分类,得到时间序列数据;
对时间序列数据进行归一化处理得到归一化处理数据;
把所述归一化处理数据输入混合卷积特征提取器中,提取非线性特征;
采用GRU模型对混合卷积特征提取器得到的非线性特征进行迭代学习,由全连接层输出预测的负荷值。
在一些可行的实现方式中,收集被预测城市的历史数据后,所述方法还包括:对天气属性、历史负荷数据、经济数据进行预处理,去除错误数据和冗余数据。
在一些可行的实现方式中,所述归一化处理如下所示:
式中:w′为经过归一化处理后的新特征,wbefore表示经过归一化处理前的旧特征,wmax、wmin分别为所选数据所在列的最大值和最小值。
在一些可行的实现方式中,所述提取非线性特征过程为:给定一个归一化处理数据的输入向量xi其中包含i个变量的可观测变量w,用一个提取方程f来生成非线性特征向量ui:
ui=f(xi;θf)
式中:θf在提取方程f中是一个可学习参数的集合。
在一些可行的实现方式中,所述混合卷积特征提取器包括n个卷积块,所述卷积块包括:一个一维卷积层、一个最大池化层和一个RELU激活函数。
进一步的,提取非线性特征还包括以下步骤:
给定一个归一化处理数据的输入向量xi输入到混合卷积特征提取器的卷积块中;
经过所述一维卷积层对所述输入向量xi中的特征进一步提取,得到主要特征;
所述最大池化层对所述输入向量xi进行处理,增加输入向量xi的感受野,减少输入向量xi计算量;
RELU激活函数保留输入向量xi中特征大于0的值,即保留特征明显的值,将特征小于0的值输出为0并舍掉;
以上四个步骤重复n次得到具有主要特征的输出向量xi′;
将所述输出向量xi′进行Flatten处理,得到一维特征向量;
将所述输入向量xi和所述一维特征向量输入到MLP神经网络中进行m次计算,得到非线性特征向量ui。
更进一步的,所述MLP神经网络定义如下:
fmlp(xi)=W(2)RELU(W(1)xi+b(1))+b(2)
式中,W(l)和b(l)是第l层的可学习参数,RELU是激活函数;
其中表示一系列n个卷积块,||表示两个向量的串联,fmlp代表MLP模型方程。
在一些可行的实现方式中,所述GRU模型包括重置门和更新门;更新门用于检查较早的单元内存以保持当前时间步的活动状态,重置门用于将下一个单元格的输入序列与前面单元格的内存组合在一起,GRU模型的数学表方程如下:
ft=σ(Wx·[ht-1,xt]+bz)
rt=σ(Wr·[ht-1,xt]+br)
yt=σ(Wo·ht)
其中,xt、ht-1、ht、rt、zt、yt分别是经过混合卷积特征提取器后的向量、上一时刻的状态记忆变量、当前时刻的状态记忆变量、更新门的状态、重置门的状态、当前候选集的状态、当前时刻的输出向量;Wr、Wz、Wo分别是更新门、重置门、候选集、输出向量及xt及ht-1构成的连接矩阵相乘的权重参数;I代表单位矩阵;[]表示向量连接;·表示矩阵点乘;×表示矩阵乘积;σ表示sigmoid激活函数;φ表示tanh激活函数。σ与φ的数学描述如下所示:
σ表示sigmoid激活函数;φ表示tanh激活函数。
在一些可行的实现方式中,,GRU模型对混合卷积特征提取器得到的非线性特征进行迭代学习,需要经过a次计算后得到最终的电力预测结果,并由全连接层输出。
由上述技术方案可知,本发明提供了一种基于混合卷积特征提取器和GRU的电力负荷预测方法,通过对所收集的数据进行归一化处理,再将归一化处理得到的数据带入到混合卷积特征提取器,混合卷积特征提取器中的卷积块对归一化数据进行一维卷积层、最大池化层以及RELU激活函数处理后得到的输出数据再进行一维向量的转化,再带入到MLP神经网络得到非线性特征。将非线性特征带入到GRU模型进行迭代学习,由全连接层输出预测结果。本发明通过结合卷积特征提取和GRU模型,通过多次计算,提取出最重要的特征,再将带有主要特征的数据经过GRU模型处理,获取到特征与特征之间的关系,可以有效减少预测过程所需要的时间,提高预测结果的准确性。
附图说明
图1为一种基于混合卷积特征提取器和GRU的电力负荷预测方法流程图;
图2为一种基于混合卷积特征提取器和GRU的电力负荷预测方法的一种可行的实施例示意图;
图3为一种可行的实施例下的混合卷积特征提取器结构示意图;
图4为门控单元神经网络的结构示意图。
具体实施方式
下面将详细地对实施例进行说明,其示例表示在附图中。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
为了解决现有技术平稳性要求较高,在处理非线性负荷数据时候拟合度较差,预测精度不够高的问题。本申请提供一种基于混合卷积特征提取器和GRU的电力负荷预测方法,通过对所收集的数据进行归一化处理,再将归一化处理得到的数据带入到混合卷积特征提取器,混合卷积特征提取器中的卷积块对归一化数据进行一维卷积层、最大池化层以及RELU激活函数三层处理后得到的输出数据再进行一维向量的转化,再带入到MLP神经网络得到非线性变量。将得到的非线性变量带入到GRU模型进行迭代学习,由全连接层输出预测结果。利用混合卷积特征提取器在数据挖掘领域的优势,提取非线性数据的关系。使用GRU循环网络模型可以充分考虑负荷特征的时序特性,具有良好地时序性数据拟合回归能力,有较高的预测效率,也能更精准的预测未来电力负荷预测。
参见图1,为一种基于混合卷积特征提取器和GRU的电力负荷预测方法流程图。
如图1所示,具体步骤包括;
S1:收集被预测城市天气属性、历史负荷数据、经济数据,将以上数据以同一时间序列的不同特征进行分类,得到时间序列数据;
首先,天气属性对电力负荷预测的影响是极大的,也是最不稳定的。由于天气一直在变化,导致电力负荷的波动不稳定,包括温度、湿度的天气因素都会直接影响电力负荷的波动。例如强降雨天气、雷雨天气、强降雪天气、干旱天气都导致当地的电力负荷曲线突然变化,很多电力负荷预测模型都引入了包括气象预报信息,包括降雨量、空气温度、湿度等,所以天气属性对电力负荷预测影响尤为重要。
历史负荷数据对于电力负荷的预测也是非常关键的,在建立一个预测模型的过程中需要大量的历史数据作为支撑,同时要多方面调查收集材料,例如居民电力负荷数据、企业内部负荷数据等。在确定历史负荷数据前,要对已选择的历史负荷数据进行筛选,挑选出最准确、最近更新后的数据。如果资料收集或者选择质量差,会降低预测结果的准确性。
不同经济产业对于电力负荷的预测也有很大影响。目前我国经济结构,第一产业经济整体呈下降趋势;第二产业经济整体呈上升趋势,并保持稳定;第三产业作为新兴产业,正带动第三产业经济快速发展。以上经济结构的变化趋势也在一定程度上影响电力负荷的变化趋势。
进一步的,在收集、确定所需数据后,需要将得到的天气属性、历史负荷数据、经济数据进行预处理,主要用数据清理的方法,将天气属性、历史负荷数据、经济数据中遗漏的数据进行查找补充,对异常的数据进行修改或删除,对冗余数据进行消除,再将剩下的数据进行归纳整理,同一时间序列的不同特征进行排序和保存,得到时间序列数据。通过预处理之后得到的时间序列数据,因为除去了错误异常的数据和冗余数据,在一定程度上能够提高时间序列数据的参考性,减小预测结果的误差,提高预测精度。
S2:对时间序列数据进行归一化处理得到归一化处理数据;归一化处理可以将所有特征都统一到一个相同范围内的区间,使得不同特征之间具有可比性,消除在计算时数据特征之间的量纲造成的不良影响。这种不良影响的存在会引起训练时间增大,同时也可能导致无法收敛,因此,当存在不同特征时,在进行训练之前需要对预处理数据进行归一化处理。
在一些可行的实现方式中,所述归一化处理如下所示:
式中:w′为经过归一化处理后的新特征,wbefore表示经过归一化处理前的旧特征,wmax、wmin分别为所选数据所在列的最大值和最小值。
上式归一化处理方法为min-max标准化,经过min-max标准化处理后,将不同特征的时间序列数据限制在[0,1]区间内,让不同维度之间的特征,例如天气属性、历史负荷数据,在[0,1]区间内有可比性,提高特征分类的准确性,使得接下来数据处理的过程更方便。
S3:把所述归一化处理数据输入混合卷积特征提取器中,提取非线性特征;
在一些可行的实现方式中,所述提取非线性特征过程为:给定一个归一化处理数据的输入向量xi其中包含i个变量的可观测变量w,用一个提取方程f来生成非线性特征向量ui:
ui=f(xi;θf)
式中:θf在提取方程f中是一个可学习参数的集合。
如图2,为一种基于混合卷积特征提取器和GRU的电力负荷预测方法的一种可行的实施例示意图。
由图可知,混合卷积特征提取器包括n个卷积块,其中n为1开始的自然数。所述卷积块包括:一个一维卷积层、一个最大池化层和一个RELU激活函数。所述一维卷积层的主要作用是对输入向量xi中的特征进一步提取,得到主要特征。所述最大池化层对所述输入向量xi进行处理,增加输入向量xi的感受野,减少输入向量xi计算量。所述RELU激活函数保留输入向量xi中特征大于0的值,即保留特征明显的值,将特征小于0的值输出为0并舍掉。
进一步的,提取非线性特征还包括以下步骤:
S31:给定一个归一化处理数据的输入向量xi输入到混合卷积特征提取器的卷积块中;
S32:经过所述一维卷积层对所述输入向量xi中的特征进一步提取,得到主要特征;每层卷积层都是由若干卷积单元组成,卷积运算的目的就是提取输入的不同特征,第一层的卷积层提取的特征为低级特征,如果想要提取更复杂的特征需要在低级特征中进行迭代提取。经过一维卷积处理的后的输入向量xi能减少特征位置对分类带来的影响,使不同的特征表达的更明显。
S33:所述最大池化层对所述输入向量xi进行处理,增加输入向量xi的感受野,减少输入向量xi计算量;在神经网络中,感受野定义为卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。在卷积神经网络中,越深层的神经元映射的输入区域越大。感受野为一个相对的概念,对于第x层特征图来说,第x+1层的感受野的区域范围是不同的,对比其中一个神经元,第x+1层的感受野要大于第x层的感受野。在经过最大池化层处理后,输入向量xi的感受野增大,在卷积核不变的情况下,在下一层可以用更少的数据表达更多的特征,减少输入向量xi在卷积块中的计算量。
S34:RELU激活函数保留输入向量xi中特征大于0的值,即保留特征明显的值,将特征小于0的值输出为0并舍掉;通过RELU函数处理后,保留输入向量xi中特征相关的有效数据,舍掉特征小于0或趋近于0的无效值,减少了数据之间相互依存的关系,缓解了过拟合问题的发生。进一步的,相对sigmoid激活函数,tanh激活函数,采用RELU激活函数的计算量小,节省整个过程的计算时间。
S35:以上四个步骤重复n次得到具有主要特征的输出向量xi′;具体次数取决于混合卷积特征提取器存在卷积块的数量。输入向量xi每经过一次卷积块的计算,所保留的特征就会进行一次更新,再将更新特征后的输入向量xi带入到下一个卷积块,直至经过最后一个卷积块的计算后,得到输出向量xi′。
S36:将所述输出向量xi′进行Flatten处理,得到一维特征向量;经过卷积块计算得到的输出向量xi′是一个多维向量,通过Flatten处理将得到的输出向量xi′一维化。因为传统的全连接层接收的输入数据是一维向量,经过F1atten处理得到的一维化向量便于全连接层接收和输出。
S37:将所述输入向量xi和所述一维特征向量输入到MLP神经网络中经过m次计算,得到非线性特征向量ui。MLP神经网络具有高度的并行处理能力,良好的容错性以及捕捉非线性的作用。
参见图3,为一种可行的实施例下的混合卷积特征提取器结构示意图。由图可知本实施例里混合卷积特征提取器中包含三个卷积块,经过两次MLP神经网络的计算后得到的非线性特征。在本实施例中,经过两次MLP神经网络计算的目的是减小误差,当输出误差低于预测标准时输出计算结果。
更进一步的,所述MLP神经网络定义如下:
fmlp(xi)=W(2)RELU(W(1)xi+b(1))+b(2)
式中,W(1)和b(1)是第l层的可学习参数,RELU是激活函数;
其中表示一系列n个卷积块,||表示两个向量的串联,fmlp代表MLP模型方程。
一般来说,MLP神经网络包含输入层、隐藏层、输出层。所述输入层从外部提供信息,输入层不进行计算,仅发挥向隐藏层传递信息的作用。隐藏层将输入层提供的数据进行计算,并将信息从输入层传递到输出层,由输出层向外传递信息。MLP神经网络中存在起非线性映射的作用RELU激活函数,其可将神经元限制在[0,1]区间内。相比于单层感知机,MLP能够学习非线性函数,能够捕捉非线性关系。
S4:采用GRU对混合卷积特征提取器得到的非线性特征进行迭代学习,由全连接层输出预测的负荷值。GRU是LSTM网络的一种效果很好的变体,在LSTM中引入了三个门函数:输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而GRU包括重置门和更新门,相对LSTM来说结构更加简单。更新门用于检查较早的单元内存以保持当前时间步的活动状态,重置门用于将下一个单元格的输入序列与前面单元格的内存组合在一起。
参见图4,为门控单元神经网络的结构示意图。图中的rt代表更新门,zt代表重置门,代表候选集。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度,更新门的值越大说明前一时刻的状态信息带入越多。重置门控制前一状态被写入到当前的候选集上的信息量,重置门越小,前一状态的信息被写入的越少。
在一些可行的实现方式中,GRU模型的数学表方程如下:
ft=σ(Wx·[ht-1,xt]+bz)
rt=σ(Wr·[ht-1,xt]+br)
yt=σ(Wo·ht)
其中,xt、ht-1、ht、rt、zt、yt分别是经过混合卷积特征提取器后的向量、上一时刻的状态记忆变量、当前时刻的状态记忆变量、更新门的状态、重置门的状态、当前候选集的状态、当前时刻的输出向量;Wr、Wz、Wo分别是更新门、重置门、候选集、当前时刻的输出向量及xt及ht-1构成的连接矩阵相乘的权重参数;I代表单位矩阵;[]表示向量连接;·表示矩阵点乘;×表示矩阵乘积;σ表示sigmoid激活函数;φ表示tanh激活函数。σ与φ的数学描述如下所示:
σ表示sigmoid激活函数;φ表示tanh激活函数。
GRU模型的主要原理通过更新门函数和重置门函数将重要特征保留下来,获取长期依赖关系。相对LSTM来说,GRU少了一个门函数,所以GRU在参数的数量上要小于LSTM,所以GUR的计算过程要更简单,训练速度更快。
在一些可行的实现方式中,经过混合卷积特征提取器后的向量输入到GRU模型中经过训练学习将重要特征保留下来,在将计算后的参数更新后进行a次的迭代计算,得到最终的电力负荷预测结果,由全连接层进行输出。
在得到预测结果之后,还需要对预测结果进行评估,在本实施例中,将均方根误差(RMSE)以及平均绝对百分比误差(MAPE)作为评价指标。具体如下:
其中yi代表实际值,代表预测值,p代表预测样本数。RMSE和MAPE值越小,表示模型越接近真实,模型的精度越高,所得到的的预测结果与实际情况更为吻合。
通过以上技术方案得知,本发明提供了一种基于混合卷积特征提取器和GRU的电力负荷预测方法,通过对所收集的数据进行归一化处理,再将归一化处理得到的数据带入到混合卷积特征提取器,混合卷积特征提取器中的卷积块对归一化数据进行一维卷积层、最大池化层以及RELU激活函数处理后得到的输出数据再进行一维向量的转化,再带入到MLP神经网络得到非线性特征。将非线性特征带入到GRU模型进行迭代学习,由全连接层输出预测结果。本发明通过结合卷积特征提取和GRU模型,利用混合卷积特征提取器在数据挖掘领域的优势,提取非线性数据的关系。使用GRU模型可以充分考虑负荷特征的时序特性,具有良好地时序性数据拟合回归能力,有较高的预测效率,也能更精准的预测未来电力负荷预测。
本申请提供的实施例之间的相似部分相互参见即可,以上提供的具体实施方式只是本申请总的构思下的几个示例,并不构成本申请保护范围的限定。对于本领域的技术人员而言,在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (3)
1.一种基于混合卷积特征提取器和GRU的电力负荷预测方法,其特征在于,包括以下步骤:
收集被预测城市天气属性、历史负荷数据、经济数据,将以上数据以同一时间序列的不同特征进行分类,得到时间序列数据;
对时间序列数据进行归一化处理得到归一化处理数据;
把归一化处理数据输入混合卷积特征提取器中,提取非线性特征;
采用GRU模型对混合卷积特征提取器得到的非线性特征进行迭代学习,由全连接层输出预测的负荷值;
所述提取非线性特征过程为:给定一个归一化处理数据的输入向量xi其中包含i个变量的可观测变量w,用一个提取方程f来生成非线性特征向量ui:
ui=f(xi;θf)
式中:θf在提取方程f中是一个可学习参数的集合;
所述混合卷积特征提取器包括n个卷积块,所述卷积块包括:一个一维卷积层、一个最大池化层和一个RELU激活函数;
提取非线性特征还包括以下步骤:
给定一个归一化处理数据的输入向量xi输入到混合卷积特征提取器的卷积块中;
经过所述一维卷积层对所述输入向量xi中的特征进一步提取,得到主要特征;
所述最大池化层对所述输入向量xi进行处理,增加输入向量xi的感受野,减少输入向量xi计算量;
RELU激活函数保留输入向量xi中特征大于0的值,即保留特征明显的值,将特征小于0的值输出为0并舍掉;
以上四个步骤重复n次得到具有主要特征的输出向量xi';
将所述输出向量xi'进行Flatten处理,得到一维特征向量;
将所述输入向量xi和所述一维特征向量输入MLP神经网络中进行m次计算,得到非线性特征向量ui;
所述MLP神经网络定义如下:
fmlp(xi)=W(2)RELU(W(1)xi+b(1))+b(2)
式中,W(l)和b(l)是第l层的可学习参数,RELU是激活函数;
其中表示一系列n个卷积块,||表示两个向量的串联,fmlp代表MLP模型方程;
所述GRU模型包括重置门和更新门;更新门用于检查较早的单元内存以保持当前时间步的活动状态,重置门用于将下一个单元格的输入序列与前面单元格的内存组合在一起,GRU模型的数学表方程如下:
ft=σ(Wx·[ht-1,xt]+bz)
rt=σ(Wr·[ht-1,xt]+br)
yt=σ(Wo·ht)
其中,xt、ht-1、ht、rt、zt、yt分别是经过混合卷积特征提取器后的向量、上一时刻的状态记忆变量、当前时刻的状态记忆变量、更新门的状态、重置门的状态、当前候选集的状态、当前时刻的输出向量;Wr、Wz、Wo分别是更新门、重置门、候选集、输出向量及xt及ht-1构成的连接矩阵相乘的权重参数;I代表单位矩阵;[]表示向量连接;·表示矩阵点乘;×表示矩阵乘积;σ表示sigmoid激活函数;φ表示tanh激活函数;σ与φ的数学描述如下所示:
σ表示sigmoid激活函数;φ表示tanh激活函数;
GRU模型对混合卷积特征提取器得到的非线性特征进行迭代学习,需要经过a次计算后得到最终的电力预测结果,并由全连接层输出。
2.根据权利要求1所述一种基于混合卷积特征提取器和GRU的电力负荷预测方法,其特征在于,收集被预测城市的历史数据后,所述方法还包括:对天气属性数据、历史负荷数据、经济数据进行预处理,去除错误数据和冗余数据。
3.根据权利要求2所述一种基于混合卷积特征提取器和GRU的电力负荷预测方法,其特征在于,所述归一化处理如下所示:
式中:w’为经过归一化处理后的新特征,wbefore表示经过归一化处理前的旧特征,wmax、wmin分别为所选数据所在列的最大值和最小值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111575099.4A CN114254828B (zh) | 2021-12-21 | 2021-12-21 | 一种基于混合卷积特征提取器和gru的电力负荷预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111575099.4A CN114254828B (zh) | 2021-12-21 | 2021-12-21 | 一种基于混合卷积特征提取器和gru的电力负荷预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114254828A CN114254828A (zh) | 2022-03-29 |
CN114254828B true CN114254828B (zh) | 2024-06-28 |
Family
ID=80796492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111575099.4A Active CN114254828B (zh) | 2021-12-21 | 2021-12-21 | 一种基于混合卷积特征提取器和gru的电力负荷预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114254828B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115238999A (zh) * | 2022-07-28 | 2022-10-25 | 南京邮电大学 | 基于混合神经网络模型的短期负荷预测方法 |
CN116780658B (zh) * | 2023-08-17 | 2023-11-10 | 国网浙江省电力有限公司金华供电公司 | 考虑源-荷双侧不确定性的多能互补优化调度方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107578124B (zh) * | 2017-08-28 | 2024-05-17 | 国网山东省电力公司电力科学研究院 | 基于多层改进gru神经网络的短期电力负荷预测方法 |
CN109063911B (zh) * | 2018-08-03 | 2021-07-23 | 天津相和电气科技有限公司 | 一种基于门控循环单元网络的负荷聚合体分组预测方法 |
CN109711620B (zh) * | 2018-12-26 | 2021-07-06 | 浙江大学 | 一种基于gru神经网络和迁移学习的短期电力负荷预测方法 |
CN109886498B (zh) * | 2019-03-01 | 2022-03-22 | 北京邮电大学 | 一种基于特征选择的emd-gru短期电力负荷预测方法 |
CN111967688B (zh) * | 2020-09-02 | 2024-02-23 | 沈阳工程学院 | 一种基于卡尔曼滤波器与卷积神经网络的电力负荷预测方法 |
CN112232577B (zh) * | 2020-10-23 | 2024-04-16 | 浙江八达电子仪表有限公司 | 用于多芯智能表的电力负荷概率预测系统与方法 |
-
2021
- 2021-12-21 CN CN202111575099.4A patent/CN114254828B/zh active Active
Non-Patent Citations (2)
Title |
---|
Medium and Long Term Power Load Forecasting Based on Stacked-GRU;Zheng Yang等;Strategic Planning for Energy and the Environment;20220922;第41卷(第4期);363–378 * |
融合云南社会经济发展态势的电网长期负荷预测模型研究;崔婧;中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑;20230315(第3期);C042-888 * |
Also Published As
Publication number | Publication date |
---|---|
CN114254828A (zh) | 2022-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113962364B (zh) | 一种基于深度学习的多因素用电负荷预测方法 | |
CN108280551A (zh) | 一种利用长短期记忆网络的光伏发电功率预测方法 | |
CN111915092B (zh) | 基于长短时记忆神经网络的超短期风电功率预测方法 | |
CN113449919B (zh) | 一种基于特征和趋势感知的用电量预测方法及系统 | |
CN111008726B (zh) | 一种电力负荷预测中类图片转换方法 | |
CN114254828B (zh) | 一种基于混合卷积特征提取器和gru的电力负荷预测方法 | |
CN111814956A (zh) | 一种基于多维度二次特征提取的多任务学习的空气质量预测方法 | |
CN117034780B (zh) | 一种基于深度学习的多尺度次季节降水量预测方法 | |
CN115600498A (zh) | 一种基于人工神经网络的风速预报订正方法 | |
CN114819395A (zh) | 一种基于长短期记忆神经网络和支持向量回归组合模型的行业中长期负荷预测方法 | |
CN118035777A (zh) | 基于时空图数据的空气污染物浓度预测方法及装置 | |
CN118211494B (zh) | 一种基于相关矩阵的风速预测混合模型构建方法及系统 | |
CN117578441A (zh) | 基于神经网络提高电网负荷预测精度的方法 | |
CN115358347A (zh) | 一种针对不同子系统下智能电表的剩余寿命预测方法 | |
CN116187835A (zh) | 一种基于数据驱动的台区理论线损区间估算方法及系统 | |
CN112183878B (zh) | 一种结合知识图谱与神经网络的电力负荷预测方法 | |
CN117458440A (zh) | 基于关联特征融合的生成式电力负荷预测方法及系统 | |
CN114581141B (zh) | 基于特征选择与lssvr的短期负荷预测方法 | |
Li et al. | Research on sand-dust storm forecasting based on deep neural network with stacking ensemble learning | |
CN118365016A (zh) | 一种融合Attention与CNN-GRU的换电站负荷预测方法及系统 | |
CN117878883A (zh) | 一种基于光伏发电功率预测方法及系统 | |
CN117275238A (zh) | 一种动态图结构注意力机制短时交通流预测方法 | |
CN116960962A (zh) | 一种跨区域数据融合的中长期区域负荷预测方法 | |
CN117407704A (zh) | 可再生能源发电功率预测方法及其计算机设备、储存介质 | |
CN116861256A (zh) | 一种固废焚烧过程的炉温预测方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |