[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112990582A - 一种智能电网调度方法及系统 - Google Patents

一种智能电网调度方法及系统 Download PDF

Info

Publication number
CN112990582A
CN112990582A CN202110286588.1A CN202110286588A CN112990582A CN 112990582 A CN112990582 A CN 112990582A CN 202110286588 A CN202110286588 A CN 202110286588A CN 112990582 A CN112990582 A CN 112990582A
Authority
CN
China
Prior art keywords
power grid
scheduling
model
data
smart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110286588.1A
Other languages
English (en)
Inventor
崔超
赵云
林伟斌
肖勇
王浩林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China South Power Grid International Co ltd
China Southern Power Grid Co Ltd
Original Assignee
China South Power Grid International Co ltd
China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China South Power Grid International Co ltd, China Southern Power Grid Co Ltd filed Critical China South Power Grid International Co ltd
Priority to CN202110286588.1A priority Critical patent/CN112990582A/zh
Publication of CN112990582A publication Critical patent/CN112990582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种智能电网调度方法及系统，包括：获取当前电网数据；将所述当前电网数据输入预先训练好的智能电网调度模型；基于所述智能电网调度模型的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序；基于所述调度顺序执行所述至少一个任务。上述实现方案通过强化学习算法得出当前情况下各个任务的调度顺序；将机器学习技术应用到电网调度上，不仅能使资源分配更加合理，而且节省了人力资源，减少了人为误操作的几率，使得电网调度工作更加安全可靠。

Description

一种智能电网调度方法及系统
技术领域
本发明涉及人工智能技术领域，更具体的说，是涉及一种智能电网调度方法及系统。
背景技术
近年来，机器学习是最热门的研究领域之一，而机器学习强大的学习能力使其几乎能应用到所有的场景中。强化学习(Reinforcement Learning,RL)，又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。
在电网管理场景中，调度系统通过对整个电力系统在电力生产、电力传输、电力运行以及电力分配等方面的指挥监管，保证了整个电力系统的稳定运转，是整个电力系统的核心。随着各种控制技术的发展，以及各种智能控制技术的广泛应用，建设一个电网设备智能化、数字化，具有信息化、自动化、互动化等特征的智能电网，使电网资源分配更合理、运行效率更高，成为电网技术发展的必然趋势。
当前，电网调度系统中的许多工作环节都需要人工参与，如人工触发某项工作的开展，人工进行某种处理结果的确认、人工进行相应流程的流转控制等等，该实现需要投入大量人力资源，而且过多的人工参与大大提升了人为误操作的几率。因此，如何将机器学习算法应用于电网调度，以得到更优的调度管理，成为领域内技术人员亟待解决的问题。
发明内容
有鉴于此，本发明提供如下技术方案：
一种智能电网调度方法，包括：
获取当前电网数据；
将所述当前电网数据输入预先训练好的智能电网调度模型，所述智能电网调度模型基于强化学习算法实现；
基于所述智能电网调度模型的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序；
基于所述调度顺序执行所述至少一个任务。
可选的，所述智能电网调度模型利用强化学习算法的资格迹机制更新电网系统的状态。
可选的，所述智能电网调度模型的训练过程包括：
获取训练数据，所述训练数据包括电网数据；
将所述训练数据输入深度卷积神经网络；
基于所述深度卷积神经网络获取数据特征和学习时间序列信息；
基于电网储能系统充放电动作的时间序列，利用强化学习算法处理所述学习时间序列信息。
可选的，所述深度卷积神经网络的处理过程包括：
所述深度卷积神经网络通过卷积层输入所述训练数据，利用卷积核滤波器获取所述训练数据的局部特征，通过池化采样操作压缩所述训练数据的基础特征；
通过全连接层组合和抽象所述基础特征建立高阶特征。
可选的，还包括：
通过非线性处理措施和所述深度卷积神经网络的输出层，确定离散化的动作值。
可选的，在所述将所述当前电网数据输入预先训练好的智能电网调度模型前，还包括：
将电网系统需要执行的多种功能分别对应的抽象为多种任务，以便于后续以任务为单位表征任务的调度顺序。
可选的，还包括：
利用建模软件构建电网系统的电网模型；
则所述基于所述智能电网调度模型的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序，包括：
基于所述智能电网调度模型结合所述电网模型输出的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序。
一种智能电网调度装置，包括：
数据获取模块，用于获取当前电网数据；
数据输入模块，用于将所述当前电网数据输入预先训练好的智能电网调度模型，所述智能电网调度模型基于强化学习算法实现；
结果获取模块，用于基于所述智能电网调度模型的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序；
任务执行模块，用于基于所述调度顺序执行所述至少一个任务。
可选的，所述智能电网调度模型由模型训练模块训练获取，所述模型训练模块包括：
数据采集模块，用于获取训练数据，所述训练数据包括电网数据；
训练管理模块，用于将所述训练数据输入深度卷积神经网络；
特征学习模块，用于基于所述深度卷积神经网络获取数据特征和学习时间序列信息；
特征处理模块，用于基于电网储能系统充放电动作的时间序列，利用强化学习算法处理所述学习时间序列信息。
可选的，还包括：
模型构建模块，用于利用建模软件构建电网系统的电网模型；
则所述结果获取模块具体用于：基于所述智能电网调度模型结合所述电网模型输出的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序。
经由上述的技术方案可知，与现有技术相比，本发明实施例公开了一种智能电网调度方法及系统，包括：获取当前电网数据；将所述当前电网数据输入预先训练好的智能电网调度模型；基于所述智能电网调度模型的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序；基于所述调度顺序执行所述至少一个任务。上述实现方案通过强化学习算法得出当前情况下各个任务的调度顺序；将机器学习技术应用到电网调度上，不仅能使资源分配更加合理，而且节省了人力资源，减少了人为误操作的几率，使得电网调度工作更加安全可靠。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种智能电网调度方法的流程图；
图2为强化学习算法的概念实现原理示意图；
图3为本发明实施例公开的智能电网调度模型的训练过程流程图；
图4为本发明实施例公开的一种智能电网调度装置的结构示意图。
具体实施方式
为了引用和清楚起见，下文中使用的技术名词的说明、简写或缩写总结如下：
Q学习算法：即Q-Learning算法，Q-Learning是强化学习算法中value-based的算法，Q即为Q(s，a)，就是在某一个时刻的state状态下，采取动作a能够获得收益的期望，环境会根据agent的动作反馈相应的reward奖赏，所以算法的主要思想就是将state和action构建成一张Q_table表来存储Q值，然后根据Q值来选取能够获得最大收益的动作。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例公开的一种智能电网调度方法的流程图，参见图1所示，智能电网调度方法可以包括：
步骤101：获取当前电网数据。
电网数据包括实时的电网运行数据、储能系统充放电状态、电网系统各个功能模块的当前状态等等。基于这些当前电网数据，可以决定后续电网相应调度任务的决策，保障电网系统顺利完成各项功能，保持电网系统的持续稳定运行。
步骤102：将所述当前电网数据输入预先训练好的智能电网调度模型。
智能电网调度模型为预先训练好的模型，其可基于强化学习不断的对电网数据进行训练，得到训练结果，即电网系统不同状态下的任务调度顺序。在不断训练不断自学习的过程中，智能电网调度模型输出结果的准确度也不断得到提升。
强化学习是在想要理解信息，获得输入到输出的映射的情况下需要从自身的以往经验中去不断学习来获取知识，从而不需要大量已标记的确定标签，只需要一个评价行为好坏的奖惩机制进行反馈，强化学习通过这样的反馈自己进行“学习”。(当前行为“好”以后就多往这个方向发展，如果“坏”就尽量避免这样的行为，即不是直接得到了标签，而是自己在实际中总结得到的)。强化学习算法的概念实现原理示意图如图2所示，可结合图2理解上述内容。
步骤103：基于所述智能电网调度模型的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序。
由于强化学习算法具有较高的准确度，因此在智能电网调度模型训练好并投入使用后，可以直接将智能电网调度模型输出的结果作为待执行的决策，本实施例中，直接将基于智能电网调度模型的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序。
步骤104：基于所述调度顺序执行所述至少一个任务。
在确定了各个任务的调度顺序后，直接按照确定的调度顺序执行各个任务。
相比于传统的电网调度系统，本实施例提供的基于强化学习算法实现的智能电网调度方法主要存在着信息直观性、资源控性、调配灵活性以及结构开放性等优点。
智能电网调度方法可以通过数据传输网络，将实时测量系统中的数据及时反馈给监测人员并且可以查看电网用量，对整个电力系统进行精确监测。智能电网调度方法可以更好地对发电站能源、二次能源等新能源进行监测、调配，保证资源的最大化利用。智能电网调度方法在保证电力传输安全稳定运行的情况下，提供高质量的电力能源，并且可以依据电网能源使用的实时情况，对电力能源进行灵活调度，保证电力能源的稳定运行。
本实施例所述智能电网调度方法，通过强化学习算法得出当前情况下各个任务的调度顺序；将机器学习技术应用到电网调度上，不仅能使资源分配更加合理，而且节省了人力资源，减少了人为误操作的几率，使得电网调度工作更加安全可靠。
上述实施例中，所述智能电网调度模型可以利用强化学习算法的资格迹机制更新电网系统的状态。
考虑到电力系统为大时延系统，可对系统的状态进行更多地记录，利用“资格迹”能更多地累积且能更快地更新系统的状态。与Q学习算法不同的是，Q(λ)学习算法比Q学习算法多一个λ参数和一个资格迹矩阵e(s,a)。
Q(λ)学习算法的资格迹矩阵更新如下：
Figure BDA0002980725230000061
式中,λ为Q(λ)学习算法的资格迹因子。且引入临时变量(如修正项)，可计算为：
ρ＝R(s，s′，a)+γQ(s′，a)-Q(s，a)
Q(λ)学习算法的Q值矩阵可更新为：
Q(s，a)←Q(s，a)+αρe(s，a)
资格迹矩阵e(s,a)的初始值设定为0。资格迹的引入能更多地在强化学习算法中考虑历史状态对环境的影响。
上述实施例中所述智能电网调度模型的训练过程可以参见图3，结合图3所示，智能电网调度模型的训练过程可以但不限于包括：
步骤301：获取训练数据，所述训练数据包括电网数据。
步骤302：将所述训练数据输入深度卷积神经网络。
步骤303：基于所述深度卷积神经网络获取数据特征和学习时间序列信息。
步骤304：基于电网储能系统充放电动作的时间序列，利用强化学习算法处理所述学习时间序列信息。
其中，深度卷积神经网络的处理过程可以包括：所述深度卷积神经网络通过卷积层输入所述训练数据，利用卷积核滤波器获取所述训练数据的局部特征，通过池化采样操作压缩所述训练数据的基础特征；利用通过全连接层组合和抽象所述基础特征建立高阶特征。
进一步的，还可以通过非线性处理措施和所述深度卷积神经网络的输出层，确定离散化的动作值。
利用深度卷积神经网络可以准确获取数据特征(如延迟特征、滞后特征)，同时可以获得有效的学习时间序列信息。综合电网储能系统充放电动作的时间序列，利用深度强化学习算法，可以有效处理时间序列数据。卷积神经网络通过卷积层直接输入数据，利用卷积核滤波器获取局部恃征，通过池化采样操作压缩基础特征。利用全连接层，通过组合、抽象基础特征，建立高阶特征。通过非线性处理措施，通过卷积层的输出层，确定离散化的动作Q值。
基于深度强化学习的电网储能调度，主要是利用储能系统的时间序列，并且以此作为决策的主要变量条件，学习智能体环境之间实施交互学习，并且可以发出反馈信息，电力企业结合反馈信息，建立科学的调整决策。基于深度强化学习的电网储能调度策略，利用双重Q网络结构获取相关函数，提高函数的合理性，通过双重Q网络，可以提高值函数估计工作的科学性。
一个例子中，在每天晚上11:00到早上的6:00，这一阶段实时电价处于低价状态，电网在这一阶段需要获取电网电能，电网电池在这个阶段处于充电的状态。电池点亮达到90％以上时，电池即可闲置。在每天的8:00—16:00，实时电价相对来说较高，智能体需要控制电池放电过程，如果实时电价比较低，电池要保持闲置。时间为19:00—21：00，实时电价比较高，电池处于持续性发电节点，如果电池核电水平达到10％，电池就要保持闲置状态。电网需要综合考虑实时电价，提高学习调度策略的灵活性，利用灵活的调度动作，提高电网的整体效益。
一个实现中，在所述将所述当前电网数据输入预先训练好的智能电网调度模型前，还可以包括：将电网系统需要执行的多种功能分别对应的抽象为多种任务，以便于后续以任务为单位表征任务的调度顺序。
一个实现中，智能电网调度方法在前述内容的基础上，还可以包括：利用建模软件构建电网系统的电网模型；则所述基于所述智能电网调度模型的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序，包括：基于所述智能电网调度模型结合所述电网模型输出的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序。
利用建模软件，可以提高电网储能调度策略的科学性，利用准确的算法，转化电网运行存在的问题，利用优化求解器解答混合整数规划问题，再通过实时电价场景验证。利用建立电网模型，该模型当中需要具备全面的电网信息，最后通过优化求解器确定最优收益。在无干扰场景当中，无模型强化学习算法和模型最优化算法具有一定的偏差，未来预测信息发生变化，不会影响到模型最优化算法，这种状态不会产生任何干扰。在光伏发电预测量干扰下，利用强化学习策略，各个性能指标不会产生较大的变化，但干扰因素会影响到优化求解器的最优化求解，提升基于深度强化学习的电网储能调度策略的有效性和准确性。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。
图4为本发明实施例公开的一种智能电网调度装置的结构示意图，参见图4所示，智能电网调度装置40可以包括：
数据获取模块401，用于获取当前电网数据。
数据输入模块402，用于将所述当前电网数据输入预先训练好的智能电网调度模型，所述智能电网调度模型基于强化学习算法实现。
结果获取模块403，用于基于所述智能电网调度模型的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序。
任务执行模块404，用于基于所述调度顺序执行所述至少一个任务。
本实施例所述智能电网调度系统，通过强化学习算法得出当前情况下各个任务的调度顺序；将机器学习技术应用到电网调度上，不仅能使资源分配更加合理，而且节省了人力资源，减少了人为误操作的几率，使得电网调度工作更加安全可靠。
上述实施例中，智能电网调度模型由模型训练模块训练获取，所述模型训练模块可以但不限于包括：
数据采集模块，用于获取训练数据，所述训练数据包括电网数据；
训练管理模块，用于将所述训练数据输入深度卷积神经网络；
特征学习模块，用于基于所述深度卷积神经网络获取数据特征和学习时间序列信息；
特征处理模块，用于基于电网储能系统充放电动作的时间序列，利用强化学习算法处理所述学习时间序列信息。
一个实现中，智能电网调度模型在前述内容的基础上，还可以包括：模型构建模块，用于利用建模软件构建电网系统的电网模型。
则所述结果获取模块具体用于：基于所述智能电网调度模型结合所述电网模型输出的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种智能电网调度方法，其特征在于，包括：
获取当前电网数据；
将所述当前电网数据输入预先训练好的智能电网调度模型，所述智能电网调度模型基于强化学习算法实现；
基于所述智能电网调度模型的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序；
基于所述调度顺序执行所述至少一个任务。
2.根据权利要求1所述的智能电网调度方法，其特征在于，所述智能电网调度模型利用强化学习算法的资格迹机制更新电网系统的状态。
3.根据权利要求1所述的智能电网调度方法，其特征在于，所述智能电网调度模型的训练过程包括：
获取训练数据，所述训练数据包括电网数据；
将所述训练数据输入深度卷积神经网络；
基于所述深度卷积神经网络获取数据特征和学习时间序列信息；
基于电网储能系统充放电动作的时间序列，利用强化学习算法处理所述学习时间序列信息。
4.根据权利要求3所述的智能电网调度方法，其特征在于，所述深度卷积神经网络的处理过程包括：
所述深度卷积神经网络通过卷积层输入所述训练数据，利用卷积核滤波器获取所述训练数据的局部特征，通过池化采样操作压缩所述训练数据的基础特征；
通过全连接层组合和抽象所述基础特征建立高阶特征。
5.根据权利要求4所述的智能电网调度方法，其特征在于，还包括：
通过非线性处理措施和所述深度卷积神经网络的输出层，确定离散化的动作值。
6.根据权利要求1所述的智能电网调度方法，其特征在于，在所述将所述当前电网数据输入预先训练好的智能电网调度模型前，还包括：
将电网系统需要执行的多种功能分别对应的抽象为多种任务，以便于后续以任务为单位表征任务的调度顺序。
7.根据权利要求1所述的智能电网调度方法，其特征在于，还包括：
利用建模软件构建电网系统的电网模型；
则所述基于所述智能电网调度模型的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序，包括：
基于所述智能电网调度模型结合所述电网模型输出的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序。
8.一种智能电网调度装置，其特征在于，包括：
数据获取模块，用于获取当前电网数据；
数据输入模块，用于将所述当前电网数据输入预先训练好的智能电网调度模型，所述智能电网调度模型基于强化学习算法实现；
结果获取模块，用于基于所述智能电网调度模型的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序；
任务执行模块，用于基于所述调度顺序执行所述至少一个任务。
9.根据权利要求8所述的智能电网调度装置，其特征在于，所述智能电网调度模型由模型训练模块训练获取，所述模型训练模块包括：
数据采集模块，用于获取训练数据，所述训练数据包括电网数据；
训练管理模块，用于将所述训练数据输入深度卷积神经网络；
特征学习模块，用于基于所述深度卷积神经网络获取数据特征和学习时间序列信息；
特征处理模块，用于基于电网储能系统充放电动作的时间序列，利用强化学习算法处理所述学习时间序列信息。
10.根据权利要求9所述的智能电网调度装置，其特征在于，还包括：
模型构建模块，用于利用建模软件构建电网系统的电网模型；
则所述结果获取模块具体用于：基于所述智能电网调度模型结合所述电网模型输出的输出结果确定当前需要执行的至少一个任务以及所述至少一个任务的调度顺序。
CN202110286588.1A 2021-03-17 2021-03-17 一种智能电网调度方法及系统 Pending CN112990582A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110286588.1A CN112990582A (zh) 2021-03-17 2021-03-17 一种智能电网调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110286588.1A CN112990582A (zh) 2021-03-17 2021-03-17 一种智能电网调度方法及系统

Publications (1)

Publication Number Publication Date
CN112990582A true CN112990582A (zh) 2021-06-18

Family

ID=76332752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110286588.1A Pending CN112990582A (zh) 2021-03-17 2021-03-17 一种智能电网调度方法及系统

Country Status (1)

Country Link
CN (1) CN112990582A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115689069A (zh) * 2023-01-03 2023-02-03 东北电力大学 基于人工智能的电网调度控制方法及系统
CN116227757A (zh) * 2023-05-10 2023-06-06 南京瑞麟能源技术有限公司 一种基于智慧云网关的综合能源管控方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103904641A (zh) * 2014-03-14 2014-07-02 华南理工大学 基于相关均衡强化学习的孤岛微电网智能发电控制方法
CN109347149A (zh) * 2018-09-20 2019-02-15 国网河南省电力公司电力科学研究院 基于深度q值网络强化学习的微电网储能调度方法及装置
WO2019167046A1 (en) * 2018-02-28 2019-09-06 Youtiligent Smart Solutions (2014) System and method for monitoring electric appliances
CN110930016A (zh) * 2019-11-19 2020-03-27 三峡大学 一种基于深度q学习的梯级水库随机优化调度方法
CN111966484A (zh) * 2020-06-23 2020-11-20 北京大学 一种基于深度强化学习的集群资源管理和任务调度方法及系统
CN112270111A (zh) * 2020-11-17 2021-01-26 国网湖南省电力有限公司 一种应对冰灾的电力系统主动调度方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103904641A (zh) * 2014-03-14 2014-07-02 华南理工大学 基于相关均衡强化学习的孤岛微电网智能发电控制方法
WO2019167046A1 (en) * 2018-02-28 2019-09-06 Youtiligent Smart Solutions (2014) System and method for monitoring electric appliances
CN109347149A (zh) * 2018-09-20 2019-02-15 国网河南省电力公司电力科学研究院 基于深度q值网络强化学习的微电网储能调度方法及装置
CN110930016A (zh) * 2019-11-19 2020-03-27 三峡大学 一种基于深度q学习的梯级水库随机优化调度方法
CN111966484A (zh) * 2020-06-23 2020-11-20 北京大学 一种基于深度强化学习的集群资源管理和任务调度方法及系统
CN112270111A (zh) * 2020-11-17 2021-01-26 国网湖南省电力有限公司 一种应对冰灾的电力系统主动调度方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张汝波: "强化学习理论及应用", 哈尔滨工程大学出版社, pages: 141 - 147 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115689069A (zh) * 2023-01-03 2023-02-03 东北电力大学 基于人工智能的电网调度控制方法及系统
CN116227757A (zh) * 2023-05-10 2023-06-06 南京瑞麟能源技术有限公司 一种基于智慧云网关的综合能源管控方法及系统

Similar Documents

Publication Publication Date Title
Salas et al. Benchmarking a scalable approximate dynamic programming algorithm for stochastic control of grid-level energy storage
Cao et al. Bidding strategy for trading wind energy and purchasing reserve of wind power producer–A DRL based approach
Lujano-Rojas et al. Optimizing daily operation of battery energy storage systems under real-time pricing schemes
CN112614009A (zh) 一种基于深度期望q-学习的电网能量管理方法及系统
Hafeez et al. Utilization of EV charging station in demand side management using deep learning method
CN112990582A (zh) 一种智能电网调度方法及系统
Qi et al. Energyboost: Learning-based control of home batteries
CN113807589B (zh) 基于模型预测的运营商储能的滚动优化方法及装置
CN117726143B (zh) 基于深度强化学习的环境友好型微网优化调度方法及系统
CN114493006A (zh) 电网运行风险预测方法、系统、计算机设备及存储介质
Dridi et al. A novel deep reinforcement approach for IIoT microgrid energy management systems
CN116599151A (zh) 基于多源数据的源网储荷安全管理方法
Ebell et al. Reinforcement learning control algorithm for a pv-battery-system providing frequency containment reserve power
Pattanaik et al. Optimal power allocation of battery energy storage system (BESS) using dense LSTM in active distribution network
Lee et al. Non-intrusive load management under forecast uncertainty in energy constrained microgrids
Wu et al. Design of A battery energy management system for capacity charge reduction
CN113723717B (zh) 系统日前短期负荷预测方法、装置、设备和可读存储介质
CN117557125A (zh) 一种电力系统灵活性资源调节能力评价方法及系统
Kumar et al. An integrated development environment based situational awareness for operational reliability evaluation in wind energy systems incorporating uncertainties
Nutakki et al. Energy consumption forecasting in home energy management system using Deep Learning Techniques
Angelidakis et al. Factored mdps for optimal prosumer decision-making in continuous state spaces
CN115619431A (zh) 微电网的调度方法、装置、终端及存储介质
Maldonato et al. Reinforcement Learning control strategies for Electric Vehicles and Renewable energy sources Virtual Power Plants
Watanabe et al. Agent-based simulation model of electricity market with stochastic unit commitment
Latha A Machine Learning Approach for Generation Scheduling in Electricity Markets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618

RJ01 Rejection of invention patent application after publication