[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111461409A - 一种中长期负荷数据的异常值处理方法 - Google Patents

一种中长期负荷数据的异常值处理方法 Download PDF

Info

Publication number
CN111461409A
CN111461409A CN202010163490.2A CN202010163490A CN111461409A CN 111461409 A CN111461409 A CN 111461409A CN 202010163490 A CN202010163490 A CN 202010163490A CN 111461409 A CN111461409 A CN 111461409A
Authority
CN
China
Prior art keywords
abnormal
data
industry
increment
medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010163490.2A
Other languages
English (en)
Inventor
胡迎迎
王尧
李佳
邓娇娇
刘红丽
童星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Economic and Technological Research Institute of State Grid Shanxi Electric Power Co Ltd
Original Assignee
Shenzhen Orange Technology Co Ltd
Economic and Technological Research Institute of State Grid Shanxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orange Technology Co Ltd, Economic and Technological Research Institute of State Grid Shanxi Electric Power Co Ltd filed Critical Shenzhen Orange Technology Co Ltd
Priority to CN202010163490.2A priority Critical patent/CN111461409A/zh
Publication of CN111461409A publication Critical patent/CN111461409A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种中长期负荷数据的异常值处理方法。该中长期负荷数据的异常值处理方法包括：识别异常数据；其中，所述异常数据包括空值、零值、负值数据点、雷同现象、离群值数据点和阶跃现象；对所述异常数据进行行业数据异常度校核；若异常程度在正常的范围内，则对该异常数据进行修正。采用本发明实施例的中长期负荷数据的异常值处理方法针对异常数据进行修复后，可以使得电量预测相对误差有明细的下降。

Description

一种中长期负荷数据的异常值处理方法
技术领域
本发明涉及电力需求预警预测分析相关技术领域，具体的说是涉及一种中长期负荷数据的异常值处理方法。
背景技术
在电力需求预警预测分析相关技术领域中，如果一些数据点不满足负荷曲线的一般规律，会对预警与预测结果产生误导，那么这些数据点被称为异常数据点。在这一定义下，不仅量测和数据传输的错误导致异常数据点的产生，而且用户侧负荷的异常波动也会被认为是异常数据点。
用于电力需求预警预测分析的数据多为从电力系统直接采集来的电量原始数据，这些数据由于存在着一些问题而无法直接应用于具体的分析中。
其中，电力需求预警与预测中的异常数据点通常由有以下三种产生原因：数据采集错误、配电用电波动和统计制度妨害。
1、数据采集错误：
所有由二次侧故障，包括量测失效、通信故障和数据处理系统错误，导致的异常数据点都属于数据采集错误。这一阶段所产生的异常数据所占比例最高，对预警和预测的干扰也最大，但其异常数据的主要模式也最容易辨识。其常见模式主要有零值数据点、负数值数据点和雷同现象。零数据点和负值数据点为系统中所占比例最高的异常数据点，其特征为该点的数据记录为空、为零或为负值。雷同现象：雷同现象是指在两个不同的时间点上全社会用电量、各行业用电量都同时出现完全一致的情况，这多数是由数据处理系统的错误造成的。
2、配电网波动：
用电量的异常数据可能由用户侧偶发的非规律性的用电行为导致。例如某地在连续几天内举办大型的文艺演出则该地本月的用电量就会出现非规律性的异常上升，这种原因导致的异常数据模式表现为离散值数据点。离群值是少数的几个孤立点，其数值与其他的点数值相差较大。之所以出现这种现象是因为导致其发生的用电行为是偶发的，一旦这种偶发的用电行为结束，这种异常现象则立刻结束。
3、统计制度妨害
电力需求预警预测分析用到的数据涉及省级行政单位内的行业用电量数据，而现阶段在省级行政单位内不同的行业在用电量的统计制度方面差异较大，主要表现为不同行业用电量的统计起始年限早晚不一，有的行业在统计的过程中统计口径还会发生变化，这就产生了空值数据点和阶跃现象。空值数据点为统计起始年限较晚的行业在统计起始年限之前的时间点上为空值。阶跃现象是指用电量在初始段内维持在某一固定的水平上，到达某时间点时就突变到与之前差距较大的某一数值上，此后便维持在该数值水平上下。
由于上述电量数据的采集、传输等环节会出现各种错误，一些随机因素会造成用电量数据短时间内的剧烈波动，这些错误或不符合电量序列整体变化规律的问题数据会导致错误的分析结果。基于上述的现象，在进行电力需求预警与预测分析之前首先要对原始的电量数据进行异常值处理。
发明内容
针对现有技术之不足，本发明的一个方面提供了一种中长期负荷数据的异常值处理方法。
所述中长期负荷数据的异常值处理方法包括：
识别异常数据；其中，所述异常数据包括空值、零值、负值数据点、雷同现象、离群值数据点和阶跃现象；
对所述异常数据进行行业数据异常度校核；
若异常程度在正常的范围内，则对该异常数据进行修正。
根据一个优选的实施方式，识别异常数据的方法包括：
生成电量矩阵E；其中，所述电量矩阵E的第一维指标为行业序号，第二维指标为时间序号；
对应于用电量矩阵E，生成异常数据标识矩阵I；所述异常数据标识矩阵I大小与E相同；
Figure BDA0002406616380000031
当E(i,j)为正确数据时，I(i,j)为零；当E(i,j)为异常数据时，I(i,j)被标识为一个非零值；
其中，A为E的第一维指标集，B为E的第二维指标集。
根据一个优选的实施方式，识别空值、零值和负值数据点的方法为：
Figure BDA0002406616380000032
如果E(i,j)为空值、零值或负值，则将I(i,j)标记为1，表示空值、零值或负值数据点；
识别雷同现象的方法为：
Figure BDA0002406616380000033
如果
Figure BDA0002406616380000034
都有E(i，j1)＝E(i，j2)那么，将I(i，j2)标记为2，其中i∈A，表示雷同值数据点。
根据一个优选的实施方式，识别离群值数据点的方法包括：
辨识出异常增量，具体为：
Figure BDA0002406616380000041
令ΔEi(j)＝E(i，j+1)-E(i，j)表示用电序列两点间的增量；并根据如下公式对异常增量做出辨识：
Figure BDA0002406616380000042
其中，X表示随机变量，E(X)表示随机变量X的数学期望，D为该随机变量的方差，k为常数，表示随机变量离开期望的范围；
取k＝5，则X落在区间
Figure BDA0002406616380000043
内的概率约为96％；在同样的标准下，随机变量ΔEi(j)落在区间[E(ΔEi(j))-5D(ΔEi(j))，E(ΔEi(j))+5D(ΔEi(j))]中的概率为96％；如果增量落在了这个区间之外，则这个增量是异常增量；
如果ΔEi(j)和ΔEi(j-1)都是异常增量，并且两者分别落在了上述区间的两侧，那么E(i，j)是离群值点，记I(i，j)为3。
根据一个优选的实施方式，识别阶跃现象的方法包括：
辨识出异常增量，具体为：
Figure BDA0002406616380000044
令ΔEi(j)＝E(i，j+1)-E(i，j)表示用电序列两点间的增量；并根据如下公式对异常增量做出辨识
Figure BDA0002406616380000045
其中，X表示随机变量，E(X)表示随机变量X的数学期望，D为该随机变量的方差，k为常数，表示随机变量离开期望的范围；
取k＝5，则X落在区间[E(X)-5D(X)，E(X)+5D(X)]内的概率约为96％；在同样的标准下，随机变量ΔEi(j)落在区间[E(ΔEi(j))-5D(ΔEi(j))，E(ΔEi(j))+5D(ΔEi(j))]中的概率为96％；如果增量落在了这个区间之外，则这个增量是异常增量；
对于行业i，如果仅有ΔEi(j)为异常增量，则行业i发生了阶跃现象，记I(i，jk)为4，jk＝1，2，...，j，表示行业i所有的jk点是阶跃异常值。
根据一个优选的实施方式，对异常数据进行行业数据异常度校核的方法包括：
采用如下公式计算行业异常度
λ(i)＝n1(i)/n(i)
其中，λ(i)为行业异常度，其中n1(i)为行业i用电量异常点的数目，n(i)为行业i用电量数据点的总数；
如果λ(i)＜λlim，则认为行业i通过异常度校核，其异常程度在正常的范围内，能够进行异常点的修正；
其中，λlim为判断行业i属于数据异常行业的最小值。
根据一个优选的实施方式，对数据进行修正的方法为：以线性插值修正的方式对异常数据进行线性插值修正。
本发明的另一个方面提供了一种中长期负荷数据异常值处理系统。
所述中长期负荷数据的异常值处理系统，其特征在于，所述系统包括：
数据获取模块，用于获取数据；
异常数据识别模块，用于识别异常数据；
行业数据异常度校核模块，用于对异常数据进行行业数据异常度校核；
修正模块，用于对异常数据进行修正。
本发明的再一个方面提供了一种中长期负荷数据异常值处理装置。
所述中长期负荷数据的异常值处理装置，所述装置包括处理器以及存储器，所述存储器用于存储指令，其特征在于，所述指令被所述处理器执行时，导致所述装置实现如上任意一项所述的中长期负荷数据的异常值处理方法。
本发明的再一个方面提供了一种计算机可读存储介质。
所述存储介质存储计算机指令，当计算机读取储存介质中的计算机指令后，计算机运行如上任意一项所述的中长期负荷数据的异常值处理方法。
与现有技术相比，本发明实施例的中长期负荷数据的异常值处理方法具有如下有益效果：
采用本发明实施例的中长期负荷数据的异常值处理方法针对异常数据进行修复后，可以使得电量预测相对误差有明细的下降。
本发明的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的检查或者对实施例的生产或操作的了解，本发明的一部分附加特性对于本领域技术人员是明显的。本发明披露的特性可以通过对以下描述的具体实施例的各种方法、手段和组合的实践或使用得以实现和达到。
附图说明
在此所述的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的限定。在各图中，相同标号表示相同部件。其中，
图1是根据本发明的一些实施例所示的中长期负荷数据的异常值处理方法的流程示意图；
图2是根据本发明的一些实施例所示的中长期负荷数据的异常值处理方法修正结果的示意图；
图3是根据本发明的一些实施例所示的中长期负荷数据的异常值处理方法中未通过行业异常度校核的示意图；
图4是根据本发明的一些实施例所示的中长期负荷数据的异常值处理系统的系统框图；
图5是根据本发明的一些实施例所示的中长期负荷数据的异常值处理装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。并且以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明实施例的一个方面公开了一种中长期负荷数据的异常值处理方法。
如图1所示，该中长期负荷数据的异常值处理方法主要包括：
S11：识别异常数据；其中，所述异常数据包括空值、零值、负值数据点、雷同现象、离群值数据点和阶跃现象；
S12：对所述异常数据进行行业数据异常度校核；
S13：若异常程度在正常的范围内，则对该异常数据进行修正。
其中，空值、零值、负值数据点、雷同现象、离群值数据点和阶跃现象等不同模式的异常数据的辨识方法是不同的：空值、零值和负值数据点，雷同现象可以根据数据的数值特征来直接判断，而离群值数据点和阶跃现象则需要对正常数据的统计特性有所认识后，才能进行辨识。从辨识需要判断的数据范围来看，雷同现象要从各行业用电量的整体去判断，而其他异常值的判断则只需关注本行业的电量数据即可。
在本实施例中，识别异常数据的方法可以包括：
基于获取的中长期负荷数据，生成电量矩阵E；其中，所述电量矩阵E的第一维指标为行业序号，第二维指标为时间序号；
对应于用电量矩阵E，生成异常数据标识矩阵I；所述异常数据标识矩阵I大小与E相同；
Figure BDA0002406616380000081
当E(i,j)为正确数据时，I(i,j)为零；当E(i,j)为异常数据时，I(i,j)被标识为一个非零值；
其中，A为E的第一维指标集，B为E的第二维指标集。
具体的，在辨识过程中，对应于用电量矩阵E，会生成异常数据标识矩阵I，其大小与E相同，这里E的第一维指标为行业序号，第二维指标为时间序号；记A为E的第一维指标集，B为E的第二维指标集。
Figure BDA0002406616380000091
当E(i,j)为正确数据时，I(i,j)为零；当E(i,j)为异常数据时，I(i,j)会被标识为一个非零值，值的大小与相应的异常数据类型有关。
例如，对于空值、零值和负值数据点，
Figure BDA0002406616380000092
如果E(i,j)为空值、零值或负值，则将I(i,j)标记为1，表示空值、零值或负值数据点。
对于数值雷同现象，
Figure BDA0002406616380000093
如果
Figure BDA0002406616380000094
都有
Figure BDA0002406616380000095
那么，将I(i，j2)标记为2(i∈A)，表示雷同值数据点。
对于离群值数据点，首先需要辨识出异常增量。
Figure BDA0002406616380000096
令ΔEi(j)＝E(i，j+1)-E(i，j)表示用电序列两点间的增量。由于原始数据中的各种异常值在辨识阶段还没有得到修正，因此还不能对用电量序列的统计进行认知。为了对异常增量做出辨识，而又不借助于任何主观或者先验信息，就需要运用在概率分布未知的情况下序列的统计规律，其中切比雪夫不等式为这一工作提供了有力的工具。根据切比雪夫不等式，对任意分布的随机变量，均满足：
Figure BDA0002406616380000097
其中，X表示随机变量，E(X)表示随机变量X的数学期望，D为该随机变量的方差。k为常数，表示随机变量离开期望的范围。取k＝5，则X落在区间[E(X)-5D(X)，E(X)+5D(X)]内的概率约为96％。那么在同样的标准下，随机变量ΔEi(j)落在区间[E（ΔEi(j))-5D(ΔEi(j))，E(ΔEi(j))+5D(ΔEi(j))]中的概率为96％，但由于实际用电量增量这一随机变量表现出一定的正态性，因此负荷增量落在上述区间的概率应当高于96％。据此我们认为，如果增量落在了这个区间之外，那么这个增量是异常增量。
如果ΔEi(j)和ΔEi(j-1)都是异常增量，而且两者分别落在了上述区间的两侧，那么就认为E(i,j)是离群值点，记I(i,j)为3，表示离群值数据点。
对于阶跃现象，需要按照离散值数据点处理方法进行处理，辨识出异常增量。如果对于行业i，仅有ΔEi(j)为异常增量，那么即认为行业i发生了阶跃现象，记I(i，jk)为4，jk＝1，2，…，j，表示行业i所有的jk点是阶跃异常值。
在本实施例中，当某一数据点已经被确认为某一模式的异常数据点时，该数据点不再参与其他异常数据模式的辨识。
在本实施例中，对异常数据进行行业数据异常度校核的方法具体如下：记λ(i)＝n1(i)/n(i)
其中，λ(i)为行业异常度，其中n1(i)为行业i用电量异常点的数目，n(i)为行业i用电量数据点的总数。如果λ(i)＜λlim，则认为行业i通过异常度校核，其异常程度在正常的范围内，可以进行异常点的修正；否则，认为行业i属于数据异常行业，在进行预警与预测分析时则不考虑行业i的影响。在本实施例中用λlim。其中，λlim可以根据需要进行设置。例如如图3所示，λlim可以设置为10％。
在本实施例中，对数据进行修正的方法具体为：
当行业用电量数据通过异常度校核后，统一对各种模式的异常数据进行线性插值修正，即
Figure BDA0002406616380000101
如果I(i，j)≠0，即对E(i,j)数据点进行线性插值修正。
表1对异常数据进行修复前后电量预测相对误差对比表
Figure BDA0002406616380000102
如表1和图2所示，采用本发明实施例的中长期负荷数据的异常值处理方法针对异常数据进行修复后，可以使得电量预测相对误差有明细的下降。
本发明实施例的一个方面公开了一种中长期负荷数据的异常值处理方法。
如图4所示，该中长期负荷数据的异常值处理系统20主要包括数据获取模块21、异常数据识别模块22、行业数据异常度校核模块23和修正模块24。
其中，数据获取模块21可以用于获取数据。在本实施例中，数据获取模块21可以从电力系统直接采集电量原始数据。
异常数据识别模块22可以用于识别异常数据；在本实施例中，异常数据识别模块22识别异常数据的方法具体如下：
基于获取的中长期负荷数据，生成电量矩阵E；其中，所述电量矩阵E的第一维指标为行业序号，第二维指标为时间序号；
对应于用电量矩阵E，生成异常数据标识矩阵I；所述异常数据标识矩阵I大小与E相同；
Figure BDA0002406616380000111
当E(i,j)为正确数据时，I(i,j)为零；当E(i,j)为异常数据时，I(i,j)被标识为一个非零值；
其中，A为E的第一维指标集，B为E的第二维指标集。
具体的，在辨识过程中，对应于用电量矩阵E，会生成异常数据标识矩阵I，其大小与E相同，这里E的第一维指标为行业序号，第二维指标为时间序号；记A为E的第一维指标集，B为E的第二维指标集。
Figure BDA0002406616380000112
当E(i,j)为正确数据时，I(i,j)为零；当E(i,j)为异常数据时，I(i,j)会被标识为一个非零值，值的大小与相应的异常数据类型有关。
例如，对于空值、零值和负值数据点，
Figure BDA0002406616380000113
如果E(i,j)为空值、零值或负值，则将I(i,j)标记为1，表示空值、零值或负值数据点。
对于数值雷同现象，
Figure BDA0002406616380000114
如果
Figure BDA0002406616380000115
都有E(i,j1)＝E(i,j2)，那么，将I(i，j2)标记为2(i∈A)，表示雷同值数据点。
对于离群值数据点，首先需要辨识出异常增量。
Figure BDA0002406616380000116
令ΔEi(j)＝E(i，j+l)-E(i，j)表示用电序列两点间的增量。由于原始数据中的各种异常值在辨识阶段还没有得到修正，因此还不能对用电量序列的统计进行认知。为了对异常增量做出辨识，而又不借助于任何主观或者先验信息，就需要运用在概率分布未知的情况下序列的统计规律，其中切比雪夫不等式为这一工作提供了有力的工具。根据切比雪夫不等式，对任意分布的随机变量，均满足：
Figure BDA0002406616380000121
其中，X表示随机变量，E(X)表示随机变量X的数学期望，D为该随机变量的方差。k为常数，表示随机变量离开期望的范围。取k＝5，则X落在区间[E(X)-5D(X)，E(X)+5D(X)]内的概率约为96％。那么在同样的标准下，随机变量ΔEi(j)落在区间[E(ΔEi(j))-5D(ΔEi(j))，E(ΔEi(j))+5D(ΔEi(j))]中的概率为96％，但由于实际用电量增量这一随机变量表现出一定的正态性，因此负荷增量落在上述区间的概率应当高于96％。据此我们认为，如果增量落在了这个区间之外，那么这个增量是异常增量。
如果ΔEi(j)和ΔEi(j-1)都是异常增量，而且两者分别落在了上述区间的两侧，那么就认为E(i,j)是离群值点，记I(i,j)为3，表示离群值数据点。
对于阶跃现象，需要按照离散值数据点处理方法进行处理，辨识出异常增量。如果对于行业i，仅有ΔEi(j)为异常增量，那么即认为行业i发生了阶跃现象，记I(i，jk)为4，jk＝1，2，...，j，表示行业i所有的jk点是阶跃异常值。
在本实施例中，当某一数据点已经被确认为某一模式的异常数据点时，该数据点不再参与其他异常数据模式的辨识。
行业数据异常度校核模块23可以用于对异常数据进行行业数据异常度校核。
在本实施例中，行业数据异常度校核模块23对异常数据进行行业数据异常度校核的方法具体如下：记
λ(i)＝n1(i)/n(i)
其中，λ(i)为行业异常度，其中n1(i)为行业i用电量异常点的数目，n(i)为行业i用电量数据点的总数。如果λ(i)＜λlim，则认为行业i通过异常度校核，其异常程度在正常的范围内，可以进行异常点的修正；否则，认为行业i属于数据异常行业，在进行预警与预测分析时则不考虑行业i的影响。在本实施例中用λlim。其中，λlim可以根据需要进行设置。例如如图3所示，λlim可以设置为10％。
修正模块24可以用于对异常数据进行修正。在本实施例中，修正模块24对数据进行修正的方法具体为：
当行业用电量数据通过异常度校核后，统一对各种模式的异常数据进行线性插值修正，即
Figure BDA0002406616380000131
如果I(i，j)≠0，即对E(i,j)数据点进行线性插值修正。
本发明实施例的再一个方面公开了一种中长期负荷数据的异常值处理装置。
如图5所示，该中长期负荷数据的异常值处理装置30主要包括处理器33以及存储器31，所述存储器用于存储指令32。所述指令被所述处理器执行时，导致所述装置实现如上任意一项所述的中长期负荷数据的异常值处理方法。
本发明实施例的还公开了一种计算机可读存储介质。
所述存储介质存储计算机指令，当计算机读取储存介质中的计算机指令后，计算机运行如上任意一项所述的中长期负荷数据的异常值处理方法。
需要注意的是，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
另外，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。

Claims (7)

1.一种中长期负荷数据的异常值处理方法，其特征在于，包括：
识别异常数据；其中，所述异常数据包括空值、零值、负值数据点、雷同现象、离群值数据点和阶跃现象；
对所述异常数据进行行业数据异常度校核；
若异常程度在正常的范围内，则对该异常数据进行修正。
2.根据权利要求1所述的一种中长期负荷数据的异常值处理方法，其特征在于，识别异常数据的方法包括：
生成电量矩阵E；其中，所述电量矩阵E的第一维指标为行业序号，第二维指标为时间序号；
对应于用电量矩阵E，生成异常数据标识矩阵I；所述异常数据标识矩阵I大小与E相同；
Figure FDA0002406616370000011
j∈B，当E(i，j)为正确数据时，I(i，j)为零；当E(i，j)为异常数据时，I(i，j)被标识为一个非零值；
其中，A为E的第一维指标集，B为E的第二维指标集。
3.根据权利要求2所述的一种中长期负荷数据的异常值处理方法，其特征在于，
识别空值、零值和负值数据点的方法为：
Figure FDA0002406616370000012
j∈B，如果E(i，j)为空值、零值或负值，则将I(i，j)标记为1，表示空值、零值或负值数据点；
识别雷同现象的方法为：
Figure FDA0002406616370000021
如果
Figure FDA0002406616370000022
都有E(i，j1)＝E(i，j2)，那么，将I(i，j2)标记为2，其中i∈A，表示雷同值数据点。
4.根据权利要求2所述的一种中长期负荷数据的异常值处理方法，其特征在于，
识别离群值数据点的方法包括：
辨识出异常增量，具体为：
Figure FDA0002406616370000023
j∈B，令ΔEi(j)＝E(i，j+1)-E(i，j)表示用电序列两点间的增量；并根据如下公式对异常增量做出辨识：
Figure FDA0002406616370000024
其中，X表示随机变量，E(X)表示随机变量X的数学期望，D为该随机变量的方差，k为常数，表示随机变量离开期望的范围；
取k＝5，则X落在区间[E(X)-5D(X)，E(X)+5D(X)]内的概率约为96％；在同样的标准下，随机变量ΔEi(j)落在区间[E(ΔEi(j))-5D(ΔEi(j))，E(ΔEi(j))+5D(ΔEi(j))]中的概率为96％；如果增量落在了这个区间之外，则这个增量是异常增量；
如果ΔEi(j)和ΔEi(j-1)都是异常增量，并且两者分别落在了上述区间的两侧，那么E(i，j)是离群值点，记I(i，j)为3。
5.根据权利要求2所述的一种中长期负荷数据的异常值处理方法，其特征在于，
识别阶跃现象的方法包括：
辨识出异常增量，具体为：
Figure FDA0002406616370000031
j∈B，令ΔEi(j)＝E(i，j+1)-E(i，j)表示用电序列两点间的增量；并根据如下公式对异常增量做出辨识
Figure FDA0002406616370000032
其中，X表示随机变量，E(X)表示随机变量X的数学期望，D为该随机变量的方差，k为常数，表示随机变量离开期望的范围；
取k＝5，则X落在区间[E(X)-5D(X)，E(X)+5D(X)]内的概率约为96％；在同样的标准下，随机变量ΔEi(j)落在区间[E(ΔEi(j))-5D(ΔEi(j))，E(ΔEi(j))+5D(ΔEi(j))]中的概率为96％；如果增量落在了这个区间之外，则这个增量是异常增量；
对于行业i，如果仅有ΔEi(j)为异常增量，则行业i发生了阶跃现象，记I(i，jk)为4，jk＝1，2，...，j，表示行业i所有的jk点是阶跃异常值。
6.根据权利要求1所述的一种中长期负荷数据的异常值处理方法，其特征在于，
对异常数据进行行业数据异常度校核的方法包括：
采用如下公式计算行业异常度
λ(i)＝n1(i)/n(i)
其中，λ(i)为行业异常度，其中n1(i)为行业i用电量异常点的数目，n(i)为行业i用电量数据点的总数；
如果λ(i)＜λlim，则认为行业i通过异常度校核，其异常程度在正常的范围内，能够进行异常点的修正；
其中，λlim为判断行业i属于数据异常行业的最小值。
7.根据权利要求1所述的一种中长期负荷数据的异常值处理方法，其特征在于，
对数据进行修正的方法为：
以线性插值修正的方式对异常数据进行线性插值修正。
CN202010163490.2A 2020-03-10 2020-03-10 一种中长期负荷数据的异常值处理方法 Pending CN111461409A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010163490.2A CN111461409A (zh) 2020-03-10 2020-03-10 一种中长期负荷数据的异常值处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010163490.2A CN111461409A (zh) 2020-03-10 2020-03-10 一种中长期负荷数据的异常值处理方法

Publications (1)

Publication Number Publication Date
CN111461409A true CN111461409A (zh) 2020-07-28

Family

ID=71682755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010163490.2A Pending CN111461409A (zh) 2020-03-10 2020-03-10 一种中长期负荷数据的异常值处理方法

Country Status (1)

Country Link
CN (1) CN111461409A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114254702A (zh) * 2021-12-16 2022-03-29 南方电网数字电网研究院有限公司 母线负荷异常数据识别方法、装置、设备、介质和产品
CN117349778A (zh) * 2023-12-04 2024-01-05 湖南蓝绿光电科技有限公司 一种基于物联网的用电设备在线实时监测系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1832949A2 (en) * 2002-08-22 2007-09-12 Air Products and Chemicals, Inc. Method and apparatus for producing perturbation signals
CN101888087A (zh) * 2010-05-21 2010-11-17 深圳市科陆电子科技股份有限公司 一种在配网终端中实现分布式超短期区域负荷预测的方法
US20120150489A1 (en) * 2010-12-13 2012-06-14 International Business Machines Corporation Multi-step time series prediction in complex instrumented domains
CN104766175A (zh) * 2015-04-16 2015-07-08 东南大学 一种基于时间序列分析的电力系统异常数据辨识与修正方法
CN105023198A (zh) * 2015-07-16 2015-11-04 国电南瑞科技股份有限公司 一种基于网络规则约束的发电厂数据异常辨识方法
CN105488736A (zh) * 2015-12-02 2016-04-13 国家电网公司 一种用于光伏电站数据采集系统的数据处理方法
CN105956755A (zh) * 2016-04-26 2016-09-21 广西电网有限责任公司百色供电局 电力综合线损率影响因子量化关系建立方法及系统
CN106780121A (zh) * 2016-12-06 2017-05-31 广州供电局有限公司 一种基于用电负荷模式分析的用电异常识别方法
CN106844594A (zh) * 2017-01-12 2017-06-13 南京大学 一种基于大数据的电力优化配置方法
KR101791467B1 (ko) * 2017-02-27 2017-10-30 편도균 드론을 이용한 원격 전력설비 점검 방법
EP3336656A1 (en) * 2016-12-19 2018-06-20 OFFIS e.V. Model based detection of user reaction times and further effects as well as systems therefore
CN108830510A (zh) * 2018-07-16 2018-11-16 国网上海市电力公司 一种基于数理统计的电力数据预处理方法
CN109886836A (zh) * 2019-03-01 2019-06-14 西安交通大学 一种基于划分聚类分析的动态分区电价计算方法
CN110610280A (zh) * 2018-10-31 2019-12-24 山东大学 一种电力负荷短期预测方法、模型、装置及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1832949A2 (en) * 2002-08-22 2007-09-12 Air Products and Chemicals, Inc. Method and apparatus for producing perturbation signals
CN101888087A (zh) * 2010-05-21 2010-11-17 深圳市科陆电子科技股份有限公司 一种在配网终端中实现分布式超短期区域负荷预测的方法
US20120150489A1 (en) * 2010-12-13 2012-06-14 International Business Machines Corporation Multi-step time series prediction in complex instrumented domains
CN104766175A (zh) * 2015-04-16 2015-07-08 东南大学 一种基于时间序列分析的电力系统异常数据辨识与修正方法
CN105023198A (zh) * 2015-07-16 2015-11-04 国电南瑞科技股份有限公司 一种基于网络规则约束的发电厂数据异常辨识方法
CN105488736A (zh) * 2015-12-02 2016-04-13 国家电网公司 一种用于光伏电站数据采集系统的数据处理方法
CN105956755A (zh) * 2016-04-26 2016-09-21 广西电网有限责任公司百色供电局 电力综合线损率影响因子量化关系建立方法及系统
CN106780121A (zh) * 2016-12-06 2017-05-31 广州供电局有限公司 一种基于用电负荷模式分析的用电异常识别方法
EP3336656A1 (en) * 2016-12-19 2018-06-20 OFFIS e.V. Model based detection of user reaction times and further effects as well as systems therefore
CN106844594A (zh) * 2017-01-12 2017-06-13 南京大学 一种基于大数据的电力优化配置方法
KR101791467B1 (ko) * 2017-02-27 2017-10-30 편도균 드론을 이용한 원격 전력설비 점검 방법
CN108830510A (zh) * 2018-07-16 2018-11-16 国网上海市电力公司 一种基于数理统计的电力数据预处理方法
CN110610280A (zh) * 2018-10-31 2019-12-24 山东大学 一种电力负荷短期预测方法、模型、装置及系统
CN109886836A (zh) * 2019-03-01 2019-06-14 西安交通大学 一种基于划分聚类分析的动态分区电价计算方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAN YANG; SUMEI LI; WEI XIANG: "A novel processing method of the subjective quality evaluation results of stereo video" *
XINYU CHEN; CHONGQING KANG; XING TONG; QING XIA; JUNFENG YANG: "Improving the Accuracy of Bus Load Forecasting by a Two-Stage Bad Data Identification Method" *
朱月梅: "配电网异常负荷数据辨识与修正" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114254702A (zh) * 2021-12-16 2022-03-29 南方电网数字电网研究院有限公司 母线负荷异常数据识别方法、装置、设备、介质和产品
CN117349778A (zh) * 2023-12-04 2024-01-05 湖南蓝绿光电科技有限公司 一种基于物联网的用电设备在线实时监测系统
CN117349778B (zh) * 2023-12-04 2024-02-20 湖南蓝绿光电科技有限公司 一种基于物联网的用电设备在线实时监测系统

Similar Documents

Publication Publication Date Title
CN108896853B (zh) 具有分布式电源的电网电压暂降频次评估方法及装置
CN111461409A (zh) 一种中长期负荷数据的异常值处理方法
CN109374063B (zh) 一种基于集群管理的变压器异常检测方法、装置和设备
CN113391256B (zh) 一种现场作业终端的电能表计量故障分析方法及系统
CN111476375A (zh) 一种确定识别模型的方法、装置、电子设备及存储介质
CN117277435A (zh) 一种光伏逆变器的健康评估方法、系统及装置
CN117614978A (zh) 一种用于数字化车间的信息安全通信管理系统
CN115392812B (zh) 一种异常根因定位方法、装置、设备及介质
CN111413564B (zh) 一种超级电容器失效预警方法、系统以及设备
CN116502925A (zh) 基于大数据的数字工厂设备巡检评估方法、系统和介质
WO2020166236A1 (ja) 作業効率評価方法、作業効率評価装置、及びプログラム
CN113255096A (zh) 基于向前逐步回归的高损线路异常台区定位方法及系统
CN114967613B (zh) 一种具有多传感器的生产设备状态监测方法和装置
CN114384885B (zh) 基于异常工况的工艺参数调整方法、装置、设备和介质
CN113376564B (zh) 基于数据分析的智能电表计量校正方法、装置及终端
CN110739082A (zh) 一种职业健康风险管控措施评估方法及相关装置
CN111199419B (zh) 股票异常交易的识别方法及系统
CN112748390B (zh) 一种电能表状态的评估方法及装置
CN112055376B (zh) 基站设备监测方法、装置和存储介质
CN114662589A (zh) 一种电表故障研判方法、装置、设备和可读存储介质
CN108319573A (zh) 一种基于能源统计数据异常判断和修复的方法
CN118297580B (zh) 基于大数据的石油设备维护管理方法、系统及存储介质
CN110829413A (zh) 基于道路矩阵的辐射状配电网可靠性评估方法
CN112988506B (zh) 一种大数据服务器节点性能监测方法及系统
CN117371976A (zh) 维修人员确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Hu Yingying

Inventor after: Wang Yao

Inventor after: Li Jia

Inventor after: Deng Jiaojiao

Inventor after: Liu Hongli

Inventor before: Hu Yingying

Inventor before: Wang Yao

Inventor before: Li Jia

Inventor before: Deng Jiaojiao

Inventor before: Liu Hongli

Inventor before: Tong Xing

CB03 Change of inventor or designer information
TA01 Transfer of patent application right

Effective date of registration: 20220127

Address after: 030000 15 / F, building 1, No.89, Fudong street, Xinghualing District, Taiyuan City, Shanxi Province

Applicant after: ECONOMIC RESEARCH INSTITUTE OF STATE GRID SHANXI ELECTRIC POWER Co.

Address before: 030000 15 / F, building 1, No.89, Fudong street, Xinghualing District, Taiyuan City, Shanxi Province

Applicant before: ECONOMIC RESEARCH INSTITUTE OF STATE GRID SHANXI ELECTRIC POWER Co.

Applicant before: Shenzhen orange Technology Co.,Ltd.

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200728

WD01 Invention patent application deemed withdrawn after publication