CN108108358A - 一种电能质量数据的存储和检索方法 - Google Patents

Abstract

本发明提供了一种电能质量数据的存储和检索方法，该存储方法将电能质量数据划分为行和列；将已划分的数据用数据块形式存储于网格式逻辑结构图；该检索方法包括根据选定的检索方式检索存储模型中的数据；根据检索方式的行标和列标与存储模型逐一匹配确定数据所在数据块。其检索方法应用于其存储模型，检索方法包括按时间点、断面和序列检索方式。本发明提供的技术方案提高了电能质量数据的存储效率、检索效率，数据的提取效率。

Description

一种电能质量数据的存储和检索方法

技术领域

本发明涉及电力系统分析领域，具体讲涉及一种电能质量数据的存储和检索方法。

背景技术

电能质量监测系统(power quality monitoring system,PQMS)获得的电能质量数据带有时间戳、多量测周期的数据。电能质量监测系统现已得到了广泛应用，多数国网电力公司和用户都根据自己的需求装设了电能质量监测装置。随着国内电网监测的发展和国家战略“互联网+”的推进，电能质量终端监测系统得到了进一步的发展，近年来随着电能质量业务的不断发展，以往仅存统计分析数据、暂存故障录波数据的方式难以满足业务需求，全息保存电能质量原始数据逐渐成为趋势，电能质量数据逐渐呈现的大数据特征，海量数据的存储和检索是当前电力业务分析集成系统面临的艰巨任务。

另一方面，除具有一般时间序列数据特征外，电能质量数据还具有明显的业务特性，它具有多种量测周期并根据电能质量数据业务分析需求进行多维度数据抽取，直接利用现有时间序列的数据存储和检索方式，在储存结构设计和检索上需要满足这样的要求。

为满足现有技术的需要，需要提供一种全新的基于时间序列的电能质量数据存储和检索方法，来提高当前电能质量分析集成系统的存储规模和检索效率。

发明内容

为满足现有技术的需要，本发明提供了一种依据时间序列和关键业务规则等基本特征，进行统一数据存储模型存储的基于时间序列的电能质量数据存储和检索方法。

本发明了一种电能质量数据的存储方法，其改进之处在于，所述方法包括：

将电能质量数据划分为行和列的方式存储；

将已划分的数据用数据块形式存储于网格式逻辑结构图。

进一步的，将电能质量数据划分为行和列的方法包括：

(1)将量测数据按量测指标分为行组；

(2)根据量测数据的时间戳前缀将行组划分成次级行组；

(3)按粒度、监测点、相别、谐波次数划分为行；

(4)将各行数据按时间戳偏移量和数值类型划分到列。

进一步的，将量测值存储于行标和列标确定的数据块；

所述网格式逻辑结构图包括行标、列标和数据块；

所述行标包括：量测指标、时间戳前缀、时间戳掩码、粒度、监测点、相别和谐波次数；

所述列标包括：时间戳偏移量、值类型。

进一步的，所述量测指标包括：

电压偏差值、电压合格率、频率偏差值、频率合格率、电压总谐波畸变率值、电压总畸变率合格率、电压负序不平衡度值、长闪值、2～25次谐波电压合格率、电压负序不平衡度合格率、长闪合格率。

进一步的，所述存储方法用于存储数据库、文件模式和HBASE形式的电能质量数据。

一种电能质量数据的检索方法，其改进之处在于，所述检索方法包括：

根据选定的检索方式检索数据；

根据检索方式的行标和列标的逐一匹配确定数据所在数据块。

进一步的，所述检索方式包括按时间点、断面和序列检索；

所述检索方法应用于数据库、文件模式、HBASE形式的电能质量数据检索；

所述按断面检索的方式又包括：规定统计粒度数据断面和N次谐波数据断面。

进一步的，按时间点的检索方式包括：

获取单监测点或多监测点在指定时间点的特定量测指标的电能质量数据；

用行过滤量测指标、时间戳前缀、时间戳掩码、粒度、监测点或监测点集合、相别、谐波次数、列检索时间戳偏移和值类型确定数据位置。

进一步的，按断面的检索包括：

获取单监测点或多监测点在指定时间点的所有量测指标的电能质量数据；

用过滤时间戳前缀、时间戳掩码、粒度、监测点或监测点集合、相别、谐波次数、列检索时间戳偏移和值类型确定数据位置。

进一步的，按序列的检索包括：

获取单监测点或多监测点的量测指标在指定时间段内所有的电能质量数据；

用行过滤量测指标、时间戳前缀、监测点或监测点集合、粒度、相别、谐波次数确定数据位置。

与最接近的现有技术比，本发明提供的技术方案具有以下优异效果：

1)本发明提供的技术方案对时间序列的电能质量数据进行网格式存储，有效提高存储效率和检索效率。

2)本发明提供的技术方案面向电能质量业务分析构建存储和检索模型，有效提高数据块存取效率。

3)本发明提供的技术方案的存储和检索模型可以支持多种实现形式，如文件系统、数据库和HBase等形式。

附图说明

图1是本发明提供的量测数据存储模型。

具体实施方式

以下将结合说明书附图，并以具体实施例的方式详细说明本发明提供的技术方案。

本发明提供的技术方案包括两个部分：首先，提出了一种多层次网状量测数据存储模型和存储方法，既可以存储带时间戳的全息实时电力等暂态数据，也可以存储不同统计粒度的稳态数据；其次，在存储模型之上的检索方法依据常规报表生成需求进行优化以便于快速组织相关数据，可检索数据至少包括某时间点的数据、某断面数据、某序列等。

1.储存模型和存储方法

电能质量量测数据采用一种灵活的扁平化网状式逻辑结构存储，量测指标、时间戳前缀、时间戳掩码、粒度、监测点、相别、谐波次数组成行标，时间戳偏移量为列标，如图1的量测数据存储模型所示。下面对照该存储模型，对本发明提出的存储方法进行详细介绍。

首先，对于要写入的电能质量数据进行如下步骤处理并存储：首先，将所有量测数据按量测指标分成若干行组，其中量测指标类型主要包括电压偏差值、电压合格率、频率偏差值、频率合格率、电压总谐波畸变率值、电压总畸变率合格率、电压负序不平衡度值、长闪值、2～25次(间)谐波电压合格率、电压负序不平衡度合格率、长闪合格率等；

然后每个行组根据量测数据的时间戳前缀划分成更细粒度的行组，时间戳前缀是指时间戳的前M位数字，M根据具体业务分析时间段粒度需求指定，时间戳掩码即为前M位的掩码；然后依次根据粒度、监测点、相别、谐波次数划分为不同的行；

最后，对于每一行按时间戳偏移量和值类型指定具体的列，其中时间戳偏移是指紧跟时间戳前缀的剩余数字；最后将量测值储存于行列标对应的数据块即可。

2.检索方法

针对上述存储模型，根据电能质量业务分析需求，可检索数据方式至少包括检索某时间点、某断面、某序列的电能质量数据等常用场景。

检索某时间点电能质量数据，是指获取单监测点或多监测点的某一时间点的某个量测指标的电能质量数据，通过行过滤量测指标、时间戳前缀、时间戳掩码、粒度、监测点(如果是多监测点，则过滤的是监测点集合)、相别、谐波次数和列检索时间戳偏移、值类型来确定数据位置，从而获取相应电能质量数据。

检索断面数据，是指获取单监测点或多监测点的某一时间点的所有量测指标的电能质量数据，它通过滤时间戳前缀、时间戳掩码、粒度、监测点(如果是多监测点，则过滤的是监测点集合)、相别、谐波次数和列检索时间戳偏移、值类型来确定数据位置，从而获取相应电能质量数据。

检索某序列数据，是指获取单监测点或多监测点的某一量测指标在某时间段内的所有数据的，它通过行过滤量测指标、时间戳前缀、监测点(如果是多监测点，则过滤的是监测点集合)、粒度、相别、谐波次数来确定数据位置，从而获取相应电能质量数据。

除以上常用检索场景，还可以包括获取某一统计粒度数据断面、某次谐波数据断面等。

实施例

本发明的具体实施包括但不限于数据库、文件模式、HBASE等形式。

下面给出一种基于HBASE的实施例：

1.表设计

基于HBASE的电能质量数据存储结构至少包括UID映射表、量测数据表两个表。UID映射表存储行、列键与编码的映射。量测数据表存储具体的量测数据，其行键是固定顺序和宽度的字符串，它按照量测指标编码、时间戳前缀、时间戳掩码、粒度编码、监测点编码、相别编码、谐波次数顺序组织，其列族是时间戳偏移量，列限定符至少包括值类型，还可根据其他分析需求增加列限定符，值类型至少包括最大值、最小值、平均值、95概率最大值等。

2.检索

HBase的数据是以列族方式组织储存，检索断面和序列的数据更具性能优势。

对于检索某时间点的电能质量数据，应用bloom过滤行键行过滤量测指标、时间戳前缀和列过滤监测点(如果是多监测点，则过滤的是监测点集合)、统计粒度、谐波次数和直接列键检索时间戳偏移量和值类型完成数据位置索引，从而在相应位置获取所需数据。

对于检索断面数据，应用bloom过滤行键时间戳前缀、时间戳掩码、粒度、监测点(如果是多监测点，则过滤的是监测点集合)、相别、谐波次数和列检索时间戳偏移、值类型来确定数据位置，从而获取相应电能质量数据。

对于检索某序列数据，应用bloom过滤行键量测指标、时间戳前缀、监测点(如果是多监测点，则过滤的是监测点集合)、粒度、相别、谐波次数来确定数据位置，从而获取相应电能质量数据。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种电能质量数据的存储方法，其特征在于，所述方法包括：

将电能质量数据划分为行和列；

将已划分的数据用数据块形式存储于网格式逻辑结构图。

2.如权利要求1所述的存储方法，其特征在于，将电能质量数据划分为行和列的方法包括：

(1)将量测数据按量测指标分为行组；

(2)根据量测数据的时间戳前缀将行组划分成次级行组；

(3)按粒度、监测点、相别、谐波次数划分为行；

(4)将各行数据按时间戳偏移量和数值类型划分到列。

3.如权利要求1所述的存储方法，其特征在于，将量测值存储于行标和列标确定的数据块；

所述网格式逻辑结构图包括行标、列标和数据块；

所述行标包括：量测指标、时间戳前缀、时间戳掩码、粒度、监测点、相别和谐波次数；

所述列标包括：时间戳偏移量、值类型。

4.如权利要求3所述的存储方法，其特征在于，所述量测指标包括：

电压偏差值、电压合格率、频率偏差值、频率合格率、电压总谐波畸变率值、电压总畸变率合格率、电压负序不平衡度值、长闪值、2～25次谐波电压合格率、电压负序不平衡度合格率、长闪合格率。

5.如权利要求1所述的存储方法，其特征在于，所述存储方法用于存储数据库、文件模式和HBASE形式的电能质量数据。

6.一种电能质量数据的检索方法，其特征在于，所述检索方法包括：

根据选定的检索方式检索存储模型中的数据；

根据检索方式的行标和列标与存储模型逐一匹配确定数据所在数据块。

7.如权利要求6所述的检索方法，其特征在于，所述检索方式包括按时间点、断面和序列检索；

所述检索方法应用于数据库、文件模式、HBASE形式的电能质量数据检索。

8.如权利要求6所述的检索方法，其特征在于，按时间点的检索方式包括：

获取单监测点或多监测点在指定时间点的特定量测指标的电能质量数据；

用行过滤量测指标、时间戳前缀、时间戳掩码、粒度、监测点或监测点集合、相别、谐波次数、列检索时间戳偏移和值类型确定数据位置。

9.如权利要求6所述的检索方法，其特征在于，

所述按断面检索的方式又包括：规定统计粒度数据断面和N次谐波数据断面；

按断面的检索方式包括：

获取单监测点或多监测点在指定时间点的所有量测指标的电能质量数据；

用过滤时间戳前缀、时间戳掩码、粒度、监测点或监测点集合、相别、谐波次数、列检索时间戳偏移和值类型确定数据位置。

10.如权利要求6所述的检索方法，其特征在于，按序列的检索方式包括：

获取单监测点或多监测点的量测指标在指定时间段内所有的电能质量数据；

用行过滤量测指标、时间戳前缀、监测点或监测点集合、粒度、相别、谐波次数确定数据位置。