[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN103593486A - 一种电能质量海量数据存储及读取方法 - Google Patents

一种电能质量海量数据存储及读取方法 Download PDF

Info

Publication number
CN103593486A
CN103593486A CN201310656313.8A CN201310656313A CN103593486A CN 103593486 A CN103593486 A CN 103593486A CN 201310656313 A CN201310656313 A CN 201310656313A CN 103593486 A CN103593486 A CN 103593486A
Authority
CN
China
Prior art keywords
data
quality
power supply
key
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310656313.8A
Other languages
English (en)
Other versions
CN103593486B (zh
Inventor
王同勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Smart Grid Research Institute of SGCC
Original Assignee
State Grid Corp of China SGCC
Smart Grid Research Institute of SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Smart Grid Research Institute of SGCC filed Critical State Grid Corp of China SGCC
Priority to CN201310656313.8A priority Critical patent/CN103593486B/zh
Publication of CN103593486A publication Critical patent/CN103593486A/zh
Application granted granted Critical
Publication of CN103593486B publication Critical patent/CN103593486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种电能质量海量数据存储及读取方法，所述方法包括：（1）将电能质量海量数据采用键值对形式存储；（2）将键值对以序列化的方式存储在文件中；（3）实时数据写入时，根据设备ID定位该监测点数据区，通过指针定位监测数据的相应存储区；（4）根据所要获取数据的指标类别码，读取记录槽中的相应数据。本发明中键值对存储方式将每个数据文件都切割成数据块进行存储，对数据库中数据访问都是以数据块作为最小单位，提高了系统访问速度，数据文件管理和存取方式充分考虑了电能质量数据多指标、多粒度的特点，以及电能质量数据应用需求。

Description

一种电能质量海量数据存储及读取方法
技术领域
本发明属于电力系统，具体讲涉及一种电能质量海量数据存储及读取方法。
背景技术
随着电能质量监测系统发展，监测点规模不断扩大，监测数据容量越来越大，现有的关系型数据库无法满足数量和并发量的增长需求。目前主流的实时数据库，将数据常驻内存，可实现海量数据的快速访问。针对电能质量监测数据特点，建立适用于实时数据库的数据模型和数据处理方法，将提高电能质量监测系统的海量数据处理和高速并发访问能力。
发明内容
针对现有技术的不足，本发明提供一种电能质量海量数据存储及读取方法，本发明适用于实时数据库管理的电能质量数据存储及读取方法，基于键值对的电能质量数据存储方式，适用于电能质量实时数据库的数据文件管理和内存管理模式，适用于海量电能质量数据存取管理方式。
本发明的目的是采用下述技术方案实现的：
一种电能质量海量数据存储及读取方法，其改进之处在于，所述方法包括
（1）将电能质量海量数据采用键值对形式存储；
（2）将键值对以序列化的方式存储在文件中；
（3）实时数据写入时，根据设备ID定位该监测点数据区，通过指针定位监测数据的相应存储区；
（4）根据所要获取数据的指标类别码，读取记录槽中的相应数据。
优选的，所述步骤（1）包括键值对数据中，每个键对应一个值，将电能质量监测设备ID作为键；此设备监测指标的测量值放到值的数据区中。
进一步地，所述设备监测指标的测量值包括电压偏差、频率偏差、三相不平衡、电压波动与闪变、谐波和间谐波。
进一步地，所述每个值区内，监测的测量值按指标类别进行分析和编码，通过计算偏移量快速定位数据块。
优选的，所述步骤（3）中指针包括以200毫秒、3秒、1分钟和10分钟为数据粒度的四个存储区。
优选的，所述步骤（3）包括所述实时数据写入数据带有时戳，所述时戳与数据区首部的时刻点之差小于10分钟，则直接由时间差获得数据区的偏移，可直接将数据写入内存，同时启动数据向上的聚合操作；
所述实时数据写入数据带有时戳，所述时戳与数据区首部的时刻点之差大于或等于10分钟，则起动后台线程，将此段数据区写入文件。
优选的，所述步骤（4）包括数据的存储时段按2小时来划分，每个被划分出的单元对应文件头上的某个记录槽位，所述槽位直接指向文件内的数据块。
进一步地，所述文件按年目录组织，对于跨年度的时段则读取多个目录内的文件。
与现有技术比，本发明的有益效果为：
本发明针对电能质量监测系统，提出了基于键值对的数据模型、存储管理以及海量数据存取方式。
本发明中键值对存储方式将每个数据文件都切割成数据块进行存储，对数据库中数据访问都是以数据块作为最小单位，提高了系统访问速度。
本发明中数据文件管理和存取方式充分考虑了电能质量数据多指标、多粒度的特点，以及电能质量数据应用需求。
本发明应用于电能质量监测系统，能够实现大规模数据的存储和高速并发访问。
附图说明
图1为本发明提供的一种电能质量海量数据存储及读取方法中键值对存储方式示意图。
图2为本发明提供的一种电能质量海量数据存储及读取方法中文件管理方式示意图。
图3为本发明提供的一种电能质量海量数据存储及读取方法中存储管理方式示意图。
图4为本发明提供的一种电能质量海量数据存储及读取方法中电能质量历史数据读取方式示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
1、如图1所示，本发明将电能质量数据采用键值对（key-value）形式存储，利用键值对将各监测点数据封装为索引节点，按树或列表的形式来组织索引节点，提高数据查询速度。
其中，键值对数据中，每个键（key）对应一个值（value）。键为ID，将电能质量监测设备ID作为键；此设备所有监测指标的测量值（如，电压偏差、频率偏差、三相不平衡、电压波动与闪变、谐波、间谐波等）都放到值的数据区中。在一个值区内，监测数据按指标类别进行分析和编码，通过计算偏移量快速定位数据块。
由于主流实时库对值只能进行整块区域的操作，将监测点所有指标的数据集中放入一个键值对，内存占用相对较大，为了避免频繁地读取整块值区域，在内存中建立当前值的缓冲区，仅当值区更新到尾部时才启动对数据库的写操作。
2、键值对以序列化的方式存储在文件中。利用内存和通用文件系统，通过快速计算出偏移量的方法满足应用需求。
如图2所示，文件管理方式，包括文件目录、文件结构、数据结构。文件按年组织目录，各监测点每年的数据按照数据粒度分类存储，数据粒度可分为200毫秒、3秒、1分钟、10分钟和2小时，具体设计根据实际应用情况。各个文件的内部，将1年数据按2小时为单位划分，两小时数据区按照时间顺序排列。两小时数据区内，包括该数据区类型码（200毫秒、3秒、1分钟、10分钟或2小时）、数据长度、以及每个时刻的数据。每个时刻的数据，包括各个电能质量指标的测量值，以及值的品质。
如图3所示，内存管理采用二叉树方式管理，通过操作系统的锁机制来控制对此二叉树的并发访问，通过线程池技术来完成树内数据向文件写的操作。二叉树中每个节点中，以设备ID作为键值，为200毫秒、3秒、1分钟和10分钟粒度数据划分独立的存储区域。
3、内存树数据结构存储当前十分钟内的数据，以监测设备的ID作为键值，通过指针定位该监测点的数据区，包含四个指针，分别指向以200毫秒、3秒、1分钟和10分钟为数据粒度的四个存储区。
其中，当实时数据写入时，首先找到监测设备相应的内存节点，再根据数据粒度找到相应的数据区。实时数据写入的数据带有时戳，若此时戳与数据区首部的时刻点之差小于10分钟，则直接由时间差获得数据区的偏移，可直接将数据写入内存，同时启动数据向上的聚合操作。
例如：每当写到15个200ms周期的数据时，则起动聚合操作，生成一个3秒周期的数据；类似地，再由3秒数据向1分钟周期聚合，依次类推。
其中，当实时数据写入时，实时数据写入的数据带有时戳，若此时戳与数据区首部的时刻点之差大于或等于10分钟，则起动后台线程，将此段数据区写入文件。200毫秒、3秒、1分钟、10分钟和2小时数据文件分目录存储，为便于直接往这5个文件指针中写数据，将打开这5个文件后的指针存放于该监测设备的内存节点内。文件头用于记录一年中以2小时为单位的各记录槽，槽内数值用于记录该单位时刻的数据区的偏移。根据这批数据的开始时间找到对应的槽位，将数据写入文件的尾部，同时将该段数据的偏移记录到相应的槽位内。
4、历史数据的读取为：
历史数据的存储时段按2小时来划分，每个被划分出的单元对应文件头上的某个记录槽位，而这些槽位直接指向文件内的数据块。再根据所要获取数据的指标类别码，可很快地读取记录槽所指向数据区中的相应数据，如图4所示。文件按年目录组织，对于跨年度的时段相当于读取多个目录内的文件。
本发明采用面向服务的技术为客户端软件提供服务接口，以便于应用程序的二次开发，以及数据应用的扩展。所用的接口可封装为C库接口和Web服务接口两种，C库接口采用CORBA服务总线，Web服务接口采用Apache或Web Logical等。
为保证设备ID具有全网唯一性，可将IEC61970CIM的URI映射为设备ID，并采用唯一的映射规则。各类电能质量指标的编码也应具有全网唯一性。采用面向服务的方式，通过访问服务接口为全网的用户提供统一的编码。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种电能质量海量数据存储及读取方法，其特征在于，所述方法包括
（1）将电能质量海量数据采用键值对形式存储；
（2）将键值对以序列化的方式存储在文件中；
（3）实时数据写入时，根据设备ID定位该监测点数据区，通过指针定位监测数据的相应存储区；
（4）根据所要获取数据的指标类别码，读取记录槽中的相应数据。
2.如权利要求1所述的一种电能质量海量数据存储及读取方法，其特征在于，所述步骤（1）包括键值对数据中，每个键对应一个值，将电能质量监测设备ID作为键；此设备监测指标的测量值放到值的数据区中。
3.如权利要求2所述的一种电能质量海量数据存储及读取方法，其特征在于，所述设备监测指标的测量值包括电压偏差、频率偏差、三相不平衡、电压波动与闪变、谐波和间谐波。
4.如权利要求2所述的一种电能质量海量数据存储及读取方法，其特征在于，所述每个值区内，监测的测量值按指标类别进行分析和编码，通过计算偏移量快速定位数据块。
5.如权利要求1所述的一种电能质量海量数据存储及读取方法，其特征在于，所述步骤（3）中指针包括以200毫秒、3秒、1分钟和10分钟为数据粒度的四个存储区。
6.如权利要求1所述的一种电能质量海量数据存储及读取方法，其特征在于，所述步骤（3）包括所述实时数据写入数据带有时戳，所述时戳与数据区首部的时刻点之差小于10分钟，则直接由时间差获得数据区的偏移，可直接将数据写入内存，同时启动数据向上的聚合操作；
所述实时数据写入数据带有时戳，所述时戳与数据区首部的时刻点之差大于或等于10分钟，则起动后台线程，将此段数据区写入文件。
7.如权利要求1所述的一种电能质量海量数据存储及读取方法，其特征在于，所述步骤（4）包括数据的存储时段按2小时来划分，每个被划分出的单元对应文件头上的某个记录槽位，所述槽位直接指向文件内的数据块。
8.如权利要求7所述的一种电能质量海量数据存储及读取方法，其特征在于，所述文件按年目录组织，对于跨年度的时段则读取多个目录内的文件。
CN201310656313.8A 2013-12-06 2013-12-06 一种电能质量海量数据存储及读取方法 Active CN103593486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310656313.8A CN103593486B (zh) 2013-12-06 2013-12-06 一种电能质量海量数据存储及读取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310656313.8A CN103593486B (zh) 2013-12-06 2013-12-06 一种电能质量海量数据存储及读取方法

Publications (2)

Publication Number Publication Date
CN103593486A true CN103593486A (zh) 2014-02-19
CN103593486B CN103593486B (zh) 2017-11-21

Family

ID=50083627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310656313.8A Active CN103593486B (zh) 2013-12-06 2013-12-06 一种电能质量海量数据存储及读取方法

Country Status (1)

Country Link
CN (1) CN103593486B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105606856A (zh) * 2015-12-21 2016-05-25 南昌市科陆智能电网科技有限公司 一种提高电能表系统实时响应速度的方法、系统和电能表
CN106095828A (zh) * 2016-06-01 2016-11-09 积成电子股份有限公司 一种基于用电信息采集终端的曲线数据存储方案
CN107834703A (zh) * 2017-11-21 2018-03-23 武汉精伦电气有限公司 一种智能电网配电房监控管理系统及方法
CN109799947A (zh) * 2017-11-16 2019-05-24 浙江宇视科技有限公司 分布式存储方法及装置
CN110046172A (zh) * 2018-12-29 2019-07-23 阿里巴巴集团控股有限公司 在线计算数据处理方法及系统
CN111858478A (zh) * 2020-07-24 2020-10-30 深圳市航天泰瑞捷电子有限公司 一种用电数据信息的多维度数据处理方法和装置
CN112905684A (zh) * 2021-02-22 2021-06-04 杭州海兴泽科信息技术有限公司 一种电力数据入库方法、装置和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080235355A1 (en) * 2004-10-20 2008-09-25 Electro Industries/Gauge Tech. Intelligent Electronic Device for Receiving and Sending Data at High Speeds Over a Network
CN102158550A (zh) * 2011-03-03 2011-08-17 河南电力试验研究院 一种基于iec61850电能质量暂态数据传输方法
CN102779180A (zh) * 2012-06-29 2012-11-14 华为技术有限公司 数据存储系统的操作处理方法，数据存储系统
US8364677B2 (en) * 2008-08-01 2013-01-29 International Business Machines Corporation Method and apparatus for generating partitioning keys for a range-partitioned database
CN103294710A (zh) * 2012-02-28 2013-09-11 北京新媒传信科技有限公司 一种数据存取方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080235355A1 (en) * 2004-10-20 2008-09-25 Electro Industries/Gauge Tech. Intelligent Electronic Device for Receiving and Sending Data at High Speeds Over a Network
US8364677B2 (en) * 2008-08-01 2013-01-29 International Business Machines Corporation Method and apparatus for generating partitioning keys for a range-partitioned database
CN102158550A (zh) * 2011-03-03 2011-08-17 河南电力试验研究院 一种基于iec61850电能质量暂态数据传输方法
CN103294710A (zh) * 2012-02-28 2013-09-11 北京新媒传信科技有限公司 一种数据存取方法和装置
CN102779180A (zh) * 2012-06-29 2012-11-14 华为技术有限公司 数据存储系统的操作处理方法，数据存储系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李巍: "《Ext—扩展文件系统的研究 》", 《信息系统工程》 *
李曙光: "《ETL优化技术在构建电能质量数据中心中的研究实现》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
闫湖等: "《基于分布式键值对存储技术的EMS数据库平台》", 《电网技术》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105606856A (zh) * 2015-12-21 2016-05-25 南昌市科陆智能电网科技有限公司 一种提高电能表系统实时响应速度的方法、系统和电能表
CN106095828A (zh) * 2016-06-01 2016-11-09 积成电子股份有限公司 一种基于用电信息采集终端的曲线数据存储方案
CN106095828B (zh) * 2016-06-01 2019-03-29 积成电子股份有限公司 一种基于用电信息采集终端的曲线数据存储方案
CN109799947A (zh) * 2017-11-16 2019-05-24 浙江宇视科技有限公司 分布式存储方法及装置
CN107834703A (zh) * 2017-11-21 2018-03-23 武汉精伦电气有限公司 一种智能电网配电房监控管理系统及方法
CN110046172A (zh) * 2018-12-29 2019-07-23 阿里巴巴集团控股有限公司 在线计算数据处理方法及系统
CN110046172B (zh) * 2018-12-29 2023-07-11 创新先进技术有限公司 在线计算数据处理方法及系统
CN111858478A (zh) * 2020-07-24 2020-10-30 深圳市航天泰瑞捷电子有限公司 一种用电数据信息的多维度数据处理方法和装置
CN112905684A (zh) * 2021-02-22 2021-06-04 杭州海兴泽科信息技术有限公司 一种电力数据入库方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN103593486B (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
CN103593486A (zh) 一种电能质量海量数据存储及读取方法
CA2871313C (en) Method and system for managing power grid data
CN108197181B (zh) 一种时序数据的压缩存储方法、电子设备及存储介质
CN105069703A (zh) 一种电网海量数据管理方法
CN107943831B (zh) 一种基于HBase的电网历史数据集中存储方法
CN106503276A (zh) 一种用于实时监控系统的时间序列数据库的方法与装置
Prasad et al. Smart meter data analytics using OpenTSDB and Hadoop
CN104391903A (zh) 一种基于分布存储和并行计算的电网数据质量检测方法
CN104035956A (zh) 一种基于分布式列存储的时间序列数据存储方法
CN106095828A (zh) 一种基于用电信息采集终端的曲线数据存储方案
Huang et al. The next generation operational data historian for iot based on informix
CN105868073A (zh) 一种基于时间序列分析的数据中心节能策略实现方法
CN105574074A (zh) 一种基于智能电网wams的时序大数据存储方法
Kalavri et al. Block sampling: Efficient accurate online aggregation in mapreduce
Shah et al. Performance study of time series databases
CN104731779A (zh) 一种面向实时数据库的实时文件系统数据组织管理方法
CN103368790B (zh) 一种针对电子交易系统的性能延迟监测方法及其系统
CN110134690B (zh) Oracle数据库超大数据快速存储方法及系统
WO2021179447A1 (zh) 基于分布式计算的能源数据处理方法和系统
CN112540987A (zh) 一种基于数据集市的配用电大数据管理系统
Wang et al. Smart grid time series big data processing system
CN107238764B (zh) 电力系统的电能质量监测方法和装置
CN107357915A (zh) 一种数据存储方法及系统
CN110019343A (zh) 一种新能源气象数据管理方法及系统
Pan et al. Multi-dimensional Index Construction of Electric Power Multi-source Measurement Data considering Spatio-temporal Correlation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160121

Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing

Applicant after: State Grid Corporation of China

Applicant after: State Grid Smart Grid Institute

Applicant after: Jiangsu Electric Power Company

Address before: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing

Applicant before: State Grid Corporation of China

Applicant before: State Grid Smart Grid Institute

GR01 Patent grant
GR01 Patent grant