CN103593486B - 一种电能质量海量数据存储及读取方法 - Google Patents
一种电能质量海量数据存储及读取方法 Download PDFInfo
- Publication number
- CN103593486B CN103593486B CN201310656313.8A CN201310656313A CN103593486B CN 103593486 B CN103593486 B CN 103593486B CN 201310656313 A CN201310656313 A CN 201310656313A CN 103593486 B CN103593486 B CN 103593486B
- Authority
- CN
- China
- Prior art keywords
- data
- quality
- power supply
- key
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013500 data storage Methods 0.000 title claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 25
- 238000012806 monitoring device Methods 0.000 claims description 5
- 238000007726 management method Methods 0.000 abstract description 10
- 235000019580 granularity Nutrition 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- BYACHAOCSIPLCM-UHFFFAOYSA-N 2-[2-[bis(2-hydroxyethyl)amino]ethyl-(2-hydroxyethyl)amino]ethanol Chemical group OCCN(CCO)CCN(CCO)CCO BYACHAOCSIPLCM-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种电能质量海量数据存储及读取方法，所述方法包括：（1）将电能质量海量数据采用键值对形式存储；（2）将键值对以序列化的方式存储在文件中；（3）实时数据写入时，根据设备ID定位该监测点数据区，通过指针定位监测数据的相应存储区；（4）根据所要获取数据的指标类别码，读取记录槽中的相应数据。本发明中键值对存储方式将每个数据文件都切割成数据块进行存储，对数据库中数据访问都是以数据块作为最小单位，提高了系统访问速度，数据文件管理和存取方式充分考虑了电能质量数据多指标、多粒度的特点，以及电能质量数据应用需求。
Description
技术领域
本发明属于电力系统，具体讲涉及一种电能质量海量数据存储及读取方法。
背景技术
随着电能质量监测系统发展，监测点规模不断扩大，监测数据容量越来越大，现有的关系型数据库无法满足数量和并发量的增长需求。目前主流的实时数据库，将数据常驻内存，可实现海量数据的快速访问。针对电能质量监测数据特点，建立适用于实时数据库的数据模型和数据处理方法，将提高电能质量监测系统的海量数据处理和高速并发访问能力。
发明内容
针对现有技术的不足，本发明提供一种电能质量海量数据存储及读取方法，本发明适用于实时数据库管理的电能质量数据存储及读取方法，基于键值对的电能质量数据存储方式，适用于电能质量实时数据库的数据文件管理和内存管理模式，适用于海量电能质量数据存取管理方式。
本发明的目的是采用下述技术方案实现的：
一种电能质量海量数据存储及读取方法，其改进之处在于，所述方法包括
（1）将电能质量海量数据采用键值对形式存储；
（2）将键值对以序列化的方式存储在文件中；
（3）实时数据写入时，根据设备ID定位该监测点数据区，通过指针定位监测数据的相应存储区；
（4）根据所要获取数据的指标类别码，读取记录槽中的相应数据。
优选的，所述步骤（1）包括键值对数据中，每个键对应一个值，将电能质量监测设备ID作为键；此设备监测指标的测量值放到值的数据区中。
进一步地，所述设备监测指标的测量值包括电压偏差、频率偏差、三相不平衡、电压波动与闪变、谐波和间谐波。
进一步地，所述每个值区内，监测的测量值按指标类别进行分析和编码，通过计算偏移量快速定位数据块。
优选的，所述步骤（3）中指针包括以200毫秒、3秒、1分钟和10分钟为数据粒度的四个存储区。
优选的，所述步骤（3）包括所述实时数据写入数据带有时戳，所述时戳与数据区首部的时刻点之差小于10分钟，则直接由时间差获得数据区的偏移，可直接将数据写入内存，同时启动数据向上的聚合操作；
所述实时数据写入数据带有时戳，所述时戳与数据区首部的时刻点之差大于或等于10分钟，则起动后台线程，将此段数据区写入文件。
优选的，所述步骤（4）包括数据的存储时段按2小时来划分，每个被划分出的单元对应文件头上的某个记录槽位，所述槽位直接指向文件内的数据块。
进一步地，所述文件按年目录组织，对于跨年度的时段则读取多个目录内的文件。
与现有技术比，本发明的有益效果为：
本发明针对电能质量监测系统，提出了基于键值对的数据模型、存储管理以及海量数据存取方式。
本发明中键值对存储方式将每个数据文件都切割成数据块进行存储，对数据库中数据访问都是以数据块作为最小单位，提高了系统访问速度。
本发明中数据文件管理和存取方式充分考虑了电能质量数据多指标、多粒度的特点，以及电能质量数据应用需求。
本发明应用于电能质量监测系统，能够实现大规模数据的存储和高速并发访问。
附图说明
图1为本发明提供的一种电能质量海量数据存储及读取方法中键值对存储方式示意图。
图2为本发明提供的一种电能质量海量数据存储及读取方法中文件管理方式示意图。
图3为本发明提供的一种电能质量海量数据存储及读取方法中存储管理方式示意图。
图4为本发明提供的一种电能质量海量数据存储及读取方法中电能质量历史数据读取方式示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
1、如图1所示，本发明将电能质量数据采用键值对（key-value）形式存储，利用键值对将各监测点数据封装为索引节点，按树或列表的形式来组织索引节点，提高数据查询速度。
其中，键值对数据中，每个键（key）对应一个值（value）。键为ID，将电能质量监测设备ID作为键；此设备所有监测指标的测量值（如，电压偏差、频率偏差、三相不平衡、电压波动与闪变、谐波、间谐波等）都放到值的数据区中。在一个值区内，监测数据按指标类别进行分析和编码，通过计算偏移量快速定位数据块。
由于主流实时库对值只能进行整块区域的操作，将监测点所有指标的数据集中放入一个键值对，内存占用相对较大，为了避免频繁地读取整块值区域，在内存中建立当前值的缓冲区，仅当值区更新到尾部时才启动对数据库的写操作。
2、键值对以序列化的方式存储在文件中。利用内存和通用文件系统，通过快速计算出偏移量的方法满足应用需求。
如图2所示，文件管理方式，包括文件目录、文件结构、数据结构。文件按年组织目录，各监测点每年的数据按照数据粒度分类存储，数据粒度可分为200毫秒、3秒、1分钟、10分钟和2小时，具体设计根据实际应用情况。各个文件的内部，将1年数据按2小时为单位划分，两小时数据区按照时间顺序排列。两小时数据区内，包括该数据区类型码（200毫秒、3秒、1分钟、10分钟或2小时）、数据长度、以及每个时刻的数据。每个时刻的数据，包括各个电能质量指标的测量值，以及值的品质。
如图3所示，内存管理采用二叉树方式管理，通过操作系统的锁机制来控制对此二叉树的并发访问，通过线程池技术来完成树内数据向文件写的操作。二叉树中每个节点中，以设备ID作为键值，为200毫秒、3秒、1分钟和10分钟粒度数据划分独立的存储区域。
3、内存树数据结构存储当前十分钟内的数据，以监测设备的ID作为键值，通过指针定位该监测点的数据区，包含四个指针，分别指向以200毫秒、3秒、1分钟和10分钟为数据粒度的四个存储区。
其中，当实时数据写入时，首先找到监测设备相应的内存节点，再根据数据粒度找到相应的数据区。实时数据写入的数据带有时戳，若此时戳与数据区首部的时刻点之差小于10分钟，则直接由时间差获得数据区的偏移，可直接将数据写入内存，同时启动数据向上的聚合操作。
例如：每当写到15个200ms周期的数据时，则起动聚合操作，生成一个3秒周期的数据；类似地，再由3秒数据向1分钟周期聚合，依次类推。
其中，当实时数据写入时，实时数据写入的数据带有时戳，若此时戳与数据区首部的时刻点之差大于或等于10分钟，则起动后台线程，将此段数据区写入文件。200毫秒、3秒、1分钟、10分钟和2小时数据文件分目录存储，为便于直接往这5个文件指针中写数据，将打开这5个文件后的指针存放于该监测设备的内存节点内。文件头用于记录一年中以2小时为单位的各记录槽，槽内数值用于记录该单位时刻的数据区的偏移。根据这批数据的开始时间找到对应的槽位，将数据写入文件的尾部，同时将该段数据的偏移记录到相应的槽位内。
4、历史数据的读取为：
历史数据的存储时段按2小时来划分，每个被划分出的单元对应文件头上的某个记录槽位，而这些槽位直接指向文件内的数据块。再根据所要获取数据的指标类别码，可很快地读取记录槽所指向数据区中的相应数据，如图4所示。文件按年目录组织，对于跨年度的时段相当于读取多个目录内的文件。
本发明采用面向服务的技术为客户端软件提供服务接口，以便于应用程序的二次开发，以及数据应用的扩展。所用的接口可封装为C库接口和Web服务接口两种，C库接口采用CORBA服务总线，Web服务接口采用Apache或Web Logical等。
为保证设备ID具有全网唯一性，可将IEC61970CIM的URI映射为设备ID，并采用唯一的映射规则。各类电能质量指标的编码也应具有全网唯一性。采用面向服务的方式，通过访问服务接口为全网的用户提供统一的编码。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种电能质量海量数据存储及读取方法，其特征在于，所述方法包括
(1)将电能质量海量数据采用键值对形式存储；
(2)将键值对以序列化的方式存储在文件中；
(3)实时数据写入时，根据设备ID定位监测点数据区，通过指针定位监测数据的相应存储区；
(4)根据所要获取数据的指标类别码，读取记录槽中的相应数据；
所述步骤(3)包括所述实时数据写入数据带有时戳，所述时戳与数据区首部的时刻点之差小于10分钟，则直接由时间差获得数据区的偏移，可直接将数据写入内存，同时启动数据向上的聚合操作；
所述实时数据写入数据带有时戳，所述时戳与数据区首部的时刻点之差大于或等于10分钟，则起动后台线程，将此段数据区写入文件；
所述步骤(1)包括键值对数据中，每个键对应一个值，将电能质量监测设备ID作为键；此设备监测指标的测量值放到值的数据区中；
所述每个值区内，监测的测量值按指标类别进行分析和编码，通过计算偏移量快速定位数据块。
2.如权利要求1所述的一种电能质量海量数据存储及读取方法，其特征在于，所述设备监测指标的测量值包括电压偏差、频率偏差、三相不平衡、电压波动与闪变、谐波和间谐波。
3.如权利要求1所述的一种电能质量海量数据存储及读取方法，其特征在于，所述步骤(3)中指针包括以200毫秒、3秒、1分钟和10分钟为数据粒度的四个存储区。
4.如权利要求1所述的一种电能质量海量数据存储及读取方法，其特征在于，所述步骤(4)包括数据的存储时段按2小时来划分，每个被划分出的单元对应文件头上的某个记录槽位，所述槽位直接指向文件内的数据块。
5.如权利要求4所述的一种电能质量海量数据存储及读取方法，其特征在于，所述文件按年目录组织，对于跨年度的时段则读取多个目录内的文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310656313.8A CN103593486B (zh) | 2013-12-06 | 2013-12-06 | 一种电能质量海量数据存储及读取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310656313.8A CN103593486B (zh) | 2013-12-06 | 2013-12-06 | 一种电能质量海量数据存储及读取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103593486A CN103593486A (zh) | 2014-02-19 |
| CN103593486B true CN103593486B (zh) | 2017-11-21 |
Family
ID=50083627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310656313.8A Active CN103593486B (zh) | 2013-12-06 | 2013-12-06 | 一种电能质量海量数据存储及读取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103593486B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105606856A (zh) * | 2015-12-21 | 2016-05-25 | 南昌市科陆智能电网科技有限公司 | 一种提高电能表系统实时响应速度的方法、系统和电能表 |
| CN106095828B (zh) * | 2016-06-01 | 2019-03-29 | 积成电子股份有限公司 | 一种基于用电信息采集终端的曲线数据存储方案 |
| CN109799947A (zh) * | 2017-11-16 | 2019-05-24 | 浙江宇视科技有限公司 | 分布式存储方法及装置 |
| CN107834703A (zh) * | 2017-11-21 | 2018-03-23 | 武汉精伦电气有限公司 | 一种智能电网配电房监控管理系统及方法 |
| CN110046172B (zh) * | 2018-12-29 | 2023-07-11 | 创新先进技术有限公司 | 在线计算数据处理方法及系统 |
| CN111858478A (zh) * | 2020-07-24 | 2020-10-30 | 深圳市航天泰瑞捷电子有限公司 | 一种用电数据信息的多维度数据处理方法和装置 |
| CN112905684A (zh) * | 2021-02-22 | 2021-06-04 | 杭州海兴泽科信息技术有限公司 | 一种电力数据入库方法、装置和计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102158550A (zh) * | 2011-03-03 | 2011-08-17 | 河南电力试验研究院 | 一种基于iec61850电能质量暂态数据传输方法 |
| CN102779180A (zh) * | 2012-06-29 | 2012-11-14 | 华为技术有限公司 | 数据存储系统的操作处理方法，数据存储系统 |
| US8364677B2 (en) * | 2008-08-01 | 2013-01-29 | International Business Machines Corporation | Method and apparatus for generating partitioning keys for a range-partitioned database |
| CN103294710A (zh) * | 2012-02-28 | 2013-09-11 | 北京新媒传信科技有限公司 | 一种数据存取方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9080894B2 (en) * | 2004-10-20 | 2015-07-14 | Electro Industries/Gauge Tech | Intelligent electronic device for receiving and sending data at high speeds over a network |
-
2013
- 2013-12-06 CN CN201310656313.8A patent/CN103593486B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8364677B2 (en) * | 2008-08-01 | 2013-01-29 | International Business Machines Corporation | Method and apparatus for generating partitioning keys for a range-partitioned database |
| CN102158550A (zh) * | 2011-03-03 | 2011-08-17 | 河南电力试验研究院 | 一种基于iec61850电能质量暂态数据传输方法 |
| CN103294710A (zh) * | 2012-02-28 | 2013-09-11 | 北京新媒传信科技有限公司 | 一种数据存取方法和装置 |
| CN102779180A (zh) * | 2012-06-29 | 2012-11-14 | 华为技术有限公司 | 数据存储系统的操作处理方法，数据存储系统 |
Non-Patent Citations (3)
| Title |
|---|
| 《ETL优化技术在构建电能质量数据中心中的研究实现》;李曙光;《中国优秀硕士学位论文全文数据库信息科技辑》;20091015(第10期);论文正文第38-39页 * |
| 《Ext—扩展文件系统的研究 》;李巍;《信息系统工程》;20100820;全文 * |
| 《基于分布式键值对存储技术的EMS数据库平台》;闫湖等;《电网技术》;20120930;第36卷(第9期);第163页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103593486A (zh) | 2014-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103593486B (zh) | 一种电能质量海量数据存储及读取方法 | |
| CN105069703B (zh) | 一种电网海量数据管理方法 | |
| CN105069690B (zh) | 一种电网运行数据处理方法 | |
| Prasad et al. | Smart meter data analytics using OpenTSDB and Hadoop | |
| CN109710678B (zh) | 一种工业大数据监测管理的实时数据系统及运行方法 | |
| CN106503276A (zh) | 一种用于实时监控系统的时间序列数据库的方法与装置 | |
| CN104615526A (zh) | 一种大数据平台的监控系统 | |
| CN107766402A (zh) | 一种楼盘字典云房源大数据平台 | |
| CN104915793A (zh) | 基于大数据分析挖掘的公共信息智能分析平台 | |
| CN104391903A (zh) | 一种基于分布存储和并行计算的电网数据质量检测方法 | |
| Bach et al. | Power grid time series data analysis with pig on a hadoop cluster compared to multi core systems | |
| CN107526544A (zh) | 一种分布式存储Ceph集群硬件选型设计方法 | |
| Liu et al. | Profiling and improving i/o performance of a large-scale climate scientific application | |
| Patgiri | A taxonomy on big data: Survey | |
| Shah et al. | Performance study of time series databases | |
| CN108446985A (zh) | 证券投资组合的分享系统及方法 | |
| CN112181972A (zh) | 基于大数据的数据治理方法、装置和计算机设备 | |
| Wei et al. | A new adaptive coding selection method for distributed storage systems | |
| CN110837970A (zh) | 一种区域卫生平台质控方法和系统 | |
| CN105302912B (zh) | 一种数据存储方法及设备 | |
| Wang et al. | Smart grid time series big data processing system | |
| CN103544196A (zh) | BigBase高通量大数据在线分析软硬件一体机 | |
| Wang et al. | Cloud computing based business intelligence platform and its application in the field of intelligent power consumption | |
| Sun | [Retracted] Data Management Platform of Forest Ecological Station Based on Internet of Things and Big Data Sensor | |
| Liu et al. | Research on Meteorological Data Storage Technology Based on NetCDF |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160121 Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Applicant after: State Grid Corporation of China Applicant after: State Grid Smart Grid Institute Applicant after: Jiangsu Electric Power Company Address before: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Applicant before: State Grid Corporation of China Applicant before: State Grid Smart Grid Institute |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |