CN113722280B - 一种针对海量电力网络大数据的存储分析方法 - Google Patents
一种针对海量电力网络大数据的存储分析方法 Download PDFInfo
- Publication number
- CN113722280B CN113722280B CN202110934464.XA CN202110934464A CN113722280B CN 113722280 B CN113722280 B CN 113722280B CN 202110934464 A CN202110934464 A CN 202110934464A CN 113722280 B CN113722280 B CN 113722280B
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- big data
- massive
- power network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 97
- 238000004458 analytical method Methods 0.000 title claims abstract description 17
- 238000005192 partition Methods 0.000 claims abstract description 36
- 239000000872 buffer Substances 0.000 claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 19
- 239000007787 solid Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000003780 insertion Methods 0.000 claims description 4
- 230000037431 insertion Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008520 organization Effects 0.000 claims 1
- 238000007726 management method Methods 0.000 abstract description 32
- 230000004044 response Effects 0.000 abstract description 7
- 238000013523 data management Methods 0.000 abstract description 4
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000012536 storage buffer Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种针对海量电力网络大数据的存储分析方法，步骤一、并进行解析分类大数据，步骤二、异常指标数据展示提醒，步骤三、建立第一缓冲层并存储结构化数据，步骤四、建立第二缓冲层并存储半结构化和非结构化数据，步骤五、基于Neo4j构建全景数据库，步骤六、建立数据分区管理模块，步骤七、建立高效索引方法；本发明建立第一缓冲层和第二缓冲层对海量大数据进行缓冲存储，利用分布式存储模型的特性，用多台服务器分担存储负荷，提高了存储性能，分布式文件系统HDFS和数据分区管理模块，对海量大数据进行分布式存储和多向分区有效管理，建立高效索引方法极大地缩短了存储和后期查询的响应时间，降低了数据管理难度。
Description
技术领域
本发明涉及电力网络大数据技术领域，尤其涉及一种针对海量电力网络大数据的存储分析方法。
背景技术
信息技术的飞速发展以及广泛的应用，使得电力生产企业、交易部门及用户使用物联网和互联网积累了大量的数据，随着数据库应用的规模、范围不断地扩大，电力管理部门及相关企业利用计算机管理事务能力的增强，产生了庞大的大规模数据集，将如此庞大的数据集采集并存储到服务器上是非常复杂的，原本很多数据采集算法在数据集规模较小时尚能取得不错的采集效果，但是针对大规模数据集，计算量非常复杂，采集存储非常麻烦；
现有的传统技术数据处理能力将电力大数据统一进行存储，不但增加了存储器的负载，而且无法对大量的电力数据进行合理规划整理，同时简单的索引会为后期的管理查询造成较大的麻烦，因此，本发明提出一种针对海量电力网络大数据的存储分析方法以解决现有技术中存在的问题。
发明内容
针对上述问题，本发明的目的在于提出一种针对海量电力网络大数据的存储分析方法，该针对海量电力网络大数据的存储分析方法建立第一缓冲层和第二缓冲层对海量大数据进行缓冲存储，利用分布式存储模型的特性，用多台服务器分担存储负荷，提高了存储性能，分布式文件系统HDFS和数据分区管理模块，对海量大数据进行分布式存储和多向分区有效管理，建立高效索引方法在对局部数据建立索引的基础上再次建立全局索引，极大地缩短了存储和后期查询的响应时间，降低了数据管理难度。
为实现本发明的目的，本发明通过以下技术方案实现：一种针对海量电力网络大数据的存储分析方法，包括以下步骤：
步骤一、利用分布式存储模型将从客户端采集得到的海量电力网络大数据进行暂存，并将大数据初步解析分类成结构化数据、半结构化数据和非结构化数据后进行加密处理；
步骤二、对采集的数据初步解析后将其中的一些异常指标数据进行提取后单独导出对比，并将异常指标数据输出展示；
步骤三、基于分布式文件系统HDFS中建立第一缓冲层，将加密后的结构化数据存储至基于HDFS的Hive数据仓库中；
步骤四、基于分布式文件系统HDFS中建立第二缓冲层，将加密后的松散半结构化数据和非结构化数据存储至基于HDFS的分布式数据库HBase中；
步骤五、基于Neo4j构建电网的全景数据库，根据电力网络拓扑建立设备映射表,将分布式文件系统HDFS中分散、隔离的海量结构化数据、半结构化数据和非结构化数据有序地整合；
步骤六、在全景数据库中建立数据分区管理模块，分成水平分区管理和垂直分区管理进行内部整理；
步骤七、建立基于双层索引模型的高效索引方法，并基于互联网云平台提供存储查询的访问服务。
进一步改进在于：所述步骤一中分布式存储模型是利用多台服务器分担存储负荷，同时后期通过扩展进一步提升分布式存储模型的存储性能。
进一步改进在于：所述步骤二中对异常指标数据展示的同时及时发出警示，提醒相关人员密切关注，必要时对异常指标数据实行跟踪并及时做出相关处理。
进一步改进在于：所述步骤三和步骤四中分布式文件系统HDFS是高容错性的分布式文件系统，部署在廉价的机器上以提供高吞吐量的数据访问，适合应用在大规模数据集上。
进一步改进在于：所述步骤三中的第一缓冲层是基于DRAM和固态硬盘的多元化存储介质缓存结构，根据访问方式将访问数据划分为读数据和写数据，DRAM存储器即存储读数据也存储写数据，固态硬盘只存储写数据，写数据在存入DRAM存储器的同时也被固态硬盘存入。
进一步改进在于：所述步骤四中的第二缓冲层是基于并行执行引擎的存储缓存结构，对松散半结构化数据和非结构化数据进行缓存，减小分布式数据库HBase的存储负荷。
进一步改进在于：所述并行执行引擎是将一个存储或读取操作划分为多个相互独立的存储或读取操作并执行，执行完成后将结果汇总。
进一步改进在于：所述步骤五中Neo4j是围绕图进行电力网络大数据建模，以“节点空间”来表达电力领域大数据，其会用和传统的关系数据库相同的速度遍历节点与边。
进一步改进在于：所述步骤六中建立数据分区管理模块的水平分区管理和垂直分区管理以适应存储和访问同一记录的或存储和访问不同记录的同一属性的操作，缩短操作响应时间。
进一步改进在于：所述步骤七中的基于双层索引模型建立高效索引方法是在对局部数据建立索引的基础上,对局部数据实际存储范围建立全局索引,提高数据查询、插入操作的时间性能，所述步骤六中存储查询的访问服务是通过互联网云平台接收系统和用户对电力大数据的存储查询请求，通过SQL语句和复杂的存储查询接口，来调用相关语句去执行存储查询的操作。
本发明的有益效果为：
(1)本发明建立第一缓冲层和第二缓冲层对海量大数据进行缓冲存储，有效的降低了大数据统一存储时造成的存储负荷，利用分布式存储模型的特性，利用多台服务器分担存储负荷，提高了存储性能；
(2)本发明分布式文件系统HDFS和数据分区管理模块，对海量大数据进行分布式存储和多向分区有效管理，极大地缩短了存储和后期查询的响应时间；
(3)本发明基于双层索引模型建立高效索引方法在对局部数据建立索引的基础上再次建立全局索引，双重索引同时生效，大大提高了数据存储和查询的效率，降低了数据管理难度。
附图说明
图1为本发明实施例1流程图。
图2为本发明实施例2流程图。
图3为本发明步骤一的数据分类架构图。
图4为本发明实施例1的步骤三和步骤四的存储架构图。
图5为本发明实施例2的步骤三存储架构图。
图6为本发明步骤五数据分区管理模块构成图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
实施例1
根据图1、3、4、6所示，本实施例提供了一种针对海量电力网络大数据的存储分析方法，包括以下步骤：
步骤一、利用分布式存储模型将从客户端采集得到的海量电力网络大数据进行暂存，并将大数据初步解析分类成结构化数据、半结构化数据和非结构化数据后进行加密处理；
步骤二、对采集的数据初步解析后将其中的一些异常指标数据进行提取后单独导出对比，并将异常指标数据输出展示；
步骤三、基于分布式文件系统HDFS中建立第一缓冲层，将加密后的结构化数据存储至基于HDFS的Hive数据仓库中；
步骤四、基于分布式文件系统HDFS中建立第二缓冲层，将加密后的松散半结构化数据和非结构化数据存储至基于HDFS的分布式数据库HBase中；
步骤五、基于Neo4j构建电网的全景数据库，根据电力网络拓扑建立设备映射表,将分布式文件系统HDFS中分散、隔离的海量结构化数据、半结构化数据和非结构化数据有序地整合；
步骤六、在全景数据库中建立数据分区管理模块，分成水平分区管理和垂直分区管理进行内部整理；
步骤七、建立基于双层索引模型的高效索引方法，并基于互联网云平台提供存储查询的访问服务。
所述步骤一中分布式存储模型是利用多台服务器分担存储负荷，同时后期通过扩展进一步提升分布式存储模型的存储性能。
所述步骤二中对异常指标数据展示的同时及时发出警示，提醒相关人员密切关注，必要时对异常指标数据实行跟踪并及时做出相关处理
所述步骤三和步骤四中分布式文件系统HDFS是高容错性的分布式文件系统，部署在廉价的机器上以提供高吞吐量的数据访问，适合应用在大规模数据集上。
所述步骤三中的第一缓冲层是基于DRAM和固态硬盘的多元化存储介质缓存结构，根据访问方式将访问数据划分为读数据和写数据，DRAM存储器即存储读数据也存储写数据，固态硬盘只存储写数据，写数据在存入DRAM存储器的同时也被固态硬盘存入。
所述步骤四中的第二缓冲层是基于并行执行引擎的存储缓存结构，对松散半结构化数据和非结构化数据进行缓存，减小分布式数据库HBase的存储负荷，其中所述并行执行引擎是将一个存储或读取操作划分为多个相互独立的存储或读取操作并执行，执行完成后将结果汇总。
所述步骤五中Neo4j是围绕图进行电力网络大数据建模，以“节点空间”来表达电力领域大数据，其会用和传统的关系数据库相同的速度遍历节点与边。
所述步骤六中建立数据分区管理模块的水平分区管理和垂直分区管理以适应存储和访问同一记录的或存储和访问不同记录的同一属性的操作，缩短操作响应时间。
所述步骤七中的基于双层索引模型建立高效索引方法是在对局部数据建立索引的基础上,对局部数据实际存储范围建立全局索引,提高数据查询、插入操作的时间性能，所述步骤七中存储查询的访问服务是通过互联网云平台接收系统和用户对电力大数据的存储查询请求，通过SQL语句和复杂的存储查询接口，来调用相关语句去执行存储查询的操作。
实施例2
根据图2、3、5、6所示，本实施例提供了一种针对海量电力网络大数据的存储分析方法，包括以下步骤：
步骤一、利用分布式存储模型将从客户端采集得到的海量电力网络大数据进行暂存，并将大数据初步解析分类成结构化数据、半结构化数据和非结构化数据后进行加密处理；
步骤二、对采集的数据初步解析后将其中的一些异常指标数据进行提取后单独导出对比，并将异常指标数据输出展示；
步骤三、基于分布式文件系统HDFS中建立缓冲层，将加密后的结构化数据存储至基于HDFS的Hive数据仓库中，将加密后的松散半结构化数据和非结构化数据存储至基于HDFS的分布式数据库HBase中；
步骤四、基于Neo4j构建电网的全景数据库，根据电力网络拓扑建立设备映射表,将分布式文件系统HDFS中分散、隔离的海量结构化数据、半结构化数据和非结构化数据有序地整合；
步骤五、在全景数据库中建立数据分区管理模块，分成水平分区管理和垂直分区管理进行内部整理；
步骤六、建立基于双层索引模型的高效索引方法，并基于互联网云平台提供存储查询的访问服务。
所述步骤一中分布式存储模型是利用多台服务器分担存储负荷，同时后期通过扩展进一步提升分布式存储模型的存储性能。
所述步骤二中对异常指标数据展示的同时及时发出警示，提醒相关人员密切关注，必要时对异常指标数据实行跟踪并及时做出相关处理。
所述步骤三中分布式文件系统HDFS是高容错性的分布式文件系统，部署在廉价的机器上以提供高吞吐量的数据访问，适合应用在大规模数据集上。
所述步骤三中的缓冲层是基于并行执行引擎的存储缓存结构，对结构化数据、松散半结构化数据和非结构化数据进行缓存，减小Hive数据仓库和分布式数据库HBase的存储负荷，其中所述并行执行引擎是将一个存储或读取操作划分为多个相互独立的存储或读取操作并执行，执行完成后将结果汇总。
所述步骤四中Neo4j是围绕图进行电力网络大数据建模，以“节点空间”来表达电力领域大数据，其会用和传统的关系数据库相同的速度遍历节点与边。
所述步骤五中建立数据分区管理模块的水平分区管理和垂直分区管理以适应存储和访问同一记录的或存储和访问不同记录的同一属性的操作，缩短操作响应时间。
所述步骤六中的基于双层索引模型建立高效索引方法是在对局部数据建立索引的基础上,对局部数据实际存储范围建立全局索引,提高数据查询、插入操作的时间性能；存储查询的访问服务是通过互联网云平台接收系统和用户对电力大数据的存储查询请求，通过SQL语句和复杂的存储查询接口，来调用相关语句去执行存储查询的操作。
本发明建立第一缓冲层和第二缓冲层对海量大数据进行缓冲存储，有效的降低了大数据统一存储时造成的存储负荷，利用分布式存储模型的特性，利用多台服务器分担存储负荷，提高了存储性能；
本发明分布式文件系统HDFS和数据分区管理模块，对海量大数据进行分布式存储和多向分区有效管理，极大地缩短了存储和后期查询的响应时间；
本发明基于双层索引模型建立高效索引方法在对局部数据建立索引的基础上再次建立全局索引，双重索引同时生效，大大提高了数据存储和查询的效率，降低了数据管理难度。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.一种针对海量电力网络大数据的存储分析方法，其特征在于，包括以下步骤：
步骤一、利用分布式存储模型将从客户端采集得到的海量电力网络大数据进行暂存，并将大数据初步解析分类成结构化数据、半结构化数据和非结构化数据后进行加密处理；
步骤二、对采集的数据初步解析后将其中的一些异常指标数据进行提取后单独导出对比，并将异常指标数据输出展示；
步骤三、基于分布式文件系统HDFS中建立第一缓冲层，将加密后的结构化数据存储至基于HDFS的Hive数据仓库中；所述第一缓冲层是基于DRAM和固态硬盘的多元化存储介质缓存结构；
步骤四、基于分布式文件系统HDFS中建立第二缓冲层，将加密后的松散半结构化数据和非结构化数据存储至基于HDFS的分布式数据库HBase中；所述第二缓冲层是基于并行执行引擎的存储缓存结构，对松散半结构化数据和非结构化数据进行缓存；
步骤五、基于Neo4j构建电网的全景数据库，Neo4j是围绕图进行电力网络大数据建模，以节点空间来表达电力领域大数据，其会用和传统的关系数据库相同的速度遍历节点与边；根据电力网络拓扑建立设备映射表，将分布式文件系统HDFS中分散、隔离的海量结构化数据、半结构化数据和非结构化数据有序地整合；
步骤六、在全景数据库中建立数据分区管理模块，分成水平分区管理和垂直分区管理进行内部整理；建立所述数据分区管理模块的水平分区管理和垂直分区管理以适应存储和访问同一记录的或存储和访问不同记录的同一属性的操作；
步骤七、建立基于双层索引模型的高效索引方法，并基于互联网云平台提供存储查询的访问服务。
2.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：
所述步骤一中分布式存储模型是利用多台服务器分担存储负荷，同时后期通过扩展进一步提升分布式存储模型的存储性能。
3.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：
所述步骤二中对异常指标数据展示的同时及时发出警示，提醒相关人员密切关注，对异常指标数据实行跟踪并及时做出相关处理。
4.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：
所述步骤三和步骤四中分布式文件系统HDFS是高容错性的分布式文件系统，部署在廉价的机器上以提供高吞吐量的数据访问，适合应用在大规模数据集上。
5.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：
所述步骤三中的DRAM存储器即存储读数据也存储写数据，固态硬盘只存储写数据，写数据在存入DRAM存储器的同时也被固态硬盘存入。
6.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：
所述并行执行引擎是将一个存储或读取操作划分为多个相互独立的存储或读取操作并执行，执行完成后将结果汇总。
7.根据权利要求1所述的一种针对海量电力网络大数据的存储分析方法，其特征在于：
所述步骤七中的基于双层索引模型建立高效索引方法，是在对局部数据建立索引的基础上，对局部数据实际存储范围建立全局索引，提高数据查询、插入操作的时间性能，
所述步骤七中存储查询的访问服务是通过互联网云平台接收系统和用户对电力大数据的存储查询请求，通过SQL语句和复杂的存储查询接口，来调用相关语句去执行存储查询的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110934464.XA CN113722280B (zh) | 2021-08-16 | 2021-08-16 | 一种针对海量电力网络大数据的存储分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110934464.XA CN113722280B (zh) | 2021-08-16 | 2021-08-16 | 一种针对海量电力网络大数据的存储分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113722280A CN113722280A (zh) | 2021-11-30 |
| CN113722280B true CN113722280B (zh) | 2025-01-24 |
Family
ID=78675933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110934464.XA Active CN113722280B (zh) | 2021-08-16 | 2021-08-16 | 一种针对海量电力网络大数据的存储分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113722280B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102467570A (zh) * | 2010-11-17 | 2012-05-23 | 日电（中国）有限公司 | 用于分布式数据仓库的连接查询系统和方法 |
| CN104820670A (zh) * | 2015-03-13 | 2015-08-05 | 国家电网公司 | 一种电力信息大数据的采集和存储方法 |
| CN113190645A (zh) * | 2021-05-31 | 2021-07-30 | 国家电网有限公司大数据中心 | 一种索引结构建立方法、装置、设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440290A (zh) * | 2013-08-16 | 2013-12-11 | 曙光信息产业股份有限公司 | 大数据加载系统和方法 |
| US20160267132A1 (en) * | 2013-12-17 | 2016-09-15 | Hewlett-Packard Enterprise Development LP | Abstraction layer between a database query engine and a distributed file system |
| CN110633259A (zh) * | 2019-08-06 | 2019-12-31 | 南京南瑞信息通信科技有限公司 | 基于hdfs的故障推送系统 |
| CN110888861A (zh) * | 2019-11-12 | 2020-03-17 | 上海麦克风文化传媒有限公司 | 一种新型大数据存储方法 |
| CN112905854A (zh) * | 2021-03-05 | 2021-06-04 | 北京中经惠众科技有限公司 | 数据处理方法、装置、计算设备及存储介质 |
-
2021
- 2021-08-16 CN CN202110934464.XA patent/CN113722280B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102467570A (zh) * | 2010-11-17 | 2012-05-23 | 日电（中国）有限公司 | 用于分布式数据仓库的连接查询系统和方法 |
| CN104820670A (zh) * | 2015-03-13 | 2015-08-05 | 国家电网公司 | 一种电力信息大数据的采集和存储方法 |
| CN113190645A (zh) * | 2021-05-31 | 2021-07-30 | 国家电网有限公司大数据中心 | 一种索引结构建立方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113722280A (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109582717B (zh) | 一种面向电力大数据的数据库统一平台及其读取方法 | |
| Gupta et al. | Cloud computing and big data analytics: what is new from databases perspective? | |
| Ji et al. | Big data processing in cloud computing environments | |
| CN106372114B (zh) | 一种基于大数据的联机分析处理系统和方法 | |
| CN102012912B (zh) | 一种基于云计算环境的非结构化数据的管理方法 | |
| CN111475509A (zh) | 一种基于大数据的用户画像和多维分析系统 | |
| CN102663114A (zh) | 面向并发olap的数据库查询处理方法 | |
| CN107451233B (zh) | 时间属性优先的时空轨迹数据文件在辅助存储设备中的存储方法 | |
| Mohammed et al. | A review of big data environment and its related technologies | |
| CN105405070A (zh) | 一种分布式内存电网系统构建方法 | |
| CN109783441A (zh) | 基于Bloom Filter的海量数据查询方法 | |
| JP2019511039A (ja) | 光ディスクに基づく異種データベース記憶システム及びそれを用いた方法 | |
| CN110287391A (zh) | 基于Hadoop的多层次轨迹数据存储方法、存储介质和终端 | |
| CN114443615A (zh) | 数据库管理系统、相关装置、方法和介质 | |
| El Bousty et al. | Investigating business intelligence in the era of big data: Concepts, benefits and challenges | |
| Gaurav et al. | An outline on big data and big data analytics | |
| Kumar et al. | Big data and analytics: issues, challenges, and opportunities | |
| CN113722280B (zh) | 一种针对海量电力网络大数据的存储分析方法 | |
| Wu et al. | Storage and retrieval of massive heterogeneous IoT data based on hybrid storage | |
| Dong et al. | Research on architecture of power big data high-speed storage system for energy interconnection | |
| WO2024108639A1 (zh) | 一种基于多维度特征的数据管理方法和装置 | |
| Sharma et al. | A comparative study of big data processing: Hadoop vs. spark | |
| Chen | Analysis of synchronized storage method for multimedia key areas based on machine learning | |
| Gadepally et al. | Technical Report: Developing a Working Data Hub | |
| CN115795180B (zh) | 一种基于社交网络分析用户社交关系的轻量级方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |