CN106339509A - 一种基于大数据技术的电网运营数据共享系统 - Google Patents
一种基于大数据技术的电网运营数据共享系统 Download PDFInfo
- Publication number
- CN106339509A CN106339509A CN201610946389.8A CN201610946389A CN106339509A CN 106339509 A CN106339509 A CN 106339509A CN 201610946389 A CN201610946389 A CN 201610946389A CN 106339509 A CN106339509 A CN 106339509A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- technology
- analysis
- power grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 55
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 230000010354 integration Effects 0.000 claims abstract description 18
- 238000007418 data mining Methods 0.000 claims abstract description 15
- 238000007405 data analysis Methods 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000007726 management method Methods 0.000 claims description 31
- 238000003860 storage Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 239000000203 mixture Substances 0.000 claims description 9
- 238000013517 stratification Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 239000004069 plant analysis Substances 0.000 claims 1
- 230000006872 improvement Effects 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 abstract 1
- 238000013461 design Methods 0.000 description 5
- 238000013499 data model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009412 basement excavation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于大数据技术的电网运营数据共享系统，属于运营数据共享技术领域。依次包括数据源层、数据集成层、数据仓库层、数据集市层和数据应用层，所述数据源层包括各业务系统的数据，所述数据集成层接收数据源层的数据，所述数据仓库层用于实现数据的集成和共享，所述数据集市层从数据仓库层中抽取转换加载高质量数据，所述数据应用层根据业务需要以及分析决策需求，采用大数据技术进行数据挖掘和数据分析。本发明可以实现各类运营数据的全面集成和深度融合，更好的发掘数据的内在价值，促进管理的提升和业务的创新。
Description
技术领域
本发明涉及一种基于大数据技术的电网运营数据共享系统，属于运营数据共享技术领域。
背景技术
随着信息技术和智能电网的发展，电力企业对于信息资源共享与数据价值发现等技术的需求不断激增。智能变电站、智能电表、在线监测系统、现场移动检修系统、测控一体化系统等一大批服务应用系统的广泛建成，使得企业产生和积累了海量结构多样、来源复杂、规模巨大、系统独立的数据资源，造成企业数据集成与共享难度加大，直接影响数据内在知识价值发现，降低电网运营监测效率；另外，当前电网企业虽然已经建成面向不同应用需求的业务数据中心和运监数据中心，但是基于传统SOA架构的数据共享框架在数据可扩展性、容错机制和数据安全方面还略有不足，造成数据层面并未真正实现数据资源集中管控、综合治理和高度共享。因此，本发明依据电网企业数据资源管理现状，针对海量数据集成共享和数据价值挖掘等问题，研究构建了一种基于大数据技术的电网运营数据共享系统，为电网企业的正常运营管理提供科学决策和参考依据。
发明内容
针对现有技术中存在的上述缺陷，本发明提供了一种基于大数据技术的电网运营数据共享系统，可以实现各类电网运营数据的全面集成和深度融合，更好的发掘数据的内在价值，促进管理的提升和业务的创新。
本发明是通过如下技术方案来实现的：一种基于大数据技术的电网运营数据共享系统，依次包括数据源层、数据集成层、数据仓库层、数据集市层和数据应用层，所述数据源层包括各业务系统的数据，所述数据集成层为所述数据源层和数据仓库层之间的数据缓冲区，所述数据集成层接收数据源层的数据，将采集到的数据进行初步清洗、加工和计算，将经过清洗转换的数据传输到统一视图区进行统一存储，作为后续数据流转和调度的统一出口，形成的数据格式主要包括结构化数据、非结构化数据和半结构化数据；所述数据仓库层用于实现数据的集成和共享；所述数据集市层从数据仓库层中抽取转换加载高质量数据，构建面向特定应用主题的部门级数据集市，进而满足上层更加专业的分析应用需求；所述数据应用层根据业务需要以及分析决策需求，采用大数据技术进行数据挖掘和数据分析。
进一步地，所述数据源层包括实时数据、结构化数据和非结构化数据。
进一步地，所述实时数据采用Kafka消息队列实现在线采集；所述非结构化数据采用Flume技术进行数据集成，所述结构化数据通过企业服务总线（Enterprise ServiceBus，简称ESB）、Oracle Golden Gate技术(简称OGG技术)、Extract Transform Load （简称ETL）数据仓储技术、网络服务（Web Service）的方式实现与数据源层各业务系统的数据贯通，采用DXP、OGG技术实现上下级运监中心间的数据交换与共享。
进一步地，所述数据仓库层基于Hadoop组件技术构建，采用Kafka、Sqoop、Flume、Mapreduce技术实现异源异构数据、实时数据、日志数据和业务系统数据的集成与共享，所述数据仓库层包括分布式文件系统HDFS和分布式数据仓库HBase/Hive。
进一步地，所述数据应用层包括大数据挖掘分析和可视化分析，所述大数据挖掘分析提供基于流程模式的可视化数据分析功能，通过分析流程设计，实现业务之间的抽象概括，构建相应的数据挖掘模型并进行模型库管理，形成相应的分析主题发布到平台上；所述可视化分析基于业务数据模型，通过数据和图形映射，进行数图转换，通过自定义场景方式进行组织和展现，将各种分析主题场景进行组合，形成整体的分析报告，根据现有的可视化方法对数据进行可视化分析。
进一步地，电网运营数据共享系统的技术架构包括数据接入、数据存储、数据计算、数据分析和数据展示。
进一步地，基于Hadoop架构的数据共享模型从基于HDFS的元数据管理、基于“发布-订阅”的数据分发策略和数据共享运行机制三个方面展开分析，与传统的数据集成技术相融合，引入分布式存储和分布式计算思想，通过提供虚拟的全局视图模式以及数据重建和复制方式实现数据共享，利用廉价的集群扩展能力满足海量存储和高性能计算需求。
本发明所述的基于大数据技术的电网运营数据共享系统在传统的ESB和DXP等集成技术路线的基础上，引入基于Hadoop的分布式存储和处理技术思想，实现各业务系统数据集中、集成、共享、计算、分析、可视化等的有机融合，即实现各类电网运营数据的全面集成和深度融合，因此可以更好的发掘数据的内在价值，促进管理的提升和业务的创新。
附图说明
图1是本发明实施例所述数据共享系统的总体架构图；
图2是本发明实施例所述数据共享系统技术架构的示意图；
图3是本发明实施例所述数据共享系统技术架构中数据存储的示意图；
图4是本发明实施例中HDFS元数据管理机制示意图；
图5是本发明实施例中“发布-订阅”数据分发模型示意图；
图6是本发明实施例中数据共享模型运行机制示意图。
具体实施方式
下面通过非限定性的实施例并结合附图对本发明作进一步的说明：
本发明实施例提供了一种基于大数据技术的电网运营数据共享系统，从数据集成、数据共享技术架构、数据共享运行机制、数据价值发现等方面着手，构建基于Hadoop架构的企业数据共享平台，并且分析数据共享平台的总体架构和技术架构，在继承传统ESB、DXP和OGG等数据集成技术的基础上，采用分布式存储和计算技术实现各业务系统数据集中、集成、共享、计算、分析、可视化等的有机融合，从而提升对内外部数据资源整合能力和价值挖掘水平。
本实施例所述的数据共享系统以电网公司SG-CIM公共数公共信息模型为依据，进行数据共享总体架构设计，包括数据源层、数据集成层、数据仓库层、数据集市层和数据应用层，总体架构如图1所示。
数据源层主要对人资、财务、物资、营销管理、项目管理、安监管理、生产管理、基建管理、能力管理EMS、电网调度OMS、配网调度DMS、综合业务管理等业务系统所涉及到的实时数据、结构化数据、非结构化数据等进行集成和共享，构建基于大数据技术的数据管理平台，为企业进行数据挖掘和数据分析提供一定的保证。
数据集成层是数据源层和数据仓库层之间的数据缓冲区，主要负责临时存储业务系统数据，通过数据集成技术接收来自各业务系统传送的指标数据、明细数据、实时数据和线下数据，根据业务分析需要，一方面可通过ESB、OGG、ETL和Web Service等方式实现与数据源层的业务系统之间的数据贯通，另一方面采用DXP、OGG等技术实现上下级运监中心间的数据交换与共享；针对产生的实时数据，采用Kafka消息队列实现在线采集，对于大量非结构化数据，采用Flume技术进行数据集成。数据集成层的另一个主要功能是负责将采集到的数据进行初步清洗、加工和计算，然后将经过清洗转换的数据传输到统一视图区进行统一存储，进而作为后续数据流转和调度的统一出口，此时形成的数据格式主要包括结构化数据、非结构化数据和半结构化数据。
在数据集成层和数据集市层之间构建基于Hadoop组件技术的数据仓库层，采用Kafka、Sqoop、Flume、Mapreduce等技术实现异源异构数据、实时数据、日志数据、业务系统数据等的集成与共享，针对业务需要，主要包括分布式文件系统HDFS、分布式数据仓库HBase/Hive，数据仓库层主要采用基于Hadoop架构的HDFS和HBase数据仓库。数据仓库层的设计基于公共数据模型主题域，侧重于对企业范围内数据进行整合，实现明细数据和聚合数据的集成共享。
HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。NameNode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作。DataNode管理存储的数据，大部分容错机制都是在Datanode上实现的。HDFS支持文件形式的数据，具有全分布式架构、数据块粒度切分、在线扩容减容、复制备份及普通PC硬件适用性等特点，支撑了安全的PB级以上规模数据的在线存储，保证了大数据存储的安全性、低成本及可任意扩容性。
HBase是一个在Hadoop上开发的面向列存储的分布式数据库，依据HDFS作为其文件存储系统，利用Mapreduce进行处理HBase中的海量数据，利用Zookeeper作为协同服务，主要用于实时随机读取超大规模数据集，可以实现高性能的并发读写操作，同时HBase还会对数据进行透明的切分，这样就使得存储本身具有了水平伸缩性。
数据集市层以人资、财务、物资、营销、安全生产、协同办公、项目管理和综合管理八大业务应用为主题，从数据仓库中抽取转换加载高质量数据，构建面向特定应用主题的部门级数据集市，进而满足上层更加专业的分析应用需求。数据仓库层研究和解决从源数据库中获取信息的问题，数据仓库层的特征在于面向主题、集成性、稳定性和时变性，数据集市层是一个从集合数据中为企业各组织部门提供数据挖掘技术应用的平台，是从数据仓库层或者数据中心中抽取出来的数据，着重在服务于特殊设计目标的易访问性和可用性，数据集市层的设计在于满足企业特定应用分析的即时需求。
数据应用层根据业务需要以及分析决策需求，采用大数据技术进行数据挖掘和数据分析，对关键业务进行专题分析，数据应用层主要包括大数据挖掘分析和可视化分析。大数据挖掘分析提供基于流程模式的可视化数据分析功能，通过分析流程设计（含计算节点、统计节点和挖掘节点），实现业务之间的抽象概括，构建相应的数据挖掘模型并进行模型库管理，包括：回归算法、聚类算法、关联规则、时间序列、综合评价法、文本挖掘、运分析等，还可形成相应的分析主题发布到平台上。可视化分析是基于业务数据模型，通过数据和图形映射，进行数图转换，还可以通过自定义场景方式进行组织和展现，将各种分析主题场景进行组合，形成整体的分析报告，还可根据现有的可视化方法对数据进行可视化分析，包括：常规可视化、高维可视化、表格可视化、基于地图可视化等，实现对数据价值的发掘和利用。
如图2和图3所示，电网运营数据共享系统的技术架构包括数据接入、数据存储、数据计算、数据分析和数据展示。
数据接入在继承传统的ESB和DXP数据交换技术的基础上，引入基于Hadoop架构的Sqoop、Flume、Kafka、Zookeeper等技术实现异源异构数据、非结构化数据、实时数据的集成和共享；数据存储的设计采用基于Hadoop架构的分布式文件系统HDFS、分布式数据仓库HBase和分布式数据仓库Hive，源数据业务系统和数据仓库层数据中心可继承延用Oracle/Mysql等数据库；数据计算是大数据技术框架性能的核心，是内存计算、流式计算、分布式计算和查询技术等组成的数据处理的功能集合，其中最为核心的技术是Mapreduce分布式编程思想；数据分析是指采用科学高效的数据挖掘分析方法对数据进行探索分析，为企业的运营提供科学的决策支持；数据展示是直接面对终端客户，通过确定相应的数据分析场景，生成科学合理的主题分析报告，并且可以实现模型库分析结果管理，不断提高企业的管理水平。
基于Hadoop架构的数据共享模型从基于HDFS的元数据管理、基于“发布-订阅”的数据分发策略和数据共享运行机制三个方面展开分析，与传统的数据集成技术相融合，引入分布式存储和分布式计算思想，通过提供虚拟的全局视图模式以及数据重建和复制方式实现数据共享，利用廉价的集群扩展能力满足海量存储和高性能计算需求。
基于Hadoop架构的数据共享模型的存储核心是HDFS分布式文件系统，HDFS对元数据（Metadata）的存储和普通数据的存储是分开进行的，HDFS采用的是master/slave模型，其对数据的存储由主元数据节点（Primary NameNode），次元数据节点（SecondaryNameNode）和业务数据节点（DataNode）构成，在HDFS中，Primary NameNode负责执行对统一命名空间元数据的管理，相当于Master的角色，控制底层文件的I/O操作，处理MapReduce任务等；Secondary NameNode主要是定时对NameNode进行数据snapshots进行备份，这样尽量降低NameNode崩溃之后导致的数据丢失；HDFS建立的数据存储机制以数据块为单位，DataNode在Slave节点上运行，负责底层文件Block的读写工作。
HDFS的元数据由Block的属性、从属关系和所在位置构成，其元数据管理与维护由NameNode完成，NameNode是整个文件系统的单一故障点，HDFS对元数据管理策略采用了Editelog+FSImage两种持久化方式将数据存储在磁盘中，其中，Editlog以操作日志的形式记录下元数据操作的历史信息，记录完成后进行保存；而FSImage是某时刻整个文件系统信息的映射文件，并且二者都支持多副本机制，保持系统运行的一致性。基于HDFS的元数据管理机制如图4所示。
HDFS元数据管理机制具体如下：
（1）Primary NameNode通过Secondary NameNode的http post提交请求，生成新的日志文件，并在edits.new文件中记录最新请求的操作日志记录；
（2）Secondary NameNode周期性的通过http get获取镜像文件fsimage和日志文件editlogs；
（3）Secondary NameNode加载fsimage文件到内存中，同时执行日志文件的操作，将二者合并为fsimage.ckpt文件；
（4）Secondary NameNode将fsimage.ckpt文件通过http post发送到PrimaryNameNode进行存储；
（5）Primary NameNode得到fsimage.ckpt文件后，对节点原有的镜像文件和日志文件进行更新，生成新的editlogs和fsimage；
（6）当系统发生故障时，Primary NameNode就可以从Secondary NameNode进行元数据更新，从而实现存储数据的恢复。
如图5所示，本实施例中基于HBase数据仓库的数据共享模型，采用了基于“发布-订阅”的数据分发策略完成对数据的分发、接收操作，该策略模型主要包含三个角色：消息订阅者、消息发布者和发布订阅服务器。消息订阅者通过接口服务，根据应用服务进行服务注册(写入、更新、节点配置信息、地址信息等)；发布订阅服务器将相应的服务进行存储，并且配置消息发布者和订阅者之间的接口信息，提供整个模型的数据服务管理监听功能，根据相应的服务请求触发相应的数据更新功能；消息发布者发生数据节点更新时，发布订阅服务器就会监听到该消息，并且根据订阅者注册的服务进行匹配，服务器就会将相应的服务消息发送给消息订阅者，实现企业数据共享。在实际的应用当中，“发布一订阅”系统的规模取决于客户数量的大小。如果客户的数量不是特别大，可以使用一台服务器的“发布-订阅”系统；如果客户的数量比较庞大，那么就需要采用多台服务器进行同时工作。服务器负责接收和匹配对应的消息和订阅条件并完成对数据的分发。基于“发布-订阅”的数据分发策略的三个角色具体功能如下：消息发布者：负责对数据源的数据进行发表的服务器。消息发布者管理多个数据源，将描述数据源的元数据即共享数据模型发布到若干个公共的信息目录服务器上。消息订阅者：主要根据业务的需求注册相应的服务需求到服务器，当服务器端监听到有相应消息更新时，消息订阅者负责接收服务器发布出来的数据，消息发布者不仅可以对数据进行操作，而且还可作为分发服务器。发布订阅服务器：是消息发布者和消息订阅者之间的中转枢纽站，通过前后端配置相应的服务接口，将发布者更新的数据传输到订阅者，发布订阅服务器提供数据缓存，负责将消息发布者传递过来的发布数据临时存储到分发数据库当中，按一定策略将数据分发给相应的服务器，并且负责维护分发服务器。
黑板模式是一种常用的架构模式，应用中的多种不同数据处理逻辑相互影响和协同来完成数据分析处理。其基本思想就是多个专家协同来解决黑板上的问题，每个专家根据自己的领域更新相应策略，然后其他专家在此基础上进一步不断更新，直至问题全部解决。在数据共享模型中，该模式能够实现信息的实时共享，并且可以并发的进行消息的更新，具有较高的独立性、可维护性和重用性。黑板模型主要由三部分构成：黑板、知识源(KS)和监控机构，黑板就相当于本模型的全局数据仓库，知识源为进入数据仓库的各数据源，各知识源根据本地数据更新进行请求，监控机构通过监听消息进行确认，然后通过数据库接口信息激活相应的操作，并将其扎un如调度队列中，紧接着调度程序会选择合适的知识源对黑板上的问题进行求解，根据其求解结果更新黑板状态，最终实现所有的数据更新共享。
基于HBase的数据共享运行机制如图6所示，在基于HBase架构的数据共享模型中，在以HBase为数据仓库和各源数据库构成的数据共享模型主要由六个部分构成：共享接口、数据复制、订阅数据、共享数据管理器、数据源和HDFS元数据管理模块，另外，HBase中包含了数据库的全局模式视图。
在基于HBase的数据共享模型中，作为“黑板”出现的HBase数据仓库与每个源数据库也就是各个“知识源”之间，是通过其HBase共享接口与节点共享接口的连接，实现数据重建和数据复制共享，其中对数据的重建是HBase数据库共享数据的方式，对于源系统数据通过数据重建的方式实现数据共享管理，并且对共享数据与系统数据之间进行分开存储，实现数据的集中管理，基于HDFS元数据管理的“监控机构”保证了整个数据共享机制的有序运行。
其中，企业服务总线(ESB)为关键技术之一，依据断电网公共数据模型库，进行CIS接口设计，然后将服务（写入服务、更新服务、读取服务）地址提供给企业服务总线ESB，请求完成服务的注册，企业服务总线收到注册服务地址信息，完成服务的注册，业务系统数据提供者根据依据数据中心标准RDF格式，完成工单数据封装，调用注册的写入服务将数据写入到数据中心，同时向企业服务总线提供JMS消息，通知数据需求方(订阅者)提取数据，企业服务总线接收到JMS消息后进行路由广播，订阅者通过监听其所订阅的服务总线的消息，调用相应的数据读取服务，实现数据中心的数据加载到业务系统中，实现业务系统与数据中心之间的数据共享。
Web Service是指使用Web向用户提供各种服务。Web Service是一个自包含的、开放的、平台独立的、服务封装的、松耦合的Web应用程序，它向外界提供通过Web能够进行调用的API。典型的Web Service过程是用户使用HTTP、SOAP、WSDL、UDDI协议或标准向指定的URL中提出服务请求，当请求被接收处理后，向用户提供一个服务结果。请求和响应调用的是同一个方法，只不过调用该方法的不同部分。在应用系统之间的交互中，应用之间通过Web提供服务和信息交换，Web Service能够向不同的应用提供一个统一标准的接口，使得不同业务应用之间能够实现数据操作，Web Service技术能使不同用户、不同计算机、不同系统直接进行数据的访问，而不需要借助其他软件或硬件的支持。
OGG软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。OGG可以在异构的IT基础结构包括几乎所有常用操作系统平台和数据库平台之间实现大量数据亚秒一级的实时复制,从而可以更好的满足企业海量结构化数据的接入需求。
OGG的工作原理：利用捕捉进程在源系统端读取在线日志或归档日志，然后进行解析，只提取其中数据的变化如增、删、改操作，并将相关信息转换为自定义的中间格式存放在队列文件中，再利用传送进程将队列文件通过TCP/IP传送到目标系统。捕捉进程在每次读完log中的数据变化并在数据传送到目标系统后，会写检查点，记录当前完成捕捉的log位置，检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制；目标系统接受数据变化并缓存到队列中，队列为一系列临时存储数据变化的文件，等待投递进程读取数据；应用进程从队列中读取数据变化并创建对应的SQL语句，通过数据库的本地接口执行，提交到数据库成功后更新自己的检查点，记录已经完成复制的位置。
本发明所述的基于大数据技术的电网运营数据共享系统在传统的ESB和DXP等集成技术路线的基础上，引入基于Hadoop的分布式存储和处理技术思想，实现各业务系统数据集中、集成、共享、计算、分析、可视化等的有机融合，即实现各类运营数据的全面集成和深度融合，因此可以更好的发掘数据的内在价值，促进管理的提升和业务的创新。
以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于大数据技术的电网运营数据共享系统，其特征在于，依次包括数据源层、数据集成层、数据仓库层、数据集市层和数据应用层，所述数据源层包括各业务系统的数据，所述数据集成层为所述数据源层和数据仓库层之间的数据缓冲区，所述数据集成层接收数据源层的数据，将采集到的数据进行初步清洗、加工和计算，将经过清洗转换的数据传输到统一视图区进行统一存储，作为后续数据流转和调度的统一出口，形成的数据格式主要包括结构化数据、非结构化数据和半结构化数据；所述数据仓库层用于实现数据的集成和共享；所述数据集市层从数据仓库层中抽取转换加载高质量数据，构建面向特定应用主题的部门级数据集市，进而满足上层更加专业的分析应用需求；所述数据应用层根据业务需要以及分析决策需求，采用大数据技术进行数据挖掘和数据分析。
2.根据权利要求1所述的基于大数据技术的电网运营数据共享系统，其特征在于，所述数据源层包括实时数据、结构化数据和非结构化数据。
3.根据权利要求2所述的基于大数据技术的电网运营数据共享系统，其特征在于，所述实时数据采用Kafka消息队列实现在线采集；所述非结构化数据采用Flume技术进行数据集成，所述结构化数据通过企业服务总线(Enterprise Service Bus，简称ESB)、OracleGolden Gate技术(简称OGG技术)、Extract Transform Load(简称ETL)数据仓储技术、网络服务(Web Service)的方式实现与数据源层各业务系统的数据贯通，采用DXP、OGG技术实现上下级运监中心间的数据交换与共享。
4.根据权利要求1所述的基于大数据技术的电网运营数据共享系统，其特征在于，所述数据仓库层基于Hadoop组件技术构建，采用Kafka、Sqoop、Flume、Mapreduce技术实现异源异构数据、实时数据、日志数据和业务系统数据的集成与共享，所述数据仓库层包括分布式文件系统HDFS和分布式数据仓库HBase/Hive。
5.根据权利要求1所述的基于大数据技术的电网运营数据共享系统，其特征在于，所述数据应用层包括大数据挖掘分析和可视化分析，所述大数据挖掘分析提供基于流程模式的可视化数据分析功能，通过分析流程设计，实现业务之间的抽象概括，构建相应的数据挖掘模型并进行模型库管理，形成相应的分析主题发布到平台上；所述可视化分析基于业务数据模型，通过数据和图形映射，进行数图转换，通过自定义场景方式进行组织和展现，将各种分析主题场景进行组合，形成整体的分析报告，根据现有的可视化方法对数据进行可视化分析。
6.根据权利要求1所述的基于大数据技术的电网运营数据共享系统，其特征在于，运营数据共享系统的技术架构包括数据接入、数据存储、数据计算、数据分析和数据展示。
7.根据权利要求4所述的基于大数据技术的电网运营数据共享系统，其特征在于，基于Hadoop架构的数据共享模型从基于HDFS的元数据管理、基于“发布-订阅”的数据分发策略和数据共享运行机制三个方面展开分析，与传统的数据集成技术相融合，引入分布式存储和分布式计算思想，通过提供虚拟的全局视图模式以及数据重建和复制方式实现数据共享，利用廉价的集群扩展能力满足海量存储和高性能计算需求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610946389.8A CN106339509A (zh) | 2016-10-26 | 2016-10-26 | 一种基于大数据技术的电网运营数据共享系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610946389.8A CN106339509A (zh) | 2016-10-26 | 2016-10-26 | 一种基于大数据技术的电网运营数据共享系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106339509A true CN106339509A (zh) | 2017-01-18 |
Family
ID=57840682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610946389.8A Pending CN106339509A (zh) | 2016-10-26 | 2016-10-26 | 一种基于大数据技术的电网运营数据共享系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106339509A (zh) |
Cited By (81)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107193967A (zh) * | 2017-05-25 | 2017-09-22 | 南开大学 | 一种多源异构行业领域大数据处理全链路解决方案 |
| CN107358494A (zh) * | 2017-06-23 | 2017-11-17 | 武汉理工大学 | 一种基于大数据的客户需求信息挖掘方法 |
| CN107395667A (zh) * | 2017-05-27 | 2017-11-24 | 国家电网公司 | 基于数据管理服务平台cis接口的一发多收数据传输方法 |
| CN107480244A (zh) * | 2017-08-10 | 2017-12-15 | 成都天衡电科科技有限公司 | 一种工业数据汇集与处理系统及其处理方法 |
| CN107633083A (zh) * | 2017-09-26 | 2018-01-26 | 广西电网有限责任公司电力科学研究院 | 一种电力设备cim模型与生产一体化系统的模型匹配方法 |
| CN107748760A (zh) * | 2017-09-25 | 2018-03-02 | 江苏汇鑫融智软件科技有限公司 | 一种基于esb的数据仓库建设方法 |
| CN107766493A (zh) * | 2017-10-19 | 2018-03-06 | 国网辽宁省电力有限公司 | 一种贴源电网资源模型分析系统及方法 |
| CN108037415A (zh) * | 2017-12-15 | 2018-05-15 | 国网江苏省电力有限公司南京供电分公司 | 基于多源异构数据的配电网故障信息挖掘与诊断方法 |
| CN108132982A (zh) * | 2017-12-13 | 2018-06-08 | 湖南中车时代通信信号有限公司 | 基于大数据的列车运行监控装置数据的分析系统和方法 |
| CN108132997A (zh) * | 2017-12-21 | 2018-06-08 | 国网江苏省电力公司泰州供电公司 | 一种电网数据管理归结结构及其归结方法 |
| CN108171617A (zh) * | 2017-12-08 | 2018-06-15 | 全球能源互联网研究院有限公司 | 一种电网大数据分析方法及装置 |
| CN108268997A (zh) * | 2017-11-23 | 2018-07-10 | 国网陕西省电力公司经济技术研究院 | 一种电网变电站数据质量考核方法 |
| CN108280015A (zh) * | 2018-02-07 | 2018-07-13 | 福建星瑞格软件有限公司 | 基于大数据的集群服务器日志实时处理方法及计算机设备 |
| CN108573048A (zh) * | 2018-04-19 | 2018-09-25 | 中译语通科技股份有限公司 | 一种多维数据接入方法及系统、大数据接入系统 |
| CN108647860A (zh) * | 2018-04-18 | 2018-10-12 | 广东电网有限责任公司 | 基于OpenStack的电力设备状态监测与评估云平台 |
| CN108763562A (zh) * | 2018-06-04 | 2018-11-06 | 广东京信软件科技有限公司 | 一种基于大数据技术提升数据交换效率的构建方法 |
| CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及系统 |
| CN109033113A (zh) * | 2017-06-12 | 2018-12-18 | 北京京东尚科信息技术有限公司 | 数据仓库和数据集市的管理方法及装置 |
| CN109145031A (zh) * | 2018-08-20 | 2019-01-04 | 国网安徽省电力有限公司合肥供电公司 | 一种面向业务市场接入需求的多源数据多维重构方法 |
| CN109241179A (zh) * | 2018-08-01 | 2019-01-18 | 协同数据技术（深圳）有限公司 | 基于数据空间的数据治理方法、系统及计算机设备 |
| CN109376200A (zh) * | 2018-10-15 | 2019-02-22 | 广东电网有限责任公司 | 一种基于过程调用及共享数据表的数据处理系统及方法 |
| CN109446267A (zh) * | 2018-09-25 | 2019-03-08 | 国家电网有限公司客户服务中心 | 一种基于95598异地双活灾备模型的跨库数据集成系统及方法 |
| CN109491993A (zh) * | 2018-11-14 | 2019-03-19 | 上海工程技术大学 | 一种校园卡数据存储系统 |
| CN109491992A (zh) * | 2018-11-14 | 2019-03-19 | 上海工程技术大学 | 一种校园卡数据读取系统 |
| CN109542960A (zh) * | 2018-10-18 | 2019-03-29 | 国网内蒙古东部电力有限公司信息通信分公司 | 一种数据分析域系统 |
| CN109558397A (zh) * | 2018-10-30 | 2019-04-02 | 平安医疗健康管理股份有限公司 | 一种数据处理方法、装置、服务器及计算机存储介质 |
| CN109583941A (zh) * | 2018-11-06 | 2019-04-05 | 汪浩 | 一种广告投放系统 |
| CN109582667A (zh) * | 2018-10-16 | 2019-04-05 | 中国电力科学研究院有限公司 | 一种基于电力调控大数据的多数据库混合存储方法及系统 |
| CN109739893A (zh) * | 2018-12-28 | 2019-05-10 | 上海连尚网络科技有限公司 | 一种元数据管理方法、设备及计算机可读介质 |
| CN109783553A (zh) * | 2018-11-28 | 2019-05-21 | 中国电力科学研究院有限公司 | 一种配电网海量数据质量提升系统 |
| CN109840253A (zh) * | 2019-01-10 | 2019-06-04 | 北京工业大学 | 企业级大数据平台架构 |
| CN109918363A (zh) * | 2019-02-25 | 2019-06-21 | 江苏电力信息技术有限公司 | 基于视图跨数据库类型进行数据模型一致性管理的方法 |
| CN109981698A (zh) * | 2017-12-27 | 2019-07-05 | 博元森禾信息科技（北京）有限公司 | 基于元数据的数联网跨域数据访问标准化系统及方法 |
| CN110019462A (zh) * | 2017-11-14 | 2019-07-16 | 南方电网科学研究院有限责任公司 | 电力科研生产数据分析方法、装置、系统及存储介质 |
| CN110019191A (zh) * | 2017-09-21 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 数据库信息处理方法及装置 |
| CN110059133A (zh) * | 2018-01-30 | 2019-07-26 | 国网江苏省电力有限公司扬州供电分公司 | 一种基于优化架构提升访问性能和数据共享能力的方法 |
| CN110096545A (zh) * | 2019-03-12 | 2019-08-06 | 国网辽宁省电力有限公司信息通信分公司 | 一种基于大数据平台数据处理域构架方法 |
| CN110119391A (zh) * | 2019-05-14 | 2019-08-13 | 重庆八戒传媒有限公司 | 一种基于服务数据的数据仓库创建方法及数据仓库 |
| CN110430232A (zh) * | 2019-06-27 | 2019-11-08 | 苏州浪潮智能科技有限公司 | 一种可视化的flume配置运行方法及装置 |
| CN110428159A (zh) * | 2019-07-23 | 2019-11-08 | 国网山东省电力公司经济技术研究院 | 一种输变电工程质量管理大数据统计分析系统及方法 |
| CN110489459A (zh) * | 2019-08-07 | 2019-11-22 | 国网安徽省电力有限公司 | 一种基于大数据平台的企业级业数融合数据分析系统 |
| CN110502559A (zh) * | 2019-07-25 | 2019-11-26 | 浙江公共安全技术研究院有限公司 | 一种可信安全跨域数据交换的数据总线及传输方法 |
| CN110555010A (zh) * | 2019-09-11 | 2019-12-10 | 中国南方电网有限责任公司 | 一种电网实时运行数据存储系统 |
| CN110598074A (zh) * | 2019-08-13 | 2019-12-20 | 北京邮电大学 | 关于科技咨询大数据的统一资源组织管理的方法与系统 |
| CN111078779A (zh) * | 2019-12-19 | 2020-04-28 | 国网安徽省电力有限公司信息通信分公司 | 一种大数据数据中心运行监测系统 |
| CN111104394A (zh) * | 2019-12-31 | 2020-05-05 | 新奥数能科技有限公司 | 一种能源数据仓库系统构建方法及装置 |
| CN111159154A (zh) * | 2019-12-31 | 2020-05-15 | 新奥数能科技有限公司 | 一种能源数据仓库系统 |
| CN111382150A (zh) * | 2020-03-19 | 2020-07-07 | 交通银行股份有限公司 | 一种基于Flink的实时计算方法及系统 |
| CN111475499A (zh) * | 2020-04-07 | 2020-07-31 | 上海浩方信息技术有限公司 | 基于数据建模分析实现智慧监管服务控制的系统及其方法 |
| CN111597173A (zh) * | 2020-04-02 | 2020-08-28 | 上海瀚之友信息技术服务有限公司 | 一种数据仓库系统 |
| CN111813847A (zh) * | 2020-07-02 | 2020-10-23 | 北京许继电气有限公司 | 企业运营数据的处理方法 |
| CN111880795A (zh) * | 2020-07-29 | 2020-11-03 | 中国银联股份有限公司 | 一种前端界面的生成方法及装置 |
| CN112015733A (zh) * | 2020-08-04 | 2020-12-01 | 国家电网有限公司客户服务中心 | 一种电力客服营配业务海量数据存储及快速查询方法 |
| CN112241402A (zh) * | 2020-10-16 | 2021-01-19 | 中国民用航空华东地区空中交通管理局 | 一种空管数据供应链系统及数据治理方法 |
| CN112256782A (zh) * | 2020-10-30 | 2021-01-22 | 内蒙古电力(集团)有限责任公司乌海超高压供电局 | 基于Hadoop的电力大数据处理系统 |
| CN112256795A (zh) * | 2020-10-10 | 2021-01-22 | 广西电网有限责任公司 | 一种数据集成平台数据服务的系统 |
| CN112271821A (zh) * | 2020-12-21 | 2021-01-26 | 华南理工大学 | 基于云计算的用电终端降损节能智能化监测与分析系统 |
| CN112269822A (zh) * | 2020-10-30 | 2021-01-26 | 内蒙古电力(集团)有限责任公司乌海超高压供电局 | 一种高压电力设备管理系统 |
| CN112307103A (zh) * | 2020-10-30 | 2021-02-02 | 山东浪潮通软信息科技有限公司 | 大数据变现方法、装置及计算机可读介质 |
| CN112347093A (zh) * | 2020-11-05 | 2021-02-09 | 哈尔滨航天恒星数据系统科技有限公司 | 便于海量多源异构数据的清洗整合存储的方法 |
| CN112395317A (zh) * | 2020-11-17 | 2021-02-23 | 国网信通亿力科技有限责任公司 | 一种数据模型协同设计及成果管理的方法 |
| CN112492024A (zh) * | 2020-11-26 | 2021-03-12 | 国网湖南省电力有限公司 | 面向用户用电信息采集系统的实时数据共享系统 |
| CN112485396A (zh) * | 2020-11-12 | 2021-03-12 | 电子科技大学中山学院 | 一种基于大数据的水产养殖水质监测系统 |
| CN112508677A (zh) * | 2020-11-06 | 2021-03-16 | 无锡艺界科技有限公司 | 一种基于大数据风控的金融系统 |
| CN112507006A (zh) * | 2020-10-28 | 2021-03-16 | 国网浙江省电力有限公司杭州供电公司 | 基于云端的电网企业运行数据整合系统 |
| CN112597227A (zh) * | 2020-12-25 | 2021-04-02 | 南方电网深圳数字电网研究院有限公司 | 电力配网调度中的信息处理方法、装置及存储介质 |
| CN112633621A (zh) * | 2020-08-25 | 2021-04-09 | 南方电网科学研究院有限责任公司 | 一种基于paas平台的电网企业管理决策系统和方法 |
| CN112632025A (zh) * | 2020-08-25 | 2021-04-09 | 南方电网科学研究院有限责任公司 | 一种基于paas平台的电网企业管理决策支持应用系统 |
| CN112712343A (zh) * | 2020-12-31 | 2021-04-27 | 北京四方继保工程技术有限公司 | 基于数据立方模型的多维信息联动监视系统和方法 |
| CN112749153A (zh) * | 2020-12-30 | 2021-05-04 | 工业互联网创新中心（上海）有限公司 | 一种工业网络数据管理系统 |
| CN112765410A (zh) * | 2020-12-31 | 2021-05-07 | 山西省交通科技研发有限公司 | 一种采用端云架构的分层设计平台架构 |
| CN112804331A (zh) * | 2021-01-14 | 2021-05-14 | 杭州海兴泽科信息技术有限公司 | 一种基于消息总线的电能表数据处理方法、系统和电能表 |
| CN112883001A (zh) * | 2021-01-28 | 2021-06-01 | 国网冀北电力有限公司智能配电网中心 | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 |
| CN113254508A (zh) * | 2021-06-22 | 2021-08-13 | 西南石油大学 | 一种天然气管道清管作业的数据仓库及数据挖掘方法 |
| CN113395312A (zh) * | 2020-09-08 | 2021-09-14 | 重庆高新技术产业研究院有限责任公司 | 基于soa构架以中台技术为内核的分布式部署模型 |
| CN113487170A (zh) * | 2021-07-01 | 2021-10-08 | 广州信安数据有限公司 | 一种具有分层技术架构的全链路监控系统 |
| WO2021217695A1 (zh) * | 2020-04-29 | 2021-11-04 | 深圳市双合电气股份有限公司 | 基于智能工厂框架的供配用电网智能数据采集整理系统 |
| CN113886369A (zh) * | 2020-07-02 | 2022-01-04 | 北京国电思达科技有限公司 | 一种数据管理方法及数据管理平台 |
| CN113991872A (zh) * | 2021-12-01 | 2022-01-28 | 四川中电启明星信息技术有限公司 | 一种用于工业园区的综合能源配电网系统 |
| CN114448959A (zh) * | 2021-12-17 | 2022-05-06 | 国网河南省电力公司信阳供电公司 | 基于移动互联网的调控运行信息快速传递与共享系统 |
| CN116737846A (zh) * | 2023-05-31 | 2023-09-12 | 深圳华夏凯词财富管理有限公司 | 一种基于Hive的资产管理数据安全保护仓库系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096684A (zh) * | 2009-12-11 | 2011-06-15 | 华大天元(北京)电力科技有限公司 | 电网实时数据集成与共享平台 |
| CN104820670A (zh) * | 2015-03-13 | 2015-08-05 | 国家电网公司 | 一种电力信息大数据的采集和存储方法 |
| CN105069690A (zh) * | 2015-06-11 | 2015-11-18 | 国家电网公司 | 一种电网运行数据处理方法 |
-
2016
- 2016-10-26 CN CN201610946389.8A patent/CN106339509A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096684A (zh) * | 2009-12-11 | 2011-06-15 | 华大天元(北京)电力科技有限公司 | 电网实时数据集成与共享平台 |
| CN104820670A (zh) * | 2015-03-13 | 2015-08-05 | 国家电网公司 | 一种电力信息大数据的采集和存储方法 |
| CN105069690A (zh) * | 2015-06-11 | 2015-11-18 | 国家电网公司 | 一种电网运行数据处理方法 |
Cited By (92)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107193967A (zh) * | 2017-05-25 | 2017-09-22 | 南开大学 | 一种多源异构行业领域大数据处理全链路解决方案 |
| CN107395667A (zh) * | 2017-05-27 | 2017-11-24 | 国家电网公司 | 基于数据管理服务平台cis接口的一发多收数据传输方法 |
| CN109033113B (zh) * | 2017-06-12 | 2021-07-30 | 北京京东尚科信息技术有限公司 | 数据仓库和数据集市的管理方法及装置 |
| CN109033113A (zh) * | 2017-06-12 | 2018-12-18 | 北京京东尚科信息技术有限公司 | 数据仓库和数据集市的管理方法及装置 |
| CN107358494A (zh) * | 2017-06-23 | 2017-11-17 | 武汉理工大学 | 一种基于大数据的客户需求信息挖掘方法 |
| CN107480244A (zh) * | 2017-08-10 | 2017-12-15 | 成都天衡电科科技有限公司 | 一种工业数据汇集与处理系统及其处理方法 |
| CN110019191A (zh) * | 2017-09-21 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 数据库信息处理方法及装置 |
| CN107748760A (zh) * | 2017-09-25 | 2018-03-02 | 江苏汇鑫融智软件科技有限公司 | 一种基于esb的数据仓库建设方法 |
| CN107633083A (zh) * | 2017-09-26 | 2018-01-26 | 广西电网有限责任公司电力科学研究院 | 一种电力设备cim模型与生产一体化系统的模型匹配方法 |
| CN107766493A (zh) * | 2017-10-19 | 2018-03-06 | 国网辽宁省电力有限公司 | 一种贴源电网资源模型分析系统及方法 |
| CN110019462A (zh) * | 2017-11-14 | 2019-07-16 | 南方电网科学研究院有限责任公司 | 电力科研生产数据分析方法、装置、系统及存储介质 |
| CN108268997A (zh) * | 2017-11-23 | 2018-07-10 | 国网陕西省电力公司经济技术研究院 | 一种电网变电站数据质量考核方法 |
| CN108171617A (zh) * | 2017-12-08 | 2018-06-15 | 全球能源互联网研究院有限公司 | 一种电网大数据分析方法及装置 |
| CN108132982A (zh) * | 2017-12-13 | 2018-06-08 | 湖南中车时代通信信号有限公司 | 基于大数据的列车运行监控装置数据的分析系统和方法 |
| CN108037415A (zh) * | 2017-12-15 | 2018-05-15 | 国网江苏省电力有限公司南京供电分公司 | 基于多源异构数据的配电网故障信息挖掘与诊断方法 |
| CN108132997A (zh) * | 2017-12-21 | 2018-06-08 | 国网江苏省电力公司泰州供电公司 | 一种电网数据管理归结结构及其归结方法 |
| CN109981698A (zh) * | 2017-12-27 | 2019-07-05 | 博元森禾信息科技（北京）有限公司 | 基于元数据的数联网跨域数据访问标准化系统及方法 |
| CN109981698B (zh) * | 2017-12-27 | 2022-03-04 | 博元森禾信息科技（北京）有限公司 | 基于元数据的数联网跨域数据访问标准化系统及方法 |
| CN110059133A (zh) * | 2018-01-30 | 2019-07-26 | 国网江苏省电力有限公司扬州供电分公司 | 一种基于优化架构提升访问性能和数据共享能力的方法 |
| CN108280015A (zh) * | 2018-02-07 | 2018-07-13 | 福建星瑞格软件有限公司 | 基于大数据的集群服务器日志实时处理方法及计算机设备 |
| CN108647860A (zh) * | 2018-04-18 | 2018-10-12 | 广东电网有限责任公司 | 基于OpenStack的电力设备状态监测与评估云平台 |
| CN108573048A (zh) * | 2018-04-19 | 2018-09-25 | 中译语通科技股份有限公司 | 一种多维数据接入方法及系统、大数据接入系统 |
| CN108763562A (zh) * | 2018-06-04 | 2018-11-06 | 广东京信软件科技有限公司 | 一种基于大数据技术提升数据交换效率的构建方法 |
| CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及系统 |
| CN109241179A (zh) * | 2018-08-01 | 2019-01-18 | 协同数据技术（深圳）有限公司 | 基于数据空间的数据治理方法、系统及计算机设备 |
| CN109145031A (zh) * | 2018-08-20 | 2019-01-04 | 国网安徽省电力有限公司合肥供电公司 | 一种面向业务市场接入需求的多源数据多维重构方法 |
| CN109446267A (zh) * | 2018-09-25 | 2019-03-08 | 国家电网有限公司客户服务中心 | 一种基于95598异地双活灾备模型的跨库数据集成系统及方法 |
| CN109446267B (zh) * | 2018-09-25 | 2023-06-02 | 国家电网有限公司客户服务中心 | 一种基于95598异地双活灾备模型的跨库数据集成系统及方法 |
| CN109376200A (zh) * | 2018-10-15 | 2019-02-22 | 广东电网有限责任公司 | 一种基于过程调用及共享数据表的数据处理系统及方法 |
| CN109582667A (zh) * | 2018-10-16 | 2019-04-05 | 中国电力科学研究院有限公司 | 一种基于电力调控大数据的多数据库混合存储方法及系统 |
| CN109542960A (zh) * | 2018-10-18 | 2019-03-29 | 国网内蒙古东部电力有限公司信息通信分公司 | 一种数据分析域系统 |
| CN109558397A (zh) * | 2018-10-30 | 2019-04-02 | 平安医疗健康管理股份有限公司 | 一种数据处理方法、装置、服务器及计算机存储介质 |
| CN109558397B (zh) * | 2018-10-30 | 2023-08-22 | 深圳平安医疗健康科技服务有限公司 | 一种数据处理方法、装置、服务器及计算机存储介质 |
| CN109583941A (zh) * | 2018-11-06 | 2019-04-05 | 汪浩 | 一种广告投放系统 |
| CN109491992A (zh) * | 2018-11-14 | 2019-03-19 | 上海工程技术大学 | 一种校园卡数据读取系统 |
| CN109491993A (zh) * | 2018-11-14 | 2019-03-19 | 上海工程技术大学 | 一种校园卡数据存储系统 |
| CN109783553A (zh) * | 2018-11-28 | 2019-05-21 | 中国电力科学研究院有限公司 | 一种配电网海量数据质量提升系统 |
| CN109739893A (zh) * | 2018-12-28 | 2019-05-10 | 上海连尚网络科技有限公司 | 一种元数据管理方法、设备及计算机可读介质 |
| CN109840253A (zh) * | 2019-01-10 | 2019-06-04 | 北京工业大学 | 企业级大数据平台架构 |
| CN109918363B (zh) * | 2019-02-25 | 2023-01-24 | 江苏电力信息技术有限公司 | 基于视图跨数据库类型进行数据模型一致性管理的方法 |
| CN109918363A (zh) * | 2019-02-25 | 2019-06-21 | 江苏电力信息技术有限公司 | 基于视图跨数据库类型进行数据模型一致性管理的方法 |
| CN110096545A (zh) * | 2019-03-12 | 2019-08-06 | 国网辽宁省电力有限公司信息通信分公司 | 一种基于大数据平台数据处理域构架方法 |
| CN110119391A (zh) * | 2019-05-14 | 2019-08-13 | 重庆八戒传媒有限公司 | 一种基于服务数据的数据仓库创建方法及数据仓库 |
| CN110430232A (zh) * | 2019-06-27 | 2019-11-08 | 苏州浪潮智能科技有限公司 | 一种可视化的flume配置运行方法及装置 |
| CN110428159A (zh) * | 2019-07-23 | 2019-11-08 | 国网山东省电力公司经济技术研究院 | 一种输变电工程质量管理大数据统计分析系统及方法 |
| CN110502559A (zh) * | 2019-07-25 | 2019-11-26 | 浙江公共安全技术研究院有限公司 | 一种可信安全跨域数据交换的数据总线及传输方法 |
| CN110489459A (zh) * | 2019-08-07 | 2019-11-22 | 国网安徽省电力有限公司 | 一种基于大数据平台的企业级业数融合数据分析系统 |
| CN110598074A (zh) * | 2019-08-13 | 2019-12-20 | 北京邮电大学 | 关于科技咨询大数据的统一资源组织管理的方法与系统 |
| CN110555010B (zh) * | 2019-09-11 | 2022-04-05 | 中国南方电网有限责任公司 | 一种电网实时运行数据存储系统 |
| CN110555010A (zh) * | 2019-09-11 | 2019-12-10 | 中国南方电网有限责任公司 | 一种电网实时运行数据存储系统 |
| CN111078779A (zh) * | 2019-12-19 | 2020-04-28 | 国网安徽省电力有限公司信息通信分公司 | 一种大数据数据中心运行监测系统 |
| CN111159154A (zh) * | 2019-12-31 | 2020-05-15 | 新奥数能科技有限公司 | 一种能源数据仓库系统 |
| CN111104394A (zh) * | 2019-12-31 | 2020-05-05 | 新奥数能科技有限公司 | 一种能源数据仓库系统构建方法及装置 |
| CN111382150B (zh) * | 2020-03-19 | 2023-08-18 | 交通银行股份有限公司 | 一种基于Flink的实时计算方法及系统 |
| CN111382150A (zh) * | 2020-03-19 | 2020-07-07 | 交通银行股份有限公司 | 一种基于Flink的实时计算方法及系统 |
| CN111597173A (zh) * | 2020-04-02 | 2020-08-28 | 上海瀚之友信息技术服务有限公司 | 一种数据仓库系统 |
| CN111475499A (zh) * | 2020-04-07 | 2020-07-31 | 上海浩方信息技术有限公司 | 基于数据建模分析实现智慧监管服务控制的系统及其方法 |
| WO2021217695A1 (zh) * | 2020-04-29 | 2021-11-04 | 深圳市双合电气股份有限公司 | 基于智能工厂框架的供配用电网智能数据采集整理系统 |
| CN113886369A (zh) * | 2020-07-02 | 2022-01-04 | 北京国电思达科技有限公司 | 一种数据管理方法及数据管理平台 |
| CN111813847A (zh) * | 2020-07-02 | 2020-10-23 | 北京许继电气有限公司 | 企业运营数据的处理方法 |
| CN111880795A (zh) * | 2020-07-29 | 2020-11-03 | 中国银联股份有限公司 | 一种前端界面的生成方法及装置 |
| CN111880795B (zh) * | 2020-07-29 | 2024-03-12 | 中国银联股份有限公司 | 一种前端界面的生成方法及装置 |
| CN112015733A (zh) * | 2020-08-04 | 2020-12-01 | 国家电网有限公司客户服务中心 | 一种电力客服营配业务海量数据存储及快速查询方法 |
| CN112633621A (zh) * | 2020-08-25 | 2021-04-09 | 南方电网科学研究院有限责任公司 | 一种基于paas平台的电网企业管理决策系统和方法 |
| CN112632025A (zh) * | 2020-08-25 | 2021-04-09 | 南方电网科学研究院有限责任公司 | 一种基于paas平台的电网企业管理决策支持应用系统 |
| CN113395312A (zh) * | 2020-09-08 | 2021-09-14 | 重庆高新技术产业研究院有限责任公司 | 基于soa构架以中台技术为内核的分布式部署模型 |
| CN112256795A (zh) * | 2020-10-10 | 2021-01-22 | 广西电网有限责任公司 | 一种数据集成平台数据服务的系统 |
| CN112241402A (zh) * | 2020-10-16 | 2021-01-19 | 中国民用航空华东地区空中交通管理局 | 一种空管数据供应链系统及数据治理方法 |
| CN112507006A (zh) * | 2020-10-28 | 2021-03-16 | 国网浙江省电力有限公司杭州供电公司 | 基于云端的电网企业运行数据整合系统 |
| CN112256782B (zh) * | 2020-10-30 | 2024-03-29 | 内蒙古电力(集团)有限责任公司乌海超高压供电局 | 基于Hadoop的电力大数据处理系统 |
| CN112307103A (zh) * | 2020-10-30 | 2021-02-02 | 山东浪潮通软信息科技有限公司 | 大数据变现方法、装置及计算机可读介质 |
| CN112269822A (zh) * | 2020-10-30 | 2021-01-26 | 内蒙古电力(集团)有限责任公司乌海超高压供电局 | 一种高压电力设备管理系统 |
| CN112256782A (zh) * | 2020-10-30 | 2021-01-22 | 内蒙古电力(集团)有限责任公司乌海超高压供电局 | 基于Hadoop的电力大数据处理系统 |
| CN112347093A (zh) * | 2020-11-05 | 2021-02-09 | 哈尔滨航天恒星数据系统科技有限公司 | 便于海量多源异构数据的清洗整合存储的方法 |
| CN112508677A (zh) * | 2020-11-06 | 2021-03-16 | 无锡艺界科技有限公司 | 一种基于大数据风控的金融系统 |
| CN112485396A (zh) * | 2020-11-12 | 2021-03-12 | 电子科技大学中山学院 | 一种基于大数据的水产养殖水质监测系统 |
| CN112395317A (zh) * | 2020-11-17 | 2021-02-23 | 国网信通亿力科技有限责任公司 | 一种数据模型协同设计及成果管理的方法 |
| CN112395317B (zh) * | 2020-11-17 | 2022-09-09 | 国网信通亿力科技有限责任公司 | 一种数据模型协同设计及成果管理的方法 |
| CN112492024A (zh) * | 2020-11-26 | 2021-03-12 | 国网湖南省电力有限公司 | 面向用户用电信息采集系统的实时数据共享系统 |
| CN112271821A (zh) * | 2020-12-21 | 2021-01-26 | 华南理工大学 | 基于云计算的用电终端降损节能智能化监测与分析系统 |
| CN112597227A (zh) * | 2020-12-25 | 2021-04-02 | 南方电网深圳数字电网研究院有限公司 | 电力配网调度中的信息处理方法、装置及存储介质 |
| CN112749153A (zh) * | 2020-12-30 | 2021-05-04 | 工业互联网创新中心（上海）有限公司 | 一种工业网络数据管理系统 |
| CN112712343B (zh) * | 2020-12-31 | 2024-07-05 | 北京四方继保工程技术有限公司 | 基于数据立方模型的多维信息联动监视系统和方法 |
| CN112765410A (zh) * | 2020-12-31 | 2021-05-07 | 山西省交通科技研发有限公司 | 一种采用端云架构的分层设计平台架构 |
| CN112712343A (zh) * | 2020-12-31 | 2021-04-27 | 北京四方继保工程技术有限公司 | 基于数据立方模型的多维信息联动监视系统和方法 |
| CN112804331A (zh) * | 2021-01-14 | 2021-05-14 | 杭州海兴泽科信息技术有限公司 | 一种基于消息总线的电能表数据处理方法、系统和电能表 |
| CN112883001A (zh) * | 2021-01-28 | 2021-06-01 | 国网冀北电力有限公司智能配电网中心 | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 |
| CN113254508A (zh) * | 2021-06-22 | 2021-08-13 | 西南石油大学 | 一种天然气管道清管作业的数据仓库及数据挖掘方法 |
| CN113487170A (zh) * | 2021-07-01 | 2021-10-08 | 广州信安数据有限公司 | 一种具有分层技术架构的全链路监控系统 |
| CN113991872A (zh) * | 2021-12-01 | 2022-01-28 | 四川中电启明星信息技术有限公司 | 一种用于工业园区的综合能源配电网系统 |
| CN114448959A (zh) * | 2021-12-17 | 2022-05-06 | 国网河南省电力公司信阳供电公司 | 基于移动互联网的调控运行信息快速传递与共享系统 |
| CN116737846A (zh) * | 2023-05-31 | 2023-09-12 | 深圳华夏凯词财富管理有限公司 | 一种基于Hive的资产管理数据安全保护仓库系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106339509A (zh) | 一种基于大数据技术的电网运营数据共享系统 | |
| CN104820670B (zh) | 一种电力信息大数据的采集和存储方法 | |
| CN111400326B (zh) | 一种智慧城市数据管理系统及其方法 | |
| CN109840253A (zh) | 企业级大数据平台架构 | |
| CN106815338A (zh) | 一种大数据的实时存储、处理和查询系统 | |
| CN110347719A (zh) | 一种基于大数据的企业外贸风险预警方法及系统 | |
| CN107193967A (zh) | 一种多源异构行业领域大数据处理全链路解决方案 | |
| CN107103448A (zh) | 基于工作流的数据集成系统 | |
| CN109829125A (zh) | 展示电网调度运行数据的用户管理平台 | |
| CN107766402A (zh) | 一种楼盘字典云房源大数据平台 | |
| Liang et al. | Express supervision system based on NodeJS and MongoDB | |
| CN107800808A (zh) | 一种基于Hadoop架构的数据存储系统 | |
| CN107733696A (zh) | 一种机器学习和人工智能应用一体机部署方法 | |
| CN109977125A (zh) | 一种基于网络安全的大数据安全分析平台系统 | |
| CN111126852A (zh) | 一种基于大数据建模的bi应用系统 | |
| Hu | E-commerce big data computing platform system based on distributed computing logistics information | |
| CN115934856A (zh) | 一种构造综合能源数据资产的方法和系统 | |
| Wang | Design of port e-business marketing management information system based on cloud computing | |
| Dong et al. | Research on Architecture of Power Big Data High-Speed Storage System for Energy Interconnection | |
| Dawei et al. | Research on the application of distributed key-value storage technology in computer database platform | |
| Su et al. | A framework research of power grid knowledge recommendation and situation reasoning based on cloud computing and CEP | |
| Zhao et al. | Power Big Data Analysis Platform Design Based on Hadoop | |
| Liu | Research on knowledge management technology of aerospace engineering based on big data | |
| Yu et al. | Research on Smart Grid Information Platform Integrating Cloud Computing Technology | |
| CN107967319A (zh) | 一种海量数据高效抽取平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170118 |
|
| RJ01 | Rejection of invention patent application after publication |