CN109165203A - 基于Hadoop架构的大型公共建筑能耗数据存储分析方法 - Google Patents
基于Hadoop架构的大型公共建筑能耗数据存储分析方法 Download PDFInfo
- Publication number
- CN109165203A CN109165203A CN201810866259.2A CN201810866259A CN109165203A CN 109165203 A CN109165203 A CN 109165203A CN 201810866259 A CN201810866259 A CN 201810866259A CN 109165203 A CN109165203 A CN 109165203A
- Authority
- CN
- China
- Prior art keywords
- data
- energy consumption
- hadoop
- building
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005265 energy consumption Methods 0.000 title claims abstract description 43
- 238000004458 analytical method Methods 0.000 title claims abstract description 21
- 238000007405 data analysis Methods 0.000 claims abstract description 10
- 238000013500 data storage Methods 0.000 claims abstract description 8
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000009825 accumulation Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000005094 computer simulation Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000007418 data mining Methods 0.000 claims description 3
- 238000013079 data visualisation Methods 0.000 claims description 3
- 230000004907 flux Effects 0.000 claims description 3
- 238000005194 fractionation Methods 0.000 claims description 3
- 238000005201 scrubbing Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000132092 Aster Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000009975 flexible effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出一种基于Hadoop架构的大型公共建筑能耗数据存储分析方法，操作方便，有效提高资源的利用率，能够实现建筑能耗大数据的分布式存储，同时基于并行计算与数据处理层能够对能耗数据进行分析，具有较强的伸缩性和稳定性。
Description
技术领域
本发明属于大数据存储分析领域，尤其是一种基于Hadoop架构的大型公共建筑能耗数据存储分析方法。
背景技术
目前针对大数据的处理技术包括并行数据库、MapReduce技术、并行数据库和MapReduce技术混合架构，其中对于大数据的统一处理技术属于第三类并行数据库和MapReduce技术混合架构，该技术分为并行数据库主导型、MapReduce主导型、并行数据库和MapReduce集成型。并行数据库主导型是利用MapReduce来增强并行数据库的数据处理功能，如EMC的Greenplum，Aster Data，但其可扩展性和容错能力并未改变；MapReduce主导型是利用关系数据库的SQL(Structure Query Language，结构化查询语言)接口和对模式的支持来改善MapReduce的易用性，如Hive、Pig Latin，但其对于数据处理的实时性方面仍无法满足需求；并行数据库和MapReduce集成型是借助Hadoop框架来获得较好的容错性和对异构环境的支持，同时获得关系型数据库的性能优势，但是目前并无应用案例，究其原因在于无法把工作推给适合的执行引擎。
综上，现有的大数据存储技术中，并行数据库主导型可扩展性和容错能力不佳；MapReduce主导型数据处理的实时性方面仍无法满足需求；并行数据库和MapReduce集成型无法把工作推给适合的执行引擎。
发明内容
本发明所解决的技术问题在于提供一种基于Hadoop架构的大型公共建筑能耗数据存储分析方法，实现建筑能耗大数据的分布式存储，具有较强的伸缩性和稳定性。
实现本发明目的的技术解决方案为：
基于Hadoop架构的大型公共建筑能耗数据存储分析方法，包括以下步骤：
步骤1：在数据采集层中，分布在建筑楼宇中的能耗采集设备将采集到的能耗数据汇总发送至各采集终端；
步骤2：各采集终端通过嵌入式存储技术，将数据备份保存在本地一周，再通过网络技术按时向远程服务器发送数据包，完成对建筑实时用能情况的初步采集；
步骤3：将采集数据输入至通用数据存储层，进行数据清理、转换、归并和拆分，构建通用建筑能耗数据库；
步骤4：通用建筑能耗数据库通过部署在Hadoop数据存储层底层的Hadoop分布式文件系统，构建数据仓库，再以业务需求为导向构建Hadoop通用数据存储层；
步骤5：基于Hadoop通用数据存储层构建并行计算与数据处理层，并行计算与数据处理层包括并行计算模型MapReduce、分布式计算框架Spark、数据仓库工具Hive、结构化数据处理模块SparkSQL；
步骤6：应用层根据用户需求调用Hadoop通用数据存储层和并行计算与数据处理层，进行数据可视化、数据挖掘与数据分析、用户权限认证、集群运行监控。
进一步的，本发明的基于Hadoop的大型公共建筑能耗数据存储分析方法，步骤1中采集的数据包括：采集时间、测点标识、电表的电能量、电表电流等。
进一步的，本发明的基于Hadoop的大型公共建筑能耗数据存储分析方法，步骤1中采集终端包括数据采集器、数据网关设备。
进一步的，本发明的基于Hadoop的大型公共建筑能耗数据存储分析方法，步骤4中的数据仓库包括系统运行参数库、分项能耗数据库、建筑环境参数库和建筑物信息库。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明的基于Hadoop的大型公共建筑能耗数据存储分析方法操作方便、提高资源的利用率；
2、本发明的基于Hadoop的大型公共建筑能耗数据存储分析方法实现建筑能耗大数据的分布式存储，同时基于并行计算与数据处理层能够对能耗数据进行分析；
3、本发明的基于Hadoop的大型公共建筑能耗数据存储分析方法具有较强的伸缩性和稳定性。
附图说明
图1是本发明的基于Hadoop的大型公共建筑能耗数据存储分析方法流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
基于Hadoop架构的大型公共建筑能耗数据存储分析方法，如图1所示，包括以下步骤：
步骤1：在数据采集层中，分布在建筑楼宇中的能耗采集设备将采集到的能耗数据汇总发送至各采集终端。其中，能耗采集设备包括电表、水表、燃气表和温湿度计量表等各类智能表具。能耗数据包括：采集时间、测点标识、电表的电能量、电表电流等。采集终端包括数据采集器、数据网关设备。
步骤2：各采集终端通过嵌入式存储技术，将数据备份保存在本地一周，再通过网络技术按时向远程服务器发送数据包，完成对建筑实时用能情况的初步采集。
步骤3：将采集数据输入至通用数据存储层，进行数据清理、转换、归并和拆分，构建通用建筑能耗数据库。通用数据存储层部署在省级能耗数据中心，主要为现有各级能源管理系统提供支持，并作为整个Hadoop平台的直接数据源，通用存储层将传感器网络与整个Hadoop平台隔离开来，保证了现有系统的运行，同时提高了Hadoop数据源的数据质量和采集效率。
步骤4：通用建筑能耗数据库通过部署在Hadoop数据存储层底层的Hadoop分布式文件系统(HDFS)构建数据仓库，HDFS可跨机器可靠地存储海量的文件，将每个文件存储成同样大小的数据块序列，数据仓库包括系统运行参数库、分项能耗数据库、建筑环境参数库和建筑物信息库，再以业务需求为导向构建Hadoop通用数据存储层，为运行并行计算框架和构建能耗模型提供支持。
步骤5：基于Hadoop通用数据存储层构建并行计算与数据处理层，并行计算与数据处理层包括并行计算模型MapReduce、分布式计算框架Spark、数据仓库工具Hive、结构化数据处理模块SparkSQL。根据分析任务的不同，选择合适组件进行数据处理。
步骤6：应用层直接为用户提供服务，拥有统一的系统图像化界面，根据用户需求调用Hadoop通用数据存储层和并行计算与数据处理层，进行数据可视化、数据挖掘与数据分析、用户权限认证、集群运行监控。
本方法能够实现建筑能耗大数据的分布式存储，具有较强的伸缩性和稳定性，同时基于并行计算与数据处理层能够对能耗数据进行分析。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进应视为本发明的保护范围。
Claims (4)
1.基于Hadoop架构的大型公共建筑能耗数据存储分析方法，其特征在于，包括以下步骤：
步骤1：在数据采集层中，分布在建筑楼宇中的能耗采集设备将采集到的能耗数据汇总发送至各采集终端；
步骤2：各采集终端通过嵌入式存储技术，将数据备份保存在本地一周，再通过网络技术按时向远程服务器发送数据包，完成对建筑实时用能情况的初步采集；
步骤3：将采集数据输入至通用数据存储层，进行数据清理、转换、归并和拆分，构建通用建筑能耗数据库；
步骤4：通用建筑能耗数据库通过部署在Hadoop数据存储层底层的Hadoop分布式文件系统，构建数据仓库，再以业务需求为导向构建Hadoop通用数据存储层；
步骤5：基于Hadoop通用数据存储层构建并行计算与数据处理层，并行计算与数据处理层包括并行计算模型MapReduce、分布式计算框架Spark、数据仓库工具Hive、结构化数据处理模块SparkSQL；
步骤6：应用层根据用户需求调用Hadoop通用数据存储层和并行计算与数据处理层，进行数据可视化、数据挖掘与数据分析、用户权限认证、集群运行监控。
2.根据权利要求1所述的基于Hadoop的大型公共建筑能耗数据存储分析方法，其特征在于，步骤1中采集的数据包括：采集时间、测点标识、电表的电能量、电表电流等。
3.根据权利要求1所述的基于Hadoop的大型公共建筑能耗数据存储分析方法，其特征在于，步骤1中采集终端包括数据采集器、数据网关设备。
4.根据权利要求1所述的基于Hadoop的大型公共建筑能耗数据存储分析方法，其特征在于，步骤4中的数据仓库包括系统运行参数库、分项能耗数据库、建筑环境参数库和建筑物信息库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810866259.2A CN109165203A (zh) | 2018-08-01 | 2018-08-01 | 基于Hadoop架构的大型公共建筑能耗数据存储分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810866259.2A CN109165203A (zh) | 2018-08-01 | 2018-08-01 | 基于Hadoop架构的大型公共建筑能耗数据存储分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109165203A true CN109165203A (zh) | 2019-01-08 |
Family
ID=64898627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810866259.2A Pending CN109165203A (zh) | 2018-08-01 | 2018-08-01 | 基于Hadoop架构的大型公共建筑能耗数据存储分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109165203A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112364081A (zh) * | 2020-11-16 | 2021-02-12 | 广东百德朗科技有限公司 | 一种基于大数据的公共建筑能耗数据采集分析方法及系统 |
| CN112686771A (zh) * | 2020-12-07 | 2021-04-20 | 国网新疆电力有限公司 | 一种云边协同的电力计量数据采集分析系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104699985A (zh) * | 2015-03-26 | 2015-06-10 | 西安电子科技大学 | 一种医疗大数据采集分析系统及方法 |
| CN106951497A (zh) * | 2017-03-15 | 2017-07-14 | 深圳市德信软件有限公司 | 一种基于Hadoop架构数据分析图表展示的方法及系统 |
| CN107424079A (zh) * | 2017-06-29 | 2017-12-01 | 广州智慧城市发展研究院 | 一种基于大数据平台的大型建筑能耗管理系统及方法 |
-
2018
- 2018-08-01 CN CN201810866259.2A patent/CN109165203A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104699985A (zh) * | 2015-03-26 | 2015-06-10 | 西安电子科技大学 | 一种医疗大数据采集分析系统及方法 |
| CN106951497A (zh) * | 2017-03-15 | 2017-07-14 | 深圳市德信软件有限公司 | 一种基于Hadoop架构数据分析图表展示的方法及系统 |
| CN107424079A (zh) * | 2017-06-29 | 2017-12-01 | 广州智慧城市发展研究院 | 一种基于大数据平台的大型建筑能耗管理系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112364081A (zh) * | 2020-11-16 | 2021-02-12 | 广东百德朗科技有限公司 | 一种基于大数据的公共建筑能耗数据采集分析方法及系统 |
| CN112686771A (zh) * | 2020-12-07 | 2021-04-20 | 国网新疆电力有限公司 | 一种云边协同的电力计量数据采集分析系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105069703B (zh) | 一种电网海量数据管理方法 | |
| CN106651633B (zh) | 一种基于大数据技术的用电信息采集系统及其采集方法 | |
| CN109492002B (zh) | 一种智能电网大数据存储与分析系统及处理方法 | |
| CN111586091B (zh) | 一种实现算力组配的边缘计算网关系统 | |
| CN106547882A (zh) | 一种智能电网中营销大数据的实时处理方法及系统 | |
| CN105069025A (zh) | 一种大数据的智能聚合可视化与管控系统 | |
| CN112181960A (zh) | 一种基于AIOps的智能运维框架系统 | |
| CN106202566A (zh) | 一种基于大数据的海量用电数据混合存储系统及方法 | |
| CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 | |
| CN104113605A (zh) | 一种企业云应用开发的监控处理方法 | |
| CN106534784A (zh) | 一种用于视频分析数据结果集的采集分析存储统计系统 | |
| CN112559634A (zh) | 一种基于计算机云计算大数据用数据管理系统 | |
| CN104991849A (zh) | 一种通过zabbix监控Linux进程占用系统资源的方法 | |
| Ding et al. | Massive heterogeneous sensor data management in the Internet of Things | |
| CN106599189A (zh) | 基于云计算的动态Skyline查询装置 | |
| CN109165203A (zh) | 基于Hadoop架构的大型公共建筑能耗数据存储分析方法 | |
| CN112613790A (zh) | 应用于多站融合环境下的协同数据处理方法、设备及介质 | |
| Ali et al. | From big data to smart data-centric software architectures for city analytics: the case of the pell smart city platform | |
| CN110377757A (zh) | 一种实时知识图谱构建系统 | |
| CN112181972A (zh) | 基于大数据的数据治理方法、装置和计算机设备 | |
| CN111049898A (zh) | 一种实现计算集群资源跨域架构的方法及系统 | |
| CN116795816A (zh) | 一种基于流式处理的数仓建设方法和系统 | |
| CN116523328A (zh) | 一种航空装备协同制造产业链协作智能决策方法 | |
| CN114969183A (zh) | 一种应用于高速公路建设的信息化管理服务平台 | |
| CN107908476B (zh) | 基于分布式集群的数据处理方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190108 |