CN117609289A - 一种基于宽表的能源数据处理系统 - Google Patents

Abstract

本发明提供一种基于宽表的能源数据处理系统，属于数字能源信息处理领域，本发明包括数据采集模块，数据处理模块，数据汇总模块，数据服务模块。通过MQTT等协议从能源网关获取基础数据，通过关系型数据库分类对基础数据存储，然后按照指定规则对基础数据进行清洗，按照业务层的需要对清洗后的有效原始数据以及当时所属业务属性进行实时落档，从而形成宽表。针对宽表中数据，按照业务诉求，按照不同时间段的多维度汇总。针对汇总以后的数据，按照分层的方式提供基本服务。

Description

一种基于宽表的能源数据处理系统

技术领域

本发明涉及数字能源信息处理领领域，尤其涉及一种基于宽表的能源数据处理系统。

背景技术

新型数字能源目前为行内焦点，届时能源路由器会产生数以亿计的实时数据产生，并且互联网产品快速迭代，业务发展越来越快，跨业务分析越来越多，数据驱动业务越来越重要，因此，数据处理变得尤为重要。传统的数据处理方法采用实时查询，多张表关联查询的查询方式，进行相关的数据汇总展示。

传统的采用实时关联的实现方式虽然能满足业务需求，但是从长远来看，有诸多痛点：

1.收集了海量数据，不知道如何去做高效的数据处理工作

2.不同来源的数据该如何去聚合

3.如何方便业务人员快速方便的获取数据

4.如何定义重要的数据指标

5.如何确保数据准确性

6.数据如何支持决策

所谓宽表：从字面意义上讲就是字段比较多的数据库表。通常是指业务主题相关的指标、维度、属性关联在一起的一张数据库表。由于把不同的内容都放在同一张表存储，宽表已经不符合三范式的模型设计规范，随之带来的主要坏处就是数据的大量冗余。

发明内容

为了解决以上技术问题，本发明提供了一种基于宽表的能源数据处理系统。

本发明的技术方案是：

一种基于宽表的能源数据处理系统，包括数据采集模块，数据处理模块，数据汇总模块，数据服务模块；

其中，

数据采集模块包括MQTT客户端订阅主题，MQTT服务段发布主题，MQTT客户端通过过滤规则，然后通过反馈报文feedBack将数据处理结果反馈给发布者。

数据处理模块根据MQTT得到数据进行处理，并扩展，形成基本元数据。

数据汇总模块根据基本元数据进行数据建模，确认事实表，最终形成维度宽表。

数据服务模块根据维度宽表进行分层提供服务，分成应用数据层，数据聚合层，数据公共层，操作数据层。

进一步的，

通过MQTT等协议从能源网关获取基础数据，通过关系型数据库分类对基础数据存储，然后按照指定规则对基础数据进行清洗，按照业务层的需要对清洗后的有效原始数据以及当时所属业务属性进行实时落档，从而形成宽表。针对宽表中数据，按照业务诉求，按照不同时间段的多维度汇总。针对汇总以后的数据，按照分层的方式提供基本服务。

再进一步的，

数据采集模块，通过MQTT协议进行数据同步，首先通过MQTT客户端订阅相关主题，并创建规则进行过滤，然后MQTT发布主题，然后开始数据传输过程，通过PUBLISH报文获取发布者上报的数据，然后根据预定的规则进行脏数据和有效数据的标记，如果是脏数据，则通过反馈报文feedBack将数据处理结果反馈给发布者，如果是有效数据，则通过设置的是否需要数据转换进行相应的处理，最终会根据订阅者发送的订阅报文SUBSCRIBE的过滤规则，将处理后的数据通过PUBLISH报文发给相应的MQTT订阅者，订阅者收到数据后，进行后续操作。

数据处理模块，有了基础元数据以后，根据业务场景，对元数据进行进一步扩展，并对部分数据计算得到新的数据，从而形成以元数据为基础扩展起来的宽表数据，从而形成数据仓库。

数据汇总模块，其核心是数据建模，按照数据仓库规范分层开发模型，实现数据的标准化，多采用维度建模。模型具有通用性，一些数据挖掘模型如果使用频次较高，也可以沉淀到其中。

数据建模分为两个步骤：

确认事实表，分析业务的生命周期，明确业务的关键步骤；在进行指标定义的时候是否覆盖了本主题语中的全部指标，判断哪些指标可以通过加减乘除计算得到；

确定维度，也就是形成宽表，粒度是模型设计的关键，模型设计时候考虑分层，层级越往后，粒度越粗；设计冗余的维度以避免统计中过多的关联导致复杂的计算逻辑。

数据服务模块，通过上一步形成的宽表数据做设计，提供扩展性，维护性强的服务。

分层设计，分为操作数据层(ODS) 、数据公共层(DWC) 数据聚合层(DWA)、应用数据层(ADS)；

其中，

操作数据层(ODS)，存放的是原始数据，也是根据不同的维度表汇总到的数据，在操作数据层分别从十五分钟、天、月，按照汇总和明细的角度提供相应的能力；

数据公共层(DWC)，拆分为按月查询，按天查询，按十五分钟查询三个服务，需要根据时间来判断是否需要查询当天数据，如果需要，则需要进一步对十五分钟数据表的当天数据进行汇总到按天和月的统计中，根据业务的具体请求时间参数，组合对应的操作数据层服务；

数据聚合层(DWA)，作用是根据实际的业务需求，抽象出业务接口，提供给业务方调用；提供四个服务，能耗服务，成本服务，碳排放服务，标准煤服务，并且这些服务都实现同一个接口，接口的设计是结合业务中普遍用到的业务数据提供相关api；为了保证代码的复用性，用模板模式设计接口；利用反射方法调用的参数性和相关的抽象方法，实现接口返回参数的一致性问题；

应用数据层(ADS)，通过上面几层后，会生成汇总的数据，然后根据业务域进行接口封装提供给上层使用。

本发明的有益效果是

利用数据处理模块、数据汇总模块，提升数据质量，实现任务数据低延迟，大幅减少研发bug数量达到80%，并完成数据指标口径的统一 。利用数据服务模块，可实现需求交付速度，数据查找效率，数据查询能力的三重提升，接口查询性能提升从秒计到毫秒级，并且提供程序的可维护性，降低数据服务成本，从而可大幅度节约业务成本，提升整体研发业务价值。

附图说明

图1是本发明的数据采集流程示意图；

图2是数据服务模块结构示意图；

图3是数据聚合层(DWA)结构示意图；

图4是数据公共层(DWC)结构示意图；

图5是操作数据层(ODS)结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于宽表的能源数据处理系统，这种宽表的设计广泛应用于数据挖掘模型训练前的数据准备，通过把相关字段放在同一张表中，可以大大提高数据挖掘模型训练过程中迭代计算时的效率问题。

本发明包括数据采集模块，数据处理模块，数据汇总模块，数据服务模块。

数据采集模块，见图1，能源路由器通过MQTT协议进行数据同步，首先通过MQTT客户端订阅相关主题，并创建规则进行过滤，然后MQTT发布主题，然后开始数据传输过程，通过PUBLISH报文获取发布者上报的数据，然后根据预定的规则进行脏数据和有效数据的标记，如果是脏数据，则通过反馈报文feedBack将数据处理结果反馈给发布者,如果是有效数据，则通过设置的是否需要数据转换进行相应的处理，最终会根据订阅者发送的订阅报文SUBSCRIBE的过滤规则，将处理后的数据通过PUBLISH报文发给相应的MQTT订阅者，订阅者收到数据后，进行后续操作。

数据处理模块，有了基础元数据以后，根据业务场景，对元数据进行进一步扩展，并对部分数据计算得到新的数据，从而形成以元数据为基础扩展起来的宽表数据，从而形成数据仓库。

数据汇总模块，其核心是数据建模，按照数据仓库规范分层开发模型，实现数据的标准化，多采用维度建模。模型具有通用性，一些数据挖掘模型如果使用频次较高，也可以沉淀到其中 ，数据建模一般分为两个步骤：

确认事实表，分析业务的生命周期，明确业务的关键步骤。在进行指标定义的时候是否覆盖了本主题语中的全部指标，判断哪些指标可以通过加减乘除计算得到等。

确定维度，也就是形成宽表，粒度是模型设计的关键，太细的粒度不利于上层数据分析汇总，太粗的粒度又不能满足前段多维度个性化查询需求。基于此，模型设计时候一般考虑分层，层级越往后，粒度越粗。冗余维度也是需要考虑的，设计冗余的维度可以避免统计中过多的关联导致复杂的计算逻辑，影响性能。

数据服务模块，通过上一步形成的宽表数据做合理的设计，提供扩展性，维护性强的服务，这是本发明的重点部分，通过数字能源这个领域举例说明，通过能源路由器每个指标上传的数据的时间间隔是15s一次，预计上万个指标，每天将会产生几百万条数据，数据量很大，业务中需要对这些数据需要汇总展示，因此通过分析，对这些数据建模形成了基本的宽表数据，并且根据天，月，十五分钟三个横向维度进一步汇总，形成汇总数据，每个横向维度，又包含数个纵向维度，这里面坚持一个原则，纵向维度唯一原则，以便数据统计的准确性，最终会统计出几个指标，比如说能耗，成本，碳排放，标准煤，这里面需要解释下，成本是根据设置好的价格计算出来的，碳排放和标准煤都是能耗根据一定的系数的一个计算而来，作为统计的一项。

接下来要设计服务，采用分层设计，见图2，分为操作数据层(ODS) 、数据公共层(DWC) 数据聚合层(DWA)、应用数据层(ADS)。

1.操作数据层(ODS)，见图5，本层存放的是原始数据，也是根据不同的维度表汇总到的数据，因为横向按照十五分钟，天，月三个维度形成宽表数据，并且根据业务需求，通过总结分析，业务端通常需要一个是汇总值，还有就是汇总明细，因此，在操作数据层分别从十五分钟、天、月，按照汇总和明细的角度提供相应的能力。

2.数据公共层(DWC)，见图4，因为之前根据月，天，十五分钟三个维度做统计，因此数据公共层拆分为按月查询，按天查询，按十五分钟查询三个服务，并且在之前的汇总中，按天，按月统计中不包含当天数据，当天数据只有按照十五分钟查询里才有。但是实际的业务需求是查到的数据最小颗粒度是要包含当天数据的，因此要查十五分钟数据表，因此在设计的月，天，十五分钟三个基本服务中，需要根据时间来判断是否需要查询当天数据，如果需要，则需要进一步对十五分钟数据表的当天数据进行汇总到按天和月的统计中，因此这一层是根据业务的具体请求时间参数，组合对应的操作数据层服务，提供一个高效，准确的，稳定，数据完整的服务能力。

3.数据聚合层(DWA)，见图3，本层的作用是根据实际的业务需求，抽象出业务接口，提供给业务方调用。根据业务需求，通过总结分析，大多数业务需求都是对能耗，成本，碳排放，标准煤各个纵向维度的汇总展示。因此，提供四个服务，能耗服务，成本服务，碳排放服务，标准煤服务，并且这些服务都实现同一个接口，接口的设计是结合业务中普遍用到的业务数据提供相关api，在这个过程中利用到了多种设计模式参与其中，为了保证服务的扩展性以及可维护性，用了工厂模式获取相关服务。为了保证代码的复用性，用模板模式设计接口。因为底层能耗，成本，碳排放，标准煤使用横向存储的，但是这四个服务面向的却是同一个接口，所以这里面涉及到怎么把不同的横向的数据转化成相同结构的数据模型返回的问题，为了解决这个问题，利用反射方法调用的参数性和相关的抽象方法，最终实现了接口返回参数的一致性问题。

4.应用数据层(ADS)，通过上面几层后，会生成轻度或者高度汇总的数据，然后根据业务域进行接口封装提供给上层使用。

以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种基于宽表的能源数据处理系统，其特征在于，

包括数据采集模块，数据处理模块，数据汇总模块，数据服务模块；

数据采集模块包括MQTT客户端订阅主题，MQTT服务段发布主题，MQTT客户端通过过滤规则，然后通过反馈报文feedBack将数据处理结果反馈给发布者；

数据处理模块根据MQTT得到数据进行处理，并扩展，形成基本元数据；

数据汇总模块根据基本元数据进行数据建模，确认事实表，最终形成维度宽表；

数据服务模块根据维度宽表进行分层提供服务，分成应用数据层，数据聚合层，数据公共层，操作数据层。

2.根据权利要求1所述的系统，其特征在于，

通过MQTT协议从能源网关获取基础数据，通过关系型数据库分类对基础数据存储，然后按照指定规则对基础数据进行清洗，按照业务层的需要对清洗后的有效原始数据以及当时所属业务属性进行实时落档，从而形成宽表；

针对宽表中数据，按照业务诉求，按照不同时间段的多维度汇总；

针对汇总以后的数据，按照分层的方式提供基本服务。

3.根据权利要求2所述的系统，其特征在于，

数据采集模块，通过MQTT协议进行数据同步，首先通过MQTT客户端订阅相关主题，并创建规则进行过滤，然后MQTT发布主题，然后开始数据传输过程，通过PUBLISH报文获取发布者上报的数据，然后根据预定的规则进行脏数据和有效数据的标记，如果是脏数据，则通过反馈报文feedBack将数据处理结果反馈给发布者,如果是有效数据，则通过设置的是否需要数据转换进行相应的处理，最终会根据订阅者发送的订阅报文SUBSCRIBE的过滤规则，将处理后的数据通过PUBLISH报文发给相应的MQTT订阅者，订阅者收到数据后，进行后续操作。

4.根据权利要求1所述的系统，其特征在于，

数据处理模块，有了基础元数据以后，根据业务场景，对元数据进行进一步扩展，并对部分数据计算得到新的数据，从而形成以元数据为基础扩展起来的宽表数据，从而形成数据仓库。

5.根据权利要求1所述的系统，其特征在于，

数据汇总模块，其核心是数据建模，按照数据仓库规范分层开发模型，实现数据的标准化，采用维度建模；数据挖掘模型也可以沉淀到其中。

6.根据权利要求5所述的系统，其特征在于，

数据建模分为两个步骤:

确认事实表，分析业务的生命周期，明确业务的关键步骤；在进行指标定义的时候是否覆盖了本主题语中的全部指标，判断哪些指标可以通过加减乘除计算得到；

确定维度，也就是形成宽表,粒度是模型设计的关键，模型设计时候考虑分层，层级越往后，粒度越粗；设计冗余的维度以避免统计中过多的关联导致复杂的计算逻辑。

7.根据权利要求1所述的系统，其特征在于，

数据服务模块，通过上一步形成的宽表数据做设计，提供扩展性，维护性强的服务。

8.根据权利要求7所述的系统，其特征在于，

分层设计,分为操作数据层(ODS) 、数据公共层(DWC) 数据聚合层(DWA)、应用数据层(ADS)；

其中

操作数据层(ODS),存放的是原始数据，或根据不同的维度表汇总到的数据，在操作数据层分别从十五分钟、天、月，按照汇总和明细的角度提供相应的能力；

数据公共层(DWC)，拆分为按月查询，按天查询，按十五分钟查询三个服务，需要根据时间来判断是否需要查询当天数据，如果需要，则需要进一步对十五分钟数据表的当天数据进行汇总到按天和月的统计中，根据业务的具体请求时间参数，组合对应的操作数据层服务；

数据聚合层(DWA)，作用是根据实际的业务需求，抽象出业务接口，提供给业务方调用；提供四个服务，能耗服务，成本服务，碳排放服务，标准煤服务，并且这些服务都实现同一个接口，接口的设计是结合业务中普遍用到的业务数据提供相关api；用模板模式设计接口以保证代码的复用性；利用反射方法调用的参数性和相关的抽象方法，实现接口返回参数的一致性问题；

应用数据层(ADS)，通过上面几层后，会生成汇总的数据，然后根据业务域进行接口封装提供给上层使用。