CN110673549A - 基于分布式架构的数据中心智能监控系统和方法 - Google Patents

Abstract

本发明提出了一种基于分布式架构的数据中心智能监控系统和方法，用以解决集中式架构智能监控系统的性能瓶颈问题，提高智能监控系统服务的可靠性和安全性。基于分布式架构的数据中心智能监控系统，包括数据接入单元、实时计算单元、数据存储单元、应用功能单元和分布式协调处理单元，其中：数据接入单元，用于从被监控系统获取监测数据并转换为预设格式数据；实时计算单元，用于根据监测数据，判断是否生成告警信息；数据存储单元，用于存储配置数据、数据接入单元获取的实时监测数据和历史监测数据和实时计算单元产生的告警数据；应用功能单元，用于接收客户端提交的数据展示请求，根据数据展示请求从数据存储单元获取展示数据并发送给客户端。

Description

基于分布式架构的数据中心智能监控系统和方法

技术领域

本发明涉及数据中心智能监控技术领域，尤其涉及一种基于分布式架构的数据中心智能监控系统和方法。

背景技术

数据中心作为一种集中放置电子信息设备并提供相应运行条件的特殊建筑，为信息化和智能化的发展提供了重要支撑。数据中心的设备主要包括电子信息设备和基础设施设备，电子信息设备包括服务器、交换机、路由器等。基础设施设备则包括提供供电支撑的变配电系统设备和提供适宜运行环境支撑的制冷系统设备，此外，基础设置设备还涵盖用于二次支撑的弱电系统设备。弱电系统设备主要包括消防系统设备，火灾自动报警系统设备，安防系统设备等。

为持续、便利地监控、管理数据中心的各种设备的运行状况，数据中心往往配套建设了智能化的集中监控系统。现有智能监控系统采用集中式架构，系统的所有功能模块均部署于同一台服务器上。为了提高系统的可靠性，现有智能监控系统采用双机热备模式，当主服务器出现故障后，通过切换到备用服务器以保证监控系统的持续运行。

随着数据中心规模的扩大，数据中心智能监控系统需要处理的接入测点也逐步变多。对于独立的小型数据中心，其接入的测点容量仅有1万，对于中等规模的数据中心，其接入测点容量可能接近10万；而对于大型数据中心，其接入的测点容量可达到30万。

由于单个服务器的硬件性能有限，随着测点容量的持续增加，基于集中式架构的智能监控系统容易面临性能瓶颈，监控系统服务的可靠性和安全性降低，难以满足超大规模数据中心的监控需求。

发明内容

本发明要解决的技术问题是解决集中式架构的智能监控系统面临的性能瓶颈问题，提高智能监控系统服务的可靠性和安全性，提供一种基于分布式架构的数据中心智能监控系统和方法。

本发明采用的技术方案是提供一种于分布式架构的数据中心智能监控系统，所述数据中心智能监控系统包括数据接入单元、实时计算单元、数据存储单元、应用功能单元和分布式协调处理单元，数据接入单元、实时计算单元、数据存储单元和应用功能单元部署在至少两台服务器上，每一服务器上均部署有分布式协调处理单元，其中：

所述数据接入单元，用于从被监控系统获取监测数据，将所述监测数据转换为预设格式数据；

所述实时计算单元，用于根据所述监测数据，判断是否生成告警信息；

所述数据存储单元，用于存储配置数据、所述数据接入单元读取的实时监测数据和历史监测数据和所述实时计算单元产生的告警数据；

所述应用功能单元，用于接收客户端提交的数据展示请求，根据所述数据展示请求从所述数据存储单元获取展示数据并发送给所述客户端。

在一种可能的实施方式中，所述系统还包括可视化展示单元，所述可视化展示单元部署于所述客户端上；

所述可视化展示单元，用于根据所述应用功能单元发送的展示数据进行数据展示。

在一种可能的实施方式中，所述数据展示请求中携带有显示参数信息；

所述应用功能单元，还用于在向所述客户端发送所述展示数据之前，根据所述显示参数信息对所述展示数据进行适配处理。

在一种可能的实施方式中，所述数据接入单元，还用于将所述监测数据转换为预设格式数据之前，利用预设通讯协议解析获取的监测数据，所述通讯协议包括以下任一种：RS232协议，RS485协议和Modbus协议。

在一种可能的实施方式中，所述数据接入单元，还用于缓存所述监测数据；

所述实时计算单元，具体用于从所述数据接入单元读取其缓存的监测数据，根据读取的监测数据，判断是否生成告警信息。

在一种可能的实施方式中，所述配置数据包括预先配置的告警阈值；

所述实时计算单元，具体用于比较读取的监测数据和预先配置的告警阈值，根据比较结果判断是否生成告警信息；或者根据读取的监测数据，采用时间序列预测下一时刻的预测值，在下一时刻到达时，根据下一时刻的预测值和实际值的差值判断是否生成告警信息。

在一种可能的实施方式中，所述实时计算单元，还用于如果判断出生成告警信息，则在生成告警信息后，合并相同类型的告警信息。

在一种可能的实施方式中，如果数据接入单元、实时计算单元、数据存储单元和应用功能单元部署于不同的服务器上，则彼此之间通过所述分布式协调处理单元进行数据交互。

本发明还提供一种基于分布式架构的数据中心智能监控方法，所述方法应用于上述所述的任一基于分布式架构的数据中心智能监控系统中，所述方法，包括：

数据接入单元从被监控系统获取监测数据，将所述监测数据转换为预设格式数据，将获取的检测数据存储至数据存储单元；

所述实时计算单元根据所述监测数据，判断是否生成告警信息；

所述应用功能单元接收客户端提交的数据展示请求，根据所述数据展示请求从所述数据存储单元获取展示数据并发送给所述客户端。

在一种可能的实施方式中，所述数据存储单元中还存储有配置数据，所述配置数据包括预先配置的告警阈值；

所述实时计算单元根据所述监测数据，判断是否生成告警信息，具体包括：

所述实时计算单元比较读取的检测数据和预先配置的告警阈值，根据比较结果判断是否生成告警信息；或者

所述实时计算单元根据所述监测数据，采用时间序列预测下一时刻的预测值，在下一时刻到达时，根据下一时刻的预测值和实际值的差值判断是否生成告警信息。

采用上述技术方案，本发明至少具有下列优点：

本发明所述的基于分布式架构的数据中心智能监控系统和方法，通过将智能监控系统的各个功能单元分布式地部署到不同的服务器上，通过分布式协调处理单元完成各个功能单元之间的通信和数据处理，从而实现大型数据中心的智能化监控。由于各个功能单元分布式部署在不同服务器上，一方面，可以减少数据处理过程中的性能瓶颈，提高了服务可靠性和安全性，另一方面，可以根据测点容量的不同，灵活地增加服务器的数量，提高了智能监控系统的可用性和易扩展性。

附图说明

图1为本发明实施例的基于分布式架构的数据中心智能监控系统的结构示意图；

图2为本发明实施例的基于分布式架构的数据中心智能监控系统一种可能的部署方式示意图；

图3为本发明实施例的基于分布式架构的数据中心智能监控系统另外一种可能的部署方式示意图；

图4为本发明实施例的基于分布式架构的数据中心智能监控方法的实施流程示意图。

具体实施方式

为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。

发明人发现，基于集中式的数据中心智能监控系统，随着测点容量的增加，容易面临性能瓶颈，导致智能监控系统响应迟缓，甚至崩溃；而且集中式结构的可扩展性较差，难以实现灵活扩展。有鉴于此，本发明实施例提供了一种基于分布式架构的数据中心智能监控系统，将智能监控系统的核心功能模块分布式地部署到不同的服务器上，通过分布式分布式协调处理单元完成各个功能模块之间的通信和协同工作，从而实现大型数据中心的智能化监控。

如图1所示，其为本发明实施例提供的基于分布式架构的数据中心智能监控系统的结构示意图，包括数据接入单元100、实时计算单元200、数据存储单元300、应用功能单元400和分布式协调处理单元600，数据接入单元100、实时计算单元200、数据存储单元300和应用功能单元400部署在至少两台服务器上，每一服务器上均部署有分布式协调处理单元600，其中：

所述数据接入单元100，用于从被监控系统获取监测数据，将所述监测数据转换为预设格式数据；

所述实时计算单元200，用于根据所述监测数据，判断是否生成告警信息；

所述数据存储单元300，用于存储配置数据、所述数据接入单元读取的实时监测数据和历史监测数据和所述实时计算单元产生的告警数据；

所述应用功能单元400，用于接收客户端提交的数据展示请求，根据所述数据展示请求从所述数据存储单元获取展示数据并发送给所述客户端。

在一种可能的实施方式中，本发明实施例提供的基于分布式架构的数据中心智能监控系统还包括可视化展示单元500，可视化展示单元500部署于客户端中。

具体实施时，数据接入单元100，主要用于数据汇聚，即从各个被监控系统，例如，数据中心配电系统、制冷系统和弱电系统等获取其实时运行数据作为监测数据，并将获取的监测数据转换为预设格式数据。具体地，数据接入单元100通过与各个被监测系统之间的数据结构，采用相应的通讯协议从各个被监测系统获取监测数据，之后再利用相应的通讯协议解析获取的监测数据，将获取的监测数据转换为预设格式数据，格式转换为测点具有统一的编号。其中，数据接入单元100与被监测系统之间的通讯协议可以采取以下任一种：RS232协议、RS485协议和Modbus协议。

实时计算单元200，从数据接入单元100读取监测数据，根据读取的监测数据判断是否生成告警信息。本发明实施例中，实时计算单元200根据读取的监测数据，采用基于规则的方法或者基于机器学习的方法来判断是否生成告警信息。其中，基于规则的判断方法具体如下：实时计算单元200比较读取的监测数据与预先配置的告警阈值，根据比较结果判断是否生成告警信息。即实时计算单元200通过判断当前采集的监测数据是否在阈值区间范围内来判断是否触发告警。基于机器学习的判断方法，主要采用时间序列，例如，自回归滑动平均模型(Auto-Regressive Moving Average Model，ARMA)，Holter-Winter模型，支撑向量机模型等进行预测，通过评估预测值和实际值之间的差异水平来决定是否推送告警。具体地，实时计算单元200根据读取的监测数据，采用时间序列预测下一时刻的预测值，在下一时刻到达时，根据下一时刻的预测值和实际值的差值判断是否生成告警信息。

具体实施时，如果实时计算单元200判断出需要生成告警信息，则在生成告警信息之后，通过应用功能单元400向客户端发送生成的告警信息，由可视化展示单元向用户展示，以提示用户告警信息。

由于具体实施时，同一问题可能导致不同监测数据异常而导致大量类型相同的告警信息，本发明实施例中，为了减少大量同类型告警信息对用户造成干扰，减少传输资源开销，本发明实施例中，实时计算单元200在生成告警信息之后，合并相同类型的告警信息，即进行告警信息压缩，降低运维人员处理告警的工作量。

在一种可能的实时方式中，为了避免数据接入单元100和实时计算单元200之间由于数据处理速度差异导致的系统异常，降低数据处理可靠性，本发明实施例中，数据接入单元100还可以先缓存获取的监测数据，实时计算单元200可以按照自身数据处理速度，从数据接入单元100读取其缓存的监测数据，根据读取的监测数据，判断是否生成告警信息。数据缓存的功能可以利用消息中间件实现，如OpenMQ，ZeroMQ等，通过数据缓存解耦数据接入单元100和实施计算单元200，避免由于两者数据处理速度的差异而导致的系统异常，甚至崩溃等问题。

具体实施时，数据存储单元300主要用于存储智能监控系统产生的各种数据，例如，数据接入单元读取的实时监测数据和历史监测数据，以及智能监控系统的配置数据等。其中，数据存储单元针对实时监测数据和历史监测数据的存储粒度不同，针对实时监测数据可以采用较细粒度进行存储，而对于历史监测数据可以采用较粗粒度进行存储。数据存储单元300存储的配置数据可以包括智能监控系统的通用型配置，如人员账户和权限等；同时，还可以包括实时计算单元200和应用功能单元400的相关配置数据，例如告警阈值，监测点绑定等。为了存储不同类别的数据，数据存储单元可以采用单一类型的数据库，如MySQL，也可以采用多种类型数据库组合的方式，如Redis+MongoDB+MySQL前者适用于菜单容量较小的应用场景，后者适用于测点容量较大的应用场景。

具体实施时，应用功能单元400可以为用户提供各类所需的应用模块。用户可以通过客户端提交数据展示请求，根据接收到的数据展示请求中携带的信息从数据存储单元获取展示数据发送给客户端进行展示。例如，数据展示请求中携带有显示参数信息；应用功能单元，还用于在向所述客户端发送展示数据之前，根据显示参数信息对展示数据进行适配处理。

应用功能单元400的应用可以分为实时类应用和非实时类应用。实时类应用对计算和相应的实时性要求高，包括监控子单元和告警子单元，其中监控子单元可以用于从数据存储单元获取实时监测数据，并发送给客户端，由客户端通过可视化展示单元展示给用户；监控子单元，可以从数据存储单元或者实时计算单元获取告警数据，并发送给客户端，由客户端通过可视化展示单元展示给用户。非实时类应用对实时性要求较低，主要包括资产管理子单元，容量管理子单元，值班管理子单元和知识库子单元等。应用功能单元400的各子单元之间具有低耦合性，从而能够较好地支持功能单元的更新和业务拆分。当智能监控系统接入的测点容量过大时，可以将应用功能单元400中的实时类应用和非实时类应用进行业务拆分。

可视化展示单元500部署于客户端中，其可以实现大型数据中心智能监控系统的对外展示，其可支持监控端访问，移动端访问和大屏终端显示。其中，大屏终端一般用于数据中心的总控大厅。数据的展示形式包括一维展示，二维展示，三维展示和虚拟显示展示等等，虚拟现实展示可以较好地支撑应急演练的模拟，可视化展示单元500可以支持多个不同类型终端的并发访问。

分布式协调处理单元600，与数据接入单元100、实时计算单元200、数据存储单元300、应用功能单元400相连，通过分布式协调处理单元600的集中控制，实现各个功能单元的统一配置，以及各个单元之间的数据通信，协同工作。具体实施时，如果数据接入单元100、实时计算单元200、数据存储单元300和应用功能单元400部署于不同的服务器上，则彼此之间通过分布式协调处理单元600进行数据交互。

上述分布式智能监控系统中的各个单元模块在实际部署时可依据系统的接入测点容量灵活配置。单元模块和服务器之间的对应关系可以是多对一，一对一和一对多。当接入测点容量较小时，可采用多对一模式，即多个单元模块部署在一台服务器上。当接入测点容量较大时，可采用一对一模式，即一个单元模块部署在一台服务器上。当接入测量容量超过百万级时，可采用一对多模式，即一个单元模块部署在多台服务器上。

如图2所示，其为本发明实施例提供的基于分布式结构的数据中心智能监控系统一种可能的部署方式示意图，其为接入测量规模较小时的部署方式，以智能监控系统接入测点容量为12万，数据存储时间为3年为例，服务器的吸能参数为32G内存，4T硬盘。具体部署方式为：数据接入单元100和实时计算单元部署在同一服务器上，数据存储单元和应用功能单元部署在同一服务器上，可视化展示单元通过监控端和移动端的浏览器访问，同时在大屏上完成展示。分布式协调处理单元在上述两台服务器上均有部署，以实现各单元模块的系统工作。

如图3所示，其为本发明实施例提供的基于分布式结构的数据中心智能监控系统另外一种可能的部署方式示意图，智能监控系统需接入的测点容量为40万，数据存储时间为3年。服务器的性能参数为64G内存，16T硬盘。具体部署方式如下：数据接入单元部署在一个服务器上、实时计算单元部署在实一个服务器上、数据存储单元部署在一个服务器上，应用功能单元部署在一个服务器上。可视化展示单元通过监控端和移动端的浏览器访问，同时在大屏上完成展示。分布式分布式协调处理单元在上述四台服务器上均有部署，以实现各单元模块的协同工作。

本发明实施例提供的基于分布式架构的数据中心智能监控系统，通过引入分布式协调处理单元使得各单元模块可在不同服务器上完成部署，并实现统一配置，协同工作。各单元模块和服务器之间的对应关系可依据系统接入的测点容量灵活调整。本发明实施例提供的基于分布式架构的数据中心智能监控系统克服了传统基于集中式架构的智能监控系统的弊端，使得监控系统不再受限于单台服务器的性能瓶颈，有效解决了大型数据中心的智能化监控问题。此外，本发明实施例提供的基于分布式架构的大型数据中心智能监控系统具有良好的可用性和可扩展性，有利于促进大型数据中心的安全、稳定运营。

基于同一发明构思，本发明实施例还提供另一种基于分布式架构的数据中心智能监控方法，如图4所示，可以包括以下步骤：

S41、数据接入单元从被监控系统获取监测数据，将所述监测数据转换为预设格式数据，将获取的检测数据存储至数据存储单元；

S42、实时计算单元根据所述监测数据，判断是否生成告警信息；

S43、应用功能单元接收客户端提交的数据展示请求，根据所述数据展示请求从所述数据存储单元获取展示数据并发送给所述客户端。

在一种可能的实施方式中，所述数据存储单元中还存储有配置数据，所述配置数据包括预先配置的告警阈值；

所述实时计算单元根据所述监测数据，判断是否生成告警信息，具体包括：

所述实时计算单元比较读取的检测数据和预先配置的告警阈值，根据比较结果判断是否生成告警信息；或者

所述实时计算单元根据所述监测数据，采用时间序列预测下一时刻的预测值，在下一时刻到达时，根据下一时刻的预测值和实际值的差值判断是否生成告警信息。

通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (10)

1.一种基于分布式架构的数据中心智能监控系统，其特征在于，所述数据中心智能监控系统包括数据接入单元、实时计算单元、数据存储单元、应用功能单元和分布式协调处理单元，数据接入单元、实时计算单元、数据存储单元和应用功能单元部署在至少两台服务器上，每一服务器上均部署有分布式协调处理单元，其中：

所述数据接入单元，用于从被监控系统获取监测数据，将所述监测数据转换为预设格式数据；

所述实时计算单元，用于根据所述监测数据，判断是否生成告警信息；

所述数据存储单元，用于存储配置数据、所述数据接入单元读取的实时监测数据和历史监测数据以及所述实时计算单元产生的告警数据；

所述应用功能单元，用于接收客户端提交的数据展示请求，根据所述数据展示请求从所述数据存储单元获取展示数据并发送给所述客户端。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括可视化展示单元，所述可视化展示单元部署于所述客户端上；

所述可视化展示单元，用于根据所述应用功能单元发送的展示数据进行数据展示。

3.根据权利要求1所述的系统，其特征在于，所述数据展示请求中携带有显示参数信息；

所述应用功能单元，还用于在向所述客户端发送所述展示数据之前，根据所述显示参数信息对所述展示数据进行适配处理。

4.根据权利要求1所述的系统，其特征在于，

所述数据接入单元，还用于将所述监测数据转换为预设格式数据之前，利用预设通讯协议解析获取的监测数据，所述通讯协议包括以下任一种：RS232协议，RS485协议和Modbus协议。

5.根据权利要求1所述的系统，其特征在于，

所述数据接入单元，还用于缓存所述监测数据；

所述实时计算单元，具体用于从所述数据接入单元读取其缓存的监测数据，根据读取的监测数据，判断是否生成告警信息。

6.根据权利要求1～5任一项中所述的系统，其特征在于，所述配置数据包括预先配置的告警阈值；

所述实时计算单元，具体用于比较读取的监测数据和预先配置的告警阈值，根据比较结果判断是否生成告警信息；或者根据读取的监测数据，采用时间序列预测下一时刻的预测值，在下一时刻到达时，根据下一时刻的预测值和实际值的差值判断是否生成告警信息。

7.根据权利要求1所述的系统，其特征在于，

所述实时计算单元，还用于如果判断出生成告警信息，则在生成告警信息后，合并相同类型的告警信息。

8.根据权利要求1所述的系统，其特征在于，如果数据接入单元、实时计算单元、数据存储单元和应用功能单元部署于不同的服务器上，则彼此之间通过所述分布式协调处理单元进行数据交互。

9.一种基于分布式架构的数据中心智能监控方法，其特征在于，所述方法应用于权利要求1～8任一项所述的系统中，所述方法，包括：

数据接入单元从被监控系统获取监测数据，将所述监测数据转换为预设格式数据，将获取的检测数据存储至数据存储单元；

所述实时计算单元根据所述监测数据，判断是否生成告警信息；

所述应用功能单元接收客户端提交的数据展示请求，根据所述数据展示请求从所述数据存储单元获取展示数据并发送给所述客户端。

10.根据权利要求9所述的方法，其特征在于，所述数据存储单元中还存储有配置数据，所述配置数据包括预先配置的告警阈值；

所述实时计算单元根据所述监测数据，判断是否生成告警信息，具体包括：

所述实时计算单元比较读取的检测数据和预先配置的告警阈值，根据比较结果判断是否生成告警信息；或者

所述实时计算单元根据所述监测数据，采用时间序列预测下一时刻的预测值，在下一时刻到达时，根据下一时刻的预测值和实际值的差值判断是否生成告警信息。

Images