CN106210124B - 一种统一的云数据中心监控系统 - Google Patents
一种统一的云数据中心监控系统 Download PDFInfo
- Publication number
- CN106210124B CN106210124B CN201610626863.9A CN201610626863A CN106210124B CN 106210124 B CN106210124 B CN 106210124B CN 201610626863 A CN201610626863 A CN 201610626863A CN 106210124 B CN106210124 B CN 106210124B
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- monitoring system
- unified
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 51
- 230000010354 integration Effects 0.000 claims abstract description 17
- 238000007405 data analysis Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 9
- 238000013459 approach Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/567—Integrating service provisioning from a plurality of service providers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种统一的云数据中心监控系统，该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成。本发明的一种统一的云数据中心监控系统和现有技术相比，可以让运维人员在一个界面上进行全部资源的监控管理和配置，可以让开发人员只需少量的改动即可引入新的监控组件，可以灵活进行分布式部署和扩展，可以整合多类资源进行高级分析和报表生成，具有很高的实用价值。
Description
技术领域
本发明涉及云计算领域，具体地说是一种统一的云数据中心监控系统。
背景技术
目前的云数据中心的运维工作，有很大一部分需要通过监控工具来完成，而在使用过程中，往往一种工具无法满足多种多样的个性化的监控需求，需要多种工具结合使用，对这些监控工具的维护又会带来相当多的工作量，并且各组件之间数据格式往往不统一，不能直接整合分析。在目前的云数据中心当中，客户关心的相当一部分资源是虚拟资源，如何将虚拟资源和物理资源统一整合进行配置和展示，也是一个比较受关注的工作。另外，监控工具的更新和版本日新月异，但是我们本身监控产品的业务逻辑往往是基本一致的，这就需要我们将易变化的部分和比较稳定的部分分解开来，实现快速集成，并且减少开发成本。最后，云数据中心的规模往往在上万台物理机、十万台虚拟设备以上，如何能保证监控系统可随着数据中心的规模灵活扩展，也是监控系统设计的重要关注点。
发明内容
本发明的技术任务是提供一种统一的云数据中心监控系统。
本发明的技术任务是按以下方式实现的，该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成；
数据获取层：监控系统通过三种获取途径获取被监控对象的各种数据，三种途径分别为：公共协议获取、内部代理获取或虚拟化接口批量获取；本层针对虚拟化类型的资源，采用调用虚拟化平台接口的方式，相当于从虚拟化管理平台本身间接获取虚拟资源的信息；不必挨个虚拟机进行建立连接、读取数据、断开连接这种操作；
数据整合层：用于解析返回的报文结构，统一进行格式化存储；当数据量较小时，采用传统数据库mysql或Oracle；当数据量较大时，采用分布式数据库hbase或mongodb；
数据分析层：采用统一的数据结构，对外提供数据接口，界面或其他模块也不必关心数据来源，直接到数据整合层进行查询即可获得监控数据作为基础数据使用；
任务调度层：针对各种资源的监测策略进行一个统一的调度处理；对于数据分析的各类定时报表，有一个定时任务的管理中心进行运行、记录结果，本层进行统一调度管理。
所述的数据获取层在新引入一种监控工具时，只需新增对应的报文解析方法，将该工具返回的数据统一到数据整合层即可，其他部分都不需要变化。
所述的监控系统如下：
云平台接口和shinken开源监控工具构成数据获取层，分别用于获取虚拟资源和物理资源的监控数据；mysql构成数据整合层，用于接收来自shinken和云平台的监控结果；mysql存储过程构成数据分析层，基于mysql的实时性能表和历史性能表做出分析报表和告警信息、预测信息；imonitor工程作为任务调度层，统一配置调度各类资源的定时任务，并记录各次定时任务的执行结果；整个架构的每一层之间都可单独部署，并且除任务调度层外都可做分布式多节点部署。
本发明的一种统一的云数据中心监控系统和现有技术相比，可以让运维人员在一个界面上进行全部资源的监控管理和配置，可以让开发人员只需少量的改动即可引入新的监控组件，可以灵活进行分布式部署和扩展，可以整合多类资源进行高级分析和报表生成，具有很高的实用价值。
附图说明
附图１为一种统一的云数据中心监控系统的整体架构图。
附图２为一种统一的云数据中心监控系统的实施例图。
具体实施方式
实施例1：
该统一的云数据中心监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成；
数据获取层：监控系统要获取被监控对象的各种数据，通常包括通过公共协议获取和通过内部代理获取两种途径；而引入虚拟化资源之后，将带来第三种途径，即通过虚拟化接口批量获取；因为虚拟资源存在其特殊性，虚拟机未必存在一个可由外部访问的ip，甚至没有固定ip；虚拟机发生动态迁移后ip可能也会发生改变；虚拟机各端口未必会打开从外部访问的权限；虚拟机会经常性的创建和删除，如果采用传统方式需要频繁进行纳入监控和从监控移除的操作；
因此本层针对虚拟化类型的资源，采用调用虚拟化平台接口的方式，相当于从虚拟化管理平台本身间接获取虚拟资源的信息；这样既避免了将大量的虚拟资源引入监控中再走一遍流程，又可以快速准确的获取各虚拟机信息，不必挨个虚拟机进行建立连接、读取数据、断开连接这种操作；
当新引入一种监控工具时，只需新增对应的报文解析方法，将该工具返回的数据统一到数据整合层即可，其他部分都不需要变化；
数据整合层：由于可能采用多种协议和多种监控工具获取监控数据，每种协议返回的响应格式又不一样，因此需要设计一个数据整合层，解析各种返回的报文结构，统一进行格式化存储；当数据量较小时，采用传统数据库即可，如mysql、Oracle等；而当数据量较大时，本层可替换为hbase、mongodb等分布式数据库，更好的支持大数据场景；
数据分析层：由于采用了统一的数据存储格式，因此业务逻辑可以不必关心数据的来源，只专注于针对一种格式的数据分析；比如自定义告警、自定义报表、容量预测、TopN筛选等等，并且由于采用了统一的数据结构，因此可以很方便的对外提供数据接口，界面或其他模块也不必关心数据来源，直接到数据整合层进行查询即可获得监控数据作为基础数据使用；
任务调度层：由于不同的资源类型要求的监测粒度和监测间隔往往不同，如cpu利用率一般要求更为实时，而磁盘存储空间一般半小时监测一次即可，因此需要针对各种资源的监测策略进行一个统一的调度处理；而对于数据分析的各类定时报表，也需要有一个定时任务的管理中心进行运行、记录结果，因此需要有任务调度层，各类定时任务都提交给本层进行统一调度管理。
实施例2：
本系统与被监测的云数据集群保持网络连通即可，无需一起部署，甚至可以异地部署，但由于进行各类监测时会产生网络流量，为保证传输速度不成为瓶颈，建议与被监测中心部署在同一局域网内即可；
在本系统中，云平台接口和shinken开源监控工具构成数据获取层，分别用于获取虚拟资源和物理资源的监控数据；mysql构成数据整合层，用于接收来自shinken和云平台的监控结果；mysql存储过程构成数据分析层，基于mysql的实时性能表和历史性能表做出各种分析报表和告警信息、预测信息；imonitor工程作为任务调度层，统一配置调度各类资源的定时任务，并记录各次定时任务的执行结果；整个架构的每一层之间都可单独部署，并且除任务调度层外都可做分布式多节点部署，充分满足了客户需求，增加了监控的灵活性和统一性，并具有较好的扩展能力。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
Claims (3)
1.一种统一的云数据中心监控系统，其特征在于，该监控系统由数据获取层、数据整合层、数据分析层以及任务调度层四个层次构成；
数据获取层：监控系统通过三种获取途径获取被监控对象的各种数据，三种途径分别为：公共协议获取、内部代理获取或虚拟化接口批量获取；本层针对虚拟化类型的资源，采用调用虚拟化平台接口的方式，相当于从虚拟化管理平台本身间接获取虚拟资源的信息；不必挨个虚拟机进行建立连接、读取数据、断开连接这种操作；
数据整合层：用于解析返回的报文结构，采用传统数据库mysql或Oracle， 或采用分布式数据库hbase或mongodb，统一进行格式化存储；
数据分析层：采用统一的数据结构，对外提供数据接口，界面直接到数据整合层进行查询即可获得监控数据作为基础数据使用；
任务调度层：针对各种资源的监测策略进行一个统一的调度处理；对于数据分析的各类定时报表，有一个定时任务的管理中心进行运行、记录结果，本层进行统一调度管理。
2.根据权利要求1所述的一种统一的云数据中心监控系统，其特征在于，所述的数据获取层在新引入一种监控工具时，增加对应的报文解析方法，将该工具返回的数据统一到数据整合层。
3.根据权利要求1所述的一种统一的云数据中心监控系统，其特征在于，所述的监控系统如下：
云平台接口和shinken开源监控工具构成数据获取层，分别用于获取虚拟资源和物理资源的监控数据；mysql构成数据整合层，用于接收来自shinken和云平台的监控结果；mysql存储过程构成数据分析层，基于mysql的实时性能表和历史性能表做出分析报表和告警信息、预测信息；imonitor工程作为任务调度层，统一配置调度各类资源的定时任务，并记录各次定时任务的执行结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610626863.9A CN106210124B (zh) | 2016-08-03 | 2016-08-03 | 一种统一的云数据中心监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610626863.9A CN106210124B (zh) | 2016-08-03 | 2016-08-03 | 一种统一的云数据中心监控系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106210124A CN106210124A (zh) | 2016-12-07 |
| CN106210124B true CN106210124B (zh) | 2019-03-05 |
Family
ID=57497148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610626863.9A Active CN106210124B (zh) | 2016-08-03 | 2016-08-03 | 一种统一的云数据中心监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106210124B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107908486A (zh) * | 2017-11-06 | 2018-04-13 | 山东浪潮通软信息科技有限公司 | 一种周期执行任务的方法及装置 |
| CN107896162B (zh) * | 2017-11-08 | 2020-03-10 | 平安科技（深圳）有限公司 | 监控系统的部署方法、装置、计算机设备及存储介质 |
| CN108304236B (zh) * | 2017-12-28 | 2021-03-16 | 麒麟软件有限公司 | 一种云平台下基于消息订阅的用户界面刷新方法 |
| CN110266787B (zh) * | 2019-06-14 | 2022-03-18 | 中国电子科技网络信息安全有限公司 | 一种混合云管理系统、方法及计算机设备 |
| CN110781175A (zh) * | 2019-10-30 | 2020-02-11 | 浪潮云信息技术有限公司 | 基于Promethues实现监控数据整合的方法 |
| WO2021102617A1 (zh) * | 2019-11-25 | 2021-06-03 | 深圳晶泰科技有限公司 | 面向多公有云计算平台的集群监控系统及其监控方法 |
| CN112035316B (zh) * | 2020-08-28 | 2024-08-13 | 浪潮云信息技术股份公司 | 一种云监控系统监控分析数据的方法 |
| CN112712299B (zh) * | 2021-01-21 | 2023-11-24 | 网思科技股份有限公司 | 资源管理方法、系统、存储介质及电子装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937368A (zh) * | 2010-08-31 | 2011-01-05 | 苏州阊亦宏环保科技有限公司 | 一种面向云计算的数据中心管理系统 |
| CN103037019A (zh) * | 2013-01-07 | 2013-04-10 | 北京华胜天成科技股份有限公司 | 一种基于云计算的分布式数据采集系统及方法 |
| WO2013090365A1 (en) * | 2011-12-12 | 2013-06-20 | Avocent Huntsville Corp. | System and method for monitoring and managing data center resources in real time incorporating manageability subsystem |
| CN104410535A (zh) * | 2014-12-23 | 2015-03-11 | 浪潮电子信息产业股份有限公司 | 一种云资源智能监控告警方法 |
-
2016
- 2016-08-03 CN CN201610626863.9A patent/CN106210124B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101937368A (zh) * | 2010-08-31 | 2011-01-05 | 苏州阊亦宏环保科技有限公司 | 一种面向云计算的数据中心管理系统 |
| WO2013090365A1 (en) * | 2011-12-12 | 2013-06-20 | Avocent Huntsville Corp. | System and method for monitoring and managing data center resources in real time incorporating manageability subsystem |
| CN103037019A (zh) * | 2013-01-07 | 2013-04-10 | 北京华胜天成科技股份有限公司 | 一种基于云计算的分布式数据采集系统及方法 |
| CN104410535A (zh) * | 2014-12-23 | 2015-03-11 | 浪潮电子信息产业股份有限公司 | 一种云资源智能监控告警方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106210124A (zh) | 2016-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106210124B (zh) | 一种统一的云数据中心监控系统 | |
| CN107577805B (zh) | 一种面向日志大数据分析的业务服务系统 | |
| US9413858B2 (en) | Real-time compressive data collection for cloud monitoring | |
| DE102020203877A1 (de) | Verfahren und einrichtungen zum steuern einer verarbeitung von telemetriedaten auf einer edge-plattform | |
| US20180198855A1 (en) | Method and apparatus for scheduling calculation tasks among clusters | |
| CN108595316B (zh) | 分布式应用的生命周期管理方法、管理器、设备和介质 | |
| CN105049268A (zh) | 分布式计算资源分配系统和任务处理方法 | |
| US9992269B1 (en) | Distributed complex event processing | |
| CN108092813A (zh) | 数据中心综合管理系统服务器硬件管理框架及实现方法 | |
| US10536348B2 (en) | Operational micro-services design, development, deployment | |
| CN105574082A (zh) | 基于Storm的流处理方法及系统 | |
| KR20150112357A (ko) | 센서 데이터 처리 시스템 및 방법 | |
| CN104156822A (zh) | 一种基于soa的企业级信息系统综合运维管控方法 | |
| CN104573184B (zh) | 高速列车产品元模型构建方法和装置 | |
| US20140250201A1 (en) | Network Support Node Traffic Reduction for Self-Organizing Networks | |
| CN108769207B (zh) | 一种云平台资源监控方法和系统 | |
| US12035156B2 (en) | Communication method and apparatus for plurality of administrative domains | |
| CN110532322A (zh) | 运维交互方法、系统、计算机可读存储介质及设备 | |
| CN113381892A (zh) | 网络切片分配方法、装置、电子设备及存储介质 | |
| US11106525B2 (en) | Systems and methods for classifying and predicting the cause of information technology incidents using machine learning | |
| CN107995026B (zh) | 基于中间件的管控方法、管理节点、受管节点及系统 | |
| Lee et al. | A big data management system for energy consumption prediction models | |
| Bumgardner et al. | An edge-focused model for distributed streaming data applications | |
| CN105871659A (zh) | 新增服务器的监控方法及装置 | |
| CN116431324A (zh) | 一种基于Kafka高并发数据采集与分发的边缘系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |