CN106649034B - 一种可视化智能运维方法及平台 - Google Patents
一种可视化智能运维方法及平台 Download PDFInfo
- Publication number
- CN106649034B CN106649034B CN201611030749.6A CN201611030749A CN106649034B CN 106649034 B CN106649034 B CN 106649034B CN 201611030749 A CN201611030749 A CN 201611030749A CN 106649034 B CN106649034 B CN 106649034B
- Authority
- CN
- China
- Prior art keywords
- data
- protocol data
- module
- model
- characteristic vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 56
- 230000000007 visual effect Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 5
- 238000012544 monitoring process Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000007726 management method Methods 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000003139 buffering effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 4
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 238000012827 research and development Methods 0.000 abstract description 2
- 231100000279 safety data Toxicity 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种可视化智能运维方法及平台。本方法为：1)采集各网络安全设备中的各种结构类型协议数据的填充情况；2)根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；3)利用步骤2)得到的各特征向量进行模型训练，得到一决策模型；4)计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估。本发明能智能分析设备的数据质量，从而主动、及时发现问题，促使研发人员高效解决，保证设备提供网络安全服务的质量。
Description
技术领域：
本发明涉及计算机数据通信领域，特别是对网络数据采集的效率进行了智能的运维管理，以保证网络数据采集的有效性。
背景技术：
随着近几年互联网和移动互联网用户的大量增长，需要大量高质量网络安全设备来予以保障。对网络设备的运行维护、实时监控更加重要。在IT运维监控系统中，将对企业的网络设备运行数据进行采集和处理，使得企业可以掌握和管理所有IT资源的运行情况。然而，现有的运维监控软件对设备的监控不够直观，对设备处理的数据质量无法智能的进行提示告警。
目前全国各地网络设备资源的显现度低，现场设备运行维护人员的工作往往具有难度大和工作量大的问题。目前运行维护人员的工作方式大多为被动响应式的，容易造成发现设备出现问题的时间比较滞后，不容易及时发现设备出现的一些小问题以及数据质量下降的一些问题，易造成问题积累而产生大问题出现大影响。现场接入网络的设备数量大，设备的性能参数和软硬件环境不完全相同，现场运维人员的工作仍主要采用手动监控方式，技术门槛较高，效率低下，很难及时发现和预见问题的发生。手动监控是一种离线的、片面的、以点见面式的检查方式，不能够持续对设备运行状态进行监控。更难以对整体系统的运行进行调优工作。另外，现场网络设备的监控需要通过大量的命令语句来进行管理和监控运行状态，有一定的技术难度，运行维护人员遇到问题往往过度依赖厂家。而厂家支持部门的人力资源严重不足，运行维护人员的工作负荷也过重，目前往往处于既要应对发现的明显问题的支持解决，又要面临不断改进服务和提高数据质量、分析故障原因的压力。
本发明旨在解决上述网络安全设备监控存在的缺陷，提出了一种智能分析设备数据质量和工作状态运行监控的可视化方法。
发明内容：
本发明提供了一种对网络安全设备数据质量进行可视化智能监控的平台，同时能够对设备运行状态监控告警，解决了目前运行维护监控存在的缺陷，为企业降低了设备维护和数据质量改进成本。
本发明的技术方案为：
一种可视化智能运维方法，其步骤为：
1)采集各网络安全设备中的各种结构类型协议数据的填充情况；
2)根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；其中，该特征向量
M为协议数据种类数，Nj为第j类协议数据的总条数，xi为第j类协议数据中的第i条协议数据的填充情况；
3)利用步骤2)得到的各特征向量进行模型训练，得到一决策模型；
4)计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估。
进一步的，进行有效性评估的方法为：如果当前采集的协议数据的填充情况的特征向量与最近一段时期的特征向量变化超过设定阈值，则判定当前采集的协议数据失效。
进一步的，采用贝叶斯模型、SVM模型或人工神经网络模型对步骤2)得到的各特征向量进行模型训练，得到该决策模型。
进一步的，步骤1)中采集的数据还包括可视化智能运维服务器的即时运行状态信息。
进一步的，所述即时运行状态信息包括cpu使用率、内存使用率、磁盘占用率、硬盘io状态以及设定的关键进程服务是否正在运行。
一种可视化智能运维平台，其特征在于，包括实时数据采集模块、数据存储模块、数据智能分析处理模块和运行日志管理模块；其中，
所述实时数据采集模块，设置于各网络安全设备中，用于采集各网络安全设备中的各种结构类型协议数据的填充情况；
所述数据存储模块，设置于可视化智能运维服务器，用于存储实时数据采集模块采集的数据；
所述数据智能分析处理模块，用于根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；然后利用各特征向量进行模型训练，得到一决策模型；以及计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估；其中，该特征向量
M为协议数据种类数，Nj为第j类协议数据的总条数，xi为第j类协议数据中的第i条协议数据的填充情况；
所述运行日志管理模块，用于根据数据智能分析处理模块的分析结果，对数据存储模块中的数据进行维护。
进一步的，还包括一数据缓冲管理模块，设置于可视化智能运维服务器，用于缓存实时数据采集模块采集的数据。
进一步的，还包括一监控模块，用于以可视化展示界面形式显示可视化智能运维服务器的即时运行状态信息。
该平台主要采用如下技术方案：
组成该智能运维平台的模块主要有六大模块构成：实时数据采集模块、数据缓冲管理模块、数据存储模块、数据智能分析处理模块、运行日志管理模块和监控模块。
(1)、实时数据采集模块。该模块主要解决了目前运行维护人员手动命令式的对运行状态进行监控和设备数量大造成监控不及时不到位问题的缺陷。另外，该模块的另一重要功能是实现对设备(即网络安全设备)数据质量(即数据填充的情况)的采集。本文提到的网络安全设备是一种提供网络内容安全数据采集的设备。它工作在互联网应用层，设备分析网络流中各种协议，并根据需要进行协议数据的部分采集。该实时采集模块对安全设备采集到的协议数据进行监控记录。该模块将对每一台设备的运行状态和设备处理数据的各字段填充日志进行实时采集。
(2)、数据缓冲管理模块。该模块主要是针对设备数量众多，实时采集的数据多，可能造成后续模块处理效率不匹配的问题。该模块首先对采集的数据进行预处理，将各台设备的数据进行缓冲收集。
(3)、数据存储模块。该模块主要实现对运维数据的存储，形成运维数据中心。针对目前运行维护过程中对设备的运行状态和数据质量的监控工作不持续，对数据质量下降不易及时发现的问题，该数据中心会存储一定期限的历史数据。
(4)、数据智能分析处理模块。该模块主要解决目前对数据质量的监控过度依赖有一定经验的运维人员，发现数据质量问题比较滞后的现状。该模块的一大重要特点是采用了人工智能模型对数据进行智能分析，然后进行数据质量警告。
(5)、运行日志管理模块。该模块设计的功能实现对设备运行状态进行记录管理，维护数据存储模块中数据。
(6)、监控模块。该模块以可视化展示界面形式显示网络安全设备的运行指标(cpu、磁盘、内存使用率，磁盘I/O状态以及监控软件运行状态的参数项)和数据质量指标(智能分析模块分析后给出的各种协议数据是否数据质量下降的情况)。
由以上技术方案可知，本发明具有如下有益效果：
本监控可视化平台，可自动、不间断、直观地监控网络安全设备的运行状态，能智能分析设备的数据质量，从而主动、及时发现问题，促使研发人员高效解决，保证设备提供网络安全服务的质量。同时，该平台可以参考历史记录数据进行智能分析，推断出数据质量下降具体的数据类别，大大减少发现问题解决问题的周期。
附图说明
图1为系统网络拓扑图；
图2为本发明的可视化智能运维平台结构框架说明图；
图3为本发明的数据智能分析处理模块工作流结构图；
图4为数据采集模块采集数据和数据预处理示例。
具体实施例方式：
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1是该可视化运维平台的物理网络拓扑图。通过拓扑图该系统可以将各个地市的设备运维工作信息收集进入运维系统进行处理和运维数据可视化。
图2是可视化智能运维平台的结构框架图。该运维平台的搭建需要在各地市的设备上安装部署运维数据采集模块，用来对安全设备的工作状态和服务器的运行状态进行实时数据采集。该采集模块用来采集安全设备的工作状态，即一段时间内设备处理的各种结构类型协议数据(表1为该设备处理后产生的数据示例)的填充情况和服务器即时运行状态信息(cpu使用率、内存使用率、磁盘占用率、硬盘io状态、关键进程服务是否正在运行)。
表1为设备产生的数据
该平台的数据缓冲模块主要功能是将采集到的各地市设备运维信息进行收集缓冲，以确保各个地市所有设备的运维数据都能够收集上来。该模块将各设备的运维信息收集放入一个固定的缓冲空间，以供数据存储模块将数据处理入数据库。
数据存储模块主要实现运维数据的入库和数据存储功能。具体实施例可以采用mysql、oracle、sqlserver等数据库。
运行状态日志管理模块主要实现对数据库中的运维数据的管理，以保证数据库有足够存储空间，和运维数据在数据库中的生存期。
数据智能分析处理模块实现对运维数据的处理和安全数据的价值性分析。图3为该模块的工作流结构图。该模块是该可视化智能运维平台的关键数据处理环节。该模块主要有三个功能：(1)、对各类安全数据进行预处理计算得到特征向量；(2)、针对一段时间内从各类安全数据计算得到的特征向量，进行模型训练；(3)、根据训练的分析模型，对当前安全数据的有效性进行分析，从而做出安全数据的失效性评估，并分析出哪些可能存在失效的安全数据。
图4为该模块对数据进行预处理和特征向量计算过程示例说明。本运维数据采集模块采集的运维数据会保留数据细分类FA4字段(该字段是对DATA1数据的具体细分类，例如该字段为01代表都为网民登陆网站时的数据，03代表网民发送信息时的数据)的原始信息，以对该DATA1类型数据进行分类，并分别对字段填充情况采用0,1表示(1为有填充值，0为null)。然后该分析模块根据数据库中采集的数据计算得到该时间段(例如：24小时内)的特征向量。特征向量计算公式如下：
其中，M为DATA1数据细分类种类数，即协议数据种类数，Nj为M中第j类协议数据的总条数，xi为运维模块采集数据的第j类第i条数据的填充情况(即1或0)。Y为分析计算得到的该时间段特征向量。
提取数据关键特征首先会对一定时间段内的协议填充数据按协议类别分别进行填充数据抽取，整理形成特征向量，以供进行数据模型训练。在该可视化智能运维平台实施例中数据模型可以选择已知的人工智能模型，如贝叶斯模型、SVM模型、人工神经网络模型等。当模型训练完成之后，得到一个决策模型，新的安全数据会根据模型进行分析。当前采集的协议数据的填充情况特征向量与最近一段时期的特征向量，通过决策模型判定有显著变化，并给出告警信息。
监控平台模块部署在web服务器上，主要提供运维数据的可视化展示界面，方便运维人员直观的监控。
以上所述为本发明的优选实施例，对于本领域的技术人员，本发明可以有不同的变化。凡在本发明的思想和原则之内，所作的修改、改进等，均包含在本发明的保护范围之内。
Claims (8)
1.一种可视化智能运维方法，其步骤为：
1)采集各网络安全设备中的各种结构类型协议数据的填充情况；
2)根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；其中，该特征向量
M为协议数据种类数，Nj为第j类协议数据的总条数，xi为第j类协议数据中的第i条协议数据的填充情况；
3)利用步骤2)得到的各特征向量进行模型训练，得到一决策模型；
4)计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估；其中如果当前采集的协议数据的填充情况的特征向量与最近一段时期的特征向量变化超过设定阈值，则判定当前采集的协议数据失效，然后进行数据质量警告。
2.如权利要求1所述的方法，其特征在于，采用贝叶斯模型、SVM模型或人工神经网络模型对步骤2)得到的各特征向量进行模型训练，得到该决策模型。
3.如权利要求1所述的方法，其特征在于，步骤1)中采集的数据还包括可视化智能运维服务器的即时运行状态信息。
4.如权利要求3所述的方法，其特征在于，所述即时运行状态信息包括cpu使用率、内存使用率、磁盘占用率、硬盘io状态以及设定的关键进程服务是否正在运行。
5.一种可视化智能运维平台，其特征在于，包括实时数据采集模块、数据存储模块、数据智能分析处理模块和运行日志管理模块；其中，
所述实时数据采集模块，设置于各网络安全设备中，用于采集各网络安全设备中的各种结构类型协议数据的填充情况；
所述数据存储模块，设置于可视化智能运维服务器，用于存储实时数据采集模块采集的数据；
所述数据智能分析处理模块，用于根据每个时间段采集的各种结构类型协议数据的填充情况计算该时间段的特征向量；然后利用各特征向量进行模型训练，得到一决策模型；以及计算当前采集的协议数据的填充情况的特征向量，并将其输入该决策模型进行有效性评估，根据当前采集的协议数据的填充情况的特征向量与最近一段时期的特征向量变化是否超过设定阈值，判定当前采集的协议数据是否失效，如果失效则进行数据质量警告；其中，该特征向量
M为协议数据种类数，Nj为第j类协议数据的总条数，xi为第j类协议数据中的第i条协议数据的填充情况；
所述运行日志管理模块，用于根据数据智能分析处理模块的分析结果，对数据存储模块中的数据进行维护。
6.如权利要求5所述的平台，其特征在于，还包括一数据缓冲管理模块，设置于可视化智能运维服务器，用于缓存实时数据采集模块采集的数据。
7.如权利要求5所述的平台，其特征在于，还包括一监控模块，用于以可视化展示界面形式显示可视化智能运维服务器的即时运行状态信息。
8.如权利要求5或6所述的平台，其特征在于，采用贝叶斯模型、SVM模型或人工神经网络模型对得到的各特征向量进行模型训练，得到该决策模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611030749.6A CN106649034B (zh) | 2016-11-22 | 2016-11-22 | 一种可视化智能运维方法及平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611030749.6A CN106649034B (zh) | 2016-11-22 | 2016-11-22 | 一种可视化智能运维方法及平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106649034A CN106649034A (zh) | 2017-05-10 |
| CN106649034B true CN106649034B (zh) | 2020-08-28 |
Family
ID=58808579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611030749.6A Expired - Fee Related CN106649034B (zh) | 2016-11-22 | 2016-11-22 | 一种可视化智能运维方法及平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106649034B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659173B (zh) * | 2018-06-28 | 2023-05-26 | 中兴通讯股份有限公司 | 一种运维系统及方法 |
| CN109522193A (zh) * | 2018-10-22 | 2019-03-26 | 网宿科技股份有限公司 | 一种运维数据的处理方法、系统及装置 |
| CN114553726B (zh) * | 2022-02-23 | 2023-06-02 | 深圳市众功软件有限公司 | 一种基于功能、资源层面的网络安全运维方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105024877A (zh) * | 2015-06-01 | 2015-11-04 | 北京理工大学 | 一种基于网络行为分析的Hadoop恶意节点检测系统 |
| CN105306463A (zh) * | 2015-10-13 | 2016-02-03 | 电子科技大学 | 基于支持向量机的Modbus TCP入侵检测方法 |
| CN105323111A (zh) * | 2015-11-17 | 2016-02-10 | 南京南瑞集团公司 | 一种运维自动化系统及方法 |
| CN105468995A (zh) * | 2015-12-15 | 2016-04-06 | 吉林大学 | 以Oracle为核心的基于数据挖掘入侵检测系统 |
-
2016
- 2016-11-22 CN CN201611030749.6A patent/CN106649034B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105024877A (zh) * | 2015-06-01 | 2015-11-04 | 北京理工大学 | 一种基于网络行为分析的Hadoop恶意节点检测系统 |
| CN105306463A (zh) * | 2015-10-13 | 2016-02-03 | 电子科技大学 | 基于支持向量机的Modbus TCP入侵检测方法 |
| CN105323111A (zh) * | 2015-11-17 | 2016-02-10 | 南京南瑞集团公司 | 一种运维自动化系统及方法 |
| CN105468995A (zh) * | 2015-12-15 | 2016-04-06 | 吉林大学 | 以Oracle为核心的基于数据挖掘入侵检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106649034A (zh) | 2017-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105427193B (zh) | 一种基于分布式时序数据服务的大数据分析装置及方法 | |
| CN109783322A (zh) | 一种企业信息系统运行状态的监控分析系统及其方法 | |
| CN107070692A (zh) | 一种基于大数据分析的云平台监控服务系统及方法 | |
| CN115809183A (zh) | 基于知识图谱的信创终端故障发现及处置的方法 | |
| CN109034580B (zh) | 一种基于大数据分析的信息系统整体健康度评估方法 | |
| CN112785458A (zh) | 一种桥梁健康大数据智能管养系统 | |
| CN109784504A (zh) | 数据中心远程智能运维管理方法及系统 | |
| CN104574219A (zh) | 电网业务信息系统运行工况的监测预警方法及系统 | |
| CN103049365B (zh) | 信息与应用资源运行状态监控及评价方法 | |
| CN117391675B (zh) | 一种数据中心基础设施运维管理方法 | |
| CN106649034B (zh) | 一种可视化智能运维方法及平台 | |
| CN112884452A (zh) | 一种智能运维多源数据采集可视化分析系统 | |
| CN117331794A (zh) | 基于大数据的应用软件监控分析系统及方法 | |
| CN115733762A (zh) | 具有大数据分析能力的监控系统 | |
| CN103034207A (zh) | 一种基础设施健康监测系统及其实施过程 | |
| CN117235169A (zh) | 一种智慧运维数据存储平台 | |
| CN117194919A (zh) | 一种生产数据分析系统 | |
| CN109800133A (zh) | 一种统一监控告警的方法、一站式监控告警平台及系统 | |
| CN116227676A (zh) | 生产设备能耗分析方法、装置、电子设备及存储介质 | |
| CN115222181A (zh) | 机器人运营状态监控系统及方法 | |
| CN117851195A (zh) | 一种基于数据分析的电脑主机运行风险监测管控系统 | |
| CN110415136B (zh) | 一种电力调度自动化系统服务能力评估系统与方法 | |
| CN110888850A (zh) | 一种基于电力物联网平台的数据质量检测方法 | |
| CN115840656A (zh) | 一种基于故障自愈的应用程序自动化运维方法和系统 | |
| CN114819367A (zh) | 一种基于工业互联网的公共服务平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200828 |