CN109343995A - 基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统 - Google Patents

Abstract

本发明公开的一种基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统中，分析处理模块运用多源异构数据融合技术对实时数据进行预处理、归一化、相关性分析之后，通过模型匹配来输出结果，通过根因分析确定问题的根本原因；模型管理模块，用于获取数据进行机器学习，输出各种推理模型到分析处理模块和推荐决策模块；推荐决策模块，通过上下文识别，并根据策略匹配对应的后续处理行为。本发明基于多源异构数据融合技术、机器学习的运维方式，兼顾了大数据的兼容性问题，提升了运维的自动化程度，保证网络安全和服务质量，同时具备一定的预测能力，降低相关运维成本；而客服机器人的结果输出模式，进一步实现运维的智能化。

Description

基于多源异构数据融合、机器学习及客服机器人的智能运维 分析系统

技术领域

本发明涉及一种智能运维分析系统，具体涉及一种基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统。

背景技术

传统IT系统运维过程中，故障预警、故障排查等是非常重要但费时费力的工作，常用的运维方式通常可以从高层抽象为4个过程：被运维对象建模、性能告警监控、对于收到的数据进行分析后再通过专家经验进行决策、最后通过配置脚本下发控制到被运维对象上。这个过程中，多数自动化措施和相关工具都是采用规则的方式实施，这种规则类似第一代人工智能中的规则，通过其来达到管理系统的自动化运维。例如告警的过滤规则、性能管理中的QoS规则、自组织网络中的ANR(自动相邻小区关系配置规则)。这里设置的规则都是专家经验的积累，被设置到软件系统中，用来达到自动化运维的目标。此处的规则就是在不同场景的运维过程中由维护人员定义符合本场景需求的各种事件、行为之间的逻辑关系，然后软件依照这种现场定义的逻辑关系来运行，提高运维的自动化程度。

但是规则设置的方式存在几个缺陷：首先我们这个逻辑过程不能太复杂，否则只能用代码实现，而为了灵活性，又希望在现场直接定义，这样就产生了矛盾；其次这个规则在少量节点的时候比较好定义，但是如果存在大量节点，需要定义几万、几十万个规则，就非常困难；最后对于大型的开放网络，往往存在一定的生态性，即运维人员不知道什么时候在这个网络中会产生一个新的角色，这个角色会和其他角色产生什么关系，所以等到产生问题，再来设置规则监控时，往往损失已经发生，这类典型的问题就是金融风控问题。

智能运维是基于机器学习和深度学习的运维方式，其通过对运维数据的学习，能自行生成各种规则用于自动监控网络异常，分析网络异常事件原因，选择网络优化和愈合行为；且随着网络运行质量和网络拓扑的变化，原有的各种运维规则能进行自我演进来适合当前网络的状况。智能运维是云计算、大数据、人工智能技术在运维领域的综合性应用，即云计算为各种日志大数据提供了采集、存贮与计算能力，人工智能技术提供了结合行业知识将运维问题转化为大数据分析建模的能力。

因此，在大数据场景下，运维向智能化发展是一个重要趋势：基于对业务运维系统的理解，对积累的大量日志数据进行机器学习的算法建模，实现自动发现问题、分析问题、提前预判问题等多种功能，起到辅助运维人员，最终降低系统成本、提升运维效率的效果。

同时，运维数据是异构、多源、多模的，日志数据、用户数据、网络数据、文本数据、图像/视频数据和位置数据等多种类型的数据，和不同设备、不用业务、不同层次、不同用户的数据如何融合使用，发挥出更大的成效是面临的重要挑战。

随着通讯软件的不断开发和利用，运维客服中心所面对的客户咨询方式也在不断的增多，如QQ、微信以及短信等咨询方式都逐渐被客户运用到运维业务的咨询中，与此同时，客户咨询的问题也逐渐变得专业化和客观化，如果不能有效的建立运维行业的多种高效服务模式，就会面临客户所咨询的问题得不到及时、准确以及高效解答的问题。

而以领域知识库建设为核心工作并通过文本或语音等方式交互的智能客服机器人系统则可以有效的和多渠道的客户服务中心做整合，在大幅缩减客服成本的同时能够有效减少人工成本、增强用户体验，从而提升服务的质量和企业创新的品牌形象。

发明内容

本发明的目的是克服上述现有技术的缺点，提供一种能够深度学习、具有预测功能、自动修复功能的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统。

本发明是通过以下技术方案来实现的：

基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，包括分析处理模块、模型管理模块、推荐决策模块、校验应用模块，其特征在于：

所述分析处理模块，是运用多源异构数据融合技术对生产环境的实时数据进行预处理、归一化、相关性分析之后，通过模型匹配来输出结果，所述结果包含系统内部的各种异常、网络关键事件的各种预测结果，通过根因分析输出某一个特殊事件的上下文，通过所述上下文确定问题的根本原因；所述预处理是指对各种异构日志数据进行解析、转换、清洗、规约操作，完成数据使用前的必要处理及数据质量保证；所述分析处理，主要包括流式计算处理框架Spark、离线批处理MR框架、人工智能计算框架、数据存储及检索引擎；所述输出结果包括通过客服机器人来输出结果。

所述模型管理模块，用于获取历史数据，进行机器学习，输出各种推理模型，其中输出上下文识别、预测、异常检测模型到所述分析处理模块进行分析处理，输出上下文处理、输出策略、规则模型到推荐决策模块用于自动化闭环运维；所述机器学习包括离线的机器学习训练平台、算法框架和模型；

所述推荐决策模块，通过基于分析处理的上下文识别来确定当前事件所处的环境之后，根据策略匹配对应的后续处理行为，而行为列表则是基于用户的维护习惯学习得来，通过这样的方式，达到自动运维；

所述校验应用模块，通过各种规则对自动运维的结果进行业务监控，防止整个自动运维跑偏。

进一步的，所述多源异构数据融合技术是在不改变原始数据的存储和管理方式下，对多源异构数据进行逻辑整合。

进一步的，所述多源异构数据融合技术是将数量巨大的运维指标数据抽象为时序数据，并存储至时间序列数据库，实现运维数据的快速存储和查询。

进一步的，所述多源异构数据融合技术是将数量巨大的运维指标数据抽象成时间和空间两个维度，形成数据矩阵，以利于后续的管理和应用。

进一步的，所述机器学习是机器聚类学习，通过机器聚类学习在一些随机事件中把属于同一类别的事件进行归类；然后通过异常事件之间的相关性分析，来发现这些事件的相关性；通过异常服务和事件贡献度的分析，找到导致异常服务的具体网络事件；通过全链路调用挖掘发现不同组件、拓扑对象之间的关系，结合前面的分析，找到故障传播链；将对于事件的预测成为事件异常检测的一种手段，如果发现检测的值相离预测值较远，则认为是异常。

进一步的，所述机器学习的算法是日志智能聚合算法，通过对运维数据进行聚类分析，计算日志之间的距离以及正则模式的匹配，将数据进行无损压缩，提取出日志数据的模式，快速去除日志噪音，使运维人员快速定位到异常信息，进行事故根源分析；提取出的模式可以通过记录其特征值，加入每日、每小时的监控中，利用日志比较算法记录各个模式的异常信息的实际变化，应用到运维变更后，监控各个模式的增减，及时发现系统异常情况。

进一步的，所述模型管理模块通过对每种容量指标分别设置模型参数，并综合运用ARMA和GARCH预测模型，对容量指标进行短期和长期预测；通过预测误差分析和参数修正流程，同时学习容量指标的历史数据和新产生数据，及时调整预测模型的参数组合，适应指标数据的发展变化，不断提高模型预测准确度。

进一步的，所述模型管理模块中引入动态基线预警模型，运维人员只需统一设置不同的预警阈值，就可以通过所述动态基线预警模型自动采取动态平均、动态同比和动态环比不同算法，达到不同时间段、不同流量场景、不同系统负载下的统一阈值预警，实现智能自动化的预警效果。

进一步的，所述客服机器人包括通过机器学习不断搭建和完善机器人知识库、进行后台数据分析及反馈。

进一步的，所述客服机器人具有基于机器学习的语音处理系统。。

本发明是基于机器学习的运维方式，通过对运维数据的学习，能自行生成各种规则用于自动监控网络异常，分析网络异常事件原因，选择网络优化和愈合行为；且随着网络运行质量和网络拓扑的变化，原有的各种运维规则能进行自我演进来适合当前网络的状况；提升网络运维的自动化程度，保证网络安全和服务质量，同时具备一定的预测能力，降低相关运维成本。

本发明基于大数据，通过采用多源异构数据融合技术，根据运维数据的基本特质及运行要求，实现对海量异构运维数据的存储、计算和检索，既兼顾运维中多类型运维数据格式兼容性方面的要求，又能保证海量数据查询和处理的时效性。

本发明通过结合客服机器人的结果输出模式，进一步实现运维的智能化，提高智能运维的效率。

附图说明

图1为本发明的智能运维分析系统框架图。

图2为本发明的智能运维场景图。

具体实施方式

如图1，基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，包括分析处理模块、模型管理模块、推荐决策模块、校验应用模块，其特征在于：

所述分析处理模块，是运用多源异构数据融合技术对生产环境的实时数据进行预处理、归一化、相关性分析之后，通过模型匹配来输出结果，所述结果包含系统内部的各种异常、网络关键事件的各种预测结果，通过根因分析输出某一个特殊事件的上下文，通过所述上下文确定问题的根本原因；所述预处理是指对各种异构日志数据进行解析、转换、清洗、规约操作，完成数据使用前的必要处理及数据质量保证；所述分析处理，主要包括流式计算处理框架Spark、离线批处理MR框架、人工智能计算框架、数据存储及检索引擎；所述输出结果包括通过客服机器人来输出结果。

所述模型管理模块，用于获取历史数据，进行机器学习，输出各种推理模型，其中输出上下文识别、预测、异常检测模型到所述分析处理模块进行分析处理，输出上下文处理、输出策略、规则模型到推荐决策模块用于自动化闭环运维；所述机器学习包括离线的机器学习训练平台、算法框架和模型；

所述推荐决策模块，通过基于分析处理的上下文识别来确定当前事件所处的环境之后，根据策略匹配对应的后续处理行为，而行为列表则是基于用户的维护习惯学习得来，通过这样的方式，达到自动运维；

所述校验应用模块，通过各种规则对自动运维的结果进行业务监控，防止整个自动运维跑偏。

所述多源异构数据融合技术是在不改变原始数据的存储和管理方式下，对多源异构数据进行逻辑整合。

所述多源异构数据融合技术是将数量巨大的运维指标数据抽象为时序数据，并存储至时间序列数据库，实现运维数据的快速存储和查询。

所述多源异构数据融合技术是将数量巨大的运维指标数据抽象成时间和空间两个维度，形成数据矩阵，以利于后续的管理和应用。

所述机器学习是机器聚类学习，通过机器聚类学习在一些随机事件中把属于同一类别的事件进行归类；然后通过异常事件之间的相关性分析，来发现这些事件的相关性；通过异常服务和事件贡献度的分析，找到导致异常服务的具体网络事件；通过全链路调用挖掘发现不同组件、拓扑对象之间的关系，结合前面的分析，找到故障传播链；将对于事件的预测成为事件异常检测的一种手段，如果发现检测的值相离预测值较远，则认为是异常。

所述机器学习的算法是日志智能聚合算法，通过对运维数据进行聚类分析，计算日志之间的距离以及正则模式的匹配，将数据进行无损压缩，提取出日志数据的模式，快速去除日志噪音，使运维人员快速定位到异常信息，进行事故根源分析；提取出的模式可以通过记录其特征值，加入每日、每小时的监控中，利用日志比较算法记录各个模式的异常信息的实际变化，应用到运维变更后，监控各个模式的增减，及时发现系统异常情况。

所述模型管理模块通过对每种容量指标分别设置模型参数，并综合运用 ARMA和GARCH预测模型，对容量指标进行短期和长期预测；通过预测误差分析和参数修正流程，同时学习容量指标的历史数据和新产生数据，及时调整预测模型的参数组合，适应指标数据的发展变化，不断提高模型预测准确度。

所述模型管理模块中引入动态基线预警模型，运维人员只需统一设置不同的预警阈值，就可以通过所述动态基线预警模型自动采取动态平均、动态同比和动态环比不同算法，达到不同时间段、不同流量场景、不同系统负载下的统一阈值预警，实现智能自动化的预警效果。

所述客服机器人包括通过机器学习不断搭建和完善机器人知识库、进行后台数据分析及反馈。

所述客服机器人具有基于机器学习的语音处理系统。

如图2，以上运维分析系统从场景的角度，把智能运维分为智能检测和智能监控两个维度，每个维度有三个相关的大的场景，这样的维度分类和网络影响大、范围广的特征相关。由于人工智能的结果往往是一些概率性的结果，即使是高概率的结果，但是低概率的事情一旦发生，依然对于整个网络的影响非常巨大，所以从运营的角度来看必然先发展智能监测这个只读场景。在智能监测维度中，相对传统运维的流程大的改变是多了一个预测场景，即对网络各种事件进行预测；其次是传统运维场景中的改进版本，智能的事件监测和根因分析。而在智能监控维度，第一个场景是原来SON(自组织网络)的改进，智能优化，通过网络事件预测和个性化网络特征提取，使网络优化更加及时和更有针对性；智能编排则是针对用户业务的修改，根据学习配备合适的网络资源来满足用户新的服务质量要求；自愈则是通过对于运维知识库的积累，从修复行为推荐逐渐演进到自动修复网络软件故障。

整个系统设计中，分析处理对应上述的智能监测闭环，推荐决策对应于上述的智能控制闭环，两个闭环可以分别演进；其次存在一个纠偏系统，这个是由大量的业务规则组成的，这也是由于网络的重要性造成的，也是由于网络生成(设备商)和经营(运营商)分离的特性导致的；最后这个架构存在超级管理者，可以把整个自动化智能运维过程切断；另外可以看到整个网络机器学习的推理模型分为需求、预测、模式、推荐四种，分别代表用户对于结果的要求、预测行为、问题的上下文识别行为、自愈行为。

上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。

Claims (10)

1.基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，包括分析处理模块、模型管理模块、推荐决策模块、校验应用模块：所述分析处理模块，运用多源异构数据融合技术对生产环境的实时数据进行预处理、归一化、相关性分析；再通过模型匹配来输出结果，所述结果包含系统内部的各种异常、网络关键事件的各种预测结果；然后通过根因分析输出某一个特殊事件的上下文，通过所述上下文确定问题的根本原因；所述预处理是指对各种异构日志数据进行解析、转换、清洗、规约操作，完成数据使用前的必要处理及数据质量保证；所述分析处理，主要包括流式计算处理框架Spark、离线批处理MR框架、人工智能计算框架、数据存储及检索引擎；

所述输出结果包括通过客服机器人来输出结果；

所述模型管理模块，用于获取历史数据，进行机器学习，输出各种推理模型，其中，输出上下文识别、预测、异常检测模型到所述分析处理模块进行分析处理，输出上下文处理、输出策略、规则模型到推荐决策模块用于自动化闭环运维；所述机器学习包括离线的机器学习训练平台、算法框架和模型；

所述推荐决策模块，通过基于分析处理的上下文识别来确定当前事件所处的环境之后，根据策略匹配对应的后续处理行为，而行为列表则是基于用户的维护习惯学习得来，通过这样的方式，达到自动运维；

所述校验应用模块，通过各种规则对自动运维的结果进行业务监控，防止整个自动运维跑偏。

2.根据权利要求1所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述多源异构数据融合技术是在不改变原始数据的存储和管理方式下，对多源异构数据进行逻辑整合。

3.根据权利要求1或2所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述多源异构数据融合技术是将数量巨大的运维指标数据抽象为时序数据，并存储至时间序列数据库，实现运维数据的快速存储和查询。

4.根据权利要求1或2所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述多源异构数据融合技术是将数量巨大的运维指标数据抽象成时间和空间两个维度，形成数据矩阵，以利于后续的管理和应用。

5.根据权利要求1所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述机器学习是机器聚类学习，通过机器聚类学习在一些随机事件中把属于同一类别的事件进行归类；然后通过异常事件之间的相关性分析，来发现这些事件的相关性；通过异常服务和事件贡献度的分析，找到导致异常服务的具体网络事件；通过全链路调用挖掘发现不同组件、拓扑对象之间的关系，找到故障传播链；将对于事件的预测成为事件异常检测的一种手段，如果发现检测的值相离预测值较远，则认为是异常。

6.根据权利要求1所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述机器学习的算法是日志智能聚合算法，通过对运维数据进行聚类分析，计算日志之间的距离以及正则模式的匹配，将数据进行无损压缩，提取出日志数据的模式，快速去除日志噪音，使运维人员快速定位到异常信息，进行事故根源分析；提取出的模式通过记录其特征值，加入每日、每小时的监控中，利用日志比较算法记录各个模式的异常信息的实际变化，应用到运维变更后，监控各个模式的增减，及时发现系统异常情况。

7.根据权利要求3所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述模型管理模块通过对每种容量指标分别设置模型参数，并综合运用ARMA和GARCH预测模型，对容量指标进行短期和长期预测；通过预测误差分析和参数修正流程，同时学习容量指标的历史数据和新产生数据，及时调整预测模型的参数组合，适应指标数据的发展变化，不断提高模型预测准确度。

8.根据权利要求1所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述模型管理模块中引入动态基线预警模型，运维人员只需统一设置不同的预警阈值，就可以通过所述动态基线预警模型自动采取动态平均、动态同比和动态环比不同算法，达到不同时间段、不同流量场景、不同系统负载下的统一阈值预警，实现智能自动化的预警效果。

9.根据权利要求1所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述客服机器人包括通过机器学习不断搭建和完善机器人知识库、进行后台数据分析及反馈。

10.根据权利要求1所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述客服机器人具有基于机器学习的语音处理系统。