CN111400284B - 一种基于性能数据建立动态异常探测模型的方法 - Google Patents

Abstract

本发明属于信息技术领域，设计动态建模技术，尤其涉及一种基于性能数据建立动态异常探测模型的方法，包括性能数据收集器和性能处理服务器，所述数据收集器按照对象的度量所使用的保留策略中定义的采集频率来收集数据；所述性能处理服务器负责存储由性能数据收集器发送过来的性能数据，将符合保留策略的采集频率时间戳，对象，度量类型，聚合值存储至时间序列数据库。本发明使用性能引擎对性能数据进行可配置的采集和保留策略，使用对象动态扩展的时间序列数据库存储，高效的支持动态异常探测。解决现有技术处理性能数据低效，接口固化，适应性差，扩展性差等问题。

Description

一种基于性能数据建立动态异常探测模型的方法

技术领域

本发明属于信息技术领域，设计动态建模技术，尤其涉及一种基于性能数据建立动态异常探测模型的方法。

背景技术

随着设备，应用，智能物联的爆发式数量增长和场景丰富，传统数据库难以对历史性能数据高效处理，静态式建模已经无法满足对性能数据进行有效的异常分析和对异常的精准定位。本发明主要提供对单一资源度量对象进行动态建模，提高异常探测建模的可变性和异常判定的准确性。

信息化时代步入新的阶段，技术的创新和发展伴随着设备、应用、数据的海量增长。传统监控和性能系统发展近几十年，集中监控的工具和手段越来越成熟，性能数据的管理和分析方案却相对单一。现有性能分析和管理通常是在相对独立的集中监控和资源或配置系统的另一个集成模块，主要包括以下四点功能，且功能流程顺序如下：

1)控制性能数据与资源的关联，支持配置与资源属性相关的关联规则。

2)可精确到资源实例的度量实例对象进行静态定义，设立阈值或区间。

3)如果性能数据未超过设立的阈值或者区间，数据将被作为普通性能值数据存储。如果性能数据超过此设立的阈值或者区间，则定位到异常，生成异常告警。

4)如与监控告警处理和流程平台集成，则告警可以进行常规处理，包括告警分析，将告警转化为故障工单，进行告警排障修复任务处理等。

现有技术中，性能管理和分析模块只支持资源对象的静态建模,对精确到度量和资源实例设置阈值或者区间，从而判断异常。静态异常检测模型缺失动态感知能力，现有技术不具有预测分析处理能力，无法通过资源的历史性能数据进行异常检测动态建模，无法在模型中植入规则和机器学习进行预测分析。现有性能数据的异常分析将会面临准确性问题，并且无法展开多维度分析和预测。

发明内容

本发明针对上述的问题，提供了一种基于性能数据建立动态异常探测模型的方法。

为了达到上述目的，本发明采用的技术方案为，

一种基于性能数据建立动态异常探测模型的方法，包括性能数据收集器和性能处理服务器，

所述数据收集器按照对象的度量所使用的保留策略中定义的采集频率来收集数据；

所述性能处理服务器负责存储由性能数据收集器发送过来的性能数据，将符合保留策略的采集频率时间戳，对象，度量类型，聚合值存储至时间序列数据库。

作为优选，所述保留策略中支持各采集时段定义使用不同的保留规则，包括数据采集频率和存储保留时效，一个保留策略中所有的保留规则使用相同的聚合处理方式。

作为优选，所述性能数据收集器将实时性能数据按照采集的频率，对数据进行聚合处理，然后发送到性能处理服务器。

作为优选，所述聚合处理将实时数据按照指定的聚合方式进行计算，支持最近值，最小值，最大值，和平均值聚合方式；计算得出的值作为性能数据发送到性能处理服务器，保留策略采集频率和保留时效成反比，采集频率越密集，存储的时效会缩小；一个对象的度量可以定义多个采集时段，每个采集时段拥有一个保留规则，所以需要历史采集时段来判断当前情况所适用的保留规则；处理逻辑如下：

1)查询该对象度量的保留策略；

2)通过访问该对象度量已存储的数据时效，查询获取当前采集时段；

3)匹配当前采集时段所适用的保留规则，使用保留规则中的采集频率，按照保留策略的聚合处理方式，聚合处理实时数据，生成性能数据。

作为优选，所述时间序列数据库属于存储应用，与传统关系型数据库不一样，按对象建模，度量类型可动态扩展，按照时间序列和度量值进行存储；此应用会依据对象，对象度量类型，和保留策略动态建模及更新数据。

作为优选，数据存储的同时，将进行异常检测的流程。异常探测模型使用区间探测，沟壑探测，线性探测，和模型探测。数据将匹配不同异常探测模型的触发条件。如果匹配成功，将会生成异常计算和处理的任务，由定时任务按照模型计算异常分数生成异常告警，并且支持编排器对异常告警进行自定义编排处理。

与现有技术相比，本发明的优点和积极效果在于，

1、本发明使用性能引擎对性能数据进行可配置的采集和保留策略，使用对象动态扩展的时间序列数据库存储，高效的支持动态异常探测。解决现有技术处理性能数据低效，接口固化，适应性差，扩展性差等问题。

2、本发明可对精确到资源实例的度量实例的对象设立区间探测，沟壑探测，线性探测，和模型探测的动态异常触发条件，解决现有技术只支持对资源对象静态建模，无法展开多维度分析和预测的问题。

3、本发明支持多层级触发条件和编排流设置，生成不同严重度的异常告警并应用不同的告警处理流程包括故障工单派单和告警排障修复任务处理。解决现有技术只支持单组静态阈值或区间，生成异常告警的条件单一，无法针对不同的资源对象，度量类型，和历史数据情况，划分异常告警严重度。只支持单一的告警处理流程，无法对不同度量类型生成的不同严重程度的异常告警进行流程编排，无法实现自动化的工单派发和故障修复。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为动态建模性能处理引擎构架示意图；

图2为异常探测流程图；

图3为触发条件层级和编排流的了流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。

实施例1，如图1、图2所示，本发明提供了一种基于性能数据建立动态异常探测模型的方法，包括性能数据收集器和性能处理服务器，

所述数据收集器按照对象的度量所使用的保留策略中定义的采集频率来收集数据；

所述性能处理服务器负责存储由性能数据收集器发送过来的性能数据，将符合保留策略的采集频率时间戳，对象，度量类型，聚合值存储至时间序列数据库。

作为优选，所述保留策略中支持各采集时段定义使用不同的保留规则，包括数据采集频率和存储保留时效，一个保留策略中所有的保留规则使用相同的聚合处理方式。

作为优选，所述性能数据收集器将实时性能数据按照采集的频率，对数据进行聚合处理，然后发送到性能处理服务器。

作为优选，所述聚合处理将实时数据按照指定的聚合方式进行计算，支持最近值，最小值，最大值，和平均值聚合方式；计算得出的值作为性能数据发送到性能处理服务器，保留策略采集频率和保留时效成反比，采集频率越密集，存储的时效会缩小；一个对象的度量可以定义多个采集时段，每个采集时段拥有一个保留规则，所以需要历史采集时段来判断当前情况所适用的保留规则；处理逻辑如下：

1)查询该对象度量的保留策略；

2)通过访问该对象度量已存储的数据时效，查询获取当前采集时段；

3)匹配当前采集时段所适用的保留规则，使用保留规则中的采集频率，按照保留策略的聚合处理方式，聚合处理实时数据，生成性能数据。

作为优选，所述时间序列数据库属于存储应用，与传统关系型数据库不一样，按对象建模，度量类型可动态扩展，按照时间序列和度量值进行存储；此应用会依据对象，对象度量类型，和保留策略动态建模及更新数据。

作为优选，数据存储的同时，将进行异常检测的流程。异常探测模型使用区间探测，沟壑探测，线性探测，和模型探测。数据将匹配不同异常探测模型的触发条件。如果匹配成功，将会生成异常计算和处理的任务，由定时任务按照模型计算异常分数生成异常告警，并且支持编排器对异常告警进行自定义编排处理。

区间探测可以配置多个探测区间，每个区间可以有独立的区间参数，区间计算公式，公差范围，和与之对应的异常分数以及对应异常告警的处理流程。如果性能数据的值落在区间外则会生成对应的异常分数，并且如果下一采集频率的性能值与当前性能值差距符合浮动范围，则不会生成新的处理任务，直接使用上次的异常分数。如果下一采集频率的性能值大于浮动范围且不属于正常区间内，将会重新计算异常分数，生成异常告警的处理任务。

沟壑探测适用于数据丢失的异常分析，沟壑指性能数据丢失的时间窗口。沟壑探测当沟壑达到一定值即性能数据丢失窗口时长达到一定的值时，将触发异常告警。沟壑探测支持配置不同大小的沟壑即不同的时间窗口时长，可以映射不同异常分数值，沟壑越大异常分数约高，异常告警严重度越高，可以配置和触发不同的异常告警处理流程。

线性探测可以对未来一定时间范围的性能数据进行异常告警预测。线性探测需要使用相关的历史性能数据，配置历史性能数据的使用范围，未来的有效预测范围，阈值以及置信度。通过配置范围内的历史性能数据，在未来有效预测范围中，进行线性推算，增长或则减少。如果在未来有效预测范围里计算出异常分数可能达到异常告警阈值，则生成异常告警。线性探测支持多个不同的阈值配置，分别对应不同严重级别的异常告警和处理流程。

模型探测主要使用机器学习训练机制，支持脚本化的自定义模型算法，通过一段时间的度量异常监测，训练数据对比结果，获取更准确的异常探测模型。模型探测需要定义训练的时间窗口，预警条件例如低于预期值，高于预期值或者不在预期值范围内。模型探测支持通过与预期值差异的标准差个数来定义多层级的异常告警触发条件和处理流程。与预期值的标准差越大，异常告警严重度越高。

模型探测内置的预测模式使用的是概率指数加权移动平均线算法，对正常的时间序列性能数据进行分预测分析。此模式也属于机器学习，需要一定的训练范围，在配置的数据训练应用有效期限中，使用定义的概念指数加权移动平均线算法分析预测异常告警。概率指数加权移动平均线算法主要有两个参数，阿尔法和贝塔。阿尔法值控制加权平均值计算使用的数据量，阿尔法值越大，加权平均值计算用的数据越多，加权平均线更加平滑。贝塔值控制模型对差异的敏感度，贝塔值越大，接受与预期值的差异容忍度越低，公差越小，对与预期值的差异敏感度提升。

当引入脚本化自定义模型，模型定义的内容与预测模式的参数和方式一致，需要使用正常的性能数据做训练，得出一个正常性能数据模型，在此模型有效期内，判断新的性能数据是否满足触发条件即数据是否与模型的预期值有差异，严重度按照标准差来定义。

动态模型都支持配置多层级的异常触发条件，映射不同严重度的异常告警，以及通过编排工具进行后续告警处理，排障修复等操作。

最后说一下还需要补充一下：

1.采用性能采集服务器和时间序列数据库，按照保留策略对性能数据实行压缩和存储的方法。此方法保证高效性能数据采集和存储支持动态建模，是本提案的关键点，需要给与保护。

2.建立异常探测的动态模型，包括区间探测，沟壑探测，线性探测，和模型探测，支持多层级的异常触发条件和各触发条件对应的编排流，定义不同的告警处理和排障修复流程，是本提案的关键点，需要给与保护。

3、模型探测支持脚本化的自定义模型扩展，通过引入机器学习模型算法，设定正常性能数据过滤器，训练时间，有效时效等，动态生成该模型的预期值，并且使用标准差个数定义多层级的触发条件，智能化丰富异常探测的动态模型，是本提案的关键点，需要给与保护。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (1)

1.一种基于性能数据建立动态异常探测模型的方法，包括性能数据收集器和性能处理服务器，其特征在于，

所述数据收集器按照对象的度量所使用的保留策略中定义的采集频率来收集数据；

所述性能处理服务器负责存储由性能数据收集器发送过来的性能数据，将符合保留策略的采集频率时间戳，对象，度量类型，聚合值存储至时间序列数据库；

所述保留策略中支持各采集时段定义使用不同的保留规则，包括数据采集频率和存储保留时效，一个保留策略中所有的保留规则使用相同的聚合处理方式；

所述性能数据收集器将实时性能数据按照采集的频率，对数据进行聚合处理，然后发送到性能处理服务器；

所述聚合处理将实时数据按照指定的聚合方式进行计算，支持最近值，最小值，最大值，和平均值聚合方式；计算得出的值作为性能数据发送到性能处理服务器，保留策略采集频率和保留时效成反比，采集频率越密集，

存储的时效会缩小；一个对象的度量可以定义多个采集时段，每个采集时段拥有一个保留规则，所以需要历史采集时段来判断当前情况所适用的保留规则；处理逻辑如下：

1)查询该对象度量的保留策略；

2)通过访问该对象度量已存储的数据时效，查询获取当前采集时段；

3)匹配当前采集时段所适用的保留规则，使用保留规则中的采集频率，按照保留策略的聚合处理方式，聚合处理实时数据，生成性能数据；

所述时间序列数据库属于存储应用，与传统关系型数据库不一样，按对象建模，度量类型可动态扩展，按照时间序列和度量值进行存储；此应用会依据对象，对象度量类型，和保留策略动态建模及更新数据。