CN117527611B

CN117527611B - 一种基于高斯分布的故障动态预测方法、系统、电子设备及存储介质

Info

Publication number: CN117527611B
Application number: CN202311475288.3A
Authority: CN
Inventors: 王玉臣; 安吉元; 王志刚; 修兴强; 胡永鹏
Original assignee: Beijing Taiji Information System Technology Co ltd
Current assignee: Beijing Taiji Information System Technology Co ltd
Priority date: 2023-11-07
Filing date: 2023-11-07
Publication date: 2024-06-07
Anticipated expiration: 2043-11-07
Also published as: CN117527611A

Abstract

本申请公开了一种基于高斯分布的故障动态预测方法及相关装置，包括：采集设备的故障相关的参数指标历史数据；构建设备故障异常指标数据时间窗口，并根据历史数据构建每个时间窗口相对准确的高斯分布；定期采集并监控设备的参数指标，及时根据异常数据对可能出现的设备故障发出警告。本申请采用动态故障阈值设置方法，与传统的静态方法相比，更具适应性，能够根据资源类型和场景自动调整阈值，降低了误报率。此外，这项技术适用于多种资源类型，具备广泛适用性。其中还加入了对模型的自动评估和调整，提高了故障预测的准确性和效率，有助于提前采取措施，减少设备故障对业务的影响，提高资源管理系统的可靠性和性能。

Description

一种基于高斯分布的故障动态预测方法、系统、电子设备及存储介质

技术领域

本申请属于设备故障预测技术领域，涉及一种基于高斯分布的故障动态预测方法及相关装置。

背景技术

智能资源管理系统管理的资源种类繁多。针对不同种类资源，所设置的故障阈值是有差异的，并且同一种类资源在不同任务场景下，故障阈值也是有差异的。现有技术中的指标监控和预警系统一般应用静态故障阈值法，辅助对资源出现的异常情况进行分析。所谓静态故障阈值法，即对资源的监控指标设置一个固定的故障阈值，将当前监控指标数据和设定的故障阈值进行比较，如果超出上述故障阈值则产生告警，如果没有超出上述故障阈值则视为正常。但是，现有故障预测技术一般通过监测设备的单一资源实现，而其阈值一般是该专业的人员根据经验设置的。但当资源单一时，预测的误差可能较大，而当资源种类过多时，一些资源的阈值应该如何设置，可能是专业人员也不熟悉的。此外，由于不同资源的自身特点，其性能指标可能呈波动态势，此时，采用静态阈值的方法并不能准确的反映出资源异常状态。

发明内容

本申请的目的在于解决现有技术中的问题，提供一种基于高斯分布的故障动态预测方法及相关装置。

为了实现上述目的，本申请采用以下技术方案予以实现：

第一方面，本申请提供一种基于高斯分布的故障动态预测方法，包括以下步骤：

持续监测并采集与设备状态相关的特征及其相应的特征数据；

对特征数据进行划分，得到多个数据时间窗口；

利用高斯分布的方法构建设备状态与特征数据的映射关系模型；

根据映射关系模型计算每个数据时间窗口的概率分布和阈值，比较概率分布和默认阈值得到故障预测结果。

第二方面，本申请提供一种基于高斯分布的故障动态预测系统，包括：

数据采集模块，用于持续监测并采集与设备状态相关的特征及其相应的特征数据；

数据划分模块，用于对特征数据进行划分，得到多个数据时间窗口；

模型构建模块，用于利用高斯分布的方法构建设备状态与特征数据的映射关系模型；

故障预测模块，用于根据映射关系模型计算每个数据时间窗口的概率分布和阈值，比较概率分布和默认阈值得到故障预测结果。

第三方面，本申请提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。

与现有技术相比，本申请具有以下有益效果：

本申请采用一种动态故障阈值设置方法，寻求业务突变的特征，以先于保障人员感知发现资源异常，突破传统绝对指标的监控盲区。通过主动监控的思想，来及早地捕捉资源指标的隐患，依据资源指标的正态分布特性，通过高斯分布来实现，更合理精确地自动得到门限值，并自动产生预警级别，达到对资源的精确监控，挖掘资源中的隐形故障，最终实现由现有技术对资源故障的时候问题分析转向问题产生前的指标主动监控。

本申请基于对特征数据的周期性和分布特征以及对数据的业务理解，将特征数据划分到不同的数据时间窗口，同一数据时间窗口中的特征数据具有相似的数值分布特征。

本申请基于高斯分布的基础，根据时间窗口的历史数据，自动调整阈值，通过动态阈值，对具有波动性的设备特征参数指标进行监测，更及时，准确地通过指标的异常表现，预测故障发生的可能性。

附图说明

为了更清楚的说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请方法的流程图。

图2为本申请系统的原理图。

图3为本申请基于高斯分布的故障动态预测方法与系统流程图。

图4为本申请实施例2历史时间窗口中，1:00-2:00期间接收到的2000个历史数据点。

图5为本申请实施例2“正常”状态下的设备发送的数据量。

图6为本申请实施例2“故障一”状态下的设备发送的数据量。

图7为本申请实施例2“故障二”状态下的设备发送的数据量。

图8为本申请实施例2对比测试集的数据分类为“异常状态”与“正常状态”得到的数据。

图9为本申请实施例2中当设定P(β)＝0.997时，计算ε的结果。

图10为本申请实施例2中当设定P(β)＝0.96时，计算ε的结果。

图11为本申请实施例2中当设定P(β)＝0.97时，计算ε的结果。

图12为本申请实施例2中当设定P(β)＝0.98时，计算ε的结果。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本申请实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

下面结合附图对本申请做进一步详细描述：

参见图1，本申请实施例公开了一种基于高斯分布的故障动态预测方法，包括以下步骤：

S1持续监测并采集与设备状态相关的特征及其相应的特征数据。

实际应用中，所述与设备状态相关的特征可以是设备的CPU温度、丢包率或响应延迟等能够反应设备状态的特征之一或者多个特征的组合。

S2对特征数据进行划分，得到多个数据时间窗口。

在一些实施例中，根据特征数据的周期性、分布特征以及对特征数据的业务理解，对特征数据进行划分，得到多个不同的数据时间窗口。

实际应用中，同一所述数据时间窗口中的特征数据具有相似的数值分布特征。

S3利用高斯分布的方法构建设备状态与特征数据的映射关系模型。

在一些实施例中，通过计算特征的均值与方差，进而得到特征的高斯分布，确定高斯分布的概率分布和默认阈值。

在一些实施例中，数据时间窗口的特征参数以及其设备状态的二维数据样本D如下：

D＝{(x_i，y_i)|x_i∈R，y_i∈[正常，异常]，i∈I)

其中，x_i为设备特征值，y_i为设备状态，I为数据索引；

将二维数据样本D分为训练集D_train与测试集D_test后，取训练集D_train中对应y_i为正常的特征参数X(n)：

X(n)＝x₁，x₂，...，x_n

计算特征参数X(n)的均值μ与方差σ²：

以δ表示某特征值x对于均值μ的偏离程度，计算特征参数X(n)中x_i随机分布在范围[μ-δ，μ+δ]的概率P(δ)如下：

其中，ρ(x)为特征值x在X(n)的高斯分布中的概率密度函数：

将(4)替换入(3)中，得到：

考虑有值β使得P(β)＝0.95，即X(n)中特征值随机分布在范围[μ-β，μ+β]的概率为95％；反解此积分方程，计算出值β；

随后，使用β计算出默认阈值ε：

ε＝ρ(μ-β；μ，σ²) (6)。

S4根据映射关系模型计算每个数据时间窗口的概率分布和阈值，比较概率分布和默认阈值得到故障预测结果。

实际应用中，在数据时间窗口内，若特征值的高斯分布密度ρ小于阈值ε，则判断设备状态为异常。

如图2所示，本申请实施例公开了一种基于高斯分布的故障动态预测系统，包括：

本申请的原理：

高斯分布用于确定指标的基准故障阈值，为各种资源在各个场景下的最终阈值预测提供支撑。高斯分布用于描述数据样本出现的概率分布，通过计算样本值的均值与方差来估计总体的概率分布。基于高斯分布的异常检测算法的基本思想就是计算某个资源特征值样本的高斯分布概率，大于或等于阈值为正常，小于阈值为异常。异常检测的数学内涵源自于数理统计的一条法则，即小概率事件一般不会发生，一旦发生即视为异常事件。

构建资源异常检测算法，首先选出与资源状态相关的特征值，比如服务器的CPU利用率。然后计算各个特征的均值与方差，进而得出每种特征的高斯分布，并确定高斯分布的异常概率阈值。基于高斯分布检测算法的基本理论，计算资源特征值数据样本的概率分布和阈值，并通过比较检测样本的高斯分布值与阈值，快速挖掘和检测出资源的异常状态。通过高斯分布算法构建的高斯正态分布模型能够快速、准确地对资源指标状态进行分析，并有效识别基准阈值，从而为阈值动态修正提供支撑。高斯分布能够为不同类型的指标和不同场景下的指标形成相应的分布，从而得出相应的基准阈值。

实施例1：

本实施例公开了一种基于高斯分布的故障动态预测方法，包括以下步骤：

步骤1：数据准备

选出设备状态相关的特征以及相应的特征值，比如服务器的CPU温度、丢包率、响应延迟等。特征数据来自于对特征的持续监测与采集。

步骤2：数据周期性分解

基于对特征数据的周期性、分布特征以及对数据的业务理解，将数据划分为不同的时间窗口。在同一时间窗口中，特征数据具有相似的数值分布特征。以某服务器的CPU温度为例，其在凌晨2点至5点的温度最低，与这一时间段的访问量最低相对应，因此，可以将凌晨2点至5点作为CPU温度数据的一个时间窗口。在本申请中，假设特征值符合高斯分布，并且在不同的数据时间窗口中，特征值的均值和方差有显著差异。另外，由于特征数据的更新可能导致数据的周期性和分布特征发生改变，因此需要动态调整数据时间窗口，并针对每个窗口进行基于高斯分布的故障预测。

步骤3：建模方法选择

利用高斯分布方法构建设备状态与特征值的映射关系。计算特征的均值与方差，进而得到特征的高斯分布。确定高斯分布的异常概率阈值。基于高斯分布检测算法的基本理论，计算设备特征值样本的概率分布和阈值，运用检测样本的高斯分布值与阈值比较，快速挖掘和检测出设备的异常状态。

步骤4：阈值计算

设备某数据时间窗口中的特征参数以及其设备状态的二维数据样本表示为：

D＝{(x_i，y_i)|x_i∈R，y_i∈[正常，异常]，i∈I}

其中，x_i为设备特征值，y_i为设备状态，I为数据索引。

将样本D分为训练集D_train与测试集D_test后，取训练集D_train中对应y_i为正常的特征参数，表示为：

X(n)＝x₁，x₂，...，x_n

计算X(n)的均值μ与方差σ²如下：

以δ表示某特征值x对于均值μ的偏离程度，可计算X(n)中x_i随机分布在范围[μ-δ，μ+δ]的概率P(δ)如下：

其中，ρ(x)为特征值x在X(n)的高斯分布中的概率密度函数：

将(4)替换入(3)中，得到：

考虑有值β使得P(β)＝0.95，即X(n)中特征值随机分布在范围[μ-β，μ+β]的概率为95％。反解此积分方程，计算出值β。

随后，使用β计算出默认阈值ε：

ε＝ρ(μ-β；μ，σ²) (6)

即在此时间窗口内，若特征值的高斯分布密度ρ小于阈值ε，则判断设备状态为异常。

步骤5：分类与评估

对设备此状态参数的测试数据集进行分类，计算精度p、召回率r以及F1分数，进而检验分类的准确性。计算方法如下：

式中：TP是正确预测的正常样本数(检测为异常实际也为异常)；FP是错误预测为正常的异常样本数(检测为异常实际为正常)；FN是错误预测为异常的正常样本数(检测为正常实际为异常)。

当F1分数不理想时，尝试使用不同的P(δ)值，来计算出不同的阈值ε。尝试使用不同阈值ε后，使用F1分数最高的ε值提升分类的准确性。

步骤6：时间推进

当时间推进至下一个时间窗口时，使用该时间窗口中的数据重复上述步骤，以继续监测设备状态并检测异常。

实施例2：

有某型设备，在设备正常运转时，其发送的数据量根据使用时长有正态分布特点。设备发生的故障主要有：

(a)设备运转异常导致发送的数据量变多；

(b)CPU降温系统没有正常运转，导致设备的工作进度缓慢。

设备主要工作时间为每天下午1:00-6:00。根据使用特征，以每个小时为一个时间窗口，每30秒记录一次30秒时间间隔内发出的数据量大小。

如图4所示，图4中，方块点表示带有标签“故障一”的历史数据，“×”点表示带有标签“正常”的历史数据，圆点表示带有标签“故障二”的历史数据。虚线表示相应数据的高斯分布。

拆分开来看，历史数据中，“正常”状态下的设备发送的数据量如图5，符合高斯分布特点：

历史数据中，处于“故障一”状态下的设备发送的数据量如图6。当此故障发生时，设备发送的数据量有正态分布，比正常运转时温度低的特点。

历史数据中，处于“故障二”状态下的设备发送的数据量如图7。当此故障发生时，设备发送的数据量有正态分布，比正常运转时温度高的特点。

将历史数据按7∶3的比例(即1400个训练数据点及600个测试数据点)分为训练数据集和测试数据集后，使用公式(1)-(2)计算训练数据集中设备正常状态下的CPU温度均值ρ及标准差σ，得到

μ≈2.0035，σ≈0.25002

当设定P(β)＝0.95时，使用公式(5)-(6)计算ε，即：

ε＝ρ(μ-β；μ，，σ²)

得到

ε≈0.233762

通过对比测试集数据的高斯分布ρ，将测试集的数据分类为“异常状态”与“正常状态”后，对比其标签，得出如图8所示的数据。

其中，TP(预测为异常，实际也为异常)的数据点有248个；TN(预测为正常，实际也为正常)的数据点有335个；FP(预测为异常，实际为正常)的数据点有13个；FN(预测为正常，实际为异常)的数据点有4个。

计算F1分数为：

尝试其他P(β)：

如图9所示，当P(β)＝0.997时，F1≈96.08％；

如图10所示，当P(β)＝0.96时，F1≈97.25％；

如图11所示，当P(β)＝0.97时，F1≈97.43％；

如图12所示，当P(β)＝0.98时，F1≈97.80％。

基于目前数据来看，使用P(β)＝0.98来计算的阈值能提供更为精确的预测。此时，阈值ε＝0.106。即，若设备正常工作，发送的数据量大小处应处于区间[1.42，2.59]。

在进入新的时间窗口时，系统将重复上述步骤计算新的阈值ε。

本申请一实施例提供的计算机设备。该实施例的计算机设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。

所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本申请。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于，处理器、存储器。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。

所述计算机设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种基于高斯分布的故障动态预测方法，其特征在于，包括以下步骤：

对特征数据进行划分，得到多个数据时间窗口；

根据映射关系模型计算每个数据时间窗口的概率分布和默认阈值，比较概率分布和默认阈值得到故障预测结果；

所述根据映射关系模型计算每个数据时间窗口的概率分布和默认阈值，包括计算特征的均值与方差，进而得到特征的高斯分布，确定高斯分布的概率分布和默认阈值；

所述确定高斯分布的概率分布和默认阈值，包括：

数据时间窗口的特征参数以及其设备状态的二维数据样本如下：

其中，为设备特征值，/>为设备状态，/>为数据索引；

将二维数据样本分为训练集/>与测试集/>后，取训练集/>中对应/>为正常的特征参数/>：

计算特征参数的均值/>与方差/>：

以表示某特征值/>对于均值/>的偏离程度，计算特征参数/>中/>随机分布在范围的概率/>如下：

其中，为特征值/>在/>的高斯分布中的概率密度函数：

将（4）替换入（3）中，得到：

考虑有值使得/>，即/>中特征值随机分布在范围/>的概率为95%；反解此积分方程，计算出值/>；

随后，使用计算出默认阈值：

其中，为默认阈值。

2.根据权利要求1所述的基于高斯分布的故障动态预测方法，其特征在于，所述与设备状态相关的特征包括设备的CPU温度、丢包率以及响应延迟。

3.根据权利要求1所述的基于高斯分布的故障动态预测方法，其特征在于，所述对特征数据进行划分，得到多个数据时间窗口，包括：

根据特征数据的周期性、分布特征以及对特征数据的业务理解，对特征数据进行划分，得到多个不同的数据时间窗口。

4.根据权利要求1或3所述的基于高斯分布的故障动态预测方法，其特征在于，同一所述数据时间窗口中的特征数据具有相似的数值分布特征。

5.根据权利要求1所述的基于高斯分布的故障动态预测方法，其特征在于，所述比较概率分布和默认阈值得到故障预测结果，包括：

在数据时间窗口内，若特征值的高斯分布密度小于默认阈值/>，则判断设备状态为异常。

6.一种用于实现权利要求1所述方法的基于高斯分布的故障动态预测系统，其特征在于，包括：

故障预测模块，用于根据映射关系模型计算每个数据时间窗口的概率分布和默认阈值，比较概率分布和默认阈值得到故障预测结果。

7.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述方法的步骤。