CN112732519A - 一种事件监控方法及装置 - Google Patents
一种事件监控方法及装置 Download PDFInfo
- Publication number
- CN112732519A CN112732519A CN202011611537.3A CN202011611537A CN112732519A CN 112732519 A CN112732519 A CN 112732519A CN 202011611537 A CN202011611537 A CN 202011611537A CN 112732519 A CN112732519 A CN 112732519A
- Authority
- CN
- China
- Prior art keywords
- occurrence
- historical
- monitoring event
- frequency
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000008569 process Effects 0.000 claims abstract description 60
- 238000009826 distribution Methods 0.000 claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 37
- 238000003860 storage Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002939 conjugate gradient method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 5
- 238000005457 optimization Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请公开了一种事件监控方法及装置，所述方法包括：获取当前的监控事件在指定历史时间区间内的历史发生数据，该历史发生数据包括监控事件的历史发生时间信息；根据历史发生时间信息构建高斯过程回归模型；根据所述高斯过程回归模型，确定所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，其中，所述发生频率服从泊松分布；根据所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，生成针对所述监控事件的时变频率曲线，所述时变频率曲线用于反映所述监控事件的发生频率随着时间变化的变化情况，进而可以快速识别出当前监控事件的高频发区间，特别适用于数据量比较大的场景中，提高了监控事件的识别效率。
Description
技术领域
本申请实施例涉及数据处理技术，尤其涉及一种事件监控方法及装置。
背景技术
监控系统对于生产系统的运维管理、风险控制具有非常重要的意义，其中，事件监控是其中的比较基础且重要的内容，通过对特殊事件或者重要事件的监控，可以获得这些事件的发生频率，从而能够挖掘出相应的信息或者能够在事件发生时及时作出响应。
例如，在直播场景中，经常会发生各种事件，这些事件例如可以包括：直播平台中的小游戏有人获得概率较低的特殊奖励的事件、直播房间中人数暴涨或者暴跌等。对这些事件的发生频率的变化进行监控对于直播平台而言是一件有意义的事。例如，针对直播平台中的小游戏有人获得概率较低的特殊奖励的事件，如果该事件发生过于频繁的时候及时响应，可以快速发现作弊玩家。
发明内容
本申请提供一种事件监控方法及装置，以确定监控事件发生频率较高的区间，并提高监控事件的识别效率。
第一方面，本申请实施例提供了一种事件监控方法，所述方法包括：
获取当前的监控事件在指定历史时间区间内的历史发生数据，所述历史发生数据包括所述监控事件的历史发生时间信息；
根据所述历史发生时间信息构建高斯过程回归模型；
根据所述高斯过程回归模型，确定所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，其中，所述发生频率服从泊松分布；
根据所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，生成针对所述监控事件的时变频率曲线，所述时变频率曲线用于反映所述监控事件的发生频率随着时间变化的变化情况。
第二方面，本申请实施例还提供了一种事件监控装置，所述装置包括：
历史数据获取模块，用于获取当前的监控事件在指定历史时间区间内的历史发生数据，所述历史发生数据包括所述监控事件的历史发生时间信息；
模型构建模块，用于根据所述历史发生时间信息构建高斯过程回归模型；
发生频率确定模块，用于根据所述高斯过程回归模型，确定所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，其中，所述发生频率服从泊松分布；
频率曲线生成模块，用于根据所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，生成针对所述监控事件的时变频率曲线，所述时变频率曲线用于反映所述监控事件的发生频率随着时间变化的变化情况。
第三方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法。
本申请具有如下有益效果：
在本实施例中，在进行事件监控的场景中，根据采集的当前的监控事件在指定历史时间区间内的历史发生时间信息，可以构建高斯过程回归模型，然后根据该高斯过程回归模型可以确定指定历史时间区间内的各单位时间点发生当前监控事件的发生频率，并根据该发生频率绘制针对监控事件的时变频率曲线，根据该时变频率曲线可以确定当前监控事件的发生频率随着时间变化的变化情况，进而可以快速识别出当前监控事件的高频发区间，特别适用于数据量比较大的场景中，提高了监控事件的识别效率。
附图说明
图1是本申请实施例一提供的一种事件监控方法实施例的流程图；
图2是本申请实施例一提供的一种确定监控事件的发生频率的流程图；
图3是本申请实施例一提供的一种时变频率曲线示意图；
图4是本申请实施例一提供的一种根据时变频率曲线确定高频发区间的示意图；
图5是本申请实施例二提供的一种事件监控装置实施例的结构框图；
图6是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
实施例一
图1为本申请实施例一提供的一种事件监控方法实施例的流程图，本实施例可以由服务器执行，例如，该服务器可以包括平台方(如直播平台、短视频平台等)的服务器。
本实施例可以包括如下步骤：
步骤110，获取当前的监控事件在指定历史时间区间内的历史发生数据，所述历史发生数据包括所述监控事件的历史发生时间信息。
在一种示例中，监控事件可以包括平台方指定的需要监控或观测的事件，例如，监控事件可以包括平台网络连接波动事件、网络故障事件、直播间人数暴涨或者暴跌的事件等，本实施例不对具体的监控事件作限制，可以根据实际的业务需求设定。
当确定监控事件以后，本实施例可以采集该监控事件在指定历史时间区间内的历史发生数据，即，在过去一个时间段内每次发生该监控事件所产生的数据。示例性地，历史发生数据至少可以包括当前监控事件的历史发生时间信息，例如，该历史发生时间信息可以为当前监控事件在过去一个月内，每次发生的时间戳信息。
在一种实现中，可以从日志数据中采集当前的监控事件在指定历史时间区间内的历史发生数据，当然，本实施例并不限于在日志数据中采集历史发生数据这种方式，本领域技术人员采用其他方式来采集到当前的监控事件在指定历史时间区间内的历史发生数据均是可以的。同时，本实施例对具体的指定历史时间区间也是不作限定的，根据实际业务需求确定即可。
在一种实施方式中，上述的历史发生时间信息可以为经过归一化处理后的时间信息。具体的，为了便于后续对模型进行拟合，当采集到当前的监控事件在指定历史时间区间内的历史发生数据以后，可以对该历史发生数据中的历史发生时间进行标准化的处理，来将时间信息归一化到一个小范围区间内，例如，将过去一个月的时间信息规范化到[0，2.0]之间，则后续提及的历史发生时间信息或者指定历史时间区间内的单位时间点都是经过归一化处理后的时间信息，例如，采用类似于t1＝0，t2＝0.01，t3＝0.02，t4＝0.23等形式来记录监控事件每次发生的时间点。
步骤120，根据所述历史发生时间信息构建高斯过程回归模型。
在本实施例中，假设当前的监控事件发生的时间间隔由一个泊松分布采样产生，具体的，可以采用泊松过程对监控事件的发生频率进行建模，泊松过程假设在两个互斥(不重叠)的区间内所发生的事件的数目是互相独立的随机变量，且在区间[t，t+τ]内事件发生的数目的概率分布为：
其中，λ是一个正数，通常称为抵达率(arrival rate)或强度(intensity)。则，如果给定时间区间[t，t+τ]，则该时间区间内事件发生的数目随机变量呈现泊松分布，其参数为λτ。也就是说，在时间区间[t，t+τ]内，当前的监控事件发生的期望为λτ。
在现有的泊松过程中，λτ是一个固定值，即预先假设固定的时间间隔内事件发生的期望值是恒定的。而在本实施例中，假设λτ是一个时变的参数，随着时间的变化，λτ会发生变化，而不是固定的值。基于此，本实施例可以根据历史数据中的历史发生时间信息构建高斯过程回归模型，用于刻画λτ的变化过程。
其中，高斯过程回归(Gaussian Process Regression，GPR)是使用高斯过程(Gaussian Process，GP)先验对数据进行回归分析的非参数模型(non-parametericmodel)。GPR模型假设包括噪声(回归残差)和高斯过程先验两部分，其求解按贝叶斯推断(Bayesian inference)进行。若不限制核函数的形式，GPR在理论上是紧致空间(compactspace)内任意连续函数的通用近似(universal approximator)。此外，GPR可提供预测结果的后验，且在似然为正态分布时，该后验具有解析形式。
在一种实施方式中，步骤120进一步可以包括如下步骤：
步骤120-1，将所述历史发生时间信息作为样本集，采用共轭梯度法最小化所述样本集的对数似然度，得到最优超参数，并根据所述最优超参数确定高斯过程回归模型。
在实现时，根据贝叶斯定律，得到下式：
其中，y＝(y1，y2，…)是历史发生时间信息，yi代表第i个监控事件发生的时间，在本实施例中，
就是本实施例的特征空间是正实数。
s＝(f(y1)，f(y2)，…)是高斯过程回归模型f在y上的采样；
p(f)＝GP(m,k)，m，k分别是数学期望函数和协方差函数。
p(s)＝∫p(s|f，y)p(f|s)df是证据函数。
在实施例中，在给定
的情况下，一种示例性的高斯过程回归模型的似然函数可以采用共轭梯度法由下面公式表示：
其中，y1，…，yn是观测到的n个监控事件发生的时间变量，T是观测数据(即历史发生时间信息)中的时间变量的最大值。
是在观测到的监控事件发生的时间的λt的对数和；
是观测数据时间段内的发生监控事件的数目的期望。该似然函数可以理解为，希望在监控事件发生的时候λt的值较高。但是同时要控制平均λt的水平，使得在监控事件发生频繁的区间λt高，事件发生稀疏的区间λt水平低。
在本实施例中，通过优化方法最小化logp(y1，…，yn|λ)，可以得到的λt估计值，即最优超参数，得到最优超参数以后，则可以确定高斯过程回归模型。其中，本实施例对最小化logp(y1，…，yn|λ)的优化方法不作限定，例如，可以采用贝叶斯变分推断进行优化。
步骤120-2，根据所述高斯过程回归模型，确定对应的后验数学期望函数以及后验协方差函数，以确定后验分布概率。
具体的，高斯过程回归建模的目标是给定y和s，找到f的后验分布概率(posteriordistribution over functions)，即，后验分布概率是在高斯过程回归的任务中需要寻找的目标。在一种实施例中，可以将后验函数分布概率设定为p(f|s，y)＝GP(mpost,kpost)，要确定后验函数分布概率，需要先找到后验数学期望函数mpost与后验协方差函数kpost。
在一种实施方式中，高斯过程回归的解存在如下解析形式：
mpost(y★)＝m(y★)+k(y★，s)K-1(s-m(y))
kpost(y★，y★)＝k(y★，y★)-k(y★，y)K-1k(y，y★)
其中，y★是特征空间的一个任何可能的取值，在本实施例中，y★是R+上的任何一个可能的数，代表监控事件任何一个可能发生的时间的取值。
m(y)是高斯过程的数学期望函数在输入样本上的先验分布，在本实施例中，就是事件频率函数在R+的先验分布，一般情况为0。
K＝k(y，y)是样本集中的输入变量的协方差矩阵，在本实施例中，输入变量是历史发生时间信息，K-1是K的转置。
k(y★，y)是需要预测的数据点的输入变量的协方差向量，在本实施例中，是R+上的一个任何可能的取值与历史上的历史发生时间信息的协方差函数值。
k(y，y★)是k(y★，y)的转置。
需要说明的是，在本实施例中，并未指定具体的协方差函数，一般来说，当协方差矩阵为半正定矩阵时，核函数便认为是有效。当协方差矩阵为半正定矩阵时，协方差函数便认为是有效的，例如，可以采用如下公式表示协方差函数：
k(x1，x2)＝exp(-|d(x1，x2)|2)
其中，d(x1，x2)为任意两个样本点x1，x2之间的欧氏距离。
步骤130，根据所述高斯过程回归模型，确定所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，其中，所述发生频率服从泊松分布。
当构建高斯过程回归模型以后，可以以指定历史时间区间内的各单位时间点发生监控事件的发生频率，作为服务泊松分布的时变λt，并采用高斯过程回归模来估计λt的时变情况。
在一种实施方式中，如图2所示，步骤130进一步可以包括如下步骤：
步骤130-1，将所述指定历史时间区间内的各单位时间点输入至所述高斯过程回归模型，并获得所述高斯过程回归模型针对各单位时间点输出的瞬时发生强度，所述瞬时发生强度为当前单位时间点发生所述监控事件的频率。
当构建高斯过程回归模型以后，可以以指定历史时间区间内的各单位时间点作为观测数据输入至高斯过程回归模型进行预测，得到各单位时间点对应的瞬时发生强度。
步骤130-2，根据所述历史发生数据，确定所述监控事件在所述指定历史时间区间内各单位时间点的平均发生强度。
在该步骤中，监控事件在指定历史时间区间内各单位时间点的平均发生强度可以理解为参数λ的均值。在一种实现中，可以采用如下方式确定平均发生强度：计算所述指定历史时间区间内的单位时间点的第一数量；计算所述监控事件在所述指定历史时间区间内发生的第二数量；将所述第一数量与所述第二数量的比值，作为所述平均发生强度。
例如，平均发生强度＝tmax/N，其中，tmax为指定历史时间区间内的单位时间点的第一数量，即指定历史时间区间内时间戳的最大值；N是监控事件在指定历史时间区间内发生的第二数量。
步骤130-3，针对各单位时间点，根据当前单位时间点的瞬时发生强度以及所述平均发生强度，确定所述监控事件在该单位时间点发生的发生频率。
在该步骤中，针对指定历史时间区间内的各单位时间点，在得到各单位时间点的瞬时发生强度以及得到该指定历史时间区间的平均发生强度以后，可以结合两者确定在各单位时间点中，当前监控事件的发生频率。
在一种实施方式中，步骤130-3进一步可以包括如下步骤：
采用预设的指数函数将当前单位时间点的所述瞬时发生强度映射为正实数。计算正实数的瞬时发生强度与所述平均发生强度的乘积，作为所述监控事件在该单位时间点发生的发生频率。
在该步骤中，由于泊松过程要求参数非负，因此本实施例中可以用指数函数将高斯过程回归模型的输出(即瞬时发生强度)映射到正实数
计算瞬时发生强度与平均发生强度的乘积，可以使得模型学习到的瞬时发生强度λt能够在λ的周围波动。
步骤140，根据所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，生成针对所述监控事件的时变频率曲线，所述时变频率曲线用于反映所述监控事件的发生频率随着时间变化的变化情况。
在本实施例中，时变频率曲线用于反映监控事件的发生频率随着时间变化的变化情况，在得到各单位时间点的发生频率以后，可以根据各单位时间点的的发生频率拟合出当前监控事件的时变频率曲线。
例如，如图3的时变频率曲线示意图所示，在图3中，x轴是归一化后的单位时间点，y轴是各单位时间点的发生频率，根据各单位时间点的发生频率可以拟合出一条光滑的时变频率曲线10。同时，为了方便对比，在图3中还根据各历史发生时间信息绘制出了监控事件的历史发生时间示意图20。可以看出，大概在[0，0.25]∪[0.75，1.25]∪[1.75，2]这个区间内，监控事件发生的时间比较频繁，在其他的时间范围内，监控事件发生的比较稀疏，而对应地，学习到λt的变化曲线也是在上述三个区间中呈现3个峰值，其余区间呈现两个谷值的曲线。
在一种实施方式中，当获得当前监控事件的时变频率曲线以后，本实施例还可以包括如下步骤：
将所述时变频率曲线发送至下游任务，由所述下游根据所述时变频率曲线确定当前监控事件的高频发区间。
在该实施例中，可以将时变频率曲线发送至下游任务，从而为下游任务的后续决策提供帮助。一个可能的应用示例是，设定一个λ的阈值th，当λ＞th时，对应的区间可以定义成当前监控事件的高频发区间，这样可以回顾性数据分析的时候，自动化地得到这样的一个高频发区间，与人为手工识别相比更加高效。例如，如图4所示，如果以th＝20作为分界线，画出时变频率曲线与λ＝20的交叉点，可以自动化且定量得到高频发区间。这个区间与之前提到的[0，0.25]∪[0.75.1.25]∪[1.75，2]非常接近。可以设想，当数据量非常大的时候(几万个甚至几十万个)，该方法可以非常高效识别出高频发的区间。
为了使得本领域技术人员能够更好地理解本申请实施例，如下以监控事件为网络连接波动事件(又可以称为网络故障事件)为例，对本实施例的场景进行示例性说明。假设观测到的历史数据是一系列标准化后网络连接波动事件发生的时间点y1，y2，…，并且假设这些网络连接波动事件的发生的时间间隔由一个泊松分布采样产生。更具体来说，可以假设服从泊松过程的参数λt不是一个固定值，而是一个时变的参数。由于一般情况下λt的变化模式是未知的，因此很难用一个显式的函数描述λt的变化过程，基于此，在本申请实施例中运用一个非参数模型，也就是高斯过程回归模型来对λt的变化过程进行建模。
具体的，假设第i个网络连接波动事件发生的时间点为yi(yi为经过标准化处理后的时间信息)，其生成过程可以描述为如下模型：
yi-yi-1～Poisson(λyi)
λyi＝g(yi)
g(yi)＝exp[f(yi)]*(tmax/N)
其中，yi-yi-1是第i个网络连接波动事件发生的时间间隔，这个时间间隔的分布服从一个时变的泊松分布，其参数为λyi。
第二个公式说明λyi是一个由时间yi为自变量的函数g(yi)决定的。在本示例中，λyi刻画了网络连接波动事件的发生频率，λyi越高，意味着在yi这个时间点附近故障发生越频繁。
第三个公式说明g(yi)的形式，其中，f(t)为高斯过程回归模型，在本例中，f(t)象征着网络故障发生的频率，因此可以将其称为故障强度函数。由于泊松过程要求参数非负，因此本例中用指数函数将高斯过程回归模型的输出映射到正实数
同时将它乘上tmax/N，其中，tmax是历史数据中的时间戳的最大值(即指定历史时间区间内的单位时间点的第一数量)，N是历史数据中故障事件发生的次数，tmax/N为历史数据中单位时刻平均事件发生次数，即平均发生强度，也就是参数λ的均值，此处乘上tmax/N是希望学习到的λt能够在λ的周围波动。
根据上述模型的描述可知
如果最终目的是找到
的表达，其核心步骤就是找到f(yi)的表达，而在本实施例中，假设f可以用高斯过程回归模型来描述，而f(yi)是f在yi点的采样。
在本例中，在给定
的情况下，高斯过程回归模型f的似然函数可以由下式表示：
其中，y1，…，yn是观测到的n各时间发生的时间变量，T是观测数据中的时间变量的最大值；
是在观测到的故障事件数据点发生时刻的λt的对数和；
是观测数据时间段内的发生故障事件的数目的期望。该似然函数可以这样理解：希望在事件发生的时候λt的值较高，但同时要控制平均λt的水平，使得在事件发生频繁的区间λt高，事件发生稀疏的区间λt水平低。通过优化方法最小化logp(y1，…，yn|λ)，可以获得λt的估计值。
在图3中，20部分示出了51个网络连接波动事件发生的时间点，这个时间被规范化到[0，2.0]之间。可以看到，大概在[0，0.25]∪[0.75，1.25]∪[1.75，2]这个区间内，波动发生的时间比较频繁，在其他的时间范围内，波动发生的比较稀疏。而从图3的10部分的曲线可以看出，通过上述模型学习到λt的变化情况呈现3个峰值和2个谷值，峰值所在的区间与20部分提到的[0，0.25]∪[0.75，1.25]∪[1.75，2]非常接近。
当获得λt的变化曲线以后，可以为很多下游任务与后续决策提供帮助。例如，可以给定一个λ的阈值th，当λ＞th时，对应的区间可以定义成一个高故障或者频率区间，这样在进行回顾性数据分析的时候，自动化地得到这样的一个高频发区间，与人为手工识别相比更加高效。
在本实施例中，在进行事件监控的场景中，根据采集的当前的监控事件在指定历史时间区间内的历史发生时间信息，可以构建高斯过程回归模型，然后根据该高斯过程回归模型可以确定指定历史时间区间内的各单位时间点发生当前监控事件的发生频率，并根据该发生频率绘制针对监控事件的时变频率曲线，根据该时变频率曲线可以确定当前监控事件的发生频率随着时间变化的变化情况，进而可以快速识别出当前监控事件的高频发区间，特别适用于数据量比较大的场景中，提高了监控事件的识别效率。
实施例二
图5为本申请实施例二提供的一种事件监控装置实施例的结构框图，可以包括如下模块：
历史数据获取模块510，用于获取当前的监控事件在指定历史时间区间内的历史发生数据，所述历史发生数据包括所述监控事件的历史发生时间信息；
模型构建模块520，用于根据所述历史发生时间信息构建高斯过程回归模型；
发生频率确定模块530，用于根据所述高斯过程回归模型，确定所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，其中，所述发生频率服从泊松分布；
频率曲线生成模块540，用于根据所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，生成针对所述监控事件的时变频率曲线，所述时变频率曲线用于反映所述监控事件的发生频率随着时间变化的变化情况。
在一种实施方式中，所述发生频率确定模块530进一步可以包括如下子模块：
瞬时发生强度确定子模块，用于将所述指定历史时间区间内的各单位时间点输入至所述高斯过程回归模型，并获得所述高斯过程回归模型针对各单位时间点输出的瞬时发生强度，所述瞬时发生强度为当前单位时间点发生所述监控事件的频率；
平均发生强度确定子模块，用于根据所述历史发生数据，确定所述监控事件在所述指定历史时间区间内各单位时间点的平均发生强度；
单位时间点发生频率确定子模块，用于针对各单位时间点，根据当前单位时间点的瞬时发生强度以及所述平均发生强度，确定所述监控事件在该单位时间点发生的发生频率。
在一种实施方式中，所述平均发生强度确定子模块具体用于：
计算所述指定历史时间区间内的单位时间点的第一数量；
计算所述监控事件在所述指定历史时间区间内发生的第二数量；
将所述第一数量与所述第二数量的比值，作为所述平均发生强度。
在一种实施方式中，所述单位时间点发生频率确定子模块具体用于：
采用预设的指数函数将当前单位时间点的所述瞬时发生强度映射为正实数；
计算正实数的瞬时发生强度与所述平均发生强度的乘积，作为所述监控事件在该单位时间点发生的发生频率。
在一种实施方式中，所述历史发生时间信息为经过归一化处理后的时间信息。
在一种实施方式中，所述模型构建模块520具体用于：
将所述历史发生时间信息作为样本集，采用共轭梯度法最小化所述样本集的对数似然度，得到最优超参数，并根据所述最优超参数确定高斯过程回归模型；
根据所述高斯过程回归模型，确定对应的后验数学期望函数以及后验协方差函数，以确定后验分布概率。
在一种实施方式中，所述装置还包括：
曲线发送模块，用于将所述时变频率曲线发送至下游任务，由所述下游根据所述时变频率曲线确定当前监控事件的高频发区间。
需要说明的是，本申请实施例所提供的上述事件监控装置可执行本申请实施例一所提供的事件监控方法，具备执行方法相应的功能模块和有益效果。
实施例三
图6为本申请实施例三提供的一种电子设备的结构示意图，如图6所示，该电子设备包括处理器610、存储器620、输入装置630和输出装置640；电子设备中处理器610的数量可以是一个或多个，图6中以一个处理器610为例；电子设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的方法。
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区
可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
实施例四
本申请实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由服务器的处理器执行时用于执行实施例一中任一实施例中的方法。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (10)
1.一种事件监控方法，其特征在于，所述方法包括：
获取当前的监控事件在指定历史时间区间内的历史发生数据，所述历史发生数据包括所述监控事件的历史发生时间信息；
根据所述历史发生时间信息构建高斯过程回归模型；
根据所述高斯过程回归模型，确定所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，其中，所述发生频率服从泊松分布；
根据所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，生成针对所述监控事件的时变频率曲线，所述时变频率曲线用于反映所述监控事件的发生频率随着时间变化的变化情况。
2.根据权利要求1所述的方法，其特征在于，所述根据所述高斯过程回归模型，确定所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，包括：
将所述指定历史时间区间内的各单位时间点输入至所述高斯过程回归模型，并获得所述高斯过程回归模型针对各单位时间点输出的瞬时发生强度，所述瞬时发生强度为当前单位时间点发生所述监控事件的频率；
根据所述历史发生数据，确定所述监控事件在所述指定历史时间区间内各单位时间点的平均发生强度；
针对各单位时间点，根据当前单位时间点的瞬时发生强度以及所述平均发生强度，确定所述监控事件在该单位时间点发生的发生频率。
3.根据权利要求2所述的方法，其特征在于，所述根据所述历史发生数据，确定所述监控事件在所述指定历史时间区间内各单位时间点的平均发生强度，包括：
计算所述指定历史时间区间内的单位时间点的第一数量；
计算所述监控事件在所述指定历史时间区间内发生的第二数量；
将所述第一数量与所述第二数量的比值，作为所述平均发生强度。
4.根据权利要求2或3所述的方法，其特征在于，所述针对各单位时间点，根据当前单位时间点的瞬时发生强度以及所述平均发生强度，确定所述监控事件在该单位时间点发生的发生频率，包括：
采用预设的指数函数将当前单位时间点的所述瞬时发生强度映射为正实数；
计算正实数的瞬时发生强度与所述平均发生强度的乘积，作为所述监控事件在该单位时间点发生的发生频率。
5.根据权利要求1所述的方法，其特征在于，所述历史发生时间信息为经过归一化处理后的时间信息。
6.根据权利要求1或2或3或5所述的方法，其特征在于，所述根据所述历史发生时间信息构建高斯过程回归模型，包括：
将所述历史发生时间信息作为样本集，采用共轭梯度法最小化所述样本集的对数似然度，得到最优超参数，并根据所述最优超参数确定高斯过程回归模型；
根据所述高斯过程回归模型，确定对应的后验数学期望函数以及后验协方差函数，以确定后验分布概率。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述时变频率曲线发送至下游任务，由所述下游根据所述时变频率曲线确定当前监控事件的高频发区间。
8.一种事件监控装置，其特征在于，所述装置包括：
历史数据获取模块，用于获取当前的监控事件在指定历史时间区间内的历史发生数据，所述历史发生数据包括所述监控事件的历史发生时间信息；
模型构建模块，用于根据所述历史发生时间信息构建高斯过程回归模型；
发生频率确定模块，用于根据所述高斯过程回归模型，确定所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，其中，所述发生频率服从泊松分布；
频率曲线生成模块，用于根据所述指定历史时间区间内的各单位时间点发生所述监控事件的发生频率，生成针对所述监控事件的时变频率曲线，所述时变频率曲线用于反映所述监控事件的发生频率随着时间变化的变化情况。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011611537.3A CN112732519A (zh) | 2020-12-30 | 2020-12-30 | 一种事件监控方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011611537.3A CN112732519A (zh) | 2020-12-30 | 2020-12-30 | 一种事件监控方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112732519A true CN112732519A (zh) | 2021-04-30 |
Family
ID=75610220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011611537.3A Pending CN112732519A (zh) | 2020-12-30 | 2020-12-30 | 一种事件监控方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112732519A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114138617A (zh) * | 2022-02-07 | 2022-03-04 | 杭州朗澈科技有限公司 | 自学习的变频监控方法、系统、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109615860A (zh) * | 2018-12-26 | 2019-04-12 | 银江股份有限公司 | 一种基于非参数贝叶斯框架的信号交叉口状态估计方法 |
| CN109978201A (zh) * | 2017-12-27 | 2019-07-05 | 深圳市景程信息科技有限公司 | 基于高斯过程分位数回归模型的概率负荷预测系统及方法 |
-
2020
- 2020-12-30 CN CN202011611537.3A patent/CN112732519A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978201A (zh) * | 2017-12-27 | 2019-07-05 | 深圳市景程信息科技有限公司 | 基于高斯过程分位数回归模型的概率负荷预测系统及方法 |
| CN109615860A (zh) * | 2018-12-26 | 2019-04-12 | 银江股份有限公司 | 一种基于非参数贝叶斯框架的信号交叉口状态估计方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114138617A (zh) * | 2022-02-07 | 2022-03-04 | 杭州朗澈科技有限公司 | 自学习的变频监控方法、系统、电子设备和存储介质 |
| CN114138617B (zh) * | 2022-02-07 | 2022-05-24 | 杭州朗澈科技有限公司 | 自学习的变频监控方法、系统、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6609050B2 (ja) | 時間的因果グラフにおける異常フュージョン | |
| CN104350471B (zh) | 在处理环境中实时地检测异常的方法和系统 | |
| CN110428018A (zh) | 一种全链路监控系统中的异常预测方法及装置 | |
| CN107403188A (zh) | 一种水质评价方法及装置 | |
| CN112114986A (zh) | 数据异常识别方法、装置、服务器和存储介质 | |
| CN111123223A (zh) | 用于雷达健康管理的通用开发平台、管理系统及方法 | |
| CN117041017A (zh) | 数据中心的智能运维管理方法及系统 | |
| JP2003044123A (ja) | プラント診断装置 | |
| CN110909005B (zh) | 一种模型特征分析方法、装置、设备及介质 | |
| CN112732519A (zh) | 一种事件监控方法及装置 | |
| CN112269937B (zh) | 一种计算用户相似度的方法、系统及装置 | |
| CN114155048A (zh) | 关联业务预测的方法、装置、电子设备及存储介质 | |
| CN112733015B (zh) | 一种用户行为分析方法、装置、设备及介质 | |
| CN111815442B (zh) | 一种链接预测的方法、装置和电子设备 | |
| CN112308099B (zh) | 样本特征重要性的确定方法、分类模型的训练方法及装置 | |
| CN113064812A (zh) | 一种项目开发过程质量缺陷预测方法、装置及介质 | |
| JP4823258B2 (ja) | 通信帯域算出方法、装置、およびトラヒック管理方法 | |
| CN112907124A (zh) | 一种数据链路异常评测方法、装置、电子设备及存储介质 | |
| CN114450645A (zh) | 智能过程异常检测和趋势预估系统 | |
| CN112163943A (zh) | 违约概率的确定方法、装置、设备和介质 | |
| WO2022149372A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN113269431B (zh) | 库存风险预测方法、设备、介质及计算机程序产品 | |
| CN118175065B (zh) | 一种设备端口安全报警系统 | |
| CN113194298B (zh) | 实现非智能相机图像结构化的方法、装置、系统及介质 | |
| Leal et al. | Nearest-neighborhood linear regression in an application with software effort estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |