具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书一个或多个实施例。但是本说明书一个或多个实施例能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书一个或多个实施例内涵的情况下做类似推广,因此本说明书一个或多个实施例不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本说明书一个或多个实施例中,提供了一种数据处理方法及装置、计算设备和计算机可读存储介质,在下面的实施例中逐一进行详细说明。
首先,对本说明书一个或多个实施例中涉及的术语进行说明。
特征:要完成一次业务请求,后台系统需进行多次函数调用,每次函数调用都是给定几个输入参数,函数返回一个输出参数。输入参数和输出参数合在一起简称为出入参。
异动:系统发生了不符合历史规律的变化。注意异动和异常的区别,异常一定是出了问题(是由人工分析确认的),而异动仅仅是发生了不符合历史规律的变化。异常一定是异动,而异动不一定是异常。例如:新业务上线,是异动但是不是异常。
(参数级别)根因:发生异动的本质原因,参数级别根因指找出是哪个参数发生变化引起的本次异动报警。
共性根因:很多函数调用都是由同一个根因引起的,该根因称为共性根因。
图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接,数据库150用于保存数据,网络160用于接收数据库150存储的数据。
计算设备100还包括接入设备140,接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图1所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备100可以包括任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备100还可以包括移动式或静止式的服务器。
其中,处理器120可以执行图2所示方法中的步骤。图2是示出了根据本说明书一个或多个实施例的数据处理方法的示意性流程图,包括步骤202至步骤210:
202、检测到系统异动的情况下,获取所述系统中发生异动前T个时刻内的业务请求对应的特征,所述特征包括业务请求的输入参数和输出参数;其中,T≥2且为正整数。
需要说明的是,本实施例中所述的发生异动前T个时刻,包括发生异动的时刻,也即,第T个时刻为发生异动的时刻。
其中,T的数目可以根据实际需求来确定,例如取T为3。那么,T个时刻包括:时刻T、时刻T-1、时刻T-2。
以异动时刻为2017年9月12日22点35分00秒为例,那么本步骤中,T-1时刻为2017年9月12日22点34分00秒,T-2时刻为2017年9月12日22点33分00秒。
本实施例中,业务请求可以包括多种,例如可以为线下扫码支付、手机淘宝支付等。
204、将所述T个时刻内所有业务请求中的重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集。
需要说明的是,重复率大于等于第一阈值的输入参数或输出参数,为本说明书一个或多个实施例中提及的共性根因。对于非共性根因,本实施例中需要过滤掉,生成一维待处理特征集。
参见图3,图3为本实施例中一维待处理特征集的生成图。由图中可见,一维待处理特征集包括每个时刻对应的输入参数、输出参数以及频次。
206、计算所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重。
其中,本步骤206包括:获取所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内出现的时刻个数,计算每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重。
本步骤中,可以根据每个时刻出现的输入参数和输出参数,进而统计得到每个所述输入参数或输出参数出现的时刻个数。注意:每个输入参数或输出参数出现的时刻个数小于等于T。
例如,第1个时刻的输入参数为(a,b,c),输出参数为(d),第2个时刻的输入参数为(a,b,e),输出参数为(d)。如果参数为a,那么该参数出现的时刻个数为2;如果参数为c,,那么该参数出现的时刻个数为1。
具体地,所述衰减权重通过以下公式(1)计算:
其中,Y1代表所述一维待处理特征集内的输入参数或输出参数的衰减权重;
T代表发生异动前的时刻个数;
t1代表所述一维待处理特征集内的每个时刻;
ft1代表所述一维待处理特征集内的输入参数或输出参数;
count(ft1)代表在所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内出现的时刻个数。
208、根据每个输入参数或输出参数的衰减权重得到对应的引发异动程度。
其中,本步骤208包括:获取每个所述输入参数或输出参数的在第T个时刻内出现的频次以及第T个时刻内的特征出现的总频次,并根据每个所述输入参数或输出参数的衰减权重,计算得到对应的引发异动程度。
需要说明的是,频次即业务请求次数,频次和时刻个数不同,每个时刻的特征出现的频次大于等于1,也即,在一个时刻内的业务请求次数大于等于1。
具体地,所述引发异动程度通过以下公式(2)计算:
C1=Y1*(f1/F) (2)
其中,C1代表每个所述输入参数或输出参数的引发异动程度;
Y1代表每个所述输入参数或输出参数的衰减权重;
f1代表每个所述输入参数或输出参数的在在第T个时刻内出现的频次;
F代表第T个时刻内的特征出现的总频次。
210、输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
其中,步骤210包括:根据预设的排序函数输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
第二阈值可以自行设置,例如设置第二阈值为0.1。
本实施例中,以插件的形式提供排序函数,从而可以动态调整输出结果。
本说明书提供的数据处理方法,通过获取系统中发生异动前T个时刻内的业务请求的输入参数和输出参数,将重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集,再计算得到一维待处理特征集中每个输入参数或输出参数的引发异动程度,输出引发异动程度大于等于第二阈值的输入参数或输出参数,从而提升查询效率,缩短系统恢复正常的时间。
本说明书一个实施例中公开了一种数据处理方法,参见图4,包括下述步骤402~418。
其中,步骤402~410与上述实施例的步骤202~210一致,在此便不再赘述。除去步骤402~410,本实施例的数据处理方法还包括:
412、将所述引发异动程度大于等于第二阈值的所述输入参数和/或输出参数中的任意N个进行组合得到参数组,并将所述参数组生成M维待处理特征集;其中,N≥2且为正整数。
以N=2为例,那么二维待处理特征集包括至少一个参数组,每个参数组包括两个输入参数和/或输出参数。
414、计算所述M维待处理特征集内的每个所述参数组在所述T-1个时刻内的衰减权重。
本步骤414中,具体包括:获取所述M维待处理特征集内的每个参数组在所述一维待处理特征集内的所述T-1个时刻内出现的时刻个数,进而计算每个所述参数组在所述T-1个时刻内的衰减权重。
需要注意的是,每个参数组需要在一个时刻内均出现,才可以将该时刻作为参数组出现的时刻。例如,第1个时刻的输入参数为(a,b,c),输出参数为(d),第2个时刻的输入参数为(a,b,e),输出参数为(d)。如果参数组为(a,b),那么该参数组出现的时刻个数为2;如果参数组为(c,e),由于该两个参数并未出现在同一时刻,那么该参数组出现的时刻个数为0。
由于一维待处理特征集对应的时刻个数为T,那么每个参数组出现的时刻个数小于等于T。
具体地,每个参数组的衰减权重通过以下公式(4)计算:
其中,Y2代表所述M维待处理特征集内的参数组的衰减权重;
T代表发生异动前的时刻个数;
t2代表所述M维待处理特征集内的每个时刻;
ft2代表所述M维待处理特征集内的参数组;
count(ft2)代表在所述M维待处理特征集内的每个所述参数组在所述一维待处理特征集内的T-1个时刻内出现的时刻个数。
416、根据每个所述参数组的衰减权重得到对应的引发异动程度。
步骤416中,根据每个所述参数组的衰减权重得到对应的引发异动程度,包括:获取每个所述参数组在第T个时刻内出现的频次以及第T个时刻内的特征出现的总频次,并根据每个所述参数组的衰减权重,计算得到对应的引发异动程度。
所述引发异动程度通过以下公式(4)计算:
C2=Y2*(f2/F) (4)
其中,C2代表每个所述参数组的引发异动程度;
Y2代表每个所述参数组的衰减权重;
f2代表每个所述参数组在第T个时刻内出现的频次;
F代表第T个时刻内的特征出现的总频次。
418、输出引发异动程度大于等于第二阈值的所述参数组。
其中,参数组的输出为根据预设的排序函数输出引发异动程度大于等于第二阈值的所述参数组。
第二阈值可以自行设置,例如设置第二阈值为0.1。
本说明书一实施例提供的数据处理方法,通过获取系统中发生异动前T个时刻内的业务请求的输入参数和输出参数,将重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集,再计算得到一维待处理特征集中每个输入参数或输出参数的引发异动程度,输出引发异动程度大于等于第二阈值的输入参数和/或输出参数,从而提升参数的查询效率,缩短系统恢复正常的时间。
另外,本说明书一实施例中,在得到引发异动程度大于等于第二阈值的输入参数和/或输出参数后,将此输入参数和/或输出参数中的任意N个进行组合得到参数组,进一步计算参数组的引发异动程度,最后输出引发异动程度大于等于第二阈值的参数组,从而提升参数的查询效率的同时,还可以提高参数的查询精度。
参见图5,图5为本说明书一实施例的数据处理方法的具体应用示意图,具体包括:
b)在检测到系统异动的情况下,获取所述系统中发生异动前T个时刻内的业务请求对应的出入参数502;
d)根据线上算法参数504,将前T个时刻内所有业务请求中的重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集;
本实施例中,线上算法参数504包括第一阈值,通过该线上算法参数进行过滤,得到过滤后的一维待处理特征集。
f)将一维待处理特征集输入至异动共性根因挖掘引擎506,异动共性根因挖掘引擎506对一维待处理特征集进行衰减权重的计算。
本实施例中,异动共性根因挖掘引擎506可以将一维待处理特征集传输至ODPS离线计算平台508进行衰减权重的计算。
其中,衰减权重的计算可以通过上述公式(1)求得。
h)异动共性根因挖掘引擎506根据每个所述输入参数或输出参数的衰减权重得到对应的引发异动程度。
其中,引发异动程度可以通过上述公式(2)求得。
j)将所述引发异动程度大于等于第二阈值的所述输入参数和/或输出参数中的任意N个进行组合得到参数组,并将所述参数组生成M维待处理特征集;其中,N≥2且为正整数。
l)异动共性根因挖掘引擎506计算所述M维待处理特征集内的每个所述参数组的衰减权重。
本实施例中,异动共性根因挖掘引擎506可以将M维待处理特征集传输至ODPS离线计算平台508进行衰减权重的计算。
其中,衰减权重的计算可以通过上述公式(3)求得。
n)异动共性根因挖掘引擎506根据每个所述参数组的衰减权重得到对应的引发异动程度。
其中,引发异动程度可以通过上述公式(4)求得。
p)异动共性根因挖掘引擎506输出挖掘结果510。
所述挖掘结果510为引发异动程度大于等于第二阈值的输入参数和/或输出参数、以及参数组。
异动共性根因挖掘引擎506根据预设的排序函数512输出挖掘结果510。
参见图6,图6为本说明书一实施例的出入参变化的示意图。其中,外面的圆圈、节点之间的边表示圆圈内的出入参属于一类业务。N表示出入参对应的频次。
需要注意的是,时刻具有等间隔的时间点。如果以分钟为单元,T-2时刻是2018年2月22日21点20分00秒,那么T-1时刻则是2018年2月22日21点21分00秒,T时刻则是2018年2月22日21点22分00秒。
由图中可见,白色表示参数发生了变化。在T时刻,参数a变为a’,参数c变为c’。
特征a的衰减权重计算:
1)count(ft=a)=3,在T-2时刻、T-1时刻均出现过。
2)T表示时刻个数,为3。
3)根据上述公式(2),计算a的衰减权重=1–(2/2)=0,也就是说不管a频次有多高,由于其周期性正常,a的衰减权重为0。
特征a’的衰减计算:
1)count(ft=a’)=0,在T-2时刻、T-1时刻均未出现过。
2)T表示时刻个数,为3。
3)a’的衰减权重=1–(0/2)=1,也就是a’不会衰减。
a和a’是两种极端的状态,其余情况均位于这两者之间,而任何特征的衰减权重均位于0到1之间。
参见图7,图7为挖掘结果的输出过程图。图7以一维待处理特征集和二维待处理特征集为例进行示例性的说明。具体的数据处理方法参见前述实施例,在此便不再赘述。
由图7中可见,最终输出的挖掘结果包括a’、c’、(a’,c’),以及各个参数或参数组的引发异动程度和引发异动概率。通过此种方式,在发生异动时,可以快速查找到引起异动的参数,从而提升参数的查询效率,缩短系统恢复正常的时间。
本说明书一实施例还提供一种数据处理装置,参见图8,所述装置包括:
获取模块802,被配置为检测到系统异动的情况下,获取所述系统中发生异动前T个时刻内的业务请求对应的特征,所述特征包括业务请求的输入参数和输出参数;其中,T≥2且为正整数;
过滤模块804,被配置为将所述T个时刻内所有业务请求中的重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集;
第一衰减权重计算模块806,被配置为计算所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重;
第一异动程度计算模块808,被配置为根据每个所述输入参数或输出参数的衰减权重得到对应的引发异动程度;
第一输出模块810,被配置为输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
可选地,所述第一衰减权重计算模块806被配置为获取所述一维待处理特征集内的每个所述输入参数或输出参数在所述T-1个时刻内出现的时刻个数,计算每个所述输入参数或输出参数在所述T-1个时刻内的衰减权重。
可选地,所述一维待处理特征集包括每个时刻对应的输入参数、输出参数以及频次;所述第一异动程度计算模块808被配置为获取每个所述输入参数或输出参数的在第T个时刻内出现的频次以及第T个时刻内的特征出现的总频次,并根据每个所述输入参数或输出参数的衰减权重,计算得到对应的引发异动程度。
可选地,所述第一输出模块810被配置为根据预设的排序函数输出引发异动程度大于等于第二阈值的所述输入参数和/或输出参数。
可选地,本实施例的数据处理装置还包括:
组合模块812,被配置为将所述引发异动程度大于等于第二阈值的所述输入参数和/或输出参数中的任意N个进行组合得到参数组,并将所述参数组生成M维待处理特征集;其中,N≥2且为正整数;
第二衰减权重计算模块814,被配置为计算所述M维待处理特征集内的每个所述参数组在所述T-1个时刻内的衰减权重;
第二异动程度计算模块816,被配置为根据每个所述参数组的衰减权重得到对应的引发异动程度;
第二输出模块818,被配置为输出引发异动程度大于等于第二阈值的所述参数组。
可选地,所述第二衰减权重计算模块814被配置为获取所述M维待处理特征集内的每个参数组在所述一维待处理特征集内的所述T-1个时刻内出现的时刻个数,进而计算每个所述参数组在所述T-1个时刻内的衰减权重。
可选地,所述第二异动程度计算模块816被配置为获取每个所述参数组在第T个时刻内出现的频次以及第T个时刻内的特征出现的总频次,并根据每个所述参数组的衰减权重,计算得到对应的引发异动程度。
可选地,所述第二输出模块818被配置为根据预设的排序函数输出引发异动程度大于等于第二阈值的参数组。
本说明书一实施例提供的数据处理装置,通过获取系统中发生异动前T个时刻内的业务请求的输入参数和输出参数,将重复率小于第一阈值的输入参数或输出参数过滤,得到过滤后的一维待处理特征集,再计算得到一维待处理特征集中每个输入参数或输出参数的引发异动程度,输出引发异动程度大于等于第二阈值的输入参数和/或输出参数,从而提升参数的查询效率,缩短系统恢复正常的时间。
另外,本说明书一实施例提供的数据处理装置在得到引发异动程度大于等于第二阈值的输入参数和/或输出参数后,将此输入参数和/或输出参数中的任意N个进行组合得到参数组,进一步计算参数组的引发异动程度,最后输出引发异动程度大于等于第二阈值的参数组,从而提升参数的查询效率的同时,还可以提高参数的查询精度。
上述为本实施例的一种数据处理装置的示意性方案。需要说明的是,该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思,数据处理装置的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如前所述数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。