CN109213965A - 一种系统容量预测方法、计算机可读存储介质及终端设备 - Google Patents
一种系统容量预测方法、计算机可读存储介质及终端设备 Download PDFInfo
- Publication number
- CN109213965A CN109213965A CN201810868945.3A CN201810868945A CN109213965A CN 109213965 A CN109213965 A CN 109213965A CN 201810868945 A CN201810868945 A CN 201810868945A CN 109213965 A CN109213965 A CN 109213965A
- Authority
- CN
- China
- Prior art keywords
- sample
- value
- nth
- regression
- equal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 36
- 238000000611 regression analysis Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 12
- 238000007405 data analysis Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Operations Research (AREA)
- Computer Hardware Design (AREA)
- Algebra (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明属于计算机技术领域,尤其涉及一种基于人工智能的系统容量预测方法、计算机可读存储介质及终端设备。所述方法根据系统历史记录数据构造样本集合,其中,所述样本集合中的每个样本均包括系统吞吐量以及各个系统资源的使用量;分别以各个系统资源的使用量为分析维度对所述样本集合进行回归分析,并计算各个分析维度的回归误差;选取回归误差最小的系统资源作为目标系统资源,并根据所述样本集合中各个样本的目标系统资源的使用量以及系统吞吐量计算系统容量。通过本发明,采用系统历史记录数据分析的方式取代了现有技术中的压力测试方式,仅需采集足够的系统历史记录数据即可进行系统容量的预测,极大减少了成本。
Description
技术领域
本发明属于计算机技术领域,尤其涉及一种系统容量预测方法、计算机可读存储介质及终端设备。
背景技术
要知道一个系统的容量,也即其对业务请求的最大吞吐量,目前一般是通过对该系统进行压力测试实现的,即模拟出大量的业务请求对系统进行测试,试探其极限能力,这样的压力测试每次都会投入巨大的人力、物力和时间,成本消耗极大。
发明内容
有鉴于此,本发明实施例提供了一种系统容量预测方法、计算机可读存储介质及终端设备,以解决通过压力测试对系统容量进行预测时需投入巨大的人力、时间和各种配套资源,成本消耗极大的问题。
本发明实施例的第一方面提供了一种系统容量预测方法,可以包括:
根据系统历史记录数据构造样本集合,其中,所述样本集合中的每个样本均包括系统吞吐量以及各个系统资源的使用量;
分别以各个系统资源的使用量为分析维度对所述样本集合进行回归分析,并计算各个分析维度的回归误差,所述回归误差为各个样本中系统吞吐量的取值与系统吞吐量的回归值之间的偏差程度;
选取回归误差最小的系统资源作为目标系统资源,并根据所述样本集合中各个样本的目标系统资源的使用量以及系统吞吐量计算系统容量。
本发明实施例的第二方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如下步骤:
根据系统历史记录数据构造样本集合,其中,所述样本集合中的每个样本均包括系统吞吐量以及各个系统资源的使用量;
分别以各个系统资源的使用量为分析维度对所述样本集合进行回归分析,并计算各个分析维度的回归误差,所述回归误差为各个样本中系统吞吐量的取值与系统吞吐量的回归值之间的偏差程度;
选取回归误差最小的系统资源作为目标系统资源,并根据所述样本集合中各个样本的目标系统资源的使用量以及系统吞吐量计算系统容量。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现如下步骤:
根据系统历史记录数据构造样本集合,其中,所述样本集合中的每个样本均包括系统吞吐量以及各个系统资源的使用量;
分别以各个系统资源的使用量为分析维度对所述样本集合进行回归分析,并计算各个分析维度的回归误差,所述回归误差为各个样本中系统吞吐量的取值与系统吞吐量的回归值之间的偏差程度;
选取回归误差最小的系统资源作为目标系统资源,并根据所述样本集合中各个样本的目标系统资源的使用量以及系统吞吐量计算系统容量。
本发明实施例与现有技术相比存在的有益效果是:本发明实施例不是通过压力测试的方式,而是通过对系统历史记录数据的分析来对系统容量进行预测,首先采集历史记录数据中的系统吞吐量以及各个系统资源的使用量这些数据,以这些数据样本作为系统容量预测的基础数据,然后通过各个分析维度的回归分析,选取出回归误差最小的系统资源,回归误差越小,则说明该系统资源对系统容量的影响越大,可以将该系统资源的使用量作为系统容量预测的依据,从而计算出系统容量。通过本实施例,采用系统历史记录数据分析的方式取代了现有技术中的压力测试方式,仅需采集足够的系统历史记录数据即可进行系统容量的预测,节省了大量的的人力、物力和时间,极大减少了成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例中一种系统容量预测方法的一个实施例流程图;
图2为本发明实施例中一种系统容量预测方法的步骤S101在一个应用场景下的示意流程图;
图3为本发明实施例中一种系统容量预测方法的步骤S102在一个应用场景下的示意流程图;
图4为本发明实施例中一种系统容量预测装置的一个实施例结构图;
图5为本发明实施例中一种终端设备的示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例中一种系统容量预测方法的一个实施例可以包括:
步骤S101、根据系统历史记录数据构造样本集合。
其中,所述样本集合中的每个样本均包括系统吞吐量以及各个系统资源的使用量。
在本实施例中,可以使用每秒查询率(Query Per Second,QPS),即系统在1秒的时间内处理了多少个请求,作为系统吞吐量的衡量指标。
对于较少依赖于外部系统及数据库的业务而言,系统自身的系统资源是限制其系统容量的主要因素。这些系统资源包括但不限于:CPU、内存、I/O、磁盘、网卡等。
如图2所示,步骤S101具体可以包括:
步骤S1011、确定对所述系统历史记录数据进行采样的标准采样周期。
由于对于不同的系统资源的使用量而言,在所述系统历史记录数据中的采样周期可能各不相同,例如,CPU的使用量可能是每分钟进行一次采样,内存的使用量可能是每半分钟进行一次采样,磁盘的使用量可能是每两分钟进行一次采样,……,为了将其置于同一时间维度下进行分析,本方案对各个系统资源的使用量的采样周期取最小公倍数作为归一化后的标准采样周期:
具体地,可以根据下式确定对所述系统历史记录数据进行采样的标准采样周期:
T=LCM(SamplePeriod1,SamplePeriod2,...,SamplePeriodn,...,SamplePeriodN)
其中,SamplePeriodn为在所述系统历史记录数据中第n个系统资源的使用量的采样周期,LCM为最小公倍数函数,T为所述标准采样周期。
可选地,T的取值也可以根据实际情况进行设置,例如,可以将其设置为两分钟,也即把两分钟作为各个系统资源的使用量共同的采样粒度。
步骤S1012、每隔一个标准采样周期,从所述系统历史记录数据中采集一个样本。
每个样本中各个系统资源的使用量可以根据下式进行计算:
其中,Sn为在一个标准采样周期内第n个系统资源的使用量的采样次数,且s为采样次数的序号,1≤s≤Sn,为在一个标准采样周期内第n个系统资源的使用量的第s个采样值,SpResn为一个标准采样周期的样本中第n个系统资源的使用量。
类似地,每个样本中的系统吞吐量可用根据下式进行计算:
其中,S为在一个标准采样周期内系统吞吐量的采样次数,且s为采样次数的序号,1≤s≤S,SpQPS(s)为在一个标准采样周期内系统吞吐量的第s个采样值,SpQPS为一个标准采样周期的样本中的系统吞吐量。
步骤S1013、将从所述系统历史记录数据中采集的各个样本构造为所述样本集合。
可选地,在组成样本集合之后,为了方便数据处理,保证后续处理时收敛加快,还可以对样本集合中的各个样本进行数据归一化处理,将其中各个系统资源的使用量均表示在[0,1]的范围内。
进一步地,还可以采用主成分分析法从各个系统资源的使用量中提取系统容量预测所需的特征数据,去掉与系统容量预测无关的干扰特征。也即从各个系统资源的使用量中只选取对系统容量预测影响最大的若干个系统资源的使用量,而将其它对系统容量预测影响较为微小的系统资源的使用量剔除掉,从而减小后续过程总体的计算量。
步骤S102、分别以各个系统资源的使用量为分析维度对所述样本集合进行回归分析,并计算各个分析维度的回归误差。
所述回归误差为各个样本中系统吞吐量的取值与系统吞吐量的回归值之间的偏差程度。
如图3所示,步骤S102具体可以包括下述的基于人工智能的分析过程:
步骤S1021、从第n个属性值集合中选取第m个取值作为阈值对所述样本集合进行回归分析。
具体地,将所述样本集合中第n个系统资源的使用量的取值大于所述阈值的样本确定为第一样本,将所述样本集合中第n个系统资源的使用量的取值小于或等于所述阈值的样本确定为第二样本,所述第n个属性值集合为由第n个系统资源的使用量在所述样本集合中的各个取值组成的集合,其中,1≤n≤N,N为系统资源的总个数,1≤m≤Mn,Mn为第n个属性值集合中的元素总数;
步骤S1022、计算第n个属性值集合中的第m个取值的回归误差。
具体地,可以根据下式计算第n个属性值集合中的第m个取值的回归误差:
其中,fn为所述第一样本的序号,1≤fn≤FstSpN,FstSpN为所述第一样本的数目,FQPSfn为第fn个第一样本中系统吞吐量的取值,RegFQPS为第一样本中系统吞吐量的回归值,且sn为所述第二样本的序号,1≤sn≤SndSpN,SndSpN为所述第二样本的数目,且FstSpN+SndSpN=TotalN,TotalN为所述样本集合中的样本总数,SQPSsn为第sn个第二样本中系统吞吐量的取值,RegSQPS为第二样本中系统吞吐量的回归值,且
根据以上方法,遍历第n个属性值集合中的各个取值,即可得到第n个属性值集合中的各个取值的回归误差。
步骤S1023、计算第n个分析维度的回归误差。
具体地,可以根据下式计算第n个分析维度的回归误差:
其中,RegErrn,m为第n个属性值集合中的第m个取值的回归误差,min为求最小值函数,RegErrn为第n个分析维度的回归误差。
根据以上方法,遍历各个分析维度(分别以各个系统资源的使用量为分析维度),即可得到各个分析维度的回归误差。
步骤S103、选取回归误差最小的系统资源作为目标系统资源,并根据所述样本集合中各个样本的目标系统资源的使用量以及系统吞吐量计算系统容量。
具体地,可以根据下式计算所述系统容量:
其中,tn为所述样本集合中各个样本的序号,1≤tn≤TotalN,TotalN为所述样本集合中的样本总数,Restn为所述样本集合中第tn个样本的目标系统资源的使用量,QPStn为所述样本集合中第tn个样本的系统吞吐量,MaxRes为所述目标系统资源的总量,MaxQPS为所述系统容量。
需要注意的是,图1所示的过程针对的是较少依赖于外部系统及数据库的业务,而对于第三方调用消耗型,即较多依赖于外部系统或者数据库的业务而言,系统自身的系统资源并不是限制其系统容量的主要因素,而外部系统或者数据库的系统容量则是限制该系统的系统容量的主要因素。对于这种第三方调用消耗型的业务而言,可以通过历史的第三方调用记录确定每次第三方调用的平均消耗时间,将其记为AvT(单位:ms),然后分5种具体场景进行分析:
场景1、业务的第三方调用只有一个单数据库,使用配置的数据库最大连接数K作为参数计算:
场景2、业务的第三方调用为多个数据库,如数据库1最大连接数为K1、第三方调用的平均消耗时间为AvT1,数据库2最大连接数为K2、第三方调用的平均消耗时间为AvT2,……,数据库dn最大连接数为Kdn、第三方调用的平均消耗时间为AvTdn,……,数据库DN最大连接数为KDN、第三方调用的平均消耗时间为AvTDN,1≤dn≤DN,DN为数据库的总数,则:
场景3、业务的第三方调用只有一个下游单系统,计算此下游单系统的系统容量MaxQPS′,使用配置的此下游单系统最大连接K作为参数计算:
则MaxQPS=min(MaxQPS′,MaxQPS″)。
场景4、业务的第三方调用为多个下游系统,分别将其视为场景3中的单系统进行计算,如下游系统1计算的值为QPS1,下游系统2计算的值为QPS2,……,下游系统sn计算的值为QPSsn,……,下游系统SN计算的值为QPSSN,根据历史的第三方调用记录确定各个下游系统的调用消耗占比分别为W1、W2、……,Wsn,……,WSN,1≤sn≤SN,SN为数据库的总数,则:
MaxQPS=min(W1×QPS1,W2×QPS2,......,Wsn×QPSsn,......,WSN×QPSSN)。
场景5、业务的第三方调用为多个下游系统及多个数据库,如数据库1最大连接数为K1、第三方调用的平均消耗时间为AvT1,数据库2最大连接数为K2、第三方调用的平均消耗时间为AvT2,……,数据库dn最大连接数为Kdn、第三方调用的平均消耗时间为AvTdn,……,数据库DN最大连接数为KDN、第三方调用的平均消耗时间为AvTDN,1≤dn≤DN,DN为数据库的总数。分别将各个下游系统视为场景3中的单系统进行计算,下游系统1计算的值为QPS1,下游系统2计算的值为QPS2,……,下游系统sn计算的值为QPSsn,……,下游系统SN计算的值为QPSSN,根据历史的第三方调用记录确定各个下游系统的调用消耗占比分别为W1、W2、……,Wsn,……,WSN,1≤sn≤SN,SN为数据库的总数,则:
MaxQPS=min(MaxQPS1,MaxQPS2)
其中,
MaxQPS2=min(W1×QPS1,W2×QPS2,......,Wsn×QPSsn,......,WSN×QPSSN)。
综上所述,本发明实施例不是通过压力测试的方式,而是通过对系统历史记录数据的分析来对系统容量进行预测,首先采集历史记录数据中的系统吞吐量以及各个系统资源的使用量这些数据,以这些数据样本作为系统容量预测的基础数据,然后通过各个分析维度的回归分析,选取出回归误差最小的系统资源,回归误差越小,则说明该系统资源对系统容量的影响越大,可以将该系统资源的使用量作为系统容量预测的依据,从而计算出系统容量。通过本实施例,采用系统历史记录数据分析的方式取代了现有技术中的压力测试方式,仅需采集足够的系统历史记录数据即可进行系统容量的预测,节省了大量的的人力、物力和时间,极大减少了成本。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的一种系统容量预测方法,图4示出了本发明实施例提供的一种系统容量预测装置的一个实施例结构图。
本实施例中,一种系统容量预测装置可以包括:
样本集合构造模块401,用于根据系统历史记录数据构造样本集合,其中,所述样本集合中的每个样本均包括系统吞吐量以及各个系统资源的使用量;
回归分析模块402,用于分别以各个系统资源的使用量为分析维度对所述样本集合进行回归分析,并计算各个分析维度的回归误差,所述回归误差为各个样本中系统吞吐量的取值与系统吞吐量的回归值之间的偏差程度;
系统容量计算模块403,用于选取回归误差最小的系统资源作为目标系统资源,并根据所述样本集合中各个样本的目标系统资源的使用量以及系统吞吐量计算系统容量。
进一步地,所述回归分析模块可以包括:
样本划分单元,用于从第n个属性值集合中选取第m个取值作为阈值,将所述样本集合中第n个系统资源的使用量的取值大于所述阈值的样本确定为第一样本,将所述样本集合中第n个系统资源的使用量的取值小于或等于所述阈值的样本确定为第二样本,所述第n个属性值集合为由第n个系统资源的使用量在所述样本集合中的各个取值组成的集合,其中,1≤n≤N,N为系统资源的总个数,1≤m≤Mn,Mn为第n个属性值集合中的元素总数;
回归误差计算单元,用于计算第n个属性值集合中的第m个取值的回归误差;
维度回归误差计算单元,用于根据下式计算第n个分析维度的回归误差:
其中,RegErrn,m为第n个属性值集合中的第m个取值的回归误差,min为求最小值函数,RegErrn为第n个分析维度的回归误差。
进一步地,所述回归误差计算单元可以包括:
回归误差计算子单元,用于根据下式计算第n个属性值集合中的第m个取值的回归误差:
其中,fn为所述第一样本的序号,1≤fn≤FstSpN,FstSpN为所述第一样本的数目,FQPSfn为第fn个第一样本中系统吞吐量的取值,RegFQPS为第一样本中系统吞吐量的回归值,且sn为所述第二样本的序号,1≤sn≤SndSpN,SndSpN为所述第二样本的数目,且FstSpN+SndSpN=TotalN,TotalN为所述样本集合中的样本总数,SQPSsn为第sn个第二样本中系统吞吐量的取值,RegSQPS为第二样本中系统吞吐量的回归值,且
进一步地,所述系统容量计算模块可以包括:
系统容量计算单元,用于根据下式计算所述系统容量:
其中,tn为所述样本集合中各个样本的序号,1≤tn≤TotalN,TotalN为所述样本集合中的样本总数,Restn为所述样本集合中第tn个样本的目标系统资源的使用量,QPStn为所述样本集合中第tn个样本的系统吞吐量,MaxRes为所述目标系统资源的总量,MaxQPS为所述系统容量。
进一步地,所述样本集合构造模块可以包括:
标准采样周期确定单元,用于根据下式确定对所述系统历史记录数据进行采样的标准采样周期:
T=LCM(SamplePeriod1,SamplePeriod2,...,SamplePeriodn,...,SamplePeriodN)
其中,SamplePeriodn为在所述系统历史记录数据中第n个系统资源的使用量的采样周期,LCM为最小公倍数函数,T为所述标准采样周期;
样本采集单元,用于每隔一个标准采样周期,从所述系统历史记录数据中采集一个样本,每个样本中各个系统资源的使用量根据下式进行计算:
其中,Sn为在一个标准采样周期内第n个系统资源的使用量的采样次数,且s为采样次数的序号,1≤s≤Sn,为在一个标准采样周期内第n个系统资源的使用量的第s个采样值,SpResn为一个标准采样周期的样本中第n个系统资源的使用量;
样本集合构造单元,用于将从所述系统历史记录数据中采集的各个样本构造为所述样本集合。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
图5示出了本发明实施例提供的一种终端设备的示意框图,为了便于说明,仅示出了与本发明实施例相关的部分。
在本实施例中,所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备5可包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机可读指令52,例如执行上述的系统容量预测方法的计算机可读指令。所述处理器50执行所述计算机可读指令52时实现上述各个系统容量预测方法实施例中的步骤,例如图1所示的步骤S101至S103。或者,所述处理器50执行所述计算机可读指令52时实现上述各装置实施例中各模块/单元的功能,例如图4所示模块401至403的功能。
示例性的,所述计算机可读指令52可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器51中,并由所述处理器50执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机可读指令52在所述终端设备5中的执行过程。
所述处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端设备5的内部存储单元,例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备,例如所述终端设备5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机可读指令以及所述终端设备5所需的其它指令和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种系统容量预测方法,其特征在于,包括:
根据系统历史记录数据构造样本集合,其中,所述样本集合中的每个样本均包括系统吞吐量以及各个系统资源的使用量;
分别以各个系统资源的使用量为分析维度对所述样本集合进行回归分析,并计算各个分析维度的回归误差,所述回归误差为各个样本中系统吞吐量的取值与系统吞吐量的回归值之间的偏差程度;
选取回归误差最小的系统资源作为目标系统资源,并根据所述样本集合中各个样本的目标系统资源的使用量以及系统吞吐量计算系统容量。
2.根据权利要求1所述的系统容量预测方法,其特征在于,所述分别以各个系统资源的使用量为分析维度对所述样本集合进行回归分析,并计算各个分析维度的回归误差包括:
从第n个属性值集合中选取第m个取值作为阈值,将所述样本集合中第n个系统资源的使用量的取值大于所述阈值的样本确定为第一样本,将所述样本集合中第n个系统资源的使用量的取值小于或等于所述阈值的样本确定为第二样本,所述第n个属性值集合为由第n个系统资源的使用量在所述样本集合中的各个取值组成的集合,其中,1≤n≤N,N为系统资源的总个数,1≤m≤Mn,Mn为第n个属性值集合中的元素总数;
计算第n个属性值集合中的第m个取值的回归误差;
根据下式计算第n个分析维度的回归误差:
其中,RegErrn,m为第n个属性值集合中的第m个取值的回归误差,min为求最小值函数,RegErrn为第n个分析维度的回归误差。
3.根据权利要求2所述的系统容量预测方法,其特征在于,所述计算第n个属性值集合中的第m个取值的回归误差包括:
根据下式计算第n个属性值集合中的第m个取值的回归误差:
其中,fn为所述第一样本的序号,1≤fn≤FstSpN,FstSpN为所述第一样本的数目,FQPSfn为第fn个第一样本中系统吞吐量的取值,RegFQPS为第一样本中系统吞吐量的回归值,且sn为所述第二样本的序号,1≤sn≤SndSpN,SndSpN为所述第二样本的数目,且FstSpN+SndSpN=TotalN,TotalN为所述样本集合中的样本总数,SQPSsn为第sn个第二样本中系统吞吐量的取值,RegSQPS为第二样本中系统吞吐量的回归值,且
4.根据权利要求1所述的系统容量预测方法,其特征在于,所述根据所述样本集合中各个样本的目标系统资源的使用量以及系统吞吐量计算系统容量包括:
根据下式计算所述系统容量:
其中,tn为所述样本集合中各个样本的序号,1≤tn≤TotalN,TotalN为所述样本集合中的样本总数,Restn为所述样本集合中第tn个样本的目标系统资源的使用量,QPStn为所述样本集合中第tn个样本的系统吞吐量,MaxRes为所述目标系统资源的总量,MaxQPS为所述系统容量。
5.根据权利要求1至4中任一项所述的系统容量预测方法,其特征在于,所述根据系统历史记录数据构造样本集合包括:
根据下式确定对所述系统历史记录数据进行采样的标准采样周期:
T=LCM(SamplePeriod1,SamplePeriod2,...,SamplePeriodn,...,SamplePeriodN)
其中,SamplePeriodn为在所述系统历史记录数据中第n个系统资源的使用量的采样周期,LCM为最小公倍数函数,T为所述标准采样周期;
每隔一个标准采样周期,从所述系统历史记录数据中采集一个样本,每个样本中各个系统资源的使用量根据下式进行计算:
其中,Sn为在一个标准采样周期内第n个系统资源的使用量的采样次数,且s为采样次数的序号,1≤s≤Sn,为在一个标准采样周期内第n个系统资源的使用量的第s个采样值,SpResn为一个标准采样周期的样本中第n个系统资源的使用量;
将从所述系统历史记录数据中采集的各个样本构造为所述样本集合。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的系统容量预测方法的步骤。
7.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现如下步骤:
根据系统历史记录数据构造样本集合,其中,所述样本集合中的每个样本均包括系统吞吐量以及各个系统资源的使用量;
分别以各个系统资源的使用量为分析维度对所述样本集合进行回归分析,并计算各个分析维度的回归误差,所述回归误差为各个样本中系统吞吐量的取值与系统吞吐量的回归值之间的偏差程度;
选取回归误差最小的系统资源作为目标系统资源,并根据所述样本集合中各个样本的目标系统资源的使用量以及系统吞吐量计算系统容量。
8.根据权利要求7所述的终端设备,其特征在于,所述分别以各个系统资源的使用量为分析维度对所述样本集合进行回归分析,并计算各个分析维度的回归误差包括:
从第n个属性值集合中选取第m个取值作为阈值,将所述样本集合中第n个系统资源的使用量的取值大于所述阈值的样本确定为第一样本,将所述样本集合中第n个系统资源的使用量的取值小于或等于所述阈值的样本确定为第二样本,所述第n个属性值集合为由第n个系统资源的使用量在所述样本集合中的各个取值组成的集合,其中,1≤n≤N,N为系统资源的总个数,1≤m≤Mn,Mn为第n个属性值集合中的元素总数;
计算第n个属性值集合中的第m个取值的回归误差;
根据下式计算第n个分析维度的回归误差:
其中,RegErrn,m为第n个属性值集合中的第m个取值的回归误差,min为求最小值函数,RegErrn为第n个分析维度的回归误差。
9.根据权利要求8所述的终端设备,其特征在于,所述计算第n个属性值集合中的第m个取值的回归误差包括:
根据下式计算第n个属性值集合中的第m个取值的回归误差:
其中,fn为所述第一样本的序号,1≤fn≤FstSpN,FstSpN为所述第一样本的数目,FQPSfn为第fn个第一样本中系统吞吐量的取值,RegFQPS为第一样本中系统吞吐量的回归值,且sn为所述第二样本的序号,1≤sn≤SndSpN,SndSpN为所述第二样本的数目,且FstSpN+SndSpN=TotalN,TotalN为所述样本集合中的样本总数,SQPSsn为第sn个第二样本中系统吞吐量的取值,RegSQPS为第二样本中系统吞吐量的回归值,且
10.根据权利要求7至9中任一项所述的终端设备,其特征在于,所述根据系统历史记录数据构造样本集合包括:
根据下式确定对所述系统历史记录数据进行采样的标准采样周期:
T=LCM(SamplePeriod1,SamplePeriod2,...,SamplePeriodn,...,SamplePeriodN)
其中,SamplePeriodn为在所述系统历史记录数据中第n个系统资源的使用量的采样周期,LCM为最小公倍数函数,T为所述标准采样周期;
每隔一个标准采样周期,从所述系统历史记录数据中采集一个样本,每个样本中各个系统资源的使用量根据下式进行计算:
其中,Sn为在一个标准采样周期内第n个系统资源的使用量的采样次数,且s为采样次数的序号,1≤s≤Sn,为在一个标准采样周期内第n个系统资源的使用量的第s个采样值,SpResn为一个标准采样周期的样本中第n个系统资源的使用量;
将从所述系统历史记录数据中采集的各个样本构造为所述样本集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810868945.3A CN109213965B (zh) | 2018-08-02 | 2018-08-02 | 一种系统容量预测方法、计算机可读存储介质及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810868945.3A CN109213965B (zh) | 2018-08-02 | 2018-08-02 | 一种系统容量预测方法、计算机可读存储介质及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109213965A true CN109213965A (zh) | 2019-01-15 |
CN109213965B CN109213965B (zh) | 2022-04-29 |
Family
ID=64987911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810868945.3A Active CN109213965B (zh) | 2018-08-02 | 2018-08-02 | 一种系统容量预测方法、计算机可读存储介质及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109213965B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110737593A (zh) * | 2019-09-19 | 2020-01-31 | 平安科技(深圳)有限公司 | 智能容量管理方法、装置及存储介质 |
CN112000549A (zh) * | 2020-08-21 | 2020-11-27 | 北京浪潮数据技术有限公司 | 一种存储设备的容量分析方法及相关装置 |
CN113742187A (zh) * | 2021-08-05 | 2021-12-03 | 中移(杭州)信息技术有限公司 | 应用系统的容量预测方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104252411A (zh) * | 2013-06-27 | 2014-12-31 | 北京神州泰岳软件股份有限公司 | 一种系统压力分析方法及设备 |
CN105488539A (zh) * | 2015-12-16 | 2016-04-13 | 百度在线网络技术(北京)有限公司 | 分类模型的生成方法及装置、系统容量的预估方法及装置 |
US9514022B1 (en) * | 2011-10-18 | 2016-12-06 | Netapp, Inc. | Modeling storage system performance |
CN106469107A (zh) * | 2016-08-31 | 2017-03-01 | 浪潮(北京)电子信息产业有限公司 | 一种存储资源的容量预测方法及装置 |
CN106886485A (zh) * | 2017-02-28 | 2017-06-23 | 深圳市华傲数据技术有限公司 | 系统容量分析预测方法及装置 |
CN107360026A (zh) * | 2017-07-07 | 2017-11-17 | 西安电子科技大学 | 分布式消息中间件性能预测与建模方法 |
-
2018
- 2018-08-02 CN CN201810868945.3A patent/CN109213965B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9514022B1 (en) * | 2011-10-18 | 2016-12-06 | Netapp, Inc. | Modeling storage system performance |
CN104252411A (zh) * | 2013-06-27 | 2014-12-31 | 北京神州泰岳软件股份有限公司 | 一种系统压力分析方法及设备 |
CN105488539A (zh) * | 2015-12-16 | 2016-04-13 | 百度在线网络技术(北京)有限公司 | 分类模型的生成方法及装置、系统容量的预估方法及装置 |
CN106469107A (zh) * | 2016-08-31 | 2017-03-01 | 浪潮(北京)电子信息产业有限公司 | 一种存储资源的容量预测方法及装置 |
CN106886485A (zh) * | 2017-02-28 | 2017-06-23 | 深圳市华傲数据技术有限公司 | 系统容量分析预测方法及装置 |
CN107360026A (zh) * | 2017-07-07 | 2017-11-17 | 西安电子科技大学 | 分布式消息中间件性能预测与建模方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110737593A (zh) * | 2019-09-19 | 2020-01-31 | 平安科技(深圳)有限公司 | 智能容量管理方法、装置及存储介质 |
CN110737593B (zh) * | 2019-09-19 | 2022-03-29 | 平安科技(深圳)有限公司 | 智能容量管理方法、装置及存储介质 |
CN112000549A (zh) * | 2020-08-21 | 2020-11-27 | 北京浪潮数据技术有限公司 | 一种存储设备的容量分析方法及相关装置 |
CN112000549B (zh) * | 2020-08-21 | 2022-06-17 | 北京浪潮数据技术有限公司 | 一种存储设备的容量分析方法及相关装置 |
CN113742187A (zh) * | 2021-08-05 | 2021-12-03 | 中移(杭州)信息技术有限公司 | 应用系统的容量预测方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109213965B (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111782966B (zh) | 用户分群方法、装置、计算机设备和介质 | |
US9208131B2 (en) | Techniques to simulate statistical tests | |
CN108923996B (zh) | 一种容量分析方法及装置 | |
CN109120463B (zh) | 流量预测方法及装置 | |
CN109213965B (zh) | 一种系统容量预测方法、计算机可读存储介质及终端设备 | |
CN110647447B (zh) | 用于分布式系统的异常实例检测方法、装置、设备和介质 | |
CN108491122B (zh) | 一种点击事件响应方法、计算机可读存储介质及终端设备 | |
CN110471821A (zh) | 异常变更检测方法、服务器及计算机可读存储介质 | |
CN111191601A (zh) | 同行用户识别方法、装置、服务器及存储介质 | |
CN115576502B (zh) | 一种数据存储的方法、装置、电子设备以及存储介质 | |
CN114500339B (zh) | 一种节点带宽监测方法、装置、电子设备及存储介质 | |
CN110618867A (zh) | 一种预测资源使用量的方法和装置 | |
WO2009100528A1 (en) | System and method for estimating combined workloads of systems with uncorrelated and non-deterministic workload patterns | |
CN110865877A (zh) | 一种任务请求的响应方法及设备 | |
CN116841753B (zh) | 一种流处理和批处理的切换方法及切换装置 | |
CN114520773B (zh) | 一种服务请求的响应方法、装置、服务器及存储介质 | |
US20160253591A1 (en) | Method and apparatus for managing performance of database | |
CN107748711B (zh) | 自动优化Storm并行度的方法、终端设备及存储介质 | |
CN116737373A (zh) | 负载均衡方法、装置、计算机设备、存储介质 | |
CN111598390B (zh) | 服务器高可用性评估方法、装置、设备和可读存储介质 | |
CN110764975A (zh) | 设备性能的预警方法、装置及监控设备 | |
CN109086207B (zh) | 页面响应故障分析方法、计算机可读存储介质及终端设备 | |
JP4823258B2 (ja) | 通信帯域算出方法、装置、およびトラヒック管理方法 | |
CN108984101B (zh) | 在分布式存储系统中确定事件之间关系的方法及装置 | |
CN113225228B (zh) | 数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |