[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110618867A - 一种预测资源使用量的方法和装置 - Google Patents

一种预测资源使用量的方法和装置 Download PDF

Info

Publication number
CN110618867A
CN110618867A CN201810630549.7A CN201810630549A CN110618867A CN 110618867 A CN110618867 A CN 110618867A CN 201810630549 A CN201810630549 A CN 201810630549A CN 110618867 A CN110618867 A CN 110618867A
Authority
CN
China
Prior art keywords
resource usage
traffic
resource
service
total
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810630549.7A
Other languages
English (en)
Inventor
杨军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810630549.7A priority Critical patent/CN110618867A/zh
Publication of CN110618867A publication Critical patent/CN110618867A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种预测资源使用量的方法和装置,涉及计算机技术领域。该方法的一个具体实施方式包括:在多个时间周期内采集样本数据,所述样本数据包括一个或多个业务的业务量和与所述业务量对应的资源使用总量;根据所述业务量与所述资源使用总量建立资源规划模型;使用所述资源规划模型,根据预测的未来业务量,预测未来资源使用总量。该实施方式可预测未来资源使用量,为资源使用的规划提供决策依据。

Description

一种预测资源使用量的方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种预测资源使用量的方法、装置、电子设备和计算机可读介质。
背景技术
一个由硬件资源组成的系统服务于其运行的多种业务,硬件资源的资源使用量的高低与业务量的大小存在明显的相关关系,即资源使用量随着业务量的增加而升高,随着业务量的减少而降低。随着业务类别的不断丰富,系统的业务组成部分新增或变更时需要对所需硬件资源进行规划,合理的资源规划有利于充分提高现有系统硬件资源利用率,节省系统总成本。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
现有的系统资源规划主要是依靠经验来估算系统规模与业务的对应关系,缺乏有效的规划调控机制,容易造成资源浪费,或者由于规划不合理在业务量激增时拖慢整个系统的运行速度,甚至造成系统瘫痪。
发明内容
有鉴于此,本发明实施例提供一种资源规划方法和装置,能够通过对现有资源使用量的监控,对为满足系统变化功能和性能需求所需硬件资源进行计算和预测;为未来建设的业务系统设备选型提供依据,可用于解决虚拟化、云计算等资源分配问题,最终根据预测的资源使用情况进行硬件配置的决策。
为实现上述目的,根据本发明实施例的一个方面,提供了一种预测资源使用量的方法,包括:在多个时间周期内采集样本数据,所述样本数据包括一个或多个业务的业务量和与所述业务量对应的资源使用总量;根据所述业务量与所述资源使用总量建立资源规划模型;使用所述资源规划模型,根据预测的未来业务量,预测未来资源使用总量。
可选地,使用以下公式建立所述资源规划模型:
其中,n表示所述多个时间周期的数目,m表示所述一个或多个业务的数目,aj表示第j个业务Sj的资源规划因子,a0表示常数项,Si,j表示业务Sj在第i个时间周期的业务量,Ri表示在第i个时间周期的资源使用总量。
可选地,在采集所述样本数据之后,所述方法还包括:确定所述业务之间是否存在调用关系,在存在所述调用关系的情况下,在建立所述资源规划模型时仅使用存在所述调用关系的业务中的一个业务的业务量。
可选地,在采集所述样本数据之后,所述方法还包括:滤除相关度Cj小于第一阈值的业务;使用以下公式计算业务与所述资源使用总量之间的相关度Cj
其中,n表示所述多个时间周期的数目,Si,j表示业务Sj在第i个时间周期的业务量,Ri表示在第i个时间周期的资源使用总量,表示所述业务Sj在所述多个时间周期的平均业务量,表示所述多个时间周期的平均资源使用总量。
可选地,在采集所述样本数据之后,所述方法还包括:滤除资源使用总量小于或大于的样本数据,其中所述表示所述多个时间周期的平均资源使用总量,所述X表示第二阈值。
可选地,所述第二阈值为所述多个时间周期的资源使用总量的均方差的2倍。
可选地,在建立所述资源规划模型之后,所述方法还包括:使用以下公式计算所述资源规划模型的精确度β,
其中,n表示所述多个时间周期的数目,表示根据所采集的第i个时间周期的所述一个或多个业务的业务量,通过所述资源规划模型计算得到的第i个时间周期的资源使用总量,Ri表示所采集的在第i个时间周期的资源使用总量。
可选地,通过指数平滑法或时间序列分析法预测未来业务量。
可选地,所述方法还包括:
在所预测的未来资源使用总量高于第三阈值的情况下,按照所述资源规划模型为所述业务扩容资源;
在所预测的未来资源使用总量低于第四阈值的情况下,按照所述资源规划模型对所述业务回收资源。
为实现上述目的,根据本发明实施例的另一个方面,提供了一种预测资源使用量的装置,其特征在于,包括:采集模块,用于在多个时间周期内采集样本数据,所述样本数据包括一个或多个业务的业务量和与所述业务量对应的资源使用总量;建模模块,用于根据所述业务量与所述资源使用总量建立资源规划模型;预测模块,用于使用所述资源规划模型,根据预测的未来业务量,预测未来资源使用总量。
可选地,所述建模模块使用以下公式建立所述资源规划模型:
其中,n表示所述多个时间周期的数目,m表示所述一个或多个业务的数目,aj表示第j个业务Sj的资源规划因子,a0表示常数项,Si,j表示业务Sj在第i个时间周期的业务量,Ri表示在第i个时间周期的资源使用总量。
可选地,所述采集模块还用于,确定所述业务之间是否存在调用关系,在存在所述调用关系的情况下,在建立所述资源规划模型时仅使用存在所述调用关系的业务中的一个业务的业务量。
可选地,所述采集模块还用于,滤除相关度Cj小于第一阈值的业务;使用以下公式计算业务与所述资源使用总量之间的相关度Cj
其中,n表示所述多个时间周期的数目,Si,j表示业务Sj在第i个时间周期的业务量,Ri表示在第i个时间周期的资源使用总量,表示所述业务Sj在所述多个时间周期的平均业务量,表示所述多个时间周期的平均资源使用总量。
可选地,所述采集模块还用于滤除资源使用总量小于或大于的样本数据,其中所述表示所述多个时间周期的平均资源使用总量,所述X表示第二阈值。
可选地,所述第二阈值为所述多个时间周期的资源使用总量的均方差的2倍。
可选地,所述建模模块还用于,在建立所述资源规划模型之后,使用以下公式计算所述资源规划模型的精确度β,
其中,n表示所述多个时间周期的数目,表示根据所采集的第i个时间周期的所述一个或多个业务的业务量,通过所述资源规划模型计算得到的第i个时间周期的资源使用总量,Ri表示所采集的在第i个时间周期的资源使用总量。
可选地,所述预测模块还用于通过指数平滑法或时间序列分析法预测未来业务量。
可选地,所述装置还包括:调节模块,用于在所预测的未来资源使用总量高于第三阈值的情况下,按照所述资源规划模型为所述业务扩容资源;在所预测的未来资源使用总量低于第四阈值的情况下,按照所述资源规划模型对所述业务回收资源。
为实现上述目的,根据本发明实施例的再一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现一种预测资源使用量的方法中任一所述的方法。
为实现上述目的,根据本发明实施例的再一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被一个或多个处理器执行时实现一种预测资源使用量的方法中任一所述的方法。
上述发明中的一个实施例具有如下优点或有益效果:因为采用根据样本数据建立的资源规划模型预测未来资源使用总量的技术手段,所以克服了传统方法资源规划不合理的技术问题,进而达到节约系统资源、提高效率的技术效果。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的一种预测资源使用量的方法的主要步骤的示意图;
图2是根据本发明实施例的一个优选实施方式的示意图;
图3是根据本发明实施例的一种预测资源使用量的装置的主要部分的示意图;
图4是本发明实施例可以应用于其中的示例性系统架构图;
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的一种预测资源使用量的方法的主要步骤的示意图,如图1所示:
步骤S101表示在多个时间周期内采集样本数据,所述样本数据包括一个或多个业务的业务量和与所述业务量对应的资源使用总量。此步骤的目的是采集规划资源的基础数据,根据业务量与其对应的资源使用总量规划资源。
其中,时间周期是指采集样本数据的粒度,可以为每天或每小时,每天的固定时间(例如8:00-9:00)、每月的固定日期(例如月初、月末)等。通常,粒度越小,建立的资源规划模型精度越高。业务量是用来量化业务活跃度的指标,例如,可包括业务服务平均响应时长,即从页面请求服务开始,到后台处理完成并响应页面为止,所消耗的时间的总和(单位:毫秒);业务页面会话连接数,当前时刻业务系统应用的页面连接会话个数(单位:个);在线用户数,当前时刻在线使用业务的用户人数(单位:人);数据库平均响应时长,一段时间内的业务对数据库访问时间的平均值(单位:ms)等多种指标。
资源使用总量是用来量化硬件资源使用多少的指标,此处的总量是指该资源使用总量可对应多个业务,例如,某时刻的业务1的业务量为A,业务2的业务量为B,对应该时刻的资源使用总量为C,表明资源使用总量C是由业务1与业务2共同使用的资源量。资源使用总量可包括:
1、网络
①带宽——有效数据传输率决定了网络服务时间,可以最低速的链路为准;
②延时——从网络上一次往返花费的时间,所有等待时间之和;
2、服务器(主机)
①CPU(Central Processing Unit,中央处理器)利用率;
②平均负载情况;
③每秒逻辑读;
3、内存
①物理内存使用情况;
②虚拟内存使用情况;
③内存利用率;
④可用内存量;
4、磁盘、存储系统
①IOPS(Input/Output Operations Per Second)——每秒进行读写(I/O)操作的次数、缓存命中率等;
②吞吐量
③响应时间;
④拐点数量;
5、网络设备
①设备指标:CPU利用率、内存利用率
②接口指标:输出带宽利用率、输入带宽利用率、带宽利用率
③网络设备使用的端口数量
用来量化系统使用总量的指标还可包括:联机响应时间、批量运行时间、容量描述系统拥有的各种资源总量(如处理器颗数以及处理器速度、磁盘空间和网络带宽等);用来量化业务量的指标还可包括:吞吐量描述单位时间内系统处理的业务量(如每秒交易数和每小时记录数等)。以上业务量以及资源使用总量都可以通过在系统运行过程中对其进行监控记录。
应当注意的是,虽然以上指标都可以用来量化资源使用总量,但是并不一定都与业务量承正比关系,如“可用内存量”与业务量承反比关系,即业务量越多,可用内存量越少;而“CPU利用率”与业务量承正比关系,即业务量越多,CPU利用率越高。
本发明的一个实施例为采集系统记录的多个时刻的多个业务的业务量与其对应的资源使用总量;本发明的另一个实施例为采集一段时间内的多个业务的业务量与其对应的资源使用总量的平均值。资源使用总量的指标、业务类别及其对应的业务量指标都可根据规划需要人为选取,在采集多个业务的业务量与其对应的资源使用总量之前,需要确定业务类别及业务量指标,以及资源使用总量的指标。采集的同一业务的业务量指标应该相同,不同业务的业务量指标可以相同也可以不同,其对应的资源使用量的指标应该相同。
在采集所述样本数据之后,所述方法还包括:确定所述业务之间是否存在调用关系,在存在所述调用关系的情况下,在建立所述资源规划模型时仅使用存在所述调用关系的业务中的一个业务的业务量。此步骤的目的是使用线性无关的业务量来建立资源规划模型。业务间的调用关系是指业务之间存在依赖关系,而建立资源规划模型最好使用线性无关的业务的业务量。例如业务A与业务B可互相调用,或业务A调用业务B,则在建立资源规划模型时仅使用业务A的业务量或业务B的业务量。
在采集所述样本数据之后,所述方法还包括:滤除相关度Cj小于第一阈值的业务;使用以下公式计算业务与所述资源使用总量之间的相关度Cj
其中,n表示所述多个时间周期的数目,Si,j表示业务Sj在第i个时间周期的业务量,Ri表示在第i个时间周期的资源使用总量,表示所述业务Sj在所述多个时间周期的平均业务量,表示所述多个时间周期的平均资源使用总量,n为正整数。此步骤的目的是减少运算量,提高运算效率。由于业务对资源使用总量的影响可能各不相同,所以采集到的业务量与资源使用量之间的相关度较低,通过相关度计算,可以得到采集到的业务量与资源使用量之间的相关度,例如通过计算可知业务A的业务量与CPU使用率相关度较低(小于预设阈值),表明业务A对CPU使用率较低,所以在规划CPU能力时剔除业务A的业务量。
在采集所述样本数据之后,所述方法还包括:滤除资源使用总量小于或大于的样本数据,其中所述表示所述多个时间周期的平均资源使用总量,所述X表示第二阈值。此步骤的目的是利用正态分布滤除无效样本,减少运算量,提高运算效率。例如,所述第二阈值为所述多个时间周期的资源使用总量的均方差的1-4倍,优选2倍。在采集的多时刻的业务的业务量与其对应的资源使用总量之后,计算这些资源使用总量的均方差和均值(即单位时间的平均资源使用总量)。在一个实施例中,滤除小于或大于的资源使用总量Ri及其对应的业务量。
在采集多个业务的业务量与其对应的资源使用总量之后,若其中业务量有空值,还需要对空值进行插值,如使用拉格朗日插值法等。例如,当在某个时间周期内,无法采集到某个业务的业务量时,根据该业务的临近周期的业务量估计其在该时间周期内的业务量。
步骤S102表示根据所述业务量与所述资源使用总量建立资源规划模型,通过建模的方法建立可以套用的理论模型。
可使用以下公式(1)建立所述资源规划模型:
其中,其中,n表示所述多个时间周期的数目,m表示所述一个或多个业务的数目,aj表示第j个业务Sj的资源规划因子,a0表示常数项,Si,j表示业务Sj在第i个时间周期的业务量,Ri表示在第i个时间周期的资源使用总量,m和n均为正整数。根据多元线性回归理论,通过数学的方法构建系统中承载的业务量与资源使用总量之间的线性关系,第i个时间周期采集的资源使用总量Ri与其对应的多个业务S1,S2,...,Sj,...,Sm的业务量Si,1,Si,2,...,Si,j,...,Si,m可表示为公式(3):
a0+a1Si,1+a2Si,2+…+ajSi,j+…+amSi,m=Ri (3)
其中a0,a1,a2,...,aj,...,am为对应业务S1,S2,...,Sj,...,Sm的资源规划因子,a0为非业务应用对资源的使用量,例如操作系统对CPU的使用量等。求解[a0 a1 a2...aj...am]可转化为求解公式(2)的非齐次线性方程组的最优解问题,其中,业务量Si,1,Si,2,...,Si,j,...,Si,m和资源使用总量Ri是已知量,资源规划因子a0,a1,a2,...,aj,...,am及常数项a0为未知量,解出的方程组的最优解即为资源规划因子。也即,求解R(H)≥m时的[a0 a1a2...aj...am]的最优解,其中,R(H)表示公式(2)中的业务量矩阵的秩。
在建立所述资源规划模型之后,所述方法还包括:使用以下公式计算所述资源规划模型的精确度β,
其中,n表示所述多个时间周期的数目,表示根据所采集的第i个时间周期的所述一个或多个业务的业务量,通过所述资源规划模型计算得到的第i个时间周期的资源使用总量,计算方法如公式(3),Ri表示所采集的在第i个时间周期的资源使用总量(即实际资源使用总量),i=1,2,3,…,n,n为正整数;所述精确度越接近1,表明所述资源规划模型越精确,此时所使用的资源规划因子是符合实际的业务量需求的;若β的值过大(如超过预设阈值时),表明模型精确度不够。
若建立的资源规划模型不止一个,可在验证这些资源规划模型的精确度后,优选一个精确度最好的作为最终的资源规划模型。
步骤S103表示使用所述资源规划模型,根据预测的未来业务量,预测未来资源使用总量。资源规划因子可作为业务与资源使用总量的比例对应关系,即业务S1,S2,...,Sj,...,Sm按照a1∶a2∶...∶aj∶...∶am的比例使用硬件资源,从而合理地对未来资源使用总量进行规划。可通过指数平滑法或时间序列分析法预测未来业务量,即根据业务S1,S2,...,Sj,...,Sm现有的业务量,预测得到未来i'时期的的业务量S′i′,1,S′i′,2,...,S′i′,j,...,S′i′,m,将i'时期的的业务量带入到公式(3)中,得到的资源使用总量即为未来i'时期的资源使用总量。
所述方法还包括:在所预测的未来资源使用总量高于第三阈值的情况下,按照所述资源规划模型为所述业务扩容资源,此步骤的目的是提高资源利用率,缓解系统压力;在所预测的未来资源使用总量低于第四阈值的情况下,按照所述资源规划模型对所述业务回收资源,此步骤的目的是节约系统资源,降低运行成本。
进一步的,本发明的一个实施例为,对应业务资源的扩容和回收可以步骤S101种采集的资源使用总量的指标为依据,例如,采集的资源使用总量的指标为“CPU使用率”时,对应业务分配或回收的硬件资源即为CPU,即当CPU使用率高于CPU最大能力的60%(第三阈值)时,对CPU进行扩容,使CPU使用率降到60%以下,当CPU使用率低于CPU最大能力的30%(第四阈值)时,对CPU进行回收,使CPU使用率高于30%,即保持CPU使用率在其能力的30%~60%之间;本发明的另一个实施例为,也可根据经验同时分配或回收CPU与内存使用,因为CPU与内存使用之间有时是成正比关系的。
图2是根据本发明实施例的一个优选实施方式,如图2所示:
S201收集目标系统的业务和负载数据
①明确性能建模目标,可建立每天的资源规划模型,也可建立每小时的资源规划模型;
②采集系统业务量和资源使用总量数据
③根据建模目标设置监控记录数据的粒度,即监控数据以天为统计单位或以小时为统计单位,粒度越小,模型精度越高;
④监控记录实际业务量和资源使用总量数据;或通过性能测试等采集数据;
S202数据预处理
①对采集到的原始数据按时间排序,确定数据有效性,删除重复数据,对空值进行插值;
②统一业务量与资源使用总量的时间单位,如都转化为每小时的均值,确定业务量与资源使用总量的对应关系;
③分析业务的业务量与资源使用总量进行相关性度,剔除相关度低的业务;
④使用正态分布对资源使用总量进行无效样本滤除,剔除资源使用总量在正态分布中心95%以外的资源使用总量数据,以及其对应的业务量;
S203建立资源规划模型
①使用预处理后的数据构建线性方程组,求解方程组的最优解即资源规划因子;
S204模型验证
①将实际业务量代入资源规划模型中,验证资源规划模型的精确度;
S205业务分析
①将业务数据按照时间划分为节假日与日常两类;
②分别预测两类业务数据的未来6~12个月的业务量;
S206资源规划
①根据资源规划模型,使用预测业务量确定未来6~12个月的预测资源使用量;
②根据预测资源使用量准备未来6~12个月的资源扩容或回收。
图3是根据本发明实施例的一种预测资源使用量的装置300的主要部分的示意图,如图3所示:
采集模块301,用于在多个时间周期内采集样本数据,所述样本数据包括一个或多个业务的业务量和与所述业务量对应的资源使用总量;目的是采集规划资源的基础数据,根据业务量与其对应的资源使用总量规划资源。其中,时间周期是指采集样本数据的粒度,可以为每天或每小时,每天的固定时间(例如8:00-9:00)、每月的固定日期(例如月初、月末)等。通常,粒度越小,建立的资源规划模型精度越高。在上文中,已经详细描述了业务量与资源使用总量,在此不再熬述。
本发明的一个实施例为采集系统记录的多个时刻的多个业务的业务量与其对应的资源使用总量;本发明的另一个实施例为采集一段时间内的多个业务的业务量与其对应的资源使用总量的平均值。资源使用总量的指标、业务类别及其对应的业务量指标都可根据规划需要人为选取,在采集多个业务的业务量与其对应的资源使用总量之前,需要确定业务类别及业务量指标,以及资源使用总量的指标。采集的同一业务的业务量指标应该相同,不同业务的业务量指标可以相同也可以不同,其对应的资源使用量的指标应该相同。
采集模块301还用于,确定所述业务之间是否存在调用关系,在存在所述调用关系的情况下,在建立所述资源规划模型时仅使用存在所述调用关系的业务中的一个业务的业务量。目的是使用线性无关的业务量来建立资源规划模型。业务间的调用关系是指业务之间存在依赖关系,而建立资源规划模型最好使用线性无关的业务的业务量。例如业务A与业务B可互相调用,或业务A调用业务B,则在建立资源规划模型时仅使用业务A的业务量或业务B的业务量。
采集模块301还用于,滤除相关度Cj小于第一阈值的业务;
具体地,使用公式(1)计算业务与所述资源使用总量之间的相关度Cj
采集模块301还用于滤除资源使用总量小于或大于的样本数据,其中所述表示所述多个时间周期的平均资源使用总量,所述X表示第二阈值。目的是利用正态分布滤除无效样本,减少运算量,提高运算效率。例如,所述第二阈值为所述多个时间周期的资源使用总量的均方差的1-4倍,优选2倍。在采集的多时刻的业务的业务量与其对应的资源使用总量之后,计算这些资源使用总量的均方差和均值(即单位时间的平均资源使用总量)。在一个实施例中,滤除小于或大于的资源使用总量Ri及其对应的业务量。
采集模块301还用于,在采集多个业务的业务量与其对应的资源使用总量之后,若其中业务量有空值,还需要对空值进行插值,如使用拉格朗日插值法等。例如,当在某个时间周期内,无法采集到某个业务的业务量时,根据该业务的临近周期的业务量估计其在该时间周期内的业务量。
建模模块302,用于根据所述业务量与所述资源使用总量建立资源规划模型,通过建模的方法建立可以套用的理论模型。
建模模块302使用公式(2)建立所述资源规划模型。
建模模块302还用于,在建立所述资源规划模型之后,使用公式(4)计算所述资源规划模型的精确度β。若建立的资源规划模型不止一个,可在验证这些资源规划模型的精确度后,优选一个精确度最好的作为最终的资源规划模型。
预测模块303,用于使用所述资源规划模型,根据预测的未来业务量,预测未来资源使用总量。资源规划因子可作为业务与资源使用总量的比例对应关系,即业务S1,S2,...,Sj,...,Sm按照a1∶a2∶...∶aj∶...∶am的比例使用硬件资源,从而合理地对未来资源使用总量进行规划。可通过指数平滑法或时间序列分析法预测未来业务量,即根据业务S1,S2,...,Sj,...,Sm现有的业务量,预测得到未来i'时期的的业务量S′i′,1,S′i′,2,...,S′i′,j,...,S′i′,m,将i'时期的的业务量带入到公式(3)中,得到的资源使用总量即为未来i'时期的资源使用总量。
装置300还包括:调节模块,用于在所预测的未来资源使用总量高于第三阈值的情况下,按照所述资源规划模型为所述业务扩容资源,目的是提高资源利用率,缓解系统压力;在所预测的未来资源使用总量低于第四阈值的情况下,按照所述资源规划模型对所述业务回收资源,目的是节约系统资源,降低运行成本。
进一步的,本发明的一个实施例为,对应业务资源的扩容和回收可以步骤S101种采集的资源使用总量的指标为依据,例如,采集的资源使用总量的指标为“CPU使用率”时,对应业务分配或回收的硬件资源即为CPU,即当CPU使用率高于CPU最大能力的60%(第三阈值)时,对CPU进行扩容,使CPU使用率降到60%以下,当CPU使用率低于CPU最大能力的30%(第四阈值)时,对CPU进行回收,使CPU使用率高于30%,即保持CPU使用率在其能力的30%~60%之间;本发明的另一个实施例为,也可根据经验同时分配或回收CPU与内存使用,因为CPU与内存使用之间有时是成正比关系的。
图4示出了可以应用本发明实施例的一种预测资源使用量的方法或一种预测资源使用量的装置的示例性系统架构400。
如图4所示,系统架构400可以包括终端设备401、402、403,网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互,以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器,例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。
需要说明的是,本发明实施例所提供的一种预测资源使用量的方法一般由服务器405执行,相应地,一种预测资源使用量的装置一般设置于服务器405中。
应该理解,图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图5所示为适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5所示的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明公开的实施例,上文步骤图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行步骤图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质包括计算机可读信号介质或计算机可读存储介质,或者是上述两者的任意组合。计算机可读存储介质包括但不限于电、磁、光、电磁、红外线、半导体的系统、装置或器件,或者上述内容的任意组合。计算机可读存储介质具体包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述内容的任意组合。在本发明中,计算机可读存储介质包括任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用;计算机可读的信号介质包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码,这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述信号的任意组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF(射频)等,或者上述介质的任意组合。
附图中的步骤图或框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作,步骤图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以并行地执行,有时也可以按相反的顺序执行,其执行顺序依所涉及的功能而定。也要注意的是,框图或步骤图中的每个方框以及其组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块或单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块或单元也可以设置在处理器中,例如,可以描述为:一种处理器包括采集模块、建模模块和预测模块。其中,这些模块或单元的名称在某种情况下并不构成对该模块或单元本身的限定,例如,采集模块还可以被描述为“用于在多个时间周期内采集样本数据的模块”。
另一方面,本发明实施例还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:在多个时间周期内采集样本数据,所述样本数据包括一个或多个业务的业务量和与所述业务量对应的资源使用总量;根据所述业务量与所述资源使用总量建立资源规划模型;使用所述资源规划模型,根据预测的未来业务量,预测未来资源使用总量。
根据本发明实施例的技术方案,能够通过对现有资源使用量的监控,对为满足系统变化功能和性能需求所需硬件资源进行计算和预测;为未来建设的业务系统设备选型提供依据,可用于解决虚拟化、云计算等资源分配问题,最终根据预测的资源使用情况进行硬件配置的决策。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (20)

1.一种预测资源使用量的方法,其特征在于,包括:
在多个时间周期内采集样本数据,所述样本数据包括一个或多个业务的业务量和与所述业务量对应的资源使用总量;
根据所述业务量与所述资源使用总量建立资源规划模型;
使用所述资源规划模型,根据预测的未来业务量,预测未来资源使用总量。
2.根据权利要求1所述的方法,其特征在于,使用以下公式建立所述资源规划模型:
其中,n表示所述多个时间周期的数目,m表示所述一个或多个业务的数目,aj表示第j个业务Sj的资源规划因子,a0表示常数项,Si,j表示业务Sj在第i个时间周期的业务量,Ri表示在第i个时间周期的资源使用总量。
3.根据权利要求1或2所述的方法,其特征在于,在采集所述样本数据之后,所述方法还包括:
确定所述业务之间是否存在调用关系,在存在所述调用关系的情况下,在建立所述资源规划模型时仅使用存在所述调用关系的业务中的一个业务的业务量。
4.根据权利要求1或2所述的方法,其特征在于,在采集所述样本数据之后,所述方法还包括:
滤除相关度Cj小于第一阈值的业务;
使用以下公式计算业务与所述资源使用总量之间的相关度Cj
其中,n表示所述多个时间周期的数目,Si,j表示业务Sj在第i个时间周期的业务量,Ri表示在第i个时间周期的资源使用总量,表示所述业务Sj在所述多个时间周期的平均业务量,表示所述多个时间周期的平均资源使用总量。
5.根据权利要求1或2所述的方法,其特征在于,在采集所述样本数据之后,所述方法还包括:
滤除资源使用总量小于或大于的样本数据,其中所述表示所述多个时间周期的平均资源使用总量,所述X表示第二阈值。
6.根据权利要求5所述的方法,其特征在于,所述第二阈值为所述多个时间周期的资源使用总量的均方差的2倍。
7.根据权利要求1或2所述的方法,其特征在于,在建立所述资源规划模型之后,所述方法还包括:
使用以下公式计算所述资源规划模型的精确度β,
其中,n表示所述多个时间周期的数目,表示根据所采集的第i个时间周期的所述一个或多个业务的业务量,通过所述资源规划模型计算得到的第i个时间周期的资源使用总量,Ri表示所采集的在第i个时间周期的资源使用总量。
8.根据权利要求1或2所述的方法,其特征在于,通过指数平滑法或时间序列分析法预测未来业务量。
9.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
在所预测的未来资源使用总量高于第三阈值的情况下,按照所述资源规划模型为所述业务扩容资源;
在所预测的未来资源使用总量低于第四阈值的情况下,按照所述资源规划模型对所述业务回收资源。
10.一种预测资源使用量的装置,其特征在于,包括:
采集模块,用于在多个时间周期内采集样本数据,所述样本数据包括一个或多个业务的业务量和与所述业务量对应的资源使用总量;
建模模块,用于根据所述业务量与所述资源使用总量建立资源规划模型;
预测模块,用于使用所述资源规划模型,根据预测的未来业务量,预测未来资源使用总量。
11.根据权利要求10所述的装置,其特征在于,所述建模模块使用以下公式建立所述资源规划模型:
其中,n表示所述多个时间周期的数目,m表示所述一个或多个业务的数目,aj表示第j个业务Sj的资源规划因子,a0表示常数项,Si,j表示业务Sj在第i个时间周期的业务量,Ri表示在第i个时间周期的资源使用总量。
12.根据权利要求10或11所述的装置,其特征在于,所述采集模块还用于,确定所述业务之间是否存在调用关系,在存在所述调用关系的情况下,在建立所述资源规划模型时仅使用存在所述调用关系的业务中的一个业务的业务量。
13.根据权利要求10或11所述的装置,其特征在于,所述采集模块还用于,滤除相关度Cj小于第一阈值的业务;
使用以下公式计算业务与所述资源使用总量之间的相关度Cj
其中,n表示所述多个时间周期的数目,Si,j表示业务Sj在第i个时间周期的业务量,Ri表示在第i个时间周期的资源使用总量,表示所述业务Sj在所述多个时间周期的平均业务量,表示所述多个时间周期的平均资源使用总量。
14.根据权利要求10或11所述的装置,其特征在于,所述采集模块还用于滤除资源使用总量小于或大于的样本数据,其中所述表示所述多个时间周期的平均资源使用总量,所述X表示第二阈值。
15.根据权利要求14所述的装置,其特征在于,所述第二阈值为所述多个时间周期的资源使用总量的均方差的2倍。
16.根据权利要求10或11所述的装置,其特征在于,所述建模模块还用于,在建立所述资源规划模型之后,使用以下公式计算所述资源规划模型的精确度β,
其中,n表示所述多个时间周期的数目,表示根据所采集的第i个时间周期的所述一个或多个业务的业务量,通过所述资源规划模型计算得到的第i个时间周期的资源使用总量,Ri表示所采集的在第i个时间周期的资源使用总量。
17.根据权利要求10或11所述的装置,其特征在于,所述预测模块还用于通过指数平滑法或时间序列分析法预测未来业务量。
18.根据权利要求10或11所述的装置,其特征在于,所述装置还包括:
调节模块,用于在所预测的未来资源使用总量高于第三阈值的情况下,按照所述资源规划模型为所述业务扩容资源;
在所预测的未来资源使用总量低于第四阈值的情况下,按照所述资源规划模型对所述业务回收资源。
19.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
20.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被一个或多个处理器执行时实现如权利要求1-9中任一所述的方法。
CN201810630549.7A 2018-06-19 2018-06-19 一种预测资源使用量的方法和装置 Pending CN110618867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810630549.7A CN110618867A (zh) 2018-06-19 2018-06-19 一种预测资源使用量的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810630549.7A CN110618867A (zh) 2018-06-19 2018-06-19 一种预测资源使用量的方法和装置

Publications (1)

Publication Number Publication Date
CN110618867A true CN110618867A (zh) 2019-12-27

Family

ID=68920316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810630549.7A Pending CN110618867A (zh) 2018-06-19 2018-06-19 一种预测资源使用量的方法和装置

Country Status (1)

Country Link
CN (1) CN110618867A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475772A (zh) * 2020-03-27 2020-07-31 微梦创科网络科技(中国)有限公司 一种容量评估方法及装置
CN112269811A (zh) * 2020-10-13 2021-01-26 北京同创永益科技发展有限公司 一种基于业务量的it容量预测方法和系统
CN114172819A (zh) * 2021-12-07 2022-03-11 中国电信股份有限公司 Nfv网元的需求资源预测方法、系统、电子设备和存储介质
CN114422514A (zh) * 2022-01-25 2022-04-29 广州市浚聪计算机有限公司 一种基于计算机网络技术的信息系统集成终端
CN115391042A (zh) * 2022-08-29 2022-11-25 北京达佳互联信息技术有限公司 一种资源分配方法、装置、电子设备及存储介质
CN115473804A (zh) * 2022-09-06 2022-12-13 中国建设银行股份有限公司 一种基于交易量负载进行弹性伸缩的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374076A (zh) * 2008-10-06 2009-02-25 中国移动通信集团设计院有限公司 一种电信业务支撑系统服务器处理能力预测与规划方法
CN102711177A (zh) * 2012-04-26 2012-10-03 北京邮电大学 基于业务预测的负载均衡方法
CN103491556A (zh) * 2012-06-13 2014-01-01 华为技术服务有限公司 一种网络调整的方法及装置
CN103945548A (zh) * 2014-04-29 2014-07-23 西安电子科技大学 一种c-ran网络中的资源分配系统及任务/业务调度方法
CN106411392A (zh) * 2016-09-26 2017-02-15 中央军委装备发展部第六十三研究所 基于通信量预测及无线资源动态分配的卫星通信系统
CN106598702A (zh) * 2016-12-20 2017-04-26 东软集团股份有限公司 一种资源调整方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374076A (zh) * 2008-10-06 2009-02-25 中国移动通信集团设计院有限公司 一种电信业务支撑系统服务器处理能力预测与规划方法
CN102711177A (zh) * 2012-04-26 2012-10-03 北京邮电大学 基于业务预测的负载均衡方法
CN103491556A (zh) * 2012-06-13 2014-01-01 华为技术服务有限公司 一种网络调整的方法及装置
CN103945548A (zh) * 2014-04-29 2014-07-23 西安电子科技大学 一种c-ran网络中的资源分配系统及任务/业务调度方法
CN106411392A (zh) * 2016-09-26 2017-02-15 中央军委装备发展部第六十三研究所 基于通信量预测及无线资源动态分配的卫星通信系统
CN106598702A (zh) * 2016-12-20 2017-04-26 东软集团股份有限公司 一种资源调整方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475772A (zh) * 2020-03-27 2020-07-31 微梦创科网络科技(中国)有限公司 一种容量评估方法及装置
CN111475772B (zh) * 2020-03-27 2023-12-15 微梦创科网络科技(中国)有限公司 一种容量评估方法及装置
CN112269811A (zh) * 2020-10-13 2021-01-26 北京同创永益科技发展有限公司 一种基于业务量的it容量预测方法和系统
CN114172819A (zh) * 2021-12-07 2022-03-11 中国电信股份有限公司 Nfv网元的需求资源预测方法、系统、电子设备和存储介质
CN114422514A (zh) * 2022-01-25 2022-04-29 广州市浚聪计算机有限公司 一种基于计算机网络技术的信息系统集成终端
CN115391042A (zh) * 2022-08-29 2022-11-25 北京达佳互联信息技术有限公司 一种资源分配方法、装置、电子设备及存储介质
CN115391042B (zh) * 2022-08-29 2024-03-19 北京达佳互联信息技术有限公司 一种资源分配方法、装置、电子设备及存储介质
CN115473804A (zh) * 2022-09-06 2022-12-13 中国建设银行股份有限公司 一种基于交易量负载进行弹性伸缩的方法及装置
CN115473804B (zh) * 2022-09-06 2025-02-14 中国建设银行股份有限公司 一种基于交易量负载进行弹性伸缩的方法及装置

Similar Documents

Publication Publication Date Title
CN110618867A (zh) 一种预测资源使用量的方法和装置
CN109446041B (zh) 一种服务器压力预警方法、系统及终端设备
CN111435463B (zh) 数据处理方法及相关设备、系统
CN108923996B (zh) 一种容量分析方法及装置
EP2184681A1 (en) Capacity control
CN103778474A (zh) 资源负载量预测方法、分析预测系统及业务运营监控系统
CN113407426A (zh) 服务器集群容量评估方法、装置、电子设备及存储介质
CN111598494A (zh) 资源额度的调整方法、装置及电子设备
CN111275415A (zh) 资源通道的切换方法、装置、设备及存储介质
CN112017042A (zh) 基于tweedie分布的资源配额确定方法、装置和电子设备
CN112508695A (zh) 基于市场风险的金融风险预测方法、装置和电子设备
US8219368B1 (en) Capacity modeling system
CN113342604B (zh) 内存使用率的检测方法、装置、终端及存储介质
CN109213965B (zh) 一种系统容量预测方法、计算机可读存储介质及终端设备
CN104111875A (zh) 云数据中心新增任务数动态控制装置、系统及方法
CN114257521A (zh) 流量预测方法、装置、电子设备和存储介质
US20230352939A1 (en) Cognitive framework for improving responsivity in demand response programs
CN112131468A (zh) 推荐系统中的数据处理方法、装置
CN108399031B (zh) 确定界面布局方式的方法和装置
CN113298120B (zh) 基于融合模型的用户风险预测方法、系统和计算机设备
CN112347371B (zh) 基于社交文本信息的资源归还增比方法、装置和电子设备
CN115016890A (zh) 虚拟机资源分配方法、装置、电子设备及存储介质
CN112351105B (zh) 一种云服务评估方法和装置
CN110298742B (zh) 数据处理方法和装置
CN117234877A (zh) 数据处理的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination