CN102664812B - 融合业务预测与实时负载的两阶段服务系统负载预测与均衡方法 - Google Patents

Abstract

本发明公开了一种针对软件服务均衡和服务迁移中，单纯依赖实时系统负载指标的局限性所提出的一种融合业务预测与实时负载的两阶段负载预测与均衡方法。传统负载均衡依赖于短期甚至实时的系统负载指标，实质是软件服务负载的表象和负载超负荷的内因，其外因则是由于软件服务所承载业务量的增长，外因通过内因影响服务系统的负载；同时，由于实时负载指标反映的信息不能超前、指标变化频繁从而容易带来均衡处理时间短促和服务迁移抖动等问题。本发明首先从业务预测出发，根据业务承载量的涨落得出服务系统负载的可能变化趋势，并基于概率算法做出准确的预测，再结合系统实时负载指标，综合做出均衡决策，用于软件服务的优化部署和动态迁移。

Description

融合业务预测与实时负载的两阶段服务系统负载预测与均衡方法

技术领域

本发明涉及一种软件服务系统负载预测方法，尤其涉及一种融合业务预测与实时负载的两阶段负载预测与均衡方法。

背景技术

服务计算带来软件体系结构的重大变革，以面向服务架构（SOA）、软件即服务（SaaS）为典型代表，软件系统的存在形态、发布方式、运行与维护方式都有了本质性的改变，促进了软件体系结构及其理论技术的发展。SaaS应用系统普遍采用多租户（multi-tenant）模式，在满足各租户性能指标，如持续服务、服务吞吐量、适应服务能力的涨落等要求的同时，作为服务提供一方，通过服务系统的优化部署，提高其整体资源利用率，降低成本。这就要求服务系统能够适应动态变化和动态扩展，在满足用户需求的前提下兼顾效率，更高效地利用应用资源，并能够最大化不同用户间的资源共享。由于服务用户众多，在线服务系统的实时可靠性要求也更高。

目前主流的SaaS应用中，最终用户所使用的是一个只为所用不为所有的虚拟系统，这个“系统”由若干服务组件组合而成，因此，SaaS应用所对应组件集合的优化部署能力成为提升SaaS应用服务性能与资源使用效率的一个关键。与传统的应用优化和可靠性保障不同，通过服务组件的动态迁移，可以实现更为高效的部署，以支持实时、在线服务系统的运营需求。

服务迁移是在软件服务化趋势下，针对面向服务架构中基于服务部署的系统提出的一个新的问题，是指将服务迁移部署到新的宿主位置，并确保对业务系统的最小负面影响。在动态、大规模、需要自动化处理的应用环境中，服务迁移是一种更为理想的服务部署方法。通过服务迁移，可以以较小的迁移代价确保服务的可用性、性能的可靠性以及服务能力的扩展需求，从而实现整个服务系统的灵活性与可扩展性，是确保软件服务系统持久高效运营的一种有效策略。

服务迁移从类型上可以分为离线迁移和在线迁移；从服务状态保持上又可以分为有状态迁移和无状态迁移两种；在迁移的实现上，有自动迁移，半自动迁移与手动迁移等多种不同的方式。

离线迁移是指将服务转移到重新配置的位置并重新启动。在迁移的过程中需要暂停或中止当前的服务，因此离线迁移不可避免的会干扰正常商务系统的运行，从而造成服务中断和服务质量的下降；另外，多租户服务系统运行时的访问和业务负载弹性大，由于负载波动造成的暂时性服务系统性能下降或能力不足问题非常普遍，如果频繁的中止服务进行迁移，势必造成系统可用性的下降。

所以，离线迁移并不适合目前SaaS服务系统的运营需求，需要采用在线迁移的方法，确保迁移过程对用户的透明性，不干扰用户业务的执行；其中，迁移时机和迁移路线的选择，也是迁移有效与否的重要因素，需要结合服务负载情况制定良好的迁移策略。迁移过程是服务宿主环境的变化，会对当前服务上下文产生影响，无状态的服务迁移由于不需要考虑之前服务的内容，相对较简单。但实际业务应用中，大量使用的是有状态的服务迁移，需要确保迁移前后服务上下文的一致性，从而使服务的执行不受影响；但由于服务本身的松散耦合、异构、分布等特点使得状态的表达、转移和保持变得非常困难。

手动迁移需要人工做出判断，在管理员的干预下，启动迁移程序，完成服务到新的宿主位置的迁移；半自动迁移则可以依靠指标的评价，自动的做出迁移决策，发出迁移指令，并由管理员完成迁移的操作；而自动迁移则是根据服务系统的迁移策略或者负载变化，实时响应迁移需求，并自动的完成迁移工作。

服务迁移时需要综合考虑服务实例、状态表示、数据等诸多方面的因素，一旦出现反复的迁移操作，即迁移抖动问题，会带来比较大的系统开销。

解决服务迁移问题，首先要找到引发迁移需求的原因。尽管服务迁移是出于避免系统崩溃或优化运行效率的考虑，其直接原因是系统负载的变化，但造成这种变化的最根本原因却是服务系统的实际业务承载量的变化，这体现了系统外因（业务承载量）通过作用于内因（服务系统）影响系统性能的机理过程。实际应用中，服务系统的负载直接取决于典型业务量的大小，如电子商务订单系统中采购订单量增加，用户并发访问量大，对该服务的请求会显著增加，从而加大了服务的负载。因此从业务预测出发做出迁移决策是一种合理的考虑，然而，影响服务系统负载的业务指标有很多，它们对最终负载的影响因子不同，相互制约和共同作用也不同，这些问题往往由于服务系统的复杂和多样性而难以确定。可以考虑引入重要度理论，特别是基于多因素共同作用的共因重要度理论，计算各因素变化对系统性能的影响程度。业务预测可以采用各种数学工具，基于概率的方法是其中较为成熟的一种手段。商用的软件服务，作为受市场自然调节的业务系统，其实际承载的业务流量的变化过程可以看作是一种符合马尔可夫链特征的随机过程，即，t+1时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关，并且从t时刻到t+1时刻的状态转移与t的值无关，因此可以用来马尔可夫链方法来预测业务流量的变化趋势。

发明内容

本发明为解决服务系统负载预测与均衡问题，针对软件服务均衡和服务迁移中，单纯依赖实时系统负载指标的局限性所提出的一种融合业务预测与实时负载的两阶段负载预测与均衡方法。传统负载均衡依赖于短期甚至实时的系统负载指标，实质是软件服务负载的表象和负载超负荷的内因，其外因则是由于软件服务所承载业务量的增长，外因通过内因影响服务系统的负载；同时，由于实时负载指标反映的信息不能超前、指标变化频繁从而容易带来均衡处理时间短促和服务迁移抖动等问题。本发明首先从业务预测出发，根据业务承载量的涨落得出服务系统负载的可能变化趋势，并基于概率算法做出准确的预测，再结合系统实时负载指标，综合做出均衡决策，用于软件服务的优化部署和动态迁移。

为了实现上述目的，本发明采用如下技术方案。

一种融合业务预测与实时负载的两阶段负载预测与均衡方法，包括如下步骤：

1）业务负载指标共因重要度分析；

基于重要度理论分析影响服务负载的主要指标，确定影响服务负载和造成服务崩溃的主要因素，使用概率重要度方法，在已知指标变化数据的条件下，评价每个指标对服务系统承载业务量的影响程度；基于多业务指标的共因重要度评价模型和算法衡量多业务指标共同变化对系统性能的影响程度，从而确定需要预测的关键业务指标。

2）基于马尔科夫链模型的业务预测；

在实际的服务运营中，业务承载量的变化具有一定的规律，是在市场需求的周期性变化、企业经营策略的转型等因素的综合影响下的结果；因此，用基于贝叶斯方法和马尔科夫链的概率方法预测业务承载量的变化，从宏观和趋势上准确掌握服务的负载变化趋势，并结合实时的服务负载监测，综合评价给出迁移决策。

3）系统实时负载衡量；

节点的负载通常用一些运行时的信息来反映，例如CPU利用率，内存利用率，交换空间利用率等，但这些指标只能反映整个节点的负载状况，不能反映处理Web请求的进程承受的压力。本发明提出一种能够反映在线服务请求变化实际情况的负载衡量方法和负载指标效用函数，结合实际运行数据测算和验证，确定合理的参数。

4）确定服务组件迁移决策；

服务迁移的一个重要作用是均衡服务的业务负载，以降低服务响应时间，提高服务的质量和可用性，因此需要制定合理的迁移策略以保证当服务承载的业务负载过高时能够及时地进行服务迁移。在选择需要迁移的实例和迁移的目标宿主位置时，根据已经得出的迁移决策，综合迁移效率和迁移成本计算给出迁移路线。

本发明的有益效果是，改变了软件服务均衡和服务迁移中单纯依赖实时系统负载指标的局限性；综合业务预测的趋势性与实时负载衡量的时效性，可以得出更为准确和全面的预测，从而为负载均衡赢得宝贵的处理时间；基于超前预测还可以做出更为合理的迁移路线选择，从而避免迁移抖动问题为出现。因此，本发明可广泛应用于软件服务的优化部署和动态迁移。

附图说明

图1为本发明方法原理图。

图2为在线服务迁移系统原型架构示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

本发明的最佳实施方式是结合在商用服务系统，通过系统提供的模型和方法调用接口使用本发明系统。

本实施例提出的融合业务预测与实时负载的两阶段负载预测与均衡方法，如图1所示。服务迁移过程涉及的方法如下：

1）业务负载指标共因重要度分析；

基于重要度理论分析影响服务负载的主要指标，确定影响服务负载和造成服务崩溃的主要因素，使用概率重要度方法，在已知指标变化数据的条件下，评价每个指标对服务系统承载业务量的影响程度；基于多业务指标的共因重要度评价模型和算法衡量多业务指标共同变化对系统性能的影响程度，从而确定需要预测的关键业务指标。

2）基于马尔科夫链模型的业务预测；

在实际的服务运营中，业务承载量的变化具有一定的规律，是在市场需求的周期性变化、企业经营策略的转型等因素的综合影响下的结果；因此，用基于贝叶斯方法和马尔科夫链的概率方法预测业务承载量的变化，从宏观和趋势上准确掌握服务的负载变化趋势，并结合实时的服务负载监测，综合评价给出迁移决策。

在多租户的服务系统中，租户业务的超负荷是发生服务迁移需求的主要原因之一，比如节日销售旺季带来的在线商业系统极端峰值访问。而在实际的服务运营中，租户业务的变化具有一定的规律，它是在市场需求的周期性变化、企业经营策略的转型等因素的综合影响下的结果，因此，服务租户应用业务负载预测方法，可以从宏观和趋势上准确掌握服务的负载变化趋势。预测的基本步骤如下：

第一步：确定衡量业务负载的主要参数，并对该业务进行科学的状态划分，至少划分出两个状态，这些状态就是要预测的内容；

第二步：对业务参数变化的各种状态的当前状态概率进行统计测定，即判定出业务当前所处的状态；

第三步：对业务参数各个状态未来发展的转移概率进行测定，若在未来较长时间内是平稳发展转移的，则系统状态的每次转移会保持相同的转移概率；若在未来较长时间内是起伏震荡的，则状态每转移一次就需要对转移概率测定一次，状态每次转移的时间间隔则需要根据具体的业务确定；

第四步：根据选择的业务参数当前的各状态概率和状态转移概率运用矩阵的方法，推演出未来经过若干次转移后，保持在某一状态的概率值，从而做出判断。

3）系统实时负载衡量；

服务器主要是用来接收用户的请求，因此，用户请求的数量从一定程度上反应了该服务器的性能。不同配置的节点对请求的处理能力不同，但是不同的服务器对请求处理的性能可以通过测试实验来获得。

以rpmC值来反应服务器峰值负载时处理用户请求的性能，rpm(Requests Per Minutes)，指每分钟内系统处理的新请求数；C指rpm中的原子操作，即不同类型的请求都可以以千单位（KC）的形式来表示。rpmC值的计算过程如下：

假设服务器i上有j个服务，以下符号分别表示为：

R_ij：服务器i上的第j个服务峰值时的最大请求数；

T_ij：服务器i上第j个服务的响应时间阈值；

规定，服务器峰值负载时CPU利用率为75％，则：

$\mathrm{rpmC}=\frac{({\mathrm{\Σ}}_{j=0}^n{R}_{\mathrm{ij}}*k_{j}C)*\frac{60}{{\mathrm{\Σ}}_{j=0}^n\frac{R_{\mathrm{ij}}*k_{j}C*T_{\mathrm{ij}}}{{\mathrm{\Σ}}_{k=0}^n{R}_{\mathrm{ik}}*k_{j}C}}}{75\%}$

系统综合基于马尔科夫链方法预测得出的服务租户应用在未来时刻的业务涨落情况和通过监测每个节点的rpmC值来判断该节点是否过载，来决定是否触发服务迁移。

4）确定服务组件迁移决策

服务迁移的一个重要作用是均衡服务的业务负载，以降低服务响应时间，提高服务的质量和可用性，因此需要制定合理的迁移策略以保证当服务承载的业务负载过高时能够及时地进行服务迁移。在选择需要迁移的实例和迁移的目标宿主位置时，根据已经得出的迁移决策，综合迁移效率和迁移成本计算给出迁移路线。

迁移策略主要包括两个方面的内容：首先是基于业务预测和实时负载衡量，确定迁移决策；然后是基于迁移效率和迁移成本选择迁移实例和目标宿主位置。在选择需要迁移的实例和迁移的目标宿主位置时，根据已经得出的迁移需求，综合迁移效率和迁移成本计算给出迁移路线。

①选择迁移服务实例；

为了避免由于服务实例选择不当造成的迁移抖动现象，需结合业务预测来选择最终要迁移的实例，具体步骤为：

第一步：服务器i上有n个服务实例，初始化各个服务实例的标记值为0，其中，标记值为1的表示不可迁移，标记值为2的表示可扩展。当该服务器负载时，找到此刻请求数最大的服务实例，记为：S_ik；

第二步：除S_ik服务实例外，其他的服务看成一个整体，记为：W，S_ij∈W，j≠k；

第三步：计算下列各个参数的值；

R_ik：服务实例k的请求数；

预测将来一段时期的最大请求数；

R_i：对应W的服务的请求数；

对应W的预测最大请求数。

第四步：计算

情况1.ΔK＞0&&ΔW＞0；

若R_ik＞ΔW，符合条件可以迁移该实例，若该实例的迁移消耗太大，将该服务标记为1，从剩余服务中选择请求数最大的实例，且该实例的标记值为0，返回到第二步，否则迁移该实例；返回该服务实例，准备迁移；

若R_ik＜ΔW，迁移该服务实例不能解决负载，将该服务标记为1，从剩余服务中选择请求数最大的实例，且该实例的标记值为0，返回到第二步；

情况2.ΔK＞0&&ΔW＜0；

若ΔK＜|ΔW|，则不需要迁移；

若ΔK＞|ΔW|，则需要迁移该实例，若该实例的迁移消耗太大，则需要扩展该实例将该实例的标记值改为2。

情况3.ΔK＜0&&ΔW＞0；

若|ΔK|＜ΔW&&R_ik＞ΔW，需要迁移实例，若该实例的迁移消耗太大，将该服务标记为1，从剩余服务中选择请求数最大的实例，且该实例的标记值为0，返回到第二步，否则迁移该实例。返回该服务实例，准备迁移。

若|ΔK|＜ΔW&&R_ik＜ΔW，迁移该服务实例不能解决负载，将该服务标记为1，从剩余服务中选择请求数最大的实例，且该实例的标记值为0，返回到第二步；

若|ΔK|＞ΔW，则不需要迁移；

情况4.ΔK＜0&&ΔW＜0，不需要迁移实例。

第五步：若最后没有一个实例可迁移，则扩展标记值为2的一个服务实例。

②选择目的节点（根据负载衡量公式获得）；

确定要迁移的服务实例S_k后，预测该实例在未来一段时间的最大请求数，并根据该实例要求的响应时间阈值来寻找合适的服务器，选择步骤为：

第一步：假设S_k要迁移到服务器i上，则记R_ik为S_k预测的最大请求数，T_ik为S_k响应时间阈值；

第二步：计算，S_k部署到i上时，i峰值负载时所有服务的平均响应时间阈值：

第三步：计算S_k加入到i上时，所能承受的最大请求数；

若新服务可以迁移到服务器i上，否则不能迁移。

基于本发明方法的在线服务迁移系统原理，如图2所示：

在线服务迁移系统作为商用软件服务系统的后台运维支持子系统，由请求转发器和服务迁移控制器组成。

请求转发器运行在监控服务器上，由消息组件，请求定位器，服务迁移引擎，迁移策略模块，负载评价模块和监控模块组成。主要的职能是根据服务租户应用面临的业务负载以及服务组件的实时访问负载启动迁移，并控制服务迁移的整个流程以及依据迁移后的状态执行请求转发。

服务迁移控制器运行在每个服务宿主节点上。由消息组件，服务迁移引擎和监控客户端组成。主要负责收集节点的运行时信息以及服务发布包和状态信息的迁移。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (2)

1.一种融合业务预测与实时负载的两阶段负载预测与均衡方法，包括如下步骤：

1)业务负载指标共因重要度分析；

基于重要度理论分析影响服务负载的主要指标，确定影响服务负载和造成服务崩溃的主要因素，使用概率重要度方法，在已知指标变化数据的条件下，评价每个指标对服务系统承载业务量的影响程度；基于多业务指标的共因重要度评价模型和算法衡量多业务指标共同变化对系统性能的影响程度，从而确定需要预测的关键业务指标；

2)基于马尔科夫链模型的业务预测；

在实际的服务运营中，业务承载量的变化具有一定的规律，是在市场需求的周期性变化、企业经营策略的转型因素的综合影响下的结果；因此，用基于贝叶斯方法和马尔科夫链的概率方法预测业务承载量的变化，从宏观和趋势上准确掌握服务的负载变化趋势，并结合实时的服务负载监测，综合评价给出迁移决策；

3)系统实时负载衡量；

一种能够反映在线服务请求变化实际情况的负载衡量方法和负载指标效用函数，结合实际运行数据测算和验证，确定合理的参数；

服务器主要是用来接收用户的请求，因此，用户请求的数量从一定程度上反应了该服务器的性能。不同配置的节点对请求的处理能力不同，但是不同的服务器对请求处理的性能可以通过测试实验来获得；

以rpmC值来反应服务器峰值负载时处理用户请求的性能，rpm(Requests Per Minutes)，指每分钟内系统处理的新请求数；C指rpm中的原子操作，即不同类型的请求都可以以千单位(kC)的形式来表示。rpmC值的计算过程如下：

假设服务器i上有j个服务，以下符号分别表示为：

R_ij：服务器i上的第j个服务峰值时的最大请求数；

T_ij:服务器i上第j个服务的响应时间阈值；

规定，服务器峰值负载时CPU利用率为75％，则：

系统综合基于马尔科夫链方法预测得出的服务租户应用在未来时刻的业务涨落情况和通过监测每个节点的rpmC值来判断该节点是否过载，来决定是否触发服务迁移；

4)确定服务组件迁移决策；

服务迁移的一个重要作用是均衡服务的业务负载，以降低服务响应时间，提高服务的质量和可用性，因此需要制定合理的迁移策略以保证当服务承载的业务负载过高时能够及时地进行服务迁移；在选择需要迁移的实例和迁移的目标宿主位置时，根据已经得出的迁移决策，综合迁移效率和迁移成本计算给出迁移路线；

迁移策略主要包括两个方面的内容：首先是基于业务预测和实时负载衡量，确定迁移决策；然后是基于迁移效率和迁移成本选择迁移实例和目标宿主位置；在选择需要迁移的实例和迁移的目标宿主位置时，根据已经得出的迁移需求，综合迁移效率和迁移成本计算给出迁移路线；

第一步，选择迁移服务实例；

第二步，选择目的节点，根据负载衡量公式获得。

2.如权利要求1所述的融合业务预测与实时负载的两阶段负载预测与均衡方法，其特征是，所述步骤2)中，

在多租户的服务系统中，租户业务的超负荷是发生服务迁移需求的主要原因之一，而在实际的服务运营中，租户业务的变化具有一定的规律，它是在市场需求的周期性变化、企业经营策略的转型因素的综合影响下的结果，因此，服务租户应用业务负载预测方法，能从宏观和趋势上准确掌握服务的负载变化趋势，预测的基本步骤如下：

第一步，确定衡量业务负载的主要参数，并对该业务进行科学的状态划分，至少划分出两个状态，这些状态就是要预测的内容；

第二步，对业务参数变化的各种状态的当前状态概率进行统计测定，即判定出业务当前所处的状态；

第三步，对业务参数各个状态未来发展的转移概率进行测定，若在未来较长时间内是平稳发展转移的，则系统状态的每次转移会保持相同的转移概率；若在未来较长时间内是起伏震荡的，则状态每转移一次就需要对转移概率测定一次，状态每次转移的时间间隔则需要根据具体的业务确定；

第四步，根据选择的业务参数当前的各状态概率和状态转移概率运用矩阵的方法，推演出未来经过若干次转移后，保持在某一状态的概率值，从而做出判断。