CN103067297B - 一种基于资源消耗预测的动态负载均衡方法及装置 - Google Patents

Abstract

本发明涉及一种基于资源消耗预测的动态负载均衡方法及装置，该方法包括：计算平均资源消耗，所述平均资源消耗是各服务节点针对每种服务类型的单个服务的资源消耗；根据请求的服务类型和所述平均资源消耗，预测出各服务节点在接收所述请求后的资源消耗，得到预测资源消耗；根据所述预测资源消耗，计算各服务节点对于所述请求的优先级；以及将所述请求分发到优先级最高的服务节点。本发明通过采集服务节点的资源消耗和在线服务数量来预测服务节点的实时资源消耗，改善了资源消耗数据的非实时性；本发明还充分考虑到不同类型的请求对于服务节点中各项资源消耗的差异性，优化了请求分发。

Description

一种基于资源消耗预测的动态负载均衡方法及装置

技术领域

本发明涉及通信领域，特别涉及到一种基于资源消耗预测的动态负载均衡方法及装置。

背景技术

按照是否考虑后端服务节点的真实负载情况，负载均衡方法可以分为静态负载均衡方法和动态负载均衡方法。相对来说，动态负载均衡方法比静态负载均衡方法在请求分发层面上更为合理。

一方面，现有的动态负载均衡方法需要对后端服务节点的各项资源消耗进行采集，采集项包含后端服务节点的CPU使用率、内存使用率等。然后，根据采集的指标得出后端服务节点的负载度量，从而以该负载度量来决定请求分发。然而，在动态负载均衡的执行中，每间隔一段时间就要采集一次后端服务节点的资源消耗，而这样获得的资源消耗数据并不是实时的。现有的动态负载均衡方法不能很好的解决这一问题，从而造成请求分配的不均衡。

另一方面，在现在的服务系统中存在大量不同类型的服务，其中，多类服务可由一个服务节点提供。实际上，不同类型的服务的资源消耗情况是不一样的。例如，对静态页面的请求主要消耗磁盘I/O和带宽，对动态页面的请求主要消耗CPU和内存。现有的负载均衡方法没有充分考虑到这一点，从而无法实现最优的请求分发。

由此可见，现有的动态负载均衡方法存在着资源消耗数据非实时、没有充分考虑不同类型服务对资源消耗的差异性，从而导致请求分发不合理。

发明内容

本发明的目的是提供一种能够克服上述缺陷的基于资源预测的动态负载均衡方法及装置。

在本发明的第一方面，提供了一种基于资源消耗预测的动态负载均衡方法，包括：计算平均资源消耗，所述平均资源消耗是各服务节点针对每种服务类型的单个服务的资源消耗；根据请求的服务类型和所述平均资源消耗，预测出各服务节点在接收所述请求后的资源消耗，得到预测资源消耗；根据所述预测资源消耗，计算各服务节点对于所述请求的优先级；以及将所述请求分发到优先级最高的服务节点。

在本发明的第二方面，提供了一种基于资源消耗预测的动态负载均衡装置，包括：平均资源消耗计算模块，用于计算平均资源消耗，所述平均资源消耗是各服务节点针对每种服务类型的单个服务的资源消耗；预测资源消耗计算模块，用于根据请求的服务类型和所述平均资源消耗，计算出各服务节点在接收所述请求后的资源消耗，得到预测资源消耗；优先级计算模块，用于根据所述预测资源消耗，计算各服务节点对于所述请求的优先级；以及请求分发模块，用于将所述请求分发到优先级最高的服务节点。

本发明通过采集服务节点的资源消耗和在线服务数量来预测服务节点的实时资源消耗，改善了资源消耗数据的非实时性；本发明还充分考虑到不同类型的请求对于服务节点中各项资源消耗的差异性，优化了请求分发。

附图说明

图1是根据本发明实施例的基于资源消耗预测的动态负载均衡的流程示意图。

图2是根据本发明实施例的基于资源消耗预测的动态负载均衡装置的示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图1是根据本发明实施例的基于资源消耗预测的动态负载均衡的流程示意图。

在步骤101，对各服务节点为每种服务提供单个服务所需的资源消耗进行初始化计算，其中，i为服务节点标识，j为服务类型标识。通过实现测试各服务节点针对每种服务类型的最大负载能力，可以得到各服务节点针对每种服务类型的最大服务连接的资源消耗及其对应的每种服务类型的最大服务数量。

例如，服务节点Serve_ri提供j类型的最大服务连接的资源消耗可以用矩阵表示为：

$L_i^{j\max }=\left[\begin{array}{ccccc}{L}_i^{\mathrm{cpu}}& L_i^{\mathrm{mem}}& L_i^{\mathrm{io}}& L_i^{\mathrm{net}}& L_i^{\mathrm{route}}\end{array}\right],$ 其中 $\begin{array}{ccccc}{L}_i^{\mathrm{cpu}}& L_i^{\mathrm{mem}}& L_i^{\mathrm{io}}& L_i^{\mathrm{net}}& L_i^{\mathrm{route}}\end{array}$ 分别为该服务节点的CPU使用率、内存使用率、磁盘I/O使用率、网络带宽使用率、路由时间的归一化值。

所述的初始值计算方法为：

其中为第i个服务节点所提供的第j种服务的最大服务连接数。

在步骤102，定期采集各服务节点的资源消耗。

服务节点的资源消耗包括但不限于CPU使用率、内存使用率、磁盘I/O使用率、网络带宽使用率、路由时间（反映与网络上其他节点间的网络情况）的归一化值。服务节点Server_i的资源消耗可以用矩阵表示为：

$L_i=\left[\begin{array}{ccccc}{L}_i^{\mathrm{cpu}}& L_i^{\mathrm{mem}}& L_i^{\mathrm{io}}& L_i^{\mathrm{net}}& L_i^{\mathrm{route}}\end{array}\right],$ 其中 $\begin{array}{ccccc}{L}_i^{\mathrm{cpu}}& L_i^{\mathrm{mem}}& L_i^{\mathrm{io}}& L_i^{\mathrm{net}}& L_i^{\mathrm{route}}\end{array}$ 分别为服务节点的CPU使用率、内存使用率、磁盘I/O使用率、网络带宽使用率、路由时间的归一化值，如表1所示。

表1示出了各服务节点的资源消耗。

表1

在步骤103，实时记录各服务节点的在线服务的每种类型服务的数量。当向服务节点分发客户端发送来的请求时，根据该请求的服务类型，增加该服务节点的该服务类型的服务数量；当服务节点完成该请求的服务时，减少该服务节点的该服务类型的服务数量。这样，可以实时记录并更新服务节点所提供的每种类型的服务数量，如表2所示。

表2示出了各服务节点提供的各类服务的数量。

在步骤104，根据各服务节点的资源消耗的变化和各服务节点所提供的每种类型的服务数量的变化对进行更新。

通过采集，服务节点Server_i在t时刻统计到的最新资源消耗为：

$L_i\left[t\right]=\left[\begin{array}{ccccc}{L}_i^{\mathrm{cpu}}\left[t\right]& L_i^{\mathrm{mem}}\left[t\right]& L_i^{\mathrm{io}}\left[t\right]& L_i^{\mathrm{net}}\left[t\right]& L_i^{\mathrm{route}}\left[t\right]\end{array}\right]$

$\begin{array}{ccccc}{L}_i^{\mathrm{cpu}}\left[t\right]& L_i^{\mathrm{mem}}\left[t\right]& L_i^{\mathrm{io}}\left[t\right]& L_i^{\mathrm{net}}\left[t\right]& L_i^{\mathrm{route}}\left[t\right]\end{array}$ 分别为服务节点在t时刻各项资源的消耗，即CPU使用率、内存使用率、磁盘I/O使用率、网络带宽使用率和路由时间。

服务节点Server_i在t时刻所提供服务的每种类型的服务数量/请求数为：

N为服务类型的数量

假设每隔ΔT时间采集一次服务节点的资源消耗，那么计算服务节点Server_i上提供每种类型服务的单个服务资源消耗的方法包括以下步骤：

在步骤104-1，根据最新采集到的资源消耗L_i[t]和上一次采集到的资源消耗L_i[t-ΔT]得到此次采集周期之内服务节点Server_i资源消耗的变化ΔL_i[t]：

ΔL_i[t]=L_i[t]-L_i[t-ΔT]

在步骤104-2，根据最新采集时的服务数量和上一次采集时的服务数量得到此次采集周期之内，服务节点Server_i对Service_j服务的服务数量/请求数的变化

${\mathrm{\ΔCon}}_i^j={\mathrm{Con}}_i^j\left[t\right]-{\mathrm{Con}}_i^j[t-\mathrm{\ΔT}];$

在步骤104-3，根据步骤104-1和步骤104-2的结果计算服务节点Server_i对服务类型Service_j的每个请求的平均资源消耗可以通过下列方程式组来进行计算：

$\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{AvgL}}_i^j*{\mathrm{\ΔCon}}_i^j={\mathrm{\ΔL}}_i^j,$ N为服务种类数目；

在步骤104-4，如果上述方程组不足以解出则可以利用上个采集周期内的和按照上述方法构造新的方程，直到可以解出每个为止。换言之，通过获得更多的资源消耗和服务数量的差值，构建更多的方程来求解。一般情况下，如果有N种不同种类的服务，需要至少N个方程。

在步骤105，接收来自客户端通过网络发送的请求。

在步骤106，假设各个服务节点为此请求提供服务，利用各服务节点提供此类型服务的单个服务资源消耗，预测各服务节点的资源消耗，即：服务节点Server_i若接受Service_j请求后的资源消耗表示为：

在步骤107，计算服务节点提供请求的优先级。

每个服务节点具有预先设置的资源消耗告警阈值 $\mathrm{TotalL}=\begin{array}{ccccc}{L}^{\mathrm{cpu}}& L^{\mathrm{mem}}& L^{\mathrm{io}}& L^{\mathrm{net}}& L^{\mathrm{route}},\end{array}$ 即为各服务节点的各项资源消耗都设置了告警阈值，即CPU使用率、内存使用率、磁盘I/O使用率、网络带宽使用率、路由时间。通过将NextL_i与TotalL^j中的各项资源阈值分别进行比较，再将比较得到的多个差值进行规一化，然后从中找出最小的归一化差值并将其作为该服务节点针对该请求的优先级。

例如，对Service_j服务类型的请求，服务节点Server_i针对该请求的优先级可表达为： $P_i=\min (1-\frac{L_i+{\mathrm{AvgL}}_i^j}{\mathrm{TotalL}}).$

在步骤108，选择优先级最大的服务节点为此请求提供服务。

比较所有服务节点针对此请求的优先级，从中选出优先级最大的服务节点，将该请求转发给该服务节点。

图2是根据本发明实施例的基于资源消耗预测的动态负载均衡装置的示意图。

在装置启动初始，平均资源初始化模块对各服务节点为每种服务提供单个服务所需的资源消耗进行初始化计算，其中，i为服务节点标识，j为服务类型标识。通过实现测试各服务节点针对每种服务类型的最大负载能力，可以得到各服务节点针对每种服务类型的最大服务连接的资源消耗及其对应的每种服务类型的最大服务数量。

例如，服务节点Server_i提供j类型的最大服务连接的资源消耗可以用矩阵表示为：

$L_i^{j\max }=\left[\begin{array}{ccccc}{L}_i^{\mathrm{cpu}}& L_i^{\mathrm{mem}}& L_i^{\mathrm{io}}& L_i^{\mathrm{net}}& L_i^{\mathrm{route}}\end{array}\right],$ 其中 $\begin{array}{ccccc}{L}_i^{\mathrm{cpu}}& L_i^{\mathrm{mem}}& L_i^{\mathrm{io}}& L_i^{\mathrm{net}}& L_i^{\mathrm{route}}\end{array}$ 分别为该服务节点的CPU使用率、内存使用率、磁盘I/O使用率、网络带宽使用率、路由时间的归一化值。

所述的初始值计算方法为：

其中为第i个服务节点所提供的第j种服务的最大服务连接数。

在装置启动后，采集模块定期采集各服务节点的资源消耗。

服务节点的资源消耗包括但不限于CPU使用率、内存使用率、磁盘I/O使用率、网络带宽使用率、路由时间（反映与网络上其他节点间的网络情况）的归一化值。服务节点Server_i的资源消耗可以用矩阵表示为：

$L_i=\left[\begin{array}{ccccc}{L}_i^{\mathrm{cpu}}& L_i^{\mathrm{mem}}& L_i^{\mathrm{io}}& L_i^{\mathrm{net}}& L_i^{\mathrm{route}}\end{array}\right],$ 其中 $\begin{array}{ccccc}{L}_i^{\mathrm{cpu}}& L_i^{\mathrm{mem}}& L_i^{\mathrm{io}}& L_i^{\mathrm{net}}& L_i^{\mathrm{route}}\end{array}$ 分别为服务节点的CPU使用率、内存使用率、磁盘I/O使用率、网络带宽使用率、路由时间的归一化值，如表1所示。

表1示出了各服务节点的资源消耗。

表1

记录模块实时记录各服务节点的在线服务的每种类型服务的数量。当向服务节点分发客户端发送来的请求时，根据该请求的服务类型，增加该服务节点的该服务类型的服务数量；当服务节点完成该请求的服务时，减少该服务节点的该服务类型的服务数量。这样，可以实时记录并更新服务节点所提供的每种类型的服务数量，如表2所示。

表2示出了各服务节点提供的各类服务的数量。

基于采集和记录的信息，平均资源消耗计算模块根据各服务节点的资源消耗的变化和各服务节点所提供的每种类型的服务数量的变化对进行更新。

通过采集，服务节点Server_i在t时刻统计到的最新资源消耗为：

$L_i\left[t\right]=\left[\begin{array}{ccccc}{L}_i^{\mathrm{cpu}}\left[t\right]& L_i^{\mathrm{mem}}\left[t\right]& L_i^{\mathrm{io}}\left[t\right]& L_i^{\mathrm{net}}\left[t\right]& L_i^{\mathrm{route}}\left[t\right]\end{array}\right]$

$\begin{array}{ccccc}{L}_i^{\mathrm{cpu}}\left[t\right]& L_i^{\mathrm{mem}}\left[t\right]& L_i^{\mathrm{io}}\left[t\right]& L_i^{\mathrm{net}}\left[t\right]& L_i^{\mathrm{route}}\left[t\right]\end{array}$ 分别为服务节点在t时刻各项资源的消耗，即CPU使用率、内存使用率、磁盘I/O使用率、网络带宽使用率和路由时间。

服务节点Server_i在t时刻所提供服务的每种类型的服务数量/请求数为：

N为服务类型的数量

假设每隔ΔT时间采集一次服务节点的资源消耗，那么计算服务节点Server_i上提供每种类型服务的单个服务资源消耗的方法包括以下步骤：

首先，根据最新采集到的资源消耗L_i[t]和上一次采集到的资源消耗L_i[t-ΔT]得到此次采集周期之内服务节点Server_i资源消耗的变化ΔL_i[t]：

ΔL_i[t]=L_i[t]-L_i[t-ΔT]

接下来，根据最新采集时的服务数量和上一次采集时的服务数量得到此次采集周期之内，服务节点Server_i对Service_j服务的服务数量/请求数的变化

${\mathrm{\ΔCon}}_i^j={\mathrm{Con}}_i^j\left[t\right]-{\mathrm{Con}}_i^j[t-\mathrm{\ΔT}];$

然后，根据上述计算结果计算服务节点Server_i对服务类型Service_j的每个请求的平均资源消耗可以通过下列方程式组来进行计算：

$\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{AvgL}}_i^j*{\mathrm{\ΔCon}}_i^j={\mathrm{\ΔL}}_i^j,$ N为服务种类数目。

另外，如果上述方程组不足以解出则可以利用上个采集周期内的和按照上述方法构造新的方程，直到可以解出每个为止。换言之，通过获得更多的资源消耗和服务数量的差值，构建更多的方程来求解。一般情况下，如果有N种不同种类的服务，需要至少N个方程。

根据本发明实施例的基于资源预测的动态负载均衡装置可以被包含在服务器中，并且该服务器通过网络与客户端和服务节点相连接。因此，根据本发明实施例的基于资源预测的动态负载均衡装置会通过网络接收来自客户端的服务请求。

假设各个服务节点为此请求提供服务，预测资源消耗模块利用各服务节点提供此类型服务的单个服务资源消耗，预测各服务节点的资源消耗，即：服务节点Server_i若接受Service_j请求后的资源消耗表示为：

然后，优先级计算模块计算服务节点提供请求的优先级。优先级模块包括比较模块、归一化模块、优先级选择模块。

每个服务节点具有预先设置的资源消耗告警阈值TotalL^j， $\mathrm{TotalL}=\begin{array}{ccccc}{L}^{\mathrm{cpu}}& L^{\mathrm{mem}}& L^{\mathrm{io}}& L^{\mathrm{net}}& L^{\mathrm{route}},\end{array}$ 即为各服务节点的各项资源消耗都设置了告警阈值，即CPU使用率、内存使用率、磁盘I/O使用率、网络带宽使用率、路由时间。比较模块通过将NextL_i与TotalL^j中的各项资源阈值分别进行比较，归一化模块再将比较得到的多个差值进行规一化，然后优先级选择模块从中找出最小的归一化差值并将其作为该服务节点针对该请求的优先级。

例如，对Service_j服务类型的请求，服务节点Server_i针对该请求的优先级可表达为： $P_i=\min (1-\frac{L_i+{\mathrm{AvgL}}_i^j}{\mathrm{TotalL}}).$

最后，请求分发模块选择优先级最大的服务节点为此请求提供服务。

请求分发模块比较所有服务节点针对此请求的优先级，从中选出优先级最大的服务节点，将该请求分发到该服务节点。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于资源消耗预测的动态负载均衡方法，包括：

计算平均资源消耗，所述平均资源消耗是各服务节点针对每种服务类型的单个服务的资源消耗；

根据请求的服务类型和所述平均资源消耗，预测出各服务节点在接收所述请求后的资源消耗，得到预测资源消耗；

根据所述预测资源消耗，计算各服务节点对于所述请求的优先级；以及

将所述请求分发到优先级最高的服务节点；

其中，所述计算平均资源消耗的步骤包括：

根据各服务节点在一个或多个时刻的资源消耗和各服务节点在所述一个或多个时刻针对每种服务类型的服务数量，计算所述平均资源消耗；

其中，所述各服务节点在一个或多个时刻的资源消耗是通过对各服务节点进行定时采集得到的，所述各服务节点在所述一个或多个时刻针对每种服务类型的服务数量是通过对请求分发和请求完成的记录得到的。

2.根据权利要求1所述的方法，其中，所述根据所述预测资源消耗，计算各服务节点对于所述请求的优先级的步骤包括：

比较所述预测资源消耗与预先设定的各服务节点的各项资源消耗阈值，得到多个差值；

对所述多个差值进行归一化，得到多个归一化差值；以及

将多个归一化差值中最小的归一化差值选择为所述优先级。

3.根据权利要求1所述的方法，还包括：

根据预先得到的最大资源消耗和最大服务数量对所述平均资源消耗进行初始化，其中，所述最大资源消耗是各服务节点针对每种服务类型的最大服务数量的资源消耗，所述最大服务数量是各服务节点针对每种服务类型的最大服务数量。

4.根据权利要求1-3之一所述的方法，其中，所述资源消耗包括服务节点的CPU使用率、内存使用率、磁盘I/O使用率、网络带宽和路由时间中的一个或多个。

5.一种基于资源消耗预测的动态负载均衡装置，包括：

平均资源消耗计算模块，用于计算平均资源消耗，所述平均资源消耗是各服务节点针对每种服务类型的单个服务的资源消耗；

预测资源消耗计算模块，用于根据请求的服务类型和所述平均资源消耗，计算出各服务节点在接收所述请求后的资源消耗，得到预测资源消耗；

优先级计算模块，用于根据所述预测资源消耗，计算各服务节点对于所述请求的优先级；以及

请求分发模块，用于将所述请求分发到优先级最高的服务节点；

采集模块，用于对各服务节点在一个或多个时刻的资源消耗进行定时采集；以及

记录模块，用于通过对请求分发和请求完成的记录，得到各服务节点在所述一个或多个时刻针对每种服务类型的服务数量；

其中，所述平均资源消耗计算模块根据所述各服务节点在一个或多个时刻的资源消耗和所述各服务节点在所述一个或多个时刻针对每种服务类型的服务数量计算出所述平均资源消耗。

6.根据权利要求5所述的装置，还包括：

平均资源消耗初始化模块，用于根据预先得到的最大资源消耗和最大服务数量对所述平均资源消耗进行初始化；

其中，所述最大资源消耗是各服务节点针对每种服务类型的最大服务数量的资源消耗，所述最大服务数量是各服务节点针对每种服务类型的最大服务数量。

7.根据权利要求5所述的装置，其中所述优先级计算模块包括：

比较模块，用于比较所述预测资源消耗与预先设定的各服务节点的各项资源消耗阈值，得到多个差值；

归一化模块，用于对所述多个差值进行归一化，得到多个归一化差值；以及

优先级选择模块，用于将多个归一化差值中最小的归一化差值选择为所述优先级。

8.一种服务器，包括如权利要求5-7之一所述的基于资源消耗预测的动态负载均衡装置，所述服务器通过网络与客户端和所述服务节点相连接，用于将客户端发送的请求分发到所述服务节点。