CN114448899A - 一种均衡数据中心网络负载的方法 - Google Patents

Abstract

本发明公开了一种均衡数据中心网络负载的方法，所述方法是基于数据中心网络负载模块，所述数据中心网络负载模块包括服务器、数据网络负载单元和交换机，所述数据网络负载单元对交换机拥塞数据流进行均衡配置选出目标路由输出，其中：计算服务器输出数据流量分配获得输出端口队列长度；计算端口传输实际数据流量和队列积累数据量；判断端口队列数据量是否超出预设阀值；根据队列积累量是否超出预设阀值，以及实际数据流量，所述数据网络负载单元为下一轮每一条数据流选择并行路径输出；如果队列积累量超过阈值，下一轮经过该交换机的每一条流窗口值减半，否则加一；重复第一步；本发明解决了数据中心网络负载均衡没有统一轻量级模型的问题。

Description

一种均衡数据中心网络负载的方法

技术领域

本发明属于计算机网络应用技术领域，尤其涉及一种均衡数据中心网络负 载的方法。

背景技术

随着云计算、大数据应用的空前繁荣发展，数据中心被广泛使用，数据中心 网络承载了巨大的流量传输压力。数据中心网络为了提供超高额带宽，普遍采 用CLOS结构，该结构中两个主机之间会有多条的并行路径。然而，实际中多 路径通常没有完全利用起来，仍然是单路径传输。这是因为传统的ECMP路由 方法按照流的五元组哈希值进行选路，尽管它简单易行，但是却容易出现长流 哈希冲突导致链路利用率下降、且ECMP对故障链路没有应对的措施。

近年来出现很多新的负载均衡机制：Presto、CONGA、Drill、Hedera、CLOVE、Hermes等。还有一些最新的负载均衡机制AG、Luopan等等，这些机制通常是 在原有的经典的机制上做改进，为了迎合大规模数据中心网络、或是为了适应 新的流量模式。在原理上也很难说明哪一类方法最好。每一种方法都会用一些 场景和一些实验结果来说明自己的方法更好。这些负载平衡方法是好是坏，以 及它们适用于哪种情况，现在还尚无定论。如果能将所有的方法进行数学上、 机制原理上的分析，就可以发现数据中心网络负载均衡的规律，未来该方向将 会更加高效地发展。

当今数据中心网络规模不断扩大，新的负载均衡机制也需要在更大规模的数 据中心网络下进行测试验证，然而很少有人能负担的其全副本的数据中心网络， 因此一般使用testbed或者仿真软件来进行模拟，例如ns2。但是由于ns2这类包 级别的仿真软件是事件触发的，每个数据包在时间轴上经过某些结点会触发一 些事件，因此这一类仿真软件在数据量很大、拓扑规模很大的情况下需要的运 行时间很长。对于负载均衡来说，不一定需要包级别的仿真软件，负载均衡的 粒度有包级别、流单元级别、流片级别、流级别，可以增加粒度的方式加速仿 真。

发明内容

针对现有技术存在问题，本发明提出了一种数据中心网络负载均衡的通用 建模方法，该方法可以用于不同负载均衡机制系统，使用者可以对新的负载均 衡机制进行建模。具体来说，使用者将网络拓扑结构、流量数据集和负载均衡 策略作为输入，可以得到各个交换机队列长度变化、流完成时间、链路吞吐量 等网络中通常关注的信息。

本发明采用如下技术方案实施：

一种均衡数据中心网络负载的方法，所述方法是基于数据中心网络负载模块， 所述数据中心网络负载模块包括服务器、数据网络负载单元和交换机，所述数 据网络负载单元对交换机拥塞数据流进行均衡配置选出目标路由输出，其中：

计算服务器输出数据流量分配获得输出端口队列长度；

计算端口队列长度传输实际数据流量，

判断端口队列数据量是否超出预设阀值；根据队列积累量是否超出预设阀值， 以及实际数据流量，所述数据网络负载单元为下一轮每一条数据流选择并行路 径输出；如果队列积累量超过阈值，下一轮经过该交换机的每一条流窗口值减 半，否则加一；重复第一步；其中：所述预设阀值为：

其中，t为迭代次数，i为接入层交换机的编号，j为第二层交换机的编号， k为第三层交换机编号，ECN_T为交换机中的ecn标记队列长度阈值，Q为交换 机队列长度，Q_1,i,j(t)表示第t轮迭代初始时第1层第i个交换机端口j的队列长 度，Q_2,j,k(t)表示第t轮迭代初始时第2层第j个交换机端口k的队列长度。

进一步，所述数据网络负载单元包括第一数据网络负载部和第二数据网络负 载部，所述第一数据网络负载部设置在服务器上；所述第二数据网络负载部设 置在交换上。

进一步，所述端口队列长度传输实际数据流量通过如下公式获得：

其中：t为迭代次数，i为接入层交换机的编号，j为第二层交换机的编号， k为第三层交换机编号，d_h表示流h的目标地址。设第i层第j个交换机第k个 输出端口为S_i,j,k。

表示流h在交换机端口S_i,j,k处的实际传输到下一跳 链路中的数据量，

表示在第t次迭代过程中实际输入到交换机端口S_i,j,k处 的总数据量，

表示流h在第t次迭代过程中实际输入到交换机端口S_i,j,k处的数据量，Q_i,j,k(t)表示第t轮迭代初始时交换机端口S_i,j,k处队列的积累长度，

表示第t轮迭代初始时流h在交换机端口S_i,j,k的积累长度，B_i,j,k表示在交 换机端口S_i,j,k处连接的链路的带宽。

进一步，所述数据中心网络负载模块可以在Hermes、Conga、DRILL、Presto 四种经典的负载均衡机中建模。

有益效果

(1)本发明对通用数据中心网络流量分发进行了数学建模，包括流量TCP 窗口值的变化、网络交换机队列长度、网络链路中实际速率等。

(2)本发明给出对数据中心网络负载均衡机制数学建模的方式，并将 Hermes、Conga、DRILL、Presto四种经典的负载均衡机制作为示例分别进行了 数学建模。解决了数据中心网络负载均衡没有统一轻量级模型的问题，为后续 新的负载均衡机制的研究创造奠定了理论基础。

附图说明

图1是本发明通用数据中心网络流量负载均衡数学建模的总体流程图；

图2是本发明中数据中心网络交换机结点的抽象建模图；

图3是本发明实现的总体流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图与实例对本 发明做详细的论述，以下实施例只是描述性的，不是限定性的，不能以此限定 本发明的保护范围。

如图1所示，使用者将数据中心网络拓扑结构、服务器个数、数据流的到达 时间和字节长度作为输入，构建数据中心网络拓扑。本发明可以根据通用数据 中心网络流量分发模型中的可以获取的队列长队变化、链路实际传输速率等拥 塞信息对数据中心网络流量负载均衡机制进行抽象建模，建模为各个活跃流在 每一轮RTT中经过不同并行路径的权重。在每一跳链路中(服务器与交换机之 间、交换机与交换机之间)，通用数据中心网络流量分发模型计算出口处的输入 数据量、交换机队列积累量和实际通过数据量。

步骤1：构建数据中心网络拓扑，如图2所示为经典的clos拓扑，设置交换 机层数N，设置每层交换机个数n₁,n₂,...,n_N、服务器个数m。第i层第j个交换 机的第k个通往下一层的端口记为S_i,j,k，该出口连接的链路带宽记为B_i,j,k。在每 轮t的迭代过程中，每个端口S_i,j,k有输入数据量

交换机队列长度Q_i,j,k(t)， 输出数据量

对以上变量，分别为其维护了流量目的地为不同接收端d_h的 数据量

步骤2：如图3所示，首先计算第一层交换机的输入数据包量，为所有该交 换机下服务器流窗口的总和。在每一轮RTT内(轮数记为t)，将所有该时间内 的tcp流按照窗口大小将数据发送至第一层交换机。这里模拟了一个简单版本的 TCP拥塞窗口值的行为。直到所有流都发送完毕，结束运行。使用者可以将过 程中各个链路的实际传输量、交换机出口处的队列长度输出打印出来，以供分 析研究来改进负载均衡机制。

每一个TCP流l的窗口值是F_l。在每一轮RTT中，一般情况下窗口值加一； 若TCP感知到了拥塞(ECN为1)，窗口值减半。

步骤3：如图3所示，在数据中心网络的每个交换机中，将结点的流量输出 作为下一结点的输入，然后在每一跳交换机计算从各个输入端口输入的数据包 总量，然后为其选择输出端口，对各个输出端口按比例分配。在选择出端口的 时候，由该结点交换机的类型，根据流的目标端口或采用的负载均衡决策两者 之一来进行选择(如图1所示，根据流的初始目标地址和负载均衡器的决策来 进行选择输出端口，按照哪项规则选择这取决于交换机的类型，核心交换机通 过目标地址决定路由，多路分发处的交换机，例如clos中的第一层交换机则根 据负载均衡机制的决策进行分发)。

第一层交换机中，对于输出端口S_1,j,k，输入流量的大小等于所有连接到S_1,j,k的流的TCP窗口大小之和乘以该流l去往路径k的比例R_l,k(t)(该比例值在负载 均衡机制的建模中得出)：

其中，

为交换机S_1,j下的活跃流。

步骤4：在其他交换机层，输出端口S_i,j,k的输入流量

是上一层交换机 的部分输出流量

的总和。对于输出端口S_i,j,k，新传入的输入流量

将加入队列。输入数据量加上交换机当前缓存的数据量Q_i,j,k(t)会作为输出进入 下一跳，但是不会超过上限带宽B_i,j,k：

而由于链路均有上限带宽，因此超过链路带宽的部分将会被积累到当前的交 换机出口队列中去。超出交换机队列最大长度

部分会被丢弃。

步骤5：为步骤4中下一跳实际传输数据量和队列长度积累量计算其中去往 目的地地址d_h部分的流量

在进入下一跳的数据包中，按顺序交换机队列中数据包优先进入下一跳，其 次是本轮的上一跳输入数据量。因此在计算过程中，根据上一跳的输入量、当 前交换机队列的数据分组长度和下一跳的带宽限制，会出现3种情况：

①由上一跳的输入数据量加上交换机队列积累长度小于下一跳的链路带宽， 该条件用公式表达：

此时，下一跳去往目的地地址d_h的实 际传输量即为在交换机队列中积累的长度和来自上一跳链路中去往目的地地址 d_h的实际数据量之和：

队列清空：

当第一种情况不成立时，根据当前交换机队列的长度是否大于下一跳链路的 上限带宽，还可以再详细划分为2种情况；

②当前交换机队列长度小于下一跳链路的上限带宽，该条件用公式表达：

此时，交换机中去往目的地地址d_h的流量进 入下一跳，输入的部分不能全部进去下一跳，则会以比例的形式进入下一跳：

下一轮队列中去往目的地地址d_h的数据量为积累的输入数据量：

③当前交换机队列长度大于下一跳链路的上限带宽：B_i,j,k<Q_i,j,k(t)。此时， 交换机中去往目的地地址d_h的流量以比例的形式进入下一跳：

队列中去往目的地地址d_h的数据量为输入的去往目的地地址d_h的 数据量加上上一轮积累量：

根据以上三种情况，在交换机端口S_1,j,k的下一跳实际传输数据量用公式表达 为：

步骤6：计算上述过程中网络的拥塞信息——ECN标记。

ECN的机制原理决定，每轮ACK反馈给发送端了路径拥塞信息。当交换机 队列超出阈值时候(如图1中交换机队列ECN阈值在队列中的位置)，数据包 会被打上ECN标记，ACK会将拥塞信息反馈回来。因此将本轮的交换机队列长 度和预先设置好的ECN阈值进行比较。在每轮中，对于交换机i到交换机k， 并行路径j，若该路径上交换机队列长度超过阈值，则本路径标记ECN＝1；否则 本路径ECN＝0。用公式表示为：

该信息用于发送端流的窗口值计算，以及用于负载均衡机制获取该信息进行 负载决策。如图2所示，该ECN信息由数据中心网络分发模型中反馈至流窗口 值计算和负载均衡器。

如图2所示，负载均衡器为每一轮的每条流选择并行路径。数据中心网络流 量负载均衡机制的建模：通过为每流计算不同并行路径分配的流量比例实现。 不同负载均衡机制建模主要作用于流l在不同等价路径k的权重比例上R_l,k(t)。 这里介绍四种经典的负载均衡机制的建模作为示例，分别是HERMES、CONGA、 DRILL、Presto。HERMES和Presto为端系统上实施，HERMES带有拥塞感知 的机制，Presto无拥塞感知；CONGA和DRILL为交换机上实施，CONGA带有 拥塞感知，DRILL无全局拥塞感知。(如图3所示为负载均衡器放置在端系统或 交换机上的具体位置)

HERMES：在HERMES中，服务器在发送新流时或经过一定延迟后选择新 路径转发流。HERMES根据每轮收到的ECN标记数量和RTT测量值将等价 路径分为GOOD、GRAY、BAD和FAIL。在每个路径集中，服务器将新的 flowlet发送到最近发送的数据量最少的路径。如果接收到的ECN的RTT值和 round值都大于阈值，则标记为BAD；如果接收到的ECN的RTT值和round值 都小于阈值，则标记为GOOD；如果其中一个小于阈值，另一个大于阈值，则 将其标记为灰色。在选择路径时，Hermes优先考虑GOOD集，其次是GRAY 集，最后是BAD集。在相同类型路径集中，在每个服务器节点i去往目的地址d_h，它为每条链路p维护最近发送的数据量值

然后优先选择该最近发送数 据最少的路径。在服务器i中，对于每个新的活动流j，本发明选择最近发送的 数据量最少的路径p。并且流l选择的路径p的比率设置为1(R_l,k(t)＝1)，其 余路径为0。然后更新

继续为下一个flowlet选择路径，计算 路径比例值R_l,k(t)。

CONGA：CONGA基于交换机中的流粒度执行负载均衡。每个交换机的输 出端口为链路保持一个dre拥塞值，为链路传输速率与带宽的比值，通过指数加 权移动平均进行更新。具体来说，首先每个交换机端口处S_i,j,k有一个链路拥塞值

并在每一轮中通过指数加权移动平均的方式更新：

其中α是一个参数。第一层交换机在交换机发送端i通 过路径j去往交换机接收端k维护一个拥塞表consTable_i,j,k，拥塞表中的路径拥塞信息由本地dre和接收端叶交换机反馈的dre值更consTable_i,j,k＝∑(dre_tmp_1,i,j+dre_tmp_2,j,k)(例为三层交换机，本轮初 始时dre_tmp_i,j,k＝dre_i,j,k)。对于每个第一层交换机下的每个流l，本发明选择一 个路径j，使得其consTable_i,j,k值最小。并更新流l的路径j的比率：R_l,j(t)＝1。 在为流l选择路径后，临时dre值被更新：

和

然后更新继续consTable_i,j,k后，为下一个flowlet选择路 径。

DRILL：在DRILL中，每个叶子交换机发送端i对于每个叶子交换机接收端 j通过每一跳链路带宽比值进行集合划分，将相同比值的等价路径分成同一个等 价路径集合

每个集合维护一个最近已发送字节数。在每一轮RTT中，每个 流选择一个等价路径集合，使得各个集合的最近已发送字节数之比接近于集合 的链路总带宽之比。在该集合中，每条流的窗口按照集合中路径带宽权重比例 进行设置路径比例值：

Presto：首先，固定每个flowcell大小为64KB。首先，本发明将固定flowcell 的长度设置为K。在第t轮，服务器j中，若干个活跃流l划分为同一个flowcell 直到大小K。若流被分割为两份。每个服务器i中，为目的地h、路径j，维护 了一个最近发送的flowcell数

每个流单元flowcell选择一条路径p，使得各 个路径的最近发送的flowcell数之比和带宽之比接近。设置该flowcell中的流l 的路径比值：R_l,p(t)＝1。如果在构建流单元flowcell的时候，同一流l被拆分 成两个流单元b₁和b₂，发往了两条路径p₁和p₂，则

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描 述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限 制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通 技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明 的保护范围之内。

Claims (4)

1.一种均衡数据中心网络负载的方法，其特征在于：所述方法是基于数据中心网络负载模块，所述数据中心网络负载模块包括服务器、数据网络负载单元和交换机，所述数据网络负载单元对交换机拥塞数据流进行均衡配置选出目标路由输出，其中：

计算服务器输出数据流量分配获得输出端口队列长度；

计算端口队列长度传输实际数据流量，

判断端口队列数据量是否超出预设阀值；根据队列积累量是否超出预设阀值，以及实际数据流量，所述数据网络负载单元为下一轮每一条数据流选择并行路径输出；如果队列积累量超过阈值，下一轮经过该交换机的每一条流窗口值减半，否则加一；重复第一步；其中：所述预设阀值为：

其中，t为迭代次数，i为接入层交换机的编号，j为第二层交换机的编号，k为第三层交换机编号，ECN_T为交换机中的ecn标记队列长度阈值，Q为交换机队列长度，Q_1,i,j(t)表示第t轮迭代初始时第1层第i个交换机端口j的队列长度，Q_2,j,k(t)表示第t轮迭代初始时第2层第j个交换机端口k的队列长度。

2.根据权要求1所述的一种均衡数据中心网络负载的方法，其特征在于：所述数据网络负载单元包括第一数据网络负载部和第二数据网络负载部，所述第一数据网络负载部设置在服务器上；所述第二数据网络负载部设置在交换上。

3.根据权要求1所述的一种均衡数据中心网络负载的方法，其特征在于：所述端口队列长度传输实际数据流量通过如下公式获得：

其中：t为迭代次数，i为接入层交换机的编号，j为第二层交换机的编号，k为第三层交换机编号，d_h表示流h的目标地址。设第i层第j个交换机第k个输出端口为

表示流h在交换机端口S_i,j,k处的实际传输到下一跳链路中的数据量，

表示在第t次迭代过程中实际输入到交换机端口S_i,j,k处的总数据量，

表示流h在第t次迭代过程中实际输入到交换机端口S_i,j,k处的数据量，Q_i,j,k(t)表示第t轮迭代初始时交换机端口S_i,j,k处队列的积累长度，

表示第t轮迭代初始时流h在交换机端口S_i,j,k的积累长度，B_i,j,k表示在交换机端口S_i,j,k处连接的链路的带宽。

4.采用权利要求1所述的一种均衡数据中心网络负载的方法应用，其特征在于：所述数据中心网络负载模块可以在Hermes、Conga、DRILL、Presto四种经典的负载均衡机中建模。

Images