CN114095364B - 网络拥塞控制方法及装置 - Google Patents

Abstract

本申请提供一种网络拥塞控制方法及装置。该方法包括：获取网络设备中待控制出端口在当前场景下的场景参数，该场景参数为与通过待控制出端口转发的流量相关的参数；针对每一个预设的ECN配置，将当前场景下的场景参数以及该ECN配置输入已训练好的流量模型，得到当前场景下该ECN配置对应的网络性能值，其中，该网络性能值用于标识基于该ECN配置执行拥塞控制所能达到的网络性能；选取最大网络性能值对应的ECN配置作为当前场景下的最优ECN配置；基于该最优ECN配置对待控制出端口进行网络拥塞控制。可以看出，本申请可实现动态ECN配置，从而适应动态变化的流量场景，提升各流量场景下的网络性能。

Description

网络拥塞控制方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及一种网络拥塞控制方法及装置。

背景技术

随着高并发、低时延业务的增多，网络设备(比如，交换机、路由器)的出端口容易发生网络拥塞。网络拥塞是指网络设备通过入端口接收的流量远远大于通过出端口发送的流量时，大量报文滞留(缓存)于出队列(出端口对应队列)的现象，这会影响报文的传输时延以及吞吐量等网络性能。

目前，普遍采用静态显示拥塞通知(英文：Explicit Congestion Notification，缩写：ECN)配置来控制网络拥塞。具体为，网络设备根据静态配置的ECN门限，判断出队列是否发生拥塞，如果发生拥塞，则为出队列中报文添加ECN标识，发送至目的设备，目的设备接收到带有ECN标识的报文后，向源设备发送拥塞通知报文(英文：Congestion NotificationPacket，缩写：CNP)，通知源设备降低流量发送速率，以达到控制网络拥塞的目的。

但是，静态ECN配置无法适应动态变化的流量场景，导致各流量场景下的网络性能不佳。

发明内容

有鉴于此，本申请提出一种网络拥塞控制方法及装置，用以在实现网络拥塞控制的同时，有效提升各流量场景下的网络性能。

为实现上述申请目的，本申请提供了如下技术方案：

第一方面，本申请提供一种网络拥塞控制方法，所述方法包括：

获取网络设备中待控制出端口在当前场景下的场景参数，所述场景参数为与通过所述待控制出端口转发的流量相关的参数；

针对每一个预设的ECN配置，将所述当前场景下的场景参数以及该ECN配置输入已训练好的流量模型，得到当前场景下该ECN配置对应的网络性能值，所述网络性能值用于标识基于ECN配置执行拥塞控制所能达到的网络性能；

选取最大网络性能值对应的ECN配置作为当前场景下的最优ECN配置；

基于所述最优ECN配置对所述待控制出端口进行网络拥塞控制。

可选的，所述将所述当前场景下的场景参数以及该ECN配置输入已训练好的流量模型，包括：

利用所述当前场景下的场景参数匹配预设的配置文件，所述配置文件用于记录场景参数与ECN配置的对应关系；

如果所述当前场景下的场景参数未命中所述配置文件中的任一场景参数，将所述当前场景下的场景参数以及当前选择的ECN配置输入已训练好的流量模型。

可选的，所述方法还包括：

如果所述当前场景下的场景参数命中所述配置文件中的目标场景参数，将与所述目标场景参数对应的ECN配置作为所述当前场景下的最优ECN配置。

可选的，所述利用所述当前场景下的场景参数匹配预设的配置文件之前，所述方法还包括：

针对每一个常见场景，将该常见场景下的场景参数与通过测试得到的该常见场景下的最优ECN配置之间的对应关系添加到所述配置文件中。

可选的，所述将所述当前场景下的场景参数以及该ECN配置输入已训练好的流量模型之前，所述方法还包括：

构建强化学习模型，所述强化学习模型的价值函数用于表示不同场景、不同ECN配置下期望达到的网络性能；

构建用于表达所述价值函数的神经网络模型，所述神经网络模型的输入为场景参数和ECN配置，输出为网络性能值；

利用各常见场景下的场景参数以及各预设的ECN配置训练所述神经网络模型，得到足够逼近所述价值函数所期望网络性能的流量模型。

第二方面，本申请提供一种网络拥塞控制装置，所述装置包括：

获取单元，用于获取网络设备中待控制出端口在当前场景下的场景参数，所述场景参数为与通过所述待控制出端口转发的流量相关的参数；

输入单元，用于针对每一个预设的ECN配置，将所述当前场景下的场景参数以及该ECN配置输入已训练好的流量模型，得到当前场景下该ECN配置对应的网络性能值，所述网络性能值用于标识基于ECN配置执行拥塞控制所能达到的网络性能；

选取单元，用于选取最大网络性能值对应的ECN配置作为当前场景下的最优ECN配置；

控制单元，用于基于所述最优ECN配置对所述待控制出端口进行网络拥塞控制。

可选的，所述输入单元将所述当前场景下的场景参数以及该ECN配置输入已训练好的流量模型，包括：

利用所述当前场景下的场景参数匹配预设的配置文件，所述配置文件用于记录场景参数与ECN配置的对应关系；

如果所述当前场景下的场景参数未命中所述配置文件中的任一场景参数，将所述当前场景下的场景参数以及当前选择的ECN配置输入已训练好的流量模型。

可选的，所述选取单元，还用于如果所述当前场景下的场景参数命中所述配置文件中的目标场景参数，将与所述目标场景参数对应的ECN配置作为所述当前场景下的最优ECN配置。

可选的，所述装置还包括：

添加单元，用于针对每一个常见场景，将该常见场景下的场景参数与通过测试得到的该常见场景下的最优ECN配置之间的对应关系添加到所述配置文件中。

可选的，所述装置还包括：

构建单元，用于构建强化学习模型，所述强化学习模型的价值函数用于表示不同场景、不同ECN配置下期望达到的网络性能；

所述构建单元，还用于构建用于表达所述价值函数的神经网络模型，所述神经网络模型的输入为场景参数和ECN配置，输出为网络性能值；

训练单元，用于利用各常见场景下的场景参数以及各预设的ECN配置训练所述神经网络模型，得到足够逼近所述价值函数所期望网络性能的流量模型。

由以上描述可以看出，本申请实施例中，利用已训练模型(流量模型)的泛化能力，针对不同场景、不同ECN配置准确预估相应ECN配置下可达到的网络性能，选择可使当前场景下网络性能达到最优的ECN配置进行拥塞控制。因此，可适应动态变化的流量场景，且各流量场景下均可获得较优的网络性能。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例示出的一种网络拥塞控制方法流程图；

图2是本申请实施例示出的一种步骤102的实现流程；

图3是本申请实施例示出的一种流量模型训练流程；

图4是本申请实施例示出的一种强化学习模型框架；

图5是本申请实施例示出的一种网络拥塞控制装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请实施例范围的情况下，协商信息也可以被称为第二信息，类似地，第二信息也可以被称为协商信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本申请进行详细描述：

参见图1，为本申请实施例示出的一种网络拥塞控制方法流程图，该流程可应用于待执行拥塞控制的网络设备，比如，交换机、路由器等，亦可应用于独立于网络设备之外的控制设备，比如，服务器等。

网络设备包括至少一个出端口。管理员可以指定需要执行拥塞控制的出端口，或者，默认对所有出端口均执行拥塞控制。这里，将需要执行拥塞控制的出端口均称为待控制出端口。

针对每一个待控制出端口执行图1所示流程。如图1所示，该流程可包括以下步骤：

步骤101，获取待控制出端口在当前场景下的场景参数，该场景参数为与通过该待控制出端口转发的流量相关的参数。

这里，场景指某一时刻的流量场景。场景参数指某一场景下流量相关参数，本申请中特指通过待控制出端口转发的流量的参数。以下描述中，若无特殊说明，流量均指通过待控制出端口转发的流量。

具体地，该场景参数可包括：流量来源端口(入端口)的平均带宽、流的数目、不同类型报文的比例等等。这里，需要说明的是，通过同一出端口转发流量可能来自于一个或多个入端口。

步骤102，针对每一个预设的ECN配置，将当前场景下的场景参数以及该ECN配置输入已训练好的流量模型，得到当前场景下该ECN配置对应的网络性能值，其中，该网络性能值用于标识基于ECN配置执行拥塞控制所能达到的网络性能。

本申请实施例中，可预设多个可供选择的ECN配置，在后续处理中需要从该多个ECN配置中选择最适合当前场景的ECN配置。

这里，需要说明的是，一个ECN配置可至少包括以下三个参数：ECN门限上限、ECN门限下限、ECN标记概率(最大标记概率)。

为了更好地理解这三个参数，下面对基于ECN配置进行拥塞控制的过程作简要说明。

该过程为，当出队列深度低于ECN门限下限时，网络设备不会为出队列中的报文添加ECN标记；当出队列深度高于ECN门限上限时，为出队列中的所有报文添加ECN标记；当出队列深度位于ECN门限下限和ECN门限上限之间时，为出队列中的报文按照基于出队列深度确定的线性概率(位于0到最大标记概率之间)随机标记。

本步骤中，针对每一个预设的ECN配置，将当前场景的场景参数以及该ECN配置输入已训练好的流量模型，该流量模型会输出当前场景下基于该ECN配置进行拥塞控制可达到的网络性能。具体地，可通过输出用于标识网络性能的网络性能值来标识可达到的网络性能。其中，网络性能值越大，代表对应网络性能越优。

可以看出，本申请实施例中，流量模型为预先训练好的用于衡量ECN配置对网络性能影响的模型。其中，网络性能可包括吞吐量、时延等性能中的一种或多种的组合。

通过本步骤可获取到当前场景下每一个预设ECN配置对应的网络性能值。

步骤103，选取最大网络性能值对应的ECN配置作为当前场景下的最优ECN配置。

即，选择可使当前场景下网络性能达到最优的ECN配置。

步骤104，基于该最优ECN配置对待控制出端口进行网络拥塞控制。

具体的，如果由网络设备执行图1所示流程，则本步骤中网络设备可以直接根据步骤103确定的最优ECN配置对本地待控制出端口执行网络拥塞控制；如果由控制设备执行图1所示流程，则本步骤中控制设备需要将通过步骤103确定的最优ECN配置下发到网络设备中，再由网络设备基于该下发的ECN配置对本地待控制出端口执行网络拥塞控制。当然，如果控制设备确定的最优ECN配置与网络设备中待控制出端口对应的已有ECN配置相同，则控制设备可不下发该最优ECN配置。

至此，完成图1所示流程。

通过图1所示流程可以看出，本申请实施例中，利用已训练模型(流量模型)的泛化能力，针对不同场景、不同ECN配置准确预估相应ECN配置下可达到的网络性能，选择可使当前场景下网络性能达到最优的ECN配置进行拥塞控制。因此，可适应动态变化的流量场景，且各流量场景下均可获得较优的网络性能。

下面对步骤102中将当前场景下的场景参数以及ECN配置输入已训练好的流量模型的过程进行描述。

参见图2，为本申请实施例示出的一种步骤102的实现流程。如图2所示，该流程可包括以下步骤：

步骤201，利用当前场景下的场景参数匹配预设的配置文件，该配置文件用于记录场景参数与ECN配置的对应关系。

这里，需要说明的是，该配置文件可根据针对若干常见场景的测试结果生成。

作为一个实施例，可在实验室中搭建用于测试不同常见场景的测试环境。针对每一个常见场景，测试该常见场景下采用不同预设ECN配置进行拥塞控制时所能达到的网络性能，选择该常见场景下可使网络性能最优的ECN配置作为当前常见场景的ECN配置，将该常见场景的场景参数与测试得到的该常见场景下的最优ECN配置的对应关系添加到配置文件中。即，通过配置文件存储常见场景的场景参数与常见场景下最优ECN配置的对应关系。

本步骤中，将通过步骤101获取到的当前场景的场景参数与配置文件中的各场景参数进行匹配。

步骤202，如果当前场景下的场景参数未命中配置文件中的任一场景参数，将当前场景下的场景参数以及当前选择的ECN配置输入已训练好的流量模型。

如果当前场景下的场景参数未命中配置文件中的任一场景参数，说明当前场景不属于已测试过的常见场景，则将当前场景下的场景参数以及所选择的预设ECN配置输入已训练好的流量模型，通过流量模型预估当前场景下基于预设ECN配置进行拥塞控制可达到的网络性能，具体参见步骤102的描述，这里不再赘述。

反之，如果当前场景下的场景参数命中配置文件中的目标场景参数，说明当前场景属于已测试过的常见场景，则直接从配置文件中获取该目标场景参数对应的ECN配置，将该ECN配置作为当前场景下的最优ECN配置，基于该最优ECN配置对待控制出端口进行网络拥塞控制。

至此，完成图2所示流程。

通过图2所示流程可以看出，本申请实施例中，对于常见场景，可通过匹配配置文件，快速获取到常见场景下的最优ECN配置，从而保证常见场景下的拥塞控制效率；而对于非常见场景(非常见场景数量巨大)，则可利用流量模型的泛化能力预估不同ECN配置下的网络性能，从而选择到适应当前非常见场景的ECN配置。

下面对流量模型训练过程进行描述。

参见图3，为本申请实施例示出的一种流量模型训练流程。如图3所示，该流程可包括以下步骤：

步骤301，构建强化学习模型，该强化学习模型的价值函数用于表示不同场景、不同ECN配置下期望达到的网络性能。

参见图4，为本申请实施例示出的一种强化学习模型框架。

本申请实施例中，该框架包括的“环境”可以为特定场景下的场景参数，比如，各入端口的平均带宽、流的数目以及不同类型报文的比例等；“状态”可以为统计得到的添加有ECN标记的报文的个数、出队列的吞吐量、出队列深度以及当前ECN配置等；“动作”为下发的ECN配置；“奖赏”为网络性能的增加值。

其中，该强化学习模型的价值(Value)函数可用于表示不同场景、不同ECN配置下期望达到的网络性能。

步骤302，构建用于表达价值函数的神经网络模型，该神经网络模型的输入为场景参数和ECN配置，输出为网络性能值。

步骤303，利用各常见场景下的场景参数以及各预设的ECN配置训练神经网络模型，得到足够逼近价值函数所期望网络性能的流量模型。

本步骤中，利用各常见场景的测试数据(包括常见场景的场景参数、不同预设ECN配置)进行模型训练，以得到足够逼近价值函数所期望网络性能的流量模型。其中，价值函数所期望的网络性能可以为针对不同常见场景、不同ECN配置进行测试时所得到的实测网络性能。

至此，完成图3所示流程。

通过图3所示流程可以看出，本申请实施例中，利用常见场景下的测试数据训练流量模型，可以得到用于准确预估任一场景下不同ECN配置时的网络性能，从而为后续(步骤103、步骤104)基于预估结果选择最优ECN配置打下良好基础。

以上对本申请实施例提供的方法进行了描述，下面对本申请实施例提供的装置进行描述：

参见图5，为本申请实施例示出的一种网络拥塞控制装置，该装置包括获取单元501、输入单元502、选取单元503以及控制单元504，其中：

获取单元501，用于获取网络设备中待控制出端口在当前场景下的场景参数，所述场景参数为与通过所述待控制出端口转发的流量相关的参数；

输入单元502，用于针对每一个预设的ECN配置，将所述当前场景下的场景参数以及该ECN配置输入已训练好的流量模型，得到当前场景下该ECN配置对应的网络性能值，所述网络性能值用于标识基于ECN配置执行拥塞控制所能达到的网络性能；

选取单元503，用于选取最大网络性能值对应的ECN配置作为当前场景下的最优ECN配置；

控制单元504，用于基于所述最优ECN配置对所述待控制出端口进行网络拥塞控制。

作为一个实施例，所述输入单元502将所述当前场景下的场景参数以及该ECN配置输入已训练好的流量模型，包括：

利用所述当前场景下的场景参数匹配预设的配置文件，所述配置文件用于记录场景参数与ECN配置的对应关系；

如果所述当前场景下的场景参数未命中所述配置文件中的任一场景参数，将所述当前场景下的场景参数以及当前选择的ECN配置输入已训练好的流量模型。

作为一个实施例，所述选取单元503，还用于如果所述当前场景下的场景参数命中所述配置文件中的目标场景参数，将与所述目标场景参数对应的ECN配置作为所述当前场景下的最优ECN配置。

作为一个实施例，所述装置还包括：

添加单元，用于针对每一个常见场景，将该常见场景下的场景参数与通过测试得到的该常见场景下的最优ECN配置之间的对应关系添加到所述配置文件中。

作为一个实施例，所述装置还包括：

构建单元，用于构建强化学习模型，所述强化学习模型的价值函数用于表示不同场景、不同ECN配置下期望达到的网络性能；

所述构建单元，还用于构建用于表达所述价值函数的神经网络模型，所述神经网络模型的输入为场景参数和ECN配置，输出为网络性能值；

训练单元，用于利用各常见场景下的场景参数以及各预设的ECN配置训练所述神经网络模型，得到足够逼近所述价值函数所期望网络性能的流量模型。

至此，完成图5所示装置的描述。

由以上描述可以看出，本申请实施例中，利用已训练模型(流量模型)的泛化能力，针对不同场景、不同ECN配置准确预估相应ECN配置下可达到的网络性能，选择可使当前场景下网络性能达到最优的ECN配置进行拥塞控制。因此，可适应动态变化的流量场景，且各流量场景下均可获得较优的网络性能。

以上所述仅为本申请实施例的较佳实施例而已，并不用以限制本申请，凡在本申请实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种网络拥塞控制方法，其特征在于，所述方法包括：

获取网络设备中待控制出端口在当前场景下的场景参数，所述场景参数为与通过所述待控制出端口转发的流量相关的参数；

针对每一个预设的显示拥塞通知ECN配置，将所述当前场景下的场景参数以及该ECN配置输入已训练好的流量模型，得到当前场景下该ECN配置对应的网络性能值，所述网络性能值用于标识基于ECN配置执行拥塞控制所能达到的网络性能；

选取最大网络性能值对应的ECN配置作为当前场景下的最优ECN配置；

基于所述最优ECN配置对所述待控制出端口进行网络拥塞控制。

2.如权利要求1所述的方法，其特征在于，所述将所述当前场景下的场景参数以及该ECN配置输入已训练好的流量模型，包括：

利用所述当前场景下的场景参数匹配预设的配置文件，所述配置文件用于记录场景参数与ECN配置的对应关系；

如果所述当前场景下的场景参数未命中所述配置文件中的任一场景参数，将所述当前场景下的场景参数以及当前选择的ECN配置输入已训练好的流量模型。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

如果所述当前场景下的场景参数命中所述配置文件中的目标场景参数，将与所述目标场景参数对应的ECN配置作为所述当前场景下的最优ECN配置。

4.如权利要求2或3所述的方法，其特征在于，所述利用所述当前场景下的场景参数匹配预设的配置文件之前，所述方法还包括：

针对每一个常见场景，将该常见场景下的场景参数与通过测试得到的该常见场景下的最优ECN配置之间的对应关系添加到所述配置文件中。

5.如权利要求4所述的方法，其特征在于，所述将所述当前场景下的场景参数以及该ECN配置输入已训练好的流量模型之前，所述方法还包括：

构建强化学习模型，所述强化学习模型的价值函数用于表示不同场景、不同ECN配置下期望达到的网络性能；

构建用于表达所述价值函数的神经网络模型，所述神经网络模型的输入为场景参数和ECN配置，输出为网络性能值；

利用各常见场景下的场景参数以及各预设的ECN配置训练所述神经网络模型，得到足够逼近所述价值函数所期望网络性能的流量模型。

6.一种网络拥塞控制装置，其特征在于，所述装置包括：

获取单元，用于获取网络设备中待控制出端口在当前场景下的场景参数，所述场景参数为与通过所述待控制出端口转发的流量相关的参数；

输入单元，用于针对每一个预设的显示拥塞通知ECN配置，将所述当前场景下的场景参数以及该ECN配置输入已训练好的流量模型，得到当前场景下该ECN配置对应的网络性能值，所述网络性能值用于标识基于ECN配置执行拥塞控制所能达到的网络性能；

选取单元，用于选取最大网络性能值对应的ECN配置作为当前场景下的最优ECN配置；

控制单元，用于基于所述最优ECN配置对所述待控制出端口进行网络拥塞控制。

7.如权利要求6所述的装置，其特征在于，所述输入单元将所述当前场景下的场景参数以及该ECN配置输入已训练好的流量模型，包括：

利用所述当前场景下的场景参数匹配预设的配置文件，所述配置文件用于记录场景参数与ECN配置的对应关系；

如果所述当前场景下的场景参数未命中所述配置文件中的任一场景参数，将所述当前场景下的场景参数以及当前选择的ECN配置输入已训练好的流量模型。

8.如权利要求7所述的装置，其特征在于：

所述选取单元，还用于如果所述当前场景下的场景参数命中所述配置文件中的目标场景参数，将与所述目标场景参数对应的ECN配置作为所述当前场景下的最优ECN配置。

9.如权利要求7或8所述的装置，其特征在于，所述装置还包括：

添加单元，用于针对每一个常见场景，将该常见场景下的场景参数与通过测试得到的该常见场景下的最优ECN配置之间的对应关系添加到所述配置文件中。

10.如权利要求9所述的装置，其特征在于，所述装置还包括：

构建单元，用于构建强化学习模型，所述强化学习模型的价值函数用于表示不同场景、不同ECN配置下期望达到的网络性能；

所述构建单元，还用于构建用于表达所述价值函数的神经网络模型，所述神经网络模型的输入为场景参数和ECN配置，输出为网络性能值；

训练单元，用于利用各常见场景下的场景参数以及各预设的ECN配置训练所述神经网络模型，得到足够逼近所述价值函数所期望网络性能的流量模型。