CN114500339B - 一种节点带宽监测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种节点带宽监测方法、装置、电子设备及存储介质，涉及互联网技术领域，尤其涉及内容分发网络节点带宽监测、机器学习等技术领域。具体实现方案为：获取待检测CDN节点当前时间段内的运行数据，利用所述待检测CDN节点当前时间段内的运行数据，对预先确定的流量‑资源消耗模型及模型误差指标进行更新；基于流量‑资源消耗模型，确定所述待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到所述待检测CDN节点的节点单机带宽值；根据所述待检测CDN节点的节点单机带宽值及所述模型误差指标，确定所述待检测CDN节点的监测带宽。本公开实施例，实现了节点带宽的监测。

Description

一种节点带宽监测方法、装置、电子设备及存储介质

技术领域

本公开涉及互联网技术领域，尤其涉及内容分发网络节点带宽监测、机器学习等技术领域，具体涉及一种节点带宽监测方法、装置、电子设备及存储介质。

背景技术

CDN(Content Delivery Network，内容分发网络)是一种用于缓存、分发互联网资源文件的网络系统，通过将各种互联网资源(比如文档、图片、视频等)缓存至离用户较近的边缘节点服务器上，提高用户访问互联网资源的速度。CDN节点服务器能够承载的带宽与该节点服务器的硬件等限制条件密切相关。

发明内容

本公开提供了一种节点带宽监测方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种节点带宽监测方法，包括：

获取待检测CDN节点当前时间段内的运行数据，其中，所述运行数据包括所述待检测CDN节点的流量特征数据以及资源消耗数据；

利用所述待检测CDN节点当前时间段内的运行数据，对预先确定的流量-资源消耗模型及模型误差指标进行更新；

基于流量-资源消耗模型，确定所述待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到所述待检测CDN节点的节点单机带宽值；

根据所述待检测CDN节点的节点单机带宽值及所述模型误差指标，确定所述待检测CDN节点的监测带宽。

根据本公开的另一方面，提供了一种节点带宽监测装置，包括：

数据获取模块，用于获取待检测CDN节点当前时间段内的运行数据，其中，所述运行数据包括所述待检测CDN节点的流量特征数据以及资源消耗数据；

模型更新模块，用于利用所述待检测CDN节点当前时间段内的运行数据，对预先确定的流量-资源消耗模型及模型误差指标进行更新；

带宽预测模块，用于基于流量-资源消耗模型，确定所述待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到所述待检测CDN节点的节点单机带宽值；

带宽监测模块，用于根据所述待检测CDN节点的节点单机带宽值及所述模型误差指标，确定所述待检测CDN节点的监测带宽。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一项所述的节点带宽监测方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开中任一项所述的节点带宽监测方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开中任一项所述的节点带宽监测方法。

本公开实施例，实现了节点带宽的监测。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开的节点带宽监测方法的一种示意图；

图2是根据本公开的流量-资源消耗模型的一种获取方式示意图；

图3是根据本公开的节点单机带宽值确定方式的一种示意图；

图4是根据本公开的节点监测带宽确定方式的一种示意图；

图5是根据本公开的节点带宽监测装置的一种示意图；

图6是用来实现本公开实施例的节点带宽监测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

CDN是一种用于缓存、分发互联网资源文件的网络系统，受CDN边缘节点服务器的硬件等限制，CDN边缘节点服务器的服务能力有限。通常使用服务器能承载的最大带宽衡量服务器的服务能力，服务器能承载的最大带宽可以称为单机带宽能力。某一CDN边缘节点下所有服务器的单机带宽能力的累加即为该CDN节点的可用带宽。进而CDN流量调度系统可以根据各CDN节点的可用带宽，将不超过各CDN节点可用带宽的用户请求调度至该CDN节点。

CDN节点下服务器的单机带宽能力和该CDN节点上的流量使用场景，以及服务器的硬件配置密切相关。在不同的流量场景下，服务器的单机带宽能力差别较大，比如，因相同带宽下，文件越大对应的请求数越少，进而当用户访问大文件时，服务器的单机带宽能力会更高。

相关技术中，使用压测的方法来获取服务器的单机带宽能力，具体的，可以不断增加服务器承载的带宽值，直至服务器的硬件利用率达到阈值，将服务器的硬件利用率达到阈值时对应的承载带宽值，确定为该服务器的单机带宽能力。然而，使用压测方法获取服务器的单机带宽能力，仅能保证压测时对应的流量场景下单机带宽能力的准确性，而无法保证其他流量场景下服务器单机带宽能力的准确性。

实际应用中，不同CDN节点上的流量场景通常是不同的，相应的，每个CDN节点的单机带宽能力也是不同的，在某一时刻某一CDN节点上压测得到的单机带宽能力不能够代表所有时刻该CDN节点的单机带宽能力，使得如果使用压测方法得到的CDN节点的单机带宽能力，计算各CDN节点的可用带宽，就会导致各CDN节点的可用带宽不准确，从而造成调度至各CDN节点的请求不均衡，影响各CDN节点间的负载均衡。

为了实现对节点带宽的监测，本公开实施例提供了一种节点带宽监测方法，参见图1，包括：S101，获取待检测CDN节点当前时间段内的运行数据，其中，所述运行数据包括所述待检测CDN节点的流量特征数据以及资源消耗数据；S102，利用所述待检测CDN节点当前时间段内的运行数据，对预先确定的流量-资源消耗模型及模型误差指标进行更新；S103，基于流量-资源消耗模型，确定所述待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到所述待检测CDN节点的节点单机带宽值；S104，根据所述待检测CDN节点的节点单机带宽值及所述模型误差指标，确定所述待检测CDN节点的监测带宽。

本公开实施例中，利用待检测CDN节点当前时间段内的运行数据，对预先确定的流量-资源消耗模型及模型误差指标进行更新，使得流量-资源消耗模型能够更准确的描述当前时间段流量与资源消耗之间的对应关系，进一步，基于流量-资源消耗模型，确定待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到待检测CDN节点更准确的节点单机带宽值，并根据待检测CDN节点的节点单机带宽值及模型误差指标，确定待检测CDN节点的监测带宽，能够更准确的实现待检测CDN节点的带宽监测，进而可以为CDN调度系统提供更加准确的节点可用带宽，从而实现各CDN节点间的负载均衡，提高各CDN节点的资源利用率。

本公开实施例提供的节点带宽监测方法可以应用于电子设备，如终端设备、服务器设备等等。本公开实施例提供的节点带宽监测方法可以应用于CDN节点带宽监测、CDN节点负载均衡以及CDN节点流量调度等应用场景中。下面通过具体实施例对本公开提供的节点带宽监测方法进行详细说明。

首先，对本公开中流量-资源消耗模型的获取方式进行说明。在一种可能的实施例中，本公开实施例的一种流量-资源消耗模型获取方式，参见图2，包括：

S201，对待检测CDN节点历史时间段内的运行数据进行采集，以获取该待检测CDN节点历史时间段内的运行数据。

运行数据的采集频率可以根据实际情况自定义设置，例如可以是30秒、1分钟、2分钟等。

运行数据包括待检测CDN节点的流量特征数据以及资源消耗数据等。一个例子中，流量特征数据可以是承载的带宽值，或者接收到的请求数等，资源消耗数据可以是CPU(Central Processing Unit，中央处理器)资源，或者磁盘资源，或者网卡资源等。一个例子中，获取到的待检测CDN节点历史时间段内的运行数据还可以包括：流量特征数据对应的时间属性，以及资源消耗数据对应的时间属性。

历史时间段可以为任意历史数据中的时间段，一个例子中，以历史时间段为第一个时间段为例，可以获取待检测CDN节点该历史时间段内的流量特征数据以及资源消耗数据，以便于利用该历史时间段内的流量特征数据以及资源消耗数据对算法模型进行训练，得到流量-资源消耗模型。历史时间段还可以是当前时间段之前的历史数据中的多个时间段，获取该多个时间段内的流量特征数据以及资源消耗数据，以对算法模型进行训练，得到流量-资源消耗模型。其中，一个时间段可以是一个周期，该周期例如可以是12个小时，或者1天，或者2天等等。

S202，在获取待检测CDN节点历史时间段内的运行数据之后，可以进行样本数据的构造，在构造样本数据时，将历史时间段内的流量特征数据作为算法模型的样本输入特征、将历史时间段内的资源消耗数据作为算法模型的样本输出特征，将历史时间段内相同时间属性对应的流量特征数据和资源消耗数据组合为样本数据，得到历史时间段内的样本数据。

一个例子中，算法模型可以是任一回归算法模型，例如多项式回归算法模型，逻辑回归算法模型等等，也可以是其他能够根据历史时间段内的运行数据，确定流量与资源消耗之间对应关系的算法模型等。

在一种可能的实施方式中，得到历史时间段内的样本数据之后，还可以对历史时间段内的样本数据进行过滤处理，得到过滤处理后的样本数据，以及对过滤处理后的样本数据进行维度转换，得到用于算法模型训练的样本数据。

其中，对历史时间段内的样本数据进行过滤处理可以是，对样本数据中的异常样本进行过滤(例如删除)处理，该异常样本例如可以是数据缺失的样本数据等。历史时间段内的样本数据针对的是待检测CDN节点，而待检测CDN节点下可能包含多个服务器，故而，对过滤处理后的样本数据进行维度转换可以是，将节点维度的过滤处理后的样本数据，转换为服务器维度的样本数据。一个例子中，可以将过滤处理后的样本数据除以待检测CDN节点下服务器的数目，从而将节点维度的样本数据转化为服务器维度的样本数据。

本公开实施例中，在得到历史时间段内的样本数据之后，对历史时间段内的样本数据进行过滤处理，以及对过滤处理后的样本数据进行维度转换，可以提高样本数据的准确性，使得得到的用于算法模型训练的样本数据更准确，进而提升了训练得到的流量-资源消耗模型的准确性。

在一种可能的实施方式中，对过滤处理后的样本数据进行维度转换之后，可以对维度转换之后的样本数据进行归一化处理，以增加算法模型的训练速度。

S203，在得到用于算法模型训练的样本数据之后，利用历史时间段内的样本数据对算法模型进行训练，以得到流量-资源消耗模型及模型误差指标。

训练得到的流量-资源消耗模型可以表征节点流量与节点资源消耗之间的对应关系，模型误差指标可以表征所训练的流量-资源消耗模型中节点流量与节点资源消耗之间的对应关系的准确度。

因每个CDN节点承载的流量不相同，本公开实施例中，可以针对每一CDN节点，训练不同的流量-资源消耗模型。不同流量场景下，CDN节点承载的流量不相同，本公开实施例中，还可以在不同的时间段内，利用该时间段内的运行数据，更新利用历史数据中的运行数据已经训练的流量-资源消耗模型及模型误差指标，以更准确的表征不同时间段内节点流量与节点资源消耗之间的对应关系。

本公开实施例中，利用待检测CDN节点历史时间段内的运行数据，确定训练样本，对算法模型进行训练，得到流量-资源消耗模型及模型误差指标，以便于能够准确的得到不同流量场景下节点流量与节点资源消耗之间的对应关系，以及其对应的误差指标，使得能够基于该流量-资源消耗模型准确的预测待检测CDN节点的单机带宽能力。

本公开实施例的一种节点带宽监测方法实现过程，参见图1，包括：

S101，对待检测CDN节点当前时间段内的运行数据进行采集，以获取待检测CDN节点当前时间段内的运行数据。

一个例子中，当前时间段可以是当前最新的一个时间段。示例性的，一个时间段表示一天，相应的，当前时间段可以是当前时刻之前最新的一天等等。

S102，在获取待检测CDN节点当前时间段内的运行数据之后，可以利用当前时间段内的运行数据以及当前时间段之前历史时间段内的运行数据，重新对算法模型进行训练，以对预先确定的流量-资源消耗模型及模型误差指标进行更新，得到更新的流量-资源消耗模型以及模型误差指标。

更新的流量-资源消耗模型，能够更准确的表征当前时间段内节点流量与节点资源消耗之间的对应关系。其中，预先确定的流量-资源消耗模型及模型误差指标，可以是根据历史时间段内的运行数据对算法模型进行训练得到的。

S103，在对流量-资源消耗模型进行更新之后，可以基于当前时间段内的流量特征数据，利用更新的流量-资源消耗模型，预测待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，将该带宽值确定为待检测CDN节点的节点单机带宽值。

其中，用于预测待检测CDN节点在资源使用量达到阈值时能够承载的带宽值的，当前时间段内的流量特征数据可以是当前时间段内所采集的所有流量特征数据的平均值，也可以是当前时间段内指定时间段所采集的所有流量特征数据的平均值等，该指定时间段可以是流量使用高峰期对应的时间段等。待检测CDN节点资源使用量可以是待检测CDN节点硬件资源使用量，待检测CDN节点资源使用量的阈值可以根据各待检测CDN节点的实际情况进行设置的。

S104，确定待检测CDN节点的节点单机带宽值及模型误差指标之后，可以进一步根据待检测CDN节点的节点单机带宽值及模型误差指标，确定待检测CDN节点的监测带宽。

模型误差指标能够表征所训练的流量-资源消耗模型中节点流量与节点资源消耗之间的对应关系的准确度，模型误差指标越小，表示节点流量与节点资源消耗之间的对应关系准确度越高，进而可以在模型误差指标较小的情况下，准确的预测待检测CDN节点的监测带宽。

一个例子中，可以将所确定的待检测CDN节点的节点单机带宽值，确定为待检测CDN节点的监测带宽，将模型误差指标确定为监测带宽的误差；还可以根据多个不同历史时间段以及当前时间段内的待检测CDN节点的节点单机带宽值，以及其分别对应的模型误差指标，将多个不同历史时间段以及当前时间段内的节点单机带宽值与模型误差指标的加权平均值，确定为待检测CDN节点的监测带宽等等。

本公开实施例中，利用待检测CDN节点当前时间段内的运行数据，对预先确定的流量-资源消耗模型及模型误差指标进行更新，使得流量-资源消耗模型能够更准确的描述当前时间段流量与资源消耗之间的对应关系，进一步，基于流量-资源消耗模型，确定待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到待检测CDN节点更准确的节点单机带宽值，并根据待检测CDN节点的节点单机带宽值及模型误差指标，确定待检测CDN节点的监测带宽，能够更准确的实现待检测CDN节点的带宽监测，进而可以为CDN调度系统提供更加准确的节点可用带宽，从而实现各CDN节点间的负载均衡，提高各CDN节点的资源利用率。

在一种可能的实施方式中，上述步骤S103确定待检测CDN节点的节点单机带宽值的实现方式，可以包括：

步骤一、对待检测CDN节点当前时间段内指定时间段的流量特征数据进行采集，以获取待检测CDN节点当前时间段内指定时间段的流量特征数据。

其中，指定时间段可以为当前时间段内最近一次流量使用高峰期对应的时间段，指定时间段的流量特征数据可以是该指定时间段内所采集的所有流量特征数据的平均值。当前时间段内最近一次流量使用高峰期表示了当前时间段内对流量需求最大对应的场景，使用该场景下的流量特征数据，能够更快速的预测到待检测CDN节点在资源使用量达到阈值时能够承载的带宽值。

示例性的，当前时间段可以是当前时刻之前最新的一天，指定时间段的流量特征数据可以是当前时间段内晚高峰20:00-21:00的流量特征数据的平均值。

将指定时间段的流量特征数据作为预测待检测CDN节点在资源使用量达到阈值时能够承载的带宽值的预测样本，该预测样本中各流量特征数据之间的比例关系，与待检测CDN节点在资源使用量达到阈值时各流量特征数据之间的比例关系一致，以便于更准确的预测待检测CDN节点在资源使用量达到阈值时能够承载的带宽值。一个例子中，流量特征数据之间的比例关系可以包括：CDN节点承载的带宽值与接收到的请求数之间的比例关系，或者CDN节点的出口带宽与入口带宽之间的比例关系等。

步骤二、获取待检测CDN节点当前时间段内指定时间段的流量特征数据之后，可以基于该指定时间段的流量特征数据，利用流量-资源消耗模型，预测待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到待检测CDN节点的节点单机带宽值。

本公开实施例中，当前时间段内最近一次流量使用高峰期表示了当前时间段内对流量需求最大对应的场景，使用该场景下的流量特征数据，能够更快速的预测到待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，进而快速的得到待检测CDN节点的节点单机带宽值。

在一种可能的实施方式中，上述基于指定时间段的流量特征数据，利用流量-资源消耗模型，预测待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到待检测CDN节点的节点单机带宽值的实施方式，参见图3，可以包括：

S301，将所获取的指定时间段的流量特征数据输入流量-资源消耗模型中，利用流量-资源消耗模型对指定时间段的流量特征数据对应的资源消耗数据进行预测，得到流量-资源消耗模型的输出，即目标资源消耗值。

S302，判断得到的目标资源消耗值，是否达到待检测CDN节点资源使用量的阈值，如果是，则执行步骤S303；如果否，则执行步骤S304。

如果目标资源消耗值达到待检测CDN节点资源使用量的阈值，则该目标资源消耗值即为待检测CDN节点在资源使用量达到阈值时能够承载的带宽值。如果目标资源消耗值没有达到待检测CDN节点资源使用量的阈值，则该目标资源消耗值不是待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，此时需要进一步确定待检测CDN节点在资源使用量达到阈值时能够承载的带宽值。

S303，如果目标资源消耗值达到待检测CDN节点资源使用量的阈值，则将目标资源消耗值，确定为待检测CDN节点的节点单机带宽值。

S304，如果目标资源消耗值没有达到待检测CDN节点资源使用量的阈值，则利用预设缩放比例对指定时间段的流量特征数据进行缩放，并将缩放后的流量特征数据更新为指定时间段的流量特征数据，返回执行步骤S301。

预设缩放比例可以根据实际需求进行设置，比如缩放1倍、2倍或3倍等。一个例子中，在目标资源消耗值没有达到待检测CDN节点资源使用量的阈值的情况下，可以将指定时间段的流量特征数据扩大至1倍、2倍或3倍，并将扩大后的流量特征数据重新作为流量-资源消耗模型的输入，预测对应的输出(目标资源消耗值)，并进一步判断目标资源消耗值是否达到待检测CDN节点资源使用量的阈值，直至目标资源消耗值达到待检测CDN节点资源使用量的阈值，确定待检测CDN节点在资源使用量达到阈值时能够承载的带宽值。

本公开实施例中，利用指定时间段的流量特征数据以及流量-资源消耗模型预测目标资源消耗值，进一步将达到待检测CDN节点资源使用量的阈值的目标资源消耗值，确定为待检测CDN节点的节点单机带宽值，实现了对待检测CDN节点的节点单机带宽值的预测。

在一种可能的实施方式中，本公开实施例中，还可以对模型误差指标以及待检测CDN节点的节点单机带宽值进行存储。

因不同时间段或不同流量场景下，CDN节点承载的流量不相同，本公开实施例中，可以在不同的时间段内，利用该时间段内的运行数据，更新利用历史数据中的运行数据已经训练的流量-资源消耗模型及模型误差指标，使得不同时间段对应的流量-资源消耗模型及模型误差指标不同，进一步的，基于流量-资源消耗模型及模型误差指标所确定的待检测CDN节点的节点单机带宽值也是不同的。

一个例子中，可以将不同时间段内模型误差指标以及待检测CDN节点的节点单机带宽值存储至数据库中，也可以存储至其他地方。

本公开实施例中，对不同时间段内模型误差指标以及待检测CDN节点的节点单机带宽值进行存储，以便于CDN流量调度系统读取使用，或者基于所存储的不同时间段内模型误差指标以及待检测CDN节点的节点单机带宽值，确定待检测CDN节点的监测带宽等。

在一种可能的实施方式中，上述根据待检测CDN节点的节点单机带宽值及模型误差指标，确定待检测CDN节点的监测带宽的实施方式，参见图4，可以包括：

S401，对所存储的CDN节点在不同历史时间段内的节点单机带宽值及模型误差指标进行读取，以获取待检测CDN节点在不同历史时间段内的节点单机带宽值及模型误差指标。

一个例子中，一个时间段表示一天，每天CDN节点上承载的流量都是动态的，相应的，CDN节点的单机带宽能力值(即节点单机带宽值)也是动态的，进而可以以天为周期，对CDN节点的节点单机带宽值进行预测，使得预测得到的CDN节点的节点单机带宽值与当前CDN节点上承载的流量相匹配。CDN流量调度系统通常不允许各CDN节点出口带宽变化过于剧烈，这就需要综合考虑历史预测的CDN节点单机带宽值，来确定CDN节点的监测带宽，以减少CDN节点单机带宽值的波动。

示例性的，可以获取待检测CDN节点在周一、周二至周五每一天对应的历史时间段内的节点单机带宽值及模型误差指标，进一步基于此来确定待检测CDN节点的监测带宽。

S402，获取待检测CDN节点在不同历史时间段内的模型误差指标之后，基于各历史时间段和当前时间段内的模型误差指标的大小，和/或运行数据的单一程度，分别确定各历史时间段和当前时间段内节点单机带宽值的置信度。

模型误差指标越大，表示节点流量与节点资源消耗之间的对应关系准确度越低，即流量-资源消耗模型的准确度越低，可能会导致预测到的对应时间段内节点单机带宽值准确度不高，此时，可以设置对应的节点单机带宽值的置信度低。

各历史时间段和当前时间段内的运行数据的单一程度，也就是参与流量-资源消耗模型训练或更新的运行数据的丰富程度，确定各历史时间段和当前时间段内节点单机带宽值的置信度。运行数据越单一，得到的流量-资源消耗模型的准确度越低，可能会导致预测到的对应时间段内节点单机带宽值准确度不高，此时，可以设置对应的节点单机带宽值的置信度低。

一个例子中，可以使用运行数据中资源消耗数据的取值范围来衡量运行数据是否单一，比如，资源消耗数据的取值范围在10％-20％之间，或者10％-30％之间等较小范围时，确定运行数据越单一。

S403，确定各历史时间段和当前时间段内节点单机带宽值的置信度后，根据置信度与权重系数正相关关系，确定各历史时间段和当前时间段内节点单机带宽值的权重系数。

各历史时间段和当前时间段内节点单机带宽值的置信度，可以表示节点单机带宽值预测的准确度，置信度低对应的准确度低，因此，可以为置信度低对应的节点单机带宽值设置较小的权重系数，或者直接将其权重系数设置为0不参与待检测CDN节点的监测带宽的确定。

在一种可能的实施方式中，还可以根据各历史时间段和当前时间段内运行数据对应的硬件资源消耗利用率，或者各时间段距离当前时刻的时间差等，设置各历史时间段和当前时间段内节点单机带宽值的权重系数。

S404，在确定各历史时间段和当前时间段内节点单机带宽值的权重系数之后，可以对各历史时间段和当前时间段内节点单机带宽值及其权重系数求加权平均值，将该加权平均值确定为待检测CDN节点的监测带宽。

本公开实施例中，综合考虑了各历史时间段和当前时间段内节点单机带宽值，以及各历史时间段和当前时间段内节点单机带宽值的置信度，确定CDN节点的监测带宽，避免了待检测CDN节点出口带宽变化过于剧烈，减少了待检测CDN节点单机带宽值的波动。

本公开实施例还提供了一种节点带宽监测装置，参见图5，该装置包括：

数据获取模块501，用于获取待检测CDN节点当前时间段内的运行数据，其中，运行数据包括待检测CDN节点的流量特征数据以及资源消耗数据；

模型更新模块502，用于利用待检测CDN节点当前时间段内的运行数据，对预先确定的流量-资源消耗模型及模型误差指标进行更新；

带宽预测模块503，用于基于流量-资源消耗模型，确定待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到待检测CDN节点的节点单机带宽值；

带宽监测模块504，用于根据待检测CDN节点的节点单机带宽值及模型误差指标，确定待检测CDN节点的监测带宽。

本公开实施例中，利用待检测CDN节点当前时间段内的运行数据，对预先确定的流量-资源消耗模型及模型误差指标进行更新，使得流量-资源消耗模型能够更准确的描述当前时间段流量与资源消耗之间的对应关系，进一步，基于流量-资源消耗模型，确定待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到待检测CDN节点更准确的节点单机带宽值，并根据待检测CDN节点的节点单机带宽值及模型误差指标，确定待检测CDN节点的监测带宽，能够更准确的实现待检测CDN节点的带宽监测，进而可以为CDN调度系统提供更加准确的节点可用带宽，从而实现各CDN节点间的负载均衡，提高各CDN节点的资源利用率。

在一种可能的实施方式中，上述装置还包括：

历史数据获取模块，用于获取待检测CDN节点历史时间段内的运行数据；

样本数据确定模块，用于将历史时间段内的流量特征数据作为算法模型的样本输入特征、将历史时间段内的资源消耗数据作为算法模型的样本输出特征，得到历史时间段内的样本数据；

模型训练模块，用于利用历史时间段内的样本数据对算法模型进行训练，得到流量-资源消耗模型及模型误差指标。

在一种可能的实施方式中，上述装置还包括：

数据过滤模块，用于对历史时间段内的样本数据进行过滤处理，得到过滤处理后的样本数据；

数据转换模块，用于对过滤处理后的样本数据进行维度转换，得到用于算法模型训练的样本数据。

在一种可能的实施方式中，上述带宽预测模块503，包括：

数据获取子模块，用于获取待检测CDN节点当前时间段内指定时间段的流量特征数据；指定时间段为当前时间段内最近一次流量使用高峰期对应的时间段；

带宽预测子模块，用于基于指定时间段的流量特征数据，利用流量-资源消耗模型，预测待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到待检测CDN节点的节点单机带宽值。

在一种可能的实施方式中，上述带宽预测子模块，具体用于：

将指定时间段的流量特征数据作为流量-资源消耗模型的输入，利用流量-资源消耗模型对指定时间段的流量特征数据对应的资源消耗数据进行预测，得到目标资源消耗值；

判断目标资源消耗值，是否达到待检测CDN节点资源使用量的阈值；

如果是，则将目标资源消耗值，确定为待检测CDN节点的节点单机带宽值；

如果否，则利用预设缩放比例对指定时间段的流量特征数据进行缩放，并将缩放后的流量特征数据更新为指定时间段的流量特征数据，返回执行将指定时间段的流量特征数据作为流量-资源消耗模型的输入，利用流量-资源消耗模型对指定时间段的流量特征数据对应的资源消耗数据进行预测，得到目标资源消耗值的步骤。

在一种可能的实施方式中，上述带宽监测模块504，具体用于：

获取待检测CDN节点在不同历史时间段内的节点单机带宽值及模型误差指标；

基于各历史时间段和当前时间段内的模型误差指标以及运行数据，分别确定各历史时间段和当前时间段内节点单机带宽值的置信度；

基于各历史时间段和当前时间段内节点单机带宽值的置信度，确定各历史时间段和当前时间段内节点单机带宽值的权重系数；

根据各历史时间段和当前时间段内节点单机带宽值及其权重系数，确定待检测CDN节点的监测带宽。

在一种可能的实施方式中，上述装置还包括：

数据存储模块，用于对模型误差指标以及待检测CDN节点的节点单机带宽值进行存储。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

其中，电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一项的方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开中任一项的方法。

一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开中任一项的方法。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗需要说明的是，本实施例中的人头模型并不是针对某一特定用户的人头模型，并不能反映出某一特定用户的个人信息。需要说明的是，本实施例中的二维人脸图像来自于公开数据集。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如节点带宽监测方法。例如，在一些实施例中，节点带宽监测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的节点带宽监测方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行节点带宽监测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种节点带宽监测方法，包括：

获取待检测CDN节点当前时间段内的运行数据，其中，所述运行数据包括所述待检测CDN节点的流量特征数据以及资源消耗数据；

利用所述待检测CDN节点当前时间段内的运行数据，对预先确定的流量-资源消耗模型及模型误差指标进行更新；其中，所述流量-资源消耗模型用于表征节点流量与节点资源消耗之间的对应关系，所述模型误差指标用于表征所述流量-资源消耗模型中节点流量与节点资源消耗之间的对应关系的准确度；

基于流量-资源消耗模型，确定所述待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到所述待检测CDN节点的节点单机带宽值；

根据所述待检测CDN节点的节点单机带宽值及所述模型误差指标，确定所述待检测CDN节点的监测带宽。

2.根据权利要求1所述的方法，所述方法还包括：

获取所述待检测CDN节点历史时间段内的运行数据；

将所述历史时间段内的流量特征数据作为算法模型的样本输入特征、将所述历史时间段内的资源消耗数据作为算法模型的样本输出特征，得到所述历史时间段内的样本数据；

利用所述历史时间段内的样本数据对算法模型进行训练，得到流量-资源消耗模型及模型误差指标。

3.根据权利要求2所述的方法，在所述利用所述历史时间段内的样本数据对算法模型进行训练，得到流量-资源消耗模型及模型误差指标之前，所述方法还包括：

对所述历史时间段内的样本数据进行过滤处理，得到过滤处理后的样本数据；

对所述过滤处理后的样本数据进行维度转换，得到用于算法模型训练的样本数据。

4.根据权利要求1所述的方法，其中，所述基于流量-资源消耗模型，确定所述待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到所述待检测CDN节点的节点单机带宽值，包括：

获取所述待检测CDN节点当前时间段内指定时间段的流量特征数据；所述指定时间段为所述当前时间段内最近一次流量使用高峰期对应的时间段；

基于所述指定时间段的流量特征数据，利用所述流量-资源消耗模型，预测所述待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到所述待检测CDN节点的节点单机带宽值。

5.根据权利要求4所述的方法，其中，所述基于所述指定时间段的流量特征数据，利用所述流量-资源消耗模型，预测所述待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到所述待检测CDN节点的节点单机带宽值，包括：

将所述指定时间段的流量特征数据作为所述流量-资源消耗模型的输入，利用所述流量-资源消耗模型对所述指定时间段的流量特征数据对应的资源消耗数据进行预测，得到目标资源消耗值；

判断所述目标资源消耗值，是否达到所述待检测CDN节点资源使用量的阈值；

如果是，则将所述目标资源消耗值，确定为所述待检测CDN节点的节点单机带宽值；

如果否，则利用预设缩放比例对所述指定时间段的流量特征数据进行缩放，并将缩放后的流量特征数据更新为所述指定时间段的流量特征数据，返回执行将所述指定时间段的流量特征数据作为所述流量-资源消耗模型的输入，利用所述流量-资源消耗模型对所述指定时间段的流量特征数据对应的资源消耗数据进行预测，得到目标资源消耗值的步骤。

6.根据权利要求1所述的方法，其中，所述根据所述待检测CDN节点的节点单机带宽值及所述模型误差指标，确定所述待检测CDN节点的监测带宽，包括：

获取所述待检测CDN节点在不同历史时间段内的节点单机带宽值及所述模型误差指标；

基于各历史时间段和当前时间段内的模型误差指标以及运行数据，分别确定各历史时间段和当前时间段内节点单机带宽值的置信度；

基于所述各历史时间段和当前时间段内节点单机带宽值的置信度，确定所述各历史时间段和当前时间段内节点单机带宽值的权重系数；

根据所述各历史时间段和当前时间段内节点单机带宽值及其权重系数，确定所述待检测CDN节点的监测带宽。

7.根据权利要求1所述的方法，还包括：

对所述模型误差指标以及所述待检测CDN节点的节点单机带宽值进行存储。

8.一种节点带宽监测装置，包括：

数据获取模块，用于获取待检测CDN节点当前时间段内的运行数据，其中，所述运行数据包括所述待检测CDN节点的流量特征数据以及资源消耗数据；

模型更新模块，用于利用所述待检测CDN节点当前时间段内的运行数据，对预先确定的流量-资源消耗模型及模型误差指标进行更新；其中，所述流量-资源消耗模型用于表征节点流量与节点资源消耗之间的对应关系，所述模型误差指标用于表征所述流量-资源消耗模型中节点流量与节点资源消耗之间的对应关系的准确度；

带宽预测模块，用于基于流量-资源消耗模型，确定所述待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到所述待检测CDN节点的节点单机带宽值；

带宽监测模块，用于根据所述待检测CDN节点的节点单机带宽值及所述模型误差指标，确定所述待检测CDN节点的监测带宽。

9.根据权利要求8所述的装置，所述装置还包括：

历史数据获取模块，用于获取所述待检测CDN节点历史时间段内的运行数据；

样本数据确定模块，用于将所述历史时间段内的流量特征数据作为算法模型的样本输入特征、将所述历史时间段内的资源消耗数据作为算法模型的样本输出特征，得到所述历史时间段内的样本数据；

模型训练模块，用于利用所述历史时间段内的样本数据对算法模型进行训练，得到流量-资源消耗模型及模型误差指标。

10.根据权利要求9所述的装置，所述装置还包括：

数据过滤模块，用于对所述历史时间段内的样本数据进行过滤处理，得到过滤处理后的样本数据；

数据转换模块，用于对所述过滤处理后的样本数据进行维度转换，得到用于算法模型训练的样本数据。

11.根据权利要求8所述的装置，其中，所述带宽预测模块，包括：

数据获取子模块，用于获取所述待检测CDN节点当前时间段内指定时间段的流量特征数据；所述指定时间段为所述当前时间段内最近一次流量使用高峰期对应的时间段；

带宽预测子模块，用于基于所述指定时间段的流量特征数据，利用所述流量-资源消耗模型，预测所述待检测CDN节点在资源使用量达到阈值时能够承载的带宽值，得到所述待检测CDN节点的节点单机带宽值。

12.根据权利要求11所述的装置，其中，所述带宽预测子模块，具体用于：

将所述指定时间段的流量特征数据作为所述流量-资源消耗模型的输入，利用所述流量-资源消耗模型对所述指定时间段的流量特征数据对应的资源消耗数据进行预测，得到目标资源消耗值；

判断所述目标资源消耗值，是否达到所述待检测CDN节点资源使用量的阈值；

如果是，则将所述目标资源消耗值，确定为所述待检测CDN节点的节点单机带宽值；

如果否，则利用预设缩放比例对所述指定时间段的流量特征数据进行缩放，并将缩放后的流量特征数据更新为所述指定时间段的流量特征数据，返回执行将所述指定时间段的流量特征数据作为所述流量-资源消耗模型的输入，利用所述流量-资源消耗模型对所述指定时间段的流量特征数据对应的资源消耗数据进行预测，得到目标资源消耗值的步骤。

13.根据权利要求8所述的装置，其中，所述带宽监测模块，具体用于：

获取所述待检测CDN节点在不同历史时间段内的节点单机带宽值及所述模型误差指标；

基于各历史时间段和当前时间段内的模型误差指标以及运行数据，分别确定各历史时间段和当前时间段内节点单机带宽值的置信度；

基于所述各历史时间段和当前时间段内节点单机带宽值的置信度，确定所述各历史时间段和当前时间段内节点单机带宽值的权重系数；

根据所述各历史时间段和当前时间段内节点单机带宽值及其权重系数，确定所述待检测CDN节点的监测带宽。

14.根据权利要求8所述的装置，所述装置还包括：

数据存储模块，用于对所述模型误差指标以及所述待检测CDN节点的节点单机带宽值进行存储。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。

Images