CN112769643B - 资源调度方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种资源调度方法、装置、电子设备及存储介质。所述资源调度方法可包括：获取CDN的质量数据；基于获取的质量数据对CDN执行故障检测，其中，对CDN执行故障检测包括根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点，并且/或者根据CDN节点之间的质量差异定位CDN中的故障节点；根据检测结果执行故障决策；以及根据决策结果执行CDN调度。

Description

资源调度方法、装置、电子设备及存储介质

技术领域

本公开涉及信号处理领域，尤其涉及一种用于资源调度的方法、装置、电子设备及存储介质。

背景技术

目前，很多线上业务会利用内容分发网络(CDN)进行数据(例如，流媒体数据)传输。及时准确地发现CDN的故障并有效的实现CDN调度，对于线上业务来说是非常重要的。然而，现有的CDN故障定位和调度方法在执行故障定位和调度时始终使用人为设定的固定的阈值来确定CDN质量数据的异常，而这导致故障定位不够及时准确，进而导致无法实现有效的CDN调度。

发明内容

本公开提供一种用于资源调度的方法、装置、电子设备及存储介质，以至少解决相关技术中的故障定位不够及时准确，进而导致无法实现有效的CDN调度的问题。

根据本公开实施例的第一方面，提供了一种用于资源调度的方法，所述方法包括：获取CDN的质量数据；基于获取的质量数据对CDN执行故障检测，其中，对CDN执行故障检测包括根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点，并且/或者根据CDN节点之间的质量差异定位CDN中的故障节点；根据检测结果执行故障决策；以及根据决策结果执行CDN调度。

可选地，所述获取CDN的质量数据包括：获取不同维度组合下的每个CDN节点的质量数据；所述基于获取的质量数据对CDN执行故障检测，包括：基于获取的不同维度组合下的每个CDN节点的质量数据，在不同维度组合下对CDN执行故障检测。

可选地，所述根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点包括：获取基于每个维度组合下的每个CDN节点的历史质量数据利用时间序列模型预测出的所述每个维度组合下的质量数据阈值或每个CDN节点的质量数据阈值；通过将获取的所述每个维度组合下的每个CDN节点的质量数据与对应的质量数据阈值进行比较来定位所述每个维度组合下的故障节点。

可选地，通过将获取的所述每个维度组合下的每个CDN节点的质量数据与对应的质量数据阈值进行比较来定位所述每个维度组合下的故障节点，包括：确定每个CDN节点的质量数据是否大于对应的质量数据阈值，并且确定每个CDN节点的质量数据与对应的质量数据阈值的比值是否大于预定值；确定每个CDN节点的所有质量数据中满足大于对应的质量数据阈值并且与对应的质量数据阈值的比值大于所述预定值的质量数据的占比；将所述每个维度组合下所述占比满足预定条件的CDN节点确定为所述每个维度组合下的故障节点。

可选地，根据CDN节点之间的质量差异定位CDN中的故障节点，包括：将每个维度组合下的CDN节点的质量数据彼此进行比较；根据比较结果，将比同一维度组合下预定比例的其他CDN节点的质量差的CDN节点确定为CDN中的故障节点。

可选地，所述CDN质量数据包括在特定时间长度内按照特定时间间隔获得的指示CDN质量的指标的值。

可选地，所述根据检测结果执行故障决策，包括：根据检测结果按照预定故障决策规则从定位的故障节点中筛选出能够被调度的故障节点。

可选地，所述根据决策结果执行CDN调度，包括：基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上。

可选地，所述基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，包括：根据能够被调度的故障节点的流量大小，采用不同的调度方式将故障节点上的流量调度到同一维度组合下的正常节点上。

可选地，所述基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到CDN的正常节点上，包括：对于流量大小满足第一预定条件的能够被调度的故障节点，将该故障节点上的流量调度到正常节点之后，重复以下调度过程：等待预定时间之后，将调度走的流量中的至少一部分再调度回故障节点；如果在特定时间段期间该故障节点的质量恢复正常，则将先前调度走的流量再调度回该故障节点；如果在所述特定时间段期间该故障节点的质量仍然异常，则将调度回的流量中的所述至少一部分再次调度走，其中，每次将流量再次调度走之后等待的预定时间逐渐变长；对于流量大小满足第二预定条件的能够被调度的故障节点，将该故障节点上的流量调度到正常节点之后，即使该故障节点的质量恢复正常，也不再将调度走的流量再调度回该故障节点。

可选地，所述基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，包括：按照能够被调度的故障节点各自的调度优先级，将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，其中，所述调度优先级是根据能够被调度的故障节点上的流量确定的，其中，故障节点上的流量越大，故障节点的调度优先级越高。

可选地，所述在不同维度组合下对CDN执行故障检测，包括：基于获取的每个维度组合下的质量数据对每个维度组合下的CDN节点进行健康测试；仅针对通过健康测试的维度组合，基于获取的该维度组合下的每个CDN节点的质量数据执行故障检测来定位该维度组合下的故障节点。

根据本公开实施例的第二方面，提供了一种用于资源调度的装置，所述装置包括：质量数据获取单元，被配置为获取CDN的质量数据；故障检测单元，被配置为基于获取的质量数据对CDN执行故障检测，其中，对CDN执行故障检测包括根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点，并且/或者根据CDN节点之间的质量差异定位CDN中的故障节点；故障决策单元，被配置为根据检测结果执行故障决策；以及调度单元，被配置为根据决策结果执行CDN调度。

可选地，所述获取CDN的质量数据包括：获取不同维度组合下的每个CDN节点的质量数据，所述基于获取的质量数据对CDN执行故障检测，包括：基于获取的不同维度组合下的每个CDN节点的质量数据，在不同维度组合下对CDN执行故障检测。

可选地，所述根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点包括：获取基于每个维度组合下的每个CDN节点的历史质量数据利用时间序列模型预测出的所述每个维度组合下的质量数据阈值或每个CDN节点的质量数据阈值；通过将获取的所述每个维度组合下的每个CDN节点的质量数据与对应的质量数据阈值进行比较来定位所述每个维度组合下的故障节点。

可选地，通过将获取的所述每个维度组合下的每个CDN节点的质量数据与对应的质量数据阈值进行比较来定位所述每个维度组合下的故障节点，包括：确定每个CDN节点的质量数据是否大于对应的质量数据阈值，并且确定每个CDN节点的质量数据与对应的质量数据阈值的比值是否大于预定值；确定每个CDN节点的所有质量数据中满足大于对应的质量数据阈值并且与对应的质量数据阈值的比值大于所述预定值的质量数据的占比；将所述每个维度组合下所述占比满足预定条件的CDN节点确定为所述每个维度组合下的故障节点。

可选地，根据CDN节点之间的质量差异定位CDN中的故障节点，包括：将每个维度组合下的CDN节点的质量数据彼此进行比较；根据比较结果，将比同一维度组合下预定比例的其他CDN节点的质量差的CDN节点确定为CDN中的故障节点。

可选地，所述CDN质量数据包括在特定时间长度内按照特定时间间隔获得的指示CDN质量的指标的值。

可选地，所述根据检测结果执行故障决策，包括：根据检测结果按照预定故障决策规则从定位的故障节点中筛选出能够被调度的故障节点。

可选地，所述根据决策结果执行CDN调度，包括：基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上。

可选地，所述基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，包括：根据能够被调度的故障节点的流量大小，采用不同的调度方式将故障节点上的流量调度到同一维度组合下的正常节点上。

可选地，所述基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到CDN的正常节点上，包括：对于流量满足第一预定条件的能够被调度的故障节点，将该故障节点上的流量调度到正常节点之后，重复以下调度过程：等待预定时间之后，将调度走的流量中的至少一部分再调度回故障节点；如果在特定时间段期间该故障节点的质量恢复正常，则将先前调度走的流量再调度回该故障节点；如果在所述特定时间段期间该故障节点的质量仍然异常，则将调度回的流量中的所述至少一部分再次调度走，其中，每次将流量再次调度走之后等待的预定时间逐渐变长；对于流量满足第二预定条件的能够被调度的故障节点，将该故障节点上的流量调度到正常节点之后，即使该故障节点的质量恢复正常，也不再将调度走的流量再调度回该故障节点。

可选地，所述基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，包括：按照能够被调度的故障节点各自的调度优先级，将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，其中，所述调度优先级是根据能够被调度的故障节点上的流量确定的，其中，故障节点上的流量越大，故障节点的调度优先级越高。

可选地，所述在不同维度组合下对CDN执行故障检测，包括：基于获取的每个维度组合下的质量数据对每个维度组合下的CDN节点进行健康测试；仅针对通过健康测试的维度组合，基于获取的该维度组合下的每个CDN节点的质量数据执行故障检测来定位该维度组合下的故障节点。

根据本公开实施例的第三方面，提供了一种电子设备，所述电子设备包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的方法。

根据本公开实施例的第四方面，提供了一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的方法。

根据本公开实施例的第五方面，提供了一种计算机程序产品，所述计算机程序产品中的指令被电子设备中的至少一个处理器运行以执行如上所述的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：本公开的实施例根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点，并且/或者根据CDN节点之间的质量差异定位CDN中的故障节点，在此基础上，执行CDN调度，因此，能够更加及时准确地定位CDN中的故障节点并实现有效的CDN调度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的示例实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是本公开的示例性实施例可以应用于其中的示例性系统架构；

图2是本公开的示例性实施例的用于资源调度的方法的流程图；

图3是示出本公开的示例性实施例的用于资源调度的方法的示例的示意图；

图4是示出本公开的示例性实施例的执行故障检测的示意图；

图5是示出本公开的示例性实施例的执行故障决策的示意图；

图6是示出本公开的示例性实施例的执行CDN调度的示意图；

图7是本公开的示例性实施例的用于资源调度的装置的框图；

图8是根据本公开示例性实施例的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

图1示出了本公开的示例性实施例可以应用于其中的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息(例如音视频数据上传请求、音视频数据下载请求)等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如音视频录制软件、音视频播放器、即时通信工具、邮箱客户端、社交平台软件等。终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且能够进行音视频播放和录制的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

终端设备101、102、103可以安装有图像采集装置(例如摄像头)，以采集视频数据。实践中，组成视频的最小视觉单位是帧(Frame)。每一帧是一幅静态的图像。将时间上连续的帧序列合成到一起便形成动态视频。此外，终端设备101、102、103也可以安装有用于将电信号转换为声音的组件(例如扬声器)以播放声音，并且还可以安装有用于将模拟音频信号转换为数字音频信号的装置(例如，麦克风)以采集声音。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上所安装的多媒体应用提供支持的后台服务器。后台服务器可以对所接收到的音视频数据上传请求等数据进行解析、存储等处理，并且还可以接收终端设备101、102、103所发送的音视频数据下载请求，并将该音视频数据下载请求所指示的音视频数据反馈至终端设备101、102、103。

作为示例，服务器105可以是流媒体服务器，网络104可以是内容分发网络(CDN)。流媒体服务器可以通过内容分发网络将流媒体传输到各个终端设备。内容分发网络中包括多个提供流媒体内容的节点。当内容分发网络中的节点出现故障时，会导致流媒体服务器向终端设备提供流媒体服务时出现异常。如果能够及时准确地定位出故障节点，则可便于通过有效的调度来保障流媒体服务的正常提供。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本公开实施例所提供的资源调度方法一般由服务器105执行，相应地，资源调度装置一般设置于服务器105中。然而，本公开实施例所提供的资源调度方法也可由终端设备和服务器协作执行。相应地，资源调度装置也可设置在终端设备和服务器两者中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本公开对此并无限制。

图2是本公开的示例性实施例的用于资源调度的方法(以下，为描述方便，将其简称为“资源调度方法”)的流程图。

参照图2，在步骤S201，获取CDN的质量数据。根据示例性实施例，CDN质量数据可包括在特定时间长度(或特定时间跨度)内按照特定时间间隔(或时间粒度)获得的指示CDN质量的指标的值。这里，指标可以是指示CDN质量的任何一种或多种指标，例如，指标可以是下载失败率，但不限于此。另外，CDN质量数据每当被采集到后可被存储在预定数据库中，因此，可从预定数据库中获取CDN质量数据。由于真实场景中的一个故障通常是多种维度的组合，因此，CDN质量数据可以是不同维度组合下的每个CDN节点的质量数据，相应地，在步骤S201获取CDN质量数据可包括获取不同维度组合下的每个CDN节点的质量数据。这里，维度组合可以是例如以下维度的组合：业务、运营商(ISP)、省份和流量类型，例如，受关注程度非常高的账户(例如，受关注程度大于第一阈值的账户)的流量、受关注程度较高的账户(例如，受关注程度小于第一阈值且大于第二阈值的账户)的流量、受关注程度较小的账户(例如，受关注程度小于第二阈值的账户)的流量，等等。

图3是示出本公开的示例性实施例的用于资源调度的方法的示例的示意图。如图3所示，例如，可利用实时计算框架Flink计算出指示CDN质量的指标的值，并且利用Druid存储计算出的指标值，计算出的值可被存储在数据库中。在需要进行资源调度时，可从数据库中获取特定时间跨度、时间粒度和维度组合下的指标值，即，获取CDN质量数据。需要说明的是，本公开对计算指标的方式不做任何限制。

在获取到CDN的质量数据之后，在步骤S202，基于获取的质量数据对CDN执行故障检测。根据示例性实施例，对CDN执行故障检测包括根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点，并且/或者根据CDN节点之间的质量差异定位CDN中的故障节点。也就是说，可基于获取的质量数据，根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点(以下，称为第一种故障定位方式)。或者，可基于获取的质量数据，根据CDN节点之间的质量差异定位CDN中的故障节点(以下，称为第二种故障定位方式)。或者，也可以基于获取的质量数据，根据以上两种故障定位方式一起定位故障节点，在这种情况下，最终定位的故障节点可以是通过以上两种故障定位方式定位的故障节点的并集。

如上所述，真实场景中的一个故障通常是多种维度的组合，对于故障定位，期望可以确定一个故障是影响一个业务线还是多个业务线，在每一个被影响的业务线下，都有那些ISP导致了故障，故障的区域有多大，故障区域的CDN故障是由哪种账户类型的流量导致，亦或是多种账户类型的流量共同导致。因此，故障定位时常在不同维度组合下定位故障节点。根据示例性实施例，在步骤S202，可基于获取的不同维度组合下的每个CDN节点的质量数据，在不同维度组合下对CDN执行故障检测。可选地，根据示例性实施例，在不同维度组合下对CDN执行故障检测可包括：基于获取的每个维度组合下的质量数据对每个维度组合下的CDN节点进行健康测试；并且仅针对通过健康测试的维度组合，基于获取的该维度组合下的每个CDN节点的质量数据执行故障检测来定位该维度组合下的故障节点。这里，可通过将每个维度组合下的每个CDN节点的质量数据与由用户预先设定的阈值进行比较来对每个CDN节点进行健康测试。例如，如果CDN节点的质量数据小于所述预先设定的阈值，则将该CDN节点确定为是健康节点。如果每个维度组合下所有健康节点的数量满足预定条件(例如，超过预定数量)，则认为该维度组合通过了健康测试。在这种情况下，可对通过健康测试的该维度组合，基于获取的该维度组合下的每个CDN节点的质量数据执行故障检测来定位该维度组合下的故障节点。

如图3所示，例如，可在【省份+ISP+业务线+CDN】(也可被称为【P+I+B+C】)这个维度组合下执行故障检测，维度组合越细越能够实现精准定位故障节点和原因。再例如，可以在【业务线+CDN】(也可被称为【B+C】)这个维度组合下执行故障检测，这可以是业务线级别的维度组合，可以满足对业务线的故障检测。又例如，可以在【受关注程度非常高的账户+CDN】(也可被称为【S+C】)这个维度组合下执行故障检测，这可以是特殊级别的维度组合，可以专门定位那些由于受关注程度非常高的账户的流量而导致故障的节点。需要说明的是，尽管以上给出了三个维度组合的示例，但是本公开对维度组合方式并无限制，可根据实际需要在任何维度组合下执行故障检测。

此外，可针对不同维度组合利用不同的故障定位方法定位故障节点。例如，针对【S+C】这个维度组合，可利用第二种故障定位方式定位故障节点，而针对【P+I+B+C】和【B+CDN】这两个维度组合，可以利用第一种故障定位方式定位故障节点。

具体而言，在根据第一种故障定位方法定位故障节点时，可首先获取基于每个维度组合下的每个CDN节点的历史质量数据利用时间序列模型预测出的所述每个维度组合下的质量数据阈值或每个CDN节点的质量数据阈值，然后，可通过将获取的所述每个维度组合下的每个CDN节点的质量数据与对应的质量数据阈值进行比较来定位所述每个维度组合下的故障节点。例如，如图3所示，通过在【P+I+B+C】、【B+C】和【S+C】这三个不同维度组合下对CDN执行故障检测，可分别定位出在上述维度组合下的故障节点。

图4是示出本公开的示例性实施例的执行故障检测的示意图。在图4的示例中，在获取到CDN质量数据之后，首先执行健康测试，仅针对通过监控测试的维度组合执行故障检测。可选地，可判断获取到的质量数据的数量是否大于预定阈值，仅在获取到的质量数据的数量大于预定阈值的情况下进行后续故障检测处理。此外，在图4的示例中，当获取到质量数据并且质量数据的数量大于预定阈值的情况下，分别执行以上描述的两种故障定位方式来定位故障节点。也就是说，不仅根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点，而且根据CDN节点之间的质量差异定位CDN中的故障节点。

这里，时间序列模型是预先训练好的机器学习模型(例如，所述时间序列模型可以是Arima模型，但不限于此)，其可以基于每个维度组合下的每个CDN节点的历史质量数据预测出每个维度组合下的质量数据阈值，或者预测出每个CDN节点的质量数据阈值。这里，针对时间序列模型可设置敏感度控制参数，敏感度参数可控制时间序列模型预测出的质量数据阈值的波动程度，并且可在不同时间段针对时间序列模型设置不同的敏感度控制参数。

预测出的质量数据阈值可被存储在数据库或存储器中。每当需要执行故障检测时，可从数据库或存储器中获取预测出的质量数据阈值，并通过将获取的当前的质量数据与预测出的质量数据阈值进行比较来定位每个维度组合下的故障节点。如图4所示，可获取Arima预测出的质量数据阈值(也可被称为Arima上界)。如果成功获取到质量阈值(即，上界不为空)，则可通过与质量阈值进行比较来定位故障节点。例如，可通过以下比较方式来定位每个维度组合下的故障节点：确定每个CDN节点的质量数据是否大于对应的质量数据阈值，并且确定每个CDN节点的质量数据与对应的质量数据阈值的比值是否大于预定值；确定每个CDN节点的所有质量数据中满足大于对应的质量数据阈值(以下，可被称为第一条件)并且与对应的质量数据阈值的比值大于所述预定值(以下，可被称为第二条件)的质量数据的占比；将所述每个维度组合下所述占比满足预定条件的CDN节点确定为所述每个维度组合下的故障节点。这里，确定每个CDN节点的质量数据是否大于对应的质量数据阈值可以包括确定每个CDN节点的质量数据是否在预定时间段内持续大于对应的质量数据阈值。例如，如果某一维度组合下某个CDN节点共有五个质量数据Q1、Q2、Q3、Q4和Q5，其中三个质量数据Q1、Q2和Q3大于其对应的质量数据阈值，并且五个质量数据与其对应的质量数据阈值的比值中仅Q1和Q2与其对应的质量数据阈值的比值大于预定值(例如，4)，则可确定五个质量数据中仅Q1和Q2既满足大于其对应的质量数据阈值，又满足与其对应的质量数据的阈值的比值大于预定值，因此，对于该CDN节点而言，既满足第一条件又满足第二条件的质量数据的占比是2/5。假设针对占比所设置的上述预定条件是占比大于预定比例(例如，1/5)，则该CDN节点被确定为是该维度组合下的一个故障节点。按照上述比较方式，便可确定每个维度组合下的所有故障节点。需要说明的是，尽管以上给出了一种比较方式的示例，但是可根据业务需要采用其他比较方式来确定故障节点。

如上所述，还可根据CDN节点之间的质量差异定位CDN中的故障节点。在第二种故障定位方式中，可首先将每个维度组合下的CDN节点的质量数据彼此进行比较，然后，可根据比较结果，将比同一维度组合下预定比例的其他CDN节点的质量差的CDN节点确定为CDN中的故障节点。例如，如图4所示，假设某个维度组合下共有4个CDN节点，并且所述预定比例是50％，则可将每个CDN节点与该维度组合下的其他CDN节点分别进行质量数据的比较，如果该CDN节点比其他CDN节点中的两个节点的质量都差(即，其比2/3的其他节点都差)，则由于2/3超过了预定比例50％(即，差的个数超过了预定比例)，因此，该节点可被确定为是该维度组合下的一个故障节点。

如图4所示，最后，通过上述方式确定的故障节点可被加入CDN故障节点列表。

返回参照图2，在通过故障检测确定了故障节点之后，在步骤S203，可根据检测结果执行故障决策。具体而言，例如，可根据检测结果按照预定故障决策规则从定位的故障节点中筛选出能够被调度的故障节点(即，可调度的故障节点)。例如，如图3所示，可根据检测结果按照预定故障决策规则从【P+I+B+C】、【B+C】和【S+C】这三个不同维度组合下定位的故障节点中筛选出上述维度组合下的可调度的故障节点。这里，预定故障决策规则可由用户根据实际需要预先设定。此外，预定故障决策规则可包括针对不同维度组合的决策规则，并且针对不同维度组合设定的故障决策规则可以不同。另外，预定故障决策规则还可包括将不同维度组合下的故障节点进行对比的规则。例如，通过将【P+I+B+C】和【B+C】维度组合下的故障节点进行对比可确定是否是某些业务线的某些CDN节点导致大面积故障，若是，后续调度时可将这些节点上的流量调度到正常节点上。再例如，通过将【B+C】和【S+C】维度组合下的故障节点进行对比可确定是否是某些受关注程度非常高的账户导致故障，若是，后续调度时可将该账户的流量调度到其他正常节点上。

图5是示出本公开的示例性实施例的执行故障决策的示意图。如图5所示，例如，假设通过在【P+I+B+C】、【B+C】和【S+C】这三个不同维度组合下执行故障检测分别确定了这三个不同维度组合下的故障节点。此时，如图5所示，针对【P+I+B+C】维度组合下的故障节点，例如需遵守以下两条规则：1、一个维度组合内必须存在两个及两个以上的健康节点，否则该维度组合下的故障节点不能够被调度；2、如果一个维度组合下的所有CDN节点均不健康，则该维度组合下的故障节点不能被调度。针对【B+C】维度组合下的故障节点，由于这一维度组合下的故障通常是全局性故障，因此需要遵守例如能够被调度的故障节点的量一般不能超过百分之四十这一规则。而针对【S+C】这个维度组合下的故障节点，可无需受以上针对其他两个维度组合的决策规则的限制。之后，根据故障决策规则，过滤掉不可被调度的故障节点，最终筛选出能够被调度的CDN故障节点。

返回参照图2，在执行故障决策之后，在步骤S204，可根据决策结果执行CDN调度。根据示例性实施例，在步骤S204，可基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上。这里，CDN的当前的资源配置情况例如可以是CDN节点的流量配置情况(例如，各CDN节点承担的流量配比)。

例如，如图3所示，在确定了【P+I+B+C】、【B+C】和【S+C】这三个不同维度组合下可调度的故障节点之后，可分别执行这三个维度组合下的调度。关于调度优先级、调度方式等的调度设置信息可通过PB/RPC被传输到调度执行端执行调度。此外，CDN的当前的资源配置情况也可被传输到调度执行端执行调度。

根据示例性实施例，可按照能够被调度的故障节点各自的调度优先级，将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点。这里，所述调度优先级可以是根据能够被调度的故障节点上的流量确定的，并且故障节点上的流量越大，故障节点的调度优先级越高。

此外，可根据能够被调度的故障节点的流量大小，采用不同的调度方式将故障节点上的流量调度到同一维度组合下的正常节点上。例如，对于流量大小满足第一预定条件的能够被调度的故障节点，将该故障节点上的流量调度到正常节点之后，重复以下调度过程：等待预定时间之后，将调度走的流量中的至少一部分再调度回故障节点；如果在特定时间段期间该故障节点的质量恢复正常，则将先前调度走的流量再调度回该故障节点；如果在所述特定时间段期间该故障节点的质量仍然异常，则将调度回的流量中的所述至少一部分再次调度走，其中，每次将流量再次调度走之后等待的预定时间逐渐变长。这种方式可以有效避免频繁地进行流量调度而带来的风险。例如，流量大小满足第一预定条件的能够被调度的故障节点可以是服务于受关注程度较小的账户(例如，受关注程度小于第二阈值的账户)的故障节点(在下文中，被称为第一类型的故障节点)和服务于受关注程度较高的账户(例如，受关注程度小于第一阈值且大于第二阈值的账户)的故障节点(在下文中，被称为第二类型的故障节点)。此外，对于第一类型的故障节点，上述调度走的流量中的至少一部分等于调度走的流量，而对于第二类型的故障节点，上述调度走的流量中的至少一部分小于调度走的流量。对于流量大小满足第二预定条件的能够被调度的故障节点，将该故障节点上的流量调度到正常节点之后，即使该故障节点的质量恢复正常，也不再将调度走的流量再调度回该故障节点。例如，流量大小满足第二预定条件的能够被调度的故障节点可以是服务于受关注程度非常高的账户(例如，受关注程度大于第一阈值的账户)的故障节点(在下文中，被称为第三类型的故障节点)。

图6是示出本公开的示例性实施例的执行CDN调度的示意图。在图6的示例中，在确定了能够被调度的故障节点之后，可进一步获取先前的CDN调度信息、人工调度信息(即，人为执行调度的节点信息)和CDN当前的资源配置信息。例如，可通过RPC消息获得上述信息。可选地，可从确定的能够被调度的故障节点之中进一步过滤掉先前已经被调度的故障节点以及人工调度的故障节点。之后，可在此基础上采用以上描述的调度方式将故障节点上的流量调度到同一维度组合下的正常节点上。例如，如图6所示，对于第三类型的故障节点，可直接将故障节点上的流量调度到其他正常节点上。具体地，可以根据CDN的当前的资源配置情况确定以怎样的流量配比将该故障节点上的流量分摊到其他正常节点上。相应的流量配比信息可被写入到RPC消息中，从而可根据RPC消息中的信息执行调度。如上所述，对于第三类型的故障节点的流量，一旦发现故障，直接调走，不再调回。而对于第一类型的故障节点和第二类型的故障节点的流量，则可以在调走流量30分钟后调回至少一部分流量(对于第二类型的故障节点只调回一部分，比如10％，对于第一类型的故障节点则全调回)观测10分钟，如果这10分钟期间无异常，则把流量调回，若有问题则把尝试调回的流量再次调走，再等例如60分钟后，调回部分流量观测10分钟查看结果，上述过程可不断循环。这里，例如，可以以250个质量数据连续10分钟稳定为标准来判断第一类型的故障节点是否正常。

以上，已经结合图2至图6描述了根据本公开示例性实施例的资源调度方法。根据本公开示例性实施例的资源调度方法，可更加及时准确地定位CDN中的故障节点并实现有效的CDN调度。

图7是本公开的示例性实施例的用于资源调度的装置(以下，为描述方便，将其简称为“资源调度装置”)的框图。

参照图7，资源调度装置700可质量数据获取单元701、故障检测单元702、故障决策单元703和调度单元704。具体而言，质量数据获取单元701可被配置为获取CDN的质量数据。故障检测单元702可被配置为基于获取的质量数据对CDN执行故障检测。这里，对CDN执行故障检测包括根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点，并且/或者根据CDN节点之间的质量差异定位CDN中的故障节点。故障决策单元703可被配置为根据检测结果执行故障决策。调度单元704可被配置为根据决策结果执行CDN调度。

由于图2所示的资源调度方法可由图7所示的资源调度装置700来执行，并且质量数据获取单元701、故障检测单元702、故障决策单元703和调度单元704可分别执行与图2中的步骤201、步骤202、步骤203和步骤204对应的操作，因此，关于图7中的各单元所执行的操作中涉及的任何相关细节均可参见关于图2的相应描述，这里都不再赘述。

此外，需要说明的是，尽管以上在描述资源调度装置700时将其划分为用于分别执行相应处理的单元，然而，本领域技术人员清楚的是，上述各单元执行的处理也可以在资源调度装置700不进行任何具体单元划分或者各单元之间并无明确划界的情况下执行。此外，资源调度装置700还可包括其他单元，例如，数据处理单元、存储单元等。

图8是根据本公开示例性实施例的电子设备的框图。

参照图8，电子设备800可包括至少一个存储器801和至少一个处理器802，所述至少一个存储器中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器执行时，执行根据本公开实施例的资源调度方法。

作为示例，电子设备可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。

在电子设备中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器可运行存储在存储器中的指令或代码，其中，存储器还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储器中的文件。

此外，电子设备还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备的所有组件可经由总线和/或网络而彼此连接。

根据本公开的实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开示例性实施例的资源调度方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的实施例中，还可提供一种计算机程序产品，该计算机程序产品中的指令可被电子设备中的至少一个处理器运行以执行根据本公开示例性实施例的资源调度方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种用于资源调度的方法，其特征在于，包括：

获取内容分发网络CDN的质量数据，其中，获取CDN的质量数据包括：获取不同维度组合下的每个CDN节点的质量数据；

基于获取的质量数据对CDN执行故障检测，其中，对CDN执行故障检测包括：根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点；或者，根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点，并且根据CDN节点之间的质量差异定位CDN中的故障节点；

根据检测结果按照预定故障决策规则从定位的故障节点中筛选出能够被调度的故障节点；以及

基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，其中，所述资源配置情况包括CDN节点的流量配置情况，

其中，所述基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，包括：

对于流量大小满足第一预定条件的能够被调度的故障节点，将该故障节点上的流量调度到正常节点之后，重复以下调度过程：等待预定时间之后，将调度走的流量中的至少一部分再调度回故障节点；如果在特定时间段期间该故障节点的质量恢复正常，则将先前调度走的流量再调度回该故障节点；如果在所述特定时间段期间该故障节点的质量仍然异常，则将调度回的流量中的所述至少一部分再次调度走，其中，每次将流量再次调度走之后等待的预定时间逐渐变长，其中，所述流量大小满足第一预定条件的能够被调度的故障节点是服务于受关注程度小于第一阈值且大于第二阈值的账户的故障节点和服务于受关注程度小于第二阈值的账户的故障节点，其中，对于服务于受关注程度小于第二阈值的账户的故障节点，所述调度走的流量中的至少一部分等于调度走的流量，而对于服务于受关注程度小于第一阈值且大于第二阈值的账户的故障节点，所述调度走的流量中的至少一部分小于调度走的流量；

对于流量大小满足第二预定条件的能够被调度的故障节点，将该故障节点上的流量调度到正常节点之后，即使该故障节点的质量恢复正常，也不再将调度走的流量再调度回该故障节点，其中，所述流量大小满足第二预定条件的能够被调度的故障节点是服务于受关注程度大于第一阈值的账户的故障节点。

2.如权利要求1所述的方法，其中，所述基于获取的质量数据对CDN执行故障检测，包括：

基于获取的不同维度组合下的每个CDN节点的质量数据，在不同维度组合下对CDN执行故障检测。

3.如权利要求2所述的方法，其中，所述根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点包括：

获取基于每个维度组合下的每个CDN节点的历史质量数据利用时间序列模型预测出的所述每个维度组合下的质量数据阈值或每个CDN节点的质量数据阈值；

通过将获取的所述每个维度组合下的每个CDN节点的质量数据与对应的质量数据阈值进行比较来定位所述每个维度组合下的故障节点。

4.如权利要求3所述的方法，其中，通过将获取的所述每个维度组合下的每个CDN节点的质量数据与对应的质量数据阈值进行比较来定位所述每个维度组合下的故障节点，包括：

确定每个CDN节点的质量数据是否大于对应的质量数据阈值，并且确定每个CDN节点的质量数据与对应的质量数据阈值的比值是否大于预定值；

确定每个CDN节点的所有质量数据中满足大于对应的质量数据阈值并且与对应的质量数据阈值的比值大于所述预定值的质量数据的占比；

将所述每个维度组合下所述占比满足预定条件的CDN节点确定为所述每个维度组合下的故障节点。

5.如权利要求2所述的方法，其中，根据CDN节点之间的质量差异定位CDN中的故障节点，包括：

将每个维度组合下的CDN节点的质量数据彼此进行比较；

根据比较结果，将比同一维度组合下预定比例的其他CDN节点的质量差的CDN节点确定为CDN中的故障节点。

6.如权利要求1所述的方法，其特征在于，所述CDN质量数据包括在特定时间长度内按照特定时间间隔获得的指示CDN质量的指标的值。

7.如权利要求1所述的方法，其特征在于，所述基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，还包括：

按照能够被调度的故障节点各自的调度优先级，将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，其中，所述调度优先级是根据能够被调度的故障节点上的流量确定的，其中，故障节点上的流量越大，故障节点的调度优先级越高。

8.如权利要求2所述的方法，其特征在于，所述在不同维度组合下对CDN执行故障检测，包括：

基于获取的每个维度组合下的质量数据对每个维度组合下的CDN节点进行健康测试；

仅针对通过健康测试的维度组合，基于获取的该维度组合下的每个CDN节点的质量数据执行故障检测来定位该维度组合下的故障节点。

9.一种用于资源调度的装置，其特征在于，包括：

质量数据获取单元，被配置为获取内容分发网络CDN的质量数据，其中，获取CDN的质量数据包括：获取不同维度组合下的每个CDN节点的质量数据；

故障检测单元，被配置为基于获取的质量数据对CDN执行故障检测，其中，对CDN执行故障检测包括：根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点；或者，根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点，并且根据CDN节点之间的质量差异定位CDN中的故障节点；

故障决策单元，被配置为根据检测结果按照预定故障决策规则从定位的故障节点中筛选出能够被调度的故障节点；以及

调度单元，被配置为基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，其中，所述资源配置情况包括CDN节点的流量配置情况，

其中，所述基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到CDN的正常节点上，包括：

对于流量满足第一预定条件的能够被调度的故障节点，将该故障节点上的流量调度到正常节点之后，重复以下调度过程：等待预定时间之后，将调度走的流量中的至少一部分再调度回故障节点；如果在特定时间段期间该故障节点的质量恢复正常，则将先前调度走的流量再调度回该故障节点；如果在所述特定时间段期间该故障节点的质量仍然异常，则将调度回的流量中的所述至少一部分再次调度走，其中，每次将流量再次调度走之后等待的预定时间逐渐变长，其中，所述流量大小满足第一预定条件的能够被调度的故障节点是服务于受关注程度小于第一阈值且大于第二阈值的账户的故障节点和服务于受关注程度小于第二阈值的账户的故障节点，其中，对于服务于受关注程度小于第二阈值的账户的故障节点，所述调度走的流量中的至少一部分等于调度走的流量，而对于服务于受关注程度小于第一阈值且大于第二阈值的账户的故障节点，所述调度走的流量中的至少一部分小于调度走的流量；

对于流量满足第二预定条件的能够被调度的故障节点，将该故障节点上的流量调度到正常节点之后，即使该故障节点的质量恢复正常，也不再将调度走的流量再调度回该故障节点，其中，所述流量大小满足第二预定条件的能够被调度的故障节点是服务于受关注程度大于第一阈值的账户的故障节点。

10.如权利要求9所述的装置，其中，所述基于获取的质量数据对CDN执行故障检测，包括：

基于获取的不同维度组合下的每个CDN节点的质量数据，在不同维度组合下对CDN执行故障检测。

11.如权利要求10所述的装置，其中，所述根据通过时间序列模型预测的质量数据阈值定位CDN中的故障节点包括：

获取基于每个维度组合下的每个CDN节点的历史质量数据利用时间序列模型预测出的所述每个维度组合下的质量数据阈值或每个CDN节点的质量数据阈值；

通过将获取的所述每个维度组合下的每个CDN节点的质量数据与对应的质量数据阈值进行比较来定位所述每个维度组合下的故障节点。

12.如权利要求11所述的装置，其中，通过将获取的所述每个维度组合下的每个CDN节点的质量数据与对应的质量数据阈值进行比较来定位所述每个维度组合下的故障节点，包括：

确定每个CDN节点的质量数据是否大于对应的质量数据阈值，并且确定每个CDN节点的质量数据与对应的质量数据阈值的比值是否大于预定值；

确定每个CDN节点的所有质量数据中满足大于对应的质量数据阈值并且与对应的质量数据阈值的比值大于所述预定值的质量数据的占比；

将所述每个维度组合下所述占比满足预定条件的CDN节点确定为所述每个维度组合下的故障节点。

13.如权利要求10所述的装置，其中，根据CDN节点之间的质量差异定位CDN中的故障节点，包括：

将每个维度组合下的CDN节点的质量数据彼此进行比较；

根据比较结果，将比同一维度组合下预定比例的其他CDN节点的质量差的CDN节点确定为CDN中的故障节点。

14.如权利要求9所述的装置，其特征在于，所述CDN质量数据包括在特定时间长度内按照特定时间间隔获得的指示CDN质量的指标的值。

15.如权利要求9所述的装置，其特征在于，所述基于CDN的当前的资源配置情况将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，还包括：

按照能够被调度的故障节点各自的调度优先级，将能够被调度的故障节点上的流量调度到同一维度组合下的正常节点上，其中，所述调度优先级是根据能够被调度的故障节点上的流量确定的，其中，故障节点上的流量越大，故障节点的调度优先级越高。

16.如权利要求10所述的装置，其特征在于，所述在不同维度组合下对CDN执行故障检测，包括：

基于获取的每个维度组合下的质量数据对每个维度组合下的CDN节点进行健康测试；

仅针对通过健康测试的维度组合，基于获取的该维度组合下的每个CDN节点的质量数据执行故障检测来定位该维度组合下的故障节点。

17.一种电子设备，其特征在于，包括:

至少一个处理器；

至少一个存储计算机可执行指令的存储器，

其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到8中的任一权利要求所述的方法。

18.一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到8中的任一权利要求所述的方法。