CN112269641B - 一种调度方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种调度方法、装置、电子设备及存储介质。获取集群中新增的待调度任务，若确定集群的计算节点中存在满足待调度任务所需资源量的候选调度节点，且待调度任务为在线任务，判断候选调度节点中是否存在属于在线任务处理区的节点，若存在，从在线任务处理区的节点中选取出目标调度节点；否则，从混合任务处理区的节点中选取目标调度节点。对于在线任务优先调度至在线任务处理区，当在线任务处理区的资源不足时，还可以将待调度任务调度至混合任务处理区，这样，可以避免出现由于调度任务的增加导致在线任务发生调度失败的情况，可以保证在线任务能够及时地处理，进而，保障对在线任务的服务质量。

Description

一种调度方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种调度方法、装置、电子设备及存储介质。

背景技术

容器技术是当前热门的技术，基于K8S(Kubernetes)集群设计的底层架构较为普及，软件的部署更为容易。通常，把某个互联网在线应用部署在K8S上，通常以控制器模型Deployment的形式进行部署。在线应用的请求量一般是非恒定的，如白天请求量比较高，晚上请求量比较低，或者遇到活动日，请求量会暴增。如何为这种请求非恒定的应用分配资源，在传统基于物理机/虚拟机的部署架构下，是一个异常痛点的问题。如按照最大请求量去分配资源，当请求量下来时，会存在很大的资源浪费，按照一个较低的标准去分配资源，当请求量上去时，又存在扩容不及时，进而影响在线应用服务质量的问题。

在基于K8S的部署架构下，K8S提供了一种横向自动扩缩容技术(Horizontal PodAutoscaler，HPA)技术，可以根据Deployment下的创建和管理K8S计算的最小可部署单元(Pod)的内存开销或其它自定义指标(如请求量)的情况去自动伸缩副本，如中央处理器(central processing unit，CPU)利用率大于某一阈值(如70％)则扩容，如CPU利用率低于某一阈值(30％)则缩容。但实际场景中，K8S的HPA技术并未考虑当前集群的实际资源分配情况，当集群资源不足时，采用传统的调度节点筛选方法，比如，负载均衡算法、最小消耗节点算法，会有很大的概率出现Pod调度失败等待的问题，进而会影响在线应用的服务质量。

发明内容

有鉴于此，本申请实施例至少提供一种调度方法、装置、电子设备及存储介质，可以保证在线任务能够及时地处理，进而，保障对在线任务的服务质量。

本申请主要包括以下几个方面：

第一方面，本申请实施例提供一种调度方法，所述调度方法包括：

获取集群中新增的待调度任务；

若确定所述集群的计算节点中，存在剩余资源量满足所述待调度任务所需资源量的至少一个候选调度节点，且所述待调度任务为在线任务，则判断所述至少一个候选调度节点中是否存在属于在线任务处理区的节点；

若存在，从所述至少一个候选调度节点中属于所述在线任务处理区的节点中，选取出目标调度节点；否则，从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取所述目标调度节点；

将所述待调度任务调度至所述目标调度节点。

在一种可能的实施方式中，所述从所述至少一个候选调度节点中属于所述在线任务处理区的节点中，选取出目标调度节点，包括：

统计所述至少一个候选调度节点中属于所述在线任务处理区的节点的数量；

若存在至少两个节点，则根据预设调度节点筛选算法，从所述至少两个节点中，选取出所述目标调度节点；

若存在一个节点，将该节点作为所述目标调度节点。

在一种可能的实施方式中，若所述至少一个候选调度节点中不存在属于所述在线任务处理区的节点，所述调度方法还包括：

提示所述在线任务处理区中的节点数量不足。

在一种可能的实施方式中，在所述从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取所述目标调度节点之后，所述调度方法还包括：

计算所述混合任务处理区中在线任务的第一资源占用率；

判断所述第一资源占用率是否大于或等于第一预设比例；

若是，提示所述混合任务处理区中的节点数量不足。

在一种可能的实施方式中，若确定所述集群的计算节点中，存在剩余资源量满足所述待调度任务所需资源量的至少一个候选调度节点，且所述待调度任务为离线任务，所述调度方法还包括：

计算所述混合任务处理区中包含所述待调度任务的离线任务的第二资源占用率；

判断所述第二资源占用率是否小于或等于第二预设比例；

若是，则基于所述至少一个候选调度节点中属于所述混合任务处理区的节点，确定所述目标调度节点；

若否，则拒绝处理所述待调度任务。

在一种可能的实施方式中，若所述第二资源占用率小于或等于第二预设比例，且所述至少一个候选调度节点中不存在属于所述混合任务处理区的节点，所述调度方法还包括：

拒绝处理所述待调度任务。

在一种可能的实施方式中，所述基于所述至少一个候选调度节点中属于所述混合任务处理区的节点，确定所述目标调度节点，包括：

计算所述至少一个候选调度节点中属于所述混合任务处理区的每个节点对应的资源剩余率；

从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取资源剩余率最小的节点，确定为所述目标调度节点。

在一种可能的实施方式中，若确定所述集群的计算节点中，不存在剩余资源量满足所述待调度任务所需资源量的候选调度节点，且所述待调度任务为在线任务，所述调度方法还包括：

将所述混合任务处理区中节点处理的离线任务删除，以使所述混合任务处理区中的节点处理所述待调度任务。

在一种可能的实施方式中，所述调度方法还包括：

若所述待调度任务在所述混合任务处理区的时间大于或等于预设时长，且所述在线任务处理区中有满足所述待调度任务所需资源量的目标节点时，将所述待调度任务调度至所述在线任务处理区的所述目标节点上。

第二方面，本申请实施例还提供一种调度装置，所述调度装置包括：

获取模块，用于获取集群中新增的待调度任务；

判断模块，用于若确定所述集群的计算节点中，存在剩余资源量满足所述待调度任务所需资源量的至少一个候选调度节点，且所述待调度任务为在线任务，则判断所述至少一个候选调度节点中是否存在属于在线任务处理区的节点；

选取模块，用于若存在，从所述至少一个候选调度节点中属于所述在线任务处理区的节点中，选取出目标调度节点；否则，从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取所述目标调度节点；

调度模块，用于将所述待调度任务调度至所述目标调度节点。

在一种可能的实施方式中，所述选取模块包括：

统计单元，用于统计所述至少一个候选调度节点中属于所述在线任务处理区的节点的数量；

选取单元，用于若存在至少两个节点，则根据预设调度节点筛选算法，从所述至少两个节点中，选取出所述目标调度节点；

确定单元，用于若存在一个节点，将该节点作为所述目标调度节点。

在一种可能的实施方式中，所述调度装置还包括：

第一提示模块，用于提示所述在线任务处理区中的节点数量不足。

在一种可能的实施方式中，所述调度装置还包括第二提示模块；所述第二提示模块用于：

计算所述混合任务处理区中在线任务的第一资源占用率；

判断所述第一资源占用率是否大于或等于第一预设比例；

若是，提示所述混合任务处理区中的节点数量不足。

在一种可能的实施方式中，若确定所述集群的计算节点中，存在剩余资源量满足所述待调度任务所需资源量的至少一个候选调度节点，且所述待调度任务为离线任务，所述调度装置还包括确定模块；所述确定模块用于：

计算所述混合任务处理区中包含所述待调度任务的离线任务的第二资源占用率；

判断所述第二资源占用率是否小于或等于第二预设比例；

若是，则基于所述至少一个候选调度节点中属于所述混合任务处理区的节点，确定所述目标调度节点；

若否，则拒绝处理所述待调度任务。

在一种可能的实施方式中，若所述第二资源占用率小于或等于第二预设比例，且所述至少一个候选调度节点中不存在属于所述混合任务处理区的节点，所述确定模块还用于：

拒绝处理所述待调度任务。

在一种可能的实施方式中，所述确定模块，用于根据以下步骤确定所述目标调度节点：

计算所述至少一个候选调度节点中属于所述混合任务处理区的每个节点对应的资源剩余率；

从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取资源剩余率最小的节点，确定为所述目标调度节点。

在一种可能的实施方式中，若确定所述集群的计算节点中，不存在剩余资源量满足所述待调度任务所需资源量的候选调度节点，且所述待调度任务为在线任务，所述调度装置还包括删除模块；所述删除模块用于：

将所述混合任务处理区中节点处理的离线任务删除，以使所述混合任务处理区中的节点处理所述待调度任务。

在一种可能的实施方式中，所述调度模块还用于：

若所述待调度任务在所述混合任务处理区的时间大于或等于预设时长，且所述在线任务处理区中有满足所述待调度任务所需资源量的目标节点时，将所述待调度任务调度至所述在线任务处理区的所述目标节点上。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的调度方法的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的调度方法的步骤。

本申请实施例提供的调度方法、装置、电子设备及存储介质，通过预先设置不同的任务处理区，对于在线任务优先调度至在线任务处理区，当在线任务处理区的资源不足时，还可以将待调度任务调度至混合任务处理区，与现有技术中的当集群资源不足时，采用传统的调度节点筛选方法，比如，负载均衡算法、最小消耗节点算法，会有很大的概率出现Pod调度失败等待的问题，进而会影响在线应用的服务质量相比，本申请可以避免出现由于调度任务的增加导致在线任务发生调度失败的情况，可以保证在线任务能够及时地处理，进而，保障对在线任务的服务质量。

进一步，本申请实施例提供的调度方法，若至少一个候选调度节点中不存在属于在线任务处理区的节点，提示在线任务处理区中的节点数量不足。这里，当在线任务处理区没有满足处理待调度任务的节点时，说明在线任务处理区的节点不充足，即子线任务处理区的资源存在不足风险，通过向运维人员发送提示消息，可以提醒运维人员提前增加实体计算机加入集群，保障服务需求。

进一步，本申请实施例提供的调度方法，若待调度任务在混合任务处理区的时间大于或等于预设时长，且在线任务处理区中有满足待调度任务所需资源量的目标节点时，将待调度任务调度至在线任务处理区的目标节点上。这里，本申请设计了重调度的功能，会定时追踪混合任务处理区的在线任务的情况，及当前在线任务处理区是否有足够的资源，若在线任务处理区有足够资源，则将发生重调度，将满足条件的混合任务处理区的在线任务重调度至在线任务处理区进行处理，可以提升对调度任务的处理效率，保障混合任务处理区处理在线任务的能力。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种调度方法的流程图；

图2示出了本申请实施例所提供的一种调度装置的功能模块图之一；

图3示出了图2中选取模块的功能模块图；

图4示出了本申请实施例所提供的一种调度装置的功能模块图之二；

图5示出了本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。

为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“集群中新增调度任务，如何对待调度任务进行调度”，给出以下实施方式，对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。

本申请实施例下述方法、装置、电子设备或计算机可读存储介质可以应用于任何需要进行调度的场景，本申请实施例并不对具体的应用场景作限制，任何使用本申请实施例提供的调度方法及装置的方案均在本申请保护范围内。

值得注意的是，在本申请提出之前，相关方案中K8S的HPA技术并未考虑当前集群的实际资源分配情况，当集群资源不足时，采用传统的调度节点筛选方法，比如，负载均衡算法、最小消耗节点算法，会有很大的概率出现Pod调度失败等待的问题，进而会影响在线应用的服务质量。

针对上述问题，本申请实施例先获取集群中新增的待调度任务，若确定集群的计算节点中存在满足待调度任务所需资源量的候选调度节点，且待调度任务为在线任务，判断候选调度节点中是否存在属于在线任务处理区的节点，若存在，从在线任务处理区的节点中选取出目标调度节点；否则，从混合任务处理区的节点中选取目标调度节点。对于在线任务优先调度至在线任务处理区，当在线任务处理区的资源不足时，还可以将待调度任务调度至混合任务处理区，这样，可以避免出现由于调度任务的增加导致在线任务发生调度失败的情况，可以保证在线任务能够及时地处理，进而，保障对在线任务的服务质量。

需要说明的是，K8S是一个开源的用于管理云平台中多个主机上的容器化的应用；Pod是可以创建和管理K8S计算的最小可部署单元，由一个或者多个容器组成，同时也是K8S调度的基本粒度，可以申请一定量的资源，例如申请2核CPU、4G内存，对于本申请每个Pod为一个调度任务；Deployment是K8S的一种资源类型，包括0到多个副本(Pod)，多个副本(Pod)地位等同；Node是K8S集群中的服务器，又称节点；Cluster即K8S集群，由控制节点和若干计算节点组成；HPA是指横向自动扩缩容技术，可以根据Pod的CPU、MEM或其它自定义指标(如请求量)占用情况，自动扩展或缩减Deployment的副本数量，如CPU占用率超过70％自动扩展副本数，CPU占用率小余30％自动缩减副本数量；Zone(区域)为若干个计算节点的集合，可以把K8S集群中的若干计算节点划入某个Zone，对于本申请，将集群中的计算节点划分至在线任务处理区和混合任务处理区中，若Pod调度时指定调度到某个Zone，则该Pod只会被调度至该Zone所属Node上；若要将当前Pod调度到节点上运行，则该节点称为调度节点；当前集群资源所有计算节点剩余资源都无法满足待调度Pod的资源需求，则该Pod会进入Pending状态(等待状态)，K8S调度会在后续流程中定时检测Pending的Pod及当前集群所有满足该Pod调度，满足则调度，不满足则继续Pending；在线应用即在线任务，直接为用户提供在线服务的应用，需要长时间运行，如在线游戏，媒体网站等；离线任务为一般不直接为用户提供服务，运行一段时间后即结束，如定时任务、AI训练任务、大数据离线计算任务。

为便于对本申请进行理解，下面结合具体实施例对本申请提供的技术方案进行详细说明。

图1为本申请实施例所提供的一种调度方法的流程图。如图1所示，本申请实施例提供的调度方法，包括以下步骤：

S101：获取集群中新增的待调度任务。

在具体实施中，当检测到集群中新增待调度任务时，获取新增的待调度任务，并确定待调度任务所需的资源量。

其中，集群包括一个控制节点和多个计算节点，控制节点负责将调度任务分配至计算节点，计算节点用于处理调度任务，为调度任务提供计算资源。

需要说明的是，通常针对在线应用(在线任务)的请求量一般是非恒定的，如白天请求量较高、晚上请求量较低，或者，遇到活动日，比如双十一，请求量会暴增。当针对在线应用的请求量暴增时，可以采用HPA技术根据请求量的多少自动增加处理请求的调度任务(在线任务)。

优选地，执行本申请提供的调度方法的主体可以为集群中的控制节点。

S102：若确定所述集群的计算节点中，存在剩余资源量满足所述待调度任务所需资源量的至少一个候选调度节点，且所述待调度任务为在线任务，则判断所述至少一个候选调度节点中是否存在属于在线任务处理区的节点。

在具体实施中，针对任一新增的待调度任务，先确定该待调度任务所需的资源量，进而判断集群的计算节点中，是否存在剩余资源量满足待调度任务所需资源量的至少一个候选调度节点，即，对集群中的计算节点进行预选，获取到满足待调度任务所需资源的候选调度节点，若存在，判断待调度任务的任务类型，若待调度任务为在线任务，则判断满足待调度任务所需资源的候选调度节点中是否存在属于在线任务处理区的节点。

需要说明的是，本申请事先将集群中的计算节点划分至不同的任务处理区，这里，有两个任务处理区，即在线任务处理区和混合任务处理区，其中，在线任务处理区中的计算节点只负责处理在线任务，混合任务处理区中的计算节点可以负责处理在线任务和离线任务，考虑到在线任务需要及时处理的，而离线任务可以延后处理，对此，将在线任务的优先级设置高于离线任务的优先级。通常，在线任务处理区的资源量要大于混合任务处理区的资源量，这样，可以使在线任务充分得到处理，优选地，可以将在线任务处理区的资源占比设为高于80％。

这里，一个计算节点可以同时处理多个调度任务，调度任务只能分配至一个计算节点来处理。

一示例中，集群有三个计算节点，分别为计算节点A、计算节点B、计算节点C，计算节点A的CPU总量为20核，当前CPU剩余量为10核，计算节点B的CPU总量为20核，当前CPU剩余量为5核，计算节点C的CPU总量为20核，当前CPU剩余量为3核。待调度任务所需的资源量为CPU6核，计算节点B剩余的CPU 5核，以及计算节点C剩余的CPU3核均不满足待调度任务所需的资源量CPU6核，只有计算节点A剩余的CPU10核满足待调度任务所需的资源量CPU6核，则从计算节点A、计算节点B、计算节点C中选取计算节点A作为候选调度节点。

这里，在步骤S102中判断所述至少一个候选调度节点中是否存在属于在线任务处理区的节点之后，确定所述至少一个候选调度节点中不存在属于所述在线任务处理区的节点，说明在线任务处理区无法处理为在线任务的待调度任务，在线任务处理区的资源不充足，此时，需要提醒运维人员增加实体计算机，即，提示在线任务处理区中的节点数量不足，以便运维人员增加在线任务处理区的计算节点，避免由于在线任务处理区资源不足，出现无法及时处理请求的情况。

进一步地，待调度任务可以为在线任务也可以为离线任务，若确定所述集群的计算节点中，存在剩余资源量满足所述待调度任务所需资源量的至少一个候选调度节点，且所述待调度任务为离线任务，还包括以下步骤：

计算所述混合任务处理区中包含所述待调度任务的离线任务的第二资源占用率；判断所述第二资源占用率是否小于或等于第二预设比例；若是，则基于所述至少一个候选调度节点中属于所述混合任务处理区的节点，确定所述目标调度节点；若否，则拒绝处理所述待调度任务。

在具体实施中，若确定待调度任务为离线任务，由于在线任务处理区只能处理在线任务，混合任务处理区可以处理在线任务，也可以处理离线任务，所以只能将该待调度任务调度至混合任务处理区，但现需要确定满足待调度任务所需资源量的候选调度节点中，是否存在属于混合任务处理区的节点，同时还需要确定混合任务处理区的离线任务所需资源量是否已经达到阈值，若达到阈值，由于在线任务的优先级高于离线任务，所以无论混合任务处理区有无满足要求的计算节点，都不能处理该待调度任务，以便使混合任务处理区有空间处理在线任务，具体地，计算混合任务处理区中包含待调度任务的离线任务的第二资源占用率，若确定出第二资源占用率小于或等于第二预设比例，则从候选调度节点中属于混合任务处理区的节点中选取目标调度节点，若确定出第二资源占用率大于第二预设比例，则拒绝处理待调度任务，等待混合任务处理区有其他离线任务被处理完，第二资源占用率小于第二预设比例时，再处理该待调度任务。

这里，第二预设比例可以根据混合任务处理区的实际资源量以及离线任务所需资源量进行设置，第二预设比例优选设置为大于50％，其中第一预设比例与第二预设比例之和为1。

进一步，若所述第二资源占用率小于或等于第二预设比例，且所述至少一个候选调度节点中不存在属于所述混合任务处理区的节点，还包括以下步骤：拒绝处理所述待调度任务。

在具体实施中，由于在线任务处理区只能处理在线任务，混合任务处理区可以处理在线任务，也可以处理离线任务，若第二资源占用率小于或等于第二预设比例，但候选调度节点中不存在满足待调度任务所需资源的属于混合任务处理区的节点，此时，可以使该待调度任务处理等待状态，当前拒绝处理该待调度任务，当有属于混合任务处理区的满足该待调度任务所需资源的节点时，再对该待调度任务进行处理。

这里，还有另外一种情况，集群的计算节点中，不存在剩余资源量满足待调度任务所需资源量的候选调度节点，说明集群的资源不足，若该待调度任务为在线任务，由于在线任务的优先级高于离线任务，此时，启动抢占式调度，可以将混合任务处理区中优先极低的为离线任务的调度任务暂停处理或删除，重新为该待调度任务筛选候选调度节点，这样，该待调度任务可以被处理，具体地，将混合任务处理区中节点处理的离线任务删除，以使混合任务处理区中的节点处理待调度任务。另外，集群的计算节点中，不存在剩余资源量满足待调度任务所需资源量的候选调度节点，说明集群的资源不足，若该待调度任务为离线任务，由于离线任务的优先级较低，可以暂不处理，等待有满足要求的资源后，才对起进行处理。

这里，在将为在线任务的待调度任务调度至混合任务处理区之后，有可能存在该待调度任务没有被及时处理的情况，而在这段时间内，在线任务处理区可能存在满足该待调度任务处理的节点了，可以将该待调度任务重新调度至在线任务处理区的满足资源需求的目标节点上，也即，若所述待调度任务在所述混合任务处理区的时间大于或等于预设时长，且所述在线任务处理区中有满足所述待调度任务所需资源量的目标节点时，将所述待调度任务调度至所述在线任务处理区的所述目标节点上。

需要说明的是，K8s集群中pod副本(调度任务)扩容的顺序和缩容的顺序强相关，比如，原始有一个副本P1，扩容到两个副本后有P1，P2，接下来缩容到一个副本，则余P1按照K8s集群中pod扩容，缩容逆原因，经过一系列的扩容/缩容的调度后，可能存在在线任务处理区资源充足，但是在线任务的调度任务仍然长时间滞留混合任务处理区的情况，这种情况大量发生的话，混合任务处理区将会大量堆积在线任务的Pod，进而使得混合任务处理区失去担保的作用。因此，本申请设计了重调度的功能，会定时追踪在线任务处理区在线任务的情况，及当前在线任务处理区是否有足够的资源，若在线任务处理区有足够资源，则将发生重调度，将满足条件的混合任务处理区中的在线任务重调度至在线任务处理区。

S103：若存在，从所述至少一个候选调度节点中属于所述在线任务处理区的节点中，选取出目标调度节点；否则，从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取所述目标调度节点。

在具体实施中，在确定集群的计算节点中，有满足待调度任务所需资源量的候选调度节点，且确定出待调度任务为在线任务，进一步地，先判断满足待调度任务所需资源量的候选调度节点中，是否存在属于在线任务处理区的节点，若存在，优选将待调度任务调度至在线任务处理区中的节点，若不存在，说明在线任务处理区的节点中没有满足待调度任务所需资源量的节点，这时，可以从满足待调度任务所需资源量的候选调度节点中属于混合任务处理区的节点中，选取目标调度节点来处理待调度任务。

这里，步骤S102中所述从所述至少一个候选调度节点中属于所述在线任务处理区的节点中，选取出目标调度节点，包括：

统计所述至少一个候选调度节点中属于所述在线任务处理区的节点的数量；若存在至少两个节点，则根据预设调度节点筛选算法，从所述至少两个节点中，选取出所述目标调度节点；若存在一个节点，将该节点作为所述目标调度节点。

在该步骤中，在确定待调度任务为在线任务后，优选将待调度任务调度至在线任务处理区的节点上，这里，先判断满足待调度任务所需资源的该至少一个候选调度节点中，是否存在属于在线任务处理区的节点，若存在，从该至少一个候选调度节点中属于在线任务处理区的节点中选取目标调度节点，这里，可以先统计该至少一个候选调度节点中属于在线任务处理区的节点数量，若只有一个满足上述要求的节点，则将该节点直接确定为目标调度节点；若有两个以上满足上述要求的节点，可以根据预设调度节点筛选算法，从满足要求的至少两个节点中，筛选出目标调度节点。

需要说明的是，预设调度节点筛选算法为传统的调度节点筛选方法，比如，负载均衡算法(balanced_resource_allocation)、最小消耗节点算法(least_requested)、节点倾向匹配算法(node_prefer_avoid_pods)、选择器扩展算法(selector_spreading)等，其中，负载均衡算法为从节点列表中选出各项资源使用率最均衡的节点，最小消耗节点算法为选择消耗最小的节点(根据空闲比率评估CPU(总容量-sum(已使用)*10/总容量))。

需要说明的是，当针对在线应用的请求量暴增时，可以采用HPA技术根据请求量的多少自动增加处理请求的调度任务，为避免由于调度任务的增加，出现新增的调度任务不能及时被处理的情况，需要给出一种合理的调度方案，尽可能将新增的调度任务在集群中计算节点数量不变的情况，对新增待调度任务进行处理。对此，本申请将集群节点划分至两个任务处理区，一个为在线任务处理区，另一个为混合任务处理区，其中，在线任务处理区仅负责处理在线任务，混合任务处理区，当在线任务处理区资源充足的情况下，仅处理离线任务，当在线任务处理区资源不足的情况下，除了处理离线任务，还可以处理在线任务，这样，保证在线任务能够及时地处理，可以避免出现由于调度任务的增加导致在线任务发生调度失败的情况，进而，保障对在线任务的服务质量。

进一步地，在步骤S103中所述从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取所述目标调度节点之后，还包括以下步骤：计算所述混合任务处理区中在线任务的第一资源占用率；判断所述第一资源占用率是否大于或等于第一预设比例；若是，提示所述混合任务处理区中的节点数量不足。

在具体实施中，若待调度任务为在线任务，且候选调度节点中不存在属于在线任务处理区的节点，则说明在线任务处理区的节点中没有满足待调度任务所需资源量的节点，这时，可以从满足待调度任务所需资源量的候选调度节点中属于混合任务处理区的节点中，选取目标调度节点来处理待调度任务。在将为在线任务的待调度任务调度至混合任务处理区中的目标调度节点后，计算混合任务处理区中在线任务对应的资源占混合任务处理区中总资源的比例，即，第一资源占用率，进而，判断第一资源占用率是否大于或等于第一预设比例，若大于第一预设比例，说明有较多的在线任务被调度至混合任务处理区，由于混合任务处理区主要是用来处理离线任务的，此时，说明混合任务处理区的资源不充足，需要向运维人员提示混合任务处理区中的节点数量不足，以便运维人员及时添加实体的计算机，以增加混合任务处理区的计算节点的数量。本申请在混合任务处理区中在线任务的第一资源占用率大于或等于第一预设比例就向运维人员提示混合任务处理区中的节点数量不足，此时，混合任务处理区还有资源可以处理调度任务，这样，留给运维人员增加计算机设备的时间，在混合任务处理区资源完全被使用之前，就增设计算节点，避免由于离线任务处理区资源不足，出现无法及时处理请求的情况。

这里，第一预设比例可以根据混合任务处理区的实际资源量以及离线任务所需资源量进行设置，第一预设比例优选设置为小于50％。

需要说明的是，本申请在线任务处理区资源不足或者混合任务处理区的资源达到一定的上线时，会触发报警，提醒集群运维人员提前增加服务器节点，这样，可以使集群及时处理来自用户的请求。

进一步地，步骤S103中基于所述至少一个候选调度节点中属于所述混合任务处理区的节点，确定所述目标调度节点，包括以下步骤：

计算所述至少一个候选调度节点中属于所述混合任务处理区的每个节点对应的资源剩余率；从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取资源剩余率最小的节点，确定为所述目标调度节点。

在具体实施中，对于为离线任务的待调度任务，尽可能选择满足该调度任务所需资源的剩余资源量少的节点，作为目标调度节点来处理该待调度任务，具体地，计算候选调度节点中属于混合任务处理区的每个节点对应的资源剩余率，从候选调度节点中属于混合任务处理区的节点中，选取资源剩余率最小的节点，确定为目标调度节点。这样，可以使混合任务处理区有计算节点来处理在线任务。

这里，若节点只包含cpu和memory资源，各个节点的资源剩余率的计算公式如下：

Score＝(UsedCpu/cpuNodeCap acity+UsedMemory/MemoryNode Capacity)/2

其中，cpuNodeCapacity为节点cpu总量，usedCpu为已申请的cpu量；MemoryNodeCapacity为节点memory总量，usedmemory为已申请的memory量。

S104：将所述待调度任务调度至所述目标调度节点。

在具体实施中，在确定出处理待调度任务的目标调度节点后，将待调度任务调度至目标调度节点，即，将待调度任务分配至目标调度节点。

需要说明的是，本申请通过预先将集群进行分区划分(在线任务处理区和混合任务处理区)及定义调度任务优先级(在线任务优先级高、离线任务优先级低)，配合自定义的目标调度节点筛选方法，本申请可以有效避免了HPA扩容失败的问题(调度任务增加)，同时通过在线任务处理区和混合任务处理区的混部提高了混合任务处理区中资源的利用，并通过告警机制可以及时补充集群节点。

在本申请实施例中，获取集群中新增的待调度任务，若确定集群的计算节点中存在满足待调度任务所需资源量的候选调度节点，且待调度任务为在线任务，判断候选调度节点中是否存在属于在线任务处理区的节点，若存在，从在线任务处理区的节点中选取出目标调度节点；否则，从混合任务处理区的节点中选取目标调度节点。对于在线任务优先调度至在线任务处理区，当在线任务处理区的资源不足时，还可以将待调度任务调度至混合任务处理区，这样，可以避免出现由于调度任务的增加导致在线任务发生调度失败的情况，可以保证在线任务能够及时地处理，进而，保障对在线任务的服务质量。

基于同一申请构思，本申请实施例中还提供了与上述实施例提供的调度方法对应的调度装置，由于本申请实施例中的装置解决问题的原理与本申请上述实施例的调度方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

图2示出了本申请实施例所提供的一种调度装置200的功能模块图之一；图3示出了图2中选取模块230的功能模块图；图4示出了本申请实施例所提供的一种调度装置200的功能模块图之二。

如图2所示，调度装置200，所述调度装置200包括：

获取模块210，用于获取集群中新增的待调度任务；

判断模块220，用于若确定所述集群的计算节点中，存在剩余资源量满足所述待调度任务所需资源量的至少一个候选调度节点，且所述待调度任务为在线任务，则判断所述至少一个候选调度节点中是否存在属于在线任务处理区的节点；

选取模块230，用于若存在，从所述至少一个候选调度节点中属于所述在线任务处理区的节点中，选取出目标调度节点；否则，从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取所述目标调度节点；

调度模块240，用于将所述待调度任务调度至所述目标调度节点。

在一种可能的实施方式中，如图3所示，所述选取模块230包括：

统计单元231，用于统计所述至少一个候选调度节点中属于所述在线任务处理区的节点的数量；

选取单元232，用于若存在至少两个节点，则根据预设调度节点筛选算法，从所述至少两个节点中，选取出所述目标调度节点；

确定单元233，用于若存在一个节点，将该节点作为所述目标调度节点。

在一种可能的实施方式中，如图4所示，所述调度装置200还包括：

第一提示模块250，用于提示所述在线任务处理区中的节点数量不足。

在一种可能的实施方式中，如图4所示，所述调度装置200还包括第二提示模块260；所述第二提示模块260用于：

计算所述混合任务处理区中在线任务的第一资源占用率；

判断所述第一资源占用率是否大于或等于第一预设比例；

若是，提示所述混合任务处理区中的节点数量不足。

在一种可能的实施方式中，如图4所示，若确定所述集群的计算节点中，存在剩余资源量满足所述待调度任务所需资源量的至少一个候选调度节点，且所述待调度任务为离线任务，所述调度装置200还包括确定模块270；所述确定模块270用于：

计算所述混合任务处理区中包含所述待调度任务的离线任务的第二资源占用率；

判断所述第二资源占用率是否小于或等于第二预设比例；

若是，则基于所述至少一个候选调度节点中属于所述混合任务处理区的节点，确定所述目标调度节点；

若否，则拒绝处理所述待调度任务。

在一种可能的实施方式中，如图4所示，若所述第二资源占用率小于或等于第二预设比例，且所述至少一个候选调度节点中不存在属于所述混合任务处理区的节点，所述确定模块270还用于：

拒绝处理所述待调度任务。

在一种可能的实施方式中，如图4所示，所述确定模块270，用于根据以下步骤确定所述目标调度节点：

计算所述至少一个候选调度节点中属于所述混合任务处理区的每个节点对应的资源剩余率；

从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取资源剩余率最小的节点，确定为所述目标调度节点。

在一种可能的实施方式中，如图4所示，若确定所述集群的计算节点中，不存在剩余资源量满足所述待调度任务所需资源量的候选调度节点，且所述待调度任务为在线任务，所述调度装置200还包括删除模块280；所述删除模块280用于：

将所述混合任务处理区中节点处理的离线任务删除，以使所述混合任务处理区中的节点处理所述待调度任务。

在一种可能的实施方式中，如图4所示，所述调度模块240还用于：

若所述待调度任务在所述混合任务处理区的时间大于或等于预设时长，且所述在线任务处理区中有满足所述待调度任务所需资源量的目标节点时，将所述待调度任务调度至所述在线任务处理区的所述目标节点上。

基于同一申请构思，参见图5所示，为本申请实施例提供的一种电子设备500的结构示意图，包括：处理器510、存储器520和总线530，所述存储器520存储有所述处理器510可执行的机器可读指令，当电子设备500运行时，所述处理器510与所述存储器520之间通过所述总线530进行通信，所述机器可读指令被所述处理器510运行时执行如上述实施例中任一所述的调度方法的步骤。

具体地，所述机器可读指令被所述处理器510执行时可以执行如下处理：

获取集群中新增的待调度任务；

若确定所述集群的计算节点中，存在剩余资源量满足所述待调度任务所需资源量的至少一个候选调度节点，且所述待调度任务为在线任务，则判断所述至少一个候选调度节点中是否存在属于在线任务处理区的节点；

若存在，从所述至少一个候选调度节点中属于所述在线任务处理区的节点中，选取出目标调度节点；否则，从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取所述目标调度节点；

将所述待调度任务调度至所述目标调度节点。

在本申请实施例中，获取集群中新增的待调度任务，若确定集群的计算节点中存在满足待调度任务所需资源量的候选调度节点，且待调度任务为在线任务，判断候选调度节点中是否存在属于在线任务处理区的节点，若存在，从在线任务处理区的节点中选取出目标调度节点；否则，从混合任务处理区的节点中选取目标调度节点。对于在线任务优先调度至在线任务处理区，当在线任务处理区的资源不足时，还可以将待调度任务调度至混合任务处理区，这样，可以避免出现由于调度任务的增加导致在线任务发生调度失败的情况，可以保证在线任务能够及时地处理，进而，保障对在线任务的服务质量。

基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例提供的调度方法的步骤。

具体地，所述存储介质能够为通用的存储介质，如移动磁盘、硬盘等，所述存储介质上的计算机程序被运行时，能够执行上述调度方法，对于在线任务优先调度至在线任务处理区，当在线任务处理区的资源不足时，还可以将待调度任务调度至混合任务处理区，这样，可以避免出现由于调度任务的增加导致在线任务发生调度失败的情况，可以保证在线任务能够及时地处理，进而，保障对在线任务的服务质量。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种调度方法，其特征在于，所述调度方法包括：

获取集群中新增的待调度任务；

在所述集群的计算节点中，确定出存在剩余资源量满足所述待调度任务所需资源量的至少一个候选调度节点；其中，所述集群的计算节点被划分至在线任务处理区和混合任务处理区中；

若确定所述待调度任务为在线任务，则判断所述至少一个候选调度节点中是否存在属于在线任务处理区的节点；若存在，从所述至少一个候选调度节点中属于所述在线任务处理区的节点中，选取出目标调度节点；否则，从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取所述目标调度节点；所述在线任务处理区的资源量大于所述混合任务处理区的资源量；

将所述待调度任务调度至所述目标调度节点；

若确定所述待调度任务为离线任务，则在确定第二资源占用率大于第二预设比例，拒绝处理所述待调度任务；所述第二资源占用率为所述混合任务处理区中包含所述待调度任务的离线任务的资源占用率。

2.根据权利要求1所述的调度方法，其特征在于，所述从所述至少一个候选调度节点中属于所述在线任务处理区的节点中，选取出目标调度节点，包括：

统计所述至少一个候选调度节点中属于所述在线任务处理区的节点的数量；

若存在至少两个节点，则根据预设调度节点筛选算法，从所述至少两个节点中，选取出所述目标调度节点；

若存在一个节点，将该节点作为所述目标调度节点。

3.根据权利要求1所述的调度方法，其特征在于，若所述至少一个候选调度节点中不存在属于所述在线任务处理区的节点，所述调度方法还包括：

提示所述在线任务处理区中的节点数量不足。

4.根据权利要求1所述的调度方法，其特征在于，在所述从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取所述目标调度节点之后，所述调度方法还包括：

计算所述混合任务处理区中在线任务的第一资源占用率；

判断所述第一资源占用率是否大于或等于第一预设比例；

若是，提示所述混合任务处理区中的节点数量不足。

5.根据权利要求1所述的调度方法，其特征在于，在确定所述待调度任务为离线任务之后，所述调度方法还包括：

计算所述混合任务处理区中包含所述待调度任务的离线任务的第二资源占用率；

判断所述第二资源占用率是否小于或等于第二预设比例；

若是，则基于所述至少一个候选调度节点中属于所述混合任务处理区的节点，确定所述目标调度节点，并将所述待调度任务调度至所述目标调度节点。

6.根据权利要求5所述的调度方法，其特征在于，若所述第二资源占用率小于或等于第二预设比例，且所述至少一个候选调度节点中不存在属于所述混合任务处理区的节点，所述调度方法还包括：

拒绝处理所述待调度任务。

7.根据权利要求5所述的调度方法，其特征在于，所述基于所述至少一个候选调度节点中属于所述混合任务处理区的节点，确定所述目标调度节点，包括：

计算所述至少一个候选调度节点中属于所述混合任务处理区的每个节点对应的资源剩余率；

从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取资源剩余率最小的节点，确定为所述目标调度节点。

8.根据权利要求1所述的调度方法，其特征在于，若确定所述集群的计算节点中，不存在剩余资源量满足所述待调度任务所需资源量的候选调度节点，且所述待调度任务为在线任务，所述调度方法还包括：

将所述混合任务处理区中节点处理的离线任务删除，以使所述混合任务处理区中的节点处理所述待调度任务。

9.根据权利要求8所述的调度方法，其特征在于，所述调度方法还包括：

若所述待调度任务在所述混合任务处理区的时间大于或等于预设时长，且所述在线任务处理区中有满足所述待调度任务所需资源量的目标节点时，将所述待调度任务调度至所述在线任务处理区的所述目标节点上。

10.一种调度装置，其特征在于，所述调度装置包括：

获取模块，用于获取集群中新增的待调度任务；

判断模块，用于在所述集群的计算节点中，确定出存在剩余资源量满足所述待调度任务所需资源量的至少一个候选调度节点；其中，所述集群的计算节点被划分至在线任务处理区和混合任务处理区中；若确定所述待调度任务为在线任务，则判断所述至少一个候选调度节点中是否存在属于在线任务处理区的节点；

选取模块，用于若存在，从所述至少一个候选调度节点中属于所述在线任务处理区的节点中，选取出目标调度节点；否则，从所述至少一个候选调度节点中属于混合任务处理区的节点中，选取所述目标调度节点；所述在线任务处理区的资源量大于所述混合任务处理区的资源量；

调度模块，用于将所述待调度任务调度至所述目标调度节点；

所述调度装置还包括确定模块；所述确定模块用于：若确定所述待调度任务为离线任务，则在确定第二资源占用率大于第二预设比例，拒绝处理所述待调度任务；所述第二资源占用率为所述混合任务处理区中包含所述待调度任务的离线任务的资源占用率。

11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至9任一所述的调度方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至9任一所述的调度方法的步骤。