[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108491255B - 自助式MapReduce数据优化分配方法及系统 - Google Patents

自助式MapReduce数据优化分配方法及系统 Download PDF

Info

Publication number
CN108491255B
CN108491255B CN201810130531.0A CN201810130531A CN108491255B CN 108491255 B CN108491255 B CN 108491255B CN 201810130531 A CN201810130531 A CN 201810130531A CN 108491255 B CN108491255 B CN 108491255B
Authority
CN
China
Prior art keywords
task
module
tasks
mapreduce
task execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810130531.0A
Other languages
English (en)
Other versions
CN108491255A (zh
Inventor
崔鹏飞
田春华
史巨伟
李闯
刘家扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunlun Intellectual Exchange Data Technology Beijing Co ltd
Original Assignee
Kunlun Intellectual Exchange Data Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunlun Intellectual Exchange Data Technology Beijing Co ltd filed Critical Kunlun Intellectual Exchange Data Technology Beijing Co ltd
Priority to CN201810130531.0A priority Critical patent/CN108491255B/zh
Publication of CN108491255A publication Critical patent/CN108491255A/zh
Application granted granted Critical
Publication of CN108491255B publication Critical patent/CN108491255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种自助式MapReduce数据优化分配方法及系统，该方法包括以下步骤：作业解析模块接收客户端发送的MapReduce作业数据包并解析成任务和作业数据参数；任务队列形成模块按照任务调度策略将任务加入任务队列；任务执行历史日志记录模块记录多个任务执行模块的任务执行历史日志，以供任务分配及调度模块实时读取；任务分配及调度模块根据作业数据参数和任务执行历史日志计算出任务优化分配方案，并根据任务优化分配方案调取任务队列中的任务发送至任务执行模块；多个任务执行模块分别执行任务并汇报任务执行历史日志。本发明的方法及系统根据任务的数据块大小、数据块物理节点分布和各可用节点的性能来优化任务调度。

Description

自助式MapReduce数据优化分配方法及系统
技术领域
本发明涉及数据优化分配技术领域，尤其涉及一种自助式MapReduce数据优化分配方法及系统。
背景技术
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。MapReduce系统为一种分布式的并行系统，在Mapreduce系统中通过映射(Map)和化简(Reduce)过程实现对数据的分布式处理。任务调度是MapReduce任务中的关键过程。
Mapreduce系统现有三种主流任务调度策略，Capacity Scheduler(容量调度)、fair Scheduler(公平调度)、FIFO(First Input First Output，先入先出队列调度)。这三种策略都采用三级调度模式，即为空闲的slot(位置)一次选择一个队列、作业和任务。
在队列和作业层不同调度器采用不同策略，在任务层(task)采用相同的策略，即本地性策略。本地性策略不能充分利用Mapreduce系统中各个节点的功能，造成资源浪费。
现有技术中，除了本地性策略之外，对于Mapreduce系统中的其他类型的数据采取随机分配的方式，没有对可用节点的执行状态进行实时记录，同样也没有对可用节点和待执行任务进行优化分配的计算，使得不能充分利用MR系统中的可用节点的资源，造成资源浪费，任务执行效率低下。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的自助式MapReduce数据优化分配方法及系统。
本发明的一个方面，提供了一种自助式MapReduce数据优化分配方法，包括以下步骤：
作业解析模块接收客户端发送的MapReduce作业数据包，将该MapReduce作业数据包解析成任务和作业数据参数，并分别将任务和作业数据参数发送至任务队列形成模块和任务分配及调度模块；任务队列形成模块按照任务调度策略将任务加入任务队列；任务执行历史日志记录模块记录多个任务执行模块的任务执行历史日志，以供任务分配及调度模块实时读取；任务分配及调度模块根据作业数据参数和任务执行历史日志计算出任务优化分配方案，并根据任务优化分配方案调取任务队列中的任务发送至任务执行模块；多个任务执行模块分别执行任务并向任务执行历史日志记录模块汇报任务执行历史日志。
任务队列中的任务具有优先级和对应的数据块，该优先级与MapReduce作业数据包的优先级一致。
任务执行模块为Mapreduce系统拓扑结构中的任务执行节点。
任务分配及调度模块存储Mapreduce系统拓扑结构信息，该Mapreduce系统拓扑结构信息包括各节点位置以及各节点之间的连接关系。
作业数据参数包括：任务中数据块大小信息和数据块所在节点位置信息。
任务调度策略包括：容量调度、公平调度、先入先出队列调度。
任务执行历史日志包括：历史执行过的每个任务在任务执行模块的执行时间、该任务的数据块大小、数据块位置、数据块在不同节点间的数据传输时间和数据块属性。
任务分配及调度模块根据作业数据参数和任务执行历史日志计算出任务优化分配方案，包括以下步骤：
S11，获得Mapreduce系统中的可用任务执行节点node_1，node_2，……，node_m，需要执行的任务task_1，task_2，……，task_n；S12，记sij为决策变量，其中，sij＝0或者sij＝1，sij＝1表示任务task_i在node_j上执行，1≤i≤n，1≤j≤n，满足约束∑jSij＝1，表示一个执行节点只能同时执行一个任务；S13，第i个任务的数据块在第j个可用任务执行节点上的执行时间为tij，第i个任务的数据块到第j个可用任务执行节点上的传输时间为
Figure BDA0001574784600000031
其中，该执行时间和该传输时间依据任务执行历史日志进行计算；S14，优化目标为
Figure BDA0001574784600000032
即所有的任务在可用任务执行节点以最短的时间执行完成。
本发明的另一个方面，提供了一种自助式MapReduce数据优化分配系统，包括：
作业解析模块，用于接收客户端发送的MapReduce作业数据包，将该MapReduce作业数据包解析成任务和作业数据参数，并分别将任务和作业数据参数发送至任务队列形成模块和任务分配及调度模块；任务队列形成模块，用于按照任务调度策略将任务加入任务队列；任务执行历史日志记录模块，用于记录多个任务执行模块的任务执行历史日志，以供任务分配及调度模块实时读取；任务分配及调度模块，用于根据作业数据参数和任务执行历史日志计算出任务优化分配方案，并根据任务优化分配方案调取任务队列中的任务发送至任务执行模块；多个任务执行模块，用于分别执行任务并向任务执行历史日志记录模块汇报任务执行历史日志。
本发明的自助式MapReduce数据优化分配方法及系统根据任务的数据块大小、数据块物理节点分布和各可用节点的性能来优化任务调度，并根据各可用节点的多次执行结果即历史纪录，进行各节点性能与数据块大小、移动关系估计，使得本发明的自助式MapReduce数据优化分配方法及系统除考虑任务的本地性外，还考虑了节点本身的计算性能，加强了任务执行的成功率与执行效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例的一种自助式MapReduce数据优化分配方法的步骤图；
图2为本发明实施例的一种自助式MapReduce数据优化分配系统的框架示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
图1为本发明实施例的一种自助式MapReduce数据优化分配方法的步骤图。MapReduce系统为一种分布式的并行系统，在Mapreduce系统中通过映射(Map)和化简(Reduce)过程实现对数据的分布式处理。参照图1，本发明实施例的自助式MapReduce数据优化分配方法具体包括以下步骤：
步骤S1、作业解析模块接收客户端发送的MapReduce作业数据包，将该MapReduce作业数据包解析成任务和作业数据参数，并分别将任务和作业数据参数发送至任务队列形成模块和任务分配及调度模块。
在实际应用中，作业数据参数包括：任务中数据块大小信息和数据块所在节点位置信息。
步骤S2、任务队列形成模块按照任务调度策略将任务加入任务队列。
实施例中，任务队列中的任务具有优先级和对应的数据块，该优先级与MapReduce作业数据包的优先级一致。任务调度策略包括：容量调度、公平调度、先入先出队列调度。
步骤S3、任务执行历史日志记录模块记录多个任务执行模块的任务执行历史日志，以供任务分配及调度模块实时读取。
实施例中，任务执行历史日志包括：历史执行过的每个任务在任务执行模块的执行时间、该任务的数据块大小、数据块位置、数据块在不同节点间的数据传输时间和数据块属性。
步骤S4、任务分配及调度模块根据作业数据参数和任务执行历史日志计算出任务优化分配方案，并根据任务优化分配方案调取任务队列中的任务发送至任务执行模块。
实施例中，任务分配及调度模块存储Mapreduce系统拓扑结构信息，该Mapreduce系统拓扑结构信息包括各节点位置以及各节点之间的连接关系。任务分配及调度模块的任务分配原则为：估算可用节点执行任务的时间，将任务队列中的任务优先分配给执行时间短、成功率高的可用节点，其中，任务执行时间是根据数据块大小、数据传输时间、可用节点的历史性能日志例如任务执行时间和成功率等进行估算的。具体地，任务分配及调度模块根据作业数据参数和任务执行历史日志计算出任务优化分配方案，包括以下步骤：S11，获得Mapreduce系统中的可用任务执行节点node_1，node_2，……，node_m，需要执行的任务task_1，task_2，……，task_n；S12，记sij为决策变量，其中，sij＝0或者sij＝1，sij＝1表示任务task_i在node_j上执行，1≤i≤n，1≤j≤n，满足约束∑jSij＝1，表示一个执行节点只能同时执行一个任务；S13，第i个任务的数据块在第j个可用任务执行节点上的执行时间为tij，第i个任务的数据块到第j个可用任务执行节点上的传输时间为
Figure BDA0001574784600000061
其中，该执行时间和该传输时间依据任务执行历史日志进行计算；S14，优化目标为
Figure BDA0001574784600000062
即所有的任务在可用任务执行节点以最短的时间执行完成。
步骤S5、多个任务执行模块分别执行任务并向任务执行历史日志记录模块汇报任务执行历史日志。
在实际应用中，任务执行模块为Mapreduce系统拓扑结构中的节点。
本发明的自助式MapReduce数据优化分配方法根据任务的数据块大小、数据块物理节点分布和各可用节点的性能来优化任务调度，并根据各可用节点的多次执行结果即历史纪录，进行各节点性能与数据块大小、移动关系估计，使得本发明的自助式MapReduce数据优化分配方法及系统除考虑任务的本地性外，还考虑了节点本身的计算性能，加强了任务执行的成功率与执行效率。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图2为本发明实施例的一种自助式MapReduce数据优化分配系统的框架示意图。参照图2，本发明实施例的自助式数据优化分配系统具体包括：
作业解析模块，用于接收客户端发送的MapReduce作业数据包，将该MapReduce作业数据包解析成任务和作业数据参数，并分别将任务和作业数据参数发送至任务队列形成模块和任务分配及调度模块；任务队列形成模块，用于按照任务调度策略将任务加入任务队列；任务执行历史日志记录模块，用于记录多个任务执行模块的任务执行历史日志，以供任务分配及调度模块实时读取；任务分配及调度模块，用于根据作业数据参数和任务执行历史日志计算出任务优化分配方案，并根据任务优化分配方案调取任务队列中的任务发送至任务执行模块；多个任务执行模块，用于分别执行任务并向任务执行历史日志记录模块汇报任务执行历史日志。
具体地，当作业解析模块接收到一个MapReduce作业数据包时，本发明的自助式MapReduce数据优化分配系统的工作原理如下：客户端向作业解析模块提交一个MapReduce作业数据包，作业解析模块接收客户端发送的MapReduce作业数据包，将该MapReduce作业数据包解析成多个map任务、reduce任务和作业数据参数，并分别将多个map任务和作业数据参数发送至任务队列形成模块和任务分配及调度模块；任务队列形成模块按照任务调度策略将多个map任务加入任务队列；任务执行历史日志记录模块记录多个任务执行模块的任务执行历史日志，以供任务分配及调度模块实时读取；任务分配及调度模块根据作业数据参数和任务执行历史日志计算出任务优化分配方案，并根据任务优化分配方案调取任务队列中的多个map任务发送至任务执行模块；多个任务执行模块执行分配至其的map任务并向任务执行历史日志记录模块汇报任务执行历史日志。
具体地，当作业解析模块接收到多个MapReduce作业数据包时，本发明的自助式MapReduce数据优化分配系统的工作原理如下：客户端向作业解析模块提交多个MapReduce作业数据包，作业解析模块接收客户端发送的MapReduce作业数据包，将同一优先级的MapReduce作业数据包分别解析成多个map任务、reduce任务和作业数据参数，其中，map任务的优先级与MapReduce作业数据包的优先级相同，并分别将同一优先级的map任务和作业数据参数发送至任务队列形成模块和任务分配及调度模块；任务队列形成模块按照任务调度策略将多个map任务加入任务队列；任务执行历史日志记录模块记录多个任务执行模块的任务执行历史日志，以供任务分配及调度模块实时读取；任务分配及调度模块根据作业数据参数和任务执行历史日志计算出任务优化分配方案，并根据任务优化分配方案调取任务队列中的多个map任务发送至任务执行模块；多个任务执行模块执行map任务并向任务执行历史日志记录模块汇报任务执行历史日志。
其中，在本发明实施例中，可以包括多个客户端和多个任务执行模块。
对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明的自助式MapReduce数据优化分配方法及系统根据任务的数据块大小、数据块物理节点分布和各可用节点的性能来优化任务调度，并根据各可用节点的多次执行结果即历史纪录，进行各节点性能与数据块大小、移动关系估计，使得本发明的自助式MapReduce数据优化分配方法及系统除考虑任务的本地性外，还考虑了节点本身的计算性能，加强了任务执行的成功率与执行效率。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种自助式MapReduce数据优化分配方法，其特征在于，包括以下步骤：
作业解析模块接收客户端发送的MapReduce作业数据包，将该MapReduce作业数据包解析成任务和作业数据参数，并分别将任务和作业数据参数发送至任务队列形成模块和任务分配及调度模块；
任务队列形成模块按照任务调度策略将任务加入任务队列；
任务执行历史日志记录模块记录多个任务执行模块的任务执行历史日志，以供任务分配及调度模块实时读取；
任务分配及调度模块根据作业数据参数和任务执行历史日志计算出任务优化分配方案，并根据任务优化分配方案调取任务队列中的任务发送至任务执行模块；
多个任务执行模块分别执行任务并向任务执行历史日志记录模块汇报任务执行历史日志；
任务队列中的任务具有优先级和对应的数据块，该优先级与MapReduce作业数据包的优先级一致；
任务执行模块为Mapreduce系统拓扑结构中的任务执行节点；
任务分配及调度模块存储Mapreduce系统拓扑结构信息，该Mapreduce系统拓扑结构信息包括各节点位置以及各节点之间的连接关系；
作业数据参数包括：任务中数据块大小信息和数据块所在节点位置信息；
任务调度策略包括：容量调度、公平调度、先入先出队列调度；
任务执行历史日志包括：历史执行过的每个任务在任务执行模块的执行时间、该任务的数据块大小、数据块位置、数据块在不同节点间的数据传输时间和数据块属性；
任务分配及调度模块根据作业数据参数和任务执行历史日志计算出任务优化分配方案，包括以下步骤：
S11，获得Mapreduce系统中的可用任务执行节点node_1，node_2，……，node_m，需要执行的任务task_1，task_2，……，task_n；
S12，记sij为决策变量，其中，sij＝0或者sij＝1，sij＝1表示任务task_i在node_j上执行，1≤i≤n，1≤j≤n，满足约束∑jSij＝1，表示一个执行节点只能同时执行一个任务；
S13，第i个任务的数据块在第j个可用任务执行节点上的执行时间为tij，第i个任务的数据块到第j个可用任务执行节点上的传输时间为
Figure FDA0002550866090000021
其中，该执行时间和该传输时间依据任务执行历史日志进行计算；
S14，优化目标为
Figure FDA0002550866090000022
即所有的任务在可用任务执行节点以最短的时间执行完成。
2.一种实现权利要求1所述的自助式MapReduce数据优化分配方法的系统，其特征在于，包括：
作业解析模块，用于接收客户端发送的MapReduce作业数据包，将该MapReduce作业数据包解析成任务和作业数据参数，并分别将任务和作业数据参数发送至任务队列形成模块和任务分配及调度模块；
任务队列形成模块，用于按照任务调度策略将任务加入任务队列；
任务执行历史日志记录模块，用于记录多个任务执行模块的任务执行历史日志，以供任务分配及调度模块实时读取；
任务分配及调度模块，用于根据作业数据参数和任务执行历史日志计算出任务优化分配方案，并根据任务优化分配方案调取任务队列中的任务发送至任务执行模块；
多个任务执行模块，用于分别执行任务并向任务执行历史日志记录模块汇报任务执行历史日志。
3.根据权利要求2所述的系统，其特征在于，任务执行模块为Mapreduce系统拓扑结构中的节点。
CN201810130531.0A 2018-02-08 2018-02-08 自助式MapReduce数据优化分配方法及系统 Active CN108491255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810130531.0A CN108491255B (zh) 2018-02-08 2018-02-08 自助式MapReduce数据优化分配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810130531.0A CN108491255B (zh) 2018-02-08 2018-02-08 自助式MapReduce数据优化分配方法及系统

Publications (2)

Publication Number Publication Date
CN108491255A CN108491255A (zh) 2018-09-04
CN108491255B true CN108491255B (zh) 2020-11-03

Family

ID=63340023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810130531.0A Active CN108491255B (zh) 2018-02-08 2018-02-08 自助式MapReduce数据优化分配方法及系统

Country Status (1)

Country Link
CN (1) CN108491255B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222018A (zh) * 2019-05-14 2019-09-10 联动优势科技有限公司 数据汇总执行方法及装置
CN110609850A (zh) * 2019-08-01 2019-12-24 联想(北京)有限公司 一种信息确定方法、电子设备及计算机存储介质
CN112422169B (zh) * 2020-11-04 2022-07-26 中国空间技术研究院 复合链路节点协同方法、装置及系统
CN113296907B (zh) * 2021-04-29 2023-12-22 上海淇玥信息技术有限公司 一种基于集群的任务调度处理方法、系统和计算机设备
CN116723225B (zh) * 2023-06-16 2024-05-17 广州银汉科技有限公司 游戏任务的自动分配方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227500A (zh) * 2008-02-21 2008-07-23 上海交通大学 基于光网格的任务调度方法
CN101957863A (zh) * 2010-10-14 2011-01-26 广州从兴电子开发有限公司 数据并行处理方法、装置及系统
CN102710785A (zh) * 2012-06-15 2012-10-03 哈尔滨工业大学 自助旅行系统中云服务节点架构及各服务节点间的业务协同与均衡模块及协同与均衡方法
CN102760073A (zh) * 2011-04-29 2012-10-31 中兴通讯股份有限公司 一种任务调度方法、系统及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101986272A (zh) * 2010-11-05 2011-03-16 北京大学 一种云计算环境下的任务调度方法
US9367601B2 (en) * 2012-03-26 2016-06-14 Duke University Cost-based optimization of configuration parameters and cluster sizing for hadoop
US20150363467A1 (en) * 2013-01-31 2015-12-17 Hewlett-Packard Development Company, L.P. Performing an index operation in a mapreduce environment
CN103399787B (zh) * 2013-08-06 2016-09-14 北京华胜天成科技股份有限公司 一种基于Hadoop云计算平台的MapReduce作业流式调度方法及调度系统
CN103631657B (zh) * 2013-11-19 2017-08-25 浪潮电子信息产业股份有限公司 一种基于MapReduce的任务调度方法
CN104156505B (zh) * 2014-07-22 2017-12-15 中国科学院信息工程研究所 一种基于用户行为分析的Hadoop集群作业调度方法及装置
CN106155791B (zh) * 2016-06-30 2019-05-07 电子科技大学 一种分布式环境下的工作流任务调度方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227500A (zh) * 2008-02-21 2008-07-23 上海交通大学 基于光网格的任务调度方法
CN101957863A (zh) * 2010-10-14 2011-01-26 广州从兴电子开发有限公司 数据并行处理方法、装置及系统
CN102760073A (zh) * 2011-04-29 2012-10-31 中兴通讯股份有限公司 一种任务调度方法、系统及装置
CN102710785A (zh) * 2012-06-15 2012-10-03 哈尔滨工业大学 自助旅行系统中云服务节点架构及各服务节点间的业务协同与均衡模块及协同与均衡方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多云环境下基于代价驱动的科学工作流调度策略;林兵 等;《模式识别与人工智能》;20151015;第28卷(第10期);第865-875页 *

Also Published As

Publication number Publication date
CN108491255A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108491255B (zh) 自助式MapReduce数据优化分配方法及系统
CN109885397B (zh) 一种边缘计算环境中时延优化的负载任务迁移算法
WO2021179462A1 (zh) 基于改进量子蚁群算法的Spark平台任务调度方法
Song et al. Optimal bidding in spot instance market
CN109788315A (zh) 视频转码方法、装置及系统
CN103019853A (zh) 一种作业任务的调度方法和装置
CN113138860B (zh) 消息队列的管理方法及装置
WO2016148963A1 (en) Intelligent placement within a data center
US10521258B2 (en) Managing test services in a distributed production service environment
CN102739785B (zh) 基于网络带宽估计的云计算任务调度方法
CN117608840A (zh) 一种智能监控系统资源综合管理的任务处理方法及系统
WO2020172852A1 (en) Computing resource scheduling method, scheduler, internet of things system, and computer readable medium
Tang et al. Dependent task offloading for multiple jobs in edge computing
CN103294548A (zh) 一种基于分布式文件系统的io请求调度方法和系统
CN104580447A (zh) 一种基于访问热度的时空数据服务调度方法
Li et al. Endpoint-flexible coflow scheduling across geo-distributed datacenters
Choi et al. An enhanced data-locality-aware task scheduling algorithm for hadoop applications
CN103248622B (zh) 一种自动伸缩的在线视频服务质量保障方法及系统
CN103842955B (zh) 一种业务流量控制方法、装置和系统
CN105740249B (zh) 一种大数据作业并行调度过程中的处理方法及其系统
CN110247854B (zh) 一种多等级业务调度方法和调度系统以及调度控制器
WO2024146193A1 (zh) 一种基于sdn的路由路径选择方法、装置及存储介质
CN116192849A (zh) 一种异构加速板卡计算方法、装置、设备及介质
CN112468414B (zh) 一种云计算多级调度方法、系统及存储介质
US20060015593A1 (en) Three dimensional surface indicating probability of breach of service level

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant