[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106406990A - 一种带安全约束的成批作业‑资源匹配方法及系统 - Google Patents

一种带安全约束的成批作业‑资源匹配方法及系统 Download PDF

Info

Publication number
CN106406990A
CN106406990A CN201610749981.9A CN201610749981A CN106406990A CN 106406990 A CN106406990 A CN 106406990A CN 201610749981 A CN201610749981 A CN 201610749981A CN 106406990 A CN106406990 A CN 106406990A
Authority
CN
China
Prior art keywords
back end
data source
node
security
security constraint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610749981.9A
Other languages
English (en)
Other versions
CN106406990B (zh
Inventor
李逸博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610749981.9A priority Critical patent/CN106406990B/zh
Publication of CN106406990A publication Critical patent/CN106406990A/zh
Application granted granted Critical
Publication of CN106406990B publication Critical patent/CN106406990B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种带安全约束的成批作业‑资源匹配方法及系统，采用了基于安全约束和负载平衡的成批作业与资源匹配方法，该成批作业‑资源匹配方法的具体步骤包括：步骤A，预处理阶段对安全性进行配置；步骤B，将成批作业集映射到满足安全和负载平衡约束的合适资源上，将各节点上的作业进行排序并依次执行；步骤C，动态地反复检测宕机故障，对故障机器上的作业按照安全和负载平衡约束进行重分配。本发明方法尤其适用于数据安全性较高的成批作业调度应用，例如基于MapReduce的警务数据作业调度、交通监控作业调度等。本发明在获得较短的批处理作业完工时间的基础上，可保证数据的安全访问。

Description

一种带安全约束的成批作业-资源匹配方法及系统
技术领域
本发明涉及一种带安全约束的成批作业-资源匹配方法及系统，尤其适用于数据安全性较高的成批作业调度应用，例如基于MapReduce的警务数据作业调度、交通监控作业调度等，属于分布式并行计算领域。
背景技术
作为Hadoop的核心组件之一的MapReduce框架被广泛应用。MapReduce在数据处理时，将大的任务分成一个个小的计算作业，该类作业为典型的成批作业，包括Map作业和Reduce作业。在一批任务到达时，MapReduce将其分成非常多的Map和Reduce作业，此时不同的作业调度策略有不同的效果，成批作业调度策略对集群的资源利用率和系统的执行效率有很大影响。
现有的Hadoop调度器主要有：(1)先来先服务调度器：Hadoop的默认调度器，按照作业的到达顺序安排执行次序；(2)公平调度器：配置作业的资源占用量，使得每个任务的资源占用量保持平衡；(3)延迟调度：当前空闲的机器上没有当前作业所需的数据时，该作业延迟一段时间，当存有数据的机器空闲时执行该延迟作业。
研究者们提出了一些关于成批作业调度的方法，比如采取预取策略以缩短数据准备时间[电子科技大学.一种基于MapReduce的数据预取方法：中国,201510299063.6[P].2015-09-23]，不同的方法适用于不同的作业调度应用，比如上述策略在重视作业截止期约束的作业调度应用中有较好的优化效果。
实际应用中许多作业调度应用具有安全性约束，比如警务数据作业调度，交通监控作业调度等，数据的安全性要求较高，数据的转移和复制受到一些限制，往往需要经过加密才能够被转移或复制。对于这类应用，现有的作业调度策略没有涉及安全性约束的方法。
综上所述，现有的作业调度方法不能很好的适应实际应用中具有安全约束的批处理成批作业调度问题。
发明内容
发明目的：针对现有技术中存在的问题，考虑到数据所具有的特殊安全性约束，本发明提供一种带安全约束的成批作业-资源匹配方法及系统，满足实际应用的需求，在获得较短的批处理作业完工时间的基础上，保证数据的安全访问。
技术方案：一种带安全约束的成批作业-资源匹配方法，包括以下步骤：
步骤A、服务器端控制节点对安全性进行配置；
数据节点的当前安全设置情况，为数据节点设置安全等级；
根据数据源对安全性的要求，为数据源设置安全要求等级；
根据作业请求者权限，设置作业权限等级；
步骤B、服务器端控制节点采用基于安全约束和负载平衡的作业与数据节点映射方法，将Map作业映射到满足安全和负载平衡约束的数据节点上，将各节点上的作业按优先级进行排序并依次执行；
所示安全约束包含2点：(1)作业只能在其有权限执行的数据节点上执行；(2)安全要求高的数据源必须以加密状态存储在安全等级低的数据节点上。
所示负载平衡指的是控制节点根据数据节点计算能力，设置每个数据节点上可以映射的作业数量上限。
步骤C、服务器端宕机监测节点周期性检测数据节点当前状态，实时将故障数据节点ID反馈给服务器端控制节点；
步骤D、服务器端控制节点收到故障数据节点ID，对当前映射到该节点上未完成的作业按照安全约束和负载平衡的作业与数据节点映射方法，将作业重新映射至未宕机数据节点。
采用基于安全约束和负载平衡的作业与数据节点映射方法，计算出若干映射方案，选择代价最低方案进行执行；方案代价＝设置的每次数据源复制代价*数据源复制次数+设置的每次加密代价*加密次数。Map作业映射到数据节点上时，很可能该数据节点上没有作业计算所需数据源，需要先将数据源复制过来。复制的过程需要满足安全约束，即安全要求高的数据源必须以加密状态存储在安全等级低的数据节点上。控制节点在将作业映射至数据节点上时，除了满足安全约束与负载平衡外，应该尽可能少的发生复制与加密。
一种带安全约束的成批作业-资源匹配系统包括控制节点、数据节点和宕机检测节点。
控制节点：接收来自用户的作业并且接收来自宕机检测节点的安全约束和宕机信息；控制节点收到宕机信息后，根据故障数据节点ID，对当前映射到该节点上的作业按照安全约束和负载平衡的作业与数据节点映射方法，将作业重新映射至未宕机数据节点；控制节点收到安全约束信息后，匹配能接受任务的子节点。
控制节点对安全性进行配置：数据节点的当前安全设置情况，为数据节点设置安全等级；根据数据源对安全性的要求，为数据源设置安全要求等级；根据作业请求者权限，设置作业权限等级；采用基于安全约束和负载平衡的作业与数据节点映射方法，将作业映射到满足安全和负载平衡约束的数据节点上，进行基于安全约束和负载平衡的作业调度/重调度工作。
数据节点：向控制节点提供各节点的安全等级信息，接收控制节点分配的作业后负责对各自等待队列中的作业进行优先级排序并执行，根据作业分配情况进行必要的数据源复制操作和加密操作，即作业映射到数据节点上时，如果该数据节点上没有作业计算所需数据源，需要先将数据源复制过来；安全要求高的数据源存储在安全等级低的数据节点上必须加密；在作业执行的过程中采集各自的节点负载信息提交给控制节点；
宕机检测节点：进行周期性的数据节点宕机故障检测，将宕机数据节点ID反馈给控制节点。
本发明采用上述技术方案，具有以下有益效果：
本发明提供的带安全约束的成批作业-资源匹配方法及系统，在成批作业调度过程中考虑安全性约束的实际情况，策略简单直接，对于涉及安全性的作业调度应用具有很好的实用性。
附图说明
图1为本发明系统优选实施例的架构示意图；
图2是本发明方法优选实施例在控制节点上的步骤流程图；
图3图2是本发明方法优选实施例在数据节点上的步骤流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
传统的MapReduce系统包括控制节点和数据节点，如图1所示，本发明提供的带安全约束的成批作业-资源匹配方法实现系统增设了宕机检测节点。带安全约束的成批作业-资源匹配系统包括控制节点、数据节点和宕机检测节点。
控制节点：
控制节点：接收来自用户的作业并且接收来自宕机检测节点的安全约束和宕机信息；控制节点收到宕机信息后，根据故障数据节点ID，对当前映射到该节点上的作业按照安全约束和负载平衡的作业与数据节点映射方法，将作业重新映射至未宕机数据节点；控制节点收到安全约束信息后，匹配能接受任务的子节点；
控制节点对安全性进行配置：数据节点的当前安全设置情况，为数据节点设置安全等级；根据数据源对安全性的要求，为数据源设置安全要求等级；根据作业请求者权限，设置作业权限等级；采用基于安全约束和负载平衡的作业与数据节点映射方法，将作业映射到满足安全和负载平衡约束的数据节点上，进行基于安全约束和负载平衡的作业调度/重调度工作。
数据节点：向控制节点提供各节点的安全等级信息，接收控制节点分配的作业后负责对各自等待队列中的作业进行优先级排序并执行，根据作业分配情况进行必要的数据源复制操作和加密操作，即作业映射到数据节点上时，如果该数据节点上没有作业计算所需数据源，需要先将数据源复制过来；安全要求高的数据源存储在安全等级低的数据节点上必须加密；在作业执行的过程中采集各自的节点负载信息提交给控制节点；
宕机检测节点：进行周期性的数据节点宕机故障检测，将宕机数据节点ID反馈给控制节点。
控制节点采用基于安全约束和负载平衡的作业与数据节点映射方法，计算出若干映射方案，选择代价最低方案进行执行；方案代价＝设置的每次数据源复制代价*数据源复制次数+设置的每次加密代价*加密次数。
带安全约束的成批作业-资源匹配方法，包括以下步骤：
步骤A、服务器端控制节点对安全性进行配置；
数据节点的当前安全设置情况，为数据节点设置安全等级；
根据数据源对安全性的要求，为数据源设置安全要求等级；
根据作业请求者权限，设置作业权限等级；
步骤A中安全等级划分工作基于数据节点所在地理位置、数据节点上的安全配置，包括防火墙设置、端口设置、安全软件安装情况、数据节点所有者对安全等级划分的建议；
步骤B、服务器端控制节点采用基于安全约束和负载平衡的作业与数据节点映射方法，将Map作业映射到满足安全和负载平衡约束的数据节点上，将各节点上的作业按优先级进行排序并依次执行；
所示安全约束包含2点：(1)作业只能在其有权限执行的数据节点上执行；(2)安全要求高的数据源必须以加密状态存储在安全等级低的数据节点上。
所示负载平衡指的是控制节点根据数据节点计算能力，设置每个数据节点上可以映射的作业数量上限，每个数据节点上映射的作业数量不能超过指定阈值。
步骤C、服务器端宕机监测节点周期性检测数据节点当前状态，实时将故障数据节点ID反馈给服务器端控制节点；
步骤D、服务器端控制节点收到故障数据节点ID，对当前映射到该节点上未完成的作业按照安全约束和负载平衡的作业与数据节点映射方法，将作业重新映射至未宕机数据节点。
采用基于安全约束和负载平衡的作业与数据节点映射方法，计算出若干映射方案，选择代价最低方案进行执行；方案代价＝设置的每次数据源复制代价*数据源复制次数+设置的每次加密代价*加密次数。Map作业映射到数据节点上时，很可能该数据节点上没有作业计算所需数据源，需要先将数据源复制过来。复制的过程需要满足安全约束，即安全要求高的数据源必须以加密状态存储在安全等级低的数据节点上。控制节点在将作业映射至数据节点上时，除了满足安全约束与负载平衡外，应该尽可能少的发生复制与加密。
如图2所示，控制节点上主要处理的步骤包括：设置数据节点安全等级/数据源安全要求等/作业权限；基于安全约束与负载平衡的作业分配/重分配；
根据基于安全约束和负载平衡的作业与数据节点映射方法及最低方案进行执行的原则，作业分配/重分配方案要求满足以下条件：
(1)作业只能分配到其有权限执行的数据节点上；控制节点不会将成批作业映射至其没有权限的数据节点之上；
(2)作业尽可能分配到其所计算的数据源所在数据节点上，减少数据源复制次数；如果作业所分配的数据节点上没有其所需数据节点，则将发生数据源复制；复制过程中，安全要求高的数据源从安全等级高的数据节点上复制到安全等级低的数据节点上，安全等级高的数据节点必须先将数据源进行加密操作，再将加密后的数据源复制至安全等级低的数据节点上；
(3)如果作业无法分配到其数据源所在数据节点上，则尽可能避免将安全要求高的数据源复制到安全等级低的数据节点上，以减少数据源加密次数；对安全要求高的数据源可以以明文方式存储在安全等级高的数据节点上；对安全要求低的数据源可以以明文方式存储在安全等级低或安全等级高的数据节点上；
(4)作业分配应保证每个数据节点上的作业数量不超过指定阈值，以保证负载均衡；
如图3所示，数据节点主要执行流程为：(1)接收作业请求并执行作业：判断是否接收到作业请求。如果接收到，则进一步判断所需数据源是否在该数据节点上，如果不在则向数据源所在节点发送数据源复制请求并接收数据源副本执行作业并将完成信息返回给控制节点；如果没有收到接收作业请求，则判断(2)是否接收数据源复制请求。如果接收到，则判断是否数据源安全要求高且请求数据源的数据节点安全等级低，如果是则需对数据源进行加密；将数据源发送至请求数据节点。如果没有接收到或者数据源已经复制，则判断是否发生宕机，如果没有发生，则(3)定期发送心跳给宕机检测节点；否则结束。
表1是在发生数据源复制时，数据源加密操作执行表。数据节点会根据数据节点安全等级和数据源安全要求等级，参照此表决定是否发生数据源加密操作。
表1在发生数据源复制时，数据源加密操作执行表
表2预处理阶段的Map作业权限表
服务端控制节点对安全性进行配置，数据节点的当前安全设置情况，为数据节点设置安全等级；
当前系统中有3个数据节点，服务器控制节点对这些数据节点所设置的安全等级，如表3所示。在本实施例中，安全等级只有高和低两种等级。
表3
数据节点ID 安全等级 当前状态
数据节点1 高 正常
数据节点2 低 正常
数据节点3 高 正常
控制节点根据数据源对安全性的要求，为数据源设置安全要求等级；
表4显示当前每个数据节点上数据源的安全要求等级。设当前数据源都尚未加密。
表4
数据源ID 安全要求等级 是否加密 数据节点ID
数据源a 低 否 数据节点1
数据源b 高 否 数据节点1
数据源c 低 否 数据节点2
数据源d 低 否 数据节点2
数据源e 高 否 数据节点3
数据源f 低 否 数据节点3
数据源g 高 否 数据节点3
控制节点根据作业请求者权限，设置作业权限等级；
控制节点在本周期内收到10个作业请求。控制节点从作业请求中查看到每个作业所需数据源和请求者的信息，设置每个作业请求的权限。表5显示控制节点当前收到的作业在每个数据节点上的权限。0表示无权限，1表示有权限；表6显示每个作业所请求的数据源以及作业状态。
表5
表6
作业ID 数据源ID 作业状态
作业1 数据源c 未完成
作业2 数据源g 未完成
作业3 数据源b 未完成
作业4 数据源d 未完成
作业5 数据源e 未完成
作业6 数据源f 未完成
作业7 数据源g 未完成
作业8 数据源a 未完成
作业9 数据源b 未完成
作业10 数据源c 未完成
控制节点根据数据节点计算能力，设置每个数据节点上可以映射的作业数量上限，如表7所示。
表7
数据节点ID 负载阈值
数据节点1 3
数据节点2 5
数据节点3 3
服务器端控制节点采用基于安全约束和负载平衡的作业与数据节点映射方法，将Map作业映射到满足安全和负载平衡约束的数据节点上，将各节点上的作业进行排序并依次执行。控制节点根据表3-表7信息，基于安全和负载均衡策略，计算出若干映射方案。在每个方案中，作业优先级由整数表示，整数值越低，表示优先级越高；在计算方案代价时，设置复制代价为10/每次，加密代价为15/每次。
方案一，如表8所示。方案一总共需要进行6次复制和3次加密，总代价为105。
表8
方案二，如表9所示。方案二总共进行了5次复制和1次加密，总代价为65。
表9
作业ID 数据节点ID 是否发生复制 是否发生加密 优先级
作业1 数据节点2 是 否 0
作业2 数据节点1 是 否 0
作业3 数据节点3 是 否 0
作业4 数据节点2 否 否 1
作业5 数据节点3 否 否 1
作业6 数据节点2 是 否 2
作业7 数据节点2 是 是 3
作业8 数据节点1 否 否 1
作业9 数据节点1 否 否 2
作业10 数据节点2 否 否 4
根据代价比较，方案二代价较低。控制节点决定执行方案二。
执行方案二后，表4因为数据源复制发生改变，如表10所示。
表10
数据源ID 安全要求等级 是否加密 数据节点ID
数据源a 低 否 数据节点1
数据源b 高 否 数据节点1
数据源b 高 否 数据节点3
数据源c 低 否 数据节点2
数据源d 低 否 数据节点2
数据源e 高 否 数据节点3
数据源f 低 是 数据节点2
数据源g 高 否 数据节点1
数据源g 高 是 数据节点2
服务器端宕机监测节点周期性检测数据节点当前状态，实时将故障数据节点ID反馈给服务器端控制节点；
在上述10个作业执行过程中的某个时刻，服务器端宕机监测节点检测到数据节点1发生宕机。此时表1信息发生变化，如表11所示
表11
数据节点ID 安全等级 当前状态
数据节点1 高 正常
数据节点2 低 正常
数据节点3 高 宕机
当前作业完成情况如表12所示。发现数据节点3上面有作业5未完成，需要重新映射到运行正常的数据节点。
表12
作业ID 作业状态 数据节点ID
作业1 已完成 数据节点2
作业2 已完成 数据节点1
作业3 已完成 数据节点3
作业4 未完成 数据节点2
作业5 未完成 数据节点3
作业6 未完成 数据节点2
作业7 未完成 数据节点2
作业8 未完成 数据节点1
作业9 未完成 数据节点1
作业10 未完成 数据节点2
控制节点根据表5发现，作业5只在数据节点1和数据节点3上有权限，当前只有数据节点1运行正常，所以控制节点将作业5所需数据源e从备份处拷贝至节点1，无需加密。并将作业5重新映射至数据节点1。
通过上述过程，本发明实现基于安全约束的批处理成批作业调度，在获得较短的批处理作业完工时间的基础上，可保证数据的安全访问。

Claims (10)

1.一种带安全约束的成批作业-资源匹配方法，其特征在于，包括以下步骤：
步骤A、服务器端控制节点对安全性进行配置；
步骤B、服务器端控制节点采用基于安全约束和负载平衡的作业与数据节点映射方法，将Map作业映射到满足安全和负载平衡约束的数据节点上，将各节点上的作业按优先级进行排序并依次执行；
步骤C、服务器端宕机监测节点周期性检测数据节点当前状态，实时将故障数据节点ID反馈给服务器端控制节点；
步骤D、服务器端控制节点收到故障数据节点ID，对当前映射到该节点上未完成的作业按照安全约束和负载平衡的作业与数据节点映射方法，将作业重新映射至未宕机数据节点。
2.如权利要求1所述的带安全约束的成批作业-资源匹配方法，其特征在于，服务器端控制节点对安全性进行配置包括：
数据节点的当前安全设置情况，为数据节点设置安全等级；
根据数据源对安全性的要求，为数据源设置安全要求等级；
根据作业请求者权限，设置作业权限等级。
3.如权利要求1所述的带安全约束的成批作业-资源匹配方法，其特征在于，所示安全约束包含2点：（1）作业只能在其有权限执行的数据节点上执行；（2）安全要求高的数据源必须以加密状态存储在安全等级低的数据节点上。
4.如权利要求1所述的带安全约束的成批作业-资源匹配方法，其特征在于，所示负载平衡指的是控制节点根据数据节点计算能力，设置每个数据节点上可以映射的作业数量上限，每个数据节点上映射的作业数量不能超过指定阈值。
5.如权利要求1所述的带安全约束的成批作业-资源匹配方法，其特征在于，采用基于安全约束和负载平衡的作业与数据节点映射方法，计算出若干映射方案，选择代价最低方案进行执行。
6.如权利要求1所述的带安全约束的成批作业-资源匹配方法，其特征在于，Map作业映射到数据节点上时，如果该数据节点上没有作业计算所需数据源，需要先将数据源复制过来；复制的过程需要满足安全约束。
7.如权利要求1所述的带安全约束的成批作业-资源匹配方法，其特征在于，对安全要求高的数据源可以以明文方式存储在安全等级高的数据节点上；对安全要求低的数据源可以以明文方式存储在安全等级低或安全等级高的数据节点上。
8.如权利要求5所述的带安全约束的成批作业-资源匹配方法，其特征在于，方案代价=设置的每次数据源复制代价*数据源复制次数+设置的每次加密代价*加密次数。
9.一种带安全约束的成批作业-资源匹配系统，其特征在于，包括控制节点、数据节点和宕机检测节点：
控制节点：接收来自用户的作业并且接收来自宕机检测节点的安全约束和宕机信息；控制节点收到宕机信息后，根据故障数据节点ID，对当前映射到该节点上的作业按照安全约束和负载平衡的作业与数据节点映射方法，将作业重新映射至未宕机数据节点；
控制节点对安全性进行配置：数据节点的当前安全设置情况，为数据节点设置安全等级；根据数据源对安全性的要求，为数据源设置安全要求等级；根据作业请求者权限，设置作业权限等级；采用基于安全约束和负载平衡的作业与数据节点映射方法，将作业映射到满足安全和负载平衡约束的数据节点上，进行基于安全约束和负载平衡的作业调度/重调度工作；
数据节点：向控制节点提供各节点的安全等级信息，接收控制节点分配的作业后负责对各自等待队列中的作业进行优先级排序并执行，根据作业分配情况进行必要的数据源复制操作和加密操作，即作业映射到数据节点上时，如果该数据节点上没有作业计算所需数据源，需要先将数据源复制过来；安全要求高的数据源存储在安全等级低的数据节点上必须加密；在作业执行的过程中采集各自的节点负载信息提交给控制节点；
宕机检测节点：进行周期性的数据节点宕机故障检测，将宕机数据节点ID反馈给控制节点。
10.如权利要求9所述的带安全约束的成批作业-资源匹配系统，其特征在于，所述控制节点采用基于安全约束和负载平衡的作业与数据节点映射方法，计算出若干映射方案，选择代价最低方案进行执行；方案代价=设置的每次数据源复制代价*数据源复制次数+设置的每次加密代价*加密次数。
CN201610749981.9A 2016-08-26 2016-08-26 一种带安全约束的成批作业-资源匹配方法及系统 Expired - Fee Related CN106406990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610749981.9A CN106406990B (zh) 2016-08-26 2016-08-26 一种带安全约束的成批作业-资源匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610749981.9A CN106406990B (zh) 2016-08-26 2016-08-26 一种带安全约束的成批作业-资源匹配方法及系统

Publications (2)

Publication Number Publication Date
CN106406990A true CN106406990A (zh) 2017-02-15
CN106406990B CN106406990B (zh) 2018-11-09

Family

ID=58002466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610749981.9A Expired - Fee Related CN106406990B (zh) 2016-08-26 2016-08-26 一种带安全约束的成批作业-资源匹配方法及系统

Country Status (1)

Country Link
CN (1) CN106406990B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122849A (zh) * 2017-04-19 2017-09-01 西安电子科技大学 基于SparkR的产品检测总完工时间极小化方法
CN109634727A (zh) * 2018-11-14 2019-04-16 中车青岛四方机车车辆股份有限公司 数据处理方法及装置
CN110125939A (zh) * 2019-06-03 2019-08-16 湖南工学院 一种机器人虚拟可视化控制的方法
CN114265675A (zh) * 2021-12-08 2022-04-01 阿里巴巴（中国）有限公司 异步训练的任务调度方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102769615A (zh) * 2012-07-02 2012-11-07 北京大学 一种基于MapReduce机制的任务调度方法和系统
CN103294558A (zh) * 2013-05-29 2013-09-11 北京大学 一种支持动态信任评估的MapReduce调度方法
CN103414761A (zh) * 2013-07-23 2013-11-27 北京工业大学 一种基于Hadoop架构的移动终端云资源调度方法
CN105022666A (zh) * 2014-04-24 2015-11-04 中国电信股份有限公司 控制MapReduce任务调度的方法、装置和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102769615A (zh) * 2012-07-02 2012-11-07 北京大学 一种基于MapReduce机制的任务调度方法和系统
CN103294558A (zh) * 2013-05-29 2013-09-11 北京大学 一种支持动态信任评估的MapReduce调度方法
CN103414761A (zh) * 2013-07-23 2013-11-27 北京工业大学 一种基于Hadoop架构的移动终端云资源调度方法
CN105022666A (zh) * 2014-04-24 2015-11-04 中国电信股份有限公司 控制MapReduce任务调度的方法、装置和系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122849A (zh) * 2017-04-19 2017-09-01 西安电子科技大学 基于SparkR的产品检测总完工时间极小化方法
CN107122849B (zh) * 2017-04-19 2021-01-05 西安电子科技大学 基于SparkR的产品检测总完工时间极小化方法
CN109634727A (zh) * 2018-11-14 2019-04-16 中车青岛四方机车车辆股份有限公司 数据处理方法及装置
CN110125939A (zh) * 2019-06-03 2019-08-16 湖南工学院 一种机器人虚拟可视化控制的方法
CN110125939B (zh) * 2019-06-03 2020-10-20 湖南工学院 一种机器人虚拟可视化控制的方法
CN114265675A (zh) * 2021-12-08 2022-04-01 阿里巴巴（中国）有限公司 异步训练的任务调度方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN106406990B (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
CN102063336B (zh) 一种分布式计算多应用功能异步并发调度方法
CN106406990B (zh) 一种带安全约束的成批作业-资源匹配方法及系统
CN102137133B (zh) 内容分发的方法、系统及调度服务器
CN104601664B (zh) 一种云计算平台资源管理与虚拟机调度的控制系统
CN103713956B (zh) 应用于云计算虚拟化管理环境中的智能加权负载均衡方法
CN103927231B (zh) 一种面向数据处理的能耗优化数据集分配方法
CN102508714A (zh) 一种云计算中基于绿色计算的虚拟机调度方法
CN104239123A (zh) 面向校园云平台的虚拟机管理调度方法和系统
CN103763365A (zh) 一种云存储下元数据服务的负载均衡方法及系统
CN104023042B (zh) 云平台资源调度方法
CN104536804A (zh) 面向关联任务请求的虚拟资源调度系统及调度和分配方法
CN103957280A (zh) 一种物联网中的传感网络连接分配和调度方法
CN105786909A (zh) 一种自适应消息队列积压负载的应用触发方法和系统
CN106681656A (zh) 一种动态可调的云存储系统容错方法
Ahmed et al. A hybrid and optimized resource scheduling technique using map reduce for larger instruction sets
CN104156505A (zh) 一种基于用户行为分析的Hadoop集群作业调度方法及装置
CN102098223B (zh) 节点设备调度方法、装置和系统
Biswas et al. A novel resource aware scheduling with multi-criteria for heterogeneous computing systems
JP5327314B2 (ja) イベント処理システム、イベント処理方法、ローカルシステム、ディスパッチャ、及びプログラム記憶媒体
CN118193188A (zh) 一种基于虚拟化平台动态负载均衡系统及方法
CN108469990A (zh) 一种并行计算方法及系统
KR101451781B1 (ko) 가상머신 환경에서 가상화 시스템의 장치 복제 시스템 및 그 방법
Barazandeh et al. Two hierarchical dynamic load balancing algorithms in distributed systems
Mishra et al. A memory-aware dynamic job scheduling model in Grid computing
CN106899392B (zh) EtherCAT消息传输过程中对瞬时故障进行容错的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181018

Address after: 411105 Yuhu District, Xiangtan, Hunan

Applicant after: Xiangtan University

Address before: 210096 Shuangjing lane, Xuanwu District, Nanjing, Jiangsu 7

Applicant before: Li Yibo

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181109

Termination date: 20190826

CF01 Termination of patent right due to non-payment of annual fee