KR20150089665A

KR20150089665A - Appratus for workflow job scheduling

Info

Publication number: KR20150089665A
Application number: KR1020140010564A
Authority: KR
Inventors: 전승협; 고광원; 김강호; 배승조
Original assignee: 한국전자통신연구원
Priority date: 2014-01-28
Filing date: 2014-01-28
Publication date: 2015-08-05

Abstract

The present invention relates to an apparatus for workflow job scheduling, which increases a resource utilization rate of a system to increase throughput of a workflow. The apparatus for workflow job scheduling according to an embodiment of the present invention comprises: a task scheduler including task queues where a task prepared by a workflow preparing unit is assigned; a priority determining table storing a priority for the task; and a priority changing unit changing the order of the task queues according to the priority stored in the priority determining table.

Description

[0001] Appratus for workflow job scheduling [

본 발명은 워크플로우 작업 스케줄링 장치에 관한 것으로, 상세하게는 시스템의 자원 이용률을 높여 워크플로우 처리량을 높일 수 있는 워크플로우 작업 스케줄링 장치에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a workflow work scheduling apparatus, and more particularly, to a workflow work scheduling apparatus capable of increasing workflow throughput by raising resource utilization of the system.

기존의 슈퍼 컴퓨터, 고성능 클러스터 등 다양한 형태의 컴퓨팅 자원 환경하에서, 사람을 대신하여 대규모 데이터를 처리하는 과학 연산 작업, 또는 여러 단계의 작업 간 종속성이 존재하는 복잡한 작업들을 일괄 실행하기 위해서, 워크플로우(workflow) 관리 시스템, 자원 관리 시스템, 및 작업 스케줄러 등을 활용하여 왔다.In order to execute complex computation tasks that involve large-scale data processing on behalf of people, or complex dependencies between tasks in various forms of computing resources such as existing supercomputers and high-performance clusters, workflows workflow management system, resource management system, and job scheduler.

워크플로우 관리 시스템은, 대체로 사용자 친화적인 사용자 인터페이스(User Interface)를 통해 일련의 작업들이 연관성을 가지고 연결되는 워크플로우를 작성하고, 작성된 워크플로우를, 고성능 컴퓨터, 그리드, 및 웹 서비스 등 다양한 컴퓨팅 자원을 연동하여 실행하고 결과를 보고하는 소프트웨어 시스템이다. 종래 워크플로우 관리 시스템으로는 타베르나(Taverna), 갤럭시(Galaxy), 및 케플러(Kepler) 등이 있다.The workflow management system creates a workflow in which a series of tasks are linked with each other through a user-friendly user interface, and transmits the created workflow to various computing resources such as a high-performance computer, a grid, and a web service And reports the results. Conventional workflow management systems include Taverna, Galaxy, and Kepler.

자원 관리 시스템은, 고성능컴퓨터 또는 클러스터에 대한 컴퓨팅 자원의 관리 및 작업의 일괄 실행 등을 처리하는 소프트웨어 시스템으로, PBS(Portable Batch System) 계열의 OpenPBS, TORQEU, PBS pro가 있고 그 외에도 SLURM, Oracle Grid Engine 등이 있다. 대체로 FCFS(First-Come First-Served) 방식의 작업 스케줄링을 사용한다.The resource management system is a software system that manages computing resources for a high-performance computer or cluster and executes batch operations. It includes OpenPBS, TORQEU, and PBS pros of PBS (Portable Batch System) series, SLURM, Oracle Grid Engine. Generally, it uses first-come first-served (FCFS) job scheduling.

작업 스케줄러는 주로 자원관리 시스템과 연동하여 사용되는데, 작업 큐(Queue) 상의 작업들의 우선순위, 요구 자원량을 가용 자원의 종류 및 수량과 비교하여, 동적으로 실행순서를 바꾸어가면서 작업들을 실행하는 소프트웨어 시스템이다. 종래 기술로는 Maui, ALPS, LSF, Moab 등이 있다.The task scheduler is mainly used in conjunction with the resource management system. The task scheduler compares the priority of the tasks on the task queue, the requested resource amount with the type and quantity of the available resources, and executes the tasks while changing the execution order dynamically. to be. Maui, ALPS, LSF, and Moab are known in the prior art.

이런 작업 스케줄러에서 작업의 우선순위를 결정하는 방법은 일반적으로 FCFS(First Come First Service)의 기준으로 이루어진다. 이러한 작업 스케줄러를 이용하는 경우 주어진 작업 단위로 스케줄링을 고려할 뿐, 바이오 분석과 같은 작업 선후순위가 정해질 필요가 있는 워크플로우 단위의 스케줄링은 고려되지 않는다.The way to prioritize jobs in these job schedulers is generally based on FCFS (First Come First Service). When using these task schedulers, scheduling is considered in a given unit of work, but scheduling of workflow units that need to be ranked after work such as bioanalysis is not considered.

이런 경우, 워크플로우 안의 특정 작업이 병목지점이 되어 뒤에 들어온 워크플로우의 작업이 우선순위에 의해 실행되는 것을 방해함으로써 전체적인 처리량을 저하시키는 경우가 발생한다.
In such a case, a certain task in the workflow becomes a bottleneck, and the task of the subsequent workflow is prevented from being executed according to the priority, thereby lowering the overall throughput.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 시스템의 자원 이용률을 높여 워크플로우 처리량을 높일 수 있는 워크플로우 작업 스케줄링 장치를 제공함에 있다.
SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and an object of the present invention is to provide a workflow work scheduling apparatus capable of raising the resource utilization rate of the system and increasing the workflow throughput.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 워크플로우 작업 스케줄링 장치는, 워크플로우 작성부에 의해 작성된 워크플로우 내의 작업이 할당되는 작업 큐를 포함하는 작업 스케줄러; 작업에 대한 우선순위가 저장되어 있는 우선순위 결정 테이블; 및 상기 우선순위 결정 테이블에 저장된 우선순위에 따라 상기 작업 큐의 순서를 변경하는 우선순위 변환부를 포함한다. According to an aspect of the present invention, there is provided an apparatus for scheduling workflow tasks, the apparatus comprising: a task scheduler including a task queue to which tasks in a workflow created by the workflow creating unit are allocated; A priority determination table in which a priority for a job is stored; And a priority conversion unit for changing the order of the work queues according to the priority stored in the priority determination table.

상기 우선순위 결정 테이블에 저장되는 작업 우선순위는 작업 실행시 사용되는 자원의 중요도에 따라 결정될 수 있다.The task priority stored in the priority determination table may be determined according to the importance of resources used when the task is executed.

이때, 상기 작업 실행시 사용되는 자원은 CPU 용량, 메모리 용량, I/O 할당량, 작업 소요 시간일 수 있다.At this time, resources used in executing the task may be the CPU capacity, the memory capacity, the I / O allocation amount, and the work required time.

한편, 상기 워크플로우 작업 스케줄링 장치는 작업이 실행되는 동안 자원 사용 상태를 수집하는 실행자원 수집부를 더 포함할 수 있다.Meanwhile, the workflow task scheduling apparatus may further include an execution resource collection unit for collecting a resource usage state during execution of a task.

이때, 상기 우선순위 결정 테이블은 상기 실행자원 수집부에 의해 수집된 자원 사용 상태에 따라 작업의 우선순위를 변경한다.At this time, the priority table changes the priority of the task according to the resource use state collected by the execution resource collection unit.

또한, 상기 워크플로우 작업 스케줄링 장치는 상기 워크플로우 내의 작업 간의 순서를 지정하는 사전 우선순위 결정부를 더 포함할 수 있다.In addition, the workflow job scheduling apparatus may further include a priority determining section for specifying an order among the jobs in the workflow.

이때, 상기 사전 우선순위 결정부는 우선순위 테이블을 저장하고 있고, 상기 저장된 우선순위 테이블에 따라 워크플로우 내의 작업 간의 우선순위를 지정할 수 있다.At this time, the prior-priority determining unit stores a priority table, and the priority among tasks in the workflow can be specified according to the stored priority table.

또한, 상기 사전 우선순위 결정부는 상기 우선순위 결정 테이블을 참조하여, 워크플로우 내의 작업 간의 우선순위를 지정할 수 있다.
In addition, the prior-priority determining unit may refer to the priority determination table to specify a priority among tasks in the workflow.

본 발명에 따른 워크플로우 작업 스케줄링 장치에 따르면, 작업 스케줄러를 통하여 동일한 워크플로우를 연속적으로 실행하는 환경에서 워크플로우 안의 작업의 우선순위를 자원 사용량의 추이를 통하여 가변적으로 변경할 수 있다.According to the apparatus for scheduling workflow work according to the present invention, priority of tasks in a workflow can be variably changed through the transition of resource usage in an environment in which the same workflow is continuously executed through the task scheduler.

따라서, 시스템의 자원 이용률을 높여 워크플로우 처리량을 높일 수 있다.Therefore, the resource utilization of the system can be increased to increase the workflow throughput.

또한, 우선순위 결정 테이블의 작업의 우선순위는 작업의 자원 사용량의 변화에 따라 변경되므로, 작업의 자원 사용량의 변경에 대해 동적으로 작업의 우선순위를 변경할 수 있다.
Also, since the priority of the task in the priority determination table is changed in accordance with the change in the resource usage of the task, the priority of the task can be dynamically changed in response to the change in resource usage of the task.

도 1은 본 발명의 실시 예에 따른 워크플로우 작업 스케줄링 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 워크플로우 작업 스케줄링 장치의 우선순위 결정 테이블의 일 예의 구조이다.
도 3은 본 발명의 실시 예에 따른 워크플로우 작업 스케줄링 장치를 이용하여 워크플로우를 처리하는 일 예를 도시한 도면이다.1 is a diagram illustrating a configuration of a workflow work scheduling apparatus according to an embodiment of the present invention.
FIG. 2 is a structure of an example of a priority determination table of a workflow work scheduling apparatus according to an embodiment of the present invention.
3 is a diagram illustrating an example of processing a workflow using a workflow work scheduling apparatus according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시 예를 첨부된 도면들을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. Further, terms to be described below are terms defined in consideration of functions in the present invention, which may vary depending on the intention or custom of the user, the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.

도 1은 본 발명의 실시 예에 따른 워크플로우 작업 스케줄링 장치의 구성을 도시한 도면이고, 도 2는 본 발명의 실시 예에 따른 워크플로우 작업 스케줄링 장치의 우선순위 결정 테이블의 일 예의 구조이다.FIG. 1 is a diagram illustrating a configuration of a workflow task scheduling apparatus according to an embodiment of the present invention. FIG. 2 is a structure of an example of a priority determination table of a workflow task scheduling apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 워크플로우 작업 스케줄링 장치는 워크플로우 작성부(110), 작업 스케줄러(120), 우선순위 변환부(130), 우선순위 결정 테이블(140), 실행자원 수집부(150) 및 사전 우선순위 결정부(160)를 포함한다. Referring to FIG. 1, a workflow work scheduling apparatus according to an embodiment of the present invention includes a workflow creator 110, a task scheduler 120, a priority converter 130, a priority determination table 140, A resource collection unit 150 and a prioritization unit 160. [

상기 워크플로우 작성부(110)에 의해 작성된 작업은 우선순위에 따라 작업 스케줄러(120)의 작업 큐(121)에 할당되며, 각각의 작업 큐(121)는 우선순위가 할당되어 있다.The jobs created by the workflow creating unit 110 are allocated to the job queues 121 of the job scheduler 120 according to the priority order, and the respective job queues 121 are assigned priorities.

상기 작업 스케줄러(120)는 자원이 가용한 만큼의 작업을 우선순위에 따라 실행시킨다.The job scheduler 120 executes as many jobs as resources are available according to their priority.

상기 우선순위 변환부(130)는 상기 우선순위 결정 테이블(140)을 참조하여, 상기 작업 스케줄러(120) 내의 작업 큐(121)의 순서를 변경한다.The priority conversion unit 130 changes the order of the work queues 121 in the job scheduler 120 with reference to the priority determination table 140. [

도 2를 참조하면, 상기 우선순위 결정 테이블(140)에는 작업 및 각 작업에 대한 우선순위가 저장되어 있으며, 작업의 우선순위는 작업 실행 시 사용되는 자원의 중요도에 따라 결정되며, 이때, 작업의 우선순위를 결정하는 데 사용되는 자원은 작업을 실행하는데 사용되는 CPU의 용량, 메모리 용량, I/O 할당량, 작업 소요 시간 등일 수 있다.Referring to FIG. 2, the priorities of the tasks and the tasks are stored in the prioritization table 140, and the priorities of the tasks are determined according to the importance of the resources used when the tasks are executed. The resources used to determine the priority can be the amount of CPU, memory capacity, I / O quota, time spent on the task, etc. used to execute the task.

한편, 작업이 실행되는 경우, 작업을 실행하는데 사용되는 자원 사용량은 일정하지 않고 변할 수 있다.On the other hand, when a job is executed, the resource usage used to execute the job is not constant but can be changed.

상기 실행자원 수집부(150)는 작업이 실행되는 동안 자원 사용 상태를 수집하고, 수집된 자원 사용 상태는 상기 우선순위 결정 테이블(140)로 전송된다.The execution resource collection unit 150 collects the resource use state during the execution of the task, and the collected resource use state is transmitted to the priority determination table 140. [

상기 우선순위 결정 테이블(140)은 상기 실행자원 수집부(150)로부터 전송된 자원 사용 상태에 따라 기 저장된 자원 사용량을 변경하는 한편, 변경된 자원 사용량을 바탕으로 작업의 우선순위를 변경한다.The priority determination table 140 changes the resource usage amount previously stored according to the resource usage status transmitted from the execution resource collection unit 150 and changes the priority of the task based on the changed resource usage.

수집된 자원 사용 상태는 평균이나 최대값 등이 될 수 있으며, 보다 복잡한 통계적인 방법을 통한 대표값일 수 있다.The collected resource usage status can be an average or a maximum value, and can be a representative value through a more complicated statistical method.

따라서, 실행자원 수집부(150)에 의해 수집된 자원 사용 상태를 상기 우선순위 결정 테이블(140)에 동적으로 반영함으로써, 작업의 우선순위 변경의 유효성을 높일 수 있다.Therefore, the effectiveness of changing the priority of the task can be enhanced by dynamically reflecting the resource use state collected by the execution resource collection unit 150 in the priority determination table 140. [

상기 작업 스케줄러(120)는 다양한 형태로 구현될 수 있으며, 따라서, 상기 우선순위 변환부(130)의 접근이 허용되지 않아, 상기 우선순위 변환부(130)에 의한 작업 우선순위 변경이 이루어지지 않는 경우도 발생할 수 있다.The task scheduler 120 may be implemented in various forms, so that the priority conversion unit 130 is not allowed to access the task scheduler 120, May also occur.

상기 사전 우선순위 결정부(160)는 상기 우선수위 변환부(130)의 접근이 허용되지 않는 작업 스케줄러(120)와 함께 적용되는 우선순위 변환부(130)를 대신하기 위한 것으로, 워크플로우 내의 작업 간의 우선순위를 지정한다.The priority prioritization unit 160 is a substitute for the priority conversion unit 130 that is applied together with the job scheduler 120 that is not allowed to access the priority level converter 130, Specifies the priority between the two.

이때, 상기 사전 우선순위 결정부(160)는 도 2와 같은 구조를 갖는 우선순위 테이블이 저장되어 있어, 상기 사전 우선순위 결정부(160)는 저장된 우선순위 테이블에 따라 워크플로우 내의 작업 간의 우선순위를 지정할 수 있다.In this case, the prior-priority determining unit 160 stores a priority table having a structure as shown in FIG. 2, and the prior-priority determining unit 160 determines a priority of tasks in a workflow according to a stored priority table Can be specified.

또한, 상기 사전 우선순위 결정부(160)는 상기 우선순위 결정 테이블(140)을 참조하여, 워크플로우 내의 작업 간의 우선순위를 지정할 수 있다.In addition, the prior-priority determining unit 160 may refer to the priority determination table 140 to specify the priority among the tasks in the workflow.

즉, 상기 우선순위 변환부(130)는 상기 작업 스케줄러(120) 내의 작업 큐(121)의 순서를 상기 우선순위 결정 테이블(140)을 참조하여 변경함으로써 작업의 우선순서를 변경하나, 상기 사전 우선순위 결정부(160)는 작업이 상기 작업 스케줄러(120) 내에 할당되기 전에 상기 우선순위 결정 테이블(140)을 참조하여 작업의 우선순서를 지정한다.That is, the priority conversion unit 130 changes the priority order of the tasks by changing the order of the task queues 121 in the task scheduler 120 with reference to the priority determination table 140, The priority determining unit 160 refers to the priority determination table 140 before assigning a job to the job scheduler 120, and specifies a priority order of the jobs.

SLURM과 같은 작업 스케줄러를 사용하는 경우, SLURM이 제공하는 스케줄러 API를 통해서 본 발명에서 제안한 우선순위 변환부와 우선순위 결정 테이블을 이용하도록 하는 스케줄러를 작성하거나, 또는 SURM에서 제공하는 작업 우선순위 변경 명령어(scontrol)를 통해 작업 큐의 작업들의 우선순위를 변경할 수 있다.
When a task scheduler such as SLURM is used, a scheduler that uses the priority conversion unit and the priority determination table proposed by the present invention is created through the scheduler API provided by the SLURM, or a task priority change command (scontrol) to change the priority of jobs in the work queue.

도 3은 본 발명의 실시 예에 따른 워크플로우 작업 스케줄링 장치를 이용하여 워크플로우를 처리하는 일 예를 도시한 도면이다.3 is a diagram illustrating an example of processing a workflow using a workflow work scheduling apparatus according to an embodiment of the present invention.

도 3와 같이 동일한 2개의 워크플로우를 워크플로우1이 처리되고, 워크플로우2가 처리되는 것으로 가정하는 경우, 기존 FCFS 정책을 선택하고 있는 작업 스케줄러에서는 도 3의 워크플로우를 처리하려고 할 때, A1→B1→C1→D1→A2→B2→C2→D2의 순으로 실행된다. 선후순위를 지원하는 스케줄러에서는 자원이 가용한 경우에 A1과 A2가 동시에 수행되기도 한다.3, it is assumed that workflow 1 is processed and workflow 2 is processed. When a job scheduler that selects an existing FCFS policy tries to process the workflow shown in FIG. 3, → B1 → C1 → D1 → A2 → B2 → C2 → D2. In the scheduler that supports the posterior rank, A1 and A2 are performed simultaneously when resources are available.

하지만, C1 작업과 B2 작업이 다음과 같은 자원을 필요로 하는 경우를 살펴보자.However, let's look at cases where C1 and B2 tasks require the following resources:

작업을 수행하는 노드가 16개의 CPU 코어를 가지고 있고, C1 작업이 필요로 하는 코어의 수는 8이고, B2 작업이 필요로 하는 코어의 수가 9라고 하면, 선후의존성이 해결된 C1 작업과 B2 작업 중에 선택할 작업은 당연히 우선순위에 의해 C1 작업이 된다. 하지만, 본 발명의 실시 예에 따른 우선순위 결정 테이블에 의해서 B2 작업이 먼저 수행된다면, 이후 C1 작업과 C2 작업은 같이 수행될 수 있다.If the node performing the task has 16 CPU cores and the number of cores required by the C1 task is 8 and the number of cores required by the B2 task is 9, Of course, the work to be done is by priority C1. However, if the B2 task is first performed by the prioritization table according to the embodiment of the present invention, then the C1 task and the C2 task may be performed at the same time.

즉, 기존 방법의 경우 B2 작업, C1 작업 및 C2 작업을 수행하는데 사용되는 시간은 (C1 작업 소요시간 + B2 작업 소요시간 + C2 작업 소요시간)이지만, 본 발명의 실시 예에 따른 방법의 경우에는 (B1 작업 소요시간 + Max(C1 작업 소요시간, C2 작업 소요시간))만이 필요하다.
That is, in the case of the existing method, the time used for performing the B2 operation, the C1 operation and the C2 operation is (C1 operation time + B2 operation time + C2 operation time), but in the case of the method according to the embodiment of the present invention (B1 work time + Max (C1 work time, C2 work time)) is required.

이와 같은 본 발명에 따르면, 작업 스케줄러를 통하여 동일한 워크플로우를 연속적으로 실행하는 환경에서 워크플로우 안의 작업의 우선순위를 자원 사용량의 추이를 통하여 가변적으로 변경할 수 있다. 따라서, 시스템의 자원 이용률을 높여 워크플로우 처리량을 높일 수 있다.According to the present invention, the priority of the work in the workflow can be variably changed through the transition of the resource usage in an environment where the same workflow is continuously executed through the job scheduler. Therefore, the resource utilization of the system can be increased to increase the workflow throughput.

한편, 본 발명에 따른 워크플로우 작업 스케줄링 장치를 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
While the present invention has been described in connection with certain embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the scope of the invention as defined in the appended claims. And various alternatives, modifications, and alterations can be made.

따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
Therefore, the embodiments described in the present invention and the accompanying drawings are intended to illustrate rather than limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and accompanying drawings . The scope of protection of the present invention should be construed according to the claims, and all technical ideas within the scope of equivalents should be interpreted as being included in the scope of the present invention.

110 : 워크플로우 작성부 120 : 작업 스케줄러
130 : 우선순위 변환부 140 : 우선순위 결정 테이블
150 : 실행자원 수집부 160 : 사전 우선순위 결정부110: workflow creator 120: task scheduler
130: Priority conversion unit 140: Priority determination table
150: execution resource collection unit 160: dictionary priority determination unit

Claims

A workflow task scheduling apparatus comprising:
A job scheduler including a job queue to which a job created by the workflow creating unit is allocated;
A priority determination table in which a priority for a job is stored; And
A priority conversion unit for changing the order of the work queues according to a priority stored in the priority table;
The workflow scheduling device comprising: