CN117608840A - 一种智能监控系统资源综合管理的任务处理方法及系统 - Google Patents
一种智能监控系统资源综合管理的任务处理方法及系统 Download PDFInfo
- Publication number
- CN117608840A CN117608840A CN202311608316.4A CN202311608316A CN117608840A CN 117608840 A CN117608840 A CN 117608840A CN 202311608316 A CN202311608316 A CN 202311608316A CN 117608840 A CN117608840 A CN 117608840A
- Authority
- CN
- China
- Prior art keywords
- task
- priority
- processing
- resources
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 66
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 92
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000013468 resource allocation Methods 0.000 claims abstract description 18
- 238000009826 distribution Methods 0.000 claims abstract description 12
- 238000007726 management method Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 5
- 230000003068 static effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012913 prioritisation Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 101150039208 KCNK3 gene Proteins 0.000 description 1
- 101150083764 KCNK9 gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种智能监控系统资源综合管理的任务处理方法及系统，涉及任务智能处理，包括将任务进行分类，构建任务库，获取系统资源利用率；根据任务调度分配算法对任务分配优先级和进行调度，动态调整任务处理资源分配；收集系统运行数据和性能指标，优化任务处理方法。本发明通过任务分类和基于多因素的优先级划分，更智能地调度任务，确保关键任务得到更高的处理优先级，提高适应性。通过动态资源分配策略，能够更灵活地适应系统负载的变化。避免静态资源分配难以满足动态需求，通过实时监测系统性能进行智能优化，使系统能够更好地适应不同工作负载，提高整体性能。
Description
技术领域
本发明涉及任务智能处理技术领域，特别是一种智能监控系统资源综合管理的任务处理方法及系统。
背景技术
在当前智能监控系统中，常用的资源管理技术包括任务调度算法、资源分配策略以及性能监测与优化。任务调度算法涵盖了多种经典算法，如先来先服务、最短作业优先、优先级调度等，用于根据任务属性进行合理调度。资源分配策略主要关注资源的静态分配和动态调整，以确保系统中的各项任务得到适当的执行环境。性能监测与优化则通过实时监控系统性能指标，如响应时间、吞吐量等，进行调整以提高系统整体性能。
现有处理方式在应对复杂多变的任务环境时仍存在一些不足之处。对于任务调度算法，传统算法可能无法充分考虑任务的紧急程度、重要性以及相互之间的依赖关系，导致在应对实时性要求高、任务关联度复杂的场景时效果有限。其次，静态资源分配策略难以适应系统负载的动态变化，可能导致资源浪费或者无法满足关键任务的需求。最后，性能监测与优化往往缺乏智能决策，依赖人工干预较多，影响系统的自动化程度。
发明内容
鉴于现有的智能监控系统资源综合管理的任务处理方法存在的问题，提出了本发明。因此，本发明所要解决的问题在于如何提供一种智能监控系统资源综合管理的任务处理方法及系统。
为解决上述技术问题，本发明提供如下技术方案：
第一方面，本发明实施例提供了一种智能监控系统资源综合管理的任务处理方法，其包括，将系统中的任务进行分类，构建任务库，实时监测追踪关键资源使用情况，利用监测数据获取系统资源利用率；根据任务调度分配算法对任务分配优先级和进行调度，根据系统当前资源负载情况和任务优先级，动态调整任务处理资源分配；收集系统运行数据和性能指标，进行分析和学习，优化任务处理方法，针对系统性能和用户需求改进算法和处理策略。
作为本发明所述智能监控系统资源综合管理的任务处理方法的一种优选方案，其中：所述进行分类根据任务性质进行分类，具体为：当处理任务为数学计算或数值模拟时，则将任务性质划分为计算密集型任务，使用并行计算技术，将任务划分为多个子任务并在多个CPU上同时执行，考虑任务的计算复杂度，优先选择处理性能高的节点执行；当处理任务为涉及大量输入输出操作、大规模文件的读写操作和网络通信任务时，则将任务性质划分为I/O密集型任务，系统提高存储和网络带宽速度，减少任务的I/O等待时间，并将相互依赖的I/O密集型任务调度到相邻节点；当处理任务为对数据进行清洗、转换和数据分析与挖掘处理时，则将任务性质划分为数据处理任务，系统根据具体的数据处理任务提高CPU和内存的需求，考虑任务之间的数据依赖关系，优化数据处理任务的执行顺序，在节点间共享数据，减少数据传输。
作为本发明所述智能监控系统资源综合管理的任务处理方法的一种优选方案，其中：所述任务调度分配算法具体包括，根据处理任务的任务截止时间、任务等待时间、任务重要性以及任务依赖关系确定处理任务紧急程度；根据任务紧急程度、任务重要性和系统负载，计算任务优先级，对每个任务估算执行时间，结合历史数据和机器学习方法，不断优化估算准确度，使用短作业优先减少任务等待时间；分析任务之间依赖关系，构建任务依赖图，按照任务依赖关系进行有序调度；监测每个节点的负载情况，了解系统整体和各节点的运行状态，在任务调度时，避免将任务分配到已经过载的节点，选择负载相对较低的节点执行任务；分析任务对资源的需求，根据任务的资源需求和当前系统资源状态，优化任务的资源分配。
作为本发明所述智能监控系统资源综合管理的任务处理方法的一种优选方案，其中：所述确定处理任务紧急程度包括根据处理任务的任务截止时间、任务等待时间、任务重要性以及任务依赖关系确定处理任务紧急程度得分U，相关计算公式如下：
式中，α、β、γ、δ、∈、ζ、η为调整参数，D为任务的截止时间，W为任务在队列中等待的时间，I为任务的重要性，Df为任务依赖关系。
作为本发明所述智能监控系统资源综合管理的任务处理方法的一种优选方案，其中：所述任务优先级包括计算任务优先得分，根据任务优先得分划分任务优先等级，相关计算公式如下：
式中，P为任务优先级，S为系统当前负载，α1、β1和η1为任务优先级适应系数。
作为本发明所述智能监控系统资源综合管理的任务处理方法的一种优选方案，其中：划分任务优先等级具体为，当P≥f1时，将任务优先级划分为高优先级，表示为需要紧急修复和导致系统崩溃的任务，系统立即分配最大资源，提高此任务的执行优先级，任务在执行时获得更多的CPU、内存和网络资源，加大此任务的监控频率，实时更新任务处理状态，并标记此任务为1级任务，当系统再次出现此任务需要处理时，以高优先级进行优先分配处理，再进行划分任务优先等级，当再次划分等级为高优先级等级以下时，下调此类任务等级为中优先级；当f2≤P＜f1时，将任务优先级划分为中优先级，表示为业务重要但不紧急的任务，需要快速完成的任务，系统分配相对高资源，需要在短时间内完成任务，任务在执行过程中获得适中的CPU、内存和网络资源，提供实时任务状态更新，并标记此任务为2级任务，当系统再次出现此任务需要处理时，需要先进行划分任务优先等级，再进行分配处理，当再次划分等级为中优先级等级以下时，保持此任务为中优先等级继续进行处理；当P＜f2时，将任务优先级划分为低优先级，表示为次要的后台任务，不紧急和不重要的任务，处理任务时资源分配低，在处理任务紧急程度为高等级以下的情况，等待低优先级任务以上的任务处理完成后再进行处理，系统进行周期性任务状态更新，并标记此任务为3级任务，当系统再次出现此任务需要处理时，直接等待中优先级以上的任务处理完成后再进行处理，在任务处理过程中只更新任务当前的任务处理优先级，暂停此任务处理。
作为本发明所述智能监控系统资源综合管理的任务处理方法的一种优选方案，其中：所述性能指标包括响应时间、吞吐量、任务完成时间，将任务监测处理结果可视化，实时了解系统任务处理运行状态，根据性能监测结果，进行策略优化，调整任务调度算法、优化资源分配策略和对系统配置进行调整。
第二方面，本发明实施例提供了一种智能监控系统资源综合管理的任务处理系统，其包括：分类构建模块，用于将系统中的任务进行分类，构建任务库，实时监测追踪关键资源使用情况，利用监测数据获取系统资源利用率；调度划分模块，用于根据任务调度分配算法对任务分配优先级和进行调度，根据系统当前资源负载情况和任务优先级，动态调整任务处理资源分配；优化更新模块，用于收集系统运行数据和性能指标，进行分析和学习，优化任务处理方法，针对系统性能和用户需求改进算法和处理策略。
第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述处理器执行所述计算机程序时实现上述方法的任一步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现上述方法的任一步骤。
本发明有益效果为通过任务分类和基于多因素的优先级划分，更智能地调度任务。确保关键任务得到更高的处理优先级，提高对实时性要求高、任务关联度复杂的场景的适应性。通过动态资源分配策略，能够更灵活地适应系统负载的变化。避免静态资源分配难以满足动态需求，通过实时监测系统性能进行智能优化，使系统能够更好地适应不同工作负载，提高整体性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中：
图1为智能监控系统资源综合管理的任务处理方法的流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1，为本发明第一个实施例，该实施例提供了一种智能监控系统资源综合管理的任务处理方法，包括：
S1：将系统中的任务进行分类，构建任务库，实时监测追踪关键资源使用情况，利用监测数据获取系统资源利用率。
具体的，根据任务性质进行分类，当处理任务为复杂的数学计算或数值模拟，以及高性能计算应用时，则将任务性质划分为计算密集型任务，系统提供大量的CPU计算资源，使用并行计算技术，将任务划分为多个子任务并在多个CPU上同时执行，考虑任务的计算复杂度，优先选择处理性能高的节点执行；当处理任务为涉及大量输入输出操作、大规模文件的读写操作和网络通信任务时，则将任务性质划分为I/O密集型任务，系统提高存储和网络带宽速度，选择较低的CPU计算模式，减少任务的I/O等待时间，并将相互依赖的I/O密集型任务调度到相邻节点；当处理任务为对数据进行清洗、转换和数据分析与挖掘处理时，则将任务性质划分为数据处理任务，系统根据具体的数据处理任务提高CPU和内存的需求，考虑任务之间的数据依赖关系，优化数据处理任务的执行顺序，在节点间共享数据，减少数据传输。
根据任务的截止时间来判断其紧急程度，越临近截止时间的任务优先级越高。考虑任务在队列中等待的时间，等待时间过长可能提高其优先级，任务业务价值：评估任务对业务目标的贡献，高价值任务具有更高的优先级，考虑任务之间的依赖关系，有可能提高依赖于其他任务的优先级，考虑任务对系统资源的占用情况，资源占用较大的任务可能被赋予较低的优先级，以避免系统过载。
清晰的任务库，为每个任务分配适当的优先级，考虑任务的紧急程度、重要性以及对整体系统性能的影响，获取处理规则，确保关键任务获得更高的处理优先级；部署实时监测系统，追踪关键资源如CPU、内存、存储和网络的使用情况，利用监测数据建立系统资源利用率的实时图表，以便及时发现异常情况。
S2：根据任务调度分配算法对任务分配优先级和进行调度，根据系统当前资源负载情况和任务优先级，动态调整任务处理资源分配；
具体的，根据处理任务的任务截止时间、任务等待时间、任务重要性以及任务依赖关系确定处理任务紧急程度；
根据任务紧急程度、任务重要性和系统负载，计算任务优先级，对每个任务估算执行时间，结合历史数据和机器学习方法，不断优化估算准确度，使用短作业优先减少任务等待时间；
分析任务之间依赖关系，构建任务依赖图，按照任务依赖关系进行有序调度；
监测每个节点的负载情况，了解系统整体和各节点的运行状态，在任务调度时，避免将任务分配到已经过载的节点，选择负载相对较低的节点执行任务；
分析任务对资源的需求，根据任务的资源需求和当前系统资源状态，优化任务的资源分配。
根据处理任务的任务截止时间、任务等待时间、任务重要性以及任务依赖关系确定处理任务紧急程度得分U，相关计算公式如下：
式中，α、β、γ、δ、∈、ζ、η为调整参数，D为任务的截止时间，W为任务在队列中等待的时间，I为任务的重要性，Df为任务依赖关系。
计算任务优先得分，根据任务优先得分划分任务优先等级，相关计算公式如下：
式中，P为任务优先级，S为系统当前负载，α1、β1和η1为任务优先级适应系数。
当P≥f1时，将任务优先级划分为高优先级，表示为需要紧急修复和导致系统崩溃的任务，系统立即分配最大资源，提高此任务的执行优先级，任务在执行时获得更多的CPU、内存和网络资源，加大此任务的监控频率，实时更新任务处理状态，并标记此任务为1级任务，当系统再次出现此任务需要处理时，以高优先级进行优先分配处理，再进行划分任务优先等级，当再次划分等级为高优先级等级以下时，下调此类任务等级为中优先级。
当f2≤P＜f1时，将任务优先级划分为中优先级，表示为业务重要但不紧急的任务，需要快速完成的任务，系统分配相对高资源，需要在短时间内完成任务，任务在执行过程中获得适中的CPU、内存和网络资源，提供实时任务状态更新，并标记此任务为2级任务，当系统再次出现此任务需要处理时，需要先进行划分任务优先等级，再进行分配处理，当再次划分等级为中优先级等级以下时，保持此任务为中优先等级继续进行处理。
当P＜f2时，将任务优先级划分为低优先级，表示为次要的后台任务，不紧急和不重要的任务，处理任务时资源分配低，在处理任务紧急程度为高等级以下的情况，等待低优先级任务以上的任务处理完成后再进行处理，系统进行周期性任务状态更新，并标记此任务为3级任务，当系统再次出现此任务需要处理时，直接等待中优先级以上的任务处理完成后再进行处理，在任务处理过程中只更新任务当前的任务处理优先级，暂停此任务处理。
表1任务优先级P值
| 任务ID | P值 | 优先级级别 | 任务ID | P值 | 优先级级别 |
| Task1 | 0.78 | Level2 | Task11 | 0.32 | Level3 |
| Task2 | 0.42 | Level3 | Task12 | 0.68 | Level2 |
| Task3 | 0.91 | Level1 | Task13 | 0.80 | Level1 |
| Task4 | 0.64 | Level2 | Task14 | 0.45 | Level3 |
| Task5 | 0.37 | Level3 | Task15 | 0.60 | Level2 |
| Task6 | 0.72 | Level2 | Task16 | 0.82 | Level1 |
| Task7 | 0.55 | Level2 | Task17 | 0.53 | Level2 |
| Task8 | 0.89 | Level1 | Task18 | 0.28 | Level3 |
| Task9 | 0.49 | Level3 | Task19 | 0.74 | Level2 |
| Task10 | 0.76 | Level2 | Task20 | 0.47 | Level3 |
参考表1的部分任务处理数据，在实际任务处理过程中，10％的P值在0.8以上，70％的P值在0.5-0.8之间，剩下的P值在0.5以下，经过综合考虑选取0.8和0.5分别作为f1和f2的数值进行划分。
S3：收集系统运行数据和性能指标，进行分析和学习，优化任务处理方法，针对系统性能和用户需求改进算法和处理策略。
具体的，响应时间、吞吐量、任务完成时间，将任务监测处理结果可视化，实时了解系统任务处理运行状态，根据性能监测结果，进行策略优化，调整任务调度算法、优化资源分配策略和对系统配置进行调整。
设定资源利用率的阈值，当资源利用率达到或接近阈值时，启动资源调整策略，定义资源调整策略，可能包括动态扩展资源、重新分配任务，或者通知管理员进行手动干预，制定灵活的任务调度算法，考虑任务的优先级、执行时间、依赖关系等因素。使用合适的调度策略，如先来先服务、最短作业优先等，以满足任务的不同需求。在任务调度过程中实时监测系统资源的使用情况，避免将任务分配到已经过载的节点，考虑任务的资源需求，优化资源的分配，防止资源争夺和浪费；根据系统当前负载和任务的优先级，动态调整资源分配，确保关键任务得到足够的资源支持，实现资源共享的公平性，避免某个任务或用户独占系统资源，使用公平分配算法，确保每个任务在资源竞争中都有公平的机会。
进一步的，本实施例还提供一种智能监控系统资源综合管理的任务处理系统，包括：分类构建模块，用于将系统中的任务进行分类，构建任务库，实时监测追踪关键资源使用情况，利用监测数据获取系统资源利用率；调度划分模块，用于根据任务调度分配算法对任务分配优先级和进行调度，根据系统当前资源负载情况和任务优先级，动态调整任务处理资源分配；优化更新模块，用于收集系统运行数据和性能指标，进行分析和学习，优化任务处理方法，针对系统性能和用户需求改进算法和处理策略。
本实施例还提供一种计算机设备，适用于智能监控系统资源综合管理的任务处理方法的情况，包括：存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的本发明实施例所述方法的全部或部分步骤。
本实施例还提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static RandomAccess Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read OnlyMemory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-OnlyMemory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本实施例提出的存储介质与上述实施例提出的数据存储方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
由上可知，本方法通过细致的任务分类和基于多因素的优先级划分，能够更智能地调度任务。考虑任务的性质、紧急程度、重要性以及依赖关系，确保关键任务得到更高的处理优先级，提高系统对实时性要求高、任务关联度复杂的场景的适应性。通过实时监测系统资源使用情况能够更灵活地适应系统负载的变化。关键任务得到足够的资源支持，通过实时监测系统性能，并根据性能监测结果进行智能优化，使系统能够更好地适应不同工作负载，提高整体性能。
实施例2
参照表2，为本发明第二个实施例，该实施例提供了一种智能监控系统资源综合管理的任务处理方法，为了验证本发明的有益效果，通过经济效益计算和仿真实验进行科学论证。
表2技术特征对比表
由上可知，本方法通过细致的任务分类和基于多因素的优先级划分，能够更智能地调度任务。考虑任务的性质、紧急程度、重要性以及依赖关系，确保关键任务得到更高的处理优先级，提高系统对实时性要求高、任务关联度复杂的场景的适应性。通过实时监测系统资源使用情况能够更灵活地适应系统负载的变化。关键任务得到足够的资源支持，通过实时监测系统性能，并根据性能监测结果进行智能优化，使系统能够更好地适应不同工作负载，提高整体性能。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种智能监控系统资源综合管理的任务处理方法，其特征在于：包括，
将系统中的任务进行分类，构建任务库，实时监测追踪关键资源使用情况，利用监测数据获取系统资源利用率；
根据任务调度分配算法对任务分配优先级和进行调度，根据系统当前资源负载情况和任务优先级，动态调整任务处理资源分配；
收集系统运行数据和性能指标，进行分析和学习，优化任务处理方法，针对系统性能和用户需求改进算法和处理策略。
2.如权利要求1所述的智能监控系统资源综合管理的任务处理方法，其特征在于：所述进行分类根据任务性质进行分类，具体为：当处理任务为数学计算或数值模拟时，则将任务性质划分为计算密集型任务，使用并行计算技术，将任务划分为多个子任务并在多个CPU上同时执行，考虑任务的计算复杂度，优先选择处理性能高的节点执行；
当处理任务为涉及大量输入输出操作、大规模文件的读写操作和网络通信任务时，则将任务性质划分为I/O密集型任务，系统提高存储和网络带宽速度，减少任务的I/O等待时间，并将相互依赖的I/O密集型任务调度到相邻节点；
当处理任务为对数据进行清洗、转换和数据分析与挖掘处理时，则将任务性质划分为数据处理任务，系统根据具体的数据处理任务提高CPU和内存的需求，考虑任务之间的数据依赖关系，优化数据处理任务的执行顺序，在节点间共享数据，减少数据传输。
3.如权利要求2所述的智能监控系统资源综合管理的任务处理方法，其特征在于：所述任务调度分配算法具体包括，
根据处理任务的任务截止时间、任务等待时间、任务重要性以及任务依赖关系确定处理任务紧急程度；
根据任务紧急程度、任务重要性和系统负载，计算任务优先级，对每个任务估算执行时间，结合历史数据和机器学习方法，不断优化估算准确度，使用短作业优先减少任务等待时间；
分析任务之间依赖关系，构建任务依赖图，按照任务依赖关系进行有序调度；
监测每个节点的负载情况，了解系统整体和各节点的运行状态，在任务调度时，避免将任务分配到已经过载的节点，选择负载相对较低的节点执行任务；
分析任务对资源的需求，根据任务的资源需求和当前系统资源状态，优化任务的资源分配。
4.如权利要求3所述的智能监控系统资源综合管理的任务处理方法，其特征在于：所述确定处理任务紧急程度包括根据处理任务的任务截止时间、任务等待时间、任务重要性以及任务依赖关系确定处理任务紧急程度得分U，相关计算公式如下：
式中，α、β、γ、δ、∈、ζ、η为调整参数，D为任务的截止时间，W为任务在队列中等待的时间，I为任务的重要性，Df为任务依赖关系。
5.如权利要求4所述的智能监控系统资源综合管理的任务处理方法，其特征在于：所述任务优先级包括计算任务优先得分，根据任务优先得分划分任务优先等级，相关计算公式如下：
式中，P为任务优先级，S为系统当前负载，α1、β1和η1为任务优先级适应系数。
6.如权利要求5所述的智能监控系统资源综合管理的任务处理方法，其特征在于：划分任务优先等级具体为，
当P≥f1时，将任务优先级划分为高优先级，表示为需要紧急修复和导致系统崩溃的任务，系统立即分配最大资源，提高此任务的执行优先级，任务在执行时获得更多的CPU、内存和网络资源，加大此任务的监控频率，实时更新任务处理状态，并标记此任务为1级任务，当系统再次出现此任务需要处理时，以高优先级进行优先分配处理，再进行划分任务优先等级，当再次划分等级为高优先级等级以下时，下调此类任务等级为中优先级；
当f2≤P＜f1时，将任务优先级划分为中优先级，表示为业务重要但不紧急的任务，需要快速完成的任务，系统分配相对高资源，需要在短时间内完成任务，任务在执行过程中获得适中的CPU、内存和网络资源，提供实时任务状态更新，并标记此任务为2级任务，当系统再次出现此任务需要处理时，需要先进行划分任务优先等级，再进行分配处理，当再次划分等级为中优先级等级以下时，保持此任务为中优先等级继续进行处理；
当P＜f2时，将任务优先级划分为低优先级，表示为次要的后台任务，不紧急和不重要的任务，处理任务时资源分配低，在处理任务紧急程度为高等级以下的情况，等待低优先级任务以上的任务处理完成后再进行处理，系统进行周期性任务状态更新，并标记此任务为3级任务，当系统再次出现此任务需要处理时，直接等待中优先级以上的任务处理完成后再进行处理，在任务处理过程中只更新任务当前的任务处理优先级，暂停此任务处理。
7.如权利要求6所述的智能监控系统资源综合管理的任务处理方法，其特征在于：所述性能指标包括响应时间、吞吐量、任务完成时间，将任务监测处理结果可视化，实时了解系统任务处理运行状态，根据性能监测结果，进行策略优化，调整任务调度算法、优化资源分配策略和对系统配置进行调整。
8.一种智能监控系统资源综合管理的任务处理系统，基于权利要求1～7任一所述的智能监控系统资源综合管理的任务处理方法，其特征在于：包括，
分类构建模块，用于将系统中的任务进行分类，构建任务库，实时监测追踪关键资源使用情况，利用监测数据获取系统资源利用率；
调度划分模块，用于根据任务调度分配算法对任务分配优先级和进行调度，根据系统当前资源负载情况和任务优先级，动态调整任务处理资源分配；
优化更新模块，用于收集系统运行数据和性能指标，进行分析和学习，优化任务处理方法，针对系统性能和用户需求改进算法和处理策略。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述智能监控系统资源综合管理的任务处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述智能监控系统资源综合管理的任务处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311608316.4A CN117608840A (zh) | 2023-11-28 | 2023-11-28 | 一种智能监控系统资源综合管理的任务处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311608316.4A CN117608840A (zh) | 2023-11-28 | 2023-11-28 | 一种智能监控系统资源综合管理的任务处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117608840A true CN117608840A (zh) | 2024-02-27 |
Family
ID=89949407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311608316.4A Pending CN117608840A (zh) | 2023-11-28 | 2023-11-28 | 一种智能监控系统资源综合管理的任务处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117608840A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117806806A (zh) * | 2024-02-28 | 2024-04-02 | 湖南科技大学 | 任务部分卸载调度方法、终端设备及存储介质 |
| CN118034938A (zh) * | 2024-04-11 | 2024-05-14 | 广东琴智科技研究院有限公司 | 一种作业调度方法、智能计算云操作系统以及计算平台 |
| CN118034892A (zh) * | 2024-03-20 | 2024-05-14 | 东莞云付网络科技有限公司 | 一种集群文件系统客户端多核并发负载实现方法 |
| CN118199766A (zh) * | 2024-05-15 | 2024-06-14 | 深圳多为智联科技有限公司 | 一种对讲机用智慧调度方法及系统 |
| CN118193172A (zh) * | 2024-04-23 | 2024-06-14 | 郑州数智科技集团有限公司 | 基于大数据分析的任务分配系统 |
| CN118277065A (zh) * | 2024-05-30 | 2024-07-02 | 深圳市天富利信息技术有限公司 | 一种基于人工智能的ai服务软件分配系统 |
| CN118331711A (zh) * | 2024-06-12 | 2024-07-12 | 北京科杰科技有限公司 | 基于任务实例依赖关系的调度系统性能优化方法 |
| CN118336784A (zh) * | 2024-06-14 | 2024-07-12 | 西安热工研究院有限公司 | 一种多维负载适应的超容储能智能调控方法及系统 |
| CN118485292A (zh) * | 2024-06-14 | 2024-08-13 | 杭州宇泛智能科技股份有限公司 | 基于人工智能的工作流自动生成和算力分配方法及装置 |
-
2023
- 2023-11-28 CN CN202311608316.4A patent/CN117608840A/zh active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117806806B (zh) * | 2024-02-28 | 2024-05-17 | 湖南科技大学 | 任务部分卸载调度方法、终端设备及存储介质 |
| CN117806806A (zh) * | 2024-02-28 | 2024-04-02 | 湖南科技大学 | 任务部分卸载调度方法、终端设备及存储介质 |
| CN118034892A (zh) * | 2024-03-20 | 2024-05-14 | 东莞云付网络科技有限公司 | 一种集群文件系统客户端多核并发负载实现方法 |
| CN118034938B (zh) * | 2024-04-11 | 2024-06-28 | 广东琴智科技研究院有限公司 | 一种作业调度方法、智能计算云操作系统以及计算平台 |
| CN118034938A (zh) * | 2024-04-11 | 2024-05-14 | 广东琴智科技研究院有限公司 | 一种作业调度方法、智能计算云操作系统以及计算平台 |
| CN118193172A (zh) * | 2024-04-23 | 2024-06-14 | 郑州数智科技集团有限公司 | 基于大数据分析的任务分配系统 |
| CN118193172B (zh) * | 2024-04-23 | 2024-10-15 | 郑州数智科技集团有限公司 | 基于大数据分析的任务分配系统 |
| CN118199766A (zh) * | 2024-05-15 | 2024-06-14 | 深圳多为智联科技有限公司 | 一种对讲机用智慧调度方法及系统 |
| CN118277065A (zh) * | 2024-05-30 | 2024-07-02 | 深圳市天富利信息技术有限公司 | 一种基于人工智能的ai服务软件分配系统 |
| CN118331711A (zh) * | 2024-06-12 | 2024-07-12 | 北京科杰科技有限公司 | 基于任务实例依赖关系的调度系统性能优化方法 |
| CN118331711B (zh) * | 2024-06-12 | 2024-09-10 | 北京科杰科技有限公司 | 基于任务实例依赖关系的调度系统性能优化方法 |
| CN118336784A (zh) * | 2024-06-14 | 2024-07-12 | 西安热工研究院有限公司 | 一种多维负载适应的超容储能智能调控方法及系统 |
| CN118485292A (zh) * | 2024-06-14 | 2024-08-13 | 杭州宇泛智能科技股份有限公司 | 基于人工智能的工作流自动生成和算力分配方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117608840A (zh) | 一种智能监控系统资源综合管理的任务处理方法及系统 | |
| CN111459628B (zh) | 基于改进量子蚁群算法的Spark平台任务调度方法 | |
| US10558498B2 (en) | Method for scheduling data flow task and apparatus | |
| CN107045456B (zh) | 一种资源分配方法及资源管理器 | |
| US10275277B2 (en) | Job distribution within a grid environment using mega-host groupings of execution hosts | |
| US9141432B2 (en) | Dynamic pending job queue length for job distribution within a grid environment | |
| CN111400022A (zh) | 一种资源调度方法、装置及电子设备 | |
| US9870269B1 (en) | Job allocation in a clustered environment | |
| CN104915407A (zh) | 一种基于Hadoop多作业环境下的资源调度方法 | |
| Zheng et al. | Online multi-resource allocation for deadline sensitive jobs with partial values in the cloud | |
| CN111813523A (zh) | 时长预估模型生成方法、系统资源调度方法、装置、电子设备和存储介质 | |
| CN112817728B (zh) | 任务调度方法、网络设备和存储介质 | |
| CN108270805B (zh) | 用于数据处理的资源分配方法及装置 | |
| US7920282B2 (en) | Job preempt set generation for resource management | |
| WO2020172852A1 (en) | Computing resource scheduling method, scheduler, internet of things system, and computer readable medium | |
| CN108491255B (zh) | 自助式MapReduce数据优化分配方法及系统 | |
| CN111026519A (zh) | 基于分布式的任务优先级调度方法和系统及存储介质 | |
| CN107430526B (zh) | 用于调度数据处理的方法和节点 | |
| CN116954905A (zh) | 一种面向Flink大数据的任务编排与迁移方法 | |
| CN113127173B (zh) | 一种异构感知的集群调度方法及装置 | |
| CN112598112B (zh) | 一种基于图神经网络的资源调度方法 | |
| US20240004707A1 (en) | Methods and systems for energy-efficient scheduling of periodic tasks on a group of processing devices | |
| CN112181498A (zh) | 并发控制方法、装置和设备 | |
| Kapil et al. | Resource aware scheduling in Hadoop for heterogeneous workloads based on load estimation | |
| Murad et al. | Priority based fair scheduling: Enhancing efficiency in cloud job distribution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |