CN117667602B - 一种基于云计算在线服务算力优化方法和装置 - Google Patents
一种基于云计算在线服务算力优化方法和装置 Download PDFInfo
- Publication number
- CN117667602B CN117667602B CN202410128920.5A CN202410128920A CN117667602B CN 117667602 B CN117667602 B CN 117667602B CN 202410128920 A CN202410128920 A CN 202410128920A CN 117667602 B CN117667602 B CN 117667602B
- Authority
- CN
- China
- Prior art keywords
- matching
- computing
- data
- coincidence
- allocation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000005457 optimization Methods 0.000 title claims description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims description 20
- 238000007789 sealing Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims 2
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000002071 nanotube Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于分布式计算领域，涉及数据分析技术，用于解决现有技术无法根据计算任务的数据类型与计算类型为其分配合适的计算节点的问题，具体是一种基于云计算在线服务算力优化方法和装置，包括服务器，服务器通信连接有计算集群、存储模块、计算分配模块以及算力分析模块；计算集群包括若干个计算节点，所述存储模块包括若干个存储节点；将计算任务分解为若干个子任务，随机选取一个子任务并标记为分配对象，随机选取一个计算节点并标记为匹配对象，将分配对象与匹配对象进行匹配；本发明可以对计算节点进行计算任务分配，使计算节点中分配的子任务在数据特征与计算特征上均具有一定关联性，提高计算节点的计算逻辑统一性。
Description
技术领域
本发明属于分布式计算领域，涉及数据分析技术，具体是一种基于云计算在线服务算力优化方法和装置。
背景技术
算力网络通过提供任务式的算力、网络、存储等综合服务能力，通过对各种异构资源的纳管，使资源式服务向任务式服务的转变，成为全社会数字化转型的重要支撑，对于算力的感知、连接和统筹调度，应用、任务的协同、分发，企业的有效合作等方面愈发重要。
如专利公告号CN112540849A公开了一种分布式计算作业的参数配置优化方法及系统。该方法包括：获取不同的分布式计算作业的作业程序，并确定关键参数配置集；获取分布式计算作业执行时的集群状态，并根据关键参数配置集以及集群状态随机生成样本数据集，建立性能预测模型；采用多目标遗传算法以及最优配置选择策略配置优化模块，修正性能预测模型；获取待优化分布式计算作业的作业程序以及待优化分布式计算作业执行时的集群状态，并确定待优化的关键参数配置项组合；将待优化的关键参数配置项组合以及待优化分布式计算作业执行时的集群状态输入性能预测模型，输出执行时间最短的关键参数配置项组合。
在分布式计算环境中，我们通常使用人工智能模型来解决复杂的分析和预测任务，模型训练是一个迭代的过程，包括使用部分数据进行模型训练，评估模型的性能，然后调整模型参数或更换模型架构以优化性能。
现有的分布式计算存储方法无法根据计算任务的数据类型与计算类型为其分配合适的计算节点，导致计算节点的计算任务处理逻辑杂乱无章，影响整体的计算任务处理效率。
针对上述技术问题，本申请提出一种解决方案。
发明内容
本发明的目的在于提供一种基于云计算在线服务算力优化方法和装置，用于解决现有技术中无法根据计算任务的数据类型与计算类型为其分配合适的计算节点的问题；
本发明需要解决的技术问题为：如何提供一种可以根据计算任务的数据类型与计算类型为其分配合适的计算节点的基于云计算在线服务算力优化方法和装置。
本发明的目的可以通过以下技术方案实现：
一种基于云计算在线服务算力优化装置，其特征在于，包括服务器，所述服务器通信连接有计算集群、存储模块、计算分配模块以及算力分析模块；
所述计算集群包括若干个计算节点，所述存储模块包括若干个存储节点；
所述计算分配模块用于对计算节点进行计算任务分配：将计算任务分解为若干个子任务，随机选取一个子任务并标记为分配对象，随机选取一个计算节点并标记为匹配对象，将分配对象与匹配对象进行匹配，同时获取分配对象的数据特征，分配对象的数据特征包括分配对象的数据类型与计算类型，由分配对象的数据特征构成匹配对象的特征集合；然后随机选取下一个子任务作为分配对象，计算分析对象与已标记的匹配对象的重合系数CH，通过重合系数CH对分析对象与已标记的匹配对象之间是否具有匹配特征进行判定；然后再次选取下一个子任务并标记为分配对象，以此类推，直至所有计算节点全部被标记为匹配对象；
所述算力分析模块用于对计算节点的算力状态进行监测分析。
作为本发明的一种优选实施方式，重合系数CH的获取过程包括：获取分配对象与匹配对象的数据重合度SC与计算重合度JC；通过公式CH=α1*SC+α2*JC得到分配对象与匹配对象的重合系数CH，其中α1与α2均为比例系数，且α1＞α2＞1；通过重合系数CH对分配对象的匹配对象进行标记。
作为本发明的一种优选实施方式，数据重合度SC的获取过程包括：将分配对象中与匹配对象特征集合中的数据类型相重合的数据类型数量标记为数据重合值，将数据重合值与匹配对象特征集合中的数据类型的数量比值标记为数据重合度SC；计算重合度JC的获取过程包括：将分配对象中与匹配对象特征集合中的计算类型相重合的计算类型数量标记为计算重合值，将计算重合值与匹配对象特征集合中的计算类型的数量比值标记为计算重合度JC。
作为本发明的一种优选实施方式，对分配对象的匹配对象进行标记的过程包括：通过存储模块获取到重合阈值CHmin，将重合系数CH与重合阈值CHmin进行比较：若重合系数CH小于重合阈值CHmin，则判定分配对象与当前匹配对象不具有匹配特征，随机选取一个计算节点并标记为新的匹配对象，将新的匹配对象与分配对象进行匹配，并由分配对象的数据特征构成新的匹配对象的特征集合；若重合系数CH大于等于重合阈值CHmin，则判定分配对象与当前匹配对象具有匹配特征，将分配对象与当前匹配对象进行匹配，并根据分配对象的数据特征对当前匹配对象的特征集合进行更新。
作为本发明的一种优选实施方式，算力分析模块用于对计算节点的算力状态进行监测分析的具体过程包括：在分配对象与所有匹配对象均不具有匹配特征且所有计算节点全部被标记为匹配对象时，获取匹配对象的数类数据SL、计类数据JL以及处理数据CL；通过对数类数据SL、计类数据JL以及处理数据CL进行数值计算得到匹配对象的优先系数YX；通过存储模块获取到优先阈值YXmax，将匹配对象的优先系数YX与优先阈值YXmax进行比较并通过比较结果将匹配对象标记为封固对象或扩展对象。
作为本发明的一种优选实施方式，数类数据SL为匹配对象特征集合中数据类型的数量值，计类数据JL为匹配对象特征集合中计算类型的数量值，处理数据CL为匹配对象未处理计算任务的数据包内存值。
作为本发明的一种优选实施方式，将匹配对象的优先系数YX与优先阈值YXmax进行比较的具体过程包括：若优先系数YX小于优先阈值YXmax，则将对应匹配对象标记为扩展对象；若优先系数YX大于等于优先阈值YXmax，则将对应匹配对象标记为封固对象，在下一次出现分配对象与所有匹配对象均不具有匹配特征之前，不再为封固对象分配子任务；将优先系数YX数值最小的扩展对象与当前分配对象进行匹配，并根据当前分配对象的数据特征对扩展对象的特征集合进行更新；在所有计算节点完成计算任务之后，将计算节点的计算数据发送至存储节点中进行存储。
一种基于云计算在线服务算力优化方法，包括以下步骤：
步骤一：对计算节点进行计算任务分配：将计算任务分解为若干个子任务，随机选取一个子任务并标记为分配对象，随机选取一个计算节点并标记为匹配对象，将分配对象与匹配对象进行匹配，由分配对象的数据特征构成匹配对象的特征集合；
步骤二：下一个子任务作为分配对象时，获取分配对象与匹配对象的数据重合度SC与计算重合度JC并进行数值计算得到重合系数CH，通过重合系数对分配对象与匹配对象是否具有重合特征进行判定；
步骤三：在分配对象与所有匹配对象均不具有匹配特征且所有计算节点全部被标记为匹配对象时，获取匹配对象的数类数据SL、计类数据JL以及处理数据CL并进行数值计算得到匹配对象的优先系数YX；
步骤四：通过优先系数YX将匹配对象标记为扩展对象或封固对象，将优先系数YX数值最小的扩展对象与当前分配对象进行匹配，并根据当前分配对象的数据特征对扩展对象的特征集合进行更新。
作为本发明的一种优选实施方式，在步骤四中，将匹配对象标记为封固对象时，在下一次出现分配对象与所有匹配对象均不具有匹配特征之前，不再为封固对象分配子任务。
本发明具备下述有益效果：
通过计算分配模块可以对计算节点进行计算任务分配，将计算任务进行分解之后，通过子任务的数据特征与匹配对象的数据重合度与计算重合度进行计算节点分配，使计算节点中分配的子任务在数据特征与计算特征上均具有一定关联性，提高计算节点的计算逻辑统一性，进而提高计算任务处理效率；
通过算力分析模块可以对计算节点的算力状态进行监测分析，对匹配对象的各项算力状态参数进行综合分析得到优先系数，通过优先系数对计算节点的匹配优先级进行反馈，从而在所有匹配对象全部不满足分配对象的匹配要求时，将当前算力状态最优的匹配对象与分配对象进行匹配，提高整体计算网络的运行均衡性；
通过运行系数对匹配对象进行不同标记，匹配对象被标记为封固对象时，即不再对封固对象进行子任务分配，避免封固对象因处理任务量过高而出现崩溃现象，在保障整体计算任务处理效率的同时避免个体节点出现运行故障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一的系统框图；
图2为本发明实施例二的方法流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一，如图1所示，一种基于云计算在线服务算力装置，包括服务器，服务器通信连接有计算集群、存储模块、计算分配模块以及算力分析模块。
计算集群包括若干个计算节点，存储模块包括若干个存储节点。
计算分配模块用于对计算节点进行计算任务分配：将计算任务分解为若干个子任务，随机选取一个子任务并标记为分配对象，随机选取一个计算节点并标记为匹配对象，将分配对象与匹配对象进行匹配，同时获取分配对象的数据特征，分配对象的数据特征包括分配对象的数据类型与计算类型，由分配对象的数据特征构成匹配对象的特征集合；然后随机选取下一个子任务作为分配对象，获取分配对象与匹配对象的数据重合度SC与计算重合度JC，数据重合度SC的获取过程包括：将分配对象中与匹配对象特征集合中的数据类型相重合的数据类型数量标记为数据重合值，将数据重合值与匹配对象特征集合中的数据类型的数量比值标记为数据重合度SC；计算重合度JC的获取过程包括：将分配对象中与匹配对象特征集合中的计算类型相重合的计算类型数量标记为计算重合值，将计算重合值与匹配对象特征集合中的计算类型的数量比值标记为计算重合度JC；通过公式CH=α1*SC+α2*JC得到分配对象与匹配对象的重合系数CH，其中α1与α2均为比例系数，且α1＞α2＞1；通过存储模块获取到重合阈值CHmin，将重合系数CH与重合阈值CHmin进行比较：若重合系数CH小于重合阈值CHmin，则判定分配对象与当前匹配对象不具有匹配特征，随机选取一个计算节点并标记为新的匹配对象（在匹配对象的数量不止一个时，首先比对分配对象与所有匹配对象的重合系数CH，存在分配对象与匹配对象具有匹配特征时，将重合系数CH最大的匹配对象与分配对象进行匹配，分配对象与所有匹配对象均不具有匹配特征时，再选取新的计算节点作为新的匹配对象），将新的匹配对象与分配对象进行匹配，并由分配对象的数据特征构成新的匹配对象的特征集合；若重合系数CH大于等于重合阈值CHmin，则判定分配对象与当前匹配对象具有匹配特征，将分配对象与当前匹配对象进行匹配，并根据分配对象的数据特征对当前匹配对象的特征集合进行更新；然后再次选取下一个子任务并标记为分配对象，以此类推，直至所有计算节点全部被标记为匹配对象；对计算节点进行计算任务分配，将计算任务进行分解之后，通过子任务的数据特征与匹配对象的数据重合度与计算重合度进行计算节点分配，使计算节点中分配的子任务在数据特征与计算特征上均具有一定关联性，提高计算节点的计算逻辑统一性，进而提高计算任务处理效率。
算力分析模块用于对计算节点的算力状态进行监测分析：在分配对象与所有匹配对象均不具有匹配特征且所有计算节点全部被标记为匹配对象时，获取匹配对象的数类数据SL、计类数据JL以及处理数据CL；数类数据SL为匹配对象特征集合中数据类型的数量值，计类数据JL为匹配对象特征集合中计算类型的数量值，处理数据CL为匹配对象未处理计算任务的数据包内存值；通过公式YX=β1*SL+β2*JL+β3*CL得到匹配对象的优先系数YX，其中β1、β2以及β3均为比例系数，且β1＞β2＞β3＞1；对计算节点的算力状态进行监测分析，对匹配对象的各项算力状态参数进行综合分析得到优先系数，通过优先系数对计算节点的匹配优先级进行反馈，从而在所有匹配对象全部不满足分配对象的匹配要求时，将当前算力状态最优的匹配对象与分配对象进行匹配，提高整体计算网络的运行均衡性；通过存储模块获取到优先阈值YXmax，将匹配对象的优先系数YX与优先阈值YXmax进行比较：若优先系数YX小于优先阈值YXmax，则将对应匹配对象标记为扩展对象；若优先系数YX大于等于优先阈值YXmax，则将对应匹配对象标记为封固对象，在下一次出现分配对象与所有匹配对象均不具有匹配特征之前，不再为封固对象分配子任务；将优先系数YX数值最小的扩展对象与当前分配对象进行匹配，并根据当前分配对象的数据特征对扩展对象的特征集合进行更新；在所有计算节点完成计算任务之后，将计算节点的计算数据发送至存储节点中进行存储；对匹配对象进行不同标记，匹配对象被标记为封固对象时，即不再对封固对象进行子任务分配，避免封固对象因处理任务量过高而出现崩溃现象，在保障整体计算任务处理效率的同时避免个体节点出现运行故障。
实施例二，如图2所示，一种基于云计算在线服务算力优化方法，包括以下步骤：
步骤一：对计算节点进行计算任务分配：将计算任务分解为若干个子任务，随机选取一个子任务并标记为分配对象，随机选取一个计算节点并标记为匹配对象，将分配对象与匹配对象进行匹配，由分配对象的数据特征构成匹配对象的特征集合；
步骤二：下一个子任务作为分配对象时，获取分配对象与匹配对象的数据重合度SC与计算重合度JC并进行数值计算得到重合系数CH，通过重合系数对分配对象与匹配对象是否具有重合特征进行判定；
步骤三：在分配对象与所有匹配对象均不具有匹配特征且所有计算节点全部被标记为匹配对象时，获取匹配对象的数类数据SL、计类数据JL以及处理数据CL并进行数值计算得到匹配对象的优先系数YX；
步骤四：通过优先系数YX将匹配对象标记为扩展对象或封固对象，将优先系数YX数值最小的扩展对象与当前分配对象进行匹配，并根据当前分配对象的数据特征对扩展对象的特征集合进行更新。
基于云计算在线服务算力优化方法和装置，工作时，将计算任务分解为若干个子任务，随机选取一个子任务并标记为分配对象，随机选取一个计算节点并标记为匹配对象，将分配对象与匹配对象进行匹配，由分配对象的数据特征构成匹配对象的特征集合；下一个子任务作为分配对象时，获取分配对象与匹配对象的数据重合度SC与计算重合度JC并进行数值计算得到重合系数CH，通过重合系数对分配对象与匹配对象是否具有重合特征进行判定；在分配对象与所有匹配对象均不具有匹配特征且所有计算节点全部被标记为匹配对象时，获取匹配对象的数类数据SL、计类数据JL以及处理数据CL并进行数值计算得到匹配对象的优先系数YX；通过优先系数YX将匹配对象标记为扩展对象或封固对象，将优先系数YX数值最小的扩展对象与当前分配对象进行匹配，并根据当前分配对象的数据特征对扩展对象的特征集合进行更新。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构所定义的范围，均应属于本发明的保护范围。
上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式，公式中的系数是由本领域技术人员根据实际情况进行设置；如：公式YX=β1*SL+β2*JL+β3*CL；由本领域技术人员采集多组样本数据并对每一组样本数据设定对应的优先系数；将设定的优先系数和采集的样本数据代入公式，任意三个公式构成三元一次方程组，将计算得到的系数进行筛选并取均值，得到β1、β2以及β3的取值分别为3.68、2.54和2.17；
系数的大小是为了将各个参数进行量化得到的一个具体的数值，便于后续比较，关于系数的大小，取决于样本数据的多少及本领域技术人员对每一组样本数据初步设定对应的优先系数；只要不影响参数与量化后数值的比例关系即可，如优先系数与数类数据的数值成正比。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。
Claims (5)
1.一种基于云计算在线服务算力优化装置，其特征在于，包括服务器，所述服务器通信连接有计算集群、存储模块、计算分配模块以及算力分析模块；
所述计算集群包括若干个计算节点，所述存储模块包括若干个存储节点；
所述计算分配模块用于对计算节点进行计算任务分配：将计算任务分解为若干个子任务，随机选取一个子任务并标记为分配对象，随机选取一个计算节点并标记为匹配对象，将分配对象与匹配对象进行匹配，同时获取分配对象的数据特征；
分配对象的数据特征包括分配对象的数据类型与计算类型，由分配对象的数据特征构成匹配对象的特征集合；
再随机选取下一个子任务作为分配对象，计算分析对象与已标记的匹配对象的重合系数CH，通过重合系数CH对分析对象与已标记的匹配对象之间是否具有匹配特征进行判定；
然后再次选取下一个子任务并标记为分配对象，以此类推，直至所有计算节点全部被标记为匹配对象；
对分配对象的匹配对象进行标记的过程包括：通过存储模块获取到重合阈值CHmin，将重合系数CH与重合阈值CHmin进行比较：若重合系数CH小于重合阈值CHmin，则判定分配对象与当前匹配对象不具有匹配特征，随机选取一个计算节点并标记为新的匹配对象，将新的匹配对象与分配对象进行匹配，并由分配对象的数据特征构成新的匹配对象的特征集合；
若重合系数CH大于等于重合阈值CHmin，则判定分配对象与当前匹配对象具有匹配特征，将分配对象与当前匹配对象进行匹配，并根据分配对象的数据特征对当前匹配对象的特征集合进行更新；
所述算力分析模块用于对计算节点的算力状态进行监测分析；
算力分析模块用于对计算节点的算力状态进行监测分析的具体过程包括：在分配对象与所有匹配对象均不具有匹配特征且所有计算节点全部被标记为匹配对象时，获取匹配对象的数类数据SL、计类数据JL以及处理数据CL；通过对数类数据SL、计类数据JL以及处理数据CL进行数值计算得到匹配对象的优先系数YX；通过存储模块获取到优先阈值YXmax，将匹配对象的优先系数YX与优先阈值YXmax进行比较并通过比较结果将匹配对象标记为封固对象或扩展对象；
数类数据SL为匹配对象特征集合中数据类型的数量值，计类数据JL为匹配对象特征集合中计算类型的数量值，处理数据CL为匹配对象未处理计算任务的数据包内存值；
将匹配对象的优先系数YX与优先阈值YXmax进行比较的具体过程包括：若优先系数YX小于优先阈值YXmax，则将对应匹配对象标记为扩展对象；若优先系数YX大于等于优先阈值YXmax，则将对应匹配对象标记为封固对象，在下一次出现分配对象与所有匹配对象均不具有匹配特征之前，不再为封固对象分配子任务；将优先系数YX数值最小的扩展对象与当前分配对象进行匹配，并根据当前分配对象的数据特征对扩展对象的特征集合进行更新；在所有计算节点完成计算任务之后，将计算节点的计算数据发送至存储节点中进行存储。
2.根据权利要求1所述的一种基于云计算在线服务算力优化装置，其特征在于，重合系数CH的获取过程包括：获取分配对象与匹配对象的数据重合度SC与计算重合度JC；通过公式CH=α1*SC+α2*JC得到分配对象与匹配对象的重合系数CH，其中α1与α2均为比例系数，且α1＞α2＞1；通过重合系数CH对分配对象的匹配对象进行标记。
3.根据权利要求2所述的一种基于云计算在线服务算力优化装置，其特征在于，数据重合度SC的获取过程包括：将分配对象中与匹配对象特征集合中的数据类型相重合的数据类型数量标记为数据重合值，将数据重合值与匹配对象特征集合中的数据类型的数量比值标记为数据重合度SC；计算重合度JC的获取过程包括：将分配对象中与匹配对象特征集合中的计算类型相重合的计算类型数量标记为计算重合值，将计算重合值与匹配对象特征集合中的计算类型的数量比值标记为计算重合度JC。
4.一种基于云计算在线服务算力优化方法，其特征在于，该方法由上述权利要求3所述的基于云计算在线服务算力优化装置所执行，具体包括以下步骤：
步骤一：对计算节点进行计算任务分配：将计算任务分解为若干个子任务，随机选取一个子任务并标记为分配对象，随机选取一个计算节点并标记为匹配对象，将分配对象与匹配对象进行匹配，由分配对象的数据特征构成匹配对象的特征集合；
步骤二：下一个子任务作为分配对象时，获取分配对象与匹配对象的数据重合度SC与计算重合度JC并进行数值计算得到重合系数CH，通过重合系数对分配对象与匹配对象是否具有重合特征进行判定；
步骤三：在分配对象与所有匹配对象均不具有匹配特征且所有计算节点全部被标记为匹配对象时，获取匹配对象的数类数据SL、计类数据JL以及处理数据CL并进行数值计算得到匹配对象的优先系数YX；
步骤四：通过优先系数YX将匹配对象标记为扩展对象或封固对象，将优先系数YX数值最小的扩展对象与当前分配对象进行匹配，并根据当前分配对象的数据特征对扩展对象的特征集合进行更新。
5.根据权利要求4所述的一种基于云计算在线服务算力优化方法，其特征在于，在步骤四中，将匹配对象标记为封固对象时，在下一次出现分配对象与所有匹配对象均不具有匹配特征之前，不再为封固对象分配子任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410128920.5A CN117667602B (zh) | 2024-01-31 | 2024-01-31 | 一种基于云计算在线服务算力优化方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410128920.5A CN117667602B (zh) | 2024-01-31 | 2024-01-31 | 一种基于云计算在线服务算力优化方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117667602A CN117667602A (zh) | 2024-03-08 |
| CN117667602B true CN117667602B (zh) | 2024-04-26 |
Family
ID=90064444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410128920.5A Active CN117667602B (zh) | 2024-01-31 | 2024-01-31 | 一种基于云计算在线服务算力优化方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117667602B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111400007A (zh) * | 2020-03-13 | 2020-07-10 | 重庆特斯联智慧科技股份有限公司 | 一种基于边缘计算的任务调度方法和系统 |
| CN114265703A (zh) * | 2022-03-02 | 2022-04-01 | 梯度云科技(北京)有限公司 | 云服务器跨区域算力调度方法、系统及设备 |
| WO2023066084A1 (zh) * | 2021-10-22 | 2023-04-27 | 量子科技长三角产业创新中心 | 算力分配方法、装置及算力服务器 |
| CN116049908A (zh) * | 2023-04-03 | 2023-05-02 | 北京数力聚科技有限公司 | 一种基于区块链的多方隐私计算方法及系统 |
| CN116700991A (zh) * | 2023-07-05 | 2023-09-05 | 亚信科技（中国）有限公司 | 基于算力网络的资源池的规划方法、装置、设备及介质 |
| CN117453398A (zh) * | 2023-10-27 | 2024-01-26 | 国网江苏省电力有限公司南通供电分公司 | 一种提高供电可靠性的算力调度的智能优化方法及系统 |
-
2024
- 2024-01-31 CN CN202410128920.5A patent/CN117667602B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111400007A (zh) * | 2020-03-13 | 2020-07-10 | 重庆特斯联智慧科技股份有限公司 | 一种基于边缘计算的任务调度方法和系统 |
| WO2023066084A1 (zh) * | 2021-10-22 | 2023-04-27 | 量子科技长三角产业创新中心 | 算力分配方法、装置及算力服务器 |
| CN114265703A (zh) * | 2022-03-02 | 2022-04-01 | 梯度云科技(北京)有限公司 | 云服务器跨区域算力调度方法、系统及设备 |
| CN116049908A (zh) * | 2023-04-03 | 2023-05-02 | 北京数力聚科技有限公司 | 一种基于区块链的多方隐私计算方法及系统 |
| CN116700991A (zh) * | 2023-07-05 | 2023-09-05 | 亚信科技（中国）有限公司 | 基于算力网络的资源池的规划方法、装置、设备及介质 |
| CN117453398A (zh) * | 2023-10-27 | 2024-01-26 | 国网江苏省电力有限公司南通供电分公司 | 一种提高供电可靠性的算力调度的智能优化方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Computation Resource Allocation and Task Assignment Optimization in Vehicular Fog Computing: A Contract-Matching Approach;Zhenyu Zhou et al.;IEEE Transactions on Vehicular Technology;20190430;第68卷(第4期);第3113-3125页 * |
| 基于边云协同的算力分配机制的研究;王世立;中国优秀硕士学位论文全文数据库 信息科技辑;20231115;第2023卷(第11期);第I139-268页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117667602A (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109993299A (zh) | 数据训练方法及装置、存储介质、电子装置 | |
| CN110489898B (zh) | 一种基于混合认知的动态多层级系统建模与状态预测方法 | |
| WO2023066084A1 (zh) | 算力分配方法、装置及算力服务器 | |
| CN107908536B (zh) | Cpu-gpu异构环境中对gpu应用的性能评估方法及系统 | |
| CN112749221A (zh) | 数据任务调度方法、装置、存储介质及调度工具 | |
| CN107086929B (zh) | 一种基于排队建模的批量流式计算系统性能保障方法 | |
| CN112541584A (zh) | 深度神经网络模型并行模式选择方法 | |
| CN108132840A (zh) | 一种分布式系统中的资源调度方法及装置 | |
| CN116244081B (zh) | 一种多核存算一体加速器网络拓扑结构控制系统 | |
| CN115827256B (zh) | 用于多核存算一体加速器网络的任务传输调度管理系统 | |
| CN110704371A (zh) | 大规模数据管理与数据分发系统及方法 | |
| CN117149410A (zh) | 一种基于ai智能模型训练调度指挥监控系统 | |
| CN117255134B (zh) | 一种基于云边协同的数据传输方法 | |
| CN117667602B (zh) | 一种基于云计算在线服务算力优化方法和装置 | |
| CN113205128A (zh) | 基于无服务器计算的分布式深度学习性能保证方法 | |
| CN106952077A (zh) | 一种工单处理策略的生成方法及装置 | |
| Lößer et al. | Bottlemod: Modeling data flows and tasks for fast bottleneck analysis | |
| CN117389737A (zh) | 一种数字化集成企业价值分析结合算力应用的方法 | |
| WO2022161081A1 (zh) | 集成学习模型的训练方法、装置、系统和相关设备 | |
| CN117033170A (zh) | 测试任务分配方法、装置、设备、存储介质和程序产品 | |
| CN115858126A (zh) | 一种分布式算力资源调配方法、设备及介质 | |
| Du et al. | OctopusKing: A TCT-aware task scheduling on spark platform | |
| CN114327925A (zh) | 一种电力数据实时计算调度优化方法及系统 | |
| CN114220383A (zh) | 任务处理方法、装置和控制设备以及led显示系统 | |
| CN105354298A (zh) | 基于Hadoop的大规模社交网络分析方法及其分析平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |