[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN118012345A - 资源调度方法、装置、电子设备以及存储介质 - Google Patents

资源调度方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN118012345A
CN118012345A CN202410140141.7A CN202410140141A CN118012345A CN 118012345 A CN118012345 A CN 118012345A CN 202410140141 A CN202410140141 A CN 202410140141A CN 118012345 A CN118012345 A CN 118012345A
Authority
CN
China
Prior art keywords
migrated
resource pool
candidate
storage data
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410140141.7A
Other languages
English (en)
Inventor
施望
胡诗羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202410140141.7A priority Critical patent/CN118012345A/zh
Publication of CN118012345A publication Critical patent/CN118012345A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种资源调度方法、装置、电子设备以及存储介质，确定待迁移的存储数据和待迁入的资源池；将待迁移的存储数据和待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与候选存储数据对应的候选资源池；根据候选存储数据对应的原始资源池的容量误差以及候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，目标资源调度方案包括目标存储数据和目标资源池。如此，能够实现根据待迁移的存储数据和待迁入的资源池的存储情况输出不同级别的资源调度方案，并从中获取最优资源调度方案的目的。

Description

资源调度方法、装置、电子设备以及存储介质
技术领域
本申请涉及网络资源调度技术领域，涉及但不限于一种资源调度方法、装置、电子设备以及存储介质。
背景技术
在存储池使用容量达到一定阈值的情况下，存储池的存储性能会变差，对此，一种解决方案是利用存储卷的逻辑卷区间与源存储池的秩区间内的物理偏移位置之间的对应关系，将数据从源存储池的一个或多个秩迁移到目的地存储池的一个或多个秩的方案。然而，该方案仅是从物理偏移位置的角度选择迁移方案，其并未考虑到存储卷和存储池的容量和性能等存储情况。另一种解决方案是基于人工经验判断需要迁移的存储卷和目的地存储池。然而，该方案的迁移效果不理想。
因此，如何根据存储卷和存储池的存储情况确定最优资源调度方案，是急需解决的技术问题。
发明内容
本申请主要提供了一种资源调度方法、装置、电子设备以及存储介质，能够实现根据待迁移的存储数据和待迁入的资源池的存储情况获取最优资源调度方案的目的。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种资源调度方法，所述方法包括：
确定待迁移的存储数据和待迁入的资源池；
将所述待迁移的存储数据和所述待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与所述候选存储数据对应的候选资源池；
根据所述候选存储数据对应的原始资源池的容量误差以及所述候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，所述目标资源调度方案包括目标存储数据和目标资源池。
在一些实施例中，所述确定待迁移的存储数据，包括：
按照第一约束条件从所述原始资源池中确定第一存储数据；
按照第二约束条件确定所述第一存储数据对应的第一约束惩罚值；
根据所述第一约束惩罚值从所述第一存储数据中确定所述待迁移的存储数据。
在一些实施例中，所述确定待迁入的资源池，包括：
按照第三约束条件从所述原始资源池中确定第一资源池；
按照第四约束条件确定所述第一资源池对应的第二约束惩罚值；
根据所述第二约束惩罚值从所述第一资源池中确定所述待迁入的资源池。
在一些实施例中，所述方法还包括：
在不存在所述目标存储数据的情况下，按照第五约束条件从所述原始资源池中重新确定所述第一存储数据，以按照所述第二约束条件从所述第一存储数据中重新确定所述待迁移的存储数据。
在一些实施例中，所述方法还包括：
在不存在所述目标资源池的情况下，按照第六约束条件从所述原始资源池中重新确定所述第一资源池，以按照所述第四约束条件从所述第一资源池中重新确定所述待迁入的资源池。
在一些实施例中，所述目标模型包括调度步数模块和调度时间模块。
在一些实施例中，所述将所述待迁移的存储数据和所述待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案，包括：
将所述待迁移的存储数据和所述待迁入的资源池输入至所述目标模型，基于所述调度步数模块，确定调度步数参数，基于所述调度时间模块，确定调度时间参数；
根据所述调度步数参数和所述调度时间参数确定至少两组不同级别的候选资源调度方案。
本申请实施例提供了一种资源调度装置，所述资源调度装置包括：
确定单元，用于确定待迁移的存储数据和待迁入的资源池；将所述待迁移的存储数据和所述待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与所述候选存储数据对应的候选资源池；根据所述候选存储数据对应的原始资源池的容量误差以及所述候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，所述目标资源调度方案包括目标存储数据和目标资源池。
本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下资源调度方法：
确定待迁移的存储数据和待迁入的资源池；
将所述待迁移的存储数据和所述待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与所述候选存储数据对应的候选资源池；
根据所述候选存储数据对应的原始资源池的容量误差以及所述候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，所述目标资源调度方案包括目标存储数据和目标资源池。
本申请实施例提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如下资源调度方法：
确定待迁移的存储数据和待迁入的资源池；
将所述待迁移的存储数据和所述待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与所述候选存储数据对应的候选资源池；
根据所述候选存储数据对应的原始资源池的容量误差以及所述候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，所述目标资源调度方案包括目标存储数据和目标资源池。
本申请实施例提供一种资源调度方法，确定待迁移的存储数据和待迁入的资源池；将待迁移的存储数据和待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与候选存储数据对应的候选资源池；根据候选存储数据对应的原始资源池的容量误差以及候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，目标资源调度方案包括目标存储数据和目标资源池。如此，能够实现根据待迁移的存储数据和待迁入的资源池的存储情况输出不同级别的资源调度方案，并从中获取最优资源调度方案的目的。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种资源调度方法的流程示意图；
图2为本申请实施例提供的一种资源调度方法的流程示意图；
图3为本申请实施例提供的一种资源调度方法的流程示意图；
图4为本申请实施例提供的一种资源调度方法的求解过程示意图；
图5为本申请实施例提供的一种资源调度方法的流程示意图；
图6为本申请实施例提供的一种资源调度装置的组成结构示意图；
图7为本申请实施例提供的一种电子设备的组成结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
基于相关技术中存在的问题，本申请实施例提供一种资源调度方法，该方法可以由电子设备执行；将待迁移的存储数据和待迁入的资源池输入至目标模型之后，可以确定至少两组不同级别的候选资源调度方案，然后根据候选存储数据对应的原始资源池的容量误差以及候选资源池的容量误差，从上述多组候选资源调度方案中确定目标资源调度方案。这样，能够实现根据待迁移的存储数据和待迁入的资源池的存储情况输出不同级别的资源调度方案，并从中获取最优资源调度方案的目的。
以下实施例以电子设备作为执行主体对本申请实施例提出的资源调度方法进行示例性说明。
图1为本申请实施例提供的一种资源调度方法的流程示意图。如图1所示，资源调度方法具体包括以下步骤：
步骤101：确定待迁移的存储数据和待迁入的资源池。
在本申请的实施例中，电子设备可以确定待迁移的存储数据和待迁入的资源池。
在本申请的实施例中，存储数据用于对存储空间进行确定。
示例性地，在一些实施例中，存储数据可以包括数据卷，即电子设备确定的待迁移的存储数据可以包括待迁移的数据卷。
在本申请的实施例中，待迁移的存储数据可以基于多种约束条件进行确定。具体地，可以按照第一约束条件从原始资源池中确定第一存储数据；按照第二约束条件确定第一存储数据对应的第一约束惩罚值；根据第一约束惩罚值从第一存储数据中确定待迁移的存储数据。
在本申请的实施例中，待迁入的资源池可以基于多种约束条件进行确定。具体地，按照第三约束条件从原始资源池中确定第一资源池；按照第四约束条件确定第一资源池对应的第二约束惩罚值；根据第二约束惩罚值从第一资源池中确定待迁入的资源池。
需要说明的是，第一存储数据对应的第一约束惩罚值可以通过如下公式求解：
式(1)中，n是存储数据的数量；rank(k)是第k个存储数据按照约束条件排序的位置；pk是第k个存储数据的约束惩罚值p。
需要说明的是，第一约束条件可以表征第一应用重要性约束、第一生产重要性约束、第一存储数据IOPS(Input/Output Per Second，单位时间内系统能处理的输入输出请求数量)约束、第一存储数据吞吐约束。
需要说明的是，第二约束条件可以表征存储数据容量约束。
需要说明的是，第三约束条件可以表征第一超卖比约束、第一资源池IOPS约束、第一资源池吞吐约束。
需要说明的是，第四约束条件可以表征资源池容量约束。
需要说明的是，第一约束惩罚值越小，说明存储数据可以优先被调度。
步骤102：将待迁移的存储数据和待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与候选存储数据对应的候选资源池。
在本申请的实施例中，在确定待迁移的存储数据和待迁入的资源池之后，电子设备可以进一步将待迁移的存储数据和待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与候选存储数据对应的候选资源池。
在本申请的实施例中，目标模型包括调度步数模块和调度时间模块。
需要说明的是，目标模型可以采用如下公式表示：
min F＝{f1,f2} (2)
式(2)中，f1是调度步数模块；f2是调度时间模块。
需要说明的是，调度步数模块可以采用如下公式表示：
式(3)中，Vi是待迁移的存储数据的集合，v是待迁移的存储数据；P是待迁入的资源池的集合，j是待迁入的资源池；C是待迁移的资源池中所有存储数据的集合，i是待迁移的资源池中的存储数据；是待迁移的存储数据v从待迁移的资源池迁移到待迁入的资源池的调度方案；/>是待迁移的存储数据v从待迁移的资源池迁移到待迁入的资源池的约束惩罚值。
需要说明的是，调度时间模块可以采用如下公式表示：
式(4)中，Td是相邻两次调度迁移的时间间隔。
可以理解的是，在相邻两次调度迁移的时间间隔越长，待迁移的存储数据越少的情况下，才能获取到候选资源调度方案。
在本申请的实施例中，可以基于遗传算法求解候选资源调度方案。其中，该遗传算法包括但不限于蚁群算法。
在本申请的实施例中，平台的约束级别高于存储系统的约束级别；存储系统的约束级别高于待迁入的资源池的约束级别；待迁入的资源池的约束级别高于待迁移的存储数据的约束级别。需要说明的是，优先级高的约束应该优先被满足。
需要说明的是，本申请的约束条件还可以包括平台约束、存储系统约束。其中，平台的约束包括平台硬约束、平台软约束；存储系统的约束包括存储系统硬约束、存储系统软约束。其中，平台硬约束包括但不限于平台类型约束、平台CPU约束；平台软约束包括平台里的存储数据的容量约束。其中，存储系统硬约束包括但不限于存储系统类型约束、存储系统CPU约束；存储系统软约束包括存储系统里的存储数据的容量约束。
需要说明的是，在平台类型相同、平台的CPU低，且平台里的存储数据的数量低的情况下，该平台才能是待迁入平台；在存储系统类型相同、存储系统的CPU低，且存储系统里的存储数据的数量低的情况下，该存储系统才能是待迁入存储系统。
步骤103：根据候选存储数据对应的原始资源池的容量误差以及候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，目标资源调度方案包括目标存储数据和目标资源池。
在本申请的实施例中，在将待迁移的存储数据和待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与候选存储数据对应的候选资源池之后，电子设备可以进一步根据候选存储数据对应的原始资源池的容量误差以及候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，目标资源调度方案包括目标存储数据和目标资源池。
需要说明的是，原始资源池的容量误差可以表征原始资源池的容量使用率的预测误差。
示例性地，在一些实施例中，原始资源池的容量使用率在未来7天可以达到阈值，但是时序预测模型预测原始资源池的容量使用率在未来7天不能达到阈值，从而造成原始资源池的容量误差。
需要说明的是，候选资源池的容量误差可以表征候选资源池的容量使用率的预测误差。
示例性地，在一些实施例中，候选资源池的容量使用率在未来7天可以达到阈值，但是时序预测模型预测候选资源池的容量使用率在未来7天不能达到阈值，从而造成候选资源池的容量误差。
为了避免候选存储数据对应的原始资源池的容量误差以及候选资源池的容量误差对筛选目标资源调度方案造成影响，可以将原始资源池的容量误差以及候选资源池的容量误差输入聚类算法，从而求解出目标资源调度方案。
在本申请的实施例中，该聚类算法包括但不限于DBSCAN算法(Density-BasedSpatial Clustering of Applications with Noise，基于密度的聚类算法)。
在本申请的实施例中，在不存在目标存储数据的情况下，按照第五约束条件从原始资源池中重新确定第一存储数据，以按照第二约束条件从第一存储数据中重新确定待迁移的存储数据。
需要说明的是，第五约束条件可以表征第二应用重要性约束、第二生产重要性约束、第二存储数据IOPS约束、第二存储数据吞吐约束。
需要说明的是，其中，第二应用重要性约束的约束力度可以小于第一应用重要性约束的约束力度；其中，第二生产重要性约束的约束力度可以小于第一生产重要性约束的约束力度；其中，第二存储数据IOPS约束的约束力度可以小于第一存储数据IOPS约束的约束力度；其中，第二存储数据吞吐约束的约束力度可以小于第一存储数据吞吐约束的约束力度。
在本申请的实施例中，在不存在目标资源池的情况下，按照第六约束条件从原始资源池中重新确定第一资源池，以按照第四约束条件从第一资源池中重新确定待迁入的资源池。
需要说明的是，第六约束条件可以表征第二超卖比约束、第二资源池IOPS约束、第二资源池吞吐约束。
需要说明的是，其中，第二超卖比约束的约束力度可以小于第一超卖比约束的约束力度；其中，第二资源池IOPS约束的约束力度可以小于第一资源池IOPS约束的约束力度；其中，第二资源池吞吐约束的约束力度可以小于第一资源池吞吐约束的约束力度。
在本申请的实施例中，待迁入的资源池的约束级别高于待迁移的存储数据的约束级别。在待迁入的资源池和待迁移的存储数据的约束条件下无法求解出候选资源调度方案情况下，可以仅在待迁入的资源池的约束条件下求解候选资源调度方案，而无需考虑待迁移的存储数据的约束条件。否则，可以仅在待迁移的存储数据的约束条件下求解候选资源调度方案。否则，可以减小待迁移的存储数据的约束条件的约束力度，在此基础上求解出候选资源调度方案。否则，可以减小待迁入的资源池的约束条件的约束力度，在此基础上求解出候选资源调度方案。如此，能够实现根据待迁移的存储数据和待迁入的资源池的存储情况输出不同级别的资源调度方案。
本申请实施例提供的资源调度方法，确定待迁移的存储数据和待迁入的资源池；将待迁移的存储数据和待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与候选存储数据对应的候选资源池；根据候选存储数据对应的原始资源池的容量误差以及候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，目标资源调度方案包括目标存储数据和目标资源池。如此，能够实现根据待迁移的存储数据和待迁入的资源池的存储情况输出不同级别的资源调度方案，并从中获取最优资源调度方案的目的。
进一步地，图2为本申请实施例提供的一种资源调度方法的流程示意图，如图2所示，将待迁移的存储数据和待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案，具体包括以下步骤：
步骤201：将待迁移的存储数据和待迁入的资源池输入至目标模型。
在本申请的实施例中，在确定待迁移的存储数据和待迁入的资源池之后，电子设备可以进一步将待迁移的存储数据和待迁入的资源池输入至目标模型。
需要说明的是，目标模型如上述公式(2)所示。
步骤202：基于调度步数模块，确定调度步数参数。
在本申请的实施例中，在将待迁移的存储数据和待迁入的资源池输入至目标模型之后，电子设备可以进一步基于调度步数模块，确定调度步数参数。
在本申请的实施例中，调度步数参数可以表征待迁移的存储数据的步数。
需要说明的是，调度步数模块如上述公式(3)所示。
步骤203：基于调度时间模块，确定调度时间参数。
在本申请的实施例中，在基于调度步数模块，确定调度步数参数之后，电子设备可以进一步基于调度时间模块，确定调度时间参数。
在本申请的实施例中，调度时间参数可以表征相邻两次调度迁移的时间间隔。
需要说明的是，调度时间模块如上述公式(4)所示。
步骤204：根据调度步数参数和调度时间参数确定至少两组不同级别的候选资源调度方案。
在本申请的实施例中，在基于调度时间模块，确定调度时间参数之后，电子设备可以进一步根据调度步数参数和调度时间参数确定至少两组不同级别的候选资源调度方案。
在本申请的实施例中，待迁入的资源池的约束级别高于待迁移的存储数据的约束级别。
需要说明的是，在待迁入的资源池和待迁移的存储数据的约束条件下无法求解出候选资源调度方案的情况下，可以仅在待迁入的资源池的约束条件下求解候选资源调度方案，而无需考虑待迁移的存储数据的约束条件。否则，可以仅在待迁移的存储数据的约束条件下求解候选资源调度方案。否则，可以减小待迁移的存储数据的约束条件的约束力度，在此基础上求解出候选资源调度方案。否则，可以减小待迁入的资源池的约束条件的约束力度，在此基础上求解出候选资源调度方案。如此，能够实现根据待迁移的存储数据和待迁入的资源池的存储情况输出不同级别的资源调度方案。
本申请实施例提供的资源调度方法，将待迁移的存储数据和待迁入的资源池输入至目标模型，基于调度步数模块，确定调度步数参数，基于调度时间模块，确定调度时间参数；根据调度步数参数和调度时间参数确定至少两组不同级别的候选资源调度方案。如此，能够实现根据待迁移的存储数据和待迁入的资源池的存储情况输出不同级别的资源调度方案。
进一步地，图3为本申请实施例提供的一种资源调度方法的流程示意图，如图3所示，资源调度方法具体包括以下几个部分：
(1)存储池(原始资源池)容量预测。
需要说明的是，可以采用时序预测模型(分段线性回归模型)对存储池的容量使用率进行实时预测。示例性地，采用时序预测模型预测存储池的容量使用率在未来N(假设N＝7)天是否达到阈值T(假设T＝80％)。若达到阈值，选择待迁移存储池，否则，结束流程。
(2)选择待迁移存储卷(待迁移的存储数据)、目标存储池(待迁入的资源池)。
需要说明的是，基于硬约束条件(第一约束条件)和软约束条件(第二约束条件)从待迁移存储池中选择待迁移存储卷(待迁移的存储数据)。
需要说明的是，硬约束条件包括但不限于第一应用重要性约束、第一生产重要性约束、第一存储数据IOPS约束、第一存储数据吞吐约束。
示例性地，在一些实施例中，如第一应用重要性约束，满足第一应用重要性约束的存储卷，即非重要应用的存储卷是需要被迁移的。
需要说明的是，软约束条件可以是存储卷容量约束(存储数据容量约束)。
示例性地，在一些实施例中，满足存储卷容量约束的存储卷，即容量大的存储卷是需要被迁移的。在本申请的实施例中，通过约束惩罚函数对满足存储卷容量约束的存储卷进行小惩罚，而对不满足存储卷容量约束的存储卷进行大惩罚。
需要说明的是，约束惩罚函数包括但不限于：线性罚函数、倒数罚函数、对数罚函数等。其中，约束惩罚函数如上述公式(1)所示。示例性地，在一些实施例中，假设有100个存储卷，对满足存储卷容量约束的存储卷依据容量大小进行排序，排序越靠前的存储卷容量越大，其对应的约束惩罚越小，即排序为v1,v2,...,v100，则存储卷v5的约束惩罚为0.025。
需要说明的是，基于硬约束条件(第三约束条件)和软约束条件(第四约束条件)从目标平台下的存储系统中选择目标存储池(待迁入的资源池)。
需要说明的是，硬约束条件包括但不限于第一超卖比约束、第一资源池IOPS约束、第一资源池吞吐约束。
需要说明的是，第四约束条件可以是资源池容量约束。
示例性地，在一些实施例中，满足第一超卖比小于200％，或者满足第一资源池IOPS小于10000、或者满足吞吐小于100的资源池为第一资源池。
需要说明的是，从满足资源池容量约束的第一资源池中选择待迁入的资源池。
(3)构建多目标优化模型(目标模型)。
需要说明的是，多目标优化模型(目标模型)包括调度步数模块和调度时间模块。目标模型如上述公式(2)所示，调度步数模块如上述公式(3)所示，调度时间模块如上述公式(4)所示。
需要说明的是，在相邻两次调度迁移的时间间隔越长，待迁移的存储数据越少的情况下，才能获取到候选资源调度方案。
(4)遗传算法求解。
需要说明的是，可以基于遗传算法求解候选资源调度方案。其中，该遗传算法包括但不限于蚁群算法。
在有解的情况下，可以获得调度方案；否则，进行约束分段求解，获得分段调度方案，最后再基于调度方案，或者基于分段调度方案执行迁移。
在实际应用中，待迁移存储卷的约束条件可能无法满足，或者待迁入的资源池(目标存储池)的约束条件可能无法满足。这样，就无法求得可行解(候选资源调度方案)或者最优解(目标资源调度方案)。
在本申请实施例中，示例性地，在约束条件为迁移后原始存储池(原始资源池)和待迁入的资源池的容量使用率小于80％的情况下，平台、存储系统的硬约束条件无法满足该约束，即无全局可行解，导致无法求得可行解(候选资源调度方案)。对此，可以采用如下两个解决方案，如图4所示的一种资源调度方法的求解过程示意图：
解决方案1：对约束条件进行分级。需要说明的是，按优先级进行排序时，平台硬约束>存储系统硬约束>待迁入的资源池硬约束>待迁移存储卷硬约束。平台软约束>存储系统软约束>待迁入的资源池软约束>待迁移存储卷软约束，需要说明的是，优先级高的约束应该优先被满足。示例性地，平台约束可以为一级约束、存储系统约束可以为二级约束、待迁移存储卷约束可以为k级约束。
示例性地，由于平台硬约束优先级高于存储系统硬约束的优先级，那么，求解待迁入的资源池时只需在满足平台硬约束的条件下即可进行求解。
解决方案2：在所有约束下无法求得可行解(候选资源调度方案)的情况下，可以依次对优先级低的约束进行扩展，即放宽约束力度或者舍去该约束条件。直到求得可行解，输出满足部分约束条件的迁移方案。示例性地，如容量使用率不能低于80％，可以放宽为容量使用率不能低于85％，或者舍去该约束条件。
需要说明的是，上述解决方案1和解决方案2，均可在无法求得可行解(即无全局可行解)的情况下，输出中间调度方案(中间结果)，即可实现约束分级分段求解的目的。
需要说明的是，多目标优化模型(目标模型)可以求得多个解，对此，需要从中选择最优解来执行迁移。具体地：
首先，确定第一误差(候选存储数据对应的原始资源池的容量误差)和第二误差(候选资源池的容量误差)。
其次，将候选资源调度方案、第一误差以及第二误差进行特征编码，获取编码矩阵，以及每个候选资源调度方案的得分。
再者，基于编码矩阵构建聚类算法(DBSCAN算法)，获取多个解。
最后，将多个解聚合成多个具有共性的解的集合，对每个解集合的平均得分进行排序，推荐得分最高的解集合中的调度方案(目标资源调度方案)。
示例性地，如图5所示的一种资源调度方法的流程示意图，具体包括以下步骤：
步骤401：对原始存储池的容量使用率进行预测，在容量使用率达到阈值的情况下，确定待迁移的数据卷和待迁入的存储池。
需要说明的是，待迁移的数据卷是一种待迁移的存储数据。其中，待迁移的数据卷用于对存储空间进行确定。
需要说明的是，可以采用时序预测模型(分段线性回归模型)对原始存储池的容量使用率进行实时预测。
需要说明的是，基于硬约束条件(第一约束条件)和软约束条件(第二约束条件)从满足容量使用率阈值的原始存储池中选择待迁移的数据卷(待迁移的存储数据)。
需要说明的是，硬约束条件包括但不限于第一应用重要性约束、第一生产重要性约束、第一存储数据IOPS约束、第一存储数据吞吐约束。
示例性地，在一些实施例中，如第一应用重要性约束，满足第一应用重要性约束的存储卷，即非重要应用的存储卷是需要被迁移的。
需要说明的是，软约束条件可以是数据卷容量约束(存储数据容量约束)。
示例性地，在一些实施例中，满足存储卷容量约束的存储卷，即容量大的存储卷是需要被迁移的。在本申请的实施例中，通过约束惩罚函数对满足存储卷容量约束的存储卷进行小惩罚，而对不满足存储卷容量约束的存储卷进行大惩罚。
需要说明的是，约束惩罚函数包括但不限于：线性罚函数、倒数罚函数、对数罚函数等。其中，约束惩罚函数如上述公式(1)所示。
需要说明的是，基于硬约束条件(第三约束条件)和软约束条件(第四约束条件)从目标平台下的存储系统中选择待迁入的存储池(待迁入的资源池)。
需要说明的是，硬约束条件包括但不限于第一超卖比约束、第一资源池IOPS约束、第一资源池吞吐约束。
需要说明的是，第四约束条件可以是存储池容量约束。
步骤402：将待迁移的数据卷和待迁入的存储池输入至多目标优化模型进行求解。
需要说明的是，多目标优化模型包括调度步数模块和调度时间模块。目标模型如上述公式(2)所示，调度步数模块如上述公式(3)所示，调度时间模块如上述公式(4)所示。
步骤403：判断是否有解；在有解的情况下，执行步骤404，否则执行步骤405。
步骤404：获取多个调度方案1，并基于聚类算法从多个调度方案1中确定出目标调度方案。
需要说明的是，可以基于遗传算法求解资源调度方案。其中，该遗传算法包括但不限于蚁群算法。
步骤405：对待迁移的数据卷和待迁入的存储池的约束条件进行分级或者调整，获取多个调度方案2，并基于聚类算法从多个调度方案2中确定出目标调度方案。
需要说明的是，在实际应用中，待迁移的数据卷的约束条件可能无法满足，或者待迁入的存储池的约束条件可能无法满足。这样，就无法求得可行解或者最优解。
示例性地，在约束条件为迁移后原始存储池和待迁入的存储池的容量使用率小于80％的情况下，平台、存储系统的硬约束条件无法满足该约束，即无全局可行解，导致无法求得可行解。对此，可以采用如下两个解决方案：
解决方案1：对约束条件进行分级。需要说明的是，按优先级进行排序时，平台硬约束>存储系统硬约束>待迁入的存储池硬约束>待迁移的数据卷硬约束。平台软约束>存储系统软约束>待迁入的存储池软约束>待迁移的数据卷软约束，需要说明的是，优先级高的约束应该优先被满足。示例性地，平台约束可以为一级约束、存储系统约束可以为二级约束、待迁移的数据卷约束可以为k级约束。
示例性地，由于平台硬约束优先级高于存储系统硬约束的优先级，那么，求解待迁入的资源池时只需在满足平台硬约束的条件下即可进行求解。
解决方案2：在所有约束下无法求得可行解(候选资源调度方案)的情况下，可以依次对优先级低的约束进行调整，即放宽约束力度或者舍去该约束条件。直到求得可行解，输出满足部分约束条件的迁移方案。示例性地，如容量使用率不能低于80％，可以放宽为容量使用率不能低于85％，或者舍去该约束条件。
需要说明的是，上述解决方案1和解决方案2，均可在无法求得可行解(即无全局可行解)的情况下，输出中间调度方案(中间结果)，即可实现约束分级分段求解的目的。
步骤406：基于目标调度方案执行迁移。
需要说明的是，多目标优化模型(目标模型)可以求得多个解，对此，需要从中选择最优解来执行迁移。具体地：
首先，确定第一误差(候选存储数据对应的原始资源池的容量误差)和第二误差(候选资源池的容量误差)。
其次，将候选资源调度方案、第一误差以及第二误差进行特征编码，获取编码矩阵，以及每个候选资源调度方案的得分。
再者，基于编码矩阵构建聚类算法(DBSCAN算法)，获取多个解。
最后，将多个解聚合成多个具有共性的解的集合，对每个解集合的平均得分进行排序，推荐得分最高的解集合中的目标调度方案(目标资源调度方案)。
本申请实施例提供了一种资源调度方法，一方面，可以基于预测算法(时序预测模型)来监控原始存储池的使用量，由此触发调度动作，相比阈值模型具有更高的时效性，即在原始存储池的使用量达到瓶颈之前完成迁移。
另一方面，可以根据存储池和数据卷的存储情况输出不同级别的调度方案和中间调度过程，在无法求出可行解的情况下依旧可输出可行的调度方案，给出调度求解的中间过程，辅助实际的调度实施。
再一方面，可以有效解决多目标优化存在多个解的问题，设计的最终解推荐框架不仅可以节省调度成本，还具有较高的可行性。
又一方面，在调度动作的触发和调度方案的求解中都采用了预测算法，求解出的调度方案更具有指导性。
本申请实施例提供了一种资源调度装置的组成结构示意图。如图6所示，该资源调度装置50包括：确定单元501。
确定单元501，用于确定待迁移的存储数据和待迁入的资源池；将待迁移的存储数据和待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与候选存储数据对应的候选资源池；根据候选存储数据对应的原始资源池的容量误差以及候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，目标资源调度方案包括目标存储数据和目标资源池。
本申请实施例还提供了一种电子设备的组成结构示意图，如图7所示，本申请实施例提出的电子设备60可以包括处理器61、配置为存储能够在处理器上运行的计算机程序的存储器62，进一步地，电子设备60还可以包括通信接口63，和用于连接处理器61、存储器62以及通信接口63的总线64。
在本申请的实施例中，上述处理器61可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
在本申请的实施例中，存储器62，用于存储指令和数据。存储器62可以与处理器61连接，其中，存储器62用于存储可执行程序代码，该程序代码包括计算机操作指令。
在本申请的实施例中，总线64用于连接通信接口63、处理器61以及存储器62以及这些器件之间的相互通信。
进一步地，在本申请的实施例中，上述处理器61，用于确定待迁移的存储数据和待迁入的资源池；将待迁移的存储数据和待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与候选存储数据对应的候选资源池；根据候选存储数据对应的原始资源池的容量误差以及候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，目标资源调度方案包括目标存储数据和目标资源池。
在实际应用中，上述存储器62可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器61提供指令和数据。
本申请实施例提供了一种资源调度装置和电子设备，该电子设备确定待迁移的存储数据和待迁入的资源池；将待迁移的存储数据和待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与候选存储数据对应的候选资源池；根据候选存储数据对应的原始资源池的容量误差以及候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，目标资源调度方案包括目标存储数据和目标资源池。如此，能够实现根据待迁移的存储数据和待迁入的资源池的存储情况输出不同级别的资源调度方案，并从中获取最优资源调度方案的目的。
本申请实施例还提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的资源调度方法。
具体来讲，本实施例中的一种资源调度方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种资源调度方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
确定待迁移的存储数据和待迁入的资源池；
将所述待迁移的存储数据和所述待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与所述候选存储数据对应的候选资源池；
根据所述候选存储数据对应的原始资源池的容量误差以及所述候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，所述目标资源调度方案包括目标存储数据和目标资源池。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (10)

1.一种资源调度方法，所述方法包括：
确定待迁移的存储数据和待迁入的资源池；
将所述待迁移的存储数据和所述待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与所述候选存储数据对应的候选资源池；
根据所述候选存储数据对应的原始资源池的容量误差以及所述候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，所述目标资源调度方案包括目标存储数据和目标资源池。
2.根据权利要求1所述的方法，所述确定待迁移的存储数据，包括：
按照第一约束条件从所述原始资源池中确定第一存储数据；
按照第二约束条件确定所述第一存储数据对应的第一约束惩罚值；
根据所述第一约束惩罚值从所述第一存储数据中确定所述待迁移的存储数据。
3.根据权利要求2所述的方法，所述确定待迁入的资源池，包括：
按照第三约束条件从所述原始资源池中确定第一资源池；
按照第四约束条件确定所述第一资源池对应的第二约束惩罚值；
根据所述第二约束惩罚值从所述第一资源池中确定所述待迁入的资源池。
4.根据权利要求3所述的方法，所述方法还包括：
在不存在所述目标存储数据的情况下，按照第五约束条件从所述原始资源池中重新确定所述第一存储数据，以按照所述第二约束条件从所述第一存储数据中重新确定所述待迁移的存储数据。
5.根据权利要求4所述的方法，所述方法还包括：
在不存在所述目标资源池的情况下，按照第六约束条件从所述原始资源池中重新确定所述第一资源池，以按照所述第四约束条件从所述第一资源池中重新确定所述待迁入的资源池。
6.根据权利要求1至5中的任一项所述的方法，所述目标模型包括调度步数模块和调度时间模块。
7.根据权利要求6所述的方法，所述将所述待迁移的存储数据和所述待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案，包括：
将所述待迁移的存储数据和所述待迁入的资源池输入至所述目标模型；
基于所述调度步数模块，确定调度步数参数；
基于所述调度时间模块，确定调度时间参数；
根据所述调度步数参数和所述调度时间参数确定至少两组不同级别的候选资源调度方案。
8.一种资源调度装置，所述资源调度装置包括：
确定单元，用于确定待迁移的存储数据和待迁入的资源池；将所述待迁移的存储数据和所述待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与所述候选存储数据对应的候选资源池；根据所述候选存储数据对应的原始资源池的容量误差以及所述候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，所述目标资源调度方案包括目标存储数据和目标资源池。
9.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下资源调度方法：
确定待迁移的存储数据和待迁入的资源池；
将所述待迁移的存储数据和所述待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与所述候选存储数据对应的候选资源池；
根据所述候选存储数据对应的原始资源池的容量误差以及所述候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，所述目标资源调度方案包括目标存储数据和目标资源池。
10.一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如下资源调度方法：
确定待迁移的存储数据和待迁入的资源池；
将所述待迁移的存储数据和所述待迁入的资源池输入至目标模型，确定至少两组不同级别的候选资源调度方案；其中，每一组候选资源调度方案包括候选存储数据和与所述候选存储数据对应的候选资源池；
根据所述候选存储数据对应的原始资源池的容量误差以及所述候选资源池的容量误差，从多组候选资源调度方案中确定目标资源调度方案；其中，所述目标资源调度方案包括目标存储数据和目标资源池。
CN202410140141.7A 2024-01-31 2024-01-31 资源调度方法、装置、电子设备以及存储介质 Pending CN118012345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410140141.7A CN118012345A (zh) 2024-01-31 2024-01-31 资源调度方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410140141.7A CN118012345A (zh) 2024-01-31 2024-01-31 资源调度方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN118012345A true CN118012345A (zh) 2024-05-10

Family

ID=90955550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410140141.7A Pending CN118012345A (zh) 2024-01-31 2024-01-31 资源调度方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN118012345A (zh)

Similar Documents

Publication Publication Date Title
US10915816B2 (en) System and method of executing neural networks
CN110597616B (zh) 一种神经网络的内存分配方法及装置
CN113326126B (zh) 任务处理方法、任务调度方法、装置及计算机设备
JP7372347B2 (ja) データ圧縮方法およびコンピューティングデバイス
CN111104222A (zh) 任务处理方法、装置、计算机设备和存储介质
CN114915630B (zh) 基于物联网设备的任务分配方法、网络训练方法及装置
CN110928576A (zh) 一种卷积神经网络的卷积处理方法、装置及存储介质
CN113037800A (zh) 作业调度方法以及作业调度装置
US10789400B2 (en) Scheduling simultaneous optimization of multiple very-large-scale-integration designs
CN117453123A (zh) 一种基于强化学习的数据分类存储方法及其设备
CN112148471A (zh) 分布式计算系统中资源调度的方法和装置
CN118012345A (zh) 资源调度方法、装置、电子设备以及存储介质
CN117687774A (zh) 用于算力调度的任务模型训练方法及算力调度方法和系统
US20140214734A1 (en) Classifying a submission
CN116562364A (zh) 基于知识蒸馏的深度学习模型协同推演方法、装置及设备
CN105528303A (zh) 用于管理存储系统的方法和装置
CN114969148A (zh) 一种基于深度学习的系统访问量预测方法、介质和设备
CN116360961A (zh) 基于多线程的内存分配方法及装置
CN116848536A (zh) 自动时间序列预测管线排序
CN111178529B (zh) 数据处理方法、装置、电子设备及可读存储介质
CN118245227B (zh) 一种基于时间窗内决策树的计算集群任务调度与负载均衡方法
EP4310731A1 (en) Electronic device and controlling method of electronic device
CN117806837B (zh) 一种硬盘任务管理方法、装置、存储介质及系统
CN114465957B (zh) 一种数据写入方法及装置
CN117666971B (zh) 一种工业领域的数据存储方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination