[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN115048060B - 一种存储管理方法、装置、电子设备及存储介质 - Google Patents

一种存储管理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115048060B
CN115048060B CN202210772933.7A CN202210772933A CN115048060B CN 115048060 B CN115048060 B CN 115048060B CN 202210772933 A CN202210772933 A CN 202210772933A CN 115048060 B CN115048060 B CN 115048060B
Authority
CN
China
Prior art keywords
storage
interface
pvc
global
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210772933.7A
Other languages
English (en)
Other versions
CN115048060A (zh
Inventor
何珊
邓凯
乔爽爽
施恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210772933.7A priority Critical patent/CN115048060B/zh
Publication of CN115048060A publication Critical patent/CN115048060A/zh
Application granted granted Critical
Publication of CN115048060B publication Critical patent/CN115048060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45579—I/O management, e.g. providing access to device drivers or storage

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种存储管理方法、装置、电子设备及存储介质，涉及人工智能技术领域，尤其涉及云计算、云原生、容器技术等领域。具体实现方案为：采用统一的数据访问接口，接收多个上层业务应用发起的第一资源请求；响应多个上层业务应用发起的第一资源请求，采用全局唯一访问路径接入多个底层存储资源；采用统一的数据访问接口，将多个底层存储资源提供给多个上层业务应用。采用本公开，可以实现统一的存储管理。

Description

一种存储管理方法、装置、电子设备及存储介质
技术领域
本公开涉及人工智能技术领域，尤其涉及云计算、云原生、容器技术等领域，具体涉及一种存储管理方法、装置、电子设备及存储介质。
背景技术
云原生是一种在云环境中构建和运行应用程序的方法，在实际应用中，可以通过容器、容器编排、微服务等云原生技术来构建容错性好、便于管理和便于观察的云原生应用。
在集群环境(如k8s/k3s集群环境)中可以使用自动化容器编排引擎，以向下屏蔽底层存储架构的差异性，以及向上支撑各种上层业务应用。然而，目前无法满足对底层存储架构统一存储管理的应用需求。
发明内容
本公开提供了一种存储管理方法、装置、电子设备以及存储介质。
根据本公开的一方面，提供了一种存储管理方法，包括：
采用统一的数据访问接口，接收多个上层业务应用发起的第一资源请求；
响应所述多个上层业务应用发起的第一资源请求，采用全局唯一访问路径接入多个底层存储资源；
采用所述统一的数据访问接口，将所述多个底层存储资源提供给所述多个上层业务应用。
根据本公开的另一方面，提供了一种存储管理装置，包括：
接收模块，用于采用统一的数据访问接口，接收多个上层业务应用发起的第一资源请求；
响应模块，用于响应所述多个上层业务应用发起的第一资源请求，采用全局唯一访问路径接入多个底层存储资源；
资源提供模块，用于采用所述统一的数据访问接口，将所述多个底层存储资源提供给所述多个上层业务应用。
根据本公开的另一方面，提供了一种电子设备，包括：
多个处理器；以及
与该多个处理器通信连接的存储器；其中，
该存储器存储有可被该多个处理器执行的指令，该指令被该多个处理器执行，以使该多个处理器能够执行本公开任意一实施例所提供的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本公开任意一项实施例所提供的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本公开任意一项实施例所提供的方法。
采用本公开，可以采用统一的数据访问接口，接收多个上层业务应用发起的第一资源请求，响应多个上层业务应用发起的第一资源请求，可以采用全局唯一访问路径接入多个底层存储资源，采用统一的数据访问接口，将多个底层存储资源提供给多个上层业务应用，从而根据统一的数据访问接口及全局唯一访问路径，可以实现统一的存储管理。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的一处理场景的示意图；
图2是根据本公开实施例的存储管理方法的流程示意图；
图3是根据本公开实施例的应用示例中的系统架构图；
图4是根据本公开实施例的应用示例中全局地址空间的示意图；
图5是根据本公开实施例的应用示例中存储卷为单个存储卷情况下PVC与PV间的映射关系示意图；
图6是根据本公开实施例的应用示例中存储卷为全局存储卷情况下PVC与PV间的映射关系示意图；
图7是根据本公开实施例的应用示例中存储卷的创建示意图；
图8是根据本公开实施例的存储管理装置的组成结构示意图；
图9是用来实现本公开实施例的存储管理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
对本申请实施例所涉及到的基本概念进行简单说明。应理解，下文所介绍的基本概念并不对本申请实施例产生限定。
1、云原生：“云(Cloud)”可以指云计算，“原生(Native)可以指应用所处的环境，“云原生”可以理解为一个应用系统借助云计算相关的周边技术，使应用更加适配上该云计算的环境。
2、微服务：可以称为微服务架构，是一种软件架构方式，它可以将应用构建成一系列按业务领域划分的模块的、更小粒度的自治服务。
3、挂载(mount)命令：将磁盘设备挂载到pod宿主机的挂载点。
4、集群环境：集群环境中包括控制节点和计算节点，其中，pod运行于该计算节点上。
5、卷(Volume)：为pod挂载宿主机上的目录或文件。
6、Pod：Pod是在集群环境中创建或部署的最小/最简单的基本单位，一个Pod代表集群上正在运行的一个进程(类似于Linux运行的进程)。Pod提供两种共享资源：网络和存储。每个Pod可以被分配一个独立的IP地址，Pod中的每个容器共享网络命名空间，包括IP地址和网络端口；Pod中的所有容器都可以访问指定的共享存储Volume，允许容器共享数据。Pod存在两种使用方式，在一个Pod中运行一个容器，或者，在一个Pod中同时运行多个容器，多个容器互相协作且共享资源，Pod将这些容器的存储资源作为一个实体来管理。
7、持久卷声明(PersistentVolumeClaim，PVC)：用于申请所需的存储资源，可以描述一个Pod所希望使用的持久化存储的需求，比如多少磁盘，内存大小，读写权限等。PVC与使用它的Pod可以在同一个命名空间(Namespace)中，集群发现Pod命名空间的PVC，会根据PVC得到与该PVC绑定的PV，然后PV被映射到Pod挂载的宿主机中，再提供给Pod使用。
8、持久卷(PersistentVolume，PV)：是集群中一块存储资源，可以由管理员主动创建或使用存储类(StorageClass)动态提供。
需要指出的是，本公开中提及“多个”，指：至少两个，不做赘述。
根据本公开的实施例，图1是根据本公开实施例的一处理场景的示意图，如图1所示，包括如下步骤：
S101、集群管理员创建底层存储资源。
S102、管理员创建PV。
S103、用户创建PVC。
S104、集群找到一个具有足够存储容量的PV，并将其置于访问模式，将PVC通过该映射关系绑定到PV。
S105、用户创建一个Pod，并通过卷配置来引用PVC，从而得到底层的存储资源。
上述处理场景为一个示例，示例性的描述了Pod、PVC及PV之间的对应关系，即在PVC与PV之间建立映射关系，创建PVC和PV后Pod挂载卷时可以选择PVC，以根据PVC与PV之间建立的该映射关系得到PV，从而得到底层存储资源，使Pod可以使用该存储资源来运行上层的业务应用。
根据本公开的实施例，提供了一种存储管理方法，图2是根据本公开实施例的存储管理方法的流程示意图，该方法可以应用于存储管理装置，例如，该装置可以部署于单机、多机或集群系统中的终端或服务器或其它处理设备执行的情况下，可以实现存储管理等等处理。其中，终端可以为用户设备(UE，User Equipment)、移动设备、个人数字处理(PDA，Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图2所示，该方法可以应用于集群系统中的任一节点(如运行于服务器上的存储管理平台)或电子设备(手机或台式机等)中，包括：
S201、采用统一的数据访问接口，接收多个上层业务应用发起的第一资源请求。
S202、响应该多个上层业务应用发起的第一资源请求，采用全局唯一访问路径接入多个底层存储资源。
S203、采用该统一的数据访问接口，将该多个底层存储资源提供给该多个上层业务应用。
S201-S203的一示例中，以运行于服务器上的存储管理平台为例，该存储管理平台可以为访问该存储管理平台的多个上层业务应用提供该统一的数据访问接口(用以实现接口转换)，该存储管理平台还可以为所接入的多个底层存储资源提供该全局唯一访问路径(用以实现地址转换)，通过该存储管理平台，可以在收到多个上层业务应用的第一资源请求(如存储资源请求)后，将所接入的多个底层存储资源提供给多个上层业务应用使用。
采用本公开，可以采用统一的数据访问接口，接收多个上层业务应用发起的第一资源请求，响应多个上层业务应用发起的第一资源请求，可以采用全局唯一访问路径接入多个底层存储资源，采用统一的数据访问接口，将多个底层存储资源提供给多个上层业务应用，从而根据统一的数据访问接口及全局唯一访问路径，可以实现统一的存储管理。
一实施方式中，采用统一的数据访问接口，接收多个上层业务应用发起的第一资源请求，包括：统一的数据访问接口为简单对象存储(Simple Storage Service，S3)接口的情况下，采用该S3接口接收多个上层业务应用发起的第一资源请求。其中，该S3接口可以用于支持分片上传、文件夹下载、统一资源定位符下载中的至少一种服务。
需要指出的是，S3接口是兼容性比较好的接口，采用该S3接口作为统一的数据访问接口，由于无需自定义其他接口，因此，降低了兼容性的适配成本(即采用其他接口需要考虑兼容性适配而额外增加的成本)，相比其他接口，兼容性更好、成本更低，提高了底层存储资源的查询效率。
一示例中，如图3所示的系统架构图中包括：业务应用层301、存储管理平台302、底层存储资源303，对于存储管理平台302上一层级的业务应用层301，当需要调用底层存储资源303时，基于存储管理平台302的提供的统一的数据访问接口以及全局唯一访问路径，用户侧无需关注具体实现细节，通过存储管理平台302对业务应用层301发出的存储资源请求搜索请求进行响应，即可得到业务应用层301所请求的各类底层存储资源303。其中，对于业务应用层301的文件操作而言，提供S3接口的服务，比如使用S3接口进行文件的上传及下载(还可以使用posix接口的服务，也能进行文件的上传及下载)；对于笔记本(Notebook)/训练作业/预测作业/微服务而言，采用容器存储接口(CSI)插件挂载后基于(PortableOperating System Interface of UNIX，posix)规范去访问底层存储资源303。
以机器学习集成的开发环境为bml为例，存储管理平台302可以包括：第一模块(主要用于实现监控和管理存储相关的功能)、第二模块(主要用于实现上传及下载相关的功能)和第三模块(主要用于实现卷加载及动态增删相关的功能)。第一模块可以为bml统一存储服务器(bml-unified-storage-server)，第二模块可以为bml对象存储服务器(bml-object-storage-server)，第三模块可以为bml容器存储接口插件(bml-csi-plugin)。
具体的，该bml-unified-storage-server可以负责存储卷、存储源的管理功能，并且提供存储卷的容量信息、监控指标(metric)、连通性检查等功能；该bml-object-storage-server可以基于S3接口，比如基于支持MinIO访问方式的网关改造后提供基于S3接口的网关服务，主要对外提供所有存储卷的S3访问接口，并且封装了一套适用于bml的上传接口(即上述统一的数据访问接口)；该bml-csi-plugin可以为基于k8s/k3s CSI容器存储集成规范开发的csi插件，比如基于(Portable Operating System Interface of UNIX，posix)规范，定义了操作系统可以为应用程序提供的接口标准。设置该接口标准，是考虑到应用程序实现同一功能，如果采用不同内核进行编码，如，linux、windows等，则提供的操作系统调用接口是不同的，通过posix规范，由于提供了统一的接口标准，基于posix规范设计的应用程序可以在不做修改或仅做极少量的修改就可以进行设备间的移植，该bml-csi-plugin不仅作为挂载工具，可以负责挂载和卸载，还可以实现如存储卷的动态增删、挂载共享等管理功能。
采用本实施方式，该存储管理平台采用该S3接口接收多个上层业务应用发起的第一资源请求后，用户侧无需关心各类底层存储的设计，即可得到所请求的底层资源，实现了统一的存储管理，进而提高了响应速度，用户可以实现对底层存储资源“所请求即所得”，换言之，该存储管理平台可以提供统一的数据访问接口及全局唯一访问路径，从而为上层业务应用层屏蔽底层的存储资源，简化了存储接入流程，降低了存储的运维难度。
一实施方式中，响应多个上层业务应用发起第一资源请求，采用全局唯一访问路径接入多个底层存储资源，包括：从多个上层业务应用发起的第一资源请求中，得到存储相关信息。根据该存储相关信息，确定所请求的多个底层存储资源，采用该全局唯一访问路径接入该多个底层存储资源。
一示例中，该存储管理平台可以为多个底层存储资源(如不同类型的存储卷)配置同一个全局访问路径，并作为该全局唯一访问路径，采用该全局唯一访问路径接入多个底层存储资源。如图4所示，接入到该存储管理平台中的不同类型的存储卷，所采用的该同一个全局访问路径，用于表示位于根目录下的至少一个子目录的地址，其中，该根目录包括：全局挂载路径；该至少一个子目录，包括：多个底层存储资源对应的存储卷标识(ID)，具体的，该同一个全局访问路径可以为：{全局挂载路径前缀}/{存储卷ID}，并且定义了如下各业务模块和各业务Pod使用存储卷路径规则：
·全局统一路径为绝对路径如系统卷绝对路径为：/home/bml/storage/mnt/v-system-volume；
·相对路径为/v-system-volume；
·页面展示/API调用/生成的中间文件等均使用绝对路径；
·数据库存储等持久化除中间文件均使用相对路径；
·Pod挂载均采用绝对路径并指定到最长深度目录；
采用本实施方式，该存储管理平台采用同一个全局访问路径接入不同类型的存储卷，解决了访问路径不统一的问题，该存储管理平台对多个上层业务应用发起的第一资源请求进行响应，用户侧无需关心各类底层存储的设计，即可得到所请求的底层资源，实现了统一的存储管理。
一实施方式中，还包括：根据指定路径，将对应第一资源请求的底层存储资源通过CSI插件进行资源的动态挂载。
其中，该指定路径用于表示位于上述同一个全局访问路径中的上述至少一个子目录指向的底层存储地址。
一些示例中，还包括：根据该至少一个子目录指向的底层存储地址，得到底层存储资源，其中，其中，该至少一个子目录可以根据至少一个下级子目录指向该底层存储地址。
一示例中，该指定路径可以为：{全局挂载路径前缀}/{存储卷ID}->PVC->PV->底层存储地址，以得到对应的底层存储资源。CSI插件可以为上述bml-csi-plugin。
采用本实施方式，可以基于该指定路径，使用该bml-csi-plugin对多个底层存储资源(如不同类型的存储卷)进行存储卷的动态增删，并挂载到对应的Pod上。
一实施方式中，PVC和PV分别为多个，多个PVC与多个PV之间形成多组映射关系，存储卷为单个存储卷的情况下，该单个存储卷可以对应多组映射关系。
一些示例中，PVC与PV之间具备一组映射关系(该映射关系可以为一一对应的映射关系)，多个PVC与多个PV之间具备多组映射关系，在存储卷为单个存储卷的情况下，该单个存储卷对应该多组映射对象，多个PVC的标识相同，则多组映射关系的PVC名称为同一个。
一示例中，如图5所示为单个存储卷情况下的PVC与PV的映射关系，PV与PVC一一对应，存储卷对应了多个PV和PVC，其中，PV是非Namespace资源，而PVC是Namespace资源，存储卷对应的多个PV和PVC均可以使用同名PVC访问存储卷，即：PVC名称固定为bml-{存储卷ID}-pvc，如“bml-volumeA-pvc”。
采用本实施方式，可以更灵活的管理诸如k8s集群的计算资源(如CPU资源和内存资源)，使存储卷的访问不受Namespace的限制，对于上层业务应用层来说，无需感知执行任务对应的Pod具体运行在哪个Namespace下，均可以使用该同名PVC访问存储卷，实现了统一的存储管理。进而，CSI插件可以为上述bml-csi-plugin，通过该bml-csi-plugin进行存储卷的动态增删。
一实施方式中，PVC和PV分别为1个，PVC与PV之间形成一组映射关系，存储卷为全局存储卷的情况下，该全局存储卷对应一组映射关系。
一些示例中，PVC与PV的映射关系之间具备一组映射关系(该映射关系可以为一一对应的映射关系)，在存储卷为全局存储卷的情况下，该全局存储卷对应唯一的一组映射关系。
一示例中，如图6所示为全局存储卷情况下的PVC与PV的映射关系，PV与PVC一一对应，其中，PV是非Namespace资源，而PVC是Namespace资源。考虑到对于微服务而言，需要长期运行的基本服务如存储服务、数据集服务等需要能在不重启微服务的情况下动态访问所有的存储卷(如访问新增加的存储卷)，此时就不能使用上述单个存储卷情况下PVC与PV的映射关系进行存储卷的动态挂载，该全局存储卷对应唯一的映射对象组，即该全局存储卷对应唯一的PV和PVC使用唯一的PVC名称访问存储卷，即：唯一的PVC名称固定为“bml-all-pvc”。
采用本实施方式，可以更灵活的管理诸如k8s集群的计算资源(如CPU资源和内存资源)，使存储卷的访问不受Namespace的限制，对于上层业务应用层来说，无需感知执行任务对应的Pod具体运行在哪个Namespace下，尤其对于微服务而言，可以使用该唯一的PVC名称访问存储卷，如使用“bml-all-pvc”挂载所有存储卷，实现了统一的存储管理。进而，CSI插件可以为上述bml-csi-plugin，通过该bml-csi-plugin进行存储卷的动态增删。
如图7所示为基于上述存储管理平台进行统一存储管理的一应用示例，具体为针对存储卷的创建及访问，包括如下内容：
701、选择存储源，提供访问账号信息和存储目录等信息，提交创建存储卷请求。
比如，可以根据存储源的类型提供访问账号信息和存储目录等信息，提交创建存储卷请求。
702、存储管理平台中的bml-unified-storage-server接受该创建存储卷请求，根据该创建存储卷请求生成存储卷记录，将待办(Pending)状态写入数据库。
703、将Pending状态的存储卷加入到数据库的处理队列中。
比如，将存储卷的状态改为Pending后进入该处理队列，等待异步处理。
704、出队并调用封装方法对存储卷进行初始化。
比如，依次处理Pending状态的存储卷，将Pending状态改为初始化(Initializing)状态，根据存储卷的类型判断存储目录是否存在，如果未存在，则创建对应的存储目录，执行诸如检查访问权限等初始化操作。
705-706、初始完成后写入信息，以将存储卷挂载到对应Pod目录下。
比如，初始化完成之后将存储卷信息写入到配置地图(configmap)中。
707、挂载成功后，存储管理平台中的bml-unified-storage-server访问对应底层存储资源的存储地址。
比如，存储管理平台中的bml-csi-plugin会从configmap中获取存储卷信息，并将存储卷挂载到已经挂载全局存储卷如“bml-all-pvc”的Pod目录下，使存储管理平台中的bml-unified-storage-server通过存储服务可以访问该存储卷。
708、更新存储卷状态为准备(Ready)。
比如，存储管理平台中的bml-unified-storage-server通过存储服务检查到可访问该存储卷后，将存储卷的状态设置为Ready，则存储卷创建完成。
通过上述步骤701-步骤708实现存储卷的创建后，还可以进行针对存储卷的访问，具体的，上层的业务应用层授权可访问存储卷的Namespace，此时，该上层的业务应用层可以调用存储管理平台中的bml-unified-storage-server，并通过提供的存储服务创建PV/PVC接口，从而为该Namespace创建存储卷对应的PV/PVC。使用Pod在对应的节点中使用PVC指定要访问的存储卷，并提交创建Pod请求，对该创建Pod请求进行响应，调用存储管理平台中的bml-csi-plugin所提供的接口，将存储卷挂载到该Pod对应的挂载目录下，挂载完成后启动Pod，即可在该Pod对应的挂载目录下访问到存储卷的内容。
其中，该bml-csi-plugin可以根据存储类型的不同分别调用对应的存储挂载工具来实现挂载，存储挂载工具包括但不限于：支持不同存储类型，如Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)、GNU集群文件系统(GNU ClusterFile System，GlusterFS)、网络附属存储(Network Attached Storage，NAS)、网络文件系统(NetworkFile System，NFS)、开放的SUSE构建服务(OpenSUSE Build Service，OBS)等底层存储资源分别对应的存储挂载工具。该bml-csi-plugin可以利用针对该Namespace的Mount命令的传播性来监控当前节点下的Pod，针对微服务而言，实现了将全局存储卷如“bml-all-pvc”动态挂载到当前节点下的Pod以及从当前节点下的Pod卸载该全局存储卷。
在诸如k8s/k3s等集群环境中，均可通过该存储管理平台提供的各个模块(如bml-unified-storage-server、bml-csi-plugin)实现统一的存储管理，并对外提供了posix挂载和S3接口两种访问方式进程底层存储资源的访问。
相比于相关技术方案一中上层业务应用层的各业务模块需要感知底层存储资源的存储类型、存储地址及访问方式，从而实现自行对接底层存储资源，并且采用不同编程语言实现的各业务模块均需要设置不同的对接逻辑，以及相关技术方案二中封装一个新的文件系统以便对接多种底层存储资源(如Juicefs、Alluxio)，本应用示例实现了统一的存储管理，本应用示例既不需要如相关技术方案一，每当接入新的业务模块都需要重新感知及更新所接入的多种底层存储资源的存储类型，以及重新适配多种业务模块的编程语言或者封装的库，对客户对接该新的文件系统改造成本大，本应用示例也不需要如相关技术方案二，对于Juicefs需要设计新文件系统的数据存储格式，导致存储格式与底层存储资源实际的存储格式不同，不能直接用底层存储资源实现数据共享，对于Alluxio本质是分布式缓存文件系统，虽然保留了原有文件系统的数据存储格式，但是增加了很复杂的缓存管理层，只支持一次性写入，使用场景有限并且运维成本较高。
采用本应用示例的上述存储管理平台，不仅提供了存储源、存储卷的各种管理功能(如容量、状态等信息监等)，而且，支持使用原生的fuse客户端(fuseclient)挂载底层存储资源，无需上层业务应用层的各业务模块感知多个底层存储资源的具体实现细节，通过包括存储卷ID的同一个全局路径即可接入多个底层存储资源，无论是新增的业务模块，还是新增的底层存储资源，借助该存储管理平台都可以随时响应上层业务应用层的访问或随时接入底层的存储资源，通过统一的存在管理降低了运维成本。存储管理平台对外提供的posix以及S3访问接口作为统一的接口规范，能满足绝大数的上层业务场景，场景不有限，更具备场景的通用性。
根据本公开的实施例，提供了一种存储管理装置，图8是根据本公开实施例的存储管理装置的组成结构示意图，如图8所示，存储管理装置包括：接收模块801，用于采用统一的数据访问接口，接收多个上层业务应用发起的第一资源请求；响应模块802，用于响应所述多个上层业务应用发起的第一资源请求，采用全局唯一访问路径接入多个底层存储资源；资源提供模块803，用于采用所述统一的数据访问接口，将所述多个底层存储资源提供给所述多个上层业务应用。
一实施方式中，所述接收模块801，用于所述统一的数据访问接口为S3接口的情况下，采用所述S3接口接收所述多个上层业务应用发起的第一资源请求。其中，所述S3接口用于支持分片上传、文件夹下载、统一资源定位符下载中的至少一种服务。
一实施方式中，所述响应模块802，用于从所述多个上层业务应用发起的第一资源请求中，得到存储相关信息；根据所述存储相关信息，确定所请求的所述多个底层存储资源；采用所述全局唯一访问路径，接入所述多个底层存储资源。
一实施方式中，所述接收模块801，用于为所述多个底层存储资源配置同一个全局访问路径，并作为所述全局唯一访问路径；采用所述全局唯一访问路径，接入所述多个底层存储资源。
一实施方式中，所述同一个全局访问路径用于表示位于根目录下的至少一个子目录的地址，其中，所述根目录包括：全局挂载路径；所述至少一个子目录，包括：所述多个底层存储资源对应的存储卷ID。
一实施方式中，还包括动态加载模块，用于根据指定路径，将对应所述第一资源请求的底层存储资源通过容器存储接口CSI插件进行资源的动态挂载。
一实施方式中，所述指定路径用于表示位于所述同一个全局访问路径中所述至少一个子目录指向的底层存储地址；
还包括：定位模块，用于根据所述至少一个子目录指向的底层存储地址，得到所述底层存储资源；其中，所述至少一个子目录根据至少一个下级子目录指向所述底层存储地址。比如，指定路径可以为：{全局挂载路径前缀}/{存储卷ID}->PVC->PV->底层存储地址，以得到对应的底层存储资源。
一实施方式中，所述至少一个下级子目录包括：PVC及PV。
一实施方式中，所述PVC和所述PV分别为多个，多个所述PVC与多个所述PV之间形成多组映射关系；所述存储卷为单个存储卷的情况下，所述单个存储卷对应所述多组映射关系。其中，多个所述PVC的标识相同。
一实施方式中，所述PVC和所述PV分别为1个，所述PVC与所述PV之间形成一组映射关系；所述存储卷为全局存储卷的情况下，所述全局存储卷对应所述一组映射关系。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储电子设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
电子设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如存储管理方法。例如，在一些实施例中，存储管理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的存储管理方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行存储管理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (13)

1.一种存储管理方法，包括：
采用统一的数据访问接口，接收多个上层业务应用发起的第一资源请求；
响应所述多个上层业务应用发起的第一资源请求，采用全局唯一访问路径接入多个底层存储资源，其中，所述全局唯一访问路径是为所述多个底层存储资源配置的同一个全局访问路径，该同一个全局访问路径，用于表示位于根目录下的至少一个子目录的地址；
采用所述统一的数据访问接口，将所述多个底层存储资源提供给所述多个上层业务应用，
其中，所述方法还包括根据指定路径，将对应所述第一资源请求的底层存储资源通过容器存储接口CSI插件进行动态挂载，其中，所述插件定义了操作系统为上层业务应用程序提供的统一的接口标准，所述指定路径用于表示位于所述同一个全局访问路径中的所述至少一个子目录指向的底层存储地址。
2.根据权利要求1所述的方法，其中，所述采用统一的数据访问接口，接收多个上层业务应用发起的第一资源请求，包括：
所述统一的数据访问接口为简单对象存储S3接口的情况下，采用所述S3接口接收所述多个上层业务应用发起的第一资源请求；
其中，所述S3接口用于支持分片上传、文件夹下载、统一资源定位符下载中的至少一种服务。
3.根据权利要求1或2所述的方法，其中，所述响应所述多个上层业务应用发起的第一资源请求，采用全局唯一访问路径接入多个底层存储资源，包括：
从所述多个上层业务应用发起的第一资源请求中，得到存储相关信息；
根据所述存储相关信息，确定所请求的所述多个底层存储资源；
采用所述全局唯一访问路径，接入所述多个底层存储资源。
4.根据权利要求1所述的方法，其中，所述根目录，包括：全局挂载路径；
所述至少一个子目录，包括：所述多个底层存储资源对应的存储卷的存储卷标识ID。
5.根据权利要求1所述的方法，还包括：
所述容器存储接口CSI插件根据所述底层存储资源的存储类型的不同分别调用对应的存储挂载工具来实现所述挂载。
6.根据权利要求4所述的方法，还包括：根据所述至少一个子目录指向的底层存储地址，得到所述底层存储资源；
其中，所述至少一个子目录根据至少一个下级子目录指向所述底层存储地址。
7.根据权利要求6所述的方法，其中，所述至少一个下级子目录包括：持久卷声明PVC及持久卷PV。
8.根据权利要求7所述的方法，其中，所述PVC和所述PV分别为多个；
多个所述PVC与多个所述PV之间形成多组映射关系；
所述存储卷为单个存储卷的情况下，所述单个存储卷对应所述多组映射关系。
9.根据权利要求8所述的方法，其中，多个所述PVC的标识相同。
10.根据权利要求7所述的方法，其中，所述PVC和所述PV分别为1个；
所述PVC与所述PV之间形成一组映射关系；
所述存储卷为全局存储卷的情况下，所述全局存储卷对应所述一组映射关系。
11.一种存储管理装置，包括：
接收模块，用于采用统一的数据访问接口，接收多个上层业务应用发起的第一资源请求；
响应模块，用于响应所述多个上层业务应用发起的第一资源请求，采用全局唯一访问路径接入多个底层存储资源，其中，所述全局唯一访问路径为所述多个底层存储资源配置的同一个全局访问路径，该同一个全局访问路径，用于表示位于根目录下的至少一个子目录的地址；
资源提供模块，用于采用所述统一的数据访问接口，将所述多个底层存储资源提供给所述多个上层业务应用，
其中，所述装置还包括：
动态加载模块，用于根据指定路径，将对应所述第一资源请求的底层存储资源通过容器存储接口CSI插件进行资源的动态挂载，其中，所述插件定义了操作系统为上层业务应用程序提供的统一的接口标准，所述指定路径用于表示位于所述同一个全局访问路径中的所述至少一个子目录指向的底层存储地址。
12.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
CN202210772933.7A 2022-06-30 2022-06-30 一种存储管理方法、装置、电子设备及存储介质 Active CN115048060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210772933.7A CN115048060B (zh) 2022-06-30 2022-06-30 一种存储管理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210772933.7A CN115048060B (zh) 2022-06-30 2022-06-30 一种存储管理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115048060A CN115048060A (zh) 2022-09-13
CN115048060B true CN115048060B (zh) 2023-06-23

Family

ID=83165225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210772933.7A Active CN115048060B (zh) 2022-06-30 2022-06-30 一种存储管理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115048060B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115629771B (zh) * 2022-12-08 2023-03-21 杭州比智科技有限公司 一种基于K3s的数据中台私有化部署方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474629B2 (en) * 2016-09-28 2019-11-12 Elastifile Ltd. File systems with global and local naming
CN106686140A (zh) * 2017-03-06 2017-05-17 郑州云海信息技术有限公司 一种网络虚拟化存储方法、设备和系统
CN114401319B (zh) * 2022-01-17 2024-05-10 星环信息科技(上海)股份有限公司 一种请求处理方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN115048060A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
US20220391260A1 (en) Method and Apparatus for Creating Container, Device, Medium, and Program Product
US10601871B2 (en) Reconfiguration of security requirements for deployed components of applications
CN110019080B (zh) 数据访问方法和装置
JP2018502383A (ja) 多数のコンピュータサブシステム用の再構成可能リソースを備えるシステムオンチップ
CN111917587B (zh) 利用服务系统进行网络服务管理的方法及服务系统
US12056095B2 (en) Host-level persistent volume management for container clouds
US11546431B2 (en) Efficient and extensive function groups with multi-instance function support for cloud based processing
CN114625536A (zh) 显存分配方法、装置、介质及电子设备
CN115361389A (zh) 一种云计算实例创建方法及装置
CN115048060B (zh) 一种存储管理方法、装置、电子设备及存储介质
US10606480B2 (en) Scale-out container volume service for multiple frameworks
US11636139B2 (en) Centralized database system with geographically partitioned data
CN115934076B (zh) 跨平台客户端的微服务提供装置、方法和电子设备
CN111382136B (zh) 文件系统镜像及文件请求方法
US11765236B2 (en) Efficient and extensive function groups with multi-instance function support for cloud based processing
CN113127430A (zh) 镜像信息处理方法、装置、计算机可读介质及电子设备
US20200241875A1 (en) Class data loading acceleration
US20200042331A1 (en) Dynamic-link library usage based on memory size
US11474846B2 (en) Controller for bridging database architectures
CN114201300A (zh) 资源调度方法、资源调度装置、电子设备和存储介质
CN113986476A (zh) 传感器设备虚拟化的方法、装置、电子设备和存储介质
CN111488322A (zh) 文件系统服务方法、装置以及服务端设备
US11561787B2 (en) Application invocation on specified operating system version
CN117112500B (zh) 一种资源管理方法、装置、设备和存储介质
WO2023185570A1 (en) Storage driver for managing multiple layer file system on cloud

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant