[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111506453B - 磁盘快照创建方法、装置、系统和存储介质 - Google Patents

磁盘快照创建方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN111506453B
CN111506453B CN201910100438.XA CN201910100438A CN111506453B CN 111506453 B CN111506453 B CN 111506453B CN 201910100438 A CN201910100438 A CN 201910100438A CN 111506453 B CN111506453 B CN 111506453B
Authority
CN
China
Prior art keywords
snapshot
disk
time
snapshot creation
creation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910100438.XA
Other languages
English (en)
Other versions
CN111506453A (zh
Inventor
廖武钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910100438.XA priority Critical patent/CN111506453B/zh
Publication of CN111506453A publication Critical patent/CN111506453A/zh
Application granted granted Critical
Publication of CN111506453B publication Critical patent/CN111506453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种磁盘快照创建方法、装置、系统和存储介质。该方法包括:发送快照创建命令,快照创建命令用于指示多个磁盘创建快照的时间点;针对快照创建命令,接收来自多个磁盘创建快照过程中阻塞磁盘读写请求的多个阻塞时间点;多个阻塞时间点之间的时间差最大值小于设定的第一时间差阈值时,确定多个磁盘创建的快照满足同步精度要求,得到多个磁盘同步创建的多个快照。根据本发明实施例提供的方法,可以优化磁盘快照创建过程。

Description

磁盘快照创建方法、装置、系统和存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种磁盘快照创建方法、装置、系统和存储介质。
背景技术
通常,磁盘快照可以用于数据备份和容灾。在实际业务中,常会需要一定数量的磁盘能够在同一时间点创建快照。譬如对于多磁盘组成的磁盘组,各磁盘之间有数据关联性,如果一组磁盘的快照不能在同一时间点创建,则这组磁盘快照恢复出来的数据不一定能够满足磁盘关联性的要求,认为这组快照在业务上就是不可用的。
针对上述情况,一种解决方案是可以先对多个磁盘的读写请求进行同步,使多个磁盘的数据保持同步状态,以使多个磁盘基于磁盘数据同步状态下创建出来的快照可视作为同一时刻创建的,满足同步创建快照的要求。但是,对多个磁盘的读写请求进行同步,需要耗费额外的机器资源和维护成本,磁盘快照创建过程复杂,可导致磁盘性能下降。
发明内容
本发明实施例提供一种磁盘快照创建方法、装置、系统和存储介质,可以优化磁盘快照创建过程。
第一方面,本发明实施例提供一种磁盘快照创建方法,包括:
发送快照创建命令,快照创建命令用于指示多个磁盘创建快照的时间点;针对快照创建命令,接收来自多个磁盘创建快照过程中阻塞磁盘读写请求的多个阻塞时间点;多个阻塞时间点之间的时间差最大值小于设定的第一时间差阈值时,确定多个磁盘创建的快照满足同步精度要求,得到多个磁盘同步创建的多个快照。
第二方面,本发明实施例提供一种磁盘快照创建装置,包括:
创建命令发送模块,用于发送快照创建命令,快照创建命令用于指示多个磁盘创建快照的时间点;阻塞时间接收模块,用于针对快照创建命令,接收来自多个磁盘创建快照过程中阻塞磁盘读写请求的多个阻塞时间点;同步精度确定模块,用于当多个阻塞时间点之间的时间差最大值小于设定的第一时间差阈值时,确定多个磁盘创建的快照满足同步精度要求,得到多个磁盘同步创建的多个快照。
第三方面,本发明实施例提供一种磁盘快照创建系统,包括:存储器和处理器;该存储器用于存储程序;该处理器用于读取存储器中存储的可执行程序代码以执行上述第一方面的磁盘快照创建方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当指令在计算机上运行时,使得计算机执行上述第一方面的磁盘快照创建方法。
第五方面,本发明实施例提供一种磁盘快照创建方法,包括:
接收快照创建命令,快照创建命令用于指示创建快照的时间点;等待至创建快照的时间点时,创建磁盘快照数据,传输快照数据至快照存储系统;针对快照创建命令,记录创建磁盘快照数据的过程中阻塞磁盘读写请求时的阻塞时间点;发送阻塞时间点,以使管控节点基于接收的多个阻塞时间点确定创建的快照数据是否满足同步精度要求。
第六方面,本发明实施例提供一种磁盘快照创建装置,包括:
创建命令接收模块,用于接收快照创建命令,快照创建命令用于指示创建快照的时间点;快照数据创建模块,用于等待至创建快照的时间点时,创建磁盘快照数据,传输快照数据至快照存储系统;阻塞时间记录模块,用于针对快照创建命令,记录创建磁盘快照数据的过程中,阻塞磁盘读写请求时的阻塞时间点;阻塞时间发送模块,用于发送阻塞时间点,以使管控节点基于多个阻塞时间点确定创建的快照数据是否满足同步精度要求。
第七方面,本发明实施例提供一种磁盘快照创建系统,包括:存储器和处理器;该存储器用于存储程序;该处理器用于读取存储器中存储的可执行程序代码以执行上述第五方面的磁盘快照创建方法。
第八方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当指令在计算机上运行时,使得计算机执行上述第五方面的磁盘快照创建方法。
根据本发明实施例中的磁盘快照创建方法、装置、系统和存储介质,可通过记录的磁盘创建快照过程中的IO阻塞时间,分析判断多个快照的创建时间是否满足业务上的同步精度要求,能够优化磁盘快照创建过程,减少额外耗费的机器资源和维护成本,在一定程度上提高磁盘性能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是示出根据本发明实施例的应用场景示意图;
图2是示出根据本发明实施例的磁盘快照创建过程的示意图;
图3是示出一个实施例的多磁盘同步创建快照的方法流程示意图;
图4是示出本发明实施例的多磁盘同步创建快照系统的结构示意图;
图5是示出本发明示例性实施例的磁盘快照创建方法的流程图;
图6是示出根据本发明一个实施例的磁盘快照创建方法的流程图;
图7是示出根据本发明另一实施例的磁盘快照创建方法;
图8是示出根据本发明一个实施例的磁盘快照创建装置的结构示意图;
图9是示出根据本发明一个实施例的磁盘快照创建装置的结构示意图;
图10是示出可以实现根据本发明实施例的磁盘快照创建方法和装置的计算设备的示例性硬件架构的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了更好的理解本发明,下面将结合附图,详细描述根据本发明实施例的磁盘快照创建方法、装置、系统和存储介质。应注意,这些实施例并不是用来限制本发明公开的范围。
图1是示出根据本发明实施例的分布式系统架构的示意图。在本发明实施例中,磁盘快照创建方法可以应用于分布式计算系统。分布式计算系统可以向用户提供分布式计算服务、分布式存储服务以及网络连接服务。
在本发明实施例中,分布式系统架构可以通过虚拟化技术将具有计算能力的计算设备作为计算资源,该计算设备可以是具有计算能力的机器设备上的虚拟机;以及可以利用存储设备作为存储资源。该存储设备可以是磁盘阵列、硬盘、虚拟硬盘等存储设备。
如图1所示,分布式系统架构中提供计算资源的计算设备可以是云服务器。云服务器可以是基于云计算技术实现的,可以提供分布式计算服务的计算节点。通过远程登陆的方式操作和管理云服务器,且云服务器的使用方式与普通远程物理服务器的使用方式基本相同。存储设备可以为云磁盘。云磁盘可以是建立在分布式存储系统之上的磁盘实例,在云服务器中使用云磁盘进行读写操作。云服务器和云磁盘之间可以通过网络设备进行连接。
快照(Snapshot)是对磁盘存储设备在某一时刻或某一时间点上的磁盘数据进行备份,得到的磁盘存储设备中存储内容的完整记录。在一个实施例中,可以对磁盘存储设备中的数据进行增量备份。
在一些实施例中,磁盘快照主要用于备份和容灾。用户可以在不同时间点,对一块云磁盘创建若干快照,得到若干快照形成的快照链。如需恢复磁盘数据,可以利用快照数据进行磁盘数据回滚,把磁盘上的数据恢复为快照链上任一时间点的快照的数据内容。
在一个实施例中,可以定时创建磁盘快照数据,即可以设定相邻两次创建磁盘快照数据的时间间隔,将该时间间隔作为定时创建快照的时间周期。应理解,该时间周期例如可以是一天、两天或者一周,实际应用场景中,用户可以根据实际需求确定,在此不做具体限定。
在一个实施例中,由于磁盘数据中的部分数据在相邻两次创建磁盘快照的过程中可能不会发生改变。也就是说,一个快照链中快照之间的数据内容通常只有少量区别。为了节省空间,快照系统可以对创建的磁盘快照进行去重存储。
图2示出了根据本发明实施例的磁盘快照创建过程对磁盘数据进行增量备份的原理示意图。如图2所示,创建磁盘快照时,可对磁盘按地址偏移分成多个地址区间,每个地址区间中的磁盘数据可以作为快照的一个数据切片(例如也可以称为是数据块)进行去重存放。
在一个实施例中,地址区间的大小例如可以是2MB,实际应用时,用户可以根据实际需求确定,在此不做具体限定。
如图2所示,假设磁盘按照地址偏移可以分为4个切片(例如切片1、切片2、切片3和切片4),在第一时间点创建磁盘快照,得到快照A。
作为一个示例,快照A例如可以包括:切片1-A、切片2-A、切片3-A以及切片4-A。
继续参考图2,在第二时间点创建磁盘快照,得到快照B。假设在第一时间点和第二时间点的时间区间内,只有切片1和切片3对应磁盘区间的数据有修改。
因此,快照B的切片中,包括新创建的针对切片1的切片1-B、以及针对切片3的切片3-B。而切片2和切片4,继续使用快照A中的切片2-A和切片4-A。
通过图2可以看出,创建快照时,会检查当前磁盘的每一个地址区间:如果地址区间中数据内容对应的切片与前一次创建快照时该地址区间中数据内容对应切片相比有改动,则快照使用该地址区间中更新的数据创建新的切片;否则如果没有改动,新快照将继续使用上一次创建快照时该地址区间中数据内容对应的切片。也就是说,创建磁盘快照可以采用增量备份机制,两次创建磁盘快照之间只有数据发生变化的地址区间的数据切片才会被备份,以提高备份效率,并节省存储空间。
在本发明实施例中,快照创建的过程具体可以包括如下两个步骤:
首先,构建磁盘数据的元数据。
在该步骤中,通过分析磁盘的地址区间,确定相对于已有快照数据有数据改动的地址区间,将有数据改动的地址区间标记为需要备份的地址区间,并在快照元数据中对需要备份的地址区间进行记录。
通常,元数据的构建花费时间级别可以为秒级,例如1-5秒,为了避免创建过程中需要备份的地址区间被写入数据,在构建磁盘数据的元数据的过程中,磁盘会阻塞针对磁盘的读写请求,直到元数据创建完成。
其次,将快照数据传输至快照存储系统。
在该步骤中,磁盘数据的元数据构建完成时,该磁盘的快照数据即可确定,此时需要将快照数据传输到快照存储系统中进行备份。
在上述元数据构建过程中,可以确定需要备份到快照存储系统中的地址区间的数据切片,将这些地址区间的数据切片逐个传输到快照存储系统当中,作为新快照的数据块存放。
通过上述步骤,可以实现对磁盘创建快照,以及对磁盘中的数据进行增量备份,提高数据安全性和数据存储效率,并节省存储空间。
在实际应用场景中,存在需要几块磁盘能够在同一时间点创建快照的场景。作为一个示例,在多磁盘组成磁盘组的时候,各磁盘之间有数据关联性,磁盘组的快照不能在同一时间点创建,则该磁盘组的快照恢复出来的数据,就不一定能够满足磁盘间的数据关联性的要求,该磁盘组的快照在业务上就是不可用的。
作为一个示例,在业务上,如果一个数据库横跨两块磁盘,即该数据库需要使用两块磁盘,如果两个磁盘不能很精确的在同一时间点里创建快照,那用创建的快照恢复数据,有可能磁盘A恢复的是一个时间点,例如12点20分10秒的数据,磁盘B恢复是另一时间点,例如12点20分25秒的数据,无法通过恢复数据得到完备且保持一致性的数据库。
因此,同步创建快照的时间精度越高,则利用创建的快照恢复出完备数据的成功率就越大。
在一个实施例中,多个快照对应的多个创建时间点之间的时间差最大值在预设的时间差阈值范围内时,可以认为该多个快照具备可用性。作为一个示例,该预设的时间差阈值范围可以是小于等于0.5秒。应理解,该预设的时间差阈值范围可以根据对同步创建快照的时间精度的要求自行设定,本发明实施例不做具体限定。
图3示出了现有一个实施例中的多磁盘同步创建快照的方法流程示意图。如图3所示,在一个实施例中,现有的同步创建磁盘快照系统可以包括管控模块、输入输出IO同步中转模块(下面实施例的描述中也可以简称为同步模块)以及多个磁盘。利用该同步创建磁盘快照系统进行多磁盘同步创建快照时,可以包括:
步骤S310,如图3中S1所示,确定多个磁盘的工作状态,例如确定多个磁盘的工作状态为常规状态,例如磁盘状态A,即磁盘向存储系统发起读写请求的运行状态。
步骤S320,如图3中S2所示,管控模块触发同步创建磁盘快照时,IO同步中转模块同步多个磁盘对存储系统的读写请求。此时多个磁盘的工作状态为磁盘状态B,即读写同步状态。
如图3所示,读写同步状态下,IO同步中转模块接收多个磁盘向存储系统发起的多个读写请求,对多个读写请求进行排队,依次下发排队后的多个读写请求。
步骤S330,如图3中S3所示,IO同步中转模块停止下发该多个磁盘对存储系统的读写请求。此时多个磁盘的工作状态为磁盘状态C数据同步状态。
如图3所示,IO同步中转模块在某一个时刻停止下发多个磁盘对存储系统的读写请求,以使多个磁盘在该时刻停止数据更新,以使多个磁盘达到数据同步状态。
步骤S340,如图3中S4所示,在数据同步状态下,每个磁盘分别创建快照元数据,得到多个快照元数据。
步骤S350,如图3中S5所示,将多个磁盘的工作状态切换为常规状态,恢复多个磁盘对存储系统的读写请求。快照元数据创建完成后,恢复多个磁盘对存储系统的正常读写状态。
通过上述步骤可以看出,现有技术中可以利用IO同步中转模块,可以将多个磁盘的读写请求先行进行同步。也就是说,多个磁盘的写入路径,可以经过共同的出入口;在同步创建磁盘数据时,在该共同的出入口切断多个磁盘的读写请求,即可让多个磁盘的数据写入同时切断,此时多个磁盘等于是同一时刻冻结了状态,因此多个磁盘创建的快照可视作为同一时刻创建的,满足同步创建快照的要求。
由于,同步模块本身需要占用一定的机器和网络带宽资源,且同步中转模块作为一个服务模块,人力维护成本较高。因此,现有技术中为实现同步创建快照,需要付出较高的资源和成本的额外开销。
另外,在上述同步创建快照的过程中,切换多个磁盘为同步模块时,由于N块磁盘的传输性能取决于同步模块的性能,同步模块为保证请求顺序写入,通常采用串行下发多个磁盘的同步请求,磁盘较多时,磁盘能力受到很大影响。作为一个示例,譬如5块磁盘,每块盘有100MB/s的吞吐,但同步模块本身可能只有150MB/s的中转能力,导致平均每块磁盘的能力暂时会掉到30MB/s。
并且,在创建快照之前,同步模块会阻塞所有读写请求,并在所有磁盘都完成快照元数据创建后再恢复读写请求。也就是说,元数据创建快的磁盘,需要等待元数据创建慢的磁盘完成创建后,才能恢复读写请求,导致多个磁盘整体的读写请求受阻时间会加大。
通过上述描述可知,现有技术中创建磁盘数据时,需要额外的机器资源和维护成本;创建过程中,利用额外的同步模块将磁盘到同步中转读写请求的模式,导致磁盘性能明显下降;整个创建过程中,需要多个磁盘一起停读写请求,一起创建快照元数据,一起恢复读写请求,创建速度较慢磁盘会让创建速度较快的磁盘不能立刻恢复对存储系统的读写请求,导致增大了整批磁盘读写受限制时长,例如大于非同步创建快照时单个磁盘读写请求受限制时长。
为了解决上述方案的缺陷,本发明实施例提供一种磁盘快照创建方法,去除多磁盘同步创建快照系统中设定的IO同步中转模块,从而简化系统架构,以避免产生额外的资源消耗和维护成本,提高磁盘性能;每个磁盘独立创建快照,因此不存在全部磁盘完成创建快照才可以恢复读写请求而导致的磁盘读写受限制时长加长的情况,提高了磁盘快照创建完成的效率。
下面通过图4至图6,详细描述本发明实施例的磁盘快照创建方法。
图4示出了本发明实施例的磁盘快照创建系统的结构示意图。如图4所示,在一个实施例中,磁盘快照创建系统可以包括管控模块和多个磁盘例如云磁盘1、云磁盘2、……、云磁盘N。
在一个实施例中,管控模块,可以用于触发同步创建快照的请求;多个磁盘响应于该同步创建快照的请求,以实现同步快照创建。
在一个实施例中,管控模块可以是具有独立计算能力和处理能力的计算节点。作为一个示例,管控模块可以包括中央处理器,且管控模块可以与快照存储系统运行在同一服务器中,也可以独立于快照存储系统,与快照存储系统运行在不同服务器中。
在一个实施例中,管控模块与多个磁盘之间,可以利用通讯网络进行联接。且在发明实施例的描述中,多个可以表示大于等于1个。
图5示出了本发明示例性实施例的磁盘快照创建方法的流程图。如图5所示,在一个实施例中,磁盘快照创建方法可以包括:
步骤S501,管控模块开始为多个磁盘例如磁盘1~磁盘N,创建同步快照。
步骤S502,针对多个磁盘,设定同步发起等待时间。
在该步骤中,同步发起等待时间可以根据经验设定,为了描述方便,假设同步发起等待时间的时长为t秒。
步骤S503,管控模块获得当前时间戳T;
步骤S504,管控模块向上述多个磁盘,发送快照创建命令,以令多个磁盘在T+t时间点,开始创建快照。
步骤S505,多个磁盘根据接收该创建命令,该创建命令用于指示每个磁盘将于T+t时间点开始创建快照。
在该步骤中,管控模块可以通过拟定一个时间点,比如当前时间加5秒,决定让多个磁盘在这个时间点开始创建快照。向多个磁盘下发创建命令,等待各个磁盘按拟定的时间点各自创建快照。
步骤S506,每个磁盘根据当天时间戳,等待至T+t时间点。
步骤S507,该磁盘阻塞磁盘读写请求,并记录阻塞磁盘读写请求的时间点。
作为一个示例,记录例如阻塞磁盘读写请求的时间点X。
步骤S508,每个磁盘阻塞磁盘读写请求后,创建快照元数据。
步骤S509,快照元数据创建完成,每个磁盘向管控模块返回记录的阻塞磁盘读写请求的时间点X。
在该步骤中,多个磁盘,例如N块磁盘分别汇报创建快照时开始阻塞IO的时间点。
步骤S510,每个磁盘阻将创建的磁盘快照元数据传输至快照存储系统。
步骤S511,管控模块等待多个磁盘快照创建完成,以及等待多个磁盘返回的针对本次创建命令的多个阻塞磁盘读写请求的时间点。
步骤S512,判断该多个阻塞磁盘读写请求的时间点相互间的最大时间差是否小于设定时间差阈值M。
步骤S513,多个阻塞磁盘读写请求的时间点相互间的最大时间差,大于等于设定时间差阈值M时,确定不满足同步精度要求,删除传输至快照存储系统的多个快照数据。
步骤S514,多个阻塞磁盘读写请求的时间点相互间的最大时间差,小于设定时间差阈值M时,确定满足同步精度要求,同步快照创建成功。
作为一个示例,假设磁盘数量为5,即N取值为5,有5块磁盘要同步创建快照。管控发现当前时间点为13时05分03秒,拟定5秒后开始创建快照;根据该拟定的时长向磁盘1~磁盘5发送创建命令。
该示例中,磁盘1~磁盘5各自等待到13时05分08秒,开始阻塞IO请求,创建快照;待磁盘1~磁盘5的5个快照创建成功,分别告知管控模块阻塞磁盘IO请求的时间戳。假定来自磁盘1~磁盘5的阻塞磁盘IO请求的时间戳包括:
13:05:08.145;
13:05:08.487;
13:05:08.098;
13:05:08.253;
13:05:08.313;
其中,阻塞磁盘IO请求的时间戳之间,最大时间戳和最小时间戳之间的差值为487-98=389毫秒,如果设定的同步精度要求的时间差M=500毫秒,则这5个快照满足要求,视作同步快照创建成功。
根据本发明实施例的磁盘快照创建方法,相较于现有方案,简化磁盘快创创建系统的架构模块,舍去现有技术中在磁盘快创创建系统中设定的IO同步中转模块,避免了额外的资源消耗和成本。
在该实施例中,每个磁盘各自独立创建快照,不需要先把读写请求中转到同步模块上,自然也不会存在同步模块的性能瓶颈。
由于每个磁盘各自独立创建快照,创建完成后每次磁盘即可自行恢复自身的磁盘读写,因此不会出现创建快照速度快的磁盘要等创建快照速度慢盘完成创建,才能恢复读写的情况。
根据本发明实施例的磁盘快照创建方法,管控模块基于接收的多个阻塞磁盘读写请求的多个阻塞时间点进行对比,如果多个阻塞时间点之间的时间差满足同步快照的设定阈值(譬如时间差小于0.5秒),则认为本次创建的多个快照是满足同步精度要求的,可视作同步快照创建成功。否则,将这N个快照删除,然后再次重试创建即可。
在本发明实施例中,云服务器、云存储系统例如云磁盘以及快照存储系统等所对应的公有云系统,通常使用网络时间协议(Network Time Protocol,NTP)维护彼此时间时钟一致。且在正常状态下,各块磁盘阻塞读写请求的耗时基本都是一致的。
因此,本发明实施例中的磁盘快照创建方法,不仅可以简化磁盘快照创建系统的工程实现,也可以做到较好的同步精度。如果其中一次同步创建可实现多个阻塞时间点之间的时间差为0.5秒,则可以重复多次拟定新的创建时间点,以进一步缩小多个阻塞时间点之间的时间差例如0.1秒,提高同步创建精度。
图6示出了根据本发明一个实施例的磁盘快照创建方法的流程图。图图6所示,在一个实施例中,磁盘快照创建方法600可以包括:
步骤S610,发送快照创建命令,快照创建命令用于指示多个磁盘创建快照的时间点。
步骤S620,针对快照创建命令,接收来自多个磁盘创建快照过程中阻塞磁盘读写请求的多个阻塞时间点。
步骤S630,多个阻塞时间点之间的时间差最大值小于设定的第一时间差阈值时,确定多个磁盘创建的快照满足同步精度要求,得到多个磁盘同步创建的多个快照。
根据本发明实施例的磁盘快照创建方法,管控模块可以通过接收的创建快照过程中的IO阻塞时间,分析判断多个快照的创建时间是否满足业务上的同步精度要求。整个创建过程不需要事先依靠同步模块去保证读写同步,而只需要在创建快照后根据多磁盘间的IO阻塞时间差,进行同步精度的检验,系统架构更简洁,且无需引用新模块,从而避免为磁盘带来额外的性能下降问题,以及避免出现创建快照的IO阻塞时间比单盘快照的IO阻塞时间更多的问题,保证磁盘的IO性能。
在一个实施例中,步骤S610具体可以包括:
步骤S611,设定同步等待时长,同步等待时长用于指示多个磁盘创建快照之前的等待时长;
步骤S612,根据创建快照之前的等待时长,生成快照创建命令;
步骤S613,发送快照创建命令。
在该实施例中,管控模块为多个磁盘可以基于与磁盘一致的时钟,设定针对磁盘创建快照的同步等待时长,以令磁盘在同步等待时长后开始创建快照,保证同步创建的时间精度。
在一个实施例中,步骤S610具体可以包括:
步骤S614,设定同步创建时间点,同步创建时间点晚于当前时间点;
步骤S615,根据同步创建时间点,生成快照创建命令;
步骤S616,发送快照创建命令。
在该实施例中,管控模块可以直接设定同步创建时间点,以令每个磁盘各自根据同步创建时间点,各自定时在同步创建时间点创建快照。由于多个磁盘可以基于与磁盘一致的时钟,保证同步创建的时间精度。
在一个实施例中,步骤S630具体可以包括:
步骤S631,利用多个阻塞时间点中的阻塞时间点最大值和阻塞时间点最小值,计算多个阻塞时间点之间的时间差最大值;
步骤S632,时间差最大值小于设定的第一时间差阈值时,确定多个磁盘同步创建的快照满足同步精度要求。
在该实施例中,通过记录创建快照过程中的IO阻塞时间,分析判断多个快照的创建时间是否满足业务上的同步精度要求,满足同步精度要求,得到多个磁盘快照。
在一个实施例中,磁盘快照创建方法600还可以包括:
步骤S640,时间差最大值大于等于设定的第一时间差阈值时,发送新的快照创建命令,新的快照创建命令用于指示多个磁盘收到快照创建命令后,同步创建快照的新的时间点。
在一个实施例中,磁盘快照创建方法600还可以包括:
步骤S650,时间差最大值小于第一时间差阈值时,发送新的快照创建命令,直到新的时间差最大值小于设定的第二时间差阈值,得到多个磁盘同步创建的多个新的快照,其中,第二时间差阈值小于第一时间差阈值。
在该实施例中,由于磁盘间使用的时钟一致性较高,因此磁盘间阻塞读写请求的耗时也基本一致,通过多次定时创建快照,可以逐步减小多个阻塞时间点之间的时间差,从而实现磁盘间的创建时间差越来越小,同步创建得到的多个快照之间的一致性越来越高。
通过本发明实施例的磁盘快照创建方法,在不增加额外模块的基础上,通过记录创建快照过程中的IO阻塞时间,判断多个快照的创建时间是否满足业务上的同步精度要求,在较低的资源消耗和成本,且不影响磁盘读写性能的前提下,具有较高的计算效率。
图7示出了根据本发明另一实施例的磁盘快照创建方法。如图7所示,在一个实施例中,磁盘快照创建方法700,具体可以包括:
步骤S710,接收快照创建命令,快照创建命令用于指示创建快照的时间点;
步骤S720,等待至创建快照的时间点时,创建磁盘快照数据,传输快照数据至快照存储系统;
步骤S730,针对快照创建命令,记录创建磁盘快照数据的过程中阻塞磁盘读写请求时的阻塞时间点;
步骤S740,发送阻塞时间点,以使管控节点基于接收的多个阻塞时间点确定创建的快照数据是否满足同步精度要求。
在该实施例中,每个磁盘响应于快照创建命令,各自独立创建快照,创建完成后即可自行恢复自身的IO请求,不存在创建快照速度快的磁盘要等创建快照速度慢的磁盘完成才能恢复IO的情况,极大程度地对磁盘IO能力进行保障。
在一个实施例中,步骤S720具体可以包括:
快照创建命令中包括同步等待时长时,根据磁盘的当前时间点和同步等待时长,确定磁盘的创建快照的时间点;等待至磁盘的创建快照的时间点。
在该实施例中,磁盘可以根据同步等待时长进行等待,达到同步等待时长后,开始创建快照,实现磁盘间同步创建快照。
在一个实施例中,步骤S720具体可以包括:
快照创建命令中包括设定的同步创建时间点时,从磁盘的当前时间点等待至设定的同步创建时间点。
在该实施例中,磁盘可以根据同步创建时间点,自行定时创建快照,实现磁盘间同步创建快照。磁盘间使用网络时间协议维护彼此时间时钟一致,保证磁盘间同步创建快照。
图8示出了根据本发明一个实施例的磁盘快照创建装置的结构示意图。如图8所示,磁盘快照创建装置800可以包括:
创建命令发送模块810,用于发送快照创建命令,快照创建命令用于指示多个磁盘创建快照的时间点。
阻塞时间接收模块820,用于针对快照创建命令,接收来自多个磁盘创建快照过程中阻塞磁盘读写请求的多个阻塞时间点。
同步精度确定模块830,用于当多个阻塞时间点之间的时间差最大值小于设定的第一时间差阈值时,确定多个磁盘创建的快照满足同步精度要求,得到多个磁盘同步创建的多个快照。
在一个实施例中,创建命令发送模块810,可以包括:
等待时长设定单元,用于设定同步等待时长,同步等待时长用于指示多个磁盘创建快照之前的等待时长;
第一命令生成单元,用于根据创建快照之前的等待时长,生成快照创建命令;
第一命令发送单元,用于发送快照创建命令。
在一个实施例中,创建命令发送模块810,可以包括:
创建时间设定单元,用于设定同步创建时间点,同步创建时间点晚于当前时间点;
第二命令生成单元,用于创建命令生成单元,用于根据同步创建时间点,生成快照创建命令;
第二命令发送单元,用于发送快照创建命令。
在一个实施例中,同步精度确定模块830,包括:
时间差计算单元,用于利用多个阻塞时间点中的阻塞时间点最大值和阻塞时间点最小值,计算多个阻塞时间点之间的时间差最大值;
同步精度判定单元,用于时间差最大值小于设定的第一时间差阈值时,确定多个磁盘同步创建的快照满足同步精度要求。
在一个实施例中,创建命令发送模块810,具体还可以用于:
时间差最大值大于等于设定的第一时间差阈值时,发送新的快照创建命令,新的快照创建命令用于指示多个磁盘收到快照创建命令后,同步创建快照的新的时间点。
在一个实施例中,创建命令发送模块810,具体还可以用于:
时间差最大值小于第一时间差阈值时,发送新的快照创建命令,直到新的时间差最大值小于设定的第二时间差阈值,得到多个磁盘同步创建的多个新的快照,其中,第二时间差阈值小于第一时间差阈值。
图9示出了根据本发明一个实施例的磁盘快照创建装置的结构示意图。如图9所示,磁盘快照创建装置900可以包括:
创建命令接收模块910,用于接收快照创建命令,快照创建命令用于指示创建快照的时间点。
快照数据创建模块920,用于等待至创建快照的时间点时,创建磁盘快照数据,传输快照数据至快照存储系统。
阻塞时间记录模块930,用于针对快照创建命令,记录创建磁盘快照数据的过程中,阻塞磁盘读写请求时的阻塞时间点。
阻塞时间发送模块940,用于发送阻塞时间点,以使管控节点基于多个阻塞时间点确定创建的快照数据是否满足同步精度要求。
在一个实施例中,快照数据创建模块920,在用于等待至创建快照的时间点时,具体还用于:
快照创建命令中包括同步等待时长时,根据磁盘的当前时间点和同步等待时长,确定磁盘的创建快照的时间点;等待至磁盘的创建快照的时间点。
在一个实施例中,快照数据创建模块920,在用于等待至创建快照的时间点时,具体还用于:
快照创建命令中包括设定的同步创建时间点时,从磁盘的当前时间点等待至设定的同步创建时间点。
需要明确的是,本发明并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁,这里省略了对已知方法的详细描述,并且上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图10是示出能够实现根据本发明实施例的磁盘快照创建方法和装置的计算设备的示例性硬件架构的结构图。
如图10所示,计算设备1000包括输入设备1001、输入接口1002、中央处理器1003、存储器1004、输出接口1005、以及输出设备1006。其中,输入接口1002、中央处理器1003、存储器1004、以及输出接口1005通过总线1010相互连接,输入设备1001和输出设备1006分别通过输入接口1002和输出接口1005与总线1010连接,进而与计算设备1000的其他组件连接。
具体地,输入设备1001接收来自外部的输入信息,并通过输入接口1002将输入信息传送到中央处理器1003;中央处理器1003基于存储器1004中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器1004中,然后通过输出接口1005将输出信息传送到输出设备1006;输出设备1006将输出信息输出到计算设备1000的外部供用户使用。
在一个实施例中,图10所示的计算设备1000可以被实现为一种磁盘快照创建系统,该磁盘快照创建系统可以包括:存储器,被配置为存储程序;处理器,被配置为运行存储器中存储的程序,以执行上述实施例描述的磁盘快照创建方法。
根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以从网络上被下载和安装,和/或从可拆卸存储介质被安装。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令,当其在计算机上运行时,使得计算机执行上述各个实施例中描述的方法。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘)等。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使对应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (15)

1.一种磁盘快照创建方法,包括:
发送快照创建命令,所述快照创建命令用于指示多个磁盘创建快照的时间点;
针对所述快照创建命令,接收来自多个磁盘创建快照过程中阻塞磁盘读写请求的多个阻塞时间点;
当所述多个阻塞时间点之间的时间差最大值小于设定的第一时间差阈值时,确定所述多个磁盘创建的快照满足同步精度要求,得到所述多个磁盘同步创建的多个快照。
2.根据权利要求1所述的磁盘快照创建方法,其中,所述发送快照创建命令,包括:
设定同步等待时长,所述同步等待时长用于指示所述多个磁盘创建快照之前的等待时长;
根据所述创建快照之前的等待时长,生成快照创建命令;
发送所述快照创建命令。
3.根据权利要求1所述的磁盘快照创建方法,其中,所述发送快照创建命令,包括:
设定同步创建时间点,所述同步创建时间点晚于当前时间点;
根据所述同步创建时间点,生成快照创建命令;
发送所述快照创建命令。
4.根据权利要求1所述的磁盘快照创建方法,其中,所述当所述多个阻塞时间点之间的时间差最大值小于设定的第一时间差阈值时,确定所述多个磁盘同步创建的快照满足同步精度要求,包括:
利用所述多个阻塞时间点中的阻塞时间点最大值和阻塞时间点最小值,计算所述多个阻塞时间点之间的时间差最大值;
所述时间差最大值小于设定的第一时间差阈值时,确定所述多个磁盘同步创建的快照满足同步精度要求。
5.根据权利要求1所述的磁盘快照创建方法,还包括:
所述时间差最大值大于等于设定的第一时间差阈值时,发送新的快照创建命令,所述新的快照创建命令用于指示多个磁盘收到所述快照创建命令后,同步创建快照的新的时间点。
6.根据权利要求1所述的磁盘快照创建方法,还包括:
所述时间差最大值小于所述第一时间差阈值时,发送新的快照创建命令,直到新的时间差最大值小于设定的第二时间差阈值,得到所述多个磁盘同步创建的多个新的快照,其中,
所述第二时间差阈值小于所述第一时间差阈值。
7.一种磁盘快照创建方法,包括:
接收快照创建命令,所述快照创建命令用于指示多个磁盘创建快照的时间点;
等待至所述创建快照的时间点时,创建磁盘快照数据,传输所述快照数据至快照存储系统;
针对所述快照创建命令,记录创建所述磁盘快照数据的过程中阻塞磁盘读写请求时的阻塞时间点;
发送所述阻塞时间点,以使管控节点基于接收的多个阻塞时间点确定创建的所述快照数据是否满足同步精度要求。
8.根据权利要求7所述的磁盘快照创建方法,其中,所述等待至所述创建快照的时间点,包括:
所述快照创建命令中包括同步等待时长时,根据磁盘的当前时间点和所述同步等待时长,确定所述磁盘的创建快照的时间点;
等待至所述磁盘的创建快照的时间点。
9.根据权利要求7所述的磁盘快照创建方法,其中,所述等待至所述创建快照的时间点,包括:
所述快照创建命令中包括设定的同步创建时间点时,从磁盘的当前时间点等待至所述设定的同步创建时间点。
10.一种磁盘快照创建装置,包括:
创建命令发送模块,用于发送快照创建命令,所述快照创建命令用于指示多个磁盘创建快照的时间点;
阻塞时间接收模块,用于针对所述快照创建命令,接收来自多个磁盘创建快照过程中阻塞磁盘读写请求的多个阻塞时间点;
同步精度确定模块,用于当所述多个阻塞时间点之间的时间差最大值小于设定的第一时间差阈值时,确定所述多个磁盘创建的快照满足同步精度要求,得到所述多个磁盘同步创建的多个快照。
11.一种磁盘快照创建装置,包括:
创建命令接收模块,用于接收快照创建命令,所述快照创建命令用于指示多个磁盘创建快照的时间点;
快照数据创建模块,用于等待至所述创建快照的时间点时,创建磁盘快照数据,传输所述快照数据至快照存储系统;
阻塞时间记录模块,用于针对所述快照创建命令,记录创建所述磁盘快照数据的过程中,阻塞磁盘读写请求时的阻塞时间点;
阻塞时间发送模块,用于发送所述阻塞时间点,以使管控节点基于多个阻塞时间点确定创建的所述快照数据是否满足同步精度要求。
12.一种磁盘快照创建系统,其特征在于,包括存储器和处理器;
所述存储器用于储存有可执行程序代码;
所述处理器用于读取所述存储器中存储的可执行程序代码以执行权利要求1至6中任一项所述的磁盘快照创建方法。
13.一种磁盘快照创建系统,其特征在于,包括存储器和处理器;
所述存储器用于储存有可执行程序代码;
所述处理器用于读取所述存储器中存储的可执行程序代码以执行权利要求7至9中任一项所述的磁盘快照创建方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1至6中任一项所述的磁盘快照创建方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求7至9中任一项所述的磁盘快照创建方法。
CN201910100438.XA 2019-01-31 2019-01-31 磁盘快照创建方法、装置、系统和存储介质 Active CN111506453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910100438.XA CN111506453B (zh) 2019-01-31 2019-01-31 磁盘快照创建方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910100438.XA CN111506453B (zh) 2019-01-31 2019-01-31 磁盘快照创建方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN111506453A CN111506453A (zh) 2020-08-07
CN111506453B true CN111506453B (zh) 2023-06-16

Family

ID=71868892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910100438.XA Active CN111506453B (zh) 2019-01-31 2019-01-31 磁盘快照创建方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN111506453B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112882661A (zh) * 2021-03-11 2021-06-01 拉卡拉支付股份有限公司 数据处理方法、装置、电子设备、存储介质及程序产品
CN113868027B (zh) * 2021-12-01 2022-12-23 云和恩墨(北京)信息技术有限公司 数据快照方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508744A (zh) * 2011-11-10 2012-06-20 浪潮电子信息产业股份有限公司 一种减少系统资源开销的快照实现方法
CN103150232A (zh) * 2013-02-01 2013-06-12 浪潮(北京)电子信息产业有限公司 存储快照创建方法和装置
CN104410671A (zh) * 2014-11-03 2015-03-11 深圳市蓝凌软件股份有限公司 一种快照抓取方法和数据监控工具
CN106940626A (zh) * 2017-03-17 2017-07-11 郑州云海信息技术有限公司 一种获取虚拟机多磁盘间差异数据的方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829617B2 (en) * 2002-02-15 2004-12-07 International Business Machines Corporation Providing a snapshot of a subset of a file system
US7085785B2 (en) * 2002-02-15 2006-08-01 International Business Machines Corporation Writable file system snapshot with ditto address feature

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508744A (zh) * 2011-11-10 2012-06-20 浪潮电子信息产业股份有限公司 一种减少系统资源开销的快照实现方法
CN103150232A (zh) * 2013-02-01 2013-06-12 浪潮(北京)电子信息产业有限公司 存储快照创建方法和装置
CN104410671A (zh) * 2014-11-03 2015-03-11 深圳市蓝凌软件股份有限公司 一种快照抓取方法和数据监控工具
CN106940626A (zh) * 2017-03-17 2017-07-11 郑州云海信息技术有限公司 一种获取虚拟机多磁盘间差异数据的方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Xu Zhang等.BirdStore: Block-grained snapshot management system for instant disaster recovery.《2014 IEEE 5th International Conference on Software Engineering and Service Science》.2014,全文. *
杨皓森等.面向OpenStack/Ceph的虚拟机备份系统研究.《计算机系统应用》.2018,(第undefined期),全文. *
欧阳艳.传统备份到新型备份方式的转变.《中国高新技术企业》.2009,(第undefined期),全文. *

Also Published As

Publication number Publication date
CN111506453A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
EP2820531B1 (en) Interval-controlled replication
JP5776267B2 (ja) 分散ファイルシステム
JP4573310B2 (ja) ストレージ・サブシステム全体にわたる整合的な更新のための方法、システム、およびコンピュータ・プログラム
CN112470112B (zh) 块存储系统的分布式副本
JP5089153B2 (ja) 異なるコピー技術を用いてデータをミラーリングするときの整合性の維持
WO2014059804A1 (zh) 数据同步方法及系统
WO2018049983A1 (zh) 数据同步方法、系统、同步获取方法及装置
US20080168218A1 (en) Backup system with continuous data protection
US9910592B2 (en) System and method for replicating data stored on non-volatile storage media using a volatile memory as a memory buffer
US10365978B1 (en) Synchronization of snapshots in a distributed consistency group
CN108762984B (zh) 一种连续性数据备份的方法及装置
US11947429B2 (en) Data disaster recovery method and site
CN111506453B (zh) 磁盘快照创建方法、装置、系统和存储介质
CN109783277B (zh) 灾备端、生产端及两者之间的数据恢复方法
CN101808127A (zh) 数据备份方法、系统和服务器
WO2017014814A1 (en) Replicating memory volumes
CN109960602B (zh) 信息管理方法、装置、设备及介质
CN103581262B (zh) 一种主备数据同步方法、装置和系统
US20240152431A1 (en) Time variation protection for snapshots
CN113297008B (zh) 数据处理方法以及系统
JP2017142605A (ja) バックアップリストアシステム及びリストア方法
CN113535477B (zh) 一种用于数据容灾恢复的方法与设备
CN111147226A (zh) 数据存储方法、装置及存储介质
CN112306746B (zh) 在应用环境中管理快照的方法、设备和计算机程序产品
JP5939053B2 (ja) リモートバックアップ装置、リモートバックアップシステム、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231130

Address after: Room 1-2-A06, Yungu Park, No. 1008 Dengcai Street, Sandun Town, Xihu District, Hangzhou City, Zhejiang Province

Patentee after: Aliyun Computing Co.,Ltd.

Address before: Grand Cayman, Cayman Islands

Patentee before: ALIBABA GROUP HOLDING Ltd.