CN104360956B - 一种数据拷贝方法及装置 - Google Patents

Abstract

本发明公开一种数据拷贝方法及装置，将源数据从源二级分配单元Extent拷贝到目标Extent时，该方法包括：遍历源数据对应的所述二级映射表，依次获取分配给所述源数据的相对物理地址；将所述相对物理地址中第一相对物理地址对应的第一单位数据读出，生成将所述第一单位数据写入所述目标Extent的第一写请求，所述第一写请求中包括所述第一相对物理地址；根据所述第一写请求将所述第一单位数据写入目标Extent中的第一物理地址对应的位置，并将所述二级映射表中所述第一相对物理地址对应的物理地址调整为所述第一物理地址。本发明所提供的方法和装置解决现有技术中从逻辑地址顺序拷贝数据导致拷贝速度慢的问题。

Description

一种数据拷贝方法及装置

技术领域

本发明涉及电子技术领域，尤其涉及一种数据拷贝方法及装置。

背景技术

自动精简配置技术是从传统的空间分配方式直接演化而来的一中存储虚拟化技术，自动精简配置技术将所有存储空间汇集到精简池(Pool)中进行统一管理，使用固定大小的二级分配单元(Extent)将空间分块，最终精简池管理的Extent按需分配给精简逻辑单元号(Thin Logical Unit Number，简称Thin LUN)供业务系统使用。自动精简配置特性能简化存储配置管理，提高物理存储空间的使用效率。

随着自动精简配置技术越来越成熟，应用越来越普遍，基于自动精简配置的增值应用越来越多，Thin LUN直接的拷贝越来越频繁，这对Thin LUN直接的拷贝速率提出了更高的要求，传统LUN的拷贝方式越来越不能满足用户的需求。

自动精简配置技术将物理存储空间以Extent为单位划分为多个Extent，Extent按需分配给Thin LUN，Extent的粒度较大(为1M到1G不等)；Thin LUN申请到Extent后，再将Extent划分成粒度更小的一级分配单元(grain)，grain的粒度一般在8K到32K之间。为了将从Extent划分出来的物理grain与逻辑空间相对应，Thin LUN将逻辑空间也按grain进行划分，这些从逻辑空间划分的grain称为逻辑grain。有写入数据的读写(Input/Output，IO)命令下发到Thin LUN的逻辑grain时，Thin LUN动态地分配一个物理grain给这个逻辑grain，并建立逻辑grain到物理grain的对应关系。记录逻辑grain到物理grain的映射关系的数据称之为元数据。

现有Thin LUN间拷贝技术是：基于Thin LUN的逻辑地址，由低地址到高地址依次拷贝，直到拷贝完成为止。但是该技术存在以下缺点：

从逻辑地址顺序拷贝，经过映射后在物理地址上变成随机IO，拷贝速度慢(顺序拷贝速率为500MB以上，随机IO一般低于32M(按照每秒进行读写操作的次数(Input/OutputOperations Per Second，IOPS)为1K，粒度为32K计算))。

发明内容

本发明提供一种数据拷贝方法，本发明所提供的方法和装置解决现有技术中从逻辑地址顺序拷贝数据导致拷贝速度慢的问题。

一方面，本发明提供一种数据拷贝方法，一源数据存储在存储空间的源二级分配单元Extent中，用户通过源数据对应的一级映射表和二级映射表访问所述源数据，所述一级映射表用于按一级分配单元grain记录逻辑地址到相对物理地址的映射关系，所述二级映射表用于记录所述源数据的相对物理地址到实际物理地址的映射关系，将所述源数据拷贝到目标Extent时，该方法包括：

遍历所述源数据对应的所述二级映射表，依次获取分配给所述源数据的相对物理地址；

将所述相对物理地址中第一相对物理地址对应的第一单位数据读出，生成将所述第一单位数据写入所述目标Extent的第一写请求，所述第一写请求中包括所述第一相对物理地址；

根据所述第一写请求将所述第一单位数据写入目标Extent中的第一物理地址对应的位置，并将所述二级映射表中所述第一相对物理地址对应的物理地址调整为所述第一物理地址。

结合第一方面，在第一种可能的实现方式中，根据所述第一写请求将所述第一单位数据写入目标Extent中的第一物理地址对应的位置之前，该方法还包括：

确定所述第一相对物理地址是否有分配第一物理地址，如果没有，则为所述第一相对物理地址分配新的Extent，将所述新的Extent的物理地址作为所述第一物理地址。

结合第一方面至第一方面的第一种可能的实现方式中的任意一种，在第二种可能的实现方式中，所述源数据中包括主机数据和一级映射表对应数据。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述一级映射表对应数据的相对物理地址为基础地址，其中，所述主机数据的相对物理地址为所述基础地址与偏移量之和。

结合第一方面至第一方面的第三种可能的实现方式中的任意一种，在第四种可能的实现方式中，所述二级映射表的存放结构包括树状结构、线性表结构、哈希hash表结构。

第二方面，本发明还提供一种数据拷贝装置，存储空间划分为多个二级分配单元Extent，一源数据存储在存储空间的源二级分配单元Extent中，用户通过源数据对应的一级映射表和二级映射表访问所述源数据，所述一级映射表用于按一级分配单元grain记录逻辑地址到相对物理地址的映射关系，所述二级映射表用于记录所述源数据的相对物理地址到实际物理地址的映射关系；该装置包括：

相对物理地址获取单元，用于将所述源数据拷贝到目标Extent时，遍历所述源数据对应的所述二级映射表，依次获取分配给所述源数据的相对物理地址；

写请求生成单元，用于将所述相对物理地址中第一相对物理地址对应的第一单位数据读出，生成将所述第一单位数据写入所述目标Extent的第一写请求，所述第一写请求中包括所述第一相对物理地址；

更新单元，用于根据所述第一写请求将所述第一单位数据写入目标Extent中的第一物理地址对应的位置，并将所述二级映射表中所述第一相对物理地址对应的物理地址调整为所述第一物理地址。

结合第二方面，在第一种可能的实现方式中，该装置还包括：

空间分配单元，用于确定所述第一相对物理地址是否有分配第一物理地址，如果没有，则为所述第一相对物理地址分配新的Extent，将所述新的Extent的物理地址作为所述第一物理地址。

结合第二方面至第二方面的第一种可能的实现方式中的任意一种，在第二种可能的实现方式中，所述相对物理地址获取单元具体用于获取所述源数据中主机数据和一级映射表对应数据的相对物理地址。

上述技术方案中的一个或两个，至少具有如下技术效果：

本发明实施例所提供的方法和装置，获取数据的映射表分为两级，二级映射表是相对物理地址到实际物理地址的映射关系，拷贝数据时从二级映射表的物理地址获取需要拷贝的数据，并从物理地址进行拷贝(即本发明所提供的方法是从源LUN到目标LUN之间的裸数据拷贝)，提升Thin LUN之间后台拷贝在物理空间上的顺序性，提升拷贝性能。

附图说明

图1为本发明实施例提供的一种数据拷贝方法的流程示意图；

图2为本发明实施例提供的二级映射表的结构示意图；

图3为本发明实施例提供的一种数据拷贝装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合说明书附图对本发明实施例作进一步详细描述：

实施例一

如图1所示，本发明实施例提供一种数据拷贝方法，该方法具体包括：

一源数据存储在存储空间的源二级分配单元(Extent)中，用户通过源数据对应的一级映射表和二级映射表访问所述源数据，所述一级映射表用于按一级分配单元(grain)记录逻辑地址到相对物理地址的映射关系，所述二级映射表用于记录所述源数据的相对物理地址到实际物理地址的映射关系；

利用上述方式存储源数据后，如果用户要访问存储在Extent中的某一数据，用户则可以使用逻辑地址发起数据访问请求，然后设备利用访问请求中的逻辑地址查找一级映射表，通过一级映射表得到逻辑地址对应的相对物理地址；然后再通过相对物理地址查找二级映射表，在二级映射表中获取到相对物理地址对应的实际物理地址；通过实际物理地址获取用户需要访问的数据。

一级映射表和二级映射表的具体存放结构可以是任意结构，可选的具体结构包括树状结构、线性表结构、哈希(hash)表结构等。

当有新的数据存入，Thin LUN需要新的存储空间时，则向物理空间管理模块申请Extent；物理空间管理模块分配Extent完成后，更新二级映射表来记录分配给该Thin LUN的存储空间的实际物理地址与相对物理地址(可用extentId标示)的映射关系。

在数据拷贝的过程中，一级映射表对应数据没有变化且在数据拷贝时并不使用，所以一级映射表对应的数据可以作为源数据的一部分进行存储。所以该源数据中包括主机数据和一级映射表对应数据(二级映射表为树状结构时，具体可以为图2所示结构)。其中，存放一级映射表对应数据需要的物理空间和存储主机写入数据需要的物理空间都从extent分配。

因为一级映射表中标示了逻辑地址和相对物理地址之间的关系，而且用户在访问主机数据时，需要通过相对物理地址查找二级映射表，进而确定主机数据的物理地址。所以在二级映射表中一级映射表对应的数据的相对物理地址可以作为设置为其他数据相对物理地址的基础量，即主机数据的相对物理地址都基于一级映射表的相对物理地址计算得到(例如：二级映射表为树状结构，则一级映射表的相对物理地址为树根；二级映射表为线性表结构或hash表结构，则一级映射表的相对物理地址为表的首地址)。所以在该实施例中：

所述一级映射表对应数据的相对物理地址为基础地址，其中，所述主机数据的相对物理地址为所述基础地址与偏移量之和。

例如：一级映射表对应数据的相对物理地址为extentId，则主机数据的相对物理地址可以用extentId+偏移量(offset)来表示，extentId在一个LUN内统一编址，与具体的物理存储空间无关；

基于上述数据的存储方法，将源数据拷贝到目标Extent时，该方法实现具体包括：

步骤101，遍历所述源数据对应的所述二级映射表，依次获取分配给所述源数据的相对物理地址；

在数据拷贝时，上述的一级映射表和二级映射表中只需要对二级映射表的实际物理地址做调整，则可以保证数据拷贝完成后用户使用原有的方式同样能够访问到新地址的数据。所以为了保证数据的一致性，需要从二级映射表中获取到与一级映射表关联的相对物理地址，然后通过相对物理地址去关联拷贝后新的实际物理地址。

步骤102，将所述相对物理地址中第一相对物理地址对应的第一单位数据读出，生成将所述第一单位数据写入所述目标Extent的第一写请求，所述第一写请求中包括所述第一相对物理地址；

将需要拷贝的数据以相对物理地址为单位读出后，需要通过对应的写入请求将读出的数据写入到新的物理地址(目标Extent)，为了保证新的实际物理地址与相对物理地址的对应关系，写请求中携带相对物理地址。

步骤103，根据所述第一写请求将所述第一单位数据写入目标Extent中的第一物理地址对应的位置，并将所述二级映射表中所述第一相对物理地址对应的物理地址调整为所述第一物理地址。

在该实施例中，获取数据的映射表分为两级，二级映射表是相对物理地址到实际物理地址的映射关系，本发明实施提供的方案从二级映射表的物理地址获取需要拷贝的数据，并从物理地址进行拷贝，提升Thin LUN之间后台拷贝在物理空间上的顺序性，提升拷贝性能。

在该实施例中，根据所述第一写请求将所述第一单位数据写入目标Extent中的第一物理地址对应的位置之前，还需要确定第一相对物理地址是否有在目标Extent分配物理空间用来存放数据，所以该方法还进一步包括：

确定所述第一相对物理地址是否有分配第一物理地址，如果没有，则为所述第一相对物理地址分配新的Extent，将所述新的Extent的物理地址作为所述第一物理地址。

进一步，因为本发明实施例中一级映射表没有数据变化且在数据拷贝时并不使用，而且本发明实施例所提供的方法是将整个Extent作为拷贝的单位进行拷贝，所以在拷贝前后一级映射表在源数据中的相对位置都是不发生变化的，所以即使将一级映射表拷贝到目标Extent之后，用户需要访问一级映射表所使用的地址和源Extent的相同。

如图3所示，本发明实施例还提供一种数据拷贝装置，本发明实施例中所提供的装置所针对的存储空间划分为多个二级分配单元Extent，一源数据存储在存储空间的源二级分配单元Extent中，用户通过源数据对应的一级映射表和二级映射表访问所述源数据，所述一级映射表用于按一级分配单元grain记录逻辑地址到相对物理地址的映射关系，所述二级映射表用于记录所述源数据的相对物理地址到实际物理地址的映射关系；该装置包括：

相对物理地址获取单元301，用于将所述源数据拷贝到目标Extent时，遍历所述源数据对应的所述二级映射表，依次获取分配给所述源数据的相对物理地址；

可选的，所述相对物理地址获取单元301具体用于获取所述源数据中主机数据和一级映射表对应数据的相对物理地址。

写请求生成单元302，用于将所述相对物理地址中第一相对物理地址对应的第一单位数据读出，生成将所述第一单位数据写入所述目标Extent的第一写请求，所述第一写请求中包括所述第一相对物理地址；

更新单元303，用于根据所述第一写请求将所述第一单位数据写入目标Extent中的第一物理地址对应的位置，并将所述二级映射表中所述第一相对物理地址对应的物理地址调整为所述第一物理地址。

该实施例中，根据所述第一写请求将所述第一单位数据写入目标Extent中的第一物理地址对应的位置之前，该装置还包括：

空间分配单元，用于确定所述第一相对物理地址是否有分配第一物理地址，如果没有，则为所述第一相对物理地址分配新的Extent，将所述新的Extent的物理地址作为所述第一物理地址。

本申请实施例中的上述一个或多个技术方案，至少具有如下的技术效果：

在本发明实施例中，获取数据的映射表分为两级，二级映射表是相对物理地址到实际物理地址的映射关系，拷贝数据时从二级映射表的物理地址获取需要拷贝的数据，并从物理地址进行拷贝(即本发明所提供的方法是从源LUN到目标LUN之间的裸数据拷贝)，提升Thin LUN之间后台拷贝在物理空间上的顺序性，提升拷贝性能。

本发明的方法是在物理空间进行后台拷贝，确保IO在物理空间顺序寻址，提升性能。另外，数据拷贝时对没有分配空间的区域，不进行拷贝，提升拷贝速度。对Thin LUN一级映射表元数据进行直接拷贝，避免源数据反复读写，减少对CPU、盘等资源的消耗。

本发明所述的方法并不限于具体实施方式中所述的实施例，本领域技术人员根据本发明的技术方案得出其它的实施方式，同样属于本发明的技术创新范围。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种数据拷贝方法，其特征在于，一源数据存储在存储空间的源二级分配单元Extent中，用户通过源数据对应的一级映射表和二级映射表访问所述源数据，所述一级映射表用于按一级分配单元grain记录逻辑地址到相对物理地址的映射关系，所述二级映射表用于记录所述源数据的相对物理地址到实际物理地址的映射关系，将所述源数据拷贝到目标Extent时，该方法包括：

遍历所述源数据对应的所述二级映射表，依次获取分配给所述源数据的相对物理地址；

将所述相对物理地址中第一相对物理地址对应的第一单位数据读出，生成将所述第一单位数据写入所述目标Extent的第一写请求，所述第一写请求中包括所述第一相对物理地址；

根据所述第一写请求将所述第一单位数据写入目标Extent中的第一物理地址对应的位置，并将所述二级映射表中所述第一相对物理地址对应的物理地址调整为所述第一物理地址。

2.如权利要求1所述的方法，其特征在于，根据所述第一写请求将所述第一单位数据写入目标Extent中的第一物理地址对应的位置之前，该方法还包括：

确定所述第一相对物理地址是否有分配第一物理地址，如果没有，则为所述第一相对物理地址分配新的Extent，将所述新的Extent的物理地址作为所述第一物理地址。

3.如权利要求1～2任一所述的方法，其特征在于，所述源数据中包括主机数据和一级映射表对应数据。

4.如权利要求3所述的方法，其特征在于，所述一级映射表对应数据的相对物理地址为基础地址，其中，所述主机数据的相对物理地址为所述基础地址与偏移量之和。

5.如权利要求1或2所述的方法，其特征在于，所述二级映射表的存放结构包括树状结构、线性表结构、哈希hash表结构。

6.一种数据拷贝装置，其特征在于，存储空间划分为多个二级分配单元Extent，一源数据存储在存储空间的源二级分配单元Extent中，用户通过源数据对应的一级映射表和二级映射表访问所述源数据，所述一级映射表用于按一级分配单元grain记录逻辑地址到相对物理地址的映射关系，所述二级映射表用于记录所述源数据的相对物理地址到实际物理地址的映射关系；该装置包括：

相对物理地址获取单元，用于将所述源数据拷贝到目标Extent时，遍历所述源数据对应的所述二级映射表，依次获取分配给所述源数据的相对物理地址；

写请求生成单元，用于将所述相对物理地址中第一相对物理地址对应的第一单位数据读出，生成将所述第一单位数据写入所述目标Extent的第一写请求，所述第一写请求中包括所述第一相对物理地址；

更新单元，用于根据所述第一写请求将所述第一单位数据写入目标Extent中的第一物理地址对应的位置，并将所述二级映射表中所述第一相对物理地址对应的物理地址调整为所述第一物理地址。

7.如权利要求6所述的装置，其特征在于，该装置还包括：

空间分配单元，用于确定所述第一相对物理地址是否有分配第一物理地址，如果没有，则为所述第一相对物理地址分配新的Extent，将所述新的Extent的物理地址作为所述第一物理地址。

8.如权利要求6或7任一所述的装置，其特征在于，所述相对物理地址获取单元具体用于获取所述源数据中主机数据和一级映射表对应数据的相对物理地址。