CN108241553A - 一种数据备份控制方法 - Google Patents

Abstract

本发明涉及一种数据备份控制方法，该方法包括：客户端根据控制平台提供的数据备份策略对本地文件进行分区处理，并将分区后各个区数据发送到基于数据备份策略计算得到的备份节点中；故障发生时，根据所选择的备份节点中保存的区数据对故障客户端进行数据还原；该方法能够根据故障的类型进行适应性的备份，能够在进行备份数据的还原时，考虑备份数据本身的正确性，仅选择正确性高的备份数据做数据还原；还能够提升数据保护(还原)的速度，减少数据还原的时间。

Description

一种数据备份控制方法

【技术领域】

本发明属于数据处理领域，尤其涉及一种数据备份控制方法。

【背景技术】

随着计算机在各个行业应用的普及，大量数据是通过计算机来存储的，这就对数据的备份技术提出了更高的要求，尤其是在海量数据的高可用性和安全性等方面。对于一些重要的系统来说，要求实现真正的数据容灾保护，以避免由于系统故障，用户误操作，意外事件等给数据带来的无法弥补的后果，因此保护数据的高可用性和安全性越来越显得至关重要。

现有技术中通常是采用备份数据对发生故障(包括硬件故障和软件故障)的磁盘进行数据还原。对于磁盘发生的故障为软件故障(如误删除等)时，还是需要将备份磁盘的全部数据还原至主磁盘中，这样就使得数据的还原过程需要花费很多的时间，并且数据保护(还原)的速度也很慢，无法满足用户的需求，由于还原备份只有一个，也无法验证该备份的正确性。基于上述诸多问题，现在亟需一种新的数据备份控制方法，能够根据故障的类型进行适应性的备份，能够在进行备份数据的还原时，考虑备份数据本身的正确性，仅选择正确性高的备份数据做数据还原；还能够提升数据保护(还原)的速度，减少数据还原的时间。

【发明内容】

为了解决现有技术中的上述问题，本发明采用的技术方案如下：一种数据备份控制方法，其特征在于，该方法包括如下步骤：

步骤1：客户端根据控制平台提供的数据备份策略对本地文件进行分区处理，并将分区后各个区数据发送到基于数据备份策略计算得到的备份节点中；其中：多个备份节点中保存了针对同一区数据的多个备份；该针对同一区数据的多个备份保存在该多个备份节点的不同位置中；多个不同的客户端的区数据保存在同一个备份节点的不同位置、或保存在不同备份节点的不同位置；

步骤2：故障发生时，选择正确性高的备份节点，并根据该选择的备份节点中保存的区数据对故障客户端进行数据还原；数据还原中，不同的区数据通过不同的备份节点端口传送到客户端的不同物理位置；不同区数据的还原是并行发生的；

进一步，数据备份策略中包含文件分区策略和备份节点计算策略；根据备份节点计算策略可以计算得不同的区数据可以备份到的备份节点的编号，以及同一区数据可以备份到的多个备份节点的编号。

进一步，多个客户端可以同时发起数据备份请求，由于分区处理在本地进行，该数据备份是可以并行的。

进一步，不同客户端的区数据保存在备份节点中的不同位置处，备份节点在备份同时保证区数据之间不发生重叠。

进一步，当同一区数据的大小超过所分配的一个备份节点的可用空间大小时，放弃将该区数据保存到该备份节点中，而当同一区数据的大小超过所分配的所有备份节点的可用空间大小时，请求控制平台重新对该区数据所要备份的备份节点作分配。

进一步，客户端在进行文件分区时，需要使得分区后的区数据大小和控制平台预设区大小之间的差值在第一误差范围内，该预设区大小值根据备份节点的运行状况实时更新。

进一步，多个客户端之间的是独立的，该独立包括物理独立和/或虚拟独立。

进一步，当发生的故障类型不是硬件故障时，客户端选择数据还原的时机以及是否接受进行数据还原。

进一步，客户端选择数据还原的时机，具体为：选择故障范围和故障的重要程度均超过设定值时为数据还原的时机。

进一步，客户端可以登录控制中心对其备份数据作管理，该管理包括：查看、编辑、删除、添加、增量修改。

本发明的有益效果包括：能够根据故障的类型进行适应性的备份，能够在进行备份数据的还原时，考虑备份数据本身的正确性，仅选择正确性高的备份数据做数据还原；还能够提升数据保护(还原)的速度，减少数据还原的时间。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明的一种数据备份控制方法的流程图。

图2是本发明的一种数据备份控制系统的结构图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

参见附图1，其示出了本发明的一种数据备份控制方法的基本步骤：

步骤1：客户端根据控制平台提供的数据备份策略对本地文件进行分区处理，并将分区后各个区数据发送到基于数据备份策略计算得到的备份节点中；其中：多个备份节点中保存了针对同一区数据的多个备份；该针对同一区数据的多个备份保存在该多个备份节点的不同位置中；多个不同的客户端的区数据保存在同一个备份节点的不同位置、或保存在不同备份节点的不同位置；

步骤2：故障发生时，选择正确性高的备份节点，并根据该选择的备份节点中保存的区数据对故障客户端进行数据还原；数据还原中，不同的区数据通过不同的备份节点端口传送到客户端的不同物理位置；不同区数据的还原是并行发生的；

参见附图2，是本发明所应用的一种数据备份控制系统，该系统包括多个客户端，多个备份节点，控制平台，在控制平台的控制下，将客户端中的文件数据保存到一个或多个备份节点中；客户端、备份节点、控制平台之间通信连接；

基于上述系统，下面对本发明的一种数据备份控制方法进行详细说明：

(1)客户端向控制平台发送备份请求，请求中携带该客户端本次需要备份的文件个数n、文件平均大小FS、客户端标识ID；

客户端周期性的、在空闲时区、或发起重要数据操作前发出备份请求；

客户端可以选择需要备份的文件，选择需要备份的方式为增量或者全量。

(2)控制平台接收备份请求，根据当前备份节点存储资源可用情况，确定并发送分区策略给该请求客户端；分区策略中包含本次分区基准值Z，区文件冗余份数基准值R；

具体的：根据客户端标识ID从本地预存的客户端标识ID和客户端优先级PR之间的对应表获取该客户端的优先级PR；

基于该优先级PR和文件平均大小FS，根据公式(1)计算文件分区基准值Z；考虑到文件大小较大时，应当将文件尽量分配到不同的备份节点以提高文件的还原速度，同时当客户端优先级较高时，将文件分配到多个备份节点可以提高文件的还原速度，从而给高优先级用户更好的还原体验，因此，对高优先级客户端和大文件备份提供更高的基准值从而提高文件的分散度，以保证数据的安全性和还原速度；

分区基准值的最大值Zmax根据公式(3)计算得到；

Zmax＝FS×n/∑(CP/NM)×Rmax×w公式(3)

其中，CP为一个备份节点的可用空间大小，∑(CP/NM)为所有可用备份节点的平均可用空间大小；NM为可用备份节点总数；Rmax最大冗余份数，w为调节系数，可以由控制平台根据当前备份节点运行状况来预设，备份节点运行状况包括：备份节点可用计算资源，可用端口，可用存储资源；当冗余份数过多时，客户端不能提供足够的端口进行并行还原，且安全性也不能再提高更多，因此，可以根据经验来设置该Rmax值；

冗余份数基准值R由控制平台根据当前可用备份节点个数或系统中备份节点总数来设置；R是可以动态调节的；

(3)客户端根据文件分区基准值Z进行文件分区，并计算区Lj的冗余份数Rj；具体的：客户端的数据以文件为组织单位进行顺序编号；顺序编号后的文件为：F1，F2，···，Fi，···，Fn；其中，n为客户端总的文件个数；将n个文件分为Z个区文件，L1，L2···，Lj，···L Z；其中：Fi将被分配到区L_{i mod Z}中；根据公式(2)计算区Lj的冗余份数Rj，其中NLj为区Lj中文件的数量，FPRj,k为区Lj中的第k个文件Lj,k的文件优先级，FPRmax为最高文件优先级；

文件优先级可以由客户端根据文件重要程度来设置；也可以在提交文件基本信息后由控制平台设置；FPRmax为最高文件优先级，由控制平台统一设置；预设数量由控制平台预先设置；

将文件编号和文件在客户端的物理位置(文件存储的起始位置)、文件所在的区，文件在区中的位置，关联保存在文件和区对照表中；将区及其包含的文件编号、文件在区中的位置保存在区目录表中；

优选的：按照文件在客户端的物理位置的前后顺序进行编号；

(4)控制平台计算每个区对应的备份节点集合Sj，Sz+j···，S_Rj；其中，S为备份节点的编号；具体的：计算所有备份节点到该客户端ID的通信开销C，并将通信开销按照从小到大排序，从中选取前Z个备份节点构成第一备份节点组{S1，S2，···Sj，···Sz}；继续从第Z+1个备份节点开始选取第二备份节点组{Sz+1，Sz+2，···Sz+j，···Sz+z}，如果区Lj的冗余份数Rj小于2，则Sz+j＝0，表示没有选取任何备份节点；类似的，继续选取下一备份节点组，直到备份节点组数量大于FPRmax×R，或者所有的备份节点均被分配完毕为止；类似的，如果当次分配已经超过了区Lj的冗余份数Rj，则将相应的备份节点分配编号设置为0，表示没有选取任何备份节点；区文件Lj对应的备份节点集合为{Sj，Sz+j···，S_Rj}(如果备份节点被分配完，则分配的备份节点数量会少于Rj个)；

考虑到通信开销小的情况下，还原的速度也会高，因此保证为每个区文件均优先选择通信开销最小的备份节点进行区备份；而为冗余份数较多的区选择较多的备份节点进行备份；

(5)客户端依次向每个区Lj对应的备份节点集合Sj，Sz+j···，S_Rj进行区备份；具体为：从L1开始到L_Z，对于每个Lj，首先向Lj对应的备份节点集合中的第一个备份节点Sj发出备份请求，并进行区文件的备份，将Lj中包含的所有文件备份到备份节点Sj中；然后对Lj+1对应的备份节点集合中的第一个备份节点Sj+1发出备份请求，并进行区数据的备份，将区Lj+1中包含的所有文件备份到备份节点Sj+1中；直到对所有区对应的备份节点集合中的第一个备份节点均完成备份为止；然后开始对每个Lj完成向其对应的备份节点集合中的第二备份节点的备份，具体为：向Lj对应的备份节点集合中的第二个备份节点Sz+j发出备份请求，并进行区文件的备份，将Lj中包含的所有文件备份到备份节点Sz+j中；直到对所有区对应的备份节点集合中的第二个备份节点均完成备份为止；按照这样的方式进行备份，直到对所有区对应的所有备份节点集合中的每个备份节点的备份均完毕为止；其中，如果备份节点编号为0，则表示该区Lj对应的冗余份数已经备份完毕，跳过直接处理下一个备份节点的备份；

将一个区中包含的所有文件备份到一个备份节点中，具体为：将区Lj中包含的所有文件保存到备份节点Sj中合适的可用空间中并保存该Lj和其保存位置的对应关系；还包括选择合适的可用空间的步骤，具体为：查找备份节点Sj中的所有可用空间的大小，计算Lj的大小，选择和Lj的大小最接近的可用空间作为合适的可用空间；在所有的可用空间均小于Lj的时候，将Lj进行分块，并将Lj按照可用空间的大小从大到小进行分块，直到剩余区大小不再需要分块为止，将这些分块分别保存在对应大小的可用空间中，这些对应大小的可用空间为合适的可用空间；保存Lj的分块和该些合适的可用空间位置之间的对应关系；优选的：该对应关系可以保存在备份节点Sj中或保存在控制平台中；优选的：将区Lj或者区Lj的分块保存在合适的可用空间的开始位置处；

(6)控制平台对每个客户端的运行状态进行实时监测，当客户端发生故障时，根据备份节点中保存的数据对故障客户端进行数据还原；

具体的：判断客户端的故障类型，如果是局部故障，则确定发生故障的文件编号，查找文件和区对照表获取故障文件所在区Lj，将区Lj中的所有文件均作还原；如果是全局故障，则依次对客户端的所有区中的每个区Lj，将区Lj中的所有文件均作还原；

确定局部故障，具体为：确定发生故障的文件的个数，当故障文件的个数超过第一预订数量或者故障文件中包含的高于指定优先级的故障文件的数量高于第二预定数量时，确定为局部故障；否则，继续保持客户端的运行而不作还原；由于每次还原需要不小的时间和空间开销，因此，只有在故障达到一定程度时才考虑做局部故障；

确定全局故障，具体为：确定发生故障的文件的个数超过第三预定数量或者客户端发生硬件故障时，确定为全局故障；

其中，将区Lj中的所有文件均作还原，具体为：获取区Lj所在的所有备份节点集合{Sj，Sz+j···，S_Rj}，获取故障客户端的端口数目NP，从所有备份节点集合中选择NP个备份节点用于本次备份；该NP个备份节点为：第一备份节点、第二备份节点，···，第NP备份节点；建立该NP个备份节点和客户端NP个端口之间绑定关系，通过该NP个端口使该NP个备份节点对客户端的包含在区Lj中的文件作并行还原；

从所有备份节点集合中选择NP个备份节点用于本次备份，具体为：对所有备份节点集合中的每个备份节点中保存的区Lj计算该区Lj的数据签名，计算所有数据签名值的平均值；计算每个备份节点中保存的区Lj的数据签名和该平均值之间的距离，选择距离最小的前NP个数据签名对应的NP个备份节点为所选择的NP个备份节点；

优选的：采用公式计算距离；

由于备份节点中保存的数据也可能会发生错误，因此，需要对备份节点中保存的数据正确性做检查，选择正确性高的备份节点作还原；

通过该NP个端口使该NP个备份节点对客户端的包含在区Lj中的文件作并行还原，具体为：考虑通信开销的同时，使NP个备份节点中的每个不同备份节点存储的Lj备份对Lj包含的不同文件做还原；优选的：通过查找文件和区对照表获取文件在客户端的物理位置，将文件还原到该保存的物理位置处；通过这样的方式，可以在文件还原的同时，将文件还原到原始位置处；查找区目录表获取Lj中包含的所有文件，获取文件大小信息，将文件按照从大到小的顺序排序，获取该NP个备份节点和客户端之间的通信开销C，依次将文件从大到小分配给通信开销从小到大排序的备份节点作还原；通过均衡大小和通信开销，使得并行还原的各个文件进展速度能够大致保持一致，避免短板情况的出现；

建立该NP个备份节点和客户端NP个端口之间绑定关系，具体为：在控制平台的控制下，NP个备份节点中的每个备份节点分别和NP个端口中的每一个建立绑定关系，建立绑定关系后，备份节点主动的进行数据还原，将保存的数据保存到客户端对应的位置中；

优选的：该客户端的NP个端口是客户端包含的多个物理设备的所提供的独立端口；

本发明的一种数据备份控制方法，能够根据故障的类型进行适应性的备份，能够在进行备份数据的还原时，考虑备份数据本身的正确性，仅选择正确性高的备份数据做数据还原；还能够提升数据保护(还原)的速度，减少数据还原的时间。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (10)

1.一种数据备份控制方法，其特征在于，该方法包括如下步骤：

步骤1：客户端根据控制平台提供的数据备份策略对本地文件进行分区处理，并将分区后各个区数据发送到基于数据备份策略计算得到的备份节点中；其中：多个备份节点中保存了针对同一区数据的多个备份；该针对同一区数据的多个备份保存在该多个备份节点的不同位置中；多个不同的客户端的区数据保存在同一个备份节点的不同位置、或保存在不同备份节点的不同位置；

步骤2：故障发生时，选择正确性高的备份节点，并根据该选择的备份节点中保存的区数据对故障客户端进行数据还原；数据还原中，不同的区数据通过不同的备份节点端口传送到客户端的不同物理位置；不同区数据的还原是并行发生的。

2.根据权利要求1所述的数据备份控制方法，其特征在于，所述数据备份策略中包含文件分区策略和备份节点计算策略；根据备份节点计算策略可以计算得不同的区数据可以备份到的备份节点的编号，以及同一区数据可以备份到的多个备份节点的编号。

3.根据权利要求1-2任意一项所述的数据备份控制方法，其特征在于，多个客户端可以同时发起数据备份请求，由于分区处理在本地进行，该数据备份是可以并行的。

4.根据权利要求1-3任意一项所述的数据备份控制方法，其特征在于，不同客户端的区数据保存在备份节点中的不同位置处，备份节点在备份同时保证区数据之间不发生重叠。

5.根据权利要求1所述的数据备份控制方法，其特征在于，当同一区数据的大小超过所分配的一个备份节点的可用空间大小时，放弃将该区数据保存到该备份节点中，而当同一区数据的大小超过所分配的所有备份节点的可用空间大小时，请求控制平台重新对该区数据所要备份的备份节点作分配。

6.根据权利要求1所述的数据备份控制方法，其特征在于，客户端在进行文件分区时，需要使得分区后的区数据大小和控制平台预设区大小之间的差值在第一误差范围内；所述控制平台预设区的大小值根据备份节点的运行状况实时更新。

7.根据权利要求1所述的数据备份控制方法，其特征在于，多个客户端之间是独立的，该独立包括物理独立和/或虚拟独立。

8.根据权利要求1所述的数据备份控制方法，其特征在于，当发生的故障类型不是硬件故障时，客户端需选择数据还原的时机以及是否接受进行数据还原。

9.根据权利要求8所述的数据备份控制方法，其特征在于，客户端选择数据还原的时机包括：选择故障范围和故障的重要程度均超过设定值时为数据还原的时机。

10.根据权利要求1所述的数据备份控制方法，其特征在于，客户端可以登录控制中心对其备份数据作管理，该管理包括：查看、编辑、删除、添加、增量修改。