CN110502365B - 数据存储及恢复的方法、装置及计算机设备 - Google Patents

Abstract

本申请公开了一种数据存储及恢复的方法、装置及计算机设备，涉及数据处理领域，可以解决在恢复异常数据文件时，恢复耗时长、成本高的问题。其中方法包括：获取由原始数据文件均匀划分的多个数据块；基于纠删码将所述数据块编码处理成多个数据片及校验片；利用所述数据片及所述校验片存储所述原始数据文件；若判定所述原始数据文件缺失，则利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件。本申请适用于对数据文件的分块存储及缺失数据的自动恢复。

Description

数据存储及恢复的方法、装置及计算机设备

技术领域

本申请涉及数据处理领域，尤其涉及一种数据存储及恢复的方法、装置及计算机设备。

背景技术

随着计算机在各个行业的普及，大量数据文件都需要通过计算机服务器进行处理、存储，对于一些价值较高的数据文件，若存储过程中出现异常或丢失，将直接关乎到企业或个人的经济效益，严重者甚至会关乎到社会效益。作为服务器大脑的处理器在内外部环境因素的影响下，难免会出现异常，在处理器异常的情况下，如何去保障服务器内的数据文件不出现异常或不丢失，那将是至关重要的问题。

目前业内主要是通过动态监测存储空间内的数据文件，当判断数据文件存储异常时，重新上传副本数据文件，进而替换缺失的数据文件。

然而上述数据恢复的方式，当判定存储异常时，需要拷取副本数据文件并进行上传，当数据文件传输量大时，拷贝及传输过程会耗时较长，容易耽误业务的运行进程，且造成数据恢复的成本较大。

发明内容

有鉴于此，本申请公开了一种数据存储及恢复的方法、装置及计算机设备，主要目的在于解决在恢复异常数据文件时，恢复耗时长、成本高的问题。

根据本申请的一个方面，提供了一种数据存储及恢复的方法，该方法包括：

获取由原始数据文件均匀划分的多个数据块；

基于纠删码将所述数据块编码处理成多个数据片及校验片；

利用所述数据片及所述校验片存储所述原始数据文件；

若判定所述原始数据文件缺失，则利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件。

根据本申请的另一个方面，提供了一种数据存储及恢复的装置，该装置包括：

获取模块，用于获取由原始数据文件均匀划分的多个数据块；

处理模块，用于基于纠删码将所述数据块编码处理成多个数据片及校验片；

存储模块，用于利用所述数据片及所述校验片存储所述原始数据文件；

恢复模块，用于若判定所述原始数据文件缺失，则利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件。

根据本申请的又一个方面，提供了一种非易失性可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述数据存储及恢复的方法。

根据本申请的再一个方面，提供了一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据存储及恢复的方法。

借由上述技术方案，本申请提供的一种数据存储及恢复的方法、装置及计算机设备，与目前利用副本数据文件替换缺失数据文件的方式相比，本申请可将原始数据文件划分成多个数据块，并基于纠删码技术对数据块进行编码处理，获取得到多个数据片及校验片，将数据片及校验片存储于不同的数据中心，通过按序读取数据片来获取原始数据文件，当判定某一数据中心内的数据片及校验片发生缺失时，可利用其余数据正常的数据片及校验片对其进行自动解码修复，进而实现对数据文件的恢复。本方案的整个恢复过程非常的高效，能够及时检测并修复缺失的数据块，从而不耽误业务进程。在数据文件恢复时只需要对缺失数据片进行恢复，不需要更换整个数据文件，故能有效降低数据恢复的成本，且能避免由于数据恢复时间长而造成的经济损失。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本地申请的不当限定。在附图中：

图1示出了本申请实施例提供的一种数据存储及恢复的方法的流程示意图；

图2示出了本申请实施例提供的另一种数据存储及恢复的方法的流程示意图；

图3示出了本申请实施例提供的一种数据存储及恢复的装置的结构示意图；

图4示出了本申请实施例提供的另一种数据存储及恢复的装置的结构示意图。

具体实施方式

下文将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。

针对目前在恢复缺失数据文件时，恢复耗时长、成本高的问题，本申请实施例提供了一种数据存储及恢复的方法，如图1所示，该方法包括：

101、获取由原始数据文件均匀划分的多个数据块。

对于本实施例，在具体的应用场景中，为了实现对原始数据文件的分块处理，以及对数据块的编码存储，故需要预先将原始数据文件均匀切割成多个大小相等的数据块，分割数量可根据实际应用场景进行确定。例如，一个24MB的原始数据文件，可根据实际情况划分成两个12MB的数据块，依次读取两个数据块即可获取到原始数据文件。

102、基于纠删码将数据块编码处理成多个数据片及校验片。

对于本实施例，在具体的应用场景中，在将原始数据文件按照数据排列顺序分割成N个大小相同的原始数据块后，可利用纠删码对原始数据块编码生成N个大小相同的数据片，以及M个与数据片大小相同的校验数据片，其中，基于纠删码对原始数据文件划分的原理为：基于柯西矩阵的Erasure Code，主要应用到柯西矩阵的可逆性，纠删码存储的数据上传与恢复过程主要利用编码、解码来恢复丢失的数据。

103、利用数据片及校验片存储原始数据文件。

对于本实施例，在具体的应用场景中，为了实现对数据文件的安全存储，可将原始数据块和校验数据块分别存储在不同的位置，如不同的磁盘、不同的存储节点等。这样分区存储的方式，能够避免数据存储在一个位置，由于单个存储空间损坏而造成全部数据缺失的问题，且当单个存储节点出现故障或错误时，能够清晰判定出数据缺失的数据片或校验片，还能利用其他存储空间内完整的数据片及校验片对缺失文件进行数据恢复。

104、若判定原始数据文件缺失，则利用符合预设条件的数据片及校验片解码恢复原始数据文件。

其中，预设条件为数据缺失的数据片及校验片的数量应满足纠删码的容错冗余度，容错冗余度可对应校验片的数量，当数据缺失的数据片及校验片的数量小于或等于容错冗余度时，可利用数据正常的数据片及校验片实现对缺失数据的恢复；当数据缺失的数据片及校验片的数量大于容错冗余度时，说明数据正常的数据片及校验片已无法实现对缺失数据的解码恢复，即超出了纠删码的数据恢复条件。

例如，将原始数据信息切分为k块source data(数据块)，然后通过纠删码Encoder生成n块encoded data(编码的数据块)，其中，encoded data中包含(n-k)块校验块，最后统一存储传输；只要能够接收到k`>＝k块的encoded data，就能够计算出所有的sourcedata。

通过本实施例中数据存储及恢复的方法，可将原始数据文件划分成多个数据块，并基于纠删码技术对数据块进行编码处理，获取得到多个数据片及校验片，将数据片及校验片存储于不同的数据中心，通过按序读取数据片来获取原始数据文件，当判定某一数据中心内的数据片及校验片发生缺失时，可利用其余数据正常的数据片及校验片对其进行自动解码修复，进而实现对数据文件的恢复。本方案的整个恢复过程非常的高效，能够及时检测并修复缺失的数据块，从而不耽误业务进程。在数据文件恢复时只需要对缺失数据片进行恢复，不需要更换整个数据文件，故能有效降低数据恢复的成本，且能避免由于数据恢复时间长而造成的经济损失。

进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了另一种数据存储及恢复的方法，如图2所示，该方法包括：

201、获取由原始数据文件均匀划分的多个数据块。

例如，一个36MB的原始数据文件，可根据实际情况均匀划分成三个12MB的数据块，并对这三个数据块按照原始数据文件的排列顺序进行编号，当读取原始数据文件时，可按照编号由小到大的顺序读取数据块，进而到原始数据文件。

202、利用纠删码对数据块进行编码，将原始数据文件按照第一划分规则划分成大小相同的第一数据片及第一校验片。

其中，第一划分规则为将原始数据文件编码划分成预设均等数量，并生成与数据块同等数量且大小相同的第一数据片，以及生成设定数量个与第一数据片大小相同的第一校验片。在具体的应用场景中，第一划分规则可设定第一数据片以及第一数据块的划分数量。

例如，获取第一划分规则为：将原始数据文件编码划分为2个第一数据片和1个第一校验片。如原始数据文件为24MB，则按照第一划分规则可编码生成2个12MB的第一数据片、1个12MB的第一校验片。通过读取2个12MB的第一数据片即可获取到原始数据文件。第一校验片的作用是用于对第一数据片丢失数据的恢复，校验片的数量代表纠删码的容错能力，即最大冗余度。在本实施例中，最多只能允许其中一个第一数据片发生数据丢失，才能保证丢失的数据能够完全恢复。

203、利用纠删码对第一数据片进行二次编码，将各个第一数据片按照第二划分规则划分成大小相同的第二数据片及第二校验片。

其中，第二划分规则为：对划分后的各个第一数据片进行二次编码划分，即将第一数据片编码均匀划分为预定数量个第二数据片和第二校验片。在具体的应用场景中，第二划分规则可设定单个第一数据片划分为第二数据片以及第二校验片的数量。

例如，获取第二划分规则为：将各个第一数据片编码划分为4个第二数据片和2个第二校验片。如原始数据文件为24MB，已按照第一划分规则编码生成2个12MB的第一数据片、1个12MB的第一校验片。则可继续按照第二划分规则将两个12MB的第一校验片分别划分为4个3MB的第二数据片以及2个同等大小的第二校验片，通过读取4个12MB的第二数据片即可获取到对应的第一数据片数据，通过按序读取8个第二数据片即可获取原始数据文件，第二校验片的作用是用于对第二数据片丢失数据的恢复，校验片的数量代表纠删码的容错能力，即最大冗余度。在本实施例中，最多只能允许其中两个第二数据片发生数据丢失，才能保证丢失的数据能够完全恢复。

204、将各个第一数据片存储于不同的第一数据中心，将各个第一校验片存储于不同的第二数据中心。

对于本实施例，在具体的应用场景中，为了避免数据同时丢失，且实现对数据文件的安全存储，可将第一数据片和第一校验片分别存储在不同的位置。例如，一个24MB的文件，可利用第一划分规则进行一级划分，划分成2个12MB的第一数据片和1个12MB的第一校验片，之后将2个第一数据片分别存放于A第一数据中心及B第一数据中心，将1个第一校验片存放于C第二数据中心。

205、将第二数据片及第二校验片分别对应存储于第一数据中心内的不同存储单元。

基于实施例步骤204的实施例，在将2个12MB的第一数据片和1个12MB的第一校验片分别存放于A第一数据中心、B第一数据中心及C第二数据中心后，对于每个第一数据中心内存储的12MB第一数据片，可基于第二划分规则进行二级划分，分别切成4个3MB的第二数据片，以及2个3MB的第二校验片，为了防止第二数据片同时丢失，可将第二数据片和第二校验片分别存储在对应A第一数据中心和B第一数据中心内的不同存储位置。

206a、通过读取所有第一数据片来获取原始数据文件。

对于本实施例，在具体的应用场景中，实施例步骤206a具体可以包括：获取各个第一数据片的第一序号，其中，第一序号对应第一数据片拼装原始数据文件的排列顺序；按照由小到大的第一序号读取第一数据片，以便获取原始数据文件。

例如，将原始数据文件基于第一划分规则均匀划分成四个第一数据片a、b、c、d后，在想要获取原始数据文件时，可通过获取这四个第一数据片的第一序号来进行读取，如获取到a、b、c、d这四个第一数据片的第一序号分别为4、2、3、1，则可按照第一序号有小到大的顺序读取第一数据片d、第一数据片b、第一数据片c、第一数据片a来获取到原始数据文件。

207a、若判定存在缺失的第一数据片，则确定原始数据文件缺失。

对于本实施例，在具体的应用场景中，所有第一数据片累加起来代表原始数据文件，当利用读取第一数据片的方式来获取原始数据文件时，若判定存在缺失的第一数据片时，通过读取第一数据片无法获取到完整的原始数据文件，即可确定原始数据文件缺失。

208a、确定存在第一数据片数据缺失的目标第一数据中心。

相应的，对于本实施例，当确定存在第一数据片缺失时，需要预先获取缺失第一数据片所在的目标第一数据中心，作为待恢复的数据中心点。

209a、提取目标第一数据中心内的所有目标第二数据片及目标第二校验片。

在具体的应用场景中，在确定出存在第一数据片数据缺失的目标第一数据中心后，即可对目标第一数据中心内缺失的第一数据片进行恢复，具体可包括两种恢复方式。在本实施例步骤中首先介绍对第一数据片的第一种恢复方式，即利用目标第一数据中心内的第二数据片及第二校验片来恢复，故需要首先提取出目标第一数据中心内的所有目标第二数据片及目标第二校验片。进而通过执行实施例步骤210a至实施例步骤211a，来实现对缺失第一数据片的恢复。

210a、若判定目标第二数据片数据完整，则按照第二序号读取目标第二数据片，以便获取数据缺失的目标第一数据片。

相应的，利用目标第一数据中心内的第二数据片及第二校验片来恢复缺失第一数据片时，又包括两种恢复场景，本实施例步骤提供了其中第一种恢复场景，即判定所有目标第二数据片数据完整的情况下，可通过按序读取目标第一数据中心内的所有第二数据片来获取数据缺失的目标第一数据片。

211a、若判定目标第二数据片存在数据缺失且符合第二数据恢复条件，则利用数据完整的目标第二数据片及目标第二校验片解码恢复数据缺失的目标第二数据片，按照第二序号读取恢复后的目标第二数据片，以便获取目标第一数据片。

其中，第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值。第二预设阈值对应数据恢复的最大冗余度，即代表目标第二数据片的最大容错数量，第二预设阈值可对应目标第二校验片的数量，如目标第二校验片的数量为2，则可设定第二预设阈值为2，当数据缺失的目标第二数据片及目标第二校验片的数量小于等于2时，可利用数据完整的目标第二数据片及目标第二校验片解码恢复数据缺失的目标第二数据片，在完成对第二数据片的数据恢复后，可通过按序读取目标第一数据中心内的所有第二数据片来获取数据缺失的目标第一数据片。

对于本实施例，作为与实施例步骤210a并列的利用第二数据片及第二校验片来恢复缺失第一数据片的另一种恢复场景，即判定目标第二数据片存在数据缺失且符合第二数据恢复条件，则可利用数据完整的目标第二数据片及目标第二校验片解码恢复数据缺失的目标第二数据片，在所有目标第二数据片数据恢复完整后，通过按序读取目标第一数据中心内的所有第二数据片来获取数据缺失的目标第一数据片。

212a、若判定目标第二数据片存在数据缺失且不符合第二数据恢复条件，则获取数据完整的第一数据片及第一校验片。

在本实施例步骤中介绍与实施例步骤209a对应的对缺失第一数据片的第二种恢复方式，即利用其他第一数据中心内数据完整的第一数据片及第二数据中心内的第一校验片来恢复目标第一数据中心的第一数据片。因获取其他数据中心内的数据比获取同一数据中心内数据的耗时长，故为了提高数据恢复的效率，作为一种优选方式，可优先执行实施例步骤209a的恢复操作，当确定目标数据中心内的第二数据片存在缺失且解码不可恢复时，可进而执行实施例步骤213a至实施例步骤214a的数据恢复操作。

213a若判定目标第一数据片符合第一数据恢复条件，则利用数据完整的第一数据片及第一校验片解码恢复目标第一数据片。

其中，第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于或等于第一预设阈值。第一预设阈值对应数据恢复的最大冗余度，即代表第一数据片的最大容错数量，第一预设阈值可对应第一校验片的数量，如目标第二校验片的数量为1，则可设定第二预设阈值为1，当数据缺失的目标第二数据片及目标第二校验片的数量小于或等于1时，可利用数据完整的第一数据片及第一校验片解码恢复目标第一数据片。

214a若判定目标第一数据片不符合第一数据恢复条件，则输出数据恢复异常的报警信息。

对于本实施例，若判定数据缺失的目标第一数据片及目标第一校验片不满足第一数据恢复条件，即在恢复数据缺失的第一数据片时，通过上述两种数据恢复方法均不能实现对第一数据片的恢复，则可进一步输出报警信号，起到提示的目的，以便工作人员采取策略进行及时的抢修。

与实施例步骤206a并列的实施例步骤206b、通过读取所有第二数据片来获取原始数据文件。

对于本实施例，在具体的应用场景中，实施例步骤206b具体可以包括：获取各个第二数据片的第二序号，其中，第二序号对应第二数据片拼装原始数据文件的排列顺序；按照由小到大的第二序号读取第二数据片，以便获取原始数据文件。

例如，将原始数据文件基于第一划分规则均匀划分成两个第一数据片A、B后，再将第一数据片A按照第二划分规则编码划分为四个第二数据片a1、a2、a3、a4。将第一数据片B按照第二划分规则编码划分为四个第二数据片b1、b2、b3、b4。在想要获取原始数据文件时，可按照这8个第二数据片的第二序号来进行读取，如获取到a1、a2、a3、a4、b1、b2、b3、b4这8个第一数据片的第一序号分别为4、2、3、1、5、6、8、7则可按照第一序号由小到大的顺序通过读取第二数据片a4、第二数据片a2、第二数据片a3、第二数据片a1、第二数据片b1、第二数据片b2、第二数据片b4、第二数据片b3来获取到原始数据文件。

207b、若判定存在缺失的第二数据片，则确定原始数据文件缺失。

对于本实施例，在具体的应用场景中，所有第二数据片累加起来代表原始数据文件，当利用读取第二数据片的方式来获取原始数据文件时，若判定存在缺失的第二数据片时，通过读取第二数据片无法获取到完整的原始数据文件，即可确定原始数据文件缺失。

208b、确定存在第二数据片数据缺失的目标第一数据中心。

相应的，对于本实施例，当确定存在第二数据片缺失时，需要预先获取缺失第二数据片所在的目标第一数据中心，作为待恢复的数据中心点。

209b、获取目标第一数据中心内数据完整的目标第二数据片及目标第二校验片。

在具体的应用场景中，在确定出存在第二数据片数据缺失的目标第一数据中心后，即可对目标第一数据中心内缺失的第二数据片进行恢复，具体可包括两种恢复方式。在本实施例步骤中首先介绍对缺失第二数据片恢复的第一种方式，即利目标第一数据中心内数据完整的目标第二数据片及目标第二校验片来恢复，故需要首先提取出目标第一数据中心内的所有数据完整的目标第二数据片及目标第二校验片。进而通过执行实施例步骤210b，来实现对缺失第二数据片的恢复。

210b、若判定数据缺失的目标第二数据片符合第二数据恢复条件，则利用数据完整的目标第二数据片及目标第二校验片解码恢复数据缺失的目标第二数据片。

其中，第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值。第二预设阈值对应数据恢复的最大冗余度，即代表目标第二数据片的最大容错数量，第二预设阈值可对应目标第二校验片的数量，如目标第二校验片的数量为2，则可设定第二预设阈值为2，当数据缺失的目标第二数据片及目标第二校验片的数量小于或等于2时，可利用数据完整的目标第二数据片及目标第二校验片解码恢复数据缺失的目标第二数据片。

211b、若判定目标第二数据片不符合第二数据恢复条件，则获取目标第一数据中心内的目标第一数据片。

在本实施例步骤中介绍与实施例步骤209b对应的对缺失第二数据片的第二种恢复方式，即利用目标第一数据中心内的目标第一数据片来实现对缺失第二数据片的恢复，故需要首先提取出目标第一数据中心内的目标第一数据片。进而通过执行实施例步骤212b至实施例步骤213b，来实现对缺失第二数据片的恢复。

212b、若判定目标第一数据片数据完整，则利用纠错码将目标第一数据片重新划分成符合第二划分规则的第二数据片及第二校验片，以便替换数据缺失的目标第二数据片。

相应的，利用目标第一数据中心内的第一数据片来恢复缺失第二数据片时，又包括两种恢复场景，本实施例步骤提供了第一种恢复场景，即判定目标第一数据片数据完整的情况下，可通过纠错码将目标第一数据片重新划分成符合第二划分规则的第二数据片及第二校验片，进而替换数据缺失的目标第二数据片或目标第二校验片。

213b、若判定目标第一数据片数据缺失且符合第一数据恢复条件，则利用数据完整的第一数据片及第一校验片解码恢复数据缺失的目标第一数据片。

其中，第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于等于第一预设阈值。第一预设阈值对应数据恢复的最大冗余度，即代表第一数据片的最大容错数量，第一预设阈值可对应第一校验片的数量，如目标第二校验片的数量为1，则可设定第二预设阈值为1，当数据缺失的目标第二数据片及目标第二校验片的数量小于等于1时，可利用数据完整的第一数据片及第一校验片解码恢复目标第一数据片。之后可通过纠错码将恢复后的目标第一数据片重新划分成符合第二划分规则的第二数据片及第二校验片，进而替换数据缺失的目标第二数据片或目标第二校验片。

214b、若判定目标第一数据片数据缺失且不符合第一数据恢复条件，则输出数据恢复异常的报警信息。

对于本实施例，若判定数据缺失的的目标第一数据片不满足第一数据恢复条件，即恢复数据缺失的第二数据片时，通过上述两种数据恢复方法均不能实现对第二数据片的恢复，则可进一步输出报警信号，起到提示的目的，以便工作人员采取策略进行及时的抢修。

在具体的应用场景中，为了提供一种进行数据存储及恢复的优选方式，还可将上述两种读取和恢复原始数据文件的方式相结合，通过读取第一数据片和第二数据片来获取原始数据文件；当确定第一数据中心内的第一数据片缺失时，可通过读取该第一数据中心内的全部完整第二数据片来获取数据；同样，当确定第一数据中心内的第二数据片缺失时，可通过读取该第一数据中心内的第一数据片来获取数据；在数据读取成功后，再基于完整的第一数据片、第一校验片及数据完整的第二数据片、第二校验片实现对缺失数据片的恢复。

在本实施例中，主要基于柯西矩阵的可逆性，通过编码、解码来存储及恢复丢失的数据。其中，利用存储正常的第二数据片及第二校验片解码恢复第一数据片的方法，具体可包括：利用存储正常的第二数据片及第二校验片构成解码列向量；将生成矩阵中解码列向量所对应行构成矩阵的逆矩阵确定为解码生成矩阵；通过计算解码生成矩阵和解码列向量的乘积来获取数据缺失的第二数据片。相应的，利用存储正常的第一数据片及第一校验片解码恢复数据缺失的第一数据片及第一校验片的方法，具体可包括：将存储正常的第一数据片及第一校验片构成解码列向量；将生成矩阵中解码列向量所对应行构成矩阵的逆矩阵确定为解码生成矩阵；通过计算解码生成矩阵和解码列向量的乘积来获取数据缺失的第一数据片。

通过上述数据存储及恢复的方法，可将原始数据文件初步均匀划分为多个数据块，基于纠删码技术对数据块进行编码处理，获取得到多个第一数据片及第一校验片，之后再基于纠删码技术对第一数据片进行编码，将各个第一数据片再次划分为多个第二数据片及第二校验片，将各个第一数据片存储于不同的第一数据中心，将各个第一校验片存储于不同的第二数据中心；将第二数据片及第二校验片分别对应存储于第一数据中心内的不同存储单元。可通过两种方式来读取原始数据文件，第一种读取方式：通过按序读取各个第一数据中心内的第一数据片来获取原始数据文件。第二种读取方式：通过按序读取各个第一数据片对应的第二数据片来获取原始数据文件。两种读取方式又对应两种数据恢复方式，第一种恢复方式：当判定具有缺失的第一数据片时，可通过读取所在第一数据中心内所有完整的第二数据片，来获取原第一数据片，进而实现对缺失第一数据片的替换恢复。另外，当判定所在第一数据中心内的第二数据片同样存在数据缺失且不可恢复时，可通过数据完整的第一数据片及第一校验片进行解码恢复。第二种恢复方式：当判定具有缺失的第二数据片时，可通过该第一数据中心中其他数据完整的第二数据片及第二校验片进行解码恢复。当不可实现恢复时，则获取其对应的第一数据片，利用第一数据片重新进行第二数据片及第二校验片的编码划分，从而替恢复该缺失的第二数据片。通过本方案提供的两种数据读取方式，以及对缺失数据的两种恢复方式，可实现对业务数据的双重保护，当在数据读取过程中发生数据缺失时，能够及时更换读取方式，有效保证业务数据的完整性以及安全性。另外，本方案将对整体业务数据的存储与恢复，具体到对数据片的存储与恢复，并且提供了多种恢复方式，故能够保证数据恢复的效率，节省恢复时间，降低数据恢复成本。

进一步的，作为图1和图2所示方法的具体体现，本申请实施例提供了一种数据存储及恢复的装置，如图3所示，该装置包括：获取模块31、处理模块32、存储模块33、恢复模块34。

获取模块31，可用于获取由原始数据文件均匀划分的多个数据块；

处理模块32，可用于基于纠删码将数据块编码处理成多个数据片及校验片；

存储模块33，可用于利用数据片及校验片存储原始数据文件；

恢复模块34，可用于若判定原始数据文件缺失，则利用符合预设条件的数据片及校验片解码恢复原始数据文件。

在具体的应用场景中，为了将数据块编码处理成多个数据片及校验片，处理模块32，具体可用于利用纠删码对数据块进行编码，将原始数据文件按照第一划分规则划分成大小相同的第一数据片及第一校验片；利用纠删码对第一数据片进行二次编码，将各个第一数据片按照第二划分规则划分成大小相同的第二数据片及第二校验片。

相应的，为了保证数据存储的安全性以及可恢复性，存储模块33，具体可用于将各个第一数据片存储于不同的第一数据中心，将各个第一校验片存储于不同的第二数据中心；将第二数据片及第二校验片分别对应存储于第一数据中心内的不同存储单元。

在具体的应用场景中，为了提供判定原始数据文件缺失的两种方式，如图4所示，本装置还包括：确定模块35。

获取模块31，还可用于通过读取所有第一数据片来获取原始数据文件；和/或通过读取所有第二数据片来获取原始数据文件；

确定模块35，可用于若判定存在缺失的第一数据片或第二数据片，则确定原始数据文件缺失。

相应的，为了通过读取所有第一数据片来获取原始数据文件，获取模块31，具体可用于获取各个第一数据片的第一序号，其中，第一序号对应第一数据片拼装原始数据文件的排列顺序；按照由小到大的第一序号读取第一数据片，以便获取原始数据文件。

相应的，为了通过读取所有第二数据片来获取原始数据文件，获取模块31，具体可用于获取各个第二数据片的第二序号，其中，第二序号对应第二数据片拼装原始数据文件的排列顺序；按照由小到大的第二序号读取第二数据片，以便获取原始数据文件。

在具体的应用场景中，为了在判定第一数据片存在数据缺失时，利用符合预设条件的数据片及校验片解码恢复原始数据文件，恢复模块34，具体可用于确定存在第一数据片数据缺失的目标第一数据中心；提取目标第一数据中心内的所有目标第二数据片及目标第二校验片；若判定目标第二数据片数据完整，则按照第二序号读取目标第二数据片，以便获取数据缺失的目标第一数据片；若判定目标第二数据片存在数据缺失且符合第二数据恢复条件，则利用数据完整的目标第二数据片及目标第二校验片解码恢复数据缺失的目标第二数据片，按照第二序号读取恢复后的目标第二数据片，以便获取目标第一数据片，其中，第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值；若判定目标第二数据片存在数据缺失且不符合第二数据恢复条件，则获取数据完整的第一数据片及第一校验片；若判定目标第一数据片符合第一数据恢复条件，则利用数据完整的第一数据片及第一校验片解码恢复目标第一数据片，其中，第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于或等于第一预设阈值；若判定目标第一数据片不符合第一数据恢复条件，则输出数据恢复异常的报警信息。

相应的，为了在判定第二数据片存在数据缺失时，利用符合预设条件的数据片及校验片解码恢复原始数据文件，恢复模块34，具体可用于确定存在第二数据片数据缺失的目标第一数据中心；获取目标第一数据中心内数据完整的目标第二数据片及目标第二校验片；若判定数据缺失的目标第二数据片符合第二数据恢复条件，则利用数据完整的目标第二数据片及目标第二校验片解码恢复目标第二数据片，其中，第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值；若判定目标第二数据片不符合第二数据恢复条件，则获取目标第一数据中心内的目标第一数据片；若判定目标第一数据片数据完整，则利用纠错码将目标第一数据片重新划分成符合第二划分规则的第二数据片及第二校验片，以便替换目标第二数据片；若判定目标第一数据片数据缺失且符合第一数据恢复条件，则利用数据完整的第一数据片及第一校验片解码恢复数据缺失的目标第一数据片，其中，第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于等于第一预设阈值；若判定目标第一数据片数据缺失且不符合第一数据恢复条件，则输出数据恢复异常的报警信息。

需要说明的是，本实施例提供的一种数据存储及恢复的装置所涉及各功能单元的其它相应描述，可以参考图1至图2中的对应描述，在此不再赘述。

基于上述如图1和图2所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的数据存储及恢复的方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。

基于上述如图1、图2所示的方法，以及图3、图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的数据存储及恢复的方法。

可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的计算机设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

非易失性可读存储介质中还可以包括操作系统、网络通信模块。操作系统是视频镜头剪切的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现非易失性可读存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，与目前现有技术相比，本申请可将原始数据文件初步均匀划分为多个数据块，基于纠删码技术对数据块进行编码处理，获取得到多个第一数据片及第一校验片，之后再基于纠删码技术对第一数据片进行编码，将各个第一数据片再次划分为多个第二数据片及第二校验片，将各个第一数据片存储于不同的第一数据中心，将各个第一校验片存储于不同的第二数据中心；将第二数据片及第二校验片分别对应存储于第一数据中心内的不同存储单元。可通过两种方式来读取原始数据文件，第一种读取方式：通过按序读取各个第一数据中心内的第一数据片来获取原始数据文件。第二种读取方式：通过按序读取各个第一数据片对应的第二数据片来获取原始数据文件。两种读取方式又对应两种数据恢复方式，第一种恢复方式：当判定具有缺失的第一数据片时，可通过读取所在第一数据中心内所有完整的第二数据片，来获取原第一数据片，进而实现对缺失第一数据片的替换恢复。另外，当判定所在第一数据中心内的第二数据片同样存在数据缺失且不可恢复时，可通过数据完整的第一数据片及第一校验片进行解码恢复。第二种恢复方式：当判定具有缺失的第二数据片时，可通过该第一数据中心中其他数据完整的第二数据片及第二校验片进行解码恢复。当不可实现恢复时，则获取其对应的第一数据片，利用第一数据片重新进行第二数据片及第二校验片的编码划分，从而替恢复该缺失的第二数据片。通过本方案提供的两种数据读取方式，以及对缺失数据的两种恢复方式，可实现对业务数据的双重保护，当在数据读取过程中发生数据缺失时，能够及时更换读取方式，有效保证业务数据的完整性以及安全性。另外，本方案将对整体业务数据的存储与恢复，具体到对数据片的存储与恢复，并且提供了多种恢复方式，故能够保证数据恢复的效率，节省恢复时间，降低数据恢复成本。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (9)

1.一种数据存储及恢复的方法，其特征在于，包括：

获取由原始数据文件均匀划分的多个数据块；

基于纠删码将所述数据块编码处理成多个数据片及校验片，具体包括：

利用纠删码对所述数据块进行编码，将所述原始数据文件按照第一划分规则划分成大小相同的第一数据片及第一校验片，所述数据片包括所述第一数据片，所述校验片包括所述第一校验片；

利用纠删码对所述第一数据片进行二次编码，将各个所述第一数据片按照第二划分规则划分成大小相同的第二数据片及第二校验片，所述数据片包括所述第二数据片，所述校验片包括所述第二校验片；

利用所述数据片及所述校验片存储所述原始数据文件；

若判定所述原始数据文件缺失，则利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件。

2.根据权利要求1所述的方法，其特征在于，所述利用所述数据片及所述校验片存储所述原始数据文件，具体包括：

将各个所述第一数据片存储于不同的第一数据中心，将各个所述第一校验片存储于不同的第二数据中心；

将所述第二数据片及所述第二校验片分别对应存储于所述第一数据中心内的不同存储单元。

3.根据权利要求2所述的方法，其特征在于，在利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件之前，具体还包括：

通过读取所有所述第一数据片来获取所述原始数据文件；和/或

通过读取所有所述第二数据片来获取所述原始数据文件；

若判定存在缺失的所述第一数据片或所述第二数据片，则确定所述原始数据文件缺失。

4.根据权利要求3所述的方法，其特征在于，所述通过读取所有所述第一数据片来获取所述原始数据文件，具体包括：

获取各个所述第一数据片的第一序号，其中，所述第一序号对应所述第一数据片拼装所述原始数据文件的排列顺序；

按照由小到大的所述第一序号读取所述第一数据片，以便获取所述原始数据文件；

所述通过读取所有所述第二数据片来获取所述原始数据文件，具体包括：

获取各个所述第二数据片的第二序号，其中，所述第二序号对应所述第二数据片拼装所述原始数据文件的排列顺序；

按照由小到大的所述第二序号读取所述第二数据片，以便获取所述原始数据文件。

5.根据权利要求4所述的方法，其特征在于，若判定所述第一数据片存在数据缺失，所述利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件，具体包括：

确定存在第一数据片数据缺失的目标第一数据中心；

提取所述目标第一数据中心内的所有目标第二数据片及目标第二校验片；

若判定所述目标第二数据片数据完整，则按照所述第二序号读取所述目标第二数据片，以便获取数据缺失的目标第一数据片；

若判定所述目标第二数据片存在数据缺失且符合第二数据恢复条件，则利用数据完整的目标第二数据片及目标第二校验片解码恢复所述数据缺失的目标第二数据片，按照所述第二序号读取恢复后的所述目标第二数据片，以便获取所述目标第一数据片，其中，所述第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值；

若判定所述目标第二数据片存在数据缺失且不符合所述第二数据恢复条件，则获取数据完整的第一数据片及第一校验片；

若判定所述目标第一数据片符合第一数据恢复条件，则利用所述数据完整的第一数据片及第一校验片解码恢复所述目标第一数据片，其中，所述第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于或等于第一预设阈值；

若判定所述目标第一数据片不符合所述第一数据恢复条件，则输出数据恢复异常的报警信息。

6.根据权利要求4所述的方法，其特征在于，若判定所述第二数据片存在数据缺失，所述利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件，具体包括：

确定存在第二数据片数据缺失的目标第一数据中心；

获取所述目标第一数据中心内数据完整的目标第二数据片及目标第二校验片；

若判定数据缺失的目标第二数据片符合第二数据恢复条件，则利用所述数据完整的目标第二数据片及目标第二校验片解码恢复所述目标第二数据片，其中，所述第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值；

若判定所述目标第二数据片不符合所述第二数据恢复条件，则获取所述目标第一数据中心内的目标第一数据片；

若判定所述目标第一数据片数据完整，则利用纠错码将所述目标第一数据片重新划分成符合所述第二划分规则的第二数据片及第二校验片，以便替换所述目标第二数据片；

若判定所述目标第一数据片数据缺失且符合第一数据恢复条件，则利用数据完整的第一数据片及所述第一校验片解码恢复所述数据缺失的目标第一数据片，其中，所述第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于等于第一预设阈值；

若判定所述目标第一数据片数据缺失且不符合所述第一数据恢复条件，则输出数据恢复异常的报警信息。

7.一种数据存储及恢复的装置，其特征在于，包括：

获取模块，用于获取由原始数据文件均匀划分的多个数据块；

处理模块，用于基于纠删码将所述数据块编码处理成多个数据片及校验片，具体包括：

利用纠删码对所述数据块进行编码，将所述原始数据文件按照第一划分规则划分成大小相同的第一数据片及第一校验片，所述数据片包括所述第一数据片，所述校验片包括所述第一校验片；

利用纠删码对所述第一数据片进行二次编码，将各个所述第一数据片按照第二划分规则划分成大小相同的第二数据片及第二校验片，所述数据片包括所述第二数据片，所述校验片包括所述第二校验片；

存储模块，用于利用所述数据片及所述校验片存储所述原始数据文件；

恢复模块，用于若判定所述原始数据文件缺失，则利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件。

8.一种非易失性可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至6中任一项所述的数据存储及恢复的方法。

9.一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6中任一项所述的数据存储及恢复的方法。