CN104268031B - 一种用于磁盘阵列存储系统中固态硬盘的擦除码配置方法 - Google Patents

Abstract

本发明涉及一种用于磁盘阵列存储系统中固态硬盘的擦除码配置方法，与现有技术相比解决了数据计算量大、循环次数多的缺陷。本发明包括以下步骤：初始化处理，将一定时间内的请求文件全部集中到固态硬盘的工作负载内，根据索引信息将所有文件按文件的大小进行升序排列；文件的分割与合并，根据预置的自定义阈值，将所有文件进行分割或合并，形成统一标准区块数据块；生成同位数据块，通过标准区块数据块生成同位数据块；新数据写入，将标准区块数据块和同位数据块分别写入相应的数组，并按照文件的分割与合并中重新排列的顺序写入相应的固态硬盘中。本发明减少了固态硬盘写循环操作复杂度，优化可靠性和容错性，改进了擦除码配置策略。

Description

一种用于磁盘阵列存储系统中固态硬盘的擦除码配置方法

技术领域

本发明涉及固态硬盘存储技术领域，具体来说是一种用于磁盘阵列存储系统中固态硬盘的擦除码配置方法。

背景技术

基于闪存的固态盘是一种新型的大容量存储设备，固态硬盘的损耗是影响他们可靠性的主要因素，加速固态硬盘损耗的主要因子是在闪存芯片上实施写循环的数量，而基于固态硬盘的磁盘子系统中写循环的数量则主要取决于RAIDS(Redundant Array OfIndependent Disks，独立磁盘冗余阵列)上应用的擦除码。擦除码在存储系统中用于保护数据免受磁盘错误影响，在这些代码中，n块数据被编码成m块同位数据块和n块数据块的组合，使之可以承受m块差错。这些代码通常应用在有n+2个磁盘子系统的RAIDS中，能够承受任意两个数据块或者同位数据块的并发差错。目前采用的擦除码主要有以下：Reed-Solomon、EVENODD。

1、REED SOLOMON

目前较流行常用的技术，广泛应用在通信和存储系统中。其主要优势在于，它的可扩展性能够恢复m(m>＝2)块数据块或者同位数据块。然而这种代码由于伽瓦罗域算术的使用，给编码和解码操作都增加了复杂计算量。伽瓦罗域算术中使用的复杂操作，将表查找引入来减少计算强度。因此，复杂计算是RS的主要缺陷，使得它未能广泛应用于企业应用。

2、EVENODD

其定义矩阵为(p-1)*(p+2)，p是质数。数据和同位数据分别存储在相应的前p列和最后2列。使用两个同位磁盘，这样能够承受两块磁盘故障。行校验和对角校验分别由数据块的行和对角经过XOR异或运算后得来。在计算主对角数据块的异或运算时引入一个S调整因数。同样，具有庞大、复杂的计算量。

如何开发出一种计算量少、循环次数低的擦除码配置方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中数据计算量大、循环次数多的缺陷，提供一种用于磁盘阵列存储系统中固态硬盘的擦除码配置方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种用于磁盘阵列存储系统中固态硬盘的擦除码配置方法，包括以下步骤：

初始化处理，将一定时间内的请求文件全部集中到固态硬盘的工作负载内，根据索引信息将所有文件按文件的大小进行升序排列；

文件的分割与合并，根据预置的自定义阈值，将所有文件进行分割或合并，形成统一标准区块数据块；

生成同位数据块，通过标准区块数据块生成同位数据块；

新数据写入，将标准区块数据块和同位数据块分别写入相应的数组，并按照文件的分割与合并中重新排列的顺序写入相应的固态硬盘中。

所述的文件的分割与合并包括以下步骤：

根据固态硬盘闪存所允许的最大缓冲区大小设定自定义阈值；

将所有读入工作负载并且重排索引后的文件集合设为

F＝{f₁，f₂，f₃，...，f_m，f_m+1，..，f_last}；

将所有文件与自定义阈值比较大小，

将大于自定义阈值的文件分割成为标准区块数据，将等于自定义阈值的文件归为标准区块数据，并组合成组F_m，

F_m＝{f₁，f₂，f₃，...，f_m}，

将小于自定义阈值的文件、分割后小于自定义阈值的文件均合并成为标准区块数据，并组合成组F_r，

F_r＝{f_m+1，..，f_last}，

其中，

所述的生成同位数据块包括以下步骤：

定义同位数据块置于数据表的最后两行，生成两行同位数据行；

针对组F_m和组F_r中的标准区块数据依次计算相应的同位数据块，

设C_a,b表示第a行、第b列的符号，同位数据块C_n-2，i和C_n-1，i的计算公式如下：

其中，i＝0、1、···、n-1，<x>_n＝x mod n。

有益效果

本发明的一种用于磁盘阵列存储系统中固态硬盘的擦除码配置方法，与现有技术相比，能够延长固态硬盘的使用寿命，减少了固态硬盘写循环操作复杂度，优化可靠性和容错性，改进了擦除码配置策略。

通过对文件的重新排序的设计，可以提高I/O效率，在一定时间范围内达到比单次单个处理文件任务更高的工作效率。通过自定义阈值的分割或合并设计，提高了缓冲区负载的利用率。通过新的同位数据块的计算方法，避免了大量不必要的计算量，减少了CPU计算工作的循环数量。

附图说明

图1为本发明的方法流程图

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种用于磁盘阵列存储系统中固态硬盘的擦除码配置方法，包括以下步骤：

第一步，初始化处理，将一定时间内的请求文件全部集中到固态硬盘的工作负载内，根据索引信息将所有文件按文件的大小进行升序排列。将所有待处理文件与指令集中于固态硬盘的工作负载中，成批次进行处理，可以在一定时间范围内达到比单次单个处理文件任务更高的工作效率，按索引信息重新排序是为了后续操作建立更适应的文件列表方便记录相关文件任务信息。

其中，时间的设置根据缓冲区容量大小与文件请求传递速度大小综合考虑确定，集中的过程采用标准令牌桶入栈出栈过程。请求文件集中到工作负载中后，需要提取所有文件的索引信息，索引信息采用标准HASH算法取得文件散列值。根据索引信息将所有文件按文件的大小进行升序排列，当然按照降序排列也可以实现初始化的处理。

第二步，文件的分割与合并，根据预置的自定义阈值，将所有文件进行分割或合并，形成统一标准区块数据块。对工作负载中的文件进行自定义阈值的分块，可以减少读写操作的数量，提高I/O性能和能耗效率。现有技术中的存储系统为实现较高计算性能会消耗大量的能源，大多数读写操作的能耗都体现在对于数据和同位数据的编码与解码过程中。若存储器的工作负载中分配有很多尺寸小于缓冲区大小的小文件，小文件带的读写操作数量会显著增加，CPU编码解码的循环数量则会增加，能耗随之增多。而采用一种自定义阈值的分块设计，将工作负载中的所有文件根据一个设定阈值分组，小于阈值的小文件合并成为标准区块，大于等于阈值的文件分割成为标准区块，标准区块的大小可以契合缓冲区的大小，使之在每次读写操作的过程中放入缓冲区的负载刚好达到最优。其具体步骤如下：

(1)根据固态硬盘闪存所允许的最大缓冲区大小设定自定义阈值，缓冲区大小为硬件的固值，自定义阈值选取为固态硬盘闪存所允许的最大缓冲区大小，这样使得每次读写文件所操作的文件与缓冲区能够处理的文件恰好契合。

(2)将所有读入工作负载并且重排索引后的文件集合设为

F＝{f₁，f₂，f₃，...，f_m，f_m+1，..，f_last}。

(3)将所有文件与自定义阈值比较大小，将大于自定义阈值的文件分割成为标准区块数据，

将等于自定义阈值的文件归为标准区块数据，并组合成组F_m，

F_m＝{f₁，f₂，f₃，...，f_m}，

将小于自定义阈值的文件、分割后小于自定义阈值的文件均合并成为标准区块数据，并组合成组F_r，

F_r＝{f_m+1，..，f_last}。

例如自定义阈值为10K，文件为15K，则将文件分割成10K和5K，10K则为标准区块数据，而分割出的5K，则与其他分割或小于自定义阈值的文件重新组合成10K，合并成为标准区块数据。因此，

第三步，生成同位数据块，通过标准区块数据块生成同位数据块。在此提出新的同位数据块生成方法，代替现有技术的异或计算规则，不必再对比特每个均进行异或操作，而是在整体上对于一定区段的字节进行操作，避免了大量不必要的计算量，减少了CPU计算工作的循环数量，且每一区段的字节进行同位化操作后的同位数据块具有一定特征化结果。其具体步骤如下：

(1)定义同位数据块置于数据表的最后两行，生成两行同位数据行。

(2)针对组F_m和组F_r中的标准区块数据依次计算相应的同位数据块。

设C_a,b表示第a行、第b列的符号，同位数据块C_n-2，i和C_n-1，i的计算公式如下：

其中，i＝0、1、···、n-1，<x>_n＝x mod n。

在本发明中两行同位数据行分别单独得到，n-2行之前的元数据块的每一个数据只会分别影响两行同位数据行中各自的一个数据，因此更新元数据块中的一个元数据只会导致两行同位数据行各自的一个数据的更新，从而具有最优的擦除码计算复杂度。其中针对<x>_a进行取模计算，通过取模运算在元数据块的列的方向循环处理，如公式的起始数据列数靠后，后续运算时超出列数，取模后列数转至靠前，这样循环取列数即可覆盖到所有元数据列，保证了具有最优的擦除码覆盖数据平衡度性质。

例如，当n＝5时，其为5x5数据阵列，其前三行是元数据，后两行是同位数据，此时i的取值范围是0至n-1，即0到4。

n＝5时，公式则变成为：

C_3,i＝C_0,<i+2>5+C_1,<i+3>5+C_2,<i+4>5，

C_4,i＝C_0,<i-2>5+C_1,<i-3>5+C_2,<i-4>5；

其中，i＝0、1、2、3、4。

实际计算时i从0到4全部取到并处理为一次完整计算过程，在此以i＝1为例，则：

C_3,1＝C_0,<1+2>5+C_1,<1+3>5+C_2,<1+4>5，

C_4,1＝C_0,<1-2>5+C_1,<1-3>5+C_2,<1-4>5；

<x>_n进行取模操作后，为：

C_3,1＝C_0,3+C_1,4+C_2,0，

C_4,1＝C_0,4+C_1,3+C_2,2。

其中，C_3，1＝C_0,3+C_1,4+C_2,0代表着第4行第1列数据是由0行3列、1行4列、2行0列的三个数据计算所得；

同理，C_4，1＝C_0,4+C_1,3+C_2,2代表着第5行第1列数据是由0行4列、1行3列、2行2列的三个数据计算所得。

第四步，新数据写入，将标准区块数据块和同位数据块分别写入相应的数组，并按照文件的分割与合并中重新排列的顺序写入相应的固态硬盘中。同位数据块根据标准区块数据块计算出来后，与标准区块数据块组合在一起存入固态硬盘中，此部分可以采用现有技术的方法。定义两个数组CH[][]和PARITY[][]，将新的元数据块和同位数据块分别被写入RAID存储系统中的数据固态硬盘和同位数据固态硬盘中，再分别按照重排后的顺序依次写入相应的固态硬盘中。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (1)

1.一种用于磁盘阵列存储系统中固态硬盘的擦除码配置方法，其特征在于，包括以下步骤：

11)初始化处理，将一定时间内的请求文件全部集中到固态硬盘的工作负载内，根据索引信息将所有文件按文件的大小进行升序排列；

12)文件的分割与合并，根据预置的自定义阈值，将所有文件进行分割或合并，形成统一标准区块数据块；其包括以下步骤：

121)根据固态硬盘闪存所允许的最大缓冲区大小设定自定义阈值；

122)将所有读入工作负载并且重排索引后的文件集合设为

F＝{f₁，f₂，f₃，...，f_m，f_m+1，..，f_last}；

123)将所有文件与自定义阈值比较大小，

将大于自定义阈值的文件分割成为标准区块数据，将等于自定义阈值的文件归为标准区块数据，并组合成组F_m，

F_m＝{f₁，f₂，f₃，...，f_m}，

将小于自定义阈值的文件、分割后小于自定义阈值的文件均合并成为标准区块数据，并组合成组F_r，

F_r＝{f_m+1，..，f_last}，

其中，

13)生成同位数据块，通过标准区块数据块生成同位数据块；其包括以下步骤：

131)定义同位数据块置于数据表的最后两行，生成两行同位数据行；

132)针对组F_m和组F_r中的标准区块数据依次计算相应的同位数据块，

设C_a,b表示第a行、第b列的符号，同位数据块C_n-2，i和C_n-1，i的计算公式如下：

$C_{n-2,i}=\underset{k=0}{\overset{n-3}{\&Sigma;}}{C}_{k,<i+k+2{>}_n}$

$C_{n-1,i}=\underset{k=0}{\overset{n-3}{\&Sigma;}}{C}_{k,<i-k-2{>}_n},$

其中，i＝0、1、···、n-1，<x>_n＝x mod n；

14)新数据写入，将标准区块数据块和同位数据块分别写入相应的数组，并按照文件的分割与合并中重新排列的顺序写入相应的固态硬盘中。