CN117573614A - 减少元数据且增删节点时只有少量数据迁移的系统及方法 - Google Patents

Abstract

本发明公开了减少元数据且增删节点时只有少量数据迁移的系统，包含client、master和存储节点，其中client里面有处理请求request模块、视图处理模块以及数据分布算法模块；master里面有数据分布算法模块和元数据存储模块；存储节点是实际存储数据的节点，本发明提供一种减少分布式存储系统元数据且增删节点时只有少量数据迁移的方法及装置，以达到减少存储集群中需要存储的元数据量，增删节点时只有少量数据迁移并且压力并不像一致性哈希那样只会分摊或者转移到相邻存储节点的效果。

Description

减少元数据且增删节点时只有少量数据迁移的系统及方法

技术领域

本发明涉及数据存储技术领域，具体是减少元数据且增删节点时只有少量数据迁移的系统及方法。

背景技术

随着信息技术的发展以及各种智能设备的普及，各种日常应用及各种新兴技术的发展(诸如区块链，元宇宙之类)，全球产生的数据总量与日俱增，据相关机构预测，到2025年全球数据总量将超过163ZB。为了适应与日俱增数据存储需求，分布式存储应运而生，分布式存储系统将数据分布到大量的不同的存储节点上以支持大容量。早期典型的分布式存储系统有Google的GFS，其核心组件包括GFS Client、GFS master以及GFS chunkserver。GFS Client负责对外提供服务，GFS master负责管理整个集群的元数据信息，也就是整个集群的路由信息，当GFS Client收到请求时，根据GFS master提供的路由信息就知道把该请求发送到哪个GFS chunkserver。后续出现的各种类型的分布式存储系统大部分都可以把核心组件划分为这三个部分，后文将该三个模块简称为client，master和chunkserver。此外，由于分布式存储系统中有大量的存储节点，所以出现节点故障的情况也变成了常态，也就是一个高可用分布式系统是需要能够容忍集群中出现少量节点故障的情况发生；同时为了能够存储更多的数据，分布式存储系统也需要有良好的扩展性。简而言之，一个设计良好的分布式存储系统需要能够提供高可用及良好的扩展性等特性，也就是能够方便的往整个存储集群中添加和删除存储节点。往整个存储集群中添加、删除存储节点，涉及到了整个存储集群的数据分布管理以及路由视图管理，这些职责通常是由master来负责的。

目前常见的对数据分布的进行处理的方式有：哈希分布、按数据范围分布、按数据量分布、一致性哈希。

哈希分布是按照数据的某一特征(该特征可以是key-value系统中的key，也可以是应用业务逻辑相关的值，比如user id之类的)计算哈希，并将哈希值与存储集群中的存储节点建立映射关系，从而将不同哈希值得数据分布到不同的存储节点上。哈希分布方式的优点是只要哈希函数的散列特性好，哈希方式就可以将数据均匀地分布到存储集群中去。哈希方式需要记录的元信息也非常简单，任何时候，任何client节点只需要知道哈希函数的计算方式及整个存储集群的存储节点总数就可以计算出处理具体数据的存储节点是哪台。哈希分布方式的一个缺点是可扩展性不高，一旦存储集群规模需要扩展，则几乎所有的数据需要被迁移并重新分布，并且当集群中有存储节点故障时，也会出现这种情况，这会导致整个存储集群的性能降低以及可用性降低。哈希分布数据的另一个缺点是，一旦某个数据特征值的数据严重不均，会出现数据倾斜问题。

按数据范围分布是将数据按特征值得值域范围划分成不同的值域区间，分别让存储集群中不同的存储节点处理不同区间的数据。按范围分布数据的方式的优点是对存储集群的扩容缩容或者需要进行负载均衡调整时的处理非常灵活。当存储集群需要扩容时，可以随机根据自己的实际需要添加存储节点，而不限为倍增的方式，只需将原存储节点上的部分数据分区迁移到新加入的存储节点上就可以完成集群扩容。此外，需要进行负载均衡时，按数据范围分布可以灵活的根据数据量的具体情况拆分原有数据区间，然后将拆分后的数据区间迁移到其他存储节点即可。按范围分布数据方式的缺点是需要维护较多的元信息，随着存储集群规模的增长，元数据节点(即master节点)容易成为瓶颈，从而限制了整个存储集群的扩展性。

按数据量分布与哈希分布和按数据范围分布方式不同，按数据量分布数据与具体的数据特征无关，而是将数据视为一个顺序增长的文件，并将这个文件按照某一固定的大小划分为若干数据块(chunk)，然后将不同的数据块分布到不同的存储节点上。按数据量分布的优点与按数据范围分布的优点类似，都是设计存储集群的扩容缩容比较灵活简单，二者缺点也类似，当集群规模较大时，需要存储元信息的数据量也变得很大，从而限制了整个存储集群的扩展。

一致性哈希是工程上使用较多的一种数据分布式方式，其基本方式是使用一个哈希函数计算数据或数据特征的哈希值，令该哈希函数的输出值域为一个封闭的环，即哈希函数输出的最大值是最小值的前序。将存储节点随机分布到这个环上，每个存储节点负责处理从自己开始顺时针至下一个节点的全部哈希值域上的数据。一致性哈希的优点在于可以任意动态添加、删除节点，每次添加、删除一个节点仅影响一致性哈希环上相邻的节点，并且需要管理记录的元数据的量通常比按数据范围分布数据和按数据量分布数据的元数据量要小很多。一致性哈希算法一个缺点是随机分布节点的方式使得一致性哈希的值域很难均匀的分布，即使均匀分布了，当动态增加存储节点后，也很难保证继续均匀，由此带来的另一个较为严重的缺点是，当一个存储节点异常时，该存储节点的压力全部转移到相邻的一个存储节点，当加入一个新存储节点时只能为一个相邻存储节点分摊压力。

通过上文可以看到当存储集群发现变化时，哈希分布虽然需要存储的元数据少，但是会造成几乎整个集群的数据进行重新迁移分布，这对整个集群的可用性影响非常大。按数据范围分布和按数据量分布虽然不会造成大量数据迁移的问题，但是需要记录的元数据量很大，导致整个集群的扩展性受到元数据节点的限制。一致性哈希虽然没有上述的问题，但是在新增一个存储节点时，只能为一个相邻节点分摊压力；当一个存储节点异常时，该节点的压力全部转移到相邻的一个存储节点等问题。

发明内容

本发明的目的在于提供减少元数据且增删节点时只有少量数据迁移的系统及方法，以解决上述背景技术中提出的整个集群的扩展性受到元数据节点的限制等问题。

为实现上述目的，本发明提供如下技术方案：

减少元数据且增删节点时只有少量数据迁移的系统，包含client、master和存储节点，其中client里面有处理请求request模块、视图处理模块以及数据分布算法模块；master里面有数据分布算法模块和元数据存储模块；存储节点是实际存储数据的节点。

作为本发明的进一步技术方案：所述client里的数据分布算法模块和master里的数据分布算法模块使用相同的算法。

减少元数据且增删节点时只有少量数据迁移的方法，采用上述系统，包含以下步骤：

步骤1、在整个存储集群正常启动前，根据整个集群的容量规划确定整个存储集群总的存储节点的数量total_store_nodes_number以及整个集群总的虚拟节点数量total_virtual_nodes_number；

步骤2、为不同的存储节点根据其容量或者其他条件设置一个不同的权重weight[j]；

步骤3、将某一个虚拟节点virtual_node_id[i],存储节点id传入预先选定好的算法得到一个某个范围内伪随机值，再乘上该存储节点的权重weight[j]，将所有的存储节点id都这样计算一轮，挑选出值最大的存储节点，则该虚拟节点virtual_node_id[i]由计算出的存储节点进行管理；

步骤4、将所有的虚拟节点按照步骤3的流程计算一遍，把所有的虚拟节点分布到各个存储节点上；

步骤5、master将集群中所有的存储节点列表信息通过消息发送给client；

步骤6、client收到master发送的存储节点列表信息后，根据上述步骤3-步骤4计算出各个虚拟节点分布到哪些存储节点上；

步骤7、当client收到请求request后，通过对请求进行hash之后再对总的虚拟节点数量total_virtual_nodes_number求余，最终得到该请求所属的虚拟节点。

作为本发明的进一步技术方案：所述总的虚拟节点的数量total_virtual_nodes_number大于总的存储节点的数量total_store_nodes_number。

作为本发明的进一步技术方案：，所述总的虚拟节点的数量total_virtual_nodes_number确定后不再改变，总的存储节点的数量total_store_nodes_number会根据不同情况而改变。

作为本发明的进一步技术方案：当出现集群扩容、集群缩容或有存储节点故障时的自动故障恢复处理情况，总的存储节点的数量total_store_nodes_number随之改变。

作为本发明的进一步技术方案：所述集群扩容为增加存储节点。

作为本发明的进一步技术方案：所述集群缩容为减少存储节点。

作为本发明的进一步技术方案：所述步骤2能够将所有的存储节点权重设置为相同。

作为本发明的进一步技术方案：所述步骤3中，只要输入的虚拟节点virtual_node_id[i]和存储节点id的值不变，得到结果也是不变的。

与现有技术相比，本发明的有益效果是：

本发明提供一种减少分布式存储系统元数据且增删节点时只有少量数据迁移的方法及装置，以达到减少存储集群中需要存储的元数据量，增删节点时只有少量数据迁移并且压力并不像一致性哈希那样只会分摊或者转移到相邻存储节点的效果。

附图说明

图1为本专利所述系统的模块连接示意图；

图2为本专利所述的减少元数据且增删节点时只有少量数据迁移的方法的工作流程示意图；

图3为存储节点和虚拟节点的分布结果示意图；

图4为场景一数据重新分布后的结果示意图；

图5为场景二数据重新分布后的结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，减少元数据且增删节点时只有少量数据迁移的系统，整个系统的核心组件有三个：client，master，存储节点；其中client里面有处理请求request模块，视图(路由信息)处理模块以及数据分布算法模块；master里面有数据分布算法模块(该模块所使用算法与client中的数据分布算法模块使用相同的算法)，元数据存储模块；存储节点是实际存储数据的节点。

本发明还公开了一种减少分布式存储系统元数据且增删节点时只有少量数据迁移的方法，基于上述的系统，包含以下步骤：

步骤1：为了方便进行数据分布和迁移，引入虚拟节点的逻辑概念。在整个存储集群正常启动前，需要根据整个集群的容量规划确定整个存储集群总的存储节点的数量total_store_nodes_number以及整个集群总的虚拟节点数量total_virtual_nodes_number，总的虚拟节点的数量total_virtual_nodes_number大于总的存储节点的数量total_store_nodes_number。一旦总的虚拟节点的数量total_virtual_nodes_number确定后就不再改变，而总的存储节点的数量total_store_nodes_number是可以改变的，比如当集群扩容(增加存储节点)、缩容(减少存储节点)或者有存储节点故障时的自动故障恢复处理。

步骤2：为不同的存储节点根据其容量或者其他条件设置一个不同的权重weight[j](当然也可以设置为所有的存储节点权重均相同)。

步骤3：将某一个虚拟节点virtual_node_id[i],存储节点id传入预先选定好的算法得到一个某个范围内伪随机值(只要输入的虚拟节点virtual_node_id[i]和存储节点id的值不变，那么得到结果也是不变的)，然后再乘上该存储节点的权重weight[j]，将所有的存储节点id都这样计算一轮，挑选出值最大的那个存储节点，那么该虚拟节点virtual_node_id[i]就由计算出的那个存储节点进行管理。

步骤4：将所有的虚拟节点按照步骤3的流程计算一遍，这样就可以把所有的虚拟节点分布到各个存储节点上。

步骤5：master将集群中所有的存储节点列表信息通过消息发送给client。

步骤6：client收到master发送的存储节点列表信息后，就可以根据上述步骤3-步骤4计算出各个虚拟节点分布到哪些存储节点上。

步骤7：当client收到请求request后，通过对请求进行hash然后再对总的虚拟节点数量total_virtual_nodes_number求余，即可得到该请求所属的虚拟节点，这样通过上述步骤就知道该数据请求应该由哪一个存储节点负责。

正常情况下，一个请求request通过client应该发往哪个存储节点，通过上述流程就可以得到了，不过我们还需要考虑master节点，正常情况下由client模块和master模块共同掌握上述进行数据分布映射的方法，这样只需要client根据总的存储节点的数量total_store_nodes_number以及整个集群总的虚拟节点数量total_virtual_nodes_number以及存储节点列表(步骤6获得)，便可以依据上面的算法步骤，直接计算出请求应该发送给哪个存储节点，同时master也不需要存储大量的元数据信息，只需要存储当前集群所有的存储节点列表即可。

上面步骤1-步骤7,描述正常情况下整个存储集群的数据分布方法以及当client收到一个请求request后如何处理的过程，流程图见图2。

新增存储节点的处理方法：

当集群需要新增存储节点时，master节点根据上述方法进行计算，便可得到该如何重新分布数据，其结果就是原有节点上的少量数据会被重新分布到新加入的存储节点上；此外，client端要更新路由信息，只需要master节点将新增节点信息推送给client，client根据上述方法重新计算，即可得到新的路由信息。

当集群需要删除存储节点或者有存储节点故障的处理方法：

当集群需要删除存储节点或者有存储节点故障时，master节点将删除的存储节点或者故障的存储节点信息发送给client，master利用上述算法就可以把删除的节点或者故障节点上承载的数据进行重新分布，client收到master发送的存储节点变更信息后，也可以根据上述算法进行重新计算，即可获得新的路由信息。

实施例：本发明中的技术方案适用于对扩展性要求较高且扩容缩容时要求迁移数据量少的分布式存储系统。下面将用20个虚拟节点和5个存储节点来进行举例。

根据上述的方法步骤1可以得知总的虚拟节点的数量total_virtual_nodes_number为20，整个存储集群总的存储节点的数量total_store_nodes_number为5。

步骤2：假设每个存储节点权重均一样，都为1。

然后进行步骤3步骤4的操作，得到如图3所示分布结果，图中方框表示存储节点，圆圈表示虚拟节点，圆圈中数字表示虚拟节点id。

场景一：假设此时往整个集群中新增一个存储节点6，根据本专利中的方法进行重新计算，数据重新分布后如图4所示。

可以看到原有的每个存储节点上只有少量的虚拟节点迁移到了新增的存储节点6上。

场景二：假设最开始的5个存储节点中需要删除(下线)存储节点5或者存储节点5发生了故障被踢出集群，那么按照上述的方法进行重新计算，数据重新分布后便会如图5所示。

可以看到存储节点5故障或者被删除后，整个集群中只有存储节点5所承载的虚拟节点进行了迁移，而其他正常节点的虚拟节点的原有映射方式没有改变，这样减少了整个集群中迁移的数据量，并且对整个系统的影响也最小。

本申请相对现有技术而言，所具有的优点如下：

1、通过计算的方式得到映射信息，大量减少了需要存储的元数据的数量，在该专利中只需要存储记录存储集群中存储节点的列表就可以了。

2、当新增存储节点(扩容)时，原有存储节点上只有少量的数据会迁移到新增的存储节点上，不会像哈希分布方式那样导致几乎所有的数据都进行重新分布。

3、当删除存储节点(缩容)或者有存储节点故障时，删除的存储节点或者故障的存储节点上所承载的数据会重新分布到其他节点，正常的节点的数据不会发生重新映射迁移的情况，也不会出现只把数据分布到某一个存储节点的情况。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.减少元数据且增删节点时只有少量数据迁移的系统，其特征在于，包含client、master和存储节点，其中client里面有处理请求request模块、视图处理模块以及数据分布算法模块；master里面有数据分布算法模块和元数据存储模块；存储节点是实际存储数据的节点。

2.根据权利要求1所述的减少元数据且增删节点时只有少量数据迁移的系统，其特征在于，所述client里的数据分布算法模块和master里的数据分布算法模块使用相同的算法。

3.减少元数据且增删节点时只有少量数据迁移的方法，其特征在于，采用权利要求1或2所述的系统，包含以下步骤：

步骤1、在整个存储集群正常启动前，根据整个集群的容量规划确定整个存储集群总的存储节点的数量total_store_nodes_number以及整个集群总的虚拟节点数量total_virtual_nodes_number；

步骤2、为不同的存储节点根据其容量设置一个不同的权重weight[j]；

步骤3、将某一个虚拟节点virtual_node_id[i],存储节点id传入预先选定好的算法得到一个某个范围内伪随机值，再乘上该存储节点的权重weight[j]，将所有的存储节点id都这样计算一轮，挑选出值最大的存储节点，则该虚拟节点virtual_node_id[i]由计算出的存储节点进行管理；

步骤4、将所有的虚拟节点按照步骤3的流程计算一遍，把所有的虚拟节点分布到各个存储节点上；

步骤5、master将集群中所有的存储节点列表信息通过消息发送给client；

步骤6、client收到master发送的存储节点列表信息后，根据上述步骤3-步骤4计算出各个虚拟节点分布到哪些存储节点上；

步骤7、当client收到请求request后，通过对请求进行hash之后再对总的虚拟节点数量total_virtual_nodes_number求余，最终得到该请求所属的虚拟节点。

4.根据权利要求3所述的减少元数据且增删节点时只有少量数据迁移的方法，其特征在于，所述总的虚拟节点的数量total_virtual_nodes_number大于总的存储节点的数量total_store_nodes_number。

5.根据权利要求4所述的减少元数据且增删节点时只有少量数据迁移的方法，其特征在于，所述总的虚拟节点的数量total_virtual_nodes_number确定后不再改变，总的存储节点的数量total_store_nodes_number会根据不同情况而改变。

6.根据权利要求5所述的减少元数据且增删节点时只有少量数据迁移的方法，其特征在于，当出现集群扩容、集群缩容或有存储节点故障时的自动故障恢复处理情况，总的存储节点的数量total_store_nodes_number随之改变。

7.根据权利要求6所述的减少元数据且增删节点时只有少量数据迁移的方法，其特征在于，所述集群扩容为增加存储节点。

8.根据权利要求6所述的减少元数据且增删节点时只有少量数据迁移的方法，其特征在于，所述集群缩容为减少存储节点。

9.根据权利要求3所述的减少元数据且增删节点时只有少量数据迁移的方法，其特征在于，所述步骤2能够将所有的存储节点权重设置为相同。

10.根据权利要求3所述的减少元数据且增删节点时只有少量数据迁移的方法，其特征在于，所述步骤3中，只要输入的虚拟节点virtual_node_id[i]和存储节点id的值不变，得到结果也是不变的。