CN109299116B - 一种数据同步方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种数据同步方法，包括：获取客户端发送的数据同步任务；提取数据同步任务携带的同步信息，并根据同步信息验证数据同步任务；当数据同步任务验证通过时，从数据同步任务对应的对象存储桶中获取待同步列表，并通过多个线程并行同步待同步列表。该方法通过数据同步任务的验证提高数据同步的安全性和准确性；通过多个线程并行同步待同步列表实现数据同步过程的高并发性，从而提高了数据同步效率。相应地，本发明公开的一种数据同步装置、设备及可读存储介质，也同样具有上述技术效果。

Description

一种数据同步方法、装置、设备及可读存储介质

技术领域

本发明涉及数据存储技术领域，更具体地说，涉及一种数据同步方法、装置、设备及可读存储介质。

背景技术

在分布式对象存储集群中，为了使不同分布式对象存储集群存储的数据一致，需要进行数据同步。

现有的数据同步方案为：在原分布式对象存储集群中实现数据同步进程，当存在需要同步的数据时，直接通过数据同步进程进行数据同步。但是，现有的同步方案按照待同步数据的先后顺序逐一进行数据同步，这样会降低数据同步效率。同时，现有的同步方案缺乏同步的安全性校验，因此可能导致同步报错或处理到错误的数据同步任务，从而导致同步任务执行失败，影响数据同步的准确性和安全性。

因此，如何提高数据同步效率，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种数据同步方法、装置、设备及可读存储介质，以提高数据同步效率。

为实现上述目的，本发明实施例提供了如下技术方案：

一种数据同步方法，包括：

获取客户端发送的数据同步任务；

提取所述数据同步任务携带的同步信息，并根据所述同步信息验证所述数据同步任务；

当所述数据同步任务验证通过时，从所述数据同步任务对应的对象存储桶中获取待同步列表，并通过多个线程并行同步所述待同步列表。

其中，所述根据所述同步信息验证所述数据同步任务，包括：

获取所述同步信息中用于存储待同步数据的原对象存储集群的公钥和私钥，目的对象存储集群的公钥和私钥；

根据所述原对象存储集群的公钥和私钥和所述目的对象存储集群的公钥和私钥验证所述数据同步任务。

其中，所述从所述数据同步任务对应的对象存储桶中获取待同步列表，包括：

按照所述对象存储桶中的对象列举顺序获取所述待同步列表。

其中，所述通过多个线程并行同步所述待同步列表之后，还包括：

获取数据同步过程中的统计信息。

其中，还包括：

根据所述统计信息判断所述数据同步任务是否执行成功；

若是，则返回所述数据同步任务执行成功的消息至所述客户端；

若否，则返回所述数据同步任务未执行成功的消息至所述客户端，并显示所述统计信息。

其中，所述从所述数据同步任务对应的对象存储桶中获取待同步列表之前，还包括：

判断所述数据同步任务同步的数据是用户级数据还是桶级数据；

当所述数据同步任务同步的数据是用户级数据时，确定所述用户级数据包括的对象存储桶，并执行所述从所述数据同步任务对应的对象存储桶中获取待同步列表的步骤；

当所述数据同步任务同步的数据是桶级数据时，执行所述从所述数据同步任务对应的对象存储桶中获取待同步列表的步骤。

其中，还包括：

当所述数据同步任务为多个时，循序处理所述数据同步任务。

一种数据同步装置，包括：

获取模块，用于获取客户端发送的数据同步任务；

验证模块，用于提取所述数据同步任务携带的同步信息，并根据所述同步信息验证所述数据同步任务；

同步模块，用于当所述数据同步任务验证通过时，从所述数据同步任务对应的对象存储桶中获取待同步列表，并通过多个线程并行同步所述待同步列表。

一种数据同步设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意一项所述的数据同步方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据同步方法的步骤。

通过以上方案可知，本发明实施例提供的一种数据同步方法，包括：获取客户端发送的数据同步任务；提取所述数据同步任务携带的同步信息，并根据所述同步信息验证所述数据同步任务；当所述数据同步任务验证通过时，从所述数据同步任务对应的对象存储桶中获取待同步列表，并通过多个线程并行同步所述待同步列表。

可见，所述方法在获取到客户端发送的数据同步任务后；首先提取数据同步任务携带的同步信息，以进行数据同步任务的验证，提高数据同步的安全性和准确性；当数据同步任务验证通过时，从数据同步任务对应的对象存储桶中获取待同步列表，并通过多个线程并行同步待同步列表，以实现数据同步过程的高并发性，提高数据同步效率。

相应地，本发明实施例提供的一种数据同步装置、设备及可读存储介质，也同样具有上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种数据同步方法流程图；

图2为本发明实施例公开的一种数据同步实施方案示意图；

图3为本发明实施例公开的一种数据同步装置示意图；

图4为本发明实施例公开的一种数据同步设备示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种数据同步方法、装置、设备及可读存储介质，以提高数据同步效率。

参见图1，本发明实施例提供的一种数据同步方法，包括：

S101、获取客户端发送的数据同步任务；

S102、提取数据同步任务携带的同步信息，并根据同步信息验证数据同步任务；

优选地，所述根据所述同步信息验证所述数据同步任务，包括：

获取所述同步信息中用于存储待同步数据的原对象存储集群的公钥和私钥，目的对象存储集群的公钥和私钥；

根据所述原对象存储集群的公钥和私钥和所述目的对象存储集群的公钥和私钥验证所述数据同步任务。

其中，所述同步信息至少包括：原对象存储集群的公钥和私钥，目的对象存储集群的公钥和私钥，同步端口、节点IP地址，同步的数据类型等，其中数据类型分为用户级、桶级和数据对象，用户级数据中包括多个存储桶，一个存储桶中包括多个数据对象。

S103、当数据同步任务验证通过时，从数据同步任务对应的对象存储桶中获取待同步列表，并通过多个线程并行同步待同步列表。

优选地，所述从所述数据同步任务对应的对象存储桶中获取待同步列表，包括：按照所述对象存储桶中的对象列举顺序获取所述待同步列表。

优选地，所述通过多个线程并行同步所述待同步列表之后，还包括：获取数据同步过程中的统计信息。

其中，还包括：

根据所述统计信息判断所述数据同步任务是否执行成功；

若是，则返回所述数据同步任务执行成功的消息至所述客户端；

若否，则返回所述数据同步任务未执行成功的消息至所述客户端，并显示所述统计信息。

可见，本实施例提供了一种数据同步方法，所述方法在获取到客户端发送的数据同步任务后；首先提取数据同步任务携带的同步信息，以进行数据同步任务的验证，提高数据同步的安全性和准确性；当数据同步任务验证通过时，从数据同步任务对应的对象存储桶中获取待同步列表，并通过多个线程并行同步待同步列表，以实现数据同步过程的高并发性，提高数据同步效率。

基于上述实施例，需要说明的是，所述从所述数据同步任务对应的对象存储桶中获取待同步列表之前，还包括：

判断所述数据同步任务同步的数据是用户级数据还是桶级数据；

当所述数据同步任务同步的数据是用户级数据时，确定所述用户级数据包括的对象存储桶，并执行所述从所述数据同步任务对应的对象存储桶中获取待同步列表的步骤；

当所述数据同步任务同步的数据是桶级数据时，执行所述从所述数据同步任务对应的对象存储桶中获取待同步列表的步骤。

基于上述实施例，需要说明的是，还包括：当所述数据同步任务为多个时，循序处理所述数据同步任务。

本发明实施例公开了一种数据同步实施方案，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。

请参见图3，本发明实施例提供的一种数据同步实施方案，该方案包括数据同步任务提交模块、数据同步控制模块和同步进程控制模块。其中，Console模块、Controller模块和Driver模块相互配合完成整体的数据同步。三个模块间的通信方式采用HTTP协议的方式进行。用户通过Console模块的cli.sh客户端进行任务的提交，通过Controller进行任务的分发，通过Driver模块实现数据的同步，通过Web查看具体的同步信息。如果整体的同步出现问题，可以看归档结果。图3中的对象存储系统即为对象存储集群，读、写、删、列操作指对数据的具体操作类型。

1、数据同步任务提交模块(Console)用于为存储管理员展示任务提交界面，以获取同步任务；任务提交后，由数据同步控制模块接手。

2、数据同步控制模块(Controller)用于同步任务的管理。其中，同步任务携带的同步信息会存储至任务配置文件，数据同步控制模块通过读取任务配置文件获取源对象存储与目的对象存储的认证信息，并且将数据同步任务对应的存储桶中的数据列表按序分发到任务执行模块。其中，Controller主要用于保证各个同步任务的顺序性，以及每个同步任务中的数据对象的同步顺序性，以实现同步过程可控。

3、同步进程控制模块(Driver)用于同步任务的执行。数据同步任务到达同步进程控制模块后，同步进程控制模块会解析具体的同步任务。按照同步任务设置的同步线程性，并发完成数据同步的过程，并将数据同步过程的统计信息返回到数据同步控制模块。其中，Driver主要保证数据的同步过程，保证整体数据同步的并发性。

下面将解释一个具体的同步任务配置，例如：

<work name＝"sync2"workers＝"16"config＝"sync_type＝user；">

<sync>

<storage type＝"s3"config＝"srcAccessKey＝key11；srcSecretKey＝sec11；syncFrom＝http://host1:80；"/>

<storage type＝"s3"config＝"destAccessKey＝key11；destSecretKey＝sec11；destTo＝http://host2:80；"/>

</sync>

</work>

其中，work标签用于指定要进行数据同步的任务流，可以指定多个work。每个work可以指定相应的工作线程数workers(本配置文件指定线程数为16)。相应的work的配置文件说明了同步方式，可分别支持用户级数据和桶级数据。

Sync标签用于指定的要同步的两个对象存储集群的配置信息，该配置信息包括：sync_type、srcAccessKey和syncFrom等。

Storage标签用于指定的是对象存储的具体配置。其中type指定是哪种数据同步类型，config指定本对象存储具体的参数配置(公钥、私钥、同步结点等)。

可见，本实施例提供的数据同步实现方案能够实现用户级数据和桶级数据的同步可控，和同步过程的高并发，从而可提高数据同步效率。

下面对本发明实施例提供的一种数据同步装置进行介绍，下文描述的一种数据同步装置与上文描述的一种数据同步方法可以相互参照。

参见图3，本发明实施例提供的一种数据同步装置，包括：

获取模块301，用于获取客户端发送的数据同步任务；

验证模块302，用于提取所述数据同步任务携带的同步信息，并根据所述同步信息验证所述数据同步任务；

同步模块303，用于当所述数据同步任务验证通过时，从所述数据同步任务对应的对象存储桶中获取待同步列表，并通过多个线程并行同步所述待同步列表。

其中，所述验证模块包括：

获取单元，用于获取所述同步信息中用于存储待同步数据的原对象存储集群的公钥和私钥，目的对象存储集群的公钥和私钥；

验证单元，用于根据所述原对象存储集群的公钥和私钥和所述目的对象存储集群的公钥和私钥验证所述数据同步任务。

其中，所述同步模块具体用于：

按照所述对象存储桶中的对象列举顺序获取所述待同步列表。

其中，所述通过多个线程并行同步所述待同步列表之后，还包括：

统计信息获取模块，用于获取数据同步过程中的统计信息。

其中，还包括：

第一判断模块，用于根据所述统计信息判断所述数据同步任务是否执行成功；

第一返回模块，用于当所述数据同步任务执行成功时，返回所述数据同步任务执行成功的消息至所述客户端；

第二返回模块，用于当所述数据同步任务未执行成功时，返回所述数据同步任务未执行成功的消息至所述客户端，并显示所述统计信息。

其中，还包括：

第二判断模块，用于判断所述数据同步任务同步的数据是用户级数据还是桶级数据；

第一执行模块，用于当所述数据同步任务同步的数据是用户级数据时，确定所述用户级数据包括的对象存储桶，并执行所述从所述数据同步任务对应的对象存储桶中获取待同步列表的步骤；

第二执行模块，用于当所述数据同步任务同步的数据是桶级数据时，执行所述从所述数据同步任务对应的对象存储桶中获取待同步列表的步骤。

其中，还包括：

处理模块，用于当所述数据同步任务为多个时，循序处理所述数据同步任务。

可见，本实施例提供了一种数据同步装置，包括：获取模块、验证模块以及同步模块。首先由获取模块获取客户端发送的数据同步任务；然后验证模块提取数据同步任务携带的同步信息，并根据同步信息验证数据同步任务；最后同步模块当数据同步任务验证通过时，从数据同步任务对应的对象存储桶中获取待同步列表，并通过多个线程并行同步待同步列表。如此各个模块之间分工合作，各司其职，从而提高了数据同步的安全性、准确性和同步效率。

下面对本发明实施例提供的一种数据同步设备进行介绍，下文描述的一种数据同步设备与上文描述的一种数据同步方法及装置可以相互参照。

参见图4，本发明实施例提供的一种数据同步设备，包括：

存储器401，用于存储计算机程序；

处理器402，用于执行所述计算机程序时实现上述任意实施例所述的数据同步方法的步骤。

下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种数据同步方法、装置及设备可以相互参照。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的数据同步方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种数据同步方法，其特征在于，包括：

获取客户端发送的数据同步任务；

提取所述数据同步任务携带的同步信息，并根据所述同步信息验证所述数据同步任务；所述同步信息至少包括：原对象存储集群的公钥和私钥，目的对象存储集群的公钥和私钥，同步端口、节点IP地址，同步的数据类型；数据类型分为用户级、桶级和数据对象；

当所述数据同步任务验证通过时，从所述数据同步任务对应的对象存储桶中获取待同步列表，并通过多个线程并行同步所述待同步列表；

其中，所述从所述数据同步任务对应的对象存储桶中获取待同步列表之前，还包括：

判断所述数据同步任务同步的数据是用户级数据还是桶级数据；

当所述数据同步任务同步的数据是用户级数据时，确定所述用户级数据包括的对象存储桶，并执行所述从所述数据同步任务对应的对象存储桶中获取待同步列表的步骤；

当所述数据同步任务同步的数据是桶级数据时，执行所述从所述数据同步任务对应的对象存储桶中获取待同步列表的步骤。

2.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述同步信息验证所述数据同步任务，包括：

获取所述同步信息中用于存储待同步数据的原对象存储集群的公钥和私钥，目的对象存储集群的公钥和私钥；

根据所述原对象存储集群的公钥和私钥和所述目的对象存储集群的公钥和私钥验证所述数据同步任务。

3.根据权利要求2所述的数据同步方法，其特征在于，所述从所述数据同步任务对应的对象存储桶中获取待同步列表，包括：

按照所述对象存储桶中的对象列举顺序获取所述待同步列表。

4.根据权利要求2所述的数据同步方法，其特征在于，所述通过多个线程并行同步所述待同步列表之后，还包括：

获取数据同步过程中的统计信息。

5.根据权利要求4所述的数据同步方法，其特征在于，还包括：

根据所述统计信息判断所述数据同步任务是否执行成功；

若是，则返回所述数据同步任务执行成功的消息至所述客户端；

若否，则返回所述数据同步任务未执行成功的消息至所述客户端，并显示所述统计信息。

6.根据权利要求1至5任一项所述的数据同步方法，其特征在于，还包括：

当所述数据同步任务为多个时，循序处理所述数据同步任务。

7.一种数据同步装置，其特征在于，包括：

获取模块，用于获取客户端发送的数据同步任务；

验证模块，用于提取所述数据同步任务携带的同步信息，并根据所述同步信息验证所述数据同步任务；所述同步信息至少包括：原对象存储集群的公钥和私钥，目的对象存储集群的公钥和私钥，同步端口、节点IP地址，同步的数据类型；数据类型分为用户级、桶级和数据对象；

同步模块，用于当所述数据同步任务验证通过时，从所述数据同步任务对应的对象存储桶中获取待同步列表，并通过多个线程并行同步所述待同步列表；

其中，还包括：

第二判断模块，用于判断所述数据同步任务同步的数据是用户级数据还是桶级数据；

第一执行模块，用于当所述数据同步任务同步的数据是用户级数据时，确定所述用户级数据包括的对象存储桶，并执行所述从所述数据同步任务对应的对象存储桶中获取待同步列表的步骤；

第二执行模块，用于当所述数据同步任务同步的数据是桶级数据时，执行所述从所述数据同步任务对应的对象存储桶中获取待同步列表的步骤。

8.一种数据同步设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1-6任意一项所述的数据同步方法的步骤。

9.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的数据同步方法的步骤。

Images