CN106161637A - 一种云备份方法及装置 - Google Patents

Abstract

本发明公开了一种云备份方法，包括：接收客户端发送的待备份的文件数据；将所述文件数据进行缓存；在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。相应的，本发明还公开了一种云备份装置。采用本发明实施例，能够提高网络利用率及系统性能。

Description

一种云备份方法及装置

技术领域

本发明涉及云计算技术领域，尤其涉及一种云备份方法及装置。

背景技术

云备份是通过集群应用、网格技术、分布式文件系统等功能，将各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储备份的功能服务。云备份技术依赖于网络技术的传输。在现有的备份方案中，每改变一个备份集的文件时，就需进行一次文件的备份操作。而此备份操作包含网络传输，以及本地或者云存储的文件读写操作，频繁的网络传输导致网络带宽的占用率高，各类大小文件的频繁读写操作导致备份系统性能的严重下降。

发明内容

本发明实施例提出一种云备份方法及装置，能够提高网络利用率及系统性能。

本发明实施例提供一种云备份方法，包括：

接收客户端发送的待备份的文件数据；

将所述文件数据进行缓存；

在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。

进一步地，所述将所述文件数据进行缓存，具体包括：

为所述文件数据分配唯一的文件标识值；

根据所述文件标识值为所述文件数据分配缓存系统；

将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。

进一步地，所述根据所述文件标识值为所述文件数据分配缓存系统，具体包括：

采用哈希算法计算获得所述文件标识值的哈希值；

计算所述哈希值对缓存系统的总个数取余的余数值；

为所述文件数据分配编号为所述余数值的缓存系统。

进一步地，所述在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份，具体包括：

在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。

进一步地，在所述将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云端进行备份之后，还包括：

清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。

相应地，本发明实施例还提供一种云备份装置，包括：

接收模块，用于接收客户端发送的待备份的文件数据；

缓存模块，用于将所述文件数据进行缓存；以及，

备份模块，用于在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。

进一步地，所述缓存模块具体包括：

标识值分配单元，用于为所述文件数据分配唯一的文件标识值；

缓存系统分配单元，用于根据所述文件标识值为所述文件数据分配缓存系统；以及，

缓存单元，用于将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。

进一步地，所述缓存系统分配单元具体包括：

哈希值计算子单元，用于采用哈希算法计算获得所述文件标识值的哈希值；

数值计算单元，用于计算所述哈希值对缓存系统的总个数取余的余数值；以及，

分配子单元，用于为所述文件数据分配编号为所述余数值的缓存系统。

进一步地，所述备份模块具体用于在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。

进一步地，所述云备份装置还包括：

反馈模块，用于清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的云备份方法及装置，能够对客户端发送过来的文件数据进行缓存，并在缓存的数据量达到预设的阈值时，将缓存的所有文件数据一并写入云存储端进行备份，从而大大减少网络传输的次数和读写操作的次数，提高网络带宽的利用率及备份系统的性能；采用分布式的缓存系统来缓存客户端发送的文件数据，可以避免单台缓存系统性能上的瓶颈，从而提高缓存性能。

附图说明

图1是本发明提供的云备份方法的一个实施例的流程示意图；

图2是本发明提供的云备份装置的一个实施例的结构示意图；

图3是本发明提供的云备份系统的一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明提供的云备份方法的一个实施例的流程示意图，包括：

S1、接收客户端发送的待备份的文件数据；

S2、将所述文件数据进行缓存；

S3、在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。

需要说明的是，本发明实施例是从云备份服务端这一侧进行描述的。云备份服务端为每一个备份新建备份集，填写客户端地址和备份目录后，向客户端发送指令以使客户端进行备份。客户端在接收到该指令后，将待备份的文件数据上传至云备份服务端，云备份服务端缓存上传的文件数据，并在缓存的数据量，如文件数量、文件大小，达到预设的阈值时，将缓存的所有文件数据一并推送写入到包括本地磁盘、云存储等存储后端。云备份服务端在接收到客户端发送的文件数据时不会马上将文件数据写入云存储端，而是先缓存起来，缓存到一定数量后再一并推送写入到云存储端，从而大大减少网络传输的次数和读写操作的次数，提高网络带宽的利用率及备份系统的性能。

进一步地，所述将所述文件数据进行缓存，具体包括：

为所述文件数据分配唯一的文件标识值；

根据所述文件标识值为所述文件数据分配缓存系统；

将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。

需要说明的是，云备份服务端具有N个缓存系统，其中，N≥1。云备份服务端在接收到客户端上传的文件数据后，需将文件数据缓存到缓存系统中。云备份服务端先对文件数据分配一个唯一的文件标识值，再对文件标识值进行处理获得该文件数据所对应的缓存服务器，从而将该文件数据及其对应的文件标识值以键值对的形式缓存到相应的缓存服务器中。其中，采用分布式的架构来设计缓存系统，可以避免单台缓存系统性能上的瓶颈，从而提高缓存性能。

进一步地，所述根据所述文件标识值为所述文件数据分配缓存系统，具体包括：

采用哈希算法计算获得所述文件标识值的哈希值；

计算所述哈希值对缓存系统的总个数取余的余数值；

为所述文件数据分配编号为所述余数值的缓存系统。

需要说明的是，云备份服务端中的N个缓存系统均具有一个编号，其编号依次为0～N-1。在为文件数据分配缓存系统时，先采用哈希算法对该文件数据的唯一的文件标识值进行计算，获得哈希值，再用哈希值对N取余，获得一个位于缓存系统编号区间的余数值，从而将编号为该余数值的缓存系统分配给该文件数据，以便文件数据及其对应的文件数据缓存到分配的缓存系统中。

另外，在文件数据还缓存在云备份服务端中时，客户端可根据云备份服务端反馈的文件列表来向云备份服务端发送文件读取请求，其中，文件读取请求包括文件标识值。云备份服务端在接收到该文件读取请求后，对文件标识值进行处理，先采用哈希算法对该文件标志值进行计算，获得哈希值，再用哈希值对N取余，获得的余数值，进而从编号为该余数值的缓存系统中读取出文件标识值所对应的文件数据，并反馈给客户端。

进一步地，所述在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份，具体包括：

在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。

需要说明的是，云备份服务端实时对所有缓存系统中缓存的数据量进行检测，当检测到缓存的所有文件数据的数据量达到预设的阈值时，将缓存的所有文件数据写入到云存储端进行备份。

进一步地，在所述将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份之后，还包括：

清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。

需要说明的是，在将云备份服务端中缓存的所有文件数据写入到云存储端后，云备份服务端清除缓存的所有文件数据。另外，云备份服务端向客户端反馈文件列表，其中，文件列表包括各个文件数据所对应的文件标识值。客户端可根据文件标识值向云存储端发送读取指令，以读取相应的文件数据。另外，客户端还可根据文件标志值来获取相应文件数据的索引记录等信息。

本发明实施例提供的云备份方法，能够对客户端发送过来的文件数据进行缓存，并在缓存的数据量达到预设的阈值时，将缓存的所有文件数据一并写入云存储端进行备份，从而大大减少网络传输的次数和读写操作的次数，提高网络带宽的利用率及备份系统的性能；采用分布式的缓存系统来缓存客户端发送的文件数据，可以避免单台缓存系统性能上的瓶颈，从而提高缓存性能。

相应的，本发明还提供一种云备份装置及系统，能够实现上述实施例中的云备份方法的所有流程。

参见图2，是本发明提供的云备份方法的一个实施例的结构示意图，包括：

接收模块1，用于接收客户端发送的待备份的文件数据；

缓存模块2，用于将所述文件数据进行缓存；以及，

备份模块3，用于在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。

进一步地，所述缓存模块具体包括：

标识值分配单元，用于为所述文件数据分配唯一的文件标识值；

缓存系统分配单元，用于根据所述文件标识值为所述文件数据分配缓存系统；以及，

缓存单元，用于将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。

进一步地，所述缓存系统分配单元具体包括：

哈希值计算子单元，用于采用哈希算法计算获得所述文件标识值的哈希值；

数值计算单元，用于计算所述哈希值对缓存系统的总个数取余的余数值；以及，

分配子单元，用于为所述文件数据分配编号为所述余数值的缓存系统。

进一步地，所述备份模块具体用于在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。

进一步地，所述云备份装置还包括：

反馈模块，用于清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。

参见图3，是本发明提供的云备份方法的一个实施例的结构示意图，包括客户端31、云备份服务端32、云备份服务端本地磁盘33和云存储端34。其中，客户端31将需要备份的文件数据上传至云备份服务端32，云备份服务端32将文件数据缓存起来，当缓存的文件数据的数据量达到预设的阈值时，再将缓存的文件数据一并推送写入到云备份服务端本地磁盘33或云存储端34等存储后端。

本发明实施例提供的云备份装置及系统，能够对客户端发送过来的文件数据进行缓存，并在缓存的数据量达到预设的阈值时，将缓存的所有文件数据一并写入云存储端进行备份，从而大大减少网络传输的次数和读写操作的次数，提高网络带宽的利用率及备份系统的性能；采用分布式的缓存系统来缓存客户端发送的文件数据，可以避免单台缓存系统性能上的瓶颈，从而提高缓存性能。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种云备份方法，其特征在于，包括：

接收客户端发送的待备份的文件数据；

将所述文件数据进行缓存；

在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。

2.如权利要求1所述的云备份方法，其特征在于，所述将所述文件数据进行缓存，具体包括：

为所述文件数据分配唯一的文件标识值；

根据所述文件标识值为所述文件数据分配缓存系统；

将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。

3.如权利要求2所述的云备份方法，其特征在于，所述根据所述文件标识值为所述文件数据分配缓存系统，具体包括：

采用哈希算法计算获得所述文件标识值的哈希值；

计算所述哈希值对缓存系统的总个数取余的余数值；

为所述文件数据分配编号为所述余数值的缓存系统。

4.如权利要求2或3所述的云备份方法，其特征在于，所述在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份，具体包括：

在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。

5.如权利要求4所述的云备份方法，其特征在于，在所述将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份之后，还包括：

清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。

6.一种云备份装置，其特征在于，包括：

接收模块，用于接收客户端发送的待备份的文件数据；

缓存模块，用于将所述文件数据进行缓存；以及，

备份模块，用于在检测到缓存的文件数据的数据量达到预设的阈值时，将所述缓存的文件数据写入云存储端进行备份。

7.如权利要求6所述的云备份装置，其特征在于，所述缓存模块具体包括：

标识值分配单元，用于为所述文件数据分配唯一的文件标识值；

缓存系统分配单元，用于根据所述文件标识值为所述文件数据分配缓存系统；以及，

缓存单元，用于将所述文件数据及其对应的文件标识值缓存在所述缓存系统中。

8.如权利要求7所述的云备份装置，其特征在于，所述缓存系统分配单元具体包括：

哈希值计算子单元，用于采用哈希算法计算获得所述文件标识值的哈希值；

数值计算单元，用于计算所述哈希值对缓存系统的总个数取余的余数值；以及，

分配子单元，用于为所述文件数据分配编号为所述余数值的缓存系统。

9.如权利要求7或8所述的云备份装置，其特征在于，所述备份模块具体用于在检测到所有缓存系统中缓存的文件数据的数据量达到预设的阈值时，将所有缓存系统中缓存的文件数据及其对应的文件标识值写入云存储端进行备份。

10.如权利要求9所述的云备份装置，其特征在于，所述云备份装置还包括：

反馈模块，用于清除所有缓存系统中缓存的文件数据，并向所述客户端反馈文件列表，使所述客户端根据所述文件列表中的文件标识值向所述云存储端发送读取指令，以读取所述云存储端中所述文件标识值所对应的文件数据。