CN102404372A

CN102404372A - Web缓存中内容分布式存储的方法、系统及节点设备

Info

Publication number: CN102404372A
Application number: CN2010102855468A
Authority: CN
Inventors: 朱帅
Original assignee: China Mobile Group Jiangsu Co Ltd
Current assignee: China Mobile Group Jiangsu Co Ltd
Priority date: 2010-09-16
Filing date: 2010-09-16
Publication date: 2012-04-04

Abstract

本发明提供了WEB缓存中内容分布式存储的方法、系统及节点设备，其中，该方法包括：每个节点存储各自的路由表，路由表包含节点与相应节点所存文件的键值之间的对应关系；该方法还包括：访问节点对访问信息进行哈希运算，生成所得键值，在自身存储的对应关系中查找出与所得键值对应的节点；访问节点向查找出的节点获取与所得键值对应的文件。本发明方案节省了代理服务器的容量，减轻了代理服务器的负担。

Description

WEB缓存中内容分布式存储的方法、系统及节点设备

技术领域

本发明涉及WEB缓存技术，尤其涉及WEB缓存中内容分布式存储的方法、系统及节点设备。

背景技术

现有的WEB缓存技术在用户服务器与网站服务器之间设置代理服务器，如图1所示，进行网页访问时，用户节点向用户服务器发送包含URL地址的访问请求，用户服务器将访问请求通过代理服务器传送给网站服务器，网站服务器将相应网页内容的文件通过代理服务器传送给用户服务器，进而传送给用户节点。

上述进行网页访问的过程中，代理服务器在传送文件的同时，还保存该文件。这样，用户服务器下一次采用同样的URL地址访问网页时，便可直接从代理服务器获取，而不用从远程的网站服务器获取，从而，减小了传输时延，也减轻了网站服务器的负载；并且，将部分网页的文件存储在代理服务器，没有被存储的文件将因网站服务器负载的减轻而较快地被获取；不仅如此，对于因远程出现网站服务器故障或网络故障造成网站服务器无法响应访问请求的情况，可以从代理服务器获取需要的文件，使得WEB服务的健壮性得到了加强。

但是，现有的WEB缓存技术也存在以下缺点：

随着访问次数的增加，代理服务器存储的内容也随之增加，这加大了代理服务器的容量负担。

发明内容

本发明提供一种WEB缓存中内容分布式存储的方法，该方法能够节省代理服务器的容量。

本发明提供一种WEB缓存中内容分布式存储的系统，该系统能够节省代理服务器的容量。

本发明提供一种节点设备，该节点设备能够节省代理服务器的容量。

一种WEB缓存中内容分布式存储的方法，该方法中每个节点存储各自的路由表，路由表包含节点与相应节点所存文件的键值之间的对应关系；该方法还包括：

访问节点对访问信息进行哈希运算，生成所得键值，在自身存储的对应关系中查找出与所得键值对应的节点；

访问节点向查找出的节点获取与所得键值对应的文件。

一种WEB缓存中内容分布式存储的系统，该系统包括多个节点，每个节点存储各自的路由表，路由表包含节点与相应节点所存文件的键值之间的对应关系；

所述多个节点中包括访问节点和目的节点，所述访问节点用于对访问信息进行哈希运算，生成所得键值，在自身存储的对应关系中查找与所得键值对应的节点，向查找出的目的节点获取与所得键值对应的文件。

一种节点设备，该节点设备包括存储单元、键值运算单元、查找获取单元；

存储单元，用于存储路由表，路由表包含节点与相应节点所存文件的键值之间的对应关系；

键值运算单元，用于对访问信息进行哈希运算，生成所得键值，传送给查找获取单元；

查找获取单元，用于在存储单元存储的路由表中查找与所得键值对应的节点，向查找出的节点获取与所得键值对应的文件。

从上述方案可以看出，本发明将代理服务器存储的文件分布于各个节点进行缓存，这样，节省了代理服务器的容量，减轻了代理服务器的负担。

附图说明

图1为现有技术WEB缓存中内容存储的系统结构示意图；

图2为本发明WEB缓存中内容分布式存储的方法示意性流程图；

图3为本发明WEB缓存中内容分布式存储的虚拟环示意图实例。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

本发明采用分布式存储的方式进行WEB缓存，将代理服务器存储的文件分布于各个节点进行存储，从而，节省了代理服务器的容量，减轻了代理服务器的负担。

参见图2，为本发明WEB缓存中内容分布式存储的方法示意性流程图，该方法中，每个节点存储了各自的路由表，路由表包含节点与相应节点所存文件的键值之间的对应关系，每一对应关系也即一条路由信息；该方法包括以下步骤：

步骤201，访问节点对访问信息进行哈希运算，生成所得键值。

对访问信息进行哈希运算，生成键值，为本领域技术人员根据哈希算法容易实现的，这里不过多赘述。

所述访问信息例如为访问地址，或者为访问地址和访问时间，所述访问地址例如为URL地址；由于访问信息是唯一的，根据哈希算法的特点，相应得到的键值也是唯一的。

现有技术中，用户通过URL地址对代理服务器内存储的文件进行访问，用户获取的可能是已经成为历史的文件，而非实时的文件。若采用本发明提供的通过URL地址与访问时间相结合进行网页访问的方案，由于访问时间的限定，将获取到最新的文件。

步骤202，访问节点在自身存储的对应关系中查找出与所得键值对应的节点。

步骤203，访问节点向查找出的节点获取与所得键值对应的文件。

上述流程步骤202中，如果访问节点在其存储的对应关系中没有查找出与所得键值对应的节点，该方法还可以包括：

访问节点在自身存储的对应关系中查找出与所得键值接近的下一跳节点，向下一跳节点发送包含所得键值的获取请求；

下一跳节点接收获取请求，在本地存储的对应关系中查找与所得键值对应的节点，如果查找到，则向访问节点提供与所得键值对应的文件，如果没有查找到，则在本地存储的对应关系中查找出与所得键值接近的下一跳节点，向下一跳节点发送包含所得键值的获取请求，执行所述下一跳节点接收获取请求，在本地存储的对应关系中查找与所得键值对应的节点的步骤。

对于访问节点在其存储的对应关系中没有查找出与所得键值对应的节点的情况，在访问节点获取到与所得键值对应的文件之后，还可以包括添加所得键值与存储该所得键值对应文件的节点之间的对应关系的方法，具体地，该添加方法包括：

访问节点判断其存储的路由表是否已满，如果是，则删除路由表中键值距离本路由表记录最远的对应关系，在路由表中添加所得键值与存储该所得键值对应文件的节点之间的对应关系；否则，直接在路由表中添加所得键值与存储该所得键值对应文件的节点之间的对应关系。

除了在访问节点中添加该对应关系外，进一步地，还可以在传递该获取请求的所有节点都添加该对应关系，具体地，存储该所得键值对应文件的节点向对其发送获取请求的节点发送添加请求，该添加请求中包含该对应关系，接收添加请求的节点采用与访问节点类似的方式进行添加；之后，接收添加请求的节点再向对其发送获取请求的节点发送添加请求，进行节点添加；依此类推，直到传递该获取请求的各个节点都完成该对应关系的添加。

本发明中，进一步地，还可以对查找跳数进行限制，访问节点在获取请求中携带该跳数，当某节点在本地存储的对应关系中没有查找到与所得键值对应的节点时，将跳数减1后包含在获取请求中发送给下一跳节点，依此类推，至此最后一节点接收到的获取请求中包含的跳数为1，若该最后一节点仍没有在本地存储的对应关系中查找到与所得键值对应的节点，则向访问节点返回查找失败的信息，访问节点接收该信息后，直接向网站节点获取相应的文件。还可以，在访问节点设置定时器，当访问节点向下一跳节点发送获取请求时，启动该定时器，如果定时器超时仍没有接收到目的节点的反馈，则直接向网站节点获取相应的文件。

下面对某节点初始生成路由表的过程进行说明。本发明将参与分布式存储的节点虚拟成环状，按照位置相邻的方式将节点分布在环上，紧挨本节点的节点为距离其最近的节点。在每个节点存储各自的路由表，路由表包含节点与相应节点所存文件的键值之间的对应关系。初始时，假设某节点的路由表为空，进行WEB访问时，该节点对访问信息进行哈希运算，生成唯一的键值，将其称为所得键值，由于该节点的路由表为空，不能从路由表获取与该所得键值对应的路由信息，本地节点将包含所得键值的获取请求发送给环上与本地节点邻近的下一节点，之后，便可按照前述方式进行查找。

下面通过具体实例对本发明方案进行说明，将参与分布式存储的节点虚拟成环状，如图3所示，图中标出了虚拟环上的部分节点。访问节点为节点4(N4)，其存储的路由表如表1所示，N4根据访问信息中包含的URL地址和访问时间，哈希出所得键值，该所得键值为52，表示为K52；N4在本地存储的路由表中进行查找，没有查找到相应的路由信息，则在本地存储的路由表中查找出与K52接近的下一跳节点，与K52接近的键值为30，相应的节点为N40；N4向N40发送包含K52的获取请求，获取请求中还包括发起获取请求的节点信息，即N4；N40接收获取请求后，在本地存储的路由表中进行查找，没有查找到相应的路由信息，则在本地存储的路由表中查找出与K52接近的下一跳节点，与K52接近的键值为47，相应的节点为N48；N40向N48发送包含K52和N4的获取请求；N48接收获取请求后，在本地存储的路由表中进行查找，查找出与K52对应的节点为N56；N48向N56发送包含K52和N4的获取请求；N56接收该获取请求后，将本地存储的与K52对应的文件提供给N4。

N4从N56获取与K52对应的文件后，在本路由表中添加路由信息<56，52>，假设本路由表只能存储3条路由信息，则删除表中键值距离本路由表记录最远的路由信息，表1中K70距离K12和K30最远，因此删除关于K70的路由信息，然后添加路由信息<56，52>。进一步地，还可以对传递获取请求的节点添加路由信息<56，52>，该添加过程与传递获取请求的过程相逆，具体地，由存储该所得键值对应文件的节点，即N48向对其发送获取请求的节点N40发送添加请求，该添加请求中包含路由信息<56，52>，N40与采用与N4类似的方法添加该路由信息。

节点	键值
		30	12
40	30
		45	70

表1N4内存储了路由表

节点	键值
		42	29
43	93
		48	47

表2N40内存储了路由表

节点	键值
		32	12
56	52

表3N48内存储了路由表

本发明还提供一种WEB缓存中内容分布式存储的系统，该系统包括多个节点，每个节点存储各自的路由表，路由表包含节点与相应节点所存文件的键值之间的对应关系；

可选地，所述访问节点进一步用于在没有在其存储的对应关系中查找出与所得键值对应的节点时，在自身存储的对应关系中查找出与所得键值接近的下一跳节点，向下一跳节点发送包含所得键值的获取请求；

所述下一跳节点，用于接收获取请求，在本地存储的对应关系中查找与所得键值对应的节点，如果查找到，则向访问节点提供与所得键值对应的文件，如果没有查找到，则在本地存储的对应关系中查找出与所得键值接近的下一跳节点，向下一跳节点发送包含所得键值的获取请求，直至找到存储了与所得键值对应文件的目的节点；

所述目的节点，将其存储的与所得键值对应的文件传送给访问节点。

可选地，该节点设备包括存储单元、键值运算单元、查找获取单元；

可选地，所述查找获取单元，进一步用于在没有在其存储的对应关系中查找出与所得键值对应的节点时，在自身存储的对应关系中查找出与所得键值接近的下一跳节点，向下一跳节点发送包含所得键值的获取请求；并接收目的节点传送的与所得键值对应的文件。

可选地，该节点设备包括更新单元，用于判断其存储的路由表是否已满，如果是，则删除路由表中键值距离本路由表记录最远的对应关系，在路由表中添加所得键值与存储该所得键值对应文件的节点之间的对应关系；否则，直接在路由表中添加所得键值与目的节点之间的对应关系。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种WEB缓存中内容分布式存储的方法，其特征在于，每个节点存储各自的路由表，路由表包含节点与相应节点所存文件的键值之间的对应关系；该方法还包括：

访问节点向查找出的节点获取与所得键值对应的文件。

2.如权利要求1所述的方法，其特征在于，如果访问节点在其存储的对应关系中没有查找出与所得键值对应的节点，该方法还包括：

3.如权利要求2所述的方法，其特征在于，所述下一跳节点向访问节点提供与所得键值对应的文件之后，该方法包括：

4.如权利要求1、2或3所述的方法，其特征在于，所述访问信息为访问地址，或者为访问地址和访问时间。

5.一种WEB缓存中内容分布式存储的系统，其特征在于，该系统包括多个节点，每个节点存储各自的路由表，路由表包含节点与相应节点所存文件的键值之间的对应关系；

6.如权利要求5所述的系统，其特征在于，所述访问节点进一步用于在没有在其存储的对应关系中查找出与所得键值对应的节点时，在自身存储的对应关系中查找出与所得键值接近的下一跳节点，向下一跳节点发送包含所得键值的获取请求；

7.一种节点设备，其特征在于，该节点设备包括存储单元、键值运算单元、查找获取单元；

8.如权利要求7所述的节点设备，其特征在于，所述查找获取单元，进一步用于在没有在其存储的对应关系中查找出与所得键值对应的节点时，在自身存储的对应关系中查找出与所得键值接近的下一跳节点，向下一跳节点发送包含所得键值的获取请求；并接收目的节点传送的与所得键值对应的文件。

9.如权利要求8所述的节点设备，其特征在于，该节点设备包括更新单元，用于判断其存储的路由表是否已满，如果是，则删除路由表中键值距离本路由表记录最远的对应关系，在路由表中添加所得键值与存储该所得键值对应文件的节点之间的对应关系；否则，直接在路由表中添加所得键值与目的节点之间的对应关系。