CN110362535B - 一种文件管理方法、装置及系统 - Google Patents
一种文件管理方法、装置及系统 Download PDFInfo
- Publication number
- CN110362535B CN110362535B CN201910631173.6A CN201910631173A CN110362535B CN 110362535 B CN110362535 B CN 110362535B CN 201910631173 A CN201910631173 A CN 201910631173A CN 110362535 B CN110362535 B CN 110362535B
- Authority
- CN
- China
- Prior art keywords
- file
- server
- index
- queried
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/137—Hash-based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
- G06F16/152—File search processing using file content signatures, e.g. hash values
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提出一种文件管理方法、装置及系统,该方法可应用于文件服务器,所述文件服务器按照设定周期生成新增文件的索引,并将生成的索引发送给应用服务器;其中,所述索引中携带唯一标识所述文件服务器的令牌;所述方法包括:查询应用服务器内是否具有与所述文件服务器对应的查询标记;其中,与所述文件服务器对应的查询标记,为表示需要所述文件服务器查询并反馈设定的文件的标记信息;如果接收到应用服务器发送的查询标记,则检索得到与所述查询标记对应的文件并发送给所述应用服务器。上述处理过程可以使应用服务器将文件查询请求精准地发送至存储待查询文件的文件服务器,可以使应用服务器文件查询时网络和内存资源得到合理利用,避免了资源浪费。
Description
技术领域
本申请涉及文件管理技术领域,尤其涉及一种文件管理方法、装置及系统。
背景技术
分布式文件存储是解决海量文件存储的优选方案。例如图1所示,位于不同位置的文件服务器作为整个文件管理系统的文件存储节点,用于对文件进行存储;应用服务器可以对各个文件服务器节点发起文件查询请求,以便从文件服务器节点中读取需要的文件。
通常,应用服务器需要从文件服务器节点获取文件时,以广播的形式向所有的文件服务器节点发送文件请求信息。当各个文件服务器节点接收到文件请求时,查询所请求的文件是否存储于本节点,如果存储于本节点,则将所请求的文件发送给应用服务器,否则不响应应用服务器请求。可以理解,应用服务器所请求的某一文件只会存储在某一个文件服务器中,上述的文件查询请求方式,会造成大量的无效文件请求。假设文件管理系统有N个文件服务器节点,则应用服务器每次文件请求中均存在N-1次无效请求,这势必会带来巨大的网络和内存资源浪费。
发明内容
基于上述现有技术的缺陷和不足,本申请提出一种文件管理方法、装置及系统,能够使服务器文件请求更精准,从而避免浪费内存资源。
一种文件管理方法,应用于文件服务器,所述文件服务器按照设定周期生成增文件的索引,并将生成的索引发送给应用服务器;其中,所述索引中携带唯一标识所述文件服务器的令牌;所述方法包括:
查询所述应用服务器内是否具有与所述文件服务器对应的查询标记;其中,与所述文件服务器对应的查询标记,为表示需要所述文件服务器查询并反馈设定的文件的标记信息;
如果接收到所述应用服务器发送的查询标记,则检索得到与所述查询标记对应的文件并发送给所述应用服务器。
可选的,所述按照设定周期生成新增文件的索引,包括:
在每日工作结束时对当日新增文件进行hash运算处理,得到文件hash值;
利用所述文件hash值和所述文件服务器的令牌,组成文件的索引。
可选的,在对当日新增文件进行hash运算处理,得到文件hash值后,所述方法还包括:
对所述文件hash值进行压缩处理。
可选的,所述文件服务器还按照设定周期将新增文件更新到应用服务器缓存中。
一种文件管理方法,应用于应用服务器,所述应用服务器接收文件服务器发送的文件索引,并将接收的文件索引进行归并存储;其中,所述文件索引中包含唯一标识文件服务器的令牌;所述方法包括:
根据接收的文件查询请求,生成待查询文件的索引;
从存储的文件索引中,检索与所述待查询文件的索引相同的文件索引;
当检索到与所述待查询文件的索引相同的文件索引时,确定该文件索引包含的令牌,以及确定存储所述待查询文件的文件服务器;
生成查询标记,所述查询标记为表示需要存储所述待查询文件的文件服务器查询所述待查询文件的标记信息;
当接收到存储所述待查询文件的文件服务器发送的查询请求时,将所述查询标记发送给存储所述待查询文件的文件服务器,以使存储所述待查询文件的文件服务器反馈所述待查询文件。
可选的,所述方法还包括:
当检索不到与所述待查询文件的索引相同的文件索引时,从所述应用服务器缓存中查询所述待查询文件。
可选的,所述根据接收的文件查询请求,生成待查询文件的索引,包括:
根据接收的文件查询请求,确定待查询文件;
对所述待查询文件进行hash运算处理,得到文件hash值,作为所述待查询文件的索引。
一种文件管理装置,应用于文件服务器,所述装置包括:
信息上传单元,用于按照设定周期生成新增文件的索引,并将生成的索引发送给应用服务器;其中,所述索引中携带唯一标识所述文件服务器的令牌;
查询处理单元,用于查询所述应用服务器内是否具有与所述文件服务器对应的查询标记;其中,与所述文件服务器对应的查询标记,为表示需要所述文件服务器查询并反馈设定的文件的标记信息;
文件上传单元,用于当接收到所述应用服务器发送的查询标记时,检索得到与所述查询标记对应的文件并发送给所述应用服务器。
一种文件管理装置,应用于应用服务器,所述装置包括:
信息存储单元,用于接收文件服务器发送的文件索引,并将接收的文件索引进行归并存储;其中,所述文件索引中包含唯一标识文件服务器的令牌;
索引生成单元,用于根据接收的文件查询请求,生成待查询文件的索引;
索引检索单元,用于从存储的文件索引中,检索与所述待查询文件的索引相同的文件索引;
信息确定单元,用于当检索到与所述待查询文件的索引相同的文件索引时,确定该文件索引包含的令牌,以及确定存储所述待查询文件的文件服务器;
标记生成单元,用于生成查询标记,所述查询标记为表示需要存储所述待查询文件的文件服务器查询所述待查询文件的标记信息;
标记发送单元,用于当接收到存储所述待查询文件的文件服务器发送的查询请求时,将所述查询标记发送给存储所述待查询文件的文件服务器,以使存储所述待查询文件的文件服务器反馈所述待查询文件。
一种文件管理系统,包括:
文件服务器和应用服务器;
其中,所述文件服务器,用于按照设定周期生成新增文件的索引,并将生成的索引发送给应用服务器;其中,所述索引中携带唯一标识所述文件服务器的令牌;查询所述应用服务器内是否具有与所述文件服务器对应的查询标记;其中,与所述文件服务器对应的查询标记,为表示需要所述文件服务器查询并反馈设定的文件的标记信息;在接收到所述应用服务器发送的查询标记时,检索得到与所述查询标记对应的文件并发送给所述应用服务器;
所述应用服务器,用于接收文件服务器发送的文件索引,并将接收的文件索引进行归并存储;根据接收的文件查询请求,生成待查询文件的索引;从存储的文件索引中,检索与所述待查询文件的索引相同的文件索引;当检索到与所述待查询文件的索引相同的文件索引时,确定该文件索引包含的令牌,以及确定存储所述待查询文件的文件服务器;生成查询标记,所述查询标记为表示需要存储所述待查询文件的文件服务器查询所述待查询文件的标记信息;当接收到存储所述待查询文件的文件服务器发送的查询请求时,将所述查询标记发送给存储所述待查询文件的文件服务器。
本申请提出的文件管理方法,设定文件服务器主动将存储的文件的索引发送到应用服务器,当应用服务器需要查询文件时,利用存储的文件索引确定存储待查询文件的文件服务器,并生成与该文件服务器对应的查询标记。当该文件服务器向应用服务器发送查询请求时,将该查询标记发动给该文件服务器,使该文件服务器查询得到待查询文件并反馈给应用服务器。上述处理过程可以使应用服务器将文件查询请求精准地发送至存储待查询文件的文件服务器,将该技术方案应用于分部式文件存储系统中,可以使应用服务器文件查询时网络和内存资源得到合理利用,避免了资源浪费。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请实施例提供的一种分布式文件存储系统的示意图;
图2是本申请实施例提供的应用于图1所示的分布式文件存储系统的图片文件查询处理过程示意图;
图3是本申请实施例提供的图片文件查询处理过程示意图;
图4是本申请实施例提供的银行冠字号码图片管理系统示意图;
图5是本申请实施例提供的一种文件管理方法的流程示意图;
图6是本申请实施例提供的文件hash值示意图;
图7是本申请实施例提供的对文件索引进行归并存储的示意图;
图8是本申请实施例提供的一种应用于文件服务器的文件管理装置的结构示意图;
图9是本申请实施例提供的一种应用于应用服务器的文件管理装置的结构示意图;
图10是本申请实施例提供的一种文件管理系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提出一种文件管理方法,该方法可应用于如图1所示的分布式文件存储系统,该系统包括至少一个文件服务器,作为文件服务器节点,用于存储文件,以及包括一个应用服务器,用于响应文件请求,从文件服务器中读取所请求的文件。
其中,上述文件可以是图片、视频、音频、文本等文件中的任意一种类型的文件。在本申请实施例中,以图片文件为例,介绍本申请实施例提出的文件管理方法的具体处理过程。可以理解,当上述文件为其他类型的文件时,也可以参照本申请实施例技术方案,实现文件管理,本申请实施例不再一一详细说明。
参见图2所示,现有的应用于图1所示的分布式文件存储系统的图片文件查询处理过程,大致可概括为:
当用户通过web端发起图片查询请求后,(1)应用服务器向各文件服务器节点发送查询请求;(2)各文件服务器节点接收到查询请求后,在本地进行图片检索;(3)当某文件服务器节点检索到图片信息后将图片上传到应用服务器;(4)没有检索到符合条件图片的文件服务器节点通过请求响应或超时返回查询为空的结果;(5)用户通过web异步下载检索到的图片。
可以理解,上述文件查询过程为广播式的文件查询过程,而实际上,应用服务器所查询的文件只存储于某一个文件服务器中,因此在每次查询时均存在大量的无效查询,带来很大的网络和内存资源浪费。
为了解决或改善上述问题,本申请实施例提出一种文件管理方法,具体为对文件进行管理和查询的处理方法。该方法同样可应用于图1和图2所示的分布式文件管理系统。
参见图3所示的处理过程,本申请实施例提出的文件管理方法,可以实现由应用服务器从文件服务器集群中的任意一个文件服务器节点获取到需要获取的文件,并且该过程不需要应用服务器向所有的文件服务器节点均发送文件请求,而是可以精准地将文件请求发送到存储所请求的文件的文件服务器。基于图3所示的处理过程,本申请实施例以应用服务器从文件服务器集群中的某一个文件服务器获取文件为例,介绍本申请所提出的文件管理方法的具体处理过程。
与图3所示的处理过程相对应的,本申请实施例技术方案可以用于如图4所示的银行冠字号码图片管理系统,在该系统中,各地网点的PC机相当于文件服务器节点,可以采集冠字号码图片并存储,而一级分行部署的web服务器则可相当于应用服务器可以对各网点PC机存储的冠字号码图片进行请求、获取。本申请实施例以应用服务器从文件服务器中获取冠字号码图片为例,介绍本申请实施例提出的文件管理方法的处理过程。
参见图5所示,本申请实施例提出的文件管理方法的具体处理过程,包括:
S501、新增文件服务器加入文件服务器集群时,分布式文件存储系统为新增的文件服务器建立令牌,并将建立的令牌上传应用服务器;
S502、应用服务器保存新增文件服务器的令牌;
具体的,上述的文件服务器的令牌,作为文件服务器的唯一标识。每一个新增的文件服务器作为一个文件服务器节点加入图3所示的文件服务器集群时,分布式文件存储系统系统均为新增的文件服务器建立令牌,用于唯一标识该文件服务器。
新增的文件服务器在获取到令牌后,将该令牌上传到应用服务器,应用服务器将该令牌保存,即在应用服务器中存储了该文件服务器的标识信息,可以用于对该文件服务器进行身份识别等。
S503、文件服务器按照设定周期将新增图片更新到应用服务器缓存中;
示例性的,本申请实施例设定上述设定周期为每日工作结束时,即是以天为单位的周期。
文件服务器以天为单位,在每日工作过程中,将新增的文件更新到应用服务器的缓存中。在一天工作结束后,应用服务器删除缓存中所存储的前一天的文件,只保留当日更新的文件。
例如,在银行网点PC机当天交易过程中,会产生冠字号码图片,用于记录纸钞流通情况。在当日工作结束时,网点PC机将当天新生成的冠字号码图片更新到应用服务器缓存中。相应的,应用服务器缓存接收到当日新增的冠字号码图片后,将前一天存储到缓存中的冠字号码图片删除。
S504、文件服务器按照设定周期对新增文件进行hash运算处理,得到文件hash值;
同样的,本申请实施例设定上述设定周期为每日工作结束时,即是以天为单位的周期。
当每日工作结束时,即在文件服务器闲时,例如在夜间,文件服务器对当日新增的文件进行hash运算处理,得到文件hash值。该文件hash值作为该文件的唯一标识,用于标记该文件。
示例性的,对于冠字号码图片,本申请实施例通过对冠字号码进行hash运算得到hash值作为冠字号码图片的hash值。
例如,以冠字号码的前4位+中间1位+后4位的计算结果作为冠字号码图片的hash值。
需要说明的是,上述进行hash运算的具体运算过程,可以灵活选择、设定。例如可以根据文件服务器性能决定,或者直接将冠字号码各位相加作为冠字号码图片的文件hash值。
S505、文件服务器对文件hash值进行压缩处理;
具体的,文件服务器为当日新增文件生成文件hash值后,有部分hash值所在位置为空,例如图6所示。本申请实施例将文件hash值进行压缩处理,将其中为空的位置压缩,可以优化文件存储,节省存储空间。
示例性的,在对文件hash值进行压缩时,具体可采用差分、run length、bit编码等压缩编码方法实现。
S506、文件服务器利用所述文件hash值和所述文件服务器的令牌,组成文件的索引;
具体的,文件服务器将文件hash值与文件服务器令牌进行组合,其组合结果作为该文件的索引。
示例性的,文件服务器在对文件hash值进行压缩处理时,将该文件服务器的令牌一起压缩,得到的压缩结果即作为该文件的索引。
S507、文件服务器将生成的文件索引发送给应用服务器;
S508、应用服务器接收文件服务器发送的文件索引,并将接收的文件索引进行归并存储;
具体的,应用服务器接收到文件服务器发送的文件索引后,对文件索引进行解析,例如进行解压,从中获取每个文件索引以及对应的文件服务器令牌。
在此基础上,例如图7所示,应用服务器对所存储的各个文件索引,包括既有的文件索引和新收到的文件索引,进行归并存储,即将相同的文件索引归并存储到一起,同时,将各文件索引对应的令牌也对应存储到文件索引之下。
可以理解,应用服务器将上述的文件索引归并存储,可以保证在存储区域相同的文件只有一个,但是该文件对应的令牌却可以有多个,即表示该文件在对应的多个令牌所标识的文件服务器中均有存储。
通过上述步骤S501~S508的处理,应用服务器对文件服务器上传的文件的索引进行存储,并且将存储文件的文件服务器的令牌进行存储,则在应用服务器中,明确记录了各文件所在的存储位置。
按照上述处理过程,应用服务器可以每天记录分布式文件存储系统中所有文件的存储位置。
与此同时,在图3所示的分布式文件存储系统工作过程中,当用户通过web端向应用服务器发送文件查询请求时,应用服务器和文件服务器配合执行以下处理过程,实现文件的获取:
S509、应用服务器根据接收的文件查询请求,确定待查询文件;
具体的,应用服务器对接收的文件查询请求进行解析、识别,可以确定该文件查询请求具体所请求查询的文件。
示例性的,当应用服务器接收到冠字号码图片查询请求时,通过识别所请求的冠字号码,即可确定具体是请求查询哪个冠字号码图片。
S510、应用服务器对待查询文件进行hash运算处理,得到文件hash值,作为待查询文件的索引;
具体的,本申请实施例设定,应用服务器对待查询文件进行hash运算后处理的具体处理方式,与上述步骤S504所介绍的,文件服务器对新增文件进行hash运算处理的处理方式相同。
例如,当应用服务器接收到冠字号码图片查询请求时,同样以冠字号码的前4位+中间1位+后4位的计算结果作为待查询的冠字号码图片的hash值,以及作为待查询的冠字号码图片的索引。
S511、应用服务器从存储的文件索引中,检索与待查询文件的索引相同的文件索引;
具体的,应用服务器从存储的所有的文件索引中,查询是否存在上述待查询文件的索引。如果从存储的文件索引中,检索到与待查询文件的索引相同的文件索引,则可以确定待查询文件的索引存储于应用服务器中。
如果应用服务器从存储的文件索引中,没有检索到待查询文件的索引,则执行步骤S512、从所述应用服务器缓存中查询所述待查询文件;
具体的,应用服务器从存储的文件索引中检索不到待查询文件的索引,则可以说明应用服务器中不存在该文件的索引,也就可以认为与应用服务器连接的各文件服务器中,没有存储该待查询文件。
此时,应用服务器从自身缓存中查询待查询文件。如果依然查询不到待查询文件,则可以确定无法获取该待查询文件;如果从缓存中查询到了该待查询文件,则将查询到的文件反馈给用户。
当应用服务器从存储的文件索引中检索到与待查询文件的索引相同的文件索引时,执行步骤S513、确定该文件索引包含的令牌,以及确定存储待查询文件的文件服务器;
具体的,由于应用服务器接收到的文件索引本身包含文件服务器令牌,并且应用服务器在存储文件索引时,会将文件索引包含的令牌对应存储。因此,当应用服务器从自身存储中检索到文件索引时,可以相应地确定与该文件索引对应存储的令牌,也就是确定该文件索引包含的令牌。
由于令牌是唯一标识文件服务器的标识信息,因此,当应用服务器通过步骤S512确定检索出的文件索引包含的令牌时,也就确定了发送该文件索引的文件服务器,而该文件服务器,就是存储上述待查询文件的文件服务器。
S514、应用服务器生成查询标记;
其中,上述查询标记为表示需要存储上述待查询文件的文件服务器查询待查询文件的标记信息。
例如,假设待查询的冠字号码图片为包含冠字号码“0123456789”的图片,并且应用服务器确定了存储该冠字号码图片的文件服务器为T1和T3文件服务器,则生成“需T1、T3查询“0123456789”冠字号码图片”的查询标记。
S515、文件服务器查询应用服务器内是否具有与所述文件服务器对应的查询标记;
其中,上述与所述文件服务器对应的查询标记,即表示需要所述文件服务器查询并反馈设定的文件的标记信息,也就是表示需要所述文件服务器执行文件查询任务的标记信息。
本申请实施例设定,在图3所示的分布式文件存储系统中,各个文件服务器均会周期性的访问应用服务器,查询应用服务器中是否存在与自身对应的查询标记,也就是查询是否存在表示需要自身执行文件查询任务的标记信息。
为了直观地介绍本申请实施例技术方案,本申请实施例设定上述的文件服务器即为步骤S514中应用服务器确定的存储待查询文件的文件服务器。相应的,上述与该文件服务器对应的查询标记,即为表示需要该文件服务器查询并反馈上述待查询文件的标记信息。
示例性的,本申请实施例设定,文件服务器以心跳监测的方式,定时访问应用服务器,查询是否有与自身对应的查询标记。
在应用服务器端,当接收到存储上述待查询文件的文件服务器发送的查询请求时,也就是接收到文件服务器发送的查询是否有与其对应的查询标记的查询请求时,应用服务器执行步骤S516、将生成的查询标记发送给存储上述待查询文件的文件服务器;
S517、文件服务器检索得到与查询标记对应的文件并发送给应用服务器。
具体的,当应用服务器将与存储上述待查询文件的文件服务器对应的查询标记发送给该文件服务器时,该文件服务器从自身存储区检索得到查询标记所指示查询的文件,并将检索得到的文件反馈给应用服务器。应用服务器可以进一步地将文件反馈给用户。
例如,假设应用服务器将“需T1、T3查询“0123456789”冠字号码图片”的查询标记发送给了令牌为T1和T3的文件服务器,则令牌为T1和T3的文件服务器从自身存储区检索到“0123456789”冠字号码图片,并反馈给应用服务器。
通过上述介绍可见,本申请实施例提出的文件管理方法,设定文件服务器主动将存储的文件的索引发送到应用服务器,当应用服务器需要查询文件时,利用存储的文件索引确定存储待查询文件的文件服务器,并生成与该文件服务器对应的查询标记。当该文件服务器向应用服务器发送查询请求时,将该查询标记发动给该文件服务器,使该文件服务器查询得到待查询文件并反馈给应用服务器。上述处理过程可以使应用服务器将文件查询请求精准地发送至存储待查询文件的文件服务器,将该技术方案应用于分部式文件存储系统中,可以使应用服务器文件查询时网络和内存资源得到合理利用,避免了资源浪费。
总结上述技术方案介绍,可以得出本申请实施例提出的应用于文件服务器的文件管理方法,包括:
查询所述应用服务器内是否具有与所述文件服务器对应的查询标记;其中,与所述文件服务器对应的查询标记,为表示需要所述文件服务器查询并反馈设定的文件的标记信息;
如果接收到所述应用服务器发送的查询标记,则检索得到与所述查询标记对应的文件并发送给所述应用服务器。
以及,可以总结得出本申请实施例提出的应用于应用服务器的文件管理方法,包括:
根据接收的文件查询请求,生成待查询文件的索引;
从存储的文件索引中,检索与所述待查询文件的索引相同的文件索引;
当检索到与所述待查询文件的索引相同的文件索引时,确定该文件索引包含的令牌,以及确定存储所述待查询文件的文件服务器;
生成查询标记,所述查询标记为表示需要存储所述待查询文件的文件服务器查询所述待查询文件的标记信息;
当接收到存储所述待查询文件的文件服务器发送的查询请求时,将所述查询标记发送给存储所述待查询文件的文件服务器,以使存储所述待查询文件的文件服务器反馈所述待查询文件。
与上述的文件管理方法相对应的,本申请另一实施例还公开了一种应用于文件服务器的文件管理装置,参见图8所示,该装置包括:
信息上传单元100,用于按照设定周期生成新增文件的索引,并将生成的索引发送给应用服务器;其中,所述索引中携带唯一标识所述文件服务器的令牌;
查询处理单元110,用于查询所述应用服务器内是否具有与所述文件服务器对应的查询标记;其中,与所述文件服务器对应的查询标记,为表示需要所述文件服务器查询并反馈设定的文件的标记信息;
文件上传单元120,用于当接收到所述应用服务器发送的查询标记时,检索得到与所述查询标记对应的文件并发送给所述应用服务器。
其中,所述信息上传单元100按照设定周期生成新增文件的索引时,具体用于:
在每日工作结束时对当日新增文件进行hash运算处理,得到文件hash值;
利用所述文件hash值和所述文件服务器的令牌,组成文件的索引。
在对当日新增文件进行hash运算处理,得到文件hash值后,所述信息上传单元100还用于:
对所述文件hash值进行压缩处理。
可选的,在本申请另一实施例中还公开了,所述文件服务器还包括文件存储单元,用于按照设定周期将新增文件更新到应用服务器缓存中。
在本申请另一实施例中,还公开了一种应用于应用服务器的文件管理装置,参见图9所示,该装置包括:
信息存储单元200,用于接收文件服务器发送的文件索引,并将接收的文件索引进行归并存储;其中,所述文件索引中包含唯一标识文件服务器的令牌;
索引生成单元210,用于根据接收的文件查询请求,生成待查询文件的索引;
索引检索单元220,用于从存储的文件索引中,检索与所述待查询文件的索引相同的文件索引;
信息确定单元230,用于当检索到与所述待查询文件的索引相同的文件索引时,确定该文件索引包含的令牌,以及确定存储所述待查询文件的文件服务器;
标记生成单元240,用于生成查询标记,所述查询标记为表示需要存储所述待查询文件的文件服务器查询所述待查询文件的标记信息;
标记发送单元250,用于当接收到存储所述待查询文件的文件服务器发送的查询请求时,将所述查询标记发送给存储所述待查询文件的文件服务器,以使存储所述待查询文件的文件服务器反馈所述待查询文件。
其中,所述索引生成单元210根据接收的文件查询请求,生成待查询文件的索引时,具体用于:
根据接收的文件查询请求,确定待查询文件;
对所述待查询文件进行hash运算处理,得到文件hash值,作为所述待查询文件的索引。
可选的,在本申请另一实施例中还公开了,所述装置还包括:
文件检索单元,用于当检索不到与所述待查询文件的索引相同的文件索引时,从所述应用服务器缓存中查询所述待查询文件。
具体的,上述各个文件管理装置的实施例中的各个单元的具体工作内容,请参见上述方法实施例的内容,此处不再赘述。
本申请另一实施例还提出一种文件管理系统,参见图10所示,该文件管理系统包括:
至少一个文件服务器300,以及应用服务器310;
其中,所述文件服务器300,用于按照设定周期生成新增文件的索引,并将生成的索引发送给应用服务器;其中,所述索引中携带唯一标识所述文件服务器的令牌;查询所述应用服务器内是否具有与所述文件服务器对应的查询标记;其中,与所述文件服务器对应的查询标记,为表示需要所述文件服务器查询并反馈设定的文件的标记信息;在接收到所述应用服务器发送的查询标记时,检索得到与所述查询标记对应的文件并发送给所述应用服务器;
所述应用服务器310,用于接收文件服务器发送的文件索引,并将接收的文件索引进行归并存储;根据接收的文件查询请求,生成待查询文件的索引;从存储的文件索引中,检索与所述待查询文件的索引相同的文件索引;当检索到与所述待查询文件的索引相同的文件索引时,确定该文件索引包含的令牌,以及确定存储所述待查询文件的文件服务器;生成查询标记,所述查询标记为表示需要存储所述待查询文件的文件服务器查询所述待查询文件的标记信息;当接收到存储所述待查询文件的文件服务器发送的查询请求时,将所述查询标记发送给存储所述待查询文件的文件服务器。
具体的,上述至少一个文件服务器300组成文件服务器集群分布于不同位置,而集群中的每个文件服务器300作为文件服务器节点与应用服务器310连接。
文件服务器300结构上可包括图8所示的文件管理装置,应用服务器310结构上可包括图9所示的文件管理装置,文件服务器300和应用服务器310相互配合工作实现本申请实施例提出的如图5所示的文件管理方法,文件服务器300和应用服务器310的具体工作过程,可参见上述文件管理方法的实施例内容,此处不再赘述。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。
本申请所提供的几个实施例中,应该理解到,所揭露的终端,装置和方法,可以通过其它的方式实现。例如,以上所描述的终端实施例仅仅是示意性的,例如,模块或子模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个子模块或模块可以结合或者可以集成到另一个模块,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的,作为模块或子模块的部件可以是或者也可以不是物理模块或子模块,即可以位于一个地方,或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中,也可以是各个模块或子模块单独物理存在,也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现,也可以采用软件功能模块或子模块的形式实现。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元,或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种文件管理方法,其特征在于,应用于文件服务器,所述文件服务器按照设定周期生成新 增文件的索引,并将生成的索引发送给应用服务器;其中,所述索引中携带唯一标识所述文件服务器的令牌;所述按照设定周期生成新增文件的索引,包括:在每日工作结束时对当日新增文件进行hash运算处理,得到文件hash值;利用所述文件hash值和所述文件服务器的令牌,组成文件的索引,所述方法包括:
以心跳检测的方式,定时访问所述应用服务器,查询所述应用服务器内是否具有与所述文件服务器对应的查询标记;其中,与所述文件服务器对应的查询标记,为表示需要所述文件服务器查询并反馈设定的文件的标记信息;所述查询标记为接收到文件的查询请求后,对查询文件进行hash运算处理,得到文件hash值,作为待查询文件的索引,从存储的文件索引中,检索与所述待查询文件的索引相同的文件索引;当检索到与所述待查询文件的索引相同的文件索引之后生成的;
如果接收到所述应用服务器发送的查询标记,则检索得到与所述查询标记对应的文件并发送给所述应用服务器。
2.根据权利要求1所述的方法,其特征在于,在对当日新增文件进行hash运算处理,得到文件hash值后,所述方法还包括:
对所述文件hash值进行压缩处理。
3.根据权利要求1所述的方法,其特征在于,所述文件服务器还按照设定周期将新增文件更新到应用服务器缓存中。
4.一种文件管理方法,其特征在于,应用于应用服务器,所述应用服务器接收文件服务器发送的文件索引,并将接收的文件索引进行归并存储;其中,所述文件索引中包含唯一标识文件服务器的令牌;所述方法包括:
根据接收的文件查询请求,生成待查询文件的索引;所述根据接收的文件查询请求,生成待查询文件的索引,包括:根据接收的文件查询请求,确定待查询文件;对所述待查询文件进行hash运算处理,得到文件hash值,作为所述待查询文件的索引;从存储的文件索引中,检索与所述待查询文件的索引相同的文件索引;
当检索到与所述待查询文件的索引相同的文件索引时,确定该文件索引包含的令牌,以及确定存储所述待查询文件的文件服务器;
生成查询标记,所述查询标记为表示需要存储所述待查询文件的文件服务器查询所述待查询文件的标记信息;
当接收到存储所述待查询文件的文件服务器发送的查询请求时,将所述查询标记发送给存储所述待查询文件的文件服务器,以使存储所述待查询文件的文件服务器反馈所述待查询文件。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当检索不到与所述待查询文件的索引相同的文件索引时,从所述应用服务器缓存中查询所述待查询文件。
6.一种文件管理装置,其特征在于,应用于文件服务器,所述装置包括:
信息上传单元,用于按照设定周期生成新增文件的索引,并将生成的索引发送给应用服务器;其中,所述索引中携带唯一标识所述文件服务器的令牌;
查询处理单元,用于以心跳检测的方式,定时访问所述应用服务器,查询所述应用服务器内是否具有与所述文件服务器对应的查询标记;其中,与所述文件服务器对应的查询标记,为表示需要所述文件服务器查询并反馈设定的文件的标记信息;
文件上传单元,用于当接收到所述应用服务器发送的查询标记时,检索得到与所述查询标记对应的文件并发送给所述应用服务器。
7.一种文件管理装置,其特征在于,应用于应用服务器,所述装置包括:
信息存储单元,用于接收文件服务器发送的文件索引,并将接收的文件索引进行归并存储;其中,所述文件索引中包含唯一标识文件服务器的令牌;
索引生成单元,用于根据接收的文件查询请求,生成待查询文件的索引;
索引检索单元,用于从存储的文件索引中,检索与所述待查询文件的索引相同的文件索引;
信息确定单元,用于当检索到与所述待查询文件的索引相同的文件索引时,确定该文件索引包含的令牌,以及确定存储所述待查询文件的文件服务器;
标记生成单元,用于生成查询标记,所述查询标记为表示需要存储所述待查询文件的文件服务器查询所述待查询文件的标记信息;
标记发送单元,用于当接收到存储所述待查询文件的文件服务器以心跳检测的方式,定时访问所述应用服务器而发送的查询请求时,将所述查询标记发送给存储所述待查询文件的文件服务器,以使存储所述待查询文件的文件服务器反馈所述待查询文件。
8.一种文件管理系统,其特征在于,包括:
文件服务器和应用服务器;
其中,所述文件服务器,用于按照设定周期生成新增文件的索引,并将生成的索引发送给应用服务器;其中,所述索引中携带唯一标识所述文件服务器的令牌;以心跳检测的方式,定时访问所述应用服务器,查询所述应用服务器内是否具有与所述文件服务器对应的查询标记;其中,与所述文件服务器对应的查询标记,为表示需要所述文件服务器查询并反馈设定的文件的标记信息;在接收到所述应用服务器发送的查询标记时,检索得到与所述查询标记对应的文件并发送给所述应用服务器;
所述应用服务器,用于接收文件服务器发送的文件索引,并将接收的文件索引进行归并存储;根据接收的文件查询请求,生成待查询文件的索引;从存储的文件索引中,检索与所述待查询文件的索引相同的文件索引;当检索到与所述待查询文件的索引相同的文件索引时,确定该文件索引包含的令牌,以及确定存储所述待查询文件的文件服务器;生成查询标记,所述查询标记为表示需要存储所述待查询文件的文件服务器查询所述待查询文件的标记信息;当接收到存储所述待查询文件的文件服务器发送的查询请求时,将所述查询标记发送给存储所述待查询文件的文件服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910631173.6A CN110362535B (zh) | 2019-07-12 | 2019-07-12 | 一种文件管理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910631173.6A CN110362535B (zh) | 2019-07-12 | 2019-07-12 | 一种文件管理方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110362535A CN110362535A (zh) | 2019-10-22 |
CN110362535B true CN110362535B (zh) | 2022-05-31 |
Family
ID=68219252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910631173.6A Active CN110362535B (zh) | 2019-07-12 | 2019-07-12 | 一种文件管理方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110362535B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113852682B (zh) * | 2021-09-23 | 2024-06-14 | 中国农业银行股份有限公司 | 一种数据传输方法及中间传输层服务器 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1633084A (zh) * | 2004-12-28 | 2005-06-29 | 北京邮电大学 | 用于应用服务器的基于令牌的细粒度访问控制系统及方法 |
JP2005310126A (ja) * | 2004-03-26 | 2005-11-04 | Ntt Neomate Corp | データ分散格納装置、そのデータ構成管理サーバ、クライアント端末、および、データ分散格納装置を備えた業務委託システム |
CN104008199A (zh) * | 2014-06-16 | 2014-08-27 | 北京京东尚科信息技术有限公司 | 一种数据查询方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7788260B2 (en) * | 2004-06-14 | 2010-08-31 | Facebook, Inc. | Ranking search results based on the frequency of clicks on the search results by members of a social network who are within a predetermined degree of separation |
CN103248695A (zh) * | 2013-05-07 | 2013-08-14 | 北京奇虎科技有限公司 | 文件下载方法、系统及cdn中的服务器节点 |
CN104731516B (zh) * | 2013-12-18 | 2019-03-01 | 腾讯科技(深圳)有限公司 | 一种存取文件的方法、装置及分布式存储系统 |
CN107291826A (zh) * | 2017-05-26 | 2017-10-24 | 北京金山安全管理系统技术有限公司 | 文件搜索处理方法及装置 |
-
2019
- 2019-07-12 CN CN201910631173.6A patent/CN110362535B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005310126A (ja) * | 2004-03-26 | 2005-11-04 | Ntt Neomate Corp | データ分散格納装置、そのデータ構成管理サーバ、クライアント端末、および、データ分散格納装置を備えた業務委託システム |
CN1633084A (zh) * | 2004-12-28 | 2005-06-29 | 北京邮电大学 | 用于应用服务器的基于令牌的细粒度访问控制系统及方法 |
CN104008199A (zh) * | 2014-06-16 | 2014-08-27 | 北京京东尚科信息技术有限公司 | 一种数据查询方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110362535A (zh) | 2019-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107943951B (zh) | 一种区块链业务信息的检索方法及系统 | |
JP7046172B2 (ja) | シャード・データベースのシャード・テーブルにレコードを記憶するためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステム、シャード・データベースのシャード・テーブルからレコードを検索するためのコンピュータ実装方法、コンピュータ・プログラム製品、およびシステム、ならびにシャード・データベースを記憶するためのシステム | |
CN106980699B (zh) | 一种数据处理平台和系统 | |
CN108011929A (zh) | 数据请求处理方法、装置、计算机设备和存储介质 | |
CN109726202B (zh) | 一种区块链数据存储方法及计算机存储介质 | |
CN111273863B (zh) | 高速缓存管理 | |
CN111400334B (zh) | 数据处理方法、装置、存储介质及电子装置 | |
CN109766318B (zh) | 文件读取方法及装置 | |
CN110958300B (zh) | 一种数据的上传方法、系统、装置、电子设备和计算机可读介质 | |
CN111859132A (zh) | 一种数据处理方法、装置及智能设备、存储介质 | |
CN108154024B (zh) | 一种数据检索方法、装置及电子设备 | |
CN110362535B (zh) | 一种文件管理方法、装置及系统 | |
CN110888847B (zh) | 一种回收站系统及文件回收方法 | |
CN106934066B (zh) | 一种元数据处理方法、装置和存储设备 | |
EP3572951A1 (en) | A method for handling requests in a storage system and a storage node for a storage system | |
CN111190861B (zh) | 热点文件管理方法、服务器及计算机可读存储介质 | |
CN112148925B (zh) | 用户标识关联查询方法、装置、设备及可读存储介质 | |
CN110008243B (zh) | 一种数据表处理方法及装置 | |
JP3811615B2 (ja) | 情報配信システム、装置及び方法並びに記録媒体 | |
CN107070987B (zh) | 用于分布式对象存储系统的数据获取方法及系统 | |
CN115858471A (zh) | 业务数据变更记录方法、装置、计算机设备及介质 | |
CN110555021A (zh) | 数据存储方法、查询方法及相关装置 | |
CN116737764A (zh) | 数据同步的方法和装置、电子设备和存储介质 | |
CN103428231A (zh) | 离线下载方法和系统 | |
CN114036121A (zh) | 一种日志文件处理方法、装置、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |