CN104660643A - 请求响应方法、装置及分布式文件系统 - Google Patents
请求响应方法、装置及分布式文件系统 Download PDFInfo
- Publication number
- CN104660643A CN104660643A CN201310601094.3A CN201310601094A CN104660643A CN 104660643 A CN104660643 A CN 104660643A CN 201310601094 A CN201310601094 A CN 201310601094A CN 104660643 A CN104660643 A CN 104660643A
- Authority
- CN
- China
- Prior art keywords
- file
- location register
- identification
- document location
- access client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种请求响应方法、装置及分布式文件系统,其中,该方法包括:接收来自文件访问客户端的操作目标文件的请求,其中,该请求中携带有目标文件的全路径;确定全路径对应的文件标识和文件位置寄存器标识,其中,文件位置寄存器标识对应的文件位置寄存器用于提供目标文件的数据块的位置信息;发送文件标识和文件位置寄存器标识至文件访问客户端。通过本发明,解决了分布式文件系统对文件位置寄存器硬件要求高的问题,降低了对文件位置寄存器硬件的要求,提升了系统的稳定性。
Description
技术领域
本发明涉及通信领域,具体而言,涉及一种请求响应方法、装置及分布式文件系统。
背景技术
在相关技术中的分布式文件系统(Distributed File System,简称为DFS)架构中,只有文件位置寄存器、文件访问客户端和文件访问服务器,其中:
文件位置寄存器:负责文件的数据块分布和管理,其功能包括:块分布、垃圾收集和清理、负载均衡、数据库复制和修复。
文件访问客户端:负责应用程序访问文件系统的代理,提供给应用程序通用的文件操作接口,如:打开(Open)、关闭(Close)、读(Read)、写(Write)、查找(Seek)等;
文件访问服务器:是文件系统中实际存储用户数据的地方。
在上述的系统架构中,文件访问客户端和文件访问服务器是可以扩充的,都可以有多个。然而,用于存储整个分布式文件系统的数据块信息的文件位置寄存器往往只有一个,所有的文件访问客户端都通过这一个文件位置寄存器请求所要操作的文件对应的数据块信息。
因此,相关技术中的DFS系统的容量和性能受到文件位置寄存器性能的影响,对文件位置寄存器服务器硬件的要求也非常高。然而,在硬件很难满足需求的情况下必须对文件位置存储器做技术上的创新。
针对相关技术中分布式文件系统对文件位置寄存器硬件要求高的问题,目前尚未提出有效的解决方案。
发明内容
本发明提供了一种请求响应方法、装置及分布式文件系统,以至少解决分布式文件系统对文件位置寄存器硬件要求高的问题。
根据本发明的一个方面,提供了一种请求响应方法,包括:接收来自文件访问客户端的操作目标文件的请求,其中,所述请求中携带有所述目标文件的全路径;确定所述全路径对应的文件标识和文件位置寄存器标识,其中,所述文件位置寄存器标识对应的文件位置寄存器用于提供所述目标文件的数据块的位置信息;发送所述文件标识和所述文件位置寄存器标识至所述文件访问客户端。
优选地,在所述请求为写入所述目标文件的请求的情况下,确定所述全路径对应的所述文件标识和所述文件位置寄存器标识包括:根据所述全路径,生成所述目标文件的文件标识;根据预定策略,确定与所述文件标识对应的文件位置寄存器标识。
优选地,在确定所述全路径对应的所述文件标识和所述文件位置寄存器标识之后,所述方法还包括:保存所述全路径与所述文件标识、所述文件位置寄存器标识的关联关系。
优选地,在发送所述文件标识和所述文件位置寄存器标识至所述文件访问客户端之后,所述方法还包括:所述文件访问客户端获取所述位置信息,其中,所述位置信息是所述文件位置寄存器根据所述文件标识生成并发送给所述文件访问客户端的;所述文件访问客户端将所述目标文件写入所述位置信息所对应的磁盘位置。
优选地,在所述请求为读取或者删除所述目标文件的请求的情况下,确定所述全路径对应的所述文件标识和所述文件位置寄存器标识包括:查找所述全路径对应的所述文件标识和所述文件位置寄存器标识。
优选地,在发送所述文件标识和所述文件位置寄存器标识至所述文件访问客户端之后,所述方法还包括:所述文件访问客户端获取所述位置信息,其中,所述位置信息是所述文件位置寄存器根据所述文件标识从保存的文件记录中查找并发送给所述文件访问客户端的;所述文件访问客户端读取或者删除所述位置信息所对应的磁盘位置中保存的所述目标文件。
根据本发明的另一个方面,还提供了一种请求响应装置,包括:接收模块,用于接收来自文件访问客户端的操作目标文件的请求,其中,所述请求中携带有所述目标文件的全路径;确定模块,用于确定所述全路径对应的文件标识和文件位置寄存器标识,其中,所述文件位置寄存器标识对应的文件位置寄存器用于提供所述目标文件的数据块的位置信息;发送模块,用于发送所述文件标识和所述文件位置寄存器标识至所述文件访问客户端。
优选地,所述确定模块包括:生成单元,用于根据所述全路径,生成所述目标文件的文件标识;确定单元,用于根据预定策略,确定与所述文件标识对应的文件位置寄存器标识。
优选地,所述装置还包括:保存模块,用于保存所述全路径与所述文件标识、所述文件位置寄存器标识的关联关系。
优选地,所述确定模块包括:查找单元,用于查找所述全路径对应的所述文件标识和所述文件位置寄存器标识。
根据本发明的另一个方面,还提供了一种分布式文件系统,包括文件访问客户端、文件位置寄存器和文件访问服务器,其中,所述文件位置寄存器的数目为多个,所述系统还包括:目录树元数据存储服务器,用于根据来自所述文件访问客户端的操作目标文件的请求中携带的目标文件的全路径,确定所述全路径对应的文件标识和文件位置寄存器标识,并发送所述文件标识和所述文件位置寄存器标识至所述文件访问客户端,其中,多个文件位置寄存器中所述文件位置寄存器标识对应的文件位置寄存器用于提供所述目标文件的数据块的位置信息。
通过本发明,采用接收来自文件访问客户端的操作目标文件的请求,其中,该请求中携带有目标文件的全路径;确定全路径对应的文件标识和文件位置寄存器标识,其中,文件位置寄存器标识对应的文件位置寄存器用于提供目标文件的数据块的位置信息;发送文件标识和文件位置寄存器标识至文件访问客户端的方式,解决了分布式文件系统对文件位置寄存器硬件要求高的问题,降低了对文件位置寄存器硬件的要求,提升了系统的稳定性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的请求响应方法的流程示意图;
图2是根据本发明实施例的请求响应装置的结构示意图;
图3是根据本发明实施例的请求响应装置的优选结构示意图一;
图4是根据本发明实施例的请求响应装置的优选结构示意图二;
图5是根据本发明实施例的分布式文件系统的结构示意图;
图6是根据本发明优选实施例的分布式文件系统的系统构架示意图;
图7a~图7c是根据本发明优选实施例的用户操作文件的流程示意图;
图8是根据本发明优选实施例的写文件过程的流程示意图;
图9是根据本发明优选实施例的读文件过程的流程示意图;
图10是根据本发明优选实施例的删除文件过程的流程示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例提供了一种请求响应方法,图1是根据本发明实施例的请求响应方法的流程示意图,如图1所示,该流程包括:
步骤S102,接收来自文件访问客户端的操作目标文件的请求,其中,请求中携带有目标文件的全路径;
步骤S104,确定全路径对应的文件标识和文件位置寄存器标识,其中,文件位置寄存器标识对应的文件位置寄存器用于提供目标文件的数据块的位置信息;
步骤S106,发送文件标识和文件位置寄存器标识至文件访问客户端。
通过上述步骤所提供的请求响应方法,在文件访问客户端请求操作目标文件的情况下,通过请求中携带的全路径确定目标文件对应的文件标识和文件位置寄存器标识,并响应给文件访问客户端。由此可见,在上述方法所应用的系统中,可以包括多个文件位置寄存器,这些文件位置寄存器通过文件位置寄存器标识进行区别,而文件访问客户端通过上述响应过程获得文件标识和文件位置寄存器标识后,就可以通过对应的文件位置寄存器对文件进行处理,即通过上述的请求响应方法,对文件访问客户端的请求根据全路径进行负载均衡处理,使得可以支持多个文件位置寄存器来共同实现相关技术中仅有的一个文件位置寄存器的功能,从而降低了对文件位置寄存器的硬件要求,解决了相关技术中分布式文件系统对文件位置寄存器硬件要求高的问题,提高了系统的稳定性。
需要说明的是,上述的目标文件的全路径、文件标识是用于在海量的文件中唯一标识目标文件的信息,文件位置寄存器标识是用于在多个文件位置寄存器中唯一标识文件位置寄存器的信息。其中,全路径也可以作为唯一标识目标文件的文件标识。优选地,还可以通过相关技术中的特定算法将全路径唯一的映射为文件标识。
优选地,上述的操作目标文件的请求包括:对目标文件的写入、读取、查找、删除等操作的请求。
优选地,在请求为写入目标文件的请求的情况下,在确定全路径对应的文件标识和文件位置寄存器标识时,可以根据目标文件的全路径,采用预定的算法生成目标文件的文件标识,或者直接为目标文件分配文件标识;根据预定策略,确定与文件标识对应的文件位置寄存器标识,例如,通过对系统中各个文件位置寄存器负载的统计情况,确定在统计区间中负载最小的文件位置寄存器的标识为与文件标识对应的文件位置寄存器标识。
优选地,在确定全路径对应的文件标识和文件位置寄存器标识之后,还包括:保存全路径与文件标识、文件位置寄存器标识的关联关系。其中,保存的关联关系用于在请求读取或者删除目标文件的情况下,根据文件访问客户端发送的请求中携带的全路径查找对应的文件标识和文件位置寄存器标识。
优选地,在文件访问客户端接收到文件标识和文件位置寄存器标识之后,文件访问客户端可以根据携带有文件标识的请求,向对应的文件位置寄存器请求并获取目标文件的数据块的位置信息,其中,该位置信息是文件位置寄存器根据文件标识生成并发送给文件访问客户端的;文件访问客户端接收到目标文件的位置信息之后,将目标文件写入位置信息所对应的磁盘位置,其中,该磁盘位置位于相应的文件访问服务器上。
优选地,在请求为读取或者删除目标文件的请求的情况下,通过在保存的关联关系中查找全路径对应的文件标识和文件位置寄存器标识来确定该目标文件对应的文件标识和文件位置寄存器标识。
优选地,在文件访问客户端接收到文件标识和文件位置寄存器标识之后,文件访问客户端可以根据携带有文件标识的请求,向对应的文件位置寄存器请求并获取目标文件的数据块的位置信息,其中,该位置信息是文件位置寄存器根据文件标识从保存的文件记录中查找并发送给文件访问客户端的;文件访问客户端接收到目标文件的位置信息后,读取或者删除位置信息所对应的磁盘位置中保存的目标文件,其中,该磁盘位置位于相应的文件访问服务器上。
本实施例还提供了一种请求响应装置,该装置用于实现上述请求响应方法,该装置的功能实现已经在上述方法实施例中进行了说明,在此不再赘述。
图2是根据本发明实施例的请求响应装置的结构示意图,如图2所示,该装置包括:接收模块22、确定模块24和发送模块26,其中,接收模块22,用于接收来自文件访问客户端的操作目标文件的请求,其中,请求中携带有目标文件的全路径;确定模块24耦合至接收模块22,用于确定全路径对应的文件标识和文件位置寄存器标识,其中,文件位置寄存器标识对应的文件位置寄存器用于提供目标文件的数据块的位置信息;发送模块26耦合至确定模块24,用于发送文件标识和文件位置寄存器标识至文件访问客户端。
本发明的实施例中所涉及到的模块、单元可以通过软件的方式实现,也可以通过硬件的方式来实现。本实施例中的所描述的模块、单元也可以设置在处理器中,例如,可以描述为:一种处理器包括接收模块22、确定模块24和发送模块26。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,接收模块还可以被描述为“用于接收来自文件访问客户端的操作目标文件的请求的模块”。
图3是根据本发明实施例的请求响应装置的优选结构示意图一,如图3所示,优选地,确定模块24包括:生成单元242耦合至接收模块22,用于根据全路径,生成目标文件的文件标识;确定单元244耦合至生成单元242,用于根据预定策略,确定与文件标识对应的文件位置寄存器标识。
图4是根据本发明实施例的请求响应装置的优选结构示意图二,如图4所示,优选地,该装置还包括:保存模块42,耦合至确定模块24,用于保存全路径与文件标识、文件位置寄存器标识的关联关系。
优选地,确定模块24还包括:查找单元246,用于查找全路径对应的文件标识和文件位置寄存器标识。
本实施例还提供了一种分布式文件系统,图5是根据本发明实施例的分布式文件系统的结构示意图,如图5所示,该系统包括:文件访问客户端52、文件位置寄存器54和文件访问服务器56,其中,文件位置寄存器54的数目为多个,该系统还包括:目录树元数据存储服务器58,用于根据来自文件访问客户端52的操作目标文件的请求中携带的目标文件的全路径,确定全路径对应的文件标识和文件位置寄存器标识,并发送文件标识和文件位置寄存器标识至文件访问客户端52,其中,多个文件位置寄存器54中文件位置寄存器标识对应的文件位置寄存器54用于提供目标文件的数据块的位置信息。
其中,文件的元数据分为两部分进行存储,文件命名空间信息存储在目录树元数据存储服务器上,文件块信息(数据块信息)存储在文件位置寄存器上;文件位置寄存器个数可以在线扩展,从而可以最大限度的提高系统的容量;写文件时通过目录树元数据存储服务器分配文件位置寄存器,并将文件的路径和生成的FILEID关联,存储在目录树服务器(目录树元数据存储服务器)上,后面操作文件时可以通过目录树服务器定位到文件位置寄存器,在文件位置寄存器上对文件进行操作;文件块操作在文件位置寄存器上进行,通过多个文件位置寄存器对归属自己的数据库进行操作,提高系统的性能。
需要说明的是:上述的分布式文件系统中的目录树元数据存储服务器58的功能相当于上述请求响应装置,可以结合上述请求相应装置和请求响应方法进行结合说明和描述,在此将不再赘述。
下面结合优选实施例进行描述和说明。
本优选实施例提供了一种基于DFS通过多个文件位置寄存器实现海量文件存储的实现方法,涉及存储领域,尤其涉及利用分布式文件系统海量数据存储。
在本优选实施例中提供了一种当单个服务器无法满足存储规模时,通过多个文件位置寄存器来满足海量存储的方案。
为了实现上述目的,本优选实施例提供的方案包括:
新增目录树元数据存储服务器,目录树元数据存储服务器的功能包括两部分,一部分是负责数据配置和管理;另一个部分是负责管理文件的命名空间。
数据配置和管理部分用于配置文件位置寄存器、文件访问服务器和文件访问客户端的个数,服务器的地址等,并对这些服务器进行维护。
管理文件的命名空间负责根据文件路径将文件对应到某个文件位置寄存器,到对应的文件位置寄存器上去查找数据库的存储位置。
图6是根据本发明优选实施例的分布式文件系统的系统构架示意图,在图6中示出了包括多个文件位置寄存器的系统架构。
如图6所示,当用户需要读写文件的时候,需要把文件全路径发送到目录树服务器(相当于上述目录树元数据存储服务器),如果是写文件,目录树服务器需要存储文件命名空间,然后分配可用的文件位置寄存器,然后通过文件访问客户端将目录树服务器上生成的文件标识(ID)发送到目录树服务器分配的文件位置寄存器上,文件位置寄存器存储文件ID(简称为FLRID),并分配写文件的数据块位置信息,返回到文件访问客户端,将文件信息写入磁盘。
如果是读文件,目录树服务器通过文件全路径到命名空间中定位,找到写文件时分配的文件ID和文件位置寄存器ID,返回给文件访问客户端,文件访问客户端通过文件ID到对应的文件位置寄存器上去查找数据库所在的磁盘信息,文件位置寄存器将相应信息返回给文件访问客户端,文件访问客户端到磁盘中读取文件。
下面通过附图举例说明多文件位置寄存器文件系统中文件的写流程。
图7a~图7c是根据本发明优选实施例的用户操作文件的流程示意图,该流程包括如下步骤:
如图7a所示,用户将操作文件请求发送到文件访问客户端,文件访问客户端将文件名全路径发送到目录树服务器,目录树服务器通过查找命令空间,取得数据表中存储的文件信息,将文件信息中的文件标识(FILEID)和文件位置寄存器ID返回给文件访问客户端;
如图7b所示,文件访问客户端通过目录树服务器返回的FILEID和文件位置寄存器ID,将操作文件的请求发送到文件位置寄存器ID对应的文件位置寄存器上,文件位置寄存器通过FILEID找到FILEID对应的记录,并通过FILEID对应的记录关联到文件存储的数据块信息,将数据块信息返回给文件访问客户端;
如图7c所示,文件访问客户端通过文件位置寄存器返回的数据块信息,将数据库信息中数据存储的磁盘位置,数据块大小等信息发送到文件访问服务器,通过文件访问服务器操作数据块信息,文件访问服务器操作完成后,给文件访问客户端回响应;以及,文件访问客户端收到文件访问服务器的响应,本次操作文件流程完成,给用户回复操作文件的应答。
可见,在本优选实施例中提出了一种新的分布式文件系统中元数据管理实现方案。通过本优选实施例,可以通过多个文件位置寄存器来管理文件的数据块分布和数据块管理,从而达到高容量和高性能的需求。而由于在现有的分布式文件系统架构中,难以实现高容量和高性能的需求,因此,本发明优选实施例提出了一种新的适用于分布式文件系统的提高性能和容量的实现方法。
下面将分别通过写文件、读文件和删除文件这三个通用的文件处理操作,对本发明优选实施例提供的系统以及系统的工作流程进行说明。
优选实施例一
写文件过程
图8是根据本发明优选实施例的写文件过程的流程示意图,如图8所示,该流程包括如下步骤:
步骤S801,用户通过文件访问客户端写文件,写文件请求发送到文件访问客户端线程,文件访问客户端将要写的文件对象(称为目标文件)的全路径发送给目录树服务器,请求写文件;
步骤S802,目录树服务器先在命名空间中查找,查看待写文件是否已经存在。如果已存在则给文件访问客户端回复文件已存在的失败码;
步骤S803,如果不存在则生成写的文件ID,分配空闲的文件位置寄存器ID等信息,生成字典表记录,存储文件名。生成文件的FILEID对应记录,存储FILEID、文件位置寄存器ID等信息,并给文件访问客户端返回创建文件成功;
步骤S804,文件访问客户端收到消息之后给对应的文件位置寄存器发送创建文件消息,文件位置寄存器通过FILEID定位,如果定位成功,给文件访问客户端回复文件已存在。如果定位失败则通过创建FILE记录,存储FILEID,创建时间等信息,给文件访问客户端回复创建文件成功应答;
步骤S805,文件访问客户端收到创建文件应答,通过FILEID给文件位置寄存器发送创建数据块请求,文件位置寄存器根据存储规则选择写数据块的目的磁盘,并生成数据块对应记录,存储数据块所在磁盘信息,给文件访问客户端回复创建数据块所在磁盘信息;
步骤S806,文件访问客户端收到信息,根据文件位置寄存器返回的磁盘信息到文件访问服务器创建数据块,并写入文件内容;
步骤S807,文件访问服务器写入之后,给文件访问客户端回复写入结果,数据块大小信息,文件访问客户端上报到文件位置寄存器,要求文件位置寄存器将数据块大小记录到数据块记录中,文件位置寄存器记录完成之后给文件访问客户端回复;
步骤S808,文件访问客户端收到回复之后,写文件完成,给用户写文件完成应答。
优选实施例二
读文件过程
图9是根据本发明优选实施例的读文件过程的流程示意图,如图9所示,该流程包括如下步骤:
步骤S901,用户通过文件访问客户端读文件,读文件请求发送到文件访问客户端线程,文件访问客户端将要读的文件对象(即目标文件)全路径发送给目录树服务器,请求读文件;
步骤S902,目录树服务器先在命名空间中查找,查看待读文件是否已经存在。如果不存在则给文件访问客户端回复文件不存在的失败码;
步骤S903,如果存在找到全路径对应的文件记录,将文件的FILEID和文件位置寄存器ID返回给文件访问客户端;
步骤S904,文件访问客户端收到消息之后给对应的文件位置寄存器发送读文件消息,文件位置寄存器通过FILEID定位,如果定位失败,给文件访问客户端回复文件不存在。如果定位成功则将FILEID对应的文件记录信息发送给文件访问客户端;
步骤S905,文件访问客户端收到读文件应答,通过FILEID给文件位置寄存器发送读文件的数据块的请求,文件位置寄存器根据FILEID找到数据块记录,将数据块所在磁盘信息发送给文件访问客户端;
步骤S906,文件访问客户端收到信息,根据文件位置寄存器返回的磁盘信息到文件访问服务器读取数据块信息,并将数据块内容读出;
步骤S907,读出文件内容之后,给用户返回文件内容信息。
优选实施例三
删除文件过程
图10是根据本发明优选实施例的删除文件过程的流程示意图,如图10所示,该流程包括如下步骤:
步骤S1001,用户通过文件访问客户端删除文件,删除文件请求发送到文件访问客户端线程,文件访问客户端将要删除的文件对象(即目标文件)全路径发送给目录树服务器,请求删除文件;
步骤S1002,目录树服务器先在命名空间中查找,查看待写文件是否已经存在。如果不存在则给文件访问客户端回复文件不存在的失败码;
步骤S1003,如果存在则根据文件名全路径找到文件对应的记录,将命名空间中文件信息删除,删除文件记录和字典表中文件名记录,将文件的FILEID和文件位置寄存器ID信息返回给文件访问客户端;
步骤S1004,文件访问客户端收到消息之后给对应的文件位置寄存器发送删除文件消息,文件位置寄存器通过FILEID定位,如果定位失败,给文件访问客户端回复文件不存在。如果定位成功则通过FILEID找到对应的文件记录记录,并通过FILEID找到对应的数据块记录,通知文件访问客户端删除数据块信息,并将FILEID对应的数据块记录和文件记录删除;
步骤S1005,文件访问客户端删除数据块请求,给文件访问服务器发送删除数据块消息,文件访问服务器根据消息中数据块的位置删除对应数据块;
步骤S1006,文件访问客户端收到文件访问服务器删除数据块响应之后给用户回复删除文件成功。
通过本发明的上述实施例、优选实施例和优选实施方式的技术方案,增加了目录树服务器,并将元数据分为两部分存储,其中,目录树服务器只负责对命令空间进行管理和存储,文件位置寄存器对文件具体的位置和数据块信息进行管理和储存。而在相关技术中,只有单个分布式文件系统服务器(相当于文件位置寄存器),并且所有的数据存储在一个服务器上,如果系统容量要求比较高的话,对服务器内存的要求就很高;存储对象操作并发数也受到服务器性能的影响。
综上所述,通过本发明实施例的方案设计中目录树服务器和文件位置寄存器的分工合作,目录树服务器上完成存储对象命名空间的管理和存储,文件位置寄存器完成对文件和数据块的操作,降低了对服务器的内存要求,提高了系统的性能,并且文件位置寄存器可以在线扩展,提高系统扩容能力,对系统的容量有很大的提高。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上上述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种请求响应方法,其特征在于包括:
接收来自文件访问客户端的操作目标文件的请求,其中,所述请求中携带有所述目标文件的全路径;
确定所述全路径对应的文件标识和文件位置寄存器标识,其中,所述文件位置寄存器标识对应的文件位置寄存器用于提供所述目标文件的数据块的位置信息;
发送所述文件标识和所述文件位置寄存器标识至所述文件访问客户端。
2.根据权利要求1所述的方法,其特征在于,在所述请求为写入所述目标文件的请求的情况下,确定所述全路径对应的所述文件标识和所述文件位置寄存器标识包括:
根据所述全路径,生成所述目标文件的文件标识;
根据预定策略,确定与所述文件标识对应的文件位置寄存器标识。
3.根据权利要求2所述的方法,其特征在于,在确定所述全路径对应的所述文件标识和所述文件位置寄存器标识之后,所述方法还包括:
保存所述全路径与所述文件标识、所述文件位置寄存器标识的关联关系。
4.根据权利要求2所述的方法,其特征在于,在发送所述文件标识和所述文件位置寄存器标识至所述文件访问客户端之后,所述方法还包括:
所述文件访问客户端获取所述位置信息,其中,所述位置信息是所述文件位置寄存器根据所述文件标识生成并发送给所述文件访问客户端的;
所述文件访问客户端将所述目标文件写入所述位置信息所对应的磁盘位置。
5.根据权利要求1至4中任一项所述的方法,其特征在于,在所述请求为读取或者删除所述目标文件的请求的情况下,确定所述全路径对应的所述文件标识和所述文件位置寄存器标识包括:
查找所述全路径对应的所述文件标识和所述文件位置寄存器标识。
6.根据权利要求5所述的方法,其特征在于,在发送所述文件标识和所述文件位置寄存器标识至所述文件访问客户端之后,所述方法还包括:
所述文件访问客户端获取所述位置信息,其中,所述位置信息是所述文件位置寄存器根据所述文件标识从保存的文件记录中查找并发送给所述文件访问客户端的;
所述文件访问客户端读取或者删除所述位置信息所对应的磁盘位置中保存的所述目标文件。
7.一种请求响应装置,其特征在于包括:
接收模块,用于接收来自文件访问客户端的操作目标文件的请求,其中,所述请求中携带有所述目标文件的全路径;
确定模块,用于确定所述全路径对应的文件标识和文件位置寄存器标识,其中,所述文件位置寄存器标识对应的文件位置寄存器用于提供所述目标文件的数据块的位置信息;
发送模块,用于发送所述文件标识和所述文件位置寄存器标识至所述文件访问客户端。
8.根据权利要求7所述的装置,其特征在于,所述确定模块包括:
生成单元,用于根据所述全路径,生成所述目标文件的文件标识;
确定单元,用于根据预定策略,确定与所述文件标识对应的文件位置寄存器标识。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
保存模块,用于保存所述全路径与所述文件标识、所述文件位置寄存器标识的关联关系。
10.根据权利要求7至9中任一项所述的装置,其特征在于,所述确定模块包括:
查找单元,用于查找所述全路径对应的所述文件标识和所述文件位置寄存器标识。
11.一种分布式文件系统,包括文件访问客户端、文件位置寄存器和文件访问服务器,其特征在于,所述文件位置寄存器的数目为多个,所述系统还包括:
目录树元数据存储服务器,用于根据来自所述文件访问客户端的操作目标文件的请求中携带的目标文件的全路径,确定所述全路径对应的文件标识和文件位置寄存器标识,并发送所述文件标识和所述文件位置寄存器标识至所述文件访问客户端,其中,多个文件位置寄存器中所述文件位置寄存器标识对应的文件位置寄存器用于提供所述目标文件的数据块的位置信息。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310601094.3A CN104660643A (zh) | 2013-11-25 | 2013-11-25 | 请求响应方法、装置及分布式文件系统 |
PCT/CN2014/075522 WO2014180232A1 (zh) | 2013-11-25 | 2014-04-16 | 请求响应方法、装置及分布式文件系统 |
US15/039,197 US20160364407A1 (en) | 2013-11-25 | 2014-04-16 | Method and Device for Responding to Request, and Distributed File System |
EP14794553.9A EP3076307A4 (en) | 2013-11-25 | 2014-04-16 | METHOD AND DEVICE FOR REPLYING A REQUIREMENT AND DISTRIBUTED FILE SYSTEM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310601094.3A CN104660643A (zh) | 2013-11-25 | 2013-11-25 | 请求响应方法、装置及分布式文件系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104660643A true CN104660643A (zh) | 2015-05-27 |
Family
ID=51866699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310601094.3A Pending CN104660643A (zh) | 2013-11-25 | 2013-11-25 | 请求响应方法、装置及分布式文件系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160364407A1 (zh) |
EP (1) | EP3076307A4 (zh) |
CN (1) | CN104660643A (zh) |
WO (1) | WO2014180232A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106527960A (zh) * | 2015-09-14 | 2017-03-22 | 中兴通讯股份有限公司 | 多存储盘负载管理方法、装置、文件系统及存储网络系统 |
CN108427677A (zh) * | 2017-02-13 | 2018-08-21 | 阿里巴巴集团控股有限公司 | 一种对象访问方法、装置及电子设备 |
CN111045985A (zh) * | 2019-11-25 | 2020-04-21 | 北京百度网讯科技有限公司 | 文件存储处理方法、服务器、电子设备及存储介质 |
WO2021169113A1 (zh) * | 2020-02-26 | 2021-09-02 | 平安科技(深圳)有限公司 | 数据管理方法、装置、计算机设备和存储介质 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105337950B (zh) * | 2014-08-14 | 2019-02-19 | 阿里巴巴集团控股有限公司 | 一种表单填充方法及相关终端 |
US10445296B1 (en) * | 2014-12-05 | 2019-10-15 | EMC IP Holding Company LLC | Reading from a site cache in a distributed file system |
US10452619B1 (en) | 2014-12-05 | 2019-10-22 | EMC IP Holding Company LLC | Decreasing a site cache capacity in a distributed file system |
US10951705B1 (en) | 2014-12-05 | 2021-03-16 | EMC IP Holding Company LLC | Write leases for distributed file systems |
US10021212B1 (en) * | 2014-12-05 | 2018-07-10 | EMC IP Holding Company LLC | Distributed file systems on content delivery networks |
US10430385B1 (en) | 2014-12-05 | 2019-10-01 | EMC IP Holding Company LLC | Limited deduplication scope for distributed file systems |
US9898477B1 (en) | 2014-12-05 | 2018-02-20 | EMC IP Holding Company LLC | Writing to a site cache in a distributed file system |
US10936494B1 (en) | 2014-12-05 | 2021-03-02 | EMC IP Holding Company LLC | Site cache manager for a distributed file system |
US10423507B1 (en) | 2014-12-05 | 2019-09-24 | EMC IP Holding Company LLC | Repairing a site cache in a distributed file system |
CN107566477B (zh) * | 2017-08-28 | 2021-06-22 | 北京奇艺世纪科技有限公司 | 一种在分布式文件系统集群中获取文件的方法和装置 |
US11392649B2 (en) * | 2018-07-18 | 2022-07-19 | Microsoft Technology Licensing, Llc | Binding query scope to directory attributes |
CN111737223B (zh) * | 2020-06-28 | 2023-02-28 | 浪潮电子信息产业股份有限公司 | 一种文件拷贝方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070088669A1 (en) * | 2005-10-17 | 2007-04-19 | Boaz Jaschek | Method and apparatus for accessing information based on distributed file system (DFS) paths |
CN101520805A (zh) * | 2009-03-25 | 2009-09-02 | 中兴通讯股份有限公司 | 一种分布式文件系统及其文件处理方法 |
CN101997823A (zh) * | 2009-08-17 | 2011-03-30 | 联想(北京)有限公司 | 一种分布式文件系统及其数据访问方法 |
CN102890716A (zh) * | 2012-09-29 | 2013-01-23 | 南京中兴新软件有限责任公司 | 分布式文件系统和分布式文件系统的数据备份方法 |
CN103218433A (zh) * | 2013-04-15 | 2013-07-24 | 北京邮电大学 | 一种应用于随机存取的元数据管理方法及模块 |
CN103399941A (zh) * | 2013-08-13 | 2013-11-20 | 广州中国科学院软件应用技术研究所 | 一种分布式文件处理方法、装置及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070022129A1 (en) * | 2005-07-25 | 2007-01-25 | Parascale, Inc. | Rule driven automation of file placement, replication, and migration |
US7574457B2 (en) * | 2006-01-13 | 2009-08-11 | Microsoft Corporation | Non-mutating tree-structured file identifiers |
-
2013
- 2013-11-25 CN CN201310601094.3A patent/CN104660643A/zh active Pending
-
2014
- 2014-04-16 EP EP14794553.9A patent/EP3076307A4/en not_active Withdrawn
- 2014-04-16 US US15/039,197 patent/US20160364407A1/en not_active Abandoned
- 2014-04-16 WO PCT/CN2014/075522 patent/WO2014180232A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070088669A1 (en) * | 2005-10-17 | 2007-04-19 | Boaz Jaschek | Method and apparatus for accessing information based on distributed file system (DFS) paths |
CN101520805A (zh) * | 2009-03-25 | 2009-09-02 | 中兴通讯股份有限公司 | 一种分布式文件系统及其文件处理方法 |
CN101997823A (zh) * | 2009-08-17 | 2011-03-30 | 联想(北京)有限公司 | 一种分布式文件系统及其数据访问方法 |
CN102890716A (zh) * | 2012-09-29 | 2013-01-23 | 南京中兴新软件有限责任公司 | 分布式文件系统和分布式文件系统的数据备份方法 |
CN103218433A (zh) * | 2013-04-15 | 2013-07-24 | 北京邮电大学 | 一种应用于随机存取的元数据管理方法及模块 |
CN103399941A (zh) * | 2013-08-13 | 2013-11-20 | 广州中国科学院软件应用技术研究所 | 一种分布式文件处理方法、装置及系统 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106527960A (zh) * | 2015-09-14 | 2017-03-22 | 中兴通讯股份有限公司 | 多存储盘负载管理方法、装置、文件系统及存储网络系统 |
WO2017045545A1 (zh) * | 2015-09-14 | 2017-03-23 | 中兴通讯股份有限公司 | 多存储盘负载管理方法、装置、文件系统及存储网络系统 |
CN106527960B (zh) * | 2015-09-14 | 2021-04-02 | 中兴通讯股份有限公司 | 多存储盘负载管理方法、装置、文件系统及存储网络系统 |
CN108427677A (zh) * | 2017-02-13 | 2018-08-21 | 阿里巴巴集团控股有限公司 | 一种对象访问方法、装置及电子设备 |
CN111045985A (zh) * | 2019-11-25 | 2020-04-21 | 北京百度网讯科技有限公司 | 文件存储处理方法、服务器、电子设备及存储介质 |
CN111045985B (zh) * | 2019-11-25 | 2023-10-24 | 北京百度网讯科技有限公司 | 文件存储处理方法、服务器、电子设备及存储介质 |
WO2021169113A1 (zh) * | 2020-02-26 | 2021-09-02 | 平安科技(深圳)有限公司 | 数据管理方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2014180232A1 (zh) | 2014-11-13 |
EP3076307A4 (en) | 2016-11-16 |
EP3076307A1 (en) | 2016-10-05 |
US20160364407A1 (en) | 2016-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104660643A (zh) | 请求响应方法、装置及分布式文件系统 | |
EP3806424A1 (en) | File system data access method and file system | |
CN103870202B (zh) | 一种块设备的分布式存储方法和系统 | |
CN104184812B (zh) | 一种基于私有云的多点数据传输方法 | |
CN102708165B (zh) | 分布式文件系统中的文件处理方法及装置 | |
CN102136003A (zh) | 大规模分布式存储系统 | |
CN104020961B (zh) | 分布式数据存储方法、装置及系统 | |
US20190026042A1 (en) | Deduplication-Aware Load Balancing in Distributed Storage Systems | |
US20090089298A1 (en) | File Storage Service System, File Management Device, File Management Method, ID Denotative NAS Server and File Reading Method | |
US20070061327A1 (en) | Providing local access to managed content | |
WO2007035653A2 (en) | Providing direct access to distributed managed content | |
JP2019519025A (ja) | 分散システムにおける範囲の分割および移動 | |
CN103647797A (zh) | 一种分布式文件系统及其数据访问方法 | |
JP2004326162A (ja) | ネットワークシステム、サーバ、データ処理方法及びプログラム | |
CN102591982A (zh) | 执行增量sql服务器数据库备份的方法和系统 | |
CN110321325A (zh) | 文件索引节点查找方法、终端、服务器、系统及存储介质 | |
CN104408111A (zh) | 一种删除重复数据的方法及装置 | |
CN103037004A (zh) | 云存储系统操作的实现方法和装置 | |
CN102694828A (zh) | 一种分布式缓存系统数据存取的方法及装置 | |
CN102023816A (zh) | 一种对象存储系统的对象存放策略和访问方法 | |
CN105205143A (zh) | 一种文件存储及处理方法、设备和系统 | |
KR20100048130A (ko) | 메타데이터 클러스터 기반의 분산형 스토리지 시스템 및 그동작 방법 | |
CN110008197A (zh) | 一种数据处理方法、系统及电子设备和存储介质 | |
US10095706B2 (en) | Data access system and data access method | |
CN104951475B (zh) | 分布式文件系统和实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150527 |
|
RJ01 | Rejection of invention patent application after publication |