CN113360095B - 硬盘数据管理方法、装置、设备及介质 - Google Patents
硬盘数据管理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113360095B CN113360095B CN202110626327.XA CN202110626327A CN113360095B CN 113360095 B CN113360095 B CN 113360095B CN 202110626327 A CN202110626327 A CN 202110626327A CN 113360095 B CN113360095 B CN 113360095B
- Authority
- CN
- China
- Prior art keywords
- file
- information
- written
- indication information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供的硬盘数据管理方法、装置、设备及介质中,该电子设备依据位置指示信息在内存中构建位图信息后,在需要删除目标文件时,根据所述目标文件占用的存储区块,释放所述位图信息中与所述目标文件相对应的位图标记。由于目标硬盘中未存储有位图信息,取而代之的是位置指示信息,使得在释放位图标记是时不需要对目标硬盘进行I/O操作,提高了数据管理效率。
Description
技术领域
本申请涉及计算机领域,具体而言,涉及一种硬盘数据管理方法、装置、设备及介质。
背景技术
随着存储数据的日益增长,分布式存储系统越来越流行。分布式存储系统工作在高并发,高负载状态下,对性能的要求比较高。一些分布式存储建立在传统文件系统之上(例如,windows系统或者linux系统自带的文件管理系统),不仅性能及可靠性难以适应在分布式存储场景,而且对硬件要求比较高。
针对上述问题,出现了一些针对分布式存储场景定制的数据管理系统。然而,发明人研究发现,现有针对分布式存储场景定制的数据管理系统,其性能有待进一步提高。
发明内容
为了克服现有技术中的至少一个不足,第一方面,本申请实施例提供一种硬盘数据管理方法,应用于电子设备,所述电子设备在内存中维护有目标硬盘的第一文件信息以及位图信息;所述第一文件信息记录有已写入文件的文件标识;所述目标硬盘被划分成预设大小的存储区块,所述位图信息记录有所述已写入文件占用的存储区块,其中,所述位图信息基于所述目标硬盘中的位置指示信息生成,所述位置指示信息记录有所述已写入文件所占用的存储区块的区块地址,所述方法包括:
接收第一目标文件的删除请求,其中,所述第一目标文件属于所述已写入文件;
根据所述删除请求,从所述第一文件信息中删除与所述第一目标文件相对应的文件标识;
根据所述第一目标文件占用的存储区块,释放所述位图信息中与所述第一目标文件相对应的位图标记,其中,所述位图标记表征对应的存储区块已被占用。
第二方面,本申请实施例提供一种硬盘数据管理装置,应用于电子设备,所述电子设备在内存中维护有目标硬盘的第一文件信息以及位图信息;所述第一文件信息记录有已写入文件的文件标识;所述目标硬盘被划分成预设大小的存储区块,所述位图信息记录有所述已写入文件占用的存储区块,其中,所述位图信息基于所述目标硬盘中的位置指示信息生成,所述位置指示信息记录有所述已写入文件所占用的存储区块的区块地址,所述硬盘数据管理装置包括:
请求接收模块,用于接收第一目标文件的删除请求,其中,所述第一目标文件属于所述已写入文件;
数据删除模块,用于根据所述删除请求,从所述第一文件信息中删除与所述第一目标文件相对应的文件标识;
所述数据删除模块,还用于根据所述第一目标文件占用的存储区块,释放所述位图信息中与所述第一目标文件相对应的位图标记,其中,所述位图标记表征对应的存储区块已被占用。
第三方面,本申请实施例提供一种电子设备,所述电子设备包括处理器以及存储器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,实现所述的硬盘数据管理方法。
第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储计算机程序,所述计算机程序被处理器执行时,实现所述的硬盘数据管理方法。
相对于现有技术而言,本申请具有以下有益效果:
本申请实施例提供的硬盘数据管理方法、装置、设备及介质中,该电子设备依据位置指示信息在内存中构建位图信息后,在需要删除第一目标文件时,根据所述第一目标文件占用的存储区块,释放所述位图信息中与所述第一目标文件相对应的位图标记。由于目标硬盘中未存储有位图信息,取而代之的是位置指示信息,使得在释放位图标记是时不需要对目标硬盘进行I/O操作,提高了数据管理效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备结构示意图;
图2为本申请实施例提供的硬盘数据管理方法的步骤示意图;
图3为本申请实施例提供的数据管理区域的结构示意图;
图4A为本申请实施例提供的数据写入示意图之一;
图4B为本申请实施例提供的数据写入示意图之二;
图4C为本申请实施例提供的数据写入示意图之三;
图5为本申请实施例提供的数据写入装置结构示意图。
图标:120-存储器;130-处理器;140-通信装置;201-请求接收模块;202-数据删除模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
由于传统文件系统(例如,windows系统或者linux系统自带的文件管理系统)不仅结构复杂,而且在分布式场景下的性能较低,因此,难以适应分布式存储场景的数据存储需要。
虽然,目前出现了一些针对分布式存储场景定制的数据管理系统,但是,目前定制的数据管理系统通常将硬盘划分多个预设大小的存储区块,然后在硬盘中配置位图存储区域,用于存储位图信息。应理解,为了减少数据索引信息所占据的存储空间,可以建立各存储区块与bit位之间的对应关系。然后,当bit位置1时,则表征该bit位对应的存储区块已被占用,反之,则表征未被占用;如此,1Byte(1Byte=8bit)的存储空间可以用于索引8个存储区块。
由于位图信息存储在硬盘中,因此,当删除出处区块或者占用其他存储区块时,均需要同步更新位图信息。然而,硬盘属于块设备,并不擅长进行bit位的读写操作,继而会影响整个系统的性能。其中,上述硬盘可以是,但不限于固态硬盘、机械硬盘等。
基于上述技术问题的发现,发明人经过创造性劳动提出下述技术方案以解决或者改善上述问题。需要注意的是,以上现有技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案,都应该是发明人在发明创造过程中对本申请做出的贡献,而不应当理解为本领域技术人员所公知的技术内容。
鉴于此,本申请实施例提供一种应用于电子设备的硬盘数据管理方法,用于提高分布式存储场景下,对硬盘中数据的管理效率。其中,该电子设备可以是,但不限于服务器以及用户终端等。该服务器可以是,但不限于,Web(网站)服务器、FTP(File TransferProtocol,文件传输协议)服务器等。该用户终端可以是,但不限于,智能手机、个人电脑(Personal Computer,PC)、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、移动上网设备(Mobile Internet Device,MID)等。
本实施例提供一种上述电子设备的结构示意图。请参照图1,该电子设备包括存储器120、处理器130、通信装置140。
该存储器120、处理器130以及通信装置140各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,该存储器120可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器120用于存储程序,该处理器130在接收到执行指令后,执行该程序。该通信装置140用于通过网络或者数据总线收发数据。
该处理器130可能是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
针对应用于该电子设备的硬盘数据管理方法,下面结合图2所示的步骤流程图对各步骤进行详细说明。其中,该电子设备在内存中维护有目标硬盘的第一文件信息以及位图信息;第一文件信息记录有已写入文件的文件标识。
目标硬盘被划分成预设大小的存储区块,位图信息记录有已写入文件占用的存储区块,其中,位图信息基于目标硬盘中的位置指示信息生成,位置指示信息记录有已写入文件所占用的存储区块的区块地址。
如图2所示,该硬盘数据管理方法包括:
步骤S101,接收第一目标文件的删除请求。
其中,第一目标文件属于已写入文件。
步骤S102,根据删除请求,从第一文件信息中删除与第一目标文件相对应的文件标识。
步骤S103,根据第一目标文件占用的存储区块,释放位图信息中与第一目标文件相对应的位图标记。
其中,位图标记表征对应的存储区块已被占用。
如此,该电子设备依据位置指示信息在内存中构建位图信息后,在需要删除第一目标文件时,根据第一目标文件占用的存储区块,释放位图信息中与第一目标文件相对应的位图标记。由于目标硬盘中未存储有位图信息,取而代之的是位置指示信息,使得在释放位图标记是时不需要对目标硬盘进行I/O操作,提高了数据管理效率。
此外,位置指示信息位于目标硬盘预先配置的数据管理区域,数据管理区域还记录有第二文件信息,第一文件信息基于第二文件信息生成。
因此,该电子设备同步删除第一目标文件在第二文件信息中的文件标识。
为了便于理解,本实施例提供一数据管理区域的示意图,对上述位置指示信息、第二文件信息、位图信息以及第一文件信息之间的关系进行示例性说明。
示例性的,如图3所示,该数据管理区域位于目标硬盘的头部,剩余的存储区域为数据存储区,即需要将其划分成预设大小的存储器区块,用于存储数据。
本示例中,为了便于阐述,将目标硬盘中数据管理区域以外的存储区域称为chunk区;将第二文件信息占据区域称为file区;将位置指示信息占据的区域称为locate区。
其中,locate区记录了已写入文件与占据存储区块的对应关系,即各已写入文件所占据存储区块在目标硬盘中的存储地址。file区记录的文件标识,包括文件名称、创建时间等。
可选地,如图3所示,该数据管理区域还包括super区域,用于记录目标硬盘的基本信息,包括file区、locate区、chunk区各自的位置以及空间大小。
在此基础上,该电子设备读取位置指示信息以及第二文件信息;根据位置指示信息,在内存中生成位图信息;根据第二文件信息,在内存中生成第一文件信息。当然,为了区分file区、locate区、chunk区,该电子设备需要先读取super区中的基本信息。
本实施例中,由于只会加载已写入文件的文件标识,被删除的文件则不会进行加载,因此,在位图信息已经释放第一目标文件相对应的位图标记的情况下,在删除第一目标文件时,并不会删除该第一目标文件记录在位置指示信息中所占据存储区块的区块地址,当其他文件需要使用该第一目标文件占据过的存储区块时,重新更改与其他文件之间的对应关系即可。
如此,可以在删除第一目标文件时,进一步减少I/O操作。
可选地,为了便于组织管理已写入文件,数据管理区域中还记录的第二目录信息,电子设备在内存中还维护有目标硬盘的第一目录信息,第一目录信息基于第二目录信息生成,其中,第一目录信息用于记录已创建目录与已写入文件之间的从属关系。
再次参见图3,本实施例中,将数据管理区域中用于记录第二目录信息的区域称为dir区。由于dir区记录已创建目录与已写入文件之间的从属关系,因此,当需要删除某个目标目录时,电子设备需要连同该目标目录下的所有已写入文件一起删除。
为了便于管理管理目标硬盘中的已写入文件,本实施例中,限定每个已写入文件的文件大小,即每个已写入文件具有预设大小的数据容量。考虑到各存储区块同样为预设大小,因此,各已写入文件会被拆分成预设大小的数据块,将各数据块分别存储在不同的存储区块中。
由此可见,在限定每个已写入文件的文件大小之后,可以确定出目标硬盘中数据管理区域以外的存储区域能够存储的已写入文件最终数量。值得说明的是,上述数据管理区域还可以位于除目标硬盘以外的其他存储介质中,此时,可以将整个目标硬盘作为chunk区,用于存储数据。
示例性的,假定各已写入文件预设大小的数据容量为64MB,各预设大小的数据块的大小为64Kb(即存储区块同样为64Kb);因此,64M的文件可以拆分成1024份,将每一份数据块分别存储到不同的存储区块中。
此外,为了使得在极端情况下,每个已写入文件均能分得所属的目录,本实施例中,第二目录区能够记录已创建目录的数量不小于第二文件取能够记录已写入文件的数量。
假定每个目录标识需要的存储空间为64bit(8Byte);每个文件标识需要的存储空间为64bit(8Byte),每个存储区块的区块地址需要的存储空间为64bit(8Byte),则可以通过以下方式计算第二文件信息、第二目录信息、位置指示信息所需要的存储空间:
file数量=chunk容量/64MB;
dir数量=file数量;
locate数量=file数量*1024;
第二文件信息=file数量*64bit;
第二目录信息=dir数量*64bit;
位置指示信息所需要的存储空间=locate数量*64bit。
可选地,为了在写入数据出现异常时,可以进行数据回溯。已写入文件的位置指示信息包括第一指示信息以及第二指示信息,其中,第一指示信息对应存储区块的占用时间早于第二指示信息对应存储区块的占用时间。
基于上述第一指示信息以及第二指示信息,该电子设备接收第一待写入数据,其中,第一待写入数据用于覆盖已写入文件;然后,将第一待写入数据写入第一指示信息对应的存储区块。
示例性的,假定每个目录标识需要的存储空间为64bit(8Byte);每个文件标识需要的存储空间为64bit(8Byte),每个存储区块的区块地址需要的存储空间为64bit(8Byte),此时,已写入文件的每个数据块配置有两个区块地址需要的存储空间,此时,可以通过以下方式计算第二文件信息、第二目录信息、置指示信息所需要的存储空间:
file数量=chunk容量/64MB;
dir数量=file数量;
locate数量=file数量*2048;
第二文件信息=file数量*64bit;
第二目录信息=dir数量*64bit;
位置指示信息所需要的存储空间=locate数量*64bit。
下面结合图4A-图4C对第一待写入数据的写入过程,进行示例性说明。如图4A所示,第一次将数据内容为内容A的第一待写入数据写入目标硬盘时,假定用于记录该第一待写入数据的文件为文件X。电子设备将数据内容为内容A的第一待写入数据划分成1024份,并通过递增的方式对每一份数据块进行编号(即0-1023),针对每个数据块配置有2个区块地址存储空间,其中,一个块地址存储空间用于记录第一指示信息,另外一个区块地址存储空间用于记录第二指示信息。
下面以其中编号为0的数据块为例进行描述。如图4A所示,区块地址存储空间所述记录的指示信息(包括第一指示信息以及第二指示信息),从左往右依次为地址编号、区块地址、版本编号。
此时,电子设备将编号为0的数据块存储在编号为0的存储区块中,同时,将编号为0的存储区块的区块地址记录在地址编号为0的存储空间,并通过版本号1对其进行标记。
然后,如图4B所示,第二次将数据内容为内容B的第一待写入数据写入文件X时,电子设备同样将数据内容为内容B的第一待写入数据划分成1024份,并通过递增的方式对每一份数据块进行编号(即0-1023)。
此时,电子设备将编号为0的数据块存储在编号为1的存储区块中,同时,将编号为1的存储区块的区块地址记录在地址编号为1的存储空间,并通过版本号2对其进行标记。
进一步地,如图4C所示,第三次将数据内容为内容C的第一待写入数据写入文件X时,电子设备同样将数据内容为内容C的第一待写入数据划分成1024份,并通过递增的方式对每一份数据块进行编号(即0-1023)。
由于此时编号为0以及编号为1的存储空间均已被使用,因此,该电子设备按照选取版本号相对较小的存储空间进行覆盖,而不选取版本号相对较大的存储空间进行覆盖的原则,将编号为0的数据块存储在编号为2的存储区块中。并且,该电子设备将编号为2的存储区块的区块地址以覆盖的方式记录在版本号为1的存储空间,并通过版本号3对其进行标记。
当第一待写入数据写入过程发生异常时,由于版本号为2的存储空间此时并未被覆盖,因此,可以通过版本号为2的存储空间所记录的区块地址进行数据恢复。
当然,当第一待写入数据全部成功写入后,可以在位图信息中释放编号为2的存储空间所对应的存储区块,即编号为1的存储区块,以达到提高存储资源利用率的目的。
当然,上述第一文件信息还记录有未写入文件的文件标识,针对不是以覆盖方式写入的第二代写入数据。该电子设备接收第二待写入数据;从未写入文件中为第二待写入数据分配第二目标文件。
示例性的,由于限定每个已写入文件的文件大小之后,可以确定出目标硬盘中数据管理区域以外的存储区域能够存储的已写入文件最终数量。因此,第一文件信息中剩余的未被写入数据的文件即为上述未写入文件。
然后,该电子设备根据位图信息中的空闲标记,从空闲标记中选取目标标记,其中,空闲标记表征对应的存储区块未被占用;将待写入数据写入目标标记对应的存储区块。
最后,该电子设备将第二目标文件所占据存储区块的区块地址添加到位置指示信息。此时,位置指示信息中记录了第二目标文件所占据存储区块的区块地址与第二目标文件之间的对应关系。
基于与硬盘数据管理方法相同的发明构思,本申请实施例还提供一种硬盘数据管理装置,应用于电子设备。
电子设备在内存中维护有目标硬盘的第一文件信息以及位图信息;第一文件信息记录有已写入文件的文件标识;目标硬盘被划分成预设大小的存储区块,位图信息记录有已写入文件占用的存储区块,其中,位图信息基于目标硬盘中的位置指示信息生成,位置指示信息记录有已写入文件所占用的存储区块的区块地址。
其中,硬盘数据管理装置包括至少一个可以软件形式存储于存储器中的功能模块。处理器用于执行存储器中存储的可执行模块,例如,硬盘数据管理装置所包括的软件功能模块及计算机程序等。如图5所示,从功能上划分,硬盘数据管理装置包括:
请求接收模块201,用于接收第一目标文件的删除请求,其中,第一目标文件属于已写入文件。
本实施例中,该请求接收模块201用于实现图2中的步骤S101,关于该请求接收模块201的详细描述可以参见步骤S101的详细描述。
数据删除模块202,用于根据删除请求,从第一文件信息中删除与第一目标文件相对应的文件标识;
数据删除模块202,还用于根据第一目标文件占用的存储区块,释放位图信息中与第一目标文件相对应的位图标记,其中,位图标记表征对应的存储区块已被占用。
本实施例中,该数据删除模块202用于实现图2中的步骤S102-S103,关于该请求接收模块201的详细描述可以参见步骤S102-S103的详细描述。
值得说明的时,该硬盘数据管理装置还可以包括其他软件功能模块,用于实现上述硬盘数据管理方法的其他步骤或者子步骤。同理,上述数据删除模块202以及请求接收模块201还可以用于实现硬盘数据管理方法的其他步骤或者子步骤。本实施例不对此做具体的限定,本领域技术人员可以基于不同划分方式进行划分。
本申请实施例还提供一种电子设备,电子设备包括处理器以及存储器,存储器存储有计算机程序,计算机程序被处理器执行时,实现所述的硬盘数据管理方法。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质存储计算机程序,计算机程序被处理器执行时,实现所述的硬盘数据管理方法。
综上所述,本申请实施例提供的硬盘数据管理方法、装置、设备及介质中,该电子设备依据位置指示信息在内存中构建位图信息后,在需要删除第一目标文件时,根据所述第一目标文件占用的存储区块,释放所述位图信息中与所述第一目标文件相对应的位图标记。由于目标硬盘中未存储有位图信息,取而代之的是位置指示信息,使得在释放位图标记是时不需要对目标硬盘进行I/O操作,提高了数据管理效率。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的各种实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种硬盘数据管理方法,其特征在于,应用于电子设备,所述电子设备在内存中维护有第一文件信息以及位图信息;所述第一文件信息记录有目标硬盘中已写入文件的文件标识;所述目标硬盘被划分成预设大小的存储区块,所述位图信息记录有所述已写入文件占用的存储区块,所述方法包括:
接收第一目标文件的删除请求,其中,所述第一目标文件属于所述已写入文件;
根据所述删除请求,从所述第一文件信息中删除与所述目标文件相对应的文件标识;
根据所述第一目标文件占用的存储区块,释放所述位图信息中与所述第一目标文件相对应的位图标记,其中,所述位图标记表征对应的存储区块已被占用;
其中,所述位图信息基于所述目标硬盘中的位置指示信息生成,所述位置指示信息记录有所述已写入文件所占用的存储区块的区块地址,每个所述已写入文件的位置指示信息包括第一指示信息以及第二指示信息,所述第一指示信息与所述第二指示信息分别标记有不同的版本号,所述方法还包括:
接收第一待写入数据,其中,所述第一待写入数据用于覆盖一所述已写入文件;
若所述第一指示信息的版本号小于所述第二指示信息的版本号,则将所述第一待写入数据写入所述第一指示信息对应的存储区块,其中,所述第一指示信息的版本号小于所述第二指示信息的版本号表征所述第一指示信息对应存储区块的占用时间早于所述第二指示信息对应存储区块的占用时间;
若将所述第一待写入数据写入所述第一指示信息对应的存储区块发生异常,则使用第二指示信息将所述已写入文件恢复到所述第一待写入数据写入之前的状态。
2.根据权利要求1所述的硬盘数据管理方法,其特征在于,所述位置指示信息位于所述目标硬盘预先配置的数据管理区域,所述数据管理区域还记录有第二文件信息,所述第一文件信息基于所述第二文件信息生成,所述方法还包括:
同步删除所述第一目标文件在所述第二文件信息中的文件标识。
3.根据权利要求2所述的硬盘数据管理方法,其特征在于,所述接收第一目标文件的删除请求之前,所述方法还包括:
读取所述位置指示信息以及所述第二文件信息;
根据所述位置指示信息,在内存中生成所述位图信息;
根据所述第二文件信息,在内存中生成所述第一文件信息。
4.根据权利要求2所述的硬盘数据管理方法,其特征在于,所述数据管理区域中还记录的第二目录信息,所述电子设备在内存中还维护有所述目标硬盘的第一目录信息,所述第一目录信息基于所述第二目录信息生成,其中,所述第一目录信息用于记录已创建目录与所述已写入文件之间的从属关系。
5.根据权利要求1所述的硬盘数据管理方法,其特征在于,所述第一文件信息还记录有未写入文件的文件标识,所述方法还包括:
接收第二待写入数据;
从所述未写入文件中为所述第二待写入数据分配第二目标文件;
根据所述位图信息中的空闲标记,从所述空闲标记中选取目标标记,其中,所述空闲标记表征对应的存储区块未被占用;
将所述待写入数据写入所述目标标记对应的存储区块;
将所述第二目标文件所占据存储区块的区块地址添加到所述位置指示信息。
6.根据权利要求1-5任意一项所述的硬盘数据管理方法,其特征在于,各所述已写入文件具有预设大小的数据容量,所述预设大小的数据容量被拆分成预设大小的数据块,各所述数据块分别存储在不同的存储区块中。
7.一种硬盘数据管理装置,其特征在于,应用于电子设备,所述电子设备在内存中维护有第一文件信息以及位图信息;所述第一文件信息记录有目标硬盘中已写入文件的文件标识;所述目标硬盘被划分成预设大小的存储区块,所述位图信息记录有所述已写入文件占用的存储区块,所述硬盘数据管理装置包括:
请求接收模块,用于接收第一目标文件的删除请求,其中,所述第一目标文件属于所述已写入文件;
数据删除模块,用于根据所述删除请求,从所述第一文件信息中删除与所述第一目标文件相对应的文件标识;
所述数据删除模块,还用于根据所述第一目标文件占用的存储区块,释放所述位图信息中与所述第一目标文件相对应的位图标记,其中,所述位图标记表征对应的存储区块已被占用;
其中,所述位图信息基于所述目标硬盘中的位置指示信息生成,所述位置指示信息记录有所述已写入文件所占用的存储区块的区块地址,每个所述已写入文件的位置指示信息包括第一指示信息以及第二指示信息,所述第一指示信息与所述第二指示信息分别标记有不同的版本号;
所述数据删除模块还用于接收第一待写入数据,其中,所述第一待写入数据用于覆盖一所述已写入文件;
若所述第一指示信息的版本号小于所述第二指示信息的版本号,则将所述第一待写入数据写入所述第一指示信息对应的存储区块,其中,所述第一指示信息的版本号小于所述第二指示信息的版本号表征所述第一指示信息对应存储区块的占用时间早于所述第二指示信息对应存储区块的占用时间;
若将所述第一待写入数据写入所述第一指示信息对应的存储区块发生异常,则使用第二指示信息将所述已写入文件恢复到所述第一待写入数据写入之前的状态。
8.一种电子设备,其特征在于,所述电子设备包括处理器以及存储器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,实现权利要求1-6任意一项所述的硬盘数据管理方法。
9.一种计算机可读存储介质,其特征在于,计算机可读存储介质存储计算机程序,所述计算机程序被处理器执行时,实现权利要求1-6任意一项所述的硬盘数据管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110626327.XA CN113360095B (zh) | 2021-06-04 | 2021-06-04 | 硬盘数据管理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110626327.XA CN113360095B (zh) | 2021-06-04 | 2021-06-04 | 硬盘数据管理方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113360095A CN113360095A (zh) | 2021-09-07 |
CN113360095B true CN113360095B (zh) | 2023-02-17 |
Family
ID=77532228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110626327.XA Active CN113360095B (zh) | 2021-06-04 | 2021-06-04 | 硬盘数据管理方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113360095B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113867651B (zh) * | 2021-12-03 | 2022-02-25 | 武汉深之度科技有限公司 | 一种硬盘数据清理方法、装置及计算设备 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5237460A (en) * | 1990-12-14 | 1993-08-17 | Ceram, Inc. | Storage of compressed data on random access storage devices |
US20020143764A1 (en) * | 2001-04-03 | 2002-10-03 | Martin Andrew R. | Data management system and method for intercepting and changing database instructions between a database back end and an application front end |
JP4257834B2 (ja) * | 2003-05-06 | 2009-04-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 磁気ディスク装置、ファイル管理システム及びその方法 |
US7647358B2 (en) * | 2004-03-22 | 2010-01-12 | Microsoft Corporation | Computing device with relatively limited storage space and operating/file system thereof |
US8799367B1 (en) * | 2009-10-30 | 2014-08-05 | Netapp, Inc. | Using logical block addresses with generation numbers as data fingerprints for network deduplication |
US8504792B2 (en) * | 2009-12-22 | 2013-08-06 | Apple Inc. | Methods and apparatuses to allocate file storage via tree representations of a bitmap |
CN101916290B (zh) * | 2010-08-18 | 2014-12-10 | 中兴通讯股份有限公司 | 内存数据库的管理方法和装置 |
US9009407B2 (en) * | 2011-03-29 | 2015-04-14 | Dell Products L.P. | System and method for performing system memory save in tiered/cached storage |
US9483205B2 (en) * | 2014-07-02 | 2016-11-01 | Hedvig, Inc. | Writing to a storage platform including a plurality of storage clusters |
CN104461923B (zh) * | 2014-10-31 | 2018-07-03 | 深圳市锐明技术股份有限公司 | 一种硬盘物理块管理方法及系统 |
JP6460497B2 (ja) * | 2014-11-28 | 2019-01-30 | 華為技術有限公司Huawei Technologies Co.,Ltd. | ファイルアクセス方法およびファイルアクセス装置、ならびに記憶装置 |
TWI582581B (zh) * | 2016-05-13 | 2017-05-11 | 群暉科技股份有限公司 | 用來於一冗餘儲存系統中進行資料修復之方法與裝置 |
US10452606B1 (en) * | 2016-09-29 | 2019-10-22 | EMC IP Holding Company LLC | Continuous metadata formatting |
CN108628541B (zh) * | 2017-03-22 | 2020-07-07 | 华为技术有限公司 | 一种文件存储的方法、装置及存储系统 |
US10877851B2 (en) * | 2017-03-24 | 2020-12-29 | Commvault Systems, Inc. | Virtual machine recovery point selection |
CN109753222B (zh) * | 2017-11-01 | 2021-03-26 | 腾讯科技(深圳)有限公司 | 数据删除方法、服务器及计算机可读介质 |
CN107797770B (zh) * | 2017-11-07 | 2020-08-21 | 深圳神州数码云科数据技术有限公司 | 一种磁盘状态信息的同步方法及装置 |
CN109962946B (zh) * | 2017-12-22 | 2022-03-15 | 阿里巴巴集团控股有限公司 | 下载资源的方法及装置 |
CN108595262B (zh) * | 2018-03-29 | 2021-06-22 | 北京奇艺世纪科技有限公司 | 数据处理方法及装置 |
US11461203B2 (en) * | 2018-07-10 | 2022-10-04 | Here Data Technology | Systems and methods of handling node failure in a distributed data storage using multi-layer consistent hashing |
-
2021
- 2021-06-04 CN CN202110626327.XA patent/CN113360095B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113360095A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102945212B (zh) | 汇集分区布局和表示 | |
US6823417B2 (en) | Memory controller for memory card manages file allocation table | |
CN110018998B (zh) | 一种文件管理方法、系统及电子设备和存储介质 | |
CN101983376B (zh) | 访问装置、信息记录装置、信息记录系统、文件管理方法和程序 | |
CN109508246A (zh) | 日志记录方法、系统和计算机可读存储介质 | |
CN113568582B (zh) | 数据管理方法、装置和存储设备 | |
CN114827178B (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
CN110597762A (zh) | 文件处理方法、装置、设备及存储介质 | |
CN110727403A (zh) | 元数据管理方法及装置 | |
CN113360095B (zh) | 硬盘数据管理方法、装置、设备及介质 | |
CN108664482A (zh) | Flash存储器及存储文件管理方法 | |
CN114924914B (zh) | 磁盘分区表信息备份、恢复方法及系统 | |
CN114428764B (zh) | 文件写入方法、系统、电子设备及可读存储介质 | |
CN111803917A (zh) | 资源的处理方法和装置 | |
CN115470156A (zh) | 基于rdma的内存使用方法、系统、电子设备和存储介质 | |
CN110288340B (zh) | 一种基于Java智能合约的数据集合存储方法 | |
CN115509808B (zh) | 数据备份方法、装置、计算机设备和存储介质 | |
CN114936010B (zh) | 数据处理方法、装置、设备及介质 | |
CN111752941A (zh) | 一种数据存储、访问方法、装置、服务器及存储介质 | |
CN113467997B (zh) | 一种数据恢复方法、装置、移动设备和存储介质 | |
CN116578410A (zh) | 资源管理方法、装置、计算机设备和存储介质 | |
CN113806803A (zh) | 一种数据存储方法、系统、终端设备及存储介质 | |
CN111008195A (zh) | 一种数据库空闲空间管理方法、系统、终端及存储介质 | |
CN111625502A (zh) | 数据读取方法及装置、存储介质、电子装置 | |
CN112015672A (zh) | 一种存储系统中数据处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |