[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN102156738B - 数据块处理方法、数据块存储设备及系统 - Google Patents

数据块处理方法、数据块存储设备及系统 Download PDF

Info

Publication number
CN102156738B
CN102156738B CN201110092234.XA CN201110092234A CN102156738B CN 102156738 B CN102156738 B CN 102156738B CN 201110092234 A CN201110092234 A CN 201110092234A CN 102156738 B CN102156738 B CN 102156738B
Authority
CN
China
Prior art keywords
data block
store equipment
visit
access request
mapping relations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110092234.XA
Other languages
English (en)
Other versions
CN102156738A (zh
Inventor
王红雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huawei Technology Co Ltd
Original Assignee
Huawei Symantec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Symantec Technologies Co Ltd filed Critical Huawei Symantec Technologies Co Ltd
Priority to CN201110092234.XA priority Critical patent/CN102156738B/zh
Publication of CN102156738A publication Critical patent/CN102156738A/zh
Application granted granted Critical
Publication of CN102156738B publication Critical patent/CN102156738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种数据块处理方法、数据块存储设备及系统。其中方法包括:获取当前数据块存储设备中存储的各个数据块在预定时间间隔内的访问频率;将符合预设条件的数据块迁移至第一数据块存储设备中,其中,预设条件为访问频率低于第一预设阈值、第一数据块存储设备为当前数据块存储设备的下一级数据块存储设备,和/或,预设条件为访问频率高于第二预设阈值、第一数据块存储设备为当前数据块存储设备的上一级数据块存储设备;建立映射关系表以用于实现被迁移的数据块的访问,映射关系表中包括:被迁移的数据块在当前数据块存储设备中的逻辑单元地址与在被迁移到的第一数据块存储设备中的逻辑单元地址之间的映射关系。

Description

数据块处理方法、数据块存储设备及系统
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种数据块处理方法、数据块存储设备及系统。 
背景技术
通常情况下,存储设备一般有磁带库、磁盘或者磁盘阵列等。为了提高数据存储效率,现有的数据存储系统采用分级存储的思想,根据要存储的数据的访问频率、访问时间、容量等指标,将数据分别存储到数据存储系统中不同性能的存储设备上,以通过分级存储管理来实现数据客体在各级存储设备之间的自动迁移。通常情况下各级存储设备按照容量依次增大,性能依次减弱的顺序排列。第一级存储设备用于存储访问频率较高的数据;第一级存储设备可以采用固态硬盘(Solid State Disk;以下简称SSD)等成本高速度快的存储设备。最后一级存储设备用于存储访问频率最低的数据;最后一级存储设备可以采用磁带库等低成本的存储设备来实现。 
例如现有技术中公开了一种多级磁盘系统上的数据存储系统(Data Storage on a Multi-Tiered Disk System),在该系统中控制器将磁盘阵列分为多层,具体可以根据文件的使用要素达到或者超过一定的条件限制来划分磁盘。例如:在非虚拟化场景中,可以将一段时间内的访问率最高的10%的文件放到第一层磁盘中;而把其余的文件放到第二层中。 
现有技术的数据存储过程中,在各级存储磁盘之间进行数据迁移的时候,通常按存储磁盘中存储的文件进行,即,以文件为单位进行数据迁移,即使要迁移的数据仅仅包括文件中一个很小的部分,但仍需要将整个文件进行迁移,这样,造成数据迁移的粒度较大。 
发明内容
本发明实施例提供一种数据块处理方法、数据块存储设备及系统,用以解决现有技术中在各级存储磁盘之间进行数据迁移的时候,迁移粒度较大的缺陷。 
本发明实施例提供一种数据块处理方法,包括: 
获取当前数据块存储设备中存储的各个数据块在预定时间间隔内的访问频率; 
将符合预设条件的数据块迁移至第一数据块存储设备中,其中,所述预设条件为访问频率低于第一预设阈值、所述第一数据块存储设备为所述当前数据块存储设备的下一级数据块存储设备,和/或,所述预设条件为访问频率高于第二预设阈值、所述第一数据块存储设备为所述当前数据块存储设备的上一级数据块存储设备; 
建立映射关系表以用于实现被迁移的数据块的访问,所述映射关系表中包括:被迁移的数据块在所述当前数据块存储设备中的逻辑单元地址与在被迁移到的第一数据块存储设备中的逻辑单元地址之间的映射关系; 
其中,在所述建立映射关系表以用于实现被迁移的数据块的访问之后,还包括: 
接收主机的第一访问请求,所述第一访问请求中携带有要访问的数据块在当前数据块存储设备中的第一逻辑单元地址; 
判断所述要访问的数据块是否发生了迁移,若发生了迁移,则将所述第一访问请求转换为第二访问请求,所述第二访问请求中携带有所述要访问的数据块在被迁移到的第一数据块存储设备中的第二逻辑单元地址; 
将所述第二访问请求发送给所述要访问的数据块被迁移到的第一数据块存储设备,以供所述要访问的数据块被迁移到的第一数据块存储设备根据所述第二访问请求中的所述第二逻辑单元地址对所述要访问的数据块进行相应处理。 
本发明实施例提供一种数据块存储设备,包括: 
获取模块,用于获取当前数据块存储设备中存储的各个数据块在预定时间间隔内的访问频率; 
迁移模块,用于将符合预设条件的数据块迁移至第一数据块存储设备中,其中,所述预设条件为访问频率低于第一预设阈值、所述第一数据块存储设备为所述当前数据块存储设备的下一级数据块存储设备,和/或,所述预设条件为访问频率高于第二预设阈值、所述第一数据块存储设备为所述当前数据块存储设备的上一级数据块存储设备; 
建立模块,建立映射关系表以用于实现被迁移的数据块的访问,所述映射关系表中包括:被迁移的数据块在所述当前数据块存储设备中的逻辑单元 地址与在被迁移到的第一数据块存储设备中的逻辑单元地址之间的映射关系; 
其中,还包括: 
接收模块,用于接收主机的第一访问请求,所述第一访问请求中携带有要访问的数据块在当前数据块存储设备中的第一逻辑单元地址; 
处理模块,用于判断所述要访问的数据块是否发生了迁移,若发生了迁移,则将所述第一访问请求转换为第二访问请求,所述第二访问请求中携带有所述要访问的数据块在被迁移到的第一数据块存储设备中的第二逻辑单元地址; 
发送模块,用于将所述第二访问请求发送给所述要访问的数据块被迁移到的第一数据块存储设备,以供所述要访问的数据块被迁移到的第一数据块存储设备根据所述第二访问请求中的所述第二逻辑单元地址对所述要访问的数据块进行相应处理。 
本发明实施例还提供一种数据块存储系统,包括至少两级如上的数据块存储设备。 
本发明实施例的数据块处理方法、数据块存储设备及系统,通过获取当前数据块存储设备中存储的各个数据块在预定时间间隔内的访问频率;并将访问频率低于第一预设阈值的数据块迁移至下一级数据块存储设备中,和/或将访问频率高于第二预设阈值的数据块迁移至上一级数据块存储设备中,从而,能够按照数据块的访问频率以数据块为粒度进行数据迁移,与现有技术中以文件为粒度相比,能够有效地细化数据迁移的粒度,提高数据迁移效率。另外,在数据迁移之后,还建立映射关系表用于记录被迁移的数据块在迁移前后的数据块存储设备中的逻辑单元地址之间的映射关系,从而也确保了被迁移的数据块的后续的正常访问。 
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。 
图1为本发明实施例一提供的数据块处理方法的流程图; 
图2为本发明实施例二提供的数据块处理方法的流程图; 
图3为本发明实施例三提供的数据块存储设备的结构示意图; 
图4为本发明实施例四提供的数据块存储设备的结构示意图; 
图5为本发明实施例五提供数据块存储系统的结构示意图。 
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。 
图1为本发明实施例一提供的数据块处理方法的流程图。如图1所示,本实施例的数据块处理方法的执行主体为分级数据块存储系统中的一个数据块存储设备。本实施例的数据块处理方法,具体可以包括如下步骤: 
步骤100、获取当前数据块存储设备中存储的各个数据块在预定时间间隔内的访问频率; 
步骤101、将符合预设条件的数据块迁移至第一数据块存储设备中; 
其中,预设条件为访问频率低于第一预设阈值、第一数据块存储设备为当前数据块存储设备的下一级数据块存储设备,和/或,预设条件为访问频率高于第二预设阈值、第一数据块存储设备为当前数据块存储设备的上一级数据块存储设备。 
步骤102、建立映射关系表以用于实现被迁移的数据块的访问。 
该映射关系表中包括:被迁移的数据块在当前数据块存储设备中的逻辑单元地址(Logical Block Address;以下简称LBA)与在被迁移到的第一数据块存储设备中的LBA之间的映射关系。 
本实施例的应用场景为在分级的数据存储系统中。该分级的数据存储系统包括至少两级数据块存储设备,每级包括至少一个数据块存储设备。各级数据块存储设备之间按照性能逐渐降低、成本依次降低等排列。第一级数据块存储设备可以用于存放访问热点即访问频率最高的数据块。其后的各级数据块存储设备存储的数据块的访问频率依次降低。 
本实施例中,当前数据块存储设备可以获取其中存储的各个数据块在预定时间间隔内被访问的访问频率(单位时间内的访问次数)。然后当前数据 块存储设备根据预定时间间隔内各个数据块被访问的频率,将访问频率低于第一预设阈值的数据块迁移至下一级数据块存储设备中,由于低于第一预设阈值的数据块被访问的频率较低,这样可以将其迁移至性能较低的数据块存储设备。而将访问频率高于第二预设阈值的数据块迁移至上一级数据块存储设备中,由于高于第二预设阈值的数据块被访问的频率较高,这样可以将其迁移至性能较高的数据块存储设备,以更容易被访问到。最后在完成此次迁移之后,可以建立一映射关系表,在该映射关系表中记录被迁移的数据块在当前数据块存储设备中的LBA与在被迁移到的第一数据块存储设备中的LBA之间的映射关系(即,被迁移的数据块在迁移前、后的数据块存储设备中的LBA之间的映射关系)。这样,当该数据块被访问时,可以根据该映射关系表找到该数据块在被迁移到的数据块存储设备中的LBA,以实现对该数据块的访问。本实施例中进行数据迁移的时候,以数据块为单位进行迁移,数据块的大小具体可以是从当前数据块存储设备中的LBA开始的1M大小的数据块。 
本发明实施例的数据块处理方法,通过获取当前数据块存储设备中存储的各个数据块在预定时间间隔内的访问频率;并将访问频率低于第一预设阈值的数据块迁移至下一级数据块存储设备中,和/或将访问频率高于第二预设阈值的数据块迁移至上一级数据块存储设备中,从而,能够按照数据块的访问频率以数据块为粒度进行数据迁移,与现有技术中以文件为粒度相比,能够有效地细化数据迁移的粒度,提高数据迁移效率。另外,在数据迁移之后,还建立映射关系表用于记录被迁移的数据块在迁移前后的数据块存储设备中的LBA之间的映射关系,从而也确保了被迁移的数据块的后续的正常访问。而且采用本实施例的技术方案,能够在非虚拟设备上实现按照数据块对数据进行迁移。 
需要说明的是,上述实施例中,获取当前数据块存储设备中的各个数据块在预定时间间隔内的访问频率,具体包括:从用于统计各个数据块被访问 的次数的热点统计表中获取各个数据块被访问的次数,然后分别计算各个数据块被访问的次数与预定时间间隔的比值,得到各个数据块在预定时间间隔内的访问频率。 
需要说明的是,上述实施例中,在步骤101将符合预设条件的数据块迁移至第一数据块存储设备中之后,还包括:将热点统计表中的各个数据块被访问的次数清零。因为本次数据迁移已经完成,这样,热点统计表清零后,可以进行下一个预定时间间隔内的数据块被访问次数的记录工作。 
在实际应用中,可以周期性地执行上述方法中的步骤100-102,不过,在后续执行步骤102时,仅仅更新首次建立的映射关系表即可。其中,执行周期即为上述预定时间间隔,预定时间间隔的具体取值可以根据实际需要设定,本发明实施例对此不做限定。 
在实施例一中,执行步骤100-102的执行主体可以是当前数据块存储设备。 
图2为本发明实施例二提供的数据块处理方法的流程图。如图2所示,本实施例的数据块处理方法在上述实施例一所述技术方案的基础上,具体可以包括如下步骤: 
步骤200、接收主机的第一访问请求;执行步骤201; 
其中该第一访问请求中携带有要访问的数据块在当前数据块存储设备中的第一LBA; 
步骤201、判断要访问的数据块是否发生了迁移,若发生了迁移,则执行步骤202;否则,执行步骤203; 
步骤202、将第一访问请求转换为第二访问请求;执行步骤204; 
其中该第二访问请求中携带有要访问的数据块在被迁移到的上一级数据块存储设备(或者下一级数据块存储设备)中的第二LBA。 
步骤203、不改变第一访问请求,根据第一访问请求对位于第一LBA的要访问的数据块进行相应处理;结束。 
步骤204、将第二访问请求发送给要访问的数据块被迁移到的上一级数据块存储设备(或者下一级数据块存储设备),以供要访问的数据块被迁移到的上一级数据块存储设备(或者下一级数据块存储设备)根据第二访问请求中的第二LBA对要访问的数据块进行相应处理。 
其中步骤201判断要访问的数据块是否发生了迁移,具体包括:判断映射关系表中是否存在所述第一LBA对应的映射关系,若存在,则确定要访问的数据块发生了迁移;此时步骤202将所述第一访问请求转换为第二访问请求,以对所述要访问的数据块进行处理,具体包括:从映射关系表中获取第一LBA对应的第二LBA;并生成携带有第二LBA的第二访问请求。 
需要说明的是,在上述实施例的步骤202或者203之后,完成了一次对数据块的访问,此时可以更新热点统计表中所述要访问的数据块的访问次数,具体可以为每访问一次,将记录的所述要访问的数据块的访问次数加1。 
需要说明的是,本实施例中所述的第一访问请求和第二访问请求分别可以为读请求或者写请求。 
本实施例的数据块的处理方法,能够有效地保证在数据块迁移后,对被迁移的数据块正常访问。 
上述实施例都是以一个包括至少两级数据块存储设备的数据块存储系统中的任意一个数据块存储设备为例来描述本发明的技术方案,需要说明的是,为了提高数据块被访问的效率,其中各级数据块存储设备对应的映射关系表可以存储在内存或者cache(缓存)中。或者可以将第一级数据块存储设备对应的映射关系表存储在内存或者cache中,其他各级数据块存储设备对应的映射关系表存储在其对应的内存或者cache中。 
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介 质。 
图3为本发明实施例三提供的数据块存储设备的结构示意图。如图3所示,本实施例的数据块存储设备,具体可以包括:获取模块10、迁移模块11和建立模块12。 
其中获取模块10用于获取当前数据块存储设备中存储的各个数据块在预定时间间隔内的访问频率。迁移模块11与获取模块10连接,迁移模块11用于根据获取模块10获取的各个数据块在预定时间间隔内的访问频率,将符合预设条件的数据块迁移至第一数据块存储设备中,其中,预设条件为访问频率低于第一预设阈值、第一数据块存储设备为当前数据块存储设备的下一级数据块存储设备,和/或,预设条件为访问频率高于第二预设阈值、第一数据块存储设备为当前数据块存储设备的上一级数据块存储设备。建立模块12与迁移模块11连接,建立模块12用于根据迁移模块11的迁移结果,建立映射关系表以用于实现被迁移的数据块的访问,该映射关系表中包括:被迁移的数据块在当前数据块存储设备中的逻辑单元地址与在被迁移到的第一数据块存储设备中的逻辑单元地址之间的映射关系。 
本实施例的数据块存储设备,通过采用上述模块实现数据块处理方法与上述相关方法实施例的实现机制相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。 
本实施例的数据块存储设备,通过采用上述模块能够按照数据块的访问频率实现以数据块为粒度进行数据迁移,与现有技术中以文件为粒度相比,能够有效地细化数据迁移的粒度,提高数据迁移效率。而且采用本实施例的技术方案,能够在非虚拟设备上实现按照数据块对数据进行迁移。 
图4为本发明实施例四提供的数据块存储设备的结构示意图。如图4所示,本实施例的数据块存储设备在上述图3所示实施例的基础上,其获取模块10具体包括获取单元101和第一处理单元102。获取单元101用于从热点统计表中获取各个数据块被访问的次数,其中,热点统计表中记录有各个数 据块被访问的次数。第一处理单元102与获取单元101连接,第一处理单元102用于分别计算获取单元101获取的各个数据块被访问的次数与预定时间间隔的比值,得到各个数据块在预定时间间隔内的访问频率。此时迁移模块11与第一处理单元102连接,迁移模块11用于根据第一处理单元102计算得到的各个数据块在预定时间间隔内的访问频率,将访问频率低于第一预设阈值的数据块迁移至下一级数据块存储设备中,和/或将访问频率高于第二预设阈值的数据块迁移至上一级数据块存储设备中。 
需要说明的是,上述实施例的数据块存储设备中还可以包括清零模块。该清零模块用于在迁移模块11将访问频率低于第一预设阈值的数据块迁移至下一级数据块存储设备中,和/或将访问频率高于第二预设阈值的数据块迁移至上一级数据块存储设备中之后,将热点统计表中的各个数据块被访问的次数清零。 
本实施例的数据块存储设备,具体还可以包括:接收模块13、处理模块14和发送模块15。 
其中接收模块13用于接收主机的第一访问请求,该第一访问请求中携带有要访问的数据块在当前数据块存储设备中的第一LBA。处理模块14与接收模块13连接,处理模块14用于根据接收模块13接收的第一访问请求,判断要访问的数据块是否发生了迁移,若已经发生了迁移,则将第一访问请求转换为第二访问请求,该第二访问请求中携带有要访问的数据块在被迁移到的第一数据块存储设备(为上一级或者下一级数据块存储设备)中的第二LBA。发送模块15与处理模块14连接,发送模块15用于将处理模块14转换得到的第二访问请求发送给要访问的数据块被迁移到的第一数据块存储设备,以供要访问的数据块被迁移到的第一数据块存储设备根据所述第二访问请求中的第二LBA对所述要访问的数据块进行相应处理。 
其中处理模块14具体可以包括:确定单元141、第二处理单元142和生成单元143。确定单元141与接收模块13连接,确定单元141用于判断映射 关系表中是否存在接收模块13接收的第一访问请求中的第一LBA对应的映射关系,若存在,则确定所述要访问的数据块已经发生了迁移。第二处理单元142与确定单元141连接,第二处理单元142用于在确定单元141确定所述要要访问的数据块已经发生了迁移之后,从映射关系表中获取第一LBA对应的第二LBA。生成单元143与第二处理单元142连接,生成单元143用于生成携带有第二处理单元142获取到的第二LBA的第二访问请求。此时生成单元143还与发送模块15连接,发送模块15用于将生成单元143生成的第二访问请求发送给要访问的数据块被迁移到的第一数据块存储设备,以供要访问的数据块被迁移到的第一数据块存储设备根据所述第二访问请求中的第二LBA对要访问的数据块进行相应处理。 
本实施例的数据块存储设备,通过采用上述模块实现数据块处理方法与上述相关方法实施例的实现机制相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。 
本实施例的数据块存储设备,通过采用上述模块实现能够有效地保证在数据块迁移后,被迁移的数据块的正常访问。 
需要说明的是,上述实施例的数据块存储设备中还可以包括更新模块,该更新模块用于在接收模块13接收到第一访问请求,该第一访问请求中携带有要访问的数据块在当前数据块存储设备中的第一LBA之后,更新热点统计表中所述要访问的数据块的访问次数。 
图5为本发明实施例五提供数据块存储系统的结构示意图。如图5所示,本实施例的数据块存储系统,包括至少两级数据块存储设备20。每一级的数据块存储设备20可以采用上述实施例的三或者四所述的数据块存储设备。详细可以参考上述相关实施例的记载,在此不再赘述。 
本发明实施例的数据块存储系统,具体实现数据块处理方法的实现机制与上述相关方法实施例的实现机制相同,详细可以参考上述相关方法实施例的记载,在此不再赘述。 
本发明实施例的数据块存储系统,能够按照数据块的访问频率以数据块为粒度进行数据迁移,与现有技术中以文件为粒度相比,能够有效地细化数据迁移的粒度,提高数据迁移效率。而且采用本实施例的技术方案,能够在非虚拟设备上实现按照数据块对数据进行迁移的技术效果。 
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。 
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。 

Claims (8)

1.一种数据块处理方法,其特征在于,包括:
获取当前数据块存储设备中存储的各个数据块在预定时间间隔内的访问频率;
将符合预设条件的数据块迁移至第一数据块存储设备中,其中,所述预设条件为访问频率低于第一预设阈值、所述第一数据块存储设备为所述当前数据块存储设备的下一级数据块存储设备,和/或,所述预设条件为访问频率高于第二预设阈值、所述第一数据块存储设备为所述当前数据块存储设备的上一级数据块存储设备;
建立映射关系表以用于实现被迁移的数据块的访问,所述映射关系表中包括:被迁移的数据块在所述当前数据块存储设备中的逻辑单元地址与在被迁移到的第一数据块存储设备中的逻辑单元地址之间的映射关系;
其中,在所述建立映射关系表以用于实现被迁移的数据块的访问之后,还包括:
接收主机的第一访问请求,所述第一访问请求中携带有要访问的数据块在当前数据块存储设备中的第一逻辑单元地址;
判断所述要访问的数据块是否发生了迁移,若发生了迁移,则将所述第一访问请求转换为第二访问请求,所述第二访问请求中携带有所述要访问的数据块在被迁移到的第一数据块存储设备中的第二逻辑单元地址;
将所述第二访问请求发送给所述要访问的数据块被迁移到的第一数据块存储设备,以供所述要访问的数据块被迁移到的第一数据块存储设备根据所述第二访问请求中的所述第二逻辑单元地址对所述要访问的数据块进行相应处理。
2.根据权利要求1所述的方法,其特征在于,获取当前数据块存储设备中存储的各个数据块在预定时间间隔内的访问频率,具体包括:
从热点统计表中获取所述各个数据块被访问的次数;
分别计算所述各个数据块被访问的次数与所述预定时间间隔的比值,得到所述各个数据块在所述预定时间间隔内的访问频率。
3.根据权利要求2所述的方法,其特征在于,在所述将符合预设条件的数据块迁移至第一数据块存储设备中之后,还包括:将所述热点统计表中的所述各个数据块被访问的次数清零。
4.根据权利要求1所述的方法,其特征在于,所述判断所述要访问的数据块是否发生了迁移,具体包括:
判断所述映射关系表中是否存在所述第一逻辑单元地址对应的映射关系,若存在,则确定所述要访问的数据块发生了迁移;
所述将所述第一访问请求转换为第二访问请求,具体包括:
从所述映射关系表中获取所述第一逻辑单元地址对应的所述第二逻辑单元地址;生成携带有所述第二逻辑单元地址的所述第二访问请求。
5.一种数据块存储设备,其特征在于,包括:
获取模块,用于获取当前数据块存储设备中存储的各个数据块在预定时间间隔内的访问频率;
迁移模块,用于将符合预设条件的数据块迁移至第一数据块存储设备中,其中,所述预设条件为访问频率低于第一预设阈值、所述第一数据块存储设备为所述当前数据块存储设备的下一级数据块存储设备,和/或,所述预设条件为访问频率高于第二预设阈值、所述第一数据块存储设备为所述当前数据块存储设备的上一级数据块存储设备;
建立模块,建立映射关系表以用于实现被迁移的数据块的访问,所述映射关系表中包括:被迁移的数据块在所述当前数据块存储设备中的逻辑单元地址与在被迁移到的第一数据块存储设备中的逻辑单元地址之间的映射关系;
其中,还包括:
接收模块,用于接收主机的第一访问请求,所述第一访问请求中携带有要访问的数据块在当前数据块存储设备中的第一逻辑单元地址;
处理模块,用于判断所述要访问的数据块是否发生了迁移,若发生了迁移,则将所述第一访问请求转换为第二访问请求,所述第二访问请求中携带有所述要访问的数据块在被迁移到的第一数据块存储设备中的第二逻辑单元地址;
发送模块,用于将所述第二访问请求发送给所述要访问的数据块被迁移到的第一数据块存储设备,以供所述要访问的数据块被迁移到的第一数据块存储设备根据所述第二访问请求中的所述第二逻辑单元地址对所述要访问的数据块进行相应处理。
6.根据权利要求5所述的设备,其特征在于,所述获取模块包括:
获取单元,用于从热点统计表中获取所述各个数据块被访问的次数;
第一处理单元,用于分别计算所述各个数据块被访问的次数与所述预定时间间隔的比值,得到所述各个数据块在所述预定时间间隔内的访问频率。
7.根据权利要求5所述的设备,其特征在于,所述处理模块包括:
确定单元,用于判断所述映射关系表中是否存在所述第一逻辑单元地址对应的映射关系,若存在,则确定所述要访问的数据块发生了迁移;
第二处理单元,用于从所述映射关系表中获取所述第一逻辑单元地址对应的所述第二逻辑单元地址;
生成单元,用于生成携带有所述第二逻辑单元地址的所述第二访问请求。
8.一种数据块存储系统,包括至少两级如权利要求5-7任一项所述的数据块存储设备。
CN201110092234.XA 2011-04-13 2011-04-13 数据块处理方法、数据块存储设备及系统 Active CN102156738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110092234.XA CN102156738B (zh) 2011-04-13 2011-04-13 数据块处理方法、数据块存储设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110092234.XA CN102156738B (zh) 2011-04-13 2011-04-13 数据块处理方法、数据块存储设备及系统

Publications (2)

Publication Number Publication Date
CN102156738A CN102156738A (zh) 2011-08-17
CN102156738B true CN102156738B (zh) 2012-12-19

Family

ID=44438237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110092234.XA Active CN102156738B (zh) 2011-04-13 2011-04-13 数据块处理方法、数据块存储设备及系统

Country Status (1)

Country Link
CN (1) CN102156738B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411542A (zh) * 2011-10-26 2012-04-11 上海文广互动电视有限公司 动态分级存储系统和方法
CN103092526B (zh) * 2011-10-31 2016-03-30 国际商业机器公司 在存储设备间进行数据迁移的方法和装置
CN103544075B (zh) * 2011-12-31 2017-07-07 华为数字技术(成都)有限公司 数据的处理方法和系统
US9015413B2 (en) 2012-10-02 2015-04-21 International Business Machines Corporation Management of data using inheritable attributes
CN103795756A (zh) * 2012-10-31 2014-05-14 中国电信股份有限公司 分层存储方法和系统、对象访问控制器
CN103810189B (zh) * 2012-11-08 2018-06-05 腾讯科技(深圳)有限公司 一种热点消息处理方法及系统
CN103034592B (zh) * 2012-12-05 2016-09-28 华为技术有限公司 数据处理方法和装置
CN103198027A (zh) * 2013-02-27 2013-07-10 天脉聚源(北京)传媒科技有限公司 一种存储文件和提供文件的方法和装置
CN104035925B (zh) * 2013-03-04 2018-07-17 深圳市腾讯计算机系统有限公司 数据存储方法、装置和存储系统
CN104346291B (zh) * 2013-08-05 2017-08-01 炬芯(珠海)科技有限公司 一种存储器的存储方法及存储系统
CN103605615B (zh) * 2013-11-21 2017-02-15 郑州云海信息技术有限公司 一种分级存储中基于块级数据的定向分配方法
CN110825324B (zh) * 2013-11-27 2023-05-30 北京奥星贝斯科技有限公司 混合存储的控制方法及混合存储系统
CN103645860B (zh) * 2013-11-27 2017-01-25 华为技术有限公司 存储空间的管理方法和存储管理装置
CN103631931B (zh) * 2013-12-06 2017-11-03 浪潮(北京)电子信息产业有限公司 一种数据分级存储方法及系统
CN103631729A (zh) * 2013-12-06 2014-03-12 浪潮(北京)电子信息产业有限公司 一种基于块级的分级存储方法及系统
WO2016023230A1 (zh) * 2014-08-15 2016-02-18 华为技术有限公司 数据迁移的方法、控制器和数据迁移装置
CN104239230B (zh) * 2014-08-28 2017-06-09 华为技术有限公司 一种数据块迁移方法及装置
CN104239233B (zh) * 2014-09-19 2017-11-24 华为技术有限公司 缓存管理方法、缓存管理装置和缓存管理设备
CN105989140B (zh) * 2015-02-27 2019-09-03 阿里巴巴集团控股有限公司 一种数据块处理方法和设备
CN106371950B (zh) * 2015-07-20 2020-11-03 中兴通讯股份有限公司 一种实现raid级别转换的方法及装置
CN105487823B (zh) * 2015-12-04 2018-06-05 华为技术有限公司 一种数据迁移的方法及装置
CN106294671A (zh) * 2016-08-03 2017-01-04 杭州华三通信技术有限公司 一种数据迁移方法及装置
CN106371762A (zh) * 2016-08-19 2017-02-01 浪潮(北京)电子信息产业有限公司 一种存储数据优化方法及系统
CN108021585B (zh) * 2016-10-28 2022-01-18 腾讯科技(深圳)有限公司 分布式数据存储方法和装置
CN106557578B (zh) * 2016-11-23 2020-08-04 中国工商银行股份有限公司 历史数据查询方法及系统
CN106708433A (zh) * 2016-12-06 2017-05-24 深圳市深信服电子科技有限公司 存储数据的读写方法及装置
CN106612329B (zh) * 2016-12-29 2020-03-20 北京奇艺世纪科技有限公司 一种缓存方法及装置
CN106959826A (zh) * 2017-03-28 2017-07-18 联想(北京)有限公司 一种数据存储系统及方法
CN108989370B (zh) * 2017-05-31 2020-11-06 华为技术有限公司 一种cdn系统中的数据存储方法、设备及系统
CN108932114A (zh) * 2018-07-09 2018-12-04 郑州云海信息技术有限公司 一种数据存储的方法及装置
CN109491608A (zh) * 2018-11-02 2019-03-19 郑州云海信息技术有限公司 一种提升随机数据读取性能的方法、系统、设备及存储介质
CN112825023B (zh) * 2019-11-20 2024-09-17 上海商汤智能科技有限公司 集群资源管理方法、装置、电子设备和存储介质
CN112948067A (zh) * 2019-12-11 2021-06-11 北京金山云网络技术有限公司 服务调度方法、装置、电子设备及存储介质
CN112256666B (zh) * 2020-09-08 2023-06-16 山东黄金矿业(莱州)有限公司三山岛金矿 一种逻辑增量迁移方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6032224A (en) * 1996-12-03 2000-02-29 Emc Corporation Hierarchical performance system for managing a plurality of storage units with different access speeds
CN1480850A (zh) * 2002-12-04 2004-03-10 联想(北京)有限公司 动态迁移数据的方法及其存储系统
US7103740B1 (en) * 2003-12-31 2006-09-05 Veritas Operating Corporation Backup mechanism for a multi-class file system
CN101788995A (zh) * 2009-12-31 2010-07-28 成都市华为赛门铁克科技有限公司 一种热点数据识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070214314A1 (en) * 2006-03-07 2007-09-13 Reuter James M Methods and systems for hierarchical management of distributed data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6032224A (en) * 1996-12-03 2000-02-29 Emc Corporation Hierarchical performance system for managing a plurality of storage units with different access speeds
CN1480850A (zh) * 2002-12-04 2004-03-10 联想(北京)有限公司 动态迁移数据的方法及其存储系统
US7103740B1 (en) * 2003-12-31 2006-09-05 Veritas Operating Corporation Backup mechanism for a multi-class file system
CN101788995A (zh) * 2009-12-31 2010-07-28 成都市华为赛门铁克科技有限公司 一种热点数据识别方法及装置

Also Published As

Publication number Publication date
CN102156738A (zh) 2011-08-17

Similar Documents

Publication Publication Date Title
CN102156738B (zh) 数据块处理方法、数据块存储设备及系统
EP3869316B1 (en) Hybrid storage
CN105589812B (zh) 磁盘碎片整理方法、装置及主机
CN106687911B (zh) 不损害数据完整性的在线数据移动
CN103761053B (zh) 一种数据处理方法和装置
CN107102819B (zh) 向固态硬盘写入数据的方法及设备
US9471239B2 (en) Memory power management and data consolidation
CN102929748B (zh) 数据备份方法及装置
CN104583930B (zh) 数据迁移的方法、控制器和数据迁移装置
CN102521152B (zh) 一种分级存储方法及系统
CN103761190B (zh) 数据处理方法及装置
CN102117248A (zh) 一种缓存系统和在缓存系统中缓存数据的方法
CN102317901B (zh) 对象调整方法、装置及系统
CN103500072A (zh) 数据迁移方法及数据迁移装置
US10120588B2 (en) Sliding-window multi-class striping
CN105786401A (zh) 服务器集群系统中的数据管理方法及装置
CN101976181A (zh) 一种存储资源的管理方法及管理装置
CN107562367B (zh) 基于软件化存储系统读写数据的方法以及装置
JP2016062315A (ja) 制御装置、ストレージシステム、及び制御プログラム
CN111309245B (zh) 一种分层存储写入方法和装置、读取方法和装置及系统
KR20170065427A (ko) Ssd의 데이터 프로세싱 방법 및 장치
JPWO2008126202A1 (ja) ストレージシステムの負荷分散プログラム、ストレージシステムの負荷分散方法、及びストレージ管理装置
US20180341423A1 (en) Storage control device and information processing system
CN109375868B (zh) 一种数据存储方法、调度装置、系统、设备及存储介质
CN101997919B (zh) 一种存储资源的管理方法及管理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: HUAWEI DIGITAL TECHNOLOGY (CHENGDU) CO., LTD.

Free format text: FORMER NAME: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES CO., LTD.

CP01 Change in the name or title of a patent holder

Address after: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Patentee after: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.

Address before: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Patentee before: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220831

Address after: No. 1899 Xiyuan Avenue, high tech Zone (West District), Chengdu, Sichuan 610041

Patentee after: Chengdu Huawei Technologies Co.,Ltd.

Address before: 611731 Qingshui River District, Chengdu hi tech Zone, Sichuan, China

Patentee before: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.